接客支援装置、接客支援方法およびプログラム
【課題】接客対象となる顧客別に接客区間を特定可能な接客支援装置、接客支援方法およびプログラムを提供する。
【解決手段】店員と顧客の会話を取得する会話取得部１０２と、取得した会話に含まれる店員および顧客の少なくとも一方の音声に基づいて、店員の接客対象となっている対象顧客の切り替わりを検出する接客切替検出部１７１と、店員を識別する店員識別情報と、接客切替検出部１７１の検出時刻と、を関連付け、切替検出データとして管理サーバー用データベースＤＢ３に記録する切替検出データ記録部１７２と、を備えた。
【解決手段】店員と顧客の会話を取得する会話取得部１０２と、取得した会話に含まれる店員および顧客の少なくとも一方の音声に基づいて、店員の接客対象となっている対象顧客の切り替わりを検出する接客切替検出部１７１と、店員を識別する店員識別情報と、接客切替検出部１７１の検出時刻と、を関連付け、切替検出データとして管理サーバー用データベースＤＢ３に記録する切替検出データ記録部１７２と、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
マーケティングデータとして接客に関するデータを収集し、接客スキルの向上に役立てる接客支援装置、接客支援方法およびプログラムに関するものである。
【背景技術】
【０００２】
近年、販売促進に活用するためのマーケティングデータとして、顧客データや売り上げデータを収集する試みが行われている。例えば、特許文献１では、ＰＯＳデータを分析して消費者の併売傾向を数量的に把握し、販売促進に反映させるマーケティングデータ収集分析技術が提案されている。
【０００３】
一方、会話状況を推定する技術として、人物の音声に基づいて感情を認識する感情認識技術が知られている。例えば、特許文献２では、被験者が入力した音声信号から、音声の強度、テンポおよび抑揚などの変化量を、「怒り」、「悲しみ」および「喜び」などそれぞれの感情状態に対応付けて感情認識を行っている。
【０００４】
ところで、マーケティングの分野では、生産性や効率を多少犠牲にしてでも顧客満足度を高めた方が、消費者のリピーター化などを通じて結果的には良いと言われている。また、小売店を初めとするホスピタリティを重視する店舗では、売り上げと顧客満足度には密接な関連性があるため、顧客満足度を高めるために、接客スキルのトレーニングや、顧客に対する印象を良くするための笑顔や挨拶のトレーニングを行っている。中でも、接客スキルの一つである会話テクニックは重要視され、顧客との会話比率に着目したトレーニングが行われている。一般的に、店員と顧客の会話比率は、顧客の割合が大きい方が好ましいとされており（例えば、２：８など）、これを維持することで、顧客満足度に好影響を与えると言われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−９４５９２号公報
【特許文献２】特開２００２−９１４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、接客に好ましいとされる会話比率が分かっていても、会話比率を測定する方法が無いため、各店員がそれを実践できているか否かは不明である。また、会話比率を測定・算出するためには、接客対象となる顧客ごとに測定・算出することが好ましい。これは、接客対象に関係なく店員の会話比率を測定した場合（ある店員の１日における総合的な会話比率を測定するなど）、どの接客が良く、どの接客が悪かったかを判別できず、接客スキルの向上に役立てられないためである。したがって、接客対象となる顧客別に接客区間を特定し、当該接客区間ごとに会話比率を測定することが望ましいが、当該接客区間を特定する方法は、未だ提案されていない。
【０００７】
本発明は、上記の問題点に鑑み、接客対象となる顧客別に接客区間を特定可能な接客支援装置、接客支援方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の接客支援装置は、店員および顧客の少なくとも一方を監視する監視部と、監視部の監視結果に基づいて、店員の接客対象となっている対象顧客の切り替わりを検出する接客切替検出部と、店員を識別する店員識別情報と、接客切替検出部の検出時刻と、を関連付け、切替検出データとしてデータベースに記録する切替検出データ記録部と、を備えたことを特徴とする。
【０００９】
本発明の接客支援方法は、コンピューターが、店員および顧客の少なくとも一方を監視する監視ステップと、監視ステップによる監視結果に基づいて、店員の接客対象となっている対象顧客の切り替わりを検出する接客切替検出ステップと、店員を識別する店員識別情報と、接客切替検出ステップによる検出時刻と、を関連付け、切替検出データとしてデータベースに記録する切替検出データ記録ステップと、を実行することを特徴とする。
【００１０】
これらの構成によれば、店員および顧客の少なくとも一方の監視結果から、接客対象となっている対象顧客の切り替わりを検出し、その検出時刻を店員識別情報と関連付け、切替検出データとして記録しておくため、当該切替検出データから、顧客別の接客区間を特定できる。また、接客区間の特定結果を、マーケティングデータとして収集することで、接客スキルの向上に役立てることができる。
【００１１】
上記に記載の接客支援装置において、監視部は、店員と顧客の会話を取得する会話取得部を含み、接客切替検出部は、会話に含まれる店員および顧客の少なくとも一方の音声に基づいて、対象顧客の切り替わりを検出することが好ましい。
【００１２】
この構成によれば、天井、机、店員などに取り付けられたマイクにより、店員および顧客の少なくとも一方の音声を取得することで、対象顧客の切り替わりを検出できる。
【００１３】
上記に記載の接客支援装置において、接客切替検出部は、顧客の音声に対して、定期的に声紋認証を行い、当該声紋認証結果の変化により、対象顧客の切り替わりを検出することが好ましい。
【００１４】
この構成によれば、声紋認証技術を用いて、対象顧客の切り替わりを正確に検出できる。
【００１５】
上記に記載の接客支援装置において、接客切替検出部は、所定時間内における同一声紋の出現率が所定値以下となったことにより、対象顧客の切り替わりを検出することが好ましい。
【００１６】
この構成によれば、接客対象が家族連れの場合など、対象顧客が一人であるとは限らないため、所定時間内における同一声紋の出現率に応じて、対象顧客の切り替わりを検出することで、対象顧客別の接客区間を正確に特定できる。例えば、同一人物の声紋が１分間に１回以上認識できている間は、対象顧客の切り替わりを検出しない、などが考えられる。
なお、所定時間内における同一声紋の出現率に応じて、対象顧客の切り替わりを検出するのではなく、所定時間以上継続して同一声紋を検出しない場合、対象顧客が切り替わったと判定しても良い。
【００１７】
上記に記載の接客支援装置において、接客切替検出部は、店員の音声に対して、音声認識を行い、当該音声認識によって所定のキーワードを検出することにより、対象顧客の切り替わりを検出することが好ましい。
【００１８】
この構成によれば、所定のキーワードを検出することにより、対象顧客の切り替わりを容易に検出できる。
なお、所定のキーワードとしては、接客区間の開始を示す「いらっしゃいませ」、並びに接客区間の終了を示す「またのご来店をお待ちしております」、「お買い上げありがとうございます」、「少々お待ちください」などが考えられる。また、店舗ごとに、接客終了時に発声するキーワードを決めておき、そのキーワードの検出により、対象顧客の切り替わりを検出しても良い。この場合のキーワードとしては、例えば「終わり」、「バイバイ」など、通常接客時に使用しないキーワードが考えられる。
【００１９】
上記に記載の接客支援装置において、店員に取り付けられ、当該店員が発話したことを検出する発話検出部をさらに備え、接客切替検出部は、発話検出部の検出結果に基づいて、会話に含まれる音声が、店員の音声であるか顧客の音声であるかを判別することが好ましい。
【００２０】
この構成によれば、発話検出部を用いることで、正確に店員と顧客の音声を判別し、ひいては、より正確に接客区間を特定できる。
なお、発話検出部としては、例えば、人物の音声が骨や肉を伝わって体表に届く体導音を検出する体導音センサーが挙げられる。この場合、体導音センサーは、頭頚部の体表に装着されることが好ましい。
【００２１】
上記に記載の接客支援装置において、監視部は、店員と顧客の接客状況を撮像する接客撮像部を含み、接客切替検出部は、接客撮像部により撮像された映像に基づいて、対象顧客の切り替わりを検出することが好ましい。
【００２２】
この構成によれば、天井、机、店員などに取り付けられたカメラにより、接客状況を撮像することで、対象顧客の切り替わりを検出できる。
【００２３】
上記に記載の接客支援装置において、接客切替検出部は、映像の画像認識により、店員を特定し、当該店員の所定の行動を検出することにより、対象顧客の切り替わりを検出することが好ましい。
【００２４】
この構成によれば、店員の所定の行動を検出することにより、対象顧客の切り替わりを容易に検出できる。
なお、所定の行動としては、接客終了時に行うお辞儀など、自然発生するアクションが考えられる。また、店舗ごとに、接客終了時に行うアクション（合図）を決めておき、そのアクションの検出により、対象顧客の切り替わりを検出しても良い。この場合のアクションとしては、例えば「カメラに向かいＶサインを行う」、「所定の場所に移動する」など、通常接客時に行わないアクションが考えられる。
【００２５】
上記に記載の接客支援装置において、監視部は、店員に取り付けられ、当該店員の動作を検出する動作検出部を含み、接客切替検出部は、動作検出部の検出結果に基づいて、対象顧客の切り替わりを検出することが好ましい。
【００２６】
この構成によれば、角度センサー、重力センサー、ジャイロセンサー、接触センサー、赤外線センサーなど、店員に取り付けられた各種センサーにより、店員の動作を検出することで、対象顧客の切り替わりを検出できる。
なお、各種センサー以外に、店員によって操作されるタッチ式ボタンなど、各種操作手段を、動作検出部として用いても良い。
【００２７】
上記に記載の接客支援装置において、接客切替検出部は、動作検出部により店員の上半身が傾く動作を検出したことにより、対象顧客の切り替わりを検出することが好ましい。
【００２８】
この構成によれば、店員の上半身が傾く動作により、接客終了時に行うお辞儀が行われたと判定できるため、当該動作検出により、対象顧客の切り替わりを正確に検出できる。
なお、店員の動作としては、上記のような、自然発生する動作の他、店舗ごとに、接客終了時に行う動作を決めておき、その動作の検出により、対象顧客の切り替わりを検出しても良い。この場合の動作としては、例えば「店員カードをさわる」、「ポケットをたたく」など、通常接客時に行わない動作が考えられる。
【００２９】
上記に記載の接客支援装置において、店員と顧客の会話に基づく音声データを録音する音声データ録音部と、切替検出データに基づいて、検出開始からＮ番目（但し、ＮはＮ≧１となる整数）の検出時刻を区間開始時刻とし、且つＮ＋１番目の検出時刻を区間終了時刻とする接客切替区間を特定する接客切替区間特定部と、店員識別情報に、接客切替区間特定部により特定された接客切替区間に相当する音声データである録音データを関連付け、接客データとしてデータベースに記録する接客データ記録部と、をさらに備えたことが好ましい。
【００３０】
上記に記載の接客支援装置において、接客切替区間に含まれる、店員による各話し掛け区間の長さの合計であるΣＬａ（但し、ΣＬａはΣＬａ≧０となる変数）と、顧客による各話し掛け区間の長さの合計であるΣＬｂ（但し、ΣＬｂはΣＬｂ≧０となる変数）と、を算出し、ΣＬａとΣＬｂの比率、若しくはΣＬａまたはΣＬｂの（ΣＬａ＋ΣＬｂ）に対する比率である会話比率を算出する会話比率算出部をさらに備え、接客データ記録部は、店員識別情報および録音データに、会話比率を関連付け、接客データとしてデータベースに記録することが好ましい。
【００３１】
これらの構成によれば、切替検出データに基づいて接客切替区間（顧客別の接客区間）を特定し、当該接客切替区間の録音データを、接客データとして記録するため、これを有用なマーケティングデータとして利用できる。また、顧客別の接客切替区間を特定することで、当該接客切替区間ごとに会話比率を算出できる。また、算出した会話比率は、接客データの一部として記録されるため、これを接客手法の教材として利用できると共に、各接客（接客データ）について良い接客であったか否かを判別できる。これにより、例えば、会話比率から良い接客と考えられる接客状況を、各店員に示すなど、接客スキルの水平展開に役立てることができる。
【００３２】
上記に記載の接客支援装置において、店員と顧客の会話に基づく音声データを録音する音声データ録音部と、切替検出データに基づいて、検出開始からＮ番目（但し、ＮはＮ≧１となる整数）の検出時刻を区間開始時刻とし、且つＮ＋１番目の検出時刻を区間終了時刻とする接客切替区間を特定する接客切替区間特定部と、録音された音声データから、店員の話し掛けによる音声区間である店員話し掛け区間と、顧客の話し掛けによる音声区間である顧客話し掛け区間と、を抽出する話し掛け区間抽出部と、店員と顧客による話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体を１会話区間、所定時間以上途切れないまま繰り返される会話区間の集合体を１接客会話区間、としたとき、当該接客会話区間を特定する接客会話区間特定部と、接客会話区間特定部により特定された接客会話区間と、接客切替区間特定部により特定された接客切替区間とを、比較演算することにより、接客区間を特定する接客区間特定部と、店員識別情報に、接客区間特定部により特定された接客区間に相当する音声データである録音データを関連付け、接客データとしてデータベースに記録する接客データ記録部と、をさらに備えたことが好ましい。
【００３３】
上記に記載の接客支援装置において、接客区間に含まれる、店員による各話し掛け区間の長さの合計であるΣＬａ（但し、ΣＬａはΣＬａ≧０となる変数）と、顧客による各話し掛け区間の長さの合計であるΣＬｂ（但し、ΣＬｂはΣＬｂ≧０となる変数）と、を算出し、ΣＬａとΣＬｂの比率、若しくはΣＬａまたはΣＬｂの（ΣＬａ＋ΣＬｂ）に対する比率である会話比率を算出する会話比率算出部をさらに備え、接客データ記録部は、店員識別情報および録音データに、会話比率を関連付け、接客データとしてデータベースに記録することが好ましい。
【００３４】
これらの構成によれば、切替検出データに基づいて特定した接客切替区間と、音声データによって特定した接客会話区間とを、比較演算（ａｎｄ演算またはｏｒ演算など）することにより、正確な接客区間を特定できる。また、当該接客区間の録音データを、接客データとして記録するため、これを有用なマーケティングデータとして利用できる。また、正確な接客区間を特定することで、信頼性の高い会話比率を算出できる。また、算出した会話比率は、接客データの一部として記録されるため、これを接客手法の教材として利用できると共に、各接客（接客データ）について良い接客であったか否かを判別できる。これにより、例えば、会話比率から良い接客と考えられる接客状況を、各店員に示すなど、接客スキルの水平展開に役立てることができる。
【００３５】
本発明のプログラムは、コンピューターに、上記に記載の接客支援方法における各ステップを実行させることを特徴とする。
【００３６】
このプログラムを用いることにより、接客対象となる顧客別に接客区間を特定可能な接客支援方法を実現できる。
【図面の簡単な説明】
【００３７】
【図１】第１実施形態に係る接客支援システムのシステム構成図である。
【図２】店員用端末の制御ブロック図である。
【図３】レシートプリンターの制御ブロック図である。
【図４】管理サーバーの制御ブロック図である。
【図５】発話区間、話し掛け区間、会話区間および接客区間の説明図である。
【図６】第１実施形態に係る接客支援システムの機能ブロック図である。
【図７】第１実施形態に係る管理サーバー用データベースの説明図である。
【図８】会話比率の算出アルゴリズムを示す図である。
【図９】音声データ管理テーブル、店員発話区間管理テーブル、顧客発話区間管理テーブルの一例を示す図である。
【図１０】第１実施形態に係る音声データ保存処理を示すフローチャートである。
【図１１】第１実施形態に係る接客区間特定処理を示すフローチャートである。
【図１２】第１実施形態に係る店員話し掛け区間特定処理を示すフローチャートである。
【図１３】第１実施形態に係る顧客話し掛け区間Ｂ特定処理を示すフローチャートである。
【図１４】第１実施形態に係る顧客話し掛け区間Ａ特定処理を示すフローチャートである。
【図１５】重複回数の計測方法を示す図である。
【図１６】ビューアー画面（会話比率一覧表）の一例を示す図である。
【図１７】ビューアー画面（会話比率−売り上げ実績相関図）の一例を示す図である。
【図１８】接客点数の算出アルゴリズム、並びに会話比率判定テーブルおよび重複回数判定テーブルを示す図である。
【図１９】第２実施形態に係る接客支援システムの機能ブロック図である。
【図２０】第２実施形態に係る管理サーバー用データベースの説明図である。
【図２１】顧客満足度の算出アルゴリズムを示す図である。
【図２２】ビューアー画面（満足度−会話比率一覧表）の一例を示す図である。
【図２３】ビューアー画面（満足度−会話比率重ね合わせグラフ）の一例を示す図である。
【図２４】第３実施形態に係る接客支援システムの機能ブロック図である。
【図２５】第３実施形態に係る管理サーバー用データベースの説明図である。
【図２６】切替検出データの一例を示す図、および接客切替期間のイメージ図である。
【図２７】接客会話区間特定結果の一例を示す図、および接客会話区間のイメージ図である。
【図２８】接客区間特定パターンＡの説明図である。
【図２９】接客区間特定パターンＢの説明図である。
【図３０】接客区間特定パターンＣの説明図である。
【図３１】接客区間設定の説明図である。
【発明を実施するための形態】
【００３８】
［第１実施形態］
以下、添付の図面を参照し、本発明の会話比率算出装置、接客データ記録装置、会話比率算出方法およびプログラムについて説明する。なお、以下に示す各実施形態では、本発明の会話比率算出装置を、接客支援システムＳＹに適用した場合について例示する。当該接客支援システムＳＹは、小売業、飲食業およびサービス業などに関する店舗や会場内において、人物（顧客，来場者）の音声を取得し、その結果を顧客満足度の向上や接客スキルの向上に生かすべく構築されたものである。そこで、以下の各実施形態では、アパレル店や宝飾品店などの小売店舗内に、接客支援システムＳＹを導入する場合を例示する。
【００３９】
図１は、第１実施形態に係る接客支援システムＳＹ１のシステム構成図である。同図に示すように、接客支援システムＳＹ１は、店員に装着された体導音センサー１、音声取得用マイク２および店員用端末５と、店舗の入り口および店内各所に配置された店内カメラ１１（同図では、１台のみ図示）と、レジカウンター１４に設置されたＰＯＳ（Point Of Sales）端末１２およびレシートプリンター１３と、店舗のバックヤードに設置された管理サーバー１５および表示端末１６と、から成る。なお、請求項におけるコンピューターは、体導音センサー１以外の各装置から成る。
【００４０】
体導音センサー１は、店員の頭頚部に装着され、店員の音声が骨や肉を伝わって体表に届く体導音を検出する。本実施形態では、音声取得用マイク２により取得された音声が、店員（人物Ａ）のものであるか顧客（人物Ｂ）のものであるかを識別するために用いられる。音声取得用マイク２は、店員の制服（胸元近傍）に取り付けられ、店員および顧客の音声を取得する。なお、体導音センサー１および音声取得用マイク２に代えて、店員と顧客に対してそれぞれ指向性を有するマイクを用いても良い。すなわち、店員音声取得用と顧客音声取得用との２つのマイクを使用し、いずれのマイクで取得されたかによって、店員の音声と顧客の音声を識別しても良い。
【００４１】
店員用端末５は、店員の制服（ベルトなど）に取り付けられ、専用ケーブルを介して体導音センサー１および音声取得用マイク２と接続されている。また、レシートプリンター１３との無線通信機能を有しており、当該レシートプリンター１３を介して、管理サーバー１５と情報の授受を行う。店内カメラ１１は、店内各所の天井や壁に設けられ、来店した顧客、並びに接客中の店員および顧客を撮像する。なお、店内カメラ１１としては、ＣＣＤカメラやＰＴＺ（Pan Tilt Zoom）カメラを採用可能である。
【００４２】
ＰＯＳ端末１２は、一般的なレジスターの構成を有しており、ＰＯＳアプリケーションにしたがって会計処理を行う。また、不図示のバーコードスキャナーまたはキーボードから商品コードを取得し、商品マスタ１８を参照して、会計レシートＲ（図３参照）に印刷するためのレシートデータを生成する。なお、商品マスタ１８は、ＰＯＳ端末１２に接続されたＰＯＳサーバー（図示省略）内に備えても良い。
【００４３】
レシートプリンター１３は、ＰＯＳ端末１２と専用ケーブルを介して接続され、ＰＯＳ端末１２から取得したレシート印刷データをレシート用紙に印刷する。また、レシートプリンター１３は、店員用端末５との無線通信機能および管理サーバー１５との有線通信機能を有している。このように、レシートプリンター１３を主幹として各種情報の入出力を行うことで（レシートプリンター１３が、取得した各種情報をフィルタリングして必要な情報を出力することで）、ＰＯＳ基幹ネットワーク（ＰＯＳ端末１２を主幹としたネットワーク）のトラフィックに影響を与えることがない。また、既存のＰＯＳシステムに本発明を適用する際、ＰＯＳ基幹ネットワーク自体の変更が不要となる。
【００４４】
管理サーバー１５は、レシートプリンター１３と、イントラネット等のネットワーク１９を介して接続されており、当該レシートプリンター１３を介して、店員用端末５と各種情報の授受を行う。また、店員用端末５から取得した音声データに基づいて、音声データの録音、会話比率の算出および重複回数の計測などを行う。また、管理サーバー１５は、算出した会話比率や、録音した音声データを確認するためのビューアー画面Ｄ（図１６等参照）を、表示端末１６の表示画面１６ａに表示する。
【００４５】
次に、図２ないし図４を参照し、店員用端末５、レシートプリンター１３および管理サーバー１５のハードウェア構成について説明する。図２は、店員用端末５の制御ブロック図である。店員用端末５は、レシートプリンター１３との無線通信機能を実現するための無線ＬＡＮアンテナ２１、無線ＬＡＮＲＦ（Radio Frequency）部２２、無線ＬＡＮ変復調部２３および無線ＬＡＮベースバンド部２４を有している。無線ＬＡＮベースバンド部２４は、店員用端末５を識別するためのＭＡＣアドレスを記憶している。また、店員用端末５は、体導音センサー１の検出結果を取得するためのアンプ部２８およびＡ／Ｄコンバータ２９と、音声取得用マイク２から音声データを取得するためのアンプ部３２およびＡ／Ｄコンバータ３３と、を有している。
【００４６】
また、店員用端末５は、各部の統括制御を行う制御部２５と、ファームウェアを初めとする各種データ（音声取得用マイク２から音声データも含む）を記憶するメモリ２６と、店員用端末５に電力供給を行うバッテリー３４と、を有している。制御部２５は、Ａ／Ｄコンバータ２９およびＡ／Ｄコンバータ３３から取得した検出データおよび音声データに基づいて、店員の発話区間（連続する音声の時間帯）を特定する店員発話区間特定機能と、音声データに基づいて、音声レベルを判定する音声レベル判定機能と、を有している。
【００４７】
図３は、レシートプリンター１３の制御ブロック図である。レシートプリンター１３は、店員用端末５との無線通信機能を実現するための無線ＬＡＮアンテナ４１、無線ＬＡＮＲＦ部４２、無線ＬＡＮ変復調部４３および無線ＬＡＮベースバンド部４４を有している。無線ＬＡＮベースバンド部４４は、レシートプリンター１３を識別するためのＭＡＣアドレスを記憶している。また、レシートプリンター１３は、ＰＯＳ端末１２からレシートデータが入力される入力インターフェイス部４５と、文字パターンを記憶するＣＧ−ＲＯＭ４６と、各部の統括制御を行う制御部４７と、印刷ヘッド、ヘッド駆動機構およびレシート用紙搬送機構などを含む印刷機構４８と、管理サーバー１５と有線ＬＡＮを介して接続される有線ＬＡＮインターフェイス部４９と、を有している。
【００４８】
制御部４７は、所定のコマンドを含むレシートデータの解析や、会計レシートＲに印刷するための印刷データの生成などを行うメイン処理部４７ａと、本実施形態特有の構成であるレシートデータ意味解析部４７ｂと、を有している。レシートデータ意味解析部４７ｂは、レシートデータから、ＰＯＳ端末１２の端末番号、レシート番号、商品コード、商品名称、商品単価、金額、オペレーター氏名などを認識し、上位システムとなる管理サーバー１５が解釈可能な所定のデータ形式（例えば、ＸＭＬ形式）に変換する。なお、当該レシートデータの認識結果を所定のデータ形式に変換したものを、以下「変換データ」と称する。また、制御部４７は、店員用端末５から無線ＬＡＮを介して受信した音声データ（無線ＬＡＮベースバンド部４４から取得した音声データ）を、有線ＬＡＮインターフェイス部４９を介して、管理サーバー１５に転送する。
【００４９】
図４は、管理サーバー１５の制御ブロック図である。管理サーバー１５は、レシートプリンター１３から、音声データおよび変換データを取得すると共に、店内カメラ１１から映像データを取得するための有線ＬＡＮインターフェイス部５１と、表示端末１６に各種情報を表示させるための表示処理部５２と、マウスやキーボードなどの入力装置５５から入力データを取得すると共に各部の統括制御を行う制御部５３と、各種情報を記憶する記憶部５４と、を有している。制御部５３は、取得した音声データに基づいて、接客区間（店員が顧客に対して接客を行っている時間帯）を特定する接客区間特定機能と、接客区間あたりの店員と顧客の会話比率を算出する会話比率算出機能と、接客区間あたりの会話の重複回数を計測する重複回数計測機能と、入力装置５５からの情報入力に基づいてビューアー画面Ｄ（図１６等参照）の表示制御を行うビューアー画面表示制御機能と、を有している。また、記憶部５４は、ハードディスクにより実現され、音声抽出プログラムや会話比率算出プログラムなどの各種制御プログラムを記憶する他、後述する管理サーバー用データベースＤＢ１として機能する。
【００５０】
次に、図５を参照し、音声区間の定義について説明する。まず、同一人物（店員または顧客）により連続して発声される音声の区間、つまりブレスなどが入らない１フレーズの区間を「発話区間」と称する。本実施形態では、当該発話区間単位で、感情認識や音声認識を行う。また、図５（ａ）に示すように、所定時間以上途切れないまま繰り返される店員または顧客の発話区間の集合体を「話し掛け区間」と称する。つまり、インターバルが所定時間Ｘ未満となる１以上の発話区間の集合体を言う（但し、ＸはＸ＞０となる定数）。同図の例は、店員の話し掛け区間（以下、「店員話し掛け区間」と称する）、並びに当該店員の話し掛け区間に前後する２つの顧客の話し掛け区間（以下、「顧客話し掛け区間」と称する）が、全て２つの発話区間から成る場合を示している。
【００５１】
また、同じく図５（ａ）に示すように、店員と顧客の話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体を「会話区間」と称する。つまり、インターバルが所定時間Ｙ未満となる１以上の話し掛け区間の集合体を言う（但し、ＹはＹ≧Ｘとなる定数）。なお、本実施形態では、店員話し掛け区間を中心とした前後の顧客話し掛け区間の集合体（すなわち最低１つ、最大３つの話し掛け区間の集合体）を「１会話パターン」＝「１会話区間」と定義する。
【００５２】
また、図５（ｂ）に示すように、所定時間以上途切れないまま繰り返される会話区間の集合体を「接客区間」と称する。つまり、インターバルが所定時間Ｚ未満となる１以上の会話区間の集合体を言う（但し、ＺはＺ＞Ｙとなる定数）。同図の例は、２つの会話区間から成る接客区間１と、３つの会話区間から成る接客区間２と、を示している。このように、接客区間に含まれる会話区間の数は任意である。なお、Ｚの値は、数分〜数十分程度など、ＸやＹの値と比較して明らかに大きな値とすることが好ましい。
【００５３】
次に、図６および図７を参照し、第１実施形態に係る接客支援システムＳＹ１の機能構成について説明する。図６は、接客支援システムＳＹ１のブロック図である。店内カメラ１１は、主な機能構成として、接客撮像部１１１を有している。接客撮像部１１１は、店員および顧客を含む接客状況を撮像する。本実施形態において、接客撮像部１１１は常時撮像を行っており、その映像データは、随時管理サーバー１５に出力される。
【００５４】
体導音センサー１は、主な機能構成として、発話検出部１０１を有している。発話検出部１０１は、体導音に基づいて、店員が発話したこと、およびその発話区間を検出する。音声取得用マイク２は、主な機能構成として、会話取得部１０２を有している。会話取得部１０２は、店員および顧客の会話に基づく音声（音声信号）を取得する。店員用端末５は、主な機能構成として、音声データ送信部１０５を有している。音声データ送信部１０５は、音声レベル判定機能にあるパワーフィルターにより音声の有無を判定し、所定の音声レベル以上（例えば、アンプ増幅後１．５ｖ以上など）の音声データを管理サーバー１５に送信する。また、発話検出部１０１の検出結果および会話取得部１０２の音声取得結果に基づいて店員発話区間を特定し（店員発話区間特定機能）、当該店員発話区間の発生を管理サーバー１５に通知する。なお、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行う。
【００５５】
レシートプリンター１３は、主な機能構成として、変換データ送信部１１３を有している。変換データ送信部１１３は、ＰＯＳ端末１２から出力されたレシートデータをＸＭＬ形式に変換した変換データを、管理サーバー１５に送信する。
【００５６】
管理サーバー１５は、主な機能構成として、映像記録部１５１、人物識別部１５２、音声データ録音部１５３、音声抽出部１５４、会話比率算出部１５５、重複回数計測部１５６、変換データ取得部１５７、接客データ記録部１５８、画面表示部１５９および管理サーバー用データベースＤＢ１を有している。
【００５７】
映像記録部１５１は、接客撮像部１１１から、映像データを取得し、これを管理サーバー用データベースＤＢ１に記録する。人物識別部１５２は、映像データに含まれる顔特徴量に基づいて店員および顧客を識別する。例えば、店員については、予め店員識別情報と店員の顔特徴量とを関連付けて管理サーバー用データベースＤＢ１内に記憶しておく（図７の店員情報記憶部８２参照）。また、店内カメラ１１の撮像結果を解析して顔検出を行い、検出した当該顔部分の画像を正規化して算出された顔特徴量と、管理サーバー用データベースＤＢ１に記憶されている店員の顔特徴量とを照合し、それらの中から最も類似度の高い店員であると判定する。同様に、顧客についても、予め顧客識別情報と顧客の顔特徴量とを関連付けて管理サーバー用データベースＤＢ１内に記憶しておき（図７の顧客情報記憶部８１参照）、算出された顧客の顔特徴量と、管理サーバー用データベースＤＢ１に記憶されている多数の顧客の顔特徴量とを照合し、それらの中から最も類似度の高い顧客であると判定する。なお、人物識別部１５２の識別結果である店員識別情報と顧客識別情報は紐付けされ、後述する接客データ記憶部８８に記憶される。
【００５８】
音声データ録音部１５３は、店員と顧客の会話、すなわち音声データ送信部１０５から送信された音声データを録音する（管理サーバー用データベースＤＢ１に記録する）。音声抽出部１５４は、取得した会話（音声データ）から、店員音声と顧客音声をそれぞれ抽出する。具体的には、発話検出部１０１の検出結果に基づいて、会話に含まれる音声が店員音声であるか顧客音声であるかを判別し、当該判別結果に基づいて各音声を抽出する。なお、各音声は、発話区間単位または話し掛け区間単位で抽出する。詳細については後述する。
【００５９】
会話比率算出部１５５は、制御部５３の会話比率算出機能を指すものであり、店員と顧客の会話比率を算出する。具体的には、会話区間ごとに会話比率を算出し、当該会話区間ごとの算出結果に基づいて、接客区間ごとの会話比率（平均会話比率）を算出する。算出された会話比率は、接客データの一部として、接客データ記憶部８８に記憶される。なお、会話比率の算出アルゴリズムについては後述する。
【００６０】
重複回数計測部１５６は、制御部５３の重複回数計測機能を指すものであり、接客区間において、店員の音声と顧客の音声とが重複した回数（重複区間の個数）である重複回数を計測する。計測された重複回数は、接客データの一部として、接客データ記憶部８８に記憶される。なお、重複区間の検出方法および重複区間の計測方法についても後述する。
【００６１】
変換データ取得部１５７は、レシートプリンター１３の変換データ送信部１１３から送信された変換データを取得し、管理サーバー用データベースＤＢ１に記録する。なお、変換データは、上記の接客データの一部として記録する、売り上げ情報を得るために用いられる。なお、変換データの記録は、変換データに含まれる情報の中から、顧客識別情報（会員番号など）、レシート番号（売り上げＮｏ．）および合計金額など、売り上げの有無や売り上げ金額を特定可能な情報のみを抽出し、これを売り上げ情報として記録しても良いし、変換データの全てを管理サーバー用データベースＤＢ１に記録しても良い。
【００６２】
接客データ記録部１５８は、接客区間ごとに、人物識別部１５２の識別結果である店員識別情報および顧客識別情報、並びに会話比率算出部１５５の算出結果などを含む接客データを紐付けして、管理サーバー用データベースＤＢ１に記録する。なお、顧客識別情報および店員識別情報は、上記のとおり顔特徴量から特定される。また、店員識別情報と、店員用端末５のＭＡＣアドレスとは、対応付けて記憶されており（図７の店員情報記憶部８２参照）、管理サーバー１５が取得した映像データと音声データの紐付けができるようになっている。
【００６３】
画面表示部１５９は、記録した接客データを確認するためのビューアー画面Ｄ（図１６等参照）を表示画面１６ａ上に表示する。なお、ビューアー画面Ｄについても、具体例を挙げて後に詳述する。
【００６４】
図７は、第１実施形態に係る管理サーバー用データベースＤＢ１の説明図である。管理サーバー用データベースＤＢ１は、顧客情報記憶部８１、店員情報記憶部８２、音声データ記憶部８３、映像データ記憶部８４、音声データ管理テーブル８５、店員発話区間管理テーブル８６、顧客発話区間管理テーブル８７および接客データ記憶部８８として機能する。なお、管理サーバー用データベースＤＢ１は、店舗ごとに設けても良いし、複数店舗で共有しても良い。
【００６５】
顧客情報記憶部８１は、顧客識別情報（顧客ＩＤなど）と、顧客の顔特徴量と、顧客データ（氏名、住所、電話番号、生年月日、性別などの個人情報を含む）と、を関連付けて記憶する。また、店員情報記憶部８２は、店員識別情報（店員ＩＤなど）と、店員の顔特徴量と、店員用端末５のＭＡＣアドレスと、を関連付けて記憶する。また、音声データ記憶部８３は、音声データ録音部１５３により常時録音された音声データをタイムスタンプと共に記憶する。また、映像データ記憶部８４は、接客撮像部１１１により常時撮像された映像データをタイムスタンプと共に記憶する。
【００６６】
また、音声データ管理テーブル８５は、店員と顧客を区別することなく、取得した音声データを、連続する音声の区間（以下、「連続発話区間」と称する）ごとに記録したテーブルである（図９（ａ）参照））。また、店員発話区間管理テーブル８６は、店員の発話区間を記録したテーブルである（図９（ｂ）参照）。また、顧客発話区間管理テーブル８７は、顧客の発話区間を記録したテーブルである（図９（ｃ）参照）。
【００６７】
また、接客データ記憶部８８は、人物識別部１５２の識別結果である顧客識別情報および店員識別情報と、音声データ記憶部８３に記憶された音声データのうち、接客区間分の音声データに相当する録音データと、映像データ記憶部８４に記憶された映像データのうち、接客区間分の映像データに相当する撮像データと、会話比率算出部１５５の算出結果である、当該接客区間の会話比率と、重複回数計測部１５６の計測結果である、当該接客区間の重複回数と、当該接客による（接客区間内または接客区間終了後所定時間以内に発生した）売り上げの有無および売り上げ金額を示す売り上げ情報と、接客日並びに接客開始時刻および接客終了時刻を示す接客日時と、を関連付けて記憶する。なお、売り上げ情報については、精算場所に設置された店内カメラ１１により撮影された顧客の映像から算出された顧客の顔特徴量と、予め管理サーバー用データベースＤＢ１内に記憶されている多数の顧客の顔特徴量とを照合し、それらの中から最も類似度の高い顧客の顧客識別情報によって、紐付けされる接客データを特定可能である。また、レシートプリンター１３から送信された変換データに含まれる顧客識別情報によって、紐付けされる接客データを特定することも可能である。また、変換データに店員識別情報（オペレーター氏名または店員番号など）が含まれる場合は、顧客識別情報および店員識別情報の両方が合致する接客データに、紐付けされることが好ましい。
【００６８】
次に、図８を参照し、各種会話比率の算出アルゴリズム（計算式）について説明する。図８（ａ）に示すように、会話区間における会話比率としては、「店員：顧客の相対会話比率」、「店員の会話比率」および「顧客の会話比率」の３つのパターンを算出可能である。例えば、「店員：顧客の相対会話比率」は、会話区間に含まれる各店員話し掛け区間の長さの合計をＬａ、会話区間に含まれる各顧客話し掛け区間の長さの合計をＬｂとしたとき、Ｌａ：Ｌｂの値を指す。また、「店員の会話比率」は、Ｌａ／（Ｌａ＋Ｌｂ）の値を指し、顧客の会話比率は、「Ｌｂ／（Ｌａ＋Ｌｂ）」の値を指す。ここで、「話し掛け区間の長さ」とは、話し掛け区間の開始時刻から終了時刻までの長さを言う。
【００６９】
なお、Ｌａを、会話区間に含まれる各店員発話区間の長さの合計として規定しても良い。つまり、図５（ａ）に示すように、話し掛け区間には、インターバルＸが含まれる場合があるが、そのインターバルの長さを差し引いた長さとしてＬａを規定しても良い。例えば、図５（ａ）に示す顧客話し掛け区間Ａの場合、Ｌａは、発話区間１の開始時刻から終了時刻までの長さと、発話区間２の開始時刻から終了時刻までの長さの合計となる。Ｌｂについても同様である。
【００７０】
一方、図８（ｂ）に示すように、接客区間における会話比率は、接客区間に含まれる各会話区間の会話比率の平均値によって算出可能である。なお、各会話区間の会話比率の平均値に代えて、最高値、最低値、中間値などの各種統計量を、接客区間における会話比率として算出しても良い。また、接客区間における会話比率も、会話区間における会話比率（図８（ａ）参照）としてどのパターンを採用したかに応じて、「店員：顧客の相対会話比率」、「店員の会話比率」および「顧客の会話比率」の３つのパターンを算出可能である。
【００７１】
また、接客区間における会話比率の算出方法の変形例として、図８（ｃ）のアルゴリズムを用いても良い。この場合、「店員：顧客の相対会話比率」は、接客区間に含まれる各店員話し掛け区間の長さの合計をΣＬａ、接客区間に含まれる各顧客話し掛け区間の長さの合計をΣＬｂとしたとき、ΣＬａ：ΣＬｂの値を指す。また、「店員の会話比率」は、ΣＬａ／（ΣＬａ＋ΣＬｂ）の値を指し、「顧客の会話比率」は、ΣＬｂ／（ΣＬａ＋ΣＬｂ）の値を指す。
【００７２】
なお、Ｌａを、会話区間に含まれる各店員発話区間の長さの合計として規定したのと同様に、ΣＬａを、接客区間に含まれる各店員発話区間の長さの合計として規定しても良い。ΣＬｂについても同様である。
【００７３】
次に、図９を参照し、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７について説明する。図９（ａ）は、音声データ管理テーブル８５の一例を示す図である。音声データ管理テーブル８５は、店員と顧客の音声を区別しない連続する音声の区間である連続発話区間（少なくとも１の発話区間が含まれる区間）ごとに付与される「音声データＮｏ．」と、連続発話区間の開始時間に相当する「録音開始時間」と、連続発話区間の終了時間に相当する「録音終了時間」と、顧客の発声に基づく音声データか、店員の発声に基づく音声データか、または両方の発声に基づく音声データかを示す「重複フラグ」と、音声データを保存する「音声データ保存先アドレス」と、を関連付けたものである。例えば、「音声データＮｏ．：２０１」の音声データは、１２時３６分０３秒を開始時間とし１２時３６分１６秒を終了時間とする連続発話区間であり、少なくとも一部の区間において、顧客の音声と店員の発声が重複していることを示している。
【００７４】
図９（ｂ）は、店員発話区間管理テーブル８６の一例を示す図である。店員発話区間管理テーブル８６は、店員発話区間ごとに付与される「店員発話Ｎｏ．」と、店員発話区間の開始時間である「店員発話開始時間」と、店員発話区間の終了時間である「店員発話終了時間」と、どの店員話し掛け区間に属するかを示す「話し掛けＮｏ．」と、顧客の発声との重複区間の開始時間である「重複開始時間」と、顧客の発声との重複区間の終了時間である「重複終了時間」と、を関連付けたものである。例えば、「店員発話Ｎｏ．：１００」と「店員発話Ｎｏ．：１０１」の発話区間は、インターバルが所定時間Ｘ（例えば、３秒）未満であるため、一連の話し掛け区間と看做され、同一の話し掛けＮｏ．が付加されている。また、「店員発話Ｎｏ．：１００」の発話区間は、その区間全体が顧客の発声と重複していることを示している。
【００７５】
図９（ｃ）は、顧客発話区間管理テーブル８７の一例を示す図である。顧客発話区間管理テーブル８７は、顧客発話区間ごとに付与される「顧客発話Ｎｏ．」と、顧客発話区間の開始時間である「顧客発話開始時間」と、顧客発話区間の終了時間である「顧客発話終了時間」と、どの顧客話し掛け区間に属するかを示す「話し掛けＮｏ．」と、店員の発声との重複区間の開始時間である「重複開始時間」と、店員の発声との重複区間の終了時間である「重複終了時間」と、を関連付けたものである。例えば、「顧客発話Ｎｏ．：１０１」と「顧客発話Ｎｏ．：１０２」の発話区間は、インターバルが所定時間Ｘ（例えば、３秒）を超えているため、異なる話し掛け区間と看做され、異なる話し掛けＮｏ．が付与されている。また、「顧客発話Ｎｏ．：１００」の発話区間は、１３秒の区間長さのうち６秒間が店員の発声と重複していることを示している。
【００７６】
次に、図１０のフローチャートを参照し、音声データ保存処理について説明する。なお、上記のとおり、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行うが、レシートプリンター１３は単に情報を経由しているだけなので、図示を省略する。
【００７７】
店員用端末５（制御部２５）は、音声取得用マイク２から音声信号（音声）を取得すると（Ｓ１１）、音声レベル判定機能のパワーフィルターにより音声レベルを判定する（Ｓ１２）。ここで、音声レベルが所定レベル以上の場合、音声「有」と判定し、メモリ２６内の音声データ保存領域（図示省略）に音声データのバッファリングを開始する（Ｓ１３）。また、このとき、音声データ保存領域に録音開始時間を記録する。
【００７８】
続いて、音声信号を受信しなくなると、録音終了時間を確定して音声データ保存領域に記録すると共に、バッファリングを終了する（Ｓ１４）。その後、管理サーバー１５に対して、音声データの送信を宣言し（Ｓ１５）、音声データ保存領域にバッファリングされた音声データを、録音開始時間および録音終了時間と共に送信する（Ｓ１６）。
【００７９】
管理サーバー１５（制御部５３）は、店員用端末５から音声データを受信すると（Ｓ１７）、音声データ管理テーブル８５（図９（ａ）参照)に、一意に定めた音声データＮｏ．と、録音開始時間および録音終了時間を登録する（Ｓ１８）。また、音声データ管理テーブル８５で指定された音声データ保存先（所定のフォルダ）に、音声データを保存する（Ｓ１９）。
【００８０】
次に、図１１ないし図１４のフローチャートを参照し、接客区間特定処理の一連の流れについて説明する。図１１は、メイン処理（接客区間特定処理）を示すフローチャートであり、図１２ないし図１４は、そのサブルーチンを示すフローチャートである。図１１に示すように、管理サーバー１５（制御部５３）は、まず店員話し掛け区間を特定した後（Ｓ２１）、店員話し掛け区間の後に発生した顧客話し掛け区間Ｂを特定する（Ｓ２２）と共に、店員話し掛け区間の前に発生した顧客話し掛け区間Ａを特定する（Ｓ２３）。その後、これらＳ２１〜Ｓ２３の工程により特定された話し掛け区間に基づいて、会話区間を特定する（Ｓ２４，図５（ａ）参照）。また、Ｓ２１〜Ｓ２４の工程を繰り返すことにより、接客区間を特定する（Ｓ２５，図５（ｂ）参照）。
【００８１】
次に、図１２のフローチャートを参照し、図１１のＳ２１に相当する店員話し掛け区間特定処理について説明する。店員用端末５は、体導音センサー１からその検出データを取得すると（Ｓ３１）、店員発話区間特定機能のパワーフィルターにより検出レベルを判定し、所定レベル以上の場合、その検出時間を店員発話開始時間として確定し、メモリ２６内に記録する（Ｓ３２）。続いて、店員発話区間特定機能のパワーフィルターにより検出レベルを判定し、一定時間以上所定レベル未満の状態が保持された場合（無信号区間が発生した場合）、所定レベル以上の検出レベルがあった最後の検出時間を店員発話区間終了時間として確定し、メモリ２６内に記録する（Ｓ３３）。その後、管理サーバー１５に対して、店員発話区間の発生通知を行う（Ｓ３４）。このとき、メモリ２６内に記録されている店員発話開始時間および店員発話終了時間も送信する。
【００８２】
一方、管理サーバー１５（制御部５３）は、店員用端末５から店員発話区間の発生通知を受信すると（Ｓ３５）、店員発話区間管理テーブル８６（図９（ｂ）参照)に、一意に定めた店員発話データＮｏ．と、店員話し掛け区間ごとに定めた店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。その後、所定時間内に次の店員発話区間の発生通知を受信したか否かを判別し（Ｓ３７）、受信した場合は（Ｓ３７：Ｙｅｓ）、一意に定めた店員発話データＮｏ．と、上記と同じ店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。これにより、前に発生した店員発話区間と今回発生した店員発話区間とを、一連の話し掛け区間として定義することができる。なお、所定時間内に次の店員発話区間の発生通知を受信しなかった場合は（Ｓ３７：Ｎｏ）、店員による一連の話し掛け区間が終了したとして、処理を終了する。
【００８３】
次に、図１３のフローチャートを参照し、図１１のＳ２２に相当する顧客話し掛け区間Ｂ特定処理について説明する。管理サーバー１５（制御部５３）は、店員による一連の話し掛け区間の特定が終了した後、音声データ管理テーブル８５を参照し、最後の店員発話区間の店員発話終了時間から所定時間内に音声データが存在するか否かを判別する（Ｓ４１）。ここで、音声データが存在しない場合は（Ｓ４１：Ｎｏ）、顧客話し掛け区間Ｂは存在しないものとして処理を終了する。また、音声データが存在する場合は（Ｓ４１：Ｙｅｓ）、音声データ管理テーブル８５から、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ４２）。
【００８４】
その後、音声データ管理テーブル８５を参照し、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在するか否かを判別し（Ｓ４３）、存在する場合は（Ｓ４３：Ｙｅｓ）、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ４２）。これにより、前に発生した顧客発話区間と今回発生した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在しない場合は（Ｓ４３：Ｎｏ）、顧客によるその後の話し掛け区間は存在しないものとして、処理を終了する。
【００８５】
次に、図１４のフローチャートを参照し、図１１のＳ２３に相当する顧客話し掛け区間Ａ特定処理について説明する。管理サーバー１５は、顧客話し掛け区間Ｂの特定が終了した後、音声データ管理テーブル８５を参照し、店員発話区間の店員発話開始時間から所定時間前までに、顧客の発声に基づく未処理の音声データが存在するか否かを判別する（Ｓ５１）。ここで、未処理の音声データが存在しない場合は（Ｓ５１：Ｎｏ）、顧客話し掛け区間Ａが存在しないものとして、処理を終了する。また、未処理の音声データが存在する場合は（Ｓ５１：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ５２）。
【００８６】
その後、音声データ管理テーブル８５を参照し、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在するか否かを判別し（Ｓ５３）、存在する場合は（Ｓ５３：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ５２）。これにより、前に登録した顧客発話区間と今回特定した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在しない場合は（Ｓ５３：Ｎｏ）、顧客によるそれ以前の話し掛け区間は存在しないものとして、処理を終了する。
【００８７】
以上、図１０ないし図１４に示した各処理により、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７への登録を行い、店員話し掛け区間、その前後における顧客話し掛け区間Ａおよび顧客話し掛け区間Ｂを特定することができる。ここで、店員話し掛け区間と顧客話し掛け区間との重複区間の検出について簡単に説明する。管理サーバー１５は、各話し掛け区間を特定した後、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７を参照し、重複区間の検出と、各テーブル８５，８６，８７への記録を行う。具体的には、まず、店員発話区間管理テーブル８６を参照し、同一話し掛けＮｏ．の最も早い店員発話開始時間と最も遅い店員発話終了時間を、店員話し掛け区間の開始時間と終了時間に設定する。同様に、顧客発話区間管理テーブル８７を参照し、同一話し掛けＮｏ．の最も早い顧客発話開始時間と最も遅い顧客発話終了時間を、顧客話し掛け区間の開始時間と終了時間に設定する。そして、店員話し掛け区間と顧客話し掛け区間とに重複区間が存在しないかを判定し、存在する場合は、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７に、重複区間（重複開始時間および重複終了時間）を登録すると共に、音声データ管理テーブル８５に重複フラグを立てる（図９（ａ）の重複フラグ欄における「客・店」に相当）。
【００８８】
次に、図１５を参照し、重複回数の計測方法について説明する。図１５（ａ）に示す例では、店員話し掛け区間と顧客話し掛け区間とが重複する重複区間が、４つ存在している。但し、２つ目の重複区間は、短い発話区間（所定時間以下の話し掛け区間）であるため、重複計測の対象とならない。したがって、同図の例では、重複計測区間（１）〜（３）の３回が、重複回数として計測される。
【００８９】
なお、重複計測区間（２），（３）は、１話し掛け区間に含まれる区間であるため、これを１重複計測区間として計測しても良い。この場合、図１５（ａ）に示す例では、重複回数が２回と計測される。
【００９０】
また、所定時間以下の話し掛け区間についても、全ての重複区間を重複計測の対象としても良い。この場合、図１５（ａ）に示す例では、重複回数が４回と計測される。
【００９１】
また、図１５（ｂ）に示す例のように、店員側からの話し掛けにより重複した区間のみを重複計測の対象としても良い。同図の例では、店員話し掛け区間と顧客話し掛け区間とが重複する重複区間が、４つ存在している。但し、２つ目と４つ目の重複区間は、顧客側からの話し掛けにより重複した区間であるため、重複計測の対象とならない。つまり、店員話し掛け区間が先行して開始されている状態で顧客の話し掛けが開始したような場合は、重複区間が発生しても、それを重複計測の対象としない。したがって、同図の例では、重複計測区間（１），（２）の２回が、重複回数として計測される。このように、店員側からの話し掛けにより重複した区間のみを重複計測の対象とすることで、店員の接客手法が良否を正確に判定することができる。
【００９２】
次に、図１６および図１７を参照し、接客データを確認するためのビューアー画面Ｄについて説明する。なお、ビューアー画面Ｄは、表示端末１６の表示画面１６ａに表示される。図１６は、会話比率一覧表のビューアー画面Ｄ０１を示す図である。当該ビューアー画面Ｄ０１には、照会条件を選択する照会条件選択領域Ｅ１１と、会話比率の一覧を表示する一覧表示領域Ｅ１２と、接客データに含まれる録音データの再生操作を行うための再生操作領域Ｅ１３と、が含まれる。
【００９３】
照会条件選択領域Ｅ１１は、「店舗」、「日付」、「店員（人物識別情報）」を選択（入力）可能となっている。ここで選択（入力）された条件に合致する接客データが、一覧表示領域Ｅ１２に表示される。なお、「店員」ではなく、「顧客（人物識別情報）」を選択（入力）可能とし、当該顧客に関連付けられた接客データを、一覧表示領域Ｅ１２に表示させても良い。また、「店員」と「顧客」の両方を選択（入力）可能とし、これらのａｎｄ条件またはｏｒ条件を満たす接客データを、一覧表示領域Ｅ１２に表示させても良い。
【００９４】
一覧表示領域Ｅ１２は、接客データごとに、「店舗」、「日付」、「店員」、「接客区間Ｎｏ．」、「接客開始」、「接客終了」、「相対会話比率」、「重複回数」、「顧客」、「売り上げ金額」、「売り上げＮｏ．」を関連付け、表形式で表示する。なお、「接客区間Ｎｏ．」は、接客区間ごとに自動付与される識別番号であり、「接客開始」および「接客終了」は、接客区間の開始時刻および終了時刻を指す。また、「相対会話比率」および「重複回数」は、当該接客区間における相対会話比率および重複回数を指す。また、「顧客」としては、当該接客の対象となった顧客氏名を表示し、「売り上げ金額」および「売り上げＮｏ．」は、変換データから得られた、会計レシートＲの合計金額およびレシートＮｏ．を指す。なお、一覧表示領域Ｅ１２では、いずれか１の接客データ（行）を選択可能となっており（枠２１１参照）、選択した接客データに含まれる録音データを、再生操作領域Ｅ１３により再生可能である。
【００９５】
再生操作領域Ｅ１３は、接客区間における録音データおよび撮像データの再生操作を行うためのボタン群２１２と、再生位置を示すプログレスバー２１３と、音量調節スライダ２１４と、を表示する。なお、特に図示しないが、管理サーバー１５は、再生操作領域Ｅ１３の操作にしたがって、録音データおよび撮像データを再生するための再生部（スピーカー等の音声出力部を含む）を備えている。プログレスバー２１３は、横軸方向に分単位の時間目盛りが記されている。また、プログレスバー２１３は、店員話し掛け区間と、顧客話し掛け区間と、重複区間と、これらいずれにも該当しない非会話区間と、を区別して表示する。同図では、異なるハッチと空白によって、これらを識別可能としているが、色分け表示、マーク付加表示、テキスト付加表示など、ユーザーが各区間を識別できれば、その表示形態を問わない。なお、プログレスバー２１３の目盛りは、分単位ではなく時間単位としても良い。また、接客データ内の録音データ全体の再生状況を把握できるように、録音データの長さに応じて、目盛りの単位および目盛り間隔を可変しても良い。
【００９６】
図１７は、会話比率−売り上げ実績相関図のビューアー画面Ｄ０２を示す図である。当該ビューアー画面Ｄ０２には、照会条件を選択する照会条件選択領域Ｅ２１と、会話比率と売り上げ実績（売り上げ情報）の相関図を表示する相関図表示領域Ｅ２２と、が含まれる。
【００９７】
照会条件選択領域Ｅ２１は、「店舗」、「日付区間」、「店員（人物識別情報）」を選択（入力）可能となっている。また、「店員」は、「ＡＬＬ（全ての店員）」を選択可能となっている。ここで選択（入力）された条件に合致する接客データに基づいて、相関図表示領域Ｅ２２が表示される。
【００９８】
相関図表示領域Ｅ２２は、横軸を顧客会話比率（単位：％）、縦軸を客単価（単位：円）とした散布図である。ここでは、全店員の３月５日に接客した全ての接客データに基づいて、平均会話比率と売り上げ情報（客単価）の交点となる「点」がプロットされている。これにより、ユーザーは、その店舗にとって、会話比率をどの程度にすれば売り上げが向上するかを一目で把握できる。例えば、同図の例では、顧客会話比率を７０％程度にすることにより、売り上げ向上に繋がると推測できる。
【００９９】
以上説明したとおり、第１実施形態に係る接客支援システムＳＹ１によれば、店員と顧客の会話比率を算出することにより、これを収集して経営戦略に役立てたり、接客スキルのトレーニングに利用したりすることができる。また、接客データには、店員識別情報および顧客識別情報が関連付けられるため、算出された会話比率が、どの店員のどの顧客に対する接客であったかを特定できる。これにより、個々の店員に対して適切な接客トレーニングを行うことができる。さらに、接客データには、売り上げ情報が関連付けられるため、会話比率と売り上げとの相関関係を、マーケティングデータとして収集できる。
【０１００】
また、接客区間ごとに会話比率を算出し、これをビューアー画面Ｄに表示するため、各接客について、総合的に好ましい接客であったか否か（例えば、店員音声の長さ：顧客音声の長さが２：８に近い値となったか否か）を把握できる。また、接客データには、録音データが関連付けられるため、例えば、好ましい会話比率が関連付けられた録音データを抽出して再生することで、接客トレーニングの教材として利用できる。つまり、会話スキルの高い店員の接客状況を、それ以外の店員に対して効率的に示すことができるため、会話スキルの水平展開に役立つ。
【０１０１】
また、接客データには、重複回数が関連付けられるため、会話比率だけでなく、当該重複回数からも、好ましい接客であったか否かを推測できる。例えば、重複回数が多い場合は、会話比率が好ましい値であったとしても、好ましい接客ではなかったと判断できる。
【０１０２】
なお、第１実施形態の変形例として、会話比率と重複回数とに基づく接客点数を算出し、これをビューアー画面Ｄに表示させても良い。以下、図１８を参照し、当該変形例について説明する。図１８（ａ）に示すように、接客点数は、“会話比率レベル”および“重複回数レベル”をパラメーターとして算出される。また、“会話比率レベル”および“重複回数レベル”には、それぞれ重み付けＰ１およびＰ２が乗算され、それらの合計値が、接客点数となる。なお、一般的に重み付けは、０≦Ｐ２≦Ｐ１≦１となり、Ｐ２よりもＰ１の方が大きな値となる。つまり、接客点数は、“会話比率レベル”の方が“重複回数レベル”よりも重み付けを大きくして算出される。但し、利用される店舗の状況により、利用者が任意に設定できることが好ましい。
【０１０３】
ここで、“会話比率レベル”とは、店員と顧客の会話比率が２：８に近いほど高い値となる。つまり、図１８（ｂ）に示すように、“会話比率レベル”は、顧客会話比率に応じて「０〜３」のいずれかの数値となる。また、“重複回数レベル”とは、重複回数が少ないほど高い値となる。つまり、図１８（ｃ）に示すように、“重複回数レベル”は、重複回数に応じて「０〜３」のいずれかの数値となる。
【０１０４】
このように、接客点数を算出することで、接客についての判定を客観的に行うことができる。また、その判定結果や接客点数を、接客データの一部として記録してビューアー画面Ｄに表示することで、店長やマネージャーなどの管理者が、一目で接客結果を確認することができる。
【０１０５】
なお、会話区間の終了ごと、若しくは接客区間の終了ごとに、好ましい接客であったか否かの判定結果および／または接客点数を、対象となる店員に対して通知しても良い。この場合、管理サーバー１５によって、接客の判定および接客点数の算出を行い、レシートプリンター１３および店員用端末５を介して、店員に装着された音声指示用イヤホン（図示省略）から、それらの情報を通知することが好ましい。この構成によれば、店員自身が接客中に、好ましい接客を行っているか否かを把握できるため、接客手法の向上が期待できる。
【０１０６】
また、上記の実施形態では、店員話し掛け区間を中心とした前後の顧客話し掛け区間の集合体（すなわち最低１つ、最大３つの話し掛け区間の集合体）を「１会話区間」と定義したが、「１会話区間」に含まれる話し掛け区間の数の制限を無くしても良い。すなわち、店員と顧客の話し掛け区間が所定時間（インターバルＹ）以上途切れないまま交互に繰り返される話し掛け区間の集合体を「１会話区間」としても良い。
【０１０７】
また、上記の実施形態では、店員と顧客の会話比率を算出する場合を例示したが、人物間の関係は、これに限定されるものではない。つまり、会社の上司と部下、夫婦やカップル、友人同士などであっても良い。
【０１０８】
また、上記の実施形態では、会話区間または接客区間ごとに会話比率を算出したが、所定時間内における会話比率を算出しても良い。例えば、所定時間１０分間の間に発声された店員と顧客の音声に基づいて会話比率を算出しても良い。また、店員の１日の勤務における会話比率を算出しても良い。
【０１０９】
また、上記の実施形態では、会話区間ごと、または接客区間ごとに会話比率を算出したが、単純に、隣り合う店員と顧客の話し掛け区間に基づいて（２つの話し掛け区間の比に基づいて）、会話比率を算出しても良い。
【０１１０】
また、上記の実施形態において、人物識別部１５２は、顔認識技術を用いて顧客を識別したが、他の方法を採用しても良い。例えば、無線ＩＣ（ＲＦＩＤ：Radio Frequency Identificationなど）が組み込まれた会員カードを各顧客が所持し、これを店舗の入り口に設置したＩＣリーダーで読み取って顧客識別情報を取得することで、顧客を識別しても良い。また、店員にも無線ＩＣが組み込まれた店員カードの所持を義務付け、当該店員カードを読み取ることで店員を識別可能としても良い。この方法により、読み取った店員カードと会員カードを同時期に読み取った場合、当該店員が当該顧客を接客しているものとして、両者を紐付けることができる。また、磁気情報が記録された会員カード（磁気カード）を、ＰＯＳ端末１２に付属の磁気カードリーダーで読み取ることで、顧客を識別しても良い。この場合は、接客を担当する店員が、同時に自分の店員カードを読み取らせることで、顧客と店員を紐付けることができる。なお、磁気カードリーダーは、管理サーバー１５に直接接続しても良い。さらに、顔認識技術ではなく音声認識技術を用いても良い。この場合、顧客情報記憶部８１および店員情報記憶部８２は、顔特徴量に代えて、声紋を記憶する必要がある。
【０１１１】
また、上記の実施形態では、店内カメラ１１の撮像結果を、有線ＬＡＮを介して直接管理サーバー１５に送信する構成としたが、レシートプリンター１３を介して管理サーバー１５に送信しても良い。逆に、店員用端末５は、レシートプリンター１３を介して管理サーバー１５に音声データを送信する構成としたが、店員用端末５から直接管理サーバー１５に送信しても良い。また、管理サーバー１５の各機能を、ＰＯＳシステムやＷＷＷサーバーで実現しても良い。
【０１１２】
［第２実施形態］
次に、図１９ないし図２３を参照し、本発明の接客データ記録装置、接客データ記録方法およびプログラムについて、第２実施形態として説明する。本実施形態に係る接客支援システムＳＹ２は、会話比率データと満足度データとを関連付けた接客データを記録し、これをマーケティングデータとして利用することを特徴とする。そこで、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
【０１１３】
図１９は、第２実施形態に係る接客支援システムＳＹ２の機能ブロック図である。本実施形態に係る管理サーバー１５は、第１実施形態と比較して、話し掛け区間抽出部１６１、顧客感情認識部１６２および顧客満足度算出部１６３が追加されている。
【０１１４】
話し掛け区間抽出部１６１は、第１実施形態の音声抽出部１５４に相当し、取得した会話（音声データ）から、店員話し掛け区間および顧客話し掛け区間を抽出する。
【０１１５】
顧客感情認識部１６２は、録音データ（接客区間に相当する音声データ）から抽出した顧客話し掛け区間に対し、音声の強度、音声の発生速度（単位時間当たりのモーラ数など）、単語別の強度、音量、音声スペクトルなどの変化量に基づいて、感情認識を行う。具体的には、録音データに含まれる顧客の発話区間ごとに感情認識を行う。このように、１フレーズごとに感情認識を行うことで、高精度な感情データを得ることができる。さらに、顧客感情認識部１６２は、図１５）に示したように、顧客話し掛け区間と店員話し掛け区間とが時間軸上で重複する重複区間を特定し、当該重複区間を「感情認識非対象区間」として、当該重複区間を除く顧客話し掛け区間に対して感情認識を行う。このように、顧客の音声と店員の音声が混合しており正確な感情認識を行うことができない重複区間を除いて感情認識を行うことで、誤認識を防止することができる。
【０１１６】
顧客満足度算出部１６３は、顧客感情認識部１６２の認識結果に基づいて、顧客満足度を算出する。また、顧客感情認識部１６２が発話区間ごとに感情認識を行うことに伴い、顧客満足度算出部１６３も、発話区間ごとに顧客満足度を算出する。なお、顧客満足度の具体的な算出方法については、後述する。
【０１１７】
本実施形態の接客データ記録部１５８は、会話比率算出部１５５により算出された会話比率に基づく会話比率データ、および顧客満足度算出部１６３により算出された顧客満足度に基づく満足度データを関連付け、接客データの一部として管理サーバー用データベースＤＢ２に記録する。
【０１１８】
図２０は、第２実施形態に係る管理サーバー用データベースＤＢ２の説明図である。管理サーバー用データベースＤＢ２は、第１実施形態と比較して、接客データ記憶部９１の記憶内容が異なる。本実施形態の接客データ記憶部９１は、顧客識別情報、店員識別情報、録音データ、撮像データ、売り上げ情報および接客日時の他、会話比率算出部１５５の算出結果に基づく会話比率データと、顧客満足度算出部１６３の算出結果に基づく満足度データと、を関連付けて記憶する。ここで、会話比率データとは、接客区間における会話比率と、各会話区間における会話比率と、を指す。また、満足度データとは、接客区間における顧客満足度と、各会話区間における顧客満足度と、を指す。
【０１１９】
次に、図２１を参照し、顧客満足度の算出アルゴリズム（計算式）について説明する。同図に示すように、顧客満足度は、発話区間、会話区間、接客区間の順に算出される。まず、発話区間別満足度は、図２１（ａ）に示すように、計算式「“発話区間別満足度”＝“喜データ”＋“笑データ”×Ａ」により算出される。ここで、“喜データ”は「喜び」の感情データ（例えば、０〜５０までの数値、以下同様）、“笑データ”は「笑い」の感情データ、Ａは０≦Ａ≦１となる定数を意味する。なお、当該算出アルゴリズムは、人物の満足度が、「快」の心理状態と、その心理的強度の乗算結果とに基づくという発想から導き出したものである。
【０１２０】
また、図２１（ｂ）に示すように、発話区間別実満足度は、計算式「“発話区間別実満足度”＝“発話区間別満足度”−“発話区間別不満足度”×Ｃ」、すなわち「（“喜データ”＋“笑データ”×Ａ）−（“怒データ”＋“悲データ”×Ｂ）×Ｃ」により算出される。ここで、“怒データ”は「怒り」の感情データ、“悲データ”は「悲しみ」の感情データ、Ｂは０≦Ｂ≦１となる定数、Ｃは０≦Ｃ≦１となる定数を意味する。このように、「喜び」および「笑い」の他に、「怒り」および「悲しみ」の感情データを用いることで、複雑な感情を考慮した、より信頼度の高い満足度を算出することができる。なお、当該算出アルゴリズムは、人物の不満足度が、「不快」の心理状態と、その心理的強度の乗算結果とに基づくという発想と、実満足度が、「快」および「不快」の心理状態に基づくという発想から導き出したものである。
【０１２１】
また、図２１（ｃ）に示すように、会話区間別満足度は、「“会話区間別満足度”＝会話区間に含まれる各顧客発話区間の“発話区間別実満足度”の平均値」から得られる。また、図２１（ｄ）に示すように、接客区間別満足度は、「“接客区間別満足度”＝接客区間に含まれる各会話区間の“会話区間別満足度”の平均値」から得られる。
【０１２２】
次に、図２２および図２３を参照し、第２実施形態に係るビューアー画面Ｄについて説明する。図２２は、満足度−会話比率一覧表のビューアー画面Ｄ０３を示す図である。当該ビューアー画面Ｄ０３は、例えば図１６に示したビューアー画面Ｄ０１から、「満足度−会話比率一覧表」を表示するための不図示のボタン操作により表示されるものであり、接客区間Ｎｏ．を示す区間Ｎｏ．表示領域Ｅ３１と、顧客満足度と顧客会話比率とを関連付けた一覧を表示する一覧表示領域Ｅ３２とが含まれる。一覧表示領域Ｅ３２は、接客区間の開始時刻および終了時刻を示す「時刻」の他、接客区間に含まれる各会話区間の「会話区間Ｎｏ．」、各会話区間の「顧客満足度」および各会話区間の「顧客会話比率」を関連付け、表形式で表示している。ここで、各会話区間の「顧客満足度」とは、図２１（ｃ）に示した会話区間別満足度を指す。
【０１２３】
図２３は、満足度−会話比率重ね合わせグラフのビューアー画面Ｄ０４を示す図である。当該ビューアー画面Ｄ０４は、例えば図１６または図２２に示したビューアー画面Ｄ０１，Ｄ０３から、「満足度−会話比率重ね合わせグラフ」を表示するための不図示のボタン操作により表示されるものであり、接客データに含まれる一部の情報を表示する接客データ表示領域Ｅ４１と、顧客満足度と会話比率との関係をグラフ化したグラフ表示領域Ｅ４２と、が含まれる。
【０１２４】
接客データ表示領域Ｅ４１は、「日付」、「店員」、「顧客」、「接客時間」、「売り上げＮｏ．」、「売り上げ金額」、「顧客の平均会話比率」、「平均顧客満足度」および「接客区間Ｎｏ．」を表示する。ここで、「接客時間」とは、接客開始時刻および接客終了時刻を指す。また、「平均顧客満足度」とは、図２１（ｄ）に示した接客区間別満足度を指す。
【０１２５】
グラフ表示領域Ｅ４２は、横軸を「会話区間Ｎｏ．」、縦軸を「顧客満足度」とした第１の折れ線グラフ（実線、黒丸にて図示）と、横軸を「会話区間Ｎｏ．」、縦軸を「会話比率」とした第２の折れ線グラフ（破線、白丸にて図示）と、を重ね合わせた重ね合わせグラフを表示する。ここで、横軸の「会話区間Ｎｏ．」は、時系列に並べられている。なお、「会話区間Ｎｏ．」に代えて、横軸を時間（時刻）としても良い。また、「顧客満足度」は、０〜１００の数値で表されるように、感情データおよび定数Ａ，Ｂ，Ｃの値が定められているものとする。また、「会話比率」は、顧客会話比率を単位％で示したものであり、０〜１００％で表される。このように、接客区間内の、各会話区間における顧客満足度の推移と、各会話区間における会話比率の推移とを、共通する時間軸上でグラフ化して表示することにより、ユーザーは、１接客内における会話状況の変化や顧客の感情の変化、並びにそれらの相関関係を一目で把握することができる。
【０１２６】
以上説明したとおり、第２実施形態に係る接客支援システムＳＹ２によれば、会話比率データと満足度データとを関連付け、接客データとして記録するため、これをマーケティングデータとして利用することができる。また、当該接客データにより、会話比率がどの程度顧客満足度に影響するかを推定でき、会話トレーニングの成果を証明できる。また、会話比率データとして各会話区間における会話比率を記録すると共に、満足度データとして各会話区間における顧客満足度を記録し、これらをビューアー画面Ｄ０３，Ｄ０４に表示することで、１接客内における会話状況の変化や顧客の感情の変化を確認できる。さらに、接客データとして、各接客区間における平均会話比率および平均顧客満足度を記録・表示するため（図２３のＥ４１参照）、各接客の総合的な評価を容易に把握することができる。
【０１２７】
なお、上記の実施形態では、接客管理を目的として、店員と顧客の会話比率および顧客満足度を算出したが、個人で利用しても良い。これにより、収集した会話比率データや満足度データを、個人間の会話スキル（会話テクニック）の向上に役立てることができる。
【０１２８】
［第３実施形態］
次に、図２４ないし図３１を参照し、本発明の接客支援装置、接客支援方法およびプログラムについて、第３実施形態として説明する。本実施形態に係る接客支援システムＳＹ３は、店員や顧客を監視する監視部の監視結果に基づいて、接客対象となる顧客別に接客区間を特定することを特徴とする。そこで、上記の各実施形態と異なる点のみ説明する。なお、本実施形態において、上記の各実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、上記の各実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
【０１２９】
図２４は、第３実施形態に係る接客支援システムＳＹ３の機能ブロック図である。本実施形態では、音声取得用マイク２が監視部として機能する。つまり、監視部は、会話取得部１０２を含んでおり（監視部の他の例については後述する）、会話取得部１０２は、店員と顧客の会話を取得する。
【０１３０】
また、本実施形態に係る管理サーバー１５は、第２実施形態と比較し、接客切替検出部１７１、切替検出データ記録部１７２、接客切替区間特定部１７３、接客会話区間特定部１７４および接客区間特定部１７５が追加されている。
【０１３１】
接客切替検出部１７１は、監視部の監視結果、すなわち会話取得部１０２によって取得した会話に含まれる顧客の音声に基づいて、店員の接客対象となっている対象顧客の切り替わりを検出する。本実施形態では、顧客の音声に対して、定期的に声紋認証を行い、当該声紋認証結果の変化により、対象顧客の切り替わりを検出する。なお、顧客の音声から、声紋以外の声の特徴量（声の高さや早さなど）を判別し、当該特徴量の変化によって、対象顧客の切り替わりを検出しても良い。
【０１３２】
切替検出データ記録部１７２は、店員を識別する店員識別情報と、接客切替検出部１７１の検出時刻（タイムスタンプ）と、を関連付け、切替検出データとして管理サーバー用データベースＤＢ３に記録する。
【０１３３】
接客切替区間特定部１７３は、記録した切替検出データに基づいて、検出開始からＮ番目（但し、ＮはＮ≧１となる整数）の検出時刻を区間開始時刻とし、且つＮ＋１番目の検出時刻を区間終了時刻とする接客切替区間を特定する。つまり、「接客切替区間」は、切替検出データに基づいて特定される区間である。
【０１３４】
接客会話区間特定部１７４は、話し掛け区間抽出部１６１により抽出された話し掛け区間に基づいて、接客会話区間を特定する。なお、第１実施形態および第２実施形態に係る「接客区間」は、本実施形態に係る「接客会話区間」に相当する。前述の通り、会話区間は、店員と顧客による話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体であるから、所定時間以上途切れないまま繰り返される会話区間の集合体を、１接客会話区間として特定する。つまり、「接客会話区間」は、接客データに含まれる録音データに基づいて特定される区間である。
【０１３５】
また、接客区間特定部１７５は、接客切替区間特定部１７３により特定された接客切替区間と、接客会話区間特定部１７４により特定された接客会話区間と、に基づいて接客区間を特定する。具体的には、接客会話区間と接客切替区間とを、ａｎｄ演算またはｏｒ演算することにより、接客区間を特定する。なお、接客区間特定部１７５は、店員識別情報によって、任意の切替検出データと、録音データを紐付けし、比較演算を行う。接客区間特定部１７５による接客区間の特定方法については、後に詳述する。
【０１３６】
上記の構成により、本実施形態の会話比率算出部１５５は、接客区間特定部１７５により特定された接客区間における会話比率を算出する。また、本実施形態の接客データ記録部１５８は、接客区間特定部１７５により特定された接客区間に相当する音声データである録音データや、同じく接客区間特定部１７５により特定された接客区間に相当する映像データである撮像データを、接客データとして記録する。また、本実施形態の画面表示部１５９は、ユーザーの操作に基づいて、接客切替区間特定部１７３により特定された接客切替区間、接客会話区間特定部１７４により特定された接客会話区間、および接客区間特定部１７５により特定された接客区間を、ビューアー画面Ｄに表示する（例えば、図２６ないし図３０参照）。また、ユーザーの操作に基づき、ビューアー画面Ｄ上で、接客区間の開始時間および終了時間の修正ができるようになっている。
【０１３７】
図２５は、第３実施形態に係る管理サーバー用データベースＤＢ３の説明図である。管理サーバー用データベースＤＢ３は、第１実施形態および第２実施形態で示した各部の他に、さらに切替検出データ記憶部９３として機能する。当該切替検出データ記憶部９３は、切替検出データ記録部１７２により記録された切替検出データを記憶する。また、本実施形態の接客データ記憶部９４は、顧客識別情報、店員識別情報、接客区間分の音声データに相当する録音データ、接客区間分の映像データに相当する撮像データ、接客区間における会話比率の他、接客区間データを記憶する。当該接客区間データは、接客区間の区間開始時刻および区間終了時刻を含むデータを指す。
【０１３８】
次に、図２６を参照し、切替検出データおよび切替検出期間について説明する。図２６（ａ）に示すように、切替検出データは、「店員識別情報」、「日付」および「切替検出時刻」が関連付けられた情報である。なお、「切替検出時刻」は、接客切替検出部１７１により、対象顧客の切り替わりが検出された時刻を指す。本実施形態では、顧客の音声に対して、定期的に声紋認証を行い、当該声紋認証結果が変化したとき（異なる顧客の声紋を認識したとき）、対象顧客が切り替わったと判定する。
【０１３９】
図２６（ｂ）は、接客切替区間を時間軸上で示したイメージ図である。接客切替区間は、切替検出ごとに新たな区間が発生するものとして定義されるため、同図に示すように、隣り合う区間の間に間隙が生じることがなく、連続した区間となる。
【０１４０】
次に、図２７を参照し、接客会話区間について説明する。図２７（ａ）は、接客会話区間特定結果の一例を示す図である。なお、接客会話区間は、第１実施形態で示した接客区間の特定方法によって特定される。ここでは、特定結果として、「店員識別情報」、「日付」、「顧客識別情報」および「接客会話区間」を示している。また、接客会話区間のインターバルの基準長さ（図５（ｂ）におけるインターバルＺ）は、１分３０秒であるものとする。
【０１４１】
図２７（ｂ）は、接客会話区間を時間軸上で示したイメージ図である。接客会話区間は、所定時間以上途切れないまま繰り返される会話区間の集合体として定義されるため、同図に示すように、隣り合う区間の間に間隙が生じる。
【０１４２】
次に、図２８ないし図３０を参照し、接客区間の特定方法について説明する。接客区間の特定方法として、ここでは３つのパターン（接客区間特定パターンＡ〜Ｃ）を例示する。図２８は、接客区間特定パターンＡを示す図である。接客区間特定パターンＡは、接客会話区間を基準にして接客区間を特定する。但し、複数の連続する接客会話区間が、１の接客切替区間に含まれる場合（接客会話区間（１），（２）と接客切替区間（１）の関係）、当該複数の接客会話区間の開始時刻から終了時刻までを、１接客区間とする（接客区間（１））。また、接客会話区間の途中で、接客切替区間が途切れる場合（接客会話区間（３）と接客切替区間（２），（３）の関係）、当該接客切替区間が途切れた時刻によって接客区間を分割する。つまり、同図の例では、接客会話区間（３）の開始時刻から接客切替期間（２）の終了時刻までを、接客区間（２）とし、接客切替区間（２）の終了時刻（接客会話区間（３）の開始時刻）から接客会話区間（３）の終了時刻までを、接客区間（３）とする。なお、これらの特定方法によって特定された接客区間の区間長が、所定時間未満の場合、その区間を接客区間として特定しない（無視する）ことが好ましい。
【０１４３】
このように接客区間特定パターンＡでは、本実施形態のように、顧客の声紋の変化によって対象顧客の切り替わりを検出する構成において、顧客別の接客区間を、正確に特定することができる。例えば、接客切替区間のみによって接客区間を特定する（接客切替区間＝接客区間とする）と、既に対象顧客が切り替わっているが、顧客の発声がないために前の接客が続いていると誤判定される可能性がある（例えば、接客切替区間（１）で接客会話区間（２）がないケースでは、接客会話区間（２）に相当する時間が接客会話区間（１）に加算されてしまう）。したがって、接客会話区間を基準に接客区間を特定することで、接客区間終了時刻の誤差を無くすことができる。
【０１４４】
また、接客会話区間のみによって接客区間を特定する（接客会話区間＝接客区間とする）と、同じ対象顧客であるにも拘らず、会話が所定時間以上途切れたために、異なる接客であると誤判定されてしまう（例えば、接客会話区間（１），（２）と接客切替区間（１）の関係）。また、逆に、対象顧客が切り替わったにも拘らず、会話が所定時間以上途切れなかったために、同じ接客であると誤判定されることもある（例えば、接客会話区間（３）と接客切替区間（２），（３）の関係）。したがって、接客会話区間と接客切替区間のいずれか一方のみではなく、両方を比較演算して接客区間を特定することで、正確な接客区間を特定できる。
【０１４５】
なお、本実施形態の接客切替検出部１７１は、定期的に声紋認証を行い、当該声紋認証結果が変化したとき、対象顧客が切り替わったと判定するものとしたが、所定時間内における同一声紋の出現率が所定値以下となったことにより、対象顧客の切り替わりを検出しても良い。この構成によれば、接客対象が家族連れの場合など、対象顧客が一人であるとは限らないため、所定時間内における同一声紋の出現率に応じて、対象顧客の切り替わりを検出することで、対象顧客別の接客区間を正確に特定することができる。例えば、同一人物の声紋が１分間に１回以上認識できている間は、対象顧客の切り替わりを検出しない、などが考えられる。なお、所定時間内における同一声紋の出現率に応じて、対象顧客の切り替わりを検出するのではなく、所定時間以上継続して同一声紋を検出しない場合、対象顧客が切り替わったと判定しても良い。
【０１４６】
続いて、図２９を参照し、接客区間特定パターンＢについて説明する。接客区間特定パターンＢは、接客会話区間と接客切替区間とが重複する区間を抽出して（ａｎｄ条件で比較演算を行い）、接客区間を特定する。例えば、接客区間（１），（２）については、いずれも接客切替区間（１）に含まれる区間であるため、接客会話区間（１），（２）と同じ区間となる。また、接客切替区間（２）は、接客会話区間（３）に含まれる区間であるため、接客切替区間（２）が接客区間（３）となる。さらに、接客会話区間（３）と接客切替区間（３）とを比較し、その重複部分を抽出して接客区間（４）とする。なお、本例においても、区間長が所定時間未満の接客区間を特定しないことが好ましい。
【０１４７】
続いて、図３０を参照し、接客区間特定パターンＣについて説明する。接客区間特定パターンＣは、接客切替区間を基準にして接客区間を特定する。例えば、接客区間（１）については、接客切替区間（１）と同じ区間となる。但し、接客切替区間よりも接客会話区間が長い場合は（接客会話区間（３）と接客切替区間（２）との関係）、当該接客切替区間の終了時刻を接客区間の切替時刻としない。つまり、同図の例では、接客切替区間（２），（３）を合計した区間を接客区間（２）とする（接客区間（２）の開始時刻は、接客切替区間（２）の開始時刻となり、接客区間（２）の終了時刻は、接客切替区間（３）の終了時刻となる）。なお、本例においても、区間長が所定時間未満の接客区間を特定しないことが好ましい。
【０１４８】
次に、図３１を参照し、接客区間設定（本実施形態の変形例）について説明する。本実施形態では、監視手段を音声取得用マイク２とし、顧客の声紋の変化を検出したとき、対象顧客が切り替わったと判定した。つまり、監視手段（監視内容）として、同図（ａ−１）を採用した。また、この場合、接客区間特定方法としては、接客区間特定パターンＡを採用することが好ましいと記載したが（同図（ｂ−１））、他の特定パターンを採用しても良い。つまり、接客区間特定パターンＢ（同図（ｂ−２））や、接客区間特定パターンＣ（同図（ｂ−３））を採用しても良い。さらに、その他の接客区間特定方法として、接客切替区間＝接客区間とする方法（同図（ｂ−４））や、接客会話区間＝接客区間とする方法（同図（ｂ−５））を採用しても良い。
【０１４９】
また、同図（ａ−２）に示すように、監視内容として、店員のキーワードを監視しても良い。この場合、接客切替検出部１７１は、店員の音声に対して、音声認識を行い、当該音声認識によって所定のキーワードを検出することにより、対象顧客の切り替わりを検出する。また、管理サーバー１５は、音響分析部、音響モデル、言語モデル、単語辞書およびテキスト変換部を含む音声認識部を備えることが前提となる。なお、音声認識部は、録音データに含まれる店員の音声を、発話区間ごとに認識することが好ましい。この構成によれば、所定のキーワードを検出することにより、対象顧客の切り替わりを容易に検出できる。例えば、接客区間の開始を示す「いらっしゃいませ」を検出した時刻を切替検出時刻としても良い。また、接客区間の終了を示す「またのご来店をお待ちしております」、「お買い上げありがとうございます」、「少々お待ちください」を検出した時刻を切替検出時刻としても良い。また、店舗ごとに、接客終了時に発声するキーワードを決めておき、そのキーワードを検出した時刻を切替検出時刻としても良い。この場合のキーワードとしては、例えば「終わり」、「バイバイ」など、通常接客時に使用しないキーワードを採用することが好ましい。さらに、接客区間の開始を示す開始キーワードと、接客区間の終了を示す終了キーワードとの両方を検出することにより、対象顧客の切り替わりをより正確に検出しても良い。つまり、「いらっしゃいませ」キーワード検出によって接客切替区間の開始と看做し、「またのご来店をお待ちしております」のキーワード検出によって接客切替区間の終了と看做しても良い。この場合、上記の実施形態の例とは異なり、隣り合う接客切替区間の間に、間隙が生じることとなる。
【０１５０】
また、同図（ａ−３）に示すように、監視手段として店内カメラ１１を利用し、店員の行動を監視しても良い。この場合、店員と顧客の接客状況を撮像する接客撮像部１１１が監視部として機能し、接客切替検出部１７１は、接客撮像部１１１により撮像された映像に基づいて、対象顧客の切り替わりを検出する。具体的には、映像の画像認識により、店員を特定し、当該店員の所定の行動を検出することにより、対象顧客の切り替わりを検出する。なお、店内カメラ１１は、天井や机に取り付けても良いし、店内カメラ１１に代えて、店員の服や体に小型カメラを装着しても良い。また、所定の行動としては、接客終了時に行うお辞儀など、自然発生するアクションが考えられ、この場合の、お辞儀の検出時刻を切替検出時刻としても良い。また、店舗ごとに、接客終了時に行うアクション（合図）を決めておき、そのアクションの検出により、対象顧客の切り替わりを検出しても良い。この場合のアクションとしては、例えば「カメラに向かいＶサインを行う」、「所定の場所に移動する」など、通常接客時に行わないアクションを採用することが好ましい。さらに、接客区間の開始を示す開始アクションと、接客区間の終了を示す終了アクションとの両方を検出することにより、対象顧客の切り替わりをより正確に検出しても良い。つまり、「カメラに向かいＶサインを行う」行動の検出によって接客切替区間の開始と看做し、「お辞儀」の行動検出によって接客切替区間の終了と看做しても良い。この場合も、隣り合う接客切替区間の間に、間隙が生じることとなる。
【０１５１】
また、同図（ａ−４）に示すように、監視手段として角度センサー（図示省略）を利用し、店員の動作を監視しても良い。この場合、店員に取り付けられ、当該店員の動作を検出する動作検出部（図示省略）が監視部として機能し、接客切替検出部１７１は、動作検出部の検出結果に基づいて、対象顧客の切り替わりを検出する。なお、動作検出部は、店員の上半身に取り付けられることが好ましい。また、角度センサーに代えて、重力センサーやジャイロセンサーを採用しても良い。また、動作検出部は、店員用端末５にその検出結果を出力し、店員用端末５から管理サーバー１５に出力結果が送信されることが好ましい。この場合、接客切替検出部１７１は、動作検出部により店員の上半身が傾く動作を検出したことにより、対象顧客の切り替わりを検出する。この構成によれば、店員の上半身が傾く動作により、接客終了時に行うお辞儀が行われたと判定できるため、当該動作検出により、対象顧客の切り替わりを正確に検出できる。
【０１５２】
なお、店員の動作としては、上記のような、自然発生する動作の他、店舗ごとに、予め接客終了時に行う動作を決めておき、その動作の検出により、対象顧客の切り替わりを検出しても良い。この場合の動作としては、例えば「店員カードをさわる」、「ポケットをたたく」など、通常接客時に行わない動作が考えられる。また、動作検出部としては、接触センサーや赤外線センサーなど他のセンサーを採用しても良い。また、センサー以外にも、店員によって操作されるタッチ式ボタンなど、各種操作手段を、動作検出部として用いても良い。さらに、接客区間の開始を示す開始動作と、接客区間の終了を示す終了動作との両方を検出することにより、対象顧客の切り替わりをより正確に検出しても良い。つまり、「店員カードをさわる」動作の検出によって接客切替区間の開始と看做し、「お辞儀」の動作検出によって接客切替区間の終了と看做しても良い。この場合も、隣り合う接客切替区間の間に、間隙が生じることとなる。
【０１５３】
このように、ユーザーは、管理サーバー１５に備えられた入力装置５５等により、監視手段および接客区間特定方法として、複数の選択肢から任意の候補を選択可能となっている。また、監視手段と接客区間特定方法の組み合わせは任意であり、使用状況やユーザーのニーズに応じて変更可能である。
【０１５４】
以上説明したとおり、第３実施形態に係る接客支援システムＳＹ３によれば、店員および顧客の少なくとも一方の監視結果から、接客対象となっている対象顧客の切り替わりを検出し、その検出時刻を店員識別情報と関連付け、切替検出データとして記録しておくため、当該切替検出データから、接客切替区間を特定できる。また、切替検出データを記録しておくため、これをマーケティングデータとして集計し、各店員の接客スキルの向上に役立てることができる。
【０１５５】
また、切替検出データに基づいて特定した接客切替区間と、録音データに基づいて特定した接客会話区間とを、比較演算して接客区間を特定するため、接客対象となる顧客別の接客区間を正確に特定することができる。また、正確な接客区間を特定することで、信頼性の高い会話比率を算出できる。また、算出した会話比率は、接客データの一部として記録されるため、これを接客手法の教材として利用できると共に、各接客（接客データ）について良い接客であったか否かを判別できる。これにより、例えば、会話比率から良い接客と考えられる接客状況を、各店員に示すなど、接客スキルの水平展開に役立てることができる。
【０１５６】
なお、上記の実施形態では、接客区間特定部１７５により特定された接客区間における会話比率を算出したが、当該接客区間における顧客満足度を算出し、これらに基づく会話比率データと満足度データとを関連付け、接客データとして記録しても良い。つまり、第２実施形態と第３実施形態を組み合わせた構成としても良い。
【０１５７】
以上、第１実施形態ないし第３実施形態を示したが、これらの各実施形態に示した接客支援システムＳＹ１，ＳＹ２，ＳＹ３の各処理をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリー等）に格納して提供することも可能である。すなわち、コンピューターを、接客支援システムＳＹ１，ＳＹ２，ＳＹ３の各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。その他、上述した実施例によらず、各接客支援システムＳＹ１，ＳＹ２，ＳＹ３のシステム構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。
【符号の説明】
【０１５８】
１…体導音センサー ２…音声取得用マイク ５…店員用端末 ６…ビューアー画面 １１…店内カメラ １２…ＰＯＳ端末 １３…レシートプリンター １４…レジカウンター １５…管理サーバー １６…表示端末 １６ａ…表示画面 １８…商品マスタ １９…ネットワーク ２１２…ボタン群 ２１３…プログレスバー ２１４…音量調節スライダ Ｄ…ビューアー画面 ＤＢ…管理サーバー用データベース Ｅ１１…照会条件選択領域 Ｅ１２…一覧表示領域 Ｅ１３…再生操作領域 Ｅ２１…照会条件選択領域 Ｅ２２…相関図表示領域 Ｅ３２…一覧表示領域 Ｅ４１…接客データ表示領域 Ｅ４２…グラフ表示領域 Ｒ…会計レシート ＳＹ…接客支援システム
【技術分野】
【０００１】
マーケティングデータとして接客に関するデータを収集し、接客スキルの向上に役立てる接客支援装置、接客支援方法およびプログラムに関するものである。
【背景技術】
【０００２】
近年、販売促進に活用するためのマーケティングデータとして、顧客データや売り上げデータを収集する試みが行われている。例えば、特許文献１では、ＰＯＳデータを分析して消費者の併売傾向を数量的に把握し、販売促進に反映させるマーケティングデータ収集分析技術が提案されている。
【０００３】
一方、会話状況を推定する技術として、人物の音声に基づいて感情を認識する感情認識技術が知られている。例えば、特許文献２では、被験者が入力した音声信号から、音声の強度、テンポおよび抑揚などの変化量を、「怒り」、「悲しみ」および「喜び」などそれぞれの感情状態に対応付けて感情認識を行っている。
【０００４】
ところで、マーケティングの分野では、生産性や効率を多少犠牲にしてでも顧客満足度を高めた方が、消費者のリピーター化などを通じて結果的には良いと言われている。また、小売店を初めとするホスピタリティを重視する店舗では、売り上げと顧客満足度には密接な関連性があるため、顧客満足度を高めるために、接客スキルのトレーニングや、顧客に対する印象を良くするための笑顔や挨拶のトレーニングを行っている。中でも、接客スキルの一つである会話テクニックは重要視され、顧客との会話比率に着目したトレーニングが行われている。一般的に、店員と顧客の会話比率は、顧客の割合が大きい方が好ましいとされており（例えば、２：８など）、これを維持することで、顧客満足度に好影響を与えると言われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−９４５９２号公報
【特許文献２】特開２００２−９１４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、接客に好ましいとされる会話比率が分かっていても、会話比率を測定する方法が無いため、各店員がそれを実践できているか否かは不明である。また、会話比率を測定・算出するためには、接客対象となる顧客ごとに測定・算出することが好ましい。これは、接客対象に関係なく店員の会話比率を測定した場合（ある店員の１日における総合的な会話比率を測定するなど）、どの接客が良く、どの接客が悪かったかを判別できず、接客スキルの向上に役立てられないためである。したがって、接客対象となる顧客別に接客区間を特定し、当該接客区間ごとに会話比率を測定することが望ましいが、当該接客区間を特定する方法は、未だ提案されていない。
【０００７】
本発明は、上記の問題点に鑑み、接客対象となる顧客別に接客区間を特定可能な接客支援装置、接客支援方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の接客支援装置は、店員および顧客の少なくとも一方を監視する監視部と、監視部の監視結果に基づいて、店員の接客対象となっている対象顧客の切り替わりを検出する接客切替検出部と、店員を識別する店員識別情報と、接客切替検出部の検出時刻と、を関連付け、切替検出データとしてデータベースに記録する切替検出データ記録部と、を備えたことを特徴とする。
【０００９】
本発明の接客支援方法は、コンピューターが、店員および顧客の少なくとも一方を監視する監視ステップと、監視ステップによる監視結果に基づいて、店員の接客対象となっている対象顧客の切り替わりを検出する接客切替検出ステップと、店員を識別する店員識別情報と、接客切替検出ステップによる検出時刻と、を関連付け、切替検出データとしてデータベースに記録する切替検出データ記録ステップと、を実行することを特徴とする。
【００１０】
これらの構成によれば、店員および顧客の少なくとも一方の監視結果から、接客対象となっている対象顧客の切り替わりを検出し、その検出時刻を店員識別情報と関連付け、切替検出データとして記録しておくため、当該切替検出データから、顧客別の接客区間を特定できる。また、接客区間の特定結果を、マーケティングデータとして収集することで、接客スキルの向上に役立てることができる。
【００１１】
上記に記載の接客支援装置において、監視部は、店員と顧客の会話を取得する会話取得部を含み、接客切替検出部は、会話に含まれる店員および顧客の少なくとも一方の音声に基づいて、対象顧客の切り替わりを検出することが好ましい。
【００１２】
この構成によれば、天井、机、店員などに取り付けられたマイクにより、店員および顧客の少なくとも一方の音声を取得することで、対象顧客の切り替わりを検出できる。
【００１３】
上記に記載の接客支援装置において、接客切替検出部は、顧客の音声に対して、定期的に声紋認証を行い、当該声紋認証結果の変化により、対象顧客の切り替わりを検出することが好ましい。
【００１４】
この構成によれば、声紋認証技術を用いて、対象顧客の切り替わりを正確に検出できる。
【００１５】
上記に記載の接客支援装置において、接客切替検出部は、所定時間内における同一声紋の出現率が所定値以下となったことにより、対象顧客の切り替わりを検出することが好ましい。
【００１６】
この構成によれば、接客対象が家族連れの場合など、対象顧客が一人であるとは限らないため、所定時間内における同一声紋の出現率に応じて、対象顧客の切り替わりを検出することで、対象顧客別の接客区間を正確に特定できる。例えば、同一人物の声紋が１分間に１回以上認識できている間は、対象顧客の切り替わりを検出しない、などが考えられる。
なお、所定時間内における同一声紋の出現率に応じて、対象顧客の切り替わりを検出するのではなく、所定時間以上継続して同一声紋を検出しない場合、対象顧客が切り替わったと判定しても良い。
【００１７】
上記に記載の接客支援装置において、接客切替検出部は、店員の音声に対して、音声認識を行い、当該音声認識によって所定のキーワードを検出することにより、対象顧客の切り替わりを検出することが好ましい。
【００１８】
この構成によれば、所定のキーワードを検出することにより、対象顧客の切り替わりを容易に検出できる。
なお、所定のキーワードとしては、接客区間の開始を示す「いらっしゃいませ」、並びに接客区間の終了を示す「またのご来店をお待ちしております」、「お買い上げありがとうございます」、「少々お待ちください」などが考えられる。また、店舗ごとに、接客終了時に発声するキーワードを決めておき、そのキーワードの検出により、対象顧客の切り替わりを検出しても良い。この場合のキーワードとしては、例えば「終わり」、「バイバイ」など、通常接客時に使用しないキーワードが考えられる。
【００１９】
上記に記載の接客支援装置において、店員に取り付けられ、当該店員が発話したことを検出する発話検出部をさらに備え、接客切替検出部は、発話検出部の検出結果に基づいて、会話に含まれる音声が、店員の音声であるか顧客の音声であるかを判別することが好ましい。
【００２０】
この構成によれば、発話検出部を用いることで、正確に店員と顧客の音声を判別し、ひいては、より正確に接客区間を特定できる。
なお、発話検出部としては、例えば、人物の音声が骨や肉を伝わって体表に届く体導音を検出する体導音センサーが挙げられる。この場合、体導音センサーは、頭頚部の体表に装着されることが好ましい。
【００２１】
上記に記載の接客支援装置において、監視部は、店員と顧客の接客状況を撮像する接客撮像部を含み、接客切替検出部は、接客撮像部により撮像された映像に基づいて、対象顧客の切り替わりを検出することが好ましい。
【００２２】
この構成によれば、天井、机、店員などに取り付けられたカメラにより、接客状況を撮像することで、対象顧客の切り替わりを検出できる。
【００２３】
上記に記載の接客支援装置において、接客切替検出部は、映像の画像認識により、店員を特定し、当該店員の所定の行動を検出することにより、対象顧客の切り替わりを検出することが好ましい。
【００２４】
この構成によれば、店員の所定の行動を検出することにより、対象顧客の切り替わりを容易に検出できる。
なお、所定の行動としては、接客終了時に行うお辞儀など、自然発生するアクションが考えられる。また、店舗ごとに、接客終了時に行うアクション（合図）を決めておき、そのアクションの検出により、対象顧客の切り替わりを検出しても良い。この場合のアクションとしては、例えば「カメラに向かいＶサインを行う」、「所定の場所に移動する」など、通常接客時に行わないアクションが考えられる。
【００２５】
上記に記載の接客支援装置において、監視部は、店員に取り付けられ、当該店員の動作を検出する動作検出部を含み、接客切替検出部は、動作検出部の検出結果に基づいて、対象顧客の切り替わりを検出することが好ましい。
【００２６】
この構成によれば、角度センサー、重力センサー、ジャイロセンサー、接触センサー、赤外線センサーなど、店員に取り付けられた各種センサーにより、店員の動作を検出することで、対象顧客の切り替わりを検出できる。
なお、各種センサー以外に、店員によって操作されるタッチ式ボタンなど、各種操作手段を、動作検出部として用いても良い。
【００２７】
上記に記載の接客支援装置において、接客切替検出部は、動作検出部により店員の上半身が傾く動作を検出したことにより、対象顧客の切り替わりを検出することが好ましい。
【００２８】
この構成によれば、店員の上半身が傾く動作により、接客終了時に行うお辞儀が行われたと判定できるため、当該動作検出により、対象顧客の切り替わりを正確に検出できる。
なお、店員の動作としては、上記のような、自然発生する動作の他、店舗ごとに、接客終了時に行う動作を決めておき、その動作の検出により、対象顧客の切り替わりを検出しても良い。この場合の動作としては、例えば「店員カードをさわる」、「ポケットをたたく」など、通常接客時に行わない動作が考えられる。
【００２９】
上記に記載の接客支援装置において、店員と顧客の会話に基づく音声データを録音する音声データ録音部と、切替検出データに基づいて、検出開始からＮ番目（但し、ＮはＮ≧１となる整数）の検出時刻を区間開始時刻とし、且つＮ＋１番目の検出時刻を区間終了時刻とする接客切替区間を特定する接客切替区間特定部と、店員識別情報に、接客切替区間特定部により特定された接客切替区間に相当する音声データである録音データを関連付け、接客データとしてデータベースに記録する接客データ記録部と、をさらに備えたことが好ましい。
【００３０】
上記に記載の接客支援装置において、接客切替区間に含まれる、店員による各話し掛け区間の長さの合計であるΣＬａ（但し、ΣＬａはΣＬａ≧０となる変数）と、顧客による各話し掛け区間の長さの合計であるΣＬｂ（但し、ΣＬｂはΣＬｂ≧０となる変数）と、を算出し、ΣＬａとΣＬｂの比率、若しくはΣＬａまたはΣＬｂの（ΣＬａ＋ΣＬｂ）に対する比率である会話比率を算出する会話比率算出部をさらに備え、接客データ記録部は、店員識別情報および録音データに、会話比率を関連付け、接客データとしてデータベースに記録することが好ましい。
【００３１】
これらの構成によれば、切替検出データに基づいて接客切替区間（顧客別の接客区間）を特定し、当該接客切替区間の録音データを、接客データとして記録するため、これを有用なマーケティングデータとして利用できる。また、顧客別の接客切替区間を特定することで、当該接客切替区間ごとに会話比率を算出できる。また、算出した会話比率は、接客データの一部として記録されるため、これを接客手法の教材として利用できると共に、各接客（接客データ）について良い接客であったか否かを判別できる。これにより、例えば、会話比率から良い接客と考えられる接客状況を、各店員に示すなど、接客スキルの水平展開に役立てることができる。
【００３２】
上記に記載の接客支援装置において、店員と顧客の会話に基づく音声データを録音する音声データ録音部と、切替検出データに基づいて、検出開始からＮ番目（但し、ＮはＮ≧１となる整数）の検出時刻を区間開始時刻とし、且つＮ＋１番目の検出時刻を区間終了時刻とする接客切替区間を特定する接客切替区間特定部と、録音された音声データから、店員の話し掛けによる音声区間である店員話し掛け区間と、顧客の話し掛けによる音声区間である顧客話し掛け区間と、を抽出する話し掛け区間抽出部と、店員と顧客による話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体を１会話区間、所定時間以上途切れないまま繰り返される会話区間の集合体を１接客会話区間、としたとき、当該接客会話区間を特定する接客会話区間特定部と、接客会話区間特定部により特定された接客会話区間と、接客切替区間特定部により特定された接客切替区間とを、比較演算することにより、接客区間を特定する接客区間特定部と、店員識別情報に、接客区間特定部により特定された接客区間に相当する音声データである録音データを関連付け、接客データとしてデータベースに記録する接客データ記録部と、をさらに備えたことが好ましい。
【００３３】
上記に記載の接客支援装置において、接客区間に含まれる、店員による各話し掛け区間の長さの合計であるΣＬａ（但し、ΣＬａはΣＬａ≧０となる変数）と、顧客による各話し掛け区間の長さの合計であるΣＬｂ（但し、ΣＬｂはΣＬｂ≧０となる変数）と、を算出し、ΣＬａとΣＬｂの比率、若しくはΣＬａまたはΣＬｂの（ΣＬａ＋ΣＬｂ）に対する比率である会話比率を算出する会話比率算出部をさらに備え、接客データ記録部は、店員識別情報および録音データに、会話比率を関連付け、接客データとしてデータベースに記録することが好ましい。
【００３４】
これらの構成によれば、切替検出データに基づいて特定した接客切替区間と、音声データによって特定した接客会話区間とを、比較演算（ａｎｄ演算またはｏｒ演算など）することにより、正確な接客区間を特定できる。また、当該接客区間の録音データを、接客データとして記録するため、これを有用なマーケティングデータとして利用できる。また、正確な接客区間を特定することで、信頼性の高い会話比率を算出できる。また、算出した会話比率は、接客データの一部として記録されるため、これを接客手法の教材として利用できると共に、各接客（接客データ）について良い接客であったか否かを判別できる。これにより、例えば、会話比率から良い接客と考えられる接客状況を、各店員に示すなど、接客スキルの水平展開に役立てることができる。
【００３５】
本発明のプログラムは、コンピューターに、上記に記載の接客支援方法における各ステップを実行させることを特徴とする。
【００３６】
このプログラムを用いることにより、接客対象となる顧客別に接客区間を特定可能な接客支援方法を実現できる。
【図面の簡単な説明】
【００３７】
【図１】第１実施形態に係る接客支援システムのシステム構成図である。
【図２】店員用端末の制御ブロック図である。
【図３】レシートプリンターの制御ブロック図である。
【図４】管理サーバーの制御ブロック図である。
【図５】発話区間、話し掛け区間、会話区間および接客区間の説明図である。
【図６】第１実施形態に係る接客支援システムの機能ブロック図である。
【図７】第１実施形態に係る管理サーバー用データベースの説明図である。
【図８】会話比率の算出アルゴリズムを示す図である。
【図９】音声データ管理テーブル、店員発話区間管理テーブル、顧客発話区間管理テーブルの一例を示す図である。
【図１０】第１実施形態に係る音声データ保存処理を示すフローチャートである。
【図１１】第１実施形態に係る接客区間特定処理を示すフローチャートである。
【図１２】第１実施形態に係る店員話し掛け区間特定処理を示すフローチャートである。
【図１３】第１実施形態に係る顧客話し掛け区間Ｂ特定処理を示すフローチャートである。
【図１４】第１実施形態に係る顧客話し掛け区間Ａ特定処理を示すフローチャートである。
【図１５】重複回数の計測方法を示す図である。
【図１６】ビューアー画面（会話比率一覧表）の一例を示す図である。
【図１７】ビューアー画面（会話比率−売り上げ実績相関図）の一例を示す図である。
【図１８】接客点数の算出アルゴリズム、並びに会話比率判定テーブルおよび重複回数判定テーブルを示す図である。
【図１９】第２実施形態に係る接客支援システムの機能ブロック図である。
【図２０】第２実施形態に係る管理サーバー用データベースの説明図である。
【図２１】顧客満足度の算出アルゴリズムを示す図である。
【図２２】ビューアー画面（満足度−会話比率一覧表）の一例を示す図である。
【図２３】ビューアー画面（満足度−会話比率重ね合わせグラフ）の一例を示す図である。
【図２４】第３実施形態に係る接客支援システムの機能ブロック図である。
【図２５】第３実施形態に係る管理サーバー用データベースの説明図である。
【図２６】切替検出データの一例を示す図、および接客切替期間のイメージ図である。
【図２７】接客会話区間特定結果の一例を示す図、および接客会話区間のイメージ図である。
【図２８】接客区間特定パターンＡの説明図である。
【図２９】接客区間特定パターンＢの説明図である。
【図３０】接客区間特定パターンＣの説明図である。
【図３１】接客区間設定の説明図である。
【発明を実施するための形態】
【００３８】
［第１実施形態］
以下、添付の図面を参照し、本発明の会話比率算出装置、接客データ記録装置、会話比率算出方法およびプログラムについて説明する。なお、以下に示す各実施形態では、本発明の会話比率算出装置を、接客支援システムＳＹに適用した場合について例示する。当該接客支援システムＳＹは、小売業、飲食業およびサービス業などに関する店舗や会場内において、人物（顧客，来場者）の音声を取得し、その結果を顧客満足度の向上や接客スキルの向上に生かすべく構築されたものである。そこで、以下の各実施形態では、アパレル店や宝飾品店などの小売店舗内に、接客支援システムＳＹを導入する場合を例示する。
【００３９】
図１は、第１実施形態に係る接客支援システムＳＹ１のシステム構成図である。同図に示すように、接客支援システムＳＹ１は、店員に装着された体導音センサー１、音声取得用マイク２および店員用端末５と、店舗の入り口および店内各所に配置された店内カメラ１１（同図では、１台のみ図示）と、レジカウンター１４に設置されたＰＯＳ（Point Of Sales）端末１２およびレシートプリンター１３と、店舗のバックヤードに設置された管理サーバー１５および表示端末１６と、から成る。なお、請求項におけるコンピューターは、体導音センサー１以外の各装置から成る。
【００４０】
体導音センサー１は、店員の頭頚部に装着され、店員の音声が骨や肉を伝わって体表に届く体導音を検出する。本実施形態では、音声取得用マイク２により取得された音声が、店員（人物Ａ）のものであるか顧客（人物Ｂ）のものであるかを識別するために用いられる。音声取得用マイク２は、店員の制服（胸元近傍）に取り付けられ、店員および顧客の音声を取得する。なお、体導音センサー１および音声取得用マイク２に代えて、店員と顧客に対してそれぞれ指向性を有するマイクを用いても良い。すなわち、店員音声取得用と顧客音声取得用との２つのマイクを使用し、いずれのマイクで取得されたかによって、店員の音声と顧客の音声を識別しても良い。
【００４１】
店員用端末５は、店員の制服（ベルトなど）に取り付けられ、専用ケーブルを介して体導音センサー１および音声取得用マイク２と接続されている。また、レシートプリンター１３との無線通信機能を有しており、当該レシートプリンター１３を介して、管理サーバー１５と情報の授受を行う。店内カメラ１１は、店内各所の天井や壁に設けられ、来店した顧客、並びに接客中の店員および顧客を撮像する。なお、店内カメラ１１としては、ＣＣＤカメラやＰＴＺ（Pan Tilt Zoom）カメラを採用可能である。
【００４２】
ＰＯＳ端末１２は、一般的なレジスターの構成を有しており、ＰＯＳアプリケーションにしたがって会計処理を行う。また、不図示のバーコードスキャナーまたはキーボードから商品コードを取得し、商品マスタ１８を参照して、会計レシートＲ（図３参照）に印刷するためのレシートデータを生成する。なお、商品マスタ１８は、ＰＯＳ端末１２に接続されたＰＯＳサーバー（図示省略）内に備えても良い。
【００４３】
レシートプリンター１３は、ＰＯＳ端末１２と専用ケーブルを介して接続され、ＰＯＳ端末１２から取得したレシート印刷データをレシート用紙に印刷する。また、レシートプリンター１３は、店員用端末５との無線通信機能および管理サーバー１５との有線通信機能を有している。このように、レシートプリンター１３を主幹として各種情報の入出力を行うことで（レシートプリンター１３が、取得した各種情報をフィルタリングして必要な情報を出力することで）、ＰＯＳ基幹ネットワーク（ＰＯＳ端末１２を主幹としたネットワーク）のトラフィックに影響を与えることがない。また、既存のＰＯＳシステムに本発明を適用する際、ＰＯＳ基幹ネットワーク自体の変更が不要となる。
【００４４】
管理サーバー１５は、レシートプリンター１３と、イントラネット等のネットワーク１９を介して接続されており、当該レシートプリンター１３を介して、店員用端末５と各種情報の授受を行う。また、店員用端末５から取得した音声データに基づいて、音声データの録音、会話比率の算出および重複回数の計測などを行う。また、管理サーバー１５は、算出した会話比率や、録音した音声データを確認するためのビューアー画面Ｄ（図１６等参照）を、表示端末１６の表示画面１６ａに表示する。
【００４５】
次に、図２ないし図４を参照し、店員用端末５、レシートプリンター１３および管理サーバー１５のハードウェア構成について説明する。図２は、店員用端末５の制御ブロック図である。店員用端末５は、レシートプリンター１３との無線通信機能を実現するための無線ＬＡＮアンテナ２１、無線ＬＡＮＲＦ（Radio Frequency）部２２、無線ＬＡＮ変復調部２３および無線ＬＡＮベースバンド部２４を有している。無線ＬＡＮベースバンド部２４は、店員用端末５を識別するためのＭＡＣアドレスを記憶している。また、店員用端末５は、体導音センサー１の検出結果を取得するためのアンプ部２８およびＡ／Ｄコンバータ２９と、音声取得用マイク２から音声データを取得するためのアンプ部３２およびＡ／Ｄコンバータ３３と、を有している。
【００４６】
また、店員用端末５は、各部の統括制御を行う制御部２５と、ファームウェアを初めとする各種データ（音声取得用マイク２から音声データも含む）を記憶するメモリ２６と、店員用端末５に電力供給を行うバッテリー３４と、を有している。制御部２５は、Ａ／Ｄコンバータ２９およびＡ／Ｄコンバータ３３から取得した検出データおよび音声データに基づいて、店員の発話区間（連続する音声の時間帯）を特定する店員発話区間特定機能と、音声データに基づいて、音声レベルを判定する音声レベル判定機能と、を有している。
【００４７】
図３は、レシートプリンター１３の制御ブロック図である。レシートプリンター１３は、店員用端末５との無線通信機能を実現するための無線ＬＡＮアンテナ４１、無線ＬＡＮＲＦ部４２、無線ＬＡＮ変復調部４３および無線ＬＡＮベースバンド部４４を有している。無線ＬＡＮベースバンド部４４は、レシートプリンター１３を識別するためのＭＡＣアドレスを記憶している。また、レシートプリンター１３は、ＰＯＳ端末１２からレシートデータが入力される入力インターフェイス部４５と、文字パターンを記憶するＣＧ−ＲＯＭ４６と、各部の統括制御を行う制御部４７と、印刷ヘッド、ヘッド駆動機構およびレシート用紙搬送機構などを含む印刷機構４８と、管理サーバー１５と有線ＬＡＮを介して接続される有線ＬＡＮインターフェイス部４９と、を有している。
【００４８】
制御部４７は、所定のコマンドを含むレシートデータの解析や、会計レシートＲに印刷するための印刷データの生成などを行うメイン処理部４７ａと、本実施形態特有の構成であるレシートデータ意味解析部４７ｂと、を有している。レシートデータ意味解析部４７ｂは、レシートデータから、ＰＯＳ端末１２の端末番号、レシート番号、商品コード、商品名称、商品単価、金額、オペレーター氏名などを認識し、上位システムとなる管理サーバー１５が解釈可能な所定のデータ形式（例えば、ＸＭＬ形式）に変換する。なお、当該レシートデータの認識結果を所定のデータ形式に変換したものを、以下「変換データ」と称する。また、制御部４７は、店員用端末５から無線ＬＡＮを介して受信した音声データ（無線ＬＡＮベースバンド部４４から取得した音声データ）を、有線ＬＡＮインターフェイス部４９を介して、管理サーバー１５に転送する。
【００４９】
図４は、管理サーバー１５の制御ブロック図である。管理サーバー１５は、レシートプリンター１３から、音声データおよび変換データを取得すると共に、店内カメラ１１から映像データを取得するための有線ＬＡＮインターフェイス部５１と、表示端末１６に各種情報を表示させるための表示処理部５２と、マウスやキーボードなどの入力装置５５から入力データを取得すると共に各部の統括制御を行う制御部５３と、各種情報を記憶する記憶部５４と、を有している。制御部５３は、取得した音声データに基づいて、接客区間（店員が顧客に対して接客を行っている時間帯）を特定する接客区間特定機能と、接客区間あたりの店員と顧客の会話比率を算出する会話比率算出機能と、接客区間あたりの会話の重複回数を計測する重複回数計測機能と、入力装置５５からの情報入力に基づいてビューアー画面Ｄ（図１６等参照）の表示制御を行うビューアー画面表示制御機能と、を有している。また、記憶部５４は、ハードディスクにより実現され、音声抽出プログラムや会話比率算出プログラムなどの各種制御プログラムを記憶する他、後述する管理サーバー用データベースＤＢ１として機能する。
【００５０】
次に、図５を参照し、音声区間の定義について説明する。まず、同一人物（店員または顧客）により連続して発声される音声の区間、つまりブレスなどが入らない１フレーズの区間を「発話区間」と称する。本実施形態では、当該発話区間単位で、感情認識や音声認識を行う。また、図５（ａ）に示すように、所定時間以上途切れないまま繰り返される店員または顧客の発話区間の集合体を「話し掛け区間」と称する。つまり、インターバルが所定時間Ｘ未満となる１以上の発話区間の集合体を言う（但し、ＸはＸ＞０となる定数）。同図の例は、店員の話し掛け区間（以下、「店員話し掛け区間」と称する）、並びに当該店員の話し掛け区間に前後する２つの顧客の話し掛け区間（以下、「顧客話し掛け区間」と称する）が、全て２つの発話区間から成る場合を示している。
【００５１】
また、同じく図５（ａ）に示すように、店員と顧客の話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体を「会話区間」と称する。つまり、インターバルが所定時間Ｙ未満となる１以上の話し掛け区間の集合体を言う（但し、ＹはＹ≧Ｘとなる定数）。なお、本実施形態では、店員話し掛け区間を中心とした前後の顧客話し掛け区間の集合体（すなわち最低１つ、最大３つの話し掛け区間の集合体）を「１会話パターン」＝「１会話区間」と定義する。
【００５２】
また、図５（ｂ）に示すように、所定時間以上途切れないまま繰り返される会話区間の集合体を「接客区間」と称する。つまり、インターバルが所定時間Ｚ未満となる１以上の会話区間の集合体を言う（但し、ＺはＺ＞Ｙとなる定数）。同図の例は、２つの会話区間から成る接客区間１と、３つの会話区間から成る接客区間２と、を示している。このように、接客区間に含まれる会話区間の数は任意である。なお、Ｚの値は、数分〜数十分程度など、ＸやＹの値と比較して明らかに大きな値とすることが好ましい。
【００５３】
次に、図６および図７を参照し、第１実施形態に係る接客支援システムＳＹ１の機能構成について説明する。図６は、接客支援システムＳＹ１のブロック図である。店内カメラ１１は、主な機能構成として、接客撮像部１１１を有している。接客撮像部１１１は、店員および顧客を含む接客状況を撮像する。本実施形態において、接客撮像部１１１は常時撮像を行っており、その映像データは、随時管理サーバー１５に出力される。
【００５４】
体導音センサー１は、主な機能構成として、発話検出部１０１を有している。発話検出部１０１は、体導音に基づいて、店員が発話したこと、およびその発話区間を検出する。音声取得用マイク２は、主な機能構成として、会話取得部１０２を有している。会話取得部１０２は、店員および顧客の会話に基づく音声（音声信号）を取得する。店員用端末５は、主な機能構成として、音声データ送信部１０５を有している。音声データ送信部１０５は、音声レベル判定機能にあるパワーフィルターにより音声の有無を判定し、所定の音声レベル以上（例えば、アンプ増幅後１．５ｖ以上など）の音声データを管理サーバー１５に送信する。また、発話検出部１０１の検出結果および会話取得部１０２の音声取得結果に基づいて店員発話区間を特定し（店員発話区間特定機能）、当該店員発話区間の発生を管理サーバー１５に通知する。なお、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行う。
【００５５】
レシートプリンター１３は、主な機能構成として、変換データ送信部１１３を有している。変換データ送信部１１３は、ＰＯＳ端末１２から出力されたレシートデータをＸＭＬ形式に変換した変換データを、管理サーバー１５に送信する。
【００５６】
管理サーバー１５は、主な機能構成として、映像記録部１５１、人物識別部１５２、音声データ録音部１５３、音声抽出部１５４、会話比率算出部１５５、重複回数計測部１５６、変換データ取得部１５７、接客データ記録部１５８、画面表示部１５９および管理サーバー用データベースＤＢ１を有している。
【００５７】
映像記録部１５１は、接客撮像部１１１から、映像データを取得し、これを管理サーバー用データベースＤＢ１に記録する。人物識別部１５２は、映像データに含まれる顔特徴量に基づいて店員および顧客を識別する。例えば、店員については、予め店員識別情報と店員の顔特徴量とを関連付けて管理サーバー用データベースＤＢ１内に記憶しておく（図７の店員情報記憶部８２参照）。また、店内カメラ１１の撮像結果を解析して顔検出を行い、検出した当該顔部分の画像を正規化して算出された顔特徴量と、管理サーバー用データベースＤＢ１に記憶されている店員の顔特徴量とを照合し、それらの中から最も類似度の高い店員であると判定する。同様に、顧客についても、予め顧客識別情報と顧客の顔特徴量とを関連付けて管理サーバー用データベースＤＢ１内に記憶しておき（図７の顧客情報記憶部８１参照）、算出された顧客の顔特徴量と、管理サーバー用データベースＤＢ１に記憶されている多数の顧客の顔特徴量とを照合し、それらの中から最も類似度の高い顧客であると判定する。なお、人物識別部１５２の識別結果である店員識別情報と顧客識別情報は紐付けされ、後述する接客データ記憶部８８に記憶される。
【００５８】
音声データ録音部１５３は、店員と顧客の会話、すなわち音声データ送信部１０５から送信された音声データを録音する（管理サーバー用データベースＤＢ１に記録する）。音声抽出部１５４は、取得した会話（音声データ）から、店員音声と顧客音声をそれぞれ抽出する。具体的には、発話検出部１０１の検出結果に基づいて、会話に含まれる音声が店員音声であるか顧客音声であるかを判別し、当該判別結果に基づいて各音声を抽出する。なお、各音声は、発話区間単位または話し掛け区間単位で抽出する。詳細については後述する。
【００５９】
会話比率算出部１５５は、制御部５３の会話比率算出機能を指すものであり、店員と顧客の会話比率を算出する。具体的には、会話区間ごとに会話比率を算出し、当該会話区間ごとの算出結果に基づいて、接客区間ごとの会話比率（平均会話比率）を算出する。算出された会話比率は、接客データの一部として、接客データ記憶部８８に記憶される。なお、会話比率の算出アルゴリズムについては後述する。
【００６０】
重複回数計測部１５６は、制御部５３の重複回数計測機能を指すものであり、接客区間において、店員の音声と顧客の音声とが重複した回数（重複区間の個数）である重複回数を計測する。計測された重複回数は、接客データの一部として、接客データ記憶部８８に記憶される。なお、重複区間の検出方法および重複区間の計測方法についても後述する。
【００６１】
変換データ取得部１５７は、レシートプリンター１３の変換データ送信部１１３から送信された変換データを取得し、管理サーバー用データベースＤＢ１に記録する。なお、変換データは、上記の接客データの一部として記録する、売り上げ情報を得るために用いられる。なお、変換データの記録は、変換データに含まれる情報の中から、顧客識別情報（会員番号など）、レシート番号（売り上げＮｏ．）および合計金額など、売り上げの有無や売り上げ金額を特定可能な情報のみを抽出し、これを売り上げ情報として記録しても良いし、変換データの全てを管理サーバー用データベースＤＢ１に記録しても良い。
【００６２】
接客データ記録部１５８は、接客区間ごとに、人物識別部１５２の識別結果である店員識別情報および顧客識別情報、並びに会話比率算出部１５５の算出結果などを含む接客データを紐付けして、管理サーバー用データベースＤＢ１に記録する。なお、顧客識別情報および店員識別情報は、上記のとおり顔特徴量から特定される。また、店員識別情報と、店員用端末５のＭＡＣアドレスとは、対応付けて記憶されており（図７の店員情報記憶部８２参照）、管理サーバー１５が取得した映像データと音声データの紐付けができるようになっている。
【００６３】
画面表示部１５９は、記録した接客データを確認するためのビューアー画面Ｄ（図１６等参照）を表示画面１６ａ上に表示する。なお、ビューアー画面Ｄについても、具体例を挙げて後に詳述する。
【００６４】
図７は、第１実施形態に係る管理サーバー用データベースＤＢ１の説明図である。管理サーバー用データベースＤＢ１は、顧客情報記憶部８１、店員情報記憶部８２、音声データ記憶部８３、映像データ記憶部８４、音声データ管理テーブル８５、店員発話区間管理テーブル８６、顧客発話区間管理テーブル８７および接客データ記憶部８８として機能する。なお、管理サーバー用データベースＤＢ１は、店舗ごとに設けても良いし、複数店舗で共有しても良い。
【００６５】
顧客情報記憶部８１は、顧客識別情報（顧客ＩＤなど）と、顧客の顔特徴量と、顧客データ（氏名、住所、電話番号、生年月日、性別などの個人情報を含む）と、を関連付けて記憶する。また、店員情報記憶部８２は、店員識別情報（店員ＩＤなど）と、店員の顔特徴量と、店員用端末５のＭＡＣアドレスと、を関連付けて記憶する。また、音声データ記憶部８３は、音声データ録音部１５３により常時録音された音声データをタイムスタンプと共に記憶する。また、映像データ記憶部８４は、接客撮像部１１１により常時撮像された映像データをタイムスタンプと共に記憶する。
【００６６】
また、音声データ管理テーブル８５は、店員と顧客を区別することなく、取得した音声データを、連続する音声の区間（以下、「連続発話区間」と称する）ごとに記録したテーブルである（図９（ａ）参照））。また、店員発話区間管理テーブル８６は、店員の発話区間を記録したテーブルである（図９（ｂ）参照）。また、顧客発話区間管理テーブル８７は、顧客の発話区間を記録したテーブルである（図９（ｃ）参照）。
【００６７】
また、接客データ記憶部８８は、人物識別部１５２の識別結果である顧客識別情報および店員識別情報と、音声データ記憶部８３に記憶された音声データのうち、接客区間分の音声データに相当する録音データと、映像データ記憶部８４に記憶された映像データのうち、接客区間分の映像データに相当する撮像データと、会話比率算出部１５５の算出結果である、当該接客区間の会話比率と、重複回数計測部１５６の計測結果である、当該接客区間の重複回数と、当該接客による（接客区間内または接客区間終了後所定時間以内に発生した）売り上げの有無および売り上げ金額を示す売り上げ情報と、接客日並びに接客開始時刻および接客終了時刻を示す接客日時と、を関連付けて記憶する。なお、売り上げ情報については、精算場所に設置された店内カメラ１１により撮影された顧客の映像から算出された顧客の顔特徴量と、予め管理サーバー用データベースＤＢ１内に記憶されている多数の顧客の顔特徴量とを照合し、それらの中から最も類似度の高い顧客の顧客識別情報によって、紐付けされる接客データを特定可能である。また、レシートプリンター１３から送信された変換データに含まれる顧客識別情報によって、紐付けされる接客データを特定することも可能である。また、変換データに店員識別情報（オペレーター氏名または店員番号など）が含まれる場合は、顧客識別情報および店員識別情報の両方が合致する接客データに、紐付けされることが好ましい。
【００６８】
次に、図８を参照し、各種会話比率の算出アルゴリズム（計算式）について説明する。図８（ａ）に示すように、会話区間における会話比率としては、「店員：顧客の相対会話比率」、「店員の会話比率」および「顧客の会話比率」の３つのパターンを算出可能である。例えば、「店員：顧客の相対会話比率」は、会話区間に含まれる各店員話し掛け区間の長さの合計をＬａ、会話区間に含まれる各顧客話し掛け区間の長さの合計をＬｂとしたとき、Ｌａ：Ｌｂの値を指す。また、「店員の会話比率」は、Ｌａ／（Ｌａ＋Ｌｂ）の値を指し、顧客の会話比率は、「Ｌｂ／（Ｌａ＋Ｌｂ）」の値を指す。ここで、「話し掛け区間の長さ」とは、話し掛け区間の開始時刻から終了時刻までの長さを言う。
【００６９】
なお、Ｌａを、会話区間に含まれる各店員発話区間の長さの合計として規定しても良い。つまり、図５（ａ）に示すように、話し掛け区間には、インターバルＸが含まれる場合があるが、そのインターバルの長さを差し引いた長さとしてＬａを規定しても良い。例えば、図５（ａ）に示す顧客話し掛け区間Ａの場合、Ｌａは、発話区間１の開始時刻から終了時刻までの長さと、発話区間２の開始時刻から終了時刻までの長さの合計となる。Ｌｂについても同様である。
【００７０】
一方、図８（ｂ）に示すように、接客区間における会話比率は、接客区間に含まれる各会話区間の会話比率の平均値によって算出可能である。なお、各会話区間の会話比率の平均値に代えて、最高値、最低値、中間値などの各種統計量を、接客区間における会話比率として算出しても良い。また、接客区間における会話比率も、会話区間における会話比率（図８（ａ）参照）としてどのパターンを採用したかに応じて、「店員：顧客の相対会話比率」、「店員の会話比率」および「顧客の会話比率」の３つのパターンを算出可能である。
【００７１】
また、接客区間における会話比率の算出方法の変形例として、図８（ｃ）のアルゴリズムを用いても良い。この場合、「店員：顧客の相対会話比率」は、接客区間に含まれる各店員話し掛け区間の長さの合計をΣＬａ、接客区間に含まれる各顧客話し掛け区間の長さの合計をΣＬｂとしたとき、ΣＬａ：ΣＬｂの値を指す。また、「店員の会話比率」は、ΣＬａ／（ΣＬａ＋ΣＬｂ）の値を指し、「顧客の会話比率」は、ΣＬｂ／（ΣＬａ＋ΣＬｂ）の値を指す。
【００７２】
なお、Ｌａを、会話区間に含まれる各店員発話区間の長さの合計として規定したのと同様に、ΣＬａを、接客区間に含まれる各店員発話区間の長さの合計として規定しても良い。ΣＬｂについても同様である。
【００７３】
次に、図９を参照し、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７について説明する。図９（ａ）は、音声データ管理テーブル８５の一例を示す図である。音声データ管理テーブル８５は、店員と顧客の音声を区別しない連続する音声の区間である連続発話区間（少なくとも１の発話区間が含まれる区間）ごとに付与される「音声データＮｏ．」と、連続発話区間の開始時間に相当する「録音開始時間」と、連続発話区間の終了時間に相当する「録音終了時間」と、顧客の発声に基づく音声データか、店員の発声に基づく音声データか、または両方の発声に基づく音声データかを示す「重複フラグ」と、音声データを保存する「音声データ保存先アドレス」と、を関連付けたものである。例えば、「音声データＮｏ．：２０１」の音声データは、１２時３６分０３秒を開始時間とし１２時３６分１６秒を終了時間とする連続発話区間であり、少なくとも一部の区間において、顧客の音声と店員の発声が重複していることを示している。
【００７４】
図９（ｂ）は、店員発話区間管理テーブル８６の一例を示す図である。店員発話区間管理テーブル８６は、店員発話区間ごとに付与される「店員発話Ｎｏ．」と、店員発話区間の開始時間である「店員発話開始時間」と、店員発話区間の終了時間である「店員発話終了時間」と、どの店員話し掛け区間に属するかを示す「話し掛けＮｏ．」と、顧客の発声との重複区間の開始時間である「重複開始時間」と、顧客の発声との重複区間の終了時間である「重複終了時間」と、を関連付けたものである。例えば、「店員発話Ｎｏ．：１００」と「店員発話Ｎｏ．：１０１」の発話区間は、インターバルが所定時間Ｘ（例えば、３秒）未満であるため、一連の話し掛け区間と看做され、同一の話し掛けＮｏ．が付加されている。また、「店員発話Ｎｏ．：１００」の発話区間は、その区間全体が顧客の発声と重複していることを示している。
【００７５】
図９（ｃ）は、顧客発話区間管理テーブル８７の一例を示す図である。顧客発話区間管理テーブル８７は、顧客発話区間ごとに付与される「顧客発話Ｎｏ．」と、顧客発話区間の開始時間である「顧客発話開始時間」と、顧客発話区間の終了時間である「顧客発話終了時間」と、どの顧客話し掛け区間に属するかを示す「話し掛けＮｏ．」と、店員の発声との重複区間の開始時間である「重複開始時間」と、店員の発声との重複区間の終了時間である「重複終了時間」と、を関連付けたものである。例えば、「顧客発話Ｎｏ．：１０１」と「顧客発話Ｎｏ．：１０２」の発話区間は、インターバルが所定時間Ｘ（例えば、３秒）を超えているため、異なる話し掛け区間と看做され、異なる話し掛けＮｏ．が付与されている。また、「顧客発話Ｎｏ．：１００」の発話区間は、１３秒の区間長さのうち６秒間が店員の発声と重複していることを示している。
【００７６】
次に、図１０のフローチャートを参照し、音声データ保存処理について説明する。なお、上記のとおり、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行うが、レシートプリンター１３は単に情報を経由しているだけなので、図示を省略する。
【００７７】
店員用端末５（制御部２５）は、音声取得用マイク２から音声信号（音声）を取得すると（Ｓ１１）、音声レベル判定機能のパワーフィルターにより音声レベルを判定する（Ｓ１２）。ここで、音声レベルが所定レベル以上の場合、音声「有」と判定し、メモリ２６内の音声データ保存領域（図示省略）に音声データのバッファリングを開始する（Ｓ１３）。また、このとき、音声データ保存領域に録音開始時間を記録する。
【００７８】
続いて、音声信号を受信しなくなると、録音終了時間を確定して音声データ保存領域に記録すると共に、バッファリングを終了する（Ｓ１４）。その後、管理サーバー１５に対して、音声データの送信を宣言し（Ｓ１５）、音声データ保存領域にバッファリングされた音声データを、録音開始時間および録音終了時間と共に送信する（Ｓ１６）。
【００７９】
管理サーバー１５（制御部５３）は、店員用端末５から音声データを受信すると（Ｓ１７）、音声データ管理テーブル８５（図９（ａ）参照)に、一意に定めた音声データＮｏ．と、録音開始時間および録音終了時間を登録する（Ｓ１８）。また、音声データ管理テーブル８５で指定された音声データ保存先（所定のフォルダ）に、音声データを保存する（Ｓ１９）。
【００８０】
次に、図１１ないし図１４のフローチャートを参照し、接客区間特定処理の一連の流れについて説明する。図１１は、メイン処理（接客区間特定処理）を示すフローチャートであり、図１２ないし図１４は、そのサブルーチンを示すフローチャートである。図１１に示すように、管理サーバー１５（制御部５３）は、まず店員話し掛け区間を特定した後（Ｓ２１）、店員話し掛け区間の後に発生した顧客話し掛け区間Ｂを特定する（Ｓ２２）と共に、店員話し掛け区間の前に発生した顧客話し掛け区間Ａを特定する（Ｓ２３）。その後、これらＳ２１〜Ｓ２３の工程により特定された話し掛け区間に基づいて、会話区間を特定する（Ｓ２４，図５（ａ）参照）。また、Ｓ２１〜Ｓ２４の工程を繰り返すことにより、接客区間を特定する（Ｓ２５，図５（ｂ）参照）。
【００８１】
次に、図１２のフローチャートを参照し、図１１のＳ２１に相当する店員話し掛け区間特定処理について説明する。店員用端末５は、体導音センサー１からその検出データを取得すると（Ｓ３１）、店員発話区間特定機能のパワーフィルターにより検出レベルを判定し、所定レベル以上の場合、その検出時間を店員発話開始時間として確定し、メモリ２６内に記録する（Ｓ３２）。続いて、店員発話区間特定機能のパワーフィルターにより検出レベルを判定し、一定時間以上所定レベル未満の状態が保持された場合（無信号区間が発生した場合）、所定レベル以上の検出レベルがあった最後の検出時間を店員発話区間終了時間として確定し、メモリ２６内に記録する（Ｓ３３）。その後、管理サーバー１５に対して、店員発話区間の発生通知を行う（Ｓ３４）。このとき、メモリ２６内に記録されている店員発話開始時間および店員発話終了時間も送信する。
【００８２】
一方、管理サーバー１５（制御部５３）は、店員用端末５から店員発話区間の発生通知を受信すると（Ｓ３５）、店員発話区間管理テーブル８６（図９（ｂ）参照)に、一意に定めた店員発話データＮｏ．と、店員話し掛け区間ごとに定めた店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。その後、所定時間内に次の店員発話区間の発生通知を受信したか否かを判別し（Ｓ３７）、受信した場合は（Ｓ３７：Ｙｅｓ）、一意に定めた店員発話データＮｏ．と、上記と同じ店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。これにより、前に発生した店員発話区間と今回発生した店員発話区間とを、一連の話し掛け区間として定義することができる。なお、所定時間内に次の店員発話区間の発生通知を受信しなかった場合は（Ｓ３７：Ｎｏ）、店員による一連の話し掛け区間が終了したとして、処理を終了する。
【００８３】
次に、図１３のフローチャートを参照し、図１１のＳ２２に相当する顧客話し掛け区間Ｂ特定処理について説明する。管理サーバー１５（制御部５３）は、店員による一連の話し掛け区間の特定が終了した後、音声データ管理テーブル８５を参照し、最後の店員発話区間の店員発話終了時間から所定時間内に音声データが存在するか否かを判別する（Ｓ４１）。ここで、音声データが存在しない場合は（Ｓ４１：Ｎｏ）、顧客話し掛け区間Ｂは存在しないものとして処理を終了する。また、音声データが存在する場合は（Ｓ４１：Ｙｅｓ）、音声データ管理テーブル８５から、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ４２）。
【００８４】
その後、音声データ管理テーブル８５を参照し、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在するか否かを判別し（Ｓ４３）、存在する場合は（Ｓ４３：Ｙｅｓ）、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ４２）。これにより、前に発生した顧客発話区間と今回発生した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在しない場合は（Ｓ４３：Ｎｏ）、顧客によるその後の話し掛け区間は存在しないものとして、処理を終了する。
【００８５】
次に、図１４のフローチャートを参照し、図１１のＳ２３に相当する顧客話し掛け区間Ａ特定処理について説明する。管理サーバー１５は、顧客話し掛け区間Ｂの特定が終了した後、音声データ管理テーブル８５を参照し、店員発話区間の店員発話開始時間から所定時間前までに、顧客の発声に基づく未処理の音声データが存在するか否かを判別する（Ｓ５１）。ここで、未処理の音声データが存在しない場合は（Ｓ５１：Ｎｏ）、顧客話し掛け区間Ａが存在しないものとして、処理を終了する。また、未処理の音声データが存在する場合は（Ｓ５１：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ５２）。
【００８６】
その後、音声データ管理テーブル８５を参照し、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在するか否かを判別し（Ｓ５３）、存在する場合は（Ｓ５３：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ５２）。これにより、前に登録した顧客発話区間と今回特定した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在しない場合は（Ｓ５３：Ｎｏ）、顧客によるそれ以前の話し掛け区間は存在しないものとして、処理を終了する。
【００８７】
以上、図１０ないし図１４に示した各処理により、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７への登録を行い、店員話し掛け区間、その前後における顧客話し掛け区間Ａおよび顧客話し掛け区間Ｂを特定することができる。ここで、店員話し掛け区間と顧客話し掛け区間との重複区間の検出について簡単に説明する。管理サーバー１５は、各話し掛け区間を特定した後、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７を参照し、重複区間の検出と、各テーブル８５，８６，８７への記録を行う。具体的には、まず、店員発話区間管理テーブル８６を参照し、同一話し掛けＮｏ．の最も早い店員発話開始時間と最も遅い店員発話終了時間を、店員話し掛け区間の開始時間と終了時間に設定する。同様に、顧客発話区間管理テーブル８７を参照し、同一話し掛けＮｏ．の最も早い顧客発話開始時間と最も遅い顧客発話終了時間を、顧客話し掛け区間の開始時間と終了時間に設定する。そして、店員話し掛け区間と顧客話し掛け区間とに重複区間が存在しないかを判定し、存在する場合は、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７に、重複区間（重複開始時間および重複終了時間）を登録すると共に、音声データ管理テーブル８５に重複フラグを立てる（図９（ａ）の重複フラグ欄における「客・店」に相当）。
【００８８】
次に、図１５を参照し、重複回数の計測方法について説明する。図１５（ａ）に示す例では、店員話し掛け区間と顧客話し掛け区間とが重複する重複区間が、４つ存在している。但し、２つ目の重複区間は、短い発話区間（所定時間以下の話し掛け区間）であるため、重複計測の対象とならない。したがって、同図の例では、重複計測区間（１）〜（３）の３回が、重複回数として計測される。
【００８９】
なお、重複計測区間（２），（３）は、１話し掛け区間に含まれる区間であるため、これを１重複計測区間として計測しても良い。この場合、図１５（ａ）に示す例では、重複回数が２回と計測される。
【００９０】
また、所定時間以下の話し掛け区間についても、全ての重複区間を重複計測の対象としても良い。この場合、図１５（ａ）に示す例では、重複回数が４回と計測される。
【００９１】
また、図１５（ｂ）に示す例のように、店員側からの話し掛けにより重複した区間のみを重複計測の対象としても良い。同図の例では、店員話し掛け区間と顧客話し掛け区間とが重複する重複区間が、４つ存在している。但し、２つ目と４つ目の重複区間は、顧客側からの話し掛けにより重複した区間であるため、重複計測の対象とならない。つまり、店員話し掛け区間が先行して開始されている状態で顧客の話し掛けが開始したような場合は、重複区間が発生しても、それを重複計測の対象としない。したがって、同図の例では、重複計測区間（１），（２）の２回が、重複回数として計測される。このように、店員側からの話し掛けにより重複した区間のみを重複計測の対象とすることで、店員の接客手法が良否を正確に判定することができる。
【００９２】
次に、図１６および図１７を参照し、接客データを確認するためのビューアー画面Ｄについて説明する。なお、ビューアー画面Ｄは、表示端末１６の表示画面１６ａに表示される。図１６は、会話比率一覧表のビューアー画面Ｄ０１を示す図である。当該ビューアー画面Ｄ０１には、照会条件を選択する照会条件選択領域Ｅ１１と、会話比率の一覧を表示する一覧表示領域Ｅ１２と、接客データに含まれる録音データの再生操作を行うための再生操作領域Ｅ１３と、が含まれる。
【００９３】
照会条件選択領域Ｅ１１は、「店舗」、「日付」、「店員（人物識別情報）」を選択（入力）可能となっている。ここで選択（入力）された条件に合致する接客データが、一覧表示領域Ｅ１２に表示される。なお、「店員」ではなく、「顧客（人物識別情報）」を選択（入力）可能とし、当該顧客に関連付けられた接客データを、一覧表示領域Ｅ１２に表示させても良い。また、「店員」と「顧客」の両方を選択（入力）可能とし、これらのａｎｄ条件またはｏｒ条件を満たす接客データを、一覧表示領域Ｅ１２に表示させても良い。
【００９４】
一覧表示領域Ｅ１２は、接客データごとに、「店舗」、「日付」、「店員」、「接客区間Ｎｏ．」、「接客開始」、「接客終了」、「相対会話比率」、「重複回数」、「顧客」、「売り上げ金額」、「売り上げＮｏ．」を関連付け、表形式で表示する。なお、「接客区間Ｎｏ．」は、接客区間ごとに自動付与される識別番号であり、「接客開始」および「接客終了」は、接客区間の開始時刻および終了時刻を指す。また、「相対会話比率」および「重複回数」は、当該接客区間における相対会話比率および重複回数を指す。また、「顧客」としては、当該接客の対象となった顧客氏名を表示し、「売り上げ金額」および「売り上げＮｏ．」は、変換データから得られた、会計レシートＲの合計金額およびレシートＮｏ．を指す。なお、一覧表示領域Ｅ１２では、いずれか１の接客データ（行）を選択可能となっており（枠２１１参照）、選択した接客データに含まれる録音データを、再生操作領域Ｅ１３により再生可能である。
【００９５】
再生操作領域Ｅ１３は、接客区間における録音データおよび撮像データの再生操作を行うためのボタン群２１２と、再生位置を示すプログレスバー２１３と、音量調節スライダ２１４と、を表示する。なお、特に図示しないが、管理サーバー１５は、再生操作領域Ｅ１３の操作にしたがって、録音データおよび撮像データを再生するための再生部（スピーカー等の音声出力部を含む）を備えている。プログレスバー２１３は、横軸方向に分単位の時間目盛りが記されている。また、プログレスバー２１３は、店員話し掛け区間と、顧客話し掛け区間と、重複区間と、これらいずれにも該当しない非会話区間と、を区別して表示する。同図では、異なるハッチと空白によって、これらを識別可能としているが、色分け表示、マーク付加表示、テキスト付加表示など、ユーザーが各区間を識別できれば、その表示形態を問わない。なお、プログレスバー２１３の目盛りは、分単位ではなく時間単位としても良い。また、接客データ内の録音データ全体の再生状況を把握できるように、録音データの長さに応じて、目盛りの単位および目盛り間隔を可変しても良い。
【００９６】
図１７は、会話比率−売り上げ実績相関図のビューアー画面Ｄ０２を示す図である。当該ビューアー画面Ｄ０２には、照会条件を選択する照会条件選択領域Ｅ２１と、会話比率と売り上げ実績（売り上げ情報）の相関図を表示する相関図表示領域Ｅ２２と、が含まれる。
【００９７】
照会条件選択領域Ｅ２１は、「店舗」、「日付区間」、「店員（人物識別情報）」を選択（入力）可能となっている。また、「店員」は、「ＡＬＬ（全ての店員）」を選択可能となっている。ここで選択（入力）された条件に合致する接客データに基づいて、相関図表示領域Ｅ２２が表示される。
【００９８】
相関図表示領域Ｅ２２は、横軸を顧客会話比率（単位：％）、縦軸を客単価（単位：円）とした散布図である。ここでは、全店員の３月５日に接客した全ての接客データに基づいて、平均会話比率と売り上げ情報（客単価）の交点となる「点」がプロットされている。これにより、ユーザーは、その店舗にとって、会話比率をどの程度にすれば売り上げが向上するかを一目で把握できる。例えば、同図の例では、顧客会話比率を７０％程度にすることにより、売り上げ向上に繋がると推測できる。
【００９９】
以上説明したとおり、第１実施形態に係る接客支援システムＳＹ１によれば、店員と顧客の会話比率を算出することにより、これを収集して経営戦略に役立てたり、接客スキルのトレーニングに利用したりすることができる。また、接客データには、店員識別情報および顧客識別情報が関連付けられるため、算出された会話比率が、どの店員のどの顧客に対する接客であったかを特定できる。これにより、個々の店員に対して適切な接客トレーニングを行うことができる。さらに、接客データには、売り上げ情報が関連付けられるため、会話比率と売り上げとの相関関係を、マーケティングデータとして収集できる。
【０１００】
また、接客区間ごとに会話比率を算出し、これをビューアー画面Ｄに表示するため、各接客について、総合的に好ましい接客であったか否か（例えば、店員音声の長さ：顧客音声の長さが２：８に近い値となったか否か）を把握できる。また、接客データには、録音データが関連付けられるため、例えば、好ましい会話比率が関連付けられた録音データを抽出して再生することで、接客トレーニングの教材として利用できる。つまり、会話スキルの高い店員の接客状況を、それ以外の店員に対して効率的に示すことができるため、会話スキルの水平展開に役立つ。
【０１０１】
また、接客データには、重複回数が関連付けられるため、会話比率だけでなく、当該重複回数からも、好ましい接客であったか否かを推測できる。例えば、重複回数が多い場合は、会話比率が好ましい値であったとしても、好ましい接客ではなかったと判断できる。
【０１０２】
なお、第１実施形態の変形例として、会話比率と重複回数とに基づく接客点数を算出し、これをビューアー画面Ｄに表示させても良い。以下、図１８を参照し、当該変形例について説明する。図１８（ａ）に示すように、接客点数は、“会話比率レベル”および“重複回数レベル”をパラメーターとして算出される。また、“会話比率レベル”および“重複回数レベル”には、それぞれ重み付けＰ１およびＰ２が乗算され、それらの合計値が、接客点数となる。なお、一般的に重み付けは、０≦Ｐ２≦Ｐ１≦１となり、Ｐ２よりもＰ１の方が大きな値となる。つまり、接客点数は、“会話比率レベル”の方が“重複回数レベル”よりも重み付けを大きくして算出される。但し、利用される店舗の状況により、利用者が任意に設定できることが好ましい。
【０１０３】
ここで、“会話比率レベル”とは、店員と顧客の会話比率が２：８に近いほど高い値となる。つまり、図１８（ｂ）に示すように、“会話比率レベル”は、顧客会話比率に応じて「０〜３」のいずれかの数値となる。また、“重複回数レベル”とは、重複回数が少ないほど高い値となる。つまり、図１８（ｃ）に示すように、“重複回数レベル”は、重複回数に応じて「０〜３」のいずれかの数値となる。
【０１０４】
このように、接客点数を算出することで、接客についての判定を客観的に行うことができる。また、その判定結果や接客点数を、接客データの一部として記録してビューアー画面Ｄに表示することで、店長やマネージャーなどの管理者が、一目で接客結果を確認することができる。
【０１０５】
なお、会話区間の終了ごと、若しくは接客区間の終了ごとに、好ましい接客であったか否かの判定結果および／または接客点数を、対象となる店員に対して通知しても良い。この場合、管理サーバー１５によって、接客の判定および接客点数の算出を行い、レシートプリンター１３および店員用端末５を介して、店員に装着された音声指示用イヤホン（図示省略）から、それらの情報を通知することが好ましい。この構成によれば、店員自身が接客中に、好ましい接客を行っているか否かを把握できるため、接客手法の向上が期待できる。
【０１０６】
また、上記の実施形態では、店員話し掛け区間を中心とした前後の顧客話し掛け区間の集合体（すなわち最低１つ、最大３つの話し掛け区間の集合体）を「１会話区間」と定義したが、「１会話区間」に含まれる話し掛け区間の数の制限を無くしても良い。すなわち、店員と顧客の話し掛け区間が所定時間（インターバルＹ）以上途切れないまま交互に繰り返される話し掛け区間の集合体を「１会話区間」としても良い。
【０１０７】
また、上記の実施形態では、店員と顧客の会話比率を算出する場合を例示したが、人物間の関係は、これに限定されるものではない。つまり、会社の上司と部下、夫婦やカップル、友人同士などであっても良い。
【０１０８】
また、上記の実施形態では、会話区間または接客区間ごとに会話比率を算出したが、所定時間内における会話比率を算出しても良い。例えば、所定時間１０分間の間に発声された店員と顧客の音声に基づいて会話比率を算出しても良い。また、店員の１日の勤務における会話比率を算出しても良い。
【０１０９】
また、上記の実施形態では、会話区間ごと、または接客区間ごとに会話比率を算出したが、単純に、隣り合う店員と顧客の話し掛け区間に基づいて（２つの話し掛け区間の比に基づいて）、会話比率を算出しても良い。
【０１１０】
また、上記の実施形態において、人物識別部１５２は、顔認識技術を用いて顧客を識別したが、他の方法を採用しても良い。例えば、無線ＩＣ（ＲＦＩＤ：Radio Frequency Identificationなど）が組み込まれた会員カードを各顧客が所持し、これを店舗の入り口に設置したＩＣリーダーで読み取って顧客識別情報を取得することで、顧客を識別しても良い。また、店員にも無線ＩＣが組み込まれた店員カードの所持を義務付け、当該店員カードを読み取ることで店員を識別可能としても良い。この方法により、読み取った店員カードと会員カードを同時期に読み取った場合、当該店員が当該顧客を接客しているものとして、両者を紐付けることができる。また、磁気情報が記録された会員カード（磁気カード）を、ＰＯＳ端末１２に付属の磁気カードリーダーで読み取ることで、顧客を識別しても良い。この場合は、接客を担当する店員が、同時に自分の店員カードを読み取らせることで、顧客と店員を紐付けることができる。なお、磁気カードリーダーは、管理サーバー１５に直接接続しても良い。さらに、顔認識技術ではなく音声認識技術を用いても良い。この場合、顧客情報記憶部８１および店員情報記憶部８２は、顔特徴量に代えて、声紋を記憶する必要がある。
【０１１１】
また、上記の実施形態では、店内カメラ１１の撮像結果を、有線ＬＡＮを介して直接管理サーバー１５に送信する構成としたが、レシートプリンター１３を介して管理サーバー１５に送信しても良い。逆に、店員用端末５は、レシートプリンター１３を介して管理サーバー１５に音声データを送信する構成としたが、店員用端末５から直接管理サーバー１５に送信しても良い。また、管理サーバー１５の各機能を、ＰＯＳシステムやＷＷＷサーバーで実現しても良い。
【０１１２】
［第２実施形態］
次に、図１９ないし図２３を参照し、本発明の接客データ記録装置、接客データ記録方法およびプログラムについて、第２実施形態として説明する。本実施形態に係る接客支援システムＳＹ２は、会話比率データと満足度データとを関連付けた接客データを記録し、これをマーケティングデータとして利用することを特徴とする。そこで、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
【０１１３】
図１９は、第２実施形態に係る接客支援システムＳＹ２の機能ブロック図である。本実施形態に係る管理サーバー１５は、第１実施形態と比較して、話し掛け区間抽出部１６１、顧客感情認識部１６２および顧客満足度算出部１６３が追加されている。
【０１１４】
話し掛け区間抽出部１６１は、第１実施形態の音声抽出部１５４に相当し、取得した会話（音声データ）から、店員話し掛け区間および顧客話し掛け区間を抽出する。
【０１１５】
顧客感情認識部１６２は、録音データ（接客区間に相当する音声データ）から抽出した顧客話し掛け区間に対し、音声の強度、音声の発生速度（単位時間当たりのモーラ数など）、単語別の強度、音量、音声スペクトルなどの変化量に基づいて、感情認識を行う。具体的には、録音データに含まれる顧客の発話区間ごとに感情認識を行う。このように、１フレーズごとに感情認識を行うことで、高精度な感情データを得ることができる。さらに、顧客感情認識部１６２は、図１５）に示したように、顧客話し掛け区間と店員話し掛け区間とが時間軸上で重複する重複区間を特定し、当該重複区間を「感情認識非対象区間」として、当該重複区間を除く顧客話し掛け区間に対して感情認識を行う。このように、顧客の音声と店員の音声が混合しており正確な感情認識を行うことができない重複区間を除いて感情認識を行うことで、誤認識を防止することができる。
【０１１６】
顧客満足度算出部１６３は、顧客感情認識部１６２の認識結果に基づいて、顧客満足度を算出する。また、顧客感情認識部１６２が発話区間ごとに感情認識を行うことに伴い、顧客満足度算出部１６３も、発話区間ごとに顧客満足度を算出する。なお、顧客満足度の具体的な算出方法については、後述する。
【０１１７】
本実施形態の接客データ記録部１５８は、会話比率算出部１５５により算出された会話比率に基づく会話比率データ、および顧客満足度算出部１６３により算出された顧客満足度に基づく満足度データを関連付け、接客データの一部として管理サーバー用データベースＤＢ２に記録する。
【０１１８】
図２０は、第２実施形態に係る管理サーバー用データベースＤＢ２の説明図である。管理サーバー用データベースＤＢ２は、第１実施形態と比較して、接客データ記憶部９１の記憶内容が異なる。本実施形態の接客データ記憶部９１は、顧客識別情報、店員識別情報、録音データ、撮像データ、売り上げ情報および接客日時の他、会話比率算出部１５５の算出結果に基づく会話比率データと、顧客満足度算出部１６３の算出結果に基づく満足度データと、を関連付けて記憶する。ここで、会話比率データとは、接客区間における会話比率と、各会話区間における会話比率と、を指す。また、満足度データとは、接客区間における顧客満足度と、各会話区間における顧客満足度と、を指す。
【０１１９】
次に、図２１を参照し、顧客満足度の算出アルゴリズム（計算式）について説明する。同図に示すように、顧客満足度は、発話区間、会話区間、接客区間の順に算出される。まず、発話区間別満足度は、図２１（ａ）に示すように、計算式「“発話区間別満足度”＝“喜データ”＋“笑データ”×Ａ」により算出される。ここで、“喜データ”は「喜び」の感情データ（例えば、０〜５０までの数値、以下同様）、“笑データ”は「笑い」の感情データ、Ａは０≦Ａ≦１となる定数を意味する。なお、当該算出アルゴリズムは、人物の満足度が、「快」の心理状態と、その心理的強度の乗算結果とに基づくという発想から導き出したものである。
【０１２０】
また、図２１（ｂ）に示すように、発話区間別実満足度は、計算式「“発話区間別実満足度”＝“発話区間別満足度”−“発話区間別不満足度”×Ｃ」、すなわち「（“喜データ”＋“笑データ”×Ａ）−（“怒データ”＋“悲データ”×Ｂ）×Ｃ」により算出される。ここで、“怒データ”は「怒り」の感情データ、“悲データ”は「悲しみ」の感情データ、Ｂは０≦Ｂ≦１となる定数、Ｃは０≦Ｃ≦１となる定数を意味する。このように、「喜び」および「笑い」の他に、「怒り」および「悲しみ」の感情データを用いることで、複雑な感情を考慮した、より信頼度の高い満足度を算出することができる。なお、当該算出アルゴリズムは、人物の不満足度が、「不快」の心理状態と、その心理的強度の乗算結果とに基づくという発想と、実満足度が、「快」および「不快」の心理状態に基づくという発想から導き出したものである。
【０１２１】
また、図２１（ｃ）に示すように、会話区間別満足度は、「“会話区間別満足度”＝会話区間に含まれる各顧客発話区間の“発話区間別実満足度”の平均値」から得られる。また、図２１（ｄ）に示すように、接客区間別満足度は、「“接客区間別満足度”＝接客区間に含まれる各会話区間の“会話区間別満足度”の平均値」から得られる。
【０１２２】
次に、図２２および図２３を参照し、第２実施形態に係るビューアー画面Ｄについて説明する。図２２は、満足度−会話比率一覧表のビューアー画面Ｄ０３を示す図である。当該ビューアー画面Ｄ０３は、例えば図１６に示したビューアー画面Ｄ０１から、「満足度−会話比率一覧表」を表示するための不図示のボタン操作により表示されるものであり、接客区間Ｎｏ．を示す区間Ｎｏ．表示領域Ｅ３１と、顧客満足度と顧客会話比率とを関連付けた一覧を表示する一覧表示領域Ｅ３２とが含まれる。一覧表示領域Ｅ３２は、接客区間の開始時刻および終了時刻を示す「時刻」の他、接客区間に含まれる各会話区間の「会話区間Ｎｏ．」、各会話区間の「顧客満足度」および各会話区間の「顧客会話比率」を関連付け、表形式で表示している。ここで、各会話区間の「顧客満足度」とは、図２１（ｃ）に示した会話区間別満足度を指す。
【０１２３】
図２３は、満足度−会話比率重ね合わせグラフのビューアー画面Ｄ０４を示す図である。当該ビューアー画面Ｄ０４は、例えば図１６または図２２に示したビューアー画面Ｄ０１，Ｄ０３から、「満足度−会話比率重ね合わせグラフ」を表示するための不図示のボタン操作により表示されるものであり、接客データに含まれる一部の情報を表示する接客データ表示領域Ｅ４１と、顧客満足度と会話比率との関係をグラフ化したグラフ表示領域Ｅ４２と、が含まれる。
【０１２４】
接客データ表示領域Ｅ４１は、「日付」、「店員」、「顧客」、「接客時間」、「売り上げＮｏ．」、「売り上げ金額」、「顧客の平均会話比率」、「平均顧客満足度」および「接客区間Ｎｏ．」を表示する。ここで、「接客時間」とは、接客開始時刻および接客終了時刻を指す。また、「平均顧客満足度」とは、図２１（ｄ）に示した接客区間別満足度を指す。
【０１２５】
グラフ表示領域Ｅ４２は、横軸を「会話区間Ｎｏ．」、縦軸を「顧客満足度」とした第１の折れ線グラフ（実線、黒丸にて図示）と、横軸を「会話区間Ｎｏ．」、縦軸を「会話比率」とした第２の折れ線グラフ（破線、白丸にて図示）と、を重ね合わせた重ね合わせグラフを表示する。ここで、横軸の「会話区間Ｎｏ．」は、時系列に並べられている。なお、「会話区間Ｎｏ．」に代えて、横軸を時間（時刻）としても良い。また、「顧客満足度」は、０〜１００の数値で表されるように、感情データおよび定数Ａ，Ｂ，Ｃの値が定められているものとする。また、「会話比率」は、顧客会話比率を単位％で示したものであり、０〜１００％で表される。このように、接客区間内の、各会話区間における顧客満足度の推移と、各会話区間における会話比率の推移とを、共通する時間軸上でグラフ化して表示することにより、ユーザーは、１接客内における会話状況の変化や顧客の感情の変化、並びにそれらの相関関係を一目で把握することができる。
【０１２６】
以上説明したとおり、第２実施形態に係る接客支援システムＳＹ２によれば、会話比率データと満足度データとを関連付け、接客データとして記録するため、これをマーケティングデータとして利用することができる。また、当該接客データにより、会話比率がどの程度顧客満足度に影響するかを推定でき、会話トレーニングの成果を証明できる。また、会話比率データとして各会話区間における会話比率を記録すると共に、満足度データとして各会話区間における顧客満足度を記録し、これらをビューアー画面Ｄ０３，Ｄ０４に表示することで、１接客内における会話状況の変化や顧客の感情の変化を確認できる。さらに、接客データとして、各接客区間における平均会話比率および平均顧客満足度を記録・表示するため（図２３のＥ４１参照）、各接客の総合的な評価を容易に把握することができる。
【０１２７】
なお、上記の実施形態では、接客管理を目的として、店員と顧客の会話比率および顧客満足度を算出したが、個人で利用しても良い。これにより、収集した会話比率データや満足度データを、個人間の会話スキル（会話テクニック）の向上に役立てることができる。
【０１２８】
［第３実施形態］
次に、図２４ないし図３１を参照し、本発明の接客支援装置、接客支援方法およびプログラムについて、第３実施形態として説明する。本実施形態に係る接客支援システムＳＹ３は、店員や顧客を監視する監視部の監視結果に基づいて、接客対象となる顧客別に接客区間を特定することを特徴とする。そこで、上記の各実施形態と異なる点のみ説明する。なお、本実施形態において、上記の各実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、上記の各実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
【０１２９】
図２４は、第３実施形態に係る接客支援システムＳＹ３の機能ブロック図である。本実施形態では、音声取得用マイク２が監視部として機能する。つまり、監視部は、会話取得部１０２を含んでおり（監視部の他の例については後述する）、会話取得部１０２は、店員と顧客の会話を取得する。
【０１３０】
また、本実施形態に係る管理サーバー１５は、第２実施形態と比較し、接客切替検出部１７１、切替検出データ記録部１７２、接客切替区間特定部１７３、接客会話区間特定部１７４および接客区間特定部１７５が追加されている。
【０１３１】
接客切替検出部１７１は、監視部の監視結果、すなわち会話取得部１０２によって取得した会話に含まれる顧客の音声に基づいて、店員の接客対象となっている対象顧客の切り替わりを検出する。本実施形態では、顧客の音声に対して、定期的に声紋認証を行い、当該声紋認証結果の変化により、対象顧客の切り替わりを検出する。なお、顧客の音声から、声紋以外の声の特徴量（声の高さや早さなど）を判別し、当該特徴量の変化によって、対象顧客の切り替わりを検出しても良い。
【０１３２】
切替検出データ記録部１７２は、店員を識別する店員識別情報と、接客切替検出部１７１の検出時刻（タイムスタンプ）と、を関連付け、切替検出データとして管理サーバー用データベースＤＢ３に記録する。
【０１３３】
接客切替区間特定部１７３は、記録した切替検出データに基づいて、検出開始からＮ番目（但し、ＮはＮ≧１となる整数）の検出時刻を区間開始時刻とし、且つＮ＋１番目の検出時刻を区間終了時刻とする接客切替区間を特定する。つまり、「接客切替区間」は、切替検出データに基づいて特定される区間である。
【０１３４】
接客会話区間特定部１７４は、話し掛け区間抽出部１６１により抽出された話し掛け区間に基づいて、接客会話区間を特定する。なお、第１実施形態および第２実施形態に係る「接客区間」は、本実施形態に係る「接客会話区間」に相当する。前述の通り、会話区間は、店員と顧客による話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体であるから、所定時間以上途切れないまま繰り返される会話区間の集合体を、１接客会話区間として特定する。つまり、「接客会話区間」は、接客データに含まれる録音データに基づいて特定される区間である。
【０１３５】
また、接客区間特定部１７５は、接客切替区間特定部１７３により特定された接客切替区間と、接客会話区間特定部１７４により特定された接客会話区間と、に基づいて接客区間を特定する。具体的には、接客会話区間と接客切替区間とを、ａｎｄ演算またはｏｒ演算することにより、接客区間を特定する。なお、接客区間特定部１７５は、店員識別情報によって、任意の切替検出データと、録音データを紐付けし、比較演算を行う。接客区間特定部１７５による接客区間の特定方法については、後に詳述する。
【０１３６】
上記の構成により、本実施形態の会話比率算出部１５５は、接客区間特定部１７５により特定された接客区間における会話比率を算出する。また、本実施形態の接客データ記録部１５８は、接客区間特定部１７５により特定された接客区間に相当する音声データである録音データや、同じく接客区間特定部１７５により特定された接客区間に相当する映像データである撮像データを、接客データとして記録する。また、本実施形態の画面表示部１５９は、ユーザーの操作に基づいて、接客切替区間特定部１７３により特定された接客切替区間、接客会話区間特定部１７４により特定された接客会話区間、および接客区間特定部１７５により特定された接客区間を、ビューアー画面Ｄに表示する（例えば、図２６ないし図３０参照）。また、ユーザーの操作に基づき、ビューアー画面Ｄ上で、接客区間の開始時間および終了時間の修正ができるようになっている。
【０１３７】
図２５は、第３実施形態に係る管理サーバー用データベースＤＢ３の説明図である。管理サーバー用データベースＤＢ３は、第１実施形態および第２実施形態で示した各部の他に、さらに切替検出データ記憶部９３として機能する。当該切替検出データ記憶部９３は、切替検出データ記録部１７２により記録された切替検出データを記憶する。また、本実施形態の接客データ記憶部９４は、顧客識別情報、店員識別情報、接客区間分の音声データに相当する録音データ、接客区間分の映像データに相当する撮像データ、接客区間における会話比率の他、接客区間データを記憶する。当該接客区間データは、接客区間の区間開始時刻および区間終了時刻を含むデータを指す。
【０１３８】
次に、図２６を参照し、切替検出データおよび切替検出期間について説明する。図２６（ａ）に示すように、切替検出データは、「店員識別情報」、「日付」および「切替検出時刻」が関連付けられた情報である。なお、「切替検出時刻」は、接客切替検出部１７１により、対象顧客の切り替わりが検出された時刻を指す。本実施形態では、顧客の音声に対して、定期的に声紋認証を行い、当該声紋認証結果が変化したとき（異なる顧客の声紋を認識したとき）、対象顧客が切り替わったと判定する。
【０１３９】
図２６（ｂ）は、接客切替区間を時間軸上で示したイメージ図である。接客切替区間は、切替検出ごとに新たな区間が発生するものとして定義されるため、同図に示すように、隣り合う区間の間に間隙が生じることがなく、連続した区間となる。
【０１４０】
次に、図２７を参照し、接客会話区間について説明する。図２７（ａ）は、接客会話区間特定結果の一例を示す図である。なお、接客会話区間は、第１実施形態で示した接客区間の特定方法によって特定される。ここでは、特定結果として、「店員識別情報」、「日付」、「顧客識別情報」および「接客会話区間」を示している。また、接客会話区間のインターバルの基準長さ（図５（ｂ）におけるインターバルＺ）は、１分３０秒であるものとする。
【０１４１】
図２７（ｂ）は、接客会話区間を時間軸上で示したイメージ図である。接客会話区間は、所定時間以上途切れないまま繰り返される会話区間の集合体として定義されるため、同図に示すように、隣り合う区間の間に間隙が生じる。
【０１４２】
次に、図２８ないし図３０を参照し、接客区間の特定方法について説明する。接客区間の特定方法として、ここでは３つのパターン（接客区間特定パターンＡ〜Ｃ）を例示する。図２８は、接客区間特定パターンＡを示す図である。接客区間特定パターンＡは、接客会話区間を基準にして接客区間を特定する。但し、複数の連続する接客会話区間が、１の接客切替区間に含まれる場合（接客会話区間（１），（２）と接客切替区間（１）の関係）、当該複数の接客会話区間の開始時刻から終了時刻までを、１接客区間とする（接客区間（１））。また、接客会話区間の途中で、接客切替区間が途切れる場合（接客会話区間（３）と接客切替区間（２），（３）の関係）、当該接客切替区間が途切れた時刻によって接客区間を分割する。つまり、同図の例では、接客会話区間（３）の開始時刻から接客切替期間（２）の終了時刻までを、接客区間（２）とし、接客切替区間（２）の終了時刻（接客会話区間（３）の開始時刻）から接客会話区間（３）の終了時刻までを、接客区間（３）とする。なお、これらの特定方法によって特定された接客区間の区間長が、所定時間未満の場合、その区間を接客区間として特定しない（無視する）ことが好ましい。
【０１４３】
このように接客区間特定パターンＡでは、本実施形態のように、顧客の声紋の変化によって対象顧客の切り替わりを検出する構成において、顧客別の接客区間を、正確に特定することができる。例えば、接客切替区間のみによって接客区間を特定する（接客切替区間＝接客区間とする）と、既に対象顧客が切り替わっているが、顧客の発声がないために前の接客が続いていると誤判定される可能性がある（例えば、接客切替区間（１）で接客会話区間（２）がないケースでは、接客会話区間（２）に相当する時間が接客会話区間（１）に加算されてしまう）。したがって、接客会話区間を基準に接客区間を特定することで、接客区間終了時刻の誤差を無くすことができる。
【０１４４】
また、接客会話区間のみによって接客区間を特定する（接客会話区間＝接客区間とする）と、同じ対象顧客であるにも拘らず、会話が所定時間以上途切れたために、異なる接客であると誤判定されてしまう（例えば、接客会話区間（１），（２）と接客切替区間（１）の関係）。また、逆に、対象顧客が切り替わったにも拘らず、会話が所定時間以上途切れなかったために、同じ接客であると誤判定されることもある（例えば、接客会話区間（３）と接客切替区間（２），（３）の関係）。したがって、接客会話区間と接客切替区間のいずれか一方のみではなく、両方を比較演算して接客区間を特定することで、正確な接客区間を特定できる。
【０１４５】
なお、本実施形態の接客切替検出部１７１は、定期的に声紋認証を行い、当該声紋認証結果が変化したとき、対象顧客が切り替わったと判定するものとしたが、所定時間内における同一声紋の出現率が所定値以下となったことにより、対象顧客の切り替わりを検出しても良い。この構成によれば、接客対象が家族連れの場合など、対象顧客が一人であるとは限らないため、所定時間内における同一声紋の出現率に応じて、対象顧客の切り替わりを検出することで、対象顧客別の接客区間を正確に特定することができる。例えば、同一人物の声紋が１分間に１回以上認識できている間は、対象顧客の切り替わりを検出しない、などが考えられる。なお、所定時間内における同一声紋の出現率に応じて、対象顧客の切り替わりを検出するのではなく、所定時間以上継続して同一声紋を検出しない場合、対象顧客が切り替わったと判定しても良い。
【０１４６】
続いて、図２９を参照し、接客区間特定パターンＢについて説明する。接客区間特定パターンＢは、接客会話区間と接客切替区間とが重複する区間を抽出して（ａｎｄ条件で比較演算を行い）、接客区間を特定する。例えば、接客区間（１），（２）については、いずれも接客切替区間（１）に含まれる区間であるため、接客会話区間（１），（２）と同じ区間となる。また、接客切替区間（２）は、接客会話区間（３）に含まれる区間であるため、接客切替区間（２）が接客区間（３）となる。さらに、接客会話区間（３）と接客切替区間（３）とを比較し、その重複部分を抽出して接客区間（４）とする。なお、本例においても、区間長が所定時間未満の接客区間を特定しないことが好ましい。
【０１４７】
続いて、図３０を参照し、接客区間特定パターンＣについて説明する。接客区間特定パターンＣは、接客切替区間を基準にして接客区間を特定する。例えば、接客区間（１）については、接客切替区間（１）と同じ区間となる。但し、接客切替区間よりも接客会話区間が長い場合は（接客会話区間（３）と接客切替区間（２）との関係）、当該接客切替区間の終了時刻を接客区間の切替時刻としない。つまり、同図の例では、接客切替区間（２），（３）を合計した区間を接客区間（２）とする（接客区間（２）の開始時刻は、接客切替区間（２）の開始時刻となり、接客区間（２）の終了時刻は、接客切替区間（３）の終了時刻となる）。なお、本例においても、区間長が所定時間未満の接客区間を特定しないことが好ましい。
【０１４８】
次に、図３１を参照し、接客区間設定（本実施形態の変形例）について説明する。本実施形態では、監視手段を音声取得用マイク２とし、顧客の声紋の変化を検出したとき、対象顧客が切り替わったと判定した。つまり、監視手段（監視内容）として、同図（ａ−１）を採用した。また、この場合、接客区間特定方法としては、接客区間特定パターンＡを採用することが好ましいと記載したが（同図（ｂ−１））、他の特定パターンを採用しても良い。つまり、接客区間特定パターンＢ（同図（ｂ−２））や、接客区間特定パターンＣ（同図（ｂ−３））を採用しても良い。さらに、その他の接客区間特定方法として、接客切替区間＝接客区間とする方法（同図（ｂ−４））や、接客会話区間＝接客区間とする方法（同図（ｂ−５））を採用しても良い。
【０１４９】
また、同図（ａ−２）に示すように、監視内容として、店員のキーワードを監視しても良い。この場合、接客切替検出部１７１は、店員の音声に対して、音声認識を行い、当該音声認識によって所定のキーワードを検出することにより、対象顧客の切り替わりを検出する。また、管理サーバー１５は、音響分析部、音響モデル、言語モデル、単語辞書およびテキスト変換部を含む音声認識部を備えることが前提となる。なお、音声認識部は、録音データに含まれる店員の音声を、発話区間ごとに認識することが好ましい。この構成によれば、所定のキーワードを検出することにより、対象顧客の切り替わりを容易に検出できる。例えば、接客区間の開始を示す「いらっしゃいませ」を検出した時刻を切替検出時刻としても良い。また、接客区間の終了を示す「またのご来店をお待ちしております」、「お買い上げありがとうございます」、「少々お待ちください」を検出した時刻を切替検出時刻としても良い。また、店舗ごとに、接客終了時に発声するキーワードを決めておき、そのキーワードを検出した時刻を切替検出時刻としても良い。この場合のキーワードとしては、例えば「終わり」、「バイバイ」など、通常接客時に使用しないキーワードを採用することが好ましい。さらに、接客区間の開始を示す開始キーワードと、接客区間の終了を示す終了キーワードとの両方を検出することにより、対象顧客の切り替わりをより正確に検出しても良い。つまり、「いらっしゃいませ」キーワード検出によって接客切替区間の開始と看做し、「またのご来店をお待ちしております」のキーワード検出によって接客切替区間の終了と看做しても良い。この場合、上記の実施形態の例とは異なり、隣り合う接客切替区間の間に、間隙が生じることとなる。
【０１５０】
また、同図（ａ−３）に示すように、監視手段として店内カメラ１１を利用し、店員の行動を監視しても良い。この場合、店員と顧客の接客状況を撮像する接客撮像部１１１が監視部として機能し、接客切替検出部１７１は、接客撮像部１１１により撮像された映像に基づいて、対象顧客の切り替わりを検出する。具体的には、映像の画像認識により、店員を特定し、当該店員の所定の行動を検出することにより、対象顧客の切り替わりを検出する。なお、店内カメラ１１は、天井や机に取り付けても良いし、店内カメラ１１に代えて、店員の服や体に小型カメラを装着しても良い。また、所定の行動としては、接客終了時に行うお辞儀など、自然発生するアクションが考えられ、この場合の、お辞儀の検出時刻を切替検出時刻としても良い。また、店舗ごとに、接客終了時に行うアクション（合図）を決めておき、そのアクションの検出により、対象顧客の切り替わりを検出しても良い。この場合のアクションとしては、例えば「カメラに向かいＶサインを行う」、「所定の場所に移動する」など、通常接客時に行わないアクションを採用することが好ましい。さらに、接客区間の開始を示す開始アクションと、接客区間の終了を示す終了アクションとの両方を検出することにより、対象顧客の切り替わりをより正確に検出しても良い。つまり、「カメラに向かいＶサインを行う」行動の検出によって接客切替区間の開始と看做し、「お辞儀」の行動検出によって接客切替区間の終了と看做しても良い。この場合も、隣り合う接客切替区間の間に、間隙が生じることとなる。
【０１５１】
また、同図（ａ−４）に示すように、監視手段として角度センサー（図示省略）を利用し、店員の動作を監視しても良い。この場合、店員に取り付けられ、当該店員の動作を検出する動作検出部（図示省略）が監視部として機能し、接客切替検出部１７１は、動作検出部の検出結果に基づいて、対象顧客の切り替わりを検出する。なお、動作検出部は、店員の上半身に取り付けられることが好ましい。また、角度センサーに代えて、重力センサーやジャイロセンサーを採用しても良い。また、動作検出部は、店員用端末５にその検出結果を出力し、店員用端末５から管理サーバー１５に出力結果が送信されることが好ましい。この場合、接客切替検出部１７１は、動作検出部により店員の上半身が傾く動作を検出したことにより、対象顧客の切り替わりを検出する。この構成によれば、店員の上半身が傾く動作により、接客終了時に行うお辞儀が行われたと判定できるため、当該動作検出により、対象顧客の切り替わりを正確に検出できる。
【０１５２】
なお、店員の動作としては、上記のような、自然発生する動作の他、店舗ごとに、予め接客終了時に行う動作を決めておき、その動作の検出により、対象顧客の切り替わりを検出しても良い。この場合の動作としては、例えば「店員カードをさわる」、「ポケットをたたく」など、通常接客時に行わない動作が考えられる。また、動作検出部としては、接触センサーや赤外線センサーなど他のセンサーを採用しても良い。また、センサー以外にも、店員によって操作されるタッチ式ボタンなど、各種操作手段を、動作検出部として用いても良い。さらに、接客区間の開始を示す開始動作と、接客区間の終了を示す終了動作との両方を検出することにより、対象顧客の切り替わりをより正確に検出しても良い。つまり、「店員カードをさわる」動作の検出によって接客切替区間の開始と看做し、「お辞儀」の動作検出によって接客切替区間の終了と看做しても良い。この場合も、隣り合う接客切替区間の間に、間隙が生じることとなる。
【０１５３】
このように、ユーザーは、管理サーバー１５に備えられた入力装置５５等により、監視手段および接客区間特定方法として、複数の選択肢から任意の候補を選択可能となっている。また、監視手段と接客区間特定方法の組み合わせは任意であり、使用状況やユーザーのニーズに応じて変更可能である。
【０１５４】
以上説明したとおり、第３実施形態に係る接客支援システムＳＹ３によれば、店員および顧客の少なくとも一方の監視結果から、接客対象となっている対象顧客の切り替わりを検出し、その検出時刻を店員識別情報と関連付け、切替検出データとして記録しておくため、当該切替検出データから、接客切替区間を特定できる。また、切替検出データを記録しておくため、これをマーケティングデータとして集計し、各店員の接客スキルの向上に役立てることができる。
【０１５５】
また、切替検出データに基づいて特定した接客切替区間と、録音データに基づいて特定した接客会話区間とを、比較演算して接客区間を特定するため、接客対象となる顧客別の接客区間を正確に特定することができる。また、正確な接客区間を特定することで、信頼性の高い会話比率を算出できる。また、算出した会話比率は、接客データの一部として記録されるため、これを接客手法の教材として利用できると共に、各接客（接客データ）について良い接客であったか否かを判別できる。これにより、例えば、会話比率から良い接客と考えられる接客状況を、各店員に示すなど、接客スキルの水平展開に役立てることができる。
【０１５６】
なお、上記の実施形態では、接客区間特定部１７５により特定された接客区間における会話比率を算出したが、当該接客区間における顧客満足度を算出し、これらに基づく会話比率データと満足度データとを関連付け、接客データとして記録しても良い。つまり、第２実施形態と第３実施形態を組み合わせた構成としても良い。
【０１５７】
以上、第１実施形態ないし第３実施形態を示したが、これらの各実施形態に示した接客支援システムＳＹ１，ＳＹ２，ＳＹ３の各処理をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリー等）に格納して提供することも可能である。すなわち、コンピューターを、接客支援システムＳＹ１，ＳＹ２，ＳＹ３の各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。その他、上述した実施例によらず、各接客支援システムＳＹ１，ＳＹ２，ＳＹ３のシステム構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。
【符号の説明】
【０１５８】
１…体導音センサー ２…音声取得用マイク ５…店員用端末 ６…ビューアー画面 １１…店内カメラ １２…ＰＯＳ端末 １３…レシートプリンター １４…レジカウンター １５…管理サーバー １６…表示端末 １６ａ…表示画面 １８…商品マスタ １９…ネットワーク ２１２…ボタン群 ２１３…プログレスバー ２１４…音量調節スライダ Ｄ…ビューアー画面 ＤＢ…管理サーバー用データベース Ｅ１１…照会条件選択領域 Ｅ１２…一覧表示領域 Ｅ１３…再生操作領域 Ｅ２１…照会条件選択領域 Ｅ２２…相関図表示領域 Ｅ３２…一覧表示領域 Ｅ４１…接客データ表示領域 Ｅ４２…グラフ表示領域 Ｒ…会計レシート ＳＹ…接客支援システム
【特許請求の範囲】
【請求項１】
店員および顧客の少なくとも一方を監視する監視部と、
前記監視部の監視結果に基づいて、前記店員の接客対象となっている対象顧客の切り替わりを検出する接客切替検出部と、
前記店員を識別する店員識別情報と、前記接客切替検出部の検出時刻と、を関連付け、切替検出データとしてデータベースに記録する切替検出データ記録部と、を備えたことを特徴とする接客支援装置。
【請求項２】
前記監視部は、
前記店員と前記顧客の会話を取得する会話取得部を含み、
前記接客切替検出部は、前記会話に含まれる前記店員および前記顧客の少なくとも一方の音声に基づいて、前記対象顧客の切り替わりを検出することを特徴とする請求項１に記載の接客支援装置。
【請求項３】
前記接客切替検出部は、前記顧客の音声に対して、定期的に声紋認証を行い、当該声紋認証結果の変化により、前記対象顧客の切り替わりを検出することを特徴とする請求項２に記載の接客支援装置。
【請求項４】
前記接客切替検出部は、所定時間内における同一声紋の出現率が所定値以下となったことにより、前記対象顧客の切り替わりを検出することを特徴とする請求項３に記載の接客支援装置。
【請求項５】
前記接客切替検出部は、前記店員の音声に対して、音声認識を行い、当該音声認識によって所定のキーワードを検出することにより、前記対象顧客の切り替わりを検出することを特徴とする請求項２に記載の接客支援装置。
【請求項６】
前記店員に取り付けられ、当該店員が発話したことを検出する発話検出部をさらに備え、
前記接客切替検出部は、前記発話検出部の検出結果に基づいて、前記会話に含まれる音声が、前記店員の音声であるか前記顧客の音声であるかを判別することを特徴とする請求項２ないし５のいずれか１項に記載の接客支援装置。
【請求項７】
前記監視部は、
前記店員と前記顧客の接客状況を撮像する接客撮像部を含み、
前記接客切替検出部は、前記接客撮像部により撮像された映像に基づいて、前記対象顧客の切り替わりを検出することを特徴とする請求項１に記載の接客支援装置。
【請求項８】
前記接客切替検出部は、前記映像の画像認識により、前記店員を特定し、当該店員の所定の行動を検出することにより、前記対象顧客の切り替わりを検出することを特徴とする請求項７に記載の接客支援装置。
【請求項９】
前記監視部は、
前記店員に取り付けられ、当該店員の動作を検出する動作検出部を含み、
前記接客切替検出部は、前記動作検出部の検出結果に基づいて、前記対象顧客の切り替わりを検出することを特徴とする請求項１に記載の接客支援装置。
【請求項１０】
前記接客切替検出部は、前記動作検出部により前記店員の上半身が傾く動作を検出したことにより、前記対象顧客の切り替わりを検出することを特徴とする請求項９に記載の接客支援装置。
【請求項１１】
前記店員と前記顧客の会話に基づく音声データを録音する音声データ録音部と、
前記切替検出データに基づいて、検出開始からＮ番目（但し、ＮはＮ≧１となる整数）の検出時刻を区間開始時刻とし、且つＮ＋１番目の検出時刻を区間終了時刻とする接客切替区間を特定する接客切替区間特定部と、
前記店員識別情報に、前記接客切替区間特定部により特定された前記接客切替区間に相当する前記音声データである録音データを関連付け、接客データとして前記データベースに記録する接客データ記録部と、をさらに備えたことを特徴とする請求項１ないし１０のいずれか１項に記載の接客支援装置。
【請求項１２】
前記接客切替区間に含まれる、前記店員による各話し掛け区間の長さの合計であるΣＬａ（但し、ΣＬａはΣＬａ≧０となる変数）と、前記顧客による各話し掛け区間の長さの合計であるΣＬｂ（但し、ΣＬｂはΣＬｂ≧０となる変数）と、を算出し、ΣＬａとΣＬｂの比率、若しくはΣＬａまたはΣＬｂの（ΣＬａ＋ΣＬｂ）に対する比率である会話比率を算出する会話比率算出部をさらに備え、
前記接客データ記録部は、前記店員識別情報および前記録音データに、前記会話比率を関連付け、前記接客データとして前記データベースに記録することを特徴とする請求項１１に記載の接客支援装置。
【請求項１３】
前記店員と前記顧客の会話に基づく音声データを録音する音声データ録音部と、
前記切替検出データに基づいて、検出開始からＮ番目（但し、ＮはＮ≧１となる整数）の検出時刻を区間開始時刻とし、且つＮ＋１番目の検出時刻を区間終了時刻とする接客切替区間を特定する接客切替区間特定部と、
録音された前記音声データから、前記店員の話し掛けによる音声区間である店員話し掛け区間と、前記顧客の話し掛けによる音声区間である顧客話し掛け区間と、を抽出する話し掛け区間抽出部と、
前記店員と前記顧客による前記話し掛け区間が所定時間以上途切れないまま交互に繰り返される前記話し掛け区間の集合体を１会話区間、所定時間以上途切れないまま繰り返される前記会話区間の集合体を１接客会話区間、としたとき、当該接客会話区間を特定する接客会話区間特定部と、
前記接客会話区間特定部により特定された前記接客会話区間と、前記接客切替区間特定部により特定された前記接客切替区間とを、比較演算することにより、接客区間を特定する接客区間特定部と、
前記店員識別情報に、前記接客区間特定部により特定された前記接客区間に相当する前記音声データである録音データを関連付け、接客データとして前記データベースに記録する接客データ記録部と、をさらに備えたことを特徴とする請求項１ないし１０のいずれか１項に記載の接客支援装置。
【請求項１４】
前記接客区間に含まれる、前記店員による各話し掛け区間の長さの合計であるΣＬａ（但し、ΣＬａはΣＬａ≧０となる変数）と、前記顧客による各話し掛け区間の長さの合計であるΣＬｂ（但し、ΣＬｂはΣＬｂ≧０となる変数）と、を算出し、ΣＬａとΣＬｂの比率、若しくはΣＬａまたはΣＬｂの（ΣＬａ＋ΣＬｂ）に対する比率である会話比率を算出する会話比率算出部をさらに備え、
前記接客データ記録部は、前記店員識別情報および前記録音データに、前記会話比率を関連付け、前記接客データとして前記データベースに記録することを特徴とする請求項１３に記載の接客支援装置。
【請求項１５】
コンピューターが、
店員および顧客の少なくとも一方を監視する監視ステップと、
前記監視ステップによる監視結果に基づいて、前記店員の接客対象となっている対象顧客の切り替わりを検出する接客切替検出ステップと、
前記店員を識別する店員識別情報と、前記接客切替検出ステップによる検出時刻と、を関連付け、切替検出データとしてデータベースに記録する切替検出データ記録ステップと、を実行することを特徴とする接客支援方法。
【請求項１６】
コンピューターに、請求項１５に記載の接客支援方法における各ステップを実行させるためのプログラム。
【請求項１】
店員および顧客の少なくとも一方を監視する監視部と、
前記監視部の監視結果に基づいて、前記店員の接客対象となっている対象顧客の切り替わりを検出する接客切替検出部と、
前記店員を識別する店員識別情報と、前記接客切替検出部の検出時刻と、を関連付け、切替検出データとしてデータベースに記録する切替検出データ記録部と、を備えたことを特徴とする接客支援装置。
【請求項２】
前記監視部は、
前記店員と前記顧客の会話を取得する会話取得部を含み、
前記接客切替検出部は、前記会話に含まれる前記店員および前記顧客の少なくとも一方の音声に基づいて、前記対象顧客の切り替わりを検出することを特徴とする請求項１に記載の接客支援装置。
【請求項３】
前記接客切替検出部は、前記顧客の音声に対して、定期的に声紋認証を行い、当該声紋認証結果の変化により、前記対象顧客の切り替わりを検出することを特徴とする請求項２に記載の接客支援装置。
【請求項４】
前記接客切替検出部は、所定時間内における同一声紋の出現率が所定値以下となったことにより、前記対象顧客の切り替わりを検出することを特徴とする請求項３に記載の接客支援装置。
【請求項５】
前記接客切替検出部は、前記店員の音声に対して、音声認識を行い、当該音声認識によって所定のキーワードを検出することにより、前記対象顧客の切り替わりを検出することを特徴とする請求項２に記載の接客支援装置。
【請求項６】
前記店員に取り付けられ、当該店員が発話したことを検出する発話検出部をさらに備え、
前記接客切替検出部は、前記発話検出部の検出結果に基づいて、前記会話に含まれる音声が、前記店員の音声であるか前記顧客の音声であるかを判別することを特徴とする請求項２ないし５のいずれか１項に記載の接客支援装置。
【請求項７】
前記監視部は、
前記店員と前記顧客の接客状況を撮像する接客撮像部を含み、
前記接客切替検出部は、前記接客撮像部により撮像された映像に基づいて、前記対象顧客の切り替わりを検出することを特徴とする請求項１に記載の接客支援装置。
【請求項８】
前記接客切替検出部は、前記映像の画像認識により、前記店員を特定し、当該店員の所定の行動を検出することにより、前記対象顧客の切り替わりを検出することを特徴とする請求項７に記載の接客支援装置。
【請求項９】
前記監視部は、
前記店員に取り付けられ、当該店員の動作を検出する動作検出部を含み、
前記接客切替検出部は、前記動作検出部の検出結果に基づいて、前記対象顧客の切り替わりを検出することを特徴とする請求項１に記載の接客支援装置。
【請求項１０】
前記接客切替検出部は、前記動作検出部により前記店員の上半身が傾く動作を検出したことにより、前記対象顧客の切り替わりを検出することを特徴とする請求項９に記載の接客支援装置。
【請求項１１】
前記店員と前記顧客の会話に基づく音声データを録音する音声データ録音部と、
前記切替検出データに基づいて、検出開始からＮ番目（但し、ＮはＮ≧１となる整数）の検出時刻を区間開始時刻とし、且つＮ＋１番目の検出時刻を区間終了時刻とする接客切替区間を特定する接客切替区間特定部と、
前記店員識別情報に、前記接客切替区間特定部により特定された前記接客切替区間に相当する前記音声データである録音データを関連付け、接客データとして前記データベースに記録する接客データ記録部と、をさらに備えたことを特徴とする請求項１ないし１０のいずれか１項に記載の接客支援装置。
【請求項１２】
前記接客切替区間に含まれる、前記店員による各話し掛け区間の長さの合計であるΣＬａ（但し、ΣＬａはΣＬａ≧０となる変数）と、前記顧客による各話し掛け区間の長さの合計であるΣＬｂ（但し、ΣＬｂはΣＬｂ≧０となる変数）と、を算出し、ΣＬａとΣＬｂの比率、若しくはΣＬａまたはΣＬｂの（ΣＬａ＋ΣＬｂ）に対する比率である会話比率を算出する会話比率算出部をさらに備え、
前記接客データ記録部は、前記店員識別情報および前記録音データに、前記会話比率を関連付け、前記接客データとして前記データベースに記録することを特徴とする請求項１１に記載の接客支援装置。
【請求項１３】
前記店員と前記顧客の会話に基づく音声データを録音する音声データ録音部と、
前記切替検出データに基づいて、検出開始からＮ番目（但し、ＮはＮ≧１となる整数）の検出時刻を区間開始時刻とし、且つＮ＋１番目の検出時刻を区間終了時刻とする接客切替区間を特定する接客切替区間特定部と、
録音された前記音声データから、前記店員の話し掛けによる音声区間である店員話し掛け区間と、前記顧客の話し掛けによる音声区間である顧客話し掛け区間と、を抽出する話し掛け区間抽出部と、
前記店員と前記顧客による前記話し掛け区間が所定時間以上途切れないまま交互に繰り返される前記話し掛け区間の集合体を１会話区間、所定時間以上途切れないまま繰り返される前記会話区間の集合体を１接客会話区間、としたとき、当該接客会話区間を特定する接客会話区間特定部と、
前記接客会話区間特定部により特定された前記接客会話区間と、前記接客切替区間特定部により特定された前記接客切替区間とを、比較演算することにより、接客区間を特定する接客区間特定部と、
前記店員識別情報に、前記接客区間特定部により特定された前記接客区間に相当する前記音声データである録音データを関連付け、接客データとして前記データベースに記録する接客データ記録部と、をさらに備えたことを特徴とする請求項１ないし１０のいずれか１項に記載の接客支援装置。
【請求項１４】
前記接客区間に含まれる、前記店員による各話し掛け区間の長さの合計であるΣＬａ（但し、ΣＬａはΣＬａ≧０となる変数）と、前記顧客による各話し掛け区間の長さの合計であるΣＬｂ（但し、ΣＬｂはΣＬｂ≧０となる変数）と、を算出し、ΣＬａとΣＬｂの比率、若しくはΣＬａまたはΣＬｂの（ΣＬａ＋ΣＬｂ）に対する比率である会話比率を算出する会話比率算出部をさらに備え、
前記接客データ記録部は、前記店員識別情報および前記録音データに、前記会話比率を関連付け、前記接客データとして前記データベースに記録することを特徴とする請求項１３に記載の接客支援装置。
【請求項１５】
コンピューターが、
店員および顧客の少なくとも一方を監視する監視ステップと、
前記監視ステップによる監視結果に基づいて、前記店員の接客対象となっている対象顧客の切り替わりを検出する接客切替検出ステップと、
前記店員を識別する店員識別情報と、前記接客切替検出ステップによる検出時刻と、を関連付け、切替検出データとしてデータベースに記録する切替検出データ記録ステップと、を実行することを特徴とする接客支援方法。
【請求項１６】
コンピューターに、請求項１５に記載の接客支援方法における各ステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２０１１−２３７９６６（Ｐ２０１１−２３７９６６Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０８０６１（Ｐ２０１０−１０８０６１）
【出願日】平成２２年５月１０日（２０１０．５．１０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１０日（２０１０．５．１０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]