会計処理判定装置、会計処理判定装置の制御方法およびプログラム
【課題】店内における顧客や店員の不正行為を容易且つ迅速に検出可能な会計処理判定装置、会計処理判定装置の制御方法およびプログラムを提供する。
【解決手段】会計処理部１１による会計処理に関するキーワードを記憶するキーワード記憶部６１と、会計処理時における顧客および店員の音声を取得する音声取得部４１，５１と、会計処理時において、キーワード記憶部６１に記憶されているキーワードを、音声取得部４１，５１により取得したか否かに応じて、会計処理が正常に行われたか否かを判定する会計処理判定部６２と、会計処理が正常に行われなかったと判定された場合、オペレーターおよび管理者に対して警告を行う警告部２５，６５と、を備えた。
【解決手段】会計処理部１１による会計処理に関するキーワードを記憶するキーワード記憶部６１と、会計処理時における顧客および店員の音声を取得する音声取得部４１，５１と、会計処理時において、キーワード記憶部６１に記憶されているキーワードを、音声取得部４１，５１により取得したか否かに応じて、会計処理が正常に行われたか否かを判定する会計処理判定部６２と、会計処理が正常に行われなかったと判定された場合、オペレーターおよび管理者に対して警告を行う警告部２５，６５と、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スーパーマーケット等の小売店やファミリーレストラン等の飲食店内において、店員や顧客による不正行為を検出するための会計処理判定装置、会計処理判定装置の制御方法およびプログラムに関するものである。
【背景技術】
【０００２】
従来、小売店や飲食店内において、店員による会計処理時の不正行為を検出するためのシステムとして、特許文献１が提案されている。当該特許文献１に記載のシステムは、ＰＯＳ（Point Of Sales）端末（ＰＯＳターミナル）と、ＰＯＳ端末周辺を撮像するカメラと、フォトジャーナルレコーダーと、検索端末と、により構成されている。フォトジャーナルレコーダーとは、ジャーナルデーター（取引履歴データー）と、カメラにより撮像されたＰＯＳ端末周辺の画像データーと、店員によるＰＯＳ端末の操作履歴（操作履歴データー）と、を関連付けて記録するものである。そして、管理者が検索端末を用いて、時間やＰＯＳ端末の操作情報等の所定の検索条件を指定することにより、検索条件に一致するジャーナルデーターや画像データーをディスプレイに表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１１５５０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載のシステムでは、管理者が指定した検索条件に一致する記録データー（会計処理の内容およびその時の撮像画像）を一覧表示するのみであり、会計処理において不正行為が行われたか否かを検出するためには、逐一、管理者が記録データーを確認しなければならない。また、膨大な記録データーを確認する必要があるため、不正行為の検出漏れが発生するといった問題もある。このように、従来提案されているシステムでは、確実に不正行為を検出することができず、不正行為の防止策としての効果が低かった。
【０００５】
本発明は、上記の問題に鑑み、店員や顧客の不正行為を容易且つ迅速に検出可能な会計処理判定装置、会計処理判定装置の制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の会計処理判定装置は、会計処理部による会計処理に関するキーワードを記憶するキーワード記憶部と、会計処理時における店員および顧客の少なくとも一方の音声を取得する音声取得部と、会計処理時において、キーワード記憶部に記憶されているキーワードを、音声取得部により取得したか否かに応じて、会計処理が正常に行われたか否かを判定する会計処理判定部と、を備えたことを特徴とする。
【０００７】
本発明の会計処理判定装置の制御方法は、会計処理部と、当該会計処理部による会計処理に関するキーワードを記憶するキーワード記憶部と、を内部または外部に備えた会計処理判定装置の制御方法であって、会計処理判定装置が、会計処理時における店員および顧客の少なくとも一方の音声を取得する音声取得ステップと、音声取得ステップにおいて、キーワード記憶部に記憶されているキーワードを取得したか否かに応じて、会計処理が正常に行われたか否かを判定する会計処理判定ステップと、を実行することを特徴とする。
【０００８】
これらの構成によれば、会計処理時におけるキーワードの取得の有無に応じて、会計処理が正常に行われたか否かを判定することができる。これにより、会計処理時において即座に判定を行うことができるため、迅速に不正行為を検出することができる。また、膨大な記録データーを確認する必要がないため、検出漏れの心配もなく、容易且つ確実に不正行為を検出することができる。
なお、会計処理判定部（会計処理判定ステップ）は、キーワード記憶部に記憶されているキーワードを取得した場合に、会計処理が正常に行われたと判定しても良いし、キーワード記憶部に記憶されているキーワードを取得しなかった場合に、会計処理が正常に行われたと判定しても良い。
【０００９】
上記に記載の会計処理判定装置において、キーワード記憶部は、会計処理の処理内容ごとにキーワードを記憶しており、会計処理部で実行されている処理内容を判定する処理内容判定部をさらに備え、会計処理判定部は、処理内容判定部により判定された処理内容に対応するキーワードを、音声取得部により取得したか否かに応じて、会計処理が正常に行われたか否かを判定することが好ましい。
【００１０】
この構成によれば、会計処理部で実行されている処理内容を判定し、判定された処理内容に対応するキーワードの取得の有無に応じて、会計処理が正常に行われたか否かを判定することができる。これにより、処理内容ごとに取得対象キーワードを絞り込むことができるため、キーワードの認識精度を上げることができ、ひいては会計処理が正常に行われたか否かの判定精度を上げることができる。また、取得対象キーワードの削減により、ロースペックのコンピューターでも処理可能となり、装置の小型化、ローコスト化および省電力化を図ることができる。
【００１１】
上記に記載の会計処理判定装置において、会計処理判定部は、会計処理時において、処理内容判定部により判定された処理内容に対応するキーワードを取得しなかった場合、会計処理が正常に行われなかったと判定し、会計処理判定部により、会計処理が正常に行われなかったと判定された場合、会計処理部を操作している店員および予め定められた管理者の少なくとも一方に対して警告を行う警告部をさらに備えたことが好ましい。
【００１２】
この構成によれば、店員や管理者は、会計処理が正常に行われなかった旨を確認することができる。これにより、不正行為に対する適切な対処および対応を行うことができる。
【００１３】
上記に記載の会計処理判定装置において、警告部は、管理者に対し、電子メールまたはＷｅｂアプリケーションを用いて、会計処理が正常に行われなかった旨を通知することが好ましい。
【００１４】
この構成によれば、管理者の居場所に関わらず、会計処理が正常に行われなかった旨を確実に通知することができる。
【００１５】
上記に記載の会計処理判定装置において、処理内容判定部は、会計処理の取引金額を判定し、警告部は、会計処理の取引金額に応じて、警告先および警告方法の少なくとも一方を可変することが好ましい。
【００１６】
この構成によれば、例えば、取引金額が大きい場合は権限の大きい管理者に対して警告を行うなど、取引金額に応じた適切な警告先（会計処理部を操作している店員、管理者など）に対して警告を行うことができる。また、例えば、取引金額が大きい場合は、大音量の警告音を発したり、ディスプレイ表示による警告を行うなど、取引金額に応じた適切な警告方法で警告を行うことができる。
なお、「警告方法を可変する」とは、音声警告の場合、音声パターン、音量、警告回数、警告間隔などを可変することを指す。また、表示警告の場合、表示内容、表示色、表示回数、表示間隔などを可変することを指す。また、通知警告の場合、通知内容、通知方法、通知回数などを可変することを指す。さらに、音声、表示、通知など、警告手段を可変することも、警告方法を可変することに含まれる。
【００１７】
上記に記載の会計処理判定装置において、会計処理判定部により、会計処理が正常に行われなかったと判定されたときの店員および顧客の少なくとも一方の音声から特定される対象者声紋と、その判定回数と、を関連付けて記憶しておく不正履歴記憶部をさらに備え、警告部は、会計処理判定部により、会計処理が正常に行われなかったと判定された場合であって、その対象者の声紋と一致する対象者声紋が不正履歴記憶部に記憶されている場合、当該対象者声紋に関連付けられている過去の判定回数に応じて、警告先および警告方法の少なくとも一方を可変することが好ましい。
【００１８】
この構成によれば、店員や顧客の過去の不正判定回数（会計処理が正常に行われなかったと判定された回数）に応じて、警告先や警告方法を可変することができる。これにより、例えば、判定回数が多い場合は、不正行為の可能性が高いため、より多くの警告先に対して警告を行ったり、より確実な警告方法を採用したりなど、不正行為の可能性の高さに応じた適切な警告を行うことができる。
【００１９】
上記に記載の会計処理判定装置において、会計処理の対象顧客を検出する顧客検出部をさらに備え、警告部は、顧客検出部による対象顧客の検出の有無に応じて、警告先および警告方法の少なくとも一方を可変することが好ましい。
【００２０】
一般的に、対象顧客が存在しない場合は、対象顧客が存在する場合よりも不正行為の可能性が高いと言える。この構成によれば、例えば、対象顧客が存在しない場合は、より多くの警告先に対して警告を行ったり、より確実な警告方法を採用したりなど、不正行為の可能性の高さに応じた適切な警告を行うことができる。
【００２１】
上記に記載の会計処理判定装置において、会計処理の対象顧客を検出する顧客検出部をさらに備え、会計処理判定部は、処理内容判定部により判定された処理内容に対応するキーワードを取得せず、且つ顧客検出部により対象顧客を検出できなかった場合、会計処理が正常に行われなかったと判定することが好ましい。
【００２２】
この構成によれば、処理内容に対応するキーワードを取得できなかったことと、対象顧客を検出できなかったこと、の２つの条件を満たす場合に、会計処理が正常に行われなかったと判定する。これにより、誤判定の可能性を低くすることができる。
【００２３】
上記に記載の会計処理判定装置において、処理内容判定部により、処理内容が、特定の人に対して商品の割引きを行う特定割引処理であると判定された場合、会計処理判定部は、特定割引処理に対応するキーワードを取得せず、且つ顧客検出部により特定の人に該当する対象顧客を検出できなかった場合、会計処理が正常に行われなかったと判定することが好ましい。
【００２４】
この構成によれば、特定割引処理の場合は、特定割引処理に対応するキーワードを取得できなかったことと、特定の人に該当する対象顧客を検出できなかったこと、の２つの条件を満たす場合に、会計処理が正常に行われなかったと判定する。これにより、誤判定の可能性を低くすることができる。
【００２５】
上記に記載の会計処理判定装置において、処理内容判定部により、処理内容が、精算時における商品コード読取処理であると判定された場合、会計処理判定部は、商品コード読取処理に対応するキーワードを取得せず、且つ商品コードの読取結果を取得できなかった場合、会計処理が正常に行われなかったと判定することが好ましい。
【００２６】
この構成によれば、商品コード読取処理（バーコードスキャン処理）の場合は、商品コード読取処理に対応するキーワードを取得できなかったことと、商品コードの読取結果を取得できなかったこと、の２つの条件を満たす場合に、会計処理が正常に行われなかったと判定する。これにより、誤判定の可能性を低くすることができる。
【００２７】
なお、上記に記載の会計処理判定装置において、会計処理判定部は、商品コード読取処理に対応するキーワードを取得した場合であっても、商品コード読取処理時に取得した音声の認識結果から特定される商品と、商品コードの読取結果とが一致しなかった場合、会計処理が正常に行われなかったと判定しても良い。
【００２８】
一般的に、商品コード読取処理時には、店員が発する音声（「○○が一点。」など）と、商品コードの読取結果とが一致する。この構成によれば、これらが一致しない場合、会計処理が正常に行われなかった（カラスキャンの可能性あり）と判定することができ、より確実に不正行為を検出することができる。
なお、会計処理判定部は、１回の会計処理内において、取得した音声の認識結果（解析結果）から特定される商品と、商品コードの読取結果とが一致しなかった回数が、所定回数を超えた場合に、会計処理が正常に行われなかったと判定しても良い。この構成によれば、店員が、悪意なく１回だけ商品名を誤って発声してしまった場合、即座に「会計処理が正常に行われなかった」と判定されてしまうような不具合を解消することができる。なお、この場合は、店員に対してオペレーションをやり直すように促すための報知を行うことが好ましい。
【００２９】
上記に記載の会計処理判定装置において、キーワード記憶部は、店員を対象とした店員用キーワードと、顧客を対象とした顧客用キーワードと、を区別して記憶しており、音声取得部により取得した店員の音声と、顧客の音声と、を区別して認識する音声認識部をさらに備え、会計処理判定部は、店員および顧客から、それぞれ店員用キーワードおよび顧客用キーワードを取得したか否かに応じて、会計処理が正常に行われたか否かを判定することが好ましい。
【００３０】
この構成によれば、店員の音声と、顧客の音声と、を区別して認識することで、取得対象キーワードを絞り込むことができる。これにより、キーワードの認識精度を上げることができ、ひいては会計処理が正常に行われたか否かの判定精度を上げることができる。
【００３１】
なお、上記に記載の会計処理判定装置において、音声取得部は、店員に対して指向性を持つ店員用音声取得部と、顧客に対して指向性を持つ顧客用音声取得部と、から成っても良い。
【００３２】
この構成によれば、店員または顧客に対して指向性を持つ専用の音声取得部を設けることで、確実且つ容易に、店員の音声と、顧客の音声と、を区別して認識することができる。
【００３３】
また、上記に記載の会計処理判定装置において店員の声紋を記憶しておく店員声紋記憶部をさらに備え、音声認識部は、取得した音声の声紋が、店員声紋記憶部に記憶されている声紋と一致するか否かに応じて、店員の音声と、顧客の音声と、を区別しても良い。
【００３４】
この構成によれば、取得した音声の声紋が、予め記憶されている店員の声紋と一致するか否かに応じて、店員の音声と、顧客の音声と、を区別することができるため、音声取得部をそれぞれ独立して設ける必要がない。これにより、システム構築に要するイニシャライズコストを軽減することができる。
【００３５】
上記に記載の会計処理判定装置において、会計処理判定部は、処理内容判定部により、処理内容が会計処理の例外処理を示す所定の処理であると判定された場合のみ、会計処理が正常に行われたか否かを判定することが好ましい。
【００３６】
この構成によれば、会計処理が正常に行われたか否かの判定を、例外処理時のみに限定することで、取得対象キーワードを絞り込むことができる。これにより、キーワードの認識精度を上げることができ、ひいては会計処理が正常に行われたか否かの判定精度を上げることができる。
【００３７】
なお、上記に記載の会計処理判定装置において、会計処理部の会計処理結果である会計情報をレシート用紙に印刷する印刷部をさらに備えても良い。
【００３８】
この構成によれば、レシートプリンターによって、本発明の会計処理判定装置を実現することができる。
【００３９】
本発明のプログラムは、コンピューターに、上記に記載の会計処理判定装置の制御方法における各ステップを実行させることを特徴とする。
【００４０】
このプログラムを実行することにより、店員や顧客の不正行為を容易且つ迅速に検出可能な会計処理判定装置の制御方法を実現することができる。
【図面の簡単な説明】
【００４１】
【図１】第１実施形態に係る店舗監視システムのシステム構成図である。
【図２】第１実施形態に係る店舗監視システムの機能ブロック図である。
【図３】顧客用キーワードデーターベースおよび店員用キーワードデーターベースの説明図である。
【図４】第１実施形態に係る店舗監視システムの警告処理を示すフローチャートである。
【図５】図４のフローチャートのサブルーチンである。
【図６】第２実施形態に係る店舗監視システムの機能ブロック図である。
【図７】第２実施形態に係る店舗監視システムの警告処理を示すフローチャートである。
【図８】第３実施形態に係る店舗監視システムの警告処理を示すフローチャートである。
【発明を実施するための形態】
【００４２】
以下、添付の図面を参照し、本発明の会計処理判定装置、会計処理判定装置の制御方法およびプログラムについて説明する。なお、以下に示す各実施形態では、本発明の会計処理判定装置を、店舗監視システムに適用した場合について例示する。当該店舗監視システムは、スーパーマーケット等の小売店内において、店員や顧客による不正行為を検出するべく構築されたものである。
【００４３】
［第１実施形態］
図１は、第１実施形態に係る店舗監視システムＳＹのシステム構成図である。同図に示すように、店舗監視システムＳＹは、会計処理を行うＰＯＳ端末１と、レシート（図示省略）を発行するレシートプリンター２と、商品に貼付または印刷されたバーコードを読み取るハンディスキャナー３と、商品情報を表示するカスタマディスプレイ４と、店員（オペレーター）が装着するヘッドセット５と、店舗監視システムＳＹを統括する店舗管理サーバー６と、ヘッドセット５と無線ＬＡＮ７を介して通信を行う無線ＬＡＮルーター８と、により構成されている。ＰＯＳ端末１とレシートプリンター２、ＰＯＳ端末１とハンディスキャナー３、レシートプリンター２とカスタマディスプレイ４、並びにレシートプリンター２と無線ＬＡＮルーター８は、それぞれシリアルインターフェース（例えば、ＵＳＢ（Universal Serial Bus）インターフェース）により接続されている。また、ＰＯＳ端末１、レシートプリンター２、および店舗管理サーバー６は、店舗内有線ＬＡＮ９により接続されている。
【００４４】
一方、店舗管理サーバー６は、インターネット等のネットワークＮＴを介して携帯電話会社１１０と接続されている。また、図示の携帯電話１２０は、店舗において所定の権限を有する管理者（マネージャーや店長など）によって所持され、電話回線１３０および携帯電話会社１１０を介して、ヘッドセット５を装着した店員と通話を行うことができるようになっている。
【００４５】
なお、図１では、ＰＯＳ端末１が１台の場合を示しているが、店舗内に複数のレジカウンター１０が設置されている場合、レジカウンター１０ごとに、ＰＯＳ端末１が設けられる。すなわち、この場合は、複数のＰＯＳ端末１、レシートプリンター２、ハンディスキャナー３、カスタマディスプレイ４、ヘッドセット５および無線ＬＡＮルーター８が、店舗監視システムＳＹの構成要素となる。また、請求項における「会計処理判定装置」は、上記の構成要素のうち、レシートプリンター２、カスタマディスプレイ４、ヘッドセット５、無線ＬＡＮルーター８および店舗管理サーバー６から成る。
【００４６】
ＰＯＳ端末１は、レジカウンター１０に設置されたレジスターであり、店員により入力された商品情報に基づいて会計処理を行う。そして、会計処理の処理結果である会計情報（トランザクションデーター）や、種々の操作結果を、レシートプリンター２に出力する。また、ハンディスキャナー３は、商品コードなどが記録された商品バーコードを読み取り、その読取結果をＰＯＳ端末１に出力する。
【００４７】
カスタマディスプレイ４は、顧客用マイク４ａを有し、顧客に対して、商品名や商品価格を表示する顧客用ディスプレイとしての一般的な機能の他、顧客の音声を取得する機能を有している。顧客用マイク４ａは、小型集音マイクであり、カスタマディスプレイ４の周縁部に、顧客側に向けて設けられる。
【００４８】
ヘッドセット５は、インカムとも称されるものであり、店員用マイク５ａと、ヘッドフォン（図示省略）を有している。ＰＯＳ端末１を操作する店員は、このヘッドセット５の装着が義務付けられており、これを用いて管理者（携帯電話１２０）との通話を行う。
【００４９】
レシートプリンター２は、ＰＯＳ端末１から出力された会計情報に基づいて、レシートを発行すると共に、ＰＯＳ端末１で実行された処理の内容（以下、「処理内容」と称する）を判定する。また、レシートプリンター２は、カスタマディスプレイ４およびヘッドセット５から、顧客の音声データーおよび店員の音声データーを取得し、その音声認識結果を店舗管理サーバー６へ出力する。このように、レシートプリンター２を主幹として各種情報の入出力を行うことで（レシートプリンター２が、取得した各種情報をフィルタリングして必要な情報を出力することで）、ＰＯＳ基幹ネットワーク（ＰＯＳ端末１を主幹としたネットワーク）のトラフィックに影響を与えることがない。また、既存のＰＯＳシステムに本発明を適用する際、ＰＯＳ基幹ネットワーク自体の変更が不要となる。
【００５０】
店舗管理サーバー６は、顧客および店員の音声認識結果と、ＰＯＳ端末１で実行された処理内容と、を照合し、会計処理が正常に行われたか否かを判定する。例えば、会計処理が実行されたにも関わらず、店員の音声データーを取得できなかった場合は、会計処理が正常に行われなかったと判定し、警告を行う。また、店舗管理サーバー６は、会計処理が正常に行われたか否かに関する不正履歴を会計処理ごとに記録し、不図示のプリンターにより、その記録結果（不正レポート）を印刷出力する。当該不正レポートは、不正履歴を、顧客、店員または処理内容ごとに分類したものであり、店舗内不正の検証および不正行為の証拠として用いられる。
【００５１】
次に、図２を参照し、店舗監視システムＳＹの機能構成について説明する。ＰＯＳ端末１は、主な機能構成として、会計処理部１１を有している。会計処理部１１は、ＰＯＳアプリケーション（図示省略）を主要部とするものであり、スキャン処理（商品コード読取処理）や例外処理を含む会計処理を実行する。また、それらの処理結果を、会計情報としてレシートプリンター２に出力する。
【００５２】
なお、本実施形態において、例外処理とは、不正行為に関連する可能性の高い所定の処理を指す。具体的には、商品の返品を行うための「返品処理」、会計処理後に当該会計処理の取り消し行うための「ミスレジ処理（取消処理）」、商品の値引きを行うための「値引処理」、商品の割引きを行うための「割引処理」、会計処理中において入力データーをキャンセルするための「中止処理」、および金銭の両替を行うための「両替処理」、キャッシュドロア内の金銭と売上を照合するための「点検処理」、出金または返金を行うための「出金/返金処理」、およびレシートを再発行するための「再発行処理」などを指す。これらの各処理は、例外処理の種別として区別される。また、便宜上、上記のスキャン処理は、これらの例外処理と区別して、通常処理と称する。
【００５３】
カスタマディスプレイ４に設けられた顧客用マイク４ａは、主な機能構成として、顧客用音声取得部４１を有している。顧客用音声取得部４１は、顧客の音声信号を取得し、レシートプリンター２に出力する。また、ヘッドセット５に設けられた店員用マイク５ａは、主な機能構成として、店員用音声取得部５１を有している。店員用音声取得部５１は、店員の音声信号を取得し、レシートプリンター２に出力する。
【００５４】
レシートプリンター２は、主な機能構成として、会計情報取得部２１、処理内容判定部２２、音声認識部２３、印刷部２４およびオペレーター警告部２５を有している。会計情報取得部２１は、ＰＯＳ端末１（会計処理部１１）から出力された会計情報を取得する。
【００５５】
処理内容判定部２２は、会計処理部１１で実行されている処理内容を判定し、その判定結果を店舗管理サーバー６に出力する。処理内容については、印刷データーとして用いられる会計情報に基づいて、判定を行う。具体的には、ＰＯＳ端末１から出力された印刷データーをタップしてテキストデーターに変換し、意味解析を行って処理内容を判定する。なお、レシートプリンター２は、カスタマディスプレイ４と接続されているため、ＰＯＳ端末１から出力されたカスタマディスプレイ４への表示データーをタップして、処理内容を判定しても良い。また、例外処理時に操作される所定キーの操作結果および通常処理時に読み取られる商品コードの取得によって判定を行うことも可能である。例外処理の具体的な判定方法としては、ＰＯＳ端末１にＰＯＳキーボード用のフックドライバーをインストールすることにより、ＰＯＳキーボードの操作結果（キーコード）を会計情報取得部２１経由で処理内容判定部２２へ送信し、処理内容判定部２２により例外処理時に操作される所定キーのキーコードを検出することで処理内容の特定を行う。また、通常処理時の具体的な判定方法としては、ＰＯＳ端末１にハンディスキャナー用のフックドライバーをインストールすることにより、ハンディスキャナーからの商品コードをタップし、その結果を会計情報取得部２１経由で処理内容判定部２２へ送信することで処理内容の特定を行う。この場合は、会計処理の取引開始時に、ＰＯＳ端末１の操作（＝処理内容）を判定することができる。
【００５６】
音声認識部２３は、顧客用音声取得部４１および店員用音声取得部５１から音声データーを取得し、音声認識を行う。当該音声認識部２３は、顧客の音声認識を行う顧客用音声認識部２３１と、店員の音声認識を行う店員用音声認識部２３２と、から成り、各音声認識部２３１，２３２は、音響モデル１１１，１１２、単語辞書１２１，１２２および言語モデル１３１，１３２を有している（図５参照）。詳細については、後述する。
【００５７】
印刷部２４は、会計情報取得部２１が取得した会計情報をレシート用紙に印刷し、レシートを発行する。また、オペレーター警告部２５は、後述する会計処理判定部６２により、会計処理が正常に行われなかったと判定された場合、ＰＯＳ端末１を操作する店員（オペレーター）に対し、会計処理が正常に行われなかった旨を報知する。報知方法としては、オペレーターディスプレイ（図示省略）への表示、音声発生、ＬＥＤの点灯／点滅、バイブレーターによる振動などが考えられる。
【００５８】
店舗管理サーバー６は、主な機能構成として、キーワード記憶部６１、会計処理判定部６２、不正履歴記録部６３、不正履歴記憶部６４および管理者警告部６５を有している。キーワード記憶部６１は、会計処理部１１による会計処理に関するキーワードを記憶するものであり、顧客用キーワードデーターベースＤＢ１と、顧客用キーワードデーターベースＤＢ２と、が含まれる。ここで、図３を参照し、各キーワードデーターベースＤＢ１，ＤＢ２について説明する。
【００５９】
図３（ａ）は、顧客用キーワードデーターベースＤＢ１の一例を示す図である。同図に示すように、顧客用キーワードデーターベースＤＢ１は、処理内容ごとに、顧客用キーワードが関連付けられている。顧客用フレーズは、顧客用キーワードを含むフレーズの一例を示したものである。例えば、例外処理の一つである「返品処理」の場合、顧客によって「返品お願いします。」または「これ、返品したいのですが。」などのフレーズが発声されることが予想される。そこで、実際に返品処理時において、これらのフレーズに含まれる「返品」のキーワードが顧客用マイク４ａから取得できた場合、後述する会計処理判定部６２により、その会計処理は正常に実行されたと判定される。逆に、返品処理時において、顧客用マイク４ａから「返品」のキーワードを取得できなかった場合、その会計処理は正常に実行されなかったと判定される。
【００６０】
一方、図３（ｂ）は、店員用キーワードデーターベースＤＢ２の一例を示す図である。同図に示すように、店員用キーワードデーターベースＤＢ２は、処理内容ごとに、店員用キーワードが関連付けられている。店員用フレーズは、店員用キーワードを含むフレーズの一例を示したものである。例えば、例外処理の一つである「返品処理」の場合、顧客の依頼に対し、店員が「了解いたしました。返品ですね。」などのフレーズを発声することが予想される。なお、オペレーションを行う前に、店員に対し、そのようなフレーズを発声することを指導しておくことが望ましい。そこで、返品処理時において、実際にこれらのフレーズに含まれる「了解」または「返品」のキーワードが店員用マイク５ａから取得できた場合、後述する会計処理判定部６２により、その会計処理は正常に実行されたと判定される。逆に、返品処理時において、店員用マイク５ａから「了解」または「返品」のキーワードを取得できなかった場合、その会計処理は正常に実行されなかったと判定される。
【００６１】
なお、本例のように、１の処理内容に対して複数のキーワードが登録されている場合、少なくとも１つのキーワードを検出できた場合、その会計処理は正常に実行されたと判定しても良いし、複数全てのキーワードを検出できた場合、その会計処理は正常に実行されたと判定しても良い。また、１の処理内容に対して３つ以上のキーワードが登録されている場合は、所定数または所定割合以上のキーワードを検出できたことを条件として、その会計処理は正常に実行されたと判定しても良い。
【００６２】
また、顧客用キーワードおよび店員用キーワードの少なくとも一方が検出できた場合、その会計処理は正常に実行されたと判定しても良いし、両キーワードを検出できた場合、その会計処理は正常に実行されたと判定しても良い。但し、後者の場合であっても、顧客用キーワードデーターベースＤＢ１の「スキャン処理」のように、キーワードが登録されていない処理内容もあるため、その場合は、店員用キーワードを検出できたことを条件として、その会計処理は正常に実行されたと判定する。
【００６３】
また、同図の例では、処理内容として、返品処理、ミスレジ処理、店員割引処理（特定割引処理）およびスキャン処理を挙げているが、あくまでも一例であり、これらに限定されるものではない。
【００６４】
図２の説明に戻る。会計処理判定部６２は、上記のとおり、処理内容判定部２２により判定された処理内容に対応するキーワードを、顧客および店員から、それぞれ顧客用音声取得部４１および店員用音声取得部５１により取得したか否かに応じて、会計処理が正常に行われたか否かを判定する。なお、顧客用音声取得部４１から店員用キーワードを取得した場合、および店員用音声取得部５１から顧客用キーワードを取得した場合は、いずれも対応するキーワードを検出できたと判定しないことが好ましい。
【００６５】
不正履歴記録部６３は、会計処理判定部６２の判定結果を、トランザクションデーターと関連付けて、不正履歴記憶部６４に記憶する。具体的には、不正履歴として、会計処理判定部６２の判定結果（正常ｏｒ警告）、会計処理日時、トランザクション番号、レジ番号（ＰＯＳ端末１のＩＤ）、オペレーターＩＤ、顧客ＩＤ、処理内容などを記録する。また、不正履歴記憶部６４は、これらの不正履歴を不揮発に記憶する。
【００６６】
管理者警告部６５は、会計処理判定部６２により、会計処理が正常に行われなかったと判定された場合、管理者に対して警告を行う。本実施形態では、管理者の携帯電話１２０に対して、電子メールを送信することにより、会計処理が正常に行われなかった旨（不正行為が行われた可能性がある旨）を通知する。当該電子メールには、不正発生日時、トランザクション番号、対象レジ番号（ＰＯＳ端末１のＩＤ）、オペレーター名、処理内容、などの情報が含まれる。
【００６７】
なお、管理者に対する警告方法として、電子メールではなく、Ｗｅｂアプリケーションを用いても良い。このように、電子メールやＷｅｂアプリケーションを用いることで、管理者の居場所に関わらず、不正行為が行われた可能性を確実に通知することができる。また、携帯電話１２０（管理者）は、電子メールの受信後、ヘッドセット５（店員）と通話できることが好ましい。この構成によれば、管理者が、会計処理の状況などを直接店員に確認することができ、より適切な対処を行うことができる。
【００６８】
次に、図４および図５のフローチャートを参照し、第１実施形態に係る店舗監視システムＳＹの警告処理について説明する。図５は、図４に示すフローチャートのサブルーチンを示す。図４に示すように、店舗監視システムＳＹは、会計情報を取得すると（Ｓ０１，会計情報取得部２１）、取得した会計情報に基づいて、処理内容を判定する（Ｓ０２，処理内容判定部２２）。また、キーワード記憶部６１を参照して、顧客用マイク４ａおよび店員用マイク５ａから取得した音声データーに基づく音声認識結果と、判定した処理内容別キーワードと、を照合し（Ｓ０３）、会計処理が正常に行われたか否か（以下、「照合ＯＫか否か」と称する。）を判定する（Ｓ０４，会計処理判定部６２）。
【００６９】
ここで、照合ＮＧの場合は（Ｓ０４：Ｎｏ）、不正行為が行われた可能性があるため、オペレーターおよび管理者に対して警告を行い（Ｓ０５，オペレーター警告部２５および管理者警告部６５）、不正履歴記憶部６４に不正履歴を記録する（Ｓ０６，不正履歴記録部６３）。一方、照合ＯＫの場合は（Ｓ０４：Ｙｅｓ）、不正なし（会計処理が正常に行われた旨）を、不正履歴として記録する（Ｓ０６，不正履歴記録部６３）。
【００７０】
次に、図５を参照し、図４のＳ０３に相当する照合処理について説明する。なお、顧客の音声認識処理（Ｓ１１〜Ｓ１５）と店員の音声認識処理（Ｓ２１〜Ｓ２５）は、ほぼ同一であるため、ここでは顧客の音声認識処理についてのみ説明する。店舗監視システムＳＹは、顧客の音声信号を取得し（Ｓ１１，顧客用音声取得部４１）、顧客用音声認識部２３１により音声認識処理を行う。顧客の音声信号取得は、会計処理開始時から開始しても良いし、前回の会計処理終了時から開始しても良い。顧客用音声認識部２３１は、まず、取得した音声信号を音響分析する（Ｓ１２）。具体的には、フーリエ解析などを用いて、取得した音声信号を、特徴量に変換する。また、音響モデル１１１、単語辞書１２１および言語モデル１３１を用いて、音響分析した特徴量からテキスト出力を行う（Ｓ１３）。なお、音響モデル１１１とは、単語列の音響特徴を記述したものであり、言語モデル１３１とは、音素の並び方に関する制約を表す確立モデルを指す。また、単語辞書１２１とは、音響モデル１１１により特定された音素列と言語モデル１３１により特定された単語とを対応付けるためのデーターベースである。これら音響モデル１１１、単語辞書１２１および言語モデル１３１は、顧客用音声認識部２３１と店員用音声認識部２３２とで、独立して設けられている。
【００７１】
Ｓ１３により、顧客用音声認識部２３１からテキストが出力されると、店舗監視システムＳＹは、顧客用キーワードデーターベースＤＢ１を参照し（Ｓ１４）、音声認識結果であるテキストと、顧客用キーワードデーターベースＤＢ１から読み出した処理内容別顧客用キーワードと、を照合する（Ｓ１５）。ここで、両者が一致した場合、照合ＯＫと判定する。なお、図５に示した例では、顧客の音声認識処理（Ｓ１１〜Ｓ１５）と店員の音声認識処理（Ｓ２１〜Ｓ２５）とが、並行して行われるように記載したが、直列的な処理として行っても良い。
【００７２】
以上説明したとおり、第１実施形態に係る店舗監視システムＳＹによれば、会計処理部１１で実行されている処理内容を判定し、判定された処理内容に対応するキーワードの取得の有無に応じて、会計処理が正常に行われたか否かを判定することができる。これにより、会計処理時において即座に判定を行うことができるため、迅速に不正行為を検出することができる。また、処理内容ごとに取得対象キーワードを絞り込むことができるため、キーワードの認識精度を上げることができ、ひいては会計処理が正常に行われたか否かの判定精度を上げることができる。また、取得対象キーワードの削減により、ロースペックのコンピューターでも処理可能となり、店舗管理サーバー６の小型化、ローコスト化および省電力化を図ることができる。
【００７３】
また、キーワード記憶部６１は、店員を対象とした店員用キーワードと、顧客を対象とした顧客用キーワードと、を区別して記憶しており、顧客用音声取得部４１および店員用音声取得部５１により、店員の音声と、顧客の音声と、を区別して取得するため、取得対象キーワードをさらに絞り込むことができる。これにより、キーワードの認識精度をさらに向上させることができる。
【００７４】
なお、上記の実施形態では、キーワードデーターベースＤＢ１，ＤＢ２に記憶されているキーワードを取得した場合に、会計処理が正常に行われたと判定したが、キーワードデーターベースＤＢ１，ＤＢ２に記憶されているキーワードを取得しなかった場合に、会計処理が正常に行われたと判定しても良い。
【００７５】
また、上記の実施形態では、処理内容ごとにキーワードが記憶されているとしたが、必ずしも処理内容ごとに分類される必要はなく、全ての処理内容について、キーワードデーターベースＤＢ１，ＤＢ２に記憶されている全てのキーワードのうちいずれかに一致した場合、または一致しなかった場合に、会計処理が正常に行われたと判定しても良い。
【００７６】
また、上記の実施形態では、顧客の音声を集音する顧客用マイク４ａと、店員の音声を集音する店員用マイク５ａと、を独立して設けたが、１のマイクで集音するようにしても良い。この場合、店員の声紋を記憶しておく店員声紋記憶部（図示省略）を、レシートプリンター２または店舗管理サーバー６内に設けておく。そして、音声認識部２３が、取得した音声の声紋と、店員声紋記憶部に記憶されている声紋とを照合し、一致するか否かに応じて、店員の音声と顧客の音声とを区別する。この構成によれば、店員用と顧客用のマイクをそれぞれ独立して設ける必要がない。これにより、店舗監視システムＳＹのローコスト化を図ることができる。
【００７７】
また、上記の実施形態において、会計処理判定部６２は、通常処理（スキャン処理）を含む全ての会計処理について、会計処理が正常に行われたか否かを判定したが、処理内容判定部２２により例外処理が実行されたと判定された場合のみ、判定を行っても良い。この構成によれば、会計処理が正常に行われたか否かの判定を、不正行為の発生確率が高い例外処理時のみに限定することで、不正行為の検出能力を保持しつつも、取得対象キーワードを絞り込むことができるため、キーワードの認識精度を向上させることができる。
【００７８】
また、上記の実施形態では、顧客用マイク４ａおよび店員用マイク５ａからの音声データーを、レシートプリンター２で認識する構成としたが、店舗管理サーバー６で認識しても良い。この場合、音声認識部２３は、店舗管理サーバー６内に設けられる。その他、レシートプリンター２の印刷部２４およびオペレーター警告部２５を除く各構成要素を、店舗管理サーバー６内に設けても良い。また、逆に、店舗管理サーバー６の各構成要素をレシートプリンター２内に設けても良い。
【００７９】
また、無線ＬＡＮルーター８は、レシートプリンター２にシリアル接続される構成としたが、店舗内有線ＬＡＮ９に接続される構成としても良い。さらに、キーワード記憶部６１を店舗監視システムＳＹ内に設ける構成としたが、これらを店舗監視システムＳＹの外部に設けても良い。
【００８０】
また、上記の実施形態では、顧客および店員の両方の音声を取得したが、いずれか一方のみを取得しても良い。また、取得対象を「顧客のみ」、「店員のみ」、「顧客および店員」のいずれにするかについて、レシートプリンター２や店舗管理サーバー６などに備えられた操作部（図示省略）を用いて、ユーザーが設定可能としても良い。
【００８１】
また、上記の実施形態において、管理者警告部６５は、電子メールやＷｅｂアプリケーションを用いて、警告を行うとしたが、オペレーター警告部２５と同様に、ディスプレイへの表示、音声発生、ＬＥＤの点灯／点滅、バイブレーターによる振動などを用いて警告を行っても良い。
【００８２】
［第２実施形態］
次に、図６および図７を参照し、本発明の第２実施形態について説明する。本実施形態は、警告先や警告方法などの警告態様を、顧客の有無、過去の不正履歴および取引金額に応じて可変することを特徴とする。そこで、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
【００８３】
図６は、第２実施形態に係る店舗監視システムＳＹの機能ブロック図である。本実施形態では、システム構成要素として、監視カメラ１３が追加されている。当該監視カメラ１３は、レジカウンター１０の周囲（例えば、天井）に設置され、店舗内有線ＬＡＮ９またはネットワークＮＴに接続される。また、監視カメラ１３は、主な機能構成として、撮像部３１を有している。撮像部３１は、レジカウンター１０周りを撮像するものであり、特に本実施形態では、レジカウンター１０前（顧客の立ち位置）を撮像する。撮像部３１により撮像された撮像データーは、撮像日時や監視カメラ１３を識別するためのカメラＩＤなどの情報と関連付けられ、撮像結果として、店舗管理サーバー６に出力される。なお、撮像日時とは、監視カメラ１３に備えられたＲＴＣ（Real Time Clock，図示省略）の計時結果を指す。
【００８４】
また、本実施形態のレシートプリンター２は、処理内容判定部２２において、処理内容を判定すると共に、会計処理の取引金額を判定する。取引金額とは、返品処理の場合の「返金額」、ミスレジ処理の場合の「取消金額」、店員割引処理の場合の「割引前金額または割引後金額」、スキャン処理の場合の「精算金額」などを指す。
【００８５】
また、本実施形態の店舗管理サーバー６は、第１実施形態と比較して、顧客検出部６６が追加されている。当該顧客検出部６６は、撮像部３１の撮像結果に基づいて、会計処理の対象顧客の有無を検出する。具体的には、撮像結果を取得して、フレーム間の差分と背景差分を抽出し、当該抽出結果から動領域を検出する。そして、検出した動領域から顔検出を行い、顔検出ができた場合、そこに顧客が存在すると判定する。
【００８６】
また、本実施形態の不正履歴記憶部６４は、会計処理判定部６２により、会計処理が正常に行われなかったと判定されたときの顧客および店員の少なくとも一方の音声から特定される対象者声紋と、その判定回数（会計処理が正常に行われなかったものとして警告を行った回数）と、を関連付けて記憶する。会計処理の対象となる顧客や店員は、声紋によって特定される。つまり、不正履歴記憶部６４は、店員や顧客のＩＤと、その人物の声紋と、その人物が不正の可能性ありと判定された判定回数とを、不正履歴の一部として記憶する。
【００８７】
上記の構成により、本実施形態の会計処理判定部６２は、顧客検出部６６により、会計処理時においてレジカウンター１０前に顧客が存在しないことを検出した場合、不正の可能性が高いと判定する。また、不正履歴記憶部６４の参照結果から、その会計処理時における対象顧客および対象店員の少なくとも一方に、不正履歴が存在することが確認できた場合（判定回数が「１」以上である場合）、さらに不正の可能性が高いと判定する。また、処理内容判定部２２により判定された取引金額が所定額を超える場合、さらに不正の可能性が高い（および不正による被害額が大きい）と判定する。このように、会計処理判定部６２は、不正の可能性の高さや想定される被害額の大きさを判定し、その判定結果から不正レベルを定める。当該不正レベルは、オペレーター警告部２５および管理者警告部６５に出力される。
【００８８】
オペレーター警告部２５および管理者警告部６５は、会計処理判定部６２から出力された不正レベルに応じて、警告を行う。例えば、不正レベルが高い場合は、権限の大きい管理者に対して警告を行う（電子メールを送信する）など、不正レベルに応じた適切な警告先に警告を行う。なお、不正レベルが低い場合は、電子メールの送信先を１箇所としたり、ＰＯＳ端末１を操作している店員のみに警告を行うことが考えられる。また、例えば、不正レベルが高い場合は、大音量の警告音を発したり、ディスプレイ表示による警告を行うなど、不正レベルに応じた適切な警告方法で警告を行うことができる。
【００８９】
なお、「警告方法を可変する」とは、音声警告の場合、音声パターン、音量、警告回数、警告間隔などを可変することを指す。また、表示警告の場合、表示内容、表示色、表示回数、表示間隔などを可変することを指す。また、通知警告（電子メールによる通知など）の場合、通知内容、通知方法、通知回数などを可変することを指す。さらに、音声、表示、通知など、警告手段を可変することも、警告方法を可変することに含まれる。なお、不正レベルと、警告先や警告方法との対応付けを、レシートプリンター２や店舗管理サーバー６などに備えられた操作部（図示省略）を用いて、ユーザーが変更可能としても良い。また、取引金額を判定する際の所定額についても、ユーザーが設定可能としても良い。
【００９０】
次に、図７のフローチャートを参照し、第２実施形態に係る店舗監視システムＳＹの警告処理について説明する。同図に示すように、店舗監視システムＳＹは、会計情報を取得すると（Ｓ３１，会計情報取得部２１）、取得した会計情報に基づいて、処理内容および取引金額を判定する（Ｓ３２，処理内容判定部２２）。また、顧客用マイク４ａおよび店員用マイク５ａから取得した音声データーに基づく音声認識結果と、判定した処理内容別キーワードと、を照合し（Ｓ３３）、照合ＯＫか否かを判定する（Ｓ３４，会計処理判定部６２）。
【００９１】
照合ＮＧの場合は（Ｓ３４：Ｎｏ）、監視カメラ１３の撮像結果から対象顧客の有無を検出し（Ｓ３５，顧客検出部６６）、対象顧客が存在した場合は（Ｓ３５：Ｙｅｓ）、レベル１の警告を行う（Ｓ３６，オペレーター警告部２５および管理者警告部６５）。ここで、「レベル１」とは不正レベルが最も低いことを意味し、数値が上がるにしたがって不正レベルが高くなることを意味する。
【００９２】
対象顧客が存在しない場合は（Ｓ３５：Ｎｏ）、続いて不正履歴記憶部６４を参照し、不正履歴の有無を判別する（Ｓ３７，会計処理判定部６２）。ここで、会計処理の対象となっている顧客または店員の声紋に関連付けられている不正履歴が不正履歴記憶部６４に存在しない場合は（Ｓ３７：Ｎｏ）、レベル２の警告を行う（Ｓ３８，オペレーター警告部２５および管理者警告部６５）。
【００９３】
また、不正履歴記憶部６４に不正履歴が存在する場合は（Ｓ３７：Ｙｅｓ）、さらに処理内容判定部２２の判定結果に基づいて、取引金額が所定額を超えるか否かを判別する（Ｓ３９，会計処理判定部６２）。取引金額が所定額を超えない場合は（Ｓ３９：Ｎｏ）、レベル３の警告を行う（Ｓ４０，オペレーター警告部２５および管理者警告部６５）。また、取引金額が所定額を超える場合は（Ｓ３９：Ｙｅｓ）、不正レベルが最も高いレベル４の警告を行う（Ｓ４１，オペレーター警告部２５および管理者警告部６５）。その後（Ｓ３４：Ｙｅｓ、Ｓ３６、Ｓ３８、Ｓ４０、Ｓ４１の後）、第１実施形態と同様に、不正履歴記憶部６４に不正履歴を記録し（Ｓ４２，不正履歴記録部６３）、処理を終了する。
【００９４】
以上説明したとおり、第２実施形態に係る店舗監視システムＳＹによれば、顧客の有無、過去の不正履歴および取引金額を判定し、これらの判定結果に基づいて警告を行うことができる。つまり、不正の可能性の高さや想定される被害額の大きさに応じて、適切な警告態様を採用することができる。また、これにより、オペレーターや管理者に対し、確実且つ効果的に不正行為を通知することができる。
【００９５】
なお、上記の実施形態において、顧客検出部６６は、監視カメラ１３の撮像結果に基づいて顧客の有無を検出したが、赤外センサーを用いて顧客の有無を検出しても良い。また、顧客に無線ＩＣ（ＲＦＩＤ：Radio Frequency Identificationなど）が組み込まれた会員カードを所持させ、カードリーダーによって会員カードを検出したか否かに応じて、顧客の有無を検出しても良い。この場合、カードリーダーは、レシートプリンター２または店舗内有線ＬＡＮ９に接続される。
【００９６】
また、上記の実施形態では、会計処理の対象となる顧客や店員を、声紋によって特定したが、顧客については、ポイント付与を目的とした会員カードの読取結果や、クレジットカードまたは電子マネーの使用結果から特定しても良い。また、店員については、会計情報に含まれるオペレーター氏名やオペレーターＩＤから特定しても良い。
【００９７】
また、上記の実施形態において、会計処理判定部６２は、不正履歴記憶部６４に記憶されている判定回数が「１」以上である場合、不正の可能性が高いと判定したが（図７のフローチャートにおいて、Ｓ３７：Ｙｅｓと判定したが）、判定回数が所定回数以上の場合に、不正の可能性が高いと判定しても良い。また、この所定回数について、ユーザーが設定可能としても良い。
【００９８】
また、上記の実施形態では、撮像部３１の撮像結果を、店舗管理サーバー６に直接出力したが、レシートプリンター２を介して店舗管理サーバー６に出力しても良い。この場合、監視カメラ１３は、レシートプリンター２に接続される構成としても良い。
【００９９】
［第３実施形態］
次に、図８を参照し、本発明の第３実施形態について説明する。本実施形態は、処理内容ごとに定められた所定の条件を満たす場合に警告を行うことを特徴とする。そこで、上記の各実施形態と異なる点のみ説明する。なお、本実施形態において、上記の各実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。また、本実施形態のシステム構成は、第２実施形態と同様であるため、図示および説明を省略する。
【０１００】
図８は、第３実施形態に係る店舗監視システムＳＹの警告処理を示すフローチャートである。同図に示すように、店舗監視システムＳＹは、会計情報を取得すると（Ｓ５１，会計情報取得部２１）、取得した会計情報に基づいて、処理内容を判定し（Ｓ５２，処理内容判定部２２）、音声認識結果と処理内容別キーワードとを照合する（Ｓ５３，会計処理判定部６２）。
【０１０１】
ここで、照合ＮＧの場合は（Ｓ５４：Ｎｏ）、会計処理の処理内容が返品処理またはミスレジ処理であるか否かを判別し（Ｓ５５，会計処理判定部６２）、これらに該当する場合は（Ｓ５５：Ｙｅｓ）、顧客検出部６６の検出結果を取得して（Ｓ５６）、対象顧客が存在するか否かを判定する（Ｓ５７，会計処理判定部６２）。対象顧客が存在しない場合は（Ｓ５７：Ｎｏ）、会計処理が正常に行われなかったものとして警告を行う（Ｓ５８，オペレーター警告部２５および管理者警告部６５）。このように、会計処理判定部６２は、返品処理またはミスレジ処理の場合、照合ＮＧ且つ対象顧客が存在しないことを条件として警告を行う。
【０１０２】
一方、返品処理またはミスレジ処理のいずれでもない場合は（Ｓ５５：Ｎｏ）、会計処理の処理内容が店員割引処理であるか否かを判別し（Ｓ５９，会計処理判定部６２）、店員割引処理の場合は（Ｓ５９：Ｙｅｓ）、顧客検出部６６の検出結果を取得して（Ｓ６０）、対象顧客が店員（特定の人）であるか否かを判定する（Ｓ６１，会計処理判定部６２）。なお、対象顧客が店員であるか否かを判定するために、店舗管理サーバー６内には、店員顔特徴量データーベース（図示省略）が設けられている。この店員顔特徴量データーベースには、店員の顔写真から予め算出された顔特徴量と、店員ＩＤとが関連付けて記憶されている。会計処理判定部６２は、監視カメラ１３の撮像結果を解析して、顔検出を行い、当該顔部分の画像を正規化して、顔特徴量を算出する。そして、店員顔特徴量データーベースに記憶されている顔特徴量と一致するか否かによって、対象顧客が店員であるか否かを判定する。
【０１０３】
対象顧客が店員でないと判定した場合は（Ｓ６１：Ｎｏ）、会計処理が正常に行われなかったものとして警告を行う（Ｓ５８）。このように、会計処理判定部６２は、店員割引処理の場合、照合ＮＧ且つ対象顧客が店員ではないことを条件として警告を行う。
【０１０４】
一方、処理内容が店員割引処理でもない場合は（Ｓ５９：Ｎｏ）、会計処理の処理内容がスキャン処理であるか否かを判別し（Ｓ６２，会計処理判定部６２）、スキャン処理の場合は（Ｓ６２：Ｙｅｓ）、ハンディスキャナー３（図１参照）の読取結果を取得して（Ｓ６３）、読取結果があるか否かを判定する（Ｓ６４，会計処理判定部６２）。なお、読取結果があるか否かは、会計情報に基づいて判定しても良いし、店舗管理サーバー６が、スキャン毎にハンディスキャナー３の読取結果を取得できる場合は、当該読取結果の取得の有無に応じて判定しても良い。読取結果が無い場合は（Ｓ６４：Ｎｏ）、会計処理が正常に行われなかったものとして警告を行う（Ｓ５８）。このように、会計処理判定部６２は、スキャン処理の場合、照合ＮＧ且つハンディスキャナー３の読取結果がないことを条件として警告を行う。
【０１０５】
その後（Ｓ５８の後）、並びに、Ｓ５４：Ｙｅｓ、Ｓ５７：Ｙｅｓ、Ｓ６１：Ｙｅｓ、Ｓ６２：Ｎｏ、Ｓ６４：Ｙｅｓの後は、不正履歴記憶部６４に不正履歴を記録し（Ｓ６５，不正履歴記録部６３）、処理を終了する。なお、上記のフローチャートでは、処理内容が、返品処理、ミスレジ処理、店員割引処理およびスキャン処理以外の場合は、警告を行わないものとしたが、他の処理内容の場合も警告を行うようにしても良い。
【０１０６】
以上説明したとおり、第３実施形態に係る店舗監視システムＳＹによれば、返品処理時において、処理内容に対応するキーワードを取得できなかった場合でも、対象顧客を検出できた場合は、会計処理が正常に行われたと判定する。また、店員割引処理時において、特定割引処理に対応するキーワードを取得できなかった場合でも、対象顧客として店員を検出できた場合は、会計処理が正常に行われたと判定する。さらに、スキャン処理時において、商品コード読取処理に対応するキーワードを取得できなかった場合でも、商品コードの読取結果を取得できた場合は、会計処理が正常に行われたと判定する。これらにより、誤って不正行為の発生と判定してしまう誤判定の可能性を低くすることができる。
【０１０７】
なお、上記の実施形態では、スキャン処理の場合、商品コード読取処理に対応するキーワードと、商品コードの読取結果を取得できなかったことを条件として、会計処理が正常に行われなかったと判定したが、これらの条件を満たす場合であっても、商品コード読取処理時に取得した音声の認識結果から特定される商品と、商品コードの読取結果とが一致しなかった場合、会計処理が正常に行われなかったと判定しても良い。一般的に、商品コード読取処理時には、店員が発声する音声（「○○が一点。」など）と、商品コードの読取結果とが一致する。したがって、これらが一致しない場合、会計処理が正常に行われなかったと判定することができ、より確実に不正行為を検出することができる。
【０１０８】
また、この場合、会計処理判定部６２は、１回の会計処理内において、取得した音声の認識結果から特定される商品と、商品コードの読取結果とが一致しなかった回数が、所定回数を超えた場合に、会計処理が正常に行われなかったと判定しても良い。この構成によれば、店員が、悪意なく１回だけ商品名を誤って発声してしまった場合、即座に「会計処理が正常に行われなかった」と判定されてしまうような不具合を解消することができる。なお、この場合は、店員に対してオペレーションをやり直すように促すための報知を行うことが好ましい。また、判定の基準となる所定回数を、ユーザーが設定可能としても良い。
【０１０９】
また、上記の実施形態では、顧客検出部６６の検出結果から、対象顧客が店員であるか否かを判定したが、声紋によって判定しても良い。この場合は、店員顔特徴量データーベースに代えて店員声紋データーベースを店舗管理サーバー６内に設け、記憶されている声紋と、顧客用マイク４ａから取得した音声の認識結果から得られる声紋とが一致するか否かによって、対象顧客が店員であるか否かを判定する。
【０１１０】
以上、第１実施形態ないし第３実施形態を示したが、これらの各実施形態に示したフローチャート（店舗監視システムＳＹの警告処理）の各ステップをプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリー等）に格納して提供することも可能である。すなわち、コンピューターを、店舗監視システムＳＹの各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。
【０１１１】
また、上記の各実施形態では、本発明の会計処理判定装置を、店舗内における不正防止のために用いたが、他の用途（店員の育成、管理）を目的としても良い。また、店舗管理サーバー６の各部を、ＰＯＳシステムやＷＷＷサーバーで実現しても良い。その他、上述した実施例によらず、店舗監視システムＳＹのシステム構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。
【符号の説明】
【０１１２】
１…ＰＯＳ端末 ２…レシートプリンター ３…ハンディスキャナー ４…カスタマディスプレイ ４ａ…顧客用マイク ５…ヘッドセット ５ａ…店員用マイク ６…店舗管理サーバー ７…無線ＬＡＮ ８…無線ＬＡＮルーター ９…店舗内有線ＬＡＮ １０…レジカウンター １３…監視カメラ ２１…会計情報取得部 ２２…処理内容判定部 ２３…音声認識部 ２５…オペレーター警告部 ３１…撮像部 ４１…顧客用音声取得部 ５１…店員用音声取得部 ６１…キーワード記憶部 ６２…会計処理判定部 ６３…不正履歴記録部 ６４…不正履歴記憶部 ６５…管理者警告部 ６６…顧客検出部 １１０…携帯電話会社 １２０…携帯電話 １３０…電話回線 ＳＹ…店舗監視システム
【技術分野】
【０００１】
本発明は、スーパーマーケット等の小売店やファミリーレストラン等の飲食店内において、店員や顧客による不正行為を検出するための会計処理判定装置、会計処理判定装置の制御方法およびプログラムに関するものである。
【背景技術】
【０００２】
従来、小売店や飲食店内において、店員による会計処理時の不正行為を検出するためのシステムとして、特許文献１が提案されている。当該特許文献１に記載のシステムは、ＰＯＳ（Point Of Sales）端末（ＰＯＳターミナル）と、ＰＯＳ端末周辺を撮像するカメラと、フォトジャーナルレコーダーと、検索端末と、により構成されている。フォトジャーナルレコーダーとは、ジャーナルデーター（取引履歴データー）と、カメラにより撮像されたＰＯＳ端末周辺の画像データーと、店員によるＰＯＳ端末の操作履歴（操作履歴データー）と、を関連付けて記録するものである。そして、管理者が検索端末を用いて、時間やＰＯＳ端末の操作情報等の所定の検索条件を指定することにより、検索条件に一致するジャーナルデーターや画像データーをディスプレイに表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１１５５０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載のシステムでは、管理者が指定した検索条件に一致する記録データー（会計処理の内容およびその時の撮像画像）を一覧表示するのみであり、会計処理において不正行為が行われたか否かを検出するためには、逐一、管理者が記録データーを確認しなければならない。また、膨大な記録データーを確認する必要があるため、不正行為の検出漏れが発生するといった問題もある。このように、従来提案されているシステムでは、確実に不正行為を検出することができず、不正行為の防止策としての効果が低かった。
【０００５】
本発明は、上記の問題に鑑み、店員や顧客の不正行為を容易且つ迅速に検出可能な会計処理判定装置、会計処理判定装置の制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の会計処理判定装置は、会計処理部による会計処理に関するキーワードを記憶するキーワード記憶部と、会計処理時における店員および顧客の少なくとも一方の音声を取得する音声取得部と、会計処理時において、キーワード記憶部に記憶されているキーワードを、音声取得部により取得したか否かに応じて、会計処理が正常に行われたか否かを判定する会計処理判定部と、を備えたことを特徴とする。
【０００７】
本発明の会計処理判定装置の制御方法は、会計処理部と、当該会計処理部による会計処理に関するキーワードを記憶するキーワード記憶部と、を内部または外部に備えた会計処理判定装置の制御方法であって、会計処理判定装置が、会計処理時における店員および顧客の少なくとも一方の音声を取得する音声取得ステップと、音声取得ステップにおいて、キーワード記憶部に記憶されているキーワードを取得したか否かに応じて、会計処理が正常に行われたか否かを判定する会計処理判定ステップと、を実行することを特徴とする。
【０００８】
これらの構成によれば、会計処理時におけるキーワードの取得の有無に応じて、会計処理が正常に行われたか否かを判定することができる。これにより、会計処理時において即座に判定を行うことができるため、迅速に不正行為を検出することができる。また、膨大な記録データーを確認する必要がないため、検出漏れの心配もなく、容易且つ確実に不正行為を検出することができる。
なお、会計処理判定部（会計処理判定ステップ）は、キーワード記憶部に記憶されているキーワードを取得した場合に、会計処理が正常に行われたと判定しても良いし、キーワード記憶部に記憶されているキーワードを取得しなかった場合に、会計処理が正常に行われたと判定しても良い。
【０００９】
上記に記載の会計処理判定装置において、キーワード記憶部は、会計処理の処理内容ごとにキーワードを記憶しており、会計処理部で実行されている処理内容を判定する処理内容判定部をさらに備え、会計処理判定部は、処理内容判定部により判定された処理内容に対応するキーワードを、音声取得部により取得したか否かに応じて、会計処理が正常に行われたか否かを判定することが好ましい。
【００１０】
この構成によれば、会計処理部で実行されている処理内容を判定し、判定された処理内容に対応するキーワードの取得の有無に応じて、会計処理が正常に行われたか否かを判定することができる。これにより、処理内容ごとに取得対象キーワードを絞り込むことができるため、キーワードの認識精度を上げることができ、ひいては会計処理が正常に行われたか否かの判定精度を上げることができる。また、取得対象キーワードの削減により、ロースペックのコンピューターでも処理可能となり、装置の小型化、ローコスト化および省電力化を図ることができる。
【００１１】
上記に記載の会計処理判定装置において、会計処理判定部は、会計処理時において、処理内容判定部により判定された処理内容に対応するキーワードを取得しなかった場合、会計処理が正常に行われなかったと判定し、会計処理判定部により、会計処理が正常に行われなかったと判定された場合、会計処理部を操作している店員および予め定められた管理者の少なくとも一方に対して警告を行う警告部をさらに備えたことが好ましい。
【００１２】
この構成によれば、店員や管理者は、会計処理が正常に行われなかった旨を確認することができる。これにより、不正行為に対する適切な対処および対応を行うことができる。
【００１３】
上記に記載の会計処理判定装置において、警告部は、管理者に対し、電子メールまたはＷｅｂアプリケーションを用いて、会計処理が正常に行われなかった旨を通知することが好ましい。
【００１４】
この構成によれば、管理者の居場所に関わらず、会計処理が正常に行われなかった旨を確実に通知することができる。
【００１５】
上記に記載の会計処理判定装置において、処理内容判定部は、会計処理の取引金額を判定し、警告部は、会計処理の取引金額に応じて、警告先および警告方法の少なくとも一方を可変することが好ましい。
【００１６】
この構成によれば、例えば、取引金額が大きい場合は権限の大きい管理者に対して警告を行うなど、取引金額に応じた適切な警告先（会計処理部を操作している店員、管理者など）に対して警告を行うことができる。また、例えば、取引金額が大きい場合は、大音量の警告音を発したり、ディスプレイ表示による警告を行うなど、取引金額に応じた適切な警告方法で警告を行うことができる。
なお、「警告方法を可変する」とは、音声警告の場合、音声パターン、音量、警告回数、警告間隔などを可変することを指す。また、表示警告の場合、表示内容、表示色、表示回数、表示間隔などを可変することを指す。また、通知警告の場合、通知内容、通知方法、通知回数などを可変することを指す。さらに、音声、表示、通知など、警告手段を可変することも、警告方法を可変することに含まれる。
【００１７】
上記に記載の会計処理判定装置において、会計処理判定部により、会計処理が正常に行われなかったと判定されたときの店員および顧客の少なくとも一方の音声から特定される対象者声紋と、その判定回数と、を関連付けて記憶しておく不正履歴記憶部をさらに備え、警告部は、会計処理判定部により、会計処理が正常に行われなかったと判定された場合であって、その対象者の声紋と一致する対象者声紋が不正履歴記憶部に記憶されている場合、当該対象者声紋に関連付けられている過去の判定回数に応じて、警告先および警告方法の少なくとも一方を可変することが好ましい。
【００１８】
この構成によれば、店員や顧客の過去の不正判定回数（会計処理が正常に行われなかったと判定された回数）に応じて、警告先や警告方法を可変することができる。これにより、例えば、判定回数が多い場合は、不正行為の可能性が高いため、より多くの警告先に対して警告を行ったり、より確実な警告方法を採用したりなど、不正行為の可能性の高さに応じた適切な警告を行うことができる。
【００１９】
上記に記載の会計処理判定装置において、会計処理の対象顧客を検出する顧客検出部をさらに備え、警告部は、顧客検出部による対象顧客の検出の有無に応じて、警告先および警告方法の少なくとも一方を可変することが好ましい。
【００２０】
一般的に、対象顧客が存在しない場合は、対象顧客が存在する場合よりも不正行為の可能性が高いと言える。この構成によれば、例えば、対象顧客が存在しない場合は、より多くの警告先に対して警告を行ったり、より確実な警告方法を採用したりなど、不正行為の可能性の高さに応じた適切な警告を行うことができる。
【００２１】
上記に記載の会計処理判定装置において、会計処理の対象顧客を検出する顧客検出部をさらに備え、会計処理判定部は、処理内容判定部により判定された処理内容に対応するキーワードを取得せず、且つ顧客検出部により対象顧客を検出できなかった場合、会計処理が正常に行われなかったと判定することが好ましい。
【００２２】
この構成によれば、処理内容に対応するキーワードを取得できなかったことと、対象顧客を検出できなかったこと、の２つの条件を満たす場合に、会計処理が正常に行われなかったと判定する。これにより、誤判定の可能性を低くすることができる。
【００２３】
上記に記載の会計処理判定装置において、処理内容判定部により、処理内容が、特定の人に対して商品の割引きを行う特定割引処理であると判定された場合、会計処理判定部は、特定割引処理に対応するキーワードを取得せず、且つ顧客検出部により特定の人に該当する対象顧客を検出できなかった場合、会計処理が正常に行われなかったと判定することが好ましい。
【００２４】
この構成によれば、特定割引処理の場合は、特定割引処理に対応するキーワードを取得できなかったことと、特定の人に該当する対象顧客を検出できなかったこと、の２つの条件を満たす場合に、会計処理が正常に行われなかったと判定する。これにより、誤判定の可能性を低くすることができる。
【００２５】
上記に記載の会計処理判定装置において、処理内容判定部により、処理内容が、精算時における商品コード読取処理であると判定された場合、会計処理判定部は、商品コード読取処理に対応するキーワードを取得せず、且つ商品コードの読取結果を取得できなかった場合、会計処理が正常に行われなかったと判定することが好ましい。
【００２６】
この構成によれば、商品コード読取処理（バーコードスキャン処理）の場合は、商品コード読取処理に対応するキーワードを取得できなかったことと、商品コードの読取結果を取得できなかったこと、の２つの条件を満たす場合に、会計処理が正常に行われなかったと判定する。これにより、誤判定の可能性を低くすることができる。
【００２７】
なお、上記に記載の会計処理判定装置において、会計処理判定部は、商品コード読取処理に対応するキーワードを取得した場合であっても、商品コード読取処理時に取得した音声の認識結果から特定される商品と、商品コードの読取結果とが一致しなかった場合、会計処理が正常に行われなかったと判定しても良い。
【００２８】
一般的に、商品コード読取処理時には、店員が発する音声（「○○が一点。」など）と、商品コードの読取結果とが一致する。この構成によれば、これらが一致しない場合、会計処理が正常に行われなかった（カラスキャンの可能性あり）と判定することができ、より確実に不正行為を検出することができる。
なお、会計処理判定部は、１回の会計処理内において、取得した音声の認識結果（解析結果）から特定される商品と、商品コードの読取結果とが一致しなかった回数が、所定回数を超えた場合に、会計処理が正常に行われなかったと判定しても良い。この構成によれば、店員が、悪意なく１回だけ商品名を誤って発声してしまった場合、即座に「会計処理が正常に行われなかった」と判定されてしまうような不具合を解消することができる。なお、この場合は、店員に対してオペレーションをやり直すように促すための報知を行うことが好ましい。
【００２９】
上記に記載の会計処理判定装置において、キーワード記憶部は、店員を対象とした店員用キーワードと、顧客を対象とした顧客用キーワードと、を区別して記憶しており、音声取得部により取得した店員の音声と、顧客の音声と、を区別して認識する音声認識部をさらに備え、会計処理判定部は、店員および顧客から、それぞれ店員用キーワードおよび顧客用キーワードを取得したか否かに応じて、会計処理が正常に行われたか否かを判定することが好ましい。
【００３０】
この構成によれば、店員の音声と、顧客の音声と、を区別して認識することで、取得対象キーワードを絞り込むことができる。これにより、キーワードの認識精度を上げることができ、ひいては会計処理が正常に行われたか否かの判定精度を上げることができる。
【００３１】
なお、上記に記載の会計処理判定装置において、音声取得部は、店員に対して指向性を持つ店員用音声取得部と、顧客に対して指向性を持つ顧客用音声取得部と、から成っても良い。
【００３２】
この構成によれば、店員または顧客に対して指向性を持つ専用の音声取得部を設けることで、確実且つ容易に、店員の音声と、顧客の音声と、を区別して認識することができる。
【００３３】
また、上記に記載の会計処理判定装置において店員の声紋を記憶しておく店員声紋記憶部をさらに備え、音声認識部は、取得した音声の声紋が、店員声紋記憶部に記憶されている声紋と一致するか否かに応じて、店員の音声と、顧客の音声と、を区別しても良い。
【００３４】
この構成によれば、取得した音声の声紋が、予め記憶されている店員の声紋と一致するか否かに応じて、店員の音声と、顧客の音声と、を区別することができるため、音声取得部をそれぞれ独立して設ける必要がない。これにより、システム構築に要するイニシャライズコストを軽減することができる。
【００３５】
上記に記載の会計処理判定装置において、会計処理判定部は、処理内容判定部により、処理内容が会計処理の例外処理を示す所定の処理であると判定された場合のみ、会計処理が正常に行われたか否かを判定することが好ましい。
【００３６】
この構成によれば、会計処理が正常に行われたか否かの判定を、例外処理時のみに限定することで、取得対象キーワードを絞り込むことができる。これにより、キーワードの認識精度を上げることができ、ひいては会計処理が正常に行われたか否かの判定精度を上げることができる。
【００３７】
なお、上記に記載の会計処理判定装置において、会計処理部の会計処理結果である会計情報をレシート用紙に印刷する印刷部をさらに備えても良い。
【００３８】
この構成によれば、レシートプリンターによって、本発明の会計処理判定装置を実現することができる。
【００３９】
本発明のプログラムは、コンピューターに、上記に記載の会計処理判定装置の制御方法における各ステップを実行させることを特徴とする。
【００４０】
このプログラムを実行することにより、店員や顧客の不正行為を容易且つ迅速に検出可能な会計処理判定装置の制御方法を実現することができる。
【図面の簡単な説明】
【００４１】
【図１】第１実施形態に係る店舗監視システムのシステム構成図である。
【図２】第１実施形態に係る店舗監視システムの機能ブロック図である。
【図３】顧客用キーワードデーターベースおよび店員用キーワードデーターベースの説明図である。
【図４】第１実施形態に係る店舗監視システムの警告処理を示すフローチャートである。
【図５】図４のフローチャートのサブルーチンである。
【図６】第２実施形態に係る店舗監視システムの機能ブロック図である。
【図７】第２実施形態に係る店舗監視システムの警告処理を示すフローチャートである。
【図８】第３実施形態に係る店舗監視システムの警告処理を示すフローチャートである。
【発明を実施するための形態】
【００４２】
以下、添付の図面を参照し、本発明の会計処理判定装置、会計処理判定装置の制御方法およびプログラムについて説明する。なお、以下に示す各実施形態では、本発明の会計処理判定装置を、店舗監視システムに適用した場合について例示する。当該店舗監視システムは、スーパーマーケット等の小売店内において、店員や顧客による不正行為を検出するべく構築されたものである。
【００４３】
［第１実施形態］
図１は、第１実施形態に係る店舗監視システムＳＹのシステム構成図である。同図に示すように、店舗監視システムＳＹは、会計処理を行うＰＯＳ端末１と、レシート（図示省略）を発行するレシートプリンター２と、商品に貼付または印刷されたバーコードを読み取るハンディスキャナー３と、商品情報を表示するカスタマディスプレイ４と、店員（オペレーター）が装着するヘッドセット５と、店舗監視システムＳＹを統括する店舗管理サーバー６と、ヘッドセット５と無線ＬＡＮ７を介して通信を行う無線ＬＡＮルーター８と、により構成されている。ＰＯＳ端末１とレシートプリンター２、ＰＯＳ端末１とハンディスキャナー３、レシートプリンター２とカスタマディスプレイ４、並びにレシートプリンター２と無線ＬＡＮルーター８は、それぞれシリアルインターフェース（例えば、ＵＳＢ（Universal Serial Bus）インターフェース）により接続されている。また、ＰＯＳ端末１、レシートプリンター２、および店舗管理サーバー６は、店舗内有線ＬＡＮ９により接続されている。
【００４４】
一方、店舗管理サーバー６は、インターネット等のネットワークＮＴを介して携帯電話会社１１０と接続されている。また、図示の携帯電話１２０は、店舗において所定の権限を有する管理者（マネージャーや店長など）によって所持され、電話回線１３０および携帯電話会社１１０を介して、ヘッドセット５を装着した店員と通話を行うことができるようになっている。
【００４５】
なお、図１では、ＰＯＳ端末１が１台の場合を示しているが、店舗内に複数のレジカウンター１０が設置されている場合、レジカウンター１０ごとに、ＰＯＳ端末１が設けられる。すなわち、この場合は、複数のＰＯＳ端末１、レシートプリンター２、ハンディスキャナー３、カスタマディスプレイ４、ヘッドセット５および無線ＬＡＮルーター８が、店舗監視システムＳＹの構成要素となる。また、請求項における「会計処理判定装置」は、上記の構成要素のうち、レシートプリンター２、カスタマディスプレイ４、ヘッドセット５、無線ＬＡＮルーター８および店舗管理サーバー６から成る。
【００４６】
ＰＯＳ端末１は、レジカウンター１０に設置されたレジスターであり、店員により入力された商品情報に基づいて会計処理を行う。そして、会計処理の処理結果である会計情報（トランザクションデーター）や、種々の操作結果を、レシートプリンター２に出力する。また、ハンディスキャナー３は、商品コードなどが記録された商品バーコードを読み取り、その読取結果をＰＯＳ端末１に出力する。
【００４７】
カスタマディスプレイ４は、顧客用マイク４ａを有し、顧客に対して、商品名や商品価格を表示する顧客用ディスプレイとしての一般的な機能の他、顧客の音声を取得する機能を有している。顧客用マイク４ａは、小型集音マイクであり、カスタマディスプレイ４の周縁部に、顧客側に向けて設けられる。
【００４８】
ヘッドセット５は、インカムとも称されるものであり、店員用マイク５ａと、ヘッドフォン（図示省略）を有している。ＰＯＳ端末１を操作する店員は、このヘッドセット５の装着が義務付けられており、これを用いて管理者（携帯電話１２０）との通話を行う。
【００４９】
レシートプリンター２は、ＰＯＳ端末１から出力された会計情報に基づいて、レシートを発行すると共に、ＰＯＳ端末１で実行された処理の内容（以下、「処理内容」と称する）を判定する。また、レシートプリンター２は、カスタマディスプレイ４およびヘッドセット５から、顧客の音声データーおよび店員の音声データーを取得し、その音声認識結果を店舗管理サーバー６へ出力する。このように、レシートプリンター２を主幹として各種情報の入出力を行うことで（レシートプリンター２が、取得した各種情報をフィルタリングして必要な情報を出力することで）、ＰＯＳ基幹ネットワーク（ＰＯＳ端末１を主幹としたネットワーク）のトラフィックに影響を与えることがない。また、既存のＰＯＳシステムに本発明を適用する際、ＰＯＳ基幹ネットワーク自体の変更が不要となる。
【００５０】
店舗管理サーバー６は、顧客および店員の音声認識結果と、ＰＯＳ端末１で実行された処理内容と、を照合し、会計処理が正常に行われたか否かを判定する。例えば、会計処理が実行されたにも関わらず、店員の音声データーを取得できなかった場合は、会計処理が正常に行われなかったと判定し、警告を行う。また、店舗管理サーバー６は、会計処理が正常に行われたか否かに関する不正履歴を会計処理ごとに記録し、不図示のプリンターにより、その記録結果（不正レポート）を印刷出力する。当該不正レポートは、不正履歴を、顧客、店員または処理内容ごとに分類したものであり、店舗内不正の検証および不正行為の証拠として用いられる。
【００５１】
次に、図２を参照し、店舗監視システムＳＹの機能構成について説明する。ＰＯＳ端末１は、主な機能構成として、会計処理部１１を有している。会計処理部１１は、ＰＯＳアプリケーション（図示省略）を主要部とするものであり、スキャン処理（商品コード読取処理）や例外処理を含む会計処理を実行する。また、それらの処理結果を、会計情報としてレシートプリンター２に出力する。
【００５２】
なお、本実施形態において、例外処理とは、不正行為に関連する可能性の高い所定の処理を指す。具体的には、商品の返品を行うための「返品処理」、会計処理後に当該会計処理の取り消し行うための「ミスレジ処理（取消処理）」、商品の値引きを行うための「値引処理」、商品の割引きを行うための「割引処理」、会計処理中において入力データーをキャンセルするための「中止処理」、および金銭の両替を行うための「両替処理」、キャッシュドロア内の金銭と売上を照合するための「点検処理」、出金または返金を行うための「出金/返金処理」、およびレシートを再発行するための「再発行処理」などを指す。これらの各処理は、例外処理の種別として区別される。また、便宜上、上記のスキャン処理は、これらの例外処理と区別して、通常処理と称する。
【００５３】
カスタマディスプレイ４に設けられた顧客用マイク４ａは、主な機能構成として、顧客用音声取得部４１を有している。顧客用音声取得部４１は、顧客の音声信号を取得し、レシートプリンター２に出力する。また、ヘッドセット５に設けられた店員用マイク５ａは、主な機能構成として、店員用音声取得部５１を有している。店員用音声取得部５１は、店員の音声信号を取得し、レシートプリンター２に出力する。
【００５４】
レシートプリンター２は、主な機能構成として、会計情報取得部２１、処理内容判定部２２、音声認識部２３、印刷部２４およびオペレーター警告部２５を有している。会計情報取得部２１は、ＰＯＳ端末１（会計処理部１１）から出力された会計情報を取得する。
【００５５】
処理内容判定部２２は、会計処理部１１で実行されている処理内容を判定し、その判定結果を店舗管理サーバー６に出力する。処理内容については、印刷データーとして用いられる会計情報に基づいて、判定を行う。具体的には、ＰＯＳ端末１から出力された印刷データーをタップしてテキストデーターに変換し、意味解析を行って処理内容を判定する。なお、レシートプリンター２は、カスタマディスプレイ４と接続されているため、ＰＯＳ端末１から出力されたカスタマディスプレイ４への表示データーをタップして、処理内容を判定しても良い。また、例外処理時に操作される所定キーの操作結果および通常処理時に読み取られる商品コードの取得によって判定を行うことも可能である。例外処理の具体的な判定方法としては、ＰＯＳ端末１にＰＯＳキーボード用のフックドライバーをインストールすることにより、ＰＯＳキーボードの操作結果（キーコード）を会計情報取得部２１経由で処理内容判定部２２へ送信し、処理内容判定部２２により例外処理時に操作される所定キーのキーコードを検出することで処理内容の特定を行う。また、通常処理時の具体的な判定方法としては、ＰＯＳ端末１にハンディスキャナー用のフックドライバーをインストールすることにより、ハンディスキャナーからの商品コードをタップし、その結果を会計情報取得部２１経由で処理内容判定部２２へ送信することで処理内容の特定を行う。この場合は、会計処理の取引開始時に、ＰＯＳ端末１の操作（＝処理内容）を判定することができる。
【００５６】
音声認識部２３は、顧客用音声取得部４１および店員用音声取得部５１から音声データーを取得し、音声認識を行う。当該音声認識部２３は、顧客の音声認識を行う顧客用音声認識部２３１と、店員の音声認識を行う店員用音声認識部２３２と、から成り、各音声認識部２３１，２３２は、音響モデル１１１，１１２、単語辞書１２１，１２２および言語モデル１３１，１３２を有している（図５参照）。詳細については、後述する。
【００５７】
印刷部２４は、会計情報取得部２１が取得した会計情報をレシート用紙に印刷し、レシートを発行する。また、オペレーター警告部２５は、後述する会計処理判定部６２により、会計処理が正常に行われなかったと判定された場合、ＰＯＳ端末１を操作する店員（オペレーター）に対し、会計処理が正常に行われなかった旨を報知する。報知方法としては、オペレーターディスプレイ（図示省略）への表示、音声発生、ＬＥＤの点灯／点滅、バイブレーターによる振動などが考えられる。
【００５８】
店舗管理サーバー６は、主な機能構成として、キーワード記憶部６１、会計処理判定部６２、不正履歴記録部６３、不正履歴記憶部６４および管理者警告部６５を有している。キーワード記憶部６１は、会計処理部１１による会計処理に関するキーワードを記憶するものであり、顧客用キーワードデーターベースＤＢ１と、顧客用キーワードデーターベースＤＢ２と、が含まれる。ここで、図３を参照し、各キーワードデーターベースＤＢ１，ＤＢ２について説明する。
【００５９】
図３（ａ）は、顧客用キーワードデーターベースＤＢ１の一例を示す図である。同図に示すように、顧客用キーワードデーターベースＤＢ１は、処理内容ごとに、顧客用キーワードが関連付けられている。顧客用フレーズは、顧客用キーワードを含むフレーズの一例を示したものである。例えば、例外処理の一つである「返品処理」の場合、顧客によって「返品お願いします。」または「これ、返品したいのですが。」などのフレーズが発声されることが予想される。そこで、実際に返品処理時において、これらのフレーズに含まれる「返品」のキーワードが顧客用マイク４ａから取得できた場合、後述する会計処理判定部６２により、その会計処理は正常に実行されたと判定される。逆に、返品処理時において、顧客用マイク４ａから「返品」のキーワードを取得できなかった場合、その会計処理は正常に実行されなかったと判定される。
【００６０】
一方、図３（ｂ）は、店員用キーワードデーターベースＤＢ２の一例を示す図である。同図に示すように、店員用キーワードデーターベースＤＢ２は、処理内容ごとに、店員用キーワードが関連付けられている。店員用フレーズは、店員用キーワードを含むフレーズの一例を示したものである。例えば、例外処理の一つである「返品処理」の場合、顧客の依頼に対し、店員が「了解いたしました。返品ですね。」などのフレーズを発声することが予想される。なお、オペレーションを行う前に、店員に対し、そのようなフレーズを発声することを指導しておくことが望ましい。そこで、返品処理時において、実際にこれらのフレーズに含まれる「了解」または「返品」のキーワードが店員用マイク５ａから取得できた場合、後述する会計処理判定部６２により、その会計処理は正常に実行されたと判定される。逆に、返品処理時において、店員用マイク５ａから「了解」または「返品」のキーワードを取得できなかった場合、その会計処理は正常に実行されなかったと判定される。
【００６１】
なお、本例のように、１の処理内容に対して複数のキーワードが登録されている場合、少なくとも１つのキーワードを検出できた場合、その会計処理は正常に実行されたと判定しても良いし、複数全てのキーワードを検出できた場合、その会計処理は正常に実行されたと判定しても良い。また、１の処理内容に対して３つ以上のキーワードが登録されている場合は、所定数または所定割合以上のキーワードを検出できたことを条件として、その会計処理は正常に実行されたと判定しても良い。
【００６２】
また、顧客用キーワードおよび店員用キーワードの少なくとも一方が検出できた場合、その会計処理は正常に実行されたと判定しても良いし、両キーワードを検出できた場合、その会計処理は正常に実行されたと判定しても良い。但し、後者の場合であっても、顧客用キーワードデーターベースＤＢ１の「スキャン処理」のように、キーワードが登録されていない処理内容もあるため、その場合は、店員用キーワードを検出できたことを条件として、その会計処理は正常に実行されたと判定する。
【００６３】
また、同図の例では、処理内容として、返品処理、ミスレジ処理、店員割引処理（特定割引処理）およびスキャン処理を挙げているが、あくまでも一例であり、これらに限定されるものではない。
【００６４】
図２の説明に戻る。会計処理判定部６２は、上記のとおり、処理内容判定部２２により判定された処理内容に対応するキーワードを、顧客および店員から、それぞれ顧客用音声取得部４１および店員用音声取得部５１により取得したか否かに応じて、会計処理が正常に行われたか否かを判定する。なお、顧客用音声取得部４１から店員用キーワードを取得した場合、および店員用音声取得部５１から顧客用キーワードを取得した場合は、いずれも対応するキーワードを検出できたと判定しないことが好ましい。
【００６５】
不正履歴記録部６３は、会計処理判定部６２の判定結果を、トランザクションデーターと関連付けて、不正履歴記憶部６４に記憶する。具体的には、不正履歴として、会計処理判定部６２の判定結果（正常ｏｒ警告）、会計処理日時、トランザクション番号、レジ番号（ＰＯＳ端末１のＩＤ）、オペレーターＩＤ、顧客ＩＤ、処理内容などを記録する。また、不正履歴記憶部６４は、これらの不正履歴を不揮発に記憶する。
【００６６】
管理者警告部６５は、会計処理判定部６２により、会計処理が正常に行われなかったと判定された場合、管理者に対して警告を行う。本実施形態では、管理者の携帯電話１２０に対して、電子メールを送信することにより、会計処理が正常に行われなかった旨（不正行為が行われた可能性がある旨）を通知する。当該電子メールには、不正発生日時、トランザクション番号、対象レジ番号（ＰＯＳ端末１のＩＤ）、オペレーター名、処理内容、などの情報が含まれる。
【００６７】
なお、管理者に対する警告方法として、電子メールではなく、Ｗｅｂアプリケーションを用いても良い。このように、電子メールやＷｅｂアプリケーションを用いることで、管理者の居場所に関わらず、不正行為が行われた可能性を確実に通知することができる。また、携帯電話１２０（管理者）は、電子メールの受信後、ヘッドセット５（店員）と通話できることが好ましい。この構成によれば、管理者が、会計処理の状況などを直接店員に確認することができ、より適切な対処を行うことができる。
【００６８】
次に、図４および図５のフローチャートを参照し、第１実施形態に係る店舗監視システムＳＹの警告処理について説明する。図５は、図４に示すフローチャートのサブルーチンを示す。図４に示すように、店舗監視システムＳＹは、会計情報を取得すると（Ｓ０１，会計情報取得部２１）、取得した会計情報に基づいて、処理内容を判定する（Ｓ０２，処理内容判定部２２）。また、キーワード記憶部６１を参照して、顧客用マイク４ａおよび店員用マイク５ａから取得した音声データーに基づく音声認識結果と、判定した処理内容別キーワードと、を照合し（Ｓ０３）、会計処理が正常に行われたか否か（以下、「照合ＯＫか否か」と称する。）を判定する（Ｓ０４，会計処理判定部６２）。
【００６９】
ここで、照合ＮＧの場合は（Ｓ０４：Ｎｏ）、不正行為が行われた可能性があるため、オペレーターおよび管理者に対して警告を行い（Ｓ０５，オペレーター警告部２５および管理者警告部６５）、不正履歴記憶部６４に不正履歴を記録する（Ｓ０６，不正履歴記録部６３）。一方、照合ＯＫの場合は（Ｓ０４：Ｙｅｓ）、不正なし（会計処理が正常に行われた旨）を、不正履歴として記録する（Ｓ０６，不正履歴記録部６３）。
【００７０】
次に、図５を参照し、図４のＳ０３に相当する照合処理について説明する。なお、顧客の音声認識処理（Ｓ１１〜Ｓ１５）と店員の音声認識処理（Ｓ２１〜Ｓ２５）は、ほぼ同一であるため、ここでは顧客の音声認識処理についてのみ説明する。店舗監視システムＳＹは、顧客の音声信号を取得し（Ｓ１１，顧客用音声取得部４１）、顧客用音声認識部２３１により音声認識処理を行う。顧客の音声信号取得は、会計処理開始時から開始しても良いし、前回の会計処理終了時から開始しても良い。顧客用音声認識部２３１は、まず、取得した音声信号を音響分析する（Ｓ１２）。具体的には、フーリエ解析などを用いて、取得した音声信号を、特徴量に変換する。また、音響モデル１１１、単語辞書１２１および言語モデル１３１を用いて、音響分析した特徴量からテキスト出力を行う（Ｓ１３）。なお、音響モデル１１１とは、単語列の音響特徴を記述したものであり、言語モデル１３１とは、音素の並び方に関する制約を表す確立モデルを指す。また、単語辞書１２１とは、音響モデル１１１により特定された音素列と言語モデル１３１により特定された単語とを対応付けるためのデーターベースである。これら音響モデル１１１、単語辞書１２１および言語モデル１３１は、顧客用音声認識部２３１と店員用音声認識部２３２とで、独立して設けられている。
【００７１】
Ｓ１３により、顧客用音声認識部２３１からテキストが出力されると、店舗監視システムＳＹは、顧客用キーワードデーターベースＤＢ１を参照し（Ｓ１４）、音声認識結果であるテキストと、顧客用キーワードデーターベースＤＢ１から読み出した処理内容別顧客用キーワードと、を照合する（Ｓ１５）。ここで、両者が一致した場合、照合ＯＫと判定する。なお、図５に示した例では、顧客の音声認識処理（Ｓ１１〜Ｓ１５）と店員の音声認識処理（Ｓ２１〜Ｓ２５）とが、並行して行われるように記載したが、直列的な処理として行っても良い。
【００７２】
以上説明したとおり、第１実施形態に係る店舗監視システムＳＹによれば、会計処理部１１で実行されている処理内容を判定し、判定された処理内容に対応するキーワードの取得の有無に応じて、会計処理が正常に行われたか否かを判定することができる。これにより、会計処理時において即座に判定を行うことができるため、迅速に不正行為を検出することができる。また、処理内容ごとに取得対象キーワードを絞り込むことができるため、キーワードの認識精度を上げることができ、ひいては会計処理が正常に行われたか否かの判定精度を上げることができる。また、取得対象キーワードの削減により、ロースペックのコンピューターでも処理可能となり、店舗管理サーバー６の小型化、ローコスト化および省電力化を図ることができる。
【００７３】
また、キーワード記憶部６１は、店員を対象とした店員用キーワードと、顧客を対象とした顧客用キーワードと、を区別して記憶しており、顧客用音声取得部４１および店員用音声取得部５１により、店員の音声と、顧客の音声と、を区別して取得するため、取得対象キーワードをさらに絞り込むことができる。これにより、キーワードの認識精度をさらに向上させることができる。
【００７４】
なお、上記の実施形態では、キーワードデーターベースＤＢ１，ＤＢ２に記憶されているキーワードを取得した場合に、会計処理が正常に行われたと判定したが、キーワードデーターベースＤＢ１，ＤＢ２に記憶されているキーワードを取得しなかった場合に、会計処理が正常に行われたと判定しても良い。
【００７５】
また、上記の実施形態では、処理内容ごとにキーワードが記憶されているとしたが、必ずしも処理内容ごとに分類される必要はなく、全ての処理内容について、キーワードデーターベースＤＢ１，ＤＢ２に記憶されている全てのキーワードのうちいずれかに一致した場合、または一致しなかった場合に、会計処理が正常に行われたと判定しても良い。
【００７６】
また、上記の実施形態では、顧客の音声を集音する顧客用マイク４ａと、店員の音声を集音する店員用マイク５ａと、を独立して設けたが、１のマイクで集音するようにしても良い。この場合、店員の声紋を記憶しておく店員声紋記憶部（図示省略）を、レシートプリンター２または店舗管理サーバー６内に設けておく。そして、音声認識部２３が、取得した音声の声紋と、店員声紋記憶部に記憶されている声紋とを照合し、一致するか否かに応じて、店員の音声と顧客の音声とを区別する。この構成によれば、店員用と顧客用のマイクをそれぞれ独立して設ける必要がない。これにより、店舗監視システムＳＹのローコスト化を図ることができる。
【００７７】
また、上記の実施形態において、会計処理判定部６２は、通常処理（スキャン処理）を含む全ての会計処理について、会計処理が正常に行われたか否かを判定したが、処理内容判定部２２により例外処理が実行されたと判定された場合のみ、判定を行っても良い。この構成によれば、会計処理が正常に行われたか否かの判定を、不正行為の発生確率が高い例外処理時のみに限定することで、不正行為の検出能力を保持しつつも、取得対象キーワードを絞り込むことができるため、キーワードの認識精度を向上させることができる。
【００７８】
また、上記の実施形態では、顧客用マイク４ａおよび店員用マイク５ａからの音声データーを、レシートプリンター２で認識する構成としたが、店舗管理サーバー６で認識しても良い。この場合、音声認識部２３は、店舗管理サーバー６内に設けられる。その他、レシートプリンター２の印刷部２４およびオペレーター警告部２５を除く各構成要素を、店舗管理サーバー６内に設けても良い。また、逆に、店舗管理サーバー６の各構成要素をレシートプリンター２内に設けても良い。
【００７９】
また、無線ＬＡＮルーター８は、レシートプリンター２にシリアル接続される構成としたが、店舗内有線ＬＡＮ９に接続される構成としても良い。さらに、キーワード記憶部６１を店舗監視システムＳＹ内に設ける構成としたが、これらを店舗監視システムＳＹの外部に設けても良い。
【００８０】
また、上記の実施形態では、顧客および店員の両方の音声を取得したが、いずれか一方のみを取得しても良い。また、取得対象を「顧客のみ」、「店員のみ」、「顧客および店員」のいずれにするかについて、レシートプリンター２や店舗管理サーバー６などに備えられた操作部（図示省略）を用いて、ユーザーが設定可能としても良い。
【００８１】
また、上記の実施形態において、管理者警告部６５は、電子メールやＷｅｂアプリケーションを用いて、警告を行うとしたが、オペレーター警告部２５と同様に、ディスプレイへの表示、音声発生、ＬＥＤの点灯／点滅、バイブレーターによる振動などを用いて警告を行っても良い。
【００８２】
［第２実施形態］
次に、図６および図７を参照し、本発明の第２実施形態について説明する。本実施形態は、警告先や警告方法などの警告態様を、顧客の有無、過去の不正履歴および取引金額に応じて可変することを特徴とする。そこで、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
【００８３】
図６は、第２実施形態に係る店舗監視システムＳＹの機能ブロック図である。本実施形態では、システム構成要素として、監視カメラ１３が追加されている。当該監視カメラ１３は、レジカウンター１０の周囲（例えば、天井）に設置され、店舗内有線ＬＡＮ９またはネットワークＮＴに接続される。また、監視カメラ１３は、主な機能構成として、撮像部３１を有している。撮像部３１は、レジカウンター１０周りを撮像するものであり、特に本実施形態では、レジカウンター１０前（顧客の立ち位置）を撮像する。撮像部３１により撮像された撮像データーは、撮像日時や監視カメラ１３を識別するためのカメラＩＤなどの情報と関連付けられ、撮像結果として、店舗管理サーバー６に出力される。なお、撮像日時とは、監視カメラ１３に備えられたＲＴＣ（Real Time Clock，図示省略）の計時結果を指す。
【００８４】
また、本実施形態のレシートプリンター２は、処理内容判定部２２において、処理内容を判定すると共に、会計処理の取引金額を判定する。取引金額とは、返品処理の場合の「返金額」、ミスレジ処理の場合の「取消金額」、店員割引処理の場合の「割引前金額または割引後金額」、スキャン処理の場合の「精算金額」などを指す。
【００８５】
また、本実施形態の店舗管理サーバー６は、第１実施形態と比較して、顧客検出部６６が追加されている。当該顧客検出部６６は、撮像部３１の撮像結果に基づいて、会計処理の対象顧客の有無を検出する。具体的には、撮像結果を取得して、フレーム間の差分と背景差分を抽出し、当該抽出結果から動領域を検出する。そして、検出した動領域から顔検出を行い、顔検出ができた場合、そこに顧客が存在すると判定する。
【００８６】
また、本実施形態の不正履歴記憶部６４は、会計処理判定部６２により、会計処理が正常に行われなかったと判定されたときの顧客および店員の少なくとも一方の音声から特定される対象者声紋と、その判定回数（会計処理が正常に行われなかったものとして警告を行った回数）と、を関連付けて記憶する。会計処理の対象となる顧客や店員は、声紋によって特定される。つまり、不正履歴記憶部６４は、店員や顧客のＩＤと、その人物の声紋と、その人物が不正の可能性ありと判定された判定回数とを、不正履歴の一部として記憶する。
【００８７】
上記の構成により、本実施形態の会計処理判定部６２は、顧客検出部６６により、会計処理時においてレジカウンター１０前に顧客が存在しないことを検出した場合、不正の可能性が高いと判定する。また、不正履歴記憶部６４の参照結果から、その会計処理時における対象顧客および対象店員の少なくとも一方に、不正履歴が存在することが確認できた場合（判定回数が「１」以上である場合）、さらに不正の可能性が高いと判定する。また、処理内容判定部２２により判定された取引金額が所定額を超える場合、さらに不正の可能性が高い（および不正による被害額が大きい）と判定する。このように、会計処理判定部６２は、不正の可能性の高さや想定される被害額の大きさを判定し、その判定結果から不正レベルを定める。当該不正レベルは、オペレーター警告部２５および管理者警告部６５に出力される。
【００８８】
オペレーター警告部２５および管理者警告部６５は、会計処理判定部６２から出力された不正レベルに応じて、警告を行う。例えば、不正レベルが高い場合は、権限の大きい管理者に対して警告を行う（電子メールを送信する）など、不正レベルに応じた適切な警告先に警告を行う。なお、不正レベルが低い場合は、電子メールの送信先を１箇所としたり、ＰＯＳ端末１を操作している店員のみに警告を行うことが考えられる。また、例えば、不正レベルが高い場合は、大音量の警告音を発したり、ディスプレイ表示による警告を行うなど、不正レベルに応じた適切な警告方法で警告を行うことができる。
【００８９】
なお、「警告方法を可変する」とは、音声警告の場合、音声パターン、音量、警告回数、警告間隔などを可変することを指す。また、表示警告の場合、表示内容、表示色、表示回数、表示間隔などを可変することを指す。また、通知警告（電子メールによる通知など）の場合、通知内容、通知方法、通知回数などを可変することを指す。さらに、音声、表示、通知など、警告手段を可変することも、警告方法を可変することに含まれる。なお、不正レベルと、警告先や警告方法との対応付けを、レシートプリンター２や店舗管理サーバー６などに備えられた操作部（図示省略）を用いて、ユーザーが変更可能としても良い。また、取引金額を判定する際の所定額についても、ユーザーが設定可能としても良い。
【００９０】
次に、図７のフローチャートを参照し、第２実施形態に係る店舗監視システムＳＹの警告処理について説明する。同図に示すように、店舗監視システムＳＹは、会計情報を取得すると（Ｓ３１，会計情報取得部２１）、取得した会計情報に基づいて、処理内容および取引金額を判定する（Ｓ３２，処理内容判定部２２）。また、顧客用マイク４ａおよび店員用マイク５ａから取得した音声データーに基づく音声認識結果と、判定した処理内容別キーワードと、を照合し（Ｓ３３）、照合ＯＫか否かを判定する（Ｓ３４，会計処理判定部６２）。
【００９１】
照合ＮＧの場合は（Ｓ３４：Ｎｏ）、監視カメラ１３の撮像結果から対象顧客の有無を検出し（Ｓ３５，顧客検出部６６）、対象顧客が存在した場合は（Ｓ３５：Ｙｅｓ）、レベル１の警告を行う（Ｓ３６，オペレーター警告部２５および管理者警告部６５）。ここで、「レベル１」とは不正レベルが最も低いことを意味し、数値が上がるにしたがって不正レベルが高くなることを意味する。
【００９２】
対象顧客が存在しない場合は（Ｓ３５：Ｎｏ）、続いて不正履歴記憶部６４を参照し、不正履歴の有無を判別する（Ｓ３７，会計処理判定部６２）。ここで、会計処理の対象となっている顧客または店員の声紋に関連付けられている不正履歴が不正履歴記憶部６４に存在しない場合は（Ｓ３７：Ｎｏ）、レベル２の警告を行う（Ｓ３８，オペレーター警告部２５および管理者警告部６５）。
【００９３】
また、不正履歴記憶部６４に不正履歴が存在する場合は（Ｓ３７：Ｙｅｓ）、さらに処理内容判定部２２の判定結果に基づいて、取引金額が所定額を超えるか否かを判別する（Ｓ３９，会計処理判定部６２）。取引金額が所定額を超えない場合は（Ｓ３９：Ｎｏ）、レベル３の警告を行う（Ｓ４０，オペレーター警告部２５および管理者警告部６５）。また、取引金額が所定額を超える場合は（Ｓ３９：Ｙｅｓ）、不正レベルが最も高いレベル４の警告を行う（Ｓ４１，オペレーター警告部２５および管理者警告部６５）。その後（Ｓ３４：Ｙｅｓ、Ｓ３６、Ｓ３８、Ｓ４０、Ｓ４１の後）、第１実施形態と同様に、不正履歴記憶部６４に不正履歴を記録し（Ｓ４２，不正履歴記録部６３）、処理を終了する。
【００９４】
以上説明したとおり、第２実施形態に係る店舗監視システムＳＹによれば、顧客の有無、過去の不正履歴および取引金額を判定し、これらの判定結果に基づいて警告を行うことができる。つまり、不正の可能性の高さや想定される被害額の大きさに応じて、適切な警告態様を採用することができる。また、これにより、オペレーターや管理者に対し、確実且つ効果的に不正行為を通知することができる。
【００９５】
なお、上記の実施形態において、顧客検出部６６は、監視カメラ１３の撮像結果に基づいて顧客の有無を検出したが、赤外センサーを用いて顧客の有無を検出しても良い。また、顧客に無線ＩＣ（ＲＦＩＤ：Radio Frequency Identificationなど）が組み込まれた会員カードを所持させ、カードリーダーによって会員カードを検出したか否かに応じて、顧客の有無を検出しても良い。この場合、カードリーダーは、レシートプリンター２または店舗内有線ＬＡＮ９に接続される。
【００９６】
また、上記の実施形態では、会計処理の対象となる顧客や店員を、声紋によって特定したが、顧客については、ポイント付与を目的とした会員カードの読取結果や、クレジットカードまたは電子マネーの使用結果から特定しても良い。また、店員については、会計情報に含まれるオペレーター氏名やオペレーターＩＤから特定しても良い。
【００９７】
また、上記の実施形態において、会計処理判定部６２は、不正履歴記憶部６４に記憶されている判定回数が「１」以上である場合、不正の可能性が高いと判定したが（図７のフローチャートにおいて、Ｓ３７：Ｙｅｓと判定したが）、判定回数が所定回数以上の場合に、不正の可能性が高いと判定しても良い。また、この所定回数について、ユーザーが設定可能としても良い。
【００９８】
また、上記の実施形態では、撮像部３１の撮像結果を、店舗管理サーバー６に直接出力したが、レシートプリンター２を介して店舗管理サーバー６に出力しても良い。この場合、監視カメラ１３は、レシートプリンター２に接続される構成としても良い。
【００９９】
［第３実施形態］
次に、図８を参照し、本発明の第３実施形態について説明する。本実施形態は、処理内容ごとに定められた所定の条件を満たす場合に警告を行うことを特徴とする。そこで、上記の各実施形態と異なる点のみ説明する。なお、本実施形態において、上記の各実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。また、本実施形態のシステム構成は、第２実施形態と同様であるため、図示および説明を省略する。
【０１００】
図８は、第３実施形態に係る店舗監視システムＳＹの警告処理を示すフローチャートである。同図に示すように、店舗監視システムＳＹは、会計情報を取得すると（Ｓ５１，会計情報取得部２１）、取得した会計情報に基づいて、処理内容を判定し（Ｓ５２，処理内容判定部２２）、音声認識結果と処理内容別キーワードとを照合する（Ｓ５３，会計処理判定部６２）。
【０１０１】
ここで、照合ＮＧの場合は（Ｓ５４：Ｎｏ）、会計処理の処理内容が返品処理またはミスレジ処理であるか否かを判別し（Ｓ５５，会計処理判定部６２）、これらに該当する場合は（Ｓ５５：Ｙｅｓ）、顧客検出部６６の検出結果を取得して（Ｓ５６）、対象顧客が存在するか否かを判定する（Ｓ５７，会計処理判定部６２）。対象顧客が存在しない場合は（Ｓ５７：Ｎｏ）、会計処理が正常に行われなかったものとして警告を行う（Ｓ５８，オペレーター警告部２５および管理者警告部６５）。このように、会計処理判定部６２は、返品処理またはミスレジ処理の場合、照合ＮＧ且つ対象顧客が存在しないことを条件として警告を行う。
【０１０２】
一方、返品処理またはミスレジ処理のいずれでもない場合は（Ｓ５５：Ｎｏ）、会計処理の処理内容が店員割引処理であるか否かを判別し（Ｓ５９，会計処理判定部６２）、店員割引処理の場合は（Ｓ５９：Ｙｅｓ）、顧客検出部６６の検出結果を取得して（Ｓ６０）、対象顧客が店員（特定の人）であるか否かを判定する（Ｓ６１，会計処理判定部６２）。なお、対象顧客が店員であるか否かを判定するために、店舗管理サーバー６内には、店員顔特徴量データーベース（図示省略）が設けられている。この店員顔特徴量データーベースには、店員の顔写真から予め算出された顔特徴量と、店員ＩＤとが関連付けて記憶されている。会計処理判定部６２は、監視カメラ１３の撮像結果を解析して、顔検出を行い、当該顔部分の画像を正規化して、顔特徴量を算出する。そして、店員顔特徴量データーベースに記憶されている顔特徴量と一致するか否かによって、対象顧客が店員であるか否かを判定する。
【０１０３】
対象顧客が店員でないと判定した場合は（Ｓ６１：Ｎｏ）、会計処理が正常に行われなかったものとして警告を行う（Ｓ５８）。このように、会計処理判定部６２は、店員割引処理の場合、照合ＮＧ且つ対象顧客が店員ではないことを条件として警告を行う。
【０１０４】
一方、処理内容が店員割引処理でもない場合は（Ｓ５９：Ｎｏ）、会計処理の処理内容がスキャン処理であるか否かを判別し（Ｓ６２，会計処理判定部６２）、スキャン処理の場合は（Ｓ６２：Ｙｅｓ）、ハンディスキャナー３（図１参照）の読取結果を取得して（Ｓ６３）、読取結果があるか否かを判定する（Ｓ６４，会計処理判定部６２）。なお、読取結果があるか否かは、会計情報に基づいて判定しても良いし、店舗管理サーバー６が、スキャン毎にハンディスキャナー３の読取結果を取得できる場合は、当該読取結果の取得の有無に応じて判定しても良い。読取結果が無い場合は（Ｓ６４：Ｎｏ）、会計処理が正常に行われなかったものとして警告を行う（Ｓ５８）。このように、会計処理判定部６２は、スキャン処理の場合、照合ＮＧ且つハンディスキャナー３の読取結果がないことを条件として警告を行う。
【０１０５】
その後（Ｓ５８の後）、並びに、Ｓ５４：Ｙｅｓ、Ｓ５７：Ｙｅｓ、Ｓ６１：Ｙｅｓ、Ｓ６２：Ｎｏ、Ｓ６４：Ｙｅｓの後は、不正履歴記憶部６４に不正履歴を記録し（Ｓ６５，不正履歴記録部６３）、処理を終了する。なお、上記のフローチャートでは、処理内容が、返品処理、ミスレジ処理、店員割引処理およびスキャン処理以外の場合は、警告を行わないものとしたが、他の処理内容の場合も警告を行うようにしても良い。
【０１０６】
以上説明したとおり、第３実施形態に係る店舗監視システムＳＹによれば、返品処理時において、処理内容に対応するキーワードを取得できなかった場合でも、対象顧客を検出できた場合は、会計処理が正常に行われたと判定する。また、店員割引処理時において、特定割引処理に対応するキーワードを取得できなかった場合でも、対象顧客として店員を検出できた場合は、会計処理が正常に行われたと判定する。さらに、スキャン処理時において、商品コード読取処理に対応するキーワードを取得できなかった場合でも、商品コードの読取結果を取得できた場合は、会計処理が正常に行われたと判定する。これらにより、誤って不正行為の発生と判定してしまう誤判定の可能性を低くすることができる。
【０１０７】
なお、上記の実施形態では、スキャン処理の場合、商品コード読取処理に対応するキーワードと、商品コードの読取結果を取得できなかったことを条件として、会計処理が正常に行われなかったと判定したが、これらの条件を満たす場合であっても、商品コード読取処理時に取得した音声の認識結果から特定される商品と、商品コードの読取結果とが一致しなかった場合、会計処理が正常に行われなかったと判定しても良い。一般的に、商品コード読取処理時には、店員が発声する音声（「○○が一点。」など）と、商品コードの読取結果とが一致する。したがって、これらが一致しない場合、会計処理が正常に行われなかったと判定することができ、より確実に不正行為を検出することができる。
【０１０８】
また、この場合、会計処理判定部６２は、１回の会計処理内において、取得した音声の認識結果から特定される商品と、商品コードの読取結果とが一致しなかった回数が、所定回数を超えた場合に、会計処理が正常に行われなかったと判定しても良い。この構成によれば、店員が、悪意なく１回だけ商品名を誤って発声してしまった場合、即座に「会計処理が正常に行われなかった」と判定されてしまうような不具合を解消することができる。なお、この場合は、店員に対してオペレーションをやり直すように促すための報知を行うことが好ましい。また、判定の基準となる所定回数を、ユーザーが設定可能としても良い。
【０１０９】
また、上記の実施形態では、顧客検出部６６の検出結果から、対象顧客が店員であるか否かを判定したが、声紋によって判定しても良い。この場合は、店員顔特徴量データーベースに代えて店員声紋データーベースを店舗管理サーバー６内に設け、記憶されている声紋と、顧客用マイク４ａから取得した音声の認識結果から得られる声紋とが一致するか否かによって、対象顧客が店員であるか否かを判定する。
【０１１０】
以上、第１実施形態ないし第３実施形態を示したが、これらの各実施形態に示したフローチャート（店舗監視システムＳＹの警告処理）の各ステップをプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリー等）に格納して提供することも可能である。すなわち、コンピューターを、店舗監視システムＳＹの各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。
【０１１１】
また、上記の各実施形態では、本発明の会計処理判定装置を、店舗内における不正防止のために用いたが、他の用途（店員の育成、管理）を目的としても良い。また、店舗管理サーバー６の各部を、ＰＯＳシステムやＷＷＷサーバーで実現しても良い。その他、上述した実施例によらず、店舗監視システムＳＹのシステム構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。
【符号の説明】
【０１１２】
１…ＰＯＳ端末 ２…レシートプリンター ３…ハンディスキャナー ４…カスタマディスプレイ ４ａ…顧客用マイク ５…ヘッドセット ５ａ…店員用マイク ６…店舗管理サーバー ７…無線ＬＡＮ ８…無線ＬＡＮルーター ９…店舗内有線ＬＡＮ １０…レジカウンター １３…監視カメラ ２１…会計情報取得部 ２２…処理内容判定部 ２３…音声認識部 ２５…オペレーター警告部 ３１…撮像部 ４１…顧客用音声取得部 ５１…店員用音声取得部 ６１…キーワード記憶部 ６２…会計処理判定部 ６３…不正履歴記録部 ６４…不正履歴記憶部 ６５…管理者警告部 ６６…顧客検出部 １１０…携帯電話会社 １２０…携帯電話 １３０…電話回線 ＳＹ…店舗監視システム
【特許請求の範囲】
【請求項１】
会計処理部による会計処理に関するキーワードを記憶するキーワード記憶部と、
前記会計処理時における店員および顧客の少なくとも一方の音声を取得する音声取得部と、
前記会計処理時において、前記キーワード記憶部に記憶されているキーワードを、前記音声取得部により取得したか否かに応じて、前記会計処理が正常に行われたか否かを判定する会計処理判定部と、を備えたことを特徴とする会計処理判定装置。
【請求項２】
前記キーワード記憶部は、前記会計処理の処理内容ごとに前記キーワードを記憶しており、
前記会計処理部で実行されている処理内容を判定する処理内容判定部をさらに備え、
前記会計処理判定部は、前記処理内容判定部により判定された処理内容に対応するキーワードを、前記音声取得部により取得したか否かに応じて、前記会計処理が正常に行われたか否かを判定することを特徴とする請求項１に記載の会計処理判定装置。
【請求項３】
前記会計処理判定部は、前記会計処理時において、前記処理内容判定部により判定された処理内容に対応するキーワードを取得しなかった場合、前記会計処理が正常に行われなかったと判定し、
前記会計処理判定部により、前記会計処理が正常に行われなかったと判定された場合、前記会計処理部を操作している店員および予め定められた管理者の少なくとも一方に対して警告を行う警告部をさらに備えたことを特徴とする請求項２に記載の会計処理判定装置。
【請求項４】
前記警告部は、前記管理者に対し、電子メールまたはＷｅｂアプリケーションを用いて、前記会計処理が正常に行われなかった旨を通知することを特徴とする請求項３に記載の会計処理判定装置。
【請求項５】
前記処理内容判定部は、前記会計処理の取引金額を判定し、
前記警告部は、前記会計処理の取引金額に応じて、警告先および警告方法の少なくとも一方を可変することを特徴とする請求項３または４に記載の会計処理判定装置。
【請求項６】
前記会計処理判定部により、前記会計処理が正常に行われなかったと判定されたときの前記店員および前記顧客の少なくとも一方の音声から特定される対象者声紋と、その判定回数と、を関連付けて記憶しておく不正履歴記憶部をさらに備え、
前記警告部は、前記会計処理判定部により、前記会計処理が正常に行われなかったと判定された場合であって、その対象者の声紋と一致する前記対象者声紋が前記不正履歴記憶部に記憶されている場合、当該対象者声紋に関連付けられている過去の前記判定回数に応じて、警告先および警告方法の少なくとも一方を可変することを特徴とする請求項３ないし５のいずれか１項に記載の会計処理判定装置。
【請求項７】
前記会計処理の対象顧客を検出する顧客検出部をさらに備え、
前記警告部は、前記顧客検出部による前記対象顧客の検出の有無に応じて、警告先および警告方法の少なくとも一方を可変することを特徴とする請求項３ないし６のいずれか１項に記載の会計処理判定装置。
【請求項８】
前記会計処理の対象顧客を検出する顧客検出部をさらに備え、
前記会計処理判定部は、前記処理内容判定部により判定された処理内容に対応するキーワードを取得せず、且つ前記顧客検出部により前記対象顧客を検出できなかった場合、前記会計処理が正常に行われなかったと判定することを特徴とする請求項３ないし６のいずれか１項に記載の会計処理判定装置。
【請求項９】
前記処理内容判定部により、前記処理内容が、特定の人に対して商品の割引きを行う特定割引処理であると判定された場合、
前記会計処理判定部は、前記特定割引処理に対応するキーワードを取得せず、且つ前記顧客検出部により前記特定の人に該当する対象顧客を検出できなかった場合、前記会計処理が正常に行われなかったと判定することを特徴とする請求項８に記載の会計処理判定装置。
【請求項１０】
前記処理内容判定部により、前記処理内容が、精算時における商品コード読取処理であると判定された場合、
前記会計処理判定部は、前記商品コード読取処理に対応するキーワードを取得せず、且つ前記商品コードの読取結果を取得できなかった場合、前記会計処理が正常に行われなかったと判定することを特徴とする請求項３ないし６のいずれか１項に記載の会計処理判定装置。
【請求項１１】
前記キーワード記憶部は、前記店員を対象とした店員用キーワードと、前記顧客を対象とした顧客用キーワードと、を区別して記憶しており、
前記音声取得部により取得した前記店員の音声と、前記顧客の音声と、を区別して認識する音声認識部をさらに備え、
前記会計処理判定部は、前記店員および前記顧客から、それぞれ前記店員用キーワードおよび前記顧客用キーワードを取得したか否かに応じて、前記会計処理が正常に行われたか否かを判定することを特徴とする請求項１ないし１０のいずれか１項に記載の会計処理判定装置。
【請求項１２】
前記会計処理判定部は、前記処理内容判定部により、前記処理内容が前記会計処理の例外処理を示す所定の処理であると判定された場合のみ、前記会計処理が正常に行われたか否かを判定することを特徴とする請求項１ないし１１のいずれか１項に記載の会計処理判定装置。
【請求項１３】
会計処理部と、当該会計処理部による会計処理に関するキーワードを記憶するキーワード記憶部と、を内部または外部に備えた会計処理判定装置の制御方法であって、
前記会計処理判定装置が、
前記会計処理時における店員および顧客の少なくとも一方の音声を取得する音声取得ステップと、
前記音声取得ステップにおいて、前記キーワード記憶部に記憶されているキーワードを取得したか否かに応じて、前記会計処理が正常に行われたか否かを判定する会計処理判定ステップと、を実行することを特徴とする会計処理判定装置の制御方法。
【請求項１４】
コンピューターに、請求項１３に記載の会計処理判定装置の制御方法における各ステップを実行させるためのプログラム。
【請求項１】
会計処理部による会計処理に関するキーワードを記憶するキーワード記憶部と、
前記会計処理時における店員および顧客の少なくとも一方の音声を取得する音声取得部と、
前記会計処理時において、前記キーワード記憶部に記憶されているキーワードを、前記音声取得部により取得したか否かに応じて、前記会計処理が正常に行われたか否かを判定する会計処理判定部と、を備えたことを特徴とする会計処理判定装置。
【請求項２】
前記キーワード記憶部は、前記会計処理の処理内容ごとに前記キーワードを記憶しており、
前記会計処理部で実行されている処理内容を判定する処理内容判定部をさらに備え、
前記会計処理判定部は、前記処理内容判定部により判定された処理内容に対応するキーワードを、前記音声取得部により取得したか否かに応じて、前記会計処理が正常に行われたか否かを判定することを特徴とする請求項１に記載の会計処理判定装置。
【請求項３】
前記会計処理判定部は、前記会計処理時において、前記処理内容判定部により判定された処理内容に対応するキーワードを取得しなかった場合、前記会計処理が正常に行われなかったと判定し、
前記会計処理判定部により、前記会計処理が正常に行われなかったと判定された場合、前記会計処理部を操作している店員および予め定められた管理者の少なくとも一方に対して警告を行う警告部をさらに備えたことを特徴とする請求項２に記載の会計処理判定装置。
【請求項４】
前記警告部は、前記管理者に対し、電子メールまたはＷｅｂアプリケーションを用いて、前記会計処理が正常に行われなかった旨を通知することを特徴とする請求項３に記載の会計処理判定装置。
【請求項５】
前記処理内容判定部は、前記会計処理の取引金額を判定し、
前記警告部は、前記会計処理の取引金額に応じて、警告先および警告方法の少なくとも一方を可変することを特徴とする請求項３または４に記載の会計処理判定装置。
【請求項６】
前記会計処理判定部により、前記会計処理が正常に行われなかったと判定されたときの前記店員および前記顧客の少なくとも一方の音声から特定される対象者声紋と、その判定回数と、を関連付けて記憶しておく不正履歴記憶部をさらに備え、
前記警告部は、前記会計処理判定部により、前記会計処理が正常に行われなかったと判定された場合であって、その対象者の声紋と一致する前記対象者声紋が前記不正履歴記憶部に記憶されている場合、当該対象者声紋に関連付けられている過去の前記判定回数に応じて、警告先および警告方法の少なくとも一方を可変することを特徴とする請求項３ないし５のいずれか１項に記載の会計処理判定装置。
【請求項７】
前記会計処理の対象顧客を検出する顧客検出部をさらに備え、
前記警告部は、前記顧客検出部による前記対象顧客の検出の有無に応じて、警告先および警告方法の少なくとも一方を可変することを特徴とする請求項３ないし６のいずれか１項に記載の会計処理判定装置。
【請求項８】
前記会計処理の対象顧客を検出する顧客検出部をさらに備え、
前記会計処理判定部は、前記処理内容判定部により判定された処理内容に対応するキーワードを取得せず、且つ前記顧客検出部により前記対象顧客を検出できなかった場合、前記会計処理が正常に行われなかったと判定することを特徴とする請求項３ないし６のいずれか１項に記載の会計処理判定装置。
【請求項９】
前記処理内容判定部により、前記処理内容が、特定の人に対して商品の割引きを行う特定割引処理であると判定された場合、
前記会計処理判定部は、前記特定割引処理に対応するキーワードを取得せず、且つ前記顧客検出部により前記特定の人に該当する対象顧客を検出できなかった場合、前記会計処理が正常に行われなかったと判定することを特徴とする請求項８に記載の会計処理判定装置。
【請求項１０】
前記処理内容判定部により、前記処理内容が、精算時における商品コード読取処理であると判定された場合、
前記会計処理判定部は、前記商品コード読取処理に対応するキーワードを取得せず、且つ前記商品コードの読取結果を取得できなかった場合、前記会計処理が正常に行われなかったと判定することを特徴とする請求項３ないし６のいずれか１項に記載の会計処理判定装置。
【請求項１１】
前記キーワード記憶部は、前記店員を対象とした店員用キーワードと、前記顧客を対象とした顧客用キーワードと、を区別して記憶しており、
前記音声取得部により取得した前記店員の音声と、前記顧客の音声と、を区別して認識する音声認識部をさらに備え、
前記会計処理判定部は、前記店員および前記顧客から、それぞれ前記店員用キーワードおよび前記顧客用キーワードを取得したか否かに応じて、前記会計処理が正常に行われたか否かを判定することを特徴とする請求項１ないし１０のいずれか１項に記載の会計処理判定装置。
【請求項１２】
前記会計処理判定部は、前記処理内容判定部により、前記処理内容が前記会計処理の例外処理を示す所定の処理であると判定された場合のみ、前記会計処理が正常に行われたか否かを判定することを特徴とする請求項１ないし１１のいずれか１項に記載の会計処理判定装置。
【請求項１３】
会計処理部と、当該会計処理部による会計処理に関するキーワードを記憶するキーワード記憶部と、を内部または外部に備えた会計処理判定装置の制御方法であって、
前記会計処理判定装置が、
前記会計処理時における店員および顧客の少なくとも一方の音声を取得する音声取得ステップと、
前記音声取得ステップにおいて、前記キーワード記憶部に記憶されているキーワードを取得したか否かに応じて、前記会計処理が正常に行われたか否かを判定する会計処理判定ステップと、を実行することを特徴とする会計処理判定装置の制御方法。
【請求項１４】
コンピューターに、請求項１３に記載の会計処理判定装置の制御方法における各ステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１１３４４２（Ｐ２０１１−１１３４４２Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２７１２３８（Ｐ２００９−２７１２３８）
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]