店舗システム及びプログラム
【課題】登録・精算にかかる商品以外の物品が登録・精算時に持ち込まれた場合に、その物品に関する報知を行うことを可能とする。
【解決手段】実施形態の店舗システムは、撮像手段が撮像した画像を出力する画像出力手段と、出力された画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された物体が、売上登録に用いる情報を記憶する商品ファイルに含まれる商品以外の物体である場合に、売上登録にかかる商品以外の物体を認識したことを報知する報知手段と、を備える。
【解決手段】実施形態の店舗システムは、撮像手段が撮像した画像を出力する画像出力手段と、出力された画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された物体が、売上登録に用いる情報を記憶する商品ファイルに含まれる商品以外の物体である場合に、売上登録にかかる商品以外の物体を認識したことを報知する報知手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、店舗システム及びプログラムに関する。
【背景技術】
【０００２】
従来、洋菓子店やドーナツショップ等の店舗では、撮像カメラでトレイを撮像し、その撮像画像からトレイに載せられた食器を認識して、その食器に入れられた商品の登録・精算を行う店舗システムが用いられている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術では、登録・精算にかかる商品以外の物品がトレイに載せられた場合、その物品に関する報知が行われることがなかった。
【課題を解決するための手段】
【０００４】
上述した課題を解決するために、実施形態の店舗システムは、撮像手段が撮像した画像を出力する画像出力手段と、前記出力された画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、前記認識された物体が、売上登録に用いる情報を記憶する商品ファイルに含まれる商品以外の物体である場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する報知手段と、を備える。
【０００５】
また、実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、前記認識された物体が、売上登録に用いる情報を記憶する商品ファイルに含まれる商品以外の物体である場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する報知手段と、として機能させる。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態にかかるチェックアウトシステムを示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウエア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図４】図４は、報知対象物ファイルのデータ構成を例示する概念図である。
【図５】図５は、ＣＰＵの機能構成を示すブロック図である。
【図６】図６は、実施形態にかかるチェックアウトシステムの処理動作の一例を示すフローチャートである。
【図７】図７は、読取窓における読取領域の例を示す概念図である。
【図８】図８は、商品以外の物体を認識した場合を例示する概念図である。
【図９】図９は、処理の具体例を模式的に示す説明図である。
【図１０】図１０は、商品以外の物体を認識した場合を例示する概念図である。
【図１１】図１１は、表示デバイス、顧客用表示デバイスによる表示例を示す概念図である。
【発明を実施するための形態】
【０００７】
以下では、チェックアウトシステムを例に実施形態にかかる店舗システムおよびプログラムについて、図面を参照して説明する。店舗システムは、一取引にかかる商品の登録・精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）などである。本実施形態は、スーパーマーケット、洋菓子店、ドーナツ店等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００８】
図１は、チェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００９】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、陳列ケース１５１が配置されている。陳列ケース１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、登録・精算を行う商品Ａを収納するトレイ１５３が載置される。
【００１０】
陳列ケース１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１１】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１２】
洋菓子店やドーナツショップなどにおいては、陳列ケース１５１内に陳列された商品Ａを顧客が選択し、選択した商品Ａを顧客自身又は店員がトレイ１５３に移す。その後、商品Ａを収納したトレイ１５３は、顧客又は店員の手によって運ばれて、荷受面１５２に載置される。荷受面１５２に載置されたトレイ１５３は、商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）はトレイ１５３内の全ての商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ａの全部または一部を検出する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａの全部または一部が含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する。図３参照）を参照して、商品読取部１１０の撮像部１６４により撮像された商品Ａの全部または一部の画像から特定の物体である商品Ａを認識することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１３】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１４】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１５】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１６】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１、報知対象物ファイルＦ２である。
【００１７】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像とを格納するファイルである。
【００１８】
報知対象物ファイルＦ２は、売上登録にかかる商品Ａ以外の物体として報知する対象物の情報を記憶するファイルである。売上登録にかかる商品Ａ以外の物体は、通常は登録・精算にかかる商品Ａが収納されるトレイ１５３に誤って収納されやすい顧客や店員の所持品などであってよい。具体的には、顧客や店員が所持する鍵、携帯電話、各種カードなどがある。報知対象物ファイルＦ２には、上述した物体を認識した際に報知する対象物の画像、名称等の情報が予め登録される。図４は、報知対象物ファイルＦ２のデータ構成を例示する概念図である。図４に示すように、報知対象物ファイルＦ２は、売上登録にかかる商品Ａ以外の物体ごとに、ユニークに割り当てられた対象物ＩＤと、対象物名と、その対象物を撮像した対象物画像とを格納している。
【００１９】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１、報知対象物ファイルＦ２が格納されている。
【００２０】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。
【００２１】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２２】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。
【００２３】
音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００２４】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像（商品Ａの全部または一部を含む画像）は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。
【００２５】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図５を参照して説明する。図５は、ＣＰＵ１６１、ＣＰＵ６１の機能構成を示すブロック図である。図５に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、画像出力手段である画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、物体認識手段である物体認識部６１１、商品登録部６１２、類似度算出手段である類似度判定部６１３、報知手段である報知部６１４としての機能を備える。
【００２６】
画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００２７】
商品検出部１６１２は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ａ等の物品の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品Ａを含む物品の写り込みを検出する。なお、商品Ａを含む物品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員等の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員等の手が把持していると想定される商品Ａを含む部品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品Ａを含む物品の写り込みを検出する。
【００２８】
画像出力部１６１３は、画像取込部１６１１が取り込んだフレーム画像を、接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、商品検出部１６１２により商品Ａ等の物品の全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、商品検出部１６１２により商品Ａ等の物品の全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品Ａ等の物品の全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Ａの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００２９】
物体認識部６１１は、ＰＬＵファイルＦ１の商品画像や報知対象物ファイルＦ２の対象物画像を参照して、商品読取装置１０１の撮像部１６４により撮像された画像に含まれる物品の全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることにより、特定の物体として商品Ａや商品Ａ以外の物体として報知する対象物を認識する。なお、物体認識部６１１は、処理時間の短縮を図るため、商品Ａや商品Ａ以外の物体として報知する対象物の輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６１１の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品Ａを特定できる。
【００３０】
類似度算出手段としての類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、ＰＬＵファイルＦ１の商品画像との類似度合いを示す類似度を算出し、算出された類似度が予め定められた閾値を超えているか否かを判定する。この類似度は、物体認識部６１１が認識した商品Ａが含まれているフレーム画像の中の商品Ａに対応する領域を読み出し、その読み出した領域と、認識した商品Ａに対応してＰＬＵファイルＦ１より特定した商品の商品画像とを比較することで、互いの画像の一致度合いをもとに算出する。
【００３１】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３２】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３３】
商品登録部６１２は、物体認識部６１１により認識された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品Ａとして特定された商品の商品ＩＤ、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。
【００３４】
報知部６１４は、物体認識部６１１により認識された物体が、ＰＬＵファイルＦ１に含まれる商品以外の物体である場合に、売上登録にかかる商品以外の物体を認識したことを、音声出力部１６５による警告音声の出力や、表示デバイス２３、顧客用表示デバイス２４の表示画面への表示などで報知する（詳細は後述する）。
【００３５】
次に、チェックアウトシステム１の動作について詳細に説明する。図６は、実施形態にかかるチェックアウトシステム１の処理動作の一例を示すフローチャートである。
【００３６】
先ず、商品読取装置１０１側の動作について説明する。図６に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（Ｓ１）。次いで、画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（Ｓ２）。次いで、商品検出部１６１２は、画像取込部１６１１が取り込んだフレーム画像からトレイ１５３内の全ての商品Ａの全部または一部の検出を行う（Ｓ３）。次いで、画像出力部１６１３は、商品検出部１６１２によりトレイ１５３内の全ての商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力する（Ｓ４）。
【００３７】
図７は、読取窓１０３における読取領域Ｒの例を示す概念図である。具体的には、図７は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図７に示すように、荷受面１５２に載置されたトレイ１５３内の商品Ａが読取領域Ｒに映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からＳ３においてトレイ１５３内の全ての商品Ａの全部または一部が検出される。このトレイ１５３内の全ての商品Ａの全部または一部の検出により、Ｓ４では読取領域Ｒを撮像したフレーム画像がＰＯＳ端末１１へ出力されることとなる。
【００３８】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（Ｓ５）。業務を継続する場合（Ｓ５：Ｎｏ）、ＣＰＵ１６１は、Ｓ２へ処理を戻して処理を継続させる。業務を終了する場合（Ｓ５：Ｙｅｓ）、画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（Ｓ６）、処理を終了する。
【００３９】
次に、ＰＯＳ端末１１側の動作について説明する。図６に示すように、キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から出力された、トレイ１５３内の全ての商品Ａの全部または一部を検出したフレーム画像を受信する（Ｓ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像や報知対象物ファイルＦ２の対象物画像を参照して、商品読取装置１０１から出力されたトレイ１５３内の全ての商品Ａの全部または一部の画像から特定の物体として商品Ａや商品Ａ以外の物体として報知する対象物を順に認識する（Ｓ１２）。
【００４０】
次いで、ＣＰＵ６１は、Ｓ１２で認識した物体が報知対象物ファイルＦ２の対象物画像により特定された報知する対象物であるか否かを判定する（Ｓ１３）。Ｓ１２で認識した物体が報知する対象物である場合（Ｓ１３：Ｙｅｓ）、報知部６１４は、商品Ａ以外の物体（報知対象物）が含まれていることを、音声出力部１６５による警告音声の出力や、表示デバイス２３、顧客用表示デバイス２４の表示画面への表示などで報知する（Ｓ１４）。
【００４１】
図８は、商品Ａ以外の物体を認識した場合を例示する概念図である。図８に示すように、荷受面１５２に載置されたトレイ１５３内には、商品Ａの他に、顧客や店員の所持品などの報知対象物Ａ１０（図示例では鍵）が紛れ込むことがある。この報知対象物Ａ１０が読取領域Ｒに映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からＳ１２において、商品Ａ以外の物体として報知する対象物として報知対象物Ａ１０が認識される。この報知対象物Ａ１０の認識により、Ｓ１４では、商品Ａ以外の物体として報知対象物Ａ１０がトレイ１５３に含まれていることを示す報知画像Ｇ１０を、表示デバイス２３、顧客用表示デバイス２４の表示画面Ｇに表示する。具体的には、報知対象物Ａ１０を検出したフレーム画像における報知対象物Ａ１０に対応した位置に報知画像Ｇ１０を表示する。この報知画像Ｇ１０には、報知対象物Ａ１０に対応した対象物名がＰＬＵファイルＦ１より読み出して表示される。上述した報知により、チェックアウトシステム１では、登録・精算にかかる商品Ａ以外の、報知対象物ファイルＦ２に登録された報知対象物がトレイ１５３に載せられたことを、顧客や店員が認識できる。
【００４２】
Ｓ１２で認識した物体が報知する対象物でない場合（Ｓ１３：Ｎｏ）、すなわち、Ｓ１２で認識した物体が商品Ａである場合、類似度判定部６１３は、認識した商品Ａについて、ＰＬＵファイルＦ１の商品画像との類似度合いを示す類似度を算出する（Ｓ１５）。次いで、ＣＰＵ６１は、Ｓ１５により算出した類似度が予め設定された閾値を超えているか否かを判定する（Ｓ１６）。
【００４３】
図９は、処理の具体例を模式的に示す説明図であり、より具体的にはＳ１６における判定例を示す説明図である。図９に示すように、物体認識部６１１が認識した商品Ａが「プレーンドーナツ」である場合は、ＰＬＵファイルＦ１に記憶された「プレーンドーナツ」の商品画像と撮像した画像との類似度が予め設定された閾値（０．５０）を超えているか否かを判定する。（ａ）の場合は、商品Ａが通常の「プレーンドーナツ」であることから、類似度が０．７１７と算出されて閾値（０．５０）を上回っている。（ｂ）の場合は、商品Ａが「プレーンドーナツ」に似た色、形状のゴムバンド等であることから、類似度が０．２５２と算出されて閾値（０．５０）を下回っている。
【００４４】
類似度が予め設定された閾値を超えていない場合（Ｓ１６：Ｎｏ）、報知部６１４は、商品Ａ以外の物体（報知対象物として報知対象物ファイルＦ２には未登録）が含まれていることを、音声出力部１６５による警告音声の出力や、表示デバイス２３、顧客用表示デバイス２４の表示画面への表示などで報知する（Ｓ１７）。
【００４５】
図１０は、商品Ａ以外の物体を認識した場合を例示する概念図である。図１０に示すように、荷受面１５２に載置されたトレイ１５３内には、商品Ａの他に、報知対象物ファイルＦ２には未登録であるが、ＰＬＵファイルＦ１に登録された商品画像に似た形状の物体Ａ２０（図示例ではゴムバンド）が紛れ込むことがある。この物体Ａ２０が読取領域Ｒに映り込んだ場合は、Ｓ１６において、類似度が所定の閾値を下回ることから、商品Ａが商品Ａ以外であることが認識される。Ｓ１７では、ＰＬＵファイルＦ１、報知対象物ファイルＦ２には未登録である商品Ａ以外の物体Ａ２０がトレイ１５３に含まれていることを示す報知画像Ｇ２０を、表示デバイス２３、顧客用表示デバイス２４の表示画面Ｇに表示する。具体的には、物体Ａ２０を検出したフレーム画像における物体Ａ２０に対応した位置に報知画像Ｇ２０を表示する。上述した報知により、チェックアウトシステム１では、登録・精算にかかる商品Ａ以外の物品（報知対象物ファイルＦ２には未登録）がトレイ１５３に載せられたことを、顧客や店員が認識できる。
【００４６】
類似度が予め設定された閾値を超えている場合（Ｓ１６：Ｙｅｓ）、商品登録部６１２は、認識された商品Ａの売上を登録する（Ｓ１８）。次いで、ＣＰＵ６１は、全ての物体を認識したか否かを判定する（Ｓ１９）。ＣＰＵ６１は、全ての物体を認識したと判定した場合は（Ｓ１９：Ｙｅｓ）、Ｓ２０に進み、全ての物体を認識していないと判定した場合は（Ｓ１９：Ｎｏ）、Ｓ１２へ処理を戻して次の物体の認識処理を継続させる。
【００４７】
Ｓ２０では、ＣＰＵ６１が、図１１に示すような表示デバイス２３、顧客用表示デバイス２４への画面表示によって、店員や顧客に購入商品を確認させる。図１１に示す例では、商品Ａを格納しているトレイ１５３の画像を表示領域Ｇ１に表示するとともに、予め保存していた商品Ａの商品名や単価などの商品情報および個数、合計金額などの購入商品の履歴も表示領域Ｇ２に併せて表示させている。また、表示領域Ｇ１に表示されている商品Ａの商品画像には商品名も付記されている。この表示領域Ｇ２における購入商品の履歴の表示は、ＲＡＭ６３にスタックしている購入商品にかかる情報をもとにＰＯＳ端末１１のＣＰＵ６１が行う。このような画面表示によって、希望している商品と間違いないかを顧客に対して確認することができる。
【００４８】
次いで、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（Ｓ２１）。業務を終了する場合（Ｓ２１：Ｙｅｓ）、ＣＰＵ６１は、表示デバイス２３、顧客用表示デバイス２４への画面表示を終了して、処理を終了する。
【００４９】
このように、実施形態のチェックアウトシステム１では、商品読取装置１０１から出力された画像の特徴量を読み取ることによって特定の物体を認識し、認識された物体が、売上登録に用いる情報を記憶するＰＬＵファイルＦ１に含まれる商品Ａ以外の物体である場合に、売上登録にかかる商品Ａ以外の物体を認識したことを報知部６１４が報知する。したがって、チェックアウトシステム１では、例えばチェックアウトシステム１に持ち込まれたトレイ１５３に売上登録にかかる商品Ａ以外の物品が載せられていることを、顧客や店員が認識できる。
【００５０】
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５１】
さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５２】
本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各機能構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各機能構成が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。
【００５３】
本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各機能構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各機能構成が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。
【００５４】
なお、本実施形態においては、ＰＯＳ端末１１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、報知部６１４を備えるようにしたが、これに限るものではなく、商品読取装置１０１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、報知部６１４を備えるようにしても良い。この場合、商品読取装置１０１が店舗システムである。
【００５５】
また、本実施形態においては、商品読取装置１０１側に画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしたが、これに限るものではなく、ＰＯＳ端末１１側に画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしても良い。この場合、ＰＯＳ端末１１が店舗システムである。
【符号の説明】
【００５６】
１…チェックアウトシステム、１１…ＰＯＳ端末、２３…表示デバイス、２４…顧客用表示デバイス、２５…通信インターフェース、２６…タッチパネル、５１…チェックアウト台、６０…マイクロコンピュータ、６１…ＣＰＵ、６２…ＲＯＭ、６３…ＲＡＭ、６４…ＨＤＤ、６５、１７５、１７６…接続インターフェース、６６…プリンタ、１０１…商品読取装置、１０３…読取窓、１０４…表示・操作部、１０５…タッチパネル、１０６…表示デバイス、１０７…キーボード、１０８…カード読取溝、１０９…顧客用表示デバイス、１１０…商品読取部、１５１…陳列ケース、１５２…荷受面、１５３…トレイ、１６０…マイクロコンピュータ、１６１…ＣＰＵ、１６２…ＲＯＭ、１６３…ＲＡＭ、１６４…撮像部、１６５…音声出力部、６１１…物体認識部、６１２…商品登録部、６１３…類似度判定部、６１４…報知部、１６１１…画像取込部、１６１２…商品検出部、１６１３…画像出力部、Ａ…商品、Ａ１０…報知対象物、Ａ２０…物体、Ｆ１…ＰＬＵファイル、Ｆ２…報知対象物ファイル、Ｇ…表示画面、Ｇ１、Ｇ２…表示領域、Ｇ１０、Ｇ２０…報知画像、ＰＲ…プログラム、Ｒ…読取領域、ＳＣ…ストアコンピュータ
【先行技術文献】
【特許文献】
【００５７】
【特許文献１】特開平１０−１０５７７４号公報
【技術分野】
【０００１】
本発明の実施形態は、店舗システム及びプログラムに関する。
【背景技術】
【０００２】
従来、洋菓子店やドーナツショップ等の店舗では、撮像カメラでトレイを撮像し、その撮像画像からトレイに載せられた食器を認識して、その食器に入れられた商品の登録・精算を行う店舗システムが用いられている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術では、登録・精算にかかる商品以外の物品がトレイに載せられた場合、その物品に関する報知が行われることがなかった。
【課題を解決するための手段】
【０００４】
上述した課題を解決するために、実施形態の店舗システムは、撮像手段が撮像した画像を出力する画像出力手段と、前記出力された画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、前記認識された物体が、売上登録に用いる情報を記憶する商品ファイルに含まれる商品以外の物体である場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する報知手段と、を備える。
【０００５】
また、実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、前記認識された物体が、売上登録に用いる情報を記憶する商品ファイルに含まれる商品以外の物体である場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する報知手段と、として機能させる。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態にかかるチェックアウトシステムを示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウエア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図４】図４は、報知対象物ファイルのデータ構成を例示する概念図である。
【図５】図５は、ＣＰＵの機能構成を示すブロック図である。
【図６】図６は、実施形態にかかるチェックアウトシステムの処理動作の一例を示すフローチャートである。
【図７】図７は、読取窓における読取領域の例を示す概念図である。
【図８】図８は、商品以外の物体を認識した場合を例示する概念図である。
【図９】図９は、処理の具体例を模式的に示す説明図である。
【図１０】図１０は、商品以外の物体を認識した場合を例示する概念図である。
【図１１】図１１は、表示デバイス、顧客用表示デバイスによる表示例を示す概念図である。
【発明を実施するための形態】
【０００７】
以下では、チェックアウトシステムを例に実施形態にかかる店舗システムおよびプログラムについて、図面を参照して説明する。店舗システムは、一取引にかかる商品の登録・精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）などである。本実施形態は、スーパーマーケット、洋菓子店、ドーナツ店等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００８】
図１は、チェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００９】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、陳列ケース１５１が配置されている。陳列ケース１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、登録・精算を行う商品Ａを収納するトレイ１５３が載置される。
【００１０】
陳列ケース１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１１】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１２】
洋菓子店やドーナツショップなどにおいては、陳列ケース１５１内に陳列された商品Ａを顧客が選択し、選択した商品Ａを顧客自身又は店員がトレイ１５３に移す。その後、商品Ａを収納したトレイ１５３は、顧客又は店員の手によって運ばれて、荷受面１５２に載置される。荷受面１５２に載置されたトレイ１５３は、商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）はトレイ１５３内の全ての商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ａの全部または一部を検出する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａの全部または一部が含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する。図３参照）を参照して、商品読取部１１０の撮像部１６４により撮像された商品Ａの全部または一部の画像から特定の物体である商品Ａを認識することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１３】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１４】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１５】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１６】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１、報知対象物ファイルＦ２である。
【００１７】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像とを格納するファイルである。
【００１８】
報知対象物ファイルＦ２は、売上登録にかかる商品Ａ以外の物体として報知する対象物の情報を記憶するファイルである。売上登録にかかる商品Ａ以外の物体は、通常は登録・精算にかかる商品Ａが収納されるトレイ１５３に誤って収納されやすい顧客や店員の所持品などであってよい。具体的には、顧客や店員が所持する鍵、携帯電話、各種カードなどがある。報知対象物ファイルＦ２には、上述した物体を認識した際に報知する対象物の画像、名称等の情報が予め登録される。図４は、報知対象物ファイルＦ２のデータ構成を例示する概念図である。図４に示すように、報知対象物ファイルＦ２は、売上登録にかかる商品Ａ以外の物体ごとに、ユニークに割り当てられた対象物ＩＤと、対象物名と、その対象物を撮像した対象物画像とを格納している。
【００１９】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１、報知対象物ファイルＦ２が格納されている。
【００２０】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。
【００２１】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２２】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。
【００２３】
音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００２４】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像（商品Ａの全部または一部を含む画像）は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。
【００２５】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図５を参照して説明する。図５は、ＣＰＵ１６１、ＣＰＵ６１の機能構成を示すブロック図である。図５に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、画像出力手段である画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、物体認識手段である物体認識部６１１、商品登録部６１２、類似度算出手段である類似度判定部６１３、報知手段である報知部６１４としての機能を備える。
【００２６】
画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００２７】
商品検出部１６１２は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ａ等の物品の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品Ａを含む物品の写り込みを検出する。なお、商品Ａを含む物品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員等の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員等の手が把持していると想定される商品Ａを含む部品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品Ａを含む物品の写り込みを検出する。
【００２８】
画像出力部１６１３は、画像取込部１６１１が取り込んだフレーム画像を、接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、商品検出部１６１２により商品Ａ等の物品の全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、商品検出部１６１２により商品Ａ等の物品の全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品Ａ等の物品の全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Ａの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００２９】
物体認識部６１１は、ＰＬＵファイルＦ１の商品画像や報知対象物ファイルＦ２の対象物画像を参照して、商品読取装置１０１の撮像部１６４により撮像された画像に含まれる物品の全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることにより、特定の物体として商品Ａや商品Ａ以外の物体として報知する対象物を認識する。なお、物体認識部６１１は、処理時間の短縮を図るため、商品Ａや商品Ａ以外の物体として報知する対象物の輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６１１の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品Ａを特定できる。
【００３０】
類似度算出手段としての類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、ＰＬＵファイルＦ１の商品画像との類似度合いを示す類似度を算出し、算出された類似度が予め定められた閾値を超えているか否かを判定する。この類似度は、物体認識部６１１が認識した商品Ａが含まれているフレーム画像の中の商品Ａに対応する領域を読み出し、その読み出した領域と、認識した商品Ａに対応してＰＬＵファイルＦ１より特定した商品の商品画像とを比較することで、互いの画像の一致度合いをもとに算出する。
【００３１】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３２】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３３】
商品登録部６１２は、物体認識部６１１により認識された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品Ａとして特定された商品の商品ＩＤ、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。
【００３４】
報知部６１４は、物体認識部６１１により認識された物体が、ＰＬＵファイルＦ１に含まれる商品以外の物体である場合に、売上登録にかかる商品以外の物体を認識したことを、音声出力部１６５による警告音声の出力や、表示デバイス２３、顧客用表示デバイス２４の表示画面への表示などで報知する（詳細は後述する）。
【００３５】
次に、チェックアウトシステム１の動作について詳細に説明する。図６は、実施形態にかかるチェックアウトシステム１の処理動作の一例を示すフローチャートである。
【００３６】
先ず、商品読取装置１０１側の動作について説明する。図６に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（Ｓ１）。次いで、画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（Ｓ２）。次いで、商品検出部１６１２は、画像取込部１６１１が取り込んだフレーム画像からトレイ１５３内の全ての商品Ａの全部または一部の検出を行う（Ｓ３）。次いで、画像出力部１６１３は、商品検出部１６１２によりトレイ１５３内の全ての商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力する（Ｓ４）。
【００３７】
図７は、読取窓１０３における読取領域Ｒの例を示す概念図である。具体的には、図７は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図７に示すように、荷受面１５２に載置されたトレイ１５３内の商品Ａが読取領域Ｒに映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からＳ３においてトレイ１５３内の全ての商品Ａの全部または一部が検出される。このトレイ１５３内の全ての商品Ａの全部または一部の検出により、Ｓ４では読取領域Ｒを撮像したフレーム画像がＰＯＳ端末１１へ出力されることとなる。
【００３８】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（Ｓ５）。業務を継続する場合（Ｓ５：Ｎｏ）、ＣＰＵ１６１は、Ｓ２へ処理を戻して処理を継続させる。業務を終了する場合（Ｓ５：Ｙｅｓ）、画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（Ｓ６）、処理を終了する。
【００３９】
次に、ＰＯＳ端末１１側の動作について説明する。図６に示すように、キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から出力された、トレイ１５３内の全ての商品Ａの全部または一部を検出したフレーム画像を受信する（Ｓ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像や報知対象物ファイルＦ２の対象物画像を参照して、商品読取装置１０１から出力されたトレイ１５３内の全ての商品Ａの全部または一部の画像から特定の物体として商品Ａや商品Ａ以外の物体として報知する対象物を順に認識する（Ｓ１２）。
【００４０】
次いで、ＣＰＵ６１は、Ｓ１２で認識した物体が報知対象物ファイルＦ２の対象物画像により特定された報知する対象物であるか否かを判定する（Ｓ１３）。Ｓ１２で認識した物体が報知する対象物である場合（Ｓ１３：Ｙｅｓ）、報知部６１４は、商品Ａ以外の物体（報知対象物）が含まれていることを、音声出力部１６５による警告音声の出力や、表示デバイス２３、顧客用表示デバイス２４の表示画面への表示などで報知する（Ｓ１４）。
【００４１】
図８は、商品Ａ以外の物体を認識した場合を例示する概念図である。図８に示すように、荷受面１５２に載置されたトレイ１５３内には、商品Ａの他に、顧客や店員の所持品などの報知対象物Ａ１０（図示例では鍵）が紛れ込むことがある。この報知対象物Ａ１０が読取領域Ｒに映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からＳ１２において、商品Ａ以外の物体として報知する対象物として報知対象物Ａ１０が認識される。この報知対象物Ａ１０の認識により、Ｓ１４では、商品Ａ以外の物体として報知対象物Ａ１０がトレイ１５３に含まれていることを示す報知画像Ｇ１０を、表示デバイス２３、顧客用表示デバイス２４の表示画面Ｇに表示する。具体的には、報知対象物Ａ１０を検出したフレーム画像における報知対象物Ａ１０に対応した位置に報知画像Ｇ１０を表示する。この報知画像Ｇ１０には、報知対象物Ａ１０に対応した対象物名がＰＬＵファイルＦ１より読み出して表示される。上述した報知により、チェックアウトシステム１では、登録・精算にかかる商品Ａ以外の、報知対象物ファイルＦ２に登録された報知対象物がトレイ１５３に載せられたことを、顧客や店員が認識できる。
【００４２】
Ｓ１２で認識した物体が報知する対象物でない場合（Ｓ１３：Ｎｏ）、すなわち、Ｓ１２で認識した物体が商品Ａである場合、類似度判定部６１３は、認識した商品Ａについて、ＰＬＵファイルＦ１の商品画像との類似度合いを示す類似度を算出する（Ｓ１５）。次いで、ＣＰＵ６１は、Ｓ１５により算出した類似度が予め設定された閾値を超えているか否かを判定する（Ｓ１６）。
【００４３】
図９は、処理の具体例を模式的に示す説明図であり、より具体的にはＳ１６における判定例を示す説明図である。図９に示すように、物体認識部６１１が認識した商品Ａが「プレーンドーナツ」である場合は、ＰＬＵファイルＦ１に記憶された「プレーンドーナツ」の商品画像と撮像した画像との類似度が予め設定された閾値（０．５０）を超えているか否かを判定する。（ａ）の場合は、商品Ａが通常の「プレーンドーナツ」であることから、類似度が０．７１７と算出されて閾値（０．５０）を上回っている。（ｂ）の場合は、商品Ａが「プレーンドーナツ」に似た色、形状のゴムバンド等であることから、類似度が０．２５２と算出されて閾値（０．５０）を下回っている。
【００４４】
類似度が予め設定された閾値を超えていない場合（Ｓ１６：Ｎｏ）、報知部６１４は、商品Ａ以外の物体（報知対象物として報知対象物ファイルＦ２には未登録）が含まれていることを、音声出力部１６５による警告音声の出力や、表示デバイス２３、顧客用表示デバイス２４の表示画面への表示などで報知する（Ｓ１７）。
【００４５】
図１０は、商品Ａ以外の物体を認識した場合を例示する概念図である。図１０に示すように、荷受面１５２に載置されたトレイ１５３内には、商品Ａの他に、報知対象物ファイルＦ２には未登録であるが、ＰＬＵファイルＦ１に登録された商品画像に似た形状の物体Ａ２０（図示例ではゴムバンド）が紛れ込むことがある。この物体Ａ２０が読取領域Ｒに映り込んだ場合は、Ｓ１６において、類似度が所定の閾値を下回ることから、商品Ａが商品Ａ以外であることが認識される。Ｓ１７では、ＰＬＵファイルＦ１、報知対象物ファイルＦ２には未登録である商品Ａ以外の物体Ａ２０がトレイ１５３に含まれていることを示す報知画像Ｇ２０を、表示デバイス２３、顧客用表示デバイス２４の表示画面Ｇに表示する。具体的には、物体Ａ２０を検出したフレーム画像における物体Ａ２０に対応した位置に報知画像Ｇ２０を表示する。上述した報知により、チェックアウトシステム１では、登録・精算にかかる商品Ａ以外の物品（報知対象物ファイルＦ２には未登録）がトレイ１５３に載せられたことを、顧客や店員が認識できる。
【００４６】
類似度が予め設定された閾値を超えている場合（Ｓ１６：Ｙｅｓ）、商品登録部６１２は、認識された商品Ａの売上を登録する（Ｓ１８）。次いで、ＣＰＵ６１は、全ての物体を認識したか否かを判定する（Ｓ１９）。ＣＰＵ６１は、全ての物体を認識したと判定した場合は（Ｓ１９：Ｙｅｓ）、Ｓ２０に進み、全ての物体を認識していないと判定した場合は（Ｓ１９：Ｎｏ）、Ｓ１２へ処理を戻して次の物体の認識処理を継続させる。
【００４７】
Ｓ２０では、ＣＰＵ６１が、図１１に示すような表示デバイス２３、顧客用表示デバイス２４への画面表示によって、店員や顧客に購入商品を確認させる。図１１に示す例では、商品Ａを格納しているトレイ１５３の画像を表示領域Ｇ１に表示するとともに、予め保存していた商品Ａの商品名や単価などの商品情報および個数、合計金額などの購入商品の履歴も表示領域Ｇ２に併せて表示させている。また、表示領域Ｇ１に表示されている商品Ａの商品画像には商品名も付記されている。この表示領域Ｇ２における購入商品の履歴の表示は、ＲＡＭ６３にスタックしている購入商品にかかる情報をもとにＰＯＳ端末１１のＣＰＵ６１が行う。このような画面表示によって、希望している商品と間違いないかを顧客に対して確認することができる。
【００４８】
次いで、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（Ｓ２１）。業務を終了する場合（Ｓ２１：Ｙｅｓ）、ＣＰＵ６１は、表示デバイス２３、顧客用表示デバイス２４への画面表示を終了して、処理を終了する。
【００４９】
このように、実施形態のチェックアウトシステム１では、商品読取装置１０１から出力された画像の特徴量を読み取ることによって特定の物体を認識し、認識された物体が、売上登録に用いる情報を記憶するＰＬＵファイルＦ１に含まれる商品Ａ以外の物体である場合に、売上登録にかかる商品Ａ以外の物体を認識したことを報知部６１４が報知する。したがって、チェックアウトシステム１では、例えばチェックアウトシステム１に持ち込まれたトレイ１５３に売上登録にかかる商品Ａ以外の物品が載せられていることを、顧客や店員が認識できる。
【００５０】
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５１】
さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５２】
本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各機能構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各機能構成が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。
【００５３】
本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各機能構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各機能構成が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。
【００５４】
なお、本実施形態においては、ＰＯＳ端末１１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、報知部６１４を備えるようにしたが、これに限るものではなく、商品読取装置１０１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、報知部６１４を備えるようにしても良い。この場合、商品読取装置１０１が店舗システムである。
【００５５】
また、本実施形態においては、商品読取装置１０１側に画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしたが、これに限るものではなく、ＰＯＳ端末１１側に画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしても良い。この場合、ＰＯＳ端末１１が店舗システムである。
【符号の説明】
【００５６】
１…チェックアウトシステム、１１…ＰＯＳ端末、２３…表示デバイス、２４…顧客用表示デバイス、２５…通信インターフェース、２６…タッチパネル、５１…チェックアウト台、６０…マイクロコンピュータ、６１…ＣＰＵ、６２…ＲＯＭ、６３…ＲＡＭ、６４…ＨＤＤ、６５、１７５、１７６…接続インターフェース、６６…プリンタ、１０１…商品読取装置、１０３…読取窓、１０４…表示・操作部、１０５…タッチパネル、１０６…表示デバイス、１０７…キーボード、１０８…カード読取溝、１０９…顧客用表示デバイス、１１０…商品読取部、１５１…陳列ケース、１５２…荷受面、１５３…トレイ、１６０…マイクロコンピュータ、１６１…ＣＰＵ、１６２…ＲＯＭ、１６３…ＲＡＭ、１６４…撮像部、１６５…音声出力部、６１１…物体認識部、６１２…商品登録部、６１３…類似度判定部、６１４…報知部、１６１１…画像取込部、１６１２…商品検出部、１６１３…画像出力部、Ａ…商品、Ａ１０…報知対象物、Ａ２０…物体、Ｆ１…ＰＬＵファイル、Ｆ２…報知対象物ファイル、Ｇ…表示画面、Ｇ１、Ｇ２…表示領域、Ｇ１０、Ｇ２０…報知画像、ＰＲ…プログラム、Ｒ…読取領域、ＳＣ…ストアコンピュータ
【先行技術文献】
【特許文献】
【００５７】
【特許文献１】特開平１０−１０５７７４号公報
【特許請求の範囲】
【請求項１】
撮像手段が撮像した画像を出力する画像出力手段と、
前記出力された画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
前記認識された物体が、売上登録に用いる情報を記憶する商品ファイルに含まれる商品以外の物体である場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する報知手段と、
を備える店舗システム。
【請求項２】
前記報知手段は、前記認識された物体が、前記売上登録にかかる商品以外の物体としての情報を記憶する報知対象物ファイルに含まれる場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する、
請求項１に記載の店舗システム。
【請求項３】
前記出力された画像の中で前記認識された物体に対応した画像と、前記商品ファイルに含まれる商品の画像との類似度を算出する類似度算出手段を更に備え、
前記報知手段は、前記算出された類似度が所定の値を下回る場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する、
請求項１又は２に記載の店舗システム。
【請求項４】
コンピュータを、
撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
前記認識された物体が、売上登録に用いる情報を記憶する商品ファイルに含まれる商品以外の物体である場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する報知手段と、
として機能させるプログラム。
【請求項５】
前記報知手段は、前記認識された物体が、前記売上登録にかかる商品以外の物体としての情報を記憶する報知対象物ファイルに含まれる場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する、
請求項４に記載のプログラム。
【請求項６】
前記出力された画像の中で前記認識された物体に対応した画像と、前記商品ファイルに含まれる商品の画像との類似度を算出する類似度算出手段として機能させ、
前記報知手段は、前記算出された類似度が所定の値を下回る場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する、
請求項４又は５に記載のプログラム。
【請求項１】
撮像手段が撮像した画像を出力する画像出力手段と、
前記出力された画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
前記認識された物体が、売上登録に用いる情報を記憶する商品ファイルに含まれる商品以外の物体である場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する報知手段と、
を備える店舗システム。
【請求項２】
前記報知手段は、前記認識された物体が、前記売上登録にかかる商品以外の物体としての情報を記憶する報知対象物ファイルに含まれる場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する、
請求項１に記載の店舗システム。
【請求項３】
前記出力された画像の中で前記認識された物体に対応した画像と、前記商品ファイルに含まれる商品の画像との類似度を算出する類似度算出手段を更に備え、
前記報知手段は、前記算出された類似度が所定の値を下回る場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する、
請求項１又は２に記載の店舗システム。
【請求項４】
コンピュータを、
撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
前記認識された物体が、売上登録に用いる情報を記憶する商品ファイルに含まれる商品以外の物体である場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する報知手段と、
として機能させるプログラム。
【請求項５】
前記報知手段は、前記認識された物体が、前記売上登録にかかる商品以外の物体としての情報を記憶する報知対象物ファイルに含まれる場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する、
請求項４に記載のプログラム。
【請求項６】
前記出力された画像の中で前記認識された物体に対応した画像と、前記商品ファイルに含まれる商品の画像との類似度を算出する類似度算出手段として機能させ、
前記報知手段は、前記算出された類似度が所定の値を下回る場合に、前記売上登録にかかる商品以外の物体を認識したことを報知する、
請求項４又は５に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−５０９２４（Ｐ２０１３−５０９２４Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９７１２（Ｐ２０１１−１８９７１２）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]