店舗システムおよびプログラム
【課題】基準を外れたものを不良品として判断する。
【解決手段】撮像手段が撮像した画像を出力する画像出力手段１６１３と、出力された画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段６１１と、認識された物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段６１３と、算出した類似度が予め定められた閾値を超えていないと判定した場合、物体が正規品と認識されないものであることを報知する不良品報知手段６１４と、を備える。
【解決手段】撮像手段が撮像した画像を出力する画像出力手段１６１３と、出力された画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段６１１と、認識された物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段６１３と、算出した類似度が予め定められた閾値を超えていないと判定した場合、物体が正規品と認識されないものであることを報知する不良品報知手段６１４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、店舗システムおよびプログラムに関する。
【背景技術】
【０００２】
従来、スーパーマーケット等では、商品に添付されたバーコードや二次元コード（例えばＱＲコード（登録商標））等のコードシンボルをＣＣＤイメージセンサ等のデジタルカメラによって撮像し、その撮像した画像から検出したコードシンボルを検出して復号することで商品コードを読み取る商品コード読取装置が用いられている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来技術においては、バーコードや二次元コード等のコードシンボルを商品に対して添付しなければならないため、生鮮食料品やパンなどについては、別途パッケージ等を用意してコードシンボルを添付するか、コードシンボル表を用意するようにしている。
【課題を解決するための手段】
【０００４】
実施形態の店舗システムは、像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、を備える。
【０００５】
また、実施形態の店舗システムは、撮像部と、前記撮像部が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、を備える。
【０００６】
また、実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体について類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、として機能させる。
【図面の簡単な説明】
【０００７】
【図１】図１は、本実施形態にかかるチェックアウトシステムを示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図４】図４は、ＣＰＵの機能構成を示すブロック図である。
【図５】図５は、チェックアウトシステムの処理動作の一例を示すフローチャートである。
【図６】図６は、読取窓における読取領域の例を示す概念図である。
【図７】図７は、処理の具体例を模式的に示す説明図である。
【図８】図８は、正規品と認識されなかった商品の表示例を示す正面図である。
【発明を実施するための形態】
【０００８】
以下では、チェックアウトシステムを例に本実施形態にかかる店舗システムおよびプログラムについて、図面を参照して説明する。店舗システムは、一取引にかかる商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）などである。本実施形態は、スーパーマーケットやパン・ドーナツ店等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００９】
図１は、チェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（ユーザ）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【００１０】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３（第１の買物カゴ１５３ａ）は、いわゆるカゴ形状のものに限るものではなく、パン店等の店舗において用いられるトレーなどであっても良い。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限るものではなく、ドーナツ店等の店舗において用いられる紙箱などであっても良い。
【００１１】
カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１２】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１３】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ａの全部または一部を検出する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａの全部または一部が含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する。図３参照）を参照して、商品読取部１１０の撮像部１６４により撮像された商品Ａの全部または一部の画像から特定の物体である商品Ａを認識することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１４】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１５】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１７】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００１８】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、「類似度：0.XX」という閾値と、を格納するファイルである。詳細は後述するが、この「類似度：0.XX」という閾値は、商品Ａが果物や生鮮品などであり、鮮度が落ち変色した場合などは、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。
【００１９】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２０】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。
【００２１】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２２】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。
【００２３】
音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００２４】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像（商品Ａの全部または一部を含む画像）は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。
【００２５】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図４を参照して説明する。図４は、ＣＰＵ１６１、ＣＰＵ６１の機能構成を示すブロック図である。図４に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部１６１１、商品検出部１６１２、画像出力手段である画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、物体認識手段である物体認識部６１１、商品登録部６１２、類似度判定手段である類似度判定部６１３、不良品報知手段である不良品報知部６１４としての機能を備える。
【００２６】
撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００２７】
商品検出部１６１２は、撮像画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ａの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００２８】
画像出力部１６１３は、撮像画像取込部１６１１が取り込んだフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は撮像画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品Ａの全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Ａの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００２９】
物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１の撮像部１６４により撮像された商品Ａの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Ａを認識する。なお、物体認識部６１１は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６１１の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品を特定できる。
【００３０】
類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて類似度を算出し、類似度がＰＬＵファイルＦ１において予め定められた閾値を超えているか否かを判定する。
【００３１】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３２】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３３】
商品登録部６１２は、物体認識部６１１により認識された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品として特定された商品の商品ＩＤ、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。
【００３４】
次に、チェックアウトシステム１の動作について詳細に説明する。図５は、本実施形態にかかるチェックアウトシステム１の動作の一例を示すフローチャートである。
【００３５】
先ず、商品読取装置１０１側の動作について説明する。図５に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１６１２は、撮像画像取込部１６１１が取り込んだフレーム画像から商品Ａの全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１６１３は、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力する（ステップＳ４）。
【００３６】
図６は、読取窓１０３における読取領域Ｒの例を示す概念図である。具体的には、図６は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図６に示すように、前述した商品Ａの移動過程において読取領域Ｒに商品Ａが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からステップＳ３で商品Ａの全部または一部が検出される。この商品Ａの全部または一部の検出により、ステップＳ４では読取領域Ｒを撮像したフレーム画像がＰＯＳ端末１１へ出力されることとなる。
【００３７】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（ステップＳ５）。業務を継続する場合（ステップＳ５：Ｎｏ）、ＣＰＵ１６１は、ステップＳ２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ５：Ｙｅｓ）、撮像画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ６）、処理を終了する。
【００３８】
次に、ＰＯＳ端末１１側の動作について説明する。図５に示すように、キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から出力された、商品Ａの全部または一部を検出したフレーム画像を受信する（ステップＳ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１から出力された商品Ａの全部または一部の画像から特定の物体として商品Ａを認識する（ステップＳ１２）。
【００３９】
次いで、類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、類似度を算出する（ステップＳ１３）。類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：1.0」とした場合に、商品読取装置１０１から出力された商品Ａの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしても良い。
【００４０】
次いで、類似度判定部６１３は、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えているか否かを判定する（ステップＳ１４）。
【００４１】
類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていると判定した場合（ステップＳ１４：Ｙｅｓ）、ステップＳ１５において、商品登録部６１２が、特定の物体である商品Ａの認識結果や、その認識結果の中から選択されて一つに特定された商品Ａの売上を登録する。
【００４２】
次いで、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（ステップＳ１６）。業務を継続する場合（ステップＳ１６：Ｎｏ）、ＣＰＵ６１は、ステップＳ１１へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ１６：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００４３】
一方、類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていないと判定した場合（ステップＳ１４：Ｎｏ）、不良品報知部６１４は、正規品と認識されなかった商品であることを店員に報知し（ステップＳ１７）、販売中止、あるいは値引き販売するなどの措置を店舗側に促す。具体的には、不良品報知部６１４は、表示デバイス２３や接続インターフェース６５、１７６を介した表示デバイス１０６への画面表示や、接続インターフェース６５、１７５を介した音声出力部１６５による警告音の出力などでエラーを店員に報知する。この報知を行うことで、チェックアウトシステム１は、別の商品Ａを読み取らせるなどの、適切な操作を店員に促すことができる。
【００４４】
ＣＰＵ６１は、キーボード２２の操作指示などによる値引き販売の指示があったと判定した場合には（ステップＳ１８：Ｙｅｓ）、ステップＳ１５において、商品登録部６１２が、特定の物体である商品Ａの認識結果や、その認識結果の中から選択されて一つに特定された商品Ａの売上を値引きして登録する。また、キーボード２２の操作指示などによる販売中止の指示があったと判定した場合には（ステップＳ１８：Ｎｏ）、ステップＳ１１へ処理を戻す。
【００４５】
図７に示すように、物体認識部６１１が認識した商品Ａが「バナナ」であった場合、閾値が「類似度：0.50」としてＰＬＵファイルＦ１に記憶されていると、（ａ）で示す商品については類似度が0.717であることから、算出した類似度が予め定められた閾値を超えていると判定される。一方、（ｂ）で示す商品については類似度が0.252であることから、算出した類似度が予め定められた閾値を超えていないと判定される。したがって、（ａ）で示す商品については、「バナナ」として通常通りに売上登録される。一方、（ｂ）で示す商品については、「バナナ」として一応認識されるものの、古くなり変色したもの、傷んだもの、変形したもの、すなわち色合いや表面の凹凸状況等が正常でないものとして、不良品として売上登録されない。同様に、惣菜なども、正規の焼き具合や揚げ具合による商品画像をＰＬＵファイルＦ１に記憶しておき、焼き不足／過ぎや揚げ不足／過ぎなどが閾値を外れた場合、不良品であると判断することができる。
【００４６】
ところで、物体認識部６１１の認識結果において、物体認識部６１１が複数（３本）の商品Ａ１〜Ａ３である「バナナ」を認識した場合、商品Ａ１，Ａ２については類似度が0.717であることから、算出した類似度が予め定められた閾値（0.50）を超えていると判定され、商品Ａ３については類似度が0.252であることから、算出した類似度が予め定められた閾値（0.50）を超えていないと判定されることがある。このような場合には、図８に示すように、不良品報知部６１４は、閾値（0.50）を超えておらず正規品と認識されなかった商品Ａ３を線Ｚで囲むなどして表示デバイス１０６へ表示することで、認識された複数の商品Ａ１〜Ａ３のうち閾値を超えていない一部の商品Ａ３について閾値を超えている他の商品Ａ１，Ａ２と区別し、商品Ａ３が正規品と認識されなかったことを店員に報知する。また、不良品報知部６１４は、図８に示すように、正規品と認識されなかった商品についての処理を選択するためのキーＸ，Ｙを表示デバイス１０６へ表示する。図８に示す例では、キーＸは、正規品と認識されなかった商品について値引き販売の指示をするためのキーである。また、キーＹは、正規品と認識されなかった商品について販売中止の指示をするためのキーである。
【００４７】
そして、ＣＰＵ６１は、表示デバイス１０６のタッチパネル１０５を介したキーＸに対する操作指示によって商品Ａ３についての値引き販売の指示があったと判定した場合には（ステップＳ１８：Ｙｅｓ）、ステップＳ１５において、商品登録部６１２が、商品Ａ３の売上を値引きして登録する。また、表示デバイス１０６のタッチパネル１０５を介したキーＹに対する操作指示によって商品Ａ３の販売中止の指示があったと判定した場合には（ステップＳ１８：Ｎｏ）、ステップＳ１１へ処理を戻す。
【００４８】
なお、正規品と認識されなかった商品について値引き販売する場合に用いられる値引率または値引額は、段階的に設定されるものであっても良い。値引率または値引額は、例えばＰＬＵファイルＦ１に予め記憶した複数の閾値（類似度：0.XX）と対応付けることにより、類似度に応じて段階的に設けることが可能である。また、値引率または値引額に対応する閾値の値は、所定の範囲を持たせても良い。例えば、閾値（類似度）が０．３０〜０．５０のものは２０％引き、閾値（類似度）が０．５０〜０．６０のものは１０％引きとする。
【００４９】
このように本実施形態のチェックアウトシステム１によれば、生鮮品や惣菜などが、古くなり変色したもの、傷んだもの、変形したもの、調理不良により色合いが異なるものなどであった場合、ＰＬＵファイルＦ１に記憶されている商品画像と比較することで、基準を外れたものを不良品であると判断することができる。
【００５０】
特に、繁忙店など商品の鮮度をチェックする時間に制約がある店舗や、多数の店員を抱え惣菜の調理に個人差がある店舗などでも、正規の商品と数値的な判断で比較することが可能となる。
【００５１】
なお、本実施形態においては、認識する物体は、ＰＬＵファイルＦ１に格納されている販売商品であるとしたが、これに限るものではなく、販売促進に用いる販促品などであっても良い。
【００５２】
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５３】
さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５４】
本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４が主記憶装置上に生成されるようになっている。
【００５５】
本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各部（撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３が主記憶装置上に生成されるようになっている。
【００５６】
なお、本実施形態においては、ＰＯＳ端末１１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４を備えるようにしたが、これに限るものではなく、商品読取装置１０１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４を備えるようにしても良い。この場合、商品読取装置１０１が店舗システムである。
【００５７】
また、本実施形態においては、商品読取装置１０１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしたが、これに限るものではなく、ＰＯＳ端末１１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしても良い。この場合、ＰＯＳ端末１１が店舗システムである。
【００５８】
さらに、商品読取装置１０１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるとともに、ＰＯＳ端末１１で行ったような売上登録を商品読取装置１０１側において行うようにしてもよい。
【００５９】
なお、実施形態においては、ステップＳ１８においてキーボード２２の操作指示などによる販売中止の指示があったか否かを判定するようにしたが、これに限るものではなく、オブジェクト認識結果に応じてダイレクトに値引き処理および販売中止処理を実行するようにしても良い。例えば、正規品と認識しなかった場合、キーボード２２の操作指示などによる値引き販売の指示がなくとも、オブジェクト認識結果に応じて値引き額を確定して値引き処理を実行する（または、オブジェクト認識結果に応じて販売中止処理を実行する）。
【００６０】
１ 店舗システム
１６４ 撮像手段
６１１ 物体認識手段
６１３ 類似度判定手段
６１４ 不良品報知手段
１６１３ 画像出力手段
【先行技術文献】
【特許文献】
【００６１】
【特許文献１】特開平０６−２２３２７１号公報
【技術分野】
【０００１】
本発明の実施形態は、店舗システムおよびプログラムに関する。
【背景技術】
【０００２】
従来、スーパーマーケット等では、商品に添付されたバーコードや二次元コード（例えばＱＲコード（登録商標））等のコードシンボルをＣＣＤイメージセンサ等のデジタルカメラによって撮像し、その撮像した画像から検出したコードシンボルを検出して復号することで商品コードを読み取る商品コード読取装置が用いられている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来技術においては、バーコードや二次元コード等のコードシンボルを商品に対して添付しなければならないため、生鮮食料品やパンなどについては、別途パッケージ等を用意してコードシンボルを添付するか、コードシンボル表を用意するようにしている。
【課題を解決するための手段】
【０００４】
実施形態の店舗システムは、像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、を備える。
【０００５】
また、実施形態の店舗システムは、撮像部と、前記撮像部が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、を備える。
【０００６】
また、実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体について類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、として機能させる。
【図面の簡単な説明】
【０００７】
【図１】図１は、本実施形態にかかるチェックアウトシステムを示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図４】図４は、ＣＰＵの機能構成を示すブロック図である。
【図５】図５は、チェックアウトシステムの処理動作の一例を示すフローチャートである。
【図６】図６は、読取窓における読取領域の例を示す概念図である。
【図７】図７は、処理の具体例を模式的に示す説明図である。
【図８】図８は、正規品と認識されなかった商品の表示例を示す正面図である。
【発明を実施するための形態】
【０００８】
以下では、チェックアウトシステムを例に本実施形態にかかる店舗システムおよびプログラムについて、図面を参照して説明する。店舗システムは、一取引にかかる商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）などである。本実施形態は、スーパーマーケットやパン・ドーナツ店等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００９】
図１は、チェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（ユーザ）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【００１０】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３（第１の買物カゴ１５３ａ）は、いわゆるカゴ形状のものに限るものではなく、パン店等の店舗において用いられるトレーなどであっても良い。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限るものではなく、ドーナツ店等の店舗において用いられる紙箱などであっても良い。
【００１１】
カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１２】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１３】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ａの全部または一部を検出する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａの全部または一部が含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する。図３参照）を参照して、商品読取部１１０の撮像部１６４により撮像された商品Ａの全部または一部の画像から特定の物体である商品Ａを認識することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１４】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１５】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１７】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００１８】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、「類似度：0.XX」という閾値と、を格納するファイルである。詳細は後述するが、この「類似度：0.XX」という閾値は、商品Ａが果物や生鮮品などであり、鮮度が落ち変色した場合などは、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。
【００１９】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２０】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。
【００２１】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２２】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。
【００２３】
音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００２４】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像（商品Ａの全部または一部を含む画像）は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。
【００２５】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図４を参照して説明する。図４は、ＣＰＵ１６１、ＣＰＵ６１の機能構成を示すブロック図である。図４に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部１６１１、商品検出部１６１２、画像出力手段である画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、物体認識手段である物体認識部６１１、商品登録部６１２、類似度判定手段である類似度判定部６１３、不良品報知手段である不良品報知部６１４としての機能を備える。
【００２６】
撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００２７】
商品検出部１６１２は、撮像画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ａの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００２８】
画像出力部１６１３は、撮像画像取込部１６１１が取り込んだフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は撮像画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品Ａの全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Ａの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００２９】
物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１の撮像部１６４により撮像された商品Ａの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Ａを認識する。なお、物体認識部６１１は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６１１の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品を特定できる。
【００３０】
類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて類似度を算出し、類似度がＰＬＵファイルＦ１において予め定められた閾値を超えているか否かを判定する。
【００３１】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３２】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３３】
商品登録部６１２は、物体認識部６１１により認識された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品として特定された商品の商品ＩＤ、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。
【００３４】
次に、チェックアウトシステム１の動作について詳細に説明する。図５は、本実施形態にかかるチェックアウトシステム１の動作の一例を示すフローチャートである。
【００３５】
先ず、商品読取装置１０１側の動作について説明する。図５に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１６１２は、撮像画像取込部１６１１が取り込んだフレーム画像から商品Ａの全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１６１３は、商品検出部１６１２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力する（ステップＳ４）。
【００３６】
図６は、読取窓１０３における読取領域Ｒの例を示す概念図である。具体的には、図６は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図６に示すように、前述した商品Ａの移動過程において読取領域Ｒに商品Ａが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からステップＳ３で商品Ａの全部または一部が検出される。この商品Ａの全部または一部の検出により、ステップＳ４では読取領域Ｒを撮像したフレーム画像がＰＯＳ端末１１へ出力されることとなる。
【００３７】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（ステップＳ５）。業務を継続する場合（ステップＳ５：Ｎｏ）、ＣＰＵ１６１は、ステップＳ２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ５：Ｙｅｓ）、撮像画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ６）、処理を終了する。
【００３８】
次に、ＰＯＳ端末１１側の動作について説明する。図５に示すように、キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から出力された、商品Ａの全部または一部を検出したフレーム画像を受信する（ステップＳ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１から出力された商品Ａの全部または一部の画像から特定の物体として商品Ａを認識する（ステップＳ１２）。
【００３９】
次いで、類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、類似度を算出する（ステップＳ１３）。類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：1.0」とした場合に、商品読取装置１０１から出力された商品Ａの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしても良い。
【００４０】
次いで、類似度判定部６１３は、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えているか否かを判定する（ステップＳ１４）。
【００４１】
類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていると判定した場合（ステップＳ１４：Ｙｅｓ）、ステップＳ１５において、商品登録部６１２が、特定の物体である商品Ａの認識結果や、その認識結果の中から選択されて一つに特定された商品Ａの売上を登録する。
【００４２】
次いで、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了などによる業務終了の有無を判定する（ステップＳ１６）。業務を継続する場合（ステップＳ１６：Ｎｏ）、ＣＰＵ６１は、ステップＳ１１へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ１６：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００４３】
一方、類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていないと判定した場合（ステップＳ１４：Ｎｏ）、不良品報知部６１４は、正規品と認識されなかった商品であることを店員に報知し（ステップＳ１７）、販売中止、あるいは値引き販売するなどの措置を店舗側に促す。具体的には、不良品報知部６１４は、表示デバイス２３や接続インターフェース６５、１７６を介した表示デバイス１０６への画面表示や、接続インターフェース６５、１７５を介した音声出力部１６５による警告音の出力などでエラーを店員に報知する。この報知を行うことで、チェックアウトシステム１は、別の商品Ａを読み取らせるなどの、適切な操作を店員に促すことができる。
【００４４】
ＣＰＵ６１は、キーボード２２の操作指示などによる値引き販売の指示があったと判定した場合には（ステップＳ１８：Ｙｅｓ）、ステップＳ１５において、商品登録部６１２が、特定の物体である商品Ａの認識結果や、その認識結果の中から選択されて一つに特定された商品Ａの売上を値引きして登録する。また、キーボード２２の操作指示などによる販売中止の指示があったと判定した場合には（ステップＳ１８：Ｎｏ）、ステップＳ１１へ処理を戻す。
【００４５】
図７に示すように、物体認識部６１１が認識した商品Ａが「バナナ」であった場合、閾値が「類似度：0.50」としてＰＬＵファイルＦ１に記憶されていると、（ａ）で示す商品については類似度が0.717であることから、算出した類似度が予め定められた閾値を超えていると判定される。一方、（ｂ）で示す商品については類似度が0.252であることから、算出した類似度が予め定められた閾値を超えていないと判定される。したがって、（ａ）で示す商品については、「バナナ」として通常通りに売上登録される。一方、（ｂ）で示す商品については、「バナナ」として一応認識されるものの、古くなり変色したもの、傷んだもの、変形したもの、すなわち色合いや表面の凹凸状況等が正常でないものとして、不良品として売上登録されない。同様に、惣菜なども、正規の焼き具合や揚げ具合による商品画像をＰＬＵファイルＦ１に記憶しておき、焼き不足／過ぎや揚げ不足／過ぎなどが閾値を外れた場合、不良品であると判断することができる。
【００４６】
ところで、物体認識部６１１の認識結果において、物体認識部６１１が複数（３本）の商品Ａ１〜Ａ３である「バナナ」を認識した場合、商品Ａ１，Ａ２については類似度が0.717であることから、算出した類似度が予め定められた閾値（0.50）を超えていると判定され、商品Ａ３については類似度が0.252であることから、算出した類似度が予め定められた閾値（0.50）を超えていないと判定されることがある。このような場合には、図８に示すように、不良品報知部６１４は、閾値（0.50）を超えておらず正規品と認識されなかった商品Ａ３を線Ｚで囲むなどして表示デバイス１０６へ表示することで、認識された複数の商品Ａ１〜Ａ３のうち閾値を超えていない一部の商品Ａ３について閾値を超えている他の商品Ａ１，Ａ２と区別し、商品Ａ３が正規品と認識されなかったことを店員に報知する。また、不良品報知部６１４は、図８に示すように、正規品と認識されなかった商品についての処理を選択するためのキーＸ，Ｙを表示デバイス１０６へ表示する。図８に示す例では、キーＸは、正規品と認識されなかった商品について値引き販売の指示をするためのキーである。また、キーＹは、正規品と認識されなかった商品について販売中止の指示をするためのキーである。
【００４７】
そして、ＣＰＵ６１は、表示デバイス１０６のタッチパネル１０５を介したキーＸに対する操作指示によって商品Ａ３についての値引き販売の指示があったと判定した場合には（ステップＳ１８：Ｙｅｓ）、ステップＳ１５において、商品登録部６１２が、商品Ａ３の売上を値引きして登録する。また、表示デバイス１０６のタッチパネル１０５を介したキーＹに対する操作指示によって商品Ａ３の販売中止の指示があったと判定した場合には（ステップＳ１８：Ｎｏ）、ステップＳ１１へ処理を戻す。
【００４８】
なお、正規品と認識されなかった商品について値引き販売する場合に用いられる値引率または値引額は、段階的に設定されるものであっても良い。値引率または値引額は、例えばＰＬＵファイルＦ１に予め記憶した複数の閾値（類似度：0.XX）と対応付けることにより、類似度に応じて段階的に設けることが可能である。また、値引率または値引額に対応する閾値の値は、所定の範囲を持たせても良い。例えば、閾値（類似度）が０．３０〜０．５０のものは２０％引き、閾値（類似度）が０．５０〜０．６０のものは１０％引きとする。
【００４９】
このように本実施形態のチェックアウトシステム１によれば、生鮮品や惣菜などが、古くなり変色したもの、傷んだもの、変形したもの、調理不良により色合いが異なるものなどであった場合、ＰＬＵファイルＦ１に記憶されている商品画像と比較することで、基準を外れたものを不良品であると判断することができる。
【００５０】
特に、繁忙店など商品の鮮度をチェックする時間に制約がある店舗や、多数の店員を抱え惣菜の調理に個人差がある店舗などでも、正規の商品と数値的な判断で比較することが可能となる。
【００５１】
なお、本実施形態においては、認識する物体は、ＰＬＵファイルＦ１に格納されている販売商品であるとしたが、これに限るものではなく、販売促進に用いる販促品などであっても良い。
【００５２】
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５３】
さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５４】
本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４が主記憶装置上に生成されるようになっている。
【００５５】
本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各部（撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３が主記憶装置上に生成されるようになっている。
【００５６】
なお、本実施形態においては、ＰＯＳ端末１１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４を備えるようにしたが、これに限るものではなく、商品読取装置１０１側に物体認識部６１１、商品登録部６１２、類似度判定部６１３、不良品報知部６１４を備えるようにしても良い。この場合、商品読取装置１０１が店舗システムである。
【００５７】
また、本実施形態においては、商品読取装置１０１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしたが、これに限るものではなく、ＰＯＳ端末１１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるようにしても良い。この場合、ＰＯＳ端末１１が店舗システムである。
【００５８】
さらに、商品読取装置１０１側に撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３を備えるとともに、ＰＯＳ端末１１で行ったような売上登録を商品読取装置１０１側において行うようにしてもよい。
【００５９】
なお、実施形態においては、ステップＳ１８においてキーボード２２の操作指示などによる販売中止の指示があったか否かを判定するようにしたが、これに限るものではなく、オブジェクト認識結果に応じてダイレクトに値引き処理および販売中止処理を実行するようにしても良い。例えば、正規品と認識しなかった場合、キーボード２２の操作指示などによる値引き販売の指示がなくとも、オブジェクト認識結果に応じて値引き額を確定して値引き処理を実行する（または、オブジェクト認識結果に応じて販売中止処理を実行する）。
【００６０】
１ 店舗システム
１６４ 撮像手段
６１１ 物体認識手段
６１３ 類似度判定手段
６１４ 不良品報知手段
１６１３ 画像出力手段
【先行技術文献】
【特許文献】
【００６１】
【特許文献１】特開平０６−２２３２７１号公報
【特許請求の範囲】
【請求項１】
撮像手段が撮像した画像を出力する画像出力手段と、
出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
を備えることを特徴とする店舗システム。
【請求項２】
前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
ことを特徴とする請求項１記載の店舗システム。
【請求項３】
前記類似度判定手段は、前記物体毎に各々定められている前記閾値に基づき、前記物体の前記類似度を判定する、
ことを特徴とする請求項１記載の店舗システム。
【請求項４】
前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された場合に、正規品と認識されなかった前記物体の売上を値引きして登録する商品登録手段を更に備える、
ことを特徴とする請求項１記載の店舗システム。
【請求項５】
前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された後、値引き販売の指示があった場合に、正規品と認識されなかった前記物体の売上を値引きして登録する商品登録手段を更に備える、
ことを特徴とする請求項１記載の店舗システム。
【請求項６】
前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された場合に、正規品と認識されなかった前記物体の売上を中止する商品登録手段を更に備える、
ことを特徴とする請求項１記載の店舗システム。
【請求項７】
前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された後、販売中止の指示があった場合に、正規品と認識されなかった前記物体の売上を中止する商品登録手段を更に備える、
ことを特徴とする請求項１記載の店舗システム。
【請求項８】
前記不良品報知手段は、前記物体認識手段において認識された複数の前記物体のうちの一部の前記物体が前記類似度判定手段により前記類似度が前記閾値を超えていないと判定された場合、前記閾値を超えていない一部の前記物体について前記閾値を超えている他の前記物体と区別して報知する、
ことを特徴とする請求項１記載の店舗システム。
【請求項９】
前記商品登録手段は、正規品と認識されなかった前記物体の売上を値引きする際に用いる値引率または値引額を、複数の前記閾値と対応付けることによって段階的に設ける、
ことを特徴とする請求項４または５記載の店舗システム。
【請求項１０】
撮像部と、
前記撮像部が撮像した画像を出力する画像出力手段と、
出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
を備えることを特徴とする店舗システム。
【請求項１１】
コンピュータを、
撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体について類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
として機能させることを特徴とするプログラム。
【請求項１２】
前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
ことを特徴とする請求項１１記載のプログラム。
【請求項１３】
前記類似度判定手段は、前記物体毎に各々定められている前記閾値に基づき、前記物体の前記類似度を判定する、
ことを特徴とする請求項１１または１２記載のプログラム。
【請求項１】
撮像手段が撮像した画像を出力する画像出力手段と、
出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
を備えることを特徴とする店舗システム。
【請求項２】
前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
ことを特徴とする請求項１記載の店舗システム。
【請求項３】
前記類似度判定手段は、前記物体毎に各々定められている前記閾値に基づき、前記物体の前記類似度を判定する、
ことを特徴とする請求項１記載の店舗システム。
【請求項４】
前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された場合に、正規品と認識されなかった前記物体の売上を値引きして登録する商品登録手段を更に備える、
ことを特徴とする請求項１記載の店舗システム。
【請求項５】
前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された後、値引き販売の指示があった場合に、正規品と認識されなかった前記物体の売上を値引きして登録する商品登録手段を更に備える、
ことを特徴とする請求項１記載の店舗システム。
【請求項６】
前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された場合に、正規品と認識されなかった前記物体の売上を中止する商品登録手段を更に備える、
ことを特徴とする請求項１記載の店舗システム。
【請求項７】
前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された後、販売中止の指示があった場合に、正規品と認識されなかった前記物体の売上を中止する商品登録手段を更に備える、
ことを特徴とする請求項１記載の店舗システム。
【請求項８】
前記不良品報知手段は、前記物体認識手段において認識された複数の前記物体のうちの一部の前記物体が前記類似度判定手段により前記類似度が前記閾値を超えていないと判定された場合、前記閾値を超えていない一部の前記物体について前記閾値を超えている他の前記物体と区別して報知する、
ことを特徴とする請求項１記載の店舗システム。
【請求項９】
前記商品登録手段は、正規品と認識されなかった前記物体の売上を値引きする際に用いる値引率または値引額を、複数の前記閾値と対応付けることによって段階的に設ける、
ことを特徴とする請求項４または５記載の店舗システム。
【請求項１０】
撮像部と、
前記撮像部が撮像した画像を出力する画像出力手段と、
出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
を備えることを特徴とする店舗システム。
【請求項１１】
コンピュータを、
撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体について類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
として機能させることを特徴とするプログラム。
【請求項１２】
前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
ことを特徴とする請求項１１記載のプログラム。
【請求項１３】
前記類似度判定手段は、前記物体毎に各々定められている前記閾値に基づき、前記物体の前記類似度を判定する、
ことを特徴とする請求項１１または１２記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−６９０９４（Ｐ２０１２−６９０９４Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１１−１５３２４４（Ｐ２０１１−１５３２４４）
【出願日】平成２３年７月１１日（２０１１．７．１１）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２３年７月１１日（２０１１．７．１１）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]