店舗システム、売上登録装置及びプログラム
【課題】商品登録時の店員の手間を軽減することを可能とする。
【解決手段】商品読取装置１０１は、撮像した画像を取り込み（Ｓ２）、取り込まれた画像をＰＯＳ端末１１へ出力する（Ｓ４）。ＰＯＳ端末１１は、商品の各々について、商品の売上登録にかかる情報と、その商品の画像とが関連付けられたＰＬＵファイルを参照して、出力された画像の少なくとも一部の領域と類似する商品の画像を検出し（Ｓ１２）、検出された商品の画像と関連する売上登録にかかる情報をもとに、商品の売上を登録する（Ｓ１７）。
【解決手段】商品読取装置１０１は、撮像した画像を取り込み（Ｓ２）、取り込まれた画像をＰＯＳ端末１１へ出力する（Ｓ４）。ＰＯＳ端末１１は、商品の各々について、商品の売上登録にかかる情報と、その商品の画像とが関連付けられたＰＬＵファイルを参照して、出力された画像の少なくとも一部の領域と類似する商品の画像を検出し（Ｓ１２）、検出された商品の画像と関連する売上登録にかかる情報をもとに、商品の売上を登録する（Ｓ１７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、店舗システム、売上登録装置及びプログラムに関する。
【背景技術】
【０００２】
従来、スーパーマーケット等の店舗では、商品に添付されたバーコードや二次元コード（例えばＱＲコード（登録商標））等のコードシンボルをＣＣＤイメージセンサ等のデジタルカメラによって撮像し、その撮像した画像から検出したコードシンボルを検出して復号することで商品コードを読み取る商品コード読取装置が用いられている。店員は、顧客がカウンタ台に持ち込んだ買物カゴの中の収められている商品を取り出して商品コード読取装置のデジタルカメラにかざすことで、顧客が購入する商品を登録する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来の商品登録では、商品に添付されたコードシンボルを撮像するため、店員が商品を手にした際にコードシンボルが添付されている場所を確認し、そのコードシンボルをデジタルカメラに向ける必要があった。特に、コードシンボルが添付されている場所は商品ごとに異なることから、店員がコードシンボルが添付されている場所を確認するのに手間取ることがあった。
【課題を解決するための手段】
【０００４】
上述した課題を解決するために、本発明の実施形態は、画像取込手段、画像出力手段を備える読取装置と、類似画像検出手段、売上登録手段を備える売上登録装置と、を有することを特徴とする店舗システムである。画像取込手段は、撮像手段が撮像した画像を取り込む。画像出力手段は、取り込まれた画像を出力する。類似画像検出手段は、商品の各々について、商品の売上登録にかかる情報と、その商品の画像とが関連付けられた商品管理情報を参照して、出力された画像の少なくとも一部の領域と類似する商品の画像を検出する。売上登録手段は、検出された商品の画像と関連する売上登録にかかる情報をもとに、商品の売上を登録する。
【０００５】
また、本発明の実施形態は、読取手段と、類似画像検出手段と、売上登録手段と、を備えることを特徴とする売上登録装置である。読取手段は、売上を登録する商品を撮像した画像を読み取る。類似画像検出手段は、商品の各々について、商品の売上登録にかかる情報と、その商品の画像とが関連付けられた商品管理情報を参照して、撮像した画像の少なくとも一部の領域と類似する商品の画像を検出する。売上登録手段は、検出された商品の画像と関連する売上登録にかかる情報をもとに、商品の売上を登録する。
【０００６】
また、本発明の実施形態は、売上を登録する商品を撮像した画像を読み取る読取手段を有する売上登録装置のコンピュータを、類似画像検出手段と、売上登録手段と、して機能させるためのプログラムである。類似画像検出手段は、商品の各々について、商品の売上登録にかかる情報と、その商品の画像とが関連付けられた商品管理情報を参照して、撮像した画像の少なくとも一部の領域と類似する商品の画像を検出する。売上登録手段は、検出された商品の画像と関連する売上登録にかかる情報をもとに、商品の売上を登録する。
【図面の簡単な説明】
【０００７】
【図１】図１は、チェックアウトシステムを示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図４】図４は、ＣＰＵの機能構成を示すブロック図である。
【図５】図５は、本実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【図６】図６は、読取窓における読取領域の例を示す概念図である。
【図７】図７は、ＰＬＵファイルに登録されている登録データの一例を示す概念図である。
【図８】図８は、表示デバイスの表示例を示す概念図である。
【発明を実施するための形態】
【０００８】
以下では、チェックアウトシステムを例に本実施形態にかかる店舗システム、売上登録装置及びプログラムを図面を参照して説明する。チェックアウトシステムは、一取引にかかる商品の登録、精算を行う売上登録装置としてのＰＯＳ端末と、商品に添付された商品コードなどを読み取るコード読取装置とを有する構成であり、店舗システムの一例である。本実施形態は、飲食店やスーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００９】
図１は、チェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【００１０】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。
【００１１】
カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に向けて設けられる表示装置であり、顧客に対して情報を表示するための顧客用表示デバイス１０９が設置されている。顧客用表示デバイス１０９の表示面には、顧客用タッチパネル１０９ａが積層されている。
【００１２】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａは商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａが含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する）を参照して、出力された画像の少なくとも一部の領域と類似する商品Ａの画像を検出する。次いで、ＰＯＳ端末１１では、検出された商品Ａの画像と関連する売上登録にかかる情報をもとに、商品Ａの売上を登録する。
【００１３】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１４】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１５】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。キーボード２２は、テンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆによるオペレータの操作入力をＣＰＵ６１へ出力する。キーボード２２は、オペレータからの操作を受け付ける操作手段である。
【００１６】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて予め格納されているＰＬＵファイルＦ１である。
【００１７】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａにユニークに割り当てられた商品ＩＤごとに、その商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像とを格納する。商品読取装置１０１により売上登録を行う商品Ａが読み取られた場合、ＰＯＳ端末１１は、ＰＬＵファイルＦ１を参照して類似する商品画像を検出することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１８】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００１９】
ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。したがって、接続インターフェース６５は、商品読取装置１０１に接続している。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容（精算金額や付与されたポイント）等をレシートに印字する。
【００２０】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２１】
撮像部１６４は、ＣＣＤイメージセンサやＣＯＭＳイメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００２２】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。
【００２３】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図４を参照して説明する。図４は、ＣＰＵ１６１、ＣＰＵ６１の機能構成を示すブロック図である。図４に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、類似画像検出部６１１、商品登録部６１２としての機能を備える。
【００２４】
撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００２５】
商品検出部１６１２は、撮像画像取込部１６１１により取り込まれたフレーム画像に含まれる商品をパターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００２６】
画像出力部１６１３は、撮像画像取込部１６１１が取り込んだフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は撮像画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、商品検出部１６１２により商品が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、商品検出部１６１２により商品が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照する、類似画像の検出がＰＯＳ端末１１で行われることを防止できる。類似画像の検出などの画像処理は処理時間を要することから、類似画像の検出の見込みのない、商品が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００２７】
類似画像検出部６１１は、ＰＬＵファイルＦ１を参照して、商品読取装置１０１から出力された画像の少なくとも一部の領域と類似する商品画像を、パターンマッチング技術などを用いて検出する。このパターンマッチング技術は、二つの画像を比較して行う、公知の類似画像検索技術を用いるものとする。ＰＯＳ端末１１では、類似画像検出部６１１の検出結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品を特定できる。
【００２８】
商品登録部６１２は、類似画像検出部６１１により検出された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品として特定された商品の商品ＩＤ、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。
【００２９】
次に、チェックアウトシステム１の動作について詳細に説明する。図５は、本実施形態にかかるチェックアウトシステム１の動作の一例を示すフローチャートである。
【００３０】
先ず、商品読取装置１０１側の動作について説明する。図５に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（Ｓ１）。次いで、撮像画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（Ｓ２）。次いで、商品検出部１６１２は、撮像画像取込部１６１１が取り込んだフレーム画像から商品の検出を行う（Ｓ３）。次いで、画像出力部１６１３は、商品検出部１６１２により商品が検出されたフレーム画像をＰＯＳ端末１１へ出力する（Ｓ４）。
【００３１】
図６は、読取窓１０３における読取領域Ｒの例を示す概念図である。具体的には、図６は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図６に示すように、前述した商品Ａの移動過程において読取領域Ｒに商品Ａが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からＳ３で商品Ａが検出される。この商品Ａの検出により、Ｓ４では読取領域Ｒを撮像したフレーム画像がＰＯＳ端末１１へ出力されることとなる。
【００３２】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（Ｓ５）。業務を継続する場合（Ｓ５：ＮＯ）、ＣＰＵ１６１は、Ｓ２へ処理を戻して処理を継続させる。業務を終了する場合（Ｓ５：ＹＥＳ）、撮像画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（Ｓ６）、処理を終了する。
【００３３】
次に、ＰＯＳ端末１１側の動作について説明する。図５に示すように、キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から出力された、商品を検出したフレーム画像を受信する（Ｓ１１）。次いで、類似画像検出部６１１は、ＰＬＵファイルＦ１を参照して、商品読取装置１０１から出力されたフレーム画像の少なくとも一部の領域と類似する商品画像を検出し（Ｓ１２）、類似すると検出された商品画像の有無を判定する（Ｓ１３）。
【００３４】
類似すると検出された商品画像がない場合（Ｓ１３：ＮＯ）、ＣＰＵ６１は、商品読取装置１０１で読み取られた商品に関する登録が行われていないなどの、読み取りエラーを店員に報知し（Ｓ１４）、Ｓ１１へ処理を戻す。具体的には、表示デバイス２３や接続インターフェース６５、１７６を介した表示デバイス１０６への画面表示や、接続インターフェース６５、１７５を介した音声出力部１６５による警告音の出力などでエラーを店員に報知する。この報知を行うことで、チェックアウトシステム１は、再度商品Ａを読み取らせるなどの、適切な操作を店員に促すことができる。
【００３５】
類似すると検出された商品画像がある場合（Ｓ１３：ＹＥＳ）、ＣＰＵ６１は、その検出された商品画像が複数あるか否かを判定する（Ｓ１５）。検出された商品画像が一つである場合（Ｓ１５：ＮＯ）、ＣＰＵ６１は、商品読取装置１０１の読み取りにより商品が特定されていることから、Ｓ１７へ処理を進める。検出された商品画像が複数である場合（Ｓ１５：ＹＥＳ）、ＣＰＵ６１は、類似する商品画像の検出からは一つの商品に特定されなかったことから、表示デバイス１０６に選択画面を表示し、タッチパネル１０５の操作を受け付けることで、一つの商品の選択を店員から受け付けて（Ｓ１６）、Ｓ１７へ処理を進める。
【００３６】
図７は、ＰＬＵファイルＦ１に登録されている登録データＤ１、登録データＤ２の一例を示す概念図である。図６に例示した商品Ａを読み取った場合は、図７の登録データＤ１、Ｄ２のように、類似する商品画像として複数の商品画像が検出されることとなる。この場合は、類似度合いを判定する際の閾値を高く設定するなどして、登録データＤ１に絞り込むことも可能である。しかしながら、類似度合いを判定する際の閾値を高くすることで、逆に類似する画像が全く検出されず、再度商品Ａを読み取らせる手間が増える場合もある。したがって、本実施形態では、類似する商品画像が複数検出された場合は、その中から店員が選択することで再度商品Ａを読み取らせる手間を省くものとする。
【００３７】
図８は、表示デバイス１０６の表示例を示す概念図である。具体的には、図８は、一つの商品の選択を店員から受け付ける際の、表示デバイス１０６の選択画面を例示する概念図である。図８に示すように、Ｓ１６では、検出された複数の商品画像にかかる商品情報がＰＬＵファイルＦ１から読み出され、選択すべき商品ごとの画像Ｇ１、Ｇ２が表示デバイス１０６に表示される。図示例では、図７における登録データＤ１の商品を選択する画像Ｇ１と、登録データＤ２の商品を選択する画像Ｇ２とが表示されている。店員は、タッチパネル１０５をタッチすることで、画像Ｇ１又は画像Ｇ２を選択する。
【００３８】
Ｓ１７において、商品登録部６１２は、類似する商品画像の検出結果や、その検索結果の中から選択されて一つに特定された商品の売上を登録する。次いで、ＣＰＵ６１は、キーボード２２の操作指示による商品登録の終了などによる業務終了の有無を判定する（Ｓ１８）。業務を継続する場合（Ｓ１８：ＮＯ）、ＣＰＵ６１は、Ｓ１１へ処理を戻して処理を継続させる。業務を終了する場合（Ｓ１８：ＹＥＳ）、ＣＰＵ６１は処理を終了する。
【００３９】
以上のように、チェックアウトシステム１において、商品読取装置１０１は、撮像した画像を取り込み、取り込まれた画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１は、商品の各々について、商品の売上登録にかかる情報と、その商品の画像とが関連付けられたＰＬＵファイルＦ１を参照して、出力された画像の少なくとも一部の領域と類似する商品の画像を検出し、検出された商品の画像と関連する売上登録にかかる情報をもとに、商品の売上を登録する。したがって、チェックアウトシステム１は、店員が商品Ａに添付されているコードシンボルの場所を確認するなどの手間を要することなく、商品登録を行うことができる。
【００４０】
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４１】
さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４２】
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、上述した各部（類似画像検出部６１１、商品登録部６１２、撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、類似画像検出部６１１、商品登録部６１２、撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３が主記憶装置上に生成されるようになっている。
【符号の説明】
【００４３】
１ チェックアウトシステム
１１ ＰＯＳ端末
２２ キーボード
６１ ＣＰＵ
６４ ＨＤＤ
１０１ 商品読取装置
１０３ 読取窓
１０４ 表示・操作部
１６１ ＣＰＵ
１６４ 撮像部
１６５ 音声出力部
１６１１ 撮像画像取込部
１６１２ 商品検出部
１６１３ 画像出力部
６１１ 類似画像検出部
６１２ 商品登録部
Ａ 商品
Ｄ１、Ｄ２ 登録データ
Ｆ１ ＰＬＵファイル
Ｇ１、Ｇ２ 画像
Ｒ 読取領域
【先行技術文献】
【特許文献】
【００４４】
【特許文献１】特開２００８−３３６４０公報
【技術分野】
【０００１】
本発明の実施形態は、店舗システム、売上登録装置及びプログラムに関する。
【背景技術】
【０００２】
従来、スーパーマーケット等の店舗では、商品に添付されたバーコードや二次元コード（例えばＱＲコード（登録商標））等のコードシンボルをＣＣＤイメージセンサ等のデジタルカメラによって撮像し、その撮像した画像から検出したコードシンボルを検出して復号することで商品コードを読み取る商品コード読取装置が用いられている。店員は、顧客がカウンタ台に持ち込んだ買物カゴの中の収められている商品を取り出して商品コード読取装置のデジタルカメラにかざすことで、顧客が購入する商品を登録する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来の商品登録では、商品に添付されたコードシンボルを撮像するため、店員が商品を手にした際にコードシンボルが添付されている場所を確認し、そのコードシンボルをデジタルカメラに向ける必要があった。特に、コードシンボルが添付されている場所は商品ごとに異なることから、店員がコードシンボルが添付されている場所を確認するのに手間取ることがあった。
【課題を解決するための手段】
【０００４】
上述した課題を解決するために、本発明の実施形態は、画像取込手段、画像出力手段を備える読取装置と、類似画像検出手段、売上登録手段を備える売上登録装置と、を有することを特徴とする店舗システムである。画像取込手段は、撮像手段が撮像した画像を取り込む。画像出力手段は、取り込まれた画像を出力する。類似画像検出手段は、商品の各々について、商品の売上登録にかかる情報と、その商品の画像とが関連付けられた商品管理情報を参照して、出力された画像の少なくとも一部の領域と類似する商品の画像を検出する。売上登録手段は、検出された商品の画像と関連する売上登録にかかる情報をもとに、商品の売上を登録する。
【０００５】
また、本発明の実施形態は、読取手段と、類似画像検出手段と、売上登録手段と、を備えることを特徴とする売上登録装置である。読取手段は、売上を登録する商品を撮像した画像を読み取る。類似画像検出手段は、商品の各々について、商品の売上登録にかかる情報と、その商品の画像とが関連付けられた商品管理情報を参照して、撮像した画像の少なくとも一部の領域と類似する商品の画像を検出する。売上登録手段は、検出された商品の画像と関連する売上登録にかかる情報をもとに、商品の売上を登録する。
【０００６】
また、本発明の実施形態は、売上を登録する商品を撮像した画像を読み取る読取手段を有する売上登録装置のコンピュータを、類似画像検出手段と、売上登録手段と、して機能させるためのプログラムである。類似画像検出手段は、商品の各々について、商品の売上登録にかかる情報と、その商品の画像とが関連付けられた商品管理情報を参照して、撮像した画像の少なくとも一部の領域と類似する商品の画像を検出する。売上登録手段は、検出された商品の画像と関連する売上登録にかかる情報をもとに、商品の売上を登録する。
【図面の簡単な説明】
【０００７】
【図１】図１は、チェックアウトシステムを示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図４】図４は、ＣＰＵの機能構成を示すブロック図である。
【図５】図５は、本実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【図６】図６は、読取窓における読取領域の例を示す概念図である。
【図７】図７は、ＰＬＵファイルに登録されている登録データの一例を示す概念図である。
【図８】図８は、表示デバイスの表示例を示す概念図である。
【発明を実施するための形態】
【０００８】
以下では、チェックアウトシステムを例に本実施形態にかかる店舗システム、売上登録装置及びプログラムを図面を参照して説明する。チェックアウトシステムは、一取引にかかる商品の登録、精算を行う売上登録装置としてのＰＯＳ端末と、商品に添付された商品コードなどを読み取るコード読取装置とを有する構成であり、店舗システムの一例である。本実施形態は、飲食店やスーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００９】
図１は、チェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【００１０】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。
【００１１】
カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に向けて設けられる表示装置であり、顧客に対して情報を表示するための顧客用表示デバイス１０９が設置されている。顧客用表示デバイス１０９の表示面には、顧客用タッチパネル１０９ａが積層されている。
【００１２】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａは商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａが含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する）を参照して、出力された画像の少なくとも一部の領域と類似する商品Ａの画像を検出する。次いで、ＰＯＳ端末１１では、検出された商品Ａの画像と関連する売上登録にかかる情報をもとに、商品Ａの売上を登録する。
【００１３】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１４】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１５】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。キーボード２２は、テンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆによるオペレータの操作入力をＣＰＵ６１へ出力する。キーボード２２は、オペレータからの操作を受け付ける操作手段である。
【００１６】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて予め格納されているＰＬＵファイルＦ１である。
【００１７】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａにユニークに割り当てられた商品ＩＤごとに、その商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像とを格納する。商品読取装置１０１により売上登録を行う商品Ａが読み取られた場合、ＰＯＳ端末１１は、ＰＬＵファイルＦ１を参照して類似する商品画像を検出することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１８】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００１９】
ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。したがって、接続インターフェース６５は、商品読取装置１０１に接続している。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容（精算金額や付与されたポイント）等をレシートに印字する。
【００２０】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２１】
撮像部１６４は、ＣＣＤイメージセンサやＣＯＭＳイメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００２２】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。
【００２３】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図４を参照して説明する。図４は、ＣＰＵ１６１、ＣＰＵ６１の機能構成を示すブロック図である。図４に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、類似画像検出部６１１、商品登録部６１２としての機能を備える。
【００２４】
撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００２５】
商品検出部１６１２は、撮像画像取込部１６１１により取り込まれたフレーム画像に含まれる商品をパターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００２６】
画像出力部１６１３は、撮像画像取込部１６１１が取り込んだフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は撮像画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、商品検出部１６１２により商品が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、商品検出部１６１２により商品が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照する、類似画像の検出がＰＯＳ端末１１で行われることを防止できる。類似画像の検出などの画像処理は処理時間を要することから、類似画像の検出の見込みのない、商品が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００２７】
類似画像検出部６１１は、ＰＬＵファイルＦ１を参照して、商品読取装置１０１から出力された画像の少なくとも一部の領域と類似する商品画像を、パターンマッチング技術などを用いて検出する。このパターンマッチング技術は、二つの画像を比較して行う、公知の類似画像検索技術を用いるものとする。ＰＯＳ端末１１では、類似画像検出部６１１の検出結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品を特定できる。
【００２８】
商品登録部６１２は、類似画像検出部６１１により検出された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品として特定された商品の商品ＩＤ、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。
【００２９】
次に、チェックアウトシステム１の動作について詳細に説明する。図５は、本実施形態にかかるチェックアウトシステム１の動作の一例を示すフローチャートである。
【００３０】
先ず、商品読取装置１０１側の動作について説明する。図５に示すように、ＰＯＳ端末１１による商品登録の開始などに応じて処理が開始されると、撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（Ｓ１）。次いで、撮像画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（Ｓ２）。次いで、商品検出部１６１２は、撮像画像取込部１６１１が取り込んだフレーム画像から商品の検出を行う（Ｓ３）。次いで、画像出力部１６１３は、商品検出部１６１２により商品が検出されたフレーム画像をＰＯＳ端末１１へ出力する（Ｓ４）。
【００３１】
図６は、読取窓１０３における読取領域Ｒの例を示す概念図である。具体的には、図６は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図６に示すように、前述した商品Ａの移動過程において読取領域Ｒに商品Ａが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からＳ３で商品Ａが検出される。この商品Ａの検出により、Ｓ４では読取領域Ｒを撮像したフレーム画像がＰＯＳ端末１１へ出力されることとなる。
【００３２】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知などによる業務終了の有無を判定する（Ｓ５）。業務を継続する場合（Ｓ５：ＮＯ）、ＣＰＵ１６１は、Ｓ２へ処理を戻して処理を継続させる。業務を終了する場合（Ｓ５：ＹＥＳ）、撮像画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（Ｓ６）、処理を終了する。
【００３３】
次に、ＰＯＳ端末１１側の動作について説明する。図５に示すように、キーボード２２の操作指示による商品登録の開始などに応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から出力された、商品を検出したフレーム画像を受信する（Ｓ１１）。次いで、類似画像検出部６１１は、ＰＬＵファイルＦ１を参照して、商品読取装置１０１から出力されたフレーム画像の少なくとも一部の領域と類似する商品画像を検出し（Ｓ１２）、類似すると検出された商品画像の有無を判定する（Ｓ１３）。
【００３４】
類似すると検出された商品画像がない場合（Ｓ１３：ＮＯ）、ＣＰＵ６１は、商品読取装置１０１で読み取られた商品に関する登録が行われていないなどの、読み取りエラーを店員に報知し（Ｓ１４）、Ｓ１１へ処理を戻す。具体的には、表示デバイス２３や接続インターフェース６５、１７６を介した表示デバイス１０６への画面表示や、接続インターフェース６５、１７５を介した音声出力部１６５による警告音の出力などでエラーを店員に報知する。この報知を行うことで、チェックアウトシステム１は、再度商品Ａを読み取らせるなどの、適切な操作を店員に促すことができる。
【００３５】
類似すると検出された商品画像がある場合（Ｓ１３：ＹＥＳ）、ＣＰＵ６１は、その検出された商品画像が複数あるか否かを判定する（Ｓ１５）。検出された商品画像が一つである場合（Ｓ１５：ＮＯ）、ＣＰＵ６１は、商品読取装置１０１の読み取りにより商品が特定されていることから、Ｓ１７へ処理を進める。検出された商品画像が複数である場合（Ｓ１５：ＹＥＳ）、ＣＰＵ６１は、類似する商品画像の検出からは一つの商品に特定されなかったことから、表示デバイス１０６に選択画面を表示し、タッチパネル１０５の操作を受け付けることで、一つの商品の選択を店員から受け付けて（Ｓ１６）、Ｓ１７へ処理を進める。
【００３６】
図７は、ＰＬＵファイルＦ１に登録されている登録データＤ１、登録データＤ２の一例を示す概念図である。図６に例示した商品Ａを読み取った場合は、図７の登録データＤ１、Ｄ２のように、類似する商品画像として複数の商品画像が検出されることとなる。この場合は、類似度合いを判定する際の閾値を高く設定するなどして、登録データＤ１に絞り込むことも可能である。しかしながら、類似度合いを判定する際の閾値を高くすることで、逆に類似する画像が全く検出されず、再度商品Ａを読み取らせる手間が増える場合もある。したがって、本実施形態では、類似する商品画像が複数検出された場合は、その中から店員が選択することで再度商品Ａを読み取らせる手間を省くものとする。
【００３７】
図８は、表示デバイス１０６の表示例を示す概念図である。具体的には、図８は、一つの商品の選択を店員から受け付ける際の、表示デバイス１０６の選択画面を例示する概念図である。図８に示すように、Ｓ１６では、検出された複数の商品画像にかかる商品情報がＰＬＵファイルＦ１から読み出され、選択すべき商品ごとの画像Ｇ１、Ｇ２が表示デバイス１０６に表示される。図示例では、図７における登録データＤ１の商品を選択する画像Ｇ１と、登録データＤ２の商品を選択する画像Ｇ２とが表示されている。店員は、タッチパネル１０５をタッチすることで、画像Ｇ１又は画像Ｇ２を選択する。
【００３８】
Ｓ１７において、商品登録部６１２は、類似する商品画像の検出結果や、その検索結果の中から選択されて一つに特定された商品の売上を登録する。次いで、ＣＰＵ６１は、キーボード２２の操作指示による商品登録の終了などによる業務終了の有無を判定する（Ｓ１８）。業務を継続する場合（Ｓ１８：ＮＯ）、ＣＰＵ６１は、Ｓ１１へ処理を戻して処理を継続させる。業務を終了する場合（Ｓ１８：ＹＥＳ）、ＣＰＵ６１は処理を終了する。
【００３９】
以上のように、チェックアウトシステム１において、商品読取装置１０１は、撮像した画像を取り込み、取り込まれた画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１は、商品の各々について、商品の売上登録にかかる情報と、その商品の画像とが関連付けられたＰＬＵファイルＦ１を参照して、出力された画像の少なくとも一部の領域と類似する商品の画像を検出し、検出された商品の画像と関連する売上登録にかかる情報をもとに、商品の売上を登録する。したがって、チェックアウトシステム１は、店員が商品Ａに添付されているコードシンボルの場所を確認するなどの手間を要することなく、商品登録を行うことができる。
【００４０】
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４１】
さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４２】
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、上述した各部（類似画像検出部６１１、商品登録部６１２、撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、類似画像検出部６１１、商品登録部６１２、撮像画像取込部１６１１、商品検出部１６１２、画像出力部１６１３が主記憶装置上に生成されるようになっている。
【符号の説明】
【００４３】
１ チェックアウトシステム
１１ ＰＯＳ端末
２２ キーボード
６１ ＣＰＵ
６４ ＨＤＤ
１０１ 商品読取装置
１０３ 読取窓
１０４ 表示・操作部
１６１ ＣＰＵ
１６４ 撮像部
１６５ 音声出力部
１６１１ 撮像画像取込部
１６１２ 商品検出部
１６１３ 画像出力部
６１１ 類似画像検出部
６１２ 商品登録部
Ａ 商品
Ｄ１、Ｄ２ 登録データ
Ｆ１ ＰＬＵファイル
Ｇ１、Ｇ２ 画像
Ｒ 読取領域
【先行技術文献】
【特許文献】
【００４４】
【特許文献１】特開２００８−３３６４０公報
【特許請求の範囲】
【請求項１】
撮像手段が撮像した画像を取り込む画像取込手段、
取り込まれた前記画像を出力する画像出力手段を備える読取装置と、
商品の各々について、商品の売上登録にかかる情報と、当該商品の画像とが関連付けられた商品管理情報を参照して、出力された前記画像の少なくとも一部の領域と類似する商品の画像を検出する類似画像検出手段と、
検出された前記商品の画像と関連する前記売上登録にかかる情報をもとに、前記商品の売上を登録する売上登録手段を備える売上登録装置と、
を有することを特徴とする店舗システム。
【請求項２】
前記読取装置は、取り込まれた前記画像に含まれる商品を検出する商品検出手段を更に備え、
前記画像出力手段は、前記商品が検出された場合に、取り込まれた前記画像を出力すること、
を特徴とする請求項１に記載の店舗システム。
【請求項３】
前記売上登録装置は、前記類似画像検出手段により検出された商品の画像が複数ある場合に、ユーザの選択指示を受け付ける選択手段を更に備え、
前記売上登録手段は、前記選択指示に応じて選択された商品の前記売上登録にかかる情報をもとに、前記商品の売上を登録すること、
を特徴とする請求項１又は２に記載の店舗システム。
【請求項４】
前記売上登録装置は、出力された前記画像の少なくとも一部の領域と類似する商品の画像が検出されない場合にエラーを報知する報知手段を更に備えること、
を特徴とする請求項１乃至３のいずれか一項に記載の店舗システム。
【請求項５】
売上を登録する商品を撮像した画像を読み取る読取手段と、
商品の各々について、商品の売上登録にかかる情報と、当該商品の画像とが関連付けられた商品管理情報を参照して、撮像した前記画像の少なくとも一部の領域と類似する商品の画像を検出する類似画像検出手段と、
検出された前記商品の画像と関連する前記売上登録にかかる情報をもとに、前記商品の売上を登録する売上登録手段と、
を備えることを特徴とする売上登録装置。
【請求項６】
売上を登録する商品を撮像した画像を読み取る読取手段を有する売上登録装置のコンピュータを、
商品の各々について、商品の売上登録にかかる情報と、当該商品の画像とが関連付けられた商品管理情報を参照して、撮像した前記画像の少なくとも一部の領域と類似する商品の画像を検出する類似画像検出手段と、
検出された前記商品の画像と関連する前記売上登録にかかる情報をもとに、前記商品の売上を登録する売上登録手段と、
して機能させるためのプログラム。
【請求項１】
撮像手段が撮像した画像を取り込む画像取込手段、
取り込まれた前記画像を出力する画像出力手段を備える読取装置と、
商品の各々について、商品の売上登録にかかる情報と、当該商品の画像とが関連付けられた商品管理情報を参照して、出力された前記画像の少なくとも一部の領域と類似する商品の画像を検出する類似画像検出手段と、
検出された前記商品の画像と関連する前記売上登録にかかる情報をもとに、前記商品の売上を登録する売上登録手段を備える売上登録装置と、
を有することを特徴とする店舗システム。
【請求項２】
前記読取装置は、取り込まれた前記画像に含まれる商品を検出する商品検出手段を更に備え、
前記画像出力手段は、前記商品が検出された場合に、取り込まれた前記画像を出力すること、
を特徴とする請求項１に記載の店舗システム。
【請求項３】
前記売上登録装置は、前記類似画像検出手段により検出された商品の画像が複数ある場合に、ユーザの選択指示を受け付ける選択手段を更に備え、
前記売上登録手段は、前記選択指示に応じて選択された商品の前記売上登録にかかる情報をもとに、前記商品の売上を登録すること、
を特徴とする請求項１又は２に記載の店舗システム。
【請求項４】
前記売上登録装置は、出力された前記画像の少なくとも一部の領域と類似する商品の画像が検出されない場合にエラーを報知する報知手段を更に備えること、
を特徴とする請求項１乃至３のいずれか一項に記載の店舗システム。
【請求項５】
売上を登録する商品を撮像した画像を読み取る読取手段と、
商品の各々について、商品の売上登録にかかる情報と、当該商品の画像とが関連付けられた商品管理情報を参照して、撮像した前記画像の少なくとも一部の領域と類似する商品の画像を検出する類似画像検出手段と、
検出された前記商品の画像と関連する前記売上登録にかかる情報をもとに、前記商品の売上を登録する売上登録手段と、
を備えることを特徴とする売上登録装置。
【請求項６】
売上を登録する商品を撮像した画像を読み取る読取手段を有する売上登録装置のコンピュータを、
商品の各々について、商品の売上登録にかかる情報と、当該商品の画像とが関連付けられた商品管理情報を参照して、撮像した前記画像の少なくとも一部の領域と類似する商品の画像を検出する類似画像検出手段と、
検出された前記商品の画像と関連する前記売上登録にかかる情報をもとに、前記商品の売上を登録する売上登録手段と、
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−５３７０８（Ｐ２０１２−５３７０８Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９６２０４（Ｐ２０１０−１９６２０４）
【出願日】平成２２年９月１日（２０１０．９．１）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年９月１日（２０１０．９．１）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]