商品収納装置、商品登録装置、および商品登録方法
【課題】スーパーマーケット等の店舗では、顧客が、店舗内で購入予定の商品を買物カゴに入れ、購入予定の全ての商品を買物カゴに入れ終えると、買物カゴを店員に渡す。店員は、買物カゴ内の商品を識別しながら当該商品の売上登録を行うため、買物カゴ内の商品を識別しながら商品の売上登録を行わなければならず、店員の作業負担が大きい。
【解決手段】商品を収納する収納部と、前記収納部内の画像を撮像する撮像部と、前記撮像した画像とともに自装置を特定する識別情報を商品登録装置に送信する送信手段と、を備える。
【解決手段】商品を収納する収納部と、前記収納部内の画像を撮像する撮像部と、前記撮像した画像とともに自装置を特定する識別情報を商品登録装置に送信する送信手段と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、商品収納装置、商品登録装置、および商品登録方法に関する。
【背景技術】
【0002】
スーパーマーケット等の店舗では、顧客が、店舗内で購入予定の商品を買物カゴに入れ、購入予定の全ての商品を買物カゴに入れ終えると、買物カゴを店員に渡す。店員は、買物カゴ内の商品を識別しながら当該商品の売上登録を行う。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−39545公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、店員が買物カゴ内の商品を識別しながら商品の売上登録を行わなければならず、買物カゴ内の商品を識別する店員の作業負担が大きい、という課題がある。
【課題を解決するための手段】
【0005】
実施形態の商品収納装置は、商品を収納する収納部と、前記収納部内の画像を撮像する撮像部と、前記撮像した画像とともに自装置を特定する識別情報を商品登録装置に送信する送信手段と、を備える。
【図面の簡単な説明】
【0006】
【図1】チェックアウトシステムを示す斜視図。
【図2】カートの概要構成説明図。
【図3】POS端末、および買物カゴが荷台に載置されたカートのハードウェア構成を示すブロック図。
【図4】PLUファイルのデータ構成を例示する概念図。
【図5】POS端末、およびカートに載置された買物カゴそれぞれが備えるCPUの機能構成を示すブロック図。
【図6】本実施形態にかかる買物カゴの動作の一例を示すフローチャート。
【図7】本実施形態にかかるPOS端末の動作の一例を示すフローチャート。
【図8】買物カゴに商品が追加された場合における商品の売上登録動作を説明するための図。
【図9】買物カゴから商品が取り出された場合における商品の売上登録動作を説明するための図。
【図10】物体認識により買物カゴに収納された商品を認識して商品リストを作成する動作を説明するための図。
【図11】本実施形態にかかるPOS端末の精算動作の一例を示すフローチャート。
【発明を実施するための形態】
【0007】
以下では、チェックアウトシステムを例に本実施形態にかかる商品収納装置、商品登録装置、および商品登録方法について、図面を参照して説明する。本実施形態にかかるチェックアウトシステムは、一取引にかかる商品の登録、精算を行うPOS(Point Of Sales)端末を備えるチェックアウトシステム(POSシステム)などである。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【0008】
図1は、チェックアウトシステムを示す斜視図である。図2は、カートの概要構成説明図である。図1に示すように、チェックアウトシステム1は、一取引にかかる商品の売上登録、精算を行う商品登録装置であるPOS端末11を備える。POS端末11は、チェックアウト台51上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。POS端末11の上面には、オペレータ(ユーザ)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、顧客用表示デバイス24が回転自在に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。
【0009】
POS端末11が載置されているチェックアウト台51とL字を形成するようにして、横長テーブル状のカウンタ台151が配置されている。カウンタ台151の上面には、荷受面152が形成されている。荷受面152には、カート200から降ろされた買物カゴ153が載置される。買物カゴ153は、顧客が購入する商品を収納する商品収納装置である。本実施形態では、買物カゴ153は、商品を収納する収納部153e、収納部153e内の画像を撮像する撮像部153b、当該買物カゴ153に収納された商品のうち売上登録された商品の商品リストや当該買物カゴ153を特定する識別情報である買物カゴID等の各種情報を記憶する記憶媒体213(図3参照)を備えた制御部153a、記憶媒体213(図3参照)に記憶された商品リストおよび買物カゴIDをPOS端末11に送信して当該商品リストに含まれる商品の精算を指示するための商品精算ボタン153c、および買物の開始を指示するための買物開始ボタン153dを備えている。
【0010】
店舗で買い物をする顧客は、図2に示すように、買物カゴ153をカート200の荷台201,202に載置し、カート200を移動させながら買い物をする。カート200は、それぞれ買物カゴ153を載置することが可能な荷台201,202を有するフレーム203と、最下部に設けられた4個の車輪204と、フレーム203の後方部に取り付けられた取っ手205と、を備えている。顧客は、取っ手205を掴んで所望の方向にカート200を押すことにより、カート200を移動させることができる。
【0011】
なお、カート200自体が、商品を収納する収納部を備える商品収納装置であってもよい。例えば、カート200を構成するフレーム203同士の間に網が張られており、商品を外部から視認できる態様で収納するカート200自体を収納部とする形態であってもよい。
【0012】
ここで、本実施形態にかかるチェックアウトシステム1における商品の売上登録処理について簡単に説明する。POS端末11は、買物カゴ153が有する買物開始ボタン153dが押下されると、買物カゴ153から、撮像部153bにより撮像された撮像画像とともに買物カゴIDを受信する。そして、POS端末11は、受信した撮像画像から買物カゴ153に収納された商品を認識する。次いで、POS端末11は、認識した商品を記録した商品リストを、受信した買物カゴIDで特定される買物カゴ毎に作成する。さらに、POS端末11は、作成した商品リストを、買物カゴIDにより特定される買物カゴ153が有する記憶媒体213に記憶させることにより、認識した商品を、受信した買物カゴIDにより特定される買物カゴ毎に売上登録する。その後、買物カゴ153が有する商品精算ボタン153cが押下されると、POS端末11は、買物カゴ153から商品リストおよび買物カゴIDを受信する。そして、POS端末11は、受信した商品リストに含まれる商品が、受信した買物カゴIDにより特定される買物カゴ153に収納された商品として、商品の精算を行う。
【0013】
図3は、POS端末、および買物カゴが荷台に載置されたカートのハードウェア構成を示すブロック図である。POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されて構成されている。
【0014】
POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。これらは、CPU61による制御を受ける。
【0015】
キーボード22は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、および締めキー22fを含む。
【0016】
POS端末11のCPU61には、HDD(Hard Disk Drive)64が接続されている。HDD64には、プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムや各種ファイルは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により順次実行される。HDD64に記憶されているプログラムの一例は、売上登録処理用のプログラムPRである。HDD64に記憶されているファイルの一例は、ストアコンピュータSCから配信されて格納されているPLUファイルF1である。
【0017】
PLUファイルF1は、店舗に陳列して販売する商品の各々について、商品の売上登録にかかる情報と、その商品の画像との関連付けが設定された商品マスタファイルである。図4は、PLUファイルのデータ構成を例示する概念図である。図4に示すように、PLUファイルF1は、商品ごとに、ユニークに割り当てられた商品ID、商品が属する商品分類、商品名、単価などの売上登録にかかる情報と、その商品を撮像した商品画像と、を格納するファイルである。このようなPLUファイルF1は、対象となる商品群(パン、青果、惣菜等)によって分けられている。
【0018】
図3に戻り、POS端末11のCPU61には、ストアコンピュータSCやカート200とデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信されるPLUファイルF1が格納されている。
【0019】
さらに、POS端末11のCPU61には、レシートなどに印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御のもと、一取引の取引内容をレシートに印字する。
【0020】
カート200の荷台201,202に載置された買物カゴ153も、マイクロコンピュータとしての制御部153aを備える。制御部153aは、CPU211にROM212と記憶媒体(RAM)213とがバス接続されて構成されている。ROM212には、CPU211によって実行されるプログラムが記憶されている。CPU211には、撮像部153b、商品精算ボタン153c、買物開始ボタン153dが各種の入出力回路(いずれも図示せず)を介して接続されている。撮像部153bは、CPU211によって動作が制御される。
【0021】
撮像部153bは、カラーCCD(Charged Coupled Device)イメージセンサやカラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどであり、CPU211の制御の下で、買物カゴ153の上部から買物カゴ153内の画像の撮像を行う。例えば、撮像部153bは、30fpsの動画像の撮像を行う。撮像部153bが所定のフレームレートで順次撮像したフレーム画像(撮像画像)は、記憶媒体213に保存される。なお、記憶媒体213には、フレーム画像に加え、上述したように、商品リストや買物カゴIDなどが記憶される。
【0022】
さらに、買物カゴ153のCPU211には、POS端末11とデータ通信を実行するための通信インターフェース216が入出力回路(図示せず)を介して接続されている。
【0023】
次に、CPU61,211が売上登録処理用のプログラムPRを順次実行することで実現されるCPU61,211の機能部について、図5を参照して説明する。図5は、POS端末、およびカートに載置された買物カゴそれぞれが備えるCPUの機能構成を示すブロック図である。図5に示すように、CPU211は、プログラムを順次実行することにより、撮像画像取込部501、送信部502としての機能を備える。同様に、CPU61は、受信部503、物体認識部504、商品登録部505、精算部506としての機能を備える。
【0024】
撮像画像取込部501は、買物開始ボタン153dが押下されて買物の開始が指示されると、撮像部153bに撮像オン信号を出力して撮像部153bに撮像動作を開始させる。撮像画像取込部501は、所定時間毎に、撮像動作開始後に撮像部153bが撮像して記憶媒体213に保存されたフレーム画像を順次取り込む。撮像画像取込部501によるフレーム画像の取り込みは、記憶媒体213に保存された順に行われる。そして、撮像画像取込部501は、商品精算ボタン153cが押下されて商品の精算が指示されると、撮像部153bに撮像オフ信号を出力して撮像部153bに撮像動作を終了させる。
【0025】
送信部502は、撮像画像取込部501によりフレーム画像が取り込まれた際に、通信インターフェース216を介して、当該取り込まれたフレーム画像とともに、記憶媒体213に記憶された買物カゴIDをPOS端末11へ送信して、買物カゴ153に収納された商品の売上登録を要求する。なお、送信部502は、撮像画像取込部501によるフレーム画像の取り込みが買物開始ボタン153dが押下されてから2回目以降である場合、フレーム画像および買物カゴIDに加えて、記憶媒体213に記憶された商品リストをPOS端末11へ送信して、買物カゴ153に収納された商品の売上登録を要求する。
【0026】
また、送信部502は、商品清算ボタン153cが押下された際に、通信インターフェース216を介して、記憶媒体213に記憶された買物カゴIDおよび商品リストをPOS端末11へ出力して、買物カゴ153に収納された商品の精算を要求する。
【0027】
受信部503は、買物カゴ153が備える買物開始ボタン153dが押下された後、撮像画像取込部501がフレーム画像を取り込む毎に(つまり、所定時間毎に)、通信インターフェース25を介して、買物カゴ153から、フレーム画像とともに買物カゴIDを受信する。なお、受信部503は、撮像画像取込部501によるフレーム画像の取り込みが買物開始ボタン153dが押下されてから2回目以降である場合、買物カゴ153から、フレーム画像および買物カゴIDに加えて、記憶媒体213に記憶された商品リストを受信する。
【0028】
また、受信部503は、買物カゴ153が備える商品精算ボタン153cが押下されると、通信インターフェース25を介して、買物カゴ153から、買物カゴIDおよび商品リストを受信する。
【0029】
物体認識部504は、PLUファイルF1の商品画像を参照して、受信部503により受信したフレーム画像から、当該フレーム画像とともに受信した買物カゴIDにより特定される買物カゴ153内に収納された商品を認識する。具体的には、物体認識部504は、PLUファイルF1を参照して、フレーム画像から、特徴量としての色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体としての商品を認識する。なお、物体認識部504は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。POS端末11では、物体認識部504の認識結果により、PLUファイルF1に予め登録されている商品の中から買物カゴ153に収納された商品を特定できる。
【0030】
このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
【0031】
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
【0032】
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
商品登録部505は、受信部503がフレーム画像および買物カゴIDを受信して商品の売上登録が要求された場合、物体認識部504により認識した商品を、当該商品を認識したフレーム画像とともに受信した買物カゴIDにより特定される買物カゴ153毎に売上登録する。具体的には、商品登録部505は、PLUファイルF1から、認識した商品の売上登録にかかる情報を読み出す。そして、商品登録部505は、読み出した売上登録にかかる情報を記録した商品リストを作成する。次いで、商品登録部505は、作成した商品リストを、受信した買物カゴIDにより特定される買物カゴ153が備える記憶媒体213に記憶させることにより、認識した商品を買物カゴ153毎に売上登録する。
【0033】
また、商品登録部505は、受信部503がフレーム画像、買物カゴID、および商品リストを受信して商品の売上登録が要求された場合、物体認識部504により認識した商品と、受信した買物カゴIDにより特定される買物カゴ153について売上登録された商品(受信した商品リストに売上登録にかかる情報が記録された商品)と、を比較して、買物カゴ153への商品の追加または買物カゴ153からの商品の取り出しが行われたか否かを判断する。
【0034】
そして、商品登録部505は、買物カゴ153への商品の追加が行われたと判断した場合、PLUファイルF1から、認識された商品のうち、受信した商品リストに売上登録にかかる情報が記録されていない商品の売上登録にかかる情報を読み出す。そして、商品登録部505は、読み出した売上登録にかかる情報を、受信した商品リストに記録する。次いで、商品登録部505は、読み出した売上登録にかかる情報を記録した商品リストを、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶させる。これにより、商品登録部505は、認識された商品のうち、受信した買物カゴIDにより特定される買物カゴ153について売上登録されていない商品を売上登録する。
【0035】
一方、商品登録部505は、買物カゴ153からの商品の取り出しが行われたと判断した場合、受信した商品リストに売上登録にかかる情報が記録されていない商品のうち、認識された商品に含まれない商品を特定する。そして、商品登録部505は、特定した商品の売上登録にかかる情報を、受信した商品リストから削除する。次いで、商品登録部505は、特定した商品の売上登録にかかる情報を削除した商品リストを、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶させる。これにより、商品登録部505は、受信した買物カゴIDにより特定される買物カゴ153について売上登録された商品のうち、認識された商品に含まれない商品の売上登録を解除する。
【0036】
精算部506は、買物カゴ153の商品精算ボタン153cが押下されて商品の精算が要求された場合に、商品精算ボタン153cが押下された際に受信部503が受信した商品リストに売上登録にかかる情報が記録された商品に対しての精算を行う。
【0037】
また、精算部506は、商品リストに売上登録にかかる情報が記録された商品に対しての精算を行った後、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶されている商品リストを消去する。
【0038】
次に、本実施形態にかかる買物カゴ153の動作について詳細に説明する。図6は、本実施形態にかかる買物カゴの動作の一例を示すフローチャートである。
【0039】
買物開始ボタン153dが押下されて買物の開始が指示されると(A601のYes)、撮像画像取込部501は、撮像部153bに撮像オン信号を出力して撮像部153bに撮像動作を開始させる(A602)。
【0040】
撮像画像取込部501は、撮像部153bによる撮像動作開始後、所定時間毎に、撮像部153bが撮像して記憶媒体213に保存されたフレーム画像を取り込む(A603)。送信部502は、撮像画像取込部501によりフレーム画像が取り込まれると、取り込まれたフレーム画像、および記憶媒体213に記憶された買物カゴIDを、通信インターフェース216を介して、POS端末11に送信して買物カゴ153に収納された商品の売上登録を要求する(A604)。なお、撮像画像取込部501によるフレーム画像の取り込みが買物開始ボタン153dが押下されてから2回目以降である場合には、送信部502は、フレーム画像および買物カゴIDに加えて、記憶媒体213に記憶された商品リストを、通信インターフェース216を介して、POS端末11に送信して、買物カゴ153に収納された商品の売上登録を要求する。
【0041】
次いで、撮像画像取込部501は、商品精算ボタン153cが押下されて商品の精算が指示されたか否かを判断する(A605)。商品精算ボタン153cが押下されなかった場合(A605のNo)、撮像画像取込部501は、フレーム画像の取り込みを継続する。
【0042】
一方、商品精算ボタン153cが押下されて商品の精算が指示された場合(A605のYes)、撮像画像取込部501は、撮像部153bに撮像オフ信号を出力して撮像部153bに撮像動作を終了させる(A606)。さらに、商品の精算が指示された場合(A605のYes)、送信部502は、記憶媒体213に記憶された買物カゴIDおよび商品リストを、通信インターフェース216を介してPOS端末11に出力して、商品の精算を要求する(A607)。
【0043】
次に、本実施形態にかかるPOS端末11の動作について詳細に説明する。図7は、本実施形態にかかるPOS端末の動作の一例を示すフローチャートである。図8は、買物カゴに商品が追加された場合における商品の売上登録動作を説明するための図である。図9は、買物カゴから商品が取り出された場合における商品の売上登録動作を説明するための図である。図10は、物体認識により買物カゴに収納された商品を認識して商品リストを作成する動作を説明するための図である。
【0044】
受信部503は、通信インターフェース25を介して、送信部502により送信されたフレーム画像、すなわち、買物カゴ153に取り付けられた撮像部153cにより撮像された買物カゴ153内のフレーム画像、および記憶媒体213に記憶された買物カゴIDを受信する(A701)。なお、撮像画像取込部501によるフレーム画像の取り込みが、買物開始ボタン153dが押下されてから2回目以降である場合には、受信部503は、フレーム画像および買物カゴIDに加えて、買物カゴ153の記憶媒体213に記憶された商品リストを受信する。
【0045】
送信部502により送信されたフレーム画像を受信すると、物体認識部504は、PLUファイルF1の商品画像を参照して、受信したフレーム画像から、特徴量を読み取ることによって特定の物体として商品を認識する(A702)。
【0046】
商品が認識されると、商品登録部505は、フレーム画像および買物カゴIDに加えて、商品リストを受信したか否かを判断する(A703)。商品リストを受信しなかった場合(A703のNo)、商品登録部505は、PLUファイルF1から、認識した商品の売上登録にかかる情報を読み出し、当該読み出した売上登録にかかる情報が記録された商品リストを作成し、作成した商品リストを、買物カゴ153の記憶媒体213に記憶させる(A704)。次いで、精算部506は、買物カゴ153の商品を精算するか否か、すなわち、商品精算ボタン153cが押下されて買物カゴ153から商品の精算が要求されたか否かを判断する(A705)。買物カゴ153の商品を精算しない場合(A705のNo)、A701に示す処理に戻り、受信部503が、フレーム画像の受信を行う。
【0047】
一方、買物カゴ153の商品の精算を行う場合(A705のYes)、精算部506は、商品精算ボタン153cが押下された際に受信部503が受信した商品リストに売上登録にかかる情報が記録された商品に対する精算を行う(A706)。
【0048】
また、フレーム画像および買物カゴIDに加えて、商品リストを受信した場合(A703のYes)、商品登録部505は、受信部503が受信した商品リストに売上登録にかかる情報が記録された商品と、認識した商品とを比較して、買物カゴ153への商品の追加が行われたか否かを判断する(A707)。そして、買物カゴ153への商品の追加が行われたと判断した場合(A707のYes)、商品登録部505は、PLUファイルF1から、認識した商品のうち受信した商品リストに売上登録にかかる情報が記録されていない商品(買物カゴ153に追加された商品)の売上登録にかかる情報を読み出し、当該買物カゴ153に追加された商品の売上登録にかかる情報を、受信した商品リストに記録する(A708)。そして、商品登録部505は、買物カゴ153に追加された商品の売上登録にかかる情報が記録された商品リストを、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶させる。
【0049】
例えば、図8に示すように、撮像画像取込部501は、撮像部153bにより撮像された買物カゴ153内の画像であって、買物カゴ153に収納された商品A〜Cの商品画像801〜803を含むフレーム画像800を取り込む。送信部501は、撮像画像取込部501により取り込まれたフレーム画像800、買物カゴ153の買物カゴID、および商品リストをPOS端末11に送信する。そして、受信部503がフレーム画像800、買物カゴID、および商品リストを受信すると、物体認識部504は、受信したフレーム画像800から、特徴量を読み取ることによって特定の物体としての商品A〜Cを認識する。次いで、商品登録部505は、受信した商品リストに売上登録にかかる情報が記録された商品A,Bと、認識した商品A〜Cとを比較して、買物カゴ153の中に商品Cが追加されたことを検知する。そして、商品登録部505は、受信した商品リストに、商品Cの売上登録にかかる情報を記録する。そして、商品登録部505は、商品Cの売上登録にかかる情報が記録された商品リストを、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶させる。
【0050】
図7に戻り、一方、買物カゴ153への商品の追加が行われていないと判断した場合(A707のNo)、商品登録部505は、受信部503が受信した商品リストに売上登録にかかる情報が記録された商品と、認識した商品とを比較して、買物カゴ153からの商品の取り出しが行われたか否かを判断する(A709)。そして、買物カゴ153からの商品の取り出しが行われたと判断した場合(A709のYes)、商品登録部505は、受信した商品リストから、当該商品リストに売上登録にかかる情報が記録された商品のうち物体認識部504により認識されなかった商品(つまり、買物カゴ153から取り出された商品)の売上登録にかかる情報を削除する(A710)。そして、商品登録部505は、買物カゴ153から取り出された商品の売上登録にかかる情報が削除された商品リストを、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶させる。
【0051】
例えば、図9に示すように、撮像画像取込部501は、撮像部153bにより撮像された買物カゴ153内の画像であって、買物カゴ153に収納された商品A,Bの商品画像901,902を含むフレーム画像900を取り込む。送信部502は、撮像画像取込部501により取り込まれたフレーム画像900、買物カゴ153の買物カゴID、および商品リストをPOS端末11に送信する。そして、受信部503がフレーム画像900、買物カゴID、および商品リストを受信すると、物体認識部504は、受信したフレーム画像900から、特徴量を読み取ることによって特定の物体としての商品A,Bを認識する。次いで、商品登録部505は、受信した商品リストに売上登録にかかる情報が記録された商品A〜Cと、認識した商品A,Bとを比較して、買物カゴ153の中から商品Cが取り出されたことを検知する。そして、商品登録部505は、受信した商品リストから商品Cの売上登録にかかる情報を削除する。そして、商品登録部505は、商品Cの売上登録にかかる情報が削除された商品リストを、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶させる。
【0052】
ここで、図10を用いて、受信したフレーム画像から買物カゴ153に収納された商品の認識し、認識した商品の売上登録にかかる情報が記録された商品リストを作成する動作の一例を説明する。例えば、買物カゴ153に商品A,Bが収納され、商品A,Bの商品画像1001,1002を含むフレーム画像1000を受信した場合、物体認識部504は、フレーム画像1000に含まれる商品画像1001,1002と、PLUファイルF1の商品画像(基準画像)1004,1005と、を比較する。そして、商品画像1001,1002から特徴量として読み取った表面の状態と、商品画像1004,1005の表面の状態とが一致した場合、物体認識部504は、フレーム画像1000に商品画像1001,1002が含まれる商品A,Bを、買物カゴ153に収納された商品として認識する。次いで、商品登録部505は、PLUファイルF1から、認識した商品A,Bの売上登録にかかる情報を読み出し、読み出した売上登録にかかる情報(例えば、商品名など)を記録した商品リスト1006を作成し、作成した商品リスト1006を記憶媒体213に記憶させる。
【0053】
図7に戻り、買物カゴ153からの商品の取り出しが行われていないと判断した場合(A709のNo)、精算部506は、買物カゴ153の商品を精算するか否か、すなわち、商品精算ボタン153cが押下されて買物カゴ153から商品の精算が要求されたか否かを判断する(A705)。買物カゴ153の商品を精算しない場合(A705のNo)、A701に示す処理に戻り、受信部503が、フレーム画像の受信を行う。
【0054】
一方、買物カゴ153の商品の精算を行う場合(A705のYes)、精算部506は、受信部503により受信した商品リストに売上登録にかかる情報が記録された商品対しての精算を行う(A706)。
【0055】
次に、POS端末11における精算動作について詳細に説明する。図11は、本実施形態にかかるPOS端末の精算動作の一例を示すフローチャートである。
【0056】
精算部506は、買物カゴ153の商品精算ボタン153cが押下されると、受信部503が受信した商品リストに売上登録にかかる情報が記録された商品に対しての精算を開始する(A1101)。
【0057】
精算部506は、受信した商品リストに売上登録にかかる情報として記録された、商品の単価を参照して、買物カゴ153内に収納された商品の合計金額を計算する(A1102)。そして、精算部506は、計算した合計金額を参照して、買物カゴ153内に収納された商品の会計を行う(A1103)。
【0058】
このように本実施形態のチェックアウトシステム1によれば、買物カゴ153が、商品を収納する買物カゴ153内のフレーム画像を撮像する撮像部153bと、撮像したフレーム画像を取り込む撮像画像取込部501と、取り込んだフレーム画像とともに買物カゴ153を特定する買物カゴIDをPOS端末11に送信する送信部502と、を備える。POS端末11が、送信されたフレーム画像および買物カゴIDを受信する受信部503と、受信したフレーム画像から商品を認識する物体認識部504と、認識した商品を、受信した買物カゴIDにより特定される買物カゴ153毎に売上登録する商品登録部505と、を備える。これにより、店員が買物カゴ153内の商品を識別して売上登録を行う必要がなくなるので、店員の作業負担を軽減することができる。
【0059】
なお、本実施形態のPOS端末11およびカート200で実行されるプログラムは、ROM等に予め組み込まれて提供される。本実施形態のPOS端末11および買物カゴ153(カート200)で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0060】
さらに、本実施形態のPOS端末11およびカート200で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態のPOS端末11およびカート200で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0061】
本実施形態のPOS端末11で実行されるプログラムは、上述した各部(受信部503、物体認識部504、商品登録部505、精算部506)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、受信部503、物体認識部504、商品登録部505、精算部506が主記憶装置上に生成されるようになっている。
【0062】
本実施形態のカート200で実行されるプログラムは、上述した各部(撮像画像取込部501、送信部502)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部501、送信部502が主記憶装置上に生成されるようになっている。
【0063】
なお、本実施形態では、POS端末11のCPU61に物体認識部504としての機能を持たせているが、これに限定するものではなく、カート200側のCPU211に物体認識部504としての機能を持たせてもよい。カート側200のCPU211に物体認識部504としての機能を持たせた場合、送信部502は、フレーム画像(撮像画像)に代えて認識した商品を特定する商品IDなどの商品情報を、買物カゴIDとともにPOS端末11に送信する。そして、POS端末11の商品登録部505は、受信した商品情報により特定される商品を、受信した買物カゴIDにより特定される買物カゴ153毎に売上登録するものとする。
【0064】
また、本実施形態では、POS端末11のCPU61に受信部503、物体認識部504、商品登録部505としての機能を持たせているが、これに限定するものではなく、ストアコンピュータSC(サーバ)のCPUに受信部503、物体認識部504、商品登録部505としての機能を持たせてもよい。
【0065】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0066】
11 POS端末
153 買物カゴ
153b 撮像部
200 カート
213 記憶媒体
501 撮像画像取込部
502 送信部
503 受信部
504 物体認識部
505 商品登録部
【技術分野】
【0001】
本発明の実施形態は、商品収納装置、商品登録装置、および商品登録方法に関する。
【背景技術】
【0002】
スーパーマーケット等の店舗では、顧客が、店舗内で購入予定の商品を買物カゴに入れ、購入予定の全ての商品を買物カゴに入れ終えると、買物カゴを店員に渡す。店員は、買物カゴ内の商品を識別しながら当該商品の売上登録を行う。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−39545公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、店員が買物カゴ内の商品を識別しながら商品の売上登録を行わなければならず、買物カゴ内の商品を識別する店員の作業負担が大きい、という課題がある。
【課題を解決するための手段】
【0005】
実施形態の商品収納装置は、商品を収納する収納部と、前記収納部内の画像を撮像する撮像部と、前記撮像した画像とともに自装置を特定する識別情報を商品登録装置に送信する送信手段と、を備える。
【図面の簡単な説明】
【0006】
【図1】チェックアウトシステムを示す斜視図。
【図2】カートの概要構成説明図。
【図3】POS端末、および買物カゴが荷台に載置されたカートのハードウェア構成を示すブロック図。
【図4】PLUファイルのデータ構成を例示する概念図。
【図5】POS端末、およびカートに載置された買物カゴそれぞれが備えるCPUの機能構成を示すブロック図。
【図6】本実施形態にかかる買物カゴの動作の一例を示すフローチャート。
【図7】本実施形態にかかるPOS端末の動作の一例を示すフローチャート。
【図8】買物カゴに商品が追加された場合における商品の売上登録動作を説明するための図。
【図9】買物カゴから商品が取り出された場合における商品の売上登録動作を説明するための図。
【図10】物体認識により買物カゴに収納された商品を認識して商品リストを作成する動作を説明するための図。
【図11】本実施形態にかかるPOS端末の精算動作の一例を示すフローチャート。
【発明を実施するための形態】
【0007】
以下では、チェックアウトシステムを例に本実施形態にかかる商品収納装置、商品登録装置、および商品登録方法について、図面を参照して説明する。本実施形態にかかるチェックアウトシステムは、一取引にかかる商品の登録、精算を行うPOS(Point Of Sales)端末を備えるチェックアウトシステム(POSシステム)などである。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【0008】
図1は、チェックアウトシステムを示す斜視図である。図2は、カートの概要構成説明図である。図1に示すように、チェックアウトシステム1は、一取引にかかる商品の売上登録、精算を行う商品登録装置であるPOS端末11を備える。POS端末11は、チェックアウト台51上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。POS端末11の上面には、オペレータ(ユーザ)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、顧客用表示デバイス24が回転自在に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。
【0009】
POS端末11が載置されているチェックアウト台51とL字を形成するようにして、横長テーブル状のカウンタ台151が配置されている。カウンタ台151の上面には、荷受面152が形成されている。荷受面152には、カート200から降ろされた買物カゴ153が載置される。買物カゴ153は、顧客が購入する商品を収納する商品収納装置である。本実施形態では、買物カゴ153は、商品を収納する収納部153e、収納部153e内の画像を撮像する撮像部153b、当該買物カゴ153に収納された商品のうち売上登録された商品の商品リストや当該買物カゴ153を特定する識別情報である買物カゴID等の各種情報を記憶する記憶媒体213(図3参照)を備えた制御部153a、記憶媒体213(図3参照)に記憶された商品リストおよび買物カゴIDをPOS端末11に送信して当該商品リストに含まれる商品の精算を指示するための商品精算ボタン153c、および買物の開始を指示するための買物開始ボタン153dを備えている。
【0010】
店舗で買い物をする顧客は、図2に示すように、買物カゴ153をカート200の荷台201,202に載置し、カート200を移動させながら買い物をする。カート200は、それぞれ買物カゴ153を載置することが可能な荷台201,202を有するフレーム203と、最下部に設けられた4個の車輪204と、フレーム203の後方部に取り付けられた取っ手205と、を備えている。顧客は、取っ手205を掴んで所望の方向にカート200を押すことにより、カート200を移動させることができる。
【0011】
なお、カート200自体が、商品を収納する収納部を備える商品収納装置であってもよい。例えば、カート200を構成するフレーム203同士の間に網が張られており、商品を外部から視認できる態様で収納するカート200自体を収納部とする形態であってもよい。
【0012】
ここで、本実施形態にかかるチェックアウトシステム1における商品の売上登録処理について簡単に説明する。POS端末11は、買物カゴ153が有する買物開始ボタン153dが押下されると、買物カゴ153から、撮像部153bにより撮像された撮像画像とともに買物カゴIDを受信する。そして、POS端末11は、受信した撮像画像から買物カゴ153に収納された商品を認識する。次いで、POS端末11は、認識した商品を記録した商品リストを、受信した買物カゴIDで特定される買物カゴ毎に作成する。さらに、POS端末11は、作成した商品リストを、買物カゴIDにより特定される買物カゴ153が有する記憶媒体213に記憶させることにより、認識した商品を、受信した買物カゴIDにより特定される買物カゴ毎に売上登録する。その後、買物カゴ153が有する商品精算ボタン153cが押下されると、POS端末11は、買物カゴ153から商品リストおよび買物カゴIDを受信する。そして、POS端末11は、受信した商品リストに含まれる商品が、受信した買物カゴIDにより特定される買物カゴ153に収納された商品として、商品の精算を行う。
【0013】
図3は、POS端末、および買物カゴが荷台に載置されたカートのハードウェア構成を示すブロック図である。POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されて構成されている。
【0014】
POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。これらは、CPU61による制御を受ける。
【0015】
キーボード22は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、および締めキー22fを含む。
【0016】
POS端末11のCPU61には、HDD(Hard Disk Drive)64が接続されている。HDD64には、プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムや各種ファイルは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により順次実行される。HDD64に記憶されているプログラムの一例は、売上登録処理用のプログラムPRである。HDD64に記憶されているファイルの一例は、ストアコンピュータSCから配信されて格納されているPLUファイルF1である。
【0017】
PLUファイルF1は、店舗に陳列して販売する商品の各々について、商品の売上登録にかかる情報と、その商品の画像との関連付けが設定された商品マスタファイルである。図4は、PLUファイルのデータ構成を例示する概念図である。図4に示すように、PLUファイルF1は、商品ごとに、ユニークに割り当てられた商品ID、商品が属する商品分類、商品名、単価などの売上登録にかかる情報と、その商品を撮像した商品画像と、を格納するファイルである。このようなPLUファイルF1は、対象となる商品群(パン、青果、惣菜等)によって分けられている。
【0018】
図3に戻り、POS端末11のCPU61には、ストアコンピュータSCやカート200とデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信されるPLUファイルF1が格納されている。
【0019】
さらに、POS端末11のCPU61には、レシートなどに印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御のもと、一取引の取引内容をレシートに印字する。
【0020】
カート200の荷台201,202に載置された買物カゴ153も、マイクロコンピュータとしての制御部153aを備える。制御部153aは、CPU211にROM212と記憶媒体(RAM)213とがバス接続されて構成されている。ROM212には、CPU211によって実行されるプログラムが記憶されている。CPU211には、撮像部153b、商品精算ボタン153c、買物開始ボタン153dが各種の入出力回路(いずれも図示せず)を介して接続されている。撮像部153bは、CPU211によって動作が制御される。
【0021】
撮像部153bは、カラーCCD(Charged Coupled Device)イメージセンサやカラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどであり、CPU211の制御の下で、買物カゴ153の上部から買物カゴ153内の画像の撮像を行う。例えば、撮像部153bは、30fpsの動画像の撮像を行う。撮像部153bが所定のフレームレートで順次撮像したフレーム画像(撮像画像)は、記憶媒体213に保存される。なお、記憶媒体213には、フレーム画像に加え、上述したように、商品リストや買物カゴIDなどが記憶される。
【0022】
さらに、買物カゴ153のCPU211には、POS端末11とデータ通信を実行するための通信インターフェース216が入出力回路(図示せず)を介して接続されている。
【0023】
次に、CPU61,211が売上登録処理用のプログラムPRを順次実行することで実現されるCPU61,211の機能部について、図5を参照して説明する。図5は、POS端末、およびカートに載置された買物カゴそれぞれが備えるCPUの機能構成を示すブロック図である。図5に示すように、CPU211は、プログラムを順次実行することにより、撮像画像取込部501、送信部502としての機能を備える。同様に、CPU61は、受信部503、物体認識部504、商品登録部505、精算部506としての機能を備える。
【0024】
撮像画像取込部501は、買物開始ボタン153dが押下されて買物の開始が指示されると、撮像部153bに撮像オン信号を出力して撮像部153bに撮像動作を開始させる。撮像画像取込部501は、所定時間毎に、撮像動作開始後に撮像部153bが撮像して記憶媒体213に保存されたフレーム画像を順次取り込む。撮像画像取込部501によるフレーム画像の取り込みは、記憶媒体213に保存された順に行われる。そして、撮像画像取込部501は、商品精算ボタン153cが押下されて商品の精算が指示されると、撮像部153bに撮像オフ信号を出力して撮像部153bに撮像動作を終了させる。
【0025】
送信部502は、撮像画像取込部501によりフレーム画像が取り込まれた際に、通信インターフェース216を介して、当該取り込まれたフレーム画像とともに、記憶媒体213に記憶された買物カゴIDをPOS端末11へ送信して、買物カゴ153に収納された商品の売上登録を要求する。なお、送信部502は、撮像画像取込部501によるフレーム画像の取り込みが買物開始ボタン153dが押下されてから2回目以降である場合、フレーム画像および買物カゴIDに加えて、記憶媒体213に記憶された商品リストをPOS端末11へ送信して、買物カゴ153に収納された商品の売上登録を要求する。
【0026】
また、送信部502は、商品清算ボタン153cが押下された際に、通信インターフェース216を介して、記憶媒体213に記憶された買物カゴIDおよび商品リストをPOS端末11へ出力して、買物カゴ153に収納された商品の精算を要求する。
【0027】
受信部503は、買物カゴ153が備える買物開始ボタン153dが押下された後、撮像画像取込部501がフレーム画像を取り込む毎に(つまり、所定時間毎に)、通信インターフェース25を介して、買物カゴ153から、フレーム画像とともに買物カゴIDを受信する。なお、受信部503は、撮像画像取込部501によるフレーム画像の取り込みが買物開始ボタン153dが押下されてから2回目以降である場合、買物カゴ153から、フレーム画像および買物カゴIDに加えて、記憶媒体213に記憶された商品リストを受信する。
【0028】
また、受信部503は、買物カゴ153が備える商品精算ボタン153cが押下されると、通信インターフェース25を介して、買物カゴ153から、買物カゴIDおよび商品リストを受信する。
【0029】
物体認識部504は、PLUファイルF1の商品画像を参照して、受信部503により受信したフレーム画像から、当該フレーム画像とともに受信した買物カゴIDにより特定される買物カゴ153内に収納された商品を認識する。具体的には、物体認識部504は、PLUファイルF1を参照して、フレーム画像から、特徴量としての色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体としての商品を認識する。なお、物体認識部504は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。POS端末11では、物体認識部504の認識結果により、PLUファイルF1に予め登録されている商品の中から買物カゴ153に収納された商品を特定できる。
【0030】
このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
【0031】
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
【0032】
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
商品登録部505は、受信部503がフレーム画像および買物カゴIDを受信して商品の売上登録が要求された場合、物体認識部504により認識した商品を、当該商品を認識したフレーム画像とともに受信した買物カゴIDにより特定される買物カゴ153毎に売上登録する。具体的には、商品登録部505は、PLUファイルF1から、認識した商品の売上登録にかかる情報を読み出す。そして、商品登録部505は、読み出した売上登録にかかる情報を記録した商品リストを作成する。次いで、商品登録部505は、作成した商品リストを、受信した買物カゴIDにより特定される買物カゴ153が備える記憶媒体213に記憶させることにより、認識した商品を買物カゴ153毎に売上登録する。
【0033】
また、商品登録部505は、受信部503がフレーム画像、買物カゴID、および商品リストを受信して商品の売上登録が要求された場合、物体認識部504により認識した商品と、受信した買物カゴIDにより特定される買物カゴ153について売上登録された商品(受信した商品リストに売上登録にかかる情報が記録された商品)と、を比較して、買物カゴ153への商品の追加または買物カゴ153からの商品の取り出しが行われたか否かを判断する。
【0034】
そして、商品登録部505は、買物カゴ153への商品の追加が行われたと判断した場合、PLUファイルF1から、認識された商品のうち、受信した商品リストに売上登録にかかる情報が記録されていない商品の売上登録にかかる情報を読み出す。そして、商品登録部505は、読み出した売上登録にかかる情報を、受信した商品リストに記録する。次いで、商品登録部505は、読み出した売上登録にかかる情報を記録した商品リストを、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶させる。これにより、商品登録部505は、認識された商品のうち、受信した買物カゴIDにより特定される買物カゴ153について売上登録されていない商品を売上登録する。
【0035】
一方、商品登録部505は、買物カゴ153からの商品の取り出しが行われたと判断した場合、受信した商品リストに売上登録にかかる情報が記録されていない商品のうち、認識された商品に含まれない商品を特定する。そして、商品登録部505は、特定した商品の売上登録にかかる情報を、受信した商品リストから削除する。次いで、商品登録部505は、特定した商品の売上登録にかかる情報を削除した商品リストを、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶させる。これにより、商品登録部505は、受信した買物カゴIDにより特定される買物カゴ153について売上登録された商品のうち、認識された商品に含まれない商品の売上登録を解除する。
【0036】
精算部506は、買物カゴ153の商品精算ボタン153cが押下されて商品の精算が要求された場合に、商品精算ボタン153cが押下された際に受信部503が受信した商品リストに売上登録にかかる情報が記録された商品に対しての精算を行う。
【0037】
また、精算部506は、商品リストに売上登録にかかる情報が記録された商品に対しての精算を行った後、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶されている商品リストを消去する。
【0038】
次に、本実施形態にかかる買物カゴ153の動作について詳細に説明する。図6は、本実施形態にかかる買物カゴの動作の一例を示すフローチャートである。
【0039】
買物開始ボタン153dが押下されて買物の開始が指示されると(A601のYes)、撮像画像取込部501は、撮像部153bに撮像オン信号を出力して撮像部153bに撮像動作を開始させる(A602)。
【0040】
撮像画像取込部501は、撮像部153bによる撮像動作開始後、所定時間毎に、撮像部153bが撮像して記憶媒体213に保存されたフレーム画像を取り込む(A603)。送信部502は、撮像画像取込部501によりフレーム画像が取り込まれると、取り込まれたフレーム画像、および記憶媒体213に記憶された買物カゴIDを、通信インターフェース216を介して、POS端末11に送信して買物カゴ153に収納された商品の売上登録を要求する(A604)。なお、撮像画像取込部501によるフレーム画像の取り込みが買物開始ボタン153dが押下されてから2回目以降である場合には、送信部502は、フレーム画像および買物カゴIDに加えて、記憶媒体213に記憶された商品リストを、通信インターフェース216を介して、POS端末11に送信して、買物カゴ153に収納された商品の売上登録を要求する。
【0041】
次いで、撮像画像取込部501は、商品精算ボタン153cが押下されて商品の精算が指示されたか否かを判断する(A605)。商品精算ボタン153cが押下されなかった場合(A605のNo)、撮像画像取込部501は、フレーム画像の取り込みを継続する。
【0042】
一方、商品精算ボタン153cが押下されて商品の精算が指示された場合(A605のYes)、撮像画像取込部501は、撮像部153bに撮像オフ信号を出力して撮像部153bに撮像動作を終了させる(A606)。さらに、商品の精算が指示された場合(A605のYes)、送信部502は、記憶媒体213に記憶された買物カゴIDおよび商品リストを、通信インターフェース216を介してPOS端末11に出力して、商品の精算を要求する(A607)。
【0043】
次に、本実施形態にかかるPOS端末11の動作について詳細に説明する。図7は、本実施形態にかかるPOS端末の動作の一例を示すフローチャートである。図8は、買物カゴに商品が追加された場合における商品の売上登録動作を説明するための図である。図9は、買物カゴから商品が取り出された場合における商品の売上登録動作を説明するための図である。図10は、物体認識により買物カゴに収納された商品を認識して商品リストを作成する動作を説明するための図である。
【0044】
受信部503は、通信インターフェース25を介して、送信部502により送信されたフレーム画像、すなわち、買物カゴ153に取り付けられた撮像部153cにより撮像された買物カゴ153内のフレーム画像、および記憶媒体213に記憶された買物カゴIDを受信する(A701)。なお、撮像画像取込部501によるフレーム画像の取り込みが、買物開始ボタン153dが押下されてから2回目以降である場合には、受信部503は、フレーム画像および買物カゴIDに加えて、買物カゴ153の記憶媒体213に記憶された商品リストを受信する。
【0045】
送信部502により送信されたフレーム画像を受信すると、物体認識部504は、PLUファイルF1の商品画像を参照して、受信したフレーム画像から、特徴量を読み取ることによって特定の物体として商品を認識する(A702)。
【0046】
商品が認識されると、商品登録部505は、フレーム画像および買物カゴIDに加えて、商品リストを受信したか否かを判断する(A703)。商品リストを受信しなかった場合(A703のNo)、商品登録部505は、PLUファイルF1から、認識した商品の売上登録にかかる情報を読み出し、当該読み出した売上登録にかかる情報が記録された商品リストを作成し、作成した商品リストを、買物カゴ153の記憶媒体213に記憶させる(A704)。次いで、精算部506は、買物カゴ153の商品を精算するか否か、すなわち、商品精算ボタン153cが押下されて買物カゴ153から商品の精算が要求されたか否かを判断する(A705)。買物カゴ153の商品を精算しない場合(A705のNo)、A701に示す処理に戻り、受信部503が、フレーム画像の受信を行う。
【0047】
一方、買物カゴ153の商品の精算を行う場合(A705のYes)、精算部506は、商品精算ボタン153cが押下された際に受信部503が受信した商品リストに売上登録にかかる情報が記録された商品に対する精算を行う(A706)。
【0048】
また、フレーム画像および買物カゴIDに加えて、商品リストを受信した場合(A703のYes)、商品登録部505は、受信部503が受信した商品リストに売上登録にかかる情報が記録された商品と、認識した商品とを比較して、買物カゴ153への商品の追加が行われたか否かを判断する(A707)。そして、買物カゴ153への商品の追加が行われたと判断した場合(A707のYes)、商品登録部505は、PLUファイルF1から、認識した商品のうち受信した商品リストに売上登録にかかる情報が記録されていない商品(買物カゴ153に追加された商品)の売上登録にかかる情報を読み出し、当該買物カゴ153に追加された商品の売上登録にかかる情報を、受信した商品リストに記録する(A708)。そして、商品登録部505は、買物カゴ153に追加された商品の売上登録にかかる情報が記録された商品リストを、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶させる。
【0049】
例えば、図8に示すように、撮像画像取込部501は、撮像部153bにより撮像された買物カゴ153内の画像であって、買物カゴ153に収納された商品A〜Cの商品画像801〜803を含むフレーム画像800を取り込む。送信部501は、撮像画像取込部501により取り込まれたフレーム画像800、買物カゴ153の買物カゴID、および商品リストをPOS端末11に送信する。そして、受信部503がフレーム画像800、買物カゴID、および商品リストを受信すると、物体認識部504は、受信したフレーム画像800から、特徴量を読み取ることによって特定の物体としての商品A〜Cを認識する。次いで、商品登録部505は、受信した商品リストに売上登録にかかる情報が記録された商品A,Bと、認識した商品A〜Cとを比較して、買物カゴ153の中に商品Cが追加されたことを検知する。そして、商品登録部505は、受信した商品リストに、商品Cの売上登録にかかる情報を記録する。そして、商品登録部505は、商品Cの売上登録にかかる情報が記録された商品リストを、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶させる。
【0050】
図7に戻り、一方、買物カゴ153への商品の追加が行われていないと判断した場合(A707のNo)、商品登録部505は、受信部503が受信した商品リストに売上登録にかかる情報が記録された商品と、認識した商品とを比較して、買物カゴ153からの商品の取り出しが行われたか否かを判断する(A709)。そして、買物カゴ153からの商品の取り出しが行われたと判断した場合(A709のYes)、商品登録部505は、受信した商品リストから、当該商品リストに売上登録にかかる情報が記録された商品のうち物体認識部504により認識されなかった商品(つまり、買物カゴ153から取り出された商品)の売上登録にかかる情報を削除する(A710)。そして、商品登録部505は、買物カゴ153から取り出された商品の売上登録にかかる情報が削除された商品リストを、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶させる。
【0051】
例えば、図9に示すように、撮像画像取込部501は、撮像部153bにより撮像された買物カゴ153内の画像であって、買物カゴ153に収納された商品A,Bの商品画像901,902を含むフレーム画像900を取り込む。送信部502は、撮像画像取込部501により取り込まれたフレーム画像900、買物カゴ153の買物カゴID、および商品リストをPOS端末11に送信する。そして、受信部503がフレーム画像900、買物カゴID、および商品リストを受信すると、物体認識部504は、受信したフレーム画像900から、特徴量を読み取ることによって特定の物体としての商品A,Bを認識する。次いで、商品登録部505は、受信した商品リストに売上登録にかかる情報が記録された商品A〜Cと、認識した商品A,Bとを比較して、買物カゴ153の中から商品Cが取り出されたことを検知する。そして、商品登録部505は、受信した商品リストから商品Cの売上登録にかかる情報を削除する。そして、商品登録部505は、商品Cの売上登録にかかる情報が削除された商品リストを、受信した買物カゴIDにより特定される買物カゴ153の記憶媒体213に記憶させる。
【0052】
ここで、図10を用いて、受信したフレーム画像から買物カゴ153に収納された商品の認識し、認識した商品の売上登録にかかる情報が記録された商品リストを作成する動作の一例を説明する。例えば、買物カゴ153に商品A,Bが収納され、商品A,Bの商品画像1001,1002を含むフレーム画像1000を受信した場合、物体認識部504は、フレーム画像1000に含まれる商品画像1001,1002と、PLUファイルF1の商品画像(基準画像)1004,1005と、を比較する。そして、商品画像1001,1002から特徴量として読み取った表面の状態と、商品画像1004,1005の表面の状態とが一致した場合、物体認識部504は、フレーム画像1000に商品画像1001,1002が含まれる商品A,Bを、買物カゴ153に収納された商品として認識する。次いで、商品登録部505は、PLUファイルF1から、認識した商品A,Bの売上登録にかかる情報を読み出し、読み出した売上登録にかかる情報(例えば、商品名など)を記録した商品リスト1006を作成し、作成した商品リスト1006を記憶媒体213に記憶させる。
【0053】
図7に戻り、買物カゴ153からの商品の取り出しが行われていないと判断した場合(A709のNo)、精算部506は、買物カゴ153の商品を精算するか否か、すなわち、商品精算ボタン153cが押下されて買物カゴ153から商品の精算が要求されたか否かを判断する(A705)。買物カゴ153の商品を精算しない場合(A705のNo)、A701に示す処理に戻り、受信部503が、フレーム画像の受信を行う。
【0054】
一方、買物カゴ153の商品の精算を行う場合(A705のYes)、精算部506は、受信部503により受信した商品リストに売上登録にかかる情報が記録された商品対しての精算を行う(A706)。
【0055】
次に、POS端末11における精算動作について詳細に説明する。図11は、本実施形態にかかるPOS端末の精算動作の一例を示すフローチャートである。
【0056】
精算部506は、買物カゴ153の商品精算ボタン153cが押下されると、受信部503が受信した商品リストに売上登録にかかる情報が記録された商品に対しての精算を開始する(A1101)。
【0057】
精算部506は、受信した商品リストに売上登録にかかる情報として記録された、商品の単価を参照して、買物カゴ153内に収納された商品の合計金額を計算する(A1102)。そして、精算部506は、計算した合計金額を参照して、買物カゴ153内に収納された商品の会計を行う(A1103)。
【0058】
このように本実施形態のチェックアウトシステム1によれば、買物カゴ153が、商品を収納する買物カゴ153内のフレーム画像を撮像する撮像部153bと、撮像したフレーム画像を取り込む撮像画像取込部501と、取り込んだフレーム画像とともに買物カゴ153を特定する買物カゴIDをPOS端末11に送信する送信部502と、を備える。POS端末11が、送信されたフレーム画像および買物カゴIDを受信する受信部503と、受信したフレーム画像から商品を認識する物体認識部504と、認識した商品を、受信した買物カゴIDにより特定される買物カゴ153毎に売上登録する商品登録部505と、を備える。これにより、店員が買物カゴ153内の商品を識別して売上登録を行う必要がなくなるので、店員の作業負担を軽減することができる。
【0059】
なお、本実施形態のPOS端末11およびカート200で実行されるプログラムは、ROM等に予め組み込まれて提供される。本実施形態のPOS端末11および買物カゴ153(カート200)で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0060】
さらに、本実施形態のPOS端末11およびカート200で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態のPOS端末11およびカート200で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0061】
本実施形態のPOS端末11で実行されるプログラムは、上述した各部(受信部503、物体認識部504、商品登録部505、精算部506)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、受信部503、物体認識部504、商品登録部505、精算部506が主記憶装置上に生成されるようになっている。
【0062】
本実施形態のカート200で実行されるプログラムは、上述した各部(撮像画像取込部501、送信部502)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部501、送信部502が主記憶装置上に生成されるようになっている。
【0063】
なお、本実施形態では、POS端末11のCPU61に物体認識部504としての機能を持たせているが、これに限定するものではなく、カート200側のCPU211に物体認識部504としての機能を持たせてもよい。カート側200のCPU211に物体認識部504としての機能を持たせた場合、送信部502は、フレーム画像(撮像画像)に代えて認識した商品を特定する商品IDなどの商品情報を、買物カゴIDとともにPOS端末11に送信する。そして、POS端末11の商品登録部505は、受信した商品情報により特定される商品を、受信した買物カゴIDにより特定される買物カゴ153毎に売上登録するものとする。
【0064】
また、本実施形態では、POS端末11のCPU61に受信部503、物体認識部504、商品登録部505としての機能を持たせているが、これに限定するものではなく、ストアコンピュータSC(サーバ)のCPUに受信部503、物体認識部504、商品登録部505としての機能を持たせてもよい。
【0065】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0066】
11 POS端末
153 買物カゴ
153b 撮像部
200 カート
213 記憶媒体
501 撮像画像取込部
502 送信部
503 受信部
504 物体認識部
505 商品登録部
【特許請求の範囲】
【請求項1】
商品を収納する収納部と、
前記収納部内の画像を撮像する撮像部と、
前記撮像した画像とともに自装置を特定する識別情報を商品登録装置に送信する送信手段と、
を備えた商品収納装置。
【請求項2】
前記撮像した画像から商品を認識する認識手段を備え、
前記送信手段は、前記撮像した画像に代えて前記認識した商品の商品情報を、前記識別情報とともに前記商品登録装置に送信する請求項1に記載の商品収納装置。
【請求項3】
商品を収納する収納部内の撮像画像とともに前記収納部を備えた商品収納装置を特定する識別情報を受信する受信手段と、
前記受信した撮像画像から商品を認識する認識手段と、
前記認識された商品を、前記受信した識別情報により特定される前記商品収納装置毎に売上登録する登録手段と、
を備えた商品登録装置。
【請求項4】
前記受信手段は、所定時間毎に、前記撮像画像および前記識別情報を受信し、
前記登録手段は、前記認識された商品のうち前記受信した識別情報により特定される前記商品収納装置について売上登録されていない商品を売上登録し、前記受信した識別情報により特定される前記商品収納装置について売上登録された商品うち前記認識された商品に含まれない商品の売上登録を解除する請求項3に記載の商品登録装置。
【請求項5】
前記登録手段は、前記認識された商品を、前記受信した識別情報により特定される前記商品収納装置が備える記憶部に記憶させることにより、前記認識された商品を前記商品収納装置毎に売上登録する請求項4に記載の商品登録装置。
【請求項6】
商品を収納する収納部および前記収納部内の画像を撮像する撮像部を備えた商品収納装置と、商品を売上登録する商品登録装置と、を含む店舗システムで実行される商品登録方法であって、
前記商品収納装置は、
送信手段が、前記撮像した画像とともに前記商品収納装置を特定する識別情報を前記商品登録装置に送信する工程を含み、
前記商品登録装置は、
受信手段が、前記送信された画像とともに前記識別情報を受信する工程と、
認識手段が、前記受信した画像から商品を認識する工程と、
登録手段が、前記認識された商品を、前記受信した識別情報により特定される前記商品収納装置毎に売上登録する工程と、
を含む商品登録方法。
【請求項1】
商品を収納する収納部と、
前記収納部内の画像を撮像する撮像部と、
前記撮像した画像とともに自装置を特定する識別情報を商品登録装置に送信する送信手段と、
を備えた商品収納装置。
【請求項2】
前記撮像した画像から商品を認識する認識手段を備え、
前記送信手段は、前記撮像した画像に代えて前記認識した商品の商品情報を、前記識別情報とともに前記商品登録装置に送信する請求項1に記載の商品収納装置。
【請求項3】
商品を収納する収納部内の撮像画像とともに前記収納部を備えた商品収納装置を特定する識別情報を受信する受信手段と、
前記受信した撮像画像から商品を認識する認識手段と、
前記認識された商品を、前記受信した識別情報により特定される前記商品収納装置毎に売上登録する登録手段と、
を備えた商品登録装置。
【請求項4】
前記受信手段は、所定時間毎に、前記撮像画像および前記識別情報を受信し、
前記登録手段は、前記認識された商品のうち前記受信した識別情報により特定される前記商品収納装置について売上登録されていない商品を売上登録し、前記受信した識別情報により特定される前記商品収納装置について売上登録された商品うち前記認識された商品に含まれない商品の売上登録を解除する請求項3に記載の商品登録装置。
【請求項5】
前記登録手段は、前記認識された商品を、前記受信した識別情報により特定される前記商品収納装置が備える記憶部に記憶させることにより、前記認識された商品を前記商品収納装置毎に売上登録する請求項4に記載の商品登録装置。
【請求項6】
商品を収納する収納部および前記収納部内の画像を撮像する撮像部を備えた商品収納装置と、商品を売上登録する商品登録装置と、を含む店舗システムで実行される商品登録方法であって、
前記商品収納装置は、
送信手段が、前記撮像した画像とともに前記商品収納装置を特定する識別情報を前記商品登録装置に送信する工程を含み、
前記商品登録装置は、
受信手段が、前記送信された画像とともに前記識別情報を受信する工程と、
認識手段が、前記受信した画像から商品を認識する工程と、
登録手段が、前記認識された商品を、前記受信した識別情報により特定される前記商品収納装置毎に売上登録する工程と、
を含む商品登録方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−41465(P2013−41465A)
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願番号】特願2011−178541(P2011−178541)
【出願日】平成23年8月17日(2011.8.17)
【出願人】(000003562)東芝テック株式会社 (5,631)
【Fターム(参考)】
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願日】平成23年8月17日(2011.8.17)
【出願人】(000003562)東芝テック株式会社 (5,631)
【Fターム(参考)】
[ Back to top ]