説明

情報処理装置、情報処理方法及びプログラム

【課題】撮像された対象物に対応する商品の確定を簡便化して、より効率的に行うことが可能な情報処理装置及びプログラムを提供する。
【解決手段】実施形態の情報処理装置は、取込手段と、報知手段とを備える。取込手段は、撮像手段が撮像した画像を取り込む。報知手段は、前記撮像手段で撮像された物体の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度が、前記撮像された商品を前記基準画像に対応する商品のうち一の商品として確定する条件を満たした場合に、前記撮像された商品が前記条件を満たした前記基準画像に対応する商品として確定されたことを報知する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、物品を撮像した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ(特徴量)と比較することで、当該物品の種別等を認識(検出)する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する店舗システムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら従来技術においては、対象物の候補となる複数の商品を表示し、操作者がこれら複数の商品から一の商品を選択操作して確定する必要があり、商品の確定を簡便化してより効率的に行うことが望まれていた。
【課題を解決するための手段】
【0004】
実施形態の情報処理装置は、取込手段と、報知手段とを備える。取込手段は、撮像手段が撮像した画像を取り込む。報知手段は、前記撮像手段で撮像された物体の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度が、前記撮像された商品を前記基準画像に対応する商品のうち一の商品として確定する条件を満たした場合に、前記撮像された商品が前記条件を満たした前記基準画像に対応する商品として確定されたことを報知する。
【図面の簡単な説明】
【0005】
【図1】図1は、実施形態に係るチェックアウトシステム(店舗システム)の一例を示す斜視図である。
【図2】図2は、POS端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図3】図3は、PLUファイルのデータ構成を例示する概念図である。
【図4】図4は、POS端末及び商品読取装置の機能構成を示すブロック図である。
【図5】図5は、画像取込部によって取り込まれたフレーム画像の一例を示す図である。
【図6】図6は、確定画面の一例を示す図である。
【図7】図7は、確認画面の一例を示す図である。
【図8】図8は、商品候補のイラスト画像が表示された画面例を示す図である。
【図9】図9は、商品読取装置が実行する商品識別処理の手順を示すフローチャートである。
【図10】図10は、販売個数を受付可能である確定画面の一例を示す図である。
【図11】図11は、販売個数を表示した確定画面の一例を示す図である。
【図12】図12は、POS端末が実行する売上登録処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0006】
図1は、チェックアウトシステム1の一例を示す斜視図である。図1に示すように、チェックアウトシステム1は、商品に関する情報を読み取る商品読取装置101と、一取引に係る商品の登録、精算を行うPOS端末11とを備える。以下では、商品読取装置101を本実施形態にかかる情報処理装置として適用する例について説明する。尚、以下では、複数の図面に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する場合がある。
【0007】
POS端末11は、チェックアウト台41上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。POS端末11の上面には、オペレータ(店員)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、顧客用表示デバイス24が回転可能に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。
【0008】
POS端末11が載置されているチェックアウト台41とL字を形成するようにして、横長テーブル状のカウンタ台151が配置されている。カウンタ台151の上面には、荷受け面152が形成されている。荷受け面152には、商品Gを収納する買物カゴ153が載置される。買物カゴ153は、顧客によって持ち込まれる第1の買物カゴ153aと、第1の買物カゴ153aから商品読取装置101を挟んだ位置に載置される第2の買物カゴ153bとに分けて考えることができる。なお、買物カゴ153は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ153(第2の買物カゴ153b)は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
【0009】
カウンタ台151の荷受け面152には、POS端末11とデータ送受信可能に接続された商品読取装置101が設置されている。商品読取装置101は、薄型矩形形状のハウジング102を備える。ハウジング102の正面には読取窓103が配置されている。ハウジング102の上部には、表示・操作部104が取り付けられている。表示・操作部104には、タッチパネル105が表面に積層された表示デバイス106が設けられている。表示デバイス106の右隣にはキーボード107が配設されている。キーボード107の右隣には、図示しないカードリーダのカード読取溝108が設けられている。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス109が設置されている。
【0010】
このような商品読取装置101は、商品読取部110(図2参照)を備えている。商品読取部110は、読取窓103の奥側に撮像部164(図2参照)を配置している。
【0011】
顧客によって持ち込まれた第1の買物カゴ153aには、一取引に係る商品Gが収納されている。第1の買物カゴ153a内の商品Gは、商品読取装置101を操作するオペレータにより第2の買物カゴ153bに移動される。この移動過程で、商品Gが商品読取装置101の読取窓103に向けられる。この際、読取窓103内に配置された撮像部164(図2参照)は商品Gを撮像する。
【0012】
商品読取装置101では、撮像部164により撮像された画像に含まれる商品Gが、後述するPLUファイルF1(図3参照)に登録されたどの商品に対応するかを指定させるための画面を表示・操作部104に表示し、指定された商品の商品IDをPOS端末11に通知する。POS端末11では、商品読取装置101から通知される商品IDに基づき、当該商品IDに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル(図示しない)等に記録して売上登録を行う。
【0013】
図2は、POS端末11及び商品読取装置101のハードウェア構成を示すブロック図である。POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されて構成されている。
【0014】
POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。これらは、CPU61による制御を受ける。
【0015】
キーボード22は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、及び締めキー22fを含む。
【0016】
POS端末11のCPU61には、HDD64(Hard Disk Drive)が接続されている。HDD64には、プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムや各種ファイルは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により実行される。HDD64に記憶されているプログラムの一例は、商品販売データ処理用のプログラムPRである。HDD64に記憶されているファイルの一例は、ストアコンピュータSCから配信されて格納されているPLUファイルF1である。
【0017】
PLUファイルF1は、店舗に陳列して販売する商品Gの各々について、商品Gの売上登録にかかる情報と、その商品Gの画像との関連付けが設定された商品ファイルである。
【0018】
図3は、PLUファイルF1のデータ構成を例示する概念図である。図3に示すように、PLUファイルF1は、商品Gごとに、ユニークに割り当てられた商品ID、商品Gが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像(基準画像)と、その商品を示すイラスト画像とを、その商品Gの商品情報として格納するファイルである。尚、商品画像は、類似度の判定に用いられる商品の撮像画像(写真)である。なお、PLUファイルF1は、後述する接続インターフェース65を介し、商品読取装置101が読み出し可能に構成されている。
【0019】
なお、PLUファイルF1のデータ構成は図3の例に限らず、例えば、商品画像から読み取られる色合いや表面の凹凸状況等の特徴量を、各商品について格納する形態としてもよい。
【0020】
図2に戻り、POS端末11のCPU61には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信されるPLUファイルF1が格納されている。
【0021】
さらに、POS端末11のCPU61には、商品読取装置101との間でデータ送受信を可能にする接続インターフェース65が接続されている。接続インターフェース65には、商品読取装置101が接続されている。また、POS端末11のCPU61には、レシート等に印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御の下、一取引の取引内容をレシートに印字する。
【0022】
商品読取装置101も、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とがバス接続されて構成されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。CPU161には、撮像部164、音声出力部165が各種の入出力回路(いずれも図示せず)を介して接続されている。撮像部164、音声出力部165は、CPU161によって動作が制御される。表示・操作部104は接続インターフェース176を介して、商品読取部110及びPOS端末11に接続されている。表示・操作部104は、商品読取部110のCPU161、POS端末11のCPU61によって動作が制御される。
【0023】
撮像部164は、カラーCCDイメージセンサやカラーCMOSイメージセンサ等であり、CPU161の制御の下で読取窓103からの撮像を行う撮像手段である。例えば撮像部164では30fpsの動画像の撮像を行う。撮像部164が所定のフレームレートで順次撮像したフレーム画像(撮像画像)はRAM163に保存される。
【0024】
音声出力部165は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部165は、CPU161の制御の下で警告音や音声による報知を行う。
【0025】
さらに、CPU161には、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする接続インターフェース175が接続されている。また、CPU161は、接続インターフェース175を介して、表示・操作部104との間でデータ送受信を行う。
【0026】
次に、CPU161、CPU61がプログラムを実行することで実現されるCPU161、CPU61の機能構成について、図4を参照して説明する。
【0027】
図4は、POS端末11及び商品読取装置101の機能構成を示すブロック図である。図4に示すように、商品読取装置101のCPU161は、ROM162が格納するプログラムを実行することにより、画像取込部51、商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57、情報出力部58としての機能を備える。また、同様に、POS端末11のCPU61は、プログラムPRを実行することにより、売上登録部611としての機能を備える。
【0028】
画像取込部51は、撮像部164に撮像オン信号を出力して撮像部164に撮像動作を開始させる。画像取込部51は、撮像動作開始後に撮像部164が撮像してRAM163に保存されたフレーム画像を順次取り込む。画像取込部51によるフレーム画像の取り込みは、RAM163に保存された順に行われる。
【0029】
図5は、画像取込部51によって取り込まれたフレーム画像Rの一例を示す図である。図5に示すように、オペレータが読取窓103に商品Gをかざすと、撮像部164の読取領域Rには商品Gの全部または一部が撮影される。
【0030】
商品検出部52は、画像取込部51により取り込まれたフレーム画像に含まれる商品Gの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を2値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、売上登録のために読取窓103に向けられた商品を検出する。
【0031】
なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。
【0032】
類似度算出部53は、撮像部164により撮像された商品Gの全部または一部の画像から、商品Gの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部53は、処理時間の短縮を図るため、商品Gの輪郭や大きさは考慮しないものとする。
【0033】
また、類似度算出部53は、PLUファイルF1に登録された各商品(以下、登録商品という)の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Gの特徴量とそれぞれ比較することで、商品GとPLUファイルF1に登録された商品との類似度を算出する。ここで、類似度は、PLUファイルF1に記憶されている各商品の商品画像を100%=「類似度:1.0」とした場合に、商品Gの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。
【0034】
このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【0035】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【0036】
なお、撮像された商品Gの画像と、PLUファイルF1に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Gの画像と、PLUファイルF1に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【0037】
類似度を絶対評価として算出する場合、撮像された商品Gの画像と、PLUファイルF1に登録された各登録商品とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、PLUファイルF1に5つの登録商品(商品GA、GB、GC、GD、GE)が登録されていたとすると、撮像された商品Gは、商品GAに対して類似度が0.6、商品GBに対しては類似度が0.1、商品GCに対しては類似度が0.1、商品GDに対しては類似度が0.1、商品GEに対しては類似度が0.1等、各登録商品との類似度の総和が1.0(100%)となるよう算出すればよい。
【0038】
類似度判定部54は、画像取込部51が取り込んだフレーム画像ごとに、商品Gの画像と、PLUファイルF1に登録されている商品画像との類似度を比較する。本実施形態では、登録商品の商品画像と商品Gの画像との類似度について複数の条件が段階的に設けられており、類似度判定部54は、満たされる条件に応じて登録商品の確定あるいは商品の候補の選定を行う。類似度に関する条件は特に限定されるものではないが、以下では条件a〜cを用いる場合について説明する。
【0039】
ここで、条件aおよび条件bは、本実施形態に係る第1の条件であり、撮像部164が撮像した商品GをPLUファイルF1に登録された登録商品のうち一の商品として確定するための条件である。また、条件cは、本実施形態に係る第2の条件であり、PLUファイルF1に登録された登録商品から、撮像部164が撮像した商品Gの候補を抽出するための条件である。
【0040】
類似度判定部54は、条件aまたは条件bを満たす登録商品を、撮像部164が撮像した商品Gに一対一で対応する商品(以下、確定商品という)であると判定(確定)する。また、類似度判定部54は、条件cを満たす登録商品については、確定商品ではなく、撮像部164が撮像した商品Gの候補(以下、商品候補という)であると判定する。そして、PLUファイルF1に登録された複数の登録商品から条件cを満たす登録商品を抽出することにより、商品Gに対する商品候補を抽出する。
【0041】
条件a〜cは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件a〜cを設けることができる。ここでは、第1閾値〜第3閾値によって条件a〜cを設定する場合について説明する。なお、第1〜3閾値の大小関係は、第1閾値>第2閾値>第3閾値とする。
【0042】
類似度判定部54は、登録商品との類似度が予め定められた第1閾値(例えば90%)以上となった回数をカウントし、この回数が所定回数以上となった場合に条件aが満たされたと判定する。尚、第1閾値を誤判定が無いよう十分に高く設定した場合には、所定回数を1回として条件aを判定してもよい。
【0043】
また、類似度判定部54は、登録商品との類似度が第1閾値(例えば90%)未満、かつ、第1閾値より小さい第2閾値(例えば75%)以上となった場合に条件bが満たされたと判定する。そして、条件bを満たした登録商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。なお、登録商品との類似度が第1閾値(例えば90%)未満、かつ、第1閾値より小さい第2閾値(例えば75%)以上となった回数をカウントし、この回数が所定回数以上となった場合に条件bが満たされたと判定してもよい。
【0044】
さらに、類似度判定部54は、登録商品との類似度が第2閾値(例えば75%)未満、かつ、第2閾値より小さい第3閾値(例えば10%)以上である場合に、条件cが満たされたと判定する。なお、さらには登録商品との類似度が第2閾値(例えば75%)未満、かつ、第2閾値より小さい第3閾値(例えば10%)以上となった回数をカウントし、この回数が所定回数以上となった場合に条件cが満たされたと判定してもよい。
【0045】
なお、各条件a〜cは、類似度の大きさ、判定回数等に応じて適宜設定可能であり、上述した例に限定されるものではない。また、条件a〜cの判断に用いる所定回数はそれぞれ条件毎に異なる回数を設けるものであってもよい。
【0046】
確定報知部55は、撮像部164によって撮像された商品が、条件aまたは条件bを満たした登録商品であるとして一意的に確定されたことを、画像出力や音声出力等によってオペレータや客に報知する。
【0047】
より詳細には、確定報知部55(第1表示制御手段)は、条件aを満たした登録商品が、撮像部164によって撮像された商品(確定商品)として一意的に確定されたことを示す確定画面71(図6参照)を表示デバイス106に表示させる。
【0048】
図6は、確定画面71の一例を示す図である。条件aを満たす登録商品があった場合に、確定報知部55は読取領域R(図5参照)の撮像画像の表示を停止し、確定商品に対応するイラスト画像G1および商品名「にんじん」をPLUファイルF1から読み出して、確定画面71に表示する。また、確定報知部55は、PLUファイルF1から読み出した確定商品の商品名、商品価格(単価)を、商品名表示領域81、価格表示領域82にそれぞれ表示する。尚、確定報知部55は、イラスト画像G1の代わりに、PLUファイルF1から読み出した商品画像(写真)を表示してもよい。
【0049】
また、確定報知部55は、この確定画面71の表示のタイミングに合わせて、PLUファイルF1から読み出した商品名等、確定商品に関する情報を音声出力部165に出力する。音声出力部165は、入力された情報を出力することにより、確定商品を示す情報をオペレータや客に報知する。
【0050】
また、確定報知部55は、条件bを満たした登録商品(確定商品)が、撮像部164によって撮像された商品Gであるか否かの最終確認操作を受付ける確認画面72(図7参照)を表示デバイス106に表示させる。
【0051】
図7は、確認画面72の一例を示す図である。条件bを満たす登録商品があった場合に、確定報知部55は確定商品に対応するイラスト画像G1をPLUファイルF1から読み出して、確認画面72に表示する。また、確定報知部55は、PLUファイルF1から読み出した確定商品の商品名を用いて、読み取られた商品Gがイラスト画像G1の商品であるか否かを問うメッセージを「にんじんですか?」等と表示する。また、確認画面72には、「はい/いいえ」等のボタンがタッチパネル105に対するタッチ操作によって選択操作可能に設けられる。
【0052】
このように、確認画面72においては、類似度判定の結果、1つの商品Gに対して唯一に選別された登録商品(確定商品)の商品名や商品画像が示され、商品Gと登録商品とが一対一の関係を持って表示される。従って、確認画面72は、条件bを満たす登録商品が撮像部164によって撮像された商品Gとして一意的に確定されたことを報知する画面である。
【0053】
本実施形態では、このように撮像された商品が一意的に確定した場合に、撮像画像に替えて確定商品のイラスト画像を表示する。従って、オペレータは商品の識別が確定したことを直感的に認識することができ、かつ、識別された商品がどの商品であるかを一目で認識することができる。
【0054】
なお、確認報知部55は、確認画面72が表示されるタイミングに合わせて、確定商品に関する情報を音声出力部165に音声出力させるとしてもよいし、確認画面72では音声出力を行わないとしてもよい。確定画面71、確認画面72における音声出力の有無は、適宜設定可能である。
【0055】
商品候補提示部56(第2表示制御手段)は、条件cを満たした登録商品に関する情報を、商品候補として表示デバイス106に表示させる。より詳細には、商品候補提示部56は、条件cを満たした登録商品のイラスト画像および商品名をPLUファイルF1から読み出し、類似度算出部53が算出した類似度の高いものから、表示デバイス106に順次出力する。表示デバイス106は、商品候補提示領域83(図8参照)において、商品候補のイラスト画像および商品名を類似度の高いものから順に表示する。
【0056】
図8は、商品候補のイラスト画像G1、G2、G3が表示された画面例を示す図である。図8に示すように、商品候補提示領域83には、類似度の高い登録商品から順に、商品候補のイラスト画像G1、G2、G3および各商品名が表示される。これらイラスト画像G1、G2、G3はタッチパネル105に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域83の下部には、商品リストから商品を選択するための選択ボタン84が設けられており、商品リストから選択された商品は上述した確定商品として処理される。尚、図8では、イラスト画像G1〜G3に対応する3つの商品候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。また、イラスト画像に替えて商品画像(写真)を表示してもよい。
【0057】
なお、表示デバイス106に商品候補のイラスト画像G1〜G3が表示されていても、これら商品候補に対する選択操作を受付けない場合には、画像取込部51による画像取込処理、商品検出部52による検出処理、および類似度算出部53による類似度算出処理は継続される。従って、商品候補が選択されない間は、表示デバイス106の画面に読取領域Rの撮像画像が表示される。
【0058】
入力受付部57は、タッチパネル105またはキーボード107を介して表示デバイス106の表示に対応する各種入力操作を受付ける。例えば入力受付部57は、確認画面72(図7参照)に対する選択操作に基づいて、表示されたイラスト画像G1の商品が確定商品であることを最終確認した旨の入力操作(確認操作)を受付ける。尚、確定報知部55は、入力受付部57が確認操作を受付けた場合に、上述の確定画面71を表示デバイス106に表示する。
【0059】
入力受付部57は、表示デバイス106に表示された商品候補のイラスト画像G1〜G3(図8参照)の中からいずれか1つのイラスト画像に対する選択操作を受付ける。入力受付部57は、選択されたイラスト画像の登録商品を、商品Gに対する確定商品であるとして受付ける。尚、商品検出部52が複数の商品Gを検出可能である場合には、入力受付部57は商品候補の中から、複数の商品候補の選択操作を受付けてもよい。尚、確定報知部55は、入力受付部57が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面71を表示デバイス106に表示させる。
【0060】
情報出力部58は、上述のようにして確定された確定商品について、その商品を示す情報(例えば、商品IDや商品名等)を、接続インターフェース175を介してPOS端末11に出力する。
【0061】
尚、情報出力部58は、タッチパネル105又はキーボード107を介して別途入力された販売個数を、商品ID等とともにPOS端末11に出力するとしてもよい。また、情報出力部58がPOS端末11に出力する情報としては、情報出力部58がPLUファイルF1から読み出した商品IDを直接通知してもよいし、商品IDを特定することが可能な商品名、または、商品画像、イラスト画像のファイル名を通知してもよいし、その商品IDの格納場所(PLUファイルF1での格納アドレス)をPOS端末11に通知してもよい。
【0062】
POS端末11の売上登録部611は、情報出力部58から出力された商品IDと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部611は、PLUファイルF1を参照して、通知された商品ID及び当該商品IDに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
【0063】
次に、チェックアウトシステム1の動作について詳細に説明する。先ず、商品読取装置101の動作について説明する。図9は、商品読取装置101が実行する商品識別処理の手順を示すフローチャートである。図9では、第1閾値を類似度90%(0.90)、第2閾値を類似度75%(0.75)、第3閾値を類似度10%(0.10)と設定した場合について説明するが、各閾値はこれらに限定されるものではない。
【0064】
POS端末11による商品登録の開始等に応じて処理が開始されると、画像取込部51は、撮像部164に撮像オン信号を出力して撮像部164による撮像を開始する(ステップS11)。
【0065】
画像取込部51は、撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)を取り込む(ステップS12)。次いで、商品検出部52は、画像取込部51が取り込んだフレーム画像から商品Gの全部または一部の検出を行う(ステップS13)。続いて、類似度算出部53は、商品Gの全部または一部の画像から商品Gの特徴量を読み取り、PLUファイルF1に登録された各商品画像の特徴量と比較することで登録商品との類似度を算出する(ステップS14)。
【0066】
類似度判定部54は、類似度が90%以上となる登録商品があるか否かを判定する(ステップS15)。90%以上となる登録商品が無い場合(ステップS15:No)には、ステップS17に移行する。90%以上となる登録商品がある場合(ステップS15:Yes)には、同一の登録商品に対する類似度が90%以上となった回数が所定回数(例えば、3回)となったか否かを判定する(ステップS16)。所定回数に満たない場合(ステップS16:No)は、ステップS12に戻り、画像取込部51は撮像部164により撮像された新たなフレーム画像を取り込む。
【0067】
所定回数となった場合(ステップS16:Yes)には、確定報知部55は、確定商品のイラスト画像を含む確定画面71(図6参照)を表示させるとともに、確定商品の商品名を音声通知することにより確定商品を報知する(ステップS23)。また、情報出力部58は、確定商品とされた登録商品の商品ID等を、キーボード107を介して別途入力された販売個数とともにPOS端末11に出力し(ステップS24)、その後はステップS25の処理に移行する。
【0068】
ステップS15:Noの場合に、類似度判定部54は、類似度が75%以上90%未満となる登録商品があるか否かを判定する(ステップS17)。類似度がこの範囲内となる登録商品がある場合(ステップS17:Yes)には、その登録商品をオペレータの確認を要する確定商品であると判定し、表示デバイス106に確認画面72を表示させる(ステップS18)。入力受付部57は、確認画面72(図7参照)において「はい」が選択されたか否かを判定する(ステップS19)。「はい」が選択された場合(ステップS19:Yes)にはステップS23に移行し、確定報知部55は確定画面71を表示させる。一方、「いいえ」が選択された場合(ステップS20:No)にはステップS12に戻る。
【0069】
一方、類似度が75%以上90%未満となる登録商品が無い場合(ステップS17:No)に、類似度判定部54は、類似度が10%以上75%未満の登録商品があるか否かを判定し、類似度がこの範囲内である登録商品を商品Gの商品候補として抽出する(ステップS20)。この範囲内の登録商品が無い場合(ステップS20:No)には、ステップS12に戻る。類似度が10%以上75%未満の登録商品がある場合(ステップS20:Yes)には、類似度判定部54は、該当する登録商品を商品Gの商品候補であると判定する。そして、商品候補提示部56は、商品候補として判定された登録商品のイラスト画像および商品名を、類似度の高い順にソートして商品候補提示領域83に表示する(ステップS21)。
【0070】
入力受付部57は、登録商品の商品画像に対する選択操作を受付けたか否かを判定する(ステップS22)。選択を受付けた場合(ステップS22:Yes)にはステップS23に移行し、確定報知部55は確定画面71を表示させる。一方、選択を受付けない場合(ステップS22:No)にはステップS12に移行する。
【0071】
ステップS25においてCPU161は、POS端末11から商品登録の終了通知等による業務終了の有無を判定する。業務を継続する場合(ステップS25:No)、CPU161は、ステップS12へ処理を戻して処理を継続させる。業務を終了する場合(ステップS25:Yes)、画像取込部51は、撮像部164に撮像オフ信号を出力して撮像部164による撮像を終了し(ステップS26)、処理を終了する。
【0072】
なお、上述のステップS24では、キーボード107を介して販売個数の入力を受付けるとしたが、販売個数の入力方法は特に限定されるものではない。例えば、確定画面71に表示された商品画像にタッチする回数を販売個数として受付けてもよい。また、確定画面71において販売個数を受付ける構成としてもよい。
【0073】
図10は、販売個数を受付可能である確定画面71bの一例を示す図である。図10に示すように、確定画面71bには確定商品のイラスト画像G1と商品名「にんじん」とが表示されるとともに、テンキー85が設けられており、このテンキー85から商品の販売個数が入力可能に構成されている。販売個数が入力された後に決定ボタン86が選択されると、入力受付部57はこの確定商品の商品IDと販売個数の入力を受付ける。そして確定報知部55は、図11に示すように、確定画面71cの商品名表示領域81において、確定商品の商品名とともに販売個数を表示し、価格表示領域82に単価と販売個数とに基づいて計算した小計金額を表示する。
【0074】
次に、POS端末11の動作について説明する。図12は、POS端末11が実行する売上登録処理の手順を示すフローチャートである。
【0075】
まず、キーボード22の操作指示による商品登録の開始等に応じて処理が開始されると、CPU61は、商品読取装置101が図9のステップS24で出力した、確定商品の商品IDとその販売個数とを受信する(ステップS31)。次いで、売上登録部611は、ステップS31で受信した商品ID及び販売個数に基づいて、PLUファイルF1から商品種別や単価等を読み出し、商品読取装置101で読み取られた商品Gの売上を売上マスタファイルに登録する(ステップS32)。続いて、CPU61は、キーボード22の操作指示による売上登録の終了等による業務終了の有無を判定する(ステップS33)。業務を継続する場合(ステップS33:No)、CPU61は、ステップS31へ再び戻り処理を継続させる。業務を終了する場合(ステップS33:Yes)、CPU61は処理を終了する。
【0076】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0077】
例えば、上記実施形態では、商品読取装置101において、商品Gを一つずつ撮像する形態について説明したが、一度に撮像する商品Gの個数は特に限らず、複数であってもよい。一度に複数の商品Gを撮像するような場合には、複数の商品Gと登録商品の画像(G1、G2、G3、…)との類似度をそれぞれ算出し、算出結果と上記閾値とを比較することにより、確定商品、候補商品を選別すればよい。
【0078】
また、上述した各表示画面の構成は、図5〜図8、図10〜図11の例に限らず、他の要素を表示するための表示領域や操作ボタンを設ける形態としてよい。
【0079】
また、上記実施形態では、POS端末11がPLUファイルF1を備える形態としたが、これに限らず、商品読取装置101がPLUファイルF1を備える形態としてもよいし、POS端末11及び商品読取装置101がアクセス可能な外部装置がPLUファイルF1を備える形態としてもよい。
【0080】
また、上記実施形態では、商品読取装置101が類似度算出部53、類似度判定部54の機能を有するとしたが、これに限らず、POS端末11が類似度算出部53、類似度判定部54の機能を備えて、算出結果や判定結果を商品読取装置101に出力する形態としてもよい。
【0081】
なお、上述では、複数の閾値として、第1〜第3閾値の3つの閾値によって類似度を4段階に判定する例を挙げて説明したが、実施形態はこれに限定されるものではない。3つ以上の閾値を用いてより多段階に判定するとしてもよいし、2つ以下の閾値を用いて判定してもよい。また、各閾値はユーザによって変更可能に設けられていてもよい。また、上述では、第1〜第3閾値、および条件a〜cを全商品で共通とした例を挙げたが、これに限定されず、登録商品ごとに各閾値や条件がそれぞれ設定されてもよい。
【0082】
また、上述では、第1の条件を、確認画面72を表示させる場合(条件b)と確認画面72を表示させない場合(条件a)との2段階に分ける実施形態としたが、このように第1の条件を多段階に分けずともよい。即ち、上述の例に沿って他の例を示すと、いずれの条件a、bが満たされた場合にも確認画面72を表示させずに商品を確定する形態としてもよく、また、確認画面72を表示させるか否かを設定可能としてもよい。
【0083】
また、上記実施形態では、POS端末11と商品読取装置101との2台構成としたが、これに限らず、POS端末11及び商品読取装置101の機能を備えた1台構成の装置としてもよい。
【0084】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【0085】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【0086】
以上のように、本実施形態によれば、商品Gと各商品の基準画像との類似度が、撮像部164によって撮像された商品を基準画像に対応する商品のうち一の商品として確定する条件を満たした場合に、撮像部164によって撮像された商品が当該条件を満たした基準画像に対応する商品として確定されたことを報知する。従って、所定の条件が満たされた場合には、オペレータが商品候補の中から商品を選択せずとも商品Gに対応する商品を確定することができるため、商品Gに対応する登録商品の確定を簡便化して効率的に行うことができる。
【符号の説明】
【0087】
1…チェックアウトシステム、11…POS端末、101…商品読取装置、102…ハウジング、103…読取窓、104…表示・操作部、105…タッチパネル、106…表示デバイス、107…キーボード、108…カード読取溝、109…顧客用表示デバイス、51…画像取込部、52…商品検出部、53…類似度算出部、54…類似度判定部、55…確定報知部、56…商品候補提示部、57…入力受付部、58…情報出力部、611…売上登録部、71、71b、71c…確定画面、72…確認画面、81…商品名表示領域、82…価格表示領域、83…商品候補提示領域、84…選択ボタン、85…テンキー、86…決定ボタン、F1…PLUファイル、G…商品、G1…イラスト画像、R…フレーム画像
【先行技術文献】
【特許文献】
【0088】
【特許文献1】特開2003−173369号公報

【特許請求の範囲】
【請求項1】
撮像手段が撮像した画像を取り込む取込手段と、
前記撮像手段で撮像された物体の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度が、前記撮像された商品を前記基準画像に対応する商品のうち一の商品として確定する条件を満たした場合に、前記撮像された商品が前記条件を満たした前記基準画像に対応する商品として確定されたことを報知する報知手段と、
を備える情報処理装置。
【請求項2】
前記取込手段が取り込んだ画像ごとに基準画像との類似度を比較し、当該類似度が、前記撮像された商品を前記基準画像に対応する一の商品として確定する第1の条件、または、前記撮像された商品の候補を抽出する第2の条件を満たしているかを判定する判定手段と、
前記撮像された商品が、前記第1の条件を満たした前記基準画像に対応する商品として確定されたことを表示する第1表示制御手段と、
前記撮像された商品の候補として、前記第2の条件を満たした前記基準画像に対応する商品に関する情報を表示する第2表示制御手段と、
前記商品の候補から少なくとも1つが選択操作された場合に、当該商品の候補を前記撮像手段によって撮像された商品として確定する操作を受付ける受付手段と、
をさらに備える請求項1に記載の情報処理装置。
【請求項3】
前記撮像手段によって撮像された商品が確定された場合に、前記撮像手段で撮像された画像に替えて、確定された商品を示す画像を表示する表示制御手段をさらに備える請求項1または2に記載の情報処理装置。
【請求項4】
前記判定手段は、前記取込手段が取り込んだ画像ごとに前記基準画像に対する前記類似度が第1閾値以上であるか否かを判定し、同一の前記基準画像に対する前記類似度が所定回数以上前記第1閾値以上であると判定された場合に、前記第1の条件が満たされたと判定し、前記基準画像に対する前記類似度が、前記第1閾値未満、かつ、当該閾値より小さい第2閾値以上である場合に、前記第2の条件が満たされたと判定する、請求項2または3に記載の情報処理装置。
【請求項5】
前記報知手段は、前記所定の条件を満たした基準画像に対応する商品に関する情報を音声通知することにより前記報知を行う、請求項1ないし4のいずれか1つに記載の情報処理装置。
【請求項6】
情報処理装置を制御するコンピュータを、
撮像手段が撮像した画像を取り込む取込手段と、
前記撮像手段で撮像された物体の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度が、前記撮像された商品を前記基準画像に対応する商品のうち一の商品として確定する条件を満たした場合に、前記撮像された商品が前記条件を満たした前記基準画像に対応する商品として確定されたことを報知する報知手段と、
として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2013−89085(P2013−89085A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−230000(P2011−230000)
【出願日】平成23年10月19日(2011.10.19)
【特許番号】特許第5194160号(P5194160)
【特許公報発行日】平成25年5月8日(2013.5.8)
【出願人】(000003562)東芝テック株式会社 (5,631)
【Fターム(参考)】