提供商品確認装置、プログラム、および提供商品確認方法
【課題】顧客から注文を受けた商品を間違えることなく提供する。
【解決手段】実施形態の提供商品確認装置は、登録手段と、画像取込手段と、商品認識手段と、確認手段と、報知手段と、を備える。前記登録手段は、注文商品の売上登録を行う。前記画像取込手段は、撮像画像を取り込む。前記商品認識手段は、前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する。前記確認手段は、前記認識された商品が、前記売上登録が行われた注文商品であるか否かを、前記認識された商品毎に確認する。前記報知手段は、前記認識された商品が前記売上登録が行われた注文商品であるか否かの確認結果を報知する。
【解決手段】実施形態の提供商品確認装置は、登録手段と、画像取込手段と、商品認識手段と、確認手段と、報知手段と、を備える。前記登録手段は、注文商品の売上登録を行う。前記画像取込手段は、撮像画像を取り込む。前記商品認識手段は、前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する。前記確認手段は、前記認識された商品が、前記売上登録が行われた注文商品であるか否かを、前記認識された商品毎に確認する。前記報知手段は、前記認識された商品が前記売上登録が行われた注文商品であるか否かの確認結果を報知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、提供商品確認装置、プログラム、および提供商品確認方法に関する。
【背景技術】
【０００２】
飲食店等の店舗では、顧客から注文を受けた際に、顧客に提供する商品を用意し、用意した商品が注文商品であるか否かを店員が目視で確認した上で、用意した商品をトレーに載せてあるいは袋詰めして顧客に提供する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、上述した商品の提供形態を採用する店舗側には、注文商品を間違えることなく提供することが要求される。しかしながら、店舗側は、顧客から受けた注文に従って商品を用意するが、注文商品のパッケージが他の商品のパッケージに見分け難い場合等、注文商品に類似した商品を用意してしまう可能性がある。
【課題を解決するための手段】
【０００４】
実施形態の提供商品確認装置は、登録手段と、画像取込手段と、商品認識手段と、確認手段と、報知手段と、を備える。前記登録手段は、注文商品の売上登録を行う。前記画像取込手段は、撮像画像を取り込む。前記商品認識手段は、前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する。前記確認手段は、前記認識された商品が、前記売上登録が行われた注文商品であるか否かを、前記認識された商品毎に確認する。前記報知手段は、前記認識された商品が前記売上登録が行われた注文商品であるか否かの確認結果を報知する。
【図面の簡単な説明】
【０００５】
【図１】図１は、ＰＯＳ端末を示す斜視図である。
【図２】図２は、ＰＯＳ端末のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。
【図４】図４は、本実施形態にかかるＰＯＳ端末の機能構成を示すブロック図である。
【図５】図５は、本実施形態にかかるＰＯＳ端末における提供商品確認処理の流れを示すフローチャートである。
【図６】図６は、店舗側が用意した提供商品が売上登録された注文商品であるか否かを確認する処理を説明するための図である。
【図７】図７は、店舗側が用意した提供商品が売上登録された注文商品であるか否かを確認する処理を説明するための図である。
【発明を実施するための形態】
【０００６】
以下では、一取引にかかる商品の登録、清算を行うＰＯＳ（Point Of Sales）端末を例に本実施形態にかかる提供商品確認装置、プログラム、および提供商品確認方法について、図面を参照して説明する。本実施形態は、顧客からの注文を受けた際に、顧客に提供する提供商品を用意し、用意した提供商品が注文商品であるか否かを確認した上で、提供商品をトレーに載せてあるいは袋詰めして顧客に提供するファーストフード店等の店舗に導入されたＰＯＳ端末への適用例である。
【０００７】
図１は、ＰＯＳ端末を示す斜視図である。図１に示すように、ＰＯＳ端末１１は、一取引にかかる商品の登録、精算を行うものである。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。チェックアウト台５１は、ドロワ２１が載置された面と同一面上に荷受面５２を有している。荷受面５２には、顧客からの注文を受けて店舗側が顧客に提供する提供商品を載置する商品トレー５３が載置される。なお、提供商品を載置するものは、トレー状のものに限るものではなく、ドーナツ店等の店舗において用いられる紙箱などであっても良い。
【０００８】
ＰＯＳ端末１１の上面には、オペレータ（ユーザ）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層配置されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００９】
また、ＰＯＳ端末１１の側面には、荷受台５２上の商品トレー５３に載置された提供商品の商品画像を含む画像を撮像する撮像部２８を支持するアーム２７が取り付けられている。オペレータによって荷受台５２上に置かれた商品トレー５３には、顧客に提供する提供商品が載置されている。撮像部２８は、商品トレー５３上に載置された提供商品の商品画像を含む画像を撮像する。ＰＯＳ端末１１は、顧客からの注文を受けて、注文商品の売上登録を行う。次いで、ＰＯＳ端末１１は、撮像部２８により撮像された撮像画像に含まれる商品画像から提供商品を認識する。そして、ＰＯＳ端末１１は、認識された提供商品が、売上登録を行った注文商品であるか否かを確認する。これにより、ＰＯＳ端末１１は、売上登録を行った注文商品と、認識した提供商品とに相違がないこと確認する機能を店舗に提供する。
【００１０】
図２は、ＰＯＳ端末のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。
【００１１】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１２】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、締めキー２２ｆ、および商品名や商品画像などが上面に表示され顧客から注文を受けた注文商品の売上登録を指示するための売上登録キー２２ｇを含む。
【００１３】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、提供商品確認処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１や閾値ファイルＦ２である。
【００１４】
ＰＬＵファイルＦ１は、商品の各々について、売上登録する注文商品に関わる情報と、その注文商品の商品画像（基準画像）とを対応付けて記憶する商品マスタファイルである。図３は、ＰＬＵファイルのデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品ごとに、ユニークに割り当てられた商品ＩＤ、提供商品が属する商品分類、商品名、単価などの商品に関わる情報と、その商品を撮像した基準画像と、を記憶するファイルである。このようなＰＬＵファイルＦ１は、注文対象となる商品群（主食、副食、デザート、ドリンク等）によって分けられている。
【００１５】
閾値ファイルＦ２は、「類似度：０．ＸＸ」という閾値を格納するファイルである。詳細は後述するが、この「類似度：０．ＸＸ」という閾値は、注文商品とは異なる商品が商品トレー５３上に用意された場合などは、撮像部２８により撮像された画像に含まれる商品画像と、予めＰＬＵファイルＦ１に記憶していた商品の基準画像と比較することで、商品トレー５３上に用意された商品が注文商品とは異なる商品であると判断することが可能となる。このような閾値ファイルＦ２も、対象となる商品群（パン、青果、惣菜等）によって分けられている。
【００１６】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００１７】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。また、ＰＯＳ端末１１のＣＰＵ６１には、撮像部２８が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部２は、ＣＰＵ６１によって動作が制御される。
【００１８】
撮像部２８は、カラーＣＣＤ（Charged Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであり、ＣＰＵ６１の制御の下で商品トレー５３上に載置された提供商品の商品画像を含む画像の撮像を行う。例えば、撮像部２８は、３０ｆｐｓの動画像の撮像を行う。撮像部２８が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ６３に保存される。
【００１９】
次に、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ６１の機能部について、図４を参照して説明する。図４は、本実施形態にかかるＰＯＳ端末の機能構成を示すブロック図である。図４に示すように、ＣＰＵ６１は、プログラムを順次実行することにより、商品登録部６１１、撮像画像取込部６１２、商品検出部６１３、物体認識部６１４、確認部６１５、報知部６１６としての機能を備える。
【００２０】
商品登録部６１１は、商品マスタファイルＦ１から、売上登録キー２２ｇにより売上登録が指示された注文商品に関わる情報として、売上登録が指示された注文商品の商品ＩＤ、商品分類、商品名、単価、商品画像などを読み出す。そして、商品登録部６１１は、読み出した商品ＩＤ、商品分類、商品名、単価などの商品に関わる情報を売上マスタファイルなどに記録して、注文商品の売上登録を行うものである。
【００２１】
撮像画像取込部６１２は、撮像部２８に撮像オン信号を出力して撮像部２８に撮像動作を開始させる。撮像画像取込部６１２は、撮像動作開始後に撮像部２８が撮像してＲＡＭ６３に保存されたフレーム画像（撮像画像）を順次取り込む。撮像画像取込部６１２によるフレーム画像の取り込みは、ＲＡＭ６３に保存された順に行われる。
【００２２】
商品検出部６１３は、撮像画像取込部６１２により取り込まれたフレーム画像に含まれる商品画像の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、商品検出部６１３は、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、商品検出部６１３は、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、商品トレー５３に載置された提供商品の商品画像の写り込みを検出する。
【００２３】
なお、提供商品の商品画像を検出する別の方法としては、商品検出部６１３は、取り込まれたフレーム画像から商品トレー５３の画像を検出する。次いで、商品検出部６１３は、商品トレー５３の画像が検出された場合、上述した輪郭線の検出を行うことで、商品トレー５３に載置されていると想定される提供商品の商品画像の輪郭抽出を試みる。そして、商品検出部６１３は、商品トレー５３の輪郭と、それ以外の輪郭とが検出された場合には、商品トレー５３に提供商品が載置されていることから、提供商品の商品画像の写り込みを検出する。
【００２４】
物体認識部６１４は、商品検出部６１３により提供商品の商品画像の写り込みが検出された場合に、ＰＬＵファイルＦ１の商品画像を参照して、撮像画像取込部６１２により取り込まれたフレーム画像に含まれる商品画像から提供商品を認識する商品認識部である。具体的には、物体認識部６１４は、ＰＬＵファイルＦ１の商品画像を参照して、取り込まれたフレーム画像に含まれる提供商品の全部または一部の商品画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として、商品トレー５３に載置された提供商品を認識する。なお、物体認識部６１４は、処理時間の短縮を図るため、フレーム画像に含まれる商品画像の輪郭や大きさは考慮しないものとする。
【００２５】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００２６】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００２７】
本実施形態では、物体認識部６１４は、認識した提供商品について類似度を算出する。次いで、物体認識部６１４は、類似度が閾値ファイルＦ２において予め定められた閾値を超えているか否かを判定する。類似度は、ＰＬＵファイルＦ１に記憶されている各提供商品の商品画像を１００％＝「類似度：１．０」とした場合に、撮像画像取込部６１２により取り込まれたフレーム画像に含まれる提供商品の全部または一部の商品画像がどの程度類似しているかを示すものである。物体認識部６１４は、フレーム画像に含まれる商品画像から読み取った、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、色合いと表面の凹凸状況とには、重み付けを変えるようにしても良い。
【００２８】
そして、物体認識部６１４は、算出した類似度が予め定められた閾値（「類似度：０．ＸＸ」）を超えていると判定した場合、ＰＬＵファイルＦ１から、認識した提供商品の商品画像と対応付けられた商品に関わる情報（商品ＩＤ、商品分類、商品名、単価など）を読み出し、読み出した情報をＲＡＭ６３に一時的に記憶させる。
【００２９】
確認部６１５は、物体認識部６１４に認識された提供商品が、売上マスタファイルに商品に関わる情報を記録した注文商品（売上登録を行った商品）であるか否かを、認識された提供商品毎に確認する。本実施形態では、確認部６１５は、物体認識部６１４によりＲＡＭ６３に記憶された商品に関わる情報と売上マスタファイルに記憶した商品に関わる情報とを比較して、認識された提供商品と売上登録を行った注文商品とが一致するか否かを判断する。そして、確認部６１５は、売上登録された注文商品のうち少なくとも１つが認識された提供商品の中に含まれていなかった場合、認識された提供商品と売上登録された注文商品とが異なると判断する。
【００３０】
報知部６１６は、認識された商品が売上登録が行われた注文商品であるか否かの確認結果を報知するものである。具体的には、報知部６１６は、売上登録された注文商品のうち少なくとも１つが認識された提供商品の中に含まれていなかった場合、つまり、認識された提供商品が売上登録された注文商品ではないことが確認された場合、認識された提供商品の提供を禁止するメッセージを表示デバイス２３に表示して、確認結果を報知する。
【００３１】
また、報知部６１６は、認識された提供商品が売上登録された注文商品ではないことが確認された場合、認識された提供商品のうち売上登録された注文商品でないことが確認された提供商品に関わる情報（ＲＡＭ６３に記憶された商品に関わる情報）を表示デバイス２３に表示して、当該認識された提供商品のうち売上登録された注文商品でないことが確認された商品に関わる情報を報知する。これにより、店舗側は、認識された提供商品の中から、売上登録されていない注文商品を容易に特定することができる。
【００３２】
また、報知部６１６は、売上登録された注文商品の全てが認識された提供商品の中に含まれていた場合、つまり、認識された提供商品が売上登録された注文商品であること確認された場合、認識された提供商品の提供を許可するメッセージを表示デバイス２３に表示して、確認結果を報知する。
【００３３】
なお、本実施形態では、報知部６１６は、表示デバイス２３にメッセージを表示することにより、認識された提供商品が売上登録された注文商品であるか否かの確認結果を報知しているが、これに限定するものではない。例えば、報知部６１６は、ＰＯＳ端末１１が予め設定された警告音などを発生するための音声回路とスピーカなどを備える場合には、警告音などの音声により、認識された提供商品が売上登録された注文商品であるか否かの確認結果を報知しても良い。
【００３４】
次に、図５を用いて、店舗側が用意した商品が売上登録された商品であるか否かを確認する提供商品確認処理の流れについて説明する。図５は、本実施形態にかかるＰＯＳ端末における提供商品確認処理の流れを示すフローチャートである。
【００３５】
売上登録キー２２ｇが押下されると、商品登録部６１１は、ＰＬＵマスタファイルＦ１から、顧客からの注文を受けて売上登録が指示された注文商品の商品に関わる情報を読み出し、読み出した商品に関わる情報を売上マスタファイルに記録することにより、注文商品の売上登録を行う（ステップＳ５０１）。
【００３６】
注文商品の売上登録が行われると、撮像画像取込部６１２は、撮像部２８に撮像オン信号を出力して撮像部２８に撮像動作を開始させる（ステップＳ５０２）。さらに、撮像画像取込部６１２は、撮像部２８が撮像してＲＡＭ６３に保存されたフレーム画像を取り込む（ステップＳ５０３）。
【００３７】
次いで、撮像画像取込部６１２によりフレーム画像が取り込まれ、商品検出部６１３により提供商品の商品画像の写り込みが検出されると、物体認識部６１４は、ＰＬＵファイルＦ１の商品画像を参照して、取り込んだフレーム画像に含まれる提供商品の全部または一部の商品画像から、色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として、商品トレー５３に載置された提供商品を認識する（ステップＳ５０４）。
【００３８】
また、本実施形態では、物体認識部６１４は、認識した提供商品の類似度を算出し、算出した類似度が予め設定された閾値を超えているか判定する。そして、物体認識部６１４は、算出した類似度が予め設定された閾値を超えていると判定した場合、ＰＬＵファイルＦ１から、認識した提供商品の商品に関わる情報を読み出し、ＲＡＭ６３に一時記憶させる。
【００３９】
商品トレー５３に載置された提供商品が認識されると、確認部６１５は、ＲＡＭ６３に一時記憶された商品に関わる情報と売上マスタファイルに記憶された商品に関わる情報とを比較する。つまり、確認部６１５は、認識された提供商品と注文商品（売上登録された商品）とを比較して、認識された提供商品が注文商品と一致するかを、認識された提供商品毎に確認する（ステップＳ５０５）。
【００４０】
そして、注文商品の全てが、認識された提供商品と一致した場合（ステップＳ５０６：Ｙｅｓ）、報知部６１６は、認識された提供商品の提供を許可するメッセージを表示デバイス２３に表示して、店舗側が用意した提供商品（認識された提供商品）が注文通りであることを報知する（ステップＳ５０７）。例えば、報知部６１６は、注文商品の全てが、認識された提供商品と一致した場合、商品トレー５３に載置された提供商品の袋詰めを許可するメッセージを、認識された提供商品の提供を許可するメッセージとして表示デバイス２３に表示しても良い。
【００４１】
一方、注文商品の少なくとも一つが認識された提供商品と一致しなかった場合（ステップＳ５０６：Ｎｏ）、報知部６１６は、認識された提供商品の提供を禁止するメッセージを表示デバイス２３に表示して、店舗側が用意した商品が注文とは異なることを報知する（ステップＳ５０８）。なお、報知部６１６は、物体認識部６１４によって認識した提供商品の類似度が予め設定された閾値を超えていないと判定された場合にも、店舗側が用意した商品が注文とは異なることを報知しても良い。
【００４２】
次に、図６および図７を用いて、店舗側が用意した提供商品が売上登録された注文商品であるか否かを確認する処理の一例について説明する。図６および図７は、店舗側が用意した提供商品が売上登録された注文商品であるか否かを確認する処理を説明するための図である。
【００４３】
例えば、図６に示すように、商品登録部６１１によって顧客から注文された注文商品Ａ〜Ｃの売上登録が行われ、かつ撮像画像取込部６１２によって商品トレー５３に載置された提供商品Ａ´〜Ｃ´の商品画像６０１〜６０３を含むフレーム画像６００が取り込まれた場合、物体認識部６１４は、取り込まれたフレーム画像６００に含まれる商品画像６０１〜６０３から、提供商品Ａ´〜Ｃ´を認識する。そして、確認部６１５は、物体認識部６１４により認識された提供商品Ａ´〜Ｃ´（用意した商品）と、商品登録部６１１により売上登録された注文商品Ａ〜Ｃと、が一致することを確認する。
【００４４】
一方、図７に示すように、商品登録部６１１によって顧客から注文された注文商品Ａ〜Ｃの売上登録が行われ、かつ撮像画像取込部６１２によって商品トレー５３に載置された提供商品Ｂ´，Ｃ´，Ｄ´の商品画像６０２，６０３，７０１を含むフレーム画像７００が取り込まれた場合、物体認識部６１４は、取り込まれたフレーム画像７００に含まれる商品画像６０２，６０３，７０１から、提供商品Ｂ´，Ｃ´，Ｄ´を認識する。そして、確認部６１５は、物体認識部６１４により認識された提供商品Ｂ´，Ｃ´，Ｄ´と、商品登録部６１１により売上登録された注文商品Ａ〜Ｃと、が異なることを確認する。具体的には、確認部６１５は、物体認識部６１４により認識された提供商品Ｄ´が、商品登録部６１１により売上登録された注文商品Ａ〜Ｃと一致しないことを確認する。
【００４５】
このように本実施形態にかかるＰＯＳ端末１１によれば、注文商品の売上登録を行い、撮像画像を取り込み、取り込んだ撮像画像に含まれる提供商品の商品画像から提供商品を認識し、認識された提供商品が、売上登録を行った注文商品であるか否かを、認識された提供商品毎に確認し、認識された商品が売上登録が行われた注文商品であるか否かの確認結果を報知することにより、ＰＯＳ端末１１のオペレータが提供商品と注文商品とが一致するか否かを目視で確認する必要がなくなるので、売上登録を行った注文商品を間違えることなく提供することができる。また、店舗側が用意した提供商品を認識することができるので、予め設定された複数の商品の組み合わせからなるセット商品の確認だけでなく、単品の組み合わせからなる商品の確認も行うことができる。
【００４６】
なお、本実施形態のＰＯＳ端末１１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４７】
さらに、本実施形態のＰＯＳ端末１１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４８】
本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（商品登録部６１１、撮像画像取込部６１２、商品検出部６１３、物体認識部６１４、確認部６１５、報知部６１６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ商品登録部６１１、撮像画像取込部６１２、商品検出部６１３、物体認識部６１４、確認部６１５、報知部６１６が主記憶装置上に生成されるようになっている。
【００４９】
なお、本実施形態においては、ＰＯＳ端末１１側に商品登録部６１１、撮像画像取込部６１２、商品検出部６１３、物体認識部６１４、確認部６１５、報知部６１６を備えるようにしたが、これに限るものではなく、ストアコンピュータＳＣなどの外部機器側に商品登録部６１１、撮像画像取込部６１２、商品検出部６１３、物体認識部６１４、確認部６１５、報知部６１６を備えるようにしても良い。この場合、外部機器が提供商品確認装置となる。
【００５０】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５１】
１１ ＰＯＳ端末
２８ 撮像部
６１１ 商品登録部
６１２ 撮像画像取込部
６１４ 物体認識部
６１５ 確認部
６１６ 報知部
【先行技術文献】
【特許文献】
【００５２】
【特許文献１】特開平４−１５６６８７号公報
【技術分野】
【０００１】
本発明の実施形態は、提供商品確認装置、プログラム、および提供商品確認方法に関する。
【背景技術】
【０００２】
飲食店等の店舗では、顧客から注文を受けた際に、顧客に提供する商品を用意し、用意した商品が注文商品であるか否かを店員が目視で確認した上で、用意した商品をトレーに載せてあるいは袋詰めして顧客に提供する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、上述した商品の提供形態を採用する店舗側には、注文商品を間違えることなく提供することが要求される。しかしながら、店舗側は、顧客から受けた注文に従って商品を用意するが、注文商品のパッケージが他の商品のパッケージに見分け難い場合等、注文商品に類似した商品を用意してしまう可能性がある。
【課題を解決するための手段】
【０００４】
実施形態の提供商品確認装置は、登録手段と、画像取込手段と、商品認識手段と、確認手段と、報知手段と、を備える。前記登録手段は、注文商品の売上登録を行う。前記画像取込手段は、撮像画像を取り込む。前記商品認識手段は、前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する。前記確認手段は、前記認識された商品が、前記売上登録が行われた注文商品であるか否かを、前記認識された商品毎に確認する。前記報知手段は、前記認識された商品が前記売上登録が行われた注文商品であるか否かの確認結果を報知する。
【図面の簡単な説明】
【０００５】
【図１】図１は、ＰＯＳ端末を示す斜視図である。
【図２】図２は、ＰＯＳ端末のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。
【図４】図４は、本実施形態にかかるＰＯＳ端末の機能構成を示すブロック図である。
【図５】図５は、本実施形態にかかるＰＯＳ端末における提供商品確認処理の流れを示すフローチャートである。
【図６】図６は、店舗側が用意した提供商品が売上登録された注文商品であるか否かを確認する処理を説明するための図である。
【図７】図７は、店舗側が用意した提供商品が売上登録された注文商品であるか否かを確認する処理を説明するための図である。
【発明を実施するための形態】
【０００６】
以下では、一取引にかかる商品の登録、清算を行うＰＯＳ（Point Of Sales）端末を例に本実施形態にかかる提供商品確認装置、プログラム、および提供商品確認方法について、図面を参照して説明する。本実施形態は、顧客からの注文を受けた際に、顧客に提供する提供商品を用意し、用意した提供商品が注文商品であるか否かを確認した上で、提供商品をトレーに載せてあるいは袋詰めして顧客に提供するファーストフード店等の店舗に導入されたＰＯＳ端末への適用例である。
【０００７】
図１は、ＰＯＳ端末を示す斜視図である。図１に示すように、ＰＯＳ端末１１は、一取引にかかる商品の登録、精算を行うものである。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。チェックアウト台５１は、ドロワ２１が載置された面と同一面上に荷受面５２を有している。荷受面５２には、顧客からの注文を受けて店舗側が顧客に提供する提供商品を載置する商品トレー５３が載置される。なお、提供商品を載置するものは、トレー状のものに限るものではなく、ドーナツ店等の店舗において用いられる紙箱などであっても良い。
【０００８】
ＰＯＳ端末１１の上面には、オペレータ（ユーザ）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層配置されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００９】
また、ＰＯＳ端末１１の側面には、荷受台５２上の商品トレー５３に載置された提供商品の商品画像を含む画像を撮像する撮像部２８を支持するアーム２７が取り付けられている。オペレータによって荷受台５２上に置かれた商品トレー５３には、顧客に提供する提供商品が載置されている。撮像部２８は、商品トレー５３上に載置された提供商品の商品画像を含む画像を撮像する。ＰＯＳ端末１１は、顧客からの注文を受けて、注文商品の売上登録を行う。次いで、ＰＯＳ端末１１は、撮像部２８により撮像された撮像画像に含まれる商品画像から提供商品を認識する。そして、ＰＯＳ端末１１は、認識された提供商品が、売上登録を行った注文商品であるか否かを確認する。これにより、ＰＯＳ端末１１は、売上登録を行った注文商品と、認識した提供商品とに相違がないこと確認する機能を店舗に提供する。
【００１０】
図２は、ＰＯＳ端末のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。
【００１１】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１２】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、締めキー２２ｆ、および商品名や商品画像などが上面に表示され顧客から注文を受けた注文商品の売上登録を指示するための売上登録キー２２ｇを含む。
【００１３】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、提供商品確認処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１や閾値ファイルＦ２である。
【００１４】
ＰＬＵファイルＦ１は、商品の各々について、売上登録する注文商品に関わる情報と、その注文商品の商品画像（基準画像）とを対応付けて記憶する商品マスタファイルである。図３は、ＰＬＵファイルのデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品ごとに、ユニークに割り当てられた商品ＩＤ、提供商品が属する商品分類、商品名、単価などの商品に関わる情報と、その商品を撮像した基準画像と、を記憶するファイルである。このようなＰＬＵファイルＦ１は、注文対象となる商品群（主食、副食、デザート、ドリンク等）によって分けられている。
【００１５】
閾値ファイルＦ２は、「類似度：０．ＸＸ」という閾値を格納するファイルである。詳細は後述するが、この「類似度：０．ＸＸ」という閾値は、注文商品とは異なる商品が商品トレー５３上に用意された場合などは、撮像部２８により撮像された画像に含まれる商品画像と、予めＰＬＵファイルＦ１に記憶していた商品の基準画像と比較することで、商品トレー５３上に用意された商品が注文商品とは異なる商品であると判断することが可能となる。このような閾値ファイルＦ２も、対象となる商品群（パン、青果、惣菜等）によって分けられている。
【００１６】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００１７】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。また、ＰＯＳ端末１１のＣＰＵ６１には、撮像部２８が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部２は、ＣＰＵ６１によって動作が制御される。
【００１８】
撮像部２８は、カラーＣＣＤ（Charged Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであり、ＣＰＵ６１の制御の下で商品トレー５３上に載置された提供商品の商品画像を含む画像の撮像を行う。例えば、撮像部２８は、３０ｆｐｓの動画像の撮像を行う。撮像部２８が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ６３に保存される。
【００１９】
次に、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ６１の機能部について、図４を参照して説明する。図４は、本実施形態にかかるＰＯＳ端末の機能構成を示すブロック図である。図４に示すように、ＣＰＵ６１は、プログラムを順次実行することにより、商品登録部６１１、撮像画像取込部６１２、商品検出部６１３、物体認識部６１４、確認部６１５、報知部６１６としての機能を備える。
【００２０】
商品登録部６１１は、商品マスタファイルＦ１から、売上登録キー２２ｇにより売上登録が指示された注文商品に関わる情報として、売上登録が指示された注文商品の商品ＩＤ、商品分類、商品名、単価、商品画像などを読み出す。そして、商品登録部６１１は、読み出した商品ＩＤ、商品分類、商品名、単価などの商品に関わる情報を売上マスタファイルなどに記録して、注文商品の売上登録を行うものである。
【００２１】
撮像画像取込部６１２は、撮像部２８に撮像オン信号を出力して撮像部２８に撮像動作を開始させる。撮像画像取込部６１２は、撮像動作開始後に撮像部２８が撮像してＲＡＭ６３に保存されたフレーム画像（撮像画像）を順次取り込む。撮像画像取込部６１２によるフレーム画像の取り込みは、ＲＡＭ６３に保存された順に行われる。
【００２２】
商品検出部６１３は、撮像画像取込部６１２により取り込まれたフレーム画像に含まれる商品画像の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、商品検出部６１３は、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、商品検出部６１３は、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、商品トレー５３に載置された提供商品の商品画像の写り込みを検出する。
【００２３】
なお、提供商品の商品画像を検出する別の方法としては、商品検出部６１３は、取り込まれたフレーム画像から商品トレー５３の画像を検出する。次いで、商品検出部６１３は、商品トレー５３の画像が検出された場合、上述した輪郭線の検出を行うことで、商品トレー５３に載置されていると想定される提供商品の商品画像の輪郭抽出を試みる。そして、商品検出部６１３は、商品トレー５３の輪郭と、それ以外の輪郭とが検出された場合には、商品トレー５３に提供商品が載置されていることから、提供商品の商品画像の写り込みを検出する。
【００２４】
物体認識部６１４は、商品検出部６１３により提供商品の商品画像の写り込みが検出された場合に、ＰＬＵファイルＦ１の商品画像を参照して、撮像画像取込部６１２により取り込まれたフレーム画像に含まれる商品画像から提供商品を認識する商品認識部である。具体的には、物体認識部６１４は、ＰＬＵファイルＦ１の商品画像を参照して、取り込まれたフレーム画像に含まれる提供商品の全部または一部の商品画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として、商品トレー５３に載置された提供商品を認識する。なお、物体認識部６１４は、処理時間の短縮を図るため、フレーム画像に含まれる商品画像の輪郭や大きさは考慮しないものとする。
【００２５】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００２６】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００２７】
本実施形態では、物体認識部６１４は、認識した提供商品について類似度を算出する。次いで、物体認識部６１４は、類似度が閾値ファイルＦ２において予め定められた閾値を超えているか否かを判定する。類似度は、ＰＬＵファイルＦ１に記憶されている各提供商品の商品画像を１００％＝「類似度：１．０」とした場合に、撮像画像取込部６１２により取り込まれたフレーム画像に含まれる提供商品の全部または一部の商品画像がどの程度類似しているかを示すものである。物体認識部６１４は、フレーム画像に含まれる商品画像から読み取った、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、色合いと表面の凹凸状況とには、重み付けを変えるようにしても良い。
【００２８】
そして、物体認識部６１４は、算出した類似度が予め定められた閾値（「類似度：０．ＸＸ」）を超えていると判定した場合、ＰＬＵファイルＦ１から、認識した提供商品の商品画像と対応付けられた商品に関わる情報（商品ＩＤ、商品分類、商品名、単価など）を読み出し、読み出した情報をＲＡＭ６３に一時的に記憶させる。
【００２９】
確認部６１５は、物体認識部６１４に認識された提供商品が、売上マスタファイルに商品に関わる情報を記録した注文商品（売上登録を行った商品）であるか否かを、認識された提供商品毎に確認する。本実施形態では、確認部６１５は、物体認識部６１４によりＲＡＭ６３に記憶された商品に関わる情報と売上マスタファイルに記憶した商品に関わる情報とを比較して、認識された提供商品と売上登録を行った注文商品とが一致するか否かを判断する。そして、確認部６１５は、売上登録された注文商品のうち少なくとも１つが認識された提供商品の中に含まれていなかった場合、認識された提供商品と売上登録された注文商品とが異なると判断する。
【００３０】
報知部６１６は、認識された商品が売上登録が行われた注文商品であるか否かの確認結果を報知するものである。具体的には、報知部６１６は、売上登録された注文商品のうち少なくとも１つが認識された提供商品の中に含まれていなかった場合、つまり、認識された提供商品が売上登録された注文商品ではないことが確認された場合、認識された提供商品の提供を禁止するメッセージを表示デバイス２３に表示して、確認結果を報知する。
【００３１】
また、報知部６１６は、認識された提供商品が売上登録された注文商品ではないことが確認された場合、認識された提供商品のうち売上登録された注文商品でないことが確認された提供商品に関わる情報（ＲＡＭ６３に記憶された商品に関わる情報）を表示デバイス２３に表示して、当該認識された提供商品のうち売上登録された注文商品でないことが確認された商品に関わる情報を報知する。これにより、店舗側は、認識された提供商品の中から、売上登録されていない注文商品を容易に特定することができる。
【００３２】
また、報知部６１６は、売上登録された注文商品の全てが認識された提供商品の中に含まれていた場合、つまり、認識された提供商品が売上登録された注文商品であること確認された場合、認識された提供商品の提供を許可するメッセージを表示デバイス２３に表示して、確認結果を報知する。
【００３３】
なお、本実施形態では、報知部６１６は、表示デバイス２３にメッセージを表示することにより、認識された提供商品が売上登録された注文商品であるか否かの確認結果を報知しているが、これに限定するものではない。例えば、報知部６１６は、ＰＯＳ端末１１が予め設定された警告音などを発生するための音声回路とスピーカなどを備える場合には、警告音などの音声により、認識された提供商品が売上登録された注文商品であるか否かの確認結果を報知しても良い。
【００３４】
次に、図５を用いて、店舗側が用意した商品が売上登録された商品であるか否かを確認する提供商品確認処理の流れについて説明する。図５は、本実施形態にかかるＰＯＳ端末における提供商品確認処理の流れを示すフローチャートである。
【００３５】
売上登録キー２２ｇが押下されると、商品登録部６１１は、ＰＬＵマスタファイルＦ１から、顧客からの注文を受けて売上登録が指示された注文商品の商品に関わる情報を読み出し、読み出した商品に関わる情報を売上マスタファイルに記録することにより、注文商品の売上登録を行う（ステップＳ５０１）。
【００３６】
注文商品の売上登録が行われると、撮像画像取込部６１２は、撮像部２８に撮像オン信号を出力して撮像部２８に撮像動作を開始させる（ステップＳ５０２）。さらに、撮像画像取込部６１２は、撮像部２８が撮像してＲＡＭ６３に保存されたフレーム画像を取り込む（ステップＳ５０３）。
【００３７】
次いで、撮像画像取込部６１２によりフレーム画像が取り込まれ、商品検出部６１３により提供商品の商品画像の写り込みが検出されると、物体認識部６１４は、ＰＬＵファイルＦ１の商品画像を参照して、取り込んだフレーム画像に含まれる提供商品の全部または一部の商品画像から、色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として、商品トレー５３に載置された提供商品を認識する（ステップＳ５０４）。
【００３８】
また、本実施形態では、物体認識部６１４は、認識した提供商品の類似度を算出し、算出した類似度が予め設定された閾値を超えているか判定する。そして、物体認識部６１４は、算出した類似度が予め設定された閾値を超えていると判定した場合、ＰＬＵファイルＦ１から、認識した提供商品の商品に関わる情報を読み出し、ＲＡＭ６３に一時記憶させる。
【００３９】
商品トレー５３に載置された提供商品が認識されると、確認部６１５は、ＲＡＭ６３に一時記憶された商品に関わる情報と売上マスタファイルに記憶された商品に関わる情報とを比較する。つまり、確認部６１５は、認識された提供商品と注文商品（売上登録された商品）とを比較して、認識された提供商品が注文商品と一致するかを、認識された提供商品毎に確認する（ステップＳ５０５）。
【００４０】
そして、注文商品の全てが、認識された提供商品と一致した場合（ステップＳ５０６：Ｙｅｓ）、報知部６１６は、認識された提供商品の提供を許可するメッセージを表示デバイス２３に表示して、店舗側が用意した提供商品（認識された提供商品）が注文通りであることを報知する（ステップＳ５０７）。例えば、報知部６１６は、注文商品の全てが、認識された提供商品と一致した場合、商品トレー５３に載置された提供商品の袋詰めを許可するメッセージを、認識された提供商品の提供を許可するメッセージとして表示デバイス２３に表示しても良い。
【００４１】
一方、注文商品の少なくとも一つが認識された提供商品と一致しなかった場合（ステップＳ５０６：Ｎｏ）、報知部６１６は、認識された提供商品の提供を禁止するメッセージを表示デバイス２３に表示して、店舗側が用意した商品が注文とは異なることを報知する（ステップＳ５０８）。なお、報知部６１６は、物体認識部６１４によって認識した提供商品の類似度が予め設定された閾値を超えていないと判定された場合にも、店舗側が用意した商品が注文とは異なることを報知しても良い。
【００４２】
次に、図６および図７を用いて、店舗側が用意した提供商品が売上登録された注文商品であるか否かを確認する処理の一例について説明する。図６および図７は、店舗側が用意した提供商品が売上登録された注文商品であるか否かを確認する処理を説明するための図である。
【００４３】
例えば、図６に示すように、商品登録部６１１によって顧客から注文された注文商品Ａ〜Ｃの売上登録が行われ、かつ撮像画像取込部６１２によって商品トレー５３に載置された提供商品Ａ´〜Ｃ´の商品画像６０１〜６０３を含むフレーム画像６００が取り込まれた場合、物体認識部６１４は、取り込まれたフレーム画像６００に含まれる商品画像６０１〜６０３から、提供商品Ａ´〜Ｃ´を認識する。そして、確認部６１５は、物体認識部６１４により認識された提供商品Ａ´〜Ｃ´（用意した商品）と、商品登録部６１１により売上登録された注文商品Ａ〜Ｃと、が一致することを確認する。
【００４４】
一方、図７に示すように、商品登録部６１１によって顧客から注文された注文商品Ａ〜Ｃの売上登録が行われ、かつ撮像画像取込部６１２によって商品トレー５３に載置された提供商品Ｂ´，Ｃ´，Ｄ´の商品画像６０２，６０３，７０１を含むフレーム画像７００が取り込まれた場合、物体認識部６１４は、取り込まれたフレーム画像７００に含まれる商品画像６０２，６０３，７０１から、提供商品Ｂ´，Ｃ´，Ｄ´を認識する。そして、確認部６１５は、物体認識部６１４により認識された提供商品Ｂ´，Ｃ´，Ｄ´と、商品登録部６１１により売上登録された注文商品Ａ〜Ｃと、が異なることを確認する。具体的には、確認部６１５は、物体認識部６１４により認識された提供商品Ｄ´が、商品登録部６１１により売上登録された注文商品Ａ〜Ｃと一致しないことを確認する。
【００４５】
このように本実施形態にかかるＰＯＳ端末１１によれば、注文商品の売上登録を行い、撮像画像を取り込み、取り込んだ撮像画像に含まれる提供商品の商品画像から提供商品を認識し、認識された提供商品が、売上登録を行った注文商品であるか否かを、認識された提供商品毎に確認し、認識された商品が売上登録が行われた注文商品であるか否かの確認結果を報知することにより、ＰＯＳ端末１１のオペレータが提供商品と注文商品とが一致するか否かを目視で確認する必要がなくなるので、売上登録を行った注文商品を間違えることなく提供することができる。また、店舗側が用意した提供商品を認識することができるので、予め設定された複数の商品の組み合わせからなるセット商品の確認だけでなく、単品の組み合わせからなる商品の確認も行うことができる。
【００４６】
なお、本実施形態のＰＯＳ端末１１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４７】
さらに、本実施形態のＰＯＳ端末１１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４８】
本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（商品登録部６１１、撮像画像取込部６１２、商品検出部６１３、物体認識部６１４、確認部６１５、報知部６１６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ商品登録部６１１、撮像画像取込部６１２、商品検出部６１３、物体認識部６１４、確認部６１５、報知部６１６が主記憶装置上に生成されるようになっている。
【００４９】
なお、本実施形態においては、ＰＯＳ端末１１側に商品登録部６１１、撮像画像取込部６１２、商品検出部６１３、物体認識部６１４、確認部６１５、報知部６１６を備えるようにしたが、これに限るものではなく、ストアコンピュータＳＣなどの外部機器側に商品登録部６１１、撮像画像取込部６１２、商品検出部６１３、物体認識部６１４、確認部６１５、報知部６１６を備えるようにしても良い。この場合、外部機器が提供商品確認装置となる。
【００５０】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５１】
１１ ＰＯＳ端末
２８ 撮像部
６１１ 商品登録部
６１２ 撮像画像取込部
６１４ 物体認識部
６１５ 確認部
６１６ 報知部
【先行技術文献】
【特許文献】
【００５２】
【特許文献１】特開平４−１５６６８７号公報
【特許請求の範囲】
【請求項１】
注文商品の売上登録を行う登録手段と、
撮像画像を取り込む画像取込手段と、
前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する商品認識手段と、
前記認識された商品が、前記売上登録が行われた注文商品であるか否かを、前記認識された商品毎に確認する確認手段と、
前記認識された商品が前記売上登録が行われた注文商品であるか否かの確認結果を報知する報知手段と、
を備えた提供商品確認装置。
【請求項２】
前記報知手段は、前記認識された商品が前記売上登録が行われた注文商品ではないことが確認された場合、前記認識された商品の提供を禁止するメッセージを前記表示部に表示して、前記確認結果を報知する請求項１に記載の提供商品確認装置。
【請求項３】
前記報知手段は、前記認識された商品が前記売上登録が行われた注文商品であることが確認された場合、前記認識された商品の提供を許可するメッセージを前記表示部に表示して、前記確認結果を報知する請求項１または２に記載の提供商品確認装置。
【請求項４】
前記報知手段は、前記認識された商品が前記売上登録が行われた注文商品ではないことが確認された場合、前記認識された商品のうち、前記売上登録が行われた注文商品と異なる商品に関わる情報を報知する請求項１から３のいずれか一に記載の提供商品確認装置。
【請求項５】
コンピュータを、
注文商品の売上登録を行う登録手段と、
撮像画像を取り込む画像取込手段と、
前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する商品認識手段と、
前記認識された商品が、前記売上登録が行われた注文商品であるか否かを、前記認識された商品毎に確認する確認手段と、
前記認識された商品が前記売上登録が行われた注文商品であるか否かの確認結果を報知する報知手段と、
として機能させるためのプログラム。
【請求項６】
提供商品確認装置で実行される提供商品確認方法であって、
前記提供商品確認装置は、制御部を備え、
注文商品の売上登録を行う登録手段と、
画像取込手段が、撮像画像を取り込む工程と、
物体認識手段が、前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する工程と、
確認手段が、前記認識された商品が、前記売上登録が行われた注文商品であるか否かを、前記認識された商品毎に確認する工程と、
報知手段が、前記認識された商品が前記売上登録が行われた注文商品であるか否かの確認結果を報知する工程と、
を有する提供商品確認方法。
【請求項１】
注文商品の売上登録を行う登録手段と、
撮像画像を取り込む画像取込手段と、
前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する商品認識手段と、
前記認識された商品が、前記売上登録が行われた注文商品であるか否かを、前記認識された商品毎に確認する確認手段と、
前記認識された商品が前記売上登録が行われた注文商品であるか否かの確認結果を報知する報知手段と、
を備えた提供商品確認装置。
【請求項２】
前記報知手段は、前記認識された商品が前記売上登録が行われた注文商品ではないことが確認された場合、前記認識された商品の提供を禁止するメッセージを前記表示部に表示して、前記確認結果を報知する請求項１に記載の提供商品確認装置。
【請求項３】
前記報知手段は、前記認識された商品が前記売上登録が行われた注文商品であることが確認された場合、前記認識された商品の提供を許可するメッセージを前記表示部に表示して、前記確認結果を報知する請求項１または２に記載の提供商品確認装置。
【請求項４】
前記報知手段は、前記認識された商品が前記売上登録が行われた注文商品ではないことが確認された場合、前記認識された商品のうち、前記売上登録が行われた注文商品と異なる商品に関わる情報を報知する請求項１から３のいずれか一に記載の提供商品確認装置。
【請求項５】
コンピュータを、
注文商品の売上登録を行う登録手段と、
撮像画像を取り込む画像取込手段と、
前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する商品認識手段と、
前記認識された商品が、前記売上登録が行われた注文商品であるか否かを、前記認識された商品毎に確認する確認手段と、
前記認識された商品が前記売上登録が行われた注文商品であるか否かの確認結果を報知する報知手段と、
として機能させるためのプログラム。
【請求項６】
提供商品確認装置で実行される提供商品確認方法であって、
前記提供商品確認装置は、制御部を備え、
注文商品の売上登録を行う登録手段と、
画像取込手段が、撮像画像を取り込む工程と、
物体認識手段が、前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する工程と、
確認手段が、前記認識された商品が、前記売上登録が行われた注文商品であるか否かを、前記認識された商品毎に確認する工程と、
報知手段が、前記認識された商品が前記売上登録が行われた注文商品であるか否かの確認結果を報知する工程と、
を有する提供商品確認方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−８１０３（Ｐ２０１３−８１０３Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３８８２３（Ｐ２０１１−１３８８２３）
【出願日】平成２３年６月２２日（２０１１．６．２２）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２２日（２０１１．６．２２）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]