商品リスト発券装置、プログラム、および商品リスト発券方法
【課題】キャッシャーの負担を軽減しかつ不正を軽減する商品リスト発券装置、プログラム、および商品リスト発券方法を提供する。
【解決手段】実施形態の商品リスト発券装置は、取込手段と、商品認識手段と、作成手段と、発券手段と、を備える。前記取込手段は、撮像画像を取り込む。前記商品認識手段は、前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する。前記作成手段は、前記認識した商品を特定する商品情報、および当該商品情報をコード化したコードシンボルを含む商品リストを作成する。前記発券手段は、前記作成した商品リストを発券する。
【解決手段】実施形態の商品リスト発券装置は、取込手段と、商品認識手段と、作成手段と、発券手段と、を備える。前記取込手段は、撮像画像を取り込む。前記商品認識手段は、前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する。前記作成手段は、前記認識した商品を特定する商品情報、および当該商品情報をコード化したコードシンボルを含む商品リストを作成する。前記発券手段は、前記作成した商品リストを発券する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、商品リスト発券装置、プログラム、および商品リスト発券方法に関する。
【背景技術】
【０００２】
従来、お客がセルフサービスで商品を選択する飲食店などでは、キャッシャーが、お客が選んだ商品を判別することで、お客が選んだ商品の値段等の商品情報を１つ１つ入力している。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来技術によれば、キャッシャーが、お客が選んだ商品の商品情報を一つ一つ入力しなければならないため、キャッシャーの負担が大きい、という課題がある。
【０００４】
スーパーマーケットやコンビニエンスストア等の中には、お客が、商品に付されたバーコード等のコードシンボルを読み取らせることにより、商品情報の入力および会計をお客自身が行うセルフチェックアウト端末を導入して、キャッシャーの負担を軽減している店舗もある。しかしながら、飲食店では、商品自体にコードシンボルを付すことは難しく、仮に、商品の包装などにコードシンボルを付して、お客自身が商品情報の入力および会計を行えるセルフチェックアウト端末を導入したとしても、一部の商品の商品情報のみを入力して全ての商品の会計を行わないという不正が発生する可能性がある。
【課題を解決するための手段】
【０００５】
実施形態の商品リスト発券装置は、取込手段と、商品認識手段と、作成手段と、発券手段と、を備える。前記取込手段は、撮像画像を取り込む。前記商品認識手段は、前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する。前記作成手段は、前記認識した商品を特定する商品情報、および当該商品情報をコード化したコードシンボルを含む商品リストを作成する。前記発券手段は、前記作成した商品リストを発券する。
【図面の簡単な説明】
【０００６】
【図１】図１は、チェックアウトシステムを示す斜視図である。
【図２】図２は、商品リスト発券装置を示す斜視図である。
【図３】図３は、ＰＯＳ端末および商品リスト発券装置のハードウェア構成を示すブロック図である。
【図４】図４は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図５】図５は、ＰＯＳ端末および商品リスト発券装置の機能構成を示すブロック図である。
【図６】図６は、本実施形態にかかるチェックアウトシステムにおける商品リストの発券動作の一例を示すフローチャートである。
【図７】図７は、取り込んだフレーム画像の一例を示す図である。
【図８】図８は、商品リスト作成部により作成される商品リストの一例を示す図である。
【図９】図９は、商品リスト作成部により作成される商品リストの一例を示す図である。
【図１０】図１０は、商品リスト作成部により作成される商品リストの一例を示す図である。
【図１１】図１１は、商品リスト作成部により作成される商品リストの一例を示す図である。
【発明を実施するための形態】
【０００７】
以下では、チェックアウトシステムを例に本実施形態にかかる商品リスト発券装置、プログラム、および商品リスト発券方法を図面を参照して説明する。チェックアウトシステムは、顧客がセルフサービスで選択した商品の商品リストを発券する商品リスト発券装置と、一取引にかかる商品の登録、精算を行う売上登録装置としてのＰＯＳ端末と、を有する構成である。本実施形態は、顧客が商品をセルフサービスで選択する飲食店等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００８】
図１は、チェックアウトシステムを示す斜視図である。図２は、商品リスト発券装置を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。また、ＰＯＳ端末１１は、商品リスト発券装置２０１により発券された商品リストに含まれるバーコードや２次元コードなどのコードシンボルを読み取るためのスキャナ２７を備えている。
【０００９】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、顧客がセルフサービスで選択した商品を載置する商品トレー１５３が載置される。
【００１０】
カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品リスト発券装置２０１が設置されている。商品リスト発券装置２０１は、薄型矩形形状のハウジング２０２を備える。ハウジング２０２の正面には、顧客に向けて情報を表示する表示デバイス２０３が設けられている。表示デバイス２０３は、その表示面２０３ａに情報を表示する。表示面２０３ａには、タッチパネル２０３ｂが積層配置されている。そして、表示デバイス２０３の下側には、各種情報を印字して出力するプリンタ２０４が設けられている。さらに、ハウジング２０２の側面には、商品トレー１５３上に載置された商品の商品画像を含む画像を撮像する撮像部２０５を支持するアーム２０６が取り付けられている。顧客によって荷受面１５２に載置された商品トレー１５３には、顧客がセルフサービスにて選択した商品が載置されている。商品トレー１５３は、顧客の手によって荷受面１５２上をＰＯＳ端末１１に向かって移動される。この移動過程で、商品トレー１５３上に載置された商品は撮像部２０５の撮像範囲に入る。この際、荷受面１５２上に配置された撮像部２０５は、商品トレー１５３上に載置された商品の商品画像を含む画像を撮像する。なお、撮像部２０５の詳細については後述する。
【００１１】
ここで、上述したチェックアウトシステム１における商品の売上登録処理の流れについて簡単に説明する。商品リスト発券装置２０１では、撮像部２０５により撮像された撮像画像を取り込む。そして、商品リスト発券装置２０１は、取り込んだ撮像画像をＰＯＳ端末１１に出力する。ＰＯＳ端末１１では、商品の各々について、商品を特定する商品情報と商品画像とが対応付けられたＰＬＵファイルＦ１（図４参照）を参照して、取り込んだ撮像画像に含まれる商品画像から商品を認識する。次いで、ＰＯＳ端末１１は、認識した商品の商品情報および当該商品情報をコード化したコードシンボルを含む商品リストを作成する。ここで、商品情報は、例えば、商品ＩＤや商品分類や商品名や単価など、商品を特定する情報である。また、コードシンボルは、バーコードや２次元コードなど、商品情報をコード化したものである。そして、ＰＯＳ端末１１は、作成した商品リストを商品リスト発券装置２０１に出力する。商品リスト発券装置２０１は、ＰＯＳ端末１１から出力された商品リストを受け取り、受け取った商品リストをプリンタ２０４から発券する。
【００１２】
その後、商品トレー１５３が顧客によって荷受面１５２上を移動してＰＯＳ端末１１の位置まで達すると、オペレータは、商品リスト発券装置２０１により発券された商品リストを顧客から受け取る。オペレータは、受け取った商品リストに含まれる商品情報と商品トレー１５３上に載置された商品とを比較して、商品トレー１５３上に載置された商品の商品情報が商品リストに含まれているか否かを確認する。そして、商品トレー１５３に載置された商品の商品情報が商品リストに漏れなく含まれていることが確認された場合には、オペレータは、ＰＯＳ端末１１が備えるスキャナ２７によって、商品リストに含まれるコードシンボルから商品情報を読み取る。そして、ＰＯＳ端末１１は、スキャナ２７によって読み取った商品情報を参照して、当該商品情報により特定される商品の商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１３】
なお、顧客が商品リスト発券装置２０１により発券された商品リストを持たずにＰＯＳ端末１１まで商品トレー１５３を移動させてきた場合、オペレータは、商品トレー１５３上に載置された商品の商品情報を、キーボード２２を操作して入力する。ＰＯＳ端末１１では、入力された商品情報を参照して、当該商品情報により特定される商品の商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１４】
図３は、ＰＯＳ端末および商品リスト発券装置のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１５】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４、スキャナ２７がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆを含む。キーボード２２は、テンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆによるオペレータの操作入力をＣＰＵ６１へ出力する。キーボード２２は、オペレータからの操作を受け付ける操作部である。
【００１７】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて予め格納されているＰＬＵファイルＦ１である。
【００１８】
ＰＬＵファイルＦ１は、店舗にて販売する商品の各々について、商品を特定する商品情報と、当該商品情報により特定される商品画像との対応付けが設定されたファイルである。図４は、ＰＬＵファイルのデータ構成を例示する概念図である。図４に示すように、ＰＬＵファイルＦ１は、商品にユニークに割り当てられた商品ＩＤごとに、商品が属するカテゴリである商品分類、商品名、単価などの商品を特定する商品情報と、商品を撮像した商品画像とを対応付けて格納する。
【００１９】
図３に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２０】
ＰＯＳ端末１１のＣＰＵ６１には、商品リスト発券装置２０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。したがって、接続インターフェース６５は、商品リスト発券装置２０１に接続している。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容（精算金額や付与されたポイント）等をレシートに印字する。
【００２１】
商品リスト発券装置２０１も、マイクロコンピュータ４０１を備える。マイクロコンピュータ４０１は、ＣＰＵ４０２にＲＯＭ４０３とＲＡＭ４０４とがバス接続されて構成されている。ＲＯＭ４０３には、ＣＰＵ４０２によって実行されるプログラムが記憶されている。ＲＡＭ４０４には、後述する撮像部２０５により撮像されたフレーム画像が保存される。ＣＰＵ４０２には、撮像部２０５およびプリンタ２０４が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部２０５およびプリンタ２０６は、ＣＰＵ４０２によって動作が制御される。表示・操作部２０７は、接続インターフェース４０６を介してＰＯＳ端末１１に接続されている。表示・操作部２０７は、商品リスト発券装置２０１のＣＰＵ４０２によって動作が制御される。
【００２２】
撮像部２０５は、ＣＣＤ（Charged Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであり、ＣＰＵ４０２の制御の下で商品トレー１５３上に載置された商品の商品画像を含む画像の撮像を行う。例えば撮像部２０５では３０ｆｐｓの動画像の撮像を行う。撮像部２０５が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ４０４に保存される。プリンタ２０４は、ＣＰＵ４０２の制御の下で、商品リストを印字する。
【００２３】
さらに、ＣＰＵ４０２には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース４０５が接続されている。接続インターフェース４０５は、ＣＰＵ４０２の制御の下、商品リストをＰＯＳ端末１１から受け取ったり、ＲＡＭ４０４に保存されたフレーム画像をＰＯＳ端末１１に送信したりすることができる。
【００２４】
次に、ＣＰＵ６１およびＣＰＵ４０２がプログラムを順次実行することで実現されるＣＰＵ６１およびＣＰＵ４０２の機能部について、図５を参照して説明する。図５は、ＰＯＳ端末および商品リスト発券装置の機能構成を示すブロック図である。図５に示すように、ＣＰＵ４０２は、プログラムを順次実行することにより、撮像画像取込部５０１、商品検出部５０２、画像出力部５０３、商品リスト発券部５０４としての機能を備える。同様に、ＣＰＵ６１は、物体認識部５０５、商品リスト作成部５０６、商品リスト出力部５０７、商品登録部５０８としての機能を備える。
【００２５】
撮像画像取込部５０１は、撮像部２０５に撮像オン信号を出力して撮像部２０５に撮像動作を開始させる。撮像画像取込部５０１は、撮像動作開始後に撮像部２０５が撮像してＲＡＭ４０４に保存されたフレーム画像を順次取り込む。撮像画像取込部５０１は、ＲＡＭ４０４に保存された順に、フレーム画像を取り込む。
【００２６】
商品検出部５０２は、撮像画像取込部５０１により取り込まれたフレーム画像に含まれる商品画像の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、商品検出部５０２は、取り込まれたフレーム画像を２値化した輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、商品リストの発券のために撮像部２０５の撮像範囲に入れられた商品の写り込みを検出する。なお、商品画像を検出する別の方法としては、商品検出部５０２は、取り込まれたフレーム画像から商品トレー１５３の画像の有無を検出する。次いで、商品検出部５０２は、商品トレー１５３の画像が検出された場合、すなわち、商品トレー１５３の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、商品トレー１５３に載置されていると想定される商品画像の輪郭抽出を試みる。そして、商品検出部５０２は、商品トレー１５３の輪郭と、商品画像の輪郭とが検出された場合、商品トレー１５３に商品が載置されていることから、商品画像の写り込みを検出する。
【００２７】
画像出力部５０３は、商品検出部５０２により商品画像が検出されたフレーム画像を、接続インターフェース４０５を介してＰＯＳ端末１１へ出力する。なお、本実施形態では、画像出力部５０３は、商品検出部５０２により商品画像が検出されたフレーム画像をＰＯＳ端末１１へ出力しているが、これに限定するものではなく、撮像画像取込部５０１により取り込まれたフレーム画像を逐次ＰＯＳ端末１１へと送信しても良いし、商品検出部５０２により商品画像の全部または一部が検出されたフレーム画像をＰＯＳ端末１１へと送信しても良い。このように、商品検出部５０２により商品画像の全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品画像の全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品画像の全部または一部が含まれていないフレーム画像での処理を防止できるので、処理時間の短縮を図ることができる。
【００２８】
物体認識部５０５は、ＰＬＵファイルＦ１の商品画像を参照して、取り込んだフレーム画像（画像出力部５０３により出力されたフレーム画像）に含まれる商品画像から当該商品を認識する商品認識部である。具体的には、物体認識部５０５は、ＰＬＵファイルＦ１の商品画像を参照して、取り込んだフレーム画像に含まれる商品画像から特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体としての商品を認識する。なお、物体認識部５０５は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。
【００２９】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３０】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
取る。
【００３１】
商品リスト作成部５０６は、物体認識部５０５により認識された商品を特定する商品情報（ＰＬＵファイルＦ１において、物体認識部５０５により認識された商品の商品画像と対応付けられた商品情報）および当該商品情報をコード化したコードシンボルを含む商品リストを作成する。
【００３２】
商品リスト出力部５０７は、商品リスト作成部５０６により作成された商品リストを、接続インターフェース６５を介して商品リスト発券装置２０１へ出力する。また、本実施形態では、商品リスト出力部５０７は、物体認識部５０５により認識された商品の商品情報を、接続インターフェース６５を介して商品リスト発券装置２０１へ出力する。
【００３３】
商品リスト発券部５０４は、プリンタ２０４を制御して、作成した商品リスト（商品リスト出力部５０６により出力された商品リスト）を記録媒体に印字して、当該商品リストを発券する。
【００３４】
本実施形態では、商品リスト発券部５０４は、商品リストを発券する前に、物体認識部５０５により認識された商品の商品情報、および商品リストの発券を要求するための発券ボタン（図示しない）を表示デバイス２０３に表示する。そして、商品リスト発券部５０４は、表示デバイス２０３に表示した発券ボタンが押下されたことがタッチパネル２０３ｂにより検出された場合に、商品リストを発券するものとする。
【００３５】
商品登録部５０８は、スキャナ２７により商品リストに含まれるコードシンボルから読み取った商品情報を売上マスタファイルなどに記録して商品の売上登録を行う。
【００３６】
次に、チェックアウトシステム１における商品リストの発券動作について詳細に説明する。図６は、本実施形態にかかるチェックアウトシステムにおける商品リストの発券動作の一例を示すフローチャートである。
【００３７】
まず、商品リスト発券装置２０１側の動作について説明する。撮像画像取込部５０１は、撮像部２０５に撮像オン信号を出力して撮像部２０５による撮像を開始する。次いで、撮像画像取込部５０１は、撮像部２０５が撮像してＲＡＭ４０４に保存されたフレーム画像を取り込む（ステップＳ６０１）。図７は、取り込んだフレーム画像の一例を示す図である。撮像画像取込部５０１は、図７に示すように、商品トレー１５３に載置された複数の商品Ａ〜Ｃの商品画像７０１〜７０３を含むフレーム画像７００を取り込むことができる。以下の説明では、撮像画像取込部５０１が図７に示すフレーム画像７００を取り込んだ場合の処理について説明する。
【００３８】
撮像画像取込部５０１によりフレーム画像７００が取り込まれると、商品検出部５０２は、撮像画像取込部５０１により取り込んだフレーム画像７００に含まれる商品画像７０１〜７０３の全部または一部を検出する（ステップＳ６０２）。画像出力部５０３は、商品検出部５０２により商品画像７０１〜７０３が検出されると、検出された商品画像７０１〜７０３を含むフレーム画像７００をＰＯＳ端末１１に出力する（ステップＳ６０３）。
【００３９】
次に、ＰＯＳ端末１１側の動作について説明する。物体認識部５０５は、画像出力部５０３により出力されたフレーム画像を受信する（ステップＳ６０４）。次いで、物体認識部５０５は、ＰＬＵファイルＦ１の商品画像を参照して、取り込んだフレーム画像（画像出力部５０３により出力されたフレーム画像）に含まれる商品画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体である商品Ａ〜Ｃを認識する（ステップＳ６０５）。
【００４０】
商品リスト作成部５０６は、物体認識部５０５により認識した商品Ａ〜Ｃの商品情報および当該商品情報をコード化したコードシンボルを含む商品リストを作成する（ステップＳ６０６）。次いで、商品リスト出力部５０７は、商品リスト作成部５０６により作成された商品リストを商品リスト発券装置２０１へ出力する（ステップＳ６０７）。
【００４１】
商品リスト発券装置２０１側の動作の説明に戻る。商品リスト発券部５０４は、商品リスト出力部５０７により出力された商品リストを受信する（ステップＳ６０８）。そして、商品リスト発券部５０４は、プリンタ２０４を制御して、受信した商品リストを発券する（ステップＳ６０９）。
【００４２】
図８〜１１は、商品リスト作成部により作成される商品リストの一例を示す図である。例えば、商品リスト作成部５０６は、図８に示すように、物体認識部５０５により認識した商品の商品情報である商品ＩＤ、商品分類、商品名、単価などのうち商品名８０１および単価８０２を含み、かつ当該商品情報をコード化した２次元コード８０４を含む商品リスト８００を作成する。また、商品リスト作成部５０６は、図８に示すように、認識した商品の商品情報である単価の合計８０３を商品リスト８００に含めることもできる。
【００４３】
また、商品リスト作成部５０６は、図９に示すように、物体認識部５０５により認識した商品の商品情報である商品ＩＤ、商品分類、商品名、単価などのうち商品名９０１および単価９０２が、当該商品情報により特定される商品が属するカテゴリである商品分類（主食および副食）別に配置され、かつ当該商品情報をコード化した２次元コード９０４を含む商品リスト９００を作成することもできる。また、商品リスト作成部５０６は、図９に示すように、認識した商品の商品情報である単価の合計９０３を商品リスト９００に含めることもできる。
【００４４】
また、商品リスト作成部５０６は、図１０に示すように、物体認識部５０５により認識した商品の商品情報である商品ＩＤ、商品分類、商品名、単価などのうち商品名１００１および単価１００２を含み、かつ当該商品情報を商品毎にコード化したバーコード１００４を含む商品リスト１０００を作成することもできる。また、商品リスト作成部５０６は、図１０に示すように、認識した商品の商品情報である単価の合計１００３を商品リスト１０００に含めることもできる。
【００４５】
さらに、商品リスト作成部５０６は、図１１に示すように、物体認識部５０５により認識した商品の商品情報である商品ＩＤ、商品分類、商品名、単価などのうち商品名１１０１および単価１１０２、および当該商品情報をコード化した２次元コード１１０４に加えて、撮像画像取込部５０１により取り込まれたフレーム画像７００を含む商品リスト１１００を作成することもできる。また、商品リスト作成部５０６は、図１１に示すように、認識した商品の商品情報である単価の合計１１０３を商品リスト１１００に含めることもできる。
【００４６】
なお、本実施形態では、商品リスト作成部５０６は、フレーム画像７００を商品リスト１１００に含めているが、これに限定するものではなく、例えば、フレーム画像７００に含まれる商品画像７０１〜７０３を、商品Ａ〜Ｃについて予め設定された当該商品Ａ〜Ｃを表すマークに置き換えて商品リストを作成することも可能である。
【００４７】
このように本実施形態のチェックアウトシステム１によれば、撮像部２０５により撮像されたフレーム画像を取り込み、取り込んだフレーム画像に含まれる商品画像から商品を認識し、認識された商品を特定する商品情報および当該商品情報をコード化したコードシンボルを含む商品リストを作成し、作成した商品リストを発券することにより、商品リストに含まれるコードシンボルを商品読取装置１０１に読み取らせるだけで商品情報を入力でき、商品情報を１つ１つ入力する必要がなくなるので、キャッシャーの負担を軽減することができる。また、商品リストに含まれる商品情報を見て、全ての商品が商品リストに含まれているかを確認することで、一部の商品の商品情報のみを入力するなどの不正を軽減することができる。
【００４８】
本実施形態のＰＯＳ端末１１および商品リスト発券装置２０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１および商品リスト発券装置２０１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するようにしても良い。
【００４９】
さらに、本実施形態のＰＯＳ端末１１および商品リスト発券装置２０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１および商品リスト発券装置２０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５０】
本実施形態のＰＯＳ端末１１および商品リスト発券装置２０１で実行されるプログラムは、上述した各部（撮像画像取込部５０１、商品検出部５０２、画像出力部５０３、商品リスト発券部５０４、物体認識部５０５、商品リスト作成部５０６、商品リスト出力部５０７、商品登録部５０８）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部５０１、商品検出部５０２、画像出力部５０３、商品リスト発券部５０４、物体認識部５０５、商品リスト作成部５０６、商品リスト出力部５０７、商品登録部５０８が主記憶装置上に生成されるようになっている。
【００５１】
なお、本実施形態では、ＰＯＳ端末１１のＣＰＵ６１に物体認識部５０５、商品リスト作成部５０６としての機能を持たせているが、これに限るものではなく、商品リスト発券装置２０１のＣＰＵ４０２に、物体認識部５０５、商品リスト作成部５０６としての機能を持たせて、商品リスト発券装置２０１だけで商品リストの発券動作を行えるようにしても良い。
【００５２】
また、本実施形態では、商品リスト発券装置２０１のＣＰＵ４０２に撮像画像取込部５０１、商品検出部５０２、画像出力部５０３、商品リスト発券部５０４としての機能を持たせているが、これに限るものではなく、ＰＯＳ端末１１のＣＰＵ６１に、撮像画像取込部５０１、商品検出部５０２、画像出力部５０３、商品リスト発券部５０４としての機能を持たせて、ＰＯＳ端末１１だけで商品リストの発券動作を行えるようにしても良い。
【００５３】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５４】
１１ ＰＯＳ端末
２０１ 商品リスト発券装置
２０５ 撮像部
５０１ 撮像画像取込部
５０４ 商品リスト発券部
５０５ 物体認識部
５０６ 商品リスト作成部
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】特開平６−２８５７５号公報
【技術分野】
【０００１】
本発明の実施形態は、商品リスト発券装置、プログラム、および商品リスト発券方法に関する。
【背景技術】
【０００２】
従来、お客がセルフサービスで商品を選択する飲食店などでは、キャッシャーが、お客が選んだ商品を判別することで、お客が選んだ商品の値段等の商品情報を１つ１つ入力している。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来技術によれば、キャッシャーが、お客が選んだ商品の商品情報を一つ一つ入力しなければならないため、キャッシャーの負担が大きい、という課題がある。
【０００４】
スーパーマーケットやコンビニエンスストア等の中には、お客が、商品に付されたバーコード等のコードシンボルを読み取らせることにより、商品情報の入力および会計をお客自身が行うセルフチェックアウト端末を導入して、キャッシャーの負担を軽減している店舗もある。しかしながら、飲食店では、商品自体にコードシンボルを付すことは難しく、仮に、商品の包装などにコードシンボルを付して、お客自身が商品情報の入力および会計を行えるセルフチェックアウト端末を導入したとしても、一部の商品の商品情報のみを入力して全ての商品の会計を行わないという不正が発生する可能性がある。
【課題を解決するための手段】
【０００５】
実施形態の商品リスト発券装置は、取込手段と、商品認識手段と、作成手段と、発券手段と、を備える。前記取込手段は、撮像画像を取り込む。前記商品認識手段は、前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する。前記作成手段は、前記認識した商品を特定する商品情報、および当該商品情報をコード化したコードシンボルを含む商品リストを作成する。前記発券手段は、前記作成した商品リストを発券する。
【図面の簡単な説明】
【０００６】
【図１】図１は、チェックアウトシステムを示す斜視図である。
【図２】図２は、商品リスト発券装置を示す斜視図である。
【図３】図３は、ＰＯＳ端末および商品リスト発券装置のハードウェア構成を示すブロック図である。
【図４】図４は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図５】図５は、ＰＯＳ端末および商品リスト発券装置の機能構成を示すブロック図である。
【図６】図６は、本実施形態にかかるチェックアウトシステムにおける商品リストの発券動作の一例を示すフローチャートである。
【図７】図７は、取り込んだフレーム画像の一例を示す図である。
【図８】図８は、商品リスト作成部により作成される商品リストの一例を示す図である。
【図９】図９は、商品リスト作成部により作成される商品リストの一例を示す図である。
【図１０】図１０は、商品リスト作成部により作成される商品リストの一例を示す図である。
【図１１】図１１は、商品リスト作成部により作成される商品リストの一例を示す図である。
【発明を実施するための形態】
【０００７】
以下では、チェックアウトシステムを例に本実施形態にかかる商品リスト発券装置、プログラム、および商品リスト発券方法を図面を参照して説明する。チェックアウトシステムは、顧客がセルフサービスで選択した商品の商品リストを発券する商品リスト発券装置と、一取引にかかる商品の登録、精算を行う売上登録装置としてのＰＯＳ端末と、を有する構成である。本実施形態は、顧客が商品をセルフサービスで選択する飲食店等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００８】
図１は、チェックアウトシステムを示す斜視図である。図２は、商品リスト発券装置を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。また、ＰＯＳ端末１１は、商品リスト発券装置２０１により発券された商品リストに含まれるバーコードや２次元コードなどのコードシンボルを読み取るためのスキャナ２７を備えている。
【０００９】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、顧客がセルフサービスで選択した商品を載置する商品トレー１５３が載置される。
【００１０】
カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品リスト発券装置２０１が設置されている。商品リスト発券装置２０１は、薄型矩形形状のハウジング２０２を備える。ハウジング２０２の正面には、顧客に向けて情報を表示する表示デバイス２０３が設けられている。表示デバイス２０３は、その表示面２０３ａに情報を表示する。表示面２０３ａには、タッチパネル２０３ｂが積層配置されている。そして、表示デバイス２０３の下側には、各種情報を印字して出力するプリンタ２０４が設けられている。さらに、ハウジング２０２の側面には、商品トレー１５３上に載置された商品の商品画像を含む画像を撮像する撮像部２０５を支持するアーム２０６が取り付けられている。顧客によって荷受面１５２に載置された商品トレー１５３には、顧客がセルフサービスにて選択した商品が載置されている。商品トレー１５３は、顧客の手によって荷受面１５２上をＰＯＳ端末１１に向かって移動される。この移動過程で、商品トレー１５３上に載置された商品は撮像部２０５の撮像範囲に入る。この際、荷受面１５２上に配置された撮像部２０５は、商品トレー１５３上に載置された商品の商品画像を含む画像を撮像する。なお、撮像部２０５の詳細については後述する。
【００１１】
ここで、上述したチェックアウトシステム１における商品の売上登録処理の流れについて簡単に説明する。商品リスト発券装置２０１では、撮像部２０５により撮像された撮像画像を取り込む。そして、商品リスト発券装置２０１は、取り込んだ撮像画像をＰＯＳ端末１１に出力する。ＰＯＳ端末１１では、商品の各々について、商品を特定する商品情報と商品画像とが対応付けられたＰＬＵファイルＦ１（図４参照）を参照して、取り込んだ撮像画像に含まれる商品画像から商品を認識する。次いで、ＰＯＳ端末１１は、認識した商品の商品情報および当該商品情報をコード化したコードシンボルを含む商品リストを作成する。ここで、商品情報は、例えば、商品ＩＤや商品分類や商品名や単価など、商品を特定する情報である。また、コードシンボルは、バーコードや２次元コードなど、商品情報をコード化したものである。そして、ＰＯＳ端末１１は、作成した商品リストを商品リスト発券装置２０１に出力する。商品リスト発券装置２０１は、ＰＯＳ端末１１から出力された商品リストを受け取り、受け取った商品リストをプリンタ２０４から発券する。
【００１２】
その後、商品トレー１５３が顧客によって荷受面１５２上を移動してＰＯＳ端末１１の位置まで達すると、オペレータは、商品リスト発券装置２０１により発券された商品リストを顧客から受け取る。オペレータは、受け取った商品リストに含まれる商品情報と商品トレー１５３上に載置された商品とを比較して、商品トレー１５３上に載置された商品の商品情報が商品リストに含まれているか否かを確認する。そして、商品トレー１５３に載置された商品の商品情報が商品リストに漏れなく含まれていることが確認された場合には、オペレータは、ＰＯＳ端末１１が備えるスキャナ２７によって、商品リストに含まれるコードシンボルから商品情報を読み取る。そして、ＰＯＳ端末１１は、スキャナ２７によって読み取った商品情報を参照して、当該商品情報により特定される商品の商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１３】
なお、顧客が商品リスト発券装置２０１により発券された商品リストを持たずにＰＯＳ端末１１まで商品トレー１５３を移動させてきた場合、オペレータは、商品トレー１５３上に載置された商品の商品情報を、キーボード２２を操作して入力する。ＰＯＳ端末１１では、入力された商品情報を参照して、当該商品情報により特定される商品の商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１４】
図３は、ＰＯＳ端末および商品リスト発券装置のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１５】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４、スキャナ２７がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆを含む。キーボード２２は、テンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆによるオペレータの操作入力をＣＰＵ６１へ出力する。キーボード２２は、オペレータからの操作を受け付ける操作部である。
【００１７】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて予め格納されているＰＬＵファイルＦ１である。
【００１８】
ＰＬＵファイルＦ１は、店舗にて販売する商品の各々について、商品を特定する商品情報と、当該商品情報により特定される商品画像との対応付けが設定されたファイルである。図４は、ＰＬＵファイルのデータ構成を例示する概念図である。図４に示すように、ＰＬＵファイルＦ１は、商品にユニークに割り当てられた商品ＩＤごとに、商品が属するカテゴリである商品分類、商品名、単価などの商品を特定する商品情報と、商品を撮像した商品画像とを対応付けて格納する。
【００１９】
図３に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２０】
ＰＯＳ端末１１のＣＰＵ６１には、商品リスト発券装置２０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。したがって、接続インターフェース６５は、商品リスト発券装置２０１に接続している。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容（精算金額や付与されたポイント）等をレシートに印字する。
【００２１】
商品リスト発券装置２０１も、マイクロコンピュータ４０１を備える。マイクロコンピュータ４０１は、ＣＰＵ４０２にＲＯＭ４０３とＲＡＭ４０４とがバス接続されて構成されている。ＲＯＭ４０３には、ＣＰＵ４０２によって実行されるプログラムが記憶されている。ＲＡＭ４０４には、後述する撮像部２０５により撮像されたフレーム画像が保存される。ＣＰＵ４０２には、撮像部２０５およびプリンタ２０４が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部２０５およびプリンタ２０６は、ＣＰＵ４０２によって動作が制御される。表示・操作部２０７は、接続インターフェース４０６を介してＰＯＳ端末１１に接続されている。表示・操作部２０７は、商品リスト発券装置２０１のＣＰＵ４０２によって動作が制御される。
【００２２】
撮像部２０５は、ＣＣＤ（Charged Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであり、ＣＰＵ４０２の制御の下で商品トレー１５３上に載置された商品の商品画像を含む画像の撮像を行う。例えば撮像部２０５では３０ｆｐｓの動画像の撮像を行う。撮像部２０５が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ４０４に保存される。プリンタ２０４は、ＣＰＵ４０２の制御の下で、商品リストを印字する。
【００２３】
さらに、ＣＰＵ４０２には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース４０５が接続されている。接続インターフェース４０５は、ＣＰＵ４０２の制御の下、商品リストをＰＯＳ端末１１から受け取ったり、ＲＡＭ４０４に保存されたフレーム画像をＰＯＳ端末１１に送信したりすることができる。
【００２４】
次に、ＣＰＵ６１およびＣＰＵ４０２がプログラムを順次実行することで実現されるＣＰＵ６１およびＣＰＵ４０２の機能部について、図５を参照して説明する。図５は、ＰＯＳ端末および商品リスト発券装置の機能構成を示すブロック図である。図５に示すように、ＣＰＵ４０２は、プログラムを順次実行することにより、撮像画像取込部５０１、商品検出部５０２、画像出力部５０３、商品リスト発券部５０４としての機能を備える。同様に、ＣＰＵ６１は、物体認識部５０５、商品リスト作成部５０６、商品リスト出力部５０７、商品登録部５０８としての機能を備える。
【００２５】
撮像画像取込部５０１は、撮像部２０５に撮像オン信号を出力して撮像部２０５に撮像動作を開始させる。撮像画像取込部５０１は、撮像動作開始後に撮像部２０５が撮像してＲＡＭ４０４に保存されたフレーム画像を順次取り込む。撮像画像取込部５０１は、ＲＡＭ４０４に保存された順に、フレーム画像を取り込む。
【００２６】
商品検出部５０２は、撮像画像取込部５０１により取り込まれたフレーム画像に含まれる商品画像の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、商品検出部５０２は、取り込まれたフレーム画像を２値化した輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、商品リストの発券のために撮像部２０５の撮像範囲に入れられた商品の写り込みを検出する。なお、商品画像を検出する別の方法としては、商品検出部５０２は、取り込まれたフレーム画像から商品トレー１５３の画像の有無を検出する。次いで、商品検出部５０２は、商品トレー１５３の画像が検出された場合、すなわち、商品トレー１５３の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、商品トレー１５３に載置されていると想定される商品画像の輪郭抽出を試みる。そして、商品検出部５０２は、商品トレー１５３の輪郭と、商品画像の輪郭とが検出された場合、商品トレー１５３に商品が載置されていることから、商品画像の写り込みを検出する。
【００２７】
画像出力部５０３は、商品検出部５０２により商品画像が検出されたフレーム画像を、接続インターフェース４０５を介してＰＯＳ端末１１へ出力する。なお、本実施形態では、画像出力部５０３は、商品検出部５０２により商品画像が検出されたフレーム画像をＰＯＳ端末１１へ出力しているが、これに限定するものではなく、撮像画像取込部５０１により取り込まれたフレーム画像を逐次ＰＯＳ端末１１へと送信しても良いし、商品検出部５０２により商品画像の全部または一部が検出されたフレーム画像をＰＯＳ端末１１へと送信しても良い。このように、商品検出部５０２により商品画像の全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品画像の全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品画像の全部または一部が含まれていないフレーム画像での処理を防止できるので、処理時間の短縮を図ることができる。
【００２８】
物体認識部５０５は、ＰＬＵファイルＦ１の商品画像を参照して、取り込んだフレーム画像（画像出力部５０３により出力されたフレーム画像）に含まれる商品画像から当該商品を認識する商品認識部である。具体的には、物体認識部５０５は、ＰＬＵファイルＦ１の商品画像を参照して、取り込んだフレーム画像に含まれる商品画像から特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体としての商品を認識する。なお、物体認識部５０５は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。
【００２９】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３０】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
取る。
【００３１】
商品リスト作成部５０６は、物体認識部５０５により認識された商品を特定する商品情報（ＰＬＵファイルＦ１において、物体認識部５０５により認識された商品の商品画像と対応付けられた商品情報）および当該商品情報をコード化したコードシンボルを含む商品リストを作成する。
【００３２】
商品リスト出力部５０７は、商品リスト作成部５０６により作成された商品リストを、接続インターフェース６５を介して商品リスト発券装置２０１へ出力する。また、本実施形態では、商品リスト出力部５０７は、物体認識部５０５により認識された商品の商品情報を、接続インターフェース６５を介して商品リスト発券装置２０１へ出力する。
【００３３】
商品リスト発券部５０４は、プリンタ２０４を制御して、作成した商品リスト（商品リスト出力部５０６により出力された商品リスト）を記録媒体に印字して、当該商品リストを発券する。
【００３４】
本実施形態では、商品リスト発券部５０４は、商品リストを発券する前に、物体認識部５０５により認識された商品の商品情報、および商品リストの発券を要求するための発券ボタン（図示しない）を表示デバイス２０３に表示する。そして、商品リスト発券部５０４は、表示デバイス２０３に表示した発券ボタンが押下されたことがタッチパネル２０３ｂにより検出された場合に、商品リストを発券するものとする。
【００３５】
商品登録部５０８は、スキャナ２７により商品リストに含まれるコードシンボルから読み取った商品情報を売上マスタファイルなどに記録して商品の売上登録を行う。
【００３６】
次に、チェックアウトシステム１における商品リストの発券動作について詳細に説明する。図６は、本実施形態にかかるチェックアウトシステムにおける商品リストの発券動作の一例を示すフローチャートである。
【００３７】
まず、商品リスト発券装置２０１側の動作について説明する。撮像画像取込部５０１は、撮像部２０５に撮像オン信号を出力して撮像部２０５による撮像を開始する。次いで、撮像画像取込部５０１は、撮像部２０５が撮像してＲＡＭ４０４に保存されたフレーム画像を取り込む（ステップＳ６０１）。図７は、取り込んだフレーム画像の一例を示す図である。撮像画像取込部５０１は、図７に示すように、商品トレー１５３に載置された複数の商品Ａ〜Ｃの商品画像７０１〜７０３を含むフレーム画像７００を取り込むことができる。以下の説明では、撮像画像取込部５０１が図７に示すフレーム画像７００を取り込んだ場合の処理について説明する。
【００３８】
撮像画像取込部５０１によりフレーム画像７００が取り込まれると、商品検出部５０２は、撮像画像取込部５０１により取り込んだフレーム画像７００に含まれる商品画像７０１〜７０３の全部または一部を検出する（ステップＳ６０２）。画像出力部５０３は、商品検出部５０２により商品画像７０１〜７０３が検出されると、検出された商品画像７０１〜７０３を含むフレーム画像７００をＰＯＳ端末１１に出力する（ステップＳ６０３）。
【００３９】
次に、ＰＯＳ端末１１側の動作について説明する。物体認識部５０５は、画像出力部５０３により出力されたフレーム画像を受信する（ステップＳ６０４）。次いで、物体認識部５０５は、ＰＬＵファイルＦ１の商品画像を参照して、取り込んだフレーム画像（画像出力部５０３により出力されたフレーム画像）に含まれる商品画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体である商品Ａ〜Ｃを認識する（ステップＳ６０５）。
【００４０】
商品リスト作成部５０６は、物体認識部５０５により認識した商品Ａ〜Ｃの商品情報および当該商品情報をコード化したコードシンボルを含む商品リストを作成する（ステップＳ６０６）。次いで、商品リスト出力部５０７は、商品リスト作成部５０６により作成された商品リストを商品リスト発券装置２０１へ出力する（ステップＳ６０７）。
【００４１】
商品リスト発券装置２０１側の動作の説明に戻る。商品リスト発券部５０４は、商品リスト出力部５０７により出力された商品リストを受信する（ステップＳ６０８）。そして、商品リスト発券部５０４は、プリンタ２０４を制御して、受信した商品リストを発券する（ステップＳ６０９）。
【００４２】
図８〜１１は、商品リスト作成部により作成される商品リストの一例を示す図である。例えば、商品リスト作成部５０６は、図８に示すように、物体認識部５０５により認識した商品の商品情報である商品ＩＤ、商品分類、商品名、単価などのうち商品名８０１および単価８０２を含み、かつ当該商品情報をコード化した２次元コード８０４を含む商品リスト８００を作成する。また、商品リスト作成部５０６は、図８に示すように、認識した商品の商品情報である単価の合計８０３を商品リスト８００に含めることもできる。
【００４３】
また、商品リスト作成部５０６は、図９に示すように、物体認識部５０５により認識した商品の商品情報である商品ＩＤ、商品分類、商品名、単価などのうち商品名９０１および単価９０２が、当該商品情報により特定される商品が属するカテゴリである商品分類（主食および副食）別に配置され、かつ当該商品情報をコード化した２次元コード９０４を含む商品リスト９００を作成することもできる。また、商品リスト作成部５０６は、図９に示すように、認識した商品の商品情報である単価の合計９０３を商品リスト９００に含めることもできる。
【００４４】
また、商品リスト作成部５０６は、図１０に示すように、物体認識部５０５により認識した商品の商品情報である商品ＩＤ、商品分類、商品名、単価などのうち商品名１００１および単価１００２を含み、かつ当該商品情報を商品毎にコード化したバーコード１００４を含む商品リスト１０００を作成することもできる。また、商品リスト作成部５０６は、図１０に示すように、認識した商品の商品情報である単価の合計１００３を商品リスト１０００に含めることもできる。
【００４５】
さらに、商品リスト作成部５０６は、図１１に示すように、物体認識部５０５により認識した商品の商品情報である商品ＩＤ、商品分類、商品名、単価などのうち商品名１１０１および単価１１０２、および当該商品情報をコード化した２次元コード１１０４に加えて、撮像画像取込部５０１により取り込まれたフレーム画像７００を含む商品リスト１１００を作成することもできる。また、商品リスト作成部５０６は、図１１に示すように、認識した商品の商品情報である単価の合計１１０３を商品リスト１１００に含めることもできる。
【００４６】
なお、本実施形態では、商品リスト作成部５０６は、フレーム画像７００を商品リスト１１００に含めているが、これに限定するものではなく、例えば、フレーム画像７００に含まれる商品画像７０１〜７０３を、商品Ａ〜Ｃについて予め設定された当該商品Ａ〜Ｃを表すマークに置き換えて商品リストを作成することも可能である。
【００４７】
このように本実施形態のチェックアウトシステム１によれば、撮像部２０５により撮像されたフレーム画像を取り込み、取り込んだフレーム画像に含まれる商品画像から商品を認識し、認識された商品を特定する商品情報および当該商品情報をコード化したコードシンボルを含む商品リストを作成し、作成した商品リストを発券することにより、商品リストに含まれるコードシンボルを商品読取装置１０１に読み取らせるだけで商品情報を入力でき、商品情報を１つ１つ入力する必要がなくなるので、キャッシャーの負担を軽減することができる。また、商品リストに含まれる商品情報を見て、全ての商品が商品リストに含まれているかを確認することで、一部の商品の商品情報のみを入力するなどの不正を軽減することができる。
【００４８】
本実施形態のＰＯＳ端末１１および商品リスト発券装置２０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１および商品リスト発券装置２０１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するようにしても良い。
【００４９】
さらに、本実施形態のＰＯＳ端末１１および商品リスト発券装置２０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１および商品リスト発券装置２０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５０】
本実施形態のＰＯＳ端末１１および商品リスト発券装置２０１で実行されるプログラムは、上述した各部（撮像画像取込部５０１、商品検出部５０２、画像出力部５０３、商品リスト発券部５０４、物体認識部５０５、商品リスト作成部５０６、商品リスト出力部５０７、商品登録部５０８）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部５０１、商品検出部５０２、画像出力部５０３、商品リスト発券部５０４、物体認識部５０５、商品リスト作成部５０６、商品リスト出力部５０７、商品登録部５０８が主記憶装置上に生成されるようになっている。
【００５１】
なお、本実施形態では、ＰＯＳ端末１１のＣＰＵ６１に物体認識部５０５、商品リスト作成部５０６としての機能を持たせているが、これに限るものではなく、商品リスト発券装置２０１のＣＰＵ４０２に、物体認識部５０５、商品リスト作成部５０６としての機能を持たせて、商品リスト発券装置２０１だけで商品リストの発券動作を行えるようにしても良い。
【００５２】
また、本実施形態では、商品リスト発券装置２０１のＣＰＵ４０２に撮像画像取込部５０１、商品検出部５０２、画像出力部５０３、商品リスト発券部５０４としての機能を持たせているが、これに限るものではなく、ＰＯＳ端末１１のＣＰＵ６１に、撮像画像取込部５０１、商品検出部５０２、画像出力部５０３、商品リスト発券部５０４としての機能を持たせて、ＰＯＳ端末１１だけで商品リストの発券動作を行えるようにしても良い。
【００５３】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５４】
１１ ＰＯＳ端末
２０１ 商品リスト発券装置
２０５ 撮像部
５０１ 撮像画像取込部
５０４ 商品リスト発券部
５０５ 物体認識部
５０６ 商品リスト作成部
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】特開平６−２８５７５号公報
【特許請求の範囲】
【請求項１】
撮像画像を取り込む取込手段と、
前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する商品認識手段と、
前記認識した商品を特定する商品情報、および当該商品情報をコード化したコードシンボルを含む商品リストを作成する作成手段と、
前記作成した商品リストを発券する発券手段と、
を備えた商品リスト発券装置。
【請求項２】
前記作成手段は、前記商品情報を、当該商品情報により特定される商品が属するカテゴリ別に配置した前記商品リストを作成する請求項１に記載の商品リスト発券装置。
【請求項３】
前記作成手段は、前記取り込んだ撮像画像を含む前記商品リストを作成する請求項１または２に記載の商品リスト発券装置。
【請求項４】
前記作成手段は、前記取り込んだ撮像画像に含まれる前記商品の画像を、前記商品を表すマークに置き換えた画像を含む前記商品リストを作成する請求項３に記載の商品リスト発券装置。
【請求項５】
コンピュータを、
撮像画像を取り込む取込手段と、
前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する商品認識手段と、
前記認識した商品を特定する商品情報、および当該商品情報をコード化したコードシンボルを含む商品リストを作成する作成手段と、
前記作成した商品リストを発券する発券手段と、
として機能させるためのプログラム。
【請求項６】
商品リスト発券装置で実行される商品リスト発券方法であって、
前記商品リスト発券装置は、制御部を備え、
前記制御部は、
取込手段が、撮像画像を取り込む工程と、
商品認識手段が、前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する工程と、
作成手段が、前記認識した商品を特定する商品情報、および当該商品情報をコード化したコードシンボルを含む商品リストを作成する工程と、
発券手段が、前記作成した商品リストを発券する工程と、
を含む商品リスト発券方法。
【請求項１】
撮像画像を取り込む取込手段と、
前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する商品認識手段と、
前記認識した商品を特定する商品情報、および当該商品情報をコード化したコードシンボルを含む商品リストを作成する作成手段と、
前記作成した商品リストを発券する発券手段と、
を備えた商品リスト発券装置。
【請求項２】
前記作成手段は、前記商品情報を、当該商品情報により特定される商品が属するカテゴリ別に配置した前記商品リストを作成する請求項１に記載の商品リスト発券装置。
【請求項３】
前記作成手段は、前記取り込んだ撮像画像を含む前記商品リストを作成する請求項１または２に記載の商品リスト発券装置。
【請求項４】
前記作成手段は、前記取り込んだ撮像画像に含まれる前記商品の画像を、前記商品を表すマークに置き換えた画像を含む前記商品リストを作成する請求項３に記載の商品リスト発券装置。
【請求項５】
コンピュータを、
撮像画像を取り込む取込手段と、
前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する商品認識手段と、
前記認識した商品を特定する商品情報、および当該商品情報をコード化したコードシンボルを含む商品リストを作成する作成手段と、
前記作成した商品リストを発券する発券手段と、
として機能させるためのプログラム。
【請求項６】
商品リスト発券装置で実行される商品リスト発券方法であって、
前記商品リスト発券装置は、制御部を備え、
前記制御部は、
取込手段が、撮像画像を取り込む工程と、
商品認識手段が、前記取り込んだ撮像画像に含まれる商品の画像から当該商品を認識する工程と、
作成手段が、前記認識した商品を特定する商品情報、および当該商品情報をコード化したコードシンボルを含む商品リストを作成する工程と、
発券手段が、前記作成した商品リストを発券する工程と、
を含む商品リスト発券方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−８１０４（Ｐ２０１３−８１０４Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３８８５５（Ｐ２０１１−１３８８５５）
【出願日】平成２３年６月２２日（２０１１．６．２２）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２２日（２０１１．６．２２）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]