情報処理装置、情報処理方法及び制御プログラム
【課題】商品知識が少なく、作業慣れをしていない店員であっても、決済端末装置における登録を容易かつ迅速に行える。
【解決手段】商品を含む画像を撮像して撮像画像データを出力する撮像手段と、商品を認識し、識別するための識別用データと、商品に関する商品情報と、を対応づけて予め記憶した商品識別用データベースと、前記撮像画像データに対応する画像に含まれる商品の特徴量を抽出し、前記商品識別用データベースに記憶されている識別用データを参照して、前記画像に含まれる一または複数の商品を特定し、特定した商品に対応する商品特定情報を出力先の決済端末装置が読取可能なフォーマットで出力する商品特定情報出力手段と、を備える。
【解決手段】商品を含む画像を撮像して撮像画像データを出力する撮像手段と、商品を認識し、識別するための識別用データと、商品に関する商品情報と、を対応づけて予め記憶した商品識別用データベースと、前記撮像画像データに対応する画像に含まれる商品の特徴量を抽出し、前記商品識別用データベースに記憶されている識別用データを参照して、前記画像に含まれる一または複数の商品を特定し、特定した商品に対応する商品特定情報を出力先の決済端末装置が読取可能なフォーマットで出力する商品特定情報出力手段と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置、情報処理方法及び制御プログラムに関する。
【背景技術】
【0002】
従来、自店舗で焼き上げたパンを販売するベーカリーや、自店舗内で揚げたドーナツを販売するドーナツ店等においては、比較的商品サイクルが短く、比較的少量多品種の商品を扱うことが知られている。
このような比較的少量多品種の商品を扱う店舗においても、スーパーマーケット等に設置される決済端末装置(POS端末装置)と比較すれば機能などは少ないものの、同様な決済端末装置(POS端末装置)が導入されている(例えば、特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0003】
ところで、上述したような店舗では、比較的商品サイクルが短いとともに、焼きたて等出来たての商品を提供するため、各商品を包装などしないで陳列することが多い。
したがって、各商品を識別可能なバーコードなどを付すことができないため、レジ登録時には、店員が各商品を識別して登録を行うのが一般的であった。
【0004】
このため、アルバイト店員などのように、商品知識が少なく、作業慣れもしていない場合には、レジ登録が容易に行えないとともに、登録間違い(例えば、売価誤り)などが生じやすいという問題があった。
【課題を解決するための手段】
【0005】
実施形態の情報処理装置は、商品を含む画像を撮像して撮像画像データを出力する撮像手段と、商品を認識し、識別するための識別用データと、商品に関する商品情報と、を対応づけて予め記憶した商品識別用データベースと、前記撮像画像データに対応する画像に含まれる商品の特徴量を抽出し、前記商品識別用データベースに記憶されている識別用データを参照して、前記画像に含まれる一または複数の商品を特定し、特定した商品に対応する商品特定情報を出力先の決済端末装置が読取可能なフォーマットで出力する商品特定情報出力手段と、を備える。
【図面の簡単な説明】
【0006】
【図1】図1は、実施形態の決済システムの概要構成ブロック図である。
【図2】図2は、商品一括登録装置の外観斜視図である。
【図3】図3は、商品一括登録装置の概要構成ブロック図である。
【図4】図4は、商品識別用データベースのデータフォーマットの一例の説明図である。
【図5】図5は、商品事前登録シートの一例の説明図である。
【図6】図6は、決済端末装置(POS端末装置)の概要構成ブロック図である。
【図7】図7は、実施形態の決済システムの処理タイミングチャートである。
【図8】図8は、商品識別処理の処理フローチャートである。
【図9】図9は、ディスプレイの表示画面に表示した撮像画像の一例の説明図である。
【図10】図10は、新規商品登録時のデータ連携のための処理タイミングチャートである。
【図11】図11は、商品新規登録シートの一例の説明図である。
【図12】図12は、新規登録対象の商品の撮像画像の説明図である。
【図13】図13は、新規登録時のデータの説明図である。
【発明を実施するための形態】
【0007】
次に実施形態について、図面を参照して詳細に説明する。
図1は、実施形態の決済システムの概要構成ブロック図である。
以下の説明においては、決済システムを店内で焼き上げたパンを販売するパン屋(ベーカリー)に適用した場合を例として説明し、パン屋の顧客は、自己が選んだパンをトレイに載せてレジに運んで、代金を支払う(決済をする)ものとする。
決済システム10は、トレイに載置された一または複数の商品であるパンを特定し、一括登録を行う商品一括登録装置11と、一括登録がなされるのに伴って商品一括登録装置11により発行された後述する商品事前登録シート12を読み取って決済処理を行う複数の決済端末装置(POS端末装置)13−1〜13−nと、を備えている。
【0008】
図2は、商品一括登録装置の外観斜視図である。
商品一括登録装置11は、詳細は後述するが、装置本体21と、商品であるパンが載置されたトレイTRを上方から撮像するカメラ部22と、トレイTRを載置する載置台23と、載置台23に固定され、カメラ部22及び照明部25を所定位置に保持するアーム部24と、カメラ部22における撮像状態や各種情報を表示するディスプレイ26と、ディスプレイ26の表示画面上に配置され、各種操作を行うためのタッチパネルセンサ27と、商品事前登録シート12を印刷出力するプリンタ28と、を備えている。
【0009】
図3は、商品一括登録装置の概要構成ブロック図である。
商品一括登録装置11は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)31と、制御プログラム等を不揮発的に記憶するROM(Read Only Memory)32と、各種データを一時的に記憶し、ワーキングエリアを構成するRAM(Random Access Memory)33と、を備えており、互いにバス接続されている。
【0010】
さらに商品一括登録装置11は、現在の日時を計時する時計部34と、上述したカメラ部22及び照明部25が制御可能に接続されたI/Oポート35と、上述したディスプレイ26及びタッチパネルセンサ27をCPU31の制御下で制御するタッチパネルコントローラ36と、上述したプリンタ28をCPU31の制御下で制御するプリンタコントローラ37と、ハードディスクドライブ、SSD(Solid State Drive)等として構成され、大容量の各種データを更新可能に記憶する記憶装置39をCPU31の制御下で制御する記憶装置コントローラ38と、を備えている。
上記構成において、記憶装置39は、商品識別用データベース40を備えている。
【0011】
図4は、商品識別用データベースのデータフォーマットの一例の説明図である。
商品識別用データベース40は、商品毎にユニークに割り当てられた商品コードを格納した商品コードデータ41と、商品名等の商品に関する情報が格納された商品情報データ42と、商品を含んで撮影された画像から抽出された特徴量に基づいて、商品をオブジェクト認識により識別するための第1〜第n商品識別データ43−1〜43−nと、を備えている。
この場合において、商品識別データは、n個記憶している必要はなく、初期状態においては、第1商品識別データ43−1のみが格納される。その後、同一の商品について、識別がうまくいかなかった場合に、識別立を向上させるための学習として、当該識別がうまくいかなかった画像に基づいて、順次第2商品識別データ43−2〜第n商品識別データ43−nが追加登録されるようにされている。
ここで、第1〜第n商品識別データ43−1〜43−nとしては、商品であるパンの輪郭、色、色の配置などの特徴量を抽出して、特徴量データが格納されている。
【0012】
なお、画像中に含まれる商品(オブジェクト;物体)の認識技術としては、例えば、下記の文献において詳しく解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【0013】
また、画像をオブジェクトごとに領域分割することによってオブジェクト認識を行う技術については、例えば、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【0014】
図5は、商品事前登録シートの一例の説明図である。
商品一括登録装置11は、オブジェクト認識が完了し、トレイTR上に載置されている商品(パン)が特定できると、プリンタ28を介して特定した全ての商品に付いての情報を含む商品事前登録シート12を印刷出力する。
商品事前登録シート12は、図5に示すように、特定し、登録した商品の数が印刷される登録商品数印刷領域51と、登録した商品の合計金額が印刷される合計金額印刷領域52と、登録した商品の商品コードが情報として全て含まれる2次元バーコードが印刷される2次元バーコード印刷領域53と、各種コメント、店名などが印刷されるコメント印刷領域54と、を備えている。
【0015】
具体的には、図5の例の場合、登録商品数印刷領域51の情報から、登録した商品数は6点であり、合計金額印刷領域52の情報から、その概算合計金額は1260円であり、コメント印刷領域54の情報から、当該商品事前登録シート12を持ってレジの担当者に渡してもらうように依頼されていることがわかる。
【0016】
図6は、決済端末装置(POS端末装置)の概要構成ブロック図である。
この場合において、決済端末装置(POS端末装置)13−1〜13−nは、同様の構成であるので、決済端末装置13−1を例として説明する。
決済端末装置13−1は、図6に示すように、CPU61、ROM62、RAM63、時計部64、I/O(Input/Output)ポート65、ネットワークインタフェース68、キーボード69、キーボードコントローラ70、タッチパネルセンサ71、ディスプレイ72、タッチパネルコントローラ73、レシート/ジャーナルプリンタ(図面ではR/Jプリンタと表記)74、プリンタコントローラ75、バーコードスキャナ76、スキャナコントローラ77、CCDスキャナ78、スキャナコントローラ79、記憶装置80及び記憶装置コントローラ82を備えている。
【0017】
ここで、CPU61、ROM62、RAM63、時計部64、I/O(Input/Output)ポート65、ネットワークインタフェース68、キーボードコントローラ70、タッチパネルコントローラ73、プリンタコントローラ75、スキャナコントローラ77、スキャナコントローラ79及び記憶装置コントローラ82は、アドレスバス、データバス等のバスラインを介して相互に接続されている。
【0018】
CPU61は、決済端末装置13−1全体を制御するものであり、ROM62に記憶されたコンピュータ読み取り可能な各種プログラムを実行することにより、決済端末装置13−1を制御する。
ROM62は、CPU61が実行する各種プログラムや各種データを記憶する。
RAM63は、CPU61が実行する各種プログラムや各種データを一時的に記憶し、ワーキングエリアとして機能する。
【0019】
時計部64は、現在の日時を計時する。
I/Oポート65は、モードスイッチ66からのモード選択信号を入力するとともにドロワ(図示せず)の引出しを自動開放させるドロワ開放装置67に駆動信号を出力する。
ネットワークインタフェース68は、有線通信ネットワーク等を通じて接続される他の装置とのデータ通信を制御する。
【0020】
キーボードコントローラ70は、キーボード69から操作キーに対応したキー信号を取込んでCPU61に通知する。
タッチパネルコントローラ73は、タッチパネル付きのディスプレイ72の駆動を制御してCPU61から供給される表示データに対応した文字等をカラー表示させるとともに、ディスプレイ72の画面に取り付けられたタッチパネルセンサ71からの信号を取込んでCPU61に通知する。
プリンタコントローラ75は、レシート/ジャーナルプリンタ74の駆動を制御してCPU61から供給される印字データをもとにレシート印字及びジャーナル印字を行わせる。
【0021】
バーコードスキャナ76は、商品に付されたバーコードを光学的に読み取るものである。
スキャナコントローラ77は、バーコードスキャナ76で読み取られたデータの信号を取込んでCPU61に入力する。
CCDスキャナ78は、前述の商品事前登録シート12に記録された2次元コードを含む2次元バーコードを光学的に読み取るものである。
スキャナコントローラ79は、CCDスキャナ78で読み取られたデータの信号を取込んでCPU61に入力する。
記憶装置コントローラ82は、CPU61の制御下で記憶装置80に対するデータの書き込みおよび読み出しを制御する。
【0022】
記憶装置80は、例えばハードディスクドライブ装置、SSD(Solid State Drive)等から構成されており、CPU61で動作するプログラム等の他、商品の各種情報を含む商品データを記憶する商品情報記憶部81を備えている。
商品情報記憶部81に記憶される商品データとしては、例えば、商品の商品コード、商品名、単価等を含んでいる。
【0023】
次に実施形態の動作を説明する。
図7は、実施形態の決済システムの処理タイミングチャートである。
まず、パン屋の顧客が選んだパンをトレイTRに載せて購入しようとした場合には、商品一括登録装置11のオペレータは、トレイTRを図2に示したように、載置台23に載置する。この場合において、より商品のオブジェクト認識を確実にするためには、なるべくパンが重なり合わないようにするのが望ましい。
そして、撮像準備が整ったことを自動で認識(例えば、カメラ部22の撮像画像において、動きが所定量以下となったことを検出)あるいは、タッチパネルセンサ27をオペレータが操作することにより指示が入力されると、商品一括登録装置11のCPU31は、トレイTRを撮像する(ステップS11)。
次に商品一括登録装置11のCPU31は、トレイTR上の商品を識別する商品識別処理を行う(ステップS12)。
【0024】
図8は、商品識別処理の処理フローチャートである。
まず、CPU31は、カメラ部22よりI/Oポート35を介して入力された撮像データに対応する撮像画像から商品の特徴量を抽出する。
図9は、ディスプレイの表示画面に表示した撮像画像の一例の説明図である。
ディスプレイ26の表示画面26Aには、トレイTRに載置された、6個のオブジェクトOB1〜OB6としての6個のパン(商品)が表示されている。
そこで、商品一括登録装置11のCPU31は、各オブジェクトOB1〜OB6をその輪郭線などに基づいて分離するともに、輪郭線の形状、表面の色、表面の色の分布などを特徴量として抽出する(ステップS21)。
次にCPU31は、記憶装置39に記憶されている商品識別用データベース40を参照し、各オブジェクトOB1〜OB6の特徴量にマッチする(例えば、類似度が高い)商品識別データ43−xを検索する(ステップS22)。
【0025】
そしてこの検索の結果、特徴量のマッチングの度合いが商品を識別できたと判定可能な所定の基準以上の商品が存在するか否かを判別する(ステップS23)。
ステップS23の判別において、商品を識別できたと判別される場合には(ステップS23;Yes)、特徴量のマッチングの度合いが商品を識別できたと判定可能な所定の基準以上の商品識別データ43−xに対応する商品コードデータ41及び商品情報データ42を商品識別結果として出力する(ステップS24)。
そして、CPU31は、撮像画像中に含まれていた全商品(全オブジェクト)の識別が完了したか否かを判別し(ステップS25)、未だ撮像画像中に含まれていた全商品(全オブジェクト)の識別が完了していない場合には(ステップS25;No)、処理を再びステップS21に移行して、以下、同様の処理を行う。
また、ステップS25の判別において、CPU31は、撮像画像中に含まれていた全商品(全オブジェクト)の識別が完了した場合には(ステップS25;Yes)、処理を終了する。
【0026】
一方、CPU31は、ステップS23の判別において、商品を一つに識別できていない場合には(ステップS23;No)、特徴量のマッチングの度合いが商品を識別まではできないが、候補とすることができる所定の基準以上の商品識別データ43−xが存在するか否かを判別する(ステップS26)。
ステップS26の判別において、特徴量のマッチングの度合いが商品を識別まではできないが、候補とすることができる所定の基準以上の商品識別データ43−xが存在すると判別された場合には(ステップS26;Yes)、候補とすることができる一または複数の商品識別データ43−xに対応する商品情報データ42を抽出し、商品候補としてディスプレイ26の表示画面に表示し、オペレータである店員に選択を促すオペレータ問い合わせ処理を行う(ステップS27)。
【0027】
これにより、オペレータである店員によりいずれかの候補の商品が選択されたか否かを判別する(ステップS28)。
ステップS28の判別において、未だいずれの候補の商品も選択されていない場合には(ステップS28;No)、待機状態となる。
ステップS28の判別において、いずれかの候補の商品がオペレータである店員により選択された場合には(ステップS28;Yes)、当該選択された商品に相当する商品識別データ43−xに対応する商品コードデータ41及び商品情報データ42を商品識別結果に追加して(ステップS29)、商品識別結果を出力する(ステップS24)。
【0028】
また、ステップS26の判別において、特徴量のマッチングの度合いが商品を識別できず、かつ、候補とすることができる所定の基準以上の商品識別データ43−xも存在しない場合には(ステップS26;No)、オペレータである店員に手動登録を行うように促し、手動登録を行わせる(ステップS30)。そして、手動登録された商品に対応する商品コードデータ41及び商品情報データ42を商品識別結果に追加して(ステップS29)、商品識別結果を出力する(ステップS24)。なお、店舗の運用態様によっては、オペレータ問い合わせ処理(ステップS27)あるいはオペレータである店員の手動登録(ステップS30)を行わずに未登録商品有りとして決済端末装置13−1で手動入力を行うようにすることも可能である。
【0029】
商品識別処理(ステップS12)が完了すると、商品一括登録装置11のCPU31は、決済用の2次元バーコードを生成する(ステップS13)。
この決済用の2次元バーコードには、商品識別処理(ステップS12)で識別されて商品識別結果として出力された一または複数の商品に対応する商品コードデータ41及び商品情報データ42が含まれている。
そして商品一括登録装置11のCPU31は、プリンタコントローラ37を介してプリンタ28を制御して、生成した2次元バーコードが2次元バーコード印刷領域53に印刷された商品事前登録シート12を印刷させる(ステップS14)。
【0030】
これにより、顧客は、商品事前登録シート12を商品一括登録装置11のオペレータである店員から受け取り、トレイTRに載置された商品と共に、決済端末装置13−1のオペレータである店員に渡すこととなる。
この結果、決済端末装置13−1のオペレータである店員は、CCDスキャナ78により商品事前登録シート12の2次元バーコードの読み取りを行わせる(ステップS15)。
これにより、決済端末装置13−1のCPU61は、スキャナコントローラ79を介して入力された2次元バーコードに含まれていた商品コードデータに基づく、購入商品の種類及び数に基づいて通常通り、決済処理を行い、レシートをレシート/ジャーナルプリンタ74を介して出力することとなる(ステップS16)。
【0031】
以上の説明のように本実施形態によれば、オブジェクト認識により、商品を一括して商品事前登録シートの2次元バーコードに登録するので、各商品を個別に登録する場合と比較して短時間で処理が可能であるとともに、アルバイトの店員のようにあまり商品やレジ登録操作に慣れていない店員であっても決済処理を行うことができ、売価誤りなどを未然に防止することができる。
さらにレジ登録用に商品のバーコードなどが付された包装を施す必要もないので、上述したパンのように包装を施すと、湿気などで鮮度低下を招くような商品であっても、鮮度保持が容易に実現できる。
【0032】
ところで、上記実施形態における商品一括登録装置11は、店舗における既存の決済端末装置13−1〜13−nとは、独立して別個に導入することが可能となっている。
すなわち、既存の決済端末装置13−1〜13−nの機能として、2次元バーコードを読み込んで決済のための登録が可能な機能を有するとともに、新たに決済端末装置13−1〜13−nに登録した商品について、2次元バーコードをレシート/ジャーナルプリンタ74により印刷する機能を有していれば、導入可能となっている。
この場合に、商品一括登録装置11と既存の決済端末装置13−1〜13−nとのデータ連携をどのように図るかについて以下に説明する。
【0033】
図10は、新規商品登録時のデータ連携のための処理タイミングチャートである。
以下の説明においては、決済端末装置13−1を用いて、商品一括登録装置11に一括登録に必要な商品識別データの登録を行う場合を例として説明する。
まず、決済端末装置13−1のオペレータは、新たに商品を登録しようとする場合には、商品コードを入力する(ステップS41)。なお、商品コードの割り当ては決済端末が自動的に行うようにしてもよい。
次に当該商品コードの商品について、決済に必要な価格、商品名などの各種商品情報を入力する(ステップS42)。この商品情報の入力については、手入力の他、バーコードスキャナ76あるいはCCDスキャナ78を用いた1次元バーコードあるいは2次元バーコードを用いた方法も可能である。
【0034】
図11は、商品新規登録シートの一例の説明図である。
これにより、決済端末装置13−1のCPU61は、商品登録情報の出力として、プリンタコントローラ75を介してレシート/ジャーナルプリンタ74により商品新規登録シート12Xを印刷する(ステップS43)。
商品新規登録シート12Xは、商品一括登録装置11のオペレータが商品の新規登録時に商品コードの確認を行うための商品コードが印刷された商品コード印刷領域91と、同じく商品一括登録装置11のオペレータが商品の新規登録時に商品名等の商品情報の確認を行うための商品情報が印刷された商品情報印刷領域92と、商品コードデータ及び商品情報データを含む2次元バーコードが印刷されたバーコード印刷領域93と、を備えている。
この商品新規登録シート12Xを用いることにより、容易に商品一括登録装置11側で、商品の新規登録処理が行えるようになる。
まず、商品一括登録装置11のオペレータは、新規登録対象の商品の撮像を行う(ステップS44)。
【0035】
図12は、新規登録対象の商品の撮像画像の説明図である。
ディスプレイ26の表示画面には、商品新規登録シート12Xおよび新規登録対象の商品NWが同時に写るようにカメラ部22を用いて撮像を行う。
これにより、商品一括登録装置11のCPU31は、商品新規登録シート12Xのバーコード印刷領域93を検出して、2次元バーコードを読み込み、商品登録情報としての商品コード41及び商品情報データ42を取得する(ステップS45)。
これと並行して商品一括登録装置11のCPU31は、新規登録対象の商品NWが写っている領域を判別して、新規登録対象の商品NWの特徴量を既存の手法により抽出する(ステップS46)。
【0036】
図13は、新規登録時のデータの説明図である。
そして、撮像画像から商品コードデータ41、商品情報データ42及び特徴量の抽出が完了すると、商品識別用データベース40に商品コードデータ41、商品情報データ42及び特徴量に対応する商品識別データ43として、第1商品識別データを登録する(ステップS47)。
具体的には、図13の場合、商品コードデータ41として、商品新規登録シート12Xに印刷されていたように、商品コード=「1234−56」が登録され、商品情報データ42として例えば商品名「デラックスメロンパン」が登録され、特徴量に対応する商品識別データ43が登録される。
【0037】
以上の説明のように、商品一括登録装置11と、決済端末装置13−1とが、それぞれスタンドアロンの装置として設置されたとしても、新規の商品登録に際してデータ連携を容易に図ることができる。
したがって、既存の決済端末装置13−1〜13−nが設置されている店舗に商品一括登録装置11を後から追加で導入したとしても、既存の決済端末装置13−1〜13−nには、手を加えることなく、容易に導入が可能となる。
したがって、設置コスト及び設置時の手間を大きく削減することができ、決済システムの大幅なグレードアップを図ることができる。
【0038】
以上の説明においては、商品一括登録装置11と、決済端末装置13−1〜13−nとの間のデータ連携を商品事前登録シート12および商品新規登録シート12Xの紙媒体を用いて行っていたが、同様のデータのやりとりを、ブルートゥース(登録商標)等の無線ネットワークを介して無線通信で接続したり、イーサネット(登録商標)等の有線ネットワークを介して有線通信で接続したり、RFID、USBメモリなどの電子的な記録媒体(記録通信媒体)を用いて行ったりするように構成することも可能である。
【0039】
また、商品事前登録シート12および商品新規登録シート12Xにおいて、商品コードや、商品情報を2次元バーコードに記録していたが、一または複数の1次元バーコードを用いて記録するように構成することも可能である。
【0040】
本実施形態の情報処理装置(商品一括登録装置11あるいは決済端末装置13−1〜13−n)で実行される制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態の情報処理装置で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置で実行される制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本実施形態の情報処理装置の制御プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
【0041】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0042】
10 決済システム
11 商品一括登録装置
12 商品事前登録シート
12X 商品新規登録シート
13−1〜13−n 決済端末装置
22 カメラ部
23 載置台
24 アーム部
25 照明部
26 ディスプレイ
26A 表示画面
27 タッチパネルセンサ
28 プリンタ
39 記憶装置
40 商品識別用データベース
41 商品コードデータ
42 商品情報データ
43−1〜43−n 商品識別データ
51 登録商品数印刷領域
52 合計金額印刷領域
53 2次元バーコード印刷領域
54 コメント印刷領域
91 商品コード印刷領域
92 商品情報印刷領域
93 バーコード印刷領域
74 レシート/ジャーナルプリンタ
78 CCDスキャナ
79 スキャナコントローラ
NW 新規登録対象の商品
TR トレイ
【先行技術文献】
【特許文献】
【0043】
【特許文献1】特開2004−227424号公報
【技術分野】
【0001】
本発明の実施形態は、情報処理装置、情報処理方法及び制御プログラムに関する。
【背景技術】
【0002】
従来、自店舗で焼き上げたパンを販売するベーカリーや、自店舗内で揚げたドーナツを販売するドーナツ店等においては、比較的商品サイクルが短く、比較的少量多品種の商品を扱うことが知られている。
このような比較的少量多品種の商品を扱う店舗においても、スーパーマーケット等に設置される決済端末装置(POS端末装置)と比較すれば機能などは少ないものの、同様な決済端末装置(POS端末装置)が導入されている(例えば、特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0003】
ところで、上述したような店舗では、比較的商品サイクルが短いとともに、焼きたて等出来たての商品を提供するため、各商品を包装などしないで陳列することが多い。
したがって、各商品を識別可能なバーコードなどを付すことができないため、レジ登録時には、店員が各商品を識別して登録を行うのが一般的であった。
【0004】
このため、アルバイト店員などのように、商品知識が少なく、作業慣れもしていない場合には、レジ登録が容易に行えないとともに、登録間違い(例えば、売価誤り)などが生じやすいという問題があった。
【課題を解決するための手段】
【0005】
実施形態の情報処理装置は、商品を含む画像を撮像して撮像画像データを出力する撮像手段と、商品を認識し、識別するための識別用データと、商品に関する商品情報と、を対応づけて予め記憶した商品識別用データベースと、前記撮像画像データに対応する画像に含まれる商品の特徴量を抽出し、前記商品識別用データベースに記憶されている識別用データを参照して、前記画像に含まれる一または複数の商品を特定し、特定した商品に対応する商品特定情報を出力先の決済端末装置が読取可能なフォーマットで出力する商品特定情報出力手段と、を備える。
【図面の簡単な説明】
【0006】
【図1】図1は、実施形態の決済システムの概要構成ブロック図である。
【図2】図2は、商品一括登録装置の外観斜視図である。
【図3】図3は、商品一括登録装置の概要構成ブロック図である。
【図4】図4は、商品識別用データベースのデータフォーマットの一例の説明図である。
【図5】図5は、商品事前登録シートの一例の説明図である。
【図6】図6は、決済端末装置(POS端末装置)の概要構成ブロック図である。
【図7】図7は、実施形態の決済システムの処理タイミングチャートである。
【図8】図8は、商品識別処理の処理フローチャートである。
【図9】図9は、ディスプレイの表示画面に表示した撮像画像の一例の説明図である。
【図10】図10は、新規商品登録時のデータ連携のための処理タイミングチャートである。
【図11】図11は、商品新規登録シートの一例の説明図である。
【図12】図12は、新規登録対象の商品の撮像画像の説明図である。
【図13】図13は、新規登録時のデータの説明図である。
【発明を実施するための形態】
【0007】
次に実施形態について、図面を参照して詳細に説明する。
図1は、実施形態の決済システムの概要構成ブロック図である。
以下の説明においては、決済システムを店内で焼き上げたパンを販売するパン屋(ベーカリー)に適用した場合を例として説明し、パン屋の顧客は、自己が選んだパンをトレイに載せてレジに運んで、代金を支払う(決済をする)ものとする。
決済システム10は、トレイに載置された一または複数の商品であるパンを特定し、一括登録を行う商品一括登録装置11と、一括登録がなされるのに伴って商品一括登録装置11により発行された後述する商品事前登録シート12を読み取って決済処理を行う複数の決済端末装置(POS端末装置)13−1〜13−nと、を備えている。
【0008】
図2は、商品一括登録装置の外観斜視図である。
商品一括登録装置11は、詳細は後述するが、装置本体21と、商品であるパンが載置されたトレイTRを上方から撮像するカメラ部22と、トレイTRを載置する載置台23と、載置台23に固定され、カメラ部22及び照明部25を所定位置に保持するアーム部24と、カメラ部22における撮像状態や各種情報を表示するディスプレイ26と、ディスプレイ26の表示画面上に配置され、各種操作を行うためのタッチパネルセンサ27と、商品事前登録シート12を印刷出力するプリンタ28と、を備えている。
【0009】
図3は、商品一括登録装置の概要構成ブロック図である。
商品一括登録装置11は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)31と、制御プログラム等を不揮発的に記憶するROM(Read Only Memory)32と、各種データを一時的に記憶し、ワーキングエリアを構成するRAM(Random Access Memory)33と、を備えており、互いにバス接続されている。
【0010】
さらに商品一括登録装置11は、現在の日時を計時する時計部34と、上述したカメラ部22及び照明部25が制御可能に接続されたI/Oポート35と、上述したディスプレイ26及びタッチパネルセンサ27をCPU31の制御下で制御するタッチパネルコントローラ36と、上述したプリンタ28をCPU31の制御下で制御するプリンタコントローラ37と、ハードディスクドライブ、SSD(Solid State Drive)等として構成され、大容量の各種データを更新可能に記憶する記憶装置39をCPU31の制御下で制御する記憶装置コントローラ38と、を備えている。
上記構成において、記憶装置39は、商品識別用データベース40を備えている。
【0011】
図4は、商品識別用データベースのデータフォーマットの一例の説明図である。
商品識別用データベース40は、商品毎にユニークに割り当てられた商品コードを格納した商品コードデータ41と、商品名等の商品に関する情報が格納された商品情報データ42と、商品を含んで撮影された画像から抽出された特徴量に基づいて、商品をオブジェクト認識により識別するための第1〜第n商品識別データ43−1〜43−nと、を備えている。
この場合において、商品識別データは、n個記憶している必要はなく、初期状態においては、第1商品識別データ43−1のみが格納される。その後、同一の商品について、識別がうまくいかなかった場合に、識別立を向上させるための学習として、当該識別がうまくいかなかった画像に基づいて、順次第2商品識別データ43−2〜第n商品識別データ43−nが追加登録されるようにされている。
ここで、第1〜第n商品識別データ43−1〜43−nとしては、商品であるパンの輪郭、色、色の配置などの特徴量を抽出して、特徴量データが格納されている。
【0012】
なお、画像中に含まれる商品(オブジェクト;物体)の認識技術としては、例えば、下記の文献において詳しく解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【0013】
また、画像をオブジェクトごとに領域分割することによってオブジェクト認識を行う技術については、例えば、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【0014】
図5は、商品事前登録シートの一例の説明図である。
商品一括登録装置11は、オブジェクト認識が完了し、トレイTR上に載置されている商品(パン)が特定できると、プリンタ28を介して特定した全ての商品に付いての情報を含む商品事前登録シート12を印刷出力する。
商品事前登録シート12は、図5に示すように、特定し、登録した商品の数が印刷される登録商品数印刷領域51と、登録した商品の合計金額が印刷される合計金額印刷領域52と、登録した商品の商品コードが情報として全て含まれる2次元バーコードが印刷される2次元バーコード印刷領域53と、各種コメント、店名などが印刷されるコメント印刷領域54と、を備えている。
【0015】
具体的には、図5の例の場合、登録商品数印刷領域51の情報から、登録した商品数は6点であり、合計金額印刷領域52の情報から、その概算合計金額は1260円であり、コメント印刷領域54の情報から、当該商品事前登録シート12を持ってレジの担当者に渡してもらうように依頼されていることがわかる。
【0016】
図6は、決済端末装置(POS端末装置)の概要構成ブロック図である。
この場合において、決済端末装置(POS端末装置)13−1〜13−nは、同様の構成であるので、決済端末装置13−1を例として説明する。
決済端末装置13−1は、図6に示すように、CPU61、ROM62、RAM63、時計部64、I/O(Input/Output)ポート65、ネットワークインタフェース68、キーボード69、キーボードコントローラ70、タッチパネルセンサ71、ディスプレイ72、タッチパネルコントローラ73、レシート/ジャーナルプリンタ(図面ではR/Jプリンタと表記)74、プリンタコントローラ75、バーコードスキャナ76、スキャナコントローラ77、CCDスキャナ78、スキャナコントローラ79、記憶装置80及び記憶装置コントローラ82を備えている。
【0017】
ここで、CPU61、ROM62、RAM63、時計部64、I/O(Input/Output)ポート65、ネットワークインタフェース68、キーボードコントローラ70、タッチパネルコントローラ73、プリンタコントローラ75、スキャナコントローラ77、スキャナコントローラ79及び記憶装置コントローラ82は、アドレスバス、データバス等のバスラインを介して相互に接続されている。
【0018】
CPU61は、決済端末装置13−1全体を制御するものであり、ROM62に記憶されたコンピュータ読み取り可能な各種プログラムを実行することにより、決済端末装置13−1を制御する。
ROM62は、CPU61が実行する各種プログラムや各種データを記憶する。
RAM63は、CPU61が実行する各種プログラムや各種データを一時的に記憶し、ワーキングエリアとして機能する。
【0019】
時計部64は、現在の日時を計時する。
I/Oポート65は、モードスイッチ66からのモード選択信号を入力するとともにドロワ(図示せず)の引出しを自動開放させるドロワ開放装置67に駆動信号を出力する。
ネットワークインタフェース68は、有線通信ネットワーク等を通じて接続される他の装置とのデータ通信を制御する。
【0020】
キーボードコントローラ70は、キーボード69から操作キーに対応したキー信号を取込んでCPU61に通知する。
タッチパネルコントローラ73は、タッチパネル付きのディスプレイ72の駆動を制御してCPU61から供給される表示データに対応した文字等をカラー表示させるとともに、ディスプレイ72の画面に取り付けられたタッチパネルセンサ71からの信号を取込んでCPU61に通知する。
プリンタコントローラ75は、レシート/ジャーナルプリンタ74の駆動を制御してCPU61から供給される印字データをもとにレシート印字及びジャーナル印字を行わせる。
【0021】
バーコードスキャナ76は、商品に付されたバーコードを光学的に読み取るものである。
スキャナコントローラ77は、バーコードスキャナ76で読み取られたデータの信号を取込んでCPU61に入力する。
CCDスキャナ78は、前述の商品事前登録シート12に記録された2次元コードを含む2次元バーコードを光学的に読み取るものである。
スキャナコントローラ79は、CCDスキャナ78で読み取られたデータの信号を取込んでCPU61に入力する。
記憶装置コントローラ82は、CPU61の制御下で記憶装置80に対するデータの書き込みおよび読み出しを制御する。
【0022】
記憶装置80は、例えばハードディスクドライブ装置、SSD(Solid State Drive)等から構成されており、CPU61で動作するプログラム等の他、商品の各種情報を含む商品データを記憶する商品情報記憶部81を備えている。
商品情報記憶部81に記憶される商品データとしては、例えば、商品の商品コード、商品名、単価等を含んでいる。
【0023】
次に実施形態の動作を説明する。
図7は、実施形態の決済システムの処理タイミングチャートである。
まず、パン屋の顧客が選んだパンをトレイTRに載せて購入しようとした場合には、商品一括登録装置11のオペレータは、トレイTRを図2に示したように、載置台23に載置する。この場合において、より商品のオブジェクト認識を確実にするためには、なるべくパンが重なり合わないようにするのが望ましい。
そして、撮像準備が整ったことを自動で認識(例えば、カメラ部22の撮像画像において、動きが所定量以下となったことを検出)あるいは、タッチパネルセンサ27をオペレータが操作することにより指示が入力されると、商品一括登録装置11のCPU31は、トレイTRを撮像する(ステップS11)。
次に商品一括登録装置11のCPU31は、トレイTR上の商品を識別する商品識別処理を行う(ステップS12)。
【0024】
図8は、商品識別処理の処理フローチャートである。
まず、CPU31は、カメラ部22よりI/Oポート35を介して入力された撮像データに対応する撮像画像から商品の特徴量を抽出する。
図9は、ディスプレイの表示画面に表示した撮像画像の一例の説明図である。
ディスプレイ26の表示画面26Aには、トレイTRに載置された、6個のオブジェクトOB1〜OB6としての6個のパン(商品)が表示されている。
そこで、商品一括登録装置11のCPU31は、各オブジェクトOB1〜OB6をその輪郭線などに基づいて分離するともに、輪郭線の形状、表面の色、表面の色の分布などを特徴量として抽出する(ステップS21)。
次にCPU31は、記憶装置39に記憶されている商品識別用データベース40を参照し、各オブジェクトOB1〜OB6の特徴量にマッチする(例えば、類似度が高い)商品識別データ43−xを検索する(ステップS22)。
【0025】
そしてこの検索の結果、特徴量のマッチングの度合いが商品を識別できたと判定可能な所定の基準以上の商品が存在するか否かを判別する(ステップS23)。
ステップS23の判別において、商品を識別できたと判別される場合には(ステップS23;Yes)、特徴量のマッチングの度合いが商品を識別できたと判定可能な所定の基準以上の商品識別データ43−xに対応する商品コードデータ41及び商品情報データ42を商品識別結果として出力する(ステップS24)。
そして、CPU31は、撮像画像中に含まれていた全商品(全オブジェクト)の識別が完了したか否かを判別し(ステップS25)、未だ撮像画像中に含まれていた全商品(全オブジェクト)の識別が完了していない場合には(ステップS25;No)、処理を再びステップS21に移行して、以下、同様の処理を行う。
また、ステップS25の判別において、CPU31は、撮像画像中に含まれていた全商品(全オブジェクト)の識別が完了した場合には(ステップS25;Yes)、処理を終了する。
【0026】
一方、CPU31は、ステップS23の判別において、商品を一つに識別できていない場合には(ステップS23;No)、特徴量のマッチングの度合いが商品を識別まではできないが、候補とすることができる所定の基準以上の商品識別データ43−xが存在するか否かを判別する(ステップS26)。
ステップS26の判別において、特徴量のマッチングの度合いが商品を識別まではできないが、候補とすることができる所定の基準以上の商品識別データ43−xが存在すると判別された場合には(ステップS26;Yes)、候補とすることができる一または複数の商品識別データ43−xに対応する商品情報データ42を抽出し、商品候補としてディスプレイ26の表示画面に表示し、オペレータである店員に選択を促すオペレータ問い合わせ処理を行う(ステップS27)。
【0027】
これにより、オペレータである店員によりいずれかの候補の商品が選択されたか否かを判別する(ステップS28)。
ステップS28の判別において、未だいずれの候補の商品も選択されていない場合には(ステップS28;No)、待機状態となる。
ステップS28の判別において、いずれかの候補の商品がオペレータである店員により選択された場合には(ステップS28;Yes)、当該選択された商品に相当する商品識別データ43−xに対応する商品コードデータ41及び商品情報データ42を商品識別結果に追加して(ステップS29)、商品識別結果を出力する(ステップS24)。
【0028】
また、ステップS26の判別において、特徴量のマッチングの度合いが商品を識別できず、かつ、候補とすることができる所定の基準以上の商品識別データ43−xも存在しない場合には(ステップS26;No)、オペレータである店員に手動登録を行うように促し、手動登録を行わせる(ステップS30)。そして、手動登録された商品に対応する商品コードデータ41及び商品情報データ42を商品識別結果に追加して(ステップS29)、商品識別結果を出力する(ステップS24)。なお、店舗の運用態様によっては、オペレータ問い合わせ処理(ステップS27)あるいはオペレータである店員の手動登録(ステップS30)を行わずに未登録商品有りとして決済端末装置13−1で手動入力を行うようにすることも可能である。
【0029】
商品識別処理(ステップS12)が完了すると、商品一括登録装置11のCPU31は、決済用の2次元バーコードを生成する(ステップS13)。
この決済用の2次元バーコードには、商品識別処理(ステップS12)で識別されて商品識別結果として出力された一または複数の商品に対応する商品コードデータ41及び商品情報データ42が含まれている。
そして商品一括登録装置11のCPU31は、プリンタコントローラ37を介してプリンタ28を制御して、生成した2次元バーコードが2次元バーコード印刷領域53に印刷された商品事前登録シート12を印刷させる(ステップS14)。
【0030】
これにより、顧客は、商品事前登録シート12を商品一括登録装置11のオペレータである店員から受け取り、トレイTRに載置された商品と共に、決済端末装置13−1のオペレータである店員に渡すこととなる。
この結果、決済端末装置13−1のオペレータである店員は、CCDスキャナ78により商品事前登録シート12の2次元バーコードの読み取りを行わせる(ステップS15)。
これにより、決済端末装置13−1のCPU61は、スキャナコントローラ79を介して入力された2次元バーコードに含まれていた商品コードデータに基づく、購入商品の種類及び数に基づいて通常通り、決済処理を行い、レシートをレシート/ジャーナルプリンタ74を介して出力することとなる(ステップS16)。
【0031】
以上の説明のように本実施形態によれば、オブジェクト認識により、商品を一括して商品事前登録シートの2次元バーコードに登録するので、各商品を個別に登録する場合と比較して短時間で処理が可能であるとともに、アルバイトの店員のようにあまり商品やレジ登録操作に慣れていない店員であっても決済処理を行うことができ、売価誤りなどを未然に防止することができる。
さらにレジ登録用に商品のバーコードなどが付された包装を施す必要もないので、上述したパンのように包装を施すと、湿気などで鮮度低下を招くような商品であっても、鮮度保持が容易に実現できる。
【0032】
ところで、上記実施形態における商品一括登録装置11は、店舗における既存の決済端末装置13−1〜13−nとは、独立して別個に導入することが可能となっている。
すなわち、既存の決済端末装置13−1〜13−nの機能として、2次元バーコードを読み込んで決済のための登録が可能な機能を有するとともに、新たに決済端末装置13−1〜13−nに登録した商品について、2次元バーコードをレシート/ジャーナルプリンタ74により印刷する機能を有していれば、導入可能となっている。
この場合に、商品一括登録装置11と既存の決済端末装置13−1〜13−nとのデータ連携をどのように図るかについて以下に説明する。
【0033】
図10は、新規商品登録時のデータ連携のための処理タイミングチャートである。
以下の説明においては、決済端末装置13−1を用いて、商品一括登録装置11に一括登録に必要な商品識別データの登録を行う場合を例として説明する。
まず、決済端末装置13−1のオペレータは、新たに商品を登録しようとする場合には、商品コードを入力する(ステップS41)。なお、商品コードの割り当ては決済端末が自動的に行うようにしてもよい。
次に当該商品コードの商品について、決済に必要な価格、商品名などの各種商品情報を入力する(ステップS42)。この商品情報の入力については、手入力の他、バーコードスキャナ76あるいはCCDスキャナ78を用いた1次元バーコードあるいは2次元バーコードを用いた方法も可能である。
【0034】
図11は、商品新規登録シートの一例の説明図である。
これにより、決済端末装置13−1のCPU61は、商品登録情報の出力として、プリンタコントローラ75を介してレシート/ジャーナルプリンタ74により商品新規登録シート12Xを印刷する(ステップS43)。
商品新規登録シート12Xは、商品一括登録装置11のオペレータが商品の新規登録時に商品コードの確認を行うための商品コードが印刷された商品コード印刷領域91と、同じく商品一括登録装置11のオペレータが商品の新規登録時に商品名等の商品情報の確認を行うための商品情報が印刷された商品情報印刷領域92と、商品コードデータ及び商品情報データを含む2次元バーコードが印刷されたバーコード印刷領域93と、を備えている。
この商品新規登録シート12Xを用いることにより、容易に商品一括登録装置11側で、商品の新規登録処理が行えるようになる。
まず、商品一括登録装置11のオペレータは、新規登録対象の商品の撮像を行う(ステップS44)。
【0035】
図12は、新規登録対象の商品の撮像画像の説明図である。
ディスプレイ26の表示画面には、商品新規登録シート12Xおよび新規登録対象の商品NWが同時に写るようにカメラ部22を用いて撮像を行う。
これにより、商品一括登録装置11のCPU31は、商品新規登録シート12Xのバーコード印刷領域93を検出して、2次元バーコードを読み込み、商品登録情報としての商品コード41及び商品情報データ42を取得する(ステップS45)。
これと並行して商品一括登録装置11のCPU31は、新規登録対象の商品NWが写っている領域を判別して、新規登録対象の商品NWの特徴量を既存の手法により抽出する(ステップS46)。
【0036】
図13は、新規登録時のデータの説明図である。
そして、撮像画像から商品コードデータ41、商品情報データ42及び特徴量の抽出が完了すると、商品識別用データベース40に商品コードデータ41、商品情報データ42及び特徴量に対応する商品識別データ43として、第1商品識別データを登録する(ステップS47)。
具体的には、図13の場合、商品コードデータ41として、商品新規登録シート12Xに印刷されていたように、商品コード=「1234−56」が登録され、商品情報データ42として例えば商品名「デラックスメロンパン」が登録され、特徴量に対応する商品識別データ43が登録される。
【0037】
以上の説明のように、商品一括登録装置11と、決済端末装置13−1とが、それぞれスタンドアロンの装置として設置されたとしても、新規の商品登録に際してデータ連携を容易に図ることができる。
したがって、既存の決済端末装置13−1〜13−nが設置されている店舗に商品一括登録装置11を後から追加で導入したとしても、既存の決済端末装置13−1〜13−nには、手を加えることなく、容易に導入が可能となる。
したがって、設置コスト及び設置時の手間を大きく削減することができ、決済システムの大幅なグレードアップを図ることができる。
【0038】
以上の説明においては、商品一括登録装置11と、決済端末装置13−1〜13−nとの間のデータ連携を商品事前登録シート12および商品新規登録シート12Xの紙媒体を用いて行っていたが、同様のデータのやりとりを、ブルートゥース(登録商標)等の無線ネットワークを介して無線通信で接続したり、イーサネット(登録商標)等の有線ネットワークを介して有線通信で接続したり、RFID、USBメモリなどの電子的な記録媒体(記録通信媒体)を用いて行ったりするように構成することも可能である。
【0039】
また、商品事前登録シート12および商品新規登録シート12Xにおいて、商品コードや、商品情報を2次元バーコードに記録していたが、一または複数の1次元バーコードを用いて記録するように構成することも可能である。
【0040】
本実施形態の情報処理装置(商品一括登録装置11あるいは決済端末装置13−1〜13−n)で実行される制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態の情報処理装置で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置で実行される制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本実施形態の情報処理装置の制御プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
【0041】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0042】
10 決済システム
11 商品一括登録装置
12 商品事前登録シート
12X 商品新規登録シート
13−1〜13−n 決済端末装置
22 カメラ部
23 載置台
24 アーム部
25 照明部
26 ディスプレイ
26A 表示画面
27 タッチパネルセンサ
28 プリンタ
39 記憶装置
40 商品識別用データベース
41 商品コードデータ
42 商品情報データ
43−1〜43−n 商品識別データ
51 登録商品数印刷領域
52 合計金額印刷領域
53 2次元バーコード印刷領域
54 コメント印刷領域
91 商品コード印刷領域
92 商品情報印刷領域
93 バーコード印刷領域
74 レシート/ジャーナルプリンタ
78 CCDスキャナ
79 スキャナコントローラ
NW 新規登録対象の商品
TR トレイ
【先行技術文献】
【特許文献】
【0043】
【特許文献1】特開2004−227424号公報
【特許請求の範囲】
【請求項1】
商品を含む画像を撮像して撮像画像データを出力する撮像手段と、
商品を認識し、識別するための識別用データと、商品に関する商品情報と、を対応づけて予め記憶した商品識別用データベースと、
前記撮像画像データに対応する画像に含まれる商品の特徴量を抽出し、前記商品識別用データベースに記憶されている識別用データを参照して、前記画像に含まれる一または複数の商品を特定し、特定した商品に対応する商品特定情報を出力先の決済端末装置が読取可能なフォーマットで出力する商品特定情報出力手段と、
を備える情報処理装置。
【請求項2】
前記商品特定情報出力手段は、前記出力データを、用紙状の記録媒体に画像として記録する請求項1記載の情報処理装置。
【請求項3】
前記用紙状の記録媒体に記録される画像は、1次元バーコードあるいは2次元バーコードとして記録されている、
請求項2記載の情報処理装置。
【請求項4】
商品情報が画像として印刷された記録媒体と、当該商品情報に対応づけるべき商品と、を前記撮像手段により撮像し、
前記撮像手段により取得した撮像画像データから、前記商品の特徴量及び前記商品情報を抽出する情報抽出手段と、
前記情報抽出手段により抽出された特徴量に対応する識別用データと、前記商品情報とを対応づけて前記商品識別用データベースに登録する登録手段と、
を備える請求項1乃至請求項3のいずれかに記載の情報処理装置。
【請求項5】
予め商品の認識処理を行うための識別用データと対応する商品に関する商品情報とが対応づけて記憶された商品識別用データベースと、商品を含む画像を撮像して撮像画像データを出力する撮像装置と、を備えた情報処理装置で実行される情報処理方法において、
前記撮像画像データに対応する画像に含まれる商品の特徴量を抽出する特徴量抽出過程と、
前記商品識別用データベースに記憶されている識別用データを参照して、前記画像に含まれる一または複数の商品を特定する商品特定過程と、
商品特定情報を出力先の決済端末装置が読取可能なフォーマットで出力する商品特定情報出力過程と、
を備える情報処理方法。
【請求項6】
予め商品の認識処理を行うための識別用データと対応する商品に関する商品情報とが対応づけて記憶された商品識別用データベースと、商品を含む画像を撮像して撮像画像データを出力する撮像装置と、を備えた情報処理装置をコンピュータにより制御するための制御プログラムにおいて、
前記コンピュータを、
前記撮像画像データに対応する画像に含まれる商品の特徴量を抽出する手段、
前記商品識別用データベースに記憶されている識別用データを参照して、前記画像に含まれる一または複数の商品を特定する手段、
前記特定した商品に対応する商品特定情報を出力先の決済端末装置が読取可能なフォーマットで出力する手段、
として機能させる制御プログラム。
【請求項1】
商品を含む画像を撮像して撮像画像データを出力する撮像手段と、
商品を認識し、識別するための識別用データと、商品に関する商品情報と、を対応づけて予め記憶した商品識別用データベースと、
前記撮像画像データに対応する画像に含まれる商品の特徴量を抽出し、前記商品識別用データベースに記憶されている識別用データを参照して、前記画像に含まれる一または複数の商品を特定し、特定した商品に対応する商品特定情報を出力先の決済端末装置が読取可能なフォーマットで出力する商品特定情報出力手段と、
を備える情報処理装置。
【請求項2】
前記商品特定情報出力手段は、前記出力データを、用紙状の記録媒体に画像として記録する請求項1記載の情報処理装置。
【請求項3】
前記用紙状の記録媒体に記録される画像は、1次元バーコードあるいは2次元バーコードとして記録されている、
請求項2記載の情報処理装置。
【請求項4】
商品情報が画像として印刷された記録媒体と、当該商品情報に対応づけるべき商品と、を前記撮像手段により撮像し、
前記撮像手段により取得した撮像画像データから、前記商品の特徴量及び前記商品情報を抽出する情報抽出手段と、
前記情報抽出手段により抽出された特徴量に対応する識別用データと、前記商品情報とを対応づけて前記商品識別用データベースに登録する登録手段と、
を備える請求項1乃至請求項3のいずれかに記載の情報処理装置。
【請求項5】
予め商品の認識処理を行うための識別用データと対応する商品に関する商品情報とが対応づけて記憶された商品識別用データベースと、商品を含む画像を撮像して撮像画像データを出力する撮像装置と、を備えた情報処理装置で実行される情報処理方法において、
前記撮像画像データに対応する画像に含まれる商品の特徴量を抽出する特徴量抽出過程と、
前記商品識別用データベースに記憶されている識別用データを参照して、前記画像に含まれる一または複数の商品を特定する商品特定過程と、
商品特定情報を出力先の決済端末装置が読取可能なフォーマットで出力する商品特定情報出力過程と、
を備える情報処理方法。
【請求項6】
予め商品の認識処理を行うための識別用データと対応する商品に関する商品情報とが対応づけて記憶された商品識別用データベースと、商品を含む画像を撮像して撮像画像データを出力する撮像装置と、を備えた情報処理装置をコンピュータにより制御するための制御プログラムにおいて、
前記コンピュータを、
前記撮像画像データに対応する画像に含まれる商品の特徴量を抽出する手段、
前記商品識別用データベースに記憶されている識別用データを参照して、前記画像に含まれる一または複数の商品を特定する手段、
前記特定した商品に対応する商品特定情報を出力先の決済端末装置が読取可能なフォーマットで出力する手段、
として機能させる制御プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−247968(P2012−247968A)
【公開日】平成24年12月13日(2012.12.13)
【国際特許分類】
【出願番号】特願2011−118697(P2011−118697)
【出願日】平成23年5月27日(2011.5.27)
【出願人】(000003562)東芝テック株式会社 (5,631)
【Fターム(参考)】
【公開日】平成24年12月13日(2012.12.13)
【国際特許分類】
【出願日】平成23年5月27日(2011.5.27)
【出願人】(000003562)東芝テック株式会社 (5,631)
【Fターム(参考)】
[ Back to top ]