ラベル発行装置およびプログラム
【課題】商品を構成する要素について、不足しているものや余計なものがあることを報知する。
【解決手段】ラベルに対して印字して発行するラベル発行装置において、撮像手段と、撮像手段が撮像した画像を出力する画像出力手段１０１３と、出力された画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段６１１と、認識された物体の集合体が認識対象のアイテムである場合、当該アイテムについての構成が正しいか否かを、複数の物体をセットにするアイテムについて当該アイテムを構成する物体情報を設定するセットファイルに基づいて確認する確認手段６１２と、を備え、確認手段６１２は構成が正しくないと判定した場合、過不足のある構成について報知する。
【解決手段】ラベルに対して印字して発行するラベル発行装置において、撮像手段と、撮像手段が撮像した画像を出力する画像出力手段１０１３と、出力された画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段６１１と、認識された物体の集合体が認識対象のアイテムである場合、当該アイテムについての構成が正しいか否かを、複数の物体をセットにするアイテムについて当該アイテムを構成する物体情報を設定するセットファイルに基づいて確認する確認手段６１２と、を備え、確認手段６１２は構成が正しくないと判定した場合、過不足のある構成について報知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、ラベル発行装置およびプログラムに関する。
【背景技術】
【０００２】
スーパーマーケット等の店舗では、商品に貼付して商品名や価格等を表示したラベルを印刷するラベルプリンタが用いられている。ラベルプリンタは、商品マスタから商品名や価格などの商品情報を読み込んでラベルに印刷する印字データを生成し、生成した印字データに基づいてラベルを印刷する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、近年におけるアルバイト従業員の増加に伴い、例えば各種の惣菜等を盛り付ける弁当などをバックヤードでパック詰めしてラベルを付する場合に、惣菜の盛り付け忘れや箸・スプーン等の食器の付け忘れが起きることがある。
【課題を解決するための手段】
【０００４】
実施形態のラベル発行装置は、ラベルに対して印字して発行するラベル発行装置において、撮像手段と、前記撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、を備える。また、実施形態のラベル発行装置は、認識された前記物体の集合体が認識対象のアイテムである場合、当該アイテムについての構成が正しいか否かを、複数の物体をセットにするアイテムについて当該アイテムを構成する物体情報を設定するセットファイルに基づいて確認する確認手段を備え、前記確認手段は構成が正しくないと判定した場合、過不足のある構成について報知する。
【０００５】
実施形態のプログラムは、ラベルに対して印字して発行するラベル発行装置を制御するコンピュータを、撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段して機能させる。また、実施形態のプログラムは、ラベルに対して印字して発行するラベル発行装置を制御するコンピュータを、認識された前記物体の集合体が認識対象のアイテムである場合、当該アイテムについての構成が正しいか否かを、複数の物体をセットにするアイテムについて当該アイテムを構成する物体情報を設定するセットファイルに基づいて確認する確認手段として機能させ、前記確認手段は構成が正しくないと判定した場合、過不足のある構成について報知する。
【図面の簡単な説明】
【０００６】
【図１】図１は、本実施形態にかかるラベルプリンタの外観を示す斜視図である。
【図２】図２は、第１プリンタが本体から引き出された状態を示す斜視図である。
【図３】図３は、ラベルプリンタのハードウェア構成を示すブロック図である。
【図４】図４は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図５】図５は、ＣＰＵの機能構成を示すブロック図である。
【図６】図６は、ラベルプリンタの処理動作の一例を示すフローチャートである。
【図７】図７は、読取窓における読取領域の例を示す概念図である。
【図８】図８は、表示デバイスへの画面表示例を示す正面図である。
【図９】図９は、処理の具体例を模式的に示す説明図である。
【発明を実施するための形態】
【０００７】
以下では、ラベルプリンタを例に本実施形態にかかるラベル発行装置およびプログラムについて、図面を参照して説明する。本実施形態のラベル発行装置は、スーパーマーケットや食品加工工場などにおいて、商品の商品名や価格などの商品情報を印刷したラベルを発行するラベルプリンタに適用したものである。
【０００８】
図１は、本実施形態にかかるラベルプリンタ１の外観を示す斜視図である。ラベルプリンタ１は、商品に関連する情報をラベルに印刷し、印刷したラベルを発行するものである。ラベルプリンタ１の本体２の上部には表示デバイス３などの表示器が設けられている。表示デバイス３は、ラベルに印刷する商品情報などを編集するラベル登録画面を表示する。また、表示デバイス３の表面にはタッチパネル４が設けられている。また、ラベルプリンタ１の本体２の上面にはキーボード５が設けられている。また、ラベルプリンタ１の本体２の正面下部には、商品を載置して商品の重量を秤量する計量秤８が設けられている。
【０００９】
また、ラベルプリンタ１の本体２には、第１プリンタ６と、第２プリンタ７との２つのプリンタユニットが並設されて収容されている。第１プリンタ６および第２プリンタ７は同様の構成であるので、以下では第１プリンタ６について説明する。第１プリンタ６は、第１プリンタ６の前面パネル下部に設けられた溝部６ａに指を掛けてＡ方向に引っ張ることで、図２に示すように本体２から引き出すことができる。
【００１０】
図２は、第１プリンタ６が本体２から引き出された状態を示す斜視図である。第１プリンタ６の内部には、ラベルを台紙に貼付したロール状のラベル用紙Ｐが図示しない保持軸に着脱自在に保持されている。また、第１プリンタ６は、サーマルヘッド等のプリンタヘッド１６を備えている。プリンタヘッド１６はラベル用紙Ｐに文字や記号、バーコードや２次元コード等を印刷する。このように印刷されたラベルは、第１プリンタ６の前面パネル上部に設けられたラベル発行口６ｂから排出される。尚、第２プリンタ７も同様に、ラベル発行口７ｂと、プリンタヘッド１７（図３参照）とを備えている。
【００１１】
このようなラベルプリンタ１は、ＰＬＵファイルＦ１（詳細は後述する。図４参照）から商品名や価格などの商品情報を読み込んでラベルに印刷する印字データを生成し、生成した印字データに基づいてラベルを印刷する。
【００１２】
加えて、このようなラベルプリンタ１は、商品読取部１０（図３参照）を備えている。商品読取部１０は、読取窓９の奥側に撮像部１０４（図３参照）を配置している。
【００１３】
オペレータ（店員）によって商品（例えば、各種の惣菜等を盛り付けられた弁当）が持ち込まれ、オペレータの手によって計量秤８へと移動される。この移動過程で、商品がラベルプリンタ１の読取窓９に向けられる。この際、読取窓９の奥側に配置された撮像部１０４（図３参照）は商品を撮像する。商品読取部１０では、撮像部１０４により撮像された画像に含まれる商品の全部または一部を検出する。ラベルプリンタ１では、撮像部１０４により撮像された画像に商品の全部または一部が含まれることを検出した場合、その撮像された画像に含まれる商品の各々について、商品の画像が関連付けられたＰＬＵファイルＦ１（詳細は後述する。図４参照）を参照して、商品読取部１０の撮像部１０４により撮像された商品の全部または一部の画像から特定の物体である商品を認識することで商品を特定する。
【００１４】
図３は、ラベルプリンタ１のハードウェア構成を示すブロック図である。ラベルプリンタ１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１５】
ラベルプリンタ１のＣＰＵ６１には、前述した表示デバイス３、タッチパネル４、キーボード５、計量秤８がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
ラベルプリンタ１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ラベルプリンタ１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、ラベル印刷用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１やセットファイルＦ２である。
【００１７】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品の各々について、商品の売上登録にかかる情報と、その商品の画像との関連付けが設定されたファイルである。図４は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図４に示すように、ＰＬＵファイルＦ１は、商品ごとに、ユニークに割り当てられた商品ＩＤ、商品が属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、「類似度：0.XX」という閾値と、を格納するファイルである。詳細は後述するが、この「類似度：0.XX」という閾値は、商品が果物や生鮮品などであり、鮮度が落ち変色した場合などは、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。
【００１８】
セットファイルＦ２は、例えば、各種の惣菜等を盛り付ける弁当のように、複数の商品をセットにするアイテムについて、当該アイテムを構成する商品情報（例えば、ハンバーグ、白米、梅干など）を設定するものである。
【００１９】
図３に戻り、ラベルプリンタ１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ラベルプリンタ１に配信されるＰＬＵファイルＦ１が格納されている。
【００２０】
さらに、ラベルプリンタ１のＣＰＵ６１には、商品読取部１０が接続されている。また、ラベルプリンタ１のＣＰＵ６１には、ラベル印字を行う第１プリンタ６および第２プリンタ７の２つのプリンタユニットが接続されている。ラベルプリンタ１は、ＣＰＵ６１の制御のもと、ラベル印字を実行する。
【００２１】
商品読取部１０も、マイクロコンピュータ１１０を備えている。マイクロコンピュータ１１０は、ＣＰＵ１０１にＲＯＭ１０２とＲＡＭ１０３とがバス接続されて構成されている。ＲＯＭ１０２には、ＣＰＵ１０１によって実行されるプログラムが記憶されている。ＣＰＵ１０１には、撮像部１０４、音声出力部１０５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１０４、音声出力部１０５は、ＣＰＵ１０１によって動作が制御される。
【００２２】
撮像部１０４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１０１の制御の下で読取窓９からの撮像を行う撮像手段である。例えば撮像部１０４では３０ｆｐｓの動画像の撮像を行う。撮像部１０４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１０３に保存される。
【００２３】
音声出力部１０５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１０５は、ＣＰＵ１０１の制御の下で警告音などの音声による報知を行う。
【００２４】
そして、ＣＰＵ１０１の制御の下、商品読取部１０の撮像部１０４によって撮像された画像（商品の全部または一部を含む画像）は、ラベルプリンタ１のＣＰＵ６１に入力される。
【００２５】
次に、ＣＰＵ１０１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１０１、ＣＰＵ６１の機能部について、図５を参照して説明する。図５は、ＣＰＵ１０１、ＣＰＵ６１の機能構成を示すブロック図である。図５に示すように、ＣＰＵ１０１は、プログラムを順次実行することにより、撮像画像取込部１０１１、商品検出部１０１２、画像出力手段である画像出力部１０１３としての機能を備える。同様に、ＣＰＵ６１は、物体認識手段である物体認識部６１１、確認手段である商品確認部６１２、類似度判定手段である類似度判定部６１３、不良品報知手段である不良品報知部６１４としての機能を備える。
【００２６】
撮像画像取込部１０１１は、撮像部１０４に撮像オン信号を出力して撮像部１０４に撮像動作を開始させる。撮像画像取込部１０１１は、撮像動作開始後に撮像部１０４が撮像してＲＡＭ１０３に保存されたフレーム画像を順次取り込む。撮像画像取込部１０１１によるフレーム画像の取り込みは、ＲＡＭ１０３に保存された順に行われる。
【００２７】
商品検出部１０１２は、撮像画像取込部１０１１により取り込まれたフレーム画像に含まれる商品の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓９に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００２８】
画像出力部１０１３は、撮像画像取込部１０１１が取り込んだフレーム画像をラベルプリンタ１のＣＰＵ６１へ出力する。画像出力部１０１３は撮像画像取込部１０１１が取り込んだフレーム画像を逐次ラベルプリンタ１のＣＰＵ６１へ出力してもよいが、本実施形態では、商品検出部１０１２により商品の全部または一部が検出されたフレーム画像をラベルプリンタ１のＣＰＵ６１へ出力するものとする。このように、商品検出部１０１２により商品の全部または一部が検出されたフレーム画像をラベルプリンタ１のＣＰＵ６１へ出力することで、商品の全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がラベルプリンタ１のＣＰＵ６１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品の全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００２９】
物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取部１０の撮像部１０４により撮像された商品の全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品を認識する。なお、物体認識部６１１は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。ラベルプリンタ１のＣＰＵ６１では、物体認識部６１１の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取部１０が読み取った商品を特定できる。
【００３０】
類似度判定部６１３は、物体認識部６１１が認識した商品について類似度を算出し、類似度がＰＬＵファイルＦ１において予め定められた閾値を超えているか否かを判定する。
【００３１】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３２】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３３】
商品確認部６１２は、物体認識部６１１により認識された商品に基づき、商品（例えば、各種の惣菜等を盛り付けられた弁当）の構成（すなわち盛り付け）が正しいか否かを判定し、商品（例えば、各種の惣菜等を盛り付けられた弁当）の構成（すなわち盛り付け）が正しくないと判定した場合、不足しているものや余計なものを表示デバイス３に表示することによって、不足しているものや余計なものがあることをオペレータ（店員）に報知する。
【００３４】
次に、ラベルプリンタ１の動作について詳細に説明する。図６は、本実施形態にかかるラベルプリンタ１の動作の一例を示すフローチャートである。
【００３５】
図６に示すように、例えばキーボード５からの商品ＩＤの入力によりラベル発行処理が開始されると、撮像画像取込部１０１１は、撮像部１０４に撮像オン信号を出力して撮像部１０４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１０１１は、撮像部１０４が撮像してＲＡＭ１０３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１０１２は、撮像画像取込部１０１１が取り込んだフレーム画像から全ての商品の全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１０１３は、商品検出部１０１２により全ての商品の全部または一部が検出されたフレーム画像をＣＰＵ６１側へ出力する（ステップＳ４）。
【００３６】
図７は、読取窓９における読取領域Ｒの例を示す概念図である。具体的には、図７は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図７に示すように、前述した商品Ａの移動過程において読取領域Ｒに商品Ａが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からステップＳ３で全ての商品Ａの全部または一部が検出される。全ての商品Ａの全部または一部の検出により、ステップＳ４では読取領域Ｒを撮像したフレーム画像がＣＰＵ６１へ出力されることとなる。
【００３７】
次に、図６に示すように、ＣＰＵ６１は、商品読取部１０から出力された、全ての商品Ａの全部または一部を検出したフレーム画像を受信する（ステップＳ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取部１０から出力された全ての商品Ａの全部または一部の画像から特定の物体として商品Ａを順に認識する（ステップＳ１２）。
【００３８】
次いで、類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、類似度を算出する（ステップＳ１３）。類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：1.0」とした場合に、商品読取部１０から出力された商品Ａの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしても良い。
【００３９】
次いで、類似度判定部６１３は、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えているか否かを判定する（ステップＳ１４）。
【００４０】
類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていると判定した場合（ステップＳ１４：Ｙｅｓ）、ＣＰＵ６１は、物体認識部６１１により認識された特定の物体である商品Ａの商品画像と関連する情報（商品ＩＤ、商品分類、商品名、単価など）をＰＬＵファイルＦ１から読み出してＲＡＭ６３に一時的に記憶する（ステップＳ１５）。
【００４１】
次いで、ＣＰＵ６１は、全ての物体を認識したか否かを判定する（ステップＳ１６）。ＣＰＵ６１は、全ての物体を認識したと判定した場合は（ステップＳ１６：Ｙｅｓ）、ステップＳ１７に進み、全ての物体を認識していないと判定した場合は（ステップＳ１６：Ｎｏ）、ステップＳ１２へ処理を戻して次の物体の認識処理を継続させる。
【００４２】
ステップＳ１７では、商品確認部６１２が、商品（例えば、各種の惣菜等を盛り付けられた弁当）の構成（すなわち盛り付け）が正しいか否かを判定する。具体的には、ＲＡＭ６３に記憶されている認識された特定の物体である各商品Ａの情報（商品ＩＤ、商品分類、商品名、単価など）と、予め用意されているセットファイルＦ２に設定されている商品情報とを比較して、欠落があるかどうかを判定する。
【００４３】
ＣＰＵ６１は、商品確認部６１２が商品（例えば、各種の惣菜等を盛り付けられた弁当）の構成（すなわち盛り付け）が正しいと判定した場合（ステップＳ１７：Ｙｅｓ）、ラベル発行処理を実行して（ステップＳ１８）、処理を終了する。
【００４４】
このように本実施形態のラベルプリンタ１によれば、バックヤードや厨房で行う定食・弁当等のセット商品の盛り付け作業で、画像情報を使って、セットの一部になっている料理の盛り付け忘れや、箸・スプーン等の食器の付け忘れを防止することができる。また、盛り付けが多い場合にも対応可能である。
【００４５】
一方、商品確認部６１２は、商品（例えば、各種の惣菜等を盛り付けられた弁当）の構成（すなわち盛り付け）が正しくないと判定した場合（ステップＳ１７：Ｎｏ）、図８に示すように、不足しているものや余計なものを表示デバイス３に表示することによって（ステップＳ１９）、不足しているものや余計なものがあることをオペレータ（店員）に報知することができる。このように報知された場合、オペレータ（店員）は、不足しているものを追加した後、または余計なものを取り去った後、ステップＳ１からの処理を繰り返す。
【００４６】
なお、類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていないと判定した場合（ステップＳ１４：Ｎｏ）、不良品報知部６１４は、正規品と認識されなかった商品であることを店員に報知し（ステップＳ２０）、販売中止するなどの措置を店舗側に促す。具体的には、不良品報知部６１４は、表示デバイス３への画面表示や、音声出力部１０５による警告音の出力などでエラーを店員に報知する。この報知を行うことで、ラベルプリンタ１は、別の商品Ａを読み取らせるなどの、適切な操作を店員に促すことができる。
【００４７】
図９に示すように、物体認識部６１１が認識した商品Ａが「バナナ」であった場合、閾値が「類似度：0.50」としてＰＬＵファイルＦ１に記憶されていると、（ａ）で示す商品については類似度が0.717であることから、算出した類似度が予め定められた閾値を超えていると判定される。一方、（ｂ）で示す商品については類似度が0.252であることから、算出した類似度が予め定められた閾値を超えていないと判定される。したがって、（ａ）で示す商品については、「バナナ」として通常通りに売上登録される。一方、（ｂ）で示す商品については、「バナナ」として一応認識されるものの、古くなり変色したもの、傷んだもの、変形したもの、すなわち色合いや表面の凹凸状況等が正常でないものとして、不良品として売上登録されない。同様に、惣菜なども、正規の焼き具合や揚げ具合による商品画像をＰＬＵファイルＦ１に記憶しておき、焼き不足／過ぎや揚げ不足／過ぎなどが閾値を外れた場合、不良品であると判断することができる。
【００４８】
このように本実施形態のラベルプリンタ１によれば、生鮮品や惣菜などが、古くなり変色したもの、傷んだもの、変形したもの、調理不良により色合いが異なるものなどであった場合、ＰＬＵファイルＦ１に記憶されている商品画像と比較することで、基準を外れたものを不良品であると判断することができる。
【００４９】
特に、繁忙店など商品の鮮度をチェックする時間に制約がある店舗や、多数の店員を抱え惣菜の調理に個人差がある店舗などでも、正規の商品と数値的な判断で比較することが可能となる。
【００５０】
本実施形態のラベルプリンタ１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のラベルプリンタ１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５１】
さらに、本実施形態のラベルプリンタ１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のラベルプリンタ１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５２】
本実施形態のラベルプリンタ１で実行されるプログラムは、上述した各部（物体認識部６１１、商品確認部６１２、類似度判定部６１３、不良品報知部６１４、撮像画像取込部１０１１、商品検出部１０１２、画像出力部１０１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部６１１、商品確認部６１２、類似度判定部６１３、不良品報知部６１４、撮像画像取込部１０１１、商品検出部１０１２、画像出力部１０１３が主記憶装置上に生成されるようになっている。
【符号の説明】
【００５３】
１ ラベル発行装置
１０４ 撮像手段
６１１ 物体認識手段
６１２ 確認手段
６１３ 類似度判定手段
６１４ 不良品報知手段
１０１３ 画像出力手段
Ｆ２ セットファイル
【先行技術文献】
【特許文献】
【００５４】
【特許文献１】特許第２６３０２５６号公報
【技術分野】
【０００１】
本発明の実施形態は、ラベル発行装置およびプログラムに関する。
【背景技術】
【０００２】
スーパーマーケット等の店舗では、商品に貼付して商品名や価格等を表示したラベルを印刷するラベルプリンタが用いられている。ラベルプリンタは、商品マスタから商品名や価格などの商品情報を読み込んでラベルに印刷する印字データを生成し、生成した印字データに基づいてラベルを印刷する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、近年におけるアルバイト従業員の増加に伴い、例えば各種の惣菜等を盛り付ける弁当などをバックヤードでパック詰めしてラベルを付する場合に、惣菜の盛り付け忘れや箸・スプーン等の食器の付け忘れが起きることがある。
【課題を解決するための手段】
【０００４】
実施形態のラベル発行装置は、ラベルに対して印字して発行するラベル発行装置において、撮像手段と、前記撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、を備える。また、実施形態のラベル発行装置は、認識された前記物体の集合体が認識対象のアイテムである場合、当該アイテムについての構成が正しいか否かを、複数の物体をセットにするアイテムについて当該アイテムを構成する物体情報を設定するセットファイルに基づいて確認する確認手段を備え、前記確認手段は構成が正しくないと判定した場合、過不足のある構成について報知する。
【０００５】
実施形態のプログラムは、ラベルに対して印字して発行するラベル発行装置を制御するコンピュータを、撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段して機能させる。また、実施形態のプログラムは、ラベルに対して印字して発行するラベル発行装置を制御するコンピュータを、認識された前記物体の集合体が認識対象のアイテムである場合、当該アイテムについての構成が正しいか否かを、複数の物体をセットにするアイテムについて当該アイテムを構成する物体情報を設定するセットファイルに基づいて確認する確認手段として機能させ、前記確認手段は構成が正しくないと判定した場合、過不足のある構成について報知する。
【図面の簡単な説明】
【０００６】
【図１】図１は、本実施形態にかかるラベルプリンタの外観を示す斜視図である。
【図２】図２は、第１プリンタが本体から引き出された状態を示す斜視図である。
【図３】図３は、ラベルプリンタのハードウェア構成を示すブロック図である。
【図４】図４は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図５】図５は、ＣＰＵの機能構成を示すブロック図である。
【図６】図６は、ラベルプリンタの処理動作の一例を示すフローチャートである。
【図７】図７は、読取窓における読取領域の例を示す概念図である。
【図８】図８は、表示デバイスへの画面表示例を示す正面図である。
【図９】図９は、処理の具体例を模式的に示す説明図である。
【発明を実施するための形態】
【０００７】
以下では、ラベルプリンタを例に本実施形態にかかるラベル発行装置およびプログラムについて、図面を参照して説明する。本実施形態のラベル発行装置は、スーパーマーケットや食品加工工場などにおいて、商品の商品名や価格などの商品情報を印刷したラベルを発行するラベルプリンタに適用したものである。
【０００８】
図１は、本実施形態にかかるラベルプリンタ１の外観を示す斜視図である。ラベルプリンタ１は、商品に関連する情報をラベルに印刷し、印刷したラベルを発行するものである。ラベルプリンタ１の本体２の上部には表示デバイス３などの表示器が設けられている。表示デバイス３は、ラベルに印刷する商品情報などを編集するラベル登録画面を表示する。また、表示デバイス３の表面にはタッチパネル４が設けられている。また、ラベルプリンタ１の本体２の上面にはキーボード５が設けられている。また、ラベルプリンタ１の本体２の正面下部には、商品を載置して商品の重量を秤量する計量秤８が設けられている。
【０００９】
また、ラベルプリンタ１の本体２には、第１プリンタ６と、第２プリンタ７との２つのプリンタユニットが並設されて収容されている。第１プリンタ６および第２プリンタ７は同様の構成であるので、以下では第１プリンタ６について説明する。第１プリンタ６は、第１プリンタ６の前面パネル下部に設けられた溝部６ａに指を掛けてＡ方向に引っ張ることで、図２に示すように本体２から引き出すことができる。
【００１０】
図２は、第１プリンタ６が本体２から引き出された状態を示す斜視図である。第１プリンタ６の内部には、ラベルを台紙に貼付したロール状のラベル用紙Ｐが図示しない保持軸に着脱自在に保持されている。また、第１プリンタ６は、サーマルヘッド等のプリンタヘッド１６を備えている。プリンタヘッド１６はラベル用紙Ｐに文字や記号、バーコードや２次元コード等を印刷する。このように印刷されたラベルは、第１プリンタ６の前面パネル上部に設けられたラベル発行口６ｂから排出される。尚、第２プリンタ７も同様に、ラベル発行口７ｂと、プリンタヘッド１７（図３参照）とを備えている。
【００１１】
このようなラベルプリンタ１は、ＰＬＵファイルＦ１（詳細は後述する。図４参照）から商品名や価格などの商品情報を読み込んでラベルに印刷する印字データを生成し、生成した印字データに基づいてラベルを印刷する。
【００１２】
加えて、このようなラベルプリンタ１は、商品読取部１０（図３参照）を備えている。商品読取部１０は、読取窓９の奥側に撮像部１０４（図３参照）を配置している。
【００１３】
オペレータ（店員）によって商品（例えば、各種の惣菜等を盛り付けられた弁当）が持ち込まれ、オペレータの手によって計量秤８へと移動される。この移動過程で、商品がラベルプリンタ１の読取窓９に向けられる。この際、読取窓９の奥側に配置された撮像部１０４（図３参照）は商品を撮像する。商品読取部１０では、撮像部１０４により撮像された画像に含まれる商品の全部または一部を検出する。ラベルプリンタ１では、撮像部１０４により撮像された画像に商品の全部または一部が含まれることを検出した場合、その撮像された画像に含まれる商品の各々について、商品の画像が関連付けられたＰＬＵファイルＦ１（詳細は後述する。図４参照）を参照して、商品読取部１０の撮像部１０４により撮像された商品の全部または一部の画像から特定の物体である商品を認識することで商品を特定する。
【００１４】
図３は、ラベルプリンタ１のハードウェア構成を示すブロック図である。ラベルプリンタ１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１５】
ラベルプリンタ１のＣＰＵ６１には、前述した表示デバイス３、タッチパネル４、キーボード５、計量秤８がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
ラベルプリンタ１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ラベルプリンタ１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、ラベル印刷用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１やセットファイルＦ２である。
【００１７】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品の各々について、商品の売上登録にかかる情報と、その商品の画像との関連付けが設定されたファイルである。図４は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図４に示すように、ＰＬＵファイルＦ１は、商品ごとに、ユニークに割り当てられた商品ＩＤ、商品が属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、「類似度：0.XX」という閾値と、を格納するファイルである。詳細は後述するが、この「類似度：0.XX」という閾値は、商品が果物や生鮮品などであり、鮮度が落ち変色した場合などは、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。
【００１８】
セットファイルＦ２は、例えば、各種の惣菜等を盛り付ける弁当のように、複数の商品をセットにするアイテムについて、当該アイテムを構成する商品情報（例えば、ハンバーグ、白米、梅干など）を設定するものである。
【００１９】
図３に戻り、ラベルプリンタ１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ラベルプリンタ１に配信されるＰＬＵファイルＦ１が格納されている。
【００２０】
さらに、ラベルプリンタ１のＣＰＵ６１には、商品読取部１０が接続されている。また、ラベルプリンタ１のＣＰＵ６１には、ラベル印字を行う第１プリンタ６および第２プリンタ７の２つのプリンタユニットが接続されている。ラベルプリンタ１は、ＣＰＵ６１の制御のもと、ラベル印字を実行する。
【００２１】
商品読取部１０も、マイクロコンピュータ１１０を備えている。マイクロコンピュータ１１０は、ＣＰＵ１０１にＲＯＭ１０２とＲＡＭ１０３とがバス接続されて構成されている。ＲＯＭ１０２には、ＣＰＵ１０１によって実行されるプログラムが記憶されている。ＣＰＵ１０１には、撮像部１０４、音声出力部１０５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１０４、音声出力部１０５は、ＣＰＵ１０１によって動作が制御される。
【００２２】
撮像部１０４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１０１の制御の下で読取窓９からの撮像を行う撮像手段である。例えば撮像部１０４では３０ｆｐｓの動画像の撮像を行う。撮像部１０４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１０３に保存される。
【００２３】
音声出力部１０５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１０５は、ＣＰＵ１０１の制御の下で警告音などの音声による報知を行う。
【００２４】
そして、ＣＰＵ１０１の制御の下、商品読取部１０の撮像部１０４によって撮像された画像（商品の全部または一部を含む画像）は、ラベルプリンタ１のＣＰＵ６１に入力される。
【００２５】
次に、ＣＰＵ１０１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１０１、ＣＰＵ６１の機能部について、図５を参照して説明する。図５は、ＣＰＵ１０１、ＣＰＵ６１の機能構成を示すブロック図である。図５に示すように、ＣＰＵ１０１は、プログラムを順次実行することにより、撮像画像取込部１０１１、商品検出部１０１２、画像出力手段である画像出力部１０１３としての機能を備える。同様に、ＣＰＵ６１は、物体認識手段である物体認識部６１１、確認手段である商品確認部６１２、類似度判定手段である類似度判定部６１３、不良品報知手段である不良品報知部６１４としての機能を備える。
【００２６】
撮像画像取込部１０１１は、撮像部１０４に撮像オン信号を出力して撮像部１０４に撮像動作を開始させる。撮像画像取込部１０１１は、撮像動作開始後に撮像部１０４が撮像してＲＡＭ１０３に保存されたフレーム画像を順次取り込む。撮像画像取込部１０１１によるフレーム画像の取り込みは、ＲＡＭ１０３に保存された順に行われる。
【００２７】
商品検出部１０１２は、撮像画像取込部１０１１により取り込まれたフレーム画像に含まれる商品の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓９に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００２８】
画像出力部１０１３は、撮像画像取込部１０１１が取り込んだフレーム画像をラベルプリンタ１のＣＰＵ６１へ出力する。画像出力部１０１３は撮像画像取込部１０１１が取り込んだフレーム画像を逐次ラベルプリンタ１のＣＰＵ６１へ出力してもよいが、本実施形態では、商品検出部１０１２により商品の全部または一部が検出されたフレーム画像をラベルプリンタ１のＣＰＵ６１へ出力するものとする。このように、商品検出部１０１２により商品の全部または一部が検出されたフレーム画像をラベルプリンタ１のＣＰＵ６１へ出力することで、商品の全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がラベルプリンタ１のＣＰＵ６１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品の全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００２９】
物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取部１０の撮像部１０４により撮像された商品の全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品を認識する。なお、物体認識部６１１は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。ラベルプリンタ１のＣＰＵ６１では、物体認識部６１１の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取部１０が読み取った商品を特定できる。
【００３０】
類似度判定部６１３は、物体認識部６１１が認識した商品について類似度を算出し、類似度がＰＬＵファイルＦ１において予め定められた閾値を超えているか否かを判定する。
【００３１】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３２】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３３】
商品確認部６１２は、物体認識部６１１により認識された商品に基づき、商品（例えば、各種の惣菜等を盛り付けられた弁当）の構成（すなわち盛り付け）が正しいか否かを判定し、商品（例えば、各種の惣菜等を盛り付けられた弁当）の構成（すなわち盛り付け）が正しくないと判定した場合、不足しているものや余計なものを表示デバイス３に表示することによって、不足しているものや余計なものがあることをオペレータ（店員）に報知する。
【００３４】
次に、ラベルプリンタ１の動作について詳細に説明する。図６は、本実施形態にかかるラベルプリンタ１の動作の一例を示すフローチャートである。
【００３５】
図６に示すように、例えばキーボード５からの商品ＩＤの入力によりラベル発行処理が開始されると、撮像画像取込部１０１１は、撮像部１０４に撮像オン信号を出力して撮像部１０４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１０１１は、撮像部１０４が撮像してＲＡＭ１０３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１０１２は、撮像画像取込部１０１１が取り込んだフレーム画像から全ての商品の全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１０１３は、商品検出部１０１２により全ての商品の全部または一部が検出されたフレーム画像をＣＰＵ６１側へ出力する（ステップＳ４）。
【００３６】
図７は、読取窓９における読取領域Ｒの例を示す概念図である。具体的には、図７は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図７に示すように、前述した商品Ａの移動過程において読取領域Ｒに商品Ａが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からステップＳ３で全ての商品Ａの全部または一部が検出される。全ての商品Ａの全部または一部の検出により、ステップＳ４では読取領域Ｒを撮像したフレーム画像がＣＰＵ６１へ出力されることとなる。
【００３７】
次に、図６に示すように、ＣＰＵ６１は、商品読取部１０から出力された、全ての商品Ａの全部または一部を検出したフレーム画像を受信する（ステップＳ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取部１０から出力された全ての商品Ａの全部または一部の画像から特定の物体として商品Ａを順に認識する（ステップＳ１２）。
【００３８】
次いで、類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、類似度を算出する（ステップＳ１３）。類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：1.0」とした場合に、商品読取部１０から出力された商品Ａの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしても良い。
【００３９】
次いで、類似度判定部６１３は、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えているか否かを判定する（ステップＳ１４）。
【００４０】
類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていると判定した場合（ステップＳ１４：Ｙｅｓ）、ＣＰＵ６１は、物体認識部６１１により認識された特定の物体である商品Ａの商品画像と関連する情報（商品ＩＤ、商品分類、商品名、単価など）をＰＬＵファイルＦ１から読み出してＲＡＭ６３に一時的に記憶する（ステップＳ１５）。
【００４１】
次いで、ＣＰＵ６１は、全ての物体を認識したか否かを判定する（ステップＳ１６）。ＣＰＵ６１は、全ての物体を認識したと判定した場合は（ステップＳ１６：Ｙｅｓ）、ステップＳ１７に進み、全ての物体を認識していないと判定した場合は（ステップＳ１６：Ｎｏ）、ステップＳ１２へ処理を戻して次の物体の認識処理を継続させる。
【００４２】
ステップＳ１７では、商品確認部６１２が、商品（例えば、各種の惣菜等を盛り付けられた弁当）の構成（すなわち盛り付け）が正しいか否かを判定する。具体的には、ＲＡＭ６３に記憶されている認識された特定の物体である各商品Ａの情報（商品ＩＤ、商品分類、商品名、単価など）と、予め用意されているセットファイルＦ２に設定されている商品情報とを比較して、欠落があるかどうかを判定する。
【００４３】
ＣＰＵ６１は、商品確認部６１２が商品（例えば、各種の惣菜等を盛り付けられた弁当）の構成（すなわち盛り付け）が正しいと判定した場合（ステップＳ１７：Ｙｅｓ）、ラベル発行処理を実行して（ステップＳ１８）、処理を終了する。
【００４４】
このように本実施形態のラベルプリンタ１によれば、バックヤードや厨房で行う定食・弁当等のセット商品の盛り付け作業で、画像情報を使って、セットの一部になっている料理の盛り付け忘れや、箸・スプーン等の食器の付け忘れを防止することができる。また、盛り付けが多い場合にも対応可能である。
【００４５】
一方、商品確認部６１２は、商品（例えば、各種の惣菜等を盛り付けられた弁当）の構成（すなわち盛り付け）が正しくないと判定した場合（ステップＳ１７：Ｎｏ）、図８に示すように、不足しているものや余計なものを表示デバイス３に表示することによって（ステップＳ１９）、不足しているものや余計なものがあることをオペレータ（店員）に報知することができる。このように報知された場合、オペレータ（店員）は、不足しているものを追加した後、または余計なものを取り去った後、ステップＳ１からの処理を繰り返す。
【００４６】
なお、類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていないと判定した場合（ステップＳ１４：Ｎｏ）、不良品報知部６１４は、正規品と認識されなかった商品であることを店員に報知し（ステップＳ２０）、販売中止するなどの措置を店舗側に促す。具体的には、不良品報知部６１４は、表示デバイス３への画面表示や、音声出力部１０５による警告音の出力などでエラーを店員に報知する。この報知を行うことで、ラベルプリンタ１は、別の商品Ａを読み取らせるなどの、適切な操作を店員に促すことができる。
【００４７】
図９に示すように、物体認識部６１１が認識した商品Ａが「バナナ」であった場合、閾値が「類似度：0.50」としてＰＬＵファイルＦ１に記憶されていると、（ａ）で示す商品については類似度が0.717であることから、算出した類似度が予め定められた閾値を超えていると判定される。一方、（ｂ）で示す商品については類似度が0.252であることから、算出した類似度が予め定められた閾値を超えていないと判定される。したがって、（ａ）で示す商品については、「バナナ」として通常通りに売上登録される。一方、（ｂ）で示す商品については、「バナナ」として一応認識されるものの、古くなり変色したもの、傷んだもの、変形したもの、すなわち色合いや表面の凹凸状況等が正常でないものとして、不良品として売上登録されない。同様に、惣菜なども、正規の焼き具合や揚げ具合による商品画像をＰＬＵファイルＦ１に記憶しておき、焼き不足／過ぎや揚げ不足／過ぎなどが閾値を外れた場合、不良品であると判断することができる。
【００４８】
このように本実施形態のラベルプリンタ１によれば、生鮮品や惣菜などが、古くなり変色したもの、傷んだもの、変形したもの、調理不良により色合いが異なるものなどであった場合、ＰＬＵファイルＦ１に記憶されている商品画像と比較することで、基準を外れたものを不良品であると判断することができる。
【００４９】
特に、繁忙店など商品の鮮度をチェックする時間に制約がある店舗や、多数の店員を抱え惣菜の調理に個人差がある店舗などでも、正規の商品と数値的な判断で比較することが可能となる。
【００５０】
本実施形態のラベルプリンタ１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のラベルプリンタ１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５１】
さらに、本実施形態のラベルプリンタ１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のラベルプリンタ１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５２】
本実施形態のラベルプリンタ１で実行されるプログラムは、上述した各部（物体認識部６１１、商品確認部６１２、類似度判定部６１３、不良品報知部６１４、撮像画像取込部１０１１、商品検出部１０１２、画像出力部１０１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部６１１、商品確認部６１２、類似度判定部６１３、不良品報知部６１４、撮像画像取込部１０１１、商品検出部１０１２、画像出力部１０１３が主記憶装置上に生成されるようになっている。
【符号の説明】
【００５３】
１ ラベル発行装置
１０４ 撮像手段
６１１ 物体認識手段
６１２ 確認手段
６１３ 類似度判定手段
６１４ 不良品報知手段
１０１３ 画像出力手段
Ｆ２ セットファイル
【先行技術文献】
【特許文献】
【００５４】
【特許文献１】特許第２６３０２５６号公報
【特許請求の範囲】
【請求項１】
ラベルに対して印字して発行するラベル発行装置において、
撮像手段と、
前記撮像手段が撮像した画像を出力する画像出力手段と、
出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体の集合体が認識対象のアイテムである場合、当該アイテムについての構成が正しいか否かを、複数の物体をセットにするアイテムについて当該アイテムを構成する物体情報を設定するセットファイルに基づいて確認する確認手段と、
を備え、
前記確認手段は構成が正しくないと判定した場合、過不足のある構成について報知する、
ことを特徴とするラベル発行装置。
【請求項２】
認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
を備えることを特徴とする請求項１記載のラベル発行装置。
【請求項３】
前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
ことを特徴とする請求項２記載のラベル発行装置。
【請求項４】
ラベルに対して印字して発行するラベル発行装置を制御するコンピュータを、
撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体の集合体が認識対象のアイテムである場合、当該アイテムについての構成が正しいか否かを、複数の物体をセットにするアイテムについて当該アイテムを構成する物体情報を設定するセットファイルに基づいて確認する確認手段と、
として機能させ、
前記確認手段は構成が正しくないと判定した場合、過不足のある構成について報知する、
ことを特徴とするプログラム。
【請求項５】
認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
として前記コンピュータを機能させることを特徴とする請求項４記載のプログラム。
【請求項６】
前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
ことを特徴とする請求項５記載のプログラム。
【請求項１】
ラベルに対して印字して発行するラベル発行装置において、
撮像手段と、
前記撮像手段が撮像した画像を出力する画像出力手段と、
出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体の集合体が認識対象のアイテムである場合、当該アイテムについての構成が正しいか否かを、複数の物体をセットにするアイテムについて当該アイテムを構成する物体情報を設定するセットファイルに基づいて確認する確認手段と、
を備え、
前記確認手段は構成が正しくないと判定した場合、過不足のある構成について報知する、
ことを特徴とするラベル発行装置。
【請求項２】
認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
を備えることを特徴とする請求項１記載のラベル発行装置。
【請求項３】
前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
ことを特徴とする請求項２記載のラベル発行装置。
【請求項４】
ラベルに対して印字して発行するラベル発行装置を制御するコンピュータを、
撮像手段が撮像した画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体の集合体が認識対象のアイテムである場合、当該アイテムについての構成が正しいか否かを、複数の物体をセットにするアイテムについて当該アイテムを構成する物体情報を設定するセットファイルに基づいて確認する確認手段と、
として機能させ、
前記確認手段は構成が正しくないと判定した場合、過不足のある構成について報知する、
ことを特徴とするプログラム。
【請求項５】
認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
として前記コンピュータを機能させることを特徴とする請求項４記載のプログラム。
【請求項６】
前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
ことを特徴とする請求項５記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−４１０８３（Ｐ２０１２−４１０８３Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８６５４４（Ｐ２０１０−１８６５４４）
【出願日】平成２２年８月２３日（２０１０．８．２３）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月２３日（２０１０．８．２３）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]