ラベル発行装置およびプログラム
【課題】商品の判別を補助することができるラベル発行装置を提供する。
【解決手段】撮像手段と、前記撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体についての情報を、当該物体にかかる情報を記憶するファイルから読み出す情報読出手段と、読み出された前記物体についての情報をラベルに対して印字して発行するラベル発行手段と、を備える。
【解決手段】撮像手段と、前記撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体についての情報を、当該物体にかかる情報を記憶するファイルから読み出す情報読出手段と、読み出された前記物体についての情報をラベルに対して印字して発行するラベル発行手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、ラベル発行装置およびプログラムに関する。
【背景技術】
【０００２】
スーパーマーケット等の店舗では、商品に貼付して商品名や価格等を表示したラベルを印刷するラベルプリンタが用いられている。ラベルプリンタは、商品マスタから商品名や価格などの商品情報を読み込んでラベルに印刷する印字データを生成し、生成した印字データに基づいてラベルを印刷する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、近年における専門の知識がないアルバイト従業員の増加に伴い、例えば魚の切り身などをバックヤードでパック詰めしてラベルを付する場合に、魚の種類が分からずに混乱することがある。
【課題を解決するための手段】
【０００４】
実施形態のラベル発行装置は、撮像手段と、前記撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体についての情報を、当該物体にかかる情報を記憶するファイルから読み出す情報読出手段と、読み出された前記物体についての情報をラベルに対して印字して発行するラベル発行手段と、を備える。
【０００５】
実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体についての情報を、当該物体にかかる情報を記憶するファイルから読み出す情報読出手段と、読み出された前記物体についての情報をラベルに対して印字して発行するラベル発行手段と、として機能させる。
【図面の簡単な説明】
【０００６】
【図１】図１は、第１の実施形態にかかるラベルプリンタの外観を示す斜視図である。
【図２】図２は、第１プリンタが本体から引き出された状態を示す斜視図である。
【図３】図３は、ラベルプリンタのハードウェア構成を示すブロック図である。
【図４】図４は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図５】図５は、ＣＰＵの機能構成を示すブロック図である。
【図６】図６は、ラベルプリンタの処理動作の一例を示すフローチャートである。
【図７】図７は、読取窓における読取領域の例を示す概念図である。
【図８】図８は、表示デバイスへの画面表示例を示す正面図である。
【図９】図９は、処理の具体例を模式的に示す説明図である。
【図１０】図１０は、第２の実施形態にかかるラベルプリンタの動作の一例を示すフローチャートである。
【図１１】図１１は、発行されたラベルの一例を示す平面図である。
【図１２】図１２は、発行されたラベルの一例を示す平面図である。
【図１３】図１３は、発行されたラベルの一例を示す平面図である。
【発明を実施するための形態】
【０００７】
［第１の実施形態］
以下では、ラベルプリンタを例に本実施形態にかかるラベル発行装置およびプログラムについて、図面を参照して説明する。本実施形態のラベル発行装置は、スーパーマーケットや食品加工工場などにおいて、商品の商品名や価格などの商品情報を印刷したラベルを発行するラベルプリンタに適用したものである。
【０００８】
図１は、第１の実施形態にかかるラベルプリンタ１の外観を示す斜視図である。ラベルプリンタ１は、商品に関連する情報をラベルに印刷し、印刷したラベルを発行するものである。ラベルプリンタ１の本体２の上部には表示デバイス３などの表示器が設けられている。表示デバイス３は、ラベルに印刷する商品情報などを編集するラベル登録画面を表示する。また、表示デバイス３の表面にはタッチパネル４が設けられている。また、ラベルプリンタ１の本体２の上面にはキーボード５が設けられている。また、ラベルプリンタ１の本体２の正面下部には、商品を載置して商品の重量を秤量する計量秤８が設けられている。
【０００９】
また、ラベルプリンタ１の本体２には、第１プリンタ６と、第２プリンタ７との２つのプリンタユニットが並設されて収容されている。第１プリンタ６および第２プリンタ７は同様の構成であるので、以下では第１プリンタ６について説明する。第１プリンタ６は、第１プリンタ６の前面パネル下部に設けられた溝部６ａに指を掛けてＡ方向に引っ張ることで、図２に示すように本体２から引き出すことができる。
【００１０】
図２は、第１プリンタ６が本体２から引き出された状態を示す斜視図である。第１プリンタ６の内部には、ラベルを台紙に貼付したロール状のラベル用紙Ｐが図示しない保持軸に着脱自在に保持されている。また、第１プリンタ６は、サーマルヘッド等のプリンタヘッド１６を備えている。プリンタヘッド１６はラベル用紙Ｐに文字や記号、バーコードや２次元コード等を印刷する。このように印刷されたラベルは、第１プリンタ６の前面パネル上部に設けられたラベル発行口６ｂから排出される。尚、第２プリンタ７も同様に、ラベル発行口７ｂと、プリンタヘッド１７（図３参照）とを備えている。
【００１１】
このようなラベルプリンタ１は、ＰＬＵファイルＦ１（詳細は後述する。図４参照）から商品名や価格などの商品情報を読み込んでラベルに印刷する印字データを生成し、生成した印字データに基づいてラベルを印刷する。
【００１２】
加えて、このようなラベルプリンタ１は、商品読取部１０（図３参照）を備えている。商品読取部１０は、読取窓９の奥側に撮像部１０４（図３参照）を配置している。
【００１３】
オペレータ（店員）によって商品が持ち込まれ、オペレータの手によって計量秤８へと移動される。この移動過程で、商品がラベルプリンタ１の読取窓９に向けられる。この際、読取窓９の奥側に配置された撮像部１０４（図３参照）は商品を撮像する。商品読取部１０では、撮像部１０４により撮像された画像に含まれる商品の全部または一部を検出する。ラベルプリンタ１では、撮像部１０４により撮像された画像に商品の全部または一部が含まれることを検出した場合、その撮像された画像に含まれる商品の各々について、商品の画像が関連付けられたＰＬＵファイルＦ１（詳細は後述する。図４参照）を参照して、商品読取部１０の撮像部１０４により撮像された商品の全部または一部の画像から特定の物体である商品を認識することで商品を特定する。
【００１４】
図３は、ラベルプリンタ１のハードウェア構成を示すブロック図である。ラベルプリンタ１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１５】
ラベルプリンタ１のＣＰＵ６１には、前述した表示デバイス３、タッチパネル４、キーボード５、計量秤８がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
ラベルプリンタ１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ラベルプリンタ１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、ラベル印刷用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００１７】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品の各々について、商品の売上登録にかかる情報と、その商品の画像との関連付けが設定されたファイルである。図４は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図４に示すように、ＰＬＵファイルＦ１は、商品ごとに、ユニークに割り当てられた商品ＩＤ、商品が属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、「類似度：0.XX」という閾値と、を格納するファイルである。詳細は後述するが、この「類似度：0.XX」という閾値は、商品が果物や生鮮品などであり、鮮度が落ち変色した場合などは、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。
【００１８】
図３に戻り、ラベルプリンタ１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ラベルプリンタ１に配信されるＰＬＵファイルＦ１が格納されている。
【００１９】
さらに、ラベルプリンタ１のＣＰＵ６１には、商品読取部１０が接続されている。また、ラベルプリンタ１のＣＰＵ６１には、ラベル印字を行う第１プリンタ６および第２プリンタ７の２つのプリンタユニットが接続されている。ラベルプリンタ１は、ＣＰＵ６１の制御のもと、ラベル印字を実行する。
【００２０】
商品読取部１０も、マイクロコンピュータ１１０を備えている。マイクロコンピュータ１１０は、ＣＰＵ１０１にＲＯＭ１０２とＲＡＭ１０３とがバス接続されて構成されている。ＲＯＭ１０２には、ＣＰＵ１０１によって実行されるプログラムが記憶されている。ＣＰＵ１０１には、撮像部１０４、音声出力部１０５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１０４、音声出力部１０５は、ＣＰＵ１０１によって動作が制御される。
【００２１】
撮像部１０４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１０１の制御の下で読取窓９からの撮像を行う撮像手段である。例えば撮像部１０４では３０ｆｐｓの動画像の撮像を行う。撮像部１０４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１０３に保存される。
【００２２】
音声出力部１０５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１０５は、ＣＰＵ１０１の制御の下で警告音などの音声による報知を行う。
【００２３】
そして、ＣＰＵ１０１の制御の下、商品読取部１０の撮像部１０４によって撮像された画像（商品の全部または一部を含む画像）は、ラベルプリンタ１のＣＰＵ６１に入力される。
【００２４】
次に、ＣＰＵ１０１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１０１、ＣＰＵ６１の機能部について、図５を参照して説明する。図５は、ＣＰＵ１０１、ＣＰＵ６１の機能構成を示すブロック図である。図５に示すように、ＣＰＵ１０１は、プログラムを順次実行することにより、撮像画像取込部１０１１、商品検出部１０１２、画像出力手段である画像出力部１０１３としての機能を備える。同様に、ＣＰＵ６１は、物体認識手段である物体認識部６１１、報知手段である商品表示部６１２、類似度判定手段である類似度判定部６１３、不良品報知手段である不良品報知部６１４、情報読出手段である情報読出部６１５、ラベル発行手段であるラベル発行部６１６としての機能を備える。
【００２５】
撮像画像取込部１０１１は、撮像部１０４に撮像オン信号を出力して撮像部１０４に撮像動作を開始させる。撮像画像取込部１０１１は、撮像動作開始後に撮像部１０４が撮像してＲＡＭ１０３に保存されたフレーム画像を順次取り込む。撮像画像取込部１０１１によるフレーム画像の取り込みは、ＲＡＭ１０３に保存された順に行われる。
【００２６】
商品検出部１０１２は、撮像画像取込部１０１１により取り込まれたフレーム画像に含まれる商品の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓９に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００２７】
画像出力部１０１３は、撮像画像取込部１０１１が取り込んだフレーム画像をラベルプリンタ１のＣＰＵ６１へ出力する。画像出力部１０１３は撮像画像取込部１０１１が取り込んだフレーム画像を逐次ラベルプリンタ１のＣＰＵ６１へ出力してもよいが、本実施形態では、商品検出部１０１２により商品の全部または一部が検出されたフレーム画像をラベルプリンタ１のＣＰＵ６１へ出力するものとする。このように、商品検出部１０１２により商品の全部または一部が検出されたフレーム画像をラベルプリンタ１のＣＰＵ６１へ出力することで、商品の全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がラベルプリンタ１のＣＰＵ６１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品の全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００２８】
物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取部１０の撮像部１０４により撮像された商品の全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品を認識する。なお、物体認識部６１１は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。ラベルプリンタ１のＣＰＵ６１では、物体認識部６１１の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取部１０が読み取った商品を特定できる。
【００２９】
類似度判定部６１３は、物体認識部６１１が認識した商品について類似度を算出し、類似度がＰＬＵファイルＦ１において予め定められた閾値を超えているか否かを判定する。
【００３０】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３１】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３２】
情報読出部６１５は、物体認識部６１１により認識された商品画像と関連する情報、すなわち、商品読取部１０が読み取った商品として特定された商品の商品ＩＤ、商品分類、商品名、単価などを読み出し、商品表示部６１２が、当該商品にかかる情報を表示デバイス３に表示する。
ラベル発行部６１６は、情報読出部６１５によって読み出された商品についての情報をラベルに対して印字して発行する。
【００３３】
次に、ラベルプリンタ１の動作について詳細に説明する。図６は、本実施形態にかかるラベルプリンタ１の動作の一例を示すフローチャートである。
【００３４】
図６に示すように、例えばキーボード５に設けられる商品確認モードキー（図示せず）が押下操作されることによって処理が開始されると、撮像画像取込部１０１１は、撮像部１０４に撮像オン信号を出力して撮像部１０４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１０１１は、撮像部１０４が撮像してＲＡＭ１０３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１０１２は、撮像画像取込部１０１１が取り込んだフレーム画像から商品の全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１０１３は、商品検出部１０１２により商品の全部または一部が検出されたフレーム画像をＣＰＵ６１側へ出力する（ステップＳ４）。
【００３５】
図７は、読取窓９における読取領域Ｒの例を示す概念図である。具体的には、図７は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図７に示すように、前述した商品Ａの移動過程において読取領域Ｒに商品Ａが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からステップＳ３で商品Ａの全部または一部が検出される。この商品Ａの全部または一部の検出により、ステップＳ４では読取領域Ｒを撮像したフレーム画像がＣＰＵ６１へ出力されることとなる。
【００３６】
次に、図６に示すように、ＣＰＵ６１は、商品読取部１０から出力された、商品Ａの全部または一部を検出したフレーム画像を受信する（ステップＳ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取部１０から出力された商品Ａの全部または一部の画像から特定の物体として商品Ａを認識する（ステップＳ１２）。
【００３７】
次いで、類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、類似度を算出する（ステップＳ１３）。類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：1.0」とした場合に、商品読取部１０から出力された商品Ａの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしても良い。
【００３８】
次いで、類似度判定部６１３は、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えているか否かを判定する（ステップＳ１４）。
【００３９】
類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていると判定した場合（ステップＳ１４：Ｙｅｓ）、ステップＳ１５において、情報読出部６１５が物体認識部６１１により認識された特定の物体である商品Ａの商品画像と関連する情報（商品ＩＤ、商品分類、商品名、単価など）を読み出し、商品表示部６１２が商品Ａの商品画像と関連する情報を表示デバイス３に表示する（ステップＳ１５）。
【００４０】
図８は、表示デバイス３への画面表示例を示すものである。図８に示す例では、商品Ａの画像を表示領域Ｇ１に表示するとともに、予め保存していた商品Ａの商品名などの商品情報を表示領域Ｇ２に併せて表示させている。このような画面表示をすることによって、バックヤードで例えば魚の切り身などをパック詰めする場合において、専門の知識がなくても魚の種類が分かるので、切り身などの判別を補助することが可能となる。
【００４１】
次いで、ＣＰＵ６１は、キーボード５の操作指示などによる業務終了の有無を判定する（ステップＳ１６）。業務を継続する場合（ステップＳ１６：Ｎｏ）、ＣＰＵ６１は、ステップＳ１１へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ１６：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００４２】
一方、類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていないと判定した場合（ステップＳ１４：Ｎｏ）、不良品報知部６１４は、正規品と認識されなかった商品であることを店員に報知し（ステップＳ１７）、販売中止するなどの措置を店舗側に促す。具体的には、不良品報知部６１４は、表示デバイス３への画面表示や、音声出力部１０５による警告音の出力などでエラーを店員に報知する。この報知を行うことで、ラベルプリンタ１は、別の商品Ａを読み取らせるなどの、適切な操作を店員に促すことができる。
【００４３】
図９に示すように、物体認識部６１１が認識した商品Ａが「バナナ」であった場合、閾値が「類似度：0.50」としてＰＬＵファイルＦ１に記憶されていると、（ａ）で示す商品については類似度が0.717であることから、算出した類似度が予め定められた閾値を超えていると判定される。一方、（ｂ）で示す商品については類似度が0.252であることから、算出した類似度が予め定められた閾値を超えていないと判定される。したがって、（ａ）で示す商品については、「バナナ」として通常通りに売上登録される。一方、（ｂ）で示す商品については、「バナナ」として一応認識されるものの、古くなり変色したもの、傷んだもの、変形したもの、すなわち色合いや表面の凹凸状況等が正常でないものとして、不良品として売上登録されない。同様に、惣菜なども、正規の焼き具合や揚げ具合による商品画像をＰＬＵファイルＦ１に記憶しておき、焼き不足／過ぎや揚げ不足／過ぎなどが閾値を外れた場合、不良品であると判断することができる。
【００４４】
このように本実施形態のラベルプリンタ１によれば、生鮮品や惣菜などが、古くなり変色したもの、傷んだもの、変形したもの、調理不良により色合いが異なるものなどであった場合、ＰＬＵファイルＦ１に記憶されている商品画像と比較することで、基準を外れたものを不良品であると判断することができる。
【００４５】
特に、繁忙店など商品の鮮度をチェックする時間に制約がある店舗や、多数の店員を抱え惣菜の調理に個人差がある店舗などでも、正規の商品と数値的な判断で比較することが可能となる。
【００４６】
なお、本実施形態においては、認識する物体は、ＰＬＵファイルＦ１に格納されている販売商品であるとしたが、これに限るものではなく、販売促進に用いる販促品などであっても良い。
【００４７】
本実施形態のラベルプリンタ１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のラベルプリンタ１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４８】
さらに、本実施形態のラベルプリンタ１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のラベルプリンタ１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４９】
本実施形態のラベルプリンタ１で実行されるプログラムは、上述した各部（物体認識部６１１、商品表示部６１２、類似度判定部６１３、不良品報知部６１４、情報読出部６１５、ラベル発行部６１６、撮像画像取込部１０１１、商品検出部１０１２、画像出力部１０１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部６１１、商品表示部６１２、類似度判定部６１３、不良品報知部６１４、情報読出部６１５、ラベル発行部６１６、撮像画像取込部１０１１、商品検出部１０１２、画像出力部１０１３が主記憶装置上に生成されるようになっている。
【００５０】
［第２の実施形態］
次に、第２の実施形態について説明する。なお、前述した第１実施の形態と同じ部分は同じ符号で示し説明も省略する。第１の実施形態では、バックヤードで例えば魚の切り身などをパック詰めする場合などにおける物体認識および認識された物体についての情報の報知について説明した。本実施の形態においては、更に認識された物体についての情報に基づいてラベル発行も行うようにしたものである。
【００５１】
図１０は、本実施形態にかかるラベルプリンタ１の動作の一例を示すフローチャートである。図１０に示すように、例えばキーボード５に設けられるラベル発行モードキー（図示せず）が押下操作されることによって処理が開始されると、撮像画像取込部１０１１は、撮像部１０４に撮像オン信号を出力して撮像部１０４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１０１１は、撮像部１０４が撮像してＲＡＭ１０３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１０１２は、撮像画像取込部１０１１が取り込んだフレーム画像から商品の全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１０１３は、商品検出部１０１２により商品の全部または一部が検出されたフレーム画像をＣＰＵ６１側へ出力する（ステップＳ４）。
【００５２】
次に、ＣＰＵ６１は、商品読取部１０から出力された、商品Ａの全部または一部を検出したフレーム画像を受信する（ステップＳ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取部１０から出力された商品Ａの全部または一部の画像から特定の物体として商品Ａを認識する（ステップＳ１２）。
【００５３】
次いで、類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、類似度を算出する（ステップＳ１３）。
【００５４】
次いで、類似度判定部６１３は、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えているか否かを判定する（ステップＳ１４）。
【００５５】
類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていると判定した場合（ステップＳ１４：Ｙｅｓ）、ステップＳ１５において、情報読出部６１５が物体認識部６１１により認識された特定の物体である商品Ａの商品画像と関連する情報（商品ＩＤ、商品分類、商品名、単価など）を読み出し、商品表示部６１２が商品Ａの商品画像と関連する情報を表示デバイス３に表示する（ステップＳ１５）。なお、操作者は、遅くとも商品Ａの商品画像と関連する情報（商品ＩＤ、商品分類、商品名、単価など）とが表示デバイス３に表示されるまでに、商品Ａを計量秤８に載置する。
【００５６】
加えて、ＣＰＵ６１は、計量秤８に載置されている商品の重量を秤量し（ステップＳ２０）、読み出した情報（商品ＩＤ、商品分類、商品名、単価など）及び秤量した重量に基づいて印字データを生成し、生成した印字データに基づいてラベルを印刷して発行する（ステップＳ２１）。図１１は、発行されたラベルＬ１の一例を示す平面図である。図１１に示すように、ラベルＬ１には、商品名、単価、重量、重量に応じた価格などが印字されている。
【００５７】
一方、類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていないと判定した場合（ステップＳ１４：Ｎｏ）、不良品報知部６１４は、正規品と認識されなかった商品であることを店員に報知し（ステップＳ１７）、販売中止、あるいは値引き販売するなどの措置を店舗側に促す。具体的には、不良品報知部６１４は、表示デバイス３への画面表示や、音声出力部１０５による警告音の出力などでエラーを店員に報知する。
【００５８】
ＣＰＵ６１は、キーボード５の操作指示などによる値引き販売の指示があったと判定した場合には（ステップＳ２２：Ｙｅｓ）、情報読出部６１５が物体認識部６１１により認識された特定の物体である商品Ａの商品画像と関連する情報（商品ＩＤ、商品分類、商品名、単価など）を読み出し、商品表示部６１２が商品Ａの商品画像と関連する情報を表示デバイス３に表示するとともに（ステップＳ２３）、正規品と認識されなかった商品Ａの値引き額を確定する（ステップＳ２３）。なお、正規品と認識されなかった商品Ａについて値引き販売する場合に用いられる値引率または値引額は、段階的に設定されるものであっても良い。値引率または値引額は、例えばＰＬＵファイルＦ１に予め記憶した複数の閾値（類似度：0.XX）と対応付けることにより、類似度に応じて段階的に設けることが可能である。
【００５９】
一方、キーボード５の操作指示などによる販売中止の指示があったと判定した場合には（ステップＳ２２：Ｎｏ）、ステップＳ１１へ処理を戻す。
【００６０】
その後、ＣＰＵ６１は、計量秤８に載置されている商品の重量を秤量し（ステップＳ２０）、ラベル発行部６１６は、読み出した情報（商品ＩＤ、商品分類、商品名、単価など）、値引き額及び秤量した重量に基づいて印字データを生成し、生成した印字データに基づいてラベルを印刷して発行する（ステップＳ２１）。図１２は、発行されたラベルＬ２の一例を示す平面図である。図１２に示すラベルＬ２においては、商品が正規品と認識されなかったため、値引き額（２００円）および通常価格から値引き額（２００円）を引いた価格が表示されている。
【００６１】
なお、図１２に示すように、通常価格から値引額を引いた価格をラベル表示するものに限るものではなく、図１３に示すように、正規のラベルＬ１（図１１と同じ）とは別に、値引き額（２００円）を示す値引きラベルＬ３を別途印字発行するものであっても良い。
【００６２】
なお、実施形態においては、ステップＳ２２においてキーボード５の操作指示などによる販売中止の指示があったか否かを判定するようにしたが、これに限るものではなく、オブジェクト認識結果に応じてダイレクトに値引き処理およびラベル発行処理の実行または停止するようにしても良い。例えば、正規品と認識しなかった場合、キーボード５の操作指示などによる値引き販売の指示がなくとも、オブジェクト認識結果に応じて値引き額を確定して値引き情報をラベルに印刷する（または、オブジェクト認識結果に応じて値引き処理およびラベル発行処理を停止する）。
【符号の説明】
【００６３】
１ ラベル発行装置
１０４ 撮像手段
６１１ 物体認識手段
６１２ 報知手段
６１３ 類似度判定手段
６１４ 不良品報知手段
６１５ 情報読出手段
６１６ ラベル発行手段
１０１３ 画像出力手段
Ｆ１ ファイル
【先行技術文献】
【特許文献】
【００６４】
【特許文献１】特許第２６３０２５６号公報
【技術分野】
【０００１】
本発明の実施形態は、ラベル発行装置およびプログラムに関する。
【背景技術】
【０００２】
スーパーマーケット等の店舗では、商品に貼付して商品名や価格等を表示したラベルを印刷するラベルプリンタが用いられている。ラベルプリンタは、商品マスタから商品名や価格などの商品情報を読み込んでラベルに印刷する印字データを生成し、生成した印字データに基づいてラベルを印刷する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、近年における専門の知識がないアルバイト従業員の増加に伴い、例えば魚の切り身などをバックヤードでパック詰めしてラベルを付する場合に、魚の種類が分からずに混乱することがある。
【課題を解決するための手段】
【０００４】
実施形態のラベル発行装置は、撮像手段と、前記撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体についての情報を、当該物体にかかる情報を記憶するファイルから読み出す情報読出手段と、読み出された前記物体についての情報をラベルに対して印字して発行するラベル発行手段と、を備える。
【０００５】
実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、認識された前記物体についての情報を、当該物体にかかる情報を記憶するファイルから読み出す情報読出手段と、読み出された前記物体についての情報をラベルに対して印字して発行するラベル発行手段と、として機能させる。
【図面の簡単な説明】
【０００６】
【図１】図１は、第１の実施形態にかかるラベルプリンタの外観を示す斜視図である。
【図２】図２は、第１プリンタが本体から引き出された状態を示す斜視図である。
【図３】図３は、ラベルプリンタのハードウェア構成を示すブロック図である。
【図４】図４は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図５】図５は、ＣＰＵの機能構成を示すブロック図である。
【図６】図６は、ラベルプリンタの処理動作の一例を示すフローチャートである。
【図７】図７は、読取窓における読取領域の例を示す概念図である。
【図８】図８は、表示デバイスへの画面表示例を示す正面図である。
【図９】図９は、処理の具体例を模式的に示す説明図である。
【図１０】図１０は、第２の実施形態にかかるラベルプリンタの動作の一例を示すフローチャートである。
【図１１】図１１は、発行されたラベルの一例を示す平面図である。
【図１２】図１２は、発行されたラベルの一例を示す平面図である。
【図１３】図１３は、発行されたラベルの一例を示す平面図である。
【発明を実施するための形態】
【０００７】
［第１の実施形態］
以下では、ラベルプリンタを例に本実施形態にかかるラベル発行装置およびプログラムについて、図面を参照して説明する。本実施形態のラベル発行装置は、スーパーマーケットや食品加工工場などにおいて、商品の商品名や価格などの商品情報を印刷したラベルを発行するラベルプリンタに適用したものである。
【０００８】
図１は、第１の実施形態にかかるラベルプリンタ１の外観を示す斜視図である。ラベルプリンタ１は、商品に関連する情報をラベルに印刷し、印刷したラベルを発行するものである。ラベルプリンタ１の本体２の上部には表示デバイス３などの表示器が設けられている。表示デバイス３は、ラベルに印刷する商品情報などを編集するラベル登録画面を表示する。また、表示デバイス３の表面にはタッチパネル４が設けられている。また、ラベルプリンタ１の本体２の上面にはキーボード５が設けられている。また、ラベルプリンタ１の本体２の正面下部には、商品を載置して商品の重量を秤量する計量秤８が設けられている。
【０００９】
また、ラベルプリンタ１の本体２には、第１プリンタ６と、第２プリンタ７との２つのプリンタユニットが並設されて収容されている。第１プリンタ６および第２プリンタ７は同様の構成であるので、以下では第１プリンタ６について説明する。第１プリンタ６は、第１プリンタ６の前面パネル下部に設けられた溝部６ａに指を掛けてＡ方向に引っ張ることで、図２に示すように本体２から引き出すことができる。
【００１０】
図２は、第１プリンタ６が本体２から引き出された状態を示す斜視図である。第１プリンタ６の内部には、ラベルを台紙に貼付したロール状のラベル用紙Ｐが図示しない保持軸に着脱自在に保持されている。また、第１プリンタ６は、サーマルヘッド等のプリンタヘッド１６を備えている。プリンタヘッド１６はラベル用紙Ｐに文字や記号、バーコードや２次元コード等を印刷する。このように印刷されたラベルは、第１プリンタ６の前面パネル上部に設けられたラベル発行口６ｂから排出される。尚、第２プリンタ７も同様に、ラベル発行口７ｂと、プリンタヘッド１７（図３参照）とを備えている。
【００１１】
このようなラベルプリンタ１は、ＰＬＵファイルＦ１（詳細は後述する。図４参照）から商品名や価格などの商品情報を読み込んでラベルに印刷する印字データを生成し、生成した印字データに基づいてラベルを印刷する。
【００１２】
加えて、このようなラベルプリンタ１は、商品読取部１０（図３参照）を備えている。商品読取部１０は、読取窓９の奥側に撮像部１０４（図３参照）を配置している。
【００１３】
オペレータ（店員）によって商品が持ち込まれ、オペレータの手によって計量秤８へと移動される。この移動過程で、商品がラベルプリンタ１の読取窓９に向けられる。この際、読取窓９の奥側に配置された撮像部１０４（図３参照）は商品を撮像する。商品読取部１０では、撮像部１０４により撮像された画像に含まれる商品の全部または一部を検出する。ラベルプリンタ１では、撮像部１０４により撮像された画像に商品の全部または一部が含まれることを検出した場合、その撮像された画像に含まれる商品の各々について、商品の画像が関連付けられたＰＬＵファイルＦ１（詳細は後述する。図４参照）を参照して、商品読取部１０の撮像部１０４により撮像された商品の全部または一部の画像から特定の物体である商品を認識することで商品を特定する。
【００１４】
図３は、ラベルプリンタ１のハードウェア構成を示すブロック図である。ラベルプリンタ１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１５】
ラベルプリンタ１のＣＰＵ６１には、前述した表示デバイス３、タッチパネル４、キーボード５、計量秤８がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
ラベルプリンタ１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ラベルプリンタ１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、ラベル印刷用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００１７】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品の各々について、商品の売上登録にかかる情報と、その商品の画像との関連付けが設定されたファイルである。図４は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図４に示すように、ＰＬＵファイルＦ１は、商品ごとに、ユニークに割り当てられた商品ＩＤ、商品が属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像と、「類似度：0.XX」という閾値と、を格納するファイルである。詳細は後述するが、この「類似度：0.XX」という閾値は、商品が果物や生鮮品などであり、鮮度が落ち変色した場合などは、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。
【００１８】
図３に戻り、ラベルプリンタ１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ラベルプリンタ１に配信されるＰＬＵファイルＦ１が格納されている。
【００１９】
さらに、ラベルプリンタ１のＣＰＵ６１には、商品読取部１０が接続されている。また、ラベルプリンタ１のＣＰＵ６１には、ラベル印字を行う第１プリンタ６および第２プリンタ７の２つのプリンタユニットが接続されている。ラベルプリンタ１は、ＣＰＵ６１の制御のもと、ラベル印字を実行する。
【００２０】
商品読取部１０も、マイクロコンピュータ１１０を備えている。マイクロコンピュータ１１０は、ＣＰＵ１０１にＲＯＭ１０２とＲＡＭ１０３とがバス接続されて構成されている。ＲＯＭ１０２には、ＣＰＵ１０１によって実行されるプログラムが記憶されている。ＣＰＵ１０１には、撮像部１０４、音声出力部１０５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１０４、音声出力部１０５は、ＣＰＵ１０１によって動作が制御される。
【００２１】
撮像部１０４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサなどであり、ＣＰＵ１０１の制御の下で読取窓９からの撮像を行う撮像手段である。例えば撮像部１０４では３０ｆｐｓの動画像の撮像を行う。撮像部１０４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１０３に保存される。
【００２２】
音声出力部１０５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１０５は、ＣＰＵ１０１の制御の下で警告音などの音声による報知を行う。
【００２３】
そして、ＣＰＵ１０１の制御の下、商品読取部１０の撮像部１０４によって撮像された画像（商品の全部または一部を含む画像）は、ラベルプリンタ１のＣＰＵ６１に入力される。
【００２４】
次に、ＣＰＵ１０１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１０１、ＣＰＵ６１の機能部について、図５を参照して説明する。図５は、ＣＰＵ１０１、ＣＰＵ６１の機能構成を示すブロック図である。図５に示すように、ＣＰＵ１０１は、プログラムを順次実行することにより、撮像画像取込部１０１１、商品検出部１０１２、画像出力手段である画像出力部１０１３としての機能を備える。同様に、ＣＰＵ６１は、物体認識手段である物体認識部６１１、報知手段である商品表示部６１２、類似度判定手段である類似度判定部６１３、不良品報知手段である不良品報知部６１４、情報読出手段である情報読出部６１５、ラベル発行手段であるラベル発行部６１６としての機能を備える。
【００２５】
撮像画像取込部１０１１は、撮像部１０４に撮像オン信号を出力して撮像部１０４に撮像動作を開始させる。撮像画像取込部１０１１は、撮像動作開始後に撮像部１０４が撮像してＲＡＭ１０３に保存されたフレーム画像を順次取り込む。撮像画像取込部１０１１によるフレーム画像の取り込みは、ＲＡＭ１０３に保存された順に行われる。
【００２６】
商品検出部１０１２は、撮像画像取込部１０１１により取り込まれたフレーム画像に含まれる商品の全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓９に向けられた商品の写り込みを検出する。なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００２７】
画像出力部１０１３は、撮像画像取込部１０１１が取り込んだフレーム画像をラベルプリンタ１のＣＰＵ６１へ出力する。画像出力部１０１３は撮像画像取込部１０１１が取り込んだフレーム画像を逐次ラベルプリンタ１のＣＰＵ６１へ出力してもよいが、本実施形態では、商品検出部１０１２により商品の全部または一部が検出されたフレーム画像をラベルプリンタ１のＣＰＵ６１へ出力するものとする。このように、商品検出部１０１２により商品の全部または一部が検出されたフレーム画像をラベルプリンタ１のＣＰＵ６１へ出力することで、商品の全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がラベルプリンタ１のＣＰＵ６１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品の全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
【００２８】
物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取部１０の撮像部１０４により撮像された商品の全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品を認識する。なお、物体認識部６１１は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。ラベルプリンタ１のＣＰＵ６１では、物体認識部６１１の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取部１０が読み取った商品を特定できる。
【００２９】
類似度判定部６１３は、物体認識部６１１が認識した商品について類似度を算出し、類似度がＰＬＵファイルＦ１において予め定められた閾値を超えているか否かを判定する。
【００３０】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３１】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３２】
情報読出部６１５は、物体認識部６１１により認識された商品画像と関連する情報、すなわち、商品読取部１０が読み取った商品として特定された商品の商品ＩＤ、商品分類、商品名、単価などを読み出し、商品表示部６１２が、当該商品にかかる情報を表示デバイス３に表示する。
ラベル発行部６１６は、情報読出部６１５によって読み出された商品についての情報をラベルに対して印字して発行する。
【００３３】
次に、ラベルプリンタ１の動作について詳細に説明する。図６は、本実施形態にかかるラベルプリンタ１の動作の一例を示すフローチャートである。
【００３４】
図６に示すように、例えばキーボード５に設けられる商品確認モードキー（図示せず）が押下操作されることによって処理が開始されると、撮像画像取込部１０１１は、撮像部１０４に撮像オン信号を出力して撮像部１０４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１０１１は、撮像部１０４が撮像してＲＡＭ１０３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１０１２は、撮像画像取込部１０１１が取り込んだフレーム画像から商品の全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１０１３は、商品検出部１０１２により商品の全部または一部が検出されたフレーム画像をＣＰＵ６１側へ出力する（ステップＳ４）。
【００３５】
図７は、読取窓９における読取領域Ｒの例を示す概念図である。具体的には、図７は商品Ａを読み取る際の読取領域Ｒを例示する概念図である。図７に示すように、前述した商品Ａの移動過程において読取領域Ｒに商品Ａが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からステップＳ３で商品Ａの全部または一部が検出される。この商品Ａの全部または一部の検出により、ステップＳ４では読取領域Ｒを撮像したフレーム画像がＣＰＵ６１へ出力されることとなる。
【００３６】
次に、図６に示すように、ＣＰＵ６１は、商品読取部１０から出力された、商品Ａの全部または一部を検出したフレーム画像を受信する（ステップＳ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取部１０から出力された商品Ａの全部または一部の画像から特定の物体として商品Ａを認識する（ステップＳ１２）。
【００３７】
次いで、類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、類似度を算出する（ステップＳ１３）。類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：1.0」とした場合に、商品読取部１０から出力された商品Ａの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしても良い。
【００３８】
次いで、類似度判定部６１３は、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えているか否かを判定する（ステップＳ１４）。
【００３９】
類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていると判定した場合（ステップＳ１４：Ｙｅｓ）、ステップＳ１５において、情報読出部６１５が物体認識部６１１により認識された特定の物体である商品Ａの商品画像と関連する情報（商品ＩＤ、商品分類、商品名、単価など）を読み出し、商品表示部６１２が商品Ａの商品画像と関連する情報を表示デバイス３に表示する（ステップＳ１５）。
【００４０】
図８は、表示デバイス３への画面表示例を示すものである。図８に示す例では、商品Ａの画像を表示領域Ｇ１に表示するとともに、予め保存していた商品Ａの商品名などの商品情報を表示領域Ｇ２に併せて表示させている。このような画面表示をすることによって、バックヤードで例えば魚の切り身などをパック詰めする場合において、専門の知識がなくても魚の種類が分かるので、切り身などの判別を補助することが可能となる。
【００４１】
次いで、ＣＰＵ６１は、キーボード５の操作指示などによる業務終了の有無を判定する（ステップＳ１６）。業務を継続する場合（ステップＳ１６：Ｎｏ）、ＣＰＵ６１は、ステップＳ１１へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ１６：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００４２】
一方、類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていないと判定した場合（ステップＳ１４：Ｎｏ）、不良品報知部６１４は、正規品と認識されなかった商品であることを店員に報知し（ステップＳ１７）、販売中止するなどの措置を店舗側に促す。具体的には、不良品報知部６１４は、表示デバイス３への画面表示や、音声出力部１０５による警告音の出力などでエラーを店員に報知する。この報知を行うことで、ラベルプリンタ１は、別の商品Ａを読み取らせるなどの、適切な操作を店員に促すことができる。
【００４３】
図９に示すように、物体認識部６１１が認識した商品Ａが「バナナ」であった場合、閾値が「類似度：0.50」としてＰＬＵファイルＦ１に記憶されていると、（ａ）で示す商品については類似度が0.717であることから、算出した類似度が予め定められた閾値を超えていると判定される。一方、（ｂ）で示す商品については類似度が0.252であることから、算出した類似度が予め定められた閾値を超えていないと判定される。したがって、（ａ）で示す商品については、「バナナ」として通常通りに売上登録される。一方、（ｂ）で示す商品については、「バナナ」として一応認識されるものの、古くなり変色したもの、傷んだもの、変形したもの、すなわち色合いや表面の凹凸状況等が正常でないものとして、不良品として売上登録されない。同様に、惣菜なども、正規の焼き具合や揚げ具合による商品画像をＰＬＵファイルＦ１に記憶しておき、焼き不足／過ぎや揚げ不足／過ぎなどが閾値を外れた場合、不良品であると判断することができる。
【００４４】
このように本実施形態のラベルプリンタ１によれば、生鮮品や惣菜などが、古くなり変色したもの、傷んだもの、変形したもの、調理不良により色合いが異なるものなどであった場合、ＰＬＵファイルＦ１に記憶されている商品画像と比較することで、基準を外れたものを不良品であると判断することができる。
【００４５】
特に、繁忙店など商品の鮮度をチェックする時間に制約がある店舗や、多数の店員を抱え惣菜の調理に個人差がある店舗などでも、正規の商品と数値的な判断で比較することが可能となる。
【００４６】
なお、本実施形態においては、認識する物体は、ＰＬＵファイルＦ１に格納されている販売商品であるとしたが、これに限るものではなく、販売促進に用いる販促品などであっても良い。
【００４７】
本実施形態のラベルプリンタ１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のラベルプリンタ１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４８】
さらに、本実施形態のラベルプリンタ１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のラベルプリンタ１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４９】
本実施形態のラベルプリンタ１で実行されるプログラムは、上述した各部（物体認識部６１１、商品表示部６１２、類似度判定部６１３、不良品報知部６１４、情報読出部６１５、ラベル発行部６１６、撮像画像取込部１０１１、商品検出部１０１２、画像出力部１０１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、物体認識部６１１、商品表示部６１２、類似度判定部６１３、不良品報知部６１４、情報読出部６１５、ラベル発行部６１６、撮像画像取込部１０１１、商品検出部１０１２、画像出力部１０１３が主記憶装置上に生成されるようになっている。
【００５０】
［第２の実施形態］
次に、第２の実施形態について説明する。なお、前述した第１実施の形態と同じ部分は同じ符号で示し説明も省略する。第１の実施形態では、バックヤードで例えば魚の切り身などをパック詰めする場合などにおける物体認識および認識された物体についての情報の報知について説明した。本実施の形態においては、更に認識された物体についての情報に基づいてラベル発行も行うようにしたものである。
【００５１】
図１０は、本実施形態にかかるラベルプリンタ１の動作の一例を示すフローチャートである。図１０に示すように、例えばキーボード５に設けられるラベル発行モードキー（図示せず）が押下操作されることによって処理が開始されると、撮像画像取込部１０１１は、撮像部１０４に撮像オン信号を出力して撮像部１０４による撮像を開始する（ステップＳ１）。次いで、撮像画像取込部１０１１は、撮像部１０４が撮像してＲＡＭ１０３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。次いで、商品検出部１０１２は、撮像画像取込部１０１１が取り込んだフレーム画像から商品の全部または一部の検出を行う（ステップＳ３）。次いで、画像出力部１０１３は、商品検出部１０１２により商品の全部または一部が検出されたフレーム画像をＣＰＵ６１側へ出力する（ステップＳ４）。
【００５２】
次に、ＣＰＵ６１は、商品読取部１０から出力された、商品Ａの全部または一部を検出したフレーム画像を受信する（ステップＳ１１）。次いで、物体認識部６１１は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取部１０から出力された商品Ａの全部または一部の画像から特定の物体として商品Ａを認識する（ステップＳ１２）。
【００５３】
次いで、類似度判定部６１３は、物体認識部６１１が認識した商品Ａについて、類似度を算出する（ステップＳ１３）。
【００５４】
次いで、類似度判定部６１３は、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えているか否かを判定する（ステップＳ１４）。
【００５５】
類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていると判定した場合（ステップＳ１４：Ｙｅｓ）、ステップＳ１５において、情報読出部６１５が物体認識部６１１により認識された特定の物体である商品Ａの商品画像と関連する情報（商品ＩＤ、商品分類、商品名、単価など）を読み出し、商品表示部６１２が商品Ａの商品画像と関連する情報を表示デバイス３に表示する（ステップＳ１５）。なお、操作者は、遅くとも商品Ａの商品画像と関連する情報（商品ＩＤ、商品分類、商品名、単価など）とが表示デバイス３に表示されるまでに、商品Ａを計量秤８に載置する。
【００５６】
加えて、ＣＰＵ６１は、計量秤８に載置されている商品の重量を秤量し（ステップＳ２０）、読み出した情報（商品ＩＤ、商品分類、商品名、単価など）及び秤量した重量に基づいて印字データを生成し、生成した印字データに基づいてラベルを印刷して発行する（ステップＳ２１）。図１１は、発行されたラベルＬ１の一例を示す平面図である。図１１に示すように、ラベルＬ１には、商品名、単価、重量、重量に応じた価格などが印字されている。
【００５７】
一方、類似度判定部６１３が、ステップＳ１３で算出した類似度が予め定められた閾値（「類似度：0.XX」）を超えていないと判定した場合（ステップＳ１４：Ｎｏ）、不良品報知部６１４は、正規品と認識されなかった商品であることを店員に報知し（ステップＳ１７）、販売中止、あるいは値引き販売するなどの措置を店舗側に促す。具体的には、不良品報知部６１４は、表示デバイス３への画面表示や、音声出力部１０５による警告音の出力などでエラーを店員に報知する。
【００５８】
ＣＰＵ６１は、キーボード５の操作指示などによる値引き販売の指示があったと判定した場合には（ステップＳ２２：Ｙｅｓ）、情報読出部６１５が物体認識部６１１により認識された特定の物体である商品Ａの商品画像と関連する情報（商品ＩＤ、商品分類、商品名、単価など）を読み出し、商品表示部６１２が商品Ａの商品画像と関連する情報を表示デバイス３に表示するとともに（ステップＳ２３）、正規品と認識されなかった商品Ａの値引き額を確定する（ステップＳ２３）。なお、正規品と認識されなかった商品Ａについて値引き販売する場合に用いられる値引率または値引額は、段階的に設定されるものであっても良い。値引率または値引額は、例えばＰＬＵファイルＦ１に予め記憶した複数の閾値（類似度：0.XX）と対応付けることにより、類似度に応じて段階的に設けることが可能である。
【００５９】
一方、キーボード５の操作指示などによる販売中止の指示があったと判定した場合には（ステップＳ２２：Ｎｏ）、ステップＳ１１へ処理を戻す。
【００６０】
その後、ＣＰＵ６１は、計量秤８に載置されている商品の重量を秤量し（ステップＳ２０）、ラベル発行部６１６は、読み出した情報（商品ＩＤ、商品分類、商品名、単価など）、値引き額及び秤量した重量に基づいて印字データを生成し、生成した印字データに基づいてラベルを印刷して発行する（ステップＳ２１）。図１２は、発行されたラベルＬ２の一例を示す平面図である。図１２に示すラベルＬ２においては、商品が正規品と認識されなかったため、値引き額（２００円）および通常価格から値引き額（２００円）を引いた価格が表示されている。
【００６１】
なお、図１２に示すように、通常価格から値引額を引いた価格をラベル表示するものに限るものではなく、図１３に示すように、正規のラベルＬ１（図１１と同じ）とは別に、値引き額（２００円）を示す値引きラベルＬ３を別途印字発行するものであっても良い。
【００６２】
なお、実施形態においては、ステップＳ２２においてキーボード５の操作指示などによる販売中止の指示があったか否かを判定するようにしたが、これに限るものではなく、オブジェクト認識結果に応じてダイレクトに値引き処理およびラベル発行処理の実行または停止するようにしても良い。例えば、正規品と認識しなかった場合、キーボード５の操作指示などによる値引き販売の指示がなくとも、オブジェクト認識結果に応じて値引き額を確定して値引き情報をラベルに印刷する（または、オブジェクト認識結果に応じて値引き処理およびラベル発行処理を停止する）。
【符号の説明】
【００６３】
１ ラベル発行装置
１０４ 撮像手段
６１１ 物体認識手段
６１２ 報知手段
６１３ 類似度判定手段
６１４ 不良品報知手段
６１５ 情報読出手段
６１６ ラベル発行手段
１０１３ 画像出力手段
Ｆ１ ファイル
【先行技術文献】
【特許文献】
【００６４】
【特許文献１】特許第２６３０２５６号公報
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段が撮像した画像を出力する画像出力手段と、
出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体についての情報を、当該物体にかかる情報を記憶するファイルから読み出す情報読出手段と、
読み出された前記物体についての情報をラベルに対して印字して発行するラベル発行手段と、
を備えることを特徴とするラベル発行装置。
【請求項２】
読み出された前記物体についての情報を報知する報知手段を更に備える、
ことを特徴とする請求項１記載のラベル発行装置。
【請求項３】
認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
を備えることを特徴とする請求項１または２記載のラベル発行装置。
【請求項４】
前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
ことを特徴とする請求項３記載のラベル発行装置。
【請求項５】
前記ラベル発行手段は、前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された場合に、正規品と認識されなかった前記物体について値引き情報をラベルに対して印字して発行する、
ことを特徴とする請求項３記載のラベル発行装置。
【請求項６】
前記ラベル発行手段は、前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された後、値引き販売の指示があった場合に、正規品と認識されなかった前記物体について値引き情報をラベルに対して印字して発行する、
ことを特徴とする請求項３記載のラベル発行装置。
【請求項７】
前記ラベル発行手段は、前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された場合に、正規品と認識されなかった前記物体についての情報のラベルに対する印字発行を中止する、
ことを特徴とする請求項３記載のラベル発行装置。
【請求項８】
前記ラベル発行手段は、前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された後、値引き販売の指示があった場合に、正規品と認識されなかった前記物体についての情報のラベルに対する印字発行を中止する、
ことを特徴とする請求項３記載のラベル発行装置。
【請求項９】
コンピュータを、
撮像手段が撮像した画像を出力する画像出力手段と、
出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体についての情報を、当該物体にかかる情報を記憶するファイルから読み出す情報読出手段と、
読み出された前記物体についての情報をラベルに対して印字して発行するラベル発行手段と、
として機能させることを特徴とするプログラム。
【請求項１０】
読み出された前記物体についての情報を報知する報知手段を更に備える、
ことを特徴とする請求項９記載のプログラム。
【請求項１１】
認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
として前記コンピュータを機能させることを特徴とする請求項９または１０記載のプログラム。
【請求項１２】
前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
ことを特徴とする請求項１１記載のプログラム。
【請求項１】
撮像手段と、
前記撮像手段が撮像した画像を出力する画像出力手段と、
出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体についての情報を、当該物体にかかる情報を記憶するファイルから読み出す情報読出手段と、
読み出された前記物体についての情報をラベルに対して印字して発行するラベル発行手段と、
を備えることを特徴とするラベル発行装置。
【請求項２】
読み出された前記物体についての情報を報知する報知手段を更に備える、
ことを特徴とする請求項１記載のラベル発行装置。
【請求項３】
認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
を備えることを特徴とする請求項１または２記載のラベル発行装置。
【請求項４】
前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
ことを特徴とする請求項３記載のラベル発行装置。
【請求項５】
前記ラベル発行手段は、前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された場合に、正規品と認識されなかった前記物体について値引き情報をラベルに対して印字して発行する、
ことを特徴とする請求項３記載のラベル発行装置。
【請求項６】
前記ラベル発行手段は、前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された後、値引き販売の指示があった場合に、正規品と認識されなかった前記物体について値引き情報をラベルに対して印字して発行する、
ことを特徴とする請求項３記載のラベル発行装置。
【請求項７】
前記ラベル発行手段は、前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された場合に、正規品と認識されなかった前記物体についての情報のラベルに対する印字発行を中止する、
ことを特徴とする請求項３記載のラベル発行装置。
【請求項８】
前記ラベル発行手段は、前記不良品報知手段によって前記物体が正規品と認識されないものであることが報知された後、値引き販売の指示があった場合に、正規品と認識されなかった前記物体についての情報のラベルに対する印字発行を中止する、
ことを特徴とする請求項３記載のラベル発行装置。
【請求項９】
コンピュータを、
撮像手段が撮像した画像を出力する画像出力手段と、
出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段と、
認識された前記物体についての情報を、当該物体にかかる情報を記憶するファイルから読み出す情報読出手段と、
読み出された前記物体についての情報をラベルに対して印字して発行するラベル発行手段と、
として機能させることを特徴とするプログラム。
【請求項１０】
読み出された前記物体についての情報を報知する報知手段を更に備える、
ことを特徴とする請求項９記載のプログラム。
【請求項１１】
認識された前記物体について予め決められた当該物体の基準画像に対してどの程度類似しているかを示す類似度を算出し、算出した前記類似度が予め定められた閾値を超えているか否かを判定する類似度判定手段と、
算出した前記類似度が予め定められた閾値を超えていないと判定した場合、前記物体が正規品と認識されないものであることを報知する不良品報知手段と、
として前記コンピュータを機能させることを特徴とする請求項９または１０記載のプログラム。
【請求項１２】
前記物体認識手段は、前記画像の特徴量として前記物体の表面の状態を用い、前記物体の表面の状態に応じて類似度を算出する、
ことを特徴とする請求項１１記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−６６５７３（Ｐ２０１２−６６５７３Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１１−１４７５７４（Ｐ２０１１−１４７５７４）
【出願日】平成２３年７月１日（２０１１．７．１）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２３年７月１日（２０１１．７．１）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]