商品データ処理装置、商品データ処理方法及び制御プログラム
【課題】商品の選定をより効率的に行う。
【解決手段】実施の形態の商品データ処理装置において、商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されている。そして、情報抽出手段は、撮像部により撮像された画像の画像データから画像に含まれる商品を特定するための一般物体認識としてのオブジェクト認識に用いる商品特定情報あるいはコードシンボルとして構成された商品特定情報を抽出する。これにより、情報提示手段は、抽出した前記商品特定情報により商品が特定された場合に、より優先度の高い商品特定情報に対応する商品情報を提示する。
【解決手段】実施の形態の商品データ処理装置において、商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されている。そして、情報抽出手段は、撮像部により撮像された画像の画像データから画像に含まれる商品を特定するための一般物体認識としてのオブジェクト認識に用いる商品特定情報あるいはコードシンボルとして構成された商品特定情報を抽出する。これにより、情報提示手段は、抽出した前記商品特定情報により商品が特定された場合に、より優先度の高い商品特定情報に対応する商品情報を提示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、商品データ処理装置、商品データ処理方法及び制御プログラムに関する。
【背景技術】
【０００２】
従来、物品を撮像した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識（検出）する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、商品、飲食物等の種別判別に用いたシステムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来の一般物体認識に係る技術では、対象物の候補となる商品が複数個認識される場合がある。このような場合、候補となった商品を操作者に選択させることとなるが、不用意に一覧表示させると商品の選定をかえって妨げる可能性がある。そのため、商品の選定をより効率的に行うための技術が要求されている。
【課題を解決するための手段】
【０００４】
実施の形態の商品データ処理装置において、商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されている。
そして、情報抽出手段は、撮像部により撮像された画像の画像データから画像に含まれる商品を特定するための一般物体認識としてのオブジェクト認識に用いる商品特定情報あるいはコードシンボルとして構成された商品特定情報を抽出する。
これにより、情報提示手段は、抽出した前記商品特定情報により商品が特定された場合に、より優先度の高い商品特定情報に対応する商品情報を提示する。
【図面の簡単な説明】
【０００５】
【図１】図１は、チェックアウトシステムの一例を示す斜視図である。
【図２】図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータフォーマットの一例を示す図である。
【図４】図４は、商品読取装置のＣＰＵの機能構成を示すブロック図である。
【図５】図５は、第１実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【図６】図６は、初期画面の一例の説明図である。
【図７】図７は、オブジェクト認識処理中の表示画面の一例の説明図である。
【図８】図８は、オブジェクト認識結果処理の表示例の説明図である。
【図９】図９は、コードシンボル検出時の表示画面の一例の説明図である。
【図１０】図１０は、第２実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【図１１】図１１は、オブジェクト認識処理中の表示画面の一例の説明図である。
【図１２】図１２は、商品オブジェクト及び商品付加オブジェクトが検出された場合の表示画面の一例の説明図である。
【発明を実施するための形態】
【０００６】
以下では、チェックアウトシステムを例に本実施形態に係る、商品データ処理装置、商品データ処理方法及び制御プログラムについて、図面を参照して説明する。
商品データ処理装置は、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等に適用可能である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００７】
［１］第１実施形態
図１は、チェックアウトシステムの一例を示す斜視図である。
チェックアウトシステム１は、図１に示すように、一取引に係る商品の登録、精算を行うＰＯＳ端末１１を備える。
【０００８】
ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００９】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
【００１０】
カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１１】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１２】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。
【００１３】
商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。
【００１４】
図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
ＰＯＳ端末１１は、図２に示すように、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。
【００１５】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子等が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１７】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００１８】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録にかかる情報と、その商品Ｇの撮像画像との関連付けが設定された商品ファイルである。
【００１９】
図３は、ＰＬＵファイルのデータフォーマットの一例を示す図である。
ＰＬＵファイルＦ１は、図３に示すように、商品Ｇ毎に、商品Ｇを特定するためにユニークに割り当てられた商品ＩＤを格納した商品ＩＤデータＤ１１、商品Ｇが属する商品分類を特定するための商品分類データＤ１２、商品名を特定するための商品名データＤ１３、単価等の商品に関する価格データＤ１４と、商品Ｇを撮像画像から特定するための一般物体認識としてのオブジェクト認識用の特徴量データ（商品特定情報：色合い、外形形状、表面の凹凸形状等に関するデータ）や商品Ｇに割り当てられたバーコード等のコードシンボル（特定物体認識における商品特定情報）を特定するためのデータ等の商品識別データＤ１５と、オブジェクト認識において、当該商品Ｇであると特定する場合の閾値の下限値を格納した類似度データＤ１６と、を格納している。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し（参照）可能に構成されている。
【００２０】
なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、商品識別データとして、典型的な商品画像を格納する形態としてもよい。
【００２１】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２２】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００２３】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２４】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。
【００２５】
音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。
【００２６】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。
【００２７】
次に、ＣＰＵ１６１の機能構成について、図４を参照して説明する。
【００２８】
図４は、商品読取装置のＣＰＵの機能構成を示すブロック図である。
図４に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、類似度算出部１６１３、商品候補提示部１６１４、コードシンボル検出部１６１５及び登録商品通知部１６１６としての機能を備える。
【００２９】
画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００３０】
商品検出部１６１２は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。
【００３１】
なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００３２】
類似度算出部１６１３は、商品読取装置１０１の撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部１６１３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。
【００３３】
また、類似度算出部１６１３は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしてもよい。
【００３４】
また、類似度算出部１６１３は、登録商品の各々について算出した類似度が、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの候補（以下、商品候補という）として認識（判定）する。なお、ＰＬＵファイルＦ１に各商品画像の特徴量が対応付けて格納されている場合には、ＰＬＵファイルＦ１に格納された特徴量を用いて比較する形態としてもよい。
【００３５】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３６】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３７】
なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００３８】
前者の算出方法を用いる場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、後者の算出方法を用いる場合、えば、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出する。
【００３９】
ところで、類似度算出部１６１３での認識の結果、商品候補が複数個認識される場合がある。そこで、商品候補提示部１６１４は、類似度算出部１６１３の認識の結果に基づき、商品候補となる登録商品が複数存在する場合に、これら登録商品の商品画像をＰＬＵファイルＦ１から読み出し、類似度算出部１６１３が算出した類似度の高いものから、所定の個数ずつ表示デバイス１０６に順次表示させる。なお、商品画像の表示に係る処理について後述する。
【００４０】
また、商品候補提示部１６１４は、表示デバイス１０６に表示された商品画像の中から一の商品画像の選択を、タッチパネル１０５を介して受け付けると、この選択された商品画像の登録商品が、商品Ｇに対応すると判断する。そして、商品候補提示部１６１４は、この登録商品を指示する情報（例えば、商品ＩＤや商品名、選択された商品画像の画像ファイル名等）を登録商品通知部１６１６に出力する。
【００４１】
なお、本実施形態では商品候補が単一の登録商品である場合に、その登録商品が商品Ｇであるとして、当該登録商品の商品画像の表示を省略する形態とするが、これに限らず、商品画像を表示デバイス１０６に表示することで、オペレータへの確認を求める形態としてもよい。また、本実施形態では、商品候補提示部１６１４は、商品画像を表示デバイス１０６に表示する形態とするが、他の商品情報を表示してもよく、例えば商品名や商品価格等の文字情報のみを表示させてもよく、また、文字情報と商品画像とをあわせて表示させてもよい。
【００４２】
コードシンボル検出部１６１５は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ｇに印刷あるいは貼着された一次元バーコードあるいは二次元バーコード（例えば、ＱＲコード;登録商標）等のコードシンボルを、パターンマッチング技術等を用いて検出し、デコードしてコードシンボルに対応する情報を出力する。
【００４３】
登録商品通知部１６１６は、商品候補提示部１６１４が指示した登録商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知する。なお、商品ＩＤの通知は、登録商品通知部１６１６がＰＬＵファイルＦ１から読み出した商品ＩＤデータＤ１１を直接通知する形態としてもよいし、商品ＩＤを特定することが可能な商品画像のファイル名や商品名に対応する商品名データＤ１３を通知する形態としてもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知する形態としてもよい。
【００４４】
一方、ＣＰＵ６１は、売上登録部として機能し、登録商品通知部１６１６より通知された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、ＣＰＵ６１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
【００４５】
次に、チェックアウトシステム１の動作について詳細に説明する。
図５は、第１実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【００４６】
先ず、商品読取装置１０１側の動作について説明する。
図５に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、ＣＰＵ１６１は、画像取込部１６１１として機能し、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する。そしてＣＰＵ１６１は、商品候補提示部１６１４として機能し、表示デバイス１０６の表示画面に初期画面を表示する（ステップＳ１１）。
【００４７】
図６は、初期画面の一例の説明図である。
表示画面２００に表示された初期画面は、撮像部１６４による撮像画像や、オブジェクト認識処理の終了後に認識結果に相当する商品イラスト画像、商品数量の入力画面等を表示する画像表示領域２０１と、オブジェクト認識処理結果あるいはコードシンボル認識結果としての商品名を表示する商品名表示領域２０２と、オブジェクト認識処理結果あるいはコードシンボル認識処理結果に基づいて抽出した商品価格を表示する価格表示領域２０３と、オブジェクト認識処理時に商品候補の商品名のリストを表示する商品候補リスト表示領域２０４と、を備えている。初期状態において、商品名表示領域２０２、価格表示領域２０３及び商品候補リスト表示領域２０４は、表示すべき情報がないため、グレイアウト状態（情報非表示状態）となっている。ここでの、グレイアウト状態とは、情報を表示しない状態であって、商品名表示領域２０２や価格表示領域２０３の明度に比べて、商品候補リスト表示領域２０４の明度を暗くした状態である。
続いてＣＰＵ１６１は、商品検出部１６１２として機能し、撮像部１６４による撮像画像中に所定の輝度値よりも高い商品画像領域が存在するか否か、すなわち、商品が検出されたか否かを判別する（ステップＳ１２）。
【００４８】
ステップＳ１２の判別において、未だ商品が検出されていない場合には（ステップＳ１２；Ｎｏ）、ＣＰＵ１６１は、待機状態となる。
ステップＳ１２の判別において、商品が検出された場合には（ステップＳ１２；Ｙｅｓ）、ＣＰＵ１６１は、商品検出部１６１２及びコードシンボル検出部１６１５として機能し、撮像画像に対するオブジェクト認識処理及び一次元バーコードあるいは二次元バーコードなどのコードシンボルを検出するコードシンボル検出処理を行う（ステップＳ１３）。
【００４９】
オブジェクト認識処理は、以下の手順で行う。
まずＣＰＵ１６１は、画像取込部１６１１として機能し、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む。次いで、ＣＰＵ１６１は、商品検出部１６１２として機能し、画像取込部１６１１が取り込んだフレーム画像に含まれる商品Ｇの画像（全部または一部の画像）の検出を行う。続いて、ＣＰＵ１６１は、類似度算出部１６１３として機能し、商品Ｇの画像から商品Ｇの特徴量を読み取り、ＰＬＵファイルＦ１に登録された各商品画像の特徴量と比較することで類似度を算出する。
【００５０】
次いで、類似度算出部１６１３として機能するＣＰＵ１６１は、登録商品の各々について算出した類似度が、類似度データＤ１６に基づいて、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの商品候補として抽出する。
【００５１】
図７は、オブジェクト認識処理中の表示画面の一例の説明図である。
表示画面２００の画像表示領域２０１には、撮像部１６４による撮像画像として商品Ｇの撮像画像が表示されている。
【００５２】
そして、商品候補リスト表示領域２０４には、オブジェクト認識処理時に商品候補の商品名のリストが表示されている。上述したように、商品候補リスト表示領域２０４に表示される商品名は、類似度データＤ１６に基づいて、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品の商品名である。ここで、商品候補リスト表示領域２０４には、類似度の値が大きい登録商品ほど上部に表示されるようにされている。すなわち、図７の例の場合には、商品名「○○ラーメン（△△食品）」が最も類似度が高いものとして表示されている。なお、類似度が類似度データＤ１６に対応する閾値を超えるものがない場合には、商品候補リスト表示領域２０４中の「リストから選択」と表示されている領域を選択することにより、撮像部１６４による撮像画像として商品Ｇの撮像画像に重畳して、商品候補一覧が表示されるので、オペレータは、当該商品候補一覧から所望の商品を選択することとなる。
このオブジェクト認識処理と並行して、ＣＰＵ１６１は、コードシンボル検出部１６１５として機能し、常時コードシンボルが検出されたか否かを検出している（ステップＳ１４）。
【００５３】
そして、ステップＳ１４の判別において、コードシンボルが検出されなかった場合には（ステップＳ１４；Ｎｏ）、ＣＰＵ１６１は、商品候補提示部１６１４として機能し、認識された商品候補（登録商品）の個数が複数か否かを判定する。ここで、商品候補提示部１６１４として機能するＣＰＵ１６１は、商品候補とされた登録商品の個数が一つと判定した場合、商品Ｇがこの登録商品に対応すると判別してオブジェクト認識処理を自動的に終了し（ステップＳ１５；Ｙｅｓ）、オブジェクト認識結果の表示処理に移行する（ステップＳ１６）。
【００５４】
また、商品候補（登録商品）の個数が複数と判定した場合、商品候補提示部１６１４として機能するＣＰＵ１６１は、商品候補提示処理に移行し、図７の例のように複数の商品候補を表示する。
【００５５】
すなわち、ＣＰＵ１６１は商品候補提示部１６１４として機能し、商品候補となった各登録商品の商品名データＤ１３をＰＬＵファイルＦ１から読み出す。次いで、商品候補提示部１６１４として機能するＣＰＵ１６１は、読み出した複数の商品名データＤ１３を、算出された類似度の高い順にソートして、商品候補リスト表示領域２０４に表示する。
【００５６】
したがって、オペレータは、商品候補リスト表示領域２０４に表示されたいずれかの商品名を選択する。なお、商品候補リスト表示領域２０４に所望の商品名が見あたらない場合には、商品候補リスト表示領域２０４中の「リストから選択」と表示されている領域を選択することにより、撮像部１６４による撮像画像として商品Ｇの撮像画像に重畳して、商品候補一覧が表示されるので、オペレータは、当該商品候補一覧から所望の商品を選択することとなる。
このように、オペレータにより、商品候補リスト表示領域２０４に表示された商品名あるいは撮像部１６４による撮像画像として商品Ｇの撮像画像に重畳して表示された商品候補一覧から商品名が選択された場合には、オブジェクト認識処理が完了したとして（ステップＳ１５；Ｙｅｓ）、オブジェクト認識結果を表示する（ステップＳ１６）。
【００５７】
図８は、オブジェクト認識結果処理の表示例の説明図である。
図８に示すように、オブジェクト認識が完了し、オブジェクト認識結果が表示される状態では、表示画面２００の画像表示領域２０１には、撮像部１６４による撮像画像として商品Ｇの撮像画像に代えて、商品Ｇに対応するイラスト画像ＩＬが表示されている。
【００５８】
このように、商品Ｇの撮像画像に代えて、商品Ｇに対応するイラスト画像ＩＬを表示するのは、オブジェクト認識が完了したことを視覚的にも容易にオペレータに把握させるためである。
そして、商品候補リスト表示領域２０４は、同様にオブジェクト認識処理が完了したことをオペレータが容易に把握できるように、グレイアウト表示とされている。
また、ステップＳ１４の判別において、コードシンボルが検出された場合には（ステップＳ１４；Ｙｅｓ）、コードシンボルの検出結果を表示する優先度は、オブジェクト認識処理の認識結果を表示する優先度よりも高いものと予め設定しているので、コードシンボル検出結果を表示することとなる（ステップＳ１７）。
【００５９】
図９は、コードシンボル検出時の表示画面の一例の説明図である。
バーコードＣＳなどのコードシンボルが検出された場合には、図９に示すように、商品名表示領域２０２には、検出したコードシンボルに対応する商品の商品名が（図９では、「○○ラーメン △△食品」）が表示され、価格表示領域２０３には、検出したコードシンボルに対応する商品の価格（図９では、「１４０円」）が表示される。また、画像表示領域２０１には、撮像部１６４が撮像した商品Ｇの撮像画像が表示される。
【００６０】
そして、ＣＰＵ１６１は、オブジェクト認識処理が行われていないことを明確にオペレータに通知するために、商品候補リスト表示領域２０４の表示をグレイアウト表示とする。この結果、オペレータは直ちに商品を撮像するために商品を撮像部１６４の前にかざす動作を完了することができる。
【００６１】
これらの結果、商品候補提示部１６１４あるいはコードシンボル検出部１６１５として機能するＣＰＵ１６１は、選択された商品画像に対応する登録商品が、商品Ｇに対応するものとして、この登録商品を指示する情報を登録商品通知部１６１６に出力する。
【００６２】
これにより、登録商品通知部１６１６は、商品候補提示部１６１４から指示された登録商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知し、ＰＯＳ端末１１のＣＰＵ６１は、商品読取装置１０１から通知された商品Ｇの商品ＩＤとその販売個数とを受信し、売上登録部として機能して、受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を登録する商品登録処理を行う（ステップＳ１８）。
一方、商品読取装置１０１のＣＰＵ１６１は、上述したコードシンボル検出結果及びオブジェクト認識結果を初期化する（ステップＳ１９）。
【００６３】
また、ＰＯＳ端末１１のＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等によって商品登録処理が完了しか否かを判別する（ステップＳ２０）。
ステップＳ２０の判別において、商品登録処理を継続する場合（ステップＳ２０；Ｎｏ）、商品読取装置１０１のＣＰＵ１６１は、処理を再びステップＳ１１に移行して、以下、同様の処理を行う。
また、ステップＳ２０の判別において、商品登録処理が完了した場合には、ＣＰＵ１６１及びＣＰＵ６１は、処理を終了する。
【００６４】
以上のように、本第１実施形態のチェックアウトシステム１によれば、商品Ｇの商品登録を行うに際して、オブジェクト認識処理と、コードシンボル検出処理と、を並行して行い、コードシンボルが検出された場合には、より信頼性の高い商品情報が得られたとして、オブジェクト認識の画面をグレイアウト表示する等によって、オブジェクト認識処理が完了したことを迅速且つ容易にオペレータに通知することができ、商品Ｇに対応する登録商品の選定を効率的に行うことができ、商品登録処理の業務効率を向上させることができる。
【００６５】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６６】
例えば、上記実施形態では、商品読取装置１０１において、商品Ｇを一つずつ撮像する形態について説明したが、一度に撮像する商品Ｇの個数は特に限らず、複数であってもよい。一度に複数の商品Ｇを撮像するような場合には、撮像部１６４の撮影画像を表示デバイス１０６に表示することで、複数の商品Ｇから登録の対象とする一の商品Ｇを選択可能な構成とし、タッチパネル１０５を介して選択された一の商品Ｇの認識及び商品画像の表示を行う形態としてもよい。また、複数の商品Ｇの認識を一度に行い、この認識結果に基づいて類似度の高い商品名を商品候補リスト表示領域２０４に表示する形態としてもよい。なお、この形態の場合には、撮像された画像に含まれる一の商品Ｇを選択した後に商品名を選択する等の操作を行うことで、撮像された画像に含まれる商品Ｇと、選択した商品名とを対応付けるための構成が具備されているものとする。
【００６７】
［２］第２実施形態
上記第１実施形態においては、オブジェクト認識処理と、コードシンボル検出処理と、を併用する場合の実施形態であったが、本第２実施形態は、オブジェクト認識処理において、商品オブジェクト認識処理と、値引きシール、割引シール等の商品に付加されるフラグシールを商品付加オブジェクトの認識を行う商品付加オブジェクト認識処理をおこなって値引きや割引などの処理を行う場合の実施形態である。
図１０は、第２実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【００６８】
先ず、商品読取装置１０１側の動作について説明する。
図１０は、第２実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
図１０に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、ＣＰＵ１６１は、画像取込部１６１１として機能し、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する。そしてＣＰＵ１６１は、商品候補提示部１６１４として機能し、表示デバイス１０６の表示画面に図６に示したような初期画面を表示する（ステップＳ３１）。
【００６９】
続いてＣＰＵ１６１は、商品検出部１６１２として機能し、撮像部１６４による撮像画像中に所定の輝度値よりも高い商品画像領域が存在するか否か、すなわち、商品が検出されたか否かを判別する（ステップＳ３２）。
ステップＳ３２の判別において、未だ商品が検出されていない場合には（ステップＳ３２；Ｎｏ）、ＣＰＵ１６１は、待機状態となる。
ステップＳ３２の判別において、商品が検出された場合には（ステップＳ３２；Ｙｅｓ）、ＣＰＵ１６１は、商品検出部１６１２及びコードシンボル検出部１６１５として機能し、上述した場合と同様に、撮像画像に対するオブジェクト認識処理を行う（ステップＳ３３）。
【００７０】
オブジェクト認識処理は、以下の手順で行う。
まずＣＰＵ１６１は、画像取込部１６１１として機能し、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む。次いで、ＣＰＵ１６１は、商品検出部１６１２として機能し、画像取込部１６１１が取り込んだフレーム画像に含まれる商品Ｇの画像（全部または一部の画像）の検出を行う。続いて、ＣＰＵ１６１は、類似度算出部１６１３として機能し、商品Ｇの画像から商品Ｇの特徴量を読み取り、ＰＬＵファイルＦ１に登録された各商品画像の特徴量と比較することで類似度を算出する。
【００７１】
次いで、類似度算出部１６１３として機能するＣＰＵ１６１は、登録商品の各々について算出した類似度が、類似度データＤ１６に基づいて、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの商品候補として抽出する。
【００７２】
図１１は、オブジェクト認識処理中の表示画面の一例の説明図である。
表示画面２００の画像表示領域２０１には、撮像部１６４による撮像画像として商品Ｇの撮像画像及び値引きシールとして商品に付加されたフラグシールＴＧが表示されている。
そして、商品候補リスト表示領域２０４には、オブジェクト認識処理時に商品候補の商品名のリストが表示されている。なお、類似度が類似度データＤ１６に対応する閾値を超えるものがない場合には、商品候補リスト表示領域２０４中の「リストから選択」と表示されている領域を選択することにより、撮像部１６４による撮像画像として商品Ｇの撮像画像に重畳して、商品候補一覧が表示されるので、オペレータは、当該商品候補一覧から所望の商品を選択することとなる。
【００７３】
またステップＳ３３のオブジェクト認識処理と並行して、ＣＰＵ１６１は、当該オブジェクト認識処理で商品そのものに相当するオブジェクトである商品オブジェクト が認識されたか否かを判別する（ステップＳ３４）。
ステップＳ３４の判別において、商品オブジェクトが認識されなかった場合には（ステップＳ３４；Ｎｏ）、処理をステップＳ３５に移行する。
ステップＳ３４の判別において、商品オブジェクトが認識された場合には（ステップＳ３４；Ｙｅｓ）、ＣＰＵ１６１は、オブジェクト認識結果を表示する（ステップＳ３７）。
【００７４】
続いて、ＣＰＵ１６１は、当該オブジェクト認識処理で商品に付加される物品（例えば、値引きラベル等）に相当するオブジェクトである商品付加オブジェクト が認識されたか否かを判別する（ステップＳ３５）。
ステップＳ３５の判別において、商品付加オブジェクトが認識されなかった場合には（ステップＳ３５；Ｎｏ）、ＣＰＵ１６１は、処理を再びステップＳ３３に移行して、オブジェクト認識処理を継続することとなる。
ステップＳ３５の判別において商品付加オブジェクトが認識された場合には（ステップＳ３５；Ｙｅｓ）、当該商品付加オブジェクトに対応する商品付加情報を記憶する（ステップＳ３６）。具体的には、図１１の場合には、商品付加情報として２０円引き（価格から２０円を減算する旨）を記憶する。
【００７５】
図１２は、商品オブジェクト及び商品付加オブジェクトが検出された場合の表示画面の一例の説明図である。
例えば、「２０円引き」の商品付加オブジェクトが検出された場合には、図１２に示すように、商品名表示領域２０２には、検出したコードシンボルに対応する商品の商品名が（図９では、「○○ラーメン △△食品」）が表示され、価格表示領域２０３には、検出したコードシンボルに対応する商品の価格から商品付加オブジェクトにより示される処理がなされた後の価格（図９では、商品価格が２０円引きされ、「１２０円（２０円値引き後）」）が表示される。
【００７６】
その後、図８に示したように、ＣＰＵ１６１は、オブジェクト認識が完了し、オブジェクト認識結果が表示される状態では、表示画面２００の画像表示領域２０１には、撮像部１６４による撮像画像として商品Ｇの撮像画像に代えて、商品Ｇに対応するイラスト画像ＩＬ等が表示され、オブジェクト認識が完了したことを視覚的にも容易にオペレータに把握させることができる。そして、商品候補リスト表示領域２０４は、同様にオブジェクト認識処理が完了したことをオペレータが容易に把握できるように、グレイアウト表示とされる。この結果、オペレータは直ちに商品を撮像するために商品を撮像部１６４の前にかざす動作を完了することができる。
【００７７】
さらに、商品候補提示部１６１４あるいはコードシンボル検出部１６１５として機能するＣＰＵ１６１は、選択された商品画像に対応する登録商品が、商品Ｇに対応するものとして、この登録商品を指示する情報を登録商品通知部１６１６に出力する。
【００７８】
これにより、登録商品通知部１６１６は、商品候補提示部１６１４から指示された登録商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知し、ＰＯＳ端末１１のＣＰＵ６１は、商品読取装置１０１から通知された商品Ｇの商品ＩＤとその販売個数とを受信し、売上登録部として機能して、受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を登録する商品登録処理を行う（ステップＳ３８）。
一方、商品読取装置１０１のＣＰＵ１６１は、上述したオブジェクト認識結果を初期化する（ステップＳ３９）。
【００７９】
また、ＰＯＳ端末１１のＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等によって商品登録処理が完了しか否かを判別する（ステップＳ４０）。
ステップＳ２０の判別において、商品登録処理を継続する場合（ステップＳ４０；Ｎｏ）、商品読取装置１０１のＣＰＵ１６１は、処理を再びステップＳ１１に移行して、以下、同様の処理を行う。
また、ステップＳ４０の判別において、商品登録処理が完了した場合には、ＣＰＵ１６１及びＣＰＵ６１は、処理を終了する。
【００８０】
以上のように、本第２実施形態のチェックアウトシステム１によれば、商品Ｇの商品登録を行うに際して、オブジェクト認識処理において、商品オブジェクトの認識処理と、商品付加情報オブジェクトの認識処理と、を並行して行い、商品付加情報オブジェクトの認識がなされた場合には、当該商品付加情報オブジェクトに対応する処理（値引き、割引など）を確実に行うことができる。
【００８１】
したがって、商品登録処理の業務効率を向上させることができる。
以上の第２実施形態の説明では、コードシンボルの検出処理については述べなかったが、コードシンボル検出処理機能も備えている場合には、コードシンボル近傍に当該コードシンボルの機能を無効にするオブジェクト（無効化シール）などを設け、確実に商品付加情報オブジェクトに対応する処理を行うようにするのが好ましい。
【００８２】
［３］実施形態の変形例
また、上記各実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。
【００８３】
また、上記各実施形態では、ＰＯＳ端末１１と商品読取装置１０１との２台構成としたが、これに限らず、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としてもよい。
【００８４】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００８５】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【００８６】
１ チェックアウトシステム
１１ ＰＯＳ端末
２３ 表示デバイス
６０ マイクロコンピュータ
６１ ＣＰＵ
１０１ 商品読取装置
１０２ ハウジング
１０３ 読取窓
１０４ 表示・操作部
１０５ タッチパネル
１０６ 表示デバイス
１０７ キーボード
１０８ カード読取溝
１０９ 顧客用表示デバイス
１１０ 商品読取部
１６０ マイクロコンピュータ
１６１ ＣＰＵ
２００ 表示画面
２０１ 画像表示領域
２０２ 商品名表示領域
２０３ 価格表示領域
２０４ 商品候補リスト表示領域
１６１１ 画像取込部
１６１２ 商品検出部
１６１３ 類似度算出部
１６１４ 商品候補提示部
１６１５ コードシンボル検出部
１６１６ 登録商品通知部
Ｆ１ ＰＬＵファイル
ＩＬ イラスト画像
ＴＧ フラグシール
Ｄ１１ 商品ＩＤデータ
Ｄ１２ 商品分類データ
Ｄ１３ 商品名データ
Ｄ１４ 価格データ
Ｄ１５ 商品識別データ
Ｄ１６ 類似度データ
【先行技術文献】
【特許文献】
【００８７】
【特許文献１】特開２００３−１７３３６９号公報
【技術分野】
【０００１】
本発明の実施形態は、商品データ処理装置、商品データ処理方法及び制御プログラムに関する。
【背景技術】
【０００２】
従来、物品を撮像した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識（検出）する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、商品、飲食物等の種別判別に用いたシステムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来の一般物体認識に係る技術では、対象物の候補となる商品が複数個認識される場合がある。このような場合、候補となった商品を操作者に選択させることとなるが、不用意に一覧表示させると商品の選定をかえって妨げる可能性がある。そのため、商品の選定をより効率的に行うための技術が要求されている。
【課題を解決するための手段】
【０００４】
実施の形態の商品データ処理装置において、商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されている。
そして、情報抽出手段は、撮像部により撮像された画像の画像データから画像に含まれる商品を特定するための一般物体認識としてのオブジェクト認識に用いる商品特定情報あるいはコードシンボルとして構成された商品特定情報を抽出する。
これにより、情報提示手段は、抽出した前記商品特定情報により商品が特定された場合に、より優先度の高い商品特定情報に対応する商品情報を提示する。
【図面の簡単な説明】
【０００５】
【図１】図１は、チェックアウトシステムの一例を示す斜視図である。
【図２】図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータフォーマットの一例を示す図である。
【図４】図４は、商品読取装置のＣＰＵの機能構成を示すブロック図である。
【図５】図５は、第１実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【図６】図６は、初期画面の一例の説明図である。
【図７】図７は、オブジェクト認識処理中の表示画面の一例の説明図である。
【図８】図８は、オブジェクト認識結果処理の表示例の説明図である。
【図９】図９は、コードシンボル検出時の表示画面の一例の説明図である。
【図１０】図１０は、第２実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【図１１】図１１は、オブジェクト認識処理中の表示画面の一例の説明図である。
【図１２】図１２は、商品オブジェクト及び商品付加オブジェクトが検出された場合の表示画面の一例の説明図である。
【発明を実施するための形態】
【０００６】
以下では、チェックアウトシステムを例に本実施形態に係る、商品データ処理装置、商品データ処理方法及び制御プログラムについて、図面を参照して説明する。
商品データ処理装置は、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等に適用可能である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００７】
［１］第１実施形態
図１は、チェックアウトシステムの一例を示す斜視図である。
チェックアウトシステム１は、図１に示すように、一取引に係る商品の登録、精算を行うＰＯＳ端末１１を備える。
【０００８】
ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００９】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
【００１０】
カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１１】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１２】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。
【００１３】
商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。
【００１４】
図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
ＰＯＳ端末１１は、図２に示すように、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。
【００１５】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子等が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１７】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００１８】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録にかかる情報と、その商品Ｇの撮像画像との関連付けが設定された商品ファイルである。
【００１９】
図３は、ＰＬＵファイルのデータフォーマットの一例を示す図である。
ＰＬＵファイルＦ１は、図３に示すように、商品Ｇ毎に、商品Ｇを特定するためにユニークに割り当てられた商品ＩＤを格納した商品ＩＤデータＤ１１、商品Ｇが属する商品分類を特定するための商品分類データＤ１２、商品名を特定するための商品名データＤ１３、単価等の商品に関する価格データＤ１４と、商品Ｇを撮像画像から特定するための一般物体認識としてのオブジェクト認識用の特徴量データ（商品特定情報：色合い、外形形状、表面の凹凸形状等に関するデータ）や商品Ｇに割り当てられたバーコード等のコードシンボル（特定物体認識における商品特定情報）を特定するためのデータ等の商品識別データＤ１５と、オブジェクト認識において、当該商品Ｇであると特定する場合の閾値の下限値を格納した類似度データＤ１６と、を格納している。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し（参照）可能に構成されている。
【００２０】
なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、商品識別データとして、典型的な商品画像を格納する形態としてもよい。
【００２１】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２２】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００２３】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２４】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。
【００２５】
音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。
【００２６】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。
【００２７】
次に、ＣＰＵ１６１の機能構成について、図４を参照して説明する。
【００２８】
図４は、商品読取装置のＣＰＵの機能構成を示すブロック図である。
図４に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、類似度算出部１６１３、商品候補提示部１６１４、コードシンボル検出部１６１５及び登録商品通知部１６１６としての機能を備える。
【００２９】
画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００３０】
商品検出部１６１２は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。
【００３１】
なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００３２】
類似度算出部１６１３は、商品読取装置１０１の撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部１６１３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。
【００３３】
また、類似度算出部１６１３は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしてもよい。
【００３４】
また、類似度算出部１６１３は、登録商品の各々について算出した類似度が、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの候補（以下、商品候補という）として認識（判定）する。なお、ＰＬＵファイルＦ１に各商品画像の特徴量が対応付けて格納されている場合には、ＰＬＵファイルＦ１に格納された特徴量を用いて比較する形態としてもよい。
【００３５】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３６】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３７】
なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００３８】
前者の算出方法を用いる場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、後者の算出方法を用いる場合、えば、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出する。
【００３９】
ところで、類似度算出部１６１３での認識の結果、商品候補が複数個認識される場合がある。そこで、商品候補提示部１６１４は、類似度算出部１６１３の認識の結果に基づき、商品候補となる登録商品が複数存在する場合に、これら登録商品の商品画像をＰＬＵファイルＦ１から読み出し、類似度算出部１６１３が算出した類似度の高いものから、所定の個数ずつ表示デバイス１０６に順次表示させる。なお、商品画像の表示に係る処理について後述する。
【００４０】
また、商品候補提示部１６１４は、表示デバイス１０６に表示された商品画像の中から一の商品画像の選択を、タッチパネル１０５を介して受け付けると、この選択された商品画像の登録商品が、商品Ｇに対応すると判断する。そして、商品候補提示部１６１４は、この登録商品を指示する情報（例えば、商品ＩＤや商品名、選択された商品画像の画像ファイル名等）を登録商品通知部１６１６に出力する。
【００４１】
なお、本実施形態では商品候補が単一の登録商品である場合に、その登録商品が商品Ｇであるとして、当該登録商品の商品画像の表示を省略する形態とするが、これに限らず、商品画像を表示デバイス１０６に表示することで、オペレータへの確認を求める形態としてもよい。また、本実施形態では、商品候補提示部１６１４は、商品画像を表示デバイス１０６に表示する形態とするが、他の商品情報を表示してもよく、例えば商品名や商品価格等の文字情報のみを表示させてもよく、また、文字情報と商品画像とをあわせて表示させてもよい。
【００４２】
コードシンボル検出部１６１５は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ｇに印刷あるいは貼着された一次元バーコードあるいは二次元バーコード（例えば、ＱＲコード;登録商標）等のコードシンボルを、パターンマッチング技術等を用いて検出し、デコードしてコードシンボルに対応する情報を出力する。
【００４３】
登録商品通知部１６１６は、商品候補提示部１６１４が指示した登録商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知する。なお、商品ＩＤの通知は、登録商品通知部１６１６がＰＬＵファイルＦ１から読み出した商品ＩＤデータＤ１１を直接通知する形態としてもよいし、商品ＩＤを特定することが可能な商品画像のファイル名や商品名に対応する商品名データＤ１３を通知する形態としてもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知する形態としてもよい。
【００４４】
一方、ＣＰＵ６１は、売上登録部として機能し、登録商品通知部１６１６より通知された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、ＣＰＵ６１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
【００４５】
次に、チェックアウトシステム１の動作について詳細に説明する。
図５は、第１実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【００４６】
先ず、商品読取装置１０１側の動作について説明する。
図５に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、ＣＰＵ１６１は、画像取込部１６１１として機能し、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する。そしてＣＰＵ１６１は、商品候補提示部１６１４として機能し、表示デバイス１０６の表示画面に初期画面を表示する（ステップＳ１１）。
【００４７】
図６は、初期画面の一例の説明図である。
表示画面２００に表示された初期画面は、撮像部１６４による撮像画像や、オブジェクト認識処理の終了後に認識結果に相当する商品イラスト画像、商品数量の入力画面等を表示する画像表示領域２０１と、オブジェクト認識処理結果あるいはコードシンボル認識結果としての商品名を表示する商品名表示領域２０２と、オブジェクト認識処理結果あるいはコードシンボル認識処理結果に基づいて抽出した商品価格を表示する価格表示領域２０３と、オブジェクト認識処理時に商品候補の商品名のリストを表示する商品候補リスト表示領域２０４と、を備えている。初期状態において、商品名表示領域２０２、価格表示領域２０３及び商品候補リスト表示領域２０４は、表示すべき情報がないため、グレイアウト状態（情報非表示状態）となっている。ここでの、グレイアウト状態とは、情報を表示しない状態であって、商品名表示領域２０２や価格表示領域２０３の明度に比べて、商品候補リスト表示領域２０４の明度を暗くした状態である。
続いてＣＰＵ１６１は、商品検出部１６１２として機能し、撮像部１６４による撮像画像中に所定の輝度値よりも高い商品画像領域が存在するか否か、すなわち、商品が検出されたか否かを判別する（ステップＳ１２）。
【００４８】
ステップＳ１２の判別において、未だ商品が検出されていない場合には（ステップＳ１２；Ｎｏ）、ＣＰＵ１６１は、待機状態となる。
ステップＳ１２の判別において、商品が検出された場合には（ステップＳ１２；Ｙｅｓ）、ＣＰＵ１６１は、商品検出部１６１２及びコードシンボル検出部１６１５として機能し、撮像画像に対するオブジェクト認識処理及び一次元バーコードあるいは二次元バーコードなどのコードシンボルを検出するコードシンボル検出処理を行う（ステップＳ１３）。
【００４９】
オブジェクト認識処理は、以下の手順で行う。
まずＣＰＵ１６１は、画像取込部１６１１として機能し、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む。次いで、ＣＰＵ１６１は、商品検出部１６１２として機能し、画像取込部１６１１が取り込んだフレーム画像に含まれる商品Ｇの画像（全部または一部の画像）の検出を行う。続いて、ＣＰＵ１６１は、類似度算出部１６１３として機能し、商品Ｇの画像から商品Ｇの特徴量を読み取り、ＰＬＵファイルＦ１に登録された各商品画像の特徴量と比較することで類似度を算出する。
【００５０】
次いで、類似度算出部１６１３として機能するＣＰＵ１６１は、登録商品の各々について算出した類似度が、類似度データＤ１６に基づいて、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの商品候補として抽出する。
【００５１】
図７は、オブジェクト認識処理中の表示画面の一例の説明図である。
表示画面２００の画像表示領域２０１には、撮像部１６４による撮像画像として商品Ｇの撮像画像が表示されている。
【００５２】
そして、商品候補リスト表示領域２０４には、オブジェクト認識処理時に商品候補の商品名のリストが表示されている。上述したように、商品候補リスト表示領域２０４に表示される商品名は、類似度データＤ１６に基づいて、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品の商品名である。ここで、商品候補リスト表示領域２０４には、類似度の値が大きい登録商品ほど上部に表示されるようにされている。すなわち、図７の例の場合には、商品名「○○ラーメン（△△食品）」が最も類似度が高いものとして表示されている。なお、類似度が類似度データＤ１６に対応する閾値を超えるものがない場合には、商品候補リスト表示領域２０４中の「リストから選択」と表示されている領域を選択することにより、撮像部１６４による撮像画像として商品Ｇの撮像画像に重畳して、商品候補一覧が表示されるので、オペレータは、当該商品候補一覧から所望の商品を選択することとなる。
このオブジェクト認識処理と並行して、ＣＰＵ１６１は、コードシンボル検出部１６１５として機能し、常時コードシンボルが検出されたか否かを検出している（ステップＳ１４）。
【００５３】
そして、ステップＳ１４の判別において、コードシンボルが検出されなかった場合には（ステップＳ１４；Ｎｏ）、ＣＰＵ１６１は、商品候補提示部１６１４として機能し、認識された商品候補（登録商品）の個数が複数か否かを判定する。ここで、商品候補提示部１６１４として機能するＣＰＵ１６１は、商品候補とされた登録商品の個数が一つと判定した場合、商品Ｇがこの登録商品に対応すると判別してオブジェクト認識処理を自動的に終了し（ステップＳ１５；Ｙｅｓ）、オブジェクト認識結果の表示処理に移行する（ステップＳ１６）。
【００５４】
また、商品候補（登録商品）の個数が複数と判定した場合、商品候補提示部１６１４として機能するＣＰＵ１６１は、商品候補提示処理に移行し、図７の例のように複数の商品候補を表示する。
【００５５】
すなわち、ＣＰＵ１６１は商品候補提示部１６１４として機能し、商品候補となった各登録商品の商品名データＤ１３をＰＬＵファイルＦ１から読み出す。次いで、商品候補提示部１６１４として機能するＣＰＵ１６１は、読み出した複数の商品名データＤ１３を、算出された類似度の高い順にソートして、商品候補リスト表示領域２０４に表示する。
【００５６】
したがって、オペレータは、商品候補リスト表示領域２０４に表示されたいずれかの商品名を選択する。なお、商品候補リスト表示領域２０４に所望の商品名が見あたらない場合には、商品候補リスト表示領域２０４中の「リストから選択」と表示されている領域を選択することにより、撮像部１６４による撮像画像として商品Ｇの撮像画像に重畳して、商品候補一覧が表示されるので、オペレータは、当該商品候補一覧から所望の商品を選択することとなる。
このように、オペレータにより、商品候補リスト表示領域２０４に表示された商品名あるいは撮像部１６４による撮像画像として商品Ｇの撮像画像に重畳して表示された商品候補一覧から商品名が選択された場合には、オブジェクト認識処理が完了したとして（ステップＳ１５；Ｙｅｓ）、オブジェクト認識結果を表示する（ステップＳ１６）。
【００５７】
図８は、オブジェクト認識結果処理の表示例の説明図である。
図８に示すように、オブジェクト認識が完了し、オブジェクト認識結果が表示される状態では、表示画面２００の画像表示領域２０１には、撮像部１６４による撮像画像として商品Ｇの撮像画像に代えて、商品Ｇに対応するイラスト画像ＩＬが表示されている。
【００５８】
このように、商品Ｇの撮像画像に代えて、商品Ｇに対応するイラスト画像ＩＬを表示するのは、オブジェクト認識が完了したことを視覚的にも容易にオペレータに把握させるためである。
そして、商品候補リスト表示領域２０４は、同様にオブジェクト認識処理が完了したことをオペレータが容易に把握できるように、グレイアウト表示とされている。
また、ステップＳ１４の判別において、コードシンボルが検出された場合には（ステップＳ１４；Ｙｅｓ）、コードシンボルの検出結果を表示する優先度は、オブジェクト認識処理の認識結果を表示する優先度よりも高いものと予め設定しているので、コードシンボル検出結果を表示することとなる（ステップＳ１７）。
【００５９】
図９は、コードシンボル検出時の表示画面の一例の説明図である。
バーコードＣＳなどのコードシンボルが検出された場合には、図９に示すように、商品名表示領域２０２には、検出したコードシンボルに対応する商品の商品名が（図９では、「○○ラーメン △△食品」）が表示され、価格表示領域２０３には、検出したコードシンボルに対応する商品の価格（図９では、「１４０円」）が表示される。また、画像表示領域２０１には、撮像部１６４が撮像した商品Ｇの撮像画像が表示される。
【００６０】
そして、ＣＰＵ１６１は、オブジェクト認識処理が行われていないことを明確にオペレータに通知するために、商品候補リスト表示領域２０４の表示をグレイアウト表示とする。この結果、オペレータは直ちに商品を撮像するために商品を撮像部１６４の前にかざす動作を完了することができる。
【００６１】
これらの結果、商品候補提示部１６１４あるいはコードシンボル検出部１６１５として機能するＣＰＵ１６１は、選択された商品画像に対応する登録商品が、商品Ｇに対応するものとして、この登録商品を指示する情報を登録商品通知部１６１６に出力する。
【００６２】
これにより、登録商品通知部１６１６は、商品候補提示部１６１４から指示された登録商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知し、ＰＯＳ端末１１のＣＰＵ６１は、商品読取装置１０１から通知された商品Ｇの商品ＩＤとその販売個数とを受信し、売上登録部として機能して、受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を登録する商品登録処理を行う（ステップＳ１８）。
一方、商品読取装置１０１のＣＰＵ１６１は、上述したコードシンボル検出結果及びオブジェクト認識結果を初期化する（ステップＳ１９）。
【００６３】
また、ＰＯＳ端末１１のＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等によって商品登録処理が完了しか否かを判別する（ステップＳ２０）。
ステップＳ２０の判別において、商品登録処理を継続する場合（ステップＳ２０；Ｎｏ）、商品読取装置１０１のＣＰＵ１６１は、処理を再びステップＳ１１に移行して、以下、同様の処理を行う。
また、ステップＳ２０の判別において、商品登録処理が完了した場合には、ＣＰＵ１６１及びＣＰＵ６１は、処理を終了する。
【００６４】
以上のように、本第１実施形態のチェックアウトシステム１によれば、商品Ｇの商品登録を行うに際して、オブジェクト認識処理と、コードシンボル検出処理と、を並行して行い、コードシンボルが検出された場合には、より信頼性の高い商品情報が得られたとして、オブジェクト認識の画面をグレイアウト表示する等によって、オブジェクト認識処理が完了したことを迅速且つ容易にオペレータに通知することができ、商品Ｇに対応する登録商品の選定を効率的に行うことができ、商品登録処理の業務効率を向上させることができる。
【００６５】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６６】
例えば、上記実施形態では、商品読取装置１０１において、商品Ｇを一つずつ撮像する形態について説明したが、一度に撮像する商品Ｇの個数は特に限らず、複数であってもよい。一度に複数の商品Ｇを撮像するような場合には、撮像部１６４の撮影画像を表示デバイス１０６に表示することで、複数の商品Ｇから登録の対象とする一の商品Ｇを選択可能な構成とし、タッチパネル１０５を介して選択された一の商品Ｇの認識及び商品画像の表示を行う形態としてもよい。また、複数の商品Ｇの認識を一度に行い、この認識結果に基づいて類似度の高い商品名を商品候補リスト表示領域２０４に表示する形態としてもよい。なお、この形態の場合には、撮像された画像に含まれる一の商品Ｇを選択した後に商品名を選択する等の操作を行うことで、撮像された画像に含まれる商品Ｇと、選択した商品名とを対応付けるための構成が具備されているものとする。
【００６７】
［２］第２実施形態
上記第１実施形態においては、オブジェクト認識処理と、コードシンボル検出処理と、を併用する場合の実施形態であったが、本第２実施形態は、オブジェクト認識処理において、商品オブジェクト認識処理と、値引きシール、割引シール等の商品に付加されるフラグシールを商品付加オブジェクトの認識を行う商品付加オブジェクト認識処理をおこなって値引きや割引などの処理を行う場合の実施形態である。
図１０は、第２実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【００６８】
先ず、商品読取装置１０１側の動作について説明する。
図１０は、第２実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
図１０に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、ＣＰＵ１６１は、画像取込部１６１１として機能し、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する。そしてＣＰＵ１６１は、商品候補提示部１６１４として機能し、表示デバイス１０６の表示画面に図６に示したような初期画面を表示する（ステップＳ３１）。
【００６９】
続いてＣＰＵ１６１は、商品検出部１６１２として機能し、撮像部１６４による撮像画像中に所定の輝度値よりも高い商品画像領域が存在するか否か、すなわち、商品が検出されたか否かを判別する（ステップＳ３２）。
ステップＳ３２の判別において、未だ商品が検出されていない場合には（ステップＳ３２；Ｎｏ）、ＣＰＵ１６１は、待機状態となる。
ステップＳ３２の判別において、商品が検出された場合には（ステップＳ３２；Ｙｅｓ）、ＣＰＵ１６１は、商品検出部１６１２及びコードシンボル検出部１６１５として機能し、上述した場合と同様に、撮像画像に対するオブジェクト認識処理を行う（ステップＳ３３）。
【００７０】
オブジェクト認識処理は、以下の手順で行う。
まずＣＰＵ１６１は、画像取込部１６１１として機能し、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む。次いで、ＣＰＵ１６１は、商品検出部１６１２として機能し、画像取込部１６１１が取り込んだフレーム画像に含まれる商品Ｇの画像（全部または一部の画像）の検出を行う。続いて、ＣＰＵ１６１は、類似度算出部１６１３として機能し、商品Ｇの画像から商品Ｇの特徴量を読み取り、ＰＬＵファイルＦ１に登録された各商品画像の特徴量と比較することで類似度を算出する。
【００７１】
次いで、類似度算出部１６１３として機能するＣＰＵ１６１は、登録商品の各々について算出した類似度が、類似度データＤ１６に基づいて、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの商品候補として抽出する。
【００７２】
図１１は、オブジェクト認識処理中の表示画面の一例の説明図である。
表示画面２００の画像表示領域２０１には、撮像部１６４による撮像画像として商品Ｇの撮像画像及び値引きシールとして商品に付加されたフラグシールＴＧが表示されている。
そして、商品候補リスト表示領域２０４には、オブジェクト認識処理時に商品候補の商品名のリストが表示されている。なお、類似度が類似度データＤ１６に対応する閾値を超えるものがない場合には、商品候補リスト表示領域２０４中の「リストから選択」と表示されている領域を選択することにより、撮像部１６４による撮像画像として商品Ｇの撮像画像に重畳して、商品候補一覧が表示されるので、オペレータは、当該商品候補一覧から所望の商品を選択することとなる。
【００７３】
またステップＳ３３のオブジェクト認識処理と並行して、ＣＰＵ１６１は、当該オブジェクト認識処理で商品そのものに相当するオブジェクトである商品オブジェクト が認識されたか否かを判別する（ステップＳ３４）。
ステップＳ３４の判別において、商品オブジェクトが認識されなかった場合には（ステップＳ３４；Ｎｏ）、処理をステップＳ３５に移行する。
ステップＳ３４の判別において、商品オブジェクトが認識された場合には（ステップＳ３４；Ｙｅｓ）、ＣＰＵ１６１は、オブジェクト認識結果を表示する（ステップＳ３７）。
【００７４】
続いて、ＣＰＵ１６１は、当該オブジェクト認識処理で商品に付加される物品（例えば、値引きラベル等）に相当するオブジェクトである商品付加オブジェクト が認識されたか否かを判別する（ステップＳ３５）。
ステップＳ３５の判別において、商品付加オブジェクトが認識されなかった場合には（ステップＳ３５；Ｎｏ）、ＣＰＵ１６１は、処理を再びステップＳ３３に移行して、オブジェクト認識処理を継続することとなる。
ステップＳ３５の判別において商品付加オブジェクトが認識された場合には（ステップＳ３５；Ｙｅｓ）、当該商品付加オブジェクトに対応する商品付加情報を記憶する（ステップＳ３６）。具体的には、図１１の場合には、商品付加情報として２０円引き（価格から２０円を減算する旨）を記憶する。
【００７５】
図１２は、商品オブジェクト及び商品付加オブジェクトが検出された場合の表示画面の一例の説明図である。
例えば、「２０円引き」の商品付加オブジェクトが検出された場合には、図１２に示すように、商品名表示領域２０２には、検出したコードシンボルに対応する商品の商品名が（図９では、「○○ラーメン △△食品」）が表示され、価格表示領域２０３には、検出したコードシンボルに対応する商品の価格から商品付加オブジェクトにより示される処理がなされた後の価格（図９では、商品価格が２０円引きされ、「１２０円（２０円値引き後）」）が表示される。
【００７６】
その後、図８に示したように、ＣＰＵ１６１は、オブジェクト認識が完了し、オブジェクト認識結果が表示される状態では、表示画面２００の画像表示領域２０１には、撮像部１６４による撮像画像として商品Ｇの撮像画像に代えて、商品Ｇに対応するイラスト画像ＩＬ等が表示され、オブジェクト認識が完了したことを視覚的にも容易にオペレータに把握させることができる。そして、商品候補リスト表示領域２０４は、同様にオブジェクト認識処理が完了したことをオペレータが容易に把握できるように、グレイアウト表示とされる。この結果、オペレータは直ちに商品を撮像するために商品を撮像部１６４の前にかざす動作を完了することができる。
【００７７】
さらに、商品候補提示部１６１４あるいはコードシンボル検出部１６１５として機能するＣＰＵ１６１は、選択された商品画像に対応する登録商品が、商品Ｇに対応するものとして、この登録商品を指示する情報を登録商品通知部１６１６に出力する。
【００７８】
これにより、登録商品通知部１６１６は、商品候補提示部１６１４から指示された登録商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知し、ＰＯＳ端末１１のＣＰＵ６１は、商品読取装置１０１から通知された商品Ｇの商品ＩＤとその販売個数とを受信し、売上登録部として機能して、受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を登録する商品登録処理を行う（ステップＳ３８）。
一方、商品読取装置１０１のＣＰＵ１６１は、上述したオブジェクト認識結果を初期化する（ステップＳ３９）。
【００７９】
また、ＰＯＳ端末１１のＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等によって商品登録処理が完了しか否かを判別する（ステップＳ４０）。
ステップＳ２０の判別において、商品登録処理を継続する場合（ステップＳ４０；Ｎｏ）、商品読取装置１０１のＣＰＵ１６１は、処理を再びステップＳ１１に移行して、以下、同様の処理を行う。
また、ステップＳ４０の判別において、商品登録処理が完了した場合には、ＣＰＵ１６１及びＣＰＵ６１は、処理を終了する。
【００８０】
以上のように、本第２実施形態のチェックアウトシステム１によれば、商品Ｇの商品登録を行うに際して、オブジェクト認識処理において、商品オブジェクトの認識処理と、商品付加情報オブジェクトの認識処理と、を並行して行い、商品付加情報オブジェクトの認識がなされた場合には、当該商品付加情報オブジェクトに対応する処理（値引き、割引など）を確実に行うことができる。
【００８１】
したがって、商品登録処理の業務効率を向上させることができる。
以上の第２実施形態の説明では、コードシンボルの検出処理については述べなかったが、コードシンボル検出処理機能も備えている場合には、コードシンボル近傍に当該コードシンボルの機能を無効にするオブジェクト（無効化シール）などを設け、確実に商品付加情報オブジェクトに対応する処理を行うようにするのが好ましい。
【００８２】
［３］実施形態の変形例
また、上記各実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。
【００８３】
また、上記各実施形態では、ＰＯＳ端末１１と商品読取装置１０１との２台構成としたが、これに限らず、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としてもよい。
【００８４】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００８５】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【００８６】
１ チェックアウトシステム
１１ ＰＯＳ端末
２３ 表示デバイス
６０ マイクロコンピュータ
６１ ＣＰＵ
１０１ 商品読取装置
１０２ ハウジング
１０３ 読取窓
１０４ 表示・操作部
１０５ タッチパネル
１０６ 表示デバイス
１０７ キーボード
１０８ カード読取溝
１０９ 顧客用表示デバイス
１１０ 商品読取部
１６０ マイクロコンピュータ
１６１ ＣＰＵ
２００ 表示画面
２０１ 画像表示領域
２０２ 商品名表示領域
２０３ 価格表示領域
２０４ 商品候補リスト表示領域
１６１１ 画像取込部
１６１２ 商品検出部
１６１３ 類似度算出部
１６１４ 商品候補提示部
１６１５ コードシンボル検出部
１６１６ 登録商品通知部
Ｆ１ ＰＬＵファイル
ＩＬ イラスト画像
ＴＧ フラグシール
Ｄ１１ 商品ＩＤデータ
Ｄ１２ 商品分類データ
Ｄ１３ 商品名データ
Ｄ１４ 価格データ
Ｄ１５ 商品識別データ
Ｄ１６ 類似度データ
【先行技術文献】
【特許文献】
【００８７】
【特許文献１】特開２００３−１７３３６９号公報
【特許請求の範囲】
【請求項１】
撮像部により撮像された画像の画像データから前記画像に含まれる商品を特定するための一般物体認識としてのオブジェクト認識に用いる商品特定情報あるいはコードシンボルとして構成された商品特定情報を抽出する情報抽出手段と、
前記商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されており、抽出した前記商品特定情報により商品が特定された場合に、より前記優先度の高い商品特定情報に対応する商品情報を提示 する情報提示手段と、
を備えた商品データ処理装置。
【請求項２】
前記情報抽出手段は、前記オブジェクト認識の処理に用いる前記商品特定情報を、 前記画像から抽出する第１情報抽出手段と、
前記画像に含まれる前記コードシンボルを前記商品特定情報として抽出する第２情報抽出手段と、を備え、
前記コードシンボルの優先度は、前記第１情報抽出手段により抽出された商品特定情報の優先度より高く設定されている、
請求項１記載の商品データ処理装置。
【請求項３】
前記情報提示手段は、前記第１情報抽出手段により抽出された商品特定情報に対応する商品情報の提示中に前記コードシンボルが抽出された場合には、前記第１情報抽出手段により抽出された商品特定情報に対応する商品情報の提示を中断し、前記コードシンボルに対応する商品情報を提示する、
請求項２記載の商品データ処理装置。
【請求項４】
前記情報提示手段は、前記商品情報の提示として、前記商品情報を表示する表示手段を備え、
前記第１情報抽出手段により抽出された商品特定情報に対応する商品情報の提示を中断するに際し、前記表示手段における前記商品情報の表示をグレイアウト表示 とする、
請求項３記載の商品データ処理装置。
【請求項５】
商品を特定するための商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されており、前記優先度を記憶する記憶手段を備えた商品データ処理装置において実行される商品データ処理方法であって、
撮像部により撮像された画像の画像データから前記画像に含まれる商品を特定するための一般物体認識としてのオブジェクト認識に用いる商品特定情報あるいはコードシンボルとして構成された商品特定情報を抽出する情報抽出過程と、
前記商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されており、抽出した前記商品特定情報により商品が特定された場合に、より前記優先度の高い商品特定情報に対応する商品情報を提示 する情報提示過程と、
を備えた商品データ処理方法。
【請求項６】
商品を特定するための商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されており、前記優先度を記憶する記憶手段を備えた商品データ処理装置をコンピュータにより制御するための制御プログラムであって、
前記コンピュータを、
撮像部により撮像された画像の画像データから前記画像に含まれる商品を特定するための一般物体認識としてのオブジェクト認識に用いる商品特定情報あるいはコードシンボルとして構成された商品特定情報を抽出する情報抽出手段と、
前記商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されており、抽出した前記商品特定情報により商品が特定された場合に、より前記優先度の高い商品特定情報に対応する商品情報を提示 する情報提示手段と、
して機能させる制御プログラム。
【請求項１】
撮像部により撮像された画像の画像データから前記画像に含まれる商品を特定するための一般物体認識としてのオブジェクト認識に用いる商品特定情報あるいはコードシンボルとして構成された商品特定情報を抽出する情報抽出手段と、
前記商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されており、抽出した前記商品特定情報により商品が特定された場合に、より前記優先度の高い商品特定情報に対応する商品情報を提示 する情報提示手段と、
を備えた商品データ処理装置。
【請求項２】
前記情報抽出手段は、前記オブジェクト認識の処理に用いる前記商品特定情報を、 前記画像から抽出する第１情報抽出手段と、
前記画像に含まれる前記コードシンボルを前記商品特定情報として抽出する第２情報抽出手段と、を備え、
前記コードシンボルの優先度は、前記第１情報抽出手段により抽出された商品特定情報の優先度より高く設定されている、
請求項１記載の商品データ処理装置。
【請求項３】
前記情報提示手段は、前記第１情報抽出手段により抽出された商品特定情報に対応する商品情報の提示中に前記コードシンボルが抽出された場合には、前記第１情報抽出手段により抽出された商品特定情報に対応する商品情報の提示を中断し、前記コードシンボルに対応する商品情報を提示する、
請求項２記載の商品データ処理装置。
【請求項４】
前記情報提示手段は、前記商品情報の提示として、前記商品情報を表示する表示手段を備え、
前記第１情報抽出手段により抽出された商品特定情報に対応する商品情報の提示を中断するに際し、前記表示手段における前記商品情報の表示をグレイアウト表示 とする、
請求項３記載の商品データ処理装置。
【請求項５】
商品を特定するための商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されており、前記優先度を記憶する記憶手段を備えた商品データ処理装置において実行される商品データ処理方法であって、
撮像部により撮像された画像の画像データから前記画像に含まれる商品を特定するための一般物体認識としてのオブジェクト認識に用いる商品特定情報あるいはコードシンボルとして構成された商品特定情報を抽出する情報抽出過程と、
前記商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されており、抽出した前記商品特定情報により商品が特定された場合に、より前記優先度の高い商品特定情報に対応する商品情報を提示 する情報提示過程と、
を備えた商品データ処理方法。
【請求項６】
商品を特定するための商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されており、前記優先度を記憶する記憶手段を備えた商品データ処理装置をコンピュータにより制御するための制御プログラムであって、
前記コンピュータを、
撮像部により撮像された画像の画像データから前記画像に含まれる商品を特定するための一般物体認識としてのオブジェクト認識に用いる商品特定情報あるいはコードシンボルとして構成された商品特定情報を抽出する情報抽出手段と、
前記商品特定情報は、オブジェクト認識に用いる商品特定情報あるいはコードシンボルのいずれであるかにより予め優先度が設定されており、抽出した前記商品特定情報により商品が特定された場合に、より前記優先度の高い商品特定情報に対応する商品情報を提示 する情報提示手段と、
して機能させる制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−８９０８４（Ｐ２０１３−８９０８４Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２９９５０（Ｐ２０１１−２２９９５０）
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]