商品データ処理装置、商品データ処理方法及び制御プログラム
【課題】商品の選定をより効率的に行う。
【解決手段】実施の形態の商品データ処理装置の表示手段は、入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を表示する。操作手段は、前記表示手段における前記商品の画像の表示エリアに対応づけて、当該商品の選択を確定するための操作領域を動的に配置可能となっている。
【解決手段】実施の形態の商品データ処理装置の表示手段は、入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を表示する。操作手段は、前記表示手段における前記商品の画像の表示エリアに対応づけて、当該商品の選択を確定するための操作領域を動的に配置可能となっている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、商品データ処理装置、商品データ処理方法及び制御プログラムに関する。
【背景技術】
【０００２】
従来、物品を撮像した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識（検出）する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、商品、飲食物等の種別判別に用いたシステムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来の一般物体認識に係る技術では、対象物の候補となる商品が複数個認識される場合がある。このような場合、候補となった商品を操作者に選択させることとなるが、オブジェクト認識のための画像表示領域と、一覧から商品を選択させるための選択商品の表示領域と、が離れて配置されているような場合には、使い勝手が悪くなる。
【課題を解決するための手段】
【０００４】
実施の形態の商品データ処理装置の表示手段は、入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を表示する。
操作手段は、前記表示手段における前記商品の画像の表示エリアに対応づけて、当該商品の選択を確定するための操作領域を動的に配置可能となっている。
【図面の簡単な説明】
【０００５】
【図１】図１は、チェックアウトシステムの一例を示す斜視図である。
【図２】図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータフォーマットの一例を示す図である。
【図４】図４は、商品読取装置のＣＰＵの機能構成を示すブロック図である。
【図５】図５は、画面表示例の説明図である。
【図６】図６は、実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【図７】図７は、商品登録処理の処理フローチャートである。
【図８】図８は、未登録商品の数量入力画面の一例の説明図である。
【図９】図９は、他の画面表示例の説明図である。
【発明を実施するための形態】
【０００６】
以下では、チェックアウトシステムを例に本実施形態に係る、商品データ処理装置、商品データ処理方法及び制御プログラムについて、図面を参照して説明する。
商品データ処理装置は、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等に適用可能である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００７】
図１は、チェックアウトシステムの一例を示す斜視図である。
チェックアウトシステム１は、図１に示すように、一取引に係る商品の登録、精算を行うＰＯＳ端末１１を備える。
【０００８】
ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００９】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
【００１０】
カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１１】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１２】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。
【００１３】
商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。
【００１４】
図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
ＰＯＳ端末１１は、図２に示すように、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。
【００１５】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子等が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１７】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００１８】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録にかかる情報と、その商品Ｇの撮像画像との関連付けが設定された商品ファイルである。
【００１９】
図３は、ＰＬＵファイルのデータフォーマットの一例を示す図である。
ＰＬＵファイルＦ１は、図３に示すように、商品Ｇ毎に、商品Ｇを特定するためにユニークに割り当てられた商品ＩＤを格納した商品ＩＤデータＤ１１、商品Ｇが属する商品分類を特定するための商品分類データＤ１２、商品名を特定するための商品名データＤ１３、単価等の商品に関する価格データＤ１４と、商品Ｇを撮像画像から特定するためのオブジェクト認識用の特徴量データ（色合い、外形形状、表面の凹凸形状等に関するデータ）や商品Ｇに割り当てられたバーコード等のコードシンボルを特定するためのデータ等の商品識別データＤ１５と、オブジェクト認識において、当該商品Ｇであると特定する場合の閾値の下限値を格納した類似度データＤ１６と、を格納している。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し（参照）可能に構成されている。
【００２０】
なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、商品識別データとして、典型的な商品画像を格納する形態としてもよい。
【００２１】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２２】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００２３】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２４】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。
【００２５】
音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。
【００２６】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。
【００２７】
次に、ＣＰＵ１６１の機能構成について、図４を参照して説明する。
【００２８】
図４は、商品読取装置のＣＰＵの機能構成を示すブロック図である。
図４に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、類似度算出部１６１３、商品候補提示部１６１４、コードシンボル検出部１６１５及び登録商品通知部１６１６としての機能を備える。
【００２９】
画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００３０】
商品検出部１６１２は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。
【００３１】
なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００３２】
類似度算出部１６１３は、商品読取装置１０１の撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部１６１３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。
【００３３】
また、類似度算出部１６１３は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしてもよい。
【００３４】
また、類似度算出部１６１３は、登録商品の各々について算出した類似度が、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの候補（以下、商品候補という）として認識（判定）する。なお、ＰＬＵファイルＦ１に各商品画像の特徴量が対応付けて格納されている場合には、ＰＬＵファイルＦ１に格納された特徴量を用いて比較する形態としてもよい。
【００３５】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３６】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３７】
なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００３８】
前者の算出方法を用いる場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、後者の算出方法を用いる場合、えば、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出する。
【００３９】
ところで、類似度算出部１６１３での認識の結果、商品候補が複数個認識される場合がある。そこで、商品候補提示部１６１４は、類似度算出部１６１３の認識の結果に基づき、商品候補となる登録商品が複数存在する場合に、これら登録商品の商品画像をＰＬＵファイルＦ１から読み出し、類似度算出部１６１３が算出した類似度の高いものから、所定の個数ずつ表示デバイス１０６に順次表示させる。なお、商品画像の表示に係る処理について後述する。
【００４０】
また、商品候補提示部１６１４は、表示デバイス１０６に表示された商品画像の中から一の商品画像の選択を、タッチパネル１０５を介して受け付けると、この選択された商品画像の登録商品が、商品Ｇに対応すると判断する。そして、商品候補提示部１６１４は、この登録商品を指示する情報（例えば、商品ＩＤや商品名、選択された商品画像の画像ファイル名等）を登録商品通知部１６１６に出力する。
【００４１】
なお、本実施形態では商品候補が単一の登録商品である場合に、その登録商品が商品Ｇであるとして、当該登録商品の商品画像の表示を省略する形態とするが、これに限らず、商品画像を表示デバイス１０６に表示することで、オペレータへの確認を求める形態としてもよい。また、本実施形態では、商品候補提示部１６１４は、商品画像を表示デバイス１０６に表示する形態とするが、他の商品情報を表示してもよく、例えば商品名や商品価格等の文字情報のみを表示させてもよく、また、文字情報と商品画像とをあわせて表示させてもよい。
【００４２】
コードシンボル検出部１６１５は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ｇに印刷あるいは貼着された一次元バーコードあるいは二次元バーコード（例えば、ＱＲコード;登録商標）等のコードシンボルを、パターンマッチング技術等を用いて検出し、デコードしてコードシンボルに対応する情報を出力する。
【００４３】
登録商品通知部１６１６は、商品候補提示部１６１４が指示した登録商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知する。なお、商品ＩＤの通知は、登録商品通知部１６１６がＰＬＵファイルＦ１から読み出した商品ＩＤデータＤ１１を直接通知する形態としてもよいし、商品ＩＤを特定することが可能な商品画像のファイル名や商品名に対応する商品名データＤ１３を通知する形態としてもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知する形態としてもよい。
【００４４】
一方、ＣＰＵ６１は、売上登録部として機能し、登録商品通知部１６１６より通知された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、ＣＰＵ６１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
【００４５】
図５は、画面表示例の説明図である。
表示画面２００は、撮像部１６４による撮像画像（図５では、パプリカの画像）、オブジェクト認識処理におけるオブジェクト検出窓（図５では、オブジェクト検出窓Ｗ０）、商品名等の商品情報（図５では、商品名表示領域ＮＰ０に表示された商品情報としての商品名「パプリカ（黄）」）、オブジェクト認識処理終了後に認識結果に相当する商品イラスト画像、商品数量の入力画面等を表示する画像表示領域２０１と、オブジェクト認識処理結果あるいはコードシンボル認識結果処理結果としての商品名を表示する商品名表示領域２０２と、を備えている。
【００４６】
さらに表示画面２００は、オブジェクト認識処理結果あるいはコードシンボル認識結果処理結果に基づいて抽出した商品価格を表示する価格表示領域２０３と、オブジェクト認識処理時に商品候補の商品名のリスト（図５では、「パプリカ（黄）」、「レモン」、「スターフルーツ」）を表示する商品候補リスト表示領域２０４と、を備えている。初期状態において、商品名表示領域２０２、価格表示領域２０３及び商品候補リスト表示領域２０４は、表示すべき情報がないため、グレイアウト状態（情報非表示状態）となっている。ここでの、グレイアウト状態とは、情報を表示しない状態であって、商品名表示領域２０２や価格表示領域２０３の明度に比べて、商品候補リスト表示領域２０４の明度を暗くした状態である。
【００４７】
上記構成において、長方形状を有するオブジェクト検出窓Ｗ０の大きさは可変となっている。実際に設定する場合には、例えば、直交する二辺の長さは独立して変更可能な長方形状のオブジェクト検出窓Ｗ０を設定する場合、例えば、その大きさは、商品を撮像していないときの撮像画像（いわゆる背景画像）と、商品を撮像したときの撮像画像と、の差画像において、所定の輝度を有する領域に接する長方形状となるようにすればよい。この結果、簡易な演算で、オブジェクト検出窓Ｗ０を設定することができる。
【００４８】
次に、チェックアウトシステム１の動作について詳細に説明する。
図６は、実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【００４９】
先ず、商品読取装置１０１側の動作について説明する。
図６に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、ＣＰＵ１６１は、画像取込部１６１１として機能し、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する。そしてＣＰＵ１６１は、商品候補提示部１６１４として機能し、表示デバイス１０６の表示画面に初期画面を表示する（ステップＳ１１）。
続いてＣＰＵ１６１は、商品検出部１６１２として機能し、撮像部１６４による撮像画像中に所定の輝度値よりも高い商品画像領域が存在するか否か、すなわち、商品が検出されたか否かを判別する（ステップＳ１２）。
【００５０】
ステップＳ１２の判別において、未だ商品が検出されていない場合には（ステップＳ１２；Ｎｏ）、ＣＰＵ１６１は、待機状態となる。
ステップＳ１２の判別において、商品が検出された場合には（ステップＳ１２；Ｙｅｓ）、ＣＰＵ１６１は、商品検出部１６１２として機能し、撮像画像に対するオブジェクト認識処理を行う（ステップＳ１３）。
【００５１】
オブジェクト認識処理は、以下の手順で行う。
まずＣＰＵ１６１は、画像取込部１６１１として機能し、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む。次いで、ＣＰＵ１６１は、商品検出部１６１２として機能し、画像取込部１６１１が取り込んだフレーム画像に含まれる商品Ｇの画像（全部または一部の画像）の検出を行う。続いて、ＣＰＵ１６１は、類似度算出部１６１３として機能し、商品Ｇの画像から商品Ｇの特徴量を読み取り、ＰＬＵファイルＦ１に登録された各商品画像の特徴量と比較することで類似度を算出する。
【００５２】
次いで、類似度算出部１６１３として機能するＣＰＵ１６１は、登録商品の各々について算出した類似度が、類似度データＤ１６に基づいて、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの商品候補として抽出する。
【００５３】
オブジェクト認識処理中においては、図５に示したように、表示画面２００の画像表示領域２０１には、撮像部１６４による撮像画像として商品Ｇとしての「パプリカ（黄）」の撮像画像が表示されている。
【００５４】
そして、商品候補リスト表示領域２０４には、オブジェクト認識処理時に商品候補の商品名のリストが表示されている。
具体的には、実際の商品Ｇが「パプリカ（黄）」である場合には、商品候補リスト表示領域２０４には、類似度の値が大きい順に、「パプリカ（黄）」、「レモン」「スターフルーツ」が表示されている。
【００５５】
上述したように、商品候補リスト表示領域２０４に表示される商品名は、類似度データＤ１６に基づいて、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品の商品名である。ここで、商品候補リスト表示領域２０４には、類似度の値が大きい登録商品ほど上部に表示されるようにされている。なお、類似度が類似度データＤ１６に対応する閾値を超えるものがない場合には、商品候補リスト表示領域２０４中の「リストから選択」と表示されている領域を選択することにより、撮像部１６４による撮像画像として商品Ｇの撮像画像に重畳して、商品候補一覧が表示されるので、オペレータは、当該商品候補一覧から所望の商品を選択することとなる。
【００５６】
このオブジェクト認識処理と並行して、ＣＰＵ１６１は、オブジェクト認識対象の商品の類似度がオブジェクト、すなわち、商品を一意に確定可能なレベルとなっているか否かを判別する（ステップＳ１４）。
【００５７】
そして、ステップＳ１４の判別において、オブジェクト認識対象の商品の類似度が商品を一意に確定可能なレベルとなっていない場合には（ステップＳ１４；Ｎｏ）、図５で示したように、商品候補リスト表示領域２０４に複数の商品名を表示して、オペレータに選択を促すこととなる。
また、ステップＳ１４の判別において、オブジェクト認識対象の商品の類似度が商品を一意に確定可能なレベルとなっている場合には（ステップＳ１４；Ｙｅｓ）、図５に示したように、オブジェクト検出窓Ｗ０を表示し、オブジェクト検出窓Ｗ０の商品名表示領域ＮＰ０に表示された商品情報としての商品名「パプリカ（黄）」を表示する。
【００５８】
次にＣＰＵ１６１は、タッチパネル１０５の画像表示領域２０１に対応する領域においてタッチ操作がなされたか否かを判別する（ステップＳ１７）。
ステップＳ１７の判別において、タッチパネル１０５の画像表示領域２０１に対応する領域においてタッチ操作がなされなかった場合には（ステップＳ１７；Ｎｏ）、待機状態となる。なお、この待機状態においても、商品候補リスト表示領域２０４に表示される商品名をタッチ操作した場合には、当該商品名が選択されたとして処理を行うこととなっている。
【００５９】
またステップＳ１７の判別において、タッチパネル１０５の画像表示領域２０１に対応する領域においてタッチ操作がなされた場合には（ステップＳ１７；Ｙｅｓ）、ＣＰＵ１６１は、当該タッチ操作がオブジェクト検出窓Ｗ０内か否かを判別する（ステップＳ１８）。
【００６０】
ステップＳ１８の判別において、当該タッチ操作がオブジェクト検出窓Ｗ０内である場合には（ステップＳ１８；Ｙｅｓ）、タッチしたオブジェクト検出窓、図５では、オブジェクト検出窓Ｗ０に対応する商品、すなわち、パプリカ（黄）の商品登録処理を行う（ステップＳ１９）。なお、図５の場合には、オブジェクト検出窓Ｗ０が一つしかないため、当該タッチ操作がオブジェクト検出窓Ｗ０外であっても、図６の処理フローチャートでは、オブジェクト検出窓Ｗ０に対応する商品、すなわち、パプリカ（黄）の商品登録処理を行うこととなるが（ステップＳ１９）、オブジェクト検出窓外であれば、何も動作を行わないように構成することも可能である。
【００６１】
ここで、商品登録処理について詳細に説明する。
図７は、商品登録処理の処理フローチャートである。
まず、ＣＰＵ１６１は、商品登録対象の未登録商品の数量入力画面を表示する（ステップＳ２１）。
【００６２】
図８は、未登録商品の数量入力画面の一例の説明図である。
表示画面２００の上部の数量入力領域２０５には、未登録商品であるニンジンのイラスト画像ＩＬが表示される。さらに数量入力領域２０５には、０〜９までの１０種類の数値を入力するための数字キー入力部２０６が配置されている。また数量入力領域２０５の右端部中央部には、入力した数量が表示される数量表示部２０７と、数量表示部２０７に表示されている数量で決定するための決定操作ボタン２０８と、を備えている。
【００６３】
したがって、オペレータは、商品登録対象がニンジンであることをイラスト画像ＩＬを参照して、商品を確認するとともに、顧客が買おうとしているニンジンの本数を数字キー入力部２０６のタッチ操作を行って、数量表示部２０７に所望の数量が表示されていることを確認する。
そして、所望の数量が表示されている場合には、決定操作ボタン２０８をタッチ操作して数量を確定する。すなわち、図８の場合、ニンジンの本数は２本として確定される。なお、数字キー入力部２０６をタッチ操作することで数量を入力して決定操作ボタン２０８をタッチ操作して数量を確定する方法の他に、イラスト画像ＩＬを所定回数、タッチ操作することで数量を入力して決定操作ボタン２０８をタッチ操作して数量を確定することも可能である。
【００６４】
これと並行して、ＣＰＵ１６１は、入力が確定したか否かを判別する（ステップＳ２３）。
ステップＳ２３の判別において、決定操作ボタン２０８がタッチ操作されていない場合には（ステップＳ２３；Ｎｏ）、再び処理をステップＳ２２に移行して以下同様の処理を行う。
ステップＳ２３の判別において、決定操作ボタン２０８がタッチ操作されている場合には、入力が確定したので（ステップＳ２３；Ｙｅｓ）、商品登録を行う（ステップＳ２４）。
【００６５】
この結果、商品候補提示部１６１４として機能するＣＰＵ１６１は、登録商品通知部１６１６に出力し、登録商品通知部１６１６として機能するＣＰＵ１６１は、商品候補提示部１６１４から指示された登録商品に対応する商品ＩＤを、タッチパネル１０５を介して入力された数量とともにＰＯＳ端末１１に通知し、ＰＯＳ端末１１のＣＰＵ６１は、商品読取装置１０１から通知された商品の商品ＩＤとその販売数量とを受信し、売上登録部として機能して、受信した商品ＩＤ及び販売数量に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を登録する商品登録処理を行う（ステップＳ２４）。
【００６６】
また、ＰＯＳ端末１１のＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等によって全未登録商品の商品登録処理が完了したか否かを判別する（ステップＳ２５）。
ステップＳ２５の判別において、商品登録処理を継続する場合（ステップＳ２５；Ｎｏ）、商品読取装置１０１のＣＰＵ１６１は、処理を再びステップＳ２１に移行して、以下、同様の処理を行う。
また、ステップＳ２５の判別において、商品登録処理が完了した場合には、ＣＰＵ１６１及びＣＰＵ６１は、処理を終了する。
【００６７】
図９は、他の画面表示例の説明図である。
図９においては、上述した図５と異なり、複数のオブジェクト検出窓Ｗ１、Ｗ２が表示されており、商品として複数の商品（図９の場合、ピーマンとニンジン）がオブジェクト認識の対象となっている。
【００６８】
また、オブジェクト認識処理時に商品候補リスト表示領域２０４に表示される商品候補の商品名のリストとしては、図９の場合に、複数のオブジェクト検出窓Ｗ１、Ｗ２に対応するように、ピーマン、ニンジン、キュウリ、タマネギのように表示がなされる。
そして、図９に示したような状態において、ステップＳ１７の判別において、タッチパネル１０５の画像表示領域２０１に対応する領域においてタッチ操作がなされた場合には（ステップＳ１７；Ｙｅｓ）、ＣＰＵ１６１は、当該タッチ操作がオブジェクト検出窓Ｗ１内又はオブジェクト検出窓Ｗ２内か否かを判別する（ステップＳ１８）。
【００６９】
ステップＳ１８の判別において、当該タッチ操作がオブジェクト検出窓Ｗ１内あるいはオブジェクト検出窓Ｗ１内である場合には（ステップＳ１８；Ｙｅｓ）、タッチしたオブジェクト検出窓、例えば、タッチ操作がオブジェクト検出窓Ｗ１内である場合には、オブジェクト検出窓Ｗ１に対応する商品、すなわち、ピーマンの商品登録処理を行うこととなる（ステップＳ１９）。
【００７０】
また、ステップＳ１８の判別において、当該タッチ操作がオブジェクト検出窓Ｗ１及びオブジェクト検出窓Ｗ１の外である場合には（ステップＳ１８；Ｎｏ）、全てのオブジェクト検出窓Ｗ１、Ｗ２に対応する商品、すなわち、ピーマン及びニンジンの商品登録処理を行うこととなる（ステップＳ１９）。
【００７１】
以上のように、実施形態のチェックアウトシステム１によれば、商品Ｇの商品登録を行うに際して、オブジェクト検出窓Ｗ０〜Ｗ２の商品名表示領域ＮＰ０〜ＮＰ２に商品名を表示して、オブジェクト認識処理が完了した旨をオペレータに通知し、オブジェクト検出窓Ｗ０〜Ｗ２内をタッチ操作することにより、直ちに商品登録処理に移行させることができ、商品登録処理の業務効率を向上させることができる。
【００７２】
さらに複数のオブジェクト検出窓が表示されている場合には、複数のオブジェクト検出窓に対応する商品を一括して商品登録処理に移行させることができ、さらなる商品登録処理の業務効率を向上させることができる。
【００７３】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７４】
例えば、上記実施形態では、商品読取装置１０１において、商品Ｇを一つずつ撮像する形態について説明したが、一度に撮像する商品Ｇの個数は特に限らず、複数であってもよい。一度に複数の商品Ｇを撮像するような場合には、撮像部１６４の撮影画像を表示デバイス１０６に表示することで、複数の商品Ｇから登録の対象とする一の商品Ｇを選択可能な構成とし、タッチパネル１０５を介して選択された一の商品Ｇの認識及び商品画像の表示を行う形態としてもよい。また、複数の商品Ｇの認識を一度に行い、この認識結果に基づいて類似度の高い商品名を商品候補リスト表示領域２０４に表示する形態としてもよい。なお、この形態の場合には、撮像された画像に含まれる一の商品Ｇを選択した後に商品名を選択する等の操作を行うことで、撮像された画像に含まれる商品Ｇと、選択した商品名とを対応付けるための構成が具備されているものとする。
【００７５】
以上の説明においては、オブジェクト検出窓Ｗ０〜Ｗ２の商品名表示領域ＮＰ０〜ＮＰ２に商品名が表示されることにより、オペレータはオブジェクト認識が完了したことを把握するように構成していたが、これに加えて音声出力部１６５により商品名を読み上げる等の音声出力による通知を行うようにしてもよい。
また、上記各実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。
【００７６】
また、上記各実施形態では、ＰＯＳ端末１１と商品読取装置１０１との２台構成としたが、これに限らず、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としてもよい。
【００７７】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００７８】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【００７９】
１ チェックアウトシステム
１１ ＰＯＳ端末
２１ ドロワ
２２ キーボード
２３ 表示デバイス
２４ 顧客用表示デバイス
２５ 通信インターフェース
２６ タッチパネル
６０ マイクロコンピュータ
６１ ＣＰＵ
６３ ＲＡＭ
６４ ＨＤＤ
６５ 接続インターフェース
６６ プリンタ
１０１ 商品読取装置
１６０ マイクロコンピュータ
１６１ ＣＰＵ
２００ 表示画面
２０１ 画像表示領域
２０２ 商品名表示領域
２０３ 価格表示領域
２０４ 商品候補リスト表示領域
２０５ 数量入力領域
２０６ 数字キー入力部
２０７ 数量表示部
２０８ 決定操作ボタン
１６１１ 画像取込部
１６１２ 商品検出部
１６１３ 類似度算出部
１６１４ 商品候補提示部
１６１５ コードシンボル検出部
１６１６ 登録商品通知部
Ｄ１１ 商品ＩＤデータ
Ｄ１２ 商品分類データ
Ｄ１３ 商品名データ
Ｄ１４ 価格データ
Ｄ１５ 商品識別データ
Ｄ１６ 類似度データ
Ｆ１ ＰＬＵファイル
Ｇ 商品
ＩＬ イラスト画像
ＮＰ０〜ＮＰ２ 商品名表示領域
Ｗ０〜Ｗ２ オブジェクト検出窓
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２００３−１７３３６９号公報
【技術分野】
【０００１】
本発明の実施形態は、商品データ処理装置、商品データ処理方法及び制御プログラムに関する。
【背景技術】
【０００２】
従来、物品を撮像した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識（検出）する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、商品、飲食物等の種別判別に用いたシステムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来の一般物体認識に係る技術では、対象物の候補となる商品が複数個認識される場合がある。このような場合、候補となった商品を操作者に選択させることとなるが、オブジェクト認識のための画像表示領域と、一覧から商品を選択させるための選択商品の表示領域と、が離れて配置されているような場合には、使い勝手が悪くなる。
【課題を解決するための手段】
【０００４】
実施の形態の商品データ処理装置の表示手段は、入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を表示する。
操作手段は、前記表示手段における前記商品の画像の表示エリアに対応づけて、当該商品の選択を確定するための操作領域を動的に配置可能となっている。
【図面の簡単な説明】
【０００５】
【図１】図１は、チェックアウトシステムの一例を示す斜視図である。
【図２】図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータフォーマットの一例を示す図である。
【図４】図４は、商品読取装置のＣＰＵの機能構成を示すブロック図である。
【図５】図５は、画面表示例の説明図である。
【図６】図６は、実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【図７】図７は、商品登録処理の処理フローチャートである。
【図８】図８は、未登録商品の数量入力画面の一例の説明図である。
【図９】図９は、他の画面表示例の説明図である。
【発明を実施するための形態】
【０００６】
以下では、チェックアウトシステムを例に本実施形態に係る、商品データ処理装置、商品データ処理方法及び制御プログラムについて、図面を参照して説明する。
商品データ処理装置は、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等に適用可能である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００７】
図１は、チェックアウトシステムの一例を示す斜視図である。
チェックアウトシステム１は、図１に示すように、一取引に係る商品の登録、精算を行うＰＯＳ端末１１を備える。
【０００８】
ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００９】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
【００１０】
カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１１】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１２】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。
【００１３】
商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。
【００１４】
図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
ＰＯＳ端末１１は、図２に示すように、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。
【００１５】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子等が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１７】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００１８】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録にかかる情報と、その商品Ｇの撮像画像との関連付けが設定された商品ファイルである。
【００１９】
図３は、ＰＬＵファイルのデータフォーマットの一例を示す図である。
ＰＬＵファイルＦ１は、図３に示すように、商品Ｇ毎に、商品Ｇを特定するためにユニークに割り当てられた商品ＩＤを格納した商品ＩＤデータＤ１１、商品Ｇが属する商品分類を特定するための商品分類データＤ１２、商品名を特定するための商品名データＤ１３、単価等の商品に関する価格データＤ１４と、商品Ｇを撮像画像から特定するためのオブジェクト認識用の特徴量データ（色合い、外形形状、表面の凹凸形状等に関するデータ）や商品Ｇに割り当てられたバーコード等のコードシンボルを特定するためのデータ等の商品識別データＤ１５と、オブジェクト認識において、当該商品Ｇであると特定する場合の閾値の下限値を格納した類似度データＤ１６と、を格納している。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し（参照）可能に構成されている。
【００２０】
なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、商品識別データとして、典型的な商品画像を格納する形態としてもよい。
【００２１】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２２】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００２３】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２４】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。
【００２５】
音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。
【００２６】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。
【００２７】
次に、ＣＰＵ１６１の機能構成について、図４を参照して説明する。
【００２８】
図４は、商品読取装置のＣＰＵの機能構成を示すブロック図である。
図４に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、類似度算出部１６１３、商品候補提示部１６１４、コードシンボル検出部１６１５及び登録商品通知部１６１６としての機能を備える。
【００２９】
画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００３０】
商品検出部１６１２は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。
【００３１】
なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。
【００３２】
類似度算出部１６１３は、商品読取装置１０１の撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部１６１３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。
【００３３】
また、類似度算出部１６１３は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしてもよい。
【００３４】
また、類似度算出部１６１３は、登録商品の各々について算出した類似度が、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの候補（以下、商品候補という）として認識（判定）する。なお、ＰＬＵファイルＦ１に各商品画像の特徴量が対応付けて格納されている場合には、ＰＬＵファイルＦ１に格納された特徴量を用いて比較する形態としてもよい。
【００３５】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３６】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３７】
なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００３８】
前者の算出方法を用いる場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、後者の算出方法を用いる場合、えば、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出する。
【００３９】
ところで、類似度算出部１６１３での認識の結果、商品候補が複数個認識される場合がある。そこで、商品候補提示部１６１４は、類似度算出部１６１３の認識の結果に基づき、商品候補となる登録商品が複数存在する場合に、これら登録商品の商品画像をＰＬＵファイルＦ１から読み出し、類似度算出部１６１３が算出した類似度の高いものから、所定の個数ずつ表示デバイス１０６に順次表示させる。なお、商品画像の表示に係る処理について後述する。
【００４０】
また、商品候補提示部１６１４は、表示デバイス１０６に表示された商品画像の中から一の商品画像の選択を、タッチパネル１０５を介して受け付けると、この選択された商品画像の登録商品が、商品Ｇに対応すると判断する。そして、商品候補提示部１６１４は、この登録商品を指示する情報（例えば、商品ＩＤや商品名、選択された商品画像の画像ファイル名等）を登録商品通知部１６１６に出力する。
【００４１】
なお、本実施形態では商品候補が単一の登録商品である場合に、その登録商品が商品Ｇであるとして、当該登録商品の商品画像の表示を省略する形態とするが、これに限らず、商品画像を表示デバイス１０６に表示することで、オペレータへの確認を求める形態としてもよい。また、本実施形態では、商品候補提示部１６１４は、商品画像を表示デバイス１０６に表示する形態とするが、他の商品情報を表示してもよく、例えば商品名や商品価格等の文字情報のみを表示させてもよく、また、文字情報と商品画像とをあわせて表示させてもよい。
【００４２】
コードシンボル検出部１６１５は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ｇに印刷あるいは貼着された一次元バーコードあるいは二次元バーコード（例えば、ＱＲコード;登録商標）等のコードシンボルを、パターンマッチング技術等を用いて検出し、デコードしてコードシンボルに対応する情報を出力する。
【００４３】
登録商品通知部１６１６は、商品候補提示部１６１４が指示した登録商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知する。なお、商品ＩＤの通知は、登録商品通知部１６１６がＰＬＵファイルＦ１から読み出した商品ＩＤデータＤ１１を直接通知する形態としてもよいし、商品ＩＤを特定することが可能な商品画像のファイル名や商品名に対応する商品名データＤ１３を通知する形態としてもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知する形態としてもよい。
【００４４】
一方、ＣＰＵ６１は、売上登録部として機能し、登録商品通知部１６１６より通知された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、ＣＰＵ６１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
【００４５】
図５は、画面表示例の説明図である。
表示画面２００は、撮像部１６４による撮像画像（図５では、パプリカの画像）、オブジェクト認識処理におけるオブジェクト検出窓（図５では、オブジェクト検出窓Ｗ０）、商品名等の商品情報（図５では、商品名表示領域ＮＰ０に表示された商品情報としての商品名「パプリカ（黄）」）、オブジェクト認識処理終了後に認識結果に相当する商品イラスト画像、商品数量の入力画面等を表示する画像表示領域２０１と、オブジェクト認識処理結果あるいはコードシンボル認識結果処理結果としての商品名を表示する商品名表示領域２０２と、を備えている。
【００４６】
さらに表示画面２００は、オブジェクト認識処理結果あるいはコードシンボル認識結果処理結果に基づいて抽出した商品価格を表示する価格表示領域２０３と、オブジェクト認識処理時に商品候補の商品名のリスト（図５では、「パプリカ（黄）」、「レモン」、「スターフルーツ」）を表示する商品候補リスト表示領域２０４と、を備えている。初期状態において、商品名表示領域２０２、価格表示領域２０３及び商品候補リスト表示領域２０４は、表示すべき情報がないため、グレイアウト状態（情報非表示状態）となっている。ここでの、グレイアウト状態とは、情報を表示しない状態であって、商品名表示領域２０２や価格表示領域２０３の明度に比べて、商品候補リスト表示領域２０４の明度を暗くした状態である。
【００４７】
上記構成において、長方形状を有するオブジェクト検出窓Ｗ０の大きさは可変となっている。実際に設定する場合には、例えば、直交する二辺の長さは独立して変更可能な長方形状のオブジェクト検出窓Ｗ０を設定する場合、例えば、その大きさは、商品を撮像していないときの撮像画像（いわゆる背景画像）と、商品を撮像したときの撮像画像と、の差画像において、所定の輝度を有する領域に接する長方形状となるようにすればよい。この結果、簡易な演算で、オブジェクト検出窓Ｗ０を設定することができる。
【００４８】
次に、チェックアウトシステム１の動作について詳細に説明する。
図６は、実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
【００４９】
先ず、商品読取装置１０１側の動作について説明する。
図６に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、ＣＰＵ１６１は、画像取込部１６１１として機能し、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する。そしてＣＰＵ１６１は、商品候補提示部１６１４として機能し、表示デバイス１０６の表示画面に初期画面を表示する（ステップＳ１１）。
続いてＣＰＵ１６１は、商品検出部１６１２として機能し、撮像部１６４による撮像画像中に所定の輝度値よりも高い商品画像領域が存在するか否か、すなわち、商品が検出されたか否かを判別する（ステップＳ１２）。
【００５０】
ステップＳ１２の判別において、未だ商品が検出されていない場合には（ステップＳ１２；Ｎｏ）、ＣＰＵ１６１は、待機状態となる。
ステップＳ１２の判別において、商品が検出された場合には（ステップＳ１２；Ｙｅｓ）、ＣＰＵ１６１は、商品検出部１６１２として機能し、撮像画像に対するオブジェクト認識処理を行う（ステップＳ１３）。
【００５１】
オブジェクト認識処理は、以下の手順で行う。
まずＣＰＵ１６１は、画像取込部１６１１として機能し、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む。次いで、ＣＰＵ１６１は、商品検出部１６１２として機能し、画像取込部１６１１が取り込んだフレーム画像に含まれる商品Ｇの画像（全部または一部の画像）の検出を行う。続いて、ＣＰＵ１６１は、類似度算出部１６１３として機能し、商品Ｇの画像から商品Ｇの特徴量を読み取り、ＰＬＵファイルＦ１に登録された各商品画像の特徴量と比較することで類似度を算出する。
【００５２】
次いで、類似度算出部１６１３として機能するＣＰＵ１６１は、登録商品の各々について算出した類似度が、類似度データＤ１６に基づいて、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの商品候補として抽出する。
【００５３】
オブジェクト認識処理中においては、図５に示したように、表示画面２００の画像表示領域２０１には、撮像部１６４による撮像画像として商品Ｇとしての「パプリカ（黄）」の撮像画像が表示されている。
【００５４】
そして、商品候補リスト表示領域２０４には、オブジェクト認識処理時に商品候補の商品名のリストが表示されている。
具体的には、実際の商品Ｇが「パプリカ（黄）」である場合には、商品候補リスト表示領域２０４には、類似度の値が大きい順に、「パプリカ（黄）」、「レモン」「スターフルーツ」が表示されている。
【００５５】
上述したように、商品候補リスト表示領域２０４に表示される商品名は、類似度データＤ１６に基づいて、当該商品に予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた登録商品の商品名である。ここで、商品候補リスト表示領域２０４には、類似度の値が大きい登録商品ほど上部に表示されるようにされている。なお、類似度が類似度データＤ１６に対応する閾値を超えるものがない場合には、商品候補リスト表示領域２０４中の「リストから選択」と表示されている領域を選択することにより、撮像部１６４による撮像画像として商品Ｇの撮像画像に重畳して、商品候補一覧が表示されるので、オペレータは、当該商品候補一覧から所望の商品を選択することとなる。
【００５６】
このオブジェクト認識処理と並行して、ＣＰＵ１６１は、オブジェクト認識対象の商品の類似度がオブジェクト、すなわち、商品を一意に確定可能なレベルとなっているか否かを判別する（ステップＳ１４）。
【００５７】
そして、ステップＳ１４の判別において、オブジェクト認識対象の商品の類似度が商品を一意に確定可能なレベルとなっていない場合には（ステップＳ１４；Ｎｏ）、図５で示したように、商品候補リスト表示領域２０４に複数の商品名を表示して、オペレータに選択を促すこととなる。
また、ステップＳ１４の判別において、オブジェクト認識対象の商品の類似度が商品を一意に確定可能なレベルとなっている場合には（ステップＳ１４；Ｙｅｓ）、図５に示したように、オブジェクト検出窓Ｗ０を表示し、オブジェクト検出窓Ｗ０の商品名表示領域ＮＰ０に表示された商品情報としての商品名「パプリカ（黄）」を表示する。
【００５８】
次にＣＰＵ１６１は、タッチパネル１０５の画像表示領域２０１に対応する領域においてタッチ操作がなされたか否かを判別する（ステップＳ１７）。
ステップＳ１７の判別において、タッチパネル１０５の画像表示領域２０１に対応する領域においてタッチ操作がなされなかった場合には（ステップＳ１７；Ｎｏ）、待機状態となる。なお、この待機状態においても、商品候補リスト表示領域２０４に表示される商品名をタッチ操作した場合には、当該商品名が選択されたとして処理を行うこととなっている。
【００５９】
またステップＳ１７の判別において、タッチパネル１０５の画像表示領域２０１に対応する領域においてタッチ操作がなされた場合には（ステップＳ１７；Ｙｅｓ）、ＣＰＵ１６１は、当該タッチ操作がオブジェクト検出窓Ｗ０内か否かを判別する（ステップＳ１８）。
【００６０】
ステップＳ１８の判別において、当該タッチ操作がオブジェクト検出窓Ｗ０内である場合には（ステップＳ１８；Ｙｅｓ）、タッチしたオブジェクト検出窓、図５では、オブジェクト検出窓Ｗ０に対応する商品、すなわち、パプリカ（黄）の商品登録処理を行う（ステップＳ１９）。なお、図５の場合には、オブジェクト検出窓Ｗ０が一つしかないため、当該タッチ操作がオブジェクト検出窓Ｗ０外であっても、図６の処理フローチャートでは、オブジェクト検出窓Ｗ０に対応する商品、すなわち、パプリカ（黄）の商品登録処理を行うこととなるが（ステップＳ１９）、オブジェクト検出窓外であれば、何も動作を行わないように構成することも可能である。
【００６１】
ここで、商品登録処理について詳細に説明する。
図７は、商品登録処理の処理フローチャートである。
まず、ＣＰＵ１６１は、商品登録対象の未登録商品の数量入力画面を表示する（ステップＳ２１）。
【００６２】
図８は、未登録商品の数量入力画面の一例の説明図である。
表示画面２００の上部の数量入力領域２０５には、未登録商品であるニンジンのイラスト画像ＩＬが表示される。さらに数量入力領域２０５には、０〜９までの１０種類の数値を入力するための数字キー入力部２０６が配置されている。また数量入力領域２０５の右端部中央部には、入力した数量が表示される数量表示部２０７と、数量表示部２０７に表示されている数量で決定するための決定操作ボタン２０８と、を備えている。
【００６３】
したがって、オペレータは、商品登録対象がニンジンであることをイラスト画像ＩＬを参照して、商品を確認するとともに、顧客が買おうとしているニンジンの本数を数字キー入力部２０６のタッチ操作を行って、数量表示部２０７に所望の数量が表示されていることを確認する。
そして、所望の数量が表示されている場合には、決定操作ボタン２０８をタッチ操作して数量を確定する。すなわち、図８の場合、ニンジンの本数は２本として確定される。なお、数字キー入力部２０６をタッチ操作することで数量を入力して決定操作ボタン２０８をタッチ操作して数量を確定する方法の他に、イラスト画像ＩＬを所定回数、タッチ操作することで数量を入力して決定操作ボタン２０８をタッチ操作して数量を確定することも可能である。
【００６４】
これと並行して、ＣＰＵ１６１は、入力が確定したか否かを判別する（ステップＳ２３）。
ステップＳ２３の判別において、決定操作ボタン２０８がタッチ操作されていない場合には（ステップＳ２３；Ｎｏ）、再び処理をステップＳ２２に移行して以下同様の処理を行う。
ステップＳ２３の判別において、決定操作ボタン２０８がタッチ操作されている場合には、入力が確定したので（ステップＳ２３；Ｙｅｓ）、商品登録を行う（ステップＳ２４）。
【００６５】
この結果、商品候補提示部１６１４として機能するＣＰＵ１６１は、登録商品通知部１６１６に出力し、登録商品通知部１６１６として機能するＣＰＵ１６１は、商品候補提示部１６１４から指示された登録商品に対応する商品ＩＤを、タッチパネル１０５を介して入力された数量とともにＰＯＳ端末１１に通知し、ＰＯＳ端末１１のＣＰＵ６１は、商品読取装置１０１から通知された商品の商品ＩＤとその販売数量とを受信し、売上登録部として機能して、受信した商品ＩＤ及び販売数量に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を登録する商品登録処理を行う（ステップＳ２４）。
【００６６】
また、ＰＯＳ端末１１のＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等によって全未登録商品の商品登録処理が完了したか否かを判別する（ステップＳ２５）。
ステップＳ２５の判別において、商品登録処理を継続する場合（ステップＳ２５；Ｎｏ）、商品読取装置１０１のＣＰＵ１６１は、処理を再びステップＳ２１に移行して、以下、同様の処理を行う。
また、ステップＳ２５の判別において、商品登録処理が完了した場合には、ＣＰＵ１６１及びＣＰＵ６１は、処理を終了する。
【００６７】
図９は、他の画面表示例の説明図である。
図９においては、上述した図５と異なり、複数のオブジェクト検出窓Ｗ１、Ｗ２が表示されており、商品として複数の商品（図９の場合、ピーマンとニンジン）がオブジェクト認識の対象となっている。
【００６８】
また、オブジェクト認識処理時に商品候補リスト表示領域２０４に表示される商品候補の商品名のリストとしては、図９の場合に、複数のオブジェクト検出窓Ｗ１、Ｗ２に対応するように、ピーマン、ニンジン、キュウリ、タマネギのように表示がなされる。
そして、図９に示したような状態において、ステップＳ１７の判別において、タッチパネル１０５の画像表示領域２０１に対応する領域においてタッチ操作がなされた場合には（ステップＳ１７；Ｙｅｓ）、ＣＰＵ１６１は、当該タッチ操作がオブジェクト検出窓Ｗ１内又はオブジェクト検出窓Ｗ２内か否かを判別する（ステップＳ１８）。
【００６９】
ステップＳ１８の判別において、当該タッチ操作がオブジェクト検出窓Ｗ１内あるいはオブジェクト検出窓Ｗ１内である場合には（ステップＳ１８；Ｙｅｓ）、タッチしたオブジェクト検出窓、例えば、タッチ操作がオブジェクト検出窓Ｗ１内である場合には、オブジェクト検出窓Ｗ１に対応する商品、すなわち、ピーマンの商品登録処理を行うこととなる（ステップＳ１９）。
【００７０】
また、ステップＳ１８の判別において、当該タッチ操作がオブジェクト検出窓Ｗ１及びオブジェクト検出窓Ｗ１の外である場合には（ステップＳ１８；Ｎｏ）、全てのオブジェクト検出窓Ｗ１、Ｗ２に対応する商品、すなわち、ピーマン及びニンジンの商品登録処理を行うこととなる（ステップＳ１９）。
【００７１】
以上のように、実施形態のチェックアウトシステム１によれば、商品Ｇの商品登録を行うに際して、オブジェクト検出窓Ｗ０〜Ｗ２の商品名表示領域ＮＰ０〜ＮＰ２に商品名を表示して、オブジェクト認識処理が完了した旨をオペレータに通知し、オブジェクト検出窓Ｗ０〜Ｗ２内をタッチ操作することにより、直ちに商品登録処理に移行させることができ、商品登録処理の業務効率を向上させることができる。
【００７２】
さらに複数のオブジェクト検出窓が表示されている場合には、複数のオブジェクト検出窓に対応する商品を一括して商品登録処理に移行させることができ、さらなる商品登録処理の業務効率を向上させることができる。
【００７３】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７４】
例えば、上記実施形態では、商品読取装置１０１において、商品Ｇを一つずつ撮像する形態について説明したが、一度に撮像する商品Ｇの個数は特に限らず、複数であってもよい。一度に複数の商品Ｇを撮像するような場合には、撮像部１６４の撮影画像を表示デバイス１０６に表示することで、複数の商品Ｇから登録の対象とする一の商品Ｇを選択可能な構成とし、タッチパネル１０５を介して選択された一の商品Ｇの認識及び商品画像の表示を行う形態としてもよい。また、複数の商品Ｇの認識を一度に行い、この認識結果に基づいて類似度の高い商品名を商品候補リスト表示領域２０４に表示する形態としてもよい。なお、この形態の場合には、撮像された画像に含まれる一の商品Ｇを選択した後に商品名を選択する等の操作を行うことで、撮像された画像に含まれる商品Ｇと、選択した商品名とを対応付けるための構成が具備されているものとする。
【００７５】
以上の説明においては、オブジェクト検出窓Ｗ０〜Ｗ２の商品名表示領域ＮＰ０〜ＮＰ２に商品名が表示されることにより、オペレータはオブジェクト認識が完了したことを把握するように構成していたが、これに加えて音声出力部１６５により商品名を読み上げる等の音声出力による通知を行うようにしてもよい。
また、上記各実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。
【００７６】
また、上記各実施形態では、ＰＯＳ端末１１と商品読取装置１０１との２台構成としたが、これに限らず、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としてもよい。
【００７７】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００７８】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【００７９】
１ チェックアウトシステム
１１ ＰＯＳ端末
２１ ドロワ
２２ キーボード
２３ 表示デバイス
２４ 顧客用表示デバイス
２５ 通信インターフェース
２６ タッチパネル
６０ マイクロコンピュータ
６１ ＣＰＵ
６３ ＲＡＭ
６４ ＨＤＤ
６５ 接続インターフェース
６６ プリンタ
１０１ 商品読取装置
１６０ マイクロコンピュータ
１６１ ＣＰＵ
２００ 表示画面
２０１ 画像表示領域
２０２ 商品名表示領域
２０３ 価格表示領域
２０４ 商品候補リスト表示領域
２０５ 数量入力領域
２０６ 数字キー入力部
２０７ 数量表示部
２０８ 決定操作ボタン
１６１１ 画像取込部
１６１２ 商品検出部
１６１３ 類似度算出部
１６１４ 商品候補提示部
１６１５ コードシンボル検出部
１６１６ 登録商品通知部
Ｄ１１ 商品ＩＤデータ
Ｄ１２ 商品分類データ
Ｄ１３ 商品名データ
Ｄ１４ 価格データ
Ｄ１５ 商品識別データ
Ｄ１６ 類似度データ
Ｆ１ ＰＬＵファイル
Ｇ 商品
ＩＬ イラスト画像
ＮＰ０〜ＮＰ２ 商品名表示領域
Ｗ０〜Ｗ２ オブジェクト検出窓
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２００３−１７３３６９号公報
【特許請求の範囲】
【請求項１】
入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を表示する表示手段と、
前記表示手段における前記商品の画像の表示エリアに対応づけて、当該商品の選択を確定するための操作領域を動的に配置可能な操作手段と、
を備えた商品データ処理装置。
【請求項２】
前記商品の画像の表示エリアに対応づけてオブジェクト認識結果としての商品情報を前記表示手段に表示させる表示制御手段、
を備えた請求項１記載の商品データ処理装置。
【請求項３】
前記表示手段は、前記商品の画像の表示エリアに対応づけてオブジェクト認識用のオブジェクト検出窓を表示し、
前記操作手段は、前記オブジェクト検出窓と一体的に前記操作領域を配置する、
請求項１または請求項２記載の商品データ処理装置。
【請求項４】
前記操作手段は、前記オブジェクト検出窓を表示可能な画像表示領域内であって、前記オブジェクト検出窓の表示領域内を操作対象とする操作を行った場合には、対応するオブジェクト検出窓に対応する商品の登録処理に移行し、前記オブジェクト検出窓の表示領域外を操作対象とする操作を行った場合には、表示されている全てのオブジェクト検出窓に対応する商品の登録処理に移行する、
請求項３記載の商品データ処理装置。
【請求項５】
表示手段及び操作手段を有し、商品データ処理装置において実行される商品データ処理方法であって、
入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を前記表示手段に表示する表示過程と、
前記表示手段における前記商品の画像の表示エリアに対応づけて、当該商品の選択を確定するための操作領域を動的に配置可能として、操作を行わせる操作過程と、
を備えた商品データ処理方法。
【請求項６】
表示手段及び操作手段を有する商品データ処理装置をコンピュータにより制御するための制御プログラムであって、
前記コンピュータを
入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を前記表示手段に表示させる手段と、
前記表示手段における前記商品の画像の表示エリアに対応づけて、当該商品の選択を確定するための操作領域を動的に配置可能として、操作を行わせる操作手段と、
を備えた制御プログラム。
【請求項１】
入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を表示する表示手段と、
前記表示手段における前記商品の画像の表示エリアに対応づけて、当該商品の選択を確定するための操作領域を動的に配置可能な操作手段と、
を備えた商品データ処理装置。
【請求項２】
前記商品の画像の表示エリアに対応づけてオブジェクト認識結果としての商品情報を前記表示手段に表示させる表示制御手段、
を備えた請求項１記載の商品データ処理装置。
【請求項３】
前記表示手段は、前記商品の画像の表示エリアに対応づけてオブジェクト認識用のオブジェクト検出窓を表示し、
前記操作手段は、前記オブジェクト検出窓と一体的に前記操作領域を配置する、
請求項１または請求項２記載の商品データ処理装置。
【請求項４】
前記操作手段は、前記オブジェクト検出窓を表示可能な画像表示領域内であって、前記オブジェクト検出窓の表示領域内を操作対象とする操作を行った場合には、対応するオブジェクト検出窓に対応する商品の登録処理に移行し、前記オブジェクト検出窓の表示領域外を操作対象とする操作を行った場合には、表示されている全てのオブジェクト検出窓に対応する商品の登録処理に移行する、
請求項３記載の商品データ処理装置。
【請求項５】
表示手段及び操作手段を有し、商品データ処理装置において実行される商品データ処理方法であって、
入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を前記表示手段に表示する表示過程と、
前記表示手段における前記商品の画像の表示エリアに対応づけて、当該商品の選択を確定するための操作領域を動的に配置可能として、操作を行わせる操作過程と、
を備えた商品データ処理方法。
【請求項６】
表示手段及び操作手段を有する商品データ処理装置をコンピュータにより制御するための制御プログラムであって、
前記コンピュータを
入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を前記表示手段に表示させる手段と、
前記表示手段における前記商品の画像の表示エリアに対応づけて、当該商品の選択を確定するための操作領域を動的に配置可能として、操作を行わせる操作手段と、
を備えた制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−８９０８３（Ｐ２０１３−８９０８３Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２９９４３（Ｐ２０１１−２２９９４３）
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]