情報処理装置及びプログラム
【課題】複数の対象物がある場合であっても識別処理にかかる負担を低減することが可能な情報処理装置及びプログラムを提供する。
【解決手段】実施形態の情報処理装置は、取込手段と、検出手段と、選択手段と、表示制御手段と、商品識別手段とを備える。取込手段は、撮像手段が撮像した画像を取り込む。検出手段は、前記取込手段により取り込まれた画像に含まれる対象物の全部または一部を検出する。選択手段は、前記検出手段が複数の対象物を検出した場合に、いずれか１つの対象物を選択する。表示制御手段は、前記取込手段により取り込まれた画像上に、前記選択手段により選択された対象物が複数の対象物のうちいずれの対象物であるかを表示する。商品識別手段は、前記選択手段が選択した対象物の全部または一部の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度に基づいて、前記撮像手段によって撮像された商品を識別する。
【解決手段】実施形態の情報処理装置は、取込手段と、検出手段と、選択手段と、表示制御手段と、商品識別手段とを備える。取込手段は、撮像手段が撮像した画像を取り込む。検出手段は、前記取込手段により取り込まれた画像に含まれる対象物の全部または一部を検出する。選択手段は、前記検出手段が複数の対象物を検出した場合に、いずれか１つの対象物を選択する。表示制御手段は、前記取込手段により取り込まれた画像上に、前記選択手段により選択された対象物が複数の対象物のうちいずれの対象物であるかを表示する。商品識別手段は、前記選択手段が選択した対象物の全部または一部の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度に基づいて、前記撮像手段によって撮像された商品を識別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、物品を撮像した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識（検出）する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する店舗システムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら従来技術においては、画像データにおいて複数の対象物が検出された場合に、識別処理にかかる負担が大きいという課題があった。
【課題を解決するための手段】
【０００４】
実施形態の情報処理装置は、取込手段と、検出手段と、選択手段と、表示制御手段と、商品識別手段とを備える。取込手段は、撮像手段が撮像した画像を取り込む。検出手段は、前記取込手段により取り込まれた画像に含まれる対象物の全部または一部を検出する。選択手段は、前記検出手段が複数の対象物を検出した場合に、いずれか１つの対象物を選択する。表示制御手段は、前記取込手段により取り込まれた画像上に、前記選択手段により選択された対象物が複数の対象物のうちいずれの対象物であるかを表示する。商品識別手段は、前記選択手段が選択した対象物の全部または一部の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度に基づいて、前記撮像手段によって撮像された商品を識別する。
【図面の簡単な説明】
【０００５】
【図１】図１は、本実施形態に係るチェックアウトシステム（店舗システム）の一例を示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図４】図４は、ＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。
【図５】図５は、画像取込部によって取り込まれたフレーム画像の一例を示す図である。
【図６】図６は、画像領域の頂点の位置に基づいて１つの画像領域を選択する方法を説明する図である。
【図７】図７は、画像領域の重心の位置に基づいて１つの画像領域を選択する方法を説明する図である。
【図８】図８は、選択された画像領域が表示された表示画面の一例を示す図である。
【図９】図９は、選択された画像領域が表示された表示画面のその他の例を示す図である。
【図１０】図１０は、選択された画像領域を異なる輝度で表示した場合の画面例を示す図である。
【図１１】図１１は、チェックアウトシステムの動作例を示すフローチャートである。
【発明を実施するための形態】
【０００６】
図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ端末１１とを備える。以下では、商品読取装置１０１を本実施形態にかかる情報処理装置として適用する例について説明する。尚、以下では、複数の図面に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する場合がある。
【０００７】
ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転可能に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００８】
ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
【０００９】
カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１０】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１１】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。
【００１２】
商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。
【００１３】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。
【００１４】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１５】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１６】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００１７】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録にかかる情報と、その商品Ｇの画像との関連付けが設定された商品ファイルである。
【００１８】
図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ｇごとに、ユニークに割り当てられた商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像とを、その商品Ｇの商品情報として格納するファイルである。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成されている。
【００１９】
なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、商品画像から読み取られる色合いや表面の凹凸状況等特徴量を、各商品について格納する形態としてもよい。
【００２０】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２１】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００２２】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２３】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。
【００２４】
音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。
【００２５】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。
【００２６】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図４を参照して説明する。
【００２７】
図４は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図４に示すように、商品読取装置１０１のＣＰＵ１６１は、ＲＯＭ１６２が格納するプログラムを実行することにより、画像取込部５１、画像領域検出部５２、画像領域選択部５３、類似度算出部５４、商品候補提示部５５、入力受付部５６、情報出力部５７としての機能を備える。また、同様に、ＰＯＳ端末１１のＣＰＵ６１は、プログラムＰＲを実行することにより、売上登録部６１１としての機能を備える。
【００２８】
画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像部１６４は、撮像部１６４の読取領域に対するフレーム画像Ｒ（図５参照）を撮像し、ＲＡＭ１６３に格納する。画像取込部５１は、ＲＡＭ１６３に保存された順に従ってフレーム画像を順次取り込む。
【００２９】
図５は、画像取込部５１によって取り込まれたフレーム画像Ｒの一例を示す図である。図５に示すように、オペレータが読取窓１０３に商品をかざすと、撮像部１６４の読取領域には撮像対象物である商品の全部または一部が撮影される。図５では、対象物として２つの商品Ｇ１、Ｇ２（特に限定しない場合には商品Ｇという）が撮影された場合を示している。尚、例えばオペレータの手などの商品以外の対象物が撮影された場合には、フレーム画像Ｒに当該対象物の全部または一部が含まれる。
【００３０】
画像領域検出部５２は、画像取込部５１により取り込まれたフレーム画像Ｒに含まれる対象物の全部または一部を検出（抽出）する。より詳細には、画像領域検出部５２は、フレーム画像Ｒに含まれる商品Ｇの全部または一部を含む画像領域を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、対象物が含まれる画像領域を検出する。
【００３１】
図５の例では、画像領域検出部５２は、商品Ｇ１を含む画像領域Ａ１と、商品Ｇ２を含む画像領域Ａ２とを検出する。尚、画像領域の形状は特に限定されるものではなく、図５のように矩形であってもよいし、円形状、楕円形状などその他の形状であってもよく、これらが回転した形状であってもよい。
【００３２】
画像領域選択部５３は、画像領域検出部５２が複数の対象物を検出した場合に、いずれか１つの対象物を選択する。より詳細には、画像領域選択部５３は、画像領域検出部５２によって画像領域が複数検出された場合に、対象物（商品Ｇ）の全部または一部を含む画像領域のフレーム画像Ｒ内における位置に基づいて、いずれか１つの画像領域を選択する。
【００３３】
図６は、本実施形態において、画像領域の頂点の位置に基づいて１つの画像領域を選択する方法を説明する図である。画像領域選択部５３は、各画像領域Ａ１、Ａ２の左上隅の頂点Ｐ１、Ｐ２と、フレーム画像Ｒの左上の頂点Ｐとの距離が最も近い画像領域を１つ選択する。一例として、画像領域選択部５３は、頂点Ｐと頂点Ｐ１とを結ぶ線分Ｂ１の長さと、頂点Ｐと頂点Ｐ２とを結ぶ線分Ｂ２の長さとを比較し、長さが短い方の画像領域Ａ１を選択する。
【００３４】
尚、上述では、各画像領域Ａ１、Ａ２の左上隅の頂点Ｐ１、Ｐ２の位置を比較したが、画像領域Ａ１、Ａ２のその他の部分の位置を比較してもよい。その他の例として、画像領域Ａ１、Ａ２の重心の位置同士を比較してもよい。
【００３５】
図７は、画像領域の重心の位置に基づいて１つの画像領域を選択する方法を説明する図である。図７では、上述のように商品Ｇ１、Ｇ２に対する２つの画像領域Ａ１、Ａ２がそれぞれ検出された場合を用いて説明する。画像領域選択部５３は、画像領域の重心が、フレーム画像Ｒの重心Ｃに最も近い画像領域を１つ選択する。一例として、画像領域選択部５３は、画像領域Ａ１の重心Ｃ１とフレーム画像Ｒの重心Ｃとを結ぶ線分Ｂ３の長さと、画像領域Ａ２の重心Ｃ２とフレーム画像Ｒの重心Ｃとを結ぶ線分Ｂ４の長さとを比較して、重心Ｃに最も近い重心を有する画像領域を１つ選択する。図７の例では、画像領域選択部５３は、重心Ｃと重心Ｃ１の距離よりも重心Ｃと重心Ｃ２の距離の方が近いと判定し、重心Ｃ２を有する画像領域Ａ２を選択する。
【００３６】
尚、上述では、画像領域同士の位置関係を、頂点位置や重心位置に基づいて比較したが、位置関係を比較する際に用いられる各画像領域に対する位置は特に限定されるものではなく、その他の位置を用いて１つの画像領域を選択してもよい。また、上述では画像領域の重心を用いて位置関係を比較したが、画像領域が含む対象物の全部または一部に対して重心を求め、この位置関係を比較するとしてもよい。また、この場合に、画像領域内の輝度や色情報に基づいて対象物の重心を求めるとしてもよい。
【００３７】
画像領域選択部５３（表示制御手段）は、上述のようにして選択された対象物が複数の対象物のうちいずれの対象物であるかを、枠やマーク等を用いてフレーム画像Ｒ上に表示する。即ち画像領域選択部５３は、上述のように選択された１つの画像領域を含む枠を表示したり、対象物近傍にマーク等を表示したりして、選択された対象物をオペレータに報知する。
【００３８】
図８、図９は、選択された画像領域が表示された表示画面の一例を示す図である。画像領域選択部５３は、図６で上述したように商品Ｇ１、Ｇ２から商品Ｇ１が選択された場合には、商品Ｇ１の画像領域Ａ１を囲む枠Ｗ１を表示することにより、画像識別処理の対象である商品Ｇ１をオペレータに報知する。また、画像領域選択部５３は、図７で上述したように商品Ｇ１、Ｇ２から商品Ｇ２が選択された場合には、商品Ｇ２の画像領域Ａ２を囲む枠Ｗ２を表示することにより、画像識別処理の対象である商品Ｇ２をオペレータに報知する。
【００３９】
尚、枠Ｗ１、Ｗ２は商品Ｇ１または商品Ｇ２が唯一に選択されていることが明示されればその形状や表示位置、大きさ、色は特に限定されるものではなく、円形状や楕円形状など、矩形以外の形状の枠を用いてもよい。また、枠の大きさは、選択された画像領域より大きくてもよいし、画像領域よりも小さくてもよい。また、選択された画像領域は、枠以外のもので表示されてもよく、矢印等のマークなどによって選択された画像領域がどこにあるかを表示してもよい。また、選択された画像領域と、それ以外の領域との輝度や色、コントラスト等を変えて、選択された画像領域を示してもよい。さらに、これらを組合わせて表示を行うとしてもよい。
【００４０】
図１０は、選択された画像領域を異なる輝度で表示した場合の画面例を示す図である。図１０に示すように、画像領域選択部５３は、選択された画像領域Ａ２と、フレーム画像Ｒ内のその他の領域とを異なる輝度で表示し、画像領域Ａ２以外の領域をグレイアウトさせて表示させるとしてもよい。これにより、選択された画像領域Ａ２を際立たせて表示し、選択された領域を視認しやすくすることができる。
【００４１】
類似度算出部５４は、画像領域選択部５３が選択した画像領域に含まれる商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部５４は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。
【００４２】
また、類似度算出部５４は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。
【００４３】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００４４】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００４５】
なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００４６】
類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。
【００４７】
商品候補提示部５５は、類似度算出部５４が算出した類似度に基づいて、撮像部１６４が撮像した商品Ｇの候補（以下、商品候補という）を表示デバイス１０６に表示させる。より詳細には、商品候補提示部５５は、類似度が所定値以上となった登録商品を商品候補とする。そして、この登録商品のイラスト画像および商品名をＰＬＵファイルＦ１から読み出し、類似度の高いものから、表示デバイス１０６の表示画面上に順次表示させる。
【００４８】
このように、類似度算出部５４及び商品候補提示部５５は、画像領域選択部５３が選択した画像領域に含まれる対象物の画像と、登録商品の商品画像との類似度に基づいて、撮像部１６４によって撮像された商品を識別する商品識別手段として機能する。
【００４９】
図８、図９に示すように、フレーム画像Ｒの表示領域の隣には商品候補を提示するための商品候補提示領域８３が設けられている。商品候補提示領域８３には、選択された画像領域に含まれる商品画像と類似度の高い登録商品から順に、その商品候補のイラスト画像または商品名が表示される。
【００５０】
即ち、図８では、枠Ｗ１で選択されている商品Ｇ１の画像と類似度の高い登録商品から順に、その商品候補のイラスト画像Ｇ１１、Ｇ１２、Ｇ１３および各商品名が表示されている。図９では、枠Ｗ２で選択されている商品Ｇ２の画像と類似度の高い登録商品から順に、その商品候補のイラスト画像Ｇ２１、Ｇ２２、Ｇ２３および各商品名が表示されている。これらイラスト画像Ｇ１１〜Ｇ１３（図８参照）、Ｇ２１〜Ｇ２３（図９参照）はタッチパネル１０５に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域８３の下部には、商品リストから商品を選択するための選択ボタン８４が設けられており、商品リストから選択された商品は売上登録される商品として処理される。
【００５１】
尚、図８、図９では、商品Ｇ１、Ｇ２の商品候補としてそれぞれ商品候補が３つずつ表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。また、イラスト画像の代わりに商品画像（写真）が表示されてもよい。
【００５２】
入力受付部５６は、タッチパネル１０５またはキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受付ける。また、入力受付部５６は、表示デバイス１０６に表示された商品候補の中からいずれか１つの商品候補に対する選択操作を受付ける。入力受付部５６は、選択された登録商品を、商品Ｇに対応する商品として受付ける。
【００５３】
情報出力部５７は、入力受付部５６が受付けた商品について、その商品を示す情報（例えば、商品ＩＤや商品名、選択された商品画像の画像ファイル名等）を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。
【００５４】
尚、情報出力部５７は、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともにＰＯＳ端末１１に出力するとしてもよい。また、情報出力部５７がＰＯＳ端末１１に出力する情報としては、情報出力部５７がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品画像のファイル名や商品名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知してもよい。
【００５５】
ＰＯＳ端末１１の売上登録部６１１は、情報出力部５７から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
【００５６】
次に、チェックアウトシステム１の動作について詳細に説明する。図１１は、チェックアウトシステム１の動作例を示すフローチャートである。
【００５７】
先ず、商品読取装置１０１の動作について説明する。ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１１）。
【００５８】
画像取込部５１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像Ｒを取り込む（ステップＳ１２）。次いで、画像領域検出部５２は、画像取込部５１が取り込んだフレーム画像Ｒに含まれる商品Ｇの全部または一部を含む画像領域を検出する（ステップＳ１３）。
【００５９】
画像領域選択部５３は、複数の画像領域が検出されたか否かを判定する（ステップＳ１４）。画像領域が１つだけ検出された場合（ステップＳ１４：Ｎｏ）にはステップＳ１７に移行する。画像領域が複数検出された場合（ステップＳ１４：Ｙｅｓ）には、画像領域選択部５３は、上述したように画像領域の位置関係に基づいていずれか１つの画像領域を選択する（ステップＳ１５）。また、画像領域選択部５３は、フレーム画像Ｒ（図９参照）上に、ステップＳ１５で選択された画像領域を囲う枠を表示する（ステップＳ１６）。
【００６０】
続いて、類似度算出部５４は、ステップＳ１４で画像領域が１つだけ検出されたと判定された場合（ステップＳ１４：Ｎｏ）には、その１つの画像領域に含まれる商品と登録商品との類似度を算出する（ステップＳ１７）。また、類似度算出部５４は、ステップＳ１４で画像領域が複数あると判定された場合（ステップＳ１４：Ｙｅｓ）にはステップＳ１５で選択された１つの画像領域に含まれる商品と登録商品との類似度を算出する（ステップＳ１７）。
【００６１】
そして、商品候補提示部５５は、ステップＳ１７で算出された類似度に基づいて、商品候補となる登録商品の商品画像および商品名を、類似度の高い順にソートして商品候補提示領域８３（図９参照）に表示する（ステップＳ１８）。
【００６２】
入力受付部５６は、登録商品の商品画像に対する選択操作を受付けたか否かを判定する（ステップＳ１９）。選択を受付けない場合（ステップＳ１９：Ｎｏ）にはステップＳ１２に移行する。選択を受付けた場合（ステップＳ１９：Ｙｅｓ）には、入力受付部５６は、選択された登録商品を売上登録する商品として判定する。そして、情報出力部５７は、ステップＳ１９で選択された登録商品の商品ＩＤ等を、キーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に出力する（ステップＳ２０）。
【００６３】
次に、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ２１）。業務を継続する場合（ステップＳ２１：Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ２１：Ｙｅｓ）、画像取込部５１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ２２）、処理を終了する。
【００６４】
なお、上述のステップＳ２０では、キーボード１０７を介して販売個数の入力を受付けるとしたが、販売個数の入力方法は特に限定されるものではない。例えば、選択された画像領域にタッチする回数を販売個数として受付けてもよい。
【００６５】
次に、ＰＯＳ端末１１の動作について説明する。まず、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１がステップＳ２０で出力した、確定商品の商品ＩＤとその販売個数とを受信する（ステップＳ３１）。次いで、売上登録部６１１は、ステップＳ３１で受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイル（不図示）に登録する（ステップＳ３２）。続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ３３）。業務を継続する場合（ステップＳ３３：Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ再び戻り処理を継続させる。業務を終了する場合（ステップＳ３３：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００６６】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６７】
例えば、複数の画像領域から１つの画像領域を選択する方法は、上述した例に限定されるものではなく、その他の方法を用いてもよい。一例として、画像領域選択部５３は、各画像領域（Ａ１、Ａ２等）における輝度など、画像領域内の画像データを比較することによって、複数の画像領域から１つの画像領域を選択してもよい。また、いずれの比較方法を用いるか、或いはその比較方法に用いられるパラメータ等は、ユーザによって選択可能または変更可能に構成されてもよい。
【００６８】
また、上述では、対象物として商品の全部または一部を含む画像領域を検出するとしたが、対象物は商品に限定されるものではない。例えばオペレータの手がその他の対象物として撮像された場合であって、類似度に基づいて対象物が手であると判定された場合に、画像領域選択部５３は、手を含む画像領域を除外して、それ以外の画像領域から１つの対象物を選択する形態としてもよい。
【００６９】
また、上述した各表示画面の構成は、図８、図９の例に限らず、他の要素を表示するための表示領域や操作ボタンを設ける形態としてよい。
【００７０】
また、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。
【００７１】
また、上記実施形態では、商品読取装置１０１が類似度算出部５４の機能を有するとしたが、これに限らず、ＰＯＳ端末１１が類似度算出部５４の機能を備えて、類似度の算出結果を商品読取装置１０１に出力する形態としてもよい。
【００７２】
また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１との２台構成としたが、これに限らず、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としてもよい。
【００７３】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００７４】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【００７５】
以上のように、上述した実施形態によれば、フレーム画像に対象物が複数検出された場合に、いずれか１つの対象物を選択し、この対象物に対して商品の識別を行う。従って、複数の対象物が検出された場合でも１つの対象物に絞って識別処理を行うので、識別処理にかかる負担を低減することが可能な情報処理装置およびプログラムを提供することができる。
【符号の説明】
【００７６】
１…チェックアウトシステム、１１…ＰＯＳ端末、１０１…商品読取装置、５１…画像取込部、５２…画像領域検出部、５３…画像領域選択部、５４…類似度算出部、５５…商品候補提示部、５６…入力受付部、５７…情報出力部、６１１…売上登録部、１０６…表示デバイス、８３…商品候補提示領域、８４…選択ボタン、Ａ１、Ａ２…画像領域、Ｂ１、Ｂ２、Ｂ３、Ｂ４…線分、Ｃ、Ｃ１、Ｃ２…重心、Ｇ、Ｇ１、Ｇ２…商品、Ｇ１１〜Ｇ１３、Ｇ２１〜Ｇ２３…イラスト画像、Ｐ、Ｐ１、Ｐ２…頂点、Ｒ…フレーム画像、Ｗ１、Ｗ２…枠
【先行技術文献】
【特許文献】
【００７７】
【特許文献１】特開２００３−１７３３６９号公報
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、物品を撮像した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識（検出）する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する店舗システムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら従来技術においては、画像データにおいて複数の対象物が検出された場合に、識別処理にかかる負担が大きいという課題があった。
【課題を解決するための手段】
【０００４】
実施形態の情報処理装置は、取込手段と、検出手段と、選択手段と、表示制御手段と、商品識別手段とを備える。取込手段は、撮像手段が撮像した画像を取り込む。検出手段は、前記取込手段により取り込まれた画像に含まれる対象物の全部または一部を検出する。選択手段は、前記検出手段が複数の対象物を検出した場合に、いずれか１つの対象物を選択する。表示制御手段は、前記取込手段により取り込まれた画像上に、前記選択手段により選択された対象物が複数の対象物のうちいずれの対象物であるかを表示する。商品識別手段は、前記選択手段が選択した対象物の全部または一部の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度に基づいて、前記撮像手段によって撮像された商品を識別する。
【図面の簡単な説明】
【０００５】
【図１】図１は、本実施形態に係るチェックアウトシステム（店舗システム）の一例を示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図４】図４は、ＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。
【図５】図５は、画像取込部によって取り込まれたフレーム画像の一例を示す図である。
【図６】図６は、画像領域の頂点の位置に基づいて１つの画像領域を選択する方法を説明する図である。
【図７】図７は、画像領域の重心の位置に基づいて１つの画像領域を選択する方法を説明する図である。
【図８】図８は、選択された画像領域が表示された表示画面の一例を示す図である。
【図９】図９は、選択された画像領域が表示された表示画面のその他の例を示す図である。
【図１０】図１０は、選択された画像領域を異なる輝度で表示した場合の画面例を示す図である。
【図１１】図１１は、チェックアウトシステムの動作例を示すフローチャートである。
【発明を実施するための形態】
【０００６】
図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ端末１１とを備える。以下では、商品読取装置１０１を本実施形態にかかる情報処理装置として適用する例について説明する。尚、以下では、複数の図面に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する場合がある。
【０００７】
ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転可能に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【０００８】
ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
【０００９】
カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１０】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１１】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。
【００１２】
商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。
【００１３】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。
【００１４】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１５】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１６】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００１７】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録にかかる情報と、その商品Ｇの画像との関連付けが設定された商品ファイルである。
【００１８】
図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ｇごとに、ユニークに割り当てられた商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像とを、その商品Ｇの商品情報として格納するファイルである。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成されている。
【００１９】
なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、商品画像から読み取られる色合いや表面の凹凸状況等特徴量を、各商品について格納する形態としてもよい。
【００２０】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２１】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００２２】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２３】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。
【００２４】
音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。
【００２５】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。
【００２６】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図４を参照して説明する。
【００２７】
図４は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図４に示すように、商品読取装置１０１のＣＰＵ１６１は、ＲＯＭ１６２が格納するプログラムを実行することにより、画像取込部５１、画像領域検出部５２、画像領域選択部５３、類似度算出部５４、商品候補提示部５５、入力受付部５６、情報出力部５７としての機能を備える。また、同様に、ＰＯＳ端末１１のＣＰＵ６１は、プログラムＰＲを実行することにより、売上登録部６１１としての機能を備える。
【００２８】
画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像部１６４は、撮像部１６４の読取領域に対するフレーム画像Ｒ（図５参照）を撮像し、ＲＡＭ１６３に格納する。画像取込部５１は、ＲＡＭ１６３に保存された順に従ってフレーム画像を順次取り込む。
【００２９】
図５は、画像取込部５１によって取り込まれたフレーム画像Ｒの一例を示す図である。図５に示すように、オペレータが読取窓１０３に商品をかざすと、撮像部１６４の読取領域には撮像対象物である商品の全部または一部が撮影される。図５では、対象物として２つの商品Ｇ１、Ｇ２（特に限定しない場合には商品Ｇという）が撮影された場合を示している。尚、例えばオペレータの手などの商品以外の対象物が撮影された場合には、フレーム画像Ｒに当該対象物の全部または一部が含まれる。
【００３０】
画像領域検出部５２は、画像取込部５１により取り込まれたフレーム画像Ｒに含まれる対象物の全部または一部を検出（抽出）する。より詳細には、画像領域検出部５２は、フレーム画像Ｒに含まれる商品Ｇの全部または一部を含む画像領域を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、対象物が含まれる画像領域を検出する。
【００３１】
図５の例では、画像領域検出部５２は、商品Ｇ１を含む画像領域Ａ１と、商品Ｇ２を含む画像領域Ａ２とを検出する。尚、画像領域の形状は特に限定されるものではなく、図５のように矩形であってもよいし、円形状、楕円形状などその他の形状であってもよく、これらが回転した形状であってもよい。
【００３２】
画像領域選択部５３は、画像領域検出部５２が複数の対象物を検出した場合に、いずれか１つの対象物を選択する。より詳細には、画像領域選択部５３は、画像領域検出部５２によって画像領域が複数検出された場合に、対象物（商品Ｇ）の全部または一部を含む画像領域のフレーム画像Ｒ内における位置に基づいて、いずれか１つの画像領域を選択する。
【００３３】
図６は、本実施形態において、画像領域の頂点の位置に基づいて１つの画像領域を選択する方法を説明する図である。画像領域選択部５３は、各画像領域Ａ１、Ａ２の左上隅の頂点Ｐ１、Ｐ２と、フレーム画像Ｒの左上の頂点Ｐとの距離が最も近い画像領域を１つ選択する。一例として、画像領域選択部５３は、頂点Ｐと頂点Ｐ１とを結ぶ線分Ｂ１の長さと、頂点Ｐと頂点Ｐ２とを結ぶ線分Ｂ２の長さとを比較し、長さが短い方の画像領域Ａ１を選択する。
【００３４】
尚、上述では、各画像領域Ａ１、Ａ２の左上隅の頂点Ｐ１、Ｐ２の位置を比較したが、画像領域Ａ１、Ａ２のその他の部分の位置を比較してもよい。その他の例として、画像領域Ａ１、Ａ２の重心の位置同士を比較してもよい。
【００３５】
図７は、画像領域の重心の位置に基づいて１つの画像領域を選択する方法を説明する図である。図７では、上述のように商品Ｇ１、Ｇ２に対する２つの画像領域Ａ１、Ａ２がそれぞれ検出された場合を用いて説明する。画像領域選択部５３は、画像領域の重心が、フレーム画像Ｒの重心Ｃに最も近い画像領域を１つ選択する。一例として、画像領域選択部５３は、画像領域Ａ１の重心Ｃ１とフレーム画像Ｒの重心Ｃとを結ぶ線分Ｂ３の長さと、画像領域Ａ２の重心Ｃ２とフレーム画像Ｒの重心Ｃとを結ぶ線分Ｂ４の長さとを比較して、重心Ｃに最も近い重心を有する画像領域を１つ選択する。図７の例では、画像領域選択部５３は、重心Ｃと重心Ｃ１の距離よりも重心Ｃと重心Ｃ２の距離の方が近いと判定し、重心Ｃ２を有する画像領域Ａ２を選択する。
【００３６】
尚、上述では、画像領域同士の位置関係を、頂点位置や重心位置に基づいて比較したが、位置関係を比較する際に用いられる各画像領域に対する位置は特に限定されるものではなく、その他の位置を用いて１つの画像領域を選択してもよい。また、上述では画像領域の重心を用いて位置関係を比較したが、画像領域が含む対象物の全部または一部に対して重心を求め、この位置関係を比較するとしてもよい。また、この場合に、画像領域内の輝度や色情報に基づいて対象物の重心を求めるとしてもよい。
【００３７】
画像領域選択部５３（表示制御手段）は、上述のようにして選択された対象物が複数の対象物のうちいずれの対象物であるかを、枠やマーク等を用いてフレーム画像Ｒ上に表示する。即ち画像領域選択部５３は、上述のように選択された１つの画像領域を含む枠を表示したり、対象物近傍にマーク等を表示したりして、選択された対象物をオペレータに報知する。
【００３８】
図８、図９は、選択された画像領域が表示された表示画面の一例を示す図である。画像領域選択部５３は、図６で上述したように商品Ｇ１、Ｇ２から商品Ｇ１が選択された場合には、商品Ｇ１の画像領域Ａ１を囲む枠Ｗ１を表示することにより、画像識別処理の対象である商品Ｇ１をオペレータに報知する。また、画像領域選択部５３は、図７で上述したように商品Ｇ１、Ｇ２から商品Ｇ２が選択された場合には、商品Ｇ２の画像領域Ａ２を囲む枠Ｗ２を表示することにより、画像識別処理の対象である商品Ｇ２をオペレータに報知する。
【００３９】
尚、枠Ｗ１、Ｗ２は商品Ｇ１または商品Ｇ２が唯一に選択されていることが明示されればその形状や表示位置、大きさ、色は特に限定されるものではなく、円形状や楕円形状など、矩形以外の形状の枠を用いてもよい。また、枠の大きさは、選択された画像領域より大きくてもよいし、画像領域よりも小さくてもよい。また、選択された画像領域は、枠以外のもので表示されてもよく、矢印等のマークなどによって選択された画像領域がどこにあるかを表示してもよい。また、選択された画像領域と、それ以外の領域との輝度や色、コントラスト等を変えて、選択された画像領域を示してもよい。さらに、これらを組合わせて表示を行うとしてもよい。
【００４０】
図１０は、選択された画像領域を異なる輝度で表示した場合の画面例を示す図である。図１０に示すように、画像領域選択部５３は、選択された画像領域Ａ２と、フレーム画像Ｒ内のその他の領域とを異なる輝度で表示し、画像領域Ａ２以外の領域をグレイアウトさせて表示させるとしてもよい。これにより、選択された画像領域Ａ２を際立たせて表示し、選択された領域を視認しやすくすることができる。
【００４１】
類似度算出部５４は、画像領域選択部５３が選択した画像領域に含まれる商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部５４は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。
【００４２】
また、類似度算出部５４は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。
【００４３】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００４４】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００４５】
なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００４６】
類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。
【００４７】
商品候補提示部５５は、類似度算出部５４が算出した類似度に基づいて、撮像部１６４が撮像した商品Ｇの候補（以下、商品候補という）を表示デバイス１０６に表示させる。より詳細には、商品候補提示部５５は、類似度が所定値以上となった登録商品を商品候補とする。そして、この登録商品のイラスト画像および商品名をＰＬＵファイルＦ１から読み出し、類似度の高いものから、表示デバイス１０６の表示画面上に順次表示させる。
【００４８】
このように、類似度算出部５４及び商品候補提示部５５は、画像領域選択部５３が選択した画像領域に含まれる対象物の画像と、登録商品の商品画像との類似度に基づいて、撮像部１６４によって撮像された商品を識別する商品識別手段として機能する。
【００４９】
図８、図９に示すように、フレーム画像Ｒの表示領域の隣には商品候補を提示するための商品候補提示領域８３が設けられている。商品候補提示領域８３には、選択された画像領域に含まれる商品画像と類似度の高い登録商品から順に、その商品候補のイラスト画像または商品名が表示される。
【００５０】
即ち、図８では、枠Ｗ１で選択されている商品Ｇ１の画像と類似度の高い登録商品から順に、その商品候補のイラスト画像Ｇ１１、Ｇ１２、Ｇ１３および各商品名が表示されている。図９では、枠Ｗ２で選択されている商品Ｇ２の画像と類似度の高い登録商品から順に、その商品候補のイラスト画像Ｇ２１、Ｇ２２、Ｇ２３および各商品名が表示されている。これらイラスト画像Ｇ１１〜Ｇ１３（図８参照）、Ｇ２１〜Ｇ２３（図９参照）はタッチパネル１０５に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域８３の下部には、商品リストから商品を選択するための選択ボタン８４が設けられており、商品リストから選択された商品は売上登録される商品として処理される。
【００５１】
尚、図８、図９では、商品Ｇ１、Ｇ２の商品候補としてそれぞれ商品候補が３つずつ表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。また、イラスト画像の代わりに商品画像（写真）が表示されてもよい。
【００５２】
入力受付部５６は、タッチパネル１０５またはキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受付ける。また、入力受付部５６は、表示デバイス１０６に表示された商品候補の中からいずれか１つの商品候補に対する選択操作を受付ける。入力受付部５６は、選択された登録商品を、商品Ｇに対応する商品として受付ける。
【００５３】
情報出力部５７は、入力受付部５６が受付けた商品について、その商品を示す情報（例えば、商品ＩＤや商品名、選択された商品画像の画像ファイル名等）を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。
【００５４】
尚、情報出力部５７は、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともにＰＯＳ端末１１に出力するとしてもよい。また、情報出力部５７がＰＯＳ端末１１に出力する情報としては、情報出力部５７がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品画像のファイル名や商品名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知してもよい。
【００５５】
ＰＯＳ端末１１の売上登録部６１１は、情報出力部５７から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
【００５６】
次に、チェックアウトシステム１の動作について詳細に説明する。図１１は、チェックアウトシステム１の動作例を示すフローチャートである。
【００５７】
先ず、商品読取装置１０１の動作について説明する。ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１１）。
【００５８】
画像取込部５１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像Ｒを取り込む（ステップＳ１２）。次いで、画像領域検出部５２は、画像取込部５１が取り込んだフレーム画像Ｒに含まれる商品Ｇの全部または一部を含む画像領域を検出する（ステップＳ１３）。
【００５９】
画像領域選択部５３は、複数の画像領域が検出されたか否かを判定する（ステップＳ１４）。画像領域が１つだけ検出された場合（ステップＳ１４：Ｎｏ）にはステップＳ１７に移行する。画像領域が複数検出された場合（ステップＳ１４：Ｙｅｓ）には、画像領域選択部５３は、上述したように画像領域の位置関係に基づいていずれか１つの画像領域を選択する（ステップＳ１５）。また、画像領域選択部５３は、フレーム画像Ｒ（図９参照）上に、ステップＳ１５で選択された画像領域を囲う枠を表示する（ステップＳ１６）。
【００６０】
続いて、類似度算出部５４は、ステップＳ１４で画像領域が１つだけ検出されたと判定された場合（ステップＳ１４：Ｎｏ）には、その１つの画像領域に含まれる商品と登録商品との類似度を算出する（ステップＳ１７）。また、類似度算出部５４は、ステップＳ１４で画像領域が複数あると判定された場合（ステップＳ１４：Ｙｅｓ）にはステップＳ１５で選択された１つの画像領域に含まれる商品と登録商品との類似度を算出する（ステップＳ１７）。
【００６１】
そして、商品候補提示部５５は、ステップＳ１７で算出された類似度に基づいて、商品候補となる登録商品の商品画像および商品名を、類似度の高い順にソートして商品候補提示領域８３（図９参照）に表示する（ステップＳ１８）。
【００６２】
入力受付部５６は、登録商品の商品画像に対する選択操作を受付けたか否かを判定する（ステップＳ１９）。選択を受付けない場合（ステップＳ１９：Ｎｏ）にはステップＳ１２に移行する。選択を受付けた場合（ステップＳ１９：Ｙｅｓ）には、入力受付部５６は、選択された登録商品を売上登録する商品として判定する。そして、情報出力部５７は、ステップＳ１９で選択された登録商品の商品ＩＤ等を、キーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に出力する（ステップＳ２０）。
【００６３】
次に、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ２１）。業務を継続する場合（ステップＳ２１：Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ２１：Ｙｅｓ）、画像取込部５１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ２２）、処理を終了する。
【００６４】
なお、上述のステップＳ２０では、キーボード１０７を介して販売個数の入力を受付けるとしたが、販売個数の入力方法は特に限定されるものではない。例えば、選択された画像領域にタッチする回数を販売個数として受付けてもよい。
【００６５】
次に、ＰＯＳ端末１１の動作について説明する。まず、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１がステップＳ２０で出力した、確定商品の商品ＩＤとその販売個数とを受信する（ステップＳ３１）。次いで、売上登録部６１１は、ステップＳ３１で受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイル（不図示）に登録する（ステップＳ３２）。続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ３３）。業務を継続する場合（ステップＳ３３：Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ再び戻り処理を継続させる。業務を終了する場合（ステップＳ３３：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００６６】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６７】
例えば、複数の画像領域から１つの画像領域を選択する方法は、上述した例に限定されるものではなく、その他の方法を用いてもよい。一例として、画像領域選択部５３は、各画像領域（Ａ１、Ａ２等）における輝度など、画像領域内の画像データを比較することによって、複数の画像領域から１つの画像領域を選択してもよい。また、いずれの比較方法を用いるか、或いはその比較方法に用いられるパラメータ等は、ユーザによって選択可能または変更可能に構成されてもよい。
【００６８】
また、上述では、対象物として商品の全部または一部を含む画像領域を検出するとしたが、対象物は商品に限定されるものではない。例えばオペレータの手がその他の対象物として撮像された場合であって、類似度に基づいて対象物が手であると判定された場合に、画像領域選択部５３は、手を含む画像領域を除外して、それ以外の画像領域から１つの対象物を選択する形態としてもよい。
【００６９】
また、上述した各表示画面の構成は、図８、図９の例に限らず、他の要素を表示するための表示領域や操作ボタンを設ける形態としてよい。
【００７０】
また、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。
【００７１】
また、上記実施形態では、商品読取装置１０１が類似度算出部５４の機能を有するとしたが、これに限らず、ＰＯＳ端末１１が類似度算出部５４の機能を備えて、類似度の算出結果を商品読取装置１０１に出力する形態としてもよい。
【００７２】
また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１との２台構成としたが、これに限らず、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としてもよい。
【００７３】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００７４】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【００７５】
以上のように、上述した実施形態によれば、フレーム画像に対象物が複数検出された場合に、いずれか１つの対象物を選択し、この対象物に対して商品の識別を行う。従って、複数の対象物が検出された場合でも１つの対象物に絞って識別処理を行うので、識別処理にかかる負担を低減することが可能な情報処理装置およびプログラムを提供することができる。
【符号の説明】
【００７６】
１…チェックアウトシステム、１１…ＰＯＳ端末、１０１…商品読取装置、５１…画像取込部、５２…画像領域検出部、５３…画像領域選択部、５４…類似度算出部、５５…商品候補提示部、５６…入力受付部、５７…情報出力部、６１１…売上登録部、１０６…表示デバイス、８３…商品候補提示領域、８４…選択ボタン、Ａ１、Ａ２…画像領域、Ｂ１、Ｂ２、Ｂ３、Ｂ４…線分、Ｃ、Ｃ１、Ｃ２…重心、Ｇ、Ｇ１、Ｇ２…商品、Ｇ１１〜Ｇ１３、Ｇ２１〜Ｇ２３…イラスト画像、Ｐ、Ｐ１、Ｐ２…頂点、Ｒ…フレーム画像、Ｗ１、Ｗ２…枠
【先行技術文献】
【特許文献】
【００７７】
【特許文献１】特開２００３−１７３３６９号公報
【特許請求の範囲】
【請求項１】
撮像手段が撮像した画像を取り込む取込手段と、
前記取込手段により取り込まれた画像に含まれる対象物の全部または一部を検出する検出手段と、
前記検出手段が複数の対象物を検出した場合に、いずれか１つの対象物を選択する選択手段と、
前記取込手段により取り込まれた画像上に、前記選択手段により選択された対象物が複数の対象物のうちいずれの対象物であるかを表示する表示制御手段と、
前記選択手段が選択した対象物の全部または一部の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度に基づいて、前記撮像手段によって撮像された商品を識別する商品識別手段と、
を備える情報処理装置。
【請求項２】
前記検出手段は、前記対象物の全部または一部を含む画像領域を検出し、
前記選択手段は、前記画像領域が複数検出された場合に、前記取込手段により取り込まれた画像における前記画像領域の位置に基づいて、いずれか１つの前記画像領域を選択し、
前記商品識別手段は、前記選択手段が選択した前記画像領域に含まれる対象物の画像と、前記基準画像との前記類似度に基づいて、前記撮像手段によって撮像された商品を識別する、請求項１に記載の情報処理装置。
【請求項３】
前記選択手段は更に、前記取込手段により取り込まれた前記各画像領域の輝度に基づいて、いずれか１つの前記画像領域を選択する、請求項２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記取込手段により取り込まれた画像上に、前記選択手段により選択された前記画像領域を含む枠を表示する、請求項２または３のいずれか１つに記載の情報処理装置。
【請求項５】
前記商品識別手段は、前記選択手段により選択された１つの対象物と前記基準画像との前記類似度に基づいて、前記撮像手段により撮像された商品の候補を識別し、
前記表示制御手段は、前記取込手段により取り込まれた画像上に前記選択手段により選択された対象物がいずれの対象物であるかを表示するとともに、前記商品識別手段により識別された前記商品の候補に関する情報を、前記類似度の順に並べて表示する、
請求項１ないし４のいずれか１つに記載の情報処理装置。
【請求項６】
情報処理装置を制御するコンピュータを、
撮像手段が撮像した画像を取り込む取込手段と、
前記取込手段により取り込まれた画像に含まれる対象物の全部または一部を検出する検出手段と、
前記検出手段が複数の対象物を検出した場合に、いずれか１つの対象物を選択する選択手段と、
前記取込手段により取り込まれた画像上に、前記選択手段により選択された対象物が複数の対象物のうちいずれの対象物であるかを表示する表示制御手段と、
前記選択手段が選択した対象物の全部または一部の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度に基づいて、前記撮像手段によって撮像された商品を識別する商品識別手段と、
として機能させるためのプログラム。
【請求項１】
撮像手段が撮像した画像を取り込む取込手段と、
前記取込手段により取り込まれた画像に含まれる対象物の全部または一部を検出する検出手段と、
前記検出手段が複数の対象物を検出した場合に、いずれか１つの対象物を選択する選択手段と、
前記取込手段により取り込まれた画像上に、前記選択手段により選択された対象物が複数の対象物のうちいずれの対象物であるかを表示する表示制御手段と、
前記選択手段が選択した対象物の全部または一部の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度に基づいて、前記撮像手段によって撮像された商品を識別する商品識別手段と、
を備える情報処理装置。
【請求項２】
前記検出手段は、前記対象物の全部または一部を含む画像領域を検出し、
前記選択手段は、前記画像領域が複数検出された場合に、前記取込手段により取り込まれた画像における前記画像領域の位置に基づいて、いずれか１つの前記画像領域を選択し、
前記商品識別手段は、前記選択手段が選択した前記画像領域に含まれる対象物の画像と、前記基準画像との前記類似度に基づいて、前記撮像手段によって撮像された商品を識別する、請求項１に記載の情報処理装置。
【請求項３】
前記選択手段は更に、前記取込手段により取り込まれた前記各画像領域の輝度に基づいて、いずれか１つの前記画像領域を選択する、請求項２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記取込手段により取り込まれた画像上に、前記選択手段により選択された前記画像領域を含む枠を表示する、請求項２または３のいずれか１つに記載の情報処理装置。
【請求項５】
前記商品識別手段は、前記選択手段により選択された１つの対象物と前記基準画像との前記類似度に基づいて、前記撮像手段により撮像された商品の候補を識別し、
前記表示制御手段は、前記取込手段により取り込まれた画像上に前記選択手段により選択された対象物がいずれの対象物であるかを表示するとともに、前記商品識別手段により識別された前記商品の候補に関する情報を、前記類似度の順に並べて表示する、
請求項１ないし４のいずれか１つに記載の情報処理装置。
【請求項６】
情報処理装置を制御するコンピュータを、
撮像手段が撮像した画像を取り込む取込手段と、
前記取込手段により取り込まれた画像に含まれる対象物の全部または一部を検出する検出手段と、
前記検出手段が複数の対象物を検出した場合に、いずれか１つの対象物を選択する選択手段と、
前記取込手段により取り込まれた画像上に、前記選択手段により選択された対象物が複数の対象物のうちいずれの対象物であるかを表示する表示制御手段と、
前記選択手段が選択した対象物の全部または一部の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度に基づいて、前記撮像手段によって撮像された商品を識別する商品識別手段と、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−８９０９０（Ｐ２０１３−８９０９０Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２３００９１（Ｐ２０１１−２３００９１）
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]