情報処理装置およびプログラム
【課題】商品の売上情報を確認する際のオペレータの操作を容易化する。
【解決手段】本実施形態の情報処理装置は、画像表示手段と、商品特定手段と、売上表示手段とを有する。画像表示手段は、撮像装置が撮像した商品売場の画像を表示部に表示する。商品特定手段は、前記画像表示手段により前記表示部に表示された商品売場の画像上で指定された範囲に含まれる画像から商品を特定する。売上表示手段は、前記商品特定手段で特定された商品の売り上げに関する売上情報を前記表示部に表示する。
【解決手段】本実施形態の情報処理装置は、画像表示手段と、商品特定手段と、売上表示手段とを有する。画像表示手段は、撮像装置が撮像した商品売場の画像を表示部に表示する。商品特定手段は、前記画像表示手段により前記表示部に表示された商品売場の画像上で指定された範囲に含まれる画像から商品を特定する。売上表示手段は、前記商品特定手段で特定された商品の売り上げに関する売上情報を前記表示部に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置およびプログラムに関する。
【背景技術】
【０００２】
従来、スーパーマーケットなどの商品を販売する店舗では、店舗の事務所などに据え置き設置されるストアサーバにおいて、商品コードを入力することで、当該入力した商品コードに対応した商品の売り上げに関する売上情報を確認することが可能となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来では、商品の売上情報を確認する際のオペレータの操作が煩雑であるという課題がある。
【課題を解決するための手段】
【０００４】
本実施形態の情報処理装置は、画像表示手段と、商品特定手段と、売上表示手段とを有する。画像表示手段は、撮像装置が撮像した商品売場の画像を表示部に表示する。商品特定手段は、前記画像表示手段により前記表示部に表示された商品売場の画像上で指定された範囲に含まれる画像から商品を特定する。売上表示手段は、前記商品特定手段で特定された商品の売り上げに関する売上情報を前記表示部に表示する。
【図面の簡単な説明】
【０００５】
【図１】図１は、ＰＯＳシステムの概略的な構成を示すシステム構成図である。
【図２】図２は、情報端末の制御系のハードウェア構成を示すブロック図である。
【図３】図３は、情報端末の機能的構成を示すブロック図である。
【図４】図４は、液晶ディスプレイに表示される売上表示画面の一構成例を示す模式図である。
【図５】図５は、液晶ディスプレイに表示される売上表示画面の一構成例を示す模式図である。
【図６】図６は、液晶ディスプレイに表示される売上表示画面の一構成例を示す模式図である。
【図７】図７は、情報端末における処理動作の流れを示すフローチャートである。
【図８】図８は、図４に示す売上表示画面の変形例を示す模式図である。
【発明を実施するための形態】
【０００６】
以下、実施形態について添付図面を参照して説明する。
【０００７】
なお、本実施形態に係る情報処理装置およびプログラムは、概略的には、撮像装置が撮像した商品売場の画像を表示部に表示し、表示部に表示された商品売場の画像上で指定された範囲に含まれる画像から商品を特定し、該特定された商品の売り上げに関する売上情報を表示部に表示するが可能な装置およびプログラムである。
【０００８】
最初に、本実施形態に係る情報処理装置およびプログラムを適用したＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ：販売時点情報管理）システム１の構成について図１を用いて説明する。図１は、ＰＯＳシステム１の概略的な構成を示すシステム構成図である。
【０００９】
図１に示すように、このＰＯＳシステム１は、店舗のオフィスなどに設置されるストアサーバ装置２、記録装置３と、店舗の会計場所などに設置される複数台のＰＯＳ端末４（図１の例では、２台）と、商品売場に設置されるワイヤレスハブ５および複数台のカメラ（撮像装置）（図１の例では、３台）６とを備えている。
【００１０】
そして、このＰＯＳシステム１では、ストアサーバ装置２、記録装置３、ＰＯＳ端末４、ワイヤレスハブ５およびカメラ６がそれぞれＬＡＮ（Local Area Network）などの通信ネットワークＮにより相互に通信可能に接続されている。また、このＰＯＳシステム１では、ワイヤレスハブ５と携帯型の情報端末７とが無線通信ネットワークにより相互に通信可能に接続されている。
【００１１】
ここで、ストアサーバ装置２は、記録装置３、ＰＯＳ端末４およびカメラ６の上位装置としてのサーバ装置であり、具体的には、ＰＯＳ端末４との間で客の購入する商品の登録処理及び決済処理を行ったり、ＰＯＳ端末４との通信により、商品毎または部門毎の売り上げに関する売上情報（例えば、商品毎または部門毎の売上高や売上数など）を管理したりする。
【００１２】
記録装置３は、各カメラ７で撮像した撮像画像を記録するものである。
【００１３】
ＰＯＳ端末４は、スキャナから入力した商品コードに基づいて、ストアサーバ装置２との間で客の購入する商品の登録および会計処理を行うための端末である。なお、このＰＯＳ端末４は、客により購入された商品の情報を記憶管理する売上ファイルを所定の記憶部に記憶している。
【００１４】
ワイヤレスハブ５は、ストアサーバ装置２と情報端末７との間の無線通信を仲介する装置である。
【００１５】
カメラ６は、商品売場、特に商品売場に設置される各陳列棚に陳列されている商品を撮像するための撮像装置であり、例えば、商品売場のライブ画像を撮像するビデオカメラで構成される。
【００１６】
情報端末７は、店員に使用される携帯型の情報処理装置であり、各種情報を液晶ディスプレイ（表示部）７１に表示するものである。
【００１７】
次に、情報端末７の制御系のハードウェア構成について図２を用いて説明する。図２は、情報端末７の制御系のハードウェア構成を示すブロック図である。図２に示すように、情報端末７は、ＣＰＵ（Central Processing Unit）７０ａと、ＲＯＭ（Read Only Memory）７０ｂと、ＲＡＭ（Random Access Memory）７０ｃとを備えており、それらがバスラインＢＬを介して接続されている。ＣＰＵ７０ａは、ＲＯＭ７０ｂに格納されたプログラムをＲＡＭ７０ｃに展開して実行することにより、情報端末７の処理動作を制御する処理制御部７００（図３参照）として機能する。
【００１８】
また、ＣＰＵ７０ａには、バスラインＢＬやインタフェース（不図示）を介して、液晶ディスプレイ７１、タッチパネル７２、不揮発性メモリ７３と、通信インタフェース７４などが接続されている。ＲＯＭ７０ｂおよびＲＡＭ７０ｃは、記憶手段として機能するものであり、液晶ディスプレイ７１に各種情報を表示するための表示データを格納する。
【００１９】
次に、情報端末７の機能的構成について図３を用いて説明する。図３は、情報端末７の機能的構成を示すブロック図である。
【００２０】
図３に示すように、ＣＰＵ７０ａは、ＲＯＭ７０ｂなどに記憶されているプログラムをＲＡＭ７０ｃに展開して実行することにより、処理制御部７００として機能する。
【００２１】
処理制御部７００は、操作入力部７００ａと、表示処理部７００ｂと、商品特定部７００ｃと、売上情報生成部７００ｄと、ポップアップ情報生成部７００ｅとを有している。
【００２２】
ここで、操作入力部７００ａは、タッチパネル７２からの操作入力を受け付けるものであり、本実施形態では、図４〜図６に示す売上表示画面Ｓ１、Ｓ２、Ｓ３における操作入力を受け付ける。
【００２３】
表示処理部７００ｂは、液晶ディスプレイ７１に各種情報を表示するものであり、本実施形態では、通信インタフェース７４を介して取得したカメラ６の撮像画像と、後述の売上情報生成部７００ｄおよびポップアップ情報生成部７００ｅから入力した各種情報に基づいて図４〜図６に示す売上表示画面Ｓ１、Ｓ２、Ｓ３を液晶ディスプレイ７１に表示する。
【００２４】
図４〜図６は、液晶ディスプレイ７１に表示される売上表示画面の一構成例を示す模式図であり、図４が、売上情報が表示される前の状態を示す売上表示画面Ｓ１を示し、図５が、ある一つの商品の売り上げに関する売上情報を表示した売上表示画面Ｓ２を示し、図６が、ある一つの部門および該部門に属する商品の売り上げに関する売上情報を表示した売上表示画面Ｓ３を示している。
【００２５】
図４に示すように、この売上表示画面Ｓ１は、撮像する場所（即ち、カメラ６）を選択するためのカメラ選択ボタンＢＴと、上記カメラ選択ボタンＢＴで選択されたカメラ６で撮像されたライブの画像Ｐを表示するライブ画像表示エリアＥ１とを備えている。なお、カメラ選択ボタンＢＴをタッチ選択すると、例えば、図示しないプルダウンメニューが表示され、そのメニューから複数のカメラのいずれか一つを選択することが可能となっている。
【００２６】
一方、図５に示す売上表示画面Ｓ２は、上記売上表示画面Ｓ１と同様に、カメラ選択ボタンＢＴと、ライブ画像表示エリアＥ１とを備えるとともに、上記ライブ画像表示エリアＥ１に表示される画像Ｐ上でオペレータにより指やタッチペンなどで指定された範囲Ａ１の画像から特定された商品の売り上げに関する売上情報を表示する売上表示エリアＥ２を備えている。なお、ライブ画像表示エリアＥ１には、特定された商品に対応付けて当該商品の名称を表示するポップアップＢ１が表示される。また、売上表示エリアＥ２には、例えば、売上情報として商品名（例えば、４つ切スイカ）、売上高（例えば、￥４，０００）、売上数（２０）などを含む表Ｔ１が表示される。
【００２７】
一方、図６に示す売上表示画面Ｓ３は、上記売上表示画面Ｓ２と同様に、カメラ選択ボタンＢＴと、ライブ画像表示エリアＥ１と、売上表示エリアＥ２とを備えている。ただし、この売上表示画面Ｓ３では、売上表示エリアＥ２が表示する売上情報が売上表示画面Ｓ２の売上表示エリアＥ２に表示される売上情報と種類が異なっている。即ち、売上表示画面Ｓ３の売上表示エリアＥ２では、ライブ画像表示エリアＥ１に表示される画像Ｐ上で指定された範囲Ａ２の画像から特定された複数の商品およびそれら複数の商品が属する部門に関する売上情報を示す表Ｔ２が表示される。なお、この売上表示画面Ｓ３のライブ画像表示エリアＥ１には、上記売上表示画面Ｓ２と同様に、特定された複数の商品夫々に対応付けて各商品の名称を夫々表示するポップアップＢ１、Ｂ２、Ｂ３、Ｂ４が表示されている。
【００２８】
なお、上記ポップアップＢ１、Ｂ２、Ｂ３、Ｂ４は、それぞれ対応付けられる商品と略同様の背景色または商品をイメージし易い背景色を有している。図５、図６の例では、商品が「バナナ」である場合に、その商品に対応付けて表示されるポップアップの背景色を「黄色」とし、商品が「みかん」である場合に、その商品に対応付けて表示されるポップアップの背景色を「オレンジ色」としている。
【００２９】
図３に戻って、商品特定部７００ｃは、液晶ディスプレイ７１に表示された商品売場の画像Ｐ上でオペレータ（店員）により指定された範囲Ａ１、Ａ２の画像から商品の品種（例えば、「４つ切スイカ」など）を特定し、その特定した商品に固有に割り振られた商品コードを、商品の品種毎に固有の商品コードを対応付けて登録するテーブル（不図示）から検索するものである。
【００３０】
具体的には、商品特定部７００ｃは、上記指定された範囲の画像から、特徴量として商品の表面の状態（表面の色合い、模様（パターン）、凸凹状況など）を読み取って、予め登録されている商品毎の特徴量と比較することにより、特定の物体として商品を認識するものである。なお、商品特定部７００ｃは、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。
【００３１】
なお、上記のように画像中に含まれる商品を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３２】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３３】
売上情報生成部７００ｄは、商品特定部７００ｃにおいて一つの商品およびその商品コードが検索された場合には、当該商品コードをもとにストアサーバ装置２から当該商品コードに対応付けて記憶されている売上情報（ある一つの商品の売上高や売上数などを示す情報）を受信し、該受信した売上情報を示す表Ｔ１（図５参照）を液晶ディスプレイ７１に表示するための画像データを生成して表示処理部７００ｂに出力する。
【００３４】
また、売上情報生成部７００ｄは、商品特定部７００ｃにおいて複数の商品およびそれら複数の商品に夫々対応した複数の商品コードが検索された場合には、当該複数の商品コードをもとにストアサーバ装置２から各商品コードに対応付けて記憶されている売上情報（商品毎の商品の売上高や売上数などを示す情報）と、それら複数の商品コードの上位コードである部門コード（１または複数）に対応付けて記憶されている売上情報（部門の売上高や売上数などを示す情報）とを受信し、該受信した売上情報を示す表Ｔ２（図６参照）を液晶ディスプレイ７１に表示するための画像データを生成して表示処理部７００ｂに出力する。
【００３５】
ポップアップ情報生成部７００ｅは、商品特定部７００ｃで特定された商品の名称を表示する上記ポップアップＢ１、Ｂ２、Ｂ３、Ｂ４を表示するための画像データを生成し、表示処理部７００ｂに出力する。
【００３６】
次に、情報端末７における処理動作について図７を用いて説明する。図７は、情報端末７における処理動作の流れを示すフローチャートであり、特に、売上情報を表示する場合の処理手順を示している。
【００３７】
図７に示すように、この処理では、まず、ステップＳ１１において、処理制御部７００の表示処理部７００ｂが、オペレータによる所定の操作に基づいて図４に示す売上表示画面Ｓ１を液晶ディスプレイ７１に表示する。
【００３８】
その後、処理制御部７００では、ステップＳ１２において、オペレータによって指やタッチペンなどで範囲指定操作が行われるか否かを監視している。そして、この監視状態においてオペレータによる範囲指定操作が行われた場合（ステップＳ１２：Ｙｅｓ）、続いて、ステップＳ１３において、商品特定部７００ｃが、当該指定された範囲の画像から商品の品種を特定し、その特定した商品の品種に対応した固有の商品コードを検索する処理を行う。
【００３９】
その後、上記特定処理により、一つの商品が特定されると（ステップＳ１４：Ｎｏ）、続いて、ステップＳ１５において、売上情報生成部７００ｄが、上記ステップＳ１３で特定された一つの商品に対応した商品コードをもとにストアサーバ装置２から当該商品コードに対応付けて記憶されている売上情報を受信し、該受信した売上情報を示す表Ｔ１（図５参照）を表示するための画像データを生成して表示処理部７００ｂに出力する。これにより、表示処理部７００ｂが、オペレータにより指定された商品の売上情報を示す表Ｔ１を含む売上表示画面Ｓ２（図５参照）を液晶ディスプレイ７１に表示する。
【００４０】
その後、オペレータによりこの図７に示す売上情報を表示する処理を終了する所定の操作が行われたか否かを判定し（ステップＳ１６）、終了する操作が行われた場合（ステップＳ１６：Ｙｅｓ）、処理制御部７００は、処理を終了する。一方、終了する操作が行われていない、即ち、終了しない場合には（ステップＳ１６：Ｎｏ）、処理制御部７００は、処理をステップＳ１１に戻し以下同様の処理を行う。
【００４１】
一方、上記ステップＳ１３の特定処理により、複数の商品が特定された場合には（ステップＳ１４：Ｙｅｓ）、続くステップＳ１７において、売上情報生成部７００ｄが、上記ステップＳ１３で特定された複数の商品に夫々対応した複数の商品コードをもとにストアサーバ装置２から各商品コードに対応付けて記憶されている売上情報と、それら複数の商品コードの上位コードである１または複数の部門コードに対応付けて記憶されている売上情報とを受信し、該受信した売上情報を示す表Ｔ２（図６参照）を表示するための画像データを生成して表示処理部７００ｂに出力する。これにより、表示処理部７００ｂが、オペレータにより指定された範囲（例えば、Ａ２）に含まれる複数の商品およびそれら複数の商品が属する部門の売上情報を示す表Ｔ２を含む売上表示画面Ｓ３（図６参照）を液晶ディスプレイ７１に表示する。その後、処理制御部７００は、処理を上記ステップＳ１６に移行させて以下同様の処理を行う。
【００４２】
次に、上記図７の具体的な処理の一例について説明する。
【００４３】
最初に、例えば、液晶ディスプレイ７１に図４に示す売上表示画面Ｓ１が表示されている状態において、客が、その売上表示画面Ｓ１のライブ画像表示エリアＥ１に表示される商品売場の画像Ｐ上で「４つ切スイカ」という商品の画像を含む範囲Ａ１を指定した場合の処理について説明する。
【００４４】
この場合、ステップＳ１１において、表示処理部７００ｂが図４に示す売上表示画面Ｓ１を液晶ディスプレイ７１に表示する。そして、ステップＳ１２において、オペレータにより範囲Ａ１が指定されたと判定し（ステップＳ１２：Ｙｅｓ）、続く、ステップＳ１３において、商品特定部７００ｃが範囲Ａ１の画像から「４つ切スイカ」という商品を特定し、その商品に対応する固有の商品コードを検索する。
【００４５】
その後、ステップＳ１４の判定でＮｏと判定され、続くステップＳ１５において、売上情報生成部７００ｄが、ステップＳ１３で検索された商品コードをもとにストアサーバ装置２から「４つ切スイカ」という商品の売上情報（例えば、売上高「￥４，０００」および売上数「２０」）を受信し、該受信した売上情報を示す表Ｔ１（図５参照）を液晶ディスプレイ７１に表示するための画像データを生成して表示処理部７００ｂに出力する。これにより、表示処理部７００ｂが、図５に示すような売上表示画面Ｓ２を液晶ディスプレイ７１に表示する。
【００４６】
次に、液晶ディスプレイ７１に図４に示す売上表示画面Ｓ１が表示されている状態において、客が、その売上表示画面Ｓ１のライブ画像表示エリアＥ１に表示される商品売場の画像Ｐ上で「４つ切スイカ」と、「みかん」と、「バナナ」という複数の商品の画像を含む範囲Ａ２を指定した場合の処理について説明する。
【００４７】
この場合、上記と同様に、ステップＳ１１において、表示処理部７００ｂが図４に示す売上表示画面Ｓ１を液晶ディスプレイ７１に表示する。そして、ステップＳ１２において、オペレータにより範囲Ａ２が指定されたと判定し（ステップＳ１２：Ｙｅｓ）、続く、ステップＳ１３において、商品特定部７００ｃが範囲Ａ２の画像から「４つ切スイカ」、「みかん」および「バナナ」という３つの商品を特定し、それら各商品に対応する固有の商品コードを検索する。
【００４８】
その後、ステップＳ１４の判定でＹｅｓと判定され、続くステップＳ１７において、売上情報生成部７００ｄが、ステップＳ１３で検索された複数の商品コードをもとにストアサーバ装置２から「４つ切スイカ」、「みかん」および「バナナ」という３つの商品夫々の売上情報（例えば、「４つ切スイカ」という商品の売上情報としての売上高「￥４，０００」および売上数「２０」と、「みかん」という商品の売上情報としての売上高「￥６，０００」および売上数「４０」と、「バナナ」という商品の売上情報としての売上高「￥１００，０００」および売上数「８０」など）と、上記複数の商品コードの上位コードである部門コードの売上情報（例えば、「青果」という部門の売上情報としての売上高「￥２００，０００」や売上数「２０５」など）とを受信し、該受信した売上情報を示す表Ｔ２（図６参照）を液晶ディスプレイ７１に表示するための画像データを生成して表示処理部７００ｂに出力する。これにより、表示処理部７００ｂが、図６に示すような売上表示画面Ｓ３を液晶ディスプレイ７１に表示する。
【００４９】
以上説明した実施形態によれば、オペレータは商品コードを手入力しなくともライブ画像中の商品を選択するだけで所望の売上情報を簡単に確認することができる。即ち、商品の売上情報を確認する際のオペレータの操作を容易化することができる。
【００５０】
以上、例示的な実施形態に基づいて説明したが、本発明は、上記した実施形態により限定されるものではない。
【００５１】
例えば、上記した実施形態では、図７のステップＳ１４において複数の商品が特定された場合にステップＳ１７の処理に移行して部門の売上情報を表示する形態について説明したが、これに限定されず、ステップＳ１４の処理においては、予め設定されている閾値（数）（例えば、５個など）以上の商品が特定された場合にステップＳ１７の処理に移行して部門の売上情報を表示し、上記閾値以上の商品が特定されない場合には、ステップＳ１４の処理に移行して特定された商品の売上情報を表示するように構成しても良い。
【００５２】
また、上記した実施形態では説明していないが、図７のステップＳ１３の商品の特定処理において、商品が特定できなかった場合には、オペレータにより指定された範囲ができるだけ大きくなるように該当カメラ６を自動的にズームさせてから再度商品の特定を行うように構成しても良い。その他、オペレータにより指定された範囲を複数の画像に分割して分割後の各画像で夫々商品の特定処理を行うように構成しても良い。
【００５３】
また、その他、図７のステップＳ１３の商品の特定処理において、商品が特定できなかった場合には、売上表示画面Ｓ１に商品名や商品の画像を示す商品候補を複数表示させ、その後、オペレータが商品候補を選択した場合に、選択された商品候補に対応した商品をオペレータが指定した商品として特定するようにしても良い。
【００５４】
また、上記候補を表示させる場合には、ライブ画像表示エリアＥ１に表示されるライブ画像を撮像するカメラの向きや該カメラの固有のＩＤ（チャンネルなど）などで撮像されないと思われる商品を候補から除外して候補を絞り込むようにするのが好ましい。
【００５５】
また、上記した実施形態では、図５および図６に示すように、売上情報として商品または部門の売上高および売上数を表示する形態について説明したが、これに限定されず、例えば、図８に示すように、売上情報として商品または部門の時間帯ごとの売上数、即ち、時系列の売上を示すグラフＴ３を表示するように構成しても良いものとする。
【００５６】
また、上記した実施形態では、本実施形態に係る情報処理装置およびプログラムを情報端末７に適用した場合について説明したが、これに限定されず、例えば、ストアサーバ装置２やＰＯＳ端末４などのその他の情報処理装置に適用することも可能である。
【００５７】
また、上記した実施形態の情報端末７で実行されるプログラムは、ＲＯＭなどの記憶部に予め組み込んで提供することが可能である。また、上記プログラムは、インストール可能な形式または実行可能な形式のファイルでコンピュータで読み取り可能な記憶媒体に記憶して提供することが可能である。更に、上記プログラムは、インターネットなどのネットワーク経由で提供または配布したりすることも可能である。
【００５８】
また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５９】
１ ＰＯＳシステム
２ ストアサーバ装置（情報処理装置）
３ 記録装置
４ ＰＯＳ端末（情報処理装置）
５ ワイヤレスハブ
６ カメラ
７ 情報端末（情報処理装置）
Ｎ 通信ネットワーク（ＬＡＮ）
７０ａ ＣＰＵ
７００ 処理制御部
７００ａ 操作入力部
７００ｂ 表示処理部（画像表示手段、売上表示手段、ポップアップ表示手段）
７００ｃ 商品特定部（商品特定手段）
７００ｄ 売上情報生成部
７００ｅ ポップアップ情報生成部
【先行技術文献】
【特許文献】
【００６０】
【特許文献１】特許第３２２３９２９号公報
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置およびプログラムに関する。
【背景技術】
【０００２】
従来、スーパーマーケットなどの商品を販売する店舗では、店舗の事務所などに据え置き設置されるストアサーバにおいて、商品コードを入力することで、当該入力した商品コードに対応した商品の売り上げに関する売上情報を確認することが可能となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来では、商品の売上情報を確認する際のオペレータの操作が煩雑であるという課題がある。
【課題を解決するための手段】
【０００４】
本実施形態の情報処理装置は、画像表示手段と、商品特定手段と、売上表示手段とを有する。画像表示手段は、撮像装置が撮像した商品売場の画像を表示部に表示する。商品特定手段は、前記画像表示手段により前記表示部に表示された商品売場の画像上で指定された範囲に含まれる画像から商品を特定する。売上表示手段は、前記商品特定手段で特定された商品の売り上げに関する売上情報を前記表示部に表示する。
【図面の簡単な説明】
【０００５】
【図１】図１は、ＰＯＳシステムの概略的な構成を示すシステム構成図である。
【図２】図２は、情報端末の制御系のハードウェア構成を示すブロック図である。
【図３】図３は、情報端末の機能的構成を示すブロック図である。
【図４】図４は、液晶ディスプレイに表示される売上表示画面の一構成例を示す模式図である。
【図５】図５は、液晶ディスプレイに表示される売上表示画面の一構成例を示す模式図である。
【図６】図６は、液晶ディスプレイに表示される売上表示画面の一構成例を示す模式図である。
【図７】図７は、情報端末における処理動作の流れを示すフローチャートである。
【図８】図８は、図４に示す売上表示画面の変形例を示す模式図である。
【発明を実施するための形態】
【０００６】
以下、実施形態について添付図面を参照して説明する。
【０００７】
なお、本実施形態に係る情報処理装置およびプログラムは、概略的には、撮像装置が撮像した商品売場の画像を表示部に表示し、表示部に表示された商品売場の画像上で指定された範囲に含まれる画像から商品を特定し、該特定された商品の売り上げに関する売上情報を表示部に表示するが可能な装置およびプログラムである。
【０００８】
最初に、本実施形態に係る情報処理装置およびプログラムを適用したＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ：販売時点情報管理）システム１の構成について図１を用いて説明する。図１は、ＰＯＳシステム１の概略的な構成を示すシステム構成図である。
【０００９】
図１に示すように、このＰＯＳシステム１は、店舗のオフィスなどに設置されるストアサーバ装置２、記録装置３と、店舗の会計場所などに設置される複数台のＰＯＳ端末４（図１の例では、２台）と、商品売場に設置されるワイヤレスハブ５および複数台のカメラ（撮像装置）（図１の例では、３台）６とを備えている。
【００１０】
そして、このＰＯＳシステム１では、ストアサーバ装置２、記録装置３、ＰＯＳ端末４、ワイヤレスハブ５およびカメラ６がそれぞれＬＡＮ（Local Area Network）などの通信ネットワークＮにより相互に通信可能に接続されている。また、このＰＯＳシステム１では、ワイヤレスハブ５と携帯型の情報端末７とが無線通信ネットワークにより相互に通信可能に接続されている。
【００１１】
ここで、ストアサーバ装置２は、記録装置３、ＰＯＳ端末４およびカメラ６の上位装置としてのサーバ装置であり、具体的には、ＰＯＳ端末４との間で客の購入する商品の登録処理及び決済処理を行ったり、ＰＯＳ端末４との通信により、商品毎または部門毎の売り上げに関する売上情報（例えば、商品毎または部門毎の売上高や売上数など）を管理したりする。
【００１２】
記録装置３は、各カメラ７で撮像した撮像画像を記録するものである。
【００１３】
ＰＯＳ端末４は、スキャナから入力した商品コードに基づいて、ストアサーバ装置２との間で客の購入する商品の登録および会計処理を行うための端末である。なお、このＰＯＳ端末４は、客により購入された商品の情報を記憶管理する売上ファイルを所定の記憶部に記憶している。
【００１４】
ワイヤレスハブ５は、ストアサーバ装置２と情報端末７との間の無線通信を仲介する装置である。
【００１５】
カメラ６は、商品売場、特に商品売場に設置される各陳列棚に陳列されている商品を撮像するための撮像装置であり、例えば、商品売場のライブ画像を撮像するビデオカメラで構成される。
【００１６】
情報端末７は、店員に使用される携帯型の情報処理装置であり、各種情報を液晶ディスプレイ（表示部）７１に表示するものである。
【００１７】
次に、情報端末７の制御系のハードウェア構成について図２を用いて説明する。図２は、情報端末７の制御系のハードウェア構成を示すブロック図である。図２に示すように、情報端末７は、ＣＰＵ（Central Processing Unit）７０ａと、ＲＯＭ（Read Only Memory）７０ｂと、ＲＡＭ（Random Access Memory）７０ｃとを備えており、それらがバスラインＢＬを介して接続されている。ＣＰＵ７０ａは、ＲＯＭ７０ｂに格納されたプログラムをＲＡＭ７０ｃに展開して実行することにより、情報端末７の処理動作を制御する処理制御部７００（図３参照）として機能する。
【００１８】
また、ＣＰＵ７０ａには、バスラインＢＬやインタフェース（不図示）を介して、液晶ディスプレイ７１、タッチパネル７２、不揮発性メモリ７３と、通信インタフェース７４などが接続されている。ＲＯＭ７０ｂおよびＲＡＭ７０ｃは、記憶手段として機能するものであり、液晶ディスプレイ７１に各種情報を表示するための表示データを格納する。
【００１９】
次に、情報端末７の機能的構成について図３を用いて説明する。図３は、情報端末７の機能的構成を示すブロック図である。
【００２０】
図３に示すように、ＣＰＵ７０ａは、ＲＯＭ７０ｂなどに記憶されているプログラムをＲＡＭ７０ｃに展開して実行することにより、処理制御部７００として機能する。
【００２１】
処理制御部７００は、操作入力部７００ａと、表示処理部７００ｂと、商品特定部７００ｃと、売上情報生成部７００ｄと、ポップアップ情報生成部７００ｅとを有している。
【００２２】
ここで、操作入力部７００ａは、タッチパネル７２からの操作入力を受け付けるものであり、本実施形態では、図４〜図６に示す売上表示画面Ｓ１、Ｓ２、Ｓ３における操作入力を受け付ける。
【００２３】
表示処理部７００ｂは、液晶ディスプレイ７１に各種情報を表示するものであり、本実施形態では、通信インタフェース７４を介して取得したカメラ６の撮像画像と、後述の売上情報生成部７００ｄおよびポップアップ情報生成部７００ｅから入力した各種情報に基づいて図４〜図６に示す売上表示画面Ｓ１、Ｓ２、Ｓ３を液晶ディスプレイ７１に表示する。
【００２４】
図４〜図６は、液晶ディスプレイ７１に表示される売上表示画面の一構成例を示す模式図であり、図４が、売上情報が表示される前の状態を示す売上表示画面Ｓ１を示し、図５が、ある一つの商品の売り上げに関する売上情報を表示した売上表示画面Ｓ２を示し、図６が、ある一つの部門および該部門に属する商品の売り上げに関する売上情報を表示した売上表示画面Ｓ３を示している。
【００２５】
図４に示すように、この売上表示画面Ｓ１は、撮像する場所（即ち、カメラ６）を選択するためのカメラ選択ボタンＢＴと、上記カメラ選択ボタンＢＴで選択されたカメラ６で撮像されたライブの画像Ｐを表示するライブ画像表示エリアＥ１とを備えている。なお、カメラ選択ボタンＢＴをタッチ選択すると、例えば、図示しないプルダウンメニューが表示され、そのメニューから複数のカメラのいずれか一つを選択することが可能となっている。
【００２６】
一方、図５に示す売上表示画面Ｓ２は、上記売上表示画面Ｓ１と同様に、カメラ選択ボタンＢＴと、ライブ画像表示エリアＥ１とを備えるとともに、上記ライブ画像表示エリアＥ１に表示される画像Ｐ上でオペレータにより指やタッチペンなどで指定された範囲Ａ１の画像から特定された商品の売り上げに関する売上情報を表示する売上表示エリアＥ２を備えている。なお、ライブ画像表示エリアＥ１には、特定された商品に対応付けて当該商品の名称を表示するポップアップＢ１が表示される。また、売上表示エリアＥ２には、例えば、売上情報として商品名（例えば、４つ切スイカ）、売上高（例えば、￥４，０００）、売上数（２０）などを含む表Ｔ１が表示される。
【００２７】
一方、図６に示す売上表示画面Ｓ３は、上記売上表示画面Ｓ２と同様に、カメラ選択ボタンＢＴと、ライブ画像表示エリアＥ１と、売上表示エリアＥ２とを備えている。ただし、この売上表示画面Ｓ３では、売上表示エリアＥ２が表示する売上情報が売上表示画面Ｓ２の売上表示エリアＥ２に表示される売上情報と種類が異なっている。即ち、売上表示画面Ｓ３の売上表示エリアＥ２では、ライブ画像表示エリアＥ１に表示される画像Ｐ上で指定された範囲Ａ２の画像から特定された複数の商品およびそれら複数の商品が属する部門に関する売上情報を示す表Ｔ２が表示される。なお、この売上表示画面Ｓ３のライブ画像表示エリアＥ１には、上記売上表示画面Ｓ２と同様に、特定された複数の商品夫々に対応付けて各商品の名称を夫々表示するポップアップＢ１、Ｂ２、Ｂ３、Ｂ４が表示されている。
【００２８】
なお、上記ポップアップＢ１、Ｂ２、Ｂ３、Ｂ４は、それぞれ対応付けられる商品と略同様の背景色または商品をイメージし易い背景色を有している。図５、図６の例では、商品が「バナナ」である場合に、その商品に対応付けて表示されるポップアップの背景色を「黄色」とし、商品が「みかん」である場合に、その商品に対応付けて表示されるポップアップの背景色を「オレンジ色」としている。
【００２９】
図３に戻って、商品特定部７００ｃは、液晶ディスプレイ７１に表示された商品売場の画像Ｐ上でオペレータ（店員）により指定された範囲Ａ１、Ａ２の画像から商品の品種（例えば、「４つ切スイカ」など）を特定し、その特定した商品に固有に割り振られた商品コードを、商品の品種毎に固有の商品コードを対応付けて登録するテーブル（不図示）から検索するものである。
【００３０】
具体的には、商品特定部７００ｃは、上記指定された範囲の画像から、特徴量として商品の表面の状態（表面の色合い、模様（パターン）、凸凹状況など）を読み取って、予め登録されている商品毎の特徴量と比較することにより、特定の物体として商品を認識するものである。なお、商品特定部７００ｃは、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。
【００３１】
なお、上記のように画像中に含まれる商品を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００３２】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００３３】
売上情報生成部７００ｄは、商品特定部７００ｃにおいて一つの商品およびその商品コードが検索された場合には、当該商品コードをもとにストアサーバ装置２から当該商品コードに対応付けて記憶されている売上情報（ある一つの商品の売上高や売上数などを示す情報）を受信し、該受信した売上情報を示す表Ｔ１（図５参照）を液晶ディスプレイ７１に表示するための画像データを生成して表示処理部７００ｂに出力する。
【００３４】
また、売上情報生成部７００ｄは、商品特定部７００ｃにおいて複数の商品およびそれら複数の商品に夫々対応した複数の商品コードが検索された場合には、当該複数の商品コードをもとにストアサーバ装置２から各商品コードに対応付けて記憶されている売上情報（商品毎の商品の売上高や売上数などを示す情報）と、それら複数の商品コードの上位コードである部門コード（１または複数）に対応付けて記憶されている売上情報（部門の売上高や売上数などを示す情報）とを受信し、該受信した売上情報を示す表Ｔ２（図６参照）を液晶ディスプレイ７１に表示するための画像データを生成して表示処理部７００ｂに出力する。
【００３５】
ポップアップ情報生成部７００ｅは、商品特定部７００ｃで特定された商品の名称を表示する上記ポップアップＢ１、Ｂ２、Ｂ３、Ｂ４を表示するための画像データを生成し、表示処理部７００ｂに出力する。
【００３６】
次に、情報端末７における処理動作について図７を用いて説明する。図７は、情報端末７における処理動作の流れを示すフローチャートであり、特に、売上情報を表示する場合の処理手順を示している。
【００３７】
図７に示すように、この処理では、まず、ステップＳ１１において、処理制御部７００の表示処理部７００ｂが、オペレータによる所定の操作に基づいて図４に示す売上表示画面Ｓ１を液晶ディスプレイ７１に表示する。
【００３８】
その後、処理制御部７００では、ステップＳ１２において、オペレータによって指やタッチペンなどで範囲指定操作が行われるか否かを監視している。そして、この監視状態においてオペレータによる範囲指定操作が行われた場合（ステップＳ１２：Ｙｅｓ）、続いて、ステップＳ１３において、商品特定部７００ｃが、当該指定された範囲の画像から商品の品種を特定し、その特定した商品の品種に対応した固有の商品コードを検索する処理を行う。
【００３９】
その後、上記特定処理により、一つの商品が特定されると（ステップＳ１４：Ｎｏ）、続いて、ステップＳ１５において、売上情報生成部７００ｄが、上記ステップＳ１３で特定された一つの商品に対応した商品コードをもとにストアサーバ装置２から当該商品コードに対応付けて記憶されている売上情報を受信し、該受信した売上情報を示す表Ｔ１（図５参照）を表示するための画像データを生成して表示処理部７００ｂに出力する。これにより、表示処理部７００ｂが、オペレータにより指定された商品の売上情報を示す表Ｔ１を含む売上表示画面Ｓ２（図５参照）を液晶ディスプレイ７１に表示する。
【００４０】
その後、オペレータによりこの図７に示す売上情報を表示する処理を終了する所定の操作が行われたか否かを判定し（ステップＳ１６）、終了する操作が行われた場合（ステップＳ１６：Ｙｅｓ）、処理制御部７００は、処理を終了する。一方、終了する操作が行われていない、即ち、終了しない場合には（ステップＳ１６：Ｎｏ）、処理制御部７００は、処理をステップＳ１１に戻し以下同様の処理を行う。
【００４１】
一方、上記ステップＳ１３の特定処理により、複数の商品が特定された場合には（ステップＳ１４：Ｙｅｓ）、続くステップＳ１７において、売上情報生成部７００ｄが、上記ステップＳ１３で特定された複数の商品に夫々対応した複数の商品コードをもとにストアサーバ装置２から各商品コードに対応付けて記憶されている売上情報と、それら複数の商品コードの上位コードである１または複数の部門コードに対応付けて記憶されている売上情報とを受信し、該受信した売上情報を示す表Ｔ２（図６参照）を表示するための画像データを生成して表示処理部７００ｂに出力する。これにより、表示処理部７００ｂが、オペレータにより指定された範囲（例えば、Ａ２）に含まれる複数の商品およびそれら複数の商品が属する部門の売上情報を示す表Ｔ２を含む売上表示画面Ｓ３（図６参照）を液晶ディスプレイ７１に表示する。その後、処理制御部７００は、処理を上記ステップＳ１６に移行させて以下同様の処理を行う。
【００４２】
次に、上記図７の具体的な処理の一例について説明する。
【００４３】
最初に、例えば、液晶ディスプレイ７１に図４に示す売上表示画面Ｓ１が表示されている状態において、客が、その売上表示画面Ｓ１のライブ画像表示エリアＥ１に表示される商品売場の画像Ｐ上で「４つ切スイカ」という商品の画像を含む範囲Ａ１を指定した場合の処理について説明する。
【００４４】
この場合、ステップＳ１１において、表示処理部７００ｂが図４に示す売上表示画面Ｓ１を液晶ディスプレイ７１に表示する。そして、ステップＳ１２において、オペレータにより範囲Ａ１が指定されたと判定し（ステップＳ１２：Ｙｅｓ）、続く、ステップＳ１３において、商品特定部７００ｃが範囲Ａ１の画像から「４つ切スイカ」という商品を特定し、その商品に対応する固有の商品コードを検索する。
【００４５】
その後、ステップＳ１４の判定でＮｏと判定され、続くステップＳ１５において、売上情報生成部７００ｄが、ステップＳ１３で検索された商品コードをもとにストアサーバ装置２から「４つ切スイカ」という商品の売上情報（例えば、売上高「￥４，０００」および売上数「２０」）を受信し、該受信した売上情報を示す表Ｔ１（図５参照）を液晶ディスプレイ７１に表示するための画像データを生成して表示処理部７００ｂに出力する。これにより、表示処理部７００ｂが、図５に示すような売上表示画面Ｓ２を液晶ディスプレイ７１に表示する。
【００４６】
次に、液晶ディスプレイ７１に図４に示す売上表示画面Ｓ１が表示されている状態において、客が、その売上表示画面Ｓ１のライブ画像表示エリアＥ１に表示される商品売場の画像Ｐ上で「４つ切スイカ」と、「みかん」と、「バナナ」という複数の商品の画像を含む範囲Ａ２を指定した場合の処理について説明する。
【００４７】
この場合、上記と同様に、ステップＳ１１において、表示処理部７００ｂが図４に示す売上表示画面Ｓ１を液晶ディスプレイ７１に表示する。そして、ステップＳ１２において、オペレータにより範囲Ａ２が指定されたと判定し（ステップＳ１２：Ｙｅｓ）、続く、ステップＳ１３において、商品特定部７００ｃが範囲Ａ２の画像から「４つ切スイカ」、「みかん」および「バナナ」という３つの商品を特定し、それら各商品に対応する固有の商品コードを検索する。
【００４８】
その後、ステップＳ１４の判定でＹｅｓと判定され、続くステップＳ１７において、売上情報生成部７００ｄが、ステップＳ１３で検索された複数の商品コードをもとにストアサーバ装置２から「４つ切スイカ」、「みかん」および「バナナ」という３つの商品夫々の売上情報（例えば、「４つ切スイカ」という商品の売上情報としての売上高「￥４，０００」および売上数「２０」と、「みかん」という商品の売上情報としての売上高「￥６，０００」および売上数「４０」と、「バナナ」という商品の売上情報としての売上高「￥１００，０００」および売上数「８０」など）と、上記複数の商品コードの上位コードである部門コードの売上情報（例えば、「青果」という部門の売上情報としての売上高「￥２００，０００」や売上数「２０５」など）とを受信し、該受信した売上情報を示す表Ｔ２（図６参照）を液晶ディスプレイ７１に表示するための画像データを生成して表示処理部７００ｂに出力する。これにより、表示処理部７００ｂが、図６に示すような売上表示画面Ｓ３を液晶ディスプレイ７１に表示する。
【００４９】
以上説明した実施形態によれば、オペレータは商品コードを手入力しなくともライブ画像中の商品を選択するだけで所望の売上情報を簡単に確認することができる。即ち、商品の売上情報を確認する際のオペレータの操作を容易化することができる。
【００５０】
以上、例示的な実施形態に基づいて説明したが、本発明は、上記した実施形態により限定されるものではない。
【００５１】
例えば、上記した実施形態では、図７のステップＳ１４において複数の商品が特定された場合にステップＳ１７の処理に移行して部門の売上情報を表示する形態について説明したが、これに限定されず、ステップＳ１４の処理においては、予め設定されている閾値（数）（例えば、５個など）以上の商品が特定された場合にステップＳ１７の処理に移行して部門の売上情報を表示し、上記閾値以上の商品が特定されない場合には、ステップＳ１４の処理に移行して特定された商品の売上情報を表示するように構成しても良い。
【００５２】
また、上記した実施形態では説明していないが、図７のステップＳ１３の商品の特定処理において、商品が特定できなかった場合には、オペレータにより指定された範囲ができるだけ大きくなるように該当カメラ６を自動的にズームさせてから再度商品の特定を行うように構成しても良い。その他、オペレータにより指定された範囲を複数の画像に分割して分割後の各画像で夫々商品の特定処理を行うように構成しても良い。
【００５３】
また、その他、図７のステップＳ１３の商品の特定処理において、商品が特定できなかった場合には、売上表示画面Ｓ１に商品名や商品の画像を示す商品候補を複数表示させ、その後、オペレータが商品候補を選択した場合に、選択された商品候補に対応した商品をオペレータが指定した商品として特定するようにしても良い。
【００５４】
また、上記候補を表示させる場合には、ライブ画像表示エリアＥ１に表示されるライブ画像を撮像するカメラの向きや該カメラの固有のＩＤ（チャンネルなど）などで撮像されないと思われる商品を候補から除外して候補を絞り込むようにするのが好ましい。
【００５５】
また、上記した実施形態では、図５および図６に示すように、売上情報として商品または部門の売上高および売上数を表示する形態について説明したが、これに限定されず、例えば、図８に示すように、売上情報として商品または部門の時間帯ごとの売上数、即ち、時系列の売上を示すグラフＴ３を表示するように構成しても良いものとする。
【００５６】
また、上記した実施形態では、本実施形態に係る情報処理装置およびプログラムを情報端末７に適用した場合について説明したが、これに限定されず、例えば、ストアサーバ装置２やＰＯＳ端末４などのその他の情報処理装置に適用することも可能である。
【００５７】
また、上記した実施形態の情報端末７で実行されるプログラムは、ＲＯＭなどの記憶部に予め組み込んで提供することが可能である。また、上記プログラムは、インストール可能な形式または実行可能な形式のファイルでコンピュータで読み取り可能な記憶媒体に記憶して提供することが可能である。更に、上記プログラムは、インターネットなどのネットワーク経由で提供または配布したりすることも可能である。
【００５８】
また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５９】
１ ＰＯＳシステム
２ ストアサーバ装置（情報処理装置）
３ 記録装置
４ ＰＯＳ端末（情報処理装置）
５ ワイヤレスハブ
６ カメラ
７ 情報端末（情報処理装置）
Ｎ 通信ネットワーク（ＬＡＮ）
７０ａ ＣＰＵ
７００ 処理制御部
７００ａ 操作入力部
７００ｂ 表示処理部（画像表示手段、売上表示手段、ポップアップ表示手段）
７００ｃ 商品特定部（商品特定手段）
７００ｄ 売上情報生成部
７００ｅ ポップアップ情報生成部
【先行技術文献】
【特許文献】
【００６０】
【特許文献１】特許第３２２３９２９号公報
【特許請求の範囲】
【請求項１】
撮像装置が撮像した商品売場の画像を表示部に表示する画像表示手段と、
前記画像表示手段により前記表示部に表示された商品売場の画像上で指定された範囲に含まれる画像から商品を特定する商品特定手段と、
前記商品特定手段で特定された商品の売り上げに関する売上情報を前記表示部に表示する売上表示手段と、
を有する情報処理装置。
【請求項２】
前記売上表示手段は、前記商品特定手段が前記指定された範囲に含まれる画像から複数の商品を特定した場合に、前記特定された複数の商品が属する部門の売り上げに関する売上情報を前記表示部に表示する、請求項１に記載の情報処理装置。
【請求項３】
前記売上表示手段は、前記商品特定手段が前記指定された範囲に含まれる画像から同一の部門に属する複数の商品を特定した場合に、特定される一つの部門の売り上げに関する売上情報を前記表示部に表示する、請求項２に記載の情報処理装置。
【請求項４】
前記売上表示手段は、前記商品特定手段が前記指定された範囲に含まれる画像から異なる部門に属する複数の商品を特定した場合に、特定される複数の部門夫々の売り上げに関する売上情報を前記表示部に表示する、請求項２に記載の情報処理装置。
【請求項５】
前記商品特定手段が特定した商品または当該商品が属する部門の名称を対応する商品の画像に対応付けてポップアップ表示するポップアップ表示手段、
を更に有する、請求項１〜４のいずれか一項に記載の情報処理装置。
【請求項６】
コンピュータを、
撮像装置が撮像した商品売場の画像を表示部に表示する画像表示手段と、
前記画像表示手段により前記表示部に表示された商品売場の画像上で指定された範囲に含まれる画像から商品を特定する商品特定手段と、
前記商品特定手段で特定された商品の売り上げに関する売上情報を前記表示部に表示する売上表示手段と、
して機能させるプログラム。
【請求項１】
撮像装置が撮像した商品売場の画像を表示部に表示する画像表示手段と、
前記画像表示手段により前記表示部に表示された商品売場の画像上で指定された範囲に含まれる画像から商品を特定する商品特定手段と、
前記商品特定手段で特定された商品の売り上げに関する売上情報を前記表示部に表示する売上表示手段と、
を有する情報処理装置。
【請求項２】
前記売上表示手段は、前記商品特定手段が前記指定された範囲に含まれる画像から複数の商品を特定した場合に、前記特定された複数の商品が属する部門の売り上げに関する売上情報を前記表示部に表示する、請求項１に記載の情報処理装置。
【請求項３】
前記売上表示手段は、前記商品特定手段が前記指定された範囲に含まれる画像から同一の部門に属する複数の商品を特定した場合に、特定される一つの部門の売り上げに関する売上情報を前記表示部に表示する、請求項２に記載の情報処理装置。
【請求項４】
前記売上表示手段は、前記商品特定手段が前記指定された範囲に含まれる画像から異なる部門に属する複数の商品を特定した場合に、特定される複数の部門夫々の売り上げに関する売上情報を前記表示部に表示する、請求項２に記載の情報処理装置。
【請求項５】
前記商品特定手段が特定した商品または当該商品が属する部門の名称を対応する商品の画像に対応付けてポップアップ表示するポップアップ表示手段、
を更に有する、請求項１〜４のいずれか一項に記載の情報処理装置。
【請求項６】
コンピュータを、
撮像装置が撮像した商品売場の画像を表示部に表示する画像表示手段と、
前記画像表示手段により前記表示部に表示された商品売場の画像上で指定された範囲に含まれる画像から商品を特定する商品特定手段と、
前記商品特定手段で特定された商品の売り上げに関する売上情報を前記表示部に表示する売上表示手段と、
して機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−５４６３１（Ｐ２０１３−５４６３１Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９３６７９（Ｐ２０１１−１９３６７９）
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]