商品管理装置、商品管理方法およびプログラム
【課題】店舗や自動販売機のディスプレイ部における商品の陳列状態を示す情報を効率的に収集する。
【解決手段】商品管理装置１は、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得部１０と、レイアウト画像内における所定の領域である処理領域を特定し、処理領域内の画像と、商品各々の外観画像とをパターンマッチングした後、当該処理領域を特定するための情報と、当該外観画像で特定される商品を識別する情報と、パターンマッチングの結果とを対応付けてメモリに記憶させる処理を、処理領域および外観画像の少なくとも一方を変更しながら繰り返し行うマッチング部１１と、パターンマッチングの結果に基づいて、処理領域に表示されている商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定部１４とを有する。
【解決手段】商品管理装置１は、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得部１０と、レイアウト画像内における所定の領域である処理領域を特定し、処理領域内の画像と、商品各々の外観画像とをパターンマッチングした後、当該処理領域を特定するための情報と、当該外観画像で特定される商品を識別する情報と、パターンマッチングの結果とを対応付けてメモリに記憶させる処理を、処理領域および外観画像の少なくとも一方を変更しながら繰り返し行うマッチング部１１と、パターンマッチングの結果に基づいて、処理領域に表示されている商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定部１４とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品管理装置、商品管理方法およびプログラムに関する。
【背景技術】
【０００２】
近年の商品販売スタイルとしては、コンビニエンスストア等の店舗における店頭販売や、自動販売機を利用した販売などがある。いずれにおいても商品の売上は、商品の陳列状態に依存することが知られている。
【０００３】
特許文献１（特開２００３−２０３１５５号公報）には、売場に自動販売機を設置した場合の、売場側の顧客利益を算出するシミュレーションおよびその効果検証を行う技術が記載されている。当該文献において、設置計画作成段階では必要最小限のデータで迅速にシミュレーション結果を得るとともに、計画提案段階では機種特性および商品配置に配慮することにより、計画作成段階よりも精度を高めたシミュレーションを得るようにした構成が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２０３１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のように、商品の売り上げは、商品の陳列状態に依存することが知られており、商品の陳列状態に関する様々な研究がなされている。
【０００６】
このような研究結果に基づいて商品を適切に陳列することで、商品売上を伸ばす試みが多くなされており、さらなる研究が期待されている。このため、研究に用いるデータとして、店舗における商品の陳列状態や、自動販売機のディスプレイ部における商品の陳列状態を示す情報を収集することが望まれている。
【０００７】
また、商品のメーカーにとって、店舗における商品の陳列状態や、自動販売機のディスプレイ部における商品の陳列状態を把握し、その店舗や自動販売機での商品の売れ行きなどを考慮して、例えば店舗に商品レイアウトの改善を提案したり、または、自動販売機のディスプレイ部における商品レイアウトを変更したりすることは重要な戦略である。このような理由からも、店舗における商品の陳列状態や、自動販売機のディスプレイ部における商品の陳列状態を示す情報を収集することが望まれている。
【０００８】
しかし、従来、店舗における商品の陳列状態や、自動販売機のディスプレイ部における商品の陳列状態を示す情報を効率的に収集することが困難であった。
【０００９】
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、店舗における商品の陳列状態や、自動販売機のディスプレイ部における商品の陳列状態を示す情報を効率的に収集する手段を提供することにある。
【課題を解決するための手段】
【００１０】
本発明によれば、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得部と、前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチング部と、前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定部とを有する商品管理装置が提供される。
【００１１】
また、本発明によれば、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得ステップと、前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチングステップと、前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定ステップとを有する商品管理方法が提供される。
【００１２】
また、本発明によれば、コンピュータを、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得手段、前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチング手段、前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定手段として機能させるためのプログラムが提供される。
【発明の効果】
【００１３】
本発明によれば、店舗における商品の陳列状態や、自動販売機のディスプレイ部における商品の陳列状態を示す情報を効率的に収集することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態の商品管理装置の概要を説明するための図である。
【図２】本発明の実施形態の商品管理装置の一例を説明するための機能ブロック図である。
【図３】本発明の実施形態の商品領域抽出部の構成を説明するための図である。
【図４】本発明の実施形態の商品領域抽出部の構成を説明するための図である。
【図５】本発明の実施形態の外観データ保持部の構成を説明するための図である。
【図６】本発明の実施形態のマッチング結果記憶部の構成を説明するための図である。
【図７】本発明の実施形態のレイアウト推定部の構成を説明するための図である。
【図８】本発明の実施形態のレイアウト推定部の構成を説明するための図である。
【図９】本発明の実施形態のレイアウト推定部の構成を説明するための図である。
【図１０】本発明の実施形態のレイアウト推定部の構成を説明するための図である。
【図１１】本発明の実施形態の商品管理装置の処理の流れの一例を説明するためのフローチャートである。
【図１２】本発明の実施形態の商品管理装置の処理の流れの一例を説明するためのフローチャートである。
【図１３】本発明の実施形態のレイアウト推定部の構成を説明するための図である。
【図１４】本発明の実施形態のマッチング部の構成を説明するための図である。
【図１５】本発明の実施形態のマッチング部およびレイアウト推定部の構成を説明するための図である。
【図１６】本発明の実施形態のマッチング部およびレイアウト推定部の構成を説明するための図である。
【図１７】本発明の実施形態の商品管理装置の一例を説明するための機能ブロック図である。
【図１８】本発明の実施形態の什器の構成を説明するための図である。
【図１９】本発明の実施形態の什器情報保持部の構成を説明するための図である。
【図２０】本発明の実施形態の商品管理装置の一例を説明するための機能ブロック図である。
【図２１】本発明の実施形態の自販機情報保持部の構成を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を用いて説明する。
なお、本実施形態の各部は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム（あらかじめ機器を出荷する段階からメモリ内に格納されているプログラムのほか、ＣＤ等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムも含む）、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、機器にはいろいろな変形例があることは、当業者には理解されるところである。
【００１６】
また、本実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、本実施形態の各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。
【００１７】
＜実施形態１＞
最初に、本実施形態の概要について図１を用いて説明する。
まず、商品の陳列状態を示す情報の取得を希望するユーザは、図１に示すように、デジタルカメラ４などの画像撮像機能を有する装置を用いて、複数種の商品が陳列されている状態を撮像する。例えば、ユーザは、店舗に配置され、複数種の商品が陳列されている状態の什器２を撮像したり、複数種の商品がディスプレイ部に陳列されている状態の自動販売機３のディスプレイ部を撮像したりする。その後、ユーザは、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを、商品管理装置１に入力する。
【００１８】
商品管理装置１は、複数種の商品各々の外観画像のデータを利用可能に構成されている。そして、商品管理装置１は、入力されたレイアウト画像内の所定領域と、上記商品の外観画像とをパターンマッチングしていくことで、上記レイアウト画像内における複数種の商品各々の位置を特定する。その後、商品管理装置１は、特定した結果を用いて、複数種の商品のレイアウトを推定する。
【００１９】
以下、本実施形態の商品管理装置１について詳細に説明する。図２には、本実施形態の商品管理装置１の構成の一例を示す機能ブロック図が示されている。図２に示す本実施形態の商品管理装置１は、レイアウトデータ取得部１０と、マッチング部１１と、外観データ保持部１２と、マッチング結果記憶部１３と、レイアウト推定部１４と、商品領域抽出部１５とを有する。
【００２０】
なお、商品管理装置１は、外観データ保持部１２およびマッチング結果記憶部１３の少なくとも１つを有さない構成とすることもできる。かかる場合、商品管理装置１が有さない部（外観データ保持部１２および／またはマッチング結果記憶部１３）は商品管理装置１以外の装置に備えられ、当該装置と商品管理装置１とは有線および／または無線で接続される。そして、商品管理装置１は外観データ保持部１２およびマッチング結果記憶部１３にアクセスし、これらの部に対してデータの取得および書込み等の処理を実行できるように構成される。
【００２１】
以下、各部の構成について詳細に説明する。
レイアウトデータ取得部１０は、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得する。当該レイアウト画像のデータは、画像撮像機能を有する装置、例えばデジタルカメラや携帯電話などを用いてユーザが撮像した画像データとすることができる。
【００２２】
上述のようなレイアウト画像のデータをレイアウトデータ取得部１０が取得する手段は特段制限されない。例えば、ユーザは、デジタルカメラ等の装置を用いて所望のレイアウト画像を撮像し、撮像した画像データを、あらかじめ商品管理装置１が有するメモリや、商品管理装置１と有線および／または無線で接続可能に構成された装置が有するメモリに記憶させておく。そして、レイアウトデータ取得部１０は、上記メモリからレイアウト画像のデータを取得する。
【００２３】
商品領域抽出部１５は、レイアウト画像内において、１つの商品が表示されている領域である商品領域を抽出する。例えば、レイアウトデータ取得部１０が、図３（ａ）に示すような、複数種の商品Ａが陳列されている什器のレイアウト画像Ｃを取得した場合、商品領域抽出部１５は、図３（ｂ）に示すように、当該レイアウト画像Ｃ内において、商品Ａが表示されている領域である商品領域Ｂを抽出する。商品領域抽出部１５が商品領域を抽出する手段は、例えば、以下のような処理とすることができる。
【００２４】
まず、商品領域抽出部１５は、レイアウト画像に対してエッジ検出処理を行う。エッジ検出処理は、画像内の明るさが大きく変化する箇所をエッジとして検出する処理であり、現在多くの手法がある。商品領域抽出部１５は、従来のあらゆる技術を利用して、エッジ検出処理を行うことができる。
【００２５】
エッジ検出処理によりエッジを検出した後、商品領域抽出部１５は、検出したエッジにより閉じられた少なくとも１つの領域を抽出する。なお、ここで抽出する「エッジにより閉じられた領域」は、エッジにより完全に閉じられている必要はなく、エッジが部分的に欠けることで、閉じられた領域と他の領域とを繋ぐ開いた箇所が部分的に含まれてもよい。
【００２６】
なお、上記抽出した閉じられた領域の中には、商品領域とは異なる領域も含まれる可能性がある。そこで、商品領域抽出部１５は、抽出した閉じられた領域の中から、商品領域を抽出する処理を行う。当該処理内容は特段制限されないが、例えば、商品領域抽出部１５は、抽出した閉じられた領域の中から、所定の形状の領域を商品領域として抽出してもよい。ここでの「所定の形状」は、商品の陳列状態を撮像したレイアウト画像に映ると考えられる商品の形状とすることができる。すなわち、所定の形状は、商品の外観形状に基づいて定めることができる。例えば商品がたばこの場合、所定の形状は、たばこの正面形状または側面形状（所定の縦横比の長方形）、あるいは、カートンの正面形状または側面形状（所定の縦横比の長方形）などが考えられる。
【００２７】
具体的処理としては、商品領域抽出部１５は、あらかじめ上記所定の形状を示す情報を保持しておく。そして、抽出した閉じられた領域の中から商品領域を抽出する際、商品領域抽出部１５は、上記情報を用いて所定の形状を認識し、認識した形状の縦横比を維持したまま拡大縮小することで所定の形状の大きさを変更したり、所定の形状を回転したりしながら、抽出した閉じられた領域の形状と比較していく。すなわち、商品領域抽出部１５は、所定の形状の多数の相似形と、抽出した閉じられた領域の形状とを、所定の形状を回転しながら比較していく。そして、比較の結果、所定値以上の一致率が得られた場合、商品領域抽出部１５は、その閉じられた領域を商品領域として抽出する。なお、上記「所定値」は設計的事項である。また、商品領域抽出部１５は、上記所定の形状の大きさの上限および下限を示す情報を保持しておき、この範囲内で、上記所定の形状の大きさを変更してもよい。上記「上限および下限」は、例えば、レイアウト画像内に映ると考えられる商品の大きさの上限および下限を、商品に応じてユーザが予め予測した値とすることができる。
【００２８】
上述のように構成する場合、商品領域抽出部１５は、上記所定の形状を示す情報を複数保持することもできる。これは、複数種の商品の中に、外観形状が異なる商品が含まれる場合を想定した構成である。なお、所定の形状は矩形に限定されず、陳列状態を知りたい商品の外観形状が他の形状であれば、その形状とすることができる。そして、所定の形状が他の形状である場合においても、商品領域抽出部１５は、上記と同様にして商品領域を抽出することができる。
【００２９】
なお、商品領域抽出部１５は、その他の手法を用いて、抽出した閉じられた領域の中から商品領域を抽出することもできる。例えば、商品領域抽出部１５は、抽出した閉じられた領域の中に、同様の形状および大きさの領域が所定数以上存在する場合、または、同様の形状および大きさの領域が所定数以上一定のピッチで繰り返し配置されている場合、これらの領域を商品領域として抽出してもよい。「同様の形状」および「同様の大きさ」は、必ずしも形状および大きさが完全に一致している必要はなく、一定のズレを含んでもよい概念である。ここで例示した処理はあくまで一例であり、商品領域抽出部１５は、あらゆる手法を利用して、抽出した閉じられた領域の中から、商品領域を抽出することができる。
【００３０】
商品領域抽出部１５は商品領域を抽出すると、抽出した商品領域を示す情報を、メモリに記憶させる。当該メモリは、商品管理装置１が有するメモリであってもよいし、他の装置が備えるメモリであってもよいが、少なくとも、以下で説明するマッチング部１１がアクセス可能なメモリである必要がある。商品領域を示す情報は、レイアウト画像Ｃ（図３（ｂ）参照）内において商品領域Ｂを特定できる情報である。その表現手法は特段制限されないが、例えば、レイアウト画像Ｃに座標軸（ｘ−ｙ軸）を設定し、座標を用いて表現してもよい。例えば、商品領域抽出部１５は、図４に示すようなテーブルに、商品領域を示す情報を記録する。
【００３１】
図４に示すテーブルは、レイアウト画像番号「Ｐ０００００１」で特定されるレイアウト画像内において抽出した商品領域を示している。「商品領域番号」は、抽出した商品領域に任意に付された識別番号である。「座標」は、商品領域を特定するための情報である。例えば、商品領域番号「００００１」には、座標「（２、５）、（５、５）、（２、１０）、（５、１０）」が対応付けられている。これは、商品領域番号「００００１」で特定される商品領域は、対応付けられている４つの座標点を結ぶことで形成される矩形の内部領域であることを示している。以下、図４に示すようなテーブルを「商品領域テーブル４ａ」という。
【００３２】
なお、座標を用いて商品領域を表現する手法は、図４に示すものに限定されない。例えば、複数種の商品の外観形状が同じ形状である場合、商品領域テーブル４ａには、レイアウト画像内における商品領域の形状および大きさを示す情報を記録するとともに、各商品領域の位置を示す情報として、特定の一点を示す情報を記録してもよい。具体的には、商品領域が矩形の場合、商品領域の縦および横の辺の長さを示す情報を商品領域テーブル４ａに記録するとともに、各商品領域の位置を示す情報として、各商品領域の左上の点を示す座標を記録してもよい。このような情報からも、各商品領域を特定することができる。その他、商品領域が丸の場合、中心点と半径を示す情報により、商品領域を表現してもよい。
【００３３】
外観データ保持部１２は、複数種の商品各々の外観画像のデータを保持する。外観画像は、商品の陳列状態を撮像したレイアウト画像に映ると考えられる商品の外観を示す画像とする必要がある。一般的に、各商品に特有のデザインまたは商品名が示された箇所が顧客側に向けられるように、すなわち前面になるように商品は陳列される。よって、レイアウト画像には、各商品に特有のデザインまたは商品名が示された箇所が映ると考えられる。そこで、外観画像は、各商品に特有のデザインまたは商品名が示された箇所（面）を示す画像としてもよい。例えば、商品がたばこの場合、外観画像は、たばこの正面を示す画像や、たばこの背面または側面を示す画像や、カートンの正面、背面または側面を示す画像とすることができる。なお、外観データ保持部１２は、１種の商品の外観画像のデータとして１つの外観画像のデータを保持してもよいし、複数の外観画像のデータを保持してもよい。
【００３４】
外観データ保持部１２は、例えば、図５に示すような、複数種の商品各々を識別する商品識別情報に対応付けて、当該商品の外観画像のデータが記録されているテーブル（以下、「外観画像テーブル５ａ」という）を保持する。
【００３５】
マッチング部１１は、
（１）レイアウト画像内における所定の領域である処理領域を特定し、
（２）処理領域内の画像と、外観データ保持部１２から取得した第１の外観画像とをパターンマッチングし、
（３）当該処理領域を特定するための情報と、第１の外観画像で特定される商品を識別する商品識別情報と、パターンマッチングの結果とを対応付けて、マッチング結果記憶部１３に記憶させる。
【００３６】
マッチング部１１は、上記（１）乃至（３）の処理を、レイアウト画像内における処理領域およびパターンマッチングに用いる外観画像の少なくとも一方を変更しながら、繰り返し行う。以下、マッチング部１１による上記処理を説明する。
【００３７】
まず、マッチング部１１が、（１）レイアウト画像内における所定の領域である処理領域を特定する処理について説明する。
【００３８】
本実施形態のマッチング部１１は、商品領域抽出部１５が抽出した商品領域を、処理領域として特定する。例えば、マッチング部１１は、図４に示すような商品領域テーブル４ａから、商品領域番号「００００１」に対応付けられている座標「（２、５）（５、５）（２、１０）（５、１０）」を取得し、当該座標で特定されるレイアウト画像内の領域を、処理領域として特定する。
【００３９】
次に、マッチング部１１が、（２）処理領域内の画像と、外観データ保持部１２から取得した第１の外観画像とをパターンマッチングする処理について説明する。
【００４０】
マッチング部１１は、従来のあらゆる手法を用いて、パターンマッチングを行うことができる。そして、マッチング部１１は、パターンマッチングの結果として、認識率を算出する。なお、マッチング部１１は、処理領域内の画像と第１の外観画像の大きさが異なる場合、少なくともいずれか一方の大きさを、縦横比を維持したまま互いに一致する方向に変更した後、変更後の画像を用いて、マッチング処理を行うことができる。この時、マッチング部１１は、２つの画像の大きさを完全に一致させるのが好ましいが、必ずしもそのようにする必要はなく、多少のずれが残っていてもよい。
【００４１】
マッチング部１１は、第１の処理領域内の画像に対して、複数種の外観画像各々を順次用いてパターンマッチングを複数回行う。なお、マッチング部１１は、外観データ保持部１２が保持する複数種の外観画像すべてを順次用い、上記パターンマッチングを行ってもよい。
【００４２】
また、マッチング部１１は、第１の外観画像を用い、複数の処理領域の画像各々に対して、パターンマッチングを複数回行う。なお、マッチング部１１は、商品領域抽出部１５が抽出したすべての商品領域を順次処理領域として特定し、上記パターンマッチングを行ってもよい。
【００４３】
次に、マッチング部１１が、（３）処理領域を特定するための情報と、第１の外観画像で特定される商品を識別する商品識別情報と、パターンマッチングの結果とを対応付けて、マッチング結果記憶部１３に記憶する処理について説明する。
【００４４】
マッチング結果記憶部１３は、所定の情報を記録するため、例えば図６に示すようなテーブルを保持する。図６に示すテーブルには、レイアウト画像番号「Ｐ０００００１」で特定されるレイアウト画像に対して行ったパターンマッチングの結果が記録されている。当該テーブルには、処理領域を特定するための情報として、座標が記録されている。また、当該テーブルには、各処理領域に対応付けて、当該処理領域内の画像とパターンマッチングを行った外観画像で特定される商品の商品識別情報が記録されている。さらに、当該テーブルには、処理領域を特定するための情報および商品識別情報に対応付けて、パターンマッチングの結果である認識率が記録されている。以下、図６に示すテーブルを「マッチング結果テーブル６ａ」という。
【００４５】
マッチング部１１は、上記（１）および（２）の処理を行った後、例えば図６に示すようなマッチング結果テーブル６ａに、処理領域を特定するための情報、第１の外観画像で特定される商品を識別する商品識別情報、および、第１の外観画像を用いて行ったパターンマッチングの結果を対応付けて記録する。なお、マッチング部１１は、図５に示すような外観画像テーブル５ａを参照することで、第１の外観画像で特定される商品を識別する商品識別情報を取得することができる。
【００４６】
レイアウト推定部１４は、マッチング結果記憶部１３を参照し、パターンマッチングの結果に基づいて、処理領域に表示されている商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定する。
【００４７】
例えば、レイアウト推定部１４は、図６に示すマッチング結果テーブル６ａを参照し、第１の処理領域を特定するための座標「（２、５）、（５、５）、（２、１０）、（５、１０）」に対応付けられている商品識別情報の中から、対応付けられている認識率が最も高い商品識別情報、例えば「ＭＳ」を抽出する。そして、レイアウト推定部１４は、抽出した商品識別情報「ＭＳ」で特定される商品を、第１の処理領域に表示されている商品として推定する。レイアウト推定部１４は、すべての処理領域に対して、表示されている商品を推定する。
【００４８】
なお、レイアウト推定部１４は、推定した結果を、図７に示すような推定結果テーブル７ａに記録してもよい。図７に示す推定結果テーブル７ａによれば、レイアウト推定部１４は、レイアウト画像番号「Ｐ０００００１」で特定されるレイアウト画像内において、座標「（２、５）、（５、５）、（２、１０）、（５、１０）」で特定される領域に、商品識別情報「ＭＳ」で特定される商品が表示されていると推定し、座標「（７、５）、（１０、５）、（７、１０）、（１０、１０）」で特定される領域に、商品識別情報「ＭＳＬ」で特定される商品が表示されていると推定したことが示されている。
【００４９】
ここで、商品領域抽出部１５が抽出した商品領域の中には、商品が表示されていない領域が含まれる可能性がある。例えば、レイアウト画像内に、商品の外観形状と同様の形状を有する物が含まれる場合、商品領域抽出部１５は、当該物が表示されている領域を、商品領域として抽出してしまう可能性がある。
【００５０】
具体的には、例えばレイアウト画像内に含まれる什器の外観形状が商品の外観形状と同様の形状である場合、商品領域抽出部１５は、什器が表示されている領域を、商品領域として抽出してしまう場合がある。かかる場合、マッチング部１１は、什器が表示されている領域をも処理領域として特定し、当該領域に表示されている画像と商品の外観画像とをパターンマッチングする。そして、マッチング部１１は、什器が表示されている領域（処理領域）を特定するための情報と、商品識別情報と、パターンマッチングの結果とを対応付けて、例えば図６に示すようなマッチング結果テーブル６ａに記録することとなる。すなわち、マッチング結果テーブル６ａには、商品が表示されていない領域を特定するための情報に、商品識別情報と、パターンマッチングの結果とを対応付けた情報が記録されている可能性がある。かかる場合、レイアウト推定部１４は、複数種の商品の陳列状態を的確に推定することはできない。
【００５１】
そこで、レイアウト推定部１４は、上記不都合を回避するため、マッチング結果テーブル６ａに記録されている処理領域の中から、商品が表示されていない領域を特定し、例えば当該テーブルから削除する、または、当該領域は商品が表示されていない領域であることを認識可能な情報を、マッチング結果テーブル６ａに付与するなどの処理を行うことができる。
【００５２】
なお、レイアウト推定部１４が、マッチング結果テーブル６ａに記録されている処理領域の中から、商品が表示されていない領域を特定する処理としては、例えば、マッチング結果テーブル６ａに記録されているパターンマッチングの結果を利用して行う処理が考えられる。
【００５３】
具体的には、レイアウト推定部１４は、マッチング結果テーブル６ａに記録されている処理領域ごとに、対応付けられている複数の認識率の中の最も高い認識率が、所定の値以下または所定の値より小さいか判断する。そして、レイアウト推定部１４は、対応付けられている複数の認識率の中の最も高い認識率が所定の値以下または所定の値より小さい処理領域は、商品が表示されていない領域として推定する。なお、ここで説明した構成はあくまで一例であり、レイアウト推定部１４は、他の構成により、マッチング結果テーブル６ａに記録されている処理領域の中から、商品が表示されていない領域を特定してもよい。
【００５４】
レイアウト推定部１４は、各処理領域に表示されている商品を推定し、また、処理領域の中の商品が表示されていない領域を推定した後、推定した結果を、ディスプレイ、印刷装置などのあらゆる出力装置を用い、ユーザに向けて出力することができる。例えば、レイアウト推定部１４は、図７に示すような推定結果テーブル７ａを出力してもよい。
【００５５】
その他、レイアウト推定部１４は、推定した結果を用いて図８に示すような出力画像Ｇを作成し、ユーザに向けて出力してもよい。図８に示す出力画像Ｇは、レイアウト画像Ｃと、レイアウト画像Ｃに表示されている複数種の商品の陳列状態を推定した結果画像Ｅとを並べて表示している。なお、出力画像Ｇは結果画像Ｅのみを表示した画像とすることもできる。
【００５６】
結果画像Ｅは、図７に示す推定結果テーブル７ａに記録されている複数の領域各々を特定するための座標を用いて複数の矩形を表し、複数の矩形すべてを含む矩形群が結果画像Ｅに適度な大きさで表示されるよう拡大表示したものである。そして、各矩形の中に、各矩形を表示するために用いた座標に対応付けられている商品識別情報を表示している。また、結果画像Ｅの上隅に、レイアウト画像番号「Ｐ０００００１」を表示することで、いずれのレイアウト画像の結果であるかをユーザが識別できるようにしている。このような結果画像Ｅによれば、ユーザは複数種の商品の陳列状態を直感的に把握することができる。また、図８に示すように、結果画像Ｅとレイアウト画像Ｃとを並べて表示することで、ユーザは、本実施形態の商品管理装置１による陳列状態の推定結果が適切なものか容易に確認することができる。
【００５７】
その他、レイアウト推定部１４は、推定した結果から、陳列されている商品の列数および段数を推定し、各列の各段にいずれの商品が陳列されているかを示した情報を出力してもよい。例えば、レイアウト推定部１４は、図９に示すような出力テーブル９ａを作成し、出力してもよい。図９に示す出力テーブル９ａは、レイアウト画像番号「Ｐ０００００１」で特定されるレイアウト画像に対して行ったパターンマッチングの結果が記録されており、陳列されている商品の列数および段数が示されている。また、各列の各段に、当該位置に陳列されている商品を識別する商品識別情報が対応付けて記録されている。
【００５８】
なお、レイアウト推定部１４が列数および段数を推定する手段は特段制限されない。以下、一例を説明する。まず、レイアウト推定部１４は、図７に示す推定結果テーブル７ａに記録されている複数の領域各々を特定するための情報（座標）の中から、１つの情報（座標）を抽出する。例えば、レイアウト推定部１４は、図１０に示すレイアウト画像Ｃに関する推定結果テーブル７ａに記録されている複数の領域Ｄを特定するための情報の中から、領域Ｄ'を特定するための情報を抽出する。そして、レイアウト推定部１４は、抽出した情報で特定される領域Ｄ'を、レイアウト画像Ｃ内において、ｙ軸の位置を固定したままｘ軸方向に移動した際に、領域Ｄ'と重なる他の領域Ｄがいくつ含まれるかカウントする。図１０の場合、カウント値は３となる。そして、レイアウト推定部１４は、当該カウント値に「１」を加えた数を列数とする。すなわち、図１０の場合、レイアウト推定部１４は、列数を「４」と推定する。
【００５９】
同様に、レイアウト推定部１４は、抽出した情報で特定される領域Ｄ'を、レイアウト画像Ｃ内において、ｘ軸の位置を固定したままｙ軸方向に移動した際に、領域Ｄ'と重なる他の領域Ｄがいくつ含まれるかカウントする。そして、レイアウト推定部１４は、当該カウント値に「１」を加えた数を段数とする。図１０の場合、レイアウト推定部１４は、段数を「３」と推定する。当該処理例はあくまで一例であり、レイアウト推定部１４は、他の手段を用いて列数および段数を推定することもできる。
【００６０】
なお、商品の陳列状態は多様であるので、各段の列数が異なる場合が考えられる。例えば、１段目は６列、２段目は６列、３段目は５列などの陳列状態が考えられる。そこで、レイアウト推定部１４は、上述の手段を用いて段数を算出した後、各段に対して、上述の列数を算出する処理を行ってもよい。当然、レイアウト推定部１４は、上述の手段を用いて列数を算出した後、各列に対して、上述の段数を算出する処理を行うこともできる。
【００６１】
次に、本実施形態の商品管理装置１の処理の流れの一例について、図２、３、５、６、７、８および１１を用いて説明する。
【００６２】
図１１のフローチャートに示すように、まず、図２に示すレイアウトデータ取得部１０が、レイアウト画像のデータを取得する（Ｓ１０）。例えば、レイアウトデータ取得部１０は、図３（ａ）に示すような、複数の商品Ａが陳列された什器を撮像したレイアウト画像Ｃのデータを取得する。
【００６３】
次に、図２に示す商品領域抽出部１５が、Ｓ１０でレイアウトデータ取得部１０が取得したレイアウト画像の中から、商品領域を抽出する（Ｓ２０）。例えば、商品領域抽出部１５は、レイアウトデータ取得部１０が取得した図３（ａ）に示すようなレイアウト画像Ｃから、図３（ｂ）に示すように、複数の商品領域Ｂを抽出する。
【００６４】
次に、図２に示すマッチング部１１が、Ｓ２０で商品領域抽出部１５が抽出した商品領域の中の１つを、処理領域として特定する（Ｓ３０）。例えば、マッチング部１１は、図３（ｂ）に示す複数の商品領域Ｂの中から、図中、最も左側の最も上側に位置する商品領域Ｂを、処理領域として特定する。
【００６５】
次に、図２に示すマッチング部１１が、外観データ保持部１２が保持する外観画像を順に用い、当該外観画像と、Ｓ３０で特定した処理領域に含まれる画像とをパターンマッチングし、結果をマッチング結果記憶部１３に記憶させる（Ｓ４０）。
【００６６】
例えば、マッチング部１１は、外観データ保持部１２が保持する図５に示すような外観画像テーブル５ａから、商品識別情報「ＭＳ」に対応付けられている外観画像データを取得する。そして、マッチング部１１は、当該外観画像と、図３（ｂ）中、最も左側の最も上側に位置する商品領域Ｂ内の画像とをパターンマッチングする。
【００６７】
次に、マッチング部１１は、図３（ｂ）中、最も左側の最も上側に位置する商品領域Ｂを特定するための情報と、商品識別情報「ＭＳ」と、パターンマッチングの認識率とを対応付けて、マッチング結果記憶部１３に記憶させる。例えば、マッチング部１１は、上記情報を、図６に示すマッチング結果テーブル６ａに記録する。
【００６８】
その後、マッチング部１１は、外観データ保持部１２が保持する図５に示すような外観画像テーブル５ａから、商品識別情報「ＣＢＮ」に対応付けられている外観画像データを取得する。そして、マッチング部１１は、当該外観画像と、図３（ｂ）中、最も左側の最も上側に位置する商品領域Ｂ内の画像とをパターンマッチングし、結果をマッチング結果記憶部１３に記憶させる。
【００６９】
その後、マッチング部１１は、外観データ保持部１２が保持する外観データを順に取得し、上記処理を繰り返す。そして、当該処理が終了すると、商品管理装置１はＳ５０に進む。
【００７０】
その後、Ｓ２０で商品領域抽出部１５が抽出した商品領域の中に、Ｓ３０で処理領域として特定されていない商品領域がある場合（Ｓ５０のＹｅｓ）、商品管理装置１はＳ３０に戻り、上記処理を繰り返す。例えば、戻ったＳ３０において、マッチング部１１は、図３（ｂ）に示す複数の商品領域Ｂの中から、図中、最も左側の上から２番目に位置する商品領域Ｂを、処理領域として特定する。そして、上記処理を繰り返す。
【００７１】
一方、Ｓ２０で商品領域抽出部１５が抽出した商品領域の中に、Ｓ３０で処理領域として特定されていない商品領域がない場合（Ｓ５０のＮｏ）、商品管理装置１はＳ６０に進む。
【００７２】
その後、Ｓ６０において、図２に示すレイアウト推定部１４は、Ｓ４０でパターンマッチングの結果が記憶されたマッチング結果記憶部１３を参照し、複数種の商品の陳列状態を推定する（Ｓ６０）。
【００７３】
例えば、レイアウト推定部１４は、図６に示すマッチング結果テーブル６ａを参照し、第１の処理領域を特定するための情報に対応付けられている商品識別情報の中から、最も高い認識率が対応付けられている商品識別情報を抽出する。そして、レイアウト推定部１４は、抽出した商品識別情報で特定される商品が、第１の処理領域に表示されていると推定する。レイアウト推定部１４は、すべての処理領域に表示されている商品を推定し、推定した結果を、例えば、図７に示すような推定結果テーブル７ａに記録する。その後、レイアウト推定部１４は、推定結果テーブル７ａを利用して、図８に示すような、結果画像Ｅとレイアウト画像Ｃとを並べて表示した出力画像Ｇを作成し、ユーザに向けて出力する。
【００７４】
次に、本実施形態の商品管理装置１の処理の流れの他の一例について、図２、３、５、６、７、８および１２を用いて説明する。
【００７５】
図１２のフローチャートに示すように、まず、図２に示すレイアウトデータ取得部１０が、レイアウト画像のデータを取得する（Ｓ１１）。例えば、レイアウトデータ取得部１０は、図３（ａ）に示すような、複数の商品Ａが陳列された什器を撮像したレイアウト画像Ｃのデータを取得する。
【００７６】
次に、図２に示す商品領域抽出部１５が、Ｓ１１でレイアウトデータ取得部１０が取得したレイアウト画像の中から、商品領域を抽出する（Ｓ２１）。例えば、商品領域抽出部１５は、レイアウトデータ取得部１０が取得した図３（ａ）に示すようなレイアウト画像Ｃにおいて、図３（ｂ）に示すように、複数の商品領域Ｂを抽出する。
【００７７】
次に、図２に示すマッチング部１１が、外観データ保持部１２が保持する外観画像の中から１つを取得する（Ｓ３１）。例えば、マッチング部１１は、外観データ保持部１２が保持する図５に示すような外観画像テーブル５ａから、商品識別情報「ＭＳ」に対応付けられている外観画像データを取得する。
【００７８】
次に、図２に示すマッチング部１１が、Ｓ２１で商品領域抽出部１５が抽出した複数の商品領域を順に処理領域として特定し、特定した処理領域に含まれる画像と、Ｓ３１で取得した外観画像とをパターンマッチングして、結果をマッチング結果記憶部１３に記憶させる（Ｓ４１）。
【００７９】
例えば、マッチング部１１は、図３（ｂ）に示す複数の商品領域Ｂの中から、図中、最も左側の最も上側に位置する商品領域Ｂを、処理領域として特定する。
【００８０】
そして、マッチング部１１は、図３（ｂ）中、最も左側の最も上側に位置する商品領域Ｂ内の画像と、商品識別情報「ＭＳ」に対応付けられている外観画像と、をパターンマッチングする。
【００８１】
次に、マッチング部１１は、図３（ｂ）中、最も左側の最も上側に位置する商品領域Ｂを特定するための情報と、商品識別情報「ＭＳ」と、パターンマッチングの認識率とを対応付けて、マッチング結果記憶部１３に記憶させる。例えば、マッチング部１１は、上記情報を、図６に示すマッチング結果テーブル６ａに記録する。
【００８２】
その後、マッチング部１１は、図３（ｂ）に示す複数の商品領域Ｂの中から、他の商品領域Ｂを処理領域として特定する。そして、マッチング部１１は、特定した処理領域内の画像と、商品識別情報「ＭＳ」に対応付けられている外観画像と、をパターンマッチングし、結果をマッチング結果記憶部１３に記憶させる。
【００８３】
その後、マッチング部１１は、Ｓ２１で商品領域抽出部１５が抽出した複数の商品領域すべてを、Ｓ４１で処理領域として特定するまで、上記処理を繰り返す。そして、当該処理が終了すると、商品管理装置１はＳ５１に進む。
【００８４】
その後、外観データ保持部１２が保持する外観画像の中に、Ｓ３１で取得されていない外観画像がある場合（Ｓ５１のＹｅｓ）、商品管理装置１はＳ３１に戻り、上記処理を繰り返す。例えば、戻ったＳ３１において、マッチング部１１は、外観データ保持部１２が保持する図５に示すような外観画像テーブル５ａから、商品識別情報「ＣＢＮ」に対応付けられている外観画像データを取得する。そして、上記処理を繰り返す。
【００８５】
一方、外観データ保持部１２が保持する外観画像の中に、Ｓ３１で取得されていない外観画像がない場合（Ｓ５１のＮｏ）、商品管理装置１はＳ６１に進む。
【００８６】
その後、Ｓ６１において、図２に示すレイアウト推定部１４は、Ｓ４１でパターンマッチングの結果が記憶されたマッチング結果記憶部１３を参照し、複数種の商品の陳列状態を推定する（Ｓ６１）。
【００８７】
例えば、レイアウト推定部１４は、図６に示すマッチング結果テーブル６ａを参照し、第１の処理領域を特定するための情報に対応付けられている商品識別情報の中から、最も高い認識率が対応付けられている商品識別情報を抽出する。そして、レイアウト推定部１４は、抽出した商品識別情報で特定される商品が、第１の処理領域に表示されていると推定する。レイアウト推定部１４は、すべての処理領域に表示されている商品を推定し、推定した結果を、図７に示すような推定結果テーブル７ａに記録する。その後、レイアウト推定部１４は、推定結果テーブル７ａを利用して、図８に示すような、結果画像Ｅとレイアウト画像Ｃとを並べて表示した出力画像Ｇを作成し、ユーザに向けて出力する。
【００８８】
本実施形態の商品管理装置１は、例えば以下のプログラムをコンピュータにインストールすることで実現することができる。
コンピュータを、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得手段、
前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチング手段、
前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定手段として機能させるためのプログラム。
【００８９】
次に、本実施形態の作用効果を説明する。
本実施形態の商品管理装置１は、複数種の商品が陳列されている状態を撮像した画像データを取得すると、当該画像内において商品が表示されている領域を抽出し、抽出した領域各々に表示されている画像と、複数種の商品各々の外観画像とをパターンマッチングしていく。そして、商品管理装置１は、パターンマッチングの結果に基づいて、各領域に表示されている商品を推定し、推定した結果に基づいて、複数種の商品の陳列状態を推定することができる。
【００９０】
このような本実施形態の商品管理装置によれば、複数種の商品の陳列状態を知りたいユーザは、複数種の商品が陳列されている状態を撮像した画像データを取得し、当該画像データを商品管理装置１に入力するだけで、商品の陳列状態を示した情報を取得することができる。このような本実施形態の商品管理装置１によれば、効率的かつ正確に、複数種の商品の陳列状態を示す情報を収集することができる。
【００９１】
また、本実施形態の商品管理装置１によれば、レイアウト画像内における商品が表示されている領域を特定した後、当該領域内の画像と、商品の外観画像とをパターンマッチングしていく。このような本実施形態の商品管理装置１によれば、パターンマッチングの回数を減らすことができるので、処理効率を向上させることができる。
【００９２】
なお、本実施形態の商品管理装置１は、あらゆる商品の陳列状態を推定することができるが、特に、商品がたばこ、飲料、食品および医薬品のいずれかである場合、優れた作用効果を実現することができる。以下説明する。
【００９３】
まず、商品がたばこである場合に得られる作用効果について説明する。
たばこは、その特徴的な形状および大きさなどのため、店頭販売のための什器に陳列された状態、および、自動販売機のディスプレイ部に陳列された状態いずれにおいても、各商品に特有のデザインまたは商品名が示された面が顧客側に向けられるように陳列されやすい。また、顧客側から見た複数の商品の配列は縦横規則正しい状態となりやすい。このため、本実施形態の商品管理装置１は、高い精度で、たばこの陳列状態を推定することが可能となる。
【００９４】
なお、近年、たばこの販売事情は大きく変動している。すなわち、自動販売機によるたばこの購入に比べて店舗における販売の数が増加している。結果、店頭に陳列されるたばこの銘柄が増加したり、また、売れ筋の銘柄を陳列するスペースを多く確保したりと、店頭におけるたばこの陳列状態が変動している。このような理由などから、たばこの陳列状態に関する研究は、特に強く望まれている。
【００９５】
また、たばこのメーカーにとって、自動販売機での販売および販売数が増加している店頭販売いずれの販売形態においても十分な売り上げを確保するため、店舗や自動販売機のディスプレイ部における商品の陳列状態を把握し、管理することは重要である。このような理由などから、店舗や自動販売機におけるたばこの陳列状態を示す情報を収集することは、特に強く望まれている。
【００９６】
本実施形態の商品管理装置１によれば、店頭販売のため什器に陳列されている複数種のたばこの陳列状態、および、自動販売機での販売のため自動販売機のディスプレイ部に陳列されている複数種のたばこの陳列状態いずれにおいても、効率的かつ正確に、複数種のたばこの陳列状態を示す情報を収集することができるので、上記要求を満たすことができる。
【００９７】
次に、商品が飲料である場合に得られる作用効果について説明する。
飲料は、たばこ同様、店頭販売のほか、自動販売機で販売される。店頭販売の場合、例えばコンビニエンスストアなどでは、冷蔵庫内に複数のレーンを設け、各レーンに１つの商品を陳列している場合が多い。かかる場合、顧客側から見た商品の配列は縦横規則正しい状態となる。このため、本実施形態の商品管理装置１は、高い精度で、コンビニエンスストアなどで店頭販売されている飲料の陳列状態を推定することが可能となる。
【００９８】
また、自動販売機で飲料を販売する場合も同様、顧客側から見た商品の配列は縦横規則正しい状態となる。また、かかる場合、顧客側を向く商品の面は、各商品に特有のデザインまたは商品名が示された面となりやすく、かつ、当該状態が変動することはほとんどない。このため、本実施形態の商品管理装置１は、高い精度で、自動販売機で販売されている飲料の陳列状態を推定することが可能となる。
【００９９】
次に、商品が食品である場合に得られる作用効果について説明する。
食品の種類は様々であるが、例えば冷凍食品や、包装が箱状の食品（例：カレールー）などである場合に、本実施形態の商品管理装置１は優れた作用効果を実現する。冷凍食品は、内容物が冷凍状態であるためその外観形状は略固定されている。また、包装が箱状の食品も同様に、外観形状が略固定されている。よって、これらの食品は、陳列の仕方等に起因して外観形状が変動することはほとんどない。このため、本実施形態の商品管理装置１は、高い精度で、これらの食品の陳列状態を推定することが可能となる。
【０１００】
次に、商品が医薬品である場合に得られる作用効果について説明する。
医薬品は、包装が箱状のものが多く、外観形状が略固定されている。よって、これらの商品は、陳列の仕方等に起因して外観形状が変動することはほとんどない。このため、本実施形態の商品管理装置１は、高い精度で、医薬品の陳列状態を推定することが可能となる。
【０１０１】
＜実施形態２＞
本実施形態の商品管理装置１は、図２に示すマッチング部１１の構成が異なる以外は、実施形態１の商品管理装置１の構成と同様である。以下、図２に示す機能ブロック図を用いて、マッチング部１１について説明する。
【０１０２】
マッチング部１１は、第１の処理領域内の画像、例えば図３（ｂ）に示す最も左側の最も上側に位置する商品領域Ｂ内の画像と、所定の外観画像とをパターンマッチングすると、その都度、パターンマッチングの結果として得られた認識率が所定値以上または所定値より高いか大小比較する。そして、当該認識率が所定値以上または所定値より高い場合、マッチング部１１は、以降、第１の処理領域内の画像と外観画像とをパターンマッチングする処理を行わない。すなわち、その時点で、第１の処理領域内の画像とパターンマッチングを行っていない外観画像が存在しても、マッチング部１１は、これらの外観画像と、第１の処理領域内の画像とのパターンマッチングを行わず、第１の処理領域内の画像に対するパターンマッチングを終了する。
【０１０３】
かかる場合、レイアウト推定部１４は、必然的に、所定値以上または所定値より高い認識率が得られたパターンマッチングに用いた外観画像で特定される商品を、第１の処理領域内に表示されている商品として推定することとなる。なお、上記「所定値」は設計的事項であり、例えば９０％、９５％など、十分に高い値とすることができる。
【０１０４】
ここで、例えば、マッチング部１１は、第１の処理領域内の画像と、所定の外観画像とのパターンマッチングにおいて所定値以上または所定値より高い認識率が得られると、第１の処理領域を特定するための情報に、パターンマッチングが終了した旨を示す情報（以下、「処理終了情報」という）を対応付けて記録してもよい。そして、マッチング部１１は、各処理領域内の画像と、外観画像とをパターンマッチングしていく際、各処理領域に処理終了情報が対応付けられているか否かを確認することで、各処理領域のパターンマッチングが終了しているか否かを判断してもよい。なお、マッチング部１１は、例えば、マッチング結果テーブル６ａに、上記処理終了情報を記録してもよい。
【０１０５】
本実施形態の商品管理装置１によれば、ある領域に表示されている商品を所望の認識率（例えば９０％以上）で特定できた場合、当該領域に表示されている商品は当該商品であると推定し、以降、その領域に表示されている商品を推定する処理を行わない。このような本実施形態の商品管理装置１によれば、不要なパターンマッチングを減らすことができ、結果、処理効率を向上させることができる。
【０１０６】
＜実施形態３＞
本実施形態の商品管理装置１は、図２に示すレイアウト推定部１４の構成が異なる以外は、実施形態１および２の商品管理装置１の構成と同様である。以下、図２に示す機能ブロック図を用いて、レイアウト推定部１４について説明する。
【０１０７】
実施形態１および２では、レイアウト推定部１４が、マッチング結果記憶部１３を参照し（図６参照）、第１の処理領域を特定するための情報に対応付けられている複数の商品識別情報の中から、対応付けられている認識率が最も高い商品識別情報を抽出し、抽出した商品識別情報で特定される商品を、第１の処理領域に表示されている商品として推定する構成について説明した。
【０１０８】
これに対し、本実施形態では、レイアウト推定部１４は、マッチング結果記憶部１３を参照し（図６参照）、第１の処理領域を特定するための情報に対応付けられている複数の商品識別情報の中から、対応付けられている認識率が高い方から順に所定数の商品識別情報を抽出する。そして、抽出した商品識別情報で特定される商品を、第１の処理領域に表示されている商品の候補として、ユーザに向けて出力する。
【０１０９】
例えば、レイアウト推定部１４は、図６に示すマッチング結果テーブル６ａを参照して、処理領域ごとに所定数の商品識別情報を抽出後、図１３に示すような出力画像Ｇ'を作成し、ユーザに向けて出力してもよい。図１３に示す出力画像Ｇ'は、結果画像Ｆに表示されている矩形の中に複数の商品識別情報が表示されている点以外は、実施形態１において図８を用いて説明した出力画像Ｇと同様である。矩形の中に表示されている複数の商品識別情報は、レイアウト推定部１４が処理領域ごとに抽出した所定数の商品識別情報である。出力画像Ｇ'は、商品識別情報を表示する代わりに、各商品の外観画像を出力することもできる。出力手段は特段制限されず、ディスプレイ、印刷装置などのあらゆる出力装置を用いて実現することができる。
【０１１０】
なお、出力画像Ｇ'をディスプレイに出力する場合、出力画像Ｇ'は以下のように構成することもできる。すなわち、出力画像Ｇ'は、各矩形の中に複数の商品識別情報を表示するのでなく、最も高い認識率が対応付けられている１つの商品識別情報のみを表示する。そして、例えばカーソル位置を１つの矩形の表示位置に合わせられると、その矩形で特定される処理領域において抽出した所定数の商品識別情報、すなわち当該処理領域に表示されている候補である商品の商品識別情報をディスプレイに表示してもよい。
【０１１１】
また、レイアウト推定部１４は、第１の処理領域に表示されている商品の候補として出力している複数の商品識別情報の中から、１つを指定する入力をユーザから受付けることができる。例えば、レイアウト推定部１４は、図１３に示すような出力画像Ｇ'をディスプレイに出力し、出力画像Ｇ'において、処理領域ごとに（矩形ごとに）、１つの商品識別情報を指定する入力をユーザから受付けてもよい。例えば、レイアウト推定部１４は、図１３に示すような出力画像Ｇ'において、カーソル位置を１つの処理領域に表示されている１つの商品識別情報に合わせる入力、および、当該状態での決定入力（右クリックなど）を受付けることで、処理領域ごとに、１つの商品識別情報を指定する入力をユーザから受付けてもよい。図１３に示す出力画像Ｇ'の場合、レイアウト画像Ｃと結果画像Ｆとを並べて表示しているので、ユーザは、各処理領域に表示されている商品を容易に認識し、処理領域ごとに、１つの商品識別情報を指定する入力を容易に行うことができる。
【０１１２】
そして、レイアウト推定部１４は、ユーザが指定した商品を、第１の処理領域に表示されている商品として推定することができる。なお、上記入力を受付ける手段は特段制限されず、マウス、キーボード、操作ボタン、タッチパネルディスプレイなどのあらゆる入力手段を用いて実現することができる。また、上記「所定数」は設計的事項である
【０１１３】
本実施形態の商品管理装置１によれば、ある領域に表示されている商品の候補を所定数抽出し、抽出した商品を当該領域に表示されている商品の候補として、ユーザに向けて出力することができる。そして、商品管理装置１は、ユーザから受付けた入力内容に従い、当該領域に表示されている商品を推定することができる。
【０１１４】
このような本実施形態の商品管理装置１によれば、表示されている商品を所望の認識率で特定できなかった場合であっても、十分な精度で、当該領域に表示されている商品を推定することができる。なお、本実施形態の商品管理装置１によれば、候補の中から１つを指定するというユーザの操作が新たに加わるが、ユーザは、所定数に絞り込まれた候補の中から１つを指定すればよいので、過度の負担にならない。
【０１１５】
本実施形態の変形例として、以下のものが考えられる。すなわち、商品管理装置１は、所定値以上または所定値より高い認識率が得られた処理領域においては、最も高い認識率が対応付けられている商品識別情報で特定される商品を、その処理領域に表示されている商品として推定する。一方、商品管理装置１は、所定値以上または所定値より高い認識率が得られていない処理領域においては、所定数の候補を抽出し、その処理領域に表示されている商品の候補としてユーザに向けて出力する。このように構成すれば、複数の候補から１つを指定するユーザ操作を減らすことができ、結果、ユーザの負担を軽減することができる。
【０１１６】
＜実施形態４＞
本実施形態の商品管理装置１は、図２に示すマッチング部１１およびレイアウト推定部１４の構成が異なり、かつ、商品領域抽出部１５を有さなくてもよい点以外は、実施形態１乃至３の商品管理装置１の構成と同様である。以下、マッチング部１１およびレイアウト推定部１４について説明する。
【０１１７】
マッチング部１１は、処理領域を特定する手段が、実施形態１乃至３と異なる。すなわち、実施形態１乃至３においては、マッチング部１１は、商品領域抽出部１５が抽出した商品領域を処理領域として特定した。これに対し、本実施形態においては、マッチング部１１は、レイアウト画像内において特定可能なあらゆる領域を、処理領域として特定する。
【０１１８】
すなわち、マッチング部１１は、（１）レイアウト画像内における任意の領域を処理領域として特定した後、（２）当該処理領域の位置、大きさおよび形状の少なくとも１つを変更しながら、複数の処理領域を特定することができる。例えば、マッチング部１１は、図１４に示すレイアウト画像Ｃにおいて、左上隅に位置する任意の形状および大きさの領域Ｋを処理領域として特定後、当該処理領域の形状および大きさを維持したまま、当該処理領域の位置を１ピクセルごとｘ軸方向に移動することで、複数の処理領域を特定する。また、マッチング部１１は、領域Ｋを１ピクセル分ｙ軸方向に移動した領域を処理領域として特定し、当該処理領域の形状および大きさを維持したまま、当該処理領域の位置を１ピクセルごとｘ軸方向に移動することで、複数の処理領域を特定する。マッチング部１１は上記処理を繰り返し行い、レイアウト画像Ｃの右下隅に位置する領域Ｋと同じ形状および大きさの領域を処理領域として特定した後、領域Ｋの形状および／または大きさを変更した領域を処理領域として特定し、上記処理を繰り返す。
【０１１９】
マッチング部１１は、例えば上述のような処理により、レイアウト画像Ｃ内において特定可能なあらゆる領域を、処理領域として特定する。このように構成することで、マッチング部１１は、レイアウト画像Ｃ内において商品が表示されている領域を、確実に処理領域として特定することができる。
【０１２０】
しかし、上記構成とした場合、マッチング部１１による処理負担が大きくなる。そこで、マッチング部１１は、上記構成を前提とし、処理負担を軽減可能とする構成をさらに有してもよい。以下、当該構成について説明する。
【０１２１】
まず、マッチング部１１が、（１）レイアウト画像内において任意の領域を処理領域として特定する処理は、以下のような処理とすることができる。
【０１２２】
例えば、マッチング部１１は、所定の形状で、任意の大きさかつ任意の位置の領域を処理領域として特定する。ここでの「所定の形状」は、商品の陳列状態を撮像したレイアウト画像に映ると考えられる商品の形状とすることができる。すなわち、所定の形状は、商品の外観形状に基づいて定めることができる。例えば商品がたばこの場合、所定の形状は、たばこの正面形状または側面形状（所定の縦横比の長方形）、あるいは、カートンの正面形状または側面形状（所定の縦横比の長方形）などが考えられる。
【０１２３】
例えばマッチング部１１は、あらかじめ所定の形状を示す情報を保持しておく。そして、処理領域を特定する際、マッチング部１１は、上記情報を用いて所定の形状を認識し、当該形状であって、任意の大きさかつ任意の位置の領域を処理領域として特定する。
【０１２４】
上述のように構成する場合、マッチング部１１は、所定の形状を示す情報を複数保持することもできる。これは、複数種の商品の中に、外観形状が異なるものが含まれる場合を想定した構成である。なお、所定の形状は矩形に限定されず、陳列状態を知りたい商品の外観形状が他の形状であれば、その形状とすることができる。
【０１２５】
次に、マッチング部１１が、（２）処理領域の位置、大きさおよび形状の少なくとも１つを変更し、複数の処理領域を特定する処理は、以下のような処理とすることができる。
【０１２６】
例えば、マッチング部１１は処理領域の大きさを変更する場合、上記所定の形状の縦横比を維持したまま拡大または縮小する。このように構成すれば、レイアウト画像内において特定される処理領域の形状が限定されるので、マッチング部１１が特定する処理領域の数を軽減することができる。結果、マッチング部１１の処理負担を軽減することができる。なお、このように構成しても、上述の通り、所定の形状は、商品の陳列状態を撮像したレイアウト画像に映ると考えられる商品の形状とすることができるので、マッチング部１１は十分な確率で、レイアウト画像内において商品が表示されている領域を、処理領域として特定することができる。
【０１２７】
また、マッチング部１１は、上記所定の形状の大きさの上限および下限を示す情報を保持しておき、この範囲内で、上記所定の形状の大きさを変更してもよい。上記「上限および下限」は、例えば、レイアウト画像内に映ると考えられる商品の大きさの上限および下限を、商品に応じてユーザが予め予測した値とすることができる。このように構成することで、マッチング部１１が特定する処理領域の数を軽減することができ、結果、マッチング部１１の処理負担を軽減することができる。
【０１２８】
その他、マッチング部１１は、ユーザからレイアウト画像内における検索領域を指定する入力を受付け、当該検索領域内でのみ、処理領域を特定するよう構成してもよい。このようにすれば、マッチング部１１の処理負担を軽減することができる。
【０１２９】
その他、マッチング部１１は、複数種の商品が陳列されている什器や自動販売機の外観形状を示す情報を保持しておき、当該情報を利用して、レイアウト画像Ｃ（図１４参照）内において什器や自動販売機が表示されている領域を特定してもよい。そして、マッチング部１１は、什器や自動販売機が表示されている領域内のみで、処理領域を特定してもよい。このようにすれば、マッチング部１１の処理負担を軽減することができる。なお、レイアウト画像Ｃ内において什器や自動販売機が表示されている領域を特定する処理は、実施形態１で説明した商品領域抽出部１５が商品領域を抽出する処理と同様にして実現することができる。
【０１３０】
ここで、上述した本実施形態のマッチング部１１の構成によれば、マッチング部１１は、十分な確率で、レイアウト画像内において商品が表示されている領域を、処理領域として特定することができる。しかし、マッチング部１１は、図１５に示すように、商品が表示されている領域Ｊのみならず、商品が表示されていない領域、例えば領域Ｉをも処理領域として特定する場合がある。
【０１３１】
かかる場合、マッチング部１１が処理領域ごとにパターンマッチングを行い、その結果を記憶したマッチング結果記憶部１３、例えばマッチング結果テーブル６ａ（図６参照）には、商品が表示されていない領域が、商品識別情報およびパターンマッチングの結果と対応付けて記録される事となる。
【０１３２】
また、上述した本実施形態のマッチング部１１の構成によれば、マッチング部１１は、図１６に示すように、互いに重なる複数の領域を処理領域として特定することとなる。図１６はレイアウト画像の一部を抽出して示した図であり、レイアウト画像内の商品Ａ１およびＡ２が示されている。また、図１６には、マッチング部１１が特定した処理領域の一例として、複数の処理領域Ｈ１乃至Ｈ５が示されている。なお、図１６に示した処理領域Ｈ１乃至Ｈ５はあくまで一例であり、マッチング部１１は、互いに重なるさらに多数の処理領域を特定することとなる。
【０１３３】
かかる場合、マッチング部１１が処理領域ごとにパターンマッチングを行い、その結果を記録した例えばマッチング結果テーブル６ａ（図６参照）には、互いに重なる複数の処理領域Ｈ１乃至Ｈ５すべてが、各々商品識別情報およびパターンマッチングの結果と対応付けて記録される事となる。
【０１３４】
本実施形態のマッチング部１１の構成によれば、上述のように、商品が表示されている領域でない領域が処理領域として、例えばマッチング結果テーブル６ａ（図６参照）に記録される不都合が生じ得る。当然、このようなマッチング結果テーブル６ａのままでは、複数種の商品の陳列状態を十分な精度で推定することは困難である。
【０１３５】
そこで、本実施形態のレイアウト推定部１４は、上記不都合を解消するために、以下の構成を有する。なお、以下の構成を有する点以外は、本実施形態のレイアウト推定部１４は、実施形態１乃至３の構成と同様である。
【０１３６】
レイアウト推定部１４は、本実施形態のマッチング部１１が特定した複数の処理領域の中から、商品が表示されている領域である処理領域を特定する構成を有する。すなわち、レイアウト推定部１４は、マッチング部１１が特定した複数の処理領域の中から、図１５に示す領域Ｊのみを特定する構成を有する。また、レイアウト推定部１４は、図１６に示す処理領域Ｈ１乃至Ｈ５を含む複数の処理領域の中から、商品Ａ１が表示されている領域である処理領域Ｈ１と、商品Ａ２が表示されている領域である処理領域Ｈ５とを特定する。
【０１３７】
上記構成を実現する手段は特段制限されないが、例えば、レイアウト推定部１４は、まず、図６に示すようなマッチング結果テーブル６ａに記録されているすべての処理領域を、商品が表示されている領域の候補とする。そして、これらの処理領域の中から、対応付けられている最も高い認識率が所定値以上または所定値より高い処理領域のみを、商品が表示されている領域の候補として残し、他の処理領域は当該候補から外す。当該処理により、図１５に示すような、全く商品を表示していない領域Ｉを、候補から外すことができる。「所定値」は設計的事項である。
【０１３８】
なお、上記処理によっても、例えば、図１６に示す領域Ｈ２、Ｈ３およびＨ４は、商品が表示されている領域を含むため、候補から外すことができない恐れがある。
【０１３９】
そこで、レイアウト推定部１４は、図６に示すようなマッチング結果テーブル６ａを参照し、残っている候補の中から互いに重なる２つの処理領域を抽出し、第１の処理領域を特定するための情報に対応付けられている最も高い認識率と、第２の処理領域を特定するための情報に対応付けられている最も高い認識率とを大小比較する。そして、より高い認識率が対応付けられている処理領域を、商品が表示されている領域の候補として残し、他の処理領域は当該候補から外す。
【０１４０】
例えば図１６に示す処理領域Ｈ１と、処理領域Ｈ２とは互いに重なる。このため、レイアウト推定部１４は、マッチング結果テーブル６ａを参照し、処理領域Ｈ１に対応付けられている最も高い認識率と、処理領域Ｈ２に対応付けられている最も高い認識率とを大小比較する。そして、認識率が高かった方を、商品が表示されている領域の候補として残し、他の処理領域は当該候補から外す。
【０１４１】
また、図１６に示す処理領域Ｈ３と、処理領域Ｈ４とは互いに重なる。このため、レイアウト推定部１４は、マッチング結果テーブル６ａを参照し、処理領域Ｈ３に対応付けられている最も高い認識率と、処理領域Ｈ４に対応付けられている最も高い認識率とを大小比較する。そして、認識率が高かった方を、商品が表示されている領域の候補として残し、他の処理領域は当該候補から外す。
【０１４２】
レイアウト推定部１４は、商品が表示されている領域の候補の中に互いに重なる処理領域がなくなるまで、上記処理を繰り返し行い、最終的に残った処理領域を、商品が表示されている領域として特定する。
【０１４３】
レイアウト推定部１４は、例えば上述のような手段により、マッチング部１１が特定した複数の処理領域の中から、商品が表示されている領域である処理領域を特定する。なお、レイアウト推定部１４は、他の手段により、上記特定を実現してもよい。
【０１４４】
レイアウト推定部１４は、上述のようにして、マッチング部１１が特定した複数の処理領域の中から商品が表示されている領域である処理領域を特定し、実施形態１で説明した手段により、特定した処理領域に表示されている商品を推定することで、実施形態１で説明した図７に示すような推定結果テーブル７ａを取得することができる。
【０１４５】
本実施形態の構成によれば、実施形態１乃至３と同様の作用効果を実現することができる。
【０１４６】
＜実施形態５＞
本実施形態の商品管理装置１は、複数種の商品が陳列されている什器のレイアウト情報を保持し、複数種の商品が、什器の中のどの位置に陳列されているのか推定する構成をさらに有する点以外は、実施形態１乃至４の商品管理装置１の構成と同様である。以下、本実施形態の商品管理装置１について詳細に説明する。
【０１４７】
図１７は、本実施形態の商品管理装置１の構成の一例を示す機能ブロック図が示されている。図１７に示す本実施形態の商品管理装置１は、レイアウトデータ取得部１０と、マッチング部１１と、外観データ保持部１２と、マッチング結果記憶部１３と、レイアウト推定部１４と、商品領域抽出部１５と、什器情報保持部１６とを有する。以下、レイアウト推定部１４および什器情報保持部１６の構成について説明する。なお、他の部の構成は、実施形態１乃至４と同様であるので、ここでの説明は省略する。
【０１４８】
什器情報保持部１６は、什器のレイアウト情報を保持する。当該什器は、複数列複数段で構成され、複数種の商品が陳列されており、一の列と一の段とで指定される１つの領域に１種の商品が陳列される。当該什器は、例えば、複数種のたばこを陳列するための什器であってもよい。
【０１４９】
ここで、什器の一例について説明する。図１８は、３列５段で構成される什器２０の構成の一例を示す正面図である。図１８（ａ）は、商品（たばこ２１）を陳列前の状態、図１８（ｂ）は、たばこ２１を陳列後の状態を示す。
【０１５０】
図１８（ａ）に示す什器２０は、横３×縦５の合計１５個の基本フェイス２４を有する。本実施の形態において、基本フェイス２４は、たばこ２１のパックを、正面が前面となるように陳列可能なサイズとすることができる。
【０１５１】
図１８（ｂ）は、たばこ２１のパックが、正面が前面となるように陳列された状態を示す図である。また、ここでは、各基本フェイス２４には、プライスカード２３が付されたプライスタグ２２が配置されている。
【０１５２】
本実施形態の什器情報保持部１６は、このような什器２０の列数および段数を含むレイアウト情報を保持する。例えば、什器情報保持部１６は、図１９に示すような什器情報テーブル１９ａを保持してもよい。
【０１５３】
什器情報テーブル１９ａは、什器欄、基本フェイス欄および商品情報欄等を含む。什器欄は、什器情報欄、什器種別欄、列数欄および段数欄等を含む。什器情報欄には、什器２０を特定する情報が記録される。ここでは、什器情報欄は、さらに、什器２０を配置している店舗を示す店コード欄、当該店舗内における売場を示す売場ナンバー欄、什器グループナンバー欄、および什器ナンバー欄等を含む。図１９に示す什器情報テーブル１９ａによれば、什器２０は、（店コード）−（売場ナンバー）−（什器グループナンバー）−（什器ナンバー）で特定される。
【０１５４】
什器種別欄には、什器２０が売場のどこに配置されるかを示す情報が記録される。具体的には、什器種別は、例えば顧客が自分で商品を取る「セルフ」、レジの後ろに配置され店員が商品を取る「バックエンド」、「レジ前」等とすることができる。列数欄および段数欄には、それぞれ什器２０の列数および段数が記憶される。
【０１５５】
基本フェイス欄は、段欄、列欄、およびレイアウト欄等を含む。段欄および列欄で、当該什器２０における各基本フェイス２４が特定される。レイアウト欄には、段欄および列欄で特定された基本フェイス２４に陳列されるたばこのレイアウトが記憶される。たばこのレイアウトとしては、例えば、たばこのパックが単体で最大面（正面）を前面にして配置される「単品」、たばこのパック１０個のカートンが、各パックの最大面を底面にして前面に各パックの側面が２段重ねで横型配置された「ツマ」、たばこのパック１０個のカートンが各パックの最小面を底面にして、前面に各パックの側面が２つ縦型配置された「ツマ縦」等とすることができる。
【０１５６】
商品情報欄は、商品識別情報を記録する欄を含む。当該欄は、最初は空欄となっており、レイアウト推定部１４が所定の情報を記録することができるようになっている。
【０１５７】
レイアウト推定部１４は、処理領域を特定するための情報を用い、複数の処理領域の位置関係に基づいて、什器２０内における第１の処理領域の位置、すなわち列および段を推定する。例えば、レイアウト推定部１４は、実施形態１で説明した処理に準じ、図７に示すような推定結果テーブル７ａを利用して、陳列されている商品の段数および各段の列数を特定する。そして、特定した列および段を基に、各領域の什器２０内における列および段を推定することができる。
【０１５８】
レイアウト推定部１４は、第１の処理領域の什器２０内における列および段を推定すると、第１の処理領域に表示されていると推定した商品の商品識別情報を、当該列および段に対応付けて記録することができる。例えば、レイアウト推定部１４は、什器情報保持部１６が保持する什器情報テーブル１６ａの商品識別情報を記録する欄に、当該情報を記録してもよい。
【０１５９】
ここで、上述のように、レイアウト推定部１４が図１９に示す什器情報テーブル１９ａに所定の情報を記録するためには、レイアウト推定部１４は、レイアウト画像に表示されている什器２０の（店コード）−（売場ナンバー）−（什器グループナンバー）−（什器ナンバー）を認識する必要がある。
【０１６０】
上記認識を実現する手段としては、例えば、（店コード）−（売場ナンバー）−（什器グループナンバー）−（什器ナンバー）を、各什器２０の所定位置、具体的には、複数種の商品が陳列されている状態の什器２０を撮像したレイアウト画像に映る位置に記載しておく。そして、レイアウト推定部１４は、文字認識技術を用いて、レイアウト画像に含まれる（店コード）−（売場ナンバー）−（什器グループナンバー）−（什器ナンバー）を読み取ることで、レイアウト画像に表示されている什器２０の店コード等を認識してもよい。その他、レイアウト推定部１４は、ユーザから所定の情報の入力を受付けることで、レイアウト画像に表示されている什器２０の店コード等を認識してもよい。
【０１６１】
本実施形態の商品管理装置１によれば、効率的かつ正確に、複数種の商品が陳列されている什器２０のレイアウトと対応付けて、複数種の商品の陳列状態を示す情報を収集することができる。
【０１６２】
＜実施形態６＞
本実施形態の商品管理装置１は、複数種の商品が陳列されている自動販売機のディスプレイ部のレイアウト情報を保持し、複数種の商品が、ディスプレイ部の中のどの位置に陳列されているのか推定する構成をさらに有する点以外は、実施形態１乃至５の商品管理装置１の構成と同様である。以下、本実施形態の商品管理装置１について詳細に説明する。
【０１６３】
図２０は、本実施形態の商品管理装置１の構成の一例を示す機能ブロック図が示されている。図２０に示す本実施形態の商品管理装置１は、レイアウトデータ取得部１０と、マッチング部１１と、外観データ保持部１２と、マッチング結果記憶部１３と、レイアウト推定部１４と、商品領域抽出部１５と、自販機情報保持部１７とを有する。以下、レイアウト推定部１４および自販機情報保持部１７の構成について説明する。なお、他の部の構成は、実施形態１乃至５と同様であるので、ここでの説明は省略する。
【０１６４】
自販機情報保持部１７は、自動販売機のディスプレイ部のレイアウト情報を保持する。当該ディスプレイ部は、複数列複数段で構成され、複数種の商品が陳列されており、一の列と一の段とで指定される１つの領域に１種の商品が陳列される。当該自動販売機は、例えば、複数種のたばこを販売するための自動販売機であってもよい。
【０１６５】
例えば、自販機情報保持部１７は、図２１に示すような自販機情報テーブル２１ａを保持してもよい。自販機情報テーブル２１ａは、自販機識別情報欄、列数欄、段数欄、列欄、段欄、および、商品識別情報欄を含む。自販機識別情報欄に記録される自販機識別情報は、所定の場所に設置されている複数の自動販売機各々を識別するための情報である。列数欄、段数欄、列欄、段欄、および、商品識別情報欄に記録される情報は、実施形態５で説明した通りである。
【０１６６】
レイアウト推定部１４は、処理領域を特定するための情報を用い、複数の処理領域の位置関係に基づいて、自動販売機のディスプレイ部内における第１の処理領域の位置、すなわち列および段を推定する。例えば、レイアウト推定部１４は、実施形態５で説明した第１の処理領域の什器内における列および段を推定する処理に準じて、上記推定を実現することができる。
【０１６７】
レイアウト推定部１４は、第１の処理領域の自動販売機のディスプレイ部内における列および段を推定すると、第１の処理領域に表示されていると推定した商品の商品識別情報を、当該列および段に対応付けて記録することができる。例えば、レイアウト推定部１４は、自販機情報保持部１７が保持する自販機情報テーブル１８ａの商品識別情報を記録する欄に、当該情報を記録してもよい。
【０１６８】
ここで、上述のように、レイアウト推定部１４が図２１に示す自販機情報テーブル２１ａに所定の情報を記録するためには、レイアウト推定部１４は、レイアウト画像に表示されている自動販売機の自販機識別情報を認識する必要がある。
【０１６９】
上記認識を実現する手段としては、例えば、自販機識別情報を、各自動販売機の所定位置、具体的には複数種の商品が陳列されている状態のディスプレイ部を撮像したレイアウト画像に映る位置に記載しておく。そして、レイアウト推定部１４は、文字認識技術を用いて、レイアウト画像に含まれる自販機識別情報を読み取ることで、レイアウト画像に表示されている自動販売機の自販機識別情報を認識してもよい。その他、レイアウト推定部１４は、ユーザから所定の情報の入力を受付けることで、レイアウト画像に表示されている自動販売機の自販機識別情報を認識してもよい。
【０１７０】
本実施形態の商品管理装置１によれば、効率的かつ正確に、複数種の商品が陳列されている自動販売機のディスプレイ部のレイアウトと対応付けて、複数種の商品の陳列状態を示す情報を収集することができる。
【０１７１】
＜実施形態７＞
本実施形態の商品管理装置１は、実施形態５または６の構成を基本とし、さらに以下の構成を備える点で異なる。
【０１７２】
すなわち、本実施形態の商品管理装置１が有する什器情報保持部１６または自販機情報保持部１７は、過去のデータを記録した什器情報テーブル１９ａ（図１９参照）、または、自販機情報テーブル２１ａ（図２１参照）をさらに保持する。
【０１７３】
什器および自動販売機における商品の陳列状態は、時間が経つと変動する可能性があるため、商品の陳列状態を知りたいユーザは、所定期間ごとに、商品の陳列状態の調査を繰り返し行う場合があると考えられる。上記過去のデータとは、以前の調査の際に什器または自動販売機を撮像して得られたレイアウト画像を利用して、本実施形態の商品管理装置１が１つの段及び１つの列で特定される領域ごとに、当該位置に陳列されている商品を推定したデータである。なお、過去のデータは、本実施形態の商品管理装置１が推定した複数種の商品の陳列状態を示すデータを、ユーザが必要に応じて修正したデータであってもよい。
【０１７４】
本実施形態のレイアウト推定部１４は、マッチング部１１が行ったパターンマッチングの結果を利用して図９に示すような出力テーブル９ａを作成すると、以下の処理を行う。
【０１７５】
すなわち、什器情報保持部１６または自販機情報保持部１７が保持する当該什器または自動販売機の上記過去のデータの中の最新のデータを取得する。そして、上記作成した出力テーブル９ａと、取得した過去のデータとを利用して、１つの段および１つの列で特定される位置ごとに、当該位置に陳列されていると過去に推定された商品（過去のデータで特定）と、今回推定された商品との関係を推定する。
【０１７６】
例えば、レイアウト推定部１４は、ある位置に陳列されていると過去に推定された商品（過去のデータで特定）と、当該位置に陳列されていると今回推定された商品とは、（１）一致する、（２）類似する、（３）異なる、（４）前回商品が陳列されていなかった位置に商品が陳列されている、（５）前回商品が陳列されていた位置に商品が陳列されていない、などの関係を推定する。
【０１７７】
上記「（２）類似する」関係とは、商品の外観が類似する商品間の関係をいう。レイアウト推定部１４は、あらかじめ類似関係にある商品どうしを対応付けた情報を保持しておき、当該情報を利用して、類似関係にあるか否かを判断する。「（３）異なる」関係とは、上記（１）、（２）、（４）および（５）のいずれの関係にも該当しない関係である。
【０１７８】
レイアウト推定部１４は、図９に示すような出力テーブル９ａを作成した後、１つの段および１つの列で特定される位置ごとに、当該位置に陳列されていると過去に推定された商品（過去のデータで特定）と、当該位置に陳列されていると今回推定された商品との関係を推定すると、当該推定結果をも含めた結果データを、ディスプレイ、印刷装置などのあらゆる出力装置を用い、ユーザに向けて出力する。
【０１７９】
例えば、図８に示すような出力画像Ｇにおいて、商品識別情報を表示している各矩形の背景色、輪郭の色、または、商品識別情報の色を、矩形ごとに、過去に推定された商品と今回推定された商品との関係に応じて変更表示してもよい。このような実施形態の一例としては、上記（１）の関係にある場合、当該矩形の輪郭を黒色で表示し、上記（２）の関係にある場合、当該矩形の輪郭を青色で表示し、上記（３）の関係にある場合、当該矩形の輪郭を黄色で表示し、上記（４）の関係にある場合、当該矩形の輪郭を緑色で表示し、上記（５）の関係にある場合、当該矩形の輪郭を桃色で表示してもよい。このような出力画像Ｇを閲覧したユーザは、色情報により、１つの段および１つの列で特定される各位置に陳列されていると過去に推定された商品（過去のデータで特定）と、今回推定された商品との関係を把握することができる。なお、矩形ごとに識別表示する種打破上記列記したものに限定されない。
【０１８０】
本実施形態の商品管理装置１によれば、実施形態１乃至６と同様の作用効果が得られほか、以下のような作用効果を得ることができる。
【０１８１】
すなわち、本実施形態の商品管理装置１はあらゆるパターンマッチングの手法を用いることができるが、選択した手法や、陳列状態を推定する商品の種類によっては、十分な精度で商品の陳列状態を推定できない場合もあり得る。かかる場合、ユーザは、商品管理装置１が出力した推定結果（例：図８の出力画像Ｇ）を、レイアウト画像Ｃと見比べながら、必要に応じて、商品管理装置１が出力した推定結果（例：図８の出力画像Ｇ）を修正する作業（以下、「修正作業」）を行う必要がある。
【０１８２】
本実施形態の商品管理装置１によれば、上記修正作業におけるユーザ負担を軽減することができる。具体的には、本実施形態の商品管理装置１によれば、ユーザは、１つの段および１つの列で特定される各位置に陳列されていると過去に推定された商品（過去のデータで特定）と、当該位置に陳列されていると今回推定された商品との関係を把握することができる。
【０１８３】
ここで、過去に推定された商品と、今回推定された商品とが、「（１）一致する」関係にある場合、商品管理装置１によるパターンマッチングの精度は比較的信頼できると判断することができる。このため、ユーザは、当該位置に陳列されていると推定された商品に対して、上記修正作業を行わないよう決定することができる。
【０１８４】
一方、過去に推定された商品と、今回推定された商品とが、「（２）類似関係にある」、「（３）異なる」、「（４）前回商品が陳列されていなかった位置に商品が陳列されている」または「（５）前回商品が陳列されていた位置に商品が陳列されていない」のいずれかの関係にある場合には、商品の陳列状態が変動したか、または、商品管理装置１によるパターンマッチングの精度が低いかの何れかであると判断することができる。このため、ユーザは、当該関係にある位置に陳列されていると推定された商品と、レイアウト画像Ｃ内における対応する位置に表示されている商品とを対比し、当該推定結果が妥当か否かを判断する作業を行うよう決定することができる。
【０１８５】
このように、本実施形態の商品管理装置１によれば、上記修正作業におけるユーザ負担を軽減することができるともに、商品管理装置１による推定結果が疑わしい位置についてはユーザに上記修正作業を促すことができる。このため、ユーザは、精度の高いレイアウトの推定結果を取得することができる。
【符号の説明】
【０１８６】
１ 商品管理装置
２ 什器
３ 自動販売機
４ デジタルカメラ
１０ レイアウトデータ取得部
１１ マッチング部
１２ 外観データ保持部
１３ マッチング結果記憶部
１４ レイアウト推定部
１５ 商品領域抽出部
１６ 什器情報保持部
１７ 自販機情報保持部
２０ 什器
２１ たばこ
２２ プライスタグ
２３ プライスカード
２４ 基本フェイス
４ａ 商品領域テーブル
５ａ 外観画像テーブル
６ａ マッチング結果テーブル
７ａ 推定結果テーブル
９ａ 出力テーブル
１９ａ 什器情報テーブル
２１ａ 自販機情報テーブル
Ａ 商品
Ｂ 商品領域
Ｂ' 商品領域
Ｃ レイアウト画像
Ｄ 領域
Ｄ' 領域
Ｅ 結果画像
Ｆ 結果画像
Ｇ 出力画像
Ｇ' 出力画像
Ｈ 処理領域
Ｉ 領域
Ｊ 領域
Ｋ 領域
【技術分野】
【０００１】
本発明は、商品管理装置、商品管理方法およびプログラムに関する。
【背景技術】
【０００２】
近年の商品販売スタイルとしては、コンビニエンスストア等の店舗における店頭販売や、自動販売機を利用した販売などがある。いずれにおいても商品の売上は、商品の陳列状態に依存することが知られている。
【０００３】
特許文献１（特開２００３−２０３１５５号公報）には、売場に自動販売機を設置した場合の、売場側の顧客利益を算出するシミュレーションおよびその効果検証を行う技術が記載されている。当該文献において、設置計画作成段階では必要最小限のデータで迅速にシミュレーション結果を得るとともに、計画提案段階では機種特性および商品配置に配慮することにより、計画作成段階よりも精度を高めたシミュレーションを得るようにした構成が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２０３１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のように、商品の売り上げは、商品の陳列状態に依存することが知られており、商品の陳列状態に関する様々な研究がなされている。
【０００６】
このような研究結果に基づいて商品を適切に陳列することで、商品売上を伸ばす試みが多くなされており、さらなる研究が期待されている。このため、研究に用いるデータとして、店舗における商品の陳列状態や、自動販売機のディスプレイ部における商品の陳列状態を示す情報を収集することが望まれている。
【０００７】
また、商品のメーカーにとって、店舗における商品の陳列状態や、自動販売機のディスプレイ部における商品の陳列状態を把握し、その店舗や自動販売機での商品の売れ行きなどを考慮して、例えば店舗に商品レイアウトの改善を提案したり、または、自動販売機のディスプレイ部における商品レイアウトを変更したりすることは重要な戦略である。このような理由からも、店舗における商品の陳列状態や、自動販売機のディスプレイ部における商品の陳列状態を示す情報を収集することが望まれている。
【０００８】
しかし、従来、店舗における商品の陳列状態や、自動販売機のディスプレイ部における商品の陳列状態を示す情報を効率的に収集することが困難であった。
【０００９】
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、店舗における商品の陳列状態や、自動販売機のディスプレイ部における商品の陳列状態を示す情報を効率的に収集する手段を提供することにある。
【課題を解決するための手段】
【００１０】
本発明によれば、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得部と、前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチング部と、前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定部とを有する商品管理装置が提供される。
【００１１】
また、本発明によれば、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得ステップと、前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチングステップと、前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定ステップとを有する商品管理方法が提供される。
【００１２】
また、本発明によれば、コンピュータを、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得手段、前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチング手段、前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定手段として機能させるためのプログラムが提供される。
【発明の効果】
【００１３】
本発明によれば、店舗における商品の陳列状態や、自動販売機のディスプレイ部における商品の陳列状態を示す情報を効率的に収集することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態の商品管理装置の概要を説明するための図である。
【図２】本発明の実施形態の商品管理装置の一例を説明するための機能ブロック図である。
【図３】本発明の実施形態の商品領域抽出部の構成を説明するための図である。
【図４】本発明の実施形態の商品領域抽出部の構成を説明するための図である。
【図５】本発明の実施形態の外観データ保持部の構成を説明するための図である。
【図６】本発明の実施形態のマッチング結果記憶部の構成を説明するための図である。
【図７】本発明の実施形態のレイアウト推定部の構成を説明するための図である。
【図８】本発明の実施形態のレイアウト推定部の構成を説明するための図である。
【図９】本発明の実施形態のレイアウト推定部の構成を説明するための図である。
【図１０】本発明の実施形態のレイアウト推定部の構成を説明するための図である。
【図１１】本発明の実施形態の商品管理装置の処理の流れの一例を説明するためのフローチャートである。
【図１２】本発明の実施形態の商品管理装置の処理の流れの一例を説明するためのフローチャートである。
【図１３】本発明の実施形態のレイアウト推定部の構成を説明するための図である。
【図１４】本発明の実施形態のマッチング部の構成を説明するための図である。
【図１５】本発明の実施形態のマッチング部およびレイアウト推定部の構成を説明するための図である。
【図１６】本発明の実施形態のマッチング部およびレイアウト推定部の構成を説明するための図である。
【図１７】本発明の実施形態の商品管理装置の一例を説明するための機能ブロック図である。
【図１８】本発明の実施形態の什器の構成を説明するための図である。
【図１９】本発明の実施形態の什器情報保持部の構成を説明するための図である。
【図２０】本発明の実施形態の商品管理装置の一例を説明するための機能ブロック図である。
【図２１】本発明の実施形態の自販機情報保持部の構成を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を用いて説明する。
なお、本実施形態の各部は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム（あらかじめ機器を出荷する段階からメモリ内に格納されているプログラムのほか、ＣＤ等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムも含む）、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、機器にはいろいろな変形例があることは、当業者には理解されるところである。
【００１６】
また、本実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、本実施形態の各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。
【００１７】
＜実施形態１＞
最初に、本実施形態の概要について図１を用いて説明する。
まず、商品の陳列状態を示す情報の取得を希望するユーザは、図１に示すように、デジタルカメラ４などの画像撮像機能を有する装置を用いて、複数種の商品が陳列されている状態を撮像する。例えば、ユーザは、店舗に配置され、複数種の商品が陳列されている状態の什器２を撮像したり、複数種の商品がディスプレイ部に陳列されている状態の自動販売機３のディスプレイ部を撮像したりする。その後、ユーザは、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを、商品管理装置１に入力する。
【００１８】
商品管理装置１は、複数種の商品各々の外観画像のデータを利用可能に構成されている。そして、商品管理装置１は、入力されたレイアウト画像内の所定領域と、上記商品の外観画像とをパターンマッチングしていくことで、上記レイアウト画像内における複数種の商品各々の位置を特定する。その後、商品管理装置１は、特定した結果を用いて、複数種の商品のレイアウトを推定する。
【００１９】
以下、本実施形態の商品管理装置１について詳細に説明する。図２には、本実施形態の商品管理装置１の構成の一例を示す機能ブロック図が示されている。図２に示す本実施形態の商品管理装置１は、レイアウトデータ取得部１０と、マッチング部１１と、外観データ保持部１２と、マッチング結果記憶部１３と、レイアウト推定部１４と、商品領域抽出部１５とを有する。
【００２０】
なお、商品管理装置１は、外観データ保持部１２およびマッチング結果記憶部１３の少なくとも１つを有さない構成とすることもできる。かかる場合、商品管理装置１が有さない部（外観データ保持部１２および／またはマッチング結果記憶部１３）は商品管理装置１以外の装置に備えられ、当該装置と商品管理装置１とは有線および／または無線で接続される。そして、商品管理装置１は外観データ保持部１２およびマッチング結果記憶部１３にアクセスし、これらの部に対してデータの取得および書込み等の処理を実行できるように構成される。
【００２１】
以下、各部の構成について詳細に説明する。
レイアウトデータ取得部１０は、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得する。当該レイアウト画像のデータは、画像撮像機能を有する装置、例えばデジタルカメラや携帯電話などを用いてユーザが撮像した画像データとすることができる。
【００２２】
上述のようなレイアウト画像のデータをレイアウトデータ取得部１０が取得する手段は特段制限されない。例えば、ユーザは、デジタルカメラ等の装置を用いて所望のレイアウト画像を撮像し、撮像した画像データを、あらかじめ商品管理装置１が有するメモリや、商品管理装置１と有線および／または無線で接続可能に構成された装置が有するメモリに記憶させておく。そして、レイアウトデータ取得部１０は、上記メモリからレイアウト画像のデータを取得する。
【００２３】
商品領域抽出部１５は、レイアウト画像内において、１つの商品が表示されている領域である商品領域を抽出する。例えば、レイアウトデータ取得部１０が、図３（ａ）に示すような、複数種の商品Ａが陳列されている什器のレイアウト画像Ｃを取得した場合、商品領域抽出部１５は、図３（ｂ）に示すように、当該レイアウト画像Ｃ内において、商品Ａが表示されている領域である商品領域Ｂを抽出する。商品領域抽出部１５が商品領域を抽出する手段は、例えば、以下のような処理とすることができる。
【００２４】
まず、商品領域抽出部１５は、レイアウト画像に対してエッジ検出処理を行う。エッジ検出処理は、画像内の明るさが大きく変化する箇所をエッジとして検出する処理であり、現在多くの手法がある。商品領域抽出部１５は、従来のあらゆる技術を利用して、エッジ検出処理を行うことができる。
【００２５】
エッジ検出処理によりエッジを検出した後、商品領域抽出部１５は、検出したエッジにより閉じられた少なくとも１つの領域を抽出する。なお、ここで抽出する「エッジにより閉じられた領域」は、エッジにより完全に閉じられている必要はなく、エッジが部分的に欠けることで、閉じられた領域と他の領域とを繋ぐ開いた箇所が部分的に含まれてもよい。
【００２６】
なお、上記抽出した閉じられた領域の中には、商品領域とは異なる領域も含まれる可能性がある。そこで、商品領域抽出部１５は、抽出した閉じられた領域の中から、商品領域を抽出する処理を行う。当該処理内容は特段制限されないが、例えば、商品領域抽出部１５は、抽出した閉じられた領域の中から、所定の形状の領域を商品領域として抽出してもよい。ここでの「所定の形状」は、商品の陳列状態を撮像したレイアウト画像に映ると考えられる商品の形状とすることができる。すなわち、所定の形状は、商品の外観形状に基づいて定めることができる。例えば商品がたばこの場合、所定の形状は、たばこの正面形状または側面形状（所定の縦横比の長方形）、あるいは、カートンの正面形状または側面形状（所定の縦横比の長方形）などが考えられる。
【００２７】
具体的処理としては、商品領域抽出部１５は、あらかじめ上記所定の形状を示す情報を保持しておく。そして、抽出した閉じられた領域の中から商品領域を抽出する際、商品領域抽出部１５は、上記情報を用いて所定の形状を認識し、認識した形状の縦横比を維持したまま拡大縮小することで所定の形状の大きさを変更したり、所定の形状を回転したりしながら、抽出した閉じられた領域の形状と比較していく。すなわち、商品領域抽出部１５は、所定の形状の多数の相似形と、抽出した閉じられた領域の形状とを、所定の形状を回転しながら比較していく。そして、比較の結果、所定値以上の一致率が得られた場合、商品領域抽出部１５は、その閉じられた領域を商品領域として抽出する。なお、上記「所定値」は設計的事項である。また、商品領域抽出部１５は、上記所定の形状の大きさの上限および下限を示す情報を保持しておき、この範囲内で、上記所定の形状の大きさを変更してもよい。上記「上限および下限」は、例えば、レイアウト画像内に映ると考えられる商品の大きさの上限および下限を、商品に応じてユーザが予め予測した値とすることができる。
【００２８】
上述のように構成する場合、商品領域抽出部１５は、上記所定の形状を示す情報を複数保持することもできる。これは、複数種の商品の中に、外観形状が異なる商品が含まれる場合を想定した構成である。なお、所定の形状は矩形に限定されず、陳列状態を知りたい商品の外観形状が他の形状であれば、その形状とすることができる。そして、所定の形状が他の形状である場合においても、商品領域抽出部１５は、上記と同様にして商品領域を抽出することができる。
【００２９】
なお、商品領域抽出部１５は、その他の手法を用いて、抽出した閉じられた領域の中から商品領域を抽出することもできる。例えば、商品領域抽出部１５は、抽出した閉じられた領域の中に、同様の形状および大きさの領域が所定数以上存在する場合、または、同様の形状および大きさの領域が所定数以上一定のピッチで繰り返し配置されている場合、これらの領域を商品領域として抽出してもよい。「同様の形状」および「同様の大きさ」は、必ずしも形状および大きさが完全に一致している必要はなく、一定のズレを含んでもよい概念である。ここで例示した処理はあくまで一例であり、商品領域抽出部１５は、あらゆる手法を利用して、抽出した閉じられた領域の中から、商品領域を抽出することができる。
【００３０】
商品領域抽出部１５は商品領域を抽出すると、抽出した商品領域を示す情報を、メモリに記憶させる。当該メモリは、商品管理装置１が有するメモリであってもよいし、他の装置が備えるメモリであってもよいが、少なくとも、以下で説明するマッチング部１１がアクセス可能なメモリである必要がある。商品領域を示す情報は、レイアウト画像Ｃ（図３（ｂ）参照）内において商品領域Ｂを特定できる情報である。その表現手法は特段制限されないが、例えば、レイアウト画像Ｃに座標軸（ｘ−ｙ軸）を設定し、座標を用いて表現してもよい。例えば、商品領域抽出部１５は、図４に示すようなテーブルに、商品領域を示す情報を記録する。
【００３１】
図４に示すテーブルは、レイアウト画像番号「Ｐ０００００１」で特定されるレイアウト画像内において抽出した商品領域を示している。「商品領域番号」は、抽出した商品領域に任意に付された識別番号である。「座標」は、商品領域を特定するための情報である。例えば、商品領域番号「００００１」には、座標「（２、５）、（５、５）、（２、１０）、（５、１０）」が対応付けられている。これは、商品領域番号「００００１」で特定される商品領域は、対応付けられている４つの座標点を結ぶことで形成される矩形の内部領域であることを示している。以下、図４に示すようなテーブルを「商品領域テーブル４ａ」という。
【００３２】
なお、座標を用いて商品領域を表現する手法は、図４に示すものに限定されない。例えば、複数種の商品の外観形状が同じ形状である場合、商品領域テーブル４ａには、レイアウト画像内における商品領域の形状および大きさを示す情報を記録するとともに、各商品領域の位置を示す情報として、特定の一点を示す情報を記録してもよい。具体的には、商品領域が矩形の場合、商品領域の縦および横の辺の長さを示す情報を商品領域テーブル４ａに記録するとともに、各商品領域の位置を示す情報として、各商品領域の左上の点を示す座標を記録してもよい。このような情報からも、各商品領域を特定することができる。その他、商品領域が丸の場合、中心点と半径を示す情報により、商品領域を表現してもよい。
【００３３】
外観データ保持部１２は、複数種の商品各々の外観画像のデータを保持する。外観画像は、商品の陳列状態を撮像したレイアウト画像に映ると考えられる商品の外観を示す画像とする必要がある。一般的に、各商品に特有のデザインまたは商品名が示された箇所が顧客側に向けられるように、すなわち前面になるように商品は陳列される。よって、レイアウト画像には、各商品に特有のデザインまたは商品名が示された箇所が映ると考えられる。そこで、外観画像は、各商品に特有のデザインまたは商品名が示された箇所（面）を示す画像としてもよい。例えば、商品がたばこの場合、外観画像は、たばこの正面を示す画像や、たばこの背面または側面を示す画像や、カートンの正面、背面または側面を示す画像とすることができる。なお、外観データ保持部１２は、１種の商品の外観画像のデータとして１つの外観画像のデータを保持してもよいし、複数の外観画像のデータを保持してもよい。
【００３４】
外観データ保持部１２は、例えば、図５に示すような、複数種の商品各々を識別する商品識別情報に対応付けて、当該商品の外観画像のデータが記録されているテーブル（以下、「外観画像テーブル５ａ」という）を保持する。
【００３５】
マッチング部１１は、
（１）レイアウト画像内における所定の領域である処理領域を特定し、
（２）処理領域内の画像と、外観データ保持部１２から取得した第１の外観画像とをパターンマッチングし、
（３）当該処理領域を特定するための情報と、第１の外観画像で特定される商品を識別する商品識別情報と、パターンマッチングの結果とを対応付けて、マッチング結果記憶部１３に記憶させる。
【００３６】
マッチング部１１は、上記（１）乃至（３）の処理を、レイアウト画像内における処理領域およびパターンマッチングに用いる外観画像の少なくとも一方を変更しながら、繰り返し行う。以下、マッチング部１１による上記処理を説明する。
【００３７】
まず、マッチング部１１が、（１）レイアウト画像内における所定の領域である処理領域を特定する処理について説明する。
【００３８】
本実施形態のマッチング部１１は、商品領域抽出部１５が抽出した商品領域を、処理領域として特定する。例えば、マッチング部１１は、図４に示すような商品領域テーブル４ａから、商品領域番号「００００１」に対応付けられている座標「（２、５）（５、５）（２、１０）（５、１０）」を取得し、当該座標で特定されるレイアウト画像内の領域を、処理領域として特定する。
【００３９】
次に、マッチング部１１が、（２）処理領域内の画像と、外観データ保持部１２から取得した第１の外観画像とをパターンマッチングする処理について説明する。
【００４０】
マッチング部１１は、従来のあらゆる手法を用いて、パターンマッチングを行うことができる。そして、マッチング部１１は、パターンマッチングの結果として、認識率を算出する。なお、マッチング部１１は、処理領域内の画像と第１の外観画像の大きさが異なる場合、少なくともいずれか一方の大きさを、縦横比を維持したまま互いに一致する方向に変更した後、変更後の画像を用いて、マッチング処理を行うことができる。この時、マッチング部１１は、２つの画像の大きさを完全に一致させるのが好ましいが、必ずしもそのようにする必要はなく、多少のずれが残っていてもよい。
【００４１】
マッチング部１１は、第１の処理領域内の画像に対して、複数種の外観画像各々を順次用いてパターンマッチングを複数回行う。なお、マッチング部１１は、外観データ保持部１２が保持する複数種の外観画像すべてを順次用い、上記パターンマッチングを行ってもよい。
【００４２】
また、マッチング部１１は、第１の外観画像を用い、複数の処理領域の画像各々に対して、パターンマッチングを複数回行う。なお、マッチング部１１は、商品領域抽出部１５が抽出したすべての商品領域を順次処理領域として特定し、上記パターンマッチングを行ってもよい。
【００４３】
次に、マッチング部１１が、（３）処理領域を特定するための情報と、第１の外観画像で特定される商品を識別する商品識別情報と、パターンマッチングの結果とを対応付けて、マッチング結果記憶部１３に記憶する処理について説明する。
【００４４】
マッチング結果記憶部１３は、所定の情報を記録するため、例えば図６に示すようなテーブルを保持する。図６に示すテーブルには、レイアウト画像番号「Ｐ０００００１」で特定されるレイアウト画像に対して行ったパターンマッチングの結果が記録されている。当該テーブルには、処理領域を特定するための情報として、座標が記録されている。また、当該テーブルには、各処理領域に対応付けて、当該処理領域内の画像とパターンマッチングを行った外観画像で特定される商品の商品識別情報が記録されている。さらに、当該テーブルには、処理領域を特定するための情報および商品識別情報に対応付けて、パターンマッチングの結果である認識率が記録されている。以下、図６に示すテーブルを「マッチング結果テーブル６ａ」という。
【００４５】
マッチング部１１は、上記（１）および（２）の処理を行った後、例えば図６に示すようなマッチング結果テーブル６ａに、処理領域を特定するための情報、第１の外観画像で特定される商品を識別する商品識別情報、および、第１の外観画像を用いて行ったパターンマッチングの結果を対応付けて記録する。なお、マッチング部１１は、図５に示すような外観画像テーブル５ａを参照することで、第１の外観画像で特定される商品を識別する商品識別情報を取得することができる。
【００４６】
レイアウト推定部１４は、マッチング結果記憶部１３を参照し、パターンマッチングの結果に基づいて、処理領域に表示されている商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定する。
【００４７】
例えば、レイアウト推定部１４は、図６に示すマッチング結果テーブル６ａを参照し、第１の処理領域を特定するための座標「（２、５）、（５、５）、（２、１０）、（５、１０）」に対応付けられている商品識別情報の中から、対応付けられている認識率が最も高い商品識別情報、例えば「ＭＳ」を抽出する。そして、レイアウト推定部１４は、抽出した商品識別情報「ＭＳ」で特定される商品を、第１の処理領域に表示されている商品として推定する。レイアウト推定部１４は、すべての処理領域に対して、表示されている商品を推定する。
【００４８】
なお、レイアウト推定部１４は、推定した結果を、図７に示すような推定結果テーブル７ａに記録してもよい。図７に示す推定結果テーブル７ａによれば、レイアウト推定部１４は、レイアウト画像番号「Ｐ０００００１」で特定されるレイアウト画像内において、座標「（２、５）、（５、５）、（２、１０）、（５、１０）」で特定される領域に、商品識別情報「ＭＳ」で特定される商品が表示されていると推定し、座標「（７、５）、（１０、５）、（７、１０）、（１０、１０）」で特定される領域に、商品識別情報「ＭＳＬ」で特定される商品が表示されていると推定したことが示されている。
【００４９】
ここで、商品領域抽出部１５が抽出した商品領域の中には、商品が表示されていない領域が含まれる可能性がある。例えば、レイアウト画像内に、商品の外観形状と同様の形状を有する物が含まれる場合、商品領域抽出部１５は、当該物が表示されている領域を、商品領域として抽出してしまう可能性がある。
【００５０】
具体的には、例えばレイアウト画像内に含まれる什器の外観形状が商品の外観形状と同様の形状である場合、商品領域抽出部１５は、什器が表示されている領域を、商品領域として抽出してしまう場合がある。かかる場合、マッチング部１１は、什器が表示されている領域をも処理領域として特定し、当該領域に表示されている画像と商品の外観画像とをパターンマッチングする。そして、マッチング部１１は、什器が表示されている領域（処理領域）を特定するための情報と、商品識別情報と、パターンマッチングの結果とを対応付けて、例えば図６に示すようなマッチング結果テーブル６ａに記録することとなる。すなわち、マッチング結果テーブル６ａには、商品が表示されていない領域を特定するための情報に、商品識別情報と、パターンマッチングの結果とを対応付けた情報が記録されている可能性がある。かかる場合、レイアウト推定部１４は、複数種の商品の陳列状態を的確に推定することはできない。
【００５１】
そこで、レイアウト推定部１４は、上記不都合を回避するため、マッチング結果テーブル６ａに記録されている処理領域の中から、商品が表示されていない領域を特定し、例えば当該テーブルから削除する、または、当該領域は商品が表示されていない領域であることを認識可能な情報を、マッチング結果テーブル６ａに付与するなどの処理を行うことができる。
【００５２】
なお、レイアウト推定部１４が、マッチング結果テーブル６ａに記録されている処理領域の中から、商品が表示されていない領域を特定する処理としては、例えば、マッチング結果テーブル６ａに記録されているパターンマッチングの結果を利用して行う処理が考えられる。
【００５３】
具体的には、レイアウト推定部１４は、マッチング結果テーブル６ａに記録されている処理領域ごとに、対応付けられている複数の認識率の中の最も高い認識率が、所定の値以下または所定の値より小さいか判断する。そして、レイアウト推定部１４は、対応付けられている複数の認識率の中の最も高い認識率が所定の値以下または所定の値より小さい処理領域は、商品が表示されていない領域として推定する。なお、ここで説明した構成はあくまで一例であり、レイアウト推定部１４は、他の構成により、マッチング結果テーブル６ａに記録されている処理領域の中から、商品が表示されていない領域を特定してもよい。
【００５４】
レイアウト推定部１４は、各処理領域に表示されている商品を推定し、また、処理領域の中の商品が表示されていない領域を推定した後、推定した結果を、ディスプレイ、印刷装置などのあらゆる出力装置を用い、ユーザに向けて出力することができる。例えば、レイアウト推定部１４は、図７に示すような推定結果テーブル７ａを出力してもよい。
【００５５】
その他、レイアウト推定部１４は、推定した結果を用いて図８に示すような出力画像Ｇを作成し、ユーザに向けて出力してもよい。図８に示す出力画像Ｇは、レイアウト画像Ｃと、レイアウト画像Ｃに表示されている複数種の商品の陳列状態を推定した結果画像Ｅとを並べて表示している。なお、出力画像Ｇは結果画像Ｅのみを表示した画像とすることもできる。
【００５６】
結果画像Ｅは、図７に示す推定結果テーブル７ａに記録されている複数の領域各々を特定するための座標を用いて複数の矩形を表し、複数の矩形すべてを含む矩形群が結果画像Ｅに適度な大きさで表示されるよう拡大表示したものである。そして、各矩形の中に、各矩形を表示するために用いた座標に対応付けられている商品識別情報を表示している。また、結果画像Ｅの上隅に、レイアウト画像番号「Ｐ０００００１」を表示することで、いずれのレイアウト画像の結果であるかをユーザが識別できるようにしている。このような結果画像Ｅによれば、ユーザは複数種の商品の陳列状態を直感的に把握することができる。また、図８に示すように、結果画像Ｅとレイアウト画像Ｃとを並べて表示することで、ユーザは、本実施形態の商品管理装置１による陳列状態の推定結果が適切なものか容易に確認することができる。
【００５７】
その他、レイアウト推定部１４は、推定した結果から、陳列されている商品の列数および段数を推定し、各列の各段にいずれの商品が陳列されているかを示した情報を出力してもよい。例えば、レイアウト推定部１４は、図９に示すような出力テーブル９ａを作成し、出力してもよい。図９に示す出力テーブル９ａは、レイアウト画像番号「Ｐ０００００１」で特定されるレイアウト画像に対して行ったパターンマッチングの結果が記録されており、陳列されている商品の列数および段数が示されている。また、各列の各段に、当該位置に陳列されている商品を識別する商品識別情報が対応付けて記録されている。
【００５８】
なお、レイアウト推定部１４が列数および段数を推定する手段は特段制限されない。以下、一例を説明する。まず、レイアウト推定部１４は、図７に示す推定結果テーブル７ａに記録されている複数の領域各々を特定するための情報（座標）の中から、１つの情報（座標）を抽出する。例えば、レイアウト推定部１４は、図１０に示すレイアウト画像Ｃに関する推定結果テーブル７ａに記録されている複数の領域Ｄを特定するための情報の中から、領域Ｄ'を特定するための情報を抽出する。そして、レイアウト推定部１４は、抽出した情報で特定される領域Ｄ'を、レイアウト画像Ｃ内において、ｙ軸の位置を固定したままｘ軸方向に移動した際に、領域Ｄ'と重なる他の領域Ｄがいくつ含まれるかカウントする。図１０の場合、カウント値は３となる。そして、レイアウト推定部１４は、当該カウント値に「１」を加えた数を列数とする。すなわち、図１０の場合、レイアウト推定部１４は、列数を「４」と推定する。
【００５９】
同様に、レイアウト推定部１４は、抽出した情報で特定される領域Ｄ'を、レイアウト画像Ｃ内において、ｘ軸の位置を固定したままｙ軸方向に移動した際に、領域Ｄ'と重なる他の領域Ｄがいくつ含まれるかカウントする。そして、レイアウト推定部１４は、当該カウント値に「１」を加えた数を段数とする。図１０の場合、レイアウト推定部１４は、段数を「３」と推定する。当該処理例はあくまで一例であり、レイアウト推定部１４は、他の手段を用いて列数および段数を推定することもできる。
【００６０】
なお、商品の陳列状態は多様であるので、各段の列数が異なる場合が考えられる。例えば、１段目は６列、２段目は６列、３段目は５列などの陳列状態が考えられる。そこで、レイアウト推定部１４は、上述の手段を用いて段数を算出した後、各段に対して、上述の列数を算出する処理を行ってもよい。当然、レイアウト推定部１４は、上述の手段を用いて列数を算出した後、各列に対して、上述の段数を算出する処理を行うこともできる。
【００６１】
次に、本実施形態の商品管理装置１の処理の流れの一例について、図２、３、５、６、７、８および１１を用いて説明する。
【００６２】
図１１のフローチャートに示すように、まず、図２に示すレイアウトデータ取得部１０が、レイアウト画像のデータを取得する（Ｓ１０）。例えば、レイアウトデータ取得部１０は、図３（ａ）に示すような、複数の商品Ａが陳列された什器を撮像したレイアウト画像Ｃのデータを取得する。
【００６３】
次に、図２に示す商品領域抽出部１５が、Ｓ１０でレイアウトデータ取得部１０が取得したレイアウト画像の中から、商品領域を抽出する（Ｓ２０）。例えば、商品領域抽出部１５は、レイアウトデータ取得部１０が取得した図３（ａ）に示すようなレイアウト画像Ｃから、図３（ｂ）に示すように、複数の商品領域Ｂを抽出する。
【００６４】
次に、図２に示すマッチング部１１が、Ｓ２０で商品領域抽出部１５が抽出した商品領域の中の１つを、処理領域として特定する（Ｓ３０）。例えば、マッチング部１１は、図３（ｂ）に示す複数の商品領域Ｂの中から、図中、最も左側の最も上側に位置する商品領域Ｂを、処理領域として特定する。
【００６５】
次に、図２に示すマッチング部１１が、外観データ保持部１２が保持する外観画像を順に用い、当該外観画像と、Ｓ３０で特定した処理領域に含まれる画像とをパターンマッチングし、結果をマッチング結果記憶部１３に記憶させる（Ｓ４０）。
【００６６】
例えば、マッチング部１１は、外観データ保持部１２が保持する図５に示すような外観画像テーブル５ａから、商品識別情報「ＭＳ」に対応付けられている外観画像データを取得する。そして、マッチング部１１は、当該外観画像と、図３（ｂ）中、最も左側の最も上側に位置する商品領域Ｂ内の画像とをパターンマッチングする。
【００６７】
次に、マッチング部１１は、図３（ｂ）中、最も左側の最も上側に位置する商品領域Ｂを特定するための情報と、商品識別情報「ＭＳ」と、パターンマッチングの認識率とを対応付けて、マッチング結果記憶部１３に記憶させる。例えば、マッチング部１１は、上記情報を、図６に示すマッチング結果テーブル６ａに記録する。
【００６８】
その後、マッチング部１１は、外観データ保持部１２が保持する図５に示すような外観画像テーブル５ａから、商品識別情報「ＣＢＮ」に対応付けられている外観画像データを取得する。そして、マッチング部１１は、当該外観画像と、図３（ｂ）中、最も左側の最も上側に位置する商品領域Ｂ内の画像とをパターンマッチングし、結果をマッチング結果記憶部１３に記憶させる。
【００６９】
その後、マッチング部１１は、外観データ保持部１２が保持する外観データを順に取得し、上記処理を繰り返す。そして、当該処理が終了すると、商品管理装置１はＳ５０に進む。
【００７０】
その後、Ｓ２０で商品領域抽出部１５が抽出した商品領域の中に、Ｓ３０で処理領域として特定されていない商品領域がある場合（Ｓ５０のＹｅｓ）、商品管理装置１はＳ３０に戻り、上記処理を繰り返す。例えば、戻ったＳ３０において、マッチング部１１は、図３（ｂ）に示す複数の商品領域Ｂの中から、図中、最も左側の上から２番目に位置する商品領域Ｂを、処理領域として特定する。そして、上記処理を繰り返す。
【００７１】
一方、Ｓ２０で商品領域抽出部１５が抽出した商品領域の中に、Ｓ３０で処理領域として特定されていない商品領域がない場合（Ｓ５０のＮｏ）、商品管理装置１はＳ６０に進む。
【００７２】
その後、Ｓ６０において、図２に示すレイアウト推定部１４は、Ｓ４０でパターンマッチングの結果が記憶されたマッチング結果記憶部１３を参照し、複数種の商品の陳列状態を推定する（Ｓ６０）。
【００７３】
例えば、レイアウト推定部１４は、図６に示すマッチング結果テーブル６ａを参照し、第１の処理領域を特定するための情報に対応付けられている商品識別情報の中から、最も高い認識率が対応付けられている商品識別情報を抽出する。そして、レイアウト推定部１４は、抽出した商品識別情報で特定される商品が、第１の処理領域に表示されていると推定する。レイアウト推定部１４は、すべての処理領域に表示されている商品を推定し、推定した結果を、例えば、図７に示すような推定結果テーブル７ａに記録する。その後、レイアウト推定部１４は、推定結果テーブル７ａを利用して、図８に示すような、結果画像Ｅとレイアウト画像Ｃとを並べて表示した出力画像Ｇを作成し、ユーザに向けて出力する。
【００７４】
次に、本実施形態の商品管理装置１の処理の流れの他の一例について、図２、３、５、６、７、８および１２を用いて説明する。
【００７５】
図１２のフローチャートに示すように、まず、図２に示すレイアウトデータ取得部１０が、レイアウト画像のデータを取得する（Ｓ１１）。例えば、レイアウトデータ取得部１０は、図３（ａ）に示すような、複数の商品Ａが陳列された什器を撮像したレイアウト画像Ｃのデータを取得する。
【００７６】
次に、図２に示す商品領域抽出部１５が、Ｓ１１でレイアウトデータ取得部１０が取得したレイアウト画像の中から、商品領域を抽出する（Ｓ２１）。例えば、商品領域抽出部１５は、レイアウトデータ取得部１０が取得した図３（ａ）に示すようなレイアウト画像Ｃにおいて、図３（ｂ）に示すように、複数の商品領域Ｂを抽出する。
【００７７】
次に、図２に示すマッチング部１１が、外観データ保持部１２が保持する外観画像の中から１つを取得する（Ｓ３１）。例えば、マッチング部１１は、外観データ保持部１２が保持する図５に示すような外観画像テーブル５ａから、商品識別情報「ＭＳ」に対応付けられている外観画像データを取得する。
【００７８】
次に、図２に示すマッチング部１１が、Ｓ２１で商品領域抽出部１５が抽出した複数の商品領域を順に処理領域として特定し、特定した処理領域に含まれる画像と、Ｓ３１で取得した外観画像とをパターンマッチングして、結果をマッチング結果記憶部１３に記憶させる（Ｓ４１）。
【００７９】
例えば、マッチング部１１は、図３（ｂ）に示す複数の商品領域Ｂの中から、図中、最も左側の最も上側に位置する商品領域Ｂを、処理領域として特定する。
【００８０】
そして、マッチング部１１は、図３（ｂ）中、最も左側の最も上側に位置する商品領域Ｂ内の画像と、商品識別情報「ＭＳ」に対応付けられている外観画像と、をパターンマッチングする。
【００８１】
次に、マッチング部１１は、図３（ｂ）中、最も左側の最も上側に位置する商品領域Ｂを特定するための情報と、商品識別情報「ＭＳ」と、パターンマッチングの認識率とを対応付けて、マッチング結果記憶部１３に記憶させる。例えば、マッチング部１１は、上記情報を、図６に示すマッチング結果テーブル６ａに記録する。
【００８２】
その後、マッチング部１１は、図３（ｂ）に示す複数の商品領域Ｂの中から、他の商品領域Ｂを処理領域として特定する。そして、マッチング部１１は、特定した処理領域内の画像と、商品識別情報「ＭＳ」に対応付けられている外観画像と、をパターンマッチングし、結果をマッチング結果記憶部１３に記憶させる。
【００８３】
その後、マッチング部１１は、Ｓ２１で商品領域抽出部１５が抽出した複数の商品領域すべてを、Ｓ４１で処理領域として特定するまで、上記処理を繰り返す。そして、当該処理が終了すると、商品管理装置１はＳ５１に進む。
【００８４】
その後、外観データ保持部１２が保持する外観画像の中に、Ｓ３１で取得されていない外観画像がある場合（Ｓ５１のＹｅｓ）、商品管理装置１はＳ３１に戻り、上記処理を繰り返す。例えば、戻ったＳ３１において、マッチング部１１は、外観データ保持部１２が保持する図５に示すような外観画像テーブル５ａから、商品識別情報「ＣＢＮ」に対応付けられている外観画像データを取得する。そして、上記処理を繰り返す。
【００８５】
一方、外観データ保持部１２が保持する外観画像の中に、Ｓ３１で取得されていない外観画像がない場合（Ｓ５１のＮｏ）、商品管理装置１はＳ６１に進む。
【００８６】
その後、Ｓ６１において、図２に示すレイアウト推定部１４は、Ｓ４１でパターンマッチングの結果が記憶されたマッチング結果記憶部１３を参照し、複数種の商品の陳列状態を推定する（Ｓ６１）。
【００８７】
例えば、レイアウト推定部１４は、図６に示すマッチング結果テーブル６ａを参照し、第１の処理領域を特定するための情報に対応付けられている商品識別情報の中から、最も高い認識率が対応付けられている商品識別情報を抽出する。そして、レイアウト推定部１４は、抽出した商品識別情報で特定される商品が、第１の処理領域に表示されていると推定する。レイアウト推定部１４は、すべての処理領域に表示されている商品を推定し、推定した結果を、図７に示すような推定結果テーブル７ａに記録する。その後、レイアウト推定部１４は、推定結果テーブル７ａを利用して、図８に示すような、結果画像Ｅとレイアウト画像Ｃとを並べて表示した出力画像Ｇを作成し、ユーザに向けて出力する。
【００８８】
本実施形態の商品管理装置１は、例えば以下のプログラムをコンピュータにインストールすることで実現することができる。
コンピュータを、複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得手段、
前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチング手段、
前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定手段として機能させるためのプログラム。
【００８９】
次に、本実施形態の作用効果を説明する。
本実施形態の商品管理装置１は、複数種の商品が陳列されている状態を撮像した画像データを取得すると、当該画像内において商品が表示されている領域を抽出し、抽出した領域各々に表示されている画像と、複数種の商品各々の外観画像とをパターンマッチングしていく。そして、商品管理装置１は、パターンマッチングの結果に基づいて、各領域に表示されている商品を推定し、推定した結果に基づいて、複数種の商品の陳列状態を推定することができる。
【００９０】
このような本実施形態の商品管理装置によれば、複数種の商品の陳列状態を知りたいユーザは、複数種の商品が陳列されている状態を撮像した画像データを取得し、当該画像データを商品管理装置１に入力するだけで、商品の陳列状態を示した情報を取得することができる。このような本実施形態の商品管理装置１によれば、効率的かつ正確に、複数種の商品の陳列状態を示す情報を収集することができる。
【００９１】
また、本実施形態の商品管理装置１によれば、レイアウト画像内における商品が表示されている領域を特定した後、当該領域内の画像と、商品の外観画像とをパターンマッチングしていく。このような本実施形態の商品管理装置１によれば、パターンマッチングの回数を減らすことができるので、処理効率を向上させることができる。
【００９２】
なお、本実施形態の商品管理装置１は、あらゆる商品の陳列状態を推定することができるが、特に、商品がたばこ、飲料、食品および医薬品のいずれかである場合、優れた作用効果を実現することができる。以下説明する。
【００９３】
まず、商品がたばこである場合に得られる作用効果について説明する。
たばこは、その特徴的な形状および大きさなどのため、店頭販売のための什器に陳列された状態、および、自動販売機のディスプレイ部に陳列された状態いずれにおいても、各商品に特有のデザインまたは商品名が示された面が顧客側に向けられるように陳列されやすい。また、顧客側から見た複数の商品の配列は縦横規則正しい状態となりやすい。このため、本実施形態の商品管理装置１は、高い精度で、たばこの陳列状態を推定することが可能となる。
【００９４】
なお、近年、たばこの販売事情は大きく変動している。すなわち、自動販売機によるたばこの購入に比べて店舗における販売の数が増加している。結果、店頭に陳列されるたばこの銘柄が増加したり、また、売れ筋の銘柄を陳列するスペースを多く確保したりと、店頭におけるたばこの陳列状態が変動している。このような理由などから、たばこの陳列状態に関する研究は、特に強く望まれている。
【００９５】
また、たばこのメーカーにとって、自動販売機での販売および販売数が増加している店頭販売いずれの販売形態においても十分な売り上げを確保するため、店舗や自動販売機のディスプレイ部における商品の陳列状態を把握し、管理することは重要である。このような理由などから、店舗や自動販売機におけるたばこの陳列状態を示す情報を収集することは、特に強く望まれている。
【００９６】
本実施形態の商品管理装置１によれば、店頭販売のため什器に陳列されている複数種のたばこの陳列状態、および、自動販売機での販売のため自動販売機のディスプレイ部に陳列されている複数種のたばこの陳列状態いずれにおいても、効率的かつ正確に、複数種のたばこの陳列状態を示す情報を収集することができるので、上記要求を満たすことができる。
【００９７】
次に、商品が飲料である場合に得られる作用効果について説明する。
飲料は、たばこ同様、店頭販売のほか、自動販売機で販売される。店頭販売の場合、例えばコンビニエンスストアなどでは、冷蔵庫内に複数のレーンを設け、各レーンに１つの商品を陳列している場合が多い。かかる場合、顧客側から見た商品の配列は縦横規則正しい状態となる。このため、本実施形態の商品管理装置１は、高い精度で、コンビニエンスストアなどで店頭販売されている飲料の陳列状態を推定することが可能となる。
【００９８】
また、自動販売機で飲料を販売する場合も同様、顧客側から見た商品の配列は縦横規則正しい状態となる。また、かかる場合、顧客側を向く商品の面は、各商品に特有のデザインまたは商品名が示された面となりやすく、かつ、当該状態が変動することはほとんどない。このため、本実施形態の商品管理装置１は、高い精度で、自動販売機で販売されている飲料の陳列状態を推定することが可能となる。
【００９９】
次に、商品が食品である場合に得られる作用効果について説明する。
食品の種類は様々であるが、例えば冷凍食品や、包装が箱状の食品（例：カレールー）などである場合に、本実施形態の商品管理装置１は優れた作用効果を実現する。冷凍食品は、内容物が冷凍状態であるためその外観形状は略固定されている。また、包装が箱状の食品も同様に、外観形状が略固定されている。よって、これらの食品は、陳列の仕方等に起因して外観形状が変動することはほとんどない。このため、本実施形態の商品管理装置１は、高い精度で、これらの食品の陳列状態を推定することが可能となる。
【０１００】
次に、商品が医薬品である場合に得られる作用効果について説明する。
医薬品は、包装が箱状のものが多く、外観形状が略固定されている。よって、これらの商品は、陳列の仕方等に起因して外観形状が変動することはほとんどない。このため、本実施形態の商品管理装置１は、高い精度で、医薬品の陳列状態を推定することが可能となる。
【０１０１】
＜実施形態２＞
本実施形態の商品管理装置１は、図２に示すマッチング部１１の構成が異なる以外は、実施形態１の商品管理装置１の構成と同様である。以下、図２に示す機能ブロック図を用いて、マッチング部１１について説明する。
【０１０２】
マッチング部１１は、第１の処理領域内の画像、例えば図３（ｂ）に示す最も左側の最も上側に位置する商品領域Ｂ内の画像と、所定の外観画像とをパターンマッチングすると、その都度、パターンマッチングの結果として得られた認識率が所定値以上または所定値より高いか大小比較する。そして、当該認識率が所定値以上または所定値より高い場合、マッチング部１１は、以降、第１の処理領域内の画像と外観画像とをパターンマッチングする処理を行わない。すなわち、その時点で、第１の処理領域内の画像とパターンマッチングを行っていない外観画像が存在しても、マッチング部１１は、これらの外観画像と、第１の処理領域内の画像とのパターンマッチングを行わず、第１の処理領域内の画像に対するパターンマッチングを終了する。
【０１０３】
かかる場合、レイアウト推定部１４は、必然的に、所定値以上または所定値より高い認識率が得られたパターンマッチングに用いた外観画像で特定される商品を、第１の処理領域内に表示されている商品として推定することとなる。なお、上記「所定値」は設計的事項であり、例えば９０％、９５％など、十分に高い値とすることができる。
【０１０４】
ここで、例えば、マッチング部１１は、第１の処理領域内の画像と、所定の外観画像とのパターンマッチングにおいて所定値以上または所定値より高い認識率が得られると、第１の処理領域を特定するための情報に、パターンマッチングが終了した旨を示す情報（以下、「処理終了情報」という）を対応付けて記録してもよい。そして、マッチング部１１は、各処理領域内の画像と、外観画像とをパターンマッチングしていく際、各処理領域に処理終了情報が対応付けられているか否かを確認することで、各処理領域のパターンマッチングが終了しているか否かを判断してもよい。なお、マッチング部１１は、例えば、マッチング結果テーブル６ａに、上記処理終了情報を記録してもよい。
【０１０５】
本実施形態の商品管理装置１によれば、ある領域に表示されている商品を所望の認識率（例えば９０％以上）で特定できた場合、当該領域に表示されている商品は当該商品であると推定し、以降、その領域に表示されている商品を推定する処理を行わない。このような本実施形態の商品管理装置１によれば、不要なパターンマッチングを減らすことができ、結果、処理効率を向上させることができる。
【０１０６】
＜実施形態３＞
本実施形態の商品管理装置１は、図２に示すレイアウト推定部１４の構成が異なる以外は、実施形態１および２の商品管理装置１の構成と同様である。以下、図２に示す機能ブロック図を用いて、レイアウト推定部１４について説明する。
【０１０７】
実施形態１および２では、レイアウト推定部１４が、マッチング結果記憶部１３を参照し（図６参照）、第１の処理領域を特定するための情報に対応付けられている複数の商品識別情報の中から、対応付けられている認識率が最も高い商品識別情報を抽出し、抽出した商品識別情報で特定される商品を、第１の処理領域に表示されている商品として推定する構成について説明した。
【０１０８】
これに対し、本実施形態では、レイアウト推定部１４は、マッチング結果記憶部１３を参照し（図６参照）、第１の処理領域を特定するための情報に対応付けられている複数の商品識別情報の中から、対応付けられている認識率が高い方から順に所定数の商品識別情報を抽出する。そして、抽出した商品識別情報で特定される商品を、第１の処理領域に表示されている商品の候補として、ユーザに向けて出力する。
【０１０９】
例えば、レイアウト推定部１４は、図６に示すマッチング結果テーブル６ａを参照して、処理領域ごとに所定数の商品識別情報を抽出後、図１３に示すような出力画像Ｇ'を作成し、ユーザに向けて出力してもよい。図１３に示す出力画像Ｇ'は、結果画像Ｆに表示されている矩形の中に複数の商品識別情報が表示されている点以外は、実施形態１において図８を用いて説明した出力画像Ｇと同様である。矩形の中に表示されている複数の商品識別情報は、レイアウト推定部１４が処理領域ごとに抽出した所定数の商品識別情報である。出力画像Ｇ'は、商品識別情報を表示する代わりに、各商品の外観画像を出力することもできる。出力手段は特段制限されず、ディスプレイ、印刷装置などのあらゆる出力装置を用いて実現することができる。
【０１１０】
なお、出力画像Ｇ'をディスプレイに出力する場合、出力画像Ｇ'は以下のように構成することもできる。すなわち、出力画像Ｇ'は、各矩形の中に複数の商品識別情報を表示するのでなく、最も高い認識率が対応付けられている１つの商品識別情報のみを表示する。そして、例えばカーソル位置を１つの矩形の表示位置に合わせられると、その矩形で特定される処理領域において抽出した所定数の商品識別情報、すなわち当該処理領域に表示されている候補である商品の商品識別情報をディスプレイに表示してもよい。
【０１１１】
また、レイアウト推定部１４は、第１の処理領域に表示されている商品の候補として出力している複数の商品識別情報の中から、１つを指定する入力をユーザから受付けることができる。例えば、レイアウト推定部１４は、図１３に示すような出力画像Ｇ'をディスプレイに出力し、出力画像Ｇ'において、処理領域ごとに（矩形ごとに）、１つの商品識別情報を指定する入力をユーザから受付けてもよい。例えば、レイアウト推定部１４は、図１３に示すような出力画像Ｇ'において、カーソル位置を１つの処理領域に表示されている１つの商品識別情報に合わせる入力、および、当該状態での決定入力（右クリックなど）を受付けることで、処理領域ごとに、１つの商品識別情報を指定する入力をユーザから受付けてもよい。図１３に示す出力画像Ｇ'の場合、レイアウト画像Ｃと結果画像Ｆとを並べて表示しているので、ユーザは、各処理領域に表示されている商品を容易に認識し、処理領域ごとに、１つの商品識別情報を指定する入力を容易に行うことができる。
【０１１２】
そして、レイアウト推定部１４は、ユーザが指定した商品を、第１の処理領域に表示されている商品として推定することができる。なお、上記入力を受付ける手段は特段制限されず、マウス、キーボード、操作ボタン、タッチパネルディスプレイなどのあらゆる入力手段を用いて実現することができる。また、上記「所定数」は設計的事項である
【０１１３】
本実施形態の商品管理装置１によれば、ある領域に表示されている商品の候補を所定数抽出し、抽出した商品を当該領域に表示されている商品の候補として、ユーザに向けて出力することができる。そして、商品管理装置１は、ユーザから受付けた入力内容に従い、当該領域に表示されている商品を推定することができる。
【０１１４】
このような本実施形態の商品管理装置１によれば、表示されている商品を所望の認識率で特定できなかった場合であっても、十分な精度で、当該領域に表示されている商品を推定することができる。なお、本実施形態の商品管理装置１によれば、候補の中から１つを指定するというユーザの操作が新たに加わるが、ユーザは、所定数に絞り込まれた候補の中から１つを指定すればよいので、過度の負担にならない。
【０１１５】
本実施形態の変形例として、以下のものが考えられる。すなわち、商品管理装置１は、所定値以上または所定値より高い認識率が得られた処理領域においては、最も高い認識率が対応付けられている商品識別情報で特定される商品を、その処理領域に表示されている商品として推定する。一方、商品管理装置１は、所定値以上または所定値より高い認識率が得られていない処理領域においては、所定数の候補を抽出し、その処理領域に表示されている商品の候補としてユーザに向けて出力する。このように構成すれば、複数の候補から１つを指定するユーザ操作を減らすことができ、結果、ユーザの負担を軽減することができる。
【０１１６】
＜実施形態４＞
本実施形態の商品管理装置１は、図２に示すマッチング部１１およびレイアウト推定部１４の構成が異なり、かつ、商品領域抽出部１５を有さなくてもよい点以外は、実施形態１乃至３の商品管理装置１の構成と同様である。以下、マッチング部１１およびレイアウト推定部１４について説明する。
【０１１７】
マッチング部１１は、処理領域を特定する手段が、実施形態１乃至３と異なる。すなわち、実施形態１乃至３においては、マッチング部１１は、商品領域抽出部１５が抽出した商品領域を処理領域として特定した。これに対し、本実施形態においては、マッチング部１１は、レイアウト画像内において特定可能なあらゆる領域を、処理領域として特定する。
【０１１８】
すなわち、マッチング部１１は、（１）レイアウト画像内における任意の領域を処理領域として特定した後、（２）当該処理領域の位置、大きさおよび形状の少なくとも１つを変更しながら、複数の処理領域を特定することができる。例えば、マッチング部１１は、図１４に示すレイアウト画像Ｃにおいて、左上隅に位置する任意の形状および大きさの領域Ｋを処理領域として特定後、当該処理領域の形状および大きさを維持したまま、当該処理領域の位置を１ピクセルごとｘ軸方向に移動することで、複数の処理領域を特定する。また、マッチング部１１は、領域Ｋを１ピクセル分ｙ軸方向に移動した領域を処理領域として特定し、当該処理領域の形状および大きさを維持したまま、当該処理領域の位置を１ピクセルごとｘ軸方向に移動することで、複数の処理領域を特定する。マッチング部１１は上記処理を繰り返し行い、レイアウト画像Ｃの右下隅に位置する領域Ｋと同じ形状および大きさの領域を処理領域として特定した後、領域Ｋの形状および／または大きさを変更した領域を処理領域として特定し、上記処理を繰り返す。
【０１１９】
マッチング部１１は、例えば上述のような処理により、レイアウト画像Ｃ内において特定可能なあらゆる領域を、処理領域として特定する。このように構成することで、マッチング部１１は、レイアウト画像Ｃ内において商品が表示されている領域を、確実に処理領域として特定することができる。
【０１２０】
しかし、上記構成とした場合、マッチング部１１による処理負担が大きくなる。そこで、マッチング部１１は、上記構成を前提とし、処理負担を軽減可能とする構成をさらに有してもよい。以下、当該構成について説明する。
【０１２１】
まず、マッチング部１１が、（１）レイアウト画像内において任意の領域を処理領域として特定する処理は、以下のような処理とすることができる。
【０１２２】
例えば、マッチング部１１は、所定の形状で、任意の大きさかつ任意の位置の領域を処理領域として特定する。ここでの「所定の形状」は、商品の陳列状態を撮像したレイアウト画像に映ると考えられる商品の形状とすることができる。すなわち、所定の形状は、商品の外観形状に基づいて定めることができる。例えば商品がたばこの場合、所定の形状は、たばこの正面形状または側面形状（所定の縦横比の長方形）、あるいは、カートンの正面形状または側面形状（所定の縦横比の長方形）などが考えられる。
【０１２３】
例えばマッチング部１１は、あらかじめ所定の形状を示す情報を保持しておく。そして、処理領域を特定する際、マッチング部１１は、上記情報を用いて所定の形状を認識し、当該形状であって、任意の大きさかつ任意の位置の領域を処理領域として特定する。
【０１２４】
上述のように構成する場合、マッチング部１１は、所定の形状を示す情報を複数保持することもできる。これは、複数種の商品の中に、外観形状が異なるものが含まれる場合を想定した構成である。なお、所定の形状は矩形に限定されず、陳列状態を知りたい商品の外観形状が他の形状であれば、その形状とすることができる。
【０１２５】
次に、マッチング部１１が、（２）処理領域の位置、大きさおよび形状の少なくとも１つを変更し、複数の処理領域を特定する処理は、以下のような処理とすることができる。
【０１２６】
例えば、マッチング部１１は処理領域の大きさを変更する場合、上記所定の形状の縦横比を維持したまま拡大または縮小する。このように構成すれば、レイアウト画像内において特定される処理領域の形状が限定されるので、マッチング部１１が特定する処理領域の数を軽減することができる。結果、マッチング部１１の処理負担を軽減することができる。なお、このように構成しても、上述の通り、所定の形状は、商品の陳列状態を撮像したレイアウト画像に映ると考えられる商品の形状とすることができるので、マッチング部１１は十分な確率で、レイアウト画像内において商品が表示されている領域を、処理領域として特定することができる。
【０１２７】
また、マッチング部１１は、上記所定の形状の大きさの上限および下限を示す情報を保持しておき、この範囲内で、上記所定の形状の大きさを変更してもよい。上記「上限および下限」は、例えば、レイアウト画像内に映ると考えられる商品の大きさの上限および下限を、商品に応じてユーザが予め予測した値とすることができる。このように構成することで、マッチング部１１が特定する処理領域の数を軽減することができ、結果、マッチング部１１の処理負担を軽減することができる。
【０１２８】
その他、マッチング部１１は、ユーザからレイアウト画像内における検索領域を指定する入力を受付け、当該検索領域内でのみ、処理領域を特定するよう構成してもよい。このようにすれば、マッチング部１１の処理負担を軽減することができる。
【０１２９】
その他、マッチング部１１は、複数種の商品が陳列されている什器や自動販売機の外観形状を示す情報を保持しておき、当該情報を利用して、レイアウト画像Ｃ（図１４参照）内において什器や自動販売機が表示されている領域を特定してもよい。そして、マッチング部１１は、什器や自動販売機が表示されている領域内のみで、処理領域を特定してもよい。このようにすれば、マッチング部１１の処理負担を軽減することができる。なお、レイアウト画像Ｃ内において什器や自動販売機が表示されている領域を特定する処理は、実施形態１で説明した商品領域抽出部１５が商品領域を抽出する処理と同様にして実現することができる。
【０１３０】
ここで、上述した本実施形態のマッチング部１１の構成によれば、マッチング部１１は、十分な確率で、レイアウト画像内において商品が表示されている領域を、処理領域として特定することができる。しかし、マッチング部１１は、図１５に示すように、商品が表示されている領域Ｊのみならず、商品が表示されていない領域、例えば領域Ｉをも処理領域として特定する場合がある。
【０１３１】
かかる場合、マッチング部１１が処理領域ごとにパターンマッチングを行い、その結果を記憶したマッチング結果記憶部１３、例えばマッチング結果テーブル６ａ（図６参照）には、商品が表示されていない領域が、商品識別情報およびパターンマッチングの結果と対応付けて記録される事となる。
【０１３２】
また、上述した本実施形態のマッチング部１１の構成によれば、マッチング部１１は、図１６に示すように、互いに重なる複数の領域を処理領域として特定することとなる。図１６はレイアウト画像の一部を抽出して示した図であり、レイアウト画像内の商品Ａ１およびＡ２が示されている。また、図１６には、マッチング部１１が特定した処理領域の一例として、複数の処理領域Ｈ１乃至Ｈ５が示されている。なお、図１６に示した処理領域Ｈ１乃至Ｈ５はあくまで一例であり、マッチング部１１は、互いに重なるさらに多数の処理領域を特定することとなる。
【０１３３】
かかる場合、マッチング部１１が処理領域ごとにパターンマッチングを行い、その結果を記録した例えばマッチング結果テーブル６ａ（図６参照）には、互いに重なる複数の処理領域Ｈ１乃至Ｈ５すべてが、各々商品識別情報およびパターンマッチングの結果と対応付けて記録される事となる。
【０１３４】
本実施形態のマッチング部１１の構成によれば、上述のように、商品が表示されている領域でない領域が処理領域として、例えばマッチング結果テーブル６ａ（図６参照）に記録される不都合が生じ得る。当然、このようなマッチング結果テーブル６ａのままでは、複数種の商品の陳列状態を十分な精度で推定することは困難である。
【０１３５】
そこで、本実施形態のレイアウト推定部１４は、上記不都合を解消するために、以下の構成を有する。なお、以下の構成を有する点以外は、本実施形態のレイアウト推定部１４は、実施形態１乃至３の構成と同様である。
【０１３６】
レイアウト推定部１４は、本実施形態のマッチング部１１が特定した複数の処理領域の中から、商品が表示されている領域である処理領域を特定する構成を有する。すなわち、レイアウト推定部１４は、マッチング部１１が特定した複数の処理領域の中から、図１５に示す領域Ｊのみを特定する構成を有する。また、レイアウト推定部１４は、図１６に示す処理領域Ｈ１乃至Ｈ５を含む複数の処理領域の中から、商品Ａ１が表示されている領域である処理領域Ｈ１と、商品Ａ２が表示されている領域である処理領域Ｈ５とを特定する。
【０１３７】
上記構成を実現する手段は特段制限されないが、例えば、レイアウト推定部１４は、まず、図６に示すようなマッチング結果テーブル６ａに記録されているすべての処理領域を、商品が表示されている領域の候補とする。そして、これらの処理領域の中から、対応付けられている最も高い認識率が所定値以上または所定値より高い処理領域のみを、商品が表示されている領域の候補として残し、他の処理領域は当該候補から外す。当該処理により、図１５に示すような、全く商品を表示していない領域Ｉを、候補から外すことができる。「所定値」は設計的事項である。
【０１３８】
なお、上記処理によっても、例えば、図１６に示す領域Ｈ２、Ｈ３およびＨ４は、商品が表示されている領域を含むため、候補から外すことができない恐れがある。
【０１３９】
そこで、レイアウト推定部１４は、図６に示すようなマッチング結果テーブル６ａを参照し、残っている候補の中から互いに重なる２つの処理領域を抽出し、第１の処理領域を特定するための情報に対応付けられている最も高い認識率と、第２の処理領域を特定するための情報に対応付けられている最も高い認識率とを大小比較する。そして、より高い認識率が対応付けられている処理領域を、商品が表示されている領域の候補として残し、他の処理領域は当該候補から外す。
【０１４０】
例えば図１６に示す処理領域Ｈ１と、処理領域Ｈ２とは互いに重なる。このため、レイアウト推定部１４は、マッチング結果テーブル６ａを参照し、処理領域Ｈ１に対応付けられている最も高い認識率と、処理領域Ｈ２に対応付けられている最も高い認識率とを大小比較する。そして、認識率が高かった方を、商品が表示されている領域の候補として残し、他の処理領域は当該候補から外す。
【０１４１】
また、図１６に示す処理領域Ｈ３と、処理領域Ｈ４とは互いに重なる。このため、レイアウト推定部１４は、マッチング結果テーブル６ａを参照し、処理領域Ｈ３に対応付けられている最も高い認識率と、処理領域Ｈ４に対応付けられている最も高い認識率とを大小比較する。そして、認識率が高かった方を、商品が表示されている領域の候補として残し、他の処理領域は当該候補から外す。
【０１４２】
レイアウト推定部１４は、商品が表示されている領域の候補の中に互いに重なる処理領域がなくなるまで、上記処理を繰り返し行い、最終的に残った処理領域を、商品が表示されている領域として特定する。
【０１４３】
レイアウト推定部１４は、例えば上述のような手段により、マッチング部１１が特定した複数の処理領域の中から、商品が表示されている領域である処理領域を特定する。なお、レイアウト推定部１４は、他の手段により、上記特定を実現してもよい。
【０１４４】
レイアウト推定部１４は、上述のようにして、マッチング部１１が特定した複数の処理領域の中から商品が表示されている領域である処理領域を特定し、実施形態１で説明した手段により、特定した処理領域に表示されている商品を推定することで、実施形態１で説明した図７に示すような推定結果テーブル７ａを取得することができる。
【０１４５】
本実施形態の構成によれば、実施形態１乃至３と同様の作用効果を実現することができる。
【０１４６】
＜実施形態５＞
本実施形態の商品管理装置１は、複数種の商品が陳列されている什器のレイアウト情報を保持し、複数種の商品が、什器の中のどの位置に陳列されているのか推定する構成をさらに有する点以外は、実施形態１乃至４の商品管理装置１の構成と同様である。以下、本実施形態の商品管理装置１について詳細に説明する。
【０１４７】
図１７は、本実施形態の商品管理装置１の構成の一例を示す機能ブロック図が示されている。図１７に示す本実施形態の商品管理装置１は、レイアウトデータ取得部１０と、マッチング部１１と、外観データ保持部１２と、マッチング結果記憶部１３と、レイアウト推定部１４と、商品領域抽出部１５と、什器情報保持部１６とを有する。以下、レイアウト推定部１４および什器情報保持部１６の構成について説明する。なお、他の部の構成は、実施形態１乃至４と同様であるので、ここでの説明は省略する。
【０１４８】
什器情報保持部１６は、什器のレイアウト情報を保持する。当該什器は、複数列複数段で構成され、複数種の商品が陳列されており、一の列と一の段とで指定される１つの領域に１種の商品が陳列される。当該什器は、例えば、複数種のたばこを陳列するための什器であってもよい。
【０１４９】
ここで、什器の一例について説明する。図１８は、３列５段で構成される什器２０の構成の一例を示す正面図である。図１８（ａ）は、商品（たばこ２１）を陳列前の状態、図１８（ｂ）は、たばこ２１を陳列後の状態を示す。
【０１５０】
図１８（ａ）に示す什器２０は、横３×縦５の合計１５個の基本フェイス２４を有する。本実施の形態において、基本フェイス２４は、たばこ２１のパックを、正面が前面となるように陳列可能なサイズとすることができる。
【０１５１】
図１８（ｂ）は、たばこ２１のパックが、正面が前面となるように陳列された状態を示す図である。また、ここでは、各基本フェイス２４には、プライスカード２３が付されたプライスタグ２２が配置されている。
【０１５２】
本実施形態の什器情報保持部１６は、このような什器２０の列数および段数を含むレイアウト情報を保持する。例えば、什器情報保持部１６は、図１９に示すような什器情報テーブル１９ａを保持してもよい。
【０１５３】
什器情報テーブル１９ａは、什器欄、基本フェイス欄および商品情報欄等を含む。什器欄は、什器情報欄、什器種別欄、列数欄および段数欄等を含む。什器情報欄には、什器２０を特定する情報が記録される。ここでは、什器情報欄は、さらに、什器２０を配置している店舗を示す店コード欄、当該店舗内における売場を示す売場ナンバー欄、什器グループナンバー欄、および什器ナンバー欄等を含む。図１９に示す什器情報テーブル１９ａによれば、什器２０は、（店コード）−（売場ナンバー）−（什器グループナンバー）−（什器ナンバー）で特定される。
【０１５４】
什器種別欄には、什器２０が売場のどこに配置されるかを示す情報が記録される。具体的には、什器種別は、例えば顧客が自分で商品を取る「セルフ」、レジの後ろに配置され店員が商品を取る「バックエンド」、「レジ前」等とすることができる。列数欄および段数欄には、それぞれ什器２０の列数および段数が記憶される。
【０１５５】
基本フェイス欄は、段欄、列欄、およびレイアウト欄等を含む。段欄および列欄で、当該什器２０における各基本フェイス２４が特定される。レイアウト欄には、段欄および列欄で特定された基本フェイス２４に陳列されるたばこのレイアウトが記憶される。たばこのレイアウトとしては、例えば、たばこのパックが単体で最大面（正面）を前面にして配置される「単品」、たばこのパック１０個のカートンが、各パックの最大面を底面にして前面に各パックの側面が２段重ねで横型配置された「ツマ」、たばこのパック１０個のカートンが各パックの最小面を底面にして、前面に各パックの側面が２つ縦型配置された「ツマ縦」等とすることができる。
【０１５６】
商品情報欄は、商品識別情報を記録する欄を含む。当該欄は、最初は空欄となっており、レイアウト推定部１４が所定の情報を記録することができるようになっている。
【０１５７】
レイアウト推定部１４は、処理領域を特定するための情報を用い、複数の処理領域の位置関係に基づいて、什器２０内における第１の処理領域の位置、すなわち列および段を推定する。例えば、レイアウト推定部１４は、実施形態１で説明した処理に準じ、図７に示すような推定結果テーブル７ａを利用して、陳列されている商品の段数および各段の列数を特定する。そして、特定した列および段を基に、各領域の什器２０内における列および段を推定することができる。
【０１５８】
レイアウト推定部１４は、第１の処理領域の什器２０内における列および段を推定すると、第１の処理領域に表示されていると推定した商品の商品識別情報を、当該列および段に対応付けて記録することができる。例えば、レイアウト推定部１４は、什器情報保持部１６が保持する什器情報テーブル１６ａの商品識別情報を記録する欄に、当該情報を記録してもよい。
【０１５９】
ここで、上述のように、レイアウト推定部１４が図１９に示す什器情報テーブル１９ａに所定の情報を記録するためには、レイアウト推定部１４は、レイアウト画像に表示されている什器２０の（店コード）−（売場ナンバー）−（什器グループナンバー）−（什器ナンバー）を認識する必要がある。
【０１６０】
上記認識を実現する手段としては、例えば、（店コード）−（売場ナンバー）−（什器グループナンバー）−（什器ナンバー）を、各什器２０の所定位置、具体的には、複数種の商品が陳列されている状態の什器２０を撮像したレイアウト画像に映る位置に記載しておく。そして、レイアウト推定部１４は、文字認識技術を用いて、レイアウト画像に含まれる（店コード）−（売場ナンバー）−（什器グループナンバー）−（什器ナンバー）を読み取ることで、レイアウト画像に表示されている什器２０の店コード等を認識してもよい。その他、レイアウト推定部１４は、ユーザから所定の情報の入力を受付けることで、レイアウト画像に表示されている什器２０の店コード等を認識してもよい。
【０１６１】
本実施形態の商品管理装置１によれば、効率的かつ正確に、複数種の商品が陳列されている什器２０のレイアウトと対応付けて、複数種の商品の陳列状態を示す情報を収集することができる。
【０１６２】
＜実施形態６＞
本実施形態の商品管理装置１は、複数種の商品が陳列されている自動販売機のディスプレイ部のレイアウト情報を保持し、複数種の商品が、ディスプレイ部の中のどの位置に陳列されているのか推定する構成をさらに有する点以外は、実施形態１乃至５の商品管理装置１の構成と同様である。以下、本実施形態の商品管理装置１について詳細に説明する。
【０１６３】
図２０は、本実施形態の商品管理装置１の構成の一例を示す機能ブロック図が示されている。図２０に示す本実施形態の商品管理装置１は、レイアウトデータ取得部１０と、マッチング部１１と、外観データ保持部１２と、マッチング結果記憶部１３と、レイアウト推定部１４と、商品領域抽出部１５と、自販機情報保持部１７とを有する。以下、レイアウト推定部１４および自販機情報保持部１７の構成について説明する。なお、他の部の構成は、実施形態１乃至５と同様であるので、ここでの説明は省略する。
【０１６４】
自販機情報保持部１７は、自動販売機のディスプレイ部のレイアウト情報を保持する。当該ディスプレイ部は、複数列複数段で構成され、複数種の商品が陳列されており、一の列と一の段とで指定される１つの領域に１種の商品が陳列される。当該自動販売機は、例えば、複数種のたばこを販売するための自動販売機であってもよい。
【０１６５】
例えば、自販機情報保持部１７は、図２１に示すような自販機情報テーブル２１ａを保持してもよい。自販機情報テーブル２１ａは、自販機識別情報欄、列数欄、段数欄、列欄、段欄、および、商品識別情報欄を含む。自販機識別情報欄に記録される自販機識別情報は、所定の場所に設置されている複数の自動販売機各々を識別するための情報である。列数欄、段数欄、列欄、段欄、および、商品識別情報欄に記録される情報は、実施形態５で説明した通りである。
【０１６６】
レイアウト推定部１４は、処理領域を特定するための情報を用い、複数の処理領域の位置関係に基づいて、自動販売機のディスプレイ部内における第１の処理領域の位置、すなわち列および段を推定する。例えば、レイアウト推定部１４は、実施形態５で説明した第１の処理領域の什器内における列および段を推定する処理に準じて、上記推定を実現することができる。
【０１６７】
レイアウト推定部１４は、第１の処理領域の自動販売機のディスプレイ部内における列および段を推定すると、第１の処理領域に表示されていると推定した商品の商品識別情報を、当該列および段に対応付けて記録することができる。例えば、レイアウト推定部１４は、自販機情報保持部１７が保持する自販機情報テーブル１８ａの商品識別情報を記録する欄に、当該情報を記録してもよい。
【０１６８】
ここで、上述のように、レイアウト推定部１４が図２１に示す自販機情報テーブル２１ａに所定の情報を記録するためには、レイアウト推定部１４は、レイアウト画像に表示されている自動販売機の自販機識別情報を認識する必要がある。
【０１６９】
上記認識を実現する手段としては、例えば、自販機識別情報を、各自動販売機の所定位置、具体的には複数種の商品が陳列されている状態のディスプレイ部を撮像したレイアウト画像に映る位置に記載しておく。そして、レイアウト推定部１４は、文字認識技術を用いて、レイアウト画像に含まれる自販機識別情報を読み取ることで、レイアウト画像に表示されている自動販売機の自販機識別情報を認識してもよい。その他、レイアウト推定部１４は、ユーザから所定の情報の入力を受付けることで、レイアウト画像に表示されている自動販売機の自販機識別情報を認識してもよい。
【０１７０】
本実施形態の商品管理装置１によれば、効率的かつ正確に、複数種の商品が陳列されている自動販売機のディスプレイ部のレイアウトと対応付けて、複数種の商品の陳列状態を示す情報を収集することができる。
【０１７１】
＜実施形態７＞
本実施形態の商品管理装置１は、実施形態５または６の構成を基本とし、さらに以下の構成を備える点で異なる。
【０１７２】
すなわち、本実施形態の商品管理装置１が有する什器情報保持部１６または自販機情報保持部１７は、過去のデータを記録した什器情報テーブル１９ａ（図１９参照）、または、自販機情報テーブル２１ａ（図２１参照）をさらに保持する。
【０１７３】
什器および自動販売機における商品の陳列状態は、時間が経つと変動する可能性があるため、商品の陳列状態を知りたいユーザは、所定期間ごとに、商品の陳列状態の調査を繰り返し行う場合があると考えられる。上記過去のデータとは、以前の調査の際に什器または自動販売機を撮像して得られたレイアウト画像を利用して、本実施形態の商品管理装置１が１つの段及び１つの列で特定される領域ごとに、当該位置に陳列されている商品を推定したデータである。なお、過去のデータは、本実施形態の商品管理装置１が推定した複数種の商品の陳列状態を示すデータを、ユーザが必要に応じて修正したデータであってもよい。
【０１７４】
本実施形態のレイアウト推定部１４は、マッチング部１１が行ったパターンマッチングの結果を利用して図９に示すような出力テーブル９ａを作成すると、以下の処理を行う。
【０１７５】
すなわち、什器情報保持部１６または自販機情報保持部１７が保持する当該什器または自動販売機の上記過去のデータの中の最新のデータを取得する。そして、上記作成した出力テーブル９ａと、取得した過去のデータとを利用して、１つの段および１つの列で特定される位置ごとに、当該位置に陳列されていると過去に推定された商品（過去のデータで特定）と、今回推定された商品との関係を推定する。
【０１７６】
例えば、レイアウト推定部１４は、ある位置に陳列されていると過去に推定された商品（過去のデータで特定）と、当該位置に陳列されていると今回推定された商品とは、（１）一致する、（２）類似する、（３）異なる、（４）前回商品が陳列されていなかった位置に商品が陳列されている、（５）前回商品が陳列されていた位置に商品が陳列されていない、などの関係を推定する。
【０１７７】
上記「（２）類似する」関係とは、商品の外観が類似する商品間の関係をいう。レイアウト推定部１４は、あらかじめ類似関係にある商品どうしを対応付けた情報を保持しておき、当該情報を利用して、類似関係にあるか否かを判断する。「（３）異なる」関係とは、上記（１）、（２）、（４）および（５）のいずれの関係にも該当しない関係である。
【０１７８】
レイアウト推定部１４は、図９に示すような出力テーブル９ａを作成した後、１つの段および１つの列で特定される位置ごとに、当該位置に陳列されていると過去に推定された商品（過去のデータで特定）と、当該位置に陳列されていると今回推定された商品との関係を推定すると、当該推定結果をも含めた結果データを、ディスプレイ、印刷装置などのあらゆる出力装置を用い、ユーザに向けて出力する。
【０１７９】
例えば、図８に示すような出力画像Ｇにおいて、商品識別情報を表示している各矩形の背景色、輪郭の色、または、商品識別情報の色を、矩形ごとに、過去に推定された商品と今回推定された商品との関係に応じて変更表示してもよい。このような実施形態の一例としては、上記（１）の関係にある場合、当該矩形の輪郭を黒色で表示し、上記（２）の関係にある場合、当該矩形の輪郭を青色で表示し、上記（３）の関係にある場合、当該矩形の輪郭を黄色で表示し、上記（４）の関係にある場合、当該矩形の輪郭を緑色で表示し、上記（５）の関係にある場合、当該矩形の輪郭を桃色で表示してもよい。このような出力画像Ｇを閲覧したユーザは、色情報により、１つの段および１つの列で特定される各位置に陳列されていると過去に推定された商品（過去のデータで特定）と、今回推定された商品との関係を把握することができる。なお、矩形ごとに識別表示する種打破上記列記したものに限定されない。
【０１８０】
本実施形態の商品管理装置１によれば、実施形態１乃至６と同様の作用効果が得られほか、以下のような作用効果を得ることができる。
【０１８１】
すなわち、本実施形態の商品管理装置１はあらゆるパターンマッチングの手法を用いることができるが、選択した手法や、陳列状態を推定する商品の種類によっては、十分な精度で商品の陳列状態を推定できない場合もあり得る。かかる場合、ユーザは、商品管理装置１が出力した推定結果（例：図８の出力画像Ｇ）を、レイアウト画像Ｃと見比べながら、必要に応じて、商品管理装置１が出力した推定結果（例：図８の出力画像Ｇ）を修正する作業（以下、「修正作業」）を行う必要がある。
【０１８２】
本実施形態の商品管理装置１によれば、上記修正作業におけるユーザ負担を軽減することができる。具体的には、本実施形態の商品管理装置１によれば、ユーザは、１つの段および１つの列で特定される各位置に陳列されていると過去に推定された商品（過去のデータで特定）と、当該位置に陳列されていると今回推定された商品との関係を把握することができる。
【０１８３】
ここで、過去に推定された商品と、今回推定された商品とが、「（１）一致する」関係にある場合、商品管理装置１によるパターンマッチングの精度は比較的信頼できると判断することができる。このため、ユーザは、当該位置に陳列されていると推定された商品に対して、上記修正作業を行わないよう決定することができる。
【０１８４】
一方、過去に推定された商品と、今回推定された商品とが、「（２）類似関係にある」、「（３）異なる」、「（４）前回商品が陳列されていなかった位置に商品が陳列されている」または「（５）前回商品が陳列されていた位置に商品が陳列されていない」のいずれかの関係にある場合には、商品の陳列状態が変動したか、または、商品管理装置１によるパターンマッチングの精度が低いかの何れかであると判断することができる。このため、ユーザは、当該関係にある位置に陳列されていると推定された商品と、レイアウト画像Ｃ内における対応する位置に表示されている商品とを対比し、当該推定結果が妥当か否かを判断する作業を行うよう決定することができる。
【０１８５】
このように、本実施形態の商品管理装置１によれば、上記修正作業におけるユーザ負担を軽減することができるともに、商品管理装置１による推定結果が疑わしい位置についてはユーザに上記修正作業を促すことができる。このため、ユーザは、精度の高いレイアウトの推定結果を取得することができる。
【符号の説明】
【０１８６】
１ 商品管理装置
２ 什器
３ 自動販売機
４ デジタルカメラ
１０ レイアウトデータ取得部
１１ マッチング部
１２ 外観データ保持部
１３ マッチング結果記憶部
１４ レイアウト推定部
１５ 商品領域抽出部
１６ 什器情報保持部
１７ 自販機情報保持部
２０ 什器
２１ たばこ
２２ プライスタグ
２３ プライスカード
２４ 基本フェイス
４ａ 商品領域テーブル
５ａ 外観画像テーブル
６ａ マッチング結果テーブル
７ａ 推定結果テーブル
９ａ 出力テーブル
１９ａ 什器情報テーブル
２１ａ 自販機情報テーブル
Ａ 商品
Ｂ 商品領域
Ｂ' 商品領域
Ｃ レイアウト画像
Ｄ 領域
Ｄ' 領域
Ｅ 結果画像
Ｆ 結果画像
Ｇ 出力画像
Ｇ' 出力画像
Ｈ 処理領域
Ｉ 領域
Ｊ 領域
Ｋ 領域
【特許請求の範囲】
【請求項１】
複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得部と、
前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチング部と、
前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定部と、
を有する商品管理装置。
【請求項２】
請求項１に記載の商品管理装置において、
前記マッチング部は、前記パターンマッチングの結果として、前記パターンマッチングの認識率を前記マッチング結果記憶部に記憶させる商品管理装置。
【請求項３】
請求項２に記載の商品管理装置において、
前記マッチング部は、特定した第１の前記処理領域内の画像に対して、複数種の前記外観画像各々を用いて前記パターンマッチングを複数回行う商品管理装置。
【請求項４】
請求項３に記載の商品管理装置において、
前記レイアウト推定部は、前記マッチング結果記憶部を参照し、前記第１の処理領域を特定するための情報に対応付けられている前記商品識別情報の中から、対応付けられている前記認識率が最も高い前記商品識別情報を抽出し、抽出した前記商品識別情報で特定される前記商品を、前記第１の処理領域に表示されている前記商品として推定する商品管理装置。
【請求項５】
請求項３に記載の商品管理装置において、
前記レイアウト推定部は、
前記マッチング結果記憶部を参照し、前記第１の処理領域を特定するための情報に対応付けられている前記商品識別情報の中から、対応付けられている前記認識率が高い方から順に所定数の前記商品識別情報を抽出する手段と、
抽出した前記商品識別情報で特定される前記商品を、前記第１の処理領域に表示されている前記商品の候補としてユーザに向けて出力する手段と、
を有する商品管理装置。
【請求項６】
請求項５に記載の商品管理装置において、
前記レイアウト推定部は、さらに、
前記第１の処理領域に表示されている前記商品の候補として出力している前記商品の中から、１つを指定する入力をユーザから受付ける手段と、
ユーザが指定した前記商品を、前記第１の処理領域に表示されている商品として推定する手段と、
を有する商品管理装置。
【請求項７】
請求項２に記載の商品管理装置において、
前記マッチング部は、特定した第１の前記処理領域内の画像に対して、複数種の前記外観画像各々を用いて順次前記パターンマッチングを行い、ある前記外観画像を用いた前記パターンマッチングにおいて所定値以上または所定値より高い前記認識率が得られると、その時点において前記パターンマッチングに用いられていない前記外観画像が存在しても、前記第１の処理領域内の画像に対する前記パターンマッチングを終了する商品管理装置。
【請求項８】
請求項１から７のいずれか１項に記載の商品管理装置において、
前記レイアウト画像内において、１つの前記商品が表示されている領域である商品領域を抽出する商品領域抽出部をさらに有し、
前記マッチング部は、前記処理領域として、前記商品領域を特定する商品管理装置。
【請求項９】
請求項８に記載の商品管理装置において、
前記商品領域抽出部は、エッジ検出処理で検出したエッジにより閉じられた少なくとも１つの領域を抽出した後、抽出した前記領域の中の所定の形状の前記領域を、前記商品領域として抽出する商品管理装置。
【請求項１０】
請求項１から７のいずれか１項に記載の商品管理装置において、
前記マッチング部は、前記レイアウト画像内において、所定の領域を前記処理領域として特定した後、当該処理領域の位置、大きさおよび形状の少なくとも１つを変更して、複数の前記処理領域を特定する商品管理装置。
【請求項１１】
請求項１０に記載の商品管理装置において、
前記マッチング部は、前記レイアウト画像内において、所定の形状の領域を前記処理領域として特定し、前記処理領域の大きさを変更する場合、前記形状の縦横比を維持したまま拡大または縮小する商品管理装置。
【請求項１２】
請求項１１に記載の商品管理装置において、
前記マッチング部は、複数種の前記商品各々の外観形状に基づいて定められる前記所定の形状を示す情報を少なくとも１つ保持しておき、当該情報で特定される形状の領域を、前記処理領域として特定する商品管理装置。
【請求項１３】
請求項１０から１２のいずれか１項に記載の商品管理装置において、
前記マッチング部は、前記パターンマッチングの結果として、前記パターンマッチングの認識率を前記マッチング結果記憶部に記憶させ、
前記レイアウト推定部は、複数の前記処理領域が互いに重なる場合、前記複数の処理領域の中の最も高い前記認識率が対応付けられている前記処理領域を、前記商品が表示されている領域として推定する商品管理装置。
【請求項１４】
請求項１から１３のいずれか１項に記載の商品管理装置において、
前記レイアウト推定部は、前記マッチング結果記憶部を参照し、複数の前記処理領域ごとに、各処理領域に表示されている商品を推定する商品管理装置。
【請求項１５】
請求項１から１４のいずれか１項に記載の商品管理装置において、
前記マッチング部は、前記処理領域内の画像の大きさ、および／または、前記第１の外観画像の大きさを、互いに一致する方向に変更した後、前記変更後の画像を用いて前記パターンマッチングを行う商品管理装置。
【請求項１６】
請求項１から１５のいずれか１項に記載の商品管理装置において、
複数列複数段で構成され、複数種の前記商品が陳列されており、一の列と一の段とで指定される１つの領域に１種の前記商品が陳列されている什器の列数および段数を含むレイアウト情報を保持する什器情報保持部をさらに有し、
前記レイアウト推定部は、前記処理領域を特定するための情報を用い、複数の前記処理領域の位置関係に基づいて、第１の前記処理領域の前記什器内における列および段を推定する商品管理装置。
【請求項１７】
請求項１６に記載の商品管理装置において、
前記レイアウト推定部は、前記第１の処理領域に表示されていると推定した前記商品を識別する前記商品識別情報を、前記第１の処理領域の前記什器内における列および段として推定した列および段を示す情報に対応付けて前記什器情報保持部に記憶させる商品管理装置。
【請求項１８】
請求項１から１５のいずれか１項に記載の商品管理装置において、
複数列複数段で構成され、複数種の前記商品が陳列されており、一の列と一の段とで指定される１つの領域に１種の前記商品が陳列されている自動販売機のディスプレイ部の列数および段数を含むレイアウト情報を保持する自販機情報保持部をさらに有し、
前記レイアウト推定部は、前記処理領域を特定するための情報を用い、複数の前記処理領域の位置関係に基づいて、第１の前記処理領域の前記ディスプレイ部内における列および段を推定する商品管理装置。
【請求項１９】
請求項１８に記載の商品管理装置において、
前記レイアウト推定部は、前記第１の処理領域に表示されていると推定した前記商品を識別する前記商品識別情報を、前記第１の処理領域の前記ディスプレイ部内における段および当該段における位置として推定した段および当該段における位置を示す情報に対応付けて前記自販機情報保持部に記憶させる商品管理装置。
【請求項２０】
請求項１から１９のいずれか１項に記載の商品管理装置において、
前記外観データ保持部をさらに有する商品管理装置。
【請求項２１】
請求項１から２０のいずれか１項に記載の商品管理装置において、
前記マッチング結果記憶部をさらに有する商品管理装置。
【請求項２２】
請求項１から２１のいずれか１項に記載の商品管理装置において、
前記商品はタバコである商品管理装置。
【請求項２３】
複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得ステップと、
前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチングステップと、
前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定ステップと、
を有する商品管理方法。
【請求項２４】
コンピュータを、
複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得手段、
前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチング手段、
前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定手段、
として機能させるためのプログラム。
【請求項１】
複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得部と、
前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチング部と、
前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定部と、
を有する商品管理装置。
【請求項２】
請求項１に記載の商品管理装置において、
前記マッチング部は、前記パターンマッチングの結果として、前記パターンマッチングの認識率を前記マッチング結果記憶部に記憶させる商品管理装置。
【請求項３】
請求項２に記載の商品管理装置において、
前記マッチング部は、特定した第１の前記処理領域内の画像に対して、複数種の前記外観画像各々を用いて前記パターンマッチングを複数回行う商品管理装置。
【請求項４】
請求項３に記載の商品管理装置において、
前記レイアウト推定部は、前記マッチング結果記憶部を参照し、前記第１の処理領域を特定するための情報に対応付けられている前記商品識別情報の中から、対応付けられている前記認識率が最も高い前記商品識別情報を抽出し、抽出した前記商品識別情報で特定される前記商品を、前記第１の処理領域に表示されている前記商品として推定する商品管理装置。
【請求項５】
請求項３に記載の商品管理装置において、
前記レイアウト推定部は、
前記マッチング結果記憶部を参照し、前記第１の処理領域を特定するための情報に対応付けられている前記商品識別情報の中から、対応付けられている前記認識率が高い方から順に所定数の前記商品識別情報を抽出する手段と、
抽出した前記商品識別情報で特定される前記商品を、前記第１の処理領域に表示されている前記商品の候補としてユーザに向けて出力する手段と、
を有する商品管理装置。
【請求項６】
請求項５に記載の商品管理装置において、
前記レイアウト推定部は、さらに、
前記第１の処理領域に表示されている前記商品の候補として出力している前記商品の中から、１つを指定する入力をユーザから受付ける手段と、
ユーザが指定した前記商品を、前記第１の処理領域に表示されている商品として推定する手段と、
を有する商品管理装置。
【請求項７】
請求項２に記載の商品管理装置において、
前記マッチング部は、特定した第１の前記処理領域内の画像に対して、複数種の前記外観画像各々を用いて順次前記パターンマッチングを行い、ある前記外観画像を用いた前記パターンマッチングにおいて所定値以上または所定値より高い前記認識率が得られると、その時点において前記パターンマッチングに用いられていない前記外観画像が存在しても、前記第１の処理領域内の画像に対する前記パターンマッチングを終了する商品管理装置。
【請求項８】
請求項１から７のいずれか１項に記載の商品管理装置において、
前記レイアウト画像内において、１つの前記商品が表示されている領域である商品領域を抽出する商品領域抽出部をさらに有し、
前記マッチング部は、前記処理領域として、前記商品領域を特定する商品管理装置。
【請求項９】
請求項８に記載の商品管理装置において、
前記商品領域抽出部は、エッジ検出処理で検出したエッジにより閉じられた少なくとも１つの領域を抽出した後、抽出した前記領域の中の所定の形状の前記領域を、前記商品領域として抽出する商品管理装置。
【請求項１０】
請求項１から７のいずれか１項に記載の商品管理装置において、
前記マッチング部は、前記レイアウト画像内において、所定の領域を前記処理領域として特定した後、当該処理領域の位置、大きさおよび形状の少なくとも１つを変更して、複数の前記処理領域を特定する商品管理装置。
【請求項１１】
請求項１０に記載の商品管理装置において、
前記マッチング部は、前記レイアウト画像内において、所定の形状の領域を前記処理領域として特定し、前記処理領域の大きさを変更する場合、前記形状の縦横比を維持したまま拡大または縮小する商品管理装置。
【請求項１２】
請求項１１に記載の商品管理装置において、
前記マッチング部は、複数種の前記商品各々の外観形状に基づいて定められる前記所定の形状を示す情報を少なくとも１つ保持しておき、当該情報で特定される形状の領域を、前記処理領域として特定する商品管理装置。
【請求項１３】
請求項１０から１２のいずれか１項に記載の商品管理装置において、
前記マッチング部は、前記パターンマッチングの結果として、前記パターンマッチングの認識率を前記マッチング結果記憶部に記憶させ、
前記レイアウト推定部は、複数の前記処理領域が互いに重なる場合、前記複数の処理領域の中の最も高い前記認識率が対応付けられている前記処理領域を、前記商品が表示されている領域として推定する商品管理装置。
【請求項１４】
請求項１から１３のいずれか１項に記載の商品管理装置において、
前記レイアウト推定部は、前記マッチング結果記憶部を参照し、複数の前記処理領域ごとに、各処理領域に表示されている商品を推定する商品管理装置。
【請求項１５】
請求項１から１４のいずれか１項に記載の商品管理装置において、
前記マッチング部は、前記処理領域内の画像の大きさ、および／または、前記第１の外観画像の大きさを、互いに一致する方向に変更した後、前記変更後の画像を用いて前記パターンマッチングを行う商品管理装置。
【請求項１６】
請求項１から１５のいずれか１項に記載の商品管理装置において、
複数列複数段で構成され、複数種の前記商品が陳列されており、一の列と一の段とで指定される１つの領域に１種の前記商品が陳列されている什器の列数および段数を含むレイアウト情報を保持する什器情報保持部をさらに有し、
前記レイアウト推定部は、前記処理領域を特定するための情報を用い、複数の前記処理領域の位置関係に基づいて、第１の前記処理領域の前記什器内における列および段を推定する商品管理装置。
【請求項１７】
請求項１６に記載の商品管理装置において、
前記レイアウト推定部は、前記第１の処理領域に表示されていると推定した前記商品を識別する前記商品識別情報を、前記第１の処理領域の前記什器内における列および段として推定した列および段を示す情報に対応付けて前記什器情報保持部に記憶させる商品管理装置。
【請求項１８】
請求項１から１５のいずれか１項に記載の商品管理装置において、
複数列複数段で構成され、複数種の前記商品が陳列されており、一の列と一の段とで指定される１つの領域に１種の前記商品が陳列されている自動販売機のディスプレイ部の列数および段数を含むレイアウト情報を保持する自販機情報保持部をさらに有し、
前記レイアウト推定部は、前記処理領域を特定するための情報を用い、複数の前記処理領域の位置関係に基づいて、第１の前記処理領域の前記ディスプレイ部内における列および段を推定する商品管理装置。
【請求項１９】
請求項１８に記載の商品管理装置において、
前記レイアウト推定部は、前記第１の処理領域に表示されていると推定した前記商品を識別する前記商品識別情報を、前記第１の処理領域の前記ディスプレイ部内における段および当該段における位置として推定した段および当該段における位置を示す情報に対応付けて前記自販機情報保持部に記憶させる商品管理装置。
【請求項２０】
請求項１から１９のいずれか１項に記載の商品管理装置において、
前記外観データ保持部をさらに有する商品管理装置。
【請求項２１】
請求項１から２０のいずれか１項に記載の商品管理装置において、
前記マッチング結果記憶部をさらに有する商品管理装置。
【請求項２２】
請求項１から２１のいずれか１項に記載の商品管理装置において、
前記商品はタバコである商品管理装置。
【請求項２３】
複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得ステップと、
前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチングステップと、
前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定ステップと、
を有する商品管理方法。
【請求項２４】
コンピュータを、
複数種の商品が陳列されている状態を撮像したレイアウト画像のデータを取得するレイアウトデータ取得手段、
前記レイアウト画像内における所定の領域である処理領域を特定し、前記処理領域内の画像と、複数種の前記商品各々の外観画像のデータを保持する外観データ保持部から取得した第１の前記外観画像とをパターンマッチングした後、前記処理領域を特定するための情報と、前記第１の外観画像で特定される前記商品を識別する商品識別情報と、前記パターンマッチングの結果とを対応付けてマッチング結果記憶部に記憶させる処理を、前記レイアウト画像内における前記処理領域および前記パターンマッチングに用いる前記外観画像の少なくとも一方を変更しながら繰り返し行うマッチング手段、
前記マッチング結果記憶部を参照し、前記パターンマッチングの結果に基づいて、前記処理領域に表示されている前記商品を推定し、当該推定の結果に基づいて、複数種の前記商品が陳列されている状態を推定するレイアウト推定手段、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−１２６５３２（Ｐ２０１２−１２６５３２Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８０６２１（Ｐ２０１０−２８０６２１）
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（０００００４５６９）日本たばこ産業株式会社 (406)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（０００００４５６９）日本たばこ産業株式会社 (406)
【Ｆターム（参考）】
[ Back to top ]