商品情報取得システムおよび商品情報提供サーバ装置
【課題】携帯端末のユーザが欲しい商品情報をサーバ装置から簡易かつ迅速に提供する。
【解決手段】商品情報提供システム１は、スマートフォンや携帯電話等からなる携帯端末２と、携帯端末２との間で無線通信を行うサーバ３と、サーバ３に接続される商品特徴量ＤＢ４と、同じくサーバ３に接続される商品情報ＤＢ５と、自動フィルタリングＤＢ６と、を備える。携帯端末２で撮影した商品画像またはその特徴量をサーバ３に送信して、サーバ３側で商品を特定して、その商品情報を携帯端末２に送り返すため、携帯端末２のユーザは、撮影した商品の商品情報を、携帯端末２を介して手軽に入手でき、利便性が向上する。また、店舗側は、商品ごとに、異なる複数の言語で商品説明を行わなくて済み、商品管理が容易になり、外国語を話せる販売スタッフの数も減らすことができて、人的コストも含めた販売費の削減が図れる。
【解決手段】商品情報提供システム１は、スマートフォンや携帯電話等からなる携帯端末２と、携帯端末２との間で無線通信を行うサーバ３と、サーバ３に接続される商品特徴量ＤＢ４と、同じくサーバ３に接続される商品情報ＤＢ５と、自動フィルタリングＤＢ６と、を備える。携帯端末２で撮影した商品画像またはその特徴量をサーバ３に送信して、サーバ３側で商品を特定して、その商品情報を携帯端末２に送り返すため、携帯端末２のユーザは、撮影した商品の商品情報を、携帯端末２を介して手軽に入手でき、利便性が向上する。また、店舗側は、商品ごとに、異なる複数の言語で商品説明を行わなくて済み、商品管理が容易になり、外国語を話せる販売スタッフの数も減らすことができて、人的コストも含めた販売費の削減が図れる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品情報をサーバから携帯電話に送信可能とした商品情報取得システムおよび商品情報提供サーバ装置に関する。
【背景技術】
【０００２】
スマートフォンや高機能の携帯電話が普及している。特に、スマートフォンは、ＯＳが寡占化されており、共通のＯＳを採用したスマートフォンについては、機種が異なっても、同じアプリケーションを実行させることができ、データ形式も共通である。したがって、スマートフォンのユーザは、外国に行っても、そのまま、あるいは簡易な設定変更により、自己のスマートフォンを使い続けることができる。このような背景で、スマートフォンのユーザは、外国に出かける際にも、自己のスマートフォンを携帯することが多い。
【０００３】
その一方で、日本を訪れる外国人の多くは、日本語が理解できないため、外国人が来店する店舗側で、色々な工夫をして、外国人に対して商品説明を行わなければならず、店舗側の負担が大きく、適切な商品説明ができないがために、せっかくの商品販売の機会を失ってしまうことも少なくない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３１８７４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
外国人に対する適切な商品説明が難しい主な理由は、外国語の種類が多く、すべての外国語で商品説明を行うのは不可能なためである。携帯型の自動翻訳機などのツールを利用することも考えられるが、現在の技術では、簡単な受け答え程度しかできないため、実用性にほど遠い。また、外国人スタッフを用意するのは、人件費が嵩む要因になり、ましてや複数の言語に対応させるために複数の外国人スタッフを用意するのは現実的ではない。
【０００６】
上述したように、昨今では、日本を訪問する外国人の多くは、スマートフォンを所持しており、また、スマートフォンの普及は今後ますます高まることが確実視されており、スマートフォンに対して有効な商品情報を提供できれば、店舗側の負担が軽減され、顧客にとっての利便性も向上して、販売数量が増加する可能性がある。
【０００７】
本発明は、上述した事情に鑑みてなされたものであり、その目的は、携帯端末のユーザが欲しい商品情報をサーバ装置から簡易かつ迅速に提供可能な商品情報提供システムおよび商品情報提供サーバ装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様では、 撮像装置を内蔵した携帯端末と、
前記携帯端末との間で無線通信を行うサーバ装置と、を備えた商品情報取得システムにおいて、
個々の商品ごとに、商品画像の特徴量と、該特徴量に対応する商品との対応関係を記憶する特徴量記憶部と、
個々の商品ごとに、商品の特徴を表す商品情報を記憶する商品情報記憶部と、を備え、
前記携帯端末は、
前記撮像装置で商品を撮像して得られた商品画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された特徴量を前記サーバ装置に無線通信する無線通信部と、を有し、
前記サーバ装置は、
前記携帯端末から送信された前記特徴量を前記特徴量記憶部に記憶された特徴量との間でマッチング処理を行って、前記携帯端末から送信された前記特徴量に対応する商品を特定する画像マッチング処理部と、
前記マッチング処理を高速化するためのマッチング高速化部と、
前記特定された商品についての商品情報の絞り込みを行うための自動フィルリング処理を行った上で、前記特定された商品の商品情報を前記商品情報記憶部から取得する商品情報取得部と、
前記商品情報取得部で取得した商品情報を前記携帯端末に送信する商品情報提供部と、を有することを特徴とする商品情報取得システムが提供される。
【０００９】
また、本発明の一態様では、撮像装置を内蔵した携帯端末と、
前記携帯端末との間で無線通信を行うサーバ装置と、を備えた商品情報取得システムにおいて、
個々の商品ごとに、商品画像の特徴量と、該特徴量に対応する商品との対応関係を記憶する特徴量記憶部と、
個々の商品ごとに、商品の特徴を表す商品情報を記憶する商品情報記憶部と、を備え、
前記携帯端末は、前記撮像装置で商品を撮像して得られた商品画像を前記サーバ装置に無線通信する無線通信部と、を有し、
前記サーバ装置は、
前記携帯端末から送信されてきた商品画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された前記特徴量を前記特徴量記憶部に記憶された特徴量との間でマッチング処理を行って、前記特徴量抽出部で抽出された前記特徴量に対応する商品を特定する画像マッチング処理部と、
前記マッチング処理を高速化するためのマッチング高速化部と、
前記特定された商品についての商品情報の絞り込みを行うための自動フィルリング処理を行った上で、前記特定された商品の商品情報を前記商品情報記憶部から取得する商品情報取得部と、を有することを特徴とする商品情報取得システムが提供される。
【発明の効果】
【００１０】
本発明によれば、携帯端末のユーザが欲しい商品情報を、サーバ装置から簡易かつ迅速に提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る商品情報提供システム１の概略構成を示すブロック図。
【図２】図１の商品情報提供システム１が行う商品情報提供処理の処理手順の一例を示すフローチャート。
【図３】動画像によるマッチング処理を説明する図。
【図４】自動フィルタリング処理の詳細な処理手順を示すフローチャート。
【図５】商品特徴量ＤＢ４、商品情報ＤＢ５および自動フィルタリングＤＢ６を一つにまとめた統合ＤＢの一例を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、詳細に説明する。
図１は本発明の一実施形態に係る商品情報提供システム１の概略構成を示すブロック図である。図１の商品情報提供システム１は、スマートフォンや携帯電話等からなる携帯端末２と、携帯端末２との間で無線通信を行うサーバ３と、サーバ３に接続される特徴量記憶部（以下、商品特徴量ＤＢ）４と、同じくサーバ３に接続される商品情報記憶部（以下、商品情報ＤＢ）５と、自動フィルタリング記憶部（以下、自動フィルタリングＤＢ）６と、を備えている。
【００１３】
携帯端末２は、動画を撮影可能なビデオカメラを内蔵しており、撮影した動画像をサーバ３に無線通信することができる。動画像を伝送する無線通信の回線は、例えば、携帯端末２の携帯電話サービス回線（例えば３Ｇなど）が利用されるが、それ以外に、携帯端末２に内蔵された無線ＬＡＮ回線や、赤外線通信回線、Bluetooth回線などを利用してもよい。このような種々の無線回線とインターネットを介して、携帯端末２とサーバ３とはデータの送受を行う。
【００１４】
商品特徴量ＤＢ４、商品情報ＤＢ５および自動フィルタリングＤＢ６は、個別に分かれている必要はなく、二つ以上のデータベース（ＤＢ）を任意に統合したデータベースを設けてもよい。
【００１５】
図１の商品情報提供システム１は、携帯端末２のユーザが、商品情報を知りたい商品を携帯端末２で撮影して、その撮影画像（商品画像とも呼ぶ）を携帯端末２からサーバ３に伝送し、サーバ３側で画像マッチング処理を行って商品を特定して、その商品の商品情報を取得して、携帯端末２に送り返す処理（以下、商品情報提供処理）を行う。以下、この処理について詳述する。
【００１６】
ここで、撮影画像は、動画像でもよいし、静止画像でもよい。静止画像のみを送信する場合は、携帯端末２にビデオカメラが内蔵されている必要はなく、デジタルカメラが内蔵されていればよい。ただし、後述するように、動画像の方が特徴量のマッチング精度が向上するため、以下では、主に動画像を送信する例について説明する。
【００１７】
図２は図１の商品情報提供システム１が行う商品情報提供処理の処理手順の一例を示すフローチャートである。まず、ユーザは、自己の携帯端末２を利用して、商品情報を知りたい商品をビデオカメラで撮影する（ステップＳ１）。このとき、携帯端末２が静止しているか否かを判定し、静止している場合のみ、商品の撮影を許可するようにしてもよい。携帯端末２の静止判定を設ける理由は、携帯端末２が動いている状態で商品の撮影を行うと、撮影画像のぶれにより撮影画像から商品を正しく特定できなくなるおそれがあるためである。
【００１８】
なお、携帯端末２が動いているか否かは、携帯端末２に内蔵されている加速度センサを用いて判断すればよい。携帯端末２が手ぶれ防止機能を備えている場合は、多少の動きであれば、上述した静止判定を省略してもよい。
【００１９】
図２のステップＳ１の処理が終了すると、続いて、撮影した画像の特徴量を抽出する特徴量抽出処理を行う（ステップＳ２）。この特徴量抽出処理には、公知の手法が用いられる。例えば、OpenCV（Open Source Computer Vision Library）による物体検出処理を利用することが考えられる。以下、OpenCVによる物体検出処理の概略を説明する。OpenCVによる物体検出処理は、学習フェーズと認識フェーズに分かれる。まず、学習フェーズを行って、複数の基準画像の特徴量を抽出する処理を繰り返して学習を行う。学習結果が蓄積されると、次に、認識フェーズを行う。認識フェーズでは、撮影画像の特徴量を、学習結果を参照しながら抽出する。
【００２０】
図２のステップＳ２の特徴量抽出処理は、かなりの処理能力を要するため、携帯端末２に高性能のＣＰＵが搭載されていなければ、携帯端末２で実施するのは困難になる。無理に携帯端末２で特徴量抽出処理を行うと、特徴量が抽出されるまでに時間がかかる上に、バッテリの消費も激しくなるため、実用性上の問題が生じる。
【００２１】
そこで、特徴量抽出処理は、サーバ３で行ってもよい。サーバ３で特徴量抽出処理を行う場合は、ユーザが商品情報を取得したい商品を撮影したら、その撮影画像をサーバ３に送ればよい。撮影画像は、カメラの画素数が高いほど、また動画像の場合にはフレーム数が多いほど大きくなるため、必要に応じて、通信コストの削減処理を行う。
【００２２】
通信コストの削減処理は、携帯端末２からサーバ３に撮影画像を送るか、特徴量を送るかによって変わる可能性がある。通信コストの削減処理は、大きく分けて、送信パラメータの数の削減と送信回数の削減とを含んでいる。送信パラメータとは、送信データに付属して送信される各種情報であり、送信データの種別や暗号化情報などである。送信回数とは、単位時間あたりにサーバ３にデータ（撮影画像または特徴量）を送信する回数である。
【００２３】
携帯端末２がサーバ３に撮影画像を送る場合は、カメラの撮影画素数に応じて圧縮率を調整したり、単位時間あたりの動画像のフレーム数を減らすなどして、撮影画像のデータ量を削減することが考えられる。
【００２４】
図２のステップＳ２の特徴量抽出処理が終了すると、撮影画像の特徴量と商品特徴量ＤＢ４に記憶された特徴量との間でマッチング処理を行う（ステップＳ３）。その結果、特徴量同士が一致した場合には、商品を特定する。
【００２５】
マッチング処理は、例えば特徴量に含まれる特徴点を画素ごとに比較することにより行われ、かなりの時間がかかるおそれがある。そこで、マッチング処理を行う際に、マッチング高速化処理を合わせて行うのが望ましい。
【００２６】
マッチング高速化処理は、大きく分けて、エリア制限と商品カテゴリ制限を含んでいる。エリア制限とは、携帯端末２による商品の撮影場所を、携帯端末２に内蔵したＧＰＳセンサや、携帯端末２と定期的に交信する無線基地局の位置によって特定し、撮影場所に関連した商品の特徴量だけを商品特徴量ＤＢ４から予め抽出してマッチング処理を行うものである。商品カテゴリ制限とは、予め、携帯電話のユーザに対して、特定の商品カテゴリを選択させるか、あるいは、ユーザに対する過去の商品提供の履歴を参照して、各ユーザの趣向を把握して、自動的に商品カテゴリを選択し、選択された商品カテゴリに関連のある商品の特徴量だけを商品特徴量ＤＢ４から抽出してマッチング処理を行うものである。
【００２７】
動画像に対して特徴量抽出処理を行う場合は、図３に示すように、動画像を構成する複数のフレーム画像のそれぞれごとに、商品特徴量ＤＢ４に記憶された特徴量との間でマッチング処理を行う。これにより、同じ商品について、連続的に複数のマッチング結果が得られる。したがって、これらのマッチング結果を合成することにより、マッチング精度を高めることができる。
【００２８】
図２のステップＳ３のマッチング処理を行って商品が特定されると、次に、自動フィルタリング処理を行って、商品情報の絞り込みを行った上で、商品情報を取得する（ステップＳ４）。取得した商品情報は、無線回線を介して、サーバ３から携帯端末２に送り返される（ステップＳ５）。
【００２９】
図４は自動フィルタリング処理の詳細な処理手順を示すフローチャートである。図示のように、自動フィルタリング処理は、大きく分けて、携帯端末２のＧＰＳセンサ利用処理（ステップＳ１１）と、携帯端末２のユーザ情報利用処理（ステップＳ１２）と、携帯端末２のユーザの個人行動処理（ステップＳ１３）とを有する。これらの処理は並行して行ってもよいし、順次行ってもよいし、これら３つの処理のうち任意の一つか二つのみを行ってもよい。
【００３０】
携帯端末２のＧＰＳセンサ利用処理は、ＧＰＳセンサによるエリアフィルタリング処理（ステップＳ１４）を含んでいる。携帯端末２のユーザ情報利用処理は、時間情報フィルタリング処理（ステップＳ１５）と、言語情報フィルタリング処理（ステップＳ１６）と、個人趣向フィルタリング処理（ステップＳ１７）とを含んでいる。個人行動処理は、個人行動フィルタリング処理（ステップＳ１８）を含んでいる。以下、これらの各フィルタリング処理を説明する。
【００３１】
ＧＰＳセンサによるエリアフィルタリング処理は、携帯端末２が内蔵するＧＰＳセンサにより、携帯端末２の位置を特定し、その位置情報によって商品情報ＤＢ５のフィルタリングを行うものである。例えば、携帯端末２の位置が銀座の特定の百貨店であれば、その百貨店で実施しているセール情報のみを商品情報ＤＢ５から抽出して商品情報として提供する。
【００３２】
時間情報フィルタリング処理は、携帯端末２で商品を撮影した時間を検出して、その時間に関連のある商品情報を商品情報ＤＢ５から抽出するものである。例えば、携帯端末２が商品を撮影した時刻に実施されているタイムセールの情報を商品情報として提供する。
【００３３】
言語情報フィルタリング処理は、携帯端末２で使用されている言語情報を携帯端末２からサーバ３に送信し、その言語情報によって、商品情報を提供すべき言語を判断して、商品情報の言語を切り替える。例えば、携帯端末２の画面が中国語で表示されている場合には、そのユーザは中国系の人間であると推定されるため、中国語の商品情報を商品情報ＤＢ５から抽出して、中国語で商品情報を提供する。
【００３４】
個人趣向フィルタリング処理は、携帯端末２のユーザが、特定のアプリケーションを利用して、端末内に自己の趣向や属性に関する情報を登録しておき、この情報をサーバ３に送信して、サーバ３側で個人趣向を判別して、個人趣向に関連する商品情報を商品情報ＤＢ５から抽出するものである。ここで、属性とは、携帯端末２のユーザの性別や年齢、職業、収入、家族構成、住所などである。例えば、上述したアプリケーションを利用して、家電製品に興味があることがわかった場合は、家電製品に関する商品情報を提供し、２０代の女性であることを登録した場合は、ファッションや化粧品情報などを中心に提供する。
【００３５】
個人行動フィルタリング処理は、携帯端末２のユーザが特定のアプリケーションを利用して携帯端末２内に自己の行動情報を格納する。あるいは、ＧＰＳセンサを利用して、携帯端末２のユーザの移動履歴を自動で取得して行動情報として格納してもよい。この行動情報によって、携帯端末２のユーザの行動範囲が関東近辺であれば、関東地方の商品情報を提供する。また、携帯端末２のユーザの行動範囲が秋葉原駅周辺であれば、電気製品に関する商品情報を提供する。
【００３６】
自動フィルタリングＤＢ６には、上述した自動フィルタリング処理で行われる各ステップの基準値が格納されている。したがって、図２のステップＳ４では、各ステップで得た携帯端末の値を自動フィルタリングＤＢ６と照合して、該当する商品情報を取得する。
【００３７】
上述したように、商品特徴量ＤＢ４、商品情報ＤＢ５および自動フィルタリングＤＢ６は個別に設けてもよいし、一つにまとめてもよい。図５は商品特徴量ＤＢ４、商品情報ＤＢ５および自動フィルタリングＤＢ６を一つにまとめた統合ＤＢの一例を示す図である。図５の統合ＤＢは、商品特徴量ＤＢ４に格納されるべき特徴量パターンと、自動フィルタリングＤＢ６に格納されるべき商品名型番、大カテゴリ、小カテゴリ、場所（緯度経度）、範囲、時間、言語、個人趣向、および個人行動と、商品情報ＤＢ５に格納されるべき商品情報（提示情報）とを含んでいる。
【００３８】
自動フィルタリングＤＢ６に格納されるべき各情報は、自動フィルタリング属性とも呼ばれ、上述した図４の自動フィルリング処理により、任意に設定変更可能である。
【００３９】
図２のフローチャートにおいて、ステップＳ２は特徴量抽出部に対応し、ステップＳ３は画像マッチング処理部とマッチング高速化部に対応し、ステップＳ４は商品情報取得部に対応し、ステップＳ５は商品情報提供部に、それぞれ対応する。
【００４０】
このように、本実施形態では、携帯端末２で撮影した商品画像またはその特徴量をサーバ３に送信して、サーバ３側で商品を特定して、その商品情報を携帯端末２に送り返すため、携帯端末２のユーザは、撮影した商品の商品情報を、携帯端末２を介して手軽に入手でき、利便性が向上する。また、店舗側は、商品ごとに、異なる複数の言語で商品説明を行わなくて済み、商品管理が容易になり、外国語を話せる販売スタッフの数も減らすことができて、人的コストも含めた販売費の削減が図れる。
【００４１】
特に、本実施形態では、携帯端末２からサーバ３に商品画像または特徴量を送信する際、送信パラメータや送信回数を削減することにより通信コストの削減を図るため、ユーザにとってみれば、費用をかけることなく、任意の時間に迅速に商品情報の提供を受けることができる。
【００４２】
また、本実施形態では、携帯端末２から送信された商品画像の特徴量と商品特徴量ＤＢ４内の特徴量との間でマッチング処理を行う際に、マッチング高速化処理を行うため、携帯端末２のユーザから要求のあった商品を迅速に特定できる。
【００４３】
さらに、本実施形態では、商品情報を提供する際に自動フィルタリング処理を行って、ユーザの位置、ユーザから要求のあった時刻、ユーザの使用言語、ユーザの趣向や行動履歴等を加味して、商品情報の絞り込みを行うため、携帯端末２のユーザが真に必要とする商品情報のみを提供でき、ユーザにとって利用価値の高い情報提供が可能となる。
【００４４】
また、本実施形態では、撮影画像から特徴量を算出する際に、商品の動画像を用いるため、特徴量のマッチング精度を向上できる。
【００４５】
上述した実施形態で説明した商品情報提供システム１および商品情報提供サーバ３装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、商品情報提供システム１および商品情報提供サーバ３装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００４６】
また、商品情報提供システム１および商品情報提供サーバ３装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００４７】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【００４８】
１ 商品情報提供システム
２ 携帯端末
３ サーバ
４ 商品特徴量ＤＢ
５ 商品情報ＤＢ
６ 自動フィルタリングＤＢ
【技術分野】
【０００１】
本発明は、商品情報をサーバから携帯電話に送信可能とした商品情報取得システムおよび商品情報提供サーバ装置に関する。
【背景技術】
【０００２】
スマートフォンや高機能の携帯電話が普及している。特に、スマートフォンは、ＯＳが寡占化されており、共通のＯＳを採用したスマートフォンについては、機種が異なっても、同じアプリケーションを実行させることができ、データ形式も共通である。したがって、スマートフォンのユーザは、外国に行っても、そのまま、あるいは簡易な設定変更により、自己のスマートフォンを使い続けることができる。このような背景で、スマートフォンのユーザは、外国に出かける際にも、自己のスマートフォンを携帯することが多い。
【０００３】
その一方で、日本を訪れる外国人の多くは、日本語が理解できないため、外国人が来店する店舗側で、色々な工夫をして、外国人に対して商品説明を行わなければならず、店舗側の負担が大きく、適切な商品説明ができないがために、せっかくの商品販売の機会を失ってしまうことも少なくない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３１８７４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
外国人に対する適切な商品説明が難しい主な理由は、外国語の種類が多く、すべての外国語で商品説明を行うのは不可能なためである。携帯型の自動翻訳機などのツールを利用することも考えられるが、現在の技術では、簡単な受け答え程度しかできないため、実用性にほど遠い。また、外国人スタッフを用意するのは、人件費が嵩む要因になり、ましてや複数の言語に対応させるために複数の外国人スタッフを用意するのは現実的ではない。
【０００６】
上述したように、昨今では、日本を訪問する外国人の多くは、スマートフォンを所持しており、また、スマートフォンの普及は今後ますます高まることが確実視されており、スマートフォンに対して有効な商品情報を提供できれば、店舗側の負担が軽減され、顧客にとっての利便性も向上して、販売数量が増加する可能性がある。
【０００７】
本発明は、上述した事情に鑑みてなされたものであり、その目的は、携帯端末のユーザが欲しい商品情報をサーバ装置から簡易かつ迅速に提供可能な商品情報提供システムおよび商品情報提供サーバ装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様では、 撮像装置を内蔵した携帯端末と、
前記携帯端末との間で無線通信を行うサーバ装置と、を備えた商品情報取得システムにおいて、
個々の商品ごとに、商品画像の特徴量と、該特徴量に対応する商品との対応関係を記憶する特徴量記憶部と、
個々の商品ごとに、商品の特徴を表す商品情報を記憶する商品情報記憶部と、を備え、
前記携帯端末は、
前記撮像装置で商品を撮像して得られた商品画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された特徴量を前記サーバ装置に無線通信する無線通信部と、を有し、
前記サーバ装置は、
前記携帯端末から送信された前記特徴量を前記特徴量記憶部に記憶された特徴量との間でマッチング処理を行って、前記携帯端末から送信された前記特徴量に対応する商品を特定する画像マッチング処理部と、
前記マッチング処理を高速化するためのマッチング高速化部と、
前記特定された商品についての商品情報の絞り込みを行うための自動フィルリング処理を行った上で、前記特定された商品の商品情報を前記商品情報記憶部から取得する商品情報取得部と、
前記商品情報取得部で取得した商品情報を前記携帯端末に送信する商品情報提供部と、を有することを特徴とする商品情報取得システムが提供される。
【０００９】
また、本発明の一態様では、撮像装置を内蔵した携帯端末と、
前記携帯端末との間で無線通信を行うサーバ装置と、を備えた商品情報取得システムにおいて、
個々の商品ごとに、商品画像の特徴量と、該特徴量に対応する商品との対応関係を記憶する特徴量記憶部と、
個々の商品ごとに、商品の特徴を表す商品情報を記憶する商品情報記憶部と、を備え、
前記携帯端末は、前記撮像装置で商品を撮像して得られた商品画像を前記サーバ装置に無線通信する無線通信部と、を有し、
前記サーバ装置は、
前記携帯端末から送信されてきた商品画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された前記特徴量を前記特徴量記憶部に記憶された特徴量との間でマッチング処理を行って、前記特徴量抽出部で抽出された前記特徴量に対応する商品を特定する画像マッチング処理部と、
前記マッチング処理を高速化するためのマッチング高速化部と、
前記特定された商品についての商品情報の絞り込みを行うための自動フィルリング処理を行った上で、前記特定された商品の商品情報を前記商品情報記憶部から取得する商品情報取得部と、を有することを特徴とする商品情報取得システムが提供される。
【発明の効果】
【００１０】
本発明によれば、携帯端末のユーザが欲しい商品情報を、サーバ装置から簡易かつ迅速に提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る商品情報提供システム１の概略構成を示すブロック図。
【図２】図１の商品情報提供システム１が行う商品情報提供処理の処理手順の一例を示すフローチャート。
【図３】動画像によるマッチング処理を説明する図。
【図４】自動フィルタリング処理の詳細な処理手順を示すフローチャート。
【図５】商品特徴量ＤＢ４、商品情報ＤＢ５および自動フィルタリングＤＢ６を一つにまとめた統合ＤＢの一例を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、詳細に説明する。
図１は本発明の一実施形態に係る商品情報提供システム１の概略構成を示すブロック図である。図１の商品情報提供システム１は、スマートフォンや携帯電話等からなる携帯端末２と、携帯端末２との間で無線通信を行うサーバ３と、サーバ３に接続される特徴量記憶部（以下、商品特徴量ＤＢ）４と、同じくサーバ３に接続される商品情報記憶部（以下、商品情報ＤＢ）５と、自動フィルタリング記憶部（以下、自動フィルタリングＤＢ）６と、を備えている。
【００１３】
携帯端末２は、動画を撮影可能なビデオカメラを内蔵しており、撮影した動画像をサーバ３に無線通信することができる。動画像を伝送する無線通信の回線は、例えば、携帯端末２の携帯電話サービス回線（例えば３Ｇなど）が利用されるが、それ以外に、携帯端末２に内蔵された無線ＬＡＮ回線や、赤外線通信回線、Bluetooth回線などを利用してもよい。このような種々の無線回線とインターネットを介して、携帯端末２とサーバ３とはデータの送受を行う。
【００１４】
商品特徴量ＤＢ４、商品情報ＤＢ５および自動フィルタリングＤＢ６は、個別に分かれている必要はなく、二つ以上のデータベース（ＤＢ）を任意に統合したデータベースを設けてもよい。
【００１５】
図１の商品情報提供システム１は、携帯端末２のユーザが、商品情報を知りたい商品を携帯端末２で撮影して、その撮影画像（商品画像とも呼ぶ）を携帯端末２からサーバ３に伝送し、サーバ３側で画像マッチング処理を行って商品を特定して、その商品の商品情報を取得して、携帯端末２に送り返す処理（以下、商品情報提供処理）を行う。以下、この処理について詳述する。
【００１６】
ここで、撮影画像は、動画像でもよいし、静止画像でもよい。静止画像のみを送信する場合は、携帯端末２にビデオカメラが内蔵されている必要はなく、デジタルカメラが内蔵されていればよい。ただし、後述するように、動画像の方が特徴量のマッチング精度が向上するため、以下では、主に動画像を送信する例について説明する。
【００１７】
図２は図１の商品情報提供システム１が行う商品情報提供処理の処理手順の一例を示すフローチャートである。まず、ユーザは、自己の携帯端末２を利用して、商品情報を知りたい商品をビデオカメラで撮影する（ステップＳ１）。このとき、携帯端末２が静止しているか否かを判定し、静止している場合のみ、商品の撮影を許可するようにしてもよい。携帯端末２の静止判定を設ける理由は、携帯端末２が動いている状態で商品の撮影を行うと、撮影画像のぶれにより撮影画像から商品を正しく特定できなくなるおそれがあるためである。
【００１８】
なお、携帯端末２が動いているか否かは、携帯端末２に内蔵されている加速度センサを用いて判断すればよい。携帯端末２が手ぶれ防止機能を備えている場合は、多少の動きであれば、上述した静止判定を省略してもよい。
【００１９】
図２のステップＳ１の処理が終了すると、続いて、撮影した画像の特徴量を抽出する特徴量抽出処理を行う（ステップＳ２）。この特徴量抽出処理には、公知の手法が用いられる。例えば、OpenCV（Open Source Computer Vision Library）による物体検出処理を利用することが考えられる。以下、OpenCVによる物体検出処理の概略を説明する。OpenCVによる物体検出処理は、学習フェーズと認識フェーズに分かれる。まず、学習フェーズを行って、複数の基準画像の特徴量を抽出する処理を繰り返して学習を行う。学習結果が蓄積されると、次に、認識フェーズを行う。認識フェーズでは、撮影画像の特徴量を、学習結果を参照しながら抽出する。
【００２０】
図２のステップＳ２の特徴量抽出処理は、かなりの処理能力を要するため、携帯端末２に高性能のＣＰＵが搭載されていなければ、携帯端末２で実施するのは困難になる。無理に携帯端末２で特徴量抽出処理を行うと、特徴量が抽出されるまでに時間がかかる上に、バッテリの消費も激しくなるため、実用性上の問題が生じる。
【００２１】
そこで、特徴量抽出処理は、サーバ３で行ってもよい。サーバ３で特徴量抽出処理を行う場合は、ユーザが商品情報を取得したい商品を撮影したら、その撮影画像をサーバ３に送ればよい。撮影画像は、カメラの画素数が高いほど、また動画像の場合にはフレーム数が多いほど大きくなるため、必要に応じて、通信コストの削減処理を行う。
【００２２】
通信コストの削減処理は、携帯端末２からサーバ３に撮影画像を送るか、特徴量を送るかによって変わる可能性がある。通信コストの削減処理は、大きく分けて、送信パラメータの数の削減と送信回数の削減とを含んでいる。送信パラメータとは、送信データに付属して送信される各種情報であり、送信データの種別や暗号化情報などである。送信回数とは、単位時間あたりにサーバ３にデータ（撮影画像または特徴量）を送信する回数である。
【００２３】
携帯端末２がサーバ３に撮影画像を送る場合は、カメラの撮影画素数に応じて圧縮率を調整したり、単位時間あたりの動画像のフレーム数を減らすなどして、撮影画像のデータ量を削減することが考えられる。
【００２４】
図２のステップＳ２の特徴量抽出処理が終了すると、撮影画像の特徴量と商品特徴量ＤＢ４に記憶された特徴量との間でマッチング処理を行う（ステップＳ３）。その結果、特徴量同士が一致した場合には、商品を特定する。
【００２５】
マッチング処理は、例えば特徴量に含まれる特徴点を画素ごとに比較することにより行われ、かなりの時間がかかるおそれがある。そこで、マッチング処理を行う際に、マッチング高速化処理を合わせて行うのが望ましい。
【００２６】
マッチング高速化処理は、大きく分けて、エリア制限と商品カテゴリ制限を含んでいる。エリア制限とは、携帯端末２による商品の撮影場所を、携帯端末２に内蔵したＧＰＳセンサや、携帯端末２と定期的に交信する無線基地局の位置によって特定し、撮影場所に関連した商品の特徴量だけを商品特徴量ＤＢ４から予め抽出してマッチング処理を行うものである。商品カテゴリ制限とは、予め、携帯電話のユーザに対して、特定の商品カテゴリを選択させるか、あるいは、ユーザに対する過去の商品提供の履歴を参照して、各ユーザの趣向を把握して、自動的に商品カテゴリを選択し、選択された商品カテゴリに関連のある商品の特徴量だけを商品特徴量ＤＢ４から抽出してマッチング処理を行うものである。
【００２７】
動画像に対して特徴量抽出処理を行う場合は、図３に示すように、動画像を構成する複数のフレーム画像のそれぞれごとに、商品特徴量ＤＢ４に記憶された特徴量との間でマッチング処理を行う。これにより、同じ商品について、連続的に複数のマッチング結果が得られる。したがって、これらのマッチング結果を合成することにより、マッチング精度を高めることができる。
【００２８】
図２のステップＳ３のマッチング処理を行って商品が特定されると、次に、自動フィルタリング処理を行って、商品情報の絞り込みを行った上で、商品情報を取得する（ステップＳ４）。取得した商品情報は、無線回線を介して、サーバ３から携帯端末２に送り返される（ステップＳ５）。
【００２９】
図４は自動フィルタリング処理の詳細な処理手順を示すフローチャートである。図示のように、自動フィルタリング処理は、大きく分けて、携帯端末２のＧＰＳセンサ利用処理（ステップＳ１１）と、携帯端末２のユーザ情報利用処理（ステップＳ１２）と、携帯端末２のユーザの個人行動処理（ステップＳ１３）とを有する。これらの処理は並行して行ってもよいし、順次行ってもよいし、これら３つの処理のうち任意の一つか二つのみを行ってもよい。
【００３０】
携帯端末２のＧＰＳセンサ利用処理は、ＧＰＳセンサによるエリアフィルタリング処理（ステップＳ１４）を含んでいる。携帯端末２のユーザ情報利用処理は、時間情報フィルタリング処理（ステップＳ１５）と、言語情報フィルタリング処理（ステップＳ１６）と、個人趣向フィルタリング処理（ステップＳ１７）とを含んでいる。個人行動処理は、個人行動フィルタリング処理（ステップＳ１８）を含んでいる。以下、これらの各フィルタリング処理を説明する。
【００３１】
ＧＰＳセンサによるエリアフィルタリング処理は、携帯端末２が内蔵するＧＰＳセンサにより、携帯端末２の位置を特定し、その位置情報によって商品情報ＤＢ５のフィルタリングを行うものである。例えば、携帯端末２の位置が銀座の特定の百貨店であれば、その百貨店で実施しているセール情報のみを商品情報ＤＢ５から抽出して商品情報として提供する。
【００３２】
時間情報フィルタリング処理は、携帯端末２で商品を撮影した時間を検出して、その時間に関連のある商品情報を商品情報ＤＢ５から抽出するものである。例えば、携帯端末２が商品を撮影した時刻に実施されているタイムセールの情報を商品情報として提供する。
【００３３】
言語情報フィルタリング処理は、携帯端末２で使用されている言語情報を携帯端末２からサーバ３に送信し、その言語情報によって、商品情報を提供すべき言語を判断して、商品情報の言語を切り替える。例えば、携帯端末２の画面が中国語で表示されている場合には、そのユーザは中国系の人間であると推定されるため、中国語の商品情報を商品情報ＤＢ５から抽出して、中国語で商品情報を提供する。
【００３４】
個人趣向フィルタリング処理は、携帯端末２のユーザが、特定のアプリケーションを利用して、端末内に自己の趣向や属性に関する情報を登録しておき、この情報をサーバ３に送信して、サーバ３側で個人趣向を判別して、個人趣向に関連する商品情報を商品情報ＤＢ５から抽出するものである。ここで、属性とは、携帯端末２のユーザの性別や年齢、職業、収入、家族構成、住所などである。例えば、上述したアプリケーションを利用して、家電製品に興味があることがわかった場合は、家電製品に関する商品情報を提供し、２０代の女性であることを登録した場合は、ファッションや化粧品情報などを中心に提供する。
【００３５】
個人行動フィルタリング処理は、携帯端末２のユーザが特定のアプリケーションを利用して携帯端末２内に自己の行動情報を格納する。あるいは、ＧＰＳセンサを利用して、携帯端末２のユーザの移動履歴を自動で取得して行動情報として格納してもよい。この行動情報によって、携帯端末２のユーザの行動範囲が関東近辺であれば、関東地方の商品情報を提供する。また、携帯端末２のユーザの行動範囲が秋葉原駅周辺であれば、電気製品に関する商品情報を提供する。
【００３６】
自動フィルタリングＤＢ６には、上述した自動フィルタリング処理で行われる各ステップの基準値が格納されている。したがって、図２のステップＳ４では、各ステップで得た携帯端末の値を自動フィルタリングＤＢ６と照合して、該当する商品情報を取得する。
【００３７】
上述したように、商品特徴量ＤＢ４、商品情報ＤＢ５および自動フィルタリングＤＢ６は個別に設けてもよいし、一つにまとめてもよい。図５は商品特徴量ＤＢ４、商品情報ＤＢ５および自動フィルタリングＤＢ６を一つにまとめた統合ＤＢの一例を示す図である。図５の統合ＤＢは、商品特徴量ＤＢ４に格納されるべき特徴量パターンと、自動フィルタリングＤＢ６に格納されるべき商品名型番、大カテゴリ、小カテゴリ、場所（緯度経度）、範囲、時間、言語、個人趣向、および個人行動と、商品情報ＤＢ５に格納されるべき商品情報（提示情報）とを含んでいる。
【００３８】
自動フィルタリングＤＢ６に格納されるべき各情報は、自動フィルタリング属性とも呼ばれ、上述した図４の自動フィルリング処理により、任意に設定変更可能である。
【００３９】
図２のフローチャートにおいて、ステップＳ２は特徴量抽出部に対応し、ステップＳ３は画像マッチング処理部とマッチング高速化部に対応し、ステップＳ４は商品情報取得部に対応し、ステップＳ５は商品情報提供部に、それぞれ対応する。
【００４０】
このように、本実施形態では、携帯端末２で撮影した商品画像またはその特徴量をサーバ３に送信して、サーバ３側で商品を特定して、その商品情報を携帯端末２に送り返すため、携帯端末２のユーザは、撮影した商品の商品情報を、携帯端末２を介して手軽に入手でき、利便性が向上する。また、店舗側は、商品ごとに、異なる複数の言語で商品説明を行わなくて済み、商品管理が容易になり、外国語を話せる販売スタッフの数も減らすことができて、人的コストも含めた販売費の削減が図れる。
【００４１】
特に、本実施形態では、携帯端末２からサーバ３に商品画像または特徴量を送信する際、送信パラメータや送信回数を削減することにより通信コストの削減を図るため、ユーザにとってみれば、費用をかけることなく、任意の時間に迅速に商品情報の提供を受けることができる。
【００４２】
また、本実施形態では、携帯端末２から送信された商品画像の特徴量と商品特徴量ＤＢ４内の特徴量との間でマッチング処理を行う際に、マッチング高速化処理を行うため、携帯端末２のユーザから要求のあった商品を迅速に特定できる。
【００４３】
さらに、本実施形態では、商品情報を提供する際に自動フィルタリング処理を行って、ユーザの位置、ユーザから要求のあった時刻、ユーザの使用言語、ユーザの趣向や行動履歴等を加味して、商品情報の絞り込みを行うため、携帯端末２のユーザが真に必要とする商品情報のみを提供でき、ユーザにとって利用価値の高い情報提供が可能となる。
【００４４】
また、本実施形態では、撮影画像から特徴量を算出する際に、商品の動画像を用いるため、特徴量のマッチング精度を向上できる。
【００４５】
上述した実施形態で説明した商品情報提供システム１および商品情報提供サーバ３装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、商品情報提供システム１および商品情報提供サーバ３装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００４６】
また、商品情報提供システム１および商品情報提供サーバ３装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００４７】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【００４８】
１ 商品情報提供システム
２ 携帯端末
３ サーバ
４ 商品特徴量ＤＢ
５ 商品情報ＤＢ
６ 自動フィルタリングＤＢ
【特許請求の範囲】
【請求項１】
撮像装置を内蔵した携帯端末と、
前記携帯端末との間で無線通信を行うサーバ装置と、を備えた商品情報取得システムにおいて、
個々の商品ごとに、商品画像の特徴量と、該特徴量に対応する商品との対応関係を記憶する特徴量記憶部と、
個々の商品ごとに、商品の特徴を表す商品情報を記憶する商品情報記憶部と、を備え、
前記携帯端末は、
前記撮像装置で商品を撮像して得られた商品画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された特徴量を前記サーバ装置に無線通信する無線通信部と、を有し、
前記サーバ装置は、
前記携帯端末から送信された前記特徴量を前記特徴量記憶部に記憶された特徴量との間でマッチング処理を行って、前記携帯端末から送信された前記特徴量に対応する商品を特定する画像マッチング処理部と、
前記マッチング処理を高速化するためのマッチング高速化部と、
前記特定された商品についての商品情報の絞り込みを行うための自動フィルリング処理を行った上で、前記特定された商品の商品情報を前記商品情報記憶部から取得する商品情報取得部と、
前記商品情報取得部で取得した商品情報を前記携帯端末に送信する商品情報提供部と、を有することを特徴とする商品情報取得システム。
【請求項２】
撮像装置を内蔵した携帯端末と、
前記携帯端末との間で無線通信を行うサーバ装置と、を備えた商品情報取得システムにおいて、
個々の商品ごとに、商品画像の特徴量と、該特徴量に対応する商品との対応関係を記憶する特徴量記憶部と、
個々の商品ごとに、商品の特徴を表す商品情報を記憶する商品情報記憶部と、を備え、
前記携帯端末は、前記撮像装置で商品を撮像して得られた商品画像を前記サーバ装置に無線通信する無線通信部と、を有し、
前記サーバ装置は、
前記携帯端末から送信されてきた商品画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された前記特徴量を前記特徴量記憶部に記憶された特徴量との間でマッチング処理を行って、前記特徴量抽出部で抽出された前記特徴量に対応する商品を特定する画像マッチング処理部と、
前記マッチング処理を高速化するためのマッチング高速化部と、
前記特定された商品についての商品情報の絞り込みを行うための自動フィルリング処理を行った上で、前記特定された商品の商品情報を前記商品情報記憶部から取得する商品情報取得部と、を有することを特徴とする商品情報取得システム。
【請求項３】
前記撮像装置は、商品の動画像を取得し、
前記画像マッチング処理部は、動画像を構成する各フレーム画像ごとに、前記画像マッチング処理を行って、これらの前記画像マッチング処理の結果を合成して、商品を特定することを特徴とする請求項１または２に記載の商品情報取得システム。
【請求項４】
前記自動フィルタリング処理は、前記携帯端末の位置に関するフィルタリング処理、前記携帯端末が商品の撮影を行った時間に関するフィルタリング処理、前記携帯端末で使われている言語に関するフィルタリング処理、前記携帯端末のユーザの個人趣向に関するフィルタリング処理、前記携帯端末のユーザの行動履歴に関するフィルタリング処理の少なくとも一つを含むことを特徴とする請求項１乃至３のいずれかに記載の商品情報取得システム。
【請求項５】
前記無線通信部は、前記携帯端末から前記サーバ装置に商品画像または特徴量に関するデータを送信する際に、送信データのパラメータの数を削減する処理と、単位時間あたりのデータの送信回数を削減する処理と、の少なくとも一つを実行することを特徴とする請求項１乃至４のいずれかに記載の商品情報取得システム。
【請求項６】
前記携帯端末は、前記携帯端末が停止中に商品の撮像を許可し、前記携帯端末が移動中に商品の撮像を禁止する撮影許否判断部を有することを特徴とする請求項１乃至５のいずれかに記載の商品情報取得システム。
【請求項７】
携帯端末との間で無線通信を行う商品情報提供サーバ装置において、
前記携帯端末から送信された前記携帯端末で撮影された商品画像の特徴量を、商品画像の特徴量と該特徴量に対応する商品との対応関係を商品ごとに記憶する特徴量記憶部に記憶された特徴量との間でマッチング処理を行って、前記携帯端末から送信された前記特徴量に対応する商品を特定する画像マッチング処理部と、
前記マッチング処理を高速化するためのマッチング高速化部と、
前記特定された商品についての商品情報の絞り込みを行うための自動フィルリング処理を行った上で、前記特定された商品の商品情報を、個々の商品ごとに商品情報を記憶する商品情報記憶部から取得する商品情報取得部と、
前記商品情報取得部で取得した商品情報を前記携帯端末に送信する商品情報提供部と、を備えることを特徴とする商品情報提供サーバ装置。
【請求項８】
携帯端末との間で無線通信を行う商品情報提供サーバ装置において、
前記携帯端末から送信された前記携帯端末で撮影された商品画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された特徴量を、商品画像の特徴量と該特徴量に対応する商品との対応関係を商品ごとに記憶する特徴量記憶部に記憶された特徴量との間でマッチング処理を行って、前記携帯端末から送信された前記特徴量に対応する商品を特定する画像マッチング処理部と、
前記マッチング処理を高速化するためのマッチング高速化部と、
前記特定された商品についての商品情報の絞り込みを行うための自動フィルリング処理を行った上で、前記特定された商品の商品情報を、個々の商品ごとに商品情報を記憶する商品情報記憶部から取得する商品情報取得部と、
前記商品情報取得部で取得した商品情報を前記携帯端末に送信する商品情報提供部と、を備えることを特徴とする商品情報提供サーバ装置。
【請求項９】
前記携帯端末が撮影する商品画像は、動画像であり、
前記画像マッチング処理部は、動画像を構成する各フレーム画像ごとに、前記画像マッチング処理を行って、これらの前記画像マッチング処理の結果を合成して、商品を特定することを特徴とする請求項７または８に記載の商品情報提供サーバ装置。
【請求項１０】
前記自動フィルタリング処理は、前記携帯端末の位置に関するフィルタリング処理、前記携帯端末が商品の撮影を行った時間に関するフィルタリング処理、前記携帯端末で使われている言語に関するフィルタリング処理、前記携帯端末のユーザの個人趣向に関するフィルタリング処理、前記携帯端末のユーザの行動履歴に関するフィルタリング処理の少なくとも一つを含むことを特徴とする請求項７乃至９のいずれかに記載の商品情報提供サーバ装置。
【請求項１】
撮像装置を内蔵した携帯端末と、
前記携帯端末との間で無線通信を行うサーバ装置と、を備えた商品情報取得システムにおいて、
個々の商品ごとに、商品画像の特徴量と、該特徴量に対応する商品との対応関係を記憶する特徴量記憶部と、
個々の商品ごとに、商品の特徴を表す商品情報を記憶する商品情報記憶部と、を備え、
前記携帯端末は、
前記撮像装置で商品を撮像して得られた商品画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された特徴量を前記サーバ装置に無線通信する無線通信部と、を有し、
前記サーバ装置は、
前記携帯端末から送信された前記特徴量を前記特徴量記憶部に記憶された特徴量との間でマッチング処理を行って、前記携帯端末から送信された前記特徴量に対応する商品を特定する画像マッチング処理部と、
前記マッチング処理を高速化するためのマッチング高速化部と、
前記特定された商品についての商品情報の絞り込みを行うための自動フィルリング処理を行った上で、前記特定された商品の商品情報を前記商品情報記憶部から取得する商品情報取得部と、
前記商品情報取得部で取得した商品情報を前記携帯端末に送信する商品情報提供部と、を有することを特徴とする商品情報取得システム。
【請求項２】
撮像装置を内蔵した携帯端末と、
前記携帯端末との間で無線通信を行うサーバ装置と、を備えた商品情報取得システムにおいて、
個々の商品ごとに、商品画像の特徴量と、該特徴量に対応する商品との対応関係を記憶する特徴量記憶部と、
個々の商品ごとに、商品の特徴を表す商品情報を記憶する商品情報記憶部と、を備え、
前記携帯端末は、前記撮像装置で商品を撮像して得られた商品画像を前記サーバ装置に無線通信する無線通信部と、を有し、
前記サーバ装置は、
前記携帯端末から送信されてきた商品画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された前記特徴量を前記特徴量記憶部に記憶された特徴量との間でマッチング処理を行って、前記特徴量抽出部で抽出された前記特徴量に対応する商品を特定する画像マッチング処理部と、
前記マッチング処理を高速化するためのマッチング高速化部と、
前記特定された商品についての商品情報の絞り込みを行うための自動フィルリング処理を行った上で、前記特定された商品の商品情報を前記商品情報記憶部から取得する商品情報取得部と、を有することを特徴とする商品情報取得システム。
【請求項３】
前記撮像装置は、商品の動画像を取得し、
前記画像マッチング処理部は、動画像を構成する各フレーム画像ごとに、前記画像マッチング処理を行って、これらの前記画像マッチング処理の結果を合成して、商品を特定することを特徴とする請求項１または２に記載の商品情報取得システム。
【請求項４】
前記自動フィルタリング処理は、前記携帯端末の位置に関するフィルタリング処理、前記携帯端末が商品の撮影を行った時間に関するフィルタリング処理、前記携帯端末で使われている言語に関するフィルタリング処理、前記携帯端末のユーザの個人趣向に関するフィルタリング処理、前記携帯端末のユーザの行動履歴に関するフィルタリング処理の少なくとも一つを含むことを特徴とする請求項１乃至３のいずれかに記載の商品情報取得システム。
【請求項５】
前記無線通信部は、前記携帯端末から前記サーバ装置に商品画像または特徴量に関するデータを送信する際に、送信データのパラメータの数を削減する処理と、単位時間あたりのデータの送信回数を削減する処理と、の少なくとも一つを実行することを特徴とする請求項１乃至４のいずれかに記載の商品情報取得システム。
【請求項６】
前記携帯端末は、前記携帯端末が停止中に商品の撮像を許可し、前記携帯端末が移動中に商品の撮像を禁止する撮影許否判断部を有することを特徴とする請求項１乃至５のいずれかに記載の商品情報取得システム。
【請求項７】
携帯端末との間で無線通信を行う商品情報提供サーバ装置において、
前記携帯端末から送信された前記携帯端末で撮影された商品画像の特徴量を、商品画像の特徴量と該特徴量に対応する商品との対応関係を商品ごとに記憶する特徴量記憶部に記憶された特徴量との間でマッチング処理を行って、前記携帯端末から送信された前記特徴量に対応する商品を特定する画像マッチング処理部と、
前記マッチング処理を高速化するためのマッチング高速化部と、
前記特定された商品についての商品情報の絞り込みを行うための自動フィルリング処理を行った上で、前記特定された商品の商品情報を、個々の商品ごとに商品情報を記憶する商品情報記憶部から取得する商品情報取得部と、
前記商品情報取得部で取得した商品情報を前記携帯端末に送信する商品情報提供部と、を備えることを特徴とする商品情報提供サーバ装置。
【請求項８】
携帯端末との間で無線通信を行う商品情報提供サーバ装置において、
前記携帯端末から送信された前記携帯端末で撮影された商品画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された特徴量を、商品画像の特徴量と該特徴量に対応する商品との対応関係を商品ごとに記憶する特徴量記憶部に記憶された特徴量との間でマッチング処理を行って、前記携帯端末から送信された前記特徴量に対応する商品を特定する画像マッチング処理部と、
前記マッチング処理を高速化するためのマッチング高速化部と、
前記特定された商品についての商品情報の絞り込みを行うための自動フィルリング処理を行った上で、前記特定された商品の商品情報を、個々の商品ごとに商品情報を記憶する商品情報記憶部から取得する商品情報取得部と、
前記商品情報取得部で取得した商品情報を前記携帯端末に送信する商品情報提供部と、を備えることを特徴とする商品情報提供サーバ装置。
【請求項９】
前記携帯端末が撮影する商品画像は、動画像であり、
前記画像マッチング処理部は、動画像を構成する各フレーム画像ごとに、前記画像マッチング処理を行って、これらの前記画像マッチング処理の結果を合成して、商品を特定することを特徴とする請求項７または８に記載の商品情報提供サーバ装置。
【請求項１０】
前記自動フィルタリング処理は、前記携帯端末の位置に関するフィルタリング処理、前記携帯端末が商品の撮影を行った時間に関するフィルタリング処理、前記携帯端末で使われている言語に関するフィルタリング処理、前記携帯端末のユーザの個人趣向に関するフィルタリング処理、前記携帯端末のユーザの行動履歴に関するフィルタリング処理の少なくとも一つを含むことを特徴とする請求項７乃至９のいずれかに記載の商品情報提供サーバ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−３７５３３（Ｐ２０１３−３７５３３Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７３０８７（Ｐ２０１１−１７３０８７）
【出願日】平成２３年８月８日（２０１１．８．８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月８日（２０１１．８．８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]