説明

ボトリング製品検索装置

【課題】特定の規約に基づくIDコードの設定等を行うことなく製品検索ができるボトリング製品検索装置を提供する。
【解決手段】ボトリング製品のラベル貼付部をカメラにより撮影したカメラ撮影画像から対象ボトリング製品を検索するボトリング製品検索装置であって、ラベルのボトル貼付面への中心投影画像に外接する矩形枠を所定のアスペクト比に座標変換して正規化したインデックス画像をボトリング製品の属性に関連付けて格納するデータ格納部と、前記カメラ撮影画像から抽出したラベル画像に外接する矩形枠を座標変換して前記インデックス画像のアスペクト比に一致させる画像変換部6と、画像変換部6での出力画像をインデックス画像中から検索して撮影したボトリング製品を特定する検索部7と、を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ボトリング製品検索装置に関するものである。
【背景技術】
【0002】
ワイン等のボトリング製品を検索する検索システムとしては、特許文献1に記載のものが知られている。この従来例において、検索システムは、ワインの属性をIDに関連付けて格納するデータベースと、各ワインのボトル等に貼付されたラベルに記入されたバーコード等のIDコードと、ユーザが使用するIDコード解析手段とを有して構成され、ユーザが読み取ったIDコードを検索キーとしてデータベースをアクセスすることにより当該ワインに関する情報を入手することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003-331186号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上述した従来において、システムを構築するためには、各ワインのラベルにバーコードを記入する必要があり、ワインのような出荷国が多岐にわたる製品を管理する場合、統一的な基準によりバーコードを付加することが困難な上に、IDコードの重複防止も困難であり、実効的なシステムを構築することができないという問題がある。
特にワインを対象とする場合には、古いワインにプレミアムが付く場合が多いが、これらに対してバーコード等を付与することは現実的ではない。
【0005】
本発明は、以上の欠点を解消すべくなされたものであって、特定の規約に基づくIDコードの設定等を行うことなく製品検索ができるボトリング製品検索装置の提供を目的とする。また、本発明の他の目的は、ボトリング製品検索装置を使用したワインの検索システムの提供にある。
【課題を解決するための手段】
【0006】
本発明によれば上記目的は、
ボトリング製品のラベル貼付部をカメラ11により撮影したカメラ撮影画像1から対象ボトリング製品を検索するボトリング製品検索装置であって、
ラベル2のボトル貼付面への中心投影画像に外接する矩形枠を所定のアスペクト比に座標変換して正規化したインデックス画像3をボトリング製品の属性に関連付けて格納するデータ格納部4と、
前記カメラ撮影画像1から抽出したラベル画像5に外接する矩形枠を座標変換して前記インデックス画像3のアスペクト比に一致させる画像変換部6と、
画像変換部6での出力画像をインデックス画像3中から検索して撮影したボトリング製品を特定する検索部7と、
を有するボトリング製品検索装置を提供することにより達成される。
【0007】
ボトリング製品検索装置は、ボトル12に貼付された状態のラベル2をカメラ11により撮影したカメラ撮影画像1に基づいてデータ格納部4を検索するために使用され、データ格納部4には、ラベル2が貼付されたボトリング製品の属性、例えば、ボトリング製品がワインの場合、醸造年、醸造地、銘柄、味の特徴等がインデックス画像3に関連付けて格納される。
【0008】
インデックス画像3には、ラベル2を実際に販売されるボトリング製品のボトル貼付面に貼り付けた状態の中心投影画像、すなわち、カメラ11による撮影画像を加工したものが使用される。インデックス画像3を生成するための中心投影画像は、所定の焦点距離を有するカメラ11によりカメラ光軸がボトル12の中心線に直交し、かつ、画像中心に一致する位置から撮影した画像に対応するように生成される。
【0009】
このように生成されたラベル2の中心投影画像は、外接する矩形枠が設定された後、矩形枠ごと所定のアスペクト比(縦横比)に変換(正規化)され、インデックス画像3として使用される。中心投影画像の正規化には、平面図形に対するアフィン変換等が使用できる。
【0010】
画像変換部6は、カメラ撮影画像1からラベル部分を抽出したラベル画像5に外接する矩形枠を設定した後、ラベル画像5のアスペクト比をインデックス画像3生成時に使用した変換方法を使用してインデックス画像3のアスペクト比に変換し、その後、検索部7においてインデックス画像3と比較され、双方の一致に基づいてカメラ撮影画像1が示すボトリング製品が特定される。
【0011】
したがって本発明において、ボトリング製品の検索は、カメラ11により撮影した貼付状態のラベル画像5をもとにデータ格納部4を検索して行われるために、ラベル2にバーコード、あるいは二次元コード等の特別なマークを表示することなく、かつ、ラベル2に記載されている文字を読むことができなくてもボトリング製品を特定することができる。さらに、インデックス画像3は、所定のアスペクト比に変換されて格納されるために、異なったアスペクト比を持つラベル2、あるいは矩形以外の形状をもったラベル2であっても、確実に検索することができる。
【0012】
また、以上においては、ラベル2の貼付部が円柱、円錐、角錐等、種々の形状を有するボトル12を検索対象とすることができるボトリング製品検索装置を示したが、ラベル貼付面が円柱面により形成されるボトリング製品を検索する場合には、
ボトル12のラベル貼付面が円柱面により形成されるボトリング製品のラベル貼付部を撮影したカメラ撮影画像1から対象ボトリング製品を検索するボトリング製品検索装置であって、
ラベル2のラベル貼付面への正射投影画像に外接する矩形枠を所定のアスペクト比に変換して正規化したインデックス画像3をボトリング製品の属性に関連付けて格納するデータ格納部4と、
前記カメラ撮影画像1から抽出したラベル画像5を矩形画像に座標変換して正規化する画像変換部6と、
画像変換部6での出力画像をインデックス画像3中から検索して撮影したボトリング製品を特定する検索部7と、
を有するボトリング製品検索装置を構成することができる。
【0013】
貼付面が円柱面であることを前提とした場合、ラベル2のボトル12への正射投影画像、すなわち、例えば、ボトル12の径に一致する径を有する円柱モデルへの正射投影図を定義することが可能であり、データ格納部4は、この正射投影図を正規化したものをインデックス画像3として格納する。
【0014】
中心投影画像であるカメラ撮影画像1は、円柱の長手方向に沿う長さが周方向の位置により伸縮して変形するために、ラベル2形状は維持されない。例えば、図4(a)に示すように、矩形のラベル2の撮影画像は、図6の第4象限に示すように、ボトル12長手方向への直交辺(以下、「上下辺」という。)が曲線となった樽形形状になり、インデックス画像3においては、図4(b)に示すように、矩形形状が維持されるのに対してカメラ撮影画像1から抽出したラベル画像5においては矩形形状は維持されない。
【0015】
画像変換部6は、ラベル画像5の輪郭を適宜の画像変換手法を使用して一旦上記ラベル2形状を矩形画像に変換することにより、円柱面によるラベル画像5のひずみを可及的に吸収するもので、画像変換部6における矩形画像への変換は、カメラ撮影画像1に外接する矩形領域、または、カメラ撮影画像1に内接する多角形領域をアフィン変換して行うことができる。
【0016】
上記検索部7での検索は周知の画像検索手法を適用することができるが、
前記インデックス画像3は、画像中心から放射状に延びる複数本の検索線8に沿って複数の検索対象区画9が分割されるとともに、
各検索対象区画9には、他の区画との濃度比較結果を濃淡2値で示した濃淡2値情報10が付与され、
前記検索部7は、検索対象区画9における濃淡2値情報10に基づいてデータ格納部4を検索するボトリング製品検索装置を構成した場合には、検索の精度、効率を向上させることができる。
【0017】
インデックス画像3は複数の領域に区画され、インデックス画像3の中心から放射方向に延びる複数本の検索線8上に配置される区画が検索対象区画9として指定される。各検索対象区画9には他の区画との濃度比較を2値で示した濃淡2値情報10が設定され、データ格納部4には、検索線8と、検索線8上の濃淡2値情報10の配列(濃淡分布テーブル)が検索インデックスとして登録される。
【0018】
濃淡判定は、例えば、インデックス画像3全体の平均濃度、あるいは適宜手段により抽出した背景部の平均濃度と、検索対象区画9の平均濃度、あるいは最高濃度値との差が所定の閾値を越えた場合に”1”を付与することにより行うことができる。
【0019】
この検索手法を使用する場合、画像変換部6においても、カメラ撮影画像1を正規化した後、インデックス画像3への処理と同様の手法で正規化画像への検索線8の設定、検索線8に沿う検索対象区画9の選定、検索対象区画9への濃淡2値情報10の設定が行われ、検索部7は、濃淡2値情報10の一致をもとにデータ格納部4を検索する。
【0020】
したがって、この発明において、検索が検索対象区画9に設定された代表値(濃淡2値情報10)の比較により行われるために、検索効率が向上する。
【0021】
また、検索線8は、正規化画像中心から放射状に配置されているために、検索線8密度は中心に向かうに従って高くなり、結果、中心部での重み付けが行われた状態となる。一方、カメラ撮影画像1は、中心投影画像であり、中心部における歪みが少なく、周囲に行くに従って歪みが多くなるという特性を有しているために、中心部に重み付けをした上記検索方法を採用することにより、検索精度を向上させることが可能になる。
【0022】
この場合、前記検索対象区画9内の画素が画像中心において少なく、周辺において多く形成することにより、さらに中心部に対する重み付けを増加させることができる。
【0023】
また、ボトリング製品検索装置には、画像検査部13を加えることができる。上述したように、カメラ撮影画像1は、ボトル12の長手方向に交差する直線がラベル貼付面の凹凸による高さ変化の影響で曲線となったひずんだ画像となり、例えば、ラベル2が矩形で、かつ、光軸がボトル12の中心軸線に直交してラベル2の中心を通る姿勢のカメラ11による撮影画像は、図6に示すように、上下辺が反対方向に等量膨らんだ樽形の画像となる。
【0024】
画像検査部13は、上述した撮影条件による画像(図6に示す画像)に対する撮影位置のずれによるひずみを画像中心とラベル画像5の中心とのずれ量により評価し、ずれ量が所定の閾値より大きな場合には、正確な検出ができないものとして再撮影を促すメッセージを検索依頼者(携帯電話)に出力する。
【0025】
画像検査部13における判定閾値は、上述した検索部7におけるノイズ耐性を考慮して適宜決定される。
【0026】
上記ボトリング製品検索装置のデータ格納部4にワインの属性に関するデータを格納し、カメラ付き携帯電話14によるアクセスを可能にすることによってワインの検索システムを構成することができる。本システムによれば、携帯電話14に付属のカメラ11によりワインのラベル2部分を撮影してインターネット等の通信網を経由してボトリング製品検索装置に出力するだけで、簡単に手元にあるワインの銘柄、生産地等の属性を知ることができる。
【0027】
ワインは、生産地が多岐にわたり、ラベル2に記載される言語も多岐にわたる上に、テキスト情報のデザイン化も頻繁に行われるために、抽出したテキストをもとに検索する場合に比して融通性が向上する。
【発明の効果】
【0028】
本発明によれば、特定の規約に基づくIDコードの設定等を行うことなく製品検索を行うことができる。
【図面の簡単な説明】
【0029】
【図1】ワイン検索システムのシステム構成図である。
【図2】本発明を示す図で、(a)はボトリング製品検索装置のブロック図、(b)は格納データの作成手順を示すフローチャートである。
【図3】ボトリング製品検索装置の動作を示すフローチャートである。
【図4】格納データを示す説明図で、(a)はボトルとラベルを示す図、(b)は正規化ラベルを示す図、(c)は検索対象区画の設定を示す説明図である。
【図5】検索キーの設定を示す説明図で、(a)は検索対象区画に濃淡2値情報を設定した図、(b)は濃淡分布テーブルを示す図、(c)は検索対象区画の設定方法の変形例を示す図である。
【図6】カメラ撮影画像を示す図である。
【図7】画像検査部の動作を示す図である。
【図8】画像変換部の動作を示す図で、(a)はカメラ撮影画像を示す図、(b)はラベル貼付部を切り出した状態を示す図、(c)は正規化した状態を示す図、(d)は検索線の設定を示す図である。
【図9】内接多角形を使用したアフィン変換による画像変換を示す説明図である。
【図10】インデックス画像の変形例を示す図で、(a)はラベル貼付面が円柱面からなるボトルにラベルを貼付する状態を示す説明図、(b)はボトルへの貼付画像を正規化する手順を示す図、(c)は検索対象区画に濃淡2値情報を設定した図である。
【発明を実施するための形態】
【0030】
図1にワイン検索システムを示す。ワイン検索システムは、ボトリング製品検索装置Aと、カメラ付き携帯電話14とを通信網(インターネット15)で接続して構成される。カメラ付き携帯電話14の内蔵カメラ11によりワインのラベル貼付部分を撮影したカメラ撮影画像1をインターネット15を経由してボトリング製品検索装置Aに送信すると、該ボトリング製品検索装置Aはカメラ撮影画像1に必要な画像変換処理を加えた後、後述するデータ格納部4を検索し、検索結果を携帯電話14に返す。
なお、携帯電話14を通信機能付きデジタルカメラ等で代用することも可能である。
【0031】
図2(a)にボトリング製品検索装置Aのブロック図を示す。ボトリング製品検索装置Aは、携帯電話14との送受信を行う送受信部16、受信したカメラ撮影画像1を検査する画像検査部13、画像検査部13において適正とされたカメラ撮影画像1を変換する画像変換部6、ワインの属性データを格納したデータ格納部4、画像変換部6による変換画像をデータ格納部4内で検索する検索部7、およびこれらの動作を制御する制御部17とを有する。データ格納部4は、インデックス画像3、濃淡分布テーブル4a、製品属性4bを格納し、製品属性4bには、ワインの銘柄、生産地、味の特徴、あるいは豊作年等の当該ワインに関する情報が格納される。
【0032】
上記データ格納部4における格納データの生成手順を図2(b)により説明する。この実施例において検索対象製品は、ラベル貼付部が円柱面により形成されるボトル12に矩形形状のラベル2を貼付したものであり(図4(a)参照)、まず、デジタルカメラ等によりラベル2の画像を取得し(S1)、これを正規化する(S2)。正規化に際し、まず、図4(b)において左側に示されるスキャン画像のボトル12への正射投影画像を生成する。正射投影画像の生成は、ラベル2が貼付されるボトル12の径と同一の径を有する円柱モデルにラベル2を正射投影して生成され、図4(b)において中央に示される正射投影画像は、さらに、アフィン変換されて所定(この実施の形態においては1:1)の縦横比(アスペクト比)を有する画像に変換されて正規化され、インデックス画像3が生成される。
【0033】
また、ラベル2が矩形でない台形、扇形等の場合には、円柱モデルへの投影画像を取得した後、投影画像に外接する矩形枠を設定し、該矩形枠を原画像とするアフィン変換を行ってインデックス画像3とする。
【0034】
以上のインデックス画像3の生成工程に続き、検索対象区画9の設定工程が実行される(S3)。図4(c)に示すように、検索対象区画9の設定に際し、まず、インデックス画像3全体を等間隔に区画するとともに、インデックス画像3の中心から放射状に複数の検索線8を設定する。検索対象区画9は、上記検索線8上に配置される分割区画として定義され、この実施の形態においては、図4(c)に示すように、8本の検索線8により指定される。図4(c)において、検索対象区画9をハッチングを施して示す。
【0035】
この後、検索対象区画9に対して濃淡2値情報10を演算する(S4)。濃淡2値情報10は、適宜手段により抽出した背景領域での平均濃度と当該検索対象区画9の平均濃度を比較し、差が所定の閾値より大きな場合には”1”を、その他の場合には”0”を割り当てることにより行われる。図5(a)に各検索対象区画9に濃淡2値情報10を設定した場合を示し、これら濃淡2値情報10は、図5(b)に示すように、各検索線8に、当該検索線8上に配置された検索対象区画9の濃淡2値情報10を対応させた濃淡分布テーブル4aとしてデータ格納部4の検索キーとして格納される(S5)。
【0036】
なお、以上においては、濃淡2値情報10の生成は、背景に対する濃淡を基準に判定される場合を説明したが、これ以外に、例えば、画像全体の平均濃度と検索対象区画9の平均濃度、あるいは最高濃度の差に基づいて判定する等、判定基準は適宜設定することができる。
【0037】
また、図5(a)においては、各検索対象区画9は同一面積に設定されているが、図5(c)に示すように、周辺に行くに従って検索対象区画9の面積を大きくすることができる。
【0038】
以上のデータ格納部4への問い合わせ手順を図3に示す。まず、送受信部16が利用者から送信されるカメラ撮影画像1を受信すると(S10)、画像検査部13は、撮影中心位置(画像中心)とラベル画像5中心とを演算し、その差分を求める(S11)。画像中心(撮影中心)とラベル画像5中心は、図7(a)に示すように、撮影中心は画像の対角線の交点として、ラベル画像5中心はカメラ撮影画像1から抽出するラベル画像5の四隅部から対向する隅部への線分の交点、あるいは図示しないが、ラベル画像5に外接する矩形の対角線の交点として求められ、差分(Δ)は図7(b)に示すように、双方の交点間の距離により与えられる。
【0039】
このようにして求められた差分(Δ)は予め設定された閾値と比較され(S12)、閾値を超える場合には、送受信部16に再撮影メッセージをセットし(S121)、利用者に送信される(S20)。
【0040】
一方、ステップS12で差分が閾値以下である場合、画像変換部6における処理が行われる。画像変換部6は、まず、図8(a)に示すカメラ撮影画像1からラベル画像5を抽出し、さらに、図8(b)に示すように、この抽出画像に矩形枠を設定した後(S13)、該矩形枠のアスペクト比が1:1になるようにアフィン変換を施して(S14)、図8(c)に示す正規化画像を生成する(S15)。このようにして得られた正規化画像には、図8(d)に示すように、インデックス画像3の生成に使用した検索線8が設定されて濃淡2値情報10が生成される(S16)。
【0041】
濃淡2値情報10を受けた検索部7は、データ格納部4の濃淡分布テーブル4aを検索し(S17)、全検索線8において濃淡2値情報10が一致した場合、製品を特定し(S18)、該当する製品の属性(製品属性)を送受信部16に出力し(S19)、携帯電話に送信する(S20)。
あるいは、一致した検索線の数が多いほど検索結果の信頼度を高くすることも可能である。
【0042】
これに対し、ステップS18で製品を特定できなかった場合には、再撮影メッセージをセットし(S121)、利用者(携帯電話)に送信する。
【0043】
図9に画像変換部6の変形例を示す。この変形例において、画像変換部6は、まず図9(a)に示すカメラ撮影画像1からラベル画像5を抽出し(図9(b)参照)、さらに、ラベル画像5内に上下辺の曲線化によるひずみの影響を減少させるために、内接する多角形を設定する。
【0044】
この変形例において、内接多角形には、四隅のコーナーポイント、および中高(クラウン)形状に曲線化した上下辺の頂点(最高点)を結ぶ六角形が使用される。このようにして得られた六角形は、図9(c)に示すように、適宜の三角形に分割された後、図9(d)に示すように、各三角形に対してアフィン変換が施されて全体として矩形の画像に整形され、さらに、図9(e)に示すように、アスペクト比が調整されて濃淡2値情報10を得るための原画像とされる。
【0045】
なお、図9において内接多角形のコーナーポイントは、上下辺の頂部に設定する場合を示したが、ラベル画像5の幅方向中心線と上下辺の交点に設定することも可能であり、また、内接多角形は、六角形以外の多角形に設定することも可能である。
【0046】
なお、以上において、インデックス画像3として、ボトル12への正射投影画像を正規化した画像を使用する場合を示したが、図10に示すように、インデックス画像3に中心投影画像を使用することもできる。インデックス画像3生成に際して、図10(a)に示すラベル2を実際にボトル12に貼付した状態を撮影した画像が用意され、この画像に外接する矩形枠が所定のアスペクト比になるようにアフィン変換してインデックス画像3とされ(図10(b))、これから濃淡2値情報10が生成される(図10(c)参照)。
【0047】
このインデックス画像3に対応する画像変換部6は、ラベル画像5に外接する矩形枠を設定した後、該矩形枠を正規化し、さらに濃淡2値情報10を生成するように構成される。
【符号の説明】
【0048】
1 カメラ撮影画像
2 ラベル
3 インデックス画像
4 データ格納部
5 ラベル画像
6 画像変換部
7 検索部
8 検索線
9 検索対象区画
10 濃淡2値情報
11 カメラ
13 画像検査部
14 携帯電話
A ボトリング製品検索装置

【特許請求の範囲】
【請求項1】
ボトリング製品のラベル貼付部をカメラにより撮影したカメラ撮影画像から対象ボトリング製品を検索するボトリング製品検索装置であって、
ラベルのボトル貼付面への中心投影画像に外接する矩形枠を所定のアスペクト比に座標変換して正規化したインデックス画像をボトリング製品の属性に関連付けて格納するデータ格納部と、
前記カメラ撮影画像から抽出したラベル画像に外接する矩形枠を座標変換して前記インデックス画像のアスペクト比に一致させる画像変換部と、
画像変換部での出力画像をインデックス画像中から検索して撮影したボトリング製品を特定する検索部と、
を有するボトリング製品検索装置。
【請求項2】
ボトルのラベル貼付面が円柱面により形成されるボトリング製品のラベル貼付部を撮影したカメラ撮影画像から対象ボトリング製品を検索するボトリング製品検索装置であって、
ラベルのラベル貼付面への正射投影画像に外接する矩形枠を所定のアスペクト比に変換して正規化したインデックス画像をボトリング製品の属性に関連付けて格納するデータ格納部と、
前記カメラ撮影画像から抽出したラベル画像を矩形画像に座標変換して正規化する画像変換部と、
画像変換部での出力画像をインデックス画像中から検索して撮影したボトリング製品を特定する検索部と、
を有するボトリング製品検索装置。
【請求項3】
前記画像変換部は、ラベル画像に外接する矩形領域、または、ラベル画像に内接する多角形領域をアフィン変換して比較画像を生成する請求項2記載のボトリング製品検索装置。
【請求項4】
前記インデックス画像は、画像中心から放射状に延びる複数本の検索線に沿って複数の検索対象区画が分割されるとともに、
各検索対象区画には、他の区画との濃度比較結果を濃淡2値で示した濃淡2値情報が付与され、
前記検索部は、検索対象区画における濃淡2値情報に基づいてデータ格納部を検索する請求項1、2または3記載のボトリング製品検索装置。
【請求項5】
前記検索対象区画内の画素が画像中心において少なく、周辺において多く形成される請求項4記載のボトリング製品検索装置。
【請求項6】
前記検索部の前段に配置され、カメラ撮影画像の画像中心とラベル画像の中心とのズレ量が所定値より大きな場合には再撮影を促す画像検査部を備えた請求項1から5のいずれかに記載のボトリング製品検索装置。
【請求項7】
前記カメラ撮影画像は、携帯電話付属のカメラ装置により撮影された画像である請求項1から6のいずれかに記載のボトリング製品検索装置。
【請求項8】
携帯電話付属のカメラによりワインのボトルに貼付されたラベルを撮影したカメラ撮影画像を該携帯電話により請求項1から7のいずれかに記載のボトリング製品検索装置に送信し、
検索された製品属性を前記携帯電話に送信するワインの検索システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−175386(P2011−175386A)
【公開日】平成23年9月8日(2011.9.8)
【国際特許分類】
【出願番号】特願2010−37976(P2010−37976)
【出願日】平成22年2月23日(2010.2.23)
【出願人】(000135771)株式会社パスコ (102)
【Fターム(参考)】