説明

アイテム識別のための方法およびシステム

本発明による、生産ラインでアイテムを識別するための開示された方法および対応するシステムは、アイテムのデジタル画像から作成される色ヒストグラムに依拠するものであり、色ヒストグラムは、ビンごとに、基準アイテムとの同一性識別のために加減されたビン当たりの最小画素数および最大画素数と比較される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動化生産ラインの管理システムの技術分野に関する。より詳しくは、本発明は、生産ラインで生産管理に用いられる撮像装置ならびに対応する実時間画像処理の手段および方法に関する。これらの画像処理手段は、生産ラインでアイテム(すなわち製品および/または包装物)のデジタル画像から色情報を抽出するが、これは、抽出した情報を基準アイテムのテンプレート情報と比較することによって異なるタイプのアイテムを識別するためである。
【背景技術】
【0002】
撮像装置は、自動化生産ラインで生産を管理するのに一般的に使われるものである。例えば、瓶詰めラインでは、(例えば、レーザートリガー装置によって制御されるLED照明ユニットを用いた)ストロボ光が、コンベア上を搬送される瓶を照明し、そのように照明された瓶のデジタル画像をデジタルカメラが撮影し、次に画像処理手段がこれらのデジタル画像上で瓶の輪郭を自動的に検出して、コンベア上にある異なるタイプの瓶を(それらの形および/または寸法から)識別する。このような識別は、例えば、瓶のタイプ(形または内容等)に応じて瓶に正しくラベルを貼るために用いられる。
【0003】
また、画像処理手段は、アイテムの包装またはアイテム自体に(例えば、瓶詰めラインで生産される瓶に)備わるラベルに印刷された色、または容器のようなアイテムに(例えば、缶詰めラインで生産される缶に)直接印刷された色を検出して、包装検査および/またはパターン識別(例えば、銘柄パターンをテンプレート画像と照合することによって銘柄パターンを識別すること)を可能にすることもできる。例えば、缶詰めラインでは、缶に直接、または缶の周囲にぴったりとはまるスリーブ包装に、銘柄パターンがさらに印刷され得る。
【0004】
アイテムをそのデジタル画像から識別または検査するのに用いられ得る、(内容に基づく画像検索の分野における)画像検索および画像処理に関する既知の技術は多く存在する。しかしながら、これらの技術は、正確さに欠けたり、時間のかかる計算を伴ったりするため、自動化生産ライン管理、特に高速生産ラインでの自動化生産ライン管理には、十分には適さない。
【0005】
例えば、RGB色空間(「赤緑青(Red Green Blue)」)における従来の閾値処理技術は、色情報と強度情報とを分離できないので正確さに欠ける。
【0006】
別の例として、米国特許出願第2004/0218837(A1)号明細書は画像処理技術を開示しており、そこでは、まず、アイテムのデジタル画像がブロックへと区分され、各ブロックについて、色ヒストグラムおよび明度(輝度)ヒストグラムが作成される。さらに、輝度特徴情報として、各ブロックについて、輝度ヒストグラムから平均輝度が求められ、色特徴情報として、各ブロックについて、色ヒストグラムから代表色(例えば平均色)が求められる。次に、デジタル画像が目標画像と類似しているか否かを決定するために、デジタル画像の色特徴情報と目標比較画像の色特徴情報とが(ブロックごとに)比較される。色の比較で結論が出ない場合は、さらにデジタル画像の輝度特徴情報と目標比較画像の輝度特徴情報とが(再びブロックごとに)比較される。
【0007】
しかしながら、そのような画像処理技術には、以下のような不都合がある。すなわち、代表色および平均輝度のブロックごとの決定はどちらも、(上記2つのヒストグラムを求めるためだけでも)多大な計算負荷を伴い、これらの「平均」パラメータの一方または両方のみを類似度の評価に用いることは、高速生産ラインの状況では(例えば、包装または包装上の銘柄を識別するには)十分正確ではないかもしれない、ということである。
【0008】
最近、組立および包装の検査用途の関連で、アイテムを、これらの目標物のデジタル画像から抽出された、HSL(「色相、彩度、輝度」(Hue Saturation Luminance))色空間における色特徴に基づいて識別するために、撮像システムが開発されている。
【0009】
例えば、米国特許出願第2004/0228526(A9)号明細書は、色整合および色整合位置特定に応用される、「ファジー画素分類」を用いた色特性評価のためのシステムを開示している。このシステムは、色特徴ベクトルを用い、色特徴ベクトル間の距離に基づいてカラー画像間の類似度を測定するとともに、色情報がテンプレート画像の色情報と整合する目標画像の領域の位置を特定する。同明細書において、色特徴ベクトルは、各画素のHSLの値に基づく、目標画像のHSL色ヒストグラムの各ビン(すなわち色カテゴリー)(すなわち色相、彩度、輝度の値に対応する各ビン)に割り当てられた画素の百分率で構成され、画素は、「ファジー画素分類」の「ファジーメンバーシップ関数」に従って、複数のビンにわたって分数的に配分された重みを有する。
【0010】
しかしながら、(3次元HSL空間にビンをもつ)HSLヒストグラム内でのこのような「ファジー画素分類」と、それに続く類似度の測定には、多大な計算資源を要するという不都合がある。従って、この画像処理技術は、高速生産ラインでの実時間アイテム識別には、特にライン上を通過するあらゆるアイテムを識別する必要がある場合は、うまく適合しない。
【発明の概要】
【0011】
背景技術における上記の限界に鑑みて、本発明は、デジタル画像からアイテムを識別するための頑健な実時間システムおよび関連する方法を提供することを目的とする。本発明の目的は、以下のような生産管理ツールを提供することである。すなわち、複数のタイプのアイテムを運ぶ高速生産ラインにうまく適合しつつ、ライン上を通過するあらゆるアイテムのデジタル画像を処理して、基準識別データからの特有の特徴との比較による色解析に基づいて正確な識別を行うことができ、すべてにおいて限られた計算資源だけしか必要としない生産管理ツールである。
【0012】
本発明の別の目的は、アイテムのさらなる識別処理に用いられる基準データを生成することも可能なシステムおよび方法を提供することである。
【0013】
本発明のさらに別の目的は、生産ラインでアイテムを確実に識別することである。
【0014】
本発明による識別システムおよび識別方法のさらなる目的は、たとえ隣接するアイテムの間に隙間がない場合、および/または、例えばコンベア上を搬送される瓶または缶の回転姿勢に対応する場合のように、アイテムが(デジタル画像において)部分的にしか見えない場合であっても、高速生産ラインで複数のアイテムを識別できるようにすることである。
【0015】
本発明の第1の態様によるアイテムを識別する方法は、
a)アイテムのデジタル画像の少なくとも1つのゾーンを選択するステップと、
b)ステップa)で選択された各ゾーンについて、対応する、当該ゾーンの画素の色値のヒストグラムを作成するステップと、
c)ステップb)で作成された各ヒストグラムの各ビンについて、画素数を、基準アイテムと関係づけられた基準データセットの、対応する最小基準値および最大基準値と比較して、画素数が基準値間に含まれるかどうかを決定するステップと、
d)N≧1として、少なくとも1つのゾーンの少なくともN個のビンについて画素数が基準値間に含まれる場合に、アイテムを基準アイテムと一致するものとして識別するステップとを含む。
【0016】
上記の識別方法は、アイテムを識別するのに限られた計算資源しか必要とせず、実時間用途と相性の良い高速処理を可能とする。これは、1次元の(例えば色相値についての)色ヒストグラムだけが作成されて、色ビンごとに2つのスカラー値、すなわち最小画素数および最大画素数だけしか含まない、基準アイテムに対応する基準データセットとの比較に使用されるからである。この限られたデータ量であってもなお、正確なアイテム識別が可能となる。
【0017】
本発明の別の態様によれば、上記方法のステップd)で、各ゾーンの各ヒストグラムの各ビンについて画素数が基準値間に含まれる場合に、アイテムが基準アイテムと完全に一致するものとしてさらに識別される。この完全一致条件によって、実際に、たとえデジタル画像がアイテム上の限られた領域だけに関する場合であっても、アイテムの非常に正確な識別が可能になる。
【0018】
本発明により、アイテムと基準アイテムとの間の部分的な類似度を評価することも可能になる。この場合、本発明の第1の態様による上記方法は、
e)作成されたヒストグラムのビンと関係づけられた類似度スコア値は、当該ビンの画素数が、対応する最小基準値を大きく下回るほど、または対応する最大基準値を大きく上回るほど、低くなるものであるとして、各ゾーンの各ヒストグラムの各ビンについて画素数が基準値間に含まれない場合に、ビンと関係づけられた類似度スコア値に基づいて、アイテムを基準アイテムと部分的に類似しているものとして識別するステップ
をさらに含む。
【0019】
このようなスコア付けにより、たとえ、アイテムに関するヒストグラムのいくつかのビンについて、管理領域上の局所的な欠陥(例えば、印刷された銘柄パターンにおける印刷欠陥、または印刷された銘柄パターンにおけるいくつかの色の変化)のために画素数が対応する基準値の範囲に入らない場合であっても、アイテムと基準アイテムとの間の類似度をうまく評価することが可能になる。
【0020】
本発明のさらなる態様によれば、可視スペクトルからだけでなく、電磁スペクトルの他の部分(例えば紫外または赤外のスペクトル範囲)から得られるデジタル画像を用いることも可能である。これは、このスペクトルの異なる部分が異なる色を持つと見なして(すなわち、「疑似」色画像を形成して)、見なされた色に基づく一種のHSL表示をデジタル画像の画素に用いることによって行われる。このように、概して、本発明で用いられる色の値は、人間の色覚の3次元のCIELAB表示に対応する必要はなく、アイテムの反射スペクトルの紫外部、可視部、赤外部から選択された任意のスペクトル帯に基づくことができる。さらに、そのようなスペクトル帯は、いくらでも選択することができる。
【0021】
さらに、より正確な識別を可能にするため、彩度および輝度に関する情報も用いられてよい。それでもなお、上記の低い計算コスト制約条件のおかげで、従来のHSLヒストグラム(すなわち3次元空間におけるヒストグラム)の使用に対する進歩は、望ましいように見受けられる。
【0022】
本発明のこの態様によれば、上記方法において、デジタル画像の画素はそれぞれ、色の有限集合の中で色と関係づけられた、対応する輝度値、彩度値、および色相値を有し、色集合の各色は別個のスペクトル応答に対応するとして、ヒストグラムを算出するステップb)は、
b1)所与の彩度閾値を上回る彩度値をそれぞれに有するゾーン内の画素の中で、色集合の各色について、その色についての色相値がその色についてビンを定義する所与の2つの色相閾値間に含まれる画素の数を数えて、当該色について飽和画素数を得るステップと、
b2)飽和画素でないゾーン内の画素の中で、輝度値が所与の輝度閾値を下回る画素の数を数えて、対応する黒色画素数を得、輝度値が輝度閾値を上回る画素の数を数えて、対応する白色画素数を得るステップと、
b3)色集合の各色についての算出された飽和画素数と、算出された黒色画素数および白色画素数とに基づいて、色集合の色と黒色と白色とに応じた画素の分布を算出し、それによりゾーンについてヒストグラムを形成するステップとをさらに含む。
【0023】
このように、本発明の上記態様によれば、色ヒストグラムは、彩度および輝度の情報に基づいて黒色および白色の画素で完成されてよいが、それでも1次元色ヒストグラムのままなので、依然として低い計算コストで識別の正確さを高められる。
【0024】
本発明の方法は、輪郭検出と、それに続く基準輪郭との比較というさらなる従来のステップも含んでよく、その際、輪郭どうしが整合した場合にはステップd)における識別を確証する。より正確には、本発明は、デジタル画像においてアイテムの輪郭を検出して、検出された輪郭を基準アイテムに対応する基準輪郭と比較するさらなるステップを含んでよく、検出された輪郭が基準輪郭と整合する場合のみ、ステップd)におけるアイテムの識別がさらに確証される。
【0025】
本発明は、別の態様において、互いに接近または接触さえしているアイテムの識別を可能にする。本発明は、実際に、同一のデジタル画像における、(デジタル画像が取得された時に視野内にあった)2つ以上のアイテムに関係する画素データの存在によって生じ得る「重なり」効果を、抑えることが可能である。従って、本発明によるアイテムを識別する方法は、デジタル画像においてアイテムの輪郭を検出するステップと、ステップa)で、少なくとも1つのゾーンを、選択されたゾーンがいずれもアイテムの検出された輪郭内になるように選択するステップとをさらに含んでよい。本発明のこの特徴により、生産ライン上のアイテムの取得デジタル画像の任意のゾーンの画像内容は、たとえこのアイテムが生産ライン上で隣接するアイテムと接触していたとしても、このアイテムそのものだけに関係する、ということが保証される。瓶詰めラインまたは缶詰めラインは、生産ラインのよく知られた例であり、これらのラインでは、アイテム(すなわち瓶または缶)が、典型的には、連続する2つのアイテムが互いに接した状態で、コンベア上で一列に並べられて搬送される。従って、本発明によれば、たとえ高速ライン上であっても、任意の取得デジタル画像に関するデータが必ず単一のアイテムだけに関係するようにすることによって、撮像手段で各アイテムを正確に識別することが可能になる。
【0026】
あるいは、アイテムのデジタル画像が、アイテムの目に見える輪郭内にあるアイテム上の管理領域に制限されてもよい。例えば、アイテムが、コンベア上に直立する円筒状の缶である場合は、管理領域は、缶の円筒面上の単なる細長い部分であってよい。デジタル画像のこのような制限は、管理領域に関係しない画素データを排除するために、いくつかの方法で実行されてよい。例えば、デジタル画像に枠組みを設定し、枠の外からの画素データを考慮に入れないことによって実行される(枠が管理領域の輪郭に相当する)。別の例として、デジタル画像を取得する時にマスク(または視野全体を制限する任意の手段)を用いて、デジタル画像上の画素がアイテム上の管理領域だけに関係するようにしてよい。その結果、デジタル画像の内容が、実際に1つのアイテムだけに関係することになる。
【0027】
また、本発明は、基準アイテムの基準デジタル画像から基準データを直接決定する可能性も提供する。
【0028】
従って、本発明の方法は、基準アイテムの基準デジタル画像から基準データセットを算出するステップであって、基準デジタル画像についてステップa)およびb)を実行して基準デジタル画像の各ゾーンについて基準ヒストグラムを作成し、作成された各基準ヒストグラムの各ビンに、対応する信頼区間からそれぞれに得られる最小基準値および最大基準値を関係づけることによって基準データセットを算出するステップをさらに含んでよい。
【0029】
上記の可能性は、好ましい一組のゾーンにおいてデジタル画像の区分に基準データセットを容易に適合させるために重要である。また、この可能性は、識別されるアイテムに関する特殊事情に基準データセットを容易に適合させるためにも重要である。例えば、生産ラインで識別されるいくつかの類似アイテムが、それらのデジタル画像がそれぞれ取得される時にある範囲の起こり得る角度値以内で回転した角度位置を有する場合、たとえアイテムごとに単一のデジタル画像しか取得されないとしてもなお、アイテムの正確な識別が可能である。
【0030】
例えば、後者の場合、デジタル画像の各ゾーンの各ビンについて、対応する最小基準値および最大基準値が、上記範囲内の角度値に応じた基準アイテムのさまざまな回転角度位置に対応する基準アイテムの一組の基準デジタル画像から、以下の方法により決定されてよい。すなわち、基準デジタル画像の組の、対応する色ヒストグラムすべてにわたって当該のビンおよびゾーンについて最小画素数および最大画素数を数える方法である。
【0031】
もちろん、基準アイテムの回転位置の標本角度値の数および/またはデジタル画像におけるゾーンの数が多いほど、アイテムの識別においてより高い正確さが得られる。例えば、缶詰めラインでは、コンベア上を運ばれる(円筒状の)缶は、(缶の円筒軸の回りに)0度ないし360度の範囲の回転位置を有し得る。従って、180度の角度だけ回転した基準缶のそれぞれの位置に対応する少なくとも2つの基準デジタル画像により、これらの少なくとも2つの基準画像から得られる(従って基準アイテムと関係づけられた)最小基準値および最大基準値に基づいて、たとえ1つの画像だけであってもその缶のデジタル画像から、缶の正確な識別が可能になる。
【0032】
画素数について最小基準値および最大基準値を決定するための、上記の(ヒストグラムの色ごとに1つの)信頼区間は、実際は、基準デジタル画像の組からの各基準デジタル画像の画素の色値についての他の任意の統計処理の結果として(例えば、検討されるビンおよび/またはゾーンに応じて画素の計数値に重み付けすることによって)得られてよい。
【0033】
検出されたアイテムの輪郭が基準輪郭と整合する場合に(ステップd)における)アイテム識別を確証する(上記参照)代わりに、上記の任意の態様による本発明は、
デジタル画像においてパターンを検出し、検出されたパターンを基準アイテムに対応する所与の基準パターンと比較して、検出されたパターンが基準パターンと整合するかどうかを評価するステップと、
検出されたパターンが基準パターンと整合すると評価された場合に、検出されたパターンを認証するのにアイテム識別動作の結果をさらに用いるステップとをさらに含んでよい。
【0034】
本発明の上記の態様では、(すでに説明したように、1次元色ヒストグラムに基づく)全画像処理によるアイテムの識別は、パターン整合を認証するのに役立つ。これは、エラーの結果としてパターン整合が生じる場合に特に有利である(例えば、アイテムのデジタル画像において検出されたパターンが、確かに基準パターンとは一致するのにアイテムとは一致しない場合)。
【0035】
本発明は、添付の請求の範囲に定められたように、本発明によるアイテムを識別する方法を実装するように動作可能なアイテムを識別するシステムにも、また生産ラインでアイテムを識別するシステムの使用にも関する。
【0036】
特に、生産ラインでアイテムを識別するシステムの使用が開示されており、このシステムは、記憶装置を含むデジタル画像処理ユニットを備え、
アイテムのデジタル画像の少なくとも1つのゾーンを選択し、
選択された各ゾーンについて、対応する、当該ゾーンの画素の色値のヒストグラムを作成する
ように動作可能であり、デジタル画像処理ユニットが、
作成された各ヒストグラムの各ビンについて、画素数を、記憶装置に格納された、基準アイテムと関係づけられた基準データセットの、対応する最小基準値および最大基準値と比較して、画素数が基準値間に含まれるかどうかを決定し、
N≧1として、少なくとも1つのゾーンの少なくともN個のビンについて画素数が基準値間に含まれる場合に、アイテムを基準アイテムと一致するものとして識別する
ようにさらに動作可能である。
【0037】
以下、本発明について、添付の図面を参照してさらに十分に説明する。図面では、同一の番号がそれら別々の図を通して同一の要素を表し、また本発明の顕著な態様および特徴が示されている。
【図面の簡単な説明】
【0038】
【図1】本発明によるアイテムを識別する方法の実施の形態を説明するフローチャート図である。
【図2】複数のゾーンに区分されたデジタル画像を説明する図である。
【図3】色ヒストグラムのビンに対応する基準データセットを説明する図である。
【図4】本発明の実施の形態によるアイテムを識別するシステムを含む自動化生産ラインを説明する図である。
【図5】図4に示すアイテムの表面上の管理領域を説明する図である。
【図6】図4の撮像ユニットにより撮影された、図5に示す管理領域のデジタル画像を説明する図である。
【発明を実施するための形態】
【0039】
図1のフローチャート図で説明されるアイテムを識別する方法において、識別されるアイテムのデジタル画像が、図2に表されるようにK個のゾーン(K≧1)に分割される(ゾーン(1)が示されており、K=4である)。以下では、ZNは1≦ZN≦Kなるゾーン指数、「i」は1≦i≦Mなるビン指数であり、ゾーンZNに対応する色ヒストグラム、すなわちH(ZN)が、M個の別個の色値に対応するM個のビンで構成されようになっており、B(ZN,i)は、ゾーンZNのヒストグラムH(ZN)のi番目のビンに対応する画素数である。各ゾーンZNの各ビン「i」について、2つの基準値Min(ZN,i)およびMax(ZN,i)は、これらの基準値が特有の特徴を構成する基準アイテムと同一であるとアイテムを識別するために設定された最小画素数および最大画素数に、それぞれ対応する(基準データセット、すなわちひとそろいの全基準値対は、事実上、有色の銘柄パターンという観点で基準アイテムの「署名」を構成する)。もちろん、ヒストグラムは、任意のB(ZN,i)がゾーンZNのビン(i)内の画素の百分率と事実上一致するように、従来通り正規化されてよい(この場合、基準値も正規化される)。
【0040】
基準データセットの例を図3に示す。この例では、i=1,…,M=17の、ゾーンZNの各ビンB(ZN,i)について、対応する画素数の値の対(2)であるMin(ZN,i)およびMax(ZN,i)が与えられ、それぞれヒストグラム(2)で示されている。これら17個のビンは、実際には、15個の色ビンと、黒色画素用および白色画素用の2個のビンとに対応する。
【0041】
図1のフローチャートによれば、開始ステップS100、およびデジタル画像の最初のゾーンの選択に対応する、ゾーン指数ZNが1である初期化ステップS101の後に、色ヒストグラムH(ZN=1)が作成される。そして、S102において、H(1)の各ビンの画素数がデジタル画像処理手段によって数えられて、H(1)に対応する数の組が(すなわち、B(1,i)がi=1,…,Mについて)得られる。ステップS103において、H(1)の現在のビンB(1,i)について、その画素数がB(1,i)に対応する基準値間に含まれるかどうか、すなわち条件Min(1,i)≦B(1,i)≦Max(1,i)が成立するかどうかが調べられる。基準値に対する条件があるビンについて成立した場合、S104において条件成立の回数Iがインクリメントされて、ヒストグラムのさまざまなビンについて条件を調べる際にこのような成立の全回数が数えられる。この回数Iが、デジタル画像のK個のゾーンの中の少なくとも1つのゾーンで、基準アイテムとの同一性識別のための所与の閾値N(1≦N≦KxMとする)に達し次第(ステップS105)、アイテムは基準アイテムと同一であると見なされる(ステップS106)。ステップS105で条件が成立しない場合は、ステップS107でヒストグラムH(ZN)の次のビン(i+1)が検討され、この次のビン指数が値Mを超えなければ(ステップS108)、ステップS103において、この次のビン(i+1)の条件が、対応する基準値対Min(ZN,i+1)およびMax(ZN,i+1)で調べられる。ヒストグラムH(ZN)、従ってゾーンZNについて閾値Nが達成されない場合は、ステップS109でデジタル画像の次のゾーン(ZN+1)が検討され、このゾーン指数値が値Kを超えなければ(ステップS110)、対応する次のヒストグラムH(ZN+1)がステップS102において算出され、そのビンB(ZN+1,i)についての条件が、ステップS103において(対応する基準値対Min(ZN+1,i)およびMax(ZN+1,i)で)調べられる。
【0042】
すべての(すなわちZN=1,…,Kの)ゾーンのすべての(すなわちi=1,…,Mの)ビンを調べてもN回の条件成立が得られない場合は、アイテムは基準アイテムと同一ではないと見なされる(ステップS111)。
【0043】
上記の識別条件は、以下に挙げる基準アイテムとの完全一致条件と置き換えることによって、より制限的にしてもよい。それは、条件Min(ZN,i)≦B(ZN,i)≦Max(ZN,i)がi=1,…,MおよびZN=1,…,Kについて成立しなければならない、すなわち各ゾーンの各ヒストグラムの各ビンについて画素数が基準値間に含まれる、という条件である。より制限的なこの条件は、事実上、N=KxM(すなわち、1ゾーン当たり1つのヒストグラムとして、所与のゾーン数Kおよび各ヒストグラム中の所与のビン数Mの時の、Nの最大値)の場合に相当する。
【0044】
実際の応用においては、完全一致の代わりに、基準アイテムとの部分的な類似度だけを検出することが有用な場合がある。実のところ、完全一致が確立され得ない場合であっても、実行されるさまざまな計算は、実際、例えば(完全一致を妨げる)アイテム上の欠陥の存在、またはアイテムが基準アイテムと同じ系統に属する可能性といった重要な事実に関係するかもしれない情報を含む。例えば、ある製品の同じ銘柄で、アイテム上の色またはパターンのわずかな違いが、同じ製品種目の異なるカテゴリーに対応する場合がある(例えば、缶についていえば、同じ飲料で糖添加の有無があるような場合)。
【0045】
このようなわけで、本発明は、完全一致が確立されない場合に、部分的な類似度を評価するスコア付け技術を用いることを可能にする。そのようなスコア付けの唯一の制約条件は、ゾーンZNのビン(i)の類似度スコア、すなわちSC(ZN,i)は、そのビンの画素数、すなわちB(ZN,i)が、対応する2つの基準値Min(ZN,i)およびMax(ZN,i)のどちらからも離れるほど、低くならなければならない、というものである。この類似度スコアを算出する可能性は多く存在する。例えば、ゾーンZNの各ビン「i」について、B(ZN,i)≦Min(ZN,i)であればD(ZN,i)=[Min(ZN,i)−B(ZN,i)]、またはB(ZN,i)≧Max(ZN,i)であればD(ZN,i)=[B(ZN,i)−Max(ZN,i)]という単なる差に対応する線形重み付けを用いることが可能であり(すなわち、重みは、差D(ZN,i)の線形関数である)、そして、類似度スコア値はそのような重みの逆数に依存してよい(例えば、1/(1+D)に比例するスコアなど)。しかしながら、上記の制約条件に適合しさえすれば、他の任意の非線形重み付けも可能である。例えば、D(n≧2とする)のような非線形重み付けは、Dの小さな値に関する類似度スコアをさらに増大する。
【0046】
これらのスコア値SC(ZN,i)を各ゾーンおよび各ビンについて(すなわちi=1,…,MおよびZN=1,…,Kについて)形成したら、部分的な類似度を評価する方法も多く存在する。例えば、全ゾーンにわたる最高スコア値だけを保持することも可能であるし、各ゾーンの最高スコア値を保持して、全ゾーンにわたる(例えばゾーンの各領域に応じて、重み付けも可能な)平均スコア値を算出することも可能である。ただ、当業者は、基準アイテムとの部分的な類似度をデジタル画像から評価するという観点で、さまざまなスコア値SC(ZN,i)の統計処理に関する他の多くの可能性について考えるであろう。
【0047】
好ましい実施の形態において、本発明によるアイテムを識別する方法は、上に示したように、HSL色空間におけるデジタル画像の従来の表現に基づいて、「完成された」1次元ヒストグラムを用いる。このヒストグラムは別個の所定の色相値に対応するビンを有するが、彩度値および輝度値は、黒色画素に対応する付加的な「ビン」および白色画素に対応する付加的な「ビン」でヒストグラムを完成させるのに用いられる。このような完成された色ヒストグラムによって、暗い部分および/または明るい部分を有するアイテムを識別できるようになり、従って識別用途に一層の正確さがもたらされる。
【0048】
デジタル画像の各ゾーンについて、彩度閾値が与えられ、彩度閾値は、検討されるゾーンに依存してよく、また飽和画素(すなわち、輝度値がどんな値であれ、彩度値が対応する閾値を上回る画素)を定義するのに役立つ。また、デジタル画像の各ゾーンについて、ヒストグラムの色ごとに2つの色相閾値も与えられ、色相閾値は、検討されるゾーンに依存してよい。ある色についての所与の色相閾値の各対は、実は、(2つの閾値がビンのそれぞれの最大色相値および最小色相値を構成して)その色のヒストグラムのビンを定義する。さまざまな所与の色相閾値の対は、色(色相)空間の区画、従ってヒストグラムの色ビンを定義する。
【0049】
これらの色相閾値は、デジタル画像のゾーンの各色(色相)について、すなわちヒストグラムの所定の各色について、飽和画素を数えるのに役立つ。色相値が対応する2つの色相閾値間に含まれる飽和画素の数によって、対応する色について飽和画素の数が定まるのである。従って、そのような画素は明確な色を有する。また、これらの所与の色相閾値の対は、識別の検討対象である基準アイテムにも依存してよい。
【0050】
また、低い輝度値、すなわち検討されるゾーンに依存し得るそのゾーンについての所与の輝度閾値を下回る輝度値、を有するゾーンの不飽和画素の数は、そのゾーンについて黒色画素であるとして数えられる。一方、高い輝度値、すなわちそのゾーンについての所与の輝度閾値を上回る輝度値、を有するゾーンの不飽和画素の数は、そのゾーンについて白色画素であるとして数えられる。従って、本発明のこの実施の形態では、ヒストグラムはM+2個のビン、すなわち別個の色相値に対応する先のM個のビンと、黒色画素および白色画素に対応する2個のビンとを有する。この場合、基準データセットもまた、各ゾーンについて、黒色画素についての最小基準値および最大基準値、および白色画素についての最小基準値および最大基準値を含むように拡張される。
【0051】
もちろん、ステップd)における識別条件も、黒色画素および白色画素と関係がある。実際に、ステップb)においてヒストグラム1つについて考慮されるべき色の数は、黒色および白色を2つの新しい色として定義することにより、ここで単純に2つ増やされる。従って、アイテムの、基準アイテムとの完全一致には、今やN’=Kx(M+2)=N+2Kという数の条件成立が完全一致のために必要である(すなわち、各ゾーンの各ヒストグラムの各ビンについて画素数が基準値間に含まれる)。同様の色数の「拡張」は、上記のように部分的な類似度を考慮する際にも適用されることになり(すなわち、類似度スコアが、黒色画素および白色画素についても、それぞれに対応する最小基準値および最大基準値に基づいて定義される)、あるいは上記のように基準デジタル画像から基準データセットを算出する際にも適用されることになる。
【0052】
「偽色画像」の場合のように、拡張されたスペクトル情報をデジタル画像が含む場合は、それに応じて、より一般的な色空間にHSL表現が適合または拡張される。
【0053】
本発明の上記の態様または実施の形態のいずれかに依拠し得る、本発明の別の実施の形態では、デジタル画像において検出されたパターンの認証が可能である。
その場合、これに対応する、アイテムを識別する方法の態様は、
デジタル画像においてパターンを検出し、検出されたパターンを基準アイテムに対応する所与の基準パターンと比較して、検出されたパターンが基準パターンと整合するかどうかを評価するステップと、
検出されたパターンが基準パターンと整合すると評価された場合に、検出されたパターンを認証するのにアイテム識別動作の結果をさらに用いるステップとをさらに含む。
【0054】
上記のアイテム上のパターンは、例えばバーコードまたは文字であってよい。その場合、パターンの検出は、それぞれバーコードリーダおよびOCR(「光学式文字認識」)ソフトウェアを用いて行われる。従って、本方法では、検出された基準パターンが、たとえ基準アイテムに対応する所与の基準パターンに整合していても、本当に有効なものであることを確認するために、(上で説明したように、色ヒストグラムと、最小基準値および最大基準値とに基づいて)画像処理から識別段階を用いることが可能である。本発明のこの態様は、色ヒストグラム(および対応する基準値)ならびに基準パターンとのパターン照合の両方に基づく識別によるこのような「二重チェック」を用いることによって、生産ラインでのアイテムの管理の質を明確に高める。例えば、本方法によって、(例えば、別のタイプのアイテムに印刷された、あるタイプのアイテムのためのバーコード、といったような)不正を検出することが可能になる。
【0055】
また、本発明は、本発明による方法の上記の態様または実施の形態のいずれかのステップを実装するように動作可能な、アイテムを識別するシステムにも関する。
【0056】
従って、アイテムを識別するシステムは、通常は記憶装置を含むデジタル画像処理ユニットを備え、
アイテムのデジタル画像の少なくとも1つのゾーンを選択し、
選択された各ゾーンについて、対応する、当該ゾーンの画素の色値のヒストグラムを作成するように動作可能であり、
デジタル画像処理ユニットが、算出された各ヒストグラムの各ビンについて、画素数を、記憶装置に格納された、基準アイテムと関係づけられた基準データセットの、対応する最小基準値および最大基準値と比較して、画素数が基準値間に含まれるかどうかを決定し,N≧1として、少なくとも1つのゾーンの少なくともN個のビンについて画素数が基準値間に含まれる場合に、アイテムを基準アイテムと一致するものとして識別するようにさらに動作可能である。
【0057】
特に、図4に示された、本発明によるアイテムを識別するシステムの例を含む自動化生産ラインにおいて、システムは、生産ラインのコンベア(12)上のアイテム(11)(ここでは缶が描かれている)のデジタル画像を取得する撮像ユニット(10)と、撮像ユニット(10)から受信されたデジタル画像を処理するデジタル画像処理ユニット(13)と、基準データセットを格納する記憶装置(14)とを備える。
【0058】
システムは、アイテム(11)をストロボ光で照明する照明ユニット(15)も備えてよい。
そのような照明ユニットのよくある例は、(可視光用の)LED照明ユニットまたはレーザーストロボである。また、他の種類の照明ユニットによって、(例えば、紫外光から赤外光、すなわち300nmから2500nmに及ぶ)より広いスペクトルにわたってアイテムを照明することが可能となる。
【0059】
撮像ユニット(10)は、デジタルカメラ(CCDカメラまたはCMOSカメラ)であってよい。しかしながら、デジタル画像形式を生成するようにフレーム取り込み用アナログ・デジタル変換器が補われるのであれば、アナログカメラを用いてもよい。
【0060】
また、システムは、制御ユニット(16)をさらに備え、制御ユニット(16)は、照明ユニット(15)、撮像ユニット(10)、およびデジタル画像処理ユニット(13)を制御するように動作可能であり、それらの動作を同期させて、アイテムを照明し、照明されたアイテムのデジタル画像を形成し、そのデジタル画像を処理するようになっている。
【0061】
図5は、アイテム(11)の表面上の管理領域(17)を示し、図6は、撮像ユニット(10)によって撮影された、アイテム(11)の管理領域(17)のデジタル画像(18)を示す。デジタル画像処理ユニット(13)は、撮像ユニット(10)から受信されたデジタル画像(18)を、複数のゾーン(19a〜19d)(例えば、ここでは4つのゾーン)に分割する。
【0062】
デジタル画像(18)の各ゾーンについて、デジタル画像処理ユニット(13)は、(撮像ユニットが測定できる光子のスペクトル幅に応じて)色空間をM個のビン(例えば、図3に描かれたようにM=17)に分割することにより、対応する1次元色ヒストグラムを求め、各ビン内で画素の色相値に従って画素数を数える。
【0063】
好ましくは、システムが、撮像ユニット(10)に対するアイテムの位置であって撮像ユニットがアイテムのデジタル画像を形成するように動作可能な位置を検出し、位置の検出を示すトリガ信号を送信するように動作可能なセンサ手段をさらに備え、制御ユニット(16)が、センサ手段からトリガ信号を受信し、受信されたトリガ信号に基づいて照明ユニット(15)、撮像ユニット(10)、およびデジタル画像処理ユニット(13)の動作を同期させるようにさらに動作可能となるようにしてよい。
【0064】
典型的には、センサ手段は、高速写真撮影用のレーザートリガーであってよい。このよく知られた装置は、撮像ユニットの非常に正確なトリガ操作を可能にするものであり、特に、毎分1200アイテムの高い生産速度が可能な、缶詰めラインまたは瓶詰めラインのような生産ラインに適している。
【0065】
撮像ユニットの視野をさらに制御することにより、撮像されるアイテム上の目標管理領域の大きさを変えることが可能である。例えば、生産ラインが瓶詰めラインまたは缶詰めラインである場合、ライン上のアイテム(それぞれ瓶および缶)は、互いに接近または接触さえしている可能性がある。この後者の場合、(瓶上のラベルまたは缶上の印に対応する)管理領域のみを撮像するように、撮像ユニットの視野がマスクによって制限されてよい。本発明のこの形態は、たとえアイテムが接触していても識別を可能にするものであり、(毎分1200缶の)高速缶詰めラインで可視光照明について試験された。さらに、黒色および白色を含む基準値が、(缶の長手方向の対称軸の回りに)0度から360度まで、円筒状の缶の複数の回転位置について、上で説明したように決定された。高速生産ラインで、別個の10銘柄の飲料缶について、完全一致条件においてさえ、我々のアイテムの完璧な識別が達成された。
【0066】
本発明は、上記の実施の形態に限定されず、請求の範囲により定められた本発明の範囲から離れることなく多様な変更が可能である。例えば、上記の撮像ユニットは、単一のアイテムの(異なる視角に対応する)複数のデジタル画像を取得し、アイテム識別のために、取得された各画像をすでに説明したように処理するように動作可能であってよい。
【0067】
また、本発明は、上述したようにアイテムを識別するシステムに接続されたコンピュータで起動している時に、コンピュータに(上述したように)本発明による方法のステップを実行させるように動作可能なコンピュータプログラム製品も含む。
【0068】
本発明による、生産ラインであらゆるアイテムを識別する方法およびシステムは、本発明の上記態様のいずれにおいても、例えば(課税価格評価等のための)生産ラインでの生産量の測定、ライン生産管理、(不正検出等のための)ライン生産検査のような数多くの用途で、産業でのアイテム識別に高い信頼度で用いられ得る。

【特許請求の範囲】
【請求項1】
アイテムを識別する方法であって、
a)前記アイテムのデジタル画像の少なくとも1つのゾーンを選択するステップと、
b)ステップa)で選択された各ゾーンについて、対応する、当該ゾーンの画素の色値のヒストグラムを作成するステップと
を含み、
c)ステップb)で作成された各ヒストグラムの各ビンについて、画素数を、基準アイテムと関係づけられた基準データセットの、対応する最小基準値および最大基準値と比較して、前記画素数が前記基準値間に含まれるかどうかを決定するステップと、
d)N≧1として、少なくとも1つのゾーンの少なくともN個の前記ビンについて前記画素数が前記基準値間に含まれる場合に、前記アイテムを前記基準アイテムと一致するものとして識別するステップと
をさらに含む方法。
【請求項2】
ステップd)で、各ゾーンの各ヒストグラムの各ビンについて前記画素数が前記基準値間に含まれる場合に、前記アイテムが前記基準アイテムと完全に一致するものとして識別される請求項1に記載の方法。
【請求項3】
e)作成されたヒストグラムのビンと関係づけられた類似度スコア値は、当該ビンの画素数が、対応する最小基準値を大きく下回るほど、または対応する最大基準値を大きく上回るほど、低くなるものであるとして、各ゾーンの各ヒストグラムの各ビンについて前記画素数が前記基準値間に含まれない場合に、前記ビンと関係づけられた類似度スコア値に基づいて、前記アイテムを前記基準アイテムと部分的に類似しているものとして識別するステップ
をさらに含む請求項1に記載の方法。
【請求項4】
前記デジタル画像の画素はそれぞれ、色の有限集合の中で色と関係づけられた、対応する輝度値、彩度値、および色相値を有し、前記色集合の各色は別個のスペクトル応答に対応するとして、ヒストグラムを作成する前記ステップb)が、
b1)所与の彩度閾値を上回る彩度値をそれぞれに有する前記ゾーン内の画素の中で、前記色集合の各色について、その色についての色相値がその色についてビンを定義する所与の2つの色相閾値間に含まれる画素の数を数えて、当該色について飽和画素数を得るステップと、
b2)飽和画素でない前記ゾーン内の画素の中で、輝度値が所与の輝度閾値を下回る画素の数を数えて、対応する黒色画素数を得、輝度値が前記輝度閾値を上回る画素の数を数えて、対応する白色画素数を得るステップと、
b3)前記色集合の各色についての前記算出された飽和画素数と、前記算出された黒色画素数および白色画素数とに基づいて、前記色集合の色と黒色と白色とに応じた画素の分布を算出し、それにより前記ゾーンについてヒストグラムを形成するステップと
をさらに含む請求項1ないし3のいずれかに記載の方法。
【請求項5】
前記基準アイテムの基準デジタル画像から前記基準データセットを算出するステップであって、前記基準デジタル画像について前記ステップa)およびb)を実行して前記基準デジタル画像の各ゾーンについて基準ヒストグラムを作成し、作成された各基準ヒストグラムの各ビンに、対応する信頼区間からそれぞれに得られる最小基準値および最大基準値を関係づけることによって前記基準データセットを算出するステップ
を含む請求項1ないし4のいずれかに記載の方法。
【請求項6】
前記デジタル画像において前記アイテムの輪郭を検出して、前記検出された輪郭を前記基準アイテムに対応する基準輪郭と比較するステップ
を含み、前記検出された輪郭が前記基準輪郭と整合する場合のみ、前記ステップd)における前記アイテムの識別がさらに確証される請求項1ないし5のいずれかに記載の方法。
【請求項7】
前記デジタル画像において前記アイテムの輪郭を検出するステップと、
前記ステップa)で、前記少なくとも1つのゾーンを、選択されたゾーンがいずれも前記アイテムの前記検出された輪郭内になるように選択するステップと
を含む請求項1ないし5のいずれかに記載の方法。
【請求項8】
前記アイテムの前記デジタル画像が、前記アイテムの目に見える輪郭内にある前記アイテム上の管理領域に制限される請求項1ないし5のいずれかに記載の方法。
【請求項9】
前記デジタル画像においてパターンを検出し、前記検出されたパターンを前記基準アイテムに対応する所与の基準パターンと比較して、前記検出されたパターンが前記基準パターンと整合するかどうかを評価するステップと、
前記検出されたパターンが前記基準パターンと整合すると評価された場合に、前記検出されたパターンを認証するのに前記アイテム識別動作の結果をさらに用いるステップと
を含む請求項1ないし8のいずれかに記載の方法。
【請求項10】
記憶装置を含むデジタル画像処理ユニットを備えた、アイテムを識別するシステムであって、
前記アイテムのデジタル画像の少なくとも1つのゾーンを選択し、
選択された各ゾーンについて、対応する、当該ゾーンの画素の色値のヒストグラムを作成する
ように動作可能であり、前記デジタル画像処理ユニットが、
作成された各ヒストグラムの各ビンについて、画素数を、前記記憶装置に格納された、基準アイテムと関係づけられた基準データセットの、対応する最小基準値および最大基準値と比較して、前記画素数が前記基準値間に含まれるかどうかを決定し、
N≧1として、少なくとも1つのゾーンの少なくともN個の前記ビンについて前記画素数が前記基準値間に含まれる場合に、前記アイテムを前記基準アイテムと一致するものとして識別する
ようにさらに動作可能であるシステム。
【請求項11】
前記画像処理ユニットが、各ゾーンの各ヒストグラムの各ビンについて前記画素数が前記基準値間に含まれる場合に、前記アイテムを前記基準アイテムと完全に一致するものとして識別するように動作可能である請求項10に記載のシステム。
【請求項12】
前記画像処理ユニットが、
算出されたヒストグラムのビンと関係づけられた類似度スコア値は、当該ビンの画素数が、対応する最小基準値を大きく下回るほど、または対応する最大基準値を大きく上回るほど、低くなるものであるとして、各ゾーンの各ヒストグラムの各ビンについて前記画素数が前記基準値間に含まれない場合に、前記ビンと関係づけられた類似度スコア値を算出し、
前記算出された類似度スコア値に基づいて、前記アイテムを前記基準アイテムと部分的に類似しているものとして識別する
ようにさらに動作可能である請求項10に記載のシステム。
【請求項13】
前記デジタル画像の画素はそれぞれ、色の有限集合の中で色と関係づけられた、対応する輝度値、彩度値、および色相値を有し、前記色集合の各色は別個のスペクトル応答に対応するとして、ヒストグラムを算出するために、前記デジタル画像処理ユニットが、
所与の彩度閾値を上回る彩度値をそれぞれに有する前記ゾーン内の画素の中で、前記色集合の各色について、その色についての色相値がその色についてビンを定義する所与の2つの色相閾値間に含まれる画素の数を数えて、当該色について飽和画素数を得、
飽和画素でない前記ゾーン内の画素の中で、輝度値が所与の輝度閾値を下回る画素の数を数えて、対応する黒色画素数を得、輝度値が前記輝度閾値を上回る画素の数を数えて、対応する白色画素数を得て、前記得られた画素数を前記記憶装置に格納し、
前記色集合の各色についての前記算出された飽和画素数と、前記算出された黒色画素数および白色画素数とに基づいて、前記色集合の色と黒色と白色とに応じた画素の分布を算出し、それにより前記ゾーンについてヒストグラムを形成する
ように動作可能である請求項10ないし12のいずれかに記載のシステム。
【請求項14】
所与のスペクトル範囲の電磁放射で前記アイテムを照明するように動作可能な照明ユニットと、
前記照明ユニットによって照明された前記アイテムで反射された電磁放射に対応する受信された電磁信号を、前記アイテムの前記デジタル画像に変換するように動作可能であり、前記デジタル画像を前記デジタル画像処理手段へ送信するように動作可能な撮像ユニットと
を備え、
前記画像処理ユニットが、前記撮像ユニットから前記デジタル画像を受信するように動作可能であり、
前記システムが、前記照明ユニット、前記撮像ユニット、および前記デジタル画像処理ユニットを、それらの、前記アイテムを照明し、前記照明されたアイテムの前記デジタル画像を形成し、前記デジタル画像を処理する動作を同期させるように制御するように動作可能な制御ユニットをさらに含む
請求項10ないし13のいずれかに記載のシステム。
【請求項15】
前記撮像ユニットに対する前記アイテムの位置であって前記撮像ユニットが前記アイテムのデジタル画像を形成するように動作可能な位置を検出し、前記位置の検出を示すトリガ信号を送信するように動作可能なセンサ手段
をさらに備え、
前記制御ユニットが、前記センサ手段から前記トリガ信号を受信し、前記受信されたトリガ信号に基づいて、前記照明ユニット、前記撮像ユニット、および前記デジタル画像処理ユニットの動作を同期させるようにさらに動作可能である
請求項10ないし14のいずれかに記載のシステム。
【請求項16】
前記デジタル画像処理ユニットが、
前記アイテムの前記デジタル画像についてと同様に前記基準アイテムの基準デジタル画像を処理して、前記基準デジタル画像の各ゾーンについて基準ヒストグラムを作成し、
作成された各基準ヒストグラムの各ビンに、対応する信頼区間からそれぞれに得られる最小基準値および最大基準値を関係づける
ようにさらに動作可能である請求項10ないし15のいずれかに記載のシステム。
【請求項17】
前記デジタル画像処理ユニットが、
前記デジタル画像において前記アイテムの輪郭を検出して、前記検出された輪郭を前記基準アイテムに対応する基準輪郭と比較し、
前記検出された輪郭が前記基準輪郭と整合する場合のみ、前記アイテムの前記識別動作の結果を確証する
ように動作可能である請求項10ないし16のいずれかに記載のシステム。
【請求項18】
前記デジタル画像処理ユニットが、
前記デジタル画像において前記アイテムの輪郭を検出し、
前記少なくとも1つのゾーンを、選択されたゾーンがいずれも前記アイテムの前記検出された輪郭内になるように選択する
ように動作可能である請求項10ないし16のいずれかに記載のシステム。
【請求項19】
前記アイテムの前記デジタル画像を、前記アイテムの目に見える輪郭内にある前記アイテム上の管理領域に制限する手段を備える請求項10ないし18のいずれかに記載のシステム。
【請求項20】
前記管理領域が、前記アイテム上のラベルまたは前記アイテム上の印に対応する請求項19に記載のシステム。
【請求項21】
前記デジタル画像処理ユニットが、
前記デジタル画像においてパターンを検出し、前記検出されたパターンを前記基準アイテムに対応する所与の基準パターンと比較して、前記検出されたパターンが前記基準パターンと整合するかどうかを評価し、
前記検出されたパターンが前記基準パターンと整合すると評価された場合に、前記アイテム識別動作の結果に基づいて、前記検出されたパターンを認証する
ように動作可能である請求項10ないし20のいずれかに記載のシステム。
【請求項22】
生産ラインでアイテムを識別するための、請求項10ないし21のいずれかに記載のシステムの使用。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公表番号】特表2012−505485(P2012−505485A)
【公表日】平成24年3月1日(2012.3.1)
【国際特許分類】
【出願番号】特願2011−531471(P2011−531471)
【出願日】平成21年10月13日(2009.10.13)
【国際出願番号】PCT/EP2009/063350
【国際公開番号】WO2010/043618
【国際公開日】平成22年4月22日(2010.4.22)
【出願人】(311003204)シクパ ホールディング エスアー (21)
【氏名又は名称原語表記】SICPA HOLDING SA
【住所又は居所原語表記】Avenue de Florissant 41,CH−1008 Prilly Switzerland
【Fターム(参考)】