画像識別用タグ及び画像識別システム
【課題】 テンプレートマッチング法による計算コストを削減し、対象画像の撮像状況に影響を受けずに画像を識別するための画像識別タグ及びこれを備えた画像識別システムを提供する。
【解決手段】 画像識別用タグは、その中心点Oから３６０度すべての方向に対して同じように変化する円形の輝度変化パターンを有している。タグ識別装置３によって、その輝度変化パターンをタグ方向符号として符号化したものを記憶し、抽出した対象画像データＤの部分画像ＰＧの輝度変化パターンを方向符号として符号化し、この方向符号とタグ方向符号とを比較することで画像識別用タグを検出する画像識別システム。
【解決手段】 画像識別用タグは、その中心点Oから３６０度すべての方向に対して同じように変化する円形の輝度変化パターンを有している。タグ識別装置３によって、その輝度変化パターンをタグ方向符号として符号化したものを記憶し、抽出した対象画像データＤの部分画像ＰＧの輝度変化パターンを方向符号として符号化し、この方向符号とタグ方向符号とを比較することで画像識別用タグを検出する画像識別システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の位置等を画像処理によって認識するときにその対象物に付される画像識別用タグ及びそれを利用した画像識別システムに関する。
【背景技術】
【０００２】
従来から、自動化機械やロボットが対象物の位置等を認識するようになっているシステムにおいては、予めその対象物の決められた位置に特定のタグを印刷等により付しておき、自動化機械等がその対象物の位置を認識する際には、カメラにより撮像された対象画像の中から特定のタグを識別し、その識別されたタグの対象画像内における相対的な位置等に基づいて対象物の位置情報を取得する、ということが行なわれていた。
【０００３】
また、製品等に印刷されたバーコード等の情報を読み取る際には、作業員がバーコードの位置を把握してそれに読み取り機器を向けているが、その作業効率を上げるために、予めバーコードに対して相対的に決まった位置に特定のタグを付しておき、そのタグを上記と同様に識別し、そしてバーコードの位置を自動的に認識してバーコードの情報を読み取るということが有効であると考えられている。
【０００４】
さらには、自動車の安全性を高めるために、道路や近隣車両等の所定部位に予め特定のタグを付しておき、そのタグを上記と同様に画像処理により識別し、道路の形状や近隣車両の存在等を認識するというシステムもある。
このような種々のシステムを実施するためには、特定のタグの画像を識別装置側にテンプレートとして保存しておき、識別装置では、撮像した対象画像全体の中から部分的な画像を部分画像として順次切り出し、その部分画像毎にテンプレートと照合し、両者が一致した場合にタグを識別したという処理（テンプレートマッチング法）を実行することになる。
【０００５】
そして、従来の画像識別システムにあっては、カメラで撮像した対象画像を、直接テンプレート画像と照合するというのが一般的であった。しかしながら、そのように直接照合するという方法では、撮像時の状態によっては、対象画像の中で識別すべきタグの画像が、テンプレート画像とは厳密には一致しなくなり、照合が行なえず、タグが検出できない可能性が比較的高いという問題点がある。例えば、撮像時の照明の状態により、対象画像の輝度が変動してしまうからである。
【０００６】
なお、産業界での利用実績が比較的高い「正規化相関法」を適用したとしても、計算コストが高いという問題があり、しかも、一様な照明変動には対応可能であるが、局所的な照明不良（陰影やハイライト等の発生）や部分的な遮蔽には対応不可能である。
一方、非特許文献１、２に記載されるような「方向符号法」も公知である。即ち、「方向符号法」によれば、局所的及び大域的な照明変動にも対応可能であり、部分的な遮蔽にも対応可能である。但し、処理の一層の高速化が求められる。
【０００７】
その他、上記テンプレートマッチング法にあっては、カメラと撮像対象との相対位置が固定されていない場合には、識別すべきタグとカメラとの距離によりタグ画像の大きさが変動する、カメラの回転によりタグ画像の回転角度が変動する、識別すべきタグとカメラとの方向によりタグ画像に視覚歪が発生する、等々のために、テンプレート画像との照合が行なえずタグが検出できない可能性が比較的高いという欠点もある。
【０００８】
【非特許文献１】「実世界マシンビジョンのためのロバスト画像照合技術」金子俊一、Ｔ．ＩＥＥＥ Ｊａｐａｎ，Ｖｏｌ．１２１−Ｃ，Ｎｏ．５，２００１
【非特許文献２】Ｏｒｉｅｎｔａｔｉｏｎ Ｃｏｄｅ Ｍａｔｃｈｉｎｇ ｆｏｒ Ｒｏｂｕｓｔ Ｏｂｊｅｃｔ Ｓｅａｒｃｈ，Ｆ．Ｕｌｌａｈ ｅｔ ａｌ，ＩＥＩＣＥ Ｔｒａｎｓ．Ｉｎｆ．＆Ｓｙｓｔ．，Ｖｏｌ．Ｅ８４−Ｄ，Ａｕｇ，２００１
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記テンプレートマッチング法を実施するためには、実際には、予め用意されたテンプレート画像だけではなく、そのテンプレート画像の拡大画像や縮小画像、或いは回転させた画像、幾何学的関数により変形させた画像等をもテンプレート画像として生成し、それら全てのテンプレート画像と対象画像から切り出した部分画像との照合を行なうという対策が必要であった。
【００１０】
しかしながら、そのような対策には多大な計算コストが必要である。
計算コストを削減するためには、例えば、テンプレートの上記のような変形画像を生成する際の変形パラメータ（拡大率、縮小率、回転の分解能等）の値を飛び飛びに設定するということも考えられるが、これでは、計算コストは低減するものの、充分な照合が行なえずにタグの検出が行なえない可能性が高くなってしまう。
本発明は、このような従来の技術が有する問題点に着目してなされたものであって、カメラによる撮像時の照明状態やカメラと撮像対象との相対位置等の影響を受けずに識別することが可能な画像識別用タグ及びそれを用いた画像識別システムを提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、請求項１に係る発明は、対象物に付され画像処理により識別される画像識別用タグであって、円形を成し、この円の中心点を起点として半径方向に沿った輝度変化パターンを、全半径方向で同一としたものである。
また、請求項２に係る発明は、上記請求項１に係る発明である画像識別用タグにおいて、前記輝度変化パターンは、前記中心点から離れるに従って徐々に輝度が低くなる減少パターン及び徐々に輝度が高くなる増加パターンのいずれか一方とした。
【００１２】
上記目的を達成するために、請求項３に係る発明である画像識別システムは、請求項１及び請求項２のいずれか１項に記載されたタグと、このタグが付された対象物の画像を撮像可能な撮像手段と、この撮像手段が撮像した画像である対象画像から前記タグを識別するタグ識別手段と、を備えた。
また、請求項４に係る発明は、上記請求項３に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記タグを識別可能な特徴情報を記憶しており、前記対象画像から前記特徴情報と比較可能な比較情報を取得し、その取得された比較情報と前記特徴情報とを比較し、その比較結果に基づいて前記タグを識別するようにした。
【００１３】
そして、請求項５に係る発明は、上記請求項４に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記特徴情報を生成するのに用いた画像領域と同じ大きさの部分画像を前記対象画像から順次抽出し、その抽出された部分画像毎に前記比較画像を取得するようにした。
さらに、請求項６に係る発明は、上記請求項４及び請求項５のいずれか一項に係る発明である画像識別システムにおいて、前記特徴情報及び前記比較情報は、画素毎の輝度の最大増加方向及び最大減少方向のいずれか一方を表す方向符号とした。
【００１４】
そして、請求項７に係る発明は、上記請求項６に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記対象画像の各画素毎に、その画素の輝度値と、それに隣接する他の画素の輝度値との差を演算し、その演算結果に基づいて各画素毎の前記比較情報としての前記方向符号を求めるようにした。
また、請求項８に係る発明は、上記請求項４及び請求項５のいずれか一項に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記対象画像の各画素毎に輝度の最大増加方向及び最大減少方向のいずれか一方を表す方向符号を計算し、その計算された方向符号に基づいてタグの候補領域を選択し、その選択されたタグの候補領域に対して前記比較を行なうようにした。
【００１５】
さらに、請求項９に係る発明は、上記請求項８に係る発明である画像識別システムにおいて、前記タグの候補領域を選択する処理は、一の画素の方向符号とそれに隣接する他の画素の方向符号との差が所定しきい値以下である場合に、それら一の画素と他の画素とを同一のグループに分類するという分類処理を、前記対象画像全体に対して実行し、その分類処理の結果得られたグループのうち、予め定めた選出基準により選出されたグループの画像を前記タグの候補領域として選択する処理とした。
【００１６】
そして、請求項１０に係る発明は、上記請求項９に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記グループの中心点を求め、前記特徴情報を生成するのに用いた画像領域と同じ大きさの部分画像を前記中心点を中心として所定の範囲内で前記対象画像から抽出し、この部分画像を前記比較情報とするようにした。
また、請求項１１に係る発明は、上記請求項６から請求項１０のいずれか１項に係る発明である画像識別システムにおいて、前記特徴情報として、前記タグ上を通る任意の直線上に並ぶ前記方向符号の列である列状特徴情報を記憶しているとした。
【００１７】
さらに、請求項１２に係る発明は、上記請求項１１に係る発明である画像識別システムにおいて、前記任意の直線は、前記タグの中心を通る任意の直線であるとした。
そして、請求項羽１３に係る発明は、上記請求項１２に係る発明である画像識別システムにおいて、前記特徴情報として、前記タグの中心を通り且つ互いに交差する二本の直線それぞれに基づいて二種類の前記列状特徴情報を記憶しており、一方の前記列状特徴情報とそれに対応する一の列状の前記比較情報とを比較し、両者が一致又は近似のいずれかの場合に、他方の前記列状特徴情報とそれに対応する他の列状の前記比較情報とを比較し、この比較結果に基づいて前記タグを識別するようにした。
【００１８】
また、請求項１４に係る発明は、上記請求項１１及び請求項１２のいずれか１項に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記特徴情報として、前記列状特徴情報と、前記タグの中心を含み前記列状特徴情報よりもデータ数の多い領域の特徴情報である面状特徴情報とを記憶しており、前記列状特徴情報とそれに対応する列状の前記比較情報とを比較し、両者が一致又は近似のいずれかの場合に、該列状比較情報の中心点を中心として、前記面状特徴情報を生成するのに用いた画像領域と同じ大きさの部分画像を前記対象画像から抽出してこれをタグ確認用比較情報とし、該タグ確認用比較情報と前記面状特徴情報とを比較し、この比較結果に基づいて前記タグを識別するようにした。
【００１９】
さらに、請求項１５に係る発明は、上記請求項４から請求項１４のいずれか１項に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記比較情報を複数の領域に分割し、分割された該比較情報とそれに対応する前記特徴情報の一部とを比較し、この比較結果をも考慮して前記タグを識別するようにした。
そして、請求項１６に係る発明は、上記請求項４から請求項１５のいずれか１項に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記特徴情報と前記比較情報とを比較し、この比較結果に基づいて前記タグとして識別される前記比較情報を選択すると共に、選択された前記比較情報の中心座標を取得し、該中心座標のうち複数の中心座標が所定の範囲内にある場合に、この所定の範囲内にある複数の前記中心座標群の中心の座標を、前記タグの中心座標として算出するようにした。
【発明の効果】
【００２０】
本発明に係る画像識別用タグによれば、従来のタグとは異なり、それを撮像する際に照明やタグ位置が変化しても、その影響を受けにくく、また画像識別するために多数の変形テンプレートを用意する必要もなく単一のテンプレートで対応できるという効果がある。
そして、本発明に係る画像識別システムによれば、撮像時の照明条件や画像識別用タグと撮像手段との相対位置関係に関係なく、画像識別用タグをより確実で高速に識別することができるという効果がある。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態を説明する。
図１は、本発明に係る画像識別システムの第１の実施の形態の構成を示すシステム構成図であって、この実施の形態は、本発明に係る画像識別システムを、バーコードリーダに適用したものである。
先ず構成を説明すると、バーコードリーダ１は、倉庫の商品を管理する者が所持し、対象物としての商品１０の包装等に印刷されているバーコード１１から光学的に情報を読み取る装置であり、撮像手段としてのカメラ２と、このカメラ２が撮像した画像である対象画像が供給されるタグ識別手段としてのタグ識別装置３と、同じく対象画像が供給されるバーコード識別装置４と、を備えている。
【００２２】
カメラ２は、商品１０の撮像が可能な撮像領域と所定画素数とを備えたディジタルカメラであり、連続した撮像処理（例えば、１秒間に２４枚の撮像処理）が可能であって、撮影した各画像のデータである対象画像データＤを、順次、タグ識別装置３とバーコード識別装置４とに供給するようになっている。
なお、タグ識別装置３及びバーコード識別装置４は、この実施の形態ではそれぞれ独立した装置として説明しているが、バーコードリーダ１のカメラ２以外の部分は実際にはコンピュータ及びそれにインストールされたソフトウェアによって実現されるものであり、タグ識別装置３及びバーコード識別装置４も実際にはソフトウェアであってもよい。
【００２３】
そして、タグ識別装置３は、その機能構成を示すブロック図である図２に示すように、一画面分の画像データである対象画像データＤから、所定サイズの部分画像ＰＧを順次抽出する部分画像抽出部３１と、その抽出された部分画像ＰＧ毎に比較情報としての方向符号を演算する方向符号演算部３２と、を備えている。
ここで、本実施の形態では、商品１０の包装には、図３（ａ）又は（ｂ）に示すような画像識別用タグ１２が、バーコード１１の一方の対角線上にある二つの角に近接した二箇所に印刷により付されている。
【００２４】
画像識別用タグ１２は、その中心点Ｏを起点として、半径方向に沿った輝度変化パターンが全半径方向で同一になっている。なお、輝度変化パターンは、狭義の単調減少又は単調増加のパターンであればどのような変化パターンでも構わない。図３（ａ）の例であれば、図４（ａ）に示すように輝度値が直線的に減少するパターンであり、図３（ｂ）の例であれば、図４（ｂ）に示すように輝度値が直線的に増加するパターンである。その他、減少するパターンとしては、接線の傾きが負である曲線であればよく、図５（ａ）に示すように上に凸の曲線でもいいし、同（ｂ）に示すように下に凸の曲線でもいいし、同（ｃ）に示すようなＳ字曲線でもいいし、同（ｄ）に示すようなＳ字を二つ合わせたような曲線でもいい。増加パターンの場合も同様に種々のパターンが採用可能である。
【００２５】
図２に戻って、タグ識別装置３は、画像認識用タグ１２を識別可能な特徴情報としてのタグ方向符号３３を記憶部３３Ａに予め記憶している。
ここで、方向符号とは、例えば、図６に示すように、任意の画素Ｐ０を考えたとき、その画素Ｐ０に隣接して包囲する八つの画素Ｐ１〜Ｐ８の各輝度値と、画素Ｐ０の輝度値とをそれぞれ比較し、画素Ｐ０の輝度値からの増加（又は減少）幅が最も大きな方向を符号化してなる情報である。この場合であれば、紙面に向かって、右方向、斜め右上方向、上方向、斜め左上方向、左方向、斜め左下方向、下方向、斜め右下方向の８方向に、例えば、当該８方向に０〜７の番号を付すことで符号化してなる情報である。そして、この方向符号を画像識別用タグ１２の元データ全体に対して求めてそれを２次元データとして保存したものが、タグ方向符号３３となる。なお、ここでは画素Ｐ０に隣接する８つの画素に注目して８方向としたが、これに限定されることはなく、より多くの方向に、例えば周囲８つの画素の配置された方向それぞれの中間方向も含めて細分化し、この場合は各方向に０〜１５の番号を付して、より詳細な符号化をしても構わない。
【００２６】
また、ここではタグ方向符号３３を画像識別用タグ１２の元データから生成する方法を説明したが、これに限定されることなく、所定の大きさのタグ方向符号３３を直接計算して生成するようにしてもよい。このようにして生成したタグ方向符号３３は、すべての方向符号（上記の例では０〜７）が円周方向に連続して一様に現れ、また同一の半径上ではすべて同一の方向符号となる特徴がある。
【００２７】
そして、タグ識別装置３の上記部分画像抽出部３１は、タグ方向符号３３を生成する際に用いた画像サイズと同じ大きさの部分画像ＰＧを抽出するようになっており、上記方向符号演算部３２は、抽出された部分画像ＰＧに対してタグ方向符号３３を生成する際と同様の手順で演算を行なって部分画像ＰＧの方向符号を求めるようになっている。
ここで、例えば、図７（ａ）に示すように、画像データＤの画像サイズの大きさを高さ４８０画素、幅６４０画素とし、図７（ｂ）に示すように、タグ方向符号３３の画像サイズの大きさを高さ及び幅共に３２画素とした例を考える。即ちかかる例の場合、部分画像抽出部３１は、図７（ａ）に示すように、画像データＤの最上段左端から右端に向かって１画素移動する毎に部分画像ＰＧを順次抽出し、第１行の右端に達したら、第２行に移り左端から右端に向けて、順次最終行までこの部分画像ＰＧを抽出するということになる。
【００２８】
さらに、タグ識別装置３は、タグ方向符号３３と、部分画像ＰＧから順次演算される方向符号とを比較して、両者が一致又は近似しているかを判定する方向符号比較部３４と、この方向符号比較部３４が比較した両者が一致又は近似していると判定した場合に、そのときの部分画像ＰＧは画像識別用タグ１２であると判定し、部分画像抽出部３１の現在の抽出位置を認識することにより、対象画像データＤ中における画像識別用タグ１２の中心座標を求めるタグ座標演算部３５と、を備えている。
【００２９】
方向符号比較部３４は、タグ方向符号３３と部分画像ＰＧの対応するすべての画素について方向符号の差を集計する。そして、その集計値が０であれば「一致」と判定し、所定の閾値以内であれば「近似している」と判定する。なお、方向符号の差は次のように計算される。例えば、方向を８等分して方向符号（０〜７）を使う場合で説明する。２つの方向符号ＯＣ１とＯＣ２の差ｄは、以下の通りである。
ｄ＝Ｍｉｎ｛Ｇ，８−Ｇ｝
但し、Ｇ＝｜ＯＣ１−ＯＣ２｜
タグ座標演算部３５は、例えば、対象画像データＤの左上を座標の原点（０，０）として画像識別用タグ１２の中心座標（ｘ，ｙ）を求めるようになっている。
【００３０】
なお、ここでは対象画像データＤから部分画像ＰＧを抽出し、その部分画像ＰＧに対して方向符号を求める方法について説明したが、これに限定されることなく、対象画像データＤ全体に対して方向符号を求めておき、そこから部分画像ＰＧに対応する方向符号を抽出して、方向符号比較部３４に供給するようにしてもよい。
この実施の形態の場合、商品１０の包装には二つの画像認識用タグ１２が付されているから、タグ座標演算部３５は、二つの中心座標（ｘ１，ｙ１），（ｘ２，ｙ２）を取得することになり、それら二つの中心座標（ｘ１，ｙ１），（ｘ２，ｙ２）を、バーコード識別装置４に供給するようになっている。
【００３１】
そして、バーコード識別装置４は、供給された二つの中心座標（ｘ１，ｙ１），（ｘ２，ｙ２）を結ぶ線分を対角線とする長方形の領域を指定し、この領域内の領域指定画像情報を対象画像データＤから抽出する。なお、このとき必要ならカメラをズームして得られた拡大画像データから、より詳細な情報を抽出するようにしてもよい。この抽出された領域指定画像情報は、すなわちバーコード１１に他ならず、そしてバーコード識別装置４は、自身の内部に予め記憶しているバーコード記載内容情報に基づいて、そのバーコード１１に記載された内容情報を抽出し、これをバーコードリーダ１の外部にあるバーコード情報処理装置５に供給する。
【００３２】
そして、このバーコード情報処理装置５により、商品１０の管理情報が表示部に表示されたり、商品１０の在庫状況が管理されたりする。
なお、カメラ２が撮像対象に対して回転した場合でも、３６０度すべての方向に対して同じように変化する円形のパターンを画像識別用タグ１２に持たせているので、タグ識別装置３の処理は影響を受けない。
また、カメラ２が画像識別用タグ１２に接近又は遠ざかり、これによって撮像される画像識別用タグ１２の円形のパターンが拡大又は縮小しても、輝度が中心から３６０度すべての方向に対して同じように変化するという特徴は変わらず、その方向符号がタグ方向符号３３と同じなので画像識別用タグ１２を識別することができ、タグ識別装置３の処理は影響を受けない。
【００３３】
また、画像識別用タグ１２とカメラ２との方向により、撮像された画像識別用タグ１２の円形のパターンに視覚歪が発生しても、輝度が中心から３６０度全ての方向に対して変化するという特徴に変わりはなく、撮像された画像識別用タグ１２の方向符号とタグ方向符号３３の大部分とが一致することで、画像識別用タグ１２を識別することが可能となり、タグ識別装置３の処理は影響を受けない。
【００３４】
なお、本発明に係る画像識別用タグ及び画像識別システムでは、テンプレートマッチング処理として「方向符号法」を用いており、また画像識別用タグ１２の円形のパターンの輝度が中心から３６０度すべての方向に対して同じように変化するという特徴は変わらない。このため、例えば、画像識別用タグ１２をカメラ２で撮像する際に、照明変動が起きて画像識別用タグ１２上に影が発生したり、充分な光量が得られずに暗がりでの撮像だったとしても、撮像された対象画像データＤに基づく方向符号がタグ方向符号３３と同じであることに変わりはないので、タグ識別装置３の処理は影響を受けない。
【００３５】
このように、画像認識用タグ１２は、輝度が中心点Oから３６０度すべての方向に対して同じように変化する円形のパターンを持たせているので、この画像認識用タグ１２をカメラ２で撮像する際の状況が変化しても影響を受けない。
このため、テンプレートマッチングの際に、１つのテンプレート（タグ方向符号３３）を用意することでカメラ２での撮像状況に広く対応でき、計算コストを削減して画像識別処理を高速化できるという効果が得られる。
【００３６】
また、上記記載の理由により、画像識別用タグ１２とカメラ２との位置関係及び撮像状況に制約を受けずに画像識別用タグ１２を識別できるという効果が得られる。
図８は、本発明に係る前記画像識別用タグ１２を用いた画像識別システムの第２の実施の形態において、画像識別を高速化するための、タグ識別装置３の別の機能構成を示すブロック図である。
【００３７】
なお、上記実施の形態に記載されている、タグ識別装置３の構成における説明において、既述の部分の説明は適宜省略する。
方向符号比較部３４によるテンプレートマッチング処理に先立ち、上記実施の形態における画像識別の処理時間を短縮するために、方向符号演算部３２と部分画像抽出部３１との間にマスク生成処理部３６を配することにより、画像識別タグ用１２を照合する範囲が限定されるようになっている。
【００３８】
まず識別対象とする対象画像データＤ全体に対して上記の方向符号を方向符号演算部３２により算出する。その後、マスク生成処理部３６は、隣接する２つの画素の方向符号を調べ、２つの当該方向符号の値の差が所定の範囲にあるときに限り、当該２つの画素を同一グループＧとして分類する。例えば、方向符号の値の差が“ｃ”以内の範囲にあるときに限り、同一グループＧとして分類する場合について述べる。またここでは、方向を８等分し、０から７までの方向符号を割り当てる場合を説明する。
【００３９】
まず、対象画像データＤの中の隣接する２つの画素Ｐ１及びＰ２を取る。そして、それぞれの方向符号をＯＣ１及びＯＣ２とする。以下の条件が成立するときに限り、２つの画素Ｐ１及びＰ２を同一グループＧとして分類する。
Ｍｉｎ｛Ｇ，８−Ｇ｝≦ｃ
但し、Ｇ＝｜ＯＣ１−ＯＣ２｜
すなわち、２つの方向符号の差の絶対値Ｇ＝｜ＯＣ１−ＯＣ２｜を算出し、このＧ及び（８−Ｇ）の内どちらか小さい方の値を、当該２つの画素の方向符号の差として定義し、それが所定の値ｃ以内であれば、同一グループＧとして分類するようになっている。例えば、ＯＣ１＝０，ＯＣ２＝７の場合、上記方向符号の差は１と計算され、ｃ＝１の場合には、当該２つの画素Ｐ１及びＰ２は同一グループＧとして分類される。
【００４０】
上記の処理を対象画像の中の画素全てについて順次適用することにより、対象画像データＤは複数のグループＧ１，Ｇ２，…に分類される。
こうして得られた全てのグループＧ１，Ｇ２，…の中から、予め定めた選出基準によってマスクを選出する。なお、選出基準としては、例えば、グループＧの占める面積、真円度等が挙げられる。
【００４１】
そして、情報識別用タグ１２には、輝度が中心点Oから３６０度すべての方向に対して同じように変化する円形のパターンを持たせているので、その画像から生成される方向符号は連続した値をとる。従って、画像認識用タグ１２は、上記のグルーピング処理によって、一つのグループＧ、すなわちマスクとして抽出される。
マスクの生成処理が終了した後に、対象画像データＤのうち当該マスクに属する画素に限り、図９に示すように、対応する方向符号を部分画像抽出部３１によって抽出し、上記方向符号比較部３４によるテンプレートマッチング処理を行い、タグ方向符号３３との方向符号の照合を行う。
【００４２】
このように、画像認識用タグ１２は、輝度が中心点Oから３６０度すべての方向に対して同じように変化する円形のパターンであり、連続する一様な方向符号を持つという特徴があるので、上記グルーピング処理により、一つのグループＧとして抽出される。図９には、３つのグループＧ１，Ｇ２，Ｇ３が抽出された様子を示している。これをマスクとして選定し、対象画像データＤのうち当該マスクに属する画素に限り方向符号比較部３４により、方向符号の照合を行うことにより、照合回数が減少して画像識別のための処理が高速化されるという効果が得られる。
【００４３】
上記マスクを生成する方法として、対象画像の輝度を「２値化処理」することが広く行われている。しかし、この「２値化処理」は、対象画像をカメラで撮像する時の照明の状態により、大きな影響を受けマスクの形が安定しなくなってしまうことが広く知られている。これに対して、本実施例は、カメラ撮像時の照明状態の影響を受けずに効果的なマスクを生成することができるので、高速化を安定して実現することができるという効果が得られる。
【００４４】
次いで、上記第２の実施の形態における画像タグ識別装置３による別の画像タグ識別処理方法を第３の実施の形態として説明する。なお、上記第１及び第２の実施の形態に既述の部分の説明は適宜省略する。
図１０に示すように、まず、上記グルーピング処理を行って、マスクを生成する。そして、例えばマスクの上下左右の各端部座標に基づいて、このマスクの中心点Ｒを求め、この中心点Ｒを中心として所定の範囲内で部分画像抽出部３１により部分画像ＰＧを抽出する。そして、この抽出した部分画像ＰＧに対して、既述の方向符号の照合を行うことで画像識別用タグ１２を検出する。
【００４５】
このように、マスクの中心点Ｒを求めて、この中心点から所定の範囲内に対してのみ方向符号の照合を行うことにより、照合回数が減少して画像タグ識別のための処理が高速化されるという効果が得られる。即ち、マスク生成処理により生成されたマスクの画像領域全体に対し、順次部分画像ＰＧを抽出して方向符号の照合を行うよりも、照合対象の総数が生成されたマスクの数と同程度まで減らされる、つまり探索範囲が絞り込まれることになるからである。
【００４６】
さらに、画像タグ識別装置３による更に別の画像タグ識別処理方法を第４の実施の形態として説明する。なお、本実施の形態における画像タグ識別装置３の構成は、上記第２の実施の形態と同一であり、上記第１から第３の実施の形態に既述の部分の説明は適宜省略する。
この第４の実施の形態では、記憶領域３３Ａは、タグ方向符号３３を、画像識別用タグ１２の中心点Oを水平に通り、直線上に並んだ長さ３２画素の方向符号の列として記憶している。
【００４７】
例えば、上記第１の実施の形態で説明したような、３２画素×３２画素のテンプレート（タグ方向符号３３）があり、方向符号を０〜１５とすると、図１１に示すように、中心点Ｑを挟んで、その左半分には方向符号８（左向き）が、右半分には方向符号０（右向き）が以下のように並ぶ。ここでは、中心点Ｑの方向符号は０としておく。
例： ・・・８８８Ｑ０００・・・
本実施の形態では、この方向符号の列を水平方向部分テンプレート（列状特徴情報）とし、タグ方向符号３３として記憶している。
【００４８】
そして、図１２に示すように、画像データＤに対する方向符号から長さ３２画素の列状の部分画像ＰＧを比較情報として部分画像抽出部３１により順次抽出し、これを方向符号比較部３４にてタグ方向符号３３と比較する。そして、相互に一致又は近似した比較情報を選択することで、タグ座標演算部３５により画像データＤの中から画像識別用タグ１２の位置座標を検出している。
【００４９】
これにより、上記第１の実施の形態では、画像データＤの画像サイズがＬ×Ｍ（６４０×４８０）である場合に、Ｎ×Ｎ（Ｎ＝３２）のテンプレート画像サイズから、照合する画素の延べ数はＬ×Ｍ×Ｎ×Ｎ（約３×１０８）となっているが、本実施の形態では、テンプレート画像サイズは、Ｎ×１（Ｎ＝３２）となっているので、列状特徴情報を用いて比較を行った場合に照合する画素の延べ数はＬ×Ｍ×Ｎ（約１×１０７）となり、Ｎ（Ｎ＝３２）倍の高速化ができる。即ち、特徴情報及び比較情報の１度に比較する情報量をそれぞれ減らすことにより、高速化を図っている。
【００５０】
次に、第５の実施の形態の説明を行う。
なお、本実施の形態における画像タグ識別装置３の構成は、上記第２の実施の形態と同一であり、上記第１から第４の実施の形態に既述の部分の説明は適宜省略する。
図１３に示すように、記憶領域３３Ａは、上記第４の実施の形態で用いた水平方向部分テンプレート（タグ方向符号３３）を記憶すると共に、画像識別用タグ１２の中心点Oを垂直に通り、長さ３２画素の直線上に並んだ方向符号の列を別のタグ方向符号３３０として記憶している。上記第４の実施の形態で説明した、図１１に示すように、正方形状のテンプレートの中心点Ｑを挟んでこの画素列の上半分には方向符号４（上方向）が、下半分には方向符号１２（下方向）がそれぞれ並んでおり、これを垂直方向部分テンプレート（列状特徴情報）とし、タグ方向符号３３０として記憶している。
【００５１】
そして、上記第４の実施の形態と同様の処理で選択された一の比較情報の中心の画素と中心を同じにし、垂直に１列に並んだ３２画素の列からなる他の部分画像ＰＧを他の比較情報として画像データＤの方向符号より抽出する。そして、この比較情報とタグ方向符号３３０とを、方向符号比較部３４にて比較し、この比較結果に基づいて画像識別用タグ１２を検出している。
このように、まず、上記第４の実施の形態と同様に列状特徴情報による比較処理を行うことで画像識別用タグ１２の検出処理の高速化が図られ、さらに、画像識別用タグ１２が検出された位置に対して、再度別の列状特徴情報による比較処理が行われることにより、誤検出の防止ができる。
【００５２】
このようにして画像認識用タグを検出することで、水平方向に対して比較をしてから、更に垂直方向へ比較した場合の延べ数は、Ｌ×Ｍ×Ｎ＋Ｎ×ｋとなる。ここで言うｋとは、水平又は垂直方向でマッチしてから、更に垂直又は水平方向の比較をした件数であり、ｋ＜＜Ｌ×Ｍの関係である。
即ち、まず水平方向部分テンプレートによる比較処理を行うことで上記第１の実施の形態と比較してＮ倍の高速化ができる他、水平方向への比較を行った後に、更に垂直方向への比較を行う場合には、誤検出を減らすと共に、ほぼＮ倍の高速化ができるということになる。
【００５３】
なお、この第５の実施の形態では、最初に水平方向への比較を行ってから垂直方向への比較を行ったが、これに限定されることはなく、図１４（１）〜（５）に示すように、垂直方向部分テンプレートから水平方向部分テンプレートへの比較や、水平方向部分テンプレートによる比較処理を行ってから、数列の垂直方向部分テンプレートからなる面状テンプレート（面状特徴情報）とこの水平方向部分テンプレートのマッチした部分画像ＰＧの中心点を中心とする面状テンプレートと同じ大きさの画像領域を持つ画像データＤから抽出された部分画像ＰＧ（タグ確認用比較情報）との比較等を順次行っても構わない。
【００５４】
即ち、少ない情報量を持つテンプレートの１つとこれに対応する画像データＤの部分画像ＰＧとを比較し、この比較結果に基づいて実際の画像検出用タグ１２の検出範囲を絞り込んでから、他の、例えば、同等の情報量又はより情報量の多いテンプレートで更なる比較を行えば、高速化と誤検出防止とを両立できるということになる。
さらに、本実施の形態では、比較情報と特徴情報との比較を１度目の比較結果に基づいて２度行うようにしたが、本発明はこれに限定されず、複数回であれば何度比較を行っても構わない。ただし、実際に本発明を実施する場合には、産業的利用の観点から１度目の比較結果に基づいて２度目を行うに留めることが望ましい。
【００５５】
次に、第６の実施の形態として、画像識別用タグ１２の誤検出防止のための比較処理を方向符号比較部３４にて行う。なお、本実施の形態における画像タグ識別装置３の構成は、上記第２の実施の形態と同一であり、上記第１から第５の実施の形態に既述の部分の説明は適宜省略する。
まず、図１５に概念的に示すように、部分画像ＰＧ（方向符号群）を４つの象限（第１象限〜第４象限）に分割する。なお、この図１５では、方向符号を矢印で表わしている。本実施の形態で存在する方向符号を０〜１５とした場合、タグを検出するためのテンプレートの第１象限には方向符号０〜３のみが、第２象限には方向符号４〜７のみが、第３象限には方向符号８〜１１のみが、第４象限には方向符号１２〜１５のみが、それぞれ出現する。そこで、上記テンプレートと相互に一致又は近似と判定され、対象画像から選出された部分画像ＰＧの各象限を調べ、ありえない方向符号の出現数から出現比率を計算する。例えば、本実施の形態においては、本来ありえない方向符号である１４と４とがそれぞれ第３及び第４象限に存在している。この場合、各象限にある方向符号の総数を１００とすると、ありえない方向符号の出現比率は、第３及び第４象限共に０．０１となる。ここで、予め設定された閾値Ｅを例えば０．００５とすると、この出現比率は閾値を越えているので、この予め選出された部分画像ＰＧは、タグではないと棄却される。逆に、いずれの象限においても上記出現比率が、この予め設定された閾値Ｅを越えていない場合には、この部分画像ＰＧの抽出位置において画像識別用タグ１２が検出されているとしている。
【００５６】
このように、選出された部分画像ＰＧ全体に渡って差異を検出するのではなく、部分画像ＰＧを幾つかの象限に分割し、象限毎に差異を集計して判定するので、例えば上記第１から第５の実施の形態において選出された比較情報が、画像識別用タグ１２なのか否かをより正確に判定できるので、誤検出を防止できる。なお、上記部分画像ＰＧを象限毎に区切るのではなく、この部分画像ＰＧを任意の細部分画像として複数に分割しても良く、各細部分画像のそれぞれとこれに対応する上記テンプレートの一部とを相互に比較することで、より詳細に誤検出の防止ができる。
【００５７】
これにより、撮像された商品１０の表面上に画像識別用タグ１２と紛らわしい画像が生じている場合に、画像データＤから抽出される部分画像ＰＧが画像識別用タグ１２として誤検出されてしまうのを防止することができる。
一方、上記第１及び第２の実施の形態では、対象画像から抽出した部分画像ＰＧのうち上記テンプレートに一致又は近似したものの中で、最もテンプレートに近い１つを選出するとしたが、第７の実施の形態として、複数の部分画像ＰＧを選出すると共に、選出された部分画像ＰＧ毎の中心座標を求め、これら中心座標のうち複数が、予め設定された範囲内にある場合に、この設定された範囲内にある複数の中心座標の中心の座標を求めて、この座標をタグの中心座標として検出しても良い。
【００５８】
図１６（ａ）に示すのは、１つの画像識別用タグ１２が、上記第１の実施の形態で用いられたカメラ２により、カメラの解像度や撮像状況が原因で、この画像識別用タグ１２の中心点Ｒが複数回検出された様子を示している。
また、画像識別用タグ１２の特性により、タグの中心座標に近づく程、選出される部分画像ＰＧの個数は飛躍的に増大する。そこで、図１６（ｂ）に示すように、所定の範囲内で検出された中心座標群の重心Ｒ−を取ることで、上記頂点の座標に近似する座標を算出することができる。
【００５９】
カメラの解像度が低い場合やカメラレンズの焦点がずれている場合、量子化誤差によりタグの中心が必ずしもテンプレートに一致しないことがあるが、このとき複数の検出点の座標の重心をとるので、量子化誤差の影響を緩和できる。
上記の第１から第７の実施の形態の画像識別用タグ及び画像識別システムは、次のような用途に用いることが可能である。
【００６０】
上記タグ座標演算部３５により算出される画像識別用タグ１２の位置情報を得て、アプリケーションに対する“ランドマーク”として利用する。例えば、移動ロボットの進行目標として走行機構を制御する。また、空間的に分割して撮影された画像や時系列的に分割して撮影された画像を重ね合わせる際の、基準点とする。あるいは、複数のカメラやプロジェクタを相互にキャリブレーションする際の、基準点とする。
【００６１】
また、複数の上記位置情報を得て、それらの相互関係に基づく特徴量を算出し利用する。例えば、平面上に配置した４つの画像識別用タグの位置情報から、透視変換行列を計算して、当該平面の位置や姿勢を同定する。又は、立体に配置した４つの画像識別用タグの位置情報から、２つの当該画像識別用タグを結ぶ直線を２本得て、その交点を求めることにより、直接指定できない点の位置を同定する。
【００６２】
このように、画像識別用タグの位置情報を用いた情報処理により、アプリケーションに対する“ランドマーク”を安定して検出できるので、例えば、移動ロボットは進行目標を見失わずに走行できるという効果が得られる。また、複数の画像識別用タグの位置関係に基づいて特徴量を算出して利用するので、例えば、カメラ撮像条件の影響を受け易い２値化処理による特徴点の検出に比べて、はるかに安定して特徴量を算出できるという効果が得られる。
【００６３】
また、図５に示すような、輝度及び中心点Oからの距離との関係を示すグラデーショングラフに基づいて、画像識別用タグ情報を生成し、これを印刷することができる。
画像識別用タグは、次のように生成することができる。画像識別用タグの生成処理にあたり、まず画像識別用タグの大きさ（中心点Oからの距離ｒ）、パターンの輝度変化曲線（グラデーショングラフ）、パターンの色などに基づいて、画像識別用タグ情報を生成する。また特徴量の指定を受け、その値を算出するために生成する複数の画像識別用タグそれぞれの配置位置を決定する。そして、指定された媒体の上に当該画像識別用タグ情報に基づいて画像識別用タグを印刷する。なお、前記指定された媒体には、紙、ねじのプレート部、シール、電化製品の表面、透明シート等が挙げられる。
【００６４】
このように、安定して識別される高品質の画像識別用タグ情報を、印刷機器の印刷特性に応じて手軽に生成できるという効果が得られる。また、所定の特徴量を算出するための複数の画像識別用タグの配置位置を、煩雑な計算をせずに特定できるという効果が得られる。
ここでは、上記第１から第７の実施の形態において、図１のカメラ２が前記撮像手段に対応し、図２のタグ識別装置３が前記タグ識別手段に対応している。
【図面の簡単な説明】
【００６５】
【図１】画像識別システムの一実施の形態の構成を示すシステム構成図である。
【図２】タグ識別装置の機能構成を示すブロック図である。
【図３】画像識別用タグの中心点から離れるに従って輝度が減少するパターン及び増加するパターンの一例を示す図である。
【図４】画像識別用タグの輝度及び中心点からの距離との関係を示すグラデーショングラフの一例を示す図である。
【図５】画像識別用タグの輝度及び中心点からの距離との関係を示すグラデーショングラフの他の一例を示す図である。
【図６】方向符号の生成を説明するための概略図の一例である。
【図７】タグ識別手段の一例を示す図である。
【図８】タグ識別装置の機能構成を示す他のブロック図である。
【図９】タグ識別手段の一例を示す別の図である。
【図１０】タグ識別手段の一例を示す更に別の図である。
【図１１】タグ識別手段で用いるテンプレートの一例を示す図である。
【図１２】タグ識別手段の一例を示す図である。
【図１３】タグ識別装置の機能構成を示す更に他のブロック図である。
【図１４】タグ識別手段の一例を示す別の図である。
【図１５】部分画像ＰＧを４つの象限に概念的に分割した一例を示す図である。
【図１６】タグ識別手段で検出される複数のタグの中心点の平均を取る様子を表わす図である。
【符号の説明】
【００６６】
２ カメラ
３ タグ識別装置
４ バーコード識別装置
５ バーコード情報処理装置
１１ バーコード
１２ 画像識別用タグ
３１ 部分画像抽出部
３２ 方向符号演算部
３３ タグ方向符号
３３０ タグ方向符号
３３Ａ 記憶部
３４ 方向符号比較部
３５ タグ座標演算部
３６ マスク生成処理部
Ｄ 対象画像データ
Ｇ グループ
ＰＧ 部分画像
【技術分野】
【０００１】
本発明は、対象物の位置等を画像処理によって認識するときにその対象物に付される画像識別用タグ及びそれを利用した画像識別システムに関する。
【背景技術】
【０００２】
従来から、自動化機械やロボットが対象物の位置等を認識するようになっているシステムにおいては、予めその対象物の決められた位置に特定のタグを印刷等により付しておき、自動化機械等がその対象物の位置を認識する際には、カメラにより撮像された対象画像の中から特定のタグを識別し、その識別されたタグの対象画像内における相対的な位置等に基づいて対象物の位置情報を取得する、ということが行なわれていた。
【０００３】
また、製品等に印刷されたバーコード等の情報を読み取る際には、作業員がバーコードの位置を把握してそれに読み取り機器を向けているが、その作業効率を上げるために、予めバーコードに対して相対的に決まった位置に特定のタグを付しておき、そのタグを上記と同様に識別し、そしてバーコードの位置を自動的に認識してバーコードの情報を読み取るということが有効であると考えられている。
【０００４】
さらには、自動車の安全性を高めるために、道路や近隣車両等の所定部位に予め特定のタグを付しておき、そのタグを上記と同様に画像処理により識別し、道路の形状や近隣車両の存在等を認識するというシステムもある。
このような種々のシステムを実施するためには、特定のタグの画像を識別装置側にテンプレートとして保存しておき、識別装置では、撮像した対象画像全体の中から部分的な画像を部分画像として順次切り出し、その部分画像毎にテンプレートと照合し、両者が一致した場合にタグを識別したという処理（テンプレートマッチング法）を実行することになる。
【０００５】
そして、従来の画像識別システムにあっては、カメラで撮像した対象画像を、直接テンプレート画像と照合するというのが一般的であった。しかしながら、そのように直接照合するという方法では、撮像時の状態によっては、対象画像の中で識別すべきタグの画像が、テンプレート画像とは厳密には一致しなくなり、照合が行なえず、タグが検出できない可能性が比較的高いという問題点がある。例えば、撮像時の照明の状態により、対象画像の輝度が変動してしまうからである。
【０００６】
なお、産業界での利用実績が比較的高い「正規化相関法」を適用したとしても、計算コストが高いという問題があり、しかも、一様な照明変動には対応可能であるが、局所的な照明不良（陰影やハイライト等の発生）や部分的な遮蔽には対応不可能である。
一方、非特許文献１、２に記載されるような「方向符号法」も公知である。即ち、「方向符号法」によれば、局所的及び大域的な照明変動にも対応可能であり、部分的な遮蔽にも対応可能である。但し、処理の一層の高速化が求められる。
【０００７】
その他、上記テンプレートマッチング法にあっては、カメラと撮像対象との相対位置が固定されていない場合には、識別すべきタグとカメラとの距離によりタグ画像の大きさが変動する、カメラの回転によりタグ画像の回転角度が変動する、識別すべきタグとカメラとの方向によりタグ画像に視覚歪が発生する、等々のために、テンプレート画像との照合が行なえずタグが検出できない可能性が比較的高いという欠点もある。
【０００８】
【非特許文献１】「実世界マシンビジョンのためのロバスト画像照合技術」金子俊一、Ｔ．ＩＥＥＥ Ｊａｐａｎ，Ｖｏｌ．１２１−Ｃ，Ｎｏ．５，２００１
【非特許文献２】Ｏｒｉｅｎｔａｔｉｏｎ Ｃｏｄｅ Ｍａｔｃｈｉｎｇ ｆｏｒ Ｒｏｂｕｓｔ Ｏｂｊｅｃｔ Ｓｅａｒｃｈ，Ｆ．Ｕｌｌａｈ ｅｔ ａｌ，ＩＥＩＣＥ Ｔｒａｎｓ．Ｉｎｆ．＆Ｓｙｓｔ．，Ｖｏｌ．Ｅ８４−Ｄ，Ａｕｇ，２００１
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記テンプレートマッチング法を実施するためには、実際には、予め用意されたテンプレート画像だけではなく、そのテンプレート画像の拡大画像や縮小画像、或いは回転させた画像、幾何学的関数により変形させた画像等をもテンプレート画像として生成し、それら全てのテンプレート画像と対象画像から切り出した部分画像との照合を行なうという対策が必要であった。
【００１０】
しかしながら、そのような対策には多大な計算コストが必要である。
計算コストを削減するためには、例えば、テンプレートの上記のような変形画像を生成する際の変形パラメータ（拡大率、縮小率、回転の分解能等）の値を飛び飛びに設定するということも考えられるが、これでは、計算コストは低減するものの、充分な照合が行なえずにタグの検出が行なえない可能性が高くなってしまう。
本発明は、このような従来の技術が有する問題点に着目してなされたものであって、カメラによる撮像時の照明状態やカメラと撮像対象との相対位置等の影響を受けずに識別することが可能な画像識別用タグ及びそれを用いた画像識別システムを提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、請求項１に係る発明は、対象物に付され画像処理により識別される画像識別用タグであって、円形を成し、この円の中心点を起点として半径方向に沿った輝度変化パターンを、全半径方向で同一としたものである。
また、請求項２に係る発明は、上記請求項１に係る発明である画像識別用タグにおいて、前記輝度変化パターンは、前記中心点から離れるに従って徐々に輝度が低くなる減少パターン及び徐々に輝度が高くなる増加パターンのいずれか一方とした。
【００１２】
上記目的を達成するために、請求項３に係る発明である画像識別システムは、請求項１及び請求項２のいずれか１項に記載されたタグと、このタグが付された対象物の画像を撮像可能な撮像手段と、この撮像手段が撮像した画像である対象画像から前記タグを識別するタグ識別手段と、を備えた。
また、請求項４に係る発明は、上記請求項３に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記タグを識別可能な特徴情報を記憶しており、前記対象画像から前記特徴情報と比較可能な比較情報を取得し、その取得された比較情報と前記特徴情報とを比較し、その比較結果に基づいて前記タグを識別するようにした。
【００１３】
そして、請求項５に係る発明は、上記請求項４に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記特徴情報を生成するのに用いた画像領域と同じ大きさの部分画像を前記対象画像から順次抽出し、その抽出された部分画像毎に前記比較画像を取得するようにした。
さらに、請求項６に係る発明は、上記請求項４及び請求項５のいずれか一項に係る発明である画像識別システムにおいて、前記特徴情報及び前記比較情報は、画素毎の輝度の最大増加方向及び最大減少方向のいずれか一方を表す方向符号とした。
【００１４】
そして、請求項７に係る発明は、上記請求項６に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記対象画像の各画素毎に、その画素の輝度値と、それに隣接する他の画素の輝度値との差を演算し、その演算結果に基づいて各画素毎の前記比較情報としての前記方向符号を求めるようにした。
また、請求項８に係る発明は、上記請求項４及び請求項５のいずれか一項に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記対象画像の各画素毎に輝度の最大増加方向及び最大減少方向のいずれか一方を表す方向符号を計算し、その計算された方向符号に基づいてタグの候補領域を選択し、その選択されたタグの候補領域に対して前記比較を行なうようにした。
【００１５】
さらに、請求項９に係る発明は、上記請求項８に係る発明である画像識別システムにおいて、前記タグの候補領域を選択する処理は、一の画素の方向符号とそれに隣接する他の画素の方向符号との差が所定しきい値以下である場合に、それら一の画素と他の画素とを同一のグループに分類するという分類処理を、前記対象画像全体に対して実行し、その分類処理の結果得られたグループのうち、予め定めた選出基準により選出されたグループの画像を前記タグの候補領域として選択する処理とした。
【００１６】
そして、請求項１０に係る発明は、上記請求項９に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記グループの中心点を求め、前記特徴情報を生成するのに用いた画像領域と同じ大きさの部分画像を前記中心点を中心として所定の範囲内で前記対象画像から抽出し、この部分画像を前記比較情報とするようにした。
また、請求項１１に係る発明は、上記請求項６から請求項１０のいずれか１項に係る発明である画像識別システムにおいて、前記特徴情報として、前記タグ上を通る任意の直線上に並ぶ前記方向符号の列である列状特徴情報を記憶しているとした。
【００１７】
さらに、請求項１２に係る発明は、上記請求項１１に係る発明である画像識別システムにおいて、前記任意の直線は、前記タグの中心を通る任意の直線であるとした。
そして、請求項羽１３に係る発明は、上記請求項１２に係る発明である画像識別システムにおいて、前記特徴情報として、前記タグの中心を通り且つ互いに交差する二本の直線それぞれに基づいて二種類の前記列状特徴情報を記憶しており、一方の前記列状特徴情報とそれに対応する一の列状の前記比較情報とを比較し、両者が一致又は近似のいずれかの場合に、他方の前記列状特徴情報とそれに対応する他の列状の前記比較情報とを比較し、この比較結果に基づいて前記タグを識別するようにした。
【００１８】
また、請求項１４に係る発明は、上記請求項１１及び請求項１２のいずれか１項に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記特徴情報として、前記列状特徴情報と、前記タグの中心を含み前記列状特徴情報よりもデータ数の多い領域の特徴情報である面状特徴情報とを記憶しており、前記列状特徴情報とそれに対応する列状の前記比較情報とを比較し、両者が一致又は近似のいずれかの場合に、該列状比較情報の中心点を中心として、前記面状特徴情報を生成するのに用いた画像領域と同じ大きさの部分画像を前記対象画像から抽出してこれをタグ確認用比較情報とし、該タグ確認用比較情報と前記面状特徴情報とを比較し、この比較結果に基づいて前記タグを識別するようにした。
【００１９】
さらに、請求項１５に係る発明は、上記請求項４から請求項１４のいずれか１項に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記比較情報を複数の領域に分割し、分割された該比較情報とそれに対応する前記特徴情報の一部とを比較し、この比較結果をも考慮して前記タグを識別するようにした。
そして、請求項１６に係る発明は、上記請求項４から請求項１５のいずれか１項に係る発明である画像識別システムにおいて、前記タグ識別手段は、前記特徴情報と前記比較情報とを比較し、この比較結果に基づいて前記タグとして識別される前記比較情報を選択すると共に、選択された前記比較情報の中心座標を取得し、該中心座標のうち複数の中心座標が所定の範囲内にある場合に、この所定の範囲内にある複数の前記中心座標群の中心の座標を、前記タグの中心座標として算出するようにした。
【発明の効果】
【００２０】
本発明に係る画像識別用タグによれば、従来のタグとは異なり、それを撮像する際に照明やタグ位置が変化しても、その影響を受けにくく、また画像識別するために多数の変形テンプレートを用意する必要もなく単一のテンプレートで対応できるという効果がある。
そして、本発明に係る画像識別システムによれば、撮像時の照明条件や画像識別用タグと撮像手段との相対位置関係に関係なく、画像識別用タグをより確実で高速に識別することができるという効果がある。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態を説明する。
図１は、本発明に係る画像識別システムの第１の実施の形態の構成を示すシステム構成図であって、この実施の形態は、本発明に係る画像識別システムを、バーコードリーダに適用したものである。
先ず構成を説明すると、バーコードリーダ１は、倉庫の商品を管理する者が所持し、対象物としての商品１０の包装等に印刷されているバーコード１１から光学的に情報を読み取る装置であり、撮像手段としてのカメラ２と、このカメラ２が撮像した画像である対象画像が供給されるタグ識別手段としてのタグ識別装置３と、同じく対象画像が供給されるバーコード識別装置４と、を備えている。
【００２２】
カメラ２は、商品１０の撮像が可能な撮像領域と所定画素数とを備えたディジタルカメラであり、連続した撮像処理（例えば、１秒間に２４枚の撮像処理）が可能であって、撮影した各画像のデータである対象画像データＤを、順次、タグ識別装置３とバーコード識別装置４とに供給するようになっている。
なお、タグ識別装置３及びバーコード識別装置４は、この実施の形態ではそれぞれ独立した装置として説明しているが、バーコードリーダ１のカメラ２以外の部分は実際にはコンピュータ及びそれにインストールされたソフトウェアによって実現されるものであり、タグ識別装置３及びバーコード識別装置４も実際にはソフトウェアであってもよい。
【００２３】
そして、タグ識別装置３は、その機能構成を示すブロック図である図２に示すように、一画面分の画像データである対象画像データＤから、所定サイズの部分画像ＰＧを順次抽出する部分画像抽出部３１と、その抽出された部分画像ＰＧ毎に比較情報としての方向符号を演算する方向符号演算部３２と、を備えている。
ここで、本実施の形態では、商品１０の包装には、図３（ａ）又は（ｂ）に示すような画像識別用タグ１２が、バーコード１１の一方の対角線上にある二つの角に近接した二箇所に印刷により付されている。
【００２４】
画像識別用タグ１２は、その中心点Ｏを起点として、半径方向に沿った輝度変化パターンが全半径方向で同一になっている。なお、輝度変化パターンは、狭義の単調減少又は単調増加のパターンであればどのような変化パターンでも構わない。図３（ａ）の例であれば、図４（ａ）に示すように輝度値が直線的に減少するパターンであり、図３（ｂ）の例であれば、図４（ｂ）に示すように輝度値が直線的に増加するパターンである。その他、減少するパターンとしては、接線の傾きが負である曲線であればよく、図５（ａ）に示すように上に凸の曲線でもいいし、同（ｂ）に示すように下に凸の曲線でもいいし、同（ｃ）に示すようなＳ字曲線でもいいし、同（ｄ）に示すようなＳ字を二つ合わせたような曲線でもいい。増加パターンの場合も同様に種々のパターンが採用可能である。
【００２５】
図２に戻って、タグ識別装置３は、画像認識用タグ１２を識別可能な特徴情報としてのタグ方向符号３３を記憶部３３Ａに予め記憶している。
ここで、方向符号とは、例えば、図６に示すように、任意の画素Ｐ０を考えたとき、その画素Ｐ０に隣接して包囲する八つの画素Ｐ１〜Ｐ８の各輝度値と、画素Ｐ０の輝度値とをそれぞれ比較し、画素Ｐ０の輝度値からの増加（又は減少）幅が最も大きな方向を符号化してなる情報である。この場合であれば、紙面に向かって、右方向、斜め右上方向、上方向、斜め左上方向、左方向、斜め左下方向、下方向、斜め右下方向の８方向に、例えば、当該８方向に０〜７の番号を付すことで符号化してなる情報である。そして、この方向符号を画像識別用タグ１２の元データ全体に対して求めてそれを２次元データとして保存したものが、タグ方向符号３３となる。なお、ここでは画素Ｐ０に隣接する８つの画素に注目して８方向としたが、これに限定されることはなく、より多くの方向に、例えば周囲８つの画素の配置された方向それぞれの中間方向も含めて細分化し、この場合は各方向に０〜１５の番号を付して、より詳細な符号化をしても構わない。
【００２６】
また、ここではタグ方向符号３３を画像識別用タグ１２の元データから生成する方法を説明したが、これに限定されることなく、所定の大きさのタグ方向符号３３を直接計算して生成するようにしてもよい。このようにして生成したタグ方向符号３３は、すべての方向符号（上記の例では０〜７）が円周方向に連続して一様に現れ、また同一の半径上ではすべて同一の方向符号となる特徴がある。
【００２７】
そして、タグ識別装置３の上記部分画像抽出部３１は、タグ方向符号３３を生成する際に用いた画像サイズと同じ大きさの部分画像ＰＧを抽出するようになっており、上記方向符号演算部３２は、抽出された部分画像ＰＧに対してタグ方向符号３３を生成する際と同様の手順で演算を行なって部分画像ＰＧの方向符号を求めるようになっている。
ここで、例えば、図７（ａ）に示すように、画像データＤの画像サイズの大きさを高さ４８０画素、幅６４０画素とし、図７（ｂ）に示すように、タグ方向符号３３の画像サイズの大きさを高さ及び幅共に３２画素とした例を考える。即ちかかる例の場合、部分画像抽出部３１は、図７（ａ）に示すように、画像データＤの最上段左端から右端に向かって１画素移動する毎に部分画像ＰＧを順次抽出し、第１行の右端に達したら、第２行に移り左端から右端に向けて、順次最終行までこの部分画像ＰＧを抽出するということになる。
【００２８】
さらに、タグ識別装置３は、タグ方向符号３３と、部分画像ＰＧから順次演算される方向符号とを比較して、両者が一致又は近似しているかを判定する方向符号比較部３４と、この方向符号比較部３４が比較した両者が一致又は近似していると判定した場合に、そのときの部分画像ＰＧは画像識別用タグ１２であると判定し、部分画像抽出部３１の現在の抽出位置を認識することにより、対象画像データＤ中における画像識別用タグ１２の中心座標を求めるタグ座標演算部３５と、を備えている。
【００２９】
方向符号比較部３４は、タグ方向符号３３と部分画像ＰＧの対応するすべての画素について方向符号の差を集計する。そして、その集計値が０であれば「一致」と判定し、所定の閾値以内であれば「近似している」と判定する。なお、方向符号の差は次のように計算される。例えば、方向を８等分して方向符号（０〜７）を使う場合で説明する。２つの方向符号ＯＣ１とＯＣ２の差ｄは、以下の通りである。
ｄ＝Ｍｉｎ｛Ｇ，８−Ｇ｝
但し、Ｇ＝｜ＯＣ１−ＯＣ２｜
タグ座標演算部３５は、例えば、対象画像データＤの左上を座標の原点（０，０）として画像識別用タグ１２の中心座標（ｘ，ｙ）を求めるようになっている。
【００３０】
なお、ここでは対象画像データＤから部分画像ＰＧを抽出し、その部分画像ＰＧに対して方向符号を求める方法について説明したが、これに限定されることなく、対象画像データＤ全体に対して方向符号を求めておき、そこから部分画像ＰＧに対応する方向符号を抽出して、方向符号比較部３４に供給するようにしてもよい。
この実施の形態の場合、商品１０の包装には二つの画像認識用タグ１２が付されているから、タグ座標演算部３５は、二つの中心座標（ｘ１，ｙ１），（ｘ２，ｙ２）を取得することになり、それら二つの中心座標（ｘ１，ｙ１），（ｘ２，ｙ２）を、バーコード識別装置４に供給するようになっている。
【００３１】
そして、バーコード識別装置４は、供給された二つの中心座標（ｘ１，ｙ１），（ｘ２，ｙ２）を結ぶ線分を対角線とする長方形の領域を指定し、この領域内の領域指定画像情報を対象画像データＤから抽出する。なお、このとき必要ならカメラをズームして得られた拡大画像データから、より詳細な情報を抽出するようにしてもよい。この抽出された領域指定画像情報は、すなわちバーコード１１に他ならず、そしてバーコード識別装置４は、自身の内部に予め記憶しているバーコード記載内容情報に基づいて、そのバーコード１１に記載された内容情報を抽出し、これをバーコードリーダ１の外部にあるバーコード情報処理装置５に供給する。
【００３２】
そして、このバーコード情報処理装置５により、商品１０の管理情報が表示部に表示されたり、商品１０の在庫状況が管理されたりする。
なお、カメラ２が撮像対象に対して回転した場合でも、３６０度すべての方向に対して同じように変化する円形のパターンを画像識別用タグ１２に持たせているので、タグ識別装置３の処理は影響を受けない。
また、カメラ２が画像識別用タグ１２に接近又は遠ざかり、これによって撮像される画像識別用タグ１２の円形のパターンが拡大又は縮小しても、輝度が中心から３６０度すべての方向に対して同じように変化するという特徴は変わらず、その方向符号がタグ方向符号３３と同じなので画像識別用タグ１２を識別することができ、タグ識別装置３の処理は影響を受けない。
【００３３】
また、画像識別用タグ１２とカメラ２との方向により、撮像された画像識別用タグ１２の円形のパターンに視覚歪が発生しても、輝度が中心から３６０度全ての方向に対して変化するという特徴に変わりはなく、撮像された画像識別用タグ１２の方向符号とタグ方向符号３３の大部分とが一致することで、画像識別用タグ１２を識別することが可能となり、タグ識別装置３の処理は影響を受けない。
【００３４】
なお、本発明に係る画像識別用タグ及び画像識別システムでは、テンプレートマッチング処理として「方向符号法」を用いており、また画像識別用タグ１２の円形のパターンの輝度が中心から３６０度すべての方向に対して同じように変化するという特徴は変わらない。このため、例えば、画像識別用タグ１２をカメラ２で撮像する際に、照明変動が起きて画像識別用タグ１２上に影が発生したり、充分な光量が得られずに暗がりでの撮像だったとしても、撮像された対象画像データＤに基づく方向符号がタグ方向符号３３と同じであることに変わりはないので、タグ識別装置３の処理は影響を受けない。
【００３５】
このように、画像認識用タグ１２は、輝度が中心点Oから３６０度すべての方向に対して同じように変化する円形のパターンを持たせているので、この画像認識用タグ１２をカメラ２で撮像する際の状況が変化しても影響を受けない。
このため、テンプレートマッチングの際に、１つのテンプレート（タグ方向符号３３）を用意することでカメラ２での撮像状況に広く対応でき、計算コストを削減して画像識別処理を高速化できるという効果が得られる。
【００３６】
また、上記記載の理由により、画像識別用タグ１２とカメラ２との位置関係及び撮像状況に制約を受けずに画像識別用タグ１２を識別できるという効果が得られる。
図８は、本発明に係る前記画像識別用タグ１２を用いた画像識別システムの第２の実施の形態において、画像識別を高速化するための、タグ識別装置３の別の機能構成を示すブロック図である。
【００３７】
なお、上記実施の形態に記載されている、タグ識別装置３の構成における説明において、既述の部分の説明は適宜省略する。
方向符号比較部３４によるテンプレートマッチング処理に先立ち、上記実施の形態における画像識別の処理時間を短縮するために、方向符号演算部３２と部分画像抽出部３１との間にマスク生成処理部３６を配することにより、画像識別タグ用１２を照合する範囲が限定されるようになっている。
【００３８】
まず識別対象とする対象画像データＤ全体に対して上記の方向符号を方向符号演算部３２により算出する。その後、マスク生成処理部３６は、隣接する２つの画素の方向符号を調べ、２つの当該方向符号の値の差が所定の範囲にあるときに限り、当該２つの画素を同一グループＧとして分類する。例えば、方向符号の値の差が“ｃ”以内の範囲にあるときに限り、同一グループＧとして分類する場合について述べる。またここでは、方向を８等分し、０から７までの方向符号を割り当てる場合を説明する。
【００３９】
まず、対象画像データＤの中の隣接する２つの画素Ｐ１及びＰ２を取る。そして、それぞれの方向符号をＯＣ１及びＯＣ２とする。以下の条件が成立するときに限り、２つの画素Ｐ１及びＰ２を同一グループＧとして分類する。
Ｍｉｎ｛Ｇ，８−Ｇ｝≦ｃ
但し、Ｇ＝｜ＯＣ１−ＯＣ２｜
すなわち、２つの方向符号の差の絶対値Ｇ＝｜ＯＣ１−ＯＣ２｜を算出し、このＧ及び（８−Ｇ）の内どちらか小さい方の値を、当該２つの画素の方向符号の差として定義し、それが所定の値ｃ以内であれば、同一グループＧとして分類するようになっている。例えば、ＯＣ１＝０，ＯＣ２＝７の場合、上記方向符号の差は１と計算され、ｃ＝１の場合には、当該２つの画素Ｐ１及びＰ２は同一グループＧとして分類される。
【００４０】
上記の処理を対象画像の中の画素全てについて順次適用することにより、対象画像データＤは複数のグループＧ１，Ｇ２，…に分類される。
こうして得られた全てのグループＧ１，Ｇ２，…の中から、予め定めた選出基準によってマスクを選出する。なお、選出基準としては、例えば、グループＧの占める面積、真円度等が挙げられる。
【００４１】
そして、情報識別用タグ１２には、輝度が中心点Oから３６０度すべての方向に対して同じように変化する円形のパターンを持たせているので、その画像から生成される方向符号は連続した値をとる。従って、画像認識用タグ１２は、上記のグルーピング処理によって、一つのグループＧ、すなわちマスクとして抽出される。
マスクの生成処理が終了した後に、対象画像データＤのうち当該マスクに属する画素に限り、図９に示すように、対応する方向符号を部分画像抽出部３１によって抽出し、上記方向符号比較部３４によるテンプレートマッチング処理を行い、タグ方向符号３３との方向符号の照合を行う。
【００４２】
このように、画像認識用タグ１２は、輝度が中心点Oから３６０度すべての方向に対して同じように変化する円形のパターンであり、連続する一様な方向符号を持つという特徴があるので、上記グルーピング処理により、一つのグループＧとして抽出される。図９には、３つのグループＧ１，Ｇ２，Ｇ３が抽出された様子を示している。これをマスクとして選定し、対象画像データＤのうち当該マスクに属する画素に限り方向符号比較部３４により、方向符号の照合を行うことにより、照合回数が減少して画像識別のための処理が高速化されるという効果が得られる。
【００４３】
上記マスクを生成する方法として、対象画像の輝度を「２値化処理」することが広く行われている。しかし、この「２値化処理」は、対象画像をカメラで撮像する時の照明の状態により、大きな影響を受けマスクの形が安定しなくなってしまうことが広く知られている。これに対して、本実施例は、カメラ撮像時の照明状態の影響を受けずに効果的なマスクを生成することができるので、高速化を安定して実現することができるという効果が得られる。
【００４４】
次いで、上記第２の実施の形態における画像タグ識別装置３による別の画像タグ識別処理方法を第３の実施の形態として説明する。なお、上記第１及び第２の実施の形態に既述の部分の説明は適宜省略する。
図１０に示すように、まず、上記グルーピング処理を行って、マスクを生成する。そして、例えばマスクの上下左右の各端部座標に基づいて、このマスクの中心点Ｒを求め、この中心点Ｒを中心として所定の範囲内で部分画像抽出部３１により部分画像ＰＧを抽出する。そして、この抽出した部分画像ＰＧに対して、既述の方向符号の照合を行うことで画像識別用タグ１２を検出する。
【００４５】
このように、マスクの中心点Ｒを求めて、この中心点から所定の範囲内に対してのみ方向符号の照合を行うことにより、照合回数が減少して画像タグ識別のための処理が高速化されるという効果が得られる。即ち、マスク生成処理により生成されたマスクの画像領域全体に対し、順次部分画像ＰＧを抽出して方向符号の照合を行うよりも、照合対象の総数が生成されたマスクの数と同程度まで減らされる、つまり探索範囲が絞り込まれることになるからである。
【００４６】
さらに、画像タグ識別装置３による更に別の画像タグ識別処理方法を第４の実施の形態として説明する。なお、本実施の形態における画像タグ識別装置３の構成は、上記第２の実施の形態と同一であり、上記第１から第３の実施の形態に既述の部分の説明は適宜省略する。
この第４の実施の形態では、記憶領域３３Ａは、タグ方向符号３３を、画像識別用タグ１２の中心点Oを水平に通り、直線上に並んだ長さ３２画素の方向符号の列として記憶している。
【００４７】
例えば、上記第１の実施の形態で説明したような、３２画素×３２画素のテンプレート（タグ方向符号３３）があり、方向符号を０〜１５とすると、図１１に示すように、中心点Ｑを挟んで、その左半分には方向符号８（左向き）が、右半分には方向符号０（右向き）が以下のように並ぶ。ここでは、中心点Ｑの方向符号は０としておく。
例： ・・・８８８Ｑ０００・・・
本実施の形態では、この方向符号の列を水平方向部分テンプレート（列状特徴情報）とし、タグ方向符号３３として記憶している。
【００４８】
そして、図１２に示すように、画像データＤに対する方向符号から長さ３２画素の列状の部分画像ＰＧを比較情報として部分画像抽出部３１により順次抽出し、これを方向符号比較部３４にてタグ方向符号３３と比較する。そして、相互に一致又は近似した比較情報を選択することで、タグ座標演算部３５により画像データＤの中から画像識別用タグ１２の位置座標を検出している。
【００４９】
これにより、上記第１の実施の形態では、画像データＤの画像サイズがＬ×Ｍ（６４０×４８０）である場合に、Ｎ×Ｎ（Ｎ＝３２）のテンプレート画像サイズから、照合する画素の延べ数はＬ×Ｍ×Ｎ×Ｎ（約３×１０８）となっているが、本実施の形態では、テンプレート画像サイズは、Ｎ×１（Ｎ＝３２）となっているので、列状特徴情報を用いて比較を行った場合に照合する画素の延べ数はＬ×Ｍ×Ｎ（約１×１０７）となり、Ｎ（Ｎ＝３２）倍の高速化ができる。即ち、特徴情報及び比較情報の１度に比較する情報量をそれぞれ減らすことにより、高速化を図っている。
【００５０】
次に、第５の実施の形態の説明を行う。
なお、本実施の形態における画像タグ識別装置３の構成は、上記第２の実施の形態と同一であり、上記第１から第４の実施の形態に既述の部分の説明は適宜省略する。
図１３に示すように、記憶領域３３Ａは、上記第４の実施の形態で用いた水平方向部分テンプレート（タグ方向符号３３）を記憶すると共に、画像識別用タグ１２の中心点Oを垂直に通り、長さ３２画素の直線上に並んだ方向符号の列を別のタグ方向符号３３０として記憶している。上記第４の実施の形態で説明した、図１１に示すように、正方形状のテンプレートの中心点Ｑを挟んでこの画素列の上半分には方向符号４（上方向）が、下半分には方向符号１２（下方向）がそれぞれ並んでおり、これを垂直方向部分テンプレート（列状特徴情報）とし、タグ方向符号３３０として記憶している。
【００５１】
そして、上記第４の実施の形態と同様の処理で選択された一の比較情報の中心の画素と中心を同じにし、垂直に１列に並んだ３２画素の列からなる他の部分画像ＰＧを他の比較情報として画像データＤの方向符号より抽出する。そして、この比較情報とタグ方向符号３３０とを、方向符号比較部３４にて比較し、この比較結果に基づいて画像識別用タグ１２を検出している。
このように、まず、上記第４の実施の形態と同様に列状特徴情報による比較処理を行うことで画像識別用タグ１２の検出処理の高速化が図られ、さらに、画像識別用タグ１２が検出された位置に対して、再度別の列状特徴情報による比較処理が行われることにより、誤検出の防止ができる。
【００５２】
このようにして画像認識用タグを検出することで、水平方向に対して比較をしてから、更に垂直方向へ比較した場合の延べ数は、Ｌ×Ｍ×Ｎ＋Ｎ×ｋとなる。ここで言うｋとは、水平又は垂直方向でマッチしてから、更に垂直又は水平方向の比較をした件数であり、ｋ＜＜Ｌ×Ｍの関係である。
即ち、まず水平方向部分テンプレートによる比較処理を行うことで上記第１の実施の形態と比較してＮ倍の高速化ができる他、水平方向への比較を行った後に、更に垂直方向への比較を行う場合には、誤検出を減らすと共に、ほぼＮ倍の高速化ができるということになる。
【００５３】
なお、この第５の実施の形態では、最初に水平方向への比較を行ってから垂直方向への比較を行ったが、これに限定されることはなく、図１４（１）〜（５）に示すように、垂直方向部分テンプレートから水平方向部分テンプレートへの比較や、水平方向部分テンプレートによる比較処理を行ってから、数列の垂直方向部分テンプレートからなる面状テンプレート（面状特徴情報）とこの水平方向部分テンプレートのマッチした部分画像ＰＧの中心点を中心とする面状テンプレートと同じ大きさの画像領域を持つ画像データＤから抽出された部分画像ＰＧ（タグ確認用比較情報）との比較等を順次行っても構わない。
【００５４】
即ち、少ない情報量を持つテンプレートの１つとこれに対応する画像データＤの部分画像ＰＧとを比較し、この比較結果に基づいて実際の画像検出用タグ１２の検出範囲を絞り込んでから、他の、例えば、同等の情報量又はより情報量の多いテンプレートで更なる比較を行えば、高速化と誤検出防止とを両立できるということになる。
さらに、本実施の形態では、比較情報と特徴情報との比較を１度目の比較結果に基づいて２度行うようにしたが、本発明はこれに限定されず、複数回であれば何度比較を行っても構わない。ただし、実際に本発明を実施する場合には、産業的利用の観点から１度目の比較結果に基づいて２度目を行うに留めることが望ましい。
【００５５】
次に、第６の実施の形態として、画像識別用タグ１２の誤検出防止のための比較処理を方向符号比較部３４にて行う。なお、本実施の形態における画像タグ識別装置３の構成は、上記第２の実施の形態と同一であり、上記第１から第５の実施の形態に既述の部分の説明は適宜省略する。
まず、図１５に概念的に示すように、部分画像ＰＧ（方向符号群）を４つの象限（第１象限〜第４象限）に分割する。なお、この図１５では、方向符号を矢印で表わしている。本実施の形態で存在する方向符号を０〜１５とした場合、タグを検出するためのテンプレートの第１象限には方向符号０〜３のみが、第２象限には方向符号４〜７のみが、第３象限には方向符号８〜１１のみが、第４象限には方向符号１２〜１５のみが、それぞれ出現する。そこで、上記テンプレートと相互に一致又は近似と判定され、対象画像から選出された部分画像ＰＧの各象限を調べ、ありえない方向符号の出現数から出現比率を計算する。例えば、本実施の形態においては、本来ありえない方向符号である１４と４とがそれぞれ第３及び第４象限に存在している。この場合、各象限にある方向符号の総数を１００とすると、ありえない方向符号の出現比率は、第３及び第４象限共に０．０１となる。ここで、予め設定された閾値Ｅを例えば０．００５とすると、この出現比率は閾値を越えているので、この予め選出された部分画像ＰＧは、タグではないと棄却される。逆に、いずれの象限においても上記出現比率が、この予め設定された閾値Ｅを越えていない場合には、この部分画像ＰＧの抽出位置において画像識別用タグ１２が検出されているとしている。
【００５６】
このように、選出された部分画像ＰＧ全体に渡って差異を検出するのではなく、部分画像ＰＧを幾つかの象限に分割し、象限毎に差異を集計して判定するので、例えば上記第１から第５の実施の形態において選出された比較情報が、画像識別用タグ１２なのか否かをより正確に判定できるので、誤検出を防止できる。なお、上記部分画像ＰＧを象限毎に区切るのではなく、この部分画像ＰＧを任意の細部分画像として複数に分割しても良く、各細部分画像のそれぞれとこれに対応する上記テンプレートの一部とを相互に比較することで、より詳細に誤検出の防止ができる。
【００５７】
これにより、撮像された商品１０の表面上に画像識別用タグ１２と紛らわしい画像が生じている場合に、画像データＤから抽出される部分画像ＰＧが画像識別用タグ１２として誤検出されてしまうのを防止することができる。
一方、上記第１及び第２の実施の形態では、対象画像から抽出した部分画像ＰＧのうち上記テンプレートに一致又は近似したものの中で、最もテンプレートに近い１つを選出するとしたが、第７の実施の形態として、複数の部分画像ＰＧを選出すると共に、選出された部分画像ＰＧ毎の中心座標を求め、これら中心座標のうち複数が、予め設定された範囲内にある場合に、この設定された範囲内にある複数の中心座標の中心の座標を求めて、この座標をタグの中心座標として検出しても良い。
【００５８】
図１６（ａ）に示すのは、１つの画像識別用タグ１２が、上記第１の実施の形態で用いられたカメラ２により、カメラの解像度や撮像状況が原因で、この画像識別用タグ１２の中心点Ｒが複数回検出された様子を示している。
また、画像識別用タグ１２の特性により、タグの中心座標に近づく程、選出される部分画像ＰＧの個数は飛躍的に増大する。そこで、図１６（ｂ）に示すように、所定の範囲内で検出された中心座標群の重心Ｒ−を取ることで、上記頂点の座標に近似する座標を算出することができる。
【００５９】
カメラの解像度が低い場合やカメラレンズの焦点がずれている場合、量子化誤差によりタグの中心が必ずしもテンプレートに一致しないことがあるが、このとき複数の検出点の座標の重心をとるので、量子化誤差の影響を緩和できる。
上記の第１から第７の実施の形態の画像識別用タグ及び画像識別システムは、次のような用途に用いることが可能である。
【００６０】
上記タグ座標演算部３５により算出される画像識別用タグ１２の位置情報を得て、アプリケーションに対する“ランドマーク”として利用する。例えば、移動ロボットの進行目標として走行機構を制御する。また、空間的に分割して撮影された画像や時系列的に分割して撮影された画像を重ね合わせる際の、基準点とする。あるいは、複数のカメラやプロジェクタを相互にキャリブレーションする際の、基準点とする。
【００６１】
また、複数の上記位置情報を得て、それらの相互関係に基づく特徴量を算出し利用する。例えば、平面上に配置した４つの画像識別用タグの位置情報から、透視変換行列を計算して、当該平面の位置や姿勢を同定する。又は、立体に配置した４つの画像識別用タグの位置情報から、２つの当該画像識別用タグを結ぶ直線を２本得て、その交点を求めることにより、直接指定できない点の位置を同定する。
【００６２】
このように、画像識別用タグの位置情報を用いた情報処理により、アプリケーションに対する“ランドマーク”を安定して検出できるので、例えば、移動ロボットは進行目標を見失わずに走行できるという効果が得られる。また、複数の画像識別用タグの位置関係に基づいて特徴量を算出して利用するので、例えば、カメラ撮像条件の影響を受け易い２値化処理による特徴点の検出に比べて、はるかに安定して特徴量を算出できるという効果が得られる。
【００６３】
また、図５に示すような、輝度及び中心点Oからの距離との関係を示すグラデーショングラフに基づいて、画像識別用タグ情報を生成し、これを印刷することができる。
画像識別用タグは、次のように生成することができる。画像識別用タグの生成処理にあたり、まず画像識別用タグの大きさ（中心点Oからの距離ｒ）、パターンの輝度変化曲線（グラデーショングラフ）、パターンの色などに基づいて、画像識別用タグ情報を生成する。また特徴量の指定を受け、その値を算出するために生成する複数の画像識別用タグそれぞれの配置位置を決定する。そして、指定された媒体の上に当該画像識別用タグ情報に基づいて画像識別用タグを印刷する。なお、前記指定された媒体には、紙、ねじのプレート部、シール、電化製品の表面、透明シート等が挙げられる。
【００６４】
このように、安定して識別される高品質の画像識別用タグ情報を、印刷機器の印刷特性に応じて手軽に生成できるという効果が得られる。また、所定の特徴量を算出するための複数の画像識別用タグの配置位置を、煩雑な計算をせずに特定できるという効果が得られる。
ここでは、上記第１から第７の実施の形態において、図１のカメラ２が前記撮像手段に対応し、図２のタグ識別装置３が前記タグ識別手段に対応している。
【図面の簡単な説明】
【００６５】
【図１】画像識別システムの一実施の形態の構成を示すシステム構成図である。
【図２】タグ識別装置の機能構成を示すブロック図である。
【図３】画像識別用タグの中心点から離れるに従って輝度が減少するパターン及び増加するパターンの一例を示す図である。
【図４】画像識別用タグの輝度及び中心点からの距離との関係を示すグラデーショングラフの一例を示す図である。
【図５】画像識別用タグの輝度及び中心点からの距離との関係を示すグラデーショングラフの他の一例を示す図である。
【図６】方向符号の生成を説明するための概略図の一例である。
【図７】タグ識別手段の一例を示す図である。
【図８】タグ識別装置の機能構成を示す他のブロック図である。
【図９】タグ識別手段の一例を示す別の図である。
【図１０】タグ識別手段の一例を示す更に別の図である。
【図１１】タグ識別手段で用いるテンプレートの一例を示す図である。
【図１２】タグ識別手段の一例を示す図である。
【図１３】タグ識別装置の機能構成を示す更に他のブロック図である。
【図１４】タグ識別手段の一例を示す別の図である。
【図１５】部分画像ＰＧを４つの象限に概念的に分割した一例を示す図である。
【図１６】タグ識別手段で検出される複数のタグの中心点の平均を取る様子を表わす図である。
【符号の説明】
【００６６】
２ カメラ
３ タグ識別装置
４ バーコード識別装置
５ バーコード情報処理装置
１１ バーコード
１２ 画像識別用タグ
３１ 部分画像抽出部
３２ 方向符号演算部
３３ タグ方向符号
３３０ タグ方向符号
３３Ａ 記憶部
３４ 方向符号比較部
３５ タグ座標演算部
３６ マスク生成処理部
Ｄ 対象画像データ
Ｇ グループ
ＰＧ 部分画像
【特許請求の範囲】
【請求項１】
対象物に付され画像処理により識別される画像識別用タグであって、円形を成し、この円の中心点を起点として半径方向に沿った輝度変化パターンが、全半径方向で同一であることを特徴とする画像識別用タグ。
【請求項２】
前記輝度変化パターンは、前記中心点から離れるに従って徐々に輝度が低くなる減少パターン及び徐々に輝度が高くなる増加パターンのいずれか一方である請求項１記載の画像識別用タグ。
【請求項３】
請求項１及び請求項２のいずれか１項に記載されたタグと、このタグが付された対象物の画像を撮像可能な撮像手段と、この撮像手段が撮像した画像である対象画像から前記タグを識別するタグ識別手段と、を備えたことを特徴とする画像識別システム。
【請求項４】
前記タグ識別手段は、前記タグを識別可能な特徴情報を記憶しており、前記対象画像から前記特徴情報と比較可能な比較情報を取得し、この比較情報と前記特徴情報とを比較し、その比較結果に基づいて前記タグを識別するようになっている請求項３記載の画像識別システム。
【請求項５】
前記タグ識別手段は、前記特徴情報を生成するのに用いた画像領域と同じ大きさの部分画像を前記対象画像から順次抽出し、この抽出された部分画像毎に前記比較情報を取得するようになっている請求項４記載の画像識別システム。
【請求項６】
前記特徴情報及び前記比較情報は、画素毎の輝度の最大増加方向及び最大減少方向のいずれか一方を表す方向符号である請求項４及び請求項５のいずれか１項に記載の画像識別システム。
【請求項７】
前記タグ識別手段は、前記対象画像の各画素毎に、その画素の輝度値と、それに隣接する他の画素の輝度値との差を演算し、その演算結果に基づいて各画素毎の前記比較情報としての前記方向符号を求めるようになっている請求項６記載の画像識別システム。
【請求項８】
前記タグ識別手段は、前記対象画像の各画素毎に輝度の最大増加方向及び最大減少方向のいずれか一方を表す方向符号を計算し、その計算された方向符号に基づいてタグの候補領域を選択し、その選択されたタグの候補領域に対して前記比較を行なうようになっている請求項４及び請求項５のいずれか１項に記載の画像識別システム。
【請求項９】
前記タグの候補領域を選択する処理は、一の画素の方向符号とそれに隣接する他の画素の方向符号との差が所定しきい値以下である場合に、それら一の画素と他の画素とを同一のグループに分類するという分類処理を、前記対象画像全体に対して実行し、その分類処理の結果得られたグループのうち、予め定めた選出基準により選出されたグループの画像を前記タグの候補領域として選択する処理である請求項８記載の画像識別システム。
【請求項１０】
前記タグ識別手段は、前記グループの中心点を求め、前記特徴情報を生成するのに用いた画像領域と同じ大きさの部分画像を前記中心点を中心として所定の範囲内で前記対象画像から抽出し、この部分画像を前記比較情報とするようになっている請求項９に記載の画像識別システム。
【請求項１１】
前記タグ識別手段は、前記特徴情報として、タグ上を通る任意の直線上に並ぶ前記方向符号の列である列状特徴情報を記憶している請求項６から請求項１０のいずれか１項に記載の画像識別システム。
【請求項１２】
前記任意の直線は、前記タグの中心を通る直線である請求項１１に記載の画像識別システム。
【請求項１３】
前記タグ識別手段は、前記特徴情報として、前記タグの中心を通り且つ互いに交差する二本の直線それぞれに基づいて二種類の前記列状特徴情報を記憶しており、一方の前記列状特徴情報とそれに対応する一の列状の前記比較情報とを比較し、両者が一致又は近似のいずれかの場合に、他方の前記列状特徴情報とそれに対応する他の列状の前記比較情報とを比較し、この比較結果に基づいて前記タグを識別するようになっている請求項１２に記載の画像識別システム。
【請求項１４】
前記タグ識別手段は、前記特徴情報として、前記列状特徴情報と、前記タグの中心を含み前記列状特徴情報よりもデータ数の多い領域の特徴情報である面状特徴情報とを記憶しており、前記列状特徴情報とそれに対応する列状の前記比較情報とを比較し、両者が一致又は近似のいずれかの場合に、該列状比較情報の中心点を中心として、前記面状特徴情報を生成するのに用いた画像領域と同じ大きさの部分画像を前記対象画像から抽出してこれをタグ確認用比較情報とし、該タグ確認用比較情報と前記面状特徴情報とを比較し、この比較結果に基づいて前記タグを識別するようになっている請求項１１及び請求項１２のいずれか１項に記載の画像識別システム。
【請求項１５】
前記タグ識別手段は、前記比較情報を複数の領域に分割し、分割された該比較情報とそれに対応する前記特徴情報の一部とを比較し、この比較結果をも考慮して前記タグを識別するようになっている請求項４から請求項１４のいずれか１項に記載の画像識別システム。
【請求項１６】
前記タグ識別手段は、前記特徴情報と前記比較情報とを比較し、この比較結果に基づいて前記タグとして識別される前記比較情報を選択すると共に、選択された前記比較情報の中心座標を取得し、該中心座標のうち複数の中心座標が所定の範囲内にある場合に、この所定の範囲内にある複数の前記中心座標群の中心の座標を、前記タグの中心座標として算出するようになっている請求項４から請求項１５のいずれか１項に記載の画像識別システム。
【請求項１】
対象物に付され画像処理により識別される画像識別用タグであって、円形を成し、この円の中心点を起点として半径方向に沿った輝度変化パターンが、全半径方向で同一であることを特徴とする画像識別用タグ。
【請求項２】
前記輝度変化パターンは、前記中心点から離れるに従って徐々に輝度が低くなる減少パターン及び徐々に輝度が高くなる増加パターンのいずれか一方である請求項１記載の画像識別用タグ。
【請求項３】
請求項１及び請求項２のいずれか１項に記載されたタグと、このタグが付された対象物の画像を撮像可能な撮像手段と、この撮像手段が撮像した画像である対象画像から前記タグを識別するタグ識別手段と、を備えたことを特徴とする画像識別システム。
【請求項４】
前記タグ識別手段は、前記タグを識別可能な特徴情報を記憶しており、前記対象画像から前記特徴情報と比較可能な比較情報を取得し、この比較情報と前記特徴情報とを比較し、その比較結果に基づいて前記タグを識別するようになっている請求項３記載の画像識別システム。
【請求項５】
前記タグ識別手段は、前記特徴情報を生成するのに用いた画像領域と同じ大きさの部分画像を前記対象画像から順次抽出し、この抽出された部分画像毎に前記比較情報を取得するようになっている請求項４記載の画像識別システム。
【請求項６】
前記特徴情報及び前記比較情報は、画素毎の輝度の最大増加方向及び最大減少方向のいずれか一方を表す方向符号である請求項４及び請求項５のいずれか１項に記載の画像識別システム。
【請求項７】
前記タグ識別手段は、前記対象画像の各画素毎に、その画素の輝度値と、それに隣接する他の画素の輝度値との差を演算し、その演算結果に基づいて各画素毎の前記比較情報としての前記方向符号を求めるようになっている請求項６記載の画像識別システム。
【請求項８】
前記タグ識別手段は、前記対象画像の各画素毎に輝度の最大増加方向及び最大減少方向のいずれか一方を表す方向符号を計算し、その計算された方向符号に基づいてタグの候補領域を選択し、その選択されたタグの候補領域に対して前記比較を行なうようになっている請求項４及び請求項５のいずれか１項に記載の画像識別システム。
【請求項９】
前記タグの候補領域を選択する処理は、一の画素の方向符号とそれに隣接する他の画素の方向符号との差が所定しきい値以下である場合に、それら一の画素と他の画素とを同一のグループに分類するという分類処理を、前記対象画像全体に対して実行し、その分類処理の結果得られたグループのうち、予め定めた選出基準により選出されたグループの画像を前記タグの候補領域として選択する処理である請求項８記載の画像識別システム。
【請求項１０】
前記タグ識別手段は、前記グループの中心点を求め、前記特徴情報を生成するのに用いた画像領域と同じ大きさの部分画像を前記中心点を中心として所定の範囲内で前記対象画像から抽出し、この部分画像を前記比較情報とするようになっている請求項９に記載の画像識別システム。
【請求項１１】
前記タグ識別手段は、前記特徴情報として、タグ上を通る任意の直線上に並ぶ前記方向符号の列である列状特徴情報を記憶している請求項６から請求項１０のいずれか１項に記載の画像識別システム。
【請求項１２】
前記任意の直線は、前記タグの中心を通る直線である請求項１１に記載の画像識別システム。
【請求項１３】
前記タグ識別手段は、前記特徴情報として、前記タグの中心を通り且つ互いに交差する二本の直線それぞれに基づいて二種類の前記列状特徴情報を記憶しており、一方の前記列状特徴情報とそれに対応する一の列状の前記比較情報とを比較し、両者が一致又は近似のいずれかの場合に、他方の前記列状特徴情報とそれに対応する他の列状の前記比較情報とを比較し、この比較結果に基づいて前記タグを識別するようになっている請求項１２に記載の画像識別システム。
【請求項１４】
前記タグ識別手段は、前記特徴情報として、前記列状特徴情報と、前記タグの中心を含み前記列状特徴情報よりもデータ数の多い領域の特徴情報である面状特徴情報とを記憶しており、前記列状特徴情報とそれに対応する列状の前記比較情報とを比較し、両者が一致又は近似のいずれかの場合に、該列状比較情報の中心点を中心として、前記面状特徴情報を生成するのに用いた画像領域と同じ大きさの部分画像を前記対象画像から抽出してこれをタグ確認用比較情報とし、該タグ確認用比較情報と前記面状特徴情報とを比較し、この比較結果に基づいて前記タグを識別するようになっている請求項１１及び請求項１２のいずれか１項に記載の画像識別システム。
【請求項１５】
前記タグ識別手段は、前記比較情報を複数の領域に分割し、分割された該比較情報とそれに対応する前記特徴情報の一部とを比較し、この比較結果をも考慮して前記タグを識別するようになっている請求項４から請求項１４のいずれか１項に記載の画像識別システム。
【請求項１６】
前記タグ識別手段は、前記特徴情報と前記比較情報とを比較し、この比較結果に基づいて前記タグとして識別される前記比較情報を選択すると共に、選択された前記比較情報の中心座標を取得し、該中心座標のうち複数の中心座標が所定の範囲内にある場合に、この所定の範囲内にある複数の前記中心座標群の中心の座標を、前記タグの中心座標として算出するようになっている請求項４から請求項１５のいずれか１項に記載の画像識別システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００６−２５２４９１（Ｐ２００６−２５２４９１Ａ）
【公開日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願番号】特願２００５−８１２５３（Ｐ２００５−８１２５３）
【出願日】平成１７年３月２２日（２００５．３．２２）
【出願人】（５９１０８３２４４）富士電機システムズ株式会社 (1,717)
【Ｆターム（参考）】
【公開日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願日】平成１７年３月２２日（２００５．３．２２）
【出願人】（５９１０８３２４４）富士電機システムズ株式会社 (1,717)
【Ｆターム（参考）】
[ Back to top ]