検索用タグ及びこれを使用した情報検索システム
【課題】 検索用タグの抽出を固定焦点の撮像装置で容易に行うことができると共に、抽出した検索用タグに基づいて関連情報を容易に検索することができる検索用タグ及び情報検索システムを提供する。
【解決手段】 四角形領域３ａの各辺上に特定の幾何学的不変量を表す５つの識別点Ｐ０〜Ｐ４を配置した検索用タグ３を検索情報保持物体２に形成する。検索用タグが形成された検索情報保持物体２の画像を撮像する撮像手段１１と、該撮像手段１１が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段１２と、該タグ識別手段１２で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段１３と、該幾何学的不変量算出手段１３で演算した幾何学的不変量に基づいて前記検索用タグを含む平面上の検索情報を抽出する検索情報抽出手段１４とを備えている。
【解決手段】 四角形領域３ａの各辺上に特定の幾何学的不変量を表す５つの識別点Ｐ０〜Ｐ４を配置した検索用タグ３を検索情報保持物体２に形成する。検索用タグが形成された検索情報保持物体２の画像を撮像する撮像手段１１と、該撮像手段１１が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段１２と、該タグ識別手段１２で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段１３と、該幾何学的不変量算出手段１３で演算した幾何学的不変量に基づいて前記検索用タグを含む平面上の検索情報を抽出する検索情報抽出手段１４とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報を検索する場合のキーとなる検索情報を容易に特定することができる検索用タグ及びこれを使用した情報検索システムに関する。
【背景技術】
【０００２】
空間に存在する様々な検索情報を特定する検索用タグを使用して、様々な処理をコンピュータ等の処理装置で行うためには、検索用タグの位置(空間座標)、距離や姿勢(方向ベクトル)、種別などを認識する必要がある。
検索用タグの位置を検出するためには、人為的な目印を用いることなく検索用タグをディジタルカメラ等の撮像手段で撮像し、その撮像データから画像処理によって特徴点を抽出して位置や姿勢を検出することが考えられるが、この場合には、高度な画像処理が必要となるため、処理時間が掛かると共に、認識結果が安定しないなどの未解決の課題がある。
【０００３】
上記未解決の課題を解決するために、検索情報の位置に、例えば特定パターンを目印として貼付しておき、この検索情報保持物体をディジタルカメラ等の撮像手段で撮像し、撮像した画像データの中から特定パターンを探索して検索情報の位置を検出する手法が採用されている。
さらに、検索情報として、例えばバーコードや非接触式無線タグ（ＲＦＩＤ）を所望の検索情報保持物体に貼付しておき、読取機器で識別コードを読取るようにした手法が採用されている。あるいは、検索情報保持物体に印刷された文字情報をディジタルカメラ等の撮像手段で撮像し、その撮像データを文字認識手段で文字認識することにより、検索情報を認識する手法が採用されている。しかしながら、何れの場合にも、検索情報を認識するには、読取機器や撮像手段を検索情報の位置に近接させて識別コードを読取るか文字情報を撮像する必要があり、遠方に存在する物体や広範囲に散らばった物体に保持された検索情報を識別する場合には適用することができないという未解決の課題がある。
【０００４】
このような未解決の課題を解決するために、８角形のプレート上に５つの黒点を配置したタグを設け、このタグをディジタルカメラで撮影し、その画像データからプレートの種別、位置、姿勢を同時に認識するようにした幾何学的不変量に基づく固定標識を用いた作業者情報支援の研究が行われている（例えば、非特許文献１参照）。
ここで、幾何学的不変量は，例えば平面上の５点（Ｐ０〜０４）がどの３点も同一の直線上にない場合、以下のような２つの幾何学的不変量が存在することが知られている（例えば、非特許文献２参照）。
【０００５】
【数１】
【０００６】
この５点の載った平面をカメラで撮影する際、一般に射影変換による幾何学的な歪が発生する。例えばカメラの向きが回転したり、平面との距離が変化したりするとカメラで撮影した画像データは変化する。また、カメラの傾きによっては、長方形が平行四辺形に写る（直角が保存されない）、あるいは長方形が台形に写る（平行性が保存されない）といったことが発生する。ところが、カメラ画像の中の５点の座標から上記（１）式で計算される２つの値Ｉ1，Ｉ2は、上述した射影変換による幾何学的な歪があっても不変である。このような性質を持つ幾何学的不変量は、画像認識するための特徴量として利用されることがある。
【０００７】
すなわち、物体のＩＤコードを認識するための固体標識となるＩＤマーカを幾何学的不変量に基づいて生成するＩＤマーカ生成手段と、任意の視点から撮影して得られる前記ＩＤマーカが貼付された物体の画像を画像入力装置により取込み、その画像に対して画像処理を行ってＩＤマーカの領域を抽出するＩＤマーカ領域抽出手段と、ＩＤマーカ領域の画像から複数の特徴点の位置を抽出する特徴点位置抽出手段と、複数の特徴点の位置から少なくとも１つの幾何学的不変量を算出する幾何学的不変量算出手段と、幾何学的不変量と対応付けられる物体のＩＤコードを、予め幾何学的不変量と物体ＩＤコードとを対応付けて格納しているデータベースから選出するＩＤコード認識手段とを有する物体ＩＤコード認識装置が知られている（例えば、特許文献１参照）。
【０００８】
【非特許文献１】伊藤俊樹、“幾何学的不変量に基づく固体標識を用いた作業者支援の研究”、大阪大学大学院 工学研究科 電子制御機械工学専攻 平成１２年度修士論文、http://www-cape.mech.eng.osaka-u.ac.jp/ccm06adm/oldboys/2000/ito.pdf
【非特許文献２】杉本晃宏「物体の見え方によらない情報の抽出」情報処理願学会誌１９９６年１２月Ｖｏｌ．３７ Ｎｏ．１２ 第１１２５頁〜第１１３１頁
【特許文献１】特開２００４−１９２３４２号公報（第１頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記非特許文献１に記載されている従来例にあっては、物体の種別、距離及び姿勢を同時に認識するという優れた機能を持ったタグであるが、カメラ画像データの中から、タグを見つけ出すために、タグにその環境ではまれな色彩を施しているため、使用環境毎に、色彩を調整する必要があり、種々の環境でタグを使用する場合には、必ずしも安定してタグを検出ことができないという未解決の課題がある。
【００１０】
また、タグが直径約５ｃｍと小さいので、空間全体のカメラ画像データの中からタグを見つけると、カメラをズームして５つの点の鮮明な画像を取得する必要があり、当然ズームに先立って、カメラの方向（パン、チルト）を制御しなければならず、カメラ及びその制御系のコストが嵩むと共に、処理時間も長くなるという未解決の課題がある。
さらに、幾何学的不変量を計算する上で、黒点の座標を正確に計測する必要があり、カメラ画像データの中で一定の閾値以下の輝度を持った部分を黒点として認識し、その重心の座標を採用するようにしているため、一般に知られているように、カメラ画像データの輝度は照明条件によって大きく変動するため、黒点の検出が必ずしも安定せず、座標の計測精度に悪影響を及ぼすという未解決の課題がある。
【００１１】
また、特許文献１に記載された従来例にあっては、７×７の正方形枡目に５色の特徴点と５つの黒色特徴点との２組の特徴点を形成したＩＤマーカを生成し、このＩＤマーカを物体に貼付して、物体ＩＤコード認識装置によってカメラ等により撮像された物体の画像を取込み、その画像情報をフーリエ変換を施して空間周波数に変換した後、物体ＩＤマーカ領域の背景画像の空間周波数データとの相似形又は一致形をパターンマッチングにより抽出してから各特徴点位置を抽出するようにしているので、特徴点の抽出処理が複雑となるという未解決の課題がある。また、ＩＤマーカの内部に検索情報を配置することができないという未解決の課題がある。
そこで、本発明は、上記従来例の未解決の課題に着目してなされたものであり、検索用タグの抽出を固定焦点の撮像装置で容易に行うことができると共に、抽出した検索用タグに基づいて関連情報を容易に検索することができる検索用タグ及び情報検索システムを提供することを目的としている。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、請求項１に係る検索用タグは、平面上に形成した四角形領域の各辺上に特定の幾何学的不変量を表す５つの識別点を、当該５つの識別点を含む平面内の位置を特定するように配置したことを特徴としている。
また、請求項２に係る検索用タグは、請求項１に係る発明において、前記四角形領域の各辺には等分割した目盛りが形成され、形成された目盛り上に前記識別点が配置されていることを特徴としている。
【００１３】
さらに、請求項３に係る検索用タグは、請求項１又は２に係る発明において、前記識別点は四角形領域の各辺上で移動可能に配置されていることを特徴としている。
さらにまた、請求項４に係る検索用タグは、請求項１乃至３の何れか１つの発明において、前記各識別点は、円形の中心点を起点として半径方向に沿った輝度変化パターンが、全半径方向で同一であることを特徴としている。
なおさらに、請求項５に係る検索用タグは、請求項４に係る発明において、前記輝度変化パターンは、前記中心点から離れるに従って徐々に輝度が低くなる減少パターン及び徐々に輝度が高くなる増加パターンの何れか一方であることを特徴としている。
【００１４】
また、請求項６に係る情報検索システムは、検索情報保持物体に付した請求項１乃至請求項５の何れか１項に記載された検索用タグと、該検索用タグが付された検索情報保持物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段と、該タグ識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量算出手段で演算した幾何学的不変量に基づいて前記検索用タグを含む平面上の検索情報を抽出する検索情報抽出手段とを備えたことを特徴としている。
【００１５】
さらに、請求項７に係る情報検索システムは、検索情報保持物体に付した請求項１乃至請求項５の何れか１項に記載された検索用タグと、該検索用タグが付された検索情報保持物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段と、該タグ識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量算出手段で演算した幾何学的不変量に基づいて前記検索用タグを含む平面上の検索情報を抽出する検索情報抽出手段と、該検索情報抽出手段で抽出した検索情報の画像データを前記検索用タグに基づいて幾何学的に補正する画像補正手段とを備えたことを特徴としている。
【００１６】
さらにまた、請求項８に係る情報検索システムは、検索情報保持物体に付した請求項１乃至請求項５の何れか１項に記載された検索用タグと、該検索用タグが付された検索情報保持物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段と、該タグ識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量算出手段で演算した幾何学的不変量に基づいて検索情報を特定する情報検索手段とを備えたことを特徴としている。
【００１７】
なおさらに、請求項９に係る情報検索システムは、請求項6乃至8の何れか1つの発明において、前記タグ識別手段は、前記識別点を識別可能な特徴情報を記憶しており、前記画像データから前記特徴情報と比較可能な比較情報を取得し、取得した比較情報と前記特徴情報とを比較し、当該比較結果に基づいて前記識別点を識別するように構成されていることを特徴としている。
また、請求項１０に係る情報検索システムは、請求項９に係る発明において、前記特徴情報及び前記比較情報は、画素毎の輝度の最大増加方向及び最大減少方向の何れか一方を表す方向符号であることを特徴としている。
【発明の効果】
【００１８】
本発明に係る検索用タグによれば、従来のタグとは異なり、四角形領域の各辺に５つの識別点が配置されているので、固定焦点カメラで検索用タグを撮影しても検索用タグを容易に識別することができると共に、四角形領域内に検索情報を配置し、この検索情報を５つの識別点に基づいて算出される幾何学的不変量で特定するので、検索対象位置を容易に検出することができるという効果が得られる。
また、本発明に係る情報検索システムによれば、上記検索用タグを容易に識別することができると共に、検索用タグの識別点に基づく座標系を認識して、検索用タグを撮影した画像データから幾何学的不変量を算出し、この幾何学的不変量に基づいて画像データに含まれる検索情報の抽出や検索情報位置の特定を容易に行なうことができるという効果が得られる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明に係る情報検索システムにおける第１の実施形態の構成を示すシステム構成図である。
図中、１は情報検索システムであって、雑誌、折り込み広告等の検索情報保持物体２に印刷された検索情報を含む検索用タグ３と、この検索用タグ３を読取って検索情報を抽出するタグ読取装置４と、このタグ読取装置４で抽出した検索情報に基づいて情報検索を行う情報検索装置５とを備えている。
【００２０】
検索用タグ３は、図３に示すように、検索情報保持物体２の表面に正方形、長方形等の四角形領域３ａが形成され、この四角形領域３ａの各辺に例えば１６等分した目盛り３ｂが形成され、この目盛り３ｂ上に中心点を有する５つの円形の識別点Ｐ０〜Ｐ４が形成されている。
四角形領域３ａは、高さをＨ、幅をＷとし、その左上の頂点を原点（０，０）とし、右方向をｘ軸、下方向をｙ軸とする座標系を考えたとき、識別点Ｐ０は原点（０，０）に固定し、他の４つの識別点Ｐ１〜Ｐ４は各辺上の任意の位置に配置されている。なお、３点が同一直線上に並ぶことを避けるために、例えば原点に置いた識別点Ｐ０以外の４つの識別点は頂点には配置しないようにする。ここで、識別点Ｐ０以外の４つの識別点を、５つの識別点の重心から見て識別点Ｐ０から反時計回りの順に各識別点をＰ１、Ｐ２、Ｐ３及びＰ４とする。
【００２１】
そして、識別点Ｐ０は他の識別点Ｐ１〜Ｐ４と区別するために大きな直径（例えば２０ｍｍ）に設定され、他の識別点Ｐ１〜Ｐ４は小さな直径（例えは１５ｍｍ）に設定されている。
このため、識別点Ｐ１の座標は（０，ｙ1）で表され、識別点Ｐ２の座標は（ｘ2，Ｈ）、識別点Ｐ３の座標は（Ｗ，ｙ3）及び識別点Ｐ４の座標は（ｘ4，０）に設定される。ここで、ｙ1及びｙ3はＨ／１６〜１５Ｈ／１６の範囲をとることができ、ｘ2及びｘ4はＷ／１６〜１５Ｗ／１６の範囲をとることができる。したがって、５つの識別点Ｐ０〜Ｐ４の配置パターンは１５4＝５０６２５通りとなる。
【００２２】
また、各識別点Ｐ０〜Ｐ４は、図４に示すように、外周が円形に形成され、その中心点Ｏを起点として、半径方向に沿った輝度変化パターンが全半径方向で同一となるように設定されている。なお、輝度変化パターンは、狭義の単調減少又は単調増加のパターンであればどのような変化パターンでも構わない。図４（ａ）の例であれば、図５（ａ）に示すように輝度値が直線的に減少するパターンであり、図４（ｂ）の例であれば、図５（ｂ）に示すように輝度値が直線的に増加するパターンである。その他、減少するパターンとしては、接線の傾きが負となって連続的に減少する曲線となればよく、図６（ａ）に示すように上に凸の曲線でもいいし、同（ｂ）に示すように下に凸の曲線でもいいし、同（ｃ）に示すようなＳ字曲線でもいいし、同（ｄ）に示すようなＳ字を二つ合わせたような曲線でもいい。増加パターンの場合も同様に接線の傾きが正となって連続的に増加する種々のパターンが採用可能である。
上記構成を有する検索用タグ３について、各識別点の座標を前記（１）式に代入することにより、識別点Ｐ０を原点とした２つの幾何学的不変量Ｉ1及びＩ2は、辺の長さで正規化した座標を用いて以下のように算出される。
【００２３】
【数２】
【００２４】
ここで、Ｘi＝ｘi／Ｗ，Ｙj＝ｙj／Ｈであり、Ｗは四角形領域３ａの幅、Ｈは四角形領域３ａの高さである。また、Ｘi及びＹjは夫々幅及び高さの辺に付けた目盛りの番号（１〜１５）を等分数（＝１６）で除した値である。
上記（２）式に示すように、幾何学的不変量Ｉ1及びＩ2は四角形領域の辺の長さに依存しないので、検索用タグ３の縦横のサイズを自由に設定することができるという効果が得られる。また、長さの単位にも依存しないので、（ｘi，ｙi）（ｉ＝０〜４）は、目盛りの番号（０〜１６）としてもよいし、或いは実測長（例えばｍｍ単位）の値としてもよい。さらに、目盛りを付けることにより、５つの識別点Ｐ０〜Ｐ４の配置を誤差なく指定することができるという効果が得られる。
【００２５】
上記構成を有する検索用タグ３を空間の任意の位置に置き、ディジタルカメラ１１で撮影することにより、画像データにおける５点の座標（ｘi，ｙi）（ｉ＝０〜４）を得ることができる。そして、最も大きな直径の識別点をＰ０とし、５つの識別点の重心からみて反時計回りの順に識別点をＰ１、Ｐ２、Ｐ３及びＰ４とすることにより、これらの識別点の座標を前記（１）式に代入することにより、幾何学的不変量Ｉ1及びＩ2を算出すると、算出した幾何学的不変量Ｉ1及びＩ2は検索用タグ３の３次元位置に関わらず同一の値となる。
【００２６】
そして、算出した幾何学的不変量Ｉ1及びＩ2は実数値として得られるので、所定の単位量Ｉ1＿ｕｎｉｔ及びＩ2＿ｕｎｉｔを使って下記（３）式及び（４）式の演算を行うことにより、量子化し整数値の識別コードＩ１及びＩ２に変換する。
Ｉ１＝ＩＮＴ〔Ｉ1／Ｉ1＿ｕｎｉｔ〕 …………（３）
Ｉ２＝ＩＮＴ〔Ｉ2／Ｉ2＿ｕｎｉｔ〕 …………（４）
ただし、ＩＮＴ〔〕は大括弧内の実数の小数点以下を切り捨てて整数化する関数である。
【００２７】
このように、５つの識別点Ｐ０〜Ｐ４の配置パターン毎に識別コードＩ１及びＩ２を算出することができるものであるが、幾何学的不変量Ｉ1及びＩ2を上記（３）式及び（４）式で整数化していることから、同一の識別コードＩ１及びＩ２を表す識別点の配置パターンが１つとは限らないと共に、撮影した画像データから識別点の座標を読取る際に読取り誤差を生じることから、読取り誤差を考慮して確実に識別可能な配置パターンは前記５０６２５通りの一部に限定することが好ましい。
【００２８】
このため、使用可能な配置パターンを決定するために、予め例えばマイクロコンピュータを含んで構成される情報検索装置５を使用して、図７に示す識別点配置パターン決定処理を実行する。なお、前述したように識別点の座標は長さの単位に依存しないので、ここでは（ｘi，ｙi）を目盛りの番号として説明する。
この識別点配置パターン決定処理は、図７に示すように、先ず、ステップＳ１で、座標ｘ0、ｙ0、ｘ1、ｙ4を全て“０”に、座標ｙ2をＨ（＝１６）に、座標ｘ3をＷ（＝１６）に、そして座標ｙ1、ｘ2、ｙ3及びｘ4を全て“１”とする初期化を行う。
【００２９】
次いで、ステップＳ２に移行して、（ｘ0、ｙ0）〜（ｘ4、ｙ4）を前述した（１）式に代入して、幾何学的不変量Ｉ1及びＩ2を算出すると共に、算出した幾何学不変量Ｉ1及びＩ2を前記（３）式及び（４）式に従って整数化して識別コードＩ１及びＩ２を算出する。
次いで、ステップＳ３に移行して、４つのパラメータｙ1、ｘ2、ｙ3及びｘ4と、固定座標ｘ0、ｙ0、ｘ1、ｙ2、ｘ3、ｙ4の各々について許容誤差εを加減算した許容値の全ての組み合わせの２10通りについて前記（１）式、（３）式、（４）式の演算を行って識別コードＩ１及びＩ２を算出し、各々の最小値Ｉ１MIN，Ｉ２MIN及び最大値Ｉ１MAX，Ｉ２MAXを算出する。
【００３０】
次いで、ステップＳ４に移行して、ｙ1、ｘ2、ｙ3、ｘ4、Ｉ１MIN、Ｉ１、Ｉ１MAX、Ｉ２MIN、Ｉ２、Ｉ２MAXの全てを記憶テーブルＴに記憶してからステップＳ５に移行する。
このステップＳ５では、全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝についてＩ１MIN、Ｉ１、Ｉ１MAX、Ｉ２MIN、Ｉ２、Ｉ２MAXの記録が完了したか否かを判定し、記録が完了していない配置パターンが存在する場合にはステップＳ６に移行して、座標ｙ1，ｘ2，ｙ3，ｘ4の何れかを変更（例えば、ｙ1＝１→ｙ1＝２など）して別の配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝を生成してから前記ステップＳ２に戻り、全ての配置パターン｛ｙ1＝１〜１５、ｘ2＝１〜１５、ｙ3＝１〜１５、ｘ4＝１〜１５｝について記憶テーブルＴへの記録が完了したときにはステップＳ７に移行する。
【００３１】
このステップＳ７では、採用する識別コード（Ｉ１，Ｉ２）を記録するための２次元配列Ｉを“０”で初期化し、次いでステップＳ８に移行して、変動幅設定値Ｖを“２”で初期化してからステップＳ９に移行する。
このステップＳ９では、記憶テーブルＴに記憶されている全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について許容誤差εに対する識別コード（Ｉ１，Ｉ２）の変動幅ΔＩを下記（５）式に従って算出する。
ΔＩ＝（Ｉ１MAX−Ｉ１MIN＋１）＋（Ｉ２MAX−Ｉ２MIN＋１） …………（５）
【００３２】
次いでステップＳ１０に移行して、算出した各識別コード（Ｉ１，Ｉ２）の変動幅ΔＩが変動幅設定値Ｖと一致する配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝が存在するか否かを判定し、ΔＩ＝Ｖとなる配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝が存在する場合には、ステップＳ１１に移行して、該当する配列パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝の｛Ｉ１MIN、Ｉ１MAX、Ｉ２MIN、Ｉ２MAX｝を使用して全ての２次元配列Ｉの要素Ｉ〔ｉ１，ｉ２〕（Ｉ１MIN≦ｉ1≦Ｉ１MAX，Ｉ２MIN≦ｉ２≦Ｉ２MAX）が“０”であるか否かを判定し、これらを満足する場合には、ステップＳ１２に移行して、記録テーブルＴの該当する配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝に「採用」を記録する。
【００３３】
次いで、ステップＳ１３に移行して、２次元配列Ｉの要素Ｉ〔ｉ１，ｉ２〕（Ｉ１MIN≦ｉ1≦Ｉ１MAX，Ｉ２MIN≦ｉ２≦Ｉ２MAX）の値を使用済みを表す“１”に変更する。
次いで、ステップＳ１４に移行して、記憶テーブルＴの全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について調査が終了したか否かを判定し、全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について調査が終了したときには識別点配置パターン決定処理を終了し、全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について調査が終了していないときには前記ステップＳ１０に戻る。
【００３４】
一方、前記ステップＳ１０の判定結果が、ΔＩ＝Ｖとなる配列パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝が存在しないときには、ステップＳ１５に移行して、変動幅設定値Ｖを“１”だけ増やしてから前記ステップＳ１０に戻る。
さらに、前記ステップＳ１１の判定結果が、２次元配列Ｉの要素Ｉ（ｉ１，ｉ２）（Ｉ１MIN≦ｉ１≦Ｉ１MAX，Ｉ２MIN≦ｉ２≦Ｉ２MAX）のいずれかが“１”であるときには、ステップＳ１６に移行して、Ｉ１又はＩ２の変動幅ΔＩが使用済みの値に重複していることを意味するので、記録テーブルＴの該当配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝に「不採用」を記録してから前記ステップＳ１４に移行する。
【００３５】
このようにして、上記識別点配置パターン決定処理で「採用」が決定された記録テーブルＴの配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝を実際の配置パターンとして使用する。そして、採用された配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝を例えば識別コードＩ１が小さい順にソートして、この順序に並び代えて所定のハードディスク等の記憶装置に記憶する。
そして、検索情報保持物体２を作成する際に、例えば図８に示すように、検索用タグ３内を各目盛り３ｂを結ぶことにより、１６行×１６列で原点(０，０)から右方向に順次“１”〜“１６”を割り当て、次いで２行目の左端から右方向に順次“１７”〜“３２”を割り当てて、最終的に最下行の右端に“２５６”を割り当てて、細分化領域ＳＡ1、ＳＡ2、……ＳＡ256を形成する。
【００３６】
これら細分化領域ＳＡ1〜ＳＡＴ256の何れか1つを選択し、選択した領域に、二次元バーコード等の検索情報を含む検索コードＲＣを印刷する印刷位置ＲＰを特定し、情報検索装置５の記憶装置を参照して、特定された印刷位置ＲＰに割り当てられた数値ｉ（ｉ＝１〜２５６）に対応する識別コードＩ１を有する配置パターン｛ｙ１，ｘ２，ｙ３，ｘ４｝を選択し、選択した配置パターン｛ｙ１，ｘ２，ｙ３，ｘ４｝の識別点Ｐ０〜Ｐ４を決定し、決定された配置パターン｛ｙ１，ｘ２，ｙ３，ｘ４｝で識別点Ｐ０〜Ｐ４を印刷すると共に、印刷位置ＲＰに光学的に読取可能なＱＲコードなどの二次元コードで構成される検索コードを印刷する。
【００３７】
タグ読取装置４は、図１に示すように、検索用タグ３を撮影して画像データＤを出力する撮像手段としてのディジタルカメラ１１と、このディジタルカメラ１１から出力される映像データＤが入力されて、この映像データＤに基づいて検索用タグ３の識別点Ｐ０〜Ｐ４を識別するタグ識別手段としてのタグ識別部１２と、このタグ識別部１２で識別した識別点Ｐ０〜Ｐ４の座標（ｘ０，ｙ０）〜（ｘ４，ｙ４）に基づいて幾何学的不変量Ｉ1及びＩ2を算出し、これを整数化して識別コードＩ１及びＩ２を算出する幾何学的不変量算出手段としての幾何学的不変量算出部１３と、識別コードＩ１，Ｉ２に基づいて検索情報位置を特定し、特定した検索情報位置の画像データを読込み、これを検索情報として出力する検索情報抽出手段としての検索情報抽出部１４とを備えている。
【００３８】
タグ識別部１２は、図２に示すように、ディジタルカメラ１１から入力される一画面分の画像データである対象画像データＤから、所定サイズの部分画像ＰＧを順次抽出する部分画像抽出部３１と、抽出した部分画像ＰＧについて抽出方向符号ＥＤを演算する方向符号演算部３２と、識別点Ｐ０〜Ｐ４を識別可能な特徴情報としての参照用方向符号ＲＤを予め記憶した方向符号記憶部３３と、方向符号演算部３２で演算した抽出方向符号ＥＤと、方向符号記憶部３３に記憶されている参照用方向符号ＲＤとを比較して、両者が一致するか否かを判定する方向符号比較部３４と、部分画像抽出部３１の部分画像を１画素毎に移動させながら方向符号比較部３４の比較結果が、抽出方向符号ＥＤが参照用方向符号ＲＤと一致したときに、そのときの部分画像の中心点を識別点Ｐ０〜Ｐ４の中心点として算出する識別点座標演算部３５とで構成されている。
【００３９】
ここで、方向符号とは、例えば、図９に示すように、１画面データの任意の画素ＰＥ０を考えたとき、その画素ＰＥ０に隣接して包囲する八つの画素ＰＥ１〜ＰＥ８の各輝度値と、画素ＰＥ０の輝度値とをそれぞれ比較し、画素ＰＥ０の輝度値からの増加（又は減少）幅が最も大きな方向を符号化してなる情報である。この場合であれば、紙面に向かって、右方向、斜め右上方向、上方向、斜め左上方向、左方向、斜め左下方向、下方向、斜め右下方向の８方向に、例えば０〜７の番号を付すことで符号化してなる情報である。そして、この方向符号０〜７を検索用タグ３の識別点Ｐ０〜Ｐ４の元データ全体に対して求めてそれを２次元データとして保存したものが、参照用方向符号ＲＤとなる。なお、ここでは画素ＰＥ０に隣接する８つの画素に注目して８方向としたが、これに限定されることはなく、より多くの方向に、例えば周囲８つの画素の配置された方向それぞれの中間方向も含めて細分化し、この場合は各方向に０〜１５の番号を付して、より詳細な符号化を行うようにしてもよい。
【００４０】
また、ここでは参照用方向符号ＲＤを識別点Ｐ０〜Ｐ４の元データから生成する方法を説明したが、これに限定されることなく、所定の大きさの参照用方向符号ＲＤを直接計算して生成するようにしてもよい。このようにして生成した参照用方向符号ＲＤは、全ての方向符号（上記の例では０〜７）が円周方向に連続して一様に現れ、また同一の半径方向上では全て同一の方向符号となる特徴がある。
【００４１】
そして、タグ識別部１２の部分画像抽出部３１は、参照用方向符号ＲＤを生成する際に用いた画像サイズと同じ大きさの部分画像ＰＧを抽出するようになっており、方向符号演算部３２は、抽出された部分画像ＰＧに対して参照用方向符号ＲＤを生成する際と同様の手順で演算を行って部分画像ＰＧの方向符号を求めるように構成されている。
ここで、例えば、図１０（ａ）に示すように、画像データＤの画像サイズの大きさを高さ４８０画素、幅６４０画素とし、図１０（ｂ）に示すように、参照用方向符号ＲＤの画像サイズの大きさを高さ及び幅共に３２画素とした例を考える。即ちかかる例の場合、部分画像抽出部３１は、図１０（ａ）に示すように、画像データＤの最上段左端から右端に向かって１画素移動する毎に部分画像ＰＧを順次抽出し、第１行の右端に達したら、１画素分下側の第２行に移り左端から右端に向けて、１画素移動する毎に部分画像ＰＧを順次抽出し、これを順次最終行まで継続してこの部分画像ＰＧを抽出するということになる。
【００４２】
方向符号比較部３４は、参照用方向符号ＲＤと部分画像ＰＧの対応する全ての画素について方向符号の差を集計する。そして、その集計値が０であれば「一致」と判定し、所定の閾値以内であれば「近似している」と判定する。なお、方向符号の差は次のように計算される。例えば、方向を８等分して方向符号０〜７を使う場合で説明する。２つの方向符号Ｄ１とＤ２の差ｄは、下記（６）式で算出することができる。
ｄ＝Ｍｉｎ｛Ｇ，８−Ｇ｝ 但し、Ｇ＝｜Ｄ１−Ｄ２｜ ……（６）
【００４３】
すなわち、抽出方向符号ＥＤの符号が“０”で参照用方向符号ＲＤの符号が“０”であるときには、Ｇ＝０となることにより、差ｄが“０”となるが、抽出方向符号ＥＤの符号が“０”で参照用方向符号ＲＤの符号が“１”（又は“７”）であるときには、Ｇ＝１，８−Ｇ＝７（又はＧ＝７，８−Ｇ＝１）となるのでｄ＝１となり、抽出方向符号ＥＤの符号が“０”で参照用方向符号ＲＤの符号が“３”（又は“５”）であるときには、Ｇ＝３，８−Ｇ＝５（又はＧ＝５，８−Ｇ＝３）となるのでｄ＝３となる。
【００４４】
識別点座標演算部３５は、例えば、対象画像データＤの左上を座標の原点（０，０）として方向符号比較部３４の比較結果が“０”であればこのときの部分画像ＰＧの中心点を識別点Ｐ０〜Ｐ４の何れかの中心点として記憶し、比較結果が“０”ではないが所定の閾値以下であるときにもこのときの部分画像ＰＧの中心点座標を識別点Ｐ０〜Ｐ４の何れかの中心点座標（ｘi,ｙi）として記憶すると共に、５つの識別点の中心点座標が検出されたときに、各識別点の輪郭線の直径が一番大きい識別点を識別点Ｐ０として設定し、さらに５つの識別点の重心点を算出し、算出した重心点から見て識別点Ｐ０から反時計回りに順次識別点Ｐ１〜Ｐ４として設定し、設定した識別点Ｐ０〜Ｐ４とその中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）とを幾何学的不変量算出部１３に出力する。
【００４５】
なお、ここでは対象画像データＤから部分画像ＰＧを抽出し、その部分画像ＰＧに対して方向符号を求める方法について説明したが、これに限定されることなく、対象画像データＤ全体に対して方向符号を求めておき、そこから部分画像ＰＧに対応する方向符号を抽出して、方向符号比較部３４に供給するようにしてもよい。
幾何学的不変量算出部１３では、入力された各識別点Ｐ０〜Ｐ４の中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）に基づいて下記（７）及び（８）式の演算を行って幾何学的不変量Ｉ1及びＩ2を算出し、算出した幾何学的不変量Ｉ1及びＩ2を前記（３）式及び（４）式を使って整数化した値を識別コードＩ１及びＩ２として検索情報抽出部１４に出力する。
【００４６】
【数３】
【００４７】
この検索情報抽出部１４では、幾何学的不変量算出部２２から入力された識別コードＩ１及びＩ２のうち例えば識別コードＩ１の値に基づいて検索情報が含まれている細分化領域ＳＡk（ｋ＝１〜２５６）を特定し、その画像データを抽出して情報検索装置５に出力する。
【００４８】
情報検索装置５は、検索コードの解読プログラム、例えばインターネットへ接続する通信プログラム、解読したコード情報を送信する送信プログラム等を備えており、タグ読取装置４の検索情報抽出部１４から出力される検索コードの画像データが入力されると、この画像データを解析して、検索コードに記憶されている検索情報を解読し、解読した検索情報に基づいて検索処理を実行する。この検索処理としては、例えば検索コードにインターネットの接続先アドレス（ＵＲＬ）及び商品コードが含まれているものとすると、検索コードの解読プログラムによって接続先アドレス及び商品コードを解読し、通信プログラム及び送信プログラムによって解読した接続先アドレスに商品コードを送信することにより、接続先アドレスのサーバにアクセスし、サーバに格納されている商品コードに応じた商品情報を受信して表示装置５ａに表示する。
【００４９】
次に、上記実施形態の動作を説明する。
今、図８に示すように、四角形領域３ａ内の細分化領域ＳＡ213にＱＲコードでなる検索コードが印刷され、この細分化領域ＳＡ213を指定するように、識別コードI1が“２１３”を表す配置パターンで識別点Ｐ０〜Ｐ４が印刷された検索用タグ３が雑誌、折り込み広告等の検索情報保持物体２に印刷されているものとする。
【００５０】
この検索情報保持物体２の検索用タグ３を読取るには、先ず、検索用タグ３が視野範囲内に入るようにディジタルカメラ１１をセットしてからシャッターボタンを押圧することにより、検索用タグ３の画像を含む画像データＤを形成し、この画像データＤがタグ識別部１２に出力される。このタグ識別部１２では、ディジタルカメラ１１から画像データＤが入力されると、この画像データＤを部分画像抽出部３１に供給して、この部分画像抽出部３１で画像データを一時記憶してから画像データＤの原点位置から順次所定サイズの部分画像ＰＧを抽出し、抽出した部分画像ＰＧを方向符号演算部３２に供給する。
【００５１】
この方向符号演算部３２では、部分画像ＰＧに含まれる各画素間の輝度変化に基づいて抽出方向符号ＥＤを算出する。このとき、部分画像ＰＧが検索用タグ３の識別点Ｐ０〜Ｐ４の何れかの位置に到達していないときには、輝度変化に基づいて算出される方向符号がないか又は文字、図形等が記載されている場合に、文字、図形等に沿って方向符号が生じるが何れにしても識別点Ｐ０〜Ｐ４の中心から各半径方向に順次輝度が連続的に減少又は増加する方向符号パターンは存在しないので、方向符号演算部３２で演算された抽出方向符号ＥＤと予め方向符号記憶部３３に記憶されている正規の検索用タグ３から算出した参照用方向符号ＲＤとが一致することはなく、前述した（６）式で算出される差ｄの合計値が大きな値となり、識別点Ｐ０〜Ｐ４として認識されることはない。
【００５２】
ところが、識別点Ｐ０〜Ｐ４の何れかが部分画像ＰＧに含まれる状態となり、例えば図１１（ａ）に示すように、抽出される部分画像ＰＧが識別点Ｐ０〜Ｐ４の何れかの中心点を横切る状態となると、部分画像ＰＧに含まれる識別点の方向符号が図１１（ｂ）〜（ｅ）に示すように順次変化することになり、方向符号記憶部２３に記憶されている参照用方向符号が、図１１（ｆ）に示すように、検索用タグ３の中心部の方向符号であるものとすると、図１１（ｂ）では、方向符号の差ｄの総計が大きく、図１１（ｃ）で方向符号の差ｄの総計が小さくなり、図１１（ｄ）で方向符号の差ｄの総計が所定の閾値以内となる近似している状態となるが、さらに図１１（ｅ）では、参照用方向符号ＲＤと完全に一致することから方向符号の差ｄの総計が“０”となり、この状態における部分画像ＰＧの中心点座標が識別点Ｐ０〜Ｐ４の何れかの中心点座標（ｘi，ｙi）として記憶される。
【００５３】
以上の識別点抽出処理を繰り返すことにより、検索用タグ３の５つの識別点Ｐ０〜Ｐ４の中心点座標（ｘi，ｙi）（ｉ＝０〜４）を抽出する。
このとき、ディジタルカメラ１１に対する検索情報保持物体２の姿勢が変化して検索用タグ３がディジタルカメラ１１に正対していない場合でも、識別点Ｐ０〜Ｐ４は、３６０度全ての方向に対して同じように変化する円形のパターンを持っているので、タグ識別部１２の処理は影響を受けることはない。
【００５４】
また、ディジタルカメラ１１に対して検索用タグ３が接近するか又は遠ざかることにより、これによって撮像される識別点Ｐ０〜Ｐ４の円形のパターンが拡大又は縮小しても、輝度が中心から３６０度全ての方向に対して同じように変化するという特徴は変わらず、その抽出方向符号ＥＤが参照用方向符号ＲＤと同じなので識別点Ｐ０〜Ｐ４を正確に識別することができ、タグ識別部１２の処理は影響を受けることはない。
【００５５】
また、識別点Ｐ０〜Ｐ４とディジタルカメラ１１との方向により、撮像された識別点Ｐ０〜Ｐ４の円形のパターンに視覚歪が発生しても、輝度が中心から３６０度全ての方向に対して変化するという特徴に変わりはなく、撮像された識別点Ｐ０〜Ｐ４の抽出方向符号ＥＤと参照用方向符号ＲＤの大部分とが一致することで、識別点Ｐ０〜Ｐ４を正確に識別することが可能となり、タグ識別部１２の処理は影響を受けることはない。
【００５６】
以上のようにして、検索用タグ３の５つの識別点の中心点座標を抽出すると、そのうち識別点の境界線の直径が一番大きい識別点を識別点Ｐ０に設定すると共に、各識別点の中心点座標から重心点を求め、求めた重心点から識別点Ｐ０を見たときに反時計回りに順次現れる識別点を順次Ｐ１、Ｐ２……Ｐ４として設定し、設定した識別点Ｐ０〜Ｐ４とそれらの中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）とを幾何学的不変量算出部１３に出力する。
【００５７】
この幾何学的不変量算出部１３では、各識別点Ｐ０〜Ｐ４の中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）に基づいて前記（７）式及び（８）式の演算を行って幾何学的不変量Ｉ1及びＩ2を算出し、これらを前記（３）式及び（４）式を使って整数化した識別コードＩ１及びＩ２を検索情報抽出部１４に出力する。
この検索情報抽出部１４では、入力される識別コードＩ１及びＩ２の内識別コードＩ１（＝２１３）に基づいて細分化領域ＳＡ213を検索情報の位置として決定し、この細分化領域ＳＡ213の画像データ即ちＱＲコードでなる検索コードの画像データを抽出して、この画像データを情報検索装置５に出力する。
【００５８】
情報検索装置５では、入力される検索コードの画像データを解読プログラムによって、検索コードに含まれる接続先アドレス及び商品コードを解読し、解読した接続先アドレスのサーバにアクセスすると共に、商品コードを送信する。これによって接続先のサーバから商品コードに応じた商品情報を情報検索装置５に送信し、情報検索装置５では、サーバからの商品情報を受信すると、受信した商品情報を表示装置５ａに表示する。
【００５９】
このように、上記実施形態によれば、検索用タグ３の識別点の配置パターンに基づいて幾何学的不変量Ｉ1及びＩ2を算出し、算出した幾何学的不変量Ｉ1及びＩ2を整数化して識別コードＩ１及びＩ２を算出し、算出した識別コードＩ１が検索コードを記載した検索情報の位置を表す情報となっているので、ＱＲコードなどの二次元コードで検索コードを構成している場合でも、検索コードの位置を容易に検出することができ、この位置から検索コードの画像データを容易に抽出することができ、ディジタルカメラ１１での撮像位置をラフに設定しても、検索コードを正確に検出することができる。
【００６０】
しかも、検索用タグ３はディジタルカメラ１１との対面角度に関わらず算出される幾何学的不変量Ｉ1及びＩ2が一定値であるので、検索情報保持物体２とディジタルカメラ１１との相対姿勢が変化して検索用タグ３のディジタルカメラ１１に対する角度が変化した場合でも正確に識別コードを算出することができ、検索用タグ３を誤認識することを確実に防止することができる。
【００６１】
しかも、検索用タグ３は、四角形領域３ａの各辺に識別点Ｐ０〜Ｐ４を配置するようにしており、識別点を配置した各辺の内側領域は検索コードを印刷した検索情報位置以外は検索には使用しないので、この内側領域における検索情報位置以外の領域に、任意の文字や図形等を記載することが可能となり、広告情報、会社情報等を記載することができる。
また、検索用タグ３は、四角形領域３ａの各辺に目盛りが形成され、この目盛り上に識別点Ｐ０〜Ｐ４を配置するようにしているので、ラベルに四角形領域３ａの外径枠と目盛りのみを設けておき、予め印刷した識別点Ｐ０〜Ｐ４を検索情報の位置に応じて目盛り上に貼着して検索用タグ３を構成することができ、多数種の配置パターンの検索用タグ３を予め設ける場合に比較して、製作コストを低減することができる。
【００６２】
また、本発明に係る検索用タグ及び情報検索システムでは、テンプレートマッチング処理として「方向符号法」を用いており、また検索用タグ３の識別点Ｐ０〜Ｐ４の円形のパターンの輝度が中心から３６０度全ての方向に対して同じように変化するという特徴を持たせている。このため、例えば、検索用タグ３をカメラ１１で撮像する際に、照明変動が起きて検索用タグ３上に影が発生したり、充分な光量が得られずに暗がりでの撮像だったりしたとしても、撮像された対象画像データＤに基づく抽出方向符号ＥＤが参照用方向符号ＲＤと同じであることに変わりはないので、タグ識別部１２の処理は影響を受けにくい。
【００６３】
このように、検索用タグ３は、輝度が中心点Oから３６０度全ての方向に対して同じように変化する円形のパターンを持たせているので、この検索用タグ３をカメラ１１で撮像する際の状況が変化しても影響を受けない。
このため、テンプレートマッチングの際に、１つのテンプレート（参照用方向符号ＲＤ）を用意することでカメラ１１での撮像状況に広く対応でき、計算コストを削減して画像識別処理を高速化できるという効果が得られる。
【００６４】
また、上記記載の理由により、検索用タグ３とカメラ１１との位置関係及び撮像状況に制約を受けずに検索用タグ３を識別できるという効果が得られる。
なお、上記第１の実施形態においては、識別コードＩ１，Ｉ２の何れか又は双方に基づいて設定した検索情報位置即ち細分化領域ＳＡkの画像データをそのまま情報検索装置５に出力する場合について説明したが、これに限定されるものではなく、細分化領域ＳＡkの画像データを拡大して情報検索装置５に出力するようにしてもよい。
【００６５】
また、上記第１の実施形態においては、雑誌、折り込み広告等の検索情報保持物体２に検索用タグ３を印刷して、検索情報の位置を特定する場合について説明したが、これに限定されるものではなく、可視光通信の発信光源などの位置を特定し、通信光受信機の向きを制御する場合にも本発明を適用することができる。
さらに、上記第１の実施形態においては、細分化領域ＳＡkに識別コードＩ１を“１”から順に割り付けた場合について説明したが、これに限定されるものではなく、識別コードＩ１を特定位置（例えば、左上角、右下角など）に割り付けたり、所定数置きの細分化領域に割り付けたり、任意の割り付け方法を適用することができる。
【００６６】
次に、本発明の第２の実施形態を図１２及び図１３について説明する。
この第２の実施形態では、検索情報位置の画像データを幾何学的補正可能としたものである。
すなわち、第２の実施形態においては、図１２に示すように、前述した第１の実施形態における図１の構成において、検索情報抽出部１４と情報検索装置５との間に、検索情報抽出部１４で抽出された検索コードＲＣの画像データをディジタルカメラ１１が検索情報保持物体２に正体した状態の画像データに補正する画像補正手段としての画像補正部１５が介挿されていることを除いては図１と同様の構成を有し、図１との対応部分には同一符号を付し、その詳細説明はこれを省略する。
【００６７】
ここで、画像補正部１５における画像補正処理を説明すると、図１３に示すように、２つの画像データＡ及びＢがあり、各々の中に同一の検索用タグが含まれている場合を考える。画像データＡにおける検索用タグ３の識別点Ｐ０〜Ｐ４の位置を（ｘＡｉ，ｙＡｉ）（ｉ＝０〜４）とする。同様に、画像データＢにおける検索用タグ３の識別点Ｐ０〜Ｐ４の位置を（ｘＢｉ，ｙＢｉ）（ｉ＝０〜４）とする。
【００６８】
今、同一の点Ｐが画像データＡ及びＢに含まれている場合を考えると、画像データＡにおける点Ｐの座標（ｘＡ，ｙＡ）は、画像データＡにおける検索用タグ３によって定められる座標系を基準にしている。同様に、画像データＢにおける点Ｐの座標（ｘＢ，ｙＢ）は、画像データＢにおける検索用タグ３によって定められる座標系を基準にしている。
一般に、２つの画像データＡ及びＢは射影変換の関係にあるので、画像データＡにおける点（ｘＡ，ｙＡ）と画像データＢにおける点（ｘＢ，ｙＢ）の間には、下記（９）式で表される関係がある。
【００６９】
【数４】
【００７０】
この（９）式を展開し、定数λを消去すると、２つの連立方程式が得られる。従って、検索用タグ３の５つの識別点Ｐ０〜Ｐ４のうちの４つの識別点Ｐ０、Ｐ１、Ｐ２及びＰ３の座標を得られた連立方程式に代入することにより、合計８つの制約式が得られる。行列Ｍの自由度は８であるから、これら８つの制約式を使って、全ての要素ｍｉｊ（ｉ＝１〜３、ｊ＝１〜３、但しｍ３３は除く）を求めることができる。
【００７１】
こうして得られた変換行列Ｍを使うことにより、画像データＡ及びＢの中の点を相互に射影変換することかできる。すなわち、画像データＡにおける座標（ｘＡ，ｙＡ）の点は、画像データＢで座標（ｘＢ，ｙＢ）の点に対応する。逆に、画像データＢにおける座標（ｘＢ，ｙＢ）の点は、画像データＡで座標（ｘＡ，ｙＡ）の点に対応する。双方の座標は上記（９）式で算出することができる。
【００７２】
そして、上記画像データＡがタグ読取装置４によって撮影された画像データであるとする一方、上記画像データＢは検索コードを正面の位置から所定のサイズで読取った場合の仮想的な画像データであるとする。このとき、画像データＢでは、検索用タグ３も実際の形（５つの識別点Ｐ０〜Ｐ４は設計配置にある）或いはその相似形であるはずである。
そこで、上記（９）式から得られる制約式に代入する検索用タグ３の５つの識別点Ｐ０〜Ｐ４のうちの４点Ｐ０，Ｐ１，Ｐ２，Ｐ３の座標としてタグ読取装置４で読取って得られた画像データＡの点（ｘＡｉ，ｙＡｉ）（ｉ＝０，１，２，３）及び検索用タグ３の設計配置にある点（ｘＢ，ｙＢ）（ｉ＝０，１，２，３）を採用する。
【００７３】
その結果得られた変換行列Ｍを使うことにより、タグ読取装置４によって得られた画像データの中の任意の点は、検索コードを正面の位置から所定のサイズで読取った場合の画像データの中に正しく位置付けられる。
すなわち、たとえタグ読取装置４が検索コードに正対していなくとも、検索用タグ３の５つの識別点Ｐ０〜Ｐ４のうちの４点の設計配置を利用することにより、検索用コードの画像データを幾何学的に補正して、あたかも正面から見た所定のサイズの検索コードの画像データを得ることができる。
【００７４】
このように、上記第２の実施形態によると、ディジタルカメラ１１で検索用タグ３を含む画像データを撮影したときに、ディジタルカメラ１１と検索情報保持物体２とが正対していない場合でも検索情報位置に対応する画像データを幾何学的に補正してあたかも正面から撮影したように所定サイズの検索コードの画像データを得ることができ、この幾何学的補正後の画像データを情報検索装置５に出力することにより、この情報検索装置５で画像データを正確に解析して、検索コードに記憶されている検索情報を解読し、解読した検索情報に基づいて検索処理を実行することができる。
【００７５】
なお、上記第１及び第２の実施形態においては、検索コードＲＣとしてＱＲコードを適用した場合について説明したが、これに限定されるものではなく、１次元のバーコードや他の二次元コードを適用することができ、任意の検索コードを適用することができる。
なおまた、上記第１及び第２の実施形態においては、検索コードは１つの細分化領域にある場合について説明したが、これに限定されるものではなく、複数の細分化領域にまたがって検索コードが存在してもよい。この場合には、例えば複数領域の左上をＳＡL、右下をＳＡRとしたとき、２つの識別コードでＩ１＝Ｌ、Ｉ２＝Ｒのように指定することができる。
【００７６】
次に、本発明の第３の実施形態を図１４について説明する。
この第３の実施形態では、検索コードを使用することなく、幾何学的不変量算出部１３で算出した識別コードＩ１及びＩ２を直接情報検索装置５に出力して、この情報検索装置５で識別コードＩ１及びＩ２の何れか一方又は双方に基づいて関連情報を検索するようにしたものである。
【００７７】
すなわち、第３の実施形態においては、図１４に示すように、前述した第１の実施形態における図１の構成において、検索用タグ３の細分化領域ＳＡ1〜ＳＡ256及びこれに記載された検索コードが省略されていると共に、タグ読取装置４における検索情報抽出部１４が省略されて、幾何学的不変量算出部１４で算出した識別コードＩ１及びＩ２が直接情報検索装置５に供給されるように構成されていることを除いては図１と同様の構成を有し、図１との対応部分には同一符号を付し、その詳細説明はこれを省略する。
【００７８】
ここで、情報検索装置５では、幾何学的不変量算出部１４で算出した識別コードＩ１及びＩ２が入力されると、これら識別コードＩ１及びＩ２に基づいて予め設定された関連情報記憶テーブルを参照して関連情報を選択する。
この関連情報としては、詳細情報が格納されたＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）が採用され、このＵＲＬが識別コードＩ１及びＩ２に対応付けられて関連情報記憶テーブルに記憶されている。
そして、情報検索装置５では、識別コードＩ１及びＩ２に基づいて関連情報記憶テーブルを参照して該当するＵＲＬを求めると、求めたＵＲＬのホームページにアクセスして詳細情報を入手し、この詳細情報を表示装置５ａに表示する。
【００７９】
この第３の実施形態によれば、タグ読取装置４で検索用タグ３を読取ることにより、各識別点Ｐ０〜Ｐ４の位置座標に基づいて幾何学的不変量Ｉ1及びＩ2を算出し、この幾何学的不変量Ｉ1及びＩ2を整数化して識別コードＩ１及びＩ２を算出し、この識別コードＩ１及びＩ２を情報検索装置５に出力することにより、この情報検索装置５で、関連情報記憶テーブルを参照することにより、識別コードＩ１及びＩ２で表されるＵＲＬを選択し、選択したＵＲＬのホームページにアクセスすることにより、広告内容の詳細情報その他の必要な詳細情報を入手し、これを表示装置５ａに表示することにより、ユーザーが必要とする詳細情報を容易且つ正確に取得することができる。
【００８０】
この場合、雑誌の広告面などでは検索用タグ３を記事の外枠に書き込むことができるため、検索用タグ３自体を大きく表示することが可能となり、低解像度の携帯電話のカメラを使用して、遠方から検索用タグ３を撮影した場合でも、タグ読取装置４で検索用タグ３を正確に検出して幾何学的不変量Ｉ1及びＩ2を算出することができ、これを整数化して識別コードＩ１及びＩ２を正確に算出することができ、検索コードの誤読取りを生じることがなく、詳細情報を確実に入手することかできる。
【００８１】
なお、上記第３の実施形態においては、検索情報保持物体２に直接検索用タグ３を印刷した場合について説明したが、これに限定されるものではなく、検索用タグ３を透明シートに印刷し、この検索用タグ３を印刷した透明シートを検索情報保持物体２に重ねて貼付することにより、この透明シートに印刷された検索用タグ３をディジタルカメラ１１で撮影することにより、タグ読取装置４で検索用タグ３を読取って識別コードＩ１及びＩ２を正確に算出することができる。このように、検索用タグ３を印刷した透明シートを使用することにより、既存の広告文書をそのまま使用して、この広告文書の上に透明シートを貼着すればよく、新たな広告文書を作成する手間を省略することができる。
【００８２】
また、上記第３の実施形態においては、タグ識別部１２は５つの識別点の内、直径が一番大きな点をＰ０と識別して識別点の座標（ｘ０、ｙ０）〜（ｘ４、ｙ４）を算出している場合について説明したが、これに限定されるものではなく、ディジタルカメラ１１で撮影した画像の中で最も左上にある識別点をＰ０とし、５点の重心からみて反時計回りに順にＰ１，Ｐ２，Ｐ３，Ｐ４として座標を算出するようにしてもよい。幾何学的不変量Ｉ1、Ｉ2は、５つの識別点のどれをＰ０にとるかによって値が異なる。そこで、１つの検索用タグに対して、５つの識別点を各々Ｐ０としたときの５通りの幾何学的不変量Ｉ1、Ｉ2を予め全て計算し、情報検索装置５における関連情報記憶テーブルに同一の関連情報と共に登録しておく。こうすることにより、タグ識別部１２は、識別点の大きさを比較してＰ０を特定する処理を省くことができ、全体の処理を簡略化し高速化することができる。
【００８３】
なおまた、上記第１〜第３の実施形態において、検索用タグ３を識別点Ｐ０が常に特定の位置（例えば左上）にくるように設置して利用するようにすれば、タグ識別部１２はディジタルカメラ１１で撮影した画像の中で最も左上にある識別点をＰ０とすればよいため、識別点の大きさを比較してＰ０を特定する処理を省くことができ、全体の処理を簡略化し高速化することができる。
【００８４】
次に、上記第１〜第３の実施形態においては、検索用タグ３の識別点Ｐ０〜Ｐ４を抽出する際に、所定サイズの画像データＤの全領域に対して所定サイズの部分画像ＰＧを１画素毎に順次移動させることにより、識別点Ｐ０〜Ｐ４を抽出する場合について説明したが、これに限定されるものではなく、方向符号比較部３４によるテンプレートマッチング処理に先立ち、画像データＤの隣接する画素毎に方向符号の所定の範囲における連続性の有無（隣接する画素の方向符号の差ｄが所定範囲内であるか否か）を調査して、方向符号の連続性がある画素をグループ化し、各グループから予め定めた選出基準によって図１５に示すようにマスクを選出して、選出したマスクに属する画素についてのみ部分画像ＰＧによる識別点Ｐ０〜Ｐ４の抽出を行うことにより、画像識別の処理時間を短縮することができる。ここで、識別点Ｐ０〜Ｐ４には、輝度が中心点から３６０度全ての方向に対して同じように変化する円形のパターンを持たせているので、その画像から生成される方向符号は連続した値をとるので、各識別点Ｐ０〜Ｐ４は、上記のグルーピング処理によって、一つのグループＧ、すなわちマスクとして抽出される。なお、選出基準としては、例えば、グループＧの占める面積、真円度等が挙げられる。さらに、図１６に示すように、マスクの上下左右の各端部における座標に基づいてマスクの中心点を求め、この中心点近傍でのみ部分画像ＰＧによる識別点抽出処理を行うことにより、さらに画像処理時間を短縮することができる。
【００８５】
また、テンプレートとして、図１７に示すように、３２画素×３２画素のテンプレートがあり、方向符号を０〜１５とすると、中心点Ｑを挟んで、その左半分には方向符号８（左向き）が、右半分には方向符号０（右向き）が以下のように並ぶ。ここでは、中心点Ｑの方向符号は０としておく。
例： ・・・８８８Ｑ０００・・・
この方向符号の列を水平方向部分テンプレート（列状特徴情報）として、前述した図９の参照用方向符号ＲＤとして方向符号記憶部３３に記憶しておくと共に、画像データＤに対する抽出方向符号から長さ３２画素の列状の部分画像ＰＧを比較情報として部分画像抽出部３１により順次抽出し、これを方向符号比較部３４にてタグ方向符号３３と比較し、相互に一致又は近似した比較情報を選択することで、識別点座標演算部３５により画像データＤの中から識別点Ｐ０〜Ｐ４の位置座標を検出するようにしてもよい。
【００８６】
この場合には、画像データＤの画像サイズがＬ×Ｍ（６４０×４８０）である場合に、Ｎ×Ｎ（Ｎ＝３２）のテンプレート画像サイズから、照合する画素の延べ数はＬ×Ｍ×Ｎ×Ｎ（約３×１０8）となるが、テンプレート画像サイズが、Ｎ×１（Ｎ＝３２）となるので、列状特徴情報を用いて比較を行った場合に照合する画素の延べ数はＬ×Ｍ×Ｎ（約１×１０7）となり、Ｎ（Ｎ＝３２）倍の高速化ができる。即ち、特徴情報及び比較情報の一度に比較する情報量をそれぞれ減らすことにより、高速化を図ることができる。
【００８７】
さらには、図１８（ａ）に示すように、上述したように水平方向部分テンプレートＨＴを使用して、これと一致又は近似する画像領域を抽出し、抽出した画像領域について再度垂直方向部分テンプレートＶＴを使用して比較処理することにより、２回の比較処理を行うことにより、誤検出を防止することができる。この場合には、図１８（ｂ）に示すように、最初に垂直方向部分テンプレートＶＴを使用し、次に水平方向テンプレートＨＴを使用するようにしてもよい。
【００８８】
このようにして識別点Ｐ０〜Ｐ４を検出することで、水平方向に対して比較をしてから、さらに垂直方向へ比較した場合の延べ数は、Ｌ×Ｍ×Ｎ＋Ｎ×ｋとなる。ここで言うｋとは、水平又は垂直方向でマッチしてから、さらに垂直又は水平方向の比較をした件数であり、ｋ＜＜Ｌ×Ｍの関係である。すなわち、水平又は垂直方向部分テンプレートによる比較処理を行うことで上記第１の実施の形態と比較してＮ倍の高速化ができる他、水平（又は垂直）方向への比較を行った後に、さらに垂直（又は水平）方向への比較を行う場合には、誤検出を減らすと共に、ほぼＮ倍の高速化ができるということになる。
【００８９】
さらに、図１８（ｃ）に示すように、水平方向部分テンプレートＨＴによる比較処理を行ってから、数列の垂直方向部分テンプレートからなる面状テンプレート（面状特徴情報）ＦＴと水平方向部分テンプレートＨＴのマッチした部分画像ＰＧの中心点を中心とする面状テンプレートと同じ大きさの画像領域を持つ画像データＤから抽出された部分画像ＰＧとの比較処理を順次行うようにしてもよく、図１８（ｄ）に示すように、上記面状テンプレートＦＴより小さい画素数の小面状テンプレートＳＦＴによる比較処理を行ってから、小面状テンプレートＳＦＴとマッチした小面状テンプレートＳＦＴの中心点を中心とする面状テンプレートＦＴと同じ大きさの画像領域をもつ画像データＤから抽出された部分画像ＰＧと面状テンプレートＦＴと比較処理するようにしてもよい。
【００９０】
このように、少ない情報量を持つテンプレートの１つとこれに対応する画像データＤの部分画像ＰＧとを比較し、この比較結果に基づいて実際の識別点Ｐ０〜Ｐ４の検出範囲を絞り込んでから、他の、例えば、同等の情報量又はより情報量の多いテンプレートで更なる比較を行えば、高速化と誤検出防止とを両立できるということになる。
また、上記各実施形態においては、検索用タグ３の識別点Ｐ０〜Ｐ４として全ての半径方向について輝度が変化するようにグラデーションを施した場合について説明したが、これに限定されるものではなく、中心から２方向、３方向、４方向等の任意数の方向に輝度を変化させるようにしてもよい。
さらに、検索用タグ３としては、四角形領域３ａの境界位置にベルベットファスナーの一方を貼付しておき、他方を識別点を表面に印刷した円形ボタンの裏面に貼付することにより、任意の目盛り位置に識別点Ｐ１〜Ｐ４を配置可能に構成することにより、所望の幾何学的不変量を設定すること可能となる。
【図面の簡単な説明】
【００９１】
【図１】本発明に係る情報検索システムの第１の実施形態を示すシステム構成図である。
【図２】図１のタグ識別部の具体的構成を示すブロック図である。
【図３】検索用タグを示す正面図である。
【図４】検索用タグの識別点の中心点から離れるに従って輝度が減少するパターン及び増加するパターンの一例を示す図である。
【図５】識別点の輝度及び中心点からの距離の関係の一例を示すグラデーション特性線図である。
【図６】識別点の輝度及び中心点からの距離との関係の一例を示すグラデーション特性線図である。
【図７】情報検索装置で実行する識別点配置パターン決定処理手順の一例を示すフローチャートである。
【図８】検索用タグの具体例を示す正面図である。
【図９】方向符号の生成を説明するための概略図の一例である。
【図１０】画像データ及び部分画像を示す説明図である。
【図１１】識別点抽出処理の説明に供する説明図である。
【図１２】本発明の第２の実施形態を示すシステム構成図である。
【図１３】画像補正部の画像補正処理の説明に供する説明図である。
【図１４】本発明の第３の実施形態を示すシステム構成図である。
【図１５】方向符号をグループ化する場合の説明図である。
【図１６】方向符号をグループ化してその中心点を部分画像として設定する場合の説明図である。
【図１７】水平及び垂直方向の方向符号を示す説明図である。
【図１８】テンプレートの組合せを示す説明図である。
【符号の説明】
【００９２】
１…情報検索システム、２…検索情報保持物体、３…検索用タグ、４…タグ読取装置、５…情報検索装置、１１…ディジタルカメラ、１２…タグ識別部、１３…幾何学的不変量算出部、１４…検索情報抽出部、１５…画像補正部、３１…部分画像抽出部、３２…方向符号演算部、３３…方向符号記憶部、３４…方向符号比較部、３５…識別点座標演算部、Ｄ…画像データ、ＰＧ…部分画像
【技術分野】
【０００１】
本発明は、情報を検索する場合のキーとなる検索情報を容易に特定することができる検索用タグ及びこれを使用した情報検索システムに関する。
【背景技術】
【０００２】
空間に存在する様々な検索情報を特定する検索用タグを使用して、様々な処理をコンピュータ等の処理装置で行うためには、検索用タグの位置(空間座標)、距離や姿勢(方向ベクトル)、種別などを認識する必要がある。
検索用タグの位置を検出するためには、人為的な目印を用いることなく検索用タグをディジタルカメラ等の撮像手段で撮像し、その撮像データから画像処理によって特徴点を抽出して位置や姿勢を検出することが考えられるが、この場合には、高度な画像処理が必要となるため、処理時間が掛かると共に、認識結果が安定しないなどの未解決の課題がある。
【０００３】
上記未解決の課題を解決するために、検索情報の位置に、例えば特定パターンを目印として貼付しておき、この検索情報保持物体をディジタルカメラ等の撮像手段で撮像し、撮像した画像データの中から特定パターンを探索して検索情報の位置を検出する手法が採用されている。
さらに、検索情報として、例えばバーコードや非接触式無線タグ（ＲＦＩＤ）を所望の検索情報保持物体に貼付しておき、読取機器で識別コードを読取るようにした手法が採用されている。あるいは、検索情報保持物体に印刷された文字情報をディジタルカメラ等の撮像手段で撮像し、その撮像データを文字認識手段で文字認識することにより、検索情報を認識する手法が採用されている。しかしながら、何れの場合にも、検索情報を認識するには、読取機器や撮像手段を検索情報の位置に近接させて識別コードを読取るか文字情報を撮像する必要があり、遠方に存在する物体や広範囲に散らばった物体に保持された検索情報を識別する場合には適用することができないという未解決の課題がある。
【０００４】
このような未解決の課題を解決するために、８角形のプレート上に５つの黒点を配置したタグを設け、このタグをディジタルカメラで撮影し、その画像データからプレートの種別、位置、姿勢を同時に認識するようにした幾何学的不変量に基づく固定標識を用いた作業者情報支援の研究が行われている（例えば、非特許文献１参照）。
ここで、幾何学的不変量は，例えば平面上の５点（Ｐ０〜０４）がどの３点も同一の直線上にない場合、以下のような２つの幾何学的不変量が存在することが知られている（例えば、非特許文献２参照）。
【０００５】
【数１】
【０００６】
この５点の載った平面をカメラで撮影する際、一般に射影変換による幾何学的な歪が発生する。例えばカメラの向きが回転したり、平面との距離が変化したりするとカメラで撮影した画像データは変化する。また、カメラの傾きによっては、長方形が平行四辺形に写る（直角が保存されない）、あるいは長方形が台形に写る（平行性が保存されない）といったことが発生する。ところが、カメラ画像の中の５点の座標から上記（１）式で計算される２つの値Ｉ1，Ｉ2は、上述した射影変換による幾何学的な歪があっても不変である。このような性質を持つ幾何学的不変量は、画像認識するための特徴量として利用されることがある。
【０００７】
すなわち、物体のＩＤコードを認識するための固体標識となるＩＤマーカを幾何学的不変量に基づいて生成するＩＤマーカ生成手段と、任意の視点から撮影して得られる前記ＩＤマーカが貼付された物体の画像を画像入力装置により取込み、その画像に対して画像処理を行ってＩＤマーカの領域を抽出するＩＤマーカ領域抽出手段と、ＩＤマーカ領域の画像から複数の特徴点の位置を抽出する特徴点位置抽出手段と、複数の特徴点の位置から少なくとも１つの幾何学的不変量を算出する幾何学的不変量算出手段と、幾何学的不変量と対応付けられる物体のＩＤコードを、予め幾何学的不変量と物体ＩＤコードとを対応付けて格納しているデータベースから選出するＩＤコード認識手段とを有する物体ＩＤコード認識装置が知られている（例えば、特許文献１参照）。
【０００８】
【非特許文献１】伊藤俊樹、“幾何学的不変量に基づく固体標識を用いた作業者支援の研究”、大阪大学大学院 工学研究科 電子制御機械工学専攻 平成１２年度修士論文、http://www-cape.mech.eng.osaka-u.ac.jp/ccm06adm/oldboys/2000/ito.pdf
【非特許文献２】杉本晃宏「物体の見え方によらない情報の抽出」情報処理願学会誌１９９６年１２月Ｖｏｌ．３７ Ｎｏ．１２ 第１１２５頁〜第１１３１頁
【特許文献１】特開２００４−１９２３４２号公報（第１頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記非特許文献１に記載されている従来例にあっては、物体の種別、距離及び姿勢を同時に認識するという優れた機能を持ったタグであるが、カメラ画像データの中から、タグを見つけ出すために、タグにその環境ではまれな色彩を施しているため、使用環境毎に、色彩を調整する必要があり、種々の環境でタグを使用する場合には、必ずしも安定してタグを検出ことができないという未解決の課題がある。
【００１０】
また、タグが直径約５ｃｍと小さいので、空間全体のカメラ画像データの中からタグを見つけると、カメラをズームして５つの点の鮮明な画像を取得する必要があり、当然ズームに先立って、カメラの方向（パン、チルト）を制御しなければならず、カメラ及びその制御系のコストが嵩むと共に、処理時間も長くなるという未解決の課題がある。
さらに、幾何学的不変量を計算する上で、黒点の座標を正確に計測する必要があり、カメラ画像データの中で一定の閾値以下の輝度を持った部分を黒点として認識し、その重心の座標を採用するようにしているため、一般に知られているように、カメラ画像データの輝度は照明条件によって大きく変動するため、黒点の検出が必ずしも安定せず、座標の計測精度に悪影響を及ぼすという未解決の課題がある。
【００１１】
また、特許文献１に記載された従来例にあっては、７×７の正方形枡目に５色の特徴点と５つの黒色特徴点との２組の特徴点を形成したＩＤマーカを生成し、このＩＤマーカを物体に貼付して、物体ＩＤコード認識装置によってカメラ等により撮像された物体の画像を取込み、その画像情報をフーリエ変換を施して空間周波数に変換した後、物体ＩＤマーカ領域の背景画像の空間周波数データとの相似形又は一致形をパターンマッチングにより抽出してから各特徴点位置を抽出するようにしているので、特徴点の抽出処理が複雑となるという未解決の課題がある。また、ＩＤマーカの内部に検索情報を配置することができないという未解決の課題がある。
そこで、本発明は、上記従来例の未解決の課題に着目してなされたものであり、検索用タグの抽出を固定焦点の撮像装置で容易に行うことができると共に、抽出した検索用タグに基づいて関連情報を容易に検索することができる検索用タグ及び情報検索システムを提供することを目的としている。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、請求項１に係る検索用タグは、平面上に形成した四角形領域の各辺上に特定の幾何学的不変量を表す５つの識別点を、当該５つの識別点を含む平面内の位置を特定するように配置したことを特徴としている。
また、請求項２に係る検索用タグは、請求項１に係る発明において、前記四角形領域の各辺には等分割した目盛りが形成され、形成された目盛り上に前記識別点が配置されていることを特徴としている。
【００１３】
さらに、請求項３に係る検索用タグは、請求項１又は２に係る発明において、前記識別点は四角形領域の各辺上で移動可能に配置されていることを特徴としている。
さらにまた、請求項４に係る検索用タグは、請求項１乃至３の何れか１つの発明において、前記各識別点は、円形の中心点を起点として半径方向に沿った輝度変化パターンが、全半径方向で同一であることを特徴としている。
なおさらに、請求項５に係る検索用タグは、請求項４に係る発明において、前記輝度変化パターンは、前記中心点から離れるに従って徐々に輝度が低くなる減少パターン及び徐々に輝度が高くなる増加パターンの何れか一方であることを特徴としている。
【００１４】
また、請求項６に係る情報検索システムは、検索情報保持物体に付した請求項１乃至請求項５の何れか１項に記載された検索用タグと、該検索用タグが付された検索情報保持物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段と、該タグ識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量算出手段で演算した幾何学的不変量に基づいて前記検索用タグを含む平面上の検索情報を抽出する検索情報抽出手段とを備えたことを特徴としている。
【００１５】
さらに、請求項７に係る情報検索システムは、検索情報保持物体に付した請求項１乃至請求項５の何れか１項に記載された検索用タグと、該検索用タグが付された検索情報保持物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段と、該タグ識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量算出手段で演算した幾何学的不変量に基づいて前記検索用タグを含む平面上の検索情報を抽出する検索情報抽出手段と、該検索情報抽出手段で抽出した検索情報の画像データを前記検索用タグに基づいて幾何学的に補正する画像補正手段とを備えたことを特徴としている。
【００１６】
さらにまた、請求項８に係る情報検索システムは、検索情報保持物体に付した請求項１乃至請求項５の何れか１項に記載された検索用タグと、該検索用タグが付された検索情報保持物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段と、該タグ識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量算出手段で演算した幾何学的不変量に基づいて検索情報を特定する情報検索手段とを備えたことを特徴としている。
【００１７】
なおさらに、請求項９に係る情報検索システムは、請求項6乃至8の何れか1つの発明において、前記タグ識別手段は、前記識別点を識別可能な特徴情報を記憶しており、前記画像データから前記特徴情報と比較可能な比較情報を取得し、取得した比較情報と前記特徴情報とを比較し、当該比較結果に基づいて前記識別点を識別するように構成されていることを特徴としている。
また、請求項１０に係る情報検索システムは、請求項９に係る発明において、前記特徴情報及び前記比較情報は、画素毎の輝度の最大増加方向及び最大減少方向の何れか一方を表す方向符号であることを特徴としている。
【発明の効果】
【００１８】
本発明に係る検索用タグによれば、従来のタグとは異なり、四角形領域の各辺に５つの識別点が配置されているので、固定焦点カメラで検索用タグを撮影しても検索用タグを容易に識別することができると共に、四角形領域内に検索情報を配置し、この検索情報を５つの識別点に基づいて算出される幾何学的不変量で特定するので、検索対象位置を容易に検出することができるという効果が得られる。
また、本発明に係る情報検索システムによれば、上記検索用タグを容易に識別することができると共に、検索用タグの識別点に基づく座標系を認識して、検索用タグを撮影した画像データから幾何学的不変量を算出し、この幾何学的不変量に基づいて画像データに含まれる検索情報の抽出や検索情報位置の特定を容易に行なうことができるという効果が得られる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明に係る情報検索システムにおける第１の実施形態の構成を示すシステム構成図である。
図中、１は情報検索システムであって、雑誌、折り込み広告等の検索情報保持物体２に印刷された検索情報を含む検索用タグ３と、この検索用タグ３を読取って検索情報を抽出するタグ読取装置４と、このタグ読取装置４で抽出した検索情報に基づいて情報検索を行う情報検索装置５とを備えている。
【００２０】
検索用タグ３は、図３に示すように、検索情報保持物体２の表面に正方形、長方形等の四角形領域３ａが形成され、この四角形領域３ａの各辺に例えば１６等分した目盛り３ｂが形成され、この目盛り３ｂ上に中心点を有する５つの円形の識別点Ｐ０〜Ｐ４が形成されている。
四角形領域３ａは、高さをＨ、幅をＷとし、その左上の頂点を原点（０，０）とし、右方向をｘ軸、下方向をｙ軸とする座標系を考えたとき、識別点Ｐ０は原点（０，０）に固定し、他の４つの識別点Ｐ１〜Ｐ４は各辺上の任意の位置に配置されている。なお、３点が同一直線上に並ぶことを避けるために、例えば原点に置いた識別点Ｐ０以外の４つの識別点は頂点には配置しないようにする。ここで、識別点Ｐ０以外の４つの識別点を、５つの識別点の重心から見て識別点Ｐ０から反時計回りの順に各識別点をＰ１、Ｐ２、Ｐ３及びＰ４とする。
【００２１】
そして、識別点Ｐ０は他の識別点Ｐ１〜Ｐ４と区別するために大きな直径（例えば２０ｍｍ）に設定され、他の識別点Ｐ１〜Ｐ４は小さな直径（例えは１５ｍｍ）に設定されている。
このため、識別点Ｐ１の座標は（０，ｙ1）で表され、識別点Ｐ２の座標は（ｘ2，Ｈ）、識別点Ｐ３の座標は（Ｗ，ｙ3）及び識別点Ｐ４の座標は（ｘ4，０）に設定される。ここで、ｙ1及びｙ3はＨ／１６〜１５Ｈ／１６の範囲をとることができ、ｘ2及びｘ4はＷ／１６〜１５Ｗ／１６の範囲をとることができる。したがって、５つの識別点Ｐ０〜Ｐ４の配置パターンは１５4＝５０６２５通りとなる。
【００２２】
また、各識別点Ｐ０〜Ｐ４は、図４に示すように、外周が円形に形成され、その中心点Ｏを起点として、半径方向に沿った輝度変化パターンが全半径方向で同一となるように設定されている。なお、輝度変化パターンは、狭義の単調減少又は単調増加のパターンであればどのような変化パターンでも構わない。図４（ａ）の例であれば、図５（ａ）に示すように輝度値が直線的に減少するパターンであり、図４（ｂ）の例であれば、図５（ｂ）に示すように輝度値が直線的に増加するパターンである。その他、減少するパターンとしては、接線の傾きが負となって連続的に減少する曲線となればよく、図６（ａ）に示すように上に凸の曲線でもいいし、同（ｂ）に示すように下に凸の曲線でもいいし、同（ｃ）に示すようなＳ字曲線でもいいし、同（ｄ）に示すようなＳ字を二つ合わせたような曲線でもいい。増加パターンの場合も同様に接線の傾きが正となって連続的に増加する種々のパターンが採用可能である。
上記構成を有する検索用タグ３について、各識別点の座標を前記（１）式に代入することにより、識別点Ｐ０を原点とした２つの幾何学的不変量Ｉ1及びＩ2は、辺の長さで正規化した座標を用いて以下のように算出される。
【００２３】
【数２】
【００２４】
ここで、Ｘi＝ｘi／Ｗ，Ｙj＝ｙj／Ｈであり、Ｗは四角形領域３ａの幅、Ｈは四角形領域３ａの高さである。また、Ｘi及びＹjは夫々幅及び高さの辺に付けた目盛りの番号（１〜１５）を等分数（＝１６）で除した値である。
上記（２）式に示すように、幾何学的不変量Ｉ1及びＩ2は四角形領域の辺の長さに依存しないので、検索用タグ３の縦横のサイズを自由に設定することができるという効果が得られる。また、長さの単位にも依存しないので、（ｘi，ｙi）（ｉ＝０〜４）は、目盛りの番号（０〜１６）としてもよいし、或いは実測長（例えばｍｍ単位）の値としてもよい。さらに、目盛りを付けることにより、５つの識別点Ｐ０〜Ｐ４の配置を誤差なく指定することができるという効果が得られる。
【００２５】
上記構成を有する検索用タグ３を空間の任意の位置に置き、ディジタルカメラ１１で撮影することにより、画像データにおける５点の座標（ｘi，ｙi）（ｉ＝０〜４）を得ることができる。そして、最も大きな直径の識別点をＰ０とし、５つの識別点の重心からみて反時計回りの順に識別点をＰ１、Ｐ２、Ｐ３及びＰ４とすることにより、これらの識別点の座標を前記（１）式に代入することにより、幾何学的不変量Ｉ1及びＩ2を算出すると、算出した幾何学的不変量Ｉ1及びＩ2は検索用タグ３の３次元位置に関わらず同一の値となる。
【００２６】
そして、算出した幾何学的不変量Ｉ1及びＩ2は実数値として得られるので、所定の単位量Ｉ1＿ｕｎｉｔ及びＩ2＿ｕｎｉｔを使って下記（３）式及び（４）式の演算を行うことにより、量子化し整数値の識別コードＩ１及びＩ２に変換する。
Ｉ１＝ＩＮＴ〔Ｉ1／Ｉ1＿ｕｎｉｔ〕 …………（３）
Ｉ２＝ＩＮＴ〔Ｉ2／Ｉ2＿ｕｎｉｔ〕 …………（４）
ただし、ＩＮＴ〔〕は大括弧内の実数の小数点以下を切り捨てて整数化する関数である。
【００２７】
このように、５つの識別点Ｐ０〜Ｐ４の配置パターン毎に識別コードＩ１及びＩ２を算出することができるものであるが、幾何学的不変量Ｉ1及びＩ2を上記（３）式及び（４）式で整数化していることから、同一の識別コードＩ１及びＩ２を表す識別点の配置パターンが１つとは限らないと共に、撮影した画像データから識別点の座標を読取る際に読取り誤差を生じることから、読取り誤差を考慮して確実に識別可能な配置パターンは前記５０６２５通りの一部に限定することが好ましい。
【００２８】
このため、使用可能な配置パターンを決定するために、予め例えばマイクロコンピュータを含んで構成される情報検索装置５を使用して、図７に示す識別点配置パターン決定処理を実行する。なお、前述したように識別点の座標は長さの単位に依存しないので、ここでは（ｘi，ｙi）を目盛りの番号として説明する。
この識別点配置パターン決定処理は、図７に示すように、先ず、ステップＳ１で、座標ｘ0、ｙ0、ｘ1、ｙ4を全て“０”に、座標ｙ2をＨ（＝１６）に、座標ｘ3をＷ（＝１６）に、そして座標ｙ1、ｘ2、ｙ3及びｘ4を全て“１”とする初期化を行う。
【００２９】
次いで、ステップＳ２に移行して、（ｘ0、ｙ0）〜（ｘ4、ｙ4）を前述した（１）式に代入して、幾何学的不変量Ｉ1及びＩ2を算出すると共に、算出した幾何学不変量Ｉ1及びＩ2を前記（３）式及び（４）式に従って整数化して識別コードＩ１及びＩ２を算出する。
次いで、ステップＳ３に移行して、４つのパラメータｙ1、ｘ2、ｙ3及びｘ4と、固定座標ｘ0、ｙ0、ｘ1、ｙ2、ｘ3、ｙ4の各々について許容誤差εを加減算した許容値の全ての組み合わせの２10通りについて前記（１）式、（３）式、（４）式の演算を行って識別コードＩ１及びＩ２を算出し、各々の最小値Ｉ１MIN，Ｉ２MIN及び最大値Ｉ１MAX，Ｉ２MAXを算出する。
【００３０】
次いで、ステップＳ４に移行して、ｙ1、ｘ2、ｙ3、ｘ4、Ｉ１MIN、Ｉ１、Ｉ１MAX、Ｉ２MIN、Ｉ２、Ｉ２MAXの全てを記憶テーブルＴに記憶してからステップＳ５に移行する。
このステップＳ５では、全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝についてＩ１MIN、Ｉ１、Ｉ１MAX、Ｉ２MIN、Ｉ２、Ｉ２MAXの記録が完了したか否かを判定し、記録が完了していない配置パターンが存在する場合にはステップＳ６に移行して、座標ｙ1，ｘ2，ｙ3，ｘ4の何れかを変更（例えば、ｙ1＝１→ｙ1＝２など）して別の配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝を生成してから前記ステップＳ２に戻り、全ての配置パターン｛ｙ1＝１〜１５、ｘ2＝１〜１５、ｙ3＝１〜１５、ｘ4＝１〜１５｝について記憶テーブルＴへの記録が完了したときにはステップＳ７に移行する。
【００３１】
このステップＳ７では、採用する識別コード（Ｉ１，Ｉ２）を記録するための２次元配列Ｉを“０”で初期化し、次いでステップＳ８に移行して、変動幅設定値Ｖを“２”で初期化してからステップＳ９に移行する。
このステップＳ９では、記憶テーブルＴに記憶されている全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について許容誤差εに対する識別コード（Ｉ１，Ｉ２）の変動幅ΔＩを下記（５）式に従って算出する。
ΔＩ＝（Ｉ１MAX−Ｉ１MIN＋１）＋（Ｉ２MAX−Ｉ２MIN＋１） …………（５）
【００３２】
次いでステップＳ１０に移行して、算出した各識別コード（Ｉ１，Ｉ２）の変動幅ΔＩが変動幅設定値Ｖと一致する配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝が存在するか否かを判定し、ΔＩ＝Ｖとなる配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝が存在する場合には、ステップＳ１１に移行して、該当する配列パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝の｛Ｉ１MIN、Ｉ１MAX、Ｉ２MIN、Ｉ２MAX｝を使用して全ての２次元配列Ｉの要素Ｉ〔ｉ１，ｉ２〕（Ｉ１MIN≦ｉ1≦Ｉ１MAX，Ｉ２MIN≦ｉ２≦Ｉ２MAX）が“０”であるか否かを判定し、これらを満足する場合には、ステップＳ１２に移行して、記録テーブルＴの該当する配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝に「採用」を記録する。
【００３３】
次いで、ステップＳ１３に移行して、２次元配列Ｉの要素Ｉ〔ｉ１，ｉ２〕（Ｉ１MIN≦ｉ1≦Ｉ１MAX，Ｉ２MIN≦ｉ２≦Ｉ２MAX）の値を使用済みを表す“１”に変更する。
次いで、ステップＳ１４に移行して、記憶テーブルＴの全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について調査が終了したか否かを判定し、全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について調査が終了したときには識別点配置パターン決定処理を終了し、全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について調査が終了していないときには前記ステップＳ１０に戻る。
【００３４】
一方、前記ステップＳ１０の判定結果が、ΔＩ＝Ｖとなる配列パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝が存在しないときには、ステップＳ１５に移行して、変動幅設定値Ｖを“１”だけ増やしてから前記ステップＳ１０に戻る。
さらに、前記ステップＳ１１の判定結果が、２次元配列Ｉの要素Ｉ（ｉ１，ｉ２）（Ｉ１MIN≦ｉ１≦Ｉ１MAX，Ｉ２MIN≦ｉ２≦Ｉ２MAX）のいずれかが“１”であるときには、ステップＳ１６に移行して、Ｉ１又はＩ２の変動幅ΔＩが使用済みの値に重複していることを意味するので、記録テーブルＴの該当配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝に「不採用」を記録してから前記ステップＳ１４に移行する。
【００３５】
このようにして、上記識別点配置パターン決定処理で「採用」が決定された記録テーブルＴの配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝を実際の配置パターンとして使用する。そして、採用された配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝を例えば識別コードＩ１が小さい順にソートして、この順序に並び代えて所定のハードディスク等の記憶装置に記憶する。
そして、検索情報保持物体２を作成する際に、例えば図８に示すように、検索用タグ３内を各目盛り３ｂを結ぶことにより、１６行×１６列で原点(０，０)から右方向に順次“１”〜“１６”を割り当て、次いで２行目の左端から右方向に順次“１７”〜“３２”を割り当てて、最終的に最下行の右端に“２５６”を割り当てて、細分化領域ＳＡ1、ＳＡ2、……ＳＡ256を形成する。
【００３６】
これら細分化領域ＳＡ1〜ＳＡＴ256の何れか1つを選択し、選択した領域に、二次元バーコード等の検索情報を含む検索コードＲＣを印刷する印刷位置ＲＰを特定し、情報検索装置５の記憶装置を参照して、特定された印刷位置ＲＰに割り当てられた数値ｉ（ｉ＝１〜２５６）に対応する識別コードＩ１を有する配置パターン｛ｙ１，ｘ２，ｙ３，ｘ４｝を選択し、選択した配置パターン｛ｙ１，ｘ２，ｙ３，ｘ４｝の識別点Ｐ０〜Ｐ４を決定し、決定された配置パターン｛ｙ１，ｘ２，ｙ３，ｘ４｝で識別点Ｐ０〜Ｐ４を印刷すると共に、印刷位置ＲＰに光学的に読取可能なＱＲコードなどの二次元コードで構成される検索コードを印刷する。
【００３７】
タグ読取装置４は、図１に示すように、検索用タグ３を撮影して画像データＤを出力する撮像手段としてのディジタルカメラ１１と、このディジタルカメラ１１から出力される映像データＤが入力されて、この映像データＤに基づいて検索用タグ３の識別点Ｐ０〜Ｐ４を識別するタグ識別手段としてのタグ識別部１２と、このタグ識別部１２で識別した識別点Ｐ０〜Ｐ４の座標（ｘ０，ｙ０）〜（ｘ４，ｙ４）に基づいて幾何学的不変量Ｉ1及びＩ2を算出し、これを整数化して識別コードＩ１及びＩ２を算出する幾何学的不変量算出手段としての幾何学的不変量算出部１３と、識別コードＩ１，Ｉ２に基づいて検索情報位置を特定し、特定した検索情報位置の画像データを読込み、これを検索情報として出力する検索情報抽出手段としての検索情報抽出部１４とを備えている。
【００３８】
タグ識別部１２は、図２に示すように、ディジタルカメラ１１から入力される一画面分の画像データである対象画像データＤから、所定サイズの部分画像ＰＧを順次抽出する部分画像抽出部３１と、抽出した部分画像ＰＧについて抽出方向符号ＥＤを演算する方向符号演算部３２と、識別点Ｐ０〜Ｐ４を識別可能な特徴情報としての参照用方向符号ＲＤを予め記憶した方向符号記憶部３３と、方向符号演算部３２で演算した抽出方向符号ＥＤと、方向符号記憶部３３に記憶されている参照用方向符号ＲＤとを比較して、両者が一致するか否かを判定する方向符号比較部３４と、部分画像抽出部３１の部分画像を１画素毎に移動させながら方向符号比較部３４の比較結果が、抽出方向符号ＥＤが参照用方向符号ＲＤと一致したときに、そのときの部分画像の中心点を識別点Ｐ０〜Ｐ４の中心点として算出する識別点座標演算部３５とで構成されている。
【００３９】
ここで、方向符号とは、例えば、図９に示すように、１画面データの任意の画素ＰＥ０を考えたとき、その画素ＰＥ０に隣接して包囲する八つの画素ＰＥ１〜ＰＥ８の各輝度値と、画素ＰＥ０の輝度値とをそれぞれ比較し、画素ＰＥ０の輝度値からの増加（又は減少）幅が最も大きな方向を符号化してなる情報である。この場合であれば、紙面に向かって、右方向、斜め右上方向、上方向、斜め左上方向、左方向、斜め左下方向、下方向、斜め右下方向の８方向に、例えば０〜７の番号を付すことで符号化してなる情報である。そして、この方向符号０〜７を検索用タグ３の識別点Ｐ０〜Ｐ４の元データ全体に対して求めてそれを２次元データとして保存したものが、参照用方向符号ＲＤとなる。なお、ここでは画素ＰＥ０に隣接する８つの画素に注目して８方向としたが、これに限定されることはなく、より多くの方向に、例えば周囲８つの画素の配置された方向それぞれの中間方向も含めて細分化し、この場合は各方向に０〜１５の番号を付して、より詳細な符号化を行うようにしてもよい。
【００４０】
また、ここでは参照用方向符号ＲＤを識別点Ｐ０〜Ｐ４の元データから生成する方法を説明したが、これに限定されることなく、所定の大きさの参照用方向符号ＲＤを直接計算して生成するようにしてもよい。このようにして生成した参照用方向符号ＲＤは、全ての方向符号（上記の例では０〜７）が円周方向に連続して一様に現れ、また同一の半径方向上では全て同一の方向符号となる特徴がある。
【００４１】
そして、タグ識別部１２の部分画像抽出部３１は、参照用方向符号ＲＤを生成する際に用いた画像サイズと同じ大きさの部分画像ＰＧを抽出するようになっており、方向符号演算部３２は、抽出された部分画像ＰＧに対して参照用方向符号ＲＤを生成する際と同様の手順で演算を行って部分画像ＰＧの方向符号を求めるように構成されている。
ここで、例えば、図１０（ａ）に示すように、画像データＤの画像サイズの大きさを高さ４８０画素、幅６４０画素とし、図１０（ｂ）に示すように、参照用方向符号ＲＤの画像サイズの大きさを高さ及び幅共に３２画素とした例を考える。即ちかかる例の場合、部分画像抽出部３１は、図１０（ａ）に示すように、画像データＤの最上段左端から右端に向かって１画素移動する毎に部分画像ＰＧを順次抽出し、第１行の右端に達したら、１画素分下側の第２行に移り左端から右端に向けて、１画素移動する毎に部分画像ＰＧを順次抽出し、これを順次最終行まで継続してこの部分画像ＰＧを抽出するということになる。
【００４２】
方向符号比較部３４は、参照用方向符号ＲＤと部分画像ＰＧの対応する全ての画素について方向符号の差を集計する。そして、その集計値が０であれば「一致」と判定し、所定の閾値以内であれば「近似している」と判定する。なお、方向符号の差は次のように計算される。例えば、方向を８等分して方向符号０〜７を使う場合で説明する。２つの方向符号Ｄ１とＤ２の差ｄは、下記（６）式で算出することができる。
ｄ＝Ｍｉｎ｛Ｇ，８−Ｇ｝ 但し、Ｇ＝｜Ｄ１−Ｄ２｜ ……（６）
【００４３】
すなわち、抽出方向符号ＥＤの符号が“０”で参照用方向符号ＲＤの符号が“０”であるときには、Ｇ＝０となることにより、差ｄが“０”となるが、抽出方向符号ＥＤの符号が“０”で参照用方向符号ＲＤの符号が“１”（又は“７”）であるときには、Ｇ＝１，８−Ｇ＝７（又はＧ＝７，８−Ｇ＝１）となるのでｄ＝１となり、抽出方向符号ＥＤの符号が“０”で参照用方向符号ＲＤの符号が“３”（又は“５”）であるときには、Ｇ＝３，８−Ｇ＝５（又はＧ＝５，８−Ｇ＝３）となるのでｄ＝３となる。
【００４４】
識別点座標演算部３５は、例えば、対象画像データＤの左上を座標の原点（０，０）として方向符号比較部３４の比較結果が“０”であればこのときの部分画像ＰＧの中心点を識別点Ｐ０〜Ｐ４の何れかの中心点として記憶し、比較結果が“０”ではないが所定の閾値以下であるときにもこのときの部分画像ＰＧの中心点座標を識別点Ｐ０〜Ｐ４の何れかの中心点座標（ｘi,ｙi）として記憶すると共に、５つの識別点の中心点座標が検出されたときに、各識別点の輪郭線の直径が一番大きい識別点を識別点Ｐ０として設定し、さらに５つの識別点の重心点を算出し、算出した重心点から見て識別点Ｐ０から反時計回りに順次識別点Ｐ１〜Ｐ４として設定し、設定した識別点Ｐ０〜Ｐ４とその中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）とを幾何学的不変量算出部１３に出力する。
【００４５】
なお、ここでは対象画像データＤから部分画像ＰＧを抽出し、その部分画像ＰＧに対して方向符号を求める方法について説明したが、これに限定されることなく、対象画像データＤ全体に対して方向符号を求めておき、そこから部分画像ＰＧに対応する方向符号を抽出して、方向符号比較部３４に供給するようにしてもよい。
幾何学的不変量算出部１３では、入力された各識別点Ｐ０〜Ｐ４の中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）に基づいて下記（７）及び（８）式の演算を行って幾何学的不変量Ｉ1及びＩ2を算出し、算出した幾何学的不変量Ｉ1及びＩ2を前記（３）式及び（４）式を使って整数化した値を識別コードＩ１及びＩ２として検索情報抽出部１４に出力する。
【００４６】
【数３】
【００４７】
この検索情報抽出部１４では、幾何学的不変量算出部２２から入力された識別コードＩ１及びＩ２のうち例えば識別コードＩ１の値に基づいて検索情報が含まれている細分化領域ＳＡk（ｋ＝１〜２５６）を特定し、その画像データを抽出して情報検索装置５に出力する。
【００４８】
情報検索装置５は、検索コードの解読プログラム、例えばインターネットへ接続する通信プログラム、解読したコード情報を送信する送信プログラム等を備えており、タグ読取装置４の検索情報抽出部１４から出力される検索コードの画像データが入力されると、この画像データを解析して、検索コードに記憶されている検索情報を解読し、解読した検索情報に基づいて検索処理を実行する。この検索処理としては、例えば検索コードにインターネットの接続先アドレス（ＵＲＬ）及び商品コードが含まれているものとすると、検索コードの解読プログラムによって接続先アドレス及び商品コードを解読し、通信プログラム及び送信プログラムによって解読した接続先アドレスに商品コードを送信することにより、接続先アドレスのサーバにアクセスし、サーバに格納されている商品コードに応じた商品情報を受信して表示装置５ａに表示する。
【００４９】
次に、上記実施形態の動作を説明する。
今、図８に示すように、四角形領域３ａ内の細分化領域ＳＡ213にＱＲコードでなる検索コードが印刷され、この細分化領域ＳＡ213を指定するように、識別コードI1が“２１３”を表す配置パターンで識別点Ｐ０〜Ｐ４が印刷された検索用タグ３が雑誌、折り込み広告等の検索情報保持物体２に印刷されているものとする。
【００５０】
この検索情報保持物体２の検索用タグ３を読取るには、先ず、検索用タグ３が視野範囲内に入るようにディジタルカメラ１１をセットしてからシャッターボタンを押圧することにより、検索用タグ３の画像を含む画像データＤを形成し、この画像データＤがタグ識別部１２に出力される。このタグ識別部１２では、ディジタルカメラ１１から画像データＤが入力されると、この画像データＤを部分画像抽出部３１に供給して、この部分画像抽出部３１で画像データを一時記憶してから画像データＤの原点位置から順次所定サイズの部分画像ＰＧを抽出し、抽出した部分画像ＰＧを方向符号演算部３２に供給する。
【００５１】
この方向符号演算部３２では、部分画像ＰＧに含まれる各画素間の輝度変化に基づいて抽出方向符号ＥＤを算出する。このとき、部分画像ＰＧが検索用タグ３の識別点Ｐ０〜Ｐ４の何れかの位置に到達していないときには、輝度変化に基づいて算出される方向符号がないか又は文字、図形等が記載されている場合に、文字、図形等に沿って方向符号が生じるが何れにしても識別点Ｐ０〜Ｐ４の中心から各半径方向に順次輝度が連続的に減少又は増加する方向符号パターンは存在しないので、方向符号演算部３２で演算された抽出方向符号ＥＤと予め方向符号記憶部３３に記憶されている正規の検索用タグ３から算出した参照用方向符号ＲＤとが一致することはなく、前述した（６）式で算出される差ｄの合計値が大きな値となり、識別点Ｐ０〜Ｐ４として認識されることはない。
【００５２】
ところが、識別点Ｐ０〜Ｐ４の何れかが部分画像ＰＧに含まれる状態となり、例えば図１１（ａ）に示すように、抽出される部分画像ＰＧが識別点Ｐ０〜Ｐ４の何れかの中心点を横切る状態となると、部分画像ＰＧに含まれる識別点の方向符号が図１１（ｂ）〜（ｅ）に示すように順次変化することになり、方向符号記憶部２３に記憶されている参照用方向符号が、図１１（ｆ）に示すように、検索用タグ３の中心部の方向符号であるものとすると、図１１（ｂ）では、方向符号の差ｄの総計が大きく、図１１（ｃ）で方向符号の差ｄの総計が小さくなり、図１１（ｄ）で方向符号の差ｄの総計が所定の閾値以内となる近似している状態となるが、さらに図１１（ｅ）では、参照用方向符号ＲＤと完全に一致することから方向符号の差ｄの総計が“０”となり、この状態における部分画像ＰＧの中心点座標が識別点Ｐ０〜Ｐ４の何れかの中心点座標（ｘi，ｙi）として記憶される。
【００５３】
以上の識別点抽出処理を繰り返すことにより、検索用タグ３の５つの識別点Ｐ０〜Ｐ４の中心点座標（ｘi，ｙi）（ｉ＝０〜４）を抽出する。
このとき、ディジタルカメラ１１に対する検索情報保持物体２の姿勢が変化して検索用タグ３がディジタルカメラ１１に正対していない場合でも、識別点Ｐ０〜Ｐ４は、３６０度全ての方向に対して同じように変化する円形のパターンを持っているので、タグ識別部１２の処理は影響を受けることはない。
【００５４】
また、ディジタルカメラ１１に対して検索用タグ３が接近するか又は遠ざかることにより、これによって撮像される識別点Ｐ０〜Ｐ４の円形のパターンが拡大又は縮小しても、輝度が中心から３６０度全ての方向に対して同じように変化するという特徴は変わらず、その抽出方向符号ＥＤが参照用方向符号ＲＤと同じなので識別点Ｐ０〜Ｐ４を正確に識別することができ、タグ識別部１２の処理は影響を受けることはない。
【００５５】
また、識別点Ｐ０〜Ｐ４とディジタルカメラ１１との方向により、撮像された識別点Ｐ０〜Ｐ４の円形のパターンに視覚歪が発生しても、輝度が中心から３６０度全ての方向に対して変化するという特徴に変わりはなく、撮像された識別点Ｐ０〜Ｐ４の抽出方向符号ＥＤと参照用方向符号ＲＤの大部分とが一致することで、識別点Ｐ０〜Ｐ４を正確に識別することが可能となり、タグ識別部１２の処理は影響を受けることはない。
【００５６】
以上のようにして、検索用タグ３の５つの識別点の中心点座標を抽出すると、そのうち識別点の境界線の直径が一番大きい識別点を識別点Ｐ０に設定すると共に、各識別点の中心点座標から重心点を求め、求めた重心点から識別点Ｐ０を見たときに反時計回りに順次現れる識別点を順次Ｐ１、Ｐ２……Ｐ４として設定し、設定した識別点Ｐ０〜Ｐ４とそれらの中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）とを幾何学的不変量算出部１３に出力する。
【００５７】
この幾何学的不変量算出部１３では、各識別点Ｐ０〜Ｐ４の中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）に基づいて前記（７）式及び（８）式の演算を行って幾何学的不変量Ｉ1及びＩ2を算出し、これらを前記（３）式及び（４）式を使って整数化した識別コードＩ１及びＩ２を検索情報抽出部１４に出力する。
この検索情報抽出部１４では、入力される識別コードＩ１及びＩ２の内識別コードＩ１（＝２１３）に基づいて細分化領域ＳＡ213を検索情報の位置として決定し、この細分化領域ＳＡ213の画像データ即ちＱＲコードでなる検索コードの画像データを抽出して、この画像データを情報検索装置５に出力する。
【００５８】
情報検索装置５では、入力される検索コードの画像データを解読プログラムによって、検索コードに含まれる接続先アドレス及び商品コードを解読し、解読した接続先アドレスのサーバにアクセスすると共に、商品コードを送信する。これによって接続先のサーバから商品コードに応じた商品情報を情報検索装置５に送信し、情報検索装置５では、サーバからの商品情報を受信すると、受信した商品情報を表示装置５ａに表示する。
【００５９】
このように、上記実施形態によれば、検索用タグ３の識別点の配置パターンに基づいて幾何学的不変量Ｉ1及びＩ2を算出し、算出した幾何学的不変量Ｉ1及びＩ2を整数化して識別コードＩ１及びＩ２を算出し、算出した識別コードＩ１が検索コードを記載した検索情報の位置を表す情報となっているので、ＱＲコードなどの二次元コードで検索コードを構成している場合でも、検索コードの位置を容易に検出することができ、この位置から検索コードの画像データを容易に抽出することができ、ディジタルカメラ１１での撮像位置をラフに設定しても、検索コードを正確に検出することができる。
【００６０】
しかも、検索用タグ３はディジタルカメラ１１との対面角度に関わらず算出される幾何学的不変量Ｉ1及びＩ2が一定値であるので、検索情報保持物体２とディジタルカメラ１１との相対姿勢が変化して検索用タグ３のディジタルカメラ１１に対する角度が変化した場合でも正確に識別コードを算出することができ、検索用タグ３を誤認識することを確実に防止することができる。
【００６１】
しかも、検索用タグ３は、四角形領域３ａの各辺に識別点Ｐ０〜Ｐ４を配置するようにしており、識別点を配置した各辺の内側領域は検索コードを印刷した検索情報位置以外は検索には使用しないので、この内側領域における検索情報位置以外の領域に、任意の文字や図形等を記載することが可能となり、広告情報、会社情報等を記載することができる。
また、検索用タグ３は、四角形領域３ａの各辺に目盛りが形成され、この目盛り上に識別点Ｐ０〜Ｐ４を配置するようにしているので、ラベルに四角形領域３ａの外径枠と目盛りのみを設けておき、予め印刷した識別点Ｐ０〜Ｐ４を検索情報の位置に応じて目盛り上に貼着して検索用タグ３を構成することができ、多数種の配置パターンの検索用タグ３を予め設ける場合に比較して、製作コストを低減することができる。
【００６２】
また、本発明に係る検索用タグ及び情報検索システムでは、テンプレートマッチング処理として「方向符号法」を用いており、また検索用タグ３の識別点Ｐ０〜Ｐ４の円形のパターンの輝度が中心から３６０度全ての方向に対して同じように変化するという特徴を持たせている。このため、例えば、検索用タグ３をカメラ１１で撮像する際に、照明変動が起きて検索用タグ３上に影が発生したり、充分な光量が得られずに暗がりでの撮像だったりしたとしても、撮像された対象画像データＤに基づく抽出方向符号ＥＤが参照用方向符号ＲＤと同じであることに変わりはないので、タグ識別部１２の処理は影響を受けにくい。
【００６３】
このように、検索用タグ３は、輝度が中心点Oから３６０度全ての方向に対して同じように変化する円形のパターンを持たせているので、この検索用タグ３をカメラ１１で撮像する際の状況が変化しても影響を受けない。
このため、テンプレートマッチングの際に、１つのテンプレート（参照用方向符号ＲＤ）を用意することでカメラ１１での撮像状況に広く対応でき、計算コストを削減して画像識別処理を高速化できるという効果が得られる。
【００６４】
また、上記記載の理由により、検索用タグ３とカメラ１１との位置関係及び撮像状況に制約を受けずに検索用タグ３を識別できるという効果が得られる。
なお、上記第１の実施形態においては、識別コードＩ１，Ｉ２の何れか又は双方に基づいて設定した検索情報位置即ち細分化領域ＳＡkの画像データをそのまま情報検索装置５に出力する場合について説明したが、これに限定されるものではなく、細分化領域ＳＡkの画像データを拡大して情報検索装置５に出力するようにしてもよい。
【００６５】
また、上記第１の実施形態においては、雑誌、折り込み広告等の検索情報保持物体２に検索用タグ３を印刷して、検索情報の位置を特定する場合について説明したが、これに限定されるものではなく、可視光通信の発信光源などの位置を特定し、通信光受信機の向きを制御する場合にも本発明を適用することができる。
さらに、上記第１の実施形態においては、細分化領域ＳＡkに識別コードＩ１を“１”から順に割り付けた場合について説明したが、これに限定されるものではなく、識別コードＩ１を特定位置（例えば、左上角、右下角など）に割り付けたり、所定数置きの細分化領域に割り付けたり、任意の割り付け方法を適用することができる。
【００６６】
次に、本発明の第２の実施形態を図１２及び図１３について説明する。
この第２の実施形態では、検索情報位置の画像データを幾何学的補正可能としたものである。
すなわち、第２の実施形態においては、図１２に示すように、前述した第１の実施形態における図１の構成において、検索情報抽出部１４と情報検索装置５との間に、検索情報抽出部１４で抽出された検索コードＲＣの画像データをディジタルカメラ１１が検索情報保持物体２に正体した状態の画像データに補正する画像補正手段としての画像補正部１５が介挿されていることを除いては図１と同様の構成を有し、図１との対応部分には同一符号を付し、その詳細説明はこれを省略する。
【００６７】
ここで、画像補正部１５における画像補正処理を説明すると、図１３に示すように、２つの画像データＡ及びＢがあり、各々の中に同一の検索用タグが含まれている場合を考える。画像データＡにおける検索用タグ３の識別点Ｐ０〜Ｐ４の位置を（ｘＡｉ，ｙＡｉ）（ｉ＝０〜４）とする。同様に、画像データＢにおける検索用タグ３の識別点Ｐ０〜Ｐ４の位置を（ｘＢｉ，ｙＢｉ）（ｉ＝０〜４）とする。
【００６８】
今、同一の点Ｐが画像データＡ及びＢに含まれている場合を考えると、画像データＡにおける点Ｐの座標（ｘＡ，ｙＡ）は、画像データＡにおける検索用タグ３によって定められる座標系を基準にしている。同様に、画像データＢにおける点Ｐの座標（ｘＢ，ｙＢ）は、画像データＢにおける検索用タグ３によって定められる座標系を基準にしている。
一般に、２つの画像データＡ及びＢは射影変換の関係にあるので、画像データＡにおける点（ｘＡ，ｙＡ）と画像データＢにおける点（ｘＢ，ｙＢ）の間には、下記（９）式で表される関係がある。
【００６９】
【数４】
【００７０】
この（９）式を展開し、定数λを消去すると、２つの連立方程式が得られる。従って、検索用タグ３の５つの識別点Ｐ０〜Ｐ４のうちの４つの識別点Ｐ０、Ｐ１、Ｐ２及びＰ３の座標を得られた連立方程式に代入することにより、合計８つの制約式が得られる。行列Ｍの自由度は８であるから、これら８つの制約式を使って、全ての要素ｍｉｊ（ｉ＝１〜３、ｊ＝１〜３、但しｍ３３は除く）を求めることができる。
【００７１】
こうして得られた変換行列Ｍを使うことにより、画像データＡ及びＢの中の点を相互に射影変換することかできる。すなわち、画像データＡにおける座標（ｘＡ，ｙＡ）の点は、画像データＢで座標（ｘＢ，ｙＢ）の点に対応する。逆に、画像データＢにおける座標（ｘＢ，ｙＢ）の点は、画像データＡで座標（ｘＡ，ｙＡ）の点に対応する。双方の座標は上記（９）式で算出することができる。
【００７２】
そして、上記画像データＡがタグ読取装置４によって撮影された画像データであるとする一方、上記画像データＢは検索コードを正面の位置から所定のサイズで読取った場合の仮想的な画像データであるとする。このとき、画像データＢでは、検索用タグ３も実際の形（５つの識別点Ｐ０〜Ｐ４は設計配置にある）或いはその相似形であるはずである。
そこで、上記（９）式から得られる制約式に代入する検索用タグ３の５つの識別点Ｐ０〜Ｐ４のうちの４点Ｐ０，Ｐ１，Ｐ２，Ｐ３の座標としてタグ読取装置４で読取って得られた画像データＡの点（ｘＡｉ，ｙＡｉ）（ｉ＝０，１，２，３）及び検索用タグ３の設計配置にある点（ｘＢ，ｙＢ）（ｉ＝０，１，２，３）を採用する。
【００７３】
その結果得られた変換行列Ｍを使うことにより、タグ読取装置４によって得られた画像データの中の任意の点は、検索コードを正面の位置から所定のサイズで読取った場合の画像データの中に正しく位置付けられる。
すなわち、たとえタグ読取装置４が検索コードに正対していなくとも、検索用タグ３の５つの識別点Ｐ０〜Ｐ４のうちの４点の設計配置を利用することにより、検索用コードの画像データを幾何学的に補正して、あたかも正面から見た所定のサイズの検索コードの画像データを得ることができる。
【００７４】
このように、上記第２の実施形態によると、ディジタルカメラ１１で検索用タグ３を含む画像データを撮影したときに、ディジタルカメラ１１と検索情報保持物体２とが正対していない場合でも検索情報位置に対応する画像データを幾何学的に補正してあたかも正面から撮影したように所定サイズの検索コードの画像データを得ることができ、この幾何学的補正後の画像データを情報検索装置５に出力することにより、この情報検索装置５で画像データを正確に解析して、検索コードに記憶されている検索情報を解読し、解読した検索情報に基づいて検索処理を実行することができる。
【００７５】
なお、上記第１及び第２の実施形態においては、検索コードＲＣとしてＱＲコードを適用した場合について説明したが、これに限定されるものではなく、１次元のバーコードや他の二次元コードを適用することができ、任意の検索コードを適用することができる。
なおまた、上記第１及び第２の実施形態においては、検索コードは１つの細分化領域にある場合について説明したが、これに限定されるものではなく、複数の細分化領域にまたがって検索コードが存在してもよい。この場合には、例えば複数領域の左上をＳＡL、右下をＳＡRとしたとき、２つの識別コードでＩ１＝Ｌ、Ｉ２＝Ｒのように指定することができる。
【００７６】
次に、本発明の第３の実施形態を図１４について説明する。
この第３の実施形態では、検索コードを使用することなく、幾何学的不変量算出部１３で算出した識別コードＩ１及びＩ２を直接情報検索装置５に出力して、この情報検索装置５で識別コードＩ１及びＩ２の何れか一方又は双方に基づいて関連情報を検索するようにしたものである。
【００７７】
すなわち、第３の実施形態においては、図１４に示すように、前述した第１の実施形態における図１の構成において、検索用タグ３の細分化領域ＳＡ1〜ＳＡ256及びこれに記載された検索コードが省略されていると共に、タグ読取装置４における検索情報抽出部１４が省略されて、幾何学的不変量算出部１４で算出した識別コードＩ１及びＩ２が直接情報検索装置５に供給されるように構成されていることを除いては図１と同様の構成を有し、図１との対応部分には同一符号を付し、その詳細説明はこれを省略する。
【００７８】
ここで、情報検索装置５では、幾何学的不変量算出部１４で算出した識別コードＩ１及びＩ２が入力されると、これら識別コードＩ１及びＩ２に基づいて予め設定された関連情報記憶テーブルを参照して関連情報を選択する。
この関連情報としては、詳細情報が格納されたＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）が採用され、このＵＲＬが識別コードＩ１及びＩ２に対応付けられて関連情報記憶テーブルに記憶されている。
そして、情報検索装置５では、識別コードＩ１及びＩ２に基づいて関連情報記憶テーブルを参照して該当するＵＲＬを求めると、求めたＵＲＬのホームページにアクセスして詳細情報を入手し、この詳細情報を表示装置５ａに表示する。
【００７９】
この第３の実施形態によれば、タグ読取装置４で検索用タグ３を読取ることにより、各識別点Ｐ０〜Ｐ４の位置座標に基づいて幾何学的不変量Ｉ1及びＩ2を算出し、この幾何学的不変量Ｉ1及びＩ2を整数化して識別コードＩ１及びＩ２を算出し、この識別コードＩ１及びＩ２を情報検索装置５に出力することにより、この情報検索装置５で、関連情報記憶テーブルを参照することにより、識別コードＩ１及びＩ２で表されるＵＲＬを選択し、選択したＵＲＬのホームページにアクセスすることにより、広告内容の詳細情報その他の必要な詳細情報を入手し、これを表示装置５ａに表示することにより、ユーザーが必要とする詳細情報を容易且つ正確に取得することができる。
【００８０】
この場合、雑誌の広告面などでは検索用タグ３を記事の外枠に書き込むことができるため、検索用タグ３自体を大きく表示することが可能となり、低解像度の携帯電話のカメラを使用して、遠方から検索用タグ３を撮影した場合でも、タグ読取装置４で検索用タグ３を正確に検出して幾何学的不変量Ｉ1及びＩ2を算出することができ、これを整数化して識別コードＩ１及びＩ２を正確に算出することができ、検索コードの誤読取りを生じることがなく、詳細情報を確実に入手することかできる。
【００８１】
なお、上記第３の実施形態においては、検索情報保持物体２に直接検索用タグ３を印刷した場合について説明したが、これに限定されるものではなく、検索用タグ３を透明シートに印刷し、この検索用タグ３を印刷した透明シートを検索情報保持物体２に重ねて貼付することにより、この透明シートに印刷された検索用タグ３をディジタルカメラ１１で撮影することにより、タグ読取装置４で検索用タグ３を読取って識別コードＩ１及びＩ２を正確に算出することができる。このように、検索用タグ３を印刷した透明シートを使用することにより、既存の広告文書をそのまま使用して、この広告文書の上に透明シートを貼着すればよく、新たな広告文書を作成する手間を省略することができる。
【００８２】
また、上記第３の実施形態においては、タグ識別部１２は５つの識別点の内、直径が一番大きな点をＰ０と識別して識別点の座標（ｘ０、ｙ０）〜（ｘ４、ｙ４）を算出している場合について説明したが、これに限定されるものではなく、ディジタルカメラ１１で撮影した画像の中で最も左上にある識別点をＰ０とし、５点の重心からみて反時計回りに順にＰ１，Ｐ２，Ｐ３，Ｐ４として座標を算出するようにしてもよい。幾何学的不変量Ｉ1、Ｉ2は、５つの識別点のどれをＰ０にとるかによって値が異なる。そこで、１つの検索用タグに対して、５つの識別点を各々Ｐ０としたときの５通りの幾何学的不変量Ｉ1、Ｉ2を予め全て計算し、情報検索装置５における関連情報記憶テーブルに同一の関連情報と共に登録しておく。こうすることにより、タグ識別部１２は、識別点の大きさを比較してＰ０を特定する処理を省くことができ、全体の処理を簡略化し高速化することができる。
【００８３】
なおまた、上記第１〜第３の実施形態において、検索用タグ３を識別点Ｐ０が常に特定の位置（例えば左上）にくるように設置して利用するようにすれば、タグ識別部１２はディジタルカメラ１１で撮影した画像の中で最も左上にある識別点をＰ０とすればよいため、識別点の大きさを比較してＰ０を特定する処理を省くことができ、全体の処理を簡略化し高速化することができる。
【００８４】
次に、上記第１〜第３の実施形態においては、検索用タグ３の識別点Ｐ０〜Ｐ４を抽出する際に、所定サイズの画像データＤの全領域に対して所定サイズの部分画像ＰＧを１画素毎に順次移動させることにより、識別点Ｐ０〜Ｐ４を抽出する場合について説明したが、これに限定されるものではなく、方向符号比較部３４によるテンプレートマッチング処理に先立ち、画像データＤの隣接する画素毎に方向符号の所定の範囲における連続性の有無（隣接する画素の方向符号の差ｄが所定範囲内であるか否か）を調査して、方向符号の連続性がある画素をグループ化し、各グループから予め定めた選出基準によって図１５に示すようにマスクを選出して、選出したマスクに属する画素についてのみ部分画像ＰＧによる識別点Ｐ０〜Ｐ４の抽出を行うことにより、画像識別の処理時間を短縮することができる。ここで、識別点Ｐ０〜Ｐ４には、輝度が中心点から３６０度全ての方向に対して同じように変化する円形のパターンを持たせているので、その画像から生成される方向符号は連続した値をとるので、各識別点Ｐ０〜Ｐ４は、上記のグルーピング処理によって、一つのグループＧ、すなわちマスクとして抽出される。なお、選出基準としては、例えば、グループＧの占める面積、真円度等が挙げられる。さらに、図１６に示すように、マスクの上下左右の各端部における座標に基づいてマスクの中心点を求め、この中心点近傍でのみ部分画像ＰＧによる識別点抽出処理を行うことにより、さらに画像処理時間を短縮することができる。
【００８５】
また、テンプレートとして、図１７に示すように、３２画素×３２画素のテンプレートがあり、方向符号を０〜１５とすると、中心点Ｑを挟んで、その左半分には方向符号８（左向き）が、右半分には方向符号０（右向き）が以下のように並ぶ。ここでは、中心点Ｑの方向符号は０としておく。
例： ・・・８８８Ｑ０００・・・
この方向符号の列を水平方向部分テンプレート（列状特徴情報）として、前述した図９の参照用方向符号ＲＤとして方向符号記憶部３３に記憶しておくと共に、画像データＤに対する抽出方向符号から長さ３２画素の列状の部分画像ＰＧを比較情報として部分画像抽出部３１により順次抽出し、これを方向符号比較部３４にてタグ方向符号３３と比較し、相互に一致又は近似した比較情報を選択することで、識別点座標演算部３５により画像データＤの中から識別点Ｐ０〜Ｐ４の位置座標を検出するようにしてもよい。
【００８６】
この場合には、画像データＤの画像サイズがＬ×Ｍ（６４０×４８０）である場合に、Ｎ×Ｎ（Ｎ＝３２）のテンプレート画像サイズから、照合する画素の延べ数はＬ×Ｍ×Ｎ×Ｎ（約３×１０8）となるが、テンプレート画像サイズが、Ｎ×１（Ｎ＝３２）となるので、列状特徴情報を用いて比較を行った場合に照合する画素の延べ数はＬ×Ｍ×Ｎ（約１×１０7）となり、Ｎ（Ｎ＝３２）倍の高速化ができる。即ち、特徴情報及び比較情報の一度に比較する情報量をそれぞれ減らすことにより、高速化を図ることができる。
【００８７】
さらには、図１８（ａ）に示すように、上述したように水平方向部分テンプレートＨＴを使用して、これと一致又は近似する画像領域を抽出し、抽出した画像領域について再度垂直方向部分テンプレートＶＴを使用して比較処理することにより、２回の比較処理を行うことにより、誤検出を防止することができる。この場合には、図１８（ｂ）に示すように、最初に垂直方向部分テンプレートＶＴを使用し、次に水平方向テンプレートＨＴを使用するようにしてもよい。
【００８８】
このようにして識別点Ｐ０〜Ｐ４を検出することで、水平方向に対して比較をしてから、さらに垂直方向へ比較した場合の延べ数は、Ｌ×Ｍ×Ｎ＋Ｎ×ｋとなる。ここで言うｋとは、水平又は垂直方向でマッチしてから、さらに垂直又は水平方向の比較をした件数であり、ｋ＜＜Ｌ×Ｍの関係である。すなわち、水平又は垂直方向部分テンプレートによる比較処理を行うことで上記第１の実施の形態と比較してＮ倍の高速化ができる他、水平（又は垂直）方向への比較を行った後に、さらに垂直（又は水平）方向への比較を行う場合には、誤検出を減らすと共に、ほぼＮ倍の高速化ができるということになる。
【００８９】
さらに、図１８（ｃ）に示すように、水平方向部分テンプレートＨＴによる比較処理を行ってから、数列の垂直方向部分テンプレートからなる面状テンプレート（面状特徴情報）ＦＴと水平方向部分テンプレートＨＴのマッチした部分画像ＰＧの中心点を中心とする面状テンプレートと同じ大きさの画像領域を持つ画像データＤから抽出された部分画像ＰＧとの比較処理を順次行うようにしてもよく、図１８（ｄ）に示すように、上記面状テンプレートＦＴより小さい画素数の小面状テンプレートＳＦＴによる比較処理を行ってから、小面状テンプレートＳＦＴとマッチした小面状テンプレートＳＦＴの中心点を中心とする面状テンプレートＦＴと同じ大きさの画像領域をもつ画像データＤから抽出された部分画像ＰＧと面状テンプレートＦＴと比較処理するようにしてもよい。
【００９０】
このように、少ない情報量を持つテンプレートの１つとこれに対応する画像データＤの部分画像ＰＧとを比較し、この比較結果に基づいて実際の識別点Ｐ０〜Ｐ４の検出範囲を絞り込んでから、他の、例えば、同等の情報量又はより情報量の多いテンプレートで更なる比較を行えば、高速化と誤検出防止とを両立できるということになる。
また、上記各実施形態においては、検索用タグ３の識別点Ｐ０〜Ｐ４として全ての半径方向について輝度が変化するようにグラデーションを施した場合について説明したが、これに限定されるものではなく、中心から２方向、３方向、４方向等の任意数の方向に輝度を変化させるようにしてもよい。
さらに、検索用タグ３としては、四角形領域３ａの境界位置にベルベットファスナーの一方を貼付しておき、他方を識別点を表面に印刷した円形ボタンの裏面に貼付することにより、任意の目盛り位置に識別点Ｐ１〜Ｐ４を配置可能に構成することにより、所望の幾何学的不変量を設定すること可能となる。
【図面の簡単な説明】
【００９１】
【図１】本発明に係る情報検索システムの第１の実施形態を示すシステム構成図である。
【図２】図１のタグ識別部の具体的構成を示すブロック図である。
【図３】検索用タグを示す正面図である。
【図４】検索用タグの識別点の中心点から離れるに従って輝度が減少するパターン及び増加するパターンの一例を示す図である。
【図５】識別点の輝度及び中心点からの距離の関係の一例を示すグラデーション特性線図である。
【図６】識別点の輝度及び中心点からの距離との関係の一例を示すグラデーション特性線図である。
【図７】情報検索装置で実行する識別点配置パターン決定処理手順の一例を示すフローチャートである。
【図８】検索用タグの具体例を示す正面図である。
【図９】方向符号の生成を説明するための概略図の一例である。
【図１０】画像データ及び部分画像を示す説明図である。
【図１１】識別点抽出処理の説明に供する説明図である。
【図１２】本発明の第２の実施形態を示すシステム構成図である。
【図１３】画像補正部の画像補正処理の説明に供する説明図である。
【図１４】本発明の第３の実施形態を示すシステム構成図である。
【図１５】方向符号をグループ化する場合の説明図である。
【図１６】方向符号をグループ化してその中心点を部分画像として設定する場合の説明図である。
【図１７】水平及び垂直方向の方向符号を示す説明図である。
【図１８】テンプレートの組合せを示す説明図である。
【符号の説明】
【００９２】
１…情報検索システム、２…検索情報保持物体、３…検索用タグ、４…タグ読取装置、５…情報検索装置、１１…ディジタルカメラ、１２…タグ識別部、１３…幾何学的不変量算出部、１４…検索情報抽出部、１５…画像補正部、３１…部分画像抽出部、３２…方向符号演算部、３３…方向符号記憶部、３４…方向符号比較部、３５…識別点座標演算部、Ｄ…画像データ、ＰＧ…部分画像
【特許請求の範囲】
【請求項１】
平面上に形成した四角形領域の各辺上に特定の幾何学的不変量を表す５つの識別点を、当該５つの識別点を含む平面内の位置を特定するように配置したことを特徴とする検索用タグ。
【請求項２】
前記四角形領域の各辺には等分割した目盛りが形成され、形成された目盛り上に前記識別点が配置されていることを特徴とする請求項１に記載の検索用タグ。
【請求項３】
前記識別点は四角形領域の各辺上で移動可能に配置されていることを特徴とする請求項１又は２に記載の検索用タグ。
【請求項４】
前記各識別点は、円形の中心点を起点として半径方向に沿った輝度変化パターンが、全半径方向で同一であることを特徴とする請求項１乃至３の何れか１項に記載の検索用タグ。
【請求項５】
前記輝度変化パターンは、前記中心点から離れるに従って徐々に輝度が低くなる減少パターン及び徐々に輝度が高くなる増加パターンの何れか一方であることを特徴とする請求項４に記載の検索用タグ。
【請求項６】
検索情報保持物体に付した請求項１乃至請求項５の何れか１項に記載された検索用タグと、該検索用タグが付された検索情報保持物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段と、該タグ識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量算出手段で演算した幾何学的不変量に基づいて前記検索用タグを含む平面上の検索情報を抽出する検索情報抽出手段とを備えたことを特徴とする情報検索システム。
【請求項７】
検索情報保持物体に付した請求項１乃至請求項５の何れか１項に記載された検索用タグと、該検索用タグが付された検索情報保持物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段と、該タグ識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量算出手段で演算した幾何学的不変量に基づいて前記検索用タグを含む平面上の検索情報を抽出する検索情報抽出手段と、該検索情報抽出手段で抽出された検索情報の画像データを前記検索用タグに基づいて幾何学的に補正する画像補正手段とを備えたことを特徴とする情報検索システム。
【請求項８】
検索情報保持物体に付した請求項１乃至請求項５の何れか１項に記載された検索用タグと、該検索用タグが付された検索情報保持物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段と、該タグ識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量算出手段で演算した幾何学的不変量に基づいて検索情報を特定する情報検索手段とを備えたことを特徴とする情報検索システム。
【請求項９】
前記タグ識別手段は、前記識別点を識別可能な特徴情報を記憶しており、前記画像データから前記特徴情報と比較可能な比較情報を取得し、取得した比較情報と前記特徴情報とを比較し、当該比較結果に基づいて前記識別点を識別するように構成されていることを特徴とする請求項６乃至８の何れか１項に記載の情報検索システム。
【請求項１０】
前記特徴情報及び前記比較情報は、画素毎の輝度の最大増加方向及び最大減少方向の何れか一方を表す方向符号であることを特徴とする請求項９に記載の情報検索システム。
【請求項１】
平面上に形成した四角形領域の各辺上に特定の幾何学的不変量を表す５つの識別点を、当該５つの識別点を含む平面内の位置を特定するように配置したことを特徴とする検索用タグ。
【請求項２】
前記四角形領域の各辺には等分割した目盛りが形成され、形成された目盛り上に前記識別点が配置されていることを特徴とする請求項１に記載の検索用タグ。
【請求項３】
前記識別点は四角形領域の各辺上で移動可能に配置されていることを特徴とする請求項１又は２に記載の検索用タグ。
【請求項４】
前記各識別点は、円形の中心点を起点として半径方向に沿った輝度変化パターンが、全半径方向で同一であることを特徴とする請求項１乃至３の何れか１項に記載の検索用タグ。
【請求項５】
前記輝度変化パターンは、前記中心点から離れるに従って徐々に輝度が低くなる減少パターン及び徐々に輝度が高くなる増加パターンの何れか一方であることを特徴とする請求項４に記載の検索用タグ。
【請求項６】
検索情報保持物体に付した請求項１乃至請求項５の何れか１項に記載された検索用タグと、該検索用タグが付された検索情報保持物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段と、該タグ識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量算出手段で演算した幾何学的不変量に基づいて前記検索用タグを含む平面上の検索情報を抽出する検索情報抽出手段とを備えたことを特徴とする情報検索システム。
【請求項７】
検索情報保持物体に付した請求項１乃至請求項５の何れか１項に記載された検索用タグと、該検索用タグが付された検索情報保持物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段と、該タグ識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量算出手段で演算した幾何学的不変量に基づいて前記検索用タグを含む平面上の検索情報を抽出する検索情報抽出手段と、該検索情報抽出手段で抽出された検索情報の画像データを前記検索用タグに基づいて幾何学的に補正する画像補正手段とを備えたことを特徴とする情報検索システム。
【請求項８】
検索情報保持物体に付した請求項１乃至請求項５の何れか１項に記載された検索用タグと、該検索用タグが付された検索情報保持物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出するタグ識別手段と、該タグ識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量算出手段で演算した幾何学的不変量に基づいて検索情報を特定する情報検索手段とを備えたことを特徴とする情報検索システム。
【請求項９】
前記タグ識別手段は、前記識別点を識別可能な特徴情報を記憶しており、前記画像データから前記特徴情報と比較可能な比較情報を取得し、取得した比較情報と前記特徴情報とを比較し、当該比較結果に基づいて前記識別点を識別するように構成されていることを特徴とする請求項６乃至８の何れか１項に記載の情報検索システム。
【請求項１０】
前記特徴情報及び前記比較情報は、画素毎の輝度の最大増加方向及び最大減少方向の何れか一方を表す方向符号であることを特徴とする請求項９に記載の情報検索システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００６−３３１３２２（Ｐ２００６−３３１３２２Ａ）
【公開日】平成１８年１２月７日（２００６．１２．７）
【国際特許分類】
【出願番号】特願２００５−１５７８２８（Ｐ２００５−１５７８２８）
【出願日】平成１７年５月３０日（２００５．５．３０）
【出願人】（５９１０８３２４４）富士電機システムズ株式会社 (1,717)
【Ｆターム（参考）】
【公開日】平成１８年１２月７日（２００６．１２．７）
【国際特許分類】
【出願日】平成１７年５月３０日（２００５．５．３０）
【出願人】（５９１０８３２４４）富士電機システムズ株式会社 (1,717)
【Ｆターム（参考）】
[ Back to top ]