物体識別タグ及びこれを使用した物体識別システム
【課題】 物体識別タグの抽出を固定焦点の撮像装置で容易に行うことができると共に、物体抽出タグの内側領域に任意の文字や図形を配置することができる物体識別タグ及び物体識別システムを提供する。
【解決手段】 平面上に形成した四角形領域３ａの各辺上に特定の幾何学的不変量を表す５つの識別点Ｐ０〜Ｐ５を配置した物体識別タグ３を使用する。物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段とを設けた。
【解決手段】 平面上に形成した四角形領域３ａの各辺上に特定の幾何学的不変量を表す５つの識別点Ｐ０〜Ｐ５を配置した物体識別タグ３を使用する。物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段とを設けた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間に存在する認識対象物体を画像処理によって認識するときにその認識対象物体に付される物体識別タグ及びこれを使用した物体識別システムに関する。
【背景技術】
【０００２】
空間に存在する様々な認識対象物体に対して、様々な処理をコンピュータ等の処理装置で行うためには、認識対象物体の位置(空間座標)、距離や姿勢(方向ベクトル)、種別などを認識する必要がある。
認識対象物体の位置を検出するためには、人為的な目印を用いることなく認識対象物体をディジタルカメラ等の撮像手段で撮像し、その撮像データから画像処理によって特徴点を抽出して位置や姿勢を検出することが考えられるが、この場合には、高度な画像処理が必要となるため、処理時間が掛かると共に、認識結果が安定しないなどの未解決の課題がある。
【０００３】
上記未解決の課題を解決するために、認識対象物体に、例えば特定パターンを目印として貼付しておき、この認識対象物体をディジタルカメラ等の撮像手段で撮像し、撮像した画像データの中から特定パターンを探索して認識対象物体の位置を検出する手法が採用されている。この手法によると、撮像手段を基準にした座標系における認識対象物体の座標を求めることができるが、撮像手段と認識対象物体との距離を検出することはできない。
【０００４】
このため、撮像手段と認識対象物体との距離を計測するために、例えば２台のカメラで撮影して三角測量の原理を用いて距離を計測したり、焦点を移動させて画像が鮮明になる焦点位置から距離を計測したりするなどの手法が採用されている。この場合には、余分なカメラや焦点移動機構が必要となり、コストが嵩むという新たな課題が生じる。また、超音波やレーザ光の反射時間をもとにして認識対象物体までの距離を計測する方法もあるが、夫々計測精度が低い、乃至は人体に有害である等の問題点がある。
【０００５】
さらに、認識対象物体の種別を認識するためには、例えばバーコードや非接触式無線タグ（ＲＦＩＤ）を認識対象物体に貼付しておき、読取機器で識別コードを読取るようにした手法が採用されている。あるいは、認識対象物体に印刷された文字情報をディジタルカメラ等の撮像手段で撮像し、その撮像データを文字認識手段で文字認識することにより、種別を認識する手法が採用されている。しかしながら、何れの場合にも、認識対象物体の種別を認識するには、読取機器や撮像手段を認識対象物体に近接させて識別コードを読取るか文字情報を撮像する必要があり、遠方に存在する認識対象物体や広範囲に散らばった認識対象物体を識別する場合には適用することができないという未解決の課題がある。
【０００６】
さらに、全体的な課題として、上記の認識技術が相互に連携していないことが挙げられる。例えば、認識対象物体の位置と姿勢を検出して適切な箇所をロボットアームで把持し、種別に応じた場所に搬送するような処理を想定すると、幾つもの手法をつなぎ合わせて使用せざるを得ず、システム構成が複雑となるという未解決の課題がある。
このような未解決の課題を解決するために、８角形のプレート上に５つの黒点を配置したタグを設け、このタグをディジタルカメラで撮影し、その画像データからプレートを貼り付けた物体の種別、位置、姿勢を同時に認識するようにした幾何学的不変量に基づく固定標識を用いた作業者情報支援の研究が行われている（例えば、非特許文献１参照）。
【０００７】
ここで、幾何学的不変量は，例えば平面上の５点（Ｐ０〜０４）がどの３点も同一の直線上にない場合、以下のような２つの幾何学的不変量が存在することが知られている（例えば、非特許文献２参照）。
【０００８】
【数１】
【０００９】
この５点の載った平面をカメラで撮影する際、一般に射影変換による幾何学的な歪が発生する。例えばカメラの向きが回転したり、平面との距離が変化したりするとカメラで撮影した画像データは変化する。また、カメラの傾きによっては、長方形が平行四辺形に写る（直角が保存されない）、あるいは長方形が台形に写る（平行性が保存されない）といったことが発生する。ところが、カメラ画像の中の５点の座標から上記（１）式で計算される２つの値Ｉ1，Ｉ2は、上述した射影変換による幾何学的な歪があっても不変である。このような性質を持つ幾何学的不変量は、画像認識するための特徴量として利用されることがある。
【００１０】
すなわち、物体のＩＤコードを認識するための固体標識となるＩＤマーカを幾何学的不変量に基づいて生成するＩＤマーカ生成手段と、任意の視点から撮影して得られる前記ＩＤマーカが貼付された物体の画像を画像入力装置により取込み、その画像に対して画像処理を行ってＩＤマーカの領域を抽出するＩＤマーカ領域抽出手段と、ＩＤマーカ領域の画像から複数の特徴点の位置を抽出する特徴点位置抽出手段と、複数の特徴点の位置から少なくとも１つの幾何学的不変量を算出する幾何学的不変量算出手段と、幾何学的不変量と対応付けられる物体のＩＤコードを、予め幾何学的不変量と物体ＩＤコードとを対応付けて格納しているデータベースから選出するＩＤコード認識手段とを有する物体ＩＤコード認識装置が知られている（例えば、特許文献１参照）。
【非特許文献１】伊藤俊樹、“幾何学的不変量に基づく固体標識を用いた作業者支援の研究”、大阪大学大学院 工学研究科 電子制御機械工学専攻 平成１２年度修士論文、http://www-cape.mech.eng.osaka-u.ac.jp/ccm06adm/oldboys/2000/ito.pdf
【非特許文献２】杉本晃宏「物体の見え方によらない情報の抽出」情報処理願学会誌１９９６年１２月Ｖｏｌ．３７ Ｎｏ．１２ 第１１２５頁〜第１１３１頁
【特許文献１】特開２００４−１９２３４２号公報（第１頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記非特許文献１に記載されている従来例にあっては、物体の種別、距離及び姿勢を同時に認識するという優れた機能を持ったタグであるが、カメラ画像データの中から、タグを見つけ出すために、タグにその環境ではまれな色彩を施しているため、使用環境毎に、色彩を調整する必要があり、種々の環境でタグを使用する場合には、必ずしも安定してタグを検出ことができないという未解決の課題がある。
【００１２】
また、タグが直径約５ｃｍと小さいので、空間全体のカメラ画像データの中からタグを見つけると、カメラをズームして５つの点の鮮明な画像を取得する必要があり、当然ズームに先立って、カメラの方向（パン、チルト）を制御しなければならず、カメラ及びその制御系のコストが嵩むと共に、処理時間も長くなるという未解決の課題がある。
さらに、幾何学的不変量を計算する上で、黒点の座標を正確に計測する必要があり、カメラ画像データの中で一定の閾値以下の輝度を持った部分を黒点として認識し、その重心の座標を採用するようにしているため、一般に知られているように、カメラ画像データの輝度は照明条件によって大きく変動するため、黒点の検出が必ずしも安定せず、座標の計測精度に悪影響を及ぼすという未解決の課題がある。
【００１３】
さらにまた、５つの黒点を使用したタグでは、個々の物体の認識には優れているが、物体相互の位置関係を把握しようとすると、各々のタグの位置や姿勢から再計算が必要となるという未解決の課題がある。
また、特許文献１に記載された従来例にあっては、７×７の正方形枡目に５色の特徴点と５つの黒色特徴点との２組の特徴点を形成したＩＤマーカを生成し、このＩＤマーカを物体に貼付して、物体ＩＤコード認識装置によってカメラ等により撮像された物体の画像を取込み、その画像情報をフーリエ変換を施して空間周波数に変換した後、物体ＩＤマーカ領域の背景画像の空間周波数データとの相似形又は一致形をパターンマッチングにより抽出してから各特徴点位置を抽出するようにしているので、特徴点の抽出処理が複雑となるという未解決の課題がある。また、ＩＤマーカの内部を文字や図形の配置等の他の用途に利用することができないという未解決の課題がある。
【００１４】
そこで、本発明は、上記従来例の未解決の課題に着目してなされたものであり、物体識別タグの抽出を固定焦点の撮像装置で容易に行うことができると共に、物体識別タグの内側領域に任意の文字や図形を配置することができる物体識別タグ及び物体識別システムを提供することを目的としている。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、請求項１に係る物体識別タグは、平面上に形成した四角形領域の各辺上に特定の幾何学的不変量を表す５つの識別点を配置したことを特徴としている。
また、請求項２に係る物体識別タグは、請求項１に係る発明において、前記四角形領域の各辺には等分割した目盛りが形成され、形成された目盛り上に前記識別点が配置されていることを特徴としている。
【００１６】
さらに、請求項３に係る物体識別タグは、請求項１又は２に係る発明において、前記識別点は四角形領域の各辺上で移動可能に配置されていることを特徴としている。
さらにまた、請求項４に係る物体識別タグは、請求項１乃至３の何れか１つの発明において、前記各識別点は、円形の中心点を起点として半径方向に沿った輝度変化パターンが、全半径方向で同一であることを特徴としている。
【００１７】
なおさらに、請求項５に係る物体識別タグは、請求項４に係る発明において、前記輝度変化パターンは、前記中心点から離れるに従って徐々に輝度が低くなる減少パターン及び徐々に輝度が高くなる増加パターンの何れか一方であることを特徴としている。
また、請求項６に係る物体識別タグは、請求項１乃至５の何れか１つの発明において、前記５つの識別点は、当該５つの識別点から算出される幾何学的不変量の値が重複しないように配置パターンが設定されていることを特徴としている。
【００１８】
さらに、請求項７に係る物体識別タグは、請求項６に係る発明において、前記配置パターンは、５つの識別点の座標計測誤差を考慮して算出される幾何学的不変量の値が重複しないように設定されていることを特徴としている。
さらにまた、請求項８に係る物体識別システムは、認識対象物体に付した請求項１乃至請求項７の何れか１項に記載された物体識別タグと、該物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段とを備えたことを特徴としている。
【００１９】
なおさらに、請求項９に係る物体識別システムは、認識対象物体に付した請求項１乃至請求項７の何れか１項に記載された物体識別タグと、該物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記物体識別タグを識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量演算手段で演算した幾何学的不変量に基づいて当該幾何学的不変量に関連付けられた情報を検索する情報検索手段とを備えたことを特徴としている。
【００２０】
また、請求項１０に係る物体識別システムは、認識対象物体に付した請求項１乃至請求項７の何れか１項に記載された物体識別タグと、該物体識別タグの各識別点の実座標を記憶する識別点座標記憶手段と、前記物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記識別点を識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点座標に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量演算手段で演算した幾何学的不変量に基づいて前記識別点座標記憶手段から該当物体識別タグの識別点実座標を抽出する識別点実座標抽出手段と、該識別点実座標抽出手段で抽出した識別点実座標と前記識別点識別手段で算出した識別点座標とに基づいて前記物体識別タグの実空間における位置及び姿勢、並びに物体識別タグと同一平面上にある任意の物体の位置の内少なくとも１つを検出する物体位置検出手段とを備えていることを特徴としている。
【００２１】
さらに、請求項１１に係る物体識別システムは、請求項８乃至１０の何れか１つの発明において、前記識別点識別手段は、前記識別点を識別可能な特徴情報を記憶しており、前記画像データから前記特徴情報と比較可能な比較情報を取得し、取得した比較情報と前記特徴情報とを比較し、当該比較結果に基づいて前記識別点を識別するように構成されていることを特徴としている。
【００２２】
さらにまた、請求項１２に係る物体識別システムは、請求項１１に係る発明において、前記特徴情報及び前記比較情報は、画素毎の輝度の最大増加方向及び最大減少方向の何れか一方を表す方向符号であることを特徴としている。
なおさらに、請求項１３に係る物体識別システムは、請求項８乃至１２の何れか１つの発明において、前記幾何学的不変量演算手段は、複数の幾何学的不変量を算出し、各々の所定の単位量で除して量子化し整数値の識別コードに変換するように構成されていることを特徴としている。
【発明の効果】
【００２３】
本発明に係る物体識別タグによれば、従来のタグとは異なり、四角形領域の各辺に５つの識別点が配置されているので、固定焦点カメラで物体識別タグを撮影しても物体識別タグを容易に識別することができると共に、四角形領域内に任意の文字や画像等を配置することができ、四角形領域内を他の用途に使用することができるという効果が得られる。
また、本発明に係る物体識別システムによれば、上記物体識別タグを容易に識別することができると共に、物体識別タグの識別点に基づく座標系を認識して、物体識別タグを撮影した画像データからこの画像データに含まれるタグ以外の物体の位置座標を容易に算出することができるという効果が得られる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明に係る物体識別システムにおける第１の実施形態の構成を示すシステム構成図である。
図中、１は物体識別システムであって、識別対象物体２に貼付又は印刷された物体識別タグ３を撮影する撮像手段としてのディジタルカメラ４と、このディジタルカメラ４で撮影した画像データが入力され、この画像データに基づいて識別対象物体２を識別する情報処理装置５とを備えている。
【００２５】
識別対象物体２は、例えば内部に品物を収容した箱体で構成され、その少なくとも１側面に物体識別タグ３が貼付又は印刷され、この物体識別タグ３がディジタルカメラ４の視野範囲内に入るようにベルトコンベヤ６によって搬送される。そして、物体識別タグ３によって指示される送付先に従い情報処理装置５が制御する搬送方向転換器７によって搬送方向が選択される。
【００２６】
物体識別タグ３は、図２に示すように、ラベル３ａの表面に四角形領域３ｂが形成され、この四角形領域３ｂの各辺に例えば１６等分した目盛り３ｃが形成され、この目盛り３ｃ上に中心点を有する５つの識別点Ｐ０〜Ｐ４が形成されている。
四角形領域３ｂは、高さをＨ、幅をＷとし、その左上の頂点を原点（０，０）とし、右方向をｘ軸、下方向をｙ軸とする座標系を考えたとき、識別点Ｐ０は原点（０，０）に固定し、他の４つの識別点Ｐ１〜Ｐ４は各辺上の任意の位置に配置されている。なお、３点が同一直線上に並ぶことを避けるために、例えば原点に置いた識別点Ｐ０以外の４つの識別点は頂点には配置しないようにする。ここで、識別点Ｐ０以外の４つの識別点を、５つの識別点の重心から見て識別点Ｐ０から反時計回りの順に各識別点をＰ１、Ｐ２、Ｐ３及びＰ４とする。
【００２７】
そして、識別点Ｐ０は他の識別点Ｐ１〜Ｐ４と区別するために大きな直径（例えば２０ｍｍ）に設定され、他の識別点Ｐ１〜Ｐ４は小さな直径（例えは１５ｍｍ）に設定されている。
このため、識別点Ｐ１の座標は（０，ｙ１）で表され、識別点Ｐ２の座標は（ｘ２，Ｈ）、識別点Ｐ３の座標は（Ｗ，ｙ３）及び識別点Ｐ４の座標は（ｘ４，０）に設定される。ここで、ｙ１及びｙ３はＨ／１６〜１５Ｈ／１６の範囲をとることができ、ｘ２及びｘ４はＷ／１６〜１５Ｗ／１６の範囲をとることができる。したがって、５つの識別点Ｐ０〜Ｐ４の配置パターンは１５4＝５０６２５通りとなる。
【００２８】
また、各識別点Ｐ０〜Ｐ４は、図３に示すように、外周が円形に形成され、その中心点Ｏを起点として、半径方向に沿った輝度変化パターンが全半径方向で同一となるように設定されている。なお、輝度変化パターンは、狭義の単調減少又は単調増加のパターンであればどのような変化パターンでも構わない。図３（ａ）の例であれば、図４（ａ）に示すように輝度値が直線的に減少するパターンであり、図３（ｂ）の例であれば、図４（ｂ）に示すように輝度値が直線的に増加するパターンである。その他、減少するパターンとしては、接線の傾きが負となって連続的に減少する曲線となればよく、図５（ａ）に示すように上に凸の曲線でもいいし、同（ｂ）に示すように下に凸の曲線でもいいし、同（ｃ）に示すようなＳ字曲線でもいいし、同（ｄ）に示すようなＳ字を二つ合わせたような曲線でもいい。増加パターンの場合も同様に接線の傾きが正となって連続的に増加する種々のパターンが採用可能である。
【００２９】
上記構成を有する物体識別タグ３について、各識別点の座標を前記（１）式に代入することにより、識別点Ｐ０を原点とした２つの幾何学的不変量Ｉ1及びＩ2は、辺の長さで正規化した座標を用いて以下のように算出される。
【００３０】
【数２】
【００３１】
ここで、Ｘi＝ｘi／Ｗ，Ｙj＝ｙj／Ｈであり、Ｗは四角形領域３ｂの幅、Ｈは四角形領域３ｂの高さである。また、Ｘi及びＹjは夫々幅及び高さの辺に付けた目盛りの番号（１〜１５）を等分数（＝１６）で除した値である。
これら（２）式に示すように、幾何学的不変量Ｉ1及びＩ2は四角形領域の辺の長さに依存しないので、物体識別タグ３の縦横のサイズを自由に設定することができるという効果が得られる。また、幾何学的不変量Ｉ1及びＩ2は長さの単位に依存しないので、｛ｘi，ｙi｝（ｉ＝０〜４）は目盛りの番号（０〜１６）としてもよいし、或いは実測長（例えばｍｍ単位）の値としてもよい。さらに、目盛りを付けることにより、５つの識別点Ｐ０〜Ｐ４の配置を誤差なく指定することができるという効果が得られる。
【００３２】
上記構成を有する物体識別タグ３を空間の任意の位置に置き、ディジタルカメラ４で撮影することにより、画像データにおける５点の座標（ｘi，ｙi）（ｉ＝０〜４）を得ることができる。そして、最も大きな直径の識別点をＰ０とし、５つの識別点の重心からみて反時計回りの順に識別点をＰ１、Ｐ２、Ｐ３及びＰ４とすることにより、これらの識別点の座標を前記（１）式に代入することにより、幾何学的不変量Ｉ1及びＩ2を算出すると、算出した幾何学的不変量Ｉ1及びＩ2は物体識別タグ３の３次元位置に関わらず同一の値となる。
【００３３】
そして、算出した幾何学的不変量Ｉ1及びＩ2は実数値として得られるので、所定の単位量Ｉ1＿ｕｎｉｔ及びＩ2＿ｕｎｉｔを使って下記（３）式及び（４）式の演算を行うことにより、量子化し整数値の識別コードに変換する。
Ｉ１＝ＩＮＴ〔Ｉ1／Ｉ1＿ｕｎｉｔ〕 …………（３）
Ｉ２＝ＩＮＴ〔Ｉ2／Ｉ2＿ｕｎｉｔ〕 …………（４）
ただし、ＩＮＴ〔 〕は大括弧内の実数の小数点以下を切り捨てて整数化する関数である。
【００３４】
このように、５つの識別点Ｐ０〜Ｐ４の配置パターン毎に識別コードＩ１及びＩ２を算出することができるものであるが、上記（３）式及び（４）式で整数化していることから、同一の識別コードＩ１及びＩ２を表す識別点の配置パターンが１つとは限らないと共に、撮影した画像データから識別点の座標を読取る際に読取り誤差を生じることから、確実に識別可能な配置パターンは前記５０６２５通りの一部に限定される。
【００３５】
このため、使用可能な配置パターンを決定するために、予め例えば情報処理装置５を使用して、図６に示す識別点配置パターン決定処理を実行する。
なお、前述したように幾何学的不変量Ｉ1及びＩ2は長さの単位に依存しないので、ここでは、｛ｘi，ｙi｝（ｉ＝０〜４）は目盛りの番号（０〜１６）として説明する。
この識別点配置パターン決定処理は、図６に示すように、先ず、ステップＳ１で、座標ｘ0，ｙ0，ｘ1，ｙ4を全て“０”に、座標ｙ2をＨ（＝１６）に、そして座標ｘ3をＷ（＝１６）に、また座標ｙ1、ｘ2、ｙ3及びｘ4を全て“１”とする初期化を行う。
【００３６】
次いで、ステップＳ２に移行して、座標（ｘ0，ｙ0）〜（ｘ4〜ｙ4）を前述した（１）式に代入して、幾何学的不変量Ｉ1及びＩ2を算出すると共に、算出した幾何学不変量Ｉ1及びＩ2を前記（３）式及び（４）式に従って整数化して識別コードＩ１及びＩ２を算出する。
次いで、ステップＳ３に移行して、４つのパラメータｙ1、ｘ2、ｙ3及びｘ4と、固定座標ｘ0，ｙ0，ｘ1，ｙ2，ｘ3，ｙ4の各々について許容誤差εを加減算した許容値の全ての組み合わせの２10通りについて前記（１）式，（３）式及び（４）式の演算を行って識別コードＩ１及びＩ２を算出し、各々の最小値Ｉ１MIN，Ｉ２MIN及び最大値Ｉ１MAX，Ｉ２MAXを算出する。
【００３７】
次いで、ステップＳ４に移行して、ｙ1、ｘ2、ｙ3、ｘ4、Ｉ１MIN、Ｉ１、Ｉ１MAX、Ｉ２MIN、Ｉ２、Ｉ２MAXの全てを記憶テーブルＴに記憶してからステップＳ５に移行する。
このステップＳ５では、全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝についてＩ１MIN、Ｉ１、Ｉ１MAX、Ｉ２MIN、Ｉ２、Ｉ２MAXの記録が完了したか否かを判定し、記録が完了していない配置パターンが存在する場合にはステップＳ６に移行して、座標ｙ1，ｘ2，ｙ3，ｘ4の何れかを変更（例えば、ｙ1＝１→ｙ1＝２など）して別の配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝を生成してから前記ステップＳ２に戻り、全ての配置パターン｛ｙ1＝１〜１５，ｘ2＝１〜１５，ｙ3＝１〜１５，ｘ4＝１〜１５｝について記憶テーブルＴへの記録が完了したときにはステップＳ７に移行する。
【００３８】
このステップＳ７では、採用する識別コード（Ｉ１，Ｉ２）を記録するための２次元配列Ｉを“０”で初期化し、次いでステップＳ８に移行して、変動幅設定値Ｖを“２”で初期化してからステップＳ９に移行する。
このステップＳ９では、記憶テーブルＴに記憶されている全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について許容誤差εに対する識別コード（Ｉ１，Ｉ２）の変動幅ΔＩを下記（５）式に従って算出する。
【００３９】
ΔＩ＝（Ｉ１MAX−Ｉ１MIN＋１）＋（Ｉ２MAX−Ｉ２MIN＋１） …………（５）
次いでステップＳ１０に移行して、算出した各識別コード（Ｉ１，Ｉ２）の変動幅ΔＩが変動幅設定値Ｖと一致する配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝が存在するか否かを判定し、ΔＩ＝Ｖとなる配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝が存在する場合には、ステップＳ１１に移行して、該当する配列パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝の｛Ｉ１MIN、Ｉ１MAX、Ｉ２MIN、Ｉ２MAX｝を使用して全ての２次元配列Ｉの要素Ｉ〔ｉ１，ｉ２〕（Ｉ１MIN≦ｉ1≦Ｉ１MAX，Ｉ２MIN≦ｉ２≦Ｉ２MAX）が“０”であるか否かを判定し、これらを満足する場合には、ステップＳ１２に移行して、記録テーブルＴの該当する配置パターン｛y1，x2，y3，x4｝に「採用」を記録する。
【００４０】
次いで、ステップＳ１３に移行して、２次元配列Ｉの要素Ｉ〔ｉ１，ｉ２〕（Ｉ１MIN≦ｉ1≦Ｉ１MAX，Ｉ２MIN≦ｉ２≦Ｉ２MAX）の値を使用済みを表す“１”に変更する。
次いで、ステップＳ１４に移行して、記憶テーブルＴの全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について調査が終了したか否かを判定し、全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について調査が終了したときには識別点配置パターン決定処理を終了し、全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について調査が終了していないときには前記ステップＳ１０に戻る。
【００４１】
一方、前記ステップＳ１０の判定結果が、ΔＩ＝Ｖとなる配列パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝が存在しないときには、ステップＳ１５に移行して、変動幅設定値Ｖを“１”だけインクリメントしてから前記ステップＳ１０に戻る。
さらに、前記ステップＳ１１の判定結果が、２次元配列Ｉの要素Ｉ（ｉ１，ｉ２）（Ｉ１MIN≦ｉ1≦Ｉ１MAX，Ｉ２MIN≦ｉ２≦Ｉ２MAX）の何れかが“１”であるときには、ステップＳ１６に移行して、Ｉ１又はＩ２の変動幅ΔＩが使用済みの値に重複していることを意味するので、記録テーブルＴの該当配列パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝に「不採用」を記録してから前記ステップＳ１４に移行する。
【００４２】
そして、上記識別点配置パターン決定処理で「採用」が決定された記録テーブルＴの配列パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝を実際の配列パターンとして使用し、この配列パターンをラベル３ａ表面の四角形領域３ｂに印刷して物体識別タグ３を識別対象物体２に例えば貼付する。
そして、物体識別タグ３を貼付した識別対象物体２がベルトコンベヤ６によって搬送されて少なくとも物体識別タグ３がディジタルカメラ４の視野内に入ると、例えばベルトコンベヤ６を挟んで設置された投光器８ａ及び受光器８ｂで構成される識別対象物体先端検出センサ８で検出され、この識別対象物体先端検出センサ８で検出された検出信号が情報処理装置５に入力されて、この情報処理装置５によってディジタルカメラ４で識別対象物体の撮影を開始させる。そして、ディジタルカメラ４から出力される画像データが情報処理装置５に入力される。
【００４３】
情報処理装置５では、ディジタルカメラ４から画像データが入力されると、物体識別タグ３の識別点を抽出して物体識別タグ３を認識し、認識した物体識別タグ３の幾何学的不変量Ｉ1及びＩ2を算出し、算出した幾何学的不変量Ｉ1及びＩ2を整数化した識別コードＩ１及びＩ２に基づいて識別対象物体２を識別する。
このため、情報処理装置５では、図７に示すように、ディジタルカメラ４から入力される画像データに基づいて識別点を抽出する識別点識別手段としての識別点抽出部２１、この識別点抽出部２１で抽出した識別点に基づいて幾何学的不変量Ｉ1及びＩ2を計算し、識別コードＩ１及びＩ２を算出する幾何学的不変量算出手段としての幾何学的不変量算出部２２と、算出した識別コードＩ１及びＩ２に基づき識別対象物体２を識別する物体識別部２３とを備えている。
【００４４】
識別点抽出部２１は、図８に示すように、ディジタルカメラ４から入力される一画面分の画像データである対象画像データＤから、所定サイズの部分画像ＰＧを順次抽出する部分画像抽出部３１と、抽出した部分画像ＰＧについて抽出方向符号ＥＤを演算する方向符号演算部３２と、識別点Ｐ０〜Ｐ４を識別可能な特徴情報としての参照用方向符号ＲＤを予め記憶した方向符号記憶部３３と、方向符号演算部３２で演算した抽出方向符号ＥＤと、方向符号記憶部３３に記憶されている参照用方向符号ＲＤとを比較して、両者が一致するか否かを判定する方向符号比較部３４と、部分画像抽出部３１の部分画像を１画素毎に移動させながら方向符号比較部３４の比較結果が、抽出方向符号ＥＤが参照用方向符号ＲＤと一致したときに、そのときの部分画像の中心点を識別点Ｐ０〜Ｐ４の中心点として算出する識別点座標演算部３５とで構成されている。
【００４５】
ここで、方向符号とは、例えば、図９に示すように、１画面データの任意の画素ＰＥ０を考えたとき、その画素ＰＥ０に隣接して包囲する八つの画素ＰＥ１〜ＰＥ８の各輝度値と、画素ＰＥ０の輝度値とをそれぞれ比較し、画素ＰＥ０の輝度値からの増加（又は減少）幅が最も大きな方向を符号化してなる情報である。この場合であれば、紙面に向かって、右方向、斜め右上方向、上方向、斜め左上方向、左方向、斜め左下方向、下方向、斜め右下方向の８方向に、例えば０〜７の番号を付すことで符号化してなる情報である。そして、この方向符号０〜７を物体識別タグ３の識別点Ｐ０〜Ｐ４の元データ全体に対して求めてそれを２次元データとして保存したものが、参照用方向符号ＲＤとなる。なお、ここでは画素ＰＥ０に隣接する８つの画素に注目して８方向としたが、これに限定されることはなく、より多くの方向に、例えば周囲８つの画素の配置された方向それぞれの中間方向も含めて細分化し、この場合は各方向に０〜１５の番号を付して、より詳細な符号化を行うようにしてもよい。
【００４６】
また、ここでは参照用方向符号ＲＤを識別点Ｐ０〜Ｐ４の元データから生成する方法を説明したが、これに限定されることなく、所定の大きさの参照用方向符号ＲＤを直接計算して生成するようにしてもよい。このようにして生成した参照用方向符号ＲＤは、識別点の輝度が中心からの半径にのみ依存する場合には、全ての方向符号（上記の例では０〜７）が円周方向に連続して一様に現れ、また同一の半径方向上では全て同一の方向符号となる特徴がある。
【００４７】
そして、識別点抽出部２１の部分画像抽出部３１は、参照用方向符号ＲＤを生成する際に用いた画像サイズと同じ大きさの部分画像ＰＧを抽出するようになっており、方向符号演算部３２は、抽出された部分画像ＰＧに対して参照用方向符号ＲＤを生成する際と同様の手順で演算を行って部分画像ＰＧの方向符号を求めるように構成されている。
ここで、例えば、図１０（ａ）に示すように、画像データＤの画像サイズの大きさを高さ４８０画素、幅６４０画素とし、図１０（ｂ）に示すように、参照用方向符号ＲＤの画像サイズの大きさを高さ及び幅共に３２画素とした例を考える。即ちかかる例の場合、部分画像抽出部３１は、図１０（ａ）に示すように、画像データＤの最上段左端から右端に向かって１画素移動する毎に部分画像ＰＧを順次抽出し、第１行の右端に達したら、１画素分下側の第２行に移り左端から右端に向けて、１画素移動する毎に部分画像ＰＧを順次抽出し、これを順次最終行まで継続してこの部分画像ＰＧを抽出するということになる。
【００４８】
方向符号比較部３４は、参照用方向符号ＲＤと部分画像ＰＧの対応する全ての画素について方向符号の差を集計する。そして、その集計値が０であれば「一致」と判定し、所定の閾値以内であれば「近似している」と判定する。なお、方向符号の差は次のように計算される。例えば、方向を８等分して方向符号０〜７を使う場合で説明する。２つの方向符号Ｄ１とＤ２の差ｄは、下記（６）式で算出することができる。
【００４９】
ｄ＝Ｍｉｎ｛Ｇ，８−Ｇ｝ …………（６）
但し、Ｇ＝｜Ｄ１−Ｄ２｜
すなわち、抽出方向符号ＥＤの符号が“０”で参照用方向符号ＲＤの符号が“０”であるときには、Ｇ＝０となることにより、差ｄが“０”となるが、抽出方向符号ＥＤの符号が“０”で参照用方向符号ＲＤの符号が“１”（又は“７”）であるときには、Ｇ＝１，８−Ｇ＝７（又はＧ＝７，８−Ｇ＝１）となるのでｄ＝１となり、抽出方向符号ＥＤの符号が“０”で参照用方向符号ＲＤの符号が“３”（又は“５”）であるときには、Ｇ＝３，８−Ｇ＝５（又はＧ＝５，８−Ｇ＝３）となるのでｄ＝３となる。
【００５０】
識別点座標演算部３５は、例えば、対象画像データＤの左上を座標の原点（０，０）として方向符号比較部３４の比較結果が“０”であればこのときの部分画像ＰＧの中心点を識別点Ｐ０〜Ｐ４の何れかの中心点として記憶し、比較結果が“０”ではないが所定の閾値以下であるときにもこのときの部分画像ＰＧの中心点座標を識別点Ｐ０〜Ｐ４の何れかの中心点座標（ｘi,ｙi）として記憶すると共に、５つの識別点の中心点座標が検出されたときに、各識別点の輪郭線の直径が一番大きい識別点を識別点Ｐ０として設定し、さらに５つの識別点の重心点を算出し、算出した重心点から見て識別点Ｐ０から反時計回りに順次識別点Ｐ１〜Ｐ４として設定し、設定した識別点Ｐ０〜Ｐ４とその中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）とを幾何学的不変量算出部２２に出力する。
【００５１】
なお、ここでは対象画像データＤから部分画像ＰＧを抽出し、その部分画像ＰＧに対して方向符号を求める方法について説明したが、これに限定されることなく、対象画像データＤ全体に対して方向符号を求めておき、そこから部分画像ＰＧに対応する方向符号を抽出して、方向符号比較部３４に供給するようにしてもよい。
幾何学的不変量算出部２２では、入力された各識別点Ｐ０〜Ｐ４の中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）に基づいて下記（７）及び（８）式の演算を行って幾何学的不変量Ｉ1及びＩ2を算出し、算出した幾何学的不変量Ｉ1及びＩ2を前記（３）式及び（４）式で整数化した値を識別コードＩ１及びＩ２として物体識別部２３に出力する。
【００５２】
【数３】
【００５３】
この物体識別部２３では、幾何学的不変量算出部２２から入力された識別コードＩ１及びＩ２に基づいて予め記憶された識別コードＩ１及びＩ２と、物品名及びその送付先との関係を表す記憶テーブルを参照して物品名及び送付先を抽出し、抽出した送付先に基づいて搬送方向転換器７を制御して送付先に応じた搬送方向を選択する。
【００５４】
次に、上記実施形態の動作を説明する。
今、ベルトコンベヤ６によって識別対象物体２がこれに貼付された物体識別タグ３をディジタルカメラ４の視野範囲内となるように任意の姿勢で載置されて搬送されているものとする。
この状態で、先頭の識別対象物体２の全体がディジタルカメラ４の視野範囲内となり、その先端が識別対象物体先端検出センサ８で検出されると、この先端検出センサ８から出力される先端検出信号が情報処理装置５に入力されることにより、この情報処理装置５でディジタルカメラ４に対してシャッターを作動させるシャッター信号を送出することにより、ディジタルカメラ４で識別対象物体２の対向側面を撮影し、撮影した画像データを情報処理装置５に送信する。
【００５５】
情報処理装置５では、ディジタルカメラ４から画像データが入力されると、この画像データＤを部分画像抽出部３１に供給して、この部分画像抽出部３１で画像データを一時記憶してから画像データＤの原点位置から順次所定サイズの部分画像ＰＧを抽出し、抽出した部分画像ＰＧを方向符号演算部３２に供給する。
この方向符号演算部３２では、部分画像ＰＧに含まれる各画素間の輝度変化に基づいて抽出方向符号ＥＤを算出する。このとき、部分画像ＰＧが物体識別タグ３の識別点Ｐ０〜Ｐ４の何れかの位置に到達していないときには、輝度変化に基づいて算出される方向符号がないか又は文字、図形等が記載されている場合に、文字、図形等に沿って方向符号が生じるが何れにしても識別点Ｐ０〜Ｐ４の中心から各半径方向に順次輝度が連続的に減少又は増加する方向符号パターンは存在しないので、方向符号演算部３２で演算された抽出方向符号ＥＤと予め方向符号記憶部３３に記憶されている正規の物体識別タグ３から算出した参照用方向符号ＲＤとが一致することはなく、前述した（６）式で算出される差ｄの合計値が大きな値となり、識別点Ｐ０〜Ｐ４として認識されることはない。
【００５６】
ところが、識別点Ｐ０〜Ｐ４の何れかが部分画像ＰＧに含まれる状態となり、例えば図１１（ａ）に示すように、抽出される部分画像ＰＧが識別点Ｐ０〜Ｐ４の何れかの中心点を横切る状態となると、部分画像ＰＧに含まれる識別点の方向符号が図１１（ｂ）〜（ｅ）に示すように順次変化することになり、方向符号記憶部２３に記憶されている参照用方向符号が、図１１（ｆ）に示すように、物体識別タグ３の中心部の方向符号であるものとすると、図１１（ｂ）では、方向符号の差ｄの総計が大きく、図１１（ｃ）で方向符号の差ｄの総計が小さくなり、図１１（ｄ）で方向符号の差ｄの総計が所定の閾値以内となる近似している状態となるが、さらに図１１（ｅ）では、参照用方向符号ＲＤと完全に一致することから方向符号の差ｄの総計が“０”となり、この状態における部分画像ＰＧの中心点座標が識別点Ｐ０〜Ｐ４の何れかの中心点座標（ｘi，ｙi）として記憶される。
【００５７】
以上の識別点抽出処理を繰り返すことにより、物体識別タグ３の５つの識別点Ｐ０〜Ｐ４の中心点座標（ｘi，ｙi）を抽出する。
このとき、ディジタルカメラ４に対する識別対象物体２の姿勢が変化して物体識別タグ３がディジタルカメラ４に正対していない場合でも、識別点Ｐ０〜Ｐ４は、３６０度全ての方向に対して同じように変化する円形のパターンを持っているので、識別点抽出部２１の処理は影響を受けることはない。
【００５８】
また、ディジタルカメラ４に対して物体識別タグ３が接近するか又は遠ざかることにより、これによって撮像される識別点Ｐ０〜Ｐ４の円形のパターンが拡大又は縮小しても、輝度が中心から３６０度全ての方向に対して同じように変化するという特徴は変わらず、その抽出方向符号ＥＤが参照用方向符号ＲＤと同じなので識別点Ｐ０〜Ｐ４を正確に識別することができ、識別点抽出部２１の処理は影響を受けることはない。
【００５９】
また、識別点Ｐ０〜Ｐ４とディジタルカメラ４との方向により、撮像された識別点Ｐ０〜Ｐ４の円形のパターンに視覚歪が発生しても、輝度が中心から３６０度全ての方向に対して変化するという特徴に変わりはなく、撮像された識別点Ｐ０〜Ｐ４の抽出方向符号ＥＤと参照用方向符号ＲＤの大部分とが一致することで、識別点Ｐ０〜Ｐ４を正確に識別することが可能となり、識別点抽出部２１の処理は影響を受けることはない。
【００６０】
以上のようにして、物体識別タグ３の５つの識別点の中心点座標を抽出すると、そのうち識別点の境界線の直径が一番大きい識別点を識別点Ｐ０に設定すると共に、各識別点の中心点座標から重心点を求め、求めた重心点から識別点Ｐ０を見たときに反時計回りに順次現れる識別点を順次Ｐ１、Ｐ２……Ｐ４として設定し、設定した識別点Ｐ０〜Ｐ４とそれらの中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）とを幾何学的不変量算出部２２に出力する。
【００６１】
この幾何学的不変量算出部２２では、各識別点Ｐ０〜Ｐ４の中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）に基づいて前記（７）式及び（８）式の演算を行って幾何学的不変量Ｉ1及びＩ2を算出し、これらを前記（３）式及び（４）式によって整数化した識別コードＩ１及びＩ２を物体識別部２３に出力する。
この物体識別部２３では、入力される識別コードＩ１及びＩ２に基づいて記憶テーブルを参照して、識別対象物体２の物品名及び送付先を求め、求めた送付先によって搬送方向転換器７を制御して、識別対象物体２を指定された送付先に搬送する。
【００６２】
このとき、物体識別タグ３の識別点Ｐ０〜Ｐ４を前述した図７の識別点配置パターン決定処理で決定された配置パターンから配置パターンを選択して使用すると、画像データの読取誤差等によって誤った幾何学的不変量Ｉ1及びＩ2が算出されることを確実に回避することができるので、識別コードＩ１及びＩ２が重複することがなく、正確な物体認識を行うことができる。
【００６３】
しかも、物体識別タグ３はディジタルカメラ４との対面角度に関わらず算出される幾何学的不変量Ｉ1及びＩ2が一定値であるので、ベルトコンベヤ６に認識対象物体２を載置する際や、ベルトコンベヤ６での搬送過程で、認識対象物体２の姿勢が変化して物体識別タグ３のディジタルカメラ４に対する角度が変化した場合でも正確に識別コードを算出することができ、認識対象物体２を誤認識することを確実に防止することができる。
【００６４】
しかも、物体識別タグ３は、四角形領域３ａの各辺に識別点Ｐ０〜Ｐ４を配置するようにしており、識別点を配置した各辺の内側領域は識別には使用しないので、この内側領域に物体名、送付先等の文字や任意の図形等を記載することが可能となり、作業者が物体名や送付先を容易に視認可能としたり、宣伝や広告文字等を記載したり、内側領域を任意の用途に使用することができる。
【００６５】
また、物体識別タグ３は、四角形領域３ｂの各辺に目盛りが形成され、この目盛り上に識別点Ｐ０〜Ｐ４を配置するようにしているので、ラベル３ａに四角形領域３ｂの外径枠と目盛りのみを設けておき、識別対象物体２の種別に応じて目盛り上に予め印刷した識別点Ｐ０〜Ｐ４を貼着して物体識別タグ３を構成することができ、多数種の配置パターンの物体識別タグ３を予め設ける場合に比較して、製作コストを低減することができる。
【００６６】
さらに、四角形領域３ｂの境界位置にベルベットファスナーの一方を貼付しておき、他方を識別点を表面に印刷した円形ボタンの裏面に貼付することにより、任意の目盛り位置に識別点を配置可能に構成することにより、物体識別タグ３を再使用可能として、さらにコスト低下を図ることができる。
なお、上記第１の実施形態においては、識別対象物体２を搬送して仕分けする搬送システムに本発明を適用した場合について説明したが、これに限定されるものではなく、物体識別タグ３を識別対象物体２に貼付又は印刷して識別対象物体２を種別等で識別する場合に本発明を適用することができる。
【００６７】
次に、本発明の第２の実施形態を図１２について説明する。
この第２の実施形態では、物体識別タグ３を使用して、物体識別タグ３で表される座標系を定義して、この座標系と同一平面上の任意の物体の位置を正確に算出するようにしたものである。
すなわち、第２の実施形態では、物体識別タグ３の識別点配置パターンに対応した幾何学的不変量Ｉ1及びＩ2を整数化した識別コードＩ１及びＩ２とタグ関連情報との関係を記憶テーブルに記憶しておく。ここで、タグ関連情報としては、図２に示す実際の物体識別タグ３の５つの識別点Ｐ０〜Ｐ４の設計配置｛Ｐ０（０，０）Ｐ１（０，ｙ１）、Ｐ２（ｘ２，Ｈ）、Ｐ３（Ｗ，ｙ３）、Ｐ４（ｘ４，０）｝を使用し、四角形領域３ａの辺の実際の長さ即ち幅Ｗ及び高さＨと、パラメータ｛ｙ１，ｘ２，ｙ３，ｘ４｝の実際の値を例えはｍｍ単位で指定したものをタグ関連情報として設定する。
【００６８】
そして、情報処理装置５で、図１２に示す物体座標演算処理を実行する。
この物体座標演算処理は、先ず、ステップＳ３１で、ディジタルカメラ４で撮影した物体識別タグ３を含む画像データＤを読込み、次いでステップＳ３２に移行して、読込んだ画像データに基づいて前述した第１の実施形態と同様に、各識別点Ｐ０〜Ｐ４の中心点座標（ｘ0，ｙ0）〜（ｘ4，ｙ4）を算出する識別点抽出処理を行い、次いでステップＳ３３に移行して、各識別点の中心点座標（ｘ0，ｙ0）〜（ｘ4，ｙ4）に基づいて前記（６）及び（７）式の演算を行って、幾何学的不変量Ｉ1及びＩ2を算出し、これらを前記（３）式及び（４）式を用いて整数化して識別コードＩ１及びＩ２を算出する。
【００６９】
次いで、ステップＳ３４に移行して、算出した識別コードＩ１，Ｉ２に基づいて記憶テーブルを参照して、撮影した物体識別タグ３の実際の幅Ｗ及び高さＨとパラメータ｛ｙ１，ｘ２，ｙ３，ｘ４｝の実際の値を読込んでからステップＳ３５に移行する。
このステップＳ３５では、画像データＤを表示装置５ａに表示した状態で、画像データから識別点Ｐ０及び識別点Ｐ４を結ぶ線をｘ軸とし、識別点Ｐ０及び識別点Ｐ１を結ぶ線をｙ軸と設定してタグ座標系を形成して表示する。
【００７０】
次いで、ステップＳ３６に移行して、表示装置５ａに表示されている画像データ中の所望の点にマウスによってカーソルを合わせてからクリックすることにより、指示位置を選択したか否かを判定し、指示位置が選択されていないときにはこれが選択されるまで待機し、指示位置が選択されたときにはステップＳ３７に移行する。
このステップＳ３７では、選択された指示位置の物体識別タグと同一の平面における実際の位置座標（ｘP，ｙP）を物体識別タグ３の実際の幅Ｗ及び高さＨとパラメータ｛ｙ１，ｘ２，ｙ３，ｘ４｝の実際の値とから算出し、次いでステップＳ３８に移行して、算出した指示位置の実際の位置座標（ｘP，ｙP）を表示装置５ａに表示してから物体位置演算処理を終了する。
【００７１】
この図１２の処理において、ステップＳ３３の処理が幾何学的不変量算出手段に対応し、ステップＳ３４の処理が情報検索手段に対応している。
上記のように、物体識別タグ３のタグ座標系が定義されると、複数の座標系の間で変換行列を算出することができる。
すなわち、図１５に示すように、物体識別タグ３と同一の平面上にある実平面Ａ及びそれを撮像した画像データＢがあり、各々の中に同一の物体識別タグが含まれている場合を考える。実平面Ａにおける物体識別タグ３の識別点Ｐ０〜Ｐ４の位置を（ｘＡｉ，ｙＡｉ）（ｉ＝０〜４）とする。同様に、画像データＢにおける物体識別タグ３の識別点Ｐ０〜Ｐ４の位置を（ｘＢｉ，ｙＢｉ）（ｉ＝０〜４）とする。
【００７２】
今、同一の点Ｐが実平面Ａ及び画像データＢに含まれている場合を考えると、実平面Ａにおける点Ｐの座標（ｘＡ，ｙＡ）は、実平面Ａにおける物体識別タグ３によって定められる座標系を基準にしている。同様に、画像データＢにおける点Ｐの座標（ｘＢ，ｙＢ）は、画像データＢにおける物体識別タグ３によって定められる座標系を基準にしている。
一般に、２つの空間Ａ及びＢは射影変換の関係にあるので、実平面Ａにおける点（ｘＡ，ｙＡ）と画像データＢにおける点（ｘＢ，ｙＢ）の間には、下記（９）式で表される関係がある。
【００７３】
【数４】
【００７４】
この（９）式を展開し、定数λを消去すると、２つの連立方程式が得られる。従って、物体識別タグ３の５つの識別点Ｐ０〜Ｐ４のうちの４つの識別点Ｐ０、Ｐ１、Ｐ２及びＰ４の座標を得られた連立方程式に代入することにより、合計８つの制約式が得られる。行列Ｍの自由度は８であるから、これら８つの制約式を使って、全ての要素ｍｉｊ（ｉ＝１〜３、ｊ＝１〜３、但しｍ３３は除く）を求めることができる。
【００７５】
こうして得られた変換行列Ｍを使うことにより、空間Ａ及びＢの中の点を相互に射影変換することかできる。すなわち、実平面Ａにおける座標（ｘＡ，ｙＡ）の点は、画像データＢで座標（ｘＢ，ｙＢ）の点に対応する。逆に、画像データＢにおける座標（ｘＢ，ｙＢ）の点は、実平面Ａで座標（ｘＡ，ｙＡ）の点に対応する。双方の座標は上記（１１）式で算出することができる。
【００７６】
ここでは、Ａを物体識別タグ３と同一平面上にある実平面としたが、これに限らず、画像データＡとしてもよい。２つの画像データＡ及びＢに同一の物体識別タグが含まれている場合、上記のようにして双方のタグ座標系の間で変換行列を算出することができるので、複数の写真を同一の視点から撮影したように補正したり、繋ぎ合わせたりすることができるようになる。
【００７７】
この第２の実施形態によれば、ディジタルカメラ４で撮影した画像データに物体識別タグ３と同一平面上の物体像が含まれている場合に、この画像データを表示装置５ａに表示することにより、物体識別タグ３の識別点Ｐ０、Ｐ１及びＰ４に基づいてタグ座標系を認識し、このタグ座標系と予め記憶されている該当する物体識別タグ３の実測値とに基づいて画像データに含まれる所望の物体画像の実際の位置座標（ｘP,ｙP）を算出することができ、ディジタルカメラ４で撮影した画像データから実際の物体識別タグ３に対する任意物体の位置座標を正確に算出することができる。
【００７８】
この場合、ディジタルカメラ４で撮影した画像データに複数の物体が含まれていたときには、これら複数の物体の位置座標を算出することにより、物体間の相互の位置関係を正確に把握することができる。
なお、ここでは、物体の画像をマウスでクリックして指示する方式について説明したが、それに止まらない。例えば、別の特徴点抽出手段（エッジ検出や頂点抽出など）で対象物体の画像における位置を自動検出するようにしてもよい。
【００７９】
また、本発明に係る画像識別用タグ及び画像識別システムでは、テンプレートマッチング処理として「方向符号法」を用いており、また物体識別タグ３の識別点の円形のパターンの輝度が中心から３６０度全ての方向に対して同じように変化するという特徴は変わらない。このため、例えば、物体識別用タグ３をカメラ４で撮像する際に、照明変動が起きて物体識別用タグ３上に影が発生したり、充分な光量が得られずに暗がりでの撮像だったりしたとしても、撮像された対象画像データＤに基づく抽出方向符号ＥＤが参照用方向符号ＲＤと同じであることに変わりはないので、識別点抽出部２１３の処理は影響を受けない。
【００８０】
このように、物体識別タグ３は、輝度が中心点Oから３６０度全ての方向に対して同じように変化する円形のパターンを持たせているので、この物体識別タグ３をカメラ４で撮像する際の状況が変化しても影響を受けない。
このため、テンプレートマッチングの際に、１つのテンプレート（参照用方向符号ＲＤ）を用意することでカメラ２での撮像状況に広く対応でき、計算コストを削減して画像識別処理を高速化できるという効果が得られる。
【００８１】
また、上記記載の理由により、物体識別タグ３とカメラ４との位置関係及び撮像状況に制約を受けずに物体識別タグ３を識別できるという効果が得られる。
次に、本発明の第３の実施形態を図１３及び図１４について説明する。
この第３の実施形態は、ディジタルカメラ４で撮影した画像データからディジタルカメラ４と物体識別タグ３との距離及び物体識別タグ３の３次元姿勢を演算するようにしたものである。
【００８２】
すなわち、第３の実施形態では、情報処理装置５で、図１３に示すタグ距離及び姿勢演算処理を実行する。
このタグ距離及び姿勢演算処理は、図１３に示すように、先ず、ステップＳ４１で、上記第３の実施形態と同様に物体識別タグ３の幾何学的不変量Ｉ1及びＩ2を算出し、これを整数化して識別コードＩ１及びＩ２を算出する。
【００８３】
次いで、ステップＳ４２に移行して、識別コードＩ１及びＩ２に基づいて、記憶テーブルを参照して、該当する実際の物体識別タグ３の幅Ｗ及び高さＨ及びパラメータ｛ｙ１，ｘ２，ｙ３，ｘ４｝の実際の値を読込み、次いでステップＳ４３に移行して、各識別点Ｐ０〜Ｐ４の実際の座標（ｘi，ｙi）（ｉ＝０〜４）を算出する。
次いで、ステップＳ４４に移行して、下記（１０）式に各識別点Ｐ０〜Ｐ４の実際の座標（ｘi，ｙi）（ｉ＝０〜４）を代入して、各識別点Ｐ０〜Ｐ４の空間座標（Ｘi，Ｙi）（ｉ＝０〜４）を算出する。
【００８４】
【数５】
【００８５】
ここで、θｘ、θｙ、θｚは夫々ｘ軸、ｙ軸及びｚ軸の回りの物体識別タグ３の回転角である。
次いで、ステップＳ４５に移行して、算出した空間座標（Ｘi，Ｙi）（ｉ＝０〜４）を下記（１１）式に代入することにより、カメラの画像データにおける５つの識別点Ｐ０〜Ｐ４の座標（ｘi′，ｙi′）（ｉ＝０〜４）を算出する。
【００８６】
（ｘi′，ｙi′）＝（Ｘi，Ｙi）／ｄ …………（１１）
ここで、ｄはディジタルカメラ４と物体識別タグ３との距離である。
算出した座標（ｘi′，ｙi′）は、｛ｄ、θＸ、θＹ、θＺ｝をパラメータとしたものとなる。
次いで、ステップＳ４６に移行して、下記（１２）式で表される評価関数Ｓを定義し、この評価関数Ｓが最小値となるときの最適解｛ｄ，θＸ，θＹ，θＺ｝を例えば準ニュートン法を使用して算出することにより、ディジタルカメラ４と物体識別タグ３との実際の距離ｄと姿勢｛θＸ，θＹ，θＺ｝を算出することができる。
【００８７】
【数６】
【００８８】
この図１３の処理において、ステップＳ４１の処理が幾何学的不変量算出手段に対応し、ステップＳ４３〜４５の処理が識別点実座標抽出手段に対応し、ステップＳ４６の処理が物体位置検出手段に対応している。
この第３の実施形態によると、図１４に示すように、物体識別タグ３がディジタルカメラ４を原点（０，０，０）とする空間座標系に置かれているものとし、物体識別タグ３の原点Ｐ０がディジタルカメラ４の正面にあるものとして、ディジタルカメラ４から物体識別タグ３までの距離をＺ＝ｄとする。また、物体識別タグ３はＸ軸、Ｙ軸及びＺ軸の回りに夫々θＸ，θＹ及びθＺずつ回転しているものとする。
【００８９】
このときの物体識別タグ３上の点（ｘ，ｙ）をＺ＝ｄの平面ＰＬに正射影したときの座標（Ｘ，Ｙ）は前述した（１０）式で算出することができる。
また、この点（Ｘ，Ｙ）のカメラ画像における座標（ｘ′，ｙ′）は、一般性を失うことなく簡単のためカメラの焦点距離を“１”とし、また物体識別タグ３までの距離ｄは物体識別タグ３のサイズに比べて十分に大きいものとすると、座標（ｘ′，ｙ′）は、前記（１１）式で表すことができる。
【００９０】
そして、物体識別タグ３上の識別点Ｐ０〜Ｐ４の座標（ｘi，ｙi）（ｉ＝０〜４）は、該当する物体識別タグ３の関連情報｛Ｗ，Ｈ，ｙ１，ｘ２，ｙ３，ｘ４｝から分かるので、これらを前記（１０）式に代入することにより、識別点Ｐ０〜Ｐ４の空間座標（Ｘi，Ｙi）（ｉ＝０〜４）を算出することができる。
これら空間座標（Ｘi，Ｙi）（ｉ＝０〜４）を前記（１１）式に代入することにより、カメラ画像における識別点Ｐ０〜Ｐ４の座標（ｘi′，ｙi′）（ｉ＝０〜４）を求めることができ、この座標（ｘi′，ｙi′）は｛ｄ，θＸ，θＹ，θＺ｝をパラメータとしたものとなる。
【００９１】
一方、カメラ画像における識別点Ｐ０〜Ｐ４の座標（ｘi″，ｙi″）（ｉ＝０〜４）は実測されており、上記（１０）式及び（１１）式で算出された座標（ｘi′，ｙi′）（ｉ＝０〜４）と、実測された座標（ｘi″，ｙi″）（ｉ＝０〜４）とは一致するはずである。
そこで、前記（１２）式で表される評価関数Ｓを定義し、この評価関数Ｓが最小値をとるときの最適解｛Ｄ，θＸ，θＹ，θＺ｝を例えは準ニュートン法を使用して算出すれば、物体識別タグ３の実際の距離Ｄと姿勢｛θＸ，θＹ，θＺ｝を正確に算出することができる。
【００９２】
このように、上記第３の実施形態によると、物体識別タグ３の識別コードＩ１及びＩ２を使用して、識別点Ｐ０〜Ｐ４の設計配置を実座標で関連情報として記憶しておくことにより、物体識別タグ３をディジタルカメラ４で撮影したときの撮影データから物体識別タグ３までの距離ｄと物体識別タグ３の姿勢｛θＸ，θＹ，θＺ｝を正確に算出することができる。
【００９３】
なお、上記第１〜第３の実施形態においては、物体識別タグ３の識別点Ｐ０〜Ｐ４を抽出する際に、所定サイズの画像データＤの全領域に対して所定サイズの部分画像ＰＧを１画素毎に順次移動させることにより、識別点Ｐ０〜Ｐ４を抽出する場合について説明したが、これに限定されるものではなく、方向符号比較部３４によるテンプレートマッチング処理に先立ち、画像データＤの隣接する画素毎に方向符号の所定の範囲における連続性の有無（隣接する画素の方向符号の差ｄが所定範囲内であるか否か）を調査して、方向符号の連続性がある画素をグループ化し、各グループから予め定めた選出基準によって図１６に示すようにマスクを選出して、選出したマスクに属する画素についてのみ部分画像ＰＧによる識別点Ｐ０〜Ｐ４の抽出を行うことにより、画像識別の処理時間を短縮することができる。ここで、識別点Ｐ０〜Ｐ４には、輝度が中心点から３６０度全ての方向に対して同じように変化する円形のパターンを持たせているので、その画像から生成される方向符号は連続した値をとるので、各識別点Ｐ０〜Ｐ４は、上記のグルーピング処理によって、一つのグループＧ、すなわちマスクとして抽出される。なお、選出基準としては、例えば、グループＧの占める面積、真円度等が挙げられる。さらに、図１７に示すように、マスクの上下左右の各端部における座標に基づいてマスクの中心点を求め、この中心点近傍でのみ部分画像ＰＧによる識別点抽出処理を行うことにより、さらに画像処理時間を短縮することができる。
【００９４】
また、テンプレートとして、図１８に示すように、３２画素×３２画素のテンプレート（タグ方向符号記憶部３３）があり、方向符号を０〜１５とすると、中心点Ｑを挟んで、その左半分には方向符号８（左向き）が、右半分には方向符号０（右向き）が以下のように並ぶ。ここでは、中心点Ｑの方向符号は０としておく。
例： ・・・８８８Ｑ０００・・・
この方向符号の列を水平方向部分テンプレート（列状特徴情報）として、前述した図８の参照用方向符号ＲＤとして方向符号記憶部３３に記憶しておくと共に、画像データＤに対する抽出方向符号から長さ３２画素の列状の部分画像ＰＧを比較情報として部分画像抽出部３１により順次抽出し、これを方向符号比較部３４にてタグ方向符号３３と比較し、相互に一致又は近似した比較情報を選択することで、識別点座標演算部３５により画像データＤの中から識別点Ｐ０〜Ｐ４の位置座標を検出するようにしてもよい。
【００９５】
この場合には、画像データＤの画像サイズがＬ×Ｍ（６４０×４８０）である場合に、Ｎ×Ｎ（Ｎ＝３２）のテンプレート画像サイズから、照合する画素の延べ数はＬ×Ｍ×Ｎ×Ｎ（約３×１０8）となるが、テンプレート画像サイズが、Ｎ×１（Ｎ＝３２）となるので、列状特徴情報を用いて比較を行った場合に照合する画素の延べ数はＬ×Ｍ×Ｎ（約１×１０7）となり、Ｎ（Ｎ＝３２）倍の高速化ができる。即ち、特徴情報及び比較情報の一度に比較する情報量をそれぞれ減らすことにより、高速化を図ることができる。
【００９６】
さらには、図１９（ａ）に示すように、上述したように水平方向部分テンプレートＨＴを使用して、これと一致又は近似する画像領域を抽出し、抽出した画像領域について再度垂直方向部分テンプレートＶＴを使用して比較処理することにより、２回の比較処理を行うことにより、誤検出を防止することができる。この場合には、図１９（ｂ）に示すように、最初に垂直方向部分テンプレートＶＴを使用し、次に水平方向テンプレートＨＴを使用するようにしてもよい。
【００９７】
このようにして識別点Ｐ０〜Ｐ４を検出することで、水平方向に対して比較をしてから、さらに垂直方向へ比較した場合の延べ数は、Ｌ×Ｍ×Ｎ＋Ｎ×ｋとなる。ここで言うｋとは、水平又は垂直方向でマッチしてから、さらに垂直又は水平方向の比較をした件数であり、ｋ＜＜Ｌ×Ｍの関係である。すなわち、水平又は垂直方向部分テンプレートによる比較処理を行うことで上記第１の実施の形態と比較してＮ倍の高速化ができる他、水平（又は垂直）方向への比較を行った後に、さらに垂直（又は水平）方向への比較を行う場合には、誤検出を減らすと共に、ほぼＮ倍の高速化ができるということになる。
【００９８】
さらに、図１９（ｃ）に示すように、水平方向部分テンプレートＨＴによる比較処理を行ってから、数列の垂直方向部分テンプレートからなる面状テンプレート（面状特徴情報）ＦＴと水平方向部分テンプレートＨＴのマッチした部分画像ＰＧの中心点を中心とする面状テンプレートと同じ大きさの画像領域を持つ画像データＤから抽出された部分画像ＰＧとの比較処理を順次行うようにしてもよく、図１９（ｄ）に示すように、上記面状テンプレートＦＴより小さい画素数の小面状テンプレートＳＦＴによる比較処理を行ってから、小面状テンプレートＳＦＴとマッチした小面状テンプレートＳＦＴの中心点を中心とする面状テンプレートＦＴと同じ大きさの画像領域をもつ画像データＤから抽出された部分画像ＰＧと面状テンプレートＦＴと比較処理するようにしてもよい。
【００９９】
このように、少ない情報量を持つテンプレートの１つとこれに対応する画像データＤの部分画像ＰＧとを比較し、この比較結果に基づいて実際の識別点Ｐ０〜Ｐ４の検出範囲を絞り込んでから、他の、例えば、同等の情報量又はより情報量の多いテンプレートで更なる比較を行えば、高速化と誤検出防止とを両立できるということになる。
なお、上記各実施形態においては、物体識別タグ３の識別点Ｐ０〜Ｐ５として全ての半径方向について輝度が変化するようにグラデーションを施した場合について説明したが、これに限定されるものではなく、中心から２方向、３方向、４方向等の任意数の方向に輝度を変化させるようにしてもよい。
【図面の簡単な説明】
【０１００】
【図１】本発明に斯かる物体識別システムの第１の実施形態を示すシステム構成図である。
【図２】物体識別タグを示す正面図である。
【図３】物体識別タグの識別点の中心点から離れるに従って輝度が減少するパターン及び増加するパターンの一例を示す図である。
【図４】識別点の輝度及び中心点からの距離の関係の一例を示すグラデーション特性線図である。
【図５】識別点の輝度及び中心点からの距離との関係の一例を示すグラデーション特性線図である。
【図６】情報処理装置で実行する識別点配置パターン決定処理手順の一例を示すフローチャートである。
【図７】情報処理装置における物体識別タグ識別機能を示す機能ブロック図である。
【図８】図７の識別点抽出部の具体例を示す機能ブロック図である。
【図９】方向符号の生成を説明するための概略図の一例である。
【図１０】画像データ及び部分画像を示す説明図である。
【図１１】識別点抽出処理の説明に供する説明図である。
【図１２】本発明の第２の実施形態における情報処理装置で実行する物体座標演算処理手順の一例を示すフローチャートである。
【図１３】本発明の第３の実施形態における情報処理装置で実行するタグ距離及び姿勢演算処理手順の一例を示すフローチャートである。
【図１４】第２の実施形態における空間座標系を示す説明図である。
【図１５】第３の実施形態における画像データを示す説明図である。
【図１６】方向符号をグループ化する場合の説明図である。
【図１７】方向符号をグループ化してその中心点を部分画像として設定する場合の説明図である。
【図１８】水平及び垂直方向の方向符号を示す説明図である。
【図１９】テンプレートの組合せを示す説明図である。
【符号の説明】
【０１０１】
１…物体識別システム、２…識別対象物体、３…物体識別タグ、４…ディジタルカメラ、５…情報処理装置、６…ベルトコンベヤ、７…搬送方向転換器、８…識別対象物体先端検出センサ、２１…識別点抽出部、２２…幾何学的不変量算出部、２３…物体識別部、３１…部分画像抽出部、３２…方向符号演算部、３３…方向符号記憶部、３４…方向符号比較部、３５…識別点座標演算部、Ｄ…対象画像データ、ＰＧ…部分画像
【技術分野】
【０００１】
本発明は、空間に存在する認識対象物体を画像処理によって認識するときにその認識対象物体に付される物体識別タグ及びこれを使用した物体識別システムに関する。
【背景技術】
【０００２】
空間に存在する様々な認識対象物体に対して、様々な処理をコンピュータ等の処理装置で行うためには、認識対象物体の位置(空間座標)、距離や姿勢(方向ベクトル)、種別などを認識する必要がある。
認識対象物体の位置を検出するためには、人為的な目印を用いることなく認識対象物体をディジタルカメラ等の撮像手段で撮像し、その撮像データから画像処理によって特徴点を抽出して位置や姿勢を検出することが考えられるが、この場合には、高度な画像処理が必要となるため、処理時間が掛かると共に、認識結果が安定しないなどの未解決の課題がある。
【０００３】
上記未解決の課題を解決するために、認識対象物体に、例えば特定パターンを目印として貼付しておき、この認識対象物体をディジタルカメラ等の撮像手段で撮像し、撮像した画像データの中から特定パターンを探索して認識対象物体の位置を検出する手法が採用されている。この手法によると、撮像手段を基準にした座標系における認識対象物体の座標を求めることができるが、撮像手段と認識対象物体との距離を検出することはできない。
【０００４】
このため、撮像手段と認識対象物体との距離を計測するために、例えば２台のカメラで撮影して三角測量の原理を用いて距離を計測したり、焦点を移動させて画像が鮮明になる焦点位置から距離を計測したりするなどの手法が採用されている。この場合には、余分なカメラや焦点移動機構が必要となり、コストが嵩むという新たな課題が生じる。また、超音波やレーザ光の反射時間をもとにして認識対象物体までの距離を計測する方法もあるが、夫々計測精度が低い、乃至は人体に有害である等の問題点がある。
【０００５】
さらに、認識対象物体の種別を認識するためには、例えばバーコードや非接触式無線タグ（ＲＦＩＤ）を認識対象物体に貼付しておき、読取機器で識別コードを読取るようにした手法が採用されている。あるいは、認識対象物体に印刷された文字情報をディジタルカメラ等の撮像手段で撮像し、その撮像データを文字認識手段で文字認識することにより、種別を認識する手法が採用されている。しかしながら、何れの場合にも、認識対象物体の種別を認識するには、読取機器や撮像手段を認識対象物体に近接させて識別コードを読取るか文字情報を撮像する必要があり、遠方に存在する認識対象物体や広範囲に散らばった認識対象物体を識別する場合には適用することができないという未解決の課題がある。
【０００６】
さらに、全体的な課題として、上記の認識技術が相互に連携していないことが挙げられる。例えば、認識対象物体の位置と姿勢を検出して適切な箇所をロボットアームで把持し、種別に応じた場所に搬送するような処理を想定すると、幾つもの手法をつなぎ合わせて使用せざるを得ず、システム構成が複雑となるという未解決の課題がある。
このような未解決の課題を解決するために、８角形のプレート上に５つの黒点を配置したタグを設け、このタグをディジタルカメラで撮影し、その画像データからプレートを貼り付けた物体の種別、位置、姿勢を同時に認識するようにした幾何学的不変量に基づく固定標識を用いた作業者情報支援の研究が行われている（例えば、非特許文献１参照）。
【０００７】
ここで、幾何学的不変量は，例えば平面上の５点（Ｐ０〜０４）がどの３点も同一の直線上にない場合、以下のような２つの幾何学的不変量が存在することが知られている（例えば、非特許文献２参照）。
【０００８】
【数１】
【０００９】
この５点の載った平面をカメラで撮影する際、一般に射影変換による幾何学的な歪が発生する。例えばカメラの向きが回転したり、平面との距離が変化したりするとカメラで撮影した画像データは変化する。また、カメラの傾きによっては、長方形が平行四辺形に写る（直角が保存されない）、あるいは長方形が台形に写る（平行性が保存されない）といったことが発生する。ところが、カメラ画像の中の５点の座標から上記（１）式で計算される２つの値Ｉ1，Ｉ2は、上述した射影変換による幾何学的な歪があっても不変である。このような性質を持つ幾何学的不変量は、画像認識するための特徴量として利用されることがある。
【００１０】
すなわち、物体のＩＤコードを認識するための固体標識となるＩＤマーカを幾何学的不変量に基づいて生成するＩＤマーカ生成手段と、任意の視点から撮影して得られる前記ＩＤマーカが貼付された物体の画像を画像入力装置により取込み、その画像に対して画像処理を行ってＩＤマーカの領域を抽出するＩＤマーカ領域抽出手段と、ＩＤマーカ領域の画像から複数の特徴点の位置を抽出する特徴点位置抽出手段と、複数の特徴点の位置から少なくとも１つの幾何学的不変量を算出する幾何学的不変量算出手段と、幾何学的不変量と対応付けられる物体のＩＤコードを、予め幾何学的不変量と物体ＩＤコードとを対応付けて格納しているデータベースから選出するＩＤコード認識手段とを有する物体ＩＤコード認識装置が知られている（例えば、特許文献１参照）。
【非特許文献１】伊藤俊樹、“幾何学的不変量に基づく固体標識を用いた作業者支援の研究”、大阪大学大学院 工学研究科 電子制御機械工学専攻 平成１２年度修士論文、http://www-cape.mech.eng.osaka-u.ac.jp/ccm06adm/oldboys/2000/ito.pdf
【非特許文献２】杉本晃宏「物体の見え方によらない情報の抽出」情報処理願学会誌１９９６年１２月Ｖｏｌ．３７ Ｎｏ．１２ 第１１２５頁〜第１１３１頁
【特許文献１】特開２００４−１９２３４２号公報（第１頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記非特許文献１に記載されている従来例にあっては、物体の種別、距離及び姿勢を同時に認識するという優れた機能を持ったタグであるが、カメラ画像データの中から、タグを見つけ出すために、タグにその環境ではまれな色彩を施しているため、使用環境毎に、色彩を調整する必要があり、種々の環境でタグを使用する場合には、必ずしも安定してタグを検出ことができないという未解決の課題がある。
【００１２】
また、タグが直径約５ｃｍと小さいので、空間全体のカメラ画像データの中からタグを見つけると、カメラをズームして５つの点の鮮明な画像を取得する必要があり、当然ズームに先立って、カメラの方向（パン、チルト）を制御しなければならず、カメラ及びその制御系のコストが嵩むと共に、処理時間も長くなるという未解決の課題がある。
さらに、幾何学的不変量を計算する上で、黒点の座標を正確に計測する必要があり、カメラ画像データの中で一定の閾値以下の輝度を持った部分を黒点として認識し、その重心の座標を採用するようにしているため、一般に知られているように、カメラ画像データの輝度は照明条件によって大きく変動するため、黒点の検出が必ずしも安定せず、座標の計測精度に悪影響を及ぼすという未解決の課題がある。
【００１３】
さらにまた、５つの黒点を使用したタグでは、個々の物体の認識には優れているが、物体相互の位置関係を把握しようとすると、各々のタグの位置や姿勢から再計算が必要となるという未解決の課題がある。
また、特許文献１に記載された従来例にあっては、７×７の正方形枡目に５色の特徴点と５つの黒色特徴点との２組の特徴点を形成したＩＤマーカを生成し、このＩＤマーカを物体に貼付して、物体ＩＤコード認識装置によってカメラ等により撮像された物体の画像を取込み、その画像情報をフーリエ変換を施して空間周波数に変換した後、物体ＩＤマーカ領域の背景画像の空間周波数データとの相似形又は一致形をパターンマッチングにより抽出してから各特徴点位置を抽出するようにしているので、特徴点の抽出処理が複雑となるという未解決の課題がある。また、ＩＤマーカの内部を文字や図形の配置等の他の用途に利用することができないという未解決の課題がある。
【００１４】
そこで、本発明は、上記従来例の未解決の課題に着目してなされたものであり、物体識別タグの抽出を固定焦点の撮像装置で容易に行うことができると共に、物体識別タグの内側領域に任意の文字や図形を配置することができる物体識別タグ及び物体識別システムを提供することを目的としている。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、請求項１に係る物体識別タグは、平面上に形成した四角形領域の各辺上に特定の幾何学的不変量を表す５つの識別点を配置したことを特徴としている。
また、請求項２に係る物体識別タグは、請求項１に係る発明において、前記四角形領域の各辺には等分割した目盛りが形成され、形成された目盛り上に前記識別点が配置されていることを特徴としている。
【００１６】
さらに、請求項３に係る物体識別タグは、請求項１又は２に係る発明において、前記識別点は四角形領域の各辺上で移動可能に配置されていることを特徴としている。
さらにまた、請求項４に係る物体識別タグは、請求項１乃至３の何れか１つの発明において、前記各識別点は、円形の中心点を起点として半径方向に沿った輝度変化パターンが、全半径方向で同一であることを特徴としている。
【００１７】
なおさらに、請求項５に係る物体識別タグは、請求項４に係る発明において、前記輝度変化パターンは、前記中心点から離れるに従って徐々に輝度が低くなる減少パターン及び徐々に輝度が高くなる増加パターンの何れか一方であることを特徴としている。
また、請求項６に係る物体識別タグは、請求項１乃至５の何れか１つの発明において、前記５つの識別点は、当該５つの識別点から算出される幾何学的不変量の値が重複しないように配置パターンが設定されていることを特徴としている。
【００１８】
さらに、請求項７に係る物体識別タグは、請求項６に係る発明において、前記配置パターンは、５つの識別点の座標計測誤差を考慮して算出される幾何学的不変量の値が重複しないように設定されていることを特徴としている。
さらにまた、請求項８に係る物体識別システムは、認識対象物体に付した請求項１乃至請求項７の何れか１項に記載された物体識別タグと、該物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段とを備えたことを特徴としている。
【００１９】
なおさらに、請求項９に係る物体識別システムは、認識対象物体に付した請求項１乃至請求項７の何れか１項に記載された物体識別タグと、該物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記物体識別タグを識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量演算手段で演算した幾何学的不変量に基づいて当該幾何学的不変量に関連付けられた情報を検索する情報検索手段とを備えたことを特徴としている。
【００２０】
また、請求項１０に係る物体識別システムは、認識対象物体に付した請求項１乃至請求項７の何れか１項に記載された物体識別タグと、該物体識別タグの各識別点の実座標を記憶する識別点座標記憶手段と、前記物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記識別点を識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点座標に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量演算手段で演算した幾何学的不変量に基づいて前記識別点座標記憶手段から該当物体識別タグの識別点実座標を抽出する識別点実座標抽出手段と、該識別点実座標抽出手段で抽出した識別点実座標と前記識別点識別手段で算出した識別点座標とに基づいて前記物体識別タグの実空間における位置及び姿勢、並びに物体識別タグと同一平面上にある任意の物体の位置の内少なくとも１つを検出する物体位置検出手段とを備えていることを特徴としている。
【００２１】
さらに、請求項１１に係る物体識別システムは、請求項８乃至１０の何れか１つの発明において、前記識別点識別手段は、前記識別点を識別可能な特徴情報を記憶しており、前記画像データから前記特徴情報と比較可能な比較情報を取得し、取得した比較情報と前記特徴情報とを比較し、当該比較結果に基づいて前記識別点を識別するように構成されていることを特徴としている。
【００２２】
さらにまた、請求項１２に係る物体識別システムは、請求項１１に係る発明において、前記特徴情報及び前記比較情報は、画素毎の輝度の最大増加方向及び最大減少方向の何れか一方を表す方向符号であることを特徴としている。
なおさらに、請求項１３に係る物体識別システムは、請求項８乃至１２の何れか１つの発明において、前記幾何学的不変量演算手段は、複数の幾何学的不変量を算出し、各々の所定の単位量で除して量子化し整数値の識別コードに変換するように構成されていることを特徴としている。
【発明の効果】
【００２３】
本発明に係る物体識別タグによれば、従来のタグとは異なり、四角形領域の各辺に５つの識別点が配置されているので、固定焦点カメラで物体識別タグを撮影しても物体識別タグを容易に識別することができると共に、四角形領域内に任意の文字や画像等を配置することができ、四角形領域内を他の用途に使用することができるという効果が得られる。
また、本発明に係る物体識別システムによれば、上記物体識別タグを容易に識別することができると共に、物体識別タグの識別点に基づく座標系を認識して、物体識別タグを撮影した画像データからこの画像データに含まれるタグ以外の物体の位置座標を容易に算出することができるという効果が得られる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明に係る物体識別システムにおける第１の実施形態の構成を示すシステム構成図である。
図中、１は物体識別システムであって、識別対象物体２に貼付又は印刷された物体識別タグ３を撮影する撮像手段としてのディジタルカメラ４と、このディジタルカメラ４で撮影した画像データが入力され、この画像データに基づいて識別対象物体２を識別する情報処理装置５とを備えている。
【００２５】
識別対象物体２は、例えば内部に品物を収容した箱体で構成され、その少なくとも１側面に物体識別タグ３が貼付又は印刷され、この物体識別タグ３がディジタルカメラ４の視野範囲内に入るようにベルトコンベヤ６によって搬送される。そして、物体識別タグ３によって指示される送付先に従い情報処理装置５が制御する搬送方向転換器７によって搬送方向が選択される。
【００２６】
物体識別タグ３は、図２に示すように、ラベル３ａの表面に四角形領域３ｂが形成され、この四角形領域３ｂの各辺に例えば１６等分した目盛り３ｃが形成され、この目盛り３ｃ上に中心点を有する５つの識別点Ｐ０〜Ｐ４が形成されている。
四角形領域３ｂは、高さをＨ、幅をＷとし、その左上の頂点を原点（０，０）とし、右方向をｘ軸、下方向をｙ軸とする座標系を考えたとき、識別点Ｐ０は原点（０，０）に固定し、他の４つの識別点Ｐ１〜Ｐ４は各辺上の任意の位置に配置されている。なお、３点が同一直線上に並ぶことを避けるために、例えば原点に置いた識別点Ｐ０以外の４つの識別点は頂点には配置しないようにする。ここで、識別点Ｐ０以外の４つの識別点を、５つの識別点の重心から見て識別点Ｐ０から反時計回りの順に各識別点をＰ１、Ｐ２、Ｐ３及びＰ４とする。
【００２７】
そして、識別点Ｐ０は他の識別点Ｐ１〜Ｐ４と区別するために大きな直径（例えば２０ｍｍ）に設定され、他の識別点Ｐ１〜Ｐ４は小さな直径（例えは１５ｍｍ）に設定されている。
このため、識別点Ｐ１の座標は（０，ｙ１）で表され、識別点Ｐ２の座標は（ｘ２，Ｈ）、識別点Ｐ３の座標は（Ｗ，ｙ３）及び識別点Ｐ４の座標は（ｘ４，０）に設定される。ここで、ｙ１及びｙ３はＨ／１６〜１５Ｈ／１６の範囲をとることができ、ｘ２及びｘ４はＷ／１６〜１５Ｗ／１６の範囲をとることができる。したがって、５つの識別点Ｐ０〜Ｐ４の配置パターンは１５4＝５０６２５通りとなる。
【００２８】
また、各識別点Ｐ０〜Ｐ４は、図３に示すように、外周が円形に形成され、その中心点Ｏを起点として、半径方向に沿った輝度変化パターンが全半径方向で同一となるように設定されている。なお、輝度変化パターンは、狭義の単調減少又は単調増加のパターンであればどのような変化パターンでも構わない。図３（ａ）の例であれば、図４（ａ）に示すように輝度値が直線的に減少するパターンであり、図３（ｂ）の例であれば、図４（ｂ）に示すように輝度値が直線的に増加するパターンである。その他、減少するパターンとしては、接線の傾きが負となって連続的に減少する曲線となればよく、図５（ａ）に示すように上に凸の曲線でもいいし、同（ｂ）に示すように下に凸の曲線でもいいし、同（ｃ）に示すようなＳ字曲線でもいいし、同（ｄ）に示すようなＳ字を二つ合わせたような曲線でもいい。増加パターンの場合も同様に接線の傾きが正となって連続的に増加する種々のパターンが採用可能である。
【００２９】
上記構成を有する物体識別タグ３について、各識別点の座標を前記（１）式に代入することにより、識別点Ｐ０を原点とした２つの幾何学的不変量Ｉ1及びＩ2は、辺の長さで正規化した座標を用いて以下のように算出される。
【００３０】
【数２】
【００３１】
ここで、Ｘi＝ｘi／Ｗ，Ｙj＝ｙj／Ｈであり、Ｗは四角形領域３ｂの幅、Ｈは四角形領域３ｂの高さである。また、Ｘi及びＹjは夫々幅及び高さの辺に付けた目盛りの番号（１〜１５）を等分数（＝１６）で除した値である。
これら（２）式に示すように、幾何学的不変量Ｉ1及びＩ2は四角形領域の辺の長さに依存しないので、物体識別タグ３の縦横のサイズを自由に設定することができるという効果が得られる。また、幾何学的不変量Ｉ1及びＩ2は長さの単位に依存しないので、｛ｘi，ｙi｝（ｉ＝０〜４）は目盛りの番号（０〜１６）としてもよいし、或いは実測長（例えばｍｍ単位）の値としてもよい。さらに、目盛りを付けることにより、５つの識別点Ｐ０〜Ｐ４の配置を誤差なく指定することができるという効果が得られる。
【００３２】
上記構成を有する物体識別タグ３を空間の任意の位置に置き、ディジタルカメラ４で撮影することにより、画像データにおける５点の座標（ｘi，ｙi）（ｉ＝０〜４）を得ることができる。そして、最も大きな直径の識別点をＰ０とし、５つの識別点の重心からみて反時計回りの順に識別点をＰ１、Ｐ２、Ｐ３及びＰ４とすることにより、これらの識別点の座標を前記（１）式に代入することにより、幾何学的不変量Ｉ1及びＩ2を算出すると、算出した幾何学的不変量Ｉ1及びＩ2は物体識別タグ３の３次元位置に関わらず同一の値となる。
【００３３】
そして、算出した幾何学的不変量Ｉ1及びＩ2は実数値として得られるので、所定の単位量Ｉ1＿ｕｎｉｔ及びＩ2＿ｕｎｉｔを使って下記（３）式及び（４）式の演算を行うことにより、量子化し整数値の識別コードに変換する。
Ｉ１＝ＩＮＴ〔Ｉ1／Ｉ1＿ｕｎｉｔ〕 …………（３）
Ｉ２＝ＩＮＴ〔Ｉ2／Ｉ2＿ｕｎｉｔ〕 …………（４）
ただし、ＩＮＴ〔 〕は大括弧内の実数の小数点以下を切り捨てて整数化する関数である。
【００３４】
このように、５つの識別点Ｐ０〜Ｐ４の配置パターン毎に識別コードＩ１及びＩ２を算出することができるものであるが、上記（３）式及び（４）式で整数化していることから、同一の識別コードＩ１及びＩ２を表す識別点の配置パターンが１つとは限らないと共に、撮影した画像データから識別点の座標を読取る際に読取り誤差を生じることから、確実に識別可能な配置パターンは前記５０６２５通りの一部に限定される。
【００３５】
このため、使用可能な配置パターンを決定するために、予め例えば情報処理装置５を使用して、図６に示す識別点配置パターン決定処理を実行する。
なお、前述したように幾何学的不変量Ｉ1及びＩ2は長さの単位に依存しないので、ここでは、｛ｘi，ｙi｝（ｉ＝０〜４）は目盛りの番号（０〜１６）として説明する。
この識別点配置パターン決定処理は、図６に示すように、先ず、ステップＳ１で、座標ｘ0，ｙ0，ｘ1，ｙ4を全て“０”に、座標ｙ2をＨ（＝１６）に、そして座標ｘ3をＷ（＝１６）に、また座標ｙ1、ｘ2、ｙ3及びｘ4を全て“１”とする初期化を行う。
【００３６】
次いで、ステップＳ２に移行して、座標（ｘ0，ｙ0）〜（ｘ4〜ｙ4）を前述した（１）式に代入して、幾何学的不変量Ｉ1及びＩ2を算出すると共に、算出した幾何学不変量Ｉ1及びＩ2を前記（３）式及び（４）式に従って整数化して識別コードＩ１及びＩ２を算出する。
次いで、ステップＳ３に移行して、４つのパラメータｙ1、ｘ2、ｙ3及びｘ4と、固定座標ｘ0，ｙ0，ｘ1，ｙ2，ｘ3，ｙ4の各々について許容誤差εを加減算した許容値の全ての組み合わせの２10通りについて前記（１）式，（３）式及び（４）式の演算を行って識別コードＩ１及びＩ２を算出し、各々の最小値Ｉ１MIN，Ｉ２MIN及び最大値Ｉ１MAX，Ｉ２MAXを算出する。
【００３７】
次いで、ステップＳ４に移行して、ｙ1、ｘ2、ｙ3、ｘ4、Ｉ１MIN、Ｉ１、Ｉ１MAX、Ｉ２MIN、Ｉ２、Ｉ２MAXの全てを記憶テーブルＴに記憶してからステップＳ５に移行する。
このステップＳ５では、全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝についてＩ１MIN、Ｉ１、Ｉ１MAX、Ｉ２MIN、Ｉ２、Ｉ２MAXの記録が完了したか否かを判定し、記録が完了していない配置パターンが存在する場合にはステップＳ６に移行して、座標ｙ1，ｘ2，ｙ3，ｘ4の何れかを変更（例えば、ｙ1＝１→ｙ1＝２など）して別の配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝を生成してから前記ステップＳ２に戻り、全ての配置パターン｛ｙ1＝１〜１５，ｘ2＝１〜１５，ｙ3＝１〜１５，ｘ4＝１〜１５｝について記憶テーブルＴへの記録が完了したときにはステップＳ７に移行する。
【００３８】
このステップＳ７では、採用する識別コード（Ｉ１，Ｉ２）を記録するための２次元配列Ｉを“０”で初期化し、次いでステップＳ８に移行して、変動幅設定値Ｖを“２”で初期化してからステップＳ９に移行する。
このステップＳ９では、記憶テーブルＴに記憶されている全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について許容誤差εに対する識別コード（Ｉ１，Ｉ２）の変動幅ΔＩを下記（５）式に従って算出する。
【００３９】
ΔＩ＝（Ｉ１MAX−Ｉ１MIN＋１）＋（Ｉ２MAX−Ｉ２MIN＋１） …………（５）
次いでステップＳ１０に移行して、算出した各識別コード（Ｉ１，Ｉ２）の変動幅ΔＩが変動幅設定値Ｖと一致する配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝が存在するか否かを判定し、ΔＩ＝Ｖとなる配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝が存在する場合には、ステップＳ１１に移行して、該当する配列パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝の｛Ｉ１MIN、Ｉ１MAX、Ｉ２MIN、Ｉ２MAX｝を使用して全ての２次元配列Ｉの要素Ｉ〔ｉ１，ｉ２〕（Ｉ１MIN≦ｉ1≦Ｉ１MAX，Ｉ２MIN≦ｉ２≦Ｉ２MAX）が“０”であるか否かを判定し、これらを満足する場合には、ステップＳ１２に移行して、記録テーブルＴの該当する配置パターン｛y1，x2，y3，x4｝に「採用」を記録する。
【００４０】
次いで、ステップＳ１３に移行して、２次元配列Ｉの要素Ｉ〔ｉ１，ｉ２〕（Ｉ１MIN≦ｉ1≦Ｉ１MAX，Ｉ２MIN≦ｉ２≦Ｉ２MAX）の値を使用済みを表す“１”に変更する。
次いで、ステップＳ１４に移行して、記憶テーブルＴの全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について調査が終了したか否かを判定し、全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について調査が終了したときには識別点配置パターン決定処理を終了し、全ての配置パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝について調査が終了していないときには前記ステップＳ１０に戻る。
【００４１】
一方、前記ステップＳ１０の判定結果が、ΔＩ＝Ｖとなる配列パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝が存在しないときには、ステップＳ１５に移行して、変動幅設定値Ｖを“１”だけインクリメントしてから前記ステップＳ１０に戻る。
さらに、前記ステップＳ１１の判定結果が、２次元配列Ｉの要素Ｉ（ｉ１，ｉ２）（Ｉ１MIN≦ｉ1≦Ｉ１MAX，Ｉ２MIN≦ｉ２≦Ｉ２MAX）の何れかが“１”であるときには、ステップＳ１６に移行して、Ｉ１又はＩ２の変動幅ΔＩが使用済みの値に重複していることを意味するので、記録テーブルＴの該当配列パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝に「不採用」を記録してから前記ステップＳ１４に移行する。
【００４２】
そして、上記識別点配置パターン決定処理で「採用」が決定された記録テーブルＴの配列パターン｛ｙ1，ｘ2，ｙ3，ｘ4｝を実際の配列パターンとして使用し、この配列パターンをラベル３ａ表面の四角形領域３ｂに印刷して物体識別タグ３を識別対象物体２に例えば貼付する。
そして、物体識別タグ３を貼付した識別対象物体２がベルトコンベヤ６によって搬送されて少なくとも物体識別タグ３がディジタルカメラ４の視野内に入ると、例えばベルトコンベヤ６を挟んで設置された投光器８ａ及び受光器８ｂで構成される識別対象物体先端検出センサ８で検出され、この識別対象物体先端検出センサ８で検出された検出信号が情報処理装置５に入力されて、この情報処理装置５によってディジタルカメラ４で識別対象物体の撮影を開始させる。そして、ディジタルカメラ４から出力される画像データが情報処理装置５に入力される。
【００４３】
情報処理装置５では、ディジタルカメラ４から画像データが入力されると、物体識別タグ３の識別点を抽出して物体識別タグ３を認識し、認識した物体識別タグ３の幾何学的不変量Ｉ1及びＩ2を算出し、算出した幾何学的不変量Ｉ1及びＩ2を整数化した識別コードＩ１及びＩ２に基づいて識別対象物体２を識別する。
このため、情報処理装置５では、図７に示すように、ディジタルカメラ４から入力される画像データに基づいて識別点を抽出する識別点識別手段としての識別点抽出部２１、この識別点抽出部２１で抽出した識別点に基づいて幾何学的不変量Ｉ1及びＩ2を計算し、識別コードＩ１及びＩ２を算出する幾何学的不変量算出手段としての幾何学的不変量算出部２２と、算出した識別コードＩ１及びＩ２に基づき識別対象物体２を識別する物体識別部２３とを備えている。
【００４４】
識別点抽出部２１は、図８に示すように、ディジタルカメラ４から入力される一画面分の画像データである対象画像データＤから、所定サイズの部分画像ＰＧを順次抽出する部分画像抽出部３１と、抽出した部分画像ＰＧについて抽出方向符号ＥＤを演算する方向符号演算部３２と、識別点Ｐ０〜Ｐ４を識別可能な特徴情報としての参照用方向符号ＲＤを予め記憶した方向符号記憶部３３と、方向符号演算部３２で演算した抽出方向符号ＥＤと、方向符号記憶部３３に記憶されている参照用方向符号ＲＤとを比較して、両者が一致するか否かを判定する方向符号比較部３４と、部分画像抽出部３１の部分画像を１画素毎に移動させながら方向符号比較部３４の比較結果が、抽出方向符号ＥＤが参照用方向符号ＲＤと一致したときに、そのときの部分画像の中心点を識別点Ｐ０〜Ｐ４の中心点として算出する識別点座標演算部３５とで構成されている。
【００４５】
ここで、方向符号とは、例えば、図９に示すように、１画面データの任意の画素ＰＥ０を考えたとき、その画素ＰＥ０に隣接して包囲する八つの画素ＰＥ１〜ＰＥ８の各輝度値と、画素ＰＥ０の輝度値とをそれぞれ比較し、画素ＰＥ０の輝度値からの増加（又は減少）幅が最も大きな方向を符号化してなる情報である。この場合であれば、紙面に向かって、右方向、斜め右上方向、上方向、斜め左上方向、左方向、斜め左下方向、下方向、斜め右下方向の８方向に、例えば０〜７の番号を付すことで符号化してなる情報である。そして、この方向符号０〜７を物体識別タグ３の識別点Ｐ０〜Ｐ４の元データ全体に対して求めてそれを２次元データとして保存したものが、参照用方向符号ＲＤとなる。なお、ここでは画素ＰＥ０に隣接する８つの画素に注目して８方向としたが、これに限定されることはなく、より多くの方向に、例えば周囲８つの画素の配置された方向それぞれの中間方向も含めて細分化し、この場合は各方向に０〜１５の番号を付して、より詳細な符号化を行うようにしてもよい。
【００４６】
また、ここでは参照用方向符号ＲＤを識別点Ｐ０〜Ｐ４の元データから生成する方法を説明したが、これに限定されることなく、所定の大きさの参照用方向符号ＲＤを直接計算して生成するようにしてもよい。このようにして生成した参照用方向符号ＲＤは、識別点の輝度が中心からの半径にのみ依存する場合には、全ての方向符号（上記の例では０〜７）が円周方向に連続して一様に現れ、また同一の半径方向上では全て同一の方向符号となる特徴がある。
【００４７】
そして、識別点抽出部２１の部分画像抽出部３１は、参照用方向符号ＲＤを生成する際に用いた画像サイズと同じ大きさの部分画像ＰＧを抽出するようになっており、方向符号演算部３２は、抽出された部分画像ＰＧに対して参照用方向符号ＲＤを生成する際と同様の手順で演算を行って部分画像ＰＧの方向符号を求めるように構成されている。
ここで、例えば、図１０（ａ）に示すように、画像データＤの画像サイズの大きさを高さ４８０画素、幅６４０画素とし、図１０（ｂ）に示すように、参照用方向符号ＲＤの画像サイズの大きさを高さ及び幅共に３２画素とした例を考える。即ちかかる例の場合、部分画像抽出部３１は、図１０（ａ）に示すように、画像データＤの最上段左端から右端に向かって１画素移動する毎に部分画像ＰＧを順次抽出し、第１行の右端に達したら、１画素分下側の第２行に移り左端から右端に向けて、１画素移動する毎に部分画像ＰＧを順次抽出し、これを順次最終行まで継続してこの部分画像ＰＧを抽出するということになる。
【００４８】
方向符号比較部３４は、参照用方向符号ＲＤと部分画像ＰＧの対応する全ての画素について方向符号の差を集計する。そして、その集計値が０であれば「一致」と判定し、所定の閾値以内であれば「近似している」と判定する。なお、方向符号の差は次のように計算される。例えば、方向を８等分して方向符号０〜７を使う場合で説明する。２つの方向符号Ｄ１とＤ２の差ｄは、下記（６）式で算出することができる。
【００４９】
ｄ＝Ｍｉｎ｛Ｇ，８−Ｇ｝ …………（６）
但し、Ｇ＝｜Ｄ１−Ｄ２｜
すなわち、抽出方向符号ＥＤの符号が“０”で参照用方向符号ＲＤの符号が“０”であるときには、Ｇ＝０となることにより、差ｄが“０”となるが、抽出方向符号ＥＤの符号が“０”で参照用方向符号ＲＤの符号が“１”（又は“７”）であるときには、Ｇ＝１，８−Ｇ＝７（又はＧ＝７，８−Ｇ＝１）となるのでｄ＝１となり、抽出方向符号ＥＤの符号が“０”で参照用方向符号ＲＤの符号が“３”（又は“５”）であるときには、Ｇ＝３，８−Ｇ＝５（又はＧ＝５，８−Ｇ＝３）となるのでｄ＝３となる。
【００５０】
識別点座標演算部３５は、例えば、対象画像データＤの左上を座標の原点（０，０）として方向符号比較部３４の比較結果が“０”であればこのときの部分画像ＰＧの中心点を識別点Ｐ０〜Ｐ４の何れかの中心点として記憶し、比較結果が“０”ではないが所定の閾値以下であるときにもこのときの部分画像ＰＧの中心点座標を識別点Ｐ０〜Ｐ４の何れかの中心点座標（ｘi,ｙi）として記憶すると共に、５つの識別点の中心点座標が検出されたときに、各識別点の輪郭線の直径が一番大きい識別点を識別点Ｐ０として設定し、さらに５つの識別点の重心点を算出し、算出した重心点から見て識別点Ｐ０から反時計回りに順次識別点Ｐ１〜Ｐ４として設定し、設定した識別点Ｐ０〜Ｐ４とその中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）とを幾何学的不変量算出部２２に出力する。
【００５１】
なお、ここでは対象画像データＤから部分画像ＰＧを抽出し、その部分画像ＰＧに対して方向符号を求める方法について説明したが、これに限定されることなく、対象画像データＤ全体に対して方向符号を求めておき、そこから部分画像ＰＧに対応する方向符号を抽出して、方向符号比較部３４に供給するようにしてもよい。
幾何学的不変量算出部２２では、入力された各識別点Ｐ０〜Ｐ４の中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）に基づいて下記（７）及び（８）式の演算を行って幾何学的不変量Ｉ1及びＩ2を算出し、算出した幾何学的不変量Ｉ1及びＩ2を前記（３）式及び（４）式で整数化した値を識別コードＩ１及びＩ２として物体識別部２３に出力する。
【００５２】
【数３】
【００５３】
この物体識別部２３では、幾何学的不変量算出部２２から入力された識別コードＩ１及びＩ２に基づいて予め記憶された識別コードＩ１及びＩ２と、物品名及びその送付先との関係を表す記憶テーブルを参照して物品名及び送付先を抽出し、抽出した送付先に基づいて搬送方向転換器７を制御して送付先に応じた搬送方向を選択する。
【００５４】
次に、上記実施形態の動作を説明する。
今、ベルトコンベヤ６によって識別対象物体２がこれに貼付された物体識別タグ３をディジタルカメラ４の視野範囲内となるように任意の姿勢で載置されて搬送されているものとする。
この状態で、先頭の識別対象物体２の全体がディジタルカメラ４の視野範囲内となり、その先端が識別対象物体先端検出センサ８で検出されると、この先端検出センサ８から出力される先端検出信号が情報処理装置５に入力されることにより、この情報処理装置５でディジタルカメラ４に対してシャッターを作動させるシャッター信号を送出することにより、ディジタルカメラ４で識別対象物体２の対向側面を撮影し、撮影した画像データを情報処理装置５に送信する。
【００５５】
情報処理装置５では、ディジタルカメラ４から画像データが入力されると、この画像データＤを部分画像抽出部３１に供給して、この部分画像抽出部３１で画像データを一時記憶してから画像データＤの原点位置から順次所定サイズの部分画像ＰＧを抽出し、抽出した部分画像ＰＧを方向符号演算部３２に供給する。
この方向符号演算部３２では、部分画像ＰＧに含まれる各画素間の輝度変化に基づいて抽出方向符号ＥＤを算出する。このとき、部分画像ＰＧが物体識別タグ３の識別点Ｐ０〜Ｐ４の何れかの位置に到達していないときには、輝度変化に基づいて算出される方向符号がないか又は文字、図形等が記載されている場合に、文字、図形等に沿って方向符号が生じるが何れにしても識別点Ｐ０〜Ｐ４の中心から各半径方向に順次輝度が連続的に減少又は増加する方向符号パターンは存在しないので、方向符号演算部３２で演算された抽出方向符号ＥＤと予め方向符号記憶部３３に記憶されている正規の物体識別タグ３から算出した参照用方向符号ＲＤとが一致することはなく、前述した（６）式で算出される差ｄの合計値が大きな値となり、識別点Ｐ０〜Ｐ４として認識されることはない。
【００５６】
ところが、識別点Ｐ０〜Ｐ４の何れかが部分画像ＰＧに含まれる状態となり、例えば図１１（ａ）に示すように、抽出される部分画像ＰＧが識別点Ｐ０〜Ｐ４の何れかの中心点を横切る状態となると、部分画像ＰＧに含まれる識別点の方向符号が図１１（ｂ）〜（ｅ）に示すように順次変化することになり、方向符号記憶部２３に記憶されている参照用方向符号が、図１１（ｆ）に示すように、物体識別タグ３の中心部の方向符号であるものとすると、図１１（ｂ）では、方向符号の差ｄの総計が大きく、図１１（ｃ）で方向符号の差ｄの総計が小さくなり、図１１（ｄ）で方向符号の差ｄの総計が所定の閾値以内となる近似している状態となるが、さらに図１１（ｅ）では、参照用方向符号ＲＤと完全に一致することから方向符号の差ｄの総計が“０”となり、この状態における部分画像ＰＧの中心点座標が識別点Ｐ０〜Ｐ４の何れかの中心点座標（ｘi，ｙi）として記憶される。
【００５７】
以上の識別点抽出処理を繰り返すことにより、物体識別タグ３の５つの識別点Ｐ０〜Ｐ４の中心点座標（ｘi，ｙi）を抽出する。
このとき、ディジタルカメラ４に対する識別対象物体２の姿勢が変化して物体識別タグ３がディジタルカメラ４に正対していない場合でも、識別点Ｐ０〜Ｐ４は、３６０度全ての方向に対して同じように変化する円形のパターンを持っているので、識別点抽出部２１の処理は影響を受けることはない。
【００５８】
また、ディジタルカメラ４に対して物体識別タグ３が接近するか又は遠ざかることにより、これによって撮像される識別点Ｐ０〜Ｐ４の円形のパターンが拡大又は縮小しても、輝度が中心から３６０度全ての方向に対して同じように変化するという特徴は変わらず、その抽出方向符号ＥＤが参照用方向符号ＲＤと同じなので識別点Ｐ０〜Ｐ４を正確に識別することができ、識別点抽出部２１の処理は影響を受けることはない。
【００５９】
また、識別点Ｐ０〜Ｐ４とディジタルカメラ４との方向により、撮像された識別点Ｐ０〜Ｐ４の円形のパターンに視覚歪が発生しても、輝度が中心から３６０度全ての方向に対して変化するという特徴に変わりはなく、撮像された識別点Ｐ０〜Ｐ４の抽出方向符号ＥＤと参照用方向符号ＲＤの大部分とが一致することで、識別点Ｐ０〜Ｐ４を正確に識別することが可能となり、識別点抽出部２１の処理は影響を受けることはない。
【００６０】
以上のようにして、物体識別タグ３の５つの識別点の中心点座標を抽出すると、そのうち識別点の境界線の直径が一番大きい識別点を識別点Ｐ０に設定すると共に、各識別点の中心点座標から重心点を求め、求めた重心点から識別点Ｐ０を見たときに反時計回りに順次現れる識別点を順次Ｐ１、Ｐ２……Ｐ４として設定し、設定した識別点Ｐ０〜Ｐ４とそれらの中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）とを幾何学的不変量算出部２２に出力する。
【００６１】
この幾何学的不変量算出部２２では、各識別点Ｐ０〜Ｐ４の中心点座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、（ｘ4，ｙ4）に基づいて前記（７）式及び（８）式の演算を行って幾何学的不変量Ｉ1及びＩ2を算出し、これらを前記（３）式及び（４）式によって整数化した識別コードＩ１及びＩ２を物体識別部２３に出力する。
この物体識別部２３では、入力される識別コードＩ１及びＩ２に基づいて記憶テーブルを参照して、識別対象物体２の物品名及び送付先を求め、求めた送付先によって搬送方向転換器７を制御して、識別対象物体２を指定された送付先に搬送する。
【００６２】
このとき、物体識別タグ３の識別点Ｐ０〜Ｐ４を前述した図７の識別点配置パターン決定処理で決定された配置パターンから配置パターンを選択して使用すると、画像データの読取誤差等によって誤った幾何学的不変量Ｉ1及びＩ2が算出されることを確実に回避することができるので、識別コードＩ１及びＩ２が重複することがなく、正確な物体認識を行うことができる。
【００６３】
しかも、物体識別タグ３はディジタルカメラ４との対面角度に関わらず算出される幾何学的不変量Ｉ1及びＩ2が一定値であるので、ベルトコンベヤ６に認識対象物体２を載置する際や、ベルトコンベヤ６での搬送過程で、認識対象物体２の姿勢が変化して物体識別タグ３のディジタルカメラ４に対する角度が変化した場合でも正確に識別コードを算出することができ、認識対象物体２を誤認識することを確実に防止することができる。
【００６４】
しかも、物体識別タグ３は、四角形領域３ａの各辺に識別点Ｐ０〜Ｐ４を配置するようにしており、識別点を配置した各辺の内側領域は識別には使用しないので、この内側領域に物体名、送付先等の文字や任意の図形等を記載することが可能となり、作業者が物体名や送付先を容易に視認可能としたり、宣伝や広告文字等を記載したり、内側領域を任意の用途に使用することができる。
【００６５】
また、物体識別タグ３は、四角形領域３ｂの各辺に目盛りが形成され、この目盛り上に識別点Ｐ０〜Ｐ４を配置するようにしているので、ラベル３ａに四角形領域３ｂの外径枠と目盛りのみを設けておき、識別対象物体２の種別に応じて目盛り上に予め印刷した識別点Ｐ０〜Ｐ４を貼着して物体識別タグ３を構成することができ、多数種の配置パターンの物体識別タグ３を予め設ける場合に比較して、製作コストを低減することができる。
【００６６】
さらに、四角形領域３ｂの境界位置にベルベットファスナーの一方を貼付しておき、他方を識別点を表面に印刷した円形ボタンの裏面に貼付することにより、任意の目盛り位置に識別点を配置可能に構成することにより、物体識別タグ３を再使用可能として、さらにコスト低下を図ることができる。
なお、上記第１の実施形態においては、識別対象物体２を搬送して仕分けする搬送システムに本発明を適用した場合について説明したが、これに限定されるものではなく、物体識別タグ３を識別対象物体２に貼付又は印刷して識別対象物体２を種別等で識別する場合に本発明を適用することができる。
【００６７】
次に、本発明の第２の実施形態を図１２について説明する。
この第２の実施形態では、物体識別タグ３を使用して、物体識別タグ３で表される座標系を定義して、この座標系と同一平面上の任意の物体の位置を正確に算出するようにしたものである。
すなわち、第２の実施形態では、物体識別タグ３の識別点配置パターンに対応した幾何学的不変量Ｉ1及びＩ2を整数化した識別コードＩ１及びＩ２とタグ関連情報との関係を記憶テーブルに記憶しておく。ここで、タグ関連情報としては、図２に示す実際の物体識別タグ３の５つの識別点Ｐ０〜Ｐ４の設計配置｛Ｐ０（０，０）Ｐ１（０，ｙ１）、Ｐ２（ｘ２，Ｈ）、Ｐ３（Ｗ，ｙ３）、Ｐ４（ｘ４，０）｝を使用し、四角形領域３ａの辺の実際の長さ即ち幅Ｗ及び高さＨと、パラメータ｛ｙ１，ｘ２，ｙ３，ｘ４｝の実際の値を例えはｍｍ単位で指定したものをタグ関連情報として設定する。
【００６８】
そして、情報処理装置５で、図１２に示す物体座標演算処理を実行する。
この物体座標演算処理は、先ず、ステップＳ３１で、ディジタルカメラ４で撮影した物体識別タグ３を含む画像データＤを読込み、次いでステップＳ３２に移行して、読込んだ画像データに基づいて前述した第１の実施形態と同様に、各識別点Ｐ０〜Ｐ４の中心点座標（ｘ0，ｙ0）〜（ｘ4，ｙ4）を算出する識別点抽出処理を行い、次いでステップＳ３３に移行して、各識別点の中心点座標（ｘ0，ｙ0）〜（ｘ4，ｙ4）に基づいて前記（６）及び（７）式の演算を行って、幾何学的不変量Ｉ1及びＩ2を算出し、これらを前記（３）式及び（４）式を用いて整数化して識別コードＩ１及びＩ２を算出する。
【００６９】
次いで、ステップＳ３４に移行して、算出した識別コードＩ１，Ｉ２に基づいて記憶テーブルを参照して、撮影した物体識別タグ３の実際の幅Ｗ及び高さＨとパラメータ｛ｙ１，ｘ２，ｙ３，ｘ４｝の実際の値を読込んでからステップＳ３５に移行する。
このステップＳ３５では、画像データＤを表示装置５ａに表示した状態で、画像データから識別点Ｐ０及び識別点Ｐ４を結ぶ線をｘ軸とし、識別点Ｐ０及び識別点Ｐ１を結ぶ線をｙ軸と設定してタグ座標系を形成して表示する。
【００７０】
次いで、ステップＳ３６に移行して、表示装置５ａに表示されている画像データ中の所望の点にマウスによってカーソルを合わせてからクリックすることにより、指示位置を選択したか否かを判定し、指示位置が選択されていないときにはこれが選択されるまで待機し、指示位置が選択されたときにはステップＳ３７に移行する。
このステップＳ３７では、選択された指示位置の物体識別タグと同一の平面における実際の位置座標（ｘP，ｙP）を物体識別タグ３の実際の幅Ｗ及び高さＨとパラメータ｛ｙ１，ｘ２，ｙ３，ｘ４｝の実際の値とから算出し、次いでステップＳ３８に移行して、算出した指示位置の実際の位置座標（ｘP，ｙP）を表示装置５ａに表示してから物体位置演算処理を終了する。
【００７１】
この図１２の処理において、ステップＳ３３の処理が幾何学的不変量算出手段に対応し、ステップＳ３４の処理が情報検索手段に対応している。
上記のように、物体識別タグ３のタグ座標系が定義されると、複数の座標系の間で変換行列を算出することができる。
すなわち、図１５に示すように、物体識別タグ３と同一の平面上にある実平面Ａ及びそれを撮像した画像データＢがあり、各々の中に同一の物体識別タグが含まれている場合を考える。実平面Ａにおける物体識別タグ３の識別点Ｐ０〜Ｐ４の位置を（ｘＡｉ，ｙＡｉ）（ｉ＝０〜４）とする。同様に、画像データＢにおける物体識別タグ３の識別点Ｐ０〜Ｐ４の位置を（ｘＢｉ，ｙＢｉ）（ｉ＝０〜４）とする。
【００７２】
今、同一の点Ｐが実平面Ａ及び画像データＢに含まれている場合を考えると、実平面Ａにおける点Ｐの座標（ｘＡ，ｙＡ）は、実平面Ａにおける物体識別タグ３によって定められる座標系を基準にしている。同様に、画像データＢにおける点Ｐの座標（ｘＢ，ｙＢ）は、画像データＢにおける物体識別タグ３によって定められる座標系を基準にしている。
一般に、２つの空間Ａ及びＢは射影変換の関係にあるので、実平面Ａにおける点（ｘＡ，ｙＡ）と画像データＢにおける点（ｘＢ，ｙＢ）の間には、下記（９）式で表される関係がある。
【００７３】
【数４】
【００７４】
この（９）式を展開し、定数λを消去すると、２つの連立方程式が得られる。従って、物体識別タグ３の５つの識別点Ｐ０〜Ｐ４のうちの４つの識別点Ｐ０、Ｐ１、Ｐ２及びＰ４の座標を得られた連立方程式に代入することにより、合計８つの制約式が得られる。行列Ｍの自由度は８であるから、これら８つの制約式を使って、全ての要素ｍｉｊ（ｉ＝１〜３、ｊ＝１〜３、但しｍ３３は除く）を求めることができる。
【００７５】
こうして得られた変換行列Ｍを使うことにより、空間Ａ及びＢの中の点を相互に射影変換することかできる。すなわち、実平面Ａにおける座標（ｘＡ，ｙＡ）の点は、画像データＢで座標（ｘＢ，ｙＢ）の点に対応する。逆に、画像データＢにおける座標（ｘＢ，ｙＢ）の点は、実平面Ａで座標（ｘＡ，ｙＡ）の点に対応する。双方の座標は上記（１１）式で算出することができる。
【００７６】
ここでは、Ａを物体識別タグ３と同一平面上にある実平面としたが、これに限らず、画像データＡとしてもよい。２つの画像データＡ及びＢに同一の物体識別タグが含まれている場合、上記のようにして双方のタグ座標系の間で変換行列を算出することができるので、複数の写真を同一の視点から撮影したように補正したり、繋ぎ合わせたりすることができるようになる。
【００７７】
この第２の実施形態によれば、ディジタルカメラ４で撮影した画像データに物体識別タグ３と同一平面上の物体像が含まれている場合に、この画像データを表示装置５ａに表示することにより、物体識別タグ３の識別点Ｐ０、Ｐ１及びＰ４に基づいてタグ座標系を認識し、このタグ座標系と予め記憶されている該当する物体識別タグ３の実測値とに基づいて画像データに含まれる所望の物体画像の実際の位置座標（ｘP,ｙP）を算出することができ、ディジタルカメラ４で撮影した画像データから実際の物体識別タグ３に対する任意物体の位置座標を正確に算出することができる。
【００７８】
この場合、ディジタルカメラ４で撮影した画像データに複数の物体が含まれていたときには、これら複数の物体の位置座標を算出することにより、物体間の相互の位置関係を正確に把握することができる。
なお、ここでは、物体の画像をマウスでクリックして指示する方式について説明したが、それに止まらない。例えば、別の特徴点抽出手段（エッジ検出や頂点抽出など）で対象物体の画像における位置を自動検出するようにしてもよい。
【００７９】
また、本発明に係る画像識別用タグ及び画像識別システムでは、テンプレートマッチング処理として「方向符号法」を用いており、また物体識別タグ３の識別点の円形のパターンの輝度が中心から３６０度全ての方向に対して同じように変化するという特徴は変わらない。このため、例えば、物体識別用タグ３をカメラ４で撮像する際に、照明変動が起きて物体識別用タグ３上に影が発生したり、充分な光量が得られずに暗がりでの撮像だったりしたとしても、撮像された対象画像データＤに基づく抽出方向符号ＥＤが参照用方向符号ＲＤと同じであることに変わりはないので、識別点抽出部２１３の処理は影響を受けない。
【００８０】
このように、物体識別タグ３は、輝度が中心点Oから３６０度全ての方向に対して同じように変化する円形のパターンを持たせているので、この物体識別タグ３をカメラ４で撮像する際の状況が変化しても影響を受けない。
このため、テンプレートマッチングの際に、１つのテンプレート（参照用方向符号ＲＤ）を用意することでカメラ２での撮像状況に広く対応でき、計算コストを削減して画像識別処理を高速化できるという効果が得られる。
【００８１】
また、上記記載の理由により、物体識別タグ３とカメラ４との位置関係及び撮像状況に制約を受けずに物体識別タグ３を識別できるという効果が得られる。
次に、本発明の第３の実施形態を図１３及び図１４について説明する。
この第３の実施形態は、ディジタルカメラ４で撮影した画像データからディジタルカメラ４と物体識別タグ３との距離及び物体識別タグ３の３次元姿勢を演算するようにしたものである。
【００８２】
すなわち、第３の実施形態では、情報処理装置５で、図１３に示すタグ距離及び姿勢演算処理を実行する。
このタグ距離及び姿勢演算処理は、図１３に示すように、先ず、ステップＳ４１で、上記第３の実施形態と同様に物体識別タグ３の幾何学的不変量Ｉ1及びＩ2を算出し、これを整数化して識別コードＩ１及びＩ２を算出する。
【００８３】
次いで、ステップＳ４２に移行して、識別コードＩ１及びＩ２に基づいて、記憶テーブルを参照して、該当する実際の物体識別タグ３の幅Ｗ及び高さＨ及びパラメータ｛ｙ１，ｘ２，ｙ３，ｘ４｝の実際の値を読込み、次いでステップＳ４３に移行して、各識別点Ｐ０〜Ｐ４の実際の座標（ｘi，ｙi）（ｉ＝０〜４）を算出する。
次いで、ステップＳ４４に移行して、下記（１０）式に各識別点Ｐ０〜Ｐ４の実際の座標（ｘi，ｙi）（ｉ＝０〜４）を代入して、各識別点Ｐ０〜Ｐ４の空間座標（Ｘi，Ｙi）（ｉ＝０〜４）を算出する。
【００８４】
【数５】
【００８５】
ここで、θｘ、θｙ、θｚは夫々ｘ軸、ｙ軸及びｚ軸の回りの物体識別タグ３の回転角である。
次いで、ステップＳ４５に移行して、算出した空間座標（Ｘi，Ｙi）（ｉ＝０〜４）を下記（１１）式に代入することにより、カメラの画像データにおける５つの識別点Ｐ０〜Ｐ４の座標（ｘi′，ｙi′）（ｉ＝０〜４）を算出する。
【００８６】
（ｘi′，ｙi′）＝（Ｘi，Ｙi）／ｄ …………（１１）
ここで、ｄはディジタルカメラ４と物体識別タグ３との距離である。
算出した座標（ｘi′，ｙi′）は、｛ｄ、θＸ、θＹ、θＺ｝をパラメータとしたものとなる。
次いで、ステップＳ４６に移行して、下記（１２）式で表される評価関数Ｓを定義し、この評価関数Ｓが最小値となるときの最適解｛ｄ，θＸ，θＹ，θＺ｝を例えば準ニュートン法を使用して算出することにより、ディジタルカメラ４と物体識別タグ３との実際の距離ｄと姿勢｛θＸ，θＹ，θＺ｝を算出することができる。
【００８７】
【数６】
【００８８】
この図１３の処理において、ステップＳ４１の処理が幾何学的不変量算出手段に対応し、ステップＳ４３〜４５の処理が識別点実座標抽出手段に対応し、ステップＳ４６の処理が物体位置検出手段に対応している。
この第３の実施形態によると、図１４に示すように、物体識別タグ３がディジタルカメラ４を原点（０，０，０）とする空間座標系に置かれているものとし、物体識別タグ３の原点Ｐ０がディジタルカメラ４の正面にあるものとして、ディジタルカメラ４から物体識別タグ３までの距離をＺ＝ｄとする。また、物体識別タグ３はＸ軸、Ｙ軸及びＺ軸の回りに夫々θＸ，θＹ及びθＺずつ回転しているものとする。
【００８９】
このときの物体識別タグ３上の点（ｘ，ｙ）をＺ＝ｄの平面ＰＬに正射影したときの座標（Ｘ，Ｙ）は前述した（１０）式で算出することができる。
また、この点（Ｘ，Ｙ）のカメラ画像における座標（ｘ′，ｙ′）は、一般性を失うことなく簡単のためカメラの焦点距離を“１”とし、また物体識別タグ３までの距離ｄは物体識別タグ３のサイズに比べて十分に大きいものとすると、座標（ｘ′，ｙ′）は、前記（１１）式で表すことができる。
【００９０】
そして、物体識別タグ３上の識別点Ｐ０〜Ｐ４の座標（ｘi，ｙi）（ｉ＝０〜４）は、該当する物体識別タグ３の関連情報｛Ｗ，Ｈ，ｙ１，ｘ２，ｙ３，ｘ４｝から分かるので、これらを前記（１０）式に代入することにより、識別点Ｐ０〜Ｐ４の空間座標（Ｘi，Ｙi）（ｉ＝０〜４）を算出することができる。
これら空間座標（Ｘi，Ｙi）（ｉ＝０〜４）を前記（１１）式に代入することにより、カメラ画像における識別点Ｐ０〜Ｐ４の座標（ｘi′，ｙi′）（ｉ＝０〜４）を求めることができ、この座標（ｘi′，ｙi′）は｛ｄ，θＸ，θＹ，θＺ｝をパラメータとしたものとなる。
【００９１】
一方、カメラ画像における識別点Ｐ０〜Ｐ４の座標（ｘi″，ｙi″）（ｉ＝０〜４）は実測されており、上記（１０）式及び（１１）式で算出された座標（ｘi′，ｙi′）（ｉ＝０〜４）と、実測された座標（ｘi″，ｙi″）（ｉ＝０〜４）とは一致するはずである。
そこで、前記（１２）式で表される評価関数Ｓを定義し、この評価関数Ｓが最小値をとるときの最適解｛Ｄ，θＸ，θＹ，θＺ｝を例えは準ニュートン法を使用して算出すれば、物体識別タグ３の実際の距離Ｄと姿勢｛θＸ，θＹ，θＺ｝を正確に算出することができる。
【００９２】
このように、上記第３の実施形態によると、物体識別タグ３の識別コードＩ１及びＩ２を使用して、識別点Ｐ０〜Ｐ４の設計配置を実座標で関連情報として記憶しておくことにより、物体識別タグ３をディジタルカメラ４で撮影したときの撮影データから物体識別タグ３までの距離ｄと物体識別タグ３の姿勢｛θＸ，θＹ，θＺ｝を正確に算出することができる。
【００９３】
なお、上記第１〜第３の実施形態においては、物体識別タグ３の識別点Ｐ０〜Ｐ４を抽出する際に、所定サイズの画像データＤの全領域に対して所定サイズの部分画像ＰＧを１画素毎に順次移動させることにより、識別点Ｐ０〜Ｐ４を抽出する場合について説明したが、これに限定されるものではなく、方向符号比較部３４によるテンプレートマッチング処理に先立ち、画像データＤの隣接する画素毎に方向符号の所定の範囲における連続性の有無（隣接する画素の方向符号の差ｄが所定範囲内であるか否か）を調査して、方向符号の連続性がある画素をグループ化し、各グループから予め定めた選出基準によって図１６に示すようにマスクを選出して、選出したマスクに属する画素についてのみ部分画像ＰＧによる識別点Ｐ０〜Ｐ４の抽出を行うことにより、画像識別の処理時間を短縮することができる。ここで、識別点Ｐ０〜Ｐ４には、輝度が中心点から３６０度全ての方向に対して同じように変化する円形のパターンを持たせているので、その画像から生成される方向符号は連続した値をとるので、各識別点Ｐ０〜Ｐ４は、上記のグルーピング処理によって、一つのグループＧ、すなわちマスクとして抽出される。なお、選出基準としては、例えば、グループＧの占める面積、真円度等が挙げられる。さらに、図１７に示すように、マスクの上下左右の各端部における座標に基づいてマスクの中心点を求め、この中心点近傍でのみ部分画像ＰＧによる識別点抽出処理を行うことにより、さらに画像処理時間を短縮することができる。
【００９４】
また、テンプレートとして、図１８に示すように、３２画素×３２画素のテンプレート（タグ方向符号記憶部３３）があり、方向符号を０〜１５とすると、中心点Ｑを挟んで、その左半分には方向符号８（左向き）が、右半分には方向符号０（右向き）が以下のように並ぶ。ここでは、中心点Ｑの方向符号は０としておく。
例： ・・・８８８Ｑ０００・・・
この方向符号の列を水平方向部分テンプレート（列状特徴情報）として、前述した図８の参照用方向符号ＲＤとして方向符号記憶部３３に記憶しておくと共に、画像データＤに対する抽出方向符号から長さ３２画素の列状の部分画像ＰＧを比較情報として部分画像抽出部３１により順次抽出し、これを方向符号比較部３４にてタグ方向符号３３と比較し、相互に一致又は近似した比較情報を選択することで、識別点座標演算部３５により画像データＤの中から識別点Ｐ０〜Ｐ４の位置座標を検出するようにしてもよい。
【００９５】
この場合には、画像データＤの画像サイズがＬ×Ｍ（６４０×４８０）である場合に、Ｎ×Ｎ（Ｎ＝３２）のテンプレート画像サイズから、照合する画素の延べ数はＬ×Ｍ×Ｎ×Ｎ（約３×１０8）となるが、テンプレート画像サイズが、Ｎ×１（Ｎ＝３２）となるので、列状特徴情報を用いて比較を行った場合に照合する画素の延べ数はＬ×Ｍ×Ｎ（約１×１０7）となり、Ｎ（Ｎ＝３２）倍の高速化ができる。即ち、特徴情報及び比較情報の一度に比較する情報量をそれぞれ減らすことにより、高速化を図ることができる。
【００９６】
さらには、図１９（ａ）に示すように、上述したように水平方向部分テンプレートＨＴを使用して、これと一致又は近似する画像領域を抽出し、抽出した画像領域について再度垂直方向部分テンプレートＶＴを使用して比較処理することにより、２回の比較処理を行うことにより、誤検出を防止することができる。この場合には、図１９（ｂ）に示すように、最初に垂直方向部分テンプレートＶＴを使用し、次に水平方向テンプレートＨＴを使用するようにしてもよい。
【００９７】
このようにして識別点Ｐ０〜Ｐ４を検出することで、水平方向に対して比較をしてから、さらに垂直方向へ比較した場合の延べ数は、Ｌ×Ｍ×Ｎ＋Ｎ×ｋとなる。ここで言うｋとは、水平又は垂直方向でマッチしてから、さらに垂直又は水平方向の比較をした件数であり、ｋ＜＜Ｌ×Ｍの関係である。すなわち、水平又は垂直方向部分テンプレートによる比較処理を行うことで上記第１の実施の形態と比較してＮ倍の高速化ができる他、水平（又は垂直）方向への比較を行った後に、さらに垂直（又は水平）方向への比較を行う場合には、誤検出を減らすと共に、ほぼＮ倍の高速化ができるということになる。
【００９８】
さらに、図１９（ｃ）に示すように、水平方向部分テンプレートＨＴによる比較処理を行ってから、数列の垂直方向部分テンプレートからなる面状テンプレート（面状特徴情報）ＦＴと水平方向部分テンプレートＨＴのマッチした部分画像ＰＧの中心点を中心とする面状テンプレートと同じ大きさの画像領域を持つ画像データＤから抽出された部分画像ＰＧとの比較処理を順次行うようにしてもよく、図１９（ｄ）に示すように、上記面状テンプレートＦＴより小さい画素数の小面状テンプレートＳＦＴによる比較処理を行ってから、小面状テンプレートＳＦＴとマッチした小面状テンプレートＳＦＴの中心点を中心とする面状テンプレートＦＴと同じ大きさの画像領域をもつ画像データＤから抽出された部分画像ＰＧと面状テンプレートＦＴと比較処理するようにしてもよい。
【００９９】
このように、少ない情報量を持つテンプレートの１つとこれに対応する画像データＤの部分画像ＰＧとを比較し、この比較結果に基づいて実際の識別点Ｐ０〜Ｐ４の検出範囲を絞り込んでから、他の、例えば、同等の情報量又はより情報量の多いテンプレートで更なる比較を行えば、高速化と誤検出防止とを両立できるということになる。
なお、上記各実施形態においては、物体識別タグ３の識別点Ｐ０〜Ｐ５として全ての半径方向について輝度が変化するようにグラデーションを施した場合について説明したが、これに限定されるものではなく、中心から２方向、３方向、４方向等の任意数の方向に輝度を変化させるようにしてもよい。
【図面の簡単な説明】
【０１００】
【図１】本発明に斯かる物体識別システムの第１の実施形態を示すシステム構成図である。
【図２】物体識別タグを示す正面図である。
【図３】物体識別タグの識別点の中心点から離れるに従って輝度が減少するパターン及び増加するパターンの一例を示す図である。
【図４】識別点の輝度及び中心点からの距離の関係の一例を示すグラデーション特性線図である。
【図５】識別点の輝度及び中心点からの距離との関係の一例を示すグラデーション特性線図である。
【図６】情報処理装置で実行する識別点配置パターン決定処理手順の一例を示すフローチャートである。
【図７】情報処理装置における物体識別タグ識別機能を示す機能ブロック図である。
【図８】図７の識別点抽出部の具体例を示す機能ブロック図である。
【図９】方向符号の生成を説明するための概略図の一例である。
【図１０】画像データ及び部分画像を示す説明図である。
【図１１】識別点抽出処理の説明に供する説明図である。
【図１２】本発明の第２の実施形態における情報処理装置で実行する物体座標演算処理手順の一例を示すフローチャートである。
【図１３】本発明の第３の実施形態における情報処理装置で実行するタグ距離及び姿勢演算処理手順の一例を示すフローチャートである。
【図１４】第２の実施形態における空間座標系を示す説明図である。
【図１５】第３の実施形態における画像データを示す説明図である。
【図１６】方向符号をグループ化する場合の説明図である。
【図１７】方向符号をグループ化してその中心点を部分画像として設定する場合の説明図である。
【図１８】水平及び垂直方向の方向符号を示す説明図である。
【図１９】テンプレートの組合せを示す説明図である。
【符号の説明】
【０１０１】
１…物体識別システム、２…識別対象物体、３…物体識別タグ、４…ディジタルカメラ、５…情報処理装置、６…ベルトコンベヤ、７…搬送方向転換器、８…識別対象物体先端検出センサ、２１…識別点抽出部、２２…幾何学的不変量算出部、２３…物体識別部、３１…部分画像抽出部、３２…方向符号演算部、３３…方向符号記憶部、３４…方向符号比較部、３５…識別点座標演算部、Ｄ…対象画像データ、ＰＧ…部分画像
【特許請求の範囲】
【請求項１】
平面上に形成した四角形領域の各辺上に特定の幾何学的不変量を表す５つの識別点を配置したことを特徴とする物体識別タグ。
【請求項２】
前記四角形領域の各辺には等分割した目盛りが形成され、形成された目盛り上に前記識別点が配置されていることを特徴とする請求項１に記載の物体識別タグ。
【請求項３】
前記識別点は四角形領域の各辺上で移動可能に配置されていることを特徴とする請求項１又は２に記載の物体識別タグ。
【請求項４】
前記各識別点は、円形の中心点を起点として半径方向に沿った輝度変化パターンが、全半径方向で同一であることを特徴とする請求項１乃至３の何れか１項に記載の物体識別タグ。
【請求項５】
前記輝度変化パターンは、前記中心点から離れるに従って徐々に輝度が低くなる減少パターン及び徐々に輝度が高くなる増加パターンの何れか一方であることを特徴とする請求項４に記載の物体識別タグ。
【請求項６】
前記５つの識別点は、当該５つの識別点から算出される幾何学的不変量の値が重複しないように配置パターンが設定されていることを特徴とする請求項１乃至５の何れか１項に記載の物体識別タグ。
【請求項７】
前記配置パターンは、５つの識別点の座標計測誤差を考慮して算出される幾何学的不変量の値が重複しないように設定されていることを特徴とする請求項６に記載の物体識別タグ。
【請求項８】
認識対象物体に付した請求項１乃至請求項７の何れか１項に記載された物体識別タグと、該物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段とを備えたことを特徴とする物体識別システム。
【請求項９】
認識対象物体に付した請求項１乃至請求項７の何れか１項に記載された物体識別タグと、該物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記物体識別タグを識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量演算手段で演算した幾何学的不変量に基づいて当該幾何学的不変量に関連付けられた情報を検索する情報検索手段とを備えたことを特徴とする物体識別システム。
【請求項１０】
認識対象物体に付した請求項１乃至請求項７の何れか１項に記載された物体識別タグと、該物体識別タグの各識別点の実座標を記憶する識別点座標記憶手段と、前記物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記識別点を識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点座標に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量演算手段で演算した幾何学的不変量に基づいて前記識別点座標記憶手段から該当物体識別タグの識別点実座標を抽出する識別点実座標抽出手段と、該識別点実座標抽出手段で抽出した識別点実座標と前記識別点識別手段で算出した識別点座標とに基づいて前記物体識別タグの実空間における位置及び姿勢、並びに物体識別タグと同一平面上にある任意の物体の位置の内少なくとも１つを検出する物体位置検出手段とを備えていることを特徴とする物体識別システム。
【請求項１１】
前記識別点識別手段は、前記識別点を識別可能な特徴情報を記憶しており、前記画像データから前記特徴情報と比較可能な比較情報を取得し、取得した比較情報と前記特徴情報とを比較し、当該比較結果に基づいて前記識別点を識別するように構成されていることを特徴とする請求項８乃至１０の何れか１項に記載の物体識別システム。
【請求項１２】
前記特徴情報及び前記比較情報は、画素毎の輝度の最大増加方向及び最大減少方向の何れか一方を表す方向符号であることを特徴とする請求項１１に記載の物体識別システム。
【請求項１３】
前記幾何学的不変量演算手段は、複数の幾何学的不変量を算出し、各々の所定の単位量で除して量子化し整数値の識別コードに変換するように構成されていることを特徴とする請求項８乃至１２の何れか１項に記載の物体識別システム。
【請求項１】
平面上に形成した四角形領域の各辺上に特定の幾何学的不変量を表す５つの識別点を配置したことを特徴とする物体識別タグ。
【請求項２】
前記四角形領域の各辺には等分割した目盛りが形成され、形成された目盛り上に前記識別点が配置されていることを特徴とする請求項１に記載の物体識別タグ。
【請求項３】
前記識別点は四角形領域の各辺上で移動可能に配置されていることを特徴とする請求項１又は２に記載の物体識別タグ。
【請求項４】
前記各識別点は、円形の中心点を起点として半径方向に沿った輝度変化パターンが、全半径方向で同一であることを特徴とする請求項１乃至３の何れか１項に記載の物体識別タグ。
【請求項５】
前記輝度変化パターンは、前記中心点から離れるに従って徐々に輝度が低くなる減少パターン及び徐々に輝度が高くなる増加パターンの何れか一方であることを特徴とする請求項４に記載の物体識別タグ。
【請求項６】
前記５つの識別点は、当該５つの識別点から算出される幾何学的不変量の値が重複しないように配置パターンが設定されていることを特徴とする請求項１乃至５の何れか１項に記載の物体識別タグ。
【請求項７】
前記配置パターンは、５つの識別点の座標計測誤差を考慮して算出される幾何学的不変量の値が重複しないように設定されていることを特徴とする請求項６に記載の物体識別タグ。
【請求項８】
認識対象物体に付した請求項１乃至請求項７の何れか１項に記載された物体識別タグと、該物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記各識別点を識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段とを備えたことを特徴とする物体識別システム。
【請求項９】
認識対象物体に付した請求項１乃至請求項７の何れか１項に記載された物体識別タグと、該物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記物体識別タグを識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点位置に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量演算手段で演算した幾何学的不変量に基づいて当該幾何学的不変量に関連付けられた情報を検索する情報検索手段とを備えたことを特徴とする物体識別システム。
【請求項１０】
認識対象物体に付した請求項１乃至請求項７の何れか１項に記載された物体識別タグと、該物体識別タグの各識別点の実座標を記憶する識別点座標記憶手段と、前記物体識別タグが付された認識対象物体の画像を撮像する撮像手段と、該撮像手段が撮像した画像データから前記識別点を識別して識別点位置を算出する識別点識別手段と、該識別点識別手段で算出した識別点座標に基づいて幾何学的不変量を演算する幾何学的不変量演算手段と、該幾何学的不変量演算手段で演算した幾何学的不変量に基づいて前記識別点座標記憶手段から該当物体識別タグの識別点実座標を抽出する識別点実座標抽出手段と、該識別点実座標抽出手段で抽出した識別点実座標と前記識別点識別手段で算出した識別点座標とに基づいて前記物体識別タグの実空間における位置及び姿勢、並びに物体識別タグと同一平面上にある任意の物体の位置の内少なくとも１つを検出する物体位置検出手段とを備えていることを特徴とする物体識別システム。
【請求項１１】
前記識別点識別手段は、前記識別点を識別可能な特徴情報を記憶しており、前記画像データから前記特徴情報と比較可能な比較情報を取得し、取得した比較情報と前記特徴情報とを比較し、当該比較結果に基づいて前記識別点を識別するように構成されていることを特徴とする請求項８乃至１０の何れか１項に記載の物体識別システム。
【請求項１２】
前記特徴情報及び前記比較情報は、画素毎の輝度の最大増加方向及び最大減少方向の何れか一方を表す方向符号であることを特徴とする請求項１１に記載の物体識別システム。
【請求項１３】
前記幾何学的不変量演算手段は、複数の幾何学的不変量を算出し、各々の所定の単位量で除して量子化し整数値の識別コードに変換するように構成されていることを特徴とする請求項８乃至１２の何れか１項に記載の物体識別システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００６−３３１２１４（Ｐ２００６−３３１２１４Ａ）
【公開日】平成１８年１２月７日（２００６．１２．７）
【国際特許分類】
【出願番号】特願２００５−１５６０５４（Ｐ２００５−１５６０５４）
【出願日】平成１７年５月２７日（２００５．５．２７）
【出願人】（５９１０８３２４４）富士電機システムズ株式会社 (1,717)
【Ｆターム（参考）】
【公開日】平成１８年１２月７日（２００６．１２．７）
【国際特許分類】
【出願日】平成１７年５月２７日（２００５．５．２７）
【出願人】（５９１０８３２４４）富士電機システムズ株式会社 (1,717)
【Ｆターム（参考）】
[ Back to top ]