特徴識別装置およびその方法並びにプログラムコード、記憶媒体
【課題】 配置の自由度が高く、かつ、識別可能な種類の多い画像特徴を識別すること。
【解決手段】 画像中から第一の画像特徴の投影領域を抽出する第一特徴抽出部と、前記画像中から前記第一の画像特徴の周辺に位置する第二の画像特徴の投影領域を抽出する第二特徴抽出部と、前記第一の画像特徴を該第一の画像特徴の周辺に位置する前記第二の画像特徴の数および／またはトポロジーにより識別する第一特徴識別部とを備えることを特徴とする。
【解決手段】 画像中から第一の画像特徴の投影領域を抽出する第一特徴抽出部と、前記画像中から前記第一の画像特徴の周辺に位置する第二の画像特徴の投影領域を抽出する第二特徴抽出部と、前記第一の画像特徴を該第一の画像特徴の周辺に位置する前記第二の画像特徴の数および／またはトポロジーにより識別する第一特徴識別部とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラなどで撮影した画像に写る特徴（画像特徴）を識別する装置およびその方法並びにプログラムコード、記憶媒体に関するものである。
【背景技術】
【０００２】
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした複合現実感（以下、「ＭＲ」（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）と称す）に関する研究が盛んになっている。
【０００３】
ＭＲとは、現実空間画像に仮想空間画像を重ね合わせて、ＭＲを体験するユーザの頭部に装着されたＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）に提示する技術のことである。その応用としては、患者の体内の様子を透視しているように医師に提示する医療補助の用途や、工場において製品の組み立て手順を実物に重ねて表示する作業補助の用途などがある。
【０００４】
このＭＲの実現において、もっとも重要な課題となっているのが、現実空間画像と仮想空間画像の位置を正確に重ね合わせる問題である。この問題は、具体的には、現実空間を観察する視点の位置および姿勢を正確に求める問題に帰着される。そして、カメラなどでリアルタイムに撮影した現実空間画像とＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）などの仮想空間画像とをコンピュータ内で重ね合わせる「ビデオシースルー方式」のＭＲの場合には、撮影視点の位置姿勢を求める問題となり、ＨＭＤに現実空間の風景を光学的に透過させつつ、その透過面に仮想空間画像を表示して観察者の網膜上で両者を重ね合わせる「光学シースルー方式」のＭＲの場合には、観察者視点の位置姿勢を求める問題となる。
【０００５】
撮影視点、もしくは、観察者視点の位置および姿勢を求める方法の一つには、撮影視点画像、もしくは、観察者視点付近から撮影した画像を利用するものがある。これは従来からコンピュータビジョンの分野で研究されている方法で、現実空間上にあるマーカー等の画像特徴が投影される領域を撮影画像から抽出・識別し、画像特徴の現実空間座標と撮影画像上に投影されている画像特徴の画像座標の関係を満たすような撮影視点の位置および姿勢を得るものである。原理的には、現実空間座標が既知である３つの画像特徴が撮影されていれば、非線形方程式を解くことで解析的に６自由度の位置と姿勢を求めることができる。また、何らかの方法で、例えばセンサを利用して、初期値となる撮影視点の位置と姿勢を得てから、その初期値に従って投影される画像特徴の画像座標と、実際に投影されている画像特徴の画像座標との誤差が最小になる撮影視点位置・姿勢を、数値計算的に求める方法もある。これらの方法を現実物体上座標が既知である現実物体上の画像特徴に関して適用すれば、現実物体に対する観察視点の位置および姿勢を求めることができる。
【０００６】
上述した方法における現実空間上／現実物体上にある画像特徴の識別に関しては、特徴の色や形状などを利用する技術が，“Ｙ．Ｃｈｏ ａｎｄ Ｕ．Ｎｅｕｍａｎｎ：Ｍｕｌｔｉ−ｒｉｎｇ ｃｏｌｏｒ ｆｉｄｕｃｉａｌ ｓｙｓｔｅｍｓ ｆｏｒ ｓｃａｌａｂｌｅ ｆｉｄｕｃｉａｌ ｔｒａｃｋｉｎｇ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ，Ｐｒｏｃ．ＶＲＡＩＳ‘９８，ｐａｇｅ２１２，Ｍａｒ．１９９８．”や“加藤，Ｂｌｉｎｇｈｕｒｓｔ，浅野，橘：マーカー追跡に基づく拡張現実感システムとそのキャリブレーション，日本バーチャルリアリティ学会論文誌，ｖｏｌ．４，ｎｏ．４，ｐｐ．６０７−６１６，Ｄｅｃ．１９９９．”などにおいて開示されている。色や形状には、扱いやすいという利点がある一方で、精度良く、短時間で、安定して識別できる種類に限りがあるという欠点がある。そのため、観察範囲を狭い領域に限定して少ない種類の画像特徴識別ができれば良いようにしたり、色や形状からだけでなくセンサなどを利用して得た初期値や直前の観察位置算出結果も利用して画像特徴識別を行ったりする工夫が必要となる。
【０００７】
より多くの種類が識別できる画像特徴としては、情報がコーディングされた画像パターンを含む画像特徴が良く知られている。例えば、２次元バーコードを含む画像特徴を利用して観察視点の位置および姿勢を求める方法が、“暦本純一：２次元マトリックスコードを利用した拡張現実感システムの構成手法，インタラクティブシステムとソフトウェアＩＶ，近代科学社，ｐｐ．１９９−２０８，Ｄｅｃ．１９９６．”で開示されている。より広い範囲を観察対象にしたい場合や、より多くの仮想物体を選択的に重畳表示したい場合などに、この多くの種類が識別できる画像特徴が利用されている。ただし、そのような画像特徴は、多くの情報が表現される画像パターンを含むために、比較的広い面積を占めることになる。
【特許文献１】特開２００３−２７９３１０
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、ＭＲの応用の一つに、可動部を持つ現実物体の上に、その物体と同じ形状を持つＣＧ画像を重ねるというものがある。観察対象が可動部を持つということは、つまり観察対象の形状がその位置とは無関係に変化しうるということである。よってこの応用の場合には、観察位置が変わらなくとも、観察対象の見え方が変化する状況が起こりうる。この見え方にあわせてＣＧを重畳表示するためには、観察位置とは無関係に観察対象の形状を認識する仕組みが必要となる。その方法の一つとしては、観察視点の位置姿勢の算出に用いられる、観察対象上の画像特徴を利用することが考えられる。すなわち、撮影視点画像、もしくは、観察者視点付近から撮影した画像中に含まれる画像特徴の種類によって、観察対象の可動状況を判断する方法である。
【０００９】
観察対象の可動状況の判断に、その観察対象上の画像特徴を利用する場合には、たとえ観察対象が小さく観察範囲が狭い領域に限定されていたとしても、より多くの識別可能な特徴を利用して、観察対象の各所に、それぞれが識別可能な画像特徴を配置しておく必要がある。しかし前述したように、識別可能な種類が多い画像特徴は比較的広い面積を占めるため、観察対象の形状が複雑な場合には、画像特徴を配置できる物体上の場所が限られてしまい、最適な特徴配置が行えないという問題があった。
【００１０】
よって、特徴配置の観点からは、観察対象上に自由に配置できる、占有面積の小さな特徴の利用が望ましい。しかし、そういった小さな画像特徴は、色や形状などによってしか識別ができないので、必要な種類数の画像特徴を観察対象上に配置することができないという問題が発生する。観察対象が可動部を持つということから、観察される画像特徴の３次元位置とその種類の関係は必ずしも固定でないので、センサなどを利用して得た初期値や直前の観察位置算出結果を利用して特徴を識別することもできない場合がある。
【００１１】
以上より、配置の自由度が高く、かつ、識別可能な種類の多い画像特徴が必要になっている。本発明では、そのような画像特徴を識別することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の目的を達成するために、例えば本発明の特徴認識装置は以下の構成を備える。
【００１３】
すなわち、画像中から第一の画像特徴の投影領域を抽出する第一特徴抽出部と、前記画像中から前記第一の画像特徴の周辺に位置する第二の画像特徴の投影領域を抽出する第二特徴抽出部と、前記第一の画像特徴を該第一の画像特徴の周辺に位置する前記第二の画像特徴の数および／またはトポロジーにより識別する第一特徴識別部とを備える。
【発明の効果】
【００１４】
以上の説明により、本発明によって、ある第一の画像特徴の識別を、その画像特徴の周辺に存在する第二の画像特徴の数、もしくは、トポロジー、もしくは、その組み合わせに応じて行うことができる。
【００１５】
第二の画像特徴は、その数もしくはトポロジーのみが重要であるので、配置の自由度は高い。その結果、第一の画像特徴と第二の画像特徴の位置関係は、両者を合わせた画像特徴群を配置する場所に応じて設計できるという効果がある。
【００１６】
また、画像特徴の数やトポロジーは、画像特徴の色、形状、パターンに比べて認識が容易なので、その認識に基づく画像特徴の識別はよりロバストになるという効果がある。そのロバスト性によって、識別可能な種類の増加も期待できる。
【００１７】
さらに、認識の容易性ゆえに、識別に利用する第二の画像特徴は小さくても良い。識別対象である第一の画像特徴も単純な画像特徴で良いので、全体としての画像特徴群の占める領域も小さくなる。このことから、画像特徴群の配置場所選択の自由度は、既存の識別可能な画像特徴（内部に多くの情報を表現できるパターンを含む画像特徴）よりも大きいという効果がある。
【００１８】
また、数やトポロジーだけで識別されるので、異なる形状（配置）で同じ識別子を表現することができる。それゆえに、グループを示す識別子など、複数の場所に同じ識別子を割り当てる場合にも、個々の場所に応じた形状（配置）の画像特徴を使うことができるという効果がある。
【発明を実施するための最良の形態】
【００１９】
以下添付図面を参照して、本発明を好適な実施例に従って詳細に説明する。
【実施例１】
【００２０】
本実施例では、現実空間／現実物体に対する視点の位置姿勢の算出に利用する第一の画像特徴の識別に、その第一の画像特徴の周辺に配置される（もしくは存在する）第二の画像特徴の数、および／もしくは、トポロジーを利用する特徴識別装置を含む、ＭＲ空間呈示装置について説明する。
【００２１】
図１に、本実施例における特徴識別装置１２０を含むＭＲ空間呈示装置１２１の構成を示す。
【００２２】
画像撮影部１０１は、例えば現実空間を撮影するカメラである。画像撮影部１０１は観察者視点付近に配置され、ＭＲ呈示装置１２１がビデオシースルー方式のＭＲを実現する場合には、仮想空間画像が重畳される現実空間画像を撮影するカメラとなる。画像撮影部１０１が撮影した現実空間画像は、特徴識別装置１２０に含まれる第一特徴抽出部１０２および第二特徴抽出部１０３に送出される。ＭＲ呈示装置１２１がビデオシースルー方式のＭＲを実現する場合には、その現実空間画像はＭＲ空間画像生成部１０９へも送出される。なお、詳細は割愛するが、現実空間画像は、図示していない取り込み装置を介して、第一特徴抽出部１０２、第二特徴抽出部１０３、ＭＲ空間画像生成部１０９のそれぞれが扱うことができる形式に変換されてから、それぞれに送出される。
【００２３】
第一特徴抽出部１０２は、現実空間上／現実物体上にあらかじめ配置されている（もしくは存在している）第一の画像特徴が投影される画像領域を、現実空間画像中から抽出する画像処理を行う部分で、例えば特徴識別装置１２０内のＣＰＵ上で実行されるプログラムモジュールである。
【００２４】
第一の画像特徴とは、視点の位置および姿勢の算出に利用する画像特徴で、あらかじめ決められた色および／または形状を持っている比較的面積の小さな画像特徴である。（形状は平面に限らず、半球、円柱、立方体といった立体形状でも、もちろん良い。）例えば、「赤色の四角形」を第一の画像特徴とすることができる。この場合、第一の画像特徴が投影される画像領域の抽出方法の例としては、次のようなものが考えられる。すなわち、第一特徴抽出部１０２は、画像撮影部１０１から送出された現実空間画像の画素のうち、その画素値（Ｒ、Ｇ、Ｂ）が下記の（数式１）を満たす画素を赤色であると判定し、赤と判断した画素の連結連続領域それぞれを、一つの抽出領域候補とする。続いて、赤と判断した各抽出領域候補に対してエッジ検出を行い、そこから閉ループをつくる４本のエッジが検出されれば、そこに投影された画像特徴は四角形であると判定して、その領域を第一の画像特徴が投影された画像領域として抽出する。
【００２５】
【数１】
【００２６】
色および形状の判定方法については、上記の方法に限らず、一般に知られたどのような方法でも良い。
【００２７】
例に挙げたような何らかの方法で第一の画像特徴が投影される画像領域を抽出した後、第一特徴抽出部１０２は、抽出した画像領域の画像座標とその大きさを、第二画像抽出部１０３へと送出する。例えば、上述した「赤色の四角形」が第一の画像特徴の場合、その画像座標は第一の画像特徴が投影される画像領域の重心が位置する画像座標とし、その大きさは第一の画像特徴が投影される画像領域から検出された４本のエッジの平均画素長とすることができる。第一の画像特徴が投影される画像領域の画像座標および大きさの定義はこれに限らず、一般に知られたどのような画像特徴量をつかって定義しても良い。
【００２８】
第二特徴抽出部１０３は、現実空間上／現実物体上にあらかじめ配置されている（もしくは存在している）第二の画像特徴が投影される画像領域を、現実空間画像中から抽出する画像処理を行う部分で、例えば特徴識別装置１２０内のＣＰＵ上で実行されるプログラムモジュールである。
【００２９】
第二の画像特徴は、第一の画像特徴の識別に利用する画像特徴で、第一の画像特徴の周辺に配置され（存在し）、第一の画像特徴と区別が可能な、あらかじめ決められた色および／または形状を持っている比較的面積の小さな画像特徴である。（形状は平面に限らず、半球、円柱、立方体といった立体形状でも、もちろん良い。）例えば、第一の画像特徴には利用されない色の三角形を、第二の画像特徴とすることができる。
【００３０】
第二特徴抽出部１０３で行われる画像処理は、第一の画像特徴が投影される領域付近のみを対象に行う。画像処理領域は、第一特徴抽出部１０２から受け取る第一の画像特徴の画像座標と大きさを基準にして決定する。例えば、第一の画像特徴の画像座標を中心とし、その大きさの定数倍を一辺の長さとする正方領域を、画像処理領域とする。その領域内で投影領域が抽出された第二の画像特徴は、その領域内にある第一の画像特徴に結び付けられる。なお、第二の画像特徴が投影される画像領域を抽出する画像処理を、全画像領域を対象に行っても、もちろん良い。その際には、投影領域が抽出された第二の画像特徴を、その投影領域の画像座標の最も近傍に投影されている第一の画像特徴に結び付ける処理を合わせて行う。
【００３１】
第二特徴抽出部１０３で行われる画像処理は、第一特徴抽出部１０２で行われる画像処理と同様である。ただし第二特徴抽出部１０３で行われる画像処理は、画像特徴の抽出基準とする色、形状、大きさのいずれか、もしくはそれらの組み合わせが、第一特徴抽出部１０２で行われる画像処理と異なる。
【００３２】
抽出基準とする色が異なる場合は、（数式１）に挙げたような抽出するかどうかの判定式が異なる。例えば抽出基準とする色が緑であるとすると、下記の（数式２）に挙げたような判定式を利用する。
【００３３】
【数２】
【００３４】
抽出基準とする形状が異なる場合は、画像特徴候補を抽出するかどうかの判定方法が異なる。例えば、第一の画像特徴が四角形で、第二の画像特徴が三角形である場合、第一特徴抽出部１０２は、抽出領域候補から閉ループをつくる４本のエッジを検出した場合に、その候補を第一の画像特徴が投影される画像領域として抽出する。それに対して、第二特徴抽出部１０３は、抽出領域候補から閉ループをつくる３本のエッジを検出した場合に、その候補を第二の画像特徴が投影される画像領域として抽出する。
【００３５】
抽出基準となる大きさが異なる場合は、第一特徴抽出部１０２および第二特徴抽出部１０３は、抽出領域候補を抽出するかどうかの判定に第一の画像特徴と第二の画像特徴の大小関係を利用する。例えば、第一の画像特徴の方が第二の画像特徴よりも小さいとした場合、第一の画像特徴と第二の画像特徴はお互い近い位置に必ず配置されているので（存在しているので）、第一特徴抽出部１０２は、抽出領域候補の周辺にその抽出領域候補よりも小さな抽出領域候補があれば、その抽出領域候補は第一の画像特徴が投影される画像領域であると判断する。一方の第二特徴抽出部１０３は、抽出領域候補の周辺にその抽出領域候補よりも大きな抽出領域候補があれば、その抽出領域候補は第二の画像特徴が投影される画像領域であると判断する。
【００３６】
図３に、第一の画像特徴と第二の画像特徴の例を示す。また、第一の画像特徴と第二の画像特徴は、区別可能ならばお互いが接していてもよい。その例として、図４に、第一の画像特徴が点形状で、第二の画像特徴が線形状である場合を示す。
【００３７】
第二特徴抽出部１０３は、第一の画像特徴の周り配置された（もしくは存在する）第二の画像特徴が投影される画像領域を抽出した後、その結果から、第一の画像特徴を識別するための、第二の画像特徴の数、もしくは、トポロジー、もしくはその両方を、第一の画像特徴ごとに認識する。第二の画像特徴の数とは、第一の画像特徴の投影領域周辺ごとに抽出された第二の画像特徴の投影領域数である。第二の画像特徴のトポロジーとは、第二の画像特徴同士が区別可能な場合にのみ認識され、ここでは、第一の画像特徴の投影領域周辺ごとに抽出された区別可能な第二の画像特徴の並び順である。すなわち、第一の画像特徴周辺の閉曲線上に、第二の画像特徴がどのような順番で並んでいるかである。第二の画像特徴同士の区別方法は、第一の画像特徴と第二の画像特徴の区別方法と同様に、色、形状、大きさのいずれか、もしくはそれらの組み合わせで行う。第二特徴抽出部１０３が認識した第二の画像特徴の数および／またはトポロジーは、対応する第一の画像特徴の画像座標と共に、第一特徴識別部１０４へと送られる。
【００３８】
第一特徴識別部１０４は、第一の画像特徴の識別を行う部分で、例えば特徴識別装置１２０内のＣＰＵ上で実行されるプログラムモジュールである。ここで行われる第一の画像特徴の識別は、第二特徴抽出部から受け取る第二の画像特徴の数、もしくは、トポロジー、もしくはその両方によって行う。
【００３９】
第一の画像特徴の識別に、対象となる第一の画像特徴の周辺に配置されている（存在する）第二の画像特徴の数を利用する場合、その数自体が第一の画像特徴を識別する識別子となる。第二の画像特徴が見つからない場合は、その数はゼロであり、ゼロが識別子となる。
【００４０】
物理的に、第一の画像特徴の周辺に配置（存在）できる第二の画像特徴の数には限りはあり、つまり、第二の画像特徴の数を利用した場合の識別可能種類には限りがある。しかし、抽出される画像特徴の数だけが重要であるので、その認識処理は簡便でよい。つまり、数の認識は、色や形状やパターンを認識する場合よりも、精度良く、短時間で、安定して認識することができる。その結果として、第一の画像特徴をロバストに識別することができる。識別のロバスト性が高いということから、識別可能な数は大きいことが期待できる。よって、第一の画像特徴の色や形状を利用する場合と同程度、もしくはそれよりも多くの種類を識別することは期待できる。
【００４１】
さらにまた、抽出される画像特徴の数だけが重要であるということから、第二の画像特徴は第一の画像特徴の配置された（存在する）場所に応じて自由に配置することができる。例えば、図５に示した２つの第一の画像特徴は、どちらも同じ識別子が割り当てられており、第一の画像特徴の配置された（存在する）場所に応じてどちらかを選択することができる。
【００４２】
一方、ある第一の画像特徴に対して区別可能な第二の画像特徴が４つある場合には、そのトポロジーによって、第一の画像特徴を４×３×２÷４＝６通りに区別することが可能である（図６参照）。数を利用する場合と同様に、トポロジーを利用した場合の識別可能種類には限りがあるが、抽出される画像特徴のトポロジーだけが重要であるので、その認識処理は簡便でよい。つまり、トポロジーの認識は、色や形状を利用する場合よりも、精度良く、短時間で、安定して認識することができる。その結果として、第一の画像特徴をロバストに識別することができる。識別のロバスト性が高いということから、識別可能なトポロジーの種類数は大きいことが期待できる。よって、第一の画像特徴の色や形状を利用する場合と同程度、もしくはそれよりも多くの種類を識別することは期待できる。
【００４３】
さらにまた、抽出される画像特徴のトポロジーだけが重要であるということから、第二の画像特徴は第一の画像特徴の配置された（存在する）場所に応じて自由に配置することができる。例えば、図７に示した２つの第一の画像特徴は、どちらも同じ識別子が割り当てられており、第一の画像特徴の配置された（存在する）場所に応じてどちらかを選択することができる。
【００４４】
第二の画像特徴の数とそのトポロジーを組み合わせれば、さらに多くの種類を識別することも可能である。
【００４５】
以上に示したように、第一の画像特徴も第二の画像特徴も、比較的面積の小さな画像特徴である。そして第一の画像特徴に対する第二の画像特徴の配置には自由度がある。さらに、第一の画像特徴の識別可能な種類数は、第一の画像特徴の色や形状を利用して識別する場合に比べて同程度、もしくはそれよりも多いことが期待できる。つまり、上記の第二の画像特徴を周囲に伴う第一の画像特徴は、配置の自由度が高く、かつ、識別可能な種類の多い画像特徴であると言える。
【００４６】
本実施例では、第一の画像特徴と第二の画像特徴との区別の仕方を３通り（大きさ、形、色）、識別子の表現方法を２通り（数、トポロジー）示した。その３×２＝６通りの組み合わせを、第一の画像特徴が大きな円である場合を例に、図８に示す。
【００４７】
第二の画像特徴の数、トポロジーを利用して行われた識別結果は、識別子として対応する第一の画像特徴と結び付けられ、対応する第一の画像特徴の画像座標と共に、視点位置姿勢算出部１０７へと送出される。
【００４８】
センサ部１０５は、視点の位置および／または姿勢を計測する部分で、例えばＭＲ空間画像表示部１１０に対して固定されている磁気センサや慣性センサである。ここで計測された視点位置姿勢は、後述する視点位置姿勢算出部１０７へ送出される。その計測値は、例えば、視点位置姿勢算出部１０７で行われる位置姿勢算出処理の初期値として利用される。もちろんこれ以外の処理に用いても良い。またセンサ部１０５は、観察対象である現実物体の可動部に取り付けられた、その可動状態を計測するセンサを含んでいてもよい。その場合、可動部に関する計測値は、視点位置姿勢算出部１０７およびＭＲ空間画像生成部１０９へ送出される。なお、センサ部１０５自体はなくても良い。
【００４９】
第一特徴位置記憶部１０６は、現実空間上／現実物体上にあらかじめ配置されている（もしくは存在している）第一の画像特徴の位置情報（現実空間座標もしくは現実物体上座標）を記憶する部分で、例えばハードディスクやメモリである。
【００５０】
視点位置姿勢算出部１０７は、現実空間画像に仮想空間画像を重ね合わせる時に必要となる現実空間／現実物体に対する観察視点の位置および姿勢を算出する部分で、例えばＭＲ空間呈示装置１２１内のＣＰＵで実行されるプログラムモジュールである。視点位置姿勢算出部１０７は、まず、第一特徴識別部１０４から受け取る識別子より特定される第一の画像特徴の位置情報を第一特徴位置記憶部１０６から取り出す。センサ部１０５に観察対象である現実物体の可動状態を計測センサが含まれる場合には、その計測値を使って、取り出した位置情報を修正しても良い。続いて視点位置姿勢算出部１０７は、取り出した第一の画像特徴の位置情報と、第一特徴識別部１０４から受け取る画像座標の関係を満たすような撮影視点の位置および姿勢を、よく知られている方法（非線型方程式の解析や数値計算）を用いて算出する。先にも述べたように、センサ部１０５から視点位置姿勢の計測値を受け取る場合には、その計測値を初期値として利用して視点位置姿勢の算出を行っても良い。
【００５１】
視点位置姿勢の算出値は、ＭＲ空間画像生成部１０９へと送出される。また、処理に利用した第一の画像特徴の識別子も、ＭＲ空間画像生成部１０９へと送出される。
【００５２】
データ記憶部１０８は、現実空間画像の上に仮想空間画像を重畳してＭＲ画像を生成するために必要なデータを保持する部分で、例えばハードディスクやメモリである。ＭＲ画像を生成するために必要なデータとは、仮想空間画像を生成するためのＣＧデータや、現実空間画像を撮影するカメラに関するパラメータなどである。
【００５３】
ＭＲ空間画像生成部１０９は、現実空間画像の上に仮想空間画像を重畳してＭＲ画像を生成する部分で、例えばＭＲ空間呈示装置１２１内のＣＰＵで実行されるプログラムモジュールである。ＭＲ空間画像生成部１０９は、ＭＲ呈示装置１２１がビデオシースルー方式のＭＲを実現する場合には、画像撮影部１０１から現実空間画像を受け取り、その上に仮想空間画像を重畳描画する。ＭＲ呈示装置１２１が光学シースルー方式のＭＲを実現する場合には、現実空間画像を呈示すべき領域は黒く塗りつぶし、それ以外の領域に仮想空間画像を描画する。
【００５４】
ＭＲ空間画像生成部１０９が仮想空間画像を描画する際には、データ記憶部１０８に保持されたデータと、視点位置姿勢算出部１０７から受け取る視点の位置姿勢および視点位置姿勢算出に利用した第一の画像特徴の識別子を利用する。データ記憶部１０８に保持されたデータと視点の位置姿勢は、ＭＲ空間画像を生成する際に必ず必要となるものである。ここでは、これらの利用方法に関する詳細の説明は割愛するが、一般的に知られている方法でＭＲ空間画像を生成する。第一の画像特徴の識別子は、仮想空間画像として描画するＣＧの選択に利用する。例えば、可動部を持つ現実物体の上にその物体と同じ形状を持つＣＧ画像を重ねる場合に、現実空間画像上に投影された第一の画像特徴が、現実物体のどの部分に配置されている（存在している）ものかによって、描画すべきＣＧを選択する。これにより、物体に対する視点位置姿勢が変わらなくとも、物体の可動部の状態によって、重畳する仮想空間画像を変えることができる。なお、センサ部１０５に観察対象である現実物体の可動状態を計測センサが含まれる場合には、その計測値を使って可動部に重畳するＣＧの描画位置を決定しても良い。
【００５５】
ＭＲ空間画像表示部１１０は、ＭＲ空間画像生成部１０９が生成したＭＲ空間画像を表示する部分で、例えばＨＭＤである。
【００５６】
以上により、特徴識別装置１２０を含むＭＲ空間呈示装置１２１では、視点位置姿勢の算出に利用する第一の画像特徴の識別に、その第一の画像特徴の周辺に配置される（存在している）第二の画像特徴の数、もしくは、トポロジーを利用することができ、それに応じた視点位置姿勢の算出や仮想空間画像の描画を行うことができる。
【００５７】
以上に説明した本実施例における特徴認識処理を含むＭＲ空間呈示処理のフローチャートを図２に示し、以下に説明する。
【００５８】
処理が始まると、まず、画像撮影部１０１が現実空間画像を撮影し、撮影された現実空間画像が第一特徴抽出部１０２、第二特徴抽出部１０３、ＭＲ空間画像生成部１０９へ送出される（ステップＳ２０１）。
【００５９】
続いて、第一特徴抽出部１０２において、現実空間上／現実物体上にあらかじめ配置されている（もしくは存在している）第一の画像特徴が投影される画像領域を、現実空間画像中から抽出する処理が行われ、その処理結果である第一の画像特徴が投影される画像領域の画像座標およびその大きさが、第二特徴抽出部１０３へ送出される（ステップＳ２０２）。
【００６０】
続いて、第二特徴抽出部１０３において、第一の画像特徴が投影される画像領域の周辺領域を第一の画像特徴が投影される画像領域の画像座標と大きさから特定し、その領域を対象に、現実空間上／現実物体上にあらかじめ配置されている（もしくは存在している）第二の画像特徴が投影される画像領域を抽出する処理が行われる。続いて、その処理結果から第一の画像特徴の周辺に存在する第二の画像特徴の数、もしくは、トポロジー、もしくはその両方が認識され、その認識結果が、対応する第一の画像特徴が投影される画像領域の画像座標とともに第一特徴識別部１０４へ送出される（ステップＳ２０３）。先に説明したように、第二の画像特徴が投影される画像領域の抽出は、画像全体を対象に行っても良い。
【００６１】
続いて、第一特徴識別部１０４において、第二特徴抽出部１０３から受け取った第二の画像特徴の数、もしくは、トポロジー、もしくはその両方に基づいて、第一の画像特徴の識別が行われ、その識別結果である識別子が、第一の画像特徴が投影される画像領域の画像座標と共に、視点位置姿勢算出部１０７へ送出される（ステップＳ２０４）。
【００６２】
続いて、第一特徴抽出部１０２で行われる第一の画像特徴の抽出処理が、画像撮影部１０１で撮影された現実空間画像全体に対して行われたかどうかが確認される（ステップＳ２０５）。画像全体に対して処理が終わっていなければ処理はステップＳ２０２へ戻り、終わっていれば次のステップＳ２０６へ進む。
【００６３】
ステップＳ２０６では、第一特徴識別部１０４から受け取る識別子より特定される第一の画像特徴の位置情報（現実空間座標もしくは現実物体上座標）を第一特徴位置記憶部１０６から取り出し、取り出した第一の画像特徴の位置情報と、第一特徴識別部１０４から受け取る第一の画像特徴が投影される画像領域の画像座標の関係を満たすような撮影視点の位置および姿勢を算出する。この時、ＭＲ空間呈示装置１２１にセンサ部１０５が存在し、センサ部１０５に観察対象である現実物体の可動状態を計測センサが含まれる場合には、視点位置姿勢の算出を行う前に、その計測処理を行い、第一の画像特徴の位置情報を修正する。同様に、ＭＲ空間呈示装置１２１にセンサ部１０５が存在し、センサ部１０５が視点位置姿勢の計測を行う場合には、視点位置姿勢の算出を行う前に、その計測処理を行い、視点位置姿勢の算出に利用する。算出された視点位置姿勢は、ＭＲ空間画像生成部１０９へ送出される。
【００６４】
続いて、ＭＲ空間画像生成部１０９において、画像撮影部１０１から受け取る現実空間画像、視点位置姿勢算出部１０７から受け取る視点位置姿勢および第一の画像特徴の識別子、データ記憶部１０８から取り出すカメラパラメータやＣＧデータ等、そしてセンサ部１０５に観察対象である現実物体の可動状態を計測センサが含まれる場合にはその計測値、を利用して、ＭＲ空間画像が生成され、その画像がＭＲ空間画像表示部１１０において表示される（ステップＳ２０７）。
【００６５】
ステップＳ２０７を終えると、処理全体を終了するかどうかを確認し、終了しない場合はステップＳ２０１へ戻る（ステップＳ２０８）。
【００６６】
以上のように、第一の実施例によれば、配置の自由度が高く、かつ、識別可能な種類の多い画像特徴である、第二の画像特徴を周囲に伴う第一の画像特徴を利用して、ＭＲの実現に必要となる視点の位置および姿勢を求めることができる。
【００６７】
（変形例１）
上記第一の実施例においては、第一の画像特徴の識別に第二の画像特徴を利用している。この仕組みを階層的に適用し、新たに第三の画像特徴を第二の画像特徴の周辺に配置して、第三の画像特徴の数、もしくは、トポロジー、もしくはその両方を利用して、第二の画像特徴の識別を行っても良い。これによれば、全体としてさらに多くの種類の識別が可能な画像特徴を利用した、ＭＲの実現に必要となる視点の位置および姿勢の算出が実現できる。さらに階層的に利用して、第四の画像特徴、第五の画像特徴、・・・といった画像特徴を利用しても良い。
【００６８】
（変形例２）
上記第一の実施例においては、全ての第一の画像特徴がそれぞれ区別できるように、各第一の画像特徴に対して固有の識別子、すなわち、固有の、第二の画像特徴の数、もしくは、トポロジー、もしくはその組み合わせを割り当てている。これを変形した実施例として、複数の第一の画像特徴に対して、ある一つの識別子、すなわち、ある一つの、第二の画像特徴の数、もしくは、トポロジー、もしくはその組み合わせを割り当てても良い。例えば、第一の画像特徴が所属するグループを、第二の画像特徴を使って識別する場合である。具体的には、図９に示すような、現実空間画像に写っているのが、現実物体の中側であるか外側であるかを画像特徴から判断したい場合である。
【００６９】
この変形例２が示す内容は、同じグループの第一の画像特徴が、同一形状（配置）の第二の画像特徴を持つということではなく、同じ数、もしくは、同じトポロジー、もしくはその同じ組み合わせの第二の画像特徴を持つという意味である。つまり、同じ識別子を与えた第一の画像特徴同士が、必ずしも同一形状（配置）の第二の画像特徴を伴わなくても良い。よって、この変形例２によれば、同じ識別子を示す第二の画像特徴を、配置したい場所に応じて設計することができる。その例を、図１０に示す。
【００７０】
（他の実施例）
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラミングコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【００７２】
本発明の上記記憶媒体に適用する場合、その記憶媒体には先に説明した図２に示したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００７３】
【図１】第一の実施例における特徴識別装置を含むＭＲ空間呈示装置の構成を示す図である。
【図２】第一の実施例における特徴識別処理を含むＭＲ空間呈示処理のフローチャートを示す図である。
【図３】第１の実施例における第一の画像特徴と第二の画像特徴の例を示す図である。
【図４】第一の画像特徴が点形状で第二の画像特徴が線形状である場合を示す図である。
【図５】第一の画像特徴の識別を第二の画像特徴の数で区別する場合の、第一の画像特徴に同じ識別子が割り当てられた２つの場合を示す図である。
【図６】第一の画像特徴の識別を第二の画像特徴のトポロジーで区別する場合の、第二の画像特徴の配置例を示す図である。
【図７】第一の画像特徴の識別を第二の画像特徴のトポロジーで区別する場合の、第一の画像特徴に同じ識別子が割り当てられた２つの場合を示す図である。
【図８】第一の画像特徴が大きな円である場合の、第二の画像特徴の例を示す図である。
【図９】第一の画像特徴が所属するグループを、第二の画像特徴を使って識別する場合の例を示す図である。
【図１０】同じ識別子を持つ画像特徴（群）を、配置したい場所に応じて設計した例を示す図である。
【技術分野】
【０００１】
本発明は、カメラなどで撮影した画像に写る特徴（画像特徴）を識別する装置およびその方法並びにプログラムコード、記憶媒体に関するものである。
【背景技術】
【０００２】
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした複合現実感（以下、「ＭＲ」（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）と称す）に関する研究が盛んになっている。
【０００３】
ＭＲとは、現実空間画像に仮想空間画像を重ね合わせて、ＭＲを体験するユーザの頭部に装着されたＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）に提示する技術のことである。その応用としては、患者の体内の様子を透視しているように医師に提示する医療補助の用途や、工場において製品の組み立て手順を実物に重ねて表示する作業補助の用途などがある。
【０００４】
このＭＲの実現において、もっとも重要な課題となっているのが、現実空間画像と仮想空間画像の位置を正確に重ね合わせる問題である。この問題は、具体的には、現実空間を観察する視点の位置および姿勢を正確に求める問題に帰着される。そして、カメラなどでリアルタイムに撮影した現実空間画像とＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）などの仮想空間画像とをコンピュータ内で重ね合わせる「ビデオシースルー方式」のＭＲの場合には、撮影視点の位置姿勢を求める問題となり、ＨＭＤに現実空間の風景を光学的に透過させつつ、その透過面に仮想空間画像を表示して観察者の網膜上で両者を重ね合わせる「光学シースルー方式」のＭＲの場合には、観察者視点の位置姿勢を求める問題となる。
【０００５】
撮影視点、もしくは、観察者視点の位置および姿勢を求める方法の一つには、撮影視点画像、もしくは、観察者視点付近から撮影した画像を利用するものがある。これは従来からコンピュータビジョンの分野で研究されている方法で、現実空間上にあるマーカー等の画像特徴が投影される領域を撮影画像から抽出・識別し、画像特徴の現実空間座標と撮影画像上に投影されている画像特徴の画像座標の関係を満たすような撮影視点の位置および姿勢を得るものである。原理的には、現実空間座標が既知である３つの画像特徴が撮影されていれば、非線形方程式を解くことで解析的に６自由度の位置と姿勢を求めることができる。また、何らかの方法で、例えばセンサを利用して、初期値となる撮影視点の位置と姿勢を得てから、その初期値に従って投影される画像特徴の画像座標と、実際に投影されている画像特徴の画像座標との誤差が最小になる撮影視点位置・姿勢を、数値計算的に求める方法もある。これらの方法を現実物体上座標が既知である現実物体上の画像特徴に関して適用すれば、現実物体に対する観察視点の位置および姿勢を求めることができる。
【０００６】
上述した方法における現実空間上／現実物体上にある画像特徴の識別に関しては、特徴の色や形状などを利用する技術が，“Ｙ．Ｃｈｏ ａｎｄ Ｕ．Ｎｅｕｍａｎｎ：Ｍｕｌｔｉ−ｒｉｎｇ ｃｏｌｏｒ ｆｉｄｕｃｉａｌ ｓｙｓｔｅｍｓ ｆｏｒ ｓｃａｌａｂｌｅ ｆｉｄｕｃｉａｌ ｔｒａｃｋｉｎｇ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ，Ｐｒｏｃ．ＶＲＡＩＳ‘９８，ｐａｇｅ２１２，Ｍａｒ．１９９８．”や“加藤，Ｂｌｉｎｇｈｕｒｓｔ，浅野，橘：マーカー追跡に基づく拡張現実感システムとそのキャリブレーション，日本バーチャルリアリティ学会論文誌，ｖｏｌ．４，ｎｏ．４，ｐｐ．６０７−６１６，Ｄｅｃ．１９９９．”などにおいて開示されている。色や形状には、扱いやすいという利点がある一方で、精度良く、短時間で、安定して識別できる種類に限りがあるという欠点がある。そのため、観察範囲を狭い領域に限定して少ない種類の画像特徴識別ができれば良いようにしたり、色や形状からだけでなくセンサなどを利用して得た初期値や直前の観察位置算出結果も利用して画像特徴識別を行ったりする工夫が必要となる。
【０００７】
より多くの種類が識別できる画像特徴としては、情報がコーディングされた画像パターンを含む画像特徴が良く知られている。例えば、２次元バーコードを含む画像特徴を利用して観察視点の位置および姿勢を求める方法が、“暦本純一：２次元マトリックスコードを利用した拡張現実感システムの構成手法，インタラクティブシステムとソフトウェアＩＶ，近代科学社，ｐｐ．１９９−２０８，Ｄｅｃ．１９９６．”で開示されている。より広い範囲を観察対象にしたい場合や、より多くの仮想物体を選択的に重畳表示したい場合などに、この多くの種類が識別できる画像特徴が利用されている。ただし、そのような画像特徴は、多くの情報が表現される画像パターンを含むために、比較的広い面積を占めることになる。
【特許文献１】特開２００３−２７９３１０
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、ＭＲの応用の一つに、可動部を持つ現実物体の上に、その物体と同じ形状を持つＣＧ画像を重ねるというものがある。観察対象が可動部を持つということは、つまり観察対象の形状がその位置とは無関係に変化しうるということである。よってこの応用の場合には、観察位置が変わらなくとも、観察対象の見え方が変化する状況が起こりうる。この見え方にあわせてＣＧを重畳表示するためには、観察位置とは無関係に観察対象の形状を認識する仕組みが必要となる。その方法の一つとしては、観察視点の位置姿勢の算出に用いられる、観察対象上の画像特徴を利用することが考えられる。すなわち、撮影視点画像、もしくは、観察者視点付近から撮影した画像中に含まれる画像特徴の種類によって、観察対象の可動状況を判断する方法である。
【０００９】
観察対象の可動状況の判断に、その観察対象上の画像特徴を利用する場合には、たとえ観察対象が小さく観察範囲が狭い領域に限定されていたとしても、より多くの識別可能な特徴を利用して、観察対象の各所に、それぞれが識別可能な画像特徴を配置しておく必要がある。しかし前述したように、識別可能な種類が多い画像特徴は比較的広い面積を占めるため、観察対象の形状が複雑な場合には、画像特徴を配置できる物体上の場所が限られてしまい、最適な特徴配置が行えないという問題があった。
【００１０】
よって、特徴配置の観点からは、観察対象上に自由に配置できる、占有面積の小さな特徴の利用が望ましい。しかし、そういった小さな画像特徴は、色や形状などによってしか識別ができないので、必要な種類数の画像特徴を観察対象上に配置することができないという問題が発生する。観察対象が可動部を持つということから、観察される画像特徴の３次元位置とその種類の関係は必ずしも固定でないので、センサなどを利用して得た初期値や直前の観察位置算出結果を利用して特徴を識別することもできない場合がある。
【００１１】
以上より、配置の自由度が高く、かつ、識別可能な種類の多い画像特徴が必要になっている。本発明では、そのような画像特徴を識別することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の目的を達成するために、例えば本発明の特徴認識装置は以下の構成を備える。
【００１３】
すなわち、画像中から第一の画像特徴の投影領域を抽出する第一特徴抽出部と、前記画像中から前記第一の画像特徴の周辺に位置する第二の画像特徴の投影領域を抽出する第二特徴抽出部と、前記第一の画像特徴を該第一の画像特徴の周辺に位置する前記第二の画像特徴の数および／またはトポロジーにより識別する第一特徴識別部とを備える。
【発明の効果】
【００１４】
以上の説明により、本発明によって、ある第一の画像特徴の識別を、その画像特徴の周辺に存在する第二の画像特徴の数、もしくは、トポロジー、もしくは、その組み合わせに応じて行うことができる。
【００１５】
第二の画像特徴は、その数もしくはトポロジーのみが重要であるので、配置の自由度は高い。その結果、第一の画像特徴と第二の画像特徴の位置関係は、両者を合わせた画像特徴群を配置する場所に応じて設計できるという効果がある。
【００１６】
また、画像特徴の数やトポロジーは、画像特徴の色、形状、パターンに比べて認識が容易なので、その認識に基づく画像特徴の識別はよりロバストになるという効果がある。そのロバスト性によって、識別可能な種類の増加も期待できる。
【００１７】
さらに、認識の容易性ゆえに、識別に利用する第二の画像特徴は小さくても良い。識別対象である第一の画像特徴も単純な画像特徴で良いので、全体としての画像特徴群の占める領域も小さくなる。このことから、画像特徴群の配置場所選択の自由度は、既存の識別可能な画像特徴（内部に多くの情報を表現できるパターンを含む画像特徴）よりも大きいという効果がある。
【００１８】
また、数やトポロジーだけで識別されるので、異なる形状（配置）で同じ識別子を表現することができる。それゆえに、グループを示す識別子など、複数の場所に同じ識別子を割り当てる場合にも、個々の場所に応じた形状（配置）の画像特徴を使うことができるという効果がある。
【発明を実施するための最良の形態】
【００１９】
以下添付図面を参照して、本発明を好適な実施例に従って詳細に説明する。
【実施例１】
【００２０】
本実施例では、現実空間／現実物体に対する視点の位置姿勢の算出に利用する第一の画像特徴の識別に、その第一の画像特徴の周辺に配置される（もしくは存在する）第二の画像特徴の数、および／もしくは、トポロジーを利用する特徴識別装置を含む、ＭＲ空間呈示装置について説明する。
【００２１】
図１に、本実施例における特徴識別装置１２０を含むＭＲ空間呈示装置１２１の構成を示す。
【００２２】
画像撮影部１０１は、例えば現実空間を撮影するカメラである。画像撮影部１０１は観察者視点付近に配置され、ＭＲ呈示装置１２１がビデオシースルー方式のＭＲを実現する場合には、仮想空間画像が重畳される現実空間画像を撮影するカメラとなる。画像撮影部１０１が撮影した現実空間画像は、特徴識別装置１２０に含まれる第一特徴抽出部１０２および第二特徴抽出部１０３に送出される。ＭＲ呈示装置１２１がビデオシースルー方式のＭＲを実現する場合には、その現実空間画像はＭＲ空間画像生成部１０９へも送出される。なお、詳細は割愛するが、現実空間画像は、図示していない取り込み装置を介して、第一特徴抽出部１０２、第二特徴抽出部１０３、ＭＲ空間画像生成部１０９のそれぞれが扱うことができる形式に変換されてから、それぞれに送出される。
【００２３】
第一特徴抽出部１０２は、現実空間上／現実物体上にあらかじめ配置されている（もしくは存在している）第一の画像特徴が投影される画像領域を、現実空間画像中から抽出する画像処理を行う部分で、例えば特徴識別装置１２０内のＣＰＵ上で実行されるプログラムモジュールである。
【００２４】
第一の画像特徴とは、視点の位置および姿勢の算出に利用する画像特徴で、あらかじめ決められた色および／または形状を持っている比較的面積の小さな画像特徴である。（形状は平面に限らず、半球、円柱、立方体といった立体形状でも、もちろん良い。）例えば、「赤色の四角形」を第一の画像特徴とすることができる。この場合、第一の画像特徴が投影される画像領域の抽出方法の例としては、次のようなものが考えられる。すなわち、第一特徴抽出部１０２は、画像撮影部１０１から送出された現実空間画像の画素のうち、その画素値（Ｒ、Ｇ、Ｂ）が下記の（数式１）を満たす画素を赤色であると判定し、赤と判断した画素の連結連続領域それぞれを、一つの抽出領域候補とする。続いて、赤と判断した各抽出領域候補に対してエッジ検出を行い、そこから閉ループをつくる４本のエッジが検出されれば、そこに投影された画像特徴は四角形であると判定して、その領域を第一の画像特徴が投影された画像領域として抽出する。
【００２５】
【数１】
【００２６】
色および形状の判定方法については、上記の方法に限らず、一般に知られたどのような方法でも良い。
【００２７】
例に挙げたような何らかの方法で第一の画像特徴が投影される画像領域を抽出した後、第一特徴抽出部１０２は、抽出した画像領域の画像座標とその大きさを、第二画像抽出部１０３へと送出する。例えば、上述した「赤色の四角形」が第一の画像特徴の場合、その画像座標は第一の画像特徴が投影される画像領域の重心が位置する画像座標とし、その大きさは第一の画像特徴が投影される画像領域から検出された４本のエッジの平均画素長とすることができる。第一の画像特徴が投影される画像領域の画像座標および大きさの定義はこれに限らず、一般に知られたどのような画像特徴量をつかって定義しても良い。
【００２８】
第二特徴抽出部１０３は、現実空間上／現実物体上にあらかじめ配置されている（もしくは存在している）第二の画像特徴が投影される画像領域を、現実空間画像中から抽出する画像処理を行う部分で、例えば特徴識別装置１２０内のＣＰＵ上で実行されるプログラムモジュールである。
【００２９】
第二の画像特徴は、第一の画像特徴の識別に利用する画像特徴で、第一の画像特徴の周辺に配置され（存在し）、第一の画像特徴と区別が可能な、あらかじめ決められた色および／または形状を持っている比較的面積の小さな画像特徴である。（形状は平面に限らず、半球、円柱、立方体といった立体形状でも、もちろん良い。）例えば、第一の画像特徴には利用されない色の三角形を、第二の画像特徴とすることができる。
【００３０】
第二特徴抽出部１０３で行われる画像処理は、第一の画像特徴が投影される領域付近のみを対象に行う。画像処理領域は、第一特徴抽出部１０２から受け取る第一の画像特徴の画像座標と大きさを基準にして決定する。例えば、第一の画像特徴の画像座標を中心とし、その大きさの定数倍を一辺の長さとする正方領域を、画像処理領域とする。その領域内で投影領域が抽出された第二の画像特徴は、その領域内にある第一の画像特徴に結び付けられる。なお、第二の画像特徴が投影される画像領域を抽出する画像処理を、全画像領域を対象に行っても、もちろん良い。その際には、投影領域が抽出された第二の画像特徴を、その投影領域の画像座標の最も近傍に投影されている第一の画像特徴に結び付ける処理を合わせて行う。
【００３１】
第二特徴抽出部１０３で行われる画像処理は、第一特徴抽出部１０２で行われる画像処理と同様である。ただし第二特徴抽出部１０３で行われる画像処理は、画像特徴の抽出基準とする色、形状、大きさのいずれか、もしくはそれらの組み合わせが、第一特徴抽出部１０２で行われる画像処理と異なる。
【００３２】
抽出基準とする色が異なる場合は、（数式１）に挙げたような抽出するかどうかの判定式が異なる。例えば抽出基準とする色が緑であるとすると、下記の（数式２）に挙げたような判定式を利用する。
【００３３】
【数２】
【００３４】
抽出基準とする形状が異なる場合は、画像特徴候補を抽出するかどうかの判定方法が異なる。例えば、第一の画像特徴が四角形で、第二の画像特徴が三角形である場合、第一特徴抽出部１０２は、抽出領域候補から閉ループをつくる４本のエッジを検出した場合に、その候補を第一の画像特徴が投影される画像領域として抽出する。それに対して、第二特徴抽出部１０３は、抽出領域候補から閉ループをつくる３本のエッジを検出した場合に、その候補を第二の画像特徴が投影される画像領域として抽出する。
【００３５】
抽出基準となる大きさが異なる場合は、第一特徴抽出部１０２および第二特徴抽出部１０３は、抽出領域候補を抽出するかどうかの判定に第一の画像特徴と第二の画像特徴の大小関係を利用する。例えば、第一の画像特徴の方が第二の画像特徴よりも小さいとした場合、第一の画像特徴と第二の画像特徴はお互い近い位置に必ず配置されているので（存在しているので）、第一特徴抽出部１０２は、抽出領域候補の周辺にその抽出領域候補よりも小さな抽出領域候補があれば、その抽出領域候補は第一の画像特徴が投影される画像領域であると判断する。一方の第二特徴抽出部１０３は、抽出領域候補の周辺にその抽出領域候補よりも大きな抽出領域候補があれば、その抽出領域候補は第二の画像特徴が投影される画像領域であると判断する。
【００３６】
図３に、第一の画像特徴と第二の画像特徴の例を示す。また、第一の画像特徴と第二の画像特徴は、区別可能ならばお互いが接していてもよい。その例として、図４に、第一の画像特徴が点形状で、第二の画像特徴が線形状である場合を示す。
【００３７】
第二特徴抽出部１０３は、第一の画像特徴の周り配置された（もしくは存在する）第二の画像特徴が投影される画像領域を抽出した後、その結果から、第一の画像特徴を識別するための、第二の画像特徴の数、もしくは、トポロジー、もしくはその両方を、第一の画像特徴ごとに認識する。第二の画像特徴の数とは、第一の画像特徴の投影領域周辺ごとに抽出された第二の画像特徴の投影領域数である。第二の画像特徴のトポロジーとは、第二の画像特徴同士が区別可能な場合にのみ認識され、ここでは、第一の画像特徴の投影領域周辺ごとに抽出された区別可能な第二の画像特徴の並び順である。すなわち、第一の画像特徴周辺の閉曲線上に、第二の画像特徴がどのような順番で並んでいるかである。第二の画像特徴同士の区別方法は、第一の画像特徴と第二の画像特徴の区別方法と同様に、色、形状、大きさのいずれか、もしくはそれらの組み合わせで行う。第二特徴抽出部１０３が認識した第二の画像特徴の数および／またはトポロジーは、対応する第一の画像特徴の画像座標と共に、第一特徴識別部１０４へと送られる。
【００３８】
第一特徴識別部１０４は、第一の画像特徴の識別を行う部分で、例えば特徴識別装置１２０内のＣＰＵ上で実行されるプログラムモジュールである。ここで行われる第一の画像特徴の識別は、第二特徴抽出部から受け取る第二の画像特徴の数、もしくは、トポロジー、もしくはその両方によって行う。
【００３９】
第一の画像特徴の識別に、対象となる第一の画像特徴の周辺に配置されている（存在する）第二の画像特徴の数を利用する場合、その数自体が第一の画像特徴を識別する識別子となる。第二の画像特徴が見つからない場合は、その数はゼロであり、ゼロが識別子となる。
【００４０】
物理的に、第一の画像特徴の周辺に配置（存在）できる第二の画像特徴の数には限りはあり、つまり、第二の画像特徴の数を利用した場合の識別可能種類には限りがある。しかし、抽出される画像特徴の数だけが重要であるので、その認識処理は簡便でよい。つまり、数の認識は、色や形状やパターンを認識する場合よりも、精度良く、短時間で、安定して認識することができる。その結果として、第一の画像特徴をロバストに識別することができる。識別のロバスト性が高いということから、識別可能な数は大きいことが期待できる。よって、第一の画像特徴の色や形状を利用する場合と同程度、もしくはそれよりも多くの種類を識別することは期待できる。
【００４１】
さらにまた、抽出される画像特徴の数だけが重要であるということから、第二の画像特徴は第一の画像特徴の配置された（存在する）場所に応じて自由に配置することができる。例えば、図５に示した２つの第一の画像特徴は、どちらも同じ識別子が割り当てられており、第一の画像特徴の配置された（存在する）場所に応じてどちらかを選択することができる。
【００４２】
一方、ある第一の画像特徴に対して区別可能な第二の画像特徴が４つある場合には、そのトポロジーによって、第一の画像特徴を４×３×２÷４＝６通りに区別することが可能である（図６参照）。数を利用する場合と同様に、トポロジーを利用した場合の識別可能種類には限りがあるが、抽出される画像特徴のトポロジーだけが重要であるので、その認識処理は簡便でよい。つまり、トポロジーの認識は、色や形状を利用する場合よりも、精度良く、短時間で、安定して認識することができる。その結果として、第一の画像特徴をロバストに識別することができる。識別のロバスト性が高いということから、識別可能なトポロジーの種類数は大きいことが期待できる。よって、第一の画像特徴の色や形状を利用する場合と同程度、もしくはそれよりも多くの種類を識別することは期待できる。
【００４３】
さらにまた、抽出される画像特徴のトポロジーだけが重要であるということから、第二の画像特徴は第一の画像特徴の配置された（存在する）場所に応じて自由に配置することができる。例えば、図７に示した２つの第一の画像特徴は、どちらも同じ識別子が割り当てられており、第一の画像特徴の配置された（存在する）場所に応じてどちらかを選択することができる。
【００４４】
第二の画像特徴の数とそのトポロジーを組み合わせれば、さらに多くの種類を識別することも可能である。
【００４５】
以上に示したように、第一の画像特徴も第二の画像特徴も、比較的面積の小さな画像特徴である。そして第一の画像特徴に対する第二の画像特徴の配置には自由度がある。さらに、第一の画像特徴の識別可能な種類数は、第一の画像特徴の色や形状を利用して識別する場合に比べて同程度、もしくはそれよりも多いことが期待できる。つまり、上記の第二の画像特徴を周囲に伴う第一の画像特徴は、配置の自由度が高く、かつ、識別可能な種類の多い画像特徴であると言える。
【００４６】
本実施例では、第一の画像特徴と第二の画像特徴との区別の仕方を３通り（大きさ、形、色）、識別子の表現方法を２通り（数、トポロジー）示した。その３×２＝６通りの組み合わせを、第一の画像特徴が大きな円である場合を例に、図８に示す。
【００４７】
第二の画像特徴の数、トポロジーを利用して行われた識別結果は、識別子として対応する第一の画像特徴と結び付けられ、対応する第一の画像特徴の画像座標と共に、視点位置姿勢算出部１０７へと送出される。
【００４８】
センサ部１０５は、視点の位置および／または姿勢を計測する部分で、例えばＭＲ空間画像表示部１１０に対して固定されている磁気センサや慣性センサである。ここで計測された視点位置姿勢は、後述する視点位置姿勢算出部１０７へ送出される。その計測値は、例えば、視点位置姿勢算出部１０７で行われる位置姿勢算出処理の初期値として利用される。もちろんこれ以外の処理に用いても良い。またセンサ部１０５は、観察対象である現実物体の可動部に取り付けられた、その可動状態を計測するセンサを含んでいてもよい。その場合、可動部に関する計測値は、視点位置姿勢算出部１０７およびＭＲ空間画像生成部１０９へ送出される。なお、センサ部１０５自体はなくても良い。
【００４９】
第一特徴位置記憶部１０６は、現実空間上／現実物体上にあらかじめ配置されている（もしくは存在している）第一の画像特徴の位置情報（現実空間座標もしくは現実物体上座標）を記憶する部分で、例えばハードディスクやメモリである。
【００５０】
視点位置姿勢算出部１０７は、現実空間画像に仮想空間画像を重ね合わせる時に必要となる現実空間／現実物体に対する観察視点の位置および姿勢を算出する部分で、例えばＭＲ空間呈示装置１２１内のＣＰＵで実行されるプログラムモジュールである。視点位置姿勢算出部１０７は、まず、第一特徴識別部１０４から受け取る識別子より特定される第一の画像特徴の位置情報を第一特徴位置記憶部１０６から取り出す。センサ部１０５に観察対象である現実物体の可動状態を計測センサが含まれる場合には、その計測値を使って、取り出した位置情報を修正しても良い。続いて視点位置姿勢算出部１０７は、取り出した第一の画像特徴の位置情報と、第一特徴識別部１０４から受け取る画像座標の関係を満たすような撮影視点の位置および姿勢を、よく知られている方法（非線型方程式の解析や数値計算）を用いて算出する。先にも述べたように、センサ部１０５から視点位置姿勢の計測値を受け取る場合には、その計測値を初期値として利用して視点位置姿勢の算出を行っても良い。
【００５１】
視点位置姿勢の算出値は、ＭＲ空間画像生成部１０９へと送出される。また、処理に利用した第一の画像特徴の識別子も、ＭＲ空間画像生成部１０９へと送出される。
【００５２】
データ記憶部１０８は、現実空間画像の上に仮想空間画像を重畳してＭＲ画像を生成するために必要なデータを保持する部分で、例えばハードディスクやメモリである。ＭＲ画像を生成するために必要なデータとは、仮想空間画像を生成するためのＣＧデータや、現実空間画像を撮影するカメラに関するパラメータなどである。
【００５３】
ＭＲ空間画像生成部１０９は、現実空間画像の上に仮想空間画像を重畳してＭＲ画像を生成する部分で、例えばＭＲ空間呈示装置１２１内のＣＰＵで実行されるプログラムモジュールである。ＭＲ空間画像生成部１０９は、ＭＲ呈示装置１２１がビデオシースルー方式のＭＲを実現する場合には、画像撮影部１０１から現実空間画像を受け取り、その上に仮想空間画像を重畳描画する。ＭＲ呈示装置１２１が光学シースルー方式のＭＲを実現する場合には、現実空間画像を呈示すべき領域は黒く塗りつぶし、それ以外の領域に仮想空間画像を描画する。
【００５４】
ＭＲ空間画像生成部１０９が仮想空間画像を描画する際には、データ記憶部１０８に保持されたデータと、視点位置姿勢算出部１０７から受け取る視点の位置姿勢および視点位置姿勢算出に利用した第一の画像特徴の識別子を利用する。データ記憶部１０８に保持されたデータと視点の位置姿勢は、ＭＲ空間画像を生成する際に必ず必要となるものである。ここでは、これらの利用方法に関する詳細の説明は割愛するが、一般的に知られている方法でＭＲ空間画像を生成する。第一の画像特徴の識別子は、仮想空間画像として描画するＣＧの選択に利用する。例えば、可動部を持つ現実物体の上にその物体と同じ形状を持つＣＧ画像を重ねる場合に、現実空間画像上に投影された第一の画像特徴が、現実物体のどの部分に配置されている（存在している）ものかによって、描画すべきＣＧを選択する。これにより、物体に対する視点位置姿勢が変わらなくとも、物体の可動部の状態によって、重畳する仮想空間画像を変えることができる。なお、センサ部１０５に観察対象である現実物体の可動状態を計測センサが含まれる場合には、その計測値を使って可動部に重畳するＣＧの描画位置を決定しても良い。
【００５５】
ＭＲ空間画像表示部１１０は、ＭＲ空間画像生成部１０９が生成したＭＲ空間画像を表示する部分で、例えばＨＭＤである。
【００５６】
以上により、特徴識別装置１２０を含むＭＲ空間呈示装置１２１では、視点位置姿勢の算出に利用する第一の画像特徴の識別に、その第一の画像特徴の周辺に配置される（存在している）第二の画像特徴の数、もしくは、トポロジーを利用することができ、それに応じた視点位置姿勢の算出や仮想空間画像の描画を行うことができる。
【００５７】
以上に説明した本実施例における特徴認識処理を含むＭＲ空間呈示処理のフローチャートを図２に示し、以下に説明する。
【００５８】
処理が始まると、まず、画像撮影部１０１が現実空間画像を撮影し、撮影された現実空間画像が第一特徴抽出部１０２、第二特徴抽出部１０３、ＭＲ空間画像生成部１０９へ送出される（ステップＳ２０１）。
【００５９】
続いて、第一特徴抽出部１０２において、現実空間上／現実物体上にあらかじめ配置されている（もしくは存在している）第一の画像特徴が投影される画像領域を、現実空間画像中から抽出する処理が行われ、その処理結果である第一の画像特徴が投影される画像領域の画像座標およびその大きさが、第二特徴抽出部１０３へ送出される（ステップＳ２０２）。
【００６０】
続いて、第二特徴抽出部１０３において、第一の画像特徴が投影される画像領域の周辺領域を第一の画像特徴が投影される画像領域の画像座標と大きさから特定し、その領域を対象に、現実空間上／現実物体上にあらかじめ配置されている（もしくは存在している）第二の画像特徴が投影される画像領域を抽出する処理が行われる。続いて、その処理結果から第一の画像特徴の周辺に存在する第二の画像特徴の数、もしくは、トポロジー、もしくはその両方が認識され、その認識結果が、対応する第一の画像特徴が投影される画像領域の画像座標とともに第一特徴識別部１０４へ送出される（ステップＳ２０３）。先に説明したように、第二の画像特徴が投影される画像領域の抽出は、画像全体を対象に行っても良い。
【００６１】
続いて、第一特徴識別部１０４において、第二特徴抽出部１０３から受け取った第二の画像特徴の数、もしくは、トポロジー、もしくはその両方に基づいて、第一の画像特徴の識別が行われ、その識別結果である識別子が、第一の画像特徴が投影される画像領域の画像座標と共に、視点位置姿勢算出部１０７へ送出される（ステップＳ２０４）。
【００６２】
続いて、第一特徴抽出部１０２で行われる第一の画像特徴の抽出処理が、画像撮影部１０１で撮影された現実空間画像全体に対して行われたかどうかが確認される（ステップＳ２０５）。画像全体に対して処理が終わっていなければ処理はステップＳ２０２へ戻り、終わっていれば次のステップＳ２０６へ進む。
【００６３】
ステップＳ２０６では、第一特徴識別部１０４から受け取る識別子より特定される第一の画像特徴の位置情報（現実空間座標もしくは現実物体上座標）を第一特徴位置記憶部１０６から取り出し、取り出した第一の画像特徴の位置情報と、第一特徴識別部１０４から受け取る第一の画像特徴が投影される画像領域の画像座標の関係を満たすような撮影視点の位置および姿勢を算出する。この時、ＭＲ空間呈示装置１２１にセンサ部１０５が存在し、センサ部１０５に観察対象である現実物体の可動状態を計測センサが含まれる場合には、視点位置姿勢の算出を行う前に、その計測処理を行い、第一の画像特徴の位置情報を修正する。同様に、ＭＲ空間呈示装置１２１にセンサ部１０５が存在し、センサ部１０５が視点位置姿勢の計測を行う場合には、視点位置姿勢の算出を行う前に、その計測処理を行い、視点位置姿勢の算出に利用する。算出された視点位置姿勢は、ＭＲ空間画像生成部１０９へ送出される。
【００６４】
続いて、ＭＲ空間画像生成部１０９において、画像撮影部１０１から受け取る現実空間画像、視点位置姿勢算出部１０７から受け取る視点位置姿勢および第一の画像特徴の識別子、データ記憶部１０８から取り出すカメラパラメータやＣＧデータ等、そしてセンサ部１０５に観察対象である現実物体の可動状態を計測センサが含まれる場合にはその計測値、を利用して、ＭＲ空間画像が生成され、その画像がＭＲ空間画像表示部１１０において表示される（ステップＳ２０７）。
【００６５】
ステップＳ２０７を終えると、処理全体を終了するかどうかを確認し、終了しない場合はステップＳ２０１へ戻る（ステップＳ２０８）。
【００６６】
以上のように、第一の実施例によれば、配置の自由度が高く、かつ、識別可能な種類の多い画像特徴である、第二の画像特徴を周囲に伴う第一の画像特徴を利用して、ＭＲの実現に必要となる視点の位置および姿勢を求めることができる。
【００６７】
（変形例１）
上記第一の実施例においては、第一の画像特徴の識別に第二の画像特徴を利用している。この仕組みを階層的に適用し、新たに第三の画像特徴を第二の画像特徴の周辺に配置して、第三の画像特徴の数、もしくは、トポロジー、もしくはその両方を利用して、第二の画像特徴の識別を行っても良い。これによれば、全体としてさらに多くの種類の識別が可能な画像特徴を利用した、ＭＲの実現に必要となる視点の位置および姿勢の算出が実現できる。さらに階層的に利用して、第四の画像特徴、第五の画像特徴、・・・といった画像特徴を利用しても良い。
【００６８】
（変形例２）
上記第一の実施例においては、全ての第一の画像特徴がそれぞれ区別できるように、各第一の画像特徴に対して固有の識別子、すなわち、固有の、第二の画像特徴の数、もしくは、トポロジー、もしくはその組み合わせを割り当てている。これを変形した実施例として、複数の第一の画像特徴に対して、ある一つの識別子、すなわち、ある一つの、第二の画像特徴の数、もしくは、トポロジー、もしくはその組み合わせを割り当てても良い。例えば、第一の画像特徴が所属するグループを、第二の画像特徴を使って識別する場合である。具体的には、図９に示すような、現実空間画像に写っているのが、現実物体の中側であるか外側であるかを画像特徴から判断したい場合である。
【００６９】
この変形例２が示す内容は、同じグループの第一の画像特徴が、同一形状（配置）の第二の画像特徴を持つということではなく、同じ数、もしくは、同じトポロジー、もしくはその同じ組み合わせの第二の画像特徴を持つという意味である。つまり、同じ識別子を与えた第一の画像特徴同士が、必ずしも同一形状（配置）の第二の画像特徴を伴わなくても良い。よって、この変形例２によれば、同じ識別子を示す第二の画像特徴を、配置したい場所に応じて設計することができる。その例を、図１０に示す。
【００７０】
（他の実施例）
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラミングコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【００７２】
本発明の上記記憶媒体に適用する場合、その記憶媒体には先に説明した図２に示したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００７３】
【図１】第一の実施例における特徴識別装置を含むＭＲ空間呈示装置の構成を示す図である。
【図２】第一の実施例における特徴識別処理を含むＭＲ空間呈示処理のフローチャートを示す図である。
【図３】第１の実施例における第一の画像特徴と第二の画像特徴の例を示す図である。
【図４】第一の画像特徴が点形状で第二の画像特徴が線形状である場合を示す図である。
【図５】第一の画像特徴の識別を第二の画像特徴の数で区別する場合の、第一の画像特徴に同じ識別子が割り当てられた２つの場合を示す図である。
【図６】第一の画像特徴の識別を第二の画像特徴のトポロジーで区別する場合の、第二の画像特徴の配置例を示す図である。
【図７】第一の画像特徴の識別を第二の画像特徴のトポロジーで区別する場合の、第一の画像特徴に同じ識別子が割り当てられた２つの場合を示す図である。
【図８】第一の画像特徴が大きな円である場合の、第二の画像特徴の例を示す図である。
【図９】第一の画像特徴が所属するグループを、第二の画像特徴を使って識別する場合の例を示す図である。
【図１０】同じ識別子を持つ画像特徴（群）を、配置したい場所に応じて設計した例を示す図である。
【特許請求の範囲】
【請求項１】
画像中から第一の画像特徴の投影領域を抽出する第一特徴抽出部と、
前記第一特徴抽出部の抽出結果に基づき、前記画像中から前記第一の画像特徴の周辺に位置する第二の画像特徴の投影領域を抽出する第二特徴抽出部と、
前記第一の画像特徴の周辺に位置する前記第二の画像特徴の数および／またはトポロジーに基づき、前記第一の画像特徴を識別する特徴識別部とを備えることを特徴とする特徴識別装置。
【請求項２】
画像中から第一の画像特徴の投影領域を抽出する第一特徴抽出ステップと、
前記第一特徴抽出部の抽出結果に基づき、前記画像中から前記第一の画像特徴の周辺に位置する第二の画像特徴の投影領域を抽出する第二特徴抽出ステップと、
前記第一の画像特徴の周辺に位置する前記第二の画像特徴の数および／またはトポロジーに基づき、前記第一の画像特徴を識別する特徴識別ステップとを備えることを特徴とする特徴識別方法。
【請求項３】
前記第一の画像特徴の色と前記第二の画像特徴の色とがお互いに異なることを特徴とする請求項２に記載の特徴識別方法。
【請求項４】
前記第一の画像特徴の形状と前記第二の画像特徴の形状とがお互いに異なることを特徴とする請求項２又は３に記載の特徴識別方法。
【請求項５】
前記第一の画像特徴の大きさと前記第二の画像特徴の大きさとがお互いに異なることを特徴とする請求項２乃至４のいずれかに記載の特徴識別方法。
【請求項６】
前記第二特徴抽出ステップは前記第二の画像特徴同士をそれぞれの色、形状、大きさのいずれか、もしくは、それらの組み合わせを用いて区別することを特徴とする請求項２乃至５のいずれかに記載の特徴識別方法。
【請求項７】
前記第一特徴識別ステップが同一グループのものとして識別する前記第一の画像特徴の周辺には、同じ数および／または同じトポロジーの第二の画像特徴が位置していることを特徴とする請求項２乃至６のいずれかに記載の特徴識別方法。
【請求項８】
請求項７に記載の特徴識別方法を実行するプログラムコード。
【請求項９】
請求項８に記載のプログラムコードを格納する記憶媒体。
【請求項１】
画像中から第一の画像特徴の投影領域を抽出する第一特徴抽出部と、
前記第一特徴抽出部の抽出結果に基づき、前記画像中から前記第一の画像特徴の周辺に位置する第二の画像特徴の投影領域を抽出する第二特徴抽出部と、
前記第一の画像特徴の周辺に位置する前記第二の画像特徴の数および／またはトポロジーに基づき、前記第一の画像特徴を識別する特徴識別部とを備えることを特徴とする特徴識別装置。
【請求項２】
画像中から第一の画像特徴の投影領域を抽出する第一特徴抽出ステップと、
前記第一特徴抽出部の抽出結果に基づき、前記画像中から前記第一の画像特徴の周辺に位置する第二の画像特徴の投影領域を抽出する第二特徴抽出ステップと、
前記第一の画像特徴の周辺に位置する前記第二の画像特徴の数および／またはトポロジーに基づき、前記第一の画像特徴を識別する特徴識別ステップとを備えることを特徴とする特徴識別方法。
【請求項３】
前記第一の画像特徴の色と前記第二の画像特徴の色とがお互いに異なることを特徴とする請求項２に記載の特徴識別方法。
【請求項４】
前記第一の画像特徴の形状と前記第二の画像特徴の形状とがお互いに異なることを特徴とする請求項２又は３に記載の特徴識別方法。
【請求項５】
前記第一の画像特徴の大きさと前記第二の画像特徴の大きさとがお互いに異なることを特徴とする請求項２乃至４のいずれかに記載の特徴識別方法。
【請求項６】
前記第二特徴抽出ステップは前記第二の画像特徴同士をそれぞれの色、形状、大きさのいずれか、もしくは、それらの組み合わせを用いて区別することを特徴とする請求項２乃至５のいずれかに記載の特徴識別方法。
【請求項７】
前記第一特徴識別ステップが同一グループのものとして識別する前記第一の画像特徴の周辺には、同じ数および／または同じトポロジーの第二の画像特徴が位置していることを特徴とする請求項２乃至６のいずれかに記載の特徴識別方法。
【請求項８】
請求項７に記載の特徴識別方法を実行するプログラムコード。
【請求項９】
請求項８に記載のプログラムコードを格納する記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−９２２７１（Ｐ２００６−９２２７１Ａ）
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願番号】特願２００４−２７６９４６（Ｐ２００４−２７６９４６）
【出願日】平成１６年９月２４日（２００４．９．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願日】平成１６年９月２４日（２００４．９．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]