【課題】 マーカパターンの頑健性の低下を抑制しつつ、最適なマーカパターンを安定的に生成可能とする。
【解決手段】 複数の画像を入力する映像入力手段１０と、複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す配置手段２０と、空間における特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段４０と、特異特徴を用いてマーカを生成するマーカ生成手段５０と、複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段３０とを備え、特異特徴選択手段４０が、低出現物体に対応する特徴点が排除された所定の空間から特異特徴を選択する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マーカを生成するマーカ生成装置、このマーカ生成装置を備えたマーカ生成検出システム、マーカ生成機能を有したマーカ生成検出装置、そのマーカ生成装置で生成されるマーカ、そのマーカを生成するマーカ生成方法、及び、このマーカ生成方法を実行するためのマーカ生成プログラムに関する。
【背景技術】
【０００２】
ある空間内に所望の物体が存在するか否かを判別する手法には、次のようなものがある。
例えば、マーカ生成段階で、マーカが存在しない空間の画像を背景映像として映像入力手段により撮影し、その背景映像から特徴点を抽出し、この特徴点を不変量特徴空間に写像して不変特徴とし、この不変特徴が表れなかった部分を特異特徴とし、この特異特徴にもとづいてマーカパターンを生成し、マーカ検出段階で、マーカが付された物体を含む空間の画像を検出対象映像として撮影し、この検出対象映像から特徴点を抽出し、この特徴点の配置の中にマーカパターンから抽出された特徴点の配置と一致するものがあるか否かを判断し、一致するものがあるときは、これをマーカとして検出する技術がある（例えば、特許文献１参照。）。
【０００３】
この技術によれば、マーカ生成段階において、背景映像に表れていないパターンをマーカパターンとして生成することができる。このため、マーカ検出段階においては、検出対象映像のうちマーカが存在しないところからマーカが誤って検出されることがなくなり、物体に付されたマーカを確実に検出することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第ＷＯ２００８／０９０９０８号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載の技術（以下、「文献技術」と称する）においては、次のような状況があった。
【０００６】
まず、同文献技術においては、映像入力手段として一台のカメラを想定しており、このカメラが撮影した一枚の背景映像（フレーム画像）にもとづいてマーカパターンを生成していた。
ところが、カメラは、一台だけで使用する場合もあれば、複数台設置して使用する場合もある。また、ワンシーンのみ撮影するものもあれば、長時間にわたって複数シーンを撮影するものもある。さらに、アクティブカメラや自走カメラなどのように、背景映像を様々な角度で撮影したり、時間を追って異なる被写体を撮影したりするものもある。
これらアクティブカメラ等を文献技術の映像入力手段に用いた場合において、マーカパターンを一枚の背景映像のみから生成すると、この生成に用いられなかった背景映像に対するマーカパターンの頑健性（マーカ検出の確実さ）が低いものとなってしまう。
このため、背景映像として複数枚のフレーム画像を撮影するカメラが映像入力手段として使用された場合でも、頑健性の高いマーカパターンを生成できる技術の提案が求められていた。
【０００７】
また、映像入力手段が撮影した背景映像には、様々な物体が映し出される。
ここで、それら映し出された物体がすべて固定したものであるときに生成されるマーカパターンと、同じ背景映像の中に動く物体（動体）が存在したときに生成されるマーカパターンとは、異なったものとなる。また、動体の有無だけでなく、動体の変形、動体と他の物体との交差など（以下、これらを「動体」と総称する）によっても、マーカパターンは異なってくる。
【０００８】
ただし、動体は、一時的あるいは偶発的に発生するものである。つまり、マーカ生成段階で一時的あるいは偶発的に現れた動体が、マーカ検出段階で再び現れる可能性は低い。また、変形する動体の場合、この動体にもとづく特徴点の配置は終始変化するため、マーカ検出段階で同じ配置が出現する可能性は非常に低いと考えられる。マーカの生成にあたっては、背景パターンとの誤認を無くす必要があるが、背景に現れることのないパターンとの差異までも図る必要はない。つまり、マーカ検出段階で検出対象映像に現れる可能性のほとんどない動体をも考慮してマーカを生成する必要はないといえる。
【０００９】
しかも、背景映像に動体が映し出されると、この動体の存在により特徴点や不変特徴が増加することから、特異特徴が減少し、マーカパターンの頑健性が低下する。
そこで、背景映像に動体が映し出された場合でも、マーカパターンの頑健性の低下を抑制して、最適なマーカパターンを安定的に生成する技術の提案が求められていた。
【００１０】
本発明は、上記の状況にかんがみなされたものであり、複数枚の背景映像を撮影するカメラが映像入力手段として使用された場合でも、頑健性の高いマーカパターンを生成可能とするとともに、一時的又は偶発的に発生する物体や状態等の動体が背景映像に含まれる場合でも、マーカパターンの頑健性の低下を抑制しつつ、最適なマーカパターンを安定的に生成可能とするマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムの提供を目的とする。
【課題を解決するための手段】
【００１１】
この目的を達成するため、本発明のマーカ生成装置は、複数の画像を入力する映像入力手段と、複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す配置手段と、空間における特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、特異特徴を用いてマーカを生成するマーカ生成手段と、複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段とを備え、特異特徴選択手段が、低出現物体に対応する特徴点が排除された所定の空間から特異特徴を選択する構成としてある。
【００１２】
また、本発明のマーカ生成検出システムは、マーカ生成装置とマーカ検出装置とを備え、マーカ生成装置が、複数の画像を入力する第一映像入力手段と、この第一映像入力手段で入力された複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す第一配置手段と、空間における特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、特異特徴を用いてマーカを生成するマーカ生成手段と、複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段とを有し、特異特徴選択手段が、低出現物体に対応する特徴点が排除された所定の空間から特異特徴を選択し、マーカ生成手段が、特異特徴を用いてマーカを生成し、マーカ検出装置が、マーカを記憶するマーカ記憶手段と、画像を入力する第二映像入力手段と、この第二映像入力手段で入力された画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、所定の空間に表された特徴点群の配置の中に、マーカにもとづく特徴点の配置があるか否かを判断する照合手段とを有した構成としてある。
【００１３】
また、本発明のマーカ生成検出装置は、複数の画像を入力する第一映像入力手段と、この第一映像入力手段で入力された複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す第一配置手段と、空間における特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、特異特徴を用いてマーカを生成するマーカ生成手段と、マーカを記憶するマーカ記憶手段と、画像を入力する第二映像入力手段と、この第二映像入力手段で入力された画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、所定の空間に表された特徴点群の配置の中に、マーカに対応する特徴点の配置があるか否かを判断する照合手段と、第一映像入力手段で入力された複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段とを有し、特異特徴選択手段が、低出現物体に対応する特徴点が排除された所定の空間から特異特徴を選択する構成としてある。
【００１４】
また、本発明のマーカは、複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表し、複数の画像への出現頻度が低い物又は物の状態を低出現物体とし、この低出現物体に対応する特徴点が排除された所定の空間において特徴点が所定数以下の部分を特異特徴として選択し、この選択された特異特徴を用いて生成された構成としてある。
【００１５】
また、本発明のマーカ生成方法は、複数の画像を入力する工程と、複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す工程と、空間における特徴点が所定数以下の部分を特異特徴として選択する工程と、特異特徴を用いてマーカを生成する工程とを有し、複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する工程と、低出現物体に対応する特徴点が排除された所定の空間から特異特徴を選択する工程とを有した方法としてある。
【００１６】
また、本発明のマーカ生成プログラムは、複数の画像を入力する工程と、複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す工程と、空間における特徴点が所定数以下の部分を特異特徴として選択する工程と、特異特徴を用いてマーカを生成する工程とを有し、複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する工程と、低出現物体に対応する特徴点が排除された所定の空間から特異特徴を選択する工程とをマーカ生成装置に実行させる構成としてある。
【発明の効果】
【００１７】
本発明のマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムによれば、複数枚の背景映像を撮影するカメラが映像入力手段として使用された場合には、それら複数枚の背景映像を用いてマーカパターンを生成することとしたので、頑健性の高いマーカパターンを生成できる。
また、複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出し、これを排除したかたちでマーカを生成することとしたので、背景映像に動体が含まれる場合でも、マーカパターンの頑健性の低下を抑制しつつ、最適なマーカパターンを安定的に生成することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第一実施形態におけるマーカ生成装置の構成を示すブロック図である。
【図２】本発明の第一実施形態におけるマーカ生成装置の詳細な構成を示すブロック図である。
【図３】複数のフレーム画像で構成される背景映像を示す図である。
【図４】動体が映し出された背景映像を示す図である。
【図５】複数の特徴点が配置された特徴空間を示す図である。
【図６】特徴空間に配置された特徴点に番号が付された様子を示す図である。
【図７】特徴点情報テーブルの構成を示す図表である。
【図８】区画線が付された特徴空間を示す図である。
【図９】各区画ごとの名称を示す図である。
【図１０】区画座標テーブルの構成を示す図表である。
【図１１】特徴点数分布図の構成を示す図である。
【図１２】区画座標を含む特徴点情報テーブルの構成を示す図表である。
【図１３】特徴抽出手段での処理手順を示す図である。
【図１４】背景映像に動体が映し出されている場合の特徴抽出手段での処理手順を示す図である。
【図１５】特徴点累計数分布図において、動体にもとづく特徴点数を「０」にする処理を行った様子を示す図である。
【図１６】特異特徴配置図の構成を示す図である。
【図１７】特異特徴配置図の他の構成を示す図である。
【図１８】マーカの生成例を示す図である。
【図１９】本発明の第一実施形態におけるマーカ生成装置の動作手順（マーカ生成方法）を示すフローチャートである。
【図２０】本発明の第二実施形態におけるマーカ生成装置の構成を示すブロック図である。
【図２１】本発明の第二実施形態におけるマーカ生成装置の動作手順（マーカ生成方法）を示すフローチャートである。
【図２２】本発明の第三実施形態におけるマーカ生成装置の構成を示すブロック図である。
【図２３】特徴点５番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。
【図２４】特徴点１５番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。
【図２５】特徴点８９番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。
【図２６】特徴点９１番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。
【図２７】図５に示す特徴点のすべてを不変量特徴空間に写像した様子を示す図である。
【図２８】不変量特徴空間に区画線を付したところを示す図である。
【図２９】１以上の特徴点が配置された区画にグレーの網掛けが付された不変量特徴空間を示す図である。
【図３０】不変量特徴空間におけるマーカパターン生成範囲を示す図である。
【図３１】１以上の特徴点が配置された区画にグレーの網掛けが付されたマーカパターン生成範囲を示す図である。
【図３２】動体から抽出された特徴点を不変量特徴空間に配置した様子を示す図である。
【図３３】図３２に示す不変量特徴空間のうち、マーカパターン生成範囲を取り出して示した図である。
【図３４】本発明の第三実施形態におけるマーカ生成装置の動作手順（マーカ生成方法）を示すフローチャートである。
【図３５】本発明の第四実施形態におけるマーカ生成装置の構成を示すブロック図である。
【図３６】フレーム画像関連データテーブルの構成を示す図である。
【図３７】映像入力部データテーブルの構成を示す図である。
【図３８】フレーム画像−特徴空間対応テーブルの構成を示す図である。
【図３９】動体検出手段の構成を示すブロック図である。
【図４０】動体検出データテーブルの構成を示す図である。
【図４１】映像入力制御手段の構成を示すブロック図である。
【図４２】映像入力部の動作設定が「固定」の場合において、最大撮影範囲における撮影制限範囲を指定した様子を示す図である。
【図４３】映像入力部の動作設定が「パン」の場合において、最大撮影範囲における撮影制限範囲を指定した様子を示す図である。
【図４４】映像入力部の動作設定が「チルト」の場合において、最大撮影範囲における撮影制限範囲を指定した様子を示す図である。
【図４５】映像入力部の動作設定が「ズーム」の場合において、最大撮影範囲における撮影制限範囲を指定した様子を示す図である。
【図４６】映像入力部の動作設定が「固定」の場合において、撮影範囲を変更した様子を示す図である。
【図４７】映像入力部の動作設定が「固定」の場合において、撮影範囲を変更した他の様子を示す図である。
【図４８】映像入力部の動作設定が「パン」の場合において、撮影範囲を変更した様子を示す図である。
【図４９】映像入力部の動作設定が「チルト」の場合において、撮影範囲を変更した様子を示す図である。
【図５０】映像入力部の動作設定が「ズーム」の場合において、撮影範囲を変更した様子を示す図である。
【図５１】本発明の第四実施形態におけるマーカ生成装置の動作手順（マーカ生成方法）を示すフローチャートである。
【図５２】映像入力制御の処理手順を示すフローチャートである。
【図５３】マーカ生成装置の他の構成を示すブロック図である。
【図５４】マーカ生成装置のさらに他の構成を示すブロック図である。
【図５５】マーカ生成装置の別の構成を示すブロック図である。
【図５６】本発明の第五実施形態におけるマーカ生成装置の構成を示すブロック図である。
【図５７】本発明の第五実施形態におけるマーカ生成装置の詳細な構成を示すブロック図である。
【図５８】複数の映像入力部がそれぞれ背景映像を入力した様子を示す図である。
【図５９】複数のフレーム画像から特徴点を抽出した様子を示す図である。
【図６０】複数の特徴空間に配置された特徴点を不変量特徴空間に写像した様子を示す図である。なお、図５９に比べて、縮尺を小さくしてある。
【図６１】不変特徴情報テーブルの構成を示す図表である。
【図６２】フレーム画像−不変量特徴空間対応テーブルの構成を示す図表である。
【図６３】不変特徴情報累積テーブルの構成を示す図表である。
【図６４】不変特徴情報合成テーブルの構成を示す図表である。
【図６５】複数の不変特徴を一の不変特徴合成空間に配置した様子を示す図である。
【図６６】不変特徴合成空間から不変特徴合成数分布図を作成し、動体にもとづく特徴点について「０」にする処理を行う様子を示す図である。
【図６７】動体検出データテーブルの構成を示す図表である。
【図６８】本発明の第五実施形態におけるマーカ生成装置の動作手順（マーカ生成方法）を示すフローチャートである。
【図６９】本発明の第六実施形態におけるマーカ生成装置の構成を示すブロック図である。
【図７０】第六実施形態における映像入力制御手段の構成を示すブロック図である。
【図７１】本発明の第六実施形態におけるマーカ生成装置の動作手順（マーカ生成方法）を示すフローチャートである。
【図７２】映像入力制御の処理手順を示すフローチャートである。
【図７３】マーカ検出装置の構成を示すブロック図である。
【図７４】マーカ検出装置の詳細な構成を示すブロック図である。
【図７５】検出対象映像の例を示す図である。
【図７６】検出対象映像から抽出された特徴点の例を示す図である。
【図７７】マーカ検出方法の手順を示すフローチャートである。
【図７８】マーカ生成検出装置の構成を示すブロック図である。
【図７９】マーカ生成検出装置の詳細な構成を示すブロック図である。
【図８０】マーカ生成検出システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係るマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムの好ましい実施形態について、図面を参照して説明する。
【００２０】
［マーカ生成装置及びマーカ生成方法の第一実施形態］
まず、本発明のマーカ生成装置及びマーカ生成方法の第一実施形態について、図１を参照して説明する。
同図は、本実施形態のマーカ生成装置の構成を示すブロック図である。
【００２１】
図１に示すように、マーカ生成装置１ａは、映像入力手段１０と、配置手段である特徴抽出手段２０と、動体検出手段３０と、特異特徴選択手段４０と、マーカパターン生成手段５０とを備えている。
【００２２】
ここで、映像入力手段１０は、図２に示すように、映像入力部１１と、映像記憶部１２とを有している。
映像入力部１１は、背景映像を入力する。
背景映像は、マーカ生成装置１ａにより生成されるマーカを使用する前の環境（マーカが存在しない環境）を撮影したものである。例えば、マーカが付された物体を搬送するベルトコンベアがある場合に、その物体を搬送していない状態のベルトコンベア及びその周辺を撮影した映像などが該当する。
この背景映像は、動画像（映像）であってもよく、また、所定時間間隔で撮影した複数枚の静止画像であってもよい。
さらに、背景映像には、ライブ映像、録画映像、配信映像などを含むことができる。
【００２３】
また、映像入力部１１は、自身が撮像デバイスを有することができる。この場合、映像入力部１１は、当該マーカ生成装置１ａが設置された場所の周囲の様子を背景映像として撮影することができる。
さらに、映像入力部１１は、当該マーカ生成装置１ａ以外の装置で取り込まれた背景映像を、通信ネットワークや通信ケーブルなどを介して入力することもできる。
【００２４】
この映像入力部１１が撮影又は入力した背景映像の例を、図３（i-11）〜（i-15）、図４（i-21）〜（i-25）に示す。
撮影角度（カメラアングル）が同じであって、写し出されている物がすべて静止している場合、背景映像は、図３（i-11）〜（i-15）に示すように、どの撮影時刻においても同じになる。これに対し、背景映像に動く物体（動体）が映し出された場合、その動体が写し出された画像（図４（i-23））と、他の画像（図４（i-21）、（i-22）、（i-24）、（i-25））とは、その動体がある部分で異なっている。
【００２５】
ここで、動体とは、時間の経過とともに位置や形状、色、テクスチャなどの状態等が変化するもの、言い換えれば、特徴抽出手段２０で抽出される特徴点（後述）が時間の経過とともに変化するものをいう。
すなわち、この動体には、例えば、存在する位置が変わっていくもの、位置はそのままで形状などが変化するもの、存在する位置と形状等の両方が変化するもの、発生が短時間のものなどがある。
存在する位置が変わっていくものには、例えば、ベルトコンベアで運ばれている物、走行中の自動車、投げられたボールなどがある。
位置はそのままで形状などが変化するものには、例えば、風になびくカーテン、羽根が回転しながら首を振る扇風機、まわる回転灯、モニタに映し出された映像などがある。
存在する位置と形状等の両方が変化するものには、例えば、歩いている人、動いている動物、転がる石、落ちている葉、人などによって動かされている物（ランナーが持つ旗、コンベア搬送による製造過程にあるパン）などがある。
発生が短時間のものには、例えば、煙、土埃、打ち上げられた花火などがある。
【００２６】
また、特徴点を色相、明度、彩度によって抽出する場合、動体には、色相、明度、彩度が変化するものが含まれ、テクスチャが変化するものも含まれる。
さらに、動体には、非剛体が含まれる。非剛体とは、剛体でないもの、すなわち、外部又は内部からの力に対して変形するものをいう。この非剛体には、例えば、風になびくカーテン、指で抑えつけられたボールなどが含まれる。
【００２７】
映像記憶部１２は、背景映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。背景映像を構成する静止画フレームとは、例えば、図３（i-11）〜（i-15）に示す各画像の一枚一枚をいう。
また、映像記憶部１２は、複数のフレーム画像のそれぞれに付された番号（例えば、シリアル番号）を記憶する。この番号は、一枚のフレーム画像を一意に特定する。図３においては、（i-11）、（i-12）、（i-13）、・・・などの番号が該当する。
さらに、映像記憶部１２は、フレーム画像が撮影された時刻、フレーム画像を撮影した装置を特定する情報（フレーム画像が外部入力されたものである場合）などを記憶することもできる。
【００２８】
特徴抽出手段２０は、図２に示すように、特徴抽出部２１と、特徴記憶部２２とを有している。
特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出す。そして、特徴抽出部２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
特徴抽出部２１は、画像特徴として、例えば、図形的に特徴的な特性を数値化したものを用いることができる。
これには、例えば、１９９８年ＩＥＥＥコンピュータビジョン・パターン認識会議予稿集に掲載されているTommasiniらによる「Making good features track better」に記載されている方法を使用することができる。この方法は、画像中の物体形状に頂点、線状の物体の交差点、端点などを抽出することができる。そして、それらの点の画像上での位置座標情報の系列を図形的特徴とすることができる。例えば、図３（i-11）のフレーム画像に対して、この方法で特徴点を抽出すると、図５に示すように、特徴点が複数配置される。特徴点の一つ一つは、座標により管理することができる。
なお、特徴点が配置された空間を特徴空間という。この特徴空間は、二次元空間であってもよく、また、三次元空間であってもよい。本実施形態の特徴空間は、二次元空間とする。
【００２９】
また、他の方法としては、例えば、Montanariによる１９７１年Communications of ACM、１４巻に掲載されている「On the option detection of curves in noisy pictures」に記載の方法がある。これは、基準点からの距離、相対角度を記憶するＲテーブルの内容を特徴として使用することができる。この際、基準点をすべての特徴位置に対して設定し、網羅的に特徴を抽出しておくことで、部分的な特徴の欠損に対してマーカの検出が頑健となる。
さらに、他の特徴抽出方法としては、例えば、画像上の各画素の輝度値、あるいは色差値を特徴とする方法がある。
【００３０】
次いで、特徴抽出部２１は、図６に示すように、特徴点のそれぞれにシリアル番号を付与する。このシリアル番号は、例えば、最も上に位置するものから順番に１、２、３、４、・・・のように付与することができる。
続いて、特徴抽出部２１は、特徴点のそれぞれの座標を求める。座標は、図６に示すように、特徴空間にＸ軸とＹ軸を設定し、Ｙ軸からの距離をＸ座標、Ｘ軸からの距離をＹ座標とすることができる。
【００３１】
そして、特徴抽出部２１は、それら特徴点のシリアル番号や座標を特徴記憶部２２に記憶させる。特徴記憶部２２は、それらシリアル番号等を、図７に示すように、「特徴点情報テーブル」として記憶することができる。
「特徴点情報テーブル」は、同図に示すように、「フレーム画像のシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）と、「特徴点を位置する区画の座標」（オ）と、「特徴点に関する情報」（カ）を項目として構成することができる。
「フレーム画像のシリアル番号」は、特徴点を抽出したフレーム画像に付された番号を示す。
「特徴点に関する情報」は、例えば、特徴として認識された要素（エッジ、交差など）、特徴点が位置する画素の色相、明度、彩度などを含むことができる。
なお、「特徴点を位置する区画の座標」については、後述する。
【００３２】
次いで、特徴抽出部２１は、図８に示すように、特徴空間に格子状のメッシュを付して、複数の区画に分ける。
このとき、特徴抽出部２１は、各区画の座標を算出する。この各区画の座標は、各区画を仕切る線（区画線）の座標で表すことができる。
【００３３】
例えば、図９に示すように、仕切り線の座標を、ｘ１，ｘ２，ｘ３，・・・、ｙ１，ｙ２，ｙ３，・・・とする。
また、各区画の名称を、区画（1,1）、区画（1,2）、区画（1,3）、・・・、区画（2,1）、区画（2,2）、区画（2,3）、・・・とする。このうち、区画（1,1）は、座標（0,0）-（x1,0）-（x1,y1）-（0,y1）-（0,0）で囲まれた範囲となる。
ここで、x1は、Ｘ方向の第一本目の区画線のｘ座標である。また、y1は、Ｙ方向の第一本目の区画線のｙ座標である。これにより、区画（1,1）の座標は、図１０に示すように、（x1,y1）として表すことができる。
同様に、区画（2,1）の座標は、（x2,y1）、区画（3,1）の座標は、（x3,y1）、区画（1,2）の座標は、（x1,y2）、区画（2,2）の座標は、（x2,y2）として表すことができる。
これら各区画の名称と座標との関係を、図１０に示す。それら各区画の名称と座標は、区画座標テーブルとして、特徴記憶部２２に記憶させることができる。
【００３４】
また、一つの区画の大きさは、任意に設定できる。ただし、一つの区画の大きさは、特徴点が存在しない区画が特徴空間の中で少なくとも２〜３個以上存在するように定めるのが望ましい。
【００３５】
続いて、特徴抽出部２１は、各区画ごとに特徴点の数を求める。
この各区画ごとの特徴点の数の算出は、各区画の座標と、各特徴点の座標とを用いて行うことができる。
算出された各区画ごとの特徴点の数は、図１１に示すように、特徴点数分布図として表すことができる。この特徴点数分布図は、特徴記憶部２２に記憶される。
なお、図１１においては、わかりやすいように、特徴点が１つ以上存在した区画にグレーの網掛けを付して表示してある。
【００３６】
また、特徴抽出部２１は、特徴点ごとに、当該特徴点と、当該特徴点が位置する区画の座標を関連付ける。例えば、特徴点１が位置する区画の座標は、図８に示すように、（x7,y1）である。そこで、特徴抽出部２１は、図１２に示すように、特徴点情報テーブルの「特徴点が位置する区画の座標」において、特徴点１と、区画の座標（x7,y1）とを関連付け、これを特徴記憶部２２に記憶させる。
【００３７】
さらに、特徴抽出部２１は、複数のフレーム画像について、各区画ごとの特徴点数を求め、各区画ごとに累計する。
この特徴抽出部２１が行う処理については、図１３を参照して説明する。
図１３に示すように、特徴抽出部２１は、フレーム画像（i-11）から特徴点を抽出すると（同図（ii-11））、この特徴空間にメッシュを掛け、区画毎の特徴点数を算出する（同図（iii-11））。
次いで、特徴抽出部２１は、次のフレーム画像（i-12）から特徴点を抽出すると（同図（ii-12））、この特徴空間にメッシュを掛け、区画毎の特徴点数を算出する（同図（iii-12））。そして、特徴抽出部２１は、フレーム画像（i-11）にもとづく区画毎の特徴点数（同図（iii-11），（iv-11））に、フレーム画像（i-12）にもとづく区画毎の特徴点数（同図（iii-12））を、区画毎に加算する（同図（iv-12））。
【００３８】
続いて、特徴抽出部２１は、次のフレーム画像（i-13）から特徴点を抽出すると（同図（ii-13））、この特徴空間にメッシュを掛け、区画毎の特徴点数を算出する（同図（iii-13））。そして、特徴抽出部２１は、フレーム画像（i-12）、（i-11）にもとづく区画毎の特徴点数の累計（同図（iv-12））に、フレーム画像（i-13）にもとづく区画毎の特徴点数（同図（iii-13））を、区画毎に加算する（同図（iv-13））。
このように、特徴抽出部２１は、１枚のフレーム画像にもとづく区画毎の特徴点数を算出すると、一つ前までのフレーム画像にもとづく区画毎の特徴点数の累計に加算していく。これにより、特徴抽出部２１は、映像入力部１１で入力された複数のフレーム画像のすべてについて特徴点を抽出し、区画毎の特徴点数の累計を算出する。
なお、図１３（iv-11）〜（iv-15）に示す特徴点数分布図を、特に「特徴点累計数分布図」という。
【００３９】
ここまでの説明では、図１３を用いて、動体が映し出されていないフレーム画像について述べた。
しかしながら、フレーム画像には、図４（i-23）に示すように、動体が映し出されることがある。この場合、特徴抽出部２１は、図１４に示すように、その動体の存在にもとづいて特徴点を抽出する（同図（i-23）、（ii-23））。次いで、特徴抽出部２１は、区画毎の特徴点数を算出する際、動体にもとづく特徴点についても算出し（同図（iii-23））、一つ前までのフレーム画像にもとづく区画毎の特徴点数の累計に加算する（同図（iv-23））。
なお、その後に撮影されたフレーム画像において動体が映し出されていない場合でも、特徴点累計数分布図には、動体にもとづく特徴点の存在によりカウントされた特徴点数がそのまま累計数として記憶される（同図（iv-24）、（iv-25））。
【００４０】
特徴記憶部２２は、所定のメモリ領域を保持している。この特徴記憶部２２は、特徴抽出部２１で実行された処理に関する各種データを記憶する。特に、特徴記憶部２２は、「特徴点情報テーブル」、「フレーム画像−特徴空間対応テーブル」、「区画座標テーブル」、「特徴点数分布図」、「特徴点累計数分布図」を記憶することができる。
なお、特徴抽出手段２０は、特徴点を抽出して所定の空間（特徴空間）に配置することから、「配置手段」としての機能を有している。
【００４１】
動体検出手段３０ａは、所定のタイミングで、特徴記憶部２２から各区画ごとの特徴点の累計数（特徴点累計数分布図）を取り出す。次いで、動体検出手段３０ａは、各区画ごとの各特徴点の累計数の中から、１以上所定数以下の範囲に含まれるものがあるか否かを判断する。
判断の結果、各特徴点の累計数の中に１以上所定数以下の範囲に含まれるものがあった場合、動体検出手段３０ａは、その累計数を「０」にし、これを特徴記憶部２２に記憶させる。
【００４２】
具体的には、例えば、動体検出手段３０ａは、各区画ごとの特徴点の累計数として、図１４（iv-25）に示す累計数を特徴記憶部２２から取り出す（図１５（iv-25））。
次いで、動体検出手段３０ａは、図１５（iv-25）に示す特徴点累計数分布図において、各区画ごとの各特徴点の累計数の中から、１以上所定数以下（ここでは、１以上４以下）のものを選択する。同図においては、区画座標（7,6）、（7,7）、（8,6）、（8,7）の区画に示された各累計数が該当する。
続いて、動体検出手段３０ａは、その特徴点の累計数を「０」にする処理を行い（図１５（v-25））、処理結果である「０」を含む各区画ごとの各特徴点の累計数を特徴記憶部２２に記憶させる。
【００４３】
なお、動体検出手段３０ａは、特徴点累計数分布図における各区画ごとの各特徴点の累計数の中から、１以上所定数以下の範囲に含まれるものがあると、その累計数が動体にもとづく特徴点数を累計したものであると擬制して、その累計数を「０」にする処理を行うものである。これにより、動体検出手段３０ａは、フレーム画像に映し出された物体の中から動体を検出することができる。
この動体検出手段３０ａで検出された動体は、複数のフレーム画像への出現頻度が低い物又は物の状態であることから、「低出現物体」に相当する。
【００４４】
特異特徴選択手段４０は、図２に示すように、特異特徴選択部４１と、特異特徴記憶部４２とを有している。
特異特徴選択部４１は、特徴記憶部２２から、各区画ごとの特徴点の累計数を取り出す。この取り出された各区画ごとの特徴点の累計数は、動体検出手段３０ａが動体にもとづく特徴点数を「０」にする処理を行った後の累計数である。具体的には、図１５（v-25）の特徴点累計数分布図に示す累計数が相当する。
続いて、特異特徴選択部４１は、取り出した特徴点の累計数のうち、０又は所定値以下のものを特異特徴として選択する。具体的には、図１５（v-25）の特徴点累計数分布図においては、「０」が記載された区画が選択される。これにより、特異特徴選択部４１は、映像入力手段１０で入力された背景映像に現れていない画像特徴を特異特徴として選択することができる。
【００４５】
このように、特異特徴選択部４１は、背景パターンと一致しない特徴、すなわち背景映像から抽出した特徴群が現れていない特徴空間の部位を特異特徴として選択することができる。事後に、意に反して特徴点の抽出誤差などにより、特異特徴が背景パターンと類似してしまうことを避けるために、特徴空間内で背景パターンの特徴が存在しないより大きな領域から特異特徴を選択するようにしてもよい。
【００４６】
この特異特徴の選択処理は、特徴空間中の特徴点の分布から大きな空白を見つける問題と同一視できるから、例えば、２００３年文書解析認識国際会議予稿集に掲載されている「An algorithm for Finding Maximal Whitespace Rectangles at Arbitrary Orientations for Document Layout Analysis」などのアルゴリズムを使用して、大きな空白領域を抽出しても良いし、得られた特徴点を含まない矩形領域の中心を特異特徴としても良い。
【００４７】
その他の方法としては、特徴空間を特定の大きさのメッシュで量子化し、１次元もしくは多次元のヒストグラムを生成し、特徴点の発生頻度が０となるメッシュの中心を特異特徴とするなどしても良い。頻度が０となるメッシュが存在しない場合、メッシュの大きさを小さくして、ヒストグラムをとり、頻度が０となるメッシュが現れた場合、このときのメッシュから特異特徴を選択するようにしても良い。頻度が０となるメッシュが見つからない場合は、ヒストグラムを既定値で閾値処理し、既定値以下のメッシュから特異特徴を選択しても良い。
【００４８】
特異特徴選択部４１が選択した特異特徴の例を、図１６、図１７に示す。図１６に示す特異特徴配置図においては、特異特徴とされた区画を白色で表し、特異特徴とされなかった区画をグレーの網掛けで表している。図１７は、図１６に示す特異特徴配置図にもとづき、特異特徴の中心と特異特徴配置図の中心点とを黒丸「●」で表した図である。
なお、図１５（v-25）においては、特異特徴（特徴点数の累計数が０の区画）が８２個存在するが、マーカパターンの生成処理の説明を容易にするため、特異特徴は、図１６、図１７に示すように選択されたものとする。
【００４９】
特異特徴選択部４１は、選択した特異特徴の座標を求める。例えば、特異特徴選択部４１は、図１６に示す特異特徴配置図において、特異特徴の座標を（2,6）、（5,2）、（5,4）、（5,5）、（7,6）とする。
特異特徴記憶部４２は、特異特徴の座標を記憶する。
【００５０】
マーカパターン生成手段５０は、図２に示すように、マーカパターン生成部５１と、マーカ記憶部５２とを有している。
マーカパターン生成部５１は、特異特徴記憶部４２から特異特徴の座標を取り出し、この特異特徴の座標にもとづいてマーカパターンを生成する。
【００５１】
マーカパターンの生成方法には、種々の方法がある。
例えば、画像中の頂点、交差点、端点を特徴点として使用する場合を例に説明する。
前述した「On the option detection of curves in noisy pictures」に記載の方法などにもとづく場合、マーカパターンの生成に必要になる、特徴点群の検出は、特徴抽出手段２０で使用している特徴点検出アルゴリズムに依存する。
【００５２】
例えば、下記のようなマーカパターンの生成方法が例として挙げられる。
(1)特異特徴位置に交差点を配置したパターン（図１８（１））
(2)特異特徴の凸包を求め、内部を特定の色で塗り潰す。さらに、凸包に使用されなかった特異特徴を用いて再度凸包を求め、内部を別の色で塗り潰す。このような処理を、すべての特徴が使用されるまで反復して生成されるパターン（図１８（２））
(3)特異特徴位置を頂点にもつ、水平垂直の辺を有する、塗り潰した矩形の集合からなるパターン（図１８（３））
(4)特異特徴点の最近傍点間を線分で結んだパターン（図１８（４））
【００５３】
なお、特徴抽出手段２０が明度値又は色差値を使用して特徴を抽出した場合、マーカを物体に付する装置は、特異特徴に対応する明度値、色差値に対応する塗料でマーカを印刷してもよい。
また、頂点、交差点、端点を図形的な特徴として利用する方法と、明度値や色差値を特徴として利用する方法とを併用することも可能である。この場合、マーカパターン生成部５１は、選定された特異特徴に対応する明度、色、形状に対応するマーカを生成すればよい。
【００５４】
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカに関するデータを記憶する。
例えば、マーカパターンが図１８（１）に示すような場合は、特異特徴の座標が記憶される。また、図１８（２）に示すような場合は、特異特徴の座標の他に、凸包を構成する線分の座標が記憶される。
【００５５】
本実施形態のマーカ生成装置１ａは、以上のような構成を有しているが、主な特徴は、動体検出手段３０ａが、特徴点累計数分布図において、各区画ごとの各特徴点の累計数のうち１以上所定数以下の範囲に含まれるものを「０」にするところにある。
この「０」にする処理が実行されるにより、特徴点累計数分布図は、動体にもとづく特徴点が抽出されなかったときと同じ状態になる。
【００５６】
これは、次の理由による。
図１５（iv-25）に示す特徴点累計数分布図において、グレーの網掛けが付された区画は、フレーム画像から特徴点が抽出された区画である。
ここで、映像入力部１１のカメラアングルが常に一定であって、そのカメラアングルに収まる物体がすべて静止物体である場合（動体が存在しない場合）、映像入力部１１が撮影した複数枚のフレーム画像のすべてに、それら静止物体が映し出される。そして、各フレーム画像から抽出される特徴点の位置は、どのフレーム画像についても同じになる。これにより、特徴点累計数分布図において、静止物体にもとづく特徴点数の累計数は、同じ区画において、フレーム画像の数に比例して増加する。
【００５７】
これに対して、動体、特に、時間の経過とともに位置が移動するものは、一つの区画内に常時位置することがなく、時間の経過とともに他の区画へ移動し、いずれフレームの外に出てしまうことが多い。また、発生時間が短い動体は、一時的に発生し、その後は、消滅してしまう。このため、それらの動きを見せる動体は、複数枚のフレーム画像の一部にしか映し出されない。このことから、特徴点累計数分布図において、動体にもとづく特徴点数は、フレーム画像の数に比例して増加することはない。
【００５８】
このように、静止物体にもとづく特徴点の数は、フレーム画像の数に応じて増加するのに対し、動体にもとづく特徴点の数は、フレーム画像の数に応じて増加することはない。このことから、各区画ごとの特徴点数の累計数の中から、フレーム画像の数よりも少ないもの（例えば、フレーム画像の数が５の場合、４以下の累計数のもの）を「０」にする処理を行うことにより、この特徴点数の累計数を動体にもとづく特徴点の累計数として特徴点累計数分布図から消去することができる。
【００５９】
ところで、動体は、発生位置又は形状が常に変化する。このため、マーカ生成時に検出された動体が、マーカ検出時に同じ位置又は形状で検出される可能性は、非常に低い。よって、マーカ生成時に検出された動体がそもそも存在しなかったものと擬制しても、マーカ検出時に問題になることはほとんどない。
また、上述した「０」にする処理を仮に行わなかった場合、動体にもとづく特徴点数がカウントされた区画は、特異特徴として選択されない。つまり、この分、特異特徴の数が減ることになる。
特異特徴は、多い方が、マーカの頑健性が高まる。ところが、動体が検出されたために特異特徴の数が減ると、マーカの頑健性が低下する。
そこで、動体が検出された場合には、「０」にする処理を行って、動体がそもそも存在しなかったものと擬制する。これにより、特異特徴の数を増やして、マーカの頑健性を高めることができる。
【００６０】
なお、静止物体と動体との配置によっては、同じ区画の中に、それら静止物体にもとづく特徴点と動体にもとづく特徴点が混在することがある。この場合、その区画の特徴点の累計数は、「０」にする必要はない。これは、その区画には、静止物体にもとづく特徴点が存在しているため、特異特徴として選択されるべきでないからである。
【００６１】
また、動体が一時的な出現ではなく、同じ箇所を何度も行き来するようなものである場合、この動体にもとづく特徴点の数を「０」にする必要はない。これは、その動体が背景映像の撮影範囲内に継続して存在する以上、その動体から形成されるパターンが、マーカの検出段階でも発生することが考えられ、このようなパターンがマーカであると誤って判断されるのを避ける必要があるからである。なお、動体が同じ箇所を何度も行き来するような場合は、特徴点数分布図においては、同じ区画で特徴点が定期的に増加していく。このため、動体検出手段３０ａは、動体から抽出された特徴点を「０」にする処理は行わない。
【００６２】
さらに、動体が、例えば風になびくカーテンのように、背景映像の撮影範囲内に継続して存在するものの、常に形状を変化させるようなものの場合、この動体から抽出した特徴点は、その発生頻度の低いものを「０」にすることができる。
これは、発生頻度の低い特徴点は、マーカ検出段階においても発生する頻度が低く、これにもとづくパターンも発生しにくいことから、マーカとの誤認が生じにくいからである。このように、背景映像に偶発的に発生したマーカパターンについては、マーカの頑健性向上の観点から、発生しなかったものとしてマーカを生成するのが、本実施形態の目的の一つでもある。
【００６３】
次に、マーカ生成装置の動作手順（マーカ生成方法）について、図１９を参照して説明する。
図１９は、マーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１ａにおいて、映像入力手段１０の映像入力部１１は、背景映像を入力する（ステップ１０）。この背景映像は、複数枚のフレーム画像で構成される。映像入力手段１０の映像記憶部１２は、映像入力部１１で入力された背景映像をフレーム画像として記憶する。
【００６４】
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出し、これら特徴点を特徴空間に配置する（ステップ１１）。
また、特徴抽出部２１は、特徴空間における特徴点の座標を算出する（ステップ１２）。この算出した座標は、特徴記憶部２２に記憶される。
【００６５】
次いで、特徴抽出部２１は、特徴空間に格子状のメッシュを付して、複数の区画に分ける（ステップ１３）。
続いて、特徴抽出部２１は、各区画ごとに特徴点の数を求める（ステップ１４）。
さらに、特徴抽出部２１は、複数のフレーム画像のそれぞれについて、特徴点の抽出、特徴空間への配置、区画ごとの特徴点数の算出を行い、これら算出した特徴点数を各区画ごとに累計する（ステップ１５）。
特徴記憶部２２は、それら区画及び区画線の座標、各区画毎の特徴点の数、各区画毎の特徴点の累計数を記憶する。
【００６６】
動体検出手段３０ａは、所定のタイミングで、特徴記憶部２２から、各区画ごとの特徴点の累計数を取り出す。次いで、動体検出手段３０ａは、それら各区画ごとの特徴点の累計数の中から、１以上所定数以下の範囲に含まれているものがあるか否かを判断する（ステップ１６）。
判断の結果、１以上所定数以下の範囲に含まれている累計数を見つけたときは、動体検出手段３０ａは、その累計数を「０」にして特徴記憶部２２に記憶させる（ステップ１７）。
一方、１以上所定数以下の範囲に含まれている累計数が見つからなかったときは、動体検出手段３０ａは、累計数を「０」にする処理を行わない。
【００６７】
続いて、特異特徴選択手段４０の特異特徴選択部４１は、特徴記憶部２２から各区画ごとの特徴点の累計数を取り出す。このとき、特異特徴選択部４１は、動体検出手段３０ａで「０」にする処理が行われた後の各区画ごとの特徴点の累計を取り出す。
そして、特異特徴選択部４１は、各区画ごとの特徴点の累計の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ１８）。
特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
【００６８】
マーカパターン生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ１９）。
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカパターンに関するデータを記憶する。
【００６９】
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、映像入力手段が背景映像として複数枚のフレーム画像を入力し、各フレーム画像から特徴点を抽出し、これらの特徴点を特徴空間に表し、この特徴空間における特徴点が所定数以下の部分を特異特徴として選択し、この特異特徴を用いてマーカパターンを生成することとしたので、アクティブカメラなどのように複数枚のフレーム画像を撮影するカメラを映像入力手段として用いた場合でも、それら複数のフレーム画像を用いてマーカパターンが生成されることから、それら複数のフレーム画像のいずれの背景パターンにも現れていないパターンによって、頑健性の高いマーカパターンを生成できる。
【００７０】
また、背景映像を長時間撮影して複数のフレーム画像を入力し、各フレーム画像から抽出した特徴点を区画ごとに累計し、各区画のうち特徴点の数が所定数以下のものについては、動体の変形、経時変化、複数物体の干渉などにより偶然に出現した低出現物体にもとづく特徴点であるとして選択し、この低出現物体にもとづく特徴点を排除してマーカパターンを生成するようにしたので、動体にもとづく特徴点の増加を抑えてマーカパターンの頑健性の低下を抑制しつつ、最適なマーカパターンを安定的に生成することができる。
さらに、映像入力手段が入力した背景映像が、変化の大きい複雑シーンの場合でも、その背景映像に現れた数多くの動体を排除したかたちでマーカパターンが生成されるため、マーカパターンの頑健性の低下を抑制しつつ、最適なマーカパターンを安定して生成できる。
【００７１】
しかも、本実施形態のマーカ生成装置及びマーカ生成方法は、特徴点数分布図において、動体（低出現物体）にもとづく特徴点のみが現れた区画の特徴点の数を「０」にすることにより、その区画が特異特徴として選択されるため、特異特徴を増やすことができ、マーカの頑健性を高めることができる。
【００７２】
なお、マーカの頑健性とは、環境に左右されないマーカ検出の確実さをいう。
例えば、マーカ検出時において、そのマーカの一部が何らかの理由で遮られた場合を想定する。ここで、マーカから抽出される特徴点が３個のとき、うち２個が遮られると、このマーカの検出は、残り１個で判断することになる。一方、その特徴点が１０個のとき、うち２個が遮られても、他の８個で判断できる。このように、特徴点の数が異なるマーカが同様の環境下に置かれた場合、特徴点が多い方が、判断要素が多くなるので、マーカを確実に検出できる。このことから、特徴点の数が多いマーカは、少ないマーカに比べて頑健性が高いと言える。
本実施形態のマーカ生成装置は、動体（低出現物体）から抽出した特徴点が無いものとして、特異特徴を選択するため、特異特徴の数が増加する。このため、マーカの頑健性を高めることができる。
【００７３】
［マーカ生成装置及びマーカ生成方法の第二実施形態］
次に、本発明のマーカ生成装置及びマーカ生成方法の第二の実施形態について、図２０を参照して説明する。
図２０は、本実施形態のマーカ生成装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、動体の検出処理が相違する。すなわち、第一実施形態では、特徴点が動体から抽出したものか否かを判断していたのに対し、本実施形態では、背景映像において動体が映し出されているか否かを判断する。他の構成要素は第一実施形態と同様である。
したがって、図２０において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
【００７４】
図２０に示すように、マーカ生成装置１ｂは、映像入力手段１０と、特徴抽出手段２０と、動体検出手段３０ｂと、特異特徴選択手段４０と、マーカパターン生成手段５０とを備えている。
ここで、動体検出手段３０ｂは、映像入力手段１０の映像記憶部１２からフレーム画像を取り出し、動体が映し出されているか否かを判断する。
動体が映し出されているか否かの判断は、次のように行うことができる。
例えば、動体検出手段３０ｂは、映像記憶部１２から図３（i-11）〜（i-15）の五枚のフレーム画像を取り出したとする。
次いで、動体検出手段３０ｂは、それら図３（i-11）〜（i-15）について、各画素の色相を検出し、これらを比較する。
【００７５】
比較の結果、図３（i-11）〜（i-15）における同じ位置の画素において、出現頻度の低い色相がある場合には、その画素が位置する座標に動体が存在すると判断することができる。
具体的には、例えば、図３（i-11）〜（i-15）は、映し出されている物体がいずれも静止物体であるため、同じ位置の画素における色相に差異がないことから、動体が存在しないものと判断される。
これに対し、図４（i-21）〜（i-25）を映像記憶部１２から取り出して比較すると、同図（i-23）のフレーム画像における動体が存在する箇所で、この箇所に位置する画素の色相が他のフレーム画像における同じ位置の画素の色相と相違する。この場合、動体検出手段３０ｂは、出現頻度の低い色相を検出した画素の座標（動体検出座標）を求め、これを映像記憶部１２へ送って記憶させる。
【００７６】
特徴抽出手段（配置手段）２０は、図２０に示すように、特徴抽出部２１と、特徴記憶部２２とを有している。
特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出す。このとき、映像記憶部１２に動体検出座標が記憶されているときは、特徴抽出部２１は、その動体検出座標も取り出す。
次いで、特徴抽出部２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。このとき、特徴抽出部２１は、動体検出座標が示す範囲においては、特徴点を抽出しないようにする。
【００７７】
例えば、映像記憶部１２から取り出したフレーム画像が図１４（i-21）に示すような画像である場合、特徴抽出部２１は、このフレーム画像について動体検出座標が記憶されていなかったことから、そのフレーム画像にもとづいて、図１４（ii-21）に示すような特徴点を抽出する。
これに対し、映像記憶部１２から取り出したフレーム画像が図１４（i-23）に示すような画像である場合、特徴抽出部２１は、このフレーム画像についての動体検出座標を映像記憶部１２から取り出す。そして、特徴抽出部２１は、そのフレーム画像にもとづいて特徴点を抽出する際に、その動体検出座標に示される範囲においては特徴点を抽出しないようにする。このように、動体にもとづく特徴点を抽出しなかった場合の特徴空間は、図１４（ii-22）などに示すようになる。
これにより、動体にもとづく特徴点が抽出されないことから、特異特徴の選択において、動体にもとづく特徴点のみが表れるはずの区画に特徴点が表れなくなるため、この区画を特異特徴として選択できる。このように、動体にもとづく特徴点が除外されることから、マーカパターンを安定して生成できる。
【００７８】
なお、本実施形態において、特徴抽出部２１は、一つのフレーム画像の中で、動体検出座標により示された範囲において、特徴点を抽出しないこととしているが、この処理に限るものではなく、例えば、動体が検出されたフレーム画像の全体において特徴点を抽出しないようにすることもできる。この場合は、動体が検出されなかったフレーム画像にもとづいて特徴点が抽出され、この特徴点にもとづいて特異特徴が選択される。
【００７９】
次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図２１を参照して説明する。
同図は、本実施形態のマーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１ｂにおいて、映像入力手段１０の映像入力部１１は、背景映像を入力する（ステップ２０）。この背景映像は、複数枚のフレーム画像で構成される。映像入力手段１０の映像記憶部１２は、映像入力部１１で入力された背景映像をフレーム画像として記憶する。
【００８０】
動体検出手段３０ｂは、所定のタイミングで、映像記憶部１２からフレーム画像を複数取り出す。次いで、動体検出手段３０ｂは、取り出したフレーム画像のそれぞれについて、各画素ごとに色相を検出する。続いて、動体検出手段３０ｂは、複数のフレーム画像における同じ位置の画素の色相を比較して、出現頻度の低い色相があるか否かを判断する。これにより、動体検出手段３０ｂは、複数毎のフレーム画像における各画素の色相を用いることで、背景映像に動体が映し出されているか否かの判断を行うことができる（ステップ２１）。
判断の結果、出現頻度の低い色相があるときは、動体検出手段３０ｂは、その部分に動体が映し出されているとし、この画素の座標を動体検出座標として算出する（ステップ２２）。動体検出手段３０ｂは、出現頻度の低い色相を検出した画素の座標を動体検出座標として求め、これを映像記憶部１２へ送って記憶させる。
一方、出現頻度の低い色相がないときは、動体検出手段３０ｂは、動体検出座標の算出は行わない。
【００８１】
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ２３）。
このとき、特徴抽出部２１は、映像記憶部１２に動体検出座標が記憶されているときは、その動体検出座標を取り出す。そして、特徴抽出部２１は、その動体検出座標が示すフレーム画像内の指定範囲においては、特徴点の抽出を行わない。
【００８２】
次いで、特徴抽出部２１は、抽出した特徴点の座標を算出する（ステップ２４）。この算出した座標は、特徴記憶部２２に記憶される。
続いて、特徴抽出部２１は、特徴空間に格子状のメッシュを付して、複数の区画に分ける（ステップ２５）。
さらに、特徴抽出部２１は、各区画ごとに特徴点の数を求める（ステップ２６）。
また、特徴抽出部２１は、複数のフレーム画像から算出した各区画ごとの特徴点数を累計する（ステップ２７）。
特徴記憶部２２は、それらメッシュの座標、各区画毎の特徴点の数、各区画毎の特徴点の累計を記憶する。
【００８３】
特異特徴選択手段４０の特異特徴選択部４１は、特徴記憶部２２から各区画ごとの特徴点の累計を取り出す。
そして、特異特徴選択部４１は、各区画ごとの特徴点の累計の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ２８）。
特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
【００８４】
マーカパターン生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ２９）。
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカパターンに関するデータを記憶する。
【００８５】
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、映像入力手段で入力された複数のフレーム画像のすべてから特徴点を抽出し、これら特徴点を用いてマーカパターンを生成することとしたので、いずれのフレーム画像においても背景パターンからのマーカ検出がない、頑健性の高いマーカパターンを生成できる。
また、背景映像に動体（低出現物体）が映し出されているときは、その映し出された動体から特徴点を抽出しないようにすることができる。これにより、特徴点数分布図において、その動体にもとづく特徴点が表れず除外される。このため、最適なマーカパターンを安定して生成できる。
【００８６】
なお、本実施形態において、動体検出手段は、複数のフレーム画像を比較して動体の存在を検出し、特徴抽出手段は、検出された動体が位置する箇所から特徴点を抽出しないようにする。
ただし、動体にもとづく特徴点の排除は、この方法に限るものではなく、例えば、次の方法を用いることができる。
動体検出手段は、動体を検出した部分の座標を記憶しておく。特異特徴選択手段は、その座標を動体検出手段から受け取る。次いで、特異特徴選択手段は、特徴空間において、その座標に対応する区画の特徴点数を「０」にする。このような処理によれば、動体にもとづく特徴点を削除し、この区画を特異特徴として選択できる。
【００８７】
［マーカ生成装置及びマーカ生成方法の第三実施形態］
次に、本発明のマーカ生成装置及びマーカ生成方法の第三実施形態について、図２２を参照して説明する。
図２２は、本実施形態のマーカ生成装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、動体の検出処理が相違する。すなわち、第一実施形態では、特徴空間における特徴点が動体から抽出した特徴点であるか否かを判断していたのに対し、本実施形態では、不変量特徴空間における区画ごとの不変特徴が動体から抽出した特徴点にもとづくものであるか否かを判断する。他の構成要素は第一実施形態と同様である。
したがって、図２２において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
【００８８】
図２２に示すように、マーカ生成装置１ｃは、映像入力手段１０と、特徴抽出手段２０と、動体検出手段３０ｃと、特異特徴選択手段４０と、マーカパターン生成手段５０と、不変特徴変換手段６０とを備えている。
なお、本実施形態においては、特徴抽出手段２０と不変特徴変換手段６０が、「配置手段」に相当する。
【００８９】
ここで、不変特徴変換手段６０は、図２２に示すように、不変特徴変換部６１と、不変特徴記憶部６２とを有している。
不変特徴変換部６１は、特徴点を不変特徴に変換する。この不変特徴変換部６１は、特徴抽出手段２０の特徴記憶部２２から「特徴点情報テーブル」を取り出し、その特徴点を不変特徴に変換し、不変特徴記憶部６２に記憶させる。
画像の特徴的な部位を抽出しその画像上での位置座標情報の系列を図形的特徴とする場合（例えば、図１３（i-11）に示す背景映像から同図（ii-11）に示す特徴点を抽出する処理の場合）、それらの不変特徴への変換は、例えば、次のように行なうことができる。便宜的に、ここでは、位置座標情報の系列を特徴点群と呼ぶこととする。ここで、簡単のため、背景が遠方にある場合の幾何学的な不変特徴について説明する。ただし、光学歪みの影響で、画像が剪断変形歪みを被る場合も特徴量が不変となるように配慮する。なお、背景が遠方にない場合などより自由度の高い不変特徴に拡張することは容易である。幾何学的不変特徴すなわちカメラと撮影対象のシーンが相対的に回転、平行移動し、剪断変形歪みを被る場合に、その相対的な位置関係変化によらず、不変な特徴量を、特徴点群の位置関係から、生成する方法の一例を説明する。
【００９０】
特徴点群から任意の３点の特徴点を選択する。他方で不変量特徴空間を直交する２軸の張る２次元平面として定義する。特徴点群から選択した特徴点のうちの一点を不変量特徴空間での原点に対応付ける。その他の２点を不変量特徴空間での、位置座標（１，０）及び（０，１）にそれぞれ対応付ける。これら３点を基底と呼ぶことにする。このとき、原画像空間から、不変量特徴空間への１対１線形写像がアフィン変換として定義できる。基底を除くすべての特徴点群を、基底により特徴付けられた同一のアフィン変換を用いて不変特徴空間へ写像すると、これら特徴点群はカメラとシーンの相対的位置関係によらず不変となる。ただし、実際には、シーンから常に同じ基底を選択できるとは限らないため、特徴点群のすべての３点の順列組み合わせから基底選択を行い、各基底に対する非基底特徴点を不変量特徴空間に写像する必要がある。
【００９１】
こうして作られた全基底と、不変量特徴空間への全特徴点の写像は、不変特徴として、不変特徴記憶部６２に記憶される。これら特徴点群が幾何変形に対して不変である理由は、他の物体を含む映像中で、マーカから選択される基底により、得られる不変特徴は、常に一致するためである。
【００９２】
ここまで説明した手法は、基底を３点とした場合であるが、基底は３点に限るものではなく、１点、２点あるいは４点以上とすることができる。次に、基底を１点にした場合について説明する。
【００９３】
あるフレーム画像から抽出した特徴点は、図５に示すように、特徴空間に配置されているものとする。また、各特徴点には、図６に示すように、シリアル番号が付されているものとする。
不変特徴変換部６１は、一つの特徴点を基底として定め、この基底が不変量特徴空間の座標（０，０）のところにくるように移動し、この移動量を求め、他のすべての特徴点についても、その移動量で不変量特徴空間に移動する。
例えば、図２３に示すように、シリアル番号５番の特徴点を基底とし、この５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動する。これにより、不変量特徴空間には、同図右に示すように特徴点が配置される。なお、不変量特徴空間に配置された特徴点を不変特徴という。
【００９４】
また、図２４に示すように、シリアル番号１５番の特徴点を基底とし、この１５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
さらに、図２５に示すように、シリアル番号８９番の特徴点を基底とし、この８９番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
そして、図２６に示すように、シリアル番号９１番の特徴点を基底とし、この９１番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
【００９５】
このように、一つの特徴点を基底として定め、この基底を不変量特徴空間の原点に移動するのに伴って、その移動量と同じ移動量ですべての特徴点を移動させる処理を、各特徴点を順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。
図５に示す特徴点を不変量特徴空間に写像した結果は、図２７に示すようになる。これが、不変量特徴空間における不変特徴の配置された状態である。
【００９６】
なお、本実施形態において、特徴点を不変量特徴空間へ写像する方法は、図２３〜図２７に示す方法とするが、写像方法は、この方法に限るものではなく、種々の方法を用いることができる。
例えば、複数の特徴点のうちの一つを第一基底、他の一つを第二基底として定め、第一基底を不変量特徴空間の座標（0,0）に移動し、第二基底を（0,1）に移動することにともない、この移動規則と同一の変換規則にしたがって、すべての特徴点を移動させ、不変量特徴空間における移動後の各特徴点（不変特徴）の座標を記憶する。続いて、他の二つの特徴点を第一基底及び第二基底として定め、これら第一及び第二基底の移動にともない同一変換規則にしたがってすべての特徴点を移動させ、不変量特徴空間における不変特徴の座標を記憶する。そして、すべての特徴点が第一及び第二基底として定められ、不変量特徴空間における不変特徴の座標の蓄積が完了すると、不変量特徴空間への写像が終了する。
【００９７】
また、上述の説明は、幾何学的不変量に関するものであるが、幾何学的不変量のほかに種々の不変量を使用してもよい。
例えば、物体色を不変量として用いることができる。
物体の色は、同一物体であっても撮影環境に存在する光源色に依存して、異なった色で撮影されてしまう。画像上から光源色変動の影響を分離して取り除くことができれば、実際の物体色を得ることができる。得られる実際の物体色を物体色不変量として使用してもよい。鏡面反射している箇所は光源色の影響が支配的で、輝度値が光源色成分において飽和しやすいため、これを光源色とみなして、飽和箇所に対応する色成分を不変特徴として選択しないようにしてもよい。
【００９８】
他にも、画像から物体色を推定する方法には、Robby T. Tan and Katsushi Ikeuchiによる、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 27、NO. 2、FEBRUARY 2005、pp.178-193に記載の「Separating Reflection Components of Textured Surfaces Using a Single Image」や、Graham D. Finlayson、Steven D. Hordley、Cheng Lu、and Mark S. Drewによる、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENT、 VOL.28、NO.1、JANUARY ２００６、pp.59-68、に記載の「On the Removal of Shadows from Images」などを使用してもよい。
【００９９】
さらに、テクスチャを不変量として用いることができる。
画像の部分領域の輝度分布に対して数値演算を施し得られた数値またはベクトルを特徴量とする。図形的不変量と同様にテクスチャ不変量はカメラと撮影対象との相対位置関係に影響を受けやすいため、この影響を受けにくい特徴量を算出し、テクスチャ不変量とする。例えば、カメラと対象の距離やズームに不変な特徴量は、注目している部分画像を極座標変換し、動径方向にパワースペクトルをとることで実装可能である。さらに、上記パワースペクトルに対して方位角方向に再度パワースペクトルを求めるとカメラの光軸周りの回転に対して不変な特徴量となる。その他、Chi-Man Pun and Moon-Chuen LeeによるIEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 25、NO. 5、MAY 2003記載の「Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification」などの方法を用いてもよい。
【０１００】
また、幾何学的不変量についても、Richard Hartley and Andrew Zissermanによる「Multiple View Geometry in Computer Vision」などに記載されているような他の幾何学的不変量を使用してもよい。同一シーンを複数のカメラで観測する場合には、同文献に記載の方法により、距離もしくは深さ方向の相対位置関係の情報を得ることが可能となるが、この場合、同一平面にない４点を基底に選択し、不変量特徴空間を３次元とすると、３次元の幾何学的不変量を作ることができる。この際には、特徴点群から選択した基底４点のうち１点を不変量空間の原点、その他の基底の特徴点を不変量空間における位置座標（１，０，０）および（０，１，０）、（０，０，１）に対応付ける変換写像を求め、その他特徴をこの変換写像を使用して不変量空間に写像するようにする。
【０１０１】
特徴点を不変量特徴空間に写像した不変特徴変換部６１は、図２８に示すように、不変量特徴空間に格子状のメッシュを付して、複数の区画に分ける。
続いて、不変特徴変換部６１は、各区画ごとに不変特徴の数を求める。この算出結果を、図２９に示す。図２９は、不変量特徴空間において、不変特徴の数が１以上の区画にグレーを付した図である。
【０１０２】
不変特徴記憶部６２は、所定のメモリ領域を保持している。この不変特徴記憶部６２は、不変特徴変換部６１で求められた各種データを記憶する。各種データには、例えば、不変量特徴空間に配置された各不変特徴の座標、各区画の座標（範囲）、各区画ごとの不変特徴数などが含まれる。
【０１０３】
動体検出手段３０ｃは、不変特徴記憶部６２から各区画ごとの不変特徴数を取り出す。次いで、動体検出手段３０ｃは、各区画ごとの各不変特徴数の中から、１以上所定数以下の範囲に含まれるものを選択する。
ここで、各不変特徴数の中に１以上所定数以下の範囲に含まれるものがあった場合、動体検出手段３０ｃは、その不変特徴数を「０」にする処理を行い、これを不変特徴記憶部６２に記憶させる。
この処理は、１以上所定数以下の範囲に含まれる不変特徴数が存在する区画について、この区画内に配置された不変特徴が、一時的にフレーム画像に写った動体等にもとづく不変特徴であると判断し、これを削除するものである。これにより、動体等を除外したかたちでマーカパターンを生成できる。
【０１０４】
特異特徴選択手段４０は、図２２に示すように、特異特徴選択部４１と、特異特徴記憶部４２とを有している。
特異特徴選択部４１は、図３０に示すように、不変量特徴空間の中で、マーカパターンの生成を行う範囲を、マーカパターン生成範囲として決定する。このマーカパターン生成範囲は、静止画フレームの大きさと同じ大きさとすることができる。
次いで、特異特徴選択部４１は、そのマーカパターン生成範囲における各区画ごとの不変特徴数を、不変特徴記憶部６２から取り出す。この取り出した各区画ごとの不変特徴数を図３１に示す。なお、図３１は、マーカパターン生成範囲において、不変特徴の数が１以上の区画にグレーを付した図である。
【０１０５】
続いて、特異特徴選択部４１は、マーカパターン生成範囲における各区画ごとの不変特徴数のうち、０又は所定値以下のものを特異特徴として選択する。これにより、特異特徴選択部４１は、記憶された特徴群から、シーンには現れていない画像特徴を特異特徴として選択することができる。
なお、図３１においては、白色の区画が、不変特徴数が０の区画である。
【０１０６】
特異特徴記憶部４２は、特異特徴選択部４１で選択された特異特徴の座標を記憶する。
マーカパターン生成手段５０は、第一実施形態におけるマーカパターン生成手段５０と同様の機能を有している。
【０１０７】
なお、映像入力手段１０が撮影した背景映像には、図４（i-23）に示すように、動体が映し出されることがある。
この場合のマーカパターンの生成処理は、次のように行われる。
特徴抽出手段２０の特徴抽出部２１は、図４（i-23）に示すフレーム画像にもとづいて、特徴点を抽出する。この抽出した特徴点の配置は、図１４（ii-23）に示すようになる。
【０１０８】
不変特徴変換部６１は、図１４（ii-23）に示された特徴点を、不変量特徴空間に写像する。
次いで、不変特徴変換部６１は、その不変量特徴空間にメッシュを掛け、各区画ごとに特徴点を算出する。ここで、図４（i-23）に映し出された動体のみに着目し、その動体にもとづく特徴点が不変量特徴空間に写像されたときの各特徴点の頻度分布を図３２に示す。
さらに、図３２における不変量特徴空間のうち、マーカパターン生成範囲を取り出すと、図３３に示すようになる。
【０１０９】
この図３３に示す特徴点数分布と、図３１に示す特異特徴の配置とを比較すると、区画座標（２０，２１）と（１８，２３）において、動体にもとづく不変特徴のみが現れている。
そして、同区画は、不変特徴数が１以上所定数以下であるため、動体検出手段３０ｃは、その不変特徴数を「０」にする。これにより、特異特徴選択部４１は、その区画を特異特徴として選択できる。
【０１１０】
なお、２種類以上の不変量を組み合わせた場合における不変特徴への変換から特異特徴の選択までの処理は、概略つぎのように動作することができる。
ここでは、幾何学的不変量と物体色不変量を併用する場合について説明する。
物体色不変量には、幾何学的不変量を求める際に抽出された特徴点群の近傍画素について、前述したTanらの方法により得た物体色の輝度値を使用するものとする。まず、前述した幾何学的不変量を求める手順と同様に、特徴点群から３点を基底として選択し、２次元平面で記述される幾何学的不変量空間に射影する。各特徴位置に対応する物体色不変量を求め、幾何学的不変量平面に直交する軸、すなわち物体色不変量座標を含めた３次元空間を想定する。３次元空間の各軸を量子化して既定の大きさの直方体メッシュに分割し、直方体ごとのヒストグラムを生成する。あらゆる基底の組み合わせに対して同様の計算を行ない、ヒストグラムが０となったメッシュの中心値を特異特徴とする。マーカの生成は、各特異特徴に対応する位置および色でマーカを生成すればよい。
【０１１１】
次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図３４を参照して説明する。
同図は、本実施形態のマーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１ｃにおいて、映像入力手段１０の映像入力部１１は、背景映像を入力する（ステップ３０）。この背景映像は、複数枚のフレーム画像で構成される。映像入力手段１０の映像記憶部１２は、映像入力部１１で入力された背景映像をフレーム画像として記憶する。
【０１１２】
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ３１）。
また、特徴抽出部２１は、抽出した特徴点の座標を算出する（ステップ３２）。この算出した座標は、特徴記憶部２２に記憶される。
【０１１３】
不変特徴変換手段６０の不変特徴変換部６１は、特徴記憶部２２から特徴点の座標を取り出す。次いで、不変特徴変換部６１は、取り出した特徴点の座標にもとづいて、各特徴点を不変量特徴空間に写像する（ステップ３３）。
続いて、不変特徴変換部６１は、不変量特徴空間にメッシュを掛けて区画化する（ステップ３４）。
さらに、不変特徴変換部６１は、各区画ごとに不変特徴数を算出する（ステップ３５）。
また、不変特徴変換部６１は、複数のフレーム画像のそれぞれについて各区画ごとの不変特徴数を算出し、これらを累計する（ステップ３６）。
不変特徴記憶部６２は、不変特徴変換部６１で算出された各区画ごとの不変特徴数の累計を記憶する。
【０１１４】
動体検出手段３０ｃは、不変特徴記憶部６２から、区画ごとの不変特徴数の累計を取り出す。そして、動体検出手段３０ｃは、区画ごとの不変特徴数の累計の中に、１以上所定数以下のものがあるか否かを判断する（ステップ３７）。
判断の結果、１以上所定数以下のものがあるときは、動体検出手段３０ｃは、その不変特徴数を「０」にする処理を行い、これを不変特徴記憶部６２に記憶させる（ステップ３８）。
一方、１以上所定数以下のものがないときは、動体検出手段３０ｃは、特徴点数を「０」にする処理は行わない。
【０１１５】
特異特徴選択手段４０の特異特徴選択部４１は、不変特徴記憶部６２から各区画ごとの不変特徴数の累計を取り出す。このとき、特異特徴選択部４１は、動体検出手段３０ｃで不変特徴数を「０」にする処理が行われた後の各区画ごとの不変特徴数の累計を取り出す。このとき、マーカパターン生成範囲における各区画ごとの不変特徴数の累計を取り出すこともできる。
そして、特異特徴選択部４１は、各区画ごとの不変特徴数の累計の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ３９）。
特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
【０１１６】
マーカパターン生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ４０）。
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカパターンに関するデータを記憶する。
【０１１７】
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、映像入力手段が複数のフレーム画像を入力し、これらフレーム画像のすべてから特徴点を抽出し、この特徴点を不変特徴として不変量特徴空間に写像し、この不変量特徴空間において特異特徴を選択し、この特異特徴にもとづいてマーカパターンを生成することとしたので、どのフレーム画像に対しての頑健性の高いマーカパターンを生成できる。
【０１１８】
また、不変量特徴空間において、動体（低出現物体）にもとづく不変特徴のみ現れた区画の不変特徴の数を「０」にすることができる。このため、特異特徴選択手段は、特徴点累計数分布図において、その「０」にした区画についても特異特徴として選択することができる。このように、特徴点累計数分布図において、その動体にもとづく不変特徴が除外される。これにより、最適なマーカパターンを安定して生成できる。
【０１１９】
［マーカ生成装置及びマーカ生成方法の第四実施形態］
次に、本発明のマーカ生成装置及びマーカ生成方法の第四実施形態について、図３５を参照して説明する。
図３５は、本実施形態のマーカ生成装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力制御手段を新たに備えた点が相違する。すなわち、第一実施形態では、動体検出手段が、動体にもとづく特徴点を検出すると、その検出結果を特徴抽出手段に返していたのに対し、本実施形態では、動体検出手段が、動体にもとづく特徴点を検出すると、映像入力制御手段が、その検出された特徴点にもとづいて映像入力手段における映像入力処理を制御する。他の構成要素は第一実施形態〜第三実施形態のいずれかと同様のものとすることができる。
したがって、図３５において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
【０１２０】
図３５に示すように、マーカ生成装置１ｄは、映像入力手段１０と、配置手段である特徴抽出手段２０と、動体検出手段３０ｄと、特異特徴選択手段４０と、マーカパターン生成手段５０と、映像入力制御手段７０ｄとを備えている。
ここで、映像入力手段１０は、映像入力部１１と、映像記憶部１２とを有している。
映像入力部１１は、映像入力制御手段７０ｄによる制御にもとづいて、背景映像を入力する。この映像入力制御手段７０ｄによる制御の内容については、後述する。
【０１２１】
映像記憶部１２は、映像入力部１１で入力された背景映像をディジタイズしたフレーム画像を記憶する。
また、映像記憶部１２は、「フレーム画像関連データテーブル」と、「映像入力部データテーブル」とを記憶する。
「フレーム画像関連データテーブル」は、フレーム画像に関するデータと、このフレーム画像が撮影されたときの映像入力部１１の状態に関するデータとを関連付けたテーブルである。
【０１２２】
この「フレーム画像関連データテーブル」は、図３６に示すように、「（フレーム画像の）シリアル番号」と、「撮影時刻」と、「動作設定」と、「撮影角度」と、「倍率」とを項目として構成することができる。
「（フレーム画像の）シリアル番号」は、フレーム画像の１枚１枚に付された通し番号である。
「撮影時刻」は、そのフレーム画像が撮影された時刻を示す。
「動作設定」は、映像入力部１１の動作に関する設定を示す。この設定には、例えば、固定、パン、チルト、ズームなどがある。
【０１２３】
「撮影角度」は、映像入力部１１がパン又はチルトを行いながら背景映像を撮影する場合において、そのフレーム画像を撮影したときの映像入力部１１（撮影カメラ）の角度を示す。例えば、映像入力部１１がパンを行いながら、横方向に「−９０°〜＋９０°」の範囲で背景映像を撮影する場合において、そのフレーム画像が撮影されたときの「撮影角度」は、「＋３０°」などとすることができる。この「撮影角度」は、他に「−９０°」、「−６０°」、「−３０°」、「±０°」、「＋４５°」、「＋６０°」などの角度によって表すことができる。
「倍率」は、動作設定が「ズーム」の場合に、そのズーム倍率を示す。
【０１２４】
映像入力部データテーブルは、映像入力部１１に関するデータで構成されたテーブルである。
この映像入力部データテーブルは、図３７に示すように、「撮影範囲」と、「往復時間」と、「動作速度」と、「撮影時間帯」と、「設定変更時刻」とを項目として構成することができる。
「撮影範囲」は、映像入力部１１の動作設定がパン又はチルトの場合に、その撮影される範囲を示す。例えば、パンの場合には、横方向に「−９０°〜＋９０°」などとすることができる。
【０１２５】
「往復時間」は、映像入力部１１が撮影範囲を１往復するのに要する時間を示す。
「動作速度」は、映像入力部１１が自ら動いて（カメラアングルを変えながら）背景映像を撮影するときの動く速度を示す。例えば、映像入力部１１がアクティブカメラの場合には、「動作速度」は、その回転速度又は回動速度を示す。また、映像入力部１１が自走カメラの場合には、「動作速度」は、走行速度を示す。
「撮影時間帯」は、映像入力部１１が背景映像を撮影する時間帯を示す。例えば、１日中撮影する場合は、「撮影時間帯」は、「２４時間」となる。また、朝７時から夜１１時まで撮影する場合は、「撮影時間帯」は、「07:00〜23:00」となる。
「設定変更時刻」は、「撮影範囲」等の項目の内容が変更されたときの時刻を示す。
【０１２６】
特徴抽出手段２０は、特徴抽出部２１と、特徴記憶部２２とを有している。
特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する。
【０１２７】
特徴記憶部２２は、所定のメモリ領域を保持している。この特徴記憶部２２は、特徴抽出部２１で実行された処理に関する各種データを記憶する。特に、特徴記憶部２２は、「フレーム画像−特徴空間対応テーブル」と、「特徴点情報テーブル」と、「区画座標テーブル」と、「特徴点数分布図」と、「特徴点累計数分布図」とを記憶する。
「フレーム画像−特徴空間対応テーブル」は、図３８に示すように、フレーム画像のシリアル番号と、特徴空間のシリアル番号とを一対一で対応付けしたテーブルである。
「特徴点情報テーブル」は、図７又は図１２に示すテーブルである。
「区画座標テーブル」は、図１０に示す図表である。
「特徴点数分布図」は、図１１に示す図表である。
「特徴点累計数分布図」は、例えば、図１３（iv-11）〜（iv-15）又は図１４（iv-21）〜（iv-25）に示す図表である。
【０１２８】
さらに、特徴記憶部２２は、「フレーム画像関連データテーブル」（図３６参照）や「映像入力部データテーブル」（図３７参照）を記憶することができる。この場合、特徴抽出部２１は、それら「フレーム画像関連データテーブル」等を映像記憶部１２から取り出して特徴記憶部２２に記憶させることができる。
【０１２９】
動体検出手段３０ｄは、図３９に示すように、データ記憶部３１と、動体検出部３２とを有している。
データ記憶部３１は、「動体検出データテーブル」を記憶する。
「動体検出データテーブル」は、図４０に示すように、「フレーム画像のシリアル番号」と、「特徴空間のシリアル番号」と、「動体から抽出された特徴点の座標」と、「動体検出区画」とを項目として構成することができる。
「フレーム画像のシリアル番号」と「特徴空間のシリアル番号」は、「フレーム画像−特徴空間対応テーブル」（図３８参照）を構成する各項目である。
「動体から抽出された特徴点の座標」は、動体検出部３２が動体から抽出された特徴点を検出したときの、この特徴点の座標を示す。
「動体検出区画」は、動体検出部３２が動体から抽出された特徴点を検出したときの、この動体が位置する区画の座標を示す。
【０１３０】
動体検出部３２は、特徴記憶部２２から特徴点累計数分布図における各区画ごとの特徴点の累計数を取り出す。次いで、動体検出部３２は、各区画ごとの特徴点の累計数の中に、１以上所定数以下の範囲に含まれるものがあるか否かを判断する。
判断の結果、１以上所定数以下の範囲に含まれるものがあるときは、動体検出部３２は、その特徴点の累計数を「０」にする処理を行う（図１５参照）。一方、１以上所定数以下の範囲に含まれるものがないときは、動体検出部３２は、「０」にする処理を行わない。
【０１３１】
続いて、動体検出部３２は、その「０」にする処理を行った区画の座標を抽出し、その区画の特徴点数を「０」として、特徴記憶部２２に記憶させる。
また、動体検出部３２は、特徴記憶部２２から「フレーム画像−特徴空間対応テーブル」を取り出す。そして、動体検出部３２は、その「フレーム画像−特徴空間対応テーブル」に、動体から抽出された特徴点の座標を「動体から抽出された特徴点の座標」として加え、さらに、「０」にする処理を行った区画の座標を「動体検出区画」として加え、これを「動体検出データテーブル」として、データ記憶部３１に記憶させる。
さらに、動体検出部３２は、「動体検出データテーブル」を映像入力制御手段７０ｄへ送る。
【０１３２】
なお、動体検出部３２は、特徴記憶部２２から「フレーム画像関連データテーブル」や「映像入力部データテーブル」を取り出してデータ記憶部３１に記憶させることができる。また、動体検出部３２は、そのデータを映像入力制御手段７０ｄへ送ることができる。
【０１３３】
映像入力制御手段７０ｄは、図４１に示すように、制御情報記憶部７１と、第一通信部７２と、第二通信部７３と、カメラ動作特定部７４と、動体範囲特定部７５と、カメラ制御特定部７６とを有している。
制御情報記憶部７１は、所定のメモリ領域を有している。この制御情報記憶部７１は、「動体検出データテーブル」と、「フレーム画像関連データテーブル」と、「映像入力部データテーブル」とを記憶する。
【０１３４】
第一通信部７２は、動体検出手段３０ｄから送られてきた「動体検出データテーブル」を受け取って制御情報記憶部７１に記憶させる。なお、第一通信部７２は、動体検出手段３０ｄから、「フレーム画像関連データテーブル」や「映像入力部データテーブル」が送られてきたときは、これらを受け取って制御情報記憶部７１に記憶させることができる。
第二通信部７３は、映像記憶部１２から「フレーム画像関連データテーブル」と「映像入力部データテーブル」とを取り出すと、これらを制御情報記憶部７１に記憶させる。
また、第二通信部７３は、カメラ制御特定部７６で特定された撮影範囲又は撮影時間を映像入力手段１０へ送る。
【０１３５】
カメラ動作特定部７４は、制御情報記憶部７１に記憶されている「動体検出データテーブル」を参照し、「動体検出区画」の項目に記憶されているデータを取り出す。
この「動体検出区画」のデータの中に、特定の区画を示す区画座標があるときは、その区画座標に関連付けられたフレーム画像のシリアル番号を「動体検出データテーブル」から取り出す。
具体的には、例えば、図４０に示す「動体検出データテーブル」においては、「動体検出区画」に「（7,6）、（7,7）、（8,6）、（8,7）」のデータが記憶されている。カメラ動作特定部７４は、このデータと、このデータに関連付けられたフレーム画像のシリアル番号「i-23」とを取り出す。
【０１３６】
次いで、カメラ動作特定部７４は、制御情報記憶部７１に記憶されている「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた、「動作設定」の項目に記憶されているデータを取り出す。
具体的には、カメラ動作特定部７４は、図３６に示す「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」である「i-23」に関連付けられた「動作設定」のデータ「パン」を取り出す。なお、第一実施形態においては、シリアル番号「i-23」のフレーム画像は、「動作設定」が「固定」になっているが、本実施形態においては、「動作設定」が「パン」であるものとする。
【０１３７】
続いて、カメラ動作特定部７４は、取り出した「動作設定」に関するデータにもとづいて、映像入力部１１の動作設定を特定する。
例えば、「フレーム画像関連データテーブル」の「動作設定」から取り出したデータが「固定」であるときは、カメラ動作特定部７４は、映像入力部１１の動作設定が「固定」であるとして特定する。
また、「動作設定」から取り出したデータが「パン」又は「チルト」であるときは、カメラ動作特定部７４は、映像入力部１１の動作設定が「パン」又は「チルト」であるとして特定する。
さらに、「動作設定」から取り出したデータが「ズーム」であるときは、カメラ動作特定部７４は、映像入力部１１の動作設定が「ズーム」であるとして特定する。
そして、カメラ動作特定部７４は、特定した「動作設定」と、「フレーム画像のシリアル番号」と、「動作検出区画」を動体範囲特定部７５へ送る。
【０１３８】
動体範囲特定部７５は、「動作設定」が「パン」、「チルト」、「ズーム」である場合には、制御情報記憶部７１から所定のデータを取り出す。
例えば、「動作設定」が「パン」又は「チルト」であるときは、動体範囲特定部７５は、制御情報記憶部７１に記憶されている「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「撮影角度」を取り出す。このとき、動体範囲特定部７５は、「撮影時刻」を取り出すこともできる。
また、「動作設定」が「パン」又は「チルト」であるときは、動体範囲特定部７５は、制御情報記憶部７１に記憶されている「映像入力部データテーブル」を参照し、「撮影範囲」を取り出す。このとき、動体範囲特定部７５は、「往復時間」や「動作速度」を取り出すこともできる。
さらに、「動作設定」が「ズーム」であるときは、動体範囲特定部７５は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「倍率」を取り出す。
【０１３９】
次いで、動体範囲特定部７５は、各種データにもとづいて、映像入力部１１の最大撮影範囲における動体の出現範囲を特定する。
例えば、「動作設定」が「固定」の場合、図４２に示すように、映像入力部１１の撮影範囲は、フレーム画像の大きさと一致する。この場合、動体が出現する範囲は、「動体検出区画」と一致する。動体範囲特定部７５は、この「動体検出区画」を、撮影制限範囲とする。
【０１４０】
また、「動作設定」が「パン」の場合、図４３に示すように、映像入力部１１の最大撮影範囲は、縦方向は、フレーム画像の高さと一致するが、横方向は、フレーム画像の横の長さよりもさらに長くなる。
ここで、映像入力部１１の最大撮影範囲におけるフレーム画像の範囲は、そのフレーム画像が撮影されたときの映像入力部１１の撮影角度によって決まる。例えば、映像入力部１１の最大撮影範囲が左右方向に「−９０°〜＋９０°」であって、フレーム画像が撮影されたときの映像入力部１１の撮影角度が「−３０°」であるときは、この「−３０°」を中心とする範囲がフレーム画像の範囲となる。
【０１４１】
また、映像入力部１１の最大撮影範囲におけるフレーム画像の範囲は、そのフレーム画像が撮影された時刻によって決めることができる。例えば、映像入力部１１の最大撮影範囲を１往復するのに「２０秒」かかるものとし、フレーム画像の撮影時刻が往復動作の開始から「５秒」のところであるときは、この「５秒」のところを中心とした範囲がフレーム画像の範囲となる。なお、「５秒」については、「フレーム画像関連データテーブル」の「撮影時刻」又は「動作速度」を用いて算出することができる。
そして、動体が出現する範囲は、フレーム画像における動体検出区画の範囲と一致する。動体範囲特定部７５は、この動体検出区画を、撮影制限範囲とする。
【０１４２】
さらに、「動作設定」が「チルト」の場合、図４４に示すように、映像入力部１１の最大撮影範囲は、横方向は、フレーム画像の横の長さと一致するが、縦方向は、フレーム画像の高さよりもさらに長くなる。
ここで、映像入力部１１の最大撮影範囲におけるフレーム画像の範囲は、そのフレーム画像が撮影されたときの映像入力部１１の撮影角度によって決まる。例えば、映像入力部１１の最大撮影範囲が上下方向に「＋９０°〜−９０°」であって、フレーム画像が撮影されたときの映像入力部１１の撮影角度が「−３０°」であるときは、この「−３０°」を中心とする範囲がフレーム画像の範囲となる。
【０１４３】
また、映像入力部１１の最大撮影範囲におけるフレーム画像の範囲は、そのフレーム画像が撮影された時刻によって決めることができる。例えば、映像入力部１１の最大撮影範囲を１往復するのに「２０秒」かかるものとし、フレーム画像の撮影時刻が往復動作の開始から「５秒」のところであるときは、この「５秒」のところを中心とした範囲がフレーム画像の範囲となる。
そして、動体が出現する範囲は、フレーム画像における動体検出区画の範囲と一致する。動体範囲特定部７５は、この動体検出区画を、撮影制限範囲とする。
【０１４４】
また、「動作設定」が「ズーム」の場合、映像入力部１１の最大撮影範囲は、映像入力部１１の仕様によって決まる。
例えば、映像入力部１１のズーム倍率が１倍から１０倍まで可変であるとき、この最大撮影範囲は、倍率１倍のときに撮影される範囲となる。
また、映像入力部１１の最大撮影範囲におけるフレーム画像の範囲は、図４５に示すように、フレーム画像が撮影されたときの倍率によって決まる。
例えば、フレーム画像が撮影されたときの倍率が「３倍」であるときは、この「３倍」の倍率で撮影された範囲がフレーム画像の範囲となる。
そして、動体が出現する範囲は、フレーム画像における動体検出区画の範囲と一致する。動体範囲特定部７５は、この動体検出区画を、撮影制限範囲とする。
【０１４５】
なお、図４５は、（「ズーム」の場合の最大撮影範囲）（倍率１倍）と、（フレーム画像の範囲）（倍率３倍）とを表している。ここで、図４５に表している（「ズーム」の場合の最大撮影範囲）と（フレーム画像の範囲）とを比較すると、必ずしも「倍率１倍」に対する「倍率３倍」にはなっていない。図４５は、主として、（「ズーム」の場合の最大撮影範囲）の中に（フレーム画像の範囲）があり、さらにその中に「動体検出区画」があることを示したものである。
【０１４６】
また、動体範囲特定部７５は、カメラ動作特定部７４から送られてきた各種データにもとづいて、動体の出現時間を特定することができる。
この動体の出現時間の特定は、フレーム画像の「撮影時刻」を用いて行うことができる。例えば、１３時２５分５０秒に撮影されたフレーム画像に動体が映し出されている場合、動体の出現時間は、１３時２５分５０秒とすることができる。また、１３時２５分５０秒、１３時２５分５５秒、１３時２６分００秒にそれぞれ撮影されたフレーム画像に動体が映し出されている場合、動体の出現時間は、１３時２５分５０秒〜１３時２６分００秒とすることができる。さらに、１週間撮影を行った場合において、毎日同じ時刻（例えば、１３時２５分５０秒）に撮影したフレーム画像のいずれにも動体が映し出されていた場合、動体の出現時間は、１３時２５分５０秒とすることができる。
動体範囲特定部７５は、この動体の出現時間を、撮影制限時間とすることができる。
【０１４７】
カメラ制御特定部７６は、動体範囲特定部７５で算出された撮影制限範囲又は撮影制限時間を用いて、映像入力部１１の制御方法を特定する。
例えば、動体範囲特定部７５で算出された撮影制限範囲が図４２に示す範囲であった場合、カメラ制御特定部７６は、図４６に示すように、フレーム画像の範囲のうち、撮影制限範囲を含んだ部分を隠蔽範囲とし、この隠蔽範囲以外の部分を新たな撮影範囲として特定することができる。
また、動体範囲特定部７５で算出された撮影制限範囲が図４２に示す範囲であった場合、カメラ制御特定部７６は、図４７に示すように、撮影制限範囲を外すようにフレーム画像の範囲を移動して新たな撮影範囲を特定することができる。
【０１４８】
さらに、動体範囲特定部７５で算出された撮影制限範囲が図４３に示す範囲であった場合、カメラ制御特定部７６は、図４８に示すように、映像入力部１１の最大撮影範囲のうち、撮影制限範囲を含まない部分を新たな撮影範囲として特定する。これは、映像入力部１１の撮影範囲が撮影制限範囲に差し掛かると、映像入力部１１のパン動作をそのまま続けながら、映像入力を中止する。その後、映像入力部１１の撮影範囲が撮影制限範囲から外れると、映像入力を再開する。
【０１４９】
また、動体範囲特定部７５で算出された撮影制限範囲が図４４に示す範囲であった場合、カメラ制御特定部７６は、図４９に示すように、映像入力部１１の最大撮影範囲のうち、撮影制限範囲を含まない部分を新たな撮影範囲として特定する。これは、映像入力部１１の撮影範囲が撮影制限範囲に差し掛かると、映像入力部１１のチルト動作をそのまま続けながら、映像入力を中止する。その後、映像入力部１１の撮影範囲が撮影制限範囲から外れると、映像入力を再開する。
【０１５０】
さらに、動体範囲特定部７５で算出された撮影制限範囲が図４５に示す範囲であった場合、カメラ制御特定部７６は、図５０に示すように、映像入力部１１の最大撮影範囲のうち、撮影制限範囲を含まない部分を新たな撮影範囲として特定する。この場合、新たな撮影範囲まで拡大したときの倍率を映像入力部１１に設定することになる。
【０１５１】
また、動体範囲特定部７５で算出された撮影制限時間が「１３時２５分５０秒〜１３時２６分００秒」であった場合、カメラ制御特定部７６は、「１３時２５分５０秒〜１３時２６分００秒」以外の時間を新たな撮影時間として特定する。つまり、２４時間の撮影時間において、００時００分００秒から１３時２６分００秒までは撮影を行い、１３時２５分５０秒から１３時２６分００秒までは撮影を中止し、１３時２６分００秒から２４時００分００秒までは撮影を行うようにする。
【０１５２】
次いで、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を制御情報記憶部７１に記憶させる。また、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を、第二通信部７３を介して映像入力手段１０へ送る。
【０１５３】
映像入力手段１０の映像入力部１１は、第二通信部７３から送られてきた撮影範囲又は撮影時間にしたがって、背景映像を撮影する。
映像記憶部１２は、第二通信部７３から送られてきた撮影範囲又は撮影時間を記憶する。
なお、第二通信部７３から送られてきた撮影範囲が、図４６に示すように、フレーム画像の一部を隠蔽するものであるときは、映像入力部１１は、撮影用レンズにおいて、その隠蔽範囲に対応する部分をマスクすることができる。また、映像入力部１１は、動体検出区画を含む背景映像を入力し、特徴抽出部２１は、隠蔽範囲について特徴点を抽出しないようにすることもできる。
【０１５４】
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出す。次いで、特徴抽出部２１は、その取り出したフレーム画像にもとづいて、特徴点を抽出する。続いて、特徴抽出部２１は、抽出した特徴点の座標を、特徴記憶部２２に記憶させる。
ここで、映像入力部１１の撮影範囲が変更されたときは、特徴抽出部２１は、特徴記憶部２２に記憶されている特徴点の座標を更新する。これは、背景映像が変更されることで、特異特徴が変わってしまうからである。
そして、特徴抽出部２１は、更新後の特徴点が配置された特徴空間を用いて、メッシュを掛け、各区画ごとに特徴点の数を算出する。
【０１５５】
次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図５１を参照して説明する。
同図は、本実施形態のマーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１ｄにおいて、映像入力部１１は、背景映像を入力する（ステップ５０）。映像記憶部１２は、映像入力部１１で入力された背景映像をフレーム画像として記憶する。
【０１５６】
特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ５１）。
また、特徴抽出部２１は、抽出した特徴点の座標を算出する（ステップ５２）。この算出した座標は、特徴記憶部２２に記憶される。
【０１５７】
特徴抽出部２１は、特徴空間にメッシュを掛けて区画化する（ステップ５３）。
次いで、特徴抽出部２１は、各区画ごとに特徴点の数を算出する（ステップ５４）。特徴記憶部２２は、特徴抽出部２１で算出された各区画ごとの特徴点数を記憶する。
【０１５８】
続いて、動体検出手段３０ｄは、特徴記憶部２２から、区画ごとの特徴点数を取り出す。そして、動体検出手段３０ｄは、区画ごとの特徴点数の中に、１以上所定数以下の範囲に含まれるものがあるか否かを判断する（ステップ５５）。
判断の結果、１以上所定数以下の範囲に含まれるものがあるときは、その特徴点数を「０」にする処理を行う（ステップ５６）。そして、動体検出手段３０ｄは、特徴点数を「０」にしたときは、続いて、映像入力制御を行う（ステップ５７）。なお、映像入力制御の詳細については、後記の「映像入力制御の処理手順」で詳述する。
一方、１以上所定数以下の範囲に含まれるものがないときは、特徴点数を「０」にする処理は行わない。
【０１５９】
特異特徴選択手段４０の特異特徴選択部４１は、特徴記憶部２２から各区画ごとの特徴点を取り出す。このとき、特異特徴選択部４１は、動体検出手段３０ｄで特徴点数を「０」にする処理が行われた後の各区画ごとの特徴点を取り出す。
そして、特異特徴選択部４１は、各区画ごとの特徴点の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ５８）。
特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
【０１６０】
マーカパターン生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ５９）。
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカパターンに関するデータを記憶する。
【０１６１】
次に、映像入力制御の処理手順について、図５２を参照して説明する。
映像入力制御手段７０ｄの第一通信部７２は、動体検出手段３０ｄから送られてきた「動体検出データテーブル」を受け取って、制御情報記憶部７１に記憶させる。
第二通信部７３は、映像記憶部１２から「フレーム画像関連データテーブル」と「映像入力部データテーブル」とを取り出すと、これらを制御情報記憶部７１に記憶させる。
【０１６２】
カメラ動作特定部７４は、「動体検出データテーブル」を参照して、データが記憶された「動体から抽出された特徴点の座標」と、「動体検出区画」と、これらに関連付けられた「フレーム画像のシリアル番号」とを取り出す。
次いで、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」を用いて、これに関連付けられた「動作設定」を取り出す。
カメラ動作特定部７４は、この取り出した「動作設定」にもとづいて、映像入力部１１の動作設定を特定する（ステップ６０）。
ここで、特定される動作設定には、「固定」、「パン」、「チルト」、「ズーム」などがある。
【０１６３】
続いて、カメラ動作特定部７４は、特定した動作設定にもとづいて、制御情報記憶部７１から所定のデータを取り出す（ステップ６１）。
例えば、動作設定が「パン」又は「チルト」の場合、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「撮影角度」を取り出す。また、カメラ動作特定部７４は、「映像入力部データテーブル」を参照し、「撮影範囲」、「往復時間」、「動作速度」などを取り出す。
【０１６４】
さらに、例えば、動作設定が「ズーム」の場合、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「倍率」を取り出す。
また、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「撮影時刻」を取り出すことができる。さらに、この場合、カメラ動作特定部７４は、「映像入力部データテーブル」を参照し、「撮影時間帯」を取り出すことができる。
そして、カメラ動作特定部７４は、制御情報記憶部７１から取り出した各種データを動体範囲特定部７５へ送る。
【０１６５】
動体範囲特定部７５は、カメラ動作特定部７４から送られてきた各種データにもとづいて、映像入力部１１の最大撮影範囲における動体の出現範囲を特定する（ステップ６２）。また、動体範囲特定部７５は、カメラ動作特定部７４から送られてきた各種データにもとづいて、動体の出現時間を特定することができる。
【０１６６】
カメラ制御特定部７６は、動体範囲特定部７５で算出された撮影制限範囲又は撮影制限時間を用いて、映像入力部１１の新たな撮影範囲を特定する（ステップ６３）。
次いで、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を制御情報記憶部７１に記憶させる。また、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を、第二通信部７３を介して映像入力手段１０へ送る。
【０１６７】
映像入力手段１０の映像入力部１１は、第二通信部７３から送られてきた撮影範囲又は撮影時間にしたがって、背景映像を撮影する（撮影入力制御、ステップ６４）。
また、映像入力部１１の撮影範囲が新たな撮影範囲に更新されると、特徴抽出部２１は、特徴記憶部２２に記憶されている特徴点の座標を更新する。
【０１６８】
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、映像入力手段が入力した複数のフレーム画像のすべてを用いてマーカパターンを生成することとしたので、複数枚の背景映像を撮影するカメラが映像入力手段として使用された場合でも、頑健性の高いマーカパターンを生成できる。
また、映像入力制御手段が映像入力部を制御して、この映像入力部が動体（低出現物体）を撮影しないようにすることができる。これにより、動体等の影響を受けることなく、最適なマーカパターンを安定的に生成できる。
【０１６９】
なお、本実施形態においては、動体検出手段３０ｄが、特徴点累計数分布図における各区画ごとの特徴点数にもとづいて動体から抽出された特徴点を検出し、この特徴点が位置する区画の座標を算出し、この動体検出区画に関するデータを映像入力制御手段７０ｄへ送っていたが、この方法に限るものではなく、例えば、図５３に示すように、映像入力手段１０で入力されたフレーム画像にもとづいて動体検出手段３０ｅが動体を検出し、この動体に関するデータを映像入力制御手段７０ｅへ送ることもできる。
【０１７０】
また、例えば、図５４に示すように、不変特徴変換手段６０で作成された不変量特徴空間における各区画ごとの不変特徴数にもとづいて、動体検出手段３０ｆが、動体から抽出された不変特徴数を検出し、この不変特徴数が位置する区画の座標を算出し、この動体検出区画に関するデータを映像入力制御手段７０ｆへ送ることもできる。
さらに、例えば、図５５に示すように、不変特徴変換手段６０で作成された不変量特徴空間における各区画ごとの特徴点数にもとづいて、動体検出手段３０ｇが動体から抽出された特徴点を検出し、この特徴点が位置する区画の座標を算出し、この動体検出区画に関するデータを特徴抽出手段２０へ送ることもできる。この場合、特徴抽出手段２０は、動体検出区画において、特徴点の抽出を行わないようにすることができる。
【０１７１】
［マーカ生成装置及びマーカ生成方法の第五実施形態］
次に、本発明のマーカ生成装置及びマーカ生成方法の第五実施形態について、図５６を参照して説明する。
図５６は、本実施形態のマーカ生成装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力手段及び特徴抽出手段の数が相違するとともに、新たに不変特徴変換手段と不変特徴合成手段を備えた点が相違する。すなわち、第一実施形態では、映像入力手段と特徴抽出手段の数が一つずつであったのに対し、本実施形態では、映像入力手段等の数がそれぞれ複数ある。また、第一実施形態では、不変特徴変換手段と不変特徴合成手段が無かったのに対し、本実施形態では、不変特徴変換手段と不変特徴合成手段とを新たに設けた。他の構成要素は第一実施形態〜第四実施形態のいずれかと同様のものとすることができる。
したがって、図５６において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
【０１７２】
図５６に示すように、マーカ生成装置１ｈは、映像入力手段１０（１０−１〜１０−ｎ）と、特徴抽出手段２０（２０−１〜２０−ｎ）と、動体検出手段３０ｈと、特異特徴選択手段４０と、マーカパターン生成手段５０と、不変特徴変換手段６０（６０−１〜６０−ｎ）と、不変特徴合成手段８０とを備えている。
なお、本実施形態においては、特徴抽出手段２０と、不変特徴変換手段６０と、不変特徴合成手段８０が、「配置手段」に相当する。
【０１７３】
ここで、映像入力手段１０は、図５６に示すように、複数備えられている。
これら映像入力手段１０は、図５７に示すように、それぞれが、映像入力部１１（１１−１〜１１−ｎ）と、映像記憶部１２（１２−１〜１２−ｎ）とを有している。
映像入力部１１は、撮像デバイスを有している。これにより、映像入力部１１は、当該マーカ生成装置１ｈが設置された場所の周囲の様子を背景映像として撮影することができる。
この映像入力部１１は、撮影範囲（カメラアングル）が固定されたものであってもよく、また、アクティブカメラのように、パン，チルト，ズームを自在に行えるものでもよく、さらに、自走カメラのように、映像入力部１１自体が移動可能なもの（走行可能なもの）であってもよい。
【０１７４】
また、映像入力部１１は、アクティブカメラや自走カメラのように、時間の経過とともに撮影対象が変化するものであってもよい。ただし、変化の範囲は一定とし、所定時間間隔で、同一範囲内を繰り返し撮影するように制御することが望ましい。
さらに、複数の映像入力部１１は、それぞれが共通した背景映像を撮影してもよく、あるいは、異なる背景映像を撮影してもよい。
【０１７５】
複数の映像入力部１１の撮影例を図５８に示す。
同図に示すように、例えば、第一の映像入力部１１−１は、人を撮影し（i-111）、第二の映像入力部１１−２は、家を撮影し（i-121）、第三の映像入力部１１−３は、マンションを撮影することができる（i-131）。
ここで、撮影されたものがすべて静止している場合、背景映像は、どの撮影時間においても同じになる（同図（i-111）〜（i-113）、（i-121）〜（i-123））。
これに対し、背景映像に動く物体（動体）が映し出された場合、その動体が写し出された画像（同図（i-132））は、他の画像（同図（i-131）、（i-133））とを比較すると、その動体がある部分で異なっている。
【０１７６】
映像記憶部１２は、背景映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。背景映像を構成する静止画フレームとは、例えば、図５８（i-111）〜（i-113）、（i-121）〜（i-123）、（i-131）〜（i-133）に示す各画像の一枚一枚をいう。
また、映像記憶部１２は、「フレーム画像関連データテーブル」（図３６参照）と、「映像入力部データテーブル」（図３７参照）を記憶することができる。
【０１７７】
特徴抽出手段２０は、図５７に示すように、特徴抽出部２１（２１−１〜２１−ｎ）と、特徴記憶部２２（２２−１〜２２−ｎ）とを有している。
特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出す。そして、特徴抽出部２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
この抽出された特徴点の例を図５９に示す。例えば、図５８（i-111）に示すフレーム画像から抽出された特徴点は、図５９（ii-111）に示すようになる。また、図５８（i-132）に示すフレーム画像から抽出された特徴点は、図５９（ii-132）に示すようになる。ここで、図５９（ii-132）には、動体から抽出された特徴点も配置されている。
【０１７８】
特徴記憶部２２は、特徴抽出部２１で抽出された特徴点の座標を「特徴点情報テーブル」（図７参照）として記憶する。なお、図７に示す「特徴点情報テーブル」には、「特徴点が位置する区画の座標」が項目として挙がっているが、本実施形態においては、必要としない。
また、特徴記憶部２２は、「フレーム画像−特徴空間対応テーブル」（図３８参照）を記憶することができる。
【０１７９】
不変特徴変換手段６０は、図５７に示すように、不変特徴変換部６１（６１−１〜６１−ｎ）と、不変特徴記憶部６２（６２−１〜６２−ｎ）とを有している。
不変特徴変換部６１は、特徴抽出手段２０の特徴記憶部２２から特徴点の座標を取り出して、その特徴点を不変量特徴空間に写像する。
例えば、図５９（ii-111）〜（ii-133）に示す各特徴空間ごとに、特徴点を不変量特徴空間に写像する。この写像した結果を、図６０（iii-111）〜（iii-133）に示す。
【０１８０】
なお、図５９に示す特徴空間の特徴点を不変量特徴空間に写像すると、この不変量特徴空間は、特徴空間の約４倍の面積を必要とする（図２３〜図２７に示す方法で写像を行った場合）。ただし、図６０に示す不変量特徴空間は、図５９に示す特徴空間に比べて、縮尺を小さくしてある。
また、図６０（iii-131）に示す不変量特徴空間と図６０（iii-132）に示す不変量特徴空間とを比較すると、不変特徴の配置が異なっている。これは、動体から抽出された特徴点が、図６０（iii-131）に示す不変量特徴空間には写像されていないものの、図６０（iii-132）に示す不変量特徴空間には写像されているからである。
【０１８１】
次いで、不変特徴変換部６１は、不変量特徴空間に配置された不変特徴の座標を算出する。
この算出は、写像の方法に応じて決めることができる。
例えば、写像の方法が、図２３〜図２６に示すように、各特徴点を順次基底とし、この基底を不変量特徴空間の座標（0,0）に移動させたときの移動量と同じ移動量で他の特徴点も移動させ、この移動処理を、各特徴点を順次基底として定めるごとに行い、それら移動後の各特徴点を積重ねて不変量特徴空間に配置するものである場合、不変特徴の座標は、特徴空間における座標から移動量を加算したときの座標となる。
【０１８２】
続いて、不変特徴変換部６１は、算出した不変特徴の座標を「不変特徴情報テーブル」として不変特徴記憶部６２に記憶させる。
「不変特徴情報テーブル」は、図６１に示すように、「不変量特徴空間のシリアル番号」（ア）と、「不変特徴のシリアル番号」（イ）と、「不変特徴のｘ座標」（ウ）と、「不変特徴のｙ座標」（エ）と、「不変特徴が位置する区画の座標」（オ）と、「特徴点のシリアル番号」（カ）とを項目として構成することができる。
「特徴点のシリアル番号」は、移動して不変特徴となる前の特徴点のシリアル番号を示す。なお、「特徴点のシリアル番号」の項目に同じ番号が存在するのは、一つの特徴点が不変量特徴空間に何度も写像されるからである。
【０１８３】
また、不変特徴変換部６１は、「フレーム画像−不変量特徴空間対応テーブル」を作成して、不変特徴記憶部６２に記憶させる。
「フレーム画像−不変量特徴空間対応テーブル」は、図６２に示すように、フレーム画像のシリアル番号と、不変量特徴空間のシリアル番号を一対一で対応付けしたテーブルである。
【０１８４】
さらに、不変特徴変換部６１は、複数の不変量特徴空間について「不変特徴情報テーブル」を作成すると、これらを繋げて一の「不変特徴情報累積テーブル」を作成する。
「不変特徴情報累積テーブル」を構成する項目は、図６３に示すように、「不変特徴情報テーブル」と同じである。ただし、データ量は、不変量特徴空間の数に応じて決まる。
【０１８５】
不変特徴記憶部６２は、不変特徴変換部６１で実行される処理に関する各種データを記憶する。特に、不変特徴記憶部６２は、「不変特徴情報テーブル」と、「フレーム画像−不変量特徴空間対応テーブル」と、「不変特徴情報累積テーブル」とを記憶する。
【０１８６】
不変特徴合成手段８０は、図５７に示すように、不変特徴合成部８１と、不変特徴合成記憶部８２とを有している。
不変特徴合成部８１は、複数の不変特徴記憶部６２−１〜６２−ｎのそれぞれから「不変特徴情報累積テーブル」と、「フレーム画像−不変量特徴空間対応テーブル」とを取り出す。
そして、不変特徴合成部８１は、複数の「不変特徴情報累積テーブル」を、一の「不変特徴情報合成テーブル」にまとめる。
【０１８７】
「不変特徴情報合成テーブル」は、図６４に示すように、「不変特徴情報累積テーブル」を構成する項目と、「映像入力部特定データ」（キ）という項目によって構成されている。
「映像入力部特定データ」は、不変特徴の生成のもととなるフレーム画像を入力した映像入力部１１を特定するデータである。
【０１８８】
これら「不変特徴情報累積テーブル」と「不変特徴情報合成テーブル」にもとづいて不変量特徴空間に不変特徴を配置すると、図６５に示すようになる。
複数の「不変特徴情報累積テーブル」にもとづく不変量特徴空間での不変特徴の配置は、図６５（iv-111）〜（iv-131）に示すようになる。ここで、図６５（iv-111）は、図６０（iii-111）から同図（iii-113）までを累積したものである。また、図６５（iv-121）は、図６０（iii-121）から同図（iii-123）までを累積したものである。さらに、図６５（iv-131）は、図６０（iii-131）から同図（iii-133）までを累積したものである。
【０１８９】
「不変特徴情報合成テーブル」にもとづく不変量特徴空間での不変特徴の配置は、図６５（v）に示すようになる。
この図６５（v）に示す不変量特徴空間での不変特徴の配置は、図６５（iv-111）〜（iv-131）のそれぞれに示す不変量特徴空間での不変特徴を、一つの不変量特徴空間に重ねて表示したものである。
なお、この図６５（v）に示す不変量特徴空間を、不変量特徴合成空間という。
【０１９０】
次いで、不変特徴合成部８１は、図６６（v）、（vi）に示すように、不変量特徴合成空間に、複数の区画線を格子状に付してメッシュをかける。これにより、不変量特徴合成空間が、複数の区画に分けられる。
続いて、不変特徴合成部８１は、付した区画線の座標を算出し、これを「区画座標テーブル」（図１０参照）として不変特徴合成記憶部８２に記憶させる。
【０１９１】
さらに、不変特徴合成部８１は、不変量特徴合成空間において、各区画ごとの不変特徴の数を算出する。なお、図６６（vii）においては、不変特徴の数が１以上となった区画をグレーの網掛けで表示してある。この各区画ごとの不変特徴数が表示された図を、「不変特徴合成数分布図」という。
そして、不変特徴合成部８１は、各不変特徴ごとに、その不変特徴が位置する区画の座標を求め、これを「不変特徴情報合成テーブル」の「不変特徴が位置する区画の座標」に記憶させる。
【０１９２】
不変特徴合成記憶部８２は、「不変特徴情報累積テーブル」、「フレーム画像−不変量特徴空間対応テーブル」、「不変特徴情報合成テーブル」、「区画座標テーブル」、「不変特徴合成数分布図」などを記憶することができる。
【０１９３】
動体検出手段３０ｈは、不変特徴合成記憶部８２に記憶されている「不変特徴合成数分布図」を参照し、各区画ごとの不変特徴の合計数の中に、１以上所定数以下の範囲に含まれるものがあるか否かを判断する。
判断の結果、１以上所定数以下の範囲に含まれるものがあるときは、動体検出手段３０ｈは、図６７に示すように、動体検出データテーブルを作成するとともに、図６６（vii）、（viii）に示すように、その不変特徴の合計数を「０」にする処理を行い、これを不変特徴合成記憶部８２に記憶させる。一方、１以上所定数以下のものがないときは、動体検出手段３０ｈは、「０」にする処理を行わない。
【０１９４】
この処理は、１以上所定数以下の範囲に含まれる数の不変特徴が存在する区画について、この区画内に配置された不変特徴が、一時的に背景映像に写った動体にもとづく不変特徴であると判断し、これを削除するものである。これにより、動体にもとづく不変特徴の存在により特異特徴の選択が制限されるのを回避して、マーカの頑健性を高めることができる。
【０１９５】
「動体検出データテーブル」は、図６７に示すように、「フレーム画像のシリアル番号」と、「不変量特徴空間のシリアル番号」と、「動体にもとづく不変特徴の座標」と、「動体検出区画」とを項目として構成することができる。
「フレーム画像のシリアル番号」と「不変量特徴空間のシリアル番号」は、「フレーム画像−不変量特徴空間対応テーブル」を構成する各項目である。
「動体にもとづく不変特徴の座標」は、動体検出手段３０ｈが動体にもとづく不変特徴を検出したときの、この不変特徴の座標を示す。
「動体検出区画」は、動体検出手段３０ｈが動体にもとづく不変特徴を検出したときの、この不変特徴が位置する区画の座標を示す。
【０１９６】
なお、本実施形態は、第三実施形態と比較して、次の点で相違する。
第三実施形態は、一の特徴点累計数分布図に示された区画ごとの特徴点数にもとづいて特異特徴を選択しマーカを生成する。これに対し、本実施形態は、複数の特徴点累計数分布図を一の特徴点数合成分布図に合成し、この特徴点数合成分布図に示された区画ごとの特徴点合計数にもとづいて特異特徴を選択しマーカを生成する。
このように、本実施形態と第三実施形態は、特徴点数分布図の数などが相違するが、映像入力部１１は、本実施形態においても、また第三実施形態においても、同じ範囲を繰り返し撮影しているため、動体が進入しない限り、特異特徴は、常に同じになる。
【０１９７】
また、動体が進入してきた場合でも、本実施形態と第三実施形態は、基本的に同様の動作を行う。
すなわち、映像入力部１１は、同じ範囲を繰り返し撮影しているため、動体が撮影されない限り、特徴点数分布図及び特徴点数合成分布図においては、特徴点が複数の同じ区画に次々とアサインされていく。これに対し、動体は、その発生が一時的なものであるため、特徴点数分布図及び特徴点数合成分布図においては、その動体にもとづく特徴点が、一時的に付され、その後の増加がみられない。
このように、フレーム画像が増加するにしたがって、静止物体にもとづく特徴点は比例して増加するのに対し、動体にもとづく特徴点は増加しない。このことから、フレーム画像が所定枚数に達した時点で、特徴点数が所定数以下の区画における特徴点数を「０」にする処理を行うことで、動体にもとづく特徴点を削除できる。
【０１９８】
次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図６８を参照して説明する。
同図は、本実施形態のマーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１ｈにおいて、複数の映像入力手段１０における映像入力部１１のそれぞれは、背景映像を入力する（ステップ７０）。これら背景映像は、複数枚のフレーム画像で構成される。映像記憶部１２は、映像入力部１１で入力された背景映像をフレーム画像として記憶する。
【０１９９】
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ７１）。
また、特徴抽出部２１は、抽出した特徴点の座標を算出する（ステップ７２）。この算出した座標は、特徴記憶部２２に記憶される。
【０２００】
不変特徴変換手段６０の不変特徴変換部６１は、特徴記憶部２２から特徴点の座標を取り出す。次いで、不変特徴変換部６１は、取り出した特徴点の座標にもとづいて、各特徴点を不変量特徴空間に写像する（ステップ７３）。
次いで、不変特徴変換部６１は、複数の不変量特徴空間のそれぞれに配置された不変特徴を、一の不変量特徴空間に重ね合わせる（不変特徴の累積、ステップ７４）。不変特徴記憶部６２は、累積後の不変量特徴空間を記憶する。
【０２０１】
不変特徴合成手段８０の不変特徴合成部８１は、複数の不変特徴記憶部６２から累積後の不変量特徴空間を取り出す。
次いで、不変特徴合成手段８０は、それら累積後の不変量特徴空間にそれぞれ配置された不変特徴を合成する（ステップ７５）。この合成後の不変量特徴空間を、不変量特徴合成空間をいう。
続いて、不変特徴合成部８１は、不変量特徴合成空間にメッシュを掛けて区画化する（ステップ７６）。そして、不変特徴合成部８１は、各区画ごとに不変特徴の数を算出する（ステップ７７）。
不変特徴合成記憶部８２は、不変特徴合成部８１で算出された各区画ごとの不変特徴数を記憶する。
【０２０２】
動体検出手段３０ｈは、不変特徴合成記憶部８２から、区画ごとの不変特徴数を取り出す。そして、動体検出手段３０ｈは、区画ごとの不変特徴数の中に、１以上所定数以下の範囲に含まれるものがあるか否かを判断する（ステップ７８）。
判断の結果、１以上所定数以下の範囲に含まれるものがあるときは、動体検出手段３０ｈは、その不変特徴数を「０」にする処理を行う（ステップ７９）。このとき、動体検出手段３０ｈは、その検出した不変特徴の座標と、この不変特徴が位置する区画の座標を、「動体検出データテーブル」に表す。
一方、１以上所定数以下の範囲に含まれるものがないときは、動体検出手段３０ｈは、不変特徴数を「０」にする処理は行わない。
【０２０３】
特異特徴選択手段４０の特異特徴選択部４１は、不変特徴合成記憶部８２から各区画ごとの不変特徴数を取り出す。このとき、特異特徴選択部４１は、動体検出手段３０ｄで不変特徴数の「０」にする処理が行われた後の各区画ごとの不変特徴数を取り出す。
そして、特異特徴選択部４１は、各区画ごとの不変特徴数の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ８０）。
特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
【０２０４】
マーカパターン生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ８１）。
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカパターンに関するデータを記憶する。
【０２０５】
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、映像入力部として複数のカメラを備えたことで、背景映像を網羅的に観測できる。そして、これら各カメラが撮影したフレーム画像のすべてを用いてマーカパターンを生成することとしたので、それら複数のカメラが撮影した映像のいずれに対しても頑健性の高いマーカパターンを生成できる。
また、複数のカメラによる観測の際、動体の存在、経時変化、複数物体の干渉などにより、偶然に出現するパターンをすべて記憶しておき、マーカ設計時にこれらすべてを除外したものからマーカパターンを生成するようにしたので、動体の存在による特徴点の増加を抑え、これにより特異特徴の増加を促して、頑健性の高いマーカパターンを生成することができる。
【０２０６】
さらに、映像入力手段が入力した背景映像が、変化の大きい複雑シーンであっても、動体にもとづく特徴点又は不変特徴を削除してマーカパターンが生成されるため、最適なマーカパターンを安定して生成できる。
しかも、複数カメラ、複数の観測位置、複数の時間帯などで共通の不変量特徴空間を用いたので、マーカ生成にかかる計算機のメモリ消費量を低減できる。
【０２０７】
［マーカ生成装置及びマーカ生成方法の第六実施形態］
次に、本発明のマーカ生成装置及びマーカ生成方法の第六の実施形態について、図６９を参照して説明する。
図６９は、本実施形態のマーカ生成装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力手段及び特徴抽出手段の数が相違するとともに、不変特徴変換手段、不変特徴合成手段、映像入力制御手段の有無が相違する。すなわち、第一実施形態では、映像入力手段及び特徴抽出手段が一つずつであり、不変特徴変換手段等が無かったのに対し、本実施形態では、映像入力手段及び特徴抽出手段が複数あり、不変特徴変換手段等を有する。他の構成要素は第一実施形態〜第五実施形態のいずれかと同様のものとすることができる。
したがって、図６９において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
【０２０８】
図６９に示すように、マーカ生成装置１ｋは、映像入力手段１０（１０−１〜１０−ｎ）と、特徴抽出手段２０（２０−１〜２０−ｎ）と、動体検出手段３０ｋと、特異特徴選択手段４０と、マーカパターン生成手段５０と、不変特徴変換手段６０（６０−１〜６０−ｎ）と、映像入力制御手段７０ｋと、不変特徴合成手段８０とを備えている。
なお、本実施形態においては、特徴抽出手段２０と、不変特徴変換手段６０と、不変特徴合成手段８０とが、「配置手段」に相当する。
【０２０９】
ここで、映像入力手段１０は、映像入力部１１（１１−１〜１１−ｎ）と、映像記憶部１２（１２−１〜１２−ｎ）とを有している。
映像入力部１１は、映像入力制御手段７０ｋによる制御にもとづいて、背景映像を入力する。この映像入力制御手段７０ｋによる制御の内容については、後述する。
【０２１０】
映像記憶部１２は、映像入力部１１で入力された背景映像をディジタイズしたフレーム画像を記憶する。
また、映像記憶部１２は、「フレーム画像関連データテーブル」（図３６参照）と、「映像入力部データテーブル」（図３７参照）とを記憶する。
【０２１１】
特徴抽出手段２０は、特徴抽出部２１（２１−１〜２１−ｎ）と、特徴記憶部２２（２２−１〜２２−ｎ）とを有している。
特徴記憶部２２は、「特徴点情報テーブル」（図７参照）と、「フレーム画像−特徴空間対応テーブル」（図３８参照）とを記憶する。
【０２１２】
不変特徴変換手段６０は、不変特徴変換部６１（６１−１〜６１−ｎ）と、不変特徴記憶部６２（６２−１〜６２−ｎ）とを有している。
不変特徴記憶部６２は、「不変特徴情報テーブル」（図６１参照）と、「フレーム画像−不変量特徴空間対応テーブル」（図６２参照）とを記憶する。
【０２１３】
不変特徴合成手段８０は、不変特徴合成部８１と、不変特徴合成記憶部８２とを有している。
不変特徴合成記憶部８２は、「不変特徴情報テーブル」（図６１参照）と、「フレーム画像−不変量特徴空間対応テーブル」（図６２参照）と、「不変特徴情報合成テーブル」（図６５参照）と、「区画座標テーブル」（図１０参照）と、「不変特徴合成数分布図」（図６６参照）とを記憶する。
【０２１４】
動体検出手段３０ｋは、データ記憶部３１と、動体検出部３２とを有している。
データ記憶部３１は、「フレーム画像−不変量特徴空間対応テーブル」と、「不変特徴情報合成テーブル」と、「区画座標テーブル」と、「不変特徴合成数分布図」と、「動体検出データテーブル」（図６７参照）とを記憶する。
【０２１５】
動体検出部３２は、不変特徴合成手段８０の不変特徴合成記憶部８２から「フレーム画像−不変量特徴空間対応テーブル」と、「不変特徴情報合成テーブル」と、「区画座標テーブル」と、「不変特徴合成数分布図」とを取り出す。
次いで、動体検出部３２は、「不変特徴合成数分布図」において、各区画ごとの不変特徴合計数の中に、１以上所定数以下の範囲に含まれるものがあるか否かを判断する。
判断の結果、１以上所定数以下の範囲に含まれるものがあるときは、動体検出部３２は、その特徴点合計数を「０」にする。一方、１以上所定数以下の範囲に含まれるものがないときは、動体検出部３２は、「０」にする処理を行わない。
【０２１６】
続いて、動体検出部３２は、不変特徴合成記憶部８２に対し、その「０」にする処理を行った区画の座標を用いて、その区画の不変特徴合成数を「０」として記憶させる。
また、動体検出部３２は、「０」にする処理を行った区画の座標を含む「動体検出データテーブル」を作成する。
そして、動体検出部３２は、「動体検出データテーブル」と、「不変特徴情報合成テーブル」と、「区画座標テーブル」とを、映像入力制御手段７０ｋへ送る。
【０２１７】
映像入力制御手段７０ｋは、図７０に示すように、制御情報記憶部７１と、第一通信部７２と、第二通信部７３と、カメラ動作特定部７４と、動体範囲特定部７５と、カメラ制御特定部７６と、カメラ特定部７７とを有している。
制御情報記憶部７１は、所定のメモリ領域を有しており、「動体検出データテーブル」と、「不変特徴情報合成テーブル」と、「区画座標テーブル」と、「フレーム画像関連データテーブル」と、「映像入力部データテーブル」とを記憶する。
【０２１８】
第一通信部７２は、動体検出手段３０ｋから送られてきた「動体検出データテーブル」と、「不変特徴情報合成テーブル」と、「区画座標テーブル」とを受け取って制御情報記憶部７１に記憶させる。
第二通信部７３は、カメラ特定部７７で特定された映像入力手段１０の映像記憶部１２から「フレーム画像関連データテーブル」と「映像入力部データテーブル」とを取り出すと、これらを制御情報記憶部７１に記憶させる。
また、第二通信部７３は、カメラ制御特定部７６で特定された撮影範囲又は撮影時間を、カメラ特定部７７で特定された映像入力手段１０へ送る。
【０２１９】
カメラ特定部７７は、制御情報記憶部７１に記憶されている「動体検出データテーブル」を参照し、「動体検出区画」の項目に記憶されているデータを取り出す。
この「動体検出区画」のデータの中に、特定の区画を示す区画座標があるときは、カメラ特定部７７は、その区画座標に関連付けられたフレーム画像のシリアル番号を「動体検出データテーブル」から取り出す。
【０２２０】
次いで、カメラ特定部７７は、制御情報記憶部７１に記憶されている「不変特徴情報合成テーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた、「映像入力部の特定番号」の項目に記憶されているデータを取り出す。
例えば、「フレーム画像のシリアル番号」が「i-132」である場合、「映像入力部の特定番号」は、「11-1」である。これにより、カメラ特定部７７は、映像入力部１１−１を特定する。
【０２２１】
カメラ動作特定部７４は、制御情報記憶部７１に記憶されている「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた、「動作設定」の項目に記憶されているデータを取り出す。
【０２２２】
次いで、カメラ動作特定部７４は、制御情報記憶部７１に記憶されている「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた、「動作設定」の項目に記憶されているデータを取り出す。
続いて、カメラ動作特定部７４は、取り出した「動作設定」に関するデータにもとづいて、映像入力部１１の動作設定を特定する。
そして、カメラ動作特定部７４は、特定した「動作設定」と、「フレーム画像のシリアル番号」と、「動作検出区画」を動体範囲特定部７５へ送る。
【０２２３】
動体範囲特定部７５は、「動作設定」が「パン」、「チルト」、「ズーム」である場合には、制御情報記憶部７１から所定のデータを取り出す。
例えば、「動作設定」が「パン」又は「チルト」であるときは、動体範囲特定部７５は、制御情報記憶部７１に記憶されている「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「撮影角度」を取り出す。このとき、動体範囲特定部７５は、「撮影時刻」を取り出すこともできる。
また、動体範囲特定部７５は、制御情報記憶部７１に記憶されている「映像入力部データテーブル」を参照し、「撮影範囲」を取り出す。このとき、動体範囲特定部７５は、「往復時間」や「動作速度」を取り出すこともできる。
さらに、「動作設定」が「ズーム」であるときは、動体範囲特定部７５は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「倍率」を取り出す。
【０２２４】
動体範囲特定部７５は、各種データにもとづいて、映像入力部１１の最大撮影範囲における動体の出現範囲を特定し、これを撮影制限範囲とする。
また、動体範囲特定部７５は、各種データにもとづいて、撮影制限時間を算出することができる。
【０２２５】
カメラ制御特定部７６は、動体範囲特定部７５で算出された撮影制限範囲又は撮影制限時間を用いて、映像入力部１１の制御方法を特定する。
次いで、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を制御情報記憶部７１に記憶させる。また、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を、第二通信部７３を介して、カメラ特定部７７で特定された映像入力手段１０へ送る。
【０２２６】
映像入力手段１０の映像入力部１１は、第二通信部７３から送られてきた撮影範囲又は撮影時間にしたがって、背景映像を撮影する。
映像記憶部１２は、第二通信部７３から送られてきた撮影範囲又は撮影時間を記憶する。
【０２２７】
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出す。次いで、特徴抽出部２１は、その取り出したフレーム画像にもとづいて、特徴点を抽出する。続いて、特徴抽出部２１は、抽出した特徴点の座標を、特徴記憶部２２に記憶させる。
ここで、映像入力部１１の撮影範囲が変更されたときは、特徴抽出部２１は、特徴記憶部２２に記憶されている特徴点の座標を更新する。これは、背景映像が変更されることで、特異特徴が変わってしまうからである。
そして、特徴抽出部２１は、更新後の特徴点が配置された特徴空間を用いて、メッシュを掛け、各区画ごとに特徴点の数を算出する。
【０２２８】
次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図７１を参照して説明する。
同図は、本実施形態のマーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１ｅにおいて、複数の映像入力手段１０におけるそれぞれの映像記憶部１２は、「フレーム画像関連データテーブル」と、「映像入力部データテーブル」を記憶している。
【０２２９】
複数の映像入力部１１は、それぞれ背景映像を入力する（ステップ９０）。これら背景映像は、複数枚のフレーム画像で構成される。映像記憶部１２は、映像入力部１１で入力された背景映像をフレーム画像として記憶する。
複数の特徴抽出手段２０における特徴抽出部２１のそれぞれは、対応する映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ９１）。
【０２３０】
また、特徴抽出部２１は、抽出した特徴点の座標を算出する（ステップ９２）。
特徴記憶部２２は、特徴抽出部２１で算出された座標を「特徴点情報テーブル」として記憶する。
さらに、特徴抽出部２１は、フレーム画像のシリアル番号と特徴空間のシリアル番号とを対応付けた「フレーム画像−特徴空間対応テーブル」を作成する。特徴記憶部２２は、その「フレーム画像−特徴空間対応テーブル」を記憶する。
【０２３１】
複数の不変特徴変換手段６０における不変特徴変換部６１のそれぞれは、対応する特徴記憶部２２から「特徴点情報テーブル」を取り出す。次いで、不変特徴変換部６１は、取り出した特徴点の座標にもとづいて、各特徴点を不変量特徴空間に写像する（ステップ９３）。
次いで、不変特徴変換部６１は、写像後の不変量特徴空間に配置された不変特徴の座標を求め、この座標を示す「不変特徴情報テーブル」を作成する。不変特徴記憶部６２は、「不変特徴情報テーブル」を記憶する。
【０２３２】
続いて、不変特徴変換部６１は、複数の不変量特徴空間のそれぞれに配置された不変特徴を一の不変量特徴空間に重ね合わせる（不変特徴の累積、ステップ９４）。不変特徴記憶部６２は、累積後の不変量特徴空間に配置された不変特徴の座標を「不変特徴情報累積テーブル」として記憶する。
さらに、不変特徴変換部６１は、「フレーム画像−特徴空間対応テーブル」を用いて、フレーム画像のシリアル番号と不変量特徴空間のシリアル番号とを対応付けた「フレーム画像−不変量特徴空間対応テーブル」を作成する。不変特徴記憶部６２は、その「フレーム画像−不変量特徴空間対応テーブル」を記憶する。
【０２３３】
不変特徴合成手段８０の不変特徴合成部８１は、複数の不変特徴記憶部６２のそれぞれから「不変特徴情報累積テーブル」と「フレーム画像−不変量特徴空間対応テーブル」を取り出す。不変特徴合成記憶部８２は、それら「不変特徴情報累積テーブル」と「フレーム画像−不変量特徴空間対応テーブル」を記憶する。
次いで、不変特徴合成部８１は、取り出した複数の「不変特徴情報累積テーブル」に示された不変特徴数の座標にもとづいて、累積後の複数の不変量特徴空間に配置された不変特徴を一の不変特徴合成空間に配置する（累積後の不変量特徴空間の合成、ステップ９５）。
【０２３４】
続いて、不変特徴合成部８１は、不変量特徴合成空間にメッシュを掛けて区画化する（ステップ９６）。不変特徴合成記憶部８２は、区画の座標を「区画座標テーブル」として記憶する。
さらに、不変特徴合成部８１は、各区画ごとに不変特徴の数を算出する（ステップ９７）。
不変特徴合成記憶部８２は、不変特徴合成部８１で算出された各区画ごとの不変特徴数を「不変特徴合成数分布図」として記憶する。
【０２３５】
動体検出手段３０ｋは、不変特徴合成記憶部８２から、「不変特徴合成数分布図」と「区画座標テーブル」と「フレーム画像−不変量特徴空間対応テーブル」を取り出す。そして、動体検出手段３０ｋは、不変量特徴合成空間における各区画ごとの不変特徴数の中に、１以上所定数以下の範囲に含まれるものがあるか否かを判断する（ステップ９８）。
判断の結果、１以上所定数以下の範囲に含まれるものがあるときは、動体検出手段３０ｋは、その不変特徴数を「０」にする処理を行う（ステップ９９）。
一方、１以上所定数以下の範囲に含まれるものがないときは、動体検出手段３０ｋは、不変特徴数を「０」にする処理は行わない。
【０２３６】
また、動体検出手段３０ｋは、不変特徴数を「０」にする処理を行ったときは、その不変特徴があった区画の座標を検出し、これを「フレーム画像−不変量特徴空間対応テーブル」に加えた「動体検出データテーブル」を作成し、映像入力制御手段７０ｋへ送る。このとき、動体検出手段３０ｋは、そのフレーム画像を撮影した映像入力手段１０を特定する情報を映像入力制御手段７０ｋへ送ることができる。
映像入力手段７０ｋは、動体検出手段３０ｋから「動体検出データテーブル」等の所定のデータを受け取ると、映像入力制御を実行する（ステップ１００）。なお、映像入力制御の詳細については、後記の「映像入力制御の処理手順」で詳述する。
【０２３７】
特異特徴選択手段４０の特異特徴選択部４１は、不変特徴合成記憶部８２から「不変特徴合成数分布図」を取り出す。このとき、特異特徴選択部４１は、動体検出手段３０ｋで不変特徴数を「０」にする処理が行われた後の各区画ごとの不変特徴数を取り出す。
そして、特異特徴選択部４１は、各区画ごとの不変特徴数の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ１０１）。
特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
【０２３８】
マーカパターン生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ１０２）。
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカパターンに関するデータを記憶する。
【０２３９】
次に、映像入力制御の処理手順について、図７２を参照して説明する。
映像入力制御手段７０ｋの第一通信部７２は、動体検出手段３０ｋから送られてきた「動体検出データテーブル」を受け取って、制御情報記憶部７１に記憶させる。
第二通信部７３は、映像記憶部１２から「フレーム画像関連データテーブル」と「映像入力部データテーブル」とを取り出すと、これらを制御情報記憶部７１に記憶させる。
【０２４０】
カメラ特定部７７は、制御情報記憶部７１に記憶されている「動体検出データテーブル」を参照し、「動体検出区画」の項目に記憶されているデータを取り出す。
この「動体検出区画」のデータの中に、特定の区画を示す区画座標があるときは、カメラ特定部７７は、その区画座標に関連付けられたフレーム画像のシリアル番号を「動体検出データテーブル」から取り出す。
【０２４１】
次いで、カメラ特定部７７は、制御情報記憶部７１に記憶されている「不変特徴情報合成テーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた、「映像入力部の特定番号」の項目に記憶されているデータを取り出す。このデータにより、カメラ特定部７７は、映像入力部１１を特定する（ステップ１１０）。
【０２４２】
カメラ動作特定部７４は、「動体検出データテーブル」を参照して、データが記憶された「動体から抽出された特徴点の座標」と、「動体検出区画」と、これらに関連付けられた「フレーム画像のシリアル番号」とを取り出す。
次いで、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」を用いて、これに関連付けられた「動作設定」を取り出す。
カメラ動作特定部７４は、この取り出した「動作設定」にもとづいて、映像入力部１１の動作設定を特定する（ステップ１１１）。
ここで、特定される動作設定には、「固定」、「パン」、「チルト」、「ズーム」などがある。
【０２４３】
続いて、カメラ動作特定部７４は、特定した動作設定にもとづいて、制御情報記憶部７１から所定のデータを取り出す（ステップ１１２）。
例えば、動作設定が「パン」又は「チルト」の場合、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「撮影角度」を取り出す。また、カメラ動作特定部７４は、「映像入力部データテーブル」を参照し、「撮影範囲」、「往復時間」、「動作速度」などを取り出す。
【０２４４】
さらに、例えば、動作設定が「ズーム」の場合、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「倍率」を取り出す。
また、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「撮影時刻」を取り出すことができる。さらに、この場合、カメラ動作特定部７４は、「映像入力部データテーブル」を参照し、「撮影時間帯」を取り出すことができる。
そして、カメラ動作特定部７４は、制御情報記憶部７１から取り出した各種データを動体範囲特定部７５へ送る。
【０２４５】
動体範囲特定部７５は、カメラ動作特定部７４から送られてきた各種データにもとづいて、映像入力部１１の最大撮影範囲における動体の出現範囲を特定する（ステップ１１３）。また、動体範囲特定部７５は、カメラ動作特定部７４から送られてきた各種データにもとづいて、動体の出現時間を特定することができる。
【０２４６】
カメラ制御特定部７６は、動体範囲特定部７５で算出された撮影制限範囲又は撮影制限時間を用いて、映像入力部１１の新たな撮影範囲を特定する（ステップ１１４）。
次いで、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を制御情報記憶部７１に記憶させる。また、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を、第二通信部７３を介して、カメラ特定部７７で特定された映像入力手段１０へ送る。
【０２４７】
映像入力手段１０の映像入力部１１は、第二通信部７３から送られてきた撮影範囲又は撮影時間にしたがって、背景映像を撮影する（撮影入力制御、ステップ１１５）。
また、映像入力部１１の撮影範囲が新たな撮影範囲に更新されると、特徴抽出部２１は、特徴記憶部２２に記憶されている特徴点の座標を更新する。
【０２４８】
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、映像入力手段を複数設けた場合でも、これら複数の映像入力手段が撮影したフレーム画像のすべてを用いてマーカパターンが生成されるため、それらフレーム画像のいずれに対しても頑健性の高いマーカパターンを生成できる。
また、映像入力制御手段を設けたことにより、映像入力部が動体（低出現物体）を写さないように制御することができる。これにより、動体を除外したかたちでマーカパターンを設計できることから、動体にもとづく特徴点や不変特徴の増加を抑え、特異特徴の増加を促して、頑健性の高いマーカパターンを生成でき、最適なマーカパターンを安定的に生成することができる。
【０２４９】
［マーカ検出装置及びマーカ検出方法］
（マーカ検出装置）
次に、マーカ検出装置について、図７３、図７４を参照して説明する。
図７３は、マーカ検出装置の構成を示すブロック図である。図７４は、マーカ検出装置の詳細構成を示すブロック図である。
図７３に示すように、マーカ検出装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、マーカ記憶手段１３０と、照合手段１４０と、報知手段１５０とを備えている。
【０２５０】
ここで、映像入力手段１１０は、図７４に示すように、映像入力部１１１と、映像記憶部１１２とを有している。
映像入力部１１１は、マーカが存在する可能性のある環境を検出対象映像として撮影（入力）する。例えば、映像入力部１１１は、図７５に示すように、マーカを含む検出対象映像を入力することができる。
映像記憶部１１２は、検出対象映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。
【０２５１】
特徴抽出手段１２０は、図７４に示すように、特徴抽出部１２１と、特徴記憶部１２２とを有している。
特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出す。そして、特徴抽出部１２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
例えば、検出対象映像が図７５に示すような画像の場合、特徴抽出部１２１は、その検出対象映像から図７６に示すような特徴点を抽出する。
特徴記憶部１２２は、特徴抽出部１２１で抽出された特徴点の各座標を記憶する。
【０２５２】
マーカ記憶手段１３０は、マーカ生成装置１で生成されたマーカパターンに関するデータを記憶する。このマーカ記憶手段１３０は、例えば、マーカパターンにもとづく特徴点を記憶することもできる。
【０２５３】
照合手段１４０は、図７４に示すように、照合部１４１と、照合結果記憶部１４２とを有している。
照合部１４１は、検出対象映像にもとづく特徴点の各座標を特徴記憶部１２２から取り出すとともに、マーカパターンにもとづく特徴点の各座標をマーカ記憶手段１３０から取り出し、それらを照合する。そして、照合部１４１は、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあるか否かを判断する。
【０２５４】
例えば、マーカパターンの特徴の一つと検出対象映像から生成された特徴の一つとを比較して、特徴空間でのユークリッド距離が既定値以下である場合には、それら特徴が一致したとして、一致した特徴の数をスコアとして累積し、スコアが閾値に達すると、マーカの検出を受諾するようにしても良い。また、前述のユークリッド距離の累積値が既定値以下である条件を付加しても良い。
【０２５５】
また、例えば、マーカ生成装置１ａの特徴抽出部２１が、特異特徴の決定を量子化した特徴空間で実行した場合、マーカ記憶手段１３０は、その特異特徴の座標を記憶しておく。そして、照合部１４１は、マーカ設計時に頻度が０であったメッシュに、検出対象映像からの特徴が１回でも投影されたときには、マーカパターンからの寄与であるとして検出を確定することができる。これによれば、マーカ検出は、高速に行える。
ノイズや特徴抽出計算の誤差による誤対応を避けるために、受諾する投影の頻度を１回以上の既定値に設定してもよい。または、量子化した特徴空間をマーカパターンから生成可能である場合には、これを利用しても良い。この場合、検出対象映像から得た特異特徴が、マーカパターンの投影される特徴空間メッシュに１回、又は既定回数一致した場合に、マーカパターン検出を受諾するようにしても良い。
【０２５６】
これら照合の結果、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあるときは、照合部１４１は、検出対象映像における当該特徴点の座標を検出し、これを照合結果記憶部１４２に記憶させる。また、照合部１４１は、報知手段１５０へ報知信号を送る。
一方、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にないときは、照合部１４１は、特徴点の座標の検出及び報知信号の送出を行わない。
【０２５７】
具体的には、照合部１４１は、図７６に示す特徴点群の中から、マーカ記憶手段１３０から取り出したマーカパターンにもとづく特徴点と一致する特徴点を探し出す。このとき、照合部１４１は、マーカパターンにもとづく特徴点群を拡大又は縮小して、特徴空間における特徴点群と照合する。
その結果、図７６に示す特徴点群の中から、マーカ記憶手段１３０から取り出したマーカパターンにもとづく特徴点と一致する特徴点が見つかると、照合部１４１は、図７６に示す特徴空間における当該特徴点の座標を検出し、これを照合結果記憶部１４２に記憶させる。
【０２５８】
照合結果記憶部１４２は、照合部１４１で行われた照合に関するデータを記憶する。
例えば、照合結果記憶部１４２は、検出対象映像にもとづく特徴点のうち、マーカパターンにもとづく特徴点と一致する特徴点（図７６においては、左方の楕円で囲まれた特徴点）の各座標を記憶する。
【０２５９】
報知手段１５０は、照合部１４１から報知信号を受けると、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあったことを外部に報知する。この報知の方法には、例えば、音声出力や、画面表示などがある。
【０２６０】
（マーカ検出方法）
次に、本実施形態のマーカ検出方法について、図７７を参照して説明する。
マーカ記憶手段１３０は、マーカ生成装置１で生成されたマーカパターンに関するデータを予め記憶している（ステップ１１０）。このマーカ記憶手段１３０は、例えば、マーカパターンにもとづく特徴点を記憶することもできる。
【０２６１】
映像入力手段１１０の映像入力部１１１は、マーカが存在する可能性のある環境を検出対象映像として入力する（ステップ１１１）。
映像記憶部１１２は、検出対象映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。
【０２６２】
特徴抽出手段１２０の特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出す。そして、特徴抽出部１２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する（ステップ１１２）。
また、特徴抽出部１２１は、抽出した特徴点の座標を算出する（ステップ１１３）。
特徴記憶部１２２は、特徴抽出部１２１で算出された特徴点の各座標を記憶する。
【０２６３】
照合手段１４０の照合部１４１は、検出対象映像にもとづく特徴点の各座標を特徴記憶部１２２から取り出すとともに、マーカパターンにもとづく特徴点の各座標をマーカ記憶手段１３０から取り出し、それらを照合する（ステップ１１４）。そして、照合部１４１は、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあるか否かを判断する。
【０２６４】
判断の結果、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあるときは、照合部１４１は、検出対象映像における当該特徴点の座標を検出し、これを照合結果記憶部１４２に記憶させる。また、照合部１４１は、報知手段１５０へ報知信号を送る。
一方、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にないときは、照合部１４１は、特徴点の座標の検出及び報知信号の送出を行わない。
【０２６５】
報知手段１５０は、照合部１４１から報知信号を受けると、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあったことを外部に報知する（ステップ１１５）。
その後は、終了するか否かが判断され（ステップ１１６）、終了しないときは、ステップ１１１〜ステップ１１６の処理が繰り返される。
【０２６６】
以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、マーカ生成装置で生成されたマーカパターンを用いて、検出対象映像に映し出されたマーカを確実に検出することができる。
また、本実施形態においては、マーカの検出を特徴空間において行なうこととしたが、マーカの検出は、特徴空間に限るものではなく、例えば、不変量特徴空間において行なうこともできる。この場合、マーカ生成段階で、特異特徴を選択した特異特徴配置図を記憶しておき、マーカ検出段階で、検出対象映像から特徴点を抽出し、この特徴点を不変量特徴空間に写像して不変特徴し、この不変量特徴空間と前述の特異特徴配置図とを重ね合わせ、特異特徴配置図に示された特異特徴に不変量特徴空間に示された不変特徴が現れたときは、この不変特徴をマーカにもとづく不変特徴として検出することができる。
【０２６７】
さらに、マーカパターンの生成において、物体色不変量やテクスチャ不変量を用いた場合には、マーカ検出において、それら物体色不変量やテクスチャ不変量を用いてマーカ検出を行なう。この場合、マーカ生成段階で、背景映像から物体色不変量やテクスチャ不変量を抽出し、これらにもとづく特異特徴を選択して記憶しておき、マーカ検出段階において、検出対象映像から物体色不変量やテクスチャ不変量を抽出し、これら物体色不変量やテクスチャ不変量が特異特徴と一致したときは、それら物体色不変量やテクスチャ不変量をマーカとして検出することができる。
【０２６８】
［マーカ生成検出装置及びマーカ生成検出システム］
（マーカ生成検出装置）
次に、マーカ生成検出装置について、図７８を参照して説明する。
図７８は、マーカ生成検出装置の構成を示すブロック図である。
図７８に示すように、マーカ生成検出装置１０００は、マーカ生成装置１と、マーカ検出装置１００とを備えている。
【０２６９】
ここで、マーカ生成装置１は、前述した第一実施形態〜第六実施形態のいずれかにおけるマーカ生成装置１を用いることができる。
マーカ検出装置１００は、前述した図７３に示すマーカ検出装置１００を用いることができる。
このように、マーカ生成検出装置１０００は、マーカ生成装置１とマーカ検出装置１００とを一体化した構成とすることができる。
【０２７０】
また、マーカ生成装置１とマーカ検出装置１００とは、共有化できる機能があるため、図７９に示すような構成とすることもできる。
例えば、マーカ生成検出装置１０００は、映像入力手段１０と、特徴抽出手段２０と、動体検出手段３０と、特異特徴選択手段４０と、マーカ生成手段５０と、照合手段１４０と、報知手段１５０とを有している。また、マーカ生成手段５０は、マーカ生成部５１と、マーカ記憶部５２とを有している。
これらのうち、映像入力手段１０と、特徴抽出手段２０と、動体検出手段３０と、特異特徴選択手段４０と、マーカ生成手段５０が、マーカ生成装置としての機能を有している。
一方、映像入力手段１０と、特徴抽出手段２０と、マーカ記憶部５２と、照合手段１４０と、報知手段１５０が、マーカ検出装置としての機能を有している。
そして、映像入力手段１０と、特徴抽出手段２０と、マーカ記憶部５２が、マーカ生成装置とマーカ検出装置に共通している部分である。
【０２７１】
マーカ生成装置におけるマーカ生成方法は、前述した第一〜第六実施形態におけるマーカ生成方法と同様である。
また、マーカ検出装置におけるマーカ検出方法は、前述した実施形態におけるマーカ検出方法と同様である。
【０２７２】
（マーカ生成検出システム）
次に、本実施形態のマーカ生成検出システムについて、図８０を参照して説明する。
同図に示すように、マーカ生成検出システム２０００は、マーカ生成装置１と、マーカ検出装置１００とを備えている。これらマーカ生成装置１とマーカ検出装置１００は、通信ネットワーク又は通信ケーブル３００などで接続することができる。
【０２７３】
マーカ生成装置１は、映像入力手段１０と、特徴抽出手段２０と、動体検出手段３０と、特異特徴選択手段４０と、マーカ生成手段５０と、通信手段９０とを有している。
通信手段９０は、マーカ記憶部５２に記憶されているマーカに関するデータを取り出し、これをマーカ検出装置１００へ送信する。
【０２７４】
マーカ検出装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、マーカ記憶部１３０と、照合手段１４０と、報知手段１５０と、通信手段１６０とを有している。
通信手段１６０は、マーカ生成装置１から送信されてきたマーカに関するデータを受信する。また、通信手段１６０は、その受信したマーカに関するデータをマーカ記憶部１３０に記憶させる。
【０２７５】
以上説明したように、マーカ生成検出装置及びマーカ生成検出システムによれば、マーカ生成検出装置又はマーカ生成検出システムのマーカ生成機能において、動体（低出現物体）にもとづく特徴点を消去した後に、特異特徴を選択することができる。これにより、背景映像に一時的に表れた動体にもとづく特徴点の存在により特異特徴の選択が制限されるのを回避して、頑健性の高いマーカを生成できる。
【０２７６】
［マーカ生成プログラム及びマーカ検出プログラム］
次に、マーカ生成プログラム及びマーカ検出プログラムについて説明する。
上記の各実施形態におけるコンピュータ（マーカ生成装置、マーカ検出装置、マーカ生成検出装置、マーカ生成検出システム）のマーカ生成機能（マーカ生成方法を実行するための機能）やマーカ検出機能（マーカ検出方法を実行するための機能）は、記憶手段（例えば、ＲＯＭ（Read only memory）やハードディスクなど）に記憶されたマーカ生成プログラム又はマーカ検出プログラムにより実現される。
【０２７７】
マーカ生成プログラム及びマーカ検出プログラムは、コンピュータの制御手段（ＣＰＵ（Central Processing Unit）など）に読み込まれることにより、コンピュータの構成各部に指令を送り、所定の処理、たとえば、マーカ生成装置の映像入力処理、特徴抽出処理、特異特徴選択処理、マーカパターン生成処理、動体検出処理、不変特徴変換処理、不変特徴累計処理、不変特徴合成処理、映像入力制御処理、マーカ検出装置の映像入力処理、特徴抽出処理、照合処理、報知処理などを行わせる。
これによって、マーカ生成機能又はマーカ検出機能は、ソフトウエアであるマーカ生成プログラムとハードウエア資源であるコンピュータ（マーカ生成装置、マーカ検出装置、マーカ生成検出装置、マーカ生成検出システム）の各構成手段とが協働することにより実現される。
【０２７８】
なお、マーカ生成機能又はマーカ検出機能を実現するためのマーカ生成プログラムは、コンピュータのＲＯＭやハードディスクなどに記憶される他、コンピュータ読み取り可能な記録媒体、たとえば、外部記憶装置及び可搬記録媒体等に格納することができる。
外部記憶装置とは、ＣＤ−ＲＯＭ（Compact disk−Read only memory）等の記憶媒体を内蔵し、マーカ生成装置に外部接続されるメモリ増設装置をいう。一方、可搬記録媒体とは、記録媒体駆動装置（ドライブ装置）に装着でき、かつ、持ち運び可能な記録媒体であって、たとえば、フレキシブルディスク，メモリカード，光磁気ディスク等をいう。
【０２７９】
そして、記録媒体に記録されたプログラムは、コンピュータのＲＡＭ（Random access memory）等にロードされて、ＣＰＵ（制御手段）により実行される。この実行により、上述した各実施形態のマーカ生成装置の機能が実現される。
さらに、コンピュータでマーカ生成プログラムをロードする場合、他のコンピュータで保有されたマーカ生成プログラムを、通信回線を利用して自己の有するＲＡＭや外部記憶装置にダウンロードすることもできる。このダウンロードされたマーカ生成プログラムも、ＣＰＵにより実行され、上記各実施形態のマーカ生成装置のマーカ生成機能を実現する。
【０２８０】
以上説明したように、本実施形態のマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムによれば、映像入力手段がフレーム画像を複数撮影した場合に、それら複数のフレーム画像を用いてマーカパターンを生成することとしたので、その映像入力手段が撮影対象とする背景に対して頑健性の高いマーカパターンを生成できる。この効果は、一台の映像入力手段が複数枚のフレーム画像を撮影する場合の他、一台の映像入力手段が背景映像を長時間撮影する場合、複数台の映像入力手段を設置して複数枚のフレーム画像を撮影する場合、映像入力手段がアクティブカメラや自走カメラなどの場合にも得ることができる。
【０２８１】
また、映像入力手段が複数のフレーム画像を入力し、この間、動体の変形、経時変化、複数物体の干渉などにより偶然に出現するパターンを、それら複数のフレーム画像とともにすべて記憶しておき、マーカ設計時にそれら動体にもとづく特徴点等を除外した上で、マーカパターンを設計するようにしたので、動体にもとづく特徴点又は不変特徴の増加を抑えて特異特徴の増加を促し、頑健性の高いマーカパターンを生成することができる。
【０２８２】
さらに、映像入力手段が入力した背景映像が、変化の大きい複雑シーンであった場合でも、動体を排除したかたちでマーカパターンが生成されるため、最適なマーカパターンを安定して生成できる。
【０２８３】
以上、本発明のマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムの好ましい実施形態について説明したが、本発明に係るマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムは上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上述した実施形態では、マーカパターン生成手段がマーカを一つのみ生成することとしたが、マーカを一つのみ生成することに限るものではなく、複数生成することもできる。
【０２８４】
なお、本発明のマーカ生成装置は、第一実施形態〜第六実施形態のそれぞれにおけるマーカ生成装置を任意に組み合わせたものであってもよい。
【産業上の利用可能性】
【０２８５】
本発明は、マーカの生成に関する発明であるため、マーカの生成を行なう装置や機器、さらには、物品管理、フィジカルセキュリティをはじめとする映像モニタリング、ロボットビジョン、複合現実感ＵＩ、コンテンツ生成応用といった用途に利用可能である。
【符号の説明】
【０２８６】
１ａ〜１ｋ マーカ生成装置
１０ 映像入力手段
１１ 映像入力部
２０ 特徴抽出手段
３０ 動体検出手段
４０ 特異特徴選択手段
５０ マーカ生成手段
６０ 不変特徴変換手段
７０ 映像入力制御手段
８０ 不変特徴合成手段
１００ マーカ検出装置
１０００ マーカ生成検出装置
２０００ マーカ生成検出システム

【特許請求の範囲】
【請求項１】
複数の画像を入力する映像入力手段と、
前記複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す配置手段と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、
前記特異特徴を用いてマーカを生成するマーカ生成手段と、
前記複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段とを備え、
前記特異特徴選択手段が、前記低出現物体に対応する特徴点が排除された前記所定の空間から前記特異特徴を選択する
ことを特徴とするマーカ生成装置。
【請求項２】
前記配置手段は、前記複数の画像から抽出された前記特徴点を特徴空間に表す特徴抽出部を有し、
この特徴抽出部は、前記特徴空間を複数の区画で区切り、各区画ごとに前記特徴点の数を求め、
前記動体検出手段は、前記区画ごとの特徴点の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する特徴点を前記低出現物体に対応する特徴点として検出する
ことを特徴とする請求項１記載のマーカ生成装置。
【請求項３】
前記動体検出手段が、前記低出現物体に対応する特徴点を検出すると、この低出現物体に対応する特徴点が配置された区画の特徴点の数を０とし、
前記特異特徴選択手段は、前記特徴空間における特徴点の数が所定数以下の区画を特異特徴として選択し、
前記マーカ生成手段は、この選択された特異特徴を用いてマーカを生成する
ことを特徴とする請求項２記載のマーカ生成装置。
【請求項４】
前記配置手段は、前記複数の画像から抽出された前記特徴点を特徴空間に表す特徴抽出部と、前記特徴空間に表された特徴点を不変特徴として不変量特徴空間に表す不変特徴変換部とを有し、
この不変特徴変換部は、前記不変量特徴空間を複数の区画で区切り、各区画ごとに前記不変特徴の数を求め、
前記動体検出手段は、前記区画ごとの不変特徴の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する不変特徴を前記低出現物体に対応する不変特徴として検出する
ことを特徴とする請求項１記載のマーカ生成装置。
【請求項５】
前記動体検出手段が、前記低出現物体に対応する不変特徴を検出すると、
前記不変特徴変換部は、前記低出現物体に対応する不変特徴が配置された区画の不変特徴の数を０とし、
前記特異特徴選択手段は、前記不変量特徴空間における不変特徴の数が所定数以下の区画を特異特徴として選択し、
前記マーカ生成手段は、この選択された特異特徴を用いてマーカを生成する
ことを特徴とする請求項４記載のマーカ生成装置。
【請求項６】
前記動体検出手段は、前記映像入力手段で入力された複数の画像を比較し、他の画像と相違する部分を前記低出現物体が映し出された部分として検出する
ことを特徴とする請求項１〜５のいずれかに記載のマーカ生成装置。
【請求項７】
前記動体検出手段が、前記低出現物体が映し出された部分として検出すると、
前記映像入力手段は、前記画像を形成するデータのうち前記低出現物体が映し出された部分を構成するデータを削除する
ことを特徴とする請求項６記載のマーカ生成装置。
【請求項８】
前記低出現物体の検出内容にもとづいて前記映像入力手段を制御する映像入力制御手段を備えた
ことを特徴とする請求項１〜７のいずれかに記載のマーカ生成装置。
【請求項９】
前記映像入力手段は、カメラアングルが固定された画像を入力し、
前記映像入力制御手段は、前記画像の中で前記低出現物体が出現した箇所が撮影されないように前記映像入力手段を制御する
ことを特徴とする請求項８記載のマーカ生成装置。
【請求項１０】
前記映像入力手段は、パン又はチルトを行いながら画像を入力し、
前記映像入力制御手段は、前記パン又はチルトにより撮影される範囲内で前記低出現物体が出現した箇所が撮影されないように前記映像入力手段を制御する
ことを特徴とする請求項８又は９記載のマーカ生成装置。
【請求項１１】
前記映像入力手段は、拡大又は縮小された画像を入力し、
前記映像入力制御手段は、前記低出現物体が出現した箇所が撮影されないように前記映像入力手段の拡大率又は縮小率を制御する
ことを特徴とする請求項８〜１０のいずれかに記載のマーカ生成装置。
【請求項１２】
前記映像入力制御手段は、前記低出現物体が出現する頻度の高い時間帯で撮影しないように前記映像入力手段を制御する
ことを特徴とする請求項８〜１１のいずれかに記載のマーカ生成装置。
【請求項１３】
前記映像入力手段を複数備え、
前記動体検出手段は、前記低出現物体を検出した画像を入力した映像入力手段を特定し、
前記映像入力制御手段は、前記動体検出手段で特定された映像入力手段に対して前記制御を行う
ことを特徴とする請求項８〜１２のいずれかに記載のマーカ生成装置。
【請求項１４】
前記複数の映像入力手段が、アクティブカメラ又は自走カメラを含む
ことを特徴とする請求項１３記載のマーカ生成装置。
【請求項１５】
マーカ生成装置とマーカ検出装置とを備え、
前記マーカ生成装置が、
複数の画像を入力する第一映像入力手段と、
この第一映像入力手段で入力された前記複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す第一配置手段と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、
前記特異特徴を用いてマーカを生成するマーカ生成手段と、
前記複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段とを有し、
前記特異特徴選択手段が、前記低出現物体に対応する特徴点が排除された前記所定の空間から前記特異特徴を選択し、
前記マーカ生成手段が、前記特異特徴を用いてマーカを生成し、
前記マーカ検出装置が、
前記マーカを記憶するマーカ記憶手段と、
画像を入力する第二映像入力手段と、
この第二映像入力手段で入力された前記画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、
前記所定の空間に表された特徴点群の配置の中に、前記マーカにもとづく特徴点の配置があるか否かを判断する照合手段とを有した
ことを特徴とするマーカ生成検出システム。
【請求項１６】
前記第一配置手段は、前記複数の画像から抽出された前記特徴点を特徴空間に表す特徴抽出部を有し、
この特徴抽出部は、前記特徴空間を複数の区画で区切り、各区画ごとに前記特徴点の数を求め、
前記動体検出手段は、前記区画ごとの特徴点の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する特徴点を前記低出現物体に対応する特徴点として検出する
ことを特徴とする請求項１５記載のマーカ生成検出システム。
【請求項１７】
前記第一配置手段は、前記複数の画像から抽出された前記特徴点を特徴空間に表す特徴抽出部と、前記特徴空間に表された特徴点を不変特徴として不変量特徴空間に表す不変特徴変換部とを有し、
この不変特徴変換部は、前記不変量特徴空間を複数の区画で区切り、各区画ごとに前記不変特徴の数を求め、
前記動体検出手段は、前記区画ごとの不変特徴の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する不変特徴を前記低出現物体に対応する不変特徴として検出する
ことを特徴とする請求項１５記載のマーカ生成検出システム。
【請求項１８】
前記マーカ生成装置が、前記低出現物体の検出内容にもとづいて前記第一映像入力手段を制御する映像入力制御手段を備えた
ことを特徴とする請求項１５〜１７のいずれかに記載のマーカ生成検出システム。
【請求項１９】
複数の画像を入力する第一映像入力手段と、
この第一映像入力手段で入力された前記複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す第一配置手段と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、
前記特異特徴を用いてマーカを生成するマーカ生成手段と、
前記マーカを記憶するマーカ記憶手段と、
画像を入力する第二映像入力手段と、
この第二映像入力手段で入力された前記画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、
前記所定の空間に表された特徴点群の配置の中に、前記マーカに対応する特徴点の配置があるか否かを判断する照合手段と、
前記第一映像入力手段で入力された複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段とを有し、
前記特異特徴選択手段が、前記低出現物体に対応する特徴点が排除された前記所定の空間から前記特異特徴を選択する
ことを特徴とするマーカ生成検出装置。
【請求項２０】
前記第一配置手段は、前記複数の画像から抽出された前記特徴点を特徴空間に表す特徴抽出部を有し、
この特徴抽出部は、前記特徴空間を複数の区画で区切り、各区画ごとに前記特徴点の数を求め、
前記動体検出手段は、前記区画ごとの特徴点の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する特徴点を前記低出現物体に対応する特徴点として検出する
ことを特徴とする請求項１９記載のマーカ生成検出装置。
【請求項２１】
前記第一配置手段は、前記複数の画像から抽出された前記特徴点を特徴空間に表す特徴抽出部と、前記特徴空間に表された特徴点を不変特徴として不変量特徴空間に表す不変特徴変換部とを有し、
この不変特徴変換部は、前記不変量特徴空間を複数の区画で区切り、各区画ごとに前記不変特徴の数を求め、
前記動体検出手段は、前記区画ごとの不変特徴の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する不変特徴を前記低出現物体に対応する不変特徴として検出する
ことを特徴とする請求項１９記載のマーカ生成検出装置。
【請求項２２】
前記低出現物体の検出内容にもとづいて前記第一映像入力手段を制御する映像入力制御手段を備えた
ことを特徴とする請求項１９〜２１のいずれかに記載のマーカ生成検出装置。
【請求項２３】
複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表し、前記複数の画像への出現頻度が低い物又は物の状態を低出現物体とし、この低出現物体に対応する特徴点が排除された前記所定の空間において前記特徴点が所定数以下の部分を特異特徴として選択し、この選択された特異特徴を用いて生成された
ことを特徴とするマーカ。
【請求項２４】
前記複数の画像から抽出された前記特徴点を特徴空間に表し、この特徴空間を複数の区画で区切り、各区画ごとに前記特徴点の数を求め、前記区画ごとの特徴点の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する特徴点を前記低出現物体に対応する特徴点として検出し、この低出現物体に対応する特徴点が排除された特徴空間において前記特徴点が所定数以下の区画を特異特徴として選択し、この選択された特異特徴を用いて生成された
ことを特徴とする請求項２３記載のマーカ。
【請求項２５】
前記複数の画像から抽出された前記特徴点を特徴空間に表し、この特徴空間に表された特徴点を不変特徴として不変量特徴空間に表し、この不変量特徴空間を複数の区画で区切り、各区画ごとに前記不変特徴の数を求め、前記区画ごとの不変特徴の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する不変特徴を前記低出現物体に対応する不変特徴として検出し、この低出現物体に対応する不変特徴が排除された不変量特徴空間において前記不変特徴が所定数以下の区画を特異特徴として選択し、この選択された特異特徴を用いて生成された
ことを特徴とする請求項２３記載のマーカ。
【請求項２６】
複数の画像を入力する工程と、
前記複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す工程と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する工程と、
前記特異特徴を用いてマーカを生成する工程とを有し、
前記複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する工程と、
前記低出現物体に対応する特徴点が排除された前記所定の空間から前記特異特徴を選択する工程とを有した
ことを特徴とするマーカ生成方法。
【請求項２７】
前記複数の画像から抽出された前記特徴点を特徴空間に表す工程と、
前記特徴空間を複数の区画で区切り、各区画ごとに前記特徴点の数を求める工程と、
前記区画ごとの特徴点の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する特徴点を前記低出現物体に対応する特徴点として検出する工程とを有した
ことを特徴とする請求項２６記載のマーカ生成方法。
【請求項２８】
前記複数の画像から抽出された前記特徴点を特徴空間に表す工程と、
前記特徴空間に表された特徴点を不変特徴として不変量特徴空間に表す工程と、
前記不変量特徴空間を複数の区画で区切り、各区画ごとに前記不変特徴の数を求める工程と、
前記区画ごとの不変特徴の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する不変特徴を前記低出現物体に対応する不変特徴として検出する工程とを有した
ことを特徴とする請求項２６記載のマーカ生成方法。
【請求項２９】
前記低出現物体の検出内容にもとづいて画像の入力を制御する工程を有した
ことを特徴とする請求項２６〜２８のいずれかに記載のマーカ生成方法。
【請求項３０】
複数の画像を入力する工程と、
前記複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す工程と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する工程と、
前記特異特徴を用いてマーカを生成する工程とを有し、
前記複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する工程と、
前記低出現物体に対応する特徴点が排除された前記所定の空間から前記特異特徴を選択する工程と
をマーカ生成装置に実行させる
ことを特徴とするマーカ生成プログラム。
【請求項３１】
前記複数の画像から抽出された前記特徴点を特徴空間に表す工程と、
前記特徴空間を複数の区画で区切り、各区画ごとに前記特徴点の数を求める工程と、
前記区画ごとの特徴点の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する特徴点を前記低出現物体に対応する特徴点として検出する工程と
を前記マーカ生成装置に実行させる
ことを特徴とする請求項３０記載のマーカ生成プログラム。
【請求項３２】
前記複数の画像から抽出された前記特徴点を特徴空間に表す工程と、
前記特徴空間に表された特徴点を不変特徴として不変量特徴空間に表す工程と、
前記不変量特徴空間を複数の区画で区切り、各区画ごとに前記不変特徴の数を求める工程と、
前記区画ごとの不変特徴の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する不変特徴を前記低出現物体に対応する不変特徴として検出する工程と
を前記マーカ生成装置に実行させる
ことを特徴とする請求項３０記載のマーカ生成プログラム。
【請求項３３】
前記低出現物体の検出内容にもとづいて画像の入力を制御する工程を前記マーカ生成装置に実行させる
ことを特徴とする請求項３０〜３２のいずれかに記載のマーカ生成プログラム。

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３】

【図３４】

【図３５】

【図３６】

【図３７】

【図３８】

【図３９】

【図４０】

【図４１】

【図４２】

【図４３】

【図４４】

【図４５】

【図４６】

【図４７】

【図４８】

【図４９】

【図５０】

【図５１】

【図５２】

【図５３】

【図５４】

【図５５】

【図５６】

【図５７】

【図５８】

【図５９】

【図６０】

【図６１】

【図６２】

【図６３】

【図６４】

【図６５】

【図６６】

【図６７】

【図６８】

【図６９】

【図７０】

【図７１】

【図７２】

【図７３】

【図７４】

【図７５】

【図７６】

【図７７】

【図７８】

【図７９】

【図８０】

【図１５】

【公開番号】特開２０１１−２８４１８（Ｐ２０１１−２８４１８Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７１８３６（Ｐ２００９−１７１８３６）
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】