特徴点選択システム、特徴点選択方法および特徴点選択プログラム
【課題】認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる特徴点選択システムを提供する。
【解決手段】学習評価用データ生成手段９１は、３次元形状モデルおよびその３次元形状モデル上の複数の特徴点が指定されると、３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成する。学習手段９２は、学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習する。選択手段９３は、学習により得られた判定用データを用いて評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する。
【解決手段】学習評価用データ生成手段９１は、３次元形状モデルおよびその３次元形状モデル上の複数の特徴点が指定されると、３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成する。学習手段９２は、学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習する。選択手段９３は、学習により得られた判定用データを用いて評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元形状モデル上の複数の特徴点の中から好ましい特徴点を選択する特徴点選択システム、特徴点選択方法、特徴点選択プログラム、およびその特徴点選択システムを利用した画像認識システム、画像認識方法、画像認識プログラムに関する。
【背景技術】
【０００２】
画像に示された物体やその物体の状態を認識する処理を認識タスクと呼ぶ。認識タスクの例として、個体（例えば人の顔）の画像から、その個体の向き（以下、姿勢と記す。）を推定したり、その個体を識別したりする処理が挙げられる。物体の姿勢推定を例にして認識タスクの例を示す。まず、予め物体の３次元形状モデルにおける特徴点の３次元位置を記憶しておく。一般に、システム稼働後に認識対象の個体が新たに登録されるシステムにおいて、特徴点位置は全個体で共通とされる。特徴点の記憶後、認識対象の画像（本例では、姿勢推定しようとする物体が表された画像）から、特徴点の位置を検出し、予め記憶していた特徴点の３次元位置と対応付ける。そして、認識対象画像における特徴点の位置と、３次元形状モデル上における特徴点の位置との対応関係から物体の姿勢推定を行う。この対応関係から物体の姿勢を推定する方法は、透視ｎ点問題の解法として知られている。
【０００３】
上記のような処理において、予め記憶される３次元形状モデル上の特徴点は、予め認識対象物体の一部であり画像の中で位置を特定することが容易であること、および、認識タスクにおいてその部位の位置が重要であると考えられることを考慮して人手で定められていた。人手による特徴点決定について、より詳細に説明する。指定推定等の認識アルゴリズムは、一般に用いる特徴点の数が多いほど認識性能を向上できる。しかし、多数の特徴点を用いると認識タスクの計算量が多くなる。さらに、認識対象画像から特徴点を抽出するための計算量も増大する。そのため、特徴点の数を絞り込むことが実用上重要である。少数の特徴点で認識タスクにおける認識性能を向上させるためには、以下のような条件を満たす特徴点を決めておく必要がある。第１条件として、認識タスクにおいて重要な特徴点であること（換言すれば、精度に与える影響が大きいこと）が必要である。さらに、第２条件として、画像から特徴点として精度良く抽出できることが必要である。一般的に、第１条件および第２条件を両方とも満たす特徴点が３次元形状モデル上の点から人手で決められている。
【０００４】
３次元モデル上の特徴点を自動的に決定する手法としては、例えば、非特許文献１に、エントロピーに基づいて特徴点を生成する方法が記載されている。しかしながら、上記の第１条件・第２条件を考慮し、認識タスクにとって有用な少数の特徴点に絞り込むことができなかった。そのため、認識タスクに使用する特徴点の定義は人手によって決定されていた。
【０００５】
また、認識対象画像からの特徴点抽出は、認識対象画像から各部分をそれぞれ切り出し、予め学習しておいた判定用パターンと比較し、最も特徴点らしいと判定された位置を特徴点位置と決定することにより行う。非特許文献２には、画像間の対応点を求めるために必要な特徴点を、ＳＩＦＴ（Scale-Invariant Feature Transform ）アルゴリズムによって抽出する技術が記載されている。ＳＩＦＴアルゴリズムは、多重解像度解析による塊検出と、濃淡勾配のヒストグラムを利用した画像間の対応付けを可能とする。ＳＩＦＴアルゴリズムでは、特徴点の特徴量も算出する。予め学習において与えられた判定用パターンの特徴量を記憶しておき、認識対象の画像から抽出された特徴点の特徴量と比較することで、特徴点かどうかの判定を行い、その位置を抽出することができる。また、この判定を行う技術として、多くのパターン識別法を利用することもできる。その一例として、一般化学習ベクトル量子化（ＧＬＶＱ：Generalized Learning Vector Quantization）を用いることが非特許文献３に記載されている。非特許文献３では顔のパターン検出を行っているが、パターンを顔から特徴点に置き換えれば特徴点の検出を行うことができる。また、機械学習の手法としてＳＶＭ（Support Vector Machine）も知られている。
【０００６】
認識対象画像上に表される特徴点の見え方は、物体の姿勢や照明条件によって変化する。画像から切り出された部分が特徴点に該当するか否かを正しく判断するためには、判定用パターンを学習しておく必要がある。そのため、様々な条件で物体の学習用画像を多数撮影しておき、その多数の学習用画像それぞれにおいて正しい特徴点の位置を人手で入力して判定用パターンを学習させていた。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Joshua Cates, Miriah Meyer, P.Thomas Fletcher, Ross Whitaker, ”Entropy-Based Particle Systems for Shape Correspondence”,Proceedings of the MICCAI,２００６年
【非特許文献２】藤吉弘亘、「Ｇｒａｄｉｅｎｔベースの特徴抽出 −ＳＩＦＴとＨＯＧ−」、情報処理学会研究報告 ＣＶＩＭ１６０、pp.211-224、２００７年
【非特許文献３】細井利憲、鈴木哲明、佐藤敦、「一般化学習ベクトル量子化による顔検出」、Technical report of IEICE. PRMU，Vol.102,No.651(20030213),pp.47-52
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の第１条件における重要度や第２条件における特徴点抽出の精度は、認識対象物体の種類（形状や見え方）、画像から特徴点を抽出する方法の特性、認識タスク（姿勢推定や個体識別等）に用いる手法の特性、認識対象画像の撮影条件等の様々な要因に依存する。そのため、認識タスクを行うシステムを作り上げて可動させるまで、第１条件における重要度や第２条件における特徴点抽出の精度は定量化することが難しかった。そのため、そのような重要度や精度をシステム開発者が主観的に見積もっていた。従って、熟達した開発者でなければ、３次元形状モデル上から、上記の第１条件および第２条件を満たす適切な特徴点を選択することが困難であり、認識タスクのアルゴリズム自体が持つ最大限の認識性能を得ることが困難であった。
【０００９】
そこで、本発明は、認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる特徴点選択システム、特徴点選択方法および特徴点選択プログラムを提供することを目的とする。また、その特徴点選択システムを利用し、精度良く認識タスクを行える画像認識システム、画像認識方法および画像認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明による特徴点選択システムは、３次元形状モデルおよびその３次元形状モデル上の複数の特徴点が指定されると、３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成する学習評価用データ生成手段と、学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習する学習手段と、学習により得られた判定用データを用いて評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する選択手段とを備えることを特徴とする。
【００１１】
また、本発明による特徴点選択方法は、３次元形状モデルおよびその３次元形状モデル上の複数の特徴点が指定されると、３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成し、学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習し、学習により得られた判定用データを用いて評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択することを特徴とする。
【００１２】
また、本発明による特徴点選択プログラムは、コンピュータに、３次元形状モデルおよびその３次元形状モデル上の複数の特徴点が指定されると、３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成する学習評価用データ生成処理、学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習する学習処理、および、学習により得られた判定用データを用いて評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する選択処理を実行させることを特徴とする。
【００１３】
また、本発明による画像認識システムは、上記の特徴点選択システムが選択した特徴点の配置を用いて、認識対象画像に対する認識タスクを実行する認識タスク実行手段を備えることを特徴とする。
【００１４】
また、本発明による画像認識方法は、上記の特徴点選択システムが選択した特徴点の配置を用いて、認識対象画像に対する認識タスクを実行することを特徴とする。
【００１５】
また、本発明による画像認識プログラムは、コンピュータに、上記の特徴点選択システムが選択した特徴点の配置を用いて、認識対象画像に対する認識タスクを実行する認識タスク実行処理を実行させることを特徴とする。
【発明の効果】
【００１６】
本発明の特徴点選択システム、方法およびプログラムによれば、認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる。また、本発明の画像認識システム、方法およびプログラムによれば、精度よく認識タスクを実行することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態の特徴点選択システムの例を示すブロック図である。
【図２】第１の実施形態の処理経過の例を示すフローチャートである。
【図３】本発明の第２の実施形態の特徴点選択システムの例を示すブロック図である。
【図４】第２の実施形態の処理経過の例を示すフローチャートである。
【図５】認識タスクの総実行時間と認識誤差との関係を示す説明図である。
【図６】本発明の第３の実施形態の特徴点選択システムの例を示すブロック図である。
【図７】第３の実施形態の処理経過の例を示すフローチャートである。
【図８】特徴点セットに含める特徴点の数と認識誤差との関係を示す説明図である。
【図９】本発明の第４の実施形態の特徴点選択システムの例を示すブロック図である。
【図１０】特徴点生成手段の例を示すブロック図である。
【図１１】学習画像群生成手段に入力される３Ｄ形状モデルを模式的に示す説明図である。
【図１２】生成された画像の例を示す説明図である。
【図１３】３Ｄ形状モデル上の特徴点の初期位置およびその特徴点に対応する学習画像上の特徴点の例を示す説明図である。
【図１４】対称の例を示す説明図である。
【図１５】特徴点生成手段の動作の例を示すフローチャートである。
【図１６】第４の実施形態の変形例を示すブロック図である。
【図１７】第４の実施形態の変形例における特徴点生成手段の処理経過の例を示すフローチャートである。
【図１８】本発明の画像認識システムの構成例を示すブロック図である。
【図１９】本発明の最小構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図面を参照して説明する。
【００１９】
実施形態１．
図１は、本発明の第１の実施形態の特徴点選択システムの例を示すブロック図である。第１の実施形態の特徴点選択システムは、特徴点抽出学習・評価データ生成手段４１（以下、特抽学習・評価データ生成手段４１と記す。）と、特徴点抽出器学習手段４５と、特徴点抽出器評価手段４６と、特徴点選択手段４７とを備える。また、特抽学習・評価データ生成手段４１は、学習データ生成手段４２と、学習パターン生成手段４３と、評価データ生成手段４４とを有する。本実施形態の特徴点選択システムは、各種認識タスクで利用される３Ｄ形状モデル（３次元形状モデル）の複数の特徴点が指定されると、その中から、認識タスクにおける認識誤差が少ない特徴点を選択する。また、特徴点選択システムには、選択の候補となる複数の特徴点の他に、認識タスクで認識対象画像から特徴点を含むようにして切り出される局所領域（テンプレートと称されることもある）の大きさも指定される。ここでは、テンプレートが正方形である場合を例にして説明するが、テンプレートが長方形である場合には、テンプレートのアスペクト比（テンプレートとなる長方形の縦の長さに対する横の長さの倍率）が入力されてもよい。
【００２０】
特抽学習・評価データ生成手段４１は、３Ｄ形状モデルと、その３Ｄ形状モデル上の複数の特徴点を指定する情報と、認識タスクで用いられるテンプレートの大きさとが入力される。また、テンプレートの大きさをテンプレートサイズと記す。３Ｄ形状モデルにはテクスチャが貼り付けられているものとする。入力された情報で指定される特徴点は、選択される特徴点の候補である。特抽学習・評価データ生成手段４１は、入力された３Ｄ形状モデルの姿勢（向き）や、３Ｄ形状モデルに対する照明の位置等を様々に変更した画像（学習データおよび評価データ）をＣＧ（Computer Graphics ）画像として生成する。
【００２１】
ここで、特徴点抽出器と、学習データおよび評価データとについて説明する。特徴点抽出器は、あるパターンが入力されたときにそのパターンが特徴点であるか否かを判定する。また、特徴点抽出器は、そのような判定を行うための内部データを予め学習しておく。特徴点抽出器には様々なパターン識別法や特徴点抽出演算子を利用可能である。一例として、非特許文献２に記載のＳＩＦＴ特徴量を用いることができる。この場合、学習データの特徴点に該当する位置に対してＳＩＦＴ特徴抽出演算子を適用し、ＳＩＦＴ特徴量を抽出する。そして、そのＳＩＦＴ特徴量を内部データとして記憶しておく。認識タスク等において、ある認識対象となる画像が入力されると、その画像からＳＩＦＴ特徴量を抽出し、内部データと比較することにより、そのテンプレートが特徴点に該当するか否かを判定する。また、別の方法として、非特許文献３に記載のＧＬＶＱのようなパターン識別法を用いることもできる。本実施形態では、これらの方法について詳しく説明する。学習においては、特徴点に該当するテンプレートと、特徴点に該当しないテンプレートをそれぞれ複数入力され、そのテンプレートから内部データを生成する。そして、特徴点抽出器は、認識タスク等において、あるテンプレートが入力されると、内部データと比較することにより、そのテンプレートが特徴点に該当するか否かを判定する。特徴点抽出器が内部データを学習するためのテンプレートを切り出すために用いられる画像を学習データと記す。また、内部データ学習後の特徴点抽出器が入力されたテンプレートに対する判定を適切に行うか否かを評価するために用意される画像を評価データと記す。
【００２２】
特抽学習・評価データ生成手段４１の学習データ生成手段４２は、上記の学習データを生成する。また、特抽学習・評価データ生成手段４１の評価データ生成手段４４は、上記の評価データを生成する。学習データ生成手段４２および評価データ生成手段４４は、いずれも、３Ｄ形状モデルの姿勢（向き）や、３Ｄ形状モデルに対する照明の位置等を様々に変更した画像をＣＧ（Computer Graphics ）画像として生成する。ただし、３Ｄ形状モデルの姿勢（向き）や３Ｄ形状モデルに対する照明の位置等の条件は、学習データ生成時と評価データ生成時で異なるようにする。学習データ生成手段４２および評価データ生成手段４４は、画像生成時の条件が異なる点を除き、同様の処理を行ってそれぞれＣＧ画像（学習データ、評価データ）を生成する。学習データや評価データは複数生成されてもよい。
【００２３】
また、学習データ生成手段４２は、入力された情報によって指定される特徴点に対応する特徴点を学習データ中から特定する。すなわち、指定される特徴点に対応する学習データ上の特徴点の位置を計算する。同様に、評価データ生成手段４４は、入力された情報によって指定される特徴点に対応する特徴点を評価データ中から特定する。
【００２４】
特抽学習・評価データ生成手段４１の学習パターン生成手段４３は、学習データから、特徴点に該当するテンプレートと、特徴点に該当しないテンプレートを複数切り出す。特徴点に該当するテンプレートとして、学習データにおける特徴点やその近辺の点を中心とし、テンプレートサイズによって決まるテンプレートを学習データから複数切り出せばよい。また、特徴点に該当しないテンプレートとして、その特徴点の周囲の点を中心とするテンプレートであって特徴点を含まないテンプレートを学習データから複数切り出せばよい。このとき、学習データ中の特徴点として、学習データ生成手段４２が特定した特徴点を用いればよい。
【００２５】
特抽点抽出器学習手段４５は、特徴点抽出器の内部データを学習する。すなわち、与えられるパターンが特徴点であるか否かを判定するための特徴点抽出器の内部データを生成する。特抽点抽出器学習手段４５は、特徴点に該当する複数のテンプレートおよび特徴点に該当しない複数のテンプレートを参照して内部データを学習する。
【００２６】
特徴点抽出器評価手段４６は、評価データ生成手段４４に生成された評価データからテンプレートを順次切り出し、テンプレートと内部データとを比較して、そのテンプレートが特徴点に該当するか否かを判定する。この判定により、評価データにおけるどの部分が特徴点であるかを判定する。また、評価データ生成手段４４は、入力された情報によって指定される特徴点に対応する評価データ中の特徴点を特定している。この特徴点の位置は、特徴点の正しい位置を意味する。特徴点抽出器評価手段４６は、評価データから切り出したテンプレートが特徴点であるか否かを判定することによって求めた特徴点の位置が、正しい特徴点の位置からどの程度離れているかを算出する。評価データから切り出したテンプレートに基づいて求めた特徴点の位置と正しい特徴点の位置との差を、特徴点抽出誤差と記す。
【００２７】
学習パターン生成手段４３が内部データを学習する処理、および、特徴点抽出器評価手段４６がテンプレートと内部データとを比較してテンプレートが特徴点に該当するか否かを判定する処理は、特徴点抽出器としての動作である。特徴点抽出器学習手段４５および特徴点抽出器評価手段４６は、例えば、認識タスクにおいて用いられる特徴点抽出器として動作するコンピュータのＣＰＵによって実現される。
【００２８】
特徴点選択手段４７は、入力された情報において指定された複数の特徴点の中から、特徴点抽出誤差が少ない順に、所定個の特徴点を選択する。
【００２９】
特抽学習・評価データ生成手段４１（学習データ生成手段４２、学習パターン生成手段４３、評価データ生成手段４４）、特徴点抽出器学習手段４５、特徴点抽出器評価手段４６、および特徴点選択手段４７は、例えば、特徴点選択プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが、特徴点選択システムの記憶装置（図示せず）から特徴点選択プログラムを読み込み、そのプログラムに従って、上記の各手段として動作してもよい。あるいは、各手段がそれぞれ別々の専用回路によって実現されていてもよい。
【００３０】
次に、動作について説明する。図２は、第１の実施形態の処理経過の例を示すフローチャートである。特抽学習・評価データ生成手段４１に３Ｄ形状モデルと、その３Ｄ形状モデル上の複数の特徴点を指定する情報と、テンプレートサイズが入力されると、学習データ生成手段４２は、その３Ｄ形状モデルの姿勢や、３Ｄ形状モデルに対する照明の位置を様々に変化させた複数の画像をＣＧ画像として生成することにより、複数の学習データを生成する（ステップＳ１１）。ステップＳ１１で生成する複数の画像が学習データ群である。また、ステップＳ１１で入力される３Ｄ形状モデルは、一つの個体の３Ｄ形状モデルあっても、複数の個体の３Ｄ形状モデルであってもよい。例えば、一人の人物の顔の３Ｄ形状モデルが入力されても、複数の人物の顔の３Ｄ形状モデルが入力されてもよい。また、ここでは、顔の３Ｄ形状モデルを例示したが、３Ｄ形状モデルは顔以外のモデルであってもよい。なお、入力された情報によって指定される特徴点の数は、例えば１００００個以上等のように多数であってもよい。また、このような特徴点として、例えば、エッジが強く現れている点等を指定すればよい。
【００３１】
次に、学習データ生成手段４２は、入力された情報によって指定される各特徴点に対応する学習データ中の各特徴点を特定する（ステップＳ１２）。続いて、学習パターン生成手段４３が、学習データ群から、特徴点に該当するテンプレートおよび特徴点に該当しないテンプレートをそれぞれ複数切り出す（ステップＳ１３）。学習パターン生成手段４３は、ステップＳ１２で特定された各特徴点およびその近辺の点を中心とするテンプレートを、特徴点に該当するテンプレートとして切り出す。また、ステップＳ１２で特定された各特徴点の周囲の点を中心とし特徴点を含まないテンプレートを、特徴点に該当しないテンプレートとして切り出す。いずれのテンプレートの大きさも、テンプレートサイズによって指定された大きさである。
【００３２】
次に、特徴点抽出器学習手段４５は、ステップＳ１３で切り出された「特徴点に該当する複数のテンプレート」および「特著点に該当しない複数のテンプレート」を参照して、特徴点毎に、特徴点抽出器の内部データを学習する（ステップＳ１４）。
【００３３】
また、評価データ生成手段４４は、特抽学習・評価データ生成手段４１に入力された３Ｄ形状モデルの姿勢や、３Ｄ形状モデルに対する照明の位置を様々に変化させた複数の画像をＣＧ画像として生成することにより、複数の評価データを生成する（ステップＳ１５）。ステップＳ１４で生成する複数の画像が評価データ群である。ステップＳ１５では、３Ｄ形状モデルの姿勢や、照明位置の条件を学習データ生成時（ステップＳ１１）とは変えて評価データを生成する。また、評価データ生成手段４４は、ステップＳ１１で入力された情報によって指定される３Ｄ形状モデル上の各特徴点に対応する評価データ内の特徴点を特定する。この特徴点位置を正しい特徴点位置と記す。
【００３４】
評価データ群生成後、特徴点抽出器評価手段４６は、特徴点抽出誤差を算出する（ステップＳ１６）。具体的には、評価データ群からテンプレートサイズのテンプレートを順次切り出す。そして、特徴点抽出器評価手段４６は、評価データから切り出した各テンプレートとステップＳ１４で学習した内部データとを比較し、各点プレートが特徴点に該当するか否かを判定する。そして、その判定結果により、評価データにおけるどの位置が特徴点であるかを判定する。この判定によって得た特徴点位置を、評価結果による特徴点位置と記す。特徴点抽出器評価手段４６は、特徴点毎に、正しい特徴点位置と、評価結果による特徴点位置との距離を特徴点抽出誤差として計算する。
【００３５】
次に、特徴点選択手段４７は、ステップＳ１１で入力された情報において指定された複数の特徴点の中から、特徴点抽出誤差が少ない順に、所定個の特徴点を選択する（ステップＳ１７）。特徴点選択手段４７は、選択した特徴点を、認識タスクに適した特徴点として出力する。選択する特徴点の数は、予め所望の数を定めておけばよい。
【００３６】
特徴点抽出器評価手段４６および特徴点選択手段４７は、入力された情報において指定された複数の特徴点群の中から認識タスクに適した特徴点群を選択する選択手段であるということができる。
【００３７】
本実施形態によれば、３Ｄ形状モデルから生成した学習データから切り出したテンプレートに基づいて、３Ｄ形状モデル上の指定された各特徴点についての内部データ（特徴点抽出器の内部データ）を学習する。そして、３Ｄ形状モデルから生成した評価データを用いて、その内部データによる特徴点判定を行い、特徴点の位置（評価結果による特徴点位置）を判定する。そして、実際に指定された特徴点に応じた評価データ内の特徴点位置（正しい特徴点位置）との誤差を計算することで、特徴点抽出誤差を計算する。特徴点抽出誤差が小さければ、内部データを用いて特徴点であるか否かを認識タスク実行時に行うときにも認識誤差が少なく、精度よく特徴点であるか否かを判定できる。よって、ステップＳ１７で、特徴点抽出誤差が少ない順に所定個の特徴点を選択することによって、精度よく認識タスクを実行することができる特徴点を得ることができる。
【００３８】
また、特徴点抽出誤差が小さい特徴点を選択するので、認識タスクにおける特徴点抽出アルゴリズムにも合う適切な特徴点を選ぶことができる。
【００３９】
また、一般に、システム稼働後に認識対象の個体が新たに登録されるシステムにおいて、特徴点位置は全個体で共通とされていたが、本実施形態では、個体毎に適した特徴点を選択することができる。一般的なシステムでは、個体毎に特徴点抽出器の内部データを学習するためには、事前に個体毎の特徴点を決めておかなければならなかったため、認識対象となる個々の個体毎に好ましい特徴点を定めるために、事前に特徴点を定める必要が生じてしまう。すなわち、目的とする事項そのものが事前に必要となってしまう。そのため、個体毎に好ましい特徴点を選択することや、個体毎に特化した特徴点抽出器の学習は行えなかった。それに対し、本発明では、一つの個体の３Ｄ形状モデルおよびその３Ｄ形状モデル上の複数の特徴点を指定すれば、その３Ｄ形状モデルから学習データおよび評価データを作成し、学習データに基づいて特徴点抽出器の内部データの学習を行うことができる。そして、評価データを用いて、個々の特徴点が適切であるか否かを特徴点抽出誤差に基づいて評価し、一つの個体に関して、適切な特徴点を選択することができる。また、その特徴点の内部データは学習できている。よって、本発明によれば、個体毎に、適切な特徴点を選択したり、特徴点抽出器の学習を行ったりすることができる。例えば、ある人物に固有の黒子を特徴点とすれば、その人物の姿勢推定や個体識別（顔識別）の精度を高められると考えられるが、本発明によればそのような個体固有の特徴点を、好ましい特徴点として選択することができる。
【００４０】
また、複数の個体の３Ｄ形状モデルやその３Ｄ形状モデル上における複数の特徴点を指定することによって、個体に特化した特徴点ではなく、複数の個体において好ましい特徴点を選択したり、特徴点抽出器の学習を行ったりすることもできる。この場合、例えば、各個体間で類似しているものとして対応付けられている特徴点を指定して、本発明の動作を実行させればよい。
【００４１】
また、個体毎に特徴点を選択する処理を行い、個体毎の特徴点のうち、共通の特徴点（個体間で類似する特徴点）を選択してもよい。また、各個体で類似する特徴点を指定しておき、その特徴点により特徴点抽出器の内部データを学習させ、評価データを用いた評価は、個体毎に個別に行うこととしてもよい。この点は、後述の第２の実施形態、第３の実施形態でも同様である。
【００４２】
なお、認識タスクの例として、姿勢推定や個体識別を例示したが、認識タスクはこれらの処理に限定されない。例えば、顔画像に対する表情認識処理や年齢推定処理であってもよい。
【００４３】
実施形態２．
図３は、本発明の第２の実施形態の特徴点選択システムの例を示すブロック図である。第１の実施形態と同様の構成要素は、図１と同一の符号を付し、説明を省略する。第２の実施形態の特徴点選択システムは、特徴点抽出学習・評価データ生成手段４１と、特徴点抽出器学習手段４５と、特徴点セット選択手段５１と、認識タスク実行手段５２と、特徴点選択手段５３とを備える。特徴点抽出学習・評価データ生成手段４１は、学習データ生成手段４２と、学習パターン生成手段４３と、評価データ生成手段４４とを有する。
【００４４】
特徴点セット選択手段５１は、入力された情報で指定される３Ｄ形状モデル上の複数の特徴点の中から、所定数の特徴点を選択する。この所定数は、ユーザの所望の特徴点の数として予め定めておく。入力された情報で指定された複数の特徴点の中から選択される複数の特徴点を特徴点セットと記す。特徴点セット選択手段５１は、特徴点セットを一組だけでなく、選び得る各通り選択する。
【００４５】
認識タスク実行手段５２は、特徴点セット選択手段５１が定めた特徴点セット毎に、その特徴点セットを特徴点とし、評価データ生成手段４４が生成した評価データを用いて、認識タスクを実行する。認識タスクの種類は特に限定されず、例えば、姿勢推定を行っても、あるいは、顔識別等の個体識別を行ってもよい。あるいは、表情推定や年齢推定等を行ってもよい。これらの認識タスクを行う際には、認識タスク実行手段５２は、評価データから切り出したテンプレートが、特徴点セットに属する特徴点に該当するか否かについても判定する。このとき、認識タスク実行手段５２は、特徴点抽出器学習手段４５が学習した特徴点抽出器の内部データと、テンプレートとを比較して判定を行う。
【００４６】
認識タスク実行手段５２は、例えば、認識タスクを実行するコンピュータのＣＰＵによって実現される。また、学習パターン生成手段４３が内部データを学習する処理、および、認識タスク実行手段５２がテンプレートと内部データとを比較してテンプレートが特徴点に該当するか否かを判定する処理は、特徴点抽出器としての動作である。特徴点抽出器学習手段４５および認識タスク実行手段５２は、例えば、認識タスクにおいて用いられる特徴点抽出器として動作するコンピュータのＣＰＵによって実現される。
【００４７】
また、認識タスク実行手段５２は、特徴点セットを用いて認識タスクを行う毎に、その認識タスクの認識結果で生じた認識誤差を求める処理も行う。認識誤差は、認識タスクで得られた認識結果と、正解との差である。例えば、認識タスクが姿勢推定であるとすると、認識タスク実行手段５２は、評価データに対して特徴点セットを用いて姿勢推定を行った結果得た向きと正解となる姿勢の差を認識誤差として計算すればよい。また、認識タスクとして顔識別を行う場合、複数の人物について３Ｄ形状モデルおよびその３Ｄ形状モデル上の複数の特徴点を指定する情報を入力しておき、各人物の評価データを作成しておく。そして、その評価データに対して特徴点セットを用いて顔認識を行った結果、顔認識に失敗した人物の割合を認識誤差として計算してもよい。
【００４８】
特徴点選択手段５３は、特徴点セット選択手段５１が定めた各特徴点セットの中から、認識誤差が最小となる特徴点セットを選択する。
【００４９】
特抽学習・評価データ生成手段４１（学習データ生成手段４２、学習パターン生成手段４３、評価データ生成手段４４）、特徴点抽出器学習手段４５、特徴点セット選択手段５１、認識タスク実行手段５２、特徴点選択手段５３は、例えば、特徴点選択プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが、特徴点選択システムの記憶装置（図示せず）から特徴点選択プログラムを読み込み、そのプログラムに従って、上記の各手段として動作してもよい。あるいは、各手段がそれぞれ別々の専用回路によって実現されていてもよい。
【００５０】
図４は、第２の実施形態の処理経過の例を示すフローチャートである。第１の実施形態と同様の処理については、図２と同一の符号を付し説明を省略する。ステップＳ１１〜Ｓ１５の動作は第１の実施形態と同様である。ステップＳ１５までの処理を行った後、以下の処理を行う。まず、特徴点セット選択手段５１が、ステップＳ１で入力された情報で指定された複数の特徴点の中から所定個の特徴点を特徴点セットとして選択する（ステップＳ２１）。
【００５１】
次に、認識タスク実行手段５２が、その特徴点セットに属する各特徴点を用いて、ステップＳ１５で生成された評価データに対して認識タスクを実行する（ステップＳ２２）。認識タスクの種類は、本発明による特徴点選択が確定した後に、その特徴点を用いて実行する認識タスクであればよい。例えば、姿勢推定、個体識別、表情推定、年齢推定等が挙げられるが、他の認識タスクを行ってもよい。認識タスクの処理過程において、評価データから得られるテンプレートと、ステップＳ１４で学習された特徴点抽出器の内部データとにより、そのテンプレートが特徴点に該当するか否かを判定する。認識タスクの処理の例については後述する。
【００５２】
また、認識タスク実行手段５２は、認識タスクを実行するとともに、ステップＳ２１で選択された特徴点セットについて認識誤差も計算する。
【００５３】
続いて、特徴点セット選択手段５１は、入力された情報で指定された複数の特徴点から特徴点セットとして選択されていない特徴点の組み合わせがあるか否かを判定する（ステップＳ２３）。未選択の特徴点セットがあれば（ステップＳ２３におけるＹｅｓ）、ステップＳ２１〜Ｓ２３の処理を繰り返す。このときステップＳ２１では、未選択の特徴点セットを選択する。
【００５４】
特徴点セットとして選択されていない特徴点の組み合わせがなければ（ステップＳ２３におけるＮｏ）、特徴点選択手段５３は、認識誤差が最小となる特徴点セットを選択し、出力する（ステップＳ２４）。ステップＳ２４で選択された特徴点セット（所定個の特徴点）の認識誤差が最小となっているので、その特徴点セットが認識タスクの認識アルゴリズムに適切な特徴点群である。
【００５５】
特徴点セット選択手段５１、認識タスク実行手段５２および特徴点選択手段５３は、入力された情報において指定された複数の特徴点群の中から認識タスクに適した特徴点群を選択する選択手段であるということができる。
【００５６】
次に、ステップＳ２２において、認識タスク実行手段５２が実行する認識タスクの実行例を説明する。ここでは、認識タスクとして姿勢推定を行う場合を例にして説明する。姿勢推定は、「画像から抽出された特徴点の位置」と「３Ｄ形状モデル上の特徴点から計算される、ある姿勢における画像上の特徴点の位置」との間の誤差（再投影誤差）が最小となるとなるような姿勢を計算する処理である。再投影誤差をεａとすると、再投影誤差εａは、以下に示す式（１）で表される。
【００５７】
【数１】
【００５８】
式（１）において、ｘｉは特徴点抽出器の学習済みの内部データを用いて画像（評価データ）から抽出された特徴点の位置である。また、Ｘｉはその特徴点に対応する３Ｄ形状モデル上の特徴点の位置である。また、透視カメラモデルＰｐを以下の式（２）のように定義すると、式（１）におけるｐ１，ｐ２，ｐ３は、Ｐｐ＝［ｐ１ ｐ２ ｐ３］Ｔとなる値である。ｐ１，ｐ２，ｐ３から姿勢を計算することができるので、εａが最小となるようなｐ１，ｐ２，ｐ３を求めることが姿勢推定であるということができる。
【００５９】
【数２】
【００６０】
ただし、Ａは、カメラの内部パラメータ行列であり、カメラの内部パラメータ行列として現実的な値に定めておけばよい。また、特徴点確定後に実際に画像を撮影して認識タスクを行いときに、その画像を撮影するカメラの内部パラメータ行列をＡとして用いてもよい。Ｍは、以下の式（３）で表される対象物体の姿勢パラメータ行列である。式（３）において、Ｒは対象の回転を表しており、Ｔは物体の３次元位置を表している。
【００６１】
【数３】
【００６２】
また、アフィンカメラモデルＰａを以下の式（４）のように定義する。
【００６３】
【数４】
【００６４】
このアフィン変換モデルＰａにより、３Ｄ形状モデル上の特徴点Ｘは画像上の特徴点ｘとして投影される。
【００６５】
【数５】
【００６６】
式（５）において、チルダを付したｘは、ｘの斉次表現である。式（５）ではベクトルの第３要素が常に一定であるため、Ｐａの上２行を持つ部分行列Ｐａ２を用いて、以下に示す式（６）のように表すことができる。
【００６７】
ｘ＝Ｐａ２Ｘ 式（６）
【００６８】
Ｐａ２は８の要素を持つため、４点以上の特徴点が与えられれば、Ｐａ２を最小二乗法で計算できる。また、求められたＰａ２から姿勢パラメータＭを計算することができる。認識タスク実行手段５２は、Ｘ（３Ｄ形状モデル上の特徴点の位置）およびｘ（評価データから抽出される特徴点の位置）および式（６）を用いて行列Ｐａ２を計算する。そして、そのＰａ２および式（４）とにより、姿勢パラメータ行列Ｍにおける回転Ｒおよび物体の３次元位置Ｔ）を求め、これを初期値とする。
【００６９】
また、式（２）に示す透視カメラモデルＰｐを用いて、３Ｄ形状モデル上の特徴点Ｘは画像上の特徴点ｘとして投影される。
【００７０】
【数６】
【００７１】
ここで、λは定数倍の不定性を表すスカラ量である。
【００７２】
認識タスク実行手段５２は、式（１）で表される再投影誤差εａを繰り返し法により最適化することで、姿勢推定を行う。ｊ回目の反復結果により得られる姿勢パラメータを用いて計算されるカメラ行列をＰＰｊとする。このとき、各姿勢パラメータの更新値を、Δφ，Δθ，Δψ，Δｔｘ，Δｔｙ，Δｔｚを用いて、以下の式（８）が成立する。認識タスク実行手段５２は、式（８）によりΔφ，Δθ，Δψ，Δｔｘ，Δｔｙ，Δｔｚを計算する。
【００７３】
【数７】
【００７４】
認識タスク実行手段５２は、３組以上の対応点組を用い、最小二乗法を用いて更新パラメータを求め、その更新パラメータを用いて、以下の式（９）によりカメラ行列を更新する。
【００７５】
【数８】
【００７６】
式（９）において、Ｐは各パラメータよりカメラ行列を計算する関数である。前述の初期値から更新パラメータが十分に小さくなるまで、認識タスク実行手段５２は、式（８）、式（９）の計算を繰り返すことにより、再投影誤差εａを最小にするような姿勢を表す投影行列Ｐｐ（換言すればｐ１，ｐ２，ｐ３）を求めればよい。このεａが認識誤差であり、ステップＳ２４において特徴点選択手段４７はεａを基準として、εａが最小となる特徴点セットを選択する。ただし、ステップＳ２４における選択基準はεａに限定されず、認識タスク実行手段５２は認識誤差としてεａ以外の値を計算してもよい。例えば、認識タスク実行手段５２は、認識誤差として、以下の式（１０）のε１を計算してもよい。
【００７７】
【数９】
【００７８】
式（１０）においてハット記号を付したＸは、Ｘの真値であり、Ｒ，Ｔは姿勢推定により得られた測定結果である。特徴点選択手段４７はステップＳ２５でε１が最小となる特徴点セットを選択してもよい。また、特徴点ｉに対する各項の積算を行う際に、特徴点ｉの特徴点抽出誤差を利用し、誤差の大きい特徴点の重みを小さくすることによって、認識性能を向上させることもできる。この場合、各項の重みとして、特徴点抽出誤差の分散の逆数を用いてもよい。このように特徴点抽出誤差を利用する場合には、特徴点選択システムは、第１の実施形態における特徴点抽出器評価手段４６（図６において図示せず。特徴点誤差計算手段に相当。）を備え、第１の実施形態と同様に、特徴点抽出誤差を算出すればよい。これにより、認識タスクにおける特徴点抽出アルゴリズムにも合う適切な特徴点を選ぶことができる。
【００７９】
本実施形態によれば、特徴点セット毎に実際に認識タスクを実行し、その結果得られる認識結果と正解との差（認識誤差）が最小となる特徴点セットを選ぶ。よって、実際に特徴点を用いて実行する認識タスクの認識アルゴリズムに適切な複数の特徴点を、指定された特徴点の中から選ぶことができる。
【００８０】
また、第１の実施形態と同様に、一つの個体の３Ｄ形状モデルおよびその３Ｄ形状モデル上の複数の特徴点を指定することによって、特定の個体にとって適切な特徴点を選択したり、特徴点抽出器の内部データを生成したりすることができる。
【００８１】
次に、第２の実施形態の変形例について説明する。実施形態２では、指定された特徴点の数がＮ個であり、一つの特徴点セットに属する特徴点の数がｍ個であるとすると、認識タスクの実行（ステップＳ２２）をＮＣｍ回行うこととなる。最終的にステップＳ２４で選択する適切な特徴点セットの精度を高めるためには、処理の開始時において指定する特徴点の数Ｎを大きくする必要があるが、認識タスクの実行時間が長くなってしまう。
【００８２】
そこで、認識タスクを含むステップＳ２１〜Ｓ２３のループ処理の実行時間が所望の時間になるようなループ処理の繰り返し数（Ｐとする）を定めておき、ステップＳ２１〜Ｓ２３のループ処理をＰ回実行した後に、特徴点選択手段５３がステップＳ２４を実行してもよい。この場合、特徴点セットはＰ回選択されるので、特徴点選択手段５３はそのＰ個の特徴点セットの中から認識誤差が最小の特徴点セットを選べばよい。
【００８３】
また、上記のループ処理繰り返し回数Ｐを以下のように決定してもよい。Ｐの値に応じた認識タスクの総実行時間と、認識誤差の関係は、図５のようになる。すなわち、Ｐの値を増やすと認識タスクの総実行時間が増えるが、実行時間の増加につれて認識誤差は減少し、ある程度まで減少すると認識誤差は収束する。従って、認識誤差が収束するときにおけるＰを定めておくことにより、処理時間をできるだけ短くしつつ、できるだけ認識誤差を少なくすることができる。このＰは、予め想定して決定してもよい。あるいは、特徴点選択システムが繰り返し数決定手段（図示せず）を備えていてもよい。この場合、特徴点選択システムがＰを変化させてそれぞれのＰについて図４のフローチャートを実行し、繰り返し数決定手段（図示せず）が、認識誤差が収束するときのＰを決定する。その後、特徴点を選択する処理を行うときにはステップＳ２１〜Ｓ２３のループ処理を決定された回数だけ実行すればよい。
【００８４】
また、特徴点セット選択手段５１は、予め定められた特徴点が固定的に特徴点セットの中に含まれるようにして、特徴点セットを選択してもよい。すなわち、一つの特徴点セットに属する特徴点の数をｍ個とし、予め固定的に特徴点セットに含められると定められた特徴点の数をｍ−Ｚ個とすると、特徴点セット選択手段５１は、ステップＳ２１において残りのＺ個を、入力された情報で指定された複数の特徴点の中から選択し、ｍ個の特徴点を含む特徴点セットを定めればよい。ただし、ｍ＞Ｚである。特徴点セットに固定的に含まれる特徴点は、予めユーザが適切な特徴点セットに含まれると予測されるｍ−Ｚ個の特徴点を予測し、そのｍ−Ｚ個を人手で事前に設定しておけばよい。この設定態様は特に限定されない。このように、ｍ個の特徴点のうちｍ−Ｚ個を固定的に定め、残りのＺ個をステップＳ２１で選択し、ステップＳ２１〜Ｓ２３のループ処理をＰ回繰り返してもよい。あるいは、固定的でないＺ個の特徴点の組が全て選択されるまでステップＳ２１〜Ｓ２３の処理を繰り返してもよい。
【００８５】
実施形態３．
第２の実施形態では、所定数の特徴点を含む特徴点セット毎に認識誤差を計算し、認識誤差が最小となる特徴点セットを選択するが、第３の実施形態では、特徴点セットに含める特徴点の数を削減しながら（あるいは、増加させながら）、好ましい特徴点セットを選択する。まず、特徴点セットに含める特徴点の数を削減する場合を例にして説明する。図６は、本発明の第３の実施形態の特徴点選択システムの例を示すブロック図である。第１または第２の実施形態と同様の構成要素は、図１、図３と同一の符号を付し、説明を省略する。第３の実施形態の特徴点選択システムは、特徴点抽出学習・評価データ生成手段４１と、特徴点抽出器学習手段４５と、特徴点セット選択手段６１と、認識タスク実行手段６２と、特徴点選択手段６３とを備える。特徴点抽出学習・評価データ生成手段４１は、学習データ生成手段４２と、学習パターン生成手段４３と、評価データ生成手段４４とを有する。
【００８６】
特徴点セット選択手段６１は、特徴点セットに含める特徴点の数を削減しながら、特徴点セットを選択する。指定された特徴点の数Ｎとし、特徴点セットに含める特徴点の数をｑ個ずつ段階的に削減するとする。特徴点セット選択手段６１は、Ｎ−ｑ個の特徴点を含む特徴点セットを全通り選択する。この特徴点セット毎に認識タスクが実行され、さらに特徴点の数を削減すると判定した場合、特徴点セット選択手段６１は、特徴点セットに属する特徴点の数をｑだけ削減して、その数の特徴点を含む特徴点セットを全通り選択する。
【００８７】
認識タスク実行手段６２は、ある数の特徴点を含む特徴点セットが特徴点セット選択手段６１によって選択されると、その特徴点セット毎に、その特徴点セットを特徴点とし、評価データ生成手段４４が生成した評価データを用いて、認識タスクを実行する。例えば、Ｎ−ｑ個の特徴点を含む特徴点セットが複数選択されたならば、認識タスク実行手段６２は、そのそれぞれの特徴点セット毎に、認識タスクを実行する。また、認識タスク実行手段６２は、一つの特徴点セットについて認識タスクを実行した後、その認識タスクの認識結果で生じる認識誤差を求める。認識タスクの実行処理や認識誤差の計算は、第２の実施形態と同様である。
【００８８】
特徴点選択手段６３は、特徴点セットに含める特徴点の数の削減を停止すると判定された場合、その時点での特徴点の数からなる特徴点セットのうち、認識誤差が最小の特徴点セットを選択する。
【００８９】
特抽学習・評価データ生成手段４１（学習データ生成手段４２、学習パターン生成手段４３、評価データ生成手段４４）、特徴点抽出器学習手段４５、特徴点セット選択手段６１、認識タスク実行手段６２、特徴点選択手段６３は、例えば、特徴点選択プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが、特徴点選択システムの記憶装置（図示せず）から特徴点選択プログラムを読み込み、そのプログラムに従って、上記の各手段として動作してもよい。あるいは、各手段がそれぞれ別々の専用回路によって実現されていてもよい。
【００９０】
図７は、第３の実施形態の処理経過の例を示すフローチャートである。第１および第２の実施形態と同様の処理については、図２、図４と同一の符号を付し説明を省略する。ステップＳ１１〜Ｓ１５の動作は第１および第２の実施形態と同様である。ステップＳ１５までの処理を行った後、以下の処理を行う。
【００９１】
特徴点セット選択手段６１は、特徴点セットに含める特徴点の数を定める（ステップＳ３１）。指定された特徴点の数をＮとし、特徴点セットに含める特徴点の数をｑ個ずつ段階的に削減するとする。最初にステップＳ３１に移行したとき、特徴点セット選択手段６１は、特徴点セットに含める特徴点の数をＮ−ｑ個とする。なお、１≦ｑ＜Ｎである。ステップＳ３１で定めた特徴点の数をｍ個とする。ステップＳ３１の後、特徴点セット選択手段６１は、ステップＳ３１で定めた数（ｍ個）の特徴点を含む特徴点セットを選択する（ステップＳ３２）。ｍ個の特徴点を含む特徴点セットは複数あるが、特徴点セット選択手段６１は、各特徴点セットをそれぞれ選択する。
【００９２】
次に、認識タスク実行手段６２は、ステップＳ３２で選択された特徴点セット毎に、その特徴点セットに属する各特徴点を用いて、ステップＳ１５で生成された評価データに対して認識タスクを実行する（ステップＳ３３）。認識タスク実行手段６２は、認識タスクを実行するとともに認識誤差も計算する。認識タスクの実行処理および認識誤差計算は、第２の実施形態と同様である。
【００９３】
次に、特徴点セット選択手段６１は、特徴点セットに含める特徴点の数を削減するか否かを判定する（ステップＳ３４）。特徴点セット選択手段６１は、直前のステップＳ３３における認識タスクとともに計算された各認識誤差のうちの最小値の、その前のステップＳ３３における認識タスクとともに計算された各認識誤差のうちの最小値からの増加量を計算し、その増加量が所定の閾値以上になったときに特徴点の数の削減を停止すると判定する。一方、その増加量が所定の閾値未満であれば、特徴点の数を削減すると判定する。また、その増加量が所定の閾値以上であっても、認識誤差が大きくならない限りは、特徴点の数の削減を続行してもよい。
【００９４】
また、ステップＳ３４の判定には別の方法を用いることもできる。例えば、許容できる認識誤差に対して閾値を定めておき、特徴点セット選択手段６１は、直前のステップＳ３３における認識タスクとともに計算された各認識誤差のうちの最小値がその閾値以上になった場合に特徴点の数の削減を停止すると判定し、認識誤差うちの最小値がその閾値未満であれば特徴点の数を削減すると判定してもよい。
【００９５】
特徴点を削減すると判定した場合（ステップＳ３４におけるＹｅｓ）、ステップＳ３１〜Ｓ３４の処理を繰り返す。このとき、ステップＳ３１では、前回のステップＳ３１で定めた特徴点の数（ｍ個）からｑを減算した数を、特徴点セットに含める特徴点の数と定める。すなわち、ｍ−ｑを新たなｍとするように特徴点の数ｍを更新する。以降の動作は同様である。
【００９６】
また、特徴点の削減を停止すると判定した場合（ステップＳ３４におけるＮｏ）、特徴点選択手段６３は、その時点における特徴点の数（ｍ個）の特徴点からなる特徴点セットのうち、認識誤差が最小となっている特徴点セットを選択する（ステップＳ３５）。
【００９７】
図８は、特徴点セットに含める特徴点の数と認識誤差との関係を示し、横軸が特徴点セットに含める特徴点の数を示し、縦軸が認識誤差を示している。特徴点セットに含める特徴点の数（横軸）は、認識タスクで用いる特徴点の数ということもできる。図８に示すように、特徴点の数が多いほど認識誤差は少ないが、ある程度まで特徴点の数が多くなると、認識誤差は収束する。上記のように、特徴点の数を削減していき、ステップＳ３４で、その時点でのｍにおける認識誤差の最小値と、その前のｍにおける認識誤差との差が閾値以上になったならば、ステップＳ３１〜Ｓ３４のループ処理を停止する。このことは、図８に示す矢印Ａのように、ｍを減少させて認識誤差の上昇の程度を判定し、上昇量が閾値以上に大きくなる時点におけるｍを特定しているということである。従って、ステップＳ３１〜Ｓ３５では、認識誤差および特徴点の数がそれぞれできるだけ小さくなるようなｍを特定し、ｍ個の特徴点からなる特徴点セットのうち、認識誤差が最小となっている特徴点セットを選択していることになる。よって、ステップＳ３５で選択された特徴点セットが、認識タスクにおける認識アルゴリズムに適した特徴点群であり、できるだけ認識処理量を少なくすることができる特徴点群ということができる。
【００９８】
また、最終的に得ようとする特徴点の数が予め定められているのであれば、ステップＳ３４において、特徴点の数ｍが、予め定められた特徴点の数まで減少したか否かによって、特徴点の数をさらに削減するか否かを判定してもよい。すなわち、特徴点の数ｍが予め定められた数まで減少しているならば、特徴点の数の削減を停止させると判定し、予め定められた数まで減少していなければ、さらに特徴点の数を削減すると判定してもよい。
【００９９】
本実施形態によれば、特徴点の数を段階的に削減しながら、特徴点セットを選択し、特徴点の数の削減を停止する時点において選択していた複数の特徴点セットの中から認識誤差が最小となる特徴点セットを選択する。従って、実際に特徴点を用いて実行する認識タスクの認識アルゴリズムに適切な複数の特徴点を、指定された特徴点の中から選ぶことができる。
【０１００】
また、第１の実施形態や第２の実施形態と同様に、一つの個体の３Ｄ形状モデルおよびその３Ｄ形状モデル上の複数の特徴点を指定することによって、特定の個体にとって適切な特徴点を選択したり、特徴点抽出器の内部データを生成したりすることができる。
【０１０１】
次に、第３の実施形態の変形例について説明する。上記の第３の実施形態では、特徴点セットに含める特徴点の数ｍを段階的に削減する場合を示したが、ｍを段階的に増加させてもよい。以下、ｍを増加させる場合について説明する。
【０１０２】
この場合、特徴点セット選択手段６１は、特徴点セットに含める特徴点の数ｍを初期値（ｍ０とする。）からｑ個ずつ段階的に増加させながら、ｍ個の特徴点を含む特徴点セットを全通り選択する。この特徴点セット毎に認識タスクが実行され、さらに特徴点の数を増やすと判定した場合、特徴点セット選択手段６１は、特徴点セットに属する特徴点の数をｑだけ増加させて、その数の特徴点を含む特徴点セットを全通り選択する。
【０１０３】
認識タスク実行手段６２の動作は、既に説明した動作と同様である。
【０１０４】
特徴点選択手段６３は、特徴点セットに含める特徴点の数の増加を停止すると判定された場合、その時点での特徴点の数からなる特徴点セットのうち、認識誤差が最小の特徴点セットを選択する。
【０１０５】
図７を参照してｍを増加させる場合の処理経過の例を説明する。ステップＳ１１〜Ｓ１５の動作は、第１および第２の実施形態と同様である。ステップＳ１５までの処理を行った後、以下の処理を行う。
【０１０６】
特徴点セット選択手段６１は、特徴点セットに含める特徴点の数を定める（ステップＳ３１）。最初にステップＳ３１に以降したとき、特徴点セット選択手段６１は、特徴点セットに含める特徴点の数ｍを、初期値ｍ０とすればよい。
【０１０７】
ステップＳ３１の後、特徴点セット選択手段６１は、ステップＳ３１で定めた数（ｍ個）の特徴点を含む特徴点セットを選択する（ステップＳ３２）。次に、認識タスク実行手段６２は、ステップＳ３２で選択された特徴点セット毎に、その特徴点セットに属する各特徴点を用いて評価データに対して認識タスクを実行し、併せて認識誤差も計算する（ステップＳ３３）。ステップＳ３２〜Ｓ３３の動作は、既に説明した動作と同様である。
【０１０８】
次に、特徴点セット選択手段６１は、特徴点セットに含める特徴点の数を増加させるか否かを判定する（ステップＳ３４）。特徴点セット選択手段６１は、直前のステップＳ３３における認識タスクとともに計算された各認識誤差のうちの最小値の、その前のステップＳ３３における認識タスクとともに計算された各認識誤差のうちの最小値に対する減少量を計算し、その減少量が所定の閾値以下になったときに特徴点の数の増加を停止すると判定する。一方、その減少量が所定の閾値より大きければ、特徴点の数を増加させると判定する。
【０１０９】
また、他の方法でステップＳ３４の判定を行ってもよい。例えば、認識誤差に対する閾値を定めておき、特徴点セット選択手段６１は、直前のステップＳ３３における認識タスクとともに計算された各認識誤差のうちの最小値がその閾値以下になった場合に特徴点の数の増加を停止すると判定し、認識誤差のうちの最小値がその閾値より大きい場合には特徴点の数を増加させると判定してもよい。
【０１１０】
特徴点を増加させると判定した場合（ステップＳ３４におけるＹｅｓ）、ステップＳ３１〜Ｓ３４の処理を繰り返す。このとき、ステップＳ３１では、前回のステップＳ３１で定めた特徴点の数（ｍ個）にｑを加算した数を、特徴点セットに含める特徴点の数と定める。すなわち、ｍ＋ｑを新たなｍとするように特徴点の数ｍを更新する。以降の動作は同様である。
【０１１１】
また、特徴点の増加を停止すると判定した場合（ステップＳ３４におけるＮｏ）、特徴点選択手段６３は、その時点における特徴点の数（ｍ個）の特徴点からなる特徴点セットのうち、認識誤差が最小となっている特徴点セットを選択する（ステップＳ３５）。
【０１１２】
上記のように、特徴点の数を増加させていき、ステップＳ３４でその時点でのｍにおける認識誤差の最小値と、その前のｍにおける認識誤差の差が閾値以下になったならばステップＳ３１〜Ｓ３４のループ処理を停止する。このことは、図８に示す矢印Ｂのように、ｍを増加させて認識誤差の低下の程度を判定し、低下量が閾値以下まで小さくなる時点におけるｍを特定しているということである。従って、ステップＳ３１〜Ｓ３５では、認識誤差および特徴点の数がそれぞれできるだけ小さくなるようなｍを特定し、ｍ個の特徴点からなる特徴点セットのうち、認識誤差が最小となっている特徴点セットを選択していることになる。よって、ｍを削減していく場合と同様に、ステップＳ３５で選択された特徴点セットが、認識タスクにおける認識アルゴリズムに適した特徴点群であり、できるだけ認識処理量を少なくすることができる特徴点群ということができる。
【０１１３】
また、最終的に得ようとする特徴点の数が予め定められているのであれば、ステップＳ３４において、特徴点の数ｍが、予め定められた特徴点の数まで増加したか否かによって、特徴点の数をさらに増加させるか否かを判定してもよい。すなわち、特徴点の数ｍが予め定められた数まで増加しているならば、特徴点の数の増加を停止させると判定し、予め定められた数まで増加していなければ、さらに特徴点の数を増加させると判定してもよい。
【０１１４】
特徴点の数を段階的に増加させる場合においても、特徴点の数を段階的に削減する場合と同様の効果を得ることができる。
【０１１５】
特徴点セット選択手段６１、認識タスク実行手段６２および特徴点選択手段６３は、入力された情報において指定された複数の特徴点群の中から認識タスクに適した特徴点群を選択する選択手段であるということができる。
【０１１６】
また、第３の実施形態においても、認識タスクとして姿勢推定を行う場合、第２の実施形態で説明したεａの最小化計算（式（８）および式（９）の繰り返し計算）により姿勢推定を行える。第３の実施形態では、εａの最小化計算にＨｅｓｓｉａｎ近似法を適用し、式（８）および式（９）の繰り返し計算を行わずに、任意のｑ点を除いた特徴点セットにおけるεａの値を計算する。この結果、εａの最小化の計算量を少なくすることができる。第２の実施形態で説明したεａの最小化計算を第３の実施形態で用いると、認識タスク実行手段６２は、現在のｍ個の特徴点セットからｑ個の特徴点を削減する際に、この最小化計算をｍＣｑ回繰り返すことになる。例えば、ｍ＝１００００であり、ｑ＝１であるとすると、１００００個から１つの特徴点を削減する際に１００００回最小化計算を行うこととなり、ｑ≧２のときにはさらに計算量が増える。Ｈｅｓｓｉａｎ近似法を適用することでこの計算量を削減することができる。Ｈｅｓｓｉａｎ近似法は、特徴点セットに含める特徴点の数をｑ個ずつ減少させる場合でも、ｑ個ずつ増加させる場合でも適用できるが、ここでは特徴点の数をｑ個ずつ削減する場合を例にして説明する。
【０１１７】
なお、Ｈｅｓｓｉａｎ近似法を適用する場合、特徴点選択システムは、第１の実施形態における特徴点抽出器評価手段４６（図６において図示せず。特徴点誤差計算手段に相当。）を備え、第１の実施形態と同様に、特徴点抽出誤差を算出する。
【０１１８】
以下、式（８）で示したΔφ，Δθ，Δψ，Δｔｘ，Δｔｙ，Δｔｚをベクトルとして並べて表した姿勢パラメータをθとする。姿勢推定は、認識誤差関数εａを最小化する姿勢パラメータθを求める処理である。これは一般に非線形最適化となり、Gauss-Newton法、Levenberg-Marquard 法等の一般的な方法で最小化を行う。また、これらの手法では、εａの１次・２次微分値を計算に用いている。本変形例では、認識タスク実行手段６２は、最終的にεａを最小化した時のεａ，θ、および１次・２次微分値を使って、特徴点を削減した後のεａを計算し、姿勢推定を行わずにどの特徴点を削減すればよいのかを予見する。
【０１１９】
現在選択されている特徴点の数をｍとし、削減しようとしている特徴点の数をｑとする。ただし、ｑはｍに比べて小さい数であり、具体的には２，３を想定する。また、現在の特徴点セットであり、既に姿勢推定が行われεａが計算済みとなっている特徴点セットをＳｍとし、その特徴点セットＳｍからｑ個の特徴点を除いた特徴点のセットをＳｍ−ｑとする。そして、除こうとしているｑ個の特徴点のセットをＳｑとする。認識タスク実行手段６２は、ｍ個の特徴点を含む特徴点セットＳｍを、ｍ−ｑ個の特徴点セットＳｍ−ｑとｑ個の特徴点セットＳｑとに分ける。Ｓｍ−ｑ⊂Ｓｍである。
【０１２０】
また、現在の特徴点セットＳｍによる姿勢推定の認識誤差εａをコスト関数ｆ＋と表すこととする。すると、このコスト関数は式（１１）のように分解する。
【０１２１】
【数１０】
【０１２２】
式（１１）において、チルダを付したｚｉは、学習済みの特徴点抽出器によって判定した特徴点ｉの画像上の位置である。また、ｚｉ（θ）は、姿勢がθであるときの、３Ｄ形状モデル上の特徴点ｉから計算される画像上での特徴点ｉの位置であり、姿勢θにおける特徴点ｉの正解位置に該当する。なお、これらの画像は評価データ生成手段４４に生成された評価データである。
【０１２３】
また、Σｉは、特徴点抽出器評価手段４６が計算した特徴点ｉの特抽点抽出誤差の分散を対角成分とする行列である。
【０１２４】
また、式（１１）は以下の式（１２）のように表すことができる。
【０１２５】
ｆ＋＝ｆ−＋δｆ 式（１２）
【０１２６】
ｆ＋は、現在の特徴点セットＳｍの全特徴点の分の認識誤差（εａの値）である。ｆ−は、ｑ個の特徴点を取り除いた後のコスト関数であり、以下の式（１３）のように表される。ｆ−は、ｑ点を除いた特徴点セットＳｍーｑの分の認識誤差（εａの積算をｑ点を除いた特徴点についてのみ行った値）である。
【０１２７】
【数１１】
【０１２８】
δｆは、取り除くｑ個の点に対応するコスト関数であり、以下の式（１４）のように表される。δｆは、除いたｑ点の分の認識誤差（εａの積算をｑ点の特徴点についてのみ行った値）である。
【０１２９】
【数１２】
【０１３０】
式（１２）の各項のＨｅｓｓｉａｎをＨ＋，Ｈ−，δＨで表すと、以下の式（１５）が得られる。Ｈｅｓｓｉａｎは、ｆのθによる２次微分を表す行列である。
【０１３１】
Ｈ＋＝Ｈ−＋δＨ 式（１５）
【０１３２】
ｆ＋における姿勢の推定値が得られているとする。このとき、以下の式（１６）が成立する。ただし、ｇ＋（・）＝ｄｆ＋／ｄθである。
【０１３３】
【数１３】
【０１３４】
そして、以下に示す式（１７）が成立する。
【０１３５】
【数１４】
【０１３６】
式（１７）において、ｇはεａのθによる１次微分である。また、ハット記号を付したθ＋は、現在のｍ個の特徴点を含む特徴点セットＳｍで姿勢推定したときの姿勢パラメータ（既に計算した姿勢パラメータ）である。ハット記号を付したθ−は、ｑ個の特徴点を除いた特徴点セットＳｍーｑで姿勢推定したときの姿勢パラメータであり、処理時間を削減するために計算の対象外としようとするものである。
【０１３７】
また、ハット記号付きのｆ−（θ−）は、ｑ個の特徴点を除いた特徴点セットＳｍーｑで姿勢推定したときの認識誤差εａであり、処理時間を削減するために計算の対象外としようとするものである。
【０１３８】
ハット記号付きのδｇ（θ＋）は、現在のｍ個の特徴点を含む特徴点セットＳｍで姿勢推定したときの姿勢パラメータの値における、認識誤差の１次微分値であり、この値は姿勢推定処理の過程ですでに計算されているものである。
【０１３９】
また、Ｈ−−１は、ｑ個の特徴点を除いた特徴点セットＳｍーｑで姿勢推定したときの姿勢パラメータの値における、認識誤差の２次微分値の逆行列である。この値は、計算しないことが好ましいが、特徴点数ｍがｑに比べて十分に大きい場合にはＨ＋で近似しても（すなわち置き換えても）大差ないことが知られている。そして、Ｈ＋は姿勢推定処理の過程で既に計算されているものである。ハット記号を付したθ＋の計算にGauss-Newton法やMarquardt 法を利用するとＨ＋は計算済みとなる。
【０１４０】
Ｈ−をＨ＋に置き換えると、以下の手続により、εａを最小化しなくてもＳｑを取り除いた後のコスト関数値を近似的に計算することができる。認識タスク実行手段６２は、以下の処理を行うことで、最小化処理を行う。
【０１４１】
（１）認識タスク実行手段６２は、ＳｄをｍＣｑ通り変化させつつ以下の処理を実行する。
【０１４２】
（２）認識タスク実行手段６２は、以下の式（１８）を計算する。
【０１４３】
【数１５】
【０１４４】
（３）次に、認識タスク実行手段６２は、以下の式（１９）を計算する。
【０１４５】
【数１６】
【０１４６】
（４）次に、認識タスク実行手段６２は、ｆ−（θ−）が最小となるＳｑを取り除いて、Ｓｍ−ｑを作成する。
【０１４７】
（５）次に、認識タスク実行手段６２は、実際にｆ−を最小化して、ハット記号付きのθ−を求める。
【０１４８】
上記の（３）の手続では、ｆの最小化によってハット記号付きのθ−を計算することなく、右辺の
【数１７】
の値を評価する。
【０１４９】
このように、第３の実施形態においてＨｅｓｓｉａｎ近似法を適用することで、認識誤差の最小値計算量を削減する効果が得られる。
【０１５０】
以上の説明では、特徴点の数をｑ個ずつ削減する場合を例にしたが、特徴点の数をｑ個ずつ増加させていく場合には、ｇ−（・）＝ｄｆ−／ｄθであり、式（１７）の代わりに、以下に示す式（２０）が成立する。この場合には、追加するＳｄを定めていけばよい。
【０１５１】
【数１８】
【０１５２】
以下、式（１７）の導出について説明する。まず、ｆ＋（θ＋）は、式（２１）のように定義される。
【０１５３】
【数１９】
【０１５４】
ｄｆ＋／ｄθ＝ｇ＋等のように書くこととする。ｇ＋（θ＋）＝０より、以下の計算が成り立つ。
【０１５５】
【数２０】
【０１５６】
上記の式において、ｇ−（θ−）＝０であり、よって、式（２２）が得られる。
【０１５７】
【数２１】
【０１５８】
また、以下の計算式が成立し、式（２２）を代入することで、式（２３）（式（１７）と同様の式）が得られる。
【０１５９】
【数２２】
【０１６０】
【数２３】
【０１６１】
実施形態４．
図９は、本発明の第４の実施形態の特徴点選択システムの例を示すブロック図である。第３の実施形態と同様の構成要素については、図６と同一の符号を付し、説明を省略する。第１から第３までの各実施形態では、３Ｄ形状モデルと、その３Ｄ形状モデル上の複数の特徴点を指定する情報と、認識タスクで用いられるテンプレートの大きさとが入力される。第４の実施形態では、３Ｄ形状モデルが入力されると複数の特徴点を生成し、特抽学習・評価データ生成手段４１に対してその特徴点を指定する特徴点生成手段１を備える。また、特徴点生成手段１は、認識タスクで用いられるテンプレートの大きさも指定する。特抽学習・評価データ生成手段４１は、指定された複数の特徴点とテンプレートの大きさを用いて既に説明した処理を行う。
【０１６２】
図９では、第３の実施形態の構成に特徴点生成手段１を追加した構成を図示したが、第１の実施形態や第２の実施形態の構成に特徴点生成手段１を追加した構成であってもよい。
【０１６３】
特徴点生成手段１が生成する特徴点について説明する。本発明の発明者は、姿勢推定や個体識別等の種々の認識タスクに利用される特徴点が満たすべき要件を検討し、特徴点は以下のような３つの要件を満たすべきと考えた。
【０１６４】
第１の要件（以下、要件Ａと記す。）は、認識対象となる画像の照明や姿勢の変化に対して頑健に、特徴点の位置を画像から抽出できる特徴点抽出器を構築できることである。すなわち、特徴点と、特徴点以外の点とを特徴点抽出器に入力し、あるパターンが入力されたときに、そのパターンが特徴点であるか否かを判定するための内部データを特徴点抽出器に学習させることができることである。例えば、頬の領域はどこをとっても似たような画像パターンであるから、頬の一点を特徴点としても、その特徴点と頬の他の位置の点の画像のパターンは同様であり、特徴点抽出器による抽出が困難である。よって、頬の点は要件Ａを満たしていないと言える。
【０１６５】
第２の要件（以下、要件Ｂと記す。）は、異なる個体間において特徴点が対応付いていることである。例えば、目尻の点を特徴点とした場合、人物Ｘの目尻の点と人物Ｙの目尻の点とは、対応付けられる。よって、目尻の点は、要件Ｂを満たす。要件Ｂは、さらに２つの要件に分けて考えることができる。一つは、全ての３Ｄ形状モデルを同一の座標系の座標系に重ね合わせて配置したときに、３Ｄ形状モデル上の近い位置に特徴点が存在することである。この要件を要件Ｂ１と記す。もう一つは、各画像間で、画像から切り出した特徴点を含む特徴点周囲の局所領域のパターン（局所パターン）が類似していることである。この要件を要件Ｂ２と記す。上記の目尻を例に説明すると、人物Ｘ，Ｙの３Ｄ形状モデルを重ねた場合、目尻の点は互いに近いので要件Ｂ１を満たす。また、人物が異なっていても、人物の顔画像における目尻の点およびその周囲を切り出すと、切り出した部分同士は類似しているので、目尻の点は要件Ｂ２も満たす。
【０１６６】
第３の要件（以下、要件Ｃと記す。）は、認識タスクにとって重要な点が特徴点として網羅されていて、その特徴点を用いることにより十分に高い認識性能を実現できることである。そのような条件の一例として、要件Ｃは、３Ｄ形状モデルの一部に特徴点が集中せずに、３Ｄ形状モデル全体から均一に抽出されていることということができる。
【０１６７】
特徴点生成手段１は、上記の要件Ａ，Ｂ１，Ｂ２，Ｃのうち少なくとも一部を満たす特徴点群を生成する。以下、特徴点生成手段１について詳細に説明する。
【０１６８】
図１０は、特徴点生成手段１の例を示すブロック図である。特徴点生成手段１は、学習画像群生成手段２と、特徴点配置手段３と、評価手段４とを備える。
【０１６９】
学習画像群生成手段２には、３Ｄ形状モデル６が入力され、学習画像群生成手段２は、入力された３Ｄ形状モデル６からＣＧ画像として複数の画像（２次元画像）を生成する。ここでは、学習画像群生成手段２に、人間の顔の３Ｄ形状モデルが入力される場合を例にして説明する。また、この３Ｄ形状モデルにはテクスチャが貼り付けられているものとする。学習画像群生成手段２は、入力された３Ｄ形状モデルに対して、条件を種々変化させた場合の画像を複数生成する。学習画像群生成手段２は、この条件として、照明の状態（照明の位置）や３Ｄ形状モデルの姿勢を様々に定め、それらの各条件のもとでの画像を生成する。以下、この２次元画像を学習画像と記す。また、学習画像群生成手段２には、複数の個体についてそれぞれ作成された３Ｄ形状モデルが入力される。図１１では二つの３Ｄ形状モデルを示しているが、学習画像群生成手段２に入力される３Ｄ形状モデル数は２に限定されない。
【０１７０】
図１１は、学習画像群生成手段２に入力される３Ｄ形状モデルを模式的に示す説明図である。図１１では３Ｄ形状モデルを模式的に２次元で表している。図１１（ａ），（ｂ）は、それぞれ異なる人物の顔の３Ｄ形状モデルを表している。学習画像群生成手段２は、図１１（ａ），（ｂ）に示すような複数の個体（複数の人物）の３Ｄ形状モデルが入力されると、それぞれの個体毎に、照明位置や姿勢を種々変化させた場合の学習画像を生成する。図１２は、生成された学習画像の例を示す説明図である。図１２（ａ）は、図１１（ａ）に示す３Ｄ形状モデルから生成した複数の学習画像の例であり、図１２（ｂ）は、図１１（ｂ）に示す３Ｄ形状モデルから生成した複数の学習画像の例である。図１２では、照明の位置を種々変化させて得た複数の画像を示しているが、３Ｄ形状モデルの姿勢を変化させてもよい。３Ｄ形状モデルに対する照明の位置を変化させることで、照明位置に応じた場所に影１１が生じた学習画像を得ることができる（図１２参照）。図１２では、個体毎に３種類の学習画像を示しているが、学習画像群生成手段２が生成する学習画像の種類は３種類に限定されない。学習画像群生成手段２は、３Ｄ形状モデルおよび生成した学習画像群７を特徴点配置手段３および評価手段４に入力する。
【０１７１】
特徴点配置手段３は、特徴点群の初期位置を、特徴点生成手段１に入力された３Ｄ形状モデル上において定める。学習画像は、３Ｄ形状モデルからＣＧ画像として生成される画像であるので、３Ｄ形状モデル上の特徴点が指定されれば、その特徴点に応じた学習画像内の特徴点も定めることができる。例えば、図１３に示す３Ｄ形状モデルにおける特徴点１３等の特徴点群を初期位置として定めると、各学習画像においても対応する特徴点１３ａ等をそれぞれ定めることができる。特徴点配置手段３は、３Ｄ形状モデル上の各特徴点に対応する学習画像内の各特徴点も定める。
【０１７２】
図１３（ａ）は、図１１（ｂ）に示す３Ｄ形状モデル上の特徴点の初期位置およびその特徴点に対応する学習画像上の特徴点の例を示す。同様に、図１３（ｂ）は、図１１（ｂ）に示す３Ｄ形状モデル上の特徴点の初期位置およびその特徴点に対応する学習画像上の特徴点の例を示す。後述するように、評価手段４は、特徴点配置手段３に指定された特徴点群が要件Ａ〜Ｃをどの程度満たしているかを示す評価値を計算する。この評価値をＱとする。評価値Ｑは、特徴点群が要件Ａ〜Ｃを満たしているほど小さな値となる。特徴点配置手段３は、評価値Ｑを最小化するように特徴点群の位置を初期位置から移動させる。特徴点配置手段３が特徴点群を移動させて評価手段４がその特徴点群における評価値Ｑを計算する処理を繰り返すことで、評価値Ｑが最小となる特徴点群を求め、その特徴点群を最適な特徴点群８（図１０参照）として指定する。
【０１７３】
評価手段４は、各個体の３Ｄ形状モデル上の特徴点群が指定されると、その特徴点群が、要件Ａ〜Ｃをどの程度満たしているかを示す評価値Ｑを計算する。評価手段４は、特徴点配置手段３に指定された特徴点群について、以下に示す式（２４）の計算により評価値Ｑを求める。
【０１７４】
【数２４】
【０１７５】
以下、式（２４）の右辺の第１項から第４項の計算方法について説明する。
【０１７６】
式（２４）の右辺の第１項におけるＨｃ［Ｐ］は、個体毎の３次元形状モデル間での位置の一致性を表すエントロピーである。従って、第１項は要件Ｂ１に対応する項である。第１項の算出では、特徴点の座標を用いた計算を行う。人物数がＭであるとし、着目している人物をｋで表すこととする。ｋ番目の人物の一つの３次元形状モデル上におけるｉ番目の特徴点をＰｉとしたときに、その特徴点Ｐｉの座標をｘｋ，ｉと表すこととする。また、その３次元形状モデル上の特徴点の座標を並べたものをｚｋとすると、ｚｋは、（ｘｋ，１Ｔ，ｘｋ，２Ｔ，・・・，ｘｋ，ＮＴ）Ｔである。Ｎは３次元形状モデル内の特徴点数である。座標の次元をｄとすると、ｚｋは、Ｎｄ次元ベクトルである。各特徴点Ｐｉが各人物の３次元形状モデルにおいてそれぞれ近接した位置に配置されていると、ｚｋ（ｋ＝１，２，・・・，Ｍ）のＮｄ次元空間における分布の分散は小さくなる。｛ｚｋ｝の分布を正規分布で近似しその共分散をΣで表すとき、そのエントロピーは、以下に示す式（２５）で計算できる。評価手段４は、式（２４）の右辺第１項におけるＨｃ［Ｐ］を以下に示す式（２５）で計算すればよい。ただし、λｊはΣの固有値である。
【０１７７】
【数２５】
【０１７８】
評価手段４は、計算したＨｃ［Ｐ］にξを乗じることによって、式（２４）の右辺第１項を計算する。ξは第１項の重み係数である。第１項の重みに応じてξを定めておけばよく、第１項を考慮しないのであればξ＝０としてもよい。
【０１７９】
式（２４）の右辺第２項（“−”符号も含む。）の計算について説明する。この第２項は、特徴点群の分布の均一性をエントロピーで定量化した項であり、要件Ｃに対応する。１番目の人物からＭ番目の人物までについてそれぞれ−Ｈｕ［Ｐｋ］を求め、その総和を計算したものが式（２４）の右辺第２項である。ここで、［Ｐｋ］は着目している人物の特徴点群であり、Ｈｕ［Ｐｋ］はそのエントロピーである。
【０１８０】
曲面Ｓ上に分布するＮ個の点群｛Ｐｉ｝が与えられたとき、この｛Ｐｉ｝を、Ｓ上に定義された確率密度分布ｐ（ｘ）（ｘ∈Ｓ）に従って生成された点群とみなす。このとき、点群｛Ｐｉ｝の分布の均一さは、ｐ（ｘ）のＳ上におけるエントロピーＨｕ［Ｐ］＝−∫Ｓｐ（ｘ）ｌｏｇｐ（ｘ）ｄｘによって定義できる。ここで、｛Ｐｉ｝により３次元顔モデルを十分サンプリングできているとき、Ｈｕ［Ｐ］は、−（１／Ｎ）Σｉｌｏｇｐ（ｘｉ）で近似することができる。ただし、ｘｉは特徴点Ｐｉの位置である。この式により、Ｈｕ［Ｐ］を計算するためには、ｐ（ｘｉ）を推定する必要がある。この推定にはガウス関数Ｇ（ｘ，σ）を窓関数としたＰａｒｚｅｎ推定を採用する。このとき、以下に示す式（２６）を得る。
【０１８１】
【数２６】
【０１８２】
よって、−Ｈｕ［Ｐ］を以下の式（２７）のように計算することができる。
【０１８３】
【数２７】
【０１８４】
評価手段４は、Ｍ人の人物についてそれぞれ式（２７）の計算で−Ｈｕ［Ｐｋ］を求め、その総和を計算し、総和にηを乗じることにより、式（２４）の右辺第２項を計算すればよい。ηは第２項の重み係数である。第２項の重みに応じてηを定めておけばよく、第２項を考慮しないのであればη＝０としてもよい。
【０１８５】
式（２４）の右辺第３項（“−”符号も含む。）の計算について説明する。この第３項は、局所パターンの対称性を表す項であり、局所パターンの対称性が大きいほど第３項の値は小さくなる。換言すれば、この第３項は、要件Ａに対応し、特徴点群が要件Ａを満たす程度が大きいほど、第３項の値は小さくなる。
【０１８６】
この局所パターンは、学習画像内の特徴点を含む特徴点周囲の局所領域の画像である。特徴点としてエッジ、コーナーまたは極大点を含む局所パターンは、局所的に回転対称性やスケール対称性を有している。ここで対称性とは、特定の変換に対する対象の不変性のことである。例えば、左右対称とは、左右反転する変換に対する対象の不変性である。図１４は対称の例を示す説明図である。図１４（ａ）は、画素値の極大点周辺の局所パターンであり、回転変換に対して不変であることから回転対称である。図１４（ｂ）は、コーナーとエッジであり、拡大縮小に対して不変なスケール対称性を有するパターンである。
【０１８７】
局所パターンをＩ（ｕ，ｖ）で表すことにする。局所的な座標系（ｕ，ｖ）の原点は局所領域の中央に設定する。ユークリッド座標系（ｕ，ｖ）を（対数）極座標（ｒ，θ）へと変換する。さらに、Ｉ（ｕ，ｖ）が変数分離できると仮定する。ここで、以下の式（２８）が成り立つ。
【０１８８】
Ｉ（ｕ，ｖ）＝ｆ（ｒ）ｇ（θ） 式（２８）
【０１８９】
局所パターンＩ（ｕ，ｖ）が回転対称であるとき、Ｉ（ｕ，ｖ）はθの変化に対して不変となるため、以下の式（２９）を満たす。
【０１９０】
Ｉ（ｕ，ｖ）＝ｆ（ｒ）Θ０ 式（２９）
【０１９１】
ただし、Θ０は定数である。一方、Ｉ（ｕ，ｖ）がスケール対称であるとき、Ｉ（ｕ，ｖ）は動径ｒの変化に対して不変となるため、以下の式（３０）を満たす。ここで、式（３０）におけるＲ０は定数である。
【０１９２】
Ｉ（ｕ，ｖ）＝Ｒ０ｇ（θ） 式（３０）
【０１９３】
局所パターンの極座標表現Ｉ（ｒ，θ）の２次元フーリエ係数をＣｍｎで表すことにすると、Ｃｍｎは、以下に示す式（３１）の計算によって求めることができる。
【０１９４】
【数２８】
【０１９５】
ただし、ｍ，ｎは整数であり、εは局所領域の半径である。また、ここでは、局所領域が正方形であるものとして説明する。この場合、εは、正方形の局所領域の中心から正方形の辺までの距離であり、局所領域となる内接円の半径である。また、式（３１）中のｊは虚数単位である。フーリエ係数Ｃｍｎのうち、Ｃ００は、Ｉ（ｒ，θ）の局所領域内の平均値に対応していて、この値の大小は特徴点としての抽出のしやすさには関係ない。仮に局所パターンが回転対称であるならば、Ｃ０ｎ以外は全て０になる。一方、局所パターンがスケール対称であるならば、Ｃｍ０以外は全て０になる。このため、Ｓａｌｌを式（３２）のように定めると、局所パターンの回転対称性Ｓｒｏｔとスケール対称性Ｓｓｃｌは、Ｓａｌｌを用いて式（３３）、式（３４）により計算することができる。
【０１９６】
【数２９】
【０１９７】
【数３０】
【０１９８】
【数３１】
【０１９９】
０≦Ｓｒｏｔ，Ｓｓｃｌ≦１であり、Ｓｒｏｔ，Ｓｓｃｌは、局所パターンが対称である場合にのみ最大値１となる。評価手段４は、学習画像から局所パターンを切り出し、各位置においてＳｒｏｔとＳｓｃｌを計算し、３Ｄ形状モデル上の各特徴点のうち画像に写る全ての点に対して、特徴点としての抽出しやすさを表す２次元ベクトル［Ｓｒｏｔ，Ｓｓｃｌ］Ｔを求める。そして、評価手段４は、このベクトルの長さにより画像からの抽出容易性を求める。この抽出容易性をｌｏｇ−ｐｏｌａｒ特徴量と称してもよい。抽出容易性をＤ（Ｐ）とすると、評価手段４は、以下に示す式（３５）により、抽出容易性Ｄ（Ｐ）を計算することができる。
【０２００】
【数３２】
【０２０１】
評価手段４は、それぞれの個体の特徴点毎に、式（３５）の計算を行い、抽出容易性Ｄ（Ｐ）を求め、その総和に−αを乗じることによって、式（２４）の右辺第３項を計算する。αは第３項の重み係数である。第３項の重みに応じてαを定めておけばよく、第３項を考慮しないのであればα＝０としてもよい。
【０２０２】
第３項は、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど値が小さくなる項であればよい。上記の例では、そのような第３項として、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される項を用いる場合を例示した。
【０２０３】
式（２４）の右辺第４項（“−”符号も含む。）の計算について説明する。この第４項は、要件Ｂ２に対応する。そして、特徴点群が要件Ｂ２を満たす度合いが大きいほど、第４項の値は小さくなる。式（２４）の右辺第４項におけるＡ（Ｐｉ）は、各人物間における特徴点Ｐｉのテンプレート（学習画像の局所領域）の輝度の統計量である。評価手段４は、各人物間で対応する特徴点のテンプレートの輝度の特徴量として、例えば、分散を計算してもよい。あるいは、人物間の輝度の平均値を計算し、その平均値と個々の人物における輝度値との差分の総和を統計量として計算してもよい。また、輝度を用いるのはあくまで一例であり、様々な特徴抽出演算子を適用して計算した特徴量の値を用いてもよい。評価手段４は、各特徴点について計算した特徴量の総和に−βを計算することで式（２４）の右辺第４項を計算する。βは第４項の重み係数である。第４項の重みに応じてβを定めておけばよく、第４項を考慮しないのであればβ＝０としてもよい。このように条件（本例では人物）を変えた局所パターンの類似度が大きいほど値が小さくなる項を、第４項とすればよい。この条件として、姿勢や照明位置等を用いてもよい。
【０２０４】
また、前述のように、特徴点配置手段３は、評価値Ｑが小さくなるように特徴点を移動させる。特徴点配置手段３は、最急降下法によって、評価値Ｑを最小とする特徴点群を求める。特徴点配置手段３は、以下に示す式（３６）の計算を行って、各特徴点を移動させればよい。
【０２０５】
【数３３】
【０２０６】
式（３６）におけるγは移動量を調整するパラメータであり、予め定めておけばよい。また、式（３６）におけるＥは、各点の座標の組をｚ＝（ｘ１，ｘ２，・・・，ｘＮ）により表したときに、以下に示す式（３７）のように表される関数である。
【０２０７】
【数３４】
【０２０８】
Ｅ（ｚ）のｘｉによる微係数は、以下の式（３８）のよう表される。ただし、Σｊωｉｊ＝１である。
【０２０９】
【数３５】
【０２１０】
また、前述のｚｋに関しサンプル平均を以下の式（３９）のように表す。
【０２１１】
【数３６】
【０２１２】
また、平均まわりの偏差ｙｋを以下の式（４０）のように表す。
【０２１３】
【数３７】
【０２１４】
また、ｙｋを並べたＮｄ×Ｍの行列をＹ＝［ｙ１ｙ２・・・ｙＭ］で表す。このとき、Σ＝（１／（Ｍ−１））ＹＹＴである。このとき、以下の式（４１）が得られる。
【０２１５】
【数３８】
【０２１６】
学習画像群生成手段２、特徴点配置手段３および評価手段４は、例えば、特徴点選択プログラムに従って動作するコンピュータのＣＰＵによって実現される。あるいは、学習画像群生成手段２、特徴点配置手段３および評価手段４が他の各手段（図９参照）とは別にそれぞれ専用の回路で実現されていてもよい。
【０２１７】
次に、動作について説明する。
図１５は、特徴点生成手段１の動作の例を示すフローチャートである。学習画像群生成手段２は、各人物の顔の３Ｄ形状モデルが入力されると、３Ｄ形状モデルに対する照明の位置や３Ｄ形状モデルの姿勢を種々変化させた場合の学習画像を人物毎に作成する（ステップＳ１）。
【０２１８】
次に、特徴点配置手段３および評価手段４が、各特徴点の局所領域の大きさε（局所領域の内接円半径）を固定値として、特徴点の位置を定める（ステップＳ２）。ステップＳ２では、特徴点配置手段３が、各３Ｄ形状モデル上の特徴点群の初期位置を定め、その特徴点群に対する評価値を評価手段４が計算する。特徴点配置手段３は、３Ｄ形状モデル上の特徴点群の初期位置を定めるとき、その特徴点群に対応する学習画像内の特徴点群の位置も定める。特徴点の位置が指定されると、評価手段４は、式（３１）におけるεを固定値として、特徴点配置手段３に指定された特徴点群の評価値Ｑを計算する。そして、特徴点配置手段３は、評価値Ｑを最小にするように、３Ｄ形状モデル上の特徴点群を移動させ、評価手段４は、その特徴点群に対する評価値Ｑを、εを固定値として再度計算する。この処理を、評価値Ｑが収束するまで行い、評価値Ｑが収束したときの特徴点群の位置を特定する。
【０２１９】
次に、評価手段４は、その位置に特徴点群が存在するものとして、特徴点群の位置を固定し、局所領域の大きさεを変化させて、その特徴点群の評価値Ｑを再計算する。そして、評価値Ｑが最小となるときのεを特定する（ステップＳ３）。εを変化させることで、式（３１）の計算で求めるＣｍｎが変化し、その結果評価値Ｑもεに応じて変化する。ステップＳ３では、特徴点群を固定としたまま、評価手段４は、εを変化させて、評価値Ｑを最小とするεを求める。
【０２２０】
図１５に示すように、ステップＳ２，Ｓ３はループ処理である。ステップＳ３の後、評価手段４は、ステップＳ２，Ｓ３のループ処理を終了するか否かを判定する（ステップＳ４）。例えば、直前のステップＳ３でεを変化させて計算した評価値Ｑの最小値と、その前のステップＳ３でεを変化させて計算した評価値Ｑの最小値との差が、所定値以下となった状態（Ｑが収束した状態）になっていたら（ステップＳ４のＹｅｓ）、ループ処理を終了すると判定し、そうでなければ（ステップＳ４のＮｏ）、ステップＳ２，Ｓ３を再度繰り返すと判定してもよい。
【０２２１】
ステップＳ４の後、再度ステップＳ２を行う場合、直前のステップＳ３で計算したεをεの固定値として用いればよい。また、直前のステップＳ２で定めた特徴点群の位置を特徴点群の初期位置としてステップＳ２を開始すればよい。
【０２２２】
ステップＳ４においてループ処理を終了すると判定した場合、特徴点配置手段３は、直前のステップＳ２で定めた特徴点群と、直前のステップＳ３で定めたεとを特抽学習・評価データ生成手段４１に指定する。すなわち、特徴点配置手段３は、特徴点の配置を定めるとともに、各特徴点の抽出に用いるべき局所パターンの大きさを、直前のステップＳ３で定めたεとすることを決定する。
【０２２３】
なお、図１５では、ステップＳ２，Ｓ３をループ処理とする場合を示したが、ステップＳ２，Ｓ３を繰り返さずに、ステップＳ２，Ｓ３を一回ずつ行った後に処理を終了してもよい。
【０２２４】
本実施形態によれば、評価値Ｑを式（２４）の計算によって求める。式（２４）の右辺に示す第１項から第４項は、それぞれ、特徴点が満たすべき要件Ｂ１、要件Ｃ、要件Ａ、要件Ｂ２に対応し、特徴点群がそれぞれの要件を満たす度合いが大きいほど各項は小さな値となり、評価値Ｑも小さな値となる。そして、特徴点配置手段３は、評価値Ｑを最小とするように特徴点群を移動させるので、要件Ａ，Ｂ１，Ｂ２，Ｃを満たす特徴点群を生成することができる。そして、その特徴点群から特徴点を選択するので、認識タスクにおける認識アルゴリズムに合うより適切な特徴点を選択することができる。
【０２２５】
また、式（２４）の第１項から第４項に、重み付け係数が０となる項があってもよい。例えば、式（２４）のξやβを０として、第２項および第３項の和を計算してもよい。また、例えば、βを０とせずに、第２項、第３項および第４項の和を計算してもよい。また、各項の重み付け係数をいずれも０とせず、第１から第４までの各項の和を計算してもよい。いずれの場合においても、重み付け係数を０としない項に対応する条件を考慮した好ましい特徴点群を生成することができる。
【０２２６】
また、ステップＳ２で特徴点の位置を定めた後、特徴点を含む局所領域の大きさεを変化させて評価値Ｑを計算し、評価値Ｑを最小とするεを定める。よって、要件Ａ，Ｂ１，Ｂ２，Ｃを満たすεも決定することができる。また、ステップＳ２，Ｓ３を繰り返すことで、より好ましい特徴点群およびεを定めることができる。
【０２２７】
また、上記の説明では、ε（局所領域の大きさ）を固定値として特徴点の位置を定め（ステップＳ２）、次に、特徴点の位置を固定としてεの大きさを定める（ステップＳ３）場合を示した。各特徴点の位置とεとを同時に定めてもよい。すなわち、特徴点の初期位置から評価値Ｑが最小となるように特徴点を移動させるときに、評価値Ｑの計算においてεの値を変化させてもよい。そして、評価値Ｑが最小となるときの、特徴点の位置およびεを同時に決定してもよい。
【０２２８】
次に、第４の実施形態の変形例を説明する。上記の説明では、局所領域が正方形であるものとして説明した。以下に示す変形例では、局所領域が長方形であり、長方形の大きさだけでなく、アスペクト比も定める。アスペクト比は、局所領域となる長方形の縦の長さに対する横の長さの倍率である。図１６は、第４の実施形態の変形例を示すブロック図である。前述の特徴点生成手段１と同様の構成要素については、図１０と同様の符号を付し、説明を省略する。アスペクト比も定める特徴点生成手段１ａは、学習画像群生成手段２と、特徴点配置手段３と、評価手段４ａとを備える。
【０２２９】
評価手段４ａは、前述の評価手段４と同様に、評価値Ｑを計算する。ただし、本変形例では、評価手段４ａは、局所領域の大きさεだけでなく、局所領域のアスペクト比も変化させ、アスペクト比に応じた評価値Ｑを計算する。アスペクト比をＷとすると、評価手段４ａは、Ｗに応じた評価値Ｑを以下のように計算すればよい。すなわち、評価手段４ａは、式（３１）の積分計算を行う前に、学習画像を横方向に１／Ｗ倍になるように変換し、その変換後の学習画像について式（３１）の積分計算を行う。評価値Ｑの計算過程におけるその他の点に関しては、第４の実施形態における評価値Ｑの計算方法と同様である。例えば、アスペクト比が２である場合、評価手段４ａは、式（３１）の積分計算を行う前に、学習画像を横方向に１／２倍になるように縮小する。そして、縮小後の学習画像について式（３１）の積分計算を行えばよい。このように、学習画像を横方向に１／Ｗ倍になるように変換し、その画像について式（３１）の計算を行うこととして、評価値Ｑを計算すれば、長方形の局所領域に応じた評価値Ｑを計算することができる。式（３１）は、式（２４）の右辺の第３項に影響する計算であり、評価手段４ａは、式（２４）の右辺第３項をアスペクト比に応じて計算することになる。
【０２３０】
評価手段４ａは、例えば、特徴点選択プログラムに従って動作するコンピュータのＣＰＵによって実現されていてもよい。あるいは、評価手段４ａが専用の回路として他の手段とは別に設けられていてもよい。
【０２３１】
図１７は、第４の実施形態の変形例における特徴点生成手段１の処理経過の例を示すフローチャートである。学習画像群生成手段２は、各人物の顔の３Ｄ形状モデルが入力されると、３Ｄ形状モデルに対する照明の位置や３Ｄ形状モデルの姿勢を種々変化させた場合の学習画像を人物毎に作成する（ステップＳ５１）。
【０２３２】
次に、特徴点配置手段３および評価手段４ａが、各特徴点の局所領域の大きさεおよびアスペクト比Ｗを固定値として、特徴点の位置を定める（ステップＳ５２）。ステップＳ２（図１５参照）と同様に、特徴点配置手段３は、各３Ｄ形状モデル上の特徴点群の初期位置を定め、その特徴点群に対応する学習画像内の特徴点群の位置も定める。特徴点の位置が指定されると、評価手段４ａは評価値Ｑを計算する。このとき、評価手段４ａは、式（３１）の積分計算を行う前に、学習画像を横方向に１／Ｗ倍になるように変換する。そして、評価手段４ａは、式（３１）におけるεを固定値として、変換後の学習画像に対して式（３１）の積分計算を行い式（２４）の第３項を計算する。評価値Ｑの計算過程において、他の点はステップＳ２（図１５参照）と同様である。そして、特徴点配置手段３は、評価値Ｑを最小にするように、３Ｄ形状モデル上の特徴点群を移動させ、評価手段４ａは、その特徴点群に対する評価値Ｑを、εを固定値として再度計算する。この処理を、評価値Ｑが収束するまで行い、評価値Ｑが収束したときの特徴点群の位置を特定する。
【０２３３】
次に、評価手段４ａは、その位置に特徴点群が存在するものとして、特徴点群の位置を固定し、アスペクト比Ｗを固定値として、局所領域の大きさεを変化させて、その特徴点群の評価値Ｑを再計算する。そして、評価値Ｑが最小となるときのεを特定する（ステップＳ５３）。このとき、評価手段４ａは、式（３１）の積分計算を行う前に、学習画像を横方向に１／Ｗ倍になるように変換し、変換後の学習画像について、εを種々変化させたときの評価値Ｑを計算すればよい。式（３１）の計算の際に、学習画像を横方向に１／Ｗ倍になるように変換する点の他は、ステップＳ３（図１５参照）と同様である。
【０２３４】
次に、評価手段４ａは、ステップＳ５２で定めた位置に特徴点群が存在し、ステップＳ５３で定めたεの値を固定とし、アスペクト比を変化させて、その特徴点群の評価値Ｑを再計算する。そして、評価値Ｑが最小となるときのＷを特定する（ステップＳ５４）。ステップＳ５４においても、評価手段４ａは、式（３１）の積分計算の前に、学習画像を横方向に１／Ｗ倍になるように変換する。このとき、評価手段４ａは、Ｗを変化させ、様々な倍率（１／Ｗ）で学習画像を変換する。そして、各Ｗに応じた評価値Ｑを計算し、評価値Ｑが最小となるＷを特定する。
【０２３５】
ステップＳ５４の後、評価手段４ａは、ステップＳ５２〜Ｓ５４のループ処理を終了するか否かを判定する（ステップＳ５５）。例えば、直前のステップＳ５４でＷを変化させて計算した評価値Ｑの最小値と、その前のステップＳ５５でＷを変化させて計算した評価値Ｑの最小値との差が所定値以下となった状態（Ｑが収束した状態）になっていたら（ステップＳ５５のＹｅｓ）、ループ処理を終了すると判定し、そうでなければ（ステップＳ５５のＮｏ）、ステップＳ５２〜Ｓ５４を再度繰り返すと判定してもよい。
【０２３６】
ステップＳ５５の後、再度ステップＳ５２を行う場合、直前のステップＳ５３，Ｓ５４５で定めたεおよびＷを、εおよびＷの固定値として用いればよい。また、直前のステップＳ５２で定めた特徴点群の位置を特徴点群の初期位置としてステップＳ５２を開始すればよい。
【０２３７】
ステップＳ５５においてループ処理を終了すると判定した場合、特徴点配置手段３は、直前のステップＳ５２で定めた特徴点群と、直前のステップＳ５３で定めたεと、直前のステップＳ５４で定めたＷとを、特抽学習・評価データ生成手段４１に対して指定する。すなわち、特徴点配置手段３は、特徴点の配置を定めるとともに、各特徴点の抽出に用いるべき局所パターンの大きさを、直前のステップＳ５３で定めたεとすることを決定し、また、各特徴点の抽出に用いるべき局所パターンのアスペクト比を、直前のステップＳ５４で定めたＷとすることを決定する。
【０２３８】
この第４の実施形態の変形例においても、第４の実施形態と同様の効果を得ることができる。さらに、アスペクト比Ｗも考慮して評価値Ｑを計算し、評価値Ｑが最小となるアスペクト比Ｗを求めているので、姿勢推定や個体認証等において局所領域として長方形を切り出す場合、要件Ａ〜Ｃを満たす好ましいアスペクト比を求めることができる。
【０２３９】
なお、図１７では、ステップＳ５２〜Ｓ５４をループ処理とする場合を示したが、ステップＳ５２〜Ｓ５４をループ処理とせずに、ステップＳ５２〜Ｓ５４を一回ずつ行った後に処理を終了してもよい。
【０２４０】
また、ステップＳ５３とステップＳ５４とを別々に行うのではなく、評価値４ａが、εおよびＷをそれぞれ変化させて、評価値Ｑが最小となるεおよびＷを同時に特定してもよい。
【０２４１】
また、各特徴点の位置とεおよびＷを同時に定めてもよい。すなわち、特徴点の初期位置Ｗから評価値Ｑが最小となるように特徴点を移動させるときに、評価値Ｑの計算においてε，Ｗを変化させてもよい。そして、評価値Ｑが最小となるときの、特徴点の位置およびε，Ｗを同時に決定してもよい。
【０２４２】
次に、本発明の画像認識システムについて説明する。図１８は、本発明の画像認識システムの構成例を示すブロック図である。画像認識システム８１は、認識タスクを実行する認識タスク実行手段８２を備える。認識タスク実行手段８２は、本発明による特徴点選択システムが選択した特徴点の配置を、その特徴点選択システムから読み取り、その特徴点の配置を用いて、認識対象画像に対する認識タスクを実行する。認識タスクの種類は、特に限定されない。
【０２４３】
また、特徴点を選択する特徴点選択システムは、本発明の特徴点選択システムであればよく、第１の実施形態から第４の実施形態のうちのいずれの特徴点選択システムであってもよい。特徴点選択システムは、指定された特徴点の中から選択する特徴点を確定したときに、その特徴点の配置を記憶しておけばよい。そして、認識タスク実行手段８２は、その特徴点の配置を特徴点選択システムから読み込んで認識タスクを実行すればよい。
【０２４４】
特徴点選択システムでは認識タスクに適した特徴点を選択し、図１８に示す認識タスク実行手段８２はその特徴点を用いて認識タスクを実行するので、精度よく認識タスクを実行することができる。
【０２４５】
また、認識タスク実行手段８２は、本発明の特徴点選択システムにおける特徴点抽出器学習手段４５が学習した特徴点抽出器の内部データも特徴点選択システムから読み込んでもよい。そして、認識タスク実行時に認識対象画像から特徴点抽出を行う際には、その内部データを用いて特徴点抽出を行ってもよい。そのような構成により、特徴点抽出精度を向上することができ、その結果、認識タスクの精度を向上させることができる。
【０２４６】
認識タスク実行手段８２は、例えば、画像認識プログラムに従って動作するコンピュータのＣＰＵによって実現される。
【０２４７】
次に、本発明の最小構成を説明する。図１９は、本発明の最小構成を示すブロック図である。本発明の特徴点選択システムは、学習評価用データ生成手段９１と、学習手段９２と、選択手段９３とを備える。
【０２４８】
学習評価用データ生成手段９１（例えば、特抽学習・評価データ生成手段４１）は、３次元形状モデルおよびその３次元形状モデル上の複数の特徴点が指定されると、３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像（例えば学習データ）およびその特徴点位置と、認識タスクの評価に用いる評価用画像（例えば評価データ）とを生成する。
【０２４９】
学習手段９２（例えば特徴点抽出器学習手段４５）は、学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習する。
【０２５０】
選択手段９３（例えば、特徴点抽出器評価手段４６および特徴点選択手段４７、第２の実施形態における特徴点セット選択手段５１と認識タスク実行手段５２と特徴点選択手段５３等）は、学習により得られた判定用データを用いて評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する。
【０２５１】
そのような構成により、認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる。また、一つの個体の３次元形状モデルおよびその３次元形状モデル上の特徴点を指定することで、個体毎の適切な特徴点を選択することができる。
【０２５２】
また、上記の実施形態には、選択手段９３が、指定された複数の特徴点に含まれている複数の特徴点である特徴点セットを選択する特徴点セット選択手段（例えば、特徴点セット選択手段５１，６１）と、特徴点セット毎に、評価用画像に対して認識タスクを実行した時における認識誤差を算出する認識誤差算出手段（例えば、認識タスク実行手段５２，６２）と、特徴点セット選択手段が選択した特徴点セットのうち認識誤差が最小となる特徴点セットを選択する特徴点選択手段（例えば特徴点選択手段５３，６３）とを有する構成が開示されている。
【０２５３】
また、上記の実施形態には、学習により得られた判定用データを用いて、評価用画像の各局所領域に対して特徴点に該当するか否かを判定することにより評価用画像上の特徴点の位置を特定し、特定した特徴点の位置と、３次元形状モデル上で指定された特徴点に応じ計算された評価用画像上の正しい特徴点の位置との誤差を計算する特徴点誤差計算手段を備え、認識誤差算出手段が、特徴点誤差計算手段が計算した誤差を利用して認識誤差を算出する構成が開示されている。
【０２５４】
また、上記の実施形態には、特徴点セット選択手段が、特徴点セットに含める特徴点数を減らしつつ、定めた特徴点数の特徴点を含む各特徴点セットを選択し、認識誤差算出手段が、特徴点数が順次定められたときに、その特徴点数の特徴点を含む特徴点セット毎に評価用画像に対して認識タスクを実行した時における認識誤差を算出し、特徴点セット選択手段が、特徴点セットに含める特徴点数が所定数まで減少したとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差の、その特徴点数に減らす前の特徴点セットにおける認識誤差からの増加量が閾値以上になったとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差が閾値以上になったときに特徴点数を減らすことを停止し、特徴点選択手段が、特徴点数を減らすことを停止したときの特徴点数における認識誤差が最小となる特徴点セットを、特徴点セット選択手段が選択した特徴点セットの中から選択する構成が開示されている。
【０２５５】
また、上記の実施形態には、特徴点セット選択手段が、特徴点セットに含める特徴点数を増やしつつ、定めた特徴点数の特徴点を含む各特徴点セットを選択し、認識誤差算出手段が、特徴点数が順次定められたときに、その特徴点数の特徴点を含む特徴点セット毎に評価用画像に対して認識タスクを実行した時における認識誤差を算出し、特徴点セット選択手段が、特徴点セットに含める特徴点数が所定数まで増加したとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差の、その特徴点数に増やす前の特徴点セットにおける認識誤差に対する減少量が閾値以下になったとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差が閾値以下になったときに特徴点数を増やすことを停止し、特徴点選択手段が、特徴点数を増やすことを停止したときの特徴点数における認識誤差が最小となる特徴点セットを、特徴点セット選択手段が選択した特徴点セットの中から選択する構成が開示されている。
【０２５６】
また、上記の実施形態には、認識誤差算出手段が、個体の姿勢推定を行う認識タスクにおいて、更新前の特徴点数について計算した姿勢推定の認識誤差および姿勢パラメータ、およびそれらの微分値を用いて、特徴点数を更新したときの認識誤差を近似的に計算する構成が開示されている。
【０２５７】
また、上記の実施形態には、特徴点セット選択手段が、所定数の特徴点を含む特徴点セットをそれぞれ選択し、認識誤差算出手段が、特徴点セット毎に認識誤差を算出し、特徴点選択手段が、認識誤差が最小となる特徴点セットを選択する構成が開示されている。
【０２５８】
また、上記の実施形態には、選択手段９３が、学習により得られた判定用データを用いて、評価用画像の各局所領域に対して特徴点に該当するか否かを判定することにより評価用画像上の特徴点の位置を特定し、特定した特徴点の位置と、３次元形状モデル上で指定された特徴点に応じ計算された評価用画像上の正しい特徴点の位置との誤差を計算する特徴点誤差計算手段（例えば、特徴点抽出器評価手段４６）と、指定された特徴点の中から、その誤差が小さい順に所定数の特徴点を選択する特徴点選択手段（例えば特徴点選択手段４７）とを有する構成が開示されている。
【０２５９】
また、上記の実施形態には、学習評価用データ生成手段９１が、複数の個体の３次元形状モデルにおいて類似しているとして対応付けられている複数の特徴点を指定される構成が開示されている。
【０２６０】
また、上記の実施形態には、学習評価用データ生成手段９１に対して、３次元形状モデル上の複数の特徴点を指定する特徴点指定手段（例えば、特徴点生成手段１）を備え、特徴点指定手段が、３次元形状モデルに対して条件（例えば、個体の姿勢や照明の当たり方等）を変化させて得られる複数の画像を生成する画像群生成手段（例えば、学習画像群生成手段２）と、特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値（例えば、式（１）の右辺第２項）と、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値（例えば、式（１）の右辺第３項）とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値（例えば、評価値Ｑ）を計算する評価手段（例えば、評価手段４，４ａ）と、評価手段が計算する評価値が最小となるように３次元形状モデル上の特徴点群を配置する特徴点配置手段（例えば、特徴点配置手段３）とを有する構成が開示されている。そのような構成により、好ましい特徴点群を指定して、その中から特徴点を選択させることができる。
【０２６１】
また、上記の実施形態には、評価手段が、第２の評価値として、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される値を用いる構成が開示されている。
【０２６２】
また、上記の実施形態には、評価手段が、条件の異なるそれぞれの画像間での、画像内の特徴点における局所パターンの類似度が大きいほど小さな値として計算される第３の評価値（例えば、式（１）の右辺第４項）を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する構成が開示されている。
【０２６３】
また、上記の実施形態には、画像群生成手段が、複数の個体の３次元形状モデルに対して条件を変化させて得られる画像を生成し、評価手段が、各個体の３次元形状モデルを同一座標系で重ねた場合の個体同士の特徴点が近いほど小さな値となる第４の評価値（例えば、式（１）の右辺第１項）を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する構成が開示されている。
【産業上の利用可能性】
【０２６４】
本発明は、個体の姿勢推定や個体識別等の認識タスクを行う装置等で用いられる３次元形状モデル上の特徴点を決定するシステムとして好適に利用できる。
【符号の説明】
【０２６５】
４１ 特抽学習・評価データ生成手段
４２ 学習データ生成手段
４３ 学習パターン生成手段
４４ 評価データ生成手段
４５ 特徴点抽出器学習手段
４６ 特徴点抽出器評価手段
４７ 特徴点選択手段
５１，６１ 特徴点セット選択手段
５２，６２ 認識タスク実行手段
５３，６３ 特徴点選択手段
【技術分野】
【０００１】
本発明は、３次元形状モデル上の複数の特徴点の中から好ましい特徴点を選択する特徴点選択システム、特徴点選択方法、特徴点選択プログラム、およびその特徴点選択システムを利用した画像認識システム、画像認識方法、画像認識プログラムに関する。
【背景技術】
【０００２】
画像に示された物体やその物体の状態を認識する処理を認識タスクと呼ぶ。認識タスクの例として、個体（例えば人の顔）の画像から、その個体の向き（以下、姿勢と記す。）を推定したり、その個体を識別したりする処理が挙げられる。物体の姿勢推定を例にして認識タスクの例を示す。まず、予め物体の３次元形状モデルにおける特徴点の３次元位置を記憶しておく。一般に、システム稼働後に認識対象の個体が新たに登録されるシステムにおいて、特徴点位置は全個体で共通とされる。特徴点の記憶後、認識対象の画像（本例では、姿勢推定しようとする物体が表された画像）から、特徴点の位置を検出し、予め記憶していた特徴点の３次元位置と対応付ける。そして、認識対象画像における特徴点の位置と、３次元形状モデル上における特徴点の位置との対応関係から物体の姿勢推定を行う。この対応関係から物体の姿勢を推定する方法は、透視ｎ点問題の解法として知られている。
【０００３】
上記のような処理において、予め記憶される３次元形状モデル上の特徴点は、予め認識対象物体の一部であり画像の中で位置を特定することが容易であること、および、認識タスクにおいてその部位の位置が重要であると考えられることを考慮して人手で定められていた。人手による特徴点決定について、より詳細に説明する。指定推定等の認識アルゴリズムは、一般に用いる特徴点の数が多いほど認識性能を向上できる。しかし、多数の特徴点を用いると認識タスクの計算量が多くなる。さらに、認識対象画像から特徴点を抽出するための計算量も増大する。そのため、特徴点の数を絞り込むことが実用上重要である。少数の特徴点で認識タスクにおける認識性能を向上させるためには、以下のような条件を満たす特徴点を決めておく必要がある。第１条件として、認識タスクにおいて重要な特徴点であること（換言すれば、精度に与える影響が大きいこと）が必要である。さらに、第２条件として、画像から特徴点として精度良く抽出できることが必要である。一般的に、第１条件および第２条件を両方とも満たす特徴点が３次元形状モデル上の点から人手で決められている。
【０００４】
３次元モデル上の特徴点を自動的に決定する手法としては、例えば、非特許文献１に、エントロピーに基づいて特徴点を生成する方法が記載されている。しかしながら、上記の第１条件・第２条件を考慮し、認識タスクにとって有用な少数の特徴点に絞り込むことができなかった。そのため、認識タスクに使用する特徴点の定義は人手によって決定されていた。
【０００５】
また、認識対象画像からの特徴点抽出は、認識対象画像から各部分をそれぞれ切り出し、予め学習しておいた判定用パターンと比較し、最も特徴点らしいと判定された位置を特徴点位置と決定することにより行う。非特許文献２には、画像間の対応点を求めるために必要な特徴点を、ＳＩＦＴ（Scale-Invariant Feature Transform ）アルゴリズムによって抽出する技術が記載されている。ＳＩＦＴアルゴリズムは、多重解像度解析による塊検出と、濃淡勾配のヒストグラムを利用した画像間の対応付けを可能とする。ＳＩＦＴアルゴリズムでは、特徴点の特徴量も算出する。予め学習において与えられた判定用パターンの特徴量を記憶しておき、認識対象の画像から抽出された特徴点の特徴量と比較することで、特徴点かどうかの判定を行い、その位置を抽出することができる。また、この判定を行う技術として、多くのパターン識別法を利用することもできる。その一例として、一般化学習ベクトル量子化（ＧＬＶＱ：Generalized Learning Vector Quantization）を用いることが非特許文献３に記載されている。非特許文献３では顔のパターン検出を行っているが、パターンを顔から特徴点に置き換えれば特徴点の検出を行うことができる。また、機械学習の手法としてＳＶＭ（Support Vector Machine）も知られている。
【０００６】
認識対象画像上に表される特徴点の見え方は、物体の姿勢や照明条件によって変化する。画像から切り出された部分が特徴点に該当するか否かを正しく判断するためには、判定用パターンを学習しておく必要がある。そのため、様々な条件で物体の学習用画像を多数撮影しておき、その多数の学習用画像それぞれにおいて正しい特徴点の位置を人手で入力して判定用パターンを学習させていた。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Joshua Cates, Miriah Meyer, P.Thomas Fletcher, Ross Whitaker, ”Entropy-Based Particle Systems for Shape Correspondence”,Proceedings of the MICCAI,２００６年
【非特許文献２】藤吉弘亘、「Ｇｒａｄｉｅｎｔベースの特徴抽出 −ＳＩＦＴとＨＯＧ−」、情報処理学会研究報告 ＣＶＩＭ１６０、pp.211-224、２００７年
【非特許文献３】細井利憲、鈴木哲明、佐藤敦、「一般化学習ベクトル量子化による顔検出」、Technical report of IEICE. PRMU，Vol.102,No.651(20030213),pp.47-52
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の第１条件における重要度や第２条件における特徴点抽出の精度は、認識対象物体の種類（形状や見え方）、画像から特徴点を抽出する方法の特性、認識タスク（姿勢推定や個体識別等）に用いる手法の特性、認識対象画像の撮影条件等の様々な要因に依存する。そのため、認識タスクを行うシステムを作り上げて可動させるまで、第１条件における重要度や第２条件における特徴点抽出の精度は定量化することが難しかった。そのため、そのような重要度や精度をシステム開発者が主観的に見積もっていた。従って、熟達した開発者でなければ、３次元形状モデル上から、上記の第１条件および第２条件を満たす適切な特徴点を選択することが困難であり、認識タスクのアルゴリズム自体が持つ最大限の認識性能を得ることが困難であった。
【０００９】
そこで、本発明は、認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる特徴点選択システム、特徴点選択方法および特徴点選択プログラムを提供することを目的とする。また、その特徴点選択システムを利用し、精度良く認識タスクを行える画像認識システム、画像認識方法および画像認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明による特徴点選択システムは、３次元形状モデルおよびその３次元形状モデル上の複数の特徴点が指定されると、３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成する学習評価用データ生成手段と、学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習する学習手段と、学習により得られた判定用データを用いて評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する選択手段とを備えることを特徴とする。
【００１１】
また、本発明による特徴点選択方法は、３次元形状モデルおよびその３次元形状モデル上の複数の特徴点が指定されると、３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成し、学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習し、学習により得られた判定用データを用いて評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択することを特徴とする。
【００１２】
また、本発明による特徴点選択プログラムは、コンピュータに、３次元形状モデルおよびその３次元形状モデル上の複数の特徴点が指定されると、３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成する学習評価用データ生成処理、学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習する学習処理、および、学習により得られた判定用データを用いて評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する選択処理を実行させることを特徴とする。
【００１３】
また、本発明による画像認識システムは、上記の特徴点選択システムが選択した特徴点の配置を用いて、認識対象画像に対する認識タスクを実行する認識タスク実行手段を備えることを特徴とする。
【００１４】
また、本発明による画像認識方法は、上記の特徴点選択システムが選択した特徴点の配置を用いて、認識対象画像に対する認識タスクを実行することを特徴とする。
【００１５】
また、本発明による画像認識プログラムは、コンピュータに、上記の特徴点選択システムが選択した特徴点の配置を用いて、認識対象画像に対する認識タスクを実行する認識タスク実行処理を実行させることを特徴とする。
【発明の効果】
【００１６】
本発明の特徴点選択システム、方法およびプログラムによれば、認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる。また、本発明の画像認識システム、方法およびプログラムによれば、精度よく認識タスクを実行することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態の特徴点選択システムの例を示すブロック図である。
【図２】第１の実施形態の処理経過の例を示すフローチャートである。
【図３】本発明の第２の実施形態の特徴点選択システムの例を示すブロック図である。
【図４】第２の実施形態の処理経過の例を示すフローチャートである。
【図５】認識タスクの総実行時間と認識誤差との関係を示す説明図である。
【図６】本発明の第３の実施形態の特徴点選択システムの例を示すブロック図である。
【図７】第３の実施形態の処理経過の例を示すフローチャートである。
【図８】特徴点セットに含める特徴点の数と認識誤差との関係を示す説明図である。
【図９】本発明の第４の実施形態の特徴点選択システムの例を示すブロック図である。
【図１０】特徴点生成手段の例を示すブロック図である。
【図１１】学習画像群生成手段に入力される３Ｄ形状モデルを模式的に示す説明図である。
【図１２】生成された画像の例を示す説明図である。
【図１３】３Ｄ形状モデル上の特徴点の初期位置およびその特徴点に対応する学習画像上の特徴点の例を示す説明図である。
【図１４】対称の例を示す説明図である。
【図１５】特徴点生成手段の動作の例を示すフローチャートである。
【図１６】第４の実施形態の変形例を示すブロック図である。
【図１７】第４の実施形態の変形例における特徴点生成手段の処理経過の例を示すフローチャートである。
【図１８】本発明の画像認識システムの構成例を示すブロック図である。
【図１９】本発明の最小構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図面を参照して説明する。
【００１９】
実施形態１．
図１は、本発明の第１の実施形態の特徴点選択システムの例を示すブロック図である。第１の実施形態の特徴点選択システムは、特徴点抽出学習・評価データ生成手段４１（以下、特抽学習・評価データ生成手段４１と記す。）と、特徴点抽出器学習手段４５と、特徴点抽出器評価手段４６と、特徴点選択手段４７とを備える。また、特抽学習・評価データ生成手段４１は、学習データ生成手段４２と、学習パターン生成手段４３と、評価データ生成手段４４とを有する。本実施形態の特徴点選択システムは、各種認識タスクで利用される３Ｄ形状モデル（３次元形状モデル）の複数の特徴点が指定されると、その中から、認識タスクにおける認識誤差が少ない特徴点を選択する。また、特徴点選択システムには、選択の候補となる複数の特徴点の他に、認識タスクで認識対象画像から特徴点を含むようにして切り出される局所領域（テンプレートと称されることもある）の大きさも指定される。ここでは、テンプレートが正方形である場合を例にして説明するが、テンプレートが長方形である場合には、テンプレートのアスペクト比（テンプレートとなる長方形の縦の長さに対する横の長さの倍率）が入力されてもよい。
【００２０】
特抽学習・評価データ生成手段４１は、３Ｄ形状モデルと、その３Ｄ形状モデル上の複数の特徴点を指定する情報と、認識タスクで用いられるテンプレートの大きさとが入力される。また、テンプレートの大きさをテンプレートサイズと記す。３Ｄ形状モデルにはテクスチャが貼り付けられているものとする。入力された情報で指定される特徴点は、選択される特徴点の候補である。特抽学習・評価データ生成手段４１は、入力された３Ｄ形状モデルの姿勢（向き）や、３Ｄ形状モデルに対する照明の位置等を様々に変更した画像（学習データおよび評価データ）をＣＧ（Computer Graphics ）画像として生成する。
【００２１】
ここで、特徴点抽出器と、学習データおよび評価データとについて説明する。特徴点抽出器は、あるパターンが入力されたときにそのパターンが特徴点であるか否かを判定する。また、特徴点抽出器は、そのような判定を行うための内部データを予め学習しておく。特徴点抽出器には様々なパターン識別法や特徴点抽出演算子を利用可能である。一例として、非特許文献２に記載のＳＩＦＴ特徴量を用いることができる。この場合、学習データの特徴点に該当する位置に対してＳＩＦＴ特徴抽出演算子を適用し、ＳＩＦＴ特徴量を抽出する。そして、そのＳＩＦＴ特徴量を内部データとして記憶しておく。認識タスク等において、ある認識対象となる画像が入力されると、その画像からＳＩＦＴ特徴量を抽出し、内部データと比較することにより、そのテンプレートが特徴点に該当するか否かを判定する。また、別の方法として、非特許文献３に記載のＧＬＶＱのようなパターン識別法を用いることもできる。本実施形態では、これらの方法について詳しく説明する。学習においては、特徴点に該当するテンプレートと、特徴点に該当しないテンプレートをそれぞれ複数入力され、そのテンプレートから内部データを生成する。そして、特徴点抽出器は、認識タスク等において、あるテンプレートが入力されると、内部データと比較することにより、そのテンプレートが特徴点に該当するか否かを判定する。特徴点抽出器が内部データを学習するためのテンプレートを切り出すために用いられる画像を学習データと記す。また、内部データ学習後の特徴点抽出器が入力されたテンプレートに対する判定を適切に行うか否かを評価するために用意される画像を評価データと記す。
【００２２】
特抽学習・評価データ生成手段４１の学習データ生成手段４２は、上記の学習データを生成する。また、特抽学習・評価データ生成手段４１の評価データ生成手段４４は、上記の評価データを生成する。学習データ生成手段４２および評価データ生成手段４４は、いずれも、３Ｄ形状モデルの姿勢（向き）や、３Ｄ形状モデルに対する照明の位置等を様々に変更した画像をＣＧ（Computer Graphics ）画像として生成する。ただし、３Ｄ形状モデルの姿勢（向き）や３Ｄ形状モデルに対する照明の位置等の条件は、学習データ生成時と評価データ生成時で異なるようにする。学習データ生成手段４２および評価データ生成手段４４は、画像生成時の条件が異なる点を除き、同様の処理を行ってそれぞれＣＧ画像（学習データ、評価データ）を生成する。学習データや評価データは複数生成されてもよい。
【００２３】
また、学習データ生成手段４２は、入力された情報によって指定される特徴点に対応する特徴点を学習データ中から特定する。すなわち、指定される特徴点に対応する学習データ上の特徴点の位置を計算する。同様に、評価データ生成手段４４は、入力された情報によって指定される特徴点に対応する特徴点を評価データ中から特定する。
【００２４】
特抽学習・評価データ生成手段４１の学習パターン生成手段４３は、学習データから、特徴点に該当するテンプレートと、特徴点に該当しないテンプレートを複数切り出す。特徴点に該当するテンプレートとして、学習データにおける特徴点やその近辺の点を中心とし、テンプレートサイズによって決まるテンプレートを学習データから複数切り出せばよい。また、特徴点に該当しないテンプレートとして、その特徴点の周囲の点を中心とするテンプレートであって特徴点を含まないテンプレートを学習データから複数切り出せばよい。このとき、学習データ中の特徴点として、学習データ生成手段４２が特定した特徴点を用いればよい。
【００２５】
特抽点抽出器学習手段４５は、特徴点抽出器の内部データを学習する。すなわち、与えられるパターンが特徴点であるか否かを判定するための特徴点抽出器の内部データを生成する。特抽点抽出器学習手段４５は、特徴点に該当する複数のテンプレートおよび特徴点に該当しない複数のテンプレートを参照して内部データを学習する。
【００２６】
特徴点抽出器評価手段４６は、評価データ生成手段４４に生成された評価データからテンプレートを順次切り出し、テンプレートと内部データとを比較して、そのテンプレートが特徴点に該当するか否かを判定する。この判定により、評価データにおけるどの部分が特徴点であるかを判定する。また、評価データ生成手段４４は、入力された情報によって指定される特徴点に対応する評価データ中の特徴点を特定している。この特徴点の位置は、特徴点の正しい位置を意味する。特徴点抽出器評価手段４６は、評価データから切り出したテンプレートが特徴点であるか否かを判定することによって求めた特徴点の位置が、正しい特徴点の位置からどの程度離れているかを算出する。評価データから切り出したテンプレートに基づいて求めた特徴点の位置と正しい特徴点の位置との差を、特徴点抽出誤差と記す。
【００２７】
学習パターン生成手段４３が内部データを学習する処理、および、特徴点抽出器評価手段４６がテンプレートと内部データとを比較してテンプレートが特徴点に該当するか否かを判定する処理は、特徴点抽出器としての動作である。特徴点抽出器学習手段４５および特徴点抽出器評価手段４６は、例えば、認識タスクにおいて用いられる特徴点抽出器として動作するコンピュータのＣＰＵによって実現される。
【００２８】
特徴点選択手段４７は、入力された情報において指定された複数の特徴点の中から、特徴点抽出誤差が少ない順に、所定個の特徴点を選択する。
【００２９】
特抽学習・評価データ生成手段４１（学習データ生成手段４２、学習パターン生成手段４３、評価データ生成手段４４）、特徴点抽出器学習手段４５、特徴点抽出器評価手段４６、および特徴点選択手段４７は、例えば、特徴点選択プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが、特徴点選択システムの記憶装置（図示せず）から特徴点選択プログラムを読み込み、そのプログラムに従って、上記の各手段として動作してもよい。あるいは、各手段がそれぞれ別々の専用回路によって実現されていてもよい。
【００３０】
次に、動作について説明する。図２は、第１の実施形態の処理経過の例を示すフローチャートである。特抽学習・評価データ生成手段４１に３Ｄ形状モデルと、その３Ｄ形状モデル上の複数の特徴点を指定する情報と、テンプレートサイズが入力されると、学習データ生成手段４２は、その３Ｄ形状モデルの姿勢や、３Ｄ形状モデルに対する照明の位置を様々に変化させた複数の画像をＣＧ画像として生成することにより、複数の学習データを生成する（ステップＳ１１）。ステップＳ１１で生成する複数の画像が学習データ群である。また、ステップＳ１１で入力される３Ｄ形状モデルは、一つの個体の３Ｄ形状モデルあっても、複数の個体の３Ｄ形状モデルであってもよい。例えば、一人の人物の顔の３Ｄ形状モデルが入力されても、複数の人物の顔の３Ｄ形状モデルが入力されてもよい。また、ここでは、顔の３Ｄ形状モデルを例示したが、３Ｄ形状モデルは顔以外のモデルであってもよい。なお、入力された情報によって指定される特徴点の数は、例えば１００００個以上等のように多数であってもよい。また、このような特徴点として、例えば、エッジが強く現れている点等を指定すればよい。
【００３１】
次に、学習データ生成手段４２は、入力された情報によって指定される各特徴点に対応する学習データ中の各特徴点を特定する（ステップＳ１２）。続いて、学習パターン生成手段４３が、学習データ群から、特徴点に該当するテンプレートおよび特徴点に該当しないテンプレートをそれぞれ複数切り出す（ステップＳ１３）。学習パターン生成手段４３は、ステップＳ１２で特定された各特徴点およびその近辺の点を中心とするテンプレートを、特徴点に該当するテンプレートとして切り出す。また、ステップＳ１２で特定された各特徴点の周囲の点を中心とし特徴点を含まないテンプレートを、特徴点に該当しないテンプレートとして切り出す。いずれのテンプレートの大きさも、テンプレートサイズによって指定された大きさである。
【００３２】
次に、特徴点抽出器学習手段４５は、ステップＳ１３で切り出された「特徴点に該当する複数のテンプレート」および「特著点に該当しない複数のテンプレート」を参照して、特徴点毎に、特徴点抽出器の内部データを学習する（ステップＳ１４）。
【００３３】
また、評価データ生成手段４４は、特抽学習・評価データ生成手段４１に入力された３Ｄ形状モデルの姿勢や、３Ｄ形状モデルに対する照明の位置を様々に変化させた複数の画像をＣＧ画像として生成することにより、複数の評価データを生成する（ステップＳ１５）。ステップＳ１４で生成する複数の画像が評価データ群である。ステップＳ１５では、３Ｄ形状モデルの姿勢や、照明位置の条件を学習データ生成時（ステップＳ１１）とは変えて評価データを生成する。また、評価データ生成手段４４は、ステップＳ１１で入力された情報によって指定される３Ｄ形状モデル上の各特徴点に対応する評価データ内の特徴点を特定する。この特徴点位置を正しい特徴点位置と記す。
【００３４】
評価データ群生成後、特徴点抽出器評価手段４６は、特徴点抽出誤差を算出する（ステップＳ１６）。具体的には、評価データ群からテンプレートサイズのテンプレートを順次切り出す。そして、特徴点抽出器評価手段４６は、評価データから切り出した各テンプレートとステップＳ１４で学習した内部データとを比較し、各点プレートが特徴点に該当するか否かを判定する。そして、その判定結果により、評価データにおけるどの位置が特徴点であるかを判定する。この判定によって得た特徴点位置を、評価結果による特徴点位置と記す。特徴点抽出器評価手段４６は、特徴点毎に、正しい特徴点位置と、評価結果による特徴点位置との距離を特徴点抽出誤差として計算する。
【００３５】
次に、特徴点選択手段４７は、ステップＳ１１で入力された情報において指定された複数の特徴点の中から、特徴点抽出誤差が少ない順に、所定個の特徴点を選択する（ステップＳ１７）。特徴点選択手段４７は、選択した特徴点を、認識タスクに適した特徴点として出力する。選択する特徴点の数は、予め所望の数を定めておけばよい。
【００３６】
特徴点抽出器評価手段４６および特徴点選択手段４７は、入力された情報において指定された複数の特徴点群の中から認識タスクに適した特徴点群を選択する選択手段であるということができる。
【００３７】
本実施形態によれば、３Ｄ形状モデルから生成した学習データから切り出したテンプレートに基づいて、３Ｄ形状モデル上の指定された各特徴点についての内部データ（特徴点抽出器の内部データ）を学習する。そして、３Ｄ形状モデルから生成した評価データを用いて、その内部データによる特徴点判定を行い、特徴点の位置（評価結果による特徴点位置）を判定する。そして、実際に指定された特徴点に応じた評価データ内の特徴点位置（正しい特徴点位置）との誤差を計算することで、特徴点抽出誤差を計算する。特徴点抽出誤差が小さければ、内部データを用いて特徴点であるか否かを認識タスク実行時に行うときにも認識誤差が少なく、精度よく特徴点であるか否かを判定できる。よって、ステップＳ１７で、特徴点抽出誤差が少ない順に所定個の特徴点を選択することによって、精度よく認識タスクを実行することができる特徴点を得ることができる。
【００３８】
また、特徴点抽出誤差が小さい特徴点を選択するので、認識タスクにおける特徴点抽出アルゴリズムにも合う適切な特徴点を選ぶことができる。
【００３９】
また、一般に、システム稼働後に認識対象の個体が新たに登録されるシステムにおいて、特徴点位置は全個体で共通とされていたが、本実施形態では、個体毎に適した特徴点を選択することができる。一般的なシステムでは、個体毎に特徴点抽出器の内部データを学習するためには、事前に個体毎の特徴点を決めておかなければならなかったため、認識対象となる個々の個体毎に好ましい特徴点を定めるために、事前に特徴点を定める必要が生じてしまう。すなわち、目的とする事項そのものが事前に必要となってしまう。そのため、個体毎に好ましい特徴点を選択することや、個体毎に特化した特徴点抽出器の学習は行えなかった。それに対し、本発明では、一つの個体の３Ｄ形状モデルおよびその３Ｄ形状モデル上の複数の特徴点を指定すれば、その３Ｄ形状モデルから学習データおよび評価データを作成し、学習データに基づいて特徴点抽出器の内部データの学習を行うことができる。そして、評価データを用いて、個々の特徴点が適切であるか否かを特徴点抽出誤差に基づいて評価し、一つの個体に関して、適切な特徴点を選択することができる。また、その特徴点の内部データは学習できている。よって、本発明によれば、個体毎に、適切な特徴点を選択したり、特徴点抽出器の学習を行ったりすることができる。例えば、ある人物に固有の黒子を特徴点とすれば、その人物の姿勢推定や個体識別（顔識別）の精度を高められると考えられるが、本発明によればそのような個体固有の特徴点を、好ましい特徴点として選択することができる。
【００４０】
また、複数の個体の３Ｄ形状モデルやその３Ｄ形状モデル上における複数の特徴点を指定することによって、個体に特化した特徴点ではなく、複数の個体において好ましい特徴点を選択したり、特徴点抽出器の学習を行ったりすることもできる。この場合、例えば、各個体間で類似しているものとして対応付けられている特徴点を指定して、本発明の動作を実行させればよい。
【００４１】
また、個体毎に特徴点を選択する処理を行い、個体毎の特徴点のうち、共通の特徴点（個体間で類似する特徴点）を選択してもよい。また、各個体で類似する特徴点を指定しておき、その特徴点により特徴点抽出器の内部データを学習させ、評価データを用いた評価は、個体毎に個別に行うこととしてもよい。この点は、後述の第２の実施形態、第３の実施形態でも同様である。
【００４２】
なお、認識タスクの例として、姿勢推定や個体識別を例示したが、認識タスクはこれらの処理に限定されない。例えば、顔画像に対する表情認識処理や年齢推定処理であってもよい。
【００４３】
実施形態２．
図３は、本発明の第２の実施形態の特徴点選択システムの例を示すブロック図である。第１の実施形態と同様の構成要素は、図１と同一の符号を付し、説明を省略する。第２の実施形態の特徴点選択システムは、特徴点抽出学習・評価データ生成手段４１と、特徴点抽出器学習手段４５と、特徴点セット選択手段５１と、認識タスク実行手段５２と、特徴点選択手段５３とを備える。特徴点抽出学習・評価データ生成手段４１は、学習データ生成手段４２と、学習パターン生成手段４３と、評価データ生成手段４４とを有する。
【００４４】
特徴点セット選択手段５１は、入力された情報で指定される３Ｄ形状モデル上の複数の特徴点の中から、所定数の特徴点を選択する。この所定数は、ユーザの所望の特徴点の数として予め定めておく。入力された情報で指定された複数の特徴点の中から選択される複数の特徴点を特徴点セットと記す。特徴点セット選択手段５１は、特徴点セットを一組だけでなく、選び得る各通り選択する。
【００４５】
認識タスク実行手段５２は、特徴点セット選択手段５１が定めた特徴点セット毎に、その特徴点セットを特徴点とし、評価データ生成手段４４が生成した評価データを用いて、認識タスクを実行する。認識タスクの種類は特に限定されず、例えば、姿勢推定を行っても、あるいは、顔識別等の個体識別を行ってもよい。あるいは、表情推定や年齢推定等を行ってもよい。これらの認識タスクを行う際には、認識タスク実行手段５２は、評価データから切り出したテンプレートが、特徴点セットに属する特徴点に該当するか否かについても判定する。このとき、認識タスク実行手段５２は、特徴点抽出器学習手段４５が学習した特徴点抽出器の内部データと、テンプレートとを比較して判定を行う。
【００４６】
認識タスク実行手段５２は、例えば、認識タスクを実行するコンピュータのＣＰＵによって実現される。また、学習パターン生成手段４３が内部データを学習する処理、および、認識タスク実行手段５２がテンプレートと内部データとを比較してテンプレートが特徴点に該当するか否かを判定する処理は、特徴点抽出器としての動作である。特徴点抽出器学習手段４５および認識タスク実行手段５２は、例えば、認識タスクにおいて用いられる特徴点抽出器として動作するコンピュータのＣＰＵによって実現される。
【００４７】
また、認識タスク実行手段５２は、特徴点セットを用いて認識タスクを行う毎に、その認識タスクの認識結果で生じた認識誤差を求める処理も行う。認識誤差は、認識タスクで得られた認識結果と、正解との差である。例えば、認識タスクが姿勢推定であるとすると、認識タスク実行手段５２は、評価データに対して特徴点セットを用いて姿勢推定を行った結果得た向きと正解となる姿勢の差を認識誤差として計算すればよい。また、認識タスクとして顔識別を行う場合、複数の人物について３Ｄ形状モデルおよびその３Ｄ形状モデル上の複数の特徴点を指定する情報を入力しておき、各人物の評価データを作成しておく。そして、その評価データに対して特徴点セットを用いて顔認識を行った結果、顔認識に失敗した人物の割合を認識誤差として計算してもよい。
【００４８】
特徴点選択手段５３は、特徴点セット選択手段５１が定めた各特徴点セットの中から、認識誤差が最小となる特徴点セットを選択する。
【００４９】
特抽学習・評価データ生成手段４１（学習データ生成手段４２、学習パターン生成手段４３、評価データ生成手段４４）、特徴点抽出器学習手段４５、特徴点セット選択手段５１、認識タスク実行手段５２、特徴点選択手段５３は、例えば、特徴点選択プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが、特徴点選択システムの記憶装置（図示せず）から特徴点選択プログラムを読み込み、そのプログラムに従って、上記の各手段として動作してもよい。あるいは、各手段がそれぞれ別々の専用回路によって実現されていてもよい。
【００５０】
図４は、第２の実施形態の処理経過の例を示すフローチャートである。第１の実施形態と同様の処理については、図２と同一の符号を付し説明を省略する。ステップＳ１１〜Ｓ１５の動作は第１の実施形態と同様である。ステップＳ１５までの処理を行った後、以下の処理を行う。まず、特徴点セット選択手段５１が、ステップＳ１で入力された情報で指定された複数の特徴点の中から所定個の特徴点を特徴点セットとして選択する（ステップＳ２１）。
【００５１】
次に、認識タスク実行手段５２が、その特徴点セットに属する各特徴点を用いて、ステップＳ１５で生成された評価データに対して認識タスクを実行する（ステップＳ２２）。認識タスクの種類は、本発明による特徴点選択が確定した後に、その特徴点を用いて実行する認識タスクであればよい。例えば、姿勢推定、個体識別、表情推定、年齢推定等が挙げられるが、他の認識タスクを行ってもよい。認識タスクの処理過程において、評価データから得られるテンプレートと、ステップＳ１４で学習された特徴点抽出器の内部データとにより、そのテンプレートが特徴点に該当するか否かを判定する。認識タスクの処理の例については後述する。
【００５２】
また、認識タスク実行手段５２は、認識タスクを実行するとともに、ステップＳ２１で選択された特徴点セットについて認識誤差も計算する。
【００５３】
続いて、特徴点セット選択手段５１は、入力された情報で指定された複数の特徴点から特徴点セットとして選択されていない特徴点の組み合わせがあるか否かを判定する（ステップＳ２３）。未選択の特徴点セットがあれば（ステップＳ２３におけるＹｅｓ）、ステップＳ２１〜Ｓ２３の処理を繰り返す。このときステップＳ２１では、未選択の特徴点セットを選択する。
【００５４】
特徴点セットとして選択されていない特徴点の組み合わせがなければ（ステップＳ２３におけるＮｏ）、特徴点選択手段５３は、認識誤差が最小となる特徴点セットを選択し、出力する（ステップＳ２４）。ステップＳ２４で選択された特徴点セット（所定個の特徴点）の認識誤差が最小となっているので、その特徴点セットが認識タスクの認識アルゴリズムに適切な特徴点群である。
【００５５】
特徴点セット選択手段５１、認識タスク実行手段５２および特徴点選択手段５３は、入力された情報において指定された複数の特徴点群の中から認識タスクに適した特徴点群を選択する選択手段であるということができる。
【００５６】
次に、ステップＳ２２において、認識タスク実行手段５２が実行する認識タスクの実行例を説明する。ここでは、認識タスクとして姿勢推定を行う場合を例にして説明する。姿勢推定は、「画像から抽出された特徴点の位置」と「３Ｄ形状モデル上の特徴点から計算される、ある姿勢における画像上の特徴点の位置」との間の誤差（再投影誤差）が最小となるとなるような姿勢を計算する処理である。再投影誤差をεａとすると、再投影誤差εａは、以下に示す式（１）で表される。
【００５７】
【数１】
【００５８】
式（１）において、ｘｉは特徴点抽出器の学習済みの内部データを用いて画像（評価データ）から抽出された特徴点の位置である。また、Ｘｉはその特徴点に対応する３Ｄ形状モデル上の特徴点の位置である。また、透視カメラモデルＰｐを以下の式（２）のように定義すると、式（１）におけるｐ１，ｐ２，ｐ３は、Ｐｐ＝［ｐ１ ｐ２ ｐ３］Ｔとなる値である。ｐ１，ｐ２，ｐ３から姿勢を計算することができるので、εａが最小となるようなｐ１，ｐ２，ｐ３を求めることが姿勢推定であるということができる。
【００５９】
【数２】
【００６０】
ただし、Ａは、カメラの内部パラメータ行列であり、カメラの内部パラメータ行列として現実的な値に定めておけばよい。また、特徴点確定後に実際に画像を撮影して認識タスクを行いときに、その画像を撮影するカメラの内部パラメータ行列をＡとして用いてもよい。Ｍは、以下の式（３）で表される対象物体の姿勢パラメータ行列である。式（３）において、Ｒは対象の回転を表しており、Ｔは物体の３次元位置を表している。
【００６１】
【数３】
【００６２】
また、アフィンカメラモデルＰａを以下の式（４）のように定義する。
【００６３】
【数４】
【００６４】
このアフィン変換モデルＰａにより、３Ｄ形状モデル上の特徴点Ｘは画像上の特徴点ｘとして投影される。
【００６５】
【数５】
【００６６】
式（５）において、チルダを付したｘは、ｘの斉次表現である。式（５）ではベクトルの第３要素が常に一定であるため、Ｐａの上２行を持つ部分行列Ｐａ２を用いて、以下に示す式（６）のように表すことができる。
【００６７】
ｘ＝Ｐａ２Ｘ 式（６）
【００６８】
Ｐａ２は８の要素を持つため、４点以上の特徴点が与えられれば、Ｐａ２を最小二乗法で計算できる。また、求められたＰａ２から姿勢パラメータＭを計算することができる。認識タスク実行手段５２は、Ｘ（３Ｄ形状モデル上の特徴点の位置）およびｘ（評価データから抽出される特徴点の位置）および式（６）を用いて行列Ｐａ２を計算する。そして、そのＰａ２および式（４）とにより、姿勢パラメータ行列Ｍにおける回転Ｒおよび物体の３次元位置Ｔ）を求め、これを初期値とする。
【００６９】
また、式（２）に示す透視カメラモデルＰｐを用いて、３Ｄ形状モデル上の特徴点Ｘは画像上の特徴点ｘとして投影される。
【００７０】
【数６】
【００７１】
ここで、λは定数倍の不定性を表すスカラ量である。
【００７２】
認識タスク実行手段５２は、式（１）で表される再投影誤差εａを繰り返し法により最適化することで、姿勢推定を行う。ｊ回目の反復結果により得られる姿勢パラメータを用いて計算されるカメラ行列をＰＰｊとする。このとき、各姿勢パラメータの更新値を、Δφ，Δθ，Δψ，Δｔｘ，Δｔｙ，Δｔｚを用いて、以下の式（８）が成立する。認識タスク実行手段５２は、式（８）によりΔφ，Δθ，Δψ，Δｔｘ，Δｔｙ，Δｔｚを計算する。
【００７３】
【数７】
【００７４】
認識タスク実行手段５２は、３組以上の対応点組を用い、最小二乗法を用いて更新パラメータを求め、その更新パラメータを用いて、以下の式（９）によりカメラ行列を更新する。
【００７５】
【数８】
【００７６】
式（９）において、Ｐは各パラメータよりカメラ行列を計算する関数である。前述の初期値から更新パラメータが十分に小さくなるまで、認識タスク実行手段５２は、式（８）、式（９）の計算を繰り返すことにより、再投影誤差εａを最小にするような姿勢を表す投影行列Ｐｐ（換言すればｐ１，ｐ２，ｐ３）を求めればよい。このεａが認識誤差であり、ステップＳ２４において特徴点選択手段４７はεａを基準として、εａが最小となる特徴点セットを選択する。ただし、ステップＳ２４における選択基準はεａに限定されず、認識タスク実行手段５２は認識誤差としてεａ以外の値を計算してもよい。例えば、認識タスク実行手段５２は、認識誤差として、以下の式（１０）のε１を計算してもよい。
【００７７】
【数９】
【００７８】
式（１０）においてハット記号を付したＸは、Ｘの真値であり、Ｒ，Ｔは姿勢推定により得られた測定結果である。特徴点選択手段４７はステップＳ２５でε１が最小となる特徴点セットを選択してもよい。また、特徴点ｉに対する各項の積算を行う際に、特徴点ｉの特徴点抽出誤差を利用し、誤差の大きい特徴点の重みを小さくすることによって、認識性能を向上させることもできる。この場合、各項の重みとして、特徴点抽出誤差の分散の逆数を用いてもよい。このように特徴点抽出誤差を利用する場合には、特徴点選択システムは、第１の実施形態における特徴点抽出器評価手段４６（図６において図示せず。特徴点誤差計算手段に相当。）を備え、第１の実施形態と同様に、特徴点抽出誤差を算出すればよい。これにより、認識タスクにおける特徴点抽出アルゴリズムにも合う適切な特徴点を選ぶことができる。
【００７９】
本実施形態によれば、特徴点セット毎に実際に認識タスクを実行し、その結果得られる認識結果と正解との差（認識誤差）が最小となる特徴点セットを選ぶ。よって、実際に特徴点を用いて実行する認識タスクの認識アルゴリズムに適切な複数の特徴点を、指定された特徴点の中から選ぶことができる。
【００８０】
また、第１の実施形態と同様に、一つの個体の３Ｄ形状モデルおよびその３Ｄ形状モデル上の複数の特徴点を指定することによって、特定の個体にとって適切な特徴点を選択したり、特徴点抽出器の内部データを生成したりすることができる。
【００８１】
次に、第２の実施形態の変形例について説明する。実施形態２では、指定された特徴点の数がＮ個であり、一つの特徴点セットに属する特徴点の数がｍ個であるとすると、認識タスクの実行（ステップＳ２２）をＮＣｍ回行うこととなる。最終的にステップＳ２４で選択する適切な特徴点セットの精度を高めるためには、処理の開始時において指定する特徴点の数Ｎを大きくする必要があるが、認識タスクの実行時間が長くなってしまう。
【００８２】
そこで、認識タスクを含むステップＳ２１〜Ｓ２３のループ処理の実行時間が所望の時間になるようなループ処理の繰り返し数（Ｐとする）を定めておき、ステップＳ２１〜Ｓ２３のループ処理をＰ回実行した後に、特徴点選択手段５３がステップＳ２４を実行してもよい。この場合、特徴点セットはＰ回選択されるので、特徴点選択手段５３はそのＰ個の特徴点セットの中から認識誤差が最小の特徴点セットを選べばよい。
【００８３】
また、上記のループ処理繰り返し回数Ｐを以下のように決定してもよい。Ｐの値に応じた認識タスクの総実行時間と、認識誤差の関係は、図５のようになる。すなわち、Ｐの値を増やすと認識タスクの総実行時間が増えるが、実行時間の増加につれて認識誤差は減少し、ある程度まで減少すると認識誤差は収束する。従って、認識誤差が収束するときにおけるＰを定めておくことにより、処理時間をできるだけ短くしつつ、できるだけ認識誤差を少なくすることができる。このＰは、予め想定して決定してもよい。あるいは、特徴点選択システムが繰り返し数決定手段（図示せず）を備えていてもよい。この場合、特徴点選択システムがＰを変化させてそれぞれのＰについて図４のフローチャートを実行し、繰り返し数決定手段（図示せず）が、認識誤差が収束するときのＰを決定する。その後、特徴点を選択する処理を行うときにはステップＳ２１〜Ｓ２３のループ処理を決定された回数だけ実行すればよい。
【００８４】
また、特徴点セット選択手段５１は、予め定められた特徴点が固定的に特徴点セットの中に含まれるようにして、特徴点セットを選択してもよい。すなわち、一つの特徴点セットに属する特徴点の数をｍ個とし、予め固定的に特徴点セットに含められると定められた特徴点の数をｍ−Ｚ個とすると、特徴点セット選択手段５１は、ステップＳ２１において残りのＺ個を、入力された情報で指定された複数の特徴点の中から選択し、ｍ個の特徴点を含む特徴点セットを定めればよい。ただし、ｍ＞Ｚである。特徴点セットに固定的に含まれる特徴点は、予めユーザが適切な特徴点セットに含まれると予測されるｍ−Ｚ個の特徴点を予測し、そのｍ−Ｚ個を人手で事前に設定しておけばよい。この設定態様は特に限定されない。このように、ｍ個の特徴点のうちｍ−Ｚ個を固定的に定め、残りのＺ個をステップＳ２１で選択し、ステップＳ２１〜Ｓ２３のループ処理をＰ回繰り返してもよい。あるいは、固定的でないＺ個の特徴点の組が全て選択されるまでステップＳ２１〜Ｓ２３の処理を繰り返してもよい。
【００８５】
実施形態３．
第２の実施形態では、所定数の特徴点を含む特徴点セット毎に認識誤差を計算し、認識誤差が最小となる特徴点セットを選択するが、第３の実施形態では、特徴点セットに含める特徴点の数を削減しながら（あるいは、増加させながら）、好ましい特徴点セットを選択する。まず、特徴点セットに含める特徴点の数を削減する場合を例にして説明する。図６は、本発明の第３の実施形態の特徴点選択システムの例を示すブロック図である。第１または第２の実施形態と同様の構成要素は、図１、図３と同一の符号を付し、説明を省略する。第３の実施形態の特徴点選択システムは、特徴点抽出学習・評価データ生成手段４１と、特徴点抽出器学習手段４５と、特徴点セット選択手段６１と、認識タスク実行手段６２と、特徴点選択手段６３とを備える。特徴点抽出学習・評価データ生成手段４１は、学習データ生成手段４２と、学習パターン生成手段４３と、評価データ生成手段４４とを有する。
【００８６】
特徴点セット選択手段６１は、特徴点セットに含める特徴点の数を削減しながら、特徴点セットを選択する。指定された特徴点の数Ｎとし、特徴点セットに含める特徴点の数をｑ個ずつ段階的に削減するとする。特徴点セット選択手段６１は、Ｎ−ｑ個の特徴点を含む特徴点セットを全通り選択する。この特徴点セット毎に認識タスクが実行され、さらに特徴点の数を削減すると判定した場合、特徴点セット選択手段６１は、特徴点セットに属する特徴点の数をｑだけ削減して、その数の特徴点を含む特徴点セットを全通り選択する。
【００８７】
認識タスク実行手段６２は、ある数の特徴点を含む特徴点セットが特徴点セット選択手段６１によって選択されると、その特徴点セット毎に、その特徴点セットを特徴点とし、評価データ生成手段４４が生成した評価データを用いて、認識タスクを実行する。例えば、Ｎ−ｑ個の特徴点を含む特徴点セットが複数選択されたならば、認識タスク実行手段６２は、そのそれぞれの特徴点セット毎に、認識タスクを実行する。また、認識タスク実行手段６２は、一つの特徴点セットについて認識タスクを実行した後、その認識タスクの認識結果で生じる認識誤差を求める。認識タスクの実行処理や認識誤差の計算は、第２の実施形態と同様である。
【００８８】
特徴点選択手段６３は、特徴点セットに含める特徴点の数の削減を停止すると判定された場合、その時点での特徴点の数からなる特徴点セットのうち、認識誤差が最小の特徴点セットを選択する。
【００８９】
特抽学習・評価データ生成手段４１（学習データ生成手段４２、学習パターン生成手段４３、評価データ生成手段４４）、特徴点抽出器学習手段４５、特徴点セット選択手段６１、認識タスク実行手段６２、特徴点選択手段６３は、例えば、特徴点選択プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが、特徴点選択システムの記憶装置（図示せず）から特徴点選択プログラムを読み込み、そのプログラムに従って、上記の各手段として動作してもよい。あるいは、各手段がそれぞれ別々の専用回路によって実現されていてもよい。
【００９０】
図７は、第３の実施形態の処理経過の例を示すフローチャートである。第１および第２の実施形態と同様の処理については、図２、図４と同一の符号を付し説明を省略する。ステップＳ１１〜Ｓ１５の動作は第１および第２の実施形態と同様である。ステップＳ１５までの処理を行った後、以下の処理を行う。
【００９１】
特徴点セット選択手段６１は、特徴点セットに含める特徴点の数を定める（ステップＳ３１）。指定された特徴点の数をＮとし、特徴点セットに含める特徴点の数をｑ個ずつ段階的に削減するとする。最初にステップＳ３１に移行したとき、特徴点セット選択手段６１は、特徴点セットに含める特徴点の数をＮ−ｑ個とする。なお、１≦ｑ＜Ｎである。ステップＳ３１で定めた特徴点の数をｍ個とする。ステップＳ３１の後、特徴点セット選択手段６１は、ステップＳ３１で定めた数（ｍ個）の特徴点を含む特徴点セットを選択する（ステップＳ３２）。ｍ個の特徴点を含む特徴点セットは複数あるが、特徴点セット選択手段６１は、各特徴点セットをそれぞれ選択する。
【００９２】
次に、認識タスク実行手段６２は、ステップＳ３２で選択された特徴点セット毎に、その特徴点セットに属する各特徴点を用いて、ステップＳ１５で生成された評価データに対して認識タスクを実行する（ステップＳ３３）。認識タスク実行手段６２は、認識タスクを実行するとともに認識誤差も計算する。認識タスクの実行処理および認識誤差計算は、第２の実施形態と同様である。
【００９３】
次に、特徴点セット選択手段６１は、特徴点セットに含める特徴点の数を削減するか否かを判定する（ステップＳ３４）。特徴点セット選択手段６１は、直前のステップＳ３３における認識タスクとともに計算された各認識誤差のうちの最小値の、その前のステップＳ３３における認識タスクとともに計算された各認識誤差のうちの最小値からの増加量を計算し、その増加量が所定の閾値以上になったときに特徴点の数の削減を停止すると判定する。一方、その増加量が所定の閾値未満であれば、特徴点の数を削減すると判定する。また、その増加量が所定の閾値以上であっても、認識誤差が大きくならない限りは、特徴点の数の削減を続行してもよい。
【００９４】
また、ステップＳ３４の判定には別の方法を用いることもできる。例えば、許容できる認識誤差に対して閾値を定めておき、特徴点セット選択手段６１は、直前のステップＳ３３における認識タスクとともに計算された各認識誤差のうちの最小値がその閾値以上になった場合に特徴点の数の削減を停止すると判定し、認識誤差うちの最小値がその閾値未満であれば特徴点の数を削減すると判定してもよい。
【００９５】
特徴点を削減すると判定した場合（ステップＳ３４におけるＹｅｓ）、ステップＳ３１〜Ｓ３４の処理を繰り返す。このとき、ステップＳ３１では、前回のステップＳ３１で定めた特徴点の数（ｍ個）からｑを減算した数を、特徴点セットに含める特徴点の数と定める。すなわち、ｍ−ｑを新たなｍとするように特徴点の数ｍを更新する。以降の動作は同様である。
【００９６】
また、特徴点の削減を停止すると判定した場合（ステップＳ３４におけるＮｏ）、特徴点選択手段６３は、その時点における特徴点の数（ｍ個）の特徴点からなる特徴点セットのうち、認識誤差が最小となっている特徴点セットを選択する（ステップＳ３５）。
【００９７】
図８は、特徴点セットに含める特徴点の数と認識誤差との関係を示し、横軸が特徴点セットに含める特徴点の数を示し、縦軸が認識誤差を示している。特徴点セットに含める特徴点の数（横軸）は、認識タスクで用いる特徴点の数ということもできる。図８に示すように、特徴点の数が多いほど認識誤差は少ないが、ある程度まで特徴点の数が多くなると、認識誤差は収束する。上記のように、特徴点の数を削減していき、ステップＳ３４で、その時点でのｍにおける認識誤差の最小値と、その前のｍにおける認識誤差との差が閾値以上になったならば、ステップＳ３１〜Ｓ３４のループ処理を停止する。このことは、図８に示す矢印Ａのように、ｍを減少させて認識誤差の上昇の程度を判定し、上昇量が閾値以上に大きくなる時点におけるｍを特定しているということである。従って、ステップＳ３１〜Ｓ３５では、認識誤差および特徴点の数がそれぞれできるだけ小さくなるようなｍを特定し、ｍ個の特徴点からなる特徴点セットのうち、認識誤差が最小となっている特徴点セットを選択していることになる。よって、ステップＳ３５で選択された特徴点セットが、認識タスクにおける認識アルゴリズムに適した特徴点群であり、できるだけ認識処理量を少なくすることができる特徴点群ということができる。
【００９８】
また、最終的に得ようとする特徴点の数が予め定められているのであれば、ステップＳ３４において、特徴点の数ｍが、予め定められた特徴点の数まで減少したか否かによって、特徴点の数をさらに削減するか否かを判定してもよい。すなわち、特徴点の数ｍが予め定められた数まで減少しているならば、特徴点の数の削減を停止させると判定し、予め定められた数まで減少していなければ、さらに特徴点の数を削減すると判定してもよい。
【００９９】
本実施形態によれば、特徴点の数を段階的に削減しながら、特徴点セットを選択し、特徴点の数の削減を停止する時点において選択していた複数の特徴点セットの中から認識誤差が最小となる特徴点セットを選択する。従って、実際に特徴点を用いて実行する認識タスクの認識アルゴリズムに適切な複数の特徴点を、指定された特徴点の中から選ぶことができる。
【０１００】
また、第１の実施形態や第２の実施形態と同様に、一つの個体の３Ｄ形状モデルおよびその３Ｄ形状モデル上の複数の特徴点を指定することによって、特定の個体にとって適切な特徴点を選択したり、特徴点抽出器の内部データを生成したりすることができる。
【０１０１】
次に、第３の実施形態の変形例について説明する。上記の第３の実施形態では、特徴点セットに含める特徴点の数ｍを段階的に削減する場合を示したが、ｍを段階的に増加させてもよい。以下、ｍを増加させる場合について説明する。
【０１０２】
この場合、特徴点セット選択手段６１は、特徴点セットに含める特徴点の数ｍを初期値（ｍ０とする。）からｑ個ずつ段階的に増加させながら、ｍ個の特徴点を含む特徴点セットを全通り選択する。この特徴点セット毎に認識タスクが実行され、さらに特徴点の数を増やすと判定した場合、特徴点セット選択手段６１は、特徴点セットに属する特徴点の数をｑだけ増加させて、その数の特徴点を含む特徴点セットを全通り選択する。
【０１０３】
認識タスク実行手段６２の動作は、既に説明した動作と同様である。
【０１０４】
特徴点選択手段６３は、特徴点セットに含める特徴点の数の増加を停止すると判定された場合、その時点での特徴点の数からなる特徴点セットのうち、認識誤差が最小の特徴点セットを選択する。
【０１０５】
図７を参照してｍを増加させる場合の処理経過の例を説明する。ステップＳ１１〜Ｓ１５の動作は、第１および第２の実施形態と同様である。ステップＳ１５までの処理を行った後、以下の処理を行う。
【０１０６】
特徴点セット選択手段６１は、特徴点セットに含める特徴点の数を定める（ステップＳ３１）。最初にステップＳ３１に以降したとき、特徴点セット選択手段６１は、特徴点セットに含める特徴点の数ｍを、初期値ｍ０とすればよい。
【０１０７】
ステップＳ３１の後、特徴点セット選択手段６１は、ステップＳ３１で定めた数（ｍ個）の特徴点を含む特徴点セットを選択する（ステップＳ３２）。次に、認識タスク実行手段６２は、ステップＳ３２で選択された特徴点セット毎に、その特徴点セットに属する各特徴点を用いて評価データに対して認識タスクを実行し、併せて認識誤差も計算する（ステップＳ３３）。ステップＳ３２〜Ｓ３３の動作は、既に説明した動作と同様である。
【０１０８】
次に、特徴点セット選択手段６１は、特徴点セットに含める特徴点の数を増加させるか否かを判定する（ステップＳ３４）。特徴点セット選択手段６１は、直前のステップＳ３３における認識タスクとともに計算された各認識誤差のうちの最小値の、その前のステップＳ３３における認識タスクとともに計算された各認識誤差のうちの最小値に対する減少量を計算し、その減少量が所定の閾値以下になったときに特徴点の数の増加を停止すると判定する。一方、その減少量が所定の閾値より大きければ、特徴点の数を増加させると判定する。
【０１０９】
また、他の方法でステップＳ３４の判定を行ってもよい。例えば、認識誤差に対する閾値を定めておき、特徴点セット選択手段６１は、直前のステップＳ３３における認識タスクとともに計算された各認識誤差のうちの最小値がその閾値以下になった場合に特徴点の数の増加を停止すると判定し、認識誤差のうちの最小値がその閾値より大きい場合には特徴点の数を増加させると判定してもよい。
【０１１０】
特徴点を増加させると判定した場合（ステップＳ３４におけるＹｅｓ）、ステップＳ３１〜Ｓ３４の処理を繰り返す。このとき、ステップＳ３１では、前回のステップＳ３１で定めた特徴点の数（ｍ個）にｑを加算した数を、特徴点セットに含める特徴点の数と定める。すなわち、ｍ＋ｑを新たなｍとするように特徴点の数ｍを更新する。以降の動作は同様である。
【０１１１】
また、特徴点の増加を停止すると判定した場合（ステップＳ３４におけるＮｏ）、特徴点選択手段６３は、その時点における特徴点の数（ｍ個）の特徴点からなる特徴点セットのうち、認識誤差が最小となっている特徴点セットを選択する（ステップＳ３５）。
【０１１２】
上記のように、特徴点の数を増加させていき、ステップＳ３４でその時点でのｍにおける認識誤差の最小値と、その前のｍにおける認識誤差の差が閾値以下になったならばステップＳ３１〜Ｓ３４のループ処理を停止する。このことは、図８に示す矢印Ｂのように、ｍを増加させて認識誤差の低下の程度を判定し、低下量が閾値以下まで小さくなる時点におけるｍを特定しているということである。従って、ステップＳ３１〜Ｓ３５では、認識誤差および特徴点の数がそれぞれできるだけ小さくなるようなｍを特定し、ｍ個の特徴点からなる特徴点セットのうち、認識誤差が最小となっている特徴点セットを選択していることになる。よって、ｍを削減していく場合と同様に、ステップＳ３５で選択された特徴点セットが、認識タスクにおける認識アルゴリズムに適した特徴点群であり、できるだけ認識処理量を少なくすることができる特徴点群ということができる。
【０１１３】
また、最終的に得ようとする特徴点の数が予め定められているのであれば、ステップＳ３４において、特徴点の数ｍが、予め定められた特徴点の数まで増加したか否かによって、特徴点の数をさらに増加させるか否かを判定してもよい。すなわち、特徴点の数ｍが予め定められた数まで増加しているならば、特徴点の数の増加を停止させると判定し、予め定められた数まで増加していなければ、さらに特徴点の数を増加させると判定してもよい。
【０１１４】
特徴点の数を段階的に増加させる場合においても、特徴点の数を段階的に削減する場合と同様の効果を得ることができる。
【０１１５】
特徴点セット選択手段６１、認識タスク実行手段６２および特徴点選択手段６３は、入力された情報において指定された複数の特徴点群の中から認識タスクに適した特徴点群を選択する選択手段であるということができる。
【０１１６】
また、第３の実施形態においても、認識タスクとして姿勢推定を行う場合、第２の実施形態で説明したεａの最小化計算（式（８）および式（９）の繰り返し計算）により姿勢推定を行える。第３の実施形態では、εａの最小化計算にＨｅｓｓｉａｎ近似法を適用し、式（８）および式（９）の繰り返し計算を行わずに、任意のｑ点を除いた特徴点セットにおけるεａの値を計算する。この結果、εａの最小化の計算量を少なくすることができる。第２の実施形態で説明したεａの最小化計算を第３の実施形態で用いると、認識タスク実行手段６２は、現在のｍ個の特徴点セットからｑ個の特徴点を削減する際に、この最小化計算をｍＣｑ回繰り返すことになる。例えば、ｍ＝１００００であり、ｑ＝１であるとすると、１００００個から１つの特徴点を削減する際に１００００回最小化計算を行うこととなり、ｑ≧２のときにはさらに計算量が増える。Ｈｅｓｓｉａｎ近似法を適用することでこの計算量を削減することができる。Ｈｅｓｓｉａｎ近似法は、特徴点セットに含める特徴点の数をｑ個ずつ減少させる場合でも、ｑ個ずつ増加させる場合でも適用できるが、ここでは特徴点の数をｑ個ずつ削減する場合を例にして説明する。
【０１１７】
なお、Ｈｅｓｓｉａｎ近似法を適用する場合、特徴点選択システムは、第１の実施形態における特徴点抽出器評価手段４６（図６において図示せず。特徴点誤差計算手段に相当。）を備え、第１の実施形態と同様に、特徴点抽出誤差を算出する。
【０１１８】
以下、式（８）で示したΔφ，Δθ，Δψ，Δｔｘ，Δｔｙ，Δｔｚをベクトルとして並べて表した姿勢パラメータをθとする。姿勢推定は、認識誤差関数εａを最小化する姿勢パラメータθを求める処理である。これは一般に非線形最適化となり、Gauss-Newton法、Levenberg-Marquard 法等の一般的な方法で最小化を行う。また、これらの手法では、εａの１次・２次微分値を計算に用いている。本変形例では、認識タスク実行手段６２は、最終的にεａを最小化した時のεａ，θ、および１次・２次微分値を使って、特徴点を削減した後のεａを計算し、姿勢推定を行わずにどの特徴点を削減すればよいのかを予見する。
【０１１９】
現在選択されている特徴点の数をｍとし、削減しようとしている特徴点の数をｑとする。ただし、ｑはｍに比べて小さい数であり、具体的には２，３を想定する。また、現在の特徴点セットであり、既に姿勢推定が行われεａが計算済みとなっている特徴点セットをＳｍとし、その特徴点セットＳｍからｑ個の特徴点を除いた特徴点のセットをＳｍ−ｑとする。そして、除こうとしているｑ個の特徴点のセットをＳｑとする。認識タスク実行手段６２は、ｍ個の特徴点を含む特徴点セットＳｍを、ｍ−ｑ個の特徴点セットＳｍ−ｑとｑ個の特徴点セットＳｑとに分ける。Ｓｍ−ｑ⊂Ｓｍである。
【０１２０】
また、現在の特徴点セットＳｍによる姿勢推定の認識誤差εａをコスト関数ｆ＋と表すこととする。すると、このコスト関数は式（１１）のように分解する。
【０１２１】
【数１０】
【０１２２】
式（１１）において、チルダを付したｚｉは、学習済みの特徴点抽出器によって判定した特徴点ｉの画像上の位置である。また、ｚｉ（θ）は、姿勢がθであるときの、３Ｄ形状モデル上の特徴点ｉから計算される画像上での特徴点ｉの位置であり、姿勢θにおける特徴点ｉの正解位置に該当する。なお、これらの画像は評価データ生成手段４４に生成された評価データである。
【０１２３】
また、Σｉは、特徴点抽出器評価手段４６が計算した特徴点ｉの特抽点抽出誤差の分散を対角成分とする行列である。
【０１２４】
また、式（１１）は以下の式（１２）のように表すことができる。
【０１２５】
ｆ＋＝ｆ−＋δｆ 式（１２）
【０１２６】
ｆ＋は、現在の特徴点セットＳｍの全特徴点の分の認識誤差（εａの値）である。ｆ−は、ｑ個の特徴点を取り除いた後のコスト関数であり、以下の式（１３）のように表される。ｆ−は、ｑ点を除いた特徴点セットＳｍーｑの分の認識誤差（εａの積算をｑ点を除いた特徴点についてのみ行った値）である。
【０１２７】
【数１１】
【０１２８】
δｆは、取り除くｑ個の点に対応するコスト関数であり、以下の式（１４）のように表される。δｆは、除いたｑ点の分の認識誤差（εａの積算をｑ点の特徴点についてのみ行った値）である。
【０１２９】
【数１２】
【０１３０】
式（１２）の各項のＨｅｓｓｉａｎをＨ＋，Ｈ−，δＨで表すと、以下の式（１５）が得られる。Ｈｅｓｓｉａｎは、ｆのθによる２次微分を表す行列である。
【０１３１】
Ｈ＋＝Ｈ−＋δＨ 式（１５）
【０１３２】
ｆ＋における姿勢の推定値が得られているとする。このとき、以下の式（１６）が成立する。ただし、ｇ＋（・）＝ｄｆ＋／ｄθである。
【０１３３】
【数１３】
【０１３４】
そして、以下に示す式（１７）が成立する。
【０１３５】
【数１４】
【０１３６】
式（１７）において、ｇはεａのθによる１次微分である。また、ハット記号を付したθ＋は、現在のｍ個の特徴点を含む特徴点セットＳｍで姿勢推定したときの姿勢パラメータ（既に計算した姿勢パラメータ）である。ハット記号を付したθ−は、ｑ個の特徴点を除いた特徴点セットＳｍーｑで姿勢推定したときの姿勢パラメータであり、処理時間を削減するために計算の対象外としようとするものである。
【０１３７】
また、ハット記号付きのｆ−（θ−）は、ｑ個の特徴点を除いた特徴点セットＳｍーｑで姿勢推定したときの認識誤差εａであり、処理時間を削減するために計算の対象外としようとするものである。
【０１３８】
ハット記号付きのδｇ（θ＋）は、現在のｍ個の特徴点を含む特徴点セットＳｍで姿勢推定したときの姿勢パラメータの値における、認識誤差の１次微分値であり、この値は姿勢推定処理の過程ですでに計算されているものである。
【０１３９】
また、Ｈ−−１は、ｑ個の特徴点を除いた特徴点セットＳｍーｑで姿勢推定したときの姿勢パラメータの値における、認識誤差の２次微分値の逆行列である。この値は、計算しないことが好ましいが、特徴点数ｍがｑに比べて十分に大きい場合にはＨ＋で近似しても（すなわち置き換えても）大差ないことが知られている。そして、Ｈ＋は姿勢推定処理の過程で既に計算されているものである。ハット記号を付したθ＋の計算にGauss-Newton法やMarquardt 法を利用するとＨ＋は計算済みとなる。
【０１４０】
Ｈ−をＨ＋に置き換えると、以下の手続により、εａを最小化しなくてもＳｑを取り除いた後のコスト関数値を近似的に計算することができる。認識タスク実行手段６２は、以下の処理を行うことで、最小化処理を行う。
【０１４１】
（１）認識タスク実行手段６２は、ＳｄをｍＣｑ通り変化させつつ以下の処理を実行する。
【０１４２】
（２）認識タスク実行手段６２は、以下の式（１８）を計算する。
【０１４３】
【数１５】
【０１４４】
（３）次に、認識タスク実行手段６２は、以下の式（１９）を計算する。
【０１４５】
【数１６】
【０１４６】
（４）次に、認識タスク実行手段６２は、ｆ−（θ−）が最小となるＳｑを取り除いて、Ｓｍ−ｑを作成する。
【０１４７】
（５）次に、認識タスク実行手段６２は、実際にｆ−を最小化して、ハット記号付きのθ−を求める。
【０１４８】
上記の（３）の手続では、ｆの最小化によってハット記号付きのθ−を計算することなく、右辺の
【数１７】
の値を評価する。
【０１４９】
このように、第３の実施形態においてＨｅｓｓｉａｎ近似法を適用することで、認識誤差の最小値計算量を削減する効果が得られる。
【０１５０】
以上の説明では、特徴点の数をｑ個ずつ削減する場合を例にしたが、特徴点の数をｑ個ずつ増加させていく場合には、ｇ−（・）＝ｄｆ−／ｄθであり、式（１７）の代わりに、以下に示す式（２０）が成立する。この場合には、追加するＳｄを定めていけばよい。
【０１５１】
【数１８】
【０１５２】
以下、式（１７）の導出について説明する。まず、ｆ＋（θ＋）は、式（２１）のように定義される。
【０１５３】
【数１９】
【０１５４】
ｄｆ＋／ｄθ＝ｇ＋等のように書くこととする。ｇ＋（θ＋）＝０より、以下の計算が成り立つ。
【０１５５】
【数２０】
【０１５６】
上記の式において、ｇ−（θ−）＝０であり、よって、式（２２）が得られる。
【０１５７】
【数２１】
【０１５８】
また、以下の計算式が成立し、式（２２）を代入することで、式（２３）（式（１７）と同様の式）が得られる。
【０１５９】
【数２２】
【０１６０】
【数２３】
【０１６１】
実施形態４．
図９は、本発明の第４の実施形態の特徴点選択システムの例を示すブロック図である。第３の実施形態と同様の構成要素については、図６と同一の符号を付し、説明を省略する。第１から第３までの各実施形態では、３Ｄ形状モデルと、その３Ｄ形状モデル上の複数の特徴点を指定する情報と、認識タスクで用いられるテンプレートの大きさとが入力される。第４の実施形態では、３Ｄ形状モデルが入力されると複数の特徴点を生成し、特抽学習・評価データ生成手段４１に対してその特徴点を指定する特徴点生成手段１を備える。また、特徴点生成手段１は、認識タスクで用いられるテンプレートの大きさも指定する。特抽学習・評価データ生成手段４１は、指定された複数の特徴点とテンプレートの大きさを用いて既に説明した処理を行う。
【０１６２】
図９では、第３の実施形態の構成に特徴点生成手段１を追加した構成を図示したが、第１の実施形態や第２の実施形態の構成に特徴点生成手段１を追加した構成であってもよい。
【０１６３】
特徴点生成手段１が生成する特徴点について説明する。本発明の発明者は、姿勢推定や個体識別等の種々の認識タスクに利用される特徴点が満たすべき要件を検討し、特徴点は以下のような３つの要件を満たすべきと考えた。
【０１６４】
第１の要件（以下、要件Ａと記す。）は、認識対象となる画像の照明や姿勢の変化に対して頑健に、特徴点の位置を画像から抽出できる特徴点抽出器を構築できることである。すなわち、特徴点と、特徴点以外の点とを特徴点抽出器に入力し、あるパターンが入力されたときに、そのパターンが特徴点であるか否かを判定するための内部データを特徴点抽出器に学習させることができることである。例えば、頬の領域はどこをとっても似たような画像パターンであるから、頬の一点を特徴点としても、その特徴点と頬の他の位置の点の画像のパターンは同様であり、特徴点抽出器による抽出が困難である。よって、頬の点は要件Ａを満たしていないと言える。
【０１６５】
第２の要件（以下、要件Ｂと記す。）は、異なる個体間において特徴点が対応付いていることである。例えば、目尻の点を特徴点とした場合、人物Ｘの目尻の点と人物Ｙの目尻の点とは、対応付けられる。よって、目尻の点は、要件Ｂを満たす。要件Ｂは、さらに２つの要件に分けて考えることができる。一つは、全ての３Ｄ形状モデルを同一の座標系の座標系に重ね合わせて配置したときに、３Ｄ形状モデル上の近い位置に特徴点が存在することである。この要件を要件Ｂ１と記す。もう一つは、各画像間で、画像から切り出した特徴点を含む特徴点周囲の局所領域のパターン（局所パターン）が類似していることである。この要件を要件Ｂ２と記す。上記の目尻を例に説明すると、人物Ｘ，Ｙの３Ｄ形状モデルを重ねた場合、目尻の点は互いに近いので要件Ｂ１を満たす。また、人物が異なっていても、人物の顔画像における目尻の点およびその周囲を切り出すと、切り出した部分同士は類似しているので、目尻の点は要件Ｂ２も満たす。
【０１６６】
第３の要件（以下、要件Ｃと記す。）は、認識タスクにとって重要な点が特徴点として網羅されていて、その特徴点を用いることにより十分に高い認識性能を実現できることである。そのような条件の一例として、要件Ｃは、３Ｄ形状モデルの一部に特徴点が集中せずに、３Ｄ形状モデル全体から均一に抽出されていることということができる。
【０１６７】
特徴点生成手段１は、上記の要件Ａ，Ｂ１，Ｂ２，Ｃのうち少なくとも一部を満たす特徴点群を生成する。以下、特徴点生成手段１について詳細に説明する。
【０１６８】
図１０は、特徴点生成手段１の例を示すブロック図である。特徴点生成手段１は、学習画像群生成手段２と、特徴点配置手段３と、評価手段４とを備える。
【０１６９】
学習画像群生成手段２には、３Ｄ形状モデル６が入力され、学習画像群生成手段２は、入力された３Ｄ形状モデル６からＣＧ画像として複数の画像（２次元画像）を生成する。ここでは、学習画像群生成手段２に、人間の顔の３Ｄ形状モデルが入力される場合を例にして説明する。また、この３Ｄ形状モデルにはテクスチャが貼り付けられているものとする。学習画像群生成手段２は、入力された３Ｄ形状モデルに対して、条件を種々変化させた場合の画像を複数生成する。学習画像群生成手段２は、この条件として、照明の状態（照明の位置）や３Ｄ形状モデルの姿勢を様々に定め、それらの各条件のもとでの画像を生成する。以下、この２次元画像を学習画像と記す。また、学習画像群生成手段２には、複数の個体についてそれぞれ作成された３Ｄ形状モデルが入力される。図１１では二つの３Ｄ形状モデルを示しているが、学習画像群生成手段２に入力される３Ｄ形状モデル数は２に限定されない。
【０１７０】
図１１は、学習画像群生成手段２に入力される３Ｄ形状モデルを模式的に示す説明図である。図１１では３Ｄ形状モデルを模式的に２次元で表している。図１１（ａ），（ｂ）は、それぞれ異なる人物の顔の３Ｄ形状モデルを表している。学習画像群生成手段２は、図１１（ａ），（ｂ）に示すような複数の個体（複数の人物）の３Ｄ形状モデルが入力されると、それぞれの個体毎に、照明位置や姿勢を種々変化させた場合の学習画像を生成する。図１２は、生成された学習画像の例を示す説明図である。図１２（ａ）は、図１１（ａ）に示す３Ｄ形状モデルから生成した複数の学習画像の例であり、図１２（ｂ）は、図１１（ｂ）に示す３Ｄ形状モデルから生成した複数の学習画像の例である。図１２では、照明の位置を種々変化させて得た複数の画像を示しているが、３Ｄ形状モデルの姿勢を変化させてもよい。３Ｄ形状モデルに対する照明の位置を変化させることで、照明位置に応じた場所に影１１が生じた学習画像を得ることができる（図１２参照）。図１２では、個体毎に３種類の学習画像を示しているが、学習画像群生成手段２が生成する学習画像の種類は３種類に限定されない。学習画像群生成手段２は、３Ｄ形状モデルおよび生成した学習画像群７を特徴点配置手段３および評価手段４に入力する。
【０１７１】
特徴点配置手段３は、特徴点群の初期位置を、特徴点生成手段１に入力された３Ｄ形状モデル上において定める。学習画像は、３Ｄ形状モデルからＣＧ画像として生成される画像であるので、３Ｄ形状モデル上の特徴点が指定されれば、その特徴点に応じた学習画像内の特徴点も定めることができる。例えば、図１３に示す３Ｄ形状モデルにおける特徴点１３等の特徴点群を初期位置として定めると、各学習画像においても対応する特徴点１３ａ等をそれぞれ定めることができる。特徴点配置手段３は、３Ｄ形状モデル上の各特徴点に対応する学習画像内の各特徴点も定める。
【０１７２】
図１３（ａ）は、図１１（ｂ）に示す３Ｄ形状モデル上の特徴点の初期位置およびその特徴点に対応する学習画像上の特徴点の例を示す。同様に、図１３（ｂ）は、図１１（ｂ）に示す３Ｄ形状モデル上の特徴点の初期位置およびその特徴点に対応する学習画像上の特徴点の例を示す。後述するように、評価手段４は、特徴点配置手段３に指定された特徴点群が要件Ａ〜Ｃをどの程度満たしているかを示す評価値を計算する。この評価値をＱとする。評価値Ｑは、特徴点群が要件Ａ〜Ｃを満たしているほど小さな値となる。特徴点配置手段３は、評価値Ｑを最小化するように特徴点群の位置を初期位置から移動させる。特徴点配置手段３が特徴点群を移動させて評価手段４がその特徴点群における評価値Ｑを計算する処理を繰り返すことで、評価値Ｑが最小となる特徴点群を求め、その特徴点群を最適な特徴点群８（図１０参照）として指定する。
【０１７３】
評価手段４は、各個体の３Ｄ形状モデル上の特徴点群が指定されると、その特徴点群が、要件Ａ〜Ｃをどの程度満たしているかを示す評価値Ｑを計算する。評価手段４は、特徴点配置手段３に指定された特徴点群について、以下に示す式（２４）の計算により評価値Ｑを求める。
【０１７４】
【数２４】
【０１７５】
以下、式（２４）の右辺の第１項から第４項の計算方法について説明する。
【０１７６】
式（２４）の右辺の第１項におけるＨｃ［Ｐ］は、個体毎の３次元形状モデル間での位置の一致性を表すエントロピーである。従って、第１項は要件Ｂ１に対応する項である。第１項の算出では、特徴点の座標を用いた計算を行う。人物数がＭであるとし、着目している人物をｋで表すこととする。ｋ番目の人物の一つの３次元形状モデル上におけるｉ番目の特徴点をＰｉとしたときに、その特徴点Ｐｉの座標をｘｋ，ｉと表すこととする。また、その３次元形状モデル上の特徴点の座標を並べたものをｚｋとすると、ｚｋは、（ｘｋ，１Ｔ，ｘｋ，２Ｔ，・・・，ｘｋ，ＮＴ）Ｔである。Ｎは３次元形状モデル内の特徴点数である。座標の次元をｄとすると、ｚｋは、Ｎｄ次元ベクトルである。各特徴点Ｐｉが各人物の３次元形状モデルにおいてそれぞれ近接した位置に配置されていると、ｚｋ（ｋ＝１，２，・・・，Ｍ）のＮｄ次元空間における分布の分散は小さくなる。｛ｚｋ｝の分布を正規分布で近似しその共分散をΣで表すとき、そのエントロピーは、以下に示す式（２５）で計算できる。評価手段４は、式（２４）の右辺第１項におけるＨｃ［Ｐ］を以下に示す式（２５）で計算すればよい。ただし、λｊはΣの固有値である。
【０１７７】
【数２５】
【０１７８】
評価手段４は、計算したＨｃ［Ｐ］にξを乗じることによって、式（２４）の右辺第１項を計算する。ξは第１項の重み係数である。第１項の重みに応じてξを定めておけばよく、第１項を考慮しないのであればξ＝０としてもよい。
【０１７９】
式（２４）の右辺第２項（“−”符号も含む。）の計算について説明する。この第２項は、特徴点群の分布の均一性をエントロピーで定量化した項であり、要件Ｃに対応する。１番目の人物からＭ番目の人物までについてそれぞれ−Ｈｕ［Ｐｋ］を求め、その総和を計算したものが式（２４）の右辺第２項である。ここで、［Ｐｋ］は着目している人物の特徴点群であり、Ｈｕ［Ｐｋ］はそのエントロピーである。
【０１８０】
曲面Ｓ上に分布するＮ個の点群｛Ｐｉ｝が与えられたとき、この｛Ｐｉ｝を、Ｓ上に定義された確率密度分布ｐ（ｘ）（ｘ∈Ｓ）に従って生成された点群とみなす。このとき、点群｛Ｐｉ｝の分布の均一さは、ｐ（ｘ）のＳ上におけるエントロピーＨｕ［Ｐ］＝−∫Ｓｐ（ｘ）ｌｏｇｐ（ｘ）ｄｘによって定義できる。ここで、｛Ｐｉ｝により３次元顔モデルを十分サンプリングできているとき、Ｈｕ［Ｐ］は、−（１／Ｎ）Σｉｌｏｇｐ（ｘｉ）で近似することができる。ただし、ｘｉは特徴点Ｐｉの位置である。この式により、Ｈｕ［Ｐ］を計算するためには、ｐ（ｘｉ）を推定する必要がある。この推定にはガウス関数Ｇ（ｘ，σ）を窓関数としたＰａｒｚｅｎ推定を採用する。このとき、以下に示す式（２６）を得る。
【０１８１】
【数２６】
【０１８２】
よって、−Ｈｕ［Ｐ］を以下の式（２７）のように計算することができる。
【０１８３】
【数２７】
【０１８４】
評価手段４は、Ｍ人の人物についてそれぞれ式（２７）の計算で−Ｈｕ［Ｐｋ］を求め、その総和を計算し、総和にηを乗じることにより、式（２４）の右辺第２項を計算すればよい。ηは第２項の重み係数である。第２項の重みに応じてηを定めておけばよく、第２項を考慮しないのであればη＝０としてもよい。
【０１８５】
式（２４）の右辺第３項（“−”符号も含む。）の計算について説明する。この第３項は、局所パターンの対称性を表す項であり、局所パターンの対称性が大きいほど第３項の値は小さくなる。換言すれば、この第３項は、要件Ａに対応し、特徴点群が要件Ａを満たす程度が大きいほど、第３項の値は小さくなる。
【０１８６】
この局所パターンは、学習画像内の特徴点を含む特徴点周囲の局所領域の画像である。特徴点としてエッジ、コーナーまたは極大点を含む局所パターンは、局所的に回転対称性やスケール対称性を有している。ここで対称性とは、特定の変換に対する対象の不変性のことである。例えば、左右対称とは、左右反転する変換に対する対象の不変性である。図１４は対称の例を示す説明図である。図１４（ａ）は、画素値の極大点周辺の局所パターンであり、回転変換に対して不変であることから回転対称である。図１４（ｂ）は、コーナーとエッジであり、拡大縮小に対して不変なスケール対称性を有するパターンである。
【０１８７】
局所パターンをＩ（ｕ，ｖ）で表すことにする。局所的な座標系（ｕ，ｖ）の原点は局所領域の中央に設定する。ユークリッド座標系（ｕ，ｖ）を（対数）極座標（ｒ，θ）へと変換する。さらに、Ｉ（ｕ，ｖ）が変数分離できると仮定する。ここで、以下の式（２８）が成り立つ。
【０１８８】
Ｉ（ｕ，ｖ）＝ｆ（ｒ）ｇ（θ） 式（２８）
【０１８９】
局所パターンＩ（ｕ，ｖ）が回転対称であるとき、Ｉ（ｕ，ｖ）はθの変化に対して不変となるため、以下の式（２９）を満たす。
【０１９０】
Ｉ（ｕ，ｖ）＝ｆ（ｒ）Θ０ 式（２９）
【０１９１】
ただし、Θ０は定数である。一方、Ｉ（ｕ，ｖ）がスケール対称であるとき、Ｉ（ｕ，ｖ）は動径ｒの変化に対して不変となるため、以下の式（３０）を満たす。ここで、式（３０）におけるＲ０は定数である。
【０１９２】
Ｉ（ｕ，ｖ）＝Ｒ０ｇ（θ） 式（３０）
【０１９３】
局所パターンの極座標表現Ｉ（ｒ，θ）の２次元フーリエ係数をＣｍｎで表すことにすると、Ｃｍｎは、以下に示す式（３１）の計算によって求めることができる。
【０１９４】
【数２８】
【０１９５】
ただし、ｍ，ｎは整数であり、εは局所領域の半径である。また、ここでは、局所領域が正方形であるものとして説明する。この場合、εは、正方形の局所領域の中心から正方形の辺までの距離であり、局所領域となる内接円の半径である。また、式（３１）中のｊは虚数単位である。フーリエ係数Ｃｍｎのうち、Ｃ００は、Ｉ（ｒ，θ）の局所領域内の平均値に対応していて、この値の大小は特徴点としての抽出のしやすさには関係ない。仮に局所パターンが回転対称であるならば、Ｃ０ｎ以外は全て０になる。一方、局所パターンがスケール対称であるならば、Ｃｍ０以外は全て０になる。このため、Ｓａｌｌを式（３２）のように定めると、局所パターンの回転対称性Ｓｒｏｔとスケール対称性Ｓｓｃｌは、Ｓａｌｌを用いて式（３３）、式（３４）により計算することができる。
【０１９６】
【数２９】
【０１９７】
【数３０】
【０１９８】
【数３１】
【０１９９】
０≦Ｓｒｏｔ，Ｓｓｃｌ≦１であり、Ｓｒｏｔ，Ｓｓｃｌは、局所パターンが対称である場合にのみ最大値１となる。評価手段４は、学習画像から局所パターンを切り出し、各位置においてＳｒｏｔとＳｓｃｌを計算し、３Ｄ形状モデル上の各特徴点のうち画像に写る全ての点に対して、特徴点としての抽出しやすさを表す２次元ベクトル［Ｓｒｏｔ，Ｓｓｃｌ］Ｔを求める。そして、評価手段４は、このベクトルの長さにより画像からの抽出容易性を求める。この抽出容易性をｌｏｇ−ｐｏｌａｒ特徴量と称してもよい。抽出容易性をＤ（Ｐ）とすると、評価手段４は、以下に示す式（３５）により、抽出容易性Ｄ（Ｐ）を計算することができる。
【０２００】
【数３２】
【０２０１】
評価手段４は、それぞれの個体の特徴点毎に、式（３５）の計算を行い、抽出容易性Ｄ（Ｐ）を求め、その総和に−αを乗じることによって、式（２４）の右辺第３項を計算する。αは第３項の重み係数である。第３項の重みに応じてαを定めておけばよく、第３項を考慮しないのであればα＝０としてもよい。
【０２０２】
第３項は、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど値が小さくなる項であればよい。上記の例では、そのような第３項として、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される項を用いる場合を例示した。
【０２０３】
式（２４）の右辺第４項（“−”符号も含む。）の計算について説明する。この第４項は、要件Ｂ２に対応する。そして、特徴点群が要件Ｂ２を満たす度合いが大きいほど、第４項の値は小さくなる。式（２４）の右辺第４項におけるＡ（Ｐｉ）は、各人物間における特徴点Ｐｉのテンプレート（学習画像の局所領域）の輝度の統計量である。評価手段４は、各人物間で対応する特徴点のテンプレートの輝度の特徴量として、例えば、分散を計算してもよい。あるいは、人物間の輝度の平均値を計算し、その平均値と個々の人物における輝度値との差分の総和を統計量として計算してもよい。また、輝度を用いるのはあくまで一例であり、様々な特徴抽出演算子を適用して計算した特徴量の値を用いてもよい。評価手段４は、各特徴点について計算した特徴量の総和に−βを計算することで式（２４）の右辺第４項を計算する。βは第４項の重み係数である。第４項の重みに応じてβを定めておけばよく、第４項を考慮しないのであればβ＝０としてもよい。このように条件（本例では人物）を変えた局所パターンの類似度が大きいほど値が小さくなる項を、第４項とすればよい。この条件として、姿勢や照明位置等を用いてもよい。
【０２０４】
また、前述のように、特徴点配置手段３は、評価値Ｑが小さくなるように特徴点を移動させる。特徴点配置手段３は、最急降下法によって、評価値Ｑを最小とする特徴点群を求める。特徴点配置手段３は、以下に示す式（３６）の計算を行って、各特徴点を移動させればよい。
【０２０５】
【数３３】
【０２０６】
式（３６）におけるγは移動量を調整するパラメータであり、予め定めておけばよい。また、式（３６）におけるＥは、各点の座標の組をｚ＝（ｘ１，ｘ２，・・・，ｘＮ）により表したときに、以下に示す式（３７）のように表される関数である。
【０２０７】
【数３４】
【０２０８】
Ｅ（ｚ）のｘｉによる微係数は、以下の式（３８）のよう表される。ただし、Σｊωｉｊ＝１である。
【０２０９】
【数３５】
【０２１０】
また、前述のｚｋに関しサンプル平均を以下の式（３９）のように表す。
【０２１１】
【数３６】
【０２１２】
また、平均まわりの偏差ｙｋを以下の式（４０）のように表す。
【０２１３】
【数３７】
【０２１４】
また、ｙｋを並べたＮｄ×Ｍの行列をＹ＝［ｙ１ｙ２・・・ｙＭ］で表す。このとき、Σ＝（１／（Ｍ−１））ＹＹＴである。このとき、以下の式（４１）が得られる。
【０２１５】
【数３８】
【０２１６】
学習画像群生成手段２、特徴点配置手段３および評価手段４は、例えば、特徴点選択プログラムに従って動作するコンピュータのＣＰＵによって実現される。あるいは、学習画像群生成手段２、特徴点配置手段３および評価手段４が他の各手段（図９参照）とは別にそれぞれ専用の回路で実現されていてもよい。
【０２１７】
次に、動作について説明する。
図１５は、特徴点生成手段１の動作の例を示すフローチャートである。学習画像群生成手段２は、各人物の顔の３Ｄ形状モデルが入力されると、３Ｄ形状モデルに対する照明の位置や３Ｄ形状モデルの姿勢を種々変化させた場合の学習画像を人物毎に作成する（ステップＳ１）。
【０２１８】
次に、特徴点配置手段３および評価手段４が、各特徴点の局所領域の大きさε（局所領域の内接円半径）を固定値として、特徴点の位置を定める（ステップＳ２）。ステップＳ２では、特徴点配置手段３が、各３Ｄ形状モデル上の特徴点群の初期位置を定め、その特徴点群に対する評価値を評価手段４が計算する。特徴点配置手段３は、３Ｄ形状モデル上の特徴点群の初期位置を定めるとき、その特徴点群に対応する学習画像内の特徴点群の位置も定める。特徴点の位置が指定されると、評価手段４は、式（３１）におけるεを固定値として、特徴点配置手段３に指定された特徴点群の評価値Ｑを計算する。そして、特徴点配置手段３は、評価値Ｑを最小にするように、３Ｄ形状モデル上の特徴点群を移動させ、評価手段４は、その特徴点群に対する評価値Ｑを、εを固定値として再度計算する。この処理を、評価値Ｑが収束するまで行い、評価値Ｑが収束したときの特徴点群の位置を特定する。
【０２１９】
次に、評価手段４は、その位置に特徴点群が存在するものとして、特徴点群の位置を固定し、局所領域の大きさεを変化させて、その特徴点群の評価値Ｑを再計算する。そして、評価値Ｑが最小となるときのεを特定する（ステップＳ３）。εを変化させることで、式（３１）の計算で求めるＣｍｎが変化し、その結果評価値Ｑもεに応じて変化する。ステップＳ３では、特徴点群を固定としたまま、評価手段４は、εを変化させて、評価値Ｑを最小とするεを求める。
【０２２０】
図１５に示すように、ステップＳ２，Ｓ３はループ処理である。ステップＳ３の後、評価手段４は、ステップＳ２，Ｓ３のループ処理を終了するか否かを判定する（ステップＳ４）。例えば、直前のステップＳ３でεを変化させて計算した評価値Ｑの最小値と、その前のステップＳ３でεを変化させて計算した評価値Ｑの最小値との差が、所定値以下となった状態（Ｑが収束した状態）になっていたら（ステップＳ４のＹｅｓ）、ループ処理を終了すると判定し、そうでなければ（ステップＳ４のＮｏ）、ステップＳ２，Ｓ３を再度繰り返すと判定してもよい。
【０２２１】
ステップＳ４の後、再度ステップＳ２を行う場合、直前のステップＳ３で計算したεをεの固定値として用いればよい。また、直前のステップＳ２で定めた特徴点群の位置を特徴点群の初期位置としてステップＳ２を開始すればよい。
【０２２２】
ステップＳ４においてループ処理を終了すると判定した場合、特徴点配置手段３は、直前のステップＳ２で定めた特徴点群と、直前のステップＳ３で定めたεとを特抽学習・評価データ生成手段４１に指定する。すなわち、特徴点配置手段３は、特徴点の配置を定めるとともに、各特徴点の抽出に用いるべき局所パターンの大きさを、直前のステップＳ３で定めたεとすることを決定する。
【０２２３】
なお、図１５では、ステップＳ２，Ｓ３をループ処理とする場合を示したが、ステップＳ２，Ｓ３を繰り返さずに、ステップＳ２，Ｓ３を一回ずつ行った後に処理を終了してもよい。
【０２２４】
本実施形態によれば、評価値Ｑを式（２４）の計算によって求める。式（２４）の右辺に示す第１項から第４項は、それぞれ、特徴点が満たすべき要件Ｂ１、要件Ｃ、要件Ａ、要件Ｂ２に対応し、特徴点群がそれぞれの要件を満たす度合いが大きいほど各項は小さな値となり、評価値Ｑも小さな値となる。そして、特徴点配置手段３は、評価値Ｑを最小とするように特徴点群を移動させるので、要件Ａ，Ｂ１，Ｂ２，Ｃを満たす特徴点群を生成することができる。そして、その特徴点群から特徴点を選択するので、認識タスクにおける認識アルゴリズムに合うより適切な特徴点を選択することができる。
【０２２５】
また、式（２４）の第１項から第４項に、重み付け係数が０となる項があってもよい。例えば、式（２４）のξやβを０として、第２項および第３項の和を計算してもよい。また、例えば、βを０とせずに、第２項、第３項および第４項の和を計算してもよい。また、各項の重み付け係数をいずれも０とせず、第１から第４までの各項の和を計算してもよい。いずれの場合においても、重み付け係数を０としない項に対応する条件を考慮した好ましい特徴点群を生成することができる。
【０２２６】
また、ステップＳ２で特徴点の位置を定めた後、特徴点を含む局所領域の大きさεを変化させて評価値Ｑを計算し、評価値Ｑを最小とするεを定める。よって、要件Ａ，Ｂ１，Ｂ２，Ｃを満たすεも決定することができる。また、ステップＳ２，Ｓ３を繰り返すことで、より好ましい特徴点群およびεを定めることができる。
【０２２７】
また、上記の説明では、ε（局所領域の大きさ）を固定値として特徴点の位置を定め（ステップＳ２）、次に、特徴点の位置を固定としてεの大きさを定める（ステップＳ３）場合を示した。各特徴点の位置とεとを同時に定めてもよい。すなわち、特徴点の初期位置から評価値Ｑが最小となるように特徴点を移動させるときに、評価値Ｑの計算においてεの値を変化させてもよい。そして、評価値Ｑが最小となるときの、特徴点の位置およびεを同時に決定してもよい。
【０２２８】
次に、第４の実施形態の変形例を説明する。上記の説明では、局所領域が正方形であるものとして説明した。以下に示す変形例では、局所領域が長方形であり、長方形の大きさだけでなく、アスペクト比も定める。アスペクト比は、局所領域となる長方形の縦の長さに対する横の長さの倍率である。図１６は、第４の実施形態の変形例を示すブロック図である。前述の特徴点生成手段１と同様の構成要素については、図１０と同様の符号を付し、説明を省略する。アスペクト比も定める特徴点生成手段１ａは、学習画像群生成手段２と、特徴点配置手段３と、評価手段４ａとを備える。
【０２２９】
評価手段４ａは、前述の評価手段４と同様に、評価値Ｑを計算する。ただし、本変形例では、評価手段４ａは、局所領域の大きさεだけでなく、局所領域のアスペクト比も変化させ、アスペクト比に応じた評価値Ｑを計算する。アスペクト比をＷとすると、評価手段４ａは、Ｗに応じた評価値Ｑを以下のように計算すればよい。すなわち、評価手段４ａは、式（３１）の積分計算を行う前に、学習画像を横方向に１／Ｗ倍になるように変換し、その変換後の学習画像について式（３１）の積分計算を行う。評価値Ｑの計算過程におけるその他の点に関しては、第４の実施形態における評価値Ｑの計算方法と同様である。例えば、アスペクト比が２である場合、評価手段４ａは、式（３１）の積分計算を行う前に、学習画像を横方向に１／２倍になるように縮小する。そして、縮小後の学習画像について式（３１）の積分計算を行えばよい。このように、学習画像を横方向に１／Ｗ倍になるように変換し、その画像について式（３１）の計算を行うこととして、評価値Ｑを計算すれば、長方形の局所領域に応じた評価値Ｑを計算することができる。式（３１）は、式（２４）の右辺の第３項に影響する計算であり、評価手段４ａは、式（２４）の右辺第３項をアスペクト比に応じて計算することになる。
【０２３０】
評価手段４ａは、例えば、特徴点選択プログラムに従って動作するコンピュータのＣＰＵによって実現されていてもよい。あるいは、評価手段４ａが専用の回路として他の手段とは別に設けられていてもよい。
【０２３１】
図１７は、第４の実施形態の変形例における特徴点生成手段１の処理経過の例を示すフローチャートである。学習画像群生成手段２は、各人物の顔の３Ｄ形状モデルが入力されると、３Ｄ形状モデルに対する照明の位置や３Ｄ形状モデルの姿勢を種々変化させた場合の学習画像を人物毎に作成する（ステップＳ５１）。
【０２３２】
次に、特徴点配置手段３および評価手段４ａが、各特徴点の局所領域の大きさεおよびアスペクト比Ｗを固定値として、特徴点の位置を定める（ステップＳ５２）。ステップＳ２（図１５参照）と同様に、特徴点配置手段３は、各３Ｄ形状モデル上の特徴点群の初期位置を定め、その特徴点群に対応する学習画像内の特徴点群の位置も定める。特徴点の位置が指定されると、評価手段４ａは評価値Ｑを計算する。このとき、評価手段４ａは、式（３１）の積分計算を行う前に、学習画像を横方向に１／Ｗ倍になるように変換する。そして、評価手段４ａは、式（３１）におけるεを固定値として、変換後の学習画像に対して式（３１）の積分計算を行い式（２４）の第３項を計算する。評価値Ｑの計算過程において、他の点はステップＳ２（図１５参照）と同様である。そして、特徴点配置手段３は、評価値Ｑを最小にするように、３Ｄ形状モデル上の特徴点群を移動させ、評価手段４ａは、その特徴点群に対する評価値Ｑを、εを固定値として再度計算する。この処理を、評価値Ｑが収束するまで行い、評価値Ｑが収束したときの特徴点群の位置を特定する。
【０２３３】
次に、評価手段４ａは、その位置に特徴点群が存在するものとして、特徴点群の位置を固定し、アスペクト比Ｗを固定値として、局所領域の大きさεを変化させて、その特徴点群の評価値Ｑを再計算する。そして、評価値Ｑが最小となるときのεを特定する（ステップＳ５３）。このとき、評価手段４ａは、式（３１）の積分計算を行う前に、学習画像を横方向に１／Ｗ倍になるように変換し、変換後の学習画像について、εを種々変化させたときの評価値Ｑを計算すればよい。式（３１）の計算の際に、学習画像を横方向に１／Ｗ倍になるように変換する点の他は、ステップＳ３（図１５参照）と同様である。
【０２３４】
次に、評価手段４ａは、ステップＳ５２で定めた位置に特徴点群が存在し、ステップＳ５３で定めたεの値を固定とし、アスペクト比を変化させて、その特徴点群の評価値Ｑを再計算する。そして、評価値Ｑが最小となるときのＷを特定する（ステップＳ５４）。ステップＳ５４においても、評価手段４ａは、式（３１）の積分計算の前に、学習画像を横方向に１／Ｗ倍になるように変換する。このとき、評価手段４ａは、Ｗを変化させ、様々な倍率（１／Ｗ）で学習画像を変換する。そして、各Ｗに応じた評価値Ｑを計算し、評価値Ｑが最小となるＷを特定する。
【０２３５】
ステップＳ５４の後、評価手段４ａは、ステップＳ５２〜Ｓ５４のループ処理を終了するか否かを判定する（ステップＳ５５）。例えば、直前のステップＳ５４でＷを変化させて計算した評価値Ｑの最小値と、その前のステップＳ５５でＷを変化させて計算した評価値Ｑの最小値との差が所定値以下となった状態（Ｑが収束した状態）になっていたら（ステップＳ５５のＹｅｓ）、ループ処理を終了すると判定し、そうでなければ（ステップＳ５５のＮｏ）、ステップＳ５２〜Ｓ５４を再度繰り返すと判定してもよい。
【０２３６】
ステップＳ５５の後、再度ステップＳ５２を行う場合、直前のステップＳ５３，Ｓ５４５で定めたεおよびＷを、εおよびＷの固定値として用いればよい。また、直前のステップＳ５２で定めた特徴点群の位置を特徴点群の初期位置としてステップＳ５２を開始すればよい。
【０２３７】
ステップＳ５５においてループ処理を終了すると判定した場合、特徴点配置手段３は、直前のステップＳ５２で定めた特徴点群と、直前のステップＳ５３で定めたεと、直前のステップＳ５４で定めたＷとを、特抽学習・評価データ生成手段４１に対して指定する。すなわち、特徴点配置手段３は、特徴点の配置を定めるとともに、各特徴点の抽出に用いるべき局所パターンの大きさを、直前のステップＳ５３で定めたεとすることを決定し、また、各特徴点の抽出に用いるべき局所パターンのアスペクト比を、直前のステップＳ５４で定めたＷとすることを決定する。
【０２３８】
この第４の実施形態の変形例においても、第４の実施形態と同様の効果を得ることができる。さらに、アスペクト比Ｗも考慮して評価値Ｑを計算し、評価値Ｑが最小となるアスペクト比Ｗを求めているので、姿勢推定や個体認証等において局所領域として長方形を切り出す場合、要件Ａ〜Ｃを満たす好ましいアスペクト比を求めることができる。
【０２３９】
なお、図１７では、ステップＳ５２〜Ｓ５４をループ処理とする場合を示したが、ステップＳ５２〜Ｓ５４をループ処理とせずに、ステップＳ５２〜Ｓ５４を一回ずつ行った後に処理を終了してもよい。
【０２４０】
また、ステップＳ５３とステップＳ５４とを別々に行うのではなく、評価値４ａが、εおよびＷをそれぞれ変化させて、評価値Ｑが最小となるεおよびＷを同時に特定してもよい。
【０２４１】
また、各特徴点の位置とεおよびＷを同時に定めてもよい。すなわち、特徴点の初期位置Ｗから評価値Ｑが最小となるように特徴点を移動させるときに、評価値Ｑの計算においてε，Ｗを変化させてもよい。そして、評価値Ｑが最小となるときの、特徴点の位置およびε，Ｗを同時に決定してもよい。
【０２４２】
次に、本発明の画像認識システムについて説明する。図１８は、本発明の画像認識システムの構成例を示すブロック図である。画像認識システム８１は、認識タスクを実行する認識タスク実行手段８２を備える。認識タスク実行手段８２は、本発明による特徴点選択システムが選択した特徴点の配置を、その特徴点選択システムから読み取り、その特徴点の配置を用いて、認識対象画像に対する認識タスクを実行する。認識タスクの種類は、特に限定されない。
【０２４３】
また、特徴点を選択する特徴点選択システムは、本発明の特徴点選択システムであればよく、第１の実施形態から第４の実施形態のうちのいずれの特徴点選択システムであってもよい。特徴点選択システムは、指定された特徴点の中から選択する特徴点を確定したときに、その特徴点の配置を記憶しておけばよい。そして、認識タスク実行手段８２は、その特徴点の配置を特徴点選択システムから読み込んで認識タスクを実行すればよい。
【０２４４】
特徴点選択システムでは認識タスクに適した特徴点を選択し、図１８に示す認識タスク実行手段８２はその特徴点を用いて認識タスクを実行するので、精度よく認識タスクを実行することができる。
【０２４５】
また、認識タスク実行手段８２は、本発明の特徴点選択システムにおける特徴点抽出器学習手段４５が学習した特徴点抽出器の内部データも特徴点選択システムから読み込んでもよい。そして、認識タスク実行時に認識対象画像から特徴点抽出を行う際には、その内部データを用いて特徴点抽出を行ってもよい。そのような構成により、特徴点抽出精度を向上することができ、その結果、認識タスクの精度を向上させることができる。
【０２４６】
認識タスク実行手段８２は、例えば、画像認識プログラムに従って動作するコンピュータのＣＰＵによって実現される。
【０２４７】
次に、本発明の最小構成を説明する。図１９は、本発明の最小構成を示すブロック図である。本発明の特徴点選択システムは、学習評価用データ生成手段９１と、学習手段９２と、選択手段９３とを備える。
【０２４８】
学習評価用データ生成手段９１（例えば、特抽学習・評価データ生成手段４１）は、３次元形状モデルおよびその３次元形状モデル上の複数の特徴点が指定されると、３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像（例えば学習データ）およびその特徴点位置と、認識タスクの評価に用いる評価用画像（例えば評価データ）とを生成する。
【０２４９】
学習手段９２（例えば特徴点抽出器学習手段４５）は、学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習する。
【０２５０】
選択手段９３（例えば、特徴点抽出器評価手段４６および特徴点選択手段４７、第２の実施形態における特徴点セット選択手段５１と認識タスク実行手段５２と特徴点選択手段５３等）は、学習により得られた判定用データを用いて評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する。
【０２５１】
そのような構成により、認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる。また、一つの個体の３次元形状モデルおよびその３次元形状モデル上の特徴点を指定することで、個体毎の適切な特徴点を選択することができる。
【０２５２】
また、上記の実施形態には、選択手段９３が、指定された複数の特徴点に含まれている複数の特徴点である特徴点セットを選択する特徴点セット選択手段（例えば、特徴点セット選択手段５１，６１）と、特徴点セット毎に、評価用画像に対して認識タスクを実行した時における認識誤差を算出する認識誤差算出手段（例えば、認識タスク実行手段５２，６２）と、特徴点セット選択手段が選択した特徴点セットのうち認識誤差が最小となる特徴点セットを選択する特徴点選択手段（例えば特徴点選択手段５３，６３）とを有する構成が開示されている。
【０２５３】
また、上記の実施形態には、学習により得られた判定用データを用いて、評価用画像の各局所領域に対して特徴点に該当するか否かを判定することにより評価用画像上の特徴点の位置を特定し、特定した特徴点の位置と、３次元形状モデル上で指定された特徴点に応じ計算された評価用画像上の正しい特徴点の位置との誤差を計算する特徴点誤差計算手段を備え、認識誤差算出手段が、特徴点誤差計算手段が計算した誤差を利用して認識誤差を算出する構成が開示されている。
【０２５４】
また、上記の実施形態には、特徴点セット選択手段が、特徴点セットに含める特徴点数を減らしつつ、定めた特徴点数の特徴点を含む各特徴点セットを選択し、認識誤差算出手段が、特徴点数が順次定められたときに、その特徴点数の特徴点を含む特徴点セット毎に評価用画像に対して認識タスクを実行した時における認識誤差を算出し、特徴点セット選択手段が、特徴点セットに含める特徴点数が所定数まで減少したとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差の、その特徴点数に減らす前の特徴点セットにおける認識誤差からの増加量が閾値以上になったとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差が閾値以上になったときに特徴点数を減らすことを停止し、特徴点選択手段が、特徴点数を減らすことを停止したときの特徴点数における認識誤差が最小となる特徴点セットを、特徴点セット選択手段が選択した特徴点セットの中から選択する構成が開示されている。
【０２５５】
また、上記の実施形態には、特徴点セット選択手段が、特徴点セットに含める特徴点数を増やしつつ、定めた特徴点数の特徴点を含む各特徴点セットを選択し、認識誤差算出手段が、特徴点数が順次定められたときに、その特徴点数の特徴点を含む特徴点セット毎に評価用画像に対して認識タスクを実行した時における認識誤差を算出し、特徴点セット選択手段が、特徴点セットに含める特徴点数が所定数まで増加したとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差の、その特徴点数に増やす前の特徴点セットにおける認識誤差に対する減少量が閾値以下になったとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差が閾値以下になったときに特徴点数を増やすことを停止し、特徴点選択手段が、特徴点数を増やすことを停止したときの特徴点数における認識誤差が最小となる特徴点セットを、特徴点セット選択手段が選択した特徴点セットの中から選択する構成が開示されている。
【０２５６】
また、上記の実施形態には、認識誤差算出手段が、個体の姿勢推定を行う認識タスクにおいて、更新前の特徴点数について計算した姿勢推定の認識誤差および姿勢パラメータ、およびそれらの微分値を用いて、特徴点数を更新したときの認識誤差を近似的に計算する構成が開示されている。
【０２５７】
また、上記の実施形態には、特徴点セット選択手段が、所定数の特徴点を含む特徴点セットをそれぞれ選択し、認識誤差算出手段が、特徴点セット毎に認識誤差を算出し、特徴点選択手段が、認識誤差が最小となる特徴点セットを選択する構成が開示されている。
【０２５８】
また、上記の実施形態には、選択手段９３が、学習により得られた判定用データを用いて、評価用画像の各局所領域に対して特徴点に該当するか否かを判定することにより評価用画像上の特徴点の位置を特定し、特定した特徴点の位置と、３次元形状モデル上で指定された特徴点に応じ計算された評価用画像上の正しい特徴点の位置との誤差を計算する特徴点誤差計算手段（例えば、特徴点抽出器評価手段４６）と、指定された特徴点の中から、その誤差が小さい順に所定数の特徴点を選択する特徴点選択手段（例えば特徴点選択手段４７）とを有する構成が開示されている。
【０２５９】
また、上記の実施形態には、学習評価用データ生成手段９１が、複数の個体の３次元形状モデルにおいて類似しているとして対応付けられている複数の特徴点を指定される構成が開示されている。
【０２６０】
また、上記の実施形態には、学習評価用データ生成手段９１に対して、３次元形状モデル上の複数の特徴点を指定する特徴点指定手段（例えば、特徴点生成手段１）を備え、特徴点指定手段が、３次元形状モデルに対して条件（例えば、個体の姿勢や照明の当たり方等）を変化させて得られる複数の画像を生成する画像群生成手段（例えば、学習画像群生成手段２）と、特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値（例えば、式（１）の右辺第２項）と、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値（例えば、式（１）の右辺第３項）とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値（例えば、評価値Ｑ）を計算する評価手段（例えば、評価手段４，４ａ）と、評価手段が計算する評価値が最小となるように３次元形状モデル上の特徴点群を配置する特徴点配置手段（例えば、特徴点配置手段３）とを有する構成が開示されている。そのような構成により、好ましい特徴点群を指定して、その中から特徴点を選択させることができる。
【０２６１】
また、上記の実施形態には、評価手段が、第２の評価値として、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される値を用いる構成が開示されている。
【０２６２】
また、上記の実施形態には、評価手段が、条件の異なるそれぞれの画像間での、画像内の特徴点における局所パターンの類似度が大きいほど小さな値として計算される第３の評価値（例えば、式（１）の右辺第４項）を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する構成が開示されている。
【０２６３】
また、上記の実施形態には、画像群生成手段が、複数の個体の３次元形状モデルに対して条件を変化させて得られる画像を生成し、評価手段が、各個体の３次元形状モデルを同一座標系で重ねた場合の個体同士の特徴点が近いほど小さな値となる第４の評価値（例えば、式（１）の右辺第１項）を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する構成が開示されている。
【産業上の利用可能性】
【０２６４】
本発明は、個体の姿勢推定や個体識別等の認識タスクを行う装置等で用いられる３次元形状モデル上の特徴点を決定するシステムとして好適に利用できる。
【符号の説明】
【０２６５】
４１ 特抽学習・評価データ生成手段
４２ 学習データ生成手段
４３ 学習パターン生成手段
４４ 評価データ生成手段
４５ 特徴点抽出器学習手段
４６ 特徴点抽出器評価手段
４７ 特徴点選択手段
５１，６１ 特徴点セット選択手段
５２，６２ 認識タスク実行手段
５３，６３ 特徴点選択手段
【特許請求の範囲】
【請求項１】
３次元形状モデルおよび当該３次元形状モデル上の複数の特徴点が指定されると、前記３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成する学習評価用データ生成手段と、
前記学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習する学習手段と、
学習により得られた判定用データを用いて前記評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する選択手段とを備える
ことを特徴とする特徴点選択システム。
【請求項２】
選択手段は、
指定された複数の特徴点に含まれている複数の特徴点である特徴点セットを選択する特徴点セット選択手段と、
特徴点セット毎に、評価用画像に対して認識タスクを実行した時における認識誤差を算出する認識誤差算出手段と、
特徴点セット選択手段が選択した特徴点セットのうち認識誤差が最小となる特徴点セットを選択する特徴点選択手段とを有する
請求項１に記載の特徴点選択システム。
【請求項３】
学習により得られた判定用データを用いて、評価用画像の各局所領域に対して特徴点に該当するか否かを判定することにより評価用画像上の特徴点の位置を特定し、特定した前記特徴点の位置と、３次元形状モデル上で指定された特徴点に応じ計算された評価用画像上の正しい特徴点の位置との誤差を計算する特徴点誤差計算手段を備え、
認識誤差算出手段は、前記特徴点誤差計算手段が計算した誤差を利用して認識誤差を算出する
請求項２に記載の特徴点選択システム。
【請求項４】
特徴点セット選択手段は、特徴点セットに含める特徴点数を減らしつつ、定めた特徴点数の特徴点を含む各特徴点セットを選択し、
認識誤差算出手段は、特徴点数が順次定められたときに、当該特徴点数の特徴点を含む特徴点セット毎に評価用画像に対して認識タスクを実行した時における認識誤差を算出し、
特徴点セット選択手段は、特徴点セットに含める特徴点数が所定数まで減少したとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差の、当該特徴点数に減らす前の特徴点セットにおける認識誤差からの増加量が閾値以上になったとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差が閾値以上になったときに特徴点数を減らすことを停止し、
特徴点選択手段は、特徴点数を減らすことを停止したときの特徴点数における認識誤差が最小となる特徴点セットを、特徴点セット選択手段が選択した特徴点セットの中から選択する
請求項２または請求項３に記載の特徴点選択システム。
【請求項５】
特徴点セット選択手段は、特徴点セットに含める特徴点数を増やしつつ、定めた特徴点数の特徴点を含む各特徴点セットを選択し、
認識誤差算出手段は、特徴点数が順次定められたときに、当該特徴点数の特徴点を含む特徴点セット毎に評価用画像に対して認識タスクを実行した時における認識誤差を算出し、
特徴点セット選択手段は、特徴点セットに含める特徴点数が所定数まで増加したとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差の、当該特徴点数に増やす前の特徴点セットにおける認識誤差に対する減少量が閾値以下になったとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差が閾値以下になったときに特徴点数を増やすことを停止し、
特徴点選択手段は、特徴点数を増やすことを停止したときの特徴点数における認識誤差が最小となる特徴点セットを、特徴点セット選択手段が選択した特徴点セットの中から選択する
請求項２または請求項３に記載の特徴点選択システム。
【請求項６】
認識誤差算出手段は、個体の姿勢推定を行う認識タスクにおいて、更新前の特徴点数について計算した姿勢推定の認識誤差および姿勢パラメータ、およびそれらの微分値を用いて、特徴点数を更新したときの認識誤差を近似的に計算する
請求項４または請求項５に記載の特徴点選択システム。
【請求項７】
特徴点セット選択手段は、所定数の特徴点を含む特徴点セットをそれぞれ選択し、
認識誤差算出手段は、特徴点セット毎に認識誤差を算出し、
特徴点選択手段は、認識誤差が最小となる特徴点セットを選択する
請求項２または請求項３に記載の特徴点選択システム。
【請求項８】
選択手段は、
学習により得られた判定用データを用いて、評価用画像の各局所領域に対して特徴点に該当するか否かを判定することにより評価用画像上の特徴点の位置を特定し、特定した前記特徴点の位置と、３次元形状モデル上で指定された特徴点に応じ計算された評価用画像上の正しい特徴点の位置との誤差を計算する特徴点誤差計算手段と、
指定された特徴点の中から、前記誤差が小さい順に所定数の特徴点を選択する特徴点選択手段とを有する
請求項１に記載の特徴点選択システム。
【請求項９】
学習評価用データ生成手段は、複数の個体の３次元形状モデルにおいて類似しているとして対応付けられている複数の特徴点を指定される
請求項１から請求項８のうちのいずれか１項に記載された特徴点選択システム。
【請求項１０】
学習評価用データ生成手段に対して、３次元形状モデル上の複数の特徴点を指定する特徴点指定手段を備え、
前記特徴点指定手段は、
３次元形状モデルに対して条件を変化させて得られる複数の画像を生成する画像群生成手段と、
特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値と、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する評価手段と、
前記評価手段が計算する評価値が最小となるように３次元形状モデル上の特徴点群を配置する特徴点配置手段とを有する
請求項１から請求項９のうちのいずれか１項に記載された特徴点選択システム。
【請求項１１】
評価手段は、第２の評価値として、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される値を用いる
請求項１０に記載の特徴点選択システム。
【請求項１２】
評価手段は、条件の異なるそれぞれの画像間での、画像内の特徴点における局所パターンの類似度が大きいほど小さな値として計算される第３の評価値を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する
請求項１０または請求項１１に記載の特徴点選択システム。
【請求項１３】
画像群生成手段は、複数の個体の３次元形状モデルに対して条件を変化させて得られる画像を生成し、
評価手段は、各個体の３次元形状モデルを同一座標系で重ねた場合の個体同士の特徴点が近いほど小さな値となる第４の評価値を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する
請求項１０から請求項１２のうちのいずれか１項に記載の特徴点選択システム。
【請求項１４】
請求項１から請求項１３のうちのいずれか１項に記載の特徴点選択システムが選択した特徴点の配置を用いて、認識対象画像に対する認識タスクを実行する認識タスク実行手段を備える
ことを特徴とする画像認識システム。
【請求項１５】
認識タスク実行手段は、
請求項１から請求項１３のうちのいずれか１項に記載の特徴点選択システムが選択した特徴点の配置とともに、前記特徴点選択システムの学習手段が学習した判定用データを用いて、認識対象画像に対する認識タスクを実行する
請求項１４に記載の画像認識システム。
【請求項１６】
３次元形状モデルおよび当該３次元形状モデル上の複数の特徴点が指定されると、前記３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成し、
前記学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習し、
学習により得られた判定用データを用いて前記評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する
ことを特徴とする特徴点選択方法。
【請求項１７】
指定された複数の特徴点に含まれている複数の特徴点である特徴点セットを選択し、
特徴点セット毎に、評価用画像に対して認識タスクを実行した時における認識誤差を算出し、
選択した特徴点セットのうち認識誤差が最小となる特徴点セットを選択する
請求項１６に記載の特徴点選択方法。
【請求項１８】
学習により得られた判定用データを用いて、評価用画像の各局所領域に対して特徴点に該当するか否かを判定することにより評価用画像上の特徴点の位置を特定し、特定した前記特徴点の位置と、３次元形状モデル上で指定された特徴点に応じ計算された評価用画像上の正しい特徴点の位置との誤差を計算し、
指定された特徴点の中から、前記誤差が小さい順に所定数の特徴点を選択する
請求項１６に記載の特徴点選択方法。
【請求項１９】
請求項１から請求項１３のうちのいずれか１項に記載の特徴点選択システムが選択した特徴点の配置を用いて、認識対象画像に対する認識タスクを実行する
ことを特徴とする画像認識方法。
【請求項２０】
請求項１から請求項１３のうちのいずれか１項に記載の特徴点選択システムが選択した特徴点の配置とともに、前記特徴点選択システムの学習手段が学習した判定用データを用いて、認識対象画像に対する認識タスクを実行する
請求項１９に記載の画像認識方法。
【請求項２１】
コンピュータに、
３次元形状モデルおよび当該３次元形状モデル上の複数の特徴点が指定されると、前記３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成する学習評価用データ生成処理、
前記学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習する学習処理、および、
学習により得られた判定用データを用いて前記評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する選択処理
を実行させるための特徴点選択プログラム。
【請求項２２】
コンピュータに、
選択処理で、
指定された複数の特徴点に含まれている複数の特徴点である特徴点セットを選択する特徴点セット選択処理、
特徴点セット毎に、評価用画像に対して認識タスクを実行した時における認識誤差を算出する認識誤差算出処理、および、
特徴点セット選択処理で選択した特徴点セットのうち認識誤差が最小となる特徴点セットを選択する特徴点選択処理
を実行させる請求項２１に記載の特徴点選択プログラム。
【請求項２３】
コンピュータに、
選択処理で、
学習により得られた判定用データを用いて、評価用画像の各局所領域に対して特徴点に該当するか否かを判定することにより評価用画像上の特徴点の位置を特定し、特定した前記特徴点の位置と、３次元形状モデル上で指定された特徴点に応じ計算された評価用画像上の正しい特徴点の位置との誤差を計算する特徴点誤差計算処理、および、
指定された特徴点の中から、前記誤差が小さい順に所定数の特徴点を選択させる特徴点選択処理
を実行させる請求項２１に記載の特徴点選択プログラム。
【請求項２４】
コンピュータに、
請求項１から請求項１３のうちのいずれか１項に記載の特徴点選択システムが選択した特徴点の配置を用いて、認識対象画像に対する認識タスクを実行する認識タスク実行処理
を実行させるための画像認識プログラム。
【請求項２５】
コンピュータに、
認識タスク実行処理で、
請求項１から請求項１３のうちのいずれか１項に記載の特徴点選択システムが選択した特徴点の配置とともに、前記特徴点選択システムの学習手段が学習した判定用データを用いて、認識対象画像に対する認識タスクを実行させる
請求項２４に記載の画像認識プログラム。
【請求項１】
３次元形状モデルおよび当該３次元形状モデル上の複数の特徴点が指定されると、前記３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成する学習評価用データ生成手段と、
前記学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習する学習手段と、
学習により得られた判定用データを用いて前記評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する選択手段とを備える
ことを特徴とする特徴点選択システム。
【請求項２】
選択手段は、
指定された複数の特徴点に含まれている複数の特徴点である特徴点セットを選択する特徴点セット選択手段と、
特徴点セット毎に、評価用画像に対して認識タスクを実行した時における認識誤差を算出する認識誤差算出手段と、
特徴点セット選択手段が選択した特徴点セットのうち認識誤差が最小となる特徴点セットを選択する特徴点選択手段とを有する
請求項１に記載の特徴点選択システム。
【請求項３】
学習により得られた判定用データを用いて、評価用画像の各局所領域に対して特徴点に該当するか否かを判定することにより評価用画像上の特徴点の位置を特定し、特定した前記特徴点の位置と、３次元形状モデル上で指定された特徴点に応じ計算された評価用画像上の正しい特徴点の位置との誤差を計算する特徴点誤差計算手段を備え、
認識誤差算出手段は、前記特徴点誤差計算手段が計算した誤差を利用して認識誤差を算出する
請求項２に記載の特徴点選択システム。
【請求項４】
特徴点セット選択手段は、特徴点セットに含める特徴点数を減らしつつ、定めた特徴点数の特徴点を含む各特徴点セットを選択し、
認識誤差算出手段は、特徴点数が順次定められたときに、当該特徴点数の特徴点を含む特徴点セット毎に評価用画像に対して認識タスクを実行した時における認識誤差を算出し、
特徴点セット選択手段は、特徴点セットに含める特徴点数が所定数まで減少したとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差の、当該特徴点数に減らす前の特徴点セットにおける認識誤差からの増加量が閾値以上になったとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差が閾値以上になったときに特徴点数を減らすことを停止し、
特徴点選択手段は、特徴点数を減らすことを停止したときの特徴点数における認識誤差が最小となる特徴点セットを、特徴点セット選択手段が選択した特徴点セットの中から選択する
請求項２または請求項３に記載の特徴点選択システム。
【請求項５】
特徴点セット選択手段は、特徴点セットに含める特徴点数を増やしつつ、定めた特徴点数の特徴点を含む各特徴点セットを選択し、
認識誤差算出手段は、特徴点数が順次定められたときに、当該特徴点数の特徴点を含む特徴点セット毎に評価用画像に対して認識タスクを実行した時における認識誤差を算出し、
特徴点セット選択手段は、特徴点セットに含める特徴点数が所定数まで増加したとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差の、当該特徴点数に増やす前の特徴点セットにおける認識誤差に対する減少量が閾値以下になったとき、または、定めた特徴点数の特徴点を含む特徴点セットにおける認識誤差が閾値以下になったときに特徴点数を増やすことを停止し、
特徴点選択手段は、特徴点数を増やすことを停止したときの特徴点数における認識誤差が最小となる特徴点セットを、特徴点セット選択手段が選択した特徴点セットの中から選択する
請求項２または請求項３に記載の特徴点選択システム。
【請求項６】
認識誤差算出手段は、個体の姿勢推定を行う認識タスクにおいて、更新前の特徴点数について計算した姿勢推定の認識誤差および姿勢パラメータ、およびそれらの微分値を用いて、特徴点数を更新したときの認識誤差を近似的に計算する
請求項４または請求項５に記載の特徴点選択システム。
【請求項７】
特徴点セット選択手段は、所定数の特徴点を含む特徴点セットをそれぞれ選択し、
認識誤差算出手段は、特徴点セット毎に認識誤差を算出し、
特徴点選択手段は、認識誤差が最小となる特徴点セットを選択する
請求項２または請求項３に記載の特徴点選択システム。
【請求項８】
選択手段は、
学習により得られた判定用データを用いて、評価用画像の各局所領域に対して特徴点に該当するか否かを判定することにより評価用画像上の特徴点の位置を特定し、特定した前記特徴点の位置と、３次元形状モデル上で指定された特徴点に応じ計算された評価用画像上の正しい特徴点の位置との誤差を計算する特徴点誤差計算手段と、
指定された特徴点の中から、前記誤差が小さい順に所定数の特徴点を選択する特徴点選択手段とを有する
請求項１に記載の特徴点選択システム。
【請求項９】
学習評価用データ生成手段は、複数の個体の３次元形状モデルにおいて類似しているとして対応付けられている複数の特徴点を指定される
請求項１から請求項８のうちのいずれか１項に記載された特徴点選択システム。
【請求項１０】
学習評価用データ生成手段に対して、３次元形状モデル上の複数の特徴点を指定する特徴点指定手段を備え、
前記特徴点指定手段は、
３次元形状モデルに対して条件を変化させて得られる複数の画像を生成する画像群生成手段と、
特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値と、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する評価手段と、
前記評価手段が計算する評価値が最小となるように３次元形状モデル上の特徴点群を配置する特徴点配置手段とを有する
請求項１から請求項９のうちのいずれか１項に記載された特徴点選択システム。
【請求項１１】
評価手段は、第２の評価値として、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される値を用いる
請求項１０に記載の特徴点選択システム。
【請求項１２】
評価手段は、条件の異なるそれぞれの画像間での、画像内の特徴点における局所パターンの類似度が大きいほど小さな値として計算される第３の評価値を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する
請求項１０または請求項１１に記載の特徴点選択システム。
【請求項１３】
画像群生成手段は、複数の個体の３次元形状モデルに対して条件を変化させて得られる画像を生成し、
評価手段は、各個体の３次元形状モデルを同一座標系で重ねた場合の個体同士の特徴点が近いほど小さな値となる第４の評価値を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する
請求項１０から請求項１２のうちのいずれか１項に記載の特徴点選択システム。
【請求項１４】
請求項１から請求項１３のうちのいずれか１項に記載の特徴点選択システムが選択した特徴点の配置を用いて、認識対象画像に対する認識タスクを実行する認識タスク実行手段を備える
ことを特徴とする画像認識システム。
【請求項１５】
認識タスク実行手段は、
請求項１から請求項１３のうちのいずれか１項に記載の特徴点選択システムが選択した特徴点の配置とともに、前記特徴点選択システムの学習手段が学習した判定用データを用いて、認識対象画像に対する認識タスクを実行する
請求項１４に記載の画像認識システム。
【請求項１６】
３次元形状モデルおよび当該３次元形状モデル上の複数の特徴点が指定されると、前記３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成し、
前記学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習し、
学習により得られた判定用データを用いて前記評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する
ことを特徴とする特徴点選択方法。
【請求項１７】
指定された複数の特徴点に含まれている複数の特徴点である特徴点セットを選択し、
特徴点セット毎に、評価用画像に対して認識タスクを実行した時における認識誤差を算出し、
選択した特徴点セットのうち認識誤差が最小となる特徴点セットを選択する
請求項１６に記載の特徴点選択方法。
【請求項１８】
学習により得られた判定用データを用いて、評価用画像の各局所領域に対して特徴点に該当するか否かを判定することにより評価用画像上の特徴点の位置を特定し、特定した前記特徴点の位置と、３次元形状モデル上で指定された特徴点に応じ計算された評価用画像上の正しい特徴点の位置との誤差を計算し、
指定された特徴点の中から、前記誤差が小さい順に所定数の特徴点を選択する
請求項１６に記載の特徴点選択方法。
【請求項１９】
請求項１から請求項１３のうちのいずれか１項に記載の特徴点選択システムが選択した特徴点の配置を用いて、認識対象画像に対する認識タスクを実行する
ことを特徴とする画像認識方法。
【請求項２０】
請求項１から請求項１３のうちのいずれか１項に記載の特徴点選択システムが選択した特徴点の配置とともに、前記特徴点選択システムの学習手段が学習した判定用データを用いて、認識対象画像に対する認識タスクを実行する
請求項１９に記載の画像認識方法。
【請求項２１】
コンピュータに、
３次元形状モデルおよび当該３次元形状モデル上の複数の特徴点が指定されると、前記３次元形状モデルから、特徴点抽出器における判定用データの学習に用いる学習用画像およびその特徴点位置と、認識タスクの評価に用いる評価用画像とを生成する学習評価用データ生成処理、
前記学習用画像およびその特徴点を用いて、画像から特徴点を抽出する特徴点抽出器が用いる判定用データを学習する学習処理、および、
学習により得られた判定用データを用いて前記評価用画像から特徴点の位置を抽出し、抽出された特徴点位置を用いて認識タスクを実行する際の認識誤差が少なくなる特徴点を、指定された複数の特徴点の中から選択する選択処理
を実行させるための特徴点選択プログラム。
【請求項２２】
コンピュータに、
選択処理で、
指定された複数の特徴点に含まれている複数の特徴点である特徴点セットを選択する特徴点セット選択処理、
特徴点セット毎に、評価用画像に対して認識タスクを実行した時における認識誤差を算出する認識誤差算出処理、および、
特徴点セット選択処理で選択した特徴点セットのうち認識誤差が最小となる特徴点セットを選択する特徴点選択処理
を実行させる請求項２１に記載の特徴点選択プログラム。
【請求項２３】
コンピュータに、
選択処理で、
学習により得られた判定用データを用いて、評価用画像の各局所領域に対して特徴点に該当するか否かを判定することにより評価用画像上の特徴点の位置を特定し、特定した前記特徴点の位置と、３次元形状モデル上で指定された特徴点に応じ計算された評価用画像上の正しい特徴点の位置との誤差を計算する特徴点誤差計算処理、および、
指定された特徴点の中から、前記誤差が小さい順に所定数の特徴点を選択させる特徴点選択処理
を実行させる請求項２１に記載の特徴点選択プログラム。
【請求項２４】
コンピュータに、
請求項１から請求項１３のうちのいずれか１項に記載の特徴点選択システムが選択した特徴点の配置を用いて、認識対象画像に対する認識タスクを実行する認識タスク実行処理
を実行させるための画像認識プログラム。
【請求項２５】
コンピュータに、
認識タスク実行処理で、
請求項１から請求項１３のうちのいずれか１項に記載の特徴点選択システムが選択した特徴点の配置とともに、前記特徴点選択システムの学習手段が学習した判定用データを用いて、認識対象画像に対する認識タスクを実行させる
請求項２４に記載の画像認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−２１８０５１（Ｐ２０１０−２１８０５１Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６１９３５（Ｐ２００９−６１９３５）
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]