ニューラルネットワークを実現するオブジェクトイメージにおいて興味のあるポイントを位置決めするシステム及び方法
本発明は、オブジェクトイメージにおいて少なくとも２つの興味のあるポイントを位置決めするシステムに関する。本発明によれば、１つのそのようなシステムは、人工ニューラルネットワークを使用するとともに、前記オブジェクトイメージを受け取るインプットレイヤ（Ｅ）と、オブジェクトイメージ内の興味のある予め定められた異なるポイントにそれぞれ関連している少なくとも２つの特徴マップ（Ｒ5m）を生成するために使用することができる複数のニューロン（Ｎ4l）からなり、第１の中間レイヤとして知られている少なくとも１つの中間レイヤ（Ｎ4）と、第１の中間レイヤ内の全てのニューロンにそれぞれ結合される複数のニューロンを備える前述した特徴マップ（Ｒ5m）を含む少なくとも１つのアウトプットレイヤ（Ｒ5）とを備えるレイヤ状のアーキテクチャを有する。本発明によれば、興味のあるポイントが、特徴マップの各々において全体における唯一の最大の位置（１７1，１７2，１７3，１７4）によって、オブジェクトイメージ内で位置決めされる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の分野は、静止画又は動画をデジタル処理する分野に関する。更に詳しくは、本発明は、デジタルイメージで表されるオブジェクトにおいて興味のある１又は複数のポイントを位置決めする技術に関する。
【０００２】
本発明は、例えば、限定される訳ではないが、瞳孔、目尻、鼻の頭、口、眉等のような、人の顔におけるデジタルな又はデジタル化されたイメージにおいて、物理的な特徴を検出する分野に関する。確かに、顔のイメージにおいて興味のあるポイントを自動検出することは、顔の分析における主な問題である。
【背景技術】
【０００３】
当分野では、幾つかの既知技術がある。そのほとんどは、専用の、特化されたフィルタによって、顔の特定の特徴の各々を独立して探索及び検出することからなる。
【０００４】
使用されているほとんどの検出器は、顔のクロミナンスの分析に依存し、顔の画素が、その色に従って、皮膚又は顔の要素に属するものとしてラベル付けされる。
【０００５】
他の検出器は、コントラスト変化を用いる。この目的のために、光のグラジエントの分析に依存する輪郭検出が適用される。したがって、検出された異なる輪郭から、顔の要素の識別が試みられる。
【０００６】
他のアプローチは、各要素の統計モデルを用いて、相関性による探索を実行する。これらのモデルは、一般に、求められる各要素のイメージ（すなわち、固有の特徴）を用いる主成分分析（ＰＣＡ）から構築される。
【０００７】
ある先行技術は、各要素の独立した検出を行う第１段階で決定された全ての候補位置に、幾何学的な顔モデルが適用される第２段階を実施する。第１段階で検出された要素は、候補位置の座標を形成し、モーファブル（ｍｏｒｐｈａｂｌｅ）になり得る幾何学モデルが、最良の座標を選択するために使用される。
【０００８】
最近の１つの方法は、古典的２段階スキーム（幾何学的規則の応用が続く顔要素に対する独立した探索を含む）以上に使用することが可能である。本方法は、アクティブ外観モデル（ＡＡＭ）の使用に依存し、特に、Ｄ．Ｃｒｉｓｔｉｎａｃｃｅ及びＴ．Ｃｏｏｔｅｓによる「Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｓｈａｐｅ ｃｏｎｓｔｒａｉｎｅｄ ｆａｃｉａｌ ｆｅａｔｕｒｅ ｄｅｔｅｃｔｏｒｓ」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ ２００４，Ｓｅｏｕｌ，Ｋｏｒｅａ，ｐｐ ３７５−３８０，２００４）に記述されている。これは、アクティブな顔モデルを、イメージ内の顔と一致させることによって、また形状とテクスチャとを組み合わせた線形モデルのパラメータを適用することによって、顔要素の位置を予測することからなる。この顔モデルは、興味のあるポイントが、興味のあるポイントの位置を符号化するベクトルと、関連する顔の軽いテクスチャとに関して、主成分分析（ＰＣＡ）によって注釈される顔から学習する。
【０００９】
これら様々な先行技術の主要な欠点は、顔イメージ、特にオブジェクトイメージに悪影響を与えるノイズの、顔における低ロバスト性である。
【００１０】
確かに、異なる顔要素を検出するために特別に設計された検出器は、例えば光過剰、又は光不足、側面光、下方光のような、イメージの極端な照明条件に耐えることはできない。また、イメージ品質の変化、特に、ビデオストリームから得られた（例えば、ウェブカム（ｗｅｂｃａｍ）によって得られた）か、又は、前の圧縮で行われた低解像度の場合に関し、低いロバスト性しか示さない。
【００１１】
更に、（皮膚の色のフィルタリングを適用する）クロミナンス分析に依存する方法は、光条件に敏感である。更に、グレーレベルのイメージに適用することができない。
【００１２】
興味のある異なるポイントの独立した検出に依存するこれら先行技術の別の欠点は、例えば、暗いメガネが着用されている場合の目や、顎鬚があり、あるいは、手によって隠されている口や、より一般的には、イメージの局部的な高い劣化がある場合のように、興味のあるポイントが隠されている場合、全く非効率的であることである。
【００１３】
いくつかの要素、又は、１つのみの要素の検出の失敗は、一般に、幾何学的な顔モデルのその後の使用によって修正されない。このモデルは、幾つかの候補位置から選択を行う必要がある場合のみ使用される。これは、前の段階で命令的に検出されているべきである。
【００１４】
これらの異なる欠点は、アクティブな顔に依存する方法において部分的に補償される。本方法は、形状及びテクスチャ情報を共に使用することによって、要素に対する一般的な探索を可能にする。しかしながら、これらの方法は、探索中、反復して決定されねばならない何百ものパラメータに依存する、時間のかかる不安定な最適化処理に依存し、特に長くて骨の折れる処理であるという別の欠点を有する。
【００１５】
更に、ＰＣＡによって生成された使用される統計モデルは線形であるので、イメージにおける全体的な変化、特に光の変化に関して低いロバスト性しか示さない。それらは、顔の隠された部分に関して低いロバスト性しか持たない。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明の目的は、特にこれら先行技術の欠点を克服することである。
【００１７】
更に詳しくは、本発明の目的は、位置決めする必要がある興味ある各ポイント、及びオブジェクトの各タイプに対して特有なフィルタの、時間を要しかつ骨の折れる開発を必要としないオブジェクトを表すイメージにおいて、興味のある幾つかのポイントを位置決めする技術を提供することである。
【００１８】
また、本発明の別の目的は、照明条件、色のバリエーション、部分的な隠れ等のように、イメージに悪影響を与える全てのノイズに関して特にロバストである位置決め技術を提案することである。
【００１９】
更に、本発明の別の目的は、イメージに部分的に悪影響を与える隠れを考慮し、隠されたポイントの位置の推測を可能にする技術を提供することである。
【００２０】
また、本発明の目的は、容易に適用でき、実施に費用がほとんどかからない技術を提供することである。
【００２１】
本発明の更に別の目的は、顔のイメージにおける顔要素の検出に特によく適した技術を提供することである。
【課題を解決するための手段】
【００２２】
本明細書で以下に説明するもの同様、これらの目的は、オブジェクトイメージにおいて興味のある少なくとも２つのポイントを位置決めし、人工的なニューラルネットワークを適用し、レイヤ状のアーキテクチャを示すシステムによって達成される。このシステムは、前記オブジェクトイメージを受け取るインプットレイヤと、第１の中間レイヤと称され、前記オブジェクトイメージのうち興味のある予め定められた別個のポイントにそれぞれ関連付けられた少なくとも２つの特徴マップの生成を可能にする複数のニューロンを備える少なくとも１つの中間レイヤと、それぞれが前記第１の中間レイヤの全てのニューロンに結合された複数のニューロンをそれら自体が備える特徴マップを備える少なくとも１つのアプトプットレイヤとを備える。
【００２３】
前記興味のあるポイントは、前記特徴マップの各々について、全体における唯一の最大値（unique overall maximum value）の位置によってオブジェクトイメージ内で位置決めされる。
【００２４】
従って、本発明は、オブジェクトを表すイメージにおいて興味のある幾つかのポイントを検出することに対する全く普通でかつ発明的なアプローチに基づいている。なぜなら、本発明は、最大値を求めるための簡単な探索によって、アプトプットにおける幾つかの特徴マップの生成を可能にし、位置決めされる興味のあるポイントの直接的な検出を可能にするニューラルレイヤアーキテクチャの使用を提案するからである。
【００２５】
従って、本発明は、オブジェクトイメージ全体において、ニューラルネットワークによって、興味のある異なるポイントの包括的な探索を提案し、特に、これらポイントのうち相対的な位置を考慮することを可能にするとともに、全体的又は部分的な隠れに関連する問題の解消を可能にする。
【００２６】
アウトプットレイヤは、それぞれが予め定められた別個の興味のあるポイントに関連付けられた少なくとも２つの特徴マップを備える。従って、各特徴マップを、興味のある特定のポイントに供することによって、同じイメージ内の興味のある幾つかのポイントを同時に探索することが可能となる。その後、このポイントは、各マップにおいて唯一の最大値を探索することにより位置決めされる。これは、興味のある全てのポイントに関連付けられた特徴マップ全体において幾つかの局部的な最大値を同時探索するよりも実施が簡単である。
【００２７】
更に、興味のある異なるポイントを検出するための専用のフィルタの設計及び開発はもはや不要である。これらフィルタは、予備的な学習段階の終了後に、ニューラルネットワークによって自動的に位置決めされる。
【００２８】
この種のニューラルアーキテクチャは更に、オブジェクトイメージの光に関して起こり得る問題に関し、従来技術よりもよりロバストであることを証明する。
【００２９】
この場合、「予め定められた興味のあるポイント」なる文言は、例えば、顔イメージの場合であれば目、鼻、口等、オブジェクトの顕著な要素を意味すると理解されることが明白であるに違いない。
【００３０】
従って、本発明は、イメージ内の輪郭ではなく、予め定められた識別された要素を探索することからなる。
【００３１】
有利な特性によれば、前記オブジェクトイメージは顔イメージである。そして、求められる興味あるポイントは、例えば、目、鼻、眉等のような不変の物理的特徴である。
【００３２】
有利なことに、この種の位置決めシステムはまた、複数のニューロンを備える少なくとも１つの第２の中間畳み込みレイヤを備える。そのようなレイヤは、例えば、オブジェクトイメージ内のコントラストラインのような低レベル要素の検出に特化することができる。
【００３３】
好ましくは、この種の位置決めシステムはまた、複数のニューロンを備える少なくとも１つの第３のサブサンプリング中間レイヤを備える。従って、作業が行われるイメージの大きさが低減される。
【００３４】
本発明の好ましい実施形態では、そのような位置決めシステムは、前記インプットレイヤと前記第１の中間レイヤとの間に、
複数のニューロンを備え、前記オブジェクトイメージ内の少なくとも１つのエレメンタリ・ラインタイプ(elementary line type)形状の検出を可能にする、畳み込まれたオブジェクトイメージを提供する第２の中間畳み込みレイヤと、
複数のニューロンを備え、前記畳み込まれたオブジェクトイメージのサイズの低減を可能にする、低減された畳み込まれたオブジェクトイメージを提供する第３の中間サブサンプリングレイヤと、
複数のニューロンを備え、前記低減された畳み込まれたオブジェクトイメージにおいて少なくとも１つのコーナタイプ複雑形状の検出を可能にする第４の中間畳み込みレイヤとを備える。
【００３５】
本発明はまた、本明細書に記載したように、オブジェクトイメージにおいて、興味のある少なくとも２つのポイントを位置決めするシステムのニューラルネットワークのための学習方法に関する。前記ニューロンの各々は、シナプス重み及びバイアスによって重み付けられた少なくとも１つのインプットを有する。このタイプの学習方法は、以下のステップを備える。すなわち、
位置決めされる前記興味のあるポイントの関数として注釈される複数のオブジェクトイメージを備える学習ベースを構築することと、
前記シナプス重み及び／又は前記バイアスを初期化することと、
前記学習ベースの注釈されたイメージの各々について、
前記イメージにおいて興味のある少なくとも２つの注釈され予め定められたポイントの各々から、アウトプットにおいて、前記少なくとも２つの所望の特徴マップを準備し、
前記位置決めシステムのインプットにおいて前記イメージを表して、アウトプットにおいて提供される少なくとも２つの特徴マップを決定し、
前記シナプス重み及び／又は前記最適なバイアスを決定できるように、前記学習ベースの前記注釈イメージの設定に関し、前記アウトプットにおいて提供される所望の特徴マップ間の相違を最小にすることとを備える。
【００３６】
従って、ユーザによってマニュアルで注釈された例に依存して、ニューラルネットワークは、オブジェクトイメージ内の興味のある、あるポイントを認識することを学習する。その後、ネットワークのインプットにおいて所与の任意のイメージ内においてそれらを位置決めすることができる。
【００３７】
有利なことに、前記最小にすることは、前記アウトプットにおいて提供された所望の特徴マップ間の平均平方誤差を最小化することであり、反復グラジエントバックプロパゲーションアルゴリズムを適用する。このアルゴリズムは、本明細書の付録２に詳細が記述され、異なるバイアスの最適値と、ネットワークのシナプス重みとを用いた高速収束を可能にする。
【００３８】
本発明はまた、オブジェクトイメージ内の興味のある少なくとも２つのポイントを位置決めする方法に関する。本方法は、
人工ニューラルネットワークを実現するレイヤ状のアーキテクチャのインプットにおいて前記オブジェクトイメージを表すことと、
複数のニューロンを備え、前記オブジェクトイメージのうち興味のある予め定められた異なるポイントにそれぞれ関連付けられた少なくとも２つの特徴マップの生成と、前記第１の中間レイヤの全てのニューロンにそれぞれ接続された複数のニューロンを備える前記特徴マップを備える少なくとも１つのアウトプットレイヤの生成とを可能にする第１の中間レイヤと呼ばれる少なくとも１つの中間レイヤを連続的にアクティベートすることと、
前記特徴マップにおいて、前記マップの各々の全体における唯一の最大値の位置を探索することによって、前記オブジェクトイメージ内の前記興味のあるポイントを位置決めすることとを有する各ステップを備える。
【００３９】
本発明の有利な特徴に従って、この種の位置決め方法は、
あらゆるイメージにおいて、前記オブジェクトを含み、前記オブジェクトイメージを構成するゾーンを検出することと、
前記オブジェクトイメージをリサイズすることと
を有する予備ステップを備える。
【００４０】
この検出は、当業者に周知な、例えば、複雑なイメージ内の顔を含むボックスを判定するために使用可能な顔検出器のような古典的検出器から行うことができる。リサイズは、検出器によって自動的に、あるいは、同じサイズの全てのイメージが、ニューラルネットワークのインプットにおいて与えられることを可能にする専用手段によって独立して行われ得る。
【００４１】
本発明はまた、プロセッサによって実行された場合、上述したニューラルネットワークのための学習方法を実行するプログラムコード命令を備えるコンピュータプログラムのみならず、プロセッサによって実行された場合、上述したようなオブジェクトイメージ内の興味のある少なくとも２つのポイントを位置決めする方法を実行するプログラムコード命令を備えるコンピュータプログラムに関する。
【００４２】
そのようなプログラムは、通信ネットワーク（例えば、インターネットワールドワイドネットワーク）からダウンロードされるか、および／あるいは、コンピュータ読取可能データキャリアに格納することができる。
【００４３】
本発明の他の特徴及び利点は、例示的で限定しない例によって与えられた好ましい実施形態の以下の記述から、及び、添付図面からより明らかになるものとする。
【発明を実施するための最良の形態】
【００４４】
本発明の一般的な原理は、オブジェクトイメージ（更に詳しくは、半リジットなオブジェクト）、特に、顔のイメージにおいて興味のある幾つかのポイントの自動検出（目、鼻、又は口のような不変の特徴の検出）を可能にするニューラルアーキテクチャの使用に依存する。更に詳しくは、本発明の原理は、１つの動作で、オブジェクトイメージを幾つかの特徴マップに変換することを学習することが可能となるニューラルネットワークを構築することにある。特徴マップについては、最大値の位置が、インプットにおいて与えられたオブジェクトイメージ内のユーザによって選択される興味のあるポイントの位置に対応する。
【００４５】
このニューラルアーキテクチャは、ロバストな低レベル検出器の自動開発を可能にし、同時に、検出された要素のもっともらしい相対的な構成を管理するために使用される規則の学習のために備え、そして、もしあれば、利用可能な何れかの情報が、隠れた要素を位置決めするために考慮されることを可能にする幾つかの異質のレイヤからなる。
【００４６】
ニューロンの全ての結合重みは、学習段階の間、予めセグメント化されたオブジェクトイメージのセットから、及び、これらイメージ内の興味のあるポイントの位置から設定される。
【００４７】
その後、ニューラルアーキテクチャは、より大きなサイズのイメージで、又は、ビデオシーケンスで予備的に検出されるオブジェクトを含むイメージゾーンの、その要素が−１〜１との間の範囲にあるインプットイメージのサイズを有するデジタルマップのセットへの変換を可能にするフィルタのカスケードのように動作する。各マップは、興味のある特定のポイントに対応し、その位置は、値が最大値である要素の位置を求める簡単な探索によって識別される。
【００４８】
１つの顔イメージ上の幾つかの顔要素の検出に関し、本発明の典型的な実施形態をより具体的に記載するために、それは、本書の残り全体にわたって試みられる。しかしながら、もちろん本発明は、例えば、自動車の車体の要素や、ビルディングの設定のアーキテクチャルな特徴の検出のように、オブジェクトを表すイメージにおける興味のあるどのポイントの検出にも適用可能である。
【００４９】
顔イメージにおける物理的特性の検出に関し、本発明の方法は、恐らくは、要素を隠すことと、解像度、コントラスト、及び照明に関する高い不安定さを有するイメージ内に表れることとを含む変化した顔の表情を有する様々なポーズ（方向、半正面視）での、顔における顔要素のロバストな検出を可能にする。
【００５０】
７．１ ニューラルアーキテクチャ
図１に示すように、本発明者らは、興味のあるポイントを位置決めするための本発明のシステムの人工的なニューラルネットワークのアーキテクチャを示す。そのような人工的なニューロンの動作原理は、その構造と同様に、本説明の不可欠な部分を形成する付録１に示される。この種のニューラルネットワークは、例えば、同様に付録１に記載されているマルチレイヤ認知タイプネットワークである。
【００５１】
このようなニューラルネットワークは、Ｅ，Ｃ1，Ｓ2，Ｃ3，Ｎ4，及びＲ5として示される６つの相互に連結した異種混合レイヤからなる。このレイヤは、畳み込み演算及びサブサンプル演算の成功に由来する一連のマップを含む。それらの連続的かつ組み合わされた動作によって、これら異なるレイヤは、興味のあるポイントの位置が容易に判定されるアウトプットマップＲ5mの生成に至るインプットにおいて表されるイメージにおいて、基本関数(primitives)を抽出する。
【００５２】
更に詳しくは、提案するアーキテクチャは、
インプットレイヤＥを備える。これは、Ｈが行数でありＬが列数であるＨ×Ｌのサイズのイメージマトリクスである網膜である。インプットレイヤＥは、同じサイズのイメージゾーンＨ×Ｌからなる要素を受け取る。グレーレベルにおけるニューラルネットワークのインプットにおいて表されるイメージの各ピクセルＰij（Ｐijは、０から２５５まで変化する）について、マトリクスＥの対応する要素はＥij＝（Ｐij−１２８）／１２８であり、値は、−１〜１との間で変化する。Ｈ＝５６及びＬ＝４６の値が選択される。従って、Ｈ×Ｌはまた、ニューラルネットワークのパラメータ化のために使用される学習ベースの顔イメージと、１又は複数の顔要素を検出することが望まれる顔イメージとのサイズでもある。このサイズは、より大きなサイズのイメージ又はビデオシーケンスから抽出する顔検出器のアウトプットにおいて、顔イメージから直接的に取得されるものである。それはまた、顔検出器による抽出後に顔イメージがリサイズされるサイズかもしれない。好ましくは、この種のリサイズは、顔の自然な大きさを維持する。
Ｃ1iによって参照されるＮＣ1個のマップによって構成される第１の畳み込みレイヤＣ1。各マップＣ1iは、インプットマップＥに結合されており（１０i）、（付録１に示すように）複数の線形なニューロンを備えている。これらニューロンの各々は、図２に詳細を示すように、シナプスによって、マップＥ（受容フィールド）内のＭ1×Ｍ1の近隣要素のセットに結合される。これらのニューロンの各々は更にバイアスを受け取る。バイアスを加えたＭ1×Ｍ1のこれらのシナプスは、Ｃ1iのニューロンのセットによって共有される。従って、各マップＣ1iは、インプットマップＥ内において、バイアスによって増加されたＭ1×Ｍ1コア１１による畳み込み結果に対応する。この畳み込みは、例えば、イメージの方向付けられたコントラストラインのようなインプットマップ内のある低レベルな形状の検出器として特殊化する。従って、各マップＣ1iは、畳み込みのエッジ効果を阻止するために、Ｈ1×Ｌ1のサイズとなる。ここで、Ｈ1＝（Ｈ−Ｍ1＋１）及びＬ1＝（Ｌ−Ｍ1＋１）となる。例えば、レイヤＣ1は、ＮＮ1×ＮＮ1＝７×７のサイズの畳み込みコアを有する５０×４１のサイズのＮＣ1＝４個のマップを含む。
ＮＳ２個のマップＳ2jによって構成されるサブサンプリングレイヤＳ2。各マップＳ2jは、対応するマップＣ1iに結合されている（１２j）。マップＳ2jの各ニューロンは、図２に詳細を例示するように、マップＣ1i（受容フィールド）内のＭ2×Ｍ2近隣要素１３の平均を受け取る。各ニューロンは、この平均にシナプス重みを乗じ、それにバイアスを加える。最適値が学習段階において決定されるシナプス重みとバイアスは、各マップＳ2jのニューロンのセットによって共有される。各ニューロンの出力は、Ｓ字関数への推移後に得られる。各マップＳ2jは、Ｈ2×Ｌ2のサイズを有する。ここで、Ｈ2＝Ｈ1／Ｍ2及びＬ2＝Ｌ1／Ｍ2である。例えば、レイヤＳ2は、ＮＮ2×ＮＮ2＝２×２のサブサンプリング１を有する２５×２０のサイズのＮＳ2＝４個のマップを含む。
ＮＣ3個のマップＣ3Kからなる畳み込みレイヤＣ3。各マップＣ3Kは、サブサンプリングレイヤＳ2のマップＳ2jの各々に結合されている（１４K）。マップＣ3Kのニューロンは線形であり、これらニューロンの各々は、シナプスによって、マップＳ2jの各々のＭ3×Ｍ3近隣要素１５のセットに結合される。それは更にバイアスを受け取る。マップあたりＭ3×Ｍ3のシナプスにバイアスＩを加えたものは、マップＣ3Kのニューロンのセットによって共有される。マップＣ3Kは、バイアスによって増加したコアＭ3×Ｍ3１５によるＮＣ3個の畳み込みの総和の結果に一致する。これら畳み込みによって、インプットにおける寄与マップＣ1iに関する抽出を組み合わせる際に、例えばコーナのような最も高レベルな特徴の抽出が可能となる。各マップＣ3Kは、Ｈ3×Ｌ3のサイズを有する。ここでＨ3＝（Ｈ2−Ｍ3＋１）及びＬ3＝（Ｌ2−Ｍ3＋１）である。例えば、レイヤＣ3は、ＮＮ3×ＮＮ3＝５×５のサイズを有する畳み込みコアを備える、２１×１６のサイズを有するＮＣ3＝４個のマップを含む。
ＮＮ4個のＳ字状ニューロンＮ4lからなるレイヤＮ4。レイヤＮ4の各ニューロンは、レイヤＣ3の全てのニューロンに結合され（１６i）、バイアスを受け取る。これらニューロンＮ4lは、マップＣ3の全体を考慮しながら、これらマップの各々における興味のあるポイントの位置に関する応答を最大にする際、アウトプットマップＲ5mの生成を学習するために使用される。これによって、他の検出を考慮する際に、興味のある特定のポイントを検出することが可能となる。選択された値は、例えば、ＮＮ4＝１００個のニューロンであり、ハイパボリックタンジェント関数（ｔｈ又はｔａｎｈと称される）が、Ｓ字ニューロンの伝達関数のために選択される。
ユーザによって選択される興味のある各ポイント（右目、左目、鼻、口等）のためＮＲ5個のマップＲ5mによって構成されたマップのレイヤＲ5。各マップＲ5mは、レイヤＮ4の全てのニューロンに結合されている。マップＲ5mのニューロンは、Ｓ字状であり、それぞれが、レイヤＮ4の全てのニューロンに結合されている。各マップＲ5mは、Ｈ×Ｌのサイズを有する。これは、インプットレイヤＥのサイズである。例として選ばれた値は、５６×４６のサイズを有するＮＲ5＝４個のマップであり、ニューラルネットワークの起動後、各マップＲ5mにおいて最大のアウトプットを有するニューロン１７1，１７2，１７3，１７4の位置は、ネットワークのインプットにおいて表されたイメージ内の対応する顔要素の位置に対応する。本発明の実施形態の一つの変形例では、レイヤＲ5は、イメージ内で位置決めされる興味のある全てのポイントが表される特徴マップを１つのみ有することが注目される。
【００５３】
図２は、２×２のサブサンプリング１３からなるマップＳ2jが後に続く５×５畳み込み１１のマップＣ1iを例示する。エッジ効果を阻止するために、実行される畳み込みは、マップＣ1iのエッジ上に位置するピクセルを考慮しないことが注目され得る。
【００５４】
顔イメージにおける興味のあるポイントを検出できるために、後述する学習段階中に、図１のニューラルネットワークをパラメータ化する必要がある。
【００５５】
７．２ イメージベースからの学習
上述したレイヤ状のニューラルアーキテクチャの構成後、学習によって、このアーキテクチャの全てのニューロンのシナプスの重みを調節できるように注釈イメージの学習ベースが構築される。
【００５６】
これを行うために、下記の処理が行われる。
【００５７】
第一に、顔のイメージのセットＴが、イメージの大型サイズの体からマニュアル抽出される。顔イメージはそれぞれ、好ましくは、顔の自然な特徴を維持したまま、Ｈ×ＬのサイズのニューラルアーキテクチャのインプットレイヤＥにリサイズされる。様々な外観の顔イメージが抽出されることがわかる。
【００５８】
顔において興味のある４つのポイント（特に、右目、左目、鼻、及び口）の検出に注目する具体的な実施形態では、目、鼻、及び、口の中心位置は、図３ａに例示するようにマニュアルで識別される。従って、位置決めのためにニューラルネットワークが学習しなければならない興味のあるポイントの機能として注釈されるイメージのセットが得られる。イメージにおいて位置決めされる興味のあるこれらのポイントは、ユーザによって自由に選択され得る。
【００５９】
更に変化する例を自動的に生成するために、注釈位置のみならず、これらイメージに対しても、例えば、列ワイズの変換及び行ワイズの変換（例えば、左、右、上、及び下へ最大６ピクセル）、イメージ中心に対して−２５°から＋２５°角度を変化させる回転、顔のサイズに対して０．８〜１．２倍の後方ズーム及び前方ズームのような変換セットが適用される。このようにして、所与のイメージから、図３ｂに示すように、変換された複数のイメージが得られる。顔のイメージに適用されるこれらバリエーションは、学習段階において、顔の可能な外観のみならず、顔の自動検出中に起こり得るセンタリング誤差をも考慮するために使用することができる。
【００６０】
このセットＴは学習セットと呼ばれる。
【００６１】
例えば、左目、右目、鼻、及び、口の中心位置の関数としてマニュアルで注釈された顔の、約２，５００イメージの学習ベースを使用することが可能である。これら注釈されたイメージ（変換、回転、ズーム等）に対して幾何学的な変形を加えた後、注釈された顔の例が約３２，０００得られ、高い可変性を示す。
【００６２】
したがって、ニューラルアーキテクチャのバイアスとシナプスの重みのセットが、自動的に学習される。この目的のために、第一に、ニューロンのセットのシナプス重みとバイアスとが、ランダムに、小さな値に初期化される。次いで、セットＴのＮT個のイメージＩが、ニューラルネットワークのインプットレイヤＥにおいて、無指定順に表される。表されたイメージＩのそれぞれについて、演算が最適であれば、ニューラルネットワークが、レイヤＲ5において提供しなければならないアウトプットマップＤ5mが準備される。これらマップＤ5mは、所望のマップと称される。
【００６３】
これらマップＤ5mの各々では、ポイントのセットの値は、その位置が、マップＤ5mが位置決め可能なように再現し、その所望の値が１である顔要素の位置と一致するポイントに対する場合を除いて、−１に固定される。これらマップＤ5mは、図３ａに例示される。ここで各ポイントは、値＋１を有するポイントに対応し、その位置は、位置決めされる顔要素（右目、左目、鼻、又は、口の中心）の位置に対応する。
【００６４】
一旦マップＤ5mが準備されると、ニューラルネットワークのレイヤＣ1，Ｓ2，Ｃ3，Ｎ4，及びＲ5とインプットレイヤＥとが、互いにアクティベートする。
【００６５】
そして、レイヤＲ5において本発明者らは、イメージＩに対するニューロンネットワークの応答を得る。この目的は、所望のマップＤ5mと同じマップＲ5mを得ることである。従って本発明者らは、この目的を達成するために、最小化される目的関数を定義する。
【数１】
ここで、（ｉ，ｊ）は、各マップＲ5mの行ｉ及び列ｊにおける要素に対応する。従って、行われることは、学習セットＴの注釈マップセットに関して生成されたマップＲ5mと所望のマップＤ5mとの間の平均平方誤差を最小化することである。
【００６６】
目的関数Ｏを最小化するために、反復グラジエントバックプロバゲーションアルゴリズム(iterative gradient backpropagation algorithm)が使用される。このアルゴリズムの原理は、本説明の不可欠な部分である付録２で説明されている。このようにして、この種のグラジエントバックプロバゲーションアルゴリズムは、ネットワークのニューロンセットの全てのシナプス重み及び最適バイアスを決定するために使用することができる。
【００６７】
例えば、グラジエントバックプロバゲーションアルゴリズムにおいて以下のパラメータを使用することができる。
レイヤＣ1，Ｓ2，Ｃ3のニューロンのための０．００５学習ステップ、
レイヤＮ4のニューロンのための０．００１学習ステップ、
レイヤＲ5のニューロンのための０．０００５学習ステップ、
アーキテクチャのニューロンのための０．２のモーメンタム。
【００６８】
したがって、グラジエントバックプロバゲーションアルゴリズムは、アルゴリズムの１つの反復が、学習セットＴの全てのイメージの表示と一致すると認められる場合、２５回の反復後、安定解に収束する。
【００６９】
バイアス及びシナプス重みの最適値が一旦決定されると、図１のニューラルネットワークは、学習セットＴのイメージ内の興味のある注釈ポイントを抽出するために、無指定のデジタル顔イメージを処理する準備ができる。
【００７０】
７．３ イメージ内の興味のあるポイントの探索
今後は、顔イメージにおいて顔要素を探索するために、学習段階において設定した図１のニューラルネットワークを使用することが可能である。この種の位置決めを実行するために使用される方法が図４に示される。
【００７１】
本発明者らは、顔検出器を用いることによって、イメージ４６内に表される顔４４および４５を検出する（４０）。この顔検出器は、顔４４、４５の各々の内部を含むボックスを位置決めする。顔要素に対する探索がなされ、各ボックスに含まれるイメージのゾーンが抽出されて（４１）、顔４７、４８のイメージが構成される。
【００７２】
抽出された各顔イメージＩ ４７，４８は、サイズＨ×Ｌにリサイズされ（４１）、図１のニューラルアーキテクチャのインプットＥに供される。インプットレイヤＥ、中間レイヤＣ1，Ｓ2，Ｃ3，Ｎ4、及びアウトプットレイヤＲ5は、ニューラルアーキテクチャによるイメージＩ ４７，４８のフィルタリング４２を行うために、互いにアクティベートされる。
【００７３】
レイヤＲ5では、ニューラルネットワークからイメージＩ ４７，４８への応答が、イメージＩ ４７，４８の各々に対し、４つの特徴マップＲ5mの形態で取得される。
【００７４】
したがって、各特徴マップＲ5mにおいて最大値を探索することによって、顔イメージＩ ４７，４８における興味のあるポイントが位置決めされる（４３）。更に詳しくは、マップＲ5mの各々において、ｍ∈ＮＲ5の場合、
【数２】
になるように、位置
【数３】
に対する探索がなされる。この位置は、このマップに対応する興味のあるポイント（例えば、右目）の要求位置に相当する。
【００７５】
本発明の好ましい実施形態では、顔は、Ｃ．Ｇａｒｃｉａ及びＭ．Ｄｅｌａｋｉｓによって２００４年１１月に「Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｆａｃｅ Ｆｉｎｄｅｒ：ａ Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｆａｓｔ ａｎｄ Ｒｏｂｕｓｔ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ」ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２６（１１）：１４０８−１４２２で著された顔検出器ＣＦＦによって、イメージ４６内で検出される（４０）。
【００７６】
この種の顔ファインダは、確かに、複雑な背景シーン及び光の変化形態において、最小サイズ２０×２０、最大±２５度までの勾配、最大±６０度までの回転からなる顔のロバストな検出のために使用される。ＣＦＦファインダが、検出された顔４７、４８を含むボックスを決定し（４０）、このボックスの内部が抽出され、次いでＨ＝５６及びＬ＝４６を有するサイズにリサイズされる（４１）。したがって、各イメージは、図１のニューラルネットワークのインプットで表される。
【００７７】
図１の位置決め方法は、イメージ内に存在する顔の高い変動性に関し、特に高いロバスト性を有する。
【００７８】
図５に示すように、本発明者らは、オブジェクトイメージにおいて興味のあるポイントを位置決めするためのシステム又はデバイスの簡略ブロック図を示す。そのようなシステムは、メモリＭ５１と、コンピュータプログラムＰｇ５２によって駆動されるプロセッサμＰを備えた処理ユニット５０とを備える。
【００７９】
第１の学習段階では、処理ユニット５０が、インプットにおいて、学習している顔イメージのセットＴを受け取る。これは、本システムがイメージ内で位置決めできる興味あるポイントに従って注釈される。このセットから、マイクロプロセッサμＰは、プログラムＰｇ５２の命令に従って、ニューラルネットワークのシナプス重みとバイアスの値を最適化するために、グラジエントバックプロパゲーションアルゴリズムを適用する。
【００８０】
したがって、これらの最適値５４は、メモリＭ５１に格納される。
【００８１】
興味あるポイントを探索する第２段階では、シナプス重み及びバイアスの最適値がメモリＭ５１からロードされる。処理ユニット５０は、インプットにおいて、オブジェクトイメージＩを受け取る。このイメージから、プログラムＰｇ５２の命令に従って動作するマイクロプロセッサμＰは、ニューラルネットワークによるフィルタリングを行い、アプトプットにおいて取得された特徴マップにおける最大値を探索する。処理ユニット５０のアウトプットでは、イメージＩ内で求められる興味あるポイントの各々のための座標５３が取得される。
【００８２】
本発明を通じて検出された興味あるポイントの位置に基づいて、例えば、モデルによる顔の符号化、局部変形によって固定された顔イメージの合成アニメーション、特徴的機能（目、鼻、口）の局所分析に基づく形状認識又は感情認識の方法、及び、更に詳しくは、（ユーザが見ている、読唇等している方向に従った）人工的なビジョンを用いたマンマシンインタラクション(man-machine interaction)のような多くのアプリケーションが可能となる。
【００８３】
付録１：人工ニューロン及び多層パーセプトロンニューラルネットワーク
１．一般的ポイント
多層パーセプトロンは、インプットレイヤからアウトプットレイヤへ情報が１方向のみに移動するレイヤ内で体系化された人工ニューロンの適応ネットワークである。図６は、インプットレイヤ６０、２つの隠蔽レイヤ６１および６２、及びアウトプットレイヤ６３を含むネットワークの一例を示す。インプットレイヤＣは、システムのインプットに関連したバーチャルレイヤを常に表す。それはニューロンを含んでいない。次のレイヤ６１〜６３は、ニューラルレイヤである。概して多層パーセプトロンは、任意の数のレイヤを有し、レイヤ毎に任意の数のニューロン（又はインプット）を有することができる。
【００８４】
図６に示す例では、ニューラルネットワークは３つのインプット、第１の隠蔽レイヤ６１上の４つのニューロン、第２のレイヤ６２上の３つのニューロン、アウトプットレイヤ６３上の４つのニューロンを有する。最終レイヤ６３のニューロンのアウトプットは、システムのアウトプットに相当する。
【００８５】
人工ニューロンは、重み（実際の値ｗj）を有し、実際の値ｙにおいてアウトプットを提供するシナプスの条件によって、インプット信号（Ｘ、実際の値のベクトル）を受け取る計算ユニットである。図７は、その動作が、以下に示すパラグラフ§２に記載されているこの種の人工ニューロンの構造を示す。
【００８６】
図６のネットワークのニューロンは、重み付けられたシナプス結合によってレイヤからレイヤまで互いに接続される。ネットワークの動作を司り、非線形変換によってインプット空間からアウトプット空間へアプリケーションを「プログラム」するのがそれら結合の重みである。従って、問題を解決するために多層パーセプトロンを生成することは、所望のインプットベクトルとアウトプットベクトルとのペアによって構成される学習データのセットによって定義されるように、最も可能性の高いアプリケーションを推測することを必要とする。
【００８７】
２．人工ニューロン
上述したように、人工ニューロンは、Ｘ0＝＋１に等しい固定値と同様に、ベクトルＸ、ｎ個の実際の値からなるベクトル［ｘ1，．．，ｘi，．．，ｘn］を受け取る計算ユニットである。
【００８８】
インプットｘiの各々は、ｗiによって重み付けられるシナプスを励起する。加算ユニット７０は、アクティベーション関数
【数４】
を通過した後、実際の値ｙを用いてアウトプットを与えるポテンシャルＶを計算する。ポテンシャルＶは、
【数５】
のように与えられる。量ｗ0ｘ0はバイアスと呼ばれ、ニューロンの閾値に相当する。アウトプットｙは、
【数６】
の形式で表現することができる。
関数
【数７】
は、目的とするアプリケーションに応じて異なる形式をとることができる。興味あるポイントを位置決めする方法に関し、２タイプのアクティベーション関数が使用される。
線形アクティベーション関数を有するニューロンの場合、本発明者らは、
【数８】
を採用する。これは、例えば、図１のネットワークのレイヤＣ1及びレイヤＣ3のニューロンを伴う場合である。
Ｓ字状の非線形アクティベーション関数を有するニューロンの場合、本発明者らは、例えば、その特性曲線が図８に例示されるように、−１〜１との間で実際の値を有するハイパボリックタンジェント関数
【数９】
を選択する。これは、例えば、図１のネットワークのレイヤＳ2，Ｎ4，及びＲ5のニューロンの場合である。
【００８９】
付録２：グラジエントバックプロバゲーションアルゴリズム
本書で上述したように、ニューラルネットワーク学習プロセスは、所望のアウトプットのベクトルＤを、インプットベクトルＸの関数として得ることができるように、シナプス条件の全ての重みを決定することにある。この目的のために、Ｋ個の対応するインプット／アウトプットペア（Ｘk，Ｄk）のリストからなる学習ベースが構成される。
【００９０】
インプットＸkのためのインスタントｔにおいて取得されるネットワークのアウトプットをＹkで示すと、アウトプットレイヤの平均平方誤差を最小にすることが要求される。
【数１０】
【００９１】
これを行うために、反復アルゴリズムによってグラジエント降下が行われる。
【数１１】
は、ネットワークのＰ個のシナプス結合重みのセットに関するインスタント（ｔ−１）における平均平方誤差のグラジエントである。ここでρは学習ステップである。
【００９２】
ニューラルネットワークにおけるこのグラジエント降下ステップの実施には、グラジエントバックプロパゲーションアルゴリズムを必要とする。
【００９３】
ニューラルネットワークを考慮する。ここでは、
ｃ＝０は、インプットレイヤのインデックスである。
ｃ＝１．．Ｃ−１は、中間レイヤのインデックスである。
ｃ＝Ｃは、アウトプットレイヤのインデックスである。
ｉ＝１〜ｎcは、ｃとインデックスされたレイヤのニューロンのインデックスである。
Ｓi,cは、ｃとインデックスされたレイヤのニューロンｉのインプットに結合され、ｃ−１とインデックスされたレイヤのニューロンのセットである。
ｗj,iは、ニューロンｊからニューロンｉへと伸びるシナプス結合の重みである。
【００９４】
グラジエントバックプロパゲーションアルゴリズムは、フォワードプロパゲーションとバックプロパゲーションとからなるステップである２つの連続するステップにおいて動作する。
プロパゲーションステップの間、インプット信号Ｘkは、ニューラルネットワークを通過し、アウトプット応答Ｙkをアクティベートする。
バックプロパゲーションの間、誤り信号Ｅkがネットワーク内でバックプロパゲートされ、シナプス重みが誤りＥkを最小にするように修正され得る。
【００９５】
更に詳しくは、そのようなアルゴリズムは以下のステップを備える。
学習ステップρを、十分小さな正の値（０．００１のオーダ）に固定する。
モーメンタムαを、０〜１との間（０．２のオーダ）の正の値に固定する。
ネットワークのシナプス重みをランダムに小さな値にリセットする。
【００９６】
反復
偶数パリティの例（Ｘk，Ｄk）を選択する。
【００９７】
プロパゲーション：レイヤのオーダでニューロンのアウトプットを計算する。
例Ｘkをインプットレイヤ：Ｙ0＝ＸKにロードし、
【数１２】
を割り当てる。
レイヤについて１からＣまで、
レイヤｃの各ニューロンｉについて（ｉは、１からｎc）、
ポテンシャル
【数１３】
及びアウトプットを計算する。ここで、
【数１４】
である。
【００９８】
バックプロバゲーション：レイヤの反対順に計算する。
レイヤについてＣから１まで、
レイヤｃの各ニューロンｉについて（ｉは、１からｎc）、
【数１５】
を計算する。ここで、
【数１６】
である。
ニューロンｉにおいて到着するシナプスの重みを更新する。
【数１７】
ここで、ρは学習ステップであり、αはモーメンタムである
（第１の反復の間、
【数１８】
）。
【数１９】
Ｅ＜εまで、又は、最大反復回数に達するまで平均平方誤差Ｅを計算する（式１を比較）。
【図面の簡単な説明】
【００９９】
【図１】本発明のオブジェクトイメージにおいて興味のあるポイントを位置決めするシステムのニューラルアーキテクチャのブロック図である。
【図２】図１のニューラルアーキテクチャ内のサブサンプリングマップに続く畳み込みマップのより正確な実例を与える。
【図３ａ】学習ベースの顔イメージの２〜３の例を示す。
【図３ｂ】学習ベースの顔イメージの２〜３の例を示す。
【図４】本発明に従って顔イメージにおける顔要素を位置決めする方法の主要ステップを記述している。
【図５】本発明の位置決めシステムの簡略ブロック図である。
【図６】マルチレイヤパーセプトロンタイプの人工ニューラルネットワークの一例である。
【図７】人工ニューロン構造のより正確な実例を与える。
【図８】Ｓ字状のニューロンのための伝達関数として使用されるハイパボリックタンジェント関数の特性を示す。
【技術分野】
【０００１】
本発明の分野は、静止画又は動画をデジタル処理する分野に関する。更に詳しくは、本発明は、デジタルイメージで表されるオブジェクトにおいて興味のある１又は複数のポイントを位置決めする技術に関する。
【０００２】
本発明は、例えば、限定される訳ではないが、瞳孔、目尻、鼻の頭、口、眉等のような、人の顔におけるデジタルな又はデジタル化されたイメージにおいて、物理的な特徴を検出する分野に関する。確かに、顔のイメージにおいて興味のあるポイントを自動検出することは、顔の分析における主な問題である。
【背景技術】
【０００３】
当分野では、幾つかの既知技術がある。そのほとんどは、専用の、特化されたフィルタによって、顔の特定の特徴の各々を独立して探索及び検出することからなる。
【０００４】
使用されているほとんどの検出器は、顔のクロミナンスの分析に依存し、顔の画素が、その色に従って、皮膚又は顔の要素に属するものとしてラベル付けされる。
【０００５】
他の検出器は、コントラスト変化を用いる。この目的のために、光のグラジエントの分析に依存する輪郭検出が適用される。したがって、検出された異なる輪郭から、顔の要素の識別が試みられる。
【０００６】
他のアプローチは、各要素の統計モデルを用いて、相関性による探索を実行する。これらのモデルは、一般に、求められる各要素のイメージ（すなわち、固有の特徴）を用いる主成分分析（ＰＣＡ）から構築される。
【０００７】
ある先行技術は、各要素の独立した検出を行う第１段階で決定された全ての候補位置に、幾何学的な顔モデルが適用される第２段階を実施する。第１段階で検出された要素は、候補位置の座標を形成し、モーファブル（ｍｏｒｐｈａｂｌｅ）になり得る幾何学モデルが、最良の座標を選択するために使用される。
【０００８】
最近の１つの方法は、古典的２段階スキーム（幾何学的規則の応用が続く顔要素に対する独立した探索を含む）以上に使用することが可能である。本方法は、アクティブ外観モデル（ＡＡＭ）の使用に依存し、特に、Ｄ．Ｃｒｉｓｔｉｎａｃｃｅ及びＴ．Ｃｏｏｔｅｓによる「Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｓｈａｐｅ ｃｏｎｓｔｒａｉｎｅｄ ｆａｃｉａｌ ｆｅａｔｕｒｅ ｄｅｔｅｃｔｏｒｓ」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ ２００４，Ｓｅｏｕｌ，Ｋｏｒｅａ，ｐｐ ３７５−３８０，２００４）に記述されている。これは、アクティブな顔モデルを、イメージ内の顔と一致させることによって、また形状とテクスチャとを組み合わせた線形モデルのパラメータを適用することによって、顔要素の位置を予測することからなる。この顔モデルは、興味のあるポイントが、興味のあるポイントの位置を符号化するベクトルと、関連する顔の軽いテクスチャとに関して、主成分分析（ＰＣＡ）によって注釈される顔から学習する。
【０００９】
これら様々な先行技術の主要な欠点は、顔イメージ、特にオブジェクトイメージに悪影響を与えるノイズの、顔における低ロバスト性である。
【００１０】
確かに、異なる顔要素を検出するために特別に設計された検出器は、例えば光過剰、又は光不足、側面光、下方光のような、イメージの極端な照明条件に耐えることはできない。また、イメージ品質の変化、特に、ビデオストリームから得られた（例えば、ウェブカム（ｗｅｂｃａｍ）によって得られた）か、又は、前の圧縮で行われた低解像度の場合に関し、低いロバスト性しか示さない。
【００１１】
更に、（皮膚の色のフィルタリングを適用する）クロミナンス分析に依存する方法は、光条件に敏感である。更に、グレーレベルのイメージに適用することができない。
【００１２】
興味のある異なるポイントの独立した検出に依存するこれら先行技術の別の欠点は、例えば、暗いメガネが着用されている場合の目や、顎鬚があり、あるいは、手によって隠されている口や、より一般的には、イメージの局部的な高い劣化がある場合のように、興味のあるポイントが隠されている場合、全く非効率的であることである。
【００１３】
いくつかの要素、又は、１つのみの要素の検出の失敗は、一般に、幾何学的な顔モデルのその後の使用によって修正されない。このモデルは、幾つかの候補位置から選択を行う必要がある場合のみ使用される。これは、前の段階で命令的に検出されているべきである。
【００１４】
これらの異なる欠点は、アクティブな顔に依存する方法において部分的に補償される。本方法は、形状及びテクスチャ情報を共に使用することによって、要素に対する一般的な探索を可能にする。しかしながら、これらの方法は、探索中、反復して決定されねばならない何百ものパラメータに依存する、時間のかかる不安定な最適化処理に依存し、特に長くて骨の折れる処理であるという別の欠点を有する。
【００１５】
更に、ＰＣＡによって生成された使用される統計モデルは線形であるので、イメージにおける全体的な変化、特に光の変化に関して低いロバスト性しか示さない。それらは、顔の隠された部分に関して低いロバスト性しか持たない。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明の目的は、特にこれら先行技術の欠点を克服することである。
【００１７】
更に詳しくは、本発明の目的は、位置決めする必要がある興味ある各ポイント、及びオブジェクトの各タイプに対して特有なフィルタの、時間を要しかつ骨の折れる開発を必要としないオブジェクトを表すイメージにおいて、興味のある幾つかのポイントを位置決めする技術を提供することである。
【００１８】
また、本発明の別の目的は、照明条件、色のバリエーション、部分的な隠れ等のように、イメージに悪影響を与える全てのノイズに関して特にロバストである位置決め技術を提案することである。
【００１９】
更に、本発明の別の目的は、イメージに部分的に悪影響を与える隠れを考慮し、隠されたポイントの位置の推測を可能にする技術を提供することである。
【００２０】
また、本発明の目的は、容易に適用でき、実施に費用がほとんどかからない技術を提供することである。
【００２１】
本発明の更に別の目的は、顔のイメージにおける顔要素の検出に特によく適した技術を提供することである。
【課題を解決するための手段】
【００２２】
本明細書で以下に説明するもの同様、これらの目的は、オブジェクトイメージにおいて興味のある少なくとも２つのポイントを位置決めし、人工的なニューラルネットワークを適用し、レイヤ状のアーキテクチャを示すシステムによって達成される。このシステムは、前記オブジェクトイメージを受け取るインプットレイヤと、第１の中間レイヤと称され、前記オブジェクトイメージのうち興味のある予め定められた別個のポイントにそれぞれ関連付けられた少なくとも２つの特徴マップの生成を可能にする複数のニューロンを備える少なくとも１つの中間レイヤと、それぞれが前記第１の中間レイヤの全てのニューロンに結合された複数のニューロンをそれら自体が備える特徴マップを備える少なくとも１つのアプトプットレイヤとを備える。
【００２３】
前記興味のあるポイントは、前記特徴マップの各々について、全体における唯一の最大値（unique overall maximum value）の位置によってオブジェクトイメージ内で位置決めされる。
【００２４】
従って、本発明は、オブジェクトを表すイメージにおいて興味のある幾つかのポイントを検出することに対する全く普通でかつ発明的なアプローチに基づいている。なぜなら、本発明は、最大値を求めるための簡単な探索によって、アプトプットにおける幾つかの特徴マップの生成を可能にし、位置決めされる興味のあるポイントの直接的な検出を可能にするニューラルレイヤアーキテクチャの使用を提案するからである。
【００２５】
従って、本発明は、オブジェクトイメージ全体において、ニューラルネットワークによって、興味のある異なるポイントの包括的な探索を提案し、特に、これらポイントのうち相対的な位置を考慮することを可能にするとともに、全体的又は部分的な隠れに関連する問題の解消を可能にする。
【００２６】
アウトプットレイヤは、それぞれが予め定められた別個の興味のあるポイントに関連付けられた少なくとも２つの特徴マップを備える。従って、各特徴マップを、興味のある特定のポイントに供することによって、同じイメージ内の興味のある幾つかのポイントを同時に探索することが可能となる。その後、このポイントは、各マップにおいて唯一の最大値を探索することにより位置決めされる。これは、興味のある全てのポイントに関連付けられた特徴マップ全体において幾つかの局部的な最大値を同時探索するよりも実施が簡単である。
【００２７】
更に、興味のある異なるポイントを検出するための専用のフィルタの設計及び開発はもはや不要である。これらフィルタは、予備的な学習段階の終了後に、ニューラルネットワークによって自動的に位置決めされる。
【００２８】
この種のニューラルアーキテクチャは更に、オブジェクトイメージの光に関して起こり得る問題に関し、従来技術よりもよりロバストであることを証明する。
【００２９】
この場合、「予め定められた興味のあるポイント」なる文言は、例えば、顔イメージの場合であれば目、鼻、口等、オブジェクトの顕著な要素を意味すると理解されることが明白であるに違いない。
【００３０】
従って、本発明は、イメージ内の輪郭ではなく、予め定められた識別された要素を探索することからなる。
【００３１】
有利な特性によれば、前記オブジェクトイメージは顔イメージである。そして、求められる興味あるポイントは、例えば、目、鼻、眉等のような不変の物理的特徴である。
【００３２】
有利なことに、この種の位置決めシステムはまた、複数のニューロンを備える少なくとも１つの第２の中間畳み込みレイヤを備える。そのようなレイヤは、例えば、オブジェクトイメージ内のコントラストラインのような低レベル要素の検出に特化することができる。
【００３３】
好ましくは、この種の位置決めシステムはまた、複数のニューロンを備える少なくとも１つの第３のサブサンプリング中間レイヤを備える。従って、作業が行われるイメージの大きさが低減される。
【００３４】
本発明の好ましい実施形態では、そのような位置決めシステムは、前記インプットレイヤと前記第１の中間レイヤとの間に、
複数のニューロンを備え、前記オブジェクトイメージ内の少なくとも１つのエレメンタリ・ラインタイプ(elementary line type)形状の検出を可能にする、畳み込まれたオブジェクトイメージを提供する第２の中間畳み込みレイヤと、
複数のニューロンを備え、前記畳み込まれたオブジェクトイメージのサイズの低減を可能にする、低減された畳み込まれたオブジェクトイメージを提供する第３の中間サブサンプリングレイヤと、
複数のニューロンを備え、前記低減された畳み込まれたオブジェクトイメージにおいて少なくとも１つのコーナタイプ複雑形状の検出を可能にする第４の中間畳み込みレイヤとを備える。
【００３５】
本発明はまた、本明細書に記載したように、オブジェクトイメージにおいて、興味のある少なくとも２つのポイントを位置決めするシステムのニューラルネットワークのための学習方法に関する。前記ニューロンの各々は、シナプス重み及びバイアスによって重み付けられた少なくとも１つのインプットを有する。このタイプの学習方法は、以下のステップを備える。すなわち、
位置決めされる前記興味のあるポイントの関数として注釈される複数のオブジェクトイメージを備える学習ベースを構築することと、
前記シナプス重み及び／又は前記バイアスを初期化することと、
前記学習ベースの注釈されたイメージの各々について、
前記イメージにおいて興味のある少なくとも２つの注釈され予め定められたポイントの各々から、アウトプットにおいて、前記少なくとも２つの所望の特徴マップを準備し、
前記位置決めシステムのインプットにおいて前記イメージを表して、アウトプットにおいて提供される少なくとも２つの特徴マップを決定し、
前記シナプス重み及び／又は前記最適なバイアスを決定できるように、前記学習ベースの前記注釈イメージの設定に関し、前記アウトプットにおいて提供される所望の特徴マップ間の相違を最小にすることとを備える。
【００３６】
従って、ユーザによってマニュアルで注釈された例に依存して、ニューラルネットワークは、オブジェクトイメージ内の興味のある、あるポイントを認識することを学習する。その後、ネットワークのインプットにおいて所与の任意のイメージ内においてそれらを位置決めすることができる。
【００３７】
有利なことに、前記最小にすることは、前記アウトプットにおいて提供された所望の特徴マップ間の平均平方誤差を最小化することであり、反復グラジエントバックプロパゲーションアルゴリズムを適用する。このアルゴリズムは、本明細書の付録２に詳細が記述され、異なるバイアスの最適値と、ネットワークのシナプス重みとを用いた高速収束を可能にする。
【００３８】
本発明はまた、オブジェクトイメージ内の興味のある少なくとも２つのポイントを位置決めする方法に関する。本方法は、
人工ニューラルネットワークを実現するレイヤ状のアーキテクチャのインプットにおいて前記オブジェクトイメージを表すことと、
複数のニューロンを備え、前記オブジェクトイメージのうち興味のある予め定められた異なるポイントにそれぞれ関連付けられた少なくとも２つの特徴マップの生成と、前記第１の中間レイヤの全てのニューロンにそれぞれ接続された複数のニューロンを備える前記特徴マップを備える少なくとも１つのアウトプットレイヤの生成とを可能にする第１の中間レイヤと呼ばれる少なくとも１つの中間レイヤを連続的にアクティベートすることと、
前記特徴マップにおいて、前記マップの各々の全体における唯一の最大値の位置を探索することによって、前記オブジェクトイメージ内の前記興味のあるポイントを位置決めすることとを有する各ステップを備える。
【００３９】
本発明の有利な特徴に従って、この種の位置決め方法は、
あらゆるイメージにおいて、前記オブジェクトを含み、前記オブジェクトイメージを構成するゾーンを検出することと、
前記オブジェクトイメージをリサイズすることと
を有する予備ステップを備える。
【００４０】
この検出は、当業者に周知な、例えば、複雑なイメージ内の顔を含むボックスを判定するために使用可能な顔検出器のような古典的検出器から行うことができる。リサイズは、検出器によって自動的に、あるいは、同じサイズの全てのイメージが、ニューラルネットワークのインプットにおいて与えられることを可能にする専用手段によって独立して行われ得る。
【００４１】
本発明はまた、プロセッサによって実行された場合、上述したニューラルネットワークのための学習方法を実行するプログラムコード命令を備えるコンピュータプログラムのみならず、プロセッサによって実行された場合、上述したようなオブジェクトイメージ内の興味のある少なくとも２つのポイントを位置決めする方法を実行するプログラムコード命令を備えるコンピュータプログラムに関する。
【００４２】
そのようなプログラムは、通信ネットワーク（例えば、インターネットワールドワイドネットワーク）からダウンロードされるか、および／あるいは、コンピュータ読取可能データキャリアに格納することができる。
【００４３】
本発明の他の特徴及び利点は、例示的で限定しない例によって与えられた好ましい実施形態の以下の記述から、及び、添付図面からより明らかになるものとする。
【発明を実施するための最良の形態】
【００４４】
本発明の一般的な原理は、オブジェクトイメージ（更に詳しくは、半リジットなオブジェクト）、特に、顔のイメージにおいて興味のある幾つかのポイントの自動検出（目、鼻、又は口のような不変の特徴の検出）を可能にするニューラルアーキテクチャの使用に依存する。更に詳しくは、本発明の原理は、１つの動作で、オブジェクトイメージを幾つかの特徴マップに変換することを学習することが可能となるニューラルネットワークを構築することにある。特徴マップについては、最大値の位置が、インプットにおいて与えられたオブジェクトイメージ内のユーザによって選択される興味のあるポイントの位置に対応する。
【００４５】
このニューラルアーキテクチャは、ロバストな低レベル検出器の自動開発を可能にし、同時に、検出された要素のもっともらしい相対的な構成を管理するために使用される規則の学習のために備え、そして、もしあれば、利用可能な何れかの情報が、隠れた要素を位置決めするために考慮されることを可能にする幾つかの異質のレイヤからなる。
【００４６】
ニューロンの全ての結合重みは、学習段階の間、予めセグメント化されたオブジェクトイメージのセットから、及び、これらイメージ内の興味のあるポイントの位置から設定される。
【００４７】
その後、ニューラルアーキテクチャは、より大きなサイズのイメージで、又は、ビデオシーケンスで予備的に検出されるオブジェクトを含むイメージゾーンの、その要素が−１〜１との間の範囲にあるインプットイメージのサイズを有するデジタルマップのセットへの変換を可能にするフィルタのカスケードのように動作する。各マップは、興味のある特定のポイントに対応し、その位置は、値が最大値である要素の位置を求める簡単な探索によって識別される。
【００４８】
１つの顔イメージ上の幾つかの顔要素の検出に関し、本発明の典型的な実施形態をより具体的に記載するために、それは、本書の残り全体にわたって試みられる。しかしながら、もちろん本発明は、例えば、自動車の車体の要素や、ビルディングの設定のアーキテクチャルな特徴の検出のように、オブジェクトを表すイメージにおける興味のあるどのポイントの検出にも適用可能である。
【００４９】
顔イメージにおける物理的特性の検出に関し、本発明の方法は、恐らくは、要素を隠すことと、解像度、コントラスト、及び照明に関する高い不安定さを有するイメージ内に表れることとを含む変化した顔の表情を有する様々なポーズ（方向、半正面視）での、顔における顔要素のロバストな検出を可能にする。
【００５０】
７．１ ニューラルアーキテクチャ
図１に示すように、本発明者らは、興味のあるポイントを位置決めするための本発明のシステムの人工的なニューラルネットワークのアーキテクチャを示す。そのような人工的なニューロンの動作原理は、その構造と同様に、本説明の不可欠な部分を形成する付録１に示される。この種のニューラルネットワークは、例えば、同様に付録１に記載されているマルチレイヤ認知タイプネットワークである。
【００５１】
このようなニューラルネットワークは、Ｅ，Ｃ1，Ｓ2，Ｃ3，Ｎ4，及びＲ5として示される６つの相互に連結した異種混合レイヤからなる。このレイヤは、畳み込み演算及びサブサンプル演算の成功に由来する一連のマップを含む。それらの連続的かつ組み合わされた動作によって、これら異なるレイヤは、興味のあるポイントの位置が容易に判定されるアウトプットマップＲ5mの生成に至るインプットにおいて表されるイメージにおいて、基本関数(primitives)を抽出する。
【００５２】
更に詳しくは、提案するアーキテクチャは、
インプットレイヤＥを備える。これは、Ｈが行数でありＬが列数であるＨ×Ｌのサイズのイメージマトリクスである網膜である。インプットレイヤＥは、同じサイズのイメージゾーンＨ×Ｌからなる要素を受け取る。グレーレベルにおけるニューラルネットワークのインプットにおいて表されるイメージの各ピクセルＰij（Ｐijは、０から２５５まで変化する）について、マトリクスＥの対応する要素はＥij＝（Ｐij−１２８）／１２８であり、値は、−１〜１との間で変化する。Ｈ＝５６及びＬ＝４６の値が選択される。従って、Ｈ×Ｌはまた、ニューラルネットワークのパラメータ化のために使用される学習ベースの顔イメージと、１又は複数の顔要素を検出することが望まれる顔イメージとのサイズでもある。このサイズは、より大きなサイズのイメージ又はビデオシーケンスから抽出する顔検出器のアウトプットにおいて、顔イメージから直接的に取得されるものである。それはまた、顔検出器による抽出後に顔イメージがリサイズされるサイズかもしれない。好ましくは、この種のリサイズは、顔の自然な大きさを維持する。
Ｃ1iによって参照されるＮＣ1個のマップによって構成される第１の畳み込みレイヤＣ1。各マップＣ1iは、インプットマップＥに結合されており（１０i）、（付録１に示すように）複数の線形なニューロンを備えている。これらニューロンの各々は、図２に詳細を示すように、シナプスによって、マップＥ（受容フィールド）内のＭ1×Ｍ1の近隣要素のセットに結合される。これらのニューロンの各々は更にバイアスを受け取る。バイアスを加えたＭ1×Ｍ1のこれらのシナプスは、Ｃ1iのニューロンのセットによって共有される。従って、各マップＣ1iは、インプットマップＥ内において、バイアスによって増加されたＭ1×Ｍ1コア１１による畳み込み結果に対応する。この畳み込みは、例えば、イメージの方向付けられたコントラストラインのようなインプットマップ内のある低レベルな形状の検出器として特殊化する。従って、各マップＣ1iは、畳み込みのエッジ効果を阻止するために、Ｈ1×Ｌ1のサイズとなる。ここで、Ｈ1＝（Ｈ−Ｍ1＋１）及びＬ1＝（Ｌ−Ｍ1＋１）となる。例えば、レイヤＣ1は、ＮＮ1×ＮＮ1＝７×７のサイズの畳み込みコアを有する５０×４１のサイズのＮＣ1＝４個のマップを含む。
ＮＳ２個のマップＳ2jによって構成されるサブサンプリングレイヤＳ2。各マップＳ2jは、対応するマップＣ1iに結合されている（１２j）。マップＳ2jの各ニューロンは、図２に詳細を例示するように、マップＣ1i（受容フィールド）内のＭ2×Ｍ2近隣要素１３の平均を受け取る。各ニューロンは、この平均にシナプス重みを乗じ、それにバイアスを加える。最適値が学習段階において決定されるシナプス重みとバイアスは、各マップＳ2jのニューロンのセットによって共有される。各ニューロンの出力は、Ｓ字関数への推移後に得られる。各マップＳ2jは、Ｈ2×Ｌ2のサイズを有する。ここで、Ｈ2＝Ｈ1／Ｍ2及びＬ2＝Ｌ1／Ｍ2である。例えば、レイヤＳ2は、ＮＮ2×ＮＮ2＝２×２のサブサンプリング１を有する２５×２０のサイズのＮＳ2＝４個のマップを含む。
ＮＣ3個のマップＣ3Kからなる畳み込みレイヤＣ3。各マップＣ3Kは、サブサンプリングレイヤＳ2のマップＳ2jの各々に結合されている（１４K）。マップＣ3Kのニューロンは線形であり、これらニューロンの各々は、シナプスによって、マップＳ2jの各々のＭ3×Ｍ3近隣要素１５のセットに結合される。それは更にバイアスを受け取る。マップあたりＭ3×Ｍ3のシナプスにバイアスＩを加えたものは、マップＣ3Kのニューロンのセットによって共有される。マップＣ3Kは、バイアスによって増加したコアＭ3×Ｍ3１５によるＮＣ3個の畳み込みの総和の結果に一致する。これら畳み込みによって、インプットにおける寄与マップＣ1iに関する抽出を組み合わせる際に、例えばコーナのような最も高レベルな特徴の抽出が可能となる。各マップＣ3Kは、Ｈ3×Ｌ3のサイズを有する。ここでＨ3＝（Ｈ2−Ｍ3＋１）及びＬ3＝（Ｌ2−Ｍ3＋１）である。例えば、レイヤＣ3は、ＮＮ3×ＮＮ3＝５×５のサイズを有する畳み込みコアを備える、２１×１６のサイズを有するＮＣ3＝４個のマップを含む。
ＮＮ4個のＳ字状ニューロンＮ4lからなるレイヤＮ4。レイヤＮ4の各ニューロンは、レイヤＣ3の全てのニューロンに結合され（１６i）、バイアスを受け取る。これらニューロンＮ4lは、マップＣ3の全体を考慮しながら、これらマップの各々における興味のあるポイントの位置に関する応答を最大にする際、アウトプットマップＲ5mの生成を学習するために使用される。これによって、他の検出を考慮する際に、興味のある特定のポイントを検出することが可能となる。選択された値は、例えば、ＮＮ4＝１００個のニューロンであり、ハイパボリックタンジェント関数（ｔｈ又はｔａｎｈと称される）が、Ｓ字ニューロンの伝達関数のために選択される。
ユーザによって選択される興味のある各ポイント（右目、左目、鼻、口等）のためＮＲ5個のマップＲ5mによって構成されたマップのレイヤＲ5。各マップＲ5mは、レイヤＮ4の全てのニューロンに結合されている。マップＲ5mのニューロンは、Ｓ字状であり、それぞれが、レイヤＮ4の全てのニューロンに結合されている。各マップＲ5mは、Ｈ×Ｌのサイズを有する。これは、インプットレイヤＥのサイズである。例として選ばれた値は、５６×４６のサイズを有するＮＲ5＝４個のマップであり、ニューラルネットワークの起動後、各マップＲ5mにおいて最大のアウトプットを有するニューロン１７1，１７2，１７3，１７4の位置は、ネットワークのインプットにおいて表されたイメージ内の対応する顔要素の位置に対応する。本発明の実施形態の一つの変形例では、レイヤＲ5は、イメージ内で位置決めされる興味のある全てのポイントが表される特徴マップを１つのみ有することが注目される。
【００５３】
図２は、２×２のサブサンプリング１３からなるマップＳ2jが後に続く５×５畳み込み１１のマップＣ1iを例示する。エッジ効果を阻止するために、実行される畳み込みは、マップＣ1iのエッジ上に位置するピクセルを考慮しないことが注目され得る。
【００５４】
顔イメージにおける興味のあるポイントを検出できるために、後述する学習段階中に、図１のニューラルネットワークをパラメータ化する必要がある。
【００５５】
７．２ イメージベースからの学習
上述したレイヤ状のニューラルアーキテクチャの構成後、学習によって、このアーキテクチャの全てのニューロンのシナプスの重みを調節できるように注釈イメージの学習ベースが構築される。
【００５６】
これを行うために、下記の処理が行われる。
【００５７】
第一に、顔のイメージのセットＴが、イメージの大型サイズの体からマニュアル抽出される。顔イメージはそれぞれ、好ましくは、顔の自然な特徴を維持したまま、Ｈ×ＬのサイズのニューラルアーキテクチャのインプットレイヤＥにリサイズされる。様々な外観の顔イメージが抽出されることがわかる。
【００５８】
顔において興味のある４つのポイント（特に、右目、左目、鼻、及び口）の検出に注目する具体的な実施形態では、目、鼻、及び、口の中心位置は、図３ａに例示するようにマニュアルで識別される。従って、位置決めのためにニューラルネットワークが学習しなければならない興味のあるポイントの機能として注釈されるイメージのセットが得られる。イメージにおいて位置決めされる興味のあるこれらのポイントは、ユーザによって自由に選択され得る。
【００５９】
更に変化する例を自動的に生成するために、注釈位置のみならず、これらイメージに対しても、例えば、列ワイズの変換及び行ワイズの変換（例えば、左、右、上、及び下へ最大６ピクセル）、イメージ中心に対して−２５°から＋２５°角度を変化させる回転、顔のサイズに対して０．８〜１．２倍の後方ズーム及び前方ズームのような変換セットが適用される。このようにして、所与のイメージから、図３ｂに示すように、変換された複数のイメージが得られる。顔のイメージに適用されるこれらバリエーションは、学習段階において、顔の可能な外観のみならず、顔の自動検出中に起こり得るセンタリング誤差をも考慮するために使用することができる。
【００６０】
このセットＴは学習セットと呼ばれる。
【００６１】
例えば、左目、右目、鼻、及び、口の中心位置の関数としてマニュアルで注釈された顔の、約２，５００イメージの学習ベースを使用することが可能である。これら注釈されたイメージ（変換、回転、ズーム等）に対して幾何学的な変形を加えた後、注釈された顔の例が約３２，０００得られ、高い可変性を示す。
【００６２】
したがって、ニューラルアーキテクチャのバイアスとシナプスの重みのセットが、自動的に学習される。この目的のために、第一に、ニューロンのセットのシナプス重みとバイアスとが、ランダムに、小さな値に初期化される。次いで、セットＴのＮT個のイメージＩが、ニューラルネットワークのインプットレイヤＥにおいて、無指定順に表される。表されたイメージＩのそれぞれについて、演算が最適であれば、ニューラルネットワークが、レイヤＲ5において提供しなければならないアウトプットマップＤ5mが準備される。これらマップＤ5mは、所望のマップと称される。
【００６３】
これらマップＤ5mの各々では、ポイントのセットの値は、その位置が、マップＤ5mが位置決め可能なように再現し、その所望の値が１である顔要素の位置と一致するポイントに対する場合を除いて、−１に固定される。これらマップＤ5mは、図３ａに例示される。ここで各ポイントは、値＋１を有するポイントに対応し、その位置は、位置決めされる顔要素（右目、左目、鼻、又は、口の中心）の位置に対応する。
【００６４】
一旦マップＤ5mが準備されると、ニューラルネットワークのレイヤＣ1，Ｓ2，Ｃ3，Ｎ4，及びＲ5とインプットレイヤＥとが、互いにアクティベートする。
【００６５】
そして、レイヤＲ5において本発明者らは、イメージＩに対するニューロンネットワークの応答を得る。この目的は、所望のマップＤ5mと同じマップＲ5mを得ることである。従って本発明者らは、この目的を達成するために、最小化される目的関数を定義する。
【数１】
ここで、（ｉ，ｊ）は、各マップＲ5mの行ｉ及び列ｊにおける要素に対応する。従って、行われることは、学習セットＴの注釈マップセットに関して生成されたマップＲ5mと所望のマップＤ5mとの間の平均平方誤差を最小化することである。
【００６６】
目的関数Ｏを最小化するために、反復グラジエントバックプロバゲーションアルゴリズム(iterative gradient backpropagation algorithm)が使用される。このアルゴリズムの原理は、本説明の不可欠な部分である付録２で説明されている。このようにして、この種のグラジエントバックプロバゲーションアルゴリズムは、ネットワークのニューロンセットの全てのシナプス重み及び最適バイアスを決定するために使用することができる。
【００６７】
例えば、グラジエントバックプロバゲーションアルゴリズムにおいて以下のパラメータを使用することができる。
レイヤＣ1，Ｓ2，Ｃ3のニューロンのための０．００５学習ステップ、
レイヤＮ4のニューロンのための０．００１学習ステップ、
レイヤＲ5のニューロンのための０．０００５学習ステップ、
アーキテクチャのニューロンのための０．２のモーメンタム。
【００６８】
したがって、グラジエントバックプロバゲーションアルゴリズムは、アルゴリズムの１つの反復が、学習セットＴの全てのイメージの表示と一致すると認められる場合、２５回の反復後、安定解に収束する。
【００６９】
バイアス及びシナプス重みの最適値が一旦決定されると、図１のニューラルネットワークは、学習セットＴのイメージ内の興味のある注釈ポイントを抽出するために、無指定のデジタル顔イメージを処理する準備ができる。
【００７０】
７．３ イメージ内の興味のあるポイントの探索
今後は、顔イメージにおいて顔要素を探索するために、学習段階において設定した図１のニューラルネットワークを使用することが可能である。この種の位置決めを実行するために使用される方法が図４に示される。
【００７１】
本発明者らは、顔検出器を用いることによって、イメージ４６内に表される顔４４および４５を検出する（４０）。この顔検出器は、顔４４、４５の各々の内部を含むボックスを位置決めする。顔要素に対する探索がなされ、各ボックスに含まれるイメージのゾーンが抽出されて（４１）、顔４７、４８のイメージが構成される。
【００７２】
抽出された各顔イメージＩ ４７，４８は、サイズＨ×Ｌにリサイズされ（４１）、図１のニューラルアーキテクチャのインプットＥに供される。インプットレイヤＥ、中間レイヤＣ1，Ｓ2，Ｃ3，Ｎ4、及びアウトプットレイヤＲ5は、ニューラルアーキテクチャによるイメージＩ ４７，４８のフィルタリング４２を行うために、互いにアクティベートされる。
【００７３】
レイヤＲ5では、ニューラルネットワークからイメージＩ ４７，４８への応答が、イメージＩ ４７，４８の各々に対し、４つの特徴マップＲ5mの形態で取得される。
【００７４】
したがって、各特徴マップＲ5mにおいて最大値を探索することによって、顔イメージＩ ４７，４８における興味のあるポイントが位置決めされる（４３）。更に詳しくは、マップＲ5mの各々において、ｍ∈ＮＲ5の場合、
【数２】
になるように、位置
【数３】
に対する探索がなされる。この位置は、このマップに対応する興味のあるポイント（例えば、右目）の要求位置に相当する。
【００７５】
本発明の好ましい実施形態では、顔は、Ｃ．Ｇａｒｃｉａ及びＭ．Ｄｅｌａｋｉｓによって２００４年１１月に「Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｆａｃｅ Ｆｉｎｄｅｒ：ａ Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｆａｓｔ ａｎｄ Ｒｏｂｕｓｔ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ」ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２６（１１）：１４０８−１４２２で著された顔検出器ＣＦＦによって、イメージ４６内で検出される（４０）。
【００７６】
この種の顔ファインダは、確かに、複雑な背景シーン及び光の変化形態において、最小サイズ２０×２０、最大±２５度までの勾配、最大±６０度までの回転からなる顔のロバストな検出のために使用される。ＣＦＦファインダが、検出された顔４７、４８を含むボックスを決定し（４０）、このボックスの内部が抽出され、次いでＨ＝５６及びＬ＝４６を有するサイズにリサイズされる（４１）。したがって、各イメージは、図１のニューラルネットワークのインプットで表される。
【００７７】
図１の位置決め方法は、イメージ内に存在する顔の高い変動性に関し、特に高いロバスト性を有する。
【００７８】
図５に示すように、本発明者らは、オブジェクトイメージにおいて興味のあるポイントを位置決めするためのシステム又はデバイスの簡略ブロック図を示す。そのようなシステムは、メモリＭ５１と、コンピュータプログラムＰｇ５２によって駆動されるプロセッサμＰを備えた処理ユニット５０とを備える。
【００７９】
第１の学習段階では、処理ユニット５０が、インプットにおいて、学習している顔イメージのセットＴを受け取る。これは、本システムがイメージ内で位置決めできる興味あるポイントに従って注釈される。このセットから、マイクロプロセッサμＰは、プログラムＰｇ５２の命令に従って、ニューラルネットワークのシナプス重みとバイアスの値を最適化するために、グラジエントバックプロパゲーションアルゴリズムを適用する。
【００８０】
したがって、これらの最適値５４は、メモリＭ５１に格納される。
【００８１】
興味あるポイントを探索する第２段階では、シナプス重み及びバイアスの最適値がメモリＭ５１からロードされる。処理ユニット５０は、インプットにおいて、オブジェクトイメージＩを受け取る。このイメージから、プログラムＰｇ５２の命令に従って動作するマイクロプロセッサμＰは、ニューラルネットワークによるフィルタリングを行い、アプトプットにおいて取得された特徴マップにおける最大値を探索する。処理ユニット５０のアウトプットでは、イメージＩ内で求められる興味あるポイントの各々のための座標５３が取得される。
【００８２】
本発明を通じて検出された興味あるポイントの位置に基づいて、例えば、モデルによる顔の符号化、局部変形によって固定された顔イメージの合成アニメーション、特徴的機能（目、鼻、口）の局所分析に基づく形状認識又は感情認識の方法、及び、更に詳しくは、（ユーザが見ている、読唇等している方向に従った）人工的なビジョンを用いたマンマシンインタラクション(man-machine interaction)のような多くのアプリケーションが可能となる。
【００８３】
付録１：人工ニューロン及び多層パーセプトロンニューラルネットワーク
１．一般的ポイント
多層パーセプトロンは、インプットレイヤからアウトプットレイヤへ情報が１方向のみに移動するレイヤ内で体系化された人工ニューロンの適応ネットワークである。図６は、インプットレイヤ６０、２つの隠蔽レイヤ６１および６２、及びアウトプットレイヤ６３を含むネットワークの一例を示す。インプットレイヤＣは、システムのインプットに関連したバーチャルレイヤを常に表す。それはニューロンを含んでいない。次のレイヤ６１〜６３は、ニューラルレイヤである。概して多層パーセプトロンは、任意の数のレイヤを有し、レイヤ毎に任意の数のニューロン（又はインプット）を有することができる。
【００８４】
図６に示す例では、ニューラルネットワークは３つのインプット、第１の隠蔽レイヤ６１上の４つのニューロン、第２のレイヤ６２上の３つのニューロン、アウトプットレイヤ６３上の４つのニューロンを有する。最終レイヤ６３のニューロンのアウトプットは、システムのアウトプットに相当する。
【００８５】
人工ニューロンは、重み（実際の値ｗj）を有し、実際の値ｙにおいてアウトプットを提供するシナプスの条件によって、インプット信号（Ｘ、実際の値のベクトル）を受け取る計算ユニットである。図７は、その動作が、以下に示すパラグラフ§２に記載されているこの種の人工ニューロンの構造を示す。
【００８６】
図６のネットワークのニューロンは、重み付けられたシナプス結合によってレイヤからレイヤまで互いに接続される。ネットワークの動作を司り、非線形変換によってインプット空間からアウトプット空間へアプリケーションを「プログラム」するのがそれら結合の重みである。従って、問題を解決するために多層パーセプトロンを生成することは、所望のインプットベクトルとアウトプットベクトルとのペアによって構成される学習データのセットによって定義されるように、最も可能性の高いアプリケーションを推測することを必要とする。
【００８７】
２．人工ニューロン
上述したように、人工ニューロンは、Ｘ0＝＋１に等しい固定値と同様に、ベクトルＸ、ｎ個の実際の値からなるベクトル［ｘ1，．．，ｘi，．．，ｘn］を受け取る計算ユニットである。
【００８８】
インプットｘiの各々は、ｗiによって重み付けられるシナプスを励起する。加算ユニット７０は、アクティベーション関数
【数４】
を通過した後、実際の値ｙを用いてアウトプットを与えるポテンシャルＶを計算する。ポテンシャルＶは、
【数５】
のように与えられる。量ｗ0ｘ0はバイアスと呼ばれ、ニューロンの閾値に相当する。アウトプットｙは、
【数６】
の形式で表現することができる。
関数
【数７】
は、目的とするアプリケーションに応じて異なる形式をとることができる。興味あるポイントを位置決めする方法に関し、２タイプのアクティベーション関数が使用される。
線形アクティベーション関数を有するニューロンの場合、本発明者らは、
【数８】
を採用する。これは、例えば、図１のネットワークのレイヤＣ1及びレイヤＣ3のニューロンを伴う場合である。
Ｓ字状の非線形アクティベーション関数を有するニューロンの場合、本発明者らは、例えば、その特性曲線が図８に例示されるように、−１〜１との間で実際の値を有するハイパボリックタンジェント関数
【数９】
を選択する。これは、例えば、図１のネットワークのレイヤＳ2，Ｎ4，及びＲ5のニューロンの場合である。
【００８９】
付録２：グラジエントバックプロバゲーションアルゴリズム
本書で上述したように、ニューラルネットワーク学習プロセスは、所望のアウトプットのベクトルＤを、インプットベクトルＸの関数として得ることができるように、シナプス条件の全ての重みを決定することにある。この目的のために、Ｋ個の対応するインプット／アウトプットペア（Ｘk，Ｄk）のリストからなる学習ベースが構成される。
【００９０】
インプットＸkのためのインスタントｔにおいて取得されるネットワークのアウトプットをＹkで示すと、アウトプットレイヤの平均平方誤差を最小にすることが要求される。
【数１０】
【００９１】
これを行うために、反復アルゴリズムによってグラジエント降下が行われる。
【数１１】
は、ネットワークのＰ個のシナプス結合重みのセットに関するインスタント（ｔ−１）における平均平方誤差のグラジエントである。ここでρは学習ステップである。
【００９２】
ニューラルネットワークにおけるこのグラジエント降下ステップの実施には、グラジエントバックプロパゲーションアルゴリズムを必要とする。
【００９３】
ニューラルネットワークを考慮する。ここでは、
ｃ＝０は、インプットレイヤのインデックスである。
ｃ＝１．．Ｃ−１は、中間レイヤのインデックスである。
ｃ＝Ｃは、アウトプットレイヤのインデックスである。
ｉ＝１〜ｎcは、ｃとインデックスされたレイヤのニューロンのインデックスである。
Ｓi,cは、ｃとインデックスされたレイヤのニューロンｉのインプットに結合され、ｃ−１とインデックスされたレイヤのニューロンのセットである。
ｗj,iは、ニューロンｊからニューロンｉへと伸びるシナプス結合の重みである。
【００９４】
グラジエントバックプロパゲーションアルゴリズムは、フォワードプロパゲーションとバックプロパゲーションとからなるステップである２つの連続するステップにおいて動作する。
プロパゲーションステップの間、インプット信号Ｘkは、ニューラルネットワークを通過し、アウトプット応答Ｙkをアクティベートする。
バックプロパゲーションの間、誤り信号Ｅkがネットワーク内でバックプロパゲートされ、シナプス重みが誤りＥkを最小にするように修正され得る。
【００９５】
更に詳しくは、そのようなアルゴリズムは以下のステップを備える。
学習ステップρを、十分小さな正の値（０．００１のオーダ）に固定する。
モーメンタムαを、０〜１との間（０．２のオーダ）の正の値に固定する。
ネットワークのシナプス重みをランダムに小さな値にリセットする。
【００９６】
反復
偶数パリティの例（Ｘk，Ｄk）を選択する。
【００９７】
プロパゲーション：レイヤのオーダでニューロンのアウトプットを計算する。
例Ｘkをインプットレイヤ：Ｙ0＝ＸKにロードし、
【数１２】
を割り当てる。
レイヤについて１からＣまで、
レイヤｃの各ニューロンｉについて（ｉは、１からｎc）、
ポテンシャル
【数１３】
及びアウトプットを計算する。ここで、
【数１４】
である。
【００９８】
バックプロバゲーション：レイヤの反対順に計算する。
レイヤについてＣから１まで、
レイヤｃの各ニューロンｉについて（ｉは、１からｎc）、
【数１５】
を計算する。ここで、
【数１６】
である。
ニューロンｉにおいて到着するシナプスの重みを更新する。
【数１７】
ここで、ρは学習ステップであり、αはモーメンタムである
（第１の反復の間、
【数１８】
）。
【数１９】
Ｅ＜εまで、又は、最大反復回数に達するまで平均平方誤差Ｅを計算する（式１を比較）。
【図面の簡単な説明】
【００９９】
【図１】本発明のオブジェクトイメージにおいて興味のあるポイントを位置決めするシステムのニューラルアーキテクチャのブロック図である。
【図２】図１のニューラルアーキテクチャ内のサブサンプリングマップに続く畳み込みマップのより正確な実例を与える。
【図３ａ】学習ベースの顔イメージの２〜３の例を示す。
【図３ｂ】学習ベースの顔イメージの２〜３の例を示す。
【図４】本発明に従って顔イメージにおける顔要素を位置決めする方法の主要ステップを記述している。
【図５】本発明の位置決めシステムの簡略ブロック図である。
【図６】マルチレイヤパーセプトロンタイプの人工ニューラルネットワークの一例である。
【図７】人工ニューロン構造のより正確な実例を与える。
【図８】Ｓ字状のニューロンのための伝達関数として使用されるハイパボリックタンジェント関数の特性を示す。
【特許請求の範囲】
【請求項１】
オブジェクトイメージにおいて興味ある少なくとも２つのポイントを位置決めするシステムであって、人工ニューラルネットワークを適用し、レイヤ状のアーキテクチャを示し、前記システムは、
前記オブジェクトイメージを受け取るインプットレイヤ（Ｅ）と、
第１の中間レイヤと称され、前記オブジェクトイメージのうち興味のある予め定められた別個のポイントにそれぞれ関連付けられた少なくとも２つの特徴マップ（Ｒ5m）の生成を可能にする複数のニューロン（Ｎ4l）を備える少なくとも１つの中間レイヤ（Ｎ4）と、
前記特徴マップ（Ｒ5m）を備える少なくとも１つのアウトプットレイヤ（Ｒ5）とを備え、
前記特徴マップは、それぞれ前記第１の中間レイヤの全てのニューロンに結合された複数のニューロンを備え、
前記興味あるポイントは、前記特徴マップの各々において全体における唯一の最大値の位置（１７1，１７2，１７3，１７4）によって、前記オブジェクトイメージ内で位置決めされる、システム。
【請求項２】
前記オブジェクトイメージは顔イメージであることを特徴とする、請求項１に記載の位置決めシステム。
【請求項３】
複数のニューロン（Ｃ1i，Ｃ3k）を備える少なくとも１つの第２の中間畳み込みレイヤ（Ｃ1，Ｃ3）を更に備えることを特徴とする、請求項１及び２のいずれか一項に記載の位置決めシステム。
【請求項４】
複数のニューロン（Ｓ2j）を備える少なくとも１つの第３のサブサンプリング中間レイヤ（Ｓ2）を更に備えることを特徴とする、請求項１〜３のいずれか一項に記載の位置決めシステム。
【請求項５】
前記インプットレイヤ（Ｅ）と前記第１の中間レイヤ（Ｎ4）との間に、
複数のニューロン（Ｃ1i）を備え、前記オブジェクトイメージにおける少なくとも１つのエレメンタリ・ラインタイプ形状を検出することが可能であり、畳み込みオブジェクトイメージを提供する第２の中間畳み込みレイヤ（Ｃ1）と、
複数のニューロン（Ｓ2j）を備え、前記畳み込みオブジェクトイメージのサイズを低減することが可能であり、低減された畳み込みオブジェクトイメージを提供する第３の中間サブサンプリングレイヤ（Ｓ2）と、
複数のニューロン（Ｃ3k）を備え、前記低減された畳み込みオブジェクトイメージにおける少なくとも１つのコーナタイプ複雑形状を検出することが可能である第４の中間畳み込みレイヤ（Ｃ3）と
を更に備えることを特徴とする、請求項１及び２のいずれか一項に記載の位置決めシステム。
【請求項６】
システムのニューラルネットワークが、請求項１に記載のオブジェクトイメージにおける興味のある少なくとも２つのポイントを位置決めする学習方法であって、
前記ニューロンの各々は、シナプス重み（ｗ1−ｗn）によって重み付けられた少なくとも１つのインプットと、バイアス（ｘ0，ｗ0）とを有し、
位置決めされる前記興味あるポイントの関数として注釈された複数のオブジェクトイメージを備える学習ベースを構築することと、
前記シナプス重み及び／又は前記バイアスを初期化することと
を含み、
前記学習ベースの注釈されたイメージの各々について、
前記イメージにおける前記少なくとも２つの注釈された予め定められた興味のあるポイントの各々から、アウトプット（Ｄ5m）において、前記少なくとも２つの所望の特徴マップを準備し、
前記位置決めするシステムのインプットにおいて前記イメージを表し、前記アウトプット（Ｒ5m）において提供される前記少なくとも２つの特徴マップを決定し、
前記シナプス重み（ｗ1−ｗn）及び／又は最適バイアス（ｗ0）を決定できるように、前記学習ベースの注釈されたイメージのセットにおけるアウトプットにおいて提供される（Ｒ5m）前記所望の特徴マップ（Ｄ5m）間の相違を最小化することと
を含む、方法。
【請求項７】
前記最小化することは、アウトプット（Ｒ5m）において提供された前記所望の特徴マップ（Ｄ5m）間の平均平方誤差を最小化することであり、反復グラジエントバックプロパゲーションアルゴリズムを適用することを特徴とする、請求項６に記載の学習方法。
【請求項８】
オブジェクトイメージにおいて少なくとも２つの興味のあるポイントを位置決めする方法であって、
人工ニューラルネットワークを実現するレイヤ状のアーキテクチャのインプットにおいて前記オブジェクトイメージを表すことと、
複数のニューロン（Ｎ4l）を備え、前記オブジェクトイメージのうち興味のある予め定められた、別個のポイントにそれぞれ関連付けられた少なくとも２つの特徴マップ（Ｒ5m）の生成と、前記第１の中間レイヤ（Ｎ4）の全てのニューロンにそれぞれ結合された複数のニューロンを備える前記特徴マップ（Ｒ5m）を備える少なくとも１つのアウトプットレイヤ（Ｒ5）の生成とを可能にする第１の中間レイヤと称される少なくとも１つの中間レイヤ（Ｎ4）を連続的にアクティベートすることと、
前記それぞれのマップの全体における唯一の最大値の位置（１７1−１７4）を前記特徴マップ（Ｒ5m）から探索することによって、前記オブジェクトイメージにおける前記興味のあるポイントを位置決めすることと
を含む方法。
【請求項９】
何れのイメージ（４６）においても、前記オブジェクトを含み、前記オブジェクトイメージ（４４，４５）を構成しているゾーンを検出すること（４０）と、
前記オブジェクトイメージをリサイズすること（４１）と
を有する予備ステップを備えることを特徴とする、請求項８に記載の位置決め方法。
【請求項１０】
プロセッサによって実行された場合、請求項６及び７の一項に記載のニューラルネットワークの学習方法を実行するためのプログラムコード命令を備えるコンピュータプログラム。
【請求項１１】
プロセッサによって実行された場合、請求項８及び９の一項に記載のオブジェクトイメージにおける興味ある少なくとも２つのポイントを位置決めする方法を実行するためのプログラムコード命令を備えるコンピュータプログラム。
【請求項１】
オブジェクトイメージにおいて興味ある少なくとも２つのポイントを位置決めするシステムであって、人工ニューラルネットワークを適用し、レイヤ状のアーキテクチャを示し、前記システムは、
前記オブジェクトイメージを受け取るインプットレイヤ（Ｅ）と、
第１の中間レイヤと称され、前記オブジェクトイメージのうち興味のある予め定められた別個のポイントにそれぞれ関連付けられた少なくとも２つの特徴マップ（Ｒ5m）の生成を可能にする複数のニューロン（Ｎ4l）を備える少なくとも１つの中間レイヤ（Ｎ4）と、
前記特徴マップ（Ｒ5m）を備える少なくとも１つのアウトプットレイヤ（Ｒ5）とを備え、
前記特徴マップは、それぞれ前記第１の中間レイヤの全てのニューロンに結合された複数のニューロンを備え、
前記興味あるポイントは、前記特徴マップの各々において全体における唯一の最大値の位置（１７1，１７2，１７3，１７4）によって、前記オブジェクトイメージ内で位置決めされる、システム。
【請求項２】
前記オブジェクトイメージは顔イメージであることを特徴とする、請求項１に記載の位置決めシステム。
【請求項３】
複数のニューロン（Ｃ1i，Ｃ3k）を備える少なくとも１つの第２の中間畳み込みレイヤ（Ｃ1，Ｃ3）を更に備えることを特徴とする、請求項１及び２のいずれか一項に記載の位置決めシステム。
【請求項４】
複数のニューロン（Ｓ2j）を備える少なくとも１つの第３のサブサンプリング中間レイヤ（Ｓ2）を更に備えることを特徴とする、請求項１〜３のいずれか一項に記載の位置決めシステム。
【請求項５】
前記インプットレイヤ（Ｅ）と前記第１の中間レイヤ（Ｎ4）との間に、
複数のニューロン（Ｃ1i）を備え、前記オブジェクトイメージにおける少なくとも１つのエレメンタリ・ラインタイプ形状を検出することが可能であり、畳み込みオブジェクトイメージを提供する第２の中間畳み込みレイヤ（Ｃ1）と、
複数のニューロン（Ｓ2j）を備え、前記畳み込みオブジェクトイメージのサイズを低減することが可能であり、低減された畳み込みオブジェクトイメージを提供する第３の中間サブサンプリングレイヤ（Ｓ2）と、
複数のニューロン（Ｃ3k）を備え、前記低減された畳み込みオブジェクトイメージにおける少なくとも１つのコーナタイプ複雑形状を検出することが可能である第４の中間畳み込みレイヤ（Ｃ3）と
を更に備えることを特徴とする、請求項１及び２のいずれか一項に記載の位置決めシステム。
【請求項６】
システムのニューラルネットワークが、請求項１に記載のオブジェクトイメージにおける興味のある少なくとも２つのポイントを位置決めする学習方法であって、
前記ニューロンの各々は、シナプス重み（ｗ1−ｗn）によって重み付けられた少なくとも１つのインプットと、バイアス（ｘ0，ｗ0）とを有し、
位置決めされる前記興味あるポイントの関数として注釈された複数のオブジェクトイメージを備える学習ベースを構築することと、
前記シナプス重み及び／又は前記バイアスを初期化することと
を含み、
前記学習ベースの注釈されたイメージの各々について、
前記イメージにおける前記少なくとも２つの注釈された予め定められた興味のあるポイントの各々から、アウトプット（Ｄ5m）において、前記少なくとも２つの所望の特徴マップを準備し、
前記位置決めするシステムのインプットにおいて前記イメージを表し、前記アウトプット（Ｒ5m）において提供される前記少なくとも２つの特徴マップを決定し、
前記シナプス重み（ｗ1−ｗn）及び／又は最適バイアス（ｗ0）を決定できるように、前記学習ベースの注釈されたイメージのセットにおけるアウトプットにおいて提供される（Ｒ5m）前記所望の特徴マップ（Ｄ5m）間の相違を最小化することと
を含む、方法。
【請求項７】
前記最小化することは、アウトプット（Ｒ5m）において提供された前記所望の特徴マップ（Ｄ5m）間の平均平方誤差を最小化することであり、反復グラジエントバックプロパゲーションアルゴリズムを適用することを特徴とする、請求項６に記載の学習方法。
【請求項８】
オブジェクトイメージにおいて少なくとも２つの興味のあるポイントを位置決めする方法であって、
人工ニューラルネットワークを実現するレイヤ状のアーキテクチャのインプットにおいて前記オブジェクトイメージを表すことと、
複数のニューロン（Ｎ4l）を備え、前記オブジェクトイメージのうち興味のある予め定められた、別個のポイントにそれぞれ関連付けられた少なくとも２つの特徴マップ（Ｒ5m）の生成と、前記第１の中間レイヤ（Ｎ4）の全てのニューロンにそれぞれ結合された複数のニューロンを備える前記特徴マップ（Ｒ5m）を備える少なくとも１つのアウトプットレイヤ（Ｒ5）の生成とを可能にする第１の中間レイヤと称される少なくとも１つの中間レイヤ（Ｎ4）を連続的にアクティベートすることと、
前記それぞれのマップの全体における唯一の最大値の位置（１７1−１７4）を前記特徴マップ（Ｒ5m）から探索することによって、前記オブジェクトイメージにおける前記興味のあるポイントを位置決めすることと
を含む方法。
【請求項９】
何れのイメージ（４６）においても、前記オブジェクトを含み、前記オブジェクトイメージ（４４，４５）を構成しているゾーンを検出すること（４０）と、
前記オブジェクトイメージをリサイズすること（４１）と
を有する予備ステップを備えることを特徴とする、請求項８に記載の位置決め方法。
【請求項１０】
プロセッサによって実行された場合、請求項６及び７の一項に記載のニューラルネットワークの学習方法を実行するためのプログラムコード命令を備えるコンピュータプログラム。
【請求項１１】
プロセッサによって実行された場合、請求項８及び９の一項に記載のオブジェクトイメージにおける興味ある少なくとも２つのポイントを位置決めする方法を実行するためのプログラムコード命令を備えるコンピュータプログラム。
【図１】
【図２】
【図３ａ】
【図３ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３ａ】
【図３ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【公表番号】特表２００８−５３６２１１（Ｐ２００８−５３６２１１Ａ）
【公表日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願番号】特願２００８−５０３５０６（Ｐ２００８−５０３５０６）
【出願日】平成１８年３月２８日（２００６．３．２８）
【国際出願番号】ＰＣＴ／ＥＰ２００６／０６１１１０
【国際公開番号】ＷＯ２００６／１０３２４１
【国際公開日】平成１８年１０月５日（２００６．１０．５）
【出願人】（５９１０３４１５４）フランス テレコム (290)
【Ｆターム（参考）】
【公表日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願日】平成１８年３月２８日（２００６．３．２８）
【国際出願番号】ＰＣＴ／ＥＰ２００６／０６１１１０
【国際公開番号】ＷＯ２００６／１０３２４１
【国際公開日】平成１８年１０月５日（２００６．１０．５）
【出願人】（５９１０３４１５４）フランス テレコム (290)
【Ｆターム（参考）】
[ Back to top ]