一様なおよび一様でない照明の変化の中での特徴検出を改善するための尺度空間正規化技術
正規化プロセスが、照明の変化が画像内の特徴／キーポイント検出に及ぼす影響を完全にまたは大幅に軽減するために尺度空間の差で実施される。画像が、画像の平滑化された尺度空間を生成するために、平滑化関数を用いて画像を次第にぼかすことによって処理され得る。尺度空間の差が、画像の２つの異なる平滑化されたバージョンの間の差をとることによって生成され得る。正規化された尺度空間の差画像が、画像の第３の平滑化されたバージョンによって尺度空間の差画像を割ることによって生成される可能性があり、画像の２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である画像の第３の平滑化されたバージョン。次に、正規化された尺度空間の差画像が、画像に関する１つまたは複数の特徴／キーポイントを検出するために使用され得る。
【発明の詳細な説明】
【技術分野】
【０００１】
合衆国法典第３５編（米国特許法）第１１９条の下での優先権の主張
本特許出願は、本出願の譲受人に譲渡され、ここで参照により本明細書にはっきりと組み込まれる２０１０年１月８日に出願された「Ｋｅｙｐｏｉｎｔ Ｓｔａｂｉｌｉｚａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ」と題された米国仮出願第６１／２９３，４３７号の優先権を主張するものである。
【０００２】
１つの特徴は、コンピュータビジョンに関し、より具体的には、画像認識システムの性能および／または効率を改善するための方法と技術とに関する。
【背景技術】
【０００３】
さまざまな用途が、視覚的表現（例えば、画像または写真）内の物体を特定することができる機械またはプロセッサを有することから恩恵を受けることができる。コンピュータビジョンの分野は、物体または特徴が１つまたは複数のキーポイントを特定する記述子によって特徴づけられ得る、画像内の物体または特徴を特定することを可能にする技術および／またはアルゴリズムを提供することを試みる。また、ＳＩＦＴ（スケール不変特徴変換）などのこれらの技術および／またはアルゴリズムは、用途の中でもとりわけ、画像認識、物体検出、画像マッチング、３次元構造の構築、ステレオ対応、および／またはモーショントラッキング、顔認識に適用されることが多い。
【０００４】
概して、物体または特徴認識は、特徴の特定、画像検索、および／または物体認識の目的で、画像内の注目される点（キーポイントとも呼ばれる）および／またはそれらのキーポイントの周辺の局所的特徴を特定することを含み得る。特徴の高い安定性と再現性とが、これらの認識アルゴリズムにおいて非常に重要である。したがって、キーポイントは、それらのキーポイントが、画像のスケールの変化および／または回転に対して不変であり、広い範囲の変形、視点の変化、および／または雑音と照明の変化とに対して強いマッチングを提供するように選択および／または処理され得る。さらに、画像検索および物体認識などのタスクによく適したものであるために、特徴記述子は、単一の特徴が複数の目標画像からの特徴の大きなデータベースに対して高い確率で正しくマッチングされ得るという意味で弁別的であることが好ましい可能性がある。
【０００５】
画像内のキーポイントが検出され、発見された後、それらのキーポイントは、さまざまな記述子を用いることによって特定または記述され得る。例えば、記述子は、画像の特性の中でもとりわけ、形状、色、質感、回転、および／または動きなどの画像内の内容の視覚的特徴を表す可能性がある。次に、キーポイントに対応し、記述子によって表される個々の特徴が、既知の物体からの特徴のデータベースにマッチングされる。
【０００６】
画像のキーポイントを特定し、選択することの一部として、選択された一部の点が、精度または信頼性が足りないために破棄される必要がある可能性がある。例えば、一部の最初に検出されたキーポイントは、コントラストの不足および／またはエッジに沿った不良なローカライズ（localization）のために拒絶される可能性がある。そのような拒絶は、照明と、雑音と、向きの変化とに対するキーポイントの安定性を高めるのに重要である。特徴のマッチングの再現性を低下させる誤ったキーポイントの拒絶を最小化することも重要である。しかし、空間的に変わる照明の変化を有することは、影を落とすことなどの影響によって、実際に、注目される特徴が完全に無視されてしまい、物体認識の再現性を低下させる可能性があるので、特徴検出に関する重大な問題を引き起こす。
【０００７】
したがって、物体認識アルゴリズム中の特徴選択のために、局所的なおよび大域的な照明の変化に適応的な閾値を定義するための方法または手法が必要とされる。
【発明の概要】
【０００８】
以下の説明は、いくつかの実施形態の基本的な理解を与えるために１つまたは複数の実施形態の簡素化された概要を示す。この概要は、すべての考えられる実施形態の広範な概観ではなく、すべての実施形態の重要なまたは決定的な要素を特定するようにも、任意のまたはすべての実施形態の範囲を定めるようにも意図されていない。この概要の唯一の目的は、後で提示されるより詳細な説明の前置きとして１つまたは複数の実施形態のいくつかの概念を簡素化された形態で提示することである。
【０００９】
画像内のキーポイント／特徴検出に対する照明の変化の影響を軽減するための、画像の特徴検出デバイスで動作する方法が、提供される。画像が、画像の複数の平滑化されたバージョンを得るために、異なるスケーリング幅（scaling width）の複数の平滑化カーネル（smoothening kernel）と畳み込まれる可能性があり、複数の平滑化されたバージョンは、尺度空間ピラミッドを定義する。尺度空間の差画像が、画像の２つの異なる平滑化されたバージョンの間の差をとることによって生成され得る。画像の２つの異なる平滑化されたバージョンは、平滑化された尺度空間ピラミッド内の隣り合うレベルである可能性がある。例えば、画像の第３の平滑化されたバージョンが、画像の２つの異なる平滑化されたバージョンのスケール（例えば、平滑化カーネル）のうちでより大きい方と同じか、またはそれよりも広いスケール（例えば、平滑化カーネル）を有する可能性がある。このプロセスは、画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成するために繰り返される可能性があり、尺度空間の差画像は、尺度空間の差の一部を形成する。
【００１０】
正規化された尺度空間の差画像が、画像の第３の平滑化されたバージョンによって尺度空間の差画像を割ることによって生成される可能性があり、画像の２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である画像の第３の平滑化されたバージョン。画像に関する１つまたは複数の特徴の検出が、正規化された尺度空間の差画像を用いることによって実行され得る。画像に関する１つまたは複数の特徴は、正規化された尺度空間の差画像内の局所的極値を検出することによって正規化された尺度空間の差を用いて特定され得る。各特長は、キーポイントと、そのキーポイントを囲むポイントについての情報とを含み得る。次に、画像に関する記述子が、特定された１つまたは複数の特徴に基づいて生成され得る。
【００１１】
同様に、画像内のキーポイント／特徴検出に対する照明の変化の影響を軽減するための、画像の特徴検出デバイスが、提供され得る。特徴検出デバイスは、尺度空間生成器、尺度空間の差生成器、尺度空間の差生成器正規化器、特徴検出器、および／または特徴記述子生成器を含み得る。尺度空間生成器は、画像の複数の平滑化されたバージョンを得るために、画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むように適合される可能性があり、複数の平滑化されたバージョンは、尺度空間ピラミッドを定義する。尺度空間の差生成器は、画像の２つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成するように適合され得る。画像の２つの異なる平滑化されたバージョンは、平滑化された尺度空間ピラミッド内の隣り合うレベルである可能性がある。尺度空間の差生成器は、画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成するようにさらに適合される可能性があり、尺度空間の差画像は、尺度空間の差の一部を形成する。
【００１２】
尺度空間の差生成器正規化器は、画像の第３の平滑化されたバージョンによって尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成するように適合される可能性があり、画像の第３の平滑化されたバージョンは、画像の２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である。画像の第３の平滑化されたバージョンは、画像の２つの異なる平滑化されたバージョンのスケール（例えば、平滑化カーネル）のうちでより大きい方と同じか、またはそれよりも広いスケール（例えば、平滑化カーネル）を有する可能性がある。
【００１３】
特徴検出器は、画像に関する１つまたは複数の特徴を検出するために、正規化された尺度空間の差画像を使用するように適合され得る。特徴検出器は、正規化された尺度空間の差画像内の局所的極値を検出することによって正規化された尺度空間の差を用いて画像に関する特徴を特定するように適合され得る。特徴記述子生成器は、特定された１つまたは複数の特徴に基づいて画像に関する記述子を生成するように適合され得る。
【００１４】
さまざまな特徴と、性質と、利点とが、同様の参照符号が全体を通して同様に構成要素を特定する図面と共に理解されるとき、以下に記載された詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００１５】
【図１】問い合わせされた画像に対して物体認識を実行するための機能的段階を示すブロック図。
【図２】例示的な画像処理段階におけるガウス尺度空間（Gaussian scale space）生成を示す図。
【図３】例示的な画像処理段階における特徴検出を示す図。
【図４】例示的な画像処理段階における特徴記述子抽出を示す図。
【図５】照明に対して不変な特徴／キーポイント検出のための尺度空間正規化の例を示す図。
【図６】正規化された尺度空間の差の１つのレベルがどのように得られ得るかの一例を示す図。
【図７】照明の変化に影響されにくい改善された特徴検出のための正規化された尺度空間の差を生成するための方法を示す図。
【図８Ａ】通常の特徴検出手法を用いると、画像の特徴検出が照明の変化によってどのように影響を受ける可能性があるのかを示す図。
【図８Ｂ】通常の特徴検出手法を用いると、画像の特徴検出が照明の変化によってどのように影響を受ける可能性があるのかを示す図。
【図８Ｃ】通常の特徴検出手法を用いると、画像の特徴検出が照明の変化によってどのように影響を受ける可能性があるのかを示す図。
【図９Ａ】特徴検出の前に尺度空間の差を正規化することが、照明の変化に関係なく、図８と比較してより多くの特徴を検出するのにどのように役立つのかを示す図。
【図９Ｂ】特徴検出の前に尺度空間の差を正規化することが、照明の変化に関係なく、図８と比較してより多くの特徴を検出するのにどのように役立つのかを示す図。
【図９Ｃ】特徴検出の前に尺度空間の差を正規化することが、照明の変化に関係なく、図８と比較してより多くの特徴を検出するのにどのように役立つのかを示す図。
【図１０Ａ】ガウス尺度空間の差と正規化されたガウス尺度空間の差との間の比較を示す図。
【図１０Ｂ】ガウス尺度空間の差と正規化されたガウス尺度空間の差との間の比較を示す図。
【図１１Ａ】尺度空間の差の正規化がキーポイントマッチングの検証に及ぼす影響を示す図。
【図１１Ｂ】尺度空間の差の正規化がキーポイントマッチングの検証に及ぼす影響を示す図。
【図１２】照明に対して不変な特徴検出デバイスの例を示すブロック図。
【図１３】特徴検出のために正規化された尺度空間の差を使用する画像マッチングデバイスの例を示すブロック図。
【図１４】画像または物体認識の目的で画像処理を実行するように適合された例示的なモバイルデバイスを示すブロック図。
【図１５】正規化された尺度空間の差を使用する特徴検出のための方法を示す図。
【発明を実施するための形態】
【００１６】
ここから、さまざまな実施形態が、全体を通じて同様の要素を示すために同様の参照番号が使用される図面を参照して説明される。以下の説明において、説明の目的で、１つまたは複数の実施形態の完全な理解を与えるために多くの具体的な詳細が説明される。しかし、そのような（１つまたは複数の）実施形態がこれらの具体的な詳細なしに実施され得ることは明らかであろう。その他の場合、１つまたは複数の実施形態を説明することを容易にするために、よく知られた構造とデバイスとがブロック図の形態で示される。
【００１７】
概観
本明細書に記載のさまざまな特徴は、画像認識の速度および／または効率を改善することに関する。第１の態様によれば、画像全体にわたる（一様であるかまたは一様でないかのいずれかの）照明の影響が、特徴／キーポイント検出の前に尺度空間の差を正規化することによって取り除かれるかまたは軽減される。次に、特徴／キーポイント検出が、正規化された尺度空間の差に対して実行される。
【００１８】
概して、画像内の照明は、空間的に変わる関数によって表され得ることが認識される。したがって、照明の影響（例えば、陰影、明るい画像、暗い画像など）は、照明の作用を取り除く正規化プロセスによって、特徴／キーポイント検出の目的で無力化され得る。例えば、画像は、画像の平滑化された尺度空間Ｌを生成するために、さまざまな平滑化因子を有する関数Ｇ（すなわち、カーネルまたはフィルタ）を用いて画像を次第にぼかすことによって処理され得る。次に、画像に関する尺度空間の差Ｄが、平滑化された尺度空間のレベルの隣り合う対（Ｌi−Ｌi-1）の間の差をとることによって取得され得る。それから、尺度空間Ｌの差の正規化が、尺度空間のレベルの特定の差Ｄiを得るために使用された尺度空間のレベルＬiのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である平滑化された尺度空間のレベルＬkによって尺度空間のレベルのそれぞれの差Ｄiを割ることによって実現される。
【００１９】
例示的な物体認識プロセス
図１は、問い合わせされた画像に対して物体認識を実行するための機能的段階を示すブロック図である。画像取り込み段階１０２において、注目される画像１０８（すなわち、問い合わせされる画像）が、取り込まれ得る。画像１０８は、デジタル形式の取り込まれた画像を得るために、１つまたは複数のイメージセンサーおよび／またはアナログデジタルコンバータを含み得る画像取り込みデバイスによって取り込まれ得る。イメージセンサー（例えば、電荷結合素子（ＣＣＤ）、相補型金属半導体（ＣＭＯＳ））は、光を電子に変換することができる。電子は、アナログ信号を形成することができ、次に、そのアナログ信号は、アナログデジタルコンバータによってデジタル値に変換される。このようにして、画像１０８が、画像Ｉ（ｘ，ｙ）を、例えば、対応する色、照度、および／またはその他の特性を有する複数の画素として定義する可能性があるデジタル形式で取り込まれ得る。
【００２０】
画像処理段階１０４において、次に、取り込まれた画像１０８が、対応する尺度空間（例えば、ガウス尺度空間）を生成すること１１０と、特徴検出を実行すること１１２と、特徴記述子抽出を実行すること１１６とによって処理される。特徴検出１１２は、取り込まれた画像１０８に関する非常に弁別的なキーポイントおよび／または幾何学的に注目されるキーポイントを特定することができ、続いて、それらのキーポイントは、複数の記述子を得るために特徴記述子抽出１１６において使用され得る。画像比較段階１０６において、これらの記述子が、既知の記述子のデータベースとの（例えば、キーポイントおよび／またはキーポイントのその他の特性もしくはキーポイントを囲むパッチを比較することによる）特徴マッチング１２２を実行するために使用される。次に、幾何学的検証または一致の検査１２４が、正しい特徴の一致を確認し、一致結果１２６を提供するためにキーポイントの一致に対して実行される。このようにして、問い合わせされた画像が、目標画像のデータベースと比較され、および／または目標画像のデータベースから特定され得る。
【００２１】
画像内の照明の変化が、画像に関する特徴／キーポイント認識の安定性および／または再現性に有害な影響を与える可能性があることが観察された。つまり、画像内の局所的なおよび／または大域的な照明の変化が、画像に関する特徴／キーポイントの検出に影響を与える可能性がある。例えば、特徴／キーポイントの数および／または位置が、画像内の照明（例えば、陰影、コントラストなど）によって変換する可能性がある。したがって、画像内の特徴／キーポイント検出の前に局所的なおよび／または大域的な照明の変化の影響を実質的に取り除くか、または最小化することが有益である。
【００２２】
これを行うための１つの方法は、その画像自体を処理して、特徴／キーポイント検出を開始する前に局所的なおよび／または大域的な照明の変化を取り除くか、またはそのような照明の変化を補償することである可能性がある。しかし、そのようなプロセスは、計算量が膨大である可能性がある。さらに、局所的なおよび／または大域的な照明の変化が画像内に存在するかどうかを判定することが難しい場合が多い。また、そのようなプロセスは、データベース内の画像に対して適用される必要がある。初めに目標画像とデータベースの画像の両方を処理して照明の変化を補正しないと、特徴／キーポイントマッチングは、成功しない可能性がある。しかし、照明が特定の画像にどのように影響する可能性があるかの事前の知識がないと、このプロセスは、自動的に実施するのが非常に難しい。
【００２３】
したがって、実質的な処理のオーバヘッドなしに実行可能な代替的方法が必要とされる。一例によれば、特徴検出を目的とする画像全体にわたる（一様であるかまたは一様でないかのいずれかの）照明の影響が、特徴／キーポイント検出が尺度空間の差に対して実行される前に尺度空間の差を正規化することによって取り除かれるかまたは軽減され得る。この正規化プロセスは、既に利用可能である平滑化された尺度空間を用いて実行されることができ、したがって、あらゆる追加的な計算を最小化する。
【００２４】
一例によれば、尺度空間正規化器１１４が、照明の変化が画像内のキーポイント／特徴認識に与える影響を軽減するか、または取り除くために尺度空間生成１１０の一部として実装され得る。
【００２５】
図２は、例示的な画像処理段階１０４におけるガウス尺度空間生成を示す。スケール不変特徴変換（ＳＩＦＴ）などのいくつかのアルゴリズムが、画像内の特徴検出を実行するために開発された。画像内の特定の物体の検出に向けた第１のステップは、問い合わせされた物体をその物体の局所的な特徴に基づいて分類することである。この目的は、例えば、照明、画像の雑音、回転、スケーリング、および／または視点のわずかな変化に対して不変であるおよび／またはそれらに対して強い特徴を特定し、選択することである。つまり、問い合わせ画像と比較目標画像との間の一致が、２つの画像の間の照明、画像の雑音、回転、スケール、および／または視点の差に関係なく発見されなければならない。これを行うための１つの方法は、画像のパッチに対して極値検出（例えば、局所的極大値または極小値）を実行して非常に弁別的な特徴（例えば、画像内の弁別的な点、画素、および／または領域）を特定することである。
【００２６】
ＳＩＦＴは、照明の変化、画像の雑音、回転、スケーリング、および／または視点のわずかな変化に対して適度に不変的である局所的な特徴を検出し、抽出するための１つの手法である。ＳＩＦＴに関する画像処理段階１０４は、（ａ）尺度空間極値検出、（ｂ）キーポイントのローカライズ、（ｃ）オリエンテーション（orientation）の割り当て、および／または（ｄ）キーポイント記述子の生成を含み得る。とりわけ、高速化ロバスト特徴（ＳＵＲＦ：Speed Up Robust Features）、勾配位置およびオリエンテーションヒストグラム（ＧＬＯＨ：Gradient Location and Orientation Histogram）、局所的エネルギーに基づく形状ヒストグラム（ＬＥＳＨ：Local Energy based Shape Histogram）、圧縮勾配ヒストグラム（ＣＨｏＧ：Compressed Histogram of Gradients）を含む特徴検出とその後の特徴記述子生成とのための代替的なアルゴリズムが、本明細書に記載の特徴からやはり恩恵を受ける可能性があることは明らかであるに違いない。
【００２７】
ガウス尺度空間生成１１０において、デジタル画像Ｉ（ｘ，ｙ）１０８は、ガウシアンピラミッド２０２を構築するために漸進的にガウスぼかしを施される（すなわち、平滑化される）。概して、ガウスぼかし（平滑化）、は、ガウスぼかし／平滑化関数Ｌ（ｘ，ｙ，ｃσ）がＬ（ｘ，ｙ，ｃσ）＝Ｇ（ｘ，ｙ，ｃσ）＊Ｉ（ｘ，ｙ）と定義されるように、元画像Ｉ（ｘ，ｙ）を、スケールｃσのガウスぼかし／平滑化関数Ｇ（ｘ，ｙ，ｃσ）と畳み込むことを含む。ここで、Ｇは、ガウスカーネルであり、ｃσは、画像Ｉ（ｘ，ｙ）をぼかすために使用されるガウス関数の標準偏差を表す。乗数ｃは変更され（ｃ0＜ｃ1＜ｃ2＜ｃ3＜ｃ4）、標準偏差ｃσは変化し、漸進的なぼかし／平滑化が得られる。シグマ（sigma）σは、基本的なスケールの変数（例えば、ガウスカーネルの幅）である。より高いスケール（すなわち、より低い解像度）は、より低いスケール（すなわち、より高い解像度）よりもぼかされる／平滑化される。したがって、スケールレベルが広いほど（すなわち、解像度が低いほど）、画像はより平滑である（よりぼかされる）。
【００２８】
初期画像Ｉ（ｘ，ｙ）が、ぼかされた画像Ｌを生成するためにガウシアンＧと漸進的に畳み込まれるとき、ぼかされた画像Ｌは、尺度空間において定数因子ｃによって分けられる。ガウスぼかしを施された（平滑化された）画像Ｌの数が増え、ガウシアンピラミッド２０２に与えられる近似が連続空間に近づくにつれ、２つのスケールも１つのスケールに近づく。一例において、畳み込まれた画像Ｌは、オクターブ（octave）によってグループ化されることができ、オクターブは、標準偏差σの値を倍にすることに相当する可能性がある。さらに、乗数ｃの値（例えば、ｃ0＜ｃ1＜ｃ2＜ｃ3＜ｃ4．．．）は、オクターブごとに決まった数の畳み込まれた画像Ｌが得られるように選択される。スケーリングの各オクターブは、明示的な画像のサイズ変更に相当する。したがって、元画像Ｉ（ｘ，ｙ）が漸進的なぼかし／平滑化関数によってぼかされる／平滑化されるにつれ、画素の数が次第に減らされる。本明細書においては、ガウス平滑化関数が例示を目的として使用されるが、その他の種類の平滑化カーネル／関数が使用され得ることに留意されたい。
【００２９】
ガウシアンピラミッド２０２内の任意の２つの連続するガウスぼかしを施された画像の差を計算することによって構築されたガウシアンの差（ＤｏＧ：difference of Gaussian）ピラミッド２０４。ＤｏＧ空間２０４において、Ｄ（ｘ，ｙ，ａ）＝Ｌ（ｘ，ｙ，ｃnσ）−Ｌ（ｘ，ｙ，ｃn-1σ）である。ＤｏＧ画像Ｄ（ｘ，ｙ，σ）は、スケールｃnσとｃn-1σとの２つの隣り合うガウスぼかしを施された画像Ｌの間の差である。Ｄ（ｘ，ｙ，σ）のスケールは、ｃnσとｃn-1σとの間のどこかにある。ＤｏＧ画像Ｄは、オクターブごとに、隣り合うガウスぼかしを施された画像Ｌから得られる可能性がある。各オクターブの後、ガウス画像（Gaussian image）が２分の１にダウンサンプリングされる可能性があり、次いで、このプロセスが繰り返される。このようにして、画像が、平行移動、回転、スケール、ならびに／またはその他の画像パラメータおよび／もしくは変形に対して強いか、またはそれらに対して不変である局所的な特徴に変換され得る。
【００３０】
生成されると、問い合わせされた画像に関するＤｏＧ空間２０４は、注目される特徴を特定する（例えば、画像内の非常に弁別的な点を特定する）ための極値検出に利用され得る。これらの非常に弁別的な点は、本明細書においてはキーポイントと呼ばれる。これらのキーポイントは、各キーポイントを囲むパッチまたは局所領域の特性によって特定され得る。記述子が、各キーポイントとそのキーポイントの対応するパッチとに対して生成されることができ、その記述子は、問い合わせ画像と記憶された目標画像との間のキーポイントの比較に使用され得る。「特徴」は、記述子（すなわち、キーポイントとそのキーポイントの対応するパッチと）を指す可能性がある。一群の特徴（すなわち、キーポイントと対応するパッチと）は、クラスター（cluster）と呼ばれることがある。
【００３１】
図３は、例示的な画像処理段階１０４における特徴検出を示す。特徴検出１１２において、ＤｏＧ空間２０４が、画像Ｉ（ｘ，ｙ）に関するキーポイントを特定するために使用され得る。特徴検出１１２は、画像内の特定のサンプル点または画素のまわりの局所領域またはパッチが（幾何学的に言って）潜在的に注目されるパッチであるかどうかを判定しようとする。
【００３２】
概して、ＤｏＧ空間２０４内の局所的極大値および／または局所的極小値が、特定され、これらの極大値と極小値との位置が、ＤｏＧ空間２０４内のキーポイントの位置として使用される。図３に示された例において、キーポイント３０８が、パッチ３０６を用いて特定された。局所的極大値と局所的極小値とを発見すること（局所的極値検出としても知られる）は、ＤｏＧ空間２０４内の各画素（例えば、キーポイント３０８に関する画素）を、同じスケールのその画素の８つの隣接する画素と、キーポイント４０８の両側の隣接するスケールのそれぞれの（隣り合うパッチ３１０と３１２との内の）９つの隣接する画素との全部で２６個の画素（９ｘ２＋８＝２６）と比較することによって実行され得る。ここでは、パッチは、３ｘ３画素の領域と定義される。概して、キーポイント３０６に関する画素値がパッチ３０６と、３１０と、３０８との中の２６個の比較される画素のすべての中で最大または最小である場合、そのキーポイント３０６が、キーポイントとして選択される。キーポイントは、それらのキーポイントの位置がより正確に特定されるようにさらに処理される可能性があり、コントラストの低いキーポイントおよびエッジのキーポイントなどのキーポイントの一部が、破棄される可能性がある。
【００３３】
図４は、例示的な画像処理段階１０４における特徴記述子抽出を示す。概して、特徴（例えば、キーポイントとそのキーポイントの対応するパッチと）は、（問い合わせ画像からの）特徴の、目標画像のデータベース内に記憶された特徴との効率的な比較を可能にする記述子によって表され得る。特徴記述子抽出１１６の一例において、各キーポイントは、局所的な画像の勾配の方向に基づいて１つまたは複数のオリエンテーションまたは方向を割り当てられ得る。局所的な画像の属性に基づいて各キーポイントに一貫したオリエンテーションを割り当てることによって、キーポイント記述子は、このオリエンテーションに対して相対的に表現されることができ、したがって、画像の回転に対する不変性を実現することができる。大きさと方向との計算が、ガウスぼかしを施された画像Ｌ内のおよび／またはキーポイントのスケールのキーポイント３０８のまわりの近傍の領域内のすべての画素に対して実行され得る。（ｘ，ｙ）に位置するキーポイント３０８に関する勾配の大きさは、ｍ（ｘ，ｙ）と表されることができ、（ｘ，ｙ）のキーポイントに関する勾配のオリエンテーションまたは方向は、Γ（ｘ，ｙ）と表されることができる。キーポイントのスケールは、すべての計算がスケールに対して不変であるようにして実行されるように、キーポイント３０８のスケールに最も近いスケールのガウス平滑化された画像Ｌを選択するために使用される。このスケールの各画像サンプルＬ（ｘ，ｙ）に関して、勾配の大きさｍ（ｘ，ｙ）とオリエンテーションΓ（ｘ，ｙ）とが、画素の差を用いて計算される。例えば、大きさｍ（ｘ，ｙ）は、
【数１】
【００３４】
のように計算され得る。方向またはオリエンテーションΓ（ｘ，ｙ）は、
【数２】
【００３５】
のように計算され得る。ここで、Ｌ（ｘ，ｙ）は、やはりキーポイントのスケールであるスケールσのガウスぼかしを施された画像Ｌ（ｘ、ｙ、σ）のサンプルである。
【００３６】
キーポイント３０８の勾配は、ＤｏＧ空間内のキーポイントの平面より上の、より高いスケールに存在するガウシアンピラミッド内の平面に対してか、またはキーポイントよりも下の、より低いスケールに存在するガウシアンピラミッドの平面内でかのいずれかで一貫して計算され得る。どちらにしても、各キーポイントに関して、勾配は、キーポイントを囲む矩形領域（例えば、パッチ）内ですべて１つの同じスケールで計算される。さらに、画像信号の周波数が、ガウスぼかしを施された画像のスケールに反映される。さらに、ＳＩＦＴは、単に、パッチ（例えば、矩形領域）内のすべての画素の勾配値を使用する。パッチがキーポイントのまわりに定義され、サブブロックがブロック内に定義され、サンプルがサブブロック内に定義され、この構造は、キーポイントのスケールが異なるときでさえもすべてのキーポイントに対して同じままである。したがって、画像信号の周波数が同じオクターブ内でガウス平滑化フィルタを連続的に適用することによって変化するが、異なるスケールで特定されたキーポイントが、スケールによって表される画像信号の周波数の変化に無関係に同じサンプル数でサンプリングされ得る。
【００３７】
キーポイントのオリエンテーションを特徴づけるために、（ＳＩＦＴにおいては）勾配のオリエンテーションのベクトルが、（キーポイントのスケールに最も近いスケールのガウス画像を用いて）キーポイント３０８の近傍で生成され得る。しかし、キーポイントのオリエンテーションは、例えば、圧縮勾配ヒストグラム（ＣＨｏＧ）を用いることによって勾配のオリエンテーションのヒストグラムによって表されることもできる（図４参照）。それぞれの近傍の画素の寄与は、勾配の大きさとガウス窓とによって重みづけされ得る。ヒストグラム内のピークが、主なオリエンテーションに対応する。キーポイントのすべての属性は、キーポイントのオリエンテーションに対して相対的に測定されることができ、このことは、回転に対する不変性をもたらす。
【００３８】
一例において、ガウス重みをつけられた（Gaussian-weighted）勾配の分布が、各ブロックに対して計算されることができ、各ブロックは、２サブブロック×２サブブロックの合計４サブブロックである。ガウス重みをつけられた勾配の分布を計算するために、いくつかのビンを有するオリエンテーションのヒストグラムが、各ビンがキーポイントのまわりの領域の一部をカバーするようにして形成される。例えば、オリエンテーションのヒストグラムは、３６個のビンを有する可能性があり、各ビンは、３６０度のオリエンテーションの範囲のうちの１０度をカバーする。代替的に、ヒストグラムは、それぞれが３６０度の範囲のうちの４５度をカバーする８つのビンを有する可能性がある。本明細書に記載のヒストグラムコーディング技術は、任意の数のビンのヒストグラムに適用できる可能性があることは明らかであるに違いない。最終的にヒストグラムを生成するその他の技術も、使用され得ることに留意されたい。
【００３９】
勾配の分布とオリエンテーションのヒストグラムとは、さまざまな方法で得られ得る。例えば、２次元の勾配の分布（ｄｘ，ｄｙ）（例えば、ブロック４０６）が、１次元の分布（例えば、ヒストグラム４１４）に変換される。キーポイント４０８は、キーポイント４０８を囲むパッチ４０６（セルまたは領域とも呼ばれる）の中心に位置する。ピラミッドの各レベルに関して事前に計算される勾配が、各サンプル位置４０８で小さな矢印として示される。示されるように、サンプル４０８の４ｘ４の領域が、サブブロック４１０を形成し、サブブロックの２ｘ２の領域が、ブロック４０６を形成する。ブロック４０６は、記述子窓（descriptor window）とも呼ばれる可能性がある。ガウス重みづけ関数（Gaussian weighting function）が、円４０２によって示され、各サンプル点４０８の大きさに重みを割り当てるために使用される。円形の窓４０２内の重みは、滑らかに減少する。ガウス窓４０２の目的は、窓の位置のわずかな変化によって記述子が突然変わることを防ぐことと、記述子の中心から遠く離れた勾配の重要性を弱めることとである。オリエンテーションのヒストグラムの２ｘ２＝４配列４１２が、ヒストグラムの各ビンの８つのオリエンテーションを用いて２ｘ２サブブロックから得られ、（２ｘ２）ｘ８＝３２次元の特徴記述子ベクトルをもたらす。例えば、オリエンテーションのヒストグラム４１３と４１５とは、サブブロック４１０に関する勾配の分布に対応する可能性がある。しかし、各キーポイントに対して（４ｘ４）ｘ８＝１２８次元の特徴記述子ベクトルをもたらす、各ヒストグラム内に８つのオリエンテーションを有するヒストグラム（８ビンヒストグラム）の４ｘ４配列を用いることが、より良好な結果をもたらす可能性がある。（例えば、異なるボロノイセル（Voronoi cell）構造を有する）その他の種類の量子化ビン配列が、勾配の分布を得るために使用される可能性もあることに留意されたい。
【００４０】
本明細書において使用されるとき、ヒストグラムは、ビンとして知られるさまざまな重ならないカテゴリーに入る観測値、サンプル、または事象（例えば、勾配）の数をカウントする写像ｋiである。ヒストグラムのグラフは、単に、ヒストグラムを表現する１つの方法であるに過ぎない。したがって、ｋが観測値、サンプル、または事象の総数であり、ｍがビンの総数である場合、ヒストグラムの頻度ｋiは、以下の条件、
【数３】
【００４１】
を満たし、ここで、
【数４】
【００４２】
は、総和演算子である。
【００４３】
サブブロックからのヒストグラムは、キーポイントに関する特徴記述子ベクトルを得るために連結され得る。１６個のサブブロックからの８ビンヒストグラムの勾配が使用される場合、１２８次元の特徴記述子ベクトルが、生じる可能性がある。
【００４４】
このようにして、記述子が、特定された各キーポイントに関して得られる可能性があり、そのような記述子は、位置（ｘ，ｙ）と、オリエンテーションと、ガウス重みをつけられた勾配の分布の記述子とによって特徴づけられ得る。画像は、１つまたは複数のキーポイント記述子（画像記述子とも呼ばれる）によって特徴づけられ得ることに留意されたい。さらに、記述子は、位置情報（例えば、キーポイントに関する座標）と、スケール（例えば、キーポイントが検出されたガウススケール（Gaussian scale））と、クラスター識別子などのその他の情報とをやはり含む可能性がある。
【００４５】
ガウシアンの差空間２０４で処理することにより、画像の輝度のあらゆるレベルの変化（輝度に対する空間的に一様な付加的なバイアス）は、完全に無視される。しかし、輝度のスケールの変化は、キーポイントが判定され、最終的に選択または拒絶される方法に影響を与える。このことは、一様な乗数的な輝度因子と空間的に変わる乗数的な輝度因子の両方に当てはまる。キーポイント検出と全く同じぐらい、画像内でのそのキーポイントのローカライズが重要である。物体は、その物体の特徴の幾何学的内容と、それらの空間的相互関係によって分類される。ゆえに、キーポイントの計算された位置は重要な要素であり、したがって、キーポイントが検出されるとしても、そのキーポイントのローカライズが、いかなる輝度のスケールの変化に対しても不変な方法で計算されなければならない。
【００４６】
そのため、キーポイントを特定し、記述子を生成する前に、１つの特徴が、キーポイントが検出される尺度空間から照明の影響を軽減し、取り除き、および／またはフィルタリングするために、ガウシアンの差空間２０４を正規化することを提供する。
【００４７】
例示的な尺度空間の差の正規化
図５は、照明に対して不変な特徴／キーポイント検出のための尺度空間正規化の例を示す。画像Ｉ（ｘ，ｙ）５０２が、平滑化された尺度空間ピラミッド５０６を生成するために、異なるスケールｃiσの平滑化カーネルＧ（ｘ，ｙ，ｃiσ）５０４と畳み込まれることができ、ここで、ｉは０とｎの間の整数である。平滑化カーネルは、ガウスカーネルおよび／またはその他の種類の平滑化関数であってよいことに留意されたい。平滑化された尺度空間ピラミッド５０６の２つ隣り合う尺度空間の間の差が、尺度空間の差５０８を得るために取得され得る。
【００４８】
尺度空間の差５０８の各レベルが、画像Ｉ（ｘ，ｙ）５０２と畳み込まれた異なるスケールの平滑化カーネル５０４の差（例えば、Ｇ（ｘ，ｙ，ｃj+1σ）−Ｇ（ｘ，ｙ，ｃjσ））として定義され得ることが初めに認識される。これは、２つの対応する平滑化された尺度空間の差（例えば、Ｌ（ｘ，ｙ，ｃj+1σ）−Ｌ（ｘ，ｙ，ｃjσ））に等しい。したがって、２つの平滑化尺度空間の差は、
【数５】
【００４９】
と表され得る。
【００５０】
照明がスケーリング関数Ｓ（ｘ，ｙ）と表される場合、２つの平滑化尺度空間の差に対する照明の変化は、
【数６】
【００５１】
と表され得ることも認識される。ここで、通常の場合、照明スケーリング関数Ｓ（ｘ，ｙ）は、空間的に変わるか、または空間的に一定である可能性がある。
【００５２】
しかし、実行時に照明をモデル化し、照明スケーリング関数Ｓ（ｘ，ｙ）を得ることは実用的でないおよび／または実現不可能である。したがって、特徴選択および／または選別が通常実行される特徴空間（例えば、ＤｏＧ空間５０８）から照明によって不偏な基本的特徴（例えば、キーポイント）を強調する代替的な手法が、本明細書において開示される。この代替的な手法によれば、画像Ｉ（ｘ，ｙ）５０２の輝度の分布が、画像Ｉ（ｘ，ｙ）５０２から抽出される尺度空間情報を使用することによって正規化される。照明についての事前の情報は、必要とされない。この方法は、いかなる大きな計算と処理とももたらすことなしに、異なる照明の変化に対して一貫したレベルで、安定した特徴を選択することを可能にし、再現性を向上する。
【００５３】
これを行うために、特徴検出が行われる尺度空間の差５０８が、より広い尺度空間によって正規化され得る。この手法は、
【数７】
【００５４】
によって定義されることができ、
ここで、
第１のガウス平滑化カーネルＧ（ｘ，ｙ，ｃj+1σ）は、第２のガウス平滑化カーネルＧ（ｘ，ｙ，ｃjσ）よりも広く（すなわち、スケールｃj+1σはスケールｃjσよりも広く、ここで、ｊは０とｎの間の正の整数である）、
Ｉ（ｘ，ｙ）は、処理されている画像またはその派生物（例えば、画像の反射特性（reflective property））であり、
Ｓ（ｘ，ｙ）は、照明スケーリング関数であり、
Ｇ（ｘ，ｙ，ｃj+1+hσ）は、第２の平滑化カーネルＧ（ｘ，ｙ，ｃj+1σ）と同じだけ広いか、またはそれよりも広い尺度空間を有する第３の平滑化カーネルであり、ここで、ｈは０とｎの間の正の整数である。尺度空間の差５０８のすべてのレベルでこのプロセスを繰り返すことによって、正規化された尺度空間の差５１０が、生成され得る。例えば、Ｇ（ｘ，ｙ，ｃj+1σ）とＧ（ｘ，ｙ，ｃjσ）とによって定義された差分尺度空間に対して、正規化関数は、Ｇ（ｘ，ｙ，ｃj+1σ）またはそれより上の任意のもの（すなわち、Ｇ（ｘ，ｙ，ｃj+2σ）、Ｇ（ｘ，ｙ，ｃj+3σ）、．．．）である可能性がある。正規化関数は、差分尺度空間で使用された両方の平滑化カーネルよりも大きい必要はなく、正規化関数は、単に、より平滑なものであることを必要とする。別の例において、正規化関数は、使用された第１の平滑化カーネルと第２の平滑化カーネルとの合計（すなわち、Ｇ（ｘ，ｙ，ｃj+1σ）＋Ｇ（ｘ，ｙ，ｃjσ））である可能性があり、したがって、
【数８】
【００５５】
である。
【００５６】
式６は、
【数９】
【００５７】
とも表され得ることに留意されたい。照明スケーリング関数Ｓ（ｘ，ｙ）は（式６と、７と、８との）分子と分母の両方に現れるので、照明スケーリング関数Ｓ（ｘ，ｙ）のスケーリング効果は、打ち消される。つまり、照明スケーリング関数Ｓ（ｘ，ｙ）が正規化に使用される平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）＊Ｓ（ｘ，ｙ）に存在するので、その照明スケーリング関数Ｓ（ｘ，ｙ）が、尺度空間の差［Ｌ（ｘ，ｙ，ｃj+1σ）−Ｌ（ｘ，ｙ，ｃjσ）］＊Ｓ（ｘ，ｙ）内の照明スケーリング関数Ｓ（ｘ，ｙ）の効果を完全にまたは実質的に打ち消す。上述のように、Ｌ（ｘ，ｙ，ｃj+1+hσ）は、Ｌ（ｘ，ｙ，ｃj+1σ）またはそれよりも高いスケールの画像（すなわち、Ｌ（ｘ，ｙ，ｃj+2σ）、Ｌ（ｘ，ｙ，ｃj+3σ）、．．．）に等しい可能性がある。このようにして、分母の画像の内容が、その分母の画像の内容がほとんど空間的アーティファクトをもたらさない程度にまで平滑化される。
【００５８】
尺度空間の差の正規化において、正規化する平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）は、（キーポイント／特徴を特定する）局所的極値の位置を変えないために、特徴空間（すなわち、尺度空間の差）を変え過ぎないように選択されなければならない。つまり、尺度空間の差が、スケールに対して不変な特徴を得るのに最適であることが知られているので、尺度空間の差の近い近似が、正規化の後に維持されなければならない。この目的で、平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）は、その画像のスケールレベルが、高周波数の内容が平均化されるように十分に平滑であるように選択される。換言すれば、平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）が十分に平坦である場合、尺度空間の差Ｌ（ｘ，ｙ，ｃj+1σ）−Ｌ（ｘ，ｙ，ｃjσ）の形状は、おおむね変わらない（すなわち、特徴／キーポイントの位置は変わらない。一実施形態において、正規化されている差分スケールレベルを得るために使用されたスケールレベルに近い（同じか、または次に高い）スケールレベルの正規化関数を選択することが、過剰な雑音をもたらすことを防ぐので好ましい可能性があることに留意されたい。例えば、Ｇ（ｘ，ｙ，ｃj+1σ）とＧ（ｘ，ｙ，ｃjσ）とによって定義される差分尺度空間に対してＧ（ｘ，ｙ，ｃj+1σ）のような平滑なスケールを選択することによって、尺度空間内のその特定のレベルに典型的な局所的な不規則性が保たれ得る。
【００５９】
上述のように、画像内で検出される特徴の数は、画像内の乗数的な輝度のスケールの変化によって大きく影響を受ける（例えば、減らされる）可能性がある。輝度によって引き起こされるスケーリングは、画像に対するマスクのように作用する傾向があり、これは、幾何学的変形が全くなかったとしても、最終的な特徴空間の内容を大きく減らす。したがって、式６と７との適用によってなされる正規化は、特徴の持つ幾何学的重要性の点で「等しい」特徴が、照明の変化に無関係に検出されることを保証し、それによって、再現性を向上する。
【００６０】
図６は、正規化された尺度空間の差の１つのレベルがどのように得られ得るかの一例を示す。ここで、画像Ｉ（ｘ，ｙ）６０２が、第１の平滑化された尺度空間画像Ｌ（ｘ，ｙ，ｃjσ）６０８を得るために、第１の平滑化カーネルＧ（ｘ，ｙ，ｃjσ）と畳み込まれる可能性がある。画像Ｉ（ｘ，ｙ）６０２は、第２の平滑化された尺度空間画像Ｌ（ｘ，ｙ，ｃj+1σ）６１０を得るために、第２の平滑化カーネルＧ（ｘ，ｙ，ｃj+1σ）６０６とも畳み込まれる可能性がある。第２の平滑化画像６１０と第１の平滑化画像６０８との間の差が、尺度空間のレベルの差Ｄj（ｘ，ｙ，σ）６１２を得るために取得され得る。尺度空間のレベルのこの差Ｄj（ｘ，ｙ，σ）６１２は、正規化された尺度空間のレベルＤ’j（ｘ，ｙ，σ）６１４を得るために、より高いスケールの平滑化カーネルＧ（ｘ，ｙ，ｃj+1+hσ）６１６または平滑化された尺度空間画像Ｌ（ｘ，ｙ，ｃj+1+hσ）６１８に基づいて（式６および／または７にしたがって）正規化され得る。このプロセスが、画像Ｉ（ｘ，ｙ）に（スケーリング因子ｃjσによって設定される）異なる幅の異なる平滑化カーネルを適用することによって繰り返される可能性があり、それによって、平滑化された尺度空間ピラミッドを構築する。尺度空間の差（例えば、図５の５０８）が、平滑化された尺度空間ピラミッド（例えば、図５の５０６）の隣り合うレベルの間の差をとることによって構築され得る。正規化された尺度空間の差（例えば、図５の５１０）が、式６および／または７にしたがって生成され得る。
【００６１】
図７は、照明の変化に影響されにくい改善された特徴検出のための正規化された尺度空間の差を生成するための方法を示す。画像Ｉ（ｘ，ｙ）を（ｉ＝０からｎとした異なるｃiσによって設定される）異なるスケーリング幅の平滑化カーネルＧ（ｘ，ｙ，ｃiσ）と畳み込んで、平滑化された尺度空間ピラミッドを構成する、ｉ＝０からｎとした複数の平滑化された画像Ｌ（ｘ，ｙ，ｃiσ）を得る７０２。画像Ｉ（ｘ，ｙ）は、元画像によって表されることができ４）画像空間Ｉ（ｘ，ｙ）を照明スケーリング関数Ｓ（ｘ，ｙ）と乗算して、空間的に変わる照明関数Ｓ（ｘ，ｙ）を乗算されたスケーリングされた画像空間Ｉ0（ｘ，ｙ）を得ることに留意されたい。つまり、画像Ｉ（ｘ，ｙ）は、照明関数Ｓ（ｘ，ｙ）により全面的にまたは画素ごとに修正された基本画像Ｉ0（ｘ，ｙ）によって特徴づけられ得る。一例において、平滑化カーネルＧ（ｘ，ｙ，ｃiσ）はガウスカーネルである可能性があり、したがって、平滑化された尺度空間ピラミッドはガウス尺度空間ピラミッドである。
【００６２】
次に、平滑化された尺度空間ピラミッド全体にわたって、平滑化された画像の隣り合う対の差Ｌ（ｘ，ｙ，ｃj+1σ）−Ｌ（ｘ，ｙ，ｃjσ）をとることによって、ｊ＝０からｎ−１とした尺度空間の差Ｄj（ｘ，ｙ，σ）を生成する７０４。このプロセスが、複数のレベルを有する尺度空間の差を得るために、隣り合う平滑化された画像の複数の組に対して繰り返される。第２の平滑化された画像Ｌ（ｘ，ｙ，ｃj+1σ）を得るために使用される第２の平滑化カーネルＧ（ｘ，ｙ，ｃj+1σ）は、第１の平滑化された画像Ｌ（ｘ，ｙ，ｃj+1σ）を得るために使用される第１の平滑化カーネルＧ（ｘ，ｙ，ｃjσ）よりも広い可能性があることに留意されたい。
【００６３】
次に、ｊ＝０からｎ−１とした正規化された尺度空間の差Ｄ’j（ｘ，ｙ，σ）が、それぞれの尺度空間の差Ｄj（ｘ，ｙ，σ）のレベルを対応する平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）で割ることによって生成されることができ、それぞれの平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）は、画像の２つの異なる平滑化されたバージョンＬ（ｘ，ｙ，ｃj+1σ）とＬ（ｘ，ｙ，ｃjσ）とのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である７０６。つまり、正規化する平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）は、画像の２つの異なる平滑化されたバージョンＬ（ｘ，ｙ，ｃj+1σ）とＬ（ｘ，ｙ，ｃjσ）とのスケール（例えば、平滑化カーネル）のうちでより大きい方と同じか、またはそれよりも広いスケール（例えば、平滑化カーネル）を有する可能性がある。
【００６４】
次に、ｊ＝０からｎ−１とした正規化された尺度空間の差Ｄ’j（ｘ，ｙ，σ）が、画像Ｉ（ｘ，ｙ）に関する特徴を特定するために使用され得る７０８。例えば、局所的極値（すなわち、極大値または極小値）が、特徴がまわりに定義される可能性があるキーポイントとして特定され得る。そして、記述子が、特定された特徴に基づいて画像Ｉ（ｘ，ｙ）に関して生成され得る７１０。
【００６５】
図５と、６と、７とに示された方法は、画像の照明についての事前の情報を必要としない。この方法は、いかなる大きな（大量の）計算と処理とももたらすことなしに、異なる照明の変化に対して一貫したレベルで、画像内の安定した特徴を選択することを可能にし、再現性を向上する。つまり、平滑化された尺度空間が尺度空間の差Ｄj（ｘ，ｙ，σ）を正規化するために使用される平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）を既に含むので、除算以外には正規化するために追加的な処理が必要とされない。
【００６６】
さらに、特徴が選択される信頼性を適応させることによって、より安定した特徴が、特徴が検出されるスケール（例えば、平滑化のレベル）によって得られる可能性がある。換言すれば、概して、より高いスケールは、画像のより平滑なバージョン（すなわち、よりぼかされた）を含み、そのようなスケールで検出されたキーポイント／特徴は、より高い信頼度を有する。
【００６７】
例示的な特徴検出の例
（図８Ａと、８Ｂと、８Ｃとを備える）図８は、通常の特徴検出手法を用いると、画像の特徴検出が照明の変化によってどのように影響を受ける可能性があるのかを示す。図８Ａは、ほぼ一様な照明を有する画像において検出された特徴を示す。図８Ｂは、画像全体を低レベルにする一様な照明スケーリングを伴う画像において検出された特徴を示す。つまり、図８Ａに比して、図８Ｂの画像は、照明スケーリング（例えば、画像を暗くすること）によって画像全体で検出された特徴がより少ない。図８Ｃは、空間的に変わる（一様でない）照明スケーリングが特徴検出にどのように影響を与える可能性があるかをよりはっきりと示す。すなわち、図８Ａに比して、図８Ｃの画像は、照明スケーリング（例えば、画像を暗くすること）によって影響を受けた画像の下半分に沿って検出された特徴がより少ない。図８に関して、検出される特徴の数が、画像内の乗数的な輝度のスケールの変化に依存することは明らかである。
【００６８】
（図９Ａと、９Ｂと、９Ｃとを備える）図９は、特徴検出の前に尺度空間の差を正規化することが、照明の変化に関係なく特徴を検出するのにどのように役立つのかを示す。図９Ａは、（特徴が検出される）尺度空間の差が初めに正規化されたときに、ほぼ一様な照明を有する画像において検出された特徴を示す。図９Ｂは、（特徴が検出される）尺度空間の差が初めに正規化されたときに、画像全体を低レベルにする一様な照明スケーリングを伴う画像において検出された特徴を示す。そのような正規化の結果として、図９Ｂの照明スケーリング（例えば、画像を暗くすること）に関わらず、ほぼ同じ特徴の密度が、図９Ａと９Ｂとにおいて検出される。図９Ｃは、特徴が検出される尺度空間の差を正規化することが、空間的に変わる照明の変化に関わらず安定したまたは再現性のある特徴検出をどのようにして可能にするのかを示す。そのような正規化の結果として、図９Ｃの空間的に変わる照明スケーリング（例えば、画像の下半分を暗くすること）に関わらず、ほぼ同じ特徴の密度が、図９Ａと９Ｃとにおいて検出される。図９Ａと、９Ｂと、９Ｃとから、特徴検出の前に尺度空間の差（例えば、ガウス空間の差）を正規化する開示された技術が、照明の変化の影響をおおむね打ち消すか、または軽減することが理解され得る。
【００６９】
（図１０Ａと１０Ｂとを備える）図１０は、ガウス尺度空間の差と正規化されたガウス尺度空間の差との間の比較を示す。図１０Ａは、（異なるオクターブと、スケールと、スケーリング幅との）複数の画像を有することを備えるガウス尺度空間の差を示し、画像のそれぞれは、元画像の異なる平滑化されたバージョンである。図１０Ａは、特徴の認識に対する輝度のスケールの変化の有害な影響をはっきりと示す。図１０Ｂは、図５と、６と、７とに示された技術にしたがって正規化された、図１０Ａと同じガウス尺度空間の差を示す。図１０Ｂは、輝度のスケールの変化に関わらずはっきりと特定できるより多くの特徴を示す。
【００７０】
（図１１Ａと１１Ｂとを備える）図１１は、尺度空間の差の正規化がキーポイントマッチングの検証に及ぼす影響を示す。図１１Ａは、尺度空間の差（例えば、ＤｏＧ空間）の正規化なしに、一様な照明スケーリングによって影響を受けた試験画像１１０４内のキーポイントが、データベース画像１１０２とどのようにマッチングされるかを示す。ここでは、およそ１４４個のキーポイントが、試験画像１１０４とデータベース画像１１０２との間で一致している。図１１Ｂは、尺度空間の差の正規化（例えば、正規化されたＤｏＧ空間）を用いて、一様な照明スケーリングによって影響を受けた試験画像１１０６内のキーポイントが、データベース画像１１０２とどのようにマッチングされるかを示す。正規化は、図１１Ａの１４４個のキーポイントの一致と比較して大きな改善である約４９５個のキーポイントの一致をもたらす。
【００７１】
例示的な特徴検出デバイス
図１２は、照明に対して不変な特徴検出デバイスの例を示すブロック図である。特徴検出デバイス１２００は、デジタル形式の問い合わせ画像１２０２を受信または取得することができる。次に、尺度空間生成器１２０４（例えば、ガウス尺度空間生成器）が、尺度空間を生成するために、問い合わせ画像１２０２を異なるスケール幅の複数の異なる平滑化カーネル１２０３と畳み込むことができる。尺度空間は、異なるスケーリング幅まで平滑化される画像の複数の平滑化されたバージョンを備える可能性がある。それから、尺度空間の差生成器１２０６が、尺度空間から尺度空間の差を生成する。次いで、尺度空間の差正規化器１２０８が、例えば、それぞれの尺度空間のレベルの差を対応する平滑化された画像で割ることによって尺度空間の差を正規化し、そのような平滑化された画像は、割られる尺度空間の差を生成するために使用された平滑化された画像のうちでより大きい方と同じか、またはそれよりも広いスケールを有する。そして、キーポイント生成器１２１０が、正規化された尺度空間の差内のキーポイントを特定または検出する。これは、例えば、正規化された尺度空間の差の画素の中の局所的極値（すなわち、極大値または極小値）を発見することによって行われ得る。次に、特徴生成器１２１２が、例えば、特定されたキーポイントのまわりの局所的な画素を特徴づけることによって特徴を生成することができる。キーポイント生成器１２１０と特徴生成器１２１２との機能は、特徴検出器によって実行され得ることに留意されたい。それから、特徴記述子生成器１２１４が、問い合わせ画像を特定するのに役立つことができる複数の画像記述子１２１６を提供するための各特徴に関する記述子を生成する。図１２に示された機能は、別個の回路によって、または１つもしくは複数のプロセッサによって実行され得る。
【００７２】
例示的な画像マッチングデバイス
図１３は、特徴検出のために正規化された尺度空間の差を使用する画像マッチングデバイスの例を示すブロック図である。画像マッチングデバイス１３００は、通信インターフェース１３０４、画像取り込みデバイス１３０６、および／またはストレージデバイス１３０８に結合された処理回路１３０２を含み得る。通信インターフェース１３０４は、有線／ワイヤレスネットワークを介して通信し、画像、および／または１つもしくは複数の画像に関する特徴記述子を受信するように適合され得る。画像取り込みデバイス１３０６は、例えば、問い合わせ画像を取り込むことができるデジタルカメラである可能性がある。処理回路１３０２は、画像から特徴を抽出するための画像処理回路１３１４と、抽出された特徴を用いて問い合わせ画像を目標画像のデータベース１３１０とマッチングし、および／または問い合わせ画像の記述子を記述子データベース１３１２とマッチングする画像マッチング回路１３１６とを含み得る。１つの例示的な実装によれば、画像マッチングアプリケーションが、問い合わせ画像を画像データベース内の１つまたは複数の画像とマッチングするように試みる。画像データベースは、データベース１３１０に記憶された１つまたは複数の画像に関連する大量の特徴記述子を含み得る。
【００７３】
画像処理回路１３１４は、ガウス尺度空間生成器１３２２、尺度空間の差生成器１３２４、尺度空間の差正規化器１３２６、キーポイント検出器１３２８、特徴生成器１３３０、および／または特徴記述子生成器１３３２を含む特徴特定回路１３２０を含み得る。ガウス尺度空間生成器１３２２は、画像をぼかし関数（例えば、平滑化カーネル）と畳み込んで、例えば、図２と５とに示された複数の異なる尺度空間を生成する役割をする可能性がある。それから、尺度空間の差生成器１３２４が、尺度空間から尺度空間の差を生成する。次いで、尺度空間の差正規化器１３２６が、例えば、それぞれの尺度空間のレベルの差を対応する平滑化された画像で割ることによって尺度空間の差を正規化し、そのような平滑化された画像は、（図６に示された）割られる尺度空間の差を生成するために使用されたどちらの平滑化された画像よりも広い。そして、キーポイント生成器１３２８が、（図９に示された）正規化された尺度空間の差内のキーポイントを特定または検出する。これは、例えば、正規化された尺度空間の差の画素の中の局所的極値（すなわち、極大値または極小値）を発見することによって行われ得る。次に、特徴生成器１３３０が、例えば、（図３に示された）特定されたキーポイントのまわりの局所的な画素を特徴づけることによって特徴を生成することができる。それから、特徴記述子生成器１３３２が、（図４に示された）問い合わせ画像を特定するのに役立つことができる複数の画像記述子を提供するための各特徴に関する記述子を生成する。
【００７４】
そして、画像マッチング回路１３１６が、特徴記述子に基づいて、問い合わせ画像を画像データベース１３１０内の画像とマッチングするように試みることができる。一致結果は、（例えば、画像または特徴記述子を送信するモバイルデバイスに）通信インターフェースを介して提供され得る。
【００７５】
一部の実装において、問い合わせ画像に関するキーポイントに関連する一組の特徴記述子が、画像マッチングデバイスによって受信され得ることに留意されたい。この場合、問い合わせ画像は、（記述子を得るために）既に処理済みである。したがって、画像処理回路１３１４は、飛ばされるか、または画像マッチングデバイス１３００から取り除かれる可能性がある。
【００７６】
例示的なモバイルデバイス
図１４は、画像または物体認識の目的で画像処理を実行するように適合された例示的なモバイルデバイスを示すブロック図である。モバイルデバイス１４００は、画像取り込みデバイス１４０４と、通信インターフェース１４１０と、ストレージデバイス１４０８とに結合された処理回路１４０２を含み得る。画像取り込みデバイス１４０４（例えば、デジタルカメラ）は、注目される問い合わせ画像１４０６を取り込むように適合されることができ、その問い合わせ画像１４０６を処理回路１４０２に提供する。処理回路１４０２は、取り込まれた画像を処理して特徴記述子を生成するように構成された画像処理回路１４１４を含む可能性があり、その特徴記述子は、画像／物体認識のために後で送信されるかまたは使用され得る。例えば、画像処理回路１４１４は、ガウス尺度空間生成器１４２２、尺度空間の差生成器１４２４、尺度空間の差正規化器１４２６、キーポイント検出器１４２８、特徴生成器１４３０、および／または特徴記述子生成器１４３２を含む特徴特定回路１４２０を含むかまたは実装する可能性がある。ガウス尺度空間生成器１４２２は、画像をぼかし関数（例えば、平滑化カーネル）と畳み込んで、例えば、図２と５とに示された複数の異なる尺度空間を生成する役割をする可能性がある。それから、尺度空間の差生成器１４２４が、尺度空間から尺度空間の差を生成する。次いで、尺度空間の差正規化器１４２６が、例えば、それぞれの尺度空間のレベルの差を対応する平滑化された画像で割ることによって尺度空間の差を正規化し、そのような平滑化された画像は、（図６に示された）割られる尺度空間の差を生成するために使用されたどちらの平滑化された画像よりも広い。そして、キーポイント生成器１４２８が、（図９に示された）正規化された尺度空間の差内のキーポイントを特定または検出する。これは、例えば、正規化された尺度空間の差の画素の中の局所的極値（すなわち、極大値または極小値）を発見することによって行われ得る。次に、特徴生成器１４３０が、例えば、（図３に示された）特定されたキーポイントのまわりの局所的な画素を特徴づけることによって特徴を生成することができる。それから、特徴記述子生成器１４３２が、（図４に示された）問い合わせ画像を特定するのに役立つことができる複数の画像記述子を提供するための各特徴に関する記述子を生成する。
【００７７】
次いで、処理回路１４０２が、１つまたは複数の特徴記述子をストレージデバイス１４０８に記憶することができ、および／または特徴記述子を、特徴記述子を使用してその中の画像または物体を特定する画像マッチングサーバに通信ネットワーク１４１２を通じて通信インターフェース１４１０（例えば、ワイヤレス通信インターフェース、トランシーバ、または回路）を介して送信することもできる。つまり、画像マッチングサーバは、特徴記述子を、その画像マッチングサーバ自体の特徴記述子のデータベースと比較して、その画像マッチングサーバのデータベース内のいずれかの画像が（１つまたは複数の）同じ特徴を有するかどうかを判定することができる。
【００７８】
一例において、画像処理回路１４１４は、本明細書に記載の１つまたは複数の方法を実装し得る。例示的な実装によれば、モバイルデバイスは、送信するために特徴記述子を圧縮することができる。帯域幅はワイヤレス送信の制限要因になりやすいので、本明細書に記載の１つまたは複数の技術を適用することによる特徴記述子の圧縮は、モバイルネットワークにおいてワイヤレスチャネルとバックホールリンクとを介して送信されるデータの量を削減することができる。
【００７９】
正規化された尺度空間における特徴検出のための例示的な方法
図１５は、正規化された尺度空間の差を使用する特徴検出のための方法を示す。（ガウス）尺度空間が、画像に対して生成されることができ、この尺度空間は、画像の異なるぼかされた（平滑化された）バージョンを備える可能性がある１５０２。尺度空間の差画像が、（尺度空間からの）画像の２つの異なる平滑化されたバージョンの間の差をとることによって生成され得る１５０４。このプロセスが、複数の尺度空間の差画像を得るために画像の複数のその他の（例えば、隣り合う）平滑化されたバージョンに対して繰り返されることができる。尺度空間の差を形成する複数の尺度空間の差画像。
【００８０】
次に、正規化された尺度空間の差画像（レベル）が、画像の第３の平滑化されたバージョンによって尺度空間の差画像を割ることによって生成される可能性があり、画像の第３の平滑化されたバージョンは、画像の２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である１５０６。例えば、画像の第３の平滑化されたバージョンは、画像の２つの異なる平滑化されたバージョンのスケール（例えば、平滑化カーネル）のうちでより大きい方と同じか、またはそれよりも広いスケール（例えば、平滑化カーネル）を有する可能性がある。このプロセスが、複数の正規化された尺度空間の差画像を得るために複数の差尺度空間画像に対して繰り返されることができる。正規化された尺度空間の差を形成する複数の正規化された尺度空間の差画像。
【００８１】
画像に関する１つまたは複数の特徴が、正規化された尺度空間の差画像を用いることによって検出または特定され得る１５０８。同様に、さらなる特徴が、正規化された尺度空間の差に対して検出され得る。そして、記述子が、特定された特徴に基づいて画像に関して生成され得る１５１０。
【００８２】
情報と信号とは、任意のさまざまな異なるテクノロジーと技術とを使用して表され得る。例えば、上の説明中で言及される可能性があるデータ、命令、コマンド、情報、信号などは、電圧、電流、電磁波、磁界もしくは磁気的粒子、光場もしくは光学的粒子、またはそれらの任意の組み合わせで表される可能性がある。
【００８３】
本明細書に記載のさまざまな例示的な論理ブロック、モジュールおよび回路、ならびにアルゴリズムのステップは、電子的なハードウェア、ソフトウェア、またはそれら両方の組み合わせとして実装または実行され得る。ハードウェアとソフトウェアとのこの互換性を明確に示すために、さまざまな例示的なコンポーネントと、ブロックと、モジュールと、回路と、ステップとが、概してそれらの機能の観点で上で説明された。そのような機能がハードウェアとして実装されるか、それともソフトウェアとして実装されるかは、システム全体に課された特定の用途と設計の制約とによって決まる。構成が、フローチャート、流れ図、構造図、またはブロック図として示されるプロセスとして示され得ることに留意されたい。フローチャートはオペレーションを連続的なプロセスとして示す可能性があるが、オペレーションの多くは、並列的にまたは同時に実行され得る。加えて、オペレーションの順序は、変えられ得る。プロセスは、そのプロセスのオペレーションが完了するときに終了される。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応する可能性がある。プロセスが関数に対応するとき、そのプロセスの終了は、当該関数が呼び出し元関数またはメイン関数に戻ることに対応する。
【００８４】
ハードウェアで実装されるとき、さまざまな例は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくはその他のプログラマブルロジックデバイス、離散的なゲートもしくはトランジスタ論理、離散的なハードウェアコンポーネント、または本明細書に記載の機能を実行するように設計されたそれらの任意の組み合わせを使用する可能性がある。汎用プロセッサはマイクロプロセッサであってよいが、別法として、プロセッサは、任意の通常のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であってよい。プロセッサは、コンピューティングデバイスの組み合わせ、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つもしくは複数のマイクロプロセッサ、または任意のその他のそのような構成としても実装され得る。
【００８５】
ソフトウェアで実装されるとき、さまざまな例は、ファームウェア、ミドルウェア、またはマイクロコードを使用する可能性がある。必要なタスクを実行するためのプログラムコードまたはコードセグメントは、ストレージ媒体または（１つもしくは複数の）その他のストレージなどのコンピュータ可読媒体に記憶され得る。プロセッサが、必要なタスクを実行する可能性がある。コードセグメントは、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造、もしくはプログラムステートメントの任意の組み合わせを表す可能性がある。コードセグメントは、情報、データ、引数、パラメータ、またはメモリの内容を渡すことおよび／または受信することによって別のコードセグメントまたはハードウェア回路に結合されることができる。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク伝送などを含む任意の好適な手段によって渡されるか、転送されるか、または送信されることができる。
【００８６】
本出願において使用されるとき、用語「コンポーネント」、「モジュール」、「システム」などは、コンピュータに関連するエンティティ、ハードウェア、ファームウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、または実行中のソフトウェアのいずれかを指すように意図される。例えば、コンポーネントは、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、および／またはコンピュータであってよいがこれらに限定されない。例として、コンピューティングデバイス上で実行されるアプリケーションとそのコンピューティングデバイスの両方が、コンポーネントである可能性がある。１つまたは複数のコンポーネントは実行プロセスおよび／または実行スレッド内にある可能性があり、コンポーネントは１つのコンピュータ上に配置される、および／または２つ以上のコンピュータの間に分散される可能性がある。さらに、これらのコンポーネントは、さまざまなデータ構造を記憶するさまざまなコンピュータ可読媒体から実行されることができる。コンポーネントは、１つまたは複数のデータパケット（例えば、信号によってローカルシステム内、分散システム内の別のコンポーネントと、および／またはインターネットなどのネットワークを介してその他のシステムとインタラクションする１つのコンポーネントからのデータ）を有する信号によるなどして、ローカルおよび／またはリモートプロセスを介して通信することができる。
【００８７】
本明細書の１つまたは複数の例において、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体上で送信され得る。コンピュータ可読媒体は、１つの場所から別の場所へのコンピュータプログラムの移送を容易にする任意の媒体を含むコンピュータストレージ媒体と通信媒体の両方を含む。ストレージ媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体である可能性がある。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくはその他の光ディスクストレージ、磁気ディスクストレージもしくはその他の磁気ストレージデバイス、または命令もしくはデータ構造の形態で所望のプログラムコードを搬送もしくは記憶するために使用されることができ、コンピュータによってアクセスされ得る任意のその他の媒体を備える可能性がある。また、当然、任意の接続がコンピュータ可読媒体と呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、デジタル加入者線（ＤＳＬ）、または赤外線、ラジオ波、およびマイクロ波などのワイヤレス技術を用いてウェブサイト、サーバ、またはその他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、ＤＳＬ、または赤外線、ラジオ波、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用されるとき、ディスク（ｄｉｓｋ）とディスク（ｄｉｓｃ）とは、コンパクトディスク（ｃｏｍｐａｃｔ ｄｉｓｃ）（ＣＤ）、レーザディスク（ｌａｓｅｒ ｄｉｓｃ）、光ディスク（ｏｐｔｉｃａｌ ｄｉｓｃ）、デジタルバーサタイルディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）（ＤＶＤ）、フロッピー（登録商標）ディスク（ｆｌｏｐｐｙ（登録商標） ｄｉｓｋ）、およびブルーレイ（登録商標）ディスク（ｂｌｕ−ｒａｙ ｄｉｓｃ）を含み、ディスク（ｄｉｓｋ）が、通常、磁気的にデータを再生する一方、ディスク（ｄｉｓｃ）は、レーザを用いて光学的にデータを再生する。上記の媒体の組み合わせも、コンピュータ可読媒体の範囲に含まれるべきである。ソフトウェアは、単一の命令または複数の命令を備える可能性があり、いくつかの異なるコードセグメントに、異なるプログラムの間に、および複数のストレージ媒体に分散され得る。例示的なストレージ媒体は、プロセッサが当該ストレージ媒体から情報を読むことができ、当該ストレージ媒体に情報を書き込むことができるようにプロセッサに結合され得る。別法として、ストレージ媒体はプロセッサに一体化される可能性がある。
【００８８】
本明細書において開示された方法は、説明された方法を実現するための１つまたは複数のステップまたはアクションを備える。方法のステップおよび／またはアクションは、特許請求の範囲から逸脱せずに互いに交換可能である可能性がある。換言すれば、ステップまたはアクションの特定の順序が、説明されている実施形態の適切な動作のために必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱せずに修正され得る。
【００８９】
図に示されたコンポーネント、ステップ、および／もしくは機能のうちの１つまたは複数は、単一のコンポーネント、ステップ、もしくは機能に再配列されるおよび／もしくは組み合わされるか、またはいくつかのコンポーネント、ステップ、もしくは機能で実施され得る。また、さらなる要素、コンポーネント、ステップ、および／または機能が、追加される可能性がある。図に示された装置、デバイス、および／またはコンポーネントは、その他の図に示された方法、特徴、またはステップのうちの１つまたは複数を実行するように構成または適合され得る。本明細書に記載のアルゴリズムは、例えば、ソフトウェアおよび／または埋め込みハードウェアで効率的に実装され得る。
【００９０】
上述の構成は、単に例であるに過ぎず、特許請求の範囲を限定するとみなされるべきでないことに留意されたい。構成の説明は、例示的であるように意図されており、特許請求の範囲を限定するように意図されていない。したがって、この教示は、その他の種類の装置に容易に適用されることができ、多くの代替と、修正と、変更とが、当業者に明らかであろう。
【技術分野】
【０００１】
合衆国法典第３５編（米国特許法）第１１９条の下での優先権の主張
本特許出願は、本出願の譲受人に譲渡され、ここで参照により本明細書にはっきりと組み込まれる２０１０年１月８日に出願された「Ｋｅｙｐｏｉｎｔ Ｓｔａｂｉｌｉｚａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ」と題された米国仮出願第６１／２９３，４３７号の優先権を主張するものである。
【０００２】
１つの特徴は、コンピュータビジョンに関し、より具体的には、画像認識システムの性能および／または効率を改善するための方法と技術とに関する。
【背景技術】
【０００３】
さまざまな用途が、視覚的表現（例えば、画像または写真）内の物体を特定することができる機械またはプロセッサを有することから恩恵を受けることができる。コンピュータビジョンの分野は、物体または特徴が１つまたは複数のキーポイントを特定する記述子によって特徴づけられ得る、画像内の物体または特徴を特定することを可能にする技術および／またはアルゴリズムを提供することを試みる。また、ＳＩＦＴ（スケール不変特徴変換）などのこれらの技術および／またはアルゴリズムは、用途の中でもとりわけ、画像認識、物体検出、画像マッチング、３次元構造の構築、ステレオ対応、および／またはモーショントラッキング、顔認識に適用されることが多い。
【０００４】
概して、物体または特徴認識は、特徴の特定、画像検索、および／または物体認識の目的で、画像内の注目される点（キーポイントとも呼ばれる）および／またはそれらのキーポイントの周辺の局所的特徴を特定することを含み得る。特徴の高い安定性と再現性とが、これらの認識アルゴリズムにおいて非常に重要である。したがって、キーポイントは、それらのキーポイントが、画像のスケールの変化および／または回転に対して不変であり、広い範囲の変形、視点の変化、および／または雑音と照明の変化とに対して強いマッチングを提供するように選択および／または処理され得る。さらに、画像検索および物体認識などのタスクによく適したものであるために、特徴記述子は、単一の特徴が複数の目標画像からの特徴の大きなデータベースに対して高い確率で正しくマッチングされ得るという意味で弁別的であることが好ましい可能性がある。
【０００５】
画像内のキーポイントが検出され、発見された後、それらのキーポイントは、さまざまな記述子を用いることによって特定または記述され得る。例えば、記述子は、画像の特性の中でもとりわけ、形状、色、質感、回転、および／または動きなどの画像内の内容の視覚的特徴を表す可能性がある。次に、キーポイントに対応し、記述子によって表される個々の特徴が、既知の物体からの特徴のデータベースにマッチングされる。
【０００６】
画像のキーポイントを特定し、選択することの一部として、選択された一部の点が、精度または信頼性が足りないために破棄される必要がある可能性がある。例えば、一部の最初に検出されたキーポイントは、コントラストの不足および／またはエッジに沿った不良なローカライズ（localization）のために拒絶される可能性がある。そのような拒絶は、照明と、雑音と、向きの変化とに対するキーポイントの安定性を高めるのに重要である。特徴のマッチングの再現性を低下させる誤ったキーポイントの拒絶を最小化することも重要である。しかし、空間的に変わる照明の変化を有することは、影を落とすことなどの影響によって、実際に、注目される特徴が完全に無視されてしまい、物体認識の再現性を低下させる可能性があるので、特徴検出に関する重大な問題を引き起こす。
【０００７】
したがって、物体認識アルゴリズム中の特徴選択のために、局所的なおよび大域的な照明の変化に適応的な閾値を定義するための方法または手法が必要とされる。
【発明の概要】
【０００８】
以下の説明は、いくつかの実施形態の基本的な理解を与えるために１つまたは複数の実施形態の簡素化された概要を示す。この概要は、すべての考えられる実施形態の広範な概観ではなく、すべての実施形態の重要なまたは決定的な要素を特定するようにも、任意のまたはすべての実施形態の範囲を定めるようにも意図されていない。この概要の唯一の目的は、後で提示されるより詳細な説明の前置きとして１つまたは複数の実施形態のいくつかの概念を簡素化された形態で提示することである。
【０００９】
画像内のキーポイント／特徴検出に対する照明の変化の影響を軽減するための、画像の特徴検出デバイスで動作する方法が、提供される。画像が、画像の複数の平滑化されたバージョンを得るために、異なるスケーリング幅（scaling width）の複数の平滑化カーネル（smoothening kernel）と畳み込まれる可能性があり、複数の平滑化されたバージョンは、尺度空間ピラミッドを定義する。尺度空間の差画像が、画像の２つの異なる平滑化されたバージョンの間の差をとることによって生成され得る。画像の２つの異なる平滑化されたバージョンは、平滑化された尺度空間ピラミッド内の隣り合うレベルである可能性がある。例えば、画像の第３の平滑化されたバージョンが、画像の２つの異なる平滑化されたバージョンのスケール（例えば、平滑化カーネル）のうちでより大きい方と同じか、またはそれよりも広いスケール（例えば、平滑化カーネル）を有する可能性がある。このプロセスは、画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成するために繰り返される可能性があり、尺度空間の差画像は、尺度空間の差の一部を形成する。
【００１０】
正規化された尺度空間の差画像が、画像の第３の平滑化されたバージョンによって尺度空間の差画像を割ることによって生成される可能性があり、画像の２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である画像の第３の平滑化されたバージョン。画像に関する１つまたは複数の特徴の検出が、正規化された尺度空間の差画像を用いることによって実行され得る。画像に関する１つまたは複数の特徴は、正規化された尺度空間の差画像内の局所的極値を検出することによって正規化された尺度空間の差を用いて特定され得る。各特長は、キーポイントと、そのキーポイントを囲むポイントについての情報とを含み得る。次に、画像に関する記述子が、特定された１つまたは複数の特徴に基づいて生成され得る。
【００１１】
同様に、画像内のキーポイント／特徴検出に対する照明の変化の影響を軽減するための、画像の特徴検出デバイスが、提供され得る。特徴検出デバイスは、尺度空間生成器、尺度空間の差生成器、尺度空間の差生成器正規化器、特徴検出器、および／または特徴記述子生成器を含み得る。尺度空間生成器は、画像の複数の平滑化されたバージョンを得るために、画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むように適合される可能性があり、複数の平滑化されたバージョンは、尺度空間ピラミッドを定義する。尺度空間の差生成器は、画像の２つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成するように適合され得る。画像の２つの異なる平滑化されたバージョンは、平滑化された尺度空間ピラミッド内の隣り合うレベルである可能性がある。尺度空間の差生成器は、画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成するようにさらに適合される可能性があり、尺度空間の差画像は、尺度空間の差の一部を形成する。
【００１２】
尺度空間の差生成器正規化器は、画像の第３の平滑化されたバージョンによって尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成するように適合される可能性があり、画像の第３の平滑化されたバージョンは、画像の２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である。画像の第３の平滑化されたバージョンは、画像の２つの異なる平滑化されたバージョンのスケール（例えば、平滑化カーネル）のうちでより大きい方と同じか、またはそれよりも広いスケール（例えば、平滑化カーネル）を有する可能性がある。
【００１３】
特徴検出器は、画像に関する１つまたは複数の特徴を検出するために、正規化された尺度空間の差画像を使用するように適合され得る。特徴検出器は、正規化された尺度空間の差画像内の局所的極値を検出することによって正規化された尺度空間の差を用いて画像に関する特徴を特定するように適合され得る。特徴記述子生成器は、特定された１つまたは複数の特徴に基づいて画像に関する記述子を生成するように適合され得る。
【００１４】
さまざまな特徴と、性質と、利点とが、同様の参照符号が全体を通して同様に構成要素を特定する図面と共に理解されるとき、以下に記載された詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００１５】
【図１】問い合わせされた画像に対して物体認識を実行するための機能的段階を示すブロック図。
【図２】例示的な画像処理段階におけるガウス尺度空間（Gaussian scale space）生成を示す図。
【図３】例示的な画像処理段階における特徴検出を示す図。
【図４】例示的な画像処理段階における特徴記述子抽出を示す図。
【図５】照明に対して不変な特徴／キーポイント検出のための尺度空間正規化の例を示す図。
【図６】正規化された尺度空間の差の１つのレベルがどのように得られ得るかの一例を示す図。
【図７】照明の変化に影響されにくい改善された特徴検出のための正規化された尺度空間の差を生成するための方法を示す図。
【図８Ａ】通常の特徴検出手法を用いると、画像の特徴検出が照明の変化によってどのように影響を受ける可能性があるのかを示す図。
【図８Ｂ】通常の特徴検出手法を用いると、画像の特徴検出が照明の変化によってどのように影響を受ける可能性があるのかを示す図。
【図８Ｃ】通常の特徴検出手法を用いると、画像の特徴検出が照明の変化によってどのように影響を受ける可能性があるのかを示す図。
【図９Ａ】特徴検出の前に尺度空間の差を正規化することが、照明の変化に関係なく、図８と比較してより多くの特徴を検出するのにどのように役立つのかを示す図。
【図９Ｂ】特徴検出の前に尺度空間の差を正規化することが、照明の変化に関係なく、図８と比較してより多くの特徴を検出するのにどのように役立つのかを示す図。
【図９Ｃ】特徴検出の前に尺度空間の差を正規化することが、照明の変化に関係なく、図８と比較してより多くの特徴を検出するのにどのように役立つのかを示す図。
【図１０Ａ】ガウス尺度空間の差と正規化されたガウス尺度空間の差との間の比較を示す図。
【図１０Ｂ】ガウス尺度空間の差と正規化されたガウス尺度空間の差との間の比較を示す図。
【図１１Ａ】尺度空間の差の正規化がキーポイントマッチングの検証に及ぼす影響を示す図。
【図１１Ｂ】尺度空間の差の正規化がキーポイントマッチングの検証に及ぼす影響を示す図。
【図１２】照明に対して不変な特徴検出デバイスの例を示すブロック図。
【図１３】特徴検出のために正規化された尺度空間の差を使用する画像マッチングデバイスの例を示すブロック図。
【図１４】画像または物体認識の目的で画像処理を実行するように適合された例示的なモバイルデバイスを示すブロック図。
【図１５】正規化された尺度空間の差を使用する特徴検出のための方法を示す図。
【発明を実施するための形態】
【００１６】
ここから、さまざまな実施形態が、全体を通じて同様の要素を示すために同様の参照番号が使用される図面を参照して説明される。以下の説明において、説明の目的で、１つまたは複数の実施形態の完全な理解を与えるために多くの具体的な詳細が説明される。しかし、そのような（１つまたは複数の）実施形態がこれらの具体的な詳細なしに実施され得ることは明らかであろう。その他の場合、１つまたは複数の実施形態を説明することを容易にするために、よく知られた構造とデバイスとがブロック図の形態で示される。
【００１７】
概観
本明細書に記載のさまざまな特徴は、画像認識の速度および／または効率を改善することに関する。第１の態様によれば、画像全体にわたる（一様であるかまたは一様でないかのいずれかの）照明の影響が、特徴／キーポイント検出の前に尺度空間の差を正規化することによって取り除かれるかまたは軽減される。次に、特徴／キーポイント検出が、正規化された尺度空間の差に対して実行される。
【００１８】
概して、画像内の照明は、空間的に変わる関数によって表され得ることが認識される。したがって、照明の影響（例えば、陰影、明るい画像、暗い画像など）は、照明の作用を取り除く正規化プロセスによって、特徴／キーポイント検出の目的で無力化され得る。例えば、画像は、画像の平滑化された尺度空間Ｌを生成するために、さまざまな平滑化因子を有する関数Ｇ（すなわち、カーネルまたはフィルタ）を用いて画像を次第にぼかすことによって処理され得る。次に、画像に関する尺度空間の差Ｄが、平滑化された尺度空間のレベルの隣り合う対（Ｌi−Ｌi-1）の間の差をとることによって取得され得る。それから、尺度空間Ｌの差の正規化が、尺度空間のレベルの特定の差Ｄiを得るために使用された尺度空間のレベルＬiのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である平滑化された尺度空間のレベルＬkによって尺度空間のレベルのそれぞれの差Ｄiを割ることによって実現される。
【００１９】
例示的な物体認識プロセス
図１は、問い合わせされた画像に対して物体認識を実行するための機能的段階を示すブロック図である。画像取り込み段階１０２において、注目される画像１０８（すなわち、問い合わせされる画像）が、取り込まれ得る。画像１０８は、デジタル形式の取り込まれた画像を得るために、１つまたは複数のイメージセンサーおよび／またはアナログデジタルコンバータを含み得る画像取り込みデバイスによって取り込まれ得る。イメージセンサー（例えば、電荷結合素子（ＣＣＤ）、相補型金属半導体（ＣＭＯＳ））は、光を電子に変換することができる。電子は、アナログ信号を形成することができ、次に、そのアナログ信号は、アナログデジタルコンバータによってデジタル値に変換される。このようにして、画像１０８が、画像Ｉ（ｘ，ｙ）を、例えば、対応する色、照度、および／またはその他の特性を有する複数の画素として定義する可能性があるデジタル形式で取り込まれ得る。
【００２０】
画像処理段階１０４において、次に、取り込まれた画像１０８が、対応する尺度空間（例えば、ガウス尺度空間）を生成すること１１０と、特徴検出を実行すること１１２と、特徴記述子抽出を実行すること１１６とによって処理される。特徴検出１１２は、取り込まれた画像１０８に関する非常に弁別的なキーポイントおよび／または幾何学的に注目されるキーポイントを特定することができ、続いて、それらのキーポイントは、複数の記述子を得るために特徴記述子抽出１１６において使用され得る。画像比較段階１０６において、これらの記述子が、既知の記述子のデータベースとの（例えば、キーポイントおよび／またはキーポイントのその他の特性もしくはキーポイントを囲むパッチを比較することによる）特徴マッチング１２２を実行するために使用される。次に、幾何学的検証または一致の検査１２４が、正しい特徴の一致を確認し、一致結果１２６を提供するためにキーポイントの一致に対して実行される。このようにして、問い合わせされた画像が、目標画像のデータベースと比較され、および／または目標画像のデータベースから特定され得る。
【００２１】
画像内の照明の変化が、画像に関する特徴／キーポイント認識の安定性および／または再現性に有害な影響を与える可能性があることが観察された。つまり、画像内の局所的なおよび／または大域的な照明の変化が、画像に関する特徴／キーポイントの検出に影響を与える可能性がある。例えば、特徴／キーポイントの数および／または位置が、画像内の照明（例えば、陰影、コントラストなど）によって変換する可能性がある。したがって、画像内の特徴／キーポイント検出の前に局所的なおよび／または大域的な照明の変化の影響を実質的に取り除くか、または最小化することが有益である。
【００２２】
これを行うための１つの方法は、その画像自体を処理して、特徴／キーポイント検出を開始する前に局所的なおよび／または大域的な照明の変化を取り除くか、またはそのような照明の変化を補償することである可能性がある。しかし、そのようなプロセスは、計算量が膨大である可能性がある。さらに、局所的なおよび／または大域的な照明の変化が画像内に存在するかどうかを判定することが難しい場合が多い。また、そのようなプロセスは、データベース内の画像に対して適用される必要がある。初めに目標画像とデータベースの画像の両方を処理して照明の変化を補正しないと、特徴／キーポイントマッチングは、成功しない可能性がある。しかし、照明が特定の画像にどのように影響する可能性があるかの事前の知識がないと、このプロセスは、自動的に実施するのが非常に難しい。
【００２３】
したがって、実質的な処理のオーバヘッドなしに実行可能な代替的方法が必要とされる。一例によれば、特徴検出を目的とする画像全体にわたる（一様であるかまたは一様でないかのいずれかの）照明の影響が、特徴／キーポイント検出が尺度空間の差に対して実行される前に尺度空間の差を正規化することによって取り除かれるかまたは軽減され得る。この正規化プロセスは、既に利用可能である平滑化された尺度空間を用いて実行されることができ、したがって、あらゆる追加的な計算を最小化する。
【００２４】
一例によれば、尺度空間正規化器１１４が、照明の変化が画像内のキーポイント／特徴認識に与える影響を軽減するか、または取り除くために尺度空間生成１１０の一部として実装され得る。
【００２５】
図２は、例示的な画像処理段階１０４におけるガウス尺度空間生成を示す。スケール不変特徴変換（ＳＩＦＴ）などのいくつかのアルゴリズムが、画像内の特徴検出を実行するために開発された。画像内の特定の物体の検出に向けた第１のステップは、問い合わせされた物体をその物体の局所的な特徴に基づいて分類することである。この目的は、例えば、照明、画像の雑音、回転、スケーリング、および／または視点のわずかな変化に対して不変であるおよび／またはそれらに対して強い特徴を特定し、選択することである。つまり、問い合わせ画像と比較目標画像との間の一致が、２つの画像の間の照明、画像の雑音、回転、スケール、および／または視点の差に関係なく発見されなければならない。これを行うための１つの方法は、画像のパッチに対して極値検出（例えば、局所的極大値または極小値）を実行して非常に弁別的な特徴（例えば、画像内の弁別的な点、画素、および／または領域）を特定することである。
【００２６】
ＳＩＦＴは、照明の変化、画像の雑音、回転、スケーリング、および／または視点のわずかな変化に対して適度に不変的である局所的な特徴を検出し、抽出するための１つの手法である。ＳＩＦＴに関する画像処理段階１０４は、（ａ）尺度空間極値検出、（ｂ）キーポイントのローカライズ、（ｃ）オリエンテーション（orientation）の割り当て、および／または（ｄ）キーポイント記述子の生成を含み得る。とりわけ、高速化ロバスト特徴（ＳＵＲＦ：Speed Up Robust Features）、勾配位置およびオリエンテーションヒストグラム（ＧＬＯＨ：Gradient Location and Orientation Histogram）、局所的エネルギーに基づく形状ヒストグラム（ＬＥＳＨ：Local Energy based Shape Histogram）、圧縮勾配ヒストグラム（ＣＨｏＧ：Compressed Histogram of Gradients）を含む特徴検出とその後の特徴記述子生成とのための代替的なアルゴリズムが、本明細書に記載の特徴からやはり恩恵を受ける可能性があることは明らかであるに違いない。
【００２７】
ガウス尺度空間生成１１０において、デジタル画像Ｉ（ｘ，ｙ）１０８は、ガウシアンピラミッド２０２を構築するために漸進的にガウスぼかしを施される（すなわち、平滑化される）。概して、ガウスぼかし（平滑化）、は、ガウスぼかし／平滑化関数Ｌ（ｘ，ｙ，ｃσ）がＬ（ｘ，ｙ，ｃσ）＝Ｇ（ｘ，ｙ，ｃσ）＊Ｉ（ｘ，ｙ）と定義されるように、元画像Ｉ（ｘ，ｙ）を、スケールｃσのガウスぼかし／平滑化関数Ｇ（ｘ，ｙ，ｃσ）と畳み込むことを含む。ここで、Ｇは、ガウスカーネルであり、ｃσは、画像Ｉ（ｘ，ｙ）をぼかすために使用されるガウス関数の標準偏差を表す。乗数ｃは変更され（ｃ0＜ｃ1＜ｃ2＜ｃ3＜ｃ4）、標準偏差ｃσは変化し、漸進的なぼかし／平滑化が得られる。シグマ（sigma）σは、基本的なスケールの変数（例えば、ガウスカーネルの幅）である。より高いスケール（すなわち、より低い解像度）は、より低いスケール（すなわち、より高い解像度）よりもぼかされる／平滑化される。したがって、スケールレベルが広いほど（すなわち、解像度が低いほど）、画像はより平滑である（よりぼかされる）。
【００２８】
初期画像Ｉ（ｘ，ｙ）が、ぼかされた画像Ｌを生成するためにガウシアンＧと漸進的に畳み込まれるとき、ぼかされた画像Ｌは、尺度空間において定数因子ｃによって分けられる。ガウスぼかしを施された（平滑化された）画像Ｌの数が増え、ガウシアンピラミッド２０２に与えられる近似が連続空間に近づくにつれ、２つのスケールも１つのスケールに近づく。一例において、畳み込まれた画像Ｌは、オクターブ（octave）によってグループ化されることができ、オクターブは、標準偏差σの値を倍にすることに相当する可能性がある。さらに、乗数ｃの値（例えば、ｃ0＜ｃ1＜ｃ2＜ｃ3＜ｃ4．．．）は、オクターブごとに決まった数の畳み込まれた画像Ｌが得られるように選択される。スケーリングの各オクターブは、明示的な画像のサイズ変更に相当する。したがって、元画像Ｉ（ｘ，ｙ）が漸進的なぼかし／平滑化関数によってぼかされる／平滑化されるにつれ、画素の数が次第に減らされる。本明細書においては、ガウス平滑化関数が例示を目的として使用されるが、その他の種類の平滑化カーネル／関数が使用され得ることに留意されたい。
【００２９】
ガウシアンピラミッド２０２内の任意の２つの連続するガウスぼかしを施された画像の差を計算することによって構築されたガウシアンの差（ＤｏＧ：difference of Gaussian）ピラミッド２０４。ＤｏＧ空間２０４において、Ｄ（ｘ，ｙ，ａ）＝Ｌ（ｘ，ｙ，ｃnσ）−Ｌ（ｘ，ｙ，ｃn-1σ）である。ＤｏＧ画像Ｄ（ｘ，ｙ，σ）は、スケールｃnσとｃn-1σとの２つの隣り合うガウスぼかしを施された画像Ｌの間の差である。Ｄ（ｘ，ｙ，σ）のスケールは、ｃnσとｃn-1σとの間のどこかにある。ＤｏＧ画像Ｄは、オクターブごとに、隣り合うガウスぼかしを施された画像Ｌから得られる可能性がある。各オクターブの後、ガウス画像（Gaussian image）が２分の１にダウンサンプリングされる可能性があり、次いで、このプロセスが繰り返される。このようにして、画像が、平行移動、回転、スケール、ならびに／またはその他の画像パラメータおよび／もしくは変形に対して強いか、またはそれらに対して不変である局所的な特徴に変換され得る。
【００３０】
生成されると、問い合わせされた画像に関するＤｏＧ空間２０４は、注目される特徴を特定する（例えば、画像内の非常に弁別的な点を特定する）ための極値検出に利用され得る。これらの非常に弁別的な点は、本明細書においてはキーポイントと呼ばれる。これらのキーポイントは、各キーポイントを囲むパッチまたは局所領域の特性によって特定され得る。記述子が、各キーポイントとそのキーポイントの対応するパッチとに対して生成されることができ、その記述子は、問い合わせ画像と記憶された目標画像との間のキーポイントの比較に使用され得る。「特徴」は、記述子（すなわち、キーポイントとそのキーポイントの対応するパッチと）を指す可能性がある。一群の特徴（すなわち、キーポイントと対応するパッチと）は、クラスター（cluster）と呼ばれることがある。
【００３１】
図３は、例示的な画像処理段階１０４における特徴検出を示す。特徴検出１１２において、ＤｏＧ空間２０４が、画像Ｉ（ｘ，ｙ）に関するキーポイントを特定するために使用され得る。特徴検出１１２は、画像内の特定のサンプル点または画素のまわりの局所領域またはパッチが（幾何学的に言って）潜在的に注目されるパッチであるかどうかを判定しようとする。
【００３２】
概して、ＤｏＧ空間２０４内の局所的極大値および／または局所的極小値が、特定され、これらの極大値と極小値との位置が、ＤｏＧ空間２０４内のキーポイントの位置として使用される。図３に示された例において、キーポイント３０８が、パッチ３０６を用いて特定された。局所的極大値と局所的極小値とを発見すること（局所的極値検出としても知られる）は、ＤｏＧ空間２０４内の各画素（例えば、キーポイント３０８に関する画素）を、同じスケールのその画素の８つの隣接する画素と、キーポイント４０８の両側の隣接するスケールのそれぞれの（隣り合うパッチ３１０と３１２との内の）９つの隣接する画素との全部で２６個の画素（９ｘ２＋８＝２６）と比較することによって実行され得る。ここでは、パッチは、３ｘ３画素の領域と定義される。概して、キーポイント３０６に関する画素値がパッチ３０６と、３１０と、３０８との中の２６個の比較される画素のすべての中で最大または最小である場合、そのキーポイント３０６が、キーポイントとして選択される。キーポイントは、それらのキーポイントの位置がより正確に特定されるようにさらに処理される可能性があり、コントラストの低いキーポイントおよびエッジのキーポイントなどのキーポイントの一部が、破棄される可能性がある。
【００３３】
図４は、例示的な画像処理段階１０４における特徴記述子抽出を示す。概して、特徴（例えば、キーポイントとそのキーポイントの対応するパッチと）は、（問い合わせ画像からの）特徴の、目標画像のデータベース内に記憶された特徴との効率的な比較を可能にする記述子によって表され得る。特徴記述子抽出１１６の一例において、各キーポイントは、局所的な画像の勾配の方向に基づいて１つまたは複数のオリエンテーションまたは方向を割り当てられ得る。局所的な画像の属性に基づいて各キーポイントに一貫したオリエンテーションを割り当てることによって、キーポイント記述子は、このオリエンテーションに対して相対的に表現されることができ、したがって、画像の回転に対する不変性を実現することができる。大きさと方向との計算が、ガウスぼかしを施された画像Ｌ内のおよび／またはキーポイントのスケールのキーポイント３０８のまわりの近傍の領域内のすべての画素に対して実行され得る。（ｘ，ｙ）に位置するキーポイント３０８に関する勾配の大きさは、ｍ（ｘ，ｙ）と表されることができ、（ｘ，ｙ）のキーポイントに関する勾配のオリエンテーションまたは方向は、Γ（ｘ，ｙ）と表されることができる。キーポイントのスケールは、すべての計算がスケールに対して不変であるようにして実行されるように、キーポイント３０８のスケールに最も近いスケールのガウス平滑化された画像Ｌを選択するために使用される。このスケールの各画像サンプルＬ（ｘ，ｙ）に関して、勾配の大きさｍ（ｘ，ｙ）とオリエンテーションΓ（ｘ，ｙ）とが、画素の差を用いて計算される。例えば、大きさｍ（ｘ，ｙ）は、
【数１】
【００３４】
のように計算され得る。方向またはオリエンテーションΓ（ｘ，ｙ）は、
【数２】
【００３５】
のように計算され得る。ここで、Ｌ（ｘ，ｙ）は、やはりキーポイントのスケールであるスケールσのガウスぼかしを施された画像Ｌ（ｘ、ｙ、σ）のサンプルである。
【００３６】
キーポイント３０８の勾配は、ＤｏＧ空間内のキーポイントの平面より上の、より高いスケールに存在するガウシアンピラミッド内の平面に対してか、またはキーポイントよりも下の、より低いスケールに存在するガウシアンピラミッドの平面内でかのいずれかで一貫して計算され得る。どちらにしても、各キーポイントに関して、勾配は、キーポイントを囲む矩形領域（例えば、パッチ）内ですべて１つの同じスケールで計算される。さらに、画像信号の周波数が、ガウスぼかしを施された画像のスケールに反映される。さらに、ＳＩＦＴは、単に、パッチ（例えば、矩形領域）内のすべての画素の勾配値を使用する。パッチがキーポイントのまわりに定義され、サブブロックがブロック内に定義され、サンプルがサブブロック内に定義され、この構造は、キーポイントのスケールが異なるときでさえもすべてのキーポイントに対して同じままである。したがって、画像信号の周波数が同じオクターブ内でガウス平滑化フィルタを連続的に適用することによって変化するが、異なるスケールで特定されたキーポイントが、スケールによって表される画像信号の周波数の変化に無関係に同じサンプル数でサンプリングされ得る。
【００３７】
キーポイントのオリエンテーションを特徴づけるために、（ＳＩＦＴにおいては）勾配のオリエンテーションのベクトルが、（キーポイントのスケールに最も近いスケールのガウス画像を用いて）キーポイント３０８の近傍で生成され得る。しかし、キーポイントのオリエンテーションは、例えば、圧縮勾配ヒストグラム（ＣＨｏＧ）を用いることによって勾配のオリエンテーションのヒストグラムによって表されることもできる（図４参照）。それぞれの近傍の画素の寄与は、勾配の大きさとガウス窓とによって重みづけされ得る。ヒストグラム内のピークが、主なオリエンテーションに対応する。キーポイントのすべての属性は、キーポイントのオリエンテーションに対して相対的に測定されることができ、このことは、回転に対する不変性をもたらす。
【００３８】
一例において、ガウス重みをつけられた（Gaussian-weighted）勾配の分布が、各ブロックに対して計算されることができ、各ブロックは、２サブブロック×２サブブロックの合計４サブブロックである。ガウス重みをつけられた勾配の分布を計算するために、いくつかのビンを有するオリエンテーションのヒストグラムが、各ビンがキーポイントのまわりの領域の一部をカバーするようにして形成される。例えば、オリエンテーションのヒストグラムは、３６個のビンを有する可能性があり、各ビンは、３６０度のオリエンテーションの範囲のうちの１０度をカバーする。代替的に、ヒストグラムは、それぞれが３６０度の範囲のうちの４５度をカバーする８つのビンを有する可能性がある。本明細書に記載のヒストグラムコーディング技術は、任意の数のビンのヒストグラムに適用できる可能性があることは明らかであるに違いない。最終的にヒストグラムを生成するその他の技術も、使用され得ることに留意されたい。
【００３９】
勾配の分布とオリエンテーションのヒストグラムとは、さまざまな方法で得られ得る。例えば、２次元の勾配の分布（ｄｘ，ｄｙ）（例えば、ブロック４０６）が、１次元の分布（例えば、ヒストグラム４１４）に変換される。キーポイント４０８は、キーポイント４０８を囲むパッチ４０６（セルまたは領域とも呼ばれる）の中心に位置する。ピラミッドの各レベルに関して事前に計算される勾配が、各サンプル位置４０８で小さな矢印として示される。示されるように、サンプル４０８の４ｘ４の領域が、サブブロック４１０を形成し、サブブロックの２ｘ２の領域が、ブロック４０６を形成する。ブロック４０６は、記述子窓（descriptor window）とも呼ばれる可能性がある。ガウス重みづけ関数（Gaussian weighting function）が、円４０２によって示され、各サンプル点４０８の大きさに重みを割り当てるために使用される。円形の窓４０２内の重みは、滑らかに減少する。ガウス窓４０２の目的は、窓の位置のわずかな変化によって記述子が突然変わることを防ぐことと、記述子の中心から遠く離れた勾配の重要性を弱めることとである。オリエンテーションのヒストグラムの２ｘ２＝４配列４１２が、ヒストグラムの各ビンの８つのオリエンテーションを用いて２ｘ２サブブロックから得られ、（２ｘ２）ｘ８＝３２次元の特徴記述子ベクトルをもたらす。例えば、オリエンテーションのヒストグラム４１３と４１５とは、サブブロック４１０に関する勾配の分布に対応する可能性がある。しかし、各キーポイントに対して（４ｘ４）ｘ８＝１２８次元の特徴記述子ベクトルをもたらす、各ヒストグラム内に８つのオリエンテーションを有するヒストグラム（８ビンヒストグラム）の４ｘ４配列を用いることが、より良好な結果をもたらす可能性がある。（例えば、異なるボロノイセル（Voronoi cell）構造を有する）その他の種類の量子化ビン配列が、勾配の分布を得るために使用される可能性もあることに留意されたい。
【００４０】
本明細書において使用されるとき、ヒストグラムは、ビンとして知られるさまざまな重ならないカテゴリーに入る観測値、サンプル、または事象（例えば、勾配）の数をカウントする写像ｋiである。ヒストグラムのグラフは、単に、ヒストグラムを表現する１つの方法であるに過ぎない。したがって、ｋが観測値、サンプル、または事象の総数であり、ｍがビンの総数である場合、ヒストグラムの頻度ｋiは、以下の条件、
【数３】
【００４１】
を満たし、ここで、
【数４】
【００４２】
は、総和演算子である。
【００４３】
サブブロックからのヒストグラムは、キーポイントに関する特徴記述子ベクトルを得るために連結され得る。１６個のサブブロックからの８ビンヒストグラムの勾配が使用される場合、１２８次元の特徴記述子ベクトルが、生じる可能性がある。
【００４４】
このようにして、記述子が、特定された各キーポイントに関して得られる可能性があり、そのような記述子は、位置（ｘ，ｙ）と、オリエンテーションと、ガウス重みをつけられた勾配の分布の記述子とによって特徴づけられ得る。画像は、１つまたは複数のキーポイント記述子（画像記述子とも呼ばれる）によって特徴づけられ得ることに留意されたい。さらに、記述子は、位置情報（例えば、キーポイントに関する座標）と、スケール（例えば、キーポイントが検出されたガウススケール（Gaussian scale））と、クラスター識別子などのその他の情報とをやはり含む可能性がある。
【００４５】
ガウシアンの差空間２０４で処理することにより、画像の輝度のあらゆるレベルの変化（輝度に対する空間的に一様な付加的なバイアス）は、完全に無視される。しかし、輝度のスケールの変化は、キーポイントが判定され、最終的に選択または拒絶される方法に影響を与える。このことは、一様な乗数的な輝度因子と空間的に変わる乗数的な輝度因子の両方に当てはまる。キーポイント検出と全く同じぐらい、画像内でのそのキーポイントのローカライズが重要である。物体は、その物体の特徴の幾何学的内容と、それらの空間的相互関係によって分類される。ゆえに、キーポイントの計算された位置は重要な要素であり、したがって、キーポイントが検出されるとしても、そのキーポイントのローカライズが、いかなる輝度のスケールの変化に対しても不変な方法で計算されなければならない。
【００４６】
そのため、キーポイントを特定し、記述子を生成する前に、１つの特徴が、キーポイントが検出される尺度空間から照明の影響を軽減し、取り除き、および／またはフィルタリングするために、ガウシアンの差空間２０４を正規化することを提供する。
【００４７】
例示的な尺度空間の差の正規化
図５は、照明に対して不変な特徴／キーポイント検出のための尺度空間正規化の例を示す。画像Ｉ（ｘ，ｙ）５０２が、平滑化された尺度空間ピラミッド５０６を生成するために、異なるスケールｃiσの平滑化カーネルＧ（ｘ，ｙ，ｃiσ）５０４と畳み込まれることができ、ここで、ｉは０とｎの間の整数である。平滑化カーネルは、ガウスカーネルおよび／またはその他の種類の平滑化関数であってよいことに留意されたい。平滑化された尺度空間ピラミッド５０６の２つ隣り合う尺度空間の間の差が、尺度空間の差５０８を得るために取得され得る。
【００４８】
尺度空間の差５０８の各レベルが、画像Ｉ（ｘ，ｙ）５０２と畳み込まれた異なるスケールの平滑化カーネル５０４の差（例えば、Ｇ（ｘ，ｙ，ｃj+1σ）−Ｇ（ｘ，ｙ，ｃjσ））として定義され得ることが初めに認識される。これは、２つの対応する平滑化された尺度空間の差（例えば、Ｌ（ｘ，ｙ，ｃj+1σ）−Ｌ（ｘ，ｙ，ｃjσ））に等しい。したがって、２つの平滑化尺度空間の差は、
【数５】
【００４９】
と表され得る。
【００５０】
照明がスケーリング関数Ｓ（ｘ，ｙ）と表される場合、２つの平滑化尺度空間の差に対する照明の変化は、
【数６】
【００５１】
と表され得ることも認識される。ここで、通常の場合、照明スケーリング関数Ｓ（ｘ，ｙ）は、空間的に変わるか、または空間的に一定である可能性がある。
【００５２】
しかし、実行時に照明をモデル化し、照明スケーリング関数Ｓ（ｘ，ｙ）を得ることは実用的でないおよび／または実現不可能である。したがって、特徴選択および／または選別が通常実行される特徴空間（例えば、ＤｏＧ空間５０８）から照明によって不偏な基本的特徴（例えば、キーポイント）を強調する代替的な手法が、本明細書において開示される。この代替的な手法によれば、画像Ｉ（ｘ，ｙ）５０２の輝度の分布が、画像Ｉ（ｘ，ｙ）５０２から抽出される尺度空間情報を使用することによって正規化される。照明についての事前の情報は、必要とされない。この方法は、いかなる大きな計算と処理とももたらすことなしに、異なる照明の変化に対して一貫したレベルで、安定した特徴を選択することを可能にし、再現性を向上する。
【００５３】
これを行うために、特徴検出が行われる尺度空間の差５０８が、より広い尺度空間によって正規化され得る。この手法は、
【数７】
【００５４】
によって定義されることができ、
ここで、
第１のガウス平滑化カーネルＧ（ｘ，ｙ，ｃj+1σ）は、第２のガウス平滑化カーネルＧ（ｘ，ｙ，ｃjσ）よりも広く（すなわち、スケールｃj+1σはスケールｃjσよりも広く、ここで、ｊは０とｎの間の正の整数である）、
Ｉ（ｘ，ｙ）は、処理されている画像またはその派生物（例えば、画像の反射特性（reflective property））であり、
Ｓ（ｘ，ｙ）は、照明スケーリング関数であり、
Ｇ（ｘ，ｙ，ｃj+1+hσ）は、第２の平滑化カーネルＧ（ｘ，ｙ，ｃj+1σ）と同じだけ広いか、またはそれよりも広い尺度空間を有する第３の平滑化カーネルであり、ここで、ｈは０とｎの間の正の整数である。尺度空間の差５０８のすべてのレベルでこのプロセスを繰り返すことによって、正規化された尺度空間の差５１０が、生成され得る。例えば、Ｇ（ｘ，ｙ，ｃj+1σ）とＧ（ｘ，ｙ，ｃjσ）とによって定義された差分尺度空間に対して、正規化関数は、Ｇ（ｘ，ｙ，ｃj+1σ）またはそれより上の任意のもの（すなわち、Ｇ（ｘ，ｙ，ｃj+2σ）、Ｇ（ｘ，ｙ，ｃj+3σ）、．．．）である可能性がある。正規化関数は、差分尺度空間で使用された両方の平滑化カーネルよりも大きい必要はなく、正規化関数は、単に、より平滑なものであることを必要とする。別の例において、正規化関数は、使用された第１の平滑化カーネルと第２の平滑化カーネルとの合計（すなわち、Ｇ（ｘ，ｙ，ｃj+1σ）＋Ｇ（ｘ，ｙ，ｃjσ））である可能性があり、したがって、
【数８】
【００５５】
である。
【００５６】
式６は、
【数９】
【００５７】
とも表され得ることに留意されたい。照明スケーリング関数Ｓ（ｘ，ｙ）は（式６と、７と、８との）分子と分母の両方に現れるので、照明スケーリング関数Ｓ（ｘ，ｙ）のスケーリング効果は、打ち消される。つまり、照明スケーリング関数Ｓ（ｘ，ｙ）が正規化に使用される平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）＊Ｓ（ｘ，ｙ）に存在するので、その照明スケーリング関数Ｓ（ｘ，ｙ）が、尺度空間の差［Ｌ（ｘ，ｙ，ｃj+1σ）−Ｌ（ｘ，ｙ，ｃjσ）］＊Ｓ（ｘ，ｙ）内の照明スケーリング関数Ｓ（ｘ，ｙ）の効果を完全にまたは実質的に打ち消す。上述のように、Ｌ（ｘ，ｙ，ｃj+1+hσ）は、Ｌ（ｘ，ｙ，ｃj+1σ）またはそれよりも高いスケールの画像（すなわち、Ｌ（ｘ，ｙ，ｃj+2σ）、Ｌ（ｘ，ｙ，ｃj+3σ）、．．．）に等しい可能性がある。このようにして、分母の画像の内容が、その分母の画像の内容がほとんど空間的アーティファクトをもたらさない程度にまで平滑化される。
【００５８】
尺度空間の差の正規化において、正規化する平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）は、（キーポイント／特徴を特定する）局所的極値の位置を変えないために、特徴空間（すなわち、尺度空間の差）を変え過ぎないように選択されなければならない。つまり、尺度空間の差が、スケールに対して不変な特徴を得るのに最適であることが知られているので、尺度空間の差の近い近似が、正規化の後に維持されなければならない。この目的で、平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）は、その画像のスケールレベルが、高周波数の内容が平均化されるように十分に平滑であるように選択される。換言すれば、平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）が十分に平坦である場合、尺度空間の差Ｌ（ｘ，ｙ，ｃj+1σ）−Ｌ（ｘ，ｙ，ｃjσ）の形状は、おおむね変わらない（すなわち、特徴／キーポイントの位置は変わらない。一実施形態において、正規化されている差分スケールレベルを得るために使用されたスケールレベルに近い（同じか、または次に高い）スケールレベルの正規化関数を選択することが、過剰な雑音をもたらすことを防ぐので好ましい可能性があることに留意されたい。例えば、Ｇ（ｘ，ｙ，ｃj+1σ）とＧ（ｘ，ｙ，ｃjσ）とによって定義される差分尺度空間に対してＧ（ｘ，ｙ，ｃj+1σ）のような平滑なスケールを選択することによって、尺度空間内のその特定のレベルに典型的な局所的な不規則性が保たれ得る。
【００５９】
上述のように、画像内で検出される特徴の数は、画像内の乗数的な輝度のスケールの変化によって大きく影響を受ける（例えば、減らされる）可能性がある。輝度によって引き起こされるスケーリングは、画像に対するマスクのように作用する傾向があり、これは、幾何学的変形が全くなかったとしても、最終的な特徴空間の内容を大きく減らす。したがって、式６と７との適用によってなされる正規化は、特徴の持つ幾何学的重要性の点で「等しい」特徴が、照明の変化に無関係に検出されることを保証し、それによって、再現性を向上する。
【００６０】
図６は、正規化された尺度空間の差の１つのレベルがどのように得られ得るかの一例を示す。ここで、画像Ｉ（ｘ，ｙ）６０２が、第１の平滑化された尺度空間画像Ｌ（ｘ，ｙ，ｃjσ）６０８を得るために、第１の平滑化カーネルＧ（ｘ，ｙ，ｃjσ）と畳み込まれる可能性がある。画像Ｉ（ｘ，ｙ）６０２は、第２の平滑化された尺度空間画像Ｌ（ｘ，ｙ，ｃj+1σ）６１０を得るために、第２の平滑化カーネルＧ（ｘ，ｙ，ｃj+1σ）６０６とも畳み込まれる可能性がある。第２の平滑化画像６１０と第１の平滑化画像６０８との間の差が、尺度空間のレベルの差Ｄj（ｘ，ｙ，σ）６１２を得るために取得され得る。尺度空間のレベルのこの差Ｄj（ｘ，ｙ，σ）６１２は、正規化された尺度空間のレベルＤ’j（ｘ，ｙ，σ）６１４を得るために、より高いスケールの平滑化カーネルＧ（ｘ，ｙ，ｃj+1+hσ）６１６または平滑化された尺度空間画像Ｌ（ｘ，ｙ，ｃj+1+hσ）６１８に基づいて（式６および／または７にしたがって）正規化され得る。このプロセスが、画像Ｉ（ｘ，ｙ）に（スケーリング因子ｃjσによって設定される）異なる幅の異なる平滑化カーネルを適用することによって繰り返される可能性があり、それによって、平滑化された尺度空間ピラミッドを構築する。尺度空間の差（例えば、図５の５０８）が、平滑化された尺度空間ピラミッド（例えば、図５の５０６）の隣り合うレベルの間の差をとることによって構築され得る。正規化された尺度空間の差（例えば、図５の５１０）が、式６および／または７にしたがって生成され得る。
【００６１】
図７は、照明の変化に影響されにくい改善された特徴検出のための正規化された尺度空間の差を生成するための方法を示す。画像Ｉ（ｘ，ｙ）を（ｉ＝０からｎとした異なるｃiσによって設定される）異なるスケーリング幅の平滑化カーネルＧ（ｘ，ｙ，ｃiσ）と畳み込んで、平滑化された尺度空間ピラミッドを構成する、ｉ＝０からｎとした複数の平滑化された画像Ｌ（ｘ，ｙ，ｃiσ）を得る７０２。画像Ｉ（ｘ，ｙ）は、元画像によって表されることができ４）画像空間Ｉ（ｘ，ｙ）を照明スケーリング関数Ｓ（ｘ，ｙ）と乗算して、空間的に変わる照明関数Ｓ（ｘ，ｙ）を乗算されたスケーリングされた画像空間Ｉ0（ｘ，ｙ）を得ることに留意されたい。つまり、画像Ｉ（ｘ，ｙ）は、照明関数Ｓ（ｘ，ｙ）により全面的にまたは画素ごとに修正された基本画像Ｉ0（ｘ，ｙ）によって特徴づけられ得る。一例において、平滑化カーネルＧ（ｘ，ｙ，ｃiσ）はガウスカーネルである可能性があり、したがって、平滑化された尺度空間ピラミッドはガウス尺度空間ピラミッドである。
【００６２】
次に、平滑化された尺度空間ピラミッド全体にわたって、平滑化された画像の隣り合う対の差Ｌ（ｘ，ｙ，ｃj+1σ）−Ｌ（ｘ，ｙ，ｃjσ）をとることによって、ｊ＝０からｎ−１とした尺度空間の差Ｄj（ｘ，ｙ，σ）を生成する７０４。このプロセスが、複数のレベルを有する尺度空間の差を得るために、隣り合う平滑化された画像の複数の組に対して繰り返される。第２の平滑化された画像Ｌ（ｘ，ｙ，ｃj+1σ）を得るために使用される第２の平滑化カーネルＧ（ｘ，ｙ，ｃj+1σ）は、第１の平滑化された画像Ｌ（ｘ，ｙ，ｃj+1σ）を得るために使用される第１の平滑化カーネルＧ（ｘ，ｙ，ｃjσ）よりも広い可能性があることに留意されたい。
【００６３】
次に、ｊ＝０からｎ−１とした正規化された尺度空間の差Ｄ’j（ｘ，ｙ，σ）が、それぞれの尺度空間の差Ｄj（ｘ，ｙ，σ）のレベルを対応する平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）で割ることによって生成されることができ、それぞれの平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）は、画像の２つの異なる平滑化されたバージョンＬ（ｘ，ｙ，ｃj+1σ）とＬ（ｘ，ｙ，ｃjσ）とのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である７０６。つまり、正規化する平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）は、画像の２つの異なる平滑化されたバージョンＬ（ｘ，ｙ，ｃj+1σ）とＬ（ｘ，ｙ，ｃjσ）とのスケール（例えば、平滑化カーネル）のうちでより大きい方と同じか、またはそれよりも広いスケール（例えば、平滑化カーネル）を有する可能性がある。
【００６４】
次に、ｊ＝０からｎ−１とした正規化された尺度空間の差Ｄ’j（ｘ，ｙ，σ）が、画像Ｉ（ｘ，ｙ）に関する特徴を特定するために使用され得る７０８。例えば、局所的極値（すなわち、極大値または極小値）が、特徴がまわりに定義される可能性があるキーポイントとして特定され得る。そして、記述子が、特定された特徴に基づいて画像Ｉ（ｘ，ｙ）に関して生成され得る７１０。
【００６５】
図５と、６と、７とに示された方法は、画像の照明についての事前の情報を必要としない。この方法は、いかなる大きな（大量の）計算と処理とももたらすことなしに、異なる照明の変化に対して一貫したレベルで、画像内の安定した特徴を選択することを可能にし、再現性を向上する。つまり、平滑化された尺度空間が尺度空間の差Ｄj（ｘ，ｙ，σ）を正規化するために使用される平滑化された画像Ｌ（ｘ，ｙ，ｃj+1+hσ）を既に含むので、除算以外には正規化するために追加的な処理が必要とされない。
【００６６】
さらに、特徴が選択される信頼性を適応させることによって、より安定した特徴が、特徴が検出されるスケール（例えば、平滑化のレベル）によって得られる可能性がある。換言すれば、概して、より高いスケールは、画像のより平滑なバージョン（すなわち、よりぼかされた）を含み、そのようなスケールで検出されたキーポイント／特徴は、より高い信頼度を有する。
【００６７】
例示的な特徴検出の例
（図８Ａと、８Ｂと、８Ｃとを備える）図８は、通常の特徴検出手法を用いると、画像の特徴検出が照明の変化によってどのように影響を受ける可能性があるのかを示す。図８Ａは、ほぼ一様な照明を有する画像において検出された特徴を示す。図８Ｂは、画像全体を低レベルにする一様な照明スケーリングを伴う画像において検出された特徴を示す。つまり、図８Ａに比して、図８Ｂの画像は、照明スケーリング（例えば、画像を暗くすること）によって画像全体で検出された特徴がより少ない。図８Ｃは、空間的に変わる（一様でない）照明スケーリングが特徴検出にどのように影響を与える可能性があるかをよりはっきりと示す。すなわち、図８Ａに比して、図８Ｃの画像は、照明スケーリング（例えば、画像を暗くすること）によって影響を受けた画像の下半分に沿って検出された特徴がより少ない。図８に関して、検出される特徴の数が、画像内の乗数的な輝度のスケールの変化に依存することは明らかである。
【００６８】
（図９Ａと、９Ｂと、９Ｃとを備える）図９は、特徴検出の前に尺度空間の差を正規化することが、照明の変化に関係なく特徴を検出するのにどのように役立つのかを示す。図９Ａは、（特徴が検出される）尺度空間の差が初めに正規化されたときに、ほぼ一様な照明を有する画像において検出された特徴を示す。図９Ｂは、（特徴が検出される）尺度空間の差が初めに正規化されたときに、画像全体を低レベルにする一様な照明スケーリングを伴う画像において検出された特徴を示す。そのような正規化の結果として、図９Ｂの照明スケーリング（例えば、画像を暗くすること）に関わらず、ほぼ同じ特徴の密度が、図９Ａと９Ｂとにおいて検出される。図９Ｃは、特徴が検出される尺度空間の差を正規化することが、空間的に変わる照明の変化に関わらず安定したまたは再現性のある特徴検出をどのようにして可能にするのかを示す。そのような正規化の結果として、図９Ｃの空間的に変わる照明スケーリング（例えば、画像の下半分を暗くすること）に関わらず、ほぼ同じ特徴の密度が、図９Ａと９Ｃとにおいて検出される。図９Ａと、９Ｂと、９Ｃとから、特徴検出の前に尺度空間の差（例えば、ガウス空間の差）を正規化する開示された技術が、照明の変化の影響をおおむね打ち消すか、または軽減することが理解され得る。
【００６９】
（図１０Ａと１０Ｂとを備える）図１０は、ガウス尺度空間の差と正規化されたガウス尺度空間の差との間の比較を示す。図１０Ａは、（異なるオクターブと、スケールと、スケーリング幅との）複数の画像を有することを備えるガウス尺度空間の差を示し、画像のそれぞれは、元画像の異なる平滑化されたバージョンである。図１０Ａは、特徴の認識に対する輝度のスケールの変化の有害な影響をはっきりと示す。図１０Ｂは、図５と、６と、７とに示された技術にしたがって正規化された、図１０Ａと同じガウス尺度空間の差を示す。図１０Ｂは、輝度のスケールの変化に関わらずはっきりと特定できるより多くの特徴を示す。
【００７０】
（図１１Ａと１１Ｂとを備える）図１１は、尺度空間の差の正規化がキーポイントマッチングの検証に及ぼす影響を示す。図１１Ａは、尺度空間の差（例えば、ＤｏＧ空間）の正規化なしに、一様な照明スケーリングによって影響を受けた試験画像１１０４内のキーポイントが、データベース画像１１０２とどのようにマッチングされるかを示す。ここでは、およそ１４４個のキーポイントが、試験画像１１０４とデータベース画像１１０２との間で一致している。図１１Ｂは、尺度空間の差の正規化（例えば、正規化されたＤｏＧ空間）を用いて、一様な照明スケーリングによって影響を受けた試験画像１１０６内のキーポイントが、データベース画像１１０２とどのようにマッチングされるかを示す。正規化は、図１１Ａの１４４個のキーポイントの一致と比較して大きな改善である約４９５個のキーポイントの一致をもたらす。
【００７１】
例示的な特徴検出デバイス
図１２は、照明に対して不変な特徴検出デバイスの例を示すブロック図である。特徴検出デバイス１２００は、デジタル形式の問い合わせ画像１２０２を受信または取得することができる。次に、尺度空間生成器１２０４（例えば、ガウス尺度空間生成器）が、尺度空間を生成するために、問い合わせ画像１２０２を異なるスケール幅の複数の異なる平滑化カーネル１２０３と畳み込むことができる。尺度空間は、異なるスケーリング幅まで平滑化される画像の複数の平滑化されたバージョンを備える可能性がある。それから、尺度空間の差生成器１２０６が、尺度空間から尺度空間の差を生成する。次いで、尺度空間の差正規化器１２０８が、例えば、それぞれの尺度空間のレベルの差を対応する平滑化された画像で割ることによって尺度空間の差を正規化し、そのような平滑化された画像は、割られる尺度空間の差を生成するために使用された平滑化された画像のうちでより大きい方と同じか、またはそれよりも広いスケールを有する。そして、キーポイント生成器１２１０が、正規化された尺度空間の差内のキーポイントを特定または検出する。これは、例えば、正規化された尺度空間の差の画素の中の局所的極値（すなわち、極大値または極小値）を発見することによって行われ得る。次に、特徴生成器１２１２が、例えば、特定されたキーポイントのまわりの局所的な画素を特徴づけることによって特徴を生成することができる。キーポイント生成器１２１０と特徴生成器１２１２との機能は、特徴検出器によって実行され得ることに留意されたい。それから、特徴記述子生成器１２１４が、問い合わせ画像を特定するのに役立つことができる複数の画像記述子１２１６を提供するための各特徴に関する記述子を生成する。図１２に示された機能は、別個の回路によって、または１つもしくは複数のプロセッサによって実行され得る。
【００７２】
例示的な画像マッチングデバイス
図１３は、特徴検出のために正規化された尺度空間の差を使用する画像マッチングデバイスの例を示すブロック図である。画像マッチングデバイス１３００は、通信インターフェース１３０４、画像取り込みデバイス１３０６、および／またはストレージデバイス１３０８に結合された処理回路１３０２を含み得る。通信インターフェース１３０４は、有線／ワイヤレスネットワークを介して通信し、画像、および／または１つもしくは複数の画像に関する特徴記述子を受信するように適合され得る。画像取り込みデバイス１３０６は、例えば、問い合わせ画像を取り込むことができるデジタルカメラである可能性がある。処理回路１３０２は、画像から特徴を抽出するための画像処理回路１３１４と、抽出された特徴を用いて問い合わせ画像を目標画像のデータベース１３１０とマッチングし、および／または問い合わせ画像の記述子を記述子データベース１３１２とマッチングする画像マッチング回路１３１６とを含み得る。１つの例示的な実装によれば、画像マッチングアプリケーションが、問い合わせ画像を画像データベース内の１つまたは複数の画像とマッチングするように試みる。画像データベースは、データベース１３１０に記憶された１つまたは複数の画像に関連する大量の特徴記述子を含み得る。
【００７３】
画像処理回路１３１４は、ガウス尺度空間生成器１３２２、尺度空間の差生成器１３２４、尺度空間の差正規化器１３２６、キーポイント検出器１３２８、特徴生成器１３３０、および／または特徴記述子生成器１３３２を含む特徴特定回路１３２０を含み得る。ガウス尺度空間生成器１３２２は、画像をぼかし関数（例えば、平滑化カーネル）と畳み込んで、例えば、図２と５とに示された複数の異なる尺度空間を生成する役割をする可能性がある。それから、尺度空間の差生成器１３２４が、尺度空間から尺度空間の差を生成する。次いで、尺度空間の差正規化器１３２６が、例えば、それぞれの尺度空間のレベルの差を対応する平滑化された画像で割ることによって尺度空間の差を正規化し、そのような平滑化された画像は、（図６に示された）割られる尺度空間の差を生成するために使用されたどちらの平滑化された画像よりも広い。そして、キーポイント生成器１３２８が、（図９に示された）正規化された尺度空間の差内のキーポイントを特定または検出する。これは、例えば、正規化された尺度空間の差の画素の中の局所的極値（すなわち、極大値または極小値）を発見することによって行われ得る。次に、特徴生成器１３３０が、例えば、（図３に示された）特定されたキーポイントのまわりの局所的な画素を特徴づけることによって特徴を生成することができる。それから、特徴記述子生成器１３３２が、（図４に示された）問い合わせ画像を特定するのに役立つことができる複数の画像記述子を提供するための各特徴に関する記述子を生成する。
【００７４】
そして、画像マッチング回路１３１６が、特徴記述子に基づいて、問い合わせ画像を画像データベース１３１０内の画像とマッチングするように試みることができる。一致結果は、（例えば、画像または特徴記述子を送信するモバイルデバイスに）通信インターフェースを介して提供され得る。
【００７５】
一部の実装において、問い合わせ画像に関するキーポイントに関連する一組の特徴記述子が、画像マッチングデバイスによって受信され得ることに留意されたい。この場合、問い合わせ画像は、（記述子を得るために）既に処理済みである。したがって、画像処理回路１３１４は、飛ばされるか、または画像マッチングデバイス１３００から取り除かれる可能性がある。
【００７６】
例示的なモバイルデバイス
図１４は、画像または物体認識の目的で画像処理を実行するように適合された例示的なモバイルデバイスを示すブロック図である。モバイルデバイス１４００は、画像取り込みデバイス１４０４と、通信インターフェース１４１０と、ストレージデバイス１４０８とに結合された処理回路１４０２を含み得る。画像取り込みデバイス１４０４（例えば、デジタルカメラ）は、注目される問い合わせ画像１４０６を取り込むように適合されることができ、その問い合わせ画像１４０６を処理回路１４０２に提供する。処理回路１４０２は、取り込まれた画像を処理して特徴記述子を生成するように構成された画像処理回路１４１４を含む可能性があり、その特徴記述子は、画像／物体認識のために後で送信されるかまたは使用され得る。例えば、画像処理回路１４１４は、ガウス尺度空間生成器１４２２、尺度空間の差生成器１４２４、尺度空間の差正規化器１４２６、キーポイント検出器１４２８、特徴生成器１４３０、および／または特徴記述子生成器１４３２を含む特徴特定回路１４２０を含むかまたは実装する可能性がある。ガウス尺度空間生成器１４２２は、画像をぼかし関数（例えば、平滑化カーネル）と畳み込んで、例えば、図２と５とに示された複数の異なる尺度空間を生成する役割をする可能性がある。それから、尺度空間の差生成器１４２４が、尺度空間から尺度空間の差を生成する。次いで、尺度空間の差正規化器１４２６が、例えば、それぞれの尺度空間のレベルの差を対応する平滑化された画像で割ることによって尺度空間の差を正規化し、そのような平滑化された画像は、（図６に示された）割られる尺度空間の差を生成するために使用されたどちらの平滑化された画像よりも広い。そして、キーポイント生成器１４２８が、（図９に示された）正規化された尺度空間の差内のキーポイントを特定または検出する。これは、例えば、正規化された尺度空間の差の画素の中の局所的極値（すなわち、極大値または極小値）を発見することによって行われ得る。次に、特徴生成器１４３０が、例えば、（図３に示された）特定されたキーポイントのまわりの局所的な画素を特徴づけることによって特徴を生成することができる。それから、特徴記述子生成器１４３２が、（図４に示された）問い合わせ画像を特定するのに役立つことができる複数の画像記述子を提供するための各特徴に関する記述子を生成する。
【００７７】
次いで、処理回路１４０２が、１つまたは複数の特徴記述子をストレージデバイス１４０８に記憶することができ、および／または特徴記述子を、特徴記述子を使用してその中の画像または物体を特定する画像マッチングサーバに通信ネットワーク１４１２を通じて通信インターフェース１４１０（例えば、ワイヤレス通信インターフェース、トランシーバ、または回路）を介して送信することもできる。つまり、画像マッチングサーバは、特徴記述子を、その画像マッチングサーバ自体の特徴記述子のデータベースと比較して、その画像マッチングサーバのデータベース内のいずれかの画像が（１つまたは複数の）同じ特徴を有するかどうかを判定することができる。
【００７８】
一例において、画像処理回路１４１４は、本明細書に記載の１つまたは複数の方法を実装し得る。例示的な実装によれば、モバイルデバイスは、送信するために特徴記述子を圧縮することができる。帯域幅はワイヤレス送信の制限要因になりやすいので、本明細書に記載の１つまたは複数の技術を適用することによる特徴記述子の圧縮は、モバイルネットワークにおいてワイヤレスチャネルとバックホールリンクとを介して送信されるデータの量を削減することができる。
【００７９】
正規化された尺度空間における特徴検出のための例示的な方法
図１５は、正規化された尺度空間の差を使用する特徴検出のための方法を示す。（ガウス）尺度空間が、画像に対して生成されることができ、この尺度空間は、画像の異なるぼかされた（平滑化された）バージョンを備える可能性がある１５０２。尺度空間の差画像が、（尺度空間からの）画像の２つの異なる平滑化されたバージョンの間の差をとることによって生成され得る１５０４。このプロセスが、複数の尺度空間の差画像を得るために画像の複数のその他の（例えば、隣り合う）平滑化されたバージョンに対して繰り返されることができる。尺度空間の差を形成する複数の尺度空間の差画像。
【００８０】
次に、正規化された尺度空間の差画像（レベル）が、画像の第３の平滑化されたバージョンによって尺度空間の差画像を割ることによって生成される可能性があり、画像の第３の平滑化されたバージョンは、画像の２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である１５０６。例えば、画像の第３の平滑化されたバージョンは、画像の２つの異なる平滑化されたバージョンのスケール（例えば、平滑化カーネル）のうちでより大きい方と同じか、またはそれよりも広いスケール（例えば、平滑化カーネル）を有する可能性がある。このプロセスが、複数の正規化された尺度空間の差画像を得るために複数の差尺度空間画像に対して繰り返されることができる。正規化された尺度空間の差を形成する複数の正規化された尺度空間の差画像。
【００８１】
画像に関する１つまたは複数の特徴が、正規化された尺度空間の差画像を用いることによって検出または特定され得る１５０８。同様に、さらなる特徴が、正規化された尺度空間の差に対して検出され得る。そして、記述子が、特定された特徴に基づいて画像に関して生成され得る１５１０。
【００８２】
情報と信号とは、任意のさまざまな異なるテクノロジーと技術とを使用して表され得る。例えば、上の説明中で言及される可能性があるデータ、命令、コマンド、情報、信号などは、電圧、電流、電磁波、磁界もしくは磁気的粒子、光場もしくは光学的粒子、またはそれらの任意の組み合わせで表される可能性がある。
【００８３】
本明細書に記載のさまざまな例示的な論理ブロック、モジュールおよび回路、ならびにアルゴリズムのステップは、電子的なハードウェア、ソフトウェア、またはそれら両方の組み合わせとして実装または実行され得る。ハードウェアとソフトウェアとのこの互換性を明確に示すために、さまざまな例示的なコンポーネントと、ブロックと、モジュールと、回路と、ステップとが、概してそれらの機能の観点で上で説明された。そのような機能がハードウェアとして実装されるか、それともソフトウェアとして実装されるかは、システム全体に課された特定の用途と設計の制約とによって決まる。構成が、フローチャート、流れ図、構造図、またはブロック図として示されるプロセスとして示され得ることに留意されたい。フローチャートはオペレーションを連続的なプロセスとして示す可能性があるが、オペレーションの多くは、並列的にまたは同時に実行され得る。加えて、オペレーションの順序は、変えられ得る。プロセスは、そのプロセスのオペレーションが完了するときに終了される。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応する可能性がある。プロセスが関数に対応するとき、そのプロセスの終了は、当該関数が呼び出し元関数またはメイン関数に戻ることに対応する。
【００８４】
ハードウェアで実装されるとき、さまざまな例は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくはその他のプログラマブルロジックデバイス、離散的なゲートもしくはトランジスタ論理、離散的なハードウェアコンポーネント、または本明細書に記載の機能を実行するように設計されたそれらの任意の組み合わせを使用する可能性がある。汎用プロセッサはマイクロプロセッサであってよいが、別法として、プロセッサは、任意の通常のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であってよい。プロセッサは、コンピューティングデバイスの組み合わせ、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つもしくは複数のマイクロプロセッサ、または任意のその他のそのような構成としても実装され得る。
【００８５】
ソフトウェアで実装されるとき、さまざまな例は、ファームウェア、ミドルウェア、またはマイクロコードを使用する可能性がある。必要なタスクを実行するためのプログラムコードまたはコードセグメントは、ストレージ媒体または（１つもしくは複数の）その他のストレージなどのコンピュータ可読媒体に記憶され得る。プロセッサが、必要なタスクを実行する可能性がある。コードセグメントは、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造、もしくはプログラムステートメントの任意の組み合わせを表す可能性がある。コードセグメントは、情報、データ、引数、パラメータ、またはメモリの内容を渡すことおよび／または受信することによって別のコードセグメントまたはハードウェア回路に結合されることができる。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク伝送などを含む任意の好適な手段によって渡されるか、転送されるか、または送信されることができる。
【００８６】
本出願において使用されるとき、用語「コンポーネント」、「モジュール」、「システム」などは、コンピュータに関連するエンティティ、ハードウェア、ファームウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、または実行中のソフトウェアのいずれかを指すように意図される。例えば、コンポーネントは、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、および／またはコンピュータであってよいがこれらに限定されない。例として、コンピューティングデバイス上で実行されるアプリケーションとそのコンピューティングデバイスの両方が、コンポーネントである可能性がある。１つまたは複数のコンポーネントは実行プロセスおよび／または実行スレッド内にある可能性があり、コンポーネントは１つのコンピュータ上に配置される、および／または２つ以上のコンピュータの間に分散される可能性がある。さらに、これらのコンポーネントは、さまざまなデータ構造を記憶するさまざまなコンピュータ可読媒体から実行されることができる。コンポーネントは、１つまたは複数のデータパケット（例えば、信号によってローカルシステム内、分散システム内の別のコンポーネントと、および／またはインターネットなどのネットワークを介してその他のシステムとインタラクションする１つのコンポーネントからのデータ）を有する信号によるなどして、ローカルおよび／またはリモートプロセスを介して通信することができる。
【００８７】
本明細書の１つまたは複数の例において、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体上で送信され得る。コンピュータ可読媒体は、１つの場所から別の場所へのコンピュータプログラムの移送を容易にする任意の媒体を含むコンピュータストレージ媒体と通信媒体の両方を含む。ストレージ媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体である可能性がある。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくはその他の光ディスクストレージ、磁気ディスクストレージもしくはその他の磁気ストレージデバイス、または命令もしくはデータ構造の形態で所望のプログラムコードを搬送もしくは記憶するために使用されることができ、コンピュータによってアクセスされ得る任意のその他の媒体を備える可能性がある。また、当然、任意の接続がコンピュータ可読媒体と呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、デジタル加入者線（ＤＳＬ）、または赤外線、ラジオ波、およびマイクロ波などのワイヤレス技術を用いてウェブサイト、サーバ、またはその他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、ＤＳＬ、または赤外線、ラジオ波、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用されるとき、ディスク（ｄｉｓｋ）とディスク（ｄｉｓｃ）とは、コンパクトディスク（ｃｏｍｐａｃｔ ｄｉｓｃ）（ＣＤ）、レーザディスク（ｌａｓｅｒ ｄｉｓｃ）、光ディスク（ｏｐｔｉｃａｌ ｄｉｓｃ）、デジタルバーサタイルディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）（ＤＶＤ）、フロッピー（登録商標）ディスク（ｆｌｏｐｐｙ（登録商標） ｄｉｓｋ）、およびブルーレイ（登録商標）ディスク（ｂｌｕ−ｒａｙ ｄｉｓｃ）を含み、ディスク（ｄｉｓｋ）が、通常、磁気的にデータを再生する一方、ディスク（ｄｉｓｃ）は、レーザを用いて光学的にデータを再生する。上記の媒体の組み合わせも、コンピュータ可読媒体の範囲に含まれるべきである。ソフトウェアは、単一の命令または複数の命令を備える可能性があり、いくつかの異なるコードセグメントに、異なるプログラムの間に、および複数のストレージ媒体に分散され得る。例示的なストレージ媒体は、プロセッサが当該ストレージ媒体から情報を読むことができ、当該ストレージ媒体に情報を書き込むことができるようにプロセッサに結合され得る。別法として、ストレージ媒体はプロセッサに一体化される可能性がある。
【００８８】
本明細書において開示された方法は、説明された方法を実現するための１つまたは複数のステップまたはアクションを備える。方法のステップおよび／またはアクションは、特許請求の範囲から逸脱せずに互いに交換可能である可能性がある。換言すれば、ステップまたはアクションの特定の順序が、説明されている実施形態の適切な動作のために必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱せずに修正され得る。
【００８９】
図に示されたコンポーネント、ステップ、および／もしくは機能のうちの１つまたは複数は、単一のコンポーネント、ステップ、もしくは機能に再配列されるおよび／もしくは組み合わされるか、またはいくつかのコンポーネント、ステップ、もしくは機能で実施され得る。また、さらなる要素、コンポーネント、ステップ、および／または機能が、追加される可能性がある。図に示された装置、デバイス、および／またはコンポーネントは、その他の図に示された方法、特徴、またはステップのうちの１つまたは複数を実行するように構成または適合され得る。本明細書に記載のアルゴリズムは、例えば、ソフトウェアおよび／または埋め込みハードウェアで効率的に実装され得る。
【００９０】
上述の構成は、単に例であるに過ぎず、特許請求の範囲を限定するとみなされるべきでないことに留意されたい。構成の説明は、例示的であるように意図されており、特許請求の範囲を限定するように意図されていない。したがって、この教示は、その他の種類の装置に容易に適用されることができ、多くの代替と、修正と、変更とが、当業者に明らかであろう。
【特許請求の範囲】
【請求項１】
画像の特徴検出デバイスで動作する方法であって、
画像の２つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成することと、
前記画像の第３の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成することであって、前記画像の前記第３の平滑化されたバージョンが、前記画像の前記２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、生成することと、
前記画像に関する１つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を用いることとを備える、方法。
【請求項２】
前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むことであって、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する、畳み込むことをさらに備える請求項１に記載の方法。
【請求項３】
前記画像の前記２つの異なる平滑化されたバージョンが、前記平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項２に記載の方法。
【請求項４】
前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成することであって、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する、生成することをさらに備える請求項２に記載の方法。
【請求項５】
前記画像の異なる平滑化されたバージョンの前記対が、前記平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項４に記載の方法。
【請求項６】
前記画像の前記第３の平滑化されたバージョンが、前記画像の前記２つの異なる平滑化されたバージョンのスケールのうちでより大きい方と同じか、またはそれよりも広いスケールを有する請求項２に記載の方法。
【請求項７】
前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する前記１つまたは複数の特徴を特定することをさらに備える請求項１に記載の方法。
【請求項８】
各特長が、キーポイントと、前記キーポイントを囲むポイントについての情報とを含む請求項７に記載の方法。
【請求項９】
特定された前記１つまたは複数の特徴に基づいて前記画像に関する記述子を生成することをさらに備える請求項１に記載の方法。
【請求項１０】
画像の２つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成するように適合された尺度空間の差生成器と、
前記画像の第３の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成するように適合された尺度空間の差生成器正規化器であって、前記画像の前記第３の平滑化されたバージョンが、前記画像の前記２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、尺度空間の差生成器正規化器と、
前記画像に関する１つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を使用するように適合された特徴検出器とを備える画像の特徴検出デバイス。
【請求項１１】
前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むように適合された尺度空間生成器であって、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する、尺度空間生成器をさらに備える請求項１０に記載の画像の特徴検出デバイス。
【請求項１２】
前記画像の前記２つの異なる平滑化されたバージョンが、前記平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項１１に記載の画像の特徴検出デバイス。
【請求項１３】
前記尺度空間の差生成器が、前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成するように適合され、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する請求項１１に記載の画像の特徴検出デバイス。
【請求項１４】
前記画像の異なる平滑化されたバージョンの前記対が、前記平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項１３に記載の画像の特徴検出デバイス。
【請求項１５】
前記画像の前記第３の平滑化されたバージョンが、前記画像の前記２つの異なる平滑化されたバージョンのスケールのうちでより大きい方と同じか、またはそれよりも広いスケールを有する請求項１１に記載の画像の特徴検出デバイス。
【請求項１６】
前記特徴検出器が、前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する特徴を特定するように適合される請求項１０に記載の画像の特徴検出デバイス。
【請求項１７】
特定された前記１つまたは複数の特徴に基づいて前記画像に関する記述子を生成するように適合された特徴記述子生成器をさらに備える請求項１０に記載の画像の特徴検出デバイス。
【請求項１８】
画像の２つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成するための手段と、
前記画像の第３の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成するための手段であって、前記画像の前記第３の平滑化されたバージョンが、前記画像の前記２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、生成するための手段と、
前記画像に関する１つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を使用するための手段とを備える画像の特徴検出デバイス。
【請求項１９】
前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むための手段であって、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する、畳み込むための手段をさらに備える請求項１８に記載の画像の特徴検出デバイス。
【請求項２０】
前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成するための手段であって、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する、生成するための手段をさらに備える請求項１９に記載の画像の特徴検出デバイス。
【請求項２１】
前記画像の異なる平滑化されたバージョンの前記対が、平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項２０に記載の画像の特徴検出デバイス。
【請求項２２】
前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する前記１つまたは複数の特徴を特定するための手段をさらに備える請求項１８に記載の画像の特徴検出デバイス。
【請求項２３】
特定された前記１つまたは複数の特徴に基づいて前記画像に関する記述子を生成するための手段をさらに備える請求項１８に記載の画像の特徴検出デバイス。
【請求項２４】
プロセッサによって実行されるときに、前記プロセッサに、
画像の２つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成させ、
前記画像の第３の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成させ、
前記画像に関する１つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を使用させ、前記画像の前記第３の平滑化されたバージョンが、前記画像の前記２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、画像の特徴検出デバイス上で動作する１つまたは複数の命令を有するプロセッサ可読媒体。
【請求項２５】
プロセッサによって実行されるときに、前記プロセッサに、さらに、
前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込ませ、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する１つまたは複数の命令を有する請求項２４に記載のプロセッサ可読媒体。
【請求項２６】
プロセッサによって実行されるときに、前記プロセッサに、さらに、
前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成させ、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する１つまたは複数の命令を有する請求項２５に記載のプロセッサ可読媒体。
【請求項２７】
プロセッサによって実行されるときに、前記プロセッサに、さらに、
前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する前記１つまたは複数の特徴を特定させる１つまたは複数の命令を有する請求項２４に記載のプロセッサ可読媒体。
【請求項２８】
プロセッサによって実行されるときに、前記プロセッサに、さらに、
特定された前記１つまたは複数の特徴に基づいて前記画像に関する記述子を生成させる１つまたは複数の命令を有する請求項２４に記載のプロセッサ可読媒体。
【請求項１】
画像の特徴検出デバイスで動作する方法であって、
画像の２つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成することと、
前記画像の第３の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成することであって、前記画像の前記第３の平滑化されたバージョンが、前記画像の前記２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、生成することと、
前記画像に関する１つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を用いることとを備える、方法。
【請求項２】
前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むことであって、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する、畳み込むことをさらに備える請求項１に記載の方法。
【請求項３】
前記画像の前記２つの異なる平滑化されたバージョンが、前記平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項２に記載の方法。
【請求項４】
前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成することであって、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する、生成することをさらに備える請求項２に記載の方法。
【請求項５】
前記画像の異なる平滑化されたバージョンの前記対が、前記平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項４に記載の方法。
【請求項６】
前記画像の前記第３の平滑化されたバージョンが、前記画像の前記２つの異なる平滑化されたバージョンのスケールのうちでより大きい方と同じか、またはそれよりも広いスケールを有する請求項２に記載の方法。
【請求項７】
前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する前記１つまたは複数の特徴を特定することをさらに備える請求項１に記載の方法。
【請求項８】
各特長が、キーポイントと、前記キーポイントを囲むポイントについての情報とを含む請求項７に記載の方法。
【請求項９】
特定された前記１つまたは複数の特徴に基づいて前記画像に関する記述子を生成することをさらに備える請求項１に記載の方法。
【請求項１０】
画像の２つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成するように適合された尺度空間の差生成器と、
前記画像の第３の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成するように適合された尺度空間の差生成器正規化器であって、前記画像の前記第３の平滑化されたバージョンが、前記画像の前記２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、尺度空間の差生成器正規化器と、
前記画像に関する１つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を使用するように適合された特徴検出器とを備える画像の特徴検出デバイス。
【請求項１１】
前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むように適合された尺度空間生成器であって、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する、尺度空間生成器をさらに備える請求項１０に記載の画像の特徴検出デバイス。
【請求項１２】
前記画像の前記２つの異なる平滑化されたバージョンが、前記平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項１１に記載の画像の特徴検出デバイス。
【請求項１３】
前記尺度空間の差生成器が、前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成するように適合され、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する請求項１１に記載の画像の特徴検出デバイス。
【請求項１４】
前記画像の異なる平滑化されたバージョンの前記対が、前記平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項１３に記載の画像の特徴検出デバイス。
【請求項１５】
前記画像の前記第３の平滑化されたバージョンが、前記画像の前記２つの異なる平滑化されたバージョンのスケールのうちでより大きい方と同じか、またはそれよりも広いスケールを有する請求項１１に記載の画像の特徴検出デバイス。
【請求項１６】
前記特徴検出器が、前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する特徴を特定するように適合される請求項１０に記載の画像の特徴検出デバイス。
【請求項１７】
特定された前記１つまたは複数の特徴に基づいて前記画像に関する記述子を生成するように適合された特徴記述子生成器をさらに備える請求項１０に記載の画像の特徴検出デバイス。
【請求項１８】
画像の２つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成するための手段と、
前記画像の第３の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成するための手段であって、前記画像の前記第３の平滑化されたバージョンが、前記画像の前記２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、生成するための手段と、
前記画像に関する１つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を使用するための手段とを備える画像の特徴検出デバイス。
【請求項１９】
前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込むための手段であって、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する、畳み込むための手段をさらに備える請求項１８に記載の画像の特徴検出デバイス。
【請求項２０】
前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成するための手段であって、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する、生成するための手段をさらに備える請求項１９に記載の画像の特徴検出デバイス。
【請求項２１】
前記画像の異なる平滑化されたバージョンの前記対が、平滑化された尺度空間ピラミッド内の隣り合うレベルである請求項２０に記載の画像の特徴検出デバイス。
【請求項２２】
前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する前記１つまたは複数の特徴を特定するための手段をさらに備える請求項１８に記載の画像の特徴検出デバイス。
【請求項２３】
特定された前記１つまたは複数の特徴に基づいて前記画像に関する記述子を生成するための手段をさらに備える請求項１８に記載の画像の特徴検出デバイス。
【請求項２４】
プロセッサによって実行されるときに、前記プロセッサに、
画像の２つの異なる平滑化されたバージョンの間の差をとることによって尺度空間の差画像を生成させ、
前記画像の第３の平滑化されたバージョンによって前記尺度空間の差画像を割ることによって正規化された尺度空間の差画像を生成させ、
前記画像に関する１つまたは複数の特徴を検出するために、前記正規化された尺度空間の差画像を使用させ、前記画像の前記第３の平滑化されたバージョンが、前記画像の前記２つの異なる平滑化されたバージョンのうちで最も平滑なものと同じだけ平滑であるか、またはそれよりも平滑である、画像の特徴検出デバイス上で動作する１つまたは複数の命令を有するプロセッサ可読媒体。
【請求項２５】
プロセッサによって実行されるときに、前記プロセッサに、さらに、
前記画像の複数の平滑化されたバージョンを得るために、前記画像を異なるスケーリング幅の複数の平滑化カーネルと畳み込ませ、前記複数の平滑化されたバージョンが、尺度空間ピラミッドを定義する１つまたは複数の命令を有する請求項２４に記載のプロセッサ可読媒体。
【請求項２６】
プロセッサによって実行されるときに、前記プロセッサに、さらに、
前記画像の異なる平滑化されたバージョンの対の間の差をとることによって尺度空間の差を生成させ、前記尺度空間の差画像が、前記尺度空間の差の一部を形成する１つまたは複数の命令を有する請求項２５に記載のプロセッサ可読媒体。
【請求項２７】
プロセッサによって実行されるときに、前記プロセッサに、さらに、
前記正規化された尺度空間の差画像内の局所的極値を検出することによって前記正規化された尺度空間の差を用いて前記画像に関する前記１つまたは複数の特徴を特定させる１つまたは複数の命令を有する請求項２４に記載のプロセッサ可読媒体。
【請求項２８】
プロセッサによって実行されるときに、前記プロセッサに、さらに、
特定された前記１つまたは複数の特徴に基づいて前記画像に関する記述子を生成させる１つまたは複数の命令を有する請求項２４に記載のプロセッサ可読媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図１３】
【図１４】
【図１５】
【公表番号】特表２０１３−５１６７０９（Ｐ２０１３−５１６７０９Ａ）
【公表日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１２−５４８１９７（Ｐ２０１２−５４８１９７）
【出願日】平成２３年１月８日（２０１１．１．８）
【国際出願番号】ＰＣＴ／ＵＳ２０１１／０２０６１３
【国際公開番号】ＷＯ２０１１／０８５２７７
【国際公開日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
【公表日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１月８日（２０１１．１．８）
【国際出願番号】ＰＣＴ／ＵＳ２０１１／０２０６１３
【国際公開番号】ＷＯ２０１１／０８５２７７
【国際公開日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
[ Back to top ]