対象物分類方法および装置
対象物を分類する、具体的には車両の少なくとも一部の画像に対応している画像データセットと各々が車両の参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって車両を分類する方法は、車両の局面を確立するステップ（３０２）と、車両の局面に基づいてそのようなデータセットのより大きい群から複数の参照データセットを選択するステップ（３０４）とを含む。より大きい群から車両の局面に対応するこれらの参照データセットのみを選択することによって、与えられたレベルの処理資源で、より高速な分類が実現される。あるいは、与えられた処理または分類速度において、従来技術と比較して処理資源のレベルが下げられ得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は対象物分類の分野に関する。具体的な態様において、本発明は、車両分類、すなわち可能性のある車両クラスのセットの１つへの車両の割り当てに関する。
【背景技術】
【０００２】
交通管理および安全システムは一般的に、たとえば型式、モデル、サイズ、または一般的なタイプ（トラック、バン、乗用車など）に基づく車両クラスのセットへの車両の自動分類を必要とする。便利で有効な分類方法は、標的車両の画像を形成するステップと、その後標的画像が１セットの参照画像の各々と相関する程度を評価するステップとを含み、各参照画像は異なる車両クラスに対応する。標的画像との最も高い相関度を有する参照画像は、与えられた車両が割り当てられる車両クラスを示す。欧州特許第１１１６１６９号明細書は、ひいては空間光変換器にそれぞれ適用される一連のプロダクト関数を形成するために、一連の参照変換（その各々が参照画像に対応）の各々が標的画像の二次元フーリエ変換に乗じられる、光相関技術を記載している。特定の時間に空間光変換器から回折される光は、標的画像を特定の参照画像との畳み込みに対応する回折パターンを有する。回折パターンのピークは、標的を自動的に分類するために（たとえば閾値検出において）利用されてもよい。
【０００３】
特定の状況において、非常に多くの参照画像、または参照変換を有する必要がある場合がある。たとえば、多くの異なる視角および距離のうちいずれか１つからデジタルカメラによって自動車を見るとき、移動車両分類システムはモデルによって自動車を分類可能である必要があり得る。言い換えると、自動車は、カメラに対する多くの異なる局面または方位のうちの１つを有してもよく、参照データは多くの様々な局面における車両の参照画像に対応するデータを含む必要がある。たとえば高速道路で自動車を監視する際に、高速道路の上方のオーバーヘッドガントリに固定されたカメラは対向車両を上方位置から見るが、その一方で道路沿いのカメラによって監視される自動車は、側方から、実質的に路面の高さで、車両を見ることになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】欧州特許第１１１６１６９号明細書
【特許文献２】国際公開第０２／０８００９１号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００５】
標的画像と多数の参照画像との相関は、処理資源の与えられたレベルに対して車両が分類されることのできる速度を減少させる。光学システムは多くの電子システムよりも高速の処理を提供することができるが、後者は一般的により実用的であり、容易に入手可能な部品を含んでいる。
【課題を解決するための手段】
【０００６】
本発明の第一の態様は、対象物の少なくとも一部の画像に対応している画像データセットと各々が対象物の参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって対象物を分類する方法を提供し、方法は、対象物の局面を確立するステップと、対象物の局面に基づいてそのようなデータセットのより大きい群から複数の参照データセットを選択するステップとを含む。
【０００７】
本発明のこの局面は、車両の分類に特に適用可能である。
【０００８】
車両の局面（ここではその方位および規模の両方を含むと考えてもよい）を確立し、画像データセットとの相関のためのために車両の局面に対応するそれらの参照データセットのみを選択することによって、車両が分類されることができる比率は、処理資源の与えられたレベルに対して増加する。同様に、車両分類の固定比率に対して、処理資源のレベルは、従来技術のシステムと比較して減少する場合がある。
【０００９】
国際出願ＰＣＴ／ＧＢ０２／０１３８８号明細書（国際公開第０２／０８００９１号パンフレットとして公開）に記載されているような、知られている自動ナンバープレート認識（ＡＮＰＲ）システムは、ナンバープレートの読み取りに加えて、ナンバープレートの局面、したがって車両の局面も、判断することができる。ＡＮＰＲシステムは、車両の局面を見出すため、したがって画像データセットと相関するべき対応する複数の参照データセットを選択するために、使用されてもよい。あるいは、車両の局面は、車両のナンバープレートの画像に対応する画像データセットと、各々がそれぞれの局面における車両ナンバープレートの参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって、確立されてもよい。言い換えると、車両の局面を確立するため、および続いて車両の分類を実行するために、同じ一般的技術が採用されてもよい。
【００１０】
好ましくは、時間に応じて車両のナンバープレートの位置が記録され、車両の局面のより正確な判断を提供するために、この情報を利用して、車両の局面が追加的に決定される。これが参照データセットの数をさらに減少させて、強化された処理速度を与えるか、または処理資源のレベルをさらに減少させる。より具体的には、これは車両の複数の画像を取得するステップを含んでもよく、そうすると車両の局面を確立するステップは、車両のナンバープレートが画像の所定の位置にある複数の画像からある画像を選択するステップを含んでもよい。選択された画像はその後、よく決められた局面における車両を示し、これはエラーの大きな可能性を生じることなく、より限られた数のデータセットと比較されるだけでよい。
【００１１】
都合のよいことに、画像データセットと参照データセットとの間の相関度を評価するステップは、以下のステップによって実行される：
（ａ）画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数を取得するステップと、
（ｂ）２つの二次元フーリエ変換関数の積を形成するステップと、
（ｃ）前記積の逆二次元フーリエ変換を形成するステップと、
（ｄ）逆二次元フーリエ変換における最大ピークの値を記録するステップ。
【００１２】
車両画像が参照画像と完全に一致する場合、逆フーリエ変換関数に単一の高値の相関ピークが現れる。しかしながら、ＣＡＤモデルに対してカメラ画像を比較する場合など、車両画像および参照画像が非常に類似しているがまったく同じではない場合には、取得画像および参照画像の複数の部分が一致して、逆変換でいくつかの相関ピークを生じさせる。これらの個別のピークの値の合計は、取得画像および参照画像が同一である場合の単一の相関ピークの値に接近する。逆変換の最も高い２つから１０のピークの総計は、最も高いピークの単純な測定と比較して、改善された識別を提供する。
【００１３】
好ましくは、二次元フーリエ変換は、積の形成に先立って位相データを生成するために処理される。これは、分類に必要な情報の過剰な欠如を伴わずに計算負荷を大幅に減少させ（位相情報のみを使用するとエッジが強調される）、これらは有効な相関において特に重要である。この手法を使用すると、参照画像がワイヤフレームモデルであるか、またはその派生物であっても、有効な相関が実現される。
【００１４】
本発明の第二の態様は、対象物を分類する装置を提供し、装置は、対象物の少なくとも一部の画像に対応している画像データセットと各々が対象物の参照画像に対応する複数の参照データセットの各々との間の相関度を評価する処理手段を含み、装置は、対象物の局面を確立する手段と、対象物の局面に基づいてそのようなデータセットのより大きい群から複数の参照データセットを選択する手段とを含むことを特徴とする。
【００１５】
繰り返しになるが、本装置は、車両の分類に特に適している。
【００１６】
車両の局面を確立する手段は、ＡＮＰＲシステム（たとえば、国際公開第０２／０８００９１号パンフレットとして公開されている、国際出願ＰＣＴ／ＧＢ０２／０１３８８号明細書参照）であってもよく、あるいは処理手段は、車両のナンバープレートの画像に対応している画像データセットと各々がそれぞれの局面における車両ナンバープレートの参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって、車両の局面を確立するために配置されてもよい。
【００１７】
好ましくは、車両の局面の付加的な測定値を提供するために、時間に応じて車両の位置を追跡する手段が提供される。より具体的には、車両の複数の画像を取得するための手段が設けられてもよく、車両の局面を確立するための手段は、車両のナンバープレートが画像の所定の位置にある複数の画像からある画像を選択する手段を含む。
【００１８】
都合のよいことに、処理手段は、以下のステップによって画像データセットと参照データセットとの間の相関度を評価するように配置される：
（ａ）画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数を取得するステップと、
（ｂ）２つの二次元フーリエ変換関数の積を形成するステップと、
（ｃ）前記積の逆二次元フーリエ変換を形成するステップと、
（ｄ）逆二次元フーリエ変換における最大ピークの値を記録するステップ。
【００１９】
分類性能を向上するために、処理手段は好ましくは、逆二次元フーリエ変換関数におけるｎ個の最も高い最大値を合計するように配置され、たとえばｎ＝２、３、４、５、６、７、８、９、または１０である。
【００２０】
画像データセットと参照セットとの間の相関度を評価する際に、それぞれのフーリエ変換は、位相データを生成するために乗算の前に事前処理されてもよい。これは、それらの乗算に伴う計算負荷を減少させ、画像および参照データセットのエッジ強化によって実現される分類の信頼性を高める。
【００２１】
本発明のいくつかの実施形態は、２つの二次元フーリエ変換関数の積に対応する入力データを受信するように配置された空間光変換器（ＳＬＭ）と、少なくとも部分的なコヒーレント光の光源とを含み、ＳＬＭは、前記積の逆二次元フーリエ変換関数に対応する光場を生成するために、光源からの光を回折するように配置されている。光領域において逆フーリエ変換を実行すると、処理速度が速くなり、したがって分類が速くなる。あるいは、処理手段が完全に電子的であってもよい。たとえば処理手段は、少なくとも部分的にフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を使用して実現されてもよい。位相データのみが使用される場合、このＦＰＧＡは、位相データを合計することによって、画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数の積を形成するようになっていてもよい。
【００２２】
さらなる態様において、本発明は、対象物の少なくとも一部の画像に対応している画像データセットと各々が対象物の参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって対象物を分類する方法を提供し、方法は、一連の画像を受信するステップと、分類用の対象物を識別することが可能な基準マーカを含む一連の画像において１セットの画像を識別するステップと、基準マーカが所定の位置にある画像のセットからある画像を選択するステップと、所定の位置に基準マーカがある画像にとって適切であると判断された参照画像用の画像データセットと共に選択された画像における対象物のための画像データセットの間の相関度を評価することによって対象物を分類するステップとを含む。
【００２３】
画像が固定位置から取得される場合に対象物の局面が厳しく制限されるようにし、その結果、参照画像の限られたセットのみとの相関によって有効な分類が実現可能であり、さらに限られた数の取得画像のみが相関処理に使用されなければならないので、この手法は車両などの移動対象物の分類において有利である。これは必要とされる計算資源を大幅に削減し、リアルタイム処理の実現も可能にする場合がある。
【００２４】
この基準マーカは、車両のナンバープレートの自動認識によって対象物が分類のために認識されるような場合の、車両のナンバープレートであってもよい。
【００２５】
本方法において、画像データセットと参照データセットとの間の相関度を評価するステップは、以下のステップによって実行されてもよい：
（ａ）画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数を取得するステップと、
（ｂ）２つの二次元フーリエ変換関数の積を形成するステップと、
（ｃ）前記積の逆二次元フーリエ変換を形成するステップと、
（ｄ）逆二次元フーリエ変換における最大ピークの値を記録するステップ。
【００２６】
さらなる計算上の便益を提供するため、二次元フーリエ変換は、積の形成に先立って位相データを生成するために処理される。これは、単純に位相データを合計することによって、積が形成されることを可能にする。
【００２７】
本発明の実施形態は、例示のみによって、以下の添付図面を参照して、下記に説明される。
【図面の簡単な説明】
【００２８】
【図１】何らかの処理が光領域において実行される、本発明の第一の実施形態による装置を示す。
【図２】全ての処理が電子的に実行される、本発明の第二の実施形態による、本発明の装置を示す。
【図３】本発明の一実施形態による方法におけるステップを示すフローチャートである。
【図４】本発明のさらなる実施形態による方法におけるステップを示すフローチャートである。
【発明を実施するための形態】
【００２９】
図１は、本発明の第一の実施形態による装置１００を示す。この装置は、デジタルカメラ１０２、コンピュータ１０４、少なくとも部分的なコヒーレント放射の光源（図示せず）からの光を回折するように配置された空間光変換器（ＳＬＭ）１０６、レンズ１０８、および光検出器１１０を含む。コンピュータ１０４は、様々な異なる局面における車両ナンバープレートの参照画像の高速フーリエ変換パターン（ＦＦＴ）の第一ライブラリ、および各局面における様々なモデルの自動車の参照画像のＦＦＴの第二ライブラリを格納する。
【００３０】
装置１００は、２つの相関位相における車両分類を実行する。第一位相において、車両の画像がデジタルカメラ１０２によって取得される。この画像は、画像のストリームのうちの１つであってもよく、ストリームからどの画像（複数可）が処理用に選択されるかを決定する方法は、後に説明される。画像のＦＦＴが計算され、一連のプロダクト関数を形成するために、第一ライブラリの各ＦＦＴが乗じられる。プロダクト関数は、連続してＳＬＭ１０６に適用される。ＳＬＭ１０６によって回折された光は、検出器１１０によって検出される。回折光場における最大値がコンピュータ１０４によって記録され、最も強い最大値（または最大値群）を与える第一ライブラリのＦＦＴが特定される。これが車両の局面を確立する。第二相関位相において、車両の画像のＦＦＴは、第一位相で見られたように、車両の局面に対応するそれらの第二ライブラリのＦＦＴの各々が乗じられる。検出器１１０での回折光場における最大値は、コンピュータ１０４によって監視される。検出器１１０で最も強い最大値、または最大値群を生じさせる、第二ライブラリのこのＦＦＴは、車両が分類される自動車のモデルを示す。
【００３１】
これらの相関ステップの各々において、相関判定の手法は、欧州特許第１１１６１６９号明細書に開示されている数学的手法を使用しており、読者は相関手法のさらなる説明についてこれを参照されたい。この出願の内容は、該当する法律によって許容される程度まで、参照により本明細書に組み込まれる。
【００３２】
図２は、全ての処理が電子的に実行される、本発明の第二の装置２００を示す。装置２００は、ＰＣ２０４、２０８、様々な局面における自動車の異なるモデルの参照画像のＦＦＴのライブラリを格納するハードドライブ２０６、ランダムアクセスメモリ（ＲＡＭ）２１０、およびフィールドプログラマブルゲートアレイ（ＦＰＧＡ）２１２を含む。
【００３３】
ＰＣ２０４は、自動ナンバープレート読み取りのためのＡＮＰＲソフトウェアを格納し、ナンバープレートの局面と、したがってそれが属する車両の局面も、判定することができる。ハードドライブ２０６はＦＦＴのライブラリを格納し、その各々が特定の局面における特定のモデルの自動車の参照画像に対応する。
【００３４】
装置２００は以下のように動作する。入力カメラ２０２は車両のデジタル画像を取得して、ナンバープレート読み取り機能を提供してナンバープレートの局面および車両の局面も判断するＰＣ２０４に、画像データを送る。ＰＣ２０４の制御の下、ハードドライブ２０６は、ＰＣ２０４上のＡＮＰＲソフトウェアによって確立されたのと同じ車両局面を有するそれらの格納された参照画像に対応するＦＦＴデータのセットを連続的に出力する。ハードドライブ２０６から読み出されたＦＦＴデータの各セットは、ＲＡＭ２１０に格納される。カメラ２０２によって取得されたデジタル画像のＦＦＴは、ＰＣ２０８によって計算され、このＦＦＴには、ＲＡＭ２１０に読み込まれた各参照データセットが乗じられ、結果的に得られた各プロダクト関数に対して逆フーリエ変換が実行される。各逆変換関数のピークが記録される。結果的に最も高いピーク、またはピーク群を有する逆変換となる、ハードドライブ２０６に格納されたＦＦＴデータのセットは、カメラ２０２によって撮像された自動車のモデルを識別する。カメラ２０２およびハードドライブ２０６からのＦＦＴデータを乗じ、逆変換を実行し、逆変換のピークを監視する関数は、全てＦＰＧＡ２１２上で実行される。
この手法は、この場合にはＡＮＰＲソフトウェアによって局面が判断されるように、欧州特許第１１１６１６９号明細書に開示されているタイプのある相関ステップを使用している。車両登録番号の認識に加えて局面を判断することもできる、多くの市販のＡＮＰＲシステムが存在し、そのようなシステムのいずれもが、図２の装置に使用されてもよい。図２の装置での使用に特に適しているそのようなシステムの１つは、国際公開第０２／０８００９１号パンフレットで説明されているもので、その内容は、適用法によって許容される程度まで、参照により組み込まれる。
【００３５】
ＦＰＧＡ２１２は、適切にプログラムされた汎用コンピュータよりも効率よく、特定の繰り返し操作を実行するように構成されており、この場合、これらの操作は主にＦＦＴデータの乗算、逆変換の実行、および逆変換のピークの監視である。ＦＦＴデータの乗算の変形手法が以下に説明されるが、これらの操作の各々に適した数学的手法は欧州特許第１１１６１６９号明細書に開示されている。
【００３６】
図３は、図１および図２の装置１００、２００によって実行される処理ステップを示すフローチャートである。車両の画像が取得されると（３００）、ＡＮＰＲ法を使用するかまたは相関によって、車両の局面が特定され（３０２）、複数の車両画像が入手可能であり、その後認識目的で最も適した画像を選択するために適切な手法が使用されてもよい（後に説明される通り）。各々が特定の局面における特定のモデルの自動車の参照画像に対応するＦＦＴの、より大きい群またはライブラリから、ＦＦＴのサブセットを選択するために、車両の局面が使用され、選択されたＦＦＴは、車両の局面に対応するものである。一連のプロダクト関数が取得され（３０６）、その各々は、分類される車両の取得された画像のＦＦＴとライブラリから選択されたＦＦＴとの積である。各プロダクト関数は逆変換され（３０８）、逆変換におけるピーク、またはそこでのピーク群が、解析される（３１０）。最も高いピーク、またはピーク群を生じさせるライブラリＦＦＴは、取得された車両に帰するべき車両のモデルを示す。
【００３７】
上に述べたように、画像データセットと参照データセットとの間の相関度は、プロダクト関数を形成するためのデータセットのそれぞれのフーリエ変換を乗じて、その後プロダクト関数の逆フーリエ変換を行うことによって、評価されてもよい。処理速度（したがって分類速度も）をさらに向上するために、フーリエ変換は、位相情報のみを含むように、乗算に先立って処理されてもよく、言い換えると、データセットのフーリエ変換は、各データが偏角によって表されることが可能な複素平面上のデータ、およびアルガン図上の位相として、表されてもよく、偏角データは廃棄されて位相データが得られる。これは計算を簡素化するだけではなく（偏角を考慮する必要がなく、乗算は単純に位相を加算するだけで有効となり得るので）、エッジを強化し、それによって画像間の識別を改善することにおいて、特に有効であることが見出されたので、このように位相情報を使用することは、本発明の実施例による方法および装置において有効であることが見出された。
【００３８】
シングルビットで位相データを表すことによって（すなわちバイナリ位相データ）、さらなる簡素化がなされてもよい。バイナリ位相データの使用は、２つのフーリエ変換の乗算をＸＯＲゲートによって実行させるので、計算的に非常に効率がよい。これは、並はずれた計算効率を備えた効果的な分類性能を提供する。
【００３９】
代替手法において、ここでも位相情報のみが使用されるが、位相情報においてより大きな定義を維持することによって、過剰な付加的計算コストを伴わずに、分類性能が向上する。たとえば、１ビットではなく２ビットの位相情報が使用される場合、各データ点はアルガン図の１つの象限に割り当てられることが可能である。乗算は、以前と同様に単純に位相を加算することによって達成されることができるが、これはもはやＸＯＲゲートの使用によって単純に達成されることはできない。しかしながら、汎用コンピュータではなく特に適切に設計されたＦＰＧＡを使用して計算を実行すれば、付加的な計算コストは大きくはない。また、数学的な利点もある欧州特許第１１１６１６９号明細書で説明されているように、チャープはバイナリ位相データで解決されなければならない問題だが、その一方で、より良く定義された位相情報を用いれば、これは必要ではなくなる。１つの適切な実行は、バイナリ位相データに使用されるＸＯＲゲートをルックアップテーブル（ＬＵＴ）に置き換えることであるが、それによって、適切な出力結果が入力位相の可能な各ペアに指定される。このＬＵＴは、２ビット位相情報の可能な組合せ、したがって出力を、１６個しか持たず、そのためＸＯＲゲートの実行に対して、この手法の実行の付加的な計算および記憶負荷は、小さい。位相情報においてより高いレベルの定義を達成するために、より大きいＬＵＴを使用して、類似の手法を用いることもできる。
【００４０】
位相データを使用して相関が実行される際に、参照データセットは、車両の目立ったエッジ特徴のみを表すワイヤフレームモデルから生成されてもよい。これらのワイヤフレームモデルは、典型的な車両から得られた測定値から直接、または車両の型式およびモデルの製造者図面から、標準的なレンダリング手法および市販のソフトウェアパッケージを使用して、独創的に生成されてもよい。ワイヤフレームモデルは、車両を描写するのに必要な重要な特徴を示す。相関ステップにおいて、ワイヤフレームモデル自体に由来するパターンが直接使用されてもよい。あるいは、ワイヤフレームモデルは、ワイヤフレームに示される重要点を接続する材料を示すために陰影を付けることによって増補されてもよい（たとえば、自動車のフェンダを示すために陰影を付け、そのようにして空隙または空間から画像のその部分を差別化する）。このような増補はリアルタイムで発生する必要はないので、それが車両分類の効率を向上させるならば、これが付加的な計算資源を消費することは特に重要ではなく、これは少なくともいくつかの配置においてなされることが見出されている。
【００４１】
当業者ならば理解するように、計算は、ＦＰＧＡ２１２などの特別に構成されたハードウェアと、ＰＣなどの適切にプログラムされた汎用コンピュータのような、その他の計算装置との間に、多くの方法で割り当てられてもよい。相関器およびＦＰＧＡは、カスタマイズされたコンピュータハードウェアの一部に統合されることが可能であり、これは、このシステムの性能を、場合により汎用性を犠牲にして、最適化できるようにする。あるいは、ＦＰＧＡ２１２によって実行される以外の全ての機能が、適切にプログラムされたサーバまたはＰＣ上で実行されることが可能であり、これはそれほど計算的に集約されていない処理の局面を汎用アーキテクチャ上で扱うことを可能にし、費用を削減して多様性を向上させる（特に他の用途との相互作用において）。さらなる計算効率は、複数のＦＰＧＡを使用して、相関動作を平行して行うことによって、提供されることが可能である。
【００４２】
本発明の第二の実施形態において提供されるようなＡＮＰＲシステムの使用は、計算的に効率の良いシステムの製造におけるさらなる利点を有する。第一に、ＡＮＰＲシステムは、そもそも分類目的のためにどの画像が検討されるべきかを判断するために使用されてもよい。ＡＮＰＲシステムが画像内にナンバープレートが存在しないと認識した場合には、それ以上の動作は要求されない。これは、いわば単純に動きによって引き起こされるシステムに勝る利点を提供する。そのようなシステムにおいて、検出器の視界を横切る歩行者または破片の動きによって引き起こされてもよく、結果的に興味のある対象物を含まない画像のさらなる解析をもたらし、それによって計算資源を浪費する（リアルタイムで画像分類を提供することが重要である場合に、非常に重要になり得る問題）。第二に、ＡＮＰＲシステムがナンバープレートを識別する場合には、番号を提供するためにそのナンバープレートを読み取ることになり、その番号は、いくつかの画像にわたってナンバープレート（したがってそのナンバープレートを有する車両も）を追跡するために使用されてもよい。これは、特に画像取得位置が固定されている場合に、車両の局面をさらに制限するために使用されてもよい。
【００４３】
この手法は図４に示されている。ステップ４００において、一連の画像がカメラによって取得され、これは、たとえば、道路に対して特定の位置（高速道路上方のガントリなど）に固定されて、道路の特定の区画の視界（カメラによって検出され、したがって移動する対象物および環境条件を除いて基本的に同じままの視界）を取得するカメラであってもよい。カメラは、動きによって起動されるかまたは単純に起動されずにカメラが動作しているときには連続して、定期的なタイミングのストリームで、画像を取得していてもよい。ステップ４０２において、ＡＮＰＲシステムは、どの一連の画像が特定のナンバープレートを含むかを識別し、これは一般的に、セットの前の画像および後の画像にはナンバープレートは存在しない、特定のナンバープレートが存在する１セットの連続した画像である。連続画像のセットはこのように、カメラの視野を通じて動画の推移を特徴付ける。ステップ４０４において、各画像における特定のナンバープレートの位置が検討され、特定のナンバープレートが所定の点に最も近い画像が選択される。ステップ４０６において、選択された画像向けに車両の局面が判定され、図３を参照して先に説明された分類処理の第一ステップとしてＦＦＴが計算される。
【００４４】
特定の対象物の評価（ナンバープレートによって判定されるような）のために特定の画像を選択する手法は、画像においてナンバープレートを備える車両の局面および規模に対して重大な付加的制限を提供するので、有利であり、このような固定されたカメラの配置にとって、ナンバープレートが視野中の類似した位置にある場合、特定のモデルの車両は全て非常に類似して見える。これは、相関段階において非常に少ない参照画像しか検討される必要がないことを意味するので、大きな計算的便益がある。各車両で１つの、特に適した、画像に対して計算的に集約されたＦＦＴおよび相関演算が実行される必要があるだけなので、これによって各車両の分類がはるかに高速で行われ、この適切性のため、限られた数の参照画像のみが検討される必要がある。
【００４５】
本明細書に開示された装置および方法は車両認識に特に適しているが、その他の認識問題にも適用可能であることは、理解されるべきである。具体的には、これらの手法は、特定の対象物を特徴付けるため、およびその局面を判断することによって対象物を分類する問題を制限するために基準マーカが読み取られることが可能なときの使用に、特に適しており、それによって、類似局面の参照画像のみとの相関による対象物の分類を可能にする。そのような状況の１つは、生産ラインにおける製品検査であり、製品ラベルなどの基準マーカの使用は、分類による製品の検査を可能にするために使用されることが可能である（たとえば、クラスは多くの不良タイプを含んでもよく、分類された製品はその後、不良がひどければ不合格となるか、または不良を修正させるために適切に移動させられてもよい）。もう１つは、ゲートまたはその他の制限された開口部を通る人の流れがあり得り、基準マーカの使用はこの場合、人の認識の問題を十分に単純化させるので、人の流れをあまり制限することなく、リアルタイムの計算によって、効率よく実行される。
【技術分野】
【０００１】
本発明は対象物分類の分野に関する。具体的な態様において、本発明は、車両分類、すなわち可能性のある車両クラスのセットの１つへの車両の割り当てに関する。
【背景技術】
【０００２】
交通管理および安全システムは一般的に、たとえば型式、モデル、サイズ、または一般的なタイプ（トラック、バン、乗用車など）に基づく車両クラスのセットへの車両の自動分類を必要とする。便利で有効な分類方法は、標的車両の画像を形成するステップと、その後標的画像が１セットの参照画像の各々と相関する程度を評価するステップとを含み、各参照画像は異なる車両クラスに対応する。標的画像との最も高い相関度を有する参照画像は、与えられた車両が割り当てられる車両クラスを示す。欧州特許第１１１６１６９号明細書は、ひいては空間光変換器にそれぞれ適用される一連のプロダクト関数を形成するために、一連の参照変換（その各々が参照画像に対応）の各々が標的画像の二次元フーリエ変換に乗じられる、光相関技術を記載している。特定の時間に空間光変換器から回折される光は、標的画像を特定の参照画像との畳み込みに対応する回折パターンを有する。回折パターンのピークは、標的を自動的に分類するために（たとえば閾値検出において）利用されてもよい。
【０００３】
特定の状況において、非常に多くの参照画像、または参照変換を有する必要がある場合がある。たとえば、多くの異なる視角および距離のうちいずれか１つからデジタルカメラによって自動車を見るとき、移動車両分類システムはモデルによって自動車を分類可能である必要があり得る。言い換えると、自動車は、カメラに対する多くの異なる局面または方位のうちの１つを有してもよく、参照データは多くの様々な局面における車両の参照画像に対応するデータを含む必要がある。たとえば高速道路で自動車を監視する際に、高速道路の上方のオーバーヘッドガントリに固定されたカメラは対向車両を上方位置から見るが、その一方で道路沿いのカメラによって監視される自動車は、側方から、実質的に路面の高さで、車両を見ることになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】欧州特許第１１１６１６９号明細書
【特許文献２】国際公開第０２／０８００９１号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００５】
標的画像と多数の参照画像との相関は、処理資源の与えられたレベルに対して車両が分類されることのできる速度を減少させる。光学システムは多くの電子システムよりも高速の処理を提供することができるが、後者は一般的により実用的であり、容易に入手可能な部品を含んでいる。
【課題を解決するための手段】
【０００６】
本発明の第一の態様は、対象物の少なくとも一部の画像に対応している画像データセットと各々が対象物の参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって対象物を分類する方法を提供し、方法は、対象物の局面を確立するステップと、対象物の局面に基づいてそのようなデータセットのより大きい群から複数の参照データセットを選択するステップとを含む。
【０００７】
本発明のこの局面は、車両の分類に特に適用可能である。
【０００８】
車両の局面（ここではその方位および規模の両方を含むと考えてもよい）を確立し、画像データセットとの相関のためのために車両の局面に対応するそれらの参照データセットのみを選択することによって、車両が分類されることができる比率は、処理資源の与えられたレベルに対して増加する。同様に、車両分類の固定比率に対して、処理資源のレベルは、従来技術のシステムと比較して減少する場合がある。
【０００９】
国際出願ＰＣＴ／ＧＢ０２／０１３８８号明細書（国際公開第０２／０８００９１号パンフレットとして公開）に記載されているような、知られている自動ナンバープレート認識（ＡＮＰＲ）システムは、ナンバープレートの読み取りに加えて、ナンバープレートの局面、したがって車両の局面も、判断することができる。ＡＮＰＲシステムは、車両の局面を見出すため、したがって画像データセットと相関するべき対応する複数の参照データセットを選択するために、使用されてもよい。あるいは、車両の局面は、車両のナンバープレートの画像に対応する画像データセットと、各々がそれぞれの局面における車両ナンバープレートの参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって、確立されてもよい。言い換えると、車両の局面を確立するため、および続いて車両の分類を実行するために、同じ一般的技術が採用されてもよい。
【００１０】
好ましくは、時間に応じて車両のナンバープレートの位置が記録され、車両の局面のより正確な判断を提供するために、この情報を利用して、車両の局面が追加的に決定される。これが参照データセットの数をさらに減少させて、強化された処理速度を与えるか、または処理資源のレベルをさらに減少させる。より具体的には、これは車両の複数の画像を取得するステップを含んでもよく、そうすると車両の局面を確立するステップは、車両のナンバープレートが画像の所定の位置にある複数の画像からある画像を選択するステップを含んでもよい。選択された画像はその後、よく決められた局面における車両を示し、これはエラーの大きな可能性を生じることなく、より限られた数のデータセットと比較されるだけでよい。
【００１１】
都合のよいことに、画像データセットと参照データセットとの間の相関度を評価するステップは、以下のステップによって実行される：
（ａ）画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数を取得するステップと、
（ｂ）２つの二次元フーリエ変換関数の積を形成するステップと、
（ｃ）前記積の逆二次元フーリエ変換を形成するステップと、
（ｄ）逆二次元フーリエ変換における最大ピークの値を記録するステップ。
【００１２】
車両画像が参照画像と完全に一致する場合、逆フーリエ変換関数に単一の高値の相関ピークが現れる。しかしながら、ＣＡＤモデルに対してカメラ画像を比較する場合など、車両画像および参照画像が非常に類似しているがまったく同じではない場合には、取得画像および参照画像の複数の部分が一致して、逆変換でいくつかの相関ピークを生じさせる。これらの個別のピークの値の合計は、取得画像および参照画像が同一である場合の単一の相関ピークの値に接近する。逆変換の最も高い２つから１０のピークの総計は、最も高いピークの単純な測定と比較して、改善された識別を提供する。
【００１３】
好ましくは、二次元フーリエ変換は、積の形成に先立って位相データを生成するために処理される。これは、分類に必要な情報の過剰な欠如を伴わずに計算負荷を大幅に減少させ（位相情報のみを使用するとエッジが強調される）、これらは有効な相関において特に重要である。この手法を使用すると、参照画像がワイヤフレームモデルであるか、またはその派生物であっても、有効な相関が実現される。
【００１４】
本発明の第二の態様は、対象物を分類する装置を提供し、装置は、対象物の少なくとも一部の画像に対応している画像データセットと各々が対象物の参照画像に対応する複数の参照データセットの各々との間の相関度を評価する処理手段を含み、装置は、対象物の局面を確立する手段と、対象物の局面に基づいてそのようなデータセットのより大きい群から複数の参照データセットを選択する手段とを含むことを特徴とする。
【００１５】
繰り返しになるが、本装置は、車両の分類に特に適している。
【００１６】
車両の局面を確立する手段は、ＡＮＰＲシステム（たとえば、国際公開第０２／０８００９１号パンフレットとして公開されている、国際出願ＰＣＴ／ＧＢ０２／０１３８８号明細書参照）であってもよく、あるいは処理手段は、車両のナンバープレートの画像に対応している画像データセットと各々がそれぞれの局面における車両ナンバープレートの参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって、車両の局面を確立するために配置されてもよい。
【００１７】
好ましくは、車両の局面の付加的な測定値を提供するために、時間に応じて車両の位置を追跡する手段が提供される。より具体的には、車両の複数の画像を取得するための手段が設けられてもよく、車両の局面を確立するための手段は、車両のナンバープレートが画像の所定の位置にある複数の画像からある画像を選択する手段を含む。
【００１８】
都合のよいことに、処理手段は、以下のステップによって画像データセットと参照データセットとの間の相関度を評価するように配置される：
（ａ）画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数を取得するステップと、
（ｂ）２つの二次元フーリエ変換関数の積を形成するステップと、
（ｃ）前記積の逆二次元フーリエ変換を形成するステップと、
（ｄ）逆二次元フーリエ変換における最大ピークの値を記録するステップ。
【００１９】
分類性能を向上するために、処理手段は好ましくは、逆二次元フーリエ変換関数におけるｎ個の最も高い最大値を合計するように配置され、たとえばｎ＝２、３、４、５、６、７、８、９、または１０である。
【００２０】
画像データセットと参照セットとの間の相関度を評価する際に、それぞれのフーリエ変換は、位相データを生成するために乗算の前に事前処理されてもよい。これは、それらの乗算に伴う計算負荷を減少させ、画像および参照データセットのエッジ強化によって実現される分類の信頼性を高める。
【００２１】
本発明のいくつかの実施形態は、２つの二次元フーリエ変換関数の積に対応する入力データを受信するように配置された空間光変換器（ＳＬＭ）と、少なくとも部分的なコヒーレント光の光源とを含み、ＳＬＭは、前記積の逆二次元フーリエ変換関数に対応する光場を生成するために、光源からの光を回折するように配置されている。光領域において逆フーリエ変換を実行すると、処理速度が速くなり、したがって分類が速くなる。あるいは、処理手段が完全に電子的であってもよい。たとえば処理手段は、少なくとも部分的にフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を使用して実現されてもよい。位相データのみが使用される場合、このＦＰＧＡは、位相データを合計することによって、画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数の積を形成するようになっていてもよい。
【００２２】
さらなる態様において、本発明は、対象物の少なくとも一部の画像に対応している画像データセットと各々が対象物の参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって対象物を分類する方法を提供し、方法は、一連の画像を受信するステップと、分類用の対象物を識別することが可能な基準マーカを含む一連の画像において１セットの画像を識別するステップと、基準マーカが所定の位置にある画像のセットからある画像を選択するステップと、所定の位置に基準マーカがある画像にとって適切であると判断された参照画像用の画像データセットと共に選択された画像における対象物のための画像データセットの間の相関度を評価することによって対象物を分類するステップとを含む。
【００２３】
画像が固定位置から取得される場合に対象物の局面が厳しく制限されるようにし、その結果、参照画像の限られたセットのみとの相関によって有効な分類が実現可能であり、さらに限られた数の取得画像のみが相関処理に使用されなければならないので、この手法は車両などの移動対象物の分類において有利である。これは必要とされる計算資源を大幅に削減し、リアルタイム処理の実現も可能にする場合がある。
【００２４】
この基準マーカは、車両のナンバープレートの自動認識によって対象物が分類のために認識されるような場合の、車両のナンバープレートであってもよい。
【００２５】
本方法において、画像データセットと参照データセットとの間の相関度を評価するステップは、以下のステップによって実行されてもよい：
（ａ）画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数を取得するステップと、
（ｂ）２つの二次元フーリエ変換関数の積を形成するステップと、
（ｃ）前記積の逆二次元フーリエ変換を形成するステップと、
（ｄ）逆二次元フーリエ変換における最大ピークの値を記録するステップ。
【００２６】
さらなる計算上の便益を提供するため、二次元フーリエ変換は、積の形成に先立って位相データを生成するために処理される。これは、単純に位相データを合計することによって、積が形成されることを可能にする。
【００２７】
本発明の実施形態は、例示のみによって、以下の添付図面を参照して、下記に説明される。
【図面の簡単な説明】
【００２８】
【図１】何らかの処理が光領域において実行される、本発明の第一の実施形態による装置を示す。
【図２】全ての処理が電子的に実行される、本発明の第二の実施形態による、本発明の装置を示す。
【図３】本発明の一実施形態による方法におけるステップを示すフローチャートである。
【図４】本発明のさらなる実施形態による方法におけるステップを示すフローチャートである。
【発明を実施するための形態】
【００２９】
図１は、本発明の第一の実施形態による装置１００を示す。この装置は、デジタルカメラ１０２、コンピュータ１０４、少なくとも部分的なコヒーレント放射の光源（図示せず）からの光を回折するように配置された空間光変換器（ＳＬＭ）１０６、レンズ１０８、および光検出器１１０を含む。コンピュータ１０４は、様々な異なる局面における車両ナンバープレートの参照画像の高速フーリエ変換パターン（ＦＦＴ）の第一ライブラリ、および各局面における様々なモデルの自動車の参照画像のＦＦＴの第二ライブラリを格納する。
【００３０】
装置１００は、２つの相関位相における車両分類を実行する。第一位相において、車両の画像がデジタルカメラ１０２によって取得される。この画像は、画像のストリームのうちの１つであってもよく、ストリームからどの画像（複数可）が処理用に選択されるかを決定する方法は、後に説明される。画像のＦＦＴが計算され、一連のプロダクト関数を形成するために、第一ライブラリの各ＦＦＴが乗じられる。プロダクト関数は、連続してＳＬＭ１０６に適用される。ＳＬＭ１０６によって回折された光は、検出器１１０によって検出される。回折光場における最大値がコンピュータ１０４によって記録され、最も強い最大値（または最大値群）を与える第一ライブラリのＦＦＴが特定される。これが車両の局面を確立する。第二相関位相において、車両の画像のＦＦＴは、第一位相で見られたように、車両の局面に対応するそれらの第二ライブラリのＦＦＴの各々が乗じられる。検出器１１０での回折光場における最大値は、コンピュータ１０４によって監視される。検出器１１０で最も強い最大値、または最大値群を生じさせる、第二ライブラリのこのＦＦＴは、車両が分類される自動車のモデルを示す。
【００３１】
これらの相関ステップの各々において、相関判定の手法は、欧州特許第１１１６１６９号明細書に開示されている数学的手法を使用しており、読者は相関手法のさらなる説明についてこれを参照されたい。この出願の内容は、該当する法律によって許容される程度まで、参照により本明細書に組み込まれる。
【００３２】
図２は、全ての処理が電子的に実行される、本発明の第二の装置２００を示す。装置２００は、ＰＣ２０４、２０８、様々な局面における自動車の異なるモデルの参照画像のＦＦＴのライブラリを格納するハードドライブ２０６、ランダムアクセスメモリ（ＲＡＭ）２１０、およびフィールドプログラマブルゲートアレイ（ＦＰＧＡ）２１２を含む。
【００３３】
ＰＣ２０４は、自動ナンバープレート読み取りのためのＡＮＰＲソフトウェアを格納し、ナンバープレートの局面と、したがってそれが属する車両の局面も、判定することができる。ハードドライブ２０６はＦＦＴのライブラリを格納し、その各々が特定の局面における特定のモデルの自動車の参照画像に対応する。
【００３４】
装置２００は以下のように動作する。入力カメラ２０２は車両のデジタル画像を取得して、ナンバープレート読み取り機能を提供してナンバープレートの局面および車両の局面も判断するＰＣ２０４に、画像データを送る。ＰＣ２０４の制御の下、ハードドライブ２０６は、ＰＣ２０４上のＡＮＰＲソフトウェアによって確立されたのと同じ車両局面を有するそれらの格納された参照画像に対応するＦＦＴデータのセットを連続的に出力する。ハードドライブ２０６から読み出されたＦＦＴデータの各セットは、ＲＡＭ２１０に格納される。カメラ２０２によって取得されたデジタル画像のＦＦＴは、ＰＣ２０８によって計算され、このＦＦＴには、ＲＡＭ２１０に読み込まれた各参照データセットが乗じられ、結果的に得られた各プロダクト関数に対して逆フーリエ変換が実行される。各逆変換関数のピークが記録される。結果的に最も高いピーク、またはピーク群を有する逆変換となる、ハードドライブ２０６に格納されたＦＦＴデータのセットは、カメラ２０２によって撮像された自動車のモデルを識別する。カメラ２０２およびハードドライブ２０６からのＦＦＴデータを乗じ、逆変換を実行し、逆変換のピークを監視する関数は、全てＦＰＧＡ２１２上で実行される。
この手法は、この場合にはＡＮＰＲソフトウェアによって局面が判断されるように、欧州特許第１１１６１６９号明細書に開示されているタイプのある相関ステップを使用している。車両登録番号の認識に加えて局面を判断することもできる、多くの市販のＡＮＰＲシステムが存在し、そのようなシステムのいずれもが、図２の装置に使用されてもよい。図２の装置での使用に特に適しているそのようなシステムの１つは、国際公開第０２／０８００９１号パンフレットで説明されているもので、その内容は、適用法によって許容される程度まで、参照により組み込まれる。
【００３５】
ＦＰＧＡ２１２は、適切にプログラムされた汎用コンピュータよりも効率よく、特定の繰り返し操作を実行するように構成されており、この場合、これらの操作は主にＦＦＴデータの乗算、逆変換の実行、および逆変換のピークの監視である。ＦＦＴデータの乗算の変形手法が以下に説明されるが、これらの操作の各々に適した数学的手法は欧州特許第１１１６１６９号明細書に開示されている。
【００３６】
図３は、図１および図２の装置１００、２００によって実行される処理ステップを示すフローチャートである。車両の画像が取得されると（３００）、ＡＮＰＲ法を使用するかまたは相関によって、車両の局面が特定され（３０２）、複数の車両画像が入手可能であり、その後認識目的で最も適した画像を選択するために適切な手法が使用されてもよい（後に説明される通り）。各々が特定の局面における特定のモデルの自動車の参照画像に対応するＦＦＴの、より大きい群またはライブラリから、ＦＦＴのサブセットを選択するために、車両の局面が使用され、選択されたＦＦＴは、車両の局面に対応するものである。一連のプロダクト関数が取得され（３０６）、その各々は、分類される車両の取得された画像のＦＦＴとライブラリから選択されたＦＦＴとの積である。各プロダクト関数は逆変換され（３０８）、逆変換におけるピーク、またはそこでのピーク群が、解析される（３１０）。最も高いピーク、またはピーク群を生じさせるライブラリＦＦＴは、取得された車両に帰するべき車両のモデルを示す。
【００３７】
上に述べたように、画像データセットと参照データセットとの間の相関度は、プロダクト関数を形成するためのデータセットのそれぞれのフーリエ変換を乗じて、その後プロダクト関数の逆フーリエ変換を行うことによって、評価されてもよい。処理速度（したがって分類速度も）をさらに向上するために、フーリエ変換は、位相情報のみを含むように、乗算に先立って処理されてもよく、言い換えると、データセットのフーリエ変換は、各データが偏角によって表されることが可能な複素平面上のデータ、およびアルガン図上の位相として、表されてもよく、偏角データは廃棄されて位相データが得られる。これは計算を簡素化するだけではなく（偏角を考慮する必要がなく、乗算は単純に位相を加算するだけで有効となり得るので）、エッジを強化し、それによって画像間の識別を改善することにおいて、特に有効であることが見出されたので、このように位相情報を使用することは、本発明の実施例による方法および装置において有効であることが見出された。
【００３８】
シングルビットで位相データを表すことによって（すなわちバイナリ位相データ）、さらなる簡素化がなされてもよい。バイナリ位相データの使用は、２つのフーリエ変換の乗算をＸＯＲゲートによって実行させるので、計算的に非常に効率がよい。これは、並はずれた計算効率を備えた効果的な分類性能を提供する。
【００３９】
代替手法において、ここでも位相情報のみが使用されるが、位相情報においてより大きな定義を維持することによって、過剰な付加的計算コストを伴わずに、分類性能が向上する。たとえば、１ビットではなく２ビットの位相情報が使用される場合、各データ点はアルガン図の１つの象限に割り当てられることが可能である。乗算は、以前と同様に単純に位相を加算することによって達成されることができるが、これはもはやＸＯＲゲートの使用によって単純に達成されることはできない。しかしながら、汎用コンピュータではなく特に適切に設計されたＦＰＧＡを使用して計算を実行すれば、付加的な計算コストは大きくはない。また、数学的な利点もある欧州特許第１１１６１６９号明細書で説明されているように、チャープはバイナリ位相データで解決されなければならない問題だが、その一方で、より良く定義された位相情報を用いれば、これは必要ではなくなる。１つの適切な実行は、バイナリ位相データに使用されるＸＯＲゲートをルックアップテーブル（ＬＵＴ）に置き換えることであるが、それによって、適切な出力結果が入力位相の可能な各ペアに指定される。このＬＵＴは、２ビット位相情報の可能な組合せ、したがって出力を、１６個しか持たず、そのためＸＯＲゲートの実行に対して、この手法の実行の付加的な計算および記憶負荷は、小さい。位相情報においてより高いレベルの定義を達成するために、より大きいＬＵＴを使用して、類似の手法を用いることもできる。
【００４０】
位相データを使用して相関が実行される際に、参照データセットは、車両の目立ったエッジ特徴のみを表すワイヤフレームモデルから生成されてもよい。これらのワイヤフレームモデルは、典型的な車両から得られた測定値から直接、または車両の型式およびモデルの製造者図面から、標準的なレンダリング手法および市販のソフトウェアパッケージを使用して、独創的に生成されてもよい。ワイヤフレームモデルは、車両を描写するのに必要な重要な特徴を示す。相関ステップにおいて、ワイヤフレームモデル自体に由来するパターンが直接使用されてもよい。あるいは、ワイヤフレームモデルは、ワイヤフレームに示される重要点を接続する材料を示すために陰影を付けることによって増補されてもよい（たとえば、自動車のフェンダを示すために陰影を付け、そのようにして空隙または空間から画像のその部分を差別化する）。このような増補はリアルタイムで発生する必要はないので、それが車両分類の効率を向上させるならば、これが付加的な計算資源を消費することは特に重要ではなく、これは少なくともいくつかの配置においてなされることが見出されている。
【００４１】
当業者ならば理解するように、計算は、ＦＰＧＡ２１２などの特別に構成されたハードウェアと、ＰＣなどの適切にプログラムされた汎用コンピュータのような、その他の計算装置との間に、多くの方法で割り当てられてもよい。相関器およびＦＰＧＡは、カスタマイズされたコンピュータハードウェアの一部に統合されることが可能であり、これは、このシステムの性能を、場合により汎用性を犠牲にして、最適化できるようにする。あるいは、ＦＰＧＡ２１２によって実行される以外の全ての機能が、適切にプログラムされたサーバまたはＰＣ上で実行されることが可能であり、これはそれほど計算的に集約されていない処理の局面を汎用アーキテクチャ上で扱うことを可能にし、費用を削減して多様性を向上させる（特に他の用途との相互作用において）。さらなる計算効率は、複数のＦＰＧＡを使用して、相関動作を平行して行うことによって、提供されることが可能である。
【００４２】
本発明の第二の実施形態において提供されるようなＡＮＰＲシステムの使用は、計算的に効率の良いシステムの製造におけるさらなる利点を有する。第一に、ＡＮＰＲシステムは、そもそも分類目的のためにどの画像が検討されるべきかを判断するために使用されてもよい。ＡＮＰＲシステムが画像内にナンバープレートが存在しないと認識した場合には、それ以上の動作は要求されない。これは、いわば単純に動きによって引き起こされるシステムに勝る利点を提供する。そのようなシステムにおいて、検出器の視界を横切る歩行者または破片の動きによって引き起こされてもよく、結果的に興味のある対象物を含まない画像のさらなる解析をもたらし、それによって計算資源を浪費する（リアルタイムで画像分類を提供することが重要である場合に、非常に重要になり得る問題）。第二に、ＡＮＰＲシステムがナンバープレートを識別する場合には、番号を提供するためにそのナンバープレートを読み取ることになり、その番号は、いくつかの画像にわたってナンバープレート（したがってそのナンバープレートを有する車両も）を追跡するために使用されてもよい。これは、特に画像取得位置が固定されている場合に、車両の局面をさらに制限するために使用されてもよい。
【００４３】
この手法は図４に示されている。ステップ４００において、一連の画像がカメラによって取得され、これは、たとえば、道路に対して特定の位置（高速道路上方のガントリなど）に固定されて、道路の特定の区画の視界（カメラによって検出され、したがって移動する対象物および環境条件を除いて基本的に同じままの視界）を取得するカメラであってもよい。カメラは、動きによって起動されるかまたは単純に起動されずにカメラが動作しているときには連続して、定期的なタイミングのストリームで、画像を取得していてもよい。ステップ４０２において、ＡＮＰＲシステムは、どの一連の画像が特定のナンバープレートを含むかを識別し、これは一般的に、セットの前の画像および後の画像にはナンバープレートは存在しない、特定のナンバープレートが存在する１セットの連続した画像である。連続画像のセットはこのように、カメラの視野を通じて動画の推移を特徴付ける。ステップ４０４において、各画像における特定のナンバープレートの位置が検討され、特定のナンバープレートが所定の点に最も近い画像が選択される。ステップ４０６において、選択された画像向けに車両の局面が判定され、図３を参照して先に説明された分類処理の第一ステップとしてＦＦＴが計算される。
【００４４】
特定の対象物の評価（ナンバープレートによって判定されるような）のために特定の画像を選択する手法は、画像においてナンバープレートを備える車両の局面および規模に対して重大な付加的制限を提供するので、有利であり、このような固定されたカメラの配置にとって、ナンバープレートが視野中の類似した位置にある場合、特定のモデルの車両は全て非常に類似して見える。これは、相関段階において非常に少ない参照画像しか検討される必要がないことを意味するので、大きな計算的便益がある。各車両で１つの、特に適した、画像に対して計算的に集約されたＦＦＴおよび相関演算が実行される必要があるだけなので、これによって各車両の分類がはるかに高速で行われ、この適切性のため、限られた数の参照画像のみが検討される必要がある。
【００４５】
本明細書に開示された装置および方法は車両認識に特に適しているが、その他の認識問題にも適用可能であることは、理解されるべきである。具体的には、これらの手法は、特定の対象物を特徴付けるため、およびその局面を判断することによって対象物を分類する問題を制限するために基準マーカが読み取られることが可能なときの使用に、特に適しており、それによって、類似局面の参照画像のみとの相関による対象物の分類を可能にする。そのような状況の１つは、生産ラインにおける製品検査であり、製品ラベルなどの基準マーカの使用は、分類による製品の検査を可能にするために使用されることが可能である（たとえば、クラスは多くの不良タイプを含んでもよく、分類された製品はその後、不良がひどければ不合格となるか、または不良を修正させるために適切に移動させられてもよい）。もう１つは、ゲートまたはその他の制限された開口部を通る人の流れがあり得り、基準マーカの使用はこの場合、人の認識の問題を十分に単純化させるので、人の流れをあまり制限することなく、リアルタイムの計算によって、効率よく実行される。
【特許請求の範囲】
【請求項１】
対象物の少なくとも一部の画像に対応している画像データセットと各々が対象物の参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって対象物を分類する方法であって、対象物の局面を確立するステップと、対象物の局面に基づいてそのようなデータセットのより大きい群から複数の参照データセットを選択するステップとを含む、方法。
【請求項２】
対象物が車両であって、車両の局面が自動ナンバープレート認識システムの使用によって確立される、請求項１に記載の方法。
【請求項３】
対象物が車両であって、車両の局面が、車両のナンバープレートの画像に対応する画像データセットと、各々がそれぞれの局面における車両ナンバープレートの参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって確立される、請求項１に記載の方法。
【請求項４】
時間に応じて車両のナンバープレートの位置を追跡するステップと、そこから車両の局面を判断するステップとをさらに含む、請求項２または３に記載の方法。
【請求項５】
車両の複数の画像を取得するステップを含み、車両の局面を確立するステップが、車両のナンバープレートが画像内の所定の位置にある複数の画像からある画像を選択するステップを含む、請求項４に記載の方法。
【請求項６】
画像データセットと参照データセットとの間の相関度を評価するステップが、
（ａ）画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数を取得するステップと、
（ｂ）２つの二次元フーリエ変換関数の積を形成するステップと、
（ｃ）前記積の逆二次元フーリエ変換を形成するステップと、
（ｄ）逆二次元フーリエ変換における最大ピークの値を記録するステップとによって実行される、請求項１から５のいずれか一項に記載の方法。
【請求項７】
逆二次元フーリエ変換関数におけるｎ個の最も高い最大値を合計するステップをさらに含み、ｎ＝２、３、４、５、６、７、８、９、または１０である、請求項６に記載の方法。
【請求項８】
二次元フーリエ変換が、積の形成に先立って位相データを生成するために処理される、請求項６または７に記載の方法。
【請求項９】
参照データセットが対象物のワイヤフレームモデルから生成される、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
対象物を分類する装置であって、対象物の少なくとも一部の画像に対応している画像データセットと各々が対象物の参照画像に対応する複数の参照データセットの各々との間の相関度を評価する処理手段を含み、対象物の局面を確立する手段と、対象物の局面に基づいてそのようなデータセットのより大きい群から複数の参照データセットを選択する手段とをさらに含むことを特徴とする、装置。
【請求項１１】
対象物が車両であって、車両の局面を確立するために配置された自動ナンバープレート認識装置を含む、請求項１０に記載の装置。
【請求項１２】
対象物が車両であって、処理手段が、車両のナンバープレートの画像に対応している画像データセットと各々がそれぞれの局面における車両ナンバープレートの参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって、車両の局面を確立するために配置されている、請求項１０に記載の装置。
【請求項１３】
時間に応じて車両の位置を追跡し、そこから車両の局面を判断する手段をさらに含む、請求項１１または１２に記載の装置。
【請求項１４】
車両の複数の画像を取得する手段を含み、車両の局面を確立する手段が、車両のナンバープレートが画像内の所定の位置にある複数の画像からある画像を選択する手段を含む、請求項１３に記載の装置。
【請求項１５】
処理手段が、
（ａ）画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数を取得するステップと、
（ｂ）２つの二次元フーリエ変換関数の積を形成するステップと、
（ｃ）前記積の逆二次元フーリエ変換を形成するステップと、
（ｄ）逆二次元フーリエ変換における最大ピークの値を記録するステップとによって画像データセットと参照データセットとの間の相関度を評価するように配置されている、請求項１０から１４のいずれか一項に記載の装置。
【請求項１６】
処理手段が、逆二次元フーリエ変換関数におけるｎ個の最も高い最大値を合計するように配置され、ｎ＝２、３、４、５、６、７、８、９、または１０である、請求項１５に記載の装置。
【請求項１７】
処理手段が、積の形成に先立って位相データを生成するために二次元フーリエ変換を処理するように配置されている、請求項１５または１６に記載の装置。
【請求項１８】
２つの二次元フーリエ変換関数の積に対応する入力データを受信するように配置された空間光変換器（ＳＬＭ）と、少なくとも部分的なコヒーレント光の光源とを含み、ＳＬＭが、前記積の逆二次元フーリエ変換関数に対応する光場を生成するために、光源からの光を回折するように配置されている、請求項１５から１７のいずれか一項に記載の装置。
【請求項１９】
処理手段がＦＰＧＡにて実装される、請求項１５から１７のいずれか一項に記載の装置。
【請求項２０】
ＦＰＧＡが、位相データを合計することによって、画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数の積を形成するようになっている、請求項１７に従属する請求項１９に記載の装置。
【請求項２１】
対象物の少なくとも一部の画像に対応している画像データセットと各々が対象物の参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって対象物を分類する方法であって、
一連の画像を受信するステップと、
分類用の対象物を識別することが可能な基準マーカを含む一連の画像において１セットの画像を識別するステップと、
基準マーカが所定の位置にある画像のセットからある画像を選択するステップと、
所定の位置に基準マーカがある画像にとって適切であると判断された参照画像用の画像データセットと共に選択された画像における対象物のための画像データセットの間の相関度を評価することによって対象物を分類するステップとを含む、方法。
【請求項２２】
対象物が車両であって、基準マーカが車両のナンバープレートであって、対象物が車両のナンバープレートの自動認識によって分類のために識別される、請求項２１に記載の方法。
【請求項２３】
画像データセットと参照データセットとの間の相関度を評価するステップが、
（ａ）画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数を取得するステップと、
（ｂ）２つの二次元フーリエ変換関数の積を形成するステップと、
（ｃ）前記積の逆二次元フーリエ変換を形成するステップと、
（ｄ）逆二次元フーリエ変換における最大ピークの値を記録するステップとによって実行される、請求項２１または２２に記載の方法。
【請求項２４】
二次元フーリエ変換が積の形成に先立って位相データを生成するために処理される、請求項２３に記載の方法。
【請求項２５】
実質的に図１を参照して上記に記載された装置。
【請求項２６】
実質的に図２を参照して上記に記載された装置。
【請求項２７】
対象物を分類する方法であって、実質的に図３を参照して上記に記載された方法。
【請求項２８】
対象物を分類する方法であって、実質的に図４を参照して上記に記載された方法。
【請求項１】
対象物の少なくとも一部の画像に対応している画像データセットと各々が対象物の参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって対象物を分類する方法であって、対象物の局面を確立するステップと、対象物の局面に基づいてそのようなデータセットのより大きい群から複数の参照データセットを選択するステップとを含む、方法。
【請求項２】
対象物が車両であって、車両の局面が自動ナンバープレート認識システムの使用によって確立される、請求項１に記載の方法。
【請求項３】
対象物が車両であって、車両の局面が、車両のナンバープレートの画像に対応する画像データセットと、各々がそれぞれの局面における車両ナンバープレートの参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって確立される、請求項１に記載の方法。
【請求項４】
時間に応じて車両のナンバープレートの位置を追跡するステップと、そこから車両の局面を判断するステップとをさらに含む、請求項２または３に記載の方法。
【請求項５】
車両の複数の画像を取得するステップを含み、車両の局面を確立するステップが、車両のナンバープレートが画像内の所定の位置にある複数の画像からある画像を選択するステップを含む、請求項４に記載の方法。
【請求項６】
画像データセットと参照データセットとの間の相関度を評価するステップが、
（ａ）画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数を取得するステップと、
（ｂ）２つの二次元フーリエ変換関数の積を形成するステップと、
（ｃ）前記積の逆二次元フーリエ変換を形成するステップと、
（ｄ）逆二次元フーリエ変換における最大ピークの値を記録するステップとによって実行される、請求項１から５のいずれか一項に記載の方法。
【請求項７】
逆二次元フーリエ変換関数におけるｎ個の最も高い最大値を合計するステップをさらに含み、ｎ＝２、３、４、５、６、７、８、９、または１０である、請求項６に記載の方法。
【請求項８】
二次元フーリエ変換が、積の形成に先立って位相データを生成するために処理される、請求項６または７に記載の方法。
【請求項９】
参照データセットが対象物のワイヤフレームモデルから生成される、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
対象物を分類する装置であって、対象物の少なくとも一部の画像に対応している画像データセットと各々が対象物の参照画像に対応する複数の参照データセットの各々との間の相関度を評価する処理手段を含み、対象物の局面を確立する手段と、対象物の局面に基づいてそのようなデータセットのより大きい群から複数の参照データセットを選択する手段とをさらに含むことを特徴とする、装置。
【請求項１１】
対象物が車両であって、車両の局面を確立するために配置された自動ナンバープレート認識装置を含む、請求項１０に記載の装置。
【請求項１２】
対象物が車両であって、処理手段が、車両のナンバープレートの画像に対応している画像データセットと各々がそれぞれの局面における車両ナンバープレートの参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって、車両の局面を確立するために配置されている、請求項１０に記載の装置。
【請求項１３】
時間に応じて車両の位置を追跡し、そこから車両の局面を判断する手段をさらに含む、請求項１１または１２に記載の装置。
【請求項１４】
車両の複数の画像を取得する手段を含み、車両の局面を確立する手段が、車両のナンバープレートが画像内の所定の位置にある複数の画像からある画像を選択する手段を含む、請求項１３に記載の装置。
【請求項１５】
処理手段が、
（ａ）画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数を取得するステップと、
（ｂ）２つの二次元フーリエ変換関数の積を形成するステップと、
（ｃ）前記積の逆二次元フーリエ変換を形成するステップと、
（ｄ）逆二次元フーリエ変換における最大ピークの値を記録するステップとによって画像データセットと参照データセットとの間の相関度を評価するように配置されている、請求項１０から１４のいずれか一項に記載の装置。
【請求項１６】
処理手段が、逆二次元フーリエ変換関数におけるｎ個の最も高い最大値を合計するように配置され、ｎ＝２、３、４、５、６、７、８、９、または１０である、請求項１５に記載の装置。
【請求項１７】
処理手段が、積の形成に先立って位相データを生成するために二次元フーリエ変換を処理するように配置されている、請求項１５または１６に記載の装置。
【請求項１８】
２つの二次元フーリエ変換関数の積に対応する入力データを受信するように配置された空間光変換器（ＳＬＭ）と、少なくとも部分的なコヒーレント光の光源とを含み、ＳＬＭが、前記積の逆二次元フーリエ変換関数に対応する光場を生成するために、光源からの光を回折するように配置されている、請求項１５から１７のいずれか一項に記載の装置。
【請求項１９】
処理手段がＦＰＧＡにて実装される、請求項１５から１７のいずれか一項に記載の装置。
【請求項２０】
ＦＰＧＡが、位相データを合計することによって、画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数の積を形成するようになっている、請求項１７に従属する請求項１９に記載の装置。
【請求項２１】
対象物の少なくとも一部の画像に対応している画像データセットと各々が対象物の参照画像に対応する複数の参照データセットの各々との間の相関度を評価することによって対象物を分類する方法であって、
一連の画像を受信するステップと、
分類用の対象物を識別することが可能な基準マーカを含む一連の画像において１セットの画像を識別するステップと、
基準マーカが所定の位置にある画像のセットからある画像を選択するステップと、
所定の位置に基準マーカがある画像にとって適切であると判断された参照画像用の画像データセットと共に選択された画像における対象物のための画像データセットの間の相関度を評価することによって対象物を分類するステップとを含む、方法。
【請求項２２】
対象物が車両であって、基準マーカが車両のナンバープレートであって、対象物が車両のナンバープレートの自動認識によって分類のために識別される、請求項２１に記載の方法。
【請求項２３】
画像データセットと参照データセットとの間の相関度を評価するステップが、
（ａ）画像データセットおよび参照データセットのそれぞれの二次元フーリエ変換関数を取得するステップと、
（ｂ）２つの二次元フーリエ変換関数の積を形成するステップと、
（ｃ）前記積の逆二次元フーリエ変換を形成するステップと、
（ｄ）逆二次元フーリエ変換における最大ピークの値を記録するステップとによって実行される、請求項２１または２２に記載の方法。
【請求項２４】
二次元フーリエ変換が積の形成に先立って位相データを生成するために処理される、請求項２３に記載の方法。
【請求項２５】
実質的に図１を参照して上記に記載された装置。
【請求項２６】
実質的に図２を参照して上記に記載された装置。
【請求項２７】
対象物を分類する方法であって、実質的に図３を参照して上記に記載された方法。
【請求項２８】
対象物を分類する方法であって、実質的に図４を参照して上記に記載された方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２０１１−５２２３１０（Ｐ２０１１−５２２３１０Ａ）
【公表日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１１−５０８９９７（Ｐ２０１１−５０８９９７）
【出願日】平成２１年５月１２日（２００９．５．１２）
【国際出願番号】ＰＣＴ／ＧＢ２００９／００１１６９
【国際公開番号】ＷＯ２００９／１３８７２２
【国際公開日】平成２１年１１月１９日（２００９．１１．１９）
【出願人】（５０１３５２８８２）キネテイツク・リミテツド (93)
【出願人】（５１０２９９１４５）
【Ｆターム（参考）】
【公表日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２１年５月１２日（２００９．５．１２）
【国際出願番号】ＰＣＴ／ＧＢ２００９／００１１６９
【国際公開番号】ＷＯ２００９／１３８７２２
【国際公開日】平成２１年１１月１９日（２００９．１１．１９）
【出願人】（５０１３５２８８２）キネテイツク・リミテツド (93)
【出願人】（５１０２９９１４５）
【Ｆターム（参考）】
[ Back to top ]