反射除去システム
【課題】画像内の望ましくないフィーチャを除去するための方法と装置を提供する。
【解決手段】画像を空間ドメイン１３６から周波数ドメイン１３８に変換することにより、変換済み画像１４０を形成する。変換済み画像１４０にフィルタ１５２を適用することにより、周波数ドメイン１３８内にフィルタ済み画像１５４を形成する。フィルタ済み画像１５４を周波数ドメイン１３８から空間ドメイン１３６に戻すことにより、修正済み画像１５６を形成する。修正済み画像１５６における望ましくないフィーチャ１２６の強度は、元の画像内の望ましくないフィーチャ１２６の強度と比較して増大している。修正済み画像１５６を用いて画像から望ましくないフィーチャ１２６を除去することにより、処理済み画像１６０を形成する。
【解決手段】画像を空間ドメイン１３６から周波数ドメイン１３８に変換することにより、変換済み画像１４０を形成する。変換済み画像１４０にフィルタ１５２を適用することにより、周波数ドメイン１３８内にフィルタ済み画像１５４を形成する。フィルタ済み画像１５４を周波数ドメイン１３８から空間ドメイン１３６に戻すことにより、修正済み画像１５６を形成する。修正済み画像１５６における望ましくないフィーチャ１２６の強度は、元の画像内の望ましくないフィーチャ１２６の強度と比較して増大している。修正済み画像１５６を用いて画像から望ましくないフィーチャ１２６を除去することにより、処理済み画像１６０を形成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して画像処理に関し、具体的には、望ましくないフィーチャを画像から除去することに関するものである。さらに具体的には、本発明は、画像内の望ましくない輝点を除去するための方法及び装置に関する。
【背景技術】
【０００２】
状況によって、センサシステムを用いて生成したシーンの画像内に望ましくないフィーチャが現れることがある。例えば、シーン内の表面からの光の反射が、センサシステムによって検出され、そのようなシーンについて生成された画像内に輝点として現れる場合がある。光線が表面に当たるとき、光は表面から反射しうる。このような光線は、入射光線とも呼ばれる。光は、シーン内の様々な種類のオブジェクトの表面から反射しうる。このようなオブジェクトには、例えば、限定されないが、人、建造物、航空機、自動車、葉、人工構造体、及び他の適切な種類のオブジェクトが含まれる。
【０００３】
表面での光の反射は、拡散反射と鏡面反射とに分類される。拡散反射は、入射光線が表面から複数の方向に反射されるときに起こる。
【０００４】
鏡面反射は、入射光線が表面から主に一方向に反射されるときに起こる。具体的には、鏡面反射は、入射光線と反射光線とが、表面に直行する軸に対して同じ角度を有するときに起こる。シーン内の鏡面反射は、センサシステムによって生成された画像内に輝点として現れることがある。輝点は、画像内において、その中に含まれるピクセルの強度の値が、輝度に関して選択された何らかの閾値より大きな一領域である。
【０００５】
鏡面反射が、大きな表面積に反射された光によって生じるとき、この反射を「グレア」と呼ぶ。鏡面反射が、小さな表面積に反射された光であるとき、この反射を「グリント」と呼ぶ。グリントは、画像内において、周囲の画像部分と比較して大きな強度を有する小さなフィーチャとして現れる場合がある。換言すると、グリントは、画像内の小さな輝点として現れる場合がある。典型的には、グリントによって引き起こされた画像内の輝点は、画像内における望ましくないフィーチャである。
【０００６】
この種の望ましくないフィーチャが画像内に生じるとき、シーンの画像内のオブジェクトの特徴を識別及び／又は解析することが必要以上に困難になる。例えば、オブジェクトの画像を生成するとき、画像内に望ましくないフィーチャが存在すると、オブジェクトの識別は、必要以上に困難であるか、又は必要以上に時間を要する。このような望ましくないフィーチャは、オブジェクト自体の識別に使用されるオブジェクトの特徴を識別することをさらに困難にしうる。
【０００７】
別の一実施例として、時間をずらしてオブジェクトの連続画像を取得する場合、このような画像を互いに比較することにより、オブジェクト内に変化があるかどうかを決定することができる。画像を使用して、オブジェクトの後続の画像に不整合が生じているかどうかを決定することができる。これらの画像内に、グリントによって生じた輝点のような望ましくないフィーチャが存在すると、不整合の識別がさらに困難になり、且つ識別に必要以上に時間がかかる。
【０００８】
画像内のグリントを低減するための現在利用可能な幾つかのシステムは、撮像システムに取り付けられた高速光学機械を使用する。これらの光学機械には、例えば、偏光板及び光学フィルタが含まれる。これらの種類の光学機械は、撮像システムを通過する光の全体的透過率を低下させることができる。光の透過率を低下させることにより、撮像システムによって生成される画像内に供給される情報量が低減しうる。さらに、これらの種類の光学機械は、撮像システムシステムの重量及びコストを必要以上に増大させうる。
【０００９】
したがって、上述した問題の少なくとも一部と、起こりうる他の問題とを考慮する方法と装置を有することが有利である。
【発明の概要】
【００１０】
有利な一実施形態では、画像内の望ましくないフィーチャを除去する方法が提供される。画像を空間ドメインから周波数ドメインに変換することにより、変換済み画像を形成する。変換済み画像にフィルタを適用し、周波数ドメイン内にフィルタ済み画像を形成する。フィルタ済み画像を周波数ドメインから空間ドメインに戻すことにより、修正済み画像を形成する。修正済み画像における望ましくないフィーチャの強度は、元の画像内の望ましくないフィーチャの強度より増大している。修正済み画像を用いて画像から望ましくないフィーチャを除去することにより、処理済み画像を形成する。
【００１１】
他の代替え的実施形態では、処理済み画像を使用して画像内の特徴及び／又はオブジェクトを識別することを考慮する。さらに、本方法では、処理済み画像を使用して、画像内のオブジェクト内に不整合が存在するかどうかを決定する。また、処理済み画像を使用してオブジェクト内に不整合が存在するかどうかを決定することは、さらに、処理済み画像をオブジェクトの別の画像と比較することにより、比較スペクトルを形成すること、並びに比較スペクトルを使用して不整合が存在するかどうかを決定することを含む。
【００１２】
別の有利な実施形態では、装置はコンピュータシステムを含む。コンピュータシステムは、画像を空間ドメインから周波数ドメインに変換することにより、変換済み画像を形成する。コンピュータシステムは、さらに、変換済み画像にフィルタを適用することにより、周波数ドメイン内にフィルタ済み画像を形成する。コンピュータシステムは、さらに、フィルタ済み画像を周波数ドメインから空間ドメインに変換により変換により戻すことにより、修正済み画像を形成する。修正済み画像内の望ましくないフィーチャの強度は、元の画像内の望ましくないフィーチャの強度より増大している。コンピュータシステムは、さらに、修正済み画像を用いて画像から望ましくないフィーチャを除去することにより、処理済み画像を形成する。
【００１３】
本装置は、また、シーンの画像を生成するセンサシステムを随意で含むことができ、ここで画像内の望ましくないフィーチャは、シーン内のグリントにより生じた画像内の輝点である。さらに考慮されるのは、画像を空間ドメインから周波数ドメインに変換することにより変換済み画像を形成する装置に、画像を空間ドメインから周波数ドメイン内の変換済み画像に変換する画像のフーリエ変換を演算するように構成されたコンピュータシステムを含めることである。
【００１４】
装置は、変換済み画像にフィルタを適用することにより周波数ドメイン内にフィルタ済み画像を形成するような構成において、フィルタ済み画像を形成するルートフィルタを使用することにより、フーリエ変換の位相成分の位相に影響を与えること無く、画像のフーリエ変換の振幅成分の振幅を拡大縮小するコンピュータシステムを有することもできる。この場合、ルートフィルタは、振幅を非線型的に拡大縮小する。
【００１５】
他の任意の機構の考慮によれば、修正済み画像を使用して望ましくないフィーチャを画像から除去することにより処理済み画像を形成する構成において、コンピュータシステムは、修正済み画像に閾値を適用して、閾値より大きな値を有する画像内のピクセルを保持することにより閾値適用画像を形成し；修正済み画像を、画像の点拡がり関数を用いて畳込むことにより、畳込み済み画像を形成し、ここで畳込み済み画像により、この畳込み済み画像内の望ましくないフィーチャの第１の位置が示され、この第１の位置は元の画像内の望ましくないフィーチャの第２の位置に対応しており；且つ、畳込み済み画像を元の画像から減算することにより処理済み画像を形成し、ここで元の画像内の望ましくないフィーチャの第２の位置の画像部分が元の画像から除去されることにより、望ましくないフィーチャが除去される。
【００１６】
また別の有利な実施形態では、ビークル検査システムは、センサシステム、画像処理プロセッサ、及び画像アナライザを備えている。センサシステムは、ビークルの画像を生成する。画像処理プロセッサは、センサシステムから画像を受け取る。画像処理プロセッサは、さらに、画像を空間ドメインから周波数ドメインに変換することにより、変換済み画像を形成する。画像処理プロセッサは、さらに、変換済み画像にフィルタを適用することにより、周波数ドメイン内にフィルタ済み画像を形成する。画像処理プロセッサは、さらに、フィルタ済み画像を周波数ドメインから空間ドメインに戻すことにより、修正済み画像を形成する。修正済み画像における望ましくないフィーチャの強度は、元の画像内の望ましくないフィーチャの強度より増大している。画像処理プロセッサは、さらに、修正済み画像を用いて画像から望ましくないフィーチャを除去することにより、処理済み画像を形成する。画像アナライザは、処理済み画像を解析して、ビークル内に不整合が存在するかどうかを決定する。
【００１７】
考慮される他のビークル検査システムは表示システムを含むことができ、画像アナライザは、この表示システム上に、ビークル内に不整合が存在するかどうかを示す表示を提供することができる。別の好ましい画像アナライザは、さらに、ビークル内に不整合が存在するかどうかを示すレポートを生成することができる。
【００１８】
上記のフィーチャ、機能及び利点は、本発明の様々な実施形態で独立に実現することが可能であるか、他の実施形態において組み合わせることが可能である。これらの実施形態について、後述の説明及び添付図面を参照してさらに詳細に説明する。
【図面の簡単な説明】
【００１９】
新規のフィーチャと考えられる有利な実施形態の特徴は、特許請求の範囲に明記される。しかしながら、有利な実施形態と、好ましい使用モードと、さらにはその目的及び利点とは、添付図面を参照して本発明の有利な一実施形態の後述の詳細な説明を読むことにより最もよく理解されるであろう。
【００２０】
【図１】有利な一実施形態による画像処理環境のブロック図である。
【図２】有利な一実施形態による画像処理プロセッサのブロック図である。
【図３】有利な一実施形態によるパンクロ画像を示している。
【図４】有利な一実施形態による閾値適用画像を示している。
【図５】有利な一実施形態による処理済み画像を示している。
【図６】有利な一実施形態による振幅スペクトルを示している。
【図７】有利な一実施形態による、画像から望ましくないフィーチャを除去するプロセスのフロー図である。
【図８】有利な一実施形態による画像解析プロセスのフロー図である。
【図９】有利な一実施形態による画像解析プロセスのフロー図である。
【図１０】有利な一実施形態によるデータ処理システムを示している。
【発明を実施するための形態】
【００２１】
種々の有利な実施形態は、一又は複数の検討事項を認識し、且つ考慮している。例えば、種々の有利な実施形態は、異なる波長を用いてシーンの画像を生成できることを認識し、且つ考慮している。換言すると、シーン内のオブジェクトに対して複数の波長測定を行うことができる。異なる波長を使用してシーンの画像を生成することにより、シーン内の反射（例えば、グリント）に応答して画像内に現れるフィーチャを識別し、画像から除去することができる。
【００２２】
しかしながら、種々の有利な実施形態は、幾つかのセンサはこの種の波長測定を行うことができないことを認識し、且つ考慮している。例えば、パンクロ画像センサはこの種の情報を提供しない。パンクロ画像センサは、画像がデータをグレイの網掛けで含む単一帯域を提供するに過ぎない。
【００２３】
種々の有利な実施形態は、また、フィルタリングを実行して画像に関するデータ内の望ましくないフィーチャを抑えることができることを認識し、且つ考慮している。しかしながら、種々の有利な実施形態は、シーン内のオブジェクトの画像内において、グリントによって生じた望ましくないフィーチャを他のフィーチャから差別化することは、必要以上に困難であり、及び／又は時間がかかることを認識し、且つ考慮している。
【００２４】
加えて、種々の有利な実施形態は、高速光学機械を使用する現在利用可能なグリント低減システムが、以前に生成された画像内のグリントを除去できないことを認識し、且つ考慮している。例えば、オブジェクトの試験及び評価に使用される履歴データには、数週間、数ヶ月、又は数年前の画像が含まれる。種々の有利な実施形態は、これらの以前に生成された画像内のグリントを低減することが望ましいことを認識し、且つ考慮している。
【００２５】
種々の有利な実施形態は、また、現在利用可能なグリント低減システムが、環境条件のような変動する条件に合わせて適合できないことを認識し、且つ考慮している。例えば、撮像システムによって生成された画像内のグリントを低減する偏光板を備えた現在利用可能な撮像システムでは、変化する気象条件、風の条件、及び／又は他の種類の環境条件を考慮するように偏光板を調整することは不可能である。その結果、撮像システムによって生成された画像の一部が、望ましくない数のグリントを有することがある。
【００２６】
さらに、現在利用可能な幾つかのグリント低減システムは、撮像システムのレンズの偏光を調整する電動式光学フィルタを使用することができる。種々の有利な実施形態は、これらの種類のシステムが、画像処理において、１秒当たりに生成されるフレーム数を増加させることができないことを認識し、且つ考慮している。その結果、画像処理において、ほぼ実時間でグリントを低減することが、現在利用可能なシステムでは不可能である。
したがって、種々の有利な実施形態により、グリントによって生じた望ましくないフィーチャを画像から除去するための方法と装置を提供する。種々の有利な実施形態では、望ましくないフィーチャとは、画像解析の困難性を増す、及び／又は画像解析にかかる時間を引き伸ばすフィーチャである。
【００２７】
有利な一実施形態では、画像内の望ましくないフィーチャを除去する方法が提供される。画像を空間ドメインから周波数ドメインに変換することにより、変換済み画像を形成する。変換済み画像にフィルタを適用することにより、周波数ドメイン内にフィルタ済み画像を形成する。フィルタ済み画像を周波数ドメインから空間ドメインに戻すことにより、修正済み画像を形成する。修正済み画像における望ましくないフィーチャの強度は、元の画像内の望ましくないフィーチャの強度より増大している。修正済み画像を用いて画像から望ましくないフィーチャを除去することにより、処理済み画像を形成する。
【００２８】
この情報は、この後、任意の数の異なる目的に使用することができる。例えば、処理済み画像を使用して、画像内に捕捉されたシーン内のオブジェクトを識別し、オブジェクト内の不整合を識別し、オブジェクトの特徴を識別し、及び／又は画像内のオブジェクトに関する他の適切な操作を実行することができる。
【００２９】
ここで図１を参照する。図１は、有利な一実施形態による画像処理環境のブロック図である。このような実施例では、画像処理環境１００は、シーン１０２、センサシステム１０４、及びコンピュータシステム１０５を含む。センサシステム１０４は、シーン１０２の画像１０６を生成する。
【００３０】
図示のように、センサシステム１０４は任意の数のセンサ１０８を含む。本明細書で使用する「任意の数のアイテム」は、一又は複数のアイテムを意味する。例えば、「任意の数のセンサ」は、一又は複数のコンピュータを意味する。このような実施例では、任意の数のセンサ１０８は、帯域１１２内の電磁放射を検出するように構成された任意の数の撮像センサ１１０の形態をとることができる。
【００３１】
帯域１１２は、周波数又は波長の連続帯域である。帯域１１２が電磁放射の可視スペクトル内にあるとき、任意の数の撮像センサ１１０は、パンクロ画像１１４の形態でセンサ１０２の画像１０６を生成する。帯域１１２が電磁放射のスペクトルの他の部分内にあるとき、画像１０６は広帯域画像と呼ばれる。
【００３２】
このような実施例において、画像１０６はパンクロ画像１１４の形態をとる。パンクロ画像１１４は、黒から白に亘るグレイシェードを含むのみである。具体的には、このような種類の画像内のピクセルの値は、強度情報のみを含んでいる。換言すると、パンクロ画像１１４内のピクセルの値は、強度を示しているのであって、色を示しているのではない。
【００３３】
一実施例として、任意の数のオブジェクト１１６がシーン１０２内に存在している。シーン１０２内の任意の数のオブジェクト１１６には、例えば、限定されないが、ビークル、航空機、自動車、人、建造物、人工構造、道路、樹木、緑地、海面、湖面、及び他の適切な種類のオブジェクトが含まれる。
【００３４】
任意の数の撮像センサ１１０は、シーン１０２内の任意の数のオブジェクト１１６の輝度を検出して、画像１１８を生成するように構成されている。画像１１８は、このような実施例では二次元画像である。具体的には、任意の数の撮像センサ１１０は、任意の数のセンサ１１０において検出される帯域１１２内の光の強度を測定し、画像１１８内の各ピクセルの値を生成する。例えば、値は約０〜２５５である。このように、画像１１８はパンクロ画像である。
【００３５】
センサシステム１０４は、処理のために画像１１８をコンピュータシステム１０５に送る。このような実施例では、コンピュータシステム１０５は任意の数のコンピュータを含む。コンピュータシステム１０５内に複数のコンピュータが存在する場合、これらのコンピュータは相互に通信することができる。
【００３６】
図示のように、コンピュータシステム１０５内には画像処理プロセッサ１２０及び画像アナライザ１２２が存在する。画像処理プロセッサ１２０及び画像アナライザ１２２は、コンピュータシステム１０５内で、ハードウェア、ソフトウェア、又はこの二つの組み合わせを使用して実装することができる。幾つかの実施形態では、これらのモジュールを、コンピュータシステム１０５内の他のコンポーネントから独立して使用することができる。
【００３７】
これらのモジュールは、ハードウェアとして実装されるとき、所望の機能及び／又はプロセスを実行するように構成された任意の数の回路を使用して実装することができる。このような任意の数の回路には、例えば、集積回路、特定用途向け集積回路、プログラマブルロジックアレイ、汎用ロジックアレイ、フィールドプログラマブルゲートアレイ、プログラマブルロジックデバイス、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、プログラマブルロジックコントローラ、マクロセルアレイ、及び他の適切な種類の回路のうちの少なくとも１つが含まれる。
【００３８】
本明細書において、列挙されたアイテムと共に使用する「〜のうちの少なくとも１つの」という表現は、列挙されたアイテムのうちの一又は複数からなる様々な組み合わせが使用可能であり、且つ列挙された各アイテムが１つだけあればよいことを意味する。例えば、「アイテムＡ、アイテムＢ、及びアイテムＣのうちの少なくとも１つ」は、例えば、限定しないが、「アイテムＡ」、又は「アイテムＡとアイテムＢ」を含む。この例は、「アイテムＡとアイテムＢとアイテムＣ」、又は「アイテムＢとアイテムＣ」も含む。他の例として、「〜のうちの少なくとも１つ」は、例えば、限定しないが、「２個のアイテムＡと１個のアイテムＢと１０個のアイテムＣ」、「４個のアイテムＢと７個のアイテムＣ」、並びに他の適切な組み合わせを含む。
【００３９】
さらに、このような実施例では、コンピュータシステム１０５は表示システム１２４も含む。表示システム１２４は、一又は複数の表示デバイスを含みうる。このような実施例では、コンピュータシステム１０５内の様々なコンポーネントは、特定の実装態様に応じて同じ位置にあっても、異なる位置にあってもよい。
【００４０】
幾つかの実施例では、コンピュータシステム１０５は、ネットワークデータ処理システムのような、分散コンピュータシステムでもよい。他の実施例では、コンピュータシステム１０５は、ソフトウェアでなくハードウェアにプロセスが実装されるハードウェア回路から全体が構成されてもよい。
【００４１】
このような実施例では、画像処理プロセッサ１２０は、画像１１８を受け取って処理する。具体的には、画像処理プロセッサ１２０は、画像１１８から望ましくないフィーチャ１２６を除去するために画像１１８を処理する。さらに詳細には、画像処理プロセッサ１２０は、シーン１０２内の望ましくない反射１３０により生じた望ましくないフィーチャ１２６を画像１１８から除去するために画像１１８を処理する。具体的には、望ましくない反射１３０はグリント１３１である。
【００４２】
グリント１３１は、画像１１８に現れるシーン１０２内の任意の数のオブジェクト１１６の表面からの光の鏡面反射である。グリントは、画像１１８内において、画像１１８の、それを取り囲む部分より大きな強度を有する小さな輝点として現れる。このようにして、シーン１０２内においてグリント１３１により生じた望ましくないフィーチャ１２６は、画像１１８内において望ましくない輝点１２８の形態をとる。画像処理プロセッサ１２０は、現在の形態の画像１１８を使用して、画像内１１８のいずれの輝点がグリント１３１により生じたものなのかを識別することができない。
【００４３】
例えば、画像処理プロセッサ１２０は、画像１１８内の輝点１３２を検出することができる。輝点１３２は、１つのピクセル、２つのピクセル、又は他の何らかの適切な数のピクセルを含みうる。しかしながら、画像処理プロセッサ１２０は、輝点１３２がシーン１０２内のグリント１３４によって生じたもので、画像１１８内における望ましくない輝点１２８の１つであるかどうかを決定することができない。例えば、画像１１８内の輝点１３２の強度は、輝点１３２がシーン１０２内のグリント１３４によって生じたものかどうかを決定するために十分に高くない。その結果、画像処理プロセッサ１２０は、輝点１３２が望ましくない輝点１２８の１つであるか、又はシーン１０２内の任意の数のオブジェクト１１６の１つのフィーチャであるかを決定することができない。
【００４４】
このような実施例では、画像１１８の現在の形態は空間ドメイン１３６内にある。空間ドメイン１３６は、画像１１８の像空間である。具体的には、空間ドメイン１３６は、画像１１８のための二次元空間である。一実施例では、空間ドメイン１３６は、画像１１８のｘｙ座標系を用いて画定される。画像１１８のｘ座標は、画像１１８の水平方向を表し、ｙ座標は画像１１８の垂直方向を表わす。
【００４５】
画像処理プロセッサ１２０は、画像１１８を空間ドメイン１３６から周波数ドメイン１３８へ変換することにより、変換済み画像１４０を形成する。具体的には、画像処理プロセッサ１２０は、画像１１８のフーリエ変換（ＦＴ）１４２を演算して、画像１１８を空間ドメイン１３６から周波数ドメイン１３８へ変換することにより、変換済み画像１４０を形成する。このような実施例では、フーリエ変換１４２は、離散的フーリエ変換（ＤＦＴ）及び高速フーリエ変換（ＦＦＴ）から選択されたどちらか１つである。空間ドメイン１３６が２次元空間であるとき、フーリエ変換１４２も２次元フーリエ変換である。
【００４６】
このような実施例では、変換済み画像１４０は振幅成分１４４と位相成分１４６とを含む。振幅成分１４４は、画像１１８のフーリエ変換１４２の振幅を特定する。このような振幅はマグニチュードとも呼ばれる。位相成分１４６は、画像１１８のフーリエ変換１４２の位相を特定する。
【００４７】
振幅成分１４４は、例えば、振幅スペクトルによって表される。位相成分１４６は、例えば、位相スペクトルによって表される。振幅スペクトル及び位相スペクトルは、周波数に関してフーリエ変換１４２の振幅及び位相をそれぞれ座標に示す。
【００４８】
このような実施例では、変換済み画像１４０は画像１１８と同数のピクセルを有している。具体的には、変換済み画像１４０は、画像１１８と同じピクセルの寸法を有している。
【００４９】
変換済み画像１４０内の各ピクセルは、画像１１８内の異なる空間周波数１４８を表わす。画像１１８内の空間周波数１４８は、画像１１８内における隣接ピクセルに対するピクセルの値の変化率である。具体的には、空間周波数１４８は、画像１１８の特定の部分の、選択された距離１５０当たりのピクセルの強度の値に生じた変化の数と定義される。選択された距離１５０は、変換済み画像１４０に関する、例えば、ピクセル、ミリメートル、センチメートル、又は他の何らかの適切な距離の単位といった単位とすることができる。
【００５０】
このように、変換済み画像内での位置の変化は空間周波数１４８の変化に対応している。さらに、変換済み画像１４０内のピクセルの値は、ピクセルが示す特定の空間周波数１４８における、選択された距離１５０内での最も明るいグレイレベルと最も暗いグレイレベルとの差異を示す。選択された距離１５０内における最も明るいグレイレベルから最も暗いグレイレベルまでのこのような変化は、一区間又は一周期と呼ばれる。
【００５１】
例えば、１０ピクセル毎の一周期の空間周波数１４８を表わす変換済み画像１４０内のピクセルが２０という値を有する場合、１０ピクセル分の画像１１８内のピクセル強度の値は、最も明るいグレイレベルから最も暗いグレイレベルへと変化するか、又は最も暗いレベルから最も明るいグレイレベルへと変化する。さらに、最も明るいグレイレベルと最も暗いグレイレベルとのコントラストは、ピクセルの値の約２倍である。換言すると、このようなコントラストは、最も明るいグレイレベルと最も暗いグレイレベルとの間における約４０のグレイレベルである。
【００５２】
このような実施例では、画像１１８内の小さなフィーチャは、それよりも大きなフィーチャと比較して高い空間周波数を有する。その結果、画像１１８内の小さなフィーチャは、変換済み画像１４０において、画像１１８内のそれよりも大きなフィーチャと比較して高い周波数成分で表される。
【００５３】
換言すると、画像１１８内のこのような小さなフィーチャは、画像１１８内のそれよりも大きなフィーチャと比較したとき、変換済み画像１４０内の高い空間周波数に対応するピクセル内に現れ、画像１１８内の大きなフィーチャは、変換済み画像１４０内の低い空間周波数に対応するピクセル内に現れる。一実施例として、グリント１３１によって生じた画像１１８内の望ましくない輝点１２８は、画像１１８内において小さなフィーチャでありえ、変換済み画像１４０内において高い周波数成分内に現れる。
【００５４】
このような実施例では、画像処理プロセッサ１２０は、変換済み画像１４０にフィルタ１５２を適用することにより、周波数ドメイン１３８内にフィルタ済み画像１５４を形成する。フィルタ１５２は、例えば、限定しないが、非線型フィルタ、線形フィルタ、高周波通過フィルタ、及び／又は他の何らかの適切な種類のフィルタの形態をとることができる。
【００５５】
このような実施例では、フィルタ１５２は、画像１１８のフーリエ変換１４２の振幅成分１４４を、位相成分１４６を変化させることなく、変化させるように構成されている。具体的には、フィルタ１５２は、変換済み画像１４０の高周波成分の振幅を変化させる。
【００５６】
さらに詳細には、フィルタ１５２が変換済み画像１４０に適用されると、変換済み画像１４０内の高周波成分の振幅が、変換済み画像１４０内の低周波成分の振幅に対して増加する。換言すると、フィルタ済み画像１５４における高周波成分の振幅と低周波成分の振幅との比は、変換済み画像１４０における高周波成分の振幅と低周波成分の振幅との比と比べて低下する。
【００５７】
換言すると、変換済み画像１４０における高周波成分の振幅は、フィルタ済み画像１５４において増強されているので、このような高周波成分に対応する画像１１８内のフィーチャも増強される。具体的には、画像１１８内のグリント１３１によって生じる望ましくない輝点１２８に対応する高周波成分の振幅は、フィルタ済み画像１５４において増強される。
【００５８】
その後、画像処理プロセッサ１２０は、変換済み画像１４０の逆フーリエ変換１５５を演算することにより、周波数ドメイン１３８内の変換済み画像１４０を空間ドメイン１３６に戻す。このような変換により、修正済み画像１５６が形成される。具体的には、修正済み画像１５６における小さなフィーチャ、例えば、グリント１３１によって生じた望ましくない輝点１２８の強度は、画像１１８におけるこのようなフィーチャの強度より増加している。このように、グリント１３１によって生じた望ましくない輝点１２８を他のフィーチャから区別することは、画像１１８より修正済み画像１５６においてずっと容易である。
【００５９】
次いで、画像処理プロセッサ１２０は、修正済み画像１５６を用いて、グリント１３１によって生じた望ましくない輝点１２８を修正済み画像１５６から除去する。具体的には、画像処理プロセッサ１２０は、修正済み画像１５６内の望ましくない輝点１２８の位置１５８を特定し、次いで画像１１８内の位置１５８にある望ましくない輝点１２８を減らす、及び／又は除去する。このような実施例では、修正済み画像１５６から望ましくない輝点１２８を低減及び／又は除去することにより、処理済み画像１６０が形成される。このようにして、グリント１３１によって生じる望ましくない輝点１２８は抑制される。
【００６０】
画像処理プロセッサ１２０は、処理済み画像１６０を解析のために画像アナライザ１２２に送る。画像アナライザ１２２は、処理済み画像１６０を任意の数の異なる方法で解析することができる。例えば、画像アナライザ１２２は、処理済み画像１６０を使用して、任意の数のオブジェクト１１６の特徴１６２を識別することができる。任意の数のオブジェクト１１６の特徴１６２には、例えば、任意の数のオブネクト１１６のうちの１つのオブジェクトの、内部の不整合、縁の不整合、寸法の不整合、識別の不整合、及び／又は他の適切な種類の特徴の不整合が含まれる。
【００６１】
幾つかの実施例では、画像処理プロセッサ１２０及び画像アナライザ１２２は、ビークル検査システム１６４に実装される。ビークル検査システム１６４は、処理済み画像１６０を使用して、任意の数のオブジェクト１１６のうちのオブジェクト１６８に不整合１６６が存在するかどうかを決定するように構成されている。このような実施例では、オブジェクト１６８はビークルである。このような実施例では、オブジェクト１６８内の不整合は、オブジェクト１６８内において存在するはずのない、又は望ましくない、オブジェクト１６８内のフィーチャ又は特徴である。
【００６２】
不整合１６６を識別することは、任意の数の異なる方法で実行することができる。例えば、処理済み画像１６０を、データベース１７２に格納された画像１７０と比較することができる。画像１７０は、オブジェクト１６８の画像１１８の生成に先行して生成された、オブジェクト１６８の別の画像である。画像１７０との処理済み画像１６０のこのような比較を使用して、不整合１６６が存在するかどうかを決定することができる。
【００６３】
他の実施例では、画像処理プロセッサ１２０及び画像アナライザ１２２は、オブジェクト識別システム１７４に実装される。この種の実装態様では、画像アナライザ１２２は、画像１７０と処理済み画像１６０とを比較することにより、オブジェクト１６８の識別１７６を生成することができる。幾つかの事例では、処理済み画像１６０をデータベース１７２内に存在する複数の画像と比較することにより、オブジェクト１６８を識別することができる。
【００６４】
このような実施例では、ビークル検査システム１６４及び／又はオブジェクト識別システム１７４は、画像アナライザ１２２によって実行された処理済み画像１６０の解析結果を使用して、表示システム１２４上に表示を生成することができる。幾つかの実施例では、画像アナライザ１２２は、表示システム１２４上にオブジェクト１６８内の不整合１６６の表示を提供することができる。
【００６５】
他の実施例では、画像アナライザ１２２は、オブジェクト１６８内に不整合１６６が存在するかどうかの表示、オブジェクト１６８の特徴１６２の識別１７６、オブジェクト１６８の識別、及び／又は他の適切な情報を含むレポートを生成する。このレポートは、例えば、表示システム１２４上に表示される、クライアントにｅメールされる、データベースに格納される、及び／又は他の何らかの適切な方法で管理される。
【００６６】
さらに、実装態様に応じて、画像処理プロセッサ１２０及び／又は画像アナライザ１２２は、表示システム１２４上に画像を表示するように構成される。例えば、画像処理プロセッサ１２０及び／又は画像アナライザ１２２は、表示システム１２４上に、画像１１８及び／又は処理済み画像１６０のいずれかを表示することができる。
【００６７】
図１に示す画像処理環境１００は、有利な実施形態を実施できる方法に対する物理的又はアーキテクチャ的な制限を示唆することを意図していない。図示されたコンポーネントに加えて及び／又は代えて、他のコンポーネントを使用することができる。幾つかのコンポーネントは不必要になることもある。また、ブロックは、幾つかの機能的なコンポーネントを示すために提示されている。有利な実施形態において実施される場合、これらのブロックの一又は複数を、異なるブロックに統合及び／又は分割することができる。
【００６８】
例えば、幾つかの実施例では、画像アナライザ１２２及び画像処理プロセッサ１２０は異なる位置に配置されてもよい。例えば、画像処理プロセッサ１２０は、センサシステム１０４と同じプラットフォームに位置してもよく、画像アナライザ１２２は、センサシステム１０４から離れた他の何らかのプラットフォームに位置してもよい。他の実施例では、画像処理プロセッサ１２０及び画像アナライザ１２２は、コンピュータシステム１０５内の同じモジュール内に実装することができ。
【００６９】
さらに、ビークルとして説明されているが、オブジェクト１６８は、任意の数の異なる形態を取ることができる。例えば、オブジェクト１６８は、可動プラットフォーム、固定プラットフォーム、陸上ベース構造、水上ベース構造、宇宙ベース構造、航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、製造工場、建造物、外板パネル、エンジン、ガス配管系の一区間、及び他の適切なオブジェクトから選択された１つとすることができる。
【００７０】
次に図２を参照する。図２は、有利な一実施形態による画像処理プロセッサのブロック図である。この実施例では、画像処理プロセッサ２００は、図１の画像処理プロセッサ１２０の一実装態様の例である。図示のように、画像処理プロセッサ２００は、変換ユニット２０２、フィルタユニット２０４、逆変換ユニット２０６、閾値ユニット２０８、点拡がり関数推定器２１０、畳込みユニット２１２、及びフィーチャ除去ユニット２１４を含む。
【００７１】
この実施例では、変換ユニット２０２は、センサシステム（例えば、図１のセンサシステム１０４）から画像２１６を受け取る。この実施例では、画像２１６はパンクロ画像２１８の形態をとる。さらに、画像２１６は空間ドメイン２００内にある。空間ドメイン２２０は、画像２１６の二次元の像空間である。この実施例では、空間ドメイン２２０内の画像２１６は、関数、Ｈ（ｘ，ｙ）で表される。
【００７２】
画像２１６の関数、Ｈ（ｘ，ｙ）は、画像２１６内のピクセルのｘ，ｙ位置に対する同ピクセルの値を求めるための関数である。画像２１６内のピクセルは行と列とに構成されている。このような実施例では、ピクセルのｘ位置は特定の行を識別し、ｙ位置は特定の列を識別する。
【００７３】
輝点２２１が画像２１６内に現れる。輝点２２１は、画像２１６の、輝点２２１を取り囲む部分と比較して大きな強度を有する画像２１６内の小さなフィーチャである。輝点２２１の少なくとも一部は、画像２１６によって捕捉されたシーン内のグリントによって生じた輝点と、シーン内のオブジェクトのフィーチャである輝点とを区別するために十分に大きな強度を有さないことがある。画像処理プロセッサ２００は、このような区別を行うために画像２１６を処理する。
【００７４】
図示のように、変換ユニット２０２は、画像２１６を空間ドメイン２２０から周波数ドメイン２２２へ変換することにより、変換済み画像２２４を形成する。具体的には、変換ユニット２０２は、画像２１６のフーリエ変換（ＦＴ）２２６を演算することにより、変換済み画像２２４を形成する。画像２１６のフーリエ変換２２６は、関数、Ｈ（ｕ，ｖ）によって表される。画像２１６の関数、Ｈ（ｕ，ｖ）は、画像２１６の関数、Ｈ（ｘ，ｙ）を周波数ドメイン２２２に変換したものである。
【００７５】
このような実施例では、フィルタユニット２０４は、変換ユニット２０２から周波数ドメイン２２２内の変換済み画像２２４を受け取る。フィルタユニット２０４は、変換済み画像２２４に対してルートフィルタ２２８を適用することにより、フィルタ済み画像２３０を生成する。この実施例では、ルートフィルタ２２８は、パラメータ２３２、αを使用して、画像２１６のフーリエ変換２２６の振幅成分を、フーリエ変換２２６の位相成分を変化させることなく変化させる非線型フィルタである。
【００７６】
具体的には、パラメータ２３２、αは、０〜１の値を有する指数である。ルートフィルタ２２８は、フーリエ変換２２６の振幅成分をパラメータ２３２のパワーまで上昇させる。この操作は、フーリエ変換２２６の振幅成分のα番目のルートを取ることに相当する。換言すると、フィルタ済み画像２３０は、以下の等式によって表される。
Ｆ（ｕ，ｖ）＝｜Ｈ（ｕ，ｖ）｜ａ ｅｊθ（ｕ，ｖ） （１）
ここで、Ｆ（ｕ，ｖ）はフィルタ済み画像２３０を表しており、｜Ｈ（ｕ，ｖ）｜は画像２１６のフーリエ変換２２６の振幅成分であり、ｕは周波数ドメイン２２２内の周波数の水平成分であり、ｖは周波数ドメイン２２２内の周波数の垂直成分であり、αは０〜１のパラメータ２３２であり、ｅは指数関数であり、θは位相角であり、ｊは−１の平方根である。
【００７７】
パラメータ２３２の値αは、変換済み画像２２４の高周波成分の振幅が低周波成分の振幅より増加されるように選択される。具体的には、変換済み画像２２４の高周波成分の振幅を、変換済み画像２２４の低周波成分の振幅よりも大きな幅で増大させる。幾つかの事例では、変換済み画像２２４内において、高周波成分の振幅を低周波成分の振幅よりも小さな幅で低減させる。
【００７８】
フィルタユニット２０４によって生成されたフィルタ済み画像２３０は、逆変換ユニット２０６に送られる。逆変換ユニット２０６は、周波数ドメイン２２２内のフィルタ済み画像２３０の逆フーリエ変換２３４を演算することにより、フィルタ済み画像２３０を周波数ドメイン２２２から空間ドメイン２２０に戻して修正済み画像２３６の形態にする。
【００７９】
この実施例では、輝点２３８が修正済み画像２３６に現れる。輝点２３８は、画像２１６内の輝点２２１とほぼ同じである。空間ドメイン２２０における修正済み画像２３６内の輝点２３８は、画像２１６内の輝点２２１より大きな強度を有している。具体的には、輝点２３８は、画像２１６によって捕捉されたシーン内のグリントによって生じた輝点を、シーン内のオブジェクトのフィーチャである輝点から区別することができるような強度を有する。
【００８０】
図示のように、閾値ユニット２０８は、逆変換ユニット２０６から修正済み画像２３６を受け取る。閾値ユニット２０８は、修正済み画像２３６に閾値２４０、ＫＴ を適用する。具体的には、閾値２４０を修正済み画像２３６に適用すると、修正済み画像２３６内の、閾値２４０、ＫＴ 以下の値を有するピクセルは、概ねゼロ又は何らかの最小値の振幅を有するように設定され、修正済み画像２３６内の、閾値２４０、ＫＴ を上回る値を有するピクセルはそのままとされて、空間ドメイン２２０内に閾値適用画像２４２が形成される。
【００８１】
閾値２４０は、画像２１６に補足されたシーン内のグリントにより生じたすべての輝点２３８が識別可能となるように選択される。例えば、修正済み画像２３６内の、閾値２４０、ＫＴ を上回る値を有するピクセルは、輝点２３８のうちの一組の輝点２４４のピクセルである。本明細書で使用する「一組のアイテム」は、ゼロ個以上のアイテムを意味する。例えば、一組のアイテムは、場合によってはヌル値又は空の組でありうる。具体的には、一組の輝点２４４には、画像２１６に補足されたシーン内の輝点により生じうる輝点２３８のうちの輝点が含まれる。幾つかの実施例では、一組の輝点２４４は、一組のグリント点とも呼ばれる。
【００８２】
一組の輝点２４４は、閾値適用画像２４２内の一組の位置２４５に位置している。この実施例では、パラメータ２３２は、一組の輝点２４４のうちの１つの輝点が約１ピクセルの幅を有するように選択される。具体的には、パラメータ２３２は、一組の輝点２４４の中で最小の輝点が約１ピクセル以下を占めるように選択される。さらに、幾つかの実施例では、閾値ユニット２０８は、修正済み画像２３６に対して２つ以上の閾値を適用するように構成することができる。
【００８３】
畳込みユニット２１２は、画像２１６の点拡がり関数２４６を用いて閾値適用画像２４２を畳み込むことにより、空間ドメイン２２０内に畳込み済み画像２４８を生成するように構成される。この実施例では、点拡がり関数２４６は、点拡がり関数推定器２１０によって生成される。点拡がり関数２４６は、画像２１６を生成したセンサシステムの、点源又は点オブジェクトに対する応答を表している。
【００８４】
例えば、図１のシーン１０２内の点のフィーチャは、例えば、センサシステムとオブジェクトとの間の距離に基づいて、画像２１６内において約１ピクセルを占めるシーン内のオブジェクトのフィーチャである。しかしながら、画像２１６を生成するセンサシステムでは、この点のフィーチャが画像２１６内でぼやけ、その結果点のフィーチャが１ピクセル以上を占めることがある。点拡がり関数２４６は、点のフィーチャのこのようなぼけを表現している。換言すると、点拡がり関数２４６は、画像２１６を生成したシステムによる点のフィーチャのぼけを表現している。このような実施例では、点拡がり関数２４６は、ガウス関数、ｐ（ｘ，ｙ）の形態をとることができる。
【００８５】
一実施例では、点拡がり関数推定器２１０は、画像２１６を使用して点拡がり関数２４６を推定する。他の実施例では、点拡がり関数推定器２１０は、ユーザ入力、データベース、又は他の何らかの適切なソースから点拡がり関数２４６を取得することができる。例えば、画像２１６を生成したセンサシステムのパラメータは周知であり、センサシステムの点拡がり関数２４６は既に規定されている。
【００８６】
このような実施例では、畳込みユニット２１２は、閾値適用画像２４２を用いて点拡がり関数２４６を畳み込むことにより畳込み済み画像２４８を生成し、これが一組の輝点２４４の一組の位置２４５を推定することにより、最終的な輝点の組２５０に対する最終的な位置の組２５２を形成する。最終的な位置の組２５２に位置する最終的な輝点の組２５０は、画像２１６に対するグリントの寄与を推定する。
【００８７】
具体的には、最終的な位置の組２５２は、センサシステムによるぼけの影響を考慮する。換言すると、最終的な位置の組２５２は、画像２１６内の輝点２２１のうちの対応する輝点の位置に相当する位置である。推定される点拡がり関数２４６と、空間ドメイン２２０内の閾値適用画像２４２の関数との畳込みは、一方を反転させてシフトした後で、これら２つの関数の積を積分することである。
【００８８】
図示のように、フィーチャ除去ユニット２１４は、畳込み済み画像２４８を受け取るように構成されている。幾つかの実施例では、フィーチャ除去ユニット２１４が畳込み済み画像２４８を受け取る前に畳込み済み画像２４８に利得２５３を適用する。このような実施例では、利得２５３は、画像２１６を生成したセンサシステムの種類、画像２１６内の輝点に影響しうるシーン内のグリント、及び／又は他の適切な要因を説明するように選択される。
【００８９】
フィーチャ除去ユニット２１４は、画像２１６から畳込み済み画像２４８を減算する。換言すると、畳込み済み画像２４８内の最終的な輝点の組２５０の最終的な位置の組２５２に対応する画像２１６内の位置に位置する画像２１６の部分が、画像２１６から除去されて、処理済み画像２５６が形成される。このような除去は、画像２１６からの、望ましくないフィーチャ２５４の除去である。具体的には、このような除去は、画像２１６に補足されたシーン内のグリントにより生じる望ましくないフィーチャ２５４の除去である。
【００９０】
この実施例では、望ましくないフィーチャ２５４の除去は、最終的な輝点の組２５０の最終的な位置の組２５２に対応する位置に位置する画像２１６の部分のピクセル値を、ゼロ又はゼロ以外の何らかの最小値に設定することにより実行される。ゼロ以外の最小値は、画像２１６内の輝点２２１のうちの１つ点が、グリント以外の他の反射によって生じている可能性を考慮するように選択される。例えば、輝点は拡散反射によっても生じうる。
【００９１】
画像処理プロセッサ２００は、画像アナライザ（例えば、図１の画像アナライザ１２２）に処理済み画像２５６を送る。このようにして、望ましくないフィーチャ２５４がまだ存在している画像２１６ではなく、望ましくないフィーチャ２５４が除去された処理済み画像２５６に対して解析を行うことができる。処理済み画像２５６の解析は、画像２１６の解析より正確である。
【００９２】
図２に示す画像処理プロセッサ２００は、有利な実施形態を実施できる方法に対する物理的又はアーキテクチャ的な制限を示唆することを意図していない。このような実施例では、画像処理プロセッサ２００は、図示されたコンポーネントに加えて、及び／又は代えて、他の種類のコンポーネントを使用して実装されうる。さらに、図示された幾つかのコンポーネントを他のコンポーネントと組み合わせることができるか、又は機能を追加のコンポーネントにさらに分離することができる。
【００９３】
例えば、閾値ユニット２０８は、フィーチャ除去ユニット２１４の一部として実装することができる。幾つかの実施例では、変換ユニット２０２と逆変換ユニット２０６の両方によって実施される機能を実施する、双方向変換ユニットを設けてもよい。
【００９４】
図３は、有利な一実施形態によるパンクロ画像を示している。パンクロ画像３００は、図１の画像１０６及び図２のパンクロ画像２１８のうちの１つの一例である。パンクロ画像３００は、航空機の胴体の一区画の画像である。パンクロ画像３００は、グレイスケールの画像である。図示のように、輝点３０２がパンクロ画像３００内に存在する。輝点３０２の少なくとも一部は、パンクロ画像３００に補足されたシーン内のグリントにより生じている。輝点３０４は、少なくとも部分的にグリントにより生じている輝点３０２の１つの例である。輝点３０４は、パンクロ画像３００内の位置３０６に位置している。
【００９５】
図４は、有利な一実施形態による閾値適用画像を示している。閾値適用画像４００は、図２の閾値適用画像２４２の一実装態様の一例である。具体的には、閾値適用画像４００は、図２の画像処理プロセッサ２００によって図３のパンクロ画像３００を処理した後に図２の閾値ユニット２０８によって生成された画像の一例である。
【００９６】
図示のように、閾値適用画像４００は、ゼロ値を有するピクセル４０２と、非ゼロ値を有するピクセル４０４とを含む白黒画像である。非ゼロ値を有するピクセル４０４は、閾値適用画像４００内における、グリントによって生じた図３のパンクロ画像３００内の輝点３０２の部分の位置に対応する位置を特定する。
【００９７】
図５は、有利な一実施形態による処理済み画像を示している。処理済み画像５００は、図２の処理済み画像２５６の一実装態様の一例である。具体的には、処理済み画像５００は、図３のパンクロ画像３００を処理してパンクロ画像３００から望ましくないフィーチャを除去した後で図２の画像処理プロセッサ２００が生成した画像の一例である。このような望ましくないフィーチャは、グリントにより生じた図３のパンクロ画像３００内の輝点３０２部分である。
【００９８】
具体的には、パンクロ画像３００の点拡がり関数を用いて図４の閾値適用画像４００を畳み込むことにより、畳込み済み画像が形成される。このような畳込みは、図２の画像処理プロセッサ２００内の畳込みユニット２１２によって実行される。図２の画像処理プロセッサ２００内のフィーチャ除去ユニット２１４は、パンクロ画像３００から畳込み済み画像を減算する事により処理済み画像５００を生成する。図示のように、処理済み画像５００は、グレイスケールの画像である。
【００９９】
このような実施例では、処理済み画像５００内の位置５０２は、パンクロ画像３００内の位置３０６に対応している。処理済み画像５００に示すように、処理済み画像５００内における航空機の胴体区画からのグリントの影響は、位置５０２においてはぼほ除去されている。具体的には、パンクロ画像３００内の位置３０６と比較した場合、位置５０２におけるグリントの影響はほぼ除去されている。位置５０２内に残る輝度は、航空機の胴体区画からの拡散反射の影響である。
【０１００】
ここで図６を参照する。図６は、有利な一実施形態による振幅スペクトルを示している。この実施例では、プロット６００は、水平軸６０２と垂直軸６０４を有する。水平軸６０２は、１サンプル当たりの周期で示す空間周波数である。垂直軸６０４は振幅である。図示のように、プロット６００は振幅スペクトル６０６と振幅スペクトル６０８とを含む。
【０１０１】
振幅スペクトル６０６は、変換済み画像２２４（例えば、図２の変換済み画像２２４）の振幅成分の表現の一例である。振幅スペクトル６０８は、フィルタ済み画像（例えば、図２のフィルタ済み画像２３０）の振幅成分の表現の一例である。フィルタ済み画像は、変換済み画像２２４に図２のルートフィルタ２２８を適用した結果である。
【０１０２】
図示のように、振幅スペクトル６０６と振幅スペクトル６０８により、フィルタ済み画像２３０における低周波成分の振幅に対する高周波成分の振幅の比が、変換済み画像２２４における低周波成分の振幅に対する高周波成分の振幅の比より小さいことが示されている。換言すると、変換済み画像２２４にルートフィルタ２２８が適用されると、高周波成分の振幅が低周波成分の振幅と比較して増大する。この実施例では、ルートフィルタ２２８が適用されると、変換済み画像２２４のすべての周波数の振幅が低減する。
【０１０３】
次に図７を参照する。図７は、有利な一実施形態による、画像から望ましくないフィーチャを除去するプロセスのフロー図である。図７に示されたプロセスは、図１の画像処理環境１００で実施することができる。具体的には、種々の有利な実施形態の一又は複数を図１の画像処理プロセッサ１２０で実施することができる。加えて、特定の実装態様によっては、図１の画像アナライザ１２２を使用して幾つかの工程を実施することもできる。
【０１０４】
このプロセスは、センサシステムによって生成されたシーンの画像を受け取ることにより開始される（工程７００）。この実施例では、センサシステムは、パンクロ画像として画像を生成する任意の数のパンクロ画像センサを含む。この実施例では、シーンの画像は空間ドメインにおいて生成される。
【０１０５】
次に、プロセスは、画像を空間ドメインから周波数ドメインに変換することにより、変換済み画像を形成する（工程７０２）。具体的には、工程７０２では、プロセスは、空間ドメイン内の画像を周波数ドメイン内の変換済み画像に変換する画像のフーリエ変換を演算する。画像のフーリエ変換は、振幅成分と位相成分とを含む。さらに、この実施例では、フーリエ変換は、離散的フーリエ変換（ＤＦＴ）又は高速フーリエ変換（ＦＦＴ）とすることができる。
【０１０６】
次いで、プロセスは、変換済み画像にフィルタを適用することにより、周波数ドメイン内にフィルタ済み画像を形成する（工程７０４）。この実施例では、工程７０４のフィルタはルートフィルタである。具体的には、ルートフィルタは、フーリエ変換の位相成分の位相を変化させることなく、フーリエ変換の振幅成分の振幅を拡大縮小する。ルートフィルタは、フーリエ変換の振幅成分の振幅を非線形的に拡大縮小するように構成されている。
【０１０７】
その後、プロセスは、フィルタ済み画像を周波数ドメインから空間ドメインに戻すことにより、修正済み画像を形成する（工程７０６）。工程７０６では、フィルタ済み画像の逆フーリエ変換を演算することにより、周波数ドメイン内のフィルタ済み画像を空間ドメイン内の修正済み画像に変換する。シーン内のグリントにより生じた修正済み画像内のすべての望ましくないフィーチャの強度は、シーンの画像内の望ましくないフィーチャの強度より増大される。換言すると、修正済み画像内のすべての望ましくないフィーチャの強度は、センサシステムによって生成された画像内の望ましくないフィーチャの強度と比較した場合、画像の他の部分に対して増強される。
【０１０８】
次いで、プロセスは、修正済み画像に閾値を適用することにより、閾値適用画像を形成する（工程７０８）。工程７０８では、閾値を上回る値を有する修正済み画像内のピクセルが保持されて閾値適用画像が形成される。保持されるすべてのピクセルは、センサシステムによって検出されたシーン内のグリントにより生じた望ましくないフィーチャを含んでいる。具体的には、修正済み画像は、一組の輝点を含む。この輝点の組は、シーン内のグリントにより、センサシステムが生成する画像内に現れる小さなフィーチャに対応している。
【０１０９】
次に、プロセスは、画像の点拡がり関数を用いて修正済み画像を畳込むことにより、畳込み済み画像を形成する（工程７１０）。畳込み済み画像は、修正済み画像において識別された輝点の組に対応する一組の位置を示す。一組の位置は、センサシステムによって生成されるぼけの影響を考慮している。
【０１１０】
次いで、プロセスは、センサシステムによって生成された画像から畳込み済み画像を減算することにより、グリントによって生じたすべての望ましくないフィーチャを除去して処理済み画像を形成し（工程７１２）、その後終了する。工程７１２では、センサシステムによって生成された画像から畳込み済み画像を減算することにより、修正済み画像内の一組の輝点の一組の位置に対応する位置に位置している画像の部分がすべて除去される。
【０１１１】
次に図８を参照する。図８は、有利な実施形態による、画像解析プロセスのフロー図である。図８に示すプロセスは、図１の画像処理環境１００で実施することができる。具体的には、このプロセスは、図１の画像アナライザ１２２で実施される。
【０１１２】
プロセスは、処理済み画像を受け取ることにより開始される（工程８００）。この処理済み画像は、図７に記載の工程を用いて図１の画像処理プロセッサ１２０によって生成された画像である。具体的には、この処理済み画像は、図７の工程７１２において形成された処理済み画像でありうる。
【０１１３】
プロセスは、処理済み画像を解析して結果を生成する（工程８０２）。結果により画像内のオブジェクトに不整合の存在が示唆されるかどうかを決定する（工程８０４）。オブジェクトに不整合が存在する場合、プロセスは、不整合の存在の表示を生成し（工程８０６）、その後終了する。この表示は、表示装置上に提供されるか、ｅメールで送信されるか、データベースに格納されるか、又は他の何らかの適切な方法で処理される。
【０１１４】
工程８０４に戻り、オブジェクトに不整合が存在しない場合、プロセスは、この不整合の存在の表示を生成し（工程８０８）、その後終了する。
【０１１５】
工程８０２において実行される解析は、任意の数の異なる方法で実行することができる。例えば、解析は、処理済み画像に対して直接実行することができる。処理済み画像内のデータは、以前に撮像されたオブジェクトの他の画像と比較されてもよい。このような比較を使用して、オブジェクトに変化が生じたかどうかを決定することができる。このような変化は、オブジェクトに不整合が存在するかどうかを決定するために使用可能である。このような実施例では、不整合はオブジェクト内の望ましくない変化でありうる。
【０１１６】
次に図９を参照する。図９は、有利な実施形態による、画像解析プロセスのフロー図である。図９に示すプロセスは、図１の画像処理環境１００で実施することができる。具体的には、このプロセスは、図１の画像アナライザ１２２で実施される。
【０１１７】
プロセスは、処理済み画像を受け取ることにより開始される（工程９００）。この処理済み画像は、図７に記載の工程を用いて画像処理プロセッサ１２０によって生成された画像である。具体的には、この処理済み画像は、図７の工程７１２において形成された処理済み画像でありうる。
【０１１８】
プロセスは、次いで、処理済み画像を解析することにより画像内のオブジェクトを識別する（工程９０２）。この解析は、任意の数の異なる方法で実行することができる。例えば、以前の画像又は他のデータのデータベースを、処理済み画像内のデータとの比較として使用することができる。このような比較に基づいて、オブジェクトの識別を行うことができる。この識別により、特定のオブジェクトが識別されるか、又は画像内のオブジェクトが未知であることが示唆される。
【０１１９】
次いで、プロセスは、オブジェクトの識別の表示を生成し（工程９０４）、その後終了する。この表示は、例えば、オブジェクトを識別するレポートである。
【０１２０】
次に図１０を参照する。図１０は、有利な実施形態によるデータ処理システムを示している。このような実施例では、データ処理システム１０００を使用して、図１のコンピュータシステム１０５に含まれる一又は複数のコンピュータを実施することができる。この例示的な実施例では、データ処理システム１０００は通信フレームワーク１００２を含み、これによりプロセッサユニット１００４、メモリ１００６、固定記憶域１００８、通信ユニット１０１０、入出力（Ｉ／Ｏ）ユニット１０１２、及び表示ユニット１０１４の間の通信が行われる。
【０１２１】
プロセッサユニット１００４は、メモリ１００６にローディングされるソフトウェアに対する命令を実行するように働く。プロセッサユニット１００４は、特定の実装態様に応じて、任意の数のプロセッサ、マルチプロセッサコア、又は他の何らかの種類のプロセッサとすることができる。本明細書でアイテムに言及して「任意の数の」というとき、一又は複数のアイテムを意味する。さらに、プロセッサユニット１００４は、単一チップ上にメインプロセッサと二次プロセッサとが共存する任意の数の異種プロセッサシステムを使用して実施されてもよい。別の実施例では、プロセッサユニット１００４は同種のプロセッサを複数個含む対称型マルチプロセッサシステムであってもよい。
【０１２２】
メモリ１００６及び固定記憶域１００８は、記憶装置１０１６の例である。記憶装置は、情報を一時的に及び／又は恒久的に格納できる何らかのハードウェア部分であり、この情報には、例えば、限定されないが、データ、機能的形態のプログラムコード、及び／又はその他の適切な情報が含まれる。記憶装置１０１６は、このような実施例では、コンピュータで読込可能な記憶デバイスとも呼ばれる。このような実施例では、メモリ１００６は、例えば、ランダムアクセスメモリ又は他の何らかの適切な揮発性又は不揮発性の記憶装置であってもよい。固定記憶域１００８は、特定の実装態様に応じて様々な形態をとることができる。
【０１２３】
例えば、固定記憶域１００８は、一又は複数のコンポーネント又はデバイスを含みうる。例えば、固定記憶域１００８は、ハードドライブ、フラッシュメモリ、書換え形光ディスク、書換え可能磁気テープ、又はそれらの何らかの組み合わせである。固定記憶域１００８によって使用される媒体は、取り外し可能なものでもよい。例えば、取り外し可能なハードドライブを固定記憶域１００８に使用することができる。
【０１２４】
このような実施例では、通信ユニット１０１０は、他のデータ処理システム又はデバイスとの通信を行う。このような実施例では、通信ユニット１０１０はネットワークインターフェースカードである。通信ユニット１０１０は、物理的通信リンク及び無線の通信リンクのいずれか一方又は両方を使用することによって、通信を行うことができる。
【０１２５】
入出力ユニット１０１２により、データ処理システム１０００に接続可能な他のデバイスによるデータの入力及び出力が可能になる。例えば、入出力ユニット１０１２は、キーボード、マウス、及び／又は他の何らかの適切な入力装置を介してユーザ入力のための接続を提供することができる。さらに、入出力ユニット１０１２は、プリンタに出力を送ることができる。ディスプレイ１０１４は、ユーザに対して情報を表示する機構を提供する。
【０１２６】
オペレーティングシステム、アプリケーション、及び／又はプログラムに対する命令は、通信フレームワーク１００２を介してプロセッサユニット１００４と通信する記憶装置１０１６内に配置されうる。このような実施例では、命令は固定記憶域１００８上において機能的な形態になっている。これらの命令は、メモリ１００６にローディングされてプロセッサユニット１００４によって実行される。種々の実施形態のプロセスは、メモリ（例えば、メモリ１００６）に配置される、コンピュータで実施される命令を使用して、プロセッサユニット１００４によって実行されうる。
【０１２７】
これらの命令は、プログラムコード、コンピュータで使用可能なプログラムコード、又はコンピュータで読込可能なプログラムコードと呼ばれ、プロセッサユニット１００４内の１つのプロセッサによって読込まれて実行されうる。種々の実施形態のプログラムコードは、様々な物理的記憶媒体又はコンピュータで読込可能な記憶媒体（例えば、メモリ１００６又は固定記憶域１００８）上に具現化されうる。
【０１２８】
プログラムコード１０１８は、選択的に取り外し可能なコンピュータで読込可能な媒体１０２０上に機能的な形態で配置され、データ処理システム１０００にローディング又は転送されて、プロセッサユニット１００４によって実行される。プログラムコード１０１８及びコンピュータで読込可能な媒体１０２０は、このような実施例ではコンピュータプログラム製品１０２２を形成する。一実施例では、コンピュータで読込可能な媒体１０２０は、コンピュータで読込可能な記憶媒体１０２４又はコンピュータで読込可能な信号媒体１０２６である。
【０１２９】
コンピュータで読込可能な記憶媒体１０２４は、例えば、固定記憶域１００８の一部であるドライブ又は他のデバイスに挿入又は配置されて、固定記憶域１００８の一部である、ハードディスなどの記憶装置上に転送される光ディスク又は磁気ディスクなどを含みうる。コンピュータで読込可能な記憶媒体１０２４は、データ処理システム１０００に接続されているハードドライブ、サムドライブ、又はフラッシュメモリなどの固定記憶域の形態もとりうる。幾つかの例では、コンピュータで読込可能な記憶媒体１０２４は、データ処理システム１０００から着脱可能でなくともよい。
【０１３０】
このような実施例では、コンピュータで読込可能な記憶媒体１０２４は、プログラムコード１０１８を伝搬又は転送する媒体ではなくプログラムコード１０１８を保存するために使用される物理的な又は有形の記憶装置である。コンピュータで読込可能な記憶媒体１０２４は、コンピュータで読込可能な有形の記憶装置又はコンピュータで読込可能な物理的な記憶装置とも呼ばれる。換言すると、コンピュータで読込可能な記憶媒体１０２４は、人が触れることのできる媒体である。
【０１３１】
代替的に、プログラムコード１０１８は、コンピュータで読込可能な信号媒体１０２６を用いてデータ処理シスム１０００に転送可能である。コンピュータで読込可能な信号媒体１０２６は、例えば、プログラムコード１０１８を含む伝播されたデータ信号であってもよい。例えば、コンピュータで読込可能な信号媒体１０２６は、電磁信号、光信号、及び／又は他のいずれかの適切な種類の信号であってもよい。これらの信号は、無線通信リンク、光ファイバケーブル、同軸ケーブル、有線、及び／又は他のいずれかの適切な種類の通信リンクといった通信リンクによって転送される。換言すると、本発明の実施例では、通信リンク及び／又は接続は物理的なもの又は無線によるものでありうる。
【０１３２】
幾つかの有利な実施形態では、プログラムコード１０１８は、コンピュータで読込可能な信号媒体１０２６により他のデバイス又はデータ処理システムからネットワークを介して固定記憶域１００８にダウンロードされて、データ処理システム１０００内で使用される。例えば、サーバーデータ処理システムのコンピュータで読込可能な記憶媒体に格納されたプログラムコードは、ネットワークを介してサーバーからデータ処理システム１０００にダウンロードすることができる。プログラムコード１０１８を提供するデータ処理システムは、サーバーコンピュータ、クライアントコンピュータ、又はグラムコード１０１８を保存及び転送することができる他の何らかのデバイスであってもよい。
【０１３３】
データ処理システム１０００に例示されている種々のコンポーネントは、種々の実施形態を実施できる方法をアーキテクチャ的に制限するものではない。種々の有利な実施形態を、データ処理システム１０００に図解されているコンポーネントに追加の又はその代わりのコンポーネントを含むデータ処理システム内において実施することができる。図１０に示す他のコンポーネントは、図示の実施例から変更することができる。種々の実施形態は、プログラムコードを実行できる任意のハードウェアデバイス又はシステムを使用して実施することができる。一実施例として、データ処理システムは、無機コンポーネントと一体化した有機コンポーネントを含むことができる、及び／又は全体を人間を除く有機コンポーネントで構成することができる。例えば、記憶装置は、有機半導体で構成することができる。
【０１３４】
別の実施例では、プロセッサユニット１００４は、特定の用途のために製造又は構成された回路を有するハードウェアユニットの形態をとってもよい。この種のハードウェアは、工程を実行するように構成された記憶装置からメモリにプログラムコードをローディングする必要なく、工程を実施することができる。
【０１３５】
例えば、プロセッサユニット１００４がハードウェアユニットの形態をとる場合、プロセッサユニット１００４は、回路システム、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス、又は任意の数の工程を実行する他の何らかの適切な種類のハードウェアであってもよい。プログラマブルロジックデバイスの場合、このデバイスは任意の数の工程を実行する。このデバイスは、その後再構成することも、又は任意の数の工程を実行するように恒久的に構成することもできる。プログラマブルロジックデバイスの例には、例えば、プログラマブルロジックアレイ、フィールドプログラマブルロジックアレイ、フィールドプログラマブルゲートアレイ、及び他の適切なハードウェアデバイスが含まれる。この種の実装態様では、種々の実施形態のプロセスがハードウェア装置で実施されるため、プログラムコード１０１８は省略されてもよい。
【０１３６】
さらに別の実施例では、プロセッサユニット１００４は、コンピュータ及びハードウェアユニットの中に見出されるプロセッサの組み合わせを利用して実施することができる。プロセッサユニット１００４は、プログラムコード１０１８を実行するように構成された任意の数のハードウェアユニット及び任意の数のプロセッサを有することができる。この実施例では、プロセスの幾つかは、任意の数のハードウェアユニットにおいて実施することができ、他のプロセスは任意の数のプロセッサで実施することができる。
【０１３７】
別の実施例では、バスシステムは、通信フレームワーク１００２を実施するために使用することができ、システムバス又は入出力バスといった一又は複数のバスから構成することができる。言うまでもなく、バスシステムは、バスシステムに取り付けられた種々のコンポーネント又はデバイスの間でのデータ伝送を行う任意の適切な種類のアーキテクチャを使用して実施することができる。
【０１３８】
加えて、通信ユニットは、データの送信、データの受信、又はデータの送受信を行う任意の数のデバイスを含みうる。通信ユニットは、例えば、モデム又はネットワークアダプタ、２個のネットワークアダプタ、又はこれらの何らかの組み合わせであってもよい。さらに、メモリは、例えば、通信フレームワーク１００２内に存在することがあるインターフェース及びメモリコントローラハブに見られるような、メモリ１００６又はキャッシュであってもよい。
【０１３９】
したがって、種々の有利な実施形態により、グリントによって生じた望ましくないフィーチャを画像から除去するための方法と装置が提供される。種々の有利な実施形態では、望ましくないフィーチャとは、画像解析の困難性を増す、及び／又は画像解析にかかる時間を引き伸ばすフィーチャである。
【０１４０】
有利な一実施形態では、画像内の望ましくないフィーチャを除去する方法が提供される。画像を空間ドメインから周波数ドメインに変換することにより、変換済み画像を形成する。変換済み画像にフィルタを適用することにより、周波数ドメイン内にフィルタ済み画像を形成する。フィルタ済み画像を周波数ドメインから空間ドメインに戻すことにより、修正済み画像を形成する。修正済み画像における望ましくないフィーチャの強度は、元の画像内の望ましくないフィーチャの強度より増大している。修正済み画像を用いることにより、画像から望ましくないフィーチャを除去して処理済み画像を形成する。
【０１４１】
上述した種々の有利な実施形態の説明は、例示及び説明を目的とするものであり、完全な説明であること、又はこれらの実施形態を開示された形態に限定することを意図していない。当業者には、多数の修正例及び変形例が明らかであろう。さらに、種々の有利な実施形態は、他の有利な実施形態とは異なる利点を提供することができる。選択された一又は複数の実施形態は、実施形態の原理、実際の用途を最もよく説明するため、及び他の当業者に対し、様々な実施形態の開示内容と、考慮される特定の用途に適した様々な修正との理解を促すために選択及び記述されている。
【技術分野】
【０００１】
本発明は、概して画像処理に関し、具体的には、望ましくないフィーチャを画像から除去することに関するものである。さらに具体的には、本発明は、画像内の望ましくない輝点を除去するための方法及び装置に関する。
【背景技術】
【０００２】
状況によって、センサシステムを用いて生成したシーンの画像内に望ましくないフィーチャが現れることがある。例えば、シーン内の表面からの光の反射が、センサシステムによって検出され、そのようなシーンについて生成された画像内に輝点として現れる場合がある。光線が表面に当たるとき、光は表面から反射しうる。このような光線は、入射光線とも呼ばれる。光は、シーン内の様々な種類のオブジェクトの表面から反射しうる。このようなオブジェクトには、例えば、限定されないが、人、建造物、航空機、自動車、葉、人工構造体、及び他の適切な種類のオブジェクトが含まれる。
【０００３】
表面での光の反射は、拡散反射と鏡面反射とに分類される。拡散反射は、入射光線が表面から複数の方向に反射されるときに起こる。
【０００４】
鏡面反射は、入射光線が表面から主に一方向に反射されるときに起こる。具体的には、鏡面反射は、入射光線と反射光線とが、表面に直行する軸に対して同じ角度を有するときに起こる。シーン内の鏡面反射は、センサシステムによって生成された画像内に輝点として現れることがある。輝点は、画像内において、その中に含まれるピクセルの強度の値が、輝度に関して選択された何らかの閾値より大きな一領域である。
【０００５】
鏡面反射が、大きな表面積に反射された光によって生じるとき、この反射を「グレア」と呼ぶ。鏡面反射が、小さな表面積に反射された光であるとき、この反射を「グリント」と呼ぶ。グリントは、画像内において、周囲の画像部分と比較して大きな強度を有する小さなフィーチャとして現れる場合がある。換言すると、グリントは、画像内の小さな輝点として現れる場合がある。典型的には、グリントによって引き起こされた画像内の輝点は、画像内における望ましくないフィーチャである。
【０００６】
この種の望ましくないフィーチャが画像内に生じるとき、シーンの画像内のオブジェクトの特徴を識別及び／又は解析することが必要以上に困難になる。例えば、オブジェクトの画像を生成するとき、画像内に望ましくないフィーチャが存在すると、オブジェクトの識別は、必要以上に困難であるか、又は必要以上に時間を要する。このような望ましくないフィーチャは、オブジェクト自体の識別に使用されるオブジェクトの特徴を識別することをさらに困難にしうる。
【０００７】
別の一実施例として、時間をずらしてオブジェクトの連続画像を取得する場合、このような画像を互いに比較することにより、オブジェクト内に変化があるかどうかを決定することができる。画像を使用して、オブジェクトの後続の画像に不整合が生じているかどうかを決定することができる。これらの画像内に、グリントによって生じた輝点のような望ましくないフィーチャが存在すると、不整合の識別がさらに困難になり、且つ識別に必要以上に時間がかかる。
【０００８】
画像内のグリントを低減するための現在利用可能な幾つかのシステムは、撮像システムに取り付けられた高速光学機械を使用する。これらの光学機械には、例えば、偏光板及び光学フィルタが含まれる。これらの種類の光学機械は、撮像システムを通過する光の全体的透過率を低下させることができる。光の透過率を低下させることにより、撮像システムによって生成される画像内に供給される情報量が低減しうる。さらに、これらの種類の光学機械は、撮像システムシステムの重量及びコストを必要以上に増大させうる。
【０００９】
したがって、上述した問題の少なくとも一部と、起こりうる他の問題とを考慮する方法と装置を有することが有利である。
【発明の概要】
【００１０】
有利な一実施形態では、画像内の望ましくないフィーチャを除去する方法が提供される。画像を空間ドメインから周波数ドメインに変換することにより、変換済み画像を形成する。変換済み画像にフィルタを適用し、周波数ドメイン内にフィルタ済み画像を形成する。フィルタ済み画像を周波数ドメインから空間ドメインに戻すことにより、修正済み画像を形成する。修正済み画像における望ましくないフィーチャの強度は、元の画像内の望ましくないフィーチャの強度より増大している。修正済み画像を用いて画像から望ましくないフィーチャを除去することにより、処理済み画像を形成する。
【００１１】
他の代替え的実施形態では、処理済み画像を使用して画像内の特徴及び／又はオブジェクトを識別することを考慮する。さらに、本方法では、処理済み画像を使用して、画像内のオブジェクト内に不整合が存在するかどうかを決定する。また、処理済み画像を使用してオブジェクト内に不整合が存在するかどうかを決定することは、さらに、処理済み画像をオブジェクトの別の画像と比較することにより、比較スペクトルを形成すること、並びに比較スペクトルを使用して不整合が存在するかどうかを決定することを含む。
【００１２】
別の有利な実施形態では、装置はコンピュータシステムを含む。コンピュータシステムは、画像を空間ドメインから周波数ドメインに変換することにより、変換済み画像を形成する。コンピュータシステムは、さらに、変換済み画像にフィルタを適用することにより、周波数ドメイン内にフィルタ済み画像を形成する。コンピュータシステムは、さらに、フィルタ済み画像を周波数ドメインから空間ドメインに変換により変換により戻すことにより、修正済み画像を形成する。修正済み画像内の望ましくないフィーチャの強度は、元の画像内の望ましくないフィーチャの強度より増大している。コンピュータシステムは、さらに、修正済み画像を用いて画像から望ましくないフィーチャを除去することにより、処理済み画像を形成する。
【００１３】
本装置は、また、シーンの画像を生成するセンサシステムを随意で含むことができ、ここで画像内の望ましくないフィーチャは、シーン内のグリントにより生じた画像内の輝点である。さらに考慮されるのは、画像を空間ドメインから周波数ドメインに変換することにより変換済み画像を形成する装置に、画像を空間ドメインから周波数ドメイン内の変換済み画像に変換する画像のフーリエ変換を演算するように構成されたコンピュータシステムを含めることである。
【００１４】
装置は、変換済み画像にフィルタを適用することにより周波数ドメイン内にフィルタ済み画像を形成するような構成において、フィルタ済み画像を形成するルートフィルタを使用することにより、フーリエ変換の位相成分の位相に影響を与えること無く、画像のフーリエ変換の振幅成分の振幅を拡大縮小するコンピュータシステムを有することもできる。この場合、ルートフィルタは、振幅を非線型的に拡大縮小する。
【００１５】
他の任意の機構の考慮によれば、修正済み画像を使用して望ましくないフィーチャを画像から除去することにより処理済み画像を形成する構成において、コンピュータシステムは、修正済み画像に閾値を適用して、閾値より大きな値を有する画像内のピクセルを保持することにより閾値適用画像を形成し；修正済み画像を、画像の点拡がり関数を用いて畳込むことにより、畳込み済み画像を形成し、ここで畳込み済み画像により、この畳込み済み画像内の望ましくないフィーチャの第１の位置が示され、この第１の位置は元の画像内の望ましくないフィーチャの第２の位置に対応しており；且つ、畳込み済み画像を元の画像から減算することにより処理済み画像を形成し、ここで元の画像内の望ましくないフィーチャの第２の位置の画像部分が元の画像から除去されることにより、望ましくないフィーチャが除去される。
【００１６】
また別の有利な実施形態では、ビークル検査システムは、センサシステム、画像処理プロセッサ、及び画像アナライザを備えている。センサシステムは、ビークルの画像を生成する。画像処理プロセッサは、センサシステムから画像を受け取る。画像処理プロセッサは、さらに、画像を空間ドメインから周波数ドメインに変換することにより、変換済み画像を形成する。画像処理プロセッサは、さらに、変換済み画像にフィルタを適用することにより、周波数ドメイン内にフィルタ済み画像を形成する。画像処理プロセッサは、さらに、フィルタ済み画像を周波数ドメインから空間ドメインに戻すことにより、修正済み画像を形成する。修正済み画像における望ましくないフィーチャの強度は、元の画像内の望ましくないフィーチャの強度より増大している。画像処理プロセッサは、さらに、修正済み画像を用いて画像から望ましくないフィーチャを除去することにより、処理済み画像を形成する。画像アナライザは、処理済み画像を解析して、ビークル内に不整合が存在するかどうかを決定する。
【００１７】
考慮される他のビークル検査システムは表示システムを含むことができ、画像アナライザは、この表示システム上に、ビークル内に不整合が存在するかどうかを示す表示を提供することができる。別の好ましい画像アナライザは、さらに、ビークル内に不整合が存在するかどうかを示すレポートを生成することができる。
【００１８】
上記のフィーチャ、機能及び利点は、本発明の様々な実施形態で独立に実現することが可能であるか、他の実施形態において組み合わせることが可能である。これらの実施形態について、後述の説明及び添付図面を参照してさらに詳細に説明する。
【図面の簡単な説明】
【００１９】
新規のフィーチャと考えられる有利な実施形態の特徴は、特許請求の範囲に明記される。しかしながら、有利な実施形態と、好ましい使用モードと、さらにはその目的及び利点とは、添付図面を参照して本発明の有利な一実施形態の後述の詳細な説明を読むことにより最もよく理解されるであろう。
【００２０】
【図１】有利な一実施形態による画像処理環境のブロック図である。
【図２】有利な一実施形態による画像処理プロセッサのブロック図である。
【図３】有利な一実施形態によるパンクロ画像を示している。
【図４】有利な一実施形態による閾値適用画像を示している。
【図５】有利な一実施形態による処理済み画像を示している。
【図６】有利な一実施形態による振幅スペクトルを示している。
【図７】有利な一実施形態による、画像から望ましくないフィーチャを除去するプロセスのフロー図である。
【図８】有利な一実施形態による画像解析プロセスのフロー図である。
【図９】有利な一実施形態による画像解析プロセスのフロー図である。
【図１０】有利な一実施形態によるデータ処理システムを示している。
【発明を実施するための形態】
【００２１】
種々の有利な実施形態は、一又は複数の検討事項を認識し、且つ考慮している。例えば、種々の有利な実施形態は、異なる波長を用いてシーンの画像を生成できることを認識し、且つ考慮している。換言すると、シーン内のオブジェクトに対して複数の波長測定を行うことができる。異なる波長を使用してシーンの画像を生成することにより、シーン内の反射（例えば、グリント）に応答して画像内に現れるフィーチャを識別し、画像から除去することができる。
【００２２】
しかしながら、種々の有利な実施形態は、幾つかのセンサはこの種の波長測定を行うことができないことを認識し、且つ考慮している。例えば、パンクロ画像センサはこの種の情報を提供しない。パンクロ画像センサは、画像がデータをグレイの網掛けで含む単一帯域を提供するに過ぎない。
【００２３】
種々の有利な実施形態は、また、フィルタリングを実行して画像に関するデータ内の望ましくないフィーチャを抑えることができることを認識し、且つ考慮している。しかしながら、種々の有利な実施形態は、シーン内のオブジェクトの画像内において、グリントによって生じた望ましくないフィーチャを他のフィーチャから差別化することは、必要以上に困難であり、及び／又は時間がかかることを認識し、且つ考慮している。
【００２４】
加えて、種々の有利な実施形態は、高速光学機械を使用する現在利用可能なグリント低減システムが、以前に生成された画像内のグリントを除去できないことを認識し、且つ考慮している。例えば、オブジェクトの試験及び評価に使用される履歴データには、数週間、数ヶ月、又は数年前の画像が含まれる。種々の有利な実施形態は、これらの以前に生成された画像内のグリントを低減することが望ましいことを認識し、且つ考慮している。
【００２５】
種々の有利な実施形態は、また、現在利用可能なグリント低減システムが、環境条件のような変動する条件に合わせて適合できないことを認識し、且つ考慮している。例えば、撮像システムによって生成された画像内のグリントを低減する偏光板を備えた現在利用可能な撮像システムでは、変化する気象条件、風の条件、及び／又は他の種類の環境条件を考慮するように偏光板を調整することは不可能である。その結果、撮像システムによって生成された画像の一部が、望ましくない数のグリントを有することがある。
【００２６】
さらに、現在利用可能な幾つかのグリント低減システムは、撮像システムのレンズの偏光を調整する電動式光学フィルタを使用することができる。種々の有利な実施形態は、これらの種類のシステムが、画像処理において、１秒当たりに生成されるフレーム数を増加させることができないことを認識し、且つ考慮している。その結果、画像処理において、ほぼ実時間でグリントを低減することが、現在利用可能なシステムでは不可能である。
したがって、種々の有利な実施形態により、グリントによって生じた望ましくないフィーチャを画像から除去するための方法と装置を提供する。種々の有利な実施形態では、望ましくないフィーチャとは、画像解析の困難性を増す、及び／又は画像解析にかかる時間を引き伸ばすフィーチャである。
【００２７】
有利な一実施形態では、画像内の望ましくないフィーチャを除去する方法が提供される。画像を空間ドメインから周波数ドメインに変換することにより、変換済み画像を形成する。変換済み画像にフィルタを適用することにより、周波数ドメイン内にフィルタ済み画像を形成する。フィルタ済み画像を周波数ドメインから空間ドメインに戻すことにより、修正済み画像を形成する。修正済み画像における望ましくないフィーチャの強度は、元の画像内の望ましくないフィーチャの強度より増大している。修正済み画像を用いて画像から望ましくないフィーチャを除去することにより、処理済み画像を形成する。
【００２８】
この情報は、この後、任意の数の異なる目的に使用することができる。例えば、処理済み画像を使用して、画像内に捕捉されたシーン内のオブジェクトを識別し、オブジェクト内の不整合を識別し、オブジェクトの特徴を識別し、及び／又は画像内のオブジェクトに関する他の適切な操作を実行することができる。
【００２９】
ここで図１を参照する。図１は、有利な一実施形態による画像処理環境のブロック図である。このような実施例では、画像処理環境１００は、シーン１０２、センサシステム１０４、及びコンピュータシステム１０５を含む。センサシステム１０４は、シーン１０２の画像１０６を生成する。
【００３０】
図示のように、センサシステム１０４は任意の数のセンサ１０８を含む。本明細書で使用する「任意の数のアイテム」は、一又は複数のアイテムを意味する。例えば、「任意の数のセンサ」は、一又は複数のコンピュータを意味する。このような実施例では、任意の数のセンサ１０８は、帯域１１２内の電磁放射を検出するように構成された任意の数の撮像センサ１１０の形態をとることができる。
【００３１】
帯域１１２は、周波数又は波長の連続帯域である。帯域１１２が電磁放射の可視スペクトル内にあるとき、任意の数の撮像センサ１１０は、パンクロ画像１１４の形態でセンサ１０２の画像１０６を生成する。帯域１１２が電磁放射のスペクトルの他の部分内にあるとき、画像１０６は広帯域画像と呼ばれる。
【００３２】
このような実施例において、画像１０６はパンクロ画像１１４の形態をとる。パンクロ画像１１４は、黒から白に亘るグレイシェードを含むのみである。具体的には、このような種類の画像内のピクセルの値は、強度情報のみを含んでいる。換言すると、パンクロ画像１１４内のピクセルの値は、強度を示しているのであって、色を示しているのではない。
【００３３】
一実施例として、任意の数のオブジェクト１１６がシーン１０２内に存在している。シーン１０２内の任意の数のオブジェクト１１６には、例えば、限定されないが、ビークル、航空機、自動車、人、建造物、人工構造、道路、樹木、緑地、海面、湖面、及び他の適切な種類のオブジェクトが含まれる。
【００３４】
任意の数の撮像センサ１１０は、シーン１０２内の任意の数のオブジェクト１１６の輝度を検出して、画像１１８を生成するように構成されている。画像１１８は、このような実施例では二次元画像である。具体的には、任意の数の撮像センサ１１０は、任意の数のセンサ１１０において検出される帯域１１２内の光の強度を測定し、画像１１８内の各ピクセルの値を生成する。例えば、値は約０〜２５５である。このように、画像１１８はパンクロ画像である。
【００３５】
センサシステム１０４は、処理のために画像１１８をコンピュータシステム１０５に送る。このような実施例では、コンピュータシステム１０５は任意の数のコンピュータを含む。コンピュータシステム１０５内に複数のコンピュータが存在する場合、これらのコンピュータは相互に通信することができる。
【００３６】
図示のように、コンピュータシステム１０５内には画像処理プロセッサ１２０及び画像アナライザ１２２が存在する。画像処理プロセッサ１２０及び画像アナライザ１２２は、コンピュータシステム１０５内で、ハードウェア、ソフトウェア、又はこの二つの組み合わせを使用して実装することができる。幾つかの実施形態では、これらのモジュールを、コンピュータシステム１０５内の他のコンポーネントから独立して使用することができる。
【００３７】
これらのモジュールは、ハードウェアとして実装されるとき、所望の機能及び／又はプロセスを実行するように構成された任意の数の回路を使用して実装することができる。このような任意の数の回路には、例えば、集積回路、特定用途向け集積回路、プログラマブルロジックアレイ、汎用ロジックアレイ、フィールドプログラマブルゲートアレイ、プログラマブルロジックデバイス、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、プログラマブルロジックコントローラ、マクロセルアレイ、及び他の適切な種類の回路のうちの少なくとも１つが含まれる。
【００３８】
本明細書において、列挙されたアイテムと共に使用する「〜のうちの少なくとも１つの」という表現は、列挙されたアイテムのうちの一又は複数からなる様々な組み合わせが使用可能であり、且つ列挙された各アイテムが１つだけあればよいことを意味する。例えば、「アイテムＡ、アイテムＢ、及びアイテムＣのうちの少なくとも１つ」は、例えば、限定しないが、「アイテムＡ」、又は「アイテムＡとアイテムＢ」を含む。この例は、「アイテムＡとアイテムＢとアイテムＣ」、又は「アイテムＢとアイテムＣ」も含む。他の例として、「〜のうちの少なくとも１つ」は、例えば、限定しないが、「２個のアイテムＡと１個のアイテムＢと１０個のアイテムＣ」、「４個のアイテムＢと７個のアイテムＣ」、並びに他の適切な組み合わせを含む。
【００３９】
さらに、このような実施例では、コンピュータシステム１０５は表示システム１２４も含む。表示システム１２４は、一又は複数の表示デバイスを含みうる。このような実施例では、コンピュータシステム１０５内の様々なコンポーネントは、特定の実装態様に応じて同じ位置にあっても、異なる位置にあってもよい。
【００４０】
幾つかの実施例では、コンピュータシステム１０５は、ネットワークデータ処理システムのような、分散コンピュータシステムでもよい。他の実施例では、コンピュータシステム１０５は、ソフトウェアでなくハードウェアにプロセスが実装されるハードウェア回路から全体が構成されてもよい。
【００４１】
このような実施例では、画像処理プロセッサ１２０は、画像１１８を受け取って処理する。具体的には、画像処理プロセッサ１２０は、画像１１８から望ましくないフィーチャ１２６を除去するために画像１１８を処理する。さらに詳細には、画像処理プロセッサ１２０は、シーン１０２内の望ましくない反射１３０により生じた望ましくないフィーチャ１２６を画像１１８から除去するために画像１１８を処理する。具体的には、望ましくない反射１３０はグリント１３１である。
【００４２】
グリント１３１は、画像１１８に現れるシーン１０２内の任意の数のオブジェクト１１６の表面からの光の鏡面反射である。グリントは、画像１１８内において、画像１１８の、それを取り囲む部分より大きな強度を有する小さな輝点として現れる。このようにして、シーン１０２内においてグリント１３１により生じた望ましくないフィーチャ１２６は、画像１１８内において望ましくない輝点１２８の形態をとる。画像処理プロセッサ１２０は、現在の形態の画像１１８を使用して、画像内１１８のいずれの輝点がグリント１３１により生じたものなのかを識別することができない。
【００４３】
例えば、画像処理プロセッサ１２０は、画像１１８内の輝点１３２を検出することができる。輝点１３２は、１つのピクセル、２つのピクセル、又は他の何らかの適切な数のピクセルを含みうる。しかしながら、画像処理プロセッサ１２０は、輝点１３２がシーン１０２内のグリント１３４によって生じたもので、画像１１８内における望ましくない輝点１２８の１つであるかどうかを決定することができない。例えば、画像１１８内の輝点１３２の強度は、輝点１３２がシーン１０２内のグリント１３４によって生じたものかどうかを決定するために十分に高くない。その結果、画像処理プロセッサ１２０は、輝点１３２が望ましくない輝点１２８の１つであるか、又はシーン１０２内の任意の数のオブジェクト１１６の１つのフィーチャであるかを決定することができない。
【００４４】
このような実施例では、画像１１８の現在の形態は空間ドメイン１３６内にある。空間ドメイン１３６は、画像１１８の像空間である。具体的には、空間ドメイン１３６は、画像１１８のための二次元空間である。一実施例では、空間ドメイン１３６は、画像１１８のｘｙ座標系を用いて画定される。画像１１８のｘ座標は、画像１１８の水平方向を表し、ｙ座標は画像１１８の垂直方向を表わす。
【００４５】
画像処理プロセッサ１２０は、画像１１８を空間ドメイン１３６から周波数ドメイン１３８へ変換することにより、変換済み画像１４０を形成する。具体的には、画像処理プロセッサ１２０は、画像１１８のフーリエ変換（ＦＴ）１４２を演算して、画像１１８を空間ドメイン１３６から周波数ドメイン１３８へ変換することにより、変換済み画像１４０を形成する。このような実施例では、フーリエ変換１４２は、離散的フーリエ変換（ＤＦＴ）及び高速フーリエ変換（ＦＦＴ）から選択されたどちらか１つである。空間ドメイン１３６が２次元空間であるとき、フーリエ変換１４２も２次元フーリエ変換である。
【００４６】
このような実施例では、変換済み画像１４０は振幅成分１４４と位相成分１４６とを含む。振幅成分１４４は、画像１１８のフーリエ変換１４２の振幅を特定する。このような振幅はマグニチュードとも呼ばれる。位相成分１４６は、画像１１８のフーリエ変換１４２の位相を特定する。
【００４７】
振幅成分１４４は、例えば、振幅スペクトルによって表される。位相成分１４６は、例えば、位相スペクトルによって表される。振幅スペクトル及び位相スペクトルは、周波数に関してフーリエ変換１４２の振幅及び位相をそれぞれ座標に示す。
【００４８】
このような実施例では、変換済み画像１４０は画像１１８と同数のピクセルを有している。具体的には、変換済み画像１４０は、画像１１８と同じピクセルの寸法を有している。
【００４９】
変換済み画像１４０内の各ピクセルは、画像１１８内の異なる空間周波数１４８を表わす。画像１１８内の空間周波数１４８は、画像１１８内における隣接ピクセルに対するピクセルの値の変化率である。具体的には、空間周波数１４８は、画像１１８の特定の部分の、選択された距離１５０当たりのピクセルの強度の値に生じた変化の数と定義される。選択された距離１５０は、変換済み画像１４０に関する、例えば、ピクセル、ミリメートル、センチメートル、又は他の何らかの適切な距離の単位といった単位とすることができる。
【００５０】
このように、変換済み画像内での位置の変化は空間周波数１４８の変化に対応している。さらに、変換済み画像１４０内のピクセルの値は、ピクセルが示す特定の空間周波数１４８における、選択された距離１５０内での最も明るいグレイレベルと最も暗いグレイレベルとの差異を示す。選択された距離１５０内における最も明るいグレイレベルから最も暗いグレイレベルまでのこのような変化は、一区間又は一周期と呼ばれる。
【００５１】
例えば、１０ピクセル毎の一周期の空間周波数１４８を表わす変換済み画像１４０内のピクセルが２０という値を有する場合、１０ピクセル分の画像１１８内のピクセル強度の値は、最も明るいグレイレベルから最も暗いグレイレベルへと変化するか、又は最も暗いレベルから最も明るいグレイレベルへと変化する。さらに、最も明るいグレイレベルと最も暗いグレイレベルとのコントラストは、ピクセルの値の約２倍である。換言すると、このようなコントラストは、最も明るいグレイレベルと最も暗いグレイレベルとの間における約４０のグレイレベルである。
【００５２】
このような実施例では、画像１１８内の小さなフィーチャは、それよりも大きなフィーチャと比較して高い空間周波数を有する。その結果、画像１１８内の小さなフィーチャは、変換済み画像１４０において、画像１１８内のそれよりも大きなフィーチャと比較して高い周波数成分で表される。
【００５３】
換言すると、画像１１８内のこのような小さなフィーチャは、画像１１８内のそれよりも大きなフィーチャと比較したとき、変換済み画像１４０内の高い空間周波数に対応するピクセル内に現れ、画像１１８内の大きなフィーチャは、変換済み画像１４０内の低い空間周波数に対応するピクセル内に現れる。一実施例として、グリント１３１によって生じた画像１１８内の望ましくない輝点１２８は、画像１１８内において小さなフィーチャでありえ、変換済み画像１４０内において高い周波数成分内に現れる。
【００５４】
このような実施例では、画像処理プロセッサ１２０は、変換済み画像１４０にフィルタ１５２を適用することにより、周波数ドメイン１３８内にフィルタ済み画像１５４を形成する。フィルタ１５２は、例えば、限定しないが、非線型フィルタ、線形フィルタ、高周波通過フィルタ、及び／又は他の何らかの適切な種類のフィルタの形態をとることができる。
【００５５】
このような実施例では、フィルタ１５２は、画像１１８のフーリエ変換１４２の振幅成分１４４を、位相成分１４６を変化させることなく、変化させるように構成されている。具体的には、フィルタ１５２は、変換済み画像１４０の高周波成分の振幅を変化させる。
【００５６】
さらに詳細には、フィルタ１５２が変換済み画像１４０に適用されると、変換済み画像１４０内の高周波成分の振幅が、変換済み画像１４０内の低周波成分の振幅に対して増加する。換言すると、フィルタ済み画像１５４における高周波成分の振幅と低周波成分の振幅との比は、変換済み画像１４０における高周波成分の振幅と低周波成分の振幅との比と比べて低下する。
【００５７】
換言すると、変換済み画像１４０における高周波成分の振幅は、フィルタ済み画像１５４において増強されているので、このような高周波成分に対応する画像１１８内のフィーチャも増強される。具体的には、画像１１８内のグリント１３１によって生じる望ましくない輝点１２８に対応する高周波成分の振幅は、フィルタ済み画像１５４において増強される。
【００５８】
その後、画像処理プロセッサ１２０は、変換済み画像１４０の逆フーリエ変換１５５を演算することにより、周波数ドメイン１３８内の変換済み画像１４０を空間ドメイン１３６に戻す。このような変換により、修正済み画像１５６が形成される。具体的には、修正済み画像１５６における小さなフィーチャ、例えば、グリント１３１によって生じた望ましくない輝点１２８の強度は、画像１１８におけるこのようなフィーチャの強度より増加している。このように、グリント１３１によって生じた望ましくない輝点１２８を他のフィーチャから区別することは、画像１１８より修正済み画像１５６においてずっと容易である。
【００５９】
次いで、画像処理プロセッサ１２０は、修正済み画像１５６を用いて、グリント１３１によって生じた望ましくない輝点１２８を修正済み画像１５６から除去する。具体的には、画像処理プロセッサ１２０は、修正済み画像１５６内の望ましくない輝点１２８の位置１５８を特定し、次いで画像１１８内の位置１５８にある望ましくない輝点１２８を減らす、及び／又は除去する。このような実施例では、修正済み画像１５６から望ましくない輝点１２８を低減及び／又は除去することにより、処理済み画像１６０が形成される。このようにして、グリント１３１によって生じる望ましくない輝点１２８は抑制される。
【００６０】
画像処理プロセッサ１２０は、処理済み画像１６０を解析のために画像アナライザ１２２に送る。画像アナライザ１２２は、処理済み画像１６０を任意の数の異なる方法で解析することができる。例えば、画像アナライザ１２２は、処理済み画像１６０を使用して、任意の数のオブジェクト１１６の特徴１６２を識別することができる。任意の数のオブジェクト１１６の特徴１６２には、例えば、任意の数のオブネクト１１６のうちの１つのオブジェクトの、内部の不整合、縁の不整合、寸法の不整合、識別の不整合、及び／又は他の適切な種類の特徴の不整合が含まれる。
【００６１】
幾つかの実施例では、画像処理プロセッサ１２０及び画像アナライザ１２２は、ビークル検査システム１６４に実装される。ビークル検査システム１６４は、処理済み画像１６０を使用して、任意の数のオブジェクト１１６のうちのオブジェクト１６８に不整合１６６が存在するかどうかを決定するように構成されている。このような実施例では、オブジェクト１６８はビークルである。このような実施例では、オブジェクト１６８内の不整合は、オブジェクト１６８内において存在するはずのない、又は望ましくない、オブジェクト１６８内のフィーチャ又は特徴である。
【００６２】
不整合１６６を識別することは、任意の数の異なる方法で実行することができる。例えば、処理済み画像１６０を、データベース１７２に格納された画像１７０と比較することができる。画像１７０は、オブジェクト１６８の画像１１８の生成に先行して生成された、オブジェクト１６８の別の画像である。画像１７０との処理済み画像１６０のこのような比較を使用して、不整合１６６が存在するかどうかを決定することができる。
【００６３】
他の実施例では、画像処理プロセッサ１２０及び画像アナライザ１２２は、オブジェクト識別システム１７４に実装される。この種の実装態様では、画像アナライザ１２２は、画像１７０と処理済み画像１６０とを比較することにより、オブジェクト１６８の識別１７６を生成することができる。幾つかの事例では、処理済み画像１６０をデータベース１７２内に存在する複数の画像と比較することにより、オブジェクト１６８を識別することができる。
【００６４】
このような実施例では、ビークル検査システム１６４及び／又はオブジェクト識別システム１７４は、画像アナライザ１２２によって実行された処理済み画像１６０の解析結果を使用して、表示システム１２４上に表示を生成することができる。幾つかの実施例では、画像アナライザ１２２は、表示システム１２４上にオブジェクト１６８内の不整合１６６の表示を提供することができる。
【００６５】
他の実施例では、画像アナライザ１２２は、オブジェクト１６８内に不整合１６６が存在するかどうかの表示、オブジェクト１６８の特徴１６２の識別１７６、オブジェクト１６８の識別、及び／又は他の適切な情報を含むレポートを生成する。このレポートは、例えば、表示システム１２４上に表示される、クライアントにｅメールされる、データベースに格納される、及び／又は他の何らかの適切な方法で管理される。
【００６６】
さらに、実装態様に応じて、画像処理プロセッサ１２０及び／又は画像アナライザ１２２は、表示システム１２４上に画像を表示するように構成される。例えば、画像処理プロセッサ１２０及び／又は画像アナライザ１２２は、表示システム１２４上に、画像１１８及び／又は処理済み画像１６０のいずれかを表示することができる。
【００６７】
図１に示す画像処理環境１００は、有利な実施形態を実施できる方法に対する物理的又はアーキテクチャ的な制限を示唆することを意図していない。図示されたコンポーネントに加えて及び／又は代えて、他のコンポーネントを使用することができる。幾つかのコンポーネントは不必要になることもある。また、ブロックは、幾つかの機能的なコンポーネントを示すために提示されている。有利な実施形態において実施される場合、これらのブロックの一又は複数を、異なるブロックに統合及び／又は分割することができる。
【００６８】
例えば、幾つかの実施例では、画像アナライザ１２２及び画像処理プロセッサ１２０は異なる位置に配置されてもよい。例えば、画像処理プロセッサ１２０は、センサシステム１０４と同じプラットフォームに位置してもよく、画像アナライザ１２２は、センサシステム１０４から離れた他の何らかのプラットフォームに位置してもよい。他の実施例では、画像処理プロセッサ１２０及び画像アナライザ１２２は、コンピュータシステム１０５内の同じモジュール内に実装することができ。
【００６９】
さらに、ビークルとして説明されているが、オブジェクト１６８は、任意の数の異なる形態を取ることができる。例えば、オブジェクト１６８は、可動プラットフォーム、固定プラットフォーム、陸上ベース構造、水上ベース構造、宇宙ベース構造、航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、製造工場、建造物、外板パネル、エンジン、ガス配管系の一区間、及び他の適切なオブジェクトから選択された１つとすることができる。
【００７０】
次に図２を参照する。図２は、有利な一実施形態による画像処理プロセッサのブロック図である。この実施例では、画像処理プロセッサ２００は、図１の画像処理プロセッサ１２０の一実装態様の例である。図示のように、画像処理プロセッサ２００は、変換ユニット２０２、フィルタユニット２０４、逆変換ユニット２０６、閾値ユニット２０８、点拡がり関数推定器２１０、畳込みユニット２１２、及びフィーチャ除去ユニット２１４を含む。
【００７１】
この実施例では、変換ユニット２０２は、センサシステム（例えば、図１のセンサシステム１０４）から画像２１６を受け取る。この実施例では、画像２１６はパンクロ画像２１８の形態をとる。さらに、画像２１６は空間ドメイン２００内にある。空間ドメイン２２０は、画像２１６の二次元の像空間である。この実施例では、空間ドメイン２２０内の画像２１６は、関数、Ｈ（ｘ，ｙ）で表される。
【００７２】
画像２１６の関数、Ｈ（ｘ，ｙ）は、画像２１６内のピクセルのｘ，ｙ位置に対する同ピクセルの値を求めるための関数である。画像２１６内のピクセルは行と列とに構成されている。このような実施例では、ピクセルのｘ位置は特定の行を識別し、ｙ位置は特定の列を識別する。
【００７３】
輝点２２１が画像２１６内に現れる。輝点２２１は、画像２１６の、輝点２２１を取り囲む部分と比較して大きな強度を有する画像２１６内の小さなフィーチャである。輝点２２１の少なくとも一部は、画像２１６によって捕捉されたシーン内のグリントによって生じた輝点と、シーン内のオブジェクトのフィーチャである輝点とを区別するために十分に大きな強度を有さないことがある。画像処理プロセッサ２００は、このような区別を行うために画像２１６を処理する。
【００７４】
図示のように、変換ユニット２０２は、画像２１６を空間ドメイン２２０から周波数ドメイン２２２へ変換することにより、変換済み画像２２４を形成する。具体的には、変換ユニット２０２は、画像２１６のフーリエ変換（ＦＴ）２２６を演算することにより、変換済み画像２２４を形成する。画像２１６のフーリエ変換２２６は、関数、Ｈ（ｕ，ｖ）によって表される。画像２１６の関数、Ｈ（ｕ，ｖ）は、画像２１６の関数、Ｈ（ｘ，ｙ）を周波数ドメイン２２２に変換したものである。
【００７５】
このような実施例では、フィルタユニット２０４は、変換ユニット２０２から周波数ドメイン２２２内の変換済み画像２２４を受け取る。フィルタユニット２０４は、変換済み画像２２４に対してルートフィルタ２２８を適用することにより、フィルタ済み画像２３０を生成する。この実施例では、ルートフィルタ２２８は、パラメータ２３２、αを使用して、画像２１６のフーリエ変換２２６の振幅成分を、フーリエ変換２２６の位相成分を変化させることなく変化させる非線型フィルタである。
【００７６】
具体的には、パラメータ２３２、αは、０〜１の値を有する指数である。ルートフィルタ２２８は、フーリエ変換２２６の振幅成分をパラメータ２３２のパワーまで上昇させる。この操作は、フーリエ変換２２６の振幅成分のα番目のルートを取ることに相当する。換言すると、フィルタ済み画像２３０は、以下の等式によって表される。
Ｆ（ｕ，ｖ）＝｜Ｈ（ｕ，ｖ）｜ａ ｅｊθ（ｕ，ｖ） （１）
ここで、Ｆ（ｕ，ｖ）はフィルタ済み画像２３０を表しており、｜Ｈ（ｕ，ｖ）｜は画像２１６のフーリエ変換２２６の振幅成分であり、ｕは周波数ドメイン２２２内の周波数の水平成分であり、ｖは周波数ドメイン２２２内の周波数の垂直成分であり、αは０〜１のパラメータ２３２であり、ｅは指数関数であり、θは位相角であり、ｊは−１の平方根である。
【００７７】
パラメータ２３２の値αは、変換済み画像２２４の高周波成分の振幅が低周波成分の振幅より増加されるように選択される。具体的には、変換済み画像２２４の高周波成分の振幅を、変換済み画像２２４の低周波成分の振幅よりも大きな幅で増大させる。幾つかの事例では、変換済み画像２２４内において、高周波成分の振幅を低周波成分の振幅よりも小さな幅で低減させる。
【００７８】
フィルタユニット２０４によって生成されたフィルタ済み画像２３０は、逆変換ユニット２０６に送られる。逆変換ユニット２０６は、周波数ドメイン２２２内のフィルタ済み画像２３０の逆フーリエ変換２３４を演算することにより、フィルタ済み画像２３０を周波数ドメイン２２２から空間ドメイン２２０に戻して修正済み画像２３６の形態にする。
【００７９】
この実施例では、輝点２３８が修正済み画像２３６に現れる。輝点２３８は、画像２１６内の輝点２２１とほぼ同じである。空間ドメイン２２０における修正済み画像２３６内の輝点２３８は、画像２１６内の輝点２２１より大きな強度を有している。具体的には、輝点２３８は、画像２１６によって捕捉されたシーン内のグリントによって生じた輝点を、シーン内のオブジェクトのフィーチャである輝点から区別することができるような強度を有する。
【００８０】
図示のように、閾値ユニット２０８は、逆変換ユニット２０６から修正済み画像２３６を受け取る。閾値ユニット２０８は、修正済み画像２３６に閾値２４０、ＫＴ を適用する。具体的には、閾値２４０を修正済み画像２３６に適用すると、修正済み画像２３６内の、閾値２４０、ＫＴ 以下の値を有するピクセルは、概ねゼロ又は何らかの最小値の振幅を有するように設定され、修正済み画像２３６内の、閾値２４０、ＫＴ を上回る値を有するピクセルはそのままとされて、空間ドメイン２２０内に閾値適用画像２４２が形成される。
【００８１】
閾値２４０は、画像２１６に補足されたシーン内のグリントにより生じたすべての輝点２３８が識別可能となるように選択される。例えば、修正済み画像２３６内の、閾値２４０、ＫＴ を上回る値を有するピクセルは、輝点２３８のうちの一組の輝点２４４のピクセルである。本明細書で使用する「一組のアイテム」は、ゼロ個以上のアイテムを意味する。例えば、一組のアイテムは、場合によってはヌル値又は空の組でありうる。具体的には、一組の輝点２４４には、画像２１６に補足されたシーン内の輝点により生じうる輝点２３８のうちの輝点が含まれる。幾つかの実施例では、一組の輝点２４４は、一組のグリント点とも呼ばれる。
【００８２】
一組の輝点２４４は、閾値適用画像２４２内の一組の位置２４５に位置している。この実施例では、パラメータ２３２は、一組の輝点２４４のうちの１つの輝点が約１ピクセルの幅を有するように選択される。具体的には、パラメータ２３２は、一組の輝点２４４の中で最小の輝点が約１ピクセル以下を占めるように選択される。さらに、幾つかの実施例では、閾値ユニット２０８は、修正済み画像２３６に対して２つ以上の閾値を適用するように構成することができる。
【００８３】
畳込みユニット２１２は、画像２１６の点拡がり関数２４６を用いて閾値適用画像２４２を畳み込むことにより、空間ドメイン２２０内に畳込み済み画像２４８を生成するように構成される。この実施例では、点拡がり関数２４６は、点拡がり関数推定器２１０によって生成される。点拡がり関数２４６は、画像２１６を生成したセンサシステムの、点源又は点オブジェクトに対する応答を表している。
【００８４】
例えば、図１のシーン１０２内の点のフィーチャは、例えば、センサシステムとオブジェクトとの間の距離に基づいて、画像２１６内において約１ピクセルを占めるシーン内のオブジェクトのフィーチャである。しかしながら、画像２１６を生成するセンサシステムでは、この点のフィーチャが画像２１６内でぼやけ、その結果点のフィーチャが１ピクセル以上を占めることがある。点拡がり関数２４６は、点のフィーチャのこのようなぼけを表現している。換言すると、点拡がり関数２４６は、画像２１６を生成したシステムによる点のフィーチャのぼけを表現している。このような実施例では、点拡がり関数２４６は、ガウス関数、ｐ（ｘ，ｙ）の形態をとることができる。
【００８５】
一実施例では、点拡がり関数推定器２１０は、画像２１６を使用して点拡がり関数２４６を推定する。他の実施例では、点拡がり関数推定器２１０は、ユーザ入力、データベース、又は他の何らかの適切なソースから点拡がり関数２４６を取得することができる。例えば、画像２１６を生成したセンサシステムのパラメータは周知であり、センサシステムの点拡がり関数２４６は既に規定されている。
【００８６】
このような実施例では、畳込みユニット２１２は、閾値適用画像２４２を用いて点拡がり関数２４６を畳み込むことにより畳込み済み画像２４８を生成し、これが一組の輝点２４４の一組の位置２４５を推定することにより、最終的な輝点の組２５０に対する最終的な位置の組２５２を形成する。最終的な位置の組２５２に位置する最終的な輝点の組２５０は、画像２１６に対するグリントの寄与を推定する。
【００８７】
具体的には、最終的な位置の組２５２は、センサシステムによるぼけの影響を考慮する。換言すると、最終的な位置の組２５２は、画像２１６内の輝点２２１のうちの対応する輝点の位置に相当する位置である。推定される点拡がり関数２４６と、空間ドメイン２２０内の閾値適用画像２４２の関数との畳込みは、一方を反転させてシフトした後で、これら２つの関数の積を積分することである。
【００８８】
図示のように、フィーチャ除去ユニット２１４は、畳込み済み画像２４８を受け取るように構成されている。幾つかの実施例では、フィーチャ除去ユニット２１４が畳込み済み画像２４８を受け取る前に畳込み済み画像２４８に利得２５３を適用する。このような実施例では、利得２５３は、画像２１６を生成したセンサシステムの種類、画像２１６内の輝点に影響しうるシーン内のグリント、及び／又は他の適切な要因を説明するように選択される。
【００８９】
フィーチャ除去ユニット２１４は、画像２１６から畳込み済み画像２４８を減算する。換言すると、畳込み済み画像２４８内の最終的な輝点の組２５０の最終的な位置の組２５２に対応する画像２１６内の位置に位置する画像２１６の部分が、画像２１６から除去されて、処理済み画像２５６が形成される。このような除去は、画像２１６からの、望ましくないフィーチャ２５４の除去である。具体的には、このような除去は、画像２１６に補足されたシーン内のグリントにより生じる望ましくないフィーチャ２５４の除去である。
【００９０】
この実施例では、望ましくないフィーチャ２５４の除去は、最終的な輝点の組２５０の最終的な位置の組２５２に対応する位置に位置する画像２１６の部分のピクセル値を、ゼロ又はゼロ以外の何らかの最小値に設定することにより実行される。ゼロ以外の最小値は、画像２１６内の輝点２２１のうちの１つ点が、グリント以外の他の反射によって生じている可能性を考慮するように選択される。例えば、輝点は拡散反射によっても生じうる。
【００９１】
画像処理プロセッサ２００は、画像アナライザ（例えば、図１の画像アナライザ１２２）に処理済み画像２５６を送る。このようにして、望ましくないフィーチャ２５４がまだ存在している画像２１６ではなく、望ましくないフィーチャ２５４が除去された処理済み画像２５６に対して解析を行うことができる。処理済み画像２５６の解析は、画像２１６の解析より正確である。
【００９２】
図２に示す画像処理プロセッサ２００は、有利な実施形態を実施できる方法に対する物理的又はアーキテクチャ的な制限を示唆することを意図していない。このような実施例では、画像処理プロセッサ２００は、図示されたコンポーネントに加えて、及び／又は代えて、他の種類のコンポーネントを使用して実装されうる。さらに、図示された幾つかのコンポーネントを他のコンポーネントと組み合わせることができるか、又は機能を追加のコンポーネントにさらに分離することができる。
【００９３】
例えば、閾値ユニット２０８は、フィーチャ除去ユニット２１４の一部として実装することができる。幾つかの実施例では、変換ユニット２０２と逆変換ユニット２０６の両方によって実施される機能を実施する、双方向変換ユニットを設けてもよい。
【００９４】
図３は、有利な一実施形態によるパンクロ画像を示している。パンクロ画像３００は、図１の画像１０６及び図２のパンクロ画像２１８のうちの１つの一例である。パンクロ画像３００は、航空機の胴体の一区画の画像である。パンクロ画像３００は、グレイスケールの画像である。図示のように、輝点３０２がパンクロ画像３００内に存在する。輝点３０２の少なくとも一部は、パンクロ画像３００に補足されたシーン内のグリントにより生じている。輝点３０４は、少なくとも部分的にグリントにより生じている輝点３０２の１つの例である。輝点３０４は、パンクロ画像３００内の位置３０６に位置している。
【００９５】
図４は、有利な一実施形態による閾値適用画像を示している。閾値適用画像４００は、図２の閾値適用画像２４２の一実装態様の一例である。具体的には、閾値適用画像４００は、図２の画像処理プロセッサ２００によって図３のパンクロ画像３００を処理した後に図２の閾値ユニット２０８によって生成された画像の一例である。
【００９６】
図示のように、閾値適用画像４００は、ゼロ値を有するピクセル４０２と、非ゼロ値を有するピクセル４０４とを含む白黒画像である。非ゼロ値を有するピクセル４０４は、閾値適用画像４００内における、グリントによって生じた図３のパンクロ画像３００内の輝点３０２の部分の位置に対応する位置を特定する。
【００９７】
図５は、有利な一実施形態による処理済み画像を示している。処理済み画像５００は、図２の処理済み画像２５６の一実装態様の一例である。具体的には、処理済み画像５００は、図３のパンクロ画像３００を処理してパンクロ画像３００から望ましくないフィーチャを除去した後で図２の画像処理プロセッサ２００が生成した画像の一例である。このような望ましくないフィーチャは、グリントにより生じた図３のパンクロ画像３００内の輝点３０２部分である。
【００９８】
具体的には、パンクロ画像３００の点拡がり関数を用いて図４の閾値適用画像４００を畳み込むことにより、畳込み済み画像が形成される。このような畳込みは、図２の画像処理プロセッサ２００内の畳込みユニット２１２によって実行される。図２の画像処理プロセッサ２００内のフィーチャ除去ユニット２１４は、パンクロ画像３００から畳込み済み画像を減算する事により処理済み画像５００を生成する。図示のように、処理済み画像５００は、グレイスケールの画像である。
【００９９】
このような実施例では、処理済み画像５００内の位置５０２は、パンクロ画像３００内の位置３０６に対応している。処理済み画像５００に示すように、処理済み画像５００内における航空機の胴体区画からのグリントの影響は、位置５０２においてはぼほ除去されている。具体的には、パンクロ画像３００内の位置３０６と比較した場合、位置５０２におけるグリントの影響はほぼ除去されている。位置５０２内に残る輝度は、航空機の胴体区画からの拡散反射の影響である。
【０１００】
ここで図６を参照する。図６は、有利な一実施形態による振幅スペクトルを示している。この実施例では、プロット６００は、水平軸６０２と垂直軸６０４を有する。水平軸６０２は、１サンプル当たりの周期で示す空間周波数である。垂直軸６０４は振幅である。図示のように、プロット６００は振幅スペクトル６０６と振幅スペクトル６０８とを含む。
【０１０１】
振幅スペクトル６０６は、変換済み画像２２４（例えば、図２の変換済み画像２２４）の振幅成分の表現の一例である。振幅スペクトル６０８は、フィルタ済み画像（例えば、図２のフィルタ済み画像２３０）の振幅成分の表現の一例である。フィルタ済み画像は、変換済み画像２２４に図２のルートフィルタ２２８を適用した結果である。
【０１０２】
図示のように、振幅スペクトル６０６と振幅スペクトル６０８により、フィルタ済み画像２３０における低周波成分の振幅に対する高周波成分の振幅の比が、変換済み画像２２４における低周波成分の振幅に対する高周波成分の振幅の比より小さいことが示されている。換言すると、変換済み画像２２４にルートフィルタ２２８が適用されると、高周波成分の振幅が低周波成分の振幅と比較して増大する。この実施例では、ルートフィルタ２２８が適用されると、変換済み画像２２４のすべての周波数の振幅が低減する。
【０１０３】
次に図７を参照する。図７は、有利な一実施形態による、画像から望ましくないフィーチャを除去するプロセスのフロー図である。図７に示されたプロセスは、図１の画像処理環境１００で実施することができる。具体的には、種々の有利な実施形態の一又は複数を図１の画像処理プロセッサ１２０で実施することができる。加えて、特定の実装態様によっては、図１の画像アナライザ１２２を使用して幾つかの工程を実施することもできる。
【０１０４】
このプロセスは、センサシステムによって生成されたシーンの画像を受け取ることにより開始される（工程７００）。この実施例では、センサシステムは、パンクロ画像として画像を生成する任意の数のパンクロ画像センサを含む。この実施例では、シーンの画像は空間ドメインにおいて生成される。
【０１０５】
次に、プロセスは、画像を空間ドメインから周波数ドメインに変換することにより、変換済み画像を形成する（工程７０２）。具体的には、工程７０２では、プロセスは、空間ドメイン内の画像を周波数ドメイン内の変換済み画像に変換する画像のフーリエ変換を演算する。画像のフーリエ変換は、振幅成分と位相成分とを含む。さらに、この実施例では、フーリエ変換は、離散的フーリエ変換（ＤＦＴ）又は高速フーリエ変換（ＦＦＴ）とすることができる。
【０１０６】
次いで、プロセスは、変換済み画像にフィルタを適用することにより、周波数ドメイン内にフィルタ済み画像を形成する（工程７０４）。この実施例では、工程７０４のフィルタはルートフィルタである。具体的には、ルートフィルタは、フーリエ変換の位相成分の位相を変化させることなく、フーリエ変換の振幅成分の振幅を拡大縮小する。ルートフィルタは、フーリエ変換の振幅成分の振幅を非線形的に拡大縮小するように構成されている。
【０１０７】
その後、プロセスは、フィルタ済み画像を周波数ドメインから空間ドメインに戻すことにより、修正済み画像を形成する（工程７０６）。工程７０６では、フィルタ済み画像の逆フーリエ変換を演算することにより、周波数ドメイン内のフィルタ済み画像を空間ドメイン内の修正済み画像に変換する。シーン内のグリントにより生じた修正済み画像内のすべての望ましくないフィーチャの強度は、シーンの画像内の望ましくないフィーチャの強度より増大される。換言すると、修正済み画像内のすべての望ましくないフィーチャの強度は、センサシステムによって生成された画像内の望ましくないフィーチャの強度と比較した場合、画像の他の部分に対して増強される。
【０１０８】
次いで、プロセスは、修正済み画像に閾値を適用することにより、閾値適用画像を形成する（工程７０８）。工程７０８では、閾値を上回る値を有する修正済み画像内のピクセルが保持されて閾値適用画像が形成される。保持されるすべてのピクセルは、センサシステムによって検出されたシーン内のグリントにより生じた望ましくないフィーチャを含んでいる。具体的には、修正済み画像は、一組の輝点を含む。この輝点の組は、シーン内のグリントにより、センサシステムが生成する画像内に現れる小さなフィーチャに対応している。
【０１０９】
次に、プロセスは、画像の点拡がり関数を用いて修正済み画像を畳込むことにより、畳込み済み画像を形成する（工程７１０）。畳込み済み画像は、修正済み画像において識別された輝点の組に対応する一組の位置を示す。一組の位置は、センサシステムによって生成されるぼけの影響を考慮している。
【０１１０】
次いで、プロセスは、センサシステムによって生成された画像から畳込み済み画像を減算することにより、グリントによって生じたすべての望ましくないフィーチャを除去して処理済み画像を形成し（工程７１２）、その後終了する。工程７１２では、センサシステムによって生成された画像から畳込み済み画像を減算することにより、修正済み画像内の一組の輝点の一組の位置に対応する位置に位置している画像の部分がすべて除去される。
【０１１１】
次に図８を参照する。図８は、有利な実施形態による、画像解析プロセスのフロー図である。図８に示すプロセスは、図１の画像処理環境１００で実施することができる。具体的には、このプロセスは、図１の画像アナライザ１２２で実施される。
【０１１２】
プロセスは、処理済み画像を受け取ることにより開始される（工程８００）。この処理済み画像は、図７に記載の工程を用いて図１の画像処理プロセッサ１２０によって生成された画像である。具体的には、この処理済み画像は、図７の工程７１２において形成された処理済み画像でありうる。
【０１１３】
プロセスは、処理済み画像を解析して結果を生成する（工程８０２）。結果により画像内のオブジェクトに不整合の存在が示唆されるかどうかを決定する（工程８０４）。オブジェクトに不整合が存在する場合、プロセスは、不整合の存在の表示を生成し（工程８０６）、その後終了する。この表示は、表示装置上に提供されるか、ｅメールで送信されるか、データベースに格納されるか、又は他の何らかの適切な方法で処理される。
【０１１４】
工程８０４に戻り、オブジェクトに不整合が存在しない場合、プロセスは、この不整合の存在の表示を生成し（工程８０８）、その後終了する。
【０１１５】
工程８０２において実行される解析は、任意の数の異なる方法で実行することができる。例えば、解析は、処理済み画像に対して直接実行することができる。処理済み画像内のデータは、以前に撮像されたオブジェクトの他の画像と比較されてもよい。このような比較を使用して、オブジェクトに変化が生じたかどうかを決定することができる。このような変化は、オブジェクトに不整合が存在するかどうかを決定するために使用可能である。このような実施例では、不整合はオブジェクト内の望ましくない変化でありうる。
【０１１６】
次に図９を参照する。図９は、有利な実施形態による、画像解析プロセスのフロー図である。図９に示すプロセスは、図１の画像処理環境１００で実施することができる。具体的には、このプロセスは、図１の画像アナライザ１２２で実施される。
【０１１７】
プロセスは、処理済み画像を受け取ることにより開始される（工程９００）。この処理済み画像は、図７に記載の工程を用いて画像処理プロセッサ１２０によって生成された画像である。具体的には、この処理済み画像は、図７の工程７１２において形成された処理済み画像でありうる。
【０１１８】
プロセスは、次いで、処理済み画像を解析することにより画像内のオブジェクトを識別する（工程９０２）。この解析は、任意の数の異なる方法で実行することができる。例えば、以前の画像又は他のデータのデータベースを、処理済み画像内のデータとの比較として使用することができる。このような比較に基づいて、オブジェクトの識別を行うことができる。この識別により、特定のオブジェクトが識別されるか、又は画像内のオブジェクトが未知であることが示唆される。
【０１１９】
次いで、プロセスは、オブジェクトの識別の表示を生成し（工程９０４）、その後終了する。この表示は、例えば、オブジェクトを識別するレポートである。
【０１２０】
次に図１０を参照する。図１０は、有利な実施形態によるデータ処理システムを示している。このような実施例では、データ処理システム１０００を使用して、図１のコンピュータシステム１０５に含まれる一又は複数のコンピュータを実施することができる。この例示的な実施例では、データ処理システム１０００は通信フレームワーク１００２を含み、これによりプロセッサユニット１００４、メモリ１００６、固定記憶域１００８、通信ユニット１０１０、入出力（Ｉ／Ｏ）ユニット１０１２、及び表示ユニット１０１４の間の通信が行われる。
【０１２１】
プロセッサユニット１００４は、メモリ１００６にローディングされるソフトウェアに対する命令を実行するように働く。プロセッサユニット１００４は、特定の実装態様に応じて、任意の数のプロセッサ、マルチプロセッサコア、又は他の何らかの種類のプロセッサとすることができる。本明細書でアイテムに言及して「任意の数の」というとき、一又は複数のアイテムを意味する。さらに、プロセッサユニット１００４は、単一チップ上にメインプロセッサと二次プロセッサとが共存する任意の数の異種プロセッサシステムを使用して実施されてもよい。別の実施例では、プロセッサユニット１００４は同種のプロセッサを複数個含む対称型マルチプロセッサシステムであってもよい。
【０１２２】
メモリ１００６及び固定記憶域１００８は、記憶装置１０１６の例である。記憶装置は、情報を一時的に及び／又は恒久的に格納できる何らかのハードウェア部分であり、この情報には、例えば、限定されないが、データ、機能的形態のプログラムコード、及び／又はその他の適切な情報が含まれる。記憶装置１０１６は、このような実施例では、コンピュータで読込可能な記憶デバイスとも呼ばれる。このような実施例では、メモリ１００６は、例えば、ランダムアクセスメモリ又は他の何らかの適切な揮発性又は不揮発性の記憶装置であってもよい。固定記憶域１００８は、特定の実装態様に応じて様々な形態をとることができる。
【０１２３】
例えば、固定記憶域１００８は、一又は複数のコンポーネント又はデバイスを含みうる。例えば、固定記憶域１００８は、ハードドライブ、フラッシュメモリ、書換え形光ディスク、書換え可能磁気テープ、又はそれらの何らかの組み合わせである。固定記憶域１００８によって使用される媒体は、取り外し可能なものでもよい。例えば、取り外し可能なハードドライブを固定記憶域１００８に使用することができる。
【０１２４】
このような実施例では、通信ユニット１０１０は、他のデータ処理システム又はデバイスとの通信を行う。このような実施例では、通信ユニット１０１０はネットワークインターフェースカードである。通信ユニット１０１０は、物理的通信リンク及び無線の通信リンクのいずれか一方又は両方を使用することによって、通信を行うことができる。
【０１２５】
入出力ユニット１０１２により、データ処理システム１０００に接続可能な他のデバイスによるデータの入力及び出力が可能になる。例えば、入出力ユニット１０１２は、キーボード、マウス、及び／又は他の何らかの適切な入力装置を介してユーザ入力のための接続を提供することができる。さらに、入出力ユニット１０１２は、プリンタに出力を送ることができる。ディスプレイ１０１４は、ユーザに対して情報を表示する機構を提供する。
【０１２６】
オペレーティングシステム、アプリケーション、及び／又はプログラムに対する命令は、通信フレームワーク１００２を介してプロセッサユニット１００４と通信する記憶装置１０１６内に配置されうる。このような実施例では、命令は固定記憶域１００８上において機能的な形態になっている。これらの命令は、メモリ１００６にローディングされてプロセッサユニット１００４によって実行される。種々の実施形態のプロセスは、メモリ（例えば、メモリ１００６）に配置される、コンピュータで実施される命令を使用して、プロセッサユニット１００４によって実行されうる。
【０１２７】
これらの命令は、プログラムコード、コンピュータで使用可能なプログラムコード、又はコンピュータで読込可能なプログラムコードと呼ばれ、プロセッサユニット１００４内の１つのプロセッサによって読込まれて実行されうる。種々の実施形態のプログラムコードは、様々な物理的記憶媒体又はコンピュータで読込可能な記憶媒体（例えば、メモリ１００６又は固定記憶域１００８）上に具現化されうる。
【０１２８】
プログラムコード１０１８は、選択的に取り外し可能なコンピュータで読込可能な媒体１０２０上に機能的な形態で配置され、データ処理システム１０００にローディング又は転送されて、プロセッサユニット１００４によって実行される。プログラムコード１０１８及びコンピュータで読込可能な媒体１０２０は、このような実施例ではコンピュータプログラム製品１０２２を形成する。一実施例では、コンピュータで読込可能な媒体１０２０は、コンピュータで読込可能な記憶媒体１０２４又はコンピュータで読込可能な信号媒体１０２６である。
【０１２９】
コンピュータで読込可能な記憶媒体１０２４は、例えば、固定記憶域１００８の一部であるドライブ又は他のデバイスに挿入又は配置されて、固定記憶域１００８の一部である、ハードディスなどの記憶装置上に転送される光ディスク又は磁気ディスクなどを含みうる。コンピュータで読込可能な記憶媒体１０２４は、データ処理システム１０００に接続されているハードドライブ、サムドライブ、又はフラッシュメモリなどの固定記憶域の形態もとりうる。幾つかの例では、コンピュータで読込可能な記憶媒体１０２４は、データ処理システム１０００から着脱可能でなくともよい。
【０１３０】
このような実施例では、コンピュータで読込可能な記憶媒体１０２４は、プログラムコード１０１８を伝搬又は転送する媒体ではなくプログラムコード１０１８を保存するために使用される物理的な又は有形の記憶装置である。コンピュータで読込可能な記憶媒体１０２４は、コンピュータで読込可能な有形の記憶装置又はコンピュータで読込可能な物理的な記憶装置とも呼ばれる。換言すると、コンピュータで読込可能な記憶媒体１０２４は、人が触れることのできる媒体である。
【０１３１】
代替的に、プログラムコード１０１８は、コンピュータで読込可能な信号媒体１０２６を用いてデータ処理シスム１０００に転送可能である。コンピュータで読込可能な信号媒体１０２６は、例えば、プログラムコード１０１８を含む伝播されたデータ信号であってもよい。例えば、コンピュータで読込可能な信号媒体１０２６は、電磁信号、光信号、及び／又は他のいずれかの適切な種類の信号であってもよい。これらの信号は、無線通信リンク、光ファイバケーブル、同軸ケーブル、有線、及び／又は他のいずれかの適切な種類の通信リンクといった通信リンクによって転送される。換言すると、本発明の実施例では、通信リンク及び／又は接続は物理的なもの又は無線によるものでありうる。
【０１３２】
幾つかの有利な実施形態では、プログラムコード１０１８は、コンピュータで読込可能な信号媒体１０２６により他のデバイス又はデータ処理システムからネットワークを介して固定記憶域１００８にダウンロードされて、データ処理システム１０００内で使用される。例えば、サーバーデータ処理システムのコンピュータで読込可能な記憶媒体に格納されたプログラムコードは、ネットワークを介してサーバーからデータ処理システム１０００にダウンロードすることができる。プログラムコード１０１８を提供するデータ処理システムは、サーバーコンピュータ、クライアントコンピュータ、又はグラムコード１０１８を保存及び転送することができる他の何らかのデバイスであってもよい。
【０１３３】
データ処理システム１０００に例示されている種々のコンポーネントは、種々の実施形態を実施できる方法をアーキテクチャ的に制限するものではない。種々の有利な実施形態を、データ処理システム１０００に図解されているコンポーネントに追加の又はその代わりのコンポーネントを含むデータ処理システム内において実施することができる。図１０に示す他のコンポーネントは、図示の実施例から変更することができる。種々の実施形態は、プログラムコードを実行できる任意のハードウェアデバイス又はシステムを使用して実施することができる。一実施例として、データ処理システムは、無機コンポーネントと一体化した有機コンポーネントを含むことができる、及び／又は全体を人間を除く有機コンポーネントで構成することができる。例えば、記憶装置は、有機半導体で構成することができる。
【０１３４】
別の実施例では、プロセッサユニット１００４は、特定の用途のために製造又は構成された回路を有するハードウェアユニットの形態をとってもよい。この種のハードウェアは、工程を実行するように構成された記憶装置からメモリにプログラムコードをローディングする必要なく、工程を実施することができる。
【０１３５】
例えば、プロセッサユニット１００４がハードウェアユニットの形態をとる場合、プロセッサユニット１００４は、回路システム、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス、又は任意の数の工程を実行する他の何らかの適切な種類のハードウェアであってもよい。プログラマブルロジックデバイスの場合、このデバイスは任意の数の工程を実行する。このデバイスは、その後再構成することも、又は任意の数の工程を実行するように恒久的に構成することもできる。プログラマブルロジックデバイスの例には、例えば、プログラマブルロジックアレイ、フィールドプログラマブルロジックアレイ、フィールドプログラマブルゲートアレイ、及び他の適切なハードウェアデバイスが含まれる。この種の実装態様では、種々の実施形態のプロセスがハードウェア装置で実施されるため、プログラムコード１０１８は省略されてもよい。
【０１３６】
さらに別の実施例では、プロセッサユニット１００４は、コンピュータ及びハードウェアユニットの中に見出されるプロセッサの組み合わせを利用して実施することができる。プロセッサユニット１００４は、プログラムコード１０１８を実行するように構成された任意の数のハードウェアユニット及び任意の数のプロセッサを有することができる。この実施例では、プロセスの幾つかは、任意の数のハードウェアユニットにおいて実施することができ、他のプロセスは任意の数のプロセッサで実施することができる。
【０１３７】
別の実施例では、バスシステムは、通信フレームワーク１００２を実施するために使用することができ、システムバス又は入出力バスといった一又は複数のバスから構成することができる。言うまでもなく、バスシステムは、バスシステムに取り付けられた種々のコンポーネント又はデバイスの間でのデータ伝送を行う任意の適切な種類のアーキテクチャを使用して実施することができる。
【０１３８】
加えて、通信ユニットは、データの送信、データの受信、又はデータの送受信を行う任意の数のデバイスを含みうる。通信ユニットは、例えば、モデム又はネットワークアダプタ、２個のネットワークアダプタ、又はこれらの何らかの組み合わせであってもよい。さらに、メモリは、例えば、通信フレームワーク１００２内に存在することがあるインターフェース及びメモリコントローラハブに見られるような、メモリ１００６又はキャッシュであってもよい。
【０１３９】
したがって、種々の有利な実施形態により、グリントによって生じた望ましくないフィーチャを画像から除去するための方法と装置が提供される。種々の有利な実施形態では、望ましくないフィーチャとは、画像解析の困難性を増す、及び／又は画像解析にかかる時間を引き伸ばすフィーチャである。
【０１４０】
有利な一実施形態では、画像内の望ましくないフィーチャを除去する方法が提供される。画像を空間ドメインから周波数ドメインに変換することにより、変換済み画像を形成する。変換済み画像にフィルタを適用することにより、周波数ドメイン内にフィルタ済み画像を形成する。フィルタ済み画像を周波数ドメインから空間ドメインに戻すことにより、修正済み画像を形成する。修正済み画像における望ましくないフィーチャの強度は、元の画像内の望ましくないフィーチャの強度より増大している。修正済み画像を用いることにより、画像から望ましくないフィーチャを除去して処理済み画像を形成する。
【０１４１】
上述した種々の有利な実施形態の説明は、例示及び説明を目的とするものであり、完全な説明であること、又はこれらの実施形態を開示された形態に限定することを意図していない。当業者には、多数の修正例及び変形例が明らかであろう。さらに、種々の有利な実施形態は、他の有利な実施形態とは異なる利点を提供することができる。選択された一又は複数の実施形態は、実施形態の原理、実際の用途を最もよく説明するため、及び他の当業者に対し、様々な実施形態の開示内容と、考慮される特定の用途に適した様々な修正との理解を促すために選択及び記述されている。
【特許請求の範囲】
【請求項１】
画像内の望ましくないフィーチャ１２６を除去する方法であって、
画像を空間ドメイン１３６から周波数ドメイン１３８に変換することにより、変換済み画像１４０を形成するステップ、
変換済み画像１４０にフィルタ１５２を適用することにより、周波数ドメイン１３８内にフィルタ済み画像１５４を形成するステップ、
フィルタ済み画像１５４を周波数ドメイン１３８から空間ドメイン１３６に戻すことにより、修正済み画像１５６を形成するステップであって、修正済み画像１５６内の望ましくないフィーチャ１２６の強度が、元の画像内の望ましくないフィーチャ１２６の強度と比較して増大しているステップ、並びに
修正済み画像１５６を用いて画像から望ましくないフィーチャ１２６を除去することにより、処理済み画像１６０を形成するステップ
を含む方法。
【請求項２】
画像を空間ドメイン１３６から周波数ドメイン１３８に変換することにより、変換済み画像１４０を形成するステップが、
画像を空間ドメイン１３６から周波数ドメイン１３８内の変換済み画像１４０に変換する画像のフーリエ変換１４２を演算するステップ
を含む、請求項１に記載の方法。
【請求項３】
変換済み画像１４０にフィルタ１５２を適用することにより、周波数ドメイン１３８内にフィルタ済み画像１５４を形成するステップが、
画像のフーリエ変換１４２の位相成分１４６を変化させずに画像のフーリエ変換１４２の振幅成分１４４を変化させることにより、フィルタ済み画像１５４を形成するステップを含む、
請求項２に記載の方法。
【請求項４】
画像のフーリエ変換１４２の位相成分１４６を変化させずに画像のフーリエ変換１４２の振幅成分１４４を変化させることにより、フィルタ済み画像１５４を形成するステップが、
ルートフィルタ２２８を使用して、フーリエ変換１４２の位相成分１４６の位相に影響を与えることなく画像のフーリエ変換１４２の振幅成分１４４の振幅を拡大縮小することにより、フィルタ済み画像１５４を形成するステップであって、ルートフィルタ２２８が非線型的に振幅を拡大縮小するステップを含む、
請求項３に記載の方法。
【請求項５】
フィルタ済み画像１５４を周波数ドメイン１３８から空間ドメイン１３６に戻すことにより、修正済み画像１５６を形成するステップが、
フィルタ済み画像１５４を周波数ドメイン１３８から空間ドメイン１３６に変換するフィルタ済み画像１５４の逆フーリエ変換１４２を演算するステップであって、修正済み画像１５６内の望ましくないフィーチャ１２６の強度が、元の画像内の望ましくないフィーチャ１２６の強度と比較して増大するステップを含む、
請求項１に記載の方法。
【請求項６】
修正済み画像１５６を用いて画像から望ましくないフィーチャ１２６を除去することにより、処理済み画像１６０を形成するステップが、
修正済み画像１５６に閾値２４０を適用して、閾値２４０を上回る値を有する修正済み画像１５６内のピクセルを保持することにより、閾値適用画像２４２を形成するステップ、
修正済み画像１５６を、画像の点拡がり関数２４６を用いて畳込むことにより、畳込み済み画像を形成するステップであって、畳込み済み画像により、元の画像内の望ましくないフィーチャ１２６の第２の位置１５８に対応する畳込み画像内の望ましくないフィーチャ１２６の第１の位置１５８が示されるステップ、並びに
画像から畳込み済み画像２４８を減算することにより、処理済み画像１６０を形成するステップであって、画像内の望ましくないフィーチャ１２６の第２の位置１５８における画像部分が画像から除去されることにより、望ましくないフィーチャ１２６が除去されるステップ
を含む、請求項１に記載の方法。
【請求項７】
ビークル検査システムであって、
ビークルの画像１０６を生成するように構成されたセンサシステム１０４、
センサシステム１０４から画像を受け取り；画像を空間ドメイン１３６から周波数ドメイン１３８に変換することにより変換済み画像１４０を形成し；変換済み画像１４０にフィルタ１５２を適用することにより周波数ドメイン１３８内にフィルタ済み画像１５４を形成し；フィルタ済み画像１５４を周波数ドメイン１３８から空間ドメイン１３６に戻すことにより修正済み画像１５６を形成し、このとき修正済み画像１５６内の望ましくないフィーチャ１２６の強度が元の画像内の望ましくないフィーチャ１２６の強度と比較して増大しており；且つ処理済み画像１５６を用いて画像から望ましくないフィーチャ１２６を除去することにより処理済み画像１６０を形成するように構成された画像処理プロセッサ１２０、並びに
処理済み画像１６０を解析してビークル内に不整合が存在するかどうかを決定するように構成された画像アナライザ１２２
を備えるビークル検査システム。
【請求項８】
処理済み画像１６０を解析して不整合が存在するかどうかを決定するうえで、画像アナライザ１２２は、処理済み画像１６０をビークルの別の画像と比較することにより比較スペクトルを形成し；比較スペクトルを用いて不整合が存在するかどうかを決定する、請求項７に記載のビークル検査システム。
【請求項１】
画像内の望ましくないフィーチャ１２６を除去する方法であって、
画像を空間ドメイン１３６から周波数ドメイン１３８に変換することにより、変換済み画像１４０を形成するステップ、
変換済み画像１４０にフィルタ１５２を適用することにより、周波数ドメイン１３８内にフィルタ済み画像１５４を形成するステップ、
フィルタ済み画像１５４を周波数ドメイン１３８から空間ドメイン１３６に戻すことにより、修正済み画像１５６を形成するステップであって、修正済み画像１５６内の望ましくないフィーチャ１２６の強度が、元の画像内の望ましくないフィーチャ１２６の強度と比較して増大しているステップ、並びに
修正済み画像１５６を用いて画像から望ましくないフィーチャ１２６を除去することにより、処理済み画像１６０を形成するステップ
を含む方法。
【請求項２】
画像を空間ドメイン１３６から周波数ドメイン１３８に変換することにより、変換済み画像１４０を形成するステップが、
画像を空間ドメイン１３６から周波数ドメイン１３８内の変換済み画像１４０に変換する画像のフーリエ変換１４２を演算するステップ
を含む、請求項１に記載の方法。
【請求項３】
変換済み画像１４０にフィルタ１５２を適用することにより、周波数ドメイン１３８内にフィルタ済み画像１５４を形成するステップが、
画像のフーリエ変換１４２の位相成分１４６を変化させずに画像のフーリエ変換１４２の振幅成分１４４を変化させることにより、フィルタ済み画像１５４を形成するステップを含む、
請求項２に記載の方法。
【請求項４】
画像のフーリエ変換１４２の位相成分１４６を変化させずに画像のフーリエ変換１４２の振幅成分１４４を変化させることにより、フィルタ済み画像１５４を形成するステップが、
ルートフィルタ２２８を使用して、フーリエ変換１４２の位相成分１４６の位相に影響を与えることなく画像のフーリエ変換１４２の振幅成分１４４の振幅を拡大縮小することにより、フィルタ済み画像１５４を形成するステップであって、ルートフィルタ２２８が非線型的に振幅を拡大縮小するステップを含む、
請求項３に記載の方法。
【請求項５】
フィルタ済み画像１５４を周波数ドメイン１３８から空間ドメイン１３６に戻すことにより、修正済み画像１５６を形成するステップが、
フィルタ済み画像１５４を周波数ドメイン１３８から空間ドメイン１３６に変換するフィルタ済み画像１５４の逆フーリエ変換１４２を演算するステップであって、修正済み画像１５６内の望ましくないフィーチャ１２６の強度が、元の画像内の望ましくないフィーチャ１２６の強度と比較して増大するステップを含む、
請求項１に記載の方法。
【請求項６】
修正済み画像１５６を用いて画像から望ましくないフィーチャ１２６を除去することにより、処理済み画像１６０を形成するステップが、
修正済み画像１５６に閾値２４０を適用して、閾値２４０を上回る値を有する修正済み画像１５６内のピクセルを保持することにより、閾値適用画像２４２を形成するステップ、
修正済み画像１５６を、画像の点拡がり関数２４６を用いて畳込むことにより、畳込み済み画像を形成するステップであって、畳込み済み画像により、元の画像内の望ましくないフィーチャ１２６の第２の位置１５８に対応する畳込み画像内の望ましくないフィーチャ１２６の第１の位置１５８が示されるステップ、並びに
画像から畳込み済み画像２４８を減算することにより、処理済み画像１６０を形成するステップであって、画像内の望ましくないフィーチャ１２６の第２の位置１５８における画像部分が画像から除去されることにより、望ましくないフィーチャ１２６が除去されるステップ
を含む、請求項１に記載の方法。
【請求項７】
ビークル検査システムであって、
ビークルの画像１０６を生成するように構成されたセンサシステム１０４、
センサシステム１０４から画像を受け取り；画像を空間ドメイン１３６から周波数ドメイン１３８に変換することにより変換済み画像１４０を形成し；変換済み画像１４０にフィルタ１５２を適用することにより周波数ドメイン１３８内にフィルタ済み画像１５４を形成し；フィルタ済み画像１５４を周波数ドメイン１３８から空間ドメイン１３６に戻すことにより修正済み画像１５６を形成し、このとき修正済み画像１５６内の望ましくないフィーチャ１２６の強度が元の画像内の望ましくないフィーチャ１２６の強度と比較して増大しており；且つ処理済み画像１５６を用いて画像から望ましくないフィーチャ１２６を除去することにより処理済み画像１６０を形成するように構成された画像処理プロセッサ１２０、並びに
処理済み画像１６０を解析してビークル内に不整合が存在するかどうかを決定するように構成された画像アナライザ１２２
を備えるビークル検査システム。
【請求項８】
処理済み画像１６０を解析して不整合が存在するかどうかを決定するうえで、画像アナライザ１２２は、処理済み画像１６０をビークルの別の画像と比較することにより比較スペクトルを形成し；比較スペクトルを用いて不整合が存在するかどうかを決定する、請求項７に記載のビークル検査システム。
【図１】
【図２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図３】
【図４】
【図５】
【図２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−６９２８８（Ｐ２０１３−６９２８８Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２０７８７９（Ｐ２０１２−２０７８７９）
【出願日】平成２４年９月２１日（２０１２．９．２１）
【出願人】（５００５２０７４３）ザ・ボーイング・カンパニー (773)
【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１２−２０７８７９（Ｐ２０１２−２０７８７９）
【出願日】平成２４年９月２１日（２０１２．９．２１）
【出願人】（５００５２０７４３）ザ・ボーイング・カンパニー (773)
【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ
【Ｆターム（参考）】
[ Back to top ]