画像処理プロセッサ
【課題】画像処理プロセッサを形成するためのシステムと手法を提供する。
【解決手段】 画像処理システムは、目標画像生成要素と、当該目標画像生成要素に連なる歪曲画像算出要素と、当該歪曲画像算出要素に連なる偏心推定器と、前記歪曲画像算出要素に連なる偏心補償器と、当該偏心補償器に連なる歪曲中心窩画像モデラーと、偏心補償器に連なるログポーラ画像生成器と、前記偏心補償器に連なり、信頼性の低い特徴を除去する特徴除去器とを含む。前記システムを形成するための手法も記載される。
【解決手段】 画像処理システムは、目標画像生成要素と、当該目標画像生成要素に連なる歪曲画像算出要素と、当該歪曲画像算出要素に連なる偏心推定器と、前記歪曲画像算出要素に連なる偏心補償器と、当該偏心補償器に連なる歪曲中心窩画像モデラーと、偏心補償器に連なるログポーラ画像生成器と、前記偏心補償器に連なり、信頼性の低い特徴を除去する特徴除去器とを含む。前記システムを形成するための手法も記載される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に信号処理装置に関し、特に、光学的な画像処理プロセッサに関する。
【背景技術】
【０００２】
ログポーラマッピングは、霊長類の視覚系の大脳マッピングの解析的定式化による生物学的な知見によるものであり、データ数を劇的に減少させるだけなく、回転・拡大縮小不変（ＲＳ不変）の性質を付与するための手法として存在する。それは、回転と拡大縮小を直交２軸方向の移動に変換する。この性質は、カメラがその視線方向を変えるためにモータによって制御されるアクティブビジョンシステムに利用できる。つまり、このようなシステムでは、回転・拡大縮小・移動不変（ＲＳＴ不変）の画像マッチングを行うためにログポーラ画像を利用し、この際、目標へのカメラの注視位置の制御を移動と等価とみなす。ログポーラ画像を得るために、特殊なＣＣＤやＣＭＯＳログポーラチップ等、視野の周辺に行くに従って受光素子の結合サイズが大きくなる網膜状の中心窩センサがある。この中心窩センサは、画像マッチングを目的としたアクティブ視覚センサに組み込まれてきた。別の中心窩センサとしては、幾何学的に投影像を歪曲させてログポーラ画像を獲得する広角中心窩レンズがある。
【０００３】
広角中心窩（ＷＡＦ）レンズのような、投影像を幾何学的に歪曲させる特殊光学系が存在する。この特殊レンズは、受光素子が一様に配置された市販の線形な座標系を有するビジョンチップと組み合わされる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示の実施態様は、画像処理プロセッサを製作するためのシステムと手法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
簡潔に述べると、構造的に、システムの一例及び他の例は、以下の通りに実施可能である。
【０００６】
画像処理システムは、目標画像処理要素と、当該目標画像処理要素に連なる歪曲画像算出要素と、当該歪曲画像算出要素に連なる偏心推定器と、前記歪曲画像算出要素に連なる偏心補償器と、当該偏心補償器に連なる歪曲中心窩画像モデラーと、前記偏心補償器に連なるログポーラ画像生成器と、前記偏心補償器に連なり、信頼性の低い特徴を除去する特徴除去器とを含むことが好ましい。
【０００７】
本開示は、画像処理方法の提供とみることもできる。当該方法は、目標画像を提供し、当該目標画像から歪曲画像を算出し、前記目標画像と前記歪曲画像との間の偏心度を推定し、前記目標画像と前記歪曲画像と間の偏心度を補償し、歪曲中心窩画像をモデリングし、ログポーラ画像を生成し、信頼性の低い特徴を除去することを含むと良い。
【０００８】
本発明における他のシステム、方法、特徴、及び効果は、以下の図面と発明の詳細な説明により、本技術分野における通常の技術を有する者に対して明らか、或いは、明らかにされる。本明細書に含まれる全ての付加的システム、方法、特徴及び効果は、本開示の範囲内にあり、付随する請求の範囲により保護される。
【図面の簡単な説明】
【０００９】
本開示の多くの態様は、以下の図面を参照すると容易に理解可能である。図面中の構成要素は、必ずしも本発明の原理をはっきりと図示することや、それを強調するものではない。更に、図面中において言及されている数値は、幾つかの図の至る所で対応部分を指定している。
【００１０】
【図１】本開示の実施例における画像の座標系の説明図である。
【図２】改良した広角中心窩（ＡｄＷＡＦ）画像と線形な座標系を有する画像とを説明するための図である。
【図３】（ａ）から（ｆ）は、一部における各画像を説明するための図であり、（ａ）は、目標画像（Ｉ）であり、（ｂ）は、歪曲中心窩画像（ＤＦ）であり、（ｃ）は、極画像Ｐ１であり、（ｄ）は、極画像Ｐ２であり、（ｅ）は、補償ログポーラ画像（ＣＬＰ）であり、（ｆ）は、非歪曲中心窩画像（ＵＤＦ）であり、左からそれぞれ、偏心度θε＝０（°）、１８．６９（°）、３４．０８（°）である。
【図４】モデルログポーラ画像（ＬＰ）とログポーラ画像の座標系を説明するための図である。
【図５】θεに対するＰ１、Ｐ２、ＣＬＰ間の平均二乗平方根誤差（ＲＭＳＥ）Ｅを説明するための図である。
【図６】画像ＣＬＰの離散化誤差Δη（左）、Δξ（右）の分布を説明するための図である。
【図７】白色ガウス雑音（ＷＧＮ）がある場合の信頼性の低い特徴の除去（ＵＦＯ）前後のＲＭＳＥを説明するための図である。
【図８】調節変数Ｍｆが変化したときのＲＭＳＥを説明するための図である。
【図９】（ａ）から（ｉ）は、左からそれぞれ、θε＝０（°）、１８．６９（°）、３４．０８（°）となる場合のＵＦＯ前後の画像ＣＬＰを説明するための図である。
【図１０】（ａ）、（ｂ）は、射影ｆＣＦによる画像ＣＦを説明するための図である。
【図１１】空間解像度が非一様な画像からのＲＳＴ不変の特徴を獲得するためのフローチャートである。
【図１２】ＦＭＴの処理の流れを説明するための図である。
【図１３】Ｎη×Ｎξ＝２５６×１２８、１２８×６４、６４×３２のときの再構成画像ｆｒｅとｆｍ_ｒｅの間のＲＭＳＥを説明するための図である。
【図１４】ｆｍ_ｒｅからのＵＤＦ、Ｕ、ＵＤＦのｆｒｅ、ＵのｆｒｅのＲＭＳＥを説明するための図である。
【図１５】（ａ）から（ｆ）は、左からそれぞれ、θε＝０（°）、１８．６９（°）、３４．０８（°）となる場合のＵＤＦ、Ｕ、ＵＤＦのｆｒｅ、Ｕのｆｒｅを説明するための図である。
【図１６】本開示の手法のフローチャートである。
【図１７】本開示のシステムの代表実施例のブロックダイアグラムである。
【発明を実施するための形態】
【００１１】
本開示は、画像処理プロセッサを作成するためのシステムと方法に関する。
【００１２】
当該技術分野における通常の技術を有する者が理解するように、ブロックに入る矢印や記号は入力を示し、ブロックから出る矢印や記号は出力を示す。同様に、以下に記述される接続は、電気、光学、放射線及び磁気等を含むあらゆる電磁的なものを適用できる。
【００１３】
本開示は、回転・拡大縮小・移動不変の特徴から画像や信号が抽出されることをについて説明する。
【００１４】
１．偏心補償器
Ａ．広角歪曲中心窩画像の算出
【００１５】
図１は、本開示の実施例における画像の座標系を表している。歪曲中心窩（ＤＦ）画像は、目標画像Ｉから算出される。前記ＤＦは、中心窩センサからの入力画像をシミュレートしている。以下の定義は、前記画像Ｉがφε方向で偏心度θεを有する物面上に存在すると仮定している。つまり、図１に示されるように、前記θεは、光軸と、光学中心から目標画像中心への直線との間の角度である。また、目標画像中心は、画像Ｉの原点である。画像Ｉの離散座標（ｘｄ，ｙｄ）は、画素サイズ（δｘ，δｙ）を用い、連続座標（ｘ，ｙ）から算出される。
【数１】
【００１６】
点（ｘ，ｙ）から光学中心Ｏｃへの方向（θ，φ）は、式（２）で表される。
【数２】
ここで、Ｌは光学中心から物面への距離であり、ε は物面上の偏心位置である。
【数３】
【００１７】
画像ＤＦの連続座標（ｘ’，ｙ’）は、以下のように表される。
【数４】
【００１８】
ここで、ｒ（θ）は、入射角度θに対する像高を示しており、当該像高は、中心窩モデルによって決定される。また、α１は、画像の拡大率であり、（θε，φε）は、目標画像中心から光学中心への方向を示している。このように，座標系（ｘ’，ｙ’）の原点は、前記方向（θε，φε）に対応している。画像ＤＦの離散座標（ｘ’ｄ，ｙ’ｄ）は、画素サイズ（δ’ｘ，δ’ｙ）により、前記（ｘ’，ｙ’）から算出される。
【数５】
【００１９】
本開示では、ログポーラ画像を得ることができる前記画像ＤＦを算出するために、改良広角中心窩（ＡｄＷＡＦ）モデルのような中心窩モデルを使用している。ＡｄＷＡＦモデルは、線形な座標と対数座標の両方を平面投影と球面投影で用いている。視野（ＦＯＶ）は、４つの領域、すなわち、中心窩（０≦θ≦θ０）、傍中心窩（θ０≦θ≦θ１）、近周辺視野（θ１≦θ≦θ２）、及び周辺視野（θ２≦θ≦θｍａｘ）に分割される。図２では、シミュレートされたＡｄＷＡＦ画像と、はピンホールカメラ（ＰＨＣ）線形な座標系を有するレンズモデルによる画像とを比較している。図２において、ＦＯＶの境界線、すなわち、θ０、θ１、θ２、θｍａｘは、それぞれ、９．８２６（°）、１９．１０７（°）、３４．７１５（°）、６０．０（°）である。ここでは、各境界線を見易くするために輝度が変更されている。ＡｄＷＡＦモデルの像高ｒ（θ）は、以下のように定義される。
【００２０】
ＡｄＷＡＦモデル：
【数６】
【００２１】
ここで、ｒｍａｘは、θ＝θｍａｘのときの最大像高であり、ｃｉ（ｉ＝０，１，２，３）は、像高を調節するためのスケール調整係数である。ｄｉ（ｉ＝１，２，３）は、像高と拡大率の連続性により算出される。
【００２２】
ＰＨＣレンズ：
【数７】
【００２３】
Ｂ．補償ログポーラ画像のモデリング
【００２４】
図３に示されるように、前記画像ＤＦは大きく歪曲している。非歪曲中心窩画像ＵＤＦの連続座標（ｘ’’，ｙ’’）（すなわち、線形な座標を有する）は、式（１２）によって計算される。前記（ｘ’’，ｙ’’）の原点は、画像Ｉの原点に対応する。
【数８】
【００２５】
ここで、α２は拡大率である。前記画像ＵＤＦの離散座標（ｘ’’ｄ，ｙ’’ｄ）は、画素サイズ（δ’’ｘ，δ’’ｙ）により、前記（ｘ’’，ｙ’’）から算出される。
【数９】
【００２６】
ここで、（δ’’ｘ，δ’’ｙ）は、ここでの画像の画素サイズである。
【００２７】
補償ログポーラ画像ＣＬＰ（すなわち、偏心により引き起こされた歪みを補正した後に再マッピングされた画像）の連続座標（η，ξ）は、式（１４）により、前記座標（ｘ’’，ｙ’’）から計算される。
【数１０】
【００２８】
ここで、ｒ０は、前記ログポーラ画像が始まる半径であり、α３は前記画像の拡大率であり、Θは、次のように定義される。
【数１１】
【００２９】
ここで、Ｌ’’＝α２Ｌである。前記ＣＬＰの離散座標（ηｄ，ξｄ）は、
【数１２】
【００３０】
ここで、（δη，δξ）は、極画像の画素サイズであり、ηｄの最大の整数は0とされる。すなわち、離散値ηｄは、０≦η≦２πに対応する。
【００３１】
補償中心窩画像ＣＦのデカルト座標（ｘ’’’，ｙ’’’）は、次のように表される。
【数１３】
【００３２】
ここで、α４は前記画像の拡大率であり、前記画像ＣＦの離散座標は、
【数１４】
【００３３】
ここで、（δ’’’ｘ，δ’’’ｙ）は、ここでの画像の画素サイズである。
【００３４】
Ｃ．離散空間における画像シミュレータ
【００３５】
離散空間において、本提案の補償器の画像シミュレータは、以下の２つの写像ｆとｆＣＬＰを用いて前記画像ＣＬＰを出力する。
【数１５】
【００３６】
ここで、Ｎは集合Ｓの元の数であり、座標（ｘ’ｄ，ｙ’ｄ）は対応する座標（ｘｄｉ，ｙｄｉ）
【数１６】
から、式（１）から（５）を用いて算出される。なお、Ｎは、各座標（ｘ’ｄ，ｙ’ｄ）において一定ではない。
【数１７】
【００３７】
ここで、ＮＣＬＰは集合ＳＣＬＰの元の数であり、（ηｄ，ξｄ）は、対応する座標（ｘ’ｄｉ，ｙ’ｄｉ）
【数１８】
から算出される。
【００３８】
写像ｆは中心窩マッピングであり、ｆＣＬＰは大脳マッピングの一種である。なお、本提案の画像処理シミュレータは、対応するＮ個の点から各点の輝度をも算出するようになっている。
【００３９】
Ｄ．評価
以下のシミュレーションとして、中心窩と傍中心窩の間の境界線は、前記ＡｄＷＡＦモデルを用い、
【数１９】
により定義される。図３（ａ）は、５１２×５１２（ｐｉｘｅｌｓ）の目標画像Ｉを示している。また、図３（ｂ）は、写像ｆを用いて画像Ｉからシミュレートされた１２８×１２８（ｐｉｘｅｌｓ）の歪曲中心窩画像ＤＦを示している。ここでは、３通りの偏心度、すなわち、θε＝０（°）、１８．６９（°）、３４．０８（°）（δ＝δＸ＝δＹ，φε＝０の条件で）について、前記ＡｄＷＡＦモデルでｒｍａｘ＝３６（ｐｉｘｅｌｓ）としている。前記補償器をテストするために、図３（ｃ）と（ｄ）において、それぞれ、１２８×６４（ｐｉｘｅｌｓ）の２種類の極画像Ｐ１とＰ２が比較のために用いられている。前記Ｐ１は、画像ＤＦの原点周りの極座標（ｒ’，φ’）を有している。前記画像Ｐ１は、 画像ＤＦ上の中心窩センサの光軸周りの極座標（ｒ（θ），φ）を有している。図３（ｅ）は、θ１＝９．８２６（°）、θ２＝１９．１０７（°）のときの式（７）による傍中心窩に対応する１２８×６４（ｐｉｘｅｌｓ）の補償ログポーラ画像ＣＬＰを表している．画像ＣＬＰの空間解像度は放射相称に分布しないが、前記補償器は、各偏心度θεにおいて、ログポーラ画像の変形を補正している。この比較は、中心窩レンズやログポーラチップのような中心窩センサの実利用を想定している点に注目すべきである。特に、前記画像Ｐ２の場合、アクティブビジョンにおける注視位置の誤差を示している。前記補償器の働きをより理解するために、非歪曲中心窩画像ＵＤＦも図３（ｆ）に示されている。前記ＵＤＦの空間解像度は、偏心度が大きくなるにつれて減少するだけでなく、空間に対して非一様となる。
【００４０】
前記画像ＣＬＰは、画像Ｉから獲得されたモデルログポーラ画像ＬＰからの平均二乗平方根誤差（ＲＭＳＥ）用いて評価される（図４）。前記ＲＭＳＥ「Ｅ」は、次のように表される。
【数２０】
ここで、ＮηとＮξは、前記ログポーラ画像のサイズを表している。
【００４１】
図５は、φε ＝０のときにおける極画像Ｐ１（破線）、Ｐ２（点線）、前記ＣＬＰ（実線）との間の偏心度θεに対するＲＭＳＥの比較を示している。画像ＣＬＰのＲＭＳＥは、すべての入射角度で極画像Ｐ１、Ｐ２よりも小さく、徐々に増加する。このことは、前記補償器が、前記画像Ｐ１、Ｐ２に比べ、歪みをより良く補正できることを意味している。しかしながら、前記画像ＣＬＰのより多くのピクセルの輝度は、低解像度部分（例えば、画像ＤＦの周辺視野）から決定されるので、偏心度が増すに従ってＲＭＳＥは増加する。前記画像ＣＬＰのＲＭＳＥは、偏心度３４。０８（°）以内で、最大２．５４（％）の変化に留まっている。
【００４２】
前記画像Ｉのような一様な解像度を有する画像から獲得されたログポーラ画像は、本質的に空間で一様ではない。ところが、その解像度は、放射相称に変化する（つまり、η方向には変化せずに、ξ方向のみに変化する）。ノイズを除去するため、空間解像度が非一様となる画像にローパスフィルタが用いられるとき、ノイズだけでなく必要な情報までがオリジナル画像から失われる。加えて、偏心があるとき、画像ＣＬＰの空間解像度は、前記空間で非一様なだけでなく放射非相称となる。図６は、画像ＣＬＰの離散化誤差Δη、Δξの分布を示している。これは、θε＝０（°）、１８．６９（°）、３４．０８（°）（φε＝０）のときのη方向及びξ方向の空間解像度を意味する。前記誤差Δη、Δξは、画像ＤＦの半径方向と円周方向の離散化誤差Δθ、Δφからそれぞれ算出される。これらは次のように定義される。
【数２１】
【００４３】
２．信頼性の低い特徴の除去器
Ａ．定義
【００４４】
信頼性の低い特徴を有する特徴除去器（ＵＦＯ）について、以下に記載する。前記画像ＣＬＰが前記画像ＤＦの低解像度部分からアップサンプリングされると（サンプリング定義を満たさずに）、エイリアスがノイズとして発生する。このノイズは、ある周波数成分以上に現れる。前記ＵＦＯは、離散ウェーブレット変換（ＤＷＴ）を用いてこのような成分を除去する。ＤＷＴは、空間非一様な解像度を有する画像から局所ノイズを低減するために適しているからである。ＵＦＯは、前述したように、偏心により引き起こされた放射非相称で空間非一様な解像度に適用可能である。前記ＵＦＯは次のように定義される。
【００４５】
１）前記画像ＣＬＰのＤＷＴをωとすると、その係数は、ωｃｊｋ，ｉで表される。ここで、ｊは解像度レベル、ｃは、それぞれ、対角成分ｄ，水平成分ｈ，垂直成分ｖを表す。
【００４６】
２）各係数ωｃｊｋ，ｉに対応する画像の中の点が、ｃ＝ｄ、ｈ、ｖの各場合で、それぞれ、
【数２２】
の条件を満たすならば、ウェーブレット係数の行列ｖを決定するために、その係数を切り捨てる（０にする）。
【数２３】
【００４７】
ここで、Ｍｆは、サブピクセルオーダーで離散化誤差の精度を調節するパラメータである。ｍとｎは、解像度レベルｊにより決定される整数である。
【００４８】
３）ｖの逆離散ウェーブレット変換（ＩＤＷＴ）により画像Ｕを定義する。
【００４９】
Ｂ．評価
【００５０】
前記画像ＣＬＰは、白色ガウス雑音（ＷＧＮ）ｅが前記画像ＤＦに加えられたとき、
【数２４】
のように表される。図７は、φε＝０のときの偏心度θεに対するＲＭＳＥ、すなわち、ＵＦＯ前の画像のＲＭＳＥ（破線）、ＨａａｒウェーブレットによるＵＦＯ後の前記画像ＵのＲＭＳＥ（実線）、及びＤａｕｂｅｃｈｉｅｓ（７，９）の双対ウェーブレットによるＵＦＯ後の画像ＵのＲＭＳＥ（円付実線）を示している（ＲＭＳＥは前記画像ＬＰから算出される）。このシミュレーションでは、Ｎη＝２Ｎη＝１２８、Ｍｆ＝１．０の条件が用いられている。図７（ａ）、（ｂ）、（ｃ）は、前記ＷＧＮが、それぞれ、０（％）５（％）１０（％）の場合を示している。前記ＲＭＳＥは、１００回の繰返しの平均値として算出される。結果として、Ｄａｕｂｅｃｈｉｅｓ（７，９）のウェーブレットによるＵＦＯがＲＭＳＥを減少させる。前記ＷＧＮが加えられていない場合でさえ、偏心度が３４．０８（°）以内のとき、ＲＭＳＥは最大０．４０（％）低減する。この結果は、ＵＦＯが、空間解像度が非一様となる画像の固有の解像度に基づき、オリジナル信号とノイズを局所的に分離するのに有効に作用することを意味する。ＵＦＯは、ＷＧＮが大きくなるに従い大きくＲＭＳＥを大きく減少させる。これは、ＵＦＯの望ましい性質である。
【００５１】
Ｈａａｒウェーブレットの場合、ＷＧＮが０（％）のとき、ＵＦＯ後のＲＭＳＥは、ＵＦＯ前に比べて僅かに大きい。このことは、ＵＦＯにより除去された高いレベルの係数には、ノイズだけでなく原信号の一部も含まれることを意味する。これは、以下の２つの理由が考えられる。１つ目は、前記誤差Δη、Δξの分布は、単なる２の累乗のピラミッドを用いるので十分に近似できないからである。また、２つ目は、画像ＣＬＰは、式（２０）に定義されるように、前記画像ＤＦから再マッピングされるとき移動平均の一種を用いるため、実際の誤差Δη、Δξが推定誤差（式（２２）による）よりも小さくなるからである。図９は、調整変数Ｍｆが１．０から１．５で変わるときのＲＭＳＥを示している。Ｍｆ＝１．５のときのＲＭＳＥは、ＵＦＯ前のＲＭＳＥより小さくならないが、Ｍｆ＝１．０のときよりもＵＦＯ前のＲＭＳＥに近くなる。この結果は、上記の数値化された可能性をもつ行中にある。
【００５２】
中心窩センサと補償器の組合せにつき、以下に述べる。中心窩センサと補償器の組合せを考慮し、前記画像ＤＦから前記補償中心窩画像ＣＦへの写像ｆ’ＣＦと、前記画像Ｉから画像ＣＦへの写像ｆＣＦとが、以下のように定義される。
【数２５】
【００５３】
ここで、ＮＣＦは集合Ｓ’ＣＦの元の数であり、座標（ｘ’’’ｄ，ｙ’’’ｄ）は、対応する座標
（ｘ’ｄｉ，ｙ’ｄｉ）
【数２６】
から算出される。
【００５４】
【数２７】
【００５５】
ここで、ＮＣＦは集合ＳＣＦの元の数であり、座標（ｘ’’’ｄ，ｙ’’’ｄ）は、対応する座標
（ｘｄｉ，ｙｄｉ）
【数２８】
から算出される。
【００５６】
図１０は、φε＝０のときに偏心度θε（＝０，１８．６９，３４．０８（°））を変えることでこれら２つの写像を比較している。前記写像ｆ’ＣＦによる画像ＣＦは、放射非相称で空間非一様な解像度を有する。一方、写像ｆＣＦは、右側の境界線が僅かに変化するけれども（本シミュレーションは、中心窩センサが、固定された１２０度の視野を有することを仮定しているため）、すべての偏心度でほぼ同じ外見の画像となっている。前記写像ｆＣＦは、前記画像ＣＦが非歪曲な広角画像から直接獲得される特別なケースである点に注目すべきである。このように、写像ｆＣＦは、移動後の中心窩マッピングと等価である。これらの２つの写像の比較は、前記補償器が、よりロバストなＲＳＴ不変（回転・拡大縮小・移動不変）な特徴を得るために、中心窩センサとどのように組み合わせるべきかを示している。
【００５７】
３．偏心推定器
Ａ．歪曲中心窩画像からの偏心推定
【００５８】
偏心推定器（ＥＥ）は、回転・拡大縮小・移動不変（ＲＳＴ不変）の特徴を抽出するための方法を用い、前記画像ＤＦから前記偏心度θεを推定する。フーリエ・メリン変換（ＦＭＴ）は、線形な座標系を有する画像、すなわちデカルト座標系を有する画像から、このような特徴を抽出する手法としてよく知られている。ＦＭＴは、フーリエ変換（ＦＴ）の理論に基づいている。このことは、画像のＦＴの振幅（移動不変の性質を有する）のログポーラマッピング（ＲＳ不変の性質を有する）のＦＴに等価となる。
【００５９】
ＦＭＴが前記画像ＤＦに適用されるとき、画像の歪みが除去される必要がある。図３（ｆ）は、各偏心度における１２８×１２８（ｐｉｘｅｌｓ）のデカルト座標系を有する非歪曲中心窩画像ＵＤＦを示している。画像ＵＤＦは、画像ＤＦから歪みを除去することで求められる（式（１２）及び式（１３）参照）。
【００６０】
前記離散画像ＵＤＦは、以下のように、写像ｆＵＤＦによりシミュレートされる。
【数２９】
【００６１】
ここで、Ｎは集合ＳＵＤＦの元の数であり、座標（ｘ’’ｄ，ｙ’’ｄ）は、対応する座標
（ｘ’ｄｉ，ｙ’ｄｉ）
【数３０】
から算出される。
【００６２】
Ｂ．ＦＭＴのＵＤＦへの適用
【００６３】
前記画像ＤＦは、空間解像度が一様であり、歪んでいる。そのため、歪みが除去されたとき、波紋状のエイリアスが図３（ｆ）の画像ＵＤＦにみられるようになる。このことは、偏心度が大きくなるにつれ顕著になる。このようなエイリアスは、画像が、低解像度部分（例えば、前記画像ＤＦの周辺視野）から、高解像度部分（前記画像ＵＤＦの高密度空間）にアップサンプリングされた場合に生じる。
【００６４】
図１１は、前記画像ＤＦから、ＲＳＴ不変の特徴を得るためのフローチャートを示している。
【００６５】
図１２は、Ｎｘ×Ｎｙの画像信号ｆから、Ｎη×ＮξのＦＭＴ「Ｍ」を得る際のＦＭＴの処理の流れを示している。再構成画像ｆｒｅは、ログポーラ空間におけるＤＦＴ（離散フーリエ変換）Ｆｌｐから算出される。図１２では、モデル再構成画像ｆｍ＿ｒｅが画像Ｉの中心部分から算出される場合を示している。
【００６６】
モデルＦＭＴ Ｍｍは、画像Ｉの中心部分から獲得される。
【００６７】
前記偏心度θεは、式（３）を用い、ＭとＭｍから算出された移動量から推定される。
【００６８】
Ｃ．評価
【００６９】
画像ＤＦの空間解像度は非一様であるが、光軸周りに放射相称に変化する。つまり、同一の入射角度θの場合、円周方向には変化せずに半径方向にのみ変化する。前記θεが変化するとき、前記画像ＵＤＦの空間解像度は、以下の性質を生じる。
【００７０】
１）前記解像度は、θεに対して大きく変化する（すなわち、解像度は、θεが大きくなるに従い、θε＝０の場合よりもかなり低くなる）。
【００７１】
２）空間解像度は非一様になる。すなわち、空間解像度は画像全体で一様にならない。また、θεが存在するならば、目標画像中心に対応する画像ＵＤＦの中心周りに放射非相称となる。
【００７２】
画像ＵＤＦのＦＭＴは、同じ画像サイズＮｘ×Ｎｙを有する前記再構成画像ｆｒｅと前記モデル再構成画像ｆｍ＿ｒｅとの間で平均二乗平方根誤差（ＲＭＳＥ）用いて評価される。前記ＲＭＳＥ「Ｅ」は、次のように表される。
【数３１】
【００７３】
図１３は、Ｎη×Ｎξ＝２５６×１２８、１２８×６４、６４×３２の３通りのケースにおいて、φε＝０の場合の偏心度θεに対する前記ＲＭＳＥを示している。当該ＲＭＳＥは、１００回の繰返しの平均値で計算される。本シミュレーションでは、前記画像ＤＦは、ｒｍａｘ＝３６（ｐｉｘｅｌ）、θｍａｘ＝６０．０（°）、θ０＝９．８２６（°）、θ１＝１９．１０７（°）、θ２＝３４．７１５（°）の条件で算出されている。画像ＵＤＦは、Ｎｘ×Ｎｙ＝１２８のとき、ｒｍａｘ＝１２８（ｐｉｘｅｌ）の条件で画像ＤＦからマッピングされる。３通りのケース全てのＲＭＳＥは、|θε|が大きくなるにつれて増加する。このことは、１）の性質に起因する。すなわち、画像中のより多くのピクセルの輝度は、低解像度部分から決定されるからである。偏心度が３４．０８（°）以内のとき、前記ＲＭＳＥは、前記３ケースで、それぞれ最大で、３．１７（％）、３．０７（％）、２．４３（％）までしか変化しない。これに加え、θε＝０であっても（すなわち、２）の性質によって）、前記ＲＭＳＥは、０にならない（それぞれ、４．０７（％）、３．１４（％）、２．０８（％）になる）。前記ＲＭＳＥは、Ｎη×Ｎξ＝６４×３２のとき最小になる。このことは、小さな離散空間Ｎη×Ｎξを有するＦＭＴがローパスフィルタとして作用することを意味する。換言すると、この場合はロバストであるが、詳細な情報を与えることには向かない。
【００７４】
４．ＵＦＯの偏心推定（ＥＥ）への適用
【００７５】
信頼性の低い特徴を除去する特徴除去器（ＵＦＯ）は、前記画像ＵＤＦのエイリアスに関する局所ノイズの低減に適用される。この場合、ＵＦＯを次のように適用する。
【００７６】
各ウェーブレット係数ωｃｊｋ，ｉに対応する画像の中の点が、ｃ＝ｄ、ｈ、ｖの各ケースで、条件Ｘ∧Ｙ，Ｘ，Ｙを満たすならば、ウェーブレット係数となる行列ｖを決定するために、その係数を切り捨てる（０にする）。そして、ｖの逆離散化ウェーブレット変換（ＩＤＷＴ）により、前記画像Uが算出される。
【数３２】
【００７７】
ここで、Δｘ（ｘ，ｙ）とΔｙ（ｘ，ｙ）は、前記画像ＵＤＦの離散化誤差であり、ΔθとΔφ、すなわち、式（２９）により前記画像ＤＦから決定された離散化誤差から計算される。Ｍｆは、サブピクセルオーダーで離散化誤差の精度を調節するパラメータである。ｍとｎは、前記解像度レベルｊから決定される整数値である。
【数３３】
【００７８】
図１４は、前記θεに対する前記ＲＭＳＥを示している（φε＝０の場合）。ここでのＲＭＳＥは、前記画像ＵＤＦ（破線）、前記画像Ｕ（実線）、前記画像ＵＤＦの再構成画像ｆｒｅ（四角形付破線）、及び前記画像Ｕの再構成画像ｆｒｅ（円付実線）についてである。ＲＭＳＥは１００回の繰返しの平均値である。ここで、前記画像ＤＦは、ｒｍａｘ＝３６（ｐｉｘｅｌ）、θｍａｘ＝６０．０（°）、θ０＝９．８２６（°）、θ１＝１９．１０７（°）、θ２＝３４．７１５（°）の条件とされている。前記画像ＵＤＦは、Ｎｘ＝Ｎｙ＝１２８のとき、ｒｍａｘ＝１２８（ｐｉｘｅｌ）の条件で画像ＤＦからマッピングされる。ＵＦＯは、Ｎｘ＝Ｎｙ＝１２８及びＭｆ＝１．０の条件でＤａｕｂｅｃｈｉｅｓ（７，９）双対ウェーブレットを用いている。ＦＭＴに関して、Ｎη×Ｎξ＝２５６×１２８と、Ｎη×Ｎξ＝６４×３２との２通りのケースが図１４（ａ）と図１４（ｂ）で比較されている。以下に記載する。
【００７９】
１）前記ＵのＲＭＳＥは、前記画像ＵＤＦよりも常に小さい。このことは、ＵＦＯが、放射相称でない空間解像度非一様な画像から局所ノイズを除去するアンチエイリアスフィルタとして良く機能することを意味している(図１４（ａ）と（ｂ）を比較したとき、波紋状のエイリアスが低減されている)。ＲＭＳＥは、Ｎη×Ｎξ＝２５６×１２８と、Ｎη×Ｎξ＝６４×３２との２通りのケースで、それぞれ、最大０．５８（％）、最大０．６５（％）低減されている。
【００８０】
２）図１４（ａ）は、ＵＦＯがＦＭＴの性能を改善することを証明している。ＵＦＯは、この条件で最大０．４７（％）ＲＭＳＥを低減させる。加えて、前記画像Ｕの再構成画像ｆｒｅのＲＭＳＥは、最大２．９３（％）変化する。なお、この値は、ＵＦＯ前の３．１７（％）よりも小さい。このことは、ＵＦＯが、空間非一様な解像度を有する画像から局所的にエイリアスを良好に除去することも示している（図１５（ｃ）及び（ｄ）参照）。
【００８１】
３）図１４（ｂ）は、ログポーラ空間が小さすぎると、ＵＦＯが同様に機能しないことを示している。図１５（ｅ）と（ｆ）に示されるように、ＦＭＴのローパスフィルタ効果は、エイリアスを低減させるだけでなく、画像ＵＤＦとＵの原信号の高周波成分も除去する。
【００８２】
ＦＭＴは、拡大縮小不変の特徴を抽出する性質をもつため、本質的に解像度の変化にロバストである。ところが、前記空間解像度が非一様性であれば、すなわち、解像度が画像全体で一様でなければ、性能に影響が出る。全体的に、ＵＦＯは、アンチエイリアスフィルタとしてＦＭＴに良く作用する。ＵＦＯは、必要以上に原信号を低減させないので、画像全体に影響を与える全体型のローパスフィルタと比較して、例えば、ＦＭＴのログポーラ空間を小さくする等により、できる限りロバストに精細さを維持して特徴を保存することに適している。
【００８３】
図１６は、本開示の方法１６００のフローチャートを表している。当該方法１６００は、目標画像を提供し（ブロック１６０２）、当該目標画像から歪曲画像を算出し（ブロック１６０４）、前記目標画像と前記歪曲画像との間の偏心度を推定し（ブロック１６０６）、前記目標画像と前記歪曲画像との間の偏心度を補償し（ブロック１６０８）、歪曲中心窩画像をモデリングし（ブロック１６１０）、ログポーラ画像を生成し（ブロック１６１２）、信頼性の低い特徴を除去する（ブロック１６１４）ことを含むことができる。
【００８４】
前記方法１６００において、歪曲中心窩画像のモデリングは、視野を複数領域に分割することを含むと良い。当該複数領域は、少なくとも中心窩領域、傍中心窩領域、近周辺視野領域、及び周辺視野領域とすると良い。
【００８５】
前記方法１６００において、ログポーラ画像の生成は、少なくとも１つを離散化座標で算出することを含むことができる。また、ログポーラ画像の生成は、少なくとも１つをデカルト座標で算出することを含むと良い。更に、偏心度の補償は、マッピングを実行することを含むと良い。
【００８６】
前記方法１６００において、マッピングの実行は、目標画像から歪曲中心窩画像をマッピングすることと、歪曲中心窩画像から補償ログポーラ画像をマッピングすることから選択された少なくとも１のマッピングを含むと良い。また、歪曲中心窩画像の補償ログポーラ画像へのマッピングは、平均二乗平方根誤差を評価することを含むことができる。更に、信頼性の低い特徴の除去は、離散ウェーブレット変換を生成することを含むことが好ましく、信頼性の低い特徴の除去は、離散化誤差の精度を調節するパラメータと、解像度レベルを表す整数とからなる群より選択された少なくとも１の数に基づいて閾値を生成することを含むことも可能である。
【００８７】
また、信頼性の低い特徴の除去は、逆ウェーブレット変換を生成することが好ましい。更に、信頼性の低い特徴の除去は、フーリエ・メリン変換を適用することも含むと良い。
【００８８】
前述の方法１７００若しくは方法１７００の要素は、これらを実行するためのコンピュータで実行可能な命令として、コンピュータで読込可能な記憶媒体に蓄積することも可能である。
【００８９】
当該技術分野における通常の技術を有する者が察するように、前述の手法における要素やブロックは、同時に行うことが可能で、或いは、記載された順序とは異なる順序で行うこともできる。
【００９０】
図１７は、本開示のシステム１７００の代表実施例のブロックダイアグラムを表している。前記システム１７００は、目標画像処理要素１７０２と、当該目標画像処理要素１７０２に連なる歪曲画像算出要素１７０４と、当該歪曲画像算出要素１７０４に連なる偏心推定器１７０６と、前記歪曲画像算出要素１７０４に連なる偏心補償器１７０８と、当該偏心補償器１７０８に連なる歪曲中心窩画像モデラー１７１０と、前記偏心補償器１７０８に連なるログポーラ画像生成器１７１２と、前記偏心補償器１７０８に連なり、信頼性の低い特徴を除去する特徴除去器１７１４とを含むことが好ましい。
【００９１】
システム１７００において、前記歪曲中心窩画像モデラー１７１０は、視野を複数領域に分割可能に構成すると良い。このような複数領域は、中心窩領域、傍中心窩絵領域、近周辺視野領域、及び周辺視野領域から選択すると良い。また、システム１７００において、ログポーラ画像生成器１７１２は、少なくとも１つの離散座標を算出可能に構成すると良い。更に、ログポーラ画像生成器１７１２は、少なくとも１つのデカルト座標を算出可能に構成することができる。また、ログポーラ画像生成器１７１２に付随するように、偏心補償器１７０８は、マッピングを実行可能に構成すると良い。このようなマッピングは、目標画像から歪曲中心窩画像へのマッピングと、歪曲中心窩画像から補償ログポーラ画像へのマッピングとから選択される少なくとも１つのマッピングであることを含むと良い。また、歪曲中心窩画像から補償ログポーラ画像へのマッピングは、平均二乗平方根誤差による評価を含むことが可能である。
【００９２】
前記特徴除去器１７１４は、離散ウェーブレット変換を生成可能に構成すると良い。前記特徴除去器１７１４は、離散化誤差の精度を調節するパラメータと、解像度レベルを表す整数とから選択された少なくとも１の数に基づいて閾値を生成可能に構成することが好ましい。
【００９３】
前記特徴除去器１７１４は、逆ウェーブレット変換を生成可能に構成できる。また、特徴除去器１７１４は、フーリエ・メリン変換を適用可能に構成できる。
【００９４】
本明細書と添付された請求項で用いられるように、「ａ」、「ａｎ」、「ｔｈｅ」等の単数形で表現される用語は、明細書中に明示しない限り、複数形対象をも含んでいる。「複数（ｐｌｕｒａｌｉｔｙ）」なる用語は、明細書中に明示しない限り、２又はより多くの対象を含んでいる。更に、他に記載されない限り、ここで用いられる全ての技術用語と科学用語は、本発明が関連する技術分野における通常の技術を有する者に共通して理解される意味を有する。
【００９５】
まとめると、本発明の各実施例に従って、画像処理プロセッサを形成するためのシステムと方法が記載されている。画像処理システムは、目標画像生成要素と、当該目標画像生成要素に連なる歪曲画像算出要素と、当該歪曲画像算出要素に連なる偏心推定器と、歪曲画像算出要素に連なる偏心補償器と、当該偏心補償器に連なる歪曲中心窩画像モデラーと、前記偏心補償器に連なるログポーラ画像生成器と、前記偏心補償器に連なり、信頼性の低い特徴を除去する特徴除去器とを含むことが好ましい。前記システムを形成するための手法も記載されている。
【００９６】
前述した実施例は、本発明の原理を明確に理解するための単なる実施可能例であることを強調する。本発明の本質から実質的に逸脱しない限り、本発明の前述の実施例に対し、多くの変形や改良が可能である。これらすべての変形や改良は、本開示及び本発明の範囲に含まれるものであり、次の請求の範囲により保護される。
【技術分野】
【０００１】
本開示は、一般に信号処理装置に関し、特に、光学的な画像処理プロセッサに関する。
【背景技術】
【０００２】
ログポーラマッピングは、霊長類の視覚系の大脳マッピングの解析的定式化による生物学的な知見によるものであり、データ数を劇的に減少させるだけなく、回転・拡大縮小不変（ＲＳ不変）の性質を付与するための手法として存在する。それは、回転と拡大縮小を直交２軸方向の移動に変換する。この性質は、カメラがその視線方向を変えるためにモータによって制御されるアクティブビジョンシステムに利用できる。つまり、このようなシステムでは、回転・拡大縮小・移動不変（ＲＳＴ不変）の画像マッチングを行うためにログポーラ画像を利用し、この際、目標へのカメラの注視位置の制御を移動と等価とみなす。ログポーラ画像を得るために、特殊なＣＣＤやＣＭＯＳログポーラチップ等、視野の周辺に行くに従って受光素子の結合サイズが大きくなる網膜状の中心窩センサがある。この中心窩センサは、画像マッチングを目的としたアクティブ視覚センサに組み込まれてきた。別の中心窩センサとしては、幾何学的に投影像を歪曲させてログポーラ画像を獲得する広角中心窩レンズがある。
【０００３】
広角中心窩（ＷＡＦ）レンズのような、投影像を幾何学的に歪曲させる特殊光学系が存在する。この特殊レンズは、受光素子が一様に配置された市販の線形な座標系を有するビジョンチップと組み合わされる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示の実施態様は、画像処理プロセッサを製作するためのシステムと手法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
簡潔に述べると、構造的に、システムの一例及び他の例は、以下の通りに実施可能である。
【０００６】
画像処理システムは、目標画像処理要素と、当該目標画像処理要素に連なる歪曲画像算出要素と、当該歪曲画像算出要素に連なる偏心推定器と、前記歪曲画像算出要素に連なる偏心補償器と、当該偏心補償器に連なる歪曲中心窩画像モデラーと、前記偏心補償器に連なるログポーラ画像生成器と、前記偏心補償器に連なり、信頼性の低い特徴を除去する特徴除去器とを含むことが好ましい。
【０００７】
本開示は、画像処理方法の提供とみることもできる。当該方法は、目標画像を提供し、当該目標画像から歪曲画像を算出し、前記目標画像と前記歪曲画像との間の偏心度を推定し、前記目標画像と前記歪曲画像と間の偏心度を補償し、歪曲中心窩画像をモデリングし、ログポーラ画像を生成し、信頼性の低い特徴を除去することを含むと良い。
【０００８】
本発明における他のシステム、方法、特徴、及び効果は、以下の図面と発明の詳細な説明により、本技術分野における通常の技術を有する者に対して明らか、或いは、明らかにされる。本明細書に含まれる全ての付加的システム、方法、特徴及び効果は、本開示の範囲内にあり、付随する請求の範囲により保護される。
【図面の簡単な説明】
【０００９】
本開示の多くの態様は、以下の図面を参照すると容易に理解可能である。図面中の構成要素は、必ずしも本発明の原理をはっきりと図示することや、それを強調するものではない。更に、図面中において言及されている数値は、幾つかの図の至る所で対応部分を指定している。
【００１０】
【図１】本開示の実施例における画像の座標系の説明図である。
【図２】改良した広角中心窩（ＡｄＷＡＦ）画像と線形な座標系を有する画像とを説明するための図である。
【図３】（ａ）から（ｆ）は、一部における各画像を説明するための図であり、（ａ）は、目標画像（Ｉ）であり、（ｂ）は、歪曲中心窩画像（ＤＦ）であり、（ｃ）は、極画像Ｐ１であり、（ｄ）は、極画像Ｐ２であり、（ｅ）は、補償ログポーラ画像（ＣＬＰ）であり、（ｆ）は、非歪曲中心窩画像（ＵＤＦ）であり、左からそれぞれ、偏心度θε＝０（°）、１８．６９（°）、３４．０８（°）である。
【図４】モデルログポーラ画像（ＬＰ）とログポーラ画像の座標系を説明するための図である。
【図５】θεに対するＰ１、Ｐ２、ＣＬＰ間の平均二乗平方根誤差（ＲＭＳＥ）Ｅを説明するための図である。
【図６】画像ＣＬＰの離散化誤差Δη（左）、Δξ（右）の分布を説明するための図である。
【図７】白色ガウス雑音（ＷＧＮ）がある場合の信頼性の低い特徴の除去（ＵＦＯ）前後のＲＭＳＥを説明するための図である。
【図８】調節変数Ｍｆが変化したときのＲＭＳＥを説明するための図である。
【図９】（ａ）から（ｉ）は、左からそれぞれ、θε＝０（°）、１８．６９（°）、３４．０８（°）となる場合のＵＦＯ前後の画像ＣＬＰを説明するための図である。
【図１０】（ａ）、（ｂ）は、射影ｆＣＦによる画像ＣＦを説明するための図である。
【図１１】空間解像度が非一様な画像からのＲＳＴ不変の特徴を獲得するためのフローチャートである。
【図１２】ＦＭＴの処理の流れを説明するための図である。
【図１３】Ｎη×Ｎξ＝２５６×１２８、１２８×６４、６４×３２のときの再構成画像ｆｒｅとｆｍ_ｒｅの間のＲＭＳＥを説明するための図である。
【図１４】ｆｍ_ｒｅからのＵＤＦ、Ｕ、ＵＤＦのｆｒｅ、ＵのｆｒｅのＲＭＳＥを説明するための図である。
【図１５】（ａ）から（ｆ）は、左からそれぞれ、θε＝０（°）、１８．６９（°）、３４．０８（°）となる場合のＵＤＦ、Ｕ、ＵＤＦのｆｒｅ、Ｕのｆｒｅを説明するための図である。
【図１６】本開示の手法のフローチャートである。
【図１７】本開示のシステムの代表実施例のブロックダイアグラムである。
【発明を実施するための形態】
【００１１】
本開示は、画像処理プロセッサを作成するためのシステムと方法に関する。
【００１２】
当該技術分野における通常の技術を有する者が理解するように、ブロックに入る矢印や記号は入力を示し、ブロックから出る矢印や記号は出力を示す。同様に、以下に記述される接続は、電気、光学、放射線及び磁気等を含むあらゆる電磁的なものを適用できる。
【００１３】
本開示は、回転・拡大縮小・移動不変の特徴から画像や信号が抽出されることをについて説明する。
【００１４】
１．偏心補償器
Ａ．広角歪曲中心窩画像の算出
【００１５】
図１は、本開示の実施例における画像の座標系を表している。歪曲中心窩（ＤＦ）画像は、目標画像Ｉから算出される。前記ＤＦは、中心窩センサからの入力画像をシミュレートしている。以下の定義は、前記画像Ｉがφε方向で偏心度θεを有する物面上に存在すると仮定している。つまり、図１に示されるように、前記θεは、光軸と、光学中心から目標画像中心への直線との間の角度である。また、目標画像中心は、画像Ｉの原点である。画像Ｉの離散座標（ｘｄ，ｙｄ）は、画素サイズ（δｘ，δｙ）を用い、連続座標（ｘ，ｙ）から算出される。
【数１】
【００１６】
点（ｘ，ｙ）から光学中心Ｏｃへの方向（θ，φ）は、式（２）で表される。
【数２】
ここで、Ｌは光学中心から物面への距離であり、ε は物面上の偏心位置である。
【数３】
【００１７】
画像ＤＦの連続座標（ｘ’，ｙ’）は、以下のように表される。
【数４】
【００１８】
ここで、ｒ（θ）は、入射角度θに対する像高を示しており、当該像高は、中心窩モデルによって決定される。また、α１は、画像の拡大率であり、（θε，φε）は、目標画像中心から光学中心への方向を示している。このように，座標系（ｘ’，ｙ’）の原点は、前記方向（θε，φε）に対応している。画像ＤＦの離散座標（ｘ’ｄ，ｙ’ｄ）は、画素サイズ（δ’ｘ，δ’ｙ）により、前記（ｘ’，ｙ’）から算出される。
【数５】
【００１９】
本開示では、ログポーラ画像を得ることができる前記画像ＤＦを算出するために、改良広角中心窩（ＡｄＷＡＦ）モデルのような中心窩モデルを使用している。ＡｄＷＡＦモデルは、線形な座標と対数座標の両方を平面投影と球面投影で用いている。視野（ＦＯＶ）は、４つの領域、すなわち、中心窩（０≦θ≦θ０）、傍中心窩（θ０≦θ≦θ１）、近周辺視野（θ１≦θ≦θ２）、及び周辺視野（θ２≦θ≦θｍａｘ）に分割される。図２では、シミュレートされたＡｄＷＡＦ画像と、はピンホールカメラ（ＰＨＣ）線形な座標系を有するレンズモデルによる画像とを比較している。図２において、ＦＯＶの境界線、すなわち、θ０、θ１、θ２、θｍａｘは、それぞれ、９．８２６（°）、１９．１０７（°）、３４．７１５（°）、６０．０（°）である。ここでは、各境界線を見易くするために輝度が変更されている。ＡｄＷＡＦモデルの像高ｒ（θ）は、以下のように定義される。
【００２０】
ＡｄＷＡＦモデル：
【数６】
【００２１】
ここで、ｒｍａｘは、θ＝θｍａｘのときの最大像高であり、ｃｉ（ｉ＝０，１，２，３）は、像高を調節するためのスケール調整係数である。ｄｉ（ｉ＝１，２，３）は、像高と拡大率の連続性により算出される。
【００２２】
ＰＨＣレンズ：
【数７】
【００２３】
Ｂ．補償ログポーラ画像のモデリング
【００２４】
図３に示されるように、前記画像ＤＦは大きく歪曲している。非歪曲中心窩画像ＵＤＦの連続座標（ｘ’’，ｙ’’）（すなわち、線形な座標を有する）は、式（１２）によって計算される。前記（ｘ’’，ｙ’’）の原点は、画像Ｉの原点に対応する。
【数８】
【００２５】
ここで、α２は拡大率である。前記画像ＵＤＦの離散座標（ｘ’’ｄ，ｙ’’ｄ）は、画素サイズ（δ’’ｘ，δ’’ｙ）により、前記（ｘ’’，ｙ’’）から算出される。
【数９】
【００２６】
ここで、（δ’’ｘ，δ’’ｙ）は、ここでの画像の画素サイズである。
【００２７】
補償ログポーラ画像ＣＬＰ（すなわち、偏心により引き起こされた歪みを補正した後に再マッピングされた画像）の連続座標（η，ξ）は、式（１４）により、前記座標（ｘ’’，ｙ’’）から計算される。
【数１０】
【００２８】
ここで、ｒ０は、前記ログポーラ画像が始まる半径であり、α３は前記画像の拡大率であり、Θは、次のように定義される。
【数１１】
【００２９】
ここで、Ｌ’’＝α２Ｌである。前記ＣＬＰの離散座標（ηｄ，ξｄ）は、
【数１２】
【００３０】
ここで、（δη，δξ）は、極画像の画素サイズであり、ηｄの最大の整数は0とされる。すなわち、離散値ηｄは、０≦η≦２πに対応する。
【００３１】
補償中心窩画像ＣＦのデカルト座標（ｘ’’’，ｙ’’’）は、次のように表される。
【数１３】
【００３２】
ここで、α４は前記画像の拡大率であり、前記画像ＣＦの離散座標は、
【数１４】
【００３３】
ここで、（δ’’’ｘ，δ’’’ｙ）は、ここでの画像の画素サイズである。
【００３４】
Ｃ．離散空間における画像シミュレータ
【００３５】
離散空間において、本提案の補償器の画像シミュレータは、以下の２つの写像ｆとｆＣＬＰを用いて前記画像ＣＬＰを出力する。
【数１５】
【００３６】
ここで、Ｎは集合Ｓの元の数であり、座標（ｘ’ｄ，ｙ’ｄ）は対応する座標（ｘｄｉ，ｙｄｉ）
【数１６】
から、式（１）から（５）を用いて算出される。なお、Ｎは、各座標（ｘ’ｄ，ｙ’ｄ）において一定ではない。
【数１７】
【００３７】
ここで、ＮＣＬＰは集合ＳＣＬＰの元の数であり、（ηｄ，ξｄ）は、対応する座標（ｘ’ｄｉ，ｙ’ｄｉ）
【数１８】
から算出される。
【００３８】
写像ｆは中心窩マッピングであり、ｆＣＬＰは大脳マッピングの一種である。なお、本提案の画像処理シミュレータは、対応するＮ個の点から各点の輝度をも算出するようになっている。
【００３９】
Ｄ．評価
以下のシミュレーションとして、中心窩と傍中心窩の間の境界線は、前記ＡｄＷＡＦモデルを用い、
【数１９】
により定義される。図３（ａ）は、５１２×５１２（ｐｉｘｅｌｓ）の目標画像Ｉを示している。また、図３（ｂ）は、写像ｆを用いて画像Ｉからシミュレートされた１２８×１２８（ｐｉｘｅｌｓ）の歪曲中心窩画像ＤＦを示している。ここでは、３通りの偏心度、すなわち、θε＝０（°）、１８．６９（°）、３４．０８（°）（δ＝δＸ＝δＹ，φε＝０の条件で）について、前記ＡｄＷＡＦモデルでｒｍａｘ＝３６（ｐｉｘｅｌｓ）としている。前記補償器をテストするために、図３（ｃ）と（ｄ）において、それぞれ、１２８×６４（ｐｉｘｅｌｓ）の２種類の極画像Ｐ１とＰ２が比較のために用いられている。前記Ｐ１は、画像ＤＦの原点周りの極座標（ｒ’，φ’）を有している。前記画像Ｐ１は、 画像ＤＦ上の中心窩センサの光軸周りの極座標（ｒ（θ），φ）を有している。図３（ｅ）は、θ１＝９．８２６（°）、θ２＝１９．１０７（°）のときの式（７）による傍中心窩に対応する１２８×６４（ｐｉｘｅｌｓ）の補償ログポーラ画像ＣＬＰを表している．画像ＣＬＰの空間解像度は放射相称に分布しないが、前記補償器は、各偏心度θεにおいて、ログポーラ画像の変形を補正している。この比較は、中心窩レンズやログポーラチップのような中心窩センサの実利用を想定している点に注目すべきである。特に、前記画像Ｐ２の場合、アクティブビジョンにおける注視位置の誤差を示している。前記補償器の働きをより理解するために、非歪曲中心窩画像ＵＤＦも図３（ｆ）に示されている。前記ＵＤＦの空間解像度は、偏心度が大きくなるにつれて減少するだけでなく、空間に対して非一様となる。
【００４０】
前記画像ＣＬＰは、画像Ｉから獲得されたモデルログポーラ画像ＬＰからの平均二乗平方根誤差（ＲＭＳＥ）用いて評価される（図４）。前記ＲＭＳＥ「Ｅ」は、次のように表される。
【数２０】
ここで、ＮηとＮξは、前記ログポーラ画像のサイズを表している。
【００４１】
図５は、φε ＝０のときにおける極画像Ｐ１（破線）、Ｐ２（点線）、前記ＣＬＰ（実線）との間の偏心度θεに対するＲＭＳＥの比較を示している。画像ＣＬＰのＲＭＳＥは、すべての入射角度で極画像Ｐ１、Ｐ２よりも小さく、徐々に増加する。このことは、前記補償器が、前記画像Ｐ１、Ｐ２に比べ、歪みをより良く補正できることを意味している。しかしながら、前記画像ＣＬＰのより多くのピクセルの輝度は、低解像度部分（例えば、画像ＤＦの周辺視野）から決定されるので、偏心度が増すに従ってＲＭＳＥは増加する。前記画像ＣＬＰのＲＭＳＥは、偏心度３４。０８（°）以内で、最大２．５４（％）の変化に留まっている。
【００４２】
前記画像Ｉのような一様な解像度を有する画像から獲得されたログポーラ画像は、本質的に空間で一様ではない。ところが、その解像度は、放射相称に変化する（つまり、η方向には変化せずに、ξ方向のみに変化する）。ノイズを除去するため、空間解像度が非一様となる画像にローパスフィルタが用いられるとき、ノイズだけでなく必要な情報までがオリジナル画像から失われる。加えて、偏心があるとき、画像ＣＬＰの空間解像度は、前記空間で非一様なだけでなく放射非相称となる。図６は、画像ＣＬＰの離散化誤差Δη、Δξの分布を示している。これは、θε＝０（°）、１８．６９（°）、３４．０８（°）（φε＝０）のときのη方向及びξ方向の空間解像度を意味する。前記誤差Δη、Δξは、画像ＤＦの半径方向と円周方向の離散化誤差Δθ、Δφからそれぞれ算出される。これらは次のように定義される。
【数２１】
【００４３】
２．信頼性の低い特徴の除去器
Ａ．定義
【００４４】
信頼性の低い特徴を有する特徴除去器（ＵＦＯ）について、以下に記載する。前記画像ＣＬＰが前記画像ＤＦの低解像度部分からアップサンプリングされると（サンプリング定義を満たさずに）、エイリアスがノイズとして発生する。このノイズは、ある周波数成分以上に現れる。前記ＵＦＯは、離散ウェーブレット変換（ＤＷＴ）を用いてこのような成分を除去する。ＤＷＴは、空間非一様な解像度を有する画像から局所ノイズを低減するために適しているからである。ＵＦＯは、前述したように、偏心により引き起こされた放射非相称で空間非一様な解像度に適用可能である。前記ＵＦＯは次のように定義される。
【００４５】
１）前記画像ＣＬＰのＤＷＴをωとすると、その係数は、ωｃｊｋ，ｉで表される。ここで、ｊは解像度レベル、ｃは、それぞれ、対角成分ｄ，水平成分ｈ，垂直成分ｖを表す。
【００４６】
２）各係数ωｃｊｋ，ｉに対応する画像の中の点が、ｃ＝ｄ、ｈ、ｖの各場合で、それぞれ、
【数２２】
の条件を満たすならば、ウェーブレット係数の行列ｖを決定するために、その係数を切り捨てる（０にする）。
【数２３】
【００４７】
ここで、Ｍｆは、サブピクセルオーダーで離散化誤差の精度を調節するパラメータである。ｍとｎは、解像度レベルｊにより決定される整数である。
【００４８】
３）ｖの逆離散ウェーブレット変換（ＩＤＷＴ）により画像Ｕを定義する。
【００４９】
Ｂ．評価
【００５０】
前記画像ＣＬＰは、白色ガウス雑音（ＷＧＮ）ｅが前記画像ＤＦに加えられたとき、
【数２４】
のように表される。図７は、φε＝０のときの偏心度θεに対するＲＭＳＥ、すなわち、ＵＦＯ前の画像のＲＭＳＥ（破線）、ＨａａｒウェーブレットによるＵＦＯ後の前記画像ＵのＲＭＳＥ（実線）、及びＤａｕｂｅｃｈｉｅｓ（７，９）の双対ウェーブレットによるＵＦＯ後の画像ＵのＲＭＳＥ（円付実線）を示している（ＲＭＳＥは前記画像ＬＰから算出される）。このシミュレーションでは、Ｎη＝２Ｎη＝１２８、Ｍｆ＝１．０の条件が用いられている。図７（ａ）、（ｂ）、（ｃ）は、前記ＷＧＮが、それぞれ、０（％）５（％）１０（％）の場合を示している。前記ＲＭＳＥは、１００回の繰返しの平均値として算出される。結果として、Ｄａｕｂｅｃｈｉｅｓ（７，９）のウェーブレットによるＵＦＯがＲＭＳＥを減少させる。前記ＷＧＮが加えられていない場合でさえ、偏心度が３４．０８（°）以内のとき、ＲＭＳＥは最大０．４０（％）低減する。この結果は、ＵＦＯが、空間解像度が非一様となる画像の固有の解像度に基づき、オリジナル信号とノイズを局所的に分離するのに有効に作用することを意味する。ＵＦＯは、ＷＧＮが大きくなるに従い大きくＲＭＳＥを大きく減少させる。これは、ＵＦＯの望ましい性質である。
【００５１】
Ｈａａｒウェーブレットの場合、ＷＧＮが０（％）のとき、ＵＦＯ後のＲＭＳＥは、ＵＦＯ前に比べて僅かに大きい。このことは、ＵＦＯにより除去された高いレベルの係数には、ノイズだけでなく原信号の一部も含まれることを意味する。これは、以下の２つの理由が考えられる。１つ目は、前記誤差Δη、Δξの分布は、単なる２の累乗のピラミッドを用いるので十分に近似できないからである。また、２つ目は、画像ＣＬＰは、式（２０）に定義されるように、前記画像ＤＦから再マッピングされるとき移動平均の一種を用いるため、実際の誤差Δη、Δξが推定誤差（式（２２）による）よりも小さくなるからである。図９は、調整変数Ｍｆが１．０から１．５で変わるときのＲＭＳＥを示している。Ｍｆ＝１．５のときのＲＭＳＥは、ＵＦＯ前のＲＭＳＥより小さくならないが、Ｍｆ＝１．０のときよりもＵＦＯ前のＲＭＳＥに近くなる。この結果は、上記の数値化された可能性をもつ行中にある。
【００５２】
中心窩センサと補償器の組合せにつき、以下に述べる。中心窩センサと補償器の組合せを考慮し、前記画像ＤＦから前記補償中心窩画像ＣＦへの写像ｆ’ＣＦと、前記画像Ｉから画像ＣＦへの写像ｆＣＦとが、以下のように定義される。
【数２５】
【００５３】
ここで、ＮＣＦは集合Ｓ’ＣＦの元の数であり、座標（ｘ’’’ｄ，ｙ’’’ｄ）は、対応する座標
（ｘ’ｄｉ，ｙ’ｄｉ）
【数２６】
から算出される。
【００５４】
【数２７】
【００５５】
ここで、ＮＣＦは集合ＳＣＦの元の数であり、座標（ｘ’’’ｄ，ｙ’’’ｄ）は、対応する座標
（ｘｄｉ，ｙｄｉ）
【数２８】
から算出される。
【００５６】
図１０は、φε＝０のときに偏心度θε（＝０，１８．６９，３４．０８（°））を変えることでこれら２つの写像を比較している。前記写像ｆ’ＣＦによる画像ＣＦは、放射非相称で空間非一様な解像度を有する。一方、写像ｆＣＦは、右側の境界線が僅かに変化するけれども（本シミュレーションは、中心窩センサが、固定された１２０度の視野を有することを仮定しているため）、すべての偏心度でほぼ同じ外見の画像となっている。前記写像ｆＣＦは、前記画像ＣＦが非歪曲な広角画像から直接獲得される特別なケースである点に注目すべきである。このように、写像ｆＣＦは、移動後の中心窩マッピングと等価である。これらの２つの写像の比較は、前記補償器が、よりロバストなＲＳＴ不変（回転・拡大縮小・移動不変）な特徴を得るために、中心窩センサとどのように組み合わせるべきかを示している。
【００５７】
３．偏心推定器
Ａ．歪曲中心窩画像からの偏心推定
【００５８】
偏心推定器（ＥＥ）は、回転・拡大縮小・移動不変（ＲＳＴ不変）の特徴を抽出するための方法を用い、前記画像ＤＦから前記偏心度θεを推定する。フーリエ・メリン変換（ＦＭＴ）は、線形な座標系を有する画像、すなわちデカルト座標系を有する画像から、このような特徴を抽出する手法としてよく知られている。ＦＭＴは、フーリエ変換（ＦＴ）の理論に基づいている。このことは、画像のＦＴの振幅（移動不変の性質を有する）のログポーラマッピング（ＲＳ不変の性質を有する）のＦＴに等価となる。
【００５９】
ＦＭＴが前記画像ＤＦに適用されるとき、画像の歪みが除去される必要がある。図３（ｆ）は、各偏心度における１２８×１２８（ｐｉｘｅｌｓ）のデカルト座標系を有する非歪曲中心窩画像ＵＤＦを示している。画像ＵＤＦは、画像ＤＦから歪みを除去することで求められる（式（１２）及び式（１３）参照）。
【００６０】
前記離散画像ＵＤＦは、以下のように、写像ｆＵＤＦによりシミュレートされる。
【数２９】
【００６１】
ここで、Ｎは集合ＳＵＤＦの元の数であり、座標（ｘ’’ｄ，ｙ’’ｄ）は、対応する座標
（ｘ’ｄｉ，ｙ’ｄｉ）
【数３０】
から算出される。
【００６２】
Ｂ．ＦＭＴのＵＤＦへの適用
【００６３】
前記画像ＤＦは、空間解像度が一様であり、歪んでいる。そのため、歪みが除去されたとき、波紋状のエイリアスが図３（ｆ）の画像ＵＤＦにみられるようになる。このことは、偏心度が大きくなるにつれ顕著になる。このようなエイリアスは、画像が、低解像度部分（例えば、前記画像ＤＦの周辺視野）から、高解像度部分（前記画像ＵＤＦの高密度空間）にアップサンプリングされた場合に生じる。
【００６４】
図１１は、前記画像ＤＦから、ＲＳＴ不変の特徴を得るためのフローチャートを示している。
【００６５】
図１２は、Ｎｘ×Ｎｙの画像信号ｆから、Ｎη×ＮξのＦＭＴ「Ｍ」を得る際のＦＭＴの処理の流れを示している。再構成画像ｆｒｅは、ログポーラ空間におけるＤＦＴ（離散フーリエ変換）Ｆｌｐから算出される。図１２では、モデル再構成画像ｆｍ＿ｒｅが画像Ｉの中心部分から算出される場合を示している。
【００６６】
モデルＦＭＴ Ｍｍは、画像Ｉの中心部分から獲得される。
【００６７】
前記偏心度θεは、式（３）を用い、ＭとＭｍから算出された移動量から推定される。
【００６８】
Ｃ．評価
【００６９】
画像ＤＦの空間解像度は非一様であるが、光軸周りに放射相称に変化する。つまり、同一の入射角度θの場合、円周方向には変化せずに半径方向にのみ変化する。前記θεが変化するとき、前記画像ＵＤＦの空間解像度は、以下の性質を生じる。
【００７０】
１）前記解像度は、θεに対して大きく変化する（すなわち、解像度は、θεが大きくなるに従い、θε＝０の場合よりもかなり低くなる）。
【００７１】
２）空間解像度は非一様になる。すなわち、空間解像度は画像全体で一様にならない。また、θεが存在するならば、目標画像中心に対応する画像ＵＤＦの中心周りに放射非相称となる。
【００７２】
画像ＵＤＦのＦＭＴは、同じ画像サイズＮｘ×Ｎｙを有する前記再構成画像ｆｒｅと前記モデル再構成画像ｆｍ＿ｒｅとの間で平均二乗平方根誤差（ＲＭＳＥ）用いて評価される。前記ＲＭＳＥ「Ｅ」は、次のように表される。
【数３１】
【００７３】
図１３は、Ｎη×Ｎξ＝２５６×１２８、１２８×６４、６４×３２の３通りのケースにおいて、φε＝０の場合の偏心度θεに対する前記ＲＭＳＥを示している。当該ＲＭＳＥは、１００回の繰返しの平均値で計算される。本シミュレーションでは、前記画像ＤＦは、ｒｍａｘ＝３６（ｐｉｘｅｌ）、θｍａｘ＝６０．０（°）、θ０＝９．８２６（°）、θ１＝１９．１０７（°）、θ２＝３４．７１５（°）の条件で算出されている。画像ＵＤＦは、Ｎｘ×Ｎｙ＝１２８のとき、ｒｍａｘ＝１２８（ｐｉｘｅｌ）の条件で画像ＤＦからマッピングされる。３通りのケース全てのＲＭＳＥは、|θε|が大きくなるにつれて増加する。このことは、１）の性質に起因する。すなわち、画像中のより多くのピクセルの輝度は、低解像度部分から決定されるからである。偏心度が３４．０８（°）以内のとき、前記ＲＭＳＥは、前記３ケースで、それぞれ最大で、３．１７（％）、３．０７（％）、２．４３（％）までしか変化しない。これに加え、θε＝０であっても（すなわち、２）の性質によって）、前記ＲＭＳＥは、０にならない（それぞれ、４．０７（％）、３．１４（％）、２．０８（％）になる）。前記ＲＭＳＥは、Ｎη×Ｎξ＝６４×３２のとき最小になる。このことは、小さな離散空間Ｎη×Ｎξを有するＦＭＴがローパスフィルタとして作用することを意味する。換言すると、この場合はロバストであるが、詳細な情報を与えることには向かない。
【００７４】
４．ＵＦＯの偏心推定（ＥＥ）への適用
【００７５】
信頼性の低い特徴を除去する特徴除去器（ＵＦＯ）は、前記画像ＵＤＦのエイリアスに関する局所ノイズの低減に適用される。この場合、ＵＦＯを次のように適用する。
【００７６】
各ウェーブレット係数ωｃｊｋ，ｉに対応する画像の中の点が、ｃ＝ｄ、ｈ、ｖの各ケースで、条件Ｘ∧Ｙ，Ｘ，Ｙを満たすならば、ウェーブレット係数となる行列ｖを決定するために、その係数を切り捨てる（０にする）。そして、ｖの逆離散化ウェーブレット変換（ＩＤＷＴ）により、前記画像Uが算出される。
【数３２】
【００７７】
ここで、Δｘ（ｘ，ｙ）とΔｙ（ｘ，ｙ）は、前記画像ＵＤＦの離散化誤差であり、ΔθとΔφ、すなわち、式（２９）により前記画像ＤＦから決定された離散化誤差から計算される。Ｍｆは、サブピクセルオーダーで離散化誤差の精度を調節するパラメータである。ｍとｎは、前記解像度レベルｊから決定される整数値である。
【数３３】
【００７８】
図１４は、前記θεに対する前記ＲＭＳＥを示している（φε＝０の場合）。ここでのＲＭＳＥは、前記画像ＵＤＦ（破線）、前記画像Ｕ（実線）、前記画像ＵＤＦの再構成画像ｆｒｅ（四角形付破線）、及び前記画像Ｕの再構成画像ｆｒｅ（円付実線）についてである。ＲＭＳＥは１００回の繰返しの平均値である。ここで、前記画像ＤＦは、ｒｍａｘ＝３６（ｐｉｘｅｌ）、θｍａｘ＝６０．０（°）、θ０＝９．８２６（°）、θ１＝１９．１０７（°）、θ２＝３４．７１５（°）の条件とされている。前記画像ＵＤＦは、Ｎｘ＝Ｎｙ＝１２８のとき、ｒｍａｘ＝１２８（ｐｉｘｅｌ）の条件で画像ＤＦからマッピングされる。ＵＦＯは、Ｎｘ＝Ｎｙ＝１２８及びＭｆ＝１．０の条件でＤａｕｂｅｃｈｉｅｓ（７，９）双対ウェーブレットを用いている。ＦＭＴに関して、Ｎη×Ｎξ＝２５６×１２８と、Ｎη×Ｎξ＝６４×３２との２通りのケースが図１４（ａ）と図１４（ｂ）で比較されている。以下に記載する。
【００７９】
１）前記ＵのＲＭＳＥは、前記画像ＵＤＦよりも常に小さい。このことは、ＵＦＯが、放射相称でない空間解像度非一様な画像から局所ノイズを除去するアンチエイリアスフィルタとして良く機能することを意味している(図１４（ａ）と（ｂ）を比較したとき、波紋状のエイリアスが低減されている)。ＲＭＳＥは、Ｎη×Ｎξ＝２５６×１２８と、Ｎη×Ｎξ＝６４×３２との２通りのケースで、それぞれ、最大０．５８（％）、最大０．６５（％）低減されている。
【００８０】
２）図１４（ａ）は、ＵＦＯがＦＭＴの性能を改善することを証明している。ＵＦＯは、この条件で最大０．４７（％）ＲＭＳＥを低減させる。加えて、前記画像Ｕの再構成画像ｆｒｅのＲＭＳＥは、最大２．９３（％）変化する。なお、この値は、ＵＦＯ前の３．１７（％）よりも小さい。このことは、ＵＦＯが、空間非一様な解像度を有する画像から局所的にエイリアスを良好に除去することも示している（図１５（ｃ）及び（ｄ）参照）。
【００８１】
３）図１４（ｂ）は、ログポーラ空間が小さすぎると、ＵＦＯが同様に機能しないことを示している。図１５（ｅ）と（ｆ）に示されるように、ＦＭＴのローパスフィルタ効果は、エイリアスを低減させるだけでなく、画像ＵＤＦとＵの原信号の高周波成分も除去する。
【００８２】
ＦＭＴは、拡大縮小不変の特徴を抽出する性質をもつため、本質的に解像度の変化にロバストである。ところが、前記空間解像度が非一様性であれば、すなわち、解像度が画像全体で一様でなければ、性能に影響が出る。全体的に、ＵＦＯは、アンチエイリアスフィルタとしてＦＭＴに良く作用する。ＵＦＯは、必要以上に原信号を低減させないので、画像全体に影響を与える全体型のローパスフィルタと比較して、例えば、ＦＭＴのログポーラ空間を小さくする等により、できる限りロバストに精細さを維持して特徴を保存することに適している。
【００８３】
図１６は、本開示の方法１６００のフローチャートを表している。当該方法１６００は、目標画像を提供し（ブロック１６０２）、当該目標画像から歪曲画像を算出し（ブロック１６０４）、前記目標画像と前記歪曲画像との間の偏心度を推定し（ブロック１６０６）、前記目標画像と前記歪曲画像との間の偏心度を補償し（ブロック１６０８）、歪曲中心窩画像をモデリングし（ブロック１６１０）、ログポーラ画像を生成し（ブロック１６１２）、信頼性の低い特徴を除去する（ブロック１６１４）ことを含むことができる。
【００８４】
前記方法１６００において、歪曲中心窩画像のモデリングは、視野を複数領域に分割することを含むと良い。当該複数領域は、少なくとも中心窩領域、傍中心窩領域、近周辺視野領域、及び周辺視野領域とすると良い。
【００８５】
前記方法１６００において、ログポーラ画像の生成は、少なくとも１つを離散化座標で算出することを含むことができる。また、ログポーラ画像の生成は、少なくとも１つをデカルト座標で算出することを含むと良い。更に、偏心度の補償は、マッピングを実行することを含むと良い。
【００８６】
前記方法１６００において、マッピングの実行は、目標画像から歪曲中心窩画像をマッピングすることと、歪曲中心窩画像から補償ログポーラ画像をマッピングすることから選択された少なくとも１のマッピングを含むと良い。また、歪曲中心窩画像の補償ログポーラ画像へのマッピングは、平均二乗平方根誤差を評価することを含むことができる。更に、信頼性の低い特徴の除去は、離散ウェーブレット変換を生成することを含むことが好ましく、信頼性の低い特徴の除去は、離散化誤差の精度を調節するパラメータと、解像度レベルを表す整数とからなる群より選択された少なくとも１の数に基づいて閾値を生成することを含むことも可能である。
【００８７】
また、信頼性の低い特徴の除去は、逆ウェーブレット変換を生成することが好ましい。更に、信頼性の低い特徴の除去は、フーリエ・メリン変換を適用することも含むと良い。
【００８８】
前述の方法１７００若しくは方法１７００の要素は、これらを実行するためのコンピュータで実行可能な命令として、コンピュータで読込可能な記憶媒体に蓄積することも可能である。
【００８９】
当該技術分野における通常の技術を有する者が察するように、前述の手法における要素やブロックは、同時に行うことが可能で、或いは、記載された順序とは異なる順序で行うこともできる。
【００９０】
図１７は、本開示のシステム１７００の代表実施例のブロックダイアグラムを表している。前記システム１７００は、目標画像処理要素１７０２と、当該目標画像処理要素１７０２に連なる歪曲画像算出要素１７０４と、当該歪曲画像算出要素１７０４に連なる偏心推定器１７０６と、前記歪曲画像算出要素１７０４に連なる偏心補償器１７０８と、当該偏心補償器１７０８に連なる歪曲中心窩画像モデラー１７１０と、前記偏心補償器１７０８に連なるログポーラ画像生成器１７１２と、前記偏心補償器１７０８に連なり、信頼性の低い特徴を除去する特徴除去器１７１４とを含むことが好ましい。
【００９１】
システム１７００において、前記歪曲中心窩画像モデラー１７１０は、視野を複数領域に分割可能に構成すると良い。このような複数領域は、中心窩領域、傍中心窩絵領域、近周辺視野領域、及び周辺視野領域から選択すると良い。また、システム１７００において、ログポーラ画像生成器１７１２は、少なくとも１つの離散座標を算出可能に構成すると良い。更に、ログポーラ画像生成器１７１２は、少なくとも１つのデカルト座標を算出可能に構成することができる。また、ログポーラ画像生成器１７１２に付随するように、偏心補償器１７０８は、マッピングを実行可能に構成すると良い。このようなマッピングは、目標画像から歪曲中心窩画像へのマッピングと、歪曲中心窩画像から補償ログポーラ画像へのマッピングとから選択される少なくとも１つのマッピングであることを含むと良い。また、歪曲中心窩画像から補償ログポーラ画像へのマッピングは、平均二乗平方根誤差による評価を含むことが可能である。
【００９２】
前記特徴除去器１７１４は、離散ウェーブレット変換を生成可能に構成すると良い。前記特徴除去器１７１４は、離散化誤差の精度を調節するパラメータと、解像度レベルを表す整数とから選択された少なくとも１の数に基づいて閾値を生成可能に構成することが好ましい。
【００９３】
前記特徴除去器１７１４は、逆ウェーブレット変換を生成可能に構成できる。また、特徴除去器１７１４は、フーリエ・メリン変換を適用可能に構成できる。
【００９４】
本明細書と添付された請求項で用いられるように、「ａ」、「ａｎ」、「ｔｈｅ」等の単数形で表現される用語は、明細書中に明示しない限り、複数形対象をも含んでいる。「複数（ｐｌｕｒａｌｉｔｙ）」なる用語は、明細書中に明示しない限り、２又はより多くの対象を含んでいる。更に、他に記載されない限り、ここで用いられる全ての技術用語と科学用語は、本発明が関連する技術分野における通常の技術を有する者に共通して理解される意味を有する。
【００９５】
まとめると、本発明の各実施例に従って、画像処理プロセッサを形成するためのシステムと方法が記載されている。画像処理システムは、目標画像生成要素と、当該目標画像生成要素に連なる歪曲画像算出要素と、当該歪曲画像算出要素に連なる偏心推定器と、歪曲画像算出要素に連なる偏心補償器と、当該偏心補償器に連なる歪曲中心窩画像モデラーと、前記偏心補償器に連なるログポーラ画像生成器と、前記偏心補償器に連なり、信頼性の低い特徴を除去する特徴除去器とを含むことが好ましい。前記システムを形成するための手法も記載されている。
【００９６】
前述した実施例は、本発明の原理を明確に理解するための単なる実施可能例であることを強調する。本発明の本質から実質的に逸脱しない限り、本発明の前述の実施例に対し、多くの変形や改良が可能である。これらすべての変形や改良は、本開示及び本発明の範囲に含まれるものであり、次の請求の範囲により保護される。
【特許請求の範囲】
【請求項１】
目標画像を提供し、
前記目標画像から歪曲画像を算出し、
前記目標画像と前記歪曲画像の間の偏心度を推定することを特徴とする画像処理方法。
【請求項２】
前記目標画像と前記歪曲画像との間の偏心度を補償することを更に含むことを特徴とする請求項１記載の画像処理方法。
【請求項３】
歪曲中心窩画像をモデリングすることを更に含むことを特徴とする請求項１記載の画像処理方法。
【請求項４】
ログポーラ画像を生成することを更に含むことを特徴とする請求項１記載の画像処理方法。
【請求項５】
信頼性の低い特徴を除去することを更に含むことを特徴とする請求項１記載の画像処理方法。
【請求項６】
前記歪曲中心窩画像のモデリングは、視野を複数領域に分割することを更に含むことを特徴とする請求項３記載の画像処理方法。
【請求項７】
前記複数領域への視野の分割は、
中心窩領域と、
傍中心窩領域と、
近周辺視野領域と、
周辺視野領域と、
からなる群より選択された少なくとも１の領域に視野を分割すること更に含むことを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記ログポーラ画像の生成は、少なくとも１つの離散座標を算出することを含むことを特徴とする請求項４記載の画像処理方法。
【請求項９】
前記ログポーラ画像の生成は、少なくとも１つのデカルト座標を算出することを含むことを特徴とする請求項８記載の画像処理方法。
【請求項１０】
前記偏心度の補償は、マッピングを実行することを含むことを特徴とする請求項２記載の画像処理方法。
【請求項１１】
前記マッピングの実行は、
目標画像から歪曲中心窩画像へのマッピングと、
歪曲中心窩画像から補償ログポーラ画像へのマッピングと、
からなる群より選択された少なくとも１のマッピングを含むことを特徴とする請求項１０記載の画像処理方法。
【請求項１２】
前記少なくとも１つの歪曲中心窩画像から補償ログポーラ画像へのマッピングは、平均二乗平方根誤差を評価することを含むことを特徴とする請求項１１記載の画像処理方法。
【請求項１３】
前記信頼性の低い特徴の除去は、離散ウェーブレット変換を生成することを含むことを特徴とする請求項５記載の画像処理方法。
【請求項１４】
前記信頼性の低い特徴の除去は、
離散化誤差の精度を調節するパラメータと、
解像度レベルを表す整数と、
からなる群より選択された少なくとも１の数に基づいて閾値を生成することを含むことを特徴とする請求項５記載の画像処理方法。
【請求項１５】
前記信頼性の低い特徴の除去は、逆離散ウェーブレット変換を生成することを含むことを特徴とする請求項５記載の画像処理方法。
【請求項１６】
前記信頼性の低い特徴の除去は、フーリエ・メリン変換を適用することを含むことを特徴とする請求項５記載の画像処理方法。
【請求項１７】
目標画像処理要素と、
前記目標画像処理要素に連なる歪曲画像算出要素と、
前記歪曲画像算出要素に連なる偏心推定器と、
を備えたことを特徴とする画像処理システム。
【請求項１８】
前記歪曲画像算出要素に連なる偏心補償器を更に含むことを特徴とする請求項１７記載の画像処理システム。
【請求項１９】
前記偏心推定器に連なる歪曲中心窩画像モデラーを更に含むことを特徴とする請求項１７記載の画像処理システム。
【請求項２０】
前記偏心推定器に連なるログポーラ画像生成器を更に含むことを特徴とする請求項１７記載の画像処理システム。
【請求項２１】
前記偏心推定器に連なり、信頼性の低い特徴を除去する特徴除去器を更に含むことを特徴とする請求項１７記載の画像処理システム。
【請求項２２】
前記歪曲中心窩画像モデラーは、視野を複数領域に分割可能に構成されることを特徴とする請求項１９記載の画像処理システム。
【請求項２３】
前記複数領域の１つは、
中心窩領域と、
傍中心窩領域と、
近周辺視野領域と、
周辺視野領域と、
からなる群より選択されるうちの１つであることを特徴とする請求項２２記載の画像処理システム。
【請求項２４】
前記ログポーラ画像生成器は、少なくとも１つの離散座標を算出可能に構成されることを特徴とする請求項２０記載の画像処理システム。
【請求項２５】
前記ログポーラ画像生成器は、１つのデカルト座標を算出可能に構成されることを特徴とする請求項２４記載の画像処理システム。
【請求項２６】
前記偏心補償器は、マッピングを実行可能に構成されることを特徴とする請求項１８記載の画像処理システム。
【請求項２７】
前記マッピングは、
目標画像から歪曲中心窩画像へのマッピングと、
歪曲中心窩画像から補償ログポーラ画像へのマッピングと、
からなる群より選択されるうちの１つのマッピングであることを特徴とする請求項２６記載の画像処理システム。
【請求項２８】
前記歪曲中心窩画像から補償ログポーラ画像へのマッピングの少なくとも１つは、平均二乗平方根誤差の評価を含むことを特徴とする請求項２７記載の画像処理システム。
【請求項２９】
前記特徴除去器は、離散ウェーブレット変換を生成可能に構成されることを特徴とする請求項２１記載の画像処理システム。
【請求項３０】
前記特徴除去器は、
離散化誤差の精度を調節するパラメータと、
解像度レベルを表す整数と、
からなる群より選択された少なくとも１の数に基づいて閾値を生成可能に構成されていることを特徴とする請求項２１記載の画像処理システム。
【請求項３１】
前記特徴除去器は、逆離散ウェーブレット変換を生成可能に構成されることを特徴とする請求項２１記載の画像処理システム。
【請求項３２】
前記特徴除去器は、フーリエ・メリン変換を適用可能に構成されることを特徴とする請求項２１記載の画像処理システム。
【請求項３３】
目標画像を供給し、
前記目標画像から歪曲画像を算出し、
前記目標画像と前記歪曲画像の間の偏心度を推定するように、
コンピュータを実行させる命令を有することを特徴とするコンピュータで読込可能な記憶媒体。
【請求項１】
目標画像を提供し、
前記目標画像から歪曲画像を算出し、
前記目標画像と前記歪曲画像の間の偏心度を推定することを特徴とする画像処理方法。
【請求項２】
前記目標画像と前記歪曲画像との間の偏心度を補償することを更に含むことを特徴とする請求項１記載の画像処理方法。
【請求項３】
歪曲中心窩画像をモデリングすることを更に含むことを特徴とする請求項１記載の画像処理方法。
【請求項４】
ログポーラ画像を生成することを更に含むことを特徴とする請求項１記載の画像処理方法。
【請求項５】
信頼性の低い特徴を除去することを更に含むことを特徴とする請求項１記載の画像処理方法。
【請求項６】
前記歪曲中心窩画像のモデリングは、視野を複数領域に分割することを更に含むことを特徴とする請求項３記載の画像処理方法。
【請求項７】
前記複数領域への視野の分割は、
中心窩領域と、
傍中心窩領域と、
近周辺視野領域と、
周辺視野領域と、
からなる群より選択された少なくとも１の領域に視野を分割すること更に含むことを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記ログポーラ画像の生成は、少なくとも１つの離散座標を算出することを含むことを特徴とする請求項４記載の画像処理方法。
【請求項９】
前記ログポーラ画像の生成は、少なくとも１つのデカルト座標を算出することを含むことを特徴とする請求項８記載の画像処理方法。
【請求項１０】
前記偏心度の補償は、マッピングを実行することを含むことを特徴とする請求項２記載の画像処理方法。
【請求項１１】
前記マッピングの実行は、
目標画像から歪曲中心窩画像へのマッピングと、
歪曲中心窩画像から補償ログポーラ画像へのマッピングと、
からなる群より選択された少なくとも１のマッピングを含むことを特徴とする請求項１０記載の画像処理方法。
【請求項１２】
前記少なくとも１つの歪曲中心窩画像から補償ログポーラ画像へのマッピングは、平均二乗平方根誤差を評価することを含むことを特徴とする請求項１１記載の画像処理方法。
【請求項１３】
前記信頼性の低い特徴の除去は、離散ウェーブレット変換を生成することを含むことを特徴とする請求項５記載の画像処理方法。
【請求項１４】
前記信頼性の低い特徴の除去は、
離散化誤差の精度を調節するパラメータと、
解像度レベルを表す整数と、
からなる群より選択された少なくとも１の数に基づいて閾値を生成することを含むことを特徴とする請求項５記載の画像処理方法。
【請求項１５】
前記信頼性の低い特徴の除去は、逆離散ウェーブレット変換を生成することを含むことを特徴とする請求項５記載の画像処理方法。
【請求項１６】
前記信頼性の低い特徴の除去は、フーリエ・メリン変換を適用することを含むことを特徴とする請求項５記載の画像処理方法。
【請求項１７】
目標画像処理要素と、
前記目標画像処理要素に連なる歪曲画像算出要素と、
前記歪曲画像算出要素に連なる偏心推定器と、
を備えたことを特徴とする画像処理システム。
【請求項１８】
前記歪曲画像算出要素に連なる偏心補償器を更に含むことを特徴とする請求項１７記載の画像処理システム。
【請求項１９】
前記偏心推定器に連なる歪曲中心窩画像モデラーを更に含むことを特徴とする請求項１７記載の画像処理システム。
【請求項２０】
前記偏心推定器に連なるログポーラ画像生成器を更に含むことを特徴とする請求項１７記載の画像処理システム。
【請求項２１】
前記偏心推定器に連なり、信頼性の低い特徴を除去する特徴除去器を更に含むことを特徴とする請求項１７記載の画像処理システム。
【請求項２２】
前記歪曲中心窩画像モデラーは、視野を複数領域に分割可能に構成されることを特徴とする請求項１９記載の画像処理システム。
【請求項２３】
前記複数領域の１つは、
中心窩領域と、
傍中心窩領域と、
近周辺視野領域と、
周辺視野領域と、
からなる群より選択されるうちの１つであることを特徴とする請求項２２記載の画像処理システム。
【請求項２４】
前記ログポーラ画像生成器は、少なくとも１つの離散座標を算出可能に構成されることを特徴とする請求項２０記載の画像処理システム。
【請求項２５】
前記ログポーラ画像生成器は、１つのデカルト座標を算出可能に構成されることを特徴とする請求項２４記載の画像処理システム。
【請求項２６】
前記偏心補償器は、マッピングを実行可能に構成されることを特徴とする請求項１８記載の画像処理システム。
【請求項２７】
前記マッピングは、
目標画像から歪曲中心窩画像へのマッピングと、
歪曲中心窩画像から補償ログポーラ画像へのマッピングと、
からなる群より選択されるうちの１つのマッピングであることを特徴とする請求項２６記載の画像処理システム。
【請求項２８】
前記歪曲中心窩画像から補償ログポーラ画像へのマッピングの少なくとも１つは、平均二乗平方根誤差の評価を含むことを特徴とする請求項２７記載の画像処理システム。
【請求項２９】
前記特徴除去器は、離散ウェーブレット変換を生成可能に構成されることを特徴とする請求項２１記載の画像処理システム。
【請求項３０】
前記特徴除去器は、
離散化誤差の精度を調節するパラメータと、
解像度レベルを表す整数と、
からなる群より選択された少なくとも１の数に基づいて閾値を生成可能に構成されていることを特徴とする請求項２１記載の画像処理システム。
【請求項３１】
前記特徴除去器は、逆離散ウェーブレット変換を生成可能に構成されることを特徴とする請求項２１記載の画像処理システム。
【請求項３２】
前記特徴除去器は、フーリエ・メリン変換を適用可能に構成されることを特徴とする請求項２１記載の画像処理システム。
【請求項３３】
目標画像を供給し、
前記目標画像から歪曲画像を算出し、
前記目標画像と前記歪曲画像の間の偏心度を推定するように、
コンピュータを実行させる命令を有することを特徴とするコンピュータで読込可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公表番号】特表２０１０−５３００８７（Ｐ２０１０−５３００８７Ａ）
【公表日】平成２２年９月２日（２０１０．９．２）
【国際特許分類】
【出願番号】特願２００９−５４３１９８（Ｐ２００９−５４３１９８）
【出願日】平成１９年１２月１９日（２００７．１２．１９）
【国際出願番号】ＰＣＴ／ＵＳ２００７／０８８２３３
【国際公開番号】ＷＯ２００８／０７７１３４
【国際公開日】平成２０年６月２６日（２００８．６．２６）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り
【出願人】（５０９３１５７００）
【出願人】（５０９３１４７５８）
【Ｆターム（参考）】
【公表日】平成２２年９月２日（２０１０．９．２）
【国際特許分類】
【出願日】平成１９年１２月１９日（２００７．１２．１９）
【国際出願番号】ＰＣＴ／ＵＳ２００７／０８８２３３
【国際公開番号】ＷＯ２００８／０７７１３４
【国際公開日】平成２０年６月２６日（２００８．６．２６）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り
【出願人】（５０９３１５７００）
【出願人】（５０９３１４７５８）
【Ｆターム（参考）】
[ Back to top ]