画像処理方法及びそのための装置
【課題】レンズ歪み補正を用いた画像処理方法及びそのための装置を提供する。
【解決手段】受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出し、上記検出された線分を用いて複数個の曲線を生成する検出部、上記生成された複数個の曲線による費用関数で画像中心からの距離によって重みを適用し、臨界値より小さい長さを持つ曲線をアウトライアと定義し、臨界値より長い長さを持つ曲線をインライアと定義し、上記アウトライアを除去して歪み程度パラメータを推定する最適化部及び、前記歪み程度パラメータを用いてピクセルの位置を補正値で補正する補正部を含んで構成される。これにより、直接撮影した画像でない場合にも、レンズ歪みに対する補正が可能であり、特定のカメラ及び撮像装置でないすべてのレンズを用いた機器を通じて生成された画像に対して補正することができる。
【解決手段】受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出し、上記検出された線分を用いて複数個の曲線を生成する検出部、上記生成された複数個の曲線による費用関数で画像中心からの距離によって重みを適用し、臨界値より小さい長さを持つ曲線をアウトライアと定義し、臨界値より長い長さを持つ曲線をインライアと定義し、上記アウトライアを除去して歪み程度パラメータを推定する最適化部及び、前記歪み程度パラメータを用いてピクセルの位置を補正値で補正する補正部を含んで構成される。これにより、直接撮影した画像でない場合にも、レンズ歪みに対する補正が可能であり、特定のカメラ及び撮像装置でないすべてのレンズを用いた機器を通じて生成された画像に対して補正することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法及びそのための装置に関し、より詳細には、レンズ歪み補正を用いた画像処理方法及びそのための装置に関する。
【背景技術】
【０００２】
近年、コンピュータを用いた画像処理技術は、大容量のメモリチップの開発とともにコンピュータ処理速度が急激に向上することによって産業全般にわたって広く利用されている。特に、工場自動化ラインにおける検査測定部分やリアルタイムＷｅｂ基盤モニタリングシステムなどにおいては必須の要素技術となっている。魚眼レンズのような広角レンズを用いれば、同一のＦＯＶ(Field of View)内でより広い領域のイメージを獲得できる長所があるのに対し、画像の中心から遠くなるほど歪みの程度がひどくなって、このため幾何学的な補正を要する。
【０００３】
入力画像の補正に係り、既存の多くの研究者らがカメラやＶＣＲなどの歪み画像補正技術を発表している。Rahulは広角レンズによる歪み補正のために、放射状歪み(Radial Distortion)と偏心歪み(Decentering Distortion)を総合したカメラ補正方法に関して研究したことがあり、Wengはカメラを通じて入力された画像を補正するアルゴリズムについて研究した。Tsaiは１次ＦＦＴ(Fast Fourier Transform)を用いた補正式を発表し、画像中心点を補正するために剛体(Rigid Body)変換とピンホール(Pin Hole)カメラに対する遠近方程式と２次項で表現される放射状歪み(Radial Distortion)式を用いて補正した。
【０００４】
大半の研究者らは広角が大きくないカメラなどにおいて、対角線方向などに生じる歪みに対する補正モデルの一般的な式を使用し、最小化法(Minimizing Method)を用いてそれぞれの係数を求めて補正し、補正モデルに対する一般式の複雑性のため、高次項を無視し、特定ビジョンの環境と歪み類型に限定して適用した。
【０００５】
光学系の性能を左右する重要な因子として収差(Aberration)が挙げられる。これは一定の曲率と屈折率を持つレンズの属性によって発生する現象であって、結像する際にまともに結像できずにぼけるか歪む現象を言う。
【０００６】
レンズ収差は、通常、球面(Spherical)収差、コマ(Coma)収差、非点(Astigmatism) 収差、像面湾曲(Field Curvation)収差及び歪み(Distortion)収差の５種類に分類され、これを通称してザイデル収差(Seidel Aberration)と言う。
【０００７】
球面収差は、結像するときにレンズの中心を通る垂直軸、すなわち光軸(On Axis)から近い位置から入射した光線よりも光軸から遠い位置から入射した光線がより多く屈折され、結像位置もレンズに近い位置に結像する現象が生じる。
【０００８】
非点収差は、レンズ研磨不良、レンズ材料不良及び温度差などによって発生する。
像面湾曲収差の現象は、光軸から遠く離れた所から入射される光であるほどレンズから近い位置で結像され、よって、焦点は平面上でない球面上に形成されて湾曲した像を作るのである。
【０００９】
歪み収差は、被写体の直線部分が曲がって結像される現象を言う。
色収差は、光がレンズを通過するとき、波長によって屈折の差が生ずるので、屈折の結果、波長の短い光がより大きく屈折してそれぞれ相違に結像され、その結果、物体が色別に滲んで見える。
【００１０】
放射状歪みは安価なレンズを備えたカメラにおいてよく生じ、特殊機能のための魚眼レンズやチルトレンズにおいて特に目立つ。このようなレンズ歪み現象は、レンズを用いたすべての画像装置において発生する問題であり、このようなレンズ歪みの中心点が把握できない場合にはレンズ歪みの補正が不可能であるか、補正するとしても、補正後に新しい歪みが発生することになる。画像歪みの問題は、デジタルイメージングシステム製造者及び核心構成要素の供給者に非常に重要である。
【００１１】
レンズ歪み現象を軽減するためにレンズに特殊な素材を使用するか、複数のレンズを組み合わせて作製する方法を使用することができる。ところが、かかる方法はレンズの値段が上がるため、レンズの入れ替えが不可能な小型カメラにおいては適用が不可能であるという問題点がある。また、複数のレンズを使用する場合、歪み中心がずれる問題が発生する。
【００１２】
このような問題点のため、画像処理を通じてこのような歪みを補正する方法が多く開発されている。現在までの歪み補正技術は、撮影時のカメラセッティングや特定のテストパターンを撮影した画像を用いる方法を主に使用する。付随的な情報なしに画像情報のみを用いてレンズ歪みを補正する自動補正方法の研究へと次第につながっている。
【００１３】
既存の多くの技法の大半は、分析と補正が容易な放射状レンズ歪み補正技法に焦点を合わせている。特に、小型カメラにおけるレンズ歪み補正のために画像処理技法を通じたレンズ歪み補正技法の研究が進行された。主に放射状レンズ歪みに焦点を合わせ、歪みの中心点を基準に歪みの程度を把握してレンズ歪みを補正する技法が研究された。曲線のセット及び直線のセットと曲線のセット間の収差を説明する等式セット全体が解けるように最適化することで、歪んだイメージから補正されたイメージへの全体的な歪み程度を計算することになる。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上記のような問題点を解決するための本発明の第一の目的は、レンズ歪み補正を用いた画像処理装置を提供することにある。
上記のような問題点を解決するための本発明の第二の目的は、レンズ歪み補正を用いた画像処理方法を提供することにある。
【課題を解決するための手段】
【００１５】
上記の本発明の第一の目的を達成するための本発明の一実施例による画像処理装置は、受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出し、上記検出された線分を用いて複数個の曲線を生成する検出部、上記生成された複数個の曲線による費用関数に画像中心からの距離によって重みを適用し、臨界値より小さい長さを持つ曲線をアウトライア(outlier)と、臨界値より長い長さを持つ曲線をインライア(inlier)と定義してアウトライアを除去し、上記インライアのみを用いて費用関数が最小化される歪み程度パラメータを推定する最適化部、及び上記歪み程度パラメータを用いてピクセルの位置を補正値で補正する補正部を含んで構成される。
【００１６】
本発明の第二の目的を達成するための本発明の一実施例による画像処理方法は、受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出し、上記検出された線分を用いて複数個の曲線を生成するステップ、上記生成された複数個の曲線による費用関数に画像中心からの距離によって重みを適用し、臨界値より小さい長さを持つ曲線をアウトライアと、臨界値より長い長さを持つ曲線をインライアと定義するステップ、上記アウトライアを除去し上記インライアのみを用いて費用関数が最小化される歪み程度パラメータを推定するステップ、及び上記歪み程度パラメータを用いてピクセルの位置を補正値で補正するステップを含んで構成される。
【発明の効果】
【００１７】
上記のような本発明によるレンズ歪み補正を用いた画像処理方法及びそのための装置を用いる場合には、直接撮影した画像でない場合にもレンズ歪みに対する補正が可能であり、特定のカメラ及び撮影装置でないすべてのレンズを用いた機器を通じて生成された画像に対して補正が可能であり、レンズ歪みの補正性能を向上させる画像内容と劣化させる画像内容とを区分することにより、補正性能が他の技法に比べて優れている。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施例による画像処理装置の内部構造を概略に示す図面である。
【図２】本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングの構造を示す図面である。
【図３】本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによってレンズ歪みが発生していない画像の例示図である。
【図４】本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによるレンズ歪み発生画像の例示図である。
【図５】本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによるレンズ歪み発生画像の例示図である。
【図６】本発明の一実施例による画像処理装置の検出部１０２が曲線を検出する過程を説明するための例示図である。
【図７】本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による重みを適用していない費用関数によるレンズ歪み補正パラメータによる誤差ピクセルの比率を示すグラフである。
【図８】本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による重みを適用する費用関数によるレンズ歪み補正パラメータによる誤差ピクセルの比率を示すグラフである。
【図９】本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による費用関数に曲線とレンズ歪み中心との距離に応じて重みを適用し、曲線をアウトライア及びインライアに区分する場合を説明するための例示図である。
【図１０】本発明の一実施例による画像処理過程を説明するためのフローチャートである。
【図１１】本発明の一実施例による画像処理装置を用いてレンズ歪み補正の実行前／後を説明するための例示図である。
【図１２】本発明の一実施例による画像処理装置を用いてレンズ歪み補正の実行前／後を説明するための例示図である。
【発明を実施するための形態】
【００１９】
本発明は、様々な変更を加えることができ、種々の実施例を有することができるところ、特定の実施例を図面に例示して詳細な説明において詳しく説明する。ところが、これは本発明を特定の実施形態に限定しようとするのではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。各図面を説明しながら類似の参照符号を類似の構成要素に対して使用した。
【００２０】
第１、第２、Ａ、Ｂなどの用語は、多様な構成要素を説明するのに使用されることができるが、上記構成要素は上記用語によって限定されてはいけない。上記用語は、一つの構成要素を他の構成要素から区別する目的のみで使用される。例えば、本発明の権利範囲から逸脱せずに第１の構成要素は第２の構成要素と名づけられることもあり、同様に第２の構成要素も第１の構成要素と名づけられることもある。及び／又はという用語は、複数の関連する記載項目の組み合わせ又は複数の関連する記載項目中のいずれかの項目を含む。
【００２１】
ある構成要素が他の構成要素に「連結されて」いるか「接続されて」いると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されていることもあるが、中間に他の構成要素が存在することもあると理解すべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いるか「直接接続されて」いると言及されたときには、中間に他の構成要素が存在しないものと理解すべきであろう。
【００２２】
本出願において使用した用語は単に特定の実施例を説明するために使用されたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈からして明白に異なる意味でない限り、複数の表現を含む。本出願において、「含む」または「持つ」などの用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加可能性をあらかじめ排除しないものと理解されるべきである。
【００２３】
他に定義されない限り、技術的や科学的な用語をはじめ、ここで使用されるすべての用語は、本発明の属する技術分野における通常の知識を有する者によって一般的に理解されるものと同一の意味を持っている。一般的に使用される辞書に定義されているような用語は、関連技術の文脈上の意味と一致する意味を持つものと解釈されるべきであり、本出願において明白に定義しない限り、理想的であるか過度に形式的な意味と解釈されない。
【００２４】
以下、本発明に係る好ましい実施例を、添付の図面を参照して詳細に説明する。
図１は、本発明の一実施例による画像処理装置の内部構造を概略に示す図面である。図１を参照すれば、画像処理装置は、受信部１０１、検出部１０２、最適化部１０３、及び補正部１０４を含んで構成される。
【００２５】
検出部１０２は、受信部１０１から受信されたレンズ歪み発生画像のエッジ部分でピクセル情報を一つのグループとして線分を検出する。また、検出部１０２は、検出された線のうち臨界値より短い線分は連結させて曲線を生成し、線分間距離と角度がずれた線同士を連結させて曲線を生成する。
【００２６】
最適化部１０３は、検出部１０２によって生成された曲線による費用関数を画像中心からの距離によって重みを適用し、臨界値より小さい長さを持つ曲線をアウトライアと、臨界値より長い長さを持つ曲線をインライアと定義し、アウトライア及びインライアのうちアウトライアを除去して費用関数が最小化される歪み程度パラメータを推定する。本発明の一実施例によれば、最適化部１０３は、Ransac技法に基づいてＭ個の線分のうちランダムで一つの線分を選択し、選択された線分の歪み程度に最も主な影響を及ぼす歪み程度パラメータκ3による費用関数が最小となる歪みパラメータをLevenberg-marquardt方法を用いて推定し、推定された歪みパラメータを用いてＭ個のすべての線分に対して後述する〔数１〕を用いて直線化させた後、検出された曲線を構成するすべてのピクセルに対する誤差を求め、この誤差の絶対値が特定臨界値を超えるピクセルの個数を数え、この個数が曲線に占めるピクセル個数に応じた特定の比率以上である場合、この曲線をアウトライアと推定してこれを除去する。
【００２７】
最適化部１０３は、Ransac技法を用いるに際し、費用関数は直線化された曲線と原本曲線とのピクセル間の距離で表し、費用関数が最小化されるパラメータを見つけるために、後述する〔数５〕のような２次項を使用したが、本発明の範囲が〔数５〕のような費用関数にのみ限定されるのではなく、最小化させることのできるすべてのモデルに適用され得ることを理解すべきであろう。
【００２８】
補正部１０４は、最適化部１０３によって推定された歪み程度パラメータを用いてピクセルの位置を補正する。このとき、補正値は、ピクセル座標値の周辺領域で補正されたピクセル値の間で補間を用いて設定された値である。次に、以下では、図２を参照し、本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングの構造をより具体的に説明する。
【００２９】
図２は、本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングの構造を示す図面である。
図２を参照すれば、Ｐu＝（ｘu，ｙu）はレンズ歪みが発生していない画像の座標であり、Ｐd＝（ｘd，ｙd）はレンズ歪み発生画像の座標である。放射状レンズ歪みは、レンズ歪み発生画像の座標に該当するピクセルから画像中心Ｏ(２０１)までの距離の関数でモデリングされる。レンズ歪みモデリングは〔数１〕のように記述される。
【００３０】
【数１】
〔数１〕を参照すれば、ｒdはレンズ歪み発生画像内に歪みが生じたピクセルからイメージ中心までの距離を示し、下記〔数２〕のように表現される。
【００３１】
【数２】
ｘuはレンズ歪みが発生していない画像のＸ座標を示し、ｙuはレンズ歪みが発生していない画像のＹ座標を示し、ｘdはレンズ歪み発生画像のＸ座標を示し、ｙdはレンズ歪み発生画像のＹ座標を示す。Ｃxは画像中心のＸ座標を示し、Ｃyは画像中心のＹ座標を示す。κはレンズ歪みの程度を示すパラメータである。レンズ歪みの程度を示すパラメータκはレンズ歪みが発生していない画像の座標Ｐu＝（ｘu，ｙu）２０２からレンズ歪み発生画像の座標Ｐd＝（ｘd，ｙd）２０３に移動することになる。レンズ歪みの程度を示すパラメーターκの移動は特定の座標にのみ限っておらず、画像全体で固定したκ値で距離に応じた歪みが生ずるようになる。
【００３２】
一般的に安価のレンズを用いた画像撮影機器の場合、製品メーカーは通常、工場収差パラメータを提供しない。よって、デジタル画像撮影機器メーカーは度々工場収差補正に対して何らの措置も取らないため、レンズ歪みが発生する。次に、図３ないし図５を参照し、本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによってレンズ歪みが発生していない画像及びレンズ歪み発生画像を説明する。
【００３３】
図３は、本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによってレンズ歪みが発生していない画像の例示図であり、図４及び図５は、本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによってレンズ歪み発生画像の例示図である。
【００３４】
図３ないし図５を参照すれば、図３はレンズ歪みが発生していない一般的な画像を示し、図４は本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによってバレル歪みが発生したレンズ歪み発生画像を示し、図５は本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによってピンクッション歪みが発生したレンズ歪み発生画像を示す。以下では、〔数３〕を参照し、図４及び図５のようにバレル歪み及びピンクッション歪みが発生したと判断する、簡便化されたモデルを説明する。
【００３５】
【数３】
〔数３〕を参照すれば、ｒdはレンズ歪み発生画像内に歪みが生じたピクセルからイメージ中心までの距離を示し、下記〔数４〕のように表現される。
【００３６】
【数４】
Ｘuはレンズ歪みが発生していない画像のＸ座標を示し、ｙuはレンズ歪みが発生していない画像のＹ座標を示し、Ｘdはレンズ歪み発生画像のＸ座標を示し、ｙdはレンズ歪み発生画像のＹ座標を示す。κはレンズ歪みの程度を示すパラメータである。κiのうちκ3値が歪み程度に最も主な影響を及ぼすものと分析された場合、κ3のみを考慮して歪み程度を推定する。κ3が０より大きければ、図４のようにバレル歪みが発生した場合であると判断される。一方、κ3が０より小さければ、図５のようにピンクッション歪みが発生した場合であると判断される。このように歪みの程度を示すパラメータκを自動で誘導するため、使用者がグレードアップされたキャリブレーションを行うことができ、デジタル画像撮影機器メーカーは、高品質の映像撮影機器において安価なレンズを使用することができる。次に、図６を参照し、本発明の一実施例による画像処理装置の検出部１０２が曲線を検出する過程をより具体的に説明する。
【００３７】
図６は、本発明の一実施例による画像処理装置の検出部１０２が曲線を検出する過程を説明するための例示図である。
図６を参照すれば、検出部１０２は受信部１０１から受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出する。このとき、検出部１０２が画像内の線分を検出すれば、曲線をなす複数個の短い線分６０１、６０２、６０３、６０４が検出される。よって、検出部１０２は、一つの曲線をなしている多様な線分を一つのグループとするためには、線分間の関係をよく見てどのグループに属するかを決定する。このために検出部１０２は、線分を同じグループ、すなわち同じ曲線に属するようにするために、それぞれの線分に対して線分間の距離ｐ（６００ａ）、線分間の角度ａ（６００ｂ）及び線分の垂直距離ｄ（６００ｃ）を測定しながら線分を連結する。まず、検出部１０２は、線分間の距離６００ａ、線分間の角度６００ｂ及び線分の垂直距離６００ｃがいずれも臨界値より小さい場合に、一グループと指定し、line １（６０１）と連結された線はline ２（６０２）に限定する。このような線分が連結された曲線を示すグループを表現することができ、それぞれのグループは一曲線をなすピクセル値を保存する。
【００３８】
最適化部１０３は、このような検出された曲線を用いて曲線が直線化されるレンズ歪みパラメータを推定するが、検出部１０２によって検出された曲線が非常に短い場合、レンズ歪みパラメータを推定しにくいだけでなく、推定誤差が大きく発生する。また、画像に示される曲線の中ではレンズ歪みによって直線が曲線に曲がった線も存在するが、実際に撮影した被写体が曲線を含んでいる場合も存在する。特に、レンズ歪みが画像の中心近傍で生じた場合、中心との距離が近くてレンズ歪みが非常に少なく発生する。かかる理由から、最適化部１０３がレンズ歪み程度パラメータ推定の際に、中心との距離が近くて歪みが少なく生じた線を含んで歪みパラメーターを推定すると、正確度が下がって補正部１０４が補正を正確に行うことができない。
【００３９】
このような理由から、最適化部１０３は検出部１０２によって生成された曲線による費用関数を画像中心からの距離によって重みを適用し、曲線をアウトライア及びインライアに区分し、アウトライアを除去した後、インライアを用いて歪みパラメータを推定する。本発明の一実施例によれば、最適化部１０３は、Ransac技法に基づいて検出部１０２によって生成されたＭ個の曲線のうちランダムで一つの曲線を選択し、選択された曲線が歪み程度に最も主な影響を及ぼす歪み程度パラメータκ3による費用関数が最小となる歪みパラメータをLevenberg-marquardt方法を用いて推定する。最適化部１０３は、推定された歪みパラメータを用いてＭ個のすべての曲線に対して後述する〔数１〕を用いて直線化させた後、検出された曲線を構成するすべてのピクセルに対する誤差を求め、この誤差の絶対値が特定の臨界値を超えるピクセルの個数を数え、この個数が曲線に占めるピクセル個数に応じた特定の比率以上である場合、この曲線をアウトライアと定義する。
【００４０】
本発明の一実施例によれば、最適化部１０３はRansac技法を用いるに際し、費用関数は直線化された曲線と原本曲線とのピクセル間の距離で表し、費用関数が最小化されるパラメータを見つけるために後述する〔数５〕のような２次項を使用したが、本発明の範囲が〔数５〕のような費用関数にのみ限定されるのではなく、最小化させることのできるすべてのモデルに適用され得ることを理解すべきであろう。
【００４１】
また、最適化部１０３は、インライアのみを用いて費用関数が最小化される歪み程度パラメータを推定する。
【００４２】
【数５】
図７は、本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による重みを適用していない費用関数によるレンズ歪み補正パラメータによる誤差ピクセルの比率を示すグラフであり、図８は、本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による重みを適用する費用関数によるレンズ歪み補正パラメータによる誤差ピクセルの比率を示すグラフである。
【００４３】
図７及び図８を参照すれば、最適化部１０３が検出部１０２によって生成された曲線による〔数５〕の費用関数を使用すれば、図７のようなレンズ歪み補正パラメータによるアウトライア区分性能が示される。これはレンズ歪み画像の中心に近い線がパラメータの変化による敏感度が少なく示され、２０％の臨界値を使用した場合、非常に広いκ3の変化領域に対してアウトライアとならない問題を引き起こす。このような理由から、最適化部１０３が検出部１０２によって生成された曲線による費用関数に曲線とレンズ歪み中心との距離に応じた重みを適用する場合、レンズ歪み補正パラメータによるアウトライアが誘発されてアウトライア除去方法の性能を向上させ、レンズ歪み補正機能を向上させることができる。次に、図９を参照し、本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による費用関数に曲線とレンズ歪み中心との距離に応じて重みを適用し、曲線をアウトライア及びインライアに区分する場合を説明する。
【００４４】
図９は、本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による費用関数に曲線とレンズ歪み中心との距離に応じて重みを適用し、曲線をアウトライア及びインライアに区分する場合を説明するための例示図である。
【００４５】
図９を参照すれば、最適化部１０３は検出部１０２によって生成された曲線による費用関数に曲線とレンズ歪み中心との距離によって重みを適用し、曲線をアウトライア及びインライアに区分する。また、最適化部１０３が、費用関数が最小化されるパラメータを見つけるために、〔数６〕のような対角線長さを用いる。本発明の範囲が〔数６〕のような重みにのみ限定されるのではなく、曲線とレンズ歪みの中心との距離を用いたすべてのモデルに適用され得ることを理解すべきであろう。
【００４６】
【数６】
最適化部１０３は、検出部１０２によって生成された曲線による費用関数に曲線とレンズ歪み中心との距離によって〔数６〕のような重みを適用すれば、上述した図８の点線のようにレンズ歪み補正パラメータによるアウトライア区分性能が生じ、これは点線で示されるようにline ３に対して臨界値を超えるピクセルの比率が変化してアウトライア検出性能が変化する。
【００４７】
最適化部１０３は、アウトライア及びインライラのうち〔数６〕のような重みを持つ費用関数を持つRansac技法を用いてアウトライアを除去する。その後、最適化部１０３はインライアのみが残った曲線のグループを用いてインライアの歪み程度に最も主な影響を及ぼす歪み程度パラメータκ3による費用関数を求め、全体インライアに対する費用関数が最小になる歪み程度に最も主な影響を及ぼす歪み程度パラメータκ3値を推定し、最終的なレンズ歪み程度パラメータκ3を見つける。
【００４８】
補正部１０４は、最適化部１０３の推定によって歪み程度に最も主な影響を及ぼす歪み程度パラメータκ3の推定が完了すれば、〔数３〕を用いて画像全体のピクセルに対して新しい座標値を生成し、生成された座標値を、線形補間法を用いて最終的にレンズ歪み補正が行われた画像を作製する。次に、図１０を参照し、本発明の一実施例による画像処理過程をより具体的に説明する。
【００４９】
図１０は、本発明の一実施例による画像処理過程を説明するためのフローチャートである。
図１０を参照すれば、画像処理装置は、受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出する（Ｓ１００１）。このとき、画像処理装置は画像内の線分を検出すれば、曲線をなす複数個の短い線分が検出される。
【００５０】
画像処理装置は、検出された線分を用いて複数個の曲線を生成する(Ｓ１００２)。画像処理装置は、一つの曲線をなしている多様な線分を一つのグループとするためには、線分間の関係をよく見てどのグループに属するかを決定する。このために画像処理装置は線分を同じグループ、すなわち同じ曲線に属するようにするために、それぞれの線分に対して線分間の距離ｐ、線分間の角度ａ及び線分の垂直距離ｄを測定しながら線分を連結する。まず、検出部１０２は、線分間の距離、線分間の角度及び線分の垂直距離がいずれも臨界値より小さい場合に一グループとして指定し、曲線を生成する。このような線分が連結された曲線を示すグループを表現することができ、それぞれのグループは一曲線をなすピクセル値を保存する。
【００５１】
画像処理装置は、生成された複数個の曲線による費用関数に画像中心からの距離によって重みを適用し、臨界値より小さい長さを持つ曲線をアウトライアと、臨界値より長い長さを持つ曲線をインライアと定義する(Ｓ１００３)。
【００５２】
画像処理装置は、アウトライアを除去し(Ｓ１００４)、インライアのみを用いて費用関数が最小化される歪み程度パラメータを推定する(Ｓ１００５)。本発明の一実施例によれば、画像処理装置は、Ransac技法に基づいてＭ個の曲線のうちランダムで一つの曲線を選択し、選択された曲線が歪み程度に最も主な影響を及ぼす歪み程度パラメーターκ3による費用関数が最小になる歪みパラメータをLevenberg-marquardt方法を用いて推定する。画像処理装置は、推定された歪みパラメータを用いてＭ個のすべての曲線に対して〔数１〕を用いて直線化させた後、検出された曲線を構成するすべてのピクセルに対する誤差を求め、この誤差の絶対値が特定の臨界値を超えるピクセルの個数を数え、この個数が曲線に占めるピクセル個数に応じた特定の比率以上である場合、この曲線をアウトライアと定義して除去する。本発明の一実施例によれば、画像処理装置はRansac技法を用いるに際し、費用関数は直線化された曲線と原本曲線とのピクセル間の距離で表され、費用関数が最小化されるパラメータを見つけるために、〔数５〕のような２次項を使用したが、本発明の範囲が〔数５〕のような費用関数にのみ限定されるのではなく、最小化させることのできるすべてのモデルに適用され得ることを理解すべきであろう。
【００５３】
画像処理装置は、歪み程度パラメータを用いてピクセルの位置を補正値で補正する(Ｓ１００５)。このとき、補正値は、ピクセル座標値の周辺領域で補正されたピクセル値の間で補間を用いて設定された値である。次に、図１１及び図１２を参照し、本発明の一実施例による画像処理装置を用いてレンズ歪み補正の実行前／後を説明する。
【００５４】
図１１及び図１２は、本発明の一実施例による画像処理装置を用いてレンズ歪み補正の実行前／後を説明するための例示図である。
図１１及び図１２を参照すれば、左側画像１１０１、１２０１はレンズ歪み発生画像を示し、右側画像１１０２、１２０２の赤色で表示した部分はアウトライア除去過程を経てアウトライアと定義された部分であり、緑色で表示された部分はインライアと定義されてレンズ歪み補正パラメータ推定に使用された部分である。図１１及び図１２の補正前のレンズ歪み発生画像１１０１、１２０１と補正後の画像１１０２、１２０２とを比較すれば、補正前の画像１１０１、１２０１において建物が曲がって見える現象が、補正後の画像１１０２、１２０２においては真直ぐ見えるか、より直線化されていることが分かる。
【００５５】
上記においては、本発明の好ましい実施例を参照して説明したが、当該技術分野における熟練した当業者は、特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で、本発明を多様に修正及び変更させ得ることを理解できるであろう。
【符号の説明】
【００５６】
１０１：受信部
１０２：検出部
１０３：最適化部
１０４：補正部
【技術分野】
【０００１】
本発明は、画像処理方法及びそのための装置に関し、より詳細には、レンズ歪み補正を用いた画像処理方法及びそのための装置に関する。
【背景技術】
【０００２】
近年、コンピュータを用いた画像処理技術は、大容量のメモリチップの開発とともにコンピュータ処理速度が急激に向上することによって産業全般にわたって広く利用されている。特に、工場自動化ラインにおける検査測定部分やリアルタイムＷｅｂ基盤モニタリングシステムなどにおいては必須の要素技術となっている。魚眼レンズのような広角レンズを用いれば、同一のＦＯＶ(Field of View)内でより広い領域のイメージを獲得できる長所があるのに対し、画像の中心から遠くなるほど歪みの程度がひどくなって、このため幾何学的な補正を要する。
【０００３】
入力画像の補正に係り、既存の多くの研究者らがカメラやＶＣＲなどの歪み画像補正技術を発表している。Rahulは広角レンズによる歪み補正のために、放射状歪み(Radial Distortion)と偏心歪み(Decentering Distortion)を総合したカメラ補正方法に関して研究したことがあり、Wengはカメラを通じて入力された画像を補正するアルゴリズムについて研究した。Tsaiは１次ＦＦＴ(Fast Fourier Transform)を用いた補正式を発表し、画像中心点を補正するために剛体(Rigid Body)変換とピンホール(Pin Hole)カメラに対する遠近方程式と２次項で表現される放射状歪み(Radial Distortion)式を用いて補正した。
【０００４】
大半の研究者らは広角が大きくないカメラなどにおいて、対角線方向などに生じる歪みに対する補正モデルの一般的な式を使用し、最小化法(Minimizing Method)を用いてそれぞれの係数を求めて補正し、補正モデルに対する一般式の複雑性のため、高次項を無視し、特定ビジョンの環境と歪み類型に限定して適用した。
【０００５】
光学系の性能を左右する重要な因子として収差(Aberration)が挙げられる。これは一定の曲率と屈折率を持つレンズの属性によって発生する現象であって、結像する際にまともに結像できずにぼけるか歪む現象を言う。
【０００６】
レンズ収差は、通常、球面(Spherical)収差、コマ(Coma)収差、非点(Astigmatism) 収差、像面湾曲(Field Curvation)収差及び歪み(Distortion)収差の５種類に分類され、これを通称してザイデル収差(Seidel Aberration)と言う。
【０００７】
球面収差は、結像するときにレンズの中心を通る垂直軸、すなわち光軸(On Axis)から近い位置から入射した光線よりも光軸から遠い位置から入射した光線がより多く屈折され、結像位置もレンズに近い位置に結像する現象が生じる。
【０００８】
非点収差は、レンズ研磨不良、レンズ材料不良及び温度差などによって発生する。
像面湾曲収差の現象は、光軸から遠く離れた所から入射される光であるほどレンズから近い位置で結像され、よって、焦点は平面上でない球面上に形成されて湾曲した像を作るのである。
【０００９】
歪み収差は、被写体の直線部分が曲がって結像される現象を言う。
色収差は、光がレンズを通過するとき、波長によって屈折の差が生ずるので、屈折の結果、波長の短い光がより大きく屈折してそれぞれ相違に結像され、その結果、物体が色別に滲んで見える。
【００１０】
放射状歪みは安価なレンズを備えたカメラにおいてよく生じ、特殊機能のための魚眼レンズやチルトレンズにおいて特に目立つ。このようなレンズ歪み現象は、レンズを用いたすべての画像装置において発生する問題であり、このようなレンズ歪みの中心点が把握できない場合にはレンズ歪みの補正が不可能であるか、補正するとしても、補正後に新しい歪みが発生することになる。画像歪みの問題は、デジタルイメージングシステム製造者及び核心構成要素の供給者に非常に重要である。
【００１１】
レンズ歪み現象を軽減するためにレンズに特殊な素材を使用するか、複数のレンズを組み合わせて作製する方法を使用することができる。ところが、かかる方法はレンズの値段が上がるため、レンズの入れ替えが不可能な小型カメラにおいては適用が不可能であるという問題点がある。また、複数のレンズを使用する場合、歪み中心がずれる問題が発生する。
【００１２】
このような問題点のため、画像処理を通じてこのような歪みを補正する方法が多く開発されている。現在までの歪み補正技術は、撮影時のカメラセッティングや特定のテストパターンを撮影した画像を用いる方法を主に使用する。付随的な情報なしに画像情報のみを用いてレンズ歪みを補正する自動補正方法の研究へと次第につながっている。
【００１３】
既存の多くの技法の大半は、分析と補正が容易な放射状レンズ歪み補正技法に焦点を合わせている。特に、小型カメラにおけるレンズ歪み補正のために画像処理技法を通じたレンズ歪み補正技法の研究が進行された。主に放射状レンズ歪みに焦点を合わせ、歪みの中心点を基準に歪みの程度を把握してレンズ歪みを補正する技法が研究された。曲線のセット及び直線のセットと曲線のセット間の収差を説明する等式セット全体が解けるように最適化することで、歪んだイメージから補正されたイメージへの全体的な歪み程度を計算することになる。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上記のような問題点を解決するための本発明の第一の目的は、レンズ歪み補正を用いた画像処理装置を提供することにある。
上記のような問題点を解決するための本発明の第二の目的は、レンズ歪み補正を用いた画像処理方法を提供することにある。
【課題を解決するための手段】
【００１５】
上記の本発明の第一の目的を達成するための本発明の一実施例による画像処理装置は、受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出し、上記検出された線分を用いて複数個の曲線を生成する検出部、上記生成された複数個の曲線による費用関数に画像中心からの距離によって重みを適用し、臨界値より小さい長さを持つ曲線をアウトライア(outlier)と、臨界値より長い長さを持つ曲線をインライア(inlier)と定義してアウトライアを除去し、上記インライアのみを用いて費用関数が最小化される歪み程度パラメータを推定する最適化部、及び上記歪み程度パラメータを用いてピクセルの位置を補正値で補正する補正部を含んで構成される。
【００１６】
本発明の第二の目的を達成するための本発明の一実施例による画像処理方法は、受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出し、上記検出された線分を用いて複数個の曲線を生成するステップ、上記生成された複数個の曲線による費用関数に画像中心からの距離によって重みを適用し、臨界値より小さい長さを持つ曲線をアウトライアと、臨界値より長い長さを持つ曲線をインライアと定義するステップ、上記アウトライアを除去し上記インライアのみを用いて費用関数が最小化される歪み程度パラメータを推定するステップ、及び上記歪み程度パラメータを用いてピクセルの位置を補正値で補正するステップを含んで構成される。
【発明の効果】
【００１７】
上記のような本発明によるレンズ歪み補正を用いた画像処理方法及びそのための装置を用いる場合には、直接撮影した画像でない場合にもレンズ歪みに対する補正が可能であり、特定のカメラ及び撮影装置でないすべてのレンズを用いた機器を通じて生成された画像に対して補正が可能であり、レンズ歪みの補正性能を向上させる画像内容と劣化させる画像内容とを区分することにより、補正性能が他の技法に比べて優れている。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施例による画像処理装置の内部構造を概略に示す図面である。
【図２】本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングの構造を示す図面である。
【図３】本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによってレンズ歪みが発生していない画像の例示図である。
【図４】本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによるレンズ歪み発生画像の例示図である。
【図５】本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによるレンズ歪み発生画像の例示図である。
【図６】本発明の一実施例による画像処理装置の検出部１０２が曲線を検出する過程を説明するための例示図である。
【図７】本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による重みを適用していない費用関数によるレンズ歪み補正パラメータによる誤差ピクセルの比率を示すグラフである。
【図８】本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による重みを適用する費用関数によるレンズ歪み補正パラメータによる誤差ピクセルの比率を示すグラフである。
【図９】本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による費用関数に曲線とレンズ歪み中心との距離に応じて重みを適用し、曲線をアウトライア及びインライアに区分する場合を説明するための例示図である。
【図１０】本発明の一実施例による画像処理過程を説明するためのフローチャートである。
【図１１】本発明の一実施例による画像処理装置を用いてレンズ歪み補正の実行前／後を説明するための例示図である。
【図１２】本発明の一実施例による画像処理装置を用いてレンズ歪み補正の実行前／後を説明するための例示図である。
【発明を実施するための形態】
【００１９】
本発明は、様々な変更を加えることができ、種々の実施例を有することができるところ、特定の実施例を図面に例示して詳細な説明において詳しく説明する。ところが、これは本発明を特定の実施形態に限定しようとするのではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。各図面を説明しながら類似の参照符号を類似の構成要素に対して使用した。
【００２０】
第１、第２、Ａ、Ｂなどの用語は、多様な構成要素を説明するのに使用されることができるが、上記構成要素は上記用語によって限定されてはいけない。上記用語は、一つの構成要素を他の構成要素から区別する目的のみで使用される。例えば、本発明の権利範囲から逸脱せずに第１の構成要素は第２の構成要素と名づけられることもあり、同様に第２の構成要素も第１の構成要素と名づけられることもある。及び／又はという用語は、複数の関連する記載項目の組み合わせ又は複数の関連する記載項目中のいずれかの項目を含む。
【００２１】
ある構成要素が他の構成要素に「連結されて」いるか「接続されて」いると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されていることもあるが、中間に他の構成要素が存在することもあると理解すべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いるか「直接接続されて」いると言及されたときには、中間に他の構成要素が存在しないものと理解すべきであろう。
【００２２】
本出願において使用した用語は単に特定の実施例を説明するために使用されたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈からして明白に異なる意味でない限り、複数の表現を含む。本出願において、「含む」または「持つ」などの用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加可能性をあらかじめ排除しないものと理解されるべきである。
【００２３】
他に定義されない限り、技術的や科学的な用語をはじめ、ここで使用されるすべての用語は、本発明の属する技術分野における通常の知識を有する者によって一般的に理解されるものと同一の意味を持っている。一般的に使用される辞書に定義されているような用語は、関連技術の文脈上の意味と一致する意味を持つものと解釈されるべきであり、本出願において明白に定義しない限り、理想的であるか過度に形式的な意味と解釈されない。
【００２４】
以下、本発明に係る好ましい実施例を、添付の図面を参照して詳細に説明する。
図１は、本発明の一実施例による画像処理装置の内部構造を概略に示す図面である。図１を参照すれば、画像処理装置は、受信部１０１、検出部１０２、最適化部１０３、及び補正部１０４を含んで構成される。
【００２５】
検出部１０２は、受信部１０１から受信されたレンズ歪み発生画像のエッジ部分でピクセル情報を一つのグループとして線分を検出する。また、検出部１０２は、検出された線のうち臨界値より短い線分は連結させて曲線を生成し、線分間距離と角度がずれた線同士を連結させて曲線を生成する。
【００２６】
最適化部１０３は、検出部１０２によって生成された曲線による費用関数を画像中心からの距離によって重みを適用し、臨界値より小さい長さを持つ曲線をアウトライアと、臨界値より長い長さを持つ曲線をインライアと定義し、アウトライア及びインライアのうちアウトライアを除去して費用関数が最小化される歪み程度パラメータを推定する。本発明の一実施例によれば、最適化部１０３は、Ransac技法に基づいてＭ個の線分のうちランダムで一つの線分を選択し、選択された線分の歪み程度に最も主な影響を及ぼす歪み程度パラメータκ3による費用関数が最小となる歪みパラメータをLevenberg-marquardt方法を用いて推定し、推定された歪みパラメータを用いてＭ個のすべての線分に対して後述する〔数１〕を用いて直線化させた後、検出された曲線を構成するすべてのピクセルに対する誤差を求め、この誤差の絶対値が特定臨界値を超えるピクセルの個数を数え、この個数が曲線に占めるピクセル個数に応じた特定の比率以上である場合、この曲線をアウトライアと推定してこれを除去する。
【００２７】
最適化部１０３は、Ransac技法を用いるに際し、費用関数は直線化された曲線と原本曲線とのピクセル間の距離で表し、費用関数が最小化されるパラメータを見つけるために、後述する〔数５〕のような２次項を使用したが、本発明の範囲が〔数５〕のような費用関数にのみ限定されるのではなく、最小化させることのできるすべてのモデルに適用され得ることを理解すべきであろう。
【００２８】
補正部１０４は、最適化部１０３によって推定された歪み程度パラメータを用いてピクセルの位置を補正する。このとき、補正値は、ピクセル座標値の周辺領域で補正されたピクセル値の間で補間を用いて設定された値である。次に、以下では、図２を参照し、本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングの構造をより具体的に説明する。
【００２９】
図２は、本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングの構造を示す図面である。
図２を参照すれば、Ｐu＝（ｘu，ｙu）はレンズ歪みが発生していない画像の座標であり、Ｐd＝（ｘd，ｙd）はレンズ歪み発生画像の座標である。放射状レンズ歪みは、レンズ歪み発生画像の座標に該当するピクセルから画像中心Ｏ(２０１)までの距離の関数でモデリングされる。レンズ歪みモデリングは〔数１〕のように記述される。
【００３０】
【数１】
〔数１〕を参照すれば、ｒdはレンズ歪み発生画像内に歪みが生じたピクセルからイメージ中心までの距離を示し、下記〔数２〕のように表現される。
【００３１】
【数２】
ｘuはレンズ歪みが発生していない画像のＸ座標を示し、ｙuはレンズ歪みが発生していない画像のＹ座標を示し、ｘdはレンズ歪み発生画像のＸ座標を示し、ｙdはレンズ歪み発生画像のＹ座標を示す。Ｃxは画像中心のＸ座標を示し、Ｃyは画像中心のＹ座標を示す。κはレンズ歪みの程度を示すパラメータである。レンズ歪みの程度を示すパラメータκはレンズ歪みが発生していない画像の座標Ｐu＝（ｘu，ｙu）２０２からレンズ歪み発生画像の座標Ｐd＝（ｘd，ｙd）２０３に移動することになる。レンズ歪みの程度を示すパラメーターκの移動は特定の座標にのみ限っておらず、画像全体で固定したκ値で距離に応じた歪みが生ずるようになる。
【００３２】
一般的に安価のレンズを用いた画像撮影機器の場合、製品メーカーは通常、工場収差パラメータを提供しない。よって、デジタル画像撮影機器メーカーは度々工場収差補正に対して何らの措置も取らないため、レンズ歪みが発生する。次に、図３ないし図５を参照し、本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによってレンズ歪みが発生していない画像及びレンズ歪み発生画像を説明する。
【００３３】
図３は、本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによってレンズ歪みが発生していない画像の例示図であり、図４及び図５は、本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによってレンズ歪み発生画像の例示図である。
【００３４】
図３ないし図５を参照すれば、図３はレンズ歪みが発生していない一般的な画像を示し、図４は本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによってバレル歪みが発生したレンズ歪み発生画像を示し、図５は本発明の一実施例による画像処理装置に適用されるレンズ歪みモデリングによってピンクッション歪みが発生したレンズ歪み発生画像を示す。以下では、〔数３〕を参照し、図４及び図５のようにバレル歪み及びピンクッション歪みが発生したと判断する、簡便化されたモデルを説明する。
【００３５】
【数３】
〔数３〕を参照すれば、ｒdはレンズ歪み発生画像内に歪みが生じたピクセルからイメージ中心までの距離を示し、下記〔数４〕のように表現される。
【００３６】
【数４】
Ｘuはレンズ歪みが発生していない画像のＸ座標を示し、ｙuはレンズ歪みが発生していない画像のＹ座標を示し、Ｘdはレンズ歪み発生画像のＸ座標を示し、ｙdはレンズ歪み発生画像のＹ座標を示す。κはレンズ歪みの程度を示すパラメータである。κiのうちκ3値が歪み程度に最も主な影響を及ぼすものと分析された場合、κ3のみを考慮して歪み程度を推定する。κ3が０より大きければ、図４のようにバレル歪みが発生した場合であると判断される。一方、κ3が０より小さければ、図５のようにピンクッション歪みが発生した場合であると判断される。このように歪みの程度を示すパラメータκを自動で誘導するため、使用者がグレードアップされたキャリブレーションを行うことができ、デジタル画像撮影機器メーカーは、高品質の映像撮影機器において安価なレンズを使用することができる。次に、図６を参照し、本発明の一実施例による画像処理装置の検出部１０２が曲線を検出する過程をより具体的に説明する。
【００３７】
図６は、本発明の一実施例による画像処理装置の検出部１０２が曲線を検出する過程を説明するための例示図である。
図６を参照すれば、検出部１０２は受信部１０１から受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出する。このとき、検出部１０２が画像内の線分を検出すれば、曲線をなす複数個の短い線分６０１、６０２、６０３、６０４が検出される。よって、検出部１０２は、一つの曲線をなしている多様な線分を一つのグループとするためには、線分間の関係をよく見てどのグループに属するかを決定する。このために検出部１０２は、線分を同じグループ、すなわち同じ曲線に属するようにするために、それぞれの線分に対して線分間の距離ｐ（６００ａ）、線分間の角度ａ（６００ｂ）及び線分の垂直距離ｄ（６００ｃ）を測定しながら線分を連結する。まず、検出部１０２は、線分間の距離６００ａ、線分間の角度６００ｂ及び線分の垂直距離６００ｃがいずれも臨界値より小さい場合に、一グループと指定し、line １（６０１）と連結された線はline ２（６０２）に限定する。このような線分が連結された曲線を示すグループを表現することができ、それぞれのグループは一曲線をなすピクセル値を保存する。
【００３８】
最適化部１０３は、このような検出された曲線を用いて曲線が直線化されるレンズ歪みパラメータを推定するが、検出部１０２によって検出された曲線が非常に短い場合、レンズ歪みパラメータを推定しにくいだけでなく、推定誤差が大きく発生する。また、画像に示される曲線の中ではレンズ歪みによって直線が曲線に曲がった線も存在するが、実際に撮影した被写体が曲線を含んでいる場合も存在する。特に、レンズ歪みが画像の中心近傍で生じた場合、中心との距離が近くてレンズ歪みが非常に少なく発生する。かかる理由から、最適化部１０３がレンズ歪み程度パラメータ推定の際に、中心との距離が近くて歪みが少なく生じた線を含んで歪みパラメーターを推定すると、正確度が下がって補正部１０４が補正を正確に行うことができない。
【００３９】
このような理由から、最適化部１０３は検出部１０２によって生成された曲線による費用関数を画像中心からの距離によって重みを適用し、曲線をアウトライア及びインライアに区分し、アウトライアを除去した後、インライアを用いて歪みパラメータを推定する。本発明の一実施例によれば、最適化部１０３は、Ransac技法に基づいて検出部１０２によって生成されたＭ個の曲線のうちランダムで一つの曲線を選択し、選択された曲線が歪み程度に最も主な影響を及ぼす歪み程度パラメータκ3による費用関数が最小となる歪みパラメータをLevenberg-marquardt方法を用いて推定する。最適化部１０３は、推定された歪みパラメータを用いてＭ個のすべての曲線に対して後述する〔数１〕を用いて直線化させた後、検出された曲線を構成するすべてのピクセルに対する誤差を求め、この誤差の絶対値が特定の臨界値を超えるピクセルの個数を数え、この個数が曲線に占めるピクセル個数に応じた特定の比率以上である場合、この曲線をアウトライアと定義する。
【００４０】
本発明の一実施例によれば、最適化部１０３はRansac技法を用いるに際し、費用関数は直線化された曲線と原本曲線とのピクセル間の距離で表し、費用関数が最小化されるパラメータを見つけるために後述する〔数５〕のような２次項を使用したが、本発明の範囲が〔数５〕のような費用関数にのみ限定されるのではなく、最小化させることのできるすべてのモデルに適用され得ることを理解すべきであろう。
【００４１】
また、最適化部１０３は、インライアのみを用いて費用関数が最小化される歪み程度パラメータを推定する。
【００４２】
【数５】
図７は、本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による重みを適用していない費用関数によるレンズ歪み補正パラメータによる誤差ピクセルの比率を示すグラフであり、図８は、本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による重みを適用する費用関数によるレンズ歪み補正パラメータによる誤差ピクセルの比率を示すグラフである。
【００４３】
図７及び図８を参照すれば、最適化部１０３が検出部１０２によって生成された曲線による〔数５〕の費用関数を使用すれば、図７のようなレンズ歪み補正パラメータによるアウトライア区分性能が示される。これはレンズ歪み画像の中心に近い線がパラメータの変化による敏感度が少なく示され、２０％の臨界値を使用した場合、非常に広いκ3の変化領域に対してアウトライアとならない問題を引き起こす。このような理由から、最適化部１０３が検出部１０２によって生成された曲線による費用関数に曲線とレンズ歪み中心との距離に応じた重みを適用する場合、レンズ歪み補正パラメータによるアウトライアが誘発されてアウトライア除去方法の性能を向上させ、レンズ歪み補正機能を向上させることができる。次に、図９を参照し、本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による費用関数に曲線とレンズ歪み中心との距離に応じて重みを適用し、曲線をアウトライア及びインライアに区分する場合を説明する。
【００４４】
図９は、本発明の一実施例による画像処理装置の最適化部１０３が検出部１０２によって生成された曲線による費用関数に曲線とレンズ歪み中心との距離に応じて重みを適用し、曲線をアウトライア及びインライアに区分する場合を説明するための例示図である。
【００４５】
図９を参照すれば、最適化部１０３は検出部１０２によって生成された曲線による費用関数に曲線とレンズ歪み中心との距離によって重みを適用し、曲線をアウトライア及びインライアに区分する。また、最適化部１０３が、費用関数が最小化されるパラメータを見つけるために、〔数６〕のような対角線長さを用いる。本発明の範囲が〔数６〕のような重みにのみ限定されるのではなく、曲線とレンズ歪みの中心との距離を用いたすべてのモデルに適用され得ることを理解すべきであろう。
【００４６】
【数６】
最適化部１０３は、検出部１０２によって生成された曲線による費用関数に曲線とレンズ歪み中心との距離によって〔数６〕のような重みを適用すれば、上述した図８の点線のようにレンズ歪み補正パラメータによるアウトライア区分性能が生じ、これは点線で示されるようにline ３に対して臨界値を超えるピクセルの比率が変化してアウトライア検出性能が変化する。
【００４７】
最適化部１０３は、アウトライア及びインライラのうち〔数６〕のような重みを持つ費用関数を持つRansac技法を用いてアウトライアを除去する。その後、最適化部１０３はインライアのみが残った曲線のグループを用いてインライアの歪み程度に最も主な影響を及ぼす歪み程度パラメータκ3による費用関数を求め、全体インライアに対する費用関数が最小になる歪み程度に最も主な影響を及ぼす歪み程度パラメータκ3値を推定し、最終的なレンズ歪み程度パラメータκ3を見つける。
【００４８】
補正部１０４は、最適化部１０３の推定によって歪み程度に最も主な影響を及ぼす歪み程度パラメータκ3の推定が完了すれば、〔数３〕を用いて画像全体のピクセルに対して新しい座標値を生成し、生成された座標値を、線形補間法を用いて最終的にレンズ歪み補正が行われた画像を作製する。次に、図１０を参照し、本発明の一実施例による画像処理過程をより具体的に説明する。
【００４９】
図１０は、本発明の一実施例による画像処理過程を説明するためのフローチャートである。
図１０を参照すれば、画像処理装置は、受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出する（Ｓ１００１）。このとき、画像処理装置は画像内の線分を検出すれば、曲線をなす複数個の短い線分が検出される。
【００５０】
画像処理装置は、検出された線分を用いて複数個の曲線を生成する(Ｓ１００２)。画像処理装置は、一つの曲線をなしている多様な線分を一つのグループとするためには、線分間の関係をよく見てどのグループに属するかを決定する。このために画像処理装置は線分を同じグループ、すなわち同じ曲線に属するようにするために、それぞれの線分に対して線分間の距離ｐ、線分間の角度ａ及び線分の垂直距離ｄを測定しながら線分を連結する。まず、検出部１０２は、線分間の距離、線分間の角度及び線分の垂直距離がいずれも臨界値より小さい場合に一グループとして指定し、曲線を生成する。このような線分が連結された曲線を示すグループを表現することができ、それぞれのグループは一曲線をなすピクセル値を保存する。
【００５１】
画像処理装置は、生成された複数個の曲線による費用関数に画像中心からの距離によって重みを適用し、臨界値より小さい長さを持つ曲線をアウトライアと、臨界値より長い長さを持つ曲線をインライアと定義する(Ｓ１００３)。
【００５２】
画像処理装置は、アウトライアを除去し(Ｓ１００４)、インライアのみを用いて費用関数が最小化される歪み程度パラメータを推定する(Ｓ１００５)。本発明の一実施例によれば、画像処理装置は、Ransac技法に基づいてＭ個の曲線のうちランダムで一つの曲線を選択し、選択された曲線が歪み程度に最も主な影響を及ぼす歪み程度パラメーターκ3による費用関数が最小になる歪みパラメータをLevenberg-marquardt方法を用いて推定する。画像処理装置は、推定された歪みパラメータを用いてＭ個のすべての曲線に対して〔数１〕を用いて直線化させた後、検出された曲線を構成するすべてのピクセルに対する誤差を求め、この誤差の絶対値が特定の臨界値を超えるピクセルの個数を数え、この個数が曲線に占めるピクセル個数に応じた特定の比率以上である場合、この曲線をアウトライアと定義して除去する。本発明の一実施例によれば、画像処理装置はRansac技法を用いるに際し、費用関数は直線化された曲線と原本曲線とのピクセル間の距離で表され、費用関数が最小化されるパラメータを見つけるために、〔数５〕のような２次項を使用したが、本発明の範囲が〔数５〕のような費用関数にのみ限定されるのではなく、最小化させることのできるすべてのモデルに適用され得ることを理解すべきであろう。
【００５３】
画像処理装置は、歪み程度パラメータを用いてピクセルの位置を補正値で補正する(Ｓ１００５)。このとき、補正値は、ピクセル座標値の周辺領域で補正されたピクセル値の間で補間を用いて設定された値である。次に、図１１及び図１２を参照し、本発明の一実施例による画像処理装置を用いてレンズ歪み補正の実行前／後を説明する。
【００５４】
図１１及び図１２は、本発明の一実施例による画像処理装置を用いてレンズ歪み補正の実行前／後を説明するための例示図である。
図１１及び図１２を参照すれば、左側画像１１０１、１２０１はレンズ歪み発生画像を示し、右側画像１１０２、１２０２の赤色で表示した部分はアウトライア除去過程を経てアウトライアと定義された部分であり、緑色で表示された部分はインライアと定義されてレンズ歪み補正パラメータ推定に使用された部分である。図１１及び図１２の補正前のレンズ歪み発生画像１１０１、１２０１と補正後の画像１１０２、１２０２とを比較すれば、補正前の画像１１０１、１２０１において建物が曲がって見える現象が、補正後の画像１１０２、１２０２においては真直ぐ見えるか、より直線化されていることが分かる。
【００５５】
上記においては、本発明の好ましい実施例を参照して説明したが、当該技術分野における熟練した当業者は、特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で、本発明を多様に修正及び変更させ得ることを理解できるであろう。
【符号の説明】
【００５６】
１０１：受信部
１０２：検出部
１０３：最適化部
１０４：補正部
【特許請求の範囲】
【請求項１】
受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出し、前記検出された線分を用いて複数個の曲線を生成する検出部；
前記生成された複数個の曲線による費用関数に画像中心からの距離によって重みを適用してアウトライア(outlier)及びインライア(inlier)を定義し、前記アウトライアを除去して歪み程度パラメータを推定する最適化部；及び
前記歪み程度パラメータを用いてピクセルの位置を補正値で補正する補正部を含むことを特徴とする画像処理装置。
【請求項２】
前記最適化部は、
前記生成された複数個の曲線を用いて直線化線分を生成し、生成された直線化線分に対する誤差を計算することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記最適化部は、
前記誤差の絶対値が臨界値より大きく、該当ピクセルの個数が曲線に占めるピクセル個数に応じてあらかじめ決定された比率以上である場合、該当線分をアウトライアと定義することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記最適化部は、
前記生成された複数個の曲線のうち任意で一つの曲線を選択し、選択された一つの曲線を用いて歪み程度パラメータによる費用関数が最小となる歪み程度パラメータを推定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記検出部は、
前記検出された線分を連結して複数個の曲線を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記補正値は、
前記ピクセル座標値の周辺領域で補正されたピクセル値の間で補間を用いて設定されることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出し、前記検出された線分を用いて複数個の曲線を生成するステップ；
前記生成された複数個の曲線による費用関数に画像中心からの距離によって重みを適用し、臨界値より小さい長さを持つ曲線をアウトライアと、臨界値より長い長さを持つ曲線をインライアと定義するステップ；
前記アウトライアを除去し前記インライアのみを用いて費用関数が最小化される歪み程度パラメータを推定するステップ；及び
前記歪み程度パラメータを用いてピクセルの位置を補正値で補正するステップを含むことを特徴とする画像処理方法。
【請求項８】
前記歪み程度パラメータを推定するステップは、
前記生成された複数個の曲線を用いて直線化線分を生成し、生成された直線化線分に対する誤差を計算することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記歪み程度パラメータを推定するステップは、
前記計算された誤差の絶対値が臨界値より大きく、該当ピクセルの個数が曲線に占めるピクセル個数に応じてあらかじめ決定された比率以上である場合、該当線分をアウトライアと推定して除去することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記歪み程度パラメータを推定するステップは、
前記生成された複数個の曲線のうち任意で一つの曲線を選択し、選択された一つの曲線を用いて歪み程度パラメータによる費用関数が最小となる歪み程度パラメータを推定することを特徴とする請求項７に記載の画像処理方法。
【請求項１１】
前記曲線を生成するステップは、
前記検出された線分を連結して複数個の曲線を生成することを特徴とする請求項７に記載の画像処理方法。
【請求項１２】
前記補正値は、
前記ピクセル座標値の周辺領域で補正されたピクセル値の間で線形補間を用いて設定されることを特徴とする請求項７に記載の画像処理方法。
【請求項１】
受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出し、前記検出された線分を用いて複数個の曲線を生成する検出部；
前記生成された複数個の曲線による費用関数に画像中心からの距離によって重みを適用してアウトライア(outlier)及びインライア(inlier)を定義し、前記アウトライアを除去して歪み程度パラメータを推定する最適化部；及び
前記歪み程度パラメータを用いてピクセルの位置を補正値で補正する補正部を含むことを特徴とする画像処理装置。
【請求項２】
前記最適化部は、
前記生成された複数個の曲線を用いて直線化線分を生成し、生成された直線化線分に対する誤差を計算することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記最適化部は、
前記誤差の絶対値が臨界値より大きく、該当ピクセルの個数が曲線に占めるピクセル個数に応じてあらかじめ決定された比率以上である場合、該当線分をアウトライアと定義することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記最適化部は、
前記生成された複数個の曲線のうち任意で一つの曲線を選択し、選択された一つの曲線を用いて歪み程度パラメータによる費用関数が最小となる歪み程度パラメータを推定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記検出部は、
前記検出された線分を連結して複数個の曲線を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記補正値は、
前記ピクセル座標値の周辺領域で補正されたピクセル値の間で補間を用いて設定されることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
受信された画像のエッジ部分でピクセル情報を一つのグループとして線分を検出し、前記検出された線分を用いて複数個の曲線を生成するステップ；
前記生成された複数個の曲線による費用関数に画像中心からの距離によって重みを適用し、臨界値より小さい長さを持つ曲線をアウトライアと、臨界値より長い長さを持つ曲線をインライアと定義するステップ；
前記アウトライアを除去し前記インライアのみを用いて費用関数が最小化される歪み程度パラメータを推定するステップ；及び
前記歪み程度パラメータを用いてピクセルの位置を補正値で補正するステップを含むことを特徴とする画像処理方法。
【請求項８】
前記歪み程度パラメータを推定するステップは、
前記生成された複数個の曲線を用いて直線化線分を生成し、生成された直線化線分に対する誤差を計算することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記歪み程度パラメータを推定するステップは、
前記計算された誤差の絶対値が臨界値より大きく、該当ピクセルの個数が曲線に占めるピクセル個数に応じてあらかじめ決定された比率以上である場合、該当線分をアウトライアと推定して除去することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記歪み程度パラメータを推定するステップは、
前記生成された複数個の曲線のうち任意で一つの曲線を選択し、選択された一つの曲線を用いて歪み程度パラメータによる費用関数が最小となる歪み程度パラメータを推定することを特徴とする請求項７に記載の画像処理方法。
【請求項１１】
前記曲線を生成するステップは、
前記検出された線分を連結して複数個の曲線を生成することを特徴とする請求項７に記載の画像処理方法。
【請求項１２】
前記補正値は、
前記ピクセル座標値の周辺領域で補正されたピクセル値の間で線形補間を用いて設定されることを特徴とする請求項７に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１０】
【図７】
【図８】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１０】
【図７】
【図８】
【図１１】
【図１２】
【公開番号】特開２０１２−１４１９４５（Ｐ２０１２−１４１９４５Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−１１５０８０（Ｐ２０１１−１１５０８０）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 発行者名：ＩＥＥＥ（アイ・トリプル・イー）、刊行物名：ＩＣＡＬＩＰ ２０１０ ２０１０ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｄｉｏ，Ｌａｎｇｕａｇｅ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ 会報 第２巻 第１６９３−１６９９頁、発行日：２０１０年１１月２３日
【出願人】（５０９２４２７９４）ポステック アカデミー‐インダストリー ファウンデーション (9)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 発行者名：ＩＥＥＥ（アイ・トリプル・イー）、刊行物名：ＩＣＡＬＩＰ ２０１０ ２０１０ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｄｉｏ，Ｌａｎｇｕａｇｅ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ 会報 第２巻 第１６９３−１６９９頁、発行日：２０１０年１１月２３日
【出願人】（５０９２４２７９４）ポステック アカデミー‐インダストリー ファウンデーション (9)
【Ｆターム（参考）】
[ Back to top ]