レンズ歪みの補正法
【課題】短時間に、しかも、高精度に歪み係数を推定し、補正画像を正確に生成することができるようにしたレンズ歪みの補正法を提供する。
【解決手段】本レンズ歪みの補正法は、仮の歪み係数と誤差との関係が単峰性の目的関数によって表され、前記誤差の唯一の最小点から歪み係数を推定できるというる特質に着目する。仮の歪み係数を用いて補正後の枠線を求め、この補正後の枠線から回帰直線を計算し、この補正後の枠線の座標と回帰直線との誤差を計算し、最小の誤差を算出した仮の歪み係数を歪み係数と推定するが、２つの仮の歪み係数の誤差の大小を比較し、予め決められた誤差の閾値まで、その大小から一方の仮の歪み係数を更新し、仮の歪み係数の範囲を絞りこむ。そして、絞り込まれた範囲では、仮の歪み係数の下限に反復値を順次、上限まで加算し、加算された各仮の歪み係数の誤差を算出する。そして、最小の誤差を算出した仮の歪み係数を歪み係数と推定する。
【解決手段】本レンズ歪みの補正法は、仮の歪み係数と誤差との関係が単峰性の目的関数によって表され、前記誤差の唯一の最小点から歪み係数を推定できるというる特質に着目する。仮の歪み係数を用いて補正後の枠線を求め、この補正後の枠線から回帰直線を計算し、この補正後の枠線の座標と回帰直線との誤差を計算し、最小の誤差を算出した仮の歪み係数を歪み係数と推定するが、２つの仮の歪み係数の誤差の大小を比較し、予め決められた誤差の閾値まで、その大小から一方の仮の歪み係数を更新し、仮の歪み係数の範囲を絞りこむ。そして、絞り込まれた範囲では、仮の歪み係数の下限に反復値を順次、上限まで加算し、加算された各仮の歪み係数の誤差を算出する。そして、最小の誤差を算出した仮の歪み係数を歪み係数と推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば携帯型電話機や携帯型ゲーム機などの携帯型電子機器（以下、「携帯電話」という。）に備えられたカメラによって撮影された撮影画像が樽型歪みや糸巻き型歪みなどの歪曲収差歪みを生じている場合に、この歪曲収差歪みを補正するためのレンズ歪みの補正法に関する。
【背景技術】
【０００２】
携帯電話には、カメラ機能や２次元バーコードを読み取るアプリケーション（ソフトウェア）を搭載した機種が多数提供されている。そして、携帯電話は、カメラ機能によって２次元バーコードを撮影し、アプリケーションが２次元バーコードに記録されたインターネットのＵＲＬなどを解析することにより、Ｗｅｂサイトを画面に表示する機能を備えている。
【０００３】
しかし、携帯電話に備えられたカメラ機能は、コンパクト化を図るため、小口型のレンズを搭載している。このようなレンズで撮影された撮影画像は、いわゆる樽型歪みが生じ、２次元バーコードを正確に読み取ることができにくいため、２次元バーコードに埋め込まれた情報の検出率が低下するという問題がある。また、望遠レンズで撮影された撮影画像は、いわゆる糸巻き型歪みが生じる。
【０００４】
そこで、樽型歪みや糸巻き型歪みなどの歪曲収差歪みが生じている撮影画像の特性を考慮することにより、両方の歪みを補正することのできるようにしたレンズ歪みの補正法が非特許文献１に提案されている。このレンズ歪みの補正法は、歪曲収差歪みが撮影画像の中央を中心として放射状に生じ、中心点から離れるにしたがって歪み量が多くなるという［数１］に示された関係を応用している。
【０００５】
【数１】
【０００６】
レンズ歪みの補正法では、一般に高次の項が比較的重要でないとされるため、撮影画像から歪み係数Ｋ2を推定することなく、歪み係数Ｋ1を推定することで、歪みのない画像座標ｘ’，ｙ’を算出する。歪み係数Ｋ1は、図３に示すような手順によって推定する。
【０００７】
すなわち、まず、四角形状の撮影画像から直線に近い枠線の１辺（細長い楕円形で囲った一方の１辺）を抽出し、この枠線上の複数画素の座標を座標群として保存する（Ｓ１）。次に、歪み係数Ｋ1の候補として多数の仮の歪み係数について保存された座標群を用いて最小２乗法による直線回帰を行い、求められた多数の回帰直線と保存された座標群上の点との２乗距離を合計した誤差が最小となった仮の歪み係数を歪み係数Ｋ1と推定する。
【０００８】
直線回帰とは、複数のデータ（ｘ1，ｙ1），…，（ｘn，ｙn）が与えられたときに、できるだけ各データの点の近くを通る直線ｙ＝ａｘ＋ｂ（回帰直線）の傾きａと切片ｂとを求めることである。回帰直線は、予め決められた範囲の複数の仮の歪み係数（Ｋ1min＝−９×１０-8〜Ｋ1max＝９×１０-8）について多数求める。
【０００９】
すなわち、まず、仮の歪み係数の初期値Ｋ1min（＝−９×１０-8）を設定し（Ｓ２）、この初期値Ｋ1minに対する保存された座標群に対する補正後の座標群（枠線）を［数１］の式から求める（Ｓ３）。続いて、補正後の座標群から最小２乗法による直線回帰を行い、回帰直線を推定する（Ｓ４）。そして、補正後の座標群（枠線）と回帰直線との２乗距離の合計を誤差として求め（Ｓ５）、この誤差を仮の歪み係数Ｋ1minの値とともに保存する（Ｓ６）。
【００１０】
そして、仮の歪み係数の初期値Ｋ1min（＝−９×１０-8）に反復値Ｋ1int（＝０．１×１０-8）を加算して仮の歪み係数Ｋ1(min+1)（＝−９．１×１０-8）を更新する（Ｓ７）。この更新された仮の歪み係数Ｋ1(min+1)についても、前記の操作（Ｓ３〜Ｓ６）を行う。この操作（Ｓ３〜Ｓ６）は、仮の歪み係数Ｋ1がＫ1max（＝９×１０-8）を超えるまで繰り返される。
【００１１】
すなわち、仮の歪み係数Ｋ1がＫ1max（＝９×１０-8）を超えると、得られた仮の歪み係数Ｋ1min〜Ｋ1maxの中から前記誤差が最小となるときの仮の歪み係数を最適な歪み係数Ｋ1の推定値とし、この最適な歪み係数Ｋ1をパラメータとして［数１］に示された式を用いて補正画像を生成することでレンズ歪みの補正を行う（Ｓ８）。この手法では、保存する座標群として枠線の上辺、左辺の２辺上の座標群をそれぞれ使用し、各座標群からそれぞれ求められた歪み係数Ｋ1の平均値を最終的なパラメータとしている。
【００１２】
なお、射影変換をレンズ歪み補正よりも先に行うと、「レンズによる歪みは、撮影画像の中央を中心として放射状に生じる。」という関係が崩れるため、正確にレンズ歪みを補正することができなくなる。よって、レンズ歪み補正を行った後に射影変換が行われる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】T.Shono, M.Muneyasu, Y.Hanada: "Implementation of Data Embedding to Printing Images for Information Retrieving by Cellular Phones Considering Lens Distortion," Proc.ISPACS2009,pp558-561,2009.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
前記従来のレンズ歪みの補正法では、歪み係数Ｋ1を推定するため、仮の歪み係数に反復値Ｋ1int（＝０．１×１０-8）刻みで加算し、回帰計算や誤差の計算、さらに仮の歪み係数と誤差との保存という手順を１８００回も繰り返している。したがって、撮影画像の枠線の４辺を抽出することが好ましいにもかかわらず、従来のレンズ歪みの補正法では、処理時間の短縮を図るため、撮影画像の隣り合っている枠線の上辺と左辺の二辺しか抽出していない。
【００１５】
それにもかかわらず、従来のレンズ歪みの補正法では、枠線の検出に０．７６秒、歪み係数の測定と推定に４２．１２秒もかかる。さらに、二辺だけ抽出して推定された歪み係数Ｋ1の精度は高くないことから、補正画像を必ずしも正確に生成することができないという不具合もある。
【００１６】
そこで、本発明は、短時間に、しかも、高精度に歪み係数を推定し、補正画像を正確に生成することができるようにしたレンズ歪みの補正法を提供することを課題とする。
【課題を解決するための手段】
【００１７】
本発明に係るレンズ歪み補正法は、四角形状の撮影画像から直線に近い枠線を抽出し、この枠線上の画素の座標を保存し、歪みのない画像座標を算出するためのパラメータである歪み係数を算出するため、予め決められた範囲から歪み係数の候補とされる複数の仮の歪み係数を算出し、各仮の歪み係数を用いて補正後の枠線を求め、この補正後の枠線から回帰直線を計算し、この補正後の枠線の座標と回帰直線との誤差を計算し、最小の誤差を算出した仮の歪み係数を歪み係数と推定し、この歪み係数をパラメータとして補正画像を形成するレンズ歪みの補正法であって、２つの仮の歪み係数の誤差の大小を比較するステップと、その大小から一方の仮の歪み係数を更新するという極小点探査法により、予め決められた誤差の閾値まで、探索範囲を段階的に狭めることで仮の歪み係数の範囲を絞り込むステップと、絞り込まれた範囲で仮の歪み係数の下限に反復値を順次、上限まで加算し、加算された各仮の歪み係数の誤差を算出し、最小の誤差を算出した仮の歪み係数を歪み係数と推定するステップを有することで補正画像を形成することを特徴としている。
【００１８】
このレンズ歪みの補正法は、仮の歪み係数と誤差との関係が単峰性の目的関数によって表され、前記誤差の唯一の最小点から歪み係数を推定できるというる特質に着目し、歪み係数を推定する時間を短縮する。すなわち、このレンズ歪みの補正法は、例えば、推定する歪み係数を含む区間における仮の歪み係数K11，K12の誤差ｆ（K11），ｆ（K12）の大小を比較し、その大小から次の仮の歪み係数K11，K12を極小点探査法により順次、大まかに更新することで予め決められた誤差の閾値まで仮の歪み係数の範囲を絞り込む。そして、絞り込まれた範囲内では、仮の歪み係数の下限に反復値を順次、上限まで加算し、各加算された仮の歪み係数について誤差を算出し、最小の誤差を算出した仮の歪み係数を歪み係数と推定する。
【００１９】
また、前記本発明に係るレンズ歪みの補正法において、前記極小点探査法は、黄金分割探査法であることが好ましい。
【００２０】
このレンズ歪みの補正法によれば、黄金分割探査法により、仮の歪み係数をさらに短時間に絞り込むことができる。ここで、黄金分割探査法は、区間［ａ，ｂ］における仮の歪み係数K11，K12の値と黄金比τ≒０．６１８を用い、その区間を内分する点K11，K12を、K11＝ｂ−τ（ｂ−ａ），K12＝ａ＋τ（ｂ−ａ）から求めることにより極小点を得る方法である。
【００２１】
また、前記本発明に係るレンズ歪みの補正法において、四角形状の撮影画像枠線の４辺について枠線上の画素の座標を保存し、推定精度を向上させることのできる３辺から歪み係数を推定することが好ましい。
【００２２】
４辺から歪み係数を的確に推定できない、すなわち、推定精度のよくない辺があるところ、このレンズ歪みの補正法によれば、四角形状の撮影画像の４辺についての枠線上の画素の座標のうち、推定精度のよくない辺を外した３辺を用いることによって、推定精度を向上させることができる。
【００２３】
また、前記本発明に係るレンズ歪みの補正法において、樽型歪みの撮影画像では、歪曲の小さな３辺から歪み係数を推定することが好ましい。
【００２４】
このレンズ歪みの補正法によれば、歪曲の小さな３辺から歪み係数を推定することで、推定精度の向上を図ることができる。これは、実験結果から、樽型歪みの撮影画像においては、補正する量が小さくなるように設定した方が推定精度の向上が観測されたためである。
【００２５】
また、前記本発明に係るレンズ歪みの補正法において、糸巻き型歪みの撮影画像では、歪曲の大きな３辺から歪み係数を推定することが好ましい。
【００２６】
このレンズ歪みの補正法によれば、歪曲の大きな３辺から歪み係数を推定することで、推定精度の向上を図ることができる。これは、実験結果から、糸巻き型歪みの撮影画像においては、補正する量が大きくなるように設定した方が推定精度の向上が観測されたためである。
【発明の効果】
【００２７】
本発明によれば、極小点探査法によって歪み係数を推定するレンズ歪みの補正法が提供されることにより、このレンズ歪みの補正法によって補正画像を作成する時間を短縮することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明に係るレンズ歪みの補正法を説明するフロー図である。
【図２】仮の歪み係数と誤差との関係を示すグラフである。
【図３】従来のレンズ歪みの補正法を説明するフロー図である。
【発明を実施するための形態】
【００２９】
本発明に係るレンズ歪みの補正法の一実施形態について、図１及び図２を参照しながら説明する。このレンズ歪みの補正法は、例えば小型のレンズを使用して撮影された四角形状の撮影画像の樽型歪みや糸巻き歪みのような歪曲収差歪みを補正するため、前記［数１］で示した歪み係数Ｋ1を短時間に推定できるようにしたことを特徴としている。
【００３０】
そのため、このレンズ歪みの補正法は、仮の歪み係数と誤差との関係が単峰性の目的関数によって表され、前記誤差の唯一の最小点から歪み係数Ｋ1を推定できるという特質を応用し、極小点探査法により、歪み係数Ｋ1を推定する。
【００３１】
極小点探査法としては、黄金分割探査法を使用する。黄金分割探査法は、単峰性の目的関数において、最小値の探査範囲を黄金分割比を用いて狭めることで、最小値を得る手法である。したがって、黄金分割探査法では、図２に示すように、目的関数ｆ（Ｋ1）の最小値を含む区間［ａ，ｂ］を設定し、の値と黄金分割比τ≒０．６１８を用いて、その区間を内分する仮の歪み係数K11とK12を設定する。
【００３２】
K11とK12は、
K11＝ｂ−τ（ｂ−ａ）
K12＝ａ＋τ（ｂ−ａ）
から得られる。
【００３３】
この仮の歪み係数K11とK12を用い、演算装置によって補正後の各座標群を求める。そして、演算装置によって各回帰直線を計算し、各補正後の枠線座標と回帰直線との誤差ｆ（K11）とｆ（K12）を計算する。続いて、演算装置によってこの誤差ｆ（K11）とｆ（K12）の大きさを比較し、K11とK12を更新する。
【００３４】
すなわち、ｆ（K11）＞ｆ（K12）の場合は、
ａ＝K11，K11＝K12，K12＝ｂ−（１−τ）（ｂ−ａ）
【００３５】
また、ｆ（K11）＜ｆ（K12）の場合は、
ｂ＝K12，K12＝K11，K11＝ａ＋（１−τ）（ｂ−ａ）
【００３６】
そして、ｆ（ａ）＜εかつｆ（ｂ）＜ε（εは予め決められている閾値）でなければ、仮の歪み係数K11とK12を用い、演算装置によって補正後の各座標群を求め直し、各回帰直線を計算し、各補正後の枠線座標と回帰直線との誤差ｆ（K11）とｆ（K12）を計算し、この誤差ｆ（K11）とｆ（K12）を比較するという手順を繰り返す。目的関数ｆ（Ｋ1）は、閾値εよりも大きい場合は正又は負に比例するため、K11とK12の間隔は、大まかに狭めて更新することができる。
【００３７】
そして、ｆ（ａ）＜εかつｆ（ｂ）＜εとなると、目的関数ｆ（Ｋ1）は、曲線状に変化するため、K11とK12を大まかに更新することができない。そこで、下限の仮の歪み係数Ｋ1minを仮の歪み係数K11とK12のどちらか小さい方とし、上限の仮の歪み係数Ｋ1maxを仮の歪み係数K11とK12をのどちらか大きい方とする。そして、演算装置によって下限の仮の歪み係数K1minに反復値Ｋｂ1int（＝０．１×１０-8）刻みで加算し、仮の歪み係数Ｋ1とする。
【００３８】
そして、この仮の歪み係数Ｋ1を用い、演算装置によって補正後の座標群を求め、回帰直線を計算し、補正後の枠線座標と回帰直線との誤差を計算し、仮の歪み係数Ｋ1と誤差を保存する。この仮の歪み係数Ｋ1に反復値Ｋｂ1intを加算するという手順を上限の仮の歪み係数Ｋ1maxになるまで、すなわち絞り込まれた範囲で繰り返す。そして、演算装置によってそれぞれの誤差ｆ（Ｋ1）を算出し、最も小さな誤差ｆ（Ｋ1）を算出した仮の歪み係数を歪み係数Ｋ1と推定する。この歪み係数Ｋ1は、前記の手順を１６回繰り返すだけで推定することができる。
【００３９】
歪み係数Ｋ1の推定に、従来では４２．１２秒要していたにもかかわらず、このレンズ歪みの補正法では０．３４秒と短縮することができる。したがって、このレンズ歪みの補正法では、四角形状の撮像画像の枠線の４辺を抽出し、４辺について歪み係数Ｋ1を推定することで、精度の高いレンズ歪みの補正をすることができる。
【００４０】
ただし、処理時間の短縮化のため、４辺の誤差を算出するものの、樽型歪みの撮影画像では、歪曲の小さな３辺から歪み係数Ｋ1を推定し、糸巻き型歪みの撮影画像では、歪曲の大きな３辺から歪み係数Ｋ1を推定し、平均値を歪み係数Ｋ1とする。実験結果から、樽型歪みの撮影画像では、補正する量が小さくなるように、糸巻き型歪みの撮影画像では、補正する量が大きくなるように設定した方が、推定精度が向上する傾向がみられたため、この傾向を反映するように、樽型歪みの撮影画像と糸巻き型歪みの撮影画像とで歪み係数Ｋ1の推定に用いる辺を選択する。
【００４１】
なお、樽型歪みの撮影画像は回帰直線の誤差が正で表され、糸巻き型歪みの撮影画像は回帰直線の誤差が負で表されるため、誤差の正負により、樽型歪みの撮影画像であるか糸巻き型歪みの撮影画像であるかを判断することができる。
【００４２】
このようにして歪み係数Ｋ1が推定されると、この歪み係数Ｋ1をパラメータとして演算装置によって歪みのない画像座標ｘ’，ｙ’を算出する。この歪みのない画像座標ｘ’，ｙ’は、［数１］を変形した［数２］から求めることができる。
【００４３】
【数２】
【００４４】
この歪みのない画像座標ｘ’，ｙ’から演算装置によって補正画像が生成される。ただし、被写体に対して垂直方向から撮影されなかった撮影画像については、射影変換を行うことによって補正する。射影変換をレンズ歪み補正よりも先に行うと、「レンズによる歪みは撮影画像の中央を中心として放射状に生じる。」という関係が崩れるため、レンズ歪み補正を行った後に、射影変換を行う。
【００４５】
このように、レンズ歪み補正と射影変換により、撮影画像を補正した補正画像がメモリに保存される。被写体が２次元バーコードであり、２次元バーコードにインターネットのＵＲＬやメールアドレスが記録されていると、補正画像からインターネットのＵＲＬやメールアドレスを正確に読み取ることができる。
【００４６】
なお、本発明は、前記実施の形態に限定することなく種々変更することができる。例えば、正確に補正するよりも処理時間を優先する場合は、４辺からでなく、２辺のみから歪み係数Ｋ1を推定してもよい。
【００４７】
また、本発明は、携帯電話に備えられた小型のレンズに対して、有効に適用することができるが、小型のレンズに限定することなく、レンズ歪みが生じる各種のレンズ、例えば自動車の後方を写すカメラにも適用することができる。
【技術分野】
【０００１】
本発明は、例えば携帯型電話機や携帯型ゲーム機などの携帯型電子機器（以下、「携帯電話」という。）に備えられたカメラによって撮影された撮影画像が樽型歪みや糸巻き型歪みなどの歪曲収差歪みを生じている場合に、この歪曲収差歪みを補正するためのレンズ歪みの補正法に関する。
【背景技術】
【０００２】
携帯電話には、カメラ機能や２次元バーコードを読み取るアプリケーション（ソフトウェア）を搭載した機種が多数提供されている。そして、携帯電話は、カメラ機能によって２次元バーコードを撮影し、アプリケーションが２次元バーコードに記録されたインターネットのＵＲＬなどを解析することにより、Ｗｅｂサイトを画面に表示する機能を備えている。
【０００３】
しかし、携帯電話に備えられたカメラ機能は、コンパクト化を図るため、小口型のレンズを搭載している。このようなレンズで撮影された撮影画像は、いわゆる樽型歪みが生じ、２次元バーコードを正確に読み取ることができにくいため、２次元バーコードに埋め込まれた情報の検出率が低下するという問題がある。また、望遠レンズで撮影された撮影画像は、いわゆる糸巻き型歪みが生じる。
【０００４】
そこで、樽型歪みや糸巻き型歪みなどの歪曲収差歪みが生じている撮影画像の特性を考慮することにより、両方の歪みを補正することのできるようにしたレンズ歪みの補正法が非特許文献１に提案されている。このレンズ歪みの補正法は、歪曲収差歪みが撮影画像の中央を中心として放射状に生じ、中心点から離れるにしたがって歪み量が多くなるという［数１］に示された関係を応用している。
【０００５】
【数１】
【０００６】
レンズ歪みの補正法では、一般に高次の項が比較的重要でないとされるため、撮影画像から歪み係数Ｋ2を推定することなく、歪み係数Ｋ1を推定することで、歪みのない画像座標ｘ’，ｙ’を算出する。歪み係数Ｋ1は、図３に示すような手順によって推定する。
【０００７】
すなわち、まず、四角形状の撮影画像から直線に近い枠線の１辺（細長い楕円形で囲った一方の１辺）を抽出し、この枠線上の複数画素の座標を座標群として保存する（Ｓ１）。次に、歪み係数Ｋ1の候補として多数の仮の歪み係数について保存された座標群を用いて最小２乗法による直線回帰を行い、求められた多数の回帰直線と保存された座標群上の点との２乗距離を合計した誤差が最小となった仮の歪み係数を歪み係数Ｋ1と推定する。
【０００８】
直線回帰とは、複数のデータ（ｘ1，ｙ1），…，（ｘn，ｙn）が与えられたときに、できるだけ各データの点の近くを通る直線ｙ＝ａｘ＋ｂ（回帰直線）の傾きａと切片ｂとを求めることである。回帰直線は、予め決められた範囲の複数の仮の歪み係数（Ｋ1min＝−９×１０-8〜Ｋ1max＝９×１０-8）について多数求める。
【０００９】
すなわち、まず、仮の歪み係数の初期値Ｋ1min（＝−９×１０-8）を設定し（Ｓ２）、この初期値Ｋ1minに対する保存された座標群に対する補正後の座標群（枠線）を［数１］の式から求める（Ｓ３）。続いて、補正後の座標群から最小２乗法による直線回帰を行い、回帰直線を推定する（Ｓ４）。そして、補正後の座標群（枠線）と回帰直線との２乗距離の合計を誤差として求め（Ｓ５）、この誤差を仮の歪み係数Ｋ1minの値とともに保存する（Ｓ６）。
【００１０】
そして、仮の歪み係数の初期値Ｋ1min（＝−９×１０-8）に反復値Ｋ1int（＝０．１×１０-8）を加算して仮の歪み係数Ｋ1(min+1)（＝−９．１×１０-8）を更新する（Ｓ７）。この更新された仮の歪み係数Ｋ1(min+1)についても、前記の操作（Ｓ３〜Ｓ６）を行う。この操作（Ｓ３〜Ｓ６）は、仮の歪み係数Ｋ1がＫ1max（＝９×１０-8）を超えるまで繰り返される。
【００１１】
すなわち、仮の歪み係数Ｋ1がＫ1max（＝９×１０-8）を超えると、得られた仮の歪み係数Ｋ1min〜Ｋ1maxの中から前記誤差が最小となるときの仮の歪み係数を最適な歪み係数Ｋ1の推定値とし、この最適な歪み係数Ｋ1をパラメータとして［数１］に示された式を用いて補正画像を生成することでレンズ歪みの補正を行う（Ｓ８）。この手法では、保存する座標群として枠線の上辺、左辺の２辺上の座標群をそれぞれ使用し、各座標群からそれぞれ求められた歪み係数Ｋ1の平均値を最終的なパラメータとしている。
【００１２】
なお、射影変換をレンズ歪み補正よりも先に行うと、「レンズによる歪みは、撮影画像の中央を中心として放射状に生じる。」という関係が崩れるため、正確にレンズ歪みを補正することができなくなる。よって、レンズ歪み補正を行った後に射影変換が行われる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】T.Shono, M.Muneyasu, Y.Hanada: "Implementation of Data Embedding to Printing Images for Information Retrieving by Cellular Phones Considering Lens Distortion," Proc.ISPACS2009,pp558-561,2009.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
前記従来のレンズ歪みの補正法では、歪み係数Ｋ1を推定するため、仮の歪み係数に反復値Ｋ1int（＝０．１×１０-8）刻みで加算し、回帰計算や誤差の計算、さらに仮の歪み係数と誤差との保存という手順を１８００回も繰り返している。したがって、撮影画像の枠線の４辺を抽出することが好ましいにもかかわらず、従来のレンズ歪みの補正法では、処理時間の短縮を図るため、撮影画像の隣り合っている枠線の上辺と左辺の二辺しか抽出していない。
【００１５】
それにもかかわらず、従来のレンズ歪みの補正法では、枠線の検出に０．７６秒、歪み係数の測定と推定に４２．１２秒もかかる。さらに、二辺だけ抽出して推定された歪み係数Ｋ1の精度は高くないことから、補正画像を必ずしも正確に生成することができないという不具合もある。
【００１６】
そこで、本発明は、短時間に、しかも、高精度に歪み係数を推定し、補正画像を正確に生成することができるようにしたレンズ歪みの補正法を提供することを課題とする。
【課題を解決するための手段】
【００１７】
本発明に係るレンズ歪み補正法は、四角形状の撮影画像から直線に近い枠線を抽出し、この枠線上の画素の座標を保存し、歪みのない画像座標を算出するためのパラメータである歪み係数を算出するため、予め決められた範囲から歪み係数の候補とされる複数の仮の歪み係数を算出し、各仮の歪み係数を用いて補正後の枠線を求め、この補正後の枠線から回帰直線を計算し、この補正後の枠線の座標と回帰直線との誤差を計算し、最小の誤差を算出した仮の歪み係数を歪み係数と推定し、この歪み係数をパラメータとして補正画像を形成するレンズ歪みの補正法であって、２つの仮の歪み係数の誤差の大小を比較するステップと、その大小から一方の仮の歪み係数を更新するという極小点探査法により、予め決められた誤差の閾値まで、探索範囲を段階的に狭めることで仮の歪み係数の範囲を絞り込むステップと、絞り込まれた範囲で仮の歪み係数の下限に反復値を順次、上限まで加算し、加算された各仮の歪み係数の誤差を算出し、最小の誤差を算出した仮の歪み係数を歪み係数と推定するステップを有することで補正画像を形成することを特徴としている。
【００１８】
このレンズ歪みの補正法は、仮の歪み係数と誤差との関係が単峰性の目的関数によって表され、前記誤差の唯一の最小点から歪み係数を推定できるというる特質に着目し、歪み係数を推定する時間を短縮する。すなわち、このレンズ歪みの補正法は、例えば、推定する歪み係数を含む区間における仮の歪み係数K11，K12の誤差ｆ（K11），ｆ（K12）の大小を比較し、その大小から次の仮の歪み係数K11，K12を極小点探査法により順次、大まかに更新することで予め決められた誤差の閾値まで仮の歪み係数の範囲を絞り込む。そして、絞り込まれた範囲内では、仮の歪み係数の下限に反復値を順次、上限まで加算し、各加算された仮の歪み係数について誤差を算出し、最小の誤差を算出した仮の歪み係数を歪み係数と推定する。
【００１９】
また、前記本発明に係るレンズ歪みの補正法において、前記極小点探査法は、黄金分割探査法であることが好ましい。
【００２０】
このレンズ歪みの補正法によれば、黄金分割探査法により、仮の歪み係数をさらに短時間に絞り込むことができる。ここで、黄金分割探査法は、区間［ａ，ｂ］における仮の歪み係数K11，K12の値と黄金比τ≒０．６１８を用い、その区間を内分する点K11，K12を、K11＝ｂ−τ（ｂ−ａ），K12＝ａ＋τ（ｂ−ａ）から求めることにより極小点を得る方法である。
【００２１】
また、前記本発明に係るレンズ歪みの補正法において、四角形状の撮影画像枠線の４辺について枠線上の画素の座標を保存し、推定精度を向上させることのできる３辺から歪み係数を推定することが好ましい。
【００２２】
４辺から歪み係数を的確に推定できない、すなわち、推定精度のよくない辺があるところ、このレンズ歪みの補正法によれば、四角形状の撮影画像の４辺についての枠線上の画素の座標のうち、推定精度のよくない辺を外した３辺を用いることによって、推定精度を向上させることができる。
【００２３】
また、前記本発明に係るレンズ歪みの補正法において、樽型歪みの撮影画像では、歪曲の小さな３辺から歪み係数を推定することが好ましい。
【００２４】
このレンズ歪みの補正法によれば、歪曲の小さな３辺から歪み係数を推定することで、推定精度の向上を図ることができる。これは、実験結果から、樽型歪みの撮影画像においては、補正する量が小さくなるように設定した方が推定精度の向上が観測されたためである。
【００２５】
また、前記本発明に係るレンズ歪みの補正法において、糸巻き型歪みの撮影画像では、歪曲の大きな３辺から歪み係数を推定することが好ましい。
【００２６】
このレンズ歪みの補正法によれば、歪曲の大きな３辺から歪み係数を推定することで、推定精度の向上を図ることができる。これは、実験結果から、糸巻き型歪みの撮影画像においては、補正する量が大きくなるように設定した方が推定精度の向上が観測されたためである。
【発明の効果】
【００２７】
本発明によれば、極小点探査法によって歪み係数を推定するレンズ歪みの補正法が提供されることにより、このレンズ歪みの補正法によって補正画像を作成する時間を短縮することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明に係るレンズ歪みの補正法を説明するフロー図である。
【図２】仮の歪み係数と誤差との関係を示すグラフである。
【図３】従来のレンズ歪みの補正法を説明するフロー図である。
【発明を実施するための形態】
【００２９】
本発明に係るレンズ歪みの補正法の一実施形態について、図１及び図２を参照しながら説明する。このレンズ歪みの補正法は、例えば小型のレンズを使用して撮影された四角形状の撮影画像の樽型歪みや糸巻き歪みのような歪曲収差歪みを補正するため、前記［数１］で示した歪み係数Ｋ1を短時間に推定できるようにしたことを特徴としている。
【００３０】
そのため、このレンズ歪みの補正法は、仮の歪み係数と誤差との関係が単峰性の目的関数によって表され、前記誤差の唯一の最小点から歪み係数Ｋ1を推定できるという特質を応用し、極小点探査法により、歪み係数Ｋ1を推定する。
【００３１】
極小点探査法としては、黄金分割探査法を使用する。黄金分割探査法は、単峰性の目的関数において、最小値の探査範囲を黄金分割比を用いて狭めることで、最小値を得る手法である。したがって、黄金分割探査法では、図２に示すように、目的関数ｆ（Ｋ1）の最小値を含む区間［ａ，ｂ］を設定し、の値と黄金分割比τ≒０．６１８を用いて、その区間を内分する仮の歪み係数K11とK12を設定する。
【００３２】
K11とK12は、
K11＝ｂ−τ（ｂ−ａ）
K12＝ａ＋τ（ｂ−ａ）
から得られる。
【００３３】
この仮の歪み係数K11とK12を用い、演算装置によって補正後の各座標群を求める。そして、演算装置によって各回帰直線を計算し、各補正後の枠線座標と回帰直線との誤差ｆ（K11）とｆ（K12）を計算する。続いて、演算装置によってこの誤差ｆ（K11）とｆ（K12）の大きさを比較し、K11とK12を更新する。
【００３４】
すなわち、ｆ（K11）＞ｆ（K12）の場合は、
ａ＝K11，K11＝K12，K12＝ｂ−（１−τ）（ｂ−ａ）
【００３５】
また、ｆ（K11）＜ｆ（K12）の場合は、
ｂ＝K12，K12＝K11，K11＝ａ＋（１−τ）（ｂ−ａ）
【００３６】
そして、ｆ（ａ）＜εかつｆ（ｂ）＜ε（εは予め決められている閾値）でなければ、仮の歪み係数K11とK12を用い、演算装置によって補正後の各座標群を求め直し、各回帰直線を計算し、各補正後の枠線座標と回帰直線との誤差ｆ（K11）とｆ（K12）を計算し、この誤差ｆ（K11）とｆ（K12）を比較するという手順を繰り返す。目的関数ｆ（Ｋ1）は、閾値εよりも大きい場合は正又は負に比例するため、K11とK12の間隔は、大まかに狭めて更新することができる。
【００３７】
そして、ｆ（ａ）＜εかつｆ（ｂ）＜εとなると、目的関数ｆ（Ｋ1）は、曲線状に変化するため、K11とK12を大まかに更新することができない。そこで、下限の仮の歪み係数Ｋ1minを仮の歪み係数K11とK12のどちらか小さい方とし、上限の仮の歪み係数Ｋ1maxを仮の歪み係数K11とK12をのどちらか大きい方とする。そして、演算装置によって下限の仮の歪み係数K1minに反復値Ｋｂ1int（＝０．１×１０-8）刻みで加算し、仮の歪み係数Ｋ1とする。
【００３８】
そして、この仮の歪み係数Ｋ1を用い、演算装置によって補正後の座標群を求め、回帰直線を計算し、補正後の枠線座標と回帰直線との誤差を計算し、仮の歪み係数Ｋ1と誤差を保存する。この仮の歪み係数Ｋ1に反復値Ｋｂ1intを加算するという手順を上限の仮の歪み係数Ｋ1maxになるまで、すなわち絞り込まれた範囲で繰り返す。そして、演算装置によってそれぞれの誤差ｆ（Ｋ1）を算出し、最も小さな誤差ｆ（Ｋ1）を算出した仮の歪み係数を歪み係数Ｋ1と推定する。この歪み係数Ｋ1は、前記の手順を１６回繰り返すだけで推定することができる。
【００３９】
歪み係数Ｋ1の推定に、従来では４２．１２秒要していたにもかかわらず、このレンズ歪みの補正法では０．３４秒と短縮することができる。したがって、このレンズ歪みの補正法では、四角形状の撮像画像の枠線の４辺を抽出し、４辺について歪み係数Ｋ1を推定することで、精度の高いレンズ歪みの補正をすることができる。
【００４０】
ただし、処理時間の短縮化のため、４辺の誤差を算出するものの、樽型歪みの撮影画像では、歪曲の小さな３辺から歪み係数Ｋ1を推定し、糸巻き型歪みの撮影画像では、歪曲の大きな３辺から歪み係数Ｋ1を推定し、平均値を歪み係数Ｋ1とする。実験結果から、樽型歪みの撮影画像では、補正する量が小さくなるように、糸巻き型歪みの撮影画像では、補正する量が大きくなるように設定した方が、推定精度が向上する傾向がみられたため、この傾向を反映するように、樽型歪みの撮影画像と糸巻き型歪みの撮影画像とで歪み係数Ｋ1の推定に用いる辺を選択する。
【００４１】
なお、樽型歪みの撮影画像は回帰直線の誤差が正で表され、糸巻き型歪みの撮影画像は回帰直線の誤差が負で表されるため、誤差の正負により、樽型歪みの撮影画像であるか糸巻き型歪みの撮影画像であるかを判断することができる。
【００４２】
このようにして歪み係数Ｋ1が推定されると、この歪み係数Ｋ1をパラメータとして演算装置によって歪みのない画像座標ｘ’，ｙ’を算出する。この歪みのない画像座標ｘ’，ｙ’は、［数１］を変形した［数２］から求めることができる。
【００４３】
【数２】
【００４４】
この歪みのない画像座標ｘ’，ｙ’から演算装置によって補正画像が生成される。ただし、被写体に対して垂直方向から撮影されなかった撮影画像については、射影変換を行うことによって補正する。射影変換をレンズ歪み補正よりも先に行うと、「レンズによる歪みは撮影画像の中央を中心として放射状に生じる。」という関係が崩れるため、レンズ歪み補正を行った後に、射影変換を行う。
【００４５】
このように、レンズ歪み補正と射影変換により、撮影画像を補正した補正画像がメモリに保存される。被写体が２次元バーコードであり、２次元バーコードにインターネットのＵＲＬやメールアドレスが記録されていると、補正画像からインターネットのＵＲＬやメールアドレスを正確に読み取ることができる。
【００４６】
なお、本発明は、前記実施の形態に限定することなく種々変更することができる。例えば、正確に補正するよりも処理時間を優先する場合は、４辺からでなく、２辺のみから歪み係数Ｋ1を推定してもよい。
【００４７】
また、本発明は、携帯電話に備えられた小型のレンズに対して、有効に適用することができるが、小型のレンズに限定することなく、レンズ歪みが生じる各種のレンズ、例えば自動車の後方を写すカメラにも適用することができる。
【特許請求の範囲】
【請求項１】
四角形状の撮影画像から直線に近い枠線を抽出し、この枠線上の画素の座標を保存し、歪みのない画像座標を算出するためのパラメータである歪み係数を算出するため、予め決められた範囲から歪み係数の候補とされる複数の仮の歪み係数を算出し、各仮の歪み係数を用いて補正後の枠線を求め、この補正後の枠線から回帰直線を計算し、この補正後の枠線の座標と回帰直線との誤差を計算し、最小の誤差を算出した仮の歪み係数を歪み係数と推定し、この歪み係数をパラメータとして補正画像を形成するレンズ歪みの補正法であって、
２つの仮の歪み係数の誤差の大小を比較するステップと、その大小から一方の仮の歪み係数を更新するという極小点探査法により、予め決められた誤差の閾値まで、探索範囲を段階的に狭めることで仮の歪み係数の範囲を絞り込むステップと、絞り込まれた範囲で仮の歪み係数の下限に反復値を順次、上限まで加算し、加算された各仮の歪み係数の誤差を算出し、最小の誤差を算出した仮の歪み係数を歪み係数と推定するステップを有することで補正画像を形成することを特徴とするレンズ歪みの補正法。
【請求項２】
前記極小点探査法は、黄金分割探査法であることを特徴とする請求項１に記載のレンズ歪みの補正法。
【請求項３】
四角形状の撮影画像枠線の４辺について枠線上の画素の座標を保存し、推定精度を向上させることのできる３辺から歪み係数を推定することを特徴とする請求項１又は２に記載のレンズ歪みの補正法。
【請求項４】
樽型歪みの撮影画像では、歪曲の小さな３辺から歪み係数を推定することを特徴とする請求項３に記載のレンズ歪みの補正法。
【請求項５】
糸巻き型歪みの撮影画像では、歪曲の大きな３辺から歪み係数を推定することを特徴とする請求項３に記載のレンズ歪みの補正法。
【請求項１】
四角形状の撮影画像から直線に近い枠線を抽出し、この枠線上の画素の座標を保存し、歪みのない画像座標を算出するためのパラメータである歪み係数を算出するため、予め決められた範囲から歪み係数の候補とされる複数の仮の歪み係数を算出し、各仮の歪み係数を用いて補正後の枠線を求め、この補正後の枠線から回帰直線を計算し、この補正後の枠線の座標と回帰直線との誤差を計算し、最小の誤差を算出した仮の歪み係数を歪み係数と推定し、この歪み係数をパラメータとして補正画像を形成するレンズ歪みの補正法であって、
２つの仮の歪み係数の誤差の大小を比較するステップと、その大小から一方の仮の歪み係数を更新するという極小点探査法により、予め決められた誤差の閾値まで、探索範囲を段階的に狭めることで仮の歪み係数の範囲を絞り込むステップと、絞り込まれた範囲で仮の歪み係数の下限に反復値を順次、上限まで加算し、加算された各仮の歪み係数の誤差を算出し、最小の誤差を算出した仮の歪み係数を歪み係数と推定するステップを有することで補正画像を形成することを特徴とするレンズ歪みの補正法。
【請求項２】
前記極小点探査法は、黄金分割探査法であることを特徴とする請求項１に記載のレンズ歪みの補正法。
【請求項３】
四角形状の撮影画像枠線の４辺について枠線上の画素の座標を保存し、推定精度を向上させることのできる３辺から歪み係数を推定することを特徴とする請求項１又は２に記載のレンズ歪みの補正法。
【請求項４】
樽型歪みの撮影画像では、歪曲の小さな３辺から歪み係数を推定することを特徴とする請求項３に記載のレンズ歪みの補正法。
【請求項５】
糸巻き型歪みの撮影画像では、歪曲の大きな３辺から歪み係数を推定することを特徴とする請求項３に記載のレンズ歪みの補正法。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−１５５６５２（Ｐ２０１２−１５５６５２Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１６３９９（Ｐ２０１１−１６３９９）
【出願日】平成２３年１月２８日（２０１１．１．２８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 〔発行者名〕 電子情報通信学会 〔刊行物名〕 電子情報通信学会技術研究報告 Ｖｏｌ．１１０ Ｎｏ．２８３ 〔発行年月日〕 ２０１０年１１月１１日 〔発行者名〕 関西大学、独立行政法人科学技術振興機構 〔刊行物名〕 関西大学新技術説明会資料集 〔発行年月日〕 ２０１０年１２月１０日
【出願人】（３９９０３００６０）学校法人 関西大学 (208)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２８日（２０１１．１．２８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 〔発行者名〕 電子情報通信学会 〔刊行物名〕 電子情報通信学会技術研究報告 Ｖｏｌ．１１０ Ｎｏ．２８３ 〔発行年月日〕 ２０１０年１１月１１日 〔発行者名〕 関西大学、独立行政法人科学技術振興機構 〔刊行物名〕 関西大学新技術説明会資料集 〔発行年月日〕 ２０１０年１２月１０日
【出願人】（３９９０３００６０）学校法人 関西大学 (208)
【Ｆターム（参考）】
[ Back to top ]