画像処理方法および画像処理装置
【課題】歪み補正後の絵柄の形状が折れ線状にならず、滑らかに変化する形状に補正可能な画像処理方法および画像処理装置を提供する。
【解決手段】歪み補正後画像の着目画素を表す極座標の角度ＯＴより、着目画像を間に挟む２軸に設定された歪み量テーブルＡ，Ｂを選択し、距離ＯＲに応じた歪み量Ａ，Ｂを算出する。角度ＯＴの三角関数から補間係数を求めて歪み量Ａ，Ｂを補間し、補間歪み量Ｃを用いて距離ＯＲを補正する。角度ＯＴと補正した距離ＩＲとで表される極座標を直交座標に変換して、歪み補正前画像の着目画素を表す参照座標を得る。
【解決手段】歪み補正後画像の着目画素を表す極座標の角度ＯＴより、着目画像を間に挟む２軸に設定された歪み量テーブルＡ，Ｂを選択し、距離ＯＲに応じた歪み量Ａ，Ｂを算出する。角度ＯＴの三角関数から補間係数を求めて歪み量Ａ，Ｂを補間し、補間歪み量Ｃを用いて距離ＯＲを補正する。角度ＯＴと補正した距離ＩＲとで表される極座標を直交座標に変換して、歪み補正前画像の着目画素を表す参照座標を得る。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像データの画像中に生じた歪みを補正する画像処理方法および画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラ等でデジタル画像を撮像すると、レンズの歪曲収差（ディストーション）の影響でデジタル画像中の像が歪む場合がある。この現象は、構造がシンプルなレンズを使用したカメラに発生しやすい。このようなデジタル画像中の像の歪みを、デジタル画像処理によって補正する手法がこれまでにも提案されてきた。
【０００３】
例えば、特許文献１に記載された歪曲補正装置は、歪みを補正した後に出力する画像中の着目する画素に対応する参照座標を、歪みが有る補正前の画像の中から算出し、算出した参照座標に基づいて補正前の画像中の画素を補間することにより、補正後画像中の画素の座標を算出している。補正前の画像中から参照座標を算出する際には、ディストーションデータと呼ばれる歪み量を表すデータを参照している。しかし、このディストーションデータは、画像の中心からの距離のみに依存して歪み量が変化するような形状の歪みしか表すことができない。
【０００４】
図１０に示すように、レンズ１００とイメージセンサの受光面１０１とは必ずしも正対しておらず、図中に傾きφとして表すようにわずかに傾いている場合が多い。受光面１０１の傾きφがない場合には、画像中で同じ歪み量となる点の軌跡は図１１（ａ）に示す同心円状になるが、傾きφがある場合には同心円状にならず、図１１（ｂ）に示す歪んだ円状になる。図１１（ｂ）のような歪み形状は画像の中心からの距離が同じでも歪み量が異なるため、特許文献１の補正方法で正しく補正することができなかった。
【０００５】
図１１（ｂ）のような、歪みの形状が中心からの距離以外の要因で変化する歪みを補正する方法として、特許文献２に記載されている方法がある。図１２は、特許文献２に係る撮像装置による歪み補正方法を説明する図である。この方法では、予め、画像中に中心Ｏから外側に向かって放射状に伸びる複数の軸Ｌ１〜Ｌ８を設定する。各軸上に、中心Ｏからの距離に対する歪み量を指定して、歪み量曲線を作成する。この歪み量曲線は、軸毎に独立に設定することができる。そして、撮像装置は、各軸について作成した歪み量曲線の近似式を用いて撮像画像の歪み補正処理を行う。これにより、画像の中心からの距離以外の要因で変化する歪みを補正することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４１０４５７１号公報
【特許文献２】特開２００８−２２７５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２では各軸上に対して独立に歪み量を指定する方法にしては開示されているが、各軸上にない画素の歪み量を算出する具体的な方法については開示されていない。
【０００８】
例えば、図１２に示すように軸Ｌ１上のＡ点およびＢ点と軸Ｌ８上のＣ点およびＤ点とで囲まれた領域ＡＢＣＤ内の歪み量を、Ａ点、Ｂ点、Ｃ点およびＤ点にてそれぞれ指定されている歪み量を用いた線形補間で表すとすると、同じ歪み量の軌跡は図１２中の点線で表される線分の形状となる。同じ歪み量の軌跡の形状は円弧状になることが多いため、線形補間により算出した歪み量に従って画像を補正すると、上記領域ＡＢＣＤの境界で歪み補正後の絵柄が折れ線形状に変化してしまう。
【０００９】
この発明は上記のような問題点を解決するためになされたものであり、画像上の歪み中心位置からの距離以外の要因によって変化する歪みを補正する際に、歪み補正後の絵柄の形状が折れ線状にならず、滑らかに変化する形状に補正可能な画像処理方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る画像処理方法は、撮像データを歪み補正して得られる歪み補正後画像上の所定位置に歪み中心座標を設定する歪み中心座標設定ステップと、歪み補正後画像上において歪み中心から放射状に伸びる複数の直線毎に、歪み中心からの距離に応じた歪み量を指定した歪み量テーブルを設定する歪み量テーブル設定ステップと、歪み補正後画像上の着目画素の直交座標を極座標に変換して、歪み中心を中心とした距離と角度で表す極座標変換ステップと、極座標上の角度に基づいて、複数の直線のうちから着目画素を間に挟む２直線を選択し、当該２直線に設定された２つの歪み量テーブルを選択する歪み量テーブル選択ステップと、歪み量テーブル選択ステップで選択した２つの歪み量テーブルから、極座標の距離に応じた歪み量をそれぞれ選択する歪み量選択ステップと、極座標上の角度を表す三角関数から補間係数を求めて歪み量選択ステップで選択した２つの歪み量を補間し、補間歪み量を算出する歪み量補間ステップと、歪み量補間ステップで算出した補間歪み量を用いて極座標の距離を補正して直交座標に変換する直交座標変換ステップと、撮像データの画像上の、直交座標変換ステップで変換した直交座標近傍の画素値を補間して、歪み補正後画像上の着目画素の画素値に設定する画素値設定ステップとを備えるものである。
【００１１】
この発明に係る画像処理装置は、撮像データを歪み補正して得られる歪み補正後画像上の所定位置に歪み中心座標を設定し、当該歪み補正後画像上の着目画素の直交座標を極座標に変換して、歪み中心を中心とした距離と角度で表す極座標変換部と、歪み補正後画像上において歪み中心から放射状に伸びる複数の直線毎に、歪み中心からの距離に応じた歪み量を指定した歪み量テーブルを設定し、極座標変換部が変換した極座標に基づいて、着目画素を間に挟む２直線の歪み量テーブルから２つの歪み量を取得し、極座標上の角度を表す三角関数から補間係数を求めて２つの歪み量を補間して補間歪み量を算出し、当該補間歪み量を用いて極座標の距離を補正して直交座標に変換する参照座標算出部と、撮像データの画像上の、参照座標算出部が変換した直交座標近傍の画素値を補間して、歪み補正後画像上の着目画素の画素値に設定する画素補間処理部とを備えるものである。
【発明の効果】
【００１２】
この発明によれば、歪み補正後画像上の着目画素を示す極座標に基づいて、着目画素を間に挟む２直線の歪み量テーブルから２つの歪み量を取得し、極座標上の角度を表す三角関数から求まる補間係数で補間するようにしたので、画像上の歪み中心位置からの距離以外の要因によって変化する歪みを補正する際に、歪み補正後の絵柄の形状が折れ線状にならず、滑らかに変化する形状に補正できる画像処理方法および画像処理装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１に係る撮像装置の構成を示すブロック図である。
【図２】実施の形態１に係る撮像装置のうち、画像処理部の動作を示すフローチャートである。
【図３】実施の形態１に係る撮像装置において、歪み補正後画像に設定される歪み量テーブルを説明する図である。
【図４】実施の形態１による参照座標算出部の動作を示すブロック図である。
【図５】実施の形態１による参照座標算出部の動作を示すフローチャートである。
【図６】実施の形態１の参照座標算出部による、極座標の角度ＯＴを用いて歪み量を補間する方法の概要を示す図である。
【図７】実施の形態１の参照座標算出部による、極座標の角度ＯＴを用いて歪み量を補間する方法の概要を示す続きの図である。
【図８】この発明の実施の形態２に係る撮像装置において、歪み補正後画像に設定される歪み量テーブルを説明する図である。
【図９】実施の形態２による参照座標算出部の動作を示すブロック図である。
【図１０】撮像装置のレンズとイメージセンサ受光面の位置関係を示す図である。
【図１１】撮像画像の歪みを説明する図であり、図１１（ａ）はレンズに対しイメージセンサ受光面が正対する場合の同じ歪み量の軌跡を示し、図１１（ｂ）はレンズに対しイメージセンサ受光面が傾いた場合の同じ歪み量の軌跡を示す。
【図１２】特許文献２に係る撮像装置の歪み補正方法を説明する図である。
【発明を実施するための形態】
【００１４】
実施の形態１．
図１に示す撮像装置１は、レンズ２と、レンズ２の集光を光電変換して撮像画像（デジタルデータ）を出力するイメージセンサ３と、撮像画像に生じる歪みを補正する画像処理部４と、歪み補正に必要な情報を記憶したメモリ８とを備える。なお、レンズ２およびイメージセンサ３を有して撮像画像を生成するデジタルカメラ本体と、画像処理部４およびメモリ８を有して撮像画像の歪曲収差を補正する画像処理装置とを別体で構成してもよい。
【００１５】
この画像処理部４は、極座標変換部５、参照座標算出部６および画素補間処理部７からなり、撮像画像、即ち歪み補正前画像中の歪曲収差を補正するために、歪み補正後画像の着目画素の画素値を算出する。図２は、画像処理部４の動作を示すフローチャートである。撮像画像を歪み補正して歪み補正後画像を生成する際の補正対象となる着目画素の座標が画像処理部４に入力されると、先ず画像処理部４がメモリ８に記憶されている歪み中心座標および画素アスペクト比を参照して、着目画素を直交座標から極座標に変換する（ステップＳＴ１）。次に、参照座標算出部６がメモリ８に記憶されている歪み量パラメータを参照して、極座標に対応する歪み補正前画像（即ち、撮像画像）中の参照座標を算出する（ステップＳＴ２）。最後に、画素補間処理部７が、算出した参照座標と、イメージセンサ３が出力する歪み補正前画像中の画素値とを用いて補間演算を行い、歪み補正後画像の着目画素の画素値を算出する（ステップＳＴ３）。
【００１６】
ステップＳＴ１において、極座標変換部５は下式（１）および式（２）に従って、歪み補正後画像の着目画素を表す直交座標に対応する極座標を算出する。この際、極座標変換部５は、歪み中心座標（ＣＸ，ＣＹ）および画素アスペクト比ＡＳＰをメモリ８から取得する。
【００１７】
ＯＲ＝ＳＱＲＴ（ＰＯＷ（（ＯＸ−ＣＸ）×ＡＳＰ，２）＋ＰＯＷ（ＯＹ−ＣＹ，２））
・・・（１）
ＯＴ＝ａｔａｎ（（ＯＹ−ＣＹ）÷（ＯＸ−ＣＸ）×ＡＳＰ）：ＯＸ≠ＣＸの場合
ＯＴ＝ ９０：ＯＸ＝ＣＸかつＯＹ＞ＣＹの場合
ＯＴ＝２７０：ＯＸ＝ＣＸかつＯＹ＜ＣＹの場合
ＯＴ＝ ０：ＯＸ＝ＣＸかつＯＹ＝ＣＹの場合
・・・（２）
（ＯＲ，ＯＴ） ：歪み補正後画像着目画素の極座標
（ＯＸ，ＯＹ） ：歪み補正後画像着目画素の座標
（ＣＸ，ＣＹ） ：歪み中心座標
ＡＳＰ ：画素アスペクト比（水平÷垂直）
ＳＱＲＴ（ｐ） ：ｐの平方根を算出する関数
ＰＯＷ（ｐ，ｑ）：ｐのｑ乗の値を算出する関数
ａｔａｎ（ｐ） ：ｐの逆正接を算出する関数
【００１８】
外部から指示される歪み補正後画像着目画素の座標（ＯＸ，ＯＹ）は、画像データの水平方向と垂直方向を直交するＸ軸とＹ軸の座標で表した直交座標である。同様に、歪み中心（ＣＸ，ＣＹ）も直交座標である。一方、極座標変換部５が変換する極座標（ＯＲ，ＯＴ）は、歪み中心座標（ＣＸ，ＣＴ）を中心とした着目画素座標（ＯＸ，ＯＹ）までの距離ＯＲと、歪み中心を通る始線からの傾きを示す角度ＯＴとで表す。
【００１９】
なお、歪み中心座標の算出は公知の方法を用いればよく、キャリブレーション処理として撮像装置１で碁盤の目状の被写体を撮像したときの碁盤の目の歪み具合から歪み中心座標（ＣＸ，ＣＴ）を算出すればよい。本実施の形態１では、予め算出した歪み中心座標（ＣＸ，ＣＴ）をメモリ８に保持しておく。
【００２０】
また、本実施の形態１では歪み中心座標（ＣＸ，ＣＴ）からの距離に応じて歪み量を算出する方式であるため、画素自体が正方形でない場合（例えば、イメージセンサ３の１画素の形状が正方形でない場合）には、画像データの水平方向と垂直方向の距離が異なり、歪み量を正しく算出することができない。そのため、上式（１）および式（２）では、水平方向または垂直方向に対して画素アスペクト比に応じた係数ＡＳＰを乗じて、正しい距離が算出できるようにする。
【００２１】
続くステップＳＴ２において、参照座標算出部６は、歪み補正後画像の着目極座標とメモリ８に保持されている歪み量パラメータを参照して、歪み補正前画像の参照座標を算出する。
【００２２】
図３は、参照座標算出部６の参照座標算出方法を説明する図である。画像中の歪み中心座標（ＣＸ，ＣＹ）から周辺へ放射状に伸び、かつ、互いに直交する４方向の軸１０−１〜１０−４に対して、歪み中心からの距離に応じた歪み量を保持する歪み量テーブル２０−１〜２０−４を予め設定しておく。歪み量テーブル２０−１〜２０−４は、入力値の距離に対する出力値の歪み量の組が、複数組、入力値の昇順に並んだ構造となっている。入力値である距離と出力値である歪み量は離散的に変化し、また、複数組の間でも離散的に変化する。
また、歪み量テーブルに歪み量として設定する値は、歪み補正後の歪み中心からの距離に対する歪み補正前の歪み中心からの距離の比率を用いる。また、この比率の代わりに、歪み補正前の歪み中心からの距離と、歪み補正後の歪み中心からの距離との差を用いてもよい。
【００２３】
歪み量パラメータとしては、軸１０−１〜１０−４に対してそれぞれ独立に設定された歪み量テーブルの他、歪み中心を通る水平方向の軸（図３に示す破線であって、上述した始線に相当する）に対する軸１０−１の傾きθも予め設定しておく。
【００２４】
着目極座標（ＯＲ，ＯＴ）で表される着目画素が軸１０−１〜１０−４の真上にない場合、この着目画素を間に挟む位置にくる２本の軸に設定された歪み量テーブルの値を補間して歪み量を得る必要がある。以下、歪み量の補間方法を説明する。
【００２５】
図４は、参照座標算出部６の動作を説明するブロック図である。図５は、参照座標算出部６の動作を説明するフローチャートである。
参照座標算出部６は、先の極座標変換処理（ステップＳＴ１）で得られた着目画素の角度ＯＴと、メモリ８に予め設定された軸１０−１の傾きθとを参照して、着目画素を間に挟む２軸のうちの一方の軸に設定された歪み量テーブルを選択して歪み量テーブルＡとする（ステップＳＴ２−１Ａ）。ここでは、歪み中心から見て、歪み中心と着目画素をつなぐ直線の左側にくる軸に設定された歪み量テーブルを歪み量テーブルＡとし、この直線の右側にくる軸に設定された歪み量テーブルを歪み量テーブルＢとする。先ず、歪み量テーブルＡ選択の条件を以下に列挙する。
０度＜＝ＯＴ−θ＜ ９０度の場合：歪み量テーブル２０−１を選択
９０度＜＝ＯＴ−θ＜１８０度の場合：歪み量テーブル２０−２を選択
１８０度＜＝ＯＴ−θ＜２７０度の場合：歪み量テーブル２０−３を選択
２７０度＜＝ＯＴ−θ＜３６０度の場合：歪み量テーブル２０−４を選択
【００２６】
参照座標算出部６は同様に、着目極座標の角度ＯＴとメモリ８に予め設定された軸１０−１の傾きθとを参照して、着目画素を間に挟む２軸のうちの他方の軸（即ち、歪み中心から見て、歪み中心と着目画素をつなぐ直線の右側にくる軸）に設定された歪み量テーブルを選択して歪み量テーブルＢとする（ステップＳＴ２−１Ｂ）。歪み量テーブルＢ選択の条件を以下に列挙する。
０度＜＝ＯＴ−θ＜ ９０度の場合：歪み量テーブル２０−２を選択
９０度＜＝ＯＴ−θ＜１８０度の場合：歪み量テーブル２０−３を選択
１８０度＜＝ＯＴ−θ＜２７０度の場合：歪み量テーブル２０−４を選択
２７０度＜＝ＯＴ−θ＜３６０度の場合：歪み量テーブル２０−１を選択
【００２７】
続いて参照座標算出部６は、着目極座標の距離ＯＲを参照して、歪み量テーブルＡから歪み量Ａを算出する（ステップＳＴ２−２Ａ）。参照座標算出部６は、距離ＯＲが歪み量テーブルＡの入力値である距離と一致する場合には、対応する出力値である歪み量をそのまま歪み量Ａとして算出する。
一方、距離ＯＲが歪み量テーブルＡの入力値である距離と一致しない場合には、近傍の入力値および出力値を補間して歪み量Ａを算出する。補間方法としては、距離に対する線形補間、スプライン補間等があり、どの方法を用いても構わない。一例として、下式（３）に線形補間による歪み量Ａの算出式を示す。
【００２８】
ＤＡ＝（ＴＡＯ［Ｎ＋１］−ＴＡＯ［Ｎ］）÷（ＴＡＩ［Ｎ＋１］−ＴＡＩ［Ｎ］）
×（ＯＲ−ＴＡＩ［Ｎ］）＋ＴＡＯ［Ｎ］
・・・（３）
ただし、ＯＲがＴＡＩ［Ｎ］の最大要素以上の場合は、ＤＡをＴＡＯ［Ｎ］の最大要素とする。
ＤＡ ：歪み量Ａ
ＯＲ ：極座標の距離ＯＲ
ＴＡＩ［Ｎ］：歪み量テーブルＡ入力値（距離）の第Ｎ要素
ＴＡＯ［Ｎ］：歪み量テーブルＡ出力値（歪み量）の第Ｎ要素
Ｎ ：ＴＡＩ［Ｎ］＜＝ＯＲ＜ＴＡＩ［Ｎ＋１］を満たす要素番号Ｎ
【００２９】
参照座標算出部６は同様に、着目極座標の距離ＯＲを参照して、歪み量テーブルＢから歪み量Ｂを算出する（ステップＳＴ２−２Ｂ）。また、参照座標算出部６は歪み量Ａの処理と同様、距離ＯＲが歪み量テーブルＢの入力値である距離と一致する場合には、対応する出力値である歪み量を歪み量Ｂとして算出する。また、距離ＯＲが歪み量テーブルＢの入力値である距離と一致しない場合には、近傍の入力値および出力値を補間して歪み量Ｂを算出する。補間方法としては、距離に対する線形補間、スプライン補間等があり、どの方法を用いても構わない。一例として、下式（４）に線形補間による歪み量Ｂの算出式を示す。
【００３０】
ＤＢ＝（ＴＢＯ［Ｍ＋１］−ＴＢＯ［Ｍ］）÷（ＴＢＩ［Ｍ＋１］−ＴＢＩ［Ｍ］）
×（ＯＲ−ＴＢＩ［Ｍ］）＋ＴＢＯ［Ｍ］
・・・（４）
ただし、ＯＲがＴＢＩ［Ｍ］の最大要素以上の場合は、ＤＢをＴＢＯ［Ｍ］の最大要素とする。
ＤＢ ：歪み量Ｂ
ＯＲ ：極座標の距離ＯＲ
ＴＢＩ［Ｍ］：歪み量テーブルＢ入力値（距離）の第Ｍ要素
ＴＢＯ［Ｍ］：歪み量テーブルＢ出力値（歪み量）の第Ｍ要素
Ｍ ：ＴＢＩ［Ｍ］＜＝ＯＲ＜ＴＢＩ［Ｍ＋１］を満たす要素番号Ｍ
【００３１】
続いて、参照座標算出部６は歪み量Ａ，Ｂを補間して、着目極座標の位置に相当する補間歪み量Ｃを算出する（ステップＳＴ２−３）。即ち、着目画素を間に挟む２軸のうちの一方の軸に設定された歪み量テーブルＡから算出した歪み量Ａと、他方の軸に設定された歪み量テーブルＢから算出した歪み量Ｂとを、角度ＯＴを用いて補間して、着目画素の補間歪み量Ｃを算出する。
【００３２】
図６および図７に、角度ＯＴを用いた補間方法の概要を示す。図示例は、Ｚ軸がレンズ２の光軸である場合に、イメージセンサ３の受光面βが、光軸Ｚに垂直な面αから角度φだけ傾いている場合の様子を表している。このとき面αは、Ｘ−Ｙ平面と一致しており、受光面βの傾きの中心軸はＹ軸と一致している。
【００３３】
Ｘ−Ｙ平面をＺ軸を中心にしてθ度回転したＸ’−Ｙ’平面（Ｙ’軸は不図示）上で、Ｘ’−Ｙ’平面と受光面βとの間の角度をμ度とする。角度θは、上述した軸１０−１の傾きである。図７に示すように、φ度の傾きがない面αでの歪み中心からの距離を１とすると、φ度傾いた受光面βにおける歪み中心からの距離を下式（５）で表すことができる。
ｔａｎ（μ）＝ｃｏｓ（θ）÷ｃｏｓ（φ） ・・・（５）
【００３４】
参照座標算出部６は、上式（５）に従い、歪み量間の補間係数に、角度ＯＴの三角関数を用いることで、補間後の同一歪み量の軌跡の形状を円弧状にすることができ、滑らかに変化する形状になる。
【００３５】
下式（６）は、歪み量Ａと歪み量Ｂから、補間によって補間歪み量Ｃを算出する式の具体例である。下式（６）では余弦を返す関数を用いて表すが、同じ内容であれば、正弦を返す関数を用いてもよいし、正接を返す関数を用いてもよい。
【００３６】
ＤＣ＝ＤＡ×｜ｃｏｓ（ＯＴ−θ）｜＋ＤＢ×（１−｜ｃｏｓ（ＯＴ−θ）｜）
・・・（６）
ＤＡ ：歪み量Ａ
ＤＢ ：歪み量Ｂ
ＤＣ ：補間歪み量Ｃ
ＯＴ ：極座標の角度ＯＴ
θ ：軸１０−１の傾き
ｃｏｓ（ｐ）：ｐの余弦を返す関数
｜ｐ｜ ：ｐの絶対値
【００３７】
このように、着目極座標（ＯＲ，ＯＴ）で表される着目画素が軸１０−１〜１０−４の真上にない場合には、この着目画素を間に挟む位置にくる２本の軸に設定された歪み量テーブルの値を補間して、補間歪み量Ｃを算出する。補間の際には２本の軸からの角度を使用しており、補間係数は０：１〜１：０の間で変化することになる。
一方、着目画素が軸１０−１〜１０−４のいずれかの軸の真上に存在する場合には、補間係数が０：１または１：０になるので、当該軸に設定された歪み量テーブルを参照して距離ＯＲに対応する歪み量をそのまま補間歪み量Ｃとして取得できる。
【００３８】
続いて参照座標算出部６は、算出した補間歪み量Ｃを用いて、着目極座標の距離ＯＲを補正し、歪み補正前画像における歪み中心からの距離ＩＲを算出する（ステップＳＴ２−４）。歪み量テーブル２０−１〜２０−４に歪み量として設定されている値が、歪み補正後の歪み中心からの距離に対する歪み補正前の歪み中心からの距離の比率である場合の、距離ＩＲ算出式を下式（７）に示す。
【００３９】
ＩＲ＝ＯＲ×ＤＣ ・・・（７）
ＩＲ：歪み補正前画像における歪み中心からの距離
ＯＲ：歪み補正後画像における歪み中心からの距離（着目極座標）
ＤＣ：補間歪み量Ｃ
【００４０】
また、ステップＳＴ２−４において、歪み量テーブル２０−１〜２０−４に歪み量として設定されている値が、歪み補正前の歪み中心からの距離と、歪み補正後の歪み中心からの距離との差である場合には、参照座標算出部６は上式（７）に代えて下式（８）を用いる。
【００４１】
ＩＲ＝ＯＲ＋ＤＣ ・・・（８）
ＩＲ：歪み補正前画像における歪み中心からの距離
ＯＲ：歪み補正後画像における歪み中心からの距離（着目極座標）
ＤＣ：補間歪み量Ｃ
【００４２】
続いて参照座標算出部６は、算出した補正前画像の着目極座標の距離ＩＲと、補正後画像の着目極座標の角度ＯＴとを直交座標に変換して、参照座標（ＩＸ，ＩＹ）を算出する（ステップＳＴ２−５）。着目極座標の距離ＩＲおよび角度ＯＴを参照座標（ＩＸ，ＩＹ）に変換する式（９）および式（１０）を以下に示す。なお、参照座標は１画素未満の単位まで算出して、後段の画素補間処理部７による補間演算（ステップＳＴ３）にて使用する。
【００４３】
ＩＸ＝ＩＲ×ｃｏｓ（ＯＴ）＋ＣＸ ・・・（９）
ただし、ＩＲ＝０の場合は、ＩＸ＝ＣＸとする。
ＩＹ＝ＩＲ×ｓｉｎ（ＯＴ）＋ＣＹ ・・・（１０）
ただし、ＩＲ＝０の場合は、ＩＹ＝ＣＹとする。
ＯＴ ：歪み補正後画像着目極座標の角度
ＩＲ ：歪み補正前画像着目極座標の距離
（ＩＸ，ＩＹ）：歪み補正前画像着目画素の参照座標（直交座標）
（ＣＸ，ＣＹ）：歪み中心座標
ｃｏｓ（ｐ） ：ｐの余弦を算出する関数
ｓｉｎ（ｐ） ：ｐの正弦を算出する関数
【００４４】
最後にステップＳＴ３において、画素補間処理部７が、イメージセンサ３が出力する歪み補正前画像中から、算出した参照座標（ＩＸ，ＩＹ）の近傍の画素値を取得して補間演算を行い、歪み補正後画像の着目画素の画素値を算出する。補間演算時には、参照座標の１画素未満の値を補間係数として使用する。画素補間処理における画素値の補間演算は、線形補間、バイキュービック補間、またはその他の方法でも構わない。
一方、歪み補正前画像の着目画素における直交座標がちょうど整数値となる場合（即ち参照座標が１画素となる場合）には、補間係数を１：０とすることで直交座標位置の画素の画素値をそのまま着目画素の画素値として用いることができる。
【００４５】
なお、極座標変換部５、参照座標算出部６および画素補間処理部７の各部をそれぞれ専用の回路で構成してもよいし、各部の処理内容を記述しているプログラムをメモリに格納し、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のマイクロプロセッサがメモリ中のプログラムを実行するように構成してもよい。
【００４６】
以上より、実施の形態１に係る画像処理方法によれば、極座標変換部５が、撮像データを歪み補正して得られる歪み補正後画像上に歪み中心座標を設定する歪み中心座標設定ステップと、参照座標算出部６が、歪み補正後画像上において歪み中心から放射状に、互いに直交する角度方向に伸びる４本の軸１０−１〜１０−４を設定し、当該直線毎に、歪み中心からの距離に応じた歪み量を指定した歪み量テーブル２０−１〜２０−４を設定する歪み量テーブル設定ステップと、参照座標算出部６が、歪み補正後画像上の着目画素の直交座標を極座標に変換して、歪み中心を中心とした距離と角度で表す極座標変換ステップと、参照座標算出部６が、極座標上の角度に基づいて、４本の軸１０−１〜１０−４のうちから着目画素を間に挟む２軸を選択し、当該２軸に設定された２つの歪み量テーブルを選択する歪み量テーブル選択ステップと、参照座標算出部６が、歪み量テーブル選択ステップで選択した２つの歪み量テーブルから、極座標の距離に応じた歪み量をそれぞれ選択する歪み量選択ステップと、極座標上の角度を表す三角関数から補間係数を求めて歪み量選択ステップで選択した２つの歪み量を補間し、補間歪み量を算出する歪み量補間ステップと、参照座標算出部６が、歪み量補間ステップで算出した補間歪み量を用いて極座標の距離を補正して直交座標に変換する直交座標変換ステップと、画素補間処理部７が、撮像データの画像上の、直交座標変換ステップで変換した直交座標近傍の画素値を補間して、歪み補正後画像上の着目画素の画素値に設定する画素値設定ステップとを備えるように構成した。このため、画像上の歪み中心位置からの距離以外の要因によって変化する歪みを補正する際に、歪み補正後の絵柄の形状が折れ線状にならず、滑らかに変化する形状に補正できる。
【００４７】
また、実施の形態１によれば、極座標変換部５が、極座標変換ステップにおいて直交座標から極座標に変換するときに画素アスペクト比を用いて補正するように構成したので、イメージセンサ３の１画素の形状が正方形でない場合にも、着目画素の正しい極座標を得ることができ、結果として歪み補正精度を向上できる。
【００４８】
実施の形態２．
本実施の形態２に係る撮像装置１は、図１に示す撮像装置１と図面上では同様の構成であるため、以下では図１を援用して説明する。本実施の形態２では、メモリ８に保持しておく歪み量パラメータが上記実施の形態１とは異なっており、そのために参照座標算出部６の動作も異なる。以下、異なる部分を中心に説明する。
【００４９】
図８は、参照座標算出部６の参照座標算出方法を説明する図である。画像中の歪み中心座標（ＣＸ，ＣＹ）から任意の方向へ伸びるＫ本の軸１０−１〜１０−Ｋに対して、歪み中心からの距離に応じた歪み量を保持する歪み量テーブル２０−１〜２０−Ｋを予め設定しておく。歪み量テーブル２０−１〜２０−Ｋは、上記実施の形態１と同様に、入力値の距離に対する出力値の歪み量の組が、複数組、入力値の昇順に並んだ構造となっている。入力値である距離と出力値であるゆがみ量は離散的に変化し、また、複数組の間でも離散的に変化する。
【００５０】
また、上記実施の形態１では軸１０−１のみに傾きθを設定するようにしたが、本実施の形態２では軸１０−１〜１０−Ｋに対してそれぞれの傾きθ１〜θＫを設定する。
【００５１】
図９は、実施の形態２に係る参照座標算出部６の動作を示すブロック図であり、実施の形態１における図４に対応している。
参照座標算出部６は、先の極座標変換処理（図２に示すステップＳＴ１）で得られた歪み補正後画像の着目画素の角度ＯＴと、メモリ８に予め設定された各軸１０−１〜１０−Ｋの傾きθ１〜θＫとを参照して、着目画素を間に挟む２軸のうちの一方の軸（即ち、歪み中心から見て、歪み中心と着目画素をつなぐ直線の左側にくる軸）に設定された歪み量テーブルを選択して歪み量テーブルＡとする（ステップＳＴ２−１Ａ’）。歪み量テーブルＡ選択の条件を以下に列挙する。
θ１＜＝ＯＴ＜θ２の場合：歪み量テーブル１０−１を選択
θ２＜＝ＯＴ＜θ３の場合：歪み量テーブル１０−２を選択
： ： ：
θＫ＜＝ＯＴまたはＯＴ＜θ１の場合：歪み量テーブル１０−Ｋを選択
【００５２】
参照座標算出部６は同様に、着目極座標の角度ＯＴとメモリ８に予め設定された軸１０−１〜１０−Ｋの傾きθ１〜θＫとを参照して、着目画素を間に挟む２軸のうちの他方の軸（即ち、歪み中心から見て、歪み中心と着目画素をつなぐ直線の左側にくる軸）に設定された歪み量テーブルを選択して歪み量テーブルＢとする（ステップＳＴ２−１Ｂ’）。歪み量テーブルＢ選択の条件を以下に列挙する。
θ１＜＝ＯＴ＜θ２の場合：歪み量テーブル１０−２を選択
θ２＜＝ＯＴ＜θ３の場合：歪み量テーブル１０−３を選択
： ： ：
θＫ＜＝ＯＴまたはＯＴ＜θ１の場合：歪み量テーブル１０−１を選択
【００５３】
続くステップＳＴ２−２Ａ，ＳＴ２−２Ｂは、図４に示すステップＳＴ２−２Ａ，ＳＴ２−２Ｂと同様の処理のため説明を省略する。
【００５４】
続いて参照座標算出部６は、下式（１１）を用いて歪み量Ａ，Ｂを補間して、着目極座標の位置に相当する補間歪み量Ｃを算出する（ステップＳＴ２−３’）。
【００５５】
ＤＣ＝ＤＡ×（｜ｃｏｓ（ＯＴ−θ１）｜−｜ｃｏｓ（θＢ−θ１）｜）
÷（｜ｃｏｓ（θＡ−θ１）｜−｜ｃｏｓ（θＢ−θ１）｜）
＋ＤＢ×（｜ｃｏｓ（ＯＡ−θ１）｜−｜ｃｏｓ（θＴ−θ１）｜）
÷（｜ｃｏｓ（θＡ−θ１）｜−｜ｃｏｓ（θＢ−θ１）｜）
・・・（１１）
ＤＡ ：歪み量Ａ
ＤＢ ：歪み量Ｂ
ＤＣ ：補間歪み量Ｃ
ＯＴ ：極座標の角度ＯＴ
θＡ ：歪み量テーブルＡが設定された軸Ａの傾き
θＢ ：歪み量テーブルＢが設定された軸Ｂの傾き
ｃｏｓ（ｐ）：ｐの余弦を返す関数
｜ｐ｜ ：ｐの絶対値
【００５６】
続くステップＳＴ２−４，ＳＴ２−５は、図４に示すステップＳＴ２−４，ＳＴ２−５と同様の処理のため説明を省略する。
【００５７】
以上より、実施の形態２に係る画像処理方法によれば、参照座標算出部６は、歪み量テーブル設定ステップで、歪み補正後画像上において歪み中心から放射状に伸びる複数の軸１０−１〜１０−Ｋ毎に、歪み中心からの距離に応じた歪み量を指定した歪み量テーブル２０−１〜２０−Ｋを設定し、歪み量テーブル選択ステップで、極座標上の角度に基づいて、複数の軸１０−１〜１０−Ｋのうちから着目画素を間に挟む２軸を選択するように構成した。このため、上記実施の形態１と同様に、画像上の歪み中心位置からの距離以外の要因によって変化する歪みを補正する際に、歪み補正後の絵柄の形状が折れ線状にならず、滑らかに変化する形状に補正できる。また、上記実施の形態１では４本だった軸をＫ本まで増やすことで、より細かな歪み形状にも対応することができる。
【００５８】
また、実施の形態２においても、上記実施の形態１と同様に、極座標変換部５が極座標変換ステップにおいて直交座標から極座標に変換するときに画素アスペクト比を用いて補正するように構成してもよい。この構成であれば、イメージセンサ３の１画素の形状が正方形でない場合にも、着目画素の正しい極座標を得ることができ、結果として歪み補正精度を向上できる。
【００５９】
上記実施の形態１，２では、歪みが変化する原因として、図６に示すようなレンズ光軸に対するイメージセンサ受光面の傾きを例に挙げて説明したが、その他にも、レンズの形状に微小な歪みがある場合、イメージセンサ受光面自体が平面から微小に歪んでいる場合にも歪みの形状が中心からの距離以外の要因で変化する。そのような場合にも、上記実施の形態１，２に係る画像処理方法を用いれば画像データの歪みを補正することができる。ただし、歪みが変化する原因に応じて歪み中心座標（ＣＸ，ＣＴ）の設定位置も変える必要がある。
なお、本願発明の範囲内において、実施の形態を適宜組合せ、変更、省略等することが可能である。
【符号の説明】
【００６０】
１ 撮像装置、２ レンズ、３ イメージセンサ、４ 画像処理部、５ 極座標変換部、６ 参照座標算出部、７ 画素補間処理部、８ メモリ、１０−１〜１０−Ｋ，Ｌ１〜Ｌ８ 軸、２０−１〜２０−Ｋ 歪み量テーブル、１００ レンズ、１０１ イメージセンサの受光面。
【技術分野】
【０００１】
この発明は、撮像データの画像中に生じた歪みを補正する画像処理方法および画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラ等でデジタル画像を撮像すると、レンズの歪曲収差（ディストーション）の影響でデジタル画像中の像が歪む場合がある。この現象は、構造がシンプルなレンズを使用したカメラに発生しやすい。このようなデジタル画像中の像の歪みを、デジタル画像処理によって補正する手法がこれまでにも提案されてきた。
【０００３】
例えば、特許文献１に記載された歪曲補正装置は、歪みを補正した後に出力する画像中の着目する画素に対応する参照座標を、歪みが有る補正前の画像の中から算出し、算出した参照座標に基づいて補正前の画像中の画素を補間することにより、補正後画像中の画素の座標を算出している。補正前の画像中から参照座標を算出する際には、ディストーションデータと呼ばれる歪み量を表すデータを参照している。しかし、このディストーションデータは、画像の中心からの距離のみに依存して歪み量が変化するような形状の歪みしか表すことができない。
【０００４】
図１０に示すように、レンズ１００とイメージセンサの受光面１０１とは必ずしも正対しておらず、図中に傾きφとして表すようにわずかに傾いている場合が多い。受光面１０１の傾きφがない場合には、画像中で同じ歪み量となる点の軌跡は図１１（ａ）に示す同心円状になるが、傾きφがある場合には同心円状にならず、図１１（ｂ）に示す歪んだ円状になる。図１１（ｂ）のような歪み形状は画像の中心からの距離が同じでも歪み量が異なるため、特許文献１の補正方法で正しく補正することができなかった。
【０００５】
図１１（ｂ）のような、歪みの形状が中心からの距離以外の要因で変化する歪みを補正する方法として、特許文献２に記載されている方法がある。図１２は、特許文献２に係る撮像装置による歪み補正方法を説明する図である。この方法では、予め、画像中に中心Ｏから外側に向かって放射状に伸びる複数の軸Ｌ１〜Ｌ８を設定する。各軸上に、中心Ｏからの距離に対する歪み量を指定して、歪み量曲線を作成する。この歪み量曲線は、軸毎に独立に設定することができる。そして、撮像装置は、各軸について作成した歪み量曲線の近似式を用いて撮像画像の歪み補正処理を行う。これにより、画像の中心からの距離以外の要因で変化する歪みを補正することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４１０４５７１号公報
【特許文献２】特開２００８−２２７５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２では各軸上に対して独立に歪み量を指定する方法にしては開示されているが、各軸上にない画素の歪み量を算出する具体的な方法については開示されていない。
【０００８】
例えば、図１２に示すように軸Ｌ１上のＡ点およびＢ点と軸Ｌ８上のＣ点およびＤ点とで囲まれた領域ＡＢＣＤ内の歪み量を、Ａ点、Ｂ点、Ｃ点およびＤ点にてそれぞれ指定されている歪み量を用いた線形補間で表すとすると、同じ歪み量の軌跡は図１２中の点線で表される線分の形状となる。同じ歪み量の軌跡の形状は円弧状になることが多いため、線形補間により算出した歪み量に従って画像を補正すると、上記領域ＡＢＣＤの境界で歪み補正後の絵柄が折れ線形状に変化してしまう。
【０００９】
この発明は上記のような問題点を解決するためになされたものであり、画像上の歪み中心位置からの距離以外の要因によって変化する歪みを補正する際に、歪み補正後の絵柄の形状が折れ線状にならず、滑らかに変化する形状に補正可能な画像処理方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る画像処理方法は、撮像データを歪み補正して得られる歪み補正後画像上の所定位置に歪み中心座標を設定する歪み中心座標設定ステップと、歪み補正後画像上において歪み中心から放射状に伸びる複数の直線毎に、歪み中心からの距離に応じた歪み量を指定した歪み量テーブルを設定する歪み量テーブル設定ステップと、歪み補正後画像上の着目画素の直交座標を極座標に変換して、歪み中心を中心とした距離と角度で表す極座標変換ステップと、極座標上の角度に基づいて、複数の直線のうちから着目画素を間に挟む２直線を選択し、当該２直線に設定された２つの歪み量テーブルを選択する歪み量テーブル選択ステップと、歪み量テーブル選択ステップで選択した２つの歪み量テーブルから、極座標の距離に応じた歪み量をそれぞれ選択する歪み量選択ステップと、極座標上の角度を表す三角関数から補間係数を求めて歪み量選択ステップで選択した２つの歪み量を補間し、補間歪み量を算出する歪み量補間ステップと、歪み量補間ステップで算出した補間歪み量を用いて極座標の距離を補正して直交座標に変換する直交座標変換ステップと、撮像データの画像上の、直交座標変換ステップで変換した直交座標近傍の画素値を補間して、歪み補正後画像上の着目画素の画素値に設定する画素値設定ステップとを備えるものである。
【００１１】
この発明に係る画像処理装置は、撮像データを歪み補正して得られる歪み補正後画像上の所定位置に歪み中心座標を設定し、当該歪み補正後画像上の着目画素の直交座標を極座標に変換して、歪み中心を中心とした距離と角度で表す極座標変換部と、歪み補正後画像上において歪み中心から放射状に伸びる複数の直線毎に、歪み中心からの距離に応じた歪み量を指定した歪み量テーブルを設定し、極座標変換部が変換した極座標に基づいて、着目画素を間に挟む２直線の歪み量テーブルから２つの歪み量を取得し、極座標上の角度を表す三角関数から補間係数を求めて２つの歪み量を補間して補間歪み量を算出し、当該補間歪み量を用いて極座標の距離を補正して直交座標に変換する参照座標算出部と、撮像データの画像上の、参照座標算出部が変換した直交座標近傍の画素値を補間して、歪み補正後画像上の着目画素の画素値に設定する画素補間処理部とを備えるものである。
【発明の効果】
【００１２】
この発明によれば、歪み補正後画像上の着目画素を示す極座標に基づいて、着目画素を間に挟む２直線の歪み量テーブルから２つの歪み量を取得し、極座標上の角度を表す三角関数から求まる補間係数で補間するようにしたので、画像上の歪み中心位置からの距離以外の要因によって変化する歪みを補正する際に、歪み補正後の絵柄の形状が折れ線状にならず、滑らかに変化する形状に補正できる画像処理方法および画像処理装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１に係る撮像装置の構成を示すブロック図である。
【図２】実施の形態１に係る撮像装置のうち、画像処理部の動作を示すフローチャートである。
【図３】実施の形態１に係る撮像装置において、歪み補正後画像に設定される歪み量テーブルを説明する図である。
【図４】実施の形態１による参照座標算出部の動作を示すブロック図である。
【図５】実施の形態１による参照座標算出部の動作を示すフローチャートである。
【図６】実施の形態１の参照座標算出部による、極座標の角度ＯＴを用いて歪み量を補間する方法の概要を示す図である。
【図７】実施の形態１の参照座標算出部による、極座標の角度ＯＴを用いて歪み量を補間する方法の概要を示す続きの図である。
【図８】この発明の実施の形態２に係る撮像装置において、歪み補正後画像に設定される歪み量テーブルを説明する図である。
【図９】実施の形態２による参照座標算出部の動作を示すブロック図である。
【図１０】撮像装置のレンズとイメージセンサ受光面の位置関係を示す図である。
【図１１】撮像画像の歪みを説明する図であり、図１１（ａ）はレンズに対しイメージセンサ受光面が正対する場合の同じ歪み量の軌跡を示し、図１１（ｂ）はレンズに対しイメージセンサ受光面が傾いた場合の同じ歪み量の軌跡を示す。
【図１２】特許文献２に係る撮像装置の歪み補正方法を説明する図である。
【発明を実施するための形態】
【００１４】
実施の形態１．
図１に示す撮像装置１は、レンズ２と、レンズ２の集光を光電変換して撮像画像（デジタルデータ）を出力するイメージセンサ３と、撮像画像に生じる歪みを補正する画像処理部４と、歪み補正に必要な情報を記憶したメモリ８とを備える。なお、レンズ２およびイメージセンサ３を有して撮像画像を生成するデジタルカメラ本体と、画像処理部４およびメモリ８を有して撮像画像の歪曲収差を補正する画像処理装置とを別体で構成してもよい。
【００１５】
この画像処理部４は、極座標変換部５、参照座標算出部６および画素補間処理部７からなり、撮像画像、即ち歪み補正前画像中の歪曲収差を補正するために、歪み補正後画像の着目画素の画素値を算出する。図２は、画像処理部４の動作を示すフローチャートである。撮像画像を歪み補正して歪み補正後画像を生成する際の補正対象となる着目画素の座標が画像処理部４に入力されると、先ず画像処理部４がメモリ８に記憶されている歪み中心座標および画素アスペクト比を参照して、着目画素を直交座標から極座標に変換する（ステップＳＴ１）。次に、参照座標算出部６がメモリ８に記憶されている歪み量パラメータを参照して、極座標に対応する歪み補正前画像（即ち、撮像画像）中の参照座標を算出する（ステップＳＴ２）。最後に、画素補間処理部７が、算出した参照座標と、イメージセンサ３が出力する歪み補正前画像中の画素値とを用いて補間演算を行い、歪み補正後画像の着目画素の画素値を算出する（ステップＳＴ３）。
【００１６】
ステップＳＴ１において、極座標変換部５は下式（１）および式（２）に従って、歪み補正後画像の着目画素を表す直交座標に対応する極座標を算出する。この際、極座標変換部５は、歪み中心座標（ＣＸ，ＣＹ）および画素アスペクト比ＡＳＰをメモリ８から取得する。
【００１７】
ＯＲ＝ＳＱＲＴ（ＰＯＷ（（ＯＸ−ＣＸ）×ＡＳＰ，２）＋ＰＯＷ（ＯＹ−ＣＹ，２））
・・・（１）
ＯＴ＝ａｔａｎ（（ＯＹ−ＣＹ）÷（ＯＸ−ＣＸ）×ＡＳＰ）：ＯＸ≠ＣＸの場合
ＯＴ＝ ９０：ＯＸ＝ＣＸかつＯＹ＞ＣＹの場合
ＯＴ＝２７０：ＯＸ＝ＣＸかつＯＹ＜ＣＹの場合
ＯＴ＝ ０：ＯＸ＝ＣＸかつＯＹ＝ＣＹの場合
・・・（２）
（ＯＲ，ＯＴ） ：歪み補正後画像着目画素の極座標
（ＯＸ，ＯＹ） ：歪み補正後画像着目画素の座標
（ＣＸ，ＣＹ） ：歪み中心座標
ＡＳＰ ：画素アスペクト比（水平÷垂直）
ＳＱＲＴ（ｐ） ：ｐの平方根を算出する関数
ＰＯＷ（ｐ，ｑ）：ｐのｑ乗の値を算出する関数
ａｔａｎ（ｐ） ：ｐの逆正接を算出する関数
【００１８】
外部から指示される歪み補正後画像着目画素の座標（ＯＸ，ＯＹ）は、画像データの水平方向と垂直方向を直交するＸ軸とＹ軸の座標で表した直交座標である。同様に、歪み中心（ＣＸ，ＣＹ）も直交座標である。一方、極座標変換部５が変換する極座標（ＯＲ，ＯＴ）は、歪み中心座標（ＣＸ，ＣＴ）を中心とした着目画素座標（ＯＸ，ＯＹ）までの距離ＯＲと、歪み中心を通る始線からの傾きを示す角度ＯＴとで表す。
【００１９】
なお、歪み中心座標の算出は公知の方法を用いればよく、キャリブレーション処理として撮像装置１で碁盤の目状の被写体を撮像したときの碁盤の目の歪み具合から歪み中心座標（ＣＸ，ＣＴ）を算出すればよい。本実施の形態１では、予め算出した歪み中心座標（ＣＸ，ＣＴ）をメモリ８に保持しておく。
【００２０】
また、本実施の形態１では歪み中心座標（ＣＸ，ＣＴ）からの距離に応じて歪み量を算出する方式であるため、画素自体が正方形でない場合（例えば、イメージセンサ３の１画素の形状が正方形でない場合）には、画像データの水平方向と垂直方向の距離が異なり、歪み量を正しく算出することができない。そのため、上式（１）および式（２）では、水平方向または垂直方向に対して画素アスペクト比に応じた係数ＡＳＰを乗じて、正しい距離が算出できるようにする。
【００２１】
続くステップＳＴ２において、参照座標算出部６は、歪み補正後画像の着目極座標とメモリ８に保持されている歪み量パラメータを参照して、歪み補正前画像の参照座標を算出する。
【００２２】
図３は、参照座標算出部６の参照座標算出方法を説明する図である。画像中の歪み中心座標（ＣＸ，ＣＹ）から周辺へ放射状に伸び、かつ、互いに直交する４方向の軸１０−１〜１０−４に対して、歪み中心からの距離に応じた歪み量を保持する歪み量テーブル２０−１〜２０−４を予め設定しておく。歪み量テーブル２０−１〜２０−４は、入力値の距離に対する出力値の歪み量の組が、複数組、入力値の昇順に並んだ構造となっている。入力値である距離と出力値である歪み量は離散的に変化し、また、複数組の間でも離散的に変化する。
また、歪み量テーブルに歪み量として設定する値は、歪み補正後の歪み中心からの距離に対する歪み補正前の歪み中心からの距離の比率を用いる。また、この比率の代わりに、歪み補正前の歪み中心からの距離と、歪み補正後の歪み中心からの距離との差を用いてもよい。
【００２３】
歪み量パラメータとしては、軸１０−１〜１０−４に対してそれぞれ独立に設定された歪み量テーブルの他、歪み中心を通る水平方向の軸（図３に示す破線であって、上述した始線に相当する）に対する軸１０−１の傾きθも予め設定しておく。
【００２４】
着目極座標（ＯＲ，ＯＴ）で表される着目画素が軸１０−１〜１０−４の真上にない場合、この着目画素を間に挟む位置にくる２本の軸に設定された歪み量テーブルの値を補間して歪み量を得る必要がある。以下、歪み量の補間方法を説明する。
【００２５】
図４は、参照座標算出部６の動作を説明するブロック図である。図５は、参照座標算出部６の動作を説明するフローチャートである。
参照座標算出部６は、先の極座標変換処理（ステップＳＴ１）で得られた着目画素の角度ＯＴと、メモリ８に予め設定された軸１０−１の傾きθとを参照して、着目画素を間に挟む２軸のうちの一方の軸に設定された歪み量テーブルを選択して歪み量テーブルＡとする（ステップＳＴ２−１Ａ）。ここでは、歪み中心から見て、歪み中心と着目画素をつなぐ直線の左側にくる軸に設定された歪み量テーブルを歪み量テーブルＡとし、この直線の右側にくる軸に設定された歪み量テーブルを歪み量テーブルＢとする。先ず、歪み量テーブルＡ選択の条件を以下に列挙する。
０度＜＝ＯＴ−θ＜ ９０度の場合：歪み量テーブル２０−１を選択
９０度＜＝ＯＴ−θ＜１８０度の場合：歪み量テーブル２０−２を選択
１８０度＜＝ＯＴ−θ＜２７０度の場合：歪み量テーブル２０−３を選択
２７０度＜＝ＯＴ−θ＜３６０度の場合：歪み量テーブル２０−４を選択
【００２６】
参照座標算出部６は同様に、着目極座標の角度ＯＴとメモリ８に予め設定された軸１０−１の傾きθとを参照して、着目画素を間に挟む２軸のうちの他方の軸（即ち、歪み中心から見て、歪み中心と着目画素をつなぐ直線の右側にくる軸）に設定された歪み量テーブルを選択して歪み量テーブルＢとする（ステップＳＴ２−１Ｂ）。歪み量テーブルＢ選択の条件を以下に列挙する。
０度＜＝ＯＴ−θ＜ ９０度の場合：歪み量テーブル２０−２を選択
９０度＜＝ＯＴ−θ＜１８０度の場合：歪み量テーブル２０−３を選択
１８０度＜＝ＯＴ−θ＜２７０度の場合：歪み量テーブル２０−４を選択
２７０度＜＝ＯＴ−θ＜３６０度の場合：歪み量テーブル２０−１を選択
【００２７】
続いて参照座標算出部６は、着目極座標の距離ＯＲを参照して、歪み量テーブルＡから歪み量Ａを算出する（ステップＳＴ２−２Ａ）。参照座標算出部６は、距離ＯＲが歪み量テーブルＡの入力値である距離と一致する場合には、対応する出力値である歪み量をそのまま歪み量Ａとして算出する。
一方、距離ＯＲが歪み量テーブルＡの入力値である距離と一致しない場合には、近傍の入力値および出力値を補間して歪み量Ａを算出する。補間方法としては、距離に対する線形補間、スプライン補間等があり、どの方法を用いても構わない。一例として、下式（３）に線形補間による歪み量Ａの算出式を示す。
【００２８】
ＤＡ＝（ＴＡＯ［Ｎ＋１］−ＴＡＯ［Ｎ］）÷（ＴＡＩ［Ｎ＋１］−ＴＡＩ［Ｎ］）
×（ＯＲ−ＴＡＩ［Ｎ］）＋ＴＡＯ［Ｎ］
・・・（３）
ただし、ＯＲがＴＡＩ［Ｎ］の最大要素以上の場合は、ＤＡをＴＡＯ［Ｎ］の最大要素とする。
ＤＡ ：歪み量Ａ
ＯＲ ：極座標の距離ＯＲ
ＴＡＩ［Ｎ］：歪み量テーブルＡ入力値（距離）の第Ｎ要素
ＴＡＯ［Ｎ］：歪み量テーブルＡ出力値（歪み量）の第Ｎ要素
Ｎ ：ＴＡＩ［Ｎ］＜＝ＯＲ＜ＴＡＩ［Ｎ＋１］を満たす要素番号Ｎ
【００２９】
参照座標算出部６は同様に、着目極座標の距離ＯＲを参照して、歪み量テーブルＢから歪み量Ｂを算出する（ステップＳＴ２−２Ｂ）。また、参照座標算出部６は歪み量Ａの処理と同様、距離ＯＲが歪み量テーブルＢの入力値である距離と一致する場合には、対応する出力値である歪み量を歪み量Ｂとして算出する。また、距離ＯＲが歪み量テーブルＢの入力値である距離と一致しない場合には、近傍の入力値および出力値を補間して歪み量Ｂを算出する。補間方法としては、距離に対する線形補間、スプライン補間等があり、どの方法を用いても構わない。一例として、下式（４）に線形補間による歪み量Ｂの算出式を示す。
【００３０】
ＤＢ＝（ＴＢＯ［Ｍ＋１］−ＴＢＯ［Ｍ］）÷（ＴＢＩ［Ｍ＋１］−ＴＢＩ［Ｍ］）
×（ＯＲ−ＴＢＩ［Ｍ］）＋ＴＢＯ［Ｍ］
・・・（４）
ただし、ＯＲがＴＢＩ［Ｍ］の最大要素以上の場合は、ＤＢをＴＢＯ［Ｍ］の最大要素とする。
ＤＢ ：歪み量Ｂ
ＯＲ ：極座標の距離ＯＲ
ＴＢＩ［Ｍ］：歪み量テーブルＢ入力値（距離）の第Ｍ要素
ＴＢＯ［Ｍ］：歪み量テーブルＢ出力値（歪み量）の第Ｍ要素
Ｍ ：ＴＢＩ［Ｍ］＜＝ＯＲ＜ＴＢＩ［Ｍ＋１］を満たす要素番号Ｍ
【００３１】
続いて、参照座標算出部６は歪み量Ａ，Ｂを補間して、着目極座標の位置に相当する補間歪み量Ｃを算出する（ステップＳＴ２−３）。即ち、着目画素を間に挟む２軸のうちの一方の軸に設定された歪み量テーブルＡから算出した歪み量Ａと、他方の軸に設定された歪み量テーブルＢから算出した歪み量Ｂとを、角度ＯＴを用いて補間して、着目画素の補間歪み量Ｃを算出する。
【００３２】
図６および図７に、角度ＯＴを用いた補間方法の概要を示す。図示例は、Ｚ軸がレンズ２の光軸である場合に、イメージセンサ３の受光面βが、光軸Ｚに垂直な面αから角度φだけ傾いている場合の様子を表している。このとき面αは、Ｘ−Ｙ平面と一致しており、受光面βの傾きの中心軸はＹ軸と一致している。
【００３３】
Ｘ−Ｙ平面をＺ軸を中心にしてθ度回転したＸ’−Ｙ’平面（Ｙ’軸は不図示）上で、Ｘ’−Ｙ’平面と受光面βとの間の角度をμ度とする。角度θは、上述した軸１０−１の傾きである。図７に示すように、φ度の傾きがない面αでの歪み中心からの距離を１とすると、φ度傾いた受光面βにおける歪み中心からの距離を下式（５）で表すことができる。
ｔａｎ（μ）＝ｃｏｓ（θ）÷ｃｏｓ（φ） ・・・（５）
【００３４】
参照座標算出部６は、上式（５）に従い、歪み量間の補間係数に、角度ＯＴの三角関数を用いることで、補間後の同一歪み量の軌跡の形状を円弧状にすることができ、滑らかに変化する形状になる。
【００３５】
下式（６）は、歪み量Ａと歪み量Ｂから、補間によって補間歪み量Ｃを算出する式の具体例である。下式（６）では余弦を返す関数を用いて表すが、同じ内容であれば、正弦を返す関数を用いてもよいし、正接を返す関数を用いてもよい。
【００３６】
ＤＣ＝ＤＡ×｜ｃｏｓ（ＯＴ−θ）｜＋ＤＢ×（１−｜ｃｏｓ（ＯＴ−θ）｜）
・・・（６）
ＤＡ ：歪み量Ａ
ＤＢ ：歪み量Ｂ
ＤＣ ：補間歪み量Ｃ
ＯＴ ：極座標の角度ＯＴ
θ ：軸１０−１の傾き
ｃｏｓ（ｐ）：ｐの余弦を返す関数
｜ｐ｜ ：ｐの絶対値
【００３７】
このように、着目極座標（ＯＲ，ＯＴ）で表される着目画素が軸１０−１〜１０−４の真上にない場合には、この着目画素を間に挟む位置にくる２本の軸に設定された歪み量テーブルの値を補間して、補間歪み量Ｃを算出する。補間の際には２本の軸からの角度を使用しており、補間係数は０：１〜１：０の間で変化することになる。
一方、着目画素が軸１０−１〜１０−４のいずれかの軸の真上に存在する場合には、補間係数が０：１または１：０になるので、当該軸に設定された歪み量テーブルを参照して距離ＯＲに対応する歪み量をそのまま補間歪み量Ｃとして取得できる。
【００３８】
続いて参照座標算出部６は、算出した補間歪み量Ｃを用いて、着目極座標の距離ＯＲを補正し、歪み補正前画像における歪み中心からの距離ＩＲを算出する（ステップＳＴ２−４）。歪み量テーブル２０−１〜２０−４に歪み量として設定されている値が、歪み補正後の歪み中心からの距離に対する歪み補正前の歪み中心からの距離の比率である場合の、距離ＩＲ算出式を下式（７）に示す。
【００３９】
ＩＲ＝ＯＲ×ＤＣ ・・・（７）
ＩＲ：歪み補正前画像における歪み中心からの距離
ＯＲ：歪み補正後画像における歪み中心からの距離（着目極座標）
ＤＣ：補間歪み量Ｃ
【００４０】
また、ステップＳＴ２−４において、歪み量テーブル２０−１〜２０−４に歪み量として設定されている値が、歪み補正前の歪み中心からの距離と、歪み補正後の歪み中心からの距離との差である場合には、参照座標算出部６は上式（７）に代えて下式（８）を用いる。
【００４１】
ＩＲ＝ＯＲ＋ＤＣ ・・・（８）
ＩＲ：歪み補正前画像における歪み中心からの距離
ＯＲ：歪み補正後画像における歪み中心からの距離（着目極座標）
ＤＣ：補間歪み量Ｃ
【００４２】
続いて参照座標算出部６は、算出した補正前画像の着目極座標の距離ＩＲと、補正後画像の着目極座標の角度ＯＴとを直交座標に変換して、参照座標（ＩＸ，ＩＹ）を算出する（ステップＳＴ２−５）。着目極座標の距離ＩＲおよび角度ＯＴを参照座標（ＩＸ，ＩＹ）に変換する式（９）および式（１０）を以下に示す。なお、参照座標は１画素未満の単位まで算出して、後段の画素補間処理部７による補間演算（ステップＳＴ３）にて使用する。
【００４３】
ＩＸ＝ＩＲ×ｃｏｓ（ＯＴ）＋ＣＸ ・・・（９）
ただし、ＩＲ＝０の場合は、ＩＸ＝ＣＸとする。
ＩＹ＝ＩＲ×ｓｉｎ（ＯＴ）＋ＣＹ ・・・（１０）
ただし、ＩＲ＝０の場合は、ＩＹ＝ＣＹとする。
ＯＴ ：歪み補正後画像着目極座標の角度
ＩＲ ：歪み補正前画像着目極座標の距離
（ＩＸ，ＩＹ）：歪み補正前画像着目画素の参照座標（直交座標）
（ＣＸ，ＣＹ）：歪み中心座標
ｃｏｓ（ｐ） ：ｐの余弦を算出する関数
ｓｉｎ（ｐ） ：ｐの正弦を算出する関数
【００４４】
最後にステップＳＴ３において、画素補間処理部７が、イメージセンサ３が出力する歪み補正前画像中から、算出した参照座標（ＩＸ，ＩＹ）の近傍の画素値を取得して補間演算を行い、歪み補正後画像の着目画素の画素値を算出する。補間演算時には、参照座標の１画素未満の値を補間係数として使用する。画素補間処理における画素値の補間演算は、線形補間、バイキュービック補間、またはその他の方法でも構わない。
一方、歪み補正前画像の着目画素における直交座標がちょうど整数値となる場合（即ち参照座標が１画素となる場合）には、補間係数を１：０とすることで直交座標位置の画素の画素値をそのまま着目画素の画素値として用いることができる。
【００４５】
なお、極座標変換部５、参照座標算出部６および画素補間処理部７の各部をそれぞれ専用の回路で構成してもよいし、各部の処理内容を記述しているプログラムをメモリに格納し、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のマイクロプロセッサがメモリ中のプログラムを実行するように構成してもよい。
【００４６】
以上より、実施の形態１に係る画像処理方法によれば、極座標変換部５が、撮像データを歪み補正して得られる歪み補正後画像上に歪み中心座標を設定する歪み中心座標設定ステップと、参照座標算出部６が、歪み補正後画像上において歪み中心から放射状に、互いに直交する角度方向に伸びる４本の軸１０−１〜１０−４を設定し、当該直線毎に、歪み中心からの距離に応じた歪み量を指定した歪み量テーブル２０−１〜２０−４を設定する歪み量テーブル設定ステップと、参照座標算出部６が、歪み補正後画像上の着目画素の直交座標を極座標に変換して、歪み中心を中心とした距離と角度で表す極座標変換ステップと、参照座標算出部６が、極座標上の角度に基づいて、４本の軸１０−１〜１０−４のうちから着目画素を間に挟む２軸を選択し、当該２軸に設定された２つの歪み量テーブルを選択する歪み量テーブル選択ステップと、参照座標算出部６が、歪み量テーブル選択ステップで選択した２つの歪み量テーブルから、極座標の距離に応じた歪み量をそれぞれ選択する歪み量選択ステップと、極座標上の角度を表す三角関数から補間係数を求めて歪み量選択ステップで選択した２つの歪み量を補間し、補間歪み量を算出する歪み量補間ステップと、参照座標算出部６が、歪み量補間ステップで算出した補間歪み量を用いて極座標の距離を補正して直交座標に変換する直交座標変換ステップと、画素補間処理部７が、撮像データの画像上の、直交座標変換ステップで変換した直交座標近傍の画素値を補間して、歪み補正後画像上の着目画素の画素値に設定する画素値設定ステップとを備えるように構成した。このため、画像上の歪み中心位置からの距離以外の要因によって変化する歪みを補正する際に、歪み補正後の絵柄の形状が折れ線状にならず、滑らかに変化する形状に補正できる。
【００４７】
また、実施の形態１によれば、極座標変換部５が、極座標変換ステップにおいて直交座標から極座標に変換するときに画素アスペクト比を用いて補正するように構成したので、イメージセンサ３の１画素の形状が正方形でない場合にも、着目画素の正しい極座標を得ることができ、結果として歪み補正精度を向上できる。
【００４８】
実施の形態２．
本実施の形態２に係る撮像装置１は、図１に示す撮像装置１と図面上では同様の構成であるため、以下では図１を援用して説明する。本実施の形態２では、メモリ８に保持しておく歪み量パラメータが上記実施の形態１とは異なっており、そのために参照座標算出部６の動作も異なる。以下、異なる部分を中心に説明する。
【００４９】
図８は、参照座標算出部６の参照座標算出方法を説明する図である。画像中の歪み中心座標（ＣＸ，ＣＹ）から任意の方向へ伸びるＫ本の軸１０−１〜１０−Ｋに対して、歪み中心からの距離に応じた歪み量を保持する歪み量テーブル２０−１〜２０−Ｋを予め設定しておく。歪み量テーブル２０−１〜２０−Ｋは、上記実施の形態１と同様に、入力値の距離に対する出力値の歪み量の組が、複数組、入力値の昇順に並んだ構造となっている。入力値である距離と出力値であるゆがみ量は離散的に変化し、また、複数組の間でも離散的に変化する。
【００５０】
また、上記実施の形態１では軸１０−１のみに傾きθを設定するようにしたが、本実施の形態２では軸１０−１〜１０−Ｋに対してそれぞれの傾きθ１〜θＫを設定する。
【００５１】
図９は、実施の形態２に係る参照座標算出部６の動作を示すブロック図であり、実施の形態１における図４に対応している。
参照座標算出部６は、先の極座標変換処理（図２に示すステップＳＴ１）で得られた歪み補正後画像の着目画素の角度ＯＴと、メモリ８に予め設定された各軸１０−１〜１０−Ｋの傾きθ１〜θＫとを参照して、着目画素を間に挟む２軸のうちの一方の軸（即ち、歪み中心から見て、歪み中心と着目画素をつなぐ直線の左側にくる軸）に設定された歪み量テーブルを選択して歪み量テーブルＡとする（ステップＳＴ２−１Ａ’）。歪み量テーブルＡ選択の条件を以下に列挙する。
θ１＜＝ＯＴ＜θ２の場合：歪み量テーブル１０−１を選択
θ２＜＝ＯＴ＜θ３の場合：歪み量テーブル１０−２を選択
： ： ：
θＫ＜＝ＯＴまたはＯＴ＜θ１の場合：歪み量テーブル１０−Ｋを選択
【００５２】
参照座標算出部６は同様に、着目極座標の角度ＯＴとメモリ８に予め設定された軸１０−１〜１０−Ｋの傾きθ１〜θＫとを参照して、着目画素を間に挟む２軸のうちの他方の軸（即ち、歪み中心から見て、歪み中心と着目画素をつなぐ直線の左側にくる軸）に設定された歪み量テーブルを選択して歪み量テーブルＢとする（ステップＳＴ２−１Ｂ’）。歪み量テーブルＢ選択の条件を以下に列挙する。
θ１＜＝ＯＴ＜θ２の場合：歪み量テーブル１０−２を選択
θ２＜＝ＯＴ＜θ３の場合：歪み量テーブル１０−３を選択
： ： ：
θＫ＜＝ＯＴまたはＯＴ＜θ１の場合：歪み量テーブル１０−１を選択
【００５３】
続くステップＳＴ２−２Ａ，ＳＴ２−２Ｂは、図４に示すステップＳＴ２−２Ａ，ＳＴ２−２Ｂと同様の処理のため説明を省略する。
【００５４】
続いて参照座標算出部６は、下式（１１）を用いて歪み量Ａ，Ｂを補間して、着目極座標の位置に相当する補間歪み量Ｃを算出する（ステップＳＴ２−３’）。
【００５５】
ＤＣ＝ＤＡ×（｜ｃｏｓ（ＯＴ−θ１）｜−｜ｃｏｓ（θＢ−θ１）｜）
÷（｜ｃｏｓ（θＡ−θ１）｜−｜ｃｏｓ（θＢ−θ１）｜）
＋ＤＢ×（｜ｃｏｓ（ＯＡ−θ１）｜−｜ｃｏｓ（θＴ−θ１）｜）
÷（｜ｃｏｓ（θＡ−θ１）｜−｜ｃｏｓ（θＢ−θ１）｜）
・・・（１１）
ＤＡ ：歪み量Ａ
ＤＢ ：歪み量Ｂ
ＤＣ ：補間歪み量Ｃ
ＯＴ ：極座標の角度ＯＴ
θＡ ：歪み量テーブルＡが設定された軸Ａの傾き
θＢ ：歪み量テーブルＢが設定された軸Ｂの傾き
ｃｏｓ（ｐ）：ｐの余弦を返す関数
｜ｐ｜ ：ｐの絶対値
【００５６】
続くステップＳＴ２−４，ＳＴ２−５は、図４に示すステップＳＴ２−４，ＳＴ２−５と同様の処理のため説明を省略する。
【００５７】
以上より、実施の形態２に係る画像処理方法によれば、参照座標算出部６は、歪み量テーブル設定ステップで、歪み補正後画像上において歪み中心から放射状に伸びる複数の軸１０−１〜１０−Ｋ毎に、歪み中心からの距離に応じた歪み量を指定した歪み量テーブル２０−１〜２０−Ｋを設定し、歪み量テーブル選択ステップで、極座標上の角度に基づいて、複数の軸１０−１〜１０−Ｋのうちから着目画素を間に挟む２軸を選択するように構成した。このため、上記実施の形態１と同様に、画像上の歪み中心位置からの距離以外の要因によって変化する歪みを補正する際に、歪み補正後の絵柄の形状が折れ線状にならず、滑らかに変化する形状に補正できる。また、上記実施の形態１では４本だった軸をＫ本まで増やすことで、より細かな歪み形状にも対応することができる。
【００５８】
また、実施の形態２においても、上記実施の形態１と同様に、極座標変換部５が極座標変換ステップにおいて直交座標から極座標に変換するときに画素アスペクト比を用いて補正するように構成してもよい。この構成であれば、イメージセンサ３の１画素の形状が正方形でない場合にも、着目画素の正しい極座標を得ることができ、結果として歪み補正精度を向上できる。
【００５９】
上記実施の形態１，２では、歪みが変化する原因として、図６に示すようなレンズ光軸に対するイメージセンサ受光面の傾きを例に挙げて説明したが、その他にも、レンズの形状に微小な歪みがある場合、イメージセンサ受光面自体が平面から微小に歪んでいる場合にも歪みの形状が中心からの距離以外の要因で変化する。そのような場合にも、上記実施の形態１，２に係る画像処理方法を用いれば画像データの歪みを補正することができる。ただし、歪みが変化する原因に応じて歪み中心座標（ＣＸ，ＣＴ）の設定位置も変える必要がある。
なお、本願発明の範囲内において、実施の形態を適宜組合せ、変更、省略等することが可能である。
【符号の説明】
【００６０】
１ 撮像装置、２ レンズ、３ イメージセンサ、４ 画像処理部、５ 極座標変換部、６ 参照座標算出部、７ 画素補間処理部、８ メモリ、１０−１〜１０−Ｋ，Ｌ１〜Ｌ８ 軸、２０−１〜２０−Ｋ 歪み量テーブル、１００ レンズ、１０１ イメージセンサの受光面。
【特許請求の範囲】
【請求項１】
撮像データの画像中に生じた歪みを補正する画像処理方法において、
前記撮像データを歪み補正して得られる歪み補正後画像上の所定位置に歪み中心座標を設定する歪み中心座標設定ステップと、
前記歪み補正後画像上において前記歪み中心から放射状に伸びる複数の直線毎に、前記歪み中心からの距離に応じた歪み量を指定した歪み量テーブルを設定する歪み量テーブル設定ステップと、
前記歪み補正後画像上の着目画素の直交座標を極座標に変換して、前記歪み中心を中心とした距離と角度で表す極座標変換ステップと、
前記極座標の角度に基づいて、前記複数の直線のうちから前記着目画素を間に挟む２直線を選択し、当該２直線に設定された２つの歪み量テーブルを選択する歪み量テーブル選択ステップと、
前記歪み量テーブル選択ステップで選択した２つの歪み量テーブルから、前記極座標の距離に応じた歪み量をそれぞれ選択する歪み量選択ステップと、
前記極座標上の角度を表す三角関数から補間係数を求めて前記歪み量選択ステップで選択した２つの歪み量を補間し、補間歪み量を算出する歪み量補間ステップと、
前記歪み量補間ステップで算出した補間歪み量を用いて前記極座標の距離を補正して直交座標に変換する直交座標変換ステップと、
前記撮像データの画像上の、前記直交座標変換ステップで変換した直交座標近傍の画素値を補間して、前記歪み補正後画像上の着目画素の画素値に設定する画素値設定ステップとを備えることを特徴とする画像処理方法。
【請求項２】
前記歪み量テーブル設定ステップは、前記歪み補正後画像上において歪み中心から放射状に、互いに直交する角度方向に伸びる４本の直線を設定し、当該直線毎に、前記歪み中心からの距離に応じた歪み量を指定した歪み量テーブルを設定することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記極座標変換ステップは、直交座標から極座標に変換するときに画素アスペクト比を用いて補正することを特徴とする請求項１または請求項２記載の画像処理方法。
【請求項４】
撮像データの画像中に生じた歪みを補正する画像処理装置において、
前記撮像データを歪み補正して得られる歪み補正後画像上の所定位置に歪み中心座標を設定し、当該歪み補正後画像上の着目画素の直交座標を極座標に変換して、前記歪み中心を中心とした距離と角度で表す極座標変換部と、
前記歪み補正後画像上において前記歪み中心から放射状に伸びる複数の直線毎に、前記歪み中心からの距離に応じた歪み量を指定した歪み量テーブルを設定し、前記極座標変換部が変換した前記極座標に基づいて、前記着目画素を間に挟む２直線の歪み量テーブルから２つの歪み量を取得し、前記極座標上の角度を表す三角関数から補間係数を求めて当該２つの歪み量を補間して補間歪み量を算出し、当該補間歪み量を用いて前記極座標の距離を補正して直交座標に変換する参照座標算出部と、
前記撮像データの画像上の、前記参照座標算出部が変換した直交座標近傍の画素値を補間して、前記歪み補正後画像上の着目画素の画素値に設定する画素補間処理部とを備えることを特徴とする画像処理装置。
【請求項１】
撮像データの画像中に生じた歪みを補正する画像処理方法において、
前記撮像データを歪み補正して得られる歪み補正後画像上の所定位置に歪み中心座標を設定する歪み中心座標設定ステップと、
前記歪み補正後画像上において前記歪み中心から放射状に伸びる複数の直線毎に、前記歪み中心からの距離に応じた歪み量を指定した歪み量テーブルを設定する歪み量テーブル設定ステップと、
前記歪み補正後画像上の着目画素の直交座標を極座標に変換して、前記歪み中心を中心とした距離と角度で表す極座標変換ステップと、
前記極座標の角度に基づいて、前記複数の直線のうちから前記着目画素を間に挟む２直線を選択し、当該２直線に設定された２つの歪み量テーブルを選択する歪み量テーブル選択ステップと、
前記歪み量テーブル選択ステップで選択した２つの歪み量テーブルから、前記極座標の距離に応じた歪み量をそれぞれ選択する歪み量選択ステップと、
前記極座標上の角度を表す三角関数から補間係数を求めて前記歪み量選択ステップで選択した２つの歪み量を補間し、補間歪み量を算出する歪み量補間ステップと、
前記歪み量補間ステップで算出した補間歪み量を用いて前記極座標の距離を補正して直交座標に変換する直交座標変換ステップと、
前記撮像データの画像上の、前記直交座標変換ステップで変換した直交座標近傍の画素値を補間して、前記歪み補正後画像上の着目画素の画素値に設定する画素値設定ステップとを備えることを特徴とする画像処理方法。
【請求項２】
前記歪み量テーブル設定ステップは、前記歪み補正後画像上において歪み中心から放射状に、互いに直交する角度方向に伸びる４本の直線を設定し、当該直線毎に、前記歪み中心からの距離に応じた歪み量を指定した歪み量テーブルを設定することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記極座標変換ステップは、直交座標から極座標に変換するときに画素アスペクト比を用いて補正することを特徴とする請求項１または請求項２記載の画像処理方法。
【請求項４】
撮像データの画像中に生じた歪みを補正する画像処理装置において、
前記撮像データを歪み補正して得られる歪み補正後画像上の所定位置に歪み中心座標を設定し、当該歪み補正後画像上の着目画素の直交座標を極座標に変換して、前記歪み中心を中心とした距離と角度で表す極座標変換部と、
前記歪み補正後画像上において前記歪み中心から放射状に伸びる複数の直線毎に、前記歪み中心からの距離に応じた歪み量を指定した歪み量テーブルを設定し、前記極座標変換部が変換した前記極座標に基づいて、前記着目画素を間に挟む２直線の歪み量テーブルから２つの歪み量を取得し、前記極座標上の角度を表す三角関数から補間係数を求めて当該２つの歪み量を補間して補間歪み量を算出し、当該補間歪み量を用いて前記極座標の距離を補正して直交座標に変換する参照座標算出部と、
前記撮像データの画像上の、前記参照座標算出部が変換した直交座標近傍の画素値を補間して、前記歪み補正後画像上の着目画素の画素値に設定する画素補間処理部とを備えることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−５３７４０（Ｐ２０１２−５３７４０Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９６６４１（Ｐ２０１０−１９６６４１）
【出願日】平成２２年９月２日（２０１０．９．２）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年９月２日（２０１０．９．２）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]