歪曲補正画像生成ユニットおよび歪曲補正画像生成方法
【課題】製造上の交差によってレンズ面と撮像素子面とが完全に平行とならなくても、歪曲画像の歪曲をより正確に補正することができる「歪曲補正画像生成ユニットおよび歪曲補正画像生成方法」を提供する。
【解決手段】画像主点からの各方向の画素位置の補正に適用する複数の内部パラメータ、つまり、画像主点からの方向に応じて異なる大きさで生じる誤差を吸収するための各方向の複数の内部パラメータを予め内部パラメータ記憶部１００に記憶するようにする。そして、補正対象である画素位置の画像主点からの方向に基づいて、予め記憶している複数の内部パラメータのなかから内部パラメータを内部パラメータ選択部１７０にて選択し、選択した内部パラメータに基づいて歪曲補正画像生成部１９０が歪曲を補正するようにする。これにより、レンズ面と撮像素子面とが完全に平行とならなくても、歪曲をより正確に補正することができるようにする。
【解決手段】画像主点からの各方向の画素位置の補正に適用する複数の内部パラメータ、つまり、画像主点からの方向に応じて異なる大きさで生じる誤差を吸収するための各方向の複数の内部パラメータを予め内部パラメータ記憶部１００に記憶するようにする。そして、補正対象である画素位置の画像主点からの方向に基づいて、予め記憶している複数の内部パラメータのなかから内部パラメータを内部パラメータ選択部１７０にて選択し、選択した内部パラメータに基づいて歪曲補正画像生成部１９０が歪曲を補正するようにする。これにより、レンズ面と撮像素子面とが完全に平行とならなくても、歪曲をより正確に補正することができるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歪曲補正画像生成ユニットおよび歪曲補正画像生成方法に関し、特に、魚眼レンズによって撮像された撮像画像の歪曲を補正する場合に好適な歪曲補正画像生成ユニットおよび歪曲補正画像生成方法に関するものである。
【背景技術】
【０００２】
一般に、魚眼レンズなどの焦点距離の短いレンズを使用して撮像された撮像画像（以下、「歪曲画像」という）に生じる歪曲は、使用レンズの内部パラメータを用いて補正されている。図２３は、従来の歪曲補正を説明する模式図である。図２３（ａ）において、ＸＹＺはカメラ座標系である（原点Ｏ、光軸方向Ｚ、レンズ面を含む平面上の２方向ＸＹ）。点Ｐはカメラ座標系ＸＹＺにおける実際の物体の座標である。Θは物体Ｐ方向の光軸方向Ｚに対する入射角である。点ｏはカメラの内部パラメータであって画像主点である。点ｐは歪曲画像上の画素位置である。点ｑは歪曲画像の歪曲を補正した補正後の画像（以下、「歪曲補正画像」という）上の、画素位置ｐに対応する画素位置である。距離ｒは、画素位置ｑから画像主点ｏまでの距離を示す像高である。なお、レンズ面は、レンズの中心を含み光軸に垂直な面である。
【０００３】
従来の歪曲補正で用いられている内部パラメータは、図２３（ａ）に示す画像主点ｏの座標、歪補正パラメータｋ１、k２、ｋ３、ｋ４、ｋ５などである。歪補正パラメータｋ１、k２・・・ｋ５は、図２３（ｂ）に示すように、歪曲補正画像における像高ｒを規定する高次式であって入射角Θを変数とする高次式における各次元の係数である。図２３（ｂ）の高次式によれば、同一の入射角Θで撮像された歪曲画像上の画素位置ｐは、画像主点ｏからの方向に関係なく、歪曲補正画像において同一の像高ｒの画素位置ｑに補正される。つまり、図２３（ｂ）の高次式は、歪曲画像に生じる歪曲の程度が入射角Θのみに依存するという考えに基づく。なお、カメラのレンズ歪み補正値をパラメータとして用いたキャリブレーション手段を備えた画像生成装置が開示されている（例えば、特許文献１を参照）。
【特許文献１】特許第３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、実際には、歪曲画像に生じる歪曲の程度は、入射角Θのみに依存するわけではない。従って、図２３（ｂ）の高次式では、歪曲画像の歪曲を正確に補正することができないという問題がある。レンズ面とＣＣＤの撮像素子面とが完全に平行である場合（撮像素子面上の各点においてレンズ面との各距離（隙間幅）が一定数である規定距離（規定隙間幅）に一致する場合）には、歪曲画像に生じる歪曲の程度は入射角Θのみに依存するが、実際は、製造上の交差によって、レンズ面と撮像素子面とが完全に平行でないからである。
【０００５】
レンズ面と撮像素子面とが平行である場合、上述の如く、撮像素子面上の全ての位置においてレンズ面との距離が規定距離と一致するが、レンズ面と撮像素子面とが平行でない場合、撮像素子面上のある位置またはある直線上の任意の位置を除く他の全ての位置において規定距離に対する誤差が生じる。また、誤差の大きさは、撮像素子面上の位置によって異なり、撮像素子面の周縁部で極大化する。また、誤差の大きさが大きいほど、歪曲を正確に補正することができない。従って、歪曲が生じ易く歪曲を正確に補正すべき歪曲画像の周縁部において、歪曲を正確に補正することができないということが特に問題となる。
【０００６】
本発明は、このような問題を解決するために成されたものである。すなわち、製造上の交差によってレンズ面と撮像素子面とが完全に平行とならなくても、歪曲画像の歪曲をより正確に補正することができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決するために、本発明では、画像主点からの各方向の画素位置の補正に適用する複数の内部パラメータ、つまり、画像主点からの方向に応じて異なる大きさで生じる誤差を吸収するための複数の内部パラメータを予め記憶するようにしている。そして、補正対象である画素位置の画像主点からの方向に基づいて、予め記憶している複数の内部パラメータのなかから補正対象である画素位置の補正に適用する内部パラメータを選択し、選択した内部パラメータに基づいて歪曲を補正するようにしている。
【発明の効果】
【０００８】
上記のように構成した本発明によれば、画像主点からの方向に応じて異なる大きさで生じる誤差を吸収するための内部パラメータ、つまり、画像主点からの方向に応じて異なる大きさで生じる誤差を吸収することができる内部パラメータが選択され、選択された内部パラメータに基づいて歪曲が補正されるので、製造上の交差によってレンズ面と撮像素子面とが完全に平行とならなくても、歪曲画像の歪曲をより正確に補正することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明の第１の実施形態である歪曲補正画像生成ユニット１０の構成例を示す図である。図２は、内部パラメータ記憶部１００に記憶された内部パラメータの一例を示す図である。図３および図４は、内部パラメータ記憶部１００に記憶された内部パラメータを説明する図である。図３（ａ）において、点Ｒは直線ＯＰ上の点ＱからＸＹ平面へ下ろした垂線の交点である。Φは直線ＯＹと直線ＯＲとの成す角である。なお、ＸＹＺ、点Ｐ、Θ、点ｏ、点ｐ、点ｑ、距離ｒは、図２３（ａ）と同様である。
【００１０】
歪曲補正画像生成ユニット１０は、魚眼レンズを用いて撮像された歪曲画像から歪曲画像の歪曲を補正した歪曲補正画像を生成する（後述する歪曲補正画像生成ユニット２０、３０、４０、５０についても同様）。歪曲補正画像生成ユニット１０は、図１に示すように、内部パラメータ記憶部１００、歪曲画像取得部１５０、内部パラメータ選択部１７０および歪曲補正画像生成部１９０を備える。
【００１１】
内部パラメータ記憶部１００は、歪曲画像の画像主点からの方向毎に、魚眼レンズに係る内部パラメータであって各方向の画素位置の補正に適用する複数の内部パラメータ（各方向に応じて異なる大きさで生じる誤差を吸収するための複数の内部パラメータ）を記憶する。具体的には、内部パラメータ記憶部１００は、図２（ａ）に示すように、放射線ＩＤ（本発明の放射線識別情報に相当）に対応付けて、第１係数、第２係数、第３係数、第４係数、第５係数を１組とする計８組の内部パラメータを記憶する。また、内部パラメータ記憶部１００は、図２（ａ）に示すように、放射線ＩＤに対応付けて、各放射線を規定する情報（以下、「放射線情報」という）を記憶する。放射線情報は、座標情報、一次関数などである。
【００１２】
放射線ＩＤは、図３（ａ）に示す歪曲画像をＺ方向から見た図３（ｂ）に示すように、画像主点ｏを中心に歪曲画像上の領域を放射状に分割する複数の放射線Ｈ１、Ｈ２・・・Ｈ８を識別する。つまり、内部パラメータ記憶部１００は、８方向の放射線Ｈ１〜Ｈ８の各方向に係る第１係数、第２係数・・・第５係数を１組とする計８組の内部パラメータを記憶する。
【００１３】
図２に示す放射線ＩＤ「Ｈ０１」に対応付けて記憶された１組の内部パラメータ（第１係数ｋ１１、第２係数ｋ１２・・・第５係数ｋ１５の組）は、放射線ＩＤ「Ｈ０１」により識別される放射線１の方向の画素位置の補正に適用される。第１係数ｋ１１は、図４（ａ）に示す放射線Ｈ１の方向の画素位置の補正に適用される高次式（入射角Θを変数とし歪曲補正画像における像高ｒを規定する）における入射角Θの１次元の係数、第２係数ｋ１２は入射角Θの２次元の係数、第３係数ｋ１３は入射角Θの３次元の係数、第４係数ｋ１４は入射角Θの４次元の係数、第５係数ｋ１５は入射角Θの５次元の係数である。
【００１４】
同様に、図２に示す放射線ＩＤ「Ｈ０２」に対応付けて記憶された１組の内部パラメータ（第１係数ｋ２１、第２係数ｋ２２・・・第５係数ｋ２５の組）は、放射線ＩＤ「Ｈ０２」により識別される放射線Ｈ２の方向の画素位置の補正に適用される。第１係数ｋ２１は、図４（ｂ）に示す放射線２の方向の画素位置の補正に適用される高次式における入射角Θの１次元の係数、第２係数ｋ２２は入射角Θの２次元の係数、第３係数ｋ２３は入射角Θの３次元の係数、第４係数ｋ２４は入射角Θの４次元の係数、第５係数ｋ２５は入射角Θの５次元の係数である。以下、放射線ＩＤ「Ｈ０３」から放射線ＩＤ「Ｈ０８」のそれぞれに対応付けて記憶された１組の内部パラメータについても同様である。
【００１５】
なお、内部パラメータ記憶部１００は、放射線ＩＤに代えて領域ＩＤ（本発明の領域識別情報に相当）に対応付けて、図２（ｂ）に示すように、計８組の内部パラメータを記憶してもよい。この場合、内部パラメータ記憶部１００は、図２（ｂ）に示すように、領域ＩＤに対応付けて、各分割領域を規定する情報（以下、「分割領域情報」という）を記憶する。分割領域情報は、座標情報などである。
【００１６】
領域ＩＤは、図３（ａ）に示す歪曲画像をＺ方向から見た図３（ｃ）に示すように、画像主点ｏを中心に歪曲画像上の領域を放射状に分割した複数の分割領域Ｒ１、Ｒ２・・・Ｒ８を識別する。つまり、内部パラメータ記憶部１００は、画像主点ｏを中心とする８方向の分割領域Ｒ１〜Ｒ８の各方向に係る第１係数、第２係数・・・第５係数を１組とする計８組の内部パラメータを記憶する。
【００１７】
歪曲画像取得部１５０は、歪曲画像をカメラユニットから取得する。なお、歪曲画像取得部１５０は、カメラユニットに代えて記憶メモリなどの他のユニットから歪曲画像を取得してもよい。歪曲画像取得部１５０は、取得した歪曲画像を内部パラメータ選択部１７０に供給する。
【００１８】
内部パラメータ選択部１７０は、歪曲画像を歪曲画像取得部１５０から取得する。内部パラメータ選択部１７０は、取得した歪曲画像上の補正対象の画素位置を決定する。内部パラメータ選択部１７０は、決定した補正対象の画素位置の画像主点ｏからの方向に基づいて、内部パラメータ記憶部１００に記憶されている計８組の内部パラメータのなかから補正対象である画素位置の補正に適用する１組の内部パラメータを選択する。
【００１９】
具体的には、図２（ａ）のように放射線ＩＤに対応付けて計８組の内部パラメータが内部パラメータ記憶部１００に記憶されている場合には、内部パラメータ選択部１７０は、補正対象である画素位置の補正に適用する内部パラメータとして、内部パラメータ記憶部１００に記憶されている計８組の内部パラメータのなかから、補正対象の画素位置までの距離が１番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータを選択する。例えば、図３（ｂ）の画素位置ｐが補正対象である場合、内部パラメータ選択部１７０は、画素位置ｐまでの距離が１番目に短い放射線Ｈ２を識別する放射線ＩＤ「Ｈ０２」に対応付けられた１組の内部パラメータを選択する。
【００２０】
一方、図２（ｂ）のように領域ＩＤに対応付けて計８組の内部パラメータが内部パラメータ記憶部１００に記憶されている場合には、内部パラメータ選択部１７０は、補正対象である画素位置の補正に適用する内部パラメータとして、補正対象の画素位置を含む分割領域を識別する領域ＩＤに対応付けられた内部パラメータを選択する。例えば、図３（ｃ）に示す歪曲画像上の画素位置ｐが補正対象である場合、内部パラメータ選択部１７０は、画素位置ｐを含む分割領域Ｒ２を識別する領域ＩＤ「Ｒ０２」に対応付けられた１組の内部パラメータを選択する。
【００２１】
歪曲補正画像生成部１９０は、内部パラメータ選択部１７０によって補正対象である画素位置の補正に適用する１組の内部パラメータが選択された場合に、当該１組の内部パラメータに基づいて補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する。
【００２２】
より詳細には、歪曲補正画像生成部１９０は、内部パラメータ選択部１７０によってある１組の内部パラメータが選択された場合に、まず、歪曲画像上の補正対象である画素位置ｐに係る直交座標（ｘ，ｙ）から円座標（ｒ０，Φ）、および、入射角Θを取得する。なお、像高ｒ０と入射角Θの関係は既知である。次に、歪曲補正画像生成部１９０は、図４に示す高次式に当該１組の内部パラメータおよび入射角Θを代入し、歪曲補正画像上の画素位置ｑの像高ｒを算出する。次に、歪曲補正画像生成部１９０は、歪曲補正画像上の画素位置ｑに係る円座標（ｒ,Φ）から直交座標（ｘ’，ｙ’）を取得する。そして、歪曲補正画像生成部１９０は、歪曲補正画像上の補正対象である画素位置ｐ（座標（ｘ，ｙ））の画素値を他の画素位置ｑ（座標（ｘ’，ｙ’））の画素値とすることにより、歪曲画像から歪曲補正画像を生成する。歪曲補正画像生成部１９０は、生成した歪曲補正画像を外部の他のユニットへ供給する。
【００２３】
以下、歪曲補正画像生成ユニット１０の動作について説明する。図５は、図１に示す歪曲補正画像生成ユニット１０の動作の一例を示すフローチャートである。図６および図７は、画素位置と適用する内部パラメータとの関係を模式的に示す図である。なお、図５に示すフローチャートの開始時において、内部パラメータ記憶部１００には、図２（ａ）に示す情報が記憶されているものとする。
【００２４】
図５において、歪曲画像取得部１５０は、歪曲画像をカメラユニットから取得する（ステップＳ１００）。歪曲画像取得部１５０は、取得した歪曲画像を内部パラメータ選択部１７０に供給する。
【００２５】
内部パラメータ選択部１７０は、内部パラメータ記憶部１００に記憶されている全８組の内部パラメータおよび放射線情報を放射線ＩＤに対応付けて読み出す（ステップＳ１１０）。続いて、内部パラメータ選択部１７０は、歪曲画像上の補正対象の画素位置を決定する（ステップＳ１３０）。例えば、内部パラメータ選択部１７０は、まずは、歪曲画像上の左上角を補正対象である画素位置として決定する。
【００２６】
内部パラメータ選択部１７０は、ステップＳ１１０にて読み出した全８組の内部パラメータのなかから、ステップＳ１３０にて決定した補正対象である画素位置の補正に適用する１組の内部パラメータを選択する（ステップＳ１５０）。具体的には、内部パラメータ選択部１７０は、補正対象の画素位置までの距離が１番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータを選択する。
【００２７】
例えば、図６（ａ）に示す歪曲画像上の画素位置ｐが補正対象である場合、内部パラメータ選択部１７０は、画素位置ｐまでの距離が１番目に短い放射線Ｈ７を識別する放射線識別情報「Ｈ０７」に対応付けられた１組の内部パラメータを選択する。内部パラメータ選択部１７０は、ステップＳ１３０にて決定した補正対象の画素位置、および、ステップＳ１５０にて選択した１組の内部パラメータを歪曲補正画像生成部１９０に供給する。
【００２８】
歪曲補正画像生成部１９０は、補正対象の画素位置、および、補正対象である画素位置の補正に適用する１組の内部パラメータを内部パラメータ選択部１７０から取得する。歪曲補正画像生成部１９０は、当該１組の内部パラメータに基づいて補正対象の画素位置の画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する（ステップＳ１７０）。
【００２９】
例えば、歪曲補正画像生成部１９０は、補正対象の画素位置として図６（ａ）に示す歪曲画像上の画素位置ｐ、および、画素位置ｐの補正に適用する１組の内部パラメータ（第１係数ｋ７１、第２係数ｋ７２・・・第５係数ｋ７５の組）を内部パラメータ選択部１７０から取得した場合、まず、図４（ｇ）に示す高次式に、当該１組の内部パラメータおよび入射角Θを代入し、歪曲補正画像上の画素位置の像高ｒ７を算出する。なお、入射角Θは画素位置ｐの座標（ｘ，ｙ）から取得（算出）する。
【００３０】
そして、歪曲補正画像生成部１９０は、図６（ａ）に示す歪曲画像上の画素位置ｐの画素値を図６（ｂ）に示す歪曲補正画像上の画素位置ｑ（座標（ｘ’，ｙ’））の画素値とすることにより、図６（ａ）に示す歪曲画像から図６（ｂ）に示す歪曲補正画像を生成する。なお、座標（ｘ’，ｙ’）は座標（ｒ7，Φ）から取得（算出）する。角度Φは座標（ｘ，ｙ）から取得（算出）する。
【００３１】
次に、内部パラメータ選択部１７０は、歪曲画像上の全ての画素位置について補正対象の画素位置として決定したか否かを判断する（ステップＳ１８０）。歪曲画像上の全ての画素位置について補正対象の画素位置として決定していないと内部パラメータ選択部１７０にて判断した場合（ステップＳ１８０：Ｎｏ）、内部パラメータ選択部１７０は、歪曲画像上の次の補正対象の画素位置を決定し（ステップＳ１９０）、ステップＳ１５０に戻る。一方、歪曲画像上の全ての画素位置について補正対象の画素位置として決定したと内部パラメータ選択部１７０にて判断した場合（ステップＳ１８０：Ｙｅｓ）、本フローチャートは終了する。
【００３２】
なお、内部パラメータ記憶部１００に図２（ｂ）に示す情報が記憶されている場合には、ステップＳ１５０において、内部パラメータ選択部１７０は、補正対象の画素位置を含む分割領域を識別する領域ＩＤに対応付けられた内部パラメータを選択する。
【００３３】
例えば、図７（ａ）に示す歪曲画像上の画素位置ｐが補正対象である場合、内部パラメータ選択部１７０は、画素位置ｐを含む分割領域Ｒ７を識別する領域ＩＤ「Ｒ０７」に対応付けられた１組の内部パラメータを選択する。なお、歪曲補正画像生成部１９０は、図７（ａ）に示す歪曲画像から図７（ｂ）に示す歪曲補正画像を生成する。
【００３４】
次に、本発明の第２の実施形態を図面に基づいて説明する。図８は、本発明の第２の実施形態である歪曲補正画像生成ユニット２０の構成例を示す図である。歪曲補正画像生成ユニット２０は、図８に示すように、内部パラメータ記憶部１００、出力領域情報記憶部１１０、歪曲画像取得部１５０、内部パラメータ選択部１７２および歪曲補正画像生成部１９０を備える。なお、内部パラメータ記憶部１００、歪曲画像取得部１５０および歪曲補正画像生成部１９０の各機能は、図１に示す歪曲補正画像生成ユニット１０における同一符号の各ブロックの機能と同一であるので説明を省略する。
【００３５】
出力領域情報記憶部１１０は、歪曲画像上の領域のうち外部へ出力すべき出力領域を示す出力領域情報を記憶する。出力領域は、歪曲画像上の全領域のうち後工程に係る他ユニットにて実際に必要となる領域である。例えば、出力領域は、他ユニットである記憶ユニットにて記憶される領域、他ユニットである他の画像処理ユニットにて画像処理される領域、他ユニットである表示ユニットにて表示される領域などである。また、出力領域情報は、座標情報などである。
【００３６】
内部パラメータ選択部１７２は、歪曲画像を歪曲画像取得部１５０から取得する。内部パラメータ選択部１７２は、出力領域情報記憶部１１０に記憶されている出力領域情報を参照し、出力領域情報により示される歪曲画像上の出力領域内の画素位置を補正対象である画素位置として決定する。内部パラメータ選択部１７２は、決定した補正対象の画素位置の画像主点ｏからの方向に基づいて、内部パラメータ記憶部１００に記憶されている計８組の内部パラメータのなかから補正対象である画素位置の補正に適用する１組の内部パラメータを選択する。
【００３７】
以下、歪曲補正画像生成ユニット２０の動作について説明する。図９は、図８に示す歪曲補正画像生成ユニット２０の動作の一例を示すフローチャートである。図１０は、画素位置と適用する内部パラメータとの関係を模式的に示す図である。なお、ステップＳ２００、ステップＳ２１０、ステップＳ２５０およびステップＳ２７０の動作は、図５に示すステップＳ１００、ステップＳ１１０、ステップＳ１５０およびステップＳ１７０の動作と同一であるので説明を省略する。
【００３８】
ステップＳ２１０に続いて、内部パラメータ選択部１７２は、出力領域情報記憶部１１０に記憶されている出力領域情報を読み出す（ステップＳ２２２）。続いて、内部パラメータ選択部１７２は、出力領域情報により示される出力領域内の画素位置を補正対象である画素位置として決定する（ステップＳ２３２）。例えば、内部パラメータ選択部１７０は、まずは、出力領域内の左上角を補正対象である画素位置として決定する。
【００３９】
ステップＳ２７０に続いて、内部パラメータ選択部１７２は、出力領域内の全ての画素位置について補正対象の画素位置として決定したか否かを判断する（ステップＳ２８２）。出力領域内の全ての画素位置について補正対象の画素位置として決定していないと内部パラメータ選択部１７２にて判断した場合（ステップＳ２８２：Ｎｏ）、内部パラメータ選択部１７２は、出力領域内の次の補正対象の画素位置を決定し（ステップＳ２９２）、ステップＳ２５０に戻る。一方、出力領域内の全ての画素位置について補正対象の画素位置として決定したと内部パラメータ選択部１７２にて判断した場合（ステップＳ２８２：Ｙｅｓ）、本フローチャートは終了する。
【００４０】
なお、図１０（ａ）に示す出力領域内の画素位置ｐが補正対象である場合、ステップＳ２７０において、歪曲補正画像生成部１９０は、図１０（ａ）に示す歪曲画像上の出力領域内の画素位置ｐの画素値を図１０（ｂ）に示す歪曲補正画像上の画素位置ｑの画素値とすることにより、図１０（ａ）に示す歪曲画像から図１１（ｂ）に示す歪曲補正画像を生成する。
【００４１】
次に、本発明の第３の実施形態を図面に基づいて説明する。図１１は、本発明の第３の実施形態である歪曲補正画像生成ユニット３０の構成例を示す図である。図１２は、画素位置と適用する内部パラメータとの関係を模式的に示す図である。歪曲補正画像生成ユニット３０は、図１１に示すように、内部パラメータ記憶部１００、歪曲画像取得部１５０、内部パラメータ選択部１７４、内部パラメータ算出部１８０および歪曲補正画像生成部１９２を備える。なお、内部パラメータ記憶部１００および歪曲画像取得部１５０の各機能は、図１に示す歪曲補正画像生成ユニット１０における同一符号の各ブロックの機能と同一であるので説明を省略する。内部パラメータ記憶部１００は、図２（ａ）に示す情報を記憶している。
【００４２】
内部パラメータ選択部１７４は、歪曲画像を歪曲画像取得部１５０から取得する。内部パラメータ選択部１７４は、取得した歪曲画像上の補正対象の画素位置を決定する。内部パラメータ選択部１７４は、決定した補正対象の画素位置の画像主点ｏからの方向に基づいて、内部パラメータ記憶部１００に記憶されている計８組の内部パラメータのなかから補正対象である画素位置の補正に適用する２組の内部パラメータを選択する。
【００４３】
具体的には、内部パラメータ選択部１７４は、２組の内部パラメータとして、補正対象の画素位置までの距離が１番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータ（本発明の第１内部パラメータに相当）、および、当該距離が２番目に短い放射線を識別する放射線ＩＤに対応付けられた他の１組の内部パラメータ（本発明の第２内部パラメータに相当）を選択する。
【００４４】
例えば、図１２（ａ）の画素位置ｐが補正対象である場合、内部パラメータ選択部１７４は、画素位置ｐの補正に適用する２組の内部パラメータとして、画素位置ｐまでの距離が１番目に短い放射線Ｈ７を識別する放射線ＩＤ「Ｈ０７」に対応付けられた１組の内部パラメータ、および、画素位置ｐまでの距離が２番目に短い放射線Ｈ６を識別する放射線ＩＤ「Ｈ０６」に対応付けられた１組の内部パラメータを選択する。
【００４５】
内部パラメータ算出部１８０は、内部パラメータ選択部１７４によって選択された２組の内部パラメータを各係数別に加重平均して、新たな１組の内部パラメータを算出する。
【００４６】
例えば、図１２（ａ）の画素位置ｐが補正対象である場合に、内部パラメータ選択部１７４によって、放射線ＩＤ「Ｈ０７」に対応付けられた１組の内部パラメータ（第１係数ｋ７１、第２係数ｋ７２・・・第５係数ｋ７５の組）、および、放射線ＩＤ「Ｈ０６」に対応付けられた１組の内部パラメータ（第１係数ｋ６１、第２係数ｋ６２・・・第５係数ｋ６５の組）が選択されたときは、内部パラメータ算出部１８０は、図１２（ｂ）〜図１２（ｆ）に示すように、両組の内部パラメータを各係数別に加重平均して、新たな１組の内部パラメータ（第１係数ｋ１、第２係数ｋ２・・・第５係数ｋ５の組）を算出する。なお、図１２（ａ）〜図１２（ｆ）において、ｄ１は放射線Ｈ７から画素位置ｐまでの距離、ｄ２は放射線Ｈ６から画素位置ｐまでの距離である。
【００４７】
歪曲補正画像生成部１９２は、内部パラメータ算出部１８０によって算出された新たな１組の内部パラメータに基づいて補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する。
【００４８】
例えば、内部パラメータ算出部１８０によって画素位置ｐの補正に適用する、図１２（ｂ）〜図１２（ｆ）に示す新たな１組の内部パラメータが算出された場合、歪曲補正画像生成部１９２は、図１２（ｇ）に示す高次式に、図１２（ｂ）〜図１２（ｆ）に示す新たな１組の内部パラメータおよび入射角Θを代入し、歪曲補正画像上の画素位置の像高ｒｃａｌを算出することにより、画素位置ｐの画素値を他の画素位置の画素値とする。
【００４９】
以下、歪曲補正画像生成ユニット３０の動作について説明する。図１３は、図１１に示す歪曲補正画像生成ユニット３０の動作の一例を示すフローチャートである。図１４は、画素位置と適用する内部パラメータとの関係を模式的に示す図である。なお、ステップＳ３００、ステップＳ３１０、ステップＳ３３０、ステップＳ３８０およびステップＳ３９０の動作は、図１に示すステップＳ１００、ステップＳ１１０、ステップＳ１３０、ステップＳ１８０およびステップＳ１９０の動作と同一であるので説明を省略する。
【００５０】
ステップＳ３３０に続いて、内部パラメータ選択部１７４は、ステップＳ３１０にて読み出した全８組の内部パラメータのなかから、２組の内部パラメータを選択する（ステップＳ３５２）。具体的には、内部パラメータ選択部１７４は、補正対象の画素位置までの距離が１番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータ、および、当該距離が２番目に短い放射線を識別する放射線ＩＤに対応付けられた他の１組の内部パラメータを選択する。
【００５１】
例えば、図１４（ａ）の画素位置ｐが補正対象である場合、内部パラメータ選択部１７４は、画素位置ｐの補正に適用する２組の内部パラメータとして、画素位置ｐまでの距離が１番目に短い放射線Ｈ７を識別する放射線ＩＤ「Ｈ０７」に対応付けられた１組の内部パラメータ、および、画素位置ｐまでの距離が２番目に短い放射線Ｈ６を識別する放射線ＩＤ「Ｈ０６」に対応付けられた１組の内部パラメータを選択する。
【００５２】
内部パラメータ選択部１７４は、ステップＳ３３０にて決定した補正対象の画素位置、および、ステップＳ３５２にて選択した２組の内部パラメータを内部パラメータ算出部１８０に供給する。内部パラメータ算出部１８０は、補正対象の画素位置および２組の内部パラメータを内部パラメータ選択部１７４から取得する。内部パラメータ算出部１８０は、２組の内部パラメータを各係数別に加重平均して、新たな１組の内部パラメータを算出する（ステップＳ３６０）。
【００５３】
例えば、図１４（ａ）の画素位置ｐが補正対象である場合に、内部パラメータ選択部１７４によって、放射線ＩＤ「Ｈ０７」に対応付けられた１組の内部パラメータ（第１係数ｋ７１」、第２係数ｋ７２・・・第５係数ｋ７５の組）、および、放射線ＩＤ「Ｈ０６」に対応付けられた１組の内部パラメータ（第１係数ｋ６１、第２係数ｋ６２・・・第５係数ｋ６５の組）が選択されたときは、内部パラメータ算出部１８０は、図１２（ｂ）〜図１２（ｆ）に示すように、両組の内部パラメータを各係数別に加重平均して、新たな１組の内部パラメータ（第１係数ｋ１、第２係数ｋ２・・・第５係数ｋ５の組）を算出する。
【００５４】
内部パラメータ算出部１８０は、補正対象の画素位置、および、算出した新たな１組の内部パラメータを歪曲補正画像生成部１９２に供給する。歪曲補正画像生成部１９２は、補正対象の画素位置および新たな１組の内部パラメータを内部パラメータ算出部１８０から取得する。歪曲補正画像生成部１９２は、新たな１組の内部パラメータに基づいて補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する（ステップＳ３７２）。
【００５５】
例えば、図１４（ａ）に示す画素位置ｐが補正対象である場合、内部パラメータ算出部１８０によって画素位置ｐの補正に適用する、図１２（ｂ）〜図１２（ｆ）に示す新たな１組の内部パラメータが算出されたときは、歪曲補正画像生成部１９２は、図１２（ｇ）に示す高次式に、図１２（ｂ）〜図１２（ｆ）に示す新たな１組の内部パラメータおよび入射角Θを代入し、歪曲補正画像上の画素位置の像高ｒｃａｌを算出する。この演算によって、画素位置ｐの画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する。
【００５６】
次に、本発明の第４の実施形態を図面に基づいて説明する。図１５は、本発明の第４の実施形態である歪曲補正画像生成ユニット４０の構成例を示す図である。歪曲補正画像生成ユニット４０は、図１５に示すように、内部パラメータ記憶部１００、歪曲画像取得部１５０、像高判断部１６０、内部パラメータ選択部１７６、内部パラメータ算出部１８０および歪曲補正画像生成部１９４を備える。なお、内部パラメータ記憶部１００、歪曲画像取得部１５０および内部パラメータ算出部１８０の各機能は、図１１に示す歪曲補正画像生成ユニット３０における同一符号の各ブロックの機能と同一であるので説明を省略する。
【００５７】
像高判断部１６０は、内部パラメータ選択部１７６によって決定された歪曲画像上の補正対象の画素位置から歪曲画像上の画像主点までの距離である像高が所定の値未満であるか否かを判断する。像高判断部１６０は、像高が所定の値未満であるか否かの判断結果を内部パラメータ選択部１７６に供給する。
【００５８】
内部パラメータ選択部１７６は、歪曲画像を歪曲画像取得部１５０から取得する。内部パラメータ選択部１７６は、取得した歪曲画像上の補正対象の画素位置を決定する。内部パラメータ選択部１７６は、決定した補正対象の画素位置を像高判断部１６０に供給する。内部パラメータ選択部１７６は、像高判断部１６０から像高が所定の値未満である旨の判断結果を取得した場合、補正対象である画素位置の補正に適用する内部パラメータとして、補正対象の画素位置までの距離が１番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータを選択する。
【００５９】
一方、内部パラメータ選択部１７６は、上記像高が所定の値以上である旨の判断結果を像高判断部１６０から取得した場合には、補正対象の画素位置までの距離が１番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータ、および、補正対象の画素位置までの距離が２番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータを選択する。
【００６０】
歪曲補正画像生成部１９４は、内部パラメータ選択部１７６によって１組の内部パラメータが選択された場合には、内部パラメータ選択部１７６によって選択された１組の内部パラメータに基づいて補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する。
【００６１】
歪曲補正画像生成部１９４は、内部パラメータ選択部１７６によって２組の内部パラメータが選択された場合には、内部パラメータ算出部１８０によって算出された１組の新たな内部パラメータに基づいて補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する。
【００６２】
以下、歪曲補正画像生成ユニット４０の動作について説明する。図１６は、図１５に示す歪曲補正画像生成ユニット４０の動作の一例を示すフローチャートである。図１７は、画素位置と適用する内部パラメータとの関係を模式的に示す図である。なお、ステップＳ４００、ステップＳ４１０、ステップＳ４３０、ステップＳ４５０、ステップＳ４７０、ステップＳ４８０およびステップＳ４９０の動作は、図５に示すステップＳ１００、ステップＳ１１０、ステップＳ１３０、ステップＳ１５０、ステップＳ１７０、ステップＳ１８０およびステップＳ１９０の動作と同一であるので説明を省略する。また、ステップＳ４５２、ステップＳ４６０およびステップＳ４７２の動作は、図１３に示すステップＳ３５２、ステップＳ３６０およびステップＳ３７２の動作と同一であるので説明を省略する。
【００６３】
ステップ４３０に続いて、内部パラメータ選択部１７６は、決定した補正対象の画素位置を像高判断部１６０に供給する。像高判断部１６０は、内部パラメータ選択部１７６によって決定された歪曲画像上の補正対象の画素位置から歪曲画像上の画像主点までの距離である像高が所定の値未満であるか否かを判断する（ステップＳ４４０）。像高が所定の値未満であると像高判断部１６０にて判断した場合（ステップＳ４４０：Ｙｅｓ）、内部パラメータ選択部１７６はステップＳ４５０を実行する。一方、像高が所定の値未満でないと像高判断部１６０にて判断した場合（ステップＳ４４０：Ｎｏ）、内部パラメータ選択部１７６はステップＳ４５２を実行する。
【００６４】
例えば、図１７（ａ）に示す歪曲画像上の画素位置ｐ１が補正対象である場合、像高が所定の値「ｒ（Θ）」未満であると像高判断部１６０にて判断され（ステップＳ４４０：Ｙｅｓ）、ステップＳ４５０において内部パラメータ選択部１７６は１組の内部パラメータ（第１係数ｋ２１、第２係数ｋ２２・・・第５係数ｋ２５の組）を選択する。一方、図１７（ａ）に示す歪曲画像上の画素位置ｐ２が補正対象である場合、像高が所定の値「ｒ（Θ）」未満でないと像高判断部１６０にて判断され（ステップＳ４４０：Ｎｏ）、ステップＳ４５２において内部パラメータ選択部１７６は２組の内部パラメータ（第１係数ｋ７１、第２係数ｋ７２・・・第５係数ｋ７５の組、および、第１係数ｋ６１、第２係数ｋ６２・・・第５係数ｋ６５の組）を選択する。
【００６５】
なお、図１７（ａ）に示す画素位置ｐ１が補正対象である場合、ステップＳ４７０において、歪曲補正画像生成部１９４は、図１７（ａ）に示す歪曲画像上の画素位置ｐ１の画素値を図１７（ｂ）に示す歪曲補正画像上の画素位置ｑ1の画素値とすることにより、図１７（ａ）に示す歪曲画像から図１７（ｂ）に示す歪曲補正画像を生成する。また、図１７（ａ）に示す画素位置ｐ２が補正対象である場合、ステップＳ４７０において、歪曲補正画像生成部１９４は、図１７（ａ）に示す歪曲画像上の画素位置ｐ２の画素値を図１７（ｂ）に示す歪曲補正画像上の画素位置ｑ２の画素値とすることにより、図１７（ａ）に示す歪曲画像から図１７（ｂ）に示す歪曲補正画像を生成する。
【００６６】
次に、本発明の第５の実施形態を図面に基づいて説明する。図１８は、本発明の第５の実施形態である歪曲補正画像生成ユニット５０の構成例を示す図である。図１９は、選択可否情報記憶部１２０および補正レベル記憶部１３０に記憶される情報の一例を示す図である。歪曲補正画像生成ユニット５０は、図１８に示すように、内部パラメータ記憶部１００、選択可否情報記憶部１２０、補正レベル記憶部１３０、補正レベル受付部１４０、歪曲画像取得部１５０、内部パラメータ選択部１７８および歪曲補正画像生成部１９０を備える。なお、内部パラメータ記憶部１００、歪曲画像取得部１５０および歪曲補正画像生成部１９０の各機能は、図１に示す歪曲補正画像生成ユニット１０における同一符号の各ブロックの機能と同一であるので説明を省略する。
【００６７】
選択可否情報記憶部１２０は、歪曲画像の歪曲を補正する補正レベルと当該補正レベルにおいて歪曲の補正に選択可能な内部パラメータとの関係を示す選択可否情報を記憶する。例えば、内部パラメータ記憶部１００が図２（ａ）のように放射線ＩＤに対応付けて計８組の内部パラメータを記憶している場合には、選択可否情報記憶部１２０は、図１９（ａ）に示すように、補正レベル別、放射線ＩＤ別の選択可／選択不可を示す選択可否情報を記憶する。
【００６８】
図１９（ａ）に示す選択可否情報は、歪曲の補正の正確性が比較的低い補正レベル（以下、「低補正レベル」という）では、放射線ＩＤ「Ｈ０２」「Ｈ０４」「Ｈ０６」「Ｈ０８」に対応付けて内部パラメータ記憶部１００に記憶された４組の内部パラメータが選択可能である旨を示す。また、歪曲の補正の正確性が比較的高い補正レベル（以下、「高補正レベル」という）では、放射線ＩＤ「Ｈ０１」「Ｈ０２」・・・「Ｈ０８」に対応付けて内部パラメータ記憶部１００に記憶された全８組の内部パラメータが選択可能である旨を示す。
【００６９】
また、内部パラメータ記憶部１００が図２（ｂ）のように領域ＩＤに対応付けて計８組の内部パラメータを記憶している場合には、選択可否情報記憶部１２０は、図１９（ｂ）に示すように、補正レベル別、領域ＩＤ別の選択可／選択不可を示す選択可否情報を記憶する。
【００７０】
図１９（ｂ）に示す選択可否情報は、低補正レベルでは、領域ＩＤ「Ｒ０１」「Ｒ０３」「Ｒ０５」「Ｒ０７」に対応付けて内部パラメータ記憶部１００に記憶された４組の内部パラメータが選択可能である旨を示す。また、歪曲の補正の正確性が比較的高い補正レベル（以下、「高補正レベル」という）では、領域ＩＤ「Ｒ０１」「Ｒ０２」・・・「Ｒ０８」に対応付けて内部パラメータ記憶部１００に記憶された全８組の内部パラメータが選択可能である旨を示す。
【００７１】
また、図１９（ｂ）に示す選択可否情報は、低補正レベルにおいて選択可能でない内部パラメータに代えて、当該選択可能でない内部パラメータに対応付けられた領域ＩＤにより識別される分割領域に隣接する他の分割領域を識別する他の領域ＩＤに対応付けられた他の内部パラメータが選択可能される旨を示す。例えば、領域ＩＤ「Ｒ０２」に対応付けられた内部パラメータに代えて、領域ＩＤ「Ｒ０２」により識別される分割領域Ｒ２に隣接する分割領域Ｒ３を識別する他の領域ＩＤ「Ｒ０３」に対応付けられた他の内部パラメータが選択可能される旨を示す。
【００７２】
補正レベル受付部１４０は、補正レベルの指定を外部（例えば、利用者から補正レベルの指定を受け付ける受付ユニット）から受け付ける。具体的には、補正レベル受付部１４０は、選択可否情報記憶部１２０に記憶されている選択可否情報において選択可能な内部パラメータとの関係を示された複数の補正レベルのうちの一の補正レベルを外部から受け付ける。補正レベル受付部１４０は、外部から受け付けた補正レベルを補正レベル記憶部１３０に記憶する。例えば、補正レベル受付部１４０は、外部から低補正レベルを受け付けたときは、図１９（ｃ）に示すように、補正レベル記憶部１３０に低補正レベルを示す情報「低補正レベル（１）」を記憶する。
【００７３】
内部パラメータ選択部１７８は、補正レベル記憶部１３０に記憶されている補正レベルおよび選択可否情報記憶部１２０に記憶されている選択可否情報を参照し、補正レベル記憶部１３０に記憶されている補正レベルにおいて歪曲の補正に選択可能な内部パラメータのなかから、補正対象である画素位置の補正に適用する内部パラメータを選択する。
【００７４】
以下、歪曲補正画像生成ユニット５０の動作について説明する。図２０は、図１８に示す歪曲補正画像生成ユニット５０の動作の一例を示すフローチャートである。図２１および図２２は、画素位置と適用する内部パラメータとの関係を模式的に示す図である。なお、ステップＳ５００、ステップＳ５３０、ステップＳ５５０、ステップＳ５７０、ステップＳ５８０およびステップＳ５９０の動作は、図５に示すステップＳ１００、ステップＳ１３０、ステップＳ１５０、ステップＳ１７０、ステップＳ１８０およびステップＳ１９０の動作と同一であるので説明を省略する。
【００７５】
ステップＳ５００に続いて、内部パラメータ選択部１７８は、補正レベル記憶部１３０に記憶されている補正レベルを読み出す（ステップＳ５０５）。続いて、内部パラメータ選択部１７８は、内部パラメータ記憶部１００に記憶されている計８組の内部パラメータのなかから、ステップＳ５０５において読み出した補正レベルにおいて選択可能な内部パラメータを放射線ＩＤに対応付けて読み出す（ステップＳ５１２）。また、内部パラメータ選択部１７８は、必要な放射線情報（または分割領域情報）を読み出す。
【００７６】
例えば、内部パラメータ記憶部１００に図２（ａ）に示す情報、選択可否情報記憶部１２０に図１９（ａ）に示す情報、補正レベル記憶部１３０に高レベル補正を示す情報が記憶されている場合、内部パラメータ選択部１７８は、放射線ＩＤ「Ｈ０１」「Ｈ０２」・・・「Ｈ０８」に対応付けて全８組の内部パラメータを内部パラメータ記憶部１００から読み出すとともに、放射線ＩＤ「Ｈ０１」「Ｈ０２」・・・「Ｈ０８」に対応付けて全８組の放射線情報を内部パラメータ記憶部１００から読み出す。
【００７７】
なお、図２１（ａ）に示す歪曲画像上の画素位置ｐが補正対象である場合に、内部パラメータ選択部１７８が放射線ＩＤ「Ｈ０１」「Ｈ０２」・・・「Ｈ０８」に対応付けて全８組の内部パラメータを読み出したときは、ステップＳ５５０において、内部パラメータ選択部１７８は、図２１（ｂ）に示すように、画素位置ｐまでの距離が１番目に短い放射線Ｈ７を識別する放射線識別情報「Ｈ０７」に対応付けられた１組の内部パラメータを選択する。続くステップＳ５７０において、歪曲補正画像生成部１９０は、図２１（ａ）（ｂ）に示す歪曲画像上の画素位置ｐの画素値を図２１（ｃ）に示す歪曲補正画像上の画素位置ｑ１の画素値とすることにより、図２１（ａ）（ｂ）に示す歪曲画像から図２１（ｃ）に示す歪曲補正画像を生成する。
【００７８】
また、内部パラメータ記憶部１００に図２（ａ）に示す情報、選択可否情報記憶部１２０に図１９（ａ）に示す情報、補正レベル記憶部１３０に低レベル補正を示す情報が記憶されている場合、内部パラメータ選択部１７８は、放射線ＩＤ「Ｈ０２」「Ｈ０４」「Ｈ０６」「Ｈ０８」に対応付けて４組の内部パラメータを内部パラメータ記憶部１００から読み出すとともに、放射線ＩＤ「Ｈ０２」「Ｈ０４」「Ｈ０６」「Ｈ０８」に対応付けて４組の放射線情報を内部パラメータ記憶部１００から読み出す。
【００７９】
なお、図２１（ａ）に示す歪曲画像上の画素位置ｐが補正対象である場合に、内部パラメータ選択部１７８が放射線ＩＤ「Ｈ０２」「Ｈ０４」「Ｈ０６」「Ｈ０８」に対応付けて４組の内部パラメータを読み出したときは、ステップＳ５５０において、内部パラメータ選択部１７８は、図２１（ｄ）に示すように、画素位置ｐまでの距離が１番目に短い放射線Ｈ６を識別する放射線識別情報「Ｈ０６」に対応付けられた１組の内部パラメータを選択する。続くステップＳ５７０において、歪曲補正画像生成部１９０は、図２１（ａ）（ｄ）に示す歪曲画像上の画素位置ｐの画素値を図２１（ｅ）に示す歪曲補正画像上の画素位置ｑ２の画素値とすることにより、図２１（ａ）（ｄ）に示す歪曲画像から図２１（ｅ）に示す歪曲補正画像を生成する。
【００８０】
また、内部パラメータ記憶部１００に図２（ｂ）に示す情報、選択可否情報記憶部１２０に図１９（ｂ）に示す情報、補正レベル記憶部１３０に高レベル補正を示す情報が記憶されている場合、内部パラメータ選択部１７８は、領域ＩＤ「Ｒ０１」「Ｒ０２」・・・「Ｒ０８」に対応付けて全８組の内部パラメータを内部パラメータ記憶部１００から読み出すとともに、領域ＩＤ「Ｒ０１」「Ｒ０２」・・・「Ｒ０８」に対応付けて全８組の分割領域情報を内部パラメータ記憶部１００から読み出す。
【００８１】
なお、図２２（ａ）に示す歪曲画像上の画素位置ｐが補正対象である場合に、内部パラメータ選択部１７８が領域ＩＤ「Ｒ０１」「Ｒ０２」・・・「Ｒ０８」に対応付けて全８組の内部パラメータを読み出したときは、ステップＳ５５０において、内部パラメータ選択部１７８は、まず、図１９（ｂ）に示す情報を参照し、画素位置ｐを含む図２２（ｂ）に示す分割領域Ｒ４を識別する領域ＩＤ「Ｒ０４」が高レベル補正において選択可能であるか否かを判断する。そして、内部パラメータ選択部１７８は、領域ＩＤ「Ｒ０４」が高レベル補正において選択可能であると判断し、分割領域Ｒ４を識別する領域ＩＤ「Ｒ０４」に対応付けられた１組の内部パラメータを選択する。続くステップＳ５７０において、歪曲補正画像生成部１９０は、図２２（ａ）（ｂ）に示す歪曲画像上の画素位置ｐの画素値を図２２（ｃ）に示す歪曲補正画像上の画素位置ｑ１の画素値とすることにより、図２２（ａ）（ｂ）に示す歪曲画像から図２２（ｃ）に示す歪曲補正画像を生成する。
【００８２】
また、内部パラメータ記憶部１００に図２（ｂ）に示す情報、選択可否情報記憶部１２０に図１９（ｂ）に示す情報、補正レベル記憶部１３０に低レベル補正を示す情報が記憶されている場合、内部パラメータ選択部１７８は、領域ＩＤ「Ｒ０１」「Ｒ０３」「Ｒ０５」「Ｒ０７」に対応付けて４組の内部パラメータを内部パラメータ記憶部１００から読み出すとともに、領域ＩＤ「Ｒ０１」「Ｒ０２」・・・「Ｒ０８」に対応付けて全８組の分割領域情報を内部パラメータ記憶部１００から読み出す。
【００８３】
なお、図２２（ａ）に示す歪曲画像上の画素位置ｐが補正対象である場合に、内部パラメータ選択部１７８が領域ＩＤ「Ｒ０１」「Ｒ０３」「Ｒ０５」「Ｒ０７」に対応付けて４組の内部パラメータを読み出したときは、ステップＳ５５０において、内部パラメータ選択部１７８は、まず、図１９（ｂ）に示す情報を参照し、画素位置ｐを含む図２２（ｂ）に示す分割領域Ｒ４を識別する領域ＩＤ「Ｒ０４」が低レベル補正において選択可能であるか否かを判断する。そして、内部パラメータ選択部１７８は、領域ＩＤ「Ｒ０４」が低レベル補正において選択不可であると判断し、領域ＩＤ「Ｒ０４」に代えて領域ＩＤ「Ｒ０５」に対応付けられた１組の内部パラメータを選択する。続くステップＳ５７０において、歪曲補正画像生成部１９０は、図２２（ａ）（ｄ）に示す歪曲画像上の画素位置ｐの画素値を図２２（ｅ）に示す歪曲補正画像上の画素位置ｑ２の画素値とすることにより、図２２（ａ）（ｄ）に示す歪曲画像から図２２（ｅ）に示す歪曲補正画像を生成する。
【００８４】
以上、歪曲補正画像生成ユニット１０、２０、３０、４０、５０によれば、補正対象である画素位置の画像主点からの方向に基づいて、予め記憶している複数の内部パラメータのなかから、補正対象である画素位置の補正に適用する内部パラメータ、つまり、画像主点からの方向に応じて異なる大きさで生じる誤差を吸収することができる内部パラメータが選択され、選択された内部パラメータに基づいて歪曲画像の歪曲が補正される。これにより、製造上の交差によってレンズ面と撮像素子面とが完全に平行とならなくても、歪曲画像の歪曲をより正確に補正することができる。
【００８５】
更に、歪曲補正画像生成ユニット２０によれば、歪曲画像上の全ての画素位置ではなく出力領域内の画素位置に限定して歪曲を補正するため、歪曲画像上の全領域のうち後工程に係る他ユニットにて実際に必要となる領域について、歪曲をより正確かつより高速に補正することができる。
【００８６】
更に、歪曲補正画像生成ユニット３０によれば、内部パラメータ記憶部１００に記憶している２組の内部パラメータを補正対象の画素位置に応じて組み合わせて加重平均した新たな内部パラメータ、つまり、補正対象の個々の画素位置に応じた最適な内部パラメータにより歪曲を補正するため、内部パラメータ記憶部１００に記憶している１組の内部パラメータにより補正をする場合に比べ、より一層正確に補正することができる。
【００８７】
更に、歪曲補正画像生成ユニット４０によれば、新たな内部パラメータにより時間を掛けて正確に歪曲を補正する範囲を周縁部に限定することができるため、新たな内部パラメータにより歪曲画像全体の歪曲の補正をする場合に比べ時間を短縮しつつ、内部パラメータ記憶部１００に記憶している１組の内部パラメータにより補正をする場合に比べ、歪曲が生じ易い周縁部をより一層正確に補正することができる。
【００８８】
更に、歪曲補正画像生成ユニット５０によれば、補正レベルに応じて選択対象の内部パラメータの数が変わるため、歪曲画像の歪曲の正確性と歪曲の補正に要する時間との関係において、歪曲画像の歪曲の正確性を優先する場合には、選択対象の内部パラメータの数を多くしてより正確に補正し、歪曲の補正に要する時間の削減を優先する場合には、選択対象の内部パラメータの数を少なくしてより高速に補正することができる。
【００８９】
また、歪曲補正画像生成ユニット１０、２０、３０、４０、５０において、内部パラメータ記憶部１００は、全８組の内部パラメータを記憶しているが、組数はこれに限定されない。つまり、内部パラメータ記憶部１００は、全２組から全７組、または、全９組以上の内部パラメータを記憶してもよい。
【００９０】
また、歪曲補正画像生成ユニット１０、２０、３０、４０、５０において、内部パラメータ記憶部１００は、第１係数（入射角Θの１次元の係数）、第２係数（入射角Θの２次元の係数）、第３係数（入射角Θの３次元の係数）、第４係数（入射角Θの４次元の係数）および第５係数（入射角Θの５次元の係数）の５個の係数を１組とする内部パラメータを記憶しているが、係数の数、および、各係数の対応する入射角Θの次元はこれに限定されない。例えば、内部パラメータ記憶部１００は、第１係数（入射角Θの１次元の係数）、第２係数（入射角Θの３次元の係数）および第３係数（入射角Θの５次元の係数）の３個の係数を１組とする内部パラメータを記憶してもよい。
【００９１】
また、歪曲補正画像生成ユニット５０において、選択可否情報記憶部１２０は、２段階の補正レベル（低補正レベル／高補正レベル）と２段階の補正レベルの各段階において歪曲の補正に選択可能な内部パラメータとの関係を示す選択可否情報を記憶しているが、段階数はこれに限定されない。つまり、選択可否情報記憶部１２０は、３段階以上の補正レベルと３段階の補正レベルの各段階において歪曲の補正に選択可能な内部パラメータとの関係を示す選択可否情報を記憶してもよい。
【００９２】
その他、上記第１〜第５の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００９３】
【図１】本発明の第１の実施形態である歪曲補正画像生成ユニット１０の構成例を示す図である。
【図２】第１〜第５の実施形態による内部パラメータ記憶部に記憶された内部パラメータの一例を示す図である。
【図３】第１〜第５の実施形態による内部パラメータ記憶部に記憶された内部パラメータを説明する図である。
【図４】第１〜第５の実施形態による内部パラメータ記憶部に記憶された内部パラメータを説明する図である。
【図５】図１に示す歪曲補正画像生成ユニットの動作の一例を示すフローチャートである。
【図６】第１の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図７】第１の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図８】本発明の第２の実施形態である歪曲補正画像生成ユニットの構成例を示す図である。
【図９】図８に示す歪曲補正画像生成ユニットの動作の一例を示すフローチャートである。
【図１０】第２の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図１１】本発明の第３の実施形態である歪曲補正画像生成ユニットの構成例を示す図である。
【図１２】第３の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図１３】図１１に示す歪曲補正画像生成ユニットの動作の一例を示すフローチャートである。
【図１４】第３の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図１５】本発明の第４の実施形態である歪曲補正画像生成ユニットの構成例を示す図である。
【図１６】図１５に示す歪曲補正画像生成ユニットの動作の一例を示すフローチャートである。
【図１７】第４の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図１８】本発明の第５の実施形態である歪曲補正画像生成ユニットの構成例を示す図である。
【図１９】第５の実施形態による選択可否情報記憶部および補正レベル記憶部に記憶される情報の一例を示す図である。
【図２０】図１８に示す歪曲補正画像生成ユニットの動作の一例を示すフローチャートである。
【図２１】第５の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図２２】第５の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図２３】従来の歪曲補正を説明する模式図である。
【符号の説明】
【００９４】
１０ 歪曲補正画像生成ユニット
２０ 歪曲補正画像生成ユニット
３０ 歪曲補正画像生成ユニット
４０ 歪曲補正画像生成ユニット
５０ 歪曲補正画像生成ユニット
１００ 内部パラメータ記憶部
１１０ 出力領域情報記憶部
１２０ 選択可否情報記憶部
１３０ 補正レベル記憶部
１４０ 補正レベル受付部
１５０ 歪曲画像取得部
１６０ 像高判断部
１７０ 内部パラメータ選択部
１７２ 内部パラメータ選択部
１７４ 内部パラメータ選択部
１７６ 内部パラメータ選択部
１７８ 内部パラメータ選択部
１８０ 内部パラメータ算出部
１９０ 歪曲補正画像生成部
１９２ 歪曲補正画像生成部
【技術分野】
【０００１】
本発明は、歪曲補正画像生成ユニットおよび歪曲補正画像生成方法に関し、特に、魚眼レンズによって撮像された撮像画像の歪曲を補正する場合に好適な歪曲補正画像生成ユニットおよび歪曲補正画像生成方法に関するものである。
【背景技術】
【０００２】
一般に、魚眼レンズなどの焦点距離の短いレンズを使用して撮像された撮像画像（以下、「歪曲画像」という）に生じる歪曲は、使用レンズの内部パラメータを用いて補正されている。図２３は、従来の歪曲補正を説明する模式図である。図２３（ａ）において、ＸＹＺはカメラ座標系である（原点Ｏ、光軸方向Ｚ、レンズ面を含む平面上の２方向ＸＹ）。点Ｐはカメラ座標系ＸＹＺにおける実際の物体の座標である。Θは物体Ｐ方向の光軸方向Ｚに対する入射角である。点ｏはカメラの内部パラメータであって画像主点である。点ｐは歪曲画像上の画素位置である。点ｑは歪曲画像の歪曲を補正した補正後の画像（以下、「歪曲補正画像」という）上の、画素位置ｐに対応する画素位置である。距離ｒは、画素位置ｑから画像主点ｏまでの距離を示す像高である。なお、レンズ面は、レンズの中心を含み光軸に垂直な面である。
【０００３】
従来の歪曲補正で用いられている内部パラメータは、図２３（ａ）に示す画像主点ｏの座標、歪補正パラメータｋ１、k２、ｋ３、ｋ４、ｋ５などである。歪補正パラメータｋ１、k２・・・ｋ５は、図２３（ｂ）に示すように、歪曲補正画像における像高ｒを規定する高次式であって入射角Θを変数とする高次式における各次元の係数である。図２３（ｂ）の高次式によれば、同一の入射角Θで撮像された歪曲画像上の画素位置ｐは、画像主点ｏからの方向に関係なく、歪曲補正画像において同一の像高ｒの画素位置ｑに補正される。つまり、図２３（ｂ）の高次式は、歪曲画像に生じる歪曲の程度が入射角Θのみに依存するという考えに基づく。なお、カメラのレンズ歪み補正値をパラメータとして用いたキャリブレーション手段を備えた画像生成装置が開示されている（例えば、特許文献１を参照）。
【特許文献１】特許第３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、実際には、歪曲画像に生じる歪曲の程度は、入射角Θのみに依存するわけではない。従って、図２３（ｂ）の高次式では、歪曲画像の歪曲を正確に補正することができないという問題がある。レンズ面とＣＣＤの撮像素子面とが完全に平行である場合（撮像素子面上の各点においてレンズ面との各距離（隙間幅）が一定数である規定距離（規定隙間幅）に一致する場合）には、歪曲画像に生じる歪曲の程度は入射角Θのみに依存するが、実際は、製造上の交差によって、レンズ面と撮像素子面とが完全に平行でないからである。
【０００５】
レンズ面と撮像素子面とが平行である場合、上述の如く、撮像素子面上の全ての位置においてレンズ面との距離が規定距離と一致するが、レンズ面と撮像素子面とが平行でない場合、撮像素子面上のある位置またはある直線上の任意の位置を除く他の全ての位置において規定距離に対する誤差が生じる。また、誤差の大きさは、撮像素子面上の位置によって異なり、撮像素子面の周縁部で極大化する。また、誤差の大きさが大きいほど、歪曲を正確に補正することができない。従って、歪曲が生じ易く歪曲を正確に補正すべき歪曲画像の周縁部において、歪曲を正確に補正することができないということが特に問題となる。
【０００６】
本発明は、このような問題を解決するために成されたものである。すなわち、製造上の交差によってレンズ面と撮像素子面とが完全に平行とならなくても、歪曲画像の歪曲をより正確に補正することができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決するために、本発明では、画像主点からの各方向の画素位置の補正に適用する複数の内部パラメータ、つまり、画像主点からの方向に応じて異なる大きさで生じる誤差を吸収するための複数の内部パラメータを予め記憶するようにしている。そして、補正対象である画素位置の画像主点からの方向に基づいて、予め記憶している複数の内部パラメータのなかから補正対象である画素位置の補正に適用する内部パラメータを選択し、選択した内部パラメータに基づいて歪曲を補正するようにしている。
【発明の効果】
【０００８】
上記のように構成した本発明によれば、画像主点からの方向に応じて異なる大きさで生じる誤差を吸収するための内部パラメータ、つまり、画像主点からの方向に応じて異なる大きさで生じる誤差を吸収することができる内部パラメータが選択され、選択された内部パラメータに基づいて歪曲が補正されるので、製造上の交差によってレンズ面と撮像素子面とが完全に平行とならなくても、歪曲画像の歪曲をより正確に補正することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明の第１の実施形態である歪曲補正画像生成ユニット１０の構成例を示す図である。図２は、内部パラメータ記憶部１００に記憶された内部パラメータの一例を示す図である。図３および図４は、内部パラメータ記憶部１００に記憶された内部パラメータを説明する図である。図３（ａ）において、点Ｒは直線ＯＰ上の点ＱからＸＹ平面へ下ろした垂線の交点である。Φは直線ＯＹと直線ＯＲとの成す角である。なお、ＸＹＺ、点Ｐ、Θ、点ｏ、点ｐ、点ｑ、距離ｒは、図２３（ａ）と同様である。
【００１０】
歪曲補正画像生成ユニット１０は、魚眼レンズを用いて撮像された歪曲画像から歪曲画像の歪曲を補正した歪曲補正画像を生成する（後述する歪曲補正画像生成ユニット２０、３０、４０、５０についても同様）。歪曲補正画像生成ユニット１０は、図１に示すように、内部パラメータ記憶部１００、歪曲画像取得部１５０、内部パラメータ選択部１７０および歪曲補正画像生成部１９０を備える。
【００１１】
内部パラメータ記憶部１００は、歪曲画像の画像主点からの方向毎に、魚眼レンズに係る内部パラメータであって各方向の画素位置の補正に適用する複数の内部パラメータ（各方向に応じて異なる大きさで生じる誤差を吸収するための複数の内部パラメータ）を記憶する。具体的には、内部パラメータ記憶部１００は、図２（ａ）に示すように、放射線ＩＤ（本発明の放射線識別情報に相当）に対応付けて、第１係数、第２係数、第３係数、第４係数、第５係数を１組とする計８組の内部パラメータを記憶する。また、内部パラメータ記憶部１００は、図２（ａ）に示すように、放射線ＩＤに対応付けて、各放射線を規定する情報（以下、「放射線情報」という）を記憶する。放射線情報は、座標情報、一次関数などである。
【００１２】
放射線ＩＤは、図３（ａ）に示す歪曲画像をＺ方向から見た図３（ｂ）に示すように、画像主点ｏを中心に歪曲画像上の領域を放射状に分割する複数の放射線Ｈ１、Ｈ２・・・Ｈ８を識別する。つまり、内部パラメータ記憶部１００は、８方向の放射線Ｈ１〜Ｈ８の各方向に係る第１係数、第２係数・・・第５係数を１組とする計８組の内部パラメータを記憶する。
【００１３】
図２に示す放射線ＩＤ「Ｈ０１」に対応付けて記憶された１組の内部パラメータ（第１係数ｋ１１、第２係数ｋ１２・・・第５係数ｋ１５の組）は、放射線ＩＤ「Ｈ０１」により識別される放射線１の方向の画素位置の補正に適用される。第１係数ｋ１１は、図４（ａ）に示す放射線Ｈ１の方向の画素位置の補正に適用される高次式（入射角Θを変数とし歪曲補正画像における像高ｒを規定する）における入射角Θの１次元の係数、第２係数ｋ１２は入射角Θの２次元の係数、第３係数ｋ１３は入射角Θの３次元の係数、第４係数ｋ１４は入射角Θの４次元の係数、第５係数ｋ１５は入射角Θの５次元の係数である。
【００１４】
同様に、図２に示す放射線ＩＤ「Ｈ０２」に対応付けて記憶された１組の内部パラメータ（第１係数ｋ２１、第２係数ｋ２２・・・第５係数ｋ２５の組）は、放射線ＩＤ「Ｈ０２」により識別される放射線Ｈ２の方向の画素位置の補正に適用される。第１係数ｋ２１は、図４（ｂ）に示す放射線２の方向の画素位置の補正に適用される高次式における入射角Θの１次元の係数、第２係数ｋ２２は入射角Θの２次元の係数、第３係数ｋ２３は入射角Θの３次元の係数、第４係数ｋ２４は入射角Θの４次元の係数、第５係数ｋ２５は入射角Θの５次元の係数である。以下、放射線ＩＤ「Ｈ０３」から放射線ＩＤ「Ｈ０８」のそれぞれに対応付けて記憶された１組の内部パラメータについても同様である。
【００１５】
なお、内部パラメータ記憶部１００は、放射線ＩＤに代えて領域ＩＤ（本発明の領域識別情報に相当）に対応付けて、図２（ｂ）に示すように、計８組の内部パラメータを記憶してもよい。この場合、内部パラメータ記憶部１００は、図２（ｂ）に示すように、領域ＩＤに対応付けて、各分割領域を規定する情報（以下、「分割領域情報」という）を記憶する。分割領域情報は、座標情報などである。
【００１６】
領域ＩＤは、図３（ａ）に示す歪曲画像をＺ方向から見た図３（ｃ）に示すように、画像主点ｏを中心に歪曲画像上の領域を放射状に分割した複数の分割領域Ｒ１、Ｒ２・・・Ｒ８を識別する。つまり、内部パラメータ記憶部１００は、画像主点ｏを中心とする８方向の分割領域Ｒ１〜Ｒ８の各方向に係る第１係数、第２係数・・・第５係数を１組とする計８組の内部パラメータを記憶する。
【００１７】
歪曲画像取得部１５０は、歪曲画像をカメラユニットから取得する。なお、歪曲画像取得部１５０は、カメラユニットに代えて記憶メモリなどの他のユニットから歪曲画像を取得してもよい。歪曲画像取得部１５０は、取得した歪曲画像を内部パラメータ選択部１７０に供給する。
【００１８】
内部パラメータ選択部１７０は、歪曲画像を歪曲画像取得部１５０から取得する。内部パラメータ選択部１７０は、取得した歪曲画像上の補正対象の画素位置を決定する。内部パラメータ選択部１７０は、決定した補正対象の画素位置の画像主点ｏからの方向に基づいて、内部パラメータ記憶部１００に記憶されている計８組の内部パラメータのなかから補正対象である画素位置の補正に適用する１組の内部パラメータを選択する。
【００１９】
具体的には、図２（ａ）のように放射線ＩＤに対応付けて計８組の内部パラメータが内部パラメータ記憶部１００に記憶されている場合には、内部パラメータ選択部１７０は、補正対象である画素位置の補正に適用する内部パラメータとして、内部パラメータ記憶部１００に記憶されている計８組の内部パラメータのなかから、補正対象の画素位置までの距離が１番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータを選択する。例えば、図３（ｂ）の画素位置ｐが補正対象である場合、内部パラメータ選択部１７０は、画素位置ｐまでの距離が１番目に短い放射線Ｈ２を識別する放射線ＩＤ「Ｈ０２」に対応付けられた１組の内部パラメータを選択する。
【００２０】
一方、図２（ｂ）のように領域ＩＤに対応付けて計８組の内部パラメータが内部パラメータ記憶部１００に記憶されている場合には、内部パラメータ選択部１７０は、補正対象である画素位置の補正に適用する内部パラメータとして、補正対象の画素位置を含む分割領域を識別する領域ＩＤに対応付けられた内部パラメータを選択する。例えば、図３（ｃ）に示す歪曲画像上の画素位置ｐが補正対象である場合、内部パラメータ選択部１７０は、画素位置ｐを含む分割領域Ｒ２を識別する領域ＩＤ「Ｒ０２」に対応付けられた１組の内部パラメータを選択する。
【００２１】
歪曲補正画像生成部１９０は、内部パラメータ選択部１７０によって補正対象である画素位置の補正に適用する１組の内部パラメータが選択された場合に、当該１組の内部パラメータに基づいて補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する。
【００２２】
より詳細には、歪曲補正画像生成部１９０は、内部パラメータ選択部１７０によってある１組の内部パラメータが選択された場合に、まず、歪曲画像上の補正対象である画素位置ｐに係る直交座標（ｘ，ｙ）から円座標（ｒ０，Φ）、および、入射角Θを取得する。なお、像高ｒ０と入射角Θの関係は既知である。次に、歪曲補正画像生成部１９０は、図４に示す高次式に当該１組の内部パラメータおよび入射角Θを代入し、歪曲補正画像上の画素位置ｑの像高ｒを算出する。次に、歪曲補正画像生成部１９０は、歪曲補正画像上の画素位置ｑに係る円座標（ｒ,Φ）から直交座標（ｘ’，ｙ’）を取得する。そして、歪曲補正画像生成部１９０は、歪曲補正画像上の補正対象である画素位置ｐ（座標（ｘ，ｙ））の画素値を他の画素位置ｑ（座標（ｘ’，ｙ’））の画素値とすることにより、歪曲画像から歪曲補正画像を生成する。歪曲補正画像生成部１９０は、生成した歪曲補正画像を外部の他のユニットへ供給する。
【００２３】
以下、歪曲補正画像生成ユニット１０の動作について説明する。図５は、図１に示す歪曲補正画像生成ユニット１０の動作の一例を示すフローチャートである。図６および図７は、画素位置と適用する内部パラメータとの関係を模式的に示す図である。なお、図５に示すフローチャートの開始時において、内部パラメータ記憶部１００には、図２（ａ）に示す情報が記憶されているものとする。
【００２４】
図５において、歪曲画像取得部１５０は、歪曲画像をカメラユニットから取得する（ステップＳ１００）。歪曲画像取得部１５０は、取得した歪曲画像を内部パラメータ選択部１７０に供給する。
【００２５】
内部パラメータ選択部１７０は、内部パラメータ記憶部１００に記憶されている全８組の内部パラメータおよび放射線情報を放射線ＩＤに対応付けて読み出す（ステップＳ１１０）。続いて、内部パラメータ選択部１７０は、歪曲画像上の補正対象の画素位置を決定する（ステップＳ１３０）。例えば、内部パラメータ選択部１７０は、まずは、歪曲画像上の左上角を補正対象である画素位置として決定する。
【００２６】
内部パラメータ選択部１７０は、ステップＳ１１０にて読み出した全８組の内部パラメータのなかから、ステップＳ１３０にて決定した補正対象である画素位置の補正に適用する１組の内部パラメータを選択する（ステップＳ１５０）。具体的には、内部パラメータ選択部１７０は、補正対象の画素位置までの距離が１番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータを選択する。
【００２７】
例えば、図６（ａ）に示す歪曲画像上の画素位置ｐが補正対象である場合、内部パラメータ選択部１７０は、画素位置ｐまでの距離が１番目に短い放射線Ｈ７を識別する放射線識別情報「Ｈ０７」に対応付けられた１組の内部パラメータを選択する。内部パラメータ選択部１７０は、ステップＳ１３０にて決定した補正対象の画素位置、および、ステップＳ１５０にて選択した１組の内部パラメータを歪曲補正画像生成部１９０に供給する。
【００２８】
歪曲補正画像生成部１９０は、補正対象の画素位置、および、補正対象である画素位置の補正に適用する１組の内部パラメータを内部パラメータ選択部１７０から取得する。歪曲補正画像生成部１９０は、当該１組の内部パラメータに基づいて補正対象の画素位置の画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する（ステップＳ１７０）。
【００２９】
例えば、歪曲補正画像生成部１９０は、補正対象の画素位置として図６（ａ）に示す歪曲画像上の画素位置ｐ、および、画素位置ｐの補正に適用する１組の内部パラメータ（第１係数ｋ７１、第２係数ｋ７２・・・第５係数ｋ７５の組）を内部パラメータ選択部１７０から取得した場合、まず、図４（ｇ）に示す高次式に、当該１組の内部パラメータおよび入射角Θを代入し、歪曲補正画像上の画素位置の像高ｒ７を算出する。なお、入射角Θは画素位置ｐの座標（ｘ，ｙ）から取得（算出）する。
【００３０】
そして、歪曲補正画像生成部１９０は、図６（ａ）に示す歪曲画像上の画素位置ｐの画素値を図６（ｂ）に示す歪曲補正画像上の画素位置ｑ（座標（ｘ’，ｙ’））の画素値とすることにより、図６（ａ）に示す歪曲画像から図６（ｂ）に示す歪曲補正画像を生成する。なお、座標（ｘ’，ｙ’）は座標（ｒ7，Φ）から取得（算出）する。角度Φは座標（ｘ，ｙ）から取得（算出）する。
【００３１】
次に、内部パラメータ選択部１７０は、歪曲画像上の全ての画素位置について補正対象の画素位置として決定したか否かを判断する（ステップＳ１８０）。歪曲画像上の全ての画素位置について補正対象の画素位置として決定していないと内部パラメータ選択部１７０にて判断した場合（ステップＳ１８０：Ｎｏ）、内部パラメータ選択部１７０は、歪曲画像上の次の補正対象の画素位置を決定し（ステップＳ１９０）、ステップＳ１５０に戻る。一方、歪曲画像上の全ての画素位置について補正対象の画素位置として決定したと内部パラメータ選択部１７０にて判断した場合（ステップＳ１８０：Ｙｅｓ）、本フローチャートは終了する。
【００３２】
なお、内部パラメータ記憶部１００に図２（ｂ）に示す情報が記憶されている場合には、ステップＳ１５０において、内部パラメータ選択部１７０は、補正対象の画素位置を含む分割領域を識別する領域ＩＤに対応付けられた内部パラメータを選択する。
【００３３】
例えば、図７（ａ）に示す歪曲画像上の画素位置ｐが補正対象である場合、内部パラメータ選択部１７０は、画素位置ｐを含む分割領域Ｒ７を識別する領域ＩＤ「Ｒ０７」に対応付けられた１組の内部パラメータを選択する。なお、歪曲補正画像生成部１９０は、図７（ａ）に示す歪曲画像から図７（ｂ）に示す歪曲補正画像を生成する。
【００３４】
次に、本発明の第２の実施形態を図面に基づいて説明する。図８は、本発明の第２の実施形態である歪曲補正画像生成ユニット２０の構成例を示す図である。歪曲補正画像生成ユニット２０は、図８に示すように、内部パラメータ記憶部１００、出力領域情報記憶部１１０、歪曲画像取得部１５０、内部パラメータ選択部１７２および歪曲補正画像生成部１９０を備える。なお、内部パラメータ記憶部１００、歪曲画像取得部１５０および歪曲補正画像生成部１９０の各機能は、図１に示す歪曲補正画像生成ユニット１０における同一符号の各ブロックの機能と同一であるので説明を省略する。
【００３５】
出力領域情報記憶部１１０は、歪曲画像上の領域のうち外部へ出力すべき出力領域を示す出力領域情報を記憶する。出力領域は、歪曲画像上の全領域のうち後工程に係る他ユニットにて実際に必要となる領域である。例えば、出力領域は、他ユニットである記憶ユニットにて記憶される領域、他ユニットである他の画像処理ユニットにて画像処理される領域、他ユニットである表示ユニットにて表示される領域などである。また、出力領域情報は、座標情報などである。
【００３６】
内部パラメータ選択部１７２は、歪曲画像を歪曲画像取得部１５０から取得する。内部パラメータ選択部１７２は、出力領域情報記憶部１１０に記憶されている出力領域情報を参照し、出力領域情報により示される歪曲画像上の出力領域内の画素位置を補正対象である画素位置として決定する。内部パラメータ選択部１７２は、決定した補正対象の画素位置の画像主点ｏからの方向に基づいて、内部パラメータ記憶部１００に記憶されている計８組の内部パラメータのなかから補正対象である画素位置の補正に適用する１組の内部パラメータを選択する。
【００３７】
以下、歪曲補正画像生成ユニット２０の動作について説明する。図９は、図８に示す歪曲補正画像生成ユニット２０の動作の一例を示すフローチャートである。図１０は、画素位置と適用する内部パラメータとの関係を模式的に示す図である。なお、ステップＳ２００、ステップＳ２１０、ステップＳ２５０およびステップＳ２７０の動作は、図５に示すステップＳ１００、ステップＳ１１０、ステップＳ１５０およびステップＳ１７０の動作と同一であるので説明を省略する。
【００３８】
ステップＳ２１０に続いて、内部パラメータ選択部１７２は、出力領域情報記憶部１１０に記憶されている出力領域情報を読み出す（ステップＳ２２２）。続いて、内部パラメータ選択部１７２は、出力領域情報により示される出力領域内の画素位置を補正対象である画素位置として決定する（ステップＳ２３２）。例えば、内部パラメータ選択部１７０は、まずは、出力領域内の左上角を補正対象である画素位置として決定する。
【００３９】
ステップＳ２７０に続いて、内部パラメータ選択部１７２は、出力領域内の全ての画素位置について補正対象の画素位置として決定したか否かを判断する（ステップＳ２８２）。出力領域内の全ての画素位置について補正対象の画素位置として決定していないと内部パラメータ選択部１７２にて判断した場合（ステップＳ２８２：Ｎｏ）、内部パラメータ選択部１７２は、出力領域内の次の補正対象の画素位置を決定し（ステップＳ２９２）、ステップＳ２５０に戻る。一方、出力領域内の全ての画素位置について補正対象の画素位置として決定したと内部パラメータ選択部１７２にて判断した場合（ステップＳ２８２：Ｙｅｓ）、本フローチャートは終了する。
【００４０】
なお、図１０（ａ）に示す出力領域内の画素位置ｐが補正対象である場合、ステップＳ２７０において、歪曲補正画像生成部１９０は、図１０（ａ）に示す歪曲画像上の出力領域内の画素位置ｐの画素値を図１０（ｂ）に示す歪曲補正画像上の画素位置ｑの画素値とすることにより、図１０（ａ）に示す歪曲画像から図１１（ｂ）に示す歪曲補正画像を生成する。
【００４１】
次に、本発明の第３の実施形態を図面に基づいて説明する。図１１は、本発明の第３の実施形態である歪曲補正画像生成ユニット３０の構成例を示す図である。図１２は、画素位置と適用する内部パラメータとの関係を模式的に示す図である。歪曲補正画像生成ユニット３０は、図１１に示すように、内部パラメータ記憶部１００、歪曲画像取得部１５０、内部パラメータ選択部１７４、内部パラメータ算出部１８０および歪曲補正画像生成部１９２を備える。なお、内部パラメータ記憶部１００および歪曲画像取得部１５０の各機能は、図１に示す歪曲補正画像生成ユニット１０における同一符号の各ブロックの機能と同一であるので説明を省略する。内部パラメータ記憶部１００は、図２（ａ）に示す情報を記憶している。
【００４２】
内部パラメータ選択部１７４は、歪曲画像を歪曲画像取得部１５０から取得する。内部パラメータ選択部１７４は、取得した歪曲画像上の補正対象の画素位置を決定する。内部パラメータ選択部１７４は、決定した補正対象の画素位置の画像主点ｏからの方向に基づいて、内部パラメータ記憶部１００に記憶されている計８組の内部パラメータのなかから補正対象である画素位置の補正に適用する２組の内部パラメータを選択する。
【００４３】
具体的には、内部パラメータ選択部１７４は、２組の内部パラメータとして、補正対象の画素位置までの距離が１番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータ（本発明の第１内部パラメータに相当）、および、当該距離が２番目に短い放射線を識別する放射線ＩＤに対応付けられた他の１組の内部パラメータ（本発明の第２内部パラメータに相当）を選択する。
【００４４】
例えば、図１２（ａ）の画素位置ｐが補正対象である場合、内部パラメータ選択部１７４は、画素位置ｐの補正に適用する２組の内部パラメータとして、画素位置ｐまでの距離が１番目に短い放射線Ｈ７を識別する放射線ＩＤ「Ｈ０７」に対応付けられた１組の内部パラメータ、および、画素位置ｐまでの距離が２番目に短い放射線Ｈ６を識別する放射線ＩＤ「Ｈ０６」に対応付けられた１組の内部パラメータを選択する。
【００４５】
内部パラメータ算出部１８０は、内部パラメータ選択部１７４によって選択された２組の内部パラメータを各係数別に加重平均して、新たな１組の内部パラメータを算出する。
【００４６】
例えば、図１２（ａ）の画素位置ｐが補正対象である場合に、内部パラメータ選択部１７４によって、放射線ＩＤ「Ｈ０７」に対応付けられた１組の内部パラメータ（第１係数ｋ７１、第２係数ｋ７２・・・第５係数ｋ７５の組）、および、放射線ＩＤ「Ｈ０６」に対応付けられた１組の内部パラメータ（第１係数ｋ６１、第２係数ｋ６２・・・第５係数ｋ６５の組）が選択されたときは、内部パラメータ算出部１８０は、図１２（ｂ）〜図１２（ｆ）に示すように、両組の内部パラメータを各係数別に加重平均して、新たな１組の内部パラメータ（第１係数ｋ１、第２係数ｋ２・・・第５係数ｋ５の組）を算出する。なお、図１２（ａ）〜図１２（ｆ）において、ｄ１は放射線Ｈ７から画素位置ｐまでの距離、ｄ２は放射線Ｈ６から画素位置ｐまでの距離である。
【００４７】
歪曲補正画像生成部１９２は、内部パラメータ算出部１８０によって算出された新たな１組の内部パラメータに基づいて補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する。
【００４８】
例えば、内部パラメータ算出部１８０によって画素位置ｐの補正に適用する、図１２（ｂ）〜図１２（ｆ）に示す新たな１組の内部パラメータが算出された場合、歪曲補正画像生成部１９２は、図１２（ｇ）に示す高次式に、図１２（ｂ）〜図１２（ｆ）に示す新たな１組の内部パラメータおよび入射角Θを代入し、歪曲補正画像上の画素位置の像高ｒｃａｌを算出することにより、画素位置ｐの画素値を他の画素位置の画素値とする。
【００４９】
以下、歪曲補正画像生成ユニット３０の動作について説明する。図１３は、図１１に示す歪曲補正画像生成ユニット３０の動作の一例を示すフローチャートである。図１４は、画素位置と適用する内部パラメータとの関係を模式的に示す図である。なお、ステップＳ３００、ステップＳ３１０、ステップＳ３３０、ステップＳ３８０およびステップＳ３９０の動作は、図１に示すステップＳ１００、ステップＳ１１０、ステップＳ１３０、ステップＳ１８０およびステップＳ１９０の動作と同一であるので説明を省略する。
【００５０】
ステップＳ３３０に続いて、内部パラメータ選択部１７４は、ステップＳ３１０にて読み出した全８組の内部パラメータのなかから、２組の内部パラメータを選択する（ステップＳ３５２）。具体的には、内部パラメータ選択部１７４は、補正対象の画素位置までの距離が１番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータ、および、当該距離が２番目に短い放射線を識別する放射線ＩＤに対応付けられた他の１組の内部パラメータを選択する。
【００５１】
例えば、図１４（ａ）の画素位置ｐが補正対象である場合、内部パラメータ選択部１７４は、画素位置ｐの補正に適用する２組の内部パラメータとして、画素位置ｐまでの距離が１番目に短い放射線Ｈ７を識別する放射線ＩＤ「Ｈ０７」に対応付けられた１組の内部パラメータ、および、画素位置ｐまでの距離が２番目に短い放射線Ｈ６を識別する放射線ＩＤ「Ｈ０６」に対応付けられた１組の内部パラメータを選択する。
【００５２】
内部パラメータ選択部１７４は、ステップＳ３３０にて決定した補正対象の画素位置、および、ステップＳ３５２にて選択した２組の内部パラメータを内部パラメータ算出部１８０に供給する。内部パラメータ算出部１８０は、補正対象の画素位置および２組の内部パラメータを内部パラメータ選択部１７４から取得する。内部パラメータ算出部１８０は、２組の内部パラメータを各係数別に加重平均して、新たな１組の内部パラメータを算出する（ステップＳ３６０）。
【００５３】
例えば、図１４（ａ）の画素位置ｐが補正対象である場合に、内部パラメータ選択部１７４によって、放射線ＩＤ「Ｈ０７」に対応付けられた１組の内部パラメータ（第１係数ｋ７１」、第２係数ｋ７２・・・第５係数ｋ７５の組）、および、放射線ＩＤ「Ｈ０６」に対応付けられた１組の内部パラメータ（第１係数ｋ６１、第２係数ｋ６２・・・第５係数ｋ６５の組）が選択されたときは、内部パラメータ算出部１８０は、図１２（ｂ）〜図１２（ｆ）に示すように、両組の内部パラメータを各係数別に加重平均して、新たな１組の内部パラメータ（第１係数ｋ１、第２係数ｋ２・・・第５係数ｋ５の組）を算出する。
【００５４】
内部パラメータ算出部１８０は、補正対象の画素位置、および、算出した新たな１組の内部パラメータを歪曲補正画像生成部１９２に供給する。歪曲補正画像生成部１９２は、補正対象の画素位置および新たな１組の内部パラメータを内部パラメータ算出部１８０から取得する。歪曲補正画像生成部１９２は、新たな１組の内部パラメータに基づいて補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する（ステップＳ３７２）。
【００５５】
例えば、図１４（ａ）に示す画素位置ｐが補正対象である場合、内部パラメータ算出部１８０によって画素位置ｐの補正に適用する、図１２（ｂ）〜図１２（ｆ）に示す新たな１組の内部パラメータが算出されたときは、歪曲補正画像生成部１９２は、図１２（ｇ）に示す高次式に、図１２（ｂ）〜図１２（ｆ）に示す新たな１組の内部パラメータおよび入射角Θを代入し、歪曲補正画像上の画素位置の像高ｒｃａｌを算出する。この演算によって、画素位置ｐの画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する。
【００５６】
次に、本発明の第４の実施形態を図面に基づいて説明する。図１５は、本発明の第４の実施形態である歪曲補正画像生成ユニット４０の構成例を示す図である。歪曲補正画像生成ユニット４０は、図１５に示すように、内部パラメータ記憶部１００、歪曲画像取得部１５０、像高判断部１６０、内部パラメータ選択部１７６、内部パラメータ算出部１８０および歪曲補正画像生成部１９４を備える。なお、内部パラメータ記憶部１００、歪曲画像取得部１５０および内部パラメータ算出部１８０の各機能は、図１１に示す歪曲補正画像生成ユニット３０における同一符号の各ブロックの機能と同一であるので説明を省略する。
【００５７】
像高判断部１６０は、内部パラメータ選択部１７６によって決定された歪曲画像上の補正対象の画素位置から歪曲画像上の画像主点までの距離である像高が所定の値未満であるか否かを判断する。像高判断部１６０は、像高が所定の値未満であるか否かの判断結果を内部パラメータ選択部１７６に供給する。
【００５８】
内部パラメータ選択部１７６は、歪曲画像を歪曲画像取得部１５０から取得する。内部パラメータ選択部１７６は、取得した歪曲画像上の補正対象の画素位置を決定する。内部パラメータ選択部１７６は、決定した補正対象の画素位置を像高判断部１６０に供給する。内部パラメータ選択部１７６は、像高判断部１６０から像高が所定の値未満である旨の判断結果を取得した場合、補正対象である画素位置の補正に適用する内部パラメータとして、補正対象の画素位置までの距離が１番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータを選択する。
【００５９】
一方、内部パラメータ選択部１７６は、上記像高が所定の値以上である旨の判断結果を像高判断部１６０から取得した場合には、補正対象の画素位置までの距離が１番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータ、および、補正対象の画素位置までの距離が２番目に短い放射線を識別する放射線ＩＤに対応付けられた１組の内部パラメータを選択する。
【００６０】
歪曲補正画像生成部１９４は、内部パラメータ選択部１７６によって１組の内部パラメータが選択された場合には、内部パラメータ選択部１７６によって選択された１組の内部パラメータに基づいて補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する。
【００６１】
歪曲補正画像生成部１９４は、内部パラメータ選択部１７６によって２組の内部パラメータが選択された場合には、内部パラメータ算出部１８０によって算出された１組の新たな内部パラメータに基づいて補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、歪曲画像から歪曲補正画像を生成する。
【００６２】
以下、歪曲補正画像生成ユニット４０の動作について説明する。図１６は、図１５に示す歪曲補正画像生成ユニット４０の動作の一例を示すフローチャートである。図１７は、画素位置と適用する内部パラメータとの関係を模式的に示す図である。なお、ステップＳ４００、ステップＳ４１０、ステップＳ４３０、ステップＳ４５０、ステップＳ４７０、ステップＳ４８０およびステップＳ４９０の動作は、図５に示すステップＳ１００、ステップＳ１１０、ステップＳ１３０、ステップＳ１５０、ステップＳ１７０、ステップＳ１８０およびステップＳ１９０の動作と同一であるので説明を省略する。また、ステップＳ４５２、ステップＳ４６０およびステップＳ４７２の動作は、図１３に示すステップＳ３５２、ステップＳ３６０およびステップＳ３７２の動作と同一であるので説明を省略する。
【００６３】
ステップ４３０に続いて、内部パラメータ選択部１７６は、決定した補正対象の画素位置を像高判断部１６０に供給する。像高判断部１６０は、内部パラメータ選択部１７６によって決定された歪曲画像上の補正対象の画素位置から歪曲画像上の画像主点までの距離である像高が所定の値未満であるか否かを判断する（ステップＳ４４０）。像高が所定の値未満であると像高判断部１６０にて判断した場合（ステップＳ４４０：Ｙｅｓ）、内部パラメータ選択部１７６はステップＳ４５０を実行する。一方、像高が所定の値未満でないと像高判断部１６０にて判断した場合（ステップＳ４４０：Ｎｏ）、内部パラメータ選択部１７６はステップＳ４５２を実行する。
【００６４】
例えば、図１７（ａ）に示す歪曲画像上の画素位置ｐ１が補正対象である場合、像高が所定の値「ｒ（Θ）」未満であると像高判断部１６０にて判断され（ステップＳ４４０：Ｙｅｓ）、ステップＳ４５０において内部パラメータ選択部１７６は１組の内部パラメータ（第１係数ｋ２１、第２係数ｋ２２・・・第５係数ｋ２５の組）を選択する。一方、図１７（ａ）に示す歪曲画像上の画素位置ｐ２が補正対象である場合、像高が所定の値「ｒ（Θ）」未満でないと像高判断部１６０にて判断され（ステップＳ４４０：Ｎｏ）、ステップＳ４５２において内部パラメータ選択部１７６は２組の内部パラメータ（第１係数ｋ７１、第２係数ｋ７２・・・第５係数ｋ７５の組、および、第１係数ｋ６１、第２係数ｋ６２・・・第５係数ｋ６５の組）を選択する。
【００６５】
なお、図１７（ａ）に示す画素位置ｐ１が補正対象である場合、ステップＳ４７０において、歪曲補正画像生成部１９４は、図１７（ａ）に示す歪曲画像上の画素位置ｐ１の画素値を図１７（ｂ）に示す歪曲補正画像上の画素位置ｑ1の画素値とすることにより、図１７（ａ）に示す歪曲画像から図１７（ｂ）に示す歪曲補正画像を生成する。また、図１７（ａ）に示す画素位置ｐ２が補正対象である場合、ステップＳ４７０において、歪曲補正画像生成部１９４は、図１７（ａ）に示す歪曲画像上の画素位置ｐ２の画素値を図１７（ｂ）に示す歪曲補正画像上の画素位置ｑ２の画素値とすることにより、図１７（ａ）に示す歪曲画像から図１７（ｂ）に示す歪曲補正画像を生成する。
【００６６】
次に、本発明の第５の実施形態を図面に基づいて説明する。図１８は、本発明の第５の実施形態である歪曲補正画像生成ユニット５０の構成例を示す図である。図１９は、選択可否情報記憶部１２０および補正レベル記憶部１３０に記憶される情報の一例を示す図である。歪曲補正画像生成ユニット５０は、図１８に示すように、内部パラメータ記憶部１００、選択可否情報記憶部１２０、補正レベル記憶部１３０、補正レベル受付部１４０、歪曲画像取得部１５０、内部パラメータ選択部１７８および歪曲補正画像生成部１９０を備える。なお、内部パラメータ記憶部１００、歪曲画像取得部１５０および歪曲補正画像生成部１９０の各機能は、図１に示す歪曲補正画像生成ユニット１０における同一符号の各ブロックの機能と同一であるので説明を省略する。
【００６７】
選択可否情報記憶部１２０は、歪曲画像の歪曲を補正する補正レベルと当該補正レベルにおいて歪曲の補正に選択可能な内部パラメータとの関係を示す選択可否情報を記憶する。例えば、内部パラメータ記憶部１００が図２（ａ）のように放射線ＩＤに対応付けて計８組の内部パラメータを記憶している場合には、選択可否情報記憶部１２０は、図１９（ａ）に示すように、補正レベル別、放射線ＩＤ別の選択可／選択不可を示す選択可否情報を記憶する。
【００６８】
図１９（ａ）に示す選択可否情報は、歪曲の補正の正確性が比較的低い補正レベル（以下、「低補正レベル」という）では、放射線ＩＤ「Ｈ０２」「Ｈ０４」「Ｈ０６」「Ｈ０８」に対応付けて内部パラメータ記憶部１００に記憶された４組の内部パラメータが選択可能である旨を示す。また、歪曲の補正の正確性が比較的高い補正レベル（以下、「高補正レベル」という）では、放射線ＩＤ「Ｈ０１」「Ｈ０２」・・・「Ｈ０８」に対応付けて内部パラメータ記憶部１００に記憶された全８組の内部パラメータが選択可能である旨を示す。
【００６９】
また、内部パラメータ記憶部１００が図２（ｂ）のように領域ＩＤに対応付けて計８組の内部パラメータを記憶している場合には、選択可否情報記憶部１２０は、図１９（ｂ）に示すように、補正レベル別、領域ＩＤ別の選択可／選択不可を示す選択可否情報を記憶する。
【００７０】
図１９（ｂ）に示す選択可否情報は、低補正レベルでは、領域ＩＤ「Ｒ０１」「Ｒ０３」「Ｒ０５」「Ｒ０７」に対応付けて内部パラメータ記憶部１００に記憶された４組の内部パラメータが選択可能である旨を示す。また、歪曲の補正の正確性が比較的高い補正レベル（以下、「高補正レベル」という）では、領域ＩＤ「Ｒ０１」「Ｒ０２」・・・「Ｒ０８」に対応付けて内部パラメータ記憶部１００に記憶された全８組の内部パラメータが選択可能である旨を示す。
【００７１】
また、図１９（ｂ）に示す選択可否情報は、低補正レベルにおいて選択可能でない内部パラメータに代えて、当該選択可能でない内部パラメータに対応付けられた領域ＩＤにより識別される分割領域に隣接する他の分割領域を識別する他の領域ＩＤに対応付けられた他の内部パラメータが選択可能される旨を示す。例えば、領域ＩＤ「Ｒ０２」に対応付けられた内部パラメータに代えて、領域ＩＤ「Ｒ０２」により識別される分割領域Ｒ２に隣接する分割領域Ｒ３を識別する他の領域ＩＤ「Ｒ０３」に対応付けられた他の内部パラメータが選択可能される旨を示す。
【００７２】
補正レベル受付部１４０は、補正レベルの指定を外部（例えば、利用者から補正レベルの指定を受け付ける受付ユニット）から受け付ける。具体的には、補正レベル受付部１４０は、選択可否情報記憶部１２０に記憶されている選択可否情報において選択可能な内部パラメータとの関係を示された複数の補正レベルのうちの一の補正レベルを外部から受け付ける。補正レベル受付部１４０は、外部から受け付けた補正レベルを補正レベル記憶部１３０に記憶する。例えば、補正レベル受付部１４０は、外部から低補正レベルを受け付けたときは、図１９（ｃ）に示すように、補正レベル記憶部１３０に低補正レベルを示す情報「低補正レベル（１）」を記憶する。
【００７３】
内部パラメータ選択部１７８は、補正レベル記憶部１３０に記憶されている補正レベルおよび選択可否情報記憶部１２０に記憶されている選択可否情報を参照し、補正レベル記憶部１３０に記憶されている補正レベルにおいて歪曲の補正に選択可能な内部パラメータのなかから、補正対象である画素位置の補正に適用する内部パラメータを選択する。
【００７４】
以下、歪曲補正画像生成ユニット５０の動作について説明する。図２０は、図１８に示す歪曲補正画像生成ユニット５０の動作の一例を示すフローチャートである。図２１および図２２は、画素位置と適用する内部パラメータとの関係を模式的に示す図である。なお、ステップＳ５００、ステップＳ５３０、ステップＳ５５０、ステップＳ５７０、ステップＳ５８０およびステップＳ５９０の動作は、図５に示すステップＳ１００、ステップＳ１３０、ステップＳ１５０、ステップＳ１７０、ステップＳ１８０およびステップＳ１９０の動作と同一であるので説明を省略する。
【００７５】
ステップＳ５００に続いて、内部パラメータ選択部１７８は、補正レベル記憶部１３０に記憶されている補正レベルを読み出す（ステップＳ５０５）。続いて、内部パラメータ選択部１７８は、内部パラメータ記憶部１００に記憶されている計８組の内部パラメータのなかから、ステップＳ５０５において読み出した補正レベルにおいて選択可能な内部パラメータを放射線ＩＤに対応付けて読み出す（ステップＳ５１２）。また、内部パラメータ選択部１７８は、必要な放射線情報（または分割領域情報）を読み出す。
【００７６】
例えば、内部パラメータ記憶部１００に図２（ａ）に示す情報、選択可否情報記憶部１２０に図１９（ａ）に示す情報、補正レベル記憶部１３０に高レベル補正を示す情報が記憶されている場合、内部パラメータ選択部１７８は、放射線ＩＤ「Ｈ０１」「Ｈ０２」・・・「Ｈ０８」に対応付けて全８組の内部パラメータを内部パラメータ記憶部１００から読み出すとともに、放射線ＩＤ「Ｈ０１」「Ｈ０２」・・・「Ｈ０８」に対応付けて全８組の放射線情報を内部パラメータ記憶部１００から読み出す。
【００７７】
なお、図２１（ａ）に示す歪曲画像上の画素位置ｐが補正対象である場合に、内部パラメータ選択部１７８が放射線ＩＤ「Ｈ０１」「Ｈ０２」・・・「Ｈ０８」に対応付けて全８組の内部パラメータを読み出したときは、ステップＳ５５０において、内部パラメータ選択部１７８は、図２１（ｂ）に示すように、画素位置ｐまでの距離が１番目に短い放射線Ｈ７を識別する放射線識別情報「Ｈ０７」に対応付けられた１組の内部パラメータを選択する。続くステップＳ５７０において、歪曲補正画像生成部１９０は、図２１（ａ）（ｂ）に示す歪曲画像上の画素位置ｐの画素値を図２１（ｃ）に示す歪曲補正画像上の画素位置ｑ１の画素値とすることにより、図２１（ａ）（ｂ）に示す歪曲画像から図２１（ｃ）に示す歪曲補正画像を生成する。
【００７８】
また、内部パラメータ記憶部１００に図２（ａ）に示す情報、選択可否情報記憶部１２０に図１９（ａ）に示す情報、補正レベル記憶部１３０に低レベル補正を示す情報が記憶されている場合、内部パラメータ選択部１７８は、放射線ＩＤ「Ｈ０２」「Ｈ０４」「Ｈ０６」「Ｈ０８」に対応付けて４組の内部パラメータを内部パラメータ記憶部１００から読み出すとともに、放射線ＩＤ「Ｈ０２」「Ｈ０４」「Ｈ０６」「Ｈ０８」に対応付けて４組の放射線情報を内部パラメータ記憶部１００から読み出す。
【００７９】
なお、図２１（ａ）に示す歪曲画像上の画素位置ｐが補正対象である場合に、内部パラメータ選択部１７８が放射線ＩＤ「Ｈ０２」「Ｈ０４」「Ｈ０６」「Ｈ０８」に対応付けて４組の内部パラメータを読み出したときは、ステップＳ５５０において、内部パラメータ選択部１７８は、図２１（ｄ）に示すように、画素位置ｐまでの距離が１番目に短い放射線Ｈ６を識別する放射線識別情報「Ｈ０６」に対応付けられた１組の内部パラメータを選択する。続くステップＳ５７０において、歪曲補正画像生成部１９０は、図２１（ａ）（ｄ）に示す歪曲画像上の画素位置ｐの画素値を図２１（ｅ）に示す歪曲補正画像上の画素位置ｑ２の画素値とすることにより、図２１（ａ）（ｄ）に示す歪曲画像から図２１（ｅ）に示す歪曲補正画像を生成する。
【００８０】
また、内部パラメータ記憶部１００に図２（ｂ）に示す情報、選択可否情報記憶部１２０に図１９（ｂ）に示す情報、補正レベル記憶部１３０に高レベル補正を示す情報が記憶されている場合、内部パラメータ選択部１７８は、領域ＩＤ「Ｒ０１」「Ｒ０２」・・・「Ｒ０８」に対応付けて全８組の内部パラメータを内部パラメータ記憶部１００から読み出すとともに、領域ＩＤ「Ｒ０１」「Ｒ０２」・・・「Ｒ０８」に対応付けて全８組の分割領域情報を内部パラメータ記憶部１００から読み出す。
【００８１】
なお、図２２（ａ）に示す歪曲画像上の画素位置ｐが補正対象である場合に、内部パラメータ選択部１７８が領域ＩＤ「Ｒ０１」「Ｒ０２」・・・「Ｒ０８」に対応付けて全８組の内部パラメータを読み出したときは、ステップＳ５５０において、内部パラメータ選択部１７８は、まず、図１９（ｂ）に示す情報を参照し、画素位置ｐを含む図２２（ｂ）に示す分割領域Ｒ４を識別する領域ＩＤ「Ｒ０４」が高レベル補正において選択可能であるか否かを判断する。そして、内部パラメータ選択部１７８は、領域ＩＤ「Ｒ０４」が高レベル補正において選択可能であると判断し、分割領域Ｒ４を識別する領域ＩＤ「Ｒ０４」に対応付けられた１組の内部パラメータを選択する。続くステップＳ５７０において、歪曲補正画像生成部１９０は、図２２（ａ）（ｂ）に示す歪曲画像上の画素位置ｐの画素値を図２２（ｃ）に示す歪曲補正画像上の画素位置ｑ１の画素値とすることにより、図２２（ａ）（ｂ）に示す歪曲画像から図２２（ｃ）に示す歪曲補正画像を生成する。
【００８２】
また、内部パラメータ記憶部１００に図２（ｂ）に示す情報、選択可否情報記憶部１２０に図１９（ｂ）に示す情報、補正レベル記憶部１３０に低レベル補正を示す情報が記憶されている場合、内部パラメータ選択部１７８は、領域ＩＤ「Ｒ０１」「Ｒ０３」「Ｒ０５」「Ｒ０７」に対応付けて４組の内部パラメータを内部パラメータ記憶部１００から読み出すとともに、領域ＩＤ「Ｒ０１」「Ｒ０２」・・・「Ｒ０８」に対応付けて全８組の分割領域情報を内部パラメータ記憶部１００から読み出す。
【００８３】
なお、図２２（ａ）に示す歪曲画像上の画素位置ｐが補正対象である場合に、内部パラメータ選択部１７８が領域ＩＤ「Ｒ０１」「Ｒ０３」「Ｒ０５」「Ｒ０７」に対応付けて４組の内部パラメータを読み出したときは、ステップＳ５５０において、内部パラメータ選択部１７８は、まず、図１９（ｂ）に示す情報を参照し、画素位置ｐを含む図２２（ｂ）に示す分割領域Ｒ４を識別する領域ＩＤ「Ｒ０４」が低レベル補正において選択可能であるか否かを判断する。そして、内部パラメータ選択部１７８は、領域ＩＤ「Ｒ０４」が低レベル補正において選択不可であると判断し、領域ＩＤ「Ｒ０４」に代えて領域ＩＤ「Ｒ０５」に対応付けられた１組の内部パラメータを選択する。続くステップＳ５７０において、歪曲補正画像生成部１９０は、図２２（ａ）（ｄ）に示す歪曲画像上の画素位置ｐの画素値を図２２（ｅ）に示す歪曲補正画像上の画素位置ｑ２の画素値とすることにより、図２２（ａ）（ｄ）に示す歪曲画像から図２２（ｅ）に示す歪曲補正画像を生成する。
【００８４】
以上、歪曲補正画像生成ユニット１０、２０、３０、４０、５０によれば、補正対象である画素位置の画像主点からの方向に基づいて、予め記憶している複数の内部パラメータのなかから、補正対象である画素位置の補正に適用する内部パラメータ、つまり、画像主点からの方向に応じて異なる大きさで生じる誤差を吸収することができる内部パラメータが選択され、選択された内部パラメータに基づいて歪曲画像の歪曲が補正される。これにより、製造上の交差によってレンズ面と撮像素子面とが完全に平行とならなくても、歪曲画像の歪曲をより正確に補正することができる。
【００８５】
更に、歪曲補正画像生成ユニット２０によれば、歪曲画像上の全ての画素位置ではなく出力領域内の画素位置に限定して歪曲を補正するため、歪曲画像上の全領域のうち後工程に係る他ユニットにて実際に必要となる領域について、歪曲をより正確かつより高速に補正することができる。
【００８６】
更に、歪曲補正画像生成ユニット３０によれば、内部パラメータ記憶部１００に記憶している２組の内部パラメータを補正対象の画素位置に応じて組み合わせて加重平均した新たな内部パラメータ、つまり、補正対象の個々の画素位置に応じた最適な内部パラメータにより歪曲を補正するため、内部パラメータ記憶部１００に記憶している１組の内部パラメータにより補正をする場合に比べ、より一層正確に補正することができる。
【００８７】
更に、歪曲補正画像生成ユニット４０によれば、新たな内部パラメータにより時間を掛けて正確に歪曲を補正する範囲を周縁部に限定することができるため、新たな内部パラメータにより歪曲画像全体の歪曲の補正をする場合に比べ時間を短縮しつつ、内部パラメータ記憶部１００に記憶している１組の内部パラメータにより補正をする場合に比べ、歪曲が生じ易い周縁部をより一層正確に補正することができる。
【００８８】
更に、歪曲補正画像生成ユニット５０によれば、補正レベルに応じて選択対象の内部パラメータの数が変わるため、歪曲画像の歪曲の正確性と歪曲の補正に要する時間との関係において、歪曲画像の歪曲の正確性を優先する場合には、選択対象の内部パラメータの数を多くしてより正確に補正し、歪曲の補正に要する時間の削減を優先する場合には、選択対象の内部パラメータの数を少なくしてより高速に補正することができる。
【００８９】
また、歪曲補正画像生成ユニット１０、２０、３０、４０、５０において、内部パラメータ記憶部１００は、全８組の内部パラメータを記憶しているが、組数はこれに限定されない。つまり、内部パラメータ記憶部１００は、全２組から全７組、または、全９組以上の内部パラメータを記憶してもよい。
【００９０】
また、歪曲補正画像生成ユニット１０、２０、３０、４０、５０において、内部パラメータ記憶部１００は、第１係数（入射角Θの１次元の係数）、第２係数（入射角Θの２次元の係数）、第３係数（入射角Θの３次元の係数）、第４係数（入射角Θの４次元の係数）および第５係数（入射角Θの５次元の係数）の５個の係数を１組とする内部パラメータを記憶しているが、係数の数、および、各係数の対応する入射角Θの次元はこれに限定されない。例えば、内部パラメータ記憶部１００は、第１係数（入射角Θの１次元の係数）、第２係数（入射角Θの３次元の係数）および第３係数（入射角Θの５次元の係数）の３個の係数を１組とする内部パラメータを記憶してもよい。
【００９１】
また、歪曲補正画像生成ユニット５０において、選択可否情報記憶部１２０は、２段階の補正レベル（低補正レベル／高補正レベル）と２段階の補正レベルの各段階において歪曲の補正に選択可能な内部パラメータとの関係を示す選択可否情報を記憶しているが、段階数はこれに限定されない。つまり、選択可否情報記憶部１２０は、３段階以上の補正レベルと３段階の補正レベルの各段階において歪曲の補正に選択可能な内部パラメータとの関係を示す選択可否情報を記憶してもよい。
【００９２】
その他、上記第１〜第５の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００９３】
【図１】本発明の第１の実施形態である歪曲補正画像生成ユニット１０の構成例を示す図である。
【図２】第１〜第５の実施形態による内部パラメータ記憶部に記憶された内部パラメータの一例を示す図である。
【図３】第１〜第５の実施形態による内部パラメータ記憶部に記憶された内部パラメータを説明する図である。
【図４】第１〜第５の実施形態による内部パラメータ記憶部に記憶された内部パラメータを説明する図である。
【図５】図１に示す歪曲補正画像生成ユニットの動作の一例を示すフローチャートである。
【図６】第１の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図７】第１の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図８】本発明の第２の実施形態である歪曲補正画像生成ユニットの構成例を示す図である。
【図９】図８に示す歪曲補正画像生成ユニットの動作の一例を示すフローチャートである。
【図１０】第２の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図１１】本発明の第３の実施形態である歪曲補正画像生成ユニットの構成例を示す図である。
【図１２】第３の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図１３】図１１に示す歪曲補正画像生成ユニットの動作の一例を示すフローチャートである。
【図１４】第３の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図１５】本発明の第４の実施形態である歪曲補正画像生成ユニットの構成例を示す図である。
【図１６】図１５に示す歪曲補正画像生成ユニットの動作の一例を示すフローチャートである。
【図１７】第４の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図１８】本発明の第５の実施形態である歪曲補正画像生成ユニットの構成例を示す図である。
【図１９】第５の実施形態による選択可否情報記憶部および補正レベル記憶部に記憶される情報の一例を示す図である。
【図２０】図１８に示す歪曲補正画像生成ユニットの動作の一例を示すフローチャートである。
【図２１】第５の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図２２】第５の実施形態による画素位置と適用する内部パラメータとの関係を模式的に示す図である。
【図２３】従来の歪曲補正を説明する模式図である。
【符号の説明】
【００９４】
１０ 歪曲補正画像生成ユニット
２０ 歪曲補正画像生成ユニット
３０ 歪曲補正画像生成ユニット
４０ 歪曲補正画像生成ユニット
５０ 歪曲補正画像生成ユニット
１００ 内部パラメータ記憶部
１１０ 出力領域情報記憶部
１２０ 選択可否情報記憶部
１３０ 補正レベル記憶部
１４０ 補正レベル受付部
１５０ 歪曲画像取得部
１６０ 像高判断部
１７０ 内部パラメータ選択部
１７２ 内部パラメータ選択部
１７４ 内部パラメータ選択部
１７６ 内部パラメータ選択部
１７８ 内部パラメータ選択部
１８０ 内部パラメータ算出部
１９０ 歪曲補正画像生成部
１９２ 歪曲補正画像生成部
【特許請求の範囲】
【請求項１】
魚眼レンズを用いて撮像された歪曲画像から上記歪曲画像の歪曲を補正した歪曲補正画像を生成する歪曲補正画像生成ユニットであって、
上記歪曲画像を取得する歪曲画像取得部と、
上記歪曲画像の画像主点からの方向毎に、上記魚眼レンズに係る内部パラメータであって各方向の画素位置の補正に適用する複数の内部パラメータを記憶する内部パラメータ記憶部と、
上記歪曲画像取得部によって取得された上記歪曲画像上の補正対象である画素位置の上記画像主点からの方向に基づいて、上記内部パラメータ記憶部に記憶されている上記複数の内部パラメータのなかから上記補正対象である画素位置の補正に適用する上記内部パラメータを選択する内部パラメータ選択部と、
上記内部パラメータ選択部によって選択された上記内部パラメータに基づいて上記補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、上記歪曲画像から上記歪曲補正画像を生成する歪曲補正画像生成部とを備えることを特徴とする歪曲補正画像生成ユニット。
【請求項２】
上記歪曲画像上の領域のうち外部へ出力すべき出力領域を示す出力領域情報を記憶する出力領域情報記憶部を更に備え、
上記内部パラメータ選択部は、上記出力領域情報記憶部に記憶されている上記出力領域情報を参照し、上記出力領域情報により示される上記出力領域内の画素位置を上記補正対象である画素位置とすることを特徴とする請求項１に記載の歪曲補正画像生成ユニット。
【請求項３】
上記内部パラメータ記憶部は、上記画像主点を中心に上記歪曲画像上の領域を放射状に分割する複数の放射線を識別する放射線識別情報に対応付けて、上記複数の内部パラメータを記憶することを特徴とする請求項１に記載の歪曲補正画像生成ユニット。
【請求項４】
上記内部パラメータ選択部は、上記補正対象である画素位置の補正に適用する上記内部パラメータとして、上記補正対象の画素位置までの距離が１番目に短い上記放射線を識別する上記放射線識別情報に対応付けられた上記内部パラメータを選択することを特徴とする請求項３に記載の歪曲補正画像生成ユニット。
【請求項５】
複数の内部パラメータを加重平均し新たな内部パラメータを算出する内部パラメータ算出部を更に備え、
上記内部パラメータ選択部は、上記補正対象である画素位置の補正に適用する上記内部パラメータとして、上記補正対象の画素位置までの距離が１番目に短い上記放射線を識別する上記放射線識別情報に対応付けられた第１内部パラメータ、および、上記距離が２番目に短い上記放射線を識別する上記放射線識別情報に対応付けられた第２内部パラメータを選択し、
上記内部パラメータ算出部は、上記内部パラメータ選択部によって選択された上記第１内部パラメータおよび上記第２内部パラメータを加重平均して新たな内部パラメータを算出し、
上記歪曲補正画像生成部は、上記内部パラメータ選択部によって選択された上記内部パラメータに代えて上記内部パラメータ算出部によって算出された上記新たな内部パラメータに基づいて、上記歪曲画像から上記歪曲補正画像を生成することを特徴とする請求項３に記載の歪曲補正画像生成ユニット。
【請求項６】
複数の内部パラメータを加重平均し新たな内部パラメータを算出する内部パラメータ算出部と、
上記補正対象の画素位置から上記画像主点までの距離である像高が所定の値未満であるか否かを判断する像高判断部とを更に備え、
上記内部パラメータ選択部は、上記像高判断部によって上記像高が所定の値未満であると判断された場合に、上記補正対象である画素位置の補正に適用する上記内部パラメータとして、上記補正対象の画素位置までの距離が１番目に短い上記放射線を識別する上記放射線識別情報に対応付けられた第１内部パラメータを選択する一方、上記像高が所定の値以上であると判断された場合には、上記第１内部パラメータ、および、上記距離が２番目に短い上記放射線を識別する上記放射線識別情報に対応付けられた第２内部パラメータを選択し、
上記内部パラメータ算出部は、上記第１内部パラメータおよび上記第２内部パラメータが選択された場合に、上記内部パラメータ選択部によって選択された上記第１内部パラメータおよび上記第２内部パラメータを加重平均して新たな内部パラメータを算出し、
上記歪曲補正画像生成部は、上記内部パラメータ算出部によって上記新たな内部パラメータが算出された場合には、上記内部パラメータ選択部によって選択された上記内部パラメータに代えて上記内部パラメータ算出部によって算出された上記新たな内部パラメータに基づいて、上記歪曲画像から上記歪曲補正画像を生成することを特徴とする請求項３に記載の歪曲補正画像生成ユニット。
【請求項７】
上記内部パラメータ記憶部は、上記画像主点を中心に上記歪曲画像上の領域を放射状に分割した複数の分割領域を識別する領域識別情報に対応付けて、上記複数の内部パラメータを記憶することを特徴とする請求項１に記載の歪曲補正画像生成ユニット。
【請求項８】
上記内部パラメータ選択部は、上記補正対象である画素位置の補正に適用する上記内部パラメータとして、上記補正対象の画素位置を含む上記分割領域を識別する上記領域識別情報に対応付けられた上記内部パラメータを選択することを特徴とする請求項７に記載の歪曲補正画像生成ユニット。
【請求項９】
上記歪曲画像の歪曲を補正する補正レベルと上記補正レベルにおいて上記歪曲の補正に選択可能な内部パラメータとの関係を示す選択可否情報を記憶する選択可否情報記憶部と、
上記補正レベルを外部から受け付ける補正レベル受付部と、
上記補正レベル受付部によって受け付けた上記補正レベルを記憶する補正レベル記憶部とを更に備え、
上記内部パラメータ選択部は、上記補正レベル記憶部に記憶された上記補正レベルおよび上記選択可否情報記憶部に記憶された上記選択可否情報を参照し、上記補正レベル記憶部に記憶されている上記補正レベルにおいて上記歪曲の補正に選択可能な上記内部パラメータのなかから上記補正対象である画素位置の補正に適用する上記内部パラメータを選択することを特徴とする請求項１に記載の歪曲補正画像生成ユニット。
【請求項１０】
魚眼レンズを用いて撮像された歪曲画像から上記歪曲画像の歪曲を補正した歪曲補正画像を生成する歪曲補正画像生成方法であって、
上記歪曲画像を取得する歪曲画像取得ステップと、
上記歪曲画像取得ステップによって上記歪曲画像が取得された場合に、上記歪曲画像の画像主点からの方向毎に上記魚眼レンズに係る内部パラメータであって各方向の画素位置の補正に適用する複数の内部パラメータを記憶した内部パラメータ記憶部を参照し、上記歪曲画像上の補正対象である画素位置の上記画像主点からの方向に基づいて、上記内部パラメータ記憶部に記憶されている上記複数の内部パラメータのなかから上記補正対象である画素位置の補正に適用する上記内部パラメータを選択する内部パラメータ選択ステップと、
上記内部パラメータ選択ステップによって上記内部パラメータが選択された場合に、上記内部パラメータ選択ステップによって選択された上記内部パラメータに基づいて上記補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、上記歪曲画像から上記歪曲補正画像を生成する歪曲補正画像生成ステップとを備えることを特徴とする歪曲補正画像生成方法。
【請求項１】
魚眼レンズを用いて撮像された歪曲画像から上記歪曲画像の歪曲を補正した歪曲補正画像を生成する歪曲補正画像生成ユニットであって、
上記歪曲画像を取得する歪曲画像取得部と、
上記歪曲画像の画像主点からの方向毎に、上記魚眼レンズに係る内部パラメータであって各方向の画素位置の補正に適用する複数の内部パラメータを記憶する内部パラメータ記憶部と、
上記歪曲画像取得部によって取得された上記歪曲画像上の補正対象である画素位置の上記画像主点からの方向に基づいて、上記内部パラメータ記憶部に記憶されている上記複数の内部パラメータのなかから上記補正対象である画素位置の補正に適用する上記内部パラメータを選択する内部パラメータ選択部と、
上記内部パラメータ選択部によって選択された上記内部パラメータに基づいて上記補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、上記歪曲画像から上記歪曲補正画像を生成する歪曲補正画像生成部とを備えることを特徴とする歪曲補正画像生成ユニット。
【請求項２】
上記歪曲画像上の領域のうち外部へ出力すべき出力領域を示す出力領域情報を記憶する出力領域情報記憶部を更に備え、
上記内部パラメータ選択部は、上記出力領域情報記憶部に記憶されている上記出力領域情報を参照し、上記出力領域情報により示される上記出力領域内の画素位置を上記補正対象である画素位置とすることを特徴とする請求項１に記載の歪曲補正画像生成ユニット。
【請求項３】
上記内部パラメータ記憶部は、上記画像主点を中心に上記歪曲画像上の領域を放射状に分割する複数の放射線を識別する放射線識別情報に対応付けて、上記複数の内部パラメータを記憶することを特徴とする請求項１に記載の歪曲補正画像生成ユニット。
【請求項４】
上記内部パラメータ選択部は、上記補正対象である画素位置の補正に適用する上記内部パラメータとして、上記補正対象の画素位置までの距離が１番目に短い上記放射線を識別する上記放射線識別情報に対応付けられた上記内部パラメータを選択することを特徴とする請求項３に記載の歪曲補正画像生成ユニット。
【請求項５】
複数の内部パラメータを加重平均し新たな内部パラメータを算出する内部パラメータ算出部を更に備え、
上記内部パラメータ選択部は、上記補正対象である画素位置の補正に適用する上記内部パラメータとして、上記補正対象の画素位置までの距離が１番目に短い上記放射線を識別する上記放射線識別情報に対応付けられた第１内部パラメータ、および、上記距離が２番目に短い上記放射線を識別する上記放射線識別情報に対応付けられた第２内部パラメータを選択し、
上記内部パラメータ算出部は、上記内部パラメータ選択部によって選択された上記第１内部パラメータおよび上記第２内部パラメータを加重平均して新たな内部パラメータを算出し、
上記歪曲補正画像生成部は、上記内部パラメータ選択部によって選択された上記内部パラメータに代えて上記内部パラメータ算出部によって算出された上記新たな内部パラメータに基づいて、上記歪曲画像から上記歪曲補正画像を生成することを特徴とする請求項３に記載の歪曲補正画像生成ユニット。
【請求項６】
複数の内部パラメータを加重平均し新たな内部パラメータを算出する内部パラメータ算出部と、
上記補正対象の画素位置から上記画像主点までの距離である像高が所定の値未満であるか否かを判断する像高判断部とを更に備え、
上記内部パラメータ選択部は、上記像高判断部によって上記像高が所定の値未満であると判断された場合に、上記補正対象である画素位置の補正に適用する上記内部パラメータとして、上記補正対象の画素位置までの距離が１番目に短い上記放射線を識別する上記放射線識別情報に対応付けられた第１内部パラメータを選択する一方、上記像高が所定の値以上であると判断された場合には、上記第１内部パラメータ、および、上記距離が２番目に短い上記放射線を識別する上記放射線識別情報に対応付けられた第２内部パラメータを選択し、
上記内部パラメータ算出部は、上記第１内部パラメータおよび上記第２内部パラメータが選択された場合に、上記内部パラメータ選択部によって選択された上記第１内部パラメータおよび上記第２内部パラメータを加重平均して新たな内部パラメータを算出し、
上記歪曲補正画像生成部は、上記内部パラメータ算出部によって上記新たな内部パラメータが算出された場合には、上記内部パラメータ選択部によって選択された上記内部パラメータに代えて上記内部パラメータ算出部によって算出された上記新たな内部パラメータに基づいて、上記歪曲画像から上記歪曲補正画像を生成することを特徴とする請求項３に記載の歪曲補正画像生成ユニット。
【請求項７】
上記内部パラメータ記憶部は、上記画像主点を中心に上記歪曲画像上の領域を放射状に分割した複数の分割領域を識別する領域識別情報に対応付けて、上記複数の内部パラメータを記憶することを特徴とする請求項１に記載の歪曲補正画像生成ユニット。
【請求項８】
上記内部パラメータ選択部は、上記補正対象である画素位置の補正に適用する上記内部パラメータとして、上記補正対象の画素位置を含む上記分割領域を識別する上記領域識別情報に対応付けられた上記内部パラメータを選択することを特徴とする請求項７に記載の歪曲補正画像生成ユニット。
【請求項９】
上記歪曲画像の歪曲を補正する補正レベルと上記補正レベルにおいて上記歪曲の補正に選択可能な内部パラメータとの関係を示す選択可否情報を記憶する選択可否情報記憶部と、
上記補正レベルを外部から受け付ける補正レベル受付部と、
上記補正レベル受付部によって受け付けた上記補正レベルを記憶する補正レベル記憶部とを更に備え、
上記内部パラメータ選択部は、上記補正レベル記憶部に記憶された上記補正レベルおよび上記選択可否情報記憶部に記憶された上記選択可否情報を参照し、上記補正レベル記憶部に記憶されている上記補正レベルにおいて上記歪曲の補正に選択可能な上記内部パラメータのなかから上記補正対象である画素位置の補正に適用する上記内部パラメータを選択することを特徴とする請求項１に記載の歪曲補正画像生成ユニット。
【請求項１０】
魚眼レンズを用いて撮像された歪曲画像から上記歪曲画像の歪曲を補正した歪曲補正画像を生成する歪曲補正画像生成方法であって、
上記歪曲画像を取得する歪曲画像取得ステップと、
上記歪曲画像取得ステップによって上記歪曲画像が取得された場合に、上記歪曲画像の画像主点からの方向毎に上記魚眼レンズに係る内部パラメータであって各方向の画素位置の補正に適用する複数の内部パラメータを記憶した内部パラメータ記憶部を参照し、上記歪曲画像上の補正対象である画素位置の上記画像主点からの方向に基づいて、上記内部パラメータ記憶部に記憶されている上記複数の内部パラメータのなかから上記補正対象である画素位置の補正に適用する上記内部パラメータを選択する内部パラメータ選択ステップと、
上記内部パラメータ選択ステップによって上記内部パラメータが選択された場合に、上記内部パラメータ選択ステップによって選択された上記内部パラメータに基づいて上記補正対象である画素位置の画素値を他の画素位置の画素値とすることにより、上記歪曲画像から上記歪曲補正画像を生成する歪曲補正画像生成ステップとを備えることを特徴とする歪曲補正画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２００９−１４００６６（Ｐ２００９−１４００６６Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００７−３１３６２０（Ｐ２００７−３１３６２０）
【出願日】平成１９年１２月４日（２００７．１２．４）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成１９年１２月４日（２００７．１２．４）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]