画像処理装置
【課題】システムコストを安価に抑えるとともに、光学中心と撮像素子の撮像領域中心とが一致していない場合においても画像の歪みを正確に補正して高品質な画像を生成する画像処理装置を提供する。
【解決手段】光学系を介して撮像素子に結像した画像を処理する画像処理装置であって、像高を複数の領域に分割した場合における光学系に応じた各分割点の収差量と補間パラメータとを生成する制御部と、光学中心を原点とする座標系に変換する第１座標変換部６１と、第１座標変換部６１による座標変換後の各画素座標における収差量を算出する収差量算出部６２と、収差量に基づいて各画素座標の位置を補正する座標算出部６３と、補正された各画素座標について、光学中心を原点とする座標系から撮像素子の撮像領域における任意の点を原点とする座標系に変換する第２座標変換部６４と、第２座標変換部６４による座標変換後の各画素座標に対応する画素値を算出する画素値算出部とを備える。
【解決手段】光学系を介して撮像素子に結像した画像を処理する画像処理装置であって、像高を複数の領域に分割した場合における光学系に応じた各分割点の収差量と補間パラメータとを生成する制御部と、光学中心を原点とする座標系に変換する第１座標変換部６１と、第１座標変換部６１による座標変換後の各画素座標における収差量を算出する収差量算出部６２と、収差量に基づいて各画素座標の位置を補正する座標算出部６３と、補正された各画素座標について、光学中心を原点とする座標系から撮像素子の撮像領域における任意の点を原点とする座標系に変換する第２座標変換部６４と、第２座標変換部６４による座標変換後の各画素座標に対応する画素値を算出する画素値算出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやデジタルビデオカメラ等の撮像装置に用いられ、光学レンズによって生じる収差を補正する画像処理装置に関する。
【背景技術】
【０００２】
従来から、デジタルカメラ・デジタルビデオカメラ等の撮像装置においては、光学レンズの収差に起因する課題があり、収差の一つとして歪曲収差がある。この歪曲収差は、画像の中心付近と周辺部での結像倍率が異なるために発生する。光学設計上の工夫により、歪曲収差を低減することは可能であるが、歪みの影響を完全に回避することは困難である。そこで、画像処理装置におけるデジタル画像処理により、光学レンズで生じた歪曲収差を補正する方法が提案されている。
【０００３】
特許文献１には、低コストで画像の歪みを補正し、高品質な画像をリアルタイムに生成するための画像処理装置、画像処理システム、及び画像処理方法が記載されている。この画像処理装置は、歪みを持った画像について、複数の格子に分割し、各格子単位の歪みを持った画像を、各格子単位の補正ベクトルに応じて補正する画像補正手段と、歪み補正対象の画像の大きさに対応する画像について、各格子単位で予めエンコードされた格子ごとの補正ベクトルをデコードし、該デコードされた各格子単位の補正ベクトルを画像補正手段へ供給するデコード手段とを備えている。
【０００４】
この画像処理装置によれば、撮像された光学歪みを伴う画像に対して水平及び垂直方向に１次元補間演算が施され、補正ベクトルが効率的に利用されるため、静止画像だけでなくリアルタイム処理が必要な動画像に対する歪み補正が簡易な構成により実現され、歪みの無い高画質な画像を容易に得ることができる。
【０００５】
また、信号処理によりリアルタイムに画像の歪みを補正することができるため、レンズ設計の自由度を高めることができ、レンズの小型化やレンズの低コスト化を容易に実現することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−８０５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の画像処理装置は、全ての格子単位に対応する補正ベクトルをデータとして備えている必要があるので、システムコストを安価に抑えるのが困難であるという問題が生じる。
【０００８】
また、従来の画像処理装置は、一般的に光学中心と撮像領域中心とが一致するように設計されており、画像の歪みを補正する際にも両者が一致していることを前提とした補正を行うのが通常である。しかしながら、製造ばらつきが大きい場合に、大量生産された画像処理装置の中には光学中心と撮像領域中心がずれた製品も存在するため、画像の歪みに対する補正が不正確となる可能性もある。
【０００９】
本発明は上述した従来技術の問題点を解決するもので、システムコストを安価に抑えるとともに、光学中心と撮像素子の撮像領域中心とが一致していない場合においても画像の歪みを正確に補正して高品質な画像を生成する画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、上記課題を解決するために、光学系を介して被写体からの光を撮像して画像データを生成する撮像素子と、前記光学系により被写体が結像する領域の像高を複数の領域に分割し、前記領域毎に分割点を設定して、前記各分割点の収差量と前記分割点間の像高の収差量を求めるために必要な補間パラメータとを生成する制御部と、前記画像データの各画素座標について、前記撮像素子の撮像領域における任意の点を原点とする座標系から前記光学系により被写体が結像する領域の光学中心を原点とする座標系に変換する第１座標変換部と、前記制御部により生成された前記各分割点の収差量と補間パラメータとに基づいて、前記第１座標変換部による座標変換後の画像データの各画素座標における収差量を算出する収差量算出部と、前記収差量算出部により算出された各画素座標における収差量に基づいて、前記第１座標変換部による座標変換後の画像データの各画素座標の位置を補正する座標算出部と、前記座標算出部により算出された座標位置補正後の画像データの各画素座標について、前記光学中心を原点とする座標系から前記撮像素子の撮像領域における任意の点を原点とする座標系に変換する第２座標変換部と、前記撮像素子により生成された画像データにおける複数の画素を使用して、前記第２座標変換部による座標変換後の画像データの各画素座標に対応する画素値を算出する画素値算出部とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、システムコストを安価に抑えるとともに、光学中心と撮像素子の撮像領域中心とが一致していない場合においても画像の歪みを正確に補正して高品質な画像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１の形態の画像処理装置の構成を示すブロック図である。
【図２】本発明の実施例１の形態の画像処理装置の収差補正部の詳細な構成を示すブロック図である。
【図３】本発明の実施例１の形態の画像処理装置のリード座標計算部の詳細な構成を示すブロック図である。
【図４】本発明の実施例１の形態の画像処理装置における歪曲収差補正前の座標を計算する方法について説明する図である。
【図５】本発明の実施例１の形態の画像処理装置における光学中心と撮像素子の撮像領域中心が異なる場合について説明する図である。
【図６】本発明の実施例１の形態の画像処理装置において光学中心の水平方向及び垂直方向の座標測定方法について説明する図である。
【図７】本発明の実施例１の形態の画像処理装置において光学中心の水平方向及び垂直方向の座標測定方法の１例について説明する図である。
【図８】本発明の実施例１の形態の画像処理装置の動作を示すフローチャート図である。
【図９】本発明の実施例２の形態の画像処理装置の構成を示すブロック図である。
【図１０】本発明の実施例２の形態の画像処理装置における焦点距離と収差量との関係を示す図である。
【図１１】本発明の実施例２の形態の画像処理装置の動作を示すフローチャート図である。
【発明を実施するための形態】
【００１３】
以下、本発明の画像処理装置の実施の形態を、図面に基づいて詳細に説明する。
【実施例１】
【００１４】
以下、本発明の実施例について図面を参照しながら説明する。まず、本実施の形態の構成を説明する。図１は、本発明の実施例１の画像処理装置の構成を示すブロック図である。この画像処理装置は、図１に示すように光学系５を介して撮像素子１０に結像した画像を処理する装置であり、撮像素子１０、信号処理部２０、収差補正部３０、及び制御部４０を備えている。
【００１５】
光学系５は、例えば交換可能な複数のレンズにより構成され、被写体からの反射光を集光して撮像素子１０に結像させる。撮像素子１０は、結像された画像を画像データに変換して出力する。ここで、例えば画像データとは画素毎のＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅといった色データとする。
【００１６】
信号処理部２０は、撮像素子１０により出力された画像データ（色データ）に基づいて、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅといった色データをＹ（輝度）、Ｃ（色差）データに変換して出力する。
【００１７】
なお、信号処理部２０は、Ｙ（輝度）、Ｃ（色差）データに変換する代わりにＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅといった色データをそのまま出力する構成としてもよい。その場合には、後述する収差補正部３０が出力された色データに基づいて収差補正を行う。しかしながら、信号処理部２０がＹ（輝度）、Ｃ（色差）データ形式に変換する構成とする場合には、データ量を削減して必要とするメモリを少なくすることができるという利点を有する。
【００１８】
制御部４０は、像高を複数の分割点に分割した場合に、光学系５に応じた各分割点の収差量と分割点間の像高の収差量を求めるのに必要な補間パラメータとを生成し、後述する収差補正部３０内の補間パラメータレジスタ３１に書き込む。ここで、収差量とは、歪曲収差補正前の像高を歪曲収差補正後の像高で割ったものである。
【００１９】
なお、光学系５に応じた各分割点の収差量及び補間パラメータを生成する方法は、どのようなものでもよい。例えば、制御部４０は、光学系の種類に応じた収差量や補間パラメータ等の情報をフラッシュメモリやＲＯＭ（Ｒｅａｄ Ｏｎ Ｍｅｍｏｒｙ）等の記憶手段にテーブルとして予め記憶しており、光学系５に搭載されたＲＯＭをリードすることによって搭載された光学系５を識別し、テーブルを参照して現在の光学系５に応じた収差量や補間パラメータを生成することができる。また、光学系５にＲＯＭが搭載されていない場合や制御部４０が光学系５に搭載されたＲＯＭをリードする手段を持たない場合において、制御部４０は、ユーザの外部操作等に基づいて光学系５の種類を特定する構成でもよい。
【００２０】
収差補正部３０は、入力された画像データの歪曲収差を補正し、補正後の画像データを出力する。図２は、本実施例の画像処理装置の収差補正部３０の詳細な構成を示すブロック図である。収差補正部３０は、図２に示すように、補間パラメータレジスタ３１、リード座標計算部３２、データライト部３３、画像メモリ３４、データリード部３５、及び画素補間部３６により構成される。
【００２１】
補間パラメータレジスタ３１は、制御部４０により出力された各分割点の収差量と補間パラメータとを記憶する。
【００２２】
リード座標計算部３２は、補間パラメータレジスタ３１に記憶された収差量と補間パラメータの情報を読み出し、これらの情報に基づいて歪曲収差補正後の画像座標から歪曲収差補正前の画像座標を計算する。図３は、本実施例の画像処理装置のリード座標計算部３２の詳細な構成を示すブロック図である。リード座標計算部３２は、図３に示すように、第１座標変換部６１、収差量算出部６２、座標算出部６３、及び第２座標変換部６４により構成される。
【００２３】
第１座標変換部６１は、収差補正部３０に入力される画像データの各画素座標について、撮像素子１０の撮像領域における任意の点を原点とする座標系から光学系５により被写体が結像する領域の光学中心を原点とする座標系に変換する。
【００２４】
収差量算出部６２は、制御部４０により生成された各分割点の収差量と補間パラメータとに基づいて、第１座標変換部６１による座標変換後の画像データの各画素座標における収差量を算出する。
【００２５】
座標算出部６３は、収差量算出部６２により算出された画像データの各画素座標における収差量に基づいて、第１座標変換部６１による座標変換後の画像データの各画素座標の位置を補正する。
【００２６】
第２座標変換部６４は、座標算出部６３により各画素座標の位置を補正された画像データの各画素座標について、光学中心を原点とする座標系から撮像素子１０の撮像領域における任意の点を原点とする座標系に変換する。
【００２７】
データライト部３３は、信号処理部２０により出力された画像データ（Ｙ（輝度）、Ｃ（色差）データ）を画像メモリ３４に書き込む。画像メモリ３４は、データライト部３３により書き込まれた画像データを記憶する。
【００２８】
データリード部３５は、リード座標計算部３２により計算された画像座標に基づいて画素補間に必要な複数画素のメモリアドレスを計算し、画素補間に必要な複数画素を画像メモリ３４から読み出す。
【００２９】
画素補間部３６は、本発明の画素値算出部に対応し、撮像素子１０により生成された画像データにおける複数画素を使用した画素補間により、第２座標変換部６４による座標変換後の画像データの各画素座標に対応する画素値を算出する。具体的には、画素補間部３６は、リード座標計算部３２内の第２座標変換部６４により出力された座標変換後の画像データの各画素座標に基づいて、画素補間に使用する複数画素の重み付けを計算し、データリード部３５により読み出された画像データの複数画素に対して重み付け補間を行い、補間された画素を画素座標に対応する画素値として出力する。画素補間部３６は、全ての画像データの画素座標に対応する画素値を算出することで、最終的な出力画像を出力することができる。
【００３０】
次に、上述のように構成された本実施の形態の作用を説明する。図４は、本実施例の画像処理装置において、歪曲収差補正後の画像座標から歪曲収差補正前の画像座標を計算する方法について説明する図である。図４において、Ａ’Ｂ’Ｃ’Ｄ’は、光学系５により被写体からの光が結像する有効領域であり、点Ｐは光学中心を表す。ＰＡ’は最大像高である。
【００３１】
まず、本実施例の画像処理装置の設計者は、最大像高を図４に示すように複数の領域ＰＱ’，Ｑ’Ｒ’，Ｒ’Ｓ’，Ｓ’Ａ’に分割し、歪曲収差補正後の点Ｐ，Ｑ’，Ｒ’，Ｓ’，Ａ’における収差量を予め求める。点Ｐ，Ｑ’，Ｒ’，Ｓ’，Ａ’は、本発明の分割点に対応する。求めた各分割点の収差量は、上述したように制御部４０により記憶され、必要に応じて収差補正部３０内の補間パラメータレジスタ３１に書き込まれる。
【００３２】
例えば歪曲収差補正後の点Ｅ’における収差量を求める場合に、本実施例の画像処理装置が有する収差補正部３０は、点Ｒ’と点Ｓ’の収差量を補間して点Ｅ’における収差量を求める。
【００３３】
ここで、収差量の補間方法は、線形補間やスプライン補間等のｎ次多項式（ｎは自然数）による補間を用いたものである。また必ずしも分割点の間隔を等間隔にする必要は無く、収差量の変化が大きい領域において分割間隔を狭めたり分割数を増やしたりすることにより、本発明の画像処理装置は、補間精度を上げることができる。
【００３４】
歪曲収差補正後の任意の点における収差量をスプライン補間で算出する場合には、スプライン補間の式は以下に示すようになる。
【００３５】
ｘ［ｉ］≦ｘ＜ｘ［ｉ＋１］の場合において、
ｘｘ＝ｘ−ｘ［ｉ］ …（１）
ｙ＝ｙ［ｉ］＋ｘｘ＊（ｑ［ｉ］＋ｘｘ＊（ｒ［ｉ］＋ｓ［ｉ］＊ｘｘ）） …（２）
ここで、ｘは、任意の点における像高の２乗、ｉは整数の値である。また、ｙは、任意の点における収差量である。任意の点における像高をｘとしてもよいが、ｘを任意の点における像高の２乗とすることにより演算量を減らすことができる。点Ｐを原点とし、任意の点の水平方向の座標をｃｘ’、垂直方向の座標をｃｙ’とすると、任意の点における像高の２乗ｘは、以下の式で示される。
【００３６】
ｘ＝ｃｘ’＊ｃｘ’＋ｃｙ’＊ｃｙ’ …（３）
仮に点Ｅ’における像高をｘとする場合には、さらに平方根を算出する必要がある。
【００３７】
ここで、ｘ［０］，ｙ［０］，ｑ［０］，ｒ［０］，ｓ［０］は、点Ｐにおける補間パラメータである。ｘ［１］，ｙ［１］，ｑ［１］，ｒ［１］，ｓ［１］は、点Ｑ’における補間パラメータである。ｘ［２］，ｙ［２］，ｑ［２］，ｒ［２］，ｓ［２］は、点Ｒ’における補間パラメータである。ｘ［３］，ｙ［３］，ｑ［３］，ｒ［３］，ｓ［３］は、点Ｓ’における補間パラメータである。ｘ［４］，ｙ［４］，ｑ［４］，ｒ［４］，ｓ［４］は、点Ａ’における補間パラメータである。
【００３８】
また、ｘ［０］は点Ｐ、ｘ［１］は点Ｑ’、ｘ［２］は点Ｒ’、ｘ［３］は点Ｓ’、ｘ［４］は点Ａ’における像高の２乗である。さらに、ｙ［０］は点Ｐ、ｙ［１］は点Ｑ’、ｙ［２］は点Ｒ’、ｙ［３］は点Ｓ’、ｙ［４］は点Ａ’における収差量を示す。
【００３９】
例えば、図４に示す点Ｅ’の像高について考える。点Ｅ’の像高については、ｘ［２］≦ｘ＜ｘ［３］と表すことができるので、（１）式は、ｘｘ＝ｘ−ｘ［２］となる。また、（２）式は、ｙ＝ｙ［２］＋ｘｘ＊（ｑ［２］＋ｘｘ＊（ｒ［２］＋ｓ［２］＊ｘｘ））で表される。
【００４０】
図４に示す点Ｅ’の座標位置補正後の点Ｅの水平方向の座標をｃｘとすると、ｃｘ＝ｙ＊ｃｘ’である。また、点Ｅの垂直方向の座標をｃｙとすると、ｃｙ＝ｙ＊ｃｙ’である。
【００４１】
図５は、本実施例の画像処理装置における光学中心と撮像素子１０の撮像領域中心が異なる場合について説明する図である。図５において、Ａ’Ｂ’Ｃ’Ｄ’は、光学系５により被写体が結像する有効領域の左上端、左下端、右下端、右上端を示しており、点Ｐは光学系５の有効領域の光学中心を表す。一方、Ａ”Ｂ”Ｃ”Ｄ”は、撮像素子１０の撮像領域であり、点Ｐ”は撮像領域中心を表す。
【００４２】
また、図５において、ｘｓｉｚｅは撮像素子１０の水平画素数を表し、ｙｓｉｚｅは撮像素子１０の垂直画素数を表す。さらに、光学中心Ｐの水平方向の座標をｘｐ、垂直方向の座標をｙｐ、撮像領域中心P”の水平方向の座標をｘｐ”、垂直方向の座標をｙｐ”とすると、光学中心Ｐに対する撮像素子１０の撮像領域中心Ｐ”のオフセットｘｏｆｆ、ｙｏｆｆは、以下の式で表される。
【００４３】
ｘｏｆｆ＝ｘｐ”−ｘｐ …（４）
ｙｏｆｆ＝ｙｐ”−ｙｐ …（５）
これらのオフセット情報は、補間パラメータの一種として制御部４０により補間パラメータレジスタ３１に書き込まれる。制御部４０は、光学中心Ｐと撮像素子１０の撮像領域中心Ｐ”とのずれ量を示すオフセット情報について、どのような方法で取得してもよい。以下に一例を示す。図６，７は、本実施例の画像処理装置において光学中心Ｐの水平方向の座標ｘｐ及び垂直方向の座標ｙｐの測定方法を説明する図である。
【００４４】
図６に示すように、撮像素子１０は、光学系５を介して白地に黒丸が描画されたチャート１を撮影する。黒丸は、撮影するのに十分な大きさを持っている。また、黒丸の中心は光学系５の光軸中心３上の光学中心Ｐと一致するように配置する。
【００４５】
光学系５の空間周波数特性の影響により、撮像素子１０に結像した黒丸は、図７（ａ）のようにボケた像となる。ここで、撮像中心１０によって生成される画像の最大輝度を２５５とする。撮像素子１０に結像した像に対して輝度の５０％以上を最大輝度２５５とし、それ以外は最小輝度０とする2値化を行うと、図７（ｂ）に示すような像となる。
【００４６】
輝度０の部分の水平方向の最小値をｘｍｉｎとし、最大値をｘｍａｘとし、垂直方向の最小値をｙｍｉｎとし、最大値をｙｍａｘとすると、図５に示す光学中心Ｐの水平方向の座標ｘｐ及び垂直方向の座標ｙｐは、以下の式により表される。
【００４７】
ｘｐ＝（ｘｍｉｎ＋ｘｍａｘ）／２ …（６）
ｙｐ＝（ｙｍｉｎ＋ｙｍａｘ）／２ …（７）
このようにして求められたｘｐ，ｙｐの値を（４）（５）式に代入することにより、オフセットｘｏｆｆ、ｙｏｆｆが求まる。制御部４０は、例えば製造段階において上述した方法によりオフセット情報ｘｏｆｆ、ｙｏｆｆを取得しており、補間パラメータとして使用する。
【００４８】
次に、収差補正部３０の動作について詳細に説明する。図８は、本実施例の画像処理装置の動作を示すフローチャート図である。なお、収差量の補間方法は、スプライン補間を用いたものとして説明する。
【００４９】
最初に、制御部４０は、分割点Ｐ，Ｑ’，Ｒ’，Ｓ’，Ａ’の各々の収差量と補間パラメータとを生成する。本実施例において、制御部４０は、予め収差量と補間パラメータの情報を有しているので、それらの情報を出力するのみでよい。補間パラメータは、撮像素子１０の水平画素数ｘｓｉｚｅ、垂直画素数ｙｓｉｚｅ、光学中心Ｐに対する撮像素子１０の撮像領域中心Ｐ”の水平オフセットｘｏｆｆ、及び垂直オフセットｙｏｆｆを含むものとする。制御部４０は、分割点Ｐ，Ｑ’，Ｒ’，Ｓ’，Ａ’の各々の収差量と補間パラメータとを補間パラメータレジスタ３１に書き込む（ステップＳ１）。
【００５０】
次に、リード座標計算部３２内の第１座標変換部６１は、図５に示す点Ａ”を原点とした座標系における撮像領域中心P”の水平方向の座標ｘｐ”と、垂直方向の座標ｙｐ”とをｘｓｉｚｅ、ｙｓｉｚｅに基づいて算出する（ステップＳ２）。
【００５１】
次に、第１座標変換部６１は、図５に示す点Ａ”を原点とした座標系における画像データの水平座標ｓｘ”及び垂直座標ｓｙ”を原点に設定する（ステップＳ３）。その後、第１座標変換部６１は、後述するように水平座標ｓｘ”及び垂直座標ｓｙ”を順次変えていくことにより、撮像領域全域をカバーする。
【００５２】
次に、第１座標変換部６１は、ｓｙ”とｙｓｉｚｅ−１とを比較する。ｓｙ”≦ｙｓｉｚｅ−１の場合には、後述するステップＳ５に進み、そうでない場合には処理を終了する（ステップＳ４）。すなわち、第１座標変換部６１は、垂直座標ｓｙ”が撮像素子１０の撮像領域中であるか否かを判定している。
【００５３】
次に、第１座標変換部６１は、ｓｘ”とｘｓｉｚｅ−１とを比較する（ステップＳ５）。ｓｘ”≦ｘｓｉｚｅ−１の場合には、後述するステップＳ７に進み、そうでない場合にはｓｙ”に１を加算するとともにｓｘ”に０を代入し、ステップＳ４に戻る（ステップＳ６）。すなわち、第１座標変換部６１は、垂直座標ｓｘ”が撮像素子１０の撮像領域中であるか否かを判定し、ｓｘ”が撮像領域を超えた場合にはｓｘ”を０に戻して垂直座標を１段下に下げている。
【００５４】
次に、第１座標変換部６１は、収差補正部３０に入力される画像データの各画素座標について、撮像素子１０の撮像領域における点Ａ”を原点とする座標系から光学中心Ｐを原点とする座標系である座標ｃｘ’，ｃｙ’に変換する（ステップＳ７）。座標変換により生成されたｃｘ’は、上述したように、点Ｐを原点とした水平方向の座標であり、ｃｙ’は垂直方向の座標である。
【００５５】
次に、収差量算出部６２は、ステップＳ８からステップＳ１６までの間において、制御部４０により生成された各分割点の収差量と補間パラメータとに基づいて、第１座標変換部６１による座標変換後の画像データの各画素座標における収差量を算出する。
【００５６】
具体的に説明すると、まず収差量算出部６２は、第１座標変換部６１により出力された座標ｃｘ’，ｃｙ’に基づいて、像高の２乗ｘを計算する（ステップＳ８）。
【００５７】
次に、収差量算出部６２は、ｘとｘ［１］とを比較する（ステップＳ９）。ｘ＜ｘ［１］の場合には、収差量算出部６２は、ｉに０を設定し（ステップＳ１０）、後述するステップＳ１６に進む。
【００５８】
ｘ≧ｘ［１］の場合には、収差量算出部６２は、ｘとｘ［２］とを比較する（ステップＳ１１）。ｘ＜ｘ［２］の場合には、収差量算出部６２は、ｉに１を設定し（ステップＳ１２）、後述するステップＳ１６に進む。
【００５９】
ｘ≧ｘ［２］の場合には、収差量算出部６２は、ｘとｘ［３］とを比較する（ステップＳ１３）。ｘ＜ｘ［３］の場合には、収差量算出部６２は、ｉに２を設定し（ステップＳ１４）、後述するステップＳ１６に進む。
【００６０】
ｘ≧ｘ［３］の場合には、収差量算出部６２は、ｉに３を設定する（ステップＳ１５）。
【００６１】
すなわち、収差量算出部６２は、ステップＳ８からステップＳ１５までにおいて、第１座標変換部６１による座標変換後の各画素座標の像高が制御部４０によって分割された複数の領域の中のいずれの領域に属するのかを判別している。
【００６２】
その後、収差量算出部６２は、補間パラメータを使用して制御部４０によって分割された領域の中の属している領域を分割している分割点の収差量から補間することにより画像データにおける各画素座標における収差量ｙを算出する（ステップＳ１６）。本実施例において、収差量算出部６２は、収差量ｙをスプライン補間により算出する。
【００６３】
例えば、ｘ［２］≦ｘ＜ｘ［３］が成立する場合には、収差量算出部６２は、ステップＳ１４においてｉに２を設定し、分割点Ｒ’における補間パラメータ（ｘ［２］，ｙ［２］，ｑ［２］，ｒ［２］，ｓ［２］）を使用して、分割点Ｒ’の収差量ｙ［２］から補間することにより、当該画素座標における収差量ｙを算出する。
【００６４】
次に、座標算出部６３は、収差量算出部６２により算出された画像データの各画素座標における収差量に基づいて、第１座標変換部６１による座標変換後の画像データの各画素座標の位置を補正する（ステップＳ１７）。これにより、座標算出部６３は、歪曲収差補正前の画像データの水平方向の座標ｃｘ及び垂直方向の座標ｃｙを算出する。
【００６５】
次に、第２座標変換部６４は、座標算出部６３により画像データの各画素座標の位置を補正された画像データの各画素座標ｃｘ，ｃｙについて、光学中心Ｐを原点とする座標系から撮像素子１０の撮像領域における任意の点（本実施例においては点Ａ”）を原点とする座標系に変換する（ステップＳ１８）。第２座標変換部６４は、この座標変換により、水平方向の座標ｓｘ、及び垂直方向の座標ｓｙを出力する。
【００６６】
次に、データリード部３５は、第２座標変換部６４により出力されたｓｘ，ｓｙに基づいて、画素補間に必要な複数画素のメモリアドレスを計算する（ステップＳ１９）。
【００６７】
その後、データリード部３５は、計算したメモリアドレスに対応した画素の画素値（画素のＹ（輝度）、Ｃ（色差））を画像メモリ３４から読み出す（ステップＳ２０）。
【００６８】
次に、画素補間部３６は、第２座標変換部６４により出力された座標変換後の画素座標ｓｘ，ｓｙに基づいて、画素補間に使用する複数画素の重み付けを計算し（ステップＳ２１）、ステップＳ２０でデータリード部３５により読み出された複数画素の画素値に対して重み付けを使用した画素補間を行う（ステップＳ２２）。その後、画素補間部３６は、補間された画素を画素座標に対応する画素値として出力する。
【００６９】
次に、第１座標変換部６１は、ｓｘ”に1を加算する（ステップＳ２３）。このようにして第１座標変換部６１は、収差補正後の水平方向の画素座標を１つ右にずらした後、ステップＳ５に戻る。
【００７０】
上述のとおり、本発明の実施例１の形態に係る画像処理装置によれば、システムコストを安価に抑えるとともに、光学系による光学中心と撮像素子の撮像領域中心とが一致していない場合においても画像の歪みを正確に補正して高品質な画像を生成することができる。
【００７１】
すなわち、本実施例の画像処理装置は、第１座標変換部６１を備えることで、収差補正部３０に入力される画像データ、または収差補正部３０により収差補正される後の画像データの画素座標を撮像素子１０の撮像領域の任意の点（本実施例においては点Ａ”）を原点とする座標系から、光学中心Ｐを原点とする座標系に変換し、収差量算出部６２及び座標算出部６３を備えることで光学中心Ｐを原点とする座標系で収差補正前の画像データの画素座標を算出し、第２座標変換部６４を備えることで収差補正前の画像データの画素座標を光学中心Ｐを原点とする座標系から撮像素子の撮像領域の任意の点（本実施例においては点Ａ”）を原点とする座標系に変換し、画素補間部３６を備えることで画像データの画素座標に対応する画素値を画素補間により求めるので、光学中心Ｐと撮像素子の撮像領域中心Ｐ”は一致していない場合でも正確な補正を行うことができ、高品質な画像の生成に資するという利点を有する。
【００７２】
さらに、本実施例の画像処理装置は、特許文献１に記載の画像処理装置のように全ての格子単位に対応する補正ベクトルをデータとして備えている必要が無く、像高を複数の領域に分割した場合における各分割点の収差量と補間パラメータのみを備えることにより、分割点間の像高の収差量を分割点の収差量から補間して求めることができるので、システムコストを安価に抑えることができるという利点も有する。
【実施例２】
【００７３】
図９は、本発明の実施例２の画像処理装置の構成を示すブロック図である。この画像処理装置は、図９に示すように光学系５を介して撮像素子１０に結像した画像を処理する装置であり、信号処理部２０、収差補正部３０、制御部４０、及びズーム駆動部５０を備えている。すなわち、図１で説明した実施例１の画像処理装置の構成と異なる点は、ズーム駆動部５０をさらに備えている点である。
【００７４】
ズーム駆動部５０は、光学系５の焦点距離を調節する。光学系５は、ズーム倍率、すなわち焦点距離調整のためにレンズが動く構造となっている。ズーム駆動部５０は、制御部４０が設定した値に基づいて、光学系５の対応するレンズを駆動する。
【００７５】
撮像素子１０、信号処理部２０、及び収差補正部３０は、実施例１と同様であり、重複した説明を省略する。
【００７６】
制御部４０は、実施例１と同様の機能を備えるほか、光学系５の焦点距離を決定し、焦点距離に応じてズーム駆動部５０を駆動するための駆動信号を生成する。さらに、制御部４０は、光学系５による焦点距離を複数の領域に分割した場合において、「焦点距離の各分割点」に対応した「像高の各分割点の収差量」から補間して、現在の焦点距離（決定した焦点距離）における「像高の各分割点の収差量」を算出する。
【００７７】
なお、「焦点距離の各分割点」に応じた「像高の各分割点」の収差量及び補間パラメータを生成する方法は、どのようなものでもよい。例えば、制御部４０は、「焦点距離の各分割点」に応じた「像高の各分割点」における収差量や補間パラメータ等の情報をフラッシュメモリやＲＯＭ等の記憶手段にテーブルとして予め記憶していてもよい。
【００７８】
次に、上述のように構成された本実施の形態の作用を説明する。図１０は、本実施例の画像処理装置において、焦点距離と収差量との関係を示す図である。図１０において、横軸が焦点距離であり、縦軸が収差量である。焦点距離がａの場合には、光学系５のレンズはワイド端（最もワイド側（広角側）までズームレンズを動かしたところ）である。また、焦点距離がｅの場合には、光学系５のレンズはテレ端（最も望遠側までズームレンズを動かしたところであり、倍率最大）である。
【００７９】
図１０に示すように、ズーム光学系において、収差量は焦点距離に応じて変化する。そこで、本実施例の画像処理装置の制御部４０は、焦点距離を複数の領域ａｂ，ｂｃ，ｃｄ，ｄｅに分割し、焦点距離の各分割点ａ，ｂ，ｃ，ｄ，ｅに対応した収差量を予め求めて記憶している。なお、この場合における収差量とは、実施例１と同様に「像高の各分割点の収差量」を予め求めておく必要がある。すなわち、本実施例の画像処理装置の設計者は、焦点距離の分割点ａ，ｂ，ｃ，ｄ，ｅの各々に対して、像高の分割点Ｐ，Ｑ’，Ｒ’，Ｓ’，Ａ’の各々における収差量を予め求めておく。
【００８０】
求めた収差量は、上述したように制御部４０により記憶され、必要に応じて収差補正部３０内の補間パラメータレジスタ３１に書き込まれる。
【００８１】
収差量の補間方法は、線形補間やスプライン補間等のｎ次多項式（ｎは自然数）による補間を用いたものである。また必ずしも分割点の間隔を等間隔にする必要は無く、収差量の変化が大きい領域において分割間隔を狭めたり分割数を増やすことにより、本発明の画像処理装置は、補間精度を上げることができる。
【００８２】
焦点距離ｆにおける収差量をスプライン補間で算出する場合には、スプライン補間の式は以下に示すようになる。
【００８３】
ｘ＿［ｊ］≦ｆ＜ｘ＿［ｊ＋１］の場合において、
ｘｘ＿＝ｆ−ｘ＿［ｊ］ …（８）
ｙ＿＝ｙ＿［ｊ］＋ｘｘ＿＊（ｑ＿［ｊ］＋ｘｘ＿＊（ｒ＿［ｊ］＋ｓ＿［ｊ］＊ｘｘ＿）） …（９）
ここで、ｙ＿は、焦点距離ｆにおける収差量である。また、ｘ＿［０］，ｙ＿［０］，ｑ＿［０］，ｒ＿［０］，ｓ＿［０］は、焦点距離ａにおける補間パラメータである。ｘ＿［１］，ｙ＿［１］，ｑ＿［１］，ｒ＿［１］，ｓ＿［１］は、焦点距離ｂにおける補間パラメータである。ｘ＿［２］，ｙ＿［２］，ｑ＿［２］，ｒ＿［２］，ｓ＿［２］は、焦点距離ｃにおける補間パラメータである。ｘ＿［３］，ｙ＿［３］，ｑ＿［３］，ｒ＿［３］，ｓ＿［３］は、焦点距離ｄにおける補間パラメータである。ｘ＿［４］，ｙ＿［４］，ｑ＿［４］，ｒ＿［４］，ｓ＿［４］は、焦点距離ｅにおける補間パラメータである。
【００８４】
また、ｘ＿［０］は焦点距離ａ、ｘ＿［１］は焦点距離ｂ、ｘ＿［２］は焦点距離ｃ、ｘ＿［３］は焦点距離ｄ、ｘ＿［４］は焦点距離ｅである。さらに、ｙ＿［０］は焦点距離ａ、ｙ＿［１］は焦点距離ｂ、ｙ＿［２］は焦点距離ｃ、ｙ＿［３］は焦点距離ｄ、ｙ＿［４］は焦点距離ｅにおける収差量を示す。
【００８５】
したがって、図１０に示す焦点距離ｆに基づき、ｘ＿［０］≦ｆ＜ｘ＿［１］と表すことができるので、（８）式は、ｘｘ＿＝ｆ−ｘ＿［０］となる。また、（９）式は、ｙ＿＝ｙ＿［０］＋ｘｘ＿＊（ｑ＿［０］＋ｘｘ＿＊（ｒ＿［０］＋ｓ＿［０］＊ｘｘ＿））で表される。
【００８６】
次に、制御部４０の動作について詳細に説明する。図１１は、本実施例の画像処理装置の動作を示すフローチャート図である。なお、収差量の補間方法は、スプライン補間を用いたものとして説明する。
【００８７】
まず、制御部４０は、例えばユーザのズーム操作によって光学系５の焦点距離ｆを決定し、焦点距離ｆに応じてズーム駆動部５０を駆動するための駆動信号を生成する。ズーム駆動部５０は、制御部４０により生成された駆動信号に基づいて、光学系５の焦点距離をｆに調節する。
【００８８】
次に、制御部４０は、焦点距離ｆとｘ＿［１］とを比較する（ステップＳ１）。ｆ＜ｘ＿［１］の場合には、制御部４０は、ｊに０を設定し（ステップＳ２）、後述するステップＳ８に進む。
【００８９】
ｆ≧ｘ＿［１］の場合には、制御部４０は、ｆとｘ＿［２］とを比較する（ステップＳ３）。ｆ＜ｘ＿［２］の場合には、制御部４０は、ｊに１を設定し（ステップＳ４）、後述するステップＳ８に進む。
【００９０】
ｆ≧ｘ＿［２］の場合には、制御部４０は、ｆとｘ＿［３］とを比較する（ステップＳ５）。ｆ＜ｘ＿［３］の場合には、制御部４０は、ｊに２を設定し（ステップＳ６）、後述するステップＳ８に進む。
【００９１】
ｆ≧ｘ＿［３］の場合には、制御部４０は、ｊに３を設定する（ステップＳ７）。
【００９２】
すなわち、制御部４０は、ステップＳ１からステップＳ７までにおいて、焦点距離ｆが分割された複数の領域の中からいずれの領域に属するのかを判別している。
【００９３】
次に、制御部４０は、「焦点距離の各分割点」に対応した「像高の各分割点の収差量」から補間して、現在の焦点距離（決定した焦点距離）ｆにおける「像高の各分割点の収差量」を算出する（ステップＳ８）。すなわち、制御部４０は、スプライン補間を行うことにより、焦点距離ｆの場合について、点Ｐにおける収差量ｙ＿ｐ、点Ｑ’における収差量ｙ＿ｑ’、点Ｒ’における収差量ｙ＿ｒ’、点Ｓ’における収差量ｙ＿ｓ’、及び点Ａ’における収差量ｙ＿ａ’を算出する。
【００９４】
次に、制御部４０は、ｙ＿ｐ、ｙ＿ｑ’、ｙ＿ｒ’、ｙ＿ｓ’、及びｙ＿ａ’に基づいて、点Ｐ，Ｑ’，Ｒ’，Ｓ’，Ａ’における補間パラメータを算出する（ステップＳ９）。
【００９５】
最後に、求めた収差量及び補間パラメータを利用して、本実施例の画像処理装置は、図８に示す処理を行い（ステップＳ１０）、処理を終了する。
【００９６】
上述のとおり、本発明の実施例２の形態に係る画像処理装置によれば、実施例１の効果に加え、光学系５が焦点距離調整のためにレンズが動く構造を有しているために収差量が焦点距離に応じて変化する場合においても、制御部４０が焦点距離ｆに応じた適切な補間パラメータを算出し、高品質な画像を生成することができる。
【産業上の利用可能性】
【００９７】
本発明に係る画像処理装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置に用いられ、光学系によって生じる収差を補正する画像処理装置に利用可能である。
【符号の説明】
【００９８】
１ チャート
３ 光学中心
５ 光学系
１０ 撮像素子
２０ 信号処理部
３０ 収差補正部
３１ 補間パラメータレジスタ
３２ リード座標計算部
３３ データライト部
３４ 画像メモリ
３５ データリード部
３６ 画素補間部
４０ 制御部
５０ ズーム駆動部
６１ 第１座標変換部
６２ 収差量算出部
６３ 座標算出部
６４ 第２座標変換部
【技術分野】
【０００１】
本発明は、デジタルカメラやデジタルビデオカメラ等の撮像装置に用いられ、光学レンズによって生じる収差を補正する画像処理装置に関する。
【背景技術】
【０００２】
従来から、デジタルカメラ・デジタルビデオカメラ等の撮像装置においては、光学レンズの収差に起因する課題があり、収差の一つとして歪曲収差がある。この歪曲収差は、画像の中心付近と周辺部での結像倍率が異なるために発生する。光学設計上の工夫により、歪曲収差を低減することは可能であるが、歪みの影響を完全に回避することは困難である。そこで、画像処理装置におけるデジタル画像処理により、光学レンズで生じた歪曲収差を補正する方法が提案されている。
【０００３】
特許文献１には、低コストで画像の歪みを補正し、高品質な画像をリアルタイムに生成するための画像処理装置、画像処理システム、及び画像処理方法が記載されている。この画像処理装置は、歪みを持った画像について、複数の格子に分割し、各格子単位の歪みを持った画像を、各格子単位の補正ベクトルに応じて補正する画像補正手段と、歪み補正対象の画像の大きさに対応する画像について、各格子単位で予めエンコードされた格子ごとの補正ベクトルをデコードし、該デコードされた各格子単位の補正ベクトルを画像補正手段へ供給するデコード手段とを備えている。
【０００４】
この画像処理装置によれば、撮像された光学歪みを伴う画像に対して水平及び垂直方向に１次元補間演算が施され、補正ベクトルが効率的に利用されるため、静止画像だけでなくリアルタイム処理が必要な動画像に対する歪み補正が簡易な構成により実現され、歪みの無い高画質な画像を容易に得ることができる。
【０００５】
また、信号処理によりリアルタイムに画像の歪みを補正することができるため、レンズ設計の自由度を高めることができ、レンズの小型化やレンズの低コスト化を容易に実現することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−８０５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の画像処理装置は、全ての格子単位に対応する補正ベクトルをデータとして備えている必要があるので、システムコストを安価に抑えるのが困難であるという問題が生じる。
【０００８】
また、従来の画像処理装置は、一般的に光学中心と撮像領域中心とが一致するように設計されており、画像の歪みを補正する際にも両者が一致していることを前提とした補正を行うのが通常である。しかしながら、製造ばらつきが大きい場合に、大量生産された画像処理装置の中には光学中心と撮像領域中心がずれた製品も存在するため、画像の歪みに対する補正が不正確となる可能性もある。
【０００９】
本発明は上述した従来技術の問題点を解決するもので、システムコストを安価に抑えるとともに、光学中心と撮像素子の撮像領域中心とが一致していない場合においても画像の歪みを正確に補正して高品質な画像を生成する画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、上記課題を解決するために、光学系を介して被写体からの光を撮像して画像データを生成する撮像素子と、前記光学系により被写体が結像する領域の像高を複数の領域に分割し、前記領域毎に分割点を設定して、前記各分割点の収差量と前記分割点間の像高の収差量を求めるために必要な補間パラメータとを生成する制御部と、前記画像データの各画素座標について、前記撮像素子の撮像領域における任意の点を原点とする座標系から前記光学系により被写体が結像する領域の光学中心を原点とする座標系に変換する第１座標変換部と、前記制御部により生成された前記各分割点の収差量と補間パラメータとに基づいて、前記第１座標変換部による座標変換後の画像データの各画素座標における収差量を算出する収差量算出部と、前記収差量算出部により算出された各画素座標における収差量に基づいて、前記第１座標変換部による座標変換後の画像データの各画素座標の位置を補正する座標算出部と、前記座標算出部により算出された座標位置補正後の画像データの各画素座標について、前記光学中心を原点とする座標系から前記撮像素子の撮像領域における任意の点を原点とする座標系に変換する第２座標変換部と、前記撮像素子により生成された画像データにおける複数の画素を使用して、前記第２座標変換部による座標変換後の画像データの各画素座標に対応する画素値を算出する画素値算出部とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、システムコストを安価に抑えるとともに、光学中心と撮像素子の撮像領域中心とが一致していない場合においても画像の歪みを正確に補正して高品質な画像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１の形態の画像処理装置の構成を示すブロック図である。
【図２】本発明の実施例１の形態の画像処理装置の収差補正部の詳細な構成を示すブロック図である。
【図３】本発明の実施例１の形態の画像処理装置のリード座標計算部の詳細な構成を示すブロック図である。
【図４】本発明の実施例１の形態の画像処理装置における歪曲収差補正前の座標を計算する方法について説明する図である。
【図５】本発明の実施例１の形態の画像処理装置における光学中心と撮像素子の撮像領域中心が異なる場合について説明する図である。
【図６】本発明の実施例１の形態の画像処理装置において光学中心の水平方向及び垂直方向の座標測定方法について説明する図である。
【図７】本発明の実施例１の形態の画像処理装置において光学中心の水平方向及び垂直方向の座標測定方法の１例について説明する図である。
【図８】本発明の実施例１の形態の画像処理装置の動作を示すフローチャート図である。
【図９】本発明の実施例２の形態の画像処理装置の構成を示すブロック図である。
【図１０】本発明の実施例２の形態の画像処理装置における焦点距離と収差量との関係を示す図である。
【図１１】本発明の実施例２の形態の画像処理装置の動作を示すフローチャート図である。
【発明を実施するための形態】
【００１３】
以下、本発明の画像処理装置の実施の形態を、図面に基づいて詳細に説明する。
【実施例１】
【００１４】
以下、本発明の実施例について図面を参照しながら説明する。まず、本実施の形態の構成を説明する。図１は、本発明の実施例１の画像処理装置の構成を示すブロック図である。この画像処理装置は、図１に示すように光学系５を介して撮像素子１０に結像した画像を処理する装置であり、撮像素子１０、信号処理部２０、収差補正部３０、及び制御部４０を備えている。
【００１５】
光学系５は、例えば交換可能な複数のレンズにより構成され、被写体からの反射光を集光して撮像素子１０に結像させる。撮像素子１０は、結像された画像を画像データに変換して出力する。ここで、例えば画像データとは画素毎のＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅといった色データとする。
【００１６】
信号処理部２０は、撮像素子１０により出力された画像データ（色データ）に基づいて、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅといった色データをＹ（輝度）、Ｃ（色差）データに変換して出力する。
【００１７】
なお、信号処理部２０は、Ｙ（輝度）、Ｃ（色差）データに変換する代わりにＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅといった色データをそのまま出力する構成としてもよい。その場合には、後述する収差補正部３０が出力された色データに基づいて収差補正を行う。しかしながら、信号処理部２０がＹ（輝度）、Ｃ（色差）データ形式に変換する構成とする場合には、データ量を削減して必要とするメモリを少なくすることができるという利点を有する。
【００１８】
制御部４０は、像高を複数の分割点に分割した場合に、光学系５に応じた各分割点の収差量と分割点間の像高の収差量を求めるのに必要な補間パラメータとを生成し、後述する収差補正部３０内の補間パラメータレジスタ３１に書き込む。ここで、収差量とは、歪曲収差補正前の像高を歪曲収差補正後の像高で割ったものである。
【００１９】
なお、光学系５に応じた各分割点の収差量及び補間パラメータを生成する方法は、どのようなものでもよい。例えば、制御部４０は、光学系の種類に応じた収差量や補間パラメータ等の情報をフラッシュメモリやＲＯＭ（Ｒｅａｄ Ｏｎ Ｍｅｍｏｒｙ）等の記憶手段にテーブルとして予め記憶しており、光学系５に搭載されたＲＯＭをリードすることによって搭載された光学系５を識別し、テーブルを参照して現在の光学系５に応じた収差量や補間パラメータを生成することができる。また、光学系５にＲＯＭが搭載されていない場合や制御部４０が光学系５に搭載されたＲＯＭをリードする手段を持たない場合において、制御部４０は、ユーザの外部操作等に基づいて光学系５の種類を特定する構成でもよい。
【００２０】
収差補正部３０は、入力された画像データの歪曲収差を補正し、補正後の画像データを出力する。図２は、本実施例の画像処理装置の収差補正部３０の詳細な構成を示すブロック図である。収差補正部３０は、図２に示すように、補間パラメータレジスタ３１、リード座標計算部３２、データライト部３３、画像メモリ３４、データリード部３５、及び画素補間部３６により構成される。
【００２１】
補間パラメータレジスタ３１は、制御部４０により出力された各分割点の収差量と補間パラメータとを記憶する。
【００２２】
リード座標計算部３２は、補間パラメータレジスタ３１に記憶された収差量と補間パラメータの情報を読み出し、これらの情報に基づいて歪曲収差補正後の画像座標から歪曲収差補正前の画像座標を計算する。図３は、本実施例の画像処理装置のリード座標計算部３２の詳細な構成を示すブロック図である。リード座標計算部３２は、図３に示すように、第１座標変換部６１、収差量算出部６２、座標算出部６３、及び第２座標変換部６４により構成される。
【００２３】
第１座標変換部６１は、収差補正部３０に入力される画像データの各画素座標について、撮像素子１０の撮像領域における任意の点を原点とする座標系から光学系５により被写体が結像する領域の光学中心を原点とする座標系に変換する。
【００２４】
収差量算出部６２は、制御部４０により生成された各分割点の収差量と補間パラメータとに基づいて、第１座標変換部６１による座標変換後の画像データの各画素座標における収差量を算出する。
【００２５】
座標算出部６３は、収差量算出部６２により算出された画像データの各画素座標における収差量に基づいて、第１座標変換部６１による座標変換後の画像データの各画素座標の位置を補正する。
【００２６】
第２座標変換部６４は、座標算出部６３により各画素座標の位置を補正された画像データの各画素座標について、光学中心を原点とする座標系から撮像素子１０の撮像領域における任意の点を原点とする座標系に変換する。
【００２７】
データライト部３３は、信号処理部２０により出力された画像データ（Ｙ（輝度）、Ｃ（色差）データ）を画像メモリ３４に書き込む。画像メモリ３４は、データライト部３３により書き込まれた画像データを記憶する。
【００２８】
データリード部３５は、リード座標計算部３２により計算された画像座標に基づいて画素補間に必要な複数画素のメモリアドレスを計算し、画素補間に必要な複数画素を画像メモリ３４から読み出す。
【００２９】
画素補間部３６は、本発明の画素値算出部に対応し、撮像素子１０により生成された画像データにおける複数画素を使用した画素補間により、第２座標変換部６４による座標変換後の画像データの各画素座標に対応する画素値を算出する。具体的には、画素補間部３６は、リード座標計算部３２内の第２座標変換部６４により出力された座標変換後の画像データの各画素座標に基づいて、画素補間に使用する複数画素の重み付けを計算し、データリード部３５により読み出された画像データの複数画素に対して重み付け補間を行い、補間された画素を画素座標に対応する画素値として出力する。画素補間部３６は、全ての画像データの画素座標に対応する画素値を算出することで、最終的な出力画像を出力することができる。
【００３０】
次に、上述のように構成された本実施の形態の作用を説明する。図４は、本実施例の画像処理装置において、歪曲収差補正後の画像座標から歪曲収差補正前の画像座標を計算する方法について説明する図である。図４において、Ａ’Ｂ’Ｃ’Ｄ’は、光学系５により被写体からの光が結像する有効領域であり、点Ｐは光学中心を表す。ＰＡ’は最大像高である。
【００３１】
まず、本実施例の画像処理装置の設計者は、最大像高を図４に示すように複数の領域ＰＱ’，Ｑ’Ｒ’，Ｒ’Ｓ’，Ｓ’Ａ’に分割し、歪曲収差補正後の点Ｐ，Ｑ’，Ｒ’，Ｓ’，Ａ’における収差量を予め求める。点Ｐ，Ｑ’，Ｒ’，Ｓ’，Ａ’は、本発明の分割点に対応する。求めた各分割点の収差量は、上述したように制御部４０により記憶され、必要に応じて収差補正部３０内の補間パラメータレジスタ３１に書き込まれる。
【００３２】
例えば歪曲収差補正後の点Ｅ’における収差量を求める場合に、本実施例の画像処理装置が有する収差補正部３０は、点Ｒ’と点Ｓ’の収差量を補間して点Ｅ’における収差量を求める。
【００３３】
ここで、収差量の補間方法は、線形補間やスプライン補間等のｎ次多項式（ｎは自然数）による補間を用いたものである。また必ずしも分割点の間隔を等間隔にする必要は無く、収差量の変化が大きい領域において分割間隔を狭めたり分割数を増やしたりすることにより、本発明の画像処理装置は、補間精度を上げることができる。
【００３４】
歪曲収差補正後の任意の点における収差量をスプライン補間で算出する場合には、スプライン補間の式は以下に示すようになる。
【００３５】
ｘ［ｉ］≦ｘ＜ｘ［ｉ＋１］の場合において、
ｘｘ＝ｘ−ｘ［ｉ］ …（１）
ｙ＝ｙ［ｉ］＋ｘｘ＊（ｑ［ｉ］＋ｘｘ＊（ｒ［ｉ］＋ｓ［ｉ］＊ｘｘ）） …（２）
ここで、ｘは、任意の点における像高の２乗、ｉは整数の値である。また、ｙは、任意の点における収差量である。任意の点における像高をｘとしてもよいが、ｘを任意の点における像高の２乗とすることにより演算量を減らすことができる。点Ｐを原点とし、任意の点の水平方向の座標をｃｘ’、垂直方向の座標をｃｙ’とすると、任意の点における像高の２乗ｘは、以下の式で示される。
【００３６】
ｘ＝ｃｘ’＊ｃｘ’＋ｃｙ’＊ｃｙ’ …（３）
仮に点Ｅ’における像高をｘとする場合には、さらに平方根を算出する必要がある。
【００３７】
ここで、ｘ［０］，ｙ［０］，ｑ［０］，ｒ［０］，ｓ［０］は、点Ｐにおける補間パラメータである。ｘ［１］，ｙ［１］，ｑ［１］，ｒ［１］，ｓ［１］は、点Ｑ’における補間パラメータである。ｘ［２］，ｙ［２］，ｑ［２］，ｒ［２］，ｓ［２］は、点Ｒ’における補間パラメータである。ｘ［３］，ｙ［３］，ｑ［３］，ｒ［３］，ｓ［３］は、点Ｓ’における補間パラメータである。ｘ［４］，ｙ［４］，ｑ［４］，ｒ［４］，ｓ［４］は、点Ａ’における補間パラメータである。
【００３８】
また、ｘ［０］は点Ｐ、ｘ［１］は点Ｑ’、ｘ［２］は点Ｒ’、ｘ［３］は点Ｓ’、ｘ［４］は点Ａ’における像高の２乗である。さらに、ｙ［０］は点Ｐ、ｙ［１］は点Ｑ’、ｙ［２］は点Ｒ’、ｙ［３］は点Ｓ’、ｙ［４］は点Ａ’における収差量を示す。
【００３９】
例えば、図４に示す点Ｅ’の像高について考える。点Ｅ’の像高については、ｘ［２］≦ｘ＜ｘ［３］と表すことができるので、（１）式は、ｘｘ＝ｘ−ｘ［２］となる。また、（２）式は、ｙ＝ｙ［２］＋ｘｘ＊（ｑ［２］＋ｘｘ＊（ｒ［２］＋ｓ［２］＊ｘｘ））で表される。
【００４０】
図４に示す点Ｅ’の座標位置補正後の点Ｅの水平方向の座標をｃｘとすると、ｃｘ＝ｙ＊ｃｘ’である。また、点Ｅの垂直方向の座標をｃｙとすると、ｃｙ＝ｙ＊ｃｙ’である。
【００４１】
図５は、本実施例の画像処理装置における光学中心と撮像素子１０の撮像領域中心が異なる場合について説明する図である。図５において、Ａ’Ｂ’Ｃ’Ｄ’は、光学系５により被写体が結像する有効領域の左上端、左下端、右下端、右上端を示しており、点Ｐは光学系５の有効領域の光学中心を表す。一方、Ａ”Ｂ”Ｃ”Ｄ”は、撮像素子１０の撮像領域であり、点Ｐ”は撮像領域中心を表す。
【００４２】
また、図５において、ｘｓｉｚｅは撮像素子１０の水平画素数を表し、ｙｓｉｚｅは撮像素子１０の垂直画素数を表す。さらに、光学中心Ｐの水平方向の座標をｘｐ、垂直方向の座標をｙｐ、撮像領域中心P”の水平方向の座標をｘｐ”、垂直方向の座標をｙｐ”とすると、光学中心Ｐに対する撮像素子１０の撮像領域中心Ｐ”のオフセットｘｏｆｆ、ｙｏｆｆは、以下の式で表される。
【００４３】
ｘｏｆｆ＝ｘｐ”−ｘｐ …（４）
ｙｏｆｆ＝ｙｐ”−ｙｐ …（５）
これらのオフセット情報は、補間パラメータの一種として制御部４０により補間パラメータレジスタ３１に書き込まれる。制御部４０は、光学中心Ｐと撮像素子１０の撮像領域中心Ｐ”とのずれ量を示すオフセット情報について、どのような方法で取得してもよい。以下に一例を示す。図６，７は、本実施例の画像処理装置において光学中心Ｐの水平方向の座標ｘｐ及び垂直方向の座標ｙｐの測定方法を説明する図である。
【００４４】
図６に示すように、撮像素子１０は、光学系５を介して白地に黒丸が描画されたチャート１を撮影する。黒丸は、撮影するのに十分な大きさを持っている。また、黒丸の中心は光学系５の光軸中心３上の光学中心Ｐと一致するように配置する。
【００４５】
光学系５の空間周波数特性の影響により、撮像素子１０に結像した黒丸は、図７（ａ）のようにボケた像となる。ここで、撮像中心１０によって生成される画像の最大輝度を２５５とする。撮像素子１０に結像した像に対して輝度の５０％以上を最大輝度２５５とし、それ以外は最小輝度０とする2値化を行うと、図７（ｂ）に示すような像となる。
【００４６】
輝度０の部分の水平方向の最小値をｘｍｉｎとし、最大値をｘｍａｘとし、垂直方向の最小値をｙｍｉｎとし、最大値をｙｍａｘとすると、図５に示す光学中心Ｐの水平方向の座標ｘｐ及び垂直方向の座標ｙｐは、以下の式により表される。
【００４７】
ｘｐ＝（ｘｍｉｎ＋ｘｍａｘ）／２ …（６）
ｙｐ＝（ｙｍｉｎ＋ｙｍａｘ）／２ …（７）
このようにして求められたｘｐ，ｙｐの値を（４）（５）式に代入することにより、オフセットｘｏｆｆ、ｙｏｆｆが求まる。制御部４０は、例えば製造段階において上述した方法によりオフセット情報ｘｏｆｆ、ｙｏｆｆを取得しており、補間パラメータとして使用する。
【００４８】
次に、収差補正部３０の動作について詳細に説明する。図８は、本実施例の画像処理装置の動作を示すフローチャート図である。なお、収差量の補間方法は、スプライン補間を用いたものとして説明する。
【００４９】
最初に、制御部４０は、分割点Ｐ，Ｑ’，Ｒ’，Ｓ’，Ａ’の各々の収差量と補間パラメータとを生成する。本実施例において、制御部４０は、予め収差量と補間パラメータの情報を有しているので、それらの情報を出力するのみでよい。補間パラメータは、撮像素子１０の水平画素数ｘｓｉｚｅ、垂直画素数ｙｓｉｚｅ、光学中心Ｐに対する撮像素子１０の撮像領域中心Ｐ”の水平オフセットｘｏｆｆ、及び垂直オフセットｙｏｆｆを含むものとする。制御部４０は、分割点Ｐ，Ｑ’，Ｒ’，Ｓ’，Ａ’の各々の収差量と補間パラメータとを補間パラメータレジスタ３１に書き込む（ステップＳ１）。
【００５０】
次に、リード座標計算部３２内の第１座標変換部６１は、図５に示す点Ａ”を原点とした座標系における撮像領域中心P”の水平方向の座標ｘｐ”と、垂直方向の座標ｙｐ”とをｘｓｉｚｅ、ｙｓｉｚｅに基づいて算出する（ステップＳ２）。
【００５１】
次に、第１座標変換部６１は、図５に示す点Ａ”を原点とした座標系における画像データの水平座標ｓｘ”及び垂直座標ｓｙ”を原点に設定する（ステップＳ３）。その後、第１座標変換部６１は、後述するように水平座標ｓｘ”及び垂直座標ｓｙ”を順次変えていくことにより、撮像領域全域をカバーする。
【００５２】
次に、第１座標変換部６１は、ｓｙ”とｙｓｉｚｅ−１とを比較する。ｓｙ”≦ｙｓｉｚｅ−１の場合には、後述するステップＳ５に進み、そうでない場合には処理を終了する（ステップＳ４）。すなわち、第１座標変換部６１は、垂直座標ｓｙ”が撮像素子１０の撮像領域中であるか否かを判定している。
【００５３】
次に、第１座標変換部６１は、ｓｘ”とｘｓｉｚｅ−１とを比較する（ステップＳ５）。ｓｘ”≦ｘｓｉｚｅ−１の場合には、後述するステップＳ７に進み、そうでない場合にはｓｙ”に１を加算するとともにｓｘ”に０を代入し、ステップＳ４に戻る（ステップＳ６）。すなわち、第１座標変換部６１は、垂直座標ｓｘ”が撮像素子１０の撮像領域中であるか否かを判定し、ｓｘ”が撮像領域を超えた場合にはｓｘ”を０に戻して垂直座標を１段下に下げている。
【００５４】
次に、第１座標変換部６１は、収差補正部３０に入力される画像データの各画素座標について、撮像素子１０の撮像領域における点Ａ”を原点とする座標系から光学中心Ｐを原点とする座標系である座標ｃｘ’，ｃｙ’に変換する（ステップＳ７）。座標変換により生成されたｃｘ’は、上述したように、点Ｐを原点とした水平方向の座標であり、ｃｙ’は垂直方向の座標である。
【００５５】
次に、収差量算出部６２は、ステップＳ８からステップＳ１６までの間において、制御部４０により生成された各分割点の収差量と補間パラメータとに基づいて、第１座標変換部６１による座標変換後の画像データの各画素座標における収差量を算出する。
【００５６】
具体的に説明すると、まず収差量算出部６２は、第１座標変換部６１により出力された座標ｃｘ’，ｃｙ’に基づいて、像高の２乗ｘを計算する（ステップＳ８）。
【００５７】
次に、収差量算出部６２は、ｘとｘ［１］とを比較する（ステップＳ９）。ｘ＜ｘ［１］の場合には、収差量算出部６２は、ｉに０を設定し（ステップＳ１０）、後述するステップＳ１６に進む。
【００５８】
ｘ≧ｘ［１］の場合には、収差量算出部６２は、ｘとｘ［２］とを比較する（ステップＳ１１）。ｘ＜ｘ［２］の場合には、収差量算出部６２は、ｉに１を設定し（ステップＳ１２）、後述するステップＳ１６に進む。
【００５９】
ｘ≧ｘ［２］の場合には、収差量算出部６２は、ｘとｘ［３］とを比較する（ステップＳ１３）。ｘ＜ｘ［３］の場合には、収差量算出部６２は、ｉに２を設定し（ステップＳ１４）、後述するステップＳ１６に進む。
【００６０】
ｘ≧ｘ［３］の場合には、収差量算出部６２は、ｉに３を設定する（ステップＳ１５）。
【００６１】
すなわち、収差量算出部６２は、ステップＳ８からステップＳ１５までにおいて、第１座標変換部６１による座標変換後の各画素座標の像高が制御部４０によって分割された複数の領域の中のいずれの領域に属するのかを判別している。
【００６２】
その後、収差量算出部６２は、補間パラメータを使用して制御部４０によって分割された領域の中の属している領域を分割している分割点の収差量から補間することにより画像データにおける各画素座標における収差量ｙを算出する（ステップＳ１６）。本実施例において、収差量算出部６２は、収差量ｙをスプライン補間により算出する。
【００６３】
例えば、ｘ［２］≦ｘ＜ｘ［３］が成立する場合には、収差量算出部６２は、ステップＳ１４においてｉに２を設定し、分割点Ｒ’における補間パラメータ（ｘ［２］，ｙ［２］，ｑ［２］，ｒ［２］，ｓ［２］）を使用して、分割点Ｒ’の収差量ｙ［２］から補間することにより、当該画素座標における収差量ｙを算出する。
【００６４】
次に、座標算出部６３は、収差量算出部６２により算出された画像データの各画素座標における収差量に基づいて、第１座標変換部６１による座標変換後の画像データの各画素座標の位置を補正する（ステップＳ１７）。これにより、座標算出部６３は、歪曲収差補正前の画像データの水平方向の座標ｃｘ及び垂直方向の座標ｃｙを算出する。
【００６５】
次に、第２座標変換部６４は、座標算出部６３により画像データの各画素座標の位置を補正された画像データの各画素座標ｃｘ，ｃｙについて、光学中心Ｐを原点とする座標系から撮像素子１０の撮像領域における任意の点（本実施例においては点Ａ”）を原点とする座標系に変換する（ステップＳ１８）。第２座標変換部６４は、この座標変換により、水平方向の座標ｓｘ、及び垂直方向の座標ｓｙを出力する。
【００６６】
次に、データリード部３５は、第２座標変換部６４により出力されたｓｘ，ｓｙに基づいて、画素補間に必要な複数画素のメモリアドレスを計算する（ステップＳ１９）。
【００６７】
その後、データリード部３５は、計算したメモリアドレスに対応した画素の画素値（画素のＹ（輝度）、Ｃ（色差））を画像メモリ３４から読み出す（ステップＳ２０）。
【００６８】
次に、画素補間部３６は、第２座標変換部６４により出力された座標変換後の画素座標ｓｘ，ｓｙに基づいて、画素補間に使用する複数画素の重み付けを計算し（ステップＳ２１）、ステップＳ２０でデータリード部３５により読み出された複数画素の画素値に対して重み付けを使用した画素補間を行う（ステップＳ２２）。その後、画素補間部３６は、補間された画素を画素座標に対応する画素値として出力する。
【００６９】
次に、第１座標変換部６１は、ｓｘ”に1を加算する（ステップＳ２３）。このようにして第１座標変換部６１は、収差補正後の水平方向の画素座標を１つ右にずらした後、ステップＳ５に戻る。
【００７０】
上述のとおり、本発明の実施例１の形態に係る画像処理装置によれば、システムコストを安価に抑えるとともに、光学系による光学中心と撮像素子の撮像領域中心とが一致していない場合においても画像の歪みを正確に補正して高品質な画像を生成することができる。
【００７１】
すなわち、本実施例の画像処理装置は、第１座標変換部６１を備えることで、収差補正部３０に入力される画像データ、または収差補正部３０により収差補正される後の画像データの画素座標を撮像素子１０の撮像領域の任意の点（本実施例においては点Ａ”）を原点とする座標系から、光学中心Ｐを原点とする座標系に変換し、収差量算出部６２及び座標算出部６３を備えることで光学中心Ｐを原点とする座標系で収差補正前の画像データの画素座標を算出し、第２座標変換部６４を備えることで収差補正前の画像データの画素座標を光学中心Ｐを原点とする座標系から撮像素子の撮像領域の任意の点（本実施例においては点Ａ”）を原点とする座標系に変換し、画素補間部３６を備えることで画像データの画素座標に対応する画素値を画素補間により求めるので、光学中心Ｐと撮像素子の撮像領域中心Ｐ”は一致していない場合でも正確な補正を行うことができ、高品質な画像の生成に資するという利点を有する。
【００７２】
さらに、本実施例の画像処理装置は、特許文献１に記載の画像処理装置のように全ての格子単位に対応する補正ベクトルをデータとして備えている必要が無く、像高を複数の領域に分割した場合における各分割点の収差量と補間パラメータのみを備えることにより、分割点間の像高の収差量を分割点の収差量から補間して求めることができるので、システムコストを安価に抑えることができるという利点も有する。
【実施例２】
【００７３】
図９は、本発明の実施例２の画像処理装置の構成を示すブロック図である。この画像処理装置は、図９に示すように光学系５を介して撮像素子１０に結像した画像を処理する装置であり、信号処理部２０、収差補正部３０、制御部４０、及びズーム駆動部５０を備えている。すなわち、図１で説明した実施例１の画像処理装置の構成と異なる点は、ズーム駆動部５０をさらに備えている点である。
【００７４】
ズーム駆動部５０は、光学系５の焦点距離を調節する。光学系５は、ズーム倍率、すなわち焦点距離調整のためにレンズが動く構造となっている。ズーム駆動部５０は、制御部４０が設定した値に基づいて、光学系５の対応するレンズを駆動する。
【００７５】
撮像素子１０、信号処理部２０、及び収差補正部３０は、実施例１と同様であり、重複した説明を省略する。
【００７６】
制御部４０は、実施例１と同様の機能を備えるほか、光学系５の焦点距離を決定し、焦点距離に応じてズーム駆動部５０を駆動するための駆動信号を生成する。さらに、制御部４０は、光学系５による焦点距離を複数の領域に分割した場合において、「焦点距離の各分割点」に対応した「像高の各分割点の収差量」から補間して、現在の焦点距離（決定した焦点距離）における「像高の各分割点の収差量」を算出する。
【００７７】
なお、「焦点距離の各分割点」に応じた「像高の各分割点」の収差量及び補間パラメータを生成する方法は、どのようなものでもよい。例えば、制御部４０は、「焦点距離の各分割点」に応じた「像高の各分割点」における収差量や補間パラメータ等の情報をフラッシュメモリやＲＯＭ等の記憶手段にテーブルとして予め記憶していてもよい。
【００７８】
次に、上述のように構成された本実施の形態の作用を説明する。図１０は、本実施例の画像処理装置において、焦点距離と収差量との関係を示す図である。図１０において、横軸が焦点距離であり、縦軸が収差量である。焦点距離がａの場合には、光学系５のレンズはワイド端（最もワイド側（広角側）までズームレンズを動かしたところ）である。また、焦点距離がｅの場合には、光学系５のレンズはテレ端（最も望遠側までズームレンズを動かしたところであり、倍率最大）である。
【００７９】
図１０に示すように、ズーム光学系において、収差量は焦点距離に応じて変化する。そこで、本実施例の画像処理装置の制御部４０は、焦点距離を複数の領域ａｂ，ｂｃ，ｃｄ，ｄｅに分割し、焦点距離の各分割点ａ，ｂ，ｃ，ｄ，ｅに対応した収差量を予め求めて記憶している。なお、この場合における収差量とは、実施例１と同様に「像高の各分割点の収差量」を予め求めておく必要がある。すなわち、本実施例の画像処理装置の設計者は、焦点距離の分割点ａ，ｂ，ｃ，ｄ，ｅの各々に対して、像高の分割点Ｐ，Ｑ’，Ｒ’，Ｓ’，Ａ’の各々における収差量を予め求めておく。
【００８０】
求めた収差量は、上述したように制御部４０により記憶され、必要に応じて収差補正部３０内の補間パラメータレジスタ３１に書き込まれる。
【００８１】
収差量の補間方法は、線形補間やスプライン補間等のｎ次多項式（ｎは自然数）による補間を用いたものである。また必ずしも分割点の間隔を等間隔にする必要は無く、収差量の変化が大きい領域において分割間隔を狭めたり分割数を増やすことにより、本発明の画像処理装置は、補間精度を上げることができる。
【００８２】
焦点距離ｆにおける収差量をスプライン補間で算出する場合には、スプライン補間の式は以下に示すようになる。
【００８３】
ｘ＿［ｊ］≦ｆ＜ｘ＿［ｊ＋１］の場合において、
ｘｘ＿＝ｆ−ｘ＿［ｊ］ …（８）
ｙ＿＝ｙ＿［ｊ］＋ｘｘ＿＊（ｑ＿［ｊ］＋ｘｘ＿＊（ｒ＿［ｊ］＋ｓ＿［ｊ］＊ｘｘ＿）） …（９）
ここで、ｙ＿は、焦点距離ｆにおける収差量である。また、ｘ＿［０］，ｙ＿［０］，ｑ＿［０］，ｒ＿［０］，ｓ＿［０］は、焦点距離ａにおける補間パラメータである。ｘ＿［１］，ｙ＿［１］，ｑ＿［１］，ｒ＿［１］，ｓ＿［１］は、焦点距離ｂにおける補間パラメータである。ｘ＿［２］，ｙ＿［２］，ｑ＿［２］，ｒ＿［２］，ｓ＿［２］は、焦点距離ｃにおける補間パラメータである。ｘ＿［３］，ｙ＿［３］，ｑ＿［３］，ｒ＿［３］，ｓ＿［３］は、焦点距離ｄにおける補間パラメータである。ｘ＿［４］，ｙ＿［４］，ｑ＿［４］，ｒ＿［４］，ｓ＿［４］は、焦点距離ｅにおける補間パラメータである。
【００８４】
また、ｘ＿［０］は焦点距離ａ、ｘ＿［１］は焦点距離ｂ、ｘ＿［２］は焦点距離ｃ、ｘ＿［３］は焦点距離ｄ、ｘ＿［４］は焦点距離ｅである。さらに、ｙ＿［０］は焦点距離ａ、ｙ＿［１］は焦点距離ｂ、ｙ＿［２］は焦点距離ｃ、ｙ＿［３］は焦点距離ｄ、ｙ＿［４］は焦点距離ｅにおける収差量を示す。
【００８５】
したがって、図１０に示す焦点距離ｆに基づき、ｘ＿［０］≦ｆ＜ｘ＿［１］と表すことができるので、（８）式は、ｘｘ＿＝ｆ−ｘ＿［０］となる。また、（９）式は、ｙ＿＝ｙ＿［０］＋ｘｘ＿＊（ｑ＿［０］＋ｘｘ＿＊（ｒ＿［０］＋ｓ＿［０］＊ｘｘ＿））で表される。
【００８６】
次に、制御部４０の動作について詳細に説明する。図１１は、本実施例の画像処理装置の動作を示すフローチャート図である。なお、収差量の補間方法は、スプライン補間を用いたものとして説明する。
【００８７】
まず、制御部４０は、例えばユーザのズーム操作によって光学系５の焦点距離ｆを決定し、焦点距離ｆに応じてズーム駆動部５０を駆動するための駆動信号を生成する。ズーム駆動部５０は、制御部４０により生成された駆動信号に基づいて、光学系５の焦点距離をｆに調節する。
【００８８】
次に、制御部４０は、焦点距離ｆとｘ＿［１］とを比較する（ステップＳ１）。ｆ＜ｘ＿［１］の場合には、制御部４０は、ｊに０を設定し（ステップＳ２）、後述するステップＳ８に進む。
【００８９】
ｆ≧ｘ＿［１］の場合には、制御部４０は、ｆとｘ＿［２］とを比較する（ステップＳ３）。ｆ＜ｘ＿［２］の場合には、制御部４０は、ｊに１を設定し（ステップＳ４）、後述するステップＳ８に進む。
【００９０】
ｆ≧ｘ＿［２］の場合には、制御部４０は、ｆとｘ＿［３］とを比較する（ステップＳ５）。ｆ＜ｘ＿［３］の場合には、制御部４０は、ｊに２を設定し（ステップＳ６）、後述するステップＳ８に進む。
【００９１】
ｆ≧ｘ＿［３］の場合には、制御部４０は、ｊに３を設定する（ステップＳ７）。
【００９２】
すなわち、制御部４０は、ステップＳ１からステップＳ７までにおいて、焦点距離ｆが分割された複数の領域の中からいずれの領域に属するのかを判別している。
【００９３】
次に、制御部４０は、「焦点距離の各分割点」に対応した「像高の各分割点の収差量」から補間して、現在の焦点距離（決定した焦点距離）ｆにおける「像高の各分割点の収差量」を算出する（ステップＳ８）。すなわち、制御部４０は、スプライン補間を行うことにより、焦点距離ｆの場合について、点Ｐにおける収差量ｙ＿ｐ、点Ｑ’における収差量ｙ＿ｑ’、点Ｒ’における収差量ｙ＿ｒ’、点Ｓ’における収差量ｙ＿ｓ’、及び点Ａ’における収差量ｙ＿ａ’を算出する。
【００９４】
次に、制御部４０は、ｙ＿ｐ、ｙ＿ｑ’、ｙ＿ｒ’、ｙ＿ｓ’、及びｙ＿ａ’に基づいて、点Ｐ，Ｑ’，Ｒ’，Ｓ’，Ａ’における補間パラメータを算出する（ステップＳ９）。
【００９５】
最後に、求めた収差量及び補間パラメータを利用して、本実施例の画像処理装置は、図８に示す処理を行い（ステップＳ１０）、処理を終了する。
【００９６】
上述のとおり、本発明の実施例２の形態に係る画像処理装置によれば、実施例１の効果に加え、光学系５が焦点距離調整のためにレンズが動く構造を有しているために収差量が焦点距離に応じて変化する場合においても、制御部４０が焦点距離ｆに応じた適切な補間パラメータを算出し、高品質な画像を生成することができる。
【産業上の利用可能性】
【００９７】
本発明に係る画像処理装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置に用いられ、光学系によって生じる収差を補正する画像処理装置に利用可能である。
【符号の説明】
【００９８】
１ チャート
３ 光学中心
５ 光学系
１０ 撮像素子
２０ 信号処理部
３０ 収差補正部
３１ 補間パラメータレジスタ
３２ リード座標計算部
３３ データライト部
３４ 画像メモリ
３５ データリード部
３６ 画素補間部
４０ 制御部
５０ ズーム駆動部
６１ 第１座標変換部
６２ 収差量算出部
６３ 座標算出部
６４ 第２座標変換部
【特許請求の範囲】
【請求項１】
光学系を介して被写体からの光を撮像して画像データを生成する撮像素子と、
前記光学系により被写体が結像する領域の像高を複数の領域に分割し、前記領域毎に分割点を設定して、前記各分割点の収差量と前記分割点間の像高の収差量を求めるために必要な補間パラメータとを生成する制御部と、
前記画像データの各画素座標について、前記撮像素子の撮像領域における任意の点を原点とする座標系から前記光学系により被写体が結像する領域の光学中心を原点とする座標系に変換する第１座標変換部と、
前記制御部により生成された前記各分割点の収差量と補間パラメータとに基づいて、前記第１座標変換部による座標変換後の画像データの各画素座標における収差量を算出する収差量算出部と、
前記収差量算出部により算出された各画素座標における収差量に基づいて、前記第１座標変換部による座標変換後の画像データの各画素座標の位置を補正する座標算出部と、
前記座標算出部により算出された座標位置補正後の画像データの各画素座標について、前記光学中心を原点とする座標系から前記撮像素子の撮像領域における任意の点を原点とする座標系に変換する第２座標変換部と、
前記撮像素子により生成された画像データにおける複数の画素を使用して、前記第２座標変換部による座標変換後の画像データの各画素座標に対応する画素値を算出する画素値算出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記光学系の焦点距離を調節するズーム駆動部を備え、
前記制御部は、前記光学系の焦点距離を決定し、前記焦点距離に応じて前記ズーム駆動部を駆動するための駆動信号を生成するとともに、前記光学系による焦点距離を複数の領域に分割し、前記領域毎に分割点を設定して、前記領域の各分割点に対応した像高の収差量から、現在の焦点距離における像高の収差量を算出することを特徴とする請求項１記載の画像処理装置。
【請求項１】
光学系を介して被写体からの光を撮像して画像データを生成する撮像素子と、
前記光学系により被写体が結像する領域の像高を複数の領域に分割し、前記領域毎に分割点を設定して、前記各分割点の収差量と前記分割点間の像高の収差量を求めるために必要な補間パラメータとを生成する制御部と、
前記画像データの各画素座標について、前記撮像素子の撮像領域における任意の点を原点とする座標系から前記光学系により被写体が結像する領域の光学中心を原点とする座標系に変換する第１座標変換部と、
前記制御部により生成された前記各分割点の収差量と補間パラメータとに基づいて、前記第１座標変換部による座標変換後の画像データの各画素座標における収差量を算出する収差量算出部と、
前記収差量算出部により算出された各画素座標における収差量に基づいて、前記第１座標変換部による座標変換後の画像データの各画素座標の位置を補正する座標算出部と、
前記座標算出部により算出された座標位置補正後の画像データの各画素座標について、前記光学中心を原点とする座標系から前記撮像素子の撮像領域における任意の点を原点とする座標系に変換する第２座標変換部と、
前記撮像素子により生成された画像データにおける複数の画素を使用して、前記第２座標変換部による座標変換後の画像データの各画素座標に対応する画素値を算出する画素値算出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記光学系の焦点距離を調節するズーム駆動部を備え、
前記制御部は、前記光学系の焦点距離を決定し、前記焦点距離に応じて前記ズーム駆動部を駆動するための駆動信号を生成するとともに、前記光学系による焦点距離を複数の領域に分割し、前記領域毎に分割点を設定して、前記領域の各分割点に対応した像高の収差量から、現在の焦点距離における像高の収差量を算出することを特徴とする請求項１記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１１４４８０（Ｐ２０１１−１１４４８０Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６７７１９（Ｐ２００９−２６７７１９）
【出願日】平成２１年１１月２５日（２００９．１１．２５）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２５日（２００９．１１．２５）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]