説明

画像補正方法および撮像装置

記憶領域の少ないテーブルを用いて、シェーディング特性が動的に変化するような場合にも性能低下を招くことなく、高精度のシェーディング補正を行うことができる画像補正方法を実現する。画像を構成する画素の画素座標と所定の基準座標との距
離を算出する距離算出工程と、前記距離算出工程で算出した距離をN次関数(Nは1以上の整数)の変数に入力することによって距離補正値を算出する距離補正値算出工程と、距離補正値と補正係数との対応を示すテーブルに基いて、前記距離補正値算出工程で算出した距離補正値に対応する補正係数を算出する補正係数算出工程と、前記補正係数算出工程で算出した補正係数に基いて、前記画素の信号を補正する画素信号補正工程とを備える。

【発明の詳細な説明】
【技術分野】
この発明は、撮像装置に係るものであり、特に、例えば画像における輝度や色のむら(シェーディング)を補正するための画像補正技術に関するものである。
【背景技術】
デジタルスチルカメラを初めとする撮像装置で発生するシェーディングは、カメラ光学系の周辺減光や固体撮像素子の特性分布等により、撮像画面の中央部と周辺部との間で輝度や色の差異(むら)が発生する現象である。
このようなシェーディングを補正するための画像補正方法として、例えば日本特許公開2000−69371号公報に開示されているものがある。特に実施例1および第1図に開示された撮像装置における画像補正方法は、画素の座標の2次(N次)曲面関数によって近似したシェーディング補正係数を演算し、このシェーディング補正係数をCCD(Charge Coupled Device)からの出力信号にかけることにより、シェーディング補正を行うものである。
しかしながら、このような従来の画像補正方法では、画素の座標の2次(N次)曲面関数によって近似したシェーディング補正係数を演算しており、シェーディングがレンズ特性や固体撮像素子の感度特性など複数の要因に起因して起こる現象であるため、N次関数による近似では十分な精度でシェーディング補正を行えない場合があるという問題がある。
また、シェーディングを補正するための別の画像補正方法として、例えば日本特許公開2002−216136号公報に開示されているものがある。特に第7頁および第12図に開示された撮像装置における画像補正方法は、画素の座標と光軸中心座標との距離を算出し、この距離に応じたシェーディング補正係数がルックアップテーブルから取出され、このシェーディング補正係数をCCDからの出力信号にかけることにより、シェーディング補正を行うものである。
しかしながら、このような従来の画像補正方法では、シェーディング補正の精度を高めるためには、多くのデータをルックアップテーブルに保持しておく必要がある。また、光学ズーム機能等との組み合わせによりシェーディング特性が撮像中に動的に変化するような場合には、それらのデータを変更する必要があるため、書き換え用データを保持するためにさらに多くの記憶領域が必要となり、さらに、書き換えに必要な処理時間も長くなるので、撮像時のフレームレートが低下するなどの性能低下につながるという問題がある。
以上のように、従来の画像補正方法では、十分な精度でシェーディング補正を行えないという点で問題があった。また、別の従来の画像補正方法では、ルックアップテーブルのデータが多く、その保持に多くの記憶領域が必要となり、さらに、それが性能低下にもつながるという点で問題があった。
この発明は、従来の画像補正方法の有する上記のような問題を解決することを目的とするものである。
【発明の開示】
この発明に係る画像補正方法は、画像を構成する画素の画素座標と所定の基準座標との距離を算出する距離算出工程と、前記距離算出工程で算出した距離をN次関数(Nは1以上の整数)の変数に入力することによって距離補正値を算出する距離補正値算出工程と、距離補正値と補正係数との対応を示すテーブルに基いて、前記距離補正値算出工程で算出した距離補正値に対応する補正係数を算出する補正係数算出工程と、前記補正係数算出工程で算出した補正係数に基いて、前記画素の信号を補正する画素信号補正工程とを備えるものである。
このように、この画像補正方法では、画素座標と所定の基準座標との距離をN次関数の変数に入力することによって距離補正値を算出し、距離補正値と補正係数との対応を示すテーブルに基いて、前記距離補正値算出工程で算出した距離補正値に対応する補正係数を算出するようにした。
これにより、記憶領域の少ないテーブルを用いて、シェーディング特性が動的に変化するような場合にも性能低下を招くことなく、高精度のシェーディング補正が実現できるのである。
【図面の簡単な説明】
図1はこの発明の実施の形態1による撮像装置を示す構成図、
図2はこの発明の実施の形態1による撮像装置のルックアップテーブルを示す図、
図3はこの発明の実施の形態1による撮像装置の距離補正値と補正係数との関係を説明するための図、
図4はこの発明の実施の形態2による撮像装置を示す構成図、
図5はこの発明の実施の形態2による撮像装置のルックアップテーブルを示す図、
図6はこの発明の実施の形態3による撮像装置を示す構成図、
図7はこの発明の実施の形態3による撮像装置のルックアップテーブルを示す図、
図8はこの発明の実施の形態3による撮像装置のルックアップテーブルを示す図、
図9はこの発明の実施の形態4による撮像装置の2つの基準座標と距離との関係を説明するための図、
である。
【発明を実施するための最良の形態】
実施の形態1.
図1はこの発明の実施の形態1による撮像装置を示す構成図である。
図1において、撮像装置は、光学ズーム機能を備えた撮像レンズ11、カメラに入射する光量を調節するための絞り機構12、光電変換素子であるCCD(Charge Coupled Device)13、アナログ信号処理部14、アナログ−デジタル変換器(ADコンバータ)15、デジタル信号処理部16、撮像したデータを記憶領域に格納するための撮像データ出力部17、光学ズーム機能、絞り機構を制御するとともに、後述するシェーディング補正処理部20中の距離補正部23、シェーディング補正係数算出部24の設定を変更する撮像制御部18から構成されている。
さらに、シェーディング補正を行うためのシェーディング補正処理部20は、画素の水平座標及び垂直座標をカウントするための画素座標カウント部21、画素の座標に基づき基準点からの距離を算出するための距離算出部22、距離の値に対して2次あるいはN次関数による補正を行うための距離補正部23、距離補正部から出力された距離の値に基づき、補正係数を求めるためのシェーディング補正係数算出部24、補正係数を画素値に対して乗算し信号レベルを補正するための画像信号補正部25から構成されている。
次に動作について説明する。
まず撮像レンズ11は絞り機構12を通して撮影対象からの光をCCD13の受光面に結像させる。CCD13は赤(R)、緑(G)、青(B)の光にそれぞれ感応する3種の画素を交互にマトリクス状に数十万個配列して成り、画素毎に受けた光を電荷に変換して蓄積し、蓄積電荷をアナログ信号として出力する。
撮像レンズ11は光学ズーム機能を有しており、ズーム量の設定値は撮像制御部18によって制御される。また絞り機構12の絞り設定量も同様に撮像制御部18によって制御される。
アナログ信号処理部14は、CCD13からの出力信号を2重相関サンプリングし、ゲイン制御を行う。ADコンバータ15はアナログ信号処理部14から入力されるアナログ信号をデジタル信号に変換して、シェーディング補正処理部20に出力する。
デジタル信号化された画像データはシェーディング補正処理部20に入力される。シェーディング補正処理部20では、まず画素値データを画素座標カウント部21に入力する。
画素座標カウント部21では、画像データと共に送られる画像の垂直同期信号および水平同期信号に基づき、画素の撮像画面における座標をカウントし、座標値を距離算出部22に出力する。
距離算出部22は、画素の座標値と基準点の座標値から、基準点と画素の距離を算出する。距離Dは画素の座標値を(x、y)、基準点の座標値を(x、y)とすると、下記の式(1)に従って求められる。

算出された距離Dは距離補正部23に出力される。
距離補正部23ではN次関数による距離の補正処理を行う(Nは1以上の整数)。例えば補正処理に2次関数を使用する場合には、距離補正値Sは、距離Dの値から下記の式(2)に従って求められる。

ここでa、a、aは変数に係る係数であり、これらの係数は予め使用する撮像機器におけるシェーディングの特性を測定し、後述するシェーディング補正係数算出部24におけるルックアップテーブルと併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。またこれらの係数は撮像制御部18からの設定によって、任意の値に変更可能な仕組みとしている。
シェーディング補正係数算出部24では距離補正値Sを参照し、予め設定されたルックアップテーブルに基いて補正係数を決定する。図2はシェーディング補正係数算出部24で使用するルックアップテーブルの例を示したものである。例えば図3では距離補正値Sについてそれぞれ一定間隔Nの0からm×Nまでの(m+1)個のポイントを規定し(mは1以上の整数)、それぞれのポイントに対して、対応する補正係数K〜Kを予め決定している。
図3はルックアップテーブルを用いて距離補正値Sから補正係数Kを求める方法について示したものである。図3では、横軸が参照する距離補正値Sを示し、縦軸が距離補正値Sを参照して求められる補正係数Kを示している。図4は、図3と同じく距離補正値Sについてそれぞれ一定間隔Nの0からm×Nまでの(m+1)個のポイントを規定した場合についての例である。図3のルックアップテーブルの値は予め使用する撮像機器におけるシェーディングの特性を測定し、距離補正部23において設定する係数と併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。また、これらの係数は撮像制御部18からの設定によって、任意の値に変更可能な仕組みを用意している。
シェーディング補正係数算出部24における実際の距離補正値Sは、0からm×Nまでの(m+1)個のポイントのうちいずれかのポイント間に含まれるため、最も近い2つのポイントにおける距離補正値と補正係数から線形補間により補正係数を決定する。補正係数Kは距離補正値Sが条件式t・N≦S<(t+1)・Nを満たす場合、下記の式(3)に従って求められる。

なお、この実施例では補正係数を線形補間により決定することとして説明しているが、補正係数の決定方法はこれに限られるものではない。
算出された補正係数Kは画像信号補正部25に対して出力される。
画像信号補正部25では、補正係数Kを倍率として用い、画素の信号レベルに対して補正係数Kを乗算することにより補正後の信号レベルを求める。画素毎に補正係数Kによる補正を行った撮像データがデジタル信号処理部16に対して出力される。
デジタル信号処理部16は、ADコンバータ15によってデジタル化され、シェーディング補正処理部20によって補正されたCCD13の出力信号に対して、ホワイトバランス調整、欠陥画素補正、R、G、B3色の信号の補間、ガンマ補正、色変換等の処理を行い、輝度信号および色差信号から成る画像データを生成する。
撮像データ出力部17では画像データを記憶領域に格納したり、画像確認用の液晶画面に表示する等の処理を行う。
撮像制御部18では、撮像レンズ11が持つ光学ズーム機能および、絞り機構12の制御を行う。ここで、光学ズームや絞りを変更した場合には、光学系の特性が変化するため、発生するシェーディングの特性にも変化が生じる。そこで、撮像制御部18は撮像レンズと光学ズーム設定に基づいて距離補正部23、およびシェーディング補正係数算出部24の設定を変更する。
設定変更の方式として、距離補正部23の係数のみを変更する、シェーディング補正係数算出部24で使用するルックアップテーブルのデータのみを変更する、距離補正部23の係数およびシェーディング補正係数算出部24のデータの両方を変更する、という3通りの方法がある。
光学系の特性変化が複雑でない場合には、距離補正部23の係数のみを変更することによって対応することが可能である。この場合にはデータ量の多いシェーディング補正係数算出部24のデータ変更を行う必要がないため、シェーディング特性の変化に対する設定変更量を必要最低限に抑えることが出来る。特に光学ズームや絞り量の変更は画像撮像中に動的に行う可能性が高く、シェーディング補正のデータ変更を撮像フレーム毎に実行する場合が考えられる。その際設定変更量が少ないことにより、光学系の特性変更に対して高速に追従可能なシェーディング補正を実現することができる。
通常、光学ズームの設定変更および絞りの設定変更に対応するためには、予め使用する光学ズーム設定、および絞り設定のそれぞれにおけるシェーディングの特性を測定し、特性に合わせたシェーディング補正のデータを切り替え用データとして記憶領域に保持しておく必要がある。しかし、前述のように設定変更を距離補正部23の係数変更のみで行える動作条件があれば、切り替え用パラメータとして記憶領域に保持しておくデータ量を削減することができる。
光学系の特性変化が複雑な場合には、シェーディング補正係数算出部24で使用するルックアップテーブルのデータを含めた変更によって対応する必要がある。この場合には光学系変化に対する高速追従性は若干低下するが、より精度の高いシェーディング補正を行うことが可能である。
上記2種類のシェーディング補正設定変更方法は、光学系の特性に合わせて常にどちらか一方のみを使用することも可能であり、また例えば高速追従が求められる動画撮影時は距離補正部23の設定変更による対応を行い、精度が求められる静止画撮影時はシェーディング補正係数算出部24の設定変更による対応を行うなど、動作形態によって使い分けることもできる。
以上のように、この発明の実施の形態1による撮像装置では、2次関数もしくはN次関数による基準点からの距離の補正と、ルックアップテーブルによる補正係数の算出を組み合わせるようにした。これにより、高精度のシェーディング補正が可能であり、また同時に光学ズームや絞りの設定変更によるシェーディング特性の動的変更に対しても高速に追従することが可能な撮像装置の実現できる効果がある。
さらに光学ズームや絞りの設定変更を行うために保持しておく必要のあるデータ量を少なく抑えることができるため、データの保持に必要な記憶領域の容量を少なくすることができる効果がある。
実施の形態2.
以上の実施の形態1では、画素の色成分については考慮せず、全ての画素について同じ方式でシェーディング補正を行う場合の構成を示している。しかし、固体撮像素子の各画素に光を集めるためのマイクロレンズの特性等により、色成分毎に異なったシェーディング特性が見られる場合もある。このような場合に対応するため、色成分毎に異なったシェーディング補正を行う場合の構成を以下に示す。
図4は、この発明の実施の形態2による撮像装置を示す構成図である。なお、図中、同一符号は同一または相当部分を示す。
図4において、撮像装置は、光学ズーム機能を備えた撮像レンズ11、カメラに入射する光量を調節するための絞り機構12、光電変換素子であるCCD(Charge Coupled Device)13、アナログ信号処理部14、アナログ−デジタル変換器(ADコンバータ)15、デジタル信号処理部16、撮像したデータを記憶領域に格納するための撮像データ出力部17、光学ズーム機能、絞り機構を制御するとともに、後述するシェーディング補正処理部20中の距離補正部23、シェーディング補正係数算出部24の設定を変更する撮像制御部18から構成されている。
さらに、シェーディング補正を行うためのシェーディング補正処理部20は、画素の水平座標及び垂直座標をカウントすると共に画素の色を判別するための画素座標カウント部21、画素の座標に基づき基準点からの距離を算出するための距離算出部22、距離の値に対して2次あるいはN次関数による補正を行うための距離補正部23、距離補正部から出力された距離の補正値に基づき、補正係数を求めるためのシェーディング補正係数算出部24、補正係数を画素値に対して乗算し信号レベルを補正するための画像信号補正部25から構成されている。
次に動作について説明する。
撮像レンズ11、絞り機構12、CCD13、アナログ信号処理部14、ADコンバータ15、デジタル信号処理部16、撮像データ出力部17については、実施の形態1と同様の動作を行う。
画素座標カウント部21は画像データと共に送られる画像の垂直同期信号および水平同期信号に基づき、画素の撮像画面における座標をカウントするとともに、CCDの画素配列に基づき画素データがRGBのいずれの色のデータであるかを判別する。画素座標カウント部21はカウントした座標値を距離算出部22に出力するとともに、画素に関する色情報を距離算出部22、距離補正部23、シェーディング補正係数算出部24のそれぞれに出力する。
距離算出部22は、画素の座標値と基準点の座標値から、基準点と画素の距離を算出する。距離Sの算出方法は実施の形態1と同様であるが、画素データの色がRGBのいずれであるかによって基準点を切り替えて使用する。距離Sは画素の座標値を(x、y)、Rの基準点を(x、y)、Gの基準点を(x、y)、Bの基準点を(x、y)、とすると、R画素については式(4)、G画素については式(5)、B画素については式(6)に従って求められる。


算出された距離Dは距離補正部23に出力される。
距離補正部23ではN次関数による距離の補正処理を行う(Nは1以上の整数)。例えば補正処理に2次関数を使用する場合には、距離補正値Sは、距離Dの値から下記の式(7)〜式(9)に従って求められる。

式(7)は画素がR画素の場合、式(8)は画素がG画素の場合、式(9)は画素がB画素の場合に適用される。また、aR1、aR2、aR3、aG1、aG2、aG3、aB1、aB2、aB3は関数の変数に係る係数であり、これらの係数は予め使用する撮像機器におけるシェーディングの特性を測定し、後述するシェーディング補正係数算出部24におけるルックアップテーブルと併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。またこれらの係数は撮像制御部18からの設定によって、任意の値に変更可能な仕組みを用意している。
シェーディング補正係数算出部24では距離補正値Sを参照し、予め設定されたルックアップテーブルに基いて補正係数を決定する。ルックアップテーブルに基づく補正係数の決定方法については実施の形態1と同様であり、ルックアップテーブルによって規定されるポイントのうち距離補正値が算出された距離補正値Sに最も近い2つのポイントにおける距離補正値と補正係数から線形補間により補正係数を決定する。ただし画素データの色がRGBのいずれであるかによって参照するルックアップテーブルの切り替えを行う。図5はシェーディング補正係数算出部24で使用するルックアップテーブルの例を示したものである。実施の形態1におけるルックアップテーブル図2に対して、距離補正値Sに対応する補正係数をR画素用のKR0〜KRm、G画素用のKG0〜KGm、B画素用のKB0〜KBmに分離し、独立して設定可能としたものである。
図5のルックアップテーブルの値は予め使用する撮像機器におけるシェーディングの特性を測定し、距離補正部23において設定する係数と併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。またこれらの係数は撮像制御部18からの設定によって、任意の値に変更可能な仕組みを用意している。
ルックアップテーブルに基づく水平補正係数の決定方法については実施の形態1と同様であり、ルックアップテーブルによって規定されるポイントのうち、距離補正値が算出された距離補正値Sに最も近い2つのポイントにおける距離補正値と補正係数から線形補間により補正係数を決定する。ルックアップテーブルの参照により算出された水平補正係数Kを画像信号補正部25に対して出力する。
画像信号補正部25では、実施の形態1と同様に補正係数Kを倍率として用い、画素の信号レベルに対して、補正係数Kを乗算することにより補正後の信号レベルを求める。画素毎に補正係数Kによる補正を行った撮像データがデジタル信号処理部16に対して出力される。
撮像制御部18では、撮像レンズ11が持つ光学ズーム機能および絞り機構12の制御を行うとともに、発生するシェーディングの特性の変化に対応するため撮像レンズと光学ズーム設定に基づいて距離補正部23、およびシェーディング補正係数算出部24の設定を変更する。各設定値はRGBの各色に対応して分離されているので、設定を変更する場合はR成分、G成分、B成分のそれぞれに対応する設定部分を全て変更する必要がある。
以上のような実施の形態2による撮像装置では、R画素、G画素、B画素を判別し、それぞれ色の画素に対して独立したシェーディング補正の基準点、距離補正関数の係数、ルックアップテーブルを設定して補正を行うため、固体撮像素子の各画素に光を集めるためのマイクロレンズの特性等により、色成分毎に異なったシェーディング特性が見られる場合でも高精度なシェーディング補正を行うこどができる効果がある。
実施の形態3.
実施の形態1および2では基準点と画素位置との距離を求め、距離の値に基づいて補正係数を算出していた。しかし距離の算出は、画素位置に関する二乗計算および平方根の計算が含まれるため、比較的大きな演算回路を必要とする。シェーディング補正に必要な演算量を減らし、より少ない演算量でシェーディング補正を行うための構成を以下に示す。
図6は、この発明の実施の形態3による撮像装置を示す構成図である。なお、図中、同一符号は同一または相当部分を示す。
図6において、撮像装置は、光学ズーム機能を備えた撮像レンズ11、カメラに入射する光量を調節するための絞り機構12、光電変換素子であるCCD(Charge Coupled Device)13、アナログ信号処理部14、アナログ−デジタル変換器(ADコンバータ)15、デジタル信号処理部16、撮像したデータを記憶領域に格納するための撮像データ出力部17、光学ズーム機能、絞り機構を制御するとともに、後述するシェーディング補正処理部20中の水平距離補正部23a、垂直距離補正部23b、水平シェーディング補正係数算出部24a、垂直シェーディング補正係数算出部23bの設定を変更する撮像制御部18から構成されている。
シェーディング補正を行うためのシェーディング補正処理部20は、画素の水平座標及び垂直座標をカウントするための画素座標カウント部21、画素の水平座標に基づき基準点からの水平距離を算出し、水平距離の値に対して2次あるいはN次関数による補正を行うための水平距離補正部23a、画素の垂直座標に基づき基準点からの垂直距離を算出し、垂直距離の値に対して2次あるいはN次関数による補正を行うための垂直距離補正部23b、水平距離補正部23aから出力された水平距離補正値に基づき、水平補正係数を求めるための水平シェーディング補正係数算出部24a、垂直距離補正部23bから出力された垂直距離補正値に基づき、垂直補正係数を求めるための垂直シェーディング補正係数算出部24b,水平補正係数および垂直補正係数を画素値に対して乗算し信号レベルを補正するための画像信号補正部25から構成されている。
次に動作について説明する。
撮像レンズ11、絞り機構12、CCD13、アナログ信号処理部14、ADコンバータ15、デジタル信号処理部16、撮像データ出力部17については、実施の形態1と同様の動作を行う。
画素座標カウント部21は,画像データと共に送られる画像の垂直同期信号および水平同期信号に基づき、画素の撮像画面における座標をカウントする。画素座標カウント部21はカウントした座標値のうち、水平画素値を水平距離補正部23aに出力するとともに、垂直画素値を垂直距離補正部23bに出力する。
水平距離補正部23aは、画素の水平座標値と基準点の水平座標値から、まず基準点と画素の水平距離を算出する。水平距離Dは画素の座標値を(x、y)、基準点を(x、y)とすると、下記の式(10)に従って求められる。

さらに水平距離補正部23aではN次関数(Nは1以上の整数)による水平距離の補正処理を行う。例えば補正処理に2次関数を使用する場合には、水平距離補正値Sは水平距離Dの値から下記の式(11)に従って求められる。

ここでa、a、aは関数の変数に係る係数であり、これらの係数は予め使用する撮像機器におけるシェーディングの特性を測定し、後述する水平シェーディング補正係数算出部24a、垂直距離補正部23b、垂直シェーディング補正係数算出部24bにおける設定値と併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。またこれらの係数は撮像制御部18からの設定によって、任意の値に変更可能な仕組みを用意している。
算出された距離Sは水平シェーディング補正係数算出部24aに出力される。
水平シェーディング補正係数算出部24aでは水平距離補正値Sを参照し、予め設定されたルックアップテーブルに基づいて補正係数を決定する。図7は水平シェーディング補正係数算出部24aで使用するルックアップテーブルの例を示したものであり、水平距離補正値Sについてそれぞれ一定間隔Nの0からm×Nまでの(m+1)個のポイントを規定し(mは1以上の整数)、それぞれのポイントに対して、対応する水平補正係数KH0〜KHmを予め決定している。
図7のルックアップテーブルの値は予め使用する撮像機器におけるシェーディングの特性を測定し、水平距離補正部23a、および後述する垂直距離補正部23b、垂直シェーディング補正係数算出部24bにおける設定値と併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。またこれらの係数は撮像制御部18からの設定によって、任意の値に変更可能な仕組みを用意している。
またルックアップテーブルに基づく水平補正係数の決定方法については実施の形態1と同様であり、ルックアップテーブルによって規定されるポイントのうち水平距離補正値が算出された水平距離補正値Sに最も近い2つのポイントにおける水平距離補正値と水平補正係数から線形補間により水平補正係数を決定する。ルックアップテーブルの参照により算出された水平補正係数Kを画像信号補正部25に対して出力する。
垂直距離補正部23bは、画素の垂直座標値と基準点の垂直座標値から、まず基準点と画素の垂直距離を算出する。垂直距離Dは画素の座標値を(x、y)、基準点を(x、y)とすると、下記の式(12)に従って求められる。

さらに垂直距離補正部23bではN次関数(Nは1以上の整数)による垂直距離の補正処理を行う。例えば補正処理に2次関数を使用する場合には、垂直距離補正値Sは垂直距離Dの値から下記の数式14に従って求められる。

ここでb、b、bは関数の係数であり、これらの係数は予め使用する撮像機器におけるシェーディングの特性を測定し、水平距離補正部23a、水平シェーディング補正係数算出部24a、および後述する垂直シェーディング補正係数算出部24bにおける設定値と併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。また、これらの係数は撮像制御部18からの設定によって、任意の値に変更可能な仕組みを用意している。
算出された距離Sは垂直シェーディング補正係数算出部24bに出力される。
垂直シェーディング補正係数算出部24bでは垂直距離補正値Sを参照し、予め設定されたルックアップテーブルに基づいて補正係数を決定する。図8は垂直シェーディング補正係数算出部24bで使用するルックアップテーブルの例を示したものであり、垂直距離補正値Sについてそれぞれ一定間隔Nの0からm×Nまでの(m+1)個のポイントを規定し(mは1以上の整数)、それぞれのポイントに対して、対応する垂直補正係数KV0〜KVmを予め決定しておく。
図8のルックアップテーブルの値は予め使用する撮像機器におけるシェーディングの特性を測定し、水平距離補正部23a、水平シェーディング補正係数算出部24a、垂直距離補正部23bにおける設定値と併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。またこれらの係数は撮像制御部18からの設定によって、任意の値に変更可能な仕組みを用意している。
またルックアップテーブルに基づく垂直補正係数の決定方法については実施の形態1と同様であり、ルックアップテーブルによって規定されるポイントのうち垂直距離補正値が算出された垂直距離補正値Sに最も近い2つのポイントにおける垂直距離補正値と垂直補正係数から線形補間により垂直補正係数を決定する。ルックアップテーブルの参照により算出された垂直補正係数Kを画像信号補正部25に対して出力する。
画像信号補正部25では、水平補正係数K、および垂直補正係数Kを倍率として用い、画素の信号レベルに対して水平補正係数Kと垂直補正係数Kを掛け合わせた値を乗算することにより補正後の信号レベルを求める。画素毎に補正係数K、およびKによる補正を行った撮像データがデジタル信号処理部16に対して出力される。
撮像制御部18では、撮像レンズ11が持つ光学ズーム機能および絞り機構12の制御を行うとともに、発生するシェーディングの特性の変化に対応するため撮像レンズと光学ズーム設定に基づいて水平距離補正部23a、水平シェーディング補正係数算出部24a、垂直距離補正部23b、垂直シェーディング補正係数算出部24bの設定を変更する。
距離補正係数およびルックアップテーブルのパラメータ変更は実施の形態1と同様に、光学系の特性変化の性質、および要求されるシェーディング補正の特性変換に対する追従性に応じてどちらか一方のみを使用するか、両方の設定変更で対応するかを選択することが可能である。
またこの実施の形態3では、画素の色成分については考慮せず、全ての画素について同じ方式でシェーディング補正を行う場合について記述しているが、実施の形態2の実施の形態1に対する関係と同様に、水平距離補正部23a、水平シェーディング補正係数算出部24a、垂直距離補正部23b、垂直シェーディング補正係数算出部24bの設定を3種類ずつ保持し、画素データの色がRGBのいずれであるかによって設定の切り替えを行うことにより、色成分毎に異なったシェーディング補正を行うことも可能である。
以上のような実施の形態3による撮像装置では、画素位置と基準点の距離計算に二乗計算および平方根の計算を行わず、画素の水平位置および垂直位置に対してそれぞれ独立に対応する補正係数を算出し、掛け合わせて適用するようにしているので、シェーディング補正に必要な演算量を減らし、より少ない演算量でシェーディング補正を行うことができる効果がある。
実施の形態4.
実施の形態1および実施の形態2では、基準点は1点のみとし、円を基準とした距離計算によって画素の座標と基準点との距離を求めていた。しかし、撮像装置における光学系の取り付け精度が十分でない場合には光学系の光軸と固体撮像素子の撮像面が完全に垂直にならず、発生するシェーディングの特性が光軸の中心に対して必ずしも点対称とならない可能性がある。またレンズ自体の加工精度が十分でない場合にも同様に光軸の中心に対して非対称のシェーディングが発生する可能性がある。このような場合に対応するため、距離を計算するための基準点を2点設定し、楕円を基準とした距離計算によって画素座標と基準点との距離を求めるための構成を以下に示す。
この実施の形態4の構成図は実施の形態1と同じく図1であり、シェーディング補正処理部20内の距離算出部22の動作のみが実施の形態1とは異なる。
ここでこの実施の形態4におけるシェーディング補正処理部20内の距離算出部22の動作について説明する。
距離算出部22は、画素の座標値と2つの基準点の座標値から、基準点と画素の距離を算出する。距離Dは画素の座標値を(x、y)、基準点1を(x、y)、基準点2を(x、y)とすると、下記の式(14)に従って求められる。

算出された距離Dは距離補正部23に出力される。
図9は2つの基準点を用いて距離算出を行う場合に、算出される距離が等しくなる画素座標の分布を示している。図9のように、基準点を2つとし、2つの基準点からの画素座標の距離の和を、基準点から画素座標までの距離と見なすことにより、算出される距離の等しい画素の座標は2つの基準点を焦点とする楕円のような分布101になる。
よって、このように計算された距離Dに基づいて実施の形態1と同様に距離補正値の算出、およびルックアップテーブルを利用した補正係数の算出を行うことにより、等しい補正係数もまた2つの基準点を焦点とする楕円のように分布することになり、2つの基準点の中点を中心として、中心からの方向性によって補正係数の分布の異なるシェーディング補正を行うことができる。
なおこの実施の形態4では、画素の色成分については考慮せず、全ての画素について同じ方式でシェーディング補正を行う場合について記述しているが、実施の形態2の実施の形態1に対する関係と同様に、距離算出部22、距離補正部23、シェーディング補正係数算出部24の設定を3種類ずつ保持し、画素データの色がRGBのいずれであるかによって設定の切り替えを行うことにより、色成分毎に異なったシェーディング補正を行うことも可能である。
以上のような実施の形態4による撮像装置では、距離算出に用いる基準点を2つ設け、2つの基準点からの画素座標の距離の和を、基準点から画素座標までの距離とみなすことにより、2つの基準点の中点を中心とし、中心からの方向性によって補正係数の分布の異なるシェーディング補正を行うため、発生するシェーディングの特性が光軸の中心に対して点対称とならない場合においても高精度なシェーディング補正を行うことができる効果がある。
実施の形態5.
なお、上記実施例ではシェーディング補正処理部20等を回路として説明したが、これらはソフトウエア処理により実現してもよい。すなわち、汎用的な機能を有する中央演算装置を搭載したコンピュータに、コンピュータプログラムを通じて所定の処理を実行させるような構成を採っていてもよい。
【産業上の利用の可能性】
以上のように、この発明に係る画像補正方法は、デジタルスチルカメラを初めとする撮像装置において、画像における輝度や色のシェーディングを補正する用途に有用である。ただし、用途はこれに限られるものではない。例えば、画像に所望の処理を施すために用いられる他の画像処理装置にも適用可能性のあるものである。
【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】


【特許請求の範囲】
【請求項1】
画像を構成する画素の画素座標と所定の基準座標との距離を算出する距離算出工程と、
前記距離算出工程で算出した距離をN次関数(Nは1以上の整数)の変数に入力することによって距離補正値を算出する距離補正値算出工程と、
距離補正値と補正係数との対応を示すテーブルに基いて、前記距離補正値算出工程で算出した距離補正値に対応する補正係数を算出する補正係数算出工程と、
前記補正係数算出工程で算出した補正係数に基いて、前記画素の信号を補正する画素信号補正工程と
を備えることを特徴とする画像補正方法。
【請求項2】
距離補正値と補正係数との対応を示すテーブルに基いて、テーブルに記憶されている距離補正値および補正係数のデータの直線補間により、前記距離補正値算出工程で算出した距離補正値に対応する補正係数を算出する補正係数算出工程とを備えることを特徴とする請求の範囲第1項に記載の画像補正方法。
【請求項3】
前記距離算出工程における基準座標、前記距離補正値算出工程におけるN次関数の変数に係る係数、および、前記補正係数算出工程におけるテーブルに記憶された距離補正値および補正係数を、前記画素の色成分毎に設定できることを特徴とする請求の範囲第1項に記載の画像補正方法。
【請求項4】
画像信号に対応する画素座標と所定の2つの基準座標とのそれぞれの距離の和を、距離と見なして算出する距離算出工程とを備えることを特徴とする請求の範囲第1項に記載の画像補正方法。
【請求項5】
画像を構成する画素の画素座標と所定の基準座標との水平方向距離を算出する水平方向距離算出工程と、
前記水平方向距離算出工程で算出した水平方向距離を第1のN次関数(Nは1以上の整数)の変数に入力することによって水平方向距離補正値を算出する水平方向距離補正値算出工程と、
水平方向距離補正値と第1の補正係数との対応を示す第1のテーブルに基いて、前記水平方向距離補正値算出工程で算出した水平方向距離補正値に対応する第1の補正係数を算出する第1の補正係数算出工程と、
画像を構成する画素の画素座標と所定の基準座標との垂直方向距離を算出する垂直方向距離算出工程と、
前記垂直方向距離算出工程で算出した垂直方向距離を第2のN次関数(Nは1以上の整数)の変数に入力することによって垂直方向距離補正値を算出する垂直方向距離補正値算出工程と、
垂直方向距離補正値と第2の補正係数との対応を示す第2のテーブルに基いて、前記垂直方向距離補正値算出工程で算出した垂直方向距離補正値に対応する第2の補正係数を算出する第2の補正係数算出工程と、
前記第1の補正係数算出工程で算出した第1の補正係数および前記第2の補正係数算出工程で算出した第2の補正係数に基いて、前記画素の信号を補正する画素信号補正工程と
を備えることを特徴とする画像補正方法。
【請求項6】
画像を構成する画素の画素座標と所定の基準座標との距離を算出する距離算出手段と、
前記距離算出工程で算出した距離をN次関数(Nは1以上の整数)の変数に入力することによって距離補正値を算出する距離補正値算出手段と、
距離補正値と補正係数との対応を示すテーブルに基いて、前記距離補正値算出手段で算出した距離補正値に対応する補正係数を算出する補正係数算出手段と、
前記補正係数算出手段で算出した補正係数に基いて、前記画素の信号を補正する画素信号補正手段と
を備えることを特徴とする撮像装置。
【請求項7】
距離補正値と補正係数との対応を示すテーブルに基いて、テーブルに記憶されている距離補正値および補正係数のデータの直線補間により、前記距離補正値算出手段で算出した距離補正値に対応する補正係数を算出する補正係数算出手段とを備えることを特徴とする請求の範囲第6項に記載の撮像装置。
【請求項8】
前記距離算出手段における基準座標、前記距離補正値算出手段におけるN次関数の変数に係る係数、および、前記補正係数算出手段におけるテーブルに記憶された距離補正値および補正係数を、前記画素の色成分毎に設定できることを特徴とする請求の範囲第6項に記載の撮像装置。
【請求項9】
画像信号に対応する画素座標と所定の2つの基準座標とのそれぞれの距離の和を、距離と見なして算出する距離算出手段とを備えることを特徴とする請求の範囲第6項に記載の撮像装置。
【請求項10】
画像を構成する画素の画素座標と所定の基準座標との水平方向距離を算出する水平方向距離算出手段と、
前記水平方向距離算出手段で算出した水平方向距離を第1のN次関数(Nは1以上の整数)の変数に入力することによって水平方向距離補正値を算出する水平方向距離補正値算出手段と、
水平方向距離補正値と第1の補正係数との対応を示す第1のテーブルに基いて、前記水平方向距離補正値算出手段で算出した水平方向距離補正値に対応する第1の補正係数を算出する第1の補正係数算出手段と、
画像を構成する画素の画素座標と所定の基準座標との垂直方向距離を算出する垂直方向距離算出手段と、
前記垂直方向距離算出手段で算出した垂直方向距離を第2のN次関数(Nは1以上の整数)の変数に入力することによって垂直方向距離補正値を算出する垂直方向距離補正値算出手段と、
垂直方向距離補正値と第2の補正係数との対応を示す第2のテーブルに基いて、前記垂直方向距離補正値算出手段で算出した垂直方向距離補正値に対応する第2の補正係数を算出する第2の補正係数算出手段と、
前記第1の補正係数算出手段で算出した第1の補正係数および前記第2の補正係数算出手段で算出した第2の補正係数に基いて、前記画素の信号を補正する画素信号補正手段と
を備えることを特徴とする撮像装置。

【国際公開番号】WO2005/043891
【国際公開日】平成17年5月12日(2005.5.12)
【発行日】平成19年5月10日(2007.5.10)
【国際特許分類】
【出願番号】特願2005−510138(P2005−510138)
【国際出願番号】PCT/JP2003/013972
【国際出願日】平成15年10月31日(2003.10.31)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】