デジタルカメラ
【課題】シェーディング補正をより簡易に行うことが可能なデジタルカメラを提供する。
【解決手段】同一の被写体に関する2枚の画像PA1,PB1を絞りを変更して撮像する。撮像された2枚の画像PA1,PB1は、シェーディングの状態が互いに異なっている。シェーディングがほとんど存在しない画像PB1を用いてシェーディング補正係数を求め、画像PA1におけるシェーディングをこのシェーディング補正係数に基づいて補正する。また、焦点距離を変更して撮像した2枚の画像、あるいは、フラッシュ光の有無を変更して撮像した2枚の画像を用いて、シェーディングを補正してもよい。
【解決手段】同一の被写体に関する2枚の画像PA1,PB1を絞りを変更して撮像する。撮像された2枚の画像PA1,PB1は、シェーディングの状態が互いに異なっている。シェーディングがほとんど存在しない画像PB1を用いてシェーディング補正係数を求め、画像PA1におけるシェーディングをこのシェーディング補正係数に基づいて補正する。また、焦点距離を変更して撮像した2枚の画像、あるいは、フラッシュ光の有無を変更して撮像した2枚の画像を用いて、シェーディングを補正してもよい。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、デジタルカメラに関し、特にデジタルカメラにおけるシェーディングの補正技術に関する。
【0002】
【従来の技術】
デジタルカメラによる撮影画像においては、種々の原因に基づいて、「シェーディング」が生じる。したがって、画質を向上させるため、撮影画像からこのようなシェーディングの影響を除去すること、すなわち、シェーディング補正を行うことが求められる。
【0003】
このようなシェーディング補正を行う従来技術としては、たとえば、特開2000−13807号に記載されたものが存在する。この文献においては、透光性の白キャップで撮影レンズを覆って撮影画像を取得することによって、シェーディング補正情報を得る技術が記載されている。
【0004】
【発明が解決しようとする課題】
しかしながら、この従来技術においては、被写体を撮影する際に、白キャップを手動で着脱させるという動作を伴うことになるため、非常に面倒な操作が必要になるという問題がある。
【0005】
そこで、本発明は前記問題点に鑑み、シェーディング補正をより簡易に行うことが可能なデジタルカメラを提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するため、請求項1の発明は、デジタルカメラであって、撮影光学系および照明系のうち少なくとも一方の撮影条件を変更することにより、同一の被写体に関するシェーディングの状態が互いに異なる2枚の画像を撮像する撮像手段と、前記2枚の画像に基づいて、前記2枚の画像のうちの一方の画像に対するシェーディング補正情報を求める補正情報算出手段と、を備えることを特徴とする。
【0007】
請求項2の発明は、請求項1の発明に係るデジタルカメラにおいて、前記2枚の画像は、前記撮像光学系の絞りに関する撮影条件を変更して撮像される第1画像および第2画像であり、前記第2画像は、前記第1画像の撮像時よりも前記絞りを絞った状態で撮像されることを特徴とする。
【0008】
請求項3の発明は、請求項1の発明に係るデジタルカメラにおいて、前記2枚の画像は、前記撮像光学系の焦点距離に関する撮影条件を変更して撮像される第1画像および第2画像であり、前記第2画像は、前記第1画像の撮像時よりも前記焦点距離を短くして撮像され、前記補正情報算出手段は、前記第2画像のうち前記第1画像の撮影範囲に対応する画像領域の情報を用いて、前記シェーディング補正情報を求めることを特徴とする。
【0009】
請求項4の発明は、請求項1の発明に係るデジタルカメラにおいて、前記補正情報算出手段は、前記一方の画像内の所定部分についての前記2枚の画像の対応領域間の輝度比である第1の輝度比と前記所定部分の周辺部分についての前記2枚の画像の対応領域間の輝度比である第2の輝度比との相違が所定程度よりも小さいときには、前記所定部分についての前記2枚の画像における対応領域の輝度に基づく第1のルールを用いて当該所定部分のシェーディング補正情報を求め、前記相違が前記所定程度よりも大きいときには、前記第1のルールとは異なる第2のルールを用いて当該所定部分のシェーディング補正情報を求めることを特徴とする。
【0010】
請求項5の発明は、デジタルカメラであって、同一の被写体に関する2枚の画像を、フラッシュ発光の有無を変更して撮像する撮像手段と、前記2枚の画像に基づいて、前記2枚の画像のうちフラッシュ発光を伴う画像に対するシェーディング補正情報を求める補正情報算出手段と、を備えることを特徴とする。
【0011】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0012】
<A.第1実施形態>
<A1.構成>
図1〜図3は、本発明の第1実施形態に係るデジタルカメラ1の外観の概略構成を示す図である。図1はデジタルカメラ1の平面図、図2は図1のII−II位置から見た断面図、図3はデジタルカメラ1の背面図に相当する。
【0013】
これらの図に示すように、デジタルカメラ1は略直方体状をしているカメラ本体部2と、カメラ本体部2に着脱可能に装着される撮影レンズ3から構成される。図1に示すように、デジタルカメラ1は撮影画像を記録するメモリカード8が着脱可能に収納されるようになっている。また、デジタルカメラ1は、4本の単三形乾電池E1〜E4を直列接続する電源電池Eを駆動源としている。
【0014】
図2に示すように、ズームレンズである撮影レンズ3はレンズ群30を備えている。ここでは、撮影レンズ3として2群ズームレンズを示しており、レンズ群30は、大きく2つのレンズ群300,301に分類される。なお、図2および図3においては、図示の都合上、レンズ群300,301をそれぞれ一枚のレンズとして示している。ただし、実際には各レンズ群300,301は、一枚のレンズに限定されず、複数枚のレンズの集合体として構成されていても良い。
【0015】
一方、カメラ本体部2の内部には、レンズ群300を駆動するためのモータM1、およびレンズ群301を駆動するモータM2とが設けられている。これらのモータM1,M2の駆動により、レンズ群300,301を互いに独立して光軸方向に移動することによって、撮影レンズ3のズーム倍率の変更を行うことが可能である。また、これらのモータM1,M2を用いて、レンズ群300,301を駆動することによって、撮影レンズ3の合焦状態を変更すること、すなわち、フォーカス動作を行うことが可能である。
【0016】
また、撮影レンズ3のレンズ群30の後方位置の適所にカラー撮像素子303が設けられている。カラー撮像素子303は、CCDからなるエリアセンサの各画素の表面に、R(赤)、G(緑)、B(青)のカラーフィルタが市松模様状に貼り付けられた単板式カラーエリアセンサで構成される。このカラー撮像素子(以下、「CCD」)303は、例えば、水平方向1600画素、縦方向1200画素の192万画素を有している。
【0017】
カメラ本体部2の前面には、図1のようにグリップ部Gが設けられ、カメラ本体部2の上端点の適所にポップアップ形式の内蔵フラッシュ5が設けられている。また、図3の如く、カメラ本体部2の上面にはシャッタボタン9が設けられている。このシャッタボタン9については、フォーカス調整用などのトリガーとして用いる半押し状態(S1)と、記録用撮影のトリガーとして用いる全押し状態(S2)とを検出し、判別する機能を有してる。
【0018】
一方、カメラ本体部2の背面には、電子ビューファインダ(以下、「EVF」)20と液晶ディスプレイ(以下、「LCD」)10とが設けられている。なお、光学ファインダーとは異なり、撮影待機状態においてCCD303からの画像信号のライブビュー表示を行うEVF20とLCD10とがファインダーとしての機能を担っている。
【0019】
また、LCD10は記録モードにおいて撮影モードや撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカード8に記録された撮影画像を再生表示することが可能である。
【0020】
カメラ本体部2の背面左方には、電源スイッチ14が設けられている。この電源スイッチ14は記録モード(写真撮影の機能を果たすモード)と再生モード(記録画像をLCD10に再生するモード)とを切換設定するモード設定スイッチを兼ねている。すなわち、電源スイッチ14は3点スライドスイッチからなり、接点を中央の「OFF」位置に設定すると電源がオフになり、接点を上方の「REC」位置に設定すると電源がオンになるとともに記録モードとして設定され、接点を下方の「PLAY」位置に設定すると電源がオンになるとともに再生モードとして設定される。
【0021】
カメラ本体部2の背面右方には、4連スイッチ15が設けられている。4連スイッチ15は円形の操作ボタンを有し、この操作ボタンにおける上下左右の4方向のボタンSU、SD、SL、SRを押下することによって各種操作を行うことが可能となっている。例えば、LCD10に表示されるメニュー画面で選択された項目を変更したり、インデックス画面で選択された再生対象のコマを変更するためのスイッチとして機能する。また、記録モードにおいて左右方向のボタンSL,SRは、ズーム倍率を変更するためのスイッチとして機能する。具体的には、モータM1,M2の駆動により2つのレンズ群300,301の相対的な位置関係が変更されることによって、ズーム倍率が変更される。より詳細には、右方向スイッチSRを押下するとワイド側に連続的に移動し、左方向スイッチSLを押下するとテレ側に連続的に移動する。
【0022】
また、4連スイッチ15の下方には、取消スイッチ33、実行スイッチ32、メニュー表示スイッチ34及びLCD表示スイッチ31等のスイッチ群16が設けられている。取消スイッチ33は、メニュー画面で選択された内容を取り消すためのスイッチである。実行スイッチ32は、メニュー画面で選択された内容を確定するまたは実行するためのスイッチである。メニュー表示スイッチ34は、LCD10にメニュー画面を表示させたり、メニュー画面の内容を切り換えたりするためのスイッチである。LCD表示スイッチ31は、LCD10の表示のオンオフ切り替えスイッチである。
【0023】
次に、デジタルカメラ1の内部構成について説明する。図4は、デジタルカメラ1の内部構成を示す概略ブロック図である。
【0024】
撮影レンズ3は、レンズ群300,301とともに、内部に透過光量を調節するための絞り302を備えている。なお、図4においては、図示の都合上、絞り302がレンズ群301の後側に配置されるように示しているが、絞り302の配置はこのようなものに限定されない。たとえば、絞り302は、レンズ群301(ないし300)の内部に設けられていても良く、または、両レンズ群300,301の間に設けられていてもよい。
【0025】
CCD303(撮像素子)は、撮影レンズ3を通して入射された被写体からの光を所定の露光時間だけ受光して画像信号に光電変換して取り込む。CCD303は、光電変換後の画像信号を信号処理部120に出力する。このようにして、撮影レンズ3(撮影光学系)からの被写体像が画像として取得される。
【0026】
信号処理部120は、CCD303から出力される画像信号に所定のアナログ信号処理及びデジタル信号処理を行うものである。画像信号の信号処理は画像データを構成する各画素の受光信号毎に行われる。信号処理部120は、アナログ信号処理回路121、A/D変換回路122、シェーディング補正回路123、画像処理回路124、及び画像メモリ126を備えている。
【0027】
アナログ信号処理回路121はアナログ信号処理を行うものであり、主にCDS(相関二重サンプリング)回路及びAGC(オートゲインコントロール)回路からなり、CCD303から出力される画素信号のサンプリングノイズの低減と信号レベルの調整を行う。AGC回路におけるゲインコントロールには、絞り302の絞り値とCCD303の露光時間とで適正露出が得られなかった場合の撮影画像のレベル不足を補償する場合も含まれる。
【0028】
A/D変換回路122はアナログ信号処理回路121から出力されるアナログ信号である画素信号(画像信号)をデジタル信号である画素データ(画像データ)に変換するものである。A/D変換回路122は各画素で受光された画素信号を、例えば、10ビットのデジタル信号に変換し、0〜1023の階調値を有する画素データとする。変換後の画素データ(画像データ)は、画像メモリ126に一旦格納される。
【0029】
シェーディング補正回路123は、A/D変換された画素データに対して、光学系によるシェーディングを補正するものである。シェーディング補正回路は、A/D変換回路122において変換された画像データと全体制御部150において生成される補正テーブル内のシェーディング補正係数(後述)との乗算処理等を行う。
【0030】
画像処理回路124は、WB(ホワイトバランス)回路、カラーバランス評価回路、画素補間回路、色補正回路、γ補正回路、色分解回路、空間フィルタ、解像度変換回路、圧縮伸長処理回路等を有している。このうち、WB回路は撮影画像のホワイトバランスを調整するものである。WB回路は、カラーバランス評価回路による撮像画像のカラーバランスに関する評価結果等を用いて、R,G,Bの各色成分の画素データのレベルを変換する。画素補間回路は、R,G,Bの3種類の色フィルタが分散配置されたベイヤー配列を有するCCD303において、各画素位置における3つの色成分R,G,Bのうち実際には存在しない2つの色成分を補間により求める回路であり、色補正回路は、フィルタの分光感度特性を補正する回路である。γ補正回路は画素データのγ特性を補正する回路であり、予め設定されたγ補正用テーブルを用いて各画素データのレベルを補正する。色分解回路は、(R,G,B)信号を(Y,Cr,Cb)信号に変換する回路である。空間フィルタはローパスフィルタおよびハイパスフィルタ等を用いてエッジ強調などの各種のフィルタ処理を行う回路である。解像度変換回路は所望の解像度に変換する回路であり、圧縮伸長処理回路はJPEG等の所定形式のデータへの圧縮処理、およびその逆の伸長処理を行う回路である。
【0031】
画像メモリ126は画像データを一時保持するメモリである。画像メモリ126は2フレーム分以上の画像データを格納し得る記憶容量を有しており、たとえば、2フレーム分、詳細には192万画素×2=384万画素分の画像データを格納する記憶容量を有している。また、画像処理回路124における各処理は、画像メモリ126に格納された画像データに対して施される。
【0032】
発光制御部102は、全体制御部150から入力される発光制御信号に基づいてフラッシュ(照明光源)5の発光を制御する。発光制御信号には発光準備の指示、発光タイミング及び発光量とが含まれる。
【0033】
レンズ制御部130は撮影レンズ3内のレンズ群300,301および絞り302の各部材の駆動を制御するものである。レンズ制御部130は、絞り302の絞り値を制御する絞り制御回路131と、モータM1,M2を駆動することによりズームの変倍率を変更する(言い換えれば画角を変更する)ズーム制御回路132と、モータM1,M2を駆動することによりフォーカス制御を行うフォーカス制御回路133とを備えている。
【0034】
絞り制御回路131は全体制御部150から入力される絞り値に基づいて絞り302を駆動し、その開口量を当該絞り値に設定する。フォーカス制御回路133は全体制御部150から入力されるAF制御信号に基づいてモータM1,M2の駆動量を制御し、レンズ群300,301を焦点位置に設定する。ズーム制御回路132は、4連スイッチ15による入力に応じて全体制御部150から入力されるズーム制御信号に基づいて、モータM1,M2を駆動してレンズ群300,301を移動させる。これによって、ズームの状態が、ワイド側あるいはテレ側へと移動する。
【0035】
表示部140は、LCD10及びEVF20への表示を行うものである。表示部140には、LCD10、EVF20とともに、LCD10に再生表示されるの画像データのバッファメモリとなるLCDVRAM141及びEVF20に再生表示される画像データのバッファメモリとなるEVFVRAM142を備えている。
【0036】
撮影待機状態においては、CCD303により1/30(秒)毎に撮影された画像(ライブビュー用画像)の各画素データが、信号処理部120による所定の信号処理を施された後、画像メモリ126に一時記憶される。そして、全体制御部150によって読み出され、データサイズが調整された後にLCDVRAM141及びEVFVRAM142に転送され、LCD10及びEVF20にライブビュー表示として表示される。これによりユーザは、被写体像を視認することができる。また、再生モードにおいては、メモリカード8から読み出された画像が全体制御部150によって所定の信号処理が施された後に、LCDVRAM141に転送され、LCD10に再生表示されることとなる。
【0037】
操作部101は、上述したカメラ本体部2に設けられた撮影や再生に関する操作部材の操作情報を全体制御部に入力するものである。操作部101から入力される操作情報にはシャッタボタン9、電源スイッチ14、4連スイッチ15及びスイッチ群16等の各操作部材の操作情報が含まれる。
【0038】
全体制御部150は、マイクロコンピュータからなり、撮影機能及び再生機能を集中制御するものである。全体制御部150にはカードインターフェース103を介してメモリカード8が接続されている。また、通信用インターフェース105を介してパーソナルコンピュータPCが外部接続されるようになっている。
【0039】
全体制御部150は、撮影機能及び再生機能における数々の具体的な処理を行うための処理プログラムや上述したデジタルカメラ1の各部材の駆動を制御するための制御プログラムが記憶されたROM151と、処理プログラム及び制御プログラムに従って数々の演算作業を行うための作業領域となるRAM152を備えている。なお、記録媒体であるメモリカード8に記録されているプログラムデータをカードインターフェース103を介して読み出し、ROM151に格納することができるようになっている。従って、これらの処理プログラム及び制御プログラムは、メモリカード8からデジタルカメラ1中にインストールされることが可能である。なお、処理プログラム及び制御プログラムは、通信用インターフェース105を介してパーソナルコンピュータPCからインストールされるようになっていてもよい。
【0040】
全体制御部150は、シェーディング補正処理用のテーブルを作成するテーブル作成部153を有している。なお、このテーブル作成部153は、上記の処理プログラム等がマイクロコンピュータ等を用いて実行されることによって、機能的に実現される機能部である。
【0041】
<A2.原理>
つぎに、この実施形態におけるシェーディング補正の基本原理について説明する。
【0042】
この明細書においては、「シェーディング」は、人間の視覚により知覚される被写体像と比較して、撮像装置(ここではデジタルカメラ)によって撮影された画像内において輝度の不均一が存在する現象、を意味するものとする。言い換えれば、「シェーディング」は、撮像装置により撮像された画像における輝度の分布状態が、人間が撮像装置を通さずに被写体を直接的に目で見た状態と異なる現象、を意味する。また、「シェーディング補正」は、このようなシェーディングを補正すること、を意味するものとする。
【0043】
具体的には、「シェーディング」は、その状況および/または原因等によって幾つかの種類のものに分類される。たとえば、「シェーディング」は、
(1)周辺光量落ちによるシェーディングP1(図5(a)等参照)、および(2)照明光源(フラッシュ光など)による被写体照度が不均一になるシェーディングP2(図15(a)参照)、
の少なくとも2つの種類のものを含む現象である。
【0044】
また、(1)のシェーディングP1は、「口径食」、「コサイン4乗則」などの各種の原因によって発生する。「口径食」(「ケラレ」とも称する)とは、画面の周辺部に入射する光線が、絞りの前後に配置された枠等によって遮断されることをいう。これによって画像における周辺光量が低下する。また、「コサイン4乗則」は、口径食が全く存在しない場合であっても、レンズの特性によって、周辺部の明るさが周辺部への入射光束の光軸に対する傾斜角度のコサイン4乗に比例して低下する法則を意味する。このような「コサイン4乗則」によっても、周辺部の光量が低下する。
【0045】
一方、後述するように、(2)のシェーディングP2は、画像内の被写体ごとの被写体距離の相違に基づく被写体照度の過不足に起因して発生するものである。
【0046】
この第1実施形態においては、上記の2種類のシェーディングのうち、(1)のシェーディングP1を補正する技術について説明する。なお、(2)のシェーディングP2を補正する技術については、第2実施形態において説明する。
【0047】
図5は、(1)のシェーディングP1の補正原理を説明する図である。次述する原理によって、シェーディングP1のうち「口径食」に起因する成分を補正することが可能になる。
【0048】
図5(a)は、デジタルカメラ1により撮影された画像PA1にシェーディングが発生している状況を示す図である。画像PA1においては、画像の中心点から周辺に離れるほど画素データの輝度レベルが低下しており、周辺部の輝度値は中央部の輝度値に比べて低い値となっている。なお、図5(a)においては、図示の簡略化のため、周辺部が中央部に比べて暗くなっている状態が示されているが、実際には、周辺に離れるにしたがって画素の輝度レベルが連続的に低下していく。
【0049】
ここでは、この画像PA1におけるシェーディングを補正するため、画像PB(PB1あるいはPB2など)を用いる。なお、画像PA1は、撮影の対象
(目的)となる画像であるため、「対象画像(ないし目的画像)」とも称するものとし、画像PB1,PB2は、対象画像(目的画像)におけるシェーディングの補正のために参照される画像であるため、「参照画像」とも称するものとする。また、目的画像(対象画像)を総称するときは画像PAとも称し、参照画像を総称するときは画像PBとも称する。
【0050】
この第1実施形態においては、このような目的画像PA1の撮影にあたって、時間的に異なるタイミングで別の画像PBを撮像する。画像PA1は、シャッタボタン9が全押し状態S2にまで押し込まれたことに応じて発生する撮影トリガー信号に応答して、CCD303から読み出された画像である。また、ここでは、画像PBとして、画像PA1の直後(例えば1/10秒後)に引き続いて撮影する画像を採用する。
【0051】
このように、画像PA(目的画像)と画像PB(参照画像)とは、時間的に極めて近い時点で撮影される。言い換えれば、両画像PA,PBは、連続的に取得される画像である。したがって、被写体が動くことによる影響を抑制して、被写体の同一性を比較的完全に近い状態で確保することができる。なお、被写体の同一性は、高い方が好ましいが、完全に同一であることを要しない。たとえば、被写体の同一性は、2つの画像PA,PBの位置合わせが良好に行われる程度であればよい。
【0052】
上記の画像PA1と画像PB1とは、同一の被写体に関する画像である点で共通しているが、シェーディングの状態が互いに異なっている。これは、2つの画像PA1,PB1は、撮影光学系の撮影条件のうち絞りに関する撮影条件を変更した上で撮像されるためである。より詳細には、画像PB1は、画像PA1に比べて、撮像時の絞りを絞った状態で撮像される。
【0053】
以下では、まず、「絞り」を変更して撮影した画像PB1を用いてシェーディングP1を補正する場合について説明する。
【0054】
一般に、シェーディングは、絞りを絞ったとき(すなわち絞り開口が小さいとき)には、周辺部における光量低下の程度が低減する。ここでは、この特性を利用して、口径食によるシェーディングを補正する。
【0055】
たとえば、画像PB1は、絞りを最小絞り(最も大きなFナンバー)にして撮影される。これにより、比較的大きな開口で(言い換えれば小さなFナンバーで)撮影された画像PA1にシェーディングが発生しているときであっても、画像PB1にはシェーディングが発生しないものとすること(あるいはその程度を低減すること)が可能である。より詳細には、画像PA1をF=2.8で撮影するときにおいて、画像PB1をF=8.0(最小絞り)で撮像すればよい。図5(b)においては、シェーディングがほぼ発生していない状態が図示されている。
【0056】
図6(a)は、画像PA1の撮像時と同じ絞り値を採用したときの輝度分布のグラフを示しており、図6(b)は、画像PB1の撮像時と同じ絞り値を採用したときの輝度分布のグラフを示している。ただし、図6(a)(b)は、各画像PA1,PB1の輝度分布を直接的に示すものではなく、画像を構成する全ての画素が、同一の輝度の被写体からの入射光を受光していることを想定している。すなわち、これらのグラフは、各画素位置におけるシェーディングの影響による画素データのレベルの低下率を示している。なお、各グラフにおいて、横軸は水平方向における位置xを示しており、縦軸は各水平位置における各画素の輝度値Lを示している。
【0057】
図6(a)(b)の両グラフを比較すると判るように、画像PB1の撮像時の絞りは画像PA1の撮像時の絞りに比べてさらに絞られたものであるため、画像PB1の平均輝度値((b)参照)は画像PA1の平均輝度値((a)参照)よりも小さくなる。一方、図6(b)における周辺部分の輝度と中央部分の輝度との差Gbは、図6(a)における周辺部分の輝度と中央部分の輝度との差Gaよりも小さい(Gb<Ga)。すなわち、画像PB1は画像PA1と比べてシェーディングの影響が低減されている。
【0058】
ここで、中心から距離Xだけ離れた画素の補正係数h1を求める。この補正係数h1は、各画像PA1,PB1における中心位置の画素の輝度値L0,L1、各画像PA1,PB1において中心から所定距離Xだけ離れた画素の輝度値L2,L3を用いて、次の数1で示される。
【0059】
【数1】
【0060】
この数1について図7を参照しつつ説明する。図7(a)(b)に示すように、比較的暗い画像PB1と比較的明るい画像PA1との輝度レベルを合わせるため、各値を正規化すると、各画像PA1,PB1における中心位置の画素の輝度値はいずれも1となり、各画像PA1,PB1において中心から所定距離xだけ離れた画素の輝度値は、それぞれ、値La=(L2/L0),値Lb=(L3/L1)となる。なお、図7(a)(b)は、正規化後の各値を示す図である。
【0061】
たとえば、L0,L1,L2,L3の値をそれぞれ、100,20,40,10とすると、La=40/100=0.4,Lb=10/20=0.5となる。
【0062】
ここで、画像PA1の画素値は、シェーディングの影響により、(La/Lb)倍(例えば、0.4/0.5=0.8倍)に減少していると考えられる。したがって、この逆数、すなわち値(Lb/La)を補正係数h1の値として定め、この補正係数h1(例えば、0.5/0.4=1.25)を元の画素値L2に乗じれば、シェーディングの影響を補正することができる。
【0063】
以上のようにして、「絞り」を変更して撮影した画像PB1を用いてシェーディングP1を補正することが可能である。
【0064】
つぎに、ズームレンズにおける「焦点距離」を変更して撮影した別の画像PB2を用いてシェーディングP1を補正する場合について説明する。ここでは、2つの画像PA(PA1),PB(PB2)は、撮影光学系の撮影条件のうち、焦点距離に関する撮影条件を変更した上で撮像される。より詳細には、画像(参照画像)PB2は、画像PA1の撮像時点よりも広角側で撮像される。そして、この画像PB2を用いて、画像PA1における周辺光量落ちが補正される。
【0065】
画像PB2は画像PA1に比べて大きな画角で撮影された画像であるので、画像PB2には画像PA1に比べて広い範囲が撮影されている。ところで、シェーディングの影響は周辺部分において顕著であり中心部においては少ない(理想的には存在しない)という特性が存在する。ここでは、この特性を利用して口径食によるシェーディングを補正する。
【0066】
図8(a)(b)は、それぞれ、画像PA1,PB2を示す図である。いずれの画像PA1,PB2においても、口径食によるシェーディングによって周辺光量落ちが生じている状態が示されている。
【0067】
ただし、両画像PA1,PB2においては、同一の被写体に対応する部分に関してシェーディングの状態が互いに異なっている。具体的には、画像PB2においては、周辺部ではシェーディングの影響が大きいものの、中央部ではシェーディングの影響が小さく比較的理想状態に近い輝度分布を得ることができる。したがって、画像PB2内の領域R1においてはシェーディングの影響が比較的小さいことになる。ここで、図8(b)に示すように、画像PB2(図中の外側の矩形領域R2)内の画像領域(図中の内側の矩形領域)R1は、画像PA1の撮影範囲に対応する領域である。
【0068】
このように、画像PB2は、画像PB2内での画像PA1の撮影範囲が、画像PB2の中央部に収まるような状態で撮影されているので、画像PB2のこの中央部においては周辺部のような光量落ちが生じていない。言い換えれば、画像PA1における最大像高は、画像PB2においてはケラレが生じない像高に対応している。
【0069】
逆に言えば、画像PB2は、画像PB2内での画像PA1の撮影範囲R1が画像PB2において周辺光量落ちが生じていない範囲に収まるような状態で撮影されることが好ましい。そのためには、たとえば、画像PB2は、画像PA1の撮像時点の焦点距離の80%の焦点距離で撮影すればよい。
【0070】
図9(a)および図9(b)は、それぞれ、画像PA1および画像PB2におけるシェーディングの影響を示す図である。なお、横軸は水平方向における位置xを示しており、縦軸は各水平位置における各画素の輝度値Lを示している。
【0071】
図8および図9に示すように、画像PA1の撮影範囲w1は、画像PB2において範囲w2に相当する。そして、この撮影範囲w2は、画像PB2において周辺光量落ちが生じていない範囲に収まっている。言い換えれば、画像PB2の範囲w2においては画像PA1の範囲w1と比べてシェーディングの影響が低減されている。
【0072】
そこで、両画像PA1,PB2の対応位置における輝度値を用いて、上記と同様の思想を適用して補正すればよい。
【0073】
具体的には、画像PA1において中心から距離Xだけ離れた画素Paの補正係数h1は、各画像PA1,PB2における中心位置の画素の輝度値L0,L1、画像PA1において中心から距離Xだけ離れた画素Paの輝度値L12、および画像PB2において画素Paに対応する画素Pbの輝度値L13を用いて、次の数2で示される。
【0074】
【数2】
【0075】
そして、この補正係数h1を元の画素値L12に乗じれば、シェーディングの影響を補正することができる。
【0076】
以上のように、絞りおよび/または焦点距離を変更して撮影した2枚の画像に基づいて、シェーディングP1のうち「口径食」に起因するものを補正することができる。
【0077】
また、シェーディングP1のうち、コサイン4乗則に起因するものは、レンズの幾何的特性に依存する。したがって、レンズの設計段階の理論値に基づいて、上記と同様の補正値h2を予め求めておくことが可能である。具体的には、目的画像PA1の元の画素値に対して上記の口径食に起因する補正値h1を乗じた結果に対して、コサイン4乗則を補正するための補正値h2をさらに乗じればよい。これによって、より良好なシェーディング補正を行うことができる。
【0078】
<A3.動作>
つぎに、図10を参照しながら、第1実施形態における詳細動作について説明する。図10は、この撮像動作の一例を示すフローチャートである。
【0079】
図10に示すように、まず、ステップSP101〜SP103において、目的画像PAを取得する。
【0080】
具体的には、絞りおよびズーム等の撮影条件が設定され(ステップSP101)、シャッタボタン9が全押し状態S2にまで押し込まれると、被写体に関する目的画像PA(PA1)が取得され(ステップSP102)、画像PAが画像メモリ126に記憶される(ステップSP103)。
【0081】
より詳細には、CCD303の受光素子で受光された被写体像は、光電変換された後、画像信号としてアナログ信号処理回路121に出力される。アナログ信号処理回路121は、この画像信号に対して所定の処理を施した後、A/D変換回路122に出力する。A/D変換回路122は、CCD303から出力されたアナログの画像信号をデジタルの画像信号に変換し、画像メモリ126に対して出力する。この変換後のデジタルの画像信号は、画像PAを表す画像データとしてそのまま画像メモリ126に一旦格納される。このようにして、画像PAが画像メモリ126に格納される。
【0082】
また、目的画像PAは、参照画像PBの取得を待たずに、シャッタボタン9の押下に応じて直ぐに取得されるので、シャッタボタン9の押下時点と画像PAの取得時点とのずれの発生を回避できる。
【0083】
なお、この時点においては、画像PAに対しては、未だ、シェーディング補正およびホワイトバランス補正処理等の基本画像処理は施されていない。
【0084】
次に、ステップSP104において、上記のような方式(以下、方式H1とも称する)のシェーディング補正を行うか、あるいは、通常の方式(以下、方式H0とも称する)のシェーディング補正を行うかを決定する。
【0085】
なお、方式H0のシェーディング補正は、たとえば、ROM151内の補正テーブルに予め格納されていた所定の補正係数を各画素に乗じることによって行われる。ROM151内の補正テーブルにおいて、「コサイン4乗則」等に起因するシェーディングを補正するための補正係数を、設計時の理論値等に基づいて定めておけばよい。
【0086】
このステップSP104においては、画像PAの撮影条件に応じて、両方式H0,H1のうちのいずれの方式を採用するかが決定される。
【0087】
より詳細には、画像PAの撮影条件に関して、(i)絞り開口が所定の程度よりも大きい(Fナンバーが所定値よりも小さい)場合、および(ii)焦点距離が所定値よりも大きい場合には、ステップSP105に進んで方式H1のシェーディング補正を行い、それ以外の場合にはステップSP115に進んで方式H0のシェーディング補正を行う。
【0088】
参照画像PB(たとえば、PB1,PB2)の撮影が必要であると判定された場合には、ステップSP105において撮影条件を変更する。この変更動作は、全体制御部150の制御下において、絞り制御回路131および/またはズーム制御回路132を介して行われる。
【0089】
具体的には、全体制御部150は、(i)絞り開口が所定の程度よりも大きい(Fナンバーが所定値よりも小さい)という条件を満たす場合には、絞りを最小開口絞りに設定する。また、(ii)焦点距離が所定値よりも大きいという条件を満たす場合には、焦点距離を画像PAの撮像時の値の80%の値に設定する。なお、両方の条件を満たす場合、すなわち、絞り開口が所定の程度よりも大きく、且つ、焦点距離が所定値よりも大きい場合には、絞りを最小開口絞りに設定し、且つ、焦点距離を画像PAの撮像時の値の80%の値に設定する。ただし、これに限定されず、いずれか一方の撮影条件のみを変更するようにしてもよい。
【0090】
その後、参照画像PBが取得され(ステップSP106)、画像PBが画像メモリ126に記憶される(ステップSP107)。なお、この時点においては画像PAと同様、画像PBに対しても、未だシェーディング補正およびホワイトバランス補正処理等の基本画像処理は施されていない。
【0091】
そして、ステップSP108において、両画像PA,PBの位置合わせが行われる。この位置合わせには、パターンマッチング等の各種の技術を用いることが可能である。これによって、両画像PA,PBの相互間において、被写体の同一部分の対応付けが行われる。
【0092】
ステップSP109においては、位置合わせの結果に応じて分岐処理が行われる。
【0093】
この実施形態においては、両画像PA,PBは、微小時間内に撮影されるため、被写体の対応付けが比較的良好に行われる。ただし、被写体の動きが非常に速い場合などにおいては、両画像PA,PBにおける被写体の同一性が著しく損なわれてしまうこともあり、位置合わせが失敗することになる。このような場合には、方式H1のシェーディング補正を行う代わりに、ステップSP115に進んで方式H0のシェーディング補正を行うこととする。
【0094】
一方、この位置合わせが成功したときには、ステップSP110に進み、方式H1のシェーディング補正を実施する。
【0095】
ステップSP110においては、上述したように、2つの画像PA,PBを利用して、補正テーブルを作成する。
【0096】
図11は、ステップSP110で作成された補正テーブルTBLの一例を示す図である。
【0097】
この補正テーブルにおいて、CCD303の1600画素×1200画素=192万画素のそれぞれの画素に対応するように、192万個の補正係数を設けるようにしてもよいが、その場合、データサイズが膨大になる。
【0098】
そこで、この実施形態の補正テーブルTBLにおいては、画像PAを所定の画素サイズを有する複数のブロックに区分し、各ブロック毎に補正係数を定めるものとする。具体的には、所定サイズ(たとえば、4画素×4画素)のブロック単位で1つの補正データを設定し、画素のブロック毎に補正を行うようにすればよい。これにより、補正テーブルTBLのデータサイズを低減することが可能である。あるいは、さらに大きなサイズのブロックに区分するようにしてもよい。たとえば、図12に示すように、各ブロックのサイズを(320画素×300画素)として、画像PAを5×4=20個のブロックBLij(i=1〜5;j=1〜4)に区分するようにしてもよい。ただし、補正精度を向上させるためには、各単位ブロックのサイズは小さい方が好ましい。
【0099】
次のステップSP111においては、コサイン4乗則によるシェーディングの影響を軽減するための補正係数h2をさらに考慮して、補正テーブルTBLのデータを修正する。具体的には、補正テーブルTBLに格納されていた補正係数h1に対して、各位置に応じた補正係数h2をさらに乗じることによって、補正係数を更新する。
【0100】
そして、この更新された補正係数が格納された補正テーブルに基づいて、画像PAに対してシェーディング補正を行う(ステップSP112)。すなわち、補正テーブルに格納されている各画素に対応する補正係数(h1×h2)を、画像PA内の各画素の画素値に乗じてシェーディング補正を行う。このような補正演算処理は、全体制御部150の制御下において、シェーディング補正回路123によって行われる。なお、この乗算処理においてオーバーフローした場合は、その画素データのレベルを最大値(すなわち1023)にすればよい。
【0101】
その後、ステップSP113において、シェーディング補正後の画像PAに対して、さらに所定の画像処理(たとえば、WB処理、画素補間処理、色補正処理、およびγ補正処理等)を行った後、画像処理後の画像PAを画像メモリ126を一旦記憶する。さらに、その後、画像メモリ126に記憶された画像PAを、メモリカード8に転送してメモリカード8に記憶する。
【0102】
以上のようにして、シェーディング補正を伴う画像PAの撮影動作が行われる。
【0103】
上述したように、シェーディングの状態が互いに異なる2枚の画像PA,PBを利用することによって、最終的に取得された画像PAにおけるシェーディングの影響を軽減することが可能になる。また、上記の従来技術のように白キャップを手動で着脱させるという動作を伴う必要がない。このように、上記の第1実施形態によれば、簡易な操作でシェーディング補正を行うことが可能である。
【0104】
また、上記第1実施形態によれば、操作者は、撮影条件を調整してシャッタボタン9を押下するという一連の撮影操作によって、画像PAにおけるシェーディングを補正することができるので、特に操作性が高い。
【0105】
なお、2枚の画像PA,PBにおける被写体の同一性が部分的に損なわれている場合には、数1などを用いて当該部分における補正係数を求める際に、両画像の当該部分についての輝度をそのまま用いない方が好ましい。
【0106】
たとえば、ステップSP110(図10)において、図12に示すように、画像PAを5×4=20個のブロックBLij(i=1〜5;j=1〜4)に分割して各ブロックの補正係数を求める場合を想定する。この場合、被写体である人物の腕部が撮像直後に移動することによって、画像PAと画像PBとが相違する部分(図の略中央のブロックBL23など)を有することになる。ここで、各ブロックがこのような相違部分であるか否かは、次のようにして判定することができる。具体的には、その所定のブロック(例えばブロックBL23)についての2画像間の輝度比とその所定のブロックの周辺のブロック(例えばブロックBL23の周辺の8ブロック)についての2画像間の輝度比とが所定程度よりも大きく相違する場合には、各ブロックがこのような相違部分であると判定すればよい。
【0107】
このような相違部分においては、両者の対応関係は正確でなくなっているため、当該部分の2画像間の輝度比に基づくシェーディング補正値は不正確なものになってしまう。
【0108】
そこで、このような相違部分については、その所定のブロックの周辺部分をも含めた輝度平均値を当該部分の輝度値として用いて、当該ブロックのシェーディング補正値を求める。たとえば、ブロックBL23のシェーディング補正係数h1については、各画像PA,PBの当該ブロックBL23についての輝度のみを用いてシェーディング補正値を求めるのではなく、次のようにして求めればよい。具体的には、まず、画像PA内の9つのブロック(ブロックBL23およびその周辺8ブロックBL12,BL22,BL32,BL13,BL33,BL14,BL24,BL34)における平均輝度値と画像PB内の対応する9ブロックにおける平均輝度値とを求める。そして、両平均輝度値をそれぞれこのブロックBL23についての画像PA,PBの輝度値とみなして、数1などに基づいて補正係数h1を求めればよい。
【0109】
このように、画像PA内の所定部分(ブロックBL23)についての2枚の画像PA,PBの対応領域間の輝度比とその周辺部分(たとえば、周辺の8ブロック)についての2枚の画像PA,PBの対応領域間の輝度比との相違が所定程度よりも小さいときには、原則的なルールRL1、具体的には、その「所定部分」についての各画像PA,PBの対応領域の輝度に基づくルール(たとえば、画像PAのブロックBL23の輝度と画像PBのブロックBL23の輝度とに基づくルール)を用いて、その所定部分のシェーディング補正情報を求める。一方、両輝度比の相違が所定程度よりも大きいときには、例外的なルールRL2、具体的には、当該所定部分についての輝度だけでなくその所定部分の「周辺部分」についての輝度にも基づくルールを用いて当該所定部分のシェーディング補正情報を求めればよい。
【0110】
これによれば、相違部分のシェーディング補正情報を求める際に、輝度算出の対象となるブロックサイズを実質的に変更(より詳細には拡大)することによって、部分的な相違の影響を緩和することができる。したがって、各ブロックサイズごとの対応関係のみに基づいてシェーディング補正係数を求める場合よりも、シェーディング補正係数による補正精度を向上させることができる。
【0111】
<A4.第1実施形態に対する変形例>
上記においては、画像PB1を撮影する際には、絞りを、通常の撮影に使用可能な最小絞りに設定する場合を例示したが、これに限定されない。具体的には、通常の撮影に使用可能な最小絞り開口よりもさらに絞った絞り開口で画像を撮影するようにしてもよい。たとえば、画像劣化のため通常の撮影では用いない小さな開口(Fナンバーで表現すれば比較的大きな値)、たとえば、Fナンバーが32程度(F=32.0)の絞りを用いて撮像した画像を、画像PB1として利用することも可能である。
【0112】
一般に絞り開口が一定程度よりも小さくなると、回折による解像性能低下が生じることもあるが、上記実施形態においては、画像PA,PBの輝度値が比較できる程度であればよいのであって、回折による解像性能低下の影響は非常に少ない。特に、非常に小さな絞り開口を用いることにより、周辺光量落ちの影響をさらに排除できるので、好都合である。
【0113】
また、絞りを絞ることによる露光量の不足は、たとえば、CCD303におけるシャッタスピードを低速にする、言い換えれば、CCD303における露光時間を長くすることによって解消することができる。具体的には、ステップSP105において、シャッタスピードに関する撮影条件をもさらに変更すればよい。これによれば、A/D変換後の画素値が実際に存在するレンジを拡大させ、画像PB内の複数の画素の画素値を、より多数の段階値とすることができるので、より高精度のシェーディング補正が可能になる。また、ノイズ成分を減少させることもできるので、さらに高精度のシェーディング補正が可能である。なお、露光時間を長くすると、画像にぶれが生じることが考えられるが、両画像PA,PBの対応部分の輝度の比が求められれば十分であるので、両画像PA,PBの位置合わせが可能な程度で有れば画像のぶれも許容される。
【0114】
さらに、上記のような画像PBにおける露光量不足を補うためには、次のような対策を講じることも可能である。
【0115】
たとえば、アナログ信号処理回路121によるゲインコントロールでの信号レベルの調整用ゲインを増大させることによって露光量不足を補うことが可能である。具体的には、各画素のゲインをより通常設定値よりも大きな値(たとえば4倍の値)とすればよい。具体的には、ステップSP106の撮像時においてゲインを増大させた上で、参照画像PBを取得するようにすればよい。これによれば、A/D変換後の画素値が実際に存在するレンジを拡大させ、画像PB内の複数の画素の画素値を、より多数の段階値とすることができるので、より高精度のシェーディング補正が可能になる。
【0116】
あるいは、参照画像PBに関して、各画素の画像信号をその画素の周辺画素の画像信号を加算した値として、各画素の画像データを増大させるようにしてもよい。たとえば、画像メモリ126に一旦格納された画像PB内の各画素の値を、各画素の周辺4画素(あるいは周辺9画素)の値を加算した値に変換するような画像フィルタ処理を施すようにすればよい。あるいは、CCD303から出力されたアナログ信号の段階でアナログ信号処理回路121によって、各画素の画像信号に対してその画素の周辺の画素の信号を加算するようにしてもよい。これによれば、画像PB内の複数の画素の画素値を、より多数の段階値とすることができるので、より高精度のシェーディング補正が可能になる。
【0117】
さらに、上記においては、焦点距離が所定値よりも大きい場合に、焦点距離を80%に減じて画像PBを撮影して、方式H1のシェーディング補正を行う技術を例示したが、これに限定されない。具体的には、画像PAにシェーディングが存在するにもかかわらず、画像PAの撮像時の焦点距離の80%に減じることができない場合には、参照画像PBの撮影のための「専用焦点距離」に変更するようにしても良い。
【0118】
ここで、参照画像PBの撮影のための「専用焦点距離」について説明する。通常、ズームレンズは、レンズ群の相対移動により倍率を変更するが、機構的な制約などのため、結像位置を変更せずに済む焦点距離の範囲は限定されることになる。したがって、通常の撮影(具体的には、観賞用画像の撮影)に用いられる焦点距離の範囲は限定されることになる。言い換えれば、操作者が設定可能な焦点距離は、ワイド端からテレ端までの所定の範囲に限定される。この範囲は、例えば或るズームレンズでは、28mm〜200mmの範囲となる。図13は、2群ズームレンズにおいて、各焦点距離を実現するための2つのレンズ群300,301の動きを示す図である。
【0119】
図13に示すように、2つのレンズ群を相互に独立して移動させることによって、ズームにおける変倍率をテレ端Teからワイド端Weに向けて変化させつつ、同一の位置(具体的には、CCD303表面の結像面)に被写体像を結像させることが可能である。
【0120】
また、この図13に示すように、テレ端(Te)側からワイド側に移動した後、さらにワイド端(We)を越えて2つのレンズ群300,301を移動させる場合には、一方のレンズ群(図では300)は引き続き移動することが可能であるが、他方のレンズ群(図では301)は機構的制約のため移動することができなくなる。このとき、ズームの状態としては、ワイド端よりもさらに広角側(ワイド側)に変化させることが可能であるものの、焦点の外れた状態となる。ただし、両画像PA,PBの対応部分の輝度の比が求められれば十分であるので、両画像PA,PBの位置合わせが可能な程度で有れば画像のぼけも許容される。
【0121】
なお、この「専用焦点距離」は例えば沈胴式レンズ鏡胴を有するカメラにおける沈胴領域を利用することが可能である。
【0122】
また、各レンズ群300,301をワイド側に移動させることによって、画像PBにおいて収差補正不足による解像性能低下が生じることもあり得るが、画像PA,PBの輝度値が比較できる程度であればよいのであって、収差補正不足による解像性能低下の影響は非常に少ない。むしろ、ワイド側に移動させることによって、周辺光量落ちの影響を排除できるので、好都合である。
【0123】
このように、シェーディング補正のための画像PBとしては、上記のようにワイド端よりもさらにワイド側で撮影された画像をも採用することが可能である。言い換えれば、このようなワイド端よりもさらに短い焦点距離(上記の例では、28mmよりも小さな焦点距離(たとえば24mm))を、参照画像PBの撮影専用の焦点距離として用いることが可能である。これにより、例えばワイド端(焦点距離=28mm)での撮像時など焦点距離が所定値(たとえば、28/0.8=35mm)よりも小さな場合においても、上記の専用焦点距離を用いれば、より広角の画像PBを撮影できる。したがって、上記の(ii)の場合と同様の動作によってシェーディングを補正することが可能になる。
【0124】
さらに、図14の概略側面図に示すように、デジタルカメラ1に対して着脱自在のコンバージョンレンズ(付加光学系)306を装着して撮影する場合にも同様の動作を行うことが可能である。なお、図14は、コンバージョンレンズ(具体的には、テレコンバージョンレンズ)の非装着時(a)と装着時(b)とを示す概略図である。
【0125】
具体的には、コンバージョンレンズ306として、倍率を向上させるテレコンバージョンレンズを装着する場合には、上記の(ii)の場合と同様の動作が可能である。たとえば、焦点距離を80%に減じて画像PBを撮影すればよい。
【0126】
あるいは、コンバージョンレンズ306として、より広角画像を撮影するためのワイドコンバージョンレンズを装着する場合には、上記の変形例と同様の動作が可能である。たとえば、上述の画像PB撮影専用の焦点距離(たとえば24mm)で、画像PBを撮影すればよい。
【0127】
また、各コンバージョンレンズが装着されたか否かは、所定のメニュー画面を用いて撮影者がデジタルカメラ1に対して入力する入力情報に応じて認識するようにしてもよい。あるいは、電気的接点を有するコンバージョンレンズが装着される場合には、コンバージョンレンズ306側の電気的接点およびデジタルカメラ1の本体側の電気的接点を介してデジタルカメラ1の全体制御部150に入力される装着信号に基づいて、当該コンバージョンレンズの装着を認識するようにしてもよい。
【0128】
デジタルカメラ1には、様々なコンバージョンレンズが装着される可能性があるが、以上のような動作によれば、デジタルカメラ1に装着されたコンバージョンレンズに応じてシェーディングを補正することができる。
【0129】
<B.第2実施形態>
<B1.概要および原理>
この第2実施形態においては、上述の(2)照明光源(フラッシュ光など)による被写体照度が不均一になるシェーディングP2を補正する技術について説明する。このシェーディングP2は、画像内の被写体ごとの被写体距離の相違に基づく被写体照度の過不足に起因して発生するものである。また、以下に説明する補正方式を、便宜上、方式H2のシェーディング補正と称するものとする。なお、第2実施形態に係るデジタルカメラは、第1実施形態のデジタルカメラと同様の構成を備えており、以下では、相違点を中心に説明する。
【0130】
図15(a)(b)は、シェーディングP2およびその補正について説明する図である。図15(a)(b)は、いずれも同じ被写体をフラッシュ発光の有無を変更して撮影した画像PA(PA3),PB(PB3)を示す図である。両画像PA3,PB3は、同一の被写体に関する画像であり、いずれの画像PA,PBにおいても、最も近い位置に存在する人物HMとその背後にある樹木TRとが被写体として撮影されている。また、図15(a)には、フラッシュ発光を伴って撮影される画像PA3が示されており、図15(a)には、フラッシュ発光を伴わずに撮影される画像PB3が示されている。両画像PA3,PB3は、照明系の撮影条件(より詳細にはフラッシュ発光の有無)が相違しているため、シェーディングの状態が互いに異なっている。
【0131】
ところで、フラッシュ光は、デジタルカメラ1から被写体までの距離(すなわち被写体距離)に応じて、その被写体に対する照明効果が相違する。より具体的には、フラッシュ発光による照明効果は、距離の2乗に反比例する。たとえば、図15(a)(b)において、デジタルカメラ1から人物HMまでの距離を1とし、デジタルカメラ1から樹木TRまでの距離を3とする場合において、フラッシュ発光による人物HMに対する照明効果を1とすると、フラッシュ発光による樹木TRに対する照明効果は1/9となる。したがって、画像PA3においては、大きな被写体距離を有する樹木TRが、見た目よりも暗く写ってしまうことになる。このように、画像PA3においては、画像内の被写体ごとの被写体距離の相違に基づく被写体照度の過不足に起因する、シェーディングP2が発生する。
【0132】
これに対して、被写体までの相対距離の2乗の値をフラッシュ発光による輝度増加分に乗じることによって、シェーディングP2を補正することができる。たとえば、上記の例の場合には、樹木の輝度のフラッシュ発光による増加分を9倍にすれば、距離の相違に起因する照明効果の相違を補正することができる。
【0133】
ただし、遠い被写体に対してこのような輝度補正を施しすぎると、ノイズ成分が増幅されて画質が劣化してしまうことがある。このような事態を回避するため、補正係数には上限値を設けることが好ましい。言い換えれば、上記のようにして算出された補正係数が所定の上限値(たとえば、4程度)よりも大きくなる場合には、補正係数を所定の上限値に変更することが好ましい。
【0134】
<B2.動作>
つぎに、図16および図17を参照しながら、第2実施形態における詳細動作について説明する。図16は、この撮像動作の一例を示すフローチャートであり、図17は、その一部動作(ステップSP209)をさらに詳細に示すフローチャートである。
【0135】
なお、以下の動作においては、参照画像PBが目的画像PAよりも先に撮影される。これは、上記の方式H2のシェーディング補正を常に行うことを前提としていることによる。また、この第2実施形態においては、デジタルカメラ1による撮影におけるライブビュー画像(撮影前の被写体のフレーミング決定用の動画像)を参照画像PBとして利用する。より詳細には、ライブビュー用に所定周期(例えば1/30秒)で連続的に取得される複数の画像のうち、シャッタボタン9が全押し状態S2になる直前に取得された画像を、画像PB(PB3)として取得する。これによって、シャッタボタン9の押下タイミングと目的画像PAの取得タイミングとのずれを回避することができる。
【0136】
まず、図16に示すように、ステップSP201〜SP203において、参照画像PB3を取得する。上述したように、撮影待機状態においては、絞りおよびズーム等の撮影条件が設定され(ステップSP201)、ライブビュー用の画像がCCD303により1/30(秒)毎に撮影され(ステップSP202)、画像メモリ126に一時記憶される(ステップSP203)。この動作は、ステップSP204において、シャッタボタン9が全押し状態S2にされたと判定されるまで繰り返し行われる。そして、シャッタボタン9が全押し状態S2にされる直前に取得されたライブビュー用画像が、最終的な参照画像PB3として取得されることになる。
【0137】
そして、シャッタボタン9が全押し状態S2にまで押し込まれると、被写体に関する目的画像PA(PA3)が取得され(ステップSP205)、画像PAが画像メモリ126に記憶される(ステップSP206)。
【0138】
その後、ステップSP207において、両画像PA,PBの位置合わせが行われる。この位置合わせには、パターンマッチング等の各種の技術を用いることが可能である。これによって、両画像PA,PBの相互間において、被写体の同一部分の対応付けが行われる。また、両画像PA,PBの画素サイズが異なる場合においても、この位置合わせによって、画像PA内の各画素に対して画像PB内のいずれかの画素が対応付けられる。
【0139】
ステップSP208においては、位置合わせの結果に応じて分岐処理が行われる。位置合わせに失敗した場合には、上記の方式H2のシェーディング補正を行わずに、ステップSP211に進む。一方、この位置合わせが成功したときには、ステップSP209に進み、方式H2のシェーディング補正を実施する。
【0140】
ステップSP209においては、上述したように、2つの画像PA,PBを利用して、補正テーブルを作成する。具体的には、次のようにして、画素単位の補正係数h3を求める。なお、補正係数h3は、1画素単位ではなく、所定サイズのブロック単位で求められてもよい。
【0141】
以下、このステップSP209について図17を参照しながら説明する。
【0142】
まず、画素単位で2つの画像PA,PBの輝度差が算出され(ステップSP301)、この輝度差に基づいて各画素位置における被写体の相対距離が求められる(ステップSP302)。
【0143】
まず、各被写体の距離の相違、言い換えれば各被写体の相対距離は、2枚の画像PA3,PB3に基づいて算出することができる。以下では、この相対距離の算出処理について説明する。ここでは、図15(a)(b)にも示すように、画像PB3における人物部分の輝度Z2が40、樹木部分の輝度Z4が30であるとし、画像PA3における人物部分の輝度Z1が100、樹木部分の輝度Z3が35である場合を想定する。また、画像PA3の人物部分が適正露光になっていると仮定し、この人物の被写体距離を基準距離とするものとする。なお、これに限定されず、複数の被写体のうちオートフォーカス時に主被写体として決定されたものを基準にして、基準距離を決定してもよい。
【0144】
次のような手順により、樹木部分の相対距離を求める。まず、樹木部分に関して画像PA3と画像PB3とで画素値の差分(Z3−Z4=35−30)を算出し、画像PB3の画素値に対する差分値の比(=(Z3−Z4)/Z4=(35−30)/30=1/6)を求める。これは、フラッシュ発光による樹木部分の増加比率に相当する。同様に、基準となる人物部分に対しても、画像PB3の画素値に対する差分値の比(=(Z1−Z2)/Z2=(100−40)/40=3/2)を求める。これは、フラッシュ発光による人物部分の増加比率に相当する。
【0145】
したがって、樹木部分におけるフラッシュの照明効果は、人物部分を基準に正規化すると、(Z3−Z4)/Z4×(Z2/(Z1−Z2))=(1/6)×(2/3)=1/9となる。したがって、人物部分の被写体距離を基準距離としたときの樹木部分の相対距離は、1/9の逆数の平方根、すなわち3となる。このようにして、各画素について、その画素に対応する被写体の相対距離を算出することができる。
【0146】
その後、ノイズあるいは被写体の移動による値のばらつきを低減するため所定のフィルタ処理を施す(ステップSP303)。なお、フィルタ処理は、画像処理回路124内の所定のフィルタ回路を用いて行えばよい。
【0147】
そして、ステップSP304において、上記の相対距離を自乗(2乗)した値が補正係数h3として取得される。また、ステップSP305においては、補正係数に対して上限値の制限を加える。具体的には、ステップSP304で算出された補正係数が所定の上限値(たとえば、4程度)よりも大きくなる場合には、補正係数を所定の上限値に変更する。
【0148】
以上のようにして補正係数h3を求めることができる。このような補正係数h3は画素毎に求められ、補正テーブルに格納される。この補正テーブルは、各画素について、基準距離に対する各画素位置の被写体距離の比(すなわち相対距離)の2乗の値が画素毎に格納されたテーブルとなっている。なお、上記においては、被写体距離は、基準距離を用いて正規化した値として求められているが、これに限定されず、たとえば、オートフォーカス時に求められた主被写体の測距値等に基づいて、正規化されることなく実距離を表す値として求められてもよい。
【0149】
そして、ステップSP210(図16)においては、補正係数h3が格納された補正テーブルに基づいて、画像PAに対してシェーディング補正を行う。すなわち、各画素の画素値を、フラッシュ発光による増加分(変化分)を補正係数h3で増幅した値に変更する。具体的には、次の数3を用いて変更する。
【0150】
【数3】
【0151】
ただし、Zaは目的画像PAの各画素の画素値であり、Zbは参照画像PB内の対応画素の画素値である。また、Zcは変更後の画素値である。
【0152】
これにより、補正係数h3が1よりも大きいときには新たな画素値Zcは元の画素値Zaよりも大きな値になり、照度の不足分が補正される。また、補正係数h3が1よりも小さいときには新たな画素値Zcは元の画素値Zaよりも小さな値になり、照度の過剰分が補正される。なお、補正係数h3が1のときには元の画素値Zaが新たな画素値Zcとなる。このような補正演算処理は、全体制御部150の制御下において、シェーディング補正回路123によって行われる。
【0153】
その後、ステップSP211において、シェーディング補正後の画像PAに対して、さらに所定の画像処理(たとえば、WB処理、画素補間処理、色補正処理、およびγ補正処理等)を行った後、画像処理後の画像PAを画像メモリ126を一旦記憶する。さらに、その後、画像メモリ126に記憶された画像PAを、メモリカード8に転送してメモリカード8に記憶する(ステップSP212)。
【0154】
以上のようにして、シェーディング補正を伴う画像PAの撮影動作が行われる。
【0155】
この第2実施形態によれば、上述したように、シェーディングの状態が互いに異なる2枚の画像PA,PBを利用することによって、最終的に取得された画像PAにおけるシェーディングの影響を軽減することが可能になる。このとき、従来技術のように、白キャップを手動で着脱させるという動作を伴う必要がないので、簡易な操作でシェーディング補正を行うことが可能である。
【0156】
なお、上記第2実施形態においては、フラッシュ発光の有無を変更して2枚の画像を撮影し、フラッシュ発光を伴う画像についてシェーディング補正を施す場合について説明したが、これに限定されない。たとえば、フラッシュ以外の照明光源(ビデオライトなど)の発光の有無を変更するようにしてもよい。また、ビデオライト等の照明光源は完全に発光しない状態だけでなく、実質的に被写体を照明しない程度の微弱光を発するような状態も、その照明光源による発光が無い状態であるとみなすことができ、これを参照画像取得に使用することができる。
【0157】
また、上記第2実施形態においては、ライブビュー用画像を参照画像PBとして取得している。自動露出(AE)制御における各種パラメータ、およびホワイトバランス制御における各種パラメータは、ライブビュー用画像としての参照画像PBを用いて取得することができる。したがって、AE制御あるいはWB制御における各種パラメータも、上記のシェーディング補正におけるパラメータも、同一の参照画像PBに基づいて取得することが可能である。すなわち、取得すべき撮影画像の枚数を最小限に止めることができる。
【0158】
<C.その他>
上記各実施形態においては、各ブロック内の画素データを、そのブロックに対応する補正データのみを用いて補正する場合を例示したが、これに限定されない。たとえば、ブロック単位の補正データを各ブロックの基準値として設定しておき、対象画素の属するブロックB0および周辺ブロックB1の各基準値を、隣接ブロックB0,B1の中心位置と当該対象画素の位置との関係に基づいて重み付け演算し、画素毎の補正係数を算出するようにしてもよい。これにより、補正テーブルのデータサイズを抑制しつつ、より多段階のシェーディング補正を行うことが可能になる。
【0159】
また、上記各実施形態においては、シェーディング補正係数を用いてシェーディング補正を行う場合を例示したが、これに限定されず、その他のシェーディング補正情報を用いてシェーディング補正を行うようにしてもよい。たとえば、各画素毎のシェーディング補正係数を各画素の画素値に乗じるのではなく、各画素の位置を変数とする所定の計算式に応じてシェーディング補正を行うようにしてもよい。この場合には、当該計算式における各係数パラメータの値を、上記の2枚の画像PA,PBの比較により求めておけばよい。
【0160】
上記各実施形態においては、A/D変換後、シェーディング補正を行った後に他のデジタル画像信号処理(たとえば、WB処理、画素補間処理、色補正処理、およびγ補正処理等)を行うようにしているが、これに限定されない。たとえば、これらの複数のデジタル信号処理のうち幾つかのデジタル信号処理を行った後にシェーディング補正を行い、さらにその後、残余のデジタル信号処理を行うようにしてもよい。
【0161】
なお、上述した具体的実施形態には以下の構成を有する発明が含まれている。
【0162】
(1)請求項2に記載のデジタルカメラにおいて、
前記第2画像の撮像時には前記撮像素子におけるシャッタスピードを前記第1画像の撮像時よりも低速にする手段、
をさらに備えることを特徴とするデジタルカメラ。これによれば、第2画像の撮像時において、撮像素子におけるシャッタスピードが低速にされるので、絞りを絞ることによる露光量の低下を改善することができる。
【0163】
(2)請求項2に記載のデジタルカメラにおいて、
前記第2画像の撮像時には前記撮像素子からの信号に対するレベル調整用ゲインを前記第1画像の撮像時よりも大きくする手段、
をさらに備えることを特徴とするデジタルカメラ。これによれば、第2画像の撮像時において、撮像素子からの信号に対するレベル調整用ゲインが第1画像の撮像時よりも大きくされるので、絞りを絞ることによる露光量の低下を改善することができる。
【0164】
(3)請求項2に記載のデジタルカメラにおいて、
前記第2画像の撮像時において、前記撮像素子における所定画素の信号に対して当該所定画素の周辺の画素の信号を加算する手段、をさらに備えることを特徴とするデジタルカメラ。これによれば、第2画像の撮像時において、撮像素子における所定画素の信号に対して当該所定画素の周辺の画素の信号が加算されるので、絞りを絞ることによる露光量の低下を改善することができる。
【0165】
(4)請求項3に記載のデジタルカメラにおいて、
前記撮像光学系は、前記デジタルカメラに対して着脱自在のコンバージョンレンズを含むことを特徴とするデジタルカメラ。これによれば、デジタルカメラに装着されたコンバージョンレンズに応じたシェーディング補正を簡易に行うことができる。
【0166】
(5)請求項3に記載のデジタルカメラにおいて、
前記第2画像は、操作者が設定可能な焦点距離よりもさらに短い焦点距離で撮像されることを特徴とするデジタルカメラ。これによれば、比較的広角側で撮像された画像に対しても、シェーディング補正を簡易に施すことができる。
【0167】
(6)請求項4に記載のデジタルカメラにおいて、
前記第2のルールは、前記周辺部分についての前記2枚の画像における対応領域の輝度に基づいて当該所定部分のシェーディング補正情報を求めるルールであることを特徴とするデジタルカメラ。これによれば、所定部分の輝度のみに基づいてシェーディング補正係数を求める場合よりも、部分的な相違の影響を緩和することができるので、シェーディング補正係数による補正精度を向上させることができる。
【0168】
(7)請求項5に記載のデジタルカメラにおいて、
前記補正情報算出手段は、前記2枚の画像における各対応領域の輝度差に基づいて、シェーディング補正情報を求めることを特徴とするデジタルカメラ。
【0169】
(8)前記(7)に記載のデジタルカメラにおいて、
前記補正情報算出手段は、前記2枚の画像における各対応領域の輝度差に基づいて、前記各対応領域における被写体距離を算出し、シェーディング補正情報を求めることを特徴とするデジタルカメラ。
【0170】
(9)前記(8)に記載のデジタルカメラにおいて、
前記補正情報算出手段は、前記各対応領域における被写体距離の2乗に比例した値を、前記各対応領域におけるシェーディング補正係数として求めることを特徴とするデジタルカメラ。
【0171】
(10)前記(9)に記載のデジタルカメラにおいて、
前記シェーディング補正係数に、上限値を設けることを特徴とするデジタルカメラ。これによれば、補正係数が大きくなりすぎないように抑制することができるので、ノイズの影響を抑制できる。
【0172】
【発明の効果】
以上のように、請求項1ないし請求項5に記載の発明によれば、シェーディング補正を簡易に行うことができる。
【0173】
特に、請求項2および請求項3に記載の発明によれば、周辺光量落ちに起因するシェーディングを簡易に補正することができる。
【0174】
また、請求項4に記載の発明によれば、2枚の画像における所定部分の対応領域の輝度比とその周辺の対応領域の輝度比との相違の程度に応じてルールを変更することによって、より適切なシェーディング補正情報を得ることができる。
【0175】
さらに、請求項5に記載の発明によれば、被写体距離の相違等によりフラッシュ発光時において被写体照度が不均一になるシェーディングを簡易に補正することができる。
【図面の簡単な説明】
【図1】デジタルカメラの外観の概略構成を示す平面図である。
【図2】デジタルカメラの断面図である。
【図3】デジタルカメラの背面図である。
【図4】デジタルカメラの内部構成を示す概略ブロック図である。
【図5】絞りの変更を用いたシェーディング補正を説明する図である。
【図6】シェーディングの影響によるデータレベルの低下状況を示す図である。
【図7】正規化後のデータレベルの低下状況を示す図である。
【図8】焦点距離の変更を用いたシェーディング補正を説明する図である。
【図9】シェーディングの影響によるデータレベルの低下状況を示す図である。
【図10】第1実施形態における撮像動作を示すフローチャートである。
【図11】補正テーブルの一例を示す概念図である。
【図12】2枚の撮影画像を示す図である。
【図13】焦点距離の変更に伴う2つのレンズ群の動きを示す図である。
【図14】コンバージョンレンズの非装着状態および装着状態を示す図である。
【図15】フラッシュ発光の有無の変更を用いたシェーディング補正を説明する図である。
【図16】第2実施形態における撮像動作を示すフローチャートである。
【図17】図16の一部の処理を示すフローチャートである。
【符号の説明】
1 デジタルカメラ
3 撮影レンズ
5 フラッシュ
9 シャッタボタン
300,301 レンズ群
302 絞り
303 撮像素子(CCD)
306 コンバージョンレンズ
PA,PA1,PA3 目的画像
PB,PB1,PB2,PB3 参照画像
TBL 補正テーブル
Te テレ端
We ワイド端
h1,h2,h3 シェーディング補正係数
【0001】
【発明の属する技術分野】
本発明は、デジタルカメラに関し、特にデジタルカメラにおけるシェーディングの補正技術に関する。
【0002】
【従来の技術】
デジタルカメラによる撮影画像においては、種々の原因に基づいて、「シェーディング」が生じる。したがって、画質を向上させるため、撮影画像からこのようなシェーディングの影響を除去すること、すなわち、シェーディング補正を行うことが求められる。
【0003】
このようなシェーディング補正を行う従来技術としては、たとえば、特開2000−13807号に記載されたものが存在する。この文献においては、透光性の白キャップで撮影レンズを覆って撮影画像を取得することによって、シェーディング補正情報を得る技術が記載されている。
【0004】
【発明が解決しようとする課題】
しかしながら、この従来技術においては、被写体を撮影する際に、白キャップを手動で着脱させるという動作を伴うことになるため、非常に面倒な操作が必要になるという問題がある。
【0005】
そこで、本発明は前記問題点に鑑み、シェーディング補正をより簡易に行うことが可能なデジタルカメラを提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するため、請求項1の発明は、デジタルカメラであって、撮影光学系および照明系のうち少なくとも一方の撮影条件を変更することにより、同一の被写体に関するシェーディングの状態が互いに異なる2枚の画像を撮像する撮像手段と、前記2枚の画像に基づいて、前記2枚の画像のうちの一方の画像に対するシェーディング補正情報を求める補正情報算出手段と、を備えることを特徴とする。
【0007】
請求項2の発明は、請求項1の発明に係るデジタルカメラにおいて、前記2枚の画像は、前記撮像光学系の絞りに関する撮影条件を変更して撮像される第1画像および第2画像であり、前記第2画像は、前記第1画像の撮像時よりも前記絞りを絞った状態で撮像されることを特徴とする。
【0008】
請求項3の発明は、請求項1の発明に係るデジタルカメラにおいて、前記2枚の画像は、前記撮像光学系の焦点距離に関する撮影条件を変更して撮像される第1画像および第2画像であり、前記第2画像は、前記第1画像の撮像時よりも前記焦点距離を短くして撮像され、前記補正情報算出手段は、前記第2画像のうち前記第1画像の撮影範囲に対応する画像領域の情報を用いて、前記シェーディング補正情報を求めることを特徴とする。
【0009】
請求項4の発明は、請求項1の発明に係るデジタルカメラにおいて、前記補正情報算出手段は、前記一方の画像内の所定部分についての前記2枚の画像の対応領域間の輝度比である第1の輝度比と前記所定部分の周辺部分についての前記2枚の画像の対応領域間の輝度比である第2の輝度比との相違が所定程度よりも小さいときには、前記所定部分についての前記2枚の画像における対応領域の輝度に基づく第1のルールを用いて当該所定部分のシェーディング補正情報を求め、前記相違が前記所定程度よりも大きいときには、前記第1のルールとは異なる第2のルールを用いて当該所定部分のシェーディング補正情報を求めることを特徴とする。
【0010】
請求項5の発明は、デジタルカメラであって、同一の被写体に関する2枚の画像を、フラッシュ発光の有無を変更して撮像する撮像手段と、前記2枚の画像に基づいて、前記2枚の画像のうちフラッシュ発光を伴う画像に対するシェーディング補正情報を求める補正情報算出手段と、を備えることを特徴とする。
【0011】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0012】
<A.第1実施形態>
<A1.構成>
図1〜図3は、本発明の第1実施形態に係るデジタルカメラ1の外観の概略構成を示す図である。図1はデジタルカメラ1の平面図、図2は図1のII−II位置から見た断面図、図3はデジタルカメラ1の背面図に相当する。
【0013】
これらの図に示すように、デジタルカメラ1は略直方体状をしているカメラ本体部2と、カメラ本体部2に着脱可能に装着される撮影レンズ3から構成される。図1に示すように、デジタルカメラ1は撮影画像を記録するメモリカード8が着脱可能に収納されるようになっている。また、デジタルカメラ1は、4本の単三形乾電池E1〜E4を直列接続する電源電池Eを駆動源としている。
【0014】
図2に示すように、ズームレンズである撮影レンズ3はレンズ群30を備えている。ここでは、撮影レンズ3として2群ズームレンズを示しており、レンズ群30は、大きく2つのレンズ群300,301に分類される。なお、図2および図3においては、図示の都合上、レンズ群300,301をそれぞれ一枚のレンズとして示している。ただし、実際には各レンズ群300,301は、一枚のレンズに限定されず、複数枚のレンズの集合体として構成されていても良い。
【0015】
一方、カメラ本体部2の内部には、レンズ群300を駆動するためのモータM1、およびレンズ群301を駆動するモータM2とが設けられている。これらのモータM1,M2の駆動により、レンズ群300,301を互いに独立して光軸方向に移動することによって、撮影レンズ3のズーム倍率の変更を行うことが可能である。また、これらのモータM1,M2を用いて、レンズ群300,301を駆動することによって、撮影レンズ3の合焦状態を変更すること、すなわち、フォーカス動作を行うことが可能である。
【0016】
また、撮影レンズ3のレンズ群30の後方位置の適所にカラー撮像素子303が設けられている。カラー撮像素子303は、CCDからなるエリアセンサの各画素の表面に、R(赤)、G(緑)、B(青)のカラーフィルタが市松模様状に貼り付けられた単板式カラーエリアセンサで構成される。このカラー撮像素子(以下、「CCD」)303は、例えば、水平方向1600画素、縦方向1200画素の192万画素を有している。
【0017】
カメラ本体部2の前面には、図1のようにグリップ部Gが設けられ、カメラ本体部2の上端点の適所にポップアップ形式の内蔵フラッシュ5が設けられている。また、図3の如く、カメラ本体部2の上面にはシャッタボタン9が設けられている。このシャッタボタン9については、フォーカス調整用などのトリガーとして用いる半押し状態(S1)と、記録用撮影のトリガーとして用いる全押し状態(S2)とを検出し、判別する機能を有してる。
【0018】
一方、カメラ本体部2の背面には、電子ビューファインダ(以下、「EVF」)20と液晶ディスプレイ(以下、「LCD」)10とが設けられている。なお、光学ファインダーとは異なり、撮影待機状態においてCCD303からの画像信号のライブビュー表示を行うEVF20とLCD10とがファインダーとしての機能を担っている。
【0019】
また、LCD10は記録モードにおいて撮影モードや撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカード8に記録された撮影画像を再生表示することが可能である。
【0020】
カメラ本体部2の背面左方には、電源スイッチ14が設けられている。この電源スイッチ14は記録モード(写真撮影の機能を果たすモード)と再生モード(記録画像をLCD10に再生するモード)とを切換設定するモード設定スイッチを兼ねている。すなわち、電源スイッチ14は3点スライドスイッチからなり、接点を中央の「OFF」位置に設定すると電源がオフになり、接点を上方の「REC」位置に設定すると電源がオンになるとともに記録モードとして設定され、接点を下方の「PLAY」位置に設定すると電源がオンになるとともに再生モードとして設定される。
【0021】
カメラ本体部2の背面右方には、4連スイッチ15が設けられている。4連スイッチ15は円形の操作ボタンを有し、この操作ボタンにおける上下左右の4方向のボタンSU、SD、SL、SRを押下することによって各種操作を行うことが可能となっている。例えば、LCD10に表示されるメニュー画面で選択された項目を変更したり、インデックス画面で選択された再生対象のコマを変更するためのスイッチとして機能する。また、記録モードにおいて左右方向のボタンSL,SRは、ズーム倍率を変更するためのスイッチとして機能する。具体的には、モータM1,M2の駆動により2つのレンズ群300,301の相対的な位置関係が変更されることによって、ズーム倍率が変更される。より詳細には、右方向スイッチSRを押下するとワイド側に連続的に移動し、左方向スイッチSLを押下するとテレ側に連続的に移動する。
【0022】
また、4連スイッチ15の下方には、取消スイッチ33、実行スイッチ32、メニュー表示スイッチ34及びLCD表示スイッチ31等のスイッチ群16が設けられている。取消スイッチ33は、メニュー画面で選択された内容を取り消すためのスイッチである。実行スイッチ32は、メニュー画面で選択された内容を確定するまたは実行するためのスイッチである。メニュー表示スイッチ34は、LCD10にメニュー画面を表示させたり、メニュー画面の内容を切り換えたりするためのスイッチである。LCD表示スイッチ31は、LCD10の表示のオンオフ切り替えスイッチである。
【0023】
次に、デジタルカメラ1の内部構成について説明する。図4は、デジタルカメラ1の内部構成を示す概略ブロック図である。
【0024】
撮影レンズ3は、レンズ群300,301とともに、内部に透過光量を調節するための絞り302を備えている。なお、図4においては、図示の都合上、絞り302がレンズ群301の後側に配置されるように示しているが、絞り302の配置はこのようなものに限定されない。たとえば、絞り302は、レンズ群301(ないし300)の内部に設けられていても良く、または、両レンズ群300,301の間に設けられていてもよい。
【0025】
CCD303(撮像素子)は、撮影レンズ3を通して入射された被写体からの光を所定の露光時間だけ受光して画像信号に光電変換して取り込む。CCD303は、光電変換後の画像信号を信号処理部120に出力する。このようにして、撮影レンズ3(撮影光学系)からの被写体像が画像として取得される。
【0026】
信号処理部120は、CCD303から出力される画像信号に所定のアナログ信号処理及びデジタル信号処理を行うものである。画像信号の信号処理は画像データを構成する各画素の受光信号毎に行われる。信号処理部120は、アナログ信号処理回路121、A/D変換回路122、シェーディング補正回路123、画像処理回路124、及び画像メモリ126を備えている。
【0027】
アナログ信号処理回路121はアナログ信号処理を行うものであり、主にCDS(相関二重サンプリング)回路及びAGC(オートゲインコントロール)回路からなり、CCD303から出力される画素信号のサンプリングノイズの低減と信号レベルの調整を行う。AGC回路におけるゲインコントロールには、絞り302の絞り値とCCD303の露光時間とで適正露出が得られなかった場合の撮影画像のレベル不足を補償する場合も含まれる。
【0028】
A/D変換回路122はアナログ信号処理回路121から出力されるアナログ信号である画素信号(画像信号)をデジタル信号である画素データ(画像データ)に変換するものである。A/D変換回路122は各画素で受光された画素信号を、例えば、10ビットのデジタル信号に変換し、0〜1023の階調値を有する画素データとする。変換後の画素データ(画像データ)は、画像メモリ126に一旦格納される。
【0029】
シェーディング補正回路123は、A/D変換された画素データに対して、光学系によるシェーディングを補正するものである。シェーディング補正回路は、A/D変換回路122において変換された画像データと全体制御部150において生成される補正テーブル内のシェーディング補正係数(後述)との乗算処理等を行う。
【0030】
画像処理回路124は、WB(ホワイトバランス)回路、カラーバランス評価回路、画素補間回路、色補正回路、γ補正回路、色分解回路、空間フィルタ、解像度変換回路、圧縮伸長処理回路等を有している。このうち、WB回路は撮影画像のホワイトバランスを調整するものである。WB回路は、カラーバランス評価回路による撮像画像のカラーバランスに関する評価結果等を用いて、R,G,Bの各色成分の画素データのレベルを変換する。画素補間回路は、R,G,Bの3種類の色フィルタが分散配置されたベイヤー配列を有するCCD303において、各画素位置における3つの色成分R,G,Bのうち実際には存在しない2つの色成分を補間により求める回路であり、色補正回路は、フィルタの分光感度特性を補正する回路である。γ補正回路は画素データのγ特性を補正する回路であり、予め設定されたγ補正用テーブルを用いて各画素データのレベルを補正する。色分解回路は、(R,G,B)信号を(Y,Cr,Cb)信号に変換する回路である。空間フィルタはローパスフィルタおよびハイパスフィルタ等を用いてエッジ強調などの各種のフィルタ処理を行う回路である。解像度変換回路は所望の解像度に変換する回路であり、圧縮伸長処理回路はJPEG等の所定形式のデータへの圧縮処理、およびその逆の伸長処理を行う回路である。
【0031】
画像メモリ126は画像データを一時保持するメモリである。画像メモリ126は2フレーム分以上の画像データを格納し得る記憶容量を有しており、たとえば、2フレーム分、詳細には192万画素×2=384万画素分の画像データを格納する記憶容量を有している。また、画像処理回路124における各処理は、画像メモリ126に格納された画像データに対して施される。
【0032】
発光制御部102は、全体制御部150から入力される発光制御信号に基づいてフラッシュ(照明光源)5の発光を制御する。発光制御信号には発光準備の指示、発光タイミング及び発光量とが含まれる。
【0033】
レンズ制御部130は撮影レンズ3内のレンズ群300,301および絞り302の各部材の駆動を制御するものである。レンズ制御部130は、絞り302の絞り値を制御する絞り制御回路131と、モータM1,M2を駆動することによりズームの変倍率を変更する(言い換えれば画角を変更する)ズーム制御回路132と、モータM1,M2を駆動することによりフォーカス制御を行うフォーカス制御回路133とを備えている。
【0034】
絞り制御回路131は全体制御部150から入力される絞り値に基づいて絞り302を駆動し、その開口量を当該絞り値に設定する。フォーカス制御回路133は全体制御部150から入力されるAF制御信号に基づいてモータM1,M2の駆動量を制御し、レンズ群300,301を焦点位置に設定する。ズーム制御回路132は、4連スイッチ15による入力に応じて全体制御部150から入力されるズーム制御信号に基づいて、モータM1,M2を駆動してレンズ群300,301を移動させる。これによって、ズームの状態が、ワイド側あるいはテレ側へと移動する。
【0035】
表示部140は、LCD10及びEVF20への表示を行うものである。表示部140には、LCD10、EVF20とともに、LCD10に再生表示されるの画像データのバッファメモリとなるLCDVRAM141及びEVF20に再生表示される画像データのバッファメモリとなるEVFVRAM142を備えている。
【0036】
撮影待機状態においては、CCD303により1/30(秒)毎に撮影された画像(ライブビュー用画像)の各画素データが、信号処理部120による所定の信号処理を施された後、画像メモリ126に一時記憶される。そして、全体制御部150によって読み出され、データサイズが調整された後にLCDVRAM141及びEVFVRAM142に転送され、LCD10及びEVF20にライブビュー表示として表示される。これによりユーザは、被写体像を視認することができる。また、再生モードにおいては、メモリカード8から読み出された画像が全体制御部150によって所定の信号処理が施された後に、LCDVRAM141に転送され、LCD10に再生表示されることとなる。
【0037】
操作部101は、上述したカメラ本体部2に設けられた撮影や再生に関する操作部材の操作情報を全体制御部に入力するものである。操作部101から入力される操作情報にはシャッタボタン9、電源スイッチ14、4連スイッチ15及びスイッチ群16等の各操作部材の操作情報が含まれる。
【0038】
全体制御部150は、マイクロコンピュータからなり、撮影機能及び再生機能を集中制御するものである。全体制御部150にはカードインターフェース103を介してメモリカード8が接続されている。また、通信用インターフェース105を介してパーソナルコンピュータPCが外部接続されるようになっている。
【0039】
全体制御部150は、撮影機能及び再生機能における数々の具体的な処理を行うための処理プログラムや上述したデジタルカメラ1の各部材の駆動を制御するための制御プログラムが記憶されたROM151と、処理プログラム及び制御プログラムに従って数々の演算作業を行うための作業領域となるRAM152を備えている。なお、記録媒体であるメモリカード8に記録されているプログラムデータをカードインターフェース103を介して読み出し、ROM151に格納することができるようになっている。従って、これらの処理プログラム及び制御プログラムは、メモリカード8からデジタルカメラ1中にインストールされることが可能である。なお、処理プログラム及び制御プログラムは、通信用インターフェース105を介してパーソナルコンピュータPCからインストールされるようになっていてもよい。
【0040】
全体制御部150は、シェーディング補正処理用のテーブルを作成するテーブル作成部153を有している。なお、このテーブル作成部153は、上記の処理プログラム等がマイクロコンピュータ等を用いて実行されることによって、機能的に実現される機能部である。
【0041】
<A2.原理>
つぎに、この実施形態におけるシェーディング補正の基本原理について説明する。
【0042】
この明細書においては、「シェーディング」は、人間の視覚により知覚される被写体像と比較して、撮像装置(ここではデジタルカメラ)によって撮影された画像内において輝度の不均一が存在する現象、を意味するものとする。言い換えれば、「シェーディング」は、撮像装置により撮像された画像における輝度の分布状態が、人間が撮像装置を通さずに被写体を直接的に目で見た状態と異なる現象、を意味する。また、「シェーディング補正」は、このようなシェーディングを補正すること、を意味するものとする。
【0043】
具体的には、「シェーディング」は、その状況および/または原因等によって幾つかの種類のものに分類される。たとえば、「シェーディング」は、
(1)周辺光量落ちによるシェーディングP1(図5(a)等参照)、および(2)照明光源(フラッシュ光など)による被写体照度が不均一になるシェーディングP2(図15(a)参照)、
の少なくとも2つの種類のものを含む現象である。
【0044】
また、(1)のシェーディングP1は、「口径食」、「コサイン4乗則」などの各種の原因によって発生する。「口径食」(「ケラレ」とも称する)とは、画面の周辺部に入射する光線が、絞りの前後に配置された枠等によって遮断されることをいう。これによって画像における周辺光量が低下する。また、「コサイン4乗則」は、口径食が全く存在しない場合であっても、レンズの特性によって、周辺部の明るさが周辺部への入射光束の光軸に対する傾斜角度のコサイン4乗に比例して低下する法則を意味する。このような「コサイン4乗則」によっても、周辺部の光量が低下する。
【0045】
一方、後述するように、(2)のシェーディングP2は、画像内の被写体ごとの被写体距離の相違に基づく被写体照度の過不足に起因して発生するものである。
【0046】
この第1実施形態においては、上記の2種類のシェーディングのうち、(1)のシェーディングP1を補正する技術について説明する。なお、(2)のシェーディングP2を補正する技術については、第2実施形態において説明する。
【0047】
図5は、(1)のシェーディングP1の補正原理を説明する図である。次述する原理によって、シェーディングP1のうち「口径食」に起因する成分を補正することが可能になる。
【0048】
図5(a)は、デジタルカメラ1により撮影された画像PA1にシェーディングが発生している状況を示す図である。画像PA1においては、画像の中心点から周辺に離れるほど画素データの輝度レベルが低下しており、周辺部の輝度値は中央部の輝度値に比べて低い値となっている。なお、図5(a)においては、図示の簡略化のため、周辺部が中央部に比べて暗くなっている状態が示されているが、実際には、周辺に離れるにしたがって画素の輝度レベルが連続的に低下していく。
【0049】
ここでは、この画像PA1におけるシェーディングを補正するため、画像PB(PB1あるいはPB2など)を用いる。なお、画像PA1は、撮影の対象
(目的)となる画像であるため、「対象画像(ないし目的画像)」とも称するものとし、画像PB1,PB2は、対象画像(目的画像)におけるシェーディングの補正のために参照される画像であるため、「参照画像」とも称するものとする。また、目的画像(対象画像)を総称するときは画像PAとも称し、参照画像を総称するときは画像PBとも称する。
【0050】
この第1実施形態においては、このような目的画像PA1の撮影にあたって、時間的に異なるタイミングで別の画像PBを撮像する。画像PA1は、シャッタボタン9が全押し状態S2にまで押し込まれたことに応じて発生する撮影トリガー信号に応答して、CCD303から読み出された画像である。また、ここでは、画像PBとして、画像PA1の直後(例えば1/10秒後)に引き続いて撮影する画像を採用する。
【0051】
このように、画像PA(目的画像)と画像PB(参照画像)とは、時間的に極めて近い時点で撮影される。言い換えれば、両画像PA,PBは、連続的に取得される画像である。したがって、被写体が動くことによる影響を抑制して、被写体の同一性を比較的完全に近い状態で確保することができる。なお、被写体の同一性は、高い方が好ましいが、完全に同一であることを要しない。たとえば、被写体の同一性は、2つの画像PA,PBの位置合わせが良好に行われる程度であればよい。
【0052】
上記の画像PA1と画像PB1とは、同一の被写体に関する画像である点で共通しているが、シェーディングの状態が互いに異なっている。これは、2つの画像PA1,PB1は、撮影光学系の撮影条件のうち絞りに関する撮影条件を変更した上で撮像されるためである。より詳細には、画像PB1は、画像PA1に比べて、撮像時の絞りを絞った状態で撮像される。
【0053】
以下では、まず、「絞り」を変更して撮影した画像PB1を用いてシェーディングP1を補正する場合について説明する。
【0054】
一般に、シェーディングは、絞りを絞ったとき(すなわち絞り開口が小さいとき)には、周辺部における光量低下の程度が低減する。ここでは、この特性を利用して、口径食によるシェーディングを補正する。
【0055】
たとえば、画像PB1は、絞りを最小絞り(最も大きなFナンバー)にして撮影される。これにより、比較的大きな開口で(言い換えれば小さなFナンバーで)撮影された画像PA1にシェーディングが発生しているときであっても、画像PB1にはシェーディングが発生しないものとすること(あるいはその程度を低減すること)が可能である。より詳細には、画像PA1をF=2.8で撮影するときにおいて、画像PB1をF=8.0(最小絞り)で撮像すればよい。図5(b)においては、シェーディングがほぼ発生していない状態が図示されている。
【0056】
図6(a)は、画像PA1の撮像時と同じ絞り値を採用したときの輝度分布のグラフを示しており、図6(b)は、画像PB1の撮像時と同じ絞り値を採用したときの輝度分布のグラフを示している。ただし、図6(a)(b)は、各画像PA1,PB1の輝度分布を直接的に示すものではなく、画像を構成する全ての画素が、同一の輝度の被写体からの入射光を受光していることを想定している。すなわち、これらのグラフは、各画素位置におけるシェーディングの影響による画素データのレベルの低下率を示している。なお、各グラフにおいて、横軸は水平方向における位置xを示しており、縦軸は各水平位置における各画素の輝度値Lを示している。
【0057】
図6(a)(b)の両グラフを比較すると判るように、画像PB1の撮像時の絞りは画像PA1の撮像時の絞りに比べてさらに絞られたものであるため、画像PB1の平均輝度値((b)参照)は画像PA1の平均輝度値((a)参照)よりも小さくなる。一方、図6(b)における周辺部分の輝度と中央部分の輝度との差Gbは、図6(a)における周辺部分の輝度と中央部分の輝度との差Gaよりも小さい(Gb<Ga)。すなわち、画像PB1は画像PA1と比べてシェーディングの影響が低減されている。
【0058】
ここで、中心から距離Xだけ離れた画素の補正係数h1を求める。この補正係数h1は、各画像PA1,PB1における中心位置の画素の輝度値L0,L1、各画像PA1,PB1において中心から所定距離Xだけ離れた画素の輝度値L2,L3を用いて、次の数1で示される。
【0059】
【数1】
【0060】
この数1について図7を参照しつつ説明する。図7(a)(b)に示すように、比較的暗い画像PB1と比較的明るい画像PA1との輝度レベルを合わせるため、各値を正規化すると、各画像PA1,PB1における中心位置の画素の輝度値はいずれも1となり、各画像PA1,PB1において中心から所定距離xだけ離れた画素の輝度値は、それぞれ、値La=(L2/L0),値Lb=(L3/L1)となる。なお、図7(a)(b)は、正規化後の各値を示す図である。
【0061】
たとえば、L0,L1,L2,L3の値をそれぞれ、100,20,40,10とすると、La=40/100=0.4,Lb=10/20=0.5となる。
【0062】
ここで、画像PA1の画素値は、シェーディングの影響により、(La/Lb)倍(例えば、0.4/0.5=0.8倍)に減少していると考えられる。したがって、この逆数、すなわち値(Lb/La)を補正係数h1の値として定め、この補正係数h1(例えば、0.5/0.4=1.25)を元の画素値L2に乗じれば、シェーディングの影響を補正することができる。
【0063】
以上のようにして、「絞り」を変更して撮影した画像PB1を用いてシェーディングP1を補正することが可能である。
【0064】
つぎに、ズームレンズにおける「焦点距離」を変更して撮影した別の画像PB2を用いてシェーディングP1を補正する場合について説明する。ここでは、2つの画像PA(PA1),PB(PB2)は、撮影光学系の撮影条件のうち、焦点距離に関する撮影条件を変更した上で撮像される。より詳細には、画像(参照画像)PB2は、画像PA1の撮像時点よりも広角側で撮像される。そして、この画像PB2を用いて、画像PA1における周辺光量落ちが補正される。
【0065】
画像PB2は画像PA1に比べて大きな画角で撮影された画像であるので、画像PB2には画像PA1に比べて広い範囲が撮影されている。ところで、シェーディングの影響は周辺部分において顕著であり中心部においては少ない(理想的には存在しない)という特性が存在する。ここでは、この特性を利用して口径食によるシェーディングを補正する。
【0066】
図8(a)(b)は、それぞれ、画像PA1,PB2を示す図である。いずれの画像PA1,PB2においても、口径食によるシェーディングによって周辺光量落ちが生じている状態が示されている。
【0067】
ただし、両画像PA1,PB2においては、同一の被写体に対応する部分に関してシェーディングの状態が互いに異なっている。具体的には、画像PB2においては、周辺部ではシェーディングの影響が大きいものの、中央部ではシェーディングの影響が小さく比較的理想状態に近い輝度分布を得ることができる。したがって、画像PB2内の領域R1においてはシェーディングの影響が比較的小さいことになる。ここで、図8(b)に示すように、画像PB2(図中の外側の矩形領域R2)内の画像領域(図中の内側の矩形領域)R1は、画像PA1の撮影範囲に対応する領域である。
【0068】
このように、画像PB2は、画像PB2内での画像PA1の撮影範囲が、画像PB2の中央部に収まるような状態で撮影されているので、画像PB2のこの中央部においては周辺部のような光量落ちが生じていない。言い換えれば、画像PA1における最大像高は、画像PB2においてはケラレが生じない像高に対応している。
【0069】
逆に言えば、画像PB2は、画像PB2内での画像PA1の撮影範囲R1が画像PB2において周辺光量落ちが生じていない範囲に収まるような状態で撮影されることが好ましい。そのためには、たとえば、画像PB2は、画像PA1の撮像時点の焦点距離の80%の焦点距離で撮影すればよい。
【0070】
図9(a)および図9(b)は、それぞれ、画像PA1および画像PB2におけるシェーディングの影響を示す図である。なお、横軸は水平方向における位置xを示しており、縦軸は各水平位置における各画素の輝度値Lを示している。
【0071】
図8および図9に示すように、画像PA1の撮影範囲w1は、画像PB2において範囲w2に相当する。そして、この撮影範囲w2は、画像PB2において周辺光量落ちが生じていない範囲に収まっている。言い換えれば、画像PB2の範囲w2においては画像PA1の範囲w1と比べてシェーディングの影響が低減されている。
【0072】
そこで、両画像PA1,PB2の対応位置における輝度値を用いて、上記と同様の思想を適用して補正すればよい。
【0073】
具体的には、画像PA1において中心から距離Xだけ離れた画素Paの補正係数h1は、各画像PA1,PB2における中心位置の画素の輝度値L0,L1、画像PA1において中心から距離Xだけ離れた画素Paの輝度値L12、および画像PB2において画素Paに対応する画素Pbの輝度値L13を用いて、次の数2で示される。
【0074】
【数2】
【0075】
そして、この補正係数h1を元の画素値L12に乗じれば、シェーディングの影響を補正することができる。
【0076】
以上のように、絞りおよび/または焦点距離を変更して撮影した2枚の画像に基づいて、シェーディングP1のうち「口径食」に起因するものを補正することができる。
【0077】
また、シェーディングP1のうち、コサイン4乗則に起因するものは、レンズの幾何的特性に依存する。したがって、レンズの設計段階の理論値に基づいて、上記と同様の補正値h2を予め求めておくことが可能である。具体的には、目的画像PA1の元の画素値に対して上記の口径食に起因する補正値h1を乗じた結果に対して、コサイン4乗則を補正するための補正値h2をさらに乗じればよい。これによって、より良好なシェーディング補正を行うことができる。
【0078】
<A3.動作>
つぎに、図10を参照しながら、第1実施形態における詳細動作について説明する。図10は、この撮像動作の一例を示すフローチャートである。
【0079】
図10に示すように、まず、ステップSP101〜SP103において、目的画像PAを取得する。
【0080】
具体的には、絞りおよびズーム等の撮影条件が設定され(ステップSP101)、シャッタボタン9が全押し状態S2にまで押し込まれると、被写体に関する目的画像PA(PA1)が取得され(ステップSP102)、画像PAが画像メモリ126に記憶される(ステップSP103)。
【0081】
より詳細には、CCD303の受光素子で受光された被写体像は、光電変換された後、画像信号としてアナログ信号処理回路121に出力される。アナログ信号処理回路121は、この画像信号に対して所定の処理を施した後、A/D変換回路122に出力する。A/D変換回路122は、CCD303から出力されたアナログの画像信号をデジタルの画像信号に変換し、画像メモリ126に対して出力する。この変換後のデジタルの画像信号は、画像PAを表す画像データとしてそのまま画像メモリ126に一旦格納される。このようにして、画像PAが画像メモリ126に格納される。
【0082】
また、目的画像PAは、参照画像PBの取得を待たずに、シャッタボタン9の押下に応じて直ぐに取得されるので、シャッタボタン9の押下時点と画像PAの取得時点とのずれの発生を回避できる。
【0083】
なお、この時点においては、画像PAに対しては、未だ、シェーディング補正およびホワイトバランス補正処理等の基本画像処理は施されていない。
【0084】
次に、ステップSP104において、上記のような方式(以下、方式H1とも称する)のシェーディング補正を行うか、あるいは、通常の方式(以下、方式H0とも称する)のシェーディング補正を行うかを決定する。
【0085】
なお、方式H0のシェーディング補正は、たとえば、ROM151内の補正テーブルに予め格納されていた所定の補正係数を各画素に乗じることによって行われる。ROM151内の補正テーブルにおいて、「コサイン4乗則」等に起因するシェーディングを補正するための補正係数を、設計時の理論値等に基づいて定めておけばよい。
【0086】
このステップSP104においては、画像PAの撮影条件に応じて、両方式H0,H1のうちのいずれの方式を採用するかが決定される。
【0087】
より詳細には、画像PAの撮影条件に関して、(i)絞り開口が所定の程度よりも大きい(Fナンバーが所定値よりも小さい)場合、および(ii)焦点距離が所定値よりも大きい場合には、ステップSP105に進んで方式H1のシェーディング補正を行い、それ以外の場合にはステップSP115に進んで方式H0のシェーディング補正を行う。
【0088】
参照画像PB(たとえば、PB1,PB2)の撮影が必要であると判定された場合には、ステップSP105において撮影条件を変更する。この変更動作は、全体制御部150の制御下において、絞り制御回路131および/またはズーム制御回路132を介して行われる。
【0089】
具体的には、全体制御部150は、(i)絞り開口が所定の程度よりも大きい(Fナンバーが所定値よりも小さい)という条件を満たす場合には、絞りを最小開口絞りに設定する。また、(ii)焦点距離が所定値よりも大きいという条件を満たす場合には、焦点距離を画像PAの撮像時の値の80%の値に設定する。なお、両方の条件を満たす場合、すなわち、絞り開口が所定の程度よりも大きく、且つ、焦点距離が所定値よりも大きい場合には、絞りを最小開口絞りに設定し、且つ、焦点距離を画像PAの撮像時の値の80%の値に設定する。ただし、これに限定されず、いずれか一方の撮影条件のみを変更するようにしてもよい。
【0090】
その後、参照画像PBが取得され(ステップSP106)、画像PBが画像メモリ126に記憶される(ステップSP107)。なお、この時点においては画像PAと同様、画像PBに対しても、未だシェーディング補正およびホワイトバランス補正処理等の基本画像処理は施されていない。
【0091】
そして、ステップSP108において、両画像PA,PBの位置合わせが行われる。この位置合わせには、パターンマッチング等の各種の技術を用いることが可能である。これによって、両画像PA,PBの相互間において、被写体の同一部分の対応付けが行われる。
【0092】
ステップSP109においては、位置合わせの結果に応じて分岐処理が行われる。
【0093】
この実施形態においては、両画像PA,PBは、微小時間内に撮影されるため、被写体の対応付けが比較的良好に行われる。ただし、被写体の動きが非常に速い場合などにおいては、両画像PA,PBにおける被写体の同一性が著しく損なわれてしまうこともあり、位置合わせが失敗することになる。このような場合には、方式H1のシェーディング補正を行う代わりに、ステップSP115に進んで方式H0のシェーディング補正を行うこととする。
【0094】
一方、この位置合わせが成功したときには、ステップSP110に進み、方式H1のシェーディング補正を実施する。
【0095】
ステップSP110においては、上述したように、2つの画像PA,PBを利用して、補正テーブルを作成する。
【0096】
図11は、ステップSP110で作成された補正テーブルTBLの一例を示す図である。
【0097】
この補正テーブルにおいて、CCD303の1600画素×1200画素=192万画素のそれぞれの画素に対応するように、192万個の補正係数を設けるようにしてもよいが、その場合、データサイズが膨大になる。
【0098】
そこで、この実施形態の補正テーブルTBLにおいては、画像PAを所定の画素サイズを有する複数のブロックに区分し、各ブロック毎に補正係数を定めるものとする。具体的には、所定サイズ(たとえば、4画素×4画素)のブロック単位で1つの補正データを設定し、画素のブロック毎に補正を行うようにすればよい。これにより、補正テーブルTBLのデータサイズを低減することが可能である。あるいは、さらに大きなサイズのブロックに区分するようにしてもよい。たとえば、図12に示すように、各ブロックのサイズを(320画素×300画素)として、画像PAを5×4=20個のブロックBLij(i=1〜5;j=1〜4)に区分するようにしてもよい。ただし、補正精度を向上させるためには、各単位ブロックのサイズは小さい方が好ましい。
【0099】
次のステップSP111においては、コサイン4乗則によるシェーディングの影響を軽減するための補正係数h2をさらに考慮して、補正テーブルTBLのデータを修正する。具体的には、補正テーブルTBLに格納されていた補正係数h1に対して、各位置に応じた補正係数h2をさらに乗じることによって、補正係数を更新する。
【0100】
そして、この更新された補正係数が格納された補正テーブルに基づいて、画像PAに対してシェーディング補正を行う(ステップSP112)。すなわち、補正テーブルに格納されている各画素に対応する補正係数(h1×h2)を、画像PA内の各画素の画素値に乗じてシェーディング補正を行う。このような補正演算処理は、全体制御部150の制御下において、シェーディング補正回路123によって行われる。なお、この乗算処理においてオーバーフローした場合は、その画素データのレベルを最大値(すなわち1023)にすればよい。
【0101】
その後、ステップSP113において、シェーディング補正後の画像PAに対して、さらに所定の画像処理(たとえば、WB処理、画素補間処理、色補正処理、およびγ補正処理等)を行った後、画像処理後の画像PAを画像メモリ126を一旦記憶する。さらに、その後、画像メモリ126に記憶された画像PAを、メモリカード8に転送してメモリカード8に記憶する。
【0102】
以上のようにして、シェーディング補正を伴う画像PAの撮影動作が行われる。
【0103】
上述したように、シェーディングの状態が互いに異なる2枚の画像PA,PBを利用することによって、最終的に取得された画像PAにおけるシェーディングの影響を軽減することが可能になる。また、上記の従来技術のように白キャップを手動で着脱させるという動作を伴う必要がない。このように、上記の第1実施形態によれば、簡易な操作でシェーディング補正を行うことが可能である。
【0104】
また、上記第1実施形態によれば、操作者は、撮影条件を調整してシャッタボタン9を押下するという一連の撮影操作によって、画像PAにおけるシェーディングを補正することができるので、特に操作性が高い。
【0105】
なお、2枚の画像PA,PBにおける被写体の同一性が部分的に損なわれている場合には、数1などを用いて当該部分における補正係数を求める際に、両画像の当該部分についての輝度をそのまま用いない方が好ましい。
【0106】
たとえば、ステップSP110(図10)において、図12に示すように、画像PAを5×4=20個のブロックBLij(i=1〜5;j=1〜4)に分割して各ブロックの補正係数を求める場合を想定する。この場合、被写体である人物の腕部が撮像直後に移動することによって、画像PAと画像PBとが相違する部分(図の略中央のブロックBL23など)を有することになる。ここで、各ブロックがこのような相違部分であるか否かは、次のようにして判定することができる。具体的には、その所定のブロック(例えばブロックBL23)についての2画像間の輝度比とその所定のブロックの周辺のブロック(例えばブロックBL23の周辺の8ブロック)についての2画像間の輝度比とが所定程度よりも大きく相違する場合には、各ブロックがこのような相違部分であると判定すればよい。
【0107】
このような相違部分においては、両者の対応関係は正確でなくなっているため、当該部分の2画像間の輝度比に基づくシェーディング補正値は不正確なものになってしまう。
【0108】
そこで、このような相違部分については、その所定のブロックの周辺部分をも含めた輝度平均値を当該部分の輝度値として用いて、当該ブロックのシェーディング補正値を求める。たとえば、ブロックBL23のシェーディング補正係数h1については、各画像PA,PBの当該ブロックBL23についての輝度のみを用いてシェーディング補正値を求めるのではなく、次のようにして求めればよい。具体的には、まず、画像PA内の9つのブロック(ブロックBL23およびその周辺8ブロックBL12,BL22,BL32,BL13,BL33,BL14,BL24,BL34)における平均輝度値と画像PB内の対応する9ブロックにおける平均輝度値とを求める。そして、両平均輝度値をそれぞれこのブロックBL23についての画像PA,PBの輝度値とみなして、数1などに基づいて補正係数h1を求めればよい。
【0109】
このように、画像PA内の所定部分(ブロックBL23)についての2枚の画像PA,PBの対応領域間の輝度比とその周辺部分(たとえば、周辺の8ブロック)についての2枚の画像PA,PBの対応領域間の輝度比との相違が所定程度よりも小さいときには、原則的なルールRL1、具体的には、その「所定部分」についての各画像PA,PBの対応領域の輝度に基づくルール(たとえば、画像PAのブロックBL23の輝度と画像PBのブロックBL23の輝度とに基づくルール)を用いて、その所定部分のシェーディング補正情報を求める。一方、両輝度比の相違が所定程度よりも大きいときには、例外的なルールRL2、具体的には、当該所定部分についての輝度だけでなくその所定部分の「周辺部分」についての輝度にも基づくルールを用いて当該所定部分のシェーディング補正情報を求めればよい。
【0110】
これによれば、相違部分のシェーディング補正情報を求める際に、輝度算出の対象となるブロックサイズを実質的に変更(より詳細には拡大)することによって、部分的な相違の影響を緩和することができる。したがって、各ブロックサイズごとの対応関係のみに基づいてシェーディング補正係数を求める場合よりも、シェーディング補正係数による補正精度を向上させることができる。
【0111】
<A4.第1実施形態に対する変形例>
上記においては、画像PB1を撮影する際には、絞りを、通常の撮影に使用可能な最小絞りに設定する場合を例示したが、これに限定されない。具体的には、通常の撮影に使用可能な最小絞り開口よりもさらに絞った絞り開口で画像を撮影するようにしてもよい。たとえば、画像劣化のため通常の撮影では用いない小さな開口(Fナンバーで表現すれば比較的大きな値)、たとえば、Fナンバーが32程度(F=32.0)の絞りを用いて撮像した画像を、画像PB1として利用することも可能である。
【0112】
一般に絞り開口が一定程度よりも小さくなると、回折による解像性能低下が生じることもあるが、上記実施形態においては、画像PA,PBの輝度値が比較できる程度であればよいのであって、回折による解像性能低下の影響は非常に少ない。特に、非常に小さな絞り開口を用いることにより、周辺光量落ちの影響をさらに排除できるので、好都合である。
【0113】
また、絞りを絞ることによる露光量の不足は、たとえば、CCD303におけるシャッタスピードを低速にする、言い換えれば、CCD303における露光時間を長くすることによって解消することができる。具体的には、ステップSP105において、シャッタスピードに関する撮影条件をもさらに変更すればよい。これによれば、A/D変換後の画素値が実際に存在するレンジを拡大させ、画像PB内の複数の画素の画素値を、より多数の段階値とすることができるので、より高精度のシェーディング補正が可能になる。また、ノイズ成分を減少させることもできるので、さらに高精度のシェーディング補正が可能である。なお、露光時間を長くすると、画像にぶれが生じることが考えられるが、両画像PA,PBの対応部分の輝度の比が求められれば十分であるので、両画像PA,PBの位置合わせが可能な程度で有れば画像のぶれも許容される。
【0114】
さらに、上記のような画像PBにおける露光量不足を補うためには、次のような対策を講じることも可能である。
【0115】
たとえば、アナログ信号処理回路121によるゲインコントロールでの信号レベルの調整用ゲインを増大させることによって露光量不足を補うことが可能である。具体的には、各画素のゲインをより通常設定値よりも大きな値(たとえば4倍の値)とすればよい。具体的には、ステップSP106の撮像時においてゲインを増大させた上で、参照画像PBを取得するようにすればよい。これによれば、A/D変換後の画素値が実際に存在するレンジを拡大させ、画像PB内の複数の画素の画素値を、より多数の段階値とすることができるので、より高精度のシェーディング補正が可能になる。
【0116】
あるいは、参照画像PBに関して、各画素の画像信号をその画素の周辺画素の画像信号を加算した値として、各画素の画像データを増大させるようにしてもよい。たとえば、画像メモリ126に一旦格納された画像PB内の各画素の値を、各画素の周辺4画素(あるいは周辺9画素)の値を加算した値に変換するような画像フィルタ処理を施すようにすればよい。あるいは、CCD303から出力されたアナログ信号の段階でアナログ信号処理回路121によって、各画素の画像信号に対してその画素の周辺の画素の信号を加算するようにしてもよい。これによれば、画像PB内の複数の画素の画素値を、より多数の段階値とすることができるので、より高精度のシェーディング補正が可能になる。
【0117】
さらに、上記においては、焦点距離が所定値よりも大きい場合に、焦点距離を80%に減じて画像PBを撮影して、方式H1のシェーディング補正を行う技術を例示したが、これに限定されない。具体的には、画像PAにシェーディングが存在するにもかかわらず、画像PAの撮像時の焦点距離の80%に減じることができない場合には、参照画像PBの撮影のための「専用焦点距離」に変更するようにしても良い。
【0118】
ここで、参照画像PBの撮影のための「専用焦点距離」について説明する。通常、ズームレンズは、レンズ群の相対移動により倍率を変更するが、機構的な制約などのため、結像位置を変更せずに済む焦点距離の範囲は限定されることになる。したがって、通常の撮影(具体的には、観賞用画像の撮影)に用いられる焦点距離の範囲は限定されることになる。言い換えれば、操作者が設定可能な焦点距離は、ワイド端からテレ端までの所定の範囲に限定される。この範囲は、例えば或るズームレンズでは、28mm〜200mmの範囲となる。図13は、2群ズームレンズにおいて、各焦点距離を実現するための2つのレンズ群300,301の動きを示す図である。
【0119】
図13に示すように、2つのレンズ群を相互に独立して移動させることによって、ズームにおける変倍率をテレ端Teからワイド端Weに向けて変化させつつ、同一の位置(具体的には、CCD303表面の結像面)に被写体像を結像させることが可能である。
【0120】
また、この図13に示すように、テレ端(Te)側からワイド側に移動した後、さらにワイド端(We)を越えて2つのレンズ群300,301を移動させる場合には、一方のレンズ群(図では300)は引き続き移動することが可能であるが、他方のレンズ群(図では301)は機構的制約のため移動することができなくなる。このとき、ズームの状態としては、ワイド端よりもさらに広角側(ワイド側)に変化させることが可能であるものの、焦点の外れた状態となる。ただし、両画像PA,PBの対応部分の輝度の比が求められれば十分であるので、両画像PA,PBの位置合わせが可能な程度で有れば画像のぼけも許容される。
【0121】
なお、この「専用焦点距離」は例えば沈胴式レンズ鏡胴を有するカメラにおける沈胴領域を利用することが可能である。
【0122】
また、各レンズ群300,301をワイド側に移動させることによって、画像PBにおいて収差補正不足による解像性能低下が生じることもあり得るが、画像PA,PBの輝度値が比較できる程度であればよいのであって、収差補正不足による解像性能低下の影響は非常に少ない。むしろ、ワイド側に移動させることによって、周辺光量落ちの影響を排除できるので、好都合である。
【0123】
このように、シェーディング補正のための画像PBとしては、上記のようにワイド端よりもさらにワイド側で撮影された画像をも採用することが可能である。言い換えれば、このようなワイド端よりもさらに短い焦点距離(上記の例では、28mmよりも小さな焦点距離(たとえば24mm))を、参照画像PBの撮影専用の焦点距離として用いることが可能である。これにより、例えばワイド端(焦点距離=28mm)での撮像時など焦点距離が所定値(たとえば、28/0.8=35mm)よりも小さな場合においても、上記の専用焦点距離を用いれば、より広角の画像PBを撮影できる。したがって、上記の(ii)の場合と同様の動作によってシェーディングを補正することが可能になる。
【0124】
さらに、図14の概略側面図に示すように、デジタルカメラ1に対して着脱自在のコンバージョンレンズ(付加光学系)306を装着して撮影する場合にも同様の動作を行うことが可能である。なお、図14は、コンバージョンレンズ(具体的には、テレコンバージョンレンズ)の非装着時(a)と装着時(b)とを示す概略図である。
【0125】
具体的には、コンバージョンレンズ306として、倍率を向上させるテレコンバージョンレンズを装着する場合には、上記の(ii)の場合と同様の動作が可能である。たとえば、焦点距離を80%に減じて画像PBを撮影すればよい。
【0126】
あるいは、コンバージョンレンズ306として、より広角画像を撮影するためのワイドコンバージョンレンズを装着する場合には、上記の変形例と同様の動作が可能である。たとえば、上述の画像PB撮影専用の焦点距離(たとえば24mm)で、画像PBを撮影すればよい。
【0127】
また、各コンバージョンレンズが装着されたか否かは、所定のメニュー画面を用いて撮影者がデジタルカメラ1に対して入力する入力情報に応じて認識するようにしてもよい。あるいは、電気的接点を有するコンバージョンレンズが装着される場合には、コンバージョンレンズ306側の電気的接点およびデジタルカメラ1の本体側の電気的接点を介してデジタルカメラ1の全体制御部150に入力される装着信号に基づいて、当該コンバージョンレンズの装着を認識するようにしてもよい。
【0128】
デジタルカメラ1には、様々なコンバージョンレンズが装着される可能性があるが、以上のような動作によれば、デジタルカメラ1に装着されたコンバージョンレンズに応じてシェーディングを補正することができる。
【0129】
<B.第2実施形態>
<B1.概要および原理>
この第2実施形態においては、上述の(2)照明光源(フラッシュ光など)による被写体照度が不均一になるシェーディングP2を補正する技術について説明する。このシェーディングP2は、画像内の被写体ごとの被写体距離の相違に基づく被写体照度の過不足に起因して発生するものである。また、以下に説明する補正方式を、便宜上、方式H2のシェーディング補正と称するものとする。なお、第2実施形態に係るデジタルカメラは、第1実施形態のデジタルカメラと同様の構成を備えており、以下では、相違点を中心に説明する。
【0130】
図15(a)(b)は、シェーディングP2およびその補正について説明する図である。図15(a)(b)は、いずれも同じ被写体をフラッシュ発光の有無を変更して撮影した画像PA(PA3),PB(PB3)を示す図である。両画像PA3,PB3は、同一の被写体に関する画像であり、いずれの画像PA,PBにおいても、最も近い位置に存在する人物HMとその背後にある樹木TRとが被写体として撮影されている。また、図15(a)には、フラッシュ発光を伴って撮影される画像PA3が示されており、図15(a)には、フラッシュ発光を伴わずに撮影される画像PB3が示されている。両画像PA3,PB3は、照明系の撮影条件(より詳細にはフラッシュ発光の有無)が相違しているため、シェーディングの状態が互いに異なっている。
【0131】
ところで、フラッシュ光は、デジタルカメラ1から被写体までの距離(すなわち被写体距離)に応じて、その被写体に対する照明効果が相違する。より具体的には、フラッシュ発光による照明効果は、距離の2乗に反比例する。たとえば、図15(a)(b)において、デジタルカメラ1から人物HMまでの距離を1とし、デジタルカメラ1から樹木TRまでの距離を3とする場合において、フラッシュ発光による人物HMに対する照明効果を1とすると、フラッシュ発光による樹木TRに対する照明効果は1/9となる。したがって、画像PA3においては、大きな被写体距離を有する樹木TRが、見た目よりも暗く写ってしまうことになる。このように、画像PA3においては、画像内の被写体ごとの被写体距離の相違に基づく被写体照度の過不足に起因する、シェーディングP2が発生する。
【0132】
これに対して、被写体までの相対距離の2乗の値をフラッシュ発光による輝度増加分に乗じることによって、シェーディングP2を補正することができる。たとえば、上記の例の場合には、樹木の輝度のフラッシュ発光による増加分を9倍にすれば、距離の相違に起因する照明効果の相違を補正することができる。
【0133】
ただし、遠い被写体に対してこのような輝度補正を施しすぎると、ノイズ成分が増幅されて画質が劣化してしまうことがある。このような事態を回避するため、補正係数には上限値を設けることが好ましい。言い換えれば、上記のようにして算出された補正係数が所定の上限値(たとえば、4程度)よりも大きくなる場合には、補正係数を所定の上限値に変更することが好ましい。
【0134】
<B2.動作>
つぎに、図16および図17を参照しながら、第2実施形態における詳細動作について説明する。図16は、この撮像動作の一例を示すフローチャートであり、図17は、その一部動作(ステップSP209)をさらに詳細に示すフローチャートである。
【0135】
なお、以下の動作においては、参照画像PBが目的画像PAよりも先に撮影される。これは、上記の方式H2のシェーディング補正を常に行うことを前提としていることによる。また、この第2実施形態においては、デジタルカメラ1による撮影におけるライブビュー画像(撮影前の被写体のフレーミング決定用の動画像)を参照画像PBとして利用する。より詳細には、ライブビュー用に所定周期(例えば1/30秒)で連続的に取得される複数の画像のうち、シャッタボタン9が全押し状態S2になる直前に取得された画像を、画像PB(PB3)として取得する。これによって、シャッタボタン9の押下タイミングと目的画像PAの取得タイミングとのずれを回避することができる。
【0136】
まず、図16に示すように、ステップSP201〜SP203において、参照画像PB3を取得する。上述したように、撮影待機状態においては、絞りおよびズーム等の撮影条件が設定され(ステップSP201)、ライブビュー用の画像がCCD303により1/30(秒)毎に撮影され(ステップSP202)、画像メモリ126に一時記憶される(ステップSP203)。この動作は、ステップSP204において、シャッタボタン9が全押し状態S2にされたと判定されるまで繰り返し行われる。そして、シャッタボタン9が全押し状態S2にされる直前に取得されたライブビュー用画像が、最終的な参照画像PB3として取得されることになる。
【0137】
そして、シャッタボタン9が全押し状態S2にまで押し込まれると、被写体に関する目的画像PA(PA3)が取得され(ステップSP205)、画像PAが画像メモリ126に記憶される(ステップSP206)。
【0138】
その後、ステップSP207において、両画像PA,PBの位置合わせが行われる。この位置合わせには、パターンマッチング等の各種の技術を用いることが可能である。これによって、両画像PA,PBの相互間において、被写体の同一部分の対応付けが行われる。また、両画像PA,PBの画素サイズが異なる場合においても、この位置合わせによって、画像PA内の各画素に対して画像PB内のいずれかの画素が対応付けられる。
【0139】
ステップSP208においては、位置合わせの結果に応じて分岐処理が行われる。位置合わせに失敗した場合には、上記の方式H2のシェーディング補正を行わずに、ステップSP211に進む。一方、この位置合わせが成功したときには、ステップSP209に進み、方式H2のシェーディング補正を実施する。
【0140】
ステップSP209においては、上述したように、2つの画像PA,PBを利用して、補正テーブルを作成する。具体的には、次のようにして、画素単位の補正係数h3を求める。なお、補正係数h3は、1画素単位ではなく、所定サイズのブロック単位で求められてもよい。
【0141】
以下、このステップSP209について図17を参照しながら説明する。
【0142】
まず、画素単位で2つの画像PA,PBの輝度差が算出され(ステップSP301)、この輝度差に基づいて各画素位置における被写体の相対距離が求められる(ステップSP302)。
【0143】
まず、各被写体の距離の相違、言い換えれば各被写体の相対距離は、2枚の画像PA3,PB3に基づいて算出することができる。以下では、この相対距離の算出処理について説明する。ここでは、図15(a)(b)にも示すように、画像PB3における人物部分の輝度Z2が40、樹木部分の輝度Z4が30であるとし、画像PA3における人物部分の輝度Z1が100、樹木部分の輝度Z3が35である場合を想定する。また、画像PA3の人物部分が適正露光になっていると仮定し、この人物の被写体距離を基準距離とするものとする。なお、これに限定されず、複数の被写体のうちオートフォーカス時に主被写体として決定されたものを基準にして、基準距離を決定してもよい。
【0144】
次のような手順により、樹木部分の相対距離を求める。まず、樹木部分に関して画像PA3と画像PB3とで画素値の差分(Z3−Z4=35−30)を算出し、画像PB3の画素値に対する差分値の比(=(Z3−Z4)/Z4=(35−30)/30=1/6)を求める。これは、フラッシュ発光による樹木部分の増加比率に相当する。同様に、基準となる人物部分に対しても、画像PB3の画素値に対する差分値の比(=(Z1−Z2)/Z2=(100−40)/40=3/2)を求める。これは、フラッシュ発光による人物部分の増加比率に相当する。
【0145】
したがって、樹木部分におけるフラッシュの照明効果は、人物部分を基準に正規化すると、(Z3−Z4)/Z4×(Z2/(Z1−Z2))=(1/6)×(2/3)=1/9となる。したがって、人物部分の被写体距離を基準距離としたときの樹木部分の相対距離は、1/9の逆数の平方根、すなわち3となる。このようにして、各画素について、その画素に対応する被写体の相対距離を算出することができる。
【0146】
その後、ノイズあるいは被写体の移動による値のばらつきを低減するため所定のフィルタ処理を施す(ステップSP303)。なお、フィルタ処理は、画像処理回路124内の所定のフィルタ回路を用いて行えばよい。
【0147】
そして、ステップSP304において、上記の相対距離を自乗(2乗)した値が補正係数h3として取得される。また、ステップSP305においては、補正係数に対して上限値の制限を加える。具体的には、ステップSP304で算出された補正係数が所定の上限値(たとえば、4程度)よりも大きくなる場合には、補正係数を所定の上限値に変更する。
【0148】
以上のようにして補正係数h3を求めることができる。このような補正係数h3は画素毎に求められ、補正テーブルに格納される。この補正テーブルは、各画素について、基準距離に対する各画素位置の被写体距離の比(すなわち相対距離)の2乗の値が画素毎に格納されたテーブルとなっている。なお、上記においては、被写体距離は、基準距離を用いて正規化した値として求められているが、これに限定されず、たとえば、オートフォーカス時に求められた主被写体の測距値等に基づいて、正規化されることなく実距離を表す値として求められてもよい。
【0149】
そして、ステップSP210(図16)においては、補正係数h3が格納された補正テーブルに基づいて、画像PAに対してシェーディング補正を行う。すなわち、各画素の画素値を、フラッシュ発光による増加分(変化分)を補正係数h3で増幅した値に変更する。具体的には、次の数3を用いて変更する。
【0150】
【数3】
【0151】
ただし、Zaは目的画像PAの各画素の画素値であり、Zbは参照画像PB内の対応画素の画素値である。また、Zcは変更後の画素値である。
【0152】
これにより、補正係数h3が1よりも大きいときには新たな画素値Zcは元の画素値Zaよりも大きな値になり、照度の不足分が補正される。また、補正係数h3が1よりも小さいときには新たな画素値Zcは元の画素値Zaよりも小さな値になり、照度の過剰分が補正される。なお、補正係数h3が1のときには元の画素値Zaが新たな画素値Zcとなる。このような補正演算処理は、全体制御部150の制御下において、シェーディング補正回路123によって行われる。
【0153】
その後、ステップSP211において、シェーディング補正後の画像PAに対して、さらに所定の画像処理(たとえば、WB処理、画素補間処理、色補正処理、およびγ補正処理等)を行った後、画像処理後の画像PAを画像メモリ126を一旦記憶する。さらに、その後、画像メモリ126に記憶された画像PAを、メモリカード8に転送してメモリカード8に記憶する(ステップSP212)。
【0154】
以上のようにして、シェーディング補正を伴う画像PAの撮影動作が行われる。
【0155】
この第2実施形態によれば、上述したように、シェーディングの状態が互いに異なる2枚の画像PA,PBを利用することによって、最終的に取得された画像PAにおけるシェーディングの影響を軽減することが可能になる。このとき、従来技術のように、白キャップを手動で着脱させるという動作を伴う必要がないので、簡易な操作でシェーディング補正を行うことが可能である。
【0156】
なお、上記第2実施形態においては、フラッシュ発光の有無を変更して2枚の画像を撮影し、フラッシュ発光を伴う画像についてシェーディング補正を施す場合について説明したが、これに限定されない。たとえば、フラッシュ以外の照明光源(ビデオライトなど)の発光の有無を変更するようにしてもよい。また、ビデオライト等の照明光源は完全に発光しない状態だけでなく、実質的に被写体を照明しない程度の微弱光を発するような状態も、その照明光源による発光が無い状態であるとみなすことができ、これを参照画像取得に使用することができる。
【0157】
また、上記第2実施形態においては、ライブビュー用画像を参照画像PBとして取得している。自動露出(AE)制御における各種パラメータ、およびホワイトバランス制御における各種パラメータは、ライブビュー用画像としての参照画像PBを用いて取得することができる。したがって、AE制御あるいはWB制御における各種パラメータも、上記のシェーディング補正におけるパラメータも、同一の参照画像PBに基づいて取得することが可能である。すなわち、取得すべき撮影画像の枚数を最小限に止めることができる。
【0158】
<C.その他>
上記各実施形態においては、各ブロック内の画素データを、そのブロックに対応する補正データのみを用いて補正する場合を例示したが、これに限定されない。たとえば、ブロック単位の補正データを各ブロックの基準値として設定しておき、対象画素の属するブロックB0および周辺ブロックB1の各基準値を、隣接ブロックB0,B1の中心位置と当該対象画素の位置との関係に基づいて重み付け演算し、画素毎の補正係数を算出するようにしてもよい。これにより、補正テーブルのデータサイズを抑制しつつ、より多段階のシェーディング補正を行うことが可能になる。
【0159】
また、上記各実施形態においては、シェーディング補正係数を用いてシェーディング補正を行う場合を例示したが、これに限定されず、その他のシェーディング補正情報を用いてシェーディング補正を行うようにしてもよい。たとえば、各画素毎のシェーディング補正係数を各画素の画素値に乗じるのではなく、各画素の位置を変数とする所定の計算式に応じてシェーディング補正を行うようにしてもよい。この場合には、当該計算式における各係数パラメータの値を、上記の2枚の画像PA,PBの比較により求めておけばよい。
【0160】
上記各実施形態においては、A/D変換後、シェーディング補正を行った後に他のデジタル画像信号処理(たとえば、WB処理、画素補間処理、色補正処理、およびγ補正処理等)を行うようにしているが、これに限定されない。たとえば、これらの複数のデジタル信号処理のうち幾つかのデジタル信号処理を行った後にシェーディング補正を行い、さらにその後、残余のデジタル信号処理を行うようにしてもよい。
【0161】
なお、上述した具体的実施形態には以下の構成を有する発明が含まれている。
【0162】
(1)請求項2に記載のデジタルカメラにおいて、
前記第2画像の撮像時には前記撮像素子におけるシャッタスピードを前記第1画像の撮像時よりも低速にする手段、
をさらに備えることを特徴とするデジタルカメラ。これによれば、第2画像の撮像時において、撮像素子におけるシャッタスピードが低速にされるので、絞りを絞ることによる露光量の低下を改善することができる。
【0163】
(2)請求項2に記載のデジタルカメラにおいて、
前記第2画像の撮像時には前記撮像素子からの信号に対するレベル調整用ゲインを前記第1画像の撮像時よりも大きくする手段、
をさらに備えることを特徴とするデジタルカメラ。これによれば、第2画像の撮像時において、撮像素子からの信号に対するレベル調整用ゲインが第1画像の撮像時よりも大きくされるので、絞りを絞ることによる露光量の低下を改善することができる。
【0164】
(3)請求項2に記載のデジタルカメラにおいて、
前記第2画像の撮像時において、前記撮像素子における所定画素の信号に対して当該所定画素の周辺の画素の信号を加算する手段、をさらに備えることを特徴とするデジタルカメラ。これによれば、第2画像の撮像時において、撮像素子における所定画素の信号に対して当該所定画素の周辺の画素の信号が加算されるので、絞りを絞ることによる露光量の低下を改善することができる。
【0165】
(4)請求項3に記載のデジタルカメラにおいて、
前記撮像光学系は、前記デジタルカメラに対して着脱自在のコンバージョンレンズを含むことを特徴とするデジタルカメラ。これによれば、デジタルカメラに装着されたコンバージョンレンズに応じたシェーディング補正を簡易に行うことができる。
【0166】
(5)請求項3に記載のデジタルカメラにおいて、
前記第2画像は、操作者が設定可能な焦点距離よりもさらに短い焦点距離で撮像されることを特徴とするデジタルカメラ。これによれば、比較的広角側で撮像された画像に対しても、シェーディング補正を簡易に施すことができる。
【0167】
(6)請求項4に記載のデジタルカメラにおいて、
前記第2のルールは、前記周辺部分についての前記2枚の画像における対応領域の輝度に基づいて当該所定部分のシェーディング補正情報を求めるルールであることを特徴とするデジタルカメラ。これによれば、所定部分の輝度のみに基づいてシェーディング補正係数を求める場合よりも、部分的な相違の影響を緩和することができるので、シェーディング補正係数による補正精度を向上させることができる。
【0168】
(7)請求項5に記載のデジタルカメラにおいて、
前記補正情報算出手段は、前記2枚の画像における各対応領域の輝度差に基づいて、シェーディング補正情報を求めることを特徴とするデジタルカメラ。
【0169】
(8)前記(7)に記載のデジタルカメラにおいて、
前記補正情報算出手段は、前記2枚の画像における各対応領域の輝度差に基づいて、前記各対応領域における被写体距離を算出し、シェーディング補正情報を求めることを特徴とするデジタルカメラ。
【0170】
(9)前記(8)に記載のデジタルカメラにおいて、
前記補正情報算出手段は、前記各対応領域における被写体距離の2乗に比例した値を、前記各対応領域におけるシェーディング補正係数として求めることを特徴とするデジタルカメラ。
【0171】
(10)前記(9)に記載のデジタルカメラにおいて、
前記シェーディング補正係数に、上限値を設けることを特徴とするデジタルカメラ。これによれば、補正係数が大きくなりすぎないように抑制することができるので、ノイズの影響を抑制できる。
【0172】
【発明の効果】
以上のように、請求項1ないし請求項5に記載の発明によれば、シェーディング補正を簡易に行うことができる。
【0173】
特に、請求項2および請求項3に記載の発明によれば、周辺光量落ちに起因するシェーディングを簡易に補正することができる。
【0174】
また、請求項4に記載の発明によれば、2枚の画像における所定部分の対応領域の輝度比とその周辺の対応領域の輝度比との相違の程度に応じてルールを変更することによって、より適切なシェーディング補正情報を得ることができる。
【0175】
さらに、請求項5に記載の発明によれば、被写体距離の相違等によりフラッシュ発光時において被写体照度が不均一になるシェーディングを簡易に補正することができる。
【図面の簡単な説明】
【図1】デジタルカメラの外観の概略構成を示す平面図である。
【図2】デジタルカメラの断面図である。
【図3】デジタルカメラの背面図である。
【図4】デジタルカメラの内部構成を示す概略ブロック図である。
【図5】絞りの変更を用いたシェーディング補正を説明する図である。
【図6】シェーディングの影響によるデータレベルの低下状況を示す図である。
【図7】正規化後のデータレベルの低下状況を示す図である。
【図8】焦点距離の変更を用いたシェーディング補正を説明する図である。
【図9】シェーディングの影響によるデータレベルの低下状況を示す図である。
【図10】第1実施形態における撮像動作を示すフローチャートである。
【図11】補正テーブルの一例を示す概念図である。
【図12】2枚の撮影画像を示す図である。
【図13】焦点距離の変更に伴う2つのレンズ群の動きを示す図である。
【図14】コンバージョンレンズの非装着状態および装着状態を示す図である。
【図15】フラッシュ発光の有無の変更を用いたシェーディング補正を説明する図である。
【図16】第2実施形態における撮像動作を示すフローチャートである。
【図17】図16の一部の処理を示すフローチャートである。
【符号の説明】
1 デジタルカメラ
3 撮影レンズ
5 フラッシュ
9 シャッタボタン
300,301 レンズ群
302 絞り
303 撮像素子(CCD)
306 コンバージョンレンズ
PA,PA1,PA3 目的画像
PB,PB1,PB2,PB3 参照画像
TBL 補正テーブル
Te テレ端
We ワイド端
h1,h2,h3 シェーディング補正係数
【特許請求の範囲】
【請求項1】
デジタルカメラであって、
撮影光学系および照明系のうち少なくとも一方の撮影条件を変更することにより、同一の被写体に関するシェーディングの状態が互いに異なる2枚の画像を撮像する撮像手段と、
前記2枚の画像に基づいて、前記2枚の画像のうちの一方の画像に対するシェーディング補正情報を求める補正情報算出手段と、
を備えることを特徴とするデジタルカメラ。
【請求項2】
請求項1に記載のデジタルカメラにおいて、
前記2枚の画像は、前記撮像光学系の絞りに関する撮影条件を変更して撮像される第1画像および第2画像であり、
前記第2画像は、前記第1画像の撮像時よりも前記絞りを絞った状態で撮像されることを特徴とするデジタルカメラ。
【請求項3】
請求項1に記載のデジタルカメラにおいて、
前記2枚の画像は、前記撮像光学系の焦点距離に関する撮影条件を変更して撮像される第1画像および第2画像であり、
前記第2画像は、前記第1画像の撮像時よりも前記焦点距離を短くして撮像され、
前記補正情報算出手段は、前記第2画像のうち前記第1画像の撮影範囲に対応する画像領域の情報を用いて、前記シェーディング補正情報を求めることを特徴とするデジタルカメラ。
【請求項4】
請求項1に記載のデジタルカメラにおいて、
前記補正情報算出手段は、前記一方の画像内の所定部分についての前記2枚の画像の対応領域間の輝度比である第1の輝度比と前記所定部分の周辺部分についての前記2枚の画像の対応領域間の輝度比である第2の輝度比との相違が所定程度よりも小さいときには、前記所定部分についての前記2枚の画像における対応領域の輝度に基づく第1のルールを用いて当該所定部分のシェーディング補正情報を求め、前記相違が前記所定程度よりも大きいときには、前記第1のルールとは異なる第2のルールを用いて当該所定部分のシェーディング補正情報を求めることを特徴とするデジタルカメラ。
【請求項5】
デジタルカメラであって、
同一の被写体に関する2枚の画像を、フラッシュ発光の有無を変更して撮像する撮像手段と、
前記2枚の画像に基づいて、前記2枚の画像のうちフラッシュ発光を伴う画像に対するシェーディング補正情報を求める補正情報算出手段と、
を備えることを特徴とするデジタルカメラ。
【請求項1】
デジタルカメラであって、
撮影光学系および照明系のうち少なくとも一方の撮影条件を変更することにより、同一の被写体に関するシェーディングの状態が互いに異なる2枚の画像を撮像する撮像手段と、
前記2枚の画像に基づいて、前記2枚の画像のうちの一方の画像に対するシェーディング補正情報を求める補正情報算出手段と、
を備えることを特徴とするデジタルカメラ。
【請求項2】
請求項1に記載のデジタルカメラにおいて、
前記2枚の画像は、前記撮像光学系の絞りに関する撮影条件を変更して撮像される第1画像および第2画像であり、
前記第2画像は、前記第1画像の撮像時よりも前記絞りを絞った状態で撮像されることを特徴とするデジタルカメラ。
【請求項3】
請求項1に記載のデジタルカメラにおいて、
前記2枚の画像は、前記撮像光学系の焦点距離に関する撮影条件を変更して撮像される第1画像および第2画像であり、
前記第2画像は、前記第1画像の撮像時よりも前記焦点距離を短くして撮像され、
前記補正情報算出手段は、前記第2画像のうち前記第1画像の撮影範囲に対応する画像領域の情報を用いて、前記シェーディング補正情報を求めることを特徴とするデジタルカメラ。
【請求項4】
請求項1に記載のデジタルカメラにおいて、
前記補正情報算出手段は、前記一方の画像内の所定部分についての前記2枚の画像の対応領域間の輝度比である第1の輝度比と前記所定部分の周辺部分についての前記2枚の画像の対応領域間の輝度比である第2の輝度比との相違が所定程度よりも小さいときには、前記所定部分についての前記2枚の画像における対応領域の輝度に基づく第1のルールを用いて当該所定部分のシェーディング補正情報を求め、前記相違が前記所定程度よりも大きいときには、前記第1のルールとは異なる第2のルールを用いて当該所定部分のシェーディング補正情報を求めることを特徴とするデジタルカメラ。
【請求項5】
デジタルカメラであって、
同一の被写体に関する2枚の画像を、フラッシュ発光の有無を変更して撮像する撮像手段と、
前記2枚の画像に基づいて、前記2枚の画像のうちフラッシュ発光を伴う画像に対するシェーディング補正情報を求める補正情報算出手段と、
を備えることを特徴とするデジタルカメラ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2004−88409(P2004−88409A)
【公開日】平成16年3月18日(2004.3.18)
【国際特許分類】
【出願番号】特願2002−246652(P2002−246652)
【出願日】平成14年8月27日(2002.8.27)
【出願人】(000006079)ミノルタ株式会社 (155)
【Fターム(参考)】
【公開日】平成16年3月18日(2004.3.18)
【国際特許分類】
【出願日】平成14年8月27日(2002.8.27)
【出願人】(000006079)ミノルタ株式会社 (155)
【Fターム(参考)】
[ Back to top ]