説明

画像処理装置、画像処理方法及びプログラム

【課題】HDR画像のシェーディングをより適切に抑制すること。
【解決手段】撮像装置100は、撮像レンズ部1のレンズ全体に入射される光量が略等しい条件下で電子撮像部2により撮像された所定の画像(シェーディング効果が現れた画像)を取得し、この所定の画像の画素値に基づいて、当該画素値の強さの分布(例えば、等高線分布D)における基準位置を算出する。そして、撮像装置100は、所定の画像における分布の基準位置から当該所定の画像の各隅部までの各距離を基準として、電子撮像部2から出力される画像情報における複数の画素の画素値のシェーディング補正用の補正情報(シェーディング補正係数)を算出する。そして、撮像装置100は、補正情報に基づいて、ダイナミックレンジを拡張したHDR画像と、通常のダイナミックレンジを有する単写画像とで、異なるシェーディング補正を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像された画像に対してシェーディング補正を行う画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、デジタルカメラでは、レンズを通過した画像を撮像すると、レンズの中心点から周辺に離れるほど光量が低下する周辺光量落ち(シェーディング)が生じる場合がある。このシェーディングは、近年の高倍率化やレンズ自体の小型化等の要因で顕著に生じてしまう。
そこで、シェーディングを低減するために、撮像素子からの出力信号に対して所定のゲインを乗算するシェーディング補正を行う技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−134903号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、異なる露光時間で連写した画像を加算合成する処理によって生成したHDR(High Dynamic Range)画像においては、1つの露光時間で撮像したノーマルなダイナミックレンジを有する単写画像と同様にシェーディング補正を施した場合、シェーディング補正を適切に行えない場合がある。具体的には、画像の周辺部に過剰な補正が加わって輝度値が飽和(いわゆる白とび)したり、暗いシーンの撮像画像では、シェーディング補正における画像中心部から周辺部へのゲイン特性に乱れが生じ、トーンジャンプが発生することにより、画像にムラが生じたりする可能性があった。
【0005】
なお、上記のHDR画像において、シェーディング補正はホワイトバランス調整と密接な関係を有するものであり、シェーディング補正を行わなければホワイトバランス調整との相関を取ることが困難である。即ち、HDR画像において、シェーディング処理を行わない場合、撮影シーンによっては適切なホワイトバランス調整が行えず、色被り等の画質の劣化を招く可能性がある。
このように、従来のシェーディング補正においては、HDR画像のシェーディングを適切に抑制することが困難であった。
【0006】
本発明は、このような状況に鑑みてなされたものであり、HDR画像のシェーディングをより適切に抑制することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の一態様の画像処理装置は、
光学系を介して輝度成分及び色成分を含む画像データを取得する画像データ取得手段と、
前記画像データに含まれる輝度成分のシェーディング、及び、色差成分のシェーディングをそれぞれ検出するシェーディング検出手段と、
前記シェーディング検出手段によって検出された輝度成分のシェーディングに基づいて、その輝度成分のシェーディングを補正するための輝度シェーディング補正係数を算出する輝度シェーディング補正係数算出手段と、
前記シェーディング検出手段によって検出された色差成分のシェーディングに基づいて、その色差成分のシェーディングを補正するための色差シェーディング補正係数を算出する色差シェーディング補正係数算出手段と、
単写モード若しくは露出条件を変えて連写し画素加算することによりダイナミックレンジを拡大させた画像を生成するHDRモードの何れかのモードの設定を検出するモード設定検出手段と、
前記モード設定検出手段により単写モードの設定が検出されると、前記輝度シェーディング補正係数算出手段によって算出された輝度シェーディング補正係数、及び、前記色差シェーディング補正係数算出手段により算出された色差シェーディング補正係数に基づいて、前記取得された画像データを補正する第1の補正手段と、
前記色差シェーディング補正係数を前記算出された輝度シェーディング補正係数に対する所定の比になるように変換する変換手段と、
前記モード設定検出手段によりHDRモードの設定を検出すると、前記変換手段によって変換された色差シェーディング補正係数に基づいて、前記取得された画像データを補正する第2の補正手段と、
を備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、HDR画像のシェーディングをより適切に抑制することが可能となる。
【図面の簡単な説明】
【0009】
【図1】撮像装置の概略構成を示すブロック図である。
【図2】電子撮像部のイメージセンサにおける画素配列(カラーフィルタ)を示す模式図である。
【図3】図1の撮像装置の撮像レンズ部のイメージサークルと所定の被写体画像の画素値を高さとする等高線分布とを模式的に示す図である。
【図4】図3の等高線分布における中心を算出する処理を説明するための図である。
【図5】所定の被写体画像の等高線分布における中心と各隅部とを結ぶ各線分を模式的に示す図である。
【図6】図5の所定の被写体画像の等高線分布における中心から上下左右の各方向の距離補正係数を算出する処理を説明するための図である。
【図7】図1の撮像装置により算出された斜め方向の仮補正ゲインと代表テーブルの補正ゲインを示すグラフである。
【図8】色成分毎の補正ゲインテーブルを示す図である。
【図9】補正情報算出処理に係る動作の一例を示すフローチャートである。
【図10】シェーディング補正処理に係る動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【0011】
[実施形態1]
図1は、本発明を適用した実施形態1の撮像装置100の概略構成を示すブロック図である。
実施形態1の撮像装置100は、撮像レンズ部1のレンズ全体に入射される光量が略等しい条件下で電子撮像部2により撮像された所定の画像(シェーディング効果が現れた画像)を取得し、この所定の画像の画素値に基づいて、当該画素値の強さの分布(例えば、等高線分布D)における基準位置を算出する。そして、撮像装置100は、所定の画像における分布の基準位置から当該所定の画像の各隅部までの各距離を基準として、電子撮像部2から出力される画像情報における複数の画素の画素値のシェーディング補正用の補正情報(シェーディング補正係数)を算出する。そして、撮像装置100は、補正情報に基づいて、ダイナミックレンジを拡張したHDR画像と、通常のダイナミックレンジを有する単写画像とで、異なるシェーディング補正を行う。
具体的には、図1に示すように、撮像装置100は、撮像レンズ部1と、電子撮像部2と、ユニット回路部3と、メモリ4と、補正情報算出部5と、画像処理部6と、表示制御部7と、表示部8と、画像記録部9と、操作入力部10と、中央制御部11とを備えている。
【0012】
撮像レンズ部1は、例えば、図示は省略するが、各種の光学レンズや絞り等を有し、これらを通過した被写体の光学像を結像する。
また、撮像レンズ部1は、複数の光学レンズを有して構成された光学ズーム機構を具備している。そして、撮像レンズ部1は、複数の光学レンズのうち、ズーム調整用レンズ(図示略)の光軸方向の位置を調整することで焦点距離を可変させる。
具体的には、例えば、ユーザによる操作入力部10のズームボタンの所定操作に基づいて中央制御部11によって光学ズーム倍率が指定されると、図示しないレンズ駆動部(例えば、モータ、カム等)は、中央制御部11から出力され入力された光学ズーム倍率の指定指示に従って、ズーム調整用レンズを光軸方向に移動させて当該ズーム調整用レンズの光軸方向の位置を調整する。
【0013】
電子撮像部2は、例えば、図示は省略するが、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成されている。そして、電子撮像部2は、撮像レンズ部1の各種光学レンズや絞り(図示略)を通過した光学像を、略矩形状の撮像領域にてRGB色成分よりなる二次元の画像信号に変換して、ユニット回路部3に出力する。
【0014】
図2は、電子撮像部2のイメージセンサにおける画素配列(カラーフィルタ)を示す模式図である。
本実施形態において、電子撮像部2のイメージセンサは、単板式のイメージセンサによって構成され、一般的に知られるBayer配列である、赤色フィルタが形成された撮像画素(R成分)及び緑色フィルタが形成された撮像画素(G成分)とが行方向に交互に配置されたGRラインと、緑色フィルタが形成された撮像画素(G成分)及び青色フィルタが形成された撮像画素(B成分)とが行方向に交互に配置されたGBラインとが、列方向に交互に配列されたパターンを有している。
【0015】
これらRGBの各色成分の撮像画素によって、画像データにおける赤色、緑色及び青色の色成分が構成される。また、緑色成分(G成分)の画像データは、画像データの輝度成分を表すものとして取り扱うことができる。緑色成分は、人間の視覚において他の色より敏感な色成分であるため、緑色成分を輝度成分として取り扱うことで、シェーディング補正を効果的に行うことができる。
なお、緑色成分の撮像画素は、GRラインにおける撮像画素(以下、適宜「GR成分」と呼ぶ。)とGBラインにおける撮像画素(以下、適宜「GB成分」と呼ぶ。)とを区別して取り扱うことができる。このような取り扱いとすることで、単板式のイメージセンサにおいて、各ラインに含まれる緑色成分の画素を基準として、より正確に輝度を検出することができる。
【0016】
図1に戻り、ユニット回路部3は、電子撮像部2から出力された被写体の光学像に応じたRGB色成分よりなるアナログの画像信号が入力される。また、ユニット回路部3は、図示は省略するが、入力された画像信号を保持するCDS(Correlated Double Sampling)と、その画像信号を増幅するゲイン調整アンプ、増幅された画像信号をデジタルの画像信号(RGB画像データ)に変換するADC(Analog to Digital Convertor)等から構成されている。
また、ユニット回路部3は、必要に応じて、入力された画像信号をYUV色空間に対応する画像データ(YUV画像データ)や、HSV色空間に対応する画像データ(HSV画像データ)に変換して中央制御部11に出力する。
【0017】
メモリ4は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、補正情報算出部5、画像処理部6、表示制御部7、中央制御部11等によって処理されるデータ等を一時的に記憶する。
【0018】
補正情報算出部5は、画像取得部5aと、第1算出部5bと、第2算出部5cとを具備している。
【0019】
画像取得部5aは、撮像レンズ部1及び電子撮像部2により撮像され、補正情報算出処理(後述)に用いられる所定の画像や、単写画像の画像データあるいはHDR画像生成のための露光時間の異なる複数の画像データを取得する。
即ち、電子撮像部2は、例えば、中央制御部11の撮像を制御する機能である撮像制御部(図示略)の制御下にて撮像レンズ部1のF値や光学ズーム倍率等の撮影条件が固定されると共に、撮像レンズ部1の撮像光学系(より具体的には、少なくとも電子撮像部2の撮像領域と光軸方向に重なる領域)に入射される光量が略等しくなるような条件下で、補正情報算出処理のために所定の被写体(例えば、白色光等)を撮像する。そして、画像取得部5aは、電子撮像部2から出力されユニット回路部3により変換された所定の被写体画像P1の画像データ(例えば、RGB画像データやYUV画像データ等)を取得する。
また、画像取得部5aは、ユーザによるシャッタボタンの押下に対応して、単写画像や、露出ブラケット連写と画素加算合成によりHDR画像を、生成するための画像データを取得する。
【0020】
第1算出部5bは、画像取得部5aにより取得された所定の被写体の画像の画素値に基づいて、当該画素値の強さの分布としての等高線分布Dにおける中心Cの座標(xc,yc)を算出する。
即ち、第1算出部5bは、画像取得部5aにより取得された所定の被写体画像P1の画像データの各画素の画素値に基づいて、当該画素値を高さとする等高線分布D(図3(a)参照)を生成する。
【0021】
ここで、画素値とは、例えば、RGB画像データの各画素の各色成分毎のデータや、YUV画像データの各画素の輝度値Y等のことである。例えば、画素値として輝度値Yを適用した場合、図3(a)及び図3(b)に示すように、撮像レンズ部1の撮像光学系の中心が輝度値が最も高く(最も明るく)、中心から周辺に離れるほど輝度値が低下している(シェーディング効果)。
また、図3(b)にあっては、図3(a)に示す中心と周縁部とを結ぶ線分Rに沿って並んだ複数の画素の輝度値Yを所定の間隔を空けてサンプリングしたものを模式的に表している。
なお、等高線分布Dは、所定の被写体画像P1の画像データにおける各画素の画素値の強さ(大きさ)に基づいて仮想的に表したシェーディング効果を表す輝度値の分布であって、所定の被写体画像P1の画像データに実際に現れているものではない。
【0022】
第1算出部5bが等高線分布Dを生成することは、所定の被写体の画像にシェーディングが発生していることを意味しており、即ち、第1算出部5bは、シェーディング検出の機能を有している。
【0023】
また、第1算出部5bは、所定の被写体画像P1の水平方向(一方向)に並んだ複数の画素の画素値に基づいて、等高線分布Dにおける当該水平方向の重心xcを算出すると共に、所定の被写体画像P1の垂直方向(一方向と略直交する他方向)に並んだ複数の画素の画素値に基づいて、等高線分布Dにおける当該垂直方向の重心ycを算出する。そして、第1算出部5bは、所定の被写体画像P1の水平方向及び垂直方向の各々の重心xc、ycに基づいて、等高線分布Dにおける中心Cの座標(xc,yc)を基準位置として算出する。
なお、以下の説明にあっては、各座標は、例えば、所定の被写体画像P1の左上隅部を原点標(0,0)として表すものとする。
【0024】
第1算出部5bは、等高線分布Dにおける水平方向(x軸方向)の重心を算出する場合、所定の被写体画像P1の画像データの各画素の画素値(例えば、輝度値Y)に基づいて、水平方向の所定の線分Xの端点A、Bの各画素の画素値を特定する。具体的には、第1算出部5bは、垂直方向(y軸方向)の所定位置(例えば、略中央部)にて、水平方向に延在する所定の線分Xを特定し、当該線分Xの端点A、Bの各画素の画素値を取得する。
そして、第1算出部5bは、端点A、Bの各画素の画素値どうしを比較して、これら画素値どうしが等しいと判定した場合には、周辺光量落ちが水平方向に沿って対称(左右対称)と考えられるので、線分Xの中点を重心xcとする。一方、第1算出部5bは、端点A、Bの各画素の画素値が異なると判定した場合には、画素値の低い方の端点(例えば、図4(a)における端点B)側にて他方の端点(例えば、図4(a)における端点A)の画素の画素値と等しい位置(例えば、点B’)を特定し、当該位置(点B’)と他方の端点(端点A)の中点を重心xcとする。
【0025】
また、第1算出部5bは、等高線分布Dにおける垂直方向(y軸方向)に関しても、垂直方向の所定の線分Yについて重心ycを算出する。なお、重心ycの算出方法は、上記した重心xcの算出方法と略同様であり、その詳細な説明は省略する。
そして、第1算出部5bは、上記のようにして算出された所定の被写体画像P1の水平方向の重心xc及び垂直方向の重心ycを、等高線分布Dにおける中心C、即ち、シェーディング中心Cの座標(xc,yc)として特定する(図4(b)参照)。
【0026】
なお、線分Xの重心xc及び線分Yの重心ycの算出にて、各線分X、Yの端点A、Bの各画素を中心とする所定範囲内の周辺画素の画素値の平均値を用いても良く、これにより、所定の被写体画像P1の画像データに含まれるノイズの影響を低減することができる。
【0027】
また、所定の被写体画像P1の短辺方向の重心、即ち、垂直方向の重心ycを算出する場合、第1算出部5bは、略矩形状の所定の被写体画像P1の中心を通り、当該所定の被写体画像P1の短辺及び長辺と交わる斜め方向に延在する2つの線分Ya、Ybに沿って並んだ複数の画素の画素値に基づいて、等高線分布Dにおける垂直方向(短辺と略平行な他方向)の重心ycを算出しても良い(図4(c)参照)。
具体的には、第1算出部5bは、上記と同様にして、2つの線分Ya、Ybの各々の重心yc1、yc2を算出し、各重心yc1、yc2から引いた垂線どうしが交わる点を垂直方向の重心ycとして算出する。
【0028】
このように、第1算出部5bは、画像取得部5aにより取得された所定の被写体画像P1の画素値に基づいて、当該画素値の強さの分布(等高線分布D)における基準位置を算出する。
【0029】
第2算出部5cは、所定の被写体画像P1におけるシェーディング中心Cから当該所定の被写体画像P1の左上、右上、左下、右下の4つの隅部の各々までの距離を基準として、電子撮像部2から出力される画像情報における複数の画素の画素値(例えば、輝度値Y)に対するシェーディング補正用の補正ゲイン代表テーブルT(補正情報;後述)を算出する。
具体的には、第2算出部5cは、中心ゲイン算出部c1と、補正係数算出部c2と、仮補正ゲイン算出部c3と、仮補正ゲイン特定部c4とを具備している。
【0030】
中心ゲイン算出部c1は、所定の被写体画像P1の等高線分布Dにおける中心C、即ち、シェーディング中心Cにおける画素値を、シェーディング補正用の補正ゲインの算出の基準となる補正ゲイン(中心ゲイン)として算出する。
なお、中心ゲインの算出にて、シェーディング中心Cの画素を中心とする所定範囲内の周辺画素の画素値の平均値を用いても良く、これにより、所定の被写体画像P1の画像データに含まれるノイズの影響を低減することができる。
【0031】
補正係数算出部c2は、シェーディング中心Cからの距離に応じた距離補正係数を算出する。
即ち、補正係数算出部c2は、所定の被写体画像P1の画像データの各画素の画素値に基づいて、シェーディング中心Cから上下左右の各方向に並んだ複数の画素の画素値を所定の間隔(例えば、シェーディング補正時の画素間隔等)を空けて取得する。そして、補正係数算出部c2は、中心ゲイン算出部c1により算出された中心ゲインを基準として所定の演算を行うことで、上下左右の各方向について複数の画素の画素値からなる画素値系列の各画素値に対応するシェーディング補正用の補正ゲインを算出する。これにより、補正係数算出部c2は、上下左右の各方向についてシェーディング補正用の補正ゲインからなるサンプル系列を算出する。ここで、上下左右の各方向の補正ゲインのサンプル系列は、シェーディング中心Cから距離が離れるに従って補正ゲインが大きくなるような曲線に近似した形状となる(図6(b)参照)。
なお、シェーディング中心Cから上下左右の各方向に並んだ複数の画素の画素値を取得する間隔は、シェーディング補正時の画素間隔に限られるものではなく、上下左右の各方向の距離補正係数を算出するのに十分な精度が得られるような画素間隔であれば適宜任意に変更可能である。
【0032】
続けて、補正係数算出部c2は、上下左右の各方向のサンプル系列のうち、シェーディング中心Cからの距離が最も遠い方向(例えば、図6(a)における右方向)の距離補正係数を基準(距離補正係数:1.0)として設定し、残りの方向の距離補正係数を等高線分布Dにおける間隔に応じて設定する。
具体的には、補正係数算出部c2は、シェーディング中心Cからの距離が最も遠い方向の等高線分布Dにおける間隔を基準として、求めたい方向の等高線分布Dにおける間隔が狭くなっている場合(例えば、上方向や左方向等の場合)には、シェーディング中心Cからの距離に応じた補正ゲインが基準よりも大きくなるような距離補正係数を設定する。一方で、補正係数算出部c2は、求めたい方向の等高線分布Dにおける間隔が広くなっている場合(例えば、下方向等の場合)には、シェーディング中心Cからの距離に応じた補正ゲインが基準よりも小さくなるような距離補正係数を設定する。
【0033】
例えば、図6(a)に示すように、補正係数算出部c2は、等高線分布Dにおける間隔が最も狭くなっている上方向は、補正ゲインが最も大きくなるような距離補正係数(例えば、距離補正係数:1.4)を設定し、また、等高線分布Dにおける間隔が次に狭くなっている左方向は、補正ゲインが次に大きくなるような距離補正係数(例えば、距離補正係数:1.2)を設定する。また、補正係数算出部c2は、シェーディング中心Cからの距離が最も遠い方向の等高線分布Dにおける間隔よりも等高線の間隔が広くなっている下方向は、補正ゲインが基準よりも小さくなるような距離補正係数(例えば、距離補正係数:0.7)を設定する。
【0034】
なお、距離補正係数の算出にて、上下左右の各方向の補正ゲインのサンプル系列を基準とするようにしたが、例えば、当該サンプル系列を算出するのに用いられる上下左右の各方向についての複数の画素の画素値からなる画素値系列を基準としても良い。
【0035】
仮補正ゲイン算出部c3は、所定の被写体画像P1におけるシェーディング中心Cと4つの隅部の各々とを結ぶ斜め4方向の各線分L(図5参照)ついて、当該各線分Lに沿う複数の画素の画素値のシェーディング補正用の仮補正ゲインをそれぞれ算出する。
即ち、仮補正ゲイン算出部c3は、所定の被写体画像P1の画像データの各画素の画素値に基づいて、シェーディング中心Cから左上、右上、左下、右下の斜め4方向の各線分Lに沿って並んだ複数の画素の画素値を所定の間隔(サンプリング間隔)を空けて取得する。このとき、仮補正ゲイン算出部c3は、斜め4方向の複数の画素の画素値のサンプリング間隔を、補正係数算出部c2により算出された上下左右の各方向の距離補正係数を基準として算出する。
【0036】
このように、仮補正ゲイン算出部c3は、所定の画像におけるシェーディング中心Cと各隅部とを結ぶ各線分Lに沿う複数の画素の画素値のシェーディング補正用の仮補正ゲインのサンプル系列(仮補正情報)をそれぞれ算出する。
なお、仮補正ゲインの算出にて、各画素を中心とする所定範囲内の周辺画素の画素値の平均値を用いても良く、これにより、所定の被写体画像P1の画像データに含まれるノイズの影響を低減することができる。
【0037】
仮補正ゲイン特定部c4は、仮補正ゲイン算出部c3により算出された4つの斜め方向の仮補正ゲインのサンプル系列の中で、一の斜め方向の仮補正ゲインのサンプル系列を特定する。
具体的には、仮補正ゲイン特定部c4は、所定の被写体画像P1における左上、右上、左下、右下の4つの隅部のうち、シェーディング中心Cから最も近い隅部における像高を特定する。そして、仮補正ゲイン特定部c4は、4つの斜め方向の仮補正ゲインのサンプル系列の中で、特定された像高にて最も仮補正ゲインの小さい斜め方向のサンプル系列を特定する。
例えば、図7には、所定のサンプリング間隔(補正間隔)毎の斜め方向の仮補正ゲインと代表テーブルT(後述)の補正ゲインを示すが、左上方向の仮補正ゲインのサンプル系列が像高64付近までしかなく、この場合、仮補正ゲイン特定部c4は、シェーディング中心Cから最も近い隅部として、左上隅部を特定する。そして、当該像高64では、左上方向の仮補正ゲインのサンプル系列の仮補正ゲインが最も小さくなるので、仮補正ゲイン特定部c4は、最も仮補正ゲインの小さい斜め方向の仮補正ゲインのサンプル系列として、左上方向の仮補正ゲインのサンプル系列を特定する。
【0038】
このように、仮補正ゲイン特定部c4は、仮補正ゲイン算出部c3により算出された斜め方向の各線分Lに対応する仮補正ゲインのサンプル系列(仮補正情報)のうち、シェーディング中心Cから最も近い隅部までの距離に対応する仮補正ゲイン(補正値)が最小となる一の斜め方向の仮補正ゲインのサンプル系列(仮補正情報)を特定する。
【0039】
そして、第2算出部5cは、仮補正ゲイン特定部c4により特定された一の斜め方向の仮補正ゲインのサンプル系列を基準として、シェーディング補正用の補正ゲイン代表テーブルTを算出する。
具体的には、第2算出部5cは、シェーディング中心Cからの各距離(各像高)にて、仮補正ゲイン特定部c4により特定された一の斜め方向(例えば、左上方向)の仮補正ゲインのサンプル系列における各仮補正ゲイン(補正値)が、他の3つの斜め方向の仮補正ゲインのサンプル系列における各仮補正ゲインを上回らないように当該一の斜め方向の仮補正ゲインのサンプル系列を修正する。即ち、例えば、図7に示すように、左上方向の仮補正ゲインのサンプル系列は、像高64よりも小さい一部の領域(例えば、像高50〜60程度)で他の斜め方向の仮補正ゲインの方が小さくなるというゲインの逆転現象が起こっている。そこで、左上方向の仮補正ゲインのサンプル系列にてゲインの逆転現象が起こらない程度(例えば、70〜80%程度)に各仮補正ゲインを抑制する。
そして、第2算出部5cは、修正された一の斜め方向の仮補正ゲインのサンプル系列を、シェーディング補正用の補正ゲイン代表テーブルT(図7参照)として算出する。
本実施形態において、補正情報算出部5は、画像データにおける各色成分毎に上記処理を行い、色成分毎の補正ゲイン代表テーブルTを取得する。即ち、補正情報算出部5は、画像データにおけるGR成分、GB成分、R成分及びB成分について、補正ゲイン代表テーブルTを取得する(図7参照)。以下、輝度成分(G成分あるいはGR成分とGB成分)についての補正ゲイン代表テーブルTを適宜「輝度シェーディング補正係数」、他の色成分(R成分及びB成分)についての補正ゲイン代表テーブルTを適宜「色シェーディング補正係数」と呼ぶ。
【0040】
なお、仮補正ゲイン特定部c4により特定された一の斜め方向の仮補正ゲインのサンプル系列が、シェーディング中心Cから最も遠い斜め方向の仮補正ゲインのサンプル系列よりも短い場合には、第2算出部5cは、上記と同様にして、少なくともシェーディング中心Cから最も遠い隅部における像高(例えば、右下方向の像高73)まで線型補間により補正ゲインを算出していく。このとき、第2算出部5cは、計算誤差等を考慮して、シェーディング中心Cから最も遠い隅部における像高を超えるまで(例えば、像高76程度)、補正ゲインを算出しても良い。
【0041】
このように、第2算出部5cは、所定の被写体画像P1における第1算出部5bにより算出されたシェーディング中心Cから当該所定の被写体画像P1の各隅部までの各距離を基準として、電子撮像部2から出力される画像情報における複数の画素の画素値に対するシェーディング補正用の補正ゲイン代表テーブルT(補正情報)を算出する。
【0042】
また、本実施形態において、第2算出部5cは、異なる露光時間で同一のフレームを連写することによりHDR画像を生成する撮像モード(以下、「HDRモード」と呼ぶ。)と、単一の露光時間で1つのフレームを撮像することにより通常のダイナミックレンジを有する単写画像を生成する撮像モード(以下、「単写モード」と呼ぶ。)とによって、色成分毎に行うシェーディング補正における補正ゲインを変化させる。
【0043】
具体的には、第2算出部5cは、単写モードの場合には、各色成分の補正ゲイン代表テーブルT(補正情報)を基準として、撮像レンズ部1の絞り値や光学ズーム倍率毎に、予め設定した演算を行うことで、電子撮像部2から出力される画像情報に対する色成分毎の補正ゲインテーブルをそれぞれ生成する。
一方、第2算出部5cは、HDRモードの場合には、各色成分の補正ゲイン代表テーブルT(補正情報)に対し、輝度成分(G成分)の補正ゲインを1として他の色成分の補正ゲインを輝度成分の補正ゲインに対する比に変換する。そして、第2算出部5cは、変換した補正ゲインを基準として、撮像レンズ部1の絞り値や光学ズーム倍率毎に、予め設定した演算を行うことで、電子撮像部2から出力される画像情報に対する色成分毎の補正ゲインテーブルをそれぞれ生成する。
【0044】
図8は、色成分毎の補正ゲインテーブルを示す図であり、図8(a)は単写モードの補正ゲインテーブル、図8(b)はHDRモードの補正ゲインテーブルを示している。なお、図8においては、輝度成分として、GR成分とGB成分を区別して示している。ただし、これらをまとめてG成分として取り扱うことも可能である。
【0045】
図8に示すように、単写モードの場合、補正ゲイン代表テーブルTを基準として輝度成分(GR成分及びGB成分)及び各色成分(R成分及びB成分)の補正ゲインテーブルが設定されている。
これに対し、HDRモードの場合、単写モードにおける輝度成分(GR成分及びGB成分)の補正ゲインを全ての像高に渡って1とし、各像高において輝度成分に対する各色成分の比(GR成分に対するR成分の比、GB成分に対するB成分の比)を補正ゲインとする補正ゲインテーブルが設定されている。
【0046】
このような補正ゲインテーブルとすることにより、HDRモードによって撮像する場合、輝度成分に対してはシェーディング補正を行わず、各色成分に対しては、色バランスを維持するようにシェーディング補正が施される。
そして、このように輝度成分に対する各色成分のバランスが維持された状態の複数の画像データ(異なる露光時間の画像データ)が加算合成されて、HDR画像が生成される。
そのため、HDR画像を生成する際に、シェーディング補正及びホワイトバランス調整処理を施したとしても、輝度の変更に対して色バランスが崩れることを防ぐことができる。
なお、GR成分及びGB成分をまとめてG成分として取り扱う場合、このG成分に対するR成分及びB成分の比を補正ゲインとする補正ゲインテーブルが設定される。
【0047】
画像処理部6は、補正情報記憶部6aと、補正処理部6bとを具備している。
補正情報記憶部6aは、補正情報算出部5の第2算出部5cにより算出された色成分毎のシェーディング補正用の補正ゲイン代表テーブルTを記憶する。また、補正情報記憶部6aは、シェーディング中心Cの座標と、各補正ゲインテーブルと対応付けられた上下左右の距離補正係数を記憶する。本実施形態においては、シェーディング補正処理の際に、後述する補正処理部6bが補正ゲイン代表テーブルTに基づいて、撮像レンズ部1の絞り値や光学ズーム倍率毎に電子撮像部2から出力される画像情報に対する補正ゲインをそれぞれ算出する。
【0048】
なお、補正情報記憶部6aには、シェーディング補正用の補正ゲイン代表テーブルTに加え、撮像レンズ部1の絞り値や光学ズーム倍率に応じて補正ゲインが変更された複数の補正ゲインテーブルを予め算出して記憶しておくことも可能である。
【0049】
補正処理部6bは、電子撮像部2から出力される画像情報に対してシェーディング補正を行う。
即ち、補正処理部6bは、被写体の撮像の際に電子撮像部2から出力されユニット回路部3により生成された所定の撮像画像の画像データに対して、撮像レンズ部1の絞り値や光学ズーム倍率に応じて、所定の補正ゲインを乗算するシェーディング補正を行う。
ここで、シェーディング補正とは、撮像画像のRGB画像データの各画素の各色成分毎のデータの色むらを補正する処理(クロマシェーディング)や、撮像画像のYUV画像データの各画素の輝度値Yの輝度むらを補正する処理(輝度シェーディング)のことである。本実施形態においては、RGB画像データを対象としてシェーディング処理を施すものとする。
【0050】
具体的には、先ず、中央制御部11は、ユーザによる操作入力部10の所定操作に基づいて撮像モード(単写モードあるいはHDRモード)、光学ズーム倍率や絞り値の指定指示に係る所定の操作信号が入力されると、この指定指示に対応するズーム調整用レンズの光軸方向の位置や絞り値を特定する。そして、中央制御部11は、特定されたズーム調整用レンズの光軸方向の位置や絞り値に係る所定の指示信号を画像処理部6の補正処理部6bに出力する。
補正処理部6bは、ズーム調整用レンズの光軸方向の位置や絞り値に基づいて、補正情報記憶部6aに記憶されている色成分毎のシェーディング補正用の補正ゲイン代表テーブルTを読み出す。また、補正処理部6bは、補正情報記憶部6aに記憶されているシェーディング中心Cの座標及び上下左右の距離補正係数を読み出す。
【0051】
そして、補正処理部6bは、色成分毎の補正ゲイン代表テーブルTを参照して、撮像レンズ部1の絞り値や光学ズーム倍率毎に、予め設定した演算を行うことで、電子撮像部2から出力される画像情報に対する色成分毎の補正ゲインテーブルをそれぞれ生成する。
このとき、補正処理部6bは、後述するように、単写する場合とHDR画像を生成するために撮像する場合とで、異なるシェーディング補正処理を実行する。
【0052】
そして、補正処理部6bは、ユニット回路部3により生成された所定の撮像画像の各画素について、その画素のシェーディング中心Cからの距離と上下左右の距離補正係数とシェーディング補正用の補正ゲインテーブルによって所定の補正ゲインを算出して、当該補正ゲインを各画素の画素値に乗算するシェーディング補正を行う。
また、補正処理部6bは、シェーディング補正が施された所定の撮像画像の画像データを処理済み画像として中央制御部11に出力する。
【0053】
なお、補正処理部6bは、中央制御部11とは独立して、ズーム調整用レンズの光軸方向の位置や絞り値に基づいて、シェーディング補正用の所定の補正ゲインテーブルを補正情報記憶部6aから読み出す処理を行っても良い。
【0054】
このように、補正処理部6bは、第2算出部5cにより算出された色成分毎のシェーディング補正用の補正情報に基づいて、電子撮像部2から出力される画像情報に対してシェーディング補正を行う。
【0055】
また、画像処理部6は、所定の撮像画像の画像データの記録の際に、中央制御部11から出力された画像データを受け取って、当該画像データに対して各種の画像処理や圧縮等を施してファイル化する。そして、画像処理部6は、ファイル化された画像データを画像記録部9に出力する。
【0056】
表示制御部7は、メモリ4に一時的に記憶されている表示用の画像データを読み出して表示部8に表示させる制御を行う。
具体的には、表示制御部7は、VRAM、VRAMコントローラ、デジタルビデオエンコーダ等を備えている(いずれも図示略)。そして、デジタルビデオエンコーダは、中央制御部11の制御下にてメモリ4から読み出されてVRAMに記録されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部8に出力する。
【0057】
表示部8は、例えば、液晶表示装置であり、表示制御部7からのビデオ信号に基づいて電子撮像部2により撮像された画像等を表示画面に表示する。具体的には、表示部8は、静止画撮像モードや動画撮像モードにて、電子撮像部2による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。
【0058】
画像記録部9は、例えば、不揮発性メモリ等により構成され、画像処理部6の符号化部(図示略)により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記録する。
【0059】
操作入力部10は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部10は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定用ボタン、ズーム量の調整指示に係るズームボタン等を備え(いずれも図示略)、これらのボタンの操作に応じて所定の操作信号を中央制御部11に出力する。
【0060】
中央制御部11は、撮像装置100の各部を制御するものである。具体的には、中央制御部11は、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
【0061】
次に、撮像装置100によるシェーディング補正用の補正情報算出処理について、図9を参照して説明する。
図9は、補正情報算出処理に係る動作の一例を示すフローチャートである。
図9に示すフローチャートは、画像データの色成分毎に実行され、色成分毎のシェーディング補正用の補正ゲイン代表テーブルT(補正情報)が生成される。
【0062】
図9に示すように、画像処理部6の補正処理部6bは、補正情報記憶部6aに記憶されている情報(例えば、シェーディング補正用の補正ゲイン代表テーブルT等)を初期化した後(ステップS1)、補正情報算出部5の画像取得部5aは、撮像レンズ部1及び電子撮像部2により撮像されたシェーディング補正用の所定の被写体画像P1を取得する(ステップS2)。
具体的には、例えば、撮像レンズ部1のF値や光学ズーム倍率等の撮影条件が固定されると共に、撮像レンズ部1のレンズ全体に入射される光量が略等しくなるような条件下で、電子撮像部2により所定の被写体(例えば、白色光等)が撮像された後、ユニット回路部3により変換された所定の被写体画像P1の画像データ(例えば、RGB画像データやYUV画像データ等)を、画像取得部5aは取得する。
【0063】
次に、第1算出部5bは、画像取得部5aにより取得された所定の被写体画像P1の画素値に基づいて、当該画素値の強さの分布である等高線分布Dを生成した後、等高線分布Dにおける中心C、即ち、シェーディング中心Cの座標(xc,yc)を算出する(ステップS3)。
具体的には、第1算出部5bは、所定の被写体画像P1の等高線分布Dにおける水平方向の重心xcを算出すると共に、所定の被写体画像P1の等高線分布Dにおける垂直方向の重心ycを算出する。そして、第1算出部5bは、算出された所定の被写体画像P1の水平方向の重心xc及び垂直方向の重心ycを、シェーディング中心Cの座標(xc,yc)として特定する。
【0064】
続けて、第2算出部5cの中心ゲイン算出部c1は、所定の被写体画像P1におけるシェーディング中心Cの画素値を、シェーディング補正用の補正ゲインの算出の基準となる中心ゲインとして算出する(ステップS4)。
【0065】
次に、第2算出部5cの補正係数算出部c2は、上下左右の各方向についてのシェーディング補正用の補正ゲインからなるサンプル系列をそれぞれ算出する(ステップS5)。
具体的には、補正係数算出部c2は、所定の被写体画像P1の画像データの各画素の画素値に基づいて、シェーディング中心Cから上下左右の各方向に並んだ複数の画素の画素値を所定の間隔を空けて取得する。続けて、補正係数算出部c2は、中心ゲイン算出部c1により算出された中心ゲインを基準として、上下左右の各方向について複数の画素値からなる画素値系列の各画素値に対応するシェーディング補正用の補正ゲインを算出していくことで、上下左右の各方向のシェーディング補正用の補正ゲインからなるサンプル系列をそれぞれ算出する。
【0066】
続けて、補正係数算出部c2は、上下左右の各方向について、シェーディング補正用の補正ゲインをシェーディング中心Cからの距離に応じて補正するための距離補正係数をそれぞれ算出する(ステップS6)。
具体的には、補正係数算出部c2は、上下左右の各方向のサンプル系列のうち、シェーディング中心Cからの距離が最も遠い方向(例えば、図6(a)における右方向)の距離補正係数を基準(距離補正係数:1.0)として設定し、残りの方向の距離補正係数を等高線分布Dにおける間隔に応じて設定する。即ち、補正係数算出部c2は、求めたい方向の等高線分布Dにおける間隔が基準の間隔よりも狭くなっている場合には、シェーディング中心Cからの距離に応じた補正ゲインが基準よりも大きくなるような距離補正係数を設定する。一方で、補正係数算出部c2は、求めたい方向の等高線分布Dにおける間隔が基準の間隔よりも広くなっている場合(例えば、下方向等の場合)には、シェーディング中心Cからの距離に応じた補正ゲインが基準よりも小さくなるような距離補正係数を設定する。
【0067】
次に、第2算出部5cの仮補正ゲイン算出部c3は、電子撮像部2の撮像領域におけるシェーディング中心Cから左上、右上、左下、右下の斜め4方向について、複数の画素の画素値のサンプリング間隔をそれぞれ算出する(ステップS7)。
具体的には、仮補正ゲイン算出部c3は、サンプリング間隔を求めたい一の斜め方向を分解した2方向の距離補正係数を基準として、当該一の斜め方向に沿って配設された複数の画素の画素値のサンプリング間隔を算出する。即ち、仮補正ゲイン算出部c3は、一の斜め方向(例えば、右上方向)を分解した2方向(例えば、右方向及び上方向)のうち、水平方向と平行な方向(例えば、右方向)の距離補正係数を基準として、x軸方向のサンプリング間隔の特定に係るx座標x1を算出する一方で、垂直方向と平行な方向(例えば、上方向)の距離補正係数を基準として、y軸方向のサンプリング間隔の特定に係るy座標y1を算出する。そして、仮補正ゲイン算出部c3は、x座標x1及びy座標y1に基づいて、2点(x1,0),(0,y1)を通る楕円を算出し、当該楕円とシェーディング中心Cから一の斜め方向の隅部(例えば、右上隅部)への線分Lとの交点Iの座標(xi,yi)をサンプリング間隔として算出する。
【0068】
続けて、仮補正ゲイン算出部c3は、斜め4方向について、複数の画素の画素値のシェーディング補正用の仮補正ゲインからなるサンプル系列をそれぞれ算出する(ステップS8)。
具体的には、仮補正ゲイン算出部c3は、所定の被写体画像P1の画像データの各画素の画素値に基づいて、x軸方向のサンプリング間隔をxi画素ずつとすると共にy軸方向のサンプリング間隔をyi画素ずつとして、斜め4方向の各線分Lに沿って並んだ複数の画素の画素値を順次取得する。そして、仮補正ゲイン算出部c3は、中心ゲイン算出部c1により算出された中心ゲインを基準として、斜め4方向の各々についての複数の画素値からなる画素値系列の各画素値に対応するシェーディング補正用の仮補正ゲインを算出していくことで、斜め4方向の各々のシェーディング補正用の仮補正ゲインからなるサンプル系列をそれぞれ算出する。
【0069】
次に、第2算出部5cは、シェーディング補正用の補正ゲイン代表テーブルTを算出する(ステップS9)。
具体的には、第2算出部5cの仮補正ゲイン特定部c4は、仮補正ゲイン算出部c3により算出された4つの斜め方向の仮補正ゲインのサンプル系列の中で、一の斜め方向の仮補正ゲインのサンプル系列を特定する。即ち、仮補正ゲイン特定部c4は、所定の被写体画像P1における左上、右上、左下、右下の4つの隅部のうち、シェーディング中心Cから最も近い隅部における像高を特定し、4つの斜め方向のサンプル系列の中で、特定された像高にて最も仮補正ゲインの小さい斜め方向(例えば、左上方向)のサンプル系列を特定する。
【0070】
続けて、第2算出部5cは、シェーディング中心Cからの各距離にて、仮補正ゲイン特定部c4により特定された一の斜め方向(例えば、左上方向)の仮補正ゲインのサンプル系列における各仮補正ゲインが、他の3つの斜め方向の仮補正ゲインのサンプル系列における各仮補正ゲインを上回らないように当該一の斜め方向の仮補正ゲインのサンプル系列を修正する。そして、第2算出部5cは、修正された一の斜め方向の仮補正ゲインのサンプル系列を、シェーディング補正用の補正ゲイン代表テーブルT(図7参照)として算出する。
【0071】
その後、画像処理部6の補正情報記憶部6aは、第2算出部5cにより算出されたシェーディング補正用の補正ゲイン代表テーブルT及びシェーディング中心Cの座標及び上下左右の距離補正係数を記憶する。
これにより、補正情報算出処理を終了する。
次に、撮像装置100によるシェーディング補正処理について、図10を参照して説明する。
図10は、シェーディング補正処理に係る動作の一例を示すフローチャートである。
シェーディング補正処理は、画像データにシェーディング補正を行い、シャッタボタンが押下された場合には、シェーディング補正された画像を記録する一連の処理である。
図10に示すように、画像処理部6の補正処理部6bは、撮像レンズ部1によって検出された光学系の焦点距離を取得する(ステップS21)。
次に、補正処理部6bは、補正情報記憶部6aに記憶された色成分毎の補正ゲイン代表テーブルTを読み出す(ステップS22)。
【0072】
次に、補正処理部6bは、撮像モードがHDRモードであるか否かの判定を行う(ステップS23)。
撮像モードがHDRモードである場合、ステップS23における判定は肯定され、補正処理部6bは、第2算出部5cによって、補正ゲイン代表テーブルTを基に、輝度成分の補正ゲインを1とし、他の色成分の補正ゲインを輝度成分の補正ゲインに対する比に変換して、色成分毎の補正ゲインテーブルを生成する(ステップS24)。
一方、撮像モードが単写モードである場合、ステップS23における判定は否定され、補正処理部6bの処理は、ステップS25に進む。
ステップS23における判定が否定された場合、及び、ステップS24の後、補正処理部6bは、撮像レンズ部1の絞り値や光学ズーム倍率毎に、予め設定した演算を行うことで、電子撮像部2から出力される画像情報に対する色成分毎の補正ゲインテーブルをそれぞれ生成する(ステップS25)。
【0073】
ステップS25の処理により、撮像モードに応じて、HDR画像用の補正ゲインテーブルまたは単写モード用の補正ゲインテーブルが生成される。
次に、補正処理部6bは、ステップS25において生成された補正ゲインテーブルを用いて、各色成分の画像データに対してシェーディング補正を行う(ステップS26)。具体的には、撮像モードがHDRモードである場合、補正処理部6bは、HDRモードの補正ゲインテーブル(図8(b)参照)を用いて、輝度成分、R成分及びB成分の画像データに対して、補正ゲインを乗算する。なお、HDRモードの場合、輝度成分には補正ゲイン1(即ち、増減なし)の処理が実行される。また、撮像モードが単写モードである場合、補正処理部6bは、単写モードの補正ゲインテーブル(図8(a)参照)を用いて、輝度成分、R成分及びB成分の画像データに対して、補正ゲインを乗算する。
【0074】
これにより、表示部8には、HDR画像あるいは単写画像それぞれに応じたシェーディング補正が施されたデジタル画像が表示される。
次に、補正処理部6bは、再度、撮像レンズ部1によって検知された焦点距離を取得し、ステップS21で取得した焦点距離と比較することにより焦点距離の変化を検知する(ステップS27)。
そして、比較した結果、双方の焦点距離が一致しなかった場合には、ステップS27での判定は肯定され、補正処理部6bの処理はステップS21へ戻る。
【0075】
以降、補正処理部6bは、ステップS27での判定が否定されるまで、ステップS21〜ステップS25までの処理を繰り返し実行する。
一方、比較した結果、双方の焦点距離が一致した場合には、ステップS27での判定が否定され、補正処理部6bの処理は、ステップS28へ進む。
次に、補正処理部6bは、操作入力部10のシャッタボタンが押下されているか否かの判定を行う(ステップS28)。
ステップS28での判定が否定された場合には、補正処理部6bの処理は、ステップS26に戻る。
【0076】
以降、補正処理部6bは、ステップS28での判定が肯定されるまで、ステップS26〜ステップS28までの処理を繰り返し実行する。
一方、ステップS28での判定が肯定された場合には、補正処理部6bの処理は、ステップS29へ進む。
次に、補正処理部6bは、ステップS26でシェーディング補正が施されたデジタル画像を撮像用の画像データとして表示部8へ出力する(ステップS29)。
【0077】
次に、補正処理部6bは、ステップS29で生成した撮像用の画像データを画像記録部9へ出力する(ステップS30)。
これにより、撮像用の画像データは、画像記録部9に不揮発的に記録され、記録媒体等へ保存することが可能な状態となる。
以降、補正処理部6bは、ユーザによって電源がオフにされるまで、上述したステップS21〜ステップS30までの一連の処理を実行する。
【0078】
以上のように、実施形態1の撮像装置100は、画像データにおける色成分毎にシェーディング補正用の補正ゲイン代表テーブルTを算出し、単写画像を撮像する場合には、これら補正ゲイン代表テーブルTによって、それぞれの色成分の画像をシェーディング補正する。一方、撮像装置100は、HDR画像を生成するために撮像する場合には、輝度成分のシェーディング補正用の補正ゲイン代表テーブルTの値に対する他の色成分のシェーディング補正用の補正ゲイン代表テーブルTの値の比を算出し、輝度成分の補正ゲインを1として、他の色成分の補正ゲインを乗算することにより、画像データのシェーディング補正を行う。
したがって、画像データの輝度を変更した場合に、他の色成分のバランスが変化しないため、露光時間の異なる複数の画像データを加算合成してHDR画像を生成した場合に、ホワイトバランス調整処理を行っても、色被り等の画質の劣化が生じることを抑制できる。
【0079】
比較例として、本発明に係るシェーディング補正を行っていない画像データにホワイトバランス調整処理を施すと、輝度の調整に伴って、R成分とG成分とのバランスが変化し、全体的に例えば青色等に色被りする。これに対し、本発明に係るR成分とGR成分との比及びB成分とGB成分との比によるシェーディング補正の場合、色被りは発生せず、ホワイトバランス調整処理後も適切な色となる。
また、輝度成分に相当するG成分(GR成分とGB成分)は、シェーディング補正なしであり、R成分及びB成分は、GR成分及びGB成分に対する比であることから補正の度合いは小さいため、R成分及びB成分のシェーディング補正を実施しても、4隅等の周辺部が過補正により白とびする等の画質劣化が発生することを抑制できる。
【0080】
ここで、本実施形態において、画像取得部5aが画像データ取得手段を構成し、第1算出部5bがシェーディング検出手段を構成している。また、第2算出部5cが輝度シェーディング補正係数生成手段及び色差シェーディング補正係数生成手段を構成し、中央制御部11がモード設定検出手段を構成している。また、補正処理部6bが第1の補正手段及び第2の補正手段を構成し、第2算出部5cが変換手段を構成している。
【0081】
なお、上記実施形態1にあっては、補正処理部6bを備える構成を例示したが、一例であってこれに限られるものではなく、補正処理部6bを備えるか否か等は適宜任意に変更可能である。
例えば、上述の実施形態では、補正処理部6bがシェーディング補正を含む一連の処理を行うものとして説明したが、補正処理部6bの処理の一部あるいは全部を中央制御部11が実行することとしても良い。
【0082】
また、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、第1算出部5bによる等高線分布Dにおける基準位置(中心C)の算出方法として上記実施形態に例示した方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。同様に、第2算出部5cによるシェーディング補正用の補正ゲイン代表テーブルTの算出方法として上記実施形態に例示した方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【0083】
また、撮像装置100の構成は、上記実施形態1に例示したものは一例であり、これに限られるものではない。例えば、撮像レンズ部1や電子撮像部2を撮像装置100本体に対して着脱自在に構成しても良い。さらに、画像処理装置として、撮像装置100を例示したが、これらに限られるものではない。
即ち、シェーディング補正用の所定の被写体画像P1の撮像や当該所定の被写体画像P1の画像データの生成は、当該撮像装置100とは異なる撮像装置(図示略)にて行い、この撮像装置から出力された画像データのみを記録して、上記の補正情報算出処理を実行する構成でも良い。
【0084】
加えて、上記実施形態にあっては、中央制御部11の制御下にて、補正情報算出部5が駆動することにより各種機能が実現される構成としたが、これに限られるものではなく、中央制御部11のCPUによって所定のプログラム等が実行されることにより同様の機能が実現される構成としても良い。
【0085】
また、上述の実施形態では、本発明が適用される撮像装置100は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【0086】
また、図1に示すそれぞれの機能構成は、ハードウェア単体で構成しても良いし、ソフトウェア単体で構成しても良いし、それらの組み合わせで構成しても良い。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。
【0087】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又または光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROMやハードディスク等で構成される。
【0088】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
光学系を介して輝度成分及び色成分を含む画像データを取得する画像データ取得手段と、
前記画像データに含まれる輝度成分のシェーディング、及び、色差成分のシェーディングをそれぞれ検出するシェーディング検出手段と、
前記シェーディング検出手段によって検出された輝度成分のシェーディングに基づいて、その輝度成分のシェーディングを補正するための輝度シェーディング補正係数を算出する輝度シェーディング補正係数算出手段と、
前記シェーディング検出手段によって検出された色差成分のシェーディングに基づいて、その色差成分のシェーディングを補正するための色差シェーディング補正係数を算出する色差シェーディング補正係数算出手段と、
単写モード若しくは露出条件を変えて連写し画素加算することによりダイナミックレンジを拡大させた画像を生成するHDRモードの何れかのモードの設定を検出するモード設定検出手段と、
前記モード設定検出手段により単写モードの設定が検出されると、前記輝度シェーディング補正係数算出手段によって算出された輝度シェーディング補正係数、及び、前記色差シェーディング補正係数算出手段により算出された色差シェーディング補正係数に基づいて、前記取得された画像データを補正する第1の補正手段と、
前記色差シェーディング補正係数を前記算出された輝度シェーディング補正係数に対する所定の比になるように変換する変換手段と、
前記モード設定検出手段によりHDRモードの設定を検出すると、前記変換手段によって変換された色差シェーディング補正係数に基づいて、前記取得された画像データを補正する第2の補正手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記画像データにおける輝度成分は、赤色、緑色及び青色の色成分によって表されたRGB画像データにおける緑色成分の画像データであることを特徴とする付記1に記載の画像処理装置。
[付記3]
前記画像データにおける輝度成分は、赤色及び緑色の色成分の画像データを取得するGRラインと、緑色及び青色の色成分の画像データを取得するGBラインとが交互に配列されたイメージセンサによって取得された画像データのうち、GRラインにおける緑色の色成分の画像データ及びGBラインにおける青色の色成分の画像データであることを特徴とする付記1に記載の画像処理装置。
[付記4]
光学系を介して輝度成分及び色成分を含む画像データを取得する画像データ取得ステップと、
前記画像データに含まれる輝度成分のシェーディング、及び、色差成分のシェーディングをそれぞれ検出するシェーディング検出ステップと、
前記シェーディング検出ステップにて検出された輝度成分のシェーディングに基づいて、その輝度成分のシェーディングを補正するための輝度シェーディング補正係数を算出する輝度シェーディング補正係数算出ステップと、
前記シェーディング検出ステップにて検出された色差成分のシェーディングに基づいて、その色差成分のシェーディングを補正するための色差シェーディング補正係数を算出する色差シェーディング補正係数算出ステップと、
単写モード若しくは露出条件を変えて連写し画素加算することによりダイナミックレンジを拡大させた画像を生成するHDRモードの何れかのモードの設定を検出するモード設定検出ステップと、
前記モード設定検出ステップにて単写モードの設定が検出されると、前記輝度シェーディング補正係数算出ステップにて算出された輝度シェーディング補正係数、及び、前記色差シェーディング補正係数算出ステップにて算出された色差シェーディング補正係数に基づいて、前記画像データを補正する第1の補正ステップと、
前記色差シェーディング補正係数を前記算出された輝度シェーディング補正係数に対する所定の比になるように変換する変換ステップと、
前記モード設定検出ステップにてHDRモードの設定を検出すると、前記変換ステップにて変換された色差シェーディング補正係数に基づいて、前記取得された画像データを補正する第2の補正ステップと、
を含むことを特徴とする画像処理方法。
[付記5]
コンピュータを、
光学系を介して輝度成分及び色成分を含む画像データを取得する画像データ取得手段、
前記画像データに含まれる輝度成分のシェーディング、及び、色差成分のシェーディングをそれぞれ検出するシェーディング検出手段、
前記シェーディング検出手段によって検出された輝度成分のシェーディングに基づいて、その輝度成分のシェーディングを補正するための輝度シェーディング補正係数を算出する輝度シェーディング補正係数算出手段、
前記シェーディング検出手段によって検出された色差成分のシェーディングに基づいて、その色差成分のシェーディングを補正するための色差シェーディング補正係数を算出する色差シェーディング補正係数算出手段、
単写モード若しくは露出条件を変えて連写し画素加算することによりダイナミックレンジを拡大させた画像を生成するHDRモードの何れかのモードの設定を検出するモード設定検出手段、
前記モード設定検出手段により単写モードの設定が検出されると、前記輝度シェーディング補正係数算出手段によって算出された輝度シェーディング補正係数、及び、前記色差シェーディング補正係数算出手段により算出された色差シェーディング補正係数に基づいて、前記取得された画像データを補正する第1の補正手段、
前記色差シェーディング補正係数を前記算出された輝度シェーディング補正係数に対する所定の比になるように変換する変換手段、
前記モード設定検出手段によりHDRモードの設定を検出すると、前記変換手段によって変換された色差シェーディング補正係数に基づいて、前記取得された画像データを補正する第2の補正手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【0089】
100・・・撮像装置、1・・・撮像レンズ部、2・・・電子撮像部、5・・・補正情報算出部、5a・・・画像取得部、5b・・・第1算出部、5c・・・第2算出部、c3・・・仮補正ゲイン算出部、c4・・・仮補正ゲイン特定部、5d・・・第3算出部、6・・・画像処理部、6b・・・補正処理部、11・・・中央制御部

【特許請求の範囲】
【請求項1】
光学系を介して輝度成分及び色成分を含む画像データを取得する画像データ取得手段と、
前記画像データに含まれる輝度成分のシェーディング、及び、色差成分のシェーディングをそれぞれ検出するシェーディング検出手段と、
前記シェーディング検出手段によって検出された輝度成分のシェーディングに基づいて、その輝度成分のシェーディングを補正するための輝度シェーディング補正係数を算出する輝度シェーディング補正係数算出手段と、
前記シェーディング検出手段によって検出された色差成分のシェーディングに基づいて、その色差成分のシェーディングを補正するための色差シェーディング補正係数を算出する色差シェーディング補正係数算出手段と、
単写モード若しくは露出条件を変えて連写し画素加算することによりダイナミックレンジを拡大させた画像を生成するHDRモードの何れかのモードの設定を検出するモード設定検出手段と、
前記モード設定検出手段により単写モードの設定が検出されると、前記輝度シェーディング補正係数算出手段によって算出された輝度シェーディング補正係数、及び、前記色差シェーディング補正係数算出手段により算出された色差シェーディング補正係数に基づいて、前記取得された画像データを補正する第1の補正手段と、
前記色差シェーディング補正係数を前記算出された輝度シェーディング補正係数に対する所定の比になるように変換する変換手段と、
前記モード設定検出手段によりHDRモードの設定を検出すると、前記変換手段によって変換された色差シェーディング補正係数に基づいて、前記取得された画像データを補正する第2の補正手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記画像データにおける輝度成分は、赤色、緑色及び青色の色成分によって表されたRGB画像データにおける緑色成分の画像データであることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画像データにおける輝度成分は、赤色及び緑色の色成分の画像データを取得するGRラインと、緑色及び青色の色成分の画像データを取得するGBラインとが交互に配列されたイメージセンサによって取得された画像データのうち、GRラインにおける緑色の色成分の画像データ及びGBラインにおける青色の色成分の画像データであることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
光学系を介して輝度成分及び色成分を含む画像データを取得する画像データ取得ステップと、
前記画像データに含まれる輝度成分のシェーディング、及び、色差成分のシェーディングをそれぞれ検出するシェーディング検出ステップと、
前記シェーディング検出ステップにて検出された輝度成分のシェーディングに基づいて、その輝度成分のシェーディングを補正するための輝度シェーディング補正係数を算出する輝度シェーディング補正係数算出ステップと、
前記シェーディング検出ステップにて検出された色差成分のシェーディングに基づいて、その色差成分のシェーディングを補正するための色差シェーディング補正係数を算出する色差シェーディング補正係数算出ステップと、
単写モード若しくは露出条件を変えて連写し画素加算することによりダイナミックレンジを拡大させた画像を生成するHDRモードの何れかのモードの設定を検出するモード設定検出ステップと、
前記モード設定検出ステップにて単写モードの設定が検出されると、前記輝度シェーディング補正係数算出ステップにて算出された輝度シェーディング補正係数、及び、前記色差シェーディング補正係数算出ステップにて算出された色差シェーディング補正係数に基づいて、前記画像データを補正する第1の補正ステップと、
前記色差シェーディング補正係数を前記算出された輝度シェーディング補正係数に対する所定の比になるように変換する変換ステップと、
前記モード設定検出ステップにてHDRモードの設定を検出すると、前記変換ステップにて変換された色差シェーディング補正係数に基づいて、前記取得された画像データを補正する第2の補正ステップと、
を含むことを特徴とする画像処理方法。
【請求項5】
コンピュータを、
光学系を介して輝度成分及び色成分を含む画像データを取得する画像データ取得手段、
前記画像データに含まれる輝度成分のシェーディング、及び、色差成分のシェーディングをそれぞれ検出するシェーディング検出手段、
前記シェーディング検出手段によって検出された輝度成分のシェーディングに基づいて、その輝度成分のシェーディングを補正するための輝度シェーディング補正係数を算出する輝度シェーディング補正係数算出手段、
前記シェーディング検出手段によって検出された色差成分のシェーディングに基づいて、その色差成分のシェーディングを補正するための色差シェーディング補正係数を算出する色差シェーディング補正係数算出手段、
単写モード若しくは露出条件を変えて連写し画素加算することによりダイナミックレンジを拡大させた画像を生成するHDRモードの何れかのモードの設定を検出するモード設定検出手段、
前記モード設定検出手段により単写モードの設定が検出されると、前記輝度シェーディング補正係数算出手段によって算出された輝度シェーディング補正係数、及び、前記色差シェーディング補正係数算出手段により算出された色差シェーディング補正係数に基づいて、前記取得された画像データを補正する第1の補正手段、
前記色差シェーディング補正係数を前記算出された輝度シェーディング補正係数に対する所定の比になるように変換する変換手段、
前記モード設定検出手段によりHDRモードの設定を検出すると、前記変換手段によって変換された色差シェーディング補正係数に基づいて、前記取得された画像データを補正する第2の補正手段、
として機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−46377(P2013−46377A)
【公開日】平成25年3月4日(2013.3.4)
【国際特許分類】
【出願番号】特願2011−185039(P2011−185039)
【出願日】平成23年8月26日(2011.8.26)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】