画像処理装置
【課題】回路規模を抑制し、かつ安価な構成により、ハイダイナミックレンジでの映像の取得を可能とする画像処理装置を提供すること。
【解決手段】実施形態にかかる画像処理装置において、ラインメモリ14は、第1画素群と第2画素群とを用いて取り込まれた画像信号を保持する。第2画素群は、撮像ごとにおける光感度が第1画素群の画素より低く設定された画素からなる。第1の補正部である平均値算出部34は、入射光量に対する出力の飽和が生じている旨の判定がなされた画素に適用する第1の補正値を生成する。第2の補正部であるノイズキャンセル部37は、ノイズキャンセル処理を経た第2の補正値を生成する。第3の補正部である検索部32は、キズである旨の判定がなされた画素に適用する第3の補正値を生成する。画像処理装置は、第1の補正値、第2の補正値及び第3の補正値の生成に、共通のラインメモリ14を経た画像信号を使用する。
【解決手段】実施形態にかかる画像処理装置において、ラインメモリ14は、第1画素群と第2画素群とを用いて取り込まれた画像信号を保持する。第2画素群は、撮像ごとにおける光感度が第1画素群の画素より低く設定された画素からなる。第1の補正部である平均値算出部34は、入射光量に対する出力の飽和が生じている旨の判定がなされた画素に適用する第1の補正値を生成する。第2の補正部であるノイズキャンセル部37は、ノイズキャンセル処理を経た第2の補正値を生成する。第3の補正部である検索部32は、キズである旨の判定がなされた画素に適用する第3の補正値を生成する。画像処理装置は、第1の補正値、第2の補正値及び第3の補正値の生成に、共通のラインメモリ14を経た画像信号を使用する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【0002】
従来、光感度を異ならせた画素群を使用することにより、ハイダイナミックレンジ(high dynamic range;HDR)を実現させる固体撮像装置が提案されている。入射光量が少ない部分については、高い光感度を持たせた画素群のほうが、低い光感度を持たせた画素群に比べて、明暗差が良好な映像情報を得ることが可能である。高い光感度を持たせた画素群は、入射光量が高い部分については、入射光量に対して信号出力が飽和することにより、出力特性が悪化する場合がある。そこで、入射光量が高い部分については、低い光感度を持たせた画素群を使用することで、映像の再現性を確保することが可能となる。固体撮像装置は、映像のうち、良好な出力特性が得られている部分同士を合成することで、HDR映像を得ることができる。
【0003】
固体撮像装置は、高い光感度を持たせた画素群と低い光感度を持たせた画素群とで出力レベルを一致させるために、低い光感度を持たせた画素群で得られた信号値に所定のゲインを乗算する。例えば、CMOS(complementary metal oxide semiconductor)センサを搭載する固体撮像装置は、CMOSセンサに一体化された画像処理回路により、デジタル方式の映像信号へデジタルゲインを乗算して、HDR映像を合成する構成を採り得る。
【0004】
かかるHDR映像の合成のためには、固体撮像装置は、映像信号を保持するラインメモリが必要となる。この他、固体撮像装置は、正常に機能していない画素によるデジタル画像信号の欠損部分(以下、適宜「キズ」と称する)のキズ補正や、ランダムノイズ等のノイズを低減させるノイズキャンセル処理のためのラインメモリを搭載する場合がある。固体撮像装置は、必要となるラインメモリが増えることで、回路規模が増大し、コストが増大することとなる。固体撮像装置は、回路規模の縮小のためにキズ補正やノイズキャンセル処理を削減すれば、高画質という利点を損なうことになる。
【0005】
このような課題に対しては、固体撮像装置内に代えて、固体撮像装置の後段のデジタルシグナルプロセッサ(digital signal processor;DSP)に、HDR映像の合成のための構成を搭載する措置も採られている。しかし、HDRへの対応のためにDSPの汎用性が低下し、システム単価が上がることで、カメラモジュール全体としてはコストが増大してしまうことになる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平4−298175号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の一つの実施形態は、回路規模を抑制し、かつ安価な構成により、ハイダイナミックレンジでの映像の取得を可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一つの実施形態によれば、画像処理装置は、画像信号保持部、飽和判定部、キズ判定部、第1の補正部、第2の補正部、第3の補正部、第1の選択部及び第2の選択部を有する。画像信号保持部は、第1画素群と第2画素群とを用いて取り込まれた画像信号を保持する。第2画素群は、撮像ごとにおける光感度が第1画素群の画素より低く設定された画素からなる。飽和判定部は、第1画素群の画素を対象として、入射光量に対する出力の飽和が生じているか否かの飽和判定を実施する。キズ判定部は、第1画素群の画素及び第2画素群の画素を対象として、キズであるか否かのキズ判定を実施する。第1の補正部は、入射光量に対する出力の飽和が生じている旨の飽和判定がなされた画素に適用する信号値として、第1の補正値を生成する。第2の補正部は、第1画素群の画素及び第2画素群の画素について、ノイズキャンセル処理を経た信号値として、第2の補正値を生成する。第3の補正部は、キズである旨のキズ判定がなされた画素に適用する信号値として、第3の信号値を生成する。第1の選択部は、第1の補正値及び第2の補正値のいずれかを、飽和判定の結果に応じて選択する。第2の選択部は、第1の補正値及び第2の補正値のうち第1の選択部で選択された一方と、第3の補正値と、のいずれかを、キズ判定の結果に応じて選択する。画像処理装置は、第1の補正部における第1の補正値の生成、第2の補正部における第2の補正値の生成、及び第3の補正部における第3の補正値の生成に、共通の画像信号保持部を経た画像信号を使用する。
【図面の簡単な説明】
【0009】
【図1】第1の実施形態にかかる固体撮像装置の概略構成を示すブロック図。
【図2】図1に示す固体撮像装置を備えるカメラモジュールの構成を示すブロック図。
【図3】イメージセンサにおける画素の配列について説明する図。
【図4】高感度画素群の画素及び低感度画素群の画素の出力特性を示す図。
【図5】図4に示す状態から、HDR用の合成を実施した場合の出力特性を示す図。
【図6】補正処理回路の構成を示すブロック図。
【図7】対象画素及び周辺画素を示す図。
【図8】対象画素が高感度画素群に含まれる場合のパターンを示す図。
【図9】対象画素が高感度画素群に含まれる場合のパターンを示す図。
【図10】第2の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図。
【図11】第3の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図。
【図12】第4の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図。
【発明を実施するための形態】
【0010】
以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【0011】
(第1の実施形態)
図1は、第1の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図2は、図1に示す固体撮像装置を備えるカメラモジュールの構成を示すブロック図である。カメラモジュール1は、例えば、デジタルカメラである。
【0012】
カメラモジュール1は、固体撮像装置2、DSP3、記憶部4及び表示部5を有する。固体撮像装置2は、被写体像を撮像する。DSP3は、固体撮像装置2での撮像により得られた画像信号の信号処理を実施する。DSP3は、例えば、固体撮像装置2から出力されたRAW画像について、シェーディング補正、自動露出(auto exposure;AE)調整、自動ホワイトバランス(auto white balance;AWB)調整、マトリクス処理、輪郭強調、輝度圧縮、ガンマ処理等を実施する。DSP3は、シェーディング補正のためのシェーディング係数6、AWB調整のためのAWB係数7、AE調整のためのデジタルゲイン係数8を、固体撮像装置2へ出力する。
【0013】
記憶部4は、DSP3での信号処理を経た画像を格納する。記憶部4は、ユーザの操作等に応じて、表示部5へ画像信号を出力する。表示部5は、DSP3あるいは記憶部4から入力される画像信号に応じて、画像を表示する。表示部5は、例えば、液晶ディスプレイである。
【0014】
固体撮像装置2は、画像処理回路(画像処理装置)10、レンズユニット11、イメージセンサ12、アナログデジタル変換器(ADC)13及びインタフェース(I/F)17を有する。
【0015】
レンズユニット11は、被写体からの光を取り込み、イメージセンサ12にて被写体像を結像させる。イメージセンサ12は、レンズユニット11により取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサ12は、RGBの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。
【0016】
ADC13は、イメージセンサ12からの画像信号をアナログ方式からデジタル方式へ変換する。画像処理回路10は、ADC13からのデジタル画像信号に対して種々の画像処理を施す。I/F17は、画像処理回路10での信号処理を経た画像信号を出力する。I/F17は、シリアル入力からパラレル出力への変換や、パラレル入力からシリアル出力への変換を行うこととしても良い。
【0017】
画像処理回路10は、ラインメモリ14、補正処理回路15及びデジタルアンプ回路16を有する。ラインメモリ14は、ADC13からのデジタル画像信号を保持する画像信号保持部として機能する。補正処理回路15は、HDR用の合成、キズ補正及びノイズキャンセル処理を実施する。
【0018】
デジタルアンプ回路16は、DSP3からのシェーディング係数6、AWB係数7及びデジタルゲイン係数8を用いて、デジタルアンプ係数を算出する。さらに、デジタルアンプ回路16は、補正処理回路15からの画像信号にデジタルアンプ係数を乗算する。なお、カメラモジュール1は、本実施形態においてDSP3で実施することとしている処理の少なくとも一部を、固体撮像装置2の画像処理回路10で実施することとしても良い。
【0019】
図3は、イメージセンサにおける画素の配列について説明する図である。図中、「R」、「G」、「B」と付したマスは、それぞれ、R光を検出するR画素、G光を検出するG画素、B光を検出するB画素とする。R画素、G画素及びB画素は、二次元方向においてベイヤー配列をなしている。
【0020】
イメージセンサ12は、水平方向に並列する画素からなる二つのラインごとに画素の感度特性を異ならせることで、HDRを実現することとしている。イメージセンサ12は、高感度画素群(第1画素群)21及び低感度画素群(第2画素群)22を備える。低感度画素群22は、撮像ごとにおける光感度が高感度画素群21の画素より低く設定されている。イメージセンサ12は、二つのラインからなる高感度画素群21と、二つのラインからなる低感度画素群22とが、垂直方向へ交互に配置されている。ラインメモリ14は、高感度画素群21と低感度画素群22とを用いて取り込まれた画像信号を保持する。
【0021】
本実施形態では、高感度画素群21の画素は、低感度画素群22の画素に対して4倍の光感度を持たせて構成されている。ここで、イメージセンサ12は、高感度画素群21の画素と低感度画素群22の画素とで光感度を異ならせるために、例えば、撮像ごとにおける感光時間、受光面の面積、画素上に配置される集光レンズの構成、画素の光透過率等に差を持たせる構成を採用する。
【0022】
図4は、高感度画素群の画素及び低感度画素群の画素の出力特性を示す図である。図中、高感度画素群21の画素の出力特性を実線、低感度画素群22の画素の出力特性を破線として示している。入射光量が少ない部分については、高感度画素群21の画素は、低感度画素群22の画素に比べて、入射光量に対する出力の割合が高くなることで、明暗差が良好な映像情報を得ることが可能である。高感度画素群21の画素は、所定の入射光量より高い入射光量では信号出力が飽和し、入射光量が増加しても一定の出力しか得られないことになる。低感度画素群22の画素は、通常の照度環境下では高感度画素群21のような出力の飽和を生じさせず、入射光量に応じた出力を得ることができる。
【0023】
図5は、図4に示す状態から、HDR用の合成を実施した場合の出力特性を示す図である。固体撮像装置2は、入射光量が少ない部分についての高感度画素群21の出力と、入射光量が多い部分についての低感度画素群22の出力とを合成することにより、HDR映像を得ることができる。低感度画素群22の出力は、高感度画素群21の出力に合わせてゲイン倍、本実施形態では4倍として合成される。
【0024】
図6は、補正処理回路の構成を示すブロック図である。ラインメモリ14は、4ライン分のデジタル画像信号を保持する。
【0025】
図7は、対象画素及び周辺画素を示す図である。対象画素23は、補正処理回路15による補正対象とする画素とする。周辺画素24は、対象画素23と同色用の画素である。周辺画素24は、図中斜線を付して示すように、対象画素23の周辺に位置する8個の画素である。
【0026】
補正処理回路15には、ラインメモリ14に保持された4ラインL2〜L5と、ラインメモリ14へ入力される直前の1ラインL1とのうち、対象画素23及び周辺画素24を含む3ラインL1、L3、L5が入力される。対象画素23は、対象画素23及び周辺画素24を含む同色用の9画素の中心に位置する。なお、周辺画素24は、1個の対象画素23に対して8個である場合に限られず、複数であればいくつであっても良いものとする。
【0027】
補正処理回路15は、ゲイン調整部31、検索部32、キズ判定部33、平均値算出部34、補間部35、飽和判定部36、ノイズキャンセル部37及びセレクタ38、39を有する。
【0028】
ゲイン調整部31は、3ラインL1、L3、L5のうち低感度画素群22の画素による出力に対し、デジタルゲイン係数8の乗算によるゲイン調整を実施する。検索部32は、ゲイン調整部31を経た画像信号から、8個の周辺画素24の信号値の最大値41及び最小値42を検索する。
【0029】
検索部32は、キズである旨のキズ判定がなされた対象画素23に適用される信号値として、第3の補正値である最大値41及び最小値42を生成する。検索部32は、第3の補正部として機能する。検索部32は、8個の周辺画素24の信号値の最大値41及び最小値42と、その他の6個の周辺画素24の信号値43を出力する。
【0030】
キズ判定部33は、対象画素23の信号値40と最大値41との比較により、対象画素23が白キズであるか否かの白キズ判定を実施する。信号値40は、対象画素23が低感度画素群22の画素である場合は、ラインメモリ14から読み出されてから、ゲイン調整部31でのゲイン調整が実施された信号値とする。また、信号値40は、対象画素23が高感度画素群21の画素である場合は、ラインメモリ14から読み出されてから、ゲイン調整がなされずゲイン調整部31を通過した信号値とする。
【0031】
白キズは、画素が正常に機能する場合に比べて高い輝度が検出されるようなキズとする。キズ判定部33は、例えば、信号値40から最大値41を差し引いた値が、予め設定された白キズ判定用閾値より大きい場合に、対象画素23が白キズであると判定する。なお、白キズ判定用閾値は、デジタルゲイン係数8に連動して変化させたものとしても良い。
【0032】
また、キズ判定部33は、信号値40と最小値42との比較により、対象画素23が黒キズであるか否かの黒キズ判定を実施する。黒キズは、画素が正常に機能する場合に比べて低い輝度が検出されるようなキズとする。キズ判定部33は、例えば、最小値42から信号値40を差し引いた値が、予め設定された黒キズ判定用閾値より大きい場合に、対象画素23が黒キズであると判定する。なお、黒キズ判定用閾値は、デジタルゲイン係数8に連動して変化させたものとしても良い。
【0033】
キズ判定部33は、白キズ判定の結果及び黒キズ判定の結果を、キズ判定結果44として出力する。キズ判定部33は、対象画素23が第1画素群21の画素及び第2画素群22の画素のいずれである場合も、キズ判定を実施する。
【0034】
飽和判定部36は、例えば、対象画素23の信号値40と、予め設定された飽和判定用閾値との比較により、入射光量に対する出力の飽和が対象画素23に生じているか否かの飽和判定を実施する。飽和判定部36は、対象画素23が高感度画素群21の画素である場合に、飽和判定を実施する。飽和判定部36は、飽和判定結果45を出力する。飽和判定部36は、対象画素23が高感度画素群21の画素であるか否かを、例えば垂直方向についてのライン数のカウント値9に応じて判別する。
【0035】
平均値算出部34は、8個の周辺画素24のうち、最大値41及び最小値42の画素を除いた6個の周辺画素24の信号値43の平均値46を算出する。平均値算出部34は、飽和判定部36により入射光量に対する出力の飽和が生じている旨の飽和判定がなされた画素に適用する信号値として、第1の補正値である平均値46を生成する。平均値算出部34は、第1の補正部として機能する。また、平均値算出部34は、平均値46の算出に先立ち、次に述べる信号値43の置き換えを実施する。
【0036】
図8及び図9は、対象画素が高感度画素群に含まれる場合のパターンを示す図である。図8は、高感度画素群21の互いに隣接する2ラインのうち、図中上側に示すラインに対象画素23が含まれる状態を示している。図9は、高感度画素群21の互いに隣接する2ラインのうち、図中下側に示すラインに対象画素23が含まれる状態を示している。対象画素23が高感度画素群21に含まれる場合、図8に示す状態と図9に示す状態とのいずれかとなる。
【0037】
対象画素23が高感度画素群21に含まれているいずれの場合も、全ての周辺画素24は低感度画素群22に含まれることとなる。さらに、対象画素23が低感度画素群22に含まれている場合は、いずれも、全ての周辺画素24は高感度画素群21に含まれることとなる。なお、平均値算出部34は、対象画素23が高感度画素群21の画素及び低感度画素群22の画素のいずれであるかを、例えば、垂直方向の2ラインごとのタイミングで切り換えられるカウント値9に応じて判別する。
【0038】
対象画素23が低感度画素群22の画素である場合、高感度画素群21の画素である周辺画素24は、入射光量に対する出力の飽和が生じている可能性がある。平均値算出部34は、例えば、周辺画素24の信号値43のそれぞれと、予め設定された飽和判定用閾値との比較により、入射光量に対する出力の飽和が周辺画素24に生じているか否かを判定する。
【0039】
平均値算出部34は、出力の飽和が生じていると判定した周辺画素24の信号値43を対象画素23の信号値40に置き換えて、平均値46を算出する。これにより、平均値算出部34は、出力の飽和の影響が除外された平均値46を得る。補正処理回路15は、出力が飽和している画素に対して、かかる平均値46を適用することにより高精度な補正を行うことが可能となる。
【0040】
なお、平均値算出部34は、出力の飽和が生じている周辺画素24の信号値43を対象画素23の信号値40に置き換えて平均値46を算出する他、出力の飽和が生じている周辺画素24の信号値43を除外して平均値46を算出することとしても良い。
【0041】
対象画素23が高感度画素群21の画素である場合、低感度画素群22の画素である周辺画素24は、入射光量に対する出力の飽和が生じていないものとみなせる一方、白キズが生じている可能性がある。平均値算出部34は、例えば、周辺画素24の信号値43のそれぞれを、予め設定された白キズ判定用閾値と比較することで、周辺画素24に白キズが含まれているか否かを判定する。平均値算出部34は、周辺画素24についての飽和判定用閾値を、周辺画素24についての白キズ判定用閾値に流用することとしても良い。
【0042】
平均値算出部34は、白キズであると判定した周辺画素24の信号値43を、対象画素23の信号値40に置き換える。これにより、平均値算出部34は、白キズの影響が除外された平均値46を得る。補正処理回路15は、かかる平均値46を基に、高精度なノイズキャンセル処理を実施することが可能となる。
【0043】
なお、平均値算出部34は、白キズである周辺画素24の信号値43を対象画素23の信号値40と置き換えて平均値46を算出する他、白キズである周辺画素24の信号値43を除外して平均値46を算出することとしても良い。
【0044】
補間部35は、主に、低感度画素群22の画素である対象画素23についての出力を補間するために、対象画素23の信号値40と平均値46とを、予め設定された比率で足し合わせる第4の補正部として機能する。補間部35は、例えば、以下の式(1)により、第4の補正値である補間値47を算出する。
(補間値47)={3×(信号値40)+(平均値46)}/4 ・・・(1)
【0045】
低感度画素群22の画素については、ゲイン調整部31においてデジタルゲイン係数8を乗算しているために、高感度画素群21の画素に比べて、量子化ノイズの影響による信号対ノイズ比(SNR)の低下が顕著となる。補間部35は、対象画素23についての出力の補間により、SNRを向上させる。
【0046】
式(1)では、補間部35は、信号値40と平均値46とを3対1の比率で足し合わせることとしている。この比率は、適宜変更可能であるものとする。画像の解像度を重視する場合は信号値40の割合を高くすることが望ましく、また、SNRを重視する場合は平均値46の割合を高くすることが望ましい。
【0047】
ノイズキャンセル部37は、高感度画素群21の画素及び低感度画素群22の画素について、ノイズキャンセル処理を経た信号値として、第2の補正値であるノイズ除去信号値48を生成する。ノイズキャンセル部37は、第2の補正部として機能する。
【0048】
ノイズキャンセル部37は、補間部35による演算結果である補間値47と、対象画素23の信号値40との差分を抽出する。ノイズキャンセル部37は、抽出した信号に対して、所望とする振幅以下の信号成分のみを取り出すための振幅制限等を施し、最終ノイズ成分とする。ノイズキャンセル部37は、信号値40から最終ノイズ成分を差し引き、ノイズ除去信号値48とする。なお、ノイズキャンセル部37でのノイズキャンセル処理における各種パラメータ、例えば、振幅制限のためのパラメータ等は、デジタルゲイン係数8に連動して変化させたものとしても良い。
【0049】
セレクタ38は、飽和判定部36からの飽和判定結果45に応じて、第1の補正値である平均値46及び第2の補正値であるノイズ除去信号値48のいずれかを選択する。セレクタ38は、第1の選択部として機能する。
【0050】
セレクタ38は、対象画素23が高感度画素群21の画素であって、かつ入射光量に対する出力の飽和が生じている旨の飽和判定結果45が入力された場合、平均値46を出力する(HDR合成)。セレクタ38は、対象画素23が高感度画素群21の画素であって、かつ入射光量に対する出力の飽和が生じていない旨の飽和判定結果45が入力された場合、ノイズ除去信号値48を出力する(ノイズキャンセル)。また、セレクタ38は、対象画素23が低感度画素群22の画素である旨の飽和判定結果45が入力された場合、ノイズ除去信号値48を出力する(ノイズキャンセル)。
【0051】
セレクタ39は、平均値46及びノイズ除去信号値48のうちセレクタ38で選択された一方と、第3の補正値である最大値41及び最小値42のうちの一方と、のいずれかを、キズ判定部33からのキズ判定結果44に応じて選択する。セレクタ39は、第2の選択部として機能する。
【0052】
セレクタ39は、対象画素23が白キズ及び黒キズのいずれでもない旨のキズ判定結果44が入力された場合、セレクタ38から入力された平均値46又はノイズ除去信号値48を出力する。また、セレクタ39は、対象画素23が白キズである旨のキズ判定結果44が入力された場合、最大値41を出力する(白キズ補正)。セレクタ39は、対象画素23が黒キズである旨のキズ判定結果44が入力された場合、最小値42を出力する(黒キズ補正)。補正処理回路15は、セレクタ39で選択された信号値を、対象画素23へ適用する補正値として出力する。
【0053】
画像処理回路10は、高感度画素群21の画素において、入射光量に対する出力の飽和が生じた部分については、低感度画素群22の画素の信号値から算出した平均値46を適用する。固体撮像装置2は、高感度画素群21と低感度画素群22とのそれぞれにおいて良好な感度特性を持つ部分同士が合成されたHDR映像を得る。固体撮像装置2は、出力の飽和によるいわゆる白飛びを生じ易い部分、例えば、晴天時における雲の陰影等について、実物を目視した場合における状態に近い映像を取得することができる。
【0054】
入射光量に対する出力の飽和が対象画素23に生じている場合、当該対象画素23と同じラインの周辺画素24にも、入射光量に対する出力の飽和が生じている場合があり得る。この場合において、対象画素23が白キズでもあったとすると、対象画素23は、白キズ判定がなされずキズ補正の対象外となる代わりに、HDR合成による合成結果である平均値46が反映されることとなる。
【0055】
補正処理回路15は、平均値算出部34における平均値46の生成、ノイズキャンセル部37におけるノイズ除去信号値48の生成、及び、検索部32における最大値41及び最小値42の生成に、共通のラインメモリ14を経た画像信号を使用する。画像処理回路10は、キズ補正機能、HDR合成機能、ノイズキャンセル機能に共通のラインメモリ14を使用する構成とすることで、機能ごとに別途ラインメモリを搭載する場合に比べて、回路規模を抑制させることができる。
【0056】
固体撮像装置2は、HDR合成機能とともに、キズ補正機能及びノイズキャンセル機能を持たせることで、HDR映像の取得と高画質との両立が可能となる。カメラモジュール1は、固体撮像装置2にHDR合成機能を持たせることで、DSP3によるHDRへの対応を不要とする。このため、カメラモジュール1は、汎用性が高く安価なDSP3を使用することが可能となる。
【0057】
(第2の実施形態)
図10は、第2の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図である。本実施形態にかかる補間部61は、第1の実施形態にかかる補間部35に代えて適用される。第1の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【0058】
第4の補正部である補間部61は、平均値算出部34(図6参照)で生成された第1の補正値である平均値46と、対象画素23(図7参照)の信号値40とを足し合わせる比率を切り換え可能とする。
【0059】
補間部61は、対象画素23が高感度画素群21の画素である場合に適用する高感度用比率SH_ratioと、対象画素23が低感度画素群22の画素である場合に適用する低感度用比率SL_ratioとを保持する。ここで、SH_ratio及びSL_ratioは、SH_ratio+SL_ratio=16、かつSH_ratio>SL_ratioが成立する自然数であるものとする。
【0060】
セレクタ62は、対象画素23が高感度画素群21の画素であるとき、高感度用比率SH_ratioを選択し、比率RATとして出力する。また、セレクタ62は、対象画素23が低感度画素群22の画素であるとき、低感度用比率SL_ratioを選択し、比率RATとして出力する。セレクタ62は、対象画素23が高感度画素群21の画素及び低感度画素群22の画素のいずれであるかを、カウント値9に応じて判別する。
【0061】
演算器63は、セレクタ62から出力される比率RATを使用して、例えば、以下の式(2)により、第4の補正値である補間値64を算出する。ノイズキャンセル部37(図6参照)は、補間部61による演算結果である補間値64を使用して、ノイズ除去信号値48を生成する。
(補間値64)={RAT×(平均値46)+(16−RAT)×(信号値40)}/16 ・・・(2)
【0062】
対象画素23が高感度画素群21の画素である場合、補間部61は、対象画素23の信号値40の比率を高めた補間値64を算出する。補正処理回路15は、入射光量に対する飽和が生じていない場合は、かかる補間値64を使用して得られたノイズ除去信号値48を対象画素23に適用する。これにより、画像処理回路10は、高感度画素群21についての高いSNRを維持しつつ、画像の解像度を重視するノイズキャンセル処理を実施することが可能となる。
【0063】
対象画素23が低感度画素群22の画素である場合、補間部61は、周辺画素24についての平均値46の比率を高めた補間値64を算出する。補正処理回路15は、対象画素23が低感度画素群22の画素である場合に、かかる補間値64を使用して得られたノイズ除去信号値48を対象画素23に適用することで、SNRの向上を重視するノイズキャンセル処理を実施することが可能となる。
【0064】
固体撮像装置2は、本実施形態の補間部61を適用することで、出力の飽和が生じていないにも関わらずラインごとに生じ得るSNRの変化や、垂直方向の解像度の低下を抑制させることが可能となる。
【0065】
なお、本実施形態では、SH_ratio+SL_ratio=16とし、16段階のうちSH_ratio>SL_ratioが成立する範囲で高感度用比率SH_ratio及び低感度用比率SL_ratioを設定可能としている。高感度用比率SH_ratio及び低感度用比率SL_ratioの設定はこれに限られず、適宜変更可能であるものとする。
【0066】
(第3の実施形態)
図11は、第3の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図である。本実施形態にかかる補間部71は、第1の実施形態にかかる補間部35に代えて適用される。第1の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【0067】
第4の補正部である補間部71は、平均値算出部34(図6参照)で生成された第1の補正値である平均値46と、対象画素23(図7参照)の信号値40とを足し合わせる比率を切り換え可能とする。
【0068】
補間部71は、第1の比率ratio_A、第2の比率ratio_B、及び差分閾値76を保持する。ここで、ratio_A及びratio_Bは、ratio_A+ratio_B=16、かつratio_A>ratio_Bが成立する自然数であるものとする。
【0069】
絶対値算出器(ABS)72は、平均値46及び信号値40の差分の絶対値を算出する。比較器(COMP)73は、ABS72で算出された絶対値と差分閾値76とを比較する。COMP73での比較により、(ABS72で算出された絶対値)>(差分閾値76)が成立する場合、セレクタ74は、第1の比率ratio_Aを選択し、比率RATとして出力する。また、COMP73での比較により、(ABS72で算出された絶対値)≦(差分閾値76)が成立する場合、セレクタ74は、第2の比率ratio_Bを選択し、比率RATとして出力する。
【0070】
演算器63は、セレクタ74から出力される比率RATを使用して、例えば、上記の式(2)により、第4の補正値である補間値75を算出する。ノイズキャンセル部37(図6参照)は、補間部71による演算結果である補間値75を使用して、ノイズ除去信号値48を生成する。
【0071】
平均値46及び信号値40の差分の絶対値が差分閾値76より大きい場合、補間部71は、階調の高低差が大きいシャープな絵柄であるものと判断し、対象画素23の信号値40の比率を高めた補間値75を算出する。これにより、画像処理回路10は、シャープな絵柄に対して、画像の解像度を重視するノイズキャンセル処理を実施することが可能となる。
【0072】
平均値46及び信号値40の差分の絶対値が差分閾値76以下である場合、補間部71は、階調の高低差が小さいフラットな絵柄であるものと判断し、周辺画素24についての平均値46の比率を高めた補間値75を算出する。これにより、画像処理回路10は、フラットな絵柄に対して、SNRの向上を重視するノイズキャンセル処理を実施することが可能となる。
【0073】
固体撮像装置2は、本実施形態の補間部71を適用することで、解像度の劣化を極力抑え、かつノイズが低減された画像を得ることが可能となる。なお、第1の比率ratio_A及び第2の比率ratio_Bの設定は本実施形態で説明する場合に限られず、適宜変更可能であるものとする。補間部71は、二つの比率ratio_A、ratio_Bのいずれかを選択可能としているが、さらに多くの比率からの選択を可能としても良い。
【0074】
(第4の実施形態)
図12は、第4の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図である。本実施形態にかかる補間部81は、第1の実施形態にかかる補間部35に代えて適用される。第1の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【0075】
第4の補正部である補間部81は、第2の実施形態にかかる補間部61(図10参照)の要素と、第3の実施形態にかかる補間部71(図11参照)の要素とを併せ持つ。補間部81は、第1の高感度用比率ratio_A1、第2の高感度用比率ratio_B1、第1の低感度用比率ratio_A2、第2の低感度用比率ratio_B2、及び差分閾値76を保持する。
【0076】
ここで、ratio_A1及びratio_B1は、ratio_A1+ratio_B1=16、かつratio_A1>ratio_B1が成立する自然数であるものとする。ratio_A2及びratio_B2は、ratio_A2+ratio_B2=16、かつratio_A2>ratio_B2が成立する自然数であるものとする。さらに、ratio_A1≧ratio_A2、ratio_B1≧ratio_B2が成立するものとする。
【0077】
COMP73での比較により、(ABS72で算出された絶対値)>(差分閾値76)が成立する場合、セレクタ82は、第1の高感度用比率ratio_A1を選択し、高感度用比率SH_ratioとして出力する。また、(ABS72で算出された絶対値)>(差分閾値76)が成立する場合、セレクタ83は、第1の低感度用比率ratio_A2を選択し、低感度用比率SL_ratioとして出力する。
【0078】
COMP73での比較により、(ABS72で算出された絶対値)≦(差分閾値76)が成立する場合、セレクタ82は、第2の高感度用比率ratio_B1を選択し、高感度用比率SH_ratioとして出力する。また、COMP73での比較により、(ABS72で算出された絶対値)≦(差分閾値76)が成立する場合、セレクタ83は、第2の低感度用比率ratio_B2を選択し、低感度用比率SL_ratioとして出力する。
【0079】
セレクタ62は、対象画素23が高感度画素群21の画素であるとき、高感度用比率SH_ratioを選択し、比率RATとして出力する。また、セレクタ62は、対象画素23が低感度画素群22の画素であるとき、低感度用比率SL_ratioを選択し、比率RATとして出力する。セレクタ62は、対象画素23が高感度画素群21の画素及び低感度画素群22の画素のいずれであるかを、カウント値9に応じて判別する。
【0080】
演算器63は、セレクタ62から出力される比率RATを使用して、例えば、上記の式(2)により、第4の補正値である補間値84を算出する。ノイズキャンセル部37(図6参照)は、補間部81による演算結果である補間値84を使用して、ノイズ除去信号値48を生成する。
【0081】
固体撮像装置2は、本実施形態の補間部81を適用することで、階調の高低差に応じて、解像度の劣化を極力抑え、かつノイズが低減された画像を得ることが可能となる。また、固体撮像装置2は、対象画素23が高感度画素群21の画素及び低感度画素群22の画素のいずれであるかに応じて、ラインごとのSNRの変化や、垂直方向の解像度の低下を抑制させることが可能となる。
【0082】
第1の高感度用比率ratio_A1、第2の高感度用比率ratio_B1、第1の低感度用比率ratio_A2及び第2の低感度用比率ratio_B2の設定は、本実施形態で説明する場合に限られず、適宜変更可能であるものとする。
【0083】
各実施形態にかかる固体撮像装置2を適用するカメラモジュール1は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等であっても良い。
【0084】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0085】
10 画像処理回路、14 ラインメモリ、15 補正処理回路、21 高感度画素群、22 低感度画素群、23 対象画素、24 周辺画素、32 検索部、33 キズ判定部、34 平均値算出部、35、61、71、81 補間部、36 飽和判定部、37 ノイズキャンセル部、38、39 セレクタ。
【技術分野】
【0001】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【0002】
従来、光感度を異ならせた画素群を使用することにより、ハイダイナミックレンジ(high dynamic range;HDR)を実現させる固体撮像装置が提案されている。入射光量が少ない部分については、高い光感度を持たせた画素群のほうが、低い光感度を持たせた画素群に比べて、明暗差が良好な映像情報を得ることが可能である。高い光感度を持たせた画素群は、入射光量が高い部分については、入射光量に対して信号出力が飽和することにより、出力特性が悪化する場合がある。そこで、入射光量が高い部分については、低い光感度を持たせた画素群を使用することで、映像の再現性を確保することが可能となる。固体撮像装置は、映像のうち、良好な出力特性が得られている部分同士を合成することで、HDR映像を得ることができる。
【0003】
固体撮像装置は、高い光感度を持たせた画素群と低い光感度を持たせた画素群とで出力レベルを一致させるために、低い光感度を持たせた画素群で得られた信号値に所定のゲインを乗算する。例えば、CMOS(complementary metal oxide semiconductor)センサを搭載する固体撮像装置は、CMOSセンサに一体化された画像処理回路により、デジタル方式の映像信号へデジタルゲインを乗算して、HDR映像を合成する構成を採り得る。
【0004】
かかるHDR映像の合成のためには、固体撮像装置は、映像信号を保持するラインメモリが必要となる。この他、固体撮像装置は、正常に機能していない画素によるデジタル画像信号の欠損部分(以下、適宜「キズ」と称する)のキズ補正や、ランダムノイズ等のノイズを低減させるノイズキャンセル処理のためのラインメモリを搭載する場合がある。固体撮像装置は、必要となるラインメモリが増えることで、回路規模が増大し、コストが増大することとなる。固体撮像装置は、回路規模の縮小のためにキズ補正やノイズキャンセル処理を削減すれば、高画質という利点を損なうことになる。
【0005】
このような課題に対しては、固体撮像装置内に代えて、固体撮像装置の後段のデジタルシグナルプロセッサ(digital signal processor;DSP)に、HDR映像の合成のための構成を搭載する措置も採られている。しかし、HDRへの対応のためにDSPの汎用性が低下し、システム単価が上がることで、カメラモジュール全体としてはコストが増大してしまうことになる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平4−298175号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の一つの実施形態は、回路規模を抑制し、かつ安価な構成により、ハイダイナミックレンジでの映像の取得を可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一つの実施形態によれば、画像処理装置は、画像信号保持部、飽和判定部、キズ判定部、第1の補正部、第2の補正部、第3の補正部、第1の選択部及び第2の選択部を有する。画像信号保持部は、第1画素群と第2画素群とを用いて取り込まれた画像信号を保持する。第2画素群は、撮像ごとにおける光感度が第1画素群の画素より低く設定された画素からなる。飽和判定部は、第1画素群の画素を対象として、入射光量に対する出力の飽和が生じているか否かの飽和判定を実施する。キズ判定部は、第1画素群の画素及び第2画素群の画素を対象として、キズであるか否かのキズ判定を実施する。第1の補正部は、入射光量に対する出力の飽和が生じている旨の飽和判定がなされた画素に適用する信号値として、第1の補正値を生成する。第2の補正部は、第1画素群の画素及び第2画素群の画素について、ノイズキャンセル処理を経た信号値として、第2の補正値を生成する。第3の補正部は、キズである旨のキズ判定がなされた画素に適用する信号値として、第3の信号値を生成する。第1の選択部は、第1の補正値及び第2の補正値のいずれかを、飽和判定の結果に応じて選択する。第2の選択部は、第1の補正値及び第2の補正値のうち第1の選択部で選択された一方と、第3の補正値と、のいずれかを、キズ判定の結果に応じて選択する。画像処理装置は、第1の補正部における第1の補正値の生成、第2の補正部における第2の補正値の生成、及び第3の補正部における第3の補正値の生成に、共通の画像信号保持部を経た画像信号を使用する。
【図面の簡単な説明】
【0009】
【図1】第1の実施形態にかかる固体撮像装置の概略構成を示すブロック図。
【図2】図1に示す固体撮像装置を備えるカメラモジュールの構成を示すブロック図。
【図3】イメージセンサにおける画素の配列について説明する図。
【図4】高感度画素群の画素及び低感度画素群の画素の出力特性を示す図。
【図5】図4に示す状態から、HDR用の合成を実施した場合の出力特性を示す図。
【図6】補正処理回路の構成を示すブロック図。
【図7】対象画素及び周辺画素を示す図。
【図8】対象画素が高感度画素群に含まれる場合のパターンを示す図。
【図9】対象画素が高感度画素群に含まれる場合のパターンを示す図。
【図10】第2の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図。
【図11】第3の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図。
【図12】第4の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図。
【発明を実施するための形態】
【0010】
以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【0011】
(第1の実施形態)
図1は、第1の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図2は、図1に示す固体撮像装置を備えるカメラモジュールの構成を示すブロック図である。カメラモジュール1は、例えば、デジタルカメラである。
【0012】
カメラモジュール1は、固体撮像装置2、DSP3、記憶部4及び表示部5を有する。固体撮像装置2は、被写体像を撮像する。DSP3は、固体撮像装置2での撮像により得られた画像信号の信号処理を実施する。DSP3は、例えば、固体撮像装置2から出力されたRAW画像について、シェーディング補正、自動露出(auto exposure;AE)調整、自動ホワイトバランス(auto white balance;AWB)調整、マトリクス処理、輪郭強調、輝度圧縮、ガンマ処理等を実施する。DSP3は、シェーディング補正のためのシェーディング係数6、AWB調整のためのAWB係数7、AE調整のためのデジタルゲイン係数8を、固体撮像装置2へ出力する。
【0013】
記憶部4は、DSP3での信号処理を経た画像を格納する。記憶部4は、ユーザの操作等に応じて、表示部5へ画像信号を出力する。表示部5は、DSP3あるいは記憶部4から入力される画像信号に応じて、画像を表示する。表示部5は、例えば、液晶ディスプレイである。
【0014】
固体撮像装置2は、画像処理回路(画像処理装置)10、レンズユニット11、イメージセンサ12、アナログデジタル変換器(ADC)13及びインタフェース(I/F)17を有する。
【0015】
レンズユニット11は、被写体からの光を取り込み、イメージセンサ12にて被写体像を結像させる。イメージセンサ12は、レンズユニット11により取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサ12は、RGBの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。
【0016】
ADC13は、イメージセンサ12からの画像信号をアナログ方式からデジタル方式へ変換する。画像処理回路10は、ADC13からのデジタル画像信号に対して種々の画像処理を施す。I/F17は、画像処理回路10での信号処理を経た画像信号を出力する。I/F17は、シリアル入力からパラレル出力への変換や、パラレル入力からシリアル出力への変換を行うこととしても良い。
【0017】
画像処理回路10は、ラインメモリ14、補正処理回路15及びデジタルアンプ回路16を有する。ラインメモリ14は、ADC13からのデジタル画像信号を保持する画像信号保持部として機能する。補正処理回路15は、HDR用の合成、キズ補正及びノイズキャンセル処理を実施する。
【0018】
デジタルアンプ回路16は、DSP3からのシェーディング係数6、AWB係数7及びデジタルゲイン係数8を用いて、デジタルアンプ係数を算出する。さらに、デジタルアンプ回路16は、補正処理回路15からの画像信号にデジタルアンプ係数を乗算する。なお、カメラモジュール1は、本実施形態においてDSP3で実施することとしている処理の少なくとも一部を、固体撮像装置2の画像処理回路10で実施することとしても良い。
【0019】
図3は、イメージセンサにおける画素の配列について説明する図である。図中、「R」、「G」、「B」と付したマスは、それぞれ、R光を検出するR画素、G光を検出するG画素、B光を検出するB画素とする。R画素、G画素及びB画素は、二次元方向においてベイヤー配列をなしている。
【0020】
イメージセンサ12は、水平方向に並列する画素からなる二つのラインごとに画素の感度特性を異ならせることで、HDRを実現することとしている。イメージセンサ12は、高感度画素群(第1画素群)21及び低感度画素群(第2画素群)22を備える。低感度画素群22は、撮像ごとにおける光感度が高感度画素群21の画素より低く設定されている。イメージセンサ12は、二つのラインからなる高感度画素群21と、二つのラインからなる低感度画素群22とが、垂直方向へ交互に配置されている。ラインメモリ14は、高感度画素群21と低感度画素群22とを用いて取り込まれた画像信号を保持する。
【0021】
本実施形態では、高感度画素群21の画素は、低感度画素群22の画素に対して4倍の光感度を持たせて構成されている。ここで、イメージセンサ12は、高感度画素群21の画素と低感度画素群22の画素とで光感度を異ならせるために、例えば、撮像ごとにおける感光時間、受光面の面積、画素上に配置される集光レンズの構成、画素の光透過率等に差を持たせる構成を採用する。
【0022】
図4は、高感度画素群の画素及び低感度画素群の画素の出力特性を示す図である。図中、高感度画素群21の画素の出力特性を実線、低感度画素群22の画素の出力特性を破線として示している。入射光量が少ない部分については、高感度画素群21の画素は、低感度画素群22の画素に比べて、入射光量に対する出力の割合が高くなることで、明暗差が良好な映像情報を得ることが可能である。高感度画素群21の画素は、所定の入射光量より高い入射光量では信号出力が飽和し、入射光量が増加しても一定の出力しか得られないことになる。低感度画素群22の画素は、通常の照度環境下では高感度画素群21のような出力の飽和を生じさせず、入射光量に応じた出力を得ることができる。
【0023】
図5は、図4に示す状態から、HDR用の合成を実施した場合の出力特性を示す図である。固体撮像装置2は、入射光量が少ない部分についての高感度画素群21の出力と、入射光量が多い部分についての低感度画素群22の出力とを合成することにより、HDR映像を得ることができる。低感度画素群22の出力は、高感度画素群21の出力に合わせてゲイン倍、本実施形態では4倍として合成される。
【0024】
図6は、補正処理回路の構成を示すブロック図である。ラインメモリ14は、4ライン分のデジタル画像信号を保持する。
【0025】
図7は、対象画素及び周辺画素を示す図である。対象画素23は、補正処理回路15による補正対象とする画素とする。周辺画素24は、対象画素23と同色用の画素である。周辺画素24は、図中斜線を付して示すように、対象画素23の周辺に位置する8個の画素である。
【0026】
補正処理回路15には、ラインメモリ14に保持された4ラインL2〜L5と、ラインメモリ14へ入力される直前の1ラインL1とのうち、対象画素23及び周辺画素24を含む3ラインL1、L3、L5が入力される。対象画素23は、対象画素23及び周辺画素24を含む同色用の9画素の中心に位置する。なお、周辺画素24は、1個の対象画素23に対して8個である場合に限られず、複数であればいくつであっても良いものとする。
【0027】
補正処理回路15は、ゲイン調整部31、検索部32、キズ判定部33、平均値算出部34、補間部35、飽和判定部36、ノイズキャンセル部37及びセレクタ38、39を有する。
【0028】
ゲイン調整部31は、3ラインL1、L3、L5のうち低感度画素群22の画素による出力に対し、デジタルゲイン係数8の乗算によるゲイン調整を実施する。検索部32は、ゲイン調整部31を経た画像信号から、8個の周辺画素24の信号値の最大値41及び最小値42を検索する。
【0029】
検索部32は、キズである旨のキズ判定がなされた対象画素23に適用される信号値として、第3の補正値である最大値41及び最小値42を生成する。検索部32は、第3の補正部として機能する。検索部32は、8個の周辺画素24の信号値の最大値41及び最小値42と、その他の6個の周辺画素24の信号値43を出力する。
【0030】
キズ判定部33は、対象画素23の信号値40と最大値41との比較により、対象画素23が白キズであるか否かの白キズ判定を実施する。信号値40は、対象画素23が低感度画素群22の画素である場合は、ラインメモリ14から読み出されてから、ゲイン調整部31でのゲイン調整が実施された信号値とする。また、信号値40は、対象画素23が高感度画素群21の画素である場合は、ラインメモリ14から読み出されてから、ゲイン調整がなされずゲイン調整部31を通過した信号値とする。
【0031】
白キズは、画素が正常に機能する場合に比べて高い輝度が検出されるようなキズとする。キズ判定部33は、例えば、信号値40から最大値41を差し引いた値が、予め設定された白キズ判定用閾値より大きい場合に、対象画素23が白キズであると判定する。なお、白キズ判定用閾値は、デジタルゲイン係数8に連動して変化させたものとしても良い。
【0032】
また、キズ判定部33は、信号値40と最小値42との比較により、対象画素23が黒キズであるか否かの黒キズ判定を実施する。黒キズは、画素が正常に機能する場合に比べて低い輝度が検出されるようなキズとする。キズ判定部33は、例えば、最小値42から信号値40を差し引いた値が、予め設定された黒キズ判定用閾値より大きい場合に、対象画素23が黒キズであると判定する。なお、黒キズ判定用閾値は、デジタルゲイン係数8に連動して変化させたものとしても良い。
【0033】
キズ判定部33は、白キズ判定の結果及び黒キズ判定の結果を、キズ判定結果44として出力する。キズ判定部33は、対象画素23が第1画素群21の画素及び第2画素群22の画素のいずれである場合も、キズ判定を実施する。
【0034】
飽和判定部36は、例えば、対象画素23の信号値40と、予め設定された飽和判定用閾値との比較により、入射光量に対する出力の飽和が対象画素23に生じているか否かの飽和判定を実施する。飽和判定部36は、対象画素23が高感度画素群21の画素である場合に、飽和判定を実施する。飽和判定部36は、飽和判定結果45を出力する。飽和判定部36は、対象画素23が高感度画素群21の画素であるか否かを、例えば垂直方向についてのライン数のカウント値9に応じて判別する。
【0035】
平均値算出部34は、8個の周辺画素24のうち、最大値41及び最小値42の画素を除いた6個の周辺画素24の信号値43の平均値46を算出する。平均値算出部34は、飽和判定部36により入射光量に対する出力の飽和が生じている旨の飽和判定がなされた画素に適用する信号値として、第1の補正値である平均値46を生成する。平均値算出部34は、第1の補正部として機能する。また、平均値算出部34は、平均値46の算出に先立ち、次に述べる信号値43の置き換えを実施する。
【0036】
図8及び図9は、対象画素が高感度画素群に含まれる場合のパターンを示す図である。図8は、高感度画素群21の互いに隣接する2ラインのうち、図中上側に示すラインに対象画素23が含まれる状態を示している。図9は、高感度画素群21の互いに隣接する2ラインのうち、図中下側に示すラインに対象画素23が含まれる状態を示している。対象画素23が高感度画素群21に含まれる場合、図8に示す状態と図9に示す状態とのいずれかとなる。
【0037】
対象画素23が高感度画素群21に含まれているいずれの場合も、全ての周辺画素24は低感度画素群22に含まれることとなる。さらに、対象画素23が低感度画素群22に含まれている場合は、いずれも、全ての周辺画素24は高感度画素群21に含まれることとなる。なお、平均値算出部34は、対象画素23が高感度画素群21の画素及び低感度画素群22の画素のいずれであるかを、例えば、垂直方向の2ラインごとのタイミングで切り換えられるカウント値9に応じて判別する。
【0038】
対象画素23が低感度画素群22の画素である場合、高感度画素群21の画素である周辺画素24は、入射光量に対する出力の飽和が生じている可能性がある。平均値算出部34は、例えば、周辺画素24の信号値43のそれぞれと、予め設定された飽和判定用閾値との比較により、入射光量に対する出力の飽和が周辺画素24に生じているか否かを判定する。
【0039】
平均値算出部34は、出力の飽和が生じていると判定した周辺画素24の信号値43を対象画素23の信号値40に置き換えて、平均値46を算出する。これにより、平均値算出部34は、出力の飽和の影響が除外された平均値46を得る。補正処理回路15は、出力が飽和している画素に対して、かかる平均値46を適用することにより高精度な補正を行うことが可能となる。
【0040】
なお、平均値算出部34は、出力の飽和が生じている周辺画素24の信号値43を対象画素23の信号値40に置き換えて平均値46を算出する他、出力の飽和が生じている周辺画素24の信号値43を除外して平均値46を算出することとしても良い。
【0041】
対象画素23が高感度画素群21の画素である場合、低感度画素群22の画素である周辺画素24は、入射光量に対する出力の飽和が生じていないものとみなせる一方、白キズが生じている可能性がある。平均値算出部34は、例えば、周辺画素24の信号値43のそれぞれを、予め設定された白キズ判定用閾値と比較することで、周辺画素24に白キズが含まれているか否かを判定する。平均値算出部34は、周辺画素24についての飽和判定用閾値を、周辺画素24についての白キズ判定用閾値に流用することとしても良い。
【0042】
平均値算出部34は、白キズであると判定した周辺画素24の信号値43を、対象画素23の信号値40に置き換える。これにより、平均値算出部34は、白キズの影響が除外された平均値46を得る。補正処理回路15は、かかる平均値46を基に、高精度なノイズキャンセル処理を実施することが可能となる。
【0043】
なお、平均値算出部34は、白キズである周辺画素24の信号値43を対象画素23の信号値40と置き換えて平均値46を算出する他、白キズである周辺画素24の信号値43を除外して平均値46を算出することとしても良い。
【0044】
補間部35は、主に、低感度画素群22の画素である対象画素23についての出力を補間するために、対象画素23の信号値40と平均値46とを、予め設定された比率で足し合わせる第4の補正部として機能する。補間部35は、例えば、以下の式(1)により、第4の補正値である補間値47を算出する。
(補間値47)={3×(信号値40)+(平均値46)}/4 ・・・(1)
【0045】
低感度画素群22の画素については、ゲイン調整部31においてデジタルゲイン係数8を乗算しているために、高感度画素群21の画素に比べて、量子化ノイズの影響による信号対ノイズ比(SNR)の低下が顕著となる。補間部35は、対象画素23についての出力の補間により、SNRを向上させる。
【0046】
式(1)では、補間部35は、信号値40と平均値46とを3対1の比率で足し合わせることとしている。この比率は、適宜変更可能であるものとする。画像の解像度を重視する場合は信号値40の割合を高くすることが望ましく、また、SNRを重視する場合は平均値46の割合を高くすることが望ましい。
【0047】
ノイズキャンセル部37は、高感度画素群21の画素及び低感度画素群22の画素について、ノイズキャンセル処理を経た信号値として、第2の補正値であるノイズ除去信号値48を生成する。ノイズキャンセル部37は、第2の補正部として機能する。
【0048】
ノイズキャンセル部37は、補間部35による演算結果である補間値47と、対象画素23の信号値40との差分を抽出する。ノイズキャンセル部37は、抽出した信号に対して、所望とする振幅以下の信号成分のみを取り出すための振幅制限等を施し、最終ノイズ成分とする。ノイズキャンセル部37は、信号値40から最終ノイズ成分を差し引き、ノイズ除去信号値48とする。なお、ノイズキャンセル部37でのノイズキャンセル処理における各種パラメータ、例えば、振幅制限のためのパラメータ等は、デジタルゲイン係数8に連動して変化させたものとしても良い。
【0049】
セレクタ38は、飽和判定部36からの飽和判定結果45に応じて、第1の補正値である平均値46及び第2の補正値であるノイズ除去信号値48のいずれかを選択する。セレクタ38は、第1の選択部として機能する。
【0050】
セレクタ38は、対象画素23が高感度画素群21の画素であって、かつ入射光量に対する出力の飽和が生じている旨の飽和判定結果45が入力された場合、平均値46を出力する(HDR合成)。セレクタ38は、対象画素23が高感度画素群21の画素であって、かつ入射光量に対する出力の飽和が生じていない旨の飽和判定結果45が入力された場合、ノイズ除去信号値48を出力する(ノイズキャンセル)。また、セレクタ38は、対象画素23が低感度画素群22の画素である旨の飽和判定結果45が入力された場合、ノイズ除去信号値48を出力する(ノイズキャンセル)。
【0051】
セレクタ39は、平均値46及びノイズ除去信号値48のうちセレクタ38で選択された一方と、第3の補正値である最大値41及び最小値42のうちの一方と、のいずれかを、キズ判定部33からのキズ判定結果44に応じて選択する。セレクタ39は、第2の選択部として機能する。
【0052】
セレクタ39は、対象画素23が白キズ及び黒キズのいずれでもない旨のキズ判定結果44が入力された場合、セレクタ38から入力された平均値46又はノイズ除去信号値48を出力する。また、セレクタ39は、対象画素23が白キズである旨のキズ判定結果44が入力された場合、最大値41を出力する(白キズ補正)。セレクタ39は、対象画素23が黒キズである旨のキズ判定結果44が入力された場合、最小値42を出力する(黒キズ補正)。補正処理回路15は、セレクタ39で選択された信号値を、対象画素23へ適用する補正値として出力する。
【0053】
画像処理回路10は、高感度画素群21の画素において、入射光量に対する出力の飽和が生じた部分については、低感度画素群22の画素の信号値から算出した平均値46を適用する。固体撮像装置2は、高感度画素群21と低感度画素群22とのそれぞれにおいて良好な感度特性を持つ部分同士が合成されたHDR映像を得る。固体撮像装置2は、出力の飽和によるいわゆる白飛びを生じ易い部分、例えば、晴天時における雲の陰影等について、実物を目視した場合における状態に近い映像を取得することができる。
【0054】
入射光量に対する出力の飽和が対象画素23に生じている場合、当該対象画素23と同じラインの周辺画素24にも、入射光量に対する出力の飽和が生じている場合があり得る。この場合において、対象画素23が白キズでもあったとすると、対象画素23は、白キズ判定がなされずキズ補正の対象外となる代わりに、HDR合成による合成結果である平均値46が反映されることとなる。
【0055】
補正処理回路15は、平均値算出部34における平均値46の生成、ノイズキャンセル部37におけるノイズ除去信号値48の生成、及び、検索部32における最大値41及び最小値42の生成に、共通のラインメモリ14を経た画像信号を使用する。画像処理回路10は、キズ補正機能、HDR合成機能、ノイズキャンセル機能に共通のラインメモリ14を使用する構成とすることで、機能ごとに別途ラインメモリを搭載する場合に比べて、回路規模を抑制させることができる。
【0056】
固体撮像装置2は、HDR合成機能とともに、キズ補正機能及びノイズキャンセル機能を持たせることで、HDR映像の取得と高画質との両立が可能となる。カメラモジュール1は、固体撮像装置2にHDR合成機能を持たせることで、DSP3によるHDRへの対応を不要とする。このため、カメラモジュール1は、汎用性が高く安価なDSP3を使用することが可能となる。
【0057】
(第2の実施形態)
図10は、第2の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図である。本実施形態にかかる補間部61は、第1の実施形態にかかる補間部35に代えて適用される。第1の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【0058】
第4の補正部である補間部61は、平均値算出部34(図6参照)で生成された第1の補正値である平均値46と、対象画素23(図7参照)の信号値40とを足し合わせる比率を切り換え可能とする。
【0059】
補間部61は、対象画素23が高感度画素群21の画素である場合に適用する高感度用比率SH_ratioと、対象画素23が低感度画素群22の画素である場合に適用する低感度用比率SL_ratioとを保持する。ここで、SH_ratio及びSL_ratioは、SH_ratio+SL_ratio=16、かつSH_ratio>SL_ratioが成立する自然数であるものとする。
【0060】
セレクタ62は、対象画素23が高感度画素群21の画素であるとき、高感度用比率SH_ratioを選択し、比率RATとして出力する。また、セレクタ62は、対象画素23が低感度画素群22の画素であるとき、低感度用比率SL_ratioを選択し、比率RATとして出力する。セレクタ62は、対象画素23が高感度画素群21の画素及び低感度画素群22の画素のいずれであるかを、カウント値9に応じて判別する。
【0061】
演算器63は、セレクタ62から出力される比率RATを使用して、例えば、以下の式(2)により、第4の補正値である補間値64を算出する。ノイズキャンセル部37(図6参照)は、補間部61による演算結果である補間値64を使用して、ノイズ除去信号値48を生成する。
(補間値64)={RAT×(平均値46)+(16−RAT)×(信号値40)}/16 ・・・(2)
【0062】
対象画素23が高感度画素群21の画素である場合、補間部61は、対象画素23の信号値40の比率を高めた補間値64を算出する。補正処理回路15は、入射光量に対する飽和が生じていない場合は、かかる補間値64を使用して得られたノイズ除去信号値48を対象画素23に適用する。これにより、画像処理回路10は、高感度画素群21についての高いSNRを維持しつつ、画像の解像度を重視するノイズキャンセル処理を実施することが可能となる。
【0063】
対象画素23が低感度画素群22の画素である場合、補間部61は、周辺画素24についての平均値46の比率を高めた補間値64を算出する。補正処理回路15は、対象画素23が低感度画素群22の画素である場合に、かかる補間値64を使用して得られたノイズ除去信号値48を対象画素23に適用することで、SNRの向上を重視するノイズキャンセル処理を実施することが可能となる。
【0064】
固体撮像装置2は、本実施形態の補間部61を適用することで、出力の飽和が生じていないにも関わらずラインごとに生じ得るSNRの変化や、垂直方向の解像度の低下を抑制させることが可能となる。
【0065】
なお、本実施形態では、SH_ratio+SL_ratio=16とし、16段階のうちSH_ratio>SL_ratioが成立する範囲で高感度用比率SH_ratio及び低感度用比率SL_ratioを設定可能としている。高感度用比率SH_ratio及び低感度用比率SL_ratioの設定はこれに限られず、適宜変更可能であるものとする。
【0066】
(第3の実施形態)
図11は、第3の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図である。本実施形態にかかる補間部71は、第1の実施形態にかかる補間部35に代えて適用される。第1の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【0067】
第4の補正部である補間部71は、平均値算出部34(図6参照)で生成された第1の補正値である平均値46と、対象画素23(図7参照)の信号値40とを足し合わせる比率を切り換え可能とする。
【0068】
補間部71は、第1の比率ratio_A、第2の比率ratio_B、及び差分閾値76を保持する。ここで、ratio_A及びratio_Bは、ratio_A+ratio_B=16、かつratio_A>ratio_Bが成立する自然数であるものとする。
【0069】
絶対値算出器(ABS)72は、平均値46及び信号値40の差分の絶対値を算出する。比較器(COMP)73は、ABS72で算出された絶対値と差分閾値76とを比較する。COMP73での比較により、(ABS72で算出された絶対値)>(差分閾値76)が成立する場合、セレクタ74は、第1の比率ratio_Aを選択し、比率RATとして出力する。また、COMP73での比較により、(ABS72で算出された絶対値)≦(差分閾値76)が成立する場合、セレクタ74は、第2の比率ratio_Bを選択し、比率RATとして出力する。
【0070】
演算器63は、セレクタ74から出力される比率RATを使用して、例えば、上記の式(2)により、第4の補正値である補間値75を算出する。ノイズキャンセル部37(図6参照)は、補間部71による演算結果である補間値75を使用して、ノイズ除去信号値48を生成する。
【0071】
平均値46及び信号値40の差分の絶対値が差分閾値76より大きい場合、補間部71は、階調の高低差が大きいシャープな絵柄であるものと判断し、対象画素23の信号値40の比率を高めた補間値75を算出する。これにより、画像処理回路10は、シャープな絵柄に対して、画像の解像度を重視するノイズキャンセル処理を実施することが可能となる。
【0072】
平均値46及び信号値40の差分の絶対値が差分閾値76以下である場合、補間部71は、階調の高低差が小さいフラットな絵柄であるものと判断し、周辺画素24についての平均値46の比率を高めた補間値75を算出する。これにより、画像処理回路10は、フラットな絵柄に対して、SNRの向上を重視するノイズキャンセル処理を実施することが可能となる。
【0073】
固体撮像装置2は、本実施形態の補間部71を適用することで、解像度の劣化を極力抑え、かつノイズが低減された画像を得ることが可能となる。なお、第1の比率ratio_A及び第2の比率ratio_Bの設定は本実施形態で説明する場合に限られず、適宜変更可能であるものとする。補間部71は、二つの比率ratio_A、ratio_Bのいずれかを選択可能としているが、さらに多くの比率からの選択を可能としても良い。
【0074】
(第4の実施形態)
図12は、第4の実施形態にかかる固体撮像装置に適用される補間部の構成を示すブロック図である。本実施形態にかかる補間部81は、第1の実施形態にかかる補間部35に代えて適用される。第1の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【0075】
第4の補正部である補間部81は、第2の実施形態にかかる補間部61(図10参照)の要素と、第3の実施形態にかかる補間部71(図11参照)の要素とを併せ持つ。補間部81は、第1の高感度用比率ratio_A1、第2の高感度用比率ratio_B1、第1の低感度用比率ratio_A2、第2の低感度用比率ratio_B2、及び差分閾値76を保持する。
【0076】
ここで、ratio_A1及びratio_B1は、ratio_A1+ratio_B1=16、かつratio_A1>ratio_B1が成立する自然数であるものとする。ratio_A2及びratio_B2は、ratio_A2+ratio_B2=16、かつratio_A2>ratio_B2が成立する自然数であるものとする。さらに、ratio_A1≧ratio_A2、ratio_B1≧ratio_B2が成立するものとする。
【0077】
COMP73での比較により、(ABS72で算出された絶対値)>(差分閾値76)が成立する場合、セレクタ82は、第1の高感度用比率ratio_A1を選択し、高感度用比率SH_ratioとして出力する。また、(ABS72で算出された絶対値)>(差分閾値76)が成立する場合、セレクタ83は、第1の低感度用比率ratio_A2を選択し、低感度用比率SL_ratioとして出力する。
【0078】
COMP73での比較により、(ABS72で算出された絶対値)≦(差分閾値76)が成立する場合、セレクタ82は、第2の高感度用比率ratio_B1を選択し、高感度用比率SH_ratioとして出力する。また、COMP73での比較により、(ABS72で算出された絶対値)≦(差分閾値76)が成立する場合、セレクタ83は、第2の低感度用比率ratio_B2を選択し、低感度用比率SL_ratioとして出力する。
【0079】
セレクタ62は、対象画素23が高感度画素群21の画素であるとき、高感度用比率SH_ratioを選択し、比率RATとして出力する。また、セレクタ62は、対象画素23が低感度画素群22の画素であるとき、低感度用比率SL_ratioを選択し、比率RATとして出力する。セレクタ62は、対象画素23が高感度画素群21の画素及び低感度画素群22の画素のいずれであるかを、カウント値9に応じて判別する。
【0080】
演算器63は、セレクタ62から出力される比率RATを使用して、例えば、上記の式(2)により、第4の補正値である補間値84を算出する。ノイズキャンセル部37(図6参照)は、補間部81による演算結果である補間値84を使用して、ノイズ除去信号値48を生成する。
【0081】
固体撮像装置2は、本実施形態の補間部81を適用することで、階調の高低差に応じて、解像度の劣化を極力抑え、かつノイズが低減された画像を得ることが可能となる。また、固体撮像装置2は、対象画素23が高感度画素群21の画素及び低感度画素群22の画素のいずれであるかに応じて、ラインごとのSNRの変化や、垂直方向の解像度の低下を抑制させることが可能となる。
【0082】
第1の高感度用比率ratio_A1、第2の高感度用比率ratio_B1、第1の低感度用比率ratio_A2及び第2の低感度用比率ratio_B2の設定は、本実施形態で説明する場合に限られず、適宜変更可能であるものとする。
【0083】
各実施形態にかかる固体撮像装置2を適用するカメラモジュール1は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等であっても良い。
【0084】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0085】
10 画像処理回路、14 ラインメモリ、15 補正処理回路、21 高感度画素群、22 低感度画素群、23 対象画素、24 周辺画素、32 検索部、33 キズ判定部、34 平均値算出部、35、61、71、81 補間部、36 飽和判定部、37 ノイズキャンセル部、38、39 セレクタ。
【特許請求の範囲】
【請求項1】
第1画素群と、撮像ごとにおける光感度が前記第1画素群の画素より低く設定された画素からなる第2画素群と、を用いて取り込まれた画像信号を保持する画像信号保持部と、
前記第1画素群の画素を対象として、入射光量に対する出力の飽和が生じているか否かの飽和判定を実施する飽和判定部と、
前記第1画素群の画素及び前記第2画素群の画素を対象として、キズであるか否かのキズ判定を実施するキズ判定部と、
前記入射光量に対する出力の飽和が生じている旨の前記飽和判定がなされた画素に適用する信号値として、第1の補正値を生成する第1の補正部と、
前記第1画素群の画素及び前記第2画素群の画素について、ノイズキャンセル処理を経た信号値として、第2の補正値を生成する第2の補正部と、
キズである旨の前記キズ判定がなされた画素に適用する信号値として、第3の補正値を生成する第3の補正部と、
前記第1の補正値及び前記第2の補正値のいずれかを、前記飽和判定の結果に応じて選択する第1の選択部と、
前記第1の補正値及び前記第2の補正値のうち前記第1の選択部で選択された一方と、前記第3の補正値と、のいずれかを、前記キズ判定の結果に応じて選択する第2の選択部と、を有し、
前記第1の補正部における前記第1の補正値の生成、前記第2の補正部における前記第2の補正値の生成、及び前記第3の補正部における前記第3の補正値の生成に、共通の前記画像信号保持部を経た前記画像信号を使用することを特徴とする画像処理装置。
【請求項2】
前記第1の補正部で生成された前記第1の補正値と、前記第1の補正値を生成する対象とされた対象画素の信号値と、を所定の比率で足し合わせる第4の補正部をさらに有し、
前記第2の補正部は、前記第4の補正部での演算結果と、前記対象画素の信号値との差分を使用して、前記第2の補正部を生成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第4の補正部は、前記対象画素が前記第1画素群の画素及び前記第2画素群の画素のいずれであるかに応じて、前記第1の補正値と前記対象画素の信号値とを足し合わせる比率を切り換えることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記第4の補正部は、前記第1の補正値及び前記対象画素の信号値の差分と、予め設定された閾値との比較結果に応じて、前記第1の補正値と前記対象画素の信号値とを足し合わせる比率を切り換えることを特徴とする請求項2又は3に記載の画像処理装置。
【請求項5】
前記第1の補正部は、前記第1の補正値を生成する対象とされた対象画素と同色用の画素であって前記対象画素の周辺に位置する複数の周辺画素の信号値から算出された平均値を、前記第1の補正値として出力し、
前記対象画素が前記第2の画素群の画素である場合、前記第1の補正部は、前記複数の周辺画素のうち出力の飽和が生じていると判定した画素の信号値を、前記対象画素の信号値と置き換えて前記平均値を算出し、
前記対象画素が前記第1の画素群の画素である場合、前記第1の補正部は、前記複数の周辺画素のうちキズが生じていると判定した画素の信号値を、前記対象画素の信号値と置き換えて前記平均値を算出することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
【請求項1】
第1画素群と、撮像ごとにおける光感度が前記第1画素群の画素より低く設定された画素からなる第2画素群と、を用いて取り込まれた画像信号を保持する画像信号保持部と、
前記第1画素群の画素を対象として、入射光量に対する出力の飽和が生じているか否かの飽和判定を実施する飽和判定部と、
前記第1画素群の画素及び前記第2画素群の画素を対象として、キズであるか否かのキズ判定を実施するキズ判定部と、
前記入射光量に対する出力の飽和が生じている旨の前記飽和判定がなされた画素に適用する信号値として、第1の補正値を生成する第1の補正部と、
前記第1画素群の画素及び前記第2画素群の画素について、ノイズキャンセル処理を経た信号値として、第2の補正値を生成する第2の補正部と、
キズである旨の前記キズ判定がなされた画素に適用する信号値として、第3の補正値を生成する第3の補正部と、
前記第1の補正値及び前記第2の補正値のいずれかを、前記飽和判定の結果に応じて選択する第1の選択部と、
前記第1の補正値及び前記第2の補正値のうち前記第1の選択部で選択された一方と、前記第3の補正値と、のいずれかを、前記キズ判定の結果に応じて選択する第2の選択部と、を有し、
前記第1の補正部における前記第1の補正値の生成、前記第2の補正部における前記第2の補正値の生成、及び前記第3の補正部における前記第3の補正値の生成に、共通の前記画像信号保持部を経た前記画像信号を使用することを特徴とする画像処理装置。
【請求項2】
前記第1の補正部で生成された前記第1の補正値と、前記第1の補正値を生成する対象とされた対象画素の信号値と、を所定の比率で足し合わせる第4の補正部をさらに有し、
前記第2の補正部は、前記第4の補正部での演算結果と、前記対象画素の信号値との差分を使用して、前記第2の補正部を生成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第4の補正部は、前記対象画素が前記第1画素群の画素及び前記第2画素群の画素のいずれであるかに応じて、前記第1の補正値と前記対象画素の信号値とを足し合わせる比率を切り換えることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記第4の補正部は、前記第1の補正値及び前記対象画素の信号値の差分と、予め設定された閾値との比較結果に応じて、前記第1の補正値と前記対象画素の信号値とを足し合わせる比率を切り換えることを特徴とする請求項2又は3に記載の画像処理装置。
【請求項5】
前記第1の補正部は、前記第1の補正値を生成する対象とされた対象画素と同色用の画素であって前記対象画素の周辺に位置する複数の周辺画素の信号値から算出された平均値を、前記第1の補正値として出力し、
前記対象画素が前記第2の画素群の画素である場合、前記第1の補正部は、前記複数の周辺画素のうち出力の飽和が生じていると判定した画素の信号値を、前記対象画素の信号値と置き換えて前記平均値を算出し、
前記対象画素が前記第1の画素群の画素である場合、前記第1の補正部は、前記複数の周辺画素のうちキズが生じていると判定した画素の信号値を、前記対象画素の信号値と置き換えて前記平均値を算出することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−253725(P2012−253725A)
【公開日】平成24年12月20日(2012.12.20)
【国際特許分類】
【出願番号】特願2011−127226(P2011−127226)
【出願日】平成23年6月7日(2011.6.7)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成24年12月20日(2012.12.20)
【国際特許分類】
【出願日】平成23年6月7日(2011.6.7)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]