画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法
【課題】平滑化によるノイズ除去を効果的かつ効率的に行う。
【解決手段】画像処理装置は、互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、前記第2画素群が離散的位置に配列した画像を入力する画像入力部と、前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測部301と、前記第1色成分データと第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出部302と、離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化部303と、平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測部304とを備える。
【解決手段】画像処理装置は、互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、前記第2画素群が離散的位置に配列した画像を入力する画像入力部と、前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測部301と、前記第1色成分データと第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出部302と、離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化部303と、平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測部304とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、単板式カラーイメージセンサで取得されたRAW画像(色補間前の画像)を処理する画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法に関する。
【背景技術】
【0002】
従来、ディジタルカメラや画像処理ソフトウエアなどの平滑化によるノイズ除去処理は、RAW画像ではなく色補間後の画像に対して施されるのが一般的である(特許文献1、2、3等を参照。)。
【0003】
また、特許文献1、2、3には開示されていないものの、ノイズ除去処理をRAW画像の各色成分へ施す技術も既に提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平6−14189号公報
【特許文献2】特許第3689607号公報
【特許文献3】特開2009−10823号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
通常、色補間処理の過程では、各画素の輝度と色差とが既知になるので、色補間後の画像に対しては、画像に含まれる構造のエッジを鈍らせることなく積極的なノイズ除去処理を施すことも可能だが、色補間後の画像は画素数が多いため、ノイズ除去処理に要する演算量は膨大になる。
【0006】
一方、RAW画像は画素数が少ないので、RAW画像に対しては、少ない演算量でノイズ除去処理を施すことが可能だが、色補間前では各画素の輝度と色差とが分離されていないので、画像に含まれる構造のエッジを維持しようとすると、あまり積極的なノイズ除去処理を施すことはできない。
そこで、本発明は上記問題を解決し、平滑化によるノイズ除去を効果的かつ効率的に行うことのできる画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の画像処理装置の一態様は、互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を入力する画像入力部と、前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測部と、前記第2画素の各々について推測された前記第1色成分データと、前記第2画素群の各々が有する色成分データである第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出部と、離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化部と、平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測部とを備える。
【0008】
また、本発明の撮像装置の一態様は、互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を取得する単板式カラー撮像素子と、前記画像を入力して処理する、本発明の画像処理装置の一態様とを備える。
【0009】
また、本発明の画像処理プログラムの一態様は、互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を入力する画像入力手順と、前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測手順と、前記第2画素の各々について推測された前記第1色成分データと、前記第2画素群の各々が有する色成分データである第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出手順と、離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化手順と、平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測手順とをコンピュータに実行させる。
【0010】
また、本発明の画像処理方法の一態様は、互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を入力する画像入力手順と、前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測手順と、前記第2画素の各々について推測された前記第1色成分データと、前記第2画素群の各々が有する色成分データである第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出手順と、離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化手順と、平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測手順とを含む。
【発明の効果】
【0011】
本発明によれば、平滑化によるノイズ除去を効果的かつ効率的に行うことのできる画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法が実現する。
【図面の簡単な説明】
【0012】
【図1】電子カメラ101の全体構成を示すブロック図である。
【図2】画像処理部107の構成を示すブロック図である。
【図3】ベイヤ配列を説明する図である。
【図4】輝度画像の生成手順を説明する図である。
【図5】輝度画像の生成手順を説明する図である。
【図6】第1実施形態の色差画像生成部252の構成を示すブロック図である。
【図7】G補間部301の動作を説明する図である。
【図8】離散色差画像を説明する図である。
【図9】第2実施形態の色差画像生成部252の構成を示すブロック図である。
【図10】第2実施形態の平滑化部303の処理(d)を説明する図である。
【発明を実施するための形態】
【0013】
[第1実施形態]
以下、本発明の第1実施形態として電子カメラを説明する。
【0014】
図1は、電子カメラ101の全体構成を示すブロック図である。図1に示すとおり電子カメラ101には、撮影光学系102と、メカニカルシャッタ103と、カラー撮像素子104と、信号処理部105と、画像バッファ106と、画像処理部107と、カメラ制御部108と、不揮発性メモリ109と、表示部110と、操作部材111と、カードインタフェース(カードI/F)112が備えられる。なお、電子カメラ101は、可搬の記憶媒体であるメモリカード112aを着脱することができる。
【0015】
撮影光学系102は、被写界から射出した光束(被写界光束)を、カラー撮像素子104の撮像面上に結像する。撮影光学系102は、レンズ、絞り、レンズ駆動部などを備えており、レンズ駆動部は、カメラ制御部108からの指示に応じて、レンズのポジション、絞りの径などを調整する。
【0016】
メカニカルシャッタ103は、被写界光束の光路を開閉する。メカニカルシャッタ103による光路の開放期間は、カメラ制御部108によって制御される。
【0017】
カラー撮像素子104は、カラーフィルタアレイを有した単板型カラーイメージセンサであって、互いに異なる色に対して感度を有した複数種類の画素を複数ずつ、同一面上に混在させて(モザイク状に)配列している。このカラー撮像素子104の各画素で生成された画素信号は、カメラ制御部108から与えられた駆動信号に応じて順次に読み出される。以下、カラーフィルタアレイのフィルタ配列にベイヤ配列が採用されたと仮定する。
【0018】
信号処理部105は、カラー撮像素子104から順次に読み出される画素信号に対して各種の信号処理を施す。その信号処理には、画像信号を増幅する増幅処理や、画素信号をディジタル信号(ディジタル画素信号)へと変換するA/D変換処理などが含まれる。このうち増幅処理の増幅率は、カメラ制御部108によって適宜に設定され、この増幅率が、電子カメラ101の撮影感度を決めている。なお、信号処理部105における各種の信号処理のタイミングは、カメラ制御部108によって制御される。
【0019】
画像バッファ106は、揮発性の高速メモリであって、信号処理部105から出力されるディジタル画素信号を順次に蓄積する。よって、カラー撮像素子104から1フレーム分の画素信号が読み出されると、1フレーム分のディジタル画素信号が画像バッファ106に蓄積される。以下、このようにして画像バッファ106に蓄積された1フレーム分のディジタル画素信号を「RAW画像」と称す。なお、画像バッファ106は、カメラ制御部108からの指示に応じて、RAW画像以外の画像を格納することもできる。
【0020】
ここで、RAW画像は、互いに異なる色成分の強度を示す複数種類の画素を複数ずつ、モザイク状に配列した画像であって、互いに異なる種類の画素は、互いに異なる色成分のデータ(色成分データ)を有している。前述したとおりカラーフィルタアレイのフィルタ配列にベイヤ配列が採用された場合は、このRAW画像における画素の配列もベイヤ配列となる。この場合、RAW画像は、R成分データのみを有するR画素と、G成分データのみを有するG画素と、B成分データのみを有するB画素とを、図3に示すような規則性で繰り返し配列した画像となる。
【0021】
画像処理部107は、カメラ制御部108からの指示に応じて、画像バッファ106上のRAW画像に対し、色補間処理を含む各種の画像処理を施す。また、画像処理部107は、カメラ制御部108からの指示に応じて、画像処理後の画像に対してデータ圧縮処理を施すこともできる。
【0022】
操作部材111は、モード選択ダイヤル、レリーズボタンなどを含んでいる。ユーザは、この操作部材111を介してカメラ制御部108へ各種の指示を入力することができる。
【0023】
表示部110は、例えば、電子カメラ101の背面に設けられた液晶モニタである。表示部110は、カメラ制御部108から指定された画像を適宜に表示する。
【0024】
不揮発性メモリ109は、例えば、半導体メモリの一種であるフラッシュメモリで構成されている。不揮発性メモリ109には、カメラ制御部108が参照すべき各種のパラメータが格納されており、これらのパラメータは、ユーザによって適宜に更新される。
【0025】
カードI/F112は、カメラ制御部108から指定されたデータをメモリカード112aへ書き込んだり、カメラ制御部108から指定されたデータをメモリカード112aから読み出したりする。
【0026】
カメラ制御部108は、CPU、ROMなどを備えており、CPUは、ROMに予め格納されたプログラム(撮像に関するプログラムや画像処理に関するプログラムを含む)と、ユーザから入力された指示とに従って、電子カメラ101の各部を制御する。
【0027】
例えば、カメラ制御部108は、ユーザから撮影指示が入力されると、撮影光学系102、メカニカルシャッタ193、カラー撮像素子104、及び信号処理部105を駆動することにより、RAW画像を取得して画像バッファ106へ蓄積させる。
【0028】
その後、カメラ制御部108は、画像バッファ106上のRAW画像に対して前述した各種の画像処理を施すよう画像処理部107に指示を与え、画像処理後の画像を表示部110へ送出する。
【0029】
さらに、カメラ制御部108は、画像処理後の画像に対してデータ圧縮するよう画像処理部107に指示を与え、データ圧縮後の画像の画像ファイル(JPEGファイル)を作成すると、その画像ファイルをメモリカード112aへ書き込むようカードI/F112へ指示を出す。
【0030】
また、カメラ制御部108は、必要に応じてRAW画像の画像ファイル(RAW画像ファイル)を作成すると、そのRAW画像ファイルを、JPEGファイルと共にメモリカード112aへ書き込むようカードI/F112へ指示を出す。
【0031】
図2は、画像処理部107の構成を示すブロック図である。図2に示すとおり画像処理部107には、ホワイトバランス処理部(WB処理部)201と、ホワイトバランスゲイン算出部(WBゲイン算出部)202と、ガンマ変換部203と、色補間処理部204と、ガンマ補正処理部205と、彩度強調処理部206と、輪郭強調処理部207と、圧縮処理部208とが備えられる。
【0032】
ホワイトバランスゲイン算出部202は、被写界を照明する環境光の特性に依らず無彩色の被写体を無彩色で表わすためのホワイトバランスゲイン(R画素用のゲイン、B画素用のゲイン)を、例えばRAW画像に基づき算出する。算出されたホワイトバランスゲイン(R画素用のゲイン、B画素用のゲイン)は、ホワイトバランス処理部201へ与えられる。
【0033】
ホワイトバランス処理部201は、与えられたホワイトバランスゲイン(R画素用のゲイン、B画素用のゲイン)をRAW画像の各R画素及び各B画素に対して乗算する。これによって、RAW画像に対してホワイトバランス処理が施される。
【0034】
ガンマ変換部203は、ホワイトバランス処理後のRAW画像に対して予め決められた特性の階調変換処理(ガンマ変換)を施す。このガンマ変換は、色補間処理の前処理に相当し、色補間に適した階調のRAW画像を生成するものである。
【0035】
色補間処理部204は、輝度画像生成部251と、色差画像生成部252と、輝度色差変換部253とを備え、ガンマ変換後のRAW画像に対して色補間処理を施し、色補間後の画像を作成する。
【0036】
色補間処理部204の輝度画像生成部251は、色補間後の画像の各画素位置における輝度データYを生成する。つまり、輝度画像生成部251は、色補間後の画像の輝度成分(すなわち輝度画像)を生成する。
【0037】
色補間処理部204の色差画像生成部252は、色補間後の画像の各画素位置における第1色差データCrを生成すると共に、色補間後の画像の各画素位置における第2色差データCbを生成する。つまり、色差画像生成部252は、色補間後の画像の第1色差成分(すなわち第1色差画像)と、色補間後の画像の第2色差成分(すなわち第2色差画像)とを生成する。
【0038】
輝度色差変換部253は、色補間後の画像の各画素に対して画素毎にマトリクス演算(下式参照)を施すことにより、色補間後の画像の色座標を、YCbCr座標からRGB座標へと色座標変換する(YCbCr−RGB変換を行う。)。
【0039】
【数1】
【0040】
色座標変換後の画像は、RAW画像の各画素において欠落していた色成分データがそれぞれ補間されている。
【0041】
つまり、図2の色補間処理部204は、全ての画素が全ての色成分データ(R、G、B)を欠落なく有している画像(色座標変換後の画像)を、色補間後の画像として出力する。
【0042】
ガンマ補正処理部205は、色座標変換後の画像に対して色成分毎に階調変換処理を施す。この階調変換により、出力媒体に適した階調の画像が得られる。
【0043】
彩度強調処理部206は、彩度を強調するための色変換処理を、階調変換後の画像に対して施す。なお、この色変換処理には、各画素の属する色空間を出力媒体に適した色空間へと変換する処理が含まれていても構わない。
【0044】
輪郭強調処理部207は、エッジを強調するための処理を、色変換後の画像に対して施す。エッジとは、画像中の構造のエッジのことである。この輪郭強調処理は、例えば、画像に対してラプラシアンフィルタなどの差分フィルタ処理を施すことによってエッジ成分を抽出し、そのエッジ成分をその画像へ加えるものである。
【0045】
圧縮処理部208は、JPEG規格など所定の方式によるデータ圧縮処理を、輪郭強調後の画像に対して施す。
【0046】
次に、輝度画像生成部251の処理の一例を、図4、図5に基づき説明する。
【0047】
輝度画像生成部251は、RAW画像の各G画素位置における輝度データYと、RAW画像の各R画素位置における輝度データYと、各R画素位置における輝度データYと、各B画素位置における輝度データYとを、例えば以下のとおり生成する。
【0048】
(G画素位置における輝度データ生成)
輝度画像生成部251は、RAW画像(図3参照)上のG画素位置の各々について以下の処理を実行する。
【0049】
すなわち、輝度画像生成部251は、図4(A)又は図4(B)に示すとおり、着目したG画素位置におけるG画素のG成分データGと、そのG画素位置の上下左右に隣接する4つの画素の色成分データとを重み付け平均することにより、そのG画素位置の輝度データYを生成する。なお、この重み付け平均では、G成分データの重みと、R成分データの重みと、B成分データの重みとの比は、2:1:1に設定される。そのG画素位置の周辺の配列が図4(A)、図4(B)の何れであったとしても、重み付け平均の式は、Y=(4G+B1+B2+R1+R2)/8となる。
【0050】
(R画素位置の輝度データ生成)
輝度画像生成部251は、RAW画像上のR画素位置の各々について以下の処理を実行する。
【0051】
先ず、輝度画像生成部251は、着目したR画素位置の上下に隣接する2つのG画素のG成分データの差分の絶対値を、垂直方向のコントラスト評価値として算出する。
【0052】
また、輝度画像生成251は、そのR画素位置の左右に隣接する2つのG画素のG成分データの差分の絶対値を、水平方向のコントラスト評価値として算出する。
【0053】
また、輝度画像生成部251は、そのR画素位置の上及び左に隣接する2つのG画素のG成分データの差分の絶対値と、そのR画素位置の右及び下に隣接する2つのG画素のG成分データの差分の絶対値との和を、第1斜線方向(右上から左下に向かう方向)のコントラスト評価値として算出する。
【0054】
また、輝度画像生成部251は、そのR画素位置の上及び右に隣接する2つのG画素のG成分データの差分の絶対値と、そのR画素位置の左及び下に隣接する2つのG画素のG成分データの差分の絶対値との和を、第2斜線方向(左上から右下に向かう方向)のコントラスト評価値として算出する。
【0055】
続いて、輝度画像生成部251は、垂直方向のコントラスト評価値と、水平方向のコントラスト評価値と、第1斜線方向のコントラスト評価値と、第2斜線方向のコントラスト評価値とを比較する。
【0056】
そして、垂直方向のコントラスト評価値が最も小さかった場合、輝度画像生成部251は、R画素位置における輝度構造が垂直線構造であったとみなし、図5(A)に示すとおり、そのR画素位置を中心とした9画素のうち、そのR画素位置の左右に隣接する2つの画素以外の7画素の色成分データを重み付け平均することによって、そのR画素位置の輝度データYを算出する。なお、この重み付け平均では、R成分データの重みと、B成分データの重みと、G成分データの重みとの比が1:1:2に設定される。つまり、重み付け平均は、Y=(4G+R1+R2+B1+B2)/8の式によって行われる。
【0057】
また、水平方向のコントラスト評価値が最も小さかった場合、輝度画像生成部251は、R画素位置における輝度構造が水平線構造であったとみなし、図5(B)に示すとおり、そのR画素位置を中心とした9画素のうち、そのR画素位置の上下に隣接する2つの画素以外の7画素の色成分データを重み付け平均することによって、そのR画素位置の輝度データYを算出する。なお、この重み付け平均でも、R成分データの重みと、B成分データの重みと、G成分データの重みとの比が1:1:2に設定される。
【0058】
また、第1斜線方向のコントラスト評価値が最も小さかった場合、輝度画像生成部251は、R画素位置における輝度構造が第1斜線構造であったとみなし、図5(C)に示すとおり、そのR画素位置を中心とした9画素のうち、そのR画素位置の左上及び右下の2画素以外の7画素の色成分データを重み付け平均することによって、そのR画素位置の輝度データYを算出する。なお、この重み付け平均でも、R成分データの重みと、B成分データの重みと、G成分データの重みとの比が1:1:2に設定される。
【0059】
また、第2斜線方向のコントラスト評価値が最も小さかった場合、輝度画像生成部251は、R画素位置における輝度構造が第2斜線構造であったとみなし、図5(D)に示すとおり、そのR画素位置を中心とした9画素のうち、そのR画素位置の右上及び左下の2画素以外の7つの画素の色成分データを重み付け平均することによって、そのR画素位置の輝度データYを算出する。なお、この重み付け平均でも、R成分データの重みと、B成分データの重みと、G成分データの重みとの比が1:1:2に設定される。
【0060】
但し、輝度画像生成部251は、上記した4種類のコントラスト評価値のばらつきが閾値未満であった場合には、R画素位置における輝度構造は一様であったとみなし、図5(E)に示すとおり、そのR画素位置と中心とした9画素の全色成分データを重み付け平均することによって、そのR画素位置の輝度データYを算出する。なお、この重み付け平均でも、R成分データの重みと、B成分データの重みと、G成分データの重みとの比が1:1:2に設定される。
【0061】
(B画素位置の輝度データ生成)
輝度画像生成部251は、RAW画像上のB画素位置の各々について上述した処理(R画素位置の輝度データ生成)と同様の処理を実行することで、各B画素位置の輝度データYを生成する(以上が、輝度画像生成部251の動作である。)。
【0062】
次に、色差画像生成部252の処理の詳細を、図6、図7、図8に基づき説明する。
【0063】
図6に示すとおり色差画像生成部252は、G補間部301と、離散色差生成部302と、平滑化部303と、色差補間部304とを備える。
【0064】
色差画像生成部252のG補間部301及び離散色差生成部302及び平滑化部303は、RAW画像上の各R画素位置における第1色差データCrを生成すると共に、RAW画像上の各B画素位置における第2色差データCbを生成する。また、色差画像生成部252の色差補間部304は、RAW画像の各R画素位置における第1色差データCrに基づき、RAW画像の他の画素位置における第1色差データCrを生成すると共に、RAW画像の各B画素位置における第2色差データCbに基づき、RAW画像の他の画素位置における第2色差データCbを生成する。
【0065】
このうち、第1色差データCrの生成時における色差画像生成部252の処理手順と、第2色差データCbの生成時における色差画像生成部252の処理手順とは同じであって、それらの処理手順の間の相違点は、前者はR画素に関する処理であるのに対して後者はB画素に関する処理であるという点のみである。よって、ここでは、第1色差データCbの生成時における色差画像生成部252の動作のみを代表して説明する。
【0066】
(G補間部301の動作)
G補間部301は、RAW画像上のR画素位置の各々について以下の処理を実行することで、R画素位置の各々における仮のG成分データを生成する。
【0067】
先ず、G補間部301は、着目したR画素位置の上下に隣接する2つのG画素のG成分データの差分の絶対値を、垂直方向のコントラスト評価値として算出する。また、G補間部301は、そのR画素位置の左右に隣接する2つのG画素のG成分データの差分の絶対値を、水平方向のコントラスト評価値として算出する。
【0068】
その後、G補間部301は、垂直方向のコントラスト評価値と、水平方向のコントラスト評価値とを比較する。
【0069】
そして、垂直方向のコントラスト評価値の方が小さかった場合、G補間部301は、 R画素位置における輝度構造が垂直線構造であったとみなし、図7(A)に示すとおり、そのR画素位置の上下に隣接する2つのG画素のG成分データの平均値を、そのR画素位置のG成分データとする。なお、ここで生成されるG成分データは、第1色差データCrの生成に用いられる仮のG成分データである。
【0070】
また、水平方向のコントラスト評価値の方が小さかった場合、G補間部301は、R画素位置における輝度構造が水平線構造であったとみなし、図7(B)に示すとおり、そのR画素位置の左右に隣接する2つのG画素のG成分データの平均値を、そのR画素位置のG成分データとする。なお、ここで生成されるG成分データは、第1色差データCrの生成に用いられる仮のG成分データである。
【0071】
但し、上記した2種類のコントラスト評価値のばらつきが閾値未満であった場合、G補間部301は、R画素位置における輝度構造は一様であったとみなし、図7(C)に示すとおり、そのR画素位置の上下左右に隣接する4つのG画素のG成分データの平均値を、そのR画素位置のG成分データとする。なお、ここで生成されるG成分データは、第1色差データCrの生成に用いられる仮のG成分データである。
【0072】
(離散色差生成部302の動作)
離散色差生成部302は、RAW画像上のR画素位置の各々について次の処理を実行する。すなわち、離散色差生成部302は、着目したR画素位置のR成分データRから、そのR画素位置についてG補間部301が生成したG成分データを差し引くことにより、そのR画素位置における第1色差データCrを算出する。
【0073】
ここで、個々のR画素位置は、RAW画像上に点在しているので、離散色差生成部302が個々のR画素位置について生成した第1色差データCrは、図8に示すとおり、RAW画像上に離散的に分布するデータとなる。よって、以下では、第1色差データCrのRAW画像上の分布(=各R画素位置について生成された第1色差データCrで構成される画像)を、「離散色差画像」と称す。
【0074】
(平滑化部303の動作)
平滑化部303は、離散色差画像(図8)上の各画素について以下の処理(a)〜(c)を実行することで、離散色差画像に発生しているノイズ(色差ノイズ)を除去する。
【0075】
(a)平滑化部303は、離散色差画像上で着目画素に隣接する8つの周辺画素の第1色差データCr(1)〜Cr(8)を参照し、それらの最大値MAX及び最小値MINを算出する。
【0076】
(b)平滑化部303は、最大値MAXと、最小値MINと、着目画素の第1色差データCrとを以下の式(1)へ当てはめることにより、着目画素の仮の第1色差データCr_tmpを生成する。
【0077】
【数2】
【0078】
この式(1)によると、着目画素の第1色差データは、8つの周辺画素の第1色差データの値範囲内に収められる。よって、この式(1)によると、着目画素の第1色差データCrに突出ノイズ成分(周辺画素と比較して著しく値の突出していた成分)が含まれていた場合、その突出ノイズ成分は除去される。よって、この式(1)は、離散色差画像に発生している突出ノイズを除去するための式である。
【0079】
(c)平滑化部303は、着目画素の仮の第1色差データCr_tmpと、8つの周辺画素の第1色差データCr(1)〜Cr(8)とを、以下の式(2)へ当てはめることにより、着目画素の平滑化後の第1色差データCr_nrを生成する。
【0080】
【数3】
【0081】
この式(2)によると、着目画素の第1色差データは、8つの周辺画素の第1色差データによって平滑化されるが、8つの周辺画素のうち着目画素から一定以上値の離れたものは、平滑化の参照対象から外される。したがって、この式(2)によると、離散色差画像に含まれる構造(色差構造)のエッジが鈍るのを避けながら、離散色差画像を平滑化することができる。これによって、離散色差画像に含まれる色差構造のエッジは保持され、離散色差画像に発生していたノイズ(色差ノイズ)のみが除去される。なお、このような式(2)の処理は、イプシロンフィルタ処理とも呼ばれている。
【0082】
ここで、式(2)におけるthは、着目画素と周辺画素との間に色差構造のエッジが存在していた場合に、その周辺画素を平滑化の参照対象から外すための閾値であって、全ての着目画素に対して共通の閾値である。この閾値thが大きいと、色差ノイズの除去強度は強まるが、色差構造のエッジの鈍る可能性が高まってしまう。一方、この閾値thが小さいと、色差構造のエッジを維持できる可能性は高まるが、色差ノイズの除去強度は弱まる。
【0083】
このため、閾値thは、離散色差画像に発生している色差ノイズの標準偏差に応じた値(例えば、標準偏差の3倍程度)に設定されることが望ましい。よって、平滑化部303は、撮影条件又は離散色差画像に基づき、離散色差画像に発生している色差ノイズの標準偏差を推定してから、その標準偏差に応じて閾値thを設定することが望ましい。なお、撮影条件とは、RAW画像の取得時の撮影条件であって、シャッタースピード、絞り値、レンズポジション、撮影感度などである。
【0084】
(色差補間部304の動作)
色差補間部304は、ノイズ除去後の離散色差画像(すなわち、各R画素位置における第1色差データCr)にアップサンプリング処理を施すことにより、RAW画像のB画素位置の各々における第1色差データCrと、RAW画像のG画素位置の各々における第1色差データCrとを生成する。
【0085】
アップサンプリングの方法には公知の何れかの方法が適用できるが、例えば、次のとおりである。すなわち、色差補間部304は、着目したB画素位置の左上、右上、右下、左下に位置する4つのR画素の第1色差データCrの平均値を算出し、その平均値を、そのB画素位置における第1色差データCrとする。また、色差補間部304は、着目したG画素位置の上下又は左右に隣接する2つのR画素の第1色差データCrの平均値を算出し、その平均値を、そのG画素位置における第1色差データCrとする(以上が、色差補間部304の動作である。)。
【0086】
以上説明したとおり、本実施形態の色差画像生成部252(図6参照)は、RAW画像上の各R画素位置における第1色差データCrを生成し、それら第1色差データCrのRAW画像上の分布である離散色差画像に対して平滑化によるノイズ除去処理を施してから、R画素位置以外の画素位置(B画素位置及びG画素位置)における第1色差データCrをアップサンプリングする。
【0087】
同様に、本実施形態の色差画像生成部252は、RAW画像上の各B画素位置における第2色差データCbを生成し、それら第2色差データCbのRAW画像上の分布である離散色差画像に対して平滑化によるノイズ除去処理を施してから、B画素位置以外の画素位置(R画素位置及びG画素位置)における第2色差データCbをアップサンプリングする。
【0088】
したがって、本実施形態の色補間処理部204は、ノイズ除去処理の対象を、色補間後の画像でも、色補間前の画像(RAW画像)でもなく、色補間処理の過程で生成された離散色差画像とする。
【0089】
この離散色差画像は、色補間後の画像よりもデータ量が少ない。よって、本実施形態では、ノイズ除去処理の対象を色補間後の画像とする場合よりも、ノイズ除去処理に要する演算量を抑えることができる。
【0090】
また、その離散色差画像は、アップサンプリング前の色差画像であるので、アップサンプリング後の色差画像よりも、画像に発生した色差ノイズを正確に反映している。よって、本実施形態では、ノイズ除去処理の対象をアップサンプリング後の色差画像とする場合よりも、高いノイズ除去効果を得ることができる。
【0091】
また、その離散色差画像は、画像の輝度構造の情報を含んでいない(画像の色差構造の情報しか含まない)。よって、本実施形態では、そのノイズ除去処理の強度を高めたとしても、画像に含まれる輝度構造のエッジを鈍らせることなく、画像に含まれる色差ノイズのみを積極的に除去できる。
【0092】
ここで、通常、画像に含まれる輝度構造のエッジは、画像に含まれる色差構造のエッジと比較すると、画像の見た目のコントラストを左右する重要な要素と考えられる。また、画像に発生する色差ノイズは、画像に発生する輝度ノイズと比較すると、目立ち易いと考えられる。
【0093】
したがって、輝度構造のエッジを保持しつつ色差ノイズのみを積極的に除去できる本実施形態は、極めて有用性が高いと考えられる。
【0094】
[第1実施形態の変形例]
なお、第1実施形態では、離散色差画像に対する空間的な平滑化処理として、突出ノイズ除去処理(式(1))とイプシロンフィルタ処理(式(2))との組み合わせを適用したが、離散色差画像に発生している突出ノイズの量が少ない場合などは、突出ノイズ除去処理(式(1))を省略してもよい。なお、離散色差画像に発生する突出ノイズの量は、離散色差画像から推定してもよいし、RAW画像の取得時の撮影条件(シャッタースピード、絞り値、レンズポジション、撮影感度など)から推定してもよい。
【0095】
また、第1実施形態では、離散色差画像上の個々の着目画素に関する平滑化の参照範囲を、着目画素を中心とした3×3の9画素範囲(図8参照)に設定したが、更に広範囲に設定してもよい。
【0096】
また、第1実施形態では、離散色差画像に対する空間的な平滑化処理として、突出ノイズ除去処理(式(1))とイプシロンフィルタ処理(式(2))との組み合わせを適用したが、ノイズ除去効果のある空間的な平滑化処理であるならば、公知の他の平滑化処理を適用してもよい。
【0097】
また、第1実施形態では、離散色差画像に対するノイズ除去処理(つまり色差ノイズの除去処理)を説明したが、色差ノイズの除去処理に、輝度ノイズの除去処理(公知)を併用してもよい。輝度ノイズの除去処理は、輝度画像の生成後又は輝度画像の生成過程において輝度画像生成部251が実行すればよい。
【0098】
また、第1実施形態では、電子カメラ101について説明したが、電子カメラ101の色補間処理機能の一部又は全部は、撮像機能を有しない他の画像処理装置に搭載されてもよく、コンピュータが実行可能な画像処理ソフトウエアに搭載されてもよい。
【0099】
なお、その画像処理ソフトウエアは、記憶媒体又は通信網を介してコンピュータへインストールされる画像処理ソフトウエアであって、電子カメラ101又は他の電子カメラが作成したRAW画像ファイルを読み込み、そのRAW画像ファイルに格納されたRAW画像に対して色補間処理を施すことのできる画像処理ソフトウエアである。
【0100】
[第2実施形態]
以下、本発明の第2実施形態として電子カメラを説明する。本実施形態は第1実施形態の変形例なので、ここでは第1実施形態との相違点のみ説明する。
【0101】
図9は、本実施形態の色差画像生成部252の構成を示すブロック図である。図9に示すとおり、本実施形態における色差画像生成部252の平滑化部303は、離散色差画像に対する平滑化処理に、輝度画像生成部251(図2参照)が生成した輝度画像(輝度データY)を使用する。
【0102】
なお、第1色差データCrの生成時における平滑化部303の処理手順と、第2色差データCbの生成時における平滑化部303の処理手順との間の相違点は、前者はR画素に関する処理であるのに対して後者がB画素に関する処理であるという点のみである。よって、ここでは、第1色差データCbの生成時における平滑化部303の動作のみを代表して説明する。
【0103】
(平滑化部303の動作)
平滑化部303は、離散色差生成部302が生成した離散色差画像(図8)上の各画素について以下の処理(d)〜(g)を実行することで、離散色差画像に発生しているノイズ(色差ノイズ)を除去する。
【0104】
(d)平滑化部303は、輝度画像生成部251(図2参照)が生成した輝度画像の画像サイズを、離散色差画像の画像サイズに合わせ込むために、輝度画像に対してサイズ縮小処理を施す。具体的に、平滑化部303は、離散色差画像上の着目画素に対応する、輝度画像上の画素ブロック(4画素)を参照し、その画素ブロックに位置する4画素の輝度データYの平均値を、着目画素の輝度データYsとする(この輝度データYsが、サイズ縮小後の輝度画像の輝度データである。)。さらに、平滑化部303は、このような輝度データYsの生成を、着目画素に隣接する8つの周辺画素の各々についても行う。これによって、図10(A)→図10(B)に示すとおり、着目画素の輝度データsY(0)と、8つの周辺画素の輝度データYs(1)〜Ys(8)とが生成される。
【0105】
(e)平滑化部303は、それら8つの周辺画素の第1色差データCr(1)〜Cr(8)を参照し、それらの最大値MAX及び最小値MINを算出する。
【0106】
(f)平滑化部303は、最大値MAXと、最小値MINと、着目画素の第1色差データCrとを上述した式(1)へ当てはめることにより、着目画素の仮の第1色差データCr_tmpを生成する。
【0107】
(g)平滑化部303は、着目画素の仮の第1色差データCr_tmpと、8つの周辺画素の第1色差データCr(1)〜Cr(8)と、着目画素の輝度データYs(0)と、8つの周辺画素の輝度データYs(1)〜Ys(8)とを、以下の式(2’)へ当てはめることにより、着目画素の平滑化後の第1色差データCr_nrを生成する。
【0108】
【数4】
【0109】
この式(2’)の処理は、上述した式(2)と同様、イプシロンフィルタ処理であるが、色差構造のエッジを維持するための閾値(th2−|Ys(0)−Ys(i)|)は、着目画素及び周辺画素の輝度データYs(0)〜Ys(8)に応じて変化する。
【0110】
このような可変の閾値によると、着目画素と周辺画素との間に輝度構造のエッジが存在していた場合には、その周辺画素は平滑化の参照対象から外され、輝度構造のエッジが存在していなかった場合には、その周辺画素は平滑化の参照対象に含まれる。
【0111】
したがって、例えば、画像に発生している色差ノイズのコントラストが高く、画像の色差構造が色差ノイズに埋もれるような場合であっても、色差構造のエッジを維持しつつ色差ノイズのみを除去することができる。
【0112】
なお、式(2’)におけるth2(閾値の基準値)は、離散色差画像に発生している色差ノイズの標準偏差と、輝度画像に発生している輝度ノイズの標準偏差との和に応じた値(例えば、和の3倍程度)に設定されることが望ましい。よって、平滑化部303は、撮影条件又は離散色差画像に基づき離散色差画像に発生している色差ノイズの標準偏差を推定すると共に、撮影条件又は輝度画像に基づき輝度画像に発生している輝度ノイズの標準偏差を推定してから、それらの標準偏差に応じて基準値th2を設定することが望ましい。なお、撮影条件とは、RAW画像の取得時の撮影条件であって、シャッタースピード、絞り値、レンズポジション、撮影感度などである(以上が、平滑化部303の動作である。)。
【0113】
以上説明したとおり、本実施形態の色差画像生成部252(図9)は、離散色差画像に対する平滑化処理のパラメータ(具体的には、平滑化の参照対象)を、画像の輝度構造に応じて適切に設定するので、様々なコントラストの色差ノイズに対処することができる。したがって、本実施形態では、第1実施形態よりも更に効果的なノイズ除去処理を行うことができる。
【0114】
なお、本実施形態における輝度画像のサイズ縮小方法としては、上記した方法に限定されず、公知の他の方法を適用してもよい。
【0115】
また、本実施形態も、第1実施形態と同様に変形することが可能である。
【符号の説明】
【0116】
252…色差画像生成部、301…G補間部、302…離散色差生成部302、303…平滑化部、304…色差補間部
【技術分野】
【0001】
本発明は、単板式カラーイメージセンサで取得されたRAW画像(色補間前の画像)を処理する画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法に関する。
【背景技術】
【0002】
従来、ディジタルカメラや画像処理ソフトウエアなどの平滑化によるノイズ除去処理は、RAW画像ではなく色補間後の画像に対して施されるのが一般的である(特許文献1、2、3等を参照。)。
【0003】
また、特許文献1、2、3には開示されていないものの、ノイズ除去処理をRAW画像の各色成分へ施す技術も既に提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平6−14189号公報
【特許文献2】特許第3689607号公報
【特許文献3】特開2009−10823号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
通常、色補間処理の過程では、各画素の輝度と色差とが既知になるので、色補間後の画像に対しては、画像に含まれる構造のエッジを鈍らせることなく積極的なノイズ除去処理を施すことも可能だが、色補間後の画像は画素数が多いため、ノイズ除去処理に要する演算量は膨大になる。
【0006】
一方、RAW画像は画素数が少ないので、RAW画像に対しては、少ない演算量でノイズ除去処理を施すことが可能だが、色補間前では各画素の輝度と色差とが分離されていないので、画像に含まれる構造のエッジを維持しようとすると、あまり積極的なノイズ除去処理を施すことはできない。
そこで、本発明は上記問題を解決し、平滑化によるノイズ除去を効果的かつ効率的に行うことのできる画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の画像処理装置の一態様は、互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を入力する画像入力部と、前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測部と、前記第2画素の各々について推測された前記第1色成分データと、前記第2画素群の各々が有する色成分データである第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出部と、離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化部と、平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測部とを備える。
【0008】
また、本発明の撮像装置の一態様は、互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を取得する単板式カラー撮像素子と、前記画像を入力して処理する、本発明の画像処理装置の一態様とを備える。
【0009】
また、本発明の画像処理プログラムの一態様は、互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を入力する画像入力手順と、前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測手順と、前記第2画素の各々について推測された前記第1色成分データと、前記第2画素群の各々が有する色成分データである第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出手順と、離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化手順と、平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測手順とをコンピュータに実行させる。
【0010】
また、本発明の画像処理方法の一態様は、互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を入力する画像入力手順と、前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測手順と、前記第2画素の各々について推測された前記第1色成分データと、前記第2画素群の各々が有する色成分データである第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出手順と、離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化手順と、平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測手順とを含む。
【発明の効果】
【0011】
本発明によれば、平滑化によるノイズ除去を効果的かつ効率的に行うことのできる画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法が実現する。
【図面の簡単な説明】
【0012】
【図1】電子カメラ101の全体構成を示すブロック図である。
【図2】画像処理部107の構成を示すブロック図である。
【図3】ベイヤ配列を説明する図である。
【図4】輝度画像の生成手順を説明する図である。
【図5】輝度画像の生成手順を説明する図である。
【図6】第1実施形態の色差画像生成部252の構成を示すブロック図である。
【図7】G補間部301の動作を説明する図である。
【図8】離散色差画像を説明する図である。
【図9】第2実施形態の色差画像生成部252の構成を示すブロック図である。
【図10】第2実施形態の平滑化部303の処理(d)を説明する図である。
【発明を実施するための形態】
【0013】
[第1実施形態]
以下、本発明の第1実施形態として電子カメラを説明する。
【0014】
図1は、電子カメラ101の全体構成を示すブロック図である。図1に示すとおり電子カメラ101には、撮影光学系102と、メカニカルシャッタ103と、カラー撮像素子104と、信号処理部105と、画像バッファ106と、画像処理部107と、カメラ制御部108と、不揮発性メモリ109と、表示部110と、操作部材111と、カードインタフェース(カードI/F)112が備えられる。なお、電子カメラ101は、可搬の記憶媒体であるメモリカード112aを着脱することができる。
【0015】
撮影光学系102は、被写界から射出した光束(被写界光束)を、カラー撮像素子104の撮像面上に結像する。撮影光学系102は、レンズ、絞り、レンズ駆動部などを備えており、レンズ駆動部は、カメラ制御部108からの指示に応じて、レンズのポジション、絞りの径などを調整する。
【0016】
メカニカルシャッタ103は、被写界光束の光路を開閉する。メカニカルシャッタ103による光路の開放期間は、カメラ制御部108によって制御される。
【0017】
カラー撮像素子104は、カラーフィルタアレイを有した単板型カラーイメージセンサであって、互いに異なる色に対して感度を有した複数種類の画素を複数ずつ、同一面上に混在させて(モザイク状に)配列している。このカラー撮像素子104の各画素で生成された画素信号は、カメラ制御部108から与えられた駆動信号に応じて順次に読み出される。以下、カラーフィルタアレイのフィルタ配列にベイヤ配列が採用されたと仮定する。
【0018】
信号処理部105は、カラー撮像素子104から順次に読み出される画素信号に対して各種の信号処理を施す。その信号処理には、画像信号を増幅する増幅処理や、画素信号をディジタル信号(ディジタル画素信号)へと変換するA/D変換処理などが含まれる。このうち増幅処理の増幅率は、カメラ制御部108によって適宜に設定され、この増幅率が、電子カメラ101の撮影感度を決めている。なお、信号処理部105における各種の信号処理のタイミングは、カメラ制御部108によって制御される。
【0019】
画像バッファ106は、揮発性の高速メモリであって、信号処理部105から出力されるディジタル画素信号を順次に蓄積する。よって、カラー撮像素子104から1フレーム分の画素信号が読み出されると、1フレーム分のディジタル画素信号が画像バッファ106に蓄積される。以下、このようにして画像バッファ106に蓄積された1フレーム分のディジタル画素信号を「RAW画像」と称す。なお、画像バッファ106は、カメラ制御部108からの指示に応じて、RAW画像以外の画像を格納することもできる。
【0020】
ここで、RAW画像は、互いに異なる色成分の強度を示す複数種類の画素を複数ずつ、モザイク状に配列した画像であって、互いに異なる種類の画素は、互いに異なる色成分のデータ(色成分データ)を有している。前述したとおりカラーフィルタアレイのフィルタ配列にベイヤ配列が採用された場合は、このRAW画像における画素の配列もベイヤ配列となる。この場合、RAW画像は、R成分データのみを有するR画素と、G成分データのみを有するG画素と、B成分データのみを有するB画素とを、図3に示すような規則性で繰り返し配列した画像となる。
【0021】
画像処理部107は、カメラ制御部108からの指示に応じて、画像バッファ106上のRAW画像に対し、色補間処理を含む各種の画像処理を施す。また、画像処理部107は、カメラ制御部108からの指示に応じて、画像処理後の画像に対してデータ圧縮処理を施すこともできる。
【0022】
操作部材111は、モード選択ダイヤル、レリーズボタンなどを含んでいる。ユーザは、この操作部材111を介してカメラ制御部108へ各種の指示を入力することができる。
【0023】
表示部110は、例えば、電子カメラ101の背面に設けられた液晶モニタである。表示部110は、カメラ制御部108から指定された画像を適宜に表示する。
【0024】
不揮発性メモリ109は、例えば、半導体メモリの一種であるフラッシュメモリで構成されている。不揮発性メモリ109には、カメラ制御部108が参照すべき各種のパラメータが格納されており、これらのパラメータは、ユーザによって適宜に更新される。
【0025】
カードI/F112は、カメラ制御部108から指定されたデータをメモリカード112aへ書き込んだり、カメラ制御部108から指定されたデータをメモリカード112aから読み出したりする。
【0026】
カメラ制御部108は、CPU、ROMなどを備えており、CPUは、ROMに予め格納されたプログラム(撮像に関するプログラムや画像処理に関するプログラムを含む)と、ユーザから入力された指示とに従って、電子カメラ101の各部を制御する。
【0027】
例えば、カメラ制御部108は、ユーザから撮影指示が入力されると、撮影光学系102、メカニカルシャッタ193、カラー撮像素子104、及び信号処理部105を駆動することにより、RAW画像を取得して画像バッファ106へ蓄積させる。
【0028】
その後、カメラ制御部108は、画像バッファ106上のRAW画像に対して前述した各種の画像処理を施すよう画像処理部107に指示を与え、画像処理後の画像を表示部110へ送出する。
【0029】
さらに、カメラ制御部108は、画像処理後の画像に対してデータ圧縮するよう画像処理部107に指示を与え、データ圧縮後の画像の画像ファイル(JPEGファイル)を作成すると、その画像ファイルをメモリカード112aへ書き込むようカードI/F112へ指示を出す。
【0030】
また、カメラ制御部108は、必要に応じてRAW画像の画像ファイル(RAW画像ファイル)を作成すると、そのRAW画像ファイルを、JPEGファイルと共にメモリカード112aへ書き込むようカードI/F112へ指示を出す。
【0031】
図2は、画像処理部107の構成を示すブロック図である。図2に示すとおり画像処理部107には、ホワイトバランス処理部(WB処理部)201と、ホワイトバランスゲイン算出部(WBゲイン算出部)202と、ガンマ変換部203と、色補間処理部204と、ガンマ補正処理部205と、彩度強調処理部206と、輪郭強調処理部207と、圧縮処理部208とが備えられる。
【0032】
ホワイトバランスゲイン算出部202は、被写界を照明する環境光の特性に依らず無彩色の被写体を無彩色で表わすためのホワイトバランスゲイン(R画素用のゲイン、B画素用のゲイン)を、例えばRAW画像に基づき算出する。算出されたホワイトバランスゲイン(R画素用のゲイン、B画素用のゲイン)は、ホワイトバランス処理部201へ与えられる。
【0033】
ホワイトバランス処理部201は、与えられたホワイトバランスゲイン(R画素用のゲイン、B画素用のゲイン)をRAW画像の各R画素及び各B画素に対して乗算する。これによって、RAW画像に対してホワイトバランス処理が施される。
【0034】
ガンマ変換部203は、ホワイトバランス処理後のRAW画像に対して予め決められた特性の階調変換処理(ガンマ変換)を施す。このガンマ変換は、色補間処理の前処理に相当し、色補間に適した階調のRAW画像を生成するものである。
【0035】
色補間処理部204は、輝度画像生成部251と、色差画像生成部252と、輝度色差変換部253とを備え、ガンマ変換後のRAW画像に対して色補間処理を施し、色補間後の画像を作成する。
【0036】
色補間処理部204の輝度画像生成部251は、色補間後の画像の各画素位置における輝度データYを生成する。つまり、輝度画像生成部251は、色補間後の画像の輝度成分(すなわち輝度画像)を生成する。
【0037】
色補間処理部204の色差画像生成部252は、色補間後の画像の各画素位置における第1色差データCrを生成すると共に、色補間後の画像の各画素位置における第2色差データCbを生成する。つまり、色差画像生成部252は、色補間後の画像の第1色差成分(すなわち第1色差画像)と、色補間後の画像の第2色差成分(すなわち第2色差画像)とを生成する。
【0038】
輝度色差変換部253は、色補間後の画像の各画素に対して画素毎にマトリクス演算(下式参照)を施すことにより、色補間後の画像の色座標を、YCbCr座標からRGB座標へと色座標変換する(YCbCr−RGB変換を行う。)。
【0039】
【数1】
【0040】
色座標変換後の画像は、RAW画像の各画素において欠落していた色成分データがそれぞれ補間されている。
【0041】
つまり、図2の色補間処理部204は、全ての画素が全ての色成分データ(R、G、B)を欠落なく有している画像(色座標変換後の画像)を、色補間後の画像として出力する。
【0042】
ガンマ補正処理部205は、色座標変換後の画像に対して色成分毎に階調変換処理を施す。この階調変換により、出力媒体に適した階調の画像が得られる。
【0043】
彩度強調処理部206は、彩度を強調するための色変換処理を、階調変換後の画像に対して施す。なお、この色変換処理には、各画素の属する色空間を出力媒体に適した色空間へと変換する処理が含まれていても構わない。
【0044】
輪郭強調処理部207は、エッジを強調するための処理を、色変換後の画像に対して施す。エッジとは、画像中の構造のエッジのことである。この輪郭強調処理は、例えば、画像に対してラプラシアンフィルタなどの差分フィルタ処理を施すことによってエッジ成分を抽出し、そのエッジ成分をその画像へ加えるものである。
【0045】
圧縮処理部208は、JPEG規格など所定の方式によるデータ圧縮処理を、輪郭強調後の画像に対して施す。
【0046】
次に、輝度画像生成部251の処理の一例を、図4、図5に基づき説明する。
【0047】
輝度画像生成部251は、RAW画像の各G画素位置における輝度データYと、RAW画像の各R画素位置における輝度データYと、各R画素位置における輝度データYと、各B画素位置における輝度データYとを、例えば以下のとおり生成する。
【0048】
(G画素位置における輝度データ生成)
輝度画像生成部251は、RAW画像(図3参照)上のG画素位置の各々について以下の処理を実行する。
【0049】
すなわち、輝度画像生成部251は、図4(A)又は図4(B)に示すとおり、着目したG画素位置におけるG画素のG成分データGと、そのG画素位置の上下左右に隣接する4つの画素の色成分データとを重み付け平均することにより、そのG画素位置の輝度データYを生成する。なお、この重み付け平均では、G成分データの重みと、R成分データの重みと、B成分データの重みとの比は、2:1:1に設定される。そのG画素位置の周辺の配列が図4(A)、図4(B)の何れであったとしても、重み付け平均の式は、Y=(4G+B1+B2+R1+R2)/8となる。
【0050】
(R画素位置の輝度データ生成)
輝度画像生成部251は、RAW画像上のR画素位置の各々について以下の処理を実行する。
【0051】
先ず、輝度画像生成部251は、着目したR画素位置の上下に隣接する2つのG画素のG成分データの差分の絶対値を、垂直方向のコントラスト評価値として算出する。
【0052】
また、輝度画像生成251は、そのR画素位置の左右に隣接する2つのG画素のG成分データの差分の絶対値を、水平方向のコントラスト評価値として算出する。
【0053】
また、輝度画像生成部251は、そのR画素位置の上及び左に隣接する2つのG画素のG成分データの差分の絶対値と、そのR画素位置の右及び下に隣接する2つのG画素のG成分データの差分の絶対値との和を、第1斜線方向(右上から左下に向かう方向)のコントラスト評価値として算出する。
【0054】
また、輝度画像生成部251は、そのR画素位置の上及び右に隣接する2つのG画素のG成分データの差分の絶対値と、そのR画素位置の左及び下に隣接する2つのG画素のG成分データの差分の絶対値との和を、第2斜線方向(左上から右下に向かう方向)のコントラスト評価値として算出する。
【0055】
続いて、輝度画像生成部251は、垂直方向のコントラスト評価値と、水平方向のコントラスト評価値と、第1斜線方向のコントラスト評価値と、第2斜線方向のコントラスト評価値とを比較する。
【0056】
そして、垂直方向のコントラスト評価値が最も小さかった場合、輝度画像生成部251は、R画素位置における輝度構造が垂直線構造であったとみなし、図5(A)に示すとおり、そのR画素位置を中心とした9画素のうち、そのR画素位置の左右に隣接する2つの画素以外の7画素の色成分データを重み付け平均することによって、そのR画素位置の輝度データYを算出する。なお、この重み付け平均では、R成分データの重みと、B成分データの重みと、G成分データの重みとの比が1:1:2に設定される。つまり、重み付け平均は、Y=(4G+R1+R2+B1+B2)/8の式によって行われる。
【0057】
また、水平方向のコントラスト評価値が最も小さかった場合、輝度画像生成部251は、R画素位置における輝度構造が水平線構造であったとみなし、図5(B)に示すとおり、そのR画素位置を中心とした9画素のうち、そのR画素位置の上下に隣接する2つの画素以外の7画素の色成分データを重み付け平均することによって、そのR画素位置の輝度データYを算出する。なお、この重み付け平均でも、R成分データの重みと、B成分データの重みと、G成分データの重みとの比が1:1:2に設定される。
【0058】
また、第1斜線方向のコントラスト評価値が最も小さかった場合、輝度画像生成部251は、R画素位置における輝度構造が第1斜線構造であったとみなし、図5(C)に示すとおり、そのR画素位置を中心とした9画素のうち、そのR画素位置の左上及び右下の2画素以外の7画素の色成分データを重み付け平均することによって、そのR画素位置の輝度データYを算出する。なお、この重み付け平均でも、R成分データの重みと、B成分データの重みと、G成分データの重みとの比が1:1:2に設定される。
【0059】
また、第2斜線方向のコントラスト評価値が最も小さかった場合、輝度画像生成部251は、R画素位置における輝度構造が第2斜線構造であったとみなし、図5(D)に示すとおり、そのR画素位置を中心とした9画素のうち、そのR画素位置の右上及び左下の2画素以外の7つの画素の色成分データを重み付け平均することによって、そのR画素位置の輝度データYを算出する。なお、この重み付け平均でも、R成分データの重みと、B成分データの重みと、G成分データの重みとの比が1:1:2に設定される。
【0060】
但し、輝度画像生成部251は、上記した4種類のコントラスト評価値のばらつきが閾値未満であった場合には、R画素位置における輝度構造は一様であったとみなし、図5(E)に示すとおり、そのR画素位置と中心とした9画素の全色成分データを重み付け平均することによって、そのR画素位置の輝度データYを算出する。なお、この重み付け平均でも、R成分データの重みと、B成分データの重みと、G成分データの重みとの比が1:1:2に設定される。
【0061】
(B画素位置の輝度データ生成)
輝度画像生成部251は、RAW画像上のB画素位置の各々について上述した処理(R画素位置の輝度データ生成)と同様の処理を実行することで、各B画素位置の輝度データYを生成する(以上が、輝度画像生成部251の動作である。)。
【0062】
次に、色差画像生成部252の処理の詳細を、図6、図7、図8に基づき説明する。
【0063】
図6に示すとおり色差画像生成部252は、G補間部301と、離散色差生成部302と、平滑化部303と、色差補間部304とを備える。
【0064】
色差画像生成部252のG補間部301及び離散色差生成部302及び平滑化部303は、RAW画像上の各R画素位置における第1色差データCrを生成すると共に、RAW画像上の各B画素位置における第2色差データCbを生成する。また、色差画像生成部252の色差補間部304は、RAW画像の各R画素位置における第1色差データCrに基づき、RAW画像の他の画素位置における第1色差データCrを生成すると共に、RAW画像の各B画素位置における第2色差データCbに基づき、RAW画像の他の画素位置における第2色差データCbを生成する。
【0065】
このうち、第1色差データCrの生成時における色差画像生成部252の処理手順と、第2色差データCbの生成時における色差画像生成部252の処理手順とは同じであって、それらの処理手順の間の相違点は、前者はR画素に関する処理であるのに対して後者はB画素に関する処理であるという点のみである。よって、ここでは、第1色差データCbの生成時における色差画像生成部252の動作のみを代表して説明する。
【0066】
(G補間部301の動作)
G補間部301は、RAW画像上のR画素位置の各々について以下の処理を実行することで、R画素位置の各々における仮のG成分データを生成する。
【0067】
先ず、G補間部301は、着目したR画素位置の上下に隣接する2つのG画素のG成分データの差分の絶対値を、垂直方向のコントラスト評価値として算出する。また、G補間部301は、そのR画素位置の左右に隣接する2つのG画素のG成分データの差分の絶対値を、水平方向のコントラスト評価値として算出する。
【0068】
その後、G補間部301は、垂直方向のコントラスト評価値と、水平方向のコントラスト評価値とを比較する。
【0069】
そして、垂直方向のコントラスト評価値の方が小さかった場合、G補間部301は、 R画素位置における輝度構造が垂直線構造であったとみなし、図7(A)に示すとおり、そのR画素位置の上下に隣接する2つのG画素のG成分データの平均値を、そのR画素位置のG成分データとする。なお、ここで生成されるG成分データは、第1色差データCrの生成に用いられる仮のG成分データである。
【0070】
また、水平方向のコントラスト評価値の方が小さかった場合、G補間部301は、R画素位置における輝度構造が水平線構造であったとみなし、図7(B)に示すとおり、そのR画素位置の左右に隣接する2つのG画素のG成分データの平均値を、そのR画素位置のG成分データとする。なお、ここで生成されるG成分データは、第1色差データCrの生成に用いられる仮のG成分データである。
【0071】
但し、上記した2種類のコントラスト評価値のばらつきが閾値未満であった場合、G補間部301は、R画素位置における輝度構造は一様であったとみなし、図7(C)に示すとおり、そのR画素位置の上下左右に隣接する4つのG画素のG成分データの平均値を、そのR画素位置のG成分データとする。なお、ここで生成されるG成分データは、第1色差データCrの生成に用いられる仮のG成分データである。
【0072】
(離散色差生成部302の動作)
離散色差生成部302は、RAW画像上のR画素位置の各々について次の処理を実行する。すなわち、離散色差生成部302は、着目したR画素位置のR成分データRから、そのR画素位置についてG補間部301が生成したG成分データを差し引くことにより、そのR画素位置における第1色差データCrを算出する。
【0073】
ここで、個々のR画素位置は、RAW画像上に点在しているので、離散色差生成部302が個々のR画素位置について生成した第1色差データCrは、図8に示すとおり、RAW画像上に離散的に分布するデータとなる。よって、以下では、第1色差データCrのRAW画像上の分布(=各R画素位置について生成された第1色差データCrで構成される画像)を、「離散色差画像」と称す。
【0074】
(平滑化部303の動作)
平滑化部303は、離散色差画像(図8)上の各画素について以下の処理(a)〜(c)を実行することで、離散色差画像に発生しているノイズ(色差ノイズ)を除去する。
【0075】
(a)平滑化部303は、離散色差画像上で着目画素に隣接する8つの周辺画素の第1色差データCr(1)〜Cr(8)を参照し、それらの最大値MAX及び最小値MINを算出する。
【0076】
(b)平滑化部303は、最大値MAXと、最小値MINと、着目画素の第1色差データCrとを以下の式(1)へ当てはめることにより、着目画素の仮の第1色差データCr_tmpを生成する。
【0077】
【数2】
【0078】
この式(1)によると、着目画素の第1色差データは、8つの周辺画素の第1色差データの値範囲内に収められる。よって、この式(1)によると、着目画素の第1色差データCrに突出ノイズ成分(周辺画素と比較して著しく値の突出していた成分)が含まれていた場合、その突出ノイズ成分は除去される。よって、この式(1)は、離散色差画像に発生している突出ノイズを除去するための式である。
【0079】
(c)平滑化部303は、着目画素の仮の第1色差データCr_tmpと、8つの周辺画素の第1色差データCr(1)〜Cr(8)とを、以下の式(2)へ当てはめることにより、着目画素の平滑化後の第1色差データCr_nrを生成する。
【0080】
【数3】
【0081】
この式(2)によると、着目画素の第1色差データは、8つの周辺画素の第1色差データによって平滑化されるが、8つの周辺画素のうち着目画素から一定以上値の離れたものは、平滑化の参照対象から外される。したがって、この式(2)によると、離散色差画像に含まれる構造(色差構造)のエッジが鈍るのを避けながら、離散色差画像を平滑化することができる。これによって、離散色差画像に含まれる色差構造のエッジは保持され、離散色差画像に発生していたノイズ(色差ノイズ)のみが除去される。なお、このような式(2)の処理は、イプシロンフィルタ処理とも呼ばれている。
【0082】
ここで、式(2)におけるthは、着目画素と周辺画素との間に色差構造のエッジが存在していた場合に、その周辺画素を平滑化の参照対象から外すための閾値であって、全ての着目画素に対して共通の閾値である。この閾値thが大きいと、色差ノイズの除去強度は強まるが、色差構造のエッジの鈍る可能性が高まってしまう。一方、この閾値thが小さいと、色差構造のエッジを維持できる可能性は高まるが、色差ノイズの除去強度は弱まる。
【0083】
このため、閾値thは、離散色差画像に発生している色差ノイズの標準偏差に応じた値(例えば、標準偏差の3倍程度)に設定されることが望ましい。よって、平滑化部303は、撮影条件又は離散色差画像に基づき、離散色差画像に発生している色差ノイズの標準偏差を推定してから、その標準偏差に応じて閾値thを設定することが望ましい。なお、撮影条件とは、RAW画像の取得時の撮影条件であって、シャッタースピード、絞り値、レンズポジション、撮影感度などである。
【0084】
(色差補間部304の動作)
色差補間部304は、ノイズ除去後の離散色差画像(すなわち、各R画素位置における第1色差データCr)にアップサンプリング処理を施すことにより、RAW画像のB画素位置の各々における第1色差データCrと、RAW画像のG画素位置の各々における第1色差データCrとを生成する。
【0085】
アップサンプリングの方法には公知の何れかの方法が適用できるが、例えば、次のとおりである。すなわち、色差補間部304は、着目したB画素位置の左上、右上、右下、左下に位置する4つのR画素の第1色差データCrの平均値を算出し、その平均値を、そのB画素位置における第1色差データCrとする。また、色差補間部304は、着目したG画素位置の上下又は左右に隣接する2つのR画素の第1色差データCrの平均値を算出し、その平均値を、そのG画素位置における第1色差データCrとする(以上が、色差補間部304の動作である。)。
【0086】
以上説明したとおり、本実施形態の色差画像生成部252(図6参照)は、RAW画像上の各R画素位置における第1色差データCrを生成し、それら第1色差データCrのRAW画像上の分布である離散色差画像に対して平滑化によるノイズ除去処理を施してから、R画素位置以外の画素位置(B画素位置及びG画素位置)における第1色差データCrをアップサンプリングする。
【0087】
同様に、本実施形態の色差画像生成部252は、RAW画像上の各B画素位置における第2色差データCbを生成し、それら第2色差データCbのRAW画像上の分布である離散色差画像に対して平滑化によるノイズ除去処理を施してから、B画素位置以外の画素位置(R画素位置及びG画素位置)における第2色差データCbをアップサンプリングする。
【0088】
したがって、本実施形態の色補間処理部204は、ノイズ除去処理の対象を、色補間後の画像でも、色補間前の画像(RAW画像)でもなく、色補間処理の過程で生成された離散色差画像とする。
【0089】
この離散色差画像は、色補間後の画像よりもデータ量が少ない。よって、本実施形態では、ノイズ除去処理の対象を色補間後の画像とする場合よりも、ノイズ除去処理に要する演算量を抑えることができる。
【0090】
また、その離散色差画像は、アップサンプリング前の色差画像であるので、アップサンプリング後の色差画像よりも、画像に発生した色差ノイズを正確に反映している。よって、本実施形態では、ノイズ除去処理の対象をアップサンプリング後の色差画像とする場合よりも、高いノイズ除去効果を得ることができる。
【0091】
また、その離散色差画像は、画像の輝度構造の情報を含んでいない(画像の色差構造の情報しか含まない)。よって、本実施形態では、そのノイズ除去処理の強度を高めたとしても、画像に含まれる輝度構造のエッジを鈍らせることなく、画像に含まれる色差ノイズのみを積極的に除去できる。
【0092】
ここで、通常、画像に含まれる輝度構造のエッジは、画像に含まれる色差構造のエッジと比較すると、画像の見た目のコントラストを左右する重要な要素と考えられる。また、画像に発生する色差ノイズは、画像に発生する輝度ノイズと比較すると、目立ち易いと考えられる。
【0093】
したがって、輝度構造のエッジを保持しつつ色差ノイズのみを積極的に除去できる本実施形態は、極めて有用性が高いと考えられる。
【0094】
[第1実施形態の変形例]
なお、第1実施形態では、離散色差画像に対する空間的な平滑化処理として、突出ノイズ除去処理(式(1))とイプシロンフィルタ処理(式(2))との組み合わせを適用したが、離散色差画像に発生している突出ノイズの量が少ない場合などは、突出ノイズ除去処理(式(1))を省略してもよい。なお、離散色差画像に発生する突出ノイズの量は、離散色差画像から推定してもよいし、RAW画像の取得時の撮影条件(シャッタースピード、絞り値、レンズポジション、撮影感度など)から推定してもよい。
【0095】
また、第1実施形態では、離散色差画像上の個々の着目画素に関する平滑化の参照範囲を、着目画素を中心とした3×3の9画素範囲(図8参照)に設定したが、更に広範囲に設定してもよい。
【0096】
また、第1実施形態では、離散色差画像に対する空間的な平滑化処理として、突出ノイズ除去処理(式(1))とイプシロンフィルタ処理(式(2))との組み合わせを適用したが、ノイズ除去効果のある空間的な平滑化処理であるならば、公知の他の平滑化処理を適用してもよい。
【0097】
また、第1実施形態では、離散色差画像に対するノイズ除去処理(つまり色差ノイズの除去処理)を説明したが、色差ノイズの除去処理に、輝度ノイズの除去処理(公知)を併用してもよい。輝度ノイズの除去処理は、輝度画像の生成後又は輝度画像の生成過程において輝度画像生成部251が実行すればよい。
【0098】
また、第1実施形態では、電子カメラ101について説明したが、電子カメラ101の色補間処理機能の一部又は全部は、撮像機能を有しない他の画像処理装置に搭載されてもよく、コンピュータが実行可能な画像処理ソフトウエアに搭載されてもよい。
【0099】
なお、その画像処理ソフトウエアは、記憶媒体又は通信網を介してコンピュータへインストールされる画像処理ソフトウエアであって、電子カメラ101又は他の電子カメラが作成したRAW画像ファイルを読み込み、そのRAW画像ファイルに格納されたRAW画像に対して色補間処理を施すことのできる画像処理ソフトウエアである。
【0100】
[第2実施形態]
以下、本発明の第2実施形態として電子カメラを説明する。本実施形態は第1実施形態の変形例なので、ここでは第1実施形態との相違点のみ説明する。
【0101】
図9は、本実施形態の色差画像生成部252の構成を示すブロック図である。図9に示すとおり、本実施形態における色差画像生成部252の平滑化部303は、離散色差画像に対する平滑化処理に、輝度画像生成部251(図2参照)が生成した輝度画像(輝度データY)を使用する。
【0102】
なお、第1色差データCrの生成時における平滑化部303の処理手順と、第2色差データCbの生成時における平滑化部303の処理手順との間の相違点は、前者はR画素に関する処理であるのに対して後者がB画素に関する処理であるという点のみである。よって、ここでは、第1色差データCbの生成時における平滑化部303の動作のみを代表して説明する。
【0103】
(平滑化部303の動作)
平滑化部303は、離散色差生成部302が生成した離散色差画像(図8)上の各画素について以下の処理(d)〜(g)を実行することで、離散色差画像に発生しているノイズ(色差ノイズ)を除去する。
【0104】
(d)平滑化部303は、輝度画像生成部251(図2参照)が生成した輝度画像の画像サイズを、離散色差画像の画像サイズに合わせ込むために、輝度画像に対してサイズ縮小処理を施す。具体的に、平滑化部303は、離散色差画像上の着目画素に対応する、輝度画像上の画素ブロック(4画素)を参照し、その画素ブロックに位置する4画素の輝度データYの平均値を、着目画素の輝度データYsとする(この輝度データYsが、サイズ縮小後の輝度画像の輝度データである。)。さらに、平滑化部303は、このような輝度データYsの生成を、着目画素に隣接する8つの周辺画素の各々についても行う。これによって、図10(A)→図10(B)に示すとおり、着目画素の輝度データsY(0)と、8つの周辺画素の輝度データYs(1)〜Ys(8)とが生成される。
【0105】
(e)平滑化部303は、それら8つの周辺画素の第1色差データCr(1)〜Cr(8)を参照し、それらの最大値MAX及び最小値MINを算出する。
【0106】
(f)平滑化部303は、最大値MAXと、最小値MINと、着目画素の第1色差データCrとを上述した式(1)へ当てはめることにより、着目画素の仮の第1色差データCr_tmpを生成する。
【0107】
(g)平滑化部303は、着目画素の仮の第1色差データCr_tmpと、8つの周辺画素の第1色差データCr(1)〜Cr(8)と、着目画素の輝度データYs(0)と、8つの周辺画素の輝度データYs(1)〜Ys(8)とを、以下の式(2’)へ当てはめることにより、着目画素の平滑化後の第1色差データCr_nrを生成する。
【0108】
【数4】
【0109】
この式(2’)の処理は、上述した式(2)と同様、イプシロンフィルタ処理であるが、色差構造のエッジを維持するための閾値(th2−|Ys(0)−Ys(i)|)は、着目画素及び周辺画素の輝度データYs(0)〜Ys(8)に応じて変化する。
【0110】
このような可変の閾値によると、着目画素と周辺画素との間に輝度構造のエッジが存在していた場合には、その周辺画素は平滑化の参照対象から外され、輝度構造のエッジが存在していなかった場合には、その周辺画素は平滑化の参照対象に含まれる。
【0111】
したがって、例えば、画像に発生している色差ノイズのコントラストが高く、画像の色差構造が色差ノイズに埋もれるような場合であっても、色差構造のエッジを維持しつつ色差ノイズのみを除去することができる。
【0112】
なお、式(2’)におけるth2(閾値の基準値)は、離散色差画像に発生している色差ノイズの標準偏差と、輝度画像に発生している輝度ノイズの標準偏差との和に応じた値(例えば、和の3倍程度)に設定されることが望ましい。よって、平滑化部303は、撮影条件又は離散色差画像に基づき離散色差画像に発生している色差ノイズの標準偏差を推定すると共に、撮影条件又は輝度画像に基づき輝度画像に発生している輝度ノイズの標準偏差を推定してから、それらの標準偏差に応じて基準値th2を設定することが望ましい。なお、撮影条件とは、RAW画像の取得時の撮影条件であって、シャッタースピード、絞り値、レンズポジション、撮影感度などである(以上が、平滑化部303の動作である。)。
【0113】
以上説明したとおり、本実施形態の色差画像生成部252(図9)は、離散色差画像に対する平滑化処理のパラメータ(具体的には、平滑化の参照対象)を、画像の輝度構造に応じて適切に設定するので、様々なコントラストの色差ノイズに対処することができる。したがって、本実施形態では、第1実施形態よりも更に効果的なノイズ除去処理を行うことができる。
【0114】
なお、本実施形態における輝度画像のサイズ縮小方法としては、上記した方法に限定されず、公知の他の方法を適用してもよい。
【0115】
また、本実施形態も、第1実施形態と同様に変形することが可能である。
【符号の説明】
【0116】
252…色差画像生成部、301…G補間部、302…離散色差生成部302、303…平滑化部、304…色差補間部
【特許請求の範囲】
【請求項1】
互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を入力する画像入力部と、
前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測部と、
前記第2画素の各々について推測された前記第1色成分データと、前記第2画素群の各々が有する色成分データである第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出部と、
離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化部と、
平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測部と
を備えることを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記平滑化処理には、
突出ノイズの除去処理が含まれる
ことを特徴とする画像処理装置。
【請求項3】
請求項1又は請求項2に記載の画像処理装置において、
前記第1画素群の各々の前記第1色成分データと前記第2画素群の各々の前記第2色成分データとに基づき、前記画像上の全画素群の各々の位置における輝度データを推測する輝度生成部と、
前記全画素群の各々の位置に推測された前記輝度データで構成される連続輝度画像に対して、その連続輝度画像の画像サイズを前記離散色差画像の画像サイズに合わせ込むためのサイズ縮小処理を施す縮小部とを更に備え、
前記平滑化部は、
サイズ縮小後の前記連続輝度画像に基づき前記平滑化処理のパラメータを設定する
ことを特徴とする画像処理装置。
【請求項4】
互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を取得する単板式カラー撮像素子と、
前記画像を入力して処理する請求項1〜請求項3の何れか一項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項5】
互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を入力する画像入力手順と、
前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測手順と、
前記第2画素の各々について推測された前記第1色成分データと、前記第2画素群の各々が有する色成分データである第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出手順と、
離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化手順と、
平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項6】
互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を入力する画像入力手順と、
前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測手順と、
前記第2画素の各々について推測された前記第1色成分データと、前記第2画素群の各々が有する色成分データである第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出手順と、
離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化手順と、
平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測手順と
を含むことを特徴とする画像処理方法。
【請求項1】
互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を入力する画像入力部と、
前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測部と、
前記第2画素の各々について推測された前記第1色成分データと、前記第2画素群の各々が有する色成分データである第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出部と、
離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化部と、
平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測部と
を備えることを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記平滑化処理には、
突出ノイズの除去処理が含まれる
ことを特徴とする画像処理装置。
【請求項3】
請求項1又は請求項2に記載の画像処理装置において、
前記第1画素群の各々の前記第1色成分データと前記第2画素群の各々の前記第2色成分データとに基づき、前記画像上の全画素群の各々の位置における輝度データを推測する輝度生成部と、
前記全画素群の各々の位置に推測された前記輝度データで構成される連続輝度画像に対して、その連続輝度画像の画像サイズを前記離散色差画像の画像サイズに合わせ込むためのサイズ縮小処理を施す縮小部とを更に備え、
前記平滑化部は、
サイズ縮小後の前記連続輝度画像に基づき前記平滑化処理のパラメータを設定する
ことを特徴とする画像処理装置。
【請求項4】
互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を取得する単板式カラー撮像素子と、
前記画像を入力して処理する請求項1〜請求項3の何れか一項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項5】
互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を入力する画像入力手順と、
前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測手順と、
前記第2画素の各々について推測された前記第1色成分データと、前記第2画素群の各々が有する色成分データである第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出手順と、
離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化手順と、
平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項6】
互いに異なる色成分の強度を表す第1画素群と第2画素群とが混在して配列し、少なくとも前記第2画素群が離散的位置に配列した画像を入力する画像入力手順と、
前記第1画素群の各々が有する色成分データである第1色成分データに基づき、離散的な前記第2画素群の各々の位置における第1色成分データを推測する色推測手順と、
前記第2画素の各々について推測された前記第1色成分データと、前記第2画素群の各々が有する色成分データである第2色成分データとに基づき、離散的な前記第2画素群の各々の位置における色差データを算出する算出手順と、
離散的な前記第2画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化手順と、
平滑化後の前記離散色差画像に基づき、前記画像上で前記第2画素群以外の画素群の各々の位置における色差データを推測する色差推測手順と
を含むことを特徴とする画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2012−169700(P2012−169700A)
【公開日】平成24年9月6日(2012.9.6)
【国際特許分類】
【出願番号】特願2011−26432(P2011−26432)
【出願日】平成23年2月9日(2011.2.9)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
【公開日】平成24年9月6日(2012.9.6)
【国際特許分類】
【出願日】平成23年2月9日(2011.2.9)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
[ Back to top ]