画像処理装置、画像処理方法、および、画像処理プログラム
【課題】銀塩写真の粒状感を適切に再現する。
【解決手段】同時化処理部23は、複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成する同時化処理を行う。この同時化処理が行われた画像データに対して、加算部36,37により、所定の粒状パターンを付加する。
【解決手段】同時化処理部23は、複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成する同時化処理を行う。この同時化処理が行われた画像データに対して、加算部36,37により、所定の粒状パターンを付加する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラ等によって得られる画像データに対して、銀塩写真で得られるような粒状パターンを付加する技術に関する。
【背景技術】
【0002】
デジタルカメラなどで得られたデジタル画像には、撮像素子を発生の主とするノイズ成分が重畳しており、このノイズ成分が画像品質の低下を招く一原因となっている。一般的には、画像に重畳したノイズ成分を様々な手法で低減することで、画像品質を向上させる事に努力が払われている。
【0003】
銀塩写真においても、銀塩粒子を主要因とする粒状ノイズが発生し、デジタル画像と同様、画像品質の低下の一原因となっているが、逆に、粒状ノイズによる粒状感が、銀塩写真の表現として一定の価値を持っているという事実もある。
【0004】
こうした背景の下、デジタル画像に対しても銀塩写真と同様の価値を与えるべく、銀塩粒子の視覚効果を得るため、銀塩粒子による粒状感に似せた粒状パターンをデジタル画像に重畳する技術が様々提案されている。例えば、特許文献1では、画素単位で乱数を発生させ、周波数フィルタ処理やスケール変更を行って期待する粒状度の粒状を画像に重畳させている。また、特許文献2では、均一露光されたカラーフィルムから得られた露光画像から平滑化した画像を減算することで、粒状パターンを算出している。
【特許文献1】米国特許第5,641,596号明細書
【特許文献2】特開平11−85955号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1および2では、重畳する粒状もしくは粒状パターンの算出について言及しているものの、最終的な画像として期待する粒状感を生成するために必要な画像処理方法については、全く記載がない。
【0006】
本発明は、銀塩写真の粒状感を適切に再現するための技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明のある態様に係る画像処理装置は、複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成する同時化処理部と、前記同時化処理部によって生成された画像データに対して、所定の粒状パターンを付加する粒状パターン付加部と、を備えることを特徴とする。
【0008】
本発明の別の態様に係る画像処理方法は、複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成するステップと、生成された前記画像データに対して、所定の粒状パターンを付加するステップと、を備えることを特徴とする。
【0009】
本発明のさらに別の態様に係る画像処理プログラムは、複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成するステップと、生成された前記画像データに対して、所定の粒状パターンを付加するステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【0010】
本発明によれば、同時化処理を行った後の画像データに粒状パターンを付加する処理を行うので、粒状パターンを付加した後に同時化処理を行うことによって、銀塩粒子独特の細かな粒状感が失われたり、粒状パターンを画像の構造と認識し、本来画像にはない幾何パターンが発生してしまうという問題を防いで、銀塩写真の粒状感を適切に再現することができる。
【発明を実施するための最良の形態】
【0011】
図1は、一実施形態に係る画像処理装置を含むデジタルカメラの構成を示すブロック図である。このデジタルカメラは、撮像部1と、A/D変換部2と、マイクロコンピュータ3(以下、マイコン3と呼ぶ)と、RAM4と、ROM5と、画像処理回路6と、操作部7と、表示部8と、メモリインターフェース9(以下、I/F9と呼ぶ)と、記録媒体10とを備える。
【0012】
撮像部1は、各画素を構成するフォトダイオードの前面に、複数のカラーフィルタが配置された単板式カラー撮像素子(以下、単に撮像素子と呼ぶ)、撮影光学系、および、これらの駆動部等から構成されている。カラーフィルタは、例えば、ベイヤー配列にて配列される。ベイヤー配列は、水平方向にR画素とG(Gr)画素が交互に配置されたラインと、G(Gb)画素とB画素が交互に配置されたラインとを有し、さらにその2つのラインを垂直方向にも交互に配置することで構成されている。撮像素子は、図示しないレンズにより集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてA/D変換部2へ出力する。なお、撮像素子は、CMOS方式のものでもCCD方式のものでも良い。また、カラーフィルタは、ベイヤー配列以外の配列で構成されていてもよいし、R,G、B以外の色で構成されていてもよい。
【0013】
A/D変換部2は、撮像部1から出力された電気信号をデジタル画像信号(以後、画像データという)に変換する。
【0014】
マイコン3は、デジタルカメラの全体的な制御を行う制御部である。例えば、マイコン3は、撮像部1内部の撮影光学系の焦点制御や撮像素子の露出制御、画像データを記録媒体10に記録する際の記録制御、画像データを表示部8に表示する際の表示制御等を行う。
【0015】
RAM4は、A/D変換部2において得られた画像データや、後述する画像処理回路6で処理された画像データ等の各種データが一時的に記憶される記憶部である。ROM5には、デジタルカメラの動作に必要な各種パラメータや、銀塩粒子による粒状感に似せた粒状パターンのデータ等が記憶されている。粒状パターンのデータは、既知の方法により求めて、Y(輝度)成分とC(色)成分とに分離して、ROM5に格納しておく。また、ROM5は、マイコン3にて実行する各種プログラムも記憶している。マイコン3は、ROM5に記憶されているプログラムに従い、またROM5から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。
【0016】
画像処理回路6は、RAM4から読み出した画像データに対して様々な画像処理を施す。画像処理回路6で行う画像処理の詳細については後述する。画像処理回路6で画像処理が施された画像データは、I/F9を介して、記録媒体10に記録される。記録媒体10は、例えばデジタルカメラ本体に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。
【0017】
操作部7は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部7の何れかの操作部材が操作されることにより、マイコン3は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン/オフ指示を行うための操作部材である。電源ボタンが押されたときに、マイコン3は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの2段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイコン3は、AE処理やAF処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイコン3は、撮影シーケンスを実行して撮影を行う。操作部7は、また、画像の記録モードや、撮影モードを設定することができる。
【0018】
バス11は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス11は、撮像部1と、A/D変換部2と、マイコン3と、RAM4と、ROM5と、画像処理回路6と、操作部7と、表示部8と、I/F9に接続されている。
【0019】
図2は、画像処理回路6の詳細な構成を示すブロック図である。画像処理回路6は、第1ノイズ低減部(図では、第1NR部)21と、ホワイトバランス補正部(図では、WB部)22と、同時化処理部23と、色変換部24と、階調変換部25と、YC変換部26と、エッジ抽出部27と、エッジ強調部28と、Y階調変換部29と、Y第2ノイズ低減部(図では、Y第2NR部)30、C階調変換部31と、C第2ノイズ低減部(図では、C第2NR部)32と、リサイズ部33と、JPEG圧縮部34と、JPEG伸長部35と、加算部36、37と、乗算部38、39とを備える。
【0020】
第1ノイズ低減部21は、A/D変換部2で変換されて、RAM4に記憶されている画像データに対して、後述するノイズ低減ゲインNR1に基づいて、ノイズを低減する処理を行う。このノイズ低減処理は、撮像素子の画素欠陥を補正する処理、および、撮像時に発生するランダムノイズを低減する処理である。ただし、撮像素子の画素欠陥を補正する処理、および、撮像時に発生するランダムノイズを低減する処理のうちの少なくとも一方の処理を行うようにしてもよい。
【0021】
ホワイトバランス補正部22は、ノイズ低減後の画像データのホワイトバランスを補正する処理を行う。
【0022】
同時化処理部23は、ベイヤー配列による画像データから、1画素あたりR、G、Bの情報からなる画像データへ同時化する処理を行う。同時化された画像データは、色変換部24で所定の色変換処理が行われた後、階調変換部25で階調変換処理(第1の階調変換処理)が行われる。
【0023】
YC変換部26は、階調変換処理後の画像データを、Y(輝度)信号とC(色)信号とに変換する。変換されたY信号は加算部36へ出力され、C信号は加算部37へ出力される。
【0024】
エッジ抽出部27は、第1ノイズ低減部21でノイズ低減処理が行われた画像データから、エッジを抽出する処理を行う。エッジ強調部28は、エッジ抽出部27で抽出されたエッジのデータに所定のゲインを乗じるエッジ強調処理を行う。
【0025】
乗算部38は、ROM5に格納されている粒状パターンのY成分データに、後述するゲインGRN_Yを乗算して、加算部36に出力する。加算部36は、Y信号に、エッジ強調部28から入力されるエッジデータ、および、乗算部38から入力される粒状パターンのY成分データを加算する。Y信号は、撮影時およびRAWデータ編集時にはYC変換部26から入力され、JPEG圧縮データ編集時には、RAM4から入力される。加算部36から出力されるY信号は、Y階調変換部29で後述する階調変換処理(第2の階調変換処理)が行われた後、Y第2ノイズ低減部30でノイズを低減する処理が行われる。
【0026】
乗算部39は、ROM5に格納されている粒状パターンのC成分データに、後述するゲインGRN_Cを乗算して、加算部37に出力する。加算部37は、C信号に、乗算部39から入力される粒状パターンのC成分データを加算する。C信号は、撮影時およびRAWデータ編集時にはYC変換部26から入力され、JPEG圧縮データ編集時には、RAM4から入力される。加算部37から出力されるC信号は、C階調変換部31で後述する階調変換処理(第2の階調変換処理)が行われた後、C第2ノイズ低減部32でノイズを低減する処理が行われる。
【0027】
リサイズ部33は、ノイズ低減処理後のY信号およびC信号を、記録時の画像サイズに合わせてリサイズする。JPEG圧縮部34は、リサイズされたY信号およびC信号に対してJPEG圧縮を行う。JPEG圧縮後のデータは、I/F9を介して記録媒体10に記録される。JPEG伸長部35は、記録媒体10に記録されているJPEG圧縮データを読み出して、圧縮前の状態に戻す伸長処理を行う。
【0028】
=撮影時の処理フロー=
図3Aおよび図3Bは、一実施形態に係る画像処理装置を含むデジタルカメラによる撮影時の処理フローを示すフローチャートである。ユーザによってレリーズボタンがオンされると、ステップS10の処理が開始される。
【0029】
ステップS10では、周知の測光処理および測距処理が実行され、続くステップS20では、周知の露出制御および焦点制御が実行される。ステップS30では、撮像部1にて撮像処理が実行される。ステップS40では、撮像部1で撮像処理が実行された後、A/D変換部2でA/D変換処理が行われることによって得られた画像データをRAM4に一時的に格納する。
【0030】
ステップS50では、画像の記録形式がJPEG形式であるか、RAW形式であるかを判定する。画像の記録形式は、撮影前に、ユーザが操作部7を操作することにより、設定することができる。画像の記録形式がJPEG形式であると判定すると、ステップS60に進み、RAW形式であると判定すると、図3BのステップS250に進む。
【0031】
ステップS60では、画像の記録モードが銀塩調モードであるか、通常モードであるかを判定する。銀塩調モードとは、銀塩写真と同様の視覚効果を得るために、銀塩粒子による粒状感に似せた粒状パターンを画像データに重畳するモードである。画像の記録モードは、撮影前に、ユーザが操作部7を操作することにより、設定することができる。画像の記録モードが通常モードであると判定するとステップS70に進む。
【0032】
ステップS70では、通常モードにおけるノイズ低減ゲインNR1を算出する。図4は、通常モードにおける各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。各種ゲインには、第1ノイズ低減部21でノイズ低減処理を行う際に用いるゲインNR1、粒状パターンのY成分に乗じるゲインGRN_Y、粒状パターンのC成分に乗じるゲインGRN_C、Y第2ノイズ低減部30でノイズ低減処理を行う際に用いるゲインNR2_Y、および、C第2ノイズ低減部32でノイズ低減処理を行う際に用いるゲインNR2_Cが含まれる。
【0033】
各種ゲインは、撮影時に設定されるISO感度に応じて決められる。例えば、ISO感度が800の場合には、ゲインNR1は4、ゲインNR2_Yは2、ゲインNR2_Cは2となる。ただし、通常モードでは、画像データに粒状パターンを重畳させる処理を行わないため、ゲインGRN_Y、GRN_Cの欄は、空白となっている。なお、ゲインGRN_Y、GRN_Cをそれぞれ0として、粒状パターンを重畳させる処理を行うようにしてもよい。
【0034】
各ISO感度に対応する撮像ノイズは、ISO感度100の場合の撮像ノイズを基準としたものであり、値が小さくなるほど、ノイズが大きいことを示す。すなわち、ISO感度が大きくなるほど、撮像ノイズは大きくなる。同様に、画像ノイズも、ISO感度100の場合の画像ノイズを基準としており、値が小さくなるほど、ノイズが大きいことを示している。従って、ISO感度が大きくなるほど、画像ノイズも大きくなる。
【0035】
ROM5には、図4に示すような、各ISO感度に応じた各種ゲインを定めたデータテーブルが格納されているので、このデータテーブルを読み出して、撮影時のISO感度に応じたゲインNR1を算出する。なお、ゲインNR1の値が大きいほど、ノイズ低減処理時のノイズ低減効果は大きくなる。
【0036】
一方、ステップS60において、画像の記録モードが銀塩調モードであると判定すると、ステップS80に進む。ステップS80では、銀塩調モードにおけるノイズ低減ゲインNR1を算出する。図5は、銀塩調モードにおける各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。図5において、各種ゲイン、撮像ノイズ、および、画像ノイズの見方は、図4と同じである。
【0037】
銀塩調モードでは、ISO感度によらず、最終的に得られる画像データ上の粒状感を一定に保つために、ISO感度に応じた撮像ノイズの増幅に合わせて、合成する粒状パターンの強度(ゲインGRN_Y、GRN_C)、および、粒状パターン合成後のノイズ低減強度(ゲインNR2_Y、NR2_C)を制御する。ここでは、ISO感度が高くなるほど、ゲインGRN_Y、GRN_Cを小さくして、画像データに合成する粒状パターンの強度を弱くしている。図5に示すように、粒状パターン付加後の画像データの画像ノイズは、ISO感度によらず一定になっている。
【0038】
また、画像データに重畳する粒状パターンの粒状感を保つために、通常モードに比べて、ゲインNR2_Y、NR2_Cを弱めに設定している。さらに、粒状パターンの強度は、相対的に輝度(Y)に対して、色差(C)を弱めて、色ノイズが不必要に出ないようにしている。
【0039】
ROM5には、図5に示すような、ISO感度に応じた各種ゲインを定めたデータテーブルが格納されているので、このデータテーブルを読み出して、撮影時のISO感度に応じたゲインNR1を算出する。
【0040】
ステップS90では、第1ノイズ低減部21において、RAM4に格納されている画像データを読み出して、ステップS70またはステップS80で算出したノイズ低減ゲインNR1を用いて、ノイズを低減する処理を行う。
【0041】
ステップS100では、ホワイトバランス補正部22において、ノイズ低減処理後の画像データに対して、ホワイトバランスを補正する処理を行う。ステップS110では、同時化処理部23において、同時化処理が行われ、ステップS120では、色変換部24において、色変換処理が行われる。
【0042】
ステップS130では、階調変換部25において、階調変換処理を行う。ここでは、表示部8のガンマ特性を考慮して、暗部を伸長し、明部を圧縮するような階調変換処理を行う。図7は、ステップS130で階調変換処理を行う際の階調変換特性の一例を示す図である。階調変換処理を行うと、図3BのステップS140に進む。
【0043】
ステップS140では、YC変換部26において、階調変換処理後の画像データを、Y(輝度)信号とC(色)信号とに変換する。
【0044】
ステップS150では、画像の記録モードが銀塩調モードであるか、通常モードであるかを判定する。この判定は、ステップS60の判定と同じである。画像の記録モードが通常モードであると判定するとステップS210に進み、銀塩調モードであると判定すると、ステップS160に進む。
【0045】
ステップS160では、銀塩調モードにおけるゲインGRN_Y、GRN_Cを算出する。ゲインGRN_Y、GRN_Cの算出では、上述した図5に示すようなデータテーブルをROM5から読み出して、撮影時のISO感度に応じたゲインGRN_Y、GRN_Cを算出する。
【0046】
ステップS170では、乗算部38において、ROM5から粒状パターンのY成分データを読み出し、読み出した粒状パターンのY成分データに、ステップS160で算出されたゲインGRN_Yを乗算する。また、乗算部39において、ROM5から粒状パターンのC成分データを読み出し、読み出した粒状パターンのC成分データに、ステップS160で算出されたゲインGRN_Cを乗算する。
【0047】
ステップS180では、加算部36において、YC変換部26で変換されたY信号に、エッジ強調部28から入力されるエッジデータ、および、乗算部38から入力される粒状パターンのY成分データを加算する。また、加算部37において、YC変換部26で変換されたC信号に、乗算部39から入力される粒状パターンのC成分データを加算する。
【0048】
ステップS190では、Y階調変換部29において、Y信号用の階調変換テーブルをROM5から読み出すとともに、C階調変換部31において、C信号用の階調変換テーブルをROM5から読み出す。
【0049】
図8は、Y信号の階調変換処理を行う際の階調変換特性の一例を示す図である。この階調変換特性は、画像データのコントラストを強調する特性、すなわち、暗部および明部を圧縮して、中間調を伸長するような特性となっている。また、図9は、C信号の階調変換処理を行う際の階調変換特性の一例を示す図である。ROM5には、図8に示すような階調変換特性の階調変換テーブル、および、図9に示すような階調変換特性の階調変換テーブルが格納されている。ROM5から階調変換テーブルを読み出すと、ステップS200に進む。
【0050】
ステップS200では、Y階調変換部29において、加算部36から入力されるY信号に対して、ステップS190で読み込んだY信号用の階調変換テーブルを用いて、階調変換処理を行うとともに、C階調変換部31において、加算部37から入力されるC信号に対して、ステップS190で読み込んだC信号用の階調変換テーブルを用いて、階調変換処理を行う。
【0051】
ステップS210では、Y第2ノイズ低減部30において、階調変換処理後のY信号に対して、ノイズを低減する処理を行うとともに、C第2ノイズ低減部32において、階調変換処理後のC信号に対して、ノイズを低減する処理を行う。ノイズ低減処理では、通常モードまたは銀塩調モードに応じたゲインNR2_Y、NR2_Cを用いる。例えば、ステップS150の判定において、通常モードと判定した場合には、図4に示すようなデータテーブルをROM5から読み出して、撮影時のISO感度に応じたゲインNR2_Y、NR2_Cを求める。また、ステップS150の判定において、銀塩調モードと判定した場合には、図5に示すようなデータテーブルをROM5から読み出して、撮影時のISO感度に応じたゲインNR2_Y、NR2_Cを求める。Y第2ノイズ低減部30は、ゲインNR2_Yを用いて、Y信号のノイズ低減処理を行い、C第2ノイズ低減部32は、ゲインNR2_Cを用いて、C信号のノイズ低減処理を行う。
【0052】
ステップS220では、リサイズ部33において、ノイズ低減処理後のY信号およびC信号を、記録時の画像サイズに合わせてリサイズする。ステップS230では、JPEG圧縮部34において、リサイズされたY信号およびC信号に対してJPEG圧縮を行う。ステップS240では、JPEG圧縮されたY信号およびC信号をRAM4に格納する。
【0053】
ステップS250では、画像の記録モードや露出条件などの撮影情報をフィルヘッダ情報として作成し、ステップS260では、作成されたファイルヘッダ情報を、JPEG圧縮されてRAM4に一時的に格納されたデータに付加して、I/F9を介して記録媒体10に記録する。
【0054】
=RAWデータ編集時の処理フロー=
図3Aに示す撮影時の処理フローを示すフローチャートにおいて、ステップS50で画像の記録形式がRAW形式であると判定されると、ステップS60以後の画像処理は行われずに、RAWデータとして、記録媒体10に記録される。以下では、記録媒体10に記録されたRAWデータを読み出して、画像処理を行う場合の処理について説明する。
【0055】
図10は、RAWデータの編集時の処理フローを示すフローチャートである。図10のフローチャートにおいて、図3Aのフローチャートで行われる処理と同じ処理を行うステップについては、同じステップ番号を付して詳しい説明は省略する。また、図10のステップS130より後の処理は、図3Bに示すフローチャートの処理と同じであるため、図および説明を省略する。
【0056】
ステップS1000では、RAW形式の画像データを、I/F9を介して記録媒体10から読み出す。ステップS1010では、画像データに付加されたファイルヘッダ情報から、撮影情報を読み出す。ステップS40では、読み出した画像データおよび撮影情報をRAM4に格納する。
【0057】
ステップS60以後の処理は、図3Aおよび図3Bに示すフローチャートの処理と同じである。
【0058】
=JPEG圧縮データ編集時の処理=
図3Aおよび図3Bに示す撮影時の処理フローを示すフローチャートにおいて、ステップS60およびステップS150の判定で画像の記録モードが通常モードであると判定された場合、画像データには、銀塩粒子による粒状感に似せた粒状パターンは重畳しない。以下では、撮影時に通常モードで記録された画像データを読み出して、銀塩粒子による粒状感に似せた粒状パターンを重畳して、記録媒体10に記録する処理について説明する。
【0059】
図11は、JPEG圧縮データの編集時の処理フローを示すフローチャートである。図11のフローチャートにおいて、図3A、図3B、および、図10のフローチャートで行われる処理と同じ処理を行うステップについては、同じステップ番号を付して詳しい説明は省略する。
【0060】
ステップS1100では、JPEG圧縮された画像データを、I/F9を介して記録媒体10から読み出す。
【0061】
ステップS1110では、JPEG伸長部35において、ステップS1100で読み出した画像データを、JPEG圧縮前の状態に戻す伸長処理を行う。伸長処理が行われた画像データ、および、ステップS1010で読み出された撮影情報は、ステップS40において、RAM4に格納される。
【0062】
ステップS1120では、RAM4に格納された画像データを表示部8に表示する。これにより、ユーザは、粒状パターンを重畳する画像を確認することができる。
【0063】
ステップS160Aでは、JPEG圧縮データ編集時の銀塩調モードにおけるゲインGRN_Y、GRN_Cを算出する。図6は、JPEG圧縮データ編集時の処理で用いるデータテーブルの一例を示す図である。図6において、各種ゲイン、撮像ノイズ、および、画像ノイズの見方は、図4、図5と同じである。
【0064】
JPEG圧縮データ編集時は、銀塩調モードでの撮影処理時に得られる画質と同等の画質を得るため、通常モードでの撮影時のISO感度およびゲインNR1を考慮し、粒状パターンの強度(GRN_Y、GRN_C)と合成後のノイズ低減強度(NR2_Y、NR_C)を制御する。
【0065】
ROM5には、図6に示すような、ISO感度に応じた各種ゲインを定めたデータテーブルが格納されているので、このデータテーブルを読み出して、撮影時のISO感度に応じたゲインGRN_Y、GRN_Cを算出する。
【0066】
ステップS210Aでは、Y第2ノイズ低減部30において、階調変換処理後のY信号に対して、ノイズを低減する処理を行うとともに、C第2ノイズ低減部32において、階調変換処理後のC信号に対して、ノイズを低減する処理を行う。ここでは、図6に示すようなデータテーブルをROM5から読み出して、撮影時のISO感度に応じたゲインNR2_Y、NR2_Cを求める。Y第2ノイズ低減部30は、求めたゲインNR2_Yを用いて、Y信号のノイズ低減処理を行い、C第2ノイズ低減部32は、求めたゲインNR2_Cを用いて、C信号のノイズ低減処理を行う。
【0067】
以上、一実施形態における画像処理装置によれば、画像データに対して同時化処理を行った後に、所定の粒状パターンを付加する処理を行うので、粒状パターンを付加した後に同時化処理を行うことによって、銀塩粒子独特の細かな粒状感が失われたり、粒状パターンを画像の構造と認識し、本来画像にはない幾何パターンが発生してしまうという問題を防いで、銀塩写真の粒状感を適切に再現することができる。
【0068】
また、一実施形態における画像処理装置によれば、同時化処理が行われた画像データに対して第1の階調変換処理を行い、階調変換処理後の画像データに対して所定の粒状パターンを付加する。これにより、粒状パターンを付加した後に階調変換処理を行うことによって、暗部の粒状パターンが強調されて粒状感が損なわれるのを防ぐことができる。
【0069】
さらに、一実施形態における画像処理装置によれば、粒状パターンを付加した画像データに対して、第1の階調変換処理とは異なる第2の階調変換処理を行うので、画像本来の階調特性と階調レベルに応じた粒状感の制御とを両立させることができる。この第2の階調変換処理を、画像データのコントラストを強調する階調変換処理とするので、ハイライトおよびシャドーの粒状感を抑えつつ、中間調の粒状感を強調して、銀塩写真が持つ独特の粒状感を表現することができる。
【0070】
また、一実施形態における画像処理装置によれば、所定の粒状パターンが付加される前の画像データから、エッジ強調処理で用いるエッジを抽出する。粒状パターン付加後の画像データからエッジを抽出する処理を行うと、エッジではない部分を誤ってエッジとして抽出してしまう可能性があるが、粒状パターン付加前の画像データからエッジを抽出することにより、エッジの誤抽出を防ぐことができる。
【0071】
また、一実施形態における画像処理装置によれば、画像データに付加する粒状パターンの強度を調整するので、所望の粒状パターンを付加することができる。特に、撮影時の撮影感度に応じて、粒状パターンの強度を調整するので、撮影感度に応じて生じるノイズ成分を考慮して、適切な粒状パターンを付加することができる。
【0072】
なお、上述した実施形態の説明では、画像処理装置をデジタルスチルカメラに適用した例を挙げて説明したが、実施形態で説明した処理を実現するためのプログラムをコンピュータが実行する構成とすることもできる。すなわち、CPU、RAM等の主記憶装置、実施形態で説明した処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えたコンピュータにおいて、CPUが上記記憶媒体に記憶されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【0073】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、上述したプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータがプログラムを実行するようにしても良い。
【0074】
本発明は、上述した一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、画像データに付加する粒状パターンの強度を決定するためのゲインGRN_Y、GRN_Cは、撮影時のISO感度に応じて求めるようにしたが、操作部7の操作により、ユーザが任意の値に設定できるようにしてもよい。この方法によれば、ユーザの希望する強度の粒状パターンを画像データに付加することができる。また、画像上のノイズの程度に応じて、粒状パターンの強度を決定するためのゲインGRN_Y、GRN_Cを設定するようにしてもよい。
【0075】
上述した実施形態では、画像データをJPEG圧縮するものとして説明したが、画像データの圧縮方式は、JPEG形式に限定されることはない。
【図面の簡単な説明】
【0076】
【図1】一実施形態に係る画像処理装置を含むデジタルカメラの構成を示すブロック図である。
【図2】画像処理回路の詳細な構成を示すブロック図である。
【図3A】一実施形態に係る画像処理装置を含むデジタルカメラによる撮影時の処理フローの前段を示すフローチャートである。
【図3B】一実施形態に係る画像処理装置を含むデジタルカメラによる撮影時の処理フローの後段を示すフローチャートである。
【図4】通常モードにおける各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。
【図5】銀塩調モードにおける各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。
【図6】JPEG圧縮データ編集時における各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。
【図7】粒状パターンを合成する前に行う階調変換処理の階調変換特性の一例を示す図である。
【図8】Y信号の階調変換処理を行う際の階調変換特性の一例を示す図である。
【図9】C信号の階調変換処理を行う際の階調変換特性の一例を示す図である。
【図10】RAWデータの編集時の処理フローを示すフローチャートである。
【図11】JPEG圧縮データの編集時の処理フローを示すフローチャートである。
【符号の説明】
【0077】
1…撮像部、2…A/D変換部、3…マイコン、4…RAM、5…ROM、6…画像処理回路、7…操作部、8…表示部、9…I/F、10…記録媒体、21…第1ノイズ低減部、22…ホワイトバランス補正部、23…同時化処理部、24…色変換部、25…階調変換部、26…YC変換部、27…エッジ抽出部、28…エッジ強調部、29…Y階調変換部、30…Y第2ノイズ低減部、31…C階調変換部、32…C第2ノイズ低減部、33…リサイズ部、34…JPEG圧縮部、35…JPEG伸長部、36…加算部、37…加算部、38…乗算部、39…乗算部
【技術分野】
【0001】
本発明は、デジタルカメラ等によって得られる画像データに対して、銀塩写真で得られるような粒状パターンを付加する技術に関する。
【背景技術】
【0002】
デジタルカメラなどで得られたデジタル画像には、撮像素子を発生の主とするノイズ成分が重畳しており、このノイズ成分が画像品質の低下を招く一原因となっている。一般的には、画像に重畳したノイズ成分を様々な手法で低減することで、画像品質を向上させる事に努力が払われている。
【0003】
銀塩写真においても、銀塩粒子を主要因とする粒状ノイズが発生し、デジタル画像と同様、画像品質の低下の一原因となっているが、逆に、粒状ノイズによる粒状感が、銀塩写真の表現として一定の価値を持っているという事実もある。
【0004】
こうした背景の下、デジタル画像に対しても銀塩写真と同様の価値を与えるべく、銀塩粒子の視覚効果を得るため、銀塩粒子による粒状感に似せた粒状パターンをデジタル画像に重畳する技術が様々提案されている。例えば、特許文献1では、画素単位で乱数を発生させ、周波数フィルタ処理やスケール変更を行って期待する粒状度の粒状を画像に重畳させている。また、特許文献2では、均一露光されたカラーフィルムから得られた露光画像から平滑化した画像を減算することで、粒状パターンを算出している。
【特許文献1】米国特許第5,641,596号明細書
【特許文献2】特開平11−85955号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1および2では、重畳する粒状もしくは粒状パターンの算出について言及しているものの、最終的な画像として期待する粒状感を生成するために必要な画像処理方法については、全く記載がない。
【0006】
本発明は、銀塩写真の粒状感を適切に再現するための技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明のある態様に係る画像処理装置は、複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成する同時化処理部と、前記同時化処理部によって生成された画像データに対して、所定の粒状パターンを付加する粒状パターン付加部と、を備えることを特徴とする。
【0008】
本発明の別の態様に係る画像処理方法は、複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成するステップと、生成された前記画像データに対して、所定の粒状パターンを付加するステップと、を備えることを特徴とする。
【0009】
本発明のさらに別の態様に係る画像処理プログラムは、複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成するステップと、生成された前記画像データに対して、所定の粒状パターンを付加するステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【0010】
本発明によれば、同時化処理を行った後の画像データに粒状パターンを付加する処理を行うので、粒状パターンを付加した後に同時化処理を行うことによって、銀塩粒子独特の細かな粒状感が失われたり、粒状パターンを画像の構造と認識し、本来画像にはない幾何パターンが発生してしまうという問題を防いで、銀塩写真の粒状感を適切に再現することができる。
【発明を実施するための最良の形態】
【0011】
図1は、一実施形態に係る画像処理装置を含むデジタルカメラの構成を示すブロック図である。このデジタルカメラは、撮像部1と、A/D変換部2と、マイクロコンピュータ3(以下、マイコン3と呼ぶ)と、RAM4と、ROM5と、画像処理回路6と、操作部7と、表示部8と、メモリインターフェース9(以下、I/F9と呼ぶ)と、記録媒体10とを備える。
【0012】
撮像部1は、各画素を構成するフォトダイオードの前面に、複数のカラーフィルタが配置された単板式カラー撮像素子(以下、単に撮像素子と呼ぶ)、撮影光学系、および、これらの駆動部等から構成されている。カラーフィルタは、例えば、ベイヤー配列にて配列される。ベイヤー配列は、水平方向にR画素とG(Gr)画素が交互に配置されたラインと、G(Gb)画素とB画素が交互に配置されたラインとを有し、さらにその2つのラインを垂直方向にも交互に配置することで構成されている。撮像素子は、図示しないレンズにより集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてA/D変換部2へ出力する。なお、撮像素子は、CMOS方式のものでもCCD方式のものでも良い。また、カラーフィルタは、ベイヤー配列以外の配列で構成されていてもよいし、R,G、B以外の色で構成されていてもよい。
【0013】
A/D変換部2は、撮像部1から出力された電気信号をデジタル画像信号(以後、画像データという)に変換する。
【0014】
マイコン3は、デジタルカメラの全体的な制御を行う制御部である。例えば、マイコン3は、撮像部1内部の撮影光学系の焦点制御や撮像素子の露出制御、画像データを記録媒体10に記録する際の記録制御、画像データを表示部8に表示する際の表示制御等を行う。
【0015】
RAM4は、A/D変換部2において得られた画像データや、後述する画像処理回路6で処理された画像データ等の各種データが一時的に記憶される記憶部である。ROM5には、デジタルカメラの動作に必要な各種パラメータや、銀塩粒子による粒状感に似せた粒状パターンのデータ等が記憶されている。粒状パターンのデータは、既知の方法により求めて、Y(輝度)成分とC(色)成分とに分離して、ROM5に格納しておく。また、ROM5は、マイコン3にて実行する各種プログラムも記憶している。マイコン3は、ROM5に記憶されているプログラムに従い、またROM5から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。
【0016】
画像処理回路6は、RAM4から読み出した画像データに対して様々な画像処理を施す。画像処理回路6で行う画像処理の詳細については後述する。画像処理回路6で画像処理が施された画像データは、I/F9を介して、記録媒体10に記録される。記録媒体10は、例えばデジタルカメラ本体に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。
【0017】
操作部7は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部7の何れかの操作部材が操作されることにより、マイコン3は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン/オフ指示を行うための操作部材である。電源ボタンが押されたときに、マイコン3は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの2段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイコン3は、AE処理やAF処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイコン3は、撮影シーケンスを実行して撮影を行う。操作部7は、また、画像の記録モードや、撮影モードを設定することができる。
【0018】
バス11は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス11は、撮像部1と、A/D変換部2と、マイコン3と、RAM4と、ROM5と、画像処理回路6と、操作部7と、表示部8と、I/F9に接続されている。
【0019】
図2は、画像処理回路6の詳細な構成を示すブロック図である。画像処理回路6は、第1ノイズ低減部(図では、第1NR部)21と、ホワイトバランス補正部(図では、WB部)22と、同時化処理部23と、色変換部24と、階調変換部25と、YC変換部26と、エッジ抽出部27と、エッジ強調部28と、Y階調変換部29と、Y第2ノイズ低減部(図では、Y第2NR部)30、C階調変換部31と、C第2ノイズ低減部(図では、C第2NR部)32と、リサイズ部33と、JPEG圧縮部34と、JPEG伸長部35と、加算部36、37と、乗算部38、39とを備える。
【0020】
第1ノイズ低減部21は、A/D変換部2で変換されて、RAM4に記憶されている画像データに対して、後述するノイズ低減ゲインNR1に基づいて、ノイズを低減する処理を行う。このノイズ低減処理は、撮像素子の画素欠陥を補正する処理、および、撮像時に発生するランダムノイズを低減する処理である。ただし、撮像素子の画素欠陥を補正する処理、および、撮像時に発生するランダムノイズを低減する処理のうちの少なくとも一方の処理を行うようにしてもよい。
【0021】
ホワイトバランス補正部22は、ノイズ低減後の画像データのホワイトバランスを補正する処理を行う。
【0022】
同時化処理部23は、ベイヤー配列による画像データから、1画素あたりR、G、Bの情報からなる画像データへ同時化する処理を行う。同時化された画像データは、色変換部24で所定の色変換処理が行われた後、階調変換部25で階調変換処理(第1の階調変換処理)が行われる。
【0023】
YC変換部26は、階調変換処理後の画像データを、Y(輝度)信号とC(色)信号とに変換する。変換されたY信号は加算部36へ出力され、C信号は加算部37へ出力される。
【0024】
エッジ抽出部27は、第1ノイズ低減部21でノイズ低減処理が行われた画像データから、エッジを抽出する処理を行う。エッジ強調部28は、エッジ抽出部27で抽出されたエッジのデータに所定のゲインを乗じるエッジ強調処理を行う。
【0025】
乗算部38は、ROM5に格納されている粒状パターンのY成分データに、後述するゲインGRN_Yを乗算して、加算部36に出力する。加算部36は、Y信号に、エッジ強調部28から入力されるエッジデータ、および、乗算部38から入力される粒状パターンのY成分データを加算する。Y信号は、撮影時およびRAWデータ編集時にはYC変換部26から入力され、JPEG圧縮データ編集時には、RAM4から入力される。加算部36から出力されるY信号は、Y階調変換部29で後述する階調変換処理(第2の階調変換処理)が行われた後、Y第2ノイズ低減部30でノイズを低減する処理が行われる。
【0026】
乗算部39は、ROM5に格納されている粒状パターンのC成分データに、後述するゲインGRN_Cを乗算して、加算部37に出力する。加算部37は、C信号に、乗算部39から入力される粒状パターンのC成分データを加算する。C信号は、撮影時およびRAWデータ編集時にはYC変換部26から入力され、JPEG圧縮データ編集時には、RAM4から入力される。加算部37から出力されるC信号は、C階調変換部31で後述する階調変換処理(第2の階調変換処理)が行われた後、C第2ノイズ低減部32でノイズを低減する処理が行われる。
【0027】
リサイズ部33は、ノイズ低減処理後のY信号およびC信号を、記録時の画像サイズに合わせてリサイズする。JPEG圧縮部34は、リサイズされたY信号およびC信号に対してJPEG圧縮を行う。JPEG圧縮後のデータは、I/F9を介して記録媒体10に記録される。JPEG伸長部35は、記録媒体10に記録されているJPEG圧縮データを読み出して、圧縮前の状態に戻す伸長処理を行う。
【0028】
=撮影時の処理フロー=
図3Aおよび図3Bは、一実施形態に係る画像処理装置を含むデジタルカメラによる撮影時の処理フローを示すフローチャートである。ユーザによってレリーズボタンがオンされると、ステップS10の処理が開始される。
【0029】
ステップS10では、周知の測光処理および測距処理が実行され、続くステップS20では、周知の露出制御および焦点制御が実行される。ステップS30では、撮像部1にて撮像処理が実行される。ステップS40では、撮像部1で撮像処理が実行された後、A/D変換部2でA/D変換処理が行われることによって得られた画像データをRAM4に一時的に格納する。
【0030】
ステップS50では、画像の記録形式がJPEG形式であるか、RAW形式であるかを判定する。画像の記録形式は、撮影前に、ユーザが操作部7を操作することにより、設定することができる。画像の記録形式がJPEG形式であると判定すると、ステップS60に進み、RAW形式であると判定すると、図3BのステップS250に進む。
【0031】
ステップS60では、画像の記録モードが銀塩調モードであるか、通常モードであるかを判定する。銀塩調モードとは、銀塩写真と同様の視覚効果を得るために、銀塩粒子による粒状感に似せた粒状パターンを画像データに重畳するモードである。画像の記録モードは、撮影前に、ユーザが操作部7を操作することにより、設定することができる。画像の記録モードが通常モードであると判定するとステップS70に進む。
【0032】
ステップS70では、通常モードにおけるノイズ低減ゲインNR1を算出する。図4は、通常モードにおける各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。各種ゲインには、第1ノイズ低減部21でノイズ低減処理を行う際に用いるゲインNR1、粒状パターンのY成分に乗じるゲインGRN_Y、粒状パターンのC成分に乗じるゲインGRN_C、Y第2ノイズ低減部30でノイズ低減処理を行う際に用いるゲインNR2_Y、および、C第2ノイズ低減部32でノイズ低減処理を行う際に用いるゲインNR2_Cが含まれる。
【0033】
各種ゲインは、撮影時に設定されるISO感度に応じて決められる。例えば、ISO感度が800の場合には、ゲインNR1は4、ゲインNR2_Yは2、ゲインNR2_Cは2となる。ただし、通常モードでは、画像データに粒状パターンを重畳させる処理を行わないため、ゲインGRN_Y、GRN_Cの欄は、空白となっている。なお、ゲインGRN_Y、GRN_Cをそれぞれ0として、粒状パターンを重畳させる処理を行うようにしてもよい。
【0034】
各ISO感度に対応する撮像ノイズは、ISO感度100の場合の撮像ノイズを基準としたものであり、値が小さくなるほど、ノイズが大きいことを示す。すなわち、ISO感度が大きくなるほど、撮像ノイズは大きくなる。同様に、画像ノイズも、ISO感度100の場合の画像ノイズを基準としており、値が小さくなるほど、ノイズが大きいことを示している。従って、ISO感度が大きくなるほど、画像ノイズも大きくなる。
【0035】
ROM5には、図4に示すような、各ISO感度に応じた各種ゲインを定めたデータテーブルが格納されているので、このデータテーブルを読み出して、撮影時のISO感度に応じたゲインNR1を算出する。なお、ゲインNR1の値が大きいほど、ノイズ低減処理時のノイズ低減効果は大きくなる。
【0036】
一方、ステップS60において、画像の記録モードが銀塩調モードであると判定すると、ステップS80に進む。ステップS80では、銀塩調モードにおけるノイズ低減ゲインNR1を算出する。図5は、銀塩調モードにおける各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。図5において、各種ゲイン、撮像ノイズ、および、画像ノイズの見方は、図4と同じである。
【0037】
銀塩調モードでは、ISO感度によらず、最終的に得られる画像データ上の粒状感を一定に保つために、ISO感度に応じた撮像ノイズの増幅に合わせて、合成する粒状パターンの強度(ゲインGRN_Y、GRN_C)、および、粒状パターン合成後のノイズ低減強度(ゲインNR2_Y、NR2_C)を制御する。ここでは、ISO感度が高くなるほど、ゲインGRN_Y、GRN_Cを小さくして、画像データに合成する粒状パターンの強度を弱くしている。図5に示すように、粒状パターン付加後の画像データの画像ノイズは、ISO感度によらず一定になっている。
【0038】
また、画像データに重畳する粒状パターンの粒状感を保つために、通常モードに比べて、ゲインNR2_Y、NR2_Cを弱めに設定している。さらに、粒状パターンの強度は、相対的に輝度(Y)に対して、色差(C)を弱めて、色ノイズが不必要に出ないようにしている。
【0039】
ROM5には、図5に示すような、ISO感度に応じた各種ゲインを定めたデータテーブルが格納されているので、このデータテーブルを読み出して、撮影時のISO感度に応じたゲインNR1を算出する。
【0040】
ステップS90では、第1ノイズ低減部21において、RAM4に格納されている画像データを読み出して、ステップS70またはステップS80で算出したノイズ低減ゲインNR1を用いて、ノイズを低減する処理を行う。
【0041】
ステップS100では、ホワイトバランス補正部22において、ノイズ低減処理後の画像データに対して、ホワイトバランスを補正する処理を行う。ステップS110では、同時化処理部23において、同時化処理が行われ、ステップS120では、色変換部24において、色変換処理が行われる。
【0042】
ステップS130では、階調変換部25において、階調変換処理を行う。ここでは、表示部8のガンマ特性を考慮して、暗部を伸長し、明部を圧縮するような階調変換処理を行う。図7は、ステップS130で階調変換処理を行う際の階調変換特性の一例を示す図である。階調変換処理を行うと、図3BのステップS140に進む。
【0043】
ステップS140では、YC変換部26において、階調変換処理後の画像データを、Y(輝度)信号とC(色)信号とに変換する。
【0044】
ステップS150では、画像の記録モードが銀塩調モードであるか、通常モードであるかを判定する。この判定は、ステップS60の判定と同じである。画像の記録モードが通常モードであると判定するとステップS210に進み、銀塩調モードであると判定すると、ステップS160に進む。
【0045】
ステップS160では、銀塩調モードにおけるゲインGRN_Y、GRN_Cを算出する。ゲインGRN_Y、GRN_Cの算出では、上述した図5に示すようなデータテーブルをROM5から読み出して、撮影時のISO感度に応じたゲインGRN_Y、GRN_Cを算出する。
【0046】
ステップS170では、乗算部38において、ROM5から粒状パターンのY成分データを読み出し、読み出した粒状パターンのY成分データに、ステップS160で算出されたゲインGRN_Yを乗算する。また、乗算部39において、ROM5から粒状パターンのC成分データを読み出し、読み出した粒状パターンのC成分データに、ステップS160で算出されたゲインGRN_Cを乗算する。
【0047】
ステップS180では、加算部36において、YC変換部26で変換されたY信号に、エッジ強調部28から入力されるエッジデータ、および、乗算部38から入力される粒状パターンのY成分データを加算する。また、加算部37において、YC変換部26で変換されたC信号に、乗算部39から入力される粒状パターンのC成分データを加算する。
【0048】
ステップS190では、Y階調変換部29において、Y信号用の階調変換テーブルをROM5から読み出すとともに、C階調変換部31において、C信号用の階調変換テーブルをROM5から読み出す。
【0049】
図8は、Y信号の階調変換処理を行う際の階調変換特性の一例を示す図である。この階調変換特性は、画像データのコントラストを強調する特性、すなわち、暗部および明部を圧縮して、中間調を伸長するような特性となっている。また、図9は、C信号の階調変換処理を行う際の階調変換特性の一例を示す図である。ROM5には、図8に示すような階調変換特性の階調変換テーブル、および、図9に示すような階調変換特性の階調変換テーブルが格納されている。ROM5から階調変換テーブルを読み出すと、ステップS200に進む。
【0050】
ステップS200では、Y階調変換部29において、加算部36から入力されるY信号に対して、ステップS190で読み込んだY信号用の階調変換テーブルを用いて、階調変換処理を行うとともに、C階調変換部31において、加算部37から入力されるC信号に対して、ステップS190で読み込んだC信号用の階調変換テーブルを用いて、階調変換処理を行う。
【0051】
ステップS210では、Y第2ノイズ低減部30において、階調変換処理後のY信号に対して、ノイズを低減する処理を行うとともに、C第2ノイズ低減部32において、階調変換処理後のC信号に対して、ノイズを低減する処理を行う。ノイズ低減処理では、通常モードまたは銀塩調モードに応じたゲインNR2_Y、NR2_Cを用いる。例えば、ステップS150の判定において、通常モードと判定した場合には、図4に示すようなデータテーブルをROM5から読み出して、撮影時のISO感度に応じたゲインNR2_Y、NR2_Cを求める。また、ステップS150の判定において、銀塩調モードと判定した場合には、図5に示すようなデータテーブルをROM5から読み出して、撮影時のISO感度に応じたゲインNR2_Y、NR2_Cを求める。Y第2ノイズ低減部30は、ゲインNR2_Yを用いて、Y信号のノイズ低減処理を行い、C第2ノイズ低減部32は、ゲインNR2_Cを用いて、C信号のノイズ低減処理を行う。
【0052】
ステップS220では、リサイズ部33において、ノイズ低減処理後のY信号およびC信号を、記録時の画像サイズに合わせてリサイズする。ステップS230では、JPEG圧縮部34において、リサイズされたY信号およびC信号に対してJPEG圧縮を行う。ステップS240では、JPEG圧縮されたY信号およびC信号をRAM4に格納する。
【0053】
ステップS250では、画像の記録モードや露出条件などの撮影情報をフィルヘッダ情報として作成し、ステップS260では、作成されたファイルヘッダ情報を、JPEG圧縮されてRAM4に一時的に格納されたデータに付加して、I/F9を介して記録媒体10に記録する。
【0054】
=RAWデータ編集時の処理フロー=
図3Aに示す撮影時の処理フローを示すフローチャートにおいて、ステップS50で画像の記録形式がRAW形式であると判定されると、ステップS60以後の画像処理は行われずに、RAWデータとして、記録媒体10に記録される。以下では、記録媒体10に記録されたRAWデータを読み出して、画像処理を行う場合の処理について説明する。
【0055】
図10は、RAWデータの編集時の処理フローを示すフローチャートである。図10のフローチャートにおいて、図3Aのフローチャートで行われる処理と同じ処理を行うステップについては、同じステップ番号を付して詳しい説明は省略する。また、図10のステップS130より後の処理は、図3Bに示すフローチャートの処理と同じであるため、図および説明を省略する。
【0056】
ステップS1000では、RAW形式の画像データを、I/F9を介して記録媒体10から読み出す。ステップS1010では、画像データに付加されたファイルヘッダ情報から、撮影情報を読み出す。ステップS40では、読み出した画像データおよび撮影情報をRAM4に格納する。
【0057】
ステップS60以後の処理は、図3Aおよび図3Bに示すフローチャートの処理と同じである。
【0058】
=JPEG圧縮データ編集時の処理=
図3Aおよび図3Bに示す撮影時の処理フローを示すフローチャートにおいて、ステップS60およびステップS150の判定で画像の記録モードが通常モードであると判定された場合、画像データには、銀塩粒子による粒状感に似せた粒状パターンは重畳しない。以下では、撮影時に通常モードで記録された画像データを読み出して、銀塩粒子による粒状感に似せた粒状パターンを重畳して、記録媒体10に記録する処理について説明する。
【0059】
図11は、JPEG圧縮データの編集時の処理フローを示すフローチャートである。図11のフローチャートにおいて、図3A、図3B、および、図10のフローチャートで行われる処理と同じ処理を行うステップについては、同じステップ番号を付して詳しい説明は省略する。
【0060】
ステップS1100では、JPEG圧縮された画像データを、I/F9を介して記録媒体10から読み出す。
【0061】
ステップS1110では、JPEG伸長部35において、ステップS1100で読み出した画像データを、JPEG圧縮前の状態に戻す伸長処理を行う。伸長処理が行われた画像データ、および、ステップS1010で読み出された撮影情報は、ステップS40において、RAM4に格納される。
【0062】
ステップS1120では、RAM4に格納された画像データを表示部8に表示する。これにより、ユーザは、粒状パターンを重畳する画像を確認することができる。
【0063】
ステップS160Aでは、JPEG圧縮データ編集時の銀塩調モードにおけるゲインGRN_Y、GRN_Cを算出する。図6は、JPEG圧縮データ編集時の処理で用いるデータテーブルの一例を示す図である。図6において、各種ゲイン、撮像ノイズ、および、画像ノイズの見方は、図4、図5と同じである。
【0064】
JPEG圧縮データ編集時は、銀塩調モードでの撮影処理時に得られる画質と同等の画質を得るため、通常モードでの撮影時のISO感度およびゲインNR1を考慮し、粒状パターンの強度(GRN_Y、GRN_C)と合成後のノイズ低減強度(NR2_Y、NR_C)を制御する。
【0065】
ROM5には、図6に示すような、ISO感度に応じた各種ゲインを定めたデータテーブルが格納されているので、このデータテーブルを読み出して、撮影時のISO感度に応じたゲインGRN_Y、GRN_Cを算出する。
【0066】
ステップS210Aでは、Y第2ノイズ低減部30において、階調変換処理後のY信号に対して、ノイズを低減する処理を行うとともに、C第2ノイズ低減部32において、階調変換処理後のC信号に対して、ノイズを低減する処理を行う。ここでは、図6に示すようなデータテーブルをROM5から読み出して、撮影時のISO感度に応じたゲインNR2_Y、NR2_Cを求める。Y第2ノイズ低減部30は、求めたゲインNR2_Yを用いて、Y信号のノイズ低減処理を行い、C第2ノイズ低減部32は、求めたゲインNR2_Cを用いて、C信号のノイズ低減処理を行う。
【0067】
以上、一実施形態における画像処理装置によれば、画像データに対して同時化処理を行った後に、所定の粒状パターンを付加する処理を行うので、粒状パターンを付加した後に同時化処理を行うことによって、銀塩粒子独特の細かな粒状感が失われたり、粒状パターンを画像の構造と認識し、本来画像にはない幾何パターンが発生してしまうという問題を防いで、銀塩写真の粒状感を適切に再現することができる。
【0068】
また、一実施形態における画像処理装置によれば、同時化処理が行われた画像データに対して第1の階調変換処理を行い、階調変換処理後の画像データに対して所定の粒状パターンを付加する。これにより、粒状パターンを付加した後に階調変換処理を行うことによって、暗部の粒状パターンが強調されて粒状感が損なわれるのを防ぐことができる。
【0069】
さらに、一実施形態における画像処理装置によれば、粒状パターンを付加した画像データに対して、第1の階調変換処理とは異なる第2の階調変換処理を行うので、画像本来の階調特性と階調レベルに応じた粒状感の制御とを両立させることができる。この第2の階調変換処理を、画像データのコントラストを強調する階調変換処理とするので、ハイライトおよびシャドーの粒状感を抑えつつ、中間調の粒状感を強調して、銀塩写真が持つ独特の粒状感を表現することができる。
【0070】
また、一実施形態における画像処理装置によれば、所定の粒状パターンが付加される前の画像データから、エッジ強調処理で用いるエッジを抽出する。粒状パターン付加後の画像データからエッジを抽出する処理を行うと、エッジではない部分を誤ってエッジとして抽出してしまう可能性があるが、粒状パターン付加前の画像データからエッジを抽出することにより、エッジの誤抽出を防ぐことができる。
【0071】
また、一実施形態における画像処理装置によれば、画像データに付加する粒状パターンの強度を調整するので、所望の粒状パターンを付加することができる。特に、撮影時の撮影感度に応じて、粒状パターンの強度を調整するので、撮影感度に応じて生じるノイズ成分を考慮して、適切な粒状パターンを付加することができる。
【0072】
なお、上述した実施形態の説明では、画像処理装置をデジタルスチルカメラに適用した例を挙げて説明したが、実施形態で説明した処理を実現するためのプログラムをコンピュータが実行する構成とすることもできる。すなわち、CPU、RAM等の主記憶装置、実施形態で説明した処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えたコンピュータにおいて、CPUが上記記憶媒体に記憶されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【0073】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、上述したプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータがプログラムを実行するようにしても良い。
【0074】
本発明は、上述した一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、画像データに付加する粒状パターンの強度を決定するためのゲインGRN_Y、GRN_Cは、撮影時のISO感度に応じて求めるようにしたが、操作部7の操作により、ユーザが任意の値に設定できるようにしてもよい。この方法によれば、ユーザの希望する強度の粒状パターンを画像データに付加することができる。また、画像上のノイズの程度に応じて、粒状パターンの強度を決定するためのゲインGRN_Y、GRN_Cを設定するようにしてもよい。
【0075】
上述した実施形態では、画像データをJPEG圧縮するものとして説明したが、画像データの圧縮方式は、JPEG形式に限定されることはない。
【図面の簡単な説明】
【0076】
【図1】一実施形態に係る画像処理装置を含むデジタルカメラの構成を示すブロック図である。
【図2】画像処理回路の詳細な構成を示すブロック図である。
【図3A】一実施形態に係る画像処理装置を含むデジタルカメラによる撮影時の処理フローの前段を示すフローチャートである。
【図3B】一実施形態に係る画像処理装置を含むデジタルカメラによる撮影時の処理フローの後段を示すフローチャートである。
【図4】通常モードにおける各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。
【図5】銀塩調モードにおける各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。
【図6】JPEG圧縮データ編集時における各種ゲイン、撮像ノイズ、および、画像ノイズの一例を示す図である。
【図7】粒状パターンを合成する前に行う階調変換処理の階調変換特性の一例を示す図である。
【図8】Y信号の階調変換処理を行う際の階調変換特性の一例を示す図である。
【図9】C信号の階調変換処理を行う際の階調変換特性の一例を示す図である。
【図10】RAWデータの編集時の処理フローを示すフローチャートである。
【図11】JPEG圧縮データの編集時の処理フローを示すフローチャートである。
【符号の説明】
【0077】
1…撮像部、2…A/D変換部、3…マイコン、4…RAM、5…ROM、6…画像処理回路、7…操作部、8…表示部、9…I/F、10…記録媒体、21…第1ノイズ低減部、22…ホワイトバランス補正部、23…同時化処理部、24…色変換部、25…階調変換部、26…YC変換部、27…エッジ抽出部、28…エッジ強調部、29…Y階調変換部、30…Y第2ノイズ低減部、31…C階調変換部、32…C第2ノイズ低減部、33…リサイズ部、34…JPEG圧縮部、35…JPEG伸長部、36…加算部、37…加算部、38…乗算部、39…乗算部
【特許請求の範囲】
【請求項1】
複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成する同時化処理部と、
前記同時化処理部によって生成された画像データに対して、所定の粒状パターンを付加する粒状パターン付加部と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記同時化処理部によって生成された画像データに対して第1の階調変換処理を施す第1階調変換部をさらに備え、
前記粒状パターン付加部は、前記第1の階調変換処理が行われた画像データに対して、前記所定の粒状パターンを付加することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記粒状パターンを付加された画像データに対して、前記第1の階調変換処理とは異なる第2の階調変換処理を行う第2階調変換部をさらに備えることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記第2階調変換部は、前記第2の階調変換処理として、画像データのコントラストを強調する階調変換処理を行うことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記所定の粒状パターンが付加される前の画像データから、エッジ強調処理で用いるエッジを抽出するエッジ抽出部をさらに備えることを特徴とする請求項1に記載の画像処理装置。
【請求項6】
画像データに付加する前記所定の粒状パターンの強度を調整する強度調整部をさらに備えることを特徴とする請求項1から請求項5のいずれか一項に記載の画像処理装置。
【請求項7】
前記強度調整部は、前記撮像装置による撮影時の撮影感度に応じて、前記所定の粒状パターンの強度を調整することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
画像データに付加する前記所定の粒状パターンの強度を設定するための設定部をさらに備え、
前記強度調整部は、ユーザによる前記設定部の操作に基づいて、前記所定の粒状パターンの強度を調整することを特徴とする請求項6に記載の画像処理装置。
【請求項9】
少なくとも第1の階調変換処理を含む所定の画像処理が施された画像データに対して、所定の粒状パターンを付加する粒状パターン付加部と、
前記粒状パターンを付加された画像データに対して、前記第1の階調変換処理とは異なる第2の階調変換処理を行う第2階調変換部と、
を備えることを特徴とする画像処理装置。
【請求項10】
前記第2階調変換部は、前記第2の階調変換処理として、画像データのコントラストを強調する階調変換処理を行うことを特徴とする請求項9に記載の画像処理装置。
【請求項11】
複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成するステップと、
生成された前記画像データに対して、所定の粒状パターンを付加するステップと、
を備えることを特徴とする画像処理方法。
【請求項12】
複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成するステップと、
生成された前記画像データに対して、所定の粒状パターンを付加するステップと、
をコンピュータに実行させるための画像処理プログラム。
【請求項1】
複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成する同時化処理部と、
前記同時化処理部によって生成された画像データに対して、所定の粒状パターンを付加する粒状パターン付加部と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記同時化処理部によって生成された画像データに対して第1の階調変換処理を施す第1階調変換部をさらに備え、
前記粒状パターン付加部は、前記第1の階調変換処理が行われた画像データに対して、前記所定の粒状パターンを付加することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記粒状パターンを付加された画像データに対して、前記第1の階調変換処理とは異なる第2の階調変換処理を行う第2階調変換部をさらに備えることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記第2階調変換部は、前記第2の階調変換処理として、画像データのコントラストを強調する階調変換処理を行うことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記所定の粒状パターンが付加される前の画像データから、エッジ強調処理で用いるエッジを抽出するエッジ抽出部をさらに備えることを特徴とする請求項1に記載の画像処理装置。
【請求項6】
画像データに付加する前記所定の粒状パターンの強度を調整する強度調整部をさらに備えることを特徴とする請求項1から請求項5のいずれか一項に記載の画像処理装置。
【請求項7】
前記強度調整部は、前記撮像装置による撮影時の撮影感度に応じて、前記所定の粒状パターンの強度を調整することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
画像データに付加する前記所定の粒状パターンの強度を設定するための設定部をさらに備え、
前記強度調整部は、ユーザによる前記設定部の操作に基づいて、前記所定の粒状パターンの強度を調整することを特徴とする請求項6に記載の画像処理装置。
【請求項9】
少なくとも第1の階調変換処理を含む所定の画像処理が施された画像データに対して、所定の粒状パターンを付加する粒状パターン付加部と、
前記粒状パターンを付加された画像データに対して、前記第1の階調変換処理とは異なる第2の階調変換処理を行う第2階調変換部と、
を備えることを特徴とする画像処理装置。
【請求項10】
前記第2階調変換部は、前記第2の階調変換処理として、画像データのコントラストを強調する階調変換処理を行うことを特徴とする請求項9に記載の画像処理装置。
【請求項11】
複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成するステップと、
生成された前記画像データに対して、所定の粒状パターンを付加するステップと、
を備えることを特徴とする画像処理方法。
【請求項12】
複数のカラーフィルタを配置した撮像素子を有する撮像装置により得られた画像データに基づいて、1画素あたり複数の色を有する画像データを生成するステップと、
生成された前記画像データに対して、所定の粒状パターンを付加するステップと、
をコンピュータに実行させるための画像処理プログラム。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2010−62836(P2010−62836A)
【公開日】平成22年3月18日(2010.3.18)
【国際特許分類】
【出願番号】特願2008−226074(P2008−226074)
【出願日】平成20年9月3日(2008.9.3)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
【公開日】平成22年3月18日(2010.3.18)
【国際特許分類】
【出願日】平成20年9月3日(2008.9.3)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
[ Back to top ]