画像処理装置、画像処理プログラム
【課題】 画素間の感度ばらつきの影響を低減して三板画像を高精度に生成できる画像処理装置等を提供する。
【解決手段】 光学系により結像される光学像を撮像することにより、各画素につき１種類以上の色成分が欠落している画像を生成して出力するベイヤー配列ＣＣＤ３と、このＣＣＤ３から単板画像バッファ４を介して出力される画像に対してライン間でのゲインの違いを補正するライン補正回路５と、このライン補正回路５からＷＢ補正回路６を介して出力される単板画像データの各画素で欠落している色成分を近傍画素の情報から補間することによりカラー画像データを生成する補間回路７と、を備えるデジタルカメラ１に適用された画像処理装置。
【解決手段】 光学系により結像される光学像を撮像することにより、各画素につき１種類以上の色成分が欠落している画像を生成して出力するベイヤー配列ＣＣＤ３と、このＣＣＤ３から単板画像バッファ４を介して出力される画像に対してライン間でのゲインの違いを補正するライン補正回路５と、このライン補正回路５からＷＢ補正回路６を介して出力される単板画像データの各画素で欠落している色成分を近傍画素の情報から補間することによりカラー画像データを生成する補間回路７と、を備えるデジタルカメラ１に適用された画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単板撮像系、二板撮像系、または三板画素ずらし撮像系から出力された画像を処理して、画素毎に３色成分値をもつカラーデジタル画像を生成する画像処理装置、画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等において多く使用されている単板撮像系は、画素毎に異なる色フィルタを装着した単板撮像素子を用いたものであり、撮像素子からの出力画像は、各画素について一種類の色成分値しかもっていない。従って、カラーデジタル画像を生成するためには、各画素において欠落している色成分値を補う補間処理を行うことが必要となる。このような欠落している色成分値を補う補間処理が必要となるのは、二板撮像系や三板画素ずらし撮像系を用いた装置の場合にも同様である。
【０００３】
この補間処理は、工夫しないと、最終的に得られるカラー画像にぼけや偽色などの劣化が生じることがある。そのために、従来より種々の方法による補間処理が提案されており、大別すると、エッジ検出の方法に基づくものと、色相関の方法に基づくものと、に分類される。
【０００４】
エッジ検出に基づく技術としては、例えば特開平８−２９８６６９号公報に記載のものが挙げられる。該公報に記載の技術について、図３２を参照して説明する。図３２は、エッジ検出に基づく従来の補間処理を説明するための図である。
【０００５】
単板撮像素子が、例えば図３２（Ａ）に示すような３原色ベイヤー（Bayer）配列の色フィルタを備えた単板ベイヤー配列撮像素子であるとする。このとき、図３２（Ｂ）に示すように、注目画素であるＢ５の周囲に縦方向および横方向に沿った十字状の近傍をとって、該注目画素に対する水平方向のＧに対する補間値Ｇｈと、垂直方向のＧに対する補間値Ｇｖと、を次の数式１に示すように推定する。
［数１］
Ｇｈ＝（Ｇ４＋Ｇ６）／２＋（２×Ｂ５−Ｂ３−Ｂ７）／４
Ｇｖ＝（Ｇ２＋Ｇ８）／２＋（２×Ｂ５−Ｂ１−Ｂ９）／４
【０００６】
次に、水平方向と垂直方向との何れの方向に段差が多いかを示す評価値ｄＨ，ｄＶを、次の数式２に示すように、
［数２］
ｄＨ＝｜Ｇ４−Ｇ６｜＋｜Ｂ３−２×Ｂ５＋Ｂ７｜
ｄＶ＝｜Ｇ２−Ｇ８｜＋｜Ｂ１−２×Ｂ５＋Ｂ９｜
と計算する。ここに、記号｜ｘ｜は、ｘの絶対値を表している。こうして計算した評価値ｄＨ，ｄＶの内の、値が小さくより平坦であると判断された方向の補間値Ｇｈまたは補間値Ｇｖを用いるようになっている。
【０００７】
一方、色相関に基づく技術としては、例えば特開平１１−２１５５１２号公報に記載のものが挙げられる。この公報に記載の技術について、図３３を参照して説明する。図３３は、色相関に基づく従来の補間処理を説明するための図である。
【０００８】
図３３に示すように、まず、注目画素Ｘの付近で、撮像素子に構成された色フィルタの色成分（例えば、原色系の色フィルタである場合にはｒ，ｇ，ｂ）の内の何れか２種類の色成分ｐ，ｑの各成分値Ｖp ，Ｖq 同士の間に、係数αqp，βqpを用いて表現される次の数式３、
［数３］
Ｖq ＝αqp×Ｖp ＋βqp
のような直線的な相関関係が成立すると仮定する。ここに、撮像素子に構成された色フィルタが例えば原色系の色フィルタである場合には、ｐ，ｑはｒ，ｇ，ｂの何れかである。また、色成分ｐ，ｑに各々対応する成分値Ｖp ，Ｖq は、注目画素Ｘの近傍の画素における値である。
【０００９】
そして、注目画素Ｘの周囲に設定した近傍Ｕにおいて、該近傍Ｕ内の画素を、得られている色成分ｒ，ｇ，ｂの種類により分類して３つの部分集合Ｕｒ，Ｕｇ，Ｕｂを形成し、上記係数αqp，βqpを、各部分集合における画素値の平均Ａｃ（ここに、ｃはｒ，ｇ，ｂの何れか）と標準偏差Ｓｃ（ここに、ｃはｒ，ｇ，ｂの何れか）とに基づいて、次の数式４により推定する。
［数４］
αqp＝Ｓq ／Ｓp ， βqp＝Ａq −αqpＡp
【００１０】
これは、色成分ｐの分布幅（標準偏差Ｓp ）に対する色成分ｑの分布幅（標準偏差Ｓq ）の比が、上記数式３に示した直線的な相関関係の傾きαqpを与え、さらに求められた傾きαqpの直線は、色成分ｐの平均値Ａp と色成分ｑの平均値Ａq とでプロットされる点を通るという考えに基づくものである。
【００１１】
そして、推定したαqp，βqpに基づき、注目画素Ｘにおいて欠落している色成分ｍの値Ｘm を、該注目画素Ｘにおいて得られている色成分ｅの値Ｘe から、次の数式５に示すようにして求める。
［数５］
Ｘm ＝αme×Ｘe ＋βme
ここに、ｍ，ｅは、それぞれｒ，ｇ，ｂの何れかをとる。
【００１２】
このように、色相関に基づく従来技術は、注目画素の近傍における異なる色成分間の画素値の相関を推定することを特徴としている。
【特許文献１】特開平８−２９８６６９号公報
【特許文献２】特開平１１−２１５５１２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
ところで、実際の撮像系では、ライン間でゲインの差が生じたり、同じ色フィルタを有する画素同士であってもフィルタの分光特性が微妙に異なっていたりすることがあるために、同じ色成分が得られるはずの画素間に感度ばらつきが生じることがある。
【００１４】
しかし、上述した従来技術は、何れも、注目画素で得られている色成分自体を特に補正することなくそのまま補間処理の結果として用いているために、注目画素において欠落する色成分を求める際にも、注目画素自体の情報が結果にそのまま反映される特性となっている。通常は、各画素で元々得られている色成分の情報を、変更することなくそのまま補間処理の結果に使う方が効率が良いのであるが、同じ色成分が得られる画素で感度が異なっている場合には、このような処理を行うと、画素間の感度ばらつきがそのまま補間処理の結果に反映されてしまうことになり、うっすらと格子縞が見えるなどの副作用が生じていた。
【００１５】
本発明は上記事情に鑑みてなされたものであり、画素間の感度にばらつきがあったとしてもその影響を低減して高精度な補間処理を行い得る画像処理装置、画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１６】
上記の目的を達成するために、第１の発明による画像処理装置は、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき１種類以上の色成分が欠落している画像を処理する画像処理装置であって、同じ色成分が得られている画素の間の感度差を補正する感度補正手段と、上記感度補正手段により補正された後の画像に対して各画素において欠落する色成分を補う補間手段と、を具備したものである。
【００１７】
また、第２の発明による画像処理装置は、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき１種類以上の色成分が欠落している画像を処理する画像処理装置であって、注目画素の所定の近傍において指定された種類の色成分に対し当該色成分が得られている画素の間の感度差の大小を判定する判定手段と、上記注目画素において欠落する色成分を補う処理を行うものであって該処理を行う際に上記判定手段による判定結果に応じて処理内容を変更可能な補間手段と、を具備したものである。
【００１８】
さらに、第３の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記補間手段が、上記注目画素で得られている色成分に対して、上記近傍内で当該色成分が得られている画素の中から基準画素を定め、上記注目画素の当該色成分に対する感度を上記基準画素の当該色成分に対する感度に合わせた場合に上記注目画素がとるはずの当該色成分の画素値を補正値として計算し、上記判定手段により判定された感度差の大小に応じて、上記注目画素の当該色成分の画素値を、上記補正値に変更するものである。
【００１９】
第４の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記補間手段が、上記所定の近傍内の画素値を重み付け平均する重付平均手段を有して構成されており、該重付平均手段は、上記判定手段の判定結果に応じて重みを変更し重み付け平均により注目画素の画素値を算出するものである。
【００２０】
第５の発明による画像処理装置は、上記第４の発明による画像処理装置において、上記重付平均手段が、上記重みを、上記判定手段において感度差が大きいと判定された種類の色成分が得られている画素に対して小さくなるように変更するものである。
【００２１】
第６の発明による画像処理装置は、上記第４の発明による画像処理装置において、上記重付平均手段が、上記重みを、上記近傍内で同種の色成分が得られている画素間の画素値差分の関数式として計算するものであって、上記判定手段により特定の色成分に対して感度差が大きいと判定された場合には、該関数式を、当該色成分に関する上記画素値差分の影響が小さくなるように変更するものである。
【００２２】
第７の発明による画像処理装置は、上記第４の発明による画像処理装置において、上記重付平均手段が、上記判定手段において感度差があると判定された種類の色成分が得られている画素に対して、上記重みが当該画素間で均等に近付くように変更するものである。
【００２３】
第８の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記判定手段が、上記注目画素の所定の近傍内の画素値から所定の特徴量を計算する特徴量計算手段を有して構成されており、該特徴量の大小に基づいて上記感度差の大小を判定するものである。
【００２４】
第９の発明による画像処理装置は、上記第８の発明による画像処理装置において、上記判定手段が、指定された色成分に関する上記特徴量と上記感度差の量とを対応付けたテーブルをさらに有して構成されており、該特徴量から該テーブルを参照することにより上記感度差の大小を判定するものである。
【００２５】
第１０の発明による画像処理装置は、上記第８または第９の発明による画像処理装置において、上記判定手段が、上記近傍内において、指定された色成分が得られている画素を所定の方法で分類し、各分類における画素値の平均値と変動量とに基づき、上記特徴量を計算するものである。
【００２６】
第１１の発明による画像処理装置は、上記第８または第９の発明による画像処理装置において、上記判定手段が、上記近傍内において、指定された色成分が得られている画素の画素値の平均値と、指定された色成分と異なる所定の色成分が得られている画素の画素値の平均値と、に基づいて、上記特徴量を計算するものである。
【００２７】
第１２の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記補間手段が、上記撮像系により得られる画像サイズを所定の縮小率で縮小したカラー画像を生成し得るように構成されたものであり、上記判定手段は、該補間手段が縮小したカラー画像を生成する際には、該縮小率が所定の閾値以下である場合に、感度差の判定を行わないものである。
【００２８】
第１３の発明による画像処理装置は、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき１種類以上の色成分が欠落している画像を処理する画像処理装置であって、各画素において欠落する色成分を補う補間手段と、上記補間手段による結果に対して補正を行う補間後補正手段と、を具備したものである。
【００２９】
第１４の発明による画像処理装置は、上記第１３の発明による画像処理装置において、上記補間後補正手段が、注目画素の画素値と該注目画素に係る所定の近傍画素の画素値との相関を計算して、相関の高い近傍画素の平均値に基づいて上記注目画素の画素値を補正するものである。
【００３０】
第１５の発明による画像処理装置は、上記第１３の発明による画像処理装置において、上記補間手段が、上記撮像系により得られる画像サイズを所定の縮小率で縮小したカラー画像を生成し得るように構成されたものであり、上記補正後補正手段は、該補間手段が縮小したカラー画像を生成する際には、該縮小率が所定の閾値以下である場合に、補正を行わないものである。
【００３１】
第１６の発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき１種類以上の色成分が欠落している画像を処理させるための画像処理プログラムであって、該コンピュータを、同じ色成分が得られている画素の間の感度差を補正する感度補正手段、上記感度補正手段により補正された後の画像に対して各画素において欠落する色成分を補う補間手段、として機能させるための画像処理プログラムである。
【００３２】
第１７の発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき１種類以上の色成分が欠落している画像を処理させるための画像処理プログラムであって、該コンピュータを、注目画素の所定の近傍において指定された種類の色成分に対し当該色成分が得られている画素の間の感度差の大小を判定する判定手段、上記注目画素において欠落する色成分を補う処理を行うものであって該処理を行う際に上記判定手段による判定結果に応じて処理内容を変更可能な補間手段、として機能させるための画像処理プログラムである。
【００３３】
第１８の発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき１種類以上の色成分が欠落している画像を処理させるための画像処理プログラムであって、該コンピュータを、各画素において欠落する色成分を補う補間手段、上記補間手段による結果に対して補正を行う補間後補正手段、として機能させるための画像処理プログラムである。
【００３４】
第１９の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記感度補正手段が、注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段を有して構成され、上記感度差の量に応じて感度補正を行うものである。
【００３５】
第２０の発明による画像処理装置は、上記第１９の発明による画像処理装置において、上記推定手段が、上記注目画素の所定の近傍内の画素値から所定の特徴量を計算する特徴計算手段を有して構成され、該特徴量に基づいて上記感度差の量を推定するものである。
【００３６】
第２１の発明による画像処理装置は、上記第２０の発明による画像処理装置において、上記推定手段が、上記特徴量と上記感度差の量とを対応付けたテーブルをさらに有して構成され、上記特徴量から上記テーブルを参照することにより、上記感度差の量を推定するものである。
【００３７】
第２２の発明による画像処理装置は、上記第２０の発明による画像処理装置において、上記特徴計算手段が、上記所定の近傍内で、上記注目画素で得られる色成分と異なる種類の色成分が得られている画素の画素値から、上記特徴量を計算するものである。
【００３８】
第２３の発明による画像処理装置は、上記第２０の発明による画像処理装置において、上記特徴計算手段が、上記所定の近傍内で、上記注目画素で得られる色成分と同種の色成分が得られている画素のＮ通り（Ｎは１以上の整数）の組み合わせに対するＮ個の平均値を計算して、これらの計算結果を上記特徴量とするものである。
【００３９】
第２４の発明による画像処理装置は、上記第２３の発明による画像処理装置において、上記感度補正手段が、上記Ｎ個の平均値と上記注目画素の画素値との差Ｄi （ｉは１からＮまでの整数）を求めて、これらＮ個の差Ｄi の内の絶対値が最小となるＤi を上記感度差の量とするものである。
【００４０】
第２５の発明による画像処理装置は、上記第１９の発明による画像処理装置において、上記感度補正手段が、上記感度差の量から所定の関数により感度差補正量を算出して、算出した感度差補正量を上記注目画素の画素値に加算することにより、感度補正を行うものである。
【００４１】
第２６の発明による画像処理装置は、上記第２５の発明による画像処理装置において、上記所定の関数が、上記感度差の量の絶対値がある閾値以上の場合に０となるような関数である。
【００４２】
第２７の発明による画像処理装置は、上記第１９の発明による画像処理装置において、上記感度補正手段が、上記感度差の量に基づいてフィルタ係数を設定する係数設定手段と、上記近傍内で上記注目画素で得られる色成分と同種の色成分が得られている画素に対して上記フィルタ係数を用いた線形フィルタを適用することにより感度補正を行うフィルタ手段と、を有して構成されたものである。
【００４３】
第２８の発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、該コンピュータを、注目画素の所定の近傍において注目画素と該注目画素で得られている色成分と同種の色成分が得られている画素との間の感度差の量を推定する推定手段を有し上記感度差の量に応じて感度補正を行う感度補正手段、上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段、として機能させるための画像処理プログラムである。
【００４４】
第２９の発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、該コンピュータを、注目画素の所定の近傍において注目画素と該注目画素で得られている色成分と同種の色成分が得られている画素との間の感度差の量を推定する推定手段を有し上記感度差の量から所定の関数により感度差補正量を算出して算出した感度差補正量を上記注目画素の画素値に加算することにより、感度補正を行う感度補正手段、上記感度補正手段により補正された後の画像に対して各画素において欠落する色成分を補う補間手段、として機能させるための画像処理プログラムである。
【００４５】
第３０の発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、該コンピュータを、注目画素の所定の近傍において注目画素と該注目画素で得られている色成分と同種の色成分が得られている画素との間の感度差の量を推定する推定手段と上記感度差の量に基づいてフィルタ係数を設定する係数設定手段と上記近傍内で上記注目画素で得られる色成分と同種の色成分が得られている画素に対して上記フィルタ係数を用いた線形フィルタを適用することにより感度補正を行うフィルタ手段とを有する感度補正手段、上記感度補正手段により補正された後の画像に対して各画素において欠落する色成分を補う補間手段、として機能させるための画像処理プログラムである。
【発明の効果】
【００４６】
本発明の画像処理装置、画像処理プログラムによれば、画素間の感度にばらつきがあったとしてもその影響を低減して高精度な補間処理を行うことが可能となる。
【発明を実施するための最良の形態】
【００４７】
以下、図面を参照して本発明の実施例を説明する。
【実施例１】
【００４８】
図１は本発明の実施例１を示したものであり、デジタルカメラの構成を示すブロック図である。
【００４９】
この実施例１は、本発明の画像処理装置をデジタルカメラに適用したものである。
【００５０】
デジタルカメラ１は、図１に示すように、光学系２と、単板ベイヤー配列ＣＣＤ３と、単板画像バッファ４と、ライン補正回路５と、ＷＢ補正回路６と、補間回路７と、カラー画像バッファ８と、画質調整回路９と、記録回路１０と、制御回路１１と、を有して構成されている。
【００５１】
上記光学系２は、被写体光束を集光するためのものである。
【００５２】
上記単板ベイヤー配列ＣＣＤ３は、この光学系２により結像される被写体像を光電変換して撮像信号を出力するものである。
【００５３】
上記単板画像バッファ４は、この単板ベイヤー配列ＣＣＤ３から出力され図示しないＡ／Ｄ変換回路等によりデジタル化された画像データを一旦記憶するものである。
【００５４】
上記ライン補正回路５は、この単板画像バッファ４内に記憶されている画像に対して、ライン間でのゲインの違いを補正する感度補正手段である。
【００５５】
上記ＷＢ補正回路６は、このライン補正回路５から出力される画像データに、ホワイトバランス処理を行うものである。
【００５６】
上記補間回路７は、このＷＢ補正回路６から出力される単板画像データにおいて各画素で欠落している色成分を、近傍画素の情報から補間することにより、カラー画像データを生成する補間手段である。
【００５７】
上記カラー画像バッファ８は、この補間回路７により補間された三板のカラー画像データを一旦記憶するためのものである。
【００５８】
上記画質調整回路９は、このカラー画像バッファ８に記憶されているカラー画像に対して、色変換やエッジ強調などの画質調整処理を行うものである。
【００５９】
上記記録回路１０は、この画質調整回路９により画質を調整された三板のカラー画像データを記録するものである。
【００６０】
上記制御回路１１は、上述したような各回路を含むこのデジタルカメラ１を統括的に制御するための制御手段である。
【００６１】
このようなデジタルカメラ１の作用は、以下のようになっている。
【００６２】
このデジタルカメラ１に設けられている図示しないシャッタボタンがユーザーにより押下されると、まず、光学系２による光学像が単板ベイヤー配列ＣＣＤ３により撮像されて、各画素当たり一種類の色成分しかない単板状態の画像が単板画像バッファ４に記憶される。
【００６３】
次に、ＷＢ補正回路６が動作して、白色の被写体に対するＲ成分とＧ成分との比Ｃrg、およびＢ成分とＧ成分との比Ｃbg、をそれぞれ計算してホワイトバランス係数とする。本実施例では、上記単板画像バッファ４から所定サイズのブロック毎に画素値を読み出して、このブロック内において、各画素で得られている色成分の種類別に画素値の平均をとる処理を行う。
【００６４】
その結果、各ブロックの平均色のＲＧＢ値が得られるが、さらにＲ成分とＧ成分との比、およびＢ成分とＧ成分との比を計算して、これらの比が所定の関係を満たしているブロックのみを選ぶ。そして、選んだブロックのＲ成分とＧ成分との比、およびＢ成分とＧ成分との比、をさらに平均して、最終的なホワイトバランス係数ＣrgおよびＣbgを求める。この手法自体は公知のものである。ただし、この計算中、単板画像バッファ４から画素値を読み出す際に、ライン補正回路５が作用して、画素値の補正を行う。
【００６５】
すなわち、上記ライン補正回路５は、単板ベイヤー配列ＣＣＤ３からの信号読み出し時に生じる偶数ラインと奇数ラインとの間のゲイン段差を補正するものであり、回路にはその補正のための係数（ａ，ｂ）が保持されている。この係数は、均一なグレー被写体を撮影した際の単板画像バッファ４内の画素値に対して、奇数ラインでＧ成分が得られている画素の画素値の平均をＶ１、偶数ラインでＧ成分が得られている画素の画素値の平均をＶ２として、
［数６］
Ｖ２＝ａ×Ｖ１＋ｂ
となるように予め算出されている。この係数を用いて、ライン補正回路５では奇数ラインでＧ成分が得られている画素の画素値ｖを、偶数ラインの感度に合わせて次の数式７に示すように補正して、
［数７］
ｖ’＝ａ×ｖ＋ｂ
この補正後の画素値（補正値）ｖ’をＷＢ補正回路６に出力する。
【００６６】
上述したようなＷＢ補正回路６の処理が終了すると、上記ホワイトバランス係数Ｃrg，Ｃbgは、該ＷＢ補正回路６内に保持される。
【００６７】
次に、補間回路７が単板画像バッファ４内の各画素に対して補間処理を行う。この補間回路７が行う補間処理のアルゴリズムは、上述した特開平８−２９８６６９号公報に記載されているものと同様であるが、本実施例においては、単板画像バッファ４から５ラインずつ画素を読み出して補間回路７内の図示しない内部バッファに記憶させ、該バッファ内のデータに対して補間処理を行うようにしている。
【００６８】
そして、単板画像バッファ４から内部バッファにデータを移す際に、ライン補正回路５およびＷＢ補正回路６が動作して、単板画像バッファ４から読み出した画素値が変更される。
【００６９】
その際は、まず、ライン補正回路５が単板画像バッファ４から読み出した画素値ｖに対する補正結果（補正値）ｖ’として
［数８］
ｖ’＝ａ×ｖ＋ｂ （読出画素が奇数ラインでＧ成分が得られている場合）
ｖ’＝ｖ （その他の場合）
を計算し、さらに、ＷＢ補正回路６が、このライン補正回路５の補正結果（補正値）ｖ’に対して出力ｖ”を、
［数９］
ｖ”＝ｖ’ （読出画素でＧ成分が得られている場合）
ｖ”＝Ｃrg×ｖ’ （読出画素でＲ成分が得られている場合）
ｖ”＝Ｃbg×ｖ’ （読出画素でＢ成分が得られている場合）
と計算して、補間回路７の内部バッファにｖ”を書き込む処理を行う。
【００７０】
その後に、補間回路７によりカラー画像バッファ８に出力されたカラー画像は、画質調整回路９により色変換、エッジ強調、階調変換などの処理が施されて、上記記録回路１０により図示しない記録媒体に記録される。このようにして、デジタルカメラ１の撮像動作が完了する。
【００７１】
なお、この実施例１は、基本的な構成や処理を述べたものであり、本実施例には多くの変形例が考えられる。上記補間回路７による処理は、色成分Ｇが得られている画素において、画素値をそのまま補間処理後のＧ成分の値として用いるものであれば何でも良い。
【００７２】
また、本実施例では単板撮像系を例に挙げたが、二板撮像系や三板画素ずらし撮像系に対しても同様の処理を適用することが可能である。
【００７３】
例えば二板撮像系の場合には、二枚の撮像素子の一方からは全画素でＧ成分が得られ、他方からは市松状にＲ成分とＢ成分とが得られる。例えばＲ成分に対する感度差の補正は、単板ベイヤー配列ＣＣＤ３において市松状に得られるＧ成分に対して本実施例で述べた感度補正と同様の技術を適用することができる。
【００７４】
さらに、三板画素ずらし撮像系の場合には、３枚の撮像素子の内の２枚でＧ成分を取得し、残りの１枚で市松状にＲ，Ｂ成分を取得して、これらの情報から高精細な輝度成分を生成するタイプのものがある。この場合にも、市松状に得られるＲ，Ｂ成分の感度補正を、上述と同様に行うことができる。
【００７５】
このような実施例１によれば、同じ色成分が得られる画素の間で、特にライン間において感度が異なっていても、感度補正手段たるライン補正回路で補正してから補間手段たる補間回路の処理を行うようにしているために、補間後の画像に感度の相異が影響を及ぼすのを防いで、より高品質な画像を得ることができる。
【実施例２】
【００７６】
図２から図１２は本発明の実施例２を示したものであり、図２はデジタルカメラの構成を示すブロック図、図３はＧ段差検出回路の処理を示すフローチャート、図４はＧ段差検出回路およびＧ補間回路における画素の分類を示す図、図５はＧ補間回路の処理を示すフローチャート、図６は上記図５に示したＧ補間回路の処理におけるステップＳ１６の処理を説明するための図、図７は重み計算回路による重み計算の方向を示す図、図８はＲＢ補間回路の処理を示すフローチャート、図９は上記図８に示したＲＢ補間回路の処理におけるステップＳ３１の画素選択を説明するための図、図１０はコンピュータにより行われるソフト処理を示すフローチャート、図１１はコンピュータにより行われるＧ補間ソフト処理を示すフローチャート、図１２はコンピュータにより行われるＲＢ補間ソフト処理を示すフローチャートである。
【００７７】
この実施例２において、上述の実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【００７８】
この実施例２は、上述した実施例１と同様に、画像処理装置をデジタルカメラに適用したものである。
【００７９】
この実施例２のデジタルカメラ２１は、該実施例１のデジタルカメラ１に対して、判定手段であり特徴量計算手段たるＧ段差検出回路２２が付加されており、補間回路７に代えて補間手段たるＧ補間回路２３、Ｇ画像バッファ２６、および補間手段たるＲＢ補間回路２７を設けた点が異なっている。
【００８０】
また、上記Ｇ補間回路２３は、上記Ｇ段差検出回路２２からの出力に基づき補間対象の画素に関する重みを計算するための重付平均手段たる重み計算回路２４と、この重み計算回路２４により算出された重みに基づき重み付きの平均値を計算して補間対象の画素の画素値としＧ画像バッファ２６へ出力する重付平均手段たる平均回路２５と、を有して構成されている。
【００８１】
次に、このようなデジタルカメラ２１の作用を、上述した実施例１と異なる点を主として説明する。
【００８２】
シャッタボタンがユーザーにより押下されると、上記実施例１と同様に、光学系２による光学像が単板ベイヤー配列ＣＣＤ３により撮像されて、各画素当たり一種類の色成分しかない単板状態の画像が単板画像バッファ４に記憶される。
【００８３】
次に、ライン補正回路５およびＷＢ補正回路６が上記実施例１と同様に動作して、ホワイトバランス係数Ｃrg，Ｃbgが算出される。
【００８４】
次に、Ｇ補間回路２３が動作する。このときには、まず、単板画像バッファ４に記憶されている画像データに係る各画素の、周囲５×５画素でなるブロックがこのＧ補間回路２３に設けられている内部バッファに読み込まれる。その際に、上述した実施例１と同様に、ライン補正回路５とＷＢ補正回路６とが作動して、画素値の補正がなされ、さらにＧ段差検出回路２２が作動して、Ｇ成分が得られる画素の偶数ラインと奇数ラインとの間の段差の推定値が計算される。
【００８５】
このＧ段差検出回路２２による段差推定について、図３のフローチャートに沿って説明する。
【００８６】
Ｇ段差検出回路２２は、内部バッファに読み込まれた５×５画素でなるブロック内の各画素を、得られている色成分毎に分類して、分類毎に画素値の平均値を計算する。その際に、Ｇ成分については、図４に示すように、水平方向に隣接する画素から得られる色成分がＲである場合をＧ１、水平方向に隣接する画素から得られる色成分がＢである場合をＧ２、として、さらに２種類に分類する。従って、計算される平均値は４種類となり、Ｒ成分の平均値がＡr 、Ｂ成分の平均値がＡb 、Ｇ１成分の平均値がＡg1、Ｇ２成分の平均値がＡg2、である。そして、Ｇ１またはＧ２に分類された画素については、各分類内の画素値の分散Ｖg1，Ｖg2もそれぞれ計算する（ステップＳ１）。
【００８７】
次に、上記分散Ｖg1，Ｖg2が、両方ともある閾値Ｔ以下であるか否かを判断する（ステップＳ２）。
【００８８】
ここで両方とも閾値Ｔ以下であって、ブロックが比較的平坦であると判断された場合には、段差推定値ｄを分類Ｇ１とＧ２の平均値の差Ａg1−Ａg2として、終了する（ステップＳ３）。
【００８９】
また、上記ステップＳ２において、分散Ｖg1，Ｖg2の少なくとも一方が閾値Ｔを越える場合には、ブロックが平坦であるかどうかが不明である。そこでさらに、ブロック内においてＲ成分とＢ成分とがおよそどれだけ違っているかを、Ｒ成分が得られている画素の平均値Ａr と、Ｂ成分が得られている画素の平均値Ａb と、の差分｜Ａr −Ａb ｜が、所定の閾値Ｔrbよりも大きいか否かにより評価する（ステップＳ４）。
【００９０】
ここで、上記差分｜Ａr −Ａb ｜が閾値Ｔrbよりも大きい場合には、以下のような処理を行う。
【００９１】
まず、本実施例においては、上記Ｇ段差検出回路２２が、種々の色の被写体を撮影して各画像でライン間のＧ成分に段差ｄがどれだけ生じるかを測定することにより得られたテーブルＴｄを、予め保持している。これは、上記ＷＢ補正回路６で処理する前にライン補正回路５によって画像データに係るライン間の感度補正がなされていても、ラインの偶奇に応じて、Ｇ成分が得られている画素の画素値に段差が生じることがあるためである。
【００９２】
そして、Ｒ成分が得られている画素の平均値Ａr とＢ成分が得られている画素の平均値Ａb との差ｐ１（特徴量）と、Ｇ１，Ｇ２の両方を含むＧ成分の平均的な大きさｐ２（特徴量）と、の２つのインデックスに対して、生じ得るＧ段差量ｄを、ｄ＝Ｔｄ（ｐ１，ｐ２）のようにテーブル参照して、取得する。ここでは、このテーブル参照を行ってＧ段差量のおよその推定値ｄを求めたら、このＧ段差検出の処理を終了する（ステップＳ５）。
【００９３】
また、上記ステップＳ４において、上記差分｜Ａr −Ａb ｜が閾値Ｔrb以下である場合には、Ｇ段差が生じているとしても、それがどの程度あるのかをブロック内のデータからは推定することができないために、Ｇ段差量ｄを、推定不能を表す−２５５に設定して、終了する（ステップＳ６）。
【００９４】
このようにして、５×５画素でなるブロックの読み出しと、ライン間のＧ成分の段差量の推定値ｄと、が得られると、Ｇ補間回路２３が、ブロックの中心画素のＧ成分を計算して、Ｇ画像バッファ２６に書きこむ。このような処理について、図５のフローチャートを参照して説明する。
【００９５】
処理を開始すると、ブロックの中心画素の分類ｍが、上記図４に示した分類におけるＧ１であるか否かを判断する（ステップＳ１１）。この分類ｍは、該図４に例示したように、得られている色成分の種類と水平隣接画素の種類とに応じて、Ｒ，Ｇ１，Ｇ２，Ｂの４種類の何れかになる。
【００９６】
ここで分類ｍがＧ１である場合には、中心画素のＧ成分の値Ｖを、ブロックの中心画素の画素値Ｕ0 そのものとして（ステップＳ１２）、終了する。
【００９７】
また、上記ステップＳ１１において、ブロックの中心画素の分類ｍがＧ１でない場合には、該分類ｍが図４に示した分類におけるＧ２であるか否かをさらに判断する（ステップＳ１３）。
【００９８】
ここでブロックの中心画素の分類ｍがＧ２である場合には、Ｇ段差推定値ｄが−２５５であるか否か、つまり推定不能に設定されているか否かを判断する（ステップＳ１４）。
【００９９】
Ｇ段差推定値ｄが−２５５でない場合には、中心画素のＧ成分の値Ｖを、ブロック中心画素の画素値Ｕ0 とＧ段差推定値ｄとに基づいてＶ＝Ｕ0 ＋ｄと推定し（ステップＳ１５）、終了する。
【０１００】
一方、上記ステップＳ１４において、Ｇ段差推定値ｄが−２５５である場合には、中心画素（画素値がＵ0 となっている画素）に対する３×３画素の近傍を図６に示すようにとり、この近傍の四隅にあるＧ成分が得られている画素の画素値Ｕ1 〜Ｕ4 と、該中心画素の画素値Ｕ0 との差分ｄujを、以下のように計算する。
ｄuj＝｜Ｕ0 −Ｕj ｜
ここにｊは、１から４の整数である。これらの差分の内の、最小の差分を与えるｊについて、Ｖ＝（Ｕ0 ＋Ｕj ）／２を中心画素のＧ成分の値とし（ステップＳ１６）、終了する。
【０１０１】
上記ステップＳ１３において、ブロックの中心画素の分類ｍがＧ２でない場合には、Ｇ段差推定値ｄが−２５５であるか否か、つまり推定不能に設定されているか否かを判断する（ステップＳ１７）。
【０１０２】
ここでＧ段差推定値ｄが−２５５でない場合には、ブロック内のＧ２に分類された画素ｋの画素値Ｕk を、Ｕk ＝Ｕk ＋ｄと補正する（ステップＳ１８）。
【０１０３】
また、上記ステップＳ１７においてＧ段差推定値ｄが−２５５である場合には、後述するステップＳ２０の計算で用いるパラメータαを、予め設定された値に対して１／２倍するとともに、該ステップＳ２０の計算で用いるパラメータβを、予め設定された値に対して２倍する（ステップＳ１９）。
【０１０４】
上記ステップＳ１８またはステップＳ１９が終了したら、重み計算回路２４が、図７（Ａ）〜図７（Ｄ）に示すような中心画素の上下左右の各方向の重みＷｊ（ｊは１から４の整数）を以下の数式１０に示すように計算する。
［数１０］
Ｅ１＝｜Ｂ５−Ｂ７｜
＋α×（｜Ｇ４−Ｇ６｜−ｍｉｎ（｜Ｇ４−Ｇ６｜，｜Ｇ２−Ｇ８｜））
＋β
Ｅ２＝｜Ｂ５−Ｂ９｜
＋α×（｜Ｇ２−Ｇ８｜−ｍｉｎ（｜Ｇ４−Ｇ６｜，｜Ｇ２−Ｇ８｜））
＋β
Ｅ３＝｜Ｂ５−Ｂ３｜
＋α×（｜Ｇ４−Ｇ６｜−ｍｉｎ（｜Ｇ４−Ｇ６｜，｜Ｇ２−Ｇ８｜））
＋β
Ｅ４＝｜Ｂ５−Ｂ１｜
＋α×（｜Ｇ２−Ｇ８｜−ｍｉｎ（｜Ｇ４−Ｇ６｜，｜Ｇ２−Ｇ８｜））
＋β
Ｗｊ＝（１／Ｅｊ）／（Σ（１／Ｅｋ））
この数式１０におけるα，βは定数であり、予め定められた値、または上記ステップＳ１９において変更された値をとる。また、Ｗの計算におけるｊは上述したように１から４の整数、分母の和は１から４の整数ｋに対してとっている。なお、この計算式は、図７（Ａ）〜図７（Ｄ）の配置に対するものであり、中心画素の分類がＢであるときの例であるが、中心画素の分類がＲである場合には、ＢとＲとを置き換えて計算をすれば良い（ステップＳ２０）。
【０１０５】
次に、平均回路２５が、上記ステップＳ２０において計算した重みＷj を用いて、各方向にある画素の画素値を重み付けして、以下の数式１１により最終的な中心画素のＧ成分を計算する（ステップＳ２１）。
［数１１］
Ｖg ＝Ｗ１×Ｇ６＋Ｗ２×Ｇ８＋Ｗ３×Ｇ４＋Ｗ４×Ｇ２
Ｖb ＝Ｗ１×Ｂ７＋Ｗ２×Ｂ９＋Ｗ３×Ｂ３＋Ｗ４×Ｂ１
Ｖ ＝Ｖg ＋（Ｖb −Ｂ５）／２
【０１０６】
このような一連の処理が単板画像バッファ４内の画像の全画素に対して終了すると、Ｇ画像バッファ２６にはＧ成分の欠落が補われた画像が得られる。すると、次にＲＢ補間回路２７が動作して、全ての画素で欠落色成分のないカラー画像を生成しカラー画像バッファ８に記憶させる。
【０１０７】
すなわち、ＲＢ補間回路２７は、Ｇ補間回路２３と同様に、単板画像バッファ４内の各画素に対して、まず、該画素を中心とする５×５画素でなるブロックを読み出す。この読み出し時には、Ｇ補間回路２３と同様に、ライン補正回路５、ＷＢ補正回路６、およびＧ段差検出回路２２が作動して、５×５画素でなるブロックの変更後の画素値が該ＲＢ補間回路２７の図示しない内部バッファに得られるとともに、ブロック内のＧ段差推定値ｄも得られる。
【０１０８】
次に、ＲＢ補間回路２７は、読み出したブロックに対応する画素位置のＧ成分の値をＧ画像バッファ２６から読み出して、同様に図示しない内部バッファに記憶する。
【０１０９】
その後、ＲＢ補間回路２７は、図８に示すような処理により、中央画素の欠落色成分を求める。この図８に示す処理は、ブロックの中央画素に対する指定された色成分ｃの値を、内部バッファのデータから重み付け平均により計算するものである。
【０１１０】
このとき、画素位置によって欠落する色成分が異なるために、ＲＢ補間回路２７は、ブロックの中央画素の分類が、Ｒの場合にはｃ＝Ｂとして、Ｂの場合にはｃ＝Ｒとして、Ｇ１またはＧ２の場合にはｃ＝Ｒおよびｃ＝Ｂの各々の指定に対して、図８に示す処理を実行するようになっている。
【０１１１】
以下では、図８に示す処理を順に説明する。
【０１１２】
処理を開始すると、ブロック内において、指定された色成分ｃが得られている画素Ｐ1 〜Ｐn （ｎは整数）を求める（ステップＳ３１）。図９（Ｂ）は、図９（Ａ）に示すような配置のブロックにおけるｃ＝Ｒに対する結果を示したものである。この場合には、画素Ｐ1 〜Ｐ6 が得られるために、ｎは６となる。
【０１１３】
次に、ブロック内のＧ段差推定値ｄが−２５５，つまり推定不能に設定されているか否かを判断する（ステップＳ３２）。
【０１１４】
ここで、Ｇ段差推定値ｄが−２５５である場合には、後述するステップＳ３４の計算で用いるパラメータγを予め設定された値の２倍にするとともに、後述するステップＳ３５の計算で用いるパラメータδを予め設定された値の半分にする（ステップＳ３３）。
【０１１５】
このステップＳ３３の処理が終了するか、または、上記ステップＳ３２においてＧ段差推定値ｄが−２５５でない場合には、画素Ｐｊに割り当てる重みＷｊを、以下の数式１２に示すように計算する（ステップＳ３４）。
［数１２］
Ｅj ＝｜Ｇj −Ｇ0 ｜＋γ
Ｗｊ＝（１／Ｅｊ）／（Σ（１／Ｅｋ））
ここに、Ｗの計算におけるｊは１から４の整数、分母の和は１から４の整数ｋに対してとっている。また、γは定数であり、予め定められた値、または上記ステップＳ３３で変更された値をとる。
【０１１６】
次に、中央画素における欠落色成分ｃの値Ｖを、以下の数式１３に示すように計算する。この数式１３において、ＣｊおよびＧｊは、画素Ｐｊにおいて得られている色成分ｃおよびＧの値である（ステップＳ３５）。
［数１３］
Ｖc ＝ΣＷj ×Ｃj （ｊは１からｎの整数）
Ｖg ＝Ｇ０−ΣＷj ×Ｇj （ｊは１からｎの整数）
Ｖ ＝Ｖc ＋δ×Ｖg
ここにδは定数であり、予め定められた値、または上記ステップＳ３３で変更された値をとる。
【０１１７】
ここまでの処理が単板画像バッファ４内の画像の全ての画素に対して終了すると、カラー画像バッファ８には全画素で欠落色成分が復元されたカラー画像、すなわち、いわゆる三板のカラー画像が得られる。
【０１１８】
その後の作用は上述した実施例１と同様であり、得られたカラー画像が画質調整回路９により色変換、エッジ強調、階調変換などの処理を施され、記録回路１０により図示しない記録媒体に記録されて、このデジタルカメラ２１の撮像動作が完了する。
【０１１９】
なお、上述では、画像処理装置であるデジタルカメラ２１の内部のハードウェア（回路等）により処理を行うようにしているが、このような処理を、ＰＣ（パーソナルコンピュータ）等のコンピュータ上で画像処理プログラムにより行うようにすることも可能である。図１０〜図１２はコンピュータにより行われるソフト処理の例を示すフローチャートである。
【０１２０】
このソフトウェア処理は、メモリＩｎＩｍｇに記憶されている画像、つまり、単板ベイヤー配列ＣＣＤ３により得られた直後の、各画素で一種類の色成分しか得られていない画像、を処理して、メモリＯｕｔＩｍｇに３色カラー画像を出力するものである。ただし、ホワイトバランス係数Ｃｒ，Ｃｂおよびライン間のゲイン補正係数ａ，ｂは、パラメータとして与えられるものとする。
【０１２１】
以下では、図１０〜図１２のフローチャートの各ステップについて説明する。
【０１２２】
まず、図１０は、ソフト処理の流れの概要を示している。
【０１２３】
すなわち、処理を開始すると、この処理の途中で全画素に対するＧ成分をまず計算することになるために、該計算結果を記憶するためのメモリＧｉｍｇを確保する（ステップＳ４１）。
【０１２４】
次に、後で図１１を参照して説明するようなＧ補間ソフト処理を実行する（ステップＳ４２）。
【０１２５】
さらに、後で図１２を参照して説明するようなＲＢ補間ソフト処理を実行する（ステップＳ４３）。
【０１２６】
その後、確保したメモリＧｉｍｇを開放してから（ステップＳ４４）、このソフト処理を終了する。
【０１２７】
次に、図１１を参照して、上記ステップＳ４２におけるＧ補間ソフト処理の詳細について説明する。
【０１２８】
処理を開始すると、メモリＩｎＩｍｇ内に未処理の画素が存在するか否かを判断する（ステップＳ５１）。
【０１２９】
ここで、メモリＩｎＩｍｇ内に未処理の画素が存在している場合には、該未処理の画素の内の１つを処理対象画素として決定し、この処理対象画素を中心とした５×５画素でなるブロックの画像データを読み出す（ステップＳ５２）。
【０１３０】
そして、上記数式８を計算することによりライン間補正を行うとともに上記数式９を計算することによりＷＢ補正を行う（ステップＳ５３）。
【０１３１】
さらに、上記図３に示したようなＧ段差推定処理を行うことにより、段差推定値ｄを計算する（ステップＳ５４）。
【０１３２】
このＧ段差推定結果に基づいて図５に示したようなＧ補間処理を行い（ステップＳ５５）、処理後のＧ補間結果ＶをメモリＧｉｍｇ中の処理対象画素に対応する位置の画素値として記録してから（ステップＳ５６）、上記ステップＳ５１に戻る。
【０１３３】
また、上記ステップＳ５１において、メモリＩｎＩｍｇ内の画像の処理が全て終了している場合には、この処理を終了する。
【０１３４】
続いて、図１２を参照して、上記ステップＳ４３におけるＲＢ補間ソフト処理の詳細について説明する。
【０１３５】
処理を開始すると、メモリＩｎＩｍｇ内に未処理の画素が存在するか否かを判断する（ステップＳ６１）。
【０１３６】
ここで、メモリＩｎＩｍｇ内に未処理の画素が存在している場合には、該未処理の画素の内の１つを処理対象画素として決定し、この処理対象画素を中心とした５×５画素でなるブロックの画像データをメモリＩｎＩｍｇおよびメモリＧｉｍｇからそれぞれ読み出す（ステップＳ６２）。
【０１３７】
そして、上記数式８を計算することによりライン間補正を行うとともに上記数式９を計算することによりＷＢ補正を行う（ステップＳ６３）。
【０１３８】
さらに、上記図３に示したようなＧ段差推定処理を行うことにより、段差推定値ｄを計算する（ステップＳ６４）。
【０１３９】
その後、ブロックの中央画素の種類がＲであるか否かを判断し（ステップＳ６５）、Ｒでない場合には、ｃ＝Ｒとしてから上記図８に示したようなＲＢ補間処理を行い、その補間結果をメモリＯｕｔＩｍｇの対応する画素のＲ成分として記録する（ステップＳ６６）。
【０１４０】
このステップＳ６６が終了するか、または上記ステップＳ６５において中央画素の種類がＲである場合には、ブロックの中央画素の種類がＢであるか否かを判断する（ステップＳ６７）。
【０１４１】
ここで、中央画素の種類がＢである場合には、そのまま上記ステップＳ６１へ戻り、一方、中央画素の種類がＢでない場合には、ｃ＝Ｂとしてから上記図８に示したようなＲＢ補間処理を行い、その補間結果をメモリＯｕｔＩｍｇの対応する画素のＢ成分として記録してから（ステップＳ６８）上記ステップＳ６１へ戻る。
【０１４２】
そして、上記ステップＳ６１において、メモリＩｎＩｍｇ内の画像の処理が全て終了している場合には、この処理を終了する。
【０１４３】
なお、この実施例は幾つかの変形が可能である。好ましい変形例の一つは、Ｇ補間回路２３およびＲＢ補間回路２７が単板画像バッファ４に保持される画像よりも画素数の少ない画像を生成する機能を有するものであって、該機能を働かせる場合に、Ｇ段差検出回路２２の処理をスキップすることである。画素数を少なくして出力するモードは、デジタルカメラにおいては標準的に備えられたものであり、この場合には、Ｇ補間回路２３およびＲＢ補間回路２７が単板画像バッファ４から画素を間引いて読み出しながら処理することになる。すると、Ｇ画素に感度差があっても処理結果への影響が少なくなるために、間引き率に応じて（つまり、縮小率が所定の閾値以下である場合に）Ｇ段差検出回路の処理を中止し、段差推定値としてｄ＝−２５５を出力するようにすることにより、処理効率を向上し消費電力を低減することが可能となる。
【０１４４】
また、本実施例では単板撮像系を例に挙げたが、二板撮像系や三板画素ずらし撮像系に対しても同様の処理を適用することが可能である。
【０１４５】
例えば二板撮像系の場合には、二枚の撮像素子の一方からは全画素でＧ成分が得られ、他方からは市松状にＲ成分とＢ成分とが得られる。このときには、図３のステップＳ１からステップＳ３の処理を変更して、偶数ラインのＲ画素と奇数ラインのＲ画素との間の平均値の差を検出して、その検出量に応じて感度差補正を行うようにすれば良い。
【０１４６】
さらに、三板画素ずらし撮像系の場合には、３枚の撮像素子の内の２枚でＧ成分を取得し、残りの１枚で市松状にＲ，Ｂ成分を取得して、これらの情報から高精細な輝度成分を生成するタイプのものがある。この場合にも、市松状に得られるＲ，Ｂ成分の感度補正を、上記二板撮像系の場合と同様に行うことができる。
【０１４７】
そして、感度補正をＧ成分以外のこうしたＲ成分やＢ成分について行うときには、上記テーブルは、指定された色成分に対する特徴量と感度差の量とを対応付けたテーブルとなるのは勿論である。
【０１４８】
また、重付平均手段たる重み計算回路２４および平均回路２５における重みの計算法は、重みが、判定手段である上記Ｇ段差検出回路２２において感度差が大きいと判定された種類の色成分が得られている画素に対して小さくなるようなものであれば他の方法に変更しても良い。例えば、重みの計算式は、数式１０以外に、上記近傍内で同種の色成分が得られている画素間の画素値差分に対する他の形の関数式でも良い。但し、上記Ｇ段差検出回路２２により特定の色成分に対して感度差が大きいと判定された場合には、該関数式は、当該色成分に関する上記画素値差分の影響が小さくなるように変更することが望ましい。さらに、上記Ｇ段差検出回路２２において感度差があると判定された種類の色成分が得られている画素に対する重みの計算は、最終的にＧ画素間の重みが均等に近づくように計算されることが望ましく、それは数式１０ではβの調整で実現できているが、もちろん他の計算式を用いても良い。
【０１４９】
このような実施例２によれば、上述した実施例１と同様に、同じ色成分が得られる画素で感度が異なっていても、感度補正手段で補正してから補間手段の処理を行うようにしているために、補間後の画像に感度の相異が影響を及ぼすのを防いで、より高品質な画像を得ることができる。
【０１５０】
その上、この実施例２によれば、補間手段による処理を行う前に、判定手段により同じ色成分が得られる画素に大きな感度差があるか否かを判定して、大きな感度差があると判断された場合に、補間手段の処理を、該感度差の影響を受け難い処理に変更しているために、つまり、元々得られている色成分の値を注目画素の感度が所定の基準感度である場合にとるはずの値に補正して補間結果に用いるような処理に変更しているために、処理効率をあまり落とすことなく、最終的に得られる画像の画質を向上することができる。
【０１５１】
さらに、感度差の有無に応じて補間処理の際の重みを変更するようにしているために、感度差があると判断された部分とそうでない部分との画質が大きく切り替わらない自然な処理を、簡単な処理回路で行うことが可能となる。
【０１５２】
その際、感度の異なる画素の重みが互いに等しくなるような計算を行っているために、結果として副作用を少なくすることができる。
【０１５３】
また、この補間処理では、複数の色成分の情報を用いて欠落する色成分の値を推定しているが、その際に感度の異なる画素を含む色成分に対する情報の利用の割合を小さくするようにしているために、格子縞が見えるなどの副作用を起き難くすることができる。
【０１５４】
さらに、重み計算を同色画素の差分に基づいて行っているが、その計算においても、データとして信頼性が低い、感度差のある同色画素の差分の影響を小さくするようにしているために、結果的に生じる副作用を抑制することができる。
【０１５５】
加えて、感度差を生じる原因には種々のものがあるが、注目画素の近傍における画素値のパターンが特定の条件を満たす場合に感度差が生じ易いことがあるために、該近傍がこうしたパターンとなっているかどうかを特徴量を使って判定して、該パターンであると判断される率が高いほど感度差も大きいと判断することにより、局所的に生じる感度差に対しても副作用が生じないように処理することを可能にしている。
【０１５６】
その際、感度差を生じ易い近傍の画素値パターンに関して、該パターンに対して生じる感度差とパターンの特徴量とを関連付けてテーブルとして保持しておくことにより、感度差の大小をより確実に判断することができる。
【０１５７】
また、感度差を生じる画素の位置関係が分かっていることを利用して、位置毎に別々に統計を取って、その結果同士を比較しているので、感度差が生じているか否かを確実に判断することができる。例えばベイヤー配列の場合には、隣接するＲ，Ｂからの電荷の漏れに影響されて、ライン間のＧに感度差を生じることがあるが、このような段差を検出することが可能となる。
【０１５８】
さらに、画素数を減らして結果を記録する場合には、最終的に感度差に起因する副作用が目立たなくなることを利用して、感度差判定処理をスキップしているために、処理の効率を向上させている。
【実施例３】
【０１５９】
図１３から図１６は本発明の実施例３を示したものであり、図１３はデジタルカメラの構成を示すブロック図、図１４は補正回路により処理を行う際に用いる画素の番号を示す図、図１５は補正回路の処理を示すフローチャート、図１６はコンピュータにより行われるソフト処理を示すフローチャートである。
【０１６０】
この実施例３において、上述の実施例１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１６１】
この実施例３は、上述した実施例１と同様に、画像処理装置をデジタルカメラに適用したものである。
【０１６２】
この実施例３のデジタルカメラ３１は、該実施例１のデジタルカメラ１に対して、補間後補正手段たる補正回路３２を、カラー画像バッファ８と画質調整回路９との間に付加したものとなっている。
【０１６３】
次に、このようなデジタルカメラ３１の作用を、上述した実施例１と異なる点を主として説明する。
【０１６４】
シャッタボタンがユーザーにより押下されると、上記実施例１と同様に、光学系２による光学像が単板ベイヤー配列ＣＣＤ３により撮像されて、各画素当たり一種類の色成分しかない単板状態の画像が単板画像バッファ４に記憶される。
【０１６５】
次に、ライン補正回路５およびＷＢ補正回路６が動作するが、その作用は上記実施例１と同様であり、ライン間の感度補正を行いながらホワイトバランス係数Ｃrg，Ｃbgを算出して保持する。
【０１６６】
続いて、補間回路７が、単板画像バッファ４内の各画素に対して補間処理を行うが、これも実施例１と同様であり、各画素の欠落色成分が補われたカラー画像が、カラー画像バッファ８に得られる。
【０１６７】
その後に、補正回路３２が処理を行う。この補正回路３２は、カラー画像バッファ８中の各画素を順にスキャンして、各画素の３×３画素でなる近傍を読み出し、図１５に示すような処理を行うことにより、中央画素の補正ＲＧＢ値を画質調整回路９に出力するものである。
【０１６８】
以下では、図１５のフローチャートの各ステップについて説明する。
【０１６９】
処理を開始すると、３×３画素でなる近傍内の各画素に対して、ＲＧＢ成分から輝度値Ｙを計算する（ステップＳ７１）。この輝度値の計算には、次のような標準的な定義式、
Ｙj ＝０．３×Ｒj ＋０．６×Ｇj ＋０．１×Ｂj
を用いる。なお、各画素に対しては、図１４に示すような番号が割り振られる。以下では、各画素に関する値を、その画素番号の沿え字を用いてｊ＝０〜８などと表すことにする。
【０１７０】
次に、中央画素と周辺画素との輝度差（これは、注目画素の画素値と近傍画素の画素値との相関を示している。）を
ｄＹj ＝｜Ｙ０−Ｙj ｜
として計算する（ステップＳ７２）。ここにｊは、１から８の整数である。
【０１７１】
そして、以下の条件（１），（２）、
（１）ｄＹk1はｄＹ0 からｄＹ8 の内で一番小さい
（２）ｄＹk2はｄＹ0 からｄＹ8 の内で２番目に小さい
を満たすような整数ｋ１，ｋ２を探す（ステップＳ７３）。
【０１７２】
次に、所定の閾値Ｔ１，Ｔ２に対して、ｄＹk1がＴ１よりも大きく、かつｄＹk2−ｄＹk1がＴ２よりも小さくなるか否かを調べる（ステップＳ７４）。この条件は、満たされた場合に、中央画素が孤立点であると知覚される確率が高いことを示す条件となっている。
【０１７３】
ここで、条件が満たされて孤立点と判断された場合には、中央画素に対する補正値（Ｒ０’，Ｇ０’，Ｂ０’）を、以下の数式１４によって計算して、
［数１４］
Ｒ０’＝（Ｒk1＋Ｒk2）／２
Ｇ０’＝（Ｇk1＋Ｇk2）／２
Ｂ０’＝（Ｂk1＋Ｂk2）／２
この計算結果を出力し終了する（ステップＳ７５）。
【０１７４】
一方、上記ステップＳ７４において、条件が満たされていない場合には、中央画素のＲＧＢ画素値を無補正のまま出力して（ステップＳ７６）、終了する。
【０１７５】
こうして画質調整回路９に出力された補正ＲＧＢ値は、上述した実施例１と同様に、画質調整回路９で調整された後に記録回路１０により記録され、全ての処理が終了する。
【０１７６】
なお、上述では、画像処理装置であるデジタルカメラ３１の内部のハードウェア（回路等）により処理を行うようにしているが、このような処理を、ＰＣ（パーソナルコンピュータ）等のコンピュータ上で画像処理プログラムにより行うようにすることも可能である。
【０１７７】
このソフトウェアは、上述した実施例２において図１０〜図１２を参照して説明したものと同様に、メモリＩｎＩｍｇに記憶されている画像、つまり、単板ベイヤー配列ＣＣＤ３により得られた直後の、各画素で一種類の色成分しか得られていない画像、を処理して、メモリＯｕｔＩｍｇに３色カラー画像を出力するものである。ただし、ホワイトバランス係数Ｃｒ，Ｃｂおよびライン間のゲイン補正係数ａ，ｂは、パラメータとして与えられるものとする。
【０１７８】
以下では、図１６のフローチャートの各ステップについて説明する。この図１６は、ソフト処理の流れを示したものである。
【０１７９】
この処理を開始すると、まず、補間処理における中間結果を保持しておくためのメモリｔｍｐｉｍｇを確保する（ステップＳ８１）。
【０１８０】
次に、メモリＩｎＩｍｇ内に未処理の画素が存在するか否かを判断する（ステップＳ８２）。
【０１８１】
ここで、未処理の画素が存在する場合には、該未処理の画素の内の１つを処理対象画素として決定し、この処理対象画素を中心とした５×５画素でなるブロックを上記メモリＩｎＩｍｇから読み出す（ステップＳ８３）。
【０１８２】
そして、メモリＩｎＩｍｇから読み出したブロック内の画素に対して、上記数式８による計算を行うことによりライン間補正を行うとともに、上記数式９による計算を行うことによりＷＢ補正を行う（ステップＳ８４）。
【０１８３】
続いて、公知の方法により補間処理を行って、各画素についてＲＧＢの３色成分を生成する（ステップＳ８５）。
【０１８４】
その後、補間処理の結果をｔｍｐｉｍｇ内の対応画素位置に記録して（ステップＳ８６）、上記ステップＳ８２に戻り他の画素の処理に移行する。
【０１８５】
一方、上記ステップＳ８２において、メモリＩｎＩｍｇ内に未処理の画素が存在しない場合には、さらに、メモリｔｍｐｉｍｇ内に補正処理を受けていない画素が存在するか否かを判断する（ステップＳ８７）。
【０１８６】
ここで、補正処理が行われていない画素が存在する場合には、この未補正処理の画素を中心とした３×３画素でなる近傍のデータをメモリｔｍｐｉｍｇから読み出して（ステップＳ８８）、上記図１５に示したような補正処理を行い（ステップＳ８９）、この補正処理の結果をメモリＯｕｔＩｍｇの対応画素位置に記録してから（ステップＳ９０）、上記ステップＳ８７へ戻って次の未処理の画素の処理へ移行する。
【０１８７】
また、上記ステップＳ８７において、メモリｔｍｐｉｍｇ内に補正処理を受けていない画素が存在しない場合には、ｔｍｐｉｍｇとして確保していたメモリ領域を開放してから（ステップＳ９１）、終了する。
【０１８８】
なお、この実施例は幾つかの変形が可能である。好ましい変形例の一つは、補間回路７が単板画像バッファ４に保持される画像よりも画素数の少ない画像を生成する機能を有するものであって、該機能を働かせる場合に、補正回路３２の処理をスキップすることである。画素数を少なくして出力するモードは、上述したように、デジタルカメラにおいては標準的に備えられたものであり、この場合には、補間回路７が単板画像バッファ４から画素を間引いて読み出しながら処理することになる。すると、Ｇ画素に感度差があっても処理結果への影響が少なくなるために、間引き率に応じて（つまり、縮小率が所定の閾値以下である場合に）補正回路３２の処理を中止するようにすることで、画質に影響を及ぼすことなく、処理効率を向上し消費電力を低減することが可能となる。
【０１８９】
また、本実施例では単板撮像系を例に挙げたが、二板撮像系や三板画素ずらし撮像系に対しても、各方式に応じた補間処理でカラー画像を得た後に、同様の補正処理を行うことが可能である。
【０１９０】
このような実施例３によれば、上述した実施例１，２とほぼ同様の効果を奏するとともに、画素間の感度差によって生じる可能性がある副作用を、補間処理を感度差に応じて変更して防ぐのではなく、補間処理後に生じる可能性のありそうな副作用のパターンを直接補正するようにしたために、画質の改善をより簡易的に行うことができる。
【０１９１】
また、近傍画素と注目画素とが調和しているか否かを、相関により調べて、調和度の高い近傍画素の画素値を注目画素の画素値に混合するようにしているために、副作用を良好に減らすことができる。
【０１９２】
さらに、画素数を減らして結果を記録する場合には、最終的に感度差に起因する副作用が目立たなくなることを利用して、補間後の補正処理をスキップしているために、処理の効率を向上することができる。
【実施例４】
【０１９３】
図１７から図２５は本発明の実施例４を示したものであり、図１７はデジタルカメラの構成を示すブロック図、図１８は段差補正回路の一構成例を示すブロック図、図１９はＧ段差を説明するための図、図２０は段差補正回路の処理を示すフローチャート、図２１は段差補正回路における処理を行う際の近傍の例を示す図、図２２は補正量△を求めるための関数の例を示す線図、図２３は段差補正回路の他の構成例を示すブロック図、図２４は組み合わせ平均計算回路により計算される組み合わせ平均を説明するための図、図２５はコンピュータにより行われるソフト処理を示すフローチャートである。
【０１９４】
この実施例４において、上述の実施例１〜３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１９５】
この実施例４は、上述した実施例１と同様に、画像処理装置をデジタルカメラに適用したものである。
【０１９６】
この実施例４のデジタルカメラ４１は、図１７に示すように、該実施例１のデジタルカメラ１に対して、ライン補正回路５に代えて段差補正回路４３とノイズ低減回路４４とを設けたものとなっている。また、単板ベイヤー配列ＣＣＤ３と単板画像バッファ４との間には、該単板ベイヤー配列ＣＣＤ３から出力されるアナログの映像信号をゲイン調整してからデジタルの映像信号に変換するためのＡ／Ｄ変換回路４２が明示して設けられているが、これは上述した第１から第３の実施例のデジタルカメラにおいても同様に設けられていて、ただ単に図示を省略していただけのものである。そして、これらＡ／Ｄ変換回路４２、段差補正回路４３、およびノイズ低減回路４４は、上記制御回路１１により制御されるようになっている。
【０１９７】
上記段差補正回路４３は、単板画像バッファ４内に記憶されている画像に対して、Ｇ成分の感度差補正を行うためのものである。
【０１９８】
上記ノイズ低減回路４４は、この段差補正回路４３から出力される信号にノイズ低減処理を行うためのものである。
【０１９９】
上記段差補正回路４３は、より詳しくは図１８に示すように、補正回路５１と、平均計算回路５２と、段差量推定回路５３と、補正量算出回路５４と、を有して構成されている。
【０２００】
上記平均計算回路５２は、上記単板画像バッファ４から所定サイズのブロック単位で画像データを読み出して、注目画素以外のＧ成分の平均値を算出するものである。
【０２０１】
上記段差量推定回路５３は、上記平均計算回路５２により算出された平均値と、注目画素のＧ成分値と、の差を算出することにより、感度差の量を推定するものである。
【０２０２】
上記補正量算出回路５４は、上記単板画像バッファ４から読み出したブロック単位の画像データから特徴量を算出し、該特徴量に基づいて閾値を求め、この閾値と、上記段差量推定回路５３により推定されたＧ成分の感度差の量と、に基づいて、上記単板画像バッファ４からブロック単位で読み出した画像データの感度差補正量を計算するものである。
【０２０３】
上記補正回路５１は、上記補正量算出回路５４により計算された感度差補正量に基づいて、注目画素のＧ成分値を感度差補正し、上記ノイズ低減回路４４へ出力するものである。
【０２０４】
このようなデジタルカメラ４１の作用について、上述した各実施例と異なる部分を説明する。
【０２０５】
段差補正回路４３は、単板画像バッファ４の各画素毎に、近傍３×３サイズのブロック領域を読み出す。そして、読み出した３×３サイズのブロック領域の中心に位置する画素を注目画素とする。該段差補正回路４３は、注目画素の色成分がＧ成分である場合にのみ、以下に示すように段差補正処理を行うようになっている。
【０２０６】
また、ここで、図１９を参照して、Ｇ段差について説明する。単板ベイヤー配列ＣＣＤ３は、図１９（Ａ）に示すような色フィルタ配列を有しているが、センサの特性上、ある撮影条件下では、図中の奇数行目のＧ画素（Ｇｒと記載している）と、偶数行目のＧ画素（Ｇｂと記載している）と、の間に、同じＧ成分取得用であるにも関わらず、感度差が付いてしまうことがある。すなわち、例えば全ての画素について「１２８」の出力値が得られるような平坦な被写体を撮影した場合でも、図１９（Ｂ）に示すように、Ｇｒからは「１８０」の画素値が得られ、Ｇｂからは「１００」の画素値が得られて、ＧｒとＧｂとの画素値に差が生じてしまうことがある。このような差のことを、以下ではＧ段差と呼ぶことにする。
【０２０７】
段差補正回路４３は、図２０に示したような流れに沿って、このＧ段差を補正して、補正された画素値を出力するようになっている。
【０２０８】
すなわち、段差補正回路４３は、図２０に示す処理を開始すると、まず、読み出した近傍ブロックの中心画素がＧｒまたはＧｂの何れかであるか否かを判断する（Ｓ１０１）。
【０２０９】
ここで、中心画素がＧｒまたはＧｂの何れかである場合には、平均計算回路５２が、次の数式１５に示すように、図２１に示すような画素配列の４隅に位置するＧ画素Ｇ０〜Ｇ３の平均値Ａｇ（特徴量）を算出して、段差量推定回路５３へ出力する。
［数１５］
Ａｇ＝（Ｇ０＋Ｇ１＋Ｇ２＋Ｇ３）／４
【０２１０】
段差量推定回路５３は、上記平均計算回路５２により算出された平均値Ａｇと、近傍ブロックの中心画素Ｇ４の値との差を、次の数式１６に示すように感度差の量たる段差量ｄとして算出し、算出した段差量ｄを補正量算出回路５４へ出力する（Ｓ１０２）。
［数１６］
ｄ＝Ａｇ−Ｇ４
【０２１１】
補正量算出回路５４は、まず、近傍ブロックに含まれるＲ画素の平均値Ｒ’（特徴量）とＢ画素の平均値Ｂ’（特徴量）とを算出する。そして、補正量算出回路５４は、これらの平均値Ｒ’，Ｂ’をインデックスにして、該補正量算出回路５４の内部ＲＯＭに記憶されている予測テーブル（ルックアップテーブル：ＬＵＴ）を参照することにより、適切な段差補正を行うための補正量の閾値Ｆ（感度差の量）を求める（Ｓ１０３）。なお、上記予測テーブルは、種々の照明条件で種々の被写体を撮影した際の、Ｇｒ画素とＧｂ画素との間に生じた段差量の上限値と、周囲のＲ画素値およびＢ画素値と、の関係を予め整理して作成されたものである。
【０２１２】
次に、補正量算出回路５４は、上述したように算出した補正量の閾値Ｆと、上記段差量推定回路５３により推定された段差量ｄと、に基づいて、Ｇ段差を実際に補正するために適切な補正量△（感度差補正量）を算出する（Ｓ１０４）。この算出も、該補正量算出回路５４の内部ＲＯＭに記憶されているテーブルを参照することにより、行うようになっている。この内部ＲＯＭに記憶されているテーブルは、例えば、図２２に示すような関数ｆ（所定の関数）を離散近似して作成されたテーブルとなっている。この関数ｆ（ｘ；ｐ）は、ｐをパラメータとする独立変数ｘの関数であり、｜ｘ｜がｐ以下のときにｆ（ｘ；ｐ）＝ｘ、｜ｘ｜がαｐ（閾値）以上のときに０となるような関数である。なお、｜ｘ｜がｐよりも大きく、αｐ（閾値）よりも小さいときには、これらを連続に結ぶ（例えば直線で結ぶ）ような関数形状となっている。ここに、｜ｘ｜はｘの絶対値を示し、αは予め定められた１以上の定数となっている。補正量算出回路５４は、このような関数ｆに対応するテーブルをｘ＝ｄ，ｐ＝Ｆとして参照することにより、実質的に△＝ｆ（ｄ；Ｆ）として補正量△を求め、求めた補正量△を上記補正回路５１へ出力する。
【０２１３】
続いて、補正回路５１は、次の数式１７に示すように、上記補正量算出回路５４から得られた補正量△の半分を、中央画素値Ｇ４から減算して最終的な段差補正値Ｇ４’を算出し、◎
［数１７］
Ｇ４’＝Ｇ４−△／２
その後に、この値Ｇ４’を中央画素値として、上記ノイズ低減回路４４へ出力する（Ｓ１０５）。
【０２１４】
仮に、被写体が平坦な場合で、図２１に示したブロックにおける近傍Ｇ０〜Ｇ３が同じ値Ｖ１をとるものとし、中央画素Ｇ４が値Ｖ２をとるとすると、上記Ｓ１０２により算出される段差量ｄはＶ２−Ｖ１となる。このＶ２−Ｖ１の絶対値がＳ１０３で計算される閾値Ｆ以下である場合には、上記Ｓ１０５により算出される補正量△はＶ２−Ｖ１に一致する。従って、Ｓ１０５で算出されるＧ４’の値は、Ｖ２−（Ｖ２−Ｖ１）／２＝（Ｖ１＋Ｖ２）／２となる。このように、段差量が閾値Ｆよりも小さい場合には、補正結果はＧｒ画素の画素値とＧｂ画素の画素値との平均値に近付くように補正されるのが、本実施例におけるＧ段差補正処理の特徴となっている。
【０２１５】
また、上記Ｓ１０１において、中心画素がＧｒとＧｂとの何れでもないと判断された場合には、中央画素の画素値をそのままノイズ低減回路４４へ出力する（Ｓ１０６）。
【０２１６】
こうして、上記Ｓ１０５またはＳ１０６の処理が行われたところで、このＧ段差補正の処理を終了する。
【０２１７】
段差補正回路４３により上述したような処理が行われると、ノイズ低減回路４４には、単板画像バッファ４の各画素に対してＧ段差補正を行った後の画素値が順次入力される。ノイズ低減回路４４は、単板ベイヤー配列ＣＣＤ３の特性に起因するノイズ低減処理を行って、結果をＷＢ補正回路６へ出力する。
【０２１８】
その後の処理は、上述した実施例１と同様である。
【０２１９】
なお、本実施例は、多くの変形例が考えられる。例えば、ＷＢ補正回路６やノイズ低減回路４４と段差補正回路４３の処理の順番は、上述したものに限られるものではなく、任意の順番となるように変更することが可能である。
【０２２０】
また、回路を簡単化するための変形例としては、段差補正回路４３による処理Ｓ１０３において、閾値Ｆを、近傍画素の特徴量に基づいて予測する代わりに、固定値にすることが考えられる。この場合には、補正量算出回路５４の内部ＲＯＭには、テーブルの代わりに、固定値が記憶されることになる。単板ベイヤー配列ＣＣＤ３の特性によっては、このような手段を用いても実用可能範囲内となる。
【０２２１】
あるいは、段差補正回路４３を、図２３に示すように構成しても良い。この図２３に示す構成例では、段差補正回路４３は、補正回路５１と、組み合わせ平均計算回路５６と、差分選択回路５７と、補正量算出回路５４と、を有して構成されている。つまり、この図２３に示す構成は、上記図１８に示した構成における平均計算回路５２および段差量推定回路５３に代えて、組み合わせ平均計算回路５６および差分選択回路５７を設けた構成になっている。
【０２２２】
上記組み合わせ平均計算回路５６は、３×３近傍に含まれるＧ画素のペアの特定の組み合わせを選択するセレクタと、このセレクタにより順次選択される各ペアの平均を算出する回路と、を備えて構成されている。この組み合わせ平均計算回路５６により選択される組み合わせペアとその平均値とは、例えば図２４に示すようなＡ０〜Ａ５（特徴量）、つまり、次の数式１８に示すようなＡ０〜Ａ５、
［数１８］
Ａ０＝（Ｇ０＋Ｇ１）／２
Ａ１＝（Ｇ０＋Ｇ２）／２
Ａ２＝（Ｇ１＋Ｇ３）／２
Ａ３＝（Ｇ２＋Ｇ３）／２
Ａ４＝（Ｇ１＋Ｇ２）／２
Ａ５＝（Ｇ０＋Ｇ３）／２
となる。こうして組み合わせ平均計算回路５６により算出された各平均値Ａ０〜Ａ５は、差分選択回路５７へ出力される。
【０２２３】
差分選択回路５７は、組み合わせ平均計算回路５６から受け取った各平均値Ａ０〜Ａ５と中心画素値Ｇ４との差Ｄi ＝Ｇ４−Ａi （ｉは０から５までの整数）をそれぞれ計算して、これらの中から絶対値が最小となるＤi を、上記図２０のＳ１０２における段差量ｄに相当する量として、補正量算出回路５４へ出力する。その後の補正量算出回路５４の処理および補正回路５１の処理は、上述と同様である。
【０２２４】
なお、上述では、画像処理装置であるデジタルカメラ４１の内部のハードウェア（回路等）により処理を行うようにしているが、このような処理を、ＰＣ（パーソナルコンピュータ）等のコンピュータ上で画像処理プログラムにより行うようにすることも可能である。
【０２２５】
このソフトウェアは、単板ベイヤー配列ＣＣＤ３からのアナログ出力をデジタル信号に変換して得られたＲＡＷデータファイルに対して、現像処理を行うものとなっている。
【０２２６】
以下では、図２５のフローチャートの各ステップについて説明する。この図２５は、ソフト処理の流れを示したものである。
【０２２７】
なお、この処理を行うに当たって、例えばＰＣのメモリ領域に、作業用の記憶領域として、第１バッファと第２バッファとが確保されているものとする。
【０２２８】
この処理を開始すると、まず、ＲＡＷデータファイルから、単板状態の画像データを読み込んで、第１バッファに２次元配列として格納する（Ｓ１１１）。
【０２２９】
次に、第１バッファをまず行方向にスキャンし、次に列方向にスキャンすることにより、画像データ内に未処理画素が存在するか否かを判断する（Ｓ１１２）。
【０２３０】
ここで、未処理画素がある場合には、選択した未処理画素の近傍３×３ブロックを第１バッファから読み出して（Ｓ１１３）、上記図２０に示したような段差補正処理を行う（Ｓ１１４）。
【０２３１】
そして、段差補正結果を、第１バッファとは別に確保された第２バッファ内の未処理画素に対応するアドレスに書き込んでから（Ｓ１１５）、上記Ｓ１１２へ戻って次の未処理画素に対する判断を行う。
【０２３２】
一方、上記Ｓ１１２において、第１バッファ内に未処理画素がないと判断された場合には、第２バッファの画像に対してノイズ低減処理を行い、その処理結果を第１バッファへ出力する（Ｓ１１６）。
【０２３３】
次に、この第１バッファの画像に対して、ホワイトバランス（ＷＢ）を補正する処理を行って、その結果を再び第１バッファへ出力する（Ｓ１１７）。
【０２３４】
さらに、第１バッファの画像に対して、欠落色成分の補間処理を行い、その結果を第２バッファへ出力する（Ｓ１１８）。
【０２３５】
続いて、第２バッファの画像に対して、エッジ強調などの画質調整処理を行って、その結果を第１バッファへ出力する（Ｓ１１９）。
【０２３６】
そして、第１バッファの画像を、指定されたファイルへ出力して（Ｓ１２０）、この処理を終了する。
【０２３７】
このような実施例４によれば、上述した実施例１〜３とほぼ同様に、同種の色成分が得られる画素間の感度の相違を、欠落画素の補間処理を行う前に、補正するようにしたために、欠落画素の補間を感度の相違の影響を低減した状態で良好に行うことができる。
【０２３８】
また、注目画素と、該注目画素と同種の色成分の画素と、の感度差がどの程度あるのかを推定するようにしたために、感度差に応じた最適な感度補正を行うことができる。このとき、感度差がどの程度あるのかを、注目画素近傍のデータから抽出した特徴量に基づいて推定するようにしたために、感度差に応じた最適な感度補正を行うことができる。
【０２３９】
そして、特徴量と感度差の量との対応関係を予め調査してテーブル化しておくようにしたために、高精度な感度補正を高速に行うことが可能となる。
【０２４０】
さらに、感度差の量から所定の関数により感度差補正量を算出して、算出した感度差補正量を注目画素の画素値に加算して感度補正を行うようにしたために、回路構成が簡単になり、かつボケをあまり生じることなく感度補正を行うことができる。
【０２４１】
このとき、感度差の量の絶対値がある閾値以上の場合に０となるような関数を用いて感度差補正量を算出するようにしているために、非常に大きな感度差の推定値が得られた場合に、補正を中止することができる。これにより、そのまま補正してエッジがぼけてしまうのを適切に防止することができる。
【０２４２】
また、特徴量を、注目画素と異なる種類の色成分の画素の画素値から計算するようにしたために、注目している色成分以外の色成分の要因で感度差が生じる場合にも対応することが可能となる。
【０２４３】
さらに、注目画素と同種の色成分の画素の画素値のＮ個の平均値を計算して特徴量とし、Ｎ個の特徴量と注目画素の画素値との差の絶対値が最小となる差を感度差の量とするようにしたために、より高精度に感度差の量を推定することができる。
【実施例５】
【０２４４】
図２６から図３１は本発明の実施例５を示したものであり、図２６はデジタルカメラの構成を示すブロック図、図２７は段差平滑化回路の一構成例を示すブロック図、図２８は段差平滑化回路の処理を示すフローチャート、図２９は係数混合比αを算出するための関数の例を示す線図、図３０は係数設定回路により設定されるフィルタ係数の周波数特性を説明するための図、図３１は段差平滑化回路の他の構成例を示すブロック図である。
【０２４５】
この実施例５において、上述の実施例１〜４と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２４６】
この実施例５は、上述した実施例１と同様に、画像処理装置をデジタルカメラに適用したものである。
【０２４７】
この実施例５のデジタルカメラ６１は、図２６に示すように、上記実施例４のデジタルカメラ４１に対して、段差補正回路４３に代えて段差平滑化回路６２を設けたものとなっている。そして、この段差平滑化回路６２は、上記制御回路１１により制御されるようになっている。
【０２４８】
上記段差平滑化回路６２は、より詳しくは図２７に示すように、フィルタ回路７１と、補正量算出回路７２と、係数設定回路７３と、を有して構成されている。
【０２４９】
上記補正量算出回路７２は、上記単板画像バッファ４から７×７画素のブロック単位で読み出した画像データの中心３×３画素に対して、Ｒ画素の平均値Ｒ’（特徴量）とＢ画素の平均値Ｂ’（特徴量）とを算出し、さらに、これらの特徴量から該補正量算出回路７２の内部ＲＯＭに記憶されたテーブルを参照して適切な段差補正量の閾値Ｆ（感度差の量）を求め、この閾値Ｆの関数として係数混合比αを算出するものである。
【０２５０】
上記係数設定回路７３は、上記補正量算出回路７２により算出された係数混合比αに基づいて、上記フィルタ回路７１で行う計算に用いるフィルタ係数を算出するものである。
【０２５１】
上記フィルタ回路７１は、上記係数設定回路７３により算出されたフィルタ係数を用いて、上記単板画像バッファ４から読み出した画像データに所定の演算を行い、Ｇ段差の平滑化を行うものである。
【０２５２】
このような段差平滑化回路６２の処理について、図２８を参照して説明する。なお、この図２８において、上記実施例４の図２０と同様の処理を行う部分については、同一の符号を付している。また、この段差平滑化回路６２は、上述したように、単板画像バッファ４の各画素毎に、近傍７×７サイズのブロック領域を読み出して、以下に示すような処理を行うようになっている。
【０２５３】
この処理を開始すると、まず、上記Ｓ１０１の処理を行って、中心画素がＧｒまたはＧｂであるか否かを確認する。
【０２５４】
ここで、中心画素がＧｒまたはＧｂである場合には、補正量算出回路７２は、まず、近傍ブロック内の中心３×３画素に含まれるＲ画素の平均値Ｒ’とＢ画素の平均値Ｂ’とを算出する。そして、補正量算出回路７２は、算出した平均値Ｒ’，Ｂ’をインデックスにして、内部ＲＯＭに記憶している予測テーブルを参照し、適切な段差補正量の閾値Ｆを求める（Ｓ１３１）。この予測テーブルは、上記実施例４の図２０のＳ１０３において説明した予測テーブルと同一である。
【０２５５】
次に、補正量算出回路７２は、後段のフィルタ回路７１で適用されるフィルタを決定するための係数混合比αを、段差補正量の閾値Ｆの関数として算出する（Ｓ１３２）。好ましい関数の一例としては、Ｆが０のときにαが１、Ｆがある値Ｔ以上でαが０となる図２９に示すようなものを挙げることができる。なお、係数混合比の意味については、後で説明する。
【０２５６】
続いて、係数設定回路７３は、補正量算出回路７２により算出された係数混合比αに基づいて、フィルタ回路７１により行う計算に用いるフィルタ係数を算出する。つまり、フィルタ回路７１は、単板画像バッファ４から読み出した７×７近傍ブロックに対して、まずＧ成分の得られていない位置のデータを０にセットした上で線形フィルタリングを行うが、このときのフィルタ係数として、該係数設定回路７３から出力された値を用いるようになっている。
【０２５７】
係数設定回路７３は、フィルタ回路７１で用いるフィルタ係数を設定するために、予め内部に、２種類の７×７フィルタの係数を保持している。２種類のフィルタ係数の内の１つは、係数Ｐ_i,j（ｉ，ｊは各々１から７までの整数）である。この係数Ｐ_i,jは、フィルタの中心に当たるＰ_4,4のみが１であり、その他は０の値をとる係数となっている。また、２種類のフィルタ係数の内の他の１つは、係数Ｑ_i,j（ｉ，ｊは各々１から７までの整数）である。この係数Ｑ_i,jは、総和が２であって、かつ、その水平方向または垂直方向の特性が、図３０において実線で示す曲線Ｌ０のように、ナイキスト周波数で０となるように設定された係数となっている。
【０２５８】
従って、係数Ｐ_i,jを用いて、単板画像バッファ４から読み出した７×７近傍をフィルタリングした場合には、フィルタ回路７１から出力されるのは、何の補正もされない中央画素の値である。
【０２５９】
一方、係数Ｑ_i,jを用いて、単板画像バッファ４から読み出した７×７近傍をフィルタリングした場合には、ナイキスト周波数付近の周波数成分だけを急に落とし、その他の周波数成分にはあまり影響を与えないような平滑化がなされる。Ｇｒ画素とＧｂ画素とに段差が生じている場合は、その影響が主にナイキスト周波数付近に現れる。そのために、フィルタリングを行った結果、段差の影響は平滑化されて取り除かれるが、エッジ部のボケはあまり生じていないような中央画素のＧ成分値が得られる。
【０２６０】
係数設定回路７３は、上述したような係数Ｐ_i,jと係数Ｑ_i,jとを、上記補正量算出回路７２から取得した係数混合比αを用いて数式１９に示すように混合することにより、新たなフィルタ係数Ｃ_i,jを生成して、フィルタ回路７１へ出力する（Ｓ１３３）。
［数１９］
Ｃ_i,j＝α×Ｐ_i,j＋（１−α）×Ｑ_i,j
【０２６１】
この数式１９と、図２９に示したような係数混合比αと、によれば、近傍ブロック内で大きな段差が発生している場合には、この段差が取り除かれる係数Ｑ_i,jに近い特性の図３０の点線に示す曲線Ｌ１のようなフィルタ係数がフィルタ回路７１へ出力される。一方、近傍ブロック内で段差がほとんど発生していない場合は、係数Ｐ_i,jに近い特性の図３０の一点鎖線に示す曲線Ｌ２のようなフィルタ係数がフィルタ回路７１へ出力される。このようなフィルタ係数の混合を行うことにより、帯域劣化と段差補正とが最適にバランスされた処理を常に行うことが可能となる。
【０２６２】
フィルタ回路７１は、上述したように、係数設定回路７３から出力されたフィルタ係数Ｃ_i,jに基づいて、近傍ブロックに対して線形フィルタリングを行う。具体的には、次のような処理を行う。ここに、７×７近傍ブロックの左上隅の座標を（１，１）としたときの位置（ｉ，ｊ）（ｉ，ｊは１から７までの整数）における画素値をｘ_i,jとする。まず、Ｇ成分が得られていない位置における画素値ｘ_i,jを０にセットする。その後、次のような数式２０を用いて、フィルタリング結果ｖを計算する。
［数２０］
【０２６３】
こうしてフィルタ回路７１により計算されたフィルタリング結果ｖが、ノイズ低減回路４４へ出力される。
【０２６４】
なお、この実施例においても種々の変形を行うことが可能である。例えば、係数を混合した後に、混合された係数を用いてフィルタリングするのではなく、２種類の係数を用いてそれぞれフィルタリングを行い、フィルタリングされた結果を混合するようにして構わない。図３１は、このような処理を行うための回路の構成例を示している。
【０２６５】
すなわち、図３１に示す段差平滑化回路６２は、上記図２７に示した段差平滑化回路６２に対して、フィルタ回路７１および係数設定回路７３の代わりに、２つのフィルタ回路７１ａ，７１ｂおよび混合回路７５を設けたものであり、また、補正量算出回路７２の出力は該混合回路７５へ接続されている。
【０２６６】
上記フィルタ回路７１ａは、上記係数Ｐ_i,jによるフィルタリングを行って、結果Ｖ１を出力するものである。
【０２６７】
上記フィルタ回路７１ｂは、上記係数Ｑ_i,jによるフィルタリングを行って、結果Ｖ２を出力するものである。
【０２６８】
混合回路７５は、上記補正量算出回路７２から係数混合比αを受けて、上記フィルタ回路７１ａからの出力Ｖ１と上記フィルタ回路７１ｂからの出力Ｖ２とを用いて、以下のような数式２１により最終結果Ｖ３を算出し、算出した結果Ｖ３を上記ノイズ低減回路４４へ出力するものである。
［数２１］
Ｖ３＝α×Ｖ１＋（１−α）×Ｖ２
【０２６９】
また、図２７に示した構成と、図３１に示した構成と、の何れにおいても、混合するフィルタの数は２つに限るものではなく、３つ以上であっても構わない。この場合には、補正量算出回路７２は、複数の混合比を段差補正量の閾値Ｆの関数として算出する。
【０２７０】
さらに簡単な回路としては、図３１に示す構成において、混合回路の代わりに切換回路を設けて、係数混合比αに応じてフィルタ回路７１ａとフィルタ回路７１ｂとの出力を切り換えるようにすることも可能である。
【０２７１】
加えて、図２５の処理において、Ｓ１１４の段差補正処理として、上記図２０に示したような処理を行う代わりに、図２８に示したような処理を行うことにより、本実施例に対応するソフトウェア処理を実現することが可能となる。
【０２７２】
このような実施例５によれば、上述した実施例４とほぼ同様の効果を奏するとともに、感度差の量に基づいて設定したフィルタ係数により、注目画素と同種の色成分の画素に線形フィルタを適用するようにしたために、感度差補正量を画素値に加算する場合に比べて、感度差の推定を間違った場合であっても、より確実に感度差を補正することが可能となる。
【０２７３】
なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【産業上の利用可能性】
【０２７４】
本発明は、単板撮像系、二板撮像系、または三板画素ずらし撮像系から出力された画像を処理して、画素毎に３色成分値をもつカラーデジタル画像を生成する画像処理装置、画像処理プログラムに好適に利用することができる。
【図面の簡単な説明】
【０２７５】
【図１】本発明の実施例１におけるデジタルカメラの構成を示すブロック図。
【図２】本発明の実施例２におけるデジタルカメラの構成を示すブロック図。
【図３】上記実施例２におけるＧ段差検出回路の処理を示すフローチャート。
【図４】上記実施例２におけるＧ段差検出回路およびＧ補間回路における画素の分類を示す図。
【図５】上記実施例２におけるＧ補間回路の処理を示すフローチャート。
【図６】上記図５に示したＧ補間回路の処理におけるステップＳ１６の処理を説明するための図。
【図７】上記実施例２における重み計算回路による重み計算の方向を示す図。
【図８】上記実施例２におけるＲＢ補間回路の処理を示すフローチャート。
【図９】上記図８に示したＲＢ補間回路の処理におけるステップＳ３１の画素選択を説明するための図。
【図１０】上記実施例２において、コンピュータにより行われるソフト処理を示すフローチャート。
【図１１】上記実施例２において、コンピュータにより行われるＧ補間ソフト処理を示すフローチャート。
【図１２】上記実施例２において、コンピュータにより行われるＲＢ補間ソフト処理を示すフローチャート。
【図１３】本発明の実施例３におけるデジタルカメラの構成を示すブロック図。
【図１４】上記実施例３における補正回路により処理を行う際に用いる画素の番号を示す図。
【図１５】上記実施例３における補正回路の処理を示すフローチャート。
【図１６】上記実施例３において、コンピュータにより行われるソフト処理を示すフローチャート。
【図１７】本発明の実施例４におけるデジタルカメラの構成を示すブロック図。
【図１８】上記実施例４における段差補正回路の一構成例を示すブロック図。
【図１９】上記実施例４におけるＧ段差を説明するための図。
【図２０】上記実施例４における段差補正回路の処理を示すフローチャート。
【図２１】上記実施例４の段差補正回路における処理を行う際の近傍の例を示す図。
【図２２】上記実施例４において、補正量△を求めるための関数の例を示す線図。
【図２３】上記実施例４における段差補正回路の他の構成例を示すブロック図。
【図２４】上記実施例４において、組み合わせ平均計算回路により計算される組み合わせ平均を説明するための図。
【図２５】上記実施例４において、コンピュータにより行われるソフト処理を示すフローチャート。
【図２６】本発明の実施例５におけるデジタルカメラの構成を示すブロック図。
【図２７】上記実施例５における段差平滑化回路の一構成例を示すブロック図。
【図２８】上記実施例５における段差平滑化回路の処理を示すフローチャート。
【図２９】上記実施例５において、係数混合比αを算出するための関数の例を示す線図。
【図３０】上記実施例５の係数設定回路により設定されるフィルタ係数の周波数特性を説明するための図。
【図３１】上記実施例５における段差平滑化回路の他の構成例を示すブロック図。
【図３２】エッジ検出に基づく従来の補間処理を説明するための図。
【図３３】色相関に基づく従来の補間処理を説明するための図。
【符号の説明】
【０２７６】
１，２１，３１，４１，６１…デジタルカメラ
２…光学系
３…単板ベイヤー配列ＣＣＤ
４…単画像バッファ
５…ライン補正回路（感度補正手段）
６…ＷＢ補正回路
７…補間回路（補間手段）
８…カラー画像バッファ
９…画質調整回路
１０…記録回路
１１…制御回路
２２…Ｇ段差検出回路（判定手段、特徴量計算手段）
２３…Ｇ補間回路（補間手段）
２４…重み計算回路（重付平均手段）
２５…平均回路（重付平均手段）
２６…Ｇ画像バッファ
２７…ＲＢ補間回路（補間手段）
３２…補正回路（補間後補正手段）
４２…Ａ／Ｄ回路
４３…段差補正回路（感度補正手段）
４４…ノイズ低減回路
５１…補正回路
５２…平均計算回路（特徴計算手段）
５３…段差量推定回路（推定手段）
５４…補正量算出回路（推定手段、特徴計算手段）
５６…組み合わせ平均計算回路（特徴計算手段）
５７…差分選択回路
６２…段差平滑化回路（感度補正手段）
７１，７１ａ，７１ｂ…フィルタ回路（フィルタ手段）
７２…補正量算出回路（推定手段、特徴計算手段）
７３…係数設定回路（係数設定手段）
７５…混合回路
代理人 弁理士 伊 藤 進
【技術分野】
【０００１】
本発明は、単板撮像系、二板撮像系、または三板画素ずらし撮像系から出力された画像を処理して、画素毎に３色成分値をもつカラーデジタル画像を生成する画像処理装置、画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等において多く使用されている単板撮像系は、画素毎に異なる色フィルタを装着した単板撮像素子を用いたものであり、撮像素子からの出力画像は、各画素について一種類の色成分値しかもっていない。従って、カラーデジタル画像を生成するためには、各画素において欠落している色成分値を補う補間処理を行うことが必要となる。このような欠落している色成分値を補う補間処理が必要となるのは、二板撮像系や三板画素ずらし撮像系を用いた装置の場合にも同様である。
【０００３】
この補間処理は、工夫しないと、最終的に得られるカラー画像にぼけや偽色などの劣化が生じることがある。そのために、従来より種々の方法による補間処理が提案されており、大別すると、エッジ検出の方法に基づくものと、色相関の方法に基づくものと、に分類される。
【０００４】
エッジ検出に基づく技術としては、例えば特開平８−２９８６６９号公報に記載のものが挙げられる。該公報に記載の技術について、図３２を参照して説明する。図３２は、エッジ検出に基づく従来の補間処理を説明するための図である。
【０００５】
単板撮像素子が、例えば図３２（Ａ）に示すような３原色ベイヤー（Bayer）配列の色フィルタを備えた単板ベイヤー配列撮像素子であるとする。このとき、図３２（Ｂ）に示すように、注目画素であるＢ５の周囲に縦方向および横方向に沿った十字状の近傍をとって、該注目画素に対する水平方向のＧに対する補間値Ｇｈと、垂直方向のＧに対する補間値Ｇｖと、を次の数式１に示すように推定する。
［数１］
Ｇｈ＝（Ｇ４＋Ｇ６）／２＋（２×Ｂ５−Ｂ３−Ｂ７）／４
Ｇｖ＝（Ｇ２＋Ｇ８）／２＋（２×Ｂ５−Ｂ１−Ｂ９）／４
【０００６】
次に、水平方向と垂直方向との何れの方向に段差が多いかを示す評価値ｄＨ，ｄＶを、次の数式２に示すように、
［数２］
ｄＨ＝｜Ｇ４−Ｇ６｜＋｜Ｂ３−２×Ｂ５＋Ｂ７｜
ｄＶ＝｜Ｇ２−Ｇ８｜＋｜Ｂ１−２×Ｂ５＋Ｂ９｜
と計算する。ここに、記号｜ｘ｜は、ｘの絶対値を表している。こうして計算した評価値ｄＨ，ｄＶの内の、値が小さくより平坦であると判断された方向の補間値Ｇｈまたは補間値Ｇｖを用いるようになっている。
【０００７】
一方、色相関に基づく技術としては、例えば特開平１１−２１５５１２号公報に記載のものが挙げられる。この公報に記載の技術について、図３３を参照して説明する。図３３は、色相関に基づく従来の補間処理を説明するための図である。
【０００８】
図３３に示すように、まず、注目画素Ｘの付近で、撮像素子に構成された色フィルタの色成分（例えば、原色系の色フィルタである場合にはｒ，ｇ，ｂ）の内の何れか２種類の色成分ｐ，ｑの各成分値Ｖp ，Ｖq 同士の間に、係数αqp，βqpを用いて表現される次の数式３、
［数３］
Ｖq ＝αqp×Ｖp ＋βqp
のような直線的な相関関係が成立すると仮定する。ここに、撮像素子に構成された色フィルタが例えば原色系の色フィルタである場合には、ｐ，ｑはｒ，ｇ，ｂの何れかである。また、色成分ｐ，ｑに各々対応する成分値Ｖp ，Ｖq は、注目画素Ｘの近傍の画素における値である。
【０００９】
そして、注目画素Ｘの周囲に設定した近傍Ｕにおいて、該近傍Ｕ内の画素を、得られている色成分ｒ，ｇ，ｂの種類により分類して３つの部分集合Ｕｒ，Ｕｇ，Ｕｂを形成し、上記係数αqp，βqpを、各部分集合における画素値の平均Ａｃ（ここに、ｃはｒ，ｇ，ｂの何れか）と標準偏差Ｓｃ（ここに、ｃはｒ，ｇ，ｂの何れか）とに基づいて、次の数式４により推定する。
［数４］
αqp＝Ｓq ／Ｓp ， βqp＝Ａq −αqpＡp
【００１０】
これは、色成分ｐの分布幅（標準偏差Ｓp ）に対する色成分ｑの分布幅（標準偏差Ｓq ）の比が、上記数式３に示した直線的な相関関係の傾きαqpを与え、さらに求められた傾きαqpの直線は、色成分ｐの平均値Ａp と色成分ｑの平均値Ａq とでプロットされる点を通るという考えに基づくものである。
【００１１】
そして、推定したαqp，βqpに基づき、注目画素Ｘにおいて欠落している色成分ｍの値Ｘm を、該注目画素Ｘにおいて得られている色成分ｅの値Ｘe から、次の数式５に示すようにして求める。
［数５］
Ｘm ＝αme×Ｘe ＋βme
ここに、ｍ，ｅは、それぞれｒ，ｇ，ｂの何れかをとる。
【００１２】
このように、色相関に基づく従来技術は、注目画素の近傍における異なる色成分間の画素値の相関を推定することを特徴としている。
【特許文献１】特開平８−２９８６６９号公報
【特許文献２】特開平１１−２１５５１２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
ところで、実際の撮像系では、ライン間でゲインの差が生じたり、同じ色フィルタを有する画素同士であってもフィルタの分光特性が微妙に異なっていたりすることがあるために、同じ色成分が得られるはずの画素間に感度ばらつきが生じることがある。
【００１４】
しかし、上述した従来技術は、何れも、注目画素で得られている色成分自体を特に補正することなくそのまま補間処理の結果として用いているために、注目画素において欠落する色成分を求める際にも、注目画素自体の情報が結果にそのまま反映される特性となっている。通常は、各画素で元々得られている色成分の情報を、変更することなくそのまま補間処理の結果に使う方が効率が良いのであるが、同じ色成分が得られる画素で感度が異なっている場合には、このような処理を行うと、画素間の感度ばらつきがそのまま補間処理の結果に反映されてしまうことになり、うっすらと格子縞が見えるなどの副作用が生じていた。
【００１５】
本発明は上記事情に鑑みてなされたものであり、画素間の感度にばらつきがあったとしてもその影響を低減して高精度な補間処理を行い得る画像処理装置、画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１６】
上記の目的を達成するために、第１の発明による画像処理装置は、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき１種類以上の色成分が欠落している画像を処理する画像処理装置であって、同じ色成分が得られている画素の間の感度差を補正する感度補正手段と、上記感度補正手段により補正された後の画像に対して各画素において欠落する色成分を補う補間手段と、を具備したものである。
【００１７】
また、第２の発明による画像処理装置は、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき１種類以上の色成分が欠落している画像を処理する画像処理装置であって、注目画素の所定の近傍において指定された種類の色成分に対し当該色成分が得られている画素の間の感度差の大小を判定する判定手段と、上記注目画素において欠落する色成分を補う処理を行うものであって該処理を行う際に上記判定手段による判定結果に応じて処理内容を変更可能な補間手段と、を具備したものである。
【００１８】
さらに、第３の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記補間手段が、上記注目画素で得られている色成分に対して、上記近傍内で当該色成分が得られている画素の中から基準画素を定め、上記注目画素の当該色成分に対する感度を上記基準画素の当該色成分に対する感度に合わせた場合に上記注目画素がとるはずの当該色成分の画素値を補正値として計算し、上記判定手段により判定された感度差の大小に応じて、上記注目画素の当該色成分の画素値を、上記補正値に変更するものである。
【００１９】
第４の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記補間手段が、上記所定の近傍内の画素値を重み付け平均する重付平均手段を有して構成されており、該重付平均手段は、上記判定手段の判定結果に応じて重みを変更し重み付け平均により注目画素の画素値を算出するものである。
【００２０】
第５の発明による画像処理装置は、上記第４の発明による画像処理装置において、上記重付平均手段が、上記重みを、上記判定手段において感度差が大きいと判定された種類の色成分が得られている画素に対して小さくなるように変更するものである。
【００２１】
第６の発明による画像処理装置は、上記第４の発明による画像処理装置において、上記重付平均手段が、上記重みを、上記近傍内で同種の色成分が得られている画素間の画素値差分の関数式として計算するものであって、上記判定手段により特定の色成分に対して感度差が大きいと判定された場合には、該関数式を、当該色成分に関する上記画素値差分の影響が小さくなるように変更するものである。
【００２２】
第７の発明による画像処理装置は、上記第４の発明による画像処理装置において、上記重付平均手段が、上記判定手段において感度差があると判定された種類の色成分が得られている画素に対して、上記重みが当該画素間で均等に近付くように変更するものである。
【００２３】
第８の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記判定手段が、上記注目画素の所定の近傍内の画素値から所定の特徴量を計算する特徴量計算手段を有して構成されており、該特徴量の大小に基づいて上記感度差の大小を判定するものである。
【００２４】
第９の発明による画像処理装置は、上記第８の発明による画像処理装置において、上記判定手段が、指定された色成分に関する上記特徴量と上記感度差の量とを対応付けたテーブルをさらに有して構成されており、該特徴量から該テーブルを参照することにより上記感度差の大小を判定するものである。
【００２５】
第１０の発明による画像処理装置は、上記第８または第９の発明による画像処理装置において、上記判定手段が、上記近傍内において、指定された色成分が得られている画素を所定の方法で分類し、各分類における画素値の平均値と変動量とに基づき、上記特徴量を計算するものである。
【００２６】
第１１の発明による画像処理装置は、上記第８または第９の発明による画像処理装置において、上記判定手段が、上記近傍内において、指定された色成分が得られている画素の画素値の平均値と、指定された色成分と異なる所定の色成分が得られている画素の画素値の平均値と、に基づいて、上記特徴量を計算するものである。
【００２７】
第１２の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記補間手段が、上記撮像系により得られる画像サイズを所定の縮小率で縮小したカラー画像を生成し得るように構成されたものであり、上記判定手段は、該補間手段が縮小したカラー画像を生成する際には、該縮小率が所定の閾値以下である場合に、感度差の判定を行わないものである。
【００２８】
第１３の発明による画像処理装置は、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき１種類以上の色成分が欠落している画像を処理する画像処理装置であって、各画素において欠落する色成分を補う補間手段と、上記補間手段による結果に対して補正を行う補間後補正手段と、を具備したものである。
【００２９】
第１４の発明による画像処理装置は、上記第１３の発明による画像処理装置において、上記補間後補正手段が、注目画素の画素値と該注目画素に係る所定の近傍画素の画素値との相関を計算して、相関の高い近傍画素の平均値に基づいて上記注目画素の画素値を補正するものである。
【００３０】
第１５の発明による画像処理装置は、上記第１３の発明による画像処理装置において、上記補間手段が、上記撮像系により得られる画像サイズを所定の縮小率で縮小したカラー画像を生成し得るように構成されたものであり、上記補正後補正手段は、該補間手段が縮小したカラー画像を生成する際には、該縮小率が所定の閾値以下である場合に、補正を行わないものである。
【００３１】
第１６の発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき１種類以上の色成分が欠落している画像を処理させるための画像処理プログラムであって、該コンピュータを、同じ色成分が得られている画素の間の感度差を補正する感度補正手段、上記感度補正手段により補正された後の画像に対して各画素において欠落する色成分を補う補間手段、として機能させるための画像処理プログラムである。
【００３２】
第１７の発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき１種類以上の色成分が欠落している画像を処理させるための画像処理プログラムであって、該コンピュータを、注目画素の所定の近傍において指定された種類の色成分に対し当該色成分が得られている画素の間の感度差の大小を判定する判定手段、上記注目画素において欠落する色成分を補う処理を行うものであって該処理を行う際に上記判定手段による判定結果に応じて処理内容を変更可能な補間手段、として機能させるための画像処理プログラムである。
【００３３】
第１８の発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた各画素につき１種類以上の色成分が欠落している画像を処理させるための画像処理プログラムであって、該コンピュータを、各画素において欠落する色成分を補う補間手段、上記補間手段による結果に対して補正を行う補間後補正手段、として機能させるための画像処理プログラムである。
【００３４】
第１９の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記感度補正手段が、注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段を有して構成され、上記感度差の量に応じて感度補正を行うものである。
【００３５】
第２０の発明による画像処理装置は、上記第１９の発明による画像処理装置において、上記推定手段が、上記注目画素の所定の近傍内の画素値から所定の特徴量を計算する特徴計算手段を有して構成され、該特徴量に基づいて上記感度差の量を推定するものである。
【００３６】
第２１の発明による画像処理装置は、上記第２０の発明による画像処理装置において、上記推定手段が、上記特徴量と上記感度差の量とを対応付けたテーブルをさらに有して構成され、上記特徴量から上記テーブルを参照することにより、上記感度差の量を推定するものである。
【００３７】
第２２の発明による画像処理装置は、上記第２０の発明による画像処理装置において、上記特徴計算手段が、上記所定の近傍内で、上記注目画素で得られる色成分と異なる種類の色成分が得られている画素の画素値から、上記特徴量を計算するものである。
【００３８】
第２３の発明による画像処理装置は、上記第２０の発明による画像処理装置において、上記特徴計算手段が、上記所定の近傍内で、上記注目画素で得られる色成分と同種の色成分が得られている画素のＮ通り（Ｎは１以上の整数）の組み合わせに対するＮ個の平均値を計算して、これらの計算結果を上記特徴量とするものである。
【００３９】
第２４の発明による画像処理装置は、上記第２３の発明による画像処理装置において、上記感度補正手段が、上記Ｎ個の平均値と上記注目画素の画素値との差Ｄi （ｉは１からＮまでの整数）を求めて、これらＮ個の差Ｄi の内の絶対値が最小となるＤi を上記感度差の量とするものである。
【００４０】
第２５の発明による画像処理装置は、上記第１９の発明による画像処理装置において、上記感度補正手段が、上記感度差の量から所定の関数により感度差補正量を算出して、算出した感度差補正量を上記注目画素の画素値に加算することにより、感度補正を行うものである。
【００４１】
第２６の発明による画像処理装置は、上記第２５の発明による画像処理装置において、上記所定の関数が、上記感度差の量の絶対値がある閾値以上の場合に０となるような関数である。
【００４２】
第２７の発明による画像処理装置は、上記第１９の発明による画像処理装置において、上記感度補正手段が、上記感度差の量に基づいてフィルタ係数を設定する係数設定手段と、上記近傍内で上記注目画素で得られる色成分と同種の色成分が得られている画素に対して上記フィルタ係数を用いた線形フィルタを適用することにより感度補正を行うフィルタ手段と、を有して構成されたものである。
【００４３】
第２８の発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、該コンピュータを、注目画素の所定の近傍において注目画素と該注目画素で得られている色成分と同種の色成分が得られている画素との間の感度差の量を推定する推定手段を有し上記感度差の量に応じて感度補正を行う感度補正手段、上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段、として機能させるための画像処理プログラムである。
【００４４】
第２９の発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、該コンピュータを、注目画素の所定の近傍において注目画素と該注目画素で得られている色成分と同種の色成分が得られている画素との間の感度差の量を推定する推定手段を有し上記感度差の量から所定の関数により感度差補正量を算出して算出した感度差補正量を上記注目画素の画素値に加算することにより、感度補正を行う感度補正手段、上記感度補正手段により補正された後の画像に対して各画素において欠落する色成分を補う補間手段、として機能させるための画像処理プログラムである。
【００４５】
第３０の発明による画像処理プログラムは、コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、該コンピュータを、注目画素の所定の近傍において注目画素と該注目画素で得られている色成分と同種の色成分が得られている画素との間の感度差の量を推定する推定手段と上記感度差の量に基づいてフィルタ係数を設定する係数設定手段と上記近傍内で上記注目画素で得られる色成分と同種の色成分が得られている画素に対して上記フィルタ係数を用いた線形フィルタを適用することにより感度補正を行うフィルタ手段とを有する感度補正手段、上記感度補正手段により補正された後の画像に対して各画素において欠落する色成分を補う補間手段、として機能させるための画像処理プログラムである。
【発明の効果】
【００４６】
本発明の画像処理装置、画像処理プログラムによれば、画素間の感度にばらつきがあったとしてもその影響を低減して高精度な補間処理を行うことが可能となる。
【発明を実施するための最良の形態】
【００４７】
以下、図面を参照して本発明の実施例を説明する。
【実施例１】
【００４８】
図１は本発明の実施例１を示したものであり、デジタルカメラの構成を示すブロック図である。
【００４９】
この実施例１は、本発明の画像処理装置をデジタルカメラに適用したものである。
【００５０】
デジタルカメラ１は、図１に示すように、光学系２と、単板ベイヤー配列ＣＣＤ３と、単板画像バッファ４と、ライン補正回路５と、ＷＢ補正回路６と、補間回路７と、カラー画像バッファ８と、画質調整回路９と、記録回路１０と、制御回路１１と、を有して構成されている。
【００５１】
上記光学系２は、被写体光束を集光するためのものである。
【００５２】
上記単板ベイヤー配列ＣＣＤ３は、この光学系２により結像される被写体像を光電変換して撮像信号を出力するものである。
【００５３】
上記単板画像バッファ４は、この単板ベイヤー配列ＣＣＤ３から出力され図示しないＡ／Ｄ変換回路等によりデジタル化された画像データを一旦記憶するものである。
【００５４】
上記ライン補正回路５は、この単板画像バッファ４内に記憶されている画像に対して、ライン間でのゲインの違いを補正する感度補正手段である。
【００５５】
上記ＷＢ補正回路６は、このライン補正回路５から出力される画像データに、ホワイトバランス処理を行うものである。
【００５６】
上記補間回路７は、このＷＢ補正回路６から出力される単板画像データにおいて各画素で欠落している色成分を、近傍画素の情報から補間することにより、カラー画像データを生成する補間手段である。
【００５７】
上記カラー画像バッファ８は、この補間回路７により補間された三板のカラー画像データを一旦記憶するためのものである。
【００５８】
上記画質調整回路９は、このカラー画像バッファ８に記憶されているカラー画像に対して、色変換やエッジ強調などの画質調整処理を行うものである。
【００５９】
上記記録回路１０は、この画質調整回路９により画質を調整された三板のカラー画像データを記録するものである。
【００６０】
上記制御回路１１は、上述したような各回路を含むこのデジタルカメラ１を統括的に制御するための制御手段である。
【００６１】
このようなデジタルカメラ１の作用は、以下のようになっている。
【００６２】
このデジタルカメラ１に設けられている図示しないシャッタボタンがユーザーにより押下されると、まず、光学系２による光学像が単板ベイヤー配列ＣＣＤ３により撮像されて、各画素当たり一種類の色成分しかない単板状態の画像が単板画像バッファ４に記憶される。
【００６３】
次に、ＷＢ補正回路６が動作して、白色の被写体に対するＲ成分とＧ成分との比Ｃrg、およびＢ成分とＧ成分との比Ｃbg、をそれぞれ計算してホワイトバランス係数とする。本実施例では、上記単板画像バッファ４から所定サイズのブロック毎に画素値を読み出して、このブロック内において、各画素で得られている色成分の種類別に画素値の平均をとる処理を行う。
【００６４】
その結果、各ブロックの平均色のＲＧＢ値が得られるが、さらにＲ成分とＧ成分との比、およびＢ成分とＧ成分との比を計算して、これらの比が所定の関係を満たしているブロックのみを選ぶ。そして、選んだブロックのＲ成分とＧ成分との比、およびＢ成分とＧ成分との比、をさらに平均して、最終的なホワイトバランス係数ＣrgおよびＣbgを求める。この手法自体は公知のものである。ただし、この計算中、単板画像バッファ４から画素値を読み出す際に、ライン補正回路５が作用して、画素値の補正を行う。
【００６５】
すなわち、上記ライン補正回路５は、単板ベイヤー配列ＣＣＤ３からの信号読み出し時に生じる偶数ラインと奇数ラインとの間のゲイン段差を補正するものであり、回路にはその補正のための係数（ａ，ｂ）が保持されている。この係数は、均一なグレー被写体を撮影した際の単板画像バッファ４内の画素値に対して、奇数ラインでＧ成分が得られている画素の画素値の平均をＶ１、偶数ラインでＧ成分が得られている画素の画素値の平均をＶ２として、
［数６］
Ｖ２＝ａ×Ｖ１＋ｂ
となるように予め算出されている。この係数を用いて、ライン補正回路５では奇数ラインでＧ成分が得られている画素の画素値ｖを、偶数ラインの感度に合わせて次の数式７に示すように補正して、
［数７］
ｖ’＝ａ×ｖ＋ｂ
この補正後の画素値（補正値）ｖ’をＷＢ補正回路６に出力する。
【００６６】
上述したようなＷＢ補正回路６の処理が終了すると、上記ホワイトバランス係数Ｃrg，Ｃbgは、該ＷＢ補正回路６内に保持される。
【００６７】
次に、補間回路７が単板画像バッファ４内の各画素に対して補間処理を行う。この補間回路７が行う補間処理のアルゴリズムは、上述した特開平８−２９８６６９号公報に記載されているものと同様であるが、本実施例においては、単板画像バッファ４から５ラインずつ画素を読み出して補間回路７内の図示しない内部バッファに記憶させ、該バッファ内のデータに対して補間処理を行うようにしている。
【００６８】
そして、単板画像バッファ４から内部バッファにデータを移す際に、ライン補正回路５およびＷＢ補正回路６が動作して、単板画像バッファ４から読み出した画素値が変更される。
【００６９】
その際は、まず、ライン補正回路５が単板画像バッファ４から読み出した画素値ｖに対する補正結果（補正値）ｖ’として
［数８］
ｖ’＝ａ×ｖ＋ｂ （読出画素が奇数ラインでＧ成分が得られている場合）
ｖ’＝ｖ （その他の場合）
を計算し、さらに、ＷＢ補正回路６が、このライン補正回路５の補正結果（補正値）ｖ’に対して出力ｖ”を、
［数９］
ｖ”＝ｖ’ （読出画素でＧ成分が得られている場合）
ｖ”＝Ｃrg×ｖ’ （読出画素でＲ成分が得られている場合）
ｖ”＝Ｃbg×ｖ’ （読出画素でＢ成分が得られている場合）
と計算して、補間回路７の内部バッファにｖ”を書き込む処理を行う。
【００７０】
その後に、補間回路７によりカラー画像バッファ８に出力されたカラー画像は、画質調整回路９により色変換、エッジ強調、階調変換などの処理が施されて、上記記録回路１０により図示しない記録媒体に記録される。このようにして、デジタルカメラ１の撮像動作が完了する。
【００７１】
なお、この実施例１は、基本的な構成や処理を述べたものであり、本実施例には多くの変形例が考えられる。上記補間回路７による処理は、色成分Ｇが得られている画素において、画素値をそのまま補間処理後のＧ成分の値として用いるものであれば何でも良い。
【００７２】
また、本実施例では単板撮像系を例に挙げたが、二板撮像系や三板画素ずらし撮像系に対しても同様の処理を適用することが可能である。
【００７３】
例えば二板撮像系の場合には、二枚の撮像素子の一方からは全画素でＧ成分が得られ、他方からは市松状にＲ成分とＢ成分とが得られる。例えばＲ成分に対する感度差の補正は、単板ベイヤー配列ＣＣＤ３において市松状に得られるＧ成分に対して本実施例で述べた感度補正と同様の技術を適用することができる。
【００７４】
さらに、三板画素ずらし撮像系の場合には、３枚の撮像素子の内の２枚でＧ成分を取得し、残りの１枚で市松状にＲ，Ｂ成分を取得して、これらの情報から高精細な輝度成分を生成するタイプのものがある。この場合にも、市松状に得られるＲ，Ｂ成分の感度補正を、上述と同様に行うことができる。
【００７５】
このような実施例１によれば、同じ色成分が得られる画素の間で、特にライン間において感度が異なっていても、感度補正手段たるライン補正回路で補正してから補間手段たる補間回路の処理を行うようにしているために、補間後の画像に感度の相異が影響を及ぼすのを防いで、より高品質な画像を得ることができる。
【実施例２】
【００７６】
図２から図１２は本発明の実施例２を示したものであり、図２はデジタルカメラの構成を示すブロック図、図３はＧ段差検出回路の処理を示すフローチャート、図４はＧ段差検出回路およびＧ補間回路における画素の分類を示す図、図５はＧ補間回路の処理を示すフローチャート、図６は上記図５に示したＧ補間回路の処理におけるステップＳ１６の処理を説明するための図、図７は重み計算回路による重み計算の方向を示す図、図８はＲＢ補間回路の処理を示すフローチャート、図９は上記図８に示したＲＢ補間回路の処理におけるステップＳ３１の画素選択を説明するための図、図１０はコンピュータにより行われるソフト処理を示すフローチャート、図１１はコンピュータにより行われるＧ補間ソフト処理を示すフローチャート、図１２はコンピュータにより行われるＲＢ補間ソフト処理を示すフローチャートである。
【００７７】
この実施例２において、上述の実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【００７８】
この実施例２は、上述した実施例１と同様に、画像処理装置をデジタルカメラに適用したものである。
【００７９】
この実施例２のデジタルカメラ２１は、該実施例１のデジタルカメラ１に対して、判定手段であり特徴量計算手段たるＧ段差検出回路２２が付加されており、補間回路７に代えて補間手段たるＧ補間回路２３、Ｇ画像バッファ２６、および補間手段たるＲＢ補間回路２７を設けた点が異なっている。
【００８０】
また、上記Ｇ補間回路２３は、上記Ｇ段差検出回路２２からの出力に基づき補間対象の画素に関する重みを計算するための重付平均手段たる重み計算回路２４と、この重み計算回路２４により算出された重みに基づき重み付きの平均値を計算して補間対象の画素の画素値としＧ画像バッファ２６へ出力する重付平均手段たる平均回路２５と、を有して構成されている。
【００８１】
次に、このようなデジタルカメラ２１の作用を、上述した実施例１と異なる点を主として説明する。
【００８２】
シャッタボタンがユーザーにより押下されると、上記実施例１と同様に、光学系２による光学像が単板ベイヤー配列ＣＣＤ３により撮像されて、各画素当たり一種類の色成分しかない単板状態の画像が単板画像バッファ４に記憶される。
【００８３】
次に、ライン補正回路５およびＷＢ補正回路６が上記実施例１と同様に動作して、ホワイトバランス係数Ｃrg，Ｃbgが算出される。
【００８４】
次に、Ｇ補間回路２３が動作する。このときには、まず、単板画像バッファ４に記憶されている画像データに係る各画素の、周囲５×５画素でなるブロックがこのＧ補間回路２３に設けられている内部バッファに読み込まれる。その際に、上述した実施例１と同様に、ライン補正回路５とＷＢ補正回路６とが作動して、画素値の補正がなされ、さらにＧ段差検出回路２２が作動して、Ｇ成分が得られる画素の偶数ラインと奇数ラインとの間の段差の推定値が計算される。
【００８５】
このＧ段差検出回路２２による段差推定について、図３のフローチャートに沿って説明する。
【００８６】
Ｇ段差検出回路２２は、内部バッファに読み込まれた５×５画素でなるブロック内の各画素を、得られている色成分毎に分類して、分類毎に画素値の平均値を計算する。その際に、Ｇ成分については、図４に示すように、水平方向に隣接する画素から得られる色成分がＲである場合をＧ１、水平方向に隣接する画素から得られる色成分がＢである場合をＧ２、として、さらに２種類に分類する。従って、計算される平均値は４種類となり、Ｒ成分の平均値がＡr 、Ｂ成分の平均値がＡb 、Ｇ１成分の平均値がＡg1、Ｇ２成分の平均値がＡg2、である。そして、Ｇ１またはＧ２に分類された画素については、各分類内の画素値の分散Ｖg1，Ｖg2もそれぞれ計算する（ステップＳ１）。
【００８７】
次に、上記分散Ｖg1，Ｖg2が、両方ともある閾値Ｔ以下であるか否かを判断する（ステップＳ２）。
【００８８】
ここで両方とも閾値Ｔ以下であって、ブロックが比較的平坦であると判断された場合には、段差推定値ｄを分類Ｇ１とＧ２の平均値の差Ａg1−Ａg2として、終了する（ステップＳ３）。
【００８９】
また、上記ステップＳ２において、分散Ｖg1，Ｖg2の少なくとも一方が閾値Ｔを越える場合には、ブロックが平坦であるかどうかが不明である。そこでさらに、ブロック内においてＲ成分とＢ成分とがおよそどれだけ違っているかを、Ｒ成分が得られている画素の平均値Ａr と、Ｂ成分が得られている画素の平均値Ａb と、の差分｜Ａr −Ａb ｜が、所定の閾値Ｔrbよりも大きいか否かにより評価する（ステップＳ４）。
【００９０】
ここで、上記差分｜Ａr −Ａb ｜が閾値Ｔrbよりも大きい場合には、以下のような処理を行う。
【００９１】
まず、本実施例においては、上記Ｇ段差検出回路２２が、種々の色の被写体を撮影して各画像でライン間のＧ成分に段差ｄがどれだけ生じるかを測定することにより得られたテーブルＴｄを、予め保持している。これは、上記ＷＢ補正回路６で処理する前にライン補正回路５によって画像データに係るライン間の感度補正がなされていても、ラインの偶奇に応じて、Ｇ成分が得られている画素の画素値に段差が生じることがあるためである。
【００９２】
そして、Ｒ成分が得られている画素の平均値Ａr とＢ成分が得られている画素の平均値Ａb との差ｐ１（特徴量）と、Ｇ１，Ｇ２の両方を含むＧ成分の平均的な大きさｐ２（特徴量）と、の２つのインデックスに対して、生じ得るＧ段差量ｄを、ｄ＝Ｔｄ（ｐ１，ｐ２）のようにテーブル参照して、取得する。ここでは、このテーブル参照を行ってＧ段差量のおよその推定値ｄを求めたら、このＧ段差検出の処理を終了する（ステップＳ５）。
【００９３】
また、上記ステップＳ４において、上記差分｜Ａr −Ａb ｜が閾値Ｔrb以下である場合には、Ｇ段差が生じているとしても、それがどの程度あるのかをブロック内のデータからは推定することができないために、Ｇ段差量ｄを、推定不能を表す−２５５に設定して、終了する（ステップＳ６）。
【００９４】
このようにして、５×５画素でなるブロックの読み出しと、ライン間のＧ成分の段差量の推定値ｄと、が得られると、Ｇ補間回路２３が、ブロックの中心画素のＧ成分を計算して、Ｇ画像バッファ２６に書きこむ。このような処理について、図５のフローチャートを参照して説明する。
【００９５】
処理を開始すると、ブロックの中心画素の分類ｍが、上記図４に示した分類におけるＧ１であるか否かを判断する（ステップＳ１１）。この分類ｍは、該図４に例示したように、得られている色成分の種類と水平隣接画素の種類とに応じて、Ｒ，Ｇ１，Ｇ２，Ｂの４種類の何れかになる。
【００９６】
ここで分類ｍがＧ１である場合には、中心画素のＧ成分の値Ｖを、ブロックの中心画素の画素値Ｕ0 そのものとして（ステップＳ１２）、終了する。
【００９７】
また、上記ステップＳ１１において、ブロックの中心画素の分類ｍがＧ１でない場合には、該分類ｍが図４に示した分類におけるＧ２であるか否かをさらに判断する（ステップＳ１３）。
【００９８】
ここでブロックの中心画素の分類ｍがＧ２である場合には、Ｇ段差推定値ｄが−２５５であるか否か、つまり推定不能に設定されているか否かを判断する（ステップＳ１４）。
【００９９】
Ｇ段差推定値ｄが−２５５でない場合には、中心画素のＧ成分の値Ｖを、ブロック中心画素の画素値Ｕ0 とＧ段差推定値ｄとに基づいてＶ＝Ｕ0 ＋ｄと推定し（ステップＳ１５）、終了する。
【０１００】
一方、上記ステップＳ１４において、Ｇ段差推定値ｄが−２５５である場合には、中心画素（画素値がＵ0 となっている画素）に対する３×３画素の近傍を図６に示すようにとり、この近傍の四隅にあるＧ成分が得られている画素の画素値Ｕ1 〜Ｕ4 と、該中心画素の画素値Ｕ0 との差分ｄujを、以下のように計算する。
ｄuj＝｜Ｕ0 −Ｕj ｜
ここにｊは、１から４の整数である。これらの差分の内の、最小の差分を与えるｊについて、Ｖ＝（Ｕ0 ＋Ｕj ）／２を中心画素のＧ成分の値とし（ステップＳ１６）、終了する。
【０１０１】
上記ステップＳ１３において、ブロックの中心画素の分類ｍがＧ２でない場合には、Ｇ段差推定値ｄが−２５５であるか否か、つまり推定不能に設定されているか否かを判断する（ステップＳ１７）。
【０１０２】
ここでＧ段差推定値ｄが−２５５でない場合には、ブロック内のＧ２に分類された画素ｋの画素値Ｕk を、Ｕk ＝Ｕk ＋ｄと補正する（ステップＳ１８）。
【０１０３】
また、上記ステップＳ１７においてＧ段差推定値ｄが−２５５である場合には、後述するステップＳ２０の計算で用いるパラメータαを、予め設定された値に対して１／２倍するとともに、該ステップＳ２０の計算で用いるパラメータβを、予め設定された値に対して２倍する（ステップＳ１９）。
【０１０４】
上記ステップＳ１８またはステップＳ１９が終了したら、重み計算回路２４が、図７（Ａ）〜図７（Ｄ）に示すような中心画素の上下左右の各方向の重みＷｊ（ｊは１から４の整数）を以下の数式１０に示すように計算する。
［数１０］
Ｅ１＝｜Ｂ５−Ｂ７｜
＋α×（｜Ｇ４−Ｇ６｜−ｍｉｎ（｜Ｇ４−Ｇ６｜，｜Ｇ２−Ｇ８｜））
＋β
Ｅ２＝｜Ｂ５−Ｂ９｜
＋α×（｜Ｇ２−Ｇ８｜−ｍｉｎ（｜Ｇ４−Ｇ６｜，｜Ｇ２−Ｇ８｜））
＋β
Ｅ３＝｜Ｂ５−Ｂ３｜
＋α×（｜Ｇ４−Ｇ６｜−ｍｉｎ（｜Ｇ４−Ｇ６｜，｜Ｇ２−Ｇ８｜））
＋β
Ｅ４＝｜Ｂ５−Ｂ１｜
＋α×（｜Ｇ２−Ｇ８｜−ｍｉｎ（｜Ｇ４−Ｇ６｜，｜Ｇ２−Ｇ８｜））
＋β
Ｗｊ＝（１／Ｅｊ）／（Σ（１／Ｅｋ））
この数式１０におけるα，βは定数であり、予め定められた値、または上記ステップＳ１９において変更された値をとる。また、Ｗの計算におけるｊは上述したように１から４の整数、分母の和は１から４の整数ｋに対してとっている。なお、この計算式は、図７（Ａ）〜図７（Ｄ）の配置に対するものであり、中心画素の分類がＢであるときの例であるが、中心画素の分類がＲである場合には、ＢとＲとを置き換えて計算をすれば良い（ステップＳ２０）。
【０１０５】
次に、平均回路２５が、上記ステップＳ２０において計算した重みＷj を用いて、各方向にある画素の画素値を重み付けして、以下の数式１１により最終的な中心画素のＧ成分を計算する（ステップＳ２１）。
［数１１］
Ｖg ＝Ｗ１×Ｇ６＋Ｗ２×Ｇ８＋Ｗ３×Ｇ４＋Ｗ４×Ｇ２
Ｖb ＝Ｗ１×Ｂ７＋Ｗ２×Ｂ９＋Ｗ３×Ｂ３＋Ｗ４×Ｂ１
Ｖ ＝Ｖg ＋（Ｖb −Ｂ５）／２
【０１０６】
このような一連の処理が単板画像バッファ４内の画像の全画素に対して終了すると、Ｇ画像バッファ２６にはＧ成分の欠落が補われた画像が得られる。すると、次にＲＢ補間回路２７が動作して、全ての画素で欠落色成分のないカラー画像を生成しカラー画像バッファ８に記憶させる。
【０１０７】
すなわち、ＲＢ補間回路２７は、Ｇ補間回路２３と同様に、単板画像バッファ４内の各画素に対して、まず、該画素を中心とする５×５画素でなるブロックを読み出す。この読み出し時には、Ｇ補間回路２３と同様に、ライン補正回路５、ＷＢ補正回路６、およびＧ段差検出回路２２が作動して、５×５画素でなるブロックの変更後の画素値が該ＲＢ補間回路２７の図示しない内部バッファに得られるとともに、ブロック内のＧ段差推定値ｄも得られる。
【０１０８】
次に、ＲＢ補間回路２７は、読み出したブロックに対応する画素位置のＧ成分の値をＧ画像バッファ２６から読み出して、同様に図示しない内部バッファに記憶する。
【０１０９】
その後、ＲＢ補間回路２７は、図８に示すような処理により、中央画素の欠落色成分を求める。この図８に示す処理は、ブロックの中央画素に対する指定された色成分ｃの値を、内部バッファのデータから重み付け平均により計算するものである。
【０１１０】
このとき、画素位置によって欠落する色成分が異なるために、ＲＢ補間回路２７は、ブロックの中央画素の分類が、Ｒの場合にはｃ＝Ｂとして、Ｂの場合にはｃ＝Ｒとして、Ｇ１またはＧ２の場合にはｃ＝Ｒおよびｃ＝Ｂの各々の指定に対して、図８に示す処理を実行するようになっている。
【０１１１】
以下では、図８に示す処理を順に説明する。
【０１１２】
処理を開始すると、ブロック内において、指定された色成分ｃが得られている画素Ｐ1 〜Ｐn （ｎは整数）を求める（ステップＳ３１）。図９（Ｂ）は、図９（Ａ）に示すような配置のブロックにおけるｃ＝Ｒに対する結果を示したものである。この場合には、画素Ｐ1 〜Ｐ6 が得られるために、ｎは６となる。
【０１１３】
次に、ブロック内のＧ段差推定値ｄが−２５５，つまり推定不能に設定されているか否かを判断する（ステップＳ３２）。
【０１１４】
ここで、Ｇ段差推定値ｄが−２５５である場合には、後述するステップＳ３４の計算で用いるパラメータγを予め設定された値の２倍にするとともに、後述するステップＳ３５の計算で用いるパラメータδを予め設定された値の半分にする（ステップＳ３３）。
【０１１５】
このステップＳ３３の処理が終了するか、または、上記ステップＳ３２においてＧ段差推定値ｄが−２５５でない場合には、画素Ｐｊに割り当てる重みＷｊを、以下の数式１２に示すように計算する（ステップＳ３４）。
［数１２］
Ｅj ＝｜Ｇj −Ｇ0 ｜＋γ
Ｗｊ＝（１／Ｅｊ）／（Σ（１／Ｅｋ））
ここに、Ｗの計算におけるｊは１から４の整数、分母の和は１から４の整数ｋに対してとっている。また、γは定数であり、予め定められた値、または上記ステップＳ３３で変更された値をとる。
【０１１６】
次に、中央画素における欠落色成分ｃの値Ｖを、以下の数式１３に示すように計算する。この数式１３において、ＣｊおよびＧｊは、画素Ｐｊにおいて得られている色成分ｃおよびＧの値である（ステップＳ３５）。
［数１３］
Ｖc ＝ΣＷj ×Ｃj （ｊは１からｎの整数）
Ｖg ＝Ｇ０−ΣＷj ×Ｇj （ｊは１からｎの整数）
Ｖ ＝Ｖc ＋δ×Ｖg
ここにδは定数であり、予め定められた値、または上記ステップＳ３３で変更された値をとる。
【０１１７】
ここまでの処理が単板画像バッファ４内の画像の全ての画素に対して終了すると、カラー画像バッファ８には全画素で欠落色成分が復元されたカラー画像、すなわち、いわゆる三板のカラー画像が得られる。
【０１１８】
その後の作用は上述した実施例１と同様であり、得られたカラー画像が画質調整回路９により色変換、エッジ強調、階調変換などの処理を施され、記録回路１０により図示しない記録媒体に記録されて、このデジタルカメラ２１の撮像動作が完了する。
【０１１９】
なお、上述では、画像処理装置であるデジタルカメラ２１の内部のハードウェア（回路等）により処理を行うようにしているが、このような処理を、ＰＣ（パーソナルコンピュータ）等のコンピュータ上で画像処理プログラムにより行うようにすることも可能である。図１０〜図１２はコンピュータにより行われるソフト処理の例を示すフローチャートである。
【０１２０】
このソフトウェア処理は、メモリＩｎＩｍｇに記憶されている画像、つまり、単板ベイヤー配列ＣＣＤ３により得られた直後の、各画素で一種類の色成分しか得られていない画像、を処理して、メモリＯｕｔＩｍｇに３色カラー画像を出力するものである。ただし、ホワイトバランス係数Ｃｒ，Ｃｂおよびライン間のゲイン補正係数ａ，ｂは、パラメータとして与えられるものとする。
【０１２１】
以下では、図１０〜図１２のフローチャートの各ステップについて説明する。
【０１２２】
まず、図１０は、ソフト処理の流れの概要を示している。
【０１２３】
すなわち、処理を開始すると、この処理の途中で全画素に対するＧ成分をまず計算することになるために、該計算結果を記憶するためのメモリＧｉｍｇを確保する（ステップＳ４１）。
【０１２４】
次に、後で図１１を参照して説明するようなＧ補間ソフト処理を実行する（ステップＳ４２）。
【０１２５】
さらに、後で図１２を参照して説明するようなＲＢ補間ソフト処理を実行する（ステップＳ４３）。
【０１２６】
その後、確保したメモリＧｉｍｇを開放してから（ステップＳ４４）、このソフト処理を終了する。
【０１２７】
次に、図１１を参照して、上記ステップＳ４２におけるＧ補間ソフト処理の詳細について説明する。
【０１２８】
処理を開始すると、メモリＩｎＩｍｇ内に未処理の画素が存在するか否かを判断する（ステップＳ５１）。
【０１２９】
ここで、メモリＩｎＩｍｇ内に未処理の画素が存在している場合には、該未処理の画素の内の１つを処理対象画素として決定し、この処理対象画素を中心とした５×５画素でなるブロックの画像データを読み出す（ステップＳ５２）。
【０１３０】
そして、上記数式８を計算することによりライン間補正を行うとともに上記数式９を計算することによりＷＢ補正を行う（ステップＳ５３）。
【０１３１】
さらに、上記図３に示したようなＧ段差推定処理を行うことにより、段差推定値ｄを計算する（ステップＳ５４）。
【０１３２】
このＧ段差推定結果に基づいて図５に示したようなＧ補間処理を行い（ステップＳ５５）、処理後のＧ補間結果ＶをメモリＧｉｍｇ中の処理対象画素に対応する位置の画素値として記録してから（ステップＳ５６）、上記ステップＳ５１に戻る。
【０１３３】
また、上記ステップＳ５１において、メモリＩｎＩｍｇ内の画像の処理が全て終了している場合には、この処理を終了する。
【０１３４】
続いて、図１２を参照して、上記ステップＳ４３におけるＲＢ補間ソフト処理の詳細について説明する。
【０１３５】
処理を開始すると、メモリＩｎＩｍｇ内に未処理の画素が存在するか否かを判断する（ステップＳ６１）。
【０１３６】
ここで、メモリＩｎＩｍｇ内に未処理の画素が存在している場合には、該未処理の画素の内の１つを処理対象画素として決定し、この処理対象画素を中心とした５×５画素でなるブロックの画像データをメモリＩｎＩｍｇおよびメモリＧｉｍｇからそれぞれ読み出す（ステップＳ６２）。
【０１３７】
そして、上記数式８を計算することによりライン間補正を行うとともに上記数式９を計算することによりＷＢ補正を行う（ステップＳ６３）。
【０１３８】
さらに、上記図３に示したようなＧ段差推定処理を行うことにより、段差推定値ｄを計算する（ステップＳ６４）。
【０１３９】
その後、ブロックの中央画素の種類がＲであるか否かを判断し（ステップＳ６５）、Ｒでない場合には、ｃ＝Ｒとしてから上記図８に示したようなＲＢ補間処理を行い、その補間結果をメモリＯｕｔＩｍｇの対応する画素のＲ成分として記録する（ステップＳ６６）。
【０１４０】
このステップＳ６６が終了するか、または上記ステップＳ６５において中央画素の種類がＲである場合には、ブロックの中央画素の種類がＢであるか否かを判断する（ステップＳ６７）。
【０１４１】
ここで、中央画素の種類がＢである場合には、そのまま上記ステップＳ６１へ戻り、一方、中央画素の種類がＢでない場合には、ｃ＝Ｂとしてから上記図８に示したようなＲＢ補間処理を行い、その補間結果をメモリＯｕｔＩｍｇの対応する画素のＢ成分として記録してから（ステップＳ６８）上記ステップＳ６１へ戻る。
【０１４２】
そして、上記ステップＳ６１において、メモリＩｎＩｍｇ内の画像の処理が全て終了している場合には、この処理を終了する。
【０１４３】
なお、この実施例は幾つかの変形が可能である。好ましい変形例の一つは、Ｇ補間回路２３およびＲＢ補間回路２７が単板画像バッファ４に保持される画像よりも画素数の少ない画像を生成する機能を有するものであって、該機能を働かせる場合に、Ｇ段差検出回路２２の処理をスキップすることである。画素数を少なくして出力するモードは、デジタルカメラにおいては標準的に備えられたものであり、この場合には、Ｇ補間回路２３およびＲＢ補間回路２７が単板画像バッファ４から画素を間引いて読み出しながら処理することになる。すると、Ｇ画素に感度差があっても処理結果への影響が少なくなるために、間引き率に応じて（つまり、縮小率が所定の閾値以下である場合に）Ｇ段差検出回路の処理を中止し、段差推定値としてｄ＝−２５５を出力するようにすることにより、処理効率を向上し消費電力を低減することが可能となる。
【０１４４】
また、本実施例では単板撮像系を例に挙げたが、二板撮像系や三板画素ずらし撮像系に対しても同様の処理を適用することが可能である。
【０１４５】
例えば二板撮像系の場合には、二枚の撮像素子の一方からは全画素でＧ成分が得られ、他方からは市松状にＲ成分とＢ成分とが得られる。このときには、図３のステップＳ１からステップＳ３の処理を変更して、偶数ラインのＲ画素と奇数ラインのＲ画素との間の平均値の差を検出して、その検出量に応じて感度差補正を行うようにすれば良い。
【０１４６】
さらに、三板画素ずらし撮像系の場合には、３枚の撮像素子の内の２枚でＧ成分を取得し、残りの１枚で市松状にＲ，Ｂ成分を取得して、これらの情報から高精細な輝度成分を生成するタイプのものがある。この場合にも、市松状に得られるＲ，Ｂ成分の感度補正を、上記二板撮像系の場合と同様に行うことができる。
【０１４７】
そして、感度補正をＧ成分以外のこうしたＲ成分やＢ成分について行うときには、上記テーブルは、指定された色成分に対する特徴量と感度差の量とを対応付けたテーブルとなるのは勿論である。
【０１４８】
また、重付平均手段たる重み計算回路２４および平均回路２５における重みの計算法は、重みが、判定手段である上記Ｇ段差検出回路２２において感度差が大きいと判定された種類の色成分が得られている画素に対して小さくなるようなものであれば他の方法に変更しても良い。例えば、重みの計算式は、数式１０以外に、上記近傍内で同種の色成分が得られている画素間の画素値差分に対する他の形の関数式でも良い。但し、上記Ｇ段差検出回路２２により特定の色成分に対して感度差が大きいと判定された場合には、該関数式は、当該色成分に関する上記画素値差分の影響が小さくなるように変更することが望ましい。さらに、上記Ｇ段差検出回路２２において感度差があると判定された種類の色成分が得られている画素に対する重みの計算は、最終的にＧ画素間の重みが均等に近づくように計算されることが望ましく、それは数式１０ではβの調整で実現できているが、もちろん他の計算式を用いても良い。
【０１４９】
このような実施例２によれば、上述した実施例１と同様に、同じ色成分が得られる画素で感度が異なっていても、感度補正手段で補正してから補間手段の処理を行うようにしているために、補間後の画像に感度の相異が影響を及ぼすのを防いで、より高品質な画像を得ることができる。
【０１５０】
その上、この実施例２によれば、補間手段による処理を行う前に、判定手段により同じ色成分が得られる画素に大きな感度差があるか否かを判定して、大きな感度差があると判断された場合に、補間手段の処理を、該感度差の影響を受け難い処理に変更しているために、つまり、元々得られている色成分の値を注目画素の感度が所定の基準感度である場合にとるはずの値に補正して補間結果に用いるような処理に変更しているために、処理効率をあまり落とすことなく、最終的に得られる画像の画質を向上することができる。
【０１５１】
さらに、感度差の有無に応じて補間処理の際の重みを変更するようにしているために、感度差があると判断された部分とそうでない部分との画質が大きく切り替わらない自然な処理を、簡単な処理回路で行うことが可能となる。
【０１５２】
その際、感度の異なる画素の重みが互いに等しくなるような計算を行っているために、結果として副作用を少なくすることができる。
【０１５３】
また、この補間処理では、複数の色成分の情報を用いて欠落する色成分の値を推定しているが、その際に感度の異なる画素を含む色成分に対する情報の利用の割合を小さくするようにしているために、格子縞が見えるなどの副作用を起き難くすることができる。
【０１５４】
さらに、重み計算を同色画素の差分に基づいて行っているが、その計算においても、データとして信頼性が低い、感度差のある同色画素の差分の影響を小さくするようにしているために、結果的に生じる副作用を抑制することができる。
【０１５５】
加えて、感度差を生じる原因には種々のものがあるが、注目画素の近傍における画素値のパターンが特定の条件を満たす場合に感度差が生じ易いことがあるために、該近傍がこうしたパターンとなっているかどうかを特徴量を使って判定して、該パターンであると判断される率が高いほど感度差も大きいと判断することにより、局所的に生じる感度差に対しても副作用が生じないように処理することを可能にしている。
【０１５６】
その際、感度差を生じ易い近傍の画素値パターンに関して、該パターンに対して生じる感度差とパターンの特徴量とを関連付けてテーブルとして保持しておくことにより、感度差の大小をより確実に判断することができる。
【０１５７】
また、感度差を生じる画素の位置関係が分かっていることを利用して、位置毎に別々に統計を取って、その結果同士を比較しているので、感度差が生じているか否かを確実に判断することができる。例えばベイヤー配列の場合には、隣接するＲ，Ｂからの電荷の漏れに影響されて、ライン間のＧに感度差を生じることがあるが、このような段差を検出することが可能となる。
【０１５８】
さらに、画素数を減らして結果を記録する場合には、最終的に感度差に起因する副作用が目立たなくなることを利用して、感度差判定処理をスキップしているために、処理の効率を向上させている。
【実施例３】
【０１５９】
図１３から図１６は本発明の実施例３を示したものであり、図１３はデジタルカメラの構成を示すブロック図、図１４は補正回路により処理を行う際に用いる画素の番号を示す図、図１５は補正回路の処理を示すフローチャート、図１６はコンピュータにより行われるソフト処理を示すフローチャートである。
【０１６０】
この実施例３において、上述の実施例１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１６１】
この実施例３は、上述した実施例１と同様に、画像処理装置をデジタルカメラに適用したものである。
【０１６２】
この実施例３のデジタルカメラ３１は、該実施例１のデジタルカメラ１に対して、補間後補正手段たる補正回路３２を、カラー画像バッファ８と画質調整回路９との間に付加したものとなっている。
【０１６３】
次に、このようなデジタルカメラ３１の作用を、上述した実施例１と異なる点を主として説明する。
【０１６４】
シャッタボタンがユーザーにより押下されると、上記実施例１と同様に、光学系２による光学像が単板ベイヤー配列ＣＣＤ３により撮像されて、各画素当たり一種類の色成分しかない単板状態の画像が単板画像バッファ４に記憶される。
【０１６５】
次に、ライン補正回路５およびＷＢ補正回路６が動作するが、その作用は上記実施例１と同様であり、ライン間の感度補正を行いながらホワイトバランス係数Ｃrg，Ｃbgを算出して保持する。
【０１６６】
続いて、補間回路７が、単板画像バッファ４内の各画素に対して補間処理を行うが、これも実施例１と同様であり、各画素の欠落色成分が補われたカラー画像が、カラー画像バッファ８に得られる。
【０１６７】
その後に、補正回路３２が処理を行う。この補正回路３２は、カラー画像バッファ８中の各画素を順にスキャンして、各画素の３×３画素でなる近傍を読み出し、図１５に示すような処理を行うことにより、中央画素の補正ＲＧＢ値を画質調整回路９に出力するものである。
【０１６８】
以下では、図１５のフローチャートの各ステップについて説明する。
【０１６９】
処理を開始すると、３×３画素でなる近傍内の各画素に対して、ＲＧＢ成分から輝度値Ｙを計算する（ステップＳ７１）。この輝度値の計算には、次のような標準的な定義式、
Ｙj ＝０．３×Ｒj ＋０．６×Ｇj ＋０．１×Ｂj
を用いる。なお、各画素に対しては、図１４に示すような番号が割り振られる。以下では、各画素に関する値を、その画素番号の沿え字を用いてｊ＝０〜８などと表すことにする。
【０１７０】
次に、中央画素と周辺画素との輝度差（これは、注目画素の画素値と近傍画素の画素値との相関を示している。）を
ｄＹj ＝｜Ｙ０−Ｙj ｜
として計算する（ステップＳ７２）。ここにｊは、１から８の整数である。
【０１７１】
そして、以下の条件（１），（２）、
（１）ｄＹk1はｄＹ0 からｄＹ8 の内で一番小さい
（２）ｄＹk2はｄＹ0 からｄＹ8 の内で２番目に小さい
を満たすような整数ｋ１，ｋ２を探す（ステップＳ７３）。
【０１７２】
次に、所定の閾値Ｔ１，Ｔ２に対して、ｄＹk1がＴ１よりも大きく、かつｄＹk2−ｄＹk1がＴ２よりも小さくなるか否かを調べる（ステップＳ７４）。この条件は、満たされた場合に、中央画素が孤立点であると知覚される確率が高いことを示す条件となっている。
【０１７３】
ここで、条件が満たされて孤立点と判断された場合には、中央画素に対する補正値（Ｒ０’，Ｇ０’，Ｂ０’）を、以下の数式１４によって計算して、
［数１４］
Ｒ０’＝（Ｒk1＋Ｒk2）／２
Ｇ０’＝（Ｇk1＋Ｇk2）／２
Ｂ０’＝（Ｂk1＋Ｂk2）／２
この計算結果を出力し終了する（ステップＳ７５）。
【０１７４】
一方、上記ステップＳ７４において、条件が満たされていない場合には、中央画素のＲＧＢ画素値を無補正のまま出力して（ステップＳ７６）、終了する。
【０１７５】
こうして画質調整回路９に出力された補正ＲＧＢ値は、上述した実施例１と同様に、画質調整回路９で調整された後に記録回路１０により記録され、全ての処理が終了する。
【０１７６】
なお、上述では、画像処理装置であるデジタルカメラ３１の内部のハードウェア（回路等）により処理を行うようにしているが、このような処理を、ＰＣ（パーソナルコンピュータ）等のコンピュータ上で画像処理プログラムにより行うようにすることも可能である。
【０１７７】
このソフトウェアは、上述した実施例２において図１０〜図１２を参照して説明したものと同様に、メモリＩｎＩｍｇに記憶されている画像、つまり、単板ベイヤー配列ＣＣＤ３により得られた直後の、各画素で一種類の色成分しか得られていない画像、を処理して、メモリＯｕｔＩｍｇに３色カラー画像を出力するものである。ただし、ホワイトバランス係数Ｃｒ，Ｃｂおよびライン間のゲイン補正係数ａ，ｂは、パラメータとして与えられるものとする。
【０１７８】
以下では、図１６のフローチャートの各ステップについて説明する。この図１６は、ソフト処理の流れを示したものである。
【０１７９】
この処理を開始すると、まず、補間処理における中間結果を保持しておくためのメモリｔｍｐｉｍｇを確保する（ステップＳ８１）。
【０１８０】
次に、メモリＩｎＩｍｇ内に未処理の画素が存在するか否かを判断する（ステップＳ８２）。
【０１８１】
ここで、未処理の画素が存在する場合には、該未処理の画素の内の１つを処理対象画素として決定し、この処理対象画素を中心とした５×５画素でなるブロックを上記メモリＩｎＩｍｇから読み出す（ステップＳ８３）。
【０１８２】
そして、メモリＩｎＩｍｇから読み出したブロック内の画素に対して、上記数式８による計算を行うことによりライン間補正を行うとともに、上記数式９による計算を行うことによりＷＢ補正を行う（ステップＳ８４）。
【０１８３】
続いて、公知の方法により補間処理を行って、各画素についてＲＧＢの３色成分を生成する（ステップＳ８５）。
【０１８４】
その後、補間処理の結果をｔｍｐｉｍｇ内の対応画素位置に記録して（ステップＳ８６）、上記ステップＳ８２に戻り他の画素の処理に移行する。
【０１８５】
一方、上記ステップＳ８２において、メモリＩｎＩｍｇ内に未処理の画素が存在しない場合には、さらに、メモリｔｍｐｉｍｇ内に補正処理を受けていない画素が存在するか否かを判断する（ステップＳ８７）。
【０１８６】
ここで、補正処理が行われていない画素が存在する場合には、この未補正処理の画素を中心とした３×３画素でなる近傍のデータをメモリｔｍｐｉｍｇから読み出して（ステップＳ８８）、上記図１５に示したような補正処理を行い（ステップＳ８９）、この補正処理の結果をメモリＯｕｔＩｍｇの対応画素位置に記録してから（ステップＳ９０）、上記ステップＳ８７へ戻って次の未処理の画素の処理へ移行する。
【０１８７】
また、上記ステップＳ８７において、メモリｔｍｐｉｍｇ内に補正処理を受けていない画素が存在しない場合には、ｔｍｐｉｍｇとして確保していたメモリ領域を開放してから（ステップＳ９１）、終了する。
【０１８８】
なお、この実施例は幾つかの変形が可能である。好ましい変形例の一つは、補間回路７が単板画像バッファ４に保持される画像よりも画素数の少ない画像を生成する機能を有するものであって、該機能を働かせる場合に、補正回路３２の処理をスキップすることである。画素数を少なくして出力するモードは、上述したように、デジタルカメラにおいては標準的に備えられたものであり、この場合には、補間回路７が単板画像バッファ４から画素を間引いて読み出しながら処理することになる。すると、Ｇ画素に感度差があっても処理結果への影響が少なくなるために、間引き率に応じて（つまり、縮小率が所定の閾値以下である場合に）補正回路３２の処理を中止するようにすることで、画質に影響を及ぼすことなく、処理効率を向上し消費電力を低減することが可能となる。
【０１８９】
また、本実施例では単板撮像系を例に挙げたが、二板撮像系や三板画素ずらし撮像系に対しても、各方式に応じた補間処理でカラー画像を得た後に、同様の補正処理を行うことが可能である。
【０１９０】
このような実施例３によれば、上述した実施例１，２とほぼ同様の効果を奏するとともに、画素間の感度差によって生じる可能性がある副作用を、補間処理を感度差に応じて変更して防ぐのではなく、補間処理後に生じる可能性のありそうな副作用のパターンを直接補正するようにしたために、画質の改善をより簡易的に行うことができる。
【０１９１】
また、近傍画素と注目画素とが調和しているか否かを、相関により調べて、調和度の高い近傍画素の画素値を注目画素の画素値に混合するようにしているために、副作用を良好に減らすことができる。
【０１９２】
さらに、画素数を減らして結果を記録する場合には、最終的に感度差に起因する副作用が目立たなくなることを利用して、補間後の補正処理をスキップしているために、処理の効率を向上することができる。
【実施例４】
【０１９３】
図１７から図２５は本発明の実施例４を示したものであり、図１７はデジタルカメラの構成を示すブロック図、図１８は段差補正回路の一構成例を示すブロック図、図１９はＧ段差を説明するための図、図２０は段差補正回路の処理を示すフローチャート、図２１は段差補正回路における処理を行う際の近傍の例を示す図、図２２は補正量△を求めるための関数の例を示す線図、図２３は段差補正回路の他の構成例を示すブロック図、図２４は組み合わせ平均計算回路により計算される組み合わせ平均を説明するための図、図２５はコンピュータにより行われるソフト処理を示すフローチャートである。
【０１９４】
この実施例４において、上述の実施例１〜３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１９５】
この実施例４は、上述した実施例１と同様に、画像処理装置をデジタルカメラに適用したものである。
【０１９６】
この実施例４のデジタルカメラ４１は、図１７に示すように、該実施例１のデジタルカメラ１に対して、ライン補正回路５に代えて段差補正回路４３とノイズ低減回路４４とを設けたものとなっている。また、単板ベイヤー配列ＣＣＤ３と単板画像バッファ４との間には、該単板ベイヤー配列ＣＣＤ３から出力されるアナログの映像信号をゲイン調整してからデジタルの映像信号に変換するためのＡ／Ｄ変換回路４２が明示して設けられているが、これは上述した第１から第３の実施例のデジタルカメラにおいても同様に設けられていて、ただ単に図示を省略していただけのものである。そして、これらＡ／Ｄ変換回路４２、段差補正回路４３、およびノイズ低減回路４４は、上記制御回路１１により制御されるようになっている。
【０１９７】
上記段差補正回路４３は、単板画像バッファ４内に記憶されている画像に対して、Ｇ成分の感度差補正を行うためのものである。
【０１９８】
上記ノイズ低減回路４４は、この段差補正回路４３から出力される信号にノイズ低減処理を行うためのものである。
【０１９９】
上記段差補正回路４３は、より詳しくは図１８に示すように、補正回路５１と、平均計算回路５２と、段差量推定回路５３と、補正量算出回路５４と、を有して構成されている。
【０２００】
上記平均計算回路５２は、上記単板画像バッファ４から所定サイズのブロック単位で画像データを読み出して、注目画素以外のＧ成分の平均値を算出するものである。
【０２０１】
上記段差量推定回路５３は、上記平均計算回路５２により算出された平均値と、注目画素のＧ成分値と、の差を算出することにより、感度差の量を推定するものである。
【０２０２】
上記補正量算出回路５４は、上記単板画像バッファ４から読み出したブロック単位の画像データから特徴量を算出し、該特徴量に基づいて閾値を求め、この閾値と、上記段差量推定回路５３により推定されたＧ成分の感度差の量と、に基づいて、上記単板画像バッファ４からブロック単位で読み出した画像データの感度差補正量を計算するものである。
【０２０３】
上記補正回路５１は、上記補正量算出回路５４により計算された感度差補正量に基づいて、注目画素のＧ成分値を感度差補正し、上記ノイズ低減回路４４へ出力するものである。
【０２０４】
このようなデジタルカメラ４１の作用について、上述した各実施例と異なる部分を説明する。
【０２０５】
段差補正回路４３は、単板画像バッファ４の各画素毎に、近傍３×３サイズのブロック領域を読み出す。そして、読み出した３×３サイズのブロック領域の中心に位置する画素を注目画素とする。該段差補正回路４３は、注目画素の色成分がＧ成分である場合にのみ、以下に示すように段差補正処理を行うようになっている。
【０２０６】
また、ここで、図１９を参照して、Ｇ段差について説明する。単板ベイヤー配列ＣＣＤ３は、図１９（Ａ）に示すような色フィルタ配列を有しているが、センサの特性上、ある撮影条件下では、図中の奇数行目のＧ画素（Ｇｒと記載している）と、偶数行目のＧ画素（Ｇｂと記載している）と、の間に、同じＧ成分取得用であるにも関わらず、感度差が付いてしまうことがある。すなわち、例えば全ての画素について「１２８」の出力値が得られるような平坦な被写体を撮影した場合でも、図１９（Ｂ）に示すように、Ｇｒからは「１８０」の画素値が得られ、Ｇｂからは「１００」の画素値が得られて、ＧｒとＧｂとの画素値に差が生じてしまうことがある。このような差のことを、以下ではＧ段差と呼ぶことにする。
【０２０７】
段差補正回路４３は、図２０に示したような流れに沿って、このＧ段差を補正して、補正された画素値を出力するようになっている。
【０２０８】
すなわち、段差補正回路４３は、図２０に示す処理を開始すると、まず、読み出した近傍ブロックの中心画素がＧｒまたはＧｂの何れかであるか否かを判断する（Ｓ１０１）。
【０２０９】
ここで、中心画素がＧｒまたはＧｂの何れかである場合には、平均計算回路５２が、次の数式１５に示すように、図２１に示すような画素配列の４隅に位置するＧ画素Ｇ０〜Ｇ３の平均値Ａｇ（特徴量）を算出して、段差量推定回路５３へ出力する。
［数１５］
Ａｇ＝（Ｇ０＋Ｇ１＋Ｇ２＋Ｇ３）／４
【０２１０】
段差量推定回路５３は、上記平均計算回路５２により算出された平均値Ａｇと、近傍ブロックの中心画素Ｇ４の値との差を、次の数式１６に示すように感度差の量たる段差量ｄとして算出し、算出した段差量ｄを補正量算出回路５４へ出力する（Ｓ１０２）。
［数１６］
ｄ＝Ａｇ−Ｇ４
【０２１１】
補正量算出回路５４は、まず、近傍ブロックに含まれるＲ画素の平均値Ｒ’（特徴量）とＢ画素の平均値Ｂ’（特徴量）とを算出する。そして、補正量算出回路５４は、これらの平均値Ｒ’，Ｂ’をインデックスにして、該補正量算出回路５４の内部ＲＯＭに記憶されている予測テーブル（ルックアップテーブル：ＬＵＴ）を参照することにより、適切な段差補正を行うための補正量の閾値Ｆ（感度差の量）を求める（Ｓ１０３）。なお、上記予測テーブルは、種々の照明条件で種々の被写体を撮影した際の、Ｇｒ画素とＧｂ画素との間に生じた段差量の上限値と、周囲のＲ画素値およびＢ画素値と、の関係を予め整理して作成されたものである。
【０２１２】
次に、補正量算出回路５４は、上述したように算出した補正量の閾値Ｆと、上記段差量推定回路５３により推定された段差量ｄと、に基づいて、Ｇ段差を実際に補正するために適切な補正量△（感度差補正量）を算出する（Ｓ１０４）。この算出も、該補正量算出回路５４の内部ＲＯＭに記憶されているテーブルを参照することにより、行うようになっている。この内部ＲＯＭに記憶されているテーブルは、例えば、図２２に示すような関数ｆ（所定の関数）を離散近似して作成されたテーブルとなっている。この関数ｆ（ｘ；ｐ）は、ｐをパラメータとする独立変数ｘの関数であり、｜ｘ｜がｐ以下のときにｆ（ｘ；ｐ）＝ｘ、｜ｘ｜がαｐ（閾値）以上のときに０となるような関数である。なお、｜ｘ｜がｐよりも大きく、αｐ（閾値）よりも小さいときには、これらを連続に結ぶ（例えば直線で結ぶ）ような関数形状となっている。ここに、｜ｘ｜はｘの絶対値を示し、αは予め定められた１以上の定数となっている。補正量算出回路５４は、このような関数ｆに対応するテーブルをｘ＝ｄ，ｐ＝Ｆとして参照することにより、実質的に△＝ｆ（ｄ；Ｆ）として補正量△を求め、求めた補正量△を上記補正回路５１へ出力する。
【０２１３】
続いて、補正回路５１は、次の数式１７に示すように、上記補正量算出回路５４から得られた補正量△の半分を、中央画素値Ｇ４から減算して最終的な段差補正値Ｇ４’を算出し、◎
［数１７］
Ｇ４’＝Ｇ４−△／２
その後に、この値Ｇ４’を中央画素値として、上記ノイズ低減回路４４へ出力する（Ｓ１０５）。
【０２１４】
仮に、被写体が平坦な場合で、図２１に示したブロックにおける近傍Ｇ０〜Ｇ３が同じ値Ｖ１をとるものとし、中央画素Ｇ４が値Ｖ２をとるとすると、上記Ｓ１０２により算出される段差量ｄはＶ２−Ｖ１となる。このＶ２−Ｖ１の絶対値がＳ１０３で計算される閾値Ｆ以下である場合には、上記Ｓ１０５により算出される補正量△はＶ２−Ｖ１に一致する。従って、Ｓ１０５で算出されるＧ４’の値は、Ｖ２−（Ｖ２−Ｖ１）／２＝（Ｖ１＋Ｖ２）／２となる。このように、段差量が閾値Ｆよりも小さい場合には、補正結果はＧｒ画素の画素値とＧｂ画素の画素値との平均値に近付くように補正されるのが、本実施例におけるＧ段差補正処理の特徴となっている。
【０２１５】
また、上記Ｓ１０１において、中心画素がＧｒとＧｂとの何れでもないと判断された場合には、中央画素の画素値をそのままノイズ低減回路４４へ出力する（Ｓ１０６）。
【０２１６】
こうして、上記Ｓ１０５またはＳ１０６の処理が行われたところで、このＧ段差補正の処理を終了する。
【０２１７】
段差補正回路４３により上述したような処理が行われると、ノイズ低減回路４４には、単板画像バッファ４の各画素に対してＧ段差補正を行った後の画素値が順次入力される。ノイズ低減回路４４は、単板ベイヤー配列ＣＣＤ３の特性に起因するノイズ低減処理を行って、結果をＷＢ補正回路６へ出力する。
【０２１８】
その後の処理は、上述した実施例１と同様である。
【０２１９】
なお、本実施例は、多くの変形例が考えられる。例えば、ＷＢ補正回路６やノイズ低減回路４４と段差補正回路４３の処理の順番は、上述したものに限られるものではなく、任意の順番となるように変更することが可能である。
【０２２０】
また、回路を簡単化するための変形例としては、段差補正回路４３による処理Ｓ１０３において、閾値Ｆを、近傍画素の特徴量に基づいて予測する代わりに、固定値にすることが考えられる。この場合には、補正量算出回路５４の内部ＲＯＭには、テーブルの代わりに、固定値が記憶されることになる。単板ベイヤー配列ＣＣＤ３の特性によっては、このような手段を用いても実用可能範囲内となる。
【０２２１】
あるいは、段差補正回路４３を、図２３に示すように構成しても良い。この図２３に示す構成例では、段差補正回路４３は、補正回路５１と、組み合わせ平均計算回路５６と、差分選択回路５７と、補正量算出回路５４と、を有して構成されている。つまり、この図２３に示す構成は、上記図１８に示した構成における平均計算回路５２および段差量推定回路５３に代えて、組み合わせ平均計算回路５６および差分選択回路５７を設けた構成になっている。
【０２２２】
上記組み合わせ平均計算回路５６は、３×３近傍に含まれるＧ画素のペアの特定の組み合わせを選択するセレクタと、このセレクタにより順次選択される各ペアの平均を算出する回路と、を備えて構成されている。この組み合わせ平均計算回路５６により選択される組み合わせペアとその平均値とは、例えば図２４に示すようなＡ０〜Ａ５（特徴量）、つまり、次の数式１８に示すようなＡ０〜Ａ５、
［数１８］
Ａ０＝（Ｇ０＋Ｇ１）／２
Ａ１＝（Ｇ０＋Ｇ２）／２
Ａ２＝（Ｇ１＋Ｇ３）／２
Ａ３＝（Ｇ２＋Ｇ３）／２
Ａ４＝（Ｇ１＋Ｇ２）／２
Ａ５＝（Ｇ０＋Ｇ３）／２
となる。こうして組み合わせ平均計算回路５６により算出された各平均値Ａ０〜Ａ５は、差分選択回路５７へ出力される。
【０２２３】
差分選択回路５７は、組み合わせ平均計算回路５６から受け取った各平均値Ａ０〜Ａ５と中心画素値Ｇ４との差Ｄi ＝Ｇ４−Ａi （ｉは０から５までの整数）をそれぞれ計算して、これらの中から絶対値が最小となるＤi を、上記図２０のＳ１０２における段差量ｄに相当する量として、補正量算出回路５４へ出力する。その後の補正量算出回路５４の処理および補正回路５１の処理は、上述と同様である。
【０２２４】
なお、上述では、画像処理装置であるデジタルカメラ４１の内部のハードウェア（回路等）により処理を行うようにしているが、このような処理を、ＰＣ（パーソナルコンピュータ）等のコンピュータ上で画像処理プログラムにより行うようにすることも可能である。
【０２２５】
このソフトウェアは、単板ベイヤー配列ＣＣＤ３からのアナログ出力をデジタル信号に変換して得られたＲＡＷデータファイルに対して、現像処理を行うものとなっている。
【０２２６】
以下では、図２５のフローチャートの各ステップについて説明する。この図２５は、ソフト処理の流れを示したものである。
【０２２７】
なお、この処理を行うに当たって、例えばＰＣのメモリ領域に、作業用の記憶領域として、第１バッファと第２バッファとが確保されているものとする。
【０２２８】
この処理を開始すると、まず、ＲＡＷデータファイルから、単板状態の画像データを読み込んで、第１バッファに２次元配列として格納する（Ｓ１１１）。
【０２２９】
次に、第１バッファをまず行方向にスキャンし、次に列方向にスキャンすることにより、画像データ内に未処理画素が存在するか否かを判断する（Ｓ１１２）。
【０２３０】
ここで、未処理画素がある場合には、選択した未処理画素の近傍３×３ブロックを第１バッファから読み出して（Ｓ１１３）、上記図２０に示したような段差補正処理を行う（Ｓ１１４）。
【０２３１】
そして、段差補正結果を、第１バッファとは別に確保された第２バッファ内の未処理画素に対応するアドレスに書き込んでから（Ｓ１１５）、上記Ｓ１１２へ戻って次の未処理画素に対する判断を行う。
【０２３２】
一方、上記Ｓ１１２において、第１バッファ内に未処理画素がないと判断された場合には、第２バッファの画像に対してノイズ低減処理を行い、その処理結果を第１バッファへ出力する（Ｓ１１６）。
【０２３３】
次に、この第１バッファの画像に対して、ホワイトバランス（ＷＢ）を補正する処理を行って、その結果を再び第１バッファへ出力する（Ｓ１１７）。
【０２３４】
さらに、第１バッファの画像に対して、欠落色成分の補間処理を行い、その結果を第２バッファへ出力する（Ｓ１１８）。
【０２３５】
続いて、第２バッファの画像に対して、エッジ強調などの画質調整処理を行って、その結果を第１バッファへ出力する（Ｓ１１９）。
【０２３６】
そして、第１バッファの画像を、指定されたファイルへ出力して（Ｓ１２０）、この処理を終了する。
【０２３７】
このような実施例４によれば、上述した実施例１〜３とほぼ同様に、同種の色成分が得られる画素間の感度の相違を、欠落画素の補間処理を行う前に、補正するようにしたために、欠落画素の補間を感度の相違の影響を低減した状態で良好に行うことができる。
【０２３８】
また、注目画素と、該注目画素と同種の色成分の画素と、の感度差がどの程度あるのかを推定するようにしたために、感度差に応じた最適な感度補正を行うことができる。このとき、感度差がどの程度あるのかを、注目画素近傍のデータから抽出した特徴量に基づいて推定するようにしたために、感度差に応じた最適な感度補正を行うことができる。
【０２３９】
そして、特徴量と感度差の量との対応関係を予め調査してテーブル化しておくようにしたために、高精度な感度補正を高速に行うことが可能となる。
【０２４０】
さらに、感度差の量から所定の関数により感度差補正量を算出して、算出した感度差補正量を注目画素の画素値に加算して感度補正を行うようにしたために、回路構成が簡単になり、かつボケをあまり生じることなく感度補正を行うことができる。
【０２４１】
このとき、感度差の量の絶対値がある閾値以上の場合に０となるような関数を用いて感度差補正量を算出するようにしているために、非常に大きな感度差の推定値が得られた場合に、補正を中止することができる。これにより、そのまま補正してエッジがぼけてしまうのを適切に防止することができる。
【０２４２】
また、特徴量を、注目画素と異なる種類の色成分の画素の画素値から計算するようにしたために、注目している色成分以外の色成分の要因で感度差が生じる場合にも対応することが可能となる。
【０２４３】
さらに、注目画素と同種の色成分の画素の画素値のＮ個の平均値を計算して特徴量とし、Ｎ個の特徴量と注目画素の画素値との差の絶対値が最小となる差を感度差の量とするようにしたために、より高精度に感度差の量を推定することができる。
【実施例５】
【０２４４】
図２６から図３１は本発明の実施例５を示したものであり、図２６はデジタルカメラの構成を示すブロック図、図２７は段差平滑化回路の一構成例を示すブロック図、図２８は段差平滑化回路の処理を示すフローチャート、図２９は係数混合比αを算出するための関数の例を示す線図、図３０は係数設定回路により設定されるフィルタ係数の周波数特性を説明するための図、図３１は段差平滑化回路の他の構成例を示すブロック図である。
【０２４５】
この実施例５において、上述の実施例１〜４と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２４６】
この実施例５は、上述した実施例１と同様に、画像処理装置をデジタルカメラに適用したものである。
【０２４７】
この実施例５のデジタルカメラ６１は、図２６に示すように、上記実施例４のデジタルカメラ４１に対して、段差補正回路４３に代えて段差平滑化回路６２を設けたものとなっている。そして、この段差平滑化回路６２は、上記制御回路１１により制御されるようになっている。
【０２４８】
上記段差平滑化回路６２は、より詳しくは図２７に示すように、フィルタ回路７１と、補正量算出回路７２と、係数設定回路７３と、を有して構成されている。
【０２４９】
上記補正量算出回路７２は、上記単板画像バッファ４から７×７画素のブロック単位で読み出した画像データの中心３×３画素に対して、Ｒ画素の平均値Ｒ’（特徴量）とＢ画素の平均値Ｂ’（特徴量）とを算出し、さらに、これらの特徴量から該補正量算出回路７２の内部ＲＯＭに記憶されたテーブルを参照して適切な段差補正量の閾値Ｆ（感度差の量）を求め、この閾値Ｆの関数として係数混合比αを算出するものである。
【０２５０】
上記係数設定回路７３は、上記補正量算出回路７２により算出された係数混合比αに基づいて、上記フィルタ回路７１で行う計算に用いるフィルタ係数を算出するものである。
【０２５１】
上記フィルタ回路７１は、上記係数設定回路７３により算出されたフィルタ係数を用いて、上記単板画像バッファ４から読み出した画像データに所定の演算を行い、Ｇ段差の平滑化を行うものである。
【０２５２】
このような段差平滑化回路６２の処理について、図２８を参照して説明する。なお、この図２８において、上記実施例４の図２０と同様の処理を行う部分については、同一の符号を付している。また、この段差平滑化回路６２は、上述したように、単板画像バッファ４の各画素毎に、近傍７×７サイズのブロック領域を読み出して、以下に示すような処理を行うようになっている。
【０２５３】
この処理を開始すると、まず、上記Ｓ１０１の処理を行って、中心画素がＧｒまたはＧｂであるか否かを確認する。
【０２５４】
ここで、中心画素がＧｒまたはＧｂである場合には、補正量算出回路７２は、まず、近傍ブロック内の中心３×３画素に含まれるＲ画素の平均値Ｒ’とＢ画素の平均値Ｂ’とを算出する。そして、補正量算出回路７２は、算出した平均値Ｒ’，Ｂ’をインデックスにして、内部ＲＯＭに記憶している予測テーブルを参照し、適切な段差補正量の閾値Ｆを求める（Ｓ１３１）。この予測テーブルは、上記実施例４の図２０のＳ１０３において説明した予測テーブルと同一である。
【０２５５】
次に、補正量算出回路７２は、後段のフィルタ回路７１で適用されるフィルタを決定するための係数混合比αを、段差補正量の閾値Ｆの関数として算出する（Ｓ１３２）。好ましい関数の一例としては、Ｆが０のときにαが１、Ｆがある値Ｔ以上でαが０となる図２９に示すようなものを挙げることができる。なお、係数混合比の意味については、後で説明する。
【０２５６】
続いて、係数設定回路７３は、補正量算出回路７２により算出された係数混合比αに基づいて、フィルタ回路７１により行う計算に用いるフィルタ係数を算出する。つまり、フィルタ回路７１は、単板画像バッファ４から読み出した７×７近傍ブロックに対して、まずＧ成分の得られていない位置のデータを０にセットした上で線形フィルタリングを行うが、このときのフィルタ係数として、該係数設定回路７３から出力された値を用いるようになっている。
【０２５７】
係数設定回路７３は、フィルタ回路７１で用いるフィルタ係数を設定するために、予め内部に、２種類の７×７フィルタの係数を保持している。２種類のフィルタ係数の内の１つは、係数Ｐ_i,j（ｉ，ｊは各々１から７までの整数）である。この係数Ｐ_i,jは、フィルタの中心に当たるＰ_4,4のみが１であり、その他は０の値をとる係数となっている。また、２種類のフィルタ係数の内の他の１つは、係数Ｑ_i,j（ｉ，ｊは各々１から７までの整数）である。この係数Ｑ_i,jは、総和が２であって、かつ、その水平方向または垂直方向の特性が、図３０において実線で示す曲線Ｌ０のように、ナイキスト周波数で０となるように設定された係数となっている。
【０２５８】
従って、係数Ｐ_i,jを用いて、単板画像バッファ４から読み出した７×７近傍をフィルタリングした場合には、フィルタ回路７１から出力されるのは、何の補正もされない中央画素の値である。
【０２５９】
一方、係数Ｑ_i,jを用いて、単板画像バッファ４から読み出した７×７近傍をフィルタリングした場合には、ナイキスト周波数付近の周波数成分だけを急に落とし、その他の周波数成分にはあまり影響を与えないような平滑化がなされる。Ｇｒ画素とＧｂ画素とに段差が生じている場合は、その影響が主にナイキスト周波数付近に現れる。そのために、フィルタリングを行った結果、段差の影響は平滑化されて取り除かれるが、エッジ部のボケはあまり生じていないような中央画素のＧ成分値が得られる。
【０２６０】
係数設定回路７３は、上述したような係数Ｐ_i,jと係数Ｑ_i,jとを、上記補正量算出回路７２から取得した係数混合比αを用いて数式１９に示すように混合することにより、新たなフィルタ係数Ｃ_i,jを生成して、フィルタ回路７１へ出力する（Ｓ１３３）。
［数１９］
Ｃ_i,j＝α×Ｐ_i,j＋（１−α）×Ｑ_i,j
【０２６１】
この数式１９と、図２９に示したような係数混合比αと、によれば、近傍ブロック内で大きな段差が発生している場合には、この段差が取り除かれる係数Ｑ_i,jに近い特性の図３０の点線に示す曲線Ｌ１のようなフィルタ係数がフィルタ回路７１へ出力される。一方、近傍ブロック内で段差がほとんど発生していない場合は、係数Ｐ_i,jに近い特性の図３０の一点鎖線に示す曲線Ｌ２のようなフィルタ係数がフィルタ回路７１へ出力される。このようなフィルタ係数の混合を行うことにより、帯域劣化と段差補正とが最適にバランスされた処理を常に行うことが可能となる。
【０２６２】
フィルタ回路７１は、上述したように、係数設定回路７３から出力されたフィルタ係数Ｃ_i,jに基づいて、近傍ブロックに対して線形フィルタリングを行う。具体的には、次のような処理を行う。ここに、７×７近傍ブロックの左上隅の座標を（１，１）としたときの位置（ｉ，ｊ）（ｉ，ｊは１から７までの整数）における画素値をｘ_i,jとする。まず、Ｇ成分が得られていない位置における画素値ｘ_i,jを０にセットする。その後、次のような数式２０を用いて、フィルタリング結果ｖを計算する。
［数２０］
【０２６３】
こうしてフィルタ回路７１により計算されたフィルタリング結果ｖが、ノイズ低減回路４４へ出力される。
【０２６４】
なお、この実施例においても種々の変形を行うことが可能である。例えば、係数を混合した後に、混合された係数を用いてフィルタリングするのではなく、２種類の係数を用いてそれぞれフィルタリングを行い、フィルタリングされた結果を混合するようにして構わない。図３１は、このような処理を行うための回路の構成例を示している。
【０２６５】
すなわち、図３１に示す段差平滑化回路６２は、上記図２７に示した段差平滑化回路６２に対して、フィルタ回路７１および係数設定回路７３の代わりに、２つのフィルタ回路７１ａ，７１ｂおよび混合回路７５を設けたものであり、また、補正量算出回路７２の出力は該混合回路７５へ接続されている。
【０２６６】
上記フィルタ回路７１ａは、上記係数Ｐ_i,jによるフィルタリングを行って、結果Ｖ１を出力するものである。
【０２６７】
上記フィルタ回路７１ｂは、上記係数Ｑ_i,jによるフィルタリングを行って、結果Ｖ２を出力するものである。
【０２６８】
混合回路７５は、上記補正量算出回路７２から係数混合比αを受けて、上記フィルタ回路７１ａからの出力Ｖ１と上記フィルタ回路７１ｂからの出力Ｖ２とを用いて、以下のような数式２１により最終結果Ｖ３を算出し、算出した結果Ｖ３を上記ノイズ低減回路４４へ出力するものである。
［数２１］
Ｖ３＝α×Ｖ１＋（１−α）×Ｖ２
【０２６９】
また、図２７に示した構成と、図３１に示した構成と、の何れにおいても、混合するフィルタの数は２つに限るものではなく、３つ以上であっても構わない。この場合には、補正量算出回路７２は、複数の混合比を段差補正量の閾値Ｆの関数として算出する。
【０２７０】
さらに簡単な回路としては、図３１に示す構成において、混合回路の代わりに切換回路を設けて、係数混合比αに応じてフィルタ回路７１ａとフィルタ回路７１ｂとの出力を切り換えるようにすることも可能である。
【０２７１】
加えて、図２５の処理において、Ｓ１１４の段差補正処理として、上記図２０に示したような処理を行う代わりに、図２８に示したような処理を行うことにより、本実施例に対応するソフトウェア処理を実現することが可能となる。
【０２７２】
このような実施例５によれば、上述した実施例４とほぼ同様の効果を奏するとともに、感度差の量に基づいて設定したフィルタ係数により、注目画素と同種の色成分の画素に線形フィルタを適用するようにしたために、感度差補正量を画素値に加算する場合に比べて、感度差の推定を間違った場合であっても、より確実に感度差を補正することが可能となる。
【０２７３】
なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【産業上の利用可能性】
【０２７４】
本発明は、単板撮像系、二板撮像系、または三板画素ずらし撮像系から出力された画像を処理して、画素毎に３色成分値をもつカラーデジタル画像を生成する画像処理装置、画像処理プログラムに好適に利用することができる。
【図面の簡単な説明】
【０２７５】
【図１】本発明の実施例１におけるデジタルカメラの構成を示すブロック図。
【図２】本発明の実施例２におけるデジタルカメラの構成を示すブロック図。
【図３】上記実施例２におけるＧ段差検出回路の処理を示すフローチャート。
【図４】上記実施例２におけるＧ段差検出回路およびＧ補間回路における画素の分類を示す図。
【図５】上記実施例２におけるＧ補間回路の処理を示すフローチャート。
【図６】上記図５に示したＧ補間回路の処理におけるステップＳ１６の処理を説明するための図。
【図７】上記実施例２における重み計算回路による重み計算の方向を示す図。
【図８】上記実施例２におけるＲＢ補間回路の処理を示すフローチャート。
【図９】上記図８に示したＲＢ補間回路の処理におけるステップＳ３１の画素選択を説明するための図。
【図１０】上記実施例２において、コンピュータにより行われるソフト処理を示すフローチャート。
【図１１】上記実施例２において、コンピュータにより行われるＧ補間ソフト処理を示すフローチャート。
【図１２】上記実施例２において、コンピュータにより行われるＲＢ補間ソフト処理を示すフローチャート。
【図１３】本発明の実施例３におけるデジタルカメラの構成を示すブロック図。
【図１４】上記実施例３における補正回路により処理を行う際に用いる画素の番号を示す図。
【図１５】上記実施例３における補正回路の処理を示すフローチャート。
【図１６】上記実施例３において、コンピュータにより行われるソフト処理を示すフローチャート。
【図１７】本発明の実施例４におけるデジタルカメラの構成を示すブロック図。
【図１８】上記実施例４における段差補正回路の一構成例を示すブロック図。
【図１９】上記実施例４におけるＧ段差を説明するための図。
【図２０】上記実施例４における段差補正回路の処理を示すフローチャート。
【図２１】上記実施例４の段差補正回路における処理を行う際の近傍の例を示す図。
【図２２】上記実施例４において、補正量△を求めるための関数の例を示す線図。
【図２３】上記実施例４における段差補正回路の他の構成例を示すブロック図。
【図２４】上記実施例４において、組み合わせ平均計算回路により計算される組み合わせ平均を説明するための図。
【図２５】上記実施例４において、コンピュータにより行われるソフト処理を示すフローチャート。
【図２６】本発明の実施例５におけるデジタルカメラの構成を示すブロック図。
【図２７】上記実施例５における段差平滑化回路の一構成例を示すブロック図。
【図２８】上記実施例５における段差平滑化回路の処理を示すフローチャート。
【図２９】上記実施例５において、係数混合比αを算出するための関数の例を示す線図。
【図３０】上記実施例５の係数設定回路により設定されるフィルタ係数の周波数特性を説明するための図。
【図３１】上記実施例５における段差平滑化回路の他の構成例を示すブロック図。
【図３２】エッジ検出に基づく従来の補間処理を説明するための図。
【図３３】色相関に基づく従来の補間処理を説明するための図。
【符号の説明】
【０２７６】
１，２１，３１，４１，６１…デジタルカメラ
２…光学系
３…単板ベイヤー配列ＣＣＤ
４…単画像バッファ
５…ライン補正回路（感度補正手段）
６…ＷＢ補正回路
７…補間回路（補間手段）
８…カラー画像バッファ
９…画質調整回路
１０…記録回路
１１…制御回路
２２…Ｇ段差検出回路（判定手段、特徴量計算手段）
２３…Ｇ補間回路（補間手段）
２４…重み計算回路（重付平均手段）
２５…平均回路（重付平均手段）
２６…Ｇ画像バッファ
２７…ＲＢ補間回路（補間手段）
３２…補正回路（補間後補正手段）
４２…Ａ／Ｄ回路
４３…段差補正回路（感度補正手段）
４４…ノイズ低減回路
５１…補正回路
５２…平均計算回路（特徴計算手段）
５３…段差量推定回路（推定手段）
５４…補正量算出回路（推定手段、特徴計算手段）
５６…組み合わせ平均計算回路（特徴計算手段）
５７…差分選択回路
６２…段差平滑化回路（感度補正手段）
７１，７１ａ，７１ｂ…フィルタ回路（フィルタ手段）
７２…補正量算出回路（推定手段、特徴計算手段）
７３…係数設定回路（係数設定手段）
７５…混合回路
代理人 弁理士 伊 藤 進
【特許請求の範囲】
【請求項１】
単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理する画像処理装置であって、
同じ色成分が得られている画素の間の感度差を補正する感度補正手段と、
上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段と、
を具備したことを特徴とする画像処理装置。
【請求項２】
単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理する画像処理装置であって、
注目画素の所定の近傍において、指定された種類の色成分に対し、当該色成分が得られている画素の間の感度差の大小を判定する判定手段と、
上記注目画素において欠落する色成分を補う処理を行うものであって、該処理を行う際に、上記判定手段による判定結果に応じて処理内容を変更可能な補間手段と、
を具備したことを特徴とする画像処理装置。
【請求項３】
上記補間手段は、上記注目画素で得られている色成分に対して、上記近傍内で当該色成分が得られている画素の中から基準画素を定め、上記注目画素の当該色成分に対する感度を上記基準画素の当該色成分に対する感度に合わせた場合に上記注目画素がとるはずの当該色成分の画素値を補正値として計算し、上記判定手段により判定された感度差の大小に応じて、上記注目画素の当該色成分の画素値を、上記補正値に変更するものであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記補間手段は、上記所定の近傍内の画素値を重み付け平均する重付平均手段を有して構成されており、該重付平均手段は、上記判定手段の判定結果に応じて重みを変更し重み付け平均により注目画素の画素値を算出するものであることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
上記重付平均手段は、上記重みを、上記判定手段において感度差が大きいと判定された種類の色成分が得られている画素に対して小さくなるように変更するものであることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記重付平均手段は、上記重みを、上記近傍内で同種の色成分が得られている画素間の画素値差分の関数式として計算するものであって、上記判定手段により特定の色成分に対して感度差が大きいと判定された場合には、該関数式を、当該色成分に関する上記画素値差分の影響が小さくなるように変更するものであることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
上記重付平均手段は、上記判定手段において感度差があると判定された種類の色成分が得られている画素に対して、上記重みが当該画素間で均等に近付くように変更するものであることを特徴とする請求項４に記載の画像処理装置。
【請求項８】
上記判定手段は、上記注目画素の所定の近傍内の画素値から所定の特徴量を計算する特徴量計算手段を有して構成されており、該特徴量の大小に基づいて上記感度差の大小を判定するものであることを特徴とする請求項２に記載の画像処理装置。
【請求項９】
上記判定手段は、指定された色成分に関する上記特徴量と上記感度差の量とを対応付けたテーブルをさらに有して構成されており、該特徴量から該テーブルを参照することにより上記感度差の大小を判定するものであることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
上記判定手段は、上記近傍内において、指定された色成分が得られている画素を所定の方法で分類し、各分類における画素値の平均値と変動量とに基づき、上記特徴量を計算するものであることを特徴とする請求項８または請求項９に記載の画像処理装置。
【請求項１１】
上記判定手段は、上記近傍内において、指定された色成分が得られている画素の画素値の平均値と、指定された色成分と異なる所定の色成分が得られている画素の画素値の平均値と、に基づいて、上記特徴量を計算するものであることを特徴とする請求項８または請求項９に記載の画像処理装置。
【請求項１２】
上記補間手段は、上記撮像系により得られる画像サイズを所定の縮小率で縮小したカラー画像を生成し得るように構成されたものであり、
上記判定手段は、該補間手段が縮小したカラー画像を生成する際には、該縮小率が所定の閾値以下である場合に、感度差の判定を行わないものであることを特徴とする請求項２に記載の画像処理装置。
【請求項１３】
単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理する画像処理装置であって、
各画素において欠落する色成分を補う補間手段と、
上記補間手段による結果に対して補正を行う補間後補正手段と、
を具備したことを特徴とする画像処理装置。
【請求項１４】
上記補間後補正手段は、注目画素の画素値と該注目画素に係る所定の近傍画素の画素値との相関を計算して、相関の高い近傍画素の平均値に基づいて上記注目画素の画素値を補正するものであることを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
上記補間手段は、上記撮像系により得られる画像サイズを所定の縮小率で縮小したカラー画像を生成し得るように構成されたものであり、
上記補正後補正手段は、該補間手段が縮小したカラー画像を生成する際には、該縮小率が所定の閾値以下である場合に、補正を行わないものであることを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、
該コンピュータを、
同じ色成分が得られている画素の間の感度差を補正する感度補正手段、
上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段、
として機能させることを特徴とする画像処理プログラム。
【請求項１７】
コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、
該コンピュータを、
注目画素の所定の近傍において、指定された種類の色成分に対し、当該色成分が得られている画素の間の感度差の大小を判定する判定手段、
上記注目画素において欠落する色成分を補う処理を行うものであって、該処理を行う際に、上記判定手段による判定結果に応じて処理内容を変更可能な補間手段、
として機能させることを特徴とする画像処理プログラム。
【請求項１８】
コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、
該コンピュータを、
各画素において欠落する色成分を補う補間手段、
上記補間手段による結果に対して補正を行う補間後補正手段、
として機能させることを特徴とする画像処理プログラム。
【請求項１９】
上記感度補正手段は、注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段を有して構成され、上記感度差の量に応じて感度補正を行うものであることを特徴とする請求項１に記載の画像処理装置。
【請求項２０】
上記推定手段は、上記注目画素の所定の近傍内の画素値から所定の特徴量を計算する特徴計算手段を有して構成され、該特徴量に基づいて上記感度差の量を推定するものであることを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
上記推定手段は、上記特徴量と上記感度差の量とを対応付けたテーブルをさらに有して構成され、上記特徴量から上記テーブルを参照することにより、上記感度差の量を推定するものであることを特徴とする請求項２０に記載の画像処理装置。
【請求項２２】
上記特徴計算手段は、上記所定の近傍内で、上記注目画素で得られる色成分と異なる種類の色成分が得られている画素の画素値から、上記特徴量を計算するものであることを特徴とする請求項２０に記載の画像処理装置。
【請求項２３】
上記特徴計算手段は、上記所定の近傍内で、上記注目画素で得られる色成分と同種の色成分が得られている画素のＮ通り（Ｎは１以上の整数）の組み合わせに対するＮ個の平均値を計算して、これらの計算結果を上記特徴量とするものであることを特徴とする請求項２０に記載の画像処理装置。
【請求項２４】
上記感度補正手段は、上記Ｎ個の平均値と上記注目画素の画素値との差Ｄi （ｉは１からＮまでの整数）を求めて、これらＮ個の差Ｄi の内の絶対値が最小となるＤi を上記感度差の量とするものであることを特徴とする請求項２３に記載の画像処理装置。
【請求項２５】
上記感度補正手段は、上記感度差の量から所定の関数により感度差補正量を算出して、算出した感度差補正量を上記注目画素の画素値に加算することにより、感度補正を行うものであることを特徴とする請求項１９に記載の画像処理装置。
【請求項２６】
上記所定の関数は、上記感度差の量の絶対値がある閾値以上の場合に０となるような関数であることを特徴とする請求項２５に記載の画像処理装置。
【請求項２７】
上記感度補正手段は、
上記感度差の量に基づいてフィルタ係数を設定する係数設定手段と、
上記近傍内で、上記注目画素で得られる色成分と同種の色成分が得られている画素に対して、上記フィルタ係数を用いた線形フィルタを適用することにより感度補正を行うフィルタ手段と、
を有して構成されたものであることを特徴とする請求項１９に記載の画像処理装置。
【請求項２８】
コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、
該コンピュータを、
注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段を有し、上記感度差の量に応じて感度補正を行う感度補正手段、
上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段、
として機能させることを特徴とする画像処理プログラム。
【請求項２９】
コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、
該コンピュータを、
注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段を有し、上記感度差の量から所定の関数により感度差補正量を算出して、算出した感度差補正量を上記注目画素の画素値に加算することにより、感度補正を行う感度補正手段、
上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段、
として機能させることを特徴とする画像処理プログラム。
【請求項３０】
コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、
該コンピュータを、
注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段と、上記感度差の量に基づいてフィルタ係数を設定する係数設定手段と、上記近傍内で、上記注目画素で得られる色成分と同種の色成分が得られている画素に対して、上記フィルタ係数を用いた線形フィルタを適用することにより感度補正を行うフィルタ手段と、を有する感度補正手段、
上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段、
として機能させることを特徴とする画像処理プログラム。
【請求項１】
単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理する画像処理装置であって、
同じ色成分が得られている画素の間の感度差を補正する感度補正手段と、
上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段と、
を具備したことを特徴とする画像処理装置。
【請求項２】
単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理する画像処理装置であって、
注目画素の所定の近傍において、指定された種類の色成分に対し、当該色成分が得られている画素の間の感度差の大小を判定する判定手段と、
上記注目画素において欠落する色成分を補う処理を行うものであって、該処理を行う際に、上記判定手段による判定結果に応じて処理内容を変更可能な補間手段と、
を具備したことを特徴とする画像処理装置。
【請求項３】
上記補間手段は、上記注目画素で得られている色成分に対して、上記近傍内で当該色成分が得られている画素の中から基準画素を定め、上記注目画素の当該色成分に対する感度を上記基準画素の当該色成分に対する感度に合わせた場合に上記注目画素がとるはずの当該色成分の画素値を補正値として計算し、上記判定手段により判定された感度差の大小に応じて、上記注目画素の当該色成分の画素値を、上記補正値に変更するものであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記補間手段は、上記所定の近傍内の画素値を重み付け平均する重付平均手段を有して構成されており、該重付平均手段は、上記判定手段の判定結果に応じて重みを変更し重み付け平均により注目画素の画素値を算出するものであることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
上記重付平均手段は、上記重みを、上記判定手段において感度差が大きいと判定された種類の色成分が得られている画素に対して小さくなるように変更するものであることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記重付平均手段は、上記重みを、上記近傍内で同種の色成分が得られている画素間の画素値差分の関数式として計算するものであって、上記判定手段により特定の色成分に対して感度差が大きいと判定された場合には、該関数式を、当該色成分に関する上記画素値差分の影響が小さくなるように変更するものであることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
上記重付平均手段は、上記判定手段において感度差があると判定された種類の色成分が得られている画素に対して、上記重みが当該画素間で均等に近付くように変更するものであることを特徴とする請求項４に記載の画像処理装置。
【請求項８】
上記判定手段は、上記注目画素の所定の近傍内の画素値から所定の特徴量を計算する特徴量計算手段を有して構成されており、該特徴量の大小に基づいて上記感度差の大小を判定するものであることを特徴とする請求項２に記載の画像処理装置。
【請求項９】
上記判定手段は、指定された色成分に関する上記特徴量と上記感度差の量とを対応付けたテーブルをさらに有して構成されており、該特徴量から該テーブルを参照することにより上記感度差の大小を判定するものであることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
上記判定手段は、上記近傍内において、指定された色成分が得られている画素を所定の方法で分類し、各分類における画素値の平均値と変動量とに基づき、上記特徴量を計算するものであることを特徴とする請求項８または請求項９に記載の画像処理装置。
【請求項１１】
上記判定手段は、上記近傍内において、指定された色成分が得られている画素の画素値の平均値と、指定された色成分と異なる所定の色成分が得られている画素の画素値の平均値と、に基づいて、上記特徴量を計算するものであることを特徴とする請求項８または請求項９に記載の画像処理装置。
【請求項１２】
上記補間手段は、上記撮像系により得られる画像サイズを所定の縮小率で縮小したカラー画像を生成し得るように構成されたものであり、
上記判定手段は、該補間手段が縮小したカラー画像を生成する際には、該縮小率が所定の閾値以下である場合に、感度差の判定を行わないものであることを特徴とする請求項２に記載の画像処理装置。
【請求項１３】
単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理する画像処理装置であって、
各画素において欠落する色成分を補う補間手段と、
上記補間手段による結果に対して補正を行う補間後補正手段と、
を具備したことを特徴とする画像処理装置。
【請求項１４】
上記補間後補正手段は、注目画素の画素値と該注目画素に係る所定の近傍画素の画素値との相関を計算して、相関の高い近傍画素の平均値に基づいて上記注目画素の画素値を補正するものであることを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
上記補間手段は、上記撮像系により得られる画像サイズを所定の縮小率で縮小したカラー画像を生成し得るように構成されたものであり、
上記補正後補正手段は、該補間手段が縮小したカラー画像を生成する際には、該縮小率が所定の閾値以下である場合に、補正を行わないものであることを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、
該コンピュータを、
同じ色成分が得られている画素の間の感度差を補正する感度補正手段、
上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段、
として機能させることを特徴とする画像処理プログラム。
【請求項１７】
コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、
該コンピュータを、
注目画素の所定の近傍において、指定された種類の色成分に対し、当該色成分が得られている画素の間の感度差の大小を判定する判定手段、
上記注目画素において欠落する色成分を補う処理を行うものであって、該処理を行う際に、上記判定手段による判定結果に応じて処理内容を変更可能な補間手段、
として機能させることを特徴とする画像処理プログラム。
【請求項１８】
コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、
該コンピュータを、
各画素において欠落する色成分を補う補間手段、
上記補間手段による結果に対して補正を行う補間後補正手段、
として機能させることを特徴とする画像処理プログラム。
【請求項１９】
上記感度補正手段は、注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段を有して構成され、上記感度差の量に応じて感度補正を行うものであることを特徴とする請求項１に記載の画像処理装置。
【請求項２０】
上記推定手段は、上記注目画素の所定の近傍内の画素値から所定の特徴量を計算する特徴計算手段を有して構成され、該特徴量に基づいて上記感度差の量を推定するものであることを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
上記推定手段は、上記特徴量と上記感度差の量とを対応付けたテーブルをさらに有して構成され、上記特徴量から上記テーブルを参照することにより、上記感度差の量を推定するものであることを特徴とする請求項２０に記載の画像処理装置。
【請求項２２】
上記特徴計算手段は、上記所定の近傍内で、上記注目画素で得られる色成分と異なる種類の色成分が得られている画素の画素値から、上記特徴量を計算するものであることを特徴とする請求項２０に記載の画像処理装置。
【請求項２３】
上記特徴計算手段は、上記所定の近傍内で、上記注目画素で得られる色成分と同種の色成分が得られている画素のＮ通り（Ｎは１以上の整数）の組み合わせに対するＮ個の平均値を計算して、これらの計算結果を上記特徴量とするものであることを特徴とする請求項２０に記載の画像処理装置。
【請求項２４】
上記感度補正手段は、上記Ｎ個の平均値と上記注目画素の画素値との差Ｄi （ｉは１からＮまでの整数）を求めて、これらＮ個の差Ｄi の内の絶対値が最小となるＤi を上記感度差の量とするものであることを特徴とする請求項２３に記載の画像処理装置。
【請求項２５】
上記感度補正手段は、上記感度差の量から所定の関数により感度差補正量を算出して、算出した感度差補正量を上記注目画素の画素値に加算することにより、感度補正を行うものであることを特徴とする請求項１９に記載の画像処理装置。
【請求項２６】
上記所定の関数は、上記感度差の量の絶対値がある閾値以上の場合に０となるような関数であることを特徴とする請求項２５に記載の画像処理装置。
【請求項２７】
上記感度補正手段は、
上記感度差の量に基づいてフィルタ係数を設定する係数設定手段と、
上記近傍内で、上記注目画素で得られる色成分と同種の色成分が得られている画素に対して、上記フィルタ係数を用いた線形フィルタを適用することにより感度補正を行うフィルタ手段と、
を有して構成されたものであることを特徴とする請求項１９に記載の画像処理装置。
【請求項２８】
コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、
該コンピュータを、
注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段を有し、上記感度差の量に応じて感度補正を行う感度補正手段、
上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段、
として機能させることを特徴とする画像処理プログラム。
【請求項２９】
コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、
該コンピュータを、
注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段を有し、上記感度差の量から所定の関数により感度差補正量を算出して、算出した感度差補正量を上記注目画素の画素値に加算することにより、感度補正を行う感度補正手段、
上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段、
として機能させることを特徴とする画像処理プログラム。
【請求項３０】
コンピュータに、単板撮像系、二板撮像系、または三板画素ずらし撮像系によって光学像を撮像することにより得られた、各画素につき１種類以上の色成分が欠落している画像、を処理させるための画像処理プログラムであって、
該コンピュータを、
注目画素の所定の近傍において、注目画素と、該注目画素で得られている色成分と同種の色成分が得られている画素と、の間の感度差の量を推定する推定手段と、上記感度差の量に基づいてフィルタ係数を設定する係数設定手段と、上記近傍内で、上記注目画素で得られる色成分と同種の色成分が得られている画素に対して、上記フィルタ係数を用いた線形フィルタを適用することにより感度補正を行うフィルタ手段と、を有する感度補正手段、
上記感度補正手段により補正された後の画像に対して、各画素において欠落する色成分を補う補間手段、
として機能させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２００６−１３５５８（Ｐ２００６−１３５５８Ａ）
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願番号】特願２００４−１５８９２４（Ｐ２００４−１５８９２４）
【出願日】平成１６年５月２８日（２００４．５．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願日】平成１６年５月２８日（２００４．５．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]