カラー撮像装置
【課題】高周波部の偽色の発生を抑圧する。
【解決手段】RGBの全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されたカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子を使用する。水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるフィルタ係数を有する加重平均フィルタを使用して、カラー撮像素子から出力されるモザイク画像の各画素の画素値の色毎の加重平均値を算出する。そして、加重平均フィルタの中央部の同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、前記算出した加重平均値の色比又は色差により、対象画素の画素値を補間することで他の色の画素値を推定する。
【解決手段】RGBの全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されたカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子を使用する。水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるフィルタ係数を有する加重平均フィルタを使用して、カラー撮像素子から出力されるモザイク画像の各画素の画素値の色毎の加重平均値を算出する。そして、加重平均フィルタの中央部の同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、前記算出した加重平均値の色比又は色差により、対象画素の画素値を補間することで他の色の画素値を推定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はカラー撮像装置に係り、特に色モワレの発生を抑圧することができるカラー撮像装置に関する。
【背景技術】
【0002】
単板式のカラー撮像素子を有するカラー撮像装置では、カラー撮像素子からの出力画像がRAW画像(モザイク画像)であるため、欠落している色の画素を、周囲の画素から補間する処理(同時化処理)により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性である。
【0003】
単板式のカラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き(色モアレ)が発生するという問題がある。
【0004】
例えば、図10の(A)に示すような白黒の縦縞模様(高周波画像)が、図10の(B)に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図10の(C)から(E)に示すようにRは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、RGB間に濃度差(レベル差)は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
【0005】
一般に単板式のカラー撮像素子を使用するカラー撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
【0006】
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む3色と該着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献1)。
【0007】
また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の所定の周期で交互に配置されているとともに、他方の対角方向に第2の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている(特許文献2)。
【0008】
更に、RGBの3原色のうちのR,Bを水平方向及び垂直方向にそれぞれ3画素置きに配置し、これらのR,Bの間にGを配置したカラー撮像素子を備えた撮像装置が提案されている(特許文献3)。特許文献3に記載のカラー撮像素子は、輝度信号に対して色差信号の解像度は低くてもよいという理由により、輝度信号を得るために最も寄与するG画素がRB画素に比べて非常に多く配置されており、これにより水平及び垂直方向の解像度を上げることができるようにしている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2000−308080号公報
【特許文献2】特開2005−136766号公報
【特許文献3】特開平8−23543号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
特許文献1に記載の3色ランダム配列は、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
【0011】
一方、特許文献2に記載の画像センサのカラーフィルタ配列は、R、G、Bフィルタがカラーフィルタ配列の水平方向及び垂直方向の各ライン内に周期的に配置されているが、特許文献2に記載の発明は、上記カラーフィルタ配列を有する画像センサから出力されるモザイク画像を同時化処理する際に、注目画素を中心に所定の画像サイズの局所領域を抽出し、局所領域内の注目画素の色の色分布形状、及び推定しようとする他の色の色分布形状に関する統計量を算出し、注目画素位置の色の強度と色分布形状の統計量とに基づいて色分布形状を線形回帰することにより注目画素位置の他の色の推定値を算出するようにしている。この特許文献2に記載の発明は、色分布形状に関する統計量(共分散値)の演算や回帰演算処理を行う必要があり、画像処理が複雑になるという問題がある。
【0012】
また、特許文献3に記載のカラー撮像素子は、水平又は垂直方向にG画素のみのラインが存在するため、水平又は垂直方向の高周波部の偽色に対しては有効でない。
【0013】
本発明はこのような事情に鑑みてなされたもので、高周波部の偽色の発生を簡単な画像処理で抑圧することができるカラー撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
前記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されたカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子と、前記カラー撮像素子からモザイク画像を取得する画像取得部と、所定のフィルタ係数を有する加重平均フィルタであって、該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の色と前記フィルタ係数との関係が、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるように設定された加重平均フィルタと、前記加重平均フィルタのフィルタ係数と該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の画素値とに基づいて色毎の加重平均値を算出する加重平均算出部と、前記加重平均フィルタの中央部の同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記対象画素の色と他の色との前記算出した加重平均値の色比又は色差に基づいて、前記対象画素の画素値を補間して前記他の色の画素値を算出する同時化処理部と、前記加重平均フィルタに対応して前記モザイク画像から抽出する局所領域を、前記同時化処理の対象画素単位毎に移動させながら前記加重平均算出部及び同時化処理部を繰り返し動作させる制御部と、を備えている。
【0015】
本発明の一の態様に係るカラー撮像装置によれば、全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されたカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子を使用するため、前記加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の色に対する前記フィルタ係数として、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるように設定することができる。
【0016】
そして、加重平均フィルタのフィルタ係数は、水平及び垂直方向のいずれのラインでも色毎の総和の比が等しいため、水平及び垂直方向でどのような周波数の入力があっても、フィルタ係数を掛けた結果の色の関係がずれることがなく、高周波折り返りによる色付が起きることはない。即ち、前記加重平均フィルタのフィルタ係数と該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の画素値とに基づいて算出される色毎の加重平均値は、その局所領域に水平及び垂直方向でどのような周波数の入力があっても、その局所領域における正確な色を示す。従って、加重平均フィルタの中央部の同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、前記算出した加重平均値の色比又は色差により、対象画素の画素値を補間することで他の色の画素値を精度よく推定することができる。
【0017】
本発明の他の態様に係るカラー撮像装置において、前記カラー撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、前記第1のフィルタに対応する第1の色の画素数と、前記第2のフィルタに対応する第2の色の各色の画素数との比率が異なるようにしている。即ち、前記第1のフィルタに対応する第1の色の画素数と、前記第2のフィルタに対応する第2の色の各色の画素数との比率が異なっていても、前記加重平均フィルタのフィルタ係数は、水平及び垂直方向のいずれのラインでも色毎のフィルタ係数の総和の比が等しいため、フィルタ係数を掛けた結果の色の関係がずれることがなく、高周波折り返りによる色付が起きることがない。
【0018】
本発明の更に他の態様に係るカラー撮像装置において、前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きいことが好ましい。即ち、輝度信号を得るために最も寄与する第1の色の画素数の比率を、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよい。
【0019】
本発明の更に他の態様に係るカラー撮像装置において、前記加重平均フィルタは、中央部のフィルタ係数が大きくなるように重み付けされているフィルタであることが好ましい。これにより、同時化処理の対象画素の画素位置における色を精度よく求めることができる。
【0020】
本発明の更に他の態様に係るカラー撮像装置において、前記加重平均フィルタは、左右対称、上下対称及び点対称となるフィルタ係数を有することが好ましい。これにより、前記モザイク画像から局所領域を抽出して色毎の加重平均を算出する際に、抽出する局所領域を移動させても同じ加重平均フィルタを使用することができる。
【0021】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタが所定のカラーフィルタ配列で配置されてなり、前記加重平均算出部により算出された前記Rフィルタ、Gフィルタ及びBフィルタに対応するR、G、B画素の画素値の色毎の加重平均値を、それぞれRf、Gf、Bfとすると、前記同時化処理部は、前記同時化処理の対象画素がG画素であり、その画素値がGの場合、前記対象画素の位置におけるR、B画素の画素値R,Bを、次式、
R=G×(Rf/Gf),B=G×(Bf/Gf)
により算出し、前記同時化処理の対象画素がR画素であり、その画素値がRの場合、前記対象画素の位置におけるG、B画素の画素値G,Bを、次式、
G=R×(Gf/Rf),B=R×(Bf/Rf)
により算出し、前記同時化処理の対象画素がB画素であり、その画素値がBの場合、前記対象画素の位置におけるG、R画素の画素値G,Rを、次式、
G=B×(Gf/Bf),R=B×(Rf/Bf)
により算出するようにしている。
【0022】
前記局所領域における色毎の加重平均値(Rf、Gf、Bf)の比は、その局所領域の対象画素の画素位置における本来の色のRGBの比(色比)を示しており、この色比により対象画素の位置における画素値を補間することにより他の色の画素値を精度よく推定することができる。
【0023】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタが所定のカラーフィルタ配列で配置されてなり、前記加重平均算出部により算出された前記Rフィルタ、Gフィルタ及びBフィルタに対応するR、G、B画素の画素値の色毎の加重平均値を、それぞれRf、Gf、Bfとすると、前記同時化処理部は、前記同時化処理の対象画素がG画素であり、その画素値がGの場合、前記対象画素の位置におけるR、B画素の画素値R,Bを、次式、
R=G+(Rf−Gf),B=G+(Bf−Gf)
により算出し、前記同時化処理の対象画素がR画素であり、その画素値がRの場合、前記対象画素の位置におけるG、B画素の画素値G,Bを、次式、
G=R+(Gf−Rf),B=R+(Bf−Rf)
により算出し、前記同時化処理の対象画素がB画素であり、その画素値がBの場合、前記対象画素の位置におけるG、R画素の画素値G,Rを、次式、
G=B+(Gf−Bf),R=B+(Rf−Bf)
により算出するようにしている。
【0024】
前記局所領域における色毎の加重平均値(Rf、Gf、Bf)の差は、その局所領域の対象画素の画素位置における本来色のRGBの差(色差)を示しており、この色差により対象画素の位置における画素値を補間することにより他の色の画素値を精度よく推定することができる。
【0025】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタが所定のカラーフィルタ配列で配置されてなり、前記フィルタ配列は、3×3画素に対応する第1の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置され、左右にRフィルタが配列された第1の配列と、3×3画素に対応する第2の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置され、左右にBフィルタが配列された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成され、前記加重平均フィルタは、9×9のカーネルサイズを有し、前記制御部は、前記加重平均フィルタを前記第1の配列又は第2の配列が中心になるように順次移動させながら前記加重平均算出部及び同時化処理部を繰り返し動作させるようにしている。
【0026】
上記第1の配列と第2の配列は、ともに上下及び左右に対称な色フィルタを有し、かつ第1の配列と第2の配列とは、RフィルタとBフィルタとが入れ代わっているだけである。従って、前記加重平均フィルタを3×3画素毎に移動させながら処理する際に、加重平均フィルタのフィルタ係数を変えなくても、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比を等しくすることができる。
【発明の効果】
【0027】
本発明によれば、前記加重平均フィルタに対応してモザイク画像から抽出される局所領域内の各画素の色に対するフィルタ係数を、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるように設定し、この加重平均フィルタのフィルタ係数と該加重平均フィルタに対応してモザイク画像から抽出される局所領域内の各画素の画素値とに基づいて色毎の加重平均値を算出するようにしたため、局所領域内における色毎の加重平均値の色比又は色差は、その局所領域の対象画素の画素位置における本来色の色比又は色差を示すことになる。これにより、前記算出した加重平均値の色比又は色差により、対象画素の画素値を補間することで他の色の画素値を精度よく推定することができる。
【0028】
尚、前記局所領域に水平及び垂直方向でどのような周波数の入力があっても、その局所領域における色毎の加重平均値の色比又は色差は変化しないため、色の誤判定を起こすことがなく、高周波部の偽色の発生を抑圧することができ、また、加重平均や補間の簡単な演算により他の色の画素値を推定することができる。
【図面の簡単な説明】
【0029】
【図1】図1は本発明に係るカラー撮像装置の実施形態を示すブロック図であり;
【図2】図2は第1の実施形態のカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列を示す図であり;
【図3】図3は第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図であり;
【図4】図4は第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる6×6画素の基本配列パターンを3×3画素のA配列とB配列に分割し、これらを配置した様子を示す図であり;
【図5】図5は第1の実施形態のカラー撮像素子に適用される加重平均フィルタを示す図であり;
【図6A】図6Aは縦縞の高周波の入力があった場合の画像を示す図であり;
【図6B】図6Bは縦縞の高周波の入力があった場合に加重平均フィルタが掛けられた加重平均値の色には色ずれが起きないことを説明するために用いた図であり;
【図7】図7は本発明に適用されるカラー撮像素子及び加重平均フィルタの第2の実施形態を示す図であり;
【図8】図8は本発明に適用されるカラー撮像素子の第3の実施形態を示す図であり;
【図9A】図9Aは第3の実施形態のカラー撮像素子に適用される加重平均フィルタの第3の実施形態を示す図であり;
【図9B】図9Bは図9Aに示した6×6画素の局所領域を水平方向に2画素移動させた場合に適用される加重平均フィルタを示す図であり;
【図10】図10は従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。
【発明を実施するための形態】
【0030】
以下、添付図面に従って本発明に係るカラー撮像装置の好ましい実施の形態について詳説する。
【0031】
[カラー撮像装置の全体構成]
図1は本発明に係るカラー撮像装置の実施形態を示すブロック図である。
【0032】
撮影光学系10により被写体が撮像され、被写体像を示す光像がカラー撮像素子12(第1の実施形態のカラー撮像素子)の受光面上に結像される。
【0033】
このカラー撮像素子12は、水平方向及び垂直方向に配列(二次元配列)された光電変換素子からなる複数の画素(図示せず)と、各画素の受光面上に配置された所定のカラーフィルタ配列のカラーフィルタとから構成された単板式のカラー撮像素子である。尚、カラー撮像素子12のカラーフィルタ配列は、赤(R)、緑(G)、青(B)の全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されていることを特徴とするものであるが、その詳細については、後述する。
【0034】
カラー撮像素子12に結像された被写体像は、光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部20の指令に従って駆動部18から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)としてカラー撮像素子12から順次読み出される。カラー撮像素子12から読み出される画像信号は、カラー撮像素子12のカラーフィルタ配列に対応したR、G、Bのモザイク画像を示すR、G、B信号である。尚、カラー撮像素子12は、CCD(Charge Coupled Device)カラー撮像素子に限らず、CMOS(Complementary Metal Oxide Semiconductor)撮像素子などの他の種類の撮像素子であってもよい。
【0035】
カラー撮像素子12から読み出された画像信号は、撮像処理部14に入力する。撮像処理部14は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路(CDS)、画像信号を増幅し、一定レベルの大きさにコントロールするためのAGC回路、及びA/D変換器を含み、入力する画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるRAWデータを画像処理部16に出力する。
【0036】
画像処理部16は、ホワイトバランス補正回路、ガンマ補正回路、本発明に係る同時化処理回路(単板式のカラー撮像素子12のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理回路)、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を含み、制御部20からの指令に従い、撮像処理部14から入力したモザイク画像のRAWデータに所要の信号処理を施して、輝度データ(Yデータ)と色差データ(Cr,Cbデータ)とからなる画像データ(YUVデータ)を生成する。
【0037】
画像処理部16で生成された画像データは、圧縮/伸張処理回路により静止画に対しては、JPEG規格に準拠した圧縮処理が施され、動画に対してはMPEG2規格に準拠した圧縮処理が施された後、記録メディア(メモリカード)に記録され、また、液晶モニタ等の表示手段(図示せず)に出力されて表示される。
【0038】
尚、画像処理部16の中の本発明に係る同時化処理回路による処理内容の詳細については後述する。
【0039】
<カラーフィルタ配列の特徴>
カラー撮像素子12のカラーフィルタ配列は、下記の特徴(1)、(2)及び(3)を有している。
【0040】
〔特徴(1)〕
図2はカラー撮像素子12に設けられているカラーフィルタのカラーフィルタ配列を示す図である。図2に示すように、カラー撮像素子12のカラーフィルタ配列は、6×6画素に対応する正方配列パターンからなる基本配列パターンP(太枠で示したパターン)を含み、この基本配列パターンPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0041】
このようにRフィルタ、Gフィルタ、Bフィルタが所定の周期性をもって配列されているため、カラー撮像素子12から読み出されるR、G、B信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことができる。
【0042】
〔特徴(2)〕
図2に示すカラーフィルタ配列は、R、G、Bの全ての色のフィルタが水平方向及び垂直方向の各ライン内に配置されている。
【0043】
図3は、図2に示した基本配列パターンPを、3×3画素に4分割した状態に関して示している。
【0044】
図3に示すように基本配列パターンPは、実線の枠で囲んだ3×3画素のA配列と、破線の枠で囲んだ3×3画素のB配列とが、図4に示すように水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
【0045】
A配列及びB配列は、それぞれ輝度系画素であるGフィルタが4隅と中央に配置され、両対角線上に配置されている。また、A配列は、中央のGフィルタを挟んでRフィルタが水平方向に配列され、Bフィルタが垂直方向に配列され、一方、B配列は、中央のGフィルタを挟んでBフィルタが水平方向に配列され、Rフィルタが垂直方向に配列されている。即ち、A配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
【0046】
〔特徴(3)〕
図2に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターンの中心(4つのGフィルタの中心)に対して点対称になっている。また、図3に示したように、基本配列パターン内のA配列及びB配列も、それぞれ中心のGフィルタに対して点対称になっている。
【0047】
〔特徴(4)〕
図2に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ8画素、20画素、8画素になっている。即ち、RGB画素の各画素数の比率は、2:5:2になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
【0048】
[画像処理部16の同時化処理回路で使用する加重平均フィルタ]
図5は、画像処理部16の同時化処理回路で使用する加重平均フィルタの実施形態を示す図であり、特に加重平均フィルタのフィルタ係数に関して示している。
【0049】
図5に示すように、この加重平均フィルタ(第1の実施形態の加重平均フィルタ)は、9×9のカーネルサイズを有し、同図に示すフィルタ係数が設定されている。
【0050】
即ち、加重平均フィルタのフィルタ係数は、カラー撮像素子12から得られるモザイク画像から、A配列が中央にくるように9×9画素の局所領域を抽出し、その局所領域内の各画素の色に対応して、フィルタ係数を色毎に抽出して色毎のフィルタ係数の総和を求めた場合に、水平及び垂直方向の各ライン内のRGBの色毎のフィルタ係数の総和の比が、等しく(1:1:1に)なるようにフィルタ係数が設定されている。
【0051】
例えば、図5で、一番上の行のフィルタ係数は、0,2,1,1,4,1,1,2,0になっているが、色毎に分けて総和を求めると、R=4、G=0+1+1+1+1+0=4、B=2+2=4となり、4:4:4=1:1:1の関係になっていることが分かる。そして、全ての行及び列(水平及び垂直方向の各ライン)が、この関係に当てはまるフィルタ係数になっている。
【0052】
また、この加重平均フィルタは、3×3のサイズに分割した領域毎にフィルタ係数を比較すると、中央部の3×3のフィルタ係数が大きく、次に中央部を挟む上下左右の3×3のフィルタ係数が大きく、四隅の3×3のフィルタ係数が一番小さくなるようにフィルタ係数に重みが付けられている。
【0053】
更に、この加重平均フィルタは、左右対称、上下対称及び点対称となるようにフィルタ係数が設定されている。
【0054】
上記構成の加重平均フィルタと、モザイク画像から抽出した9×9画素の局所領域内の各画素の画素値とに基づいてRGB毎の加重平均値を算出すると、RGB毎の加重平均値による色は、水平及び垂直方向でどのような周波数の入力があっても、色ずれが生じることがなく、高周波折り返りによる色付が起きることがない。
【0055】
例えば、図6Aに示す縦縞の高周波の入力があった場合に、それぞれの色のフィルタ係数の総和は、32:32:32となり(図6B参照)、色比から白黒であることが分かる。
【0056】
[画像処理部16の同時化処理回路による同時化処理]
次に、画像処理部16の同時化処理回路によりRGBのモザイク画像を同時化処理する方法について説明する。
【0057】
図5に示すように、カラー撮像素子12から得られるモザイク画像から、A配列が中央にくるように9×9画素の局所領域を抽出し、その局所領域内の各画素の画素値と前記加重平均フィルタのフィルタ係数とに基づいてRGBの色毎の加重平均値を算出する。即ち、局所領域内の各画素の画素値と、各画素位置における加重平均フィルタのフィルタ係数とを乗算し、乗算結果を色毎に加算して色毎の総和を求め、更に色毎の総和を64で除算することにより加重平均値を算出する。尚、64は、加重平均フィルタのRGB毎のフィルタ係数の総和である。
【0058】
次に、上記のようにして算出したRGBの加重平均値からRGBの加重平均値の比(色比)を算出する。そして、9×9画素の局所領域内の中央部の3×3画素(図5に示した太枠内の画素)を同時化処理の対象画素とし、対象画素の画素位置における画素値を、前記算出した色比により補間し、その画素位置における他の色の画素値を算出する。
【0059】
具体的には、前記算出されたRGBの色毎の加重平均値をそれぞれRf、Gf、Bfとし、同時化処理の対象画素がG画素であり、その画素値がGの場合、対象画素の位置における画素値R,Bを、次式、
R=G×(Rf/Gf),B=G×(Bf/Gf) …(1)
により算出する。
【0060】
同様に、同時化処理の対象画素がR画素であり、その画素値がRの場合、対象画素の位置におけるG、B画素の画素値G,Bを、次式、
G=R×(Gf/Rf),B=R×(Bf/Rf) …(2)
により算出する。
【0061】
また、同時化処理の対象画素がB画素であり、その画素値がBの場合、対象画素の位置におけるG、R画素の画素値G,Rを、次式、
G=B×(Gf/Bf),R=B×(Rf/Bf) …(3)
により算出する。
【0062】
9×9画素の局所領域内の中央部の3×3画素の全ての画素について、RGBの画素値を求める同時化処理が終了すると、モザイク画像から抽出する局所領域を、3×3画素毎に移動させながら上記と同じ処理を行う。
【0063】
図5に示す状態から、9×9画素の局所領域を水平方向又は垂直方向に3画素移動させると、移動後の9×9画素の局所領域の中央部には、3×3画素のB配列が位置することになる(図4参照)。尚、前述したようにA配列とB配列とは、Gフィルタの配列は同じであり、RフィルタとBフィルタの位置だけが異なる。一方、加重平均フィルタは、Rフィルタに対応する位置と、Bフィルタに対応する位置のフィルタ係数として同じ値が割り当てられているため、局所領域を移動させながら同時化処理を行う際に、同じ加重平均フィルタを使用することができる。
【0064】
上記のようにカラー撮像素子12から得られるRGBのモザイク画像に対して前記加重平均フィルタを適用した場合に、水平及び垂直方向の各ライン内のRGBの色毎のフィルタ係数の総和の比が等しくなるようにフィルタ係数が設定されているため、この加重平均フィルタに基づいてRGB毎の加重平均値を算出すると、RGB毎の加重平均値による色は、水平及び垂直方向でどのような周波数の入力があっても、局所領域の色を精度よく表すことができる。そして、RGB毎の加重平均値による色に基づいて同時化処理を行うようにしたため、偽色の発生を抑圧することができ、これにより偽色の発生を抑圧するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
【0065】
上記の実施形態では、RGBの加重平均値の色比により、対象画素の画素位置における画素値を補間し、その画素位置における他の色の画素値を算出するようにしたが、これに限らず、RGBの加重平均値の色差により、対象画素の画素値を補間して他の色の画素値を算出するようにしてもよい。
【0066】
具体的には、RGBの色毎の加重平均値をそれぞれRf、Gf、Bfとし、同時化処理の対象画素がG画素であり、その画素値がGの場合、対象画素の位置における画素値R,Bを、次式、
R=G+(Rf−Gf),B=G+(Bf−Gf) …(4)
により算出する。
【0067】
同様に、同時化処理の対象画素がR画素であり、その画素値がRの場合、対象画素の位置におけるG、B画素の画素値G,Bを、次式、
G=R+(Gf−Rf),B=R+(Bf−Rf) …(5)
により算出する。
【0068】
また、同時化処理の対象画素がB画素であり、その画素値がBの場合、対象画素の位置におけるG、R画素の画素値G,Rを、次式、
G=B+(Gf−Bf),R=B+(Rf−Bf) …(6)
により算出する。
【0069】
[カラー撮像素子及び加重平均フィルタの第2の実施形態]
図7は本発明に適用されるカラー撮像素子及び加重平均フィルタの第2の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列と、これに適用される加重平均フィルタのフィルタ係数を示している。
【0070】
図7に示すように第2の実施形態のカラー撮像素子のカラーフィルタ配列は、ある水平ラインがRGBRGBRGB…であり、次の水平ラインがGBRGBRGBR…であり、その次の水平ラインがBRGBRGBRG…であり、これが繰り返されている。
【0071】
即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0072】
また、図7に示すようにカラーフィルタ配列は、R、G、Bの全ての色のフィルタが水平方向及び垂直方向の各ライン内に配置されている。
【0073】
このように第2の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(1)及び(2)と同じ特徴を有している。
【0074】
一方、上記カラー撮像素子に適用される第2の実施形態の加重平均フィルタは、図7の太枠で示すように6×6のカーネルサイズを有し、同図に示すフィルタ係数が設定されている。
【0075】
即ち、第2の実施形態の加重平均フィルタのフィルタ係数は、第2の実施形態のカラー撮像素子から得られるモザイク画像から、6×6画素の局所領域を抽出し、その局所領域内の各画素の色に対応して、フィルタ係数を色毎に抽出して色毎のフィルタ係数の総和を求めた場合に、水平及び垂直方向の各ライン内のRGBの色毎のフィルタ係数の総和の比が、等しく(1:1:1に)なるようにフィルタ係数が設定されている。
【0076】
例えば、図7で、一番上の行のフィルタ係数は、0,1,2,2,1,0になっているが、色毎に分けて総和を求めると、R=0+2=2、G=1+1=2、B=2+0=2となり、2:2:2=1:1:1の関係になっていることが分かる。そして、全ての行及び列(水平及び垂直方向の各ライン)が、この関係に当てはまるフィルタ係数になっている。
【0077】
また、この加重平均フィルタは、2×2のサイズに分割した領域毎にフィルタ係数を比較すると、中央部の2×2のフィルタ係数が大きく、次に中央部を挟む上下左右の2×2のフィルタ係数が大きく、四隅の2×2のフィルタ係数が一番小さくなるようにフィルタ係数に重みが付けられている。
【0078】
更に、この加重平均フィルタは、左右対称、上下対称及び点対称となるようにフィルタ係数が設定されている。
【0079】
上記構成の加重平均フィルタと、モザイク画像から抽出した6×6画素の局所領域内の各画素の画素値とに基づいてRGB毎の加重平均値を算出すると、RGB毎の加重平均値による色は、水平及び垂直方向でどのような周波数の入力があっても、色ずれが生じることがなく、高周波折り返りによる色付が起きることがない。
【0080】
そして、第1の実施形態と同様に、モザイク画像から抽出した6×6画素の局所領域内の各画素の画素値と加重平均フィルタのフィルタ係数とに基づいてRGB毎の加重平均値を算出し、算出されたRGB毎の加重平均値の色比、又は色差により、6×6画素の局所領域内の中央部の2×2画素の対象画素の画素値を補間することにより、他の色の画素値を算出することができる。
【0081】
また、6×6画素の局所領域内の中央部の2×2画素の全ての画素について、RGBの画素値を求める同時化処理が終了すると、モザイク画像から抽出する局所領域を、水平方向又は垂直方向に2画素ずつ移動させながら上記と同じ処理を行うが、この場合、同じ加重平均フィルタを使用することができる。
【0082】
[カラー撮像素子及び加重平均フィルタの第3の実施形態]
図8は本発明に適用されるカラー撮像素子の第3の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【0083】
また、図9はこのカラー撮像素子に適用される加重平均フィルタのフィルタ係数を示している。
【0084】
図8に示すように、第3の実施形態のカラー撮像素子のカラーフィルタ配列は、4×4画素に対応する正方配列パターンからなる基本配列パターン(太枠で示したパターン)を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0085】
また、このカラーフィルタ配列は、R、G、Bの全ての色のフィルタが水平方向及び垂直方向の各ライン内に配置されている。
【0086】
更に、カラーフィルタ配列の基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。
【0087】
更にまた、図8に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ4画素、8画素、4画素になっている。即ち、RGB画素の各画素数の比率は、1:2:1になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
【0088】
このように第3の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。
【0089】
一方、上記カラー撮像素子に適用される第3の実施形態の加重平均フィルタは、図9A及び図9Bの太枠で示すように6×6のカーネルサイズを有し、同図に示すフィルタ係数が設定されている。
【0090】
即ち、第3の実施形態の加重平均フィルタのフィルタ係数は、第3の実施形態のカラー撮像素子から得られるモザイク画像から、6×6画素の局所領域を抽出し、その局所領域内の各画素の色に対応して、フィルタ係数を色毎に抽出して色毎のフィルタ係数の総和を求めた場合に、水平及び垂直方向の各ライン内のRGBの色毎のフィルタ係数の総和の比が、等しく(1:1:1に)なるようにフィルタ係数が設定されている。
【0091】
例えば、図9Aで、一番上の行のフィルタ係数は、2,1,2,4,2,1になっているが、色毎に分けて総和を求めると、R=4、G=1+2+1=4、B=2+2=4となり、4:4:4=1:1:1の関係になっていることが分かる。そして、全ての行及び列(水平及び垂直方向の各ライン)が、この関係に当てはまるフィルタ係数になっている。
【0092】
また、この加重平均フィルタは、2×2のサイズに分割した領域毎にフィルタ係数を比較すると、中央部の2×2のフィルタ係数が大きく、次に中央部を挟む上下左右の2×2のフィルタ係数が大きく、四隅の2×2のフィルタ係数が一番小さくなるようにフィルタ係数に重みが付けられている。
【0093】
上記構成の加重平均フィルタと、モザイク画像から抽出した6×6画素の局所領域内の各画素の画素値とに基づいてRGB毎の加重平均値を算出すると、RGB毎の加重平均値による色は、水平及び垂直方向でどのような周波数の入力があっても、色ずれが生じることがなく、高周波折り返りによる色付が起きることがない。
【0094】
そして、第1の実施形態と同様に、モザイク画像から抽出した6×6画素の局所領域内の各画素の画素値と加重平均フィルタのフィルタ係数とに基づいてRGB毎の加重平均値を算出し、算出されたRGB毎の加重平均値の色比、又は色差により、6×6画素の局所領域内の中央部の2×2画素の対象画素の画素値を補間することにより、他の色の画素値を算出することができる。
【0095】
また、6×6画素の局所領域内の中央部の2×2画素の全ての画素について、RGBの画素値を求める同時化処理が終了すると、モザイク画像から抽出する局所領域を、水平方向又は垂直方向に2画素ずつ移動させながら上記と同じ処理を行うが、この場合、異なる加重平均フィルタを使用する。
【0096】
即ち、図9Aに示すように、モザイク画像から抽出する6×6画素の局所領域の中央部の2×2画素の左上及び右下にG画素がくる場合には、図9Aに示すフィルタ係数を有する加重平均フィルタを使用し、図9Bに示すように、モザイク画像から抽出する局所領域を水平方向に2画素に移動し、その局所領域の中央部の2×2画素の右上及び左下にG画素がくる場合には、図9Bに示すフィルタ係数を有する加重平均フィルタを使用する。
【0097】
[その他]
上記実施形態では、RGBの3原色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置について説明したが、本発明は、これに限らず、RGBの3原色+他の色(例えば、エメラルド(E))の4色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。
【0098】
また、本発明は、原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。
【0099】
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0100】
10…撮影光学系、12…カラー撮像素子、14…撮像処理部、16…画像処理部、18…駆動部、20…制御部
【技術分野】
【0001】
本発明はカラー撮像装置に係り、特に色モワレの発生を抑圧することができるカラー撮像装置に関する。
【背景技術】
【0002】
単板式のカラー撮像素子を有するカラー撮像装置では、カラー撮像素子からの出力画像がRAW画像(モザイク画像)であるため、欠落している色の画素を、周囲の画素から補間する処理(同時化処理)により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性である。
【0003】
単板式のカラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き(色モアレ)が発生するという問題がある。
【0004】
例えば、図10の(A)に示すような白黒の縦縞模様(高周波画像)が、図10の(B)に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図10の(C)から(E)に示すようにRは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、RGB間に濃度差(レベル差)は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
【0005】
一般に単板式のカラー撮像素子を使用するカラー撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
【0006】
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む3色と該着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献1)。
【0007】
また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の所定の周期で交互に配置されているとともに、他方の対角方向に第2の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている(特許文献2)。
【0008】
更に、RGBの3原色のうちのR,Bを水平方向及び垂直方向にそれぞれ3画素置きに配置し、これらのR,Bの間にGを配置したカラー撮像素子を備えた撮像装置が提案されている(特許文献3)。特許文献3に記載のカラー撮像素子は、輝度信号に対して色差信号の解像度は低くてもよいという理由により、輝度信号を得るために最も寄与するG画素がRB画素に比べて非常に多く配置されており、これにより水平及び垂直方向の解像度を上げることができるようにしている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2000−308080号公報
【特許文献2】特開2005−136766号公報
【特許文献3】特開平8−23543号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
特許文献1に記載の3色ランダム配列は、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
【0011】
一方、特許文献2に記載の画像センサのカラーフィルタ配列は、R、G、Bフィルタがカラーフィルタ配列の水平方向及び垂直方向の各ライン内に周期的に配置されているが、特許文献2に記載の発明は、上記カラーフィルタ配列を有する画像センサから出力されるモザイク画像を同時化処理する際に、注目画素を中心に所定の画像サイズの局所領域を抽出し、局所領域内の注目画素の色の色分布形状、及び推定しようとする他の色の色分布形状に関する統計量を算出し、注目画素位置の色の強度と色分布形状の統計量とに基づいて色分布形状を線形回帰することにより注目画素位置の他の色の推定値を算出するようにしている。この特許文献2に記載の発明は、色分布形状に関する統計量(共分散値)の演算や回帰演算処理を行う必要があり、画像処理が複雑になるという問題がある。
【0012】
また、特許文献3に記載のカラー撮像素子は、水平又は垂直方向にG画素のみのラインが存在するため、水平又は垂直方向の高周波部の偽色に対しては有効でない。
【0013】
本発明はこのような事情に鑑みてなされたもので、高周波部の偽色の発生を簡単な画像処理で抑圧することができるカラー撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
前記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されたカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子と、前記カラー撮像素子からモザイク画像を取得する画像取得部と、所定のフィルタ係数を有する加重平均フィルタであって、該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の色と前記フィルタ係数との関係が、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるように設定された加重平均フィルタと、前記加重平均フィルタのフィルタ係数と該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の画素値とに基づいて色毎の加重平均値を算出する加重平均算出部と、前記加重平均フィルタの中央部の同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記対象画素の色と他の色との前記算出した加重平均値の色比又は色差に基づいて、前記対象画素の画素値を補間して前記他の色の画素値を算出する同時化処理部と、前記加重平均フィルタに対応して前記モザイク画像から抽出する局所領域を、前記同時化処理の対象画素単位毎に移動させながら前記加重平均算出部及び同時化処理部を繰り返し動作させる制御部と、を備えている。
【0015】
本発明の一の態様に係るカラー撮像装置によれば、全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されたカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子を使用するため、前記加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の色に対する前記フィルタ係数として、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるように設定することができる。
【0016】
そして、加重平均フィルタのフィルタ係数は、水平及び垂直方向のいずれのラインでも色毎の総和の比が等しいため、水平及び垂直方向でどのような周波数の入力があっても、フィルタ係数を掛けた結果の色の関係がずれることがなく、高周波折り返りによる色付が起きることはない。即ち、前記加重平均フィルタのフィルタ係数と該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の画素値とに基づいて算出される色毎の加重平均値は、その局所領域に水平及び垂直方向でどのような周波数の入力があっても、その局所領域における正確な色を示す。従って、加重平均フィルタの中央部の同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、前記算出した加重平均値の色比又は色差により、対象画素の画素値を補間することで他の色の画素値を精度よく推定することができる。
【0017】
本発明の他の態様に係るカラー撮像装置において、前記カラー撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、前記第1のフィルタに対応する第1の色の画素数と、前記第2のフィルタに対応する第2の色の各色の画素数との比率が異なるようにしている。即ち、前記第1のフィルタに対応する第1の色の画素数と、前記第2のフィルタに対応する第2の色の各色の画素数との比率が異なっていても、前記加重平均フィルタのフィルタ係数は、水平及び垂直方向のいずれのラインでも色毎のフィルタ係数の総和の比が等しいため、フィルタ係数を掛けた結果の色の関係がずれることがなく、高周波折り返りによる色付が起きることがない。
【0018】
本発明の更に他の態様に係るカラー撮像装置において、前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きいことが好ましい。即ち、輝度信号を得るために最も寄与する第1の色の画素数の比率を、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよい。
【0019】
本発明の更に他の態様に係るカラー撮像装置において、前記加重平均フィルタは、中央部のフィルタ係数が大きくなるように重み付けされているフィルタであることが好ましい。これにより、同時化処理の対象画素の画素位置における色を精度よく求めることができる。
【0020】
本発明の更に他の態様に係るカラー撮像装置において、前記加重平均フィルタは、左右対称、上下対称及び点対称となるフィルタ係数を有することが好ましい。これにより、前記モザイク画像から局所領域を抽出して色毎の加重平均を算出する際に、抽出する局所領域を移動させても同じ加重平均フィルタを使用することができる。
【0021】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタが所定のカラーフィルタ配列で配置されてなり、前記加重平均算出部により算出された前記Rフィルタ、Gフィルタ及びBフィルタに対応するR、G、B画素の画素値の色毎の加重平均値を、それぞれRf、Gf、Bfとすると、前記同時化処理部は、前記同時化処理の対象画素がG画素であり、その画素値がGの場合、前記対象画素の位置におけるR、B画素の画素値R,Bを、次式、
R=G×(Rf/Gf),B=G×(Bf/Gf)
により算出し、前記同時化処理の対象画素がR画素であり、その画素値がRの場合、前記対象画素の位置におけるG、B画素の画素値G,Bを、次式、
G=R×(Gf/Rf),B=R×(Bf/Rf)
により算出し、前記同時化処理の対象画素がB画素であり、その画素値がBの場合、前記対象画素の位置におけるG、R画素の画素値G,Rを、次式、
G=B×(Gf/Bf),R=B×(Rf/Bf)
により算出するようにしている。
【0022】
前記局所領域における色毎の加重平均値(Rf、Gf、Bf)の比は、その局所領域の対象画素の画素位置における本来の色のRGBの比(色比)を示しており、この色比により対象画素の位置における画素値を補間することにより他の色の画素値を精度よく推定することができる。
【0023】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタが所定のカラーフィルタ配列で配置されてなり、前記加重平均算出部により算出された前記Rフィルタ、Gフィルタ及びBフィルタに対応するR、G、B画素の画素値の色毎の加重平均値を、それぞれRf、Gf、Bfとすると、前記同時化処理部は、前記同時化処理の対象画素がG画素であり、その画素値がGの場合、前記対象画素の位置におけるR、B画素の画素値R,Bを、次式、
R=G+(Rf−Gf),B=G+(Bf−Gf)
により算出し、前記同時化処理の対象画素がR画素であり、その画素値がRの場合、前記対象画素の位置におけるG、B画素の画素値G,Bを、次式、
G=R+(Gf−Rf),B=R+(Bf−Rf)
により算出し、前記同時化処理の対象画素がB画素であり、その画素値がBの場合、前記対象画素の位置におけるG、R画素の画素値G,Rを、次式、
G=B+(Gf−Bf),R=B+(Rf−Bf)
により算出するようにしている。
【0024】
前記局所領域における色毎の加重平均値(Rf、Gf、Bf)の差は、その局所領域の対象画素の画素位置における本来色のRGBの差(色差)を示しており、この色差により対象画素の位置における画素値を補間することにより他の色の画素値を精度よく推定することができる。
【0025】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタが所定のカラーフィルタ配列で配置されてなり、前記フィルタ配列は、3×3画素に対応する第1の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置され、左右にRフィルタが配列された第1の配列と、3×3画素に対応する第2の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置され、左右にBフィルタが配列された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成され、前記加重平均フィルタは、9×9のカーネルサイズを有し、前記制御部は、前記加重平均フィルタを前記第1の配列又は第2の配列が中心になるように順次移動させながら前記加重平均算出部及び同時化処理部を繰り返し動作させるようにしている。
【0026】
上記第1の配列と第2の配列は、ともに上下及び左右に対称な色フィルタを有し、かつ第1の配列と第2の配列とは、RフィルタとBフィルタとが入れ代わっているだけである。従って、前記加重平均フィルタを3×3画素毎に移動させながら処理する際に、加重平均フィルタのフィルタ係数を変えなくても、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比を等しくすることができる。
【発明の効果】
【0027】
本発明によれば、前記加重平均フィルタに対応してモザイク画像から抽出される局所領域内の各画素の色に対するフィルタ係数を、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるように設定し、この加重平均フィルタのフィルタ係数と該加重平均フィルタに対応してモザイク画像から抽出される局所領域内の各画素の画素値とに基づいて色毎の加重平均値を算出するようにしたため、局所領域内における色毎の加重平均値の色比又は色差は、その局所領域の対象画素の画素位置における本来色の色比又は色差を示すことになる。これにより、前記算出した加重平均値の色比又は色差により、対象画素の画素値を補間することで他の色の画素値を精度よく推定することができる。
【0028】
尚、前記局所領域に水平及び垂直方向でどのような周波数の入力があっても、その局所領域における色毎の加重平均値の色比又は色差は変化しないため、色の誤判定を起こすことがなく、高周波部の偽色の発生を抑圧することができ、また、加重平均や補間の簡単な演算により他の色の画素値を推定することができる。
【図面の簡単な説明】
【0029】
【図1】図1は本発明に係るカラー撮像装置の実施形態を示すブロック図であり;
【図2】図2は第1の実施形態のカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列を示す図であり;
【図3】図3は第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図であり;
【図4】図4は第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる6×6画素の基本配列パターンを3×3画素のA配列とB配列に分割し、これらを配置した様子を示す図であり;
【図5】図5は第1の実施形態のカラー撮像素子に適用される加重平均フィルタを示す図であり;
【図6A】図6Aは縦縞の高周波の入力があった場合の画像を示す図であり;
【図6B】図6Bは縦縞の高周波の入力があった場合に加重平均フィルタが掛けられた加重平均値の色には色ずれが起きないことを説明するために用いた図であり;
【図7】図7は本発明に適用されるカラー撮像素子及び加重平均フィルタの第2の実施形態を示す図であり;
【図8】図8は本発明に適用されるカラー撮像素子の第3の実施形態を示す図であり;
【図9A】図9Aは第3の実施形態のカラー撮像素子に適用される加重平均フィルタの第3の実施形態を示す図であり;
【図9B】図9Bは図9Aに示した6×6画素の局所領域を水平方向に2画素移動させた場合に適用される加重平均フィルタを示す図であり;
【図10】図10は従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。
【発明を実施するための形態】
【0030】
以下、添付図面に従って本発明に係るカラー撮像装置の好ましい実施の形態について詳説する。
【0031】
[カラー撮像装置の全体構成]
図1は本発明に係るカラー撮像装置の実施形態を示すブロック図である。
【0032】
撮影光学系10により被写体が撮像され、被写体像を示す光像がカラー撮像素子12(第1の実施形態のカラー撮像素子)の受光面上に結像される。
【0033】
このカラー撮像素子12は、水平方向及び垂直方向に配列(二次元配列)された光電変換素子からなる複数の画素(図示せず)と、各画素の受光面上に配置された所定のカラーフィルタ配列のカラーフィルタとから構成された単板式のカラー撮像素子である。尚、カラー撮像素子12のカラーフィルタ配列は、赤(R)、緑(G)、青(B)の全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されていることを特徴とするものであるが、その詳細については、後述する。
【0034】
カラー撮像素子12に結像された被写体像は、光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部20の指令に従って駆動部18から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)としてカラー撮像素子12から順次読み出される。カラー撮像素子12から読み出される画像信号は、カラー撮像素子12のカラーフィルタ配列に対応したR、G、Bのモザイク画像を示すR、G、B信号である。尚、カラー撮像素子12は、CCD(Charge Coupled Device)カラー撮像素子に限らず、CMOS(Complementary Metal Oxide Semiconductor)撮像素子などの他の種類の撮像素子であってもよい。
【0035】
カラー撮像素子12から読み出された画像信号は、撮像処理部14に入力する。撮像処理部14は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路(CDS)、画像信号を増幅し、一定レベルの大きさにコントロールするためのAGC回路、及びA/D変換器を含み、入力する画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるRAWデータを画像処理部16に出力する。
【0036】
画像処理部16は、ホワイトバランス補正回路、ガンマ補正回路、本発明に係る同時化処理回路(単板式のカラー撮像素子12のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理回路)、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を含み、制御部20からの指令に従い、撮像処理部14から入力したモザイク画像のRAWデータに所要の信号処理を施して、輝度データ(Yデータ)と色差データ(Cr,Cbデータ)とからなる画像データ(YUVデータ)を生成する。
【0037】
画像処理部16で生成された画像データは、圧縮/伸張処理回路により静止画に対しては、JPEG規格に準拠した圧縮処理が施され、動画に対してはMPEG2規格に準拠した圧縮処理が施された後、記録メディア(メモリカード)に記録され、また、液晶モニタ等の表示手段(図示せず)に出力されて表示される。
【0038】
尚、画像処理部16の中の本発明に係る同時化処理回路による処理内容の詳細については後述する。
【0039】
<カラーフィルタ配列の特徴>
カラー撮像素子12のカラーフィルタ配列は、下記の特徴(1)、(2)及び(3)を有している。
【0040】
〔特徴(1)〕
図2はカラー撮像素子12に設けられているカラーフィルタのカラーフィルタ配列を示す図である。図2に示すように、カラー撮像素子12のカラーフィルタ配列は、6×6画素に対応する正方配列パターンからなる基本配列パターンP(太枠で示したパターン)を含み、この基本配列パターンPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0041】
このようにRフィルタ、Gフィルタ、Bフィルタが所定の周期性をもって配列されているため、カラー撮像素子12から読み出されるR、G、B信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことができる。
【0042】
〔特徴(2)〕
図2に示すカラーフィルタ配列は、R、G、Bの全ての色のフィルタが水平方向及び垂直方向の各ライン内に配置されている。
【0043】
図3は、図2に示した基本配列パターンPを、3×3画素に4分割した状態に関して示している。
【0044】
図3に示すように基本配列パターンPは、実線の枠で囲んだ3×3画素のA配列と、破線の枠で囲んだ3×3画素のB配列とが、図4に示すように水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
【0045】
A配列及びB配列は、それぞれ輝度系画素であるGフィルタが4隅と中央に配置され、両対角線上に配置されている。また、A配列は、中央のGフィルタを挟んでRフィルタが水平方向に配列され、Bフィルタが垂直方向に配列され、一方、B配列は、中央のGフィルタを挟んでBフィルタが水平方向に配列され、Rフィルタが垂直方向に配列されている。即ち、A配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
【0046】
〔特徴(3)〕
図2に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターンの中心(4つのGフィルタの中心)に対して点対称になっている。また、図3に示したように、基本配列パターン内のA配列及びB配列も、それぞれ中心のGフィルタに対して点対称になっている。
【0047】
〔特徴(4)〕
図2に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ8画素、20画素、8画素になっている。即ち、RGB画素の各画素数の比率は、2:5:2になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
【0048】
[画像処理部16の同時化処理回路で使用する加重平均フィルタ]
図5は、画像処理部16の同時化処理回路で使用する加重平均フィルタの実施形態を示す図であり、特に加重平均フィルタのフィルタ係数に関して示している。
【0049】
図5に示すように、この加重平均フィルタ(第1の実施形態の加重平均フィルタ)は、9×9のカーネルサイズを有し、同図に示すフィルタ係数が設定されている。
【0050】
即ち、加重平均フィルタのフィルタ係数は、カラー撮像素子12から得られるモザイク画像から、A配列が中央にくるように9×9画素の局所領域を抽出し、その局所領域内の各画素の色に対応して、フィルタ係数を色毎に抽出して色毎のフィルタ係数の総和を求めた場合に、水平及び垂直方向の各ライン内のRGBの色毎のフィルタ係数の総和の比が、等しく(1:1:1に)なるようにフィルタ係数が設定されている。
【0051】
例えば、図5で、一番上の行のフィルタ係数は、0,2,1,1,4,1,1,2,0になっているが、色毎に分けて総和を求めると、R=4、G=0+1+1+1+1+0=4、B=2+2=4となり、4:4:4=1:1:1の関係になっていることが分かる。そして、全ての行及び列(水平及び垂直方向の各ライン)が、この関係に当てはまるフィルタ係数になっている。
【0052】
また、この加重平均フィルタは、3×3のサイズに分割した領域毎にフィルタ係数を比較すると、中央部の3×3のフィルタ係数が大きく、次に中央部を挟む上下左右の3×3のフィルタ係数が大きく、四隅の3×3のフィルタ係数が一番小さくなるようにフィルタ係数に重みが付けられている。
【0053】
更に、この加重平均フィルタは、左右対称、上下対称及び点対称となるようにフィルタ係数が設定されている。
【0054】
上記構成の加重平均フィルタと、モザイク画像から抽出した9×9画素の局所領域内の各画素の画素値とに基づいてRGB毎の加重平均値を算出すると、RGB毎の加重平均値による色は、水平及び垂直方向でどのような周波数の入力があっても、色ずれが生じることがなく、高周波折り返りによる色付が起きることがない。
【0055】
例えば、図6Aに示す縦縞の高周波の入力があった場合に、それぞれの色のフィルタ係数の総和は、32:32:32となり(図6B参照)、色比から白黒であることが分かる。
【0056】
[画像処理部16の同時化処理回路による同時化処理]
次に、画像処理部16の同時化処理回路によりRGBのモザイク画像を同時化処理する方法について説明する。
【0057】
図5に示すように、カラー撮像素子12から得られるモザイク画像から、A配列が中央にくるように9×9画素の局所領域を抽出し、その局所領域内の各画素の画素値と前記加重平均フィルタのフィルタ係数とに基づいてRGBの色毎の加重平均値を算出する。即ち、局所領域内の各画素の画素値と、各画素位置における加重平均フィルタのフィルタ係数とを乗算し、乗算結果を色毎に加算して色毎の総和を求め、更に色毎の総和を64で除算することにより加重平均値を算出する。尚、64は、加重平均フィルタのRGB毎のフィルタ係数の総和である。
【0058】
次に、上記のようにして算出したRGBの加重平均値からRGBの加重平均値の比(色比)を算出する。そして、9×9画素の局所領域内の中央部の3×3画素(図5に示した太枠内の画素)を同時化処理の対象画素とし、対象画素の画素位置における画素値を、前記算出した色比により補間し、その画素位置における他の色の画素値を算出する。
【0059】
具体的には、前記算出されたRGBの色毎の加重平均値をそれぞれRf、Gf、Bfとし、同時化処理の対象画素がG画素であり、その画素値がGの場合、対象画素の位置における画素値R,Bを、次式、
R=G×(Rf/Gf),B=G×(Bf/Gf) …(1)
により算出する。
【0060】
同様に、同時化処理の対象画素がR画素であり、その画素値がRの場合、対象画素の位置におけるG、B画素の画素値G,Bを、次式、
G=R×(Gf/Rf),B=R×(Bf/Rf) …(2)
により算出する。
【0061】
また、同時化処理の対象画素がB画素であり、その画素値がBの場合、対象画素の位置におけるG、R画素の画素値G,Rを、次式、
G=B×(Gf/Bf),R=B×(Rf/Bf) …(3)
により算出する。
【0062】
9×9画素の局所領域内の中央部の3×3画素の全ての画素について、RGBの画素値を求める同時化処理が終了すると、モザイク画像から抽出する局所領域を、3×3画素毎に移動させながら上記と同じ処理を行う。
【0063】
図5に示す状態から、9×9画素の局所領域を水平方向又は垂直方向に3画素移動させると、移動後の9×9画素の局所領域の中央部には、3×3画素のB配列が位置することになる(図4参照)。尚、前述したようにA配列とB配列とは、Gフィルタの配列は同じであり、RフィルタとBフィルタの位置だけが異なる。一方、加重平均フィルタは、Rフィルタに対応する位置と、Bフィルタに対応する位置のフィルタ係数として同じ値が割り当てられているため、局所領域を移動させながら同時化処理を行う際に、同じ加重平均フィルタを使用することができる。
【0064】
上記のようにカラー撮像素子12から得られるRGBのモザイク画像に対して前記加重平均フィルタを適用した場合に、水平及び垂直方向の各ライン内のRGBの色毎のフィルタ係数の総和の比が等しくなるようにフィルタ係数が設定されているため、この加重平均フィルタに基づいてRGB毎の加重平均値を算出すると、RGB毎の加重平均値による色は、水平及び垂直方向でどのような周波数の入力があっても、局所領域の色を精度よく表すことができる。そして、RGB毎の加重平均値による色に基づいて同時化処理を行うようにしたため、偽色の発生を抑圧することができ、これにより偽色の発生を抑圧するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
【0065】
上記の実施形態では、RGBの加重平均値の色比により、対象画素の画素位置における画素値を補間し、その画素位置における他の色の画素値を算出するようにしたが、これに限らず、RGBの加重平均値の色差により、対象画素の画素値を補間して他の色の画素値を算出するようにしてもよい。
【0066】
具体的には、RGBの色毎の加重平均値をそれぞれRf、Gf、Bfとし、同時化処理の対象画素がG画素であり、その画素値がGの場合、対象画素の位置における画素値R,Bを、次式、
R=G+(Rf−Gf),B=G+(Bf−Gf) …(4)
により算出する。
【0067】
同様に、同時化処理の対象画素がR画素であり、その画素値がRの場合、対象画素の位置におけるG、B画素の画素値G,Bを、次式、
G=R+(Gf−Rf),B=R+(Bf−Rf) …(5)
により算出する。
【0068】
また、同時化処理の対象画素がB画素であり、その画素値がBの場合、対象画素の位置におけるG、R画素の画素値G,Rを、次式、
G=B+(Gf−Bf),R=B+(Rf−Bf) …(6)
により算出する。
【0069】
[カラー撮像素子及び加重平均フィルタの第2の実施形態]
図7は本発明に適用されるカラー撮像素子及び加重平均フィルタの第2の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列と、これに適用される加重平均フィルタのフィルタ係数を示している。
【0070】
図7に示すように第2の実施形態のカラー撮像素子のカラーフィルタ配列は、ある水平ラインがRGBRGBRGB…であり、次の水平ラインがGBRGBRGBR…であり、その次の水平ラインがBRGBRGBRG…であり、これが繰り返されている。
【0071】
即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0072】
また、図7に示すようにカラーフィルタ配列は、R、G、Bの全ての色のフィルタが水平方向及び垂直方向の各ライン内に配置されている。
【0073】
このように第2の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(1)及び(2)と同じ特徴を有している。
【0074】
一方、上記カラー撮像素子に適用される第2の実施形態の加重平均フィルタは、図7の太枠で示すように6×6のカーネルサイズを有し、同図に示すフィルタ係数が設定されている。
【0075】
即ち、第2の実施形態の加重平均フィルタのフィルタ係数は、第2の実施形態のカラー撮像素子から得られるモザイク画像から、6×6画素の局所領域を抽出し、その局所領域内の各画素の色に対応して、フィルタ係数を色毎に抽出して色毎のフィルタ係数の総和を求めた場合に、水平及び垂直方向の各ライン内のRGBの色毎のフィルタ係数の総和の比が、等しく(1:1:1に)なるようにフィルタ係数が設定されている。
【0076】
例えば、図7で、一番上の行のフィルタ係数は、0,1,2,2,1,0になっているが、色毎に分けて総和を求めると、R=0+2=2、G=1+1=2、B=2+0=2となり、2:2:2=1:1:1の関係になっていることが分かる。そして、全ての行及び列(水平及び垂直方向の各ライン)が、この関係に当てはまるフィルタ係数になっている。
【0077】
また、この加重平均フィルタは、2×2のサイズに分割した領域毎にフィルタ係数を比較すると、中央部の2×2のフィルタ係数が大きく、次に中央部を挟む上下左右の2×2のフィルタ係数が大きく、四隅の2×2のフィルタ係数が一番小さくなるようにフィルタ係数に重みが付けられている。
【0078】
更に、この加重平均フィルタは、左右対称、上下対称及び点対称となるようにフィルタ係数が設定されている。
【0079】
上記構成の加重平均フィルタと、モザイク画像から抽出した6×6画素の局所領域内の各画素の画素値とに基づいてRGB毎の加重平均値を算出すると、RGB毎の加重平均値による色は、水平及び垂直方向でどのような周波数の入力があっても、色ずれが生じることがなく、高周波折り返りによる色付が起きることがない。
【0080】
そして、第1の実施形態と同様に、モザイク画像から抽出した6×6画素の局所領域内の各画素の画素値と加重平均フィルタのフィルタ係数とに基づいてRGB毎の加重平均値を算出し、算出されたRGB毎の加重平均値の色比、又は色差により、6×6画素の局所領域内の中央部の2×2画素の対象画素の画素値を補間することにより、他の色の画素値を算出することができる。
【0081】
また、6×6画素の局所領域内の中央部の2×2画素の全ての画素について、RGBの画素値を求める同時化処理が終了すると、モザイク画像から抽出する局所領域を、水平方向又は垂直方向に2画素ずつ移動させながら上記と同じ処理を行うが、この場合、同じ加重平均フィルタを使用することができる。
【0082】
[カラー撮像素子及び加重平均フィルタの第3の実施形態]
図8は本発明に適用されるカラー撮像素子の第3の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【0083】
また、図9はこのカラー撮像素子に適用される加重平均フィルタのフィルタ係数を示している。
【0084】
図8に示すように、第3の実施形態のカラー撮像素子のカラーフィルタ配列は、4×4画素に対応する正方配列パターンからなる基本配列パターン(太枠で示したパターン)を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0085】
また、このカラーフィルタ配列は、R、G、Bの全ての色のフィルタが水平方向及び垂直方向の各ライン内に配置されている。
【0086】
更に、カラーフィルタ配列の基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。
【0087】
更にまた、図8に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ4画素、8画素、4画素になっている。即ち、RGB画素の各画素数の比率は、1:2:1になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
【0088】
このように第3の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。
【0089】
一方、上記カラー撮像素子に適用される第3の実施形態の加重平均フィルタは、図9A及び図9Bの太枠で示すように6×6のカーネルサイズを有し、同図に示すフィルタ係数が設定されている。
【0090】
即ち、第3の実施形態の加重平均フィルタのフィルタ係数は、第3の実施形態のカラー撮像素子から得られるモザイク画像から、6×6画素の局所領域を抽出し、その局所領域内の各画素の色に対応して、フィルタ係数を色毎に抽出して色毎のフィルタ係数の総和を求めた場合に、水平及び垂直方向の各ライン内のRGBの色毎のフィルタ係数の総和の比が、等しく(1:1:1に)なるようにフィルタ係数が設定されている。
【0091】
例えば、図9Aで、一番上の行のフィルタ係数は、2,1,2,4,2,1になっているが、色毎に分けて総和を求めると、R=4、G=1+2+1=4、B=2+2=4となり、4:4:4=1:1:1の関係になっていることが分かる。そして、全ての行及び列(水平及び垂直方向の各ライン)が、この関係に当てはまるフィルタ係数になっている。
【0092】
また、この加重平均フィルタは、2×2のサイズに分割した領域毎にフィルタ係数を比較すると、中央部の2×2のフィルタ係数が大きく、次に中央部を挟む上下左右の2×2のフィルタ係数が大きく、四隅の2×2のフィルタ係数が一番小さくなるようにフィルタ係数に重みが付けられている。
【0093】
上記構成の加重平均フィルタと、モザイク画像から抽出した6×6画素の局所領域内の各画素の画素値とに基づいてRGB毎の加重平均値を算出すると、RGB毎の加重平均値による色は、水平及び垂直方向でどのような周波数の入力があっても、色ずれが生じることがなく、高周波折り返りによる色付が起きることがない。
【0094】
そして、第1の実施形態と同様に、モザイク画像から抽出した6×6画素の局所領域内の各画素の画素値と加重平均フィルタのフィルタ係数とに基づいてRGB毎の加重平均値を算出し、算出されたRGB毎の加重平均値の色比、又は色差により、6×6画素の局所領域内の中央部の2×2画素の対象画素の画素値を補間することにより、他の色の画素値を算出することができる。
【0095】
また、6×6画素の局所領域内の中央部の2×2画素の全ての画素について、RGBの画素値を求める同時化処理が終了すると、モザイク画像から抽出する局所領域を、水平方向又は垂直方向に2画素ずつ移動させながら上記と同じ処理を行うが、この場合、異なる加重平均フィルタを使用する。
【0096】
即ち、図9Aに示すように、モザイク画像から抽出する6×6画素の局所領域の中央部の2×2画素の左上及び右下にG画素がくる場合には、図9Aに示すフィルタ係数を有する加重平均フィルタを使用し、図9Bに示すように、モザイク画像から抽出する局所領域を水平方向に2画素に移動し、その局所領域の中央部の2×2画素の右上及び左下にG画素がくる場合には、図9Bに示すフィルタ係数を有する加重平均フィルタを使用する。
【0097】
[その他]
上記実施形態では、RGBの3原色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置について説明したが、本発明は、これに限らず、RGBの3原色+他の色(例えば、エメラルド(E))の4色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。
【0098】
また、本発明は、原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。
【0099】
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0100】
10…撮影光学系、12…カラー撮像素子、14…撮像処理部、16…画像処理部、18…駆動部、20…制御部
【特許請求の範囲】
【請求項1】
水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されたカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子と、
前記カラー撮像素子からモザイク画像を取得する画像取得部と、
所定のフィルタ係数を有する加重平均フィルタであって、該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の色と前記フィルタ係数との関係が、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるように設定された加重平均フィルタと、
前記加重平均フィルタのフィルタ係数と該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の画素値とに基づいて色毎の加重平均値を算出する加重平均算出部と、
前記加重平均フィルタの中央部の同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記対象画素の色と他の色との前記算出した加重平均値の色比又は色差に基づいて、前記対象画素の画素値を補間して前記他の色の画素値を算出する同時化処理部と、
前記加重平均フィルタに対応して前記モザイク画像から抽出する局所領域を、前記同時化処理の対象画素単位毎に移動させながら前記加重平均算出部及び同時化処理部を繰り返し動作させる制御部と、
を備えたカラー撮像装置。
【請求項2】
前記カラー撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
前記第1のフィルタに対応する第1の色の画素数と、前記第2のフィルタに対応する第2の色の各色の画素数との比率が異なる請求項1に記載のカラー撮像装置。
【請求項3】
前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きい請求項2に記載のカラー撮像装置。
【請求項4】
前記加重平均フィルタは、中央部のフィルタ係数が大きくなるように重み付けされているフィルタである請求項1から3のいずれか1項に記載のカラー撮像装置。
【請求項5】
前記加重平均フィルタは、左右対称、上下対称及び点対称となるフィルタ係数を有する請求項1から4のいずれか1項に記載のカラー撮像装置。
【請求項6】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタが所定のカラーフィルタ配列で配置されてなり、
前記加重平均算出部により算出された前記Rフィルタ、Gフィルタ及びBフィルタに対応するR、G、B画素の画素値の色毎の加重平均値を、それぞれRf、Gf、Bfとすると、
前記同時化処理部は、
前記同時化処理の対象画素がG画素であり、その画素値がGの場合、前記対象画素の位置におけるR、B画素の画素値R,Bを、次式、
R=G×(Rf/Gf),B=G×(Bf/Gf)
により算出し、前記同時化処理の対象画素がR画素であり、その画素値がRの場合、前記対象画素の位置におけるG、B画素の画素値G,Bを、次式、
G=R×(Gf/Rf),B=R×(Bf/Rf)
により算出し、前記同時化処理の対象画素がB画素であり、その画素値がBの場合、前記対象画素の位置におけるG、R画素の画素値G,Rを、次式、
G=B×(Gf/Bf),R=B×(Rf/Bf)
により算出する請求項1から5のいずれか1項に記載のカラー撮像装置。
【請求項7】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタが所定のカラーフィルタ配列で配置されてなり、
前記加重平均算出部により算出された前記Rフィルタ、Gフィルタ及びBフィルタに対応するR、G、B画素の画素値の色毎の加重平均値を、それぞれRf、Gf、Bfとすると、
前記同時化処理部は、
前記同時化処理の対象画素がG画素であり、その画素値がGの場合、前記対象画素の位置におけるR、B画素の画素値R,Bを、次式、
R=G+(Rf−Gf),B=G+(Bf−Gf)
により算出し、前記同時化処理の対象画素がR画素であり、その画素値がRの場合、前記対象画素の位置におけるG、B画素の画素値G,Bを、次式、
G=R+(Gf−Rf),B=R+(Bf−Rf)
により算出し、前記同時化処理の対象画素がB画素であり、その画素値がBの場合、前記対象画素の位置におけるG、R画素の画素値G,Rを、次式、
G=B+(Gf−Bf),R=B+(Rf−Bf)
により算出する請求項1から5のいずれか1項に記載のカラー撮像装置。
【請求項8】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタが所定のカラーフィルタ配列で配置されてなり、
前記フィルタ配列は、3×3画素に対応する第1の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置され、左右にRフィルタが配列された第1の配列と、3×3画素に対応する第2の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置され、左右にBフィルタが配列された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成され、
前記加重平均フィルタは、9×9のカーネルサイズを有し、
前記制御部は、前記加重平均フィルタを前記第1の配列又は第2の配列が中心になるように順次移動させながら前記加重平均算出部及び同時化処理部を繰り返し動作させる請求項1から7のいずれか1項に記載のカラー撮像装置。
【請求項1】
水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されたカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子と、
前記カラー撮像素子からモザイク画像を取得する画像取得部と、
所定のフィルタ係数を有する加重平均フィルタであって、該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の色と前記フィルタ係数との関係が、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるように設定された加重平均フィルタと、
前記加重平均フィルタのフィルタ係数と該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の画素値とに基づいて色毎の加重平均値を算出する加重平均算出部と、
前記加重平均フィルタの中央部の同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記対象画素の色と他の色との前記算出した加重平均値の色比又は色差に基づいて、前記対象画素の画素値を補間して前記他の色の画素値を算出する同時化処理部と、
前記加重平均フィルタに対応して前記モザイク画像から抽出する局所領域を、前記同時化処理の対象画素単位毎に移動させながら前記加重平均算出部及び同時化処理部を繰り返し動作させる制御部と、
を備えたカラー撮像装置。
【請求項2】
前記カラー撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
前記第1のフィルタに対応する第1の色の画素数と、前記第2のフィルタに対応する第2の色の各色の画素数との比率が異なる請求項1に記載のカラー撮像装置。
【請求項3】
前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きい請求項2に記載のカラー撮像装置。
【請求項4】
前記加重平均フィルタは、中央部のフィルタ係数が大きくなるように重み付けされているフィルタである請求項1から3のいずれか1項に記載のカラー撮像装置。
【請求項5】
前記加重平均フィルタは、左右対称、上下対称及び点対称となるフィルタ係数を有する請求項1から4のいずれか1項に記載のカラー撮像装置。
【請求項6】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタが所定のカラーフィルタ配列で配置されてなり、
前記加重平均算出部により算出された前記Rフィルタ、Gフィルタ及びBフィルタに対応するR、G、B画素の画素値の色毎の加重平均値を、それぞれRf、Gf、Bfとすると、
前記同時化処理部は、
前記同時化処理の対象画素がG画素であり、その画素値がGの場合、前記対象画素の位置におけるR、B画素の画素値R,Bを、次式、
R=G×(Rf/Gf),B=G×(Bf/Gf)
により算出し、前記同時化処理の対象画素がR画素であり、その画素値がRの場合、前記対象画素の位置におけるG、B画素の画素値G,Bを、次式、
G=R×(Gf/Rf),B=R×(Bf/Rf)
により算出し、前記同時化処理の対象画素がB画素であり、その画素値がBの場合、前記対象画素の位置におけるG、R画素の画素値G,Rを、次式、
G=B×(Gf/Bf),R=B×(Rf/Bf)
により算出する請求項1から5のいずれか1項に記載のカラー撮像装置。
【請求項7】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタが所定のカラーフィルタ配列で配置されてなり、
前記加重平均算出部により算出された前記Rフィルタ、Gフィルタ及びBフィルタに対応するR、G、B画素の画素値の色毎の加重平均値を、それぞれRf、Gf、Bfとすると、
前記同時化処理部は、
前記同時化処理の対象画素がG画素であり、その画素値がGの場合、前記対象画素の位置におけるR、B画素の画素値R,Bを、次式、
R=G+(Rf−Gf),B=G+(Bf−Gf)
により算出し、前記同時化処理の対象画素がR画素であり、その画素値がRの場合、前記対象画素の位置におけるG、B画素の画素値G,Bを、次式、
G=R+(Gf−Rf),B=R+(Bf−Rf)
により算出し、前記同時化処理の対象画素がB画素であり、その画素値がBの場合、前記対象画素の位置におけるG、R画素の画素値G,Rを、次式、
G=B+(Gf−Bf),R=B+(Rf−Bf)
により算出する請求項1から5のいずれか1項に記載のカラー撮像装置。
【請求項8】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタが所定のカラーフィルタ配列で配置されてなり、
前記フィルタ配列は、3×3画素に対応する第1の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置され、左右にRフィルタが配列された第1の配列と、3×3画素に対応する第2の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置され、左右にBフィルタが配列された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成され、
前記加重平均フィルタは、9×9のカーネルサイズを有し、
前記制御部は、前記加重平均フィルタを前記第1の配列又は第2の配列が中心になるように順次移動させながら前記加重平均算出部及び同時化処理部を繰り返し動作させる請求項1から7のいずれか1項に記載のカラー撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【公開番号】特開2013−48409(P2013−48409A)
【公開日】平成25年3月7日(2013.3.7)
【国際特許分類】
【出願番号】特願2012−165733(P2012−165733)
【出願日】平成24年7月26日(2012.7.26)
【分割の表示】特願2012−524426(P2012−524426)の分割
【原出願日】平成23年7月29日(2011.7.29)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成25年3月7日(2013.3.7)
【国際特許分類】
【出願日】平成24年7月26日(2012.7.26)
【分割の表示】特願2012−524426(P2012−524426)の分割
【原出願日】平成23年7月29日(2011.7.29)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]