カラー撮像装置
【課題】高周波部の偽色の発生を簡単な画像処理で抑圧する。
【解決手段】RGBの各色に対応するRGBフィルタが周期的に配置され、かつ輝度信号を得るために最も寄与するGフィルタが、水平、垂直、及び斜め(NE,NW)方向(4方向)にそれぞれ2以上隣接する部分を含むカラーフィルタ配列を有するカラー撮像素子を使用する。そして、各方向に隣接するG画素の画素値に基づいて輝度の相関方向が前記4方向のうちのいずれの方向にあるかを、最小画素間隔で判別する。モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして方向判別した相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定する。
【解決手段】RGBの各色に対応するRGBフィルタが周期的に配置され、かつ輝度信号を得るために最も寄与するGフィルタが、水平、垂直、及び斜め(NE,NW)方向(4方向)にそれぞれ2以上隣接する部分を含むカラーフィルタ配列を有するカラー撮像素子を使用する。そして、各方向に隣接するG画素の画素値に基づいて輝度の相関方向が前記4方向のうちのいずれの方向にあるかを、最小画素間隔で判別する。モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして方向判別した相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はカラー撮像装置に係り、特に色モワレの発生を抑圧することができるカラー撮像装置に関する。
【背景技術】
【0002】
単板式のカラー撮像素子を有するカラー撮像装置では、カラー撮像素子からの出力画像がRAW画像(モザイク画像)であるため、欠落している色の画素を、周囲の画素から補間する処理(同時化処理)により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性である。
【0003】
単板式のカラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き(色モアレ)が発生するという問題がある。
【0004】
例えば、図14の(A)に示すような斜めの白黒の高周波画像が、図14の(B)に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図14の(C)から(E)に示すようにRとBは薄い平坦、Gは濃い平坦の色画像となり、仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
【0005】
一般に単板式のカラー撮像素子を使用するカラー撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
【0006】
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む3色と該着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献1)。
【0007】
また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の所定の周期で交互に配置されているとともに、他方の対角方向に第2の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている(特許文献2)。
【0008】
一方、特許文献3には、ベイヤー配列のモザイク画像の注目画素の周辺画素を用いて、水平、垂直、及び斜め(NE,NW)方向(4方向)における相関度を求め、求めた相関度の比率に応じた重み付けを行って画素補間を行う技術が記載されている。
【0009】
また、RGBの3原色のうちのR,Bを水平方向及び垂直方向にそれぞれ3画素おきに配置し、これらのR,Bの間にGを配置したカラー撮像素子を備えた撮像装置が提案されている(特許文献4)。特許文献4に記載のカラー撮像素子は、輝度信号に対して色差信号の解像度は低くてもよいという理由により、輝度信号を得るために最も寄与するG画素がRB画素に比べて非常に多く配置されており、これにより水平及び垂直方向の解像度を上げることができるようにしている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2000−308080号公報
【特許文献2】特開2005−136766号公報
【特許文献3】特開2010−104019号公報
【特許文献4】特開平8−23543号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
特許文献1に記載の3色ランダム配列は、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
【0012】
特許文献2に記載の画像センサのカラーフィルタ配列は、R、G、Bフィルタがカラーフィルタ配列の水平方向及び垂直方向の各ライン内に周期的に配置されているが、特許文献2に記載の発明は、上記カラーフィルタ配列を有する画像センサから出力されるモザイク画像を同時化処理する際に、注目画素を中心に所定の画像サイズの局所領域を抽出し、局所領域内の注目画素の色の色分布形状、及び推定しようとする他の色の色分布形状に関する統計量を算出し、注目画素位置の色の強度と色分布形状の統計量とに基づいて色分布形状を線形回帰することにより注目画素位置の他の色の推定値を算出するようにしている。この特許文献2に記載の発明は、色分布形状に関する統計量(共分散値)の演算や回帰演算処理を行う必要があり、画像処理が複雑になるという問題がある。
【0013】
一方、特許文献3に記載の画素補間方法は、ベイヤー配列のモザイク画像に適用されるものであるが、ベイヤー配列の場合、G画素は、水平及び垂直方向に連続していないため、最小画素間隔で水平及び垂直方向における相関度を求めることができず、例えば、縦縞や横縞の高周波を入力した場合に相関度を誤判定し、画素補間を精度よく行うことができないという問題がある。
【0014】
また、特許文献4に記載のカラー撮像素子は、RBの画素に対してGの画素の比率がベイヤー配列よりも高くなっており、水平及び垂直方向の解像度を上げることができるように構成されているが、特許文献4に記載の撮像装置は、このカラー撮像素子から出力されるRGB信号を補間フィルタにより一律に同時化しているため、偽色が発生しやすいという問題がある。
【0015】
本発明はこのような事情に鑑みてなされたもので、高周波部の偽色の発生を簡単な画像処理で抑圧することができるカラー撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0016】
前記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが周期的に配置され、かつ前記第1のフィルタは、水平、垂直、及び斜め(NE,NW)方向に2以上隣接する部分を含むカラー撮像素子と、前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第1のフィルタに対応する画素であって、前記水平、垂直、及び斜め(NE,NW)方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、及び斜め(NE,NW)方向のうちのいずれの方向かを判別する方向判別部と、前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、前記モザイク画像から抽出する同時化処理の対象画素を前記同時化処理の対象画素単位毎に移動させながら前記方向判別部及び同時化処理部を繰り返し動作させる制御部とを備えている。
【0017】
前記カラー撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第1のフィルタが、水平、垂直、及び斜め(NE,NW)方向(4方向)に、それぞれ2以上隣接する部分を含んでいるため、各方向に隣接する画素の画素値に基づいて輝度の相関方向が前記4方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。そして、モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして方向判別した相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定することができ、高周波部の偽色の発生を抑圧することができる。
【0018】
本発明の他の態様に係るカラー撮像装置において、前記カラー撮像素子の所定のカラーフィルタ配列は、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、前記第1のフィルタ及び第2のフィルタは、それぞれ前記基本配列パターン内において水平及び垂直方向の各ライン内に1つ以上配置されている。前記第1のフィルタ及び第2のフィルタは、それぞれ前記基本配列パターン内に水平及び垂直方向の各ライン内に1つ以上配置されているため、水平及び垂直方向の色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。また、このカラーフィルタ配列は、前記基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段での同時化(補間)処理を行う際に、繰り返しパターンにしたがって処理を行うことができる。
【0019】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタ配列は、前記第1のフィルタが3×3画素群において中心と4隅に配置され、該3×3画素群が水平方向及び垂直方向に繰り返し配置されていることが好ましい。前記3×3画素群の4隅に前記第1のフィルタが配置されているため、該3×3画素群が水平方向及び垂直方向に繰り返し配置されると、前記カラーフィルタ配列は、前記第1のフィルタからなる2×2画素に対応する正方配列を含むようになり、この2×2画素の画素値を使用して、水平、垂直、及び斜め(NE,NW)方向のうちの相関の高い方向を判別することができる。
【0020】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタ配列は、前記第1のフィルタが3×3画素群において中心のフィルタを挟んで上下左右に配置され、該3×3画素群が水平方向及び垂直方向に繰り返し配置されていることが好ましい。前記3×3画素群の中心のフィルタを挟んで上下左右に前記第1のフィルタが配置されているため、該3×3画素群が水平方向及び垂直方向に繰り返し配置されると、前記カラーフィルタ配列は、前記3×3画素群の中心のフィルタを挟んで前記第1のフィルタが、水平及び垂直方向にそれぞれ2画素ずつ隣接することになる。これらの第1のフィルタに対応する画素(合計8画素)の画素値は、4方向の相関方向の判別に使用することができる。
【0021】
本発明の更に他の態様に係るカラー撮像装置において、前記方向判別部は、前記水平、垂直、及び斜め(NE,NW)方向の各方向別に、隣接する画素の画素値の差分絶対値を算出し、各方向別の差分絶対値のうち最小となる方向を相関方向として判別するようにしている。
【0022】
本発明の更に他の態様に係るカラー撮像装置において、前記方向判別部は、前記水平、垂直、及び斜め(NE,NW)方向の各方向別に、隣接する画素の画素値の比を算出し、各方向別の比のうち最も1に近い方向を相関方向として判別するようにしている。
【0023】
尚、上記各方向別に差分絶対値、又は比を複数算出し、各方向別に複数の差分絶対値の総和又は平均値、又は比の平均値を算出するようにしてもよく、この場合には、より精度よく相関方向を判別することができる。
【0024】
本発明の更に他の態様に係るカラー撮像装置において、前記同時化処理部は、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を、そのまま前記対象画素の画素位置における他の色の画素値とし、又は前記方向判別部により判別された相関方向に存在する複数の他の色の画素の画素値を補間した値を、前記対象画素の画素位置における他の色の画素値としている。
【0025】
本発明の更に他の態様に係るカラー撮像装置において、前記同時化処理部は、前記方向判別部により判別された相関方向に前記他の色の画素が存在しない場合には、前記対象画素の近傍の前記他の色の画素の画素位置における色差又は色比により、前記対象画素の画素値を補間して前記他の色の画素値を算出している。尚、前記他の色の画素の画素位置における色差又は色比は、その画素位置における画素の画素値と、既に相関方向の方向判別により推定した他の色の画素値との差(色差)、又は比(色比)である。
【0026】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、前記同時化処理部は、前記同時化処理の対象画素がG画素、その画素値がGであり、前記方向判別部により判別された相関方向にR、又はB画素が存在しない場合、前記G画素の近傍のR、B画素の画素値をR,B、これらの画素の画素位置におけるGの画素値をGR、GBとすると、前記対象画素の位置におけるR、B画素の画素値RG,BGを、次式、
RG=G+(R−GR),BG=G+(B−GB)
により算出し、前記同時化処理の対象画素がR画素、その画素値がRであり、前記方向判別部により判別された相関方向にG、又はB画素が存在しない場合、前記R画素の近傍のG、B画素の画素値をG,B、これらの画素の画素位置におけるRの画素値をRG、RBとすると、前記対象画素の位置におけるG、B画素の画素値GR,BRを、次式、
GR=R+(G−RG),BR=R+(B−RB)
により算出し、前記同時化処理の対象画素がB画素、その画素値がBであり、前記方向判別部により判別された相関方向にG、又はR画素が存在しない場合、前記B画素の近傍のG、R画素の画素値をG,R、これらの画素の画素位置におけるBの画素値をBG、BRとすると、前記対象画素の位置におけるG、R画素の画素値GB,RBを、次式、
GB=B+(G−BG),RB=B+(R−BR)
により算出している。
【0027】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、前記同時化処理部は、前記同時化処理の対象画素がG画素、その画素値がGであり、前記方向判別部により判別された相関方向にR、又はB画素が存在しない場合、前記G画素の近傍のR、B画素の画素値をR,B、これらの画素の画素位置におけるGの画素値をGR、GBとすると、前記対象画素の位置におけるR、B画素の画素値RG,BGを、次式、
RG=G×(R/GR),BG=G×(B/GB)
により算出し、前記同時化処理の対象画素がR画素、その画素値がRであり、前記方向判別部により判別された相関方向にG、又はB画素が存在しない場合、前記R画素の近傍のG、B画素の画素値をG,B、これらの画素の画素位置におけるRの画素値をRG、RBとすると、前記対象画素の位置におけるG、B画素の画素値GR,BRを、次式、
GR=R×(G/RG),BR=R×(B/RB)
により算出し、前記同時化処理の対象画素がB画素、その画素値がBであり、前記方向判別部により判別された相関方向にG、又はR画素が存在しない場合、前記B画素の近傍のG、R画素の画素値をG,R、これらの画素の画素位置におけるBの画素値をBG、BRとすると、前記対象画素の位置におけるG、R画素の画素値GB,RBを、次式、
GB=B×(G/BG),RB=B×(R/BR)
により算出している。
【0028】
本発明の更に他の態様に係るカラー撮像装置において、前記方向判別部は、前記水平、垂直、及び斜め(NE,NW)方向に隣接する画素の画素値の差分値がそれぞれ等しい場合には相関方向がないと判別し、前記同時化処理部は、前記方向判別部により相関方向がないと判別されると、同時化処理の対象画素の画素位置における他の色の画素値を、該画素位置の近傍に存在する他の色の画素の画素値を使用して算出している。
【0029】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、前記フィルタ配列は、3×3画素に対応する第1の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置され、左右にRフィルタが配列された第1の配列と、3×3画素に対応する第2の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置され、左右にBフィルタが配列された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。
【0030】
上記構成のカラーフィルタ配列によれば、前記第1の配列又は第2の配列を中心に5×5画素(モザイク画像の局所領域)を抽出した場合、前記5×5画素の4隅に2×2画素のG画素が存在することになる。これらの2×2画素のG画素の画素値は、4方向の相関方向の判別に使用することができる。
【0031】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、前記フィルタ配列は、3×3画素に対応する第1の配列であって、中心にRフィルタが配置され、4隅にBフィルタが配置され、中心のRフィルタを挟んで上下左右にGフィルタが配置された第1の配列と、3×3画素に対応する第2の配列であって、中心にBフィルタが配置され、4隅にRフィルタが配置され、中心のBフィルタを挟んで上下左右にGフィルタが配置された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。
【0032】
上記構成のカラーフィルタ配列によれば、前記第1の配列又は第2の配列を中心に5×5画素(モザイク画像の局所領域)を抽出した場合、前記5×5画素の中心の画素(R画素又はB画素)を挟んで、水平及び垂直方向にそれぞれ隣接するG画素が存在することになる。これらのG画素(合計8画素)の画素値は、4方向の相関方向の判別に使用することができる。
【発明の効果】
【0033】
本発明によれば、輝度信号を得るために最も寄与する第1のフィルタが、水平、垂直、及び斜め(NE,NW)方向(4方向)にそれぞれ2以上隣接する部分を含むカラーフィルタを有するカラー撮像素子であって、前記第1のフィルタと第1の色以外の2色以上の第2の色に対応する第2のフィルタとが水平方向及び垂直方向の各ライン内に周期的に配置されたカラー撮像素子を使用し、各方向に隣接する画素の画素値の差分値に基づいて輝度の相関方向を判別するようにしたため、最小画素間隔の画素値を使用して相関方向を判別することができる。そして、モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして方向判別した相関方向に存在する他の色の画素の画素値を使用して、対象画素の画素位置における他の色の画素値を算出するようにしたため、他の色の画素の画素値を精度よく推定することができ、高周波部の偽色の発生を抑圧することができる。
【図面の簡単な説明】
【0034】
【図1】図1は本発明に係るカラー撮像装置の実施形態を示すブロック図であり;
【図2】図2は第1の実施形態のカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列を示す図であり;
【図3】図3は第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図であり;
【図4】図4は第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる6×6画素の基本配列パターンを3×3画素のA配列とB配列に分割した様子を示す図であり;
【図5】図5は第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる6×6画素の基本配列パターンを3×3画素のA配列とB配列に分割し、これらを配置した様子を示す図であり;
【図6】図6は輝度の相関方向の判別方法と同時化処理時の画素補間方法を説明するために用いた図であり;
【図7A】図7Aは斜めの高周波画像がカラー撮像素子に入射した場合を示す図であり;
【図7B】図7Bは斜めの高周波画像がカラー撮像素子に入射した場合の相関方向の判定方法を説明するために用いた図であり;
【図8】図8は本発明に適用されるカラー撮像素子の第2の実施形態を示す図であり;
【図9】図9は本発明に適用されるカラー撮像素子の第3の実施形態を示す図であり;
【図10】図10は本発明に適用されるカラー撮像素子の第4の実施形態を示す図であり;
【図11】図11は本発明に適用されるカラー撮像素子の第5の実施形態を示す図であり;
【図12】図12は本発明に適用されるカラー撮像素子の第6の実施形態を示す図であり;
【図13】図13は本発明に適用されるカラー撮像素子の第7の実施形態を示す図であり;
【図14】図14は従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。
【発明を実施するための形態】
【0035】
以下、添付図面に従って本発明に係るカラー撮像装置の好ましい実施の形態について詳説する。
【0036】
[カラー撮像装置の全体構成]
図1は本発明に係るカラー撮像装置の実施形態を示すブロック図である。
【0037】
撮影光学系10により被写体が撮像され、被写体像を示す光像がカラー撮像素子12(第1の実施形態のカラー撮像素子)の受光面上に結像される。
【0038】
このカラー撮像素子12は、水平方向及び垂直方向に配列(二次元配列)された光電変換素子からなる複数の画素(図示せず)と、各画素の受光面上に配置された所定のカラーフィルタ配列のカラーフィルタとから構成された単板式のカラー撮像素子である。尚、カラー撮像素子12のカラーフィルタ配列は、赤(R)、緑(G)、青(B)の全ての色のフィルタが、水平及び垂直方向の各ライン内に周期的に配置され、また、輝度信号を得るために最も寄与するGに対応するGフィルタが、水平、垂直、及び斜め(NE,NW)方向に2以上隣接する部分を含むことを特徴とするものである。カラー撮像素子12の詳細については、後述する。
【0039】
カラー撮像素子12に結像された被写体像は、光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部20の指令に従って駆動部18から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)としてカラー撮像素子12から順次読み出される。カラー撮像素子12から読み出される画像信号は、カラー撮像素子12のカラーフィルタ配列に対応したR、G、Bのモザイク画像を示すR、G、B信号である。尚、カラー撮像素子12は、CCD(Charge Coupled Device)カラー撮像素子に限らず、CMOS(Complementary Metal Oxide Semiconductor)撮像素子などの他の種類の撮像素子であってもよい。
【0040】
カラー撮像素子12から読み出された画像信号は、撮像処理部14に入力する。撮像処理部14は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路(CDS)、画像信号を増幅し、一定レベルの大きさにコントロールするためのAGC(Automatic Gain Control)回路、及びA/D変換器を含み、入力する画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるRAWデータを画像処理部16に出力する。
【0041】
画像処理部16は、ホワイトバランス補正回路、ガンマ補正回路、本発明に係る同時化処理回路(単板式のカラー撮像素子12のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理回路)、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を含み、制御部20からの指令に従い、撮像処理部14から入力したモザイク画像のRAWデータに所要の信号処理を施して、輝度データ(Yデータ)と色差データ(Cr,Cbデータ)とからなる画像データ(YUVデータ)を生成する。
【0042】
画像処理部16で生成された画像データは、圧縮/伸張処理回路により静止画に対しては、JPEG(joint photographic experts group)規格に準拠した圧縮処理が施され、動画に対してはMPEG2(moving picture experts group)規格に準拠した圧縮処理が施された後、記録メディア(メモリカード)に記録され、また、液晶モニタ等の表示装置(図示せず)に出力されて表示される。
【0043】
尚、画像処理部16の中の本発明に係る同時化処理回路による処理内容の詳細については後述する。
【0044】
<カラーフィルタ配列の特徴>
カラー撮像素子12のカラーフィルタ配列は、下記の特徴(1)、(2)及び(3)を有している。
【0045】
〔特徴(1)〕
図2はカラー撮像素子12に設けられているカラーフィルタのカラーフィルタ配列を示す図である。図2に示すように、カラー撮像素子12のカラーフィルタ配列は、6×6画素に対応する正方配列パターンからなる基本配列パターンP(太枠で示したパターン)を含み、この基本配列パターンPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0046】
このようにRフィルタ、Gフィルタ、Bフィルタが所定の周期性をもって配列されているため、カラー撮像素子12から読み出されるR、G、B信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことができる。
【0047】
〔特徴(2)〕
図2に示すカラーフィルタ配列は、R、G、Bの全ての色のフィルタが、基本配列パターンP内の水平方向及び垂直方向の各ライン内に配置されている。これにより、後述するように、同時化処理時に相関方向が水平方向又は垂直方向と判別されると、水平方向又は垂直方向に存在する他の色の画素の画素値を使用して補間することができるため、色モワレ(偽色)の発生を抑圧することができる。また、上記のようにして偽色の発生を抑制することができるため、光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
【0048】
図3は、図2に示した基本配列パターンPを、3×3画素に4分割した状態に関して示している。
【0049】
図3に示すように基本配列パターンPは、実線の枠で囲んだ3×3画素のA配列と、破線の枠で囲んだ3×3画素のB配列とが、図4に示すように水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
【0050】
A配列及びB配列は、それぞれ輝度系画素であるGフィルタが4隅と中央に配置され、両対角線上に配置されている。また、A配列は、中央のGフィルタを挟んでRフィルタが水平方向に配列され、Bフィルタが垂直方向に配列され、一方、B配列は、中央のGフィルタを挟んでBフィルタが水平方向に配列され、Rフィルタが垂直方向に配列されている。即ち、A配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
【0051】
〔特徴(3)〕
図2に示すカラーフィルタ配列の基本配列パターンPは、Gフィルタが、水平、垂直、及び斜め(NE,NW)方向に2以上隣接する部分を含んでいる。この基本配列パターンPが水平方向及び垂直方向に配列されたカラーフィルタ配列は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。
【0052】
これは、図3に示すように輝度系画素であるGフィルタが、A配列またはB配列における3×3画素において4隅と中央に配置され、この3×3画素が水平方向、垂直方向に交互に配置されることで2×2画素に対応する正方配列のGフィルタが形成されるためである。これらのGフィルタからなる2×2画素の画素値は、水平方向、垂直方向、及び斜め方向(NE,NW)方向の輝度の相関方向の算出(方向判別)に使用することができる。
【0053】
[画像処理部16の同時化処理回路]
次に、画像処理部16の同時化処理回路の処理内容について説明する。
【0054】
図5に示すように、カラー撮像素子12から出力されるモザイク画像からGフィルタに対応する2×2画素のG画素を取り出し、各G画素の画素値を、左上から右下の順にG1、G2、G3、G4とした場合、同時化処理回路に含まれる方向判別回路は、各方向別の差分絶対値を算出する。
【0055】
即ち、垂直方向の差分絶対値は(|G1−G3|+|G2−G4|)/2、水平方向の差分絶対値は(|G1−G2|+|G3−G4|)/2、右上斜め方向の差分絶対値は|G2−G3|、左上斜め方向の差分絶対値は|G1−G4|となる。
【0056】
方向判別回路は、これらの4つの相関絶対値のうち最小となる差分絶対値をとる方向に相関(相関方向)があると判別する。
【0057】
いま、図6に示すように中央に3×3画素のA配列(図3参照)が位置するように、モザイク画像から5×5画素の局所領域を抽出した場合、4隅に2×2画素のG画素が配置されることになる。したがって、上記局所領域内のA配列の3×3画素を同時化処理の対象画素とした場合、4隅の各方向別の相関絶対値の総和(又は平均値)を求め、各方向別の相関絶対値の総和(又は平均値)のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。
【0058】
また、図7Aに示すようなパターンの入力があった場合(黒が0、白が255)、図7Bに示す4隅の2×2画素のG画素の画素値の垂直方向の差分絶対値の総和は、|0−255|×8=2040となり、水平方向の差分絶対値の総和も、|0−255|×8=2040になる。一方、右上斜め方向の差分絶対値の総和は、|255−255|×2+|0−0|×2=0となり、左上斜め方向の差分絶対値の総和は、|0−0|×2+|255−255|×2=0となる。したがって、差分絶対値の総和が最小になる方向は、右上斜め方向と左上斜め方向の2方向となるが、図7Aのパターンの場合は、斜めの最大周波数の入力であるため、斜め方向のどちらを採用しても問題はない。
【0059】
上記のように互いに隣接する2×2画素のG画素から相関方向を判別するため、最小画素間隔で相関方向を判別することができる。即ち、高周波の影響を受けずに精度よく相関方向を判別することができる。
【0060】
尚、上記の実施の形態では、隣接するG画素の画素値の差分値に基づいて輝度の変化が最も小さい方向(相関の高い相関方向)を判別するようにしたが、これに限らず、隣接するG画素の画素値の比に基づいて輝度の変化が最も小さい方向を判別するようにしてもよい。隣接するG画素の画素値の比に基づいて輝度の変化を判別する場合、その比(4つの方向別に複数の比を求める場合には、その比の平均値)が、最も1に近い方向を輝度の変化の小さい方向として判別する。
【0061】
次に、画像処理部16の同時化処理回路によりRGBのモザイク画像を同時化処理する方法について説明する。
【0062】
同時化処理の対象画素における相関方向が判別されると、同時化処理回路は、同時化処理の対象画素の画素位置における、他の色の画素値を算出する際に、前記判別された相関方向に存在する他の色の画素の画素値を使用する。
【0063】
図4に示すように、水平方向及び垂直方向にはR画素、G画素、B画素の全ての色の画素が存在するため、水平方向又は垂直方向に相関方向があると判別されると、水平方向又は垂直方向に存在する、対象画素の近傍の他の色の画素の画素値を取得する。そして、取得した1画素の画素値、又は複数の画素の画素値の補間した値を、対象画素の画素位置における他の色の画素値とする。
【0064】
例えば、相関方向が水平方向と判別された場合、図6において、G22の画素の画素位置におけるRの画素値は、R12又はR32の画素値をそのまま画素値とする、または、R12及びR32の画素値から補間することにより決定する。
【0065】
同様に、G22の画素の画素位置におけるBの画素値は、B02又はB42の画素値をそのまま画素値とする、または、B02及びB42の画素値から補間することにより決定する。
【0066】
また、B02の画素の画素位置におけるRの画素値は、R12の画素値をそのまま画素値とする、または、R12及びR32の画素値から補間することにより決定する。
【0067】
更に、B02の画素の画素位置におけるGの画素値は、G22の画素値をそのまま画素値とする、または、隣接するB配列の同じ水平位置にあるG画素の画素値とG22の画素値から補間することにより決定する。
【0068】
尚、相関方向が垂直方向と判別された場合も、上記と同様に垂直方向に存在する他の色の画素値を使用することができる。
【0069】
また、第1の実施形態のカラー撮像素子12のカラーフィルタ配列は、3×3画素のA配列のG画素を中心とする斜め方向(対角方向)には、G画素しか存在しないため、相関方向がG画素の連続する斜め方向と判別されると、Gの画素値が算出されている近傍のR,B画素の画素値の色差により、対象画素の画素値を補間して他の色の画素値を算出する。
【0070】
図6に示すように、方向判別結果により左斜め上に相関方向があると判別された場合、G11の画素の補間方向には、R,B画素が存在しない。そこで、G11の画素の近傍のR12,B21の画素の画素値R12,R21と、これらの画素の画素位置におけるGの画素値G12’,G21’の色差を用いてG11の画素値G11を補間し、G11の画素の画素位置におけるR,Gの画素値R11’,B11’を算出する。
【0071】
具体的には、以下の式で補間を行う。
【0072】
R11’=G11+(R12−G12’) …(a)
B11’=G11+(B21−G21’) …(b)
上記式(a)及び(b)において、G12’=G01,G21’=G10である。即ち、画素値G12’,G21’は、左斜め方向の方向判別により推定したR12,B21の画素の画素位置におけるGの画素値である。
【0073】
同様に、G22の画素の画素位置のR,B画素の画素値R22’,B22’は、その近傍のR12,R32の画素と、B21,B23の画素の各画素位置の色差を用いて、G22の画素値G22を補間し、G22の画素の画素位置におけるR,Gの画素値R22’,B22’を算出する。
【0074】
具体的には、以下の式で補間を行う。
【0075】
R22’=G22+{(R12+R32)/2−(G12’+G32’)/2} …(c)
B22’=G22+{(B21+B23)/2−(G21’+G23’)/2} …(d)
尚、G32’=G43,G23’=G34である。
【0076】
上記のようにして3×3画素(A配列)の全ての画素の同時化処理が終了すると、隣接する3×3画素(B配列)の対象画素に対して、上記と同じ処理(方向判別と同時化処理)を行い、これを3×3画素単位で移動させながら繰り返す。
【0077】
前述したように、カラー撮像素子12のカラーフィルタ配列の場合、同時化処理の対象画素がG画素で、この画素位置におけるR,Bの画素値を算出する際に、斜め方向にG画素しか存在しないものがあるが、カラーフィルタ配列によっては、同時化処理の対象画素がR画素で、この画素位置におけるG,Bの画素値を算出する際に、斜め方向にG画素,又はB画素が存在しない場合や、同時化処理の対象画素がB画素で、この画素位置におけるG,Rの画素値を算出する際に、斜め方向にG画素,又はR画素が存在しない場合が考えられる。
【0078】
この場合にも、上記式(a)〜(d)と同様にして、RGBの画素値が算出された近傍の画素の画素値の色差により、対象画素の画素値を補間して他の色の画素値を算出することができる。
【0079】
近傍の画素の色差により対象画素の画素値を補間して他の色の画素値を算出する方法をまとめると、下記のようになる。
【0080】
同時化処理の対象画素がG画素、その画素値がGであり、方向判別回路により判別された相関方向にR、又はB画素が存在しない場合、前記G画素の近傍のR、B画素の画素値をR,B、これらの画素の画素位置におけるGの画素値をGR、GBとすると、前記対象画素の位置におけるR、B画素の画素値RG,BGを、次式により算出する。
【0081】
RG=G+(R−GR),BG=G+(B−GB) …(1)
この式(1)は、前述した式(a),(b)に相当するものである。
【0082】
同様に、同時化処理の対象画素がR画素、その画素値がRであり、方向判別回路により判別された相関方向にG、又はB画素が存在しない場合、前記R画素の近傍のG、B画素の画素値をG,B、これらの画素の画素位置におけるRの画素値をRG、RBとすると、前記対象画素の位置におけるG、B画素の画素値GR,BRを、次式により算出する。
【0083】
GR=R+(G−RG),BR=R+(B−RB) …(2)
また、同時化処理の対象画素がB画素、その画素値がBであり、方向判別回路により判別された相関方向にG、又はR画素が存在しない場合、前記B画素の近傍のG、R画素の画素値をG,R、これらの画素の画素位置におけるBの画素値をBG、BRとすると、前記対象画素の位置におけるG、R画素の画素値GB,RBを、次式により算出する。
【0084】
GB=B+(G−BG),RB=B+(R−BR) …(3)
尚、上記式(1)〜(6)に限らず、同時化処理の対象画素の近傍に、補間して求めようとする色と同じ色の画素が複数存在する場合には、式(c)〜(d)と同様に、複数の画素の平均の色差を使用して補間してもよい。
【0085】
また、上記の実施形態では、同時化処理の対象画素に対し、判別された相関方向に他の色の画素が存在しない場合には、近傍の他の色の画素の色差により対象画素の画素値を補間して他の色の画素値を算出するようにしたが、これに限らず、近傍の他の色の画素の色比により対象画素の画素値を補間して他の色の画素値を算出するようにしてもよい。
【0086】
近傍の画素の色比により、対象画素の画素値を補間して他の色の画素値を算出する方法の具体例を下記に示す。
【0087】
同時化処理の対象画素がG画素、その画素値がGであり、方向判別回路により判別された相関方向にR、又はB画素が存在しない場合、前記G画素の近傍のR、B画素の画素値をR,B、これらの画素の画素位置におけるGの画素値をGR、GBとすると、前記対象画素の位置におけるR、B画素の画素値RG,BGを、次式により算出する。
【0088】
RG=G×(R/GR),BG=G×(B/GB) …(4)
同様に、同時化処理の対象画素がR画素、その画素値がRであり、方向判別回路により判別された相関方向にG、又はB画素が存在しない場合、前記R画素の近傍のG、B画素の画素値をG,B、これらの画素の画素位置におけるRの画素値をRG、RBとすると、前記対象画素の位置におけるG、B画素の画素値GR,BRを、次式により算出する。
【0089】
GR=R×(G/RG),BR=R×(B/RB) …(5)
また、同時化処理の対象画素がB画素、その画素値がBであり、方向判別回路により判別された相関方向にG、又はR画素が存在しない場合、前記B画素の近傍のG、R画素の画素値をG,R、これらの画素の画素位置におけるBの画素値をBG、BRとすると、前記対象画素の位置におけるG、R画素の画素値GB,RBを、次式により算出する。
【0090】
GB=B×(G/BG),RB=B×(R/BR) …(6)
一方、本発明は、水平方向及び垂直方向の各ライン内にR,G,B画素が周期的に配置されるカラー撮像素子を前提とするが、斜め(NE,NW)方向にもR,G,B画素が周期的に配置されるカラー撮像素子を使用する場合には、上記式(1)〜(6)等により他の色の画素値を補間算出する必要はない。
【0091】
また、水平、垂直、及び斜め(NE,NW)方向に隣接するG画素の画素値の差分絶対値がそれぞれ等しい場合(差分絶対値が全ての方向で0の場合、又はほぼ0の場合)には、方向判別回路は相関方向がないと判別する。この場合、同時化処理の対象画素の画素位置における他の色の画素値は、その画素位置の近傍に存在する他の色の画素の画素値を使用する。
【0092】
[カラー撮像素子の第2の実施形態]
図8は本発明に適用されるカラー撮像素子の第2の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【0093】
図8に示すように、このカラー撮像素子のカラーフィルタ配列は、6×6画素に対応する正方配列パターンからなる基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0094】
また、図8に示すカラーフィルタ配列は、R、G、Bの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
【0095】
また、図8に示すように基本配列パターンを、3×3画素に4分割すると、実線の枠で囲んだ3×3画素のA配列と、破線の枠で囲んだ3×3画素のB配列とが、水平、垂直方向に交互に並べられたカラーフィルタ配列となっていると捉えることもできる。
【0096】
A配列は、3×3画素の中心にRフィルタが配置され、4隅にBフィルタが配置され、中心のRフィルタを挟んで上下左右にGフィルタが配置され、一方、B配列は、3×3画素の中心にBフィルタが配置され、4隅にRフィルタが配置され、中心のBフィルタを挟んで上下左右にGフィルタが配置されている。即ち、A配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
【0097】
図8に示すカラーフィルタ配列は、Gフィルタが、水平、垂直、及び斜め(NE,NW)方向に2つ隣接する部分を含んでいる。
【0098】
輝度系画素であるGフィルタは、A配列またはB配列における3×3画素群の中心のフィルタを挟んで上下左右に配置されているため、該3×3画素群が水平方向及び垂直方向に繰り返し配置されると、前記3×3画素群の中心のフィルタを挟んで水平及び垂直方向にそれぞれ2画素ずつ隣接することになる。
【0099】
このカラーフィルタ配列によれば、輝度系画素であるGフィルタに対応する画素(合計8画素)の画素値により、水平、垂直、及び斜め(NE,NW)方向のそれぞれの方向の輝度の相関を、最小画素間隔の画素値で判断することができる。
【0100】
いま、A配列に対応する3×3画素を同時化処理の対象画素とした場合、中心のR画素を挟んで水平方向及び垂直方向に、それぞれ連続するG画素が存在する(G画素が十字状に配置されている)。これらの水平方向及び垂直方向に連続するG画素の画素値に基づいて水平方向及び垂直方向の輝度の相関を求めることができ、また、R画素に隣接する上下左右の4つのG画素から斜め方向(NE,NW)方向の輝度の相関を求めることができる。
【0101】
この第2の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(1)、(2)及び(3)と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
【0102】
尚、第2の実施形態のカラー撮像素子のカラーフィルタ配列の場合、例えば、A配列の中心のR画素、又はB配列の中心のB画素を同時処理の対象画素とし、かつ斜め方向が相関方向と判別されると、その斜め方向にはG画素が存在しない。この場合、前述した式(2)、(3)、又は式(5)、(6)に基づいてGの画素値を算出することができる。
【0103】
[カラー撮像素子の第3の実施形態]
図9は本発明に適用されるカラー撮像素子の第3の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【0104】
図9に示すように、このカラー撮像素子のカラーフィルタ配列は、5×5画素に対応する正方配列パターンからなる基本配列パターン(太枠で示したパターン)を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0105】
また、図9に示すカラーフィルタ配列は、R、G、Bの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
【0106】
更に、基本配列パターン内において、水平、垂直、及び斜め方向(NE,NW)方向に、それぞれ2以上連続するGフィルタ(G画素)が配置されている。これらの連続するG画素の画素値により、水平、垂直、及び斜め(NE,NW)方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
【0107】
この第3の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(1)、(2)及び(3)と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
【0108】
[カラー撮像素子の第4の実施形態]
図10は本発明に適用されるカラー撮像素子の第4の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【0109】
図10に示すように、このカラー撮像素子のカラーフィルタ配列は、7×7画素に対応する正方配列パターンからなる基本配列パターン(太枠で示したパターン)を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0110】
また、図10に示すカラーフィルタ配列は、R、G、Bの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
【0111】
更に、基本配列パターン内において、水平、垂直、及び斜め方向(NE,NW)方向に、それぞれ連続するGフィルタ(G画素)が配置されている。即ち、基本配列パターン内で上下左右に連続する2×2画素のG画素のかたまりが4組存在する。
【0112】
これらの連続するG画素の画素値により、水平、垂直、及び斜め(NE,NW)方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
【0113】
この第4の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(1)、(2)及び(3)と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
【0114】
[カラー撮像素子の第5の実施形態]
図11は本発明に適用されるカラー撮像素子の第5の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【0115】
図11に示すように、このカラー撮像素子のカラーフィルタ配列は、8×8画素に対応する正方配列パターンからなる基本配列パターン(太枠で示したパターン)を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0116】
また、図11に示すカラーフィルタ配列は、R、G、Bの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
【0117】
更に、基本配列パターン内において、水平、垂直、及び斜め方向(NE,NW)方向に、それぞれ連続するGフィルタ(G画素)が配置されている。即ち、基本配列パターン内で上下左右に連続する2×2画素を含むG画素のかたまりが4組存在する。
【0118】
これらの連続するG画素の画素値により、水平、垂直、及び斜め(NE,NW)方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
【0119】
この第5の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(1)、(2)及び(3)と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
【0120】
[カラー撮像素子の第6及び第7の実施形態]
図12及び図13はそれぞれ本発明に適用されるカラー撮像素子の第6及び第7の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【0121】
図12に示す第6の実施形態のカラー撮像素子のカラーフィルタ配列は、図3に示した第1の実施形態に示した3×3画素のA配列が、水平、垂直方向に並べて配列されて構成されている。
【0122】
一方、図13に示す第7の実施形態のカラー撮像素子のカラーフィルタ配列は、図3に示した第1の実施形態に示した3×3画素のB配列が、水平、垂直方向に並べて配列されて構成されている。
【0123】
これらの第6及び第7の実施形態のカラー撮像素子のカラーフィルタ配列は、基本配列パターンが3×3画素と小さく、R、G、B信号の同時化処理が容易になるという利点がある。
【0124】
一方、R、G、Bの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されておらず、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(2)を有していないが、特徴(1)及び(3)と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
【0125】
[その他]
上記実施形態では、RGBの3原色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置について説明したが、本発明は、これに限らず、RGBの3原色+他の色(例えば、エメラルド(E))の4色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。
【0126】
また、本発明は、原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。
【0127】
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0128】
10…撮影光学系、12…カラー撮像素子、14…撮像処理部、16…画像処理部、18…駆動部、20…制御部
【技術分野】
【0001】
本発明はカラー撮像装置に係り、特に色モワレの発生を抑圧することができるカラー撮像装置に関する。
【背景技術】
【0002】
単板式のカラー撮像素子を有するカラー撮像装置では、カラー撮像素子からの出力画像がRAW画像(モザイク画像)であるため、欠落している色の画素を、周囲の画素から補間する処理(同時化処理)により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性である。
【0003】
単板式のカラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き(色モアレ)が発生するという問題がある。
【0004】
例えば、図14の(A)に示すような斜めの白黒の高周波画像が、図14の(B)に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図14の(C)から(E)に示すようにRとBは薄い平坦、Gは濃い平坦の色画像となり、仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
【0005】
一般に単板式のカラー撮像素子を使用するカラー撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
【0006】
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む3色と該着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献1)。
【0007】
また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の所定の周期で交互に配置されているとともに、他方の対角方向に第2の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている(特許文献2)。
【0008】
一方、特許文献3には、ベイヤー配列のモザイク画像の注目画素の周辺画素を用いて、水平、垂直、及び斜め(NE,NW)方向(4方向)における相関度を求め、求めた相関度の比率に応じた重み付けを行って画素補間を行う技術が記載されている。
【0009】
また、RGBの3原色のうちのR,Bを水平方向及び垂直方向にそれぞれ3画素おきに配置し、これらのR,Bの間にGを配置したカラー撮像素子を備えた撮像装置が提案されている(特許文献4)。特許文献4に記載のカラー撮像素子は、輝度信号に対して色差信号の解像度は低くてもよいという理由により、輝度信号を得るために最も寄与するG画素がRB画素に比べて非常に多く配置されており、これにより水平及び垂直方向の解像度を上げることができるようにしている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2000−308080号公報
【特許文献2】特開2005−136766号公報
【特許文献3】特開2010−104019号公報
【特許文献4】特開平8−23543号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
特許文献1に記載の3色ランダム配列は、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
【0012】
特許文献2に記載の画像センサのカラーフィルタ配列は、R、G、Bフィルタがカラーフィルタ配列の水平方向及び垂直方向の各ライン内に周期的に配置されているが、特許文献2に記載の発明は、上記カラーフィルタ配列を有する画像センサから出力されるモザイク画像を同時化処理する際に、注目画素を中心に所定の画像サイズの局所領域を抽出し、局所領域内の注目画素の色の色分布形状、及び推定しようとする他の色の色分布形状に関する統計量を算出し、注目画素位置の色の強度と色分布形状の統計量とに基づいて色分布形状を線形回帰することにより注目画素位置の他の色の推定値を算出するようにしている。この特許文献2に記載の発明は、色分布形状に関する統計量(共分散値)の演算や回帰演算処理を行う必要があり、画像処理が複雑になるという問題がある。
【0013】
一方、特許文献3に記載の画素補間方法は、ベイヤー配列のモザイク画像に適用されるものであるが、ベイヤー配列の場合、G画素は、水平及び垂直方向に連続していないため、最小画素間隔で水平及び垂直方向における相関度を求めることができず、例えば、縦縞や横縞の高周波を入力した場合に相関度を誤判定し、画素補間を精度よく行うことができないという問題がある。
【0014】
また、特許文献4に記載のカラー撮像素子は、RBの画素に対してGの画素の比率がベイヤー配列よりも高くなっており、水平及び垂直方向の解像度を上げることができるように構成されているが、特許文献4に記載の撮像装置は、このカラー撮像素子から出力されるRGB信号を補間フィルタにより一律に同時化しているため、偽色が発生しやすいという問題がある。
【0015】
本発明はこのような事情に鑑みてなされたもので、高周波部の偽色の発生を簡単な画像処理で抑圧することができるカラー撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0016】
前記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが周期的に配置され、かつ前記第1のフィルタは、水平、垂直、及び斜め(NE,NW)方向に2以上隣接する部分を含むカラー撮像素子と、前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第1のフィルタに対応する画素であって、前記水平、垂直、及び斜め(NE,NW)方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、及び斜め(NE,NW)方向のうちのいずれの方向かを判別する方向判別部と、前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、前記モザイク画像から抽出する同時化処理の対象画素を前記同時化処理の対象画素単位毎に移動させながら前記方向判別部及び同時化処理部を繰り返し動作させる制御部とを備えている。
【0017】
前記カラー撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第1のフィルタが、水平、垂直、及び斜め(NE,NW)方向(4方向)に、それぞれ2以上隣接する部分を含んでいるため、各方向に隣接する画素の画素値に基づいて輝度の相関方向が前記4方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。そして、モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして方向判別した相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定することができ、高周波部の偽色の発生を抑圧することができる。
【0018】
本発明の他の態様に係るカラー撮像装置において、前記カラー撮像素子の所定のカラーフィルタ配列は、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、前記第1のフィルタ及び第2のフィルタは、それぞれ前記基本配列パターン内において水平及び垂直方向の各ライン内に1つ以上配置されている。前記第1のフィルタ及び第2のフィルタは、それぞれ前記基本配列パターン内に水平及び垂直方向の各ライン内に1つ以上配置されているため、水平及び垂直方向の色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。また、このカラーフィルタ配列は、前記基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段での同時化(補間)処理を行う際に、繰り返しパターンにしたがって処理を行うことができる。
【0019】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタ配列は、前記第1のフィルタが3×3画素群において中心と4隅に配置され、該3×3画素群が水平方向及び垂直方向に繰り返し配置されていることが好ましい。前記3×3画素群の4隅に前記第1のフィルタが配置されているため、該3×3画素群が水平方向及び垂直方向に繰り返し配置されると、前記カラーフィルタ配列は、前記第1のフィルタからなる2×2画素に対応する正方配列を含むようになり、この2×2画素の画素値を使用して、水平、垂直、及び斜め(NE,NW)方向のうちの相関の高い方向を判別することができる。
【0020】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタ配列は、前記第1のフィルタが3×3画素群において中心のフィルタを挟んで上下左右に配置され、該3×3画素群が水平方向及び垂直方向に繰り返し配置されていることが好ましい。前記3×3画素群の中心のフィルタを挟んで上下左右に前記第1のフィルタが配置されているため、該3×3画素群が水平方向及び垂直方向に繰り返し配置されると、前記カラーフィルタ配列は、前記3×3画素群の中心のフィルタを挟んで前記第1のフィルタが、水平及び垂直方向にそれぞれ2画素ずつ隣接することになる。これらの第1のフィルタに対応する画素(合計8画素)の画素値は、4方向の相関方向の判別に使用することができる。
【0021】
本発明の更に他の態様に係るカラー撮像装置において、前記方向判別部は、前記水平、垂直、及び斜め(NE,NW)方向の各方向別に、隣接する画素の画素値の差分絶対値を算出し、各方向別の差分絶対値のうち最小となる方向を相関方向として判別するようにしている。
【0022】
本発明の更に他の態様に係るカラー撮像装置において、前記方向判別部は、前記水平、垂直、及び斜め(NE,NW)方向の各方向別に、隣接する画素の画素値の比を算出し、各方向別の比のうち最も1に近い方向を相関方向として判別するようにしている。
【0023】
尚、上記各方向別に差分絶対値、又は比を複数算出し、各方向別に複数の差分絶対値の総和又は平均値、又は比の平均値を算出するようにしてもよく、この場合には、より精度よく相関方向を判別することができる。
【0024】
本発明の更に他の態様に係るカラー撮像装置において、前記同時化処理部は、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を、そのまま前記対象画素の画素位置における他の色の画素値とし、又は前記方向判別部により判別された相関方向に存在する複数の他の色の画素の画素値を補間した値を、前記対象画素の画素位置における他の色の画素値としている。
【0025】
本発明の更に他の態様に係るカラー撮像装置において、前記同時化処理部は、前記方向判別部により判別された相関方向に前記他の色の画素が存在しない場合には、前記対象画素の近傍の前記他の色の画素の画素位置における色差又は色比により、前記対象画素の画素値を補間して前記他の色の画素値を算出している。尚、前記他の色の画素の画素位置における色差又は色比は、その画素位置における画素の画素値と、既に相関方向の方向判別により推定した他の色の画素値との差(色差)、又は比(色比)である。
【0026】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、前記同時化処理部は、前記同時化処理の対象画素がG画素、その画素値がGであり、前記方向判別部により判別された相関方向にR、又はB画素が存在しない場合、前記G画素の近傍のR、B画素の画素値をR,B、これらの画素の画素位置におけるGの画素値をGR、GBとすると、前記対象画素の位置におけるR、B画素の画素値RG,BGを、次式、
RG=G+(R−GR),BG=G+(B−GB)
により算出し、前記同時化処理の対象画素がR画素、その画素値がRであり、前記方向判別部により判別された相関方向にG、又はB画素が存在しない場合、前記R画素の近傍のG、B画素の画素値をG,B、これらの画素の画素位置におけるRの画素値をRG、RBとすると、前記対象画素の位置におけるG、B画素の画素値GR,BRを、次式、
GR=R+(G−RG),BR=R+(B−RB)
により算出し、前記同時化処理の対象画素がB画素、その画素値がBであり、前記方向判別部により判別された相関方向にG、又はR画素が存在しない場合、前記B画素の近傍のG、R画素の画素値をG,R、これらの画素の画素位置におけるBの画素値をBG、BRとすると、前記対象画素の位置におけるG、R画素の画素値GB,RBを、次式、
GB=B+(G−BG),RB=B+(R−BR)
により算出している。
【0027】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、前記同時化処理部は、前記同時化処理の対象画素がG画素、その画素値がGであり、前記方向判別部により判別された相関方向にR、又はB画素が存在しない場合、前記G画素の近傍のR、B画素の画素値をR,B、これらの画素の画素位置におけるGの画素値をGR、GBとすると、前記対象画素の位置におけるR、B画素の画素値RG,BGを、次式、
RG=G×(R/GR),BG=G×(B/GB)
により算出し、前記同時化処理の対象画素がR画素、その画素値がRであり、前記方向判別部により判別された相関方向にG、又はB画素が存在しない場合、前記R画素の近傍のG、B画素の画素値をG,B、これらの画素の画素位置におけるRの画素値をRG、RBとすると、前記対象画素の位置におけるG、B画素の画素値GR,BRを、次式、
GR=R×(G/RG),BR=R×(B/RB)
により算出し、前記同時化処理の対象画素がB画素、その画素値がBであり、前記方向判別部により判別された相関方向にG、又はR画素が存在しない場合、前記B画素の近傍のG、R画素の画素値をG,R、これらの画素の画素位置におけるBの画素値をBG、BRとすると、前記対象画素の位置におけるG、R画素の画素値GB,RBを、次式、
GB=B×(G/BG),RB=B×(R/BR)
により算出している。
【0028】
本発明の更に他の態様に係るカラー撮像装置において、前記方向判別部は、前記水平、垂直、及び斜め(NE,NW)方向に隣接する画素の画素値の差分値がそれぞれ等しい場合には相関方向がないと判別し、前記同時化処理部は、前記方向判別部により相関方向がないと判別されると、同時化処理の対象画素の画素位置における他の色の画素値を、該画素位置の近傍に存在する他の色の画素の画素値を使用して算出している。
【0029】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、前記フィルタ配列は、3×3画素に対応する第1の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置され、左右にRフィルタが配列された第1の配列と、3×3画素に対応する第2の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置され、左右にBフィルタが配列された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。
【0030】
上記構成のカラーフィルタ配列によれば、前記第1の配列又は第2の配列を中心に5×5画素(モザイク画像の局所領域)を抽出した場合、前記5×5画素の4隅に2×2画素のG画素が存在することになる。これらの2×2画素のG画素の画素値は、4方向の相関方向の判別に使用することができる。
【0031】
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、前記フィルタ配列は、3×3画素に対応する第1の配列であって、中心にRフィルタが配置され、4隅にBフィルタが配置され、中心のRフィルタを挟んで上下左右にGフィルタが配置された第1の配列と、3×3画素に対応する第2の配列であって、中心にBフィルタが配置され、4隅にRフィルタが配置され、中心のBフィルタを挟んで上下左右にGフィルタが配置された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。
【0032】
上記構成のカラーフィルタ配列によれば、前記第1の配列又は第2の配列を中心に5×5画素(モザイク画像の局所領域)を抽出した場合、前記5×5画素の中心の画素(R画素又はB画素)を挟んで、水平及び垂直方向にそれぞれ隣接するG画素が存在することになる。これらのG画素(合計8画素)の画素値は、4方向の相関方向の判別に使用することができる。
【発明の効果】
【0033】
本発明によれば、輝度信号を得るために最も寄与する第1のフィルタが、水平、垂直、及び斜め(NE,NW)方向(4方向)にそれぞれ2以上隣接する部分を含むカラーフィルタを有するカラー撮像素子であって、前記第1のフィルタと第1の色以外の2色以上の第2の色に対応する第2のフィルタとが水平方向及び垂直方向の各ライン内に周期的に配置されたカラー撮像素子を使用し、各方向に隣接する画素の画素値の差分値に基づいて輝度の相関方向を判別するようにしたため、最小画素間隔の画素値を使用して相関方向を判別することができる。そして、モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして方向判別した相関方向に存在する他の色の画素の画素値を使用して、対象画素の画素位置における他の色の画素値を算出するようにしたため、他の色の画素の画素値を精度よく推定することができ、高周波部の偽色の発生を抑圧することができる。
【図面の簡単な説明】
【0034】
【図1】図1は本発明に係るカラー撮像装置の実施形態を示すブロック図であり;
【図2】図2は第1の実施形態のカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列を示す図であり;
【図3】図3は第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図であり;
【図4】図4は第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる6×6画素の基本配列パターンを3×3画素のA配列とB配列に分割した様子を示す図であり;
【図5】図5は第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる6×6画素の基本配列パターンを3×3画素のA配列とB配列に分割し、これらを配置した様子を示す図であり;
【図6】図6は輝度の相関方向の判別方法と同時化処理時の画素補間方法を説明するために用いた図であり;
【図7A】図7Aは斜めの高周波画像がカラー撮像素子に入射した場合を示す図であり;
【図7B】図7Bは斜めの高周波画像がカラー撮像素子に入射した場合の相関方向の判定方法を説明するために用いた図であり;
【図8】図8は本発明に適用されるカラー撮像素子の第2の実施形態を示す図であり;
【図9】図9は本発明に適用されるカラー撮像素子の第3の実施形態を示す図であり;
【図10】図10は本発明に適用されるカラー撮像素子の第4の実施形態を示す図であり;
【図11】図11は本発明に適用されるカラー撮像素子の第5の実施形態を示す図であり;
【図12】図12は本発明に適用されるカラー撮像素子の第6の実施形態を示す図であり;
【図13】図13は本発明に適用されるカラー撮像素子の第7の実施形態を示す図であり;
【図14】図14は従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。
【発明を実施するための形態】
【0035】
以下、添付図面に従って本発明に係るカラー撮像装置の好ましい実施の形態について詳説する。
【0036】
[カラー撮像装置の全体構成]
図1は本発明に係るカラー撮像装置の実施形態を示すブロック図である。
【0037】
撮影光学系10により被写体が撮像され、被写体像を示す光像がカラー撮像素子12(第1の実施形態のカラー撮像素子)の受光面上に結像される。
【0038】
このカラー撮像素子12は、水平方向及び垂直方向に配列(二次元配列)された光電変換素子からなる複数の画素(図示せず)と、各画素の受光面上に配置された所定のカラーフィルタ配列のカラーフィルタとから構成された単板式のカラー撮像素子である。尚、カラー撮像素子12のカラーフィルタ配列は、赤(R)、緑(G)、青(B)の全ての色のフィルタが、水平及び垂直方向の各ライン内に周期的に配置され、また、輝度信号を得るために最も寄与するGに対応するGフィルタが、水平、垂直、及び斜め(NE,NW)方向に2以上隣接する部分を含むことを特徴とするものである。カラー撮像素子12の詳細については、後述する。
【0039】
カラー撮像素子12に結像された被写体像は、光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部20の指令に従って駆動部18から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)としてカラー撮像素子12から順次読み出される。カラー撮像素子12から読み出される画像信号は、カラー撮像素子12のカラーフィルタ配列に対応したR、G、Bのモザイク画像を示すR、G、B信号である。尚、カラー撮像素子12は、CCD(Charge Coupled Device)カラー撮像素子に限らず、CMOS(Complementary Metal Oxide Semiconductor)撮像素子などの他の種類の撮像素子であってもよい。
【0040】
カラー撮像素子12から読み出された画像信号は、撮像処理部14に入力する。撮像処理部14は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路(CDS)、画像信号を増幅し、一定レベルの大きさにコントロールするためのAGC(Automatic Gain Control)回路、及びA/D変換器を含み、入力する画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるRAWデータを画像処理部16に出力する。
【0041】
画像処理部16は、ホワイトバランス補正回路、ガンマ補正回路、本発明に係る同時化処理回路(単板式のカラー撮像素子12のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理回路)、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を含み、制御部20からの指令に従い、撮像処理部14から入力したモザイク画像のRAWデータに所要の信号処理を施して、輝度データ(Yデータ)と色差データ(Cr,Cbデータ)とからなる画像データ(YUVデータ)を生成する。
【0042】
画像処理部16で生成された画像データは、圧縮/伸張処理回路により静止画に対しては、JPEG(joint photographic experts group)規格に準拠した圧縮処理が施され、動画に対してはMPEG2(moving picture experts group)規格に準拠した圧縮処理が施された後、記録メディア(メモリカード)に記録され、また、液晶モニタ等の表示装置(図示せず)に出力されて表示される。
【0043】
尚、画像処理部16の中の本発明に係る同時化処理回路による処理内容の詳細については後述する。
【0044】
<カラーフィルタ配列の特徴>
カラー撮像素子12のカラーフィルタ配列は、下記の特徴(1)、(2)及び(3)を有している。
【0045】
〔特徴(1)〕
図2はカラー撮像素子12に設けられているカラーフィルタのカラーフィルタ配列を示す図である。図2に示すように、カラー撮像素子12のカラーフィルタ配列は、6×6画素に対応する正方配列パターンからなる基本配列パターンP(太枠で示したパターン)を含み、この基本配列パターンPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0046】
このようにRフィルタ、Gフィルタ、Bフィルタが所定の周期性をもって配列されているため、カラー撮像素子12から読み出されるR、G、B信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことができる。
【0047】
〔特徴(2)〕
図2に示すカラーフィルタ配列は、R、G、Bの全ての色のフィルタが、基本配列パターンP内の水平方向及び垂直方向の各ライン内に配置されている。これにより、後述するように、同時化処理時に相関方向が水平方向又は垂直方向と判別されると、水平方向又は垂直方向に存在する他の色の画素の画素値を使用して補間することができるため、色モワレ(偽色)の発生を抑圧することができる。また、上記のようにして偽色の発生を抑制することができるため、光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
【0048】
図3は、図2に示した基本配列パターンPを、3×3画素に4分割した状態に関して示している。
【0049】
図3に示すように基本配列パターンPは、実線の枠で囲んだ3×3画素のA配列と、破線の枠で囲んだ3×3画素のB配列とが、図4に示すように水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
【0050】
A配列及びB配列は、それぞれ輝度系画素であるGフィルタが4隅と中央に配置され、両対角線上に配置されている。また、A配列は、中央のGフィルタを挟んでRフィルタが水平方向に配列され、Bフィルタが垂直方向に配列され、一方、B配列は、中央のGフィルタを挟んでBフィルタが水平方向に配列され、Rフィルタが垂直方向に配列されている。即ち、A配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
【0051】
〔特徴(3)〕
図2に示すカラーフィルタ配列の基本配列パターンPは、Gフィルタが、水平、垂直、及び斜め(NE,NW)方向に2以上隣接する部分を含んでいる。この基本配列パターンPが水平方向及び垂直方向に配列されたカラーフィルタ配列は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。
【0052】
これは、図3に示すように輝度系画素であるGフィルタが、A配列またはB配列における3×3画素において4隅と中央に配置され、この3×3画素が水平方向、垂直方向に交互に配置されることで2×2画素に対応する正方配列のGフィルタが形成されるためである。これらのGフィルタからなる2×2画素の画素値は、水平方向、垂直方向、及び斜め方向(NE,NW)方向の輝度の相関方向の算出(方向判別)に使用することができる。
【0053】
[画像処理部16の同時化処理回路]
次に、画像処理部16の同時化処理回路の処理内容について説明する。
【0054】
図5に示すように、カラー撮像素子12から出力されるモザイク画像からGフィルタに対応する2×2画素のG画素を取り出し、各G画素の画素値を、左上から右下の順にG1、G2、G3、G4とした場合、同時化処理回路に含まれる方向判別回路は、各方向別の差分絶対値を算出する。
【0055】
即ち、垂直方向の差分絶対値は(|G1−G3|+|G2−G4|)/2、水平方向の差分絶対値は(|G1−G2|+|G3−G4|)/2、右上斜め方向の差分絶対値は|G2−G3|、左上斜め方向の差分絶対値は|G1−G4|となる。
【0056】
方向判別回路は、これらの4つの相関絶対値のうち最小となる差分絶対値をとる方向に相関(相関方向)があると判別する。
【0057】
いま、図6に示すように中央に3×3画素のA配列(図3参照)が位置するように、モザイク画像から5×5画素の局所領域を抽出した場合、4隅に2×2画素のG画素が配置されることになる。したがって、上記局所領域内のA配列の3×3画素を同時化処理の対象画素とした場合、4隅の各方向別の相関絶対値の総和(又は平均値)を求め、各方向別の相関絶対値の総和(又は平均値)のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。
【0058】
また、図7Aに示すようなパターンの入力があった場合(黒が0、白が255)、図7Bに示す4隅の2×2画素のG画素の画素値の垂直方向の差分絶対値の総和は、|0−255|×8=2040となり、水平方向の差分絶対値の総和も、|0−255|×8=2040になる。一方、右上斜め方向の差分絶対値の総和は、|255−255|×2+|0−0|×2=0となり、左上斜め方向の差分絶対値の総和は、|0−0|×2+|255−255|×2=0となる。したがって、差分絶対値の総和が最小になる方向は、右上斜め方向と左上斜め方向の2方向となるが、図7Aのパターンの場合は、斜めの最大周波数の入力であるため、斜め方向のどちらを採用しても問題はない。
【0059】
上記のように互いに隣接する2×2画素のG画素から相関方向を判別するため、最小画素間隔で相関方向を判別することができる。即ち、高周波の影響を受けずに精度よく相関方向を判別することができる。
【0060】
尚、上記の実施の形態では、隣接するG画素の画素値の差分値に基づいて輝度の変化が最も小さい方向(相関の高い相関方向)を判別するようにしたが、これに限らず、隣接するG画素の画素値の比に基づいて輝度の変化が最も小さい方向を判別するようにしてもよい。隣接するG画素の画素値の比に基づいて輝度の変化を判別する場合、その比(4つの方向別に複数の比を求める場合には、その比の平均値)が、最も1に近い方向を輝度の変化の小さい方向として判別する。
【0061】
次に、画像処理部16の同時化処理回路によりRGBのモザイク画像を同時化処理する方法について説明する。
【0062】
同時化処理の対象画素における相関方向が判別されると、同時化処理回路は、同時化処理の対象画素の画素位置における、他の色の画素値を算出する際に、前記判別された相関方向に存在する他の色の画素の画素値を使用する。
【0063】
図4に示すように、水平方向及び垂直方向にはR画素、G画素、B画素の全ての色の画素が存在するため、水平方向又は垂直方向に相関方向があると判別されると、水平方向又は垂直方向に存在する、対象画素の近傍の他の色の画素の画素値を取得する。そして、取得した1画素の画素値、又は複数の画素の画素値の補間した値を、対象画素の画素位置における他の色の画素値とする。
【0064】
例えば、相関方向が水平方向と判別された場合、図6において、G22の画素の画素位置におけるRの画素値は、R12又はR32の画素値をそのまま画素値とする、または、R12及びR32の画素値から補間することにより決定する。
【0065】
同様に、G22の画素の画素位置におけるBの画素値は、B02又はB42の画素値をそのまま画素値とする、または、B02及びB42の画素値から補間することにより決定する。
【0066】
また、B02の画素の画素位置におけるRの画素値は、R12の画素値をそのまま画素値とする、または、R12及びR32の画素値から補間することにより決定する。
【0067】
更に、B02の画素の画素位置におけるGの画素値は、G22の画素値をそのまま画素値とする、または、隣接するB配列の同じ水平位置にあるG画素の画素値とG22の画素値から補間することにより決定する。
【0068】
尚、相関方向が垂直方向と判別された場合も、上記と同様に垂直方向に存在する他の色の画素値を使用することができる。
【0069】
また、第1の実施形態のカラー撮像素子12のカラーフィルタ配列は、3×3画素のA配列のG画素を中心とする斜め方向(対角方向)には、G画素しか存在しないため、相関方向がG画素の連続する斜め方向と判別されると、Gの画素値が算出されている近傍のR,B画素の画素値の色差により、対象画素の画素値を補間して他の色の画素値を算出する。
【0070】
図6に示すように、方向判別結果により左斜め上に相関方向があると判別された場合、G11の画素の補間方向には、R,B画素が存在しない。そこで、G11の画素の近傍のR12,B21の画素の画素値R12,R21と、これらの画素の画素位置におけるGの画素値G12’,G21’の色差を用いてG11の画素値G11を補間し、G11の画素の画素位置におけるR,Gの画素値R11’,B11’を算出する。
【0071】
具体的には、以下の式で補間を行う。
【0072】
R11’=G11+(R12−G12’) …(a)
B11’=G11+(B21−G21’) …(b)
上記式(a)及び(b)において、G12’=G01,G21’=G10である。即ち、画素値G12’,G21’は、左斜め方向の方向判別により推定したR12,B21の画素の画素位置におけるGの画素値である。
【0073】
同様に、G22の画素の画素位置のR,B画素の画素値R22’,B22’は、その近傍のR12,R32の画素と、B21,B23の画素の各画素位置の色差を用いて、G22の画素値G22を補間し、G22の画素の画素位置におけるR,Gの画素値R22’,B22’を算出する。
【0074】
具体的には、以下の式で補間を行う。
【0075】
R22’=G22+{(R12+R32)/2−(G12’+G32’)/2} …(c)
B22’=G22+{(B21+B23)/2−(G21’+G23’)/2} …(d)
尚、G32’=G43,G23’=G34である。
【0076】
上記のようにして3×3画素(A配列)の全ての画素の同時化処理が終了すると、隣接する3×3画素(B配列)の対象画素に対して、上記と同じ処理(方向判別と同時化処理)を行い、これを3×3画素単位で移動させながら繰り返す。
【0077】
前述したように、カラー撮像素子12のカラーフィルタ配列の場合、同時化処理の対象画素がG画素で、この画素位置におけるR,Bの画素値を算出する際に、斜め方向にG画素しか存在しないものがあるが、カラーフィルタ配列によっては、同時化処理の対象画素がR画素で、この画素位置におけるG,Bの画素値を算出する際に、斜め方向にG画素,又はB画素が存在しない場合や、同時化処理の対象画素がB画素で、この画素位置におけるG,Rの画素値を算出する際に、斜め方向にG画素,又はR画素が存在しない場合が考えられる。
【0078】
この場合にも、上記式(a)〜(d)と同様にして、RGBの画素値が算出された近傍の画素の画素値の色差により、対象画素の画素値を補間して他の色の画素値を算出することができる。
【0079】
近傍の画素の色差により対象画素の画素値を補間して他の色の画素値を算出する方法をまとめると、下記のようになる。
【0080】
同時化処理の対象画素がG画素、その画素値がGであり、方向判別回路により判別された相関方向にR、又はB画素が存在しない場合、前記G画素の近傍のR、B画素の画素値をR,B、これらの画素の画素位置におけるGの画素値をGR、GBとすると、前記対象画素の位置におけるR、B画素の画素値RG,BGを、次式により算出する。
【0081】
RG=G+(R−GR),BG=G+(B−GB) …(1)
この式(1)は、前述した式(a),(b)に相当するものである。
【0082】
同様に、同時化処理の対象画素がR画素、その画素値がRであり、方向判別回路により判別された相関方向にG、又はB画素が存在しない場合、前記R画素の近傍のG、B画素の画素値をG,B、これらの画素の画素位置におけるRの画素値をRG、RBとすると、前記対象画素の位置におけるG、B画素の画素値GR,BRを、次式により算出する。
【0083】
GR=R+(G−RG),BR=R+(B−RB) …(2)
また、同時化処理の対象画素がB画素、その画素値がBであり、方向判別回路により判別された相関方向にG、又はR画素が存在しない場合、前記B画素の近傍のG、R画素の画素値をG,R、これらの画素の画素位置におけるBの画素値をBG、BRとすると、前記対象画素の位置におけるG、R画素の画素値GB,RBを、次式により算出する。
【0084】
GB=B+(G−BG),RB=B+(R−BR) …(3)
尚、上記式(1)〜(6)に限らず、同時化処理の対象画素の近傍に、補間して求めようとする色と同じ色の画素が複数存在する場合には、式(c)〜(d)と同様に、複数の画素の平均の色差を使用して補間してもよい。
【0085】
また、上記の実施形態では、同時化処理の対象画素に対し、判別された相関方向に他の色の画素が存在しない場合には、近傍の他の色の画素の色差により対象画素の画素値を補間して他の色の画素値を算出するようにしたが、これに限らず、近傍の他の色の画素の色比により対象画素の画素値を補間して他の色の画素値を算出するようにしてもよい。
【0086】
近傍の画素の色比により、対象画素の画素値を補間して他の色の画素値を算出する方法の具体例を下記に示す。
【0087】
同時化処理の対象画素がG画素、その画素値がGであり、方向判別回路により判別された相関方向にR、又はB画素が存在しない場合、前記G画素の近傍のR、B画素の画素値をR,B、これらの画素の画素位置におけるGの画素値をGR、GBとすると、前記対象画素の位置におけるR、B画素の画素値RG,BGを、次式により算出する。
【0088】
RG=G×(R/GR),BG=G×(B/GB) …(4)
同様に、同時化処理の対象画素がR画素、その画素値がRであり、方向判別回路により判別された相関方向にG、又はB画素が存在しない場合、前記R画素の近傍のG、B画素の画素値をG,B、これらの画素の画素位置におけるRの画素値をRG、RBとすると、前記対象画素の位置におけるG、B画素の画素値GR,BRを、次式により算出する。
【0089】
GR=R×(G/RG),BR=R×(B/RB) …(5)
また、同時化処理の対象画素がB画素、その画素値がBであり、方向判別回路により判別された相関方向にG、又はR画素が存在しない場合、前記B画素の近傍のG、R画素の画素値をG,R、これらの画素の画素位置におけるBの画素値をBG、BRとすると、前記対象画素の位置におけるG、R画素の画素値GB,RBを、次式により算出する。
【0090】
GB=B×(G/BG),RB=B×(R/BR) …(6)
一方、本発明は、水平方向及び垂直方向の各ライン内にR,G,B画素が周期的に配置されるカラー撮像素子を前提とするが、斜め(NE,NW)方向にもR,G,B画素が周期的に配置されるカラー撮像素子を使用する場合には、上記式(1)〜(6)等により他の色の画素値を補間算出する必要はない。
【0091】
また、水平、垂直、及び斜め(NE,NW)方向に隣接するG画素の画素値の差分絶対値がそれぞれ等しい場合(差分絶対値が全ての方向で0の場合、又はほぼ0の場合)には、方向判別回路は相関方向がないと判別する。この場合、同時化処理の対象画素の画素位置における他の色の画素値は、その画素位置の近傍に存在する他の色の画素の画素値を使用する。
【0092】
[カラー撮像素子の第2の実施形態]
図8は本発明に適用されるカラー撮像素子の第2の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【0093】
図8に示すように、このカラー撮像素子のカラーフィルタ配列は、6×6画素に対応する正方配列パターンからなる基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0094】
また、図8に示すカラーフィルタ配列は、R、G、Bの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
【0095】
また、図8に示すように基本配列パターンを、3×3画素に4分割すると、実線の枠で囲んだ3×3画素のA配列と、破線の枠で囲んだ3×3画素のB配列とが、水平、垂直方向に交互に並べられたカラーフィルタ配列となっていると捉えることもできる。
【0096】
A配列は、3×3画素の中心にRフィルタが配置され、4隅にBフィルタが配置され、中心のRフィルタを挟んで上下左右にGフィルタが配置され、一方、B配列は、3×3画素の中心にBフィルタが配置され、4隅にRフィルタが配置され、中心のBフィルタを挟んで上下左右にGフィルタが配置されている。即ち、A配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
【0097】
図8に示すカラーフィルタ配列は、Gフィルタが、水平、垂直、及び斜め(NE,NW)方向に2つ隣接する部分を含んでいる。
【0098】
輝度系画素であるGフィルタは、A配列またはB配列における3×3画素群の中心のフィルタを挟んで上下左右に配置されているため、該3×3画素群が水平方向及び垂直方向に繰り返し配置されると、前記3×3画素群の中心のフィルタを挟んで水平及び垂直方向にそれぞれ2画素ずつ隣接することになる。
【0099】
このカラーフィルタ配列によれば、輝度系画素であるGフィルタに対応する画素(合計8画素)の画素値により、水平、垂直、及び斜め(NE,NW)方向のそれぞれの方向の輝度の相関を、最小画素間隔の画素値で判断することができる。
【0100】
いま、A配列に対応する3×3画素を同時化処理の対象画素とした場合、中心のR画素を挟んで水平方向及び垂直方向に、それぞれ連続するG画素が存在する(G画素が十字状に配置されている)。これらの水平方向及び垂直方向に連続するG画素の画素値に基づいて水平方向及び垂直方向の輝度の相関を求めることができ、また、R画素に隣接する上下左右の4つのG画素から斜め方向(NE,NW)方向の輝度の相関を求めることができる。
【0101】
この第2の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(1)、(2)及び(3)と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
【0102】
尚、第2の実施形態のカラー撮像素子のカラーフィルタ配列の場合、例えば、A配列の中心のR画素、又はB配列の中心のB画素を同時処理の対象画素とし、かつ斜め方向が相関方向と判別されると、その斜め方向にはG画素が存在しない。この場合、前述した式(2)、(3)、又は式(5)、(6)に基づいてGの画素値を算出することができる。
【0103】
[カラー撮像素子の第3の実施形態]
図9は本発明に適用されるカラー撮像素子の第3の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【0104】
図9に示すように、このカラー撮像素子のカラーフィルタ配列は、5×5画素に対応する正方配列パターンからなる基本配列パターン(太枠で示したパターン)を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0105】
また、図9に示すカラーフィルタ配列は、R、G、Bの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
【0106】
更に、基本配列パターン内において、水平、垂直、及び斜め方向(NE,NW)方向に、それぞれ2以上連続するGフィルタ(G画素)が配置されている。これらの連続するG画素の画素値により、水平、垂直、及び斜め(NE,NW)方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
【0107】
この第3の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(1)、(2)及び(3)と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
【0108】
[カラー撮像素子の第4の実施形態]
図10は本発明に適用されるカラー撮像素子の第4の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【0109】
図10に示すように、このカラー撮像素子のカラーフィルタ配列は、7×7画素に対応する正方配列パターンからなる基本配列パターン(太枠で示したパターン)を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0110】
また、図10に示すカラーフィルタ配列は、R、G、Bの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
【0111】
更に、基本配列パターン内において、水平、垂直、及び斜め方向(NE,NW)方向に、それぞれ連続するGフィルタ(G画素)が配置されている。即ち、基本配列パターン内で上下左右に連続する2×2画素のG画素のかたまりが4組存在する。
【0112】
これらの連続するG画素の画素値により、水平、垂直、及び斜め(NE,NW)方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
【0113】
この第4の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(1)、(2)及び(3)と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
【0114】
[カラー撮像素子の第5の実施形態]
図11は本発明に適用されるカラー撮像素子の第5の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【0115】
図11に示すように、このカラー撮像素子のカラーフィルタ配列は、8×8画素に対応する正方配列パターンからなる基本配列パターン(太枠で示したパターン)を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
【0116】
また、図11に示すカラーフィルタ配列は、R、G、Bの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
【0117】
更に、基本配列パターン内において、水平、垂直、及び斜め方向(NE,NW)方向に、それぞれ連続するGフィルタ(G画素)が配置されている。即ち、基本配列パターン内で上下左右に連続する2×2画素を含むG画素のかたまりが4組存在する。
【0118】
これらの連続するG画素の画素値により、水平、垂直、及び斜め(NE,NW)方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
【0119】
この第5の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(1)、(2)及び(3)と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
【0120】
[カラー撮像素子の第6及び第7の実施形態]
図12及び図13はそれぞれ本発明に適用されるカラー撮像素子の第6及び第7の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【0121】
図12に示す第6の実施形態のカラー撮像素子のカラーフィルタ配列は、図3に示した第1の実施形態に示した3×3画素のA配列が、水平、垂直方向に並べて配列されて構成されている。
【0122】
一方、図13に示す第7の実施形態のカラー撮像素子のカラーフィルタ配列は、図3に示した第1の実施形態に示した3×3画素のB配列が、水平、垂直方向に並べて配列されて構成されている。
【0123】
これらの第6及び第7の実施形態のカラー撮像素子のカラーフィルタ配列は、基本配列パターンが3×3画素と小さく、R、G、B信号の同時化処理が容易になるという利点がある。
【0124】
一方、R、G、Bの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されておらず、第1の実施形態のカラー撮像素子12のカラーフィルタ配列の特徴(2)を有していないが、特徴(1)及び(3)と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
【0125】
[その他]
上記実施形態では、RGBの3原色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置について説明したが、本発明は、これに限らず、RGBの3原色+他の色(例えば、エメラルド(E))の4色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。
【0126】
また、本発明は、原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。
【0127】
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0128】
10…撮影光学系、12…カラー撮像素子、14…撮像処理部、16…画像処理部、18…駆動部、20…制御部
【特許請求の範囲】
【請求項1】
水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが周期的に配置され、かつ前記第1のフィルタは、水平、垂直、及び斜め(NE,NW)方向に2以上隣接する部分を含むカラー撮像素子と、
前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、
前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第1のフィルタに対応する画素であって、前記水平、垂直、及び斜め(NE,NW)方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、及び斜め(NE,NW)方向のうちのいずれの方向かを判別する方向判別部と、
前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、
前記モザイク画像から抽出する同時化処理の対象画素を前記同時化処理の対象画素単位毎に移動させながら前記方向判別部及び同時化処理部を繰り返し動作させる制御部と、
を備えたカラー撮像装置。
【請求項2】
前記カラーフィルタ配列は、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、
前記第1のフィルタ及び第2のフィルタは、それぞれ前記基本配列パターン内において水平及び垂直方向の各ライン内に1つ以上配置されている請求項1に記載のカラー撮像装置。
【請求項3】
前記カラーフィルタ配列は、前記第1のフィルタが3×3画素群において中心と4隅に配置され、該3×3画素群が水平方向及び垂直方向に繰り返し配置されている請求項1に記載のカラー撮像装置。
【請求項4】
前記カラーフィルタ配列は、前記第1のフィルタが3×3画素群において中心のフィルタを挟んで上下左右に配置され、該3×3画素群が水平方向及び垂直方向に繰り返し配置されている請求項1に記載のカラー撮像装置。
【請求項5】
前記方向判別部は、前記水平、垂直、及び斜め(NE,NW)方向の各方向別に、隣接する画素の画素値の差分絶対値を算出し、各方向別の差分絶対値のうち最小となる方向を相関方向として判別する請求項1から4のいずれか1項に記載のカラー撮像装置。
【請求項6】
前記方向判別部は、前記水平、垂直、及び斜め(NE,NW)方向の各方向別に、隣接する画素の画素値の比を算出し、各方向別の比のうち最も1に近い方向を相関方向として判別する請求項1から4のいずれか1項に記載のカラー撮像装置。
【請求項7】
前記同時化処理部は、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を、そのまま前記対象画素の画素位置における他の色の画素値とし、又は前記方向判別部により判別された相関方向に存在する複数の他の色の画素の画素値を補間した値を、前記対象画素の画素位置における他の色の画素値とする請求項1から6のいずれか1項に記載のカラー撮像装置。
【請求項8】
前記同時化処理部は、前記方向判別部により判別された相関方向に前記他の色の画素が存在しない場合には、前記対象画素の近傍の前記他の色の画素の画素位置における色差又は色比により、前記対象画素の画素値を補間して前記他の色の画素値を算出する請求項1から7のいずれか1項に記載のカラー撮像装置。
【請求項9】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
前記同時化処理部は、
前記同時化処理の対象画素がG画素、その画素値がGであり、前記方向判別部により判別された相関方向にR、又はB画素が存在しない場合、前記G画素の近傍のR、B画素の画素値をR,B、これらの画素の画素位置におけるGの画素値をGR、GBとすると、前記対象画素の位置におけるR、B画素の画素値RG,BGを、次式、
RG=G+(R−GR),BG=G+(B−GB)
により算出し、前記同時化処理の対象画素がR画素、その画素値がRであり、前記方向判別部により判別された相関方向にG、又はB画素が存在しない場合、前記R画素の近傍のG、B画素の画素値をG,B、これらの画素の画素位置におけるRの画素値をRG、RBとすると、前記対象画素の位置におけるG、B画素の画素値GR,BRを、次式、
GR=R+(G−RG),BR=R+(B−RB)
により算出し、前記同時化処理の対象画素がB画素、その画素値がBであり、前記方向判別部により判別された相関方向にG、又はR画素が存在しない場合、前記B画素の近傍のG、R画素の画素値をG,R、これらの画素の画素位置におけるBの画素値をBG、BRとすると、前記対象画素の位置におけるG、R画素の画素値GB,RBを、次式、
GB=B+(G−BG),RB=B+(R−BR)
により算出する請求項8に記載のカラー撮像装置。
【請求項10】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
前記同時化処理部は、
前記同時化処理の対象画素がG画素、その画素値がGであり、前記方向判別部により判別された相関方向にR、又はB画素が存在しない場合、前記G画素の近傍のR、B画素の画素値をR,B、これらの画素の画素位置におけるGの画素値をGR、GBとすると、前記対象画素の位置におけるR、B画素の画素値RG,BGを、次式、
RG=G×(R/GR),BG=G×(B/GB)
により算出し、前記同時化処理の対象画素がR画素、その画素値がRであり、前記方向判別部により判別された相関方向にG、又はB画素が存在しない場合、前記R画素の近傍のG、B画素の画素値をG,B、これらの画素の画素位置におけるRの画素値をRG、RBとすると、前記対象画素の位置におけるG、B画素の画素値GR,BRを、次式、
GR=R×(G/RG),BR=R×(B/RB)
により算出し、前記同時化処理の対象画素がB画素、その画素値がBであり、前記方向判別部により判別された相関方向にG、又はR画素が存在しない場合、前記B画素の近傍のG、R画素の画素値をG,R、これらの画素の画素位置におけるBの画素値をBG、BRとすると、前記対象画素の位置におけるG、R画素の画素値GB,RBを、次式、
GB=B×(G/BG),RB=B×(R/BR)
により算出する請求項8に記載のカラー撮像装置。
【請求項11】
前記方向判別部は、前記水平、垂直、及び斜め(NE,NW)方向に隣接する画素の画素値の差分値がそれぞれ等しい場合には相関方向がないと判別し、
前記同時化処理部は、前記方向判別部により相関方向がないと判別されると、同時化処理の対象画素の画素位置における他の色の画素値を、該画素位置の近傍に存在する他の色の画素の画素値を使用して算出する請求項1から10のいずれか1項に記載のカラー撮像装置。
【請求項12】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
前記フィルタ配列は、3×3画素に対応する第1の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置され、左右にRフィルタが配列された第1の配列と、3×3画素に対応する第2の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置され、左右にBフィルタが配列された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項1から11のいずれか1項に記載のカラー撮像装置。
【請求項13】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
前記フィルタ配列は、3×3画素に対応する第1の配列であって、中心にRフィルタが配置され、4隅にBフィルタが配置され、中心のRフィルタを挟んで上下左右にGフィルタが配置された第1の配列と、3×3画素に対応する第2の配列であって、中心にBフィルタが配置され、4隅にRフィルタが配置され、中心のBフィルタを挟んで上下左右にGフィルタが配置された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項1から11のいずれか1項に記載のカラー撮像装置。
【請求項1】
水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが周期的に配置され、かつ前記第1のフィルタは、水平、垂直、及び斜め(NE,NW)方向に2以上隣接する部分を含むカラー撮像素子と、
前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、
前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第1のフィルタに対応する画素であって、前記水平、垂直、及び斜め(NE,NW)方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、及び斜め(NE,NW)方向のうちのいずれの方向かを判別する方向判別部と、
前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、
前記モザイク画像から抽出する同時化処理の対象画素を前記同時化処理の対象画素単位毎に移動させながら前記方向判別部及び同時化処理部を繰り返し動作させる制御部と、
を備えたカラー撮像装置。
【請求項2】
前記カラーフィルタ配列は、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、
前記第1のフィルタ及び第2のフィルタは、それぞれ前記基本配列パターン内において水平及び垂直方向の各ライン内に1つ以上配置されている請求項1に記載のカラー撮像装置。
【請求項3】
前記カラーフィルタ配列は、前記第1のフィルタが3×3画素群において中心と4隅に配置され、該3×3画素群が水平方向及び垂直方向に繰り返し配置されている請求項1に記載のカラー撮像装置。
【請求項4】
前記カラーフィルタ配列は、前記第1のフィルタが3×3画素群において中心のフィルタを挟んで上下左右に配置され、該3×3画素群が水平方向及び垂直方向に繰り返し配置されている請求項1に記載のカラー撮像装置。
【請求項5】
前記方向判別部は、前記水平、垂直、及び斜め(NE,NW)方向の各方向別に、隣接する画素の画素値の差分絶対値を算出し、各方向別の差分絶対値のうち最小となる方向を相関方向として判別する請求項1から4のいずれか1項に記載のカラー撮像装置。
【請求項6】
前記方向判別部は、前記水平、垂直、及び斜め(NE,NW)方向の各方向別に、隣接する画素の画素値の比を算出し、各方向別の比のうち最も1に近い方向を相関方向として判別する請求項1から4のいずれか1項に記載のカラー撮像装置。
【請求項7】
前記同時化処理部は、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を、そのまま前記対象画素の画素位置における他の色の画素値とし、又は前記方向判別部により判別された相関方向に存在する複数の他の色の画素の画素値を補間した値を、前記対象画素の画素位置における他の色の画素値とする請求項1から6のいずれか1項に記載のカラー撮像装置。
【請求項8】
前記同時化処理部は、前記方向判別部により判別された相関方向に前記他の色の画素が存在しない場合には、前記対象画素の近傍の前記他の色の画素の画素位置における色差又は色比により、前記対象画素の画素値を補間して前記他の色の画素値を算出する請求項1から7のいずれか1項に記載のカラー撮像装置。
【請求項9】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
前記同時化処理部は、
前記同時化処理の対象画素がG画素、その画素値がGであり、前記方向判別部により判別された相関方向にR、又はB画素が存在しない場合、前記G画素の近傍のR、B画素の画素値をR,B、これらの画素の画素位置におけるGの画素値をGR、GBとすると、前記対象画素の位置におけるR、B画素の画素値RG,BGを、次式、
RG=G+(R−GR),BG=G+(B−GB)
により算出し、前記同時化処理の対象画素がR画素、その画素値がRであり、前記方向判別部により判別された相関方向にG、又はB画素が存在しない場合、前記R画素の近傍のG、B画素の画素値をG,B、これらの画素の画素位置におけるRの画素値をRG、RBとすると、前記対象画素の位置におけるG、B画素の画素値GR,BRを、次式、
GR=R+(G−RG),BR=R+(B−RB)
により算出し、前記同時化処理の対象画素がB画素、その画素値がBであり、前記方向判別部により判別された相関方向にG、又はR画素が存在しない場合、前記B画素の近傍のG、R画素の画素値をG,R、これらの画素の画素位置におけるBの画素値をBG、BRとすると、前記対象画素の位置におけるG、R画素の画素値GB,RBを、次式、
GB=B+(G−BG),RB=B+(R−BR)
により算出する請求項8に記載のカラー撮像装置。
【請求項10】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
前記同時化処理部は、
前記同時化処理の対象画素がG画素、その画素値がGであり、前記方向判別部により判別された相関方向にR、又はB画素が存在しない場合、前記G画素の近傍のR、B画素の画素値をR,B、これらの画素の画素位置におけるGの画素値をGR、GBとすると、前記対象画素の位置におけるR、B画素の画素値RG,BGを、次式、
RG=G×(R/GR),BG=G×(B/GB)
により算出し、前記同時化処理の対象画素がR画素、その画素値がRであり、前記方向判別部により判別された相関方向にG、又はB画素が存在しない場合、前記R画素の近傍のG、B画素の画素値をG,B、これらの画素の画素位置におけるRの画素値をRG、RBとすると、前記対象画素の位置におけるG、B画素の画素値GR,BRを、次式、
GR=R×(G/RG),BR=R×(B/RB)
により算出し、前記同時化処理の対象画素がB画素、その画素値がBであり、前記方向判別部により判別された相関方向にG、又はR画素が存在しない場合、前記B画素の近傍のG、R画素の画素値をG,R、これらの画素の画素位置におけるBの画素値をBG、BRとすると、前記対象画素の位置におけるG、R画素の画素値GB,RBを、次式、
GB=B×(G/BG),RB=B×(R/BR)
により算出する請求項8に記載のカラー撮像装置。
【請求項11】
前記方向判別部は、前記水平、垂直、及び斜め(NE,NW)方向に隣接する画素の画素値の差分値がそれぞれ等しい場合には相関方向がないと判別し、
前記同時化処理部は、前記方向判別部により相関方向がないと判別されると、同時化処理の対象画素の画素位置における他の色の画素値を、該画素位置の近傍に存在する他の色の画素の画素値を使用して算出する請求項1から10のいずれか1項に記載のカラー撮像装置。
【請求項12】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
前記フィルタ配列は、3×3画素に対応する第1の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置され、左右にRフィルタが配列された第1の配列と、3×3画素に対応する第2の配列であって、中心と4隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置され、左右にBフィルタが配列された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項1から11のいずれか1項に記載のカラー撮像装置。
【請求項13】
前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
前記フィルタ配列は、3×3画素に対応する第1の配列であって、中心にRフィルタが配置され、4隅にBフィルタが配置され、中心のRフィルタを挟んで上下左右にGフィルタが配置された第1の配列と、3×3画素に対応する第2の配列であって、中心にBフィルタが配置され、4隅にRフィルタが配置され、中心のBフィルタを挟んで上下左右にGフィルタが配置された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項1から11のいずれか1項に記載のカラー撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2013−48410(P2013−48410A)
【公開日】平成25年3月7日(2013.3.7)
【国際特許分類】
【出願番号】特願2012−165734(P2012−165734)
【出願日】平成24年7月26日(2012.7.26)
【分割の表示】特願2012−524427(P2012−524427)の分割
【原出願日】平成23年7月29日(2011.7.29)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成25年3月7日(2013.3.7)
【国際特許分類】
【出願日】平成24年7月26日(2012.7.26)
【分割の表示】特願2012−524427(P2012−524427)の分割
【原出願日】平成23年7月29日(2011.7.29)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]