カラーフィルタ、撮像素子および画像処理装置
【課題】Bayer配列に比べてより多くの色数のフィルタを用いても、解像度の低下や偽色の発生が十分に抑制でき、間引き・加算読み出しにも対応できるカラーフィルタ、撮像素子および画像処理装置を提供する。
【解決手段】カラーフィルタの色C1が市松状に配置され、色C2,C3,C4,C5がC1の存在しない位置にランダムに配置された5色の配列になっている。色配列内の任意の注目画素位置において、注目画素位置を含む規定された大きさの領域内に存在する色の存在頻度が所望の誤差範囲に収まるように規定されている。
【解決手段】カラーフィルタの色C1が市松状に配置され、色C2,C3,C4,C5がC1の存在しない位置にランダムに配置された5色の配列になっている。色配列内の任意の注目画素位置において、注目画素位置を含む規定された大きさの領域内に存在する色の存在頻度が所望の誤差範囲に収まるように規定されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラをはじめとする、固体撮像素子を利用した撮像装置に用いられるカラーフィルタ、撮像素子および画像処理装置に関するものである。
【背景技術】
【０００２】
単板式の固体撮像素子の各画素に色フィルタを貼り、その撮像素子により撮影された色のモザイク画像を用いて全画素位置に全色を揃える画像処理装置を持つ単板カラー撮像装置がある。
このような単板式の固体撮像素子を用いた撮影装置では、そのまま撮影しても単一の分光感度しか得られない。そのため、多数の画素に対してそれぞれ異なる色フィルタを貼り、それらを特定のパターンで配置してカラー撮影を行なう方法が一般的となっている。撮像された画像は、画素毎には1つの色しか得ることができず、色に関してモザイク状になった画像が生成される。しかし、周囲の画素から得られる色情報を利用して補間を行なうことにより、全画素で全ての色がそろった画像を生成することができる。このような補間処理は色分離処理やデモザイク処理と呼ばれる。
【０００３】
単板カラー撮像装置において、一般的に用いられる色フィルタ配列としてUS Patent第3,971,065号，「Bryce E. Bayer.“COLOR IMAGING ARRAY”」に示されるBayer配列が知られている。この配列は図１に示されるように、Gのフィルタが市松状に配置され、R,Bのフィルタの倍の密度で存在することを特徴としている。従って、情報量が多く、輝度に強い相関を持つGについてまず全画素に色を揃え、それをリファレンスとして残るR,Bの色を揃える画素補間方法が良く用いられる。
【０００４】
例えばUS Patent第4,716,455号,「Ozawa, Akiyama, Satoh, Nagahara and Mimura, “Chrominance Signal Interpolation Device for a Color Camera”,」に示される方法では、局所領域における各色の低周波成分の比率がほぼ一定であるという仮定の元、全画素にあらかじめGを揃え、近傍画素におけるRとGの比率の平均、B とGの比率の平均を注目画素位置のGに乗算し、不明な色成分の推定を行う。
さらに、このような補間方法において、Gのフィルタが市松状に配置されていることを利用し、水平、垂直方向の解像度を上げられることが知られている。
例えば、特許第2931520号「単板式カラービデオカメラの色分離回路」においては、補間画素位置の水平、垂直の相関値を求め、水平方向の相関が強い場合に適した処理手段と、垂直方向の相関が強い場合に適した処理手段によって得られた2つの補間値を相関値によって混合する処理が提案されている。
【０００５】
これらの技術により、単板カラー撮像装置を用いて、高い解像度で全画素位置にRGB全色を揃えることができる。
しかし、離散的に各色がサンプリングされているため撮影画像にナイキスト周波数を超える高周波成分が含まれている場合、エイリアシング(高周波成分の低周波領域への折り返し)が起き、本来と異なる色を推定してしまうという問題があった。
【０００６】
偽色と呼ばれるこの現象は、規則的に並べられた色フィルタ配列を用いると、特定の空間周波数帯域に大きな折り返しを起すため、非常に目立ちやすい。また、一度発生した偽色は、それが高周波成分の折り返しであるのか、元から存在した低周波成分であるのかの区別が付かないため、周波数フィルタを用いて取り去ることができない。
そのため従来の単板カラー撮像装置では、偽色を低減するために光学ローパスフィルタを撮像素子の手前に置き、あらかじめ撮像画像の高周波成分を取り除く必要があった。
しかし、光学ローパスフィルタがナイキスト周波数に対して急峻なカットオフを持っていないため、完全に偽色の発生を抑制しようとすれば、ナイキスト周波数よりも低い周波数帯域もカットされてしまう問題がある。
また、Bayer配列においてはR,Bのナイキスト周波数がGに比べて低く、R,Bのナイキスト周波数に合わせた光学ローパスフィルタを用いると、Gの解像度の劣化を招く。
実用上は、解像度の劣化を抑える必要があるため、完全な偽色抑制は困難であった。さらに、光学ローパスフィルタを入れることは、撮像装置の小型化や低コスト化の妨げになっていた。
【０００７】
また、R、G、Bの３色からなるBayer配列に対し、4色以上に色フィルタの数を増やしたフィルタ配列を用いて、色再現やダイナミックレンジの向上が可能であることが知られている。
図２（ａ）に示されるように狭い範囲の光の波長帯しか通さないフィルタを多数用いる方が、図２（ｃ）に示されるような広い範囲の光の波長帯を通すフィルタを少数用いるのに比べて、色再現に適している。
図２（ｂ）に示されるように透過率は異なるが同じ光の波長帯を通すフィルタを何種類か用いる方が、図２（ｃ）に示されるフィルタを用いるよりも、ダイナミックレンジを広げることができる。
それにも関わらずBayer配列が広く利用されている理由は、一つの色に対する画素数が少ないほど、その色についての解像度が劣化し偽色を発生させやすくなるためである。
【０００８】
以上の問題に対して、色フィルタ配列の規則性を減らし、偽色の発生を低減させようとする発明がなされてきた。
正確には、偽色がある特定の空間周波数帯域に偏って発生することにより、視覚的に目立ちやすく、またその除去が困難になる問題に対する発明がなされてきた。
同様に本発明で述べる偽色の低減も、特定の空間周波数帯域に偏った偽色の発生を抑制することを意味する。
【０００９】
FillFactory社（2004年にCypress社に買収された）の提案するpseudo-random Bayer（擬似ランダム・ベイヤー）配列では、Gが市松状に配置され、残った画素位置にR,Bが擬似ランダムに配置される、3色G市松擬似ランダム配列が示されている。
特開2000-316169号公報では注目画素位置の４辺又は４角で6色のフィルタと隣接するという条件の6色ランダム配列が示されている。
EP公告公報第0,804,037号,(A2)「Mutze, Ulrich, Dr.“Process and system for generating a full color image or multispectral image from the image data of a CCD image sensor with a mosaic color filter.”」では5色で3x3の繰り返しパターンと、擬似ランダムなパターンを持つ配列が示されている。
これらの配列に共通している点は、配列にランダム性が含まれている点であり、さらに後者２つは、３色を越えるフィルタ数が用いられている点が特徴として挙げられる。
配列のランダム性によって、偽色が様々な空間周波数帯域に分散され目立ちにくくなる効果が得られ、フィルタ数の増加によって、ダイナミックレンジや色再現の向上が望める。
【００１０】
しかし、FillFactory社のpseudo-random Bayer配列ではR,Bの配列が擬似ランダムとはいえ繰り返し周期が短いため、空間周波数領域における偽色の発生位置がBayer配列と多少異なるだけで、実質的には偽色低減の効果は見られず、3色の配列であるので、色再現やダイナミックレンジに関してはBayer配列相当になる。
後者２つは前者よりもランダム性を強めているので偽色低減の効果は期待できるが、全色を区別無くランダムに並べているため解像度の面ではBayer配列やpseudo-random Bayer配列に比べて不利となる。
一般的に、色分離処理においては、高い解像度で補間された色をリファレンスにして、
他の色を補間する方法が用いられる。そのため、Ｇが市松に存在し、特許番号2931520号に見られる相関処理などが使えるBayer配列やpseudo-random Bayer配列に比べると、特開2000-316169号公報やEP公告公報第0,804,037号,(A2)の配列はリファレンスとなる色を生成することが非常に困難であり、画素位置毎に再現できる周波数帯域が大きく異なってしまうという問題がある。
その上、後者２つはBayer配列に比べて色数を増やしているために、1色辺りの画素数が減り、さらに解像度が下がるのは明らかである。
【００１１】
また一般に、画素の間引きや加算を行って固体撮像素子から高速に信号を読み出す工夫がなされているが、間引きや加算は周期的なパターンで行われるため、ランダムなフィルタ配列を用いると、間引き後のフィルタ配列が元と変わってしまったり、異なる色の画素がランダムに加算されてしまったりするという問題が生じる。
以上に述べたように、フィルタ配列にランダム性を入れ、色数を増加させることは、偽色の低減や、ダイナミックレンジ・色再現の向上と引き換えに、解像度の低下や、間引き・加算読み出しでの不具合を生じさせる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2005-160044号公報
【特許文献２】US Patent第3,971,065号
【特許文献３】US Patent第4,716,455号
【特許文献４】EP公告公報第0,804,037号,(A2)
【特許文献５】特開2000-316169号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
単板カラー撮像素子に使用される色フィルタをランダムに配置して偽色の発生を抑える発明や、フィルタの色数を増やして色再現やダイナミックレンジを向上させる発明がなされてきたが、Bayer配列を代表とする従来の配列に比べて解像度が低下し、間引き・加算読み出しでの不具合を生じさせるという問題があった。
【００１４】
本発明は上記問題を解決し、Bayer配列に比べてより多くの色数のフィルタを用いても、解像度の低下や偽色の発生が十分に抑制でき、間引き・加算読み出しにも対応できるカラーフィルタ、撮像素子および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の発明のカラーフィルタは、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、前記複数種類のフィルタのうち１種類の所定のフィルタが、任意の画素位置について、当該画素位置を中心として規定された大きさの領域内における色の存在頻度が一定であるように配置され、残りのフィルタが前記１種類の所定のフィルタの存在頻度よりも小さい存在頻度で存在するよう配置されている。
【００１６】
第２の発明の撮像素子は、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、前記複数種類のフィルタのうち１種類の所定のフィルタが、任意の画素位置について、当該画素位置を中心として規定された大きさの領域内における色の存在頻度が一定であるように配置され、残りのフィルタが前記１種類の所定のフィルタの存在頻度よりも小さい存在頻度で存在するよう配置されている。
【００１７】
第３の発明の画像処理装置は、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられ、前記複数種類のフィルタのうち１種類の所定のフィルタが、任意の画素位置について、当該画素位置を中心として規定された大きさの領域内における色の存在頻度が一定であるように配置され、残りのフィルタが前記１種類の所定のフィルタの存在頻度よりも小さい存在頻度で存在するよう配置されているカラーフィルタを持つ画像センサから、画像データを入力する入力手段と、前記入力手段が入力した画像データ内の前記所定の色が存在しない画素位置における第１の色の画素値を、その周囲に存在する前記第１の色を用いて補間して第１の画像を生成する第１の補間手段と、前記第１の色以外の第２の色の画素値は注目画素位置を含む局所領域に存在する前記第１の色及び前記第２の色を用いて補間して第２の画像を生成する第２の補間手段とを有する。
【発明の効果】
【００１８】
本発明によれば、Bayer配列に比べてより多くの色数のフィルタを用いても、解像度の低下や偽色の発生が十分に抑制でき、間引き・加算読み出しにも対応できるカラーフィルタ、撮像素子および画像処理装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、従来のカラーフィルタの構成を説明するための図である。
【図２】図２は、色フィルタセットの例を説明するための図である。
【図３】図３は、本発明の第１実施形態のカラーフィルタの構成を説明するための図である。
【図４】図４は、本発明の第１実施形態の変形例を説明するための図である。
【図５】図５は、本発明の実施形態における間引き読み出し/加算読み出しの例を説明するための図である。
【図６】図６は、本発明の実施形態において局所領域に存在する画素をG,B平面にプロットした図である。
【図７】図７は、本発明の第１実施形態における5色G市松ランダム配列のカラーフィルタを説明するための図である。
【図８】図８は、本発明の実施形態であるデジタルスチルカメラの全体構成を説明するブロックダイアグラムである。
【図９】図９は、図８に示すDSPにおける処理の全体図である。
【図１０】図１０は、図９に示すG補間部201の処理手順を説明するフローチャートである。
【図１１】図１１は、図９に示すR補間部201の処理手順を説明するフローチャートである。
【図１２】図１２は、図１１に示すR補間部201のステップST404,ST405の処理手順を説明するフローチャートである。
【図１３】図１３は、図９に示すR MS-Sync部207の詳細を説明するブロックダイアグラムである。
【図１４】図１４は、修正部711の構成の一例を示すブロック図である。
【図１５】図１５は、本発明の第２実施形態を説明するための図である。
【図１６】図１６は、本発明の第２実施形態を説明するための図である。
【図１７】図１７は、本発明の第２実施形態を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態に係わるカラーフィルタ、撮像素子および画像処理装置について説明する。
＜第１実施形態＞
第１実施形態は、第１および第３の観点の発明の一例である。
本実施形態のフィルタ配列は、画素毎に、分光特性（色）が異なる複数種類のフィルタのうちどれか1つを貼るようにしてつくった画像センサのフィルタ配列であり、4つ以上の色を含み、色C1が市松状に配置され、残りの色の一部もしくは全てが色C1の存在しない画素位置にランダムに配置されるカラーフィルタ配列である。
なお、本実施形態において、色とは、フィルタ、あるいはそのフィルタから得られた画素値等を示している。
このように定められたカラーフィルタ配列では、4色以上のカラーフィルタを用いることにより、3色のカラーフィルタ配列に比べ色再現やダイナミックレンジを向上させることができる。
色C1については市松の配列を持つので、Bayer配列のG市松配列に対して使われてきた相関処理を適用でき、高周波数帯域まで信号が再現できる。
画素数の少ない色C1以外の色CXにおいて発生しやすい偽色の問題についても、ランダムな配列を用いて抑制することができ、さらに色C1をリファレンスとして色CXの高周波成分を推定（補間）することで、最終的に全画素位置で得られる色CXも高周波数成分を含んだ信号として再現できる。
【００２１】
本実施形態のカラーフィルタ配列の一例を図３に示す。本例ではC1が市松状に配置され、色C2,C3,C4,C5がC1の存在しない位置にランダムに配置された5色の配列になっている。
また、本実施形態のカラーフィルタ配列は、好ましくは、配列内の任意の注目画素位置において、注目画素位置を含む規定された大きさの領域内に存在する色の存在頻度が所望の誤差範囲に収まるように規定されている。
ある注目画素位置における不明な色を推定するためには、近傍にその色が存在している必要がある。
そこで、局所領域における色の存在頻度を所望の範囲に収め、特定の色が極端に偏って存在するフィルタ配列を除外しなければならない。
上記の条件を満たす配列は、複数回のランダム配置の試行結果から得ても良いし、
EP公告広報第0,804,037号,(A2)で言及されているように、デジタルハーフトーンで用いられている局所領域内で色を一様にランダム分布させる技術を利用してもよい。
このように本実施形態で述べるランダムという言葉は、必ずしも完全ランダムを意味せず、長周期で繰り返しを起こす擬似ランダムであっても構わない。
また、フィルタ配列の端(上下端、左右端)における色の存在頻度については、配列の上下が接合され、同様に左右も接合された空間で考えても良いし、規定された大きさの領域に比べて、フィルタ配列が十分に大きければ、端に関しては無視しても構わない。
【００２２】
図３に示すカラーフィルタ配列では、色C1が市松状に配置され、色C2,C3,C4,C5がC1の存在しない位置にランダムに配置された5色の配列であり、規定された大きさの領域を15x15画素の矩形とし、C1の存在頻度が比率として1/2、色C2,C3,C4,C5の存在頻度をそれぞれ1/8とし、存在頻度の誤差を±1/50としている。
【００２３】
また、本実施形態では、上記カラーフィルタ配列において、第1の変形例として、フィルタ配列に含まれる色が4色であり、第1の色C1が市松状に配置され、第2の色C2が色C1の存在しない画素位置で水平及び垂直に1ラインおきに配置され、第3の色C3及び第4の色C4が色C1及び色C2の存在しない画素位置にランダムに配置されるようにしてもよい。
このように定められたフィルタ配列では、C1とC2が規則正しく配列され、C3とC4がランダムに配置される。
色C1は撮像素子全体の約1/2の画素数を持ち、色C2は約1/4の画素数を持つ。
色C3,C4は2色合わせて約1/4の画素数しか持たないので、例えば色C3、C4がほぼ同数あるとすると、色C3,C4はそれぞれ約1/8の画素数しか持たないため、解像度が低く偽色が発生しやすいが、ランダムに配置することで、偽色の発生を低減することができる。
【００２４】
また、本実施形態の上記第1の変形例のカラーフィルタ配列は、例えば、色C3と色C4の分光感度の相関が高いフィルタ配列である。
このように定められたカラーフィルタ配列では、例えば色C1をGとし、色C2をRとし、色C3をＢとし、色C4をBに分光感度の近いB’とすると、Bayer配列においてBが配置されている位置に、色BとB’がランダムに配置されている配列であると考えられる。
【００２５】
以下、この配列を4色G市松ランダム配列と呼ぶ。4色G市松ランダム配列を図４に示す。
固体撮像素子の間引きや加算読み出し方法として現在用いられている技術の大半は、Bayer配列を元にして考えられており、読み出した結果得られる配列がやはりBayer配列になっていることを特徴としている。
【００２６】
間引き読み出しと加算読み出しを組み合わせて固体撮像素子から高速に信号を読み出す例を図５に示す。
この例では垂直8ライン中、4ラインが間引かれると同時に、水平方向については1ライン飛ばしで同色同士の加算が行われ、垂直方向については3ライン飛ばしで同色同士の加算が行われる。
【００２７】
これらの従来用いられてきた読み出し方法を4色G市松ランダム配列に適用した場合、間引き読み出しでは、読み出し後にも4色G市松ランダム配列になることは明らかである。
間引き読み出しを行った後でもなお、上述した存在頻度に関する条件を満たすようにあらかじめ配列を決定しておくと、より好ましい。
【００２８】
加算読み出しの場合、色GとRについてはBayer配列と同じ条件になるが、色BとB’が区別なく加算されて出力される。
例えば4画素を加算する場合を考えると、（１）色Bの画素が4個、色B’の画素が0個加算される場合、（２）色Bの画素が3個、色B’の画素が1個加算される場合、（３）色Bの画素が2個、色B’の画素が2個加算される場合、（４）色Bの画素が１個、色B’の画素が3個加算される場合、（５）色Bの画素が0個、B’の画素が4個加算される場合の5通りがある。
つまり、単色の領域であっても加算される色BとB’の個数の違いによって、Bayer配列のBの位置で得られる画素値が異なってしまうことになる。
しかし、色分離処理における計算の特徴により、本実施形態のカラーフィルタ配列で述べた色の存在頻度に比例して色BとB’の画素値をブレンドした色を新たな色B’’とすると、加算読み出しによって得られた配列はRGB’’のBayer配列と見なすことができる。
Bayer配列の色分離処理では色R,Bはその低周波成分さえ分かれば、色Gをリファレンスにして高周波成分まで含んだ信号を推定できることが知られている。
例えば、ある画素位置pにおける色Gの画素値をG(p)、G、Bの低周波成分をGlow(p)、Blow(p)とするとBの画素値B(p)は下記式(1)を用いて推定することができる。
【００２９】
【数１】
【００３０】
低周波成分は、画素位置pの近傍に存在する色GやBの加算平均として計算される。RGB画像の大半の部分において、色RとGとBの画素値の間には強い正の相関が存在する。
そのため、図６に示されるように、横軸を色Gの画素値、縦軸を色Bの画素値とした空間に対し、局所領域に存在する画素をプロットすると、限られた狭い領域内に画素が分布する。
この分布は原点と分布の中心を通る線形回帰直線、つまり式(1)で表される直線を用いて近似することができる。
ここで加算読み出しによって得られた配列に対して、Bayer配列の色Bに対して行われる低周波成分の算出と同じ計算を行うことを考える。
この計算は色BとB’が加算された結果をさらにある局所範囲内で加算平均したものである。
【００３１】
加算前の配列に対する計算として考えると、画素位置pの近傍に存在する色B、B’を加算平均したものに過ぎない。
色BとB’の分光感度が近いことから、同じ入射光パターンに対しては、ほぼ同じ周波数特性を示すことが期待でき、さらに十分に局所領域が大きければ、色BとB’の加算される画素数の比率は上述した色の存在頻度に近付くことが期待できる。
この特徴により、加算読み出しによって得られた配列を用いて、色RGB’’のBayer配列における色B’’の低周波成分を近似することができる。
色B’’の低周波成分が分かれば、B’’の画素値は式(1)に示されるようにGをリファレンスとして推定できることから、加算読み出しによって得られた配列はRGB’’のBayer配列の代わりとして用いることができる。
間引き読み出しと加算読み出しを組み合わせた場合も、同様の理由でRGB’’のBayer配列の代わりとして用いることができる。
【００３２】
本実施形態のカラーフィルタ配列は、第2の変形例として、フィルタ配列に含まれる色が5色であり、第1の色C1が市松状に配置され、第2の色C2及び第3の色C3がC1の存在しない画素位置で、水平及び垂直に1ラインおきの画素位置にランダムに配置され、第4の色C4及び第5の色C5がC1,C2,C3の存在しない画素位置にランダムに配置される。
このように定められたフィルタ配列では、フィルタ配列の色数を増やすことによって、さらに色再現やダイナミックレンジを向上させることができる。
上記第2の変形例において、上記カラーフィルタ配列において、C2とC3の分光感度の相関が高く、C4とC5の分光感度の相関が高いフィルタ配列にしてもよい。
このように定められたカラーフィルタ配列では、例えばC1をGとし、C2をRとし、C3をRに感度の近いR’とし、C4をＢとし、C5をBに感度の近いB’とすると、Bayer配列においてRが配置されている位置に、RとR’がランダムに配置され、Bが配置されている位置に、BとB’がランダムに配置されている配列であると考えられる。
【００３３】
以下、この配列を5色G市松ランダム配列と呼ぶ。
5色G市松ランダム配列を図７に示す。
5色G市松ランダム配列に対して、加算読み出しや間引き読み出しを行った場合も、請求項1-1で述べた色の存在頻度に比例してRとR’の画素値をブレンドした色を新たな色R’’とし、上記カラーフィルタ配列で述べた色の存在頻度に比例してBとB’の画素値をブレンドした色を新たな色B’’とすると、4色G市松ランダム配列と同様の理由で、読み出し後の配列はR’’GB’’のBayer配列として扱うことができる。
【００３４】
以下、本発明を内部に実装した撮像装置(デジタルビデオカメラ)の例を説明する。
図８は本実施形態であるデジタルビデオカメラシステム100の構成を示すブロックダイアグラムである。
図８に示すようにデジタルビデオカメラシステム100は、レンズ101 、絞り102 、CCDイメージセンサ103 、相関２重サンプリング回路104 、A/Dコンバータ105 、DSPブロック106 、タイミングジェネレータ107 、D/Aコンバータ108 、ビデオエンコーダ109 、ビデオモニタ110 、CODEC111 、メモリ112 、CPU113 および入力デバイス114 から構成される。
ここで、入力デバイス114 はカメラ本体にある録画ボタンなどの操作ボタン類をさす。また、DSPブロック106 は信号処理用プロセッサと画像用RAMを持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下DSPブロックを単にDSPと呼ぶ。
【００３５】
光学系を通過してCCD103 に到達した入射光は、まずCCD撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路104 によってノイズ除去され、A/Dコンバータ105 によってデジタイズされた後、DSP106中の画像メモリに一時格納されるようになっている。
【００３６】
撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ107 が信号処理系を制御するようになっている。DSP106へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはD/Aコンバータ108 もしくはCODEC111 あるいはその両方に送られる。
D/Aコンバータ108はDSP106 から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ109がビデオ信号に変換し、そのビデオ信号をビデオモニタ110でモニタできるようになっていて、このビデオモニタ110 は本実施例においてカメラのファインダの役割を担っている。
また、CODEC111はDSP106から送られる画像データに符号化をおこない、符号化された画像データはメモリ112に記録されるようになっている。ここで、メモリ112は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってもよい。
以上が本実施例のデジタルビデオカメラのシステム全体の説明であるが、本実施例中で本発明が実現されているのは、DSP106における画像処理である。以下その画像処理の部分を詳細に説明する。
【００３７】
前述のように、本実施例の画像処理部は実際には、DSP106で実現されている。したがって本実施例の構成においては、画像処理部の動作は、DSP106内部において、入力された画像信号のストリームに対して演算ユニットが所定のプログラムコードに記述された演算を順次実行するようにして実現されている。
以降の説明では、そのプログラム中の各処理単位を機能ブロックとして説明し、また各処理が実行される順序をフローチャートで説明する。しかしながら、本発明は本実施例で説明するようなプログラムという形態以外にも、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路を実装して構成してもよい。
CCD103のオンチップカラーフィルタには本発明のフィルタ配列が用いられているものとする。一時格納状態での画像は各画素１つの色しか持たない。DSP106はあらかじめ組み込まれた画像処理プログラムによってこの画像を処理し、全画素において全色もつ画像データを生成する。
【００３８】
本実施形態では図７に示す5色G市松ランダム配列から得られたモザイク画像に対して画像処理を行う場合説明する。
まず、市松状に得られたGの画素値を用い、全画素位置のGの画素値を算出する。
続いて、Gをリファレンスとし、R,R’,B,B’を全画素位置で補間する。
このようにして全画素位置に全ての色が揃った画像に対し、MS-SyncNRを適用し、偽色を除去する。
【００３９】
図９は本実施例のブロックダイヤグラムである。5色G市松ランダム配列より得られたRR’GBB’モザイク画像が入力され、G補間部201、R補間部202、R’補間部203、B補間部204、B’補間部205により全画素位置で全ての色が補間された画像であるRR’GBB’補間画像1 206 が得られる。さらにRR’GBB’補間画像206 に対して、R MS-SyncNR部207、R’MS-SyncNR部208、B MS-SyncNR部209、B’MS-SyncNR部210を適用し、最終出力であるRR’GBB’補間画像211 を得る。
【００４０】
［G補間部］
G補間部201 では全画素位置にGの画素値を補間する。
他の色に比べて画素数が多いので、Bicubic補間のような簡易な補間方法を用いても高い解像度を持った補間結果が得られる。
ここでは、Gが市松状に並べられている特長を生かす補間方法の一例として、特許番号2931520号「単板式カラービデオカメラの色分離回路」で述べられている補間方法を用いて説明を行う。
【００４１】
図１０は図９のG補間部201の処理手順を示すフローチャートである。
以下、このフローチャートに基づいて手順を説明する。
G補間部201は、ループ302 により、ループ内の処理を全画素位置において行う。
一回のループにおいて処理される一つの画素の事を、ここでは注目画素と呼ぶ。
G補間部201は、ステップST301において、モザイク画像中の注目画素位置近傍の画素値を読み込む。
次に、G補間部201は、ステップST303において、注目画素におけるフィルタの色がGであるかどうかを判定する。
次に、G補間部201は、ステップST303において、フィルタの色がGであると判定された場合、ステップST304により、注目画素の画素値をGの画素値とする。
次に、G補間部201は、ステップST303において、フィルタの色がGではないと判定された場合、ステップST305に進む。
次に、G補間部201は、ステップST305において、以下式(2)により、水平グラディエントGradHを算出し、下記式(3)により水平補間GHを算出する。M(x,y)は注目画素位置(x,y)におけるモザイク画像の画素値を表すものとする。
【００４２】
【数２】
【００４３】
【数３】
【００４４】
同様に、G補間部201は、ステップST306において、以下式(4)により、垂直グラディエントGradVを算出し、下記式(5)により垂直補間GVを算出する。
【００４５】
【数４】
【００４６】
【数５】
【００４７】
これら、GradH、GradV、GH、GVを用い、ステップST307において、注目画素のGの画素値G(x,y)が式(6)により補間される。
【００４８】
【数６】
【００４９】
ステップST304若しくはステップST307が終了したところで当該注目画素におけるGの画素値の補間が完了するので、次の注目画素位置の処理のために次のループ処理を行う。全画素においてループ処理が終了したらループ302を抜け、G補間部201の処理を完了する。
【００５０】
［R補間部202、R’補間部203、B補間部204、B’補間205］
R補間部202、R’補間部203、B補間部204、B’補間部205は対象とする色が異なる以外は同等の処理であるので、ここではR補間部202を例にして説明を行う。R’,B,B’に関する補間部203、204、205についてはR補間部202 の説明内で用いられているRの表記をR’,B,B’に読み替えれば良い。
【００５１】
図１１は、図９のR補間部202の処理手順を示すフローチャートである。以下、このフローチャートに基づいて手順を説明する。
R補間部202は、ループ403により、ループ内の処理を全画素位置において行う。一回のループにおいて処理される一つの画素のことを、ここでは注目画素と呼ぶ。
R補間部202は、ステップST401により図９のG補間部201で算出された当該注目画素近傍のGの画素値を読み込む。
さらにR補間部202は、ステップST402によりRR’GBB’モザイク画像中の注目画素位置近傍の画素値を読み込む。
次に、R補間部202は、ステップST404において注目画素におけるG画素の低周波成分Glowを算出し、ステップST405において注目画素におけるR画素の低周波成分Rlowを算出する。
R補間部202は、これらGlow、Rlowを用い、ステップST406において、注目画素のRの画素値R(x,y)を式(7)により補間する。
【００５２】
【数７】
【００５３】
ステップST406が終了したところで当該注目画素におけるRの画素値の補間が完了するので、次の注目画素の処理のために次のループ処理を行う。全画素においてループ処理が終了したらループ403を抜け、R補間部202の処理を完了する。
【００５４】
図１２（ａ）は図１１のステップST404の処理手順の詳細を示したフローチャートである。
この処理は局所領域内に含まれるG画素を加算平均する処理であり、FIRフィルタによるローパスフィルタを構成している。
先ず、R補間部202は、ステップST501により、変数Glowに0を設定して初期化する。
続いて、R補間部202は、ループ502により、ループ内の処理を注目画素を含む局所領域内の全画素位置において行う。
ここで用いる局所領域は、上述した予め規定された大きさの領域と同一のものである。
一回のループにおいて局所領域内で処理される一つの画素の事を、ここでは局所内注目画素と呼ぶ。
R補間部202は、ステップST503ではG(s,t)にWG(s,t)を乗算したものをGlowに加算し、その結果を新たなGlowとする。
ここで、G(s,t)は局所内注目画素位置(s,t)におけるGの画素値、WG(s,t)は重み付け係数を表すものとする。
WG(s,t)はローパスフィルタとなる係数であれば良く、係数の総和が1になるように選ばれる。
【００５５】
ステップST503が終了したところで当該局所内注目画素における処理が完了するので、次の局所内注目画素位置の処理のために次のループ処理を行う。全局所内画素においてループ処理が終了したらループ502を抜け、R補間部202のステップST404の処理を完了する。
【００５６】
図１２（ｂ）は図１１のステップST405の処理手順の詳細を示したフローチャートである。
この処理は局所領域内に含まれるR画素を加算平均する処理であり、FIRフィルタによるローパスフィルタを構成している。
先ず、R補間部202は、ステップST601により、変数Rlowが0に初期化される。
続いて、R補間部202は、ループ602により、ループ内の処理を注目画素を含む局所領域内の全画素位置において行う。
ここで用いる局所領域は、上述した予め規定された大きさの領域と同一のものである。
R補間部202は、ステップST603では局所内注目画素におけるフィルタの色がRであるかどうかを判定する。
R補間部202は、ステップST603において、フィルタの色がRであると判定された場合、ステップST604により、M(s,t)にWR(s,t)を乗算したものをRlowに加算し、その結果を新たなRlowとする。
ここで、M(s,t)は局所内注目画素位置(s,t)におけるモザイク画像の画素値、WR(s,t)は重み付け係数を表すものとする。
WR(s,t)はローパスフィルタとなる係数であれば良く、係数の総和が1になるように選ばれる。
ただし、R画素はランダムに配列されているため、局所領域内のRの配置に応じて、異なるWR(s,t)が用いられる。
また、WG(s,t)により構成されるローパスフィルタの特性になるべく近づくようにWR(s,t)が選ばれることが好ましい。
【００５７】
ステップST604が終了したところで当該局所内注目画素における処理が完了するので、次の局所内注目画素位置の処理のために次のループ処理をおこなう。全局所内画素においてループ処理が終了したらループ602を抜け、R補間部202のステップST405の処理を完了する。
【００５８】
［R MS-SyncNR部207、R’MS-SyncNR部208 、B MS-SyncNR部209、B’MS-SyncNR部210］
R MS-SyncNR部207 、R’MS-SyncNR部208、B MS-SyncNR部209、B’MS-SyncNR部210は対象とする色が異なる以外は同等の処理であるので、ここではR MS-SyncNR207 を例にして説明を行う。R’,B,B’に関するMS-SyncNR部208、209、210については R MS-SyncNR207 の説明内で用いられているRの表記をR’,B,B’に読み替えれば良い。
【００５９】
図１３は図９の R MS-SyncNR部207 の詳細を示したブロックダイアグラムである。
図１３に示す構成は、GとRの2チャネルの入力によりRに対してノイズ除去をおこなった出力を算出するようになっている。Gに対してRの相関がない成分が除去されれば偽色は除去されるので、本発明ではGに対するノイズ除去はおこなわない。しかしながら実用においては、Gに対してなんらかのノイズ除去をおこなった後に本発明によりRのノイズ除去をおこなうようにするのがより適切である。
R MS-SyncNR部207 は2つ多重解像度変換部701、702、多重解像度逆変換部717、多重解像度のレイヤ数より1少ない数（図13では3）の修正部711、712、713 によって構成される。第1の多重解像度変換部701はGチャネルの入力画像を多重解像度画像データに変換し、その結果多重解像度の各レイヤの画像信号を対応するメモリ703、704 705、706 に格納する。
同様に、第2の多重解像度変換部702 はRチャネルの入力画像を多重解像度画像データに変換し、その結果多重解像度の各レイヤの画像信号を対応するメモリ707、708、709、710に格納する。
【００６０】
3つの修正部711、712、713は、最低解像度のレイヤ以外のレイヤにそれぞれ対応し、各レイヤのG、Rチャネルの画像を入力として、ノイズが混在した各画素の修正をおこなって、ノイズが除去されたRチャネル画像を生成し、それを対応する画像メモリ714、715、716に格納する。
【００６１】
以下、修正部711、712、713について詳細に説明する。
修正部711、712、713は同様の構成を有し同様の動作を行うので、ここでは一例として修正部711について説明する。
図１４は、修正部711の構成の一例を示すブロック図である。
図１４に示すように、修正部711は、サンプリング処理部801及び802、分散算出処理部803、クリッピング処理部804、除算処理部805、共分散算出処理部806、乗算処理部807を有する。
【００６２】
サンプリング処理部801は、当該するレイヤのGチャネル画像から、注目画素位置に対応して設定される所定位置の近傍画素から複数個のGチャネル画素値をサンプリング（抽出）し、乗算処理部807、分散算出処理部803、および共分散算出処理部806に供給する。サンプリング処理部802は、当該するレイヤのRチャネル画像から、注目画素位置に対応して設定される所定の位置の近傍画素から複数個のRチャネル画素値をサンプリング（抽出）し、共分散算出処理部806に供給する。尚、サンプリング処理部801，802は、注目画素位置に対して設定される同一の所定の位置のG画素値とR画素値を抽出する。
【００６３】
分散算出処理部803は、サンプリングされたGの画素値に基づいて、Gの注目画素周辺の分散値を算出し、クリッピング処理部804に供給する。
【００６４】
共分散算出処理部806は、サンプリングされたGとRの画素値に基づいて、それらの共分散値を算出し、除算処理部805に供給する。クリッピング処理部804は、Gチャネルのサンプルの分散値が所定の閾値より小さい場合、その閾値でクリッピングし、除算処理部805に供給する。除算処理部805は、クリッピング処理部804より供給される分散値により、共分散算出処理部806より供給される共分散値を除算し、分散値に対する共分散値の割合(共分散値/分散値)として乗算処理部807に供給する。尚、クリッピング処理部804の処理は、後続の除算処理部805が(共分散値/分散値)を算出するため、０割を回避するための処理である。乗算処理部807は、(共分散値/分散値)に注目画素位置のGチャネル画素値を乗じることで注目画素のノイズ除去されたRチャネル画素値を推定し、それを出力する。
【００６５】
ここで、修正部711、712、713の処理の詳細について説明する。
修正部711、712、713は、チャネル間相関を利用した画素値推定方法により画素値を修正している。より具体的には、チャネル間相関を利用した画素値推定方法は、局所領域に注目した場合、2つのチャネル（例えばGとR）間には線形な関係があるという仮定に基づいて、局所領域内のある画素位置Rの推定値を線形回帰計算によって算出するというものである。
【００６６】
例えば、画像中の注目画素周辺の局所領域においてＣ1チャネル（例えばG）の画素値のサンプル（注目画素の位置に対応する所定の位置の複数の画素の画素値）｛Ｃ11，Ｃ12，Ｃ13，・・・，Ｃ1N｝とＣ2チャネル（例えばR）の画素値のサンプル（注目画素の位置に対応する所定の位置の複数の画素の画素値）｛Ｃ21，Ｃ22，Ｃ23，・・・，Ｃ2N｝とが得られたとき、上述した両者間の線形な関係があると仮定することにより、Ｃ2チャネルの注目画素位置の輝度推定値Ｃ2C’は注目画素位置のＣ1チャネルの輝度値Ｃ1Cから以下の式(8)により推定することができる。
【００６７】
【数８】
【００６８】
ここで、ＭC1は、その局所領域におけるＣ1チャネルの期待値、ＭC2は、Ｃ2チャネルの期待値、ＶC1C2は、Ｃ1，Ｃ2チャネルの共分散値、ＶC1C1は、Ｃ1チャネルの分散値である。
【００６９】
また、共分散値ＶC1C2および分散値ＶC1C1は、それぞれ以下の式(9)，式(10)により求められる。
【００７０】
【数９】
【００７１】
【数１０】
【００７２】
式(9)，式(10)において、ｗiは、所定の重み係数である。
【００７３】
従って、上述した式(8)を算出することでノイズを除去することが可能となる。しかしながら、図１３で示されるようにR MS-SyncNR部207 には多重解像度変換部701、702が設けられており、修正部711は、帯域毎に分離された画像に対して上述した２チャネルの相関を利用して画素値を修正することになる。
【００７４】
ところで、多重解像度変換により生成された複数のレイヤの画像においては、画像の直流成分は最低解像度のレイヤに集中するので、それ以外のレイヤでは局所的な画素の期待値は０になる。結果として、多重解像度処理を利用する場合、上述した式(8)乃至式(10)は、以下の式(11)乃至式(13)で置き換えられることになる。
【００７５】
【数１１】
【００７６】
【数１２】
【００７７】
【数１３】
【００７８】
従って、図１４の分散算出処理部803は、実質的に式(13)により分散値を算出し、共分散算出処理部806は、式(12)により共分散値を算出し、さらに、乗算処理部807は、式(11)により画素値を修正している（補正している）。
【００７９】
さらに、式(12)乃至式(13)の共分散値および分散値の算出処理にあたり、コンピュータによる算出処理で処理負荷の大きな乗算処理を軽減させるため、近似関数を用いて、乗算処理回数を低減させるようにしてもよく、例えば、以下の式(14)乃至式(15)のような近似関数により算出するようにしてもよい。
【００８０】
【数１４】
【００８１】
【数１５】
【００８２】
また、多重解像度逆変換部717は、各レイヤのノイズ除去されたRチャネル画像と、最低解像度のレイヤのRチャネル画像を入力として、元画像と同じ解像度の画像へ統合し、出力する。
【００８３】
以上説明したように、本実施形態では、4色以上の色フィルタを持ち、一部の色が規則的に配置され、残りの色がランダムに配置された単板カラー撮像素子に使用される色フィルタの配列を定義し、本フィルタ配列を持つカラーフィルタを用いた画像処理装置を構成する。
本実施形態のカラーフィルタは、従来用いられてきたBayer配列と比べ色数が多く、色再現やダイナミックレンジを向上させることができる。
また、本実施形態のカラーフィルタは、規則的に配置された色フィルタの存在により、Bayer配列同等の解像度を得ることができると同時に、ランダム配列と図９に示すR MS-SyncNR部207 、R’MS-SyncNR部208、B MS-SyncNR部209、B’MS-SyncNR部210を用いることで、効果的に偽色の発生を低減させることができる。
すなわち、本実施形態のカラーフィルタで得られたモザイク画像ではC1が全画素数の半分を占めるため、他の色に比べて高い解像度を持つ。そこで、まず全画素位置においてまずC1を揃え、それをリファレンスとして他の色の高周波成分を推定（補間）することで、全色が高い解像度をもった補間結果を得ることができる。
【００８４】
また、本実施形態では、カラーフィルタから得られたモザイク画像に対して画像処理を適用して得られた画像は、特定の空間周波数帯域に偏った偽色の発生が抑制され、様々な空間周波数帯域に少しずつ偽色が分散して存在している。このため人間に知覚され難く、R MS-SyncNR部207 、R’MS-SyncNR部208、B MS-SyncNR部209、B’MS-SyncNR部210を用いて効果的に除去することができる。
R MS-SyncNR部207 、R’MS-SyncNR部208、B MS-SyncNR部209、B’MS-SyncNR部210を用いた処理は、チャネル間相関を利用した画素値推定方法と同じ考え方に基づき、基準となるチャネル（例えばG）信号に対して他のチャネル信号の相関がなるべく高くなるように推定する処理をおこなうことにより、チャネル間の無相関な成分を低減し、クロマ成分に混在するノイズ成分である、色ムラや色ズレという現象をなくすことのできる画像処理方法である。本実施形態で得られた画像は、色ムラを含んだ画像と同じ特徴を持つ。様々な空間周波数帯域に分散して偽色が存在する画像は、チャネル間の相関が低くなっている状態であり、R MS-SyncNR部207 、R’MS-SyncNR部208、B MS-SyncNR部209、B’MS-SyncNR部210を用いて相関を高めることで、偽色を除去することができる。
【００８５】
なお、本実施形態のカラーフィルタは、間引き読み出し、加算読み出しを行った場合にはBayer配列同等の配列と見なすことができる。
【００８６】
＜第２実施形態＞
第２実施形態は、第２および第４の観点の発明の一例である。
本実施形態のカラーフィルタ配列は、第1実施形態で説明したカラーフィルタ配列において色C1が市松状に配置されていた点を二つの色C1aとC1bの規則的配置に置き換えたものである。
特開2005-160044号公報に述べられているように、C1aとC1bの規則的配置からC1aとC1bに基づいて作られた新たな色C1cをC1aとC1bが存在する全画素上に補間することができる。
C1aとC1bの代わりにC1cを配置した配列は、第１実施形態で説明したフィルタ配列と等しい。
すなわち、本実施形態のカラーフィルタは、第１実施形態で説明したカラーフィルタの利点を持ちながら、フィルタの色数が一つ増えることにより、さらに色再現やダイナミックレンジを向上させることができる。
【００８７】
図１５は、本実施形態のカラーフィルタの構成を説明するための図である。
図１５に示すように、本実施形態のカラーフィルタは、GとG’の２色で市松配置を構成し、残り４色をランダムに配置している。
【００８８】
図１６は、図１５に示す本実施形態のカラーフィルタを用いた場合におけるデモザイク処理を説明するための図である。
図１６に示すように、本実施形態の画像処理装置は、図９と対比すると、G補間部201に代わって(G+G’)補間部a201を用い、R(R’,B,B’)補間部202(203,204,205)と同じ処理がGとG’用に追加され(G補間部a202,G’補間部a203)、その結果5プレーンでなく6プレーン画像RR’GG’BB’補間画像1a208が生成される。
その後段のノイズ除去処理では、G画像、G’画像はランダム配列に起因するノイズが発生しないためノイズ除去処理をスルーし、図９と同様にR,R’B,B’画像の４つに対してMS-SyncNR処理がおこなわれる。
【００８９】
なお、(G+G’)補間部a201の実現には、特開2005-160044号公報に開示された補間処理アルゴリズムを利用することができる。当該公報には、２色で市松配置を構成する配列の当該2色C1,C2から第3の色をC3=(C1+C2)を全画素に補間する処理について記載されている。
本実施形態においても、第１実施形態で説明した図８示すブロック構成、並びに図９に示すフローチャートが適用できる。
【００９０】
本実施形態のカラーフィルタの変形例として、図１７に示す構成を用いてもよい。当該カラーフィルタでは、GとG’の２色で市松配置を構成し、Rが水平垂直に１画素おきに配置され、残り２色がランダムに配置されている。
【００９１】
本実施形態のカラーフィルタは、例えば、色C1をC1aとC1bに置き換えることによって、さらに色再現やダイナミックレンジを向上させることができることができる。
また、色C1aと色C1bの分光感度の相関が、他の色間の分光感度の相関に比べて高いことが好ましい。すなわち、特開2005-160044号公報に述べられているように、C1aとC1bの規則的配置からC1aとC1bに基づいて作られた新たな色C1cを作る場合、C1aとC1bの分光感度の相関が高い方が好ましい。
【００９２】
また、本実施形態のカラーフィルタを備えた画像センサによって得られたモザイク画像から、全画素で全色がそろうようなカラー画像を生成する画像処理では、色C1aとC1bを用いて新たな色C1cを算出する。
当該画像処理部は、注目画素位置に色C1aが配置されている場合、注目画素位置における色C1bの画素値を、注目画素位置を含む局所領域に存在する色C1a, C1bを用いて推定（補間）する。
上記画像処理部は、注目画素位置に色C1bが配置されている場合、注目画素位置における色C1aの画素値を、注目画素位置を含む局所領域に存在する色C1a, C1bを用いて補間する。
また、上記画像処理部は、市松の画素位置に得られたC1a及びC1bの画素値から市松の画素位置の色C1cを算出し、色C1cが存在しない画素位置における色C1cの画素値を、周囲に存在する色C1cを用いて補間し、色C1c以外の色CXは注目画素位置を含む局所領域に存在する色C1c及びCXを用いて補間する。
また、本実施形態においても、図１６に示すように、第１実施形態と同様に、R MS-SyncNR部a209、R’MS-SyncNR部a210、B MS-SyncNR部a211、B’MS-SyncNR部a212を備えている。
【００９３】
上述したように、本実施形態では、色C1aとC1bの規則的配置から色C1aとC1bに基づいて作られた新たな色C1cをC1aとC1bが存在する全画素上に補間することができる。
本実施形態においても、第１実施形態と同様の効果が得られる。
【００９４】
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
【符号の説明】
【００９５】
100 デジタルビデオカメラシステム、101 レンズ、102 絞り、103 CCDイメージセンサ、104 相関2重サンプリング回路、105 A/Dコンバータ、106 DSPブロック、107 タイミングジェネレータ、108 D/Aコンバータ、109 ビデオエンコーダ、110 ビデオモニタ、111 CODEC、112 メモリ、113 CPU、114 入力デバイス、201 G補間部、202 R補間部、203 R'補間部、204 B補間部、205 B'補間部、206 RR'GBB'補間画像、207 R MS-SyncNR部、208 R' MS-SyncNR部、209 B MS-SyncNR部、210 B' MS-SyncNR部、211 RR'GBB'補間画像、701 多重解像度変換部(G画素)、702 多重解像度変換部(R画素)、703 レイヤ0画像(G画素)、704 レイヤ1画像(G画素)、705 レイヤ2画像(G画素)、706 レイヤ3画像(G画素)、707 レイヤ0画像(R画素)、708 レイヤ1画像(R画素)、709 レイヤ2画像(R画素)、710 レイヤ3画像(R画素)、711 修正部(レイヤ0)、712 修正部(レイヤ1)、713 修正部(レイヤ2)、714 レイヤ0修正画像(R画素)、715 レイヤ1修正画像(R画素)、716 レイヤ2修正画像(R画素)、717 多重解像度逆変換部(R画素)、801 サンプリング処理部、802 サンプリング処理部、803 分散算出処理部、804 クリッピング処理部、805 除算処理部、806 共分散算出処理部、807 乗算処理部
【技術分野】
【０００１】
本発明は、デジタルカメラをはじめとする、固体撮像素子を利用した撮像装置に用いられるカラーフィルタ、撮像素子および画像処理装置に関するものである。
【背景技術】
【０００２】
単板式の固体撮像素子の各画素に色フィルタを貼り、その撮像素子により撮影された色のモザイク画像を用いて全画素位置に全色を揃える画像処理装置を持つ単板カラー撮像装置がある。
このような単板式の固体撮像素子を用いた撮影装置では、そのまま撮影しても単一の分光感度しか得られない。そのため、多数の画素に対してそれぞれ異なる色フィルタを貼り、それらを特定のパターンで配置してカラー撮影を行なう方法が一般的となっている。撮像された画像は、画素毎には1つの色しか得ることができず、色に関してモザイク状になった画像が生成される。しかし、周囲の画素から得られる色情報を利用して補間を行なうことにより、全画素で全ての色がそろった画像を生成することができる。このような補間処理は色分離処理やデモザイク処理と呼ばれる。
【０００３】
単板カラー撮像装置において、一般的に用いられる色フィルタ配列としてUS Patent第3,971,065号，「Bryce E. Bayer.“COLOR IMAGING ARRAY”」に示されるBayer配列が知られている。この配列は図１に示されるように、Gのフィルタが市松状に配置され、R,Bのフィルタの倍の密度で存在することを特徴としている。従って、情報量が多く、輝度に強い相関を持つGについてまず全画素に色を揃え、それをリファレンスとして残るR,Bの色を揃える画素補間方法が良く用いられる。
【０００４】
例えばUS Patent第4,716,455号,「Ozawa, Akiyama, Satoh, Nagahara and Mimura, “Chrominance Signal Interpolation Device for a Color Camera”,」に示される方法では、局所領域における各色の低周波成分の比率がほぼ一定であるという仮定の元、全画素にあらかじめGを揃え、近傍画素におけるRとGの比率の平均、B とGの比率の平均を注目画素位置のGに乗算し、不明な色成分の推定を行う。
さらに、このような補間方法において、Gのフィルタが市松状に配置されていることを利用し、水平、垂直方向の解像度を上げられることが知られている。
例えば、特許第2931520号「単板式カラービデオカメラの色分離回路」においては、補間画素位置の水平、垂直の相関値を求め、水平方向の相関が強い場合に適した処理手段と、垂直方向の相関が強い場合に適した処理手段によって得られた2つの補間値を相関値によって混合する処理が提案されている。
【０００５】
これらの技術により、単板カラー撮像装置を用いて、高い解像度で全画素位置にRGB全色を揃えることができる。
しかし、離散的に各色がサンプリングされているため撮影画像にナイキスト周波数を超える高周波成分が含まれている場合、エイリアシング(高周波成分の低周波領域への折り返し)が起き、本来と異なる色を推定してしまうという問題があった。
【０００６】
偽色と呼ばれるこの現象は、規則的に並べられた色フィルタ配列を用いると、特定の空間周波数帯域に大きな折り返しを起すため、非常に目立ちやすい。また、一度発生した偽色は、それが高周波成分の折り返しであるのか、元から存在した低周波成分であるのかの区別が付かないため、周波数フィルタを用いて取り去ることができない。
そのため従来の単板カラー撮像装置では、偽色を低減するために光学ローパスフィルタを撮像素子の手前に置き、あらかじめ撮像画像の高周波成分を取り除く必要があった。
しかし、光学ローパスフィルタがナイキスト周波数に対して急峻なカットオフを持っていないため、完全に偽色の発生を抑制しようとすれば、ナイキスト周波数よりも低い周波数帯域もカットされてしまう問題がある。
また、Bayer配列においてはR,Bのナイキスト周波数がGに比べて低く、R,Bのナイキスト周波数に合わせた光学ローパスフィルタを用いると、Gの解像度の劣化を招く。
実用上は、解像度の劣化を抑える必要があるため、完全な偽色抑制は困難であった。さらに、光学ローパスフィルタを入れることは、撮像装置の小型化や低コスト化の妨げになっていた。
【０００７】
また、R、G、Bの３色からなるBayer配列に対し、4色以上に色フィルタの数を増やしたフィルタ配列を用いて、色再現やダイナミックレンジの向上が可能であることが知られている。
図２（ａ）に示されるように狭い範囲の光の波長帯しか通さないフィルタを多数用いる方が、図２（ｃ）に示されるような広い範囲の光の波長帯を通すフィルタを少数用いるのに比べて、色再現に適している。
図２（ｂ）に示されるように透過率は異なるが同じ光の波長帯を通すフィルタを何種類か用いる方が、図２（ｃ）に示されるフィルタを用いるよりも、ダイナミックレンジを広げることができる。
それにも関わらずBayer配列が広く利用されている理由は、一つの色に対する画素数が少ないほど、その色についての解像度が劣化し偽色を発生させやすくなるためである。
【０００８】
以上の問題に対して、色フィルタ配列の規則性を減らし、偽色の発生を低減させようとする発明がなされてきた。
正確には、偽色がある特定の空間周波数帯域に偏って発生することにより、視覚的に目立ちやすく、またその除去が困難になる問題に対する発明がなされてきた。
同様に本発明で述べる偽色の低減も、特定の空間周波数帯域に偏った偽色の発生を抑制することを意味する。
【０００９】
FillFactory社（2004年にCypress社に買収された）の提案するpseudo-random Bayer（擬似ランダム・ベイヤー）配列では、Gが市松状に配置され、残った画素位置にR,Bが擬似ランダムに配置される、3色G市松擬似ランダム配列が示されている。
特開2000-316169号公報では注目画素位置の４辺又は４角で6色のフィルタと隣接するという条件の6色ランダム配列が示されている。
EP公告公報第0,804,037号,(A2)「Mutze, Ulrich, Dr.“Process and system for generating a full color image or multispectral image from the image data of a CCD image sensor with a mosaic color filter.”」では5色で3x3の繰り返しパターンと、擬似ランダムなパターンを持つ配列が示されている。
これらの配列に共通している点は、配列にランダム性が含まれている点であり、さらに後者２つは、３色を越えるフィルタ数が用いられている点が特徴として挙げられる。
配列のランダム性によって、偽色が様々な空間周波数帯域に分散され目立ちにくくなる効果が得られ、フィルタ数の増加によって、ダイナミックレンジや色再現の向上が望める。
【００１０】
しかし、FillFactory社のpseudo-random Bayer配列ではR,Bの配列が擬似ランダムとはいえ繰り返し周期が短いため、空間周波数領域における偽色の発生位置がBayer配列と多少異なるだけで、実質的には偽色低減の効果は見られず、3色の配列であるので、色再現やダイナミックレンジに関してはBayer配列相当になる。
後者２つは前者よりもランダム性を強めているので偽色低減の効果は期待できるが、全色を区別無くランダムに並べているため解像度の面ではBayer配列やpseudo-random Bayer配列に比べて不利となる。
一般的に、色分離処理においては、高い解像度で補間された色をリファレンスにして、
他の色を補間する方法が用いられる。そのため、Ｇが市松に存在し、特許番号2931520号に見られる相関処理などが使えるBayer配列やpseudo-random Bayer配列に比べると、特開2000-316169号公報やEP公告公報第0,804,037号,(A2)の配列はリファレンスとなる色を生成することが非常に困難であり、画素位置毎に再現できる周波数帯域が大きく異なってしまうという問題がある。
その上、後者２つはBayer配列に比べて色数を増やしているために、1色辺りの画素数が減り、さらに解像度が下がるのは明らかである。
【００１１】
また一般に、画素の間引きや加算を行って固体撮像素子から高速に信号を読み出す工夫がなされているが、間引きや加算は周期的なパターンで行われるため、ランダムなフィルタ配列を用いると、間引き後のフィルタ配列が元と変わってしまったり、異なる色の画素がランダムに加算されてしまったりするという問題が生じる。
以上に述べたように、フィルタ配列にランダム性を入れ、色数を増加させることは、偽色の低減や、ダイナミックレンジ・色再現の向上と引き換えに、解像度の低下や、間引き・加算読み出しでの不具合を生じさせる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2005-160044号公報
【特許文献２】US Patent第3,971,065号
【特許文献３】US Patent第4,716,455号
【特許文献４】EP公告公報第0,804,037号,(A2)
【特許文献５】特開2000-316169号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
単板カラー撮像素子に使用される色フィルタをランダムに配置して偽色の発生を抑える発明や、フィルタの色数を増やして色再現やダイナミックレンジを向上させる発明がなされてきたが、Bayer配列を代表とする従来の配列に比べて解像度が低下し、間引き・加算読み出しでの不具合を生じさせるという問題があった。
【００１４】
本発明は上記問題を解決し、Bayer配列に比べてより多くの色数のフィルタを用いても、解像度の低下や偽色の発生が十分に抑制でき、間引き・加算読み出しにも対応できるカラーフィルタ、撮像素子および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の発明のカラーフィルタは、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、前記複数種類のフィルタのうち１種類の所定のフィルタが、任意の画素位置について、当該画素位置を中心として規定された大きさの領域内における色の存在頻度が一定であるように配置され、残りのフィルタが前記１種類の所定のフィルタの存在頻度よりも小さい存在頻度で存在するよう配置されている。
【００１６】
第２の発明の撮像素子は、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、前記複数種類のフィルタのうち１種類の所定のフィルタが、任意の画素位置について、当該画素位置を中心として規定された大きさの領域内における色の存在頻度が一定であるように配置され、残りのフィルタが前記１種類の所定のフィルタの存在頻度よりも小さい存在頻度で存在するよう配置されている。
【００１７】
第３の発明の画像処理装置は、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられ、前記複数種類のフィルタのうち１種類の所定のフィルタが、任意の画素位置について、当該画素位置を中心として規定された大きさの領域内における色の存在頻度が一定であるように配置され、残りのフィルタが前記１種類の所定のフィルタの存在頻度よりも小さい存在頻度で存在するよう配置されているカラーフィルタを持つ画像センサから、画像データを入力する入力手段と、前記入力手段が入力した画像データ内の前記所定の色が存在しない画素位置における第１の色の画素値を、その周囲に存在する前記第１の色を用いて補間して第１の画像を生成する第１の補間手段と、前記第１の色以外の第２の色の画素値は注目画素位置を含む局所領域に存在する前記第１の色及び前記第２の色を用いて補間して第２の画像を生成する第２の補間手段とを有する。
【発明の効果】
【００１８】
本発明によれば、Bayer配列に比べてより多くの色数のフィルタを用いても、解像度の低下や偽色の発生が十分に抑制でき、間引き・加算読み出しにも対応できるカラーフィルタ、撮像素子および画像処理装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、従来のカラーフィルタの構成を説明するための図である。
【図２】図２は、色フィルタセットの例を説明するための図である。
【図３】図３は、本発明の第１実施形態のカラーフィルタの構成を説明するための図である。
【図４】図４は、本発明の第１実施形態の変形例を説明するための図である。
【図５】図５は、本発明の実施形態における間引き読み出し/加算読み出しの例を説明するための図である。
【図６】図６は、本発明の実施形態において局所領域に存在する画素をG,B平面にプロットした図である。
【図７】図７は、本発明の第１実施形態における5色G市松ランダム配列のカラーフィルタを説明するための図である。
【図８】図８は、本発明の実施形態であるデジタルスチルカメラの全体構成を説明するブロックダイアグラムである。
【図９】図９は、図８に示すDSPにおける処理の全体図である。
【図１０】図１０は、図９に示すG補間部201の処理手順を説明するフローチャートである。
【図１１】図１１は、図９に示すR補間部201の処理手順を説明するフローチャートである。
【図１２】図１２は、図１１に示すR補間部201のステップST404,ST405の処理手順を説明するフローチャートである。
【図１３】図１３は、図９に示すR MS-Sync部207の詳細を説明するブロックダイアグラムである。
【図１４】図１４は、修正部711の構成の一例を示すブロック図である。
【図１５】図１５は、本発明の第２実施形態を説明するための図である。
【図１６】図１６は、本発明の第２実施形態を説明するための図である。
【図１７】図１７は、本発明の第２実施形態を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態に係わるカラーフィルタ、撮像素子および画像処理装置について説明する。
＜第１実施形態＞
第１実施形態は、第１および第３の観点の発明の一例である。
本実施形態のフィルタ配列は、画素毎に、分光特性（色）が異なる複数種類のフィルタのうちどれか1つを貼るようにしてつくった画像センサのフィルタ配列であり、4つ以上の色を含み、色C1が市松状に配置され、残りの色の一部もしくは全てが色C1の存在しない画素位置にランダムに配置されるカラーフィルタ配列である。
なお、本実施形態において、色とは、フィルタ、あるいはそのフィルタから得られた画素値等を示している。
このように定められたカラーフィルタ配列では、4色以上のカラーフィルタを用いることにより、3色のカラーフィルタ配列に比べ色再現やダイナミックレンジを向上させることができる。
色C1については市松の配列を持つので、Bayer配列のG市松配列に対して使われてきた相関処理を適用でき、高周波数帯域まで信号が再現できる。
画素数の少ない色C1以外の色CXにおいて発生しやすい偽色の問題についても、ランダムな配列を用いて抑制することができ、さらに色C1をリファレンスとして色CXの高周波成分を推定（補間）することで、最終的に全画素位置で得られる色CXも高周波数成分を含んだ信号として再現できる。
【００２１】
本実施形態のカラーフィルタ配列の一例を図３に示す。本例ではC1が市松状に配置され、色C2,C3,C4,C5がC1の存在しない位置にランダムに配置された5色の配列になっている。
また、本実施形態のカラーフィルタ配列は、好ましくは、配列内の任意の注目画素位置において、注目画素位置を含む規定された大きさの領域内に存在する色の存在頻度が所望の誤差範囲に収まるように規定されている。
ある注目画素位置における不明な色を推定するためには、近傍にその色が存在している必要がある。
そこで、局所領域における色の存在頻度を所望の範囲に収め、特定の色が極端に偏って存在するフィルタ配列を除外しなければならない。
上記の条件を満たす配列は、複数回のランダム配置の試行結果から得ても良いし、
EP公告広報第0,804,037号,(A2)で言及されているように、デジタルハーフトーンで用いられている局所領域内で色を一様にランダム分布させる技術を利用してもよい。
このように本実施形態で述べるランダムという言葉は、必ずしも完全ランダムを意味せず、長周期で繰り返しを起こす擬似ランダムであっても構わない。
また、フィルタ配列の端(上下端、左右端)における色の存在頻度については、配列の上下が接合され、同様に左右も接合された空間で考えても良いし、規定された大きさの領域に比べて、フィルタ配列が十分に大きければ、端に関しては無視しても構わない。
【００２２】
図３に示すカラーフィルタ配列では、色C1が市松状に配置され、色C2,C3,C4,C5がC1の存在しない位置にランダムに配置された5色の配列であり、規定された大きさの領域を15x15画素の矩形とし、C1の存在頻度が比率として1/2、色C2,C3,C4,C5の存在頻度をそれぞれ1/8とし、存在頻度の誤差を±1/50としている。
【００２３】
また、本実施形態では、上記カラーフィルタ配列において、第1の変形例として、フィルタ配列に含まれる色が4色であり、第1の色C1が市松状に配置され、第2の色C2が色C1の存在しない画素位置で水平及び垂直に1ラインおきに配置され、第3の色C3及び第4の色C4が色C1及び色C2の存在しない画素位置にランダムに配置されるようにしてもよい。
このように定められたフィルタ配列では、C1とC2が規則正しく配列され、C3とC4がランダムに配置される。
色C1は撮像素子全体の約1/2の画素数を持ち、色C2は約1/4の画素数を持つ。
色C3,C4は2色合わせて約1/4の画素数しか持たないので、例えば色C3、C4がほぼ同数あるとすると、色C3,C4はそれぞれ約1/8の画素数しか持たないため、解像度が低く偽色が発生しやすいが、ランダムに配置することで、偽色の発生を低減することができる。
【００２４】
また、本実施形態の上記第1の変形例のカラーフィルタ配列は、例えば、色C3と色C4の分光感度の相関が高いフィルタ配列である。
このように定められたカラーフィルタ配列では、例えば色C1をGとし、色C2をRとし、色C3をＢとし、色C4をBに分光感度の近いB’とすると、Bayer配列においてBが配置されている位置に、色BとB’がランダムに配置されている配列であると考えられる。
【００２５】
以下、この配列を4色G市松ランダム配列と呼ぶ。4色G市松ランダム配列を図４に示す。
固体撮像素子の間引きや加算読み出し方法として現在用いられている技術の大半は、Bayer配列を元にして考えられており、読み出した結果得られる配列がやはりBayer配列になっていることを特徴としている。
【００２６】
間引き読み出しと加算読み出しを組み合わせて固体撮像素子から高速に信号を読み出す例を図５に示す。
この例では垂直8ライン中、4ラインが間引かれると同時に、水平方向については1ライン飛ばしで同色同士の加算が行われ、垂直方向については3ライン飛ばしで同色同士の加算が行われる。
【００２７】
これらの従来用いられてきた読み出し方法を4色G市松ランダム配列に適用した場合、間引き読み出しでは、読み出し後にも4色G市松ランダム配列になることは明らかである。
間引き読み出しを行った後でもなお、上述した存在頻度に関する条件を満たすようにあらかじめ配列を決定しておくと、より好ましい。
【００２８】
加算読み出しの場合、色GとRについてはBayer配列と同じ条件になるが、色BとB’が区別なく加算されて出力される。
例えば4画素を加算する場合を考えると、（１）色Bの画素が4個、色B’の画素が0個加算される場合、（２）色Bの画素が3個、色B’の画素が1個加算される場合、（３）色Bの画素が2個、色B’の画素が2個加算される場合、（４）色Bの画素が１個、色B’の画素が3個加算される場合、（５）色Bの画素が0個、B’の画素が4個加算される場合の5通りがある。
つまり、単色の領域であっても加算される色BとB’の個数の違いによって、Bayer配列のBの位置で得られる画素値が異なってしまうことになる。
しかし、色分離処理における計算の特徴により、本実施形態のカラーフィルタ配列で述べた色の存在頻度に比例して色BとB’の画素値をブレンドした色を新たな色B’’とすると、加算読み出しによって得られた配列はRGB’’のBayer配列と見なすことができる。
Bayer配列の色分離処理では色R,Bはその低周波成分さえ分かれば、色Gをリファレンスにして高周波成分まで含んだ信号を推定できることが知られている。
例えば、ある画素位置pにおける色Gの画素値をG(p)、G、Bの低周波成分をGlow(p)、Blow(p)とするとBの画素値B(p)は下記式(1)を用いて推定することができる。
【００２９】
【数１】
【００３０】
低周波成分は、画素位置pの近傍に存在する色GやBの加算平均として計算される。RGB画像の大半の部分において、色RとGとBの画素値の間には強い正の相関が存在する。
そのため、図６に示されるように、横軸を色Gの画素値、縦軸を色Bの画素値とした空間に対し、局所領域に存在する画素をプロットすると、限られた狭い領域内に画素が分布する。
この分布は原点と分布の中心を通る線形回帰直線、つまり式(1)で表される直線を用いて近似することができる。
ここで加算読み出しによって得られた配列に対して、Bayer配列の色Bに対して行われる低周波成分の算出と同じ計算を行うことを考える。
この計算は色BとB’が加算された結果をさらにある局所範囲内で加算平均したものである。
【００３１】
加算前の配列に対する計算として考えると、画素位置pの近傍に存在する色B、B’を加算平均したものに過ぎない。
色BとB’の分光感度が近いことから、同じ入射光パターンに対しては、ほぼ同じ周波数特性を示すことが期待でき、さらに十分に局所領域が大きければ、色BとB’の加算される画素数の比率は上述した色の存在頻度に近付くことが期待できる。
この特徴により、加算読み出しによって得られた配列を用いて、色RGB’’のBayer配列における色B’’の低周波成分を近似することができる。
色B’’の低周波成分が分かれば、B’’の画素値は式(1)に示されるようにGをリファレンスとして推定できることから、加算読み出しによって得られた配列はRGB’’のBayer配列の代わりとして用いることができる。
間引き読み出しと加算読み出しを組み合わせた場合も、同様の理由でRGB’’のBayer配列の代わりとして用いることができる。
【００３２】
本実施形態のカラーフィルタ配列は、第2の変形例として、フィルタ配列に含まれる色が5色であり、第1の色C1が市松状に配置され、第2の色C2及び第3の色C3がC1の存在しない画素位置で、水平及び垂直に1ラインおきの画素位置にランダムに配置され、第4の色C4及び第5の色C5がC1,C2,C3の存在しない画素位置にランダムに配置される。
このように定められたフィルタ配列では、フィルタ配列の色数を増やすことによって、さらに色再現やダイナミックレンジを向上させることができる。
上記第2の変形例において、上記カラーフィルタ配列において、C2とC3の分光感度の相関が高く、C4とC5の分光感度の相関が高いフィルタ配列にしてもよい。
このように定められたカラーフィルタ配列では、例えばC1をGとし、C2をRとし、C3をRに感度の近いR’とし、C4をＢとし、C5をBに感度の近いB’とすると、Bayer配列においてRが配置されている位置に、RとR’がランダムに配置され、Bが配置されている位置に、BとB’がランダムに配置されている配列であると考えられる。
【００３３】
以下、この配列を5色G市松ランダム配列と呼ぶ。
5色G市松ランダム配列を図７に示す。
5色G市松ランダム配列に対して、加算読み出しや間引き読み出しを行った場合も、請求項1-1で述べた色の存在頻度に比例してRとR’の画素値をブレンドした色を新たな色R’’とし、上記カラーフィルタ配列で述べた色の存在頻度に比例してBとB’の画素値をブレンドした色を新たな色B’’とすると、4色G市松ランダム配列と同様の理由で、読み出し後の配列はR’’GB’’のBayer配列として扱うことができる。
【００３４】
以下、本発明を内部に実装した撮像装置(デジタルビデオカメラ)の例を説明する。
図８は本実施形態であるデジタルビデオカメラシステム100の構成を示すブロックダイアグラムである。
図８に示すようにデジタルビデオカメラシステム100は、レンズ101 、絞り102 、CCDイメージセンサ103 、相関２重サンプリング回路104 、A/Dコンバータ105 、DSPブロック106 、タイミングジェネレータ107 、D/Aコンバータ108 、ビデオエンコーダ109 、ビデオモニタ110 、CODEC111 、メモリ112 、CPU113 および入力デバイス114 から構成される。
ここで、入力デバイス114 はカメラ本体にある録画ボタンなどの操作ボタン類をさす。また、DSPブロック106 は信号処理用プロセッサと画像用RAMを持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下DSPブロックを単にDSPと呼ぶ。
【００３５】
光学系を通過してCCD103 に到達した入射光は、まずCCD撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路104 によってノイズ除去され、A/Dコンバータ105 によってデジタイズされた後、DSP106中の画像メモリに一時格納されるようになっている。
【００３６】
撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ107 が信号処理系を制御するようになっている。DSP106へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはD/Aコンバータ108 もしくはCODEC111 あるいはその両方に送られる。
D/Aコンバータ108はDSP106 から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ109がビデオ信号に変換し、そのビデオ信号をビデオモニタ110でモニタできるようになっていて、このビデオモニタ110 は本実施例においてカメラのファインダの役割を担っている。
また、CODEC111はDSP106から送られる画像データに符号化をおこない、符号化された画像データはメモリ112に記録されるようになっている。ここで、メモリ112は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってもよい。
以上が本実施例のデジタルビデオカメラのシステム全体の説明であるが、本実施例中で本発明が実現されているのは、DSP106における画像処理である。以下その画像処理の部分を詳細に説明する。
【００３７】
前述のように、本実施例の画像処理部は実際には、DSP106で実現されている。したがって本実施例の構成においては、画像処理部の動作は、DSP106内部において、入力された画像信号のストリームに対して演算ユニットが所定のプログラムコードに記述された演算を順次実行するようにして実現されている。
以降の説明では、そのプログラム中の各処理単位を機能ブロックとして説明し、また各処理が実行される順序をフローチャートで説明する。しかしながら、本発明は本実施例で説明するようなプログラムという形態以外にも、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路を実装して構成してもよい。
CCD103のオンチップカラーフィルタには本発明のフィルタ配列が用いられているものとする。一時格納状態での画像は各画素１つの色しか持たない。DSP106はあらかじめ組み込まれた画像処理プログラムによってこの画像を処理し、全画素において全色もつ画像データを生成する。
【００３８】
本実施形態では図７に示す5色G市松ランダム配列から得られたモザイク画像に対して画像処理を行う場合説明する。
まず、市松状に得られたGの画素値を用い、全画素位置のGの画素値を算出する。
続いて、Gをリファレンスとし、R,R’,B,B’を全画素位置で補間する。
このようにして全画素位置に全ての色が揃った画像に対し、MS-SyncNRを適用し、偽色を除去する。
【００３９】
図９は本実施例のブロックダイヤグラムである。5色G市松ランダム配列より得られたRR’GBB’モザイク画像が入力され、G補間部201、R補間部202、R’補間部203、B補間部204、B’補間部205により全画素位置で全ての色が補間された画像であるRR’GBB’補間画像1 206 が得られる。さらにRR’GBB’補間画像206 に対して、R MS-SyncNR部207、R’MS-SyncNR部208、B MS-SyncNR部209、B’MS-SyncNR部210を適用し、最終出力であるRR’GBB’補間画像211 を得る。
【００４０】
［G補間部］
G補間部201 では全画素位置にGの画素値を補間する。
他の色に比べて画素数が多いので、Bicubic補間のような簡易な補間方法を用いても高い解像度を持った補間結果が得られる。
ここでは、Gが市松状に並べられている特長を生かす補間方法の一例として、特許番号2931520号「単板式カラービデオカメラの色分離回路」で述べられている補間方法を用いて説明を行う。
【００４１】
図１０は図９のG補間部201の処理手順を示すフローチャートである。
以下、このフローチャートに基づいて手順を説明する。
G補間部201は、ループ302 により、ループ内の処理を全画素位置において行う。
一回のループにおいて処理される一つの画素の事を、ここでは注目画素と呼ぶ。
G補間部201は、ステップST301において、モザイク画像中の注目画素位置近傍の画素値を読み込む。
次に、G補間部201は、ステップST303において、注目画素におけるフィルタの色がGであるかどうかを判定する。
次に、G補間部201は、ステップST303において、フィルタの色がGであると判定された場合、ステップST304により、注目画素の画素値をGの画素値とする。
次に、G補間部201は、ステップST303において、フィルタの色がGではないと判定された場合、ステップST305に進む。
次に、G補間部201は、ステップST305において、以下式(2)により、水平グラディエントGradHを算出し、下記式(3)により水平補間GHを算出する。M(x,y)は注目画素位置(x,y)におけるモザイク画像の画素値を表すものとする。
【００４２】
【数２】
【００４３】
【数３】
【００４４】
同様に、G補間部201は、ステップST306において、以下式(4)により、垂直グラディエントGradVを算出し、下記式(5)により垂直補間GVを算出する。
【００４５】
【数４】
【００４６】
【数５】
【００４７】
これら、GradH、GradV、GH、GVを用い、ステップST307において、注目画素のGの画素値G(x,y)が式(6)により補間される。
【００４８】
【数６】
【００４９】
ステップST304若しくはステップST307が終了したところで当該注目画素におけるGの画素値の補間が完了するので、次の注目画素位置の処理のために次のループ処理を行う。全画素においてループ処理が終了したらループ302を抜け、G補間部201の処理を完了する。
【００５０】
［R補間部202、R’補間部203、B補間部204、B’補間205］
R補間部202、R’補間部203、B補間部204、B’補間部205は対象とする色が異なる以外は同等の処理であるので、ここではR補間部202を例にして説明を行う。R’,B,B’に関する補間部203、204、205についてはR補間部202 の説明内で用いられているRの表記をR’,B,B’に読み替えれば良い。
【００５１】
図１１は、図９のR補間部202の処理手順を示すフローチャートである。以下、このフローチャートに基づいて手順を説明する。
R補間部202は、ループ403により、ループ内の処理を全画素位置において行う。一回のループにおいて処理される一つの画素のことを、ここでは注目画素と呼ぶ。
R補間部202は、ステップST401により図９のG補間部201で算出された当該注目画素近傍のGの画素値を読み込む。
さらにR補間部202は、ステップST402によりRR’GBB’モザイク画像中の注目画素位置近傍の画素値を読み込む。
次に、R補間部202は、ステップST404において注目画素におけるG画素の低周波成分Glowを算出し、ステップST405において注目画素におけるR画素の低周波成分Rlowを算出する。
R補間部202は、これらGlow、Rlowを用い、ステップST406において、注目画素のRの画素値R(x,y)を式(7)により補間する。
【００５２】
【数７】
【００５３】
ステップST406が終了したところで当該注目画素におけるRの画素値の補間が完了するので、次の注目画素の処理のために次のループ処理を行う。全画素においてループ処理が終了したらループ403を抜け、R補間部202の処理を完了する。
【００５４】
図１２（ａ）は図１１のステップST404の処理手順の詳細を示したフローチャートである。
この処理は局所領域内に含まれるG画素を加算平均する処理であり、FIRフィルタによるローパスフィルタを構成している。
先ず、R補間部202は、ステップST501により、変数Glowに0を設定して初期化する。
続いて、R補間部202は、ループ502により、ループ内の処理を注目画素を含む局所領域内の全画素位置において行う。
ここで用いる局所領域は、上述した予め規定された大きさの領域と同一のものである。
一回のループにおいて局所領域内で処理される一つの画素の事を、ここでは局所内注目画素と呼ぶ。
R補間部202は、ステップST503ではG(s,t)にWG(s,t)を乗算したものをGlowに加算し、その結果を新たなGlowとする。
ここで、G(s,t)は局所内注目画素位置(s,t)におけるGの画素値、WG(s,t)は重み付け係数を表すものとする。
WG(s,t)はローパスフィルタとなる係数であれば良く、係数の総和が1になるように選ばれる。
【００５５】
ステップST503が終了したところで当該局所内注目画素における処理が完了するので、次の局所内注目画素位置の処理のために次のループ処理を行う。全局所内画素においてループ処理が終了したらループ502を抜け、R補間部202のステップST404の処理を完了する。
【００５６】
図１２（ｂ）は図１１のステップST405の処理手順の詳細を示したフローチャートである。
この処理は局所領域内に含まれるR画素を加算平均する処理であり、FIRフィルタによるローパスフィルタを構成している。
先ず、R補間部202は、ステップST601により、変数Rlowが0に初期化される。
続いて、R補間部202は、ループ602により、ループ内の処理を注目画素を含む局所領域内の全画素位置において行う。
ここで用いる局所領域は、上述した予め規定された大きさの領域と同一のものである。
R補間部202は、ステップST603では局所内注目画素におけるフィルタの色がRであるかどうかを判定する。
R補間部202は、ステップST603において、フィルタの色がRであると判定された場合、ステップST604により、M(s,t)にWR(s,t)を乗算したものをRlowに加算し、その結果を新たなRlowとする。
ここで、M(s,t)は局所内注目画素位置(s,t)におけるモザイク画像の画素値、WR(s,t)は重み付け係数を表すものとする。
WR(s,t)はローパスフィルタとなる係数であれば良く、係数の総和が1になるように選ばれる。
ただし、R画素はランダムに配列されているため、局所領域内のRの配置に応じて、異なるWR(s,t)が用いられる。
また、WG(s,t)により構成されるローパスフィルタの特性になるべく近づくようにWR(s,t)が選ばれることが好ましい。
【００５７】
ステップST604が終了したところで当該局所内注目画素における処理が完了するので、次の局所内注目画素位置の処理のために次のループ処理をおこなう。全局所内画素においてループ処理が終了したらループ602を抜け、R補間部202のステップST405の処理を完了する。
【００５８】
［R MS-SyncNR部207、R’MS-SyncNR部208 、B MS-SyncNR部209、B’MS-SyncNR部210］
R MS-SyncNR部207 、R’MS-SyncNR部208、B MS-SyncNR部209、B’MS-SyncNR部210は対象とする色が異なる以外は同等の処理であるので、ここではR MS-SyncNR207 を例にして説明を行う。R’,B,B’に関するMS-SyncNR部208、209、210については R MS-SyncNR207 の説明内で用いられているRの表記をR’,B,B’に読み替えれば良い。
【００５９】
図１３は図９の R MS-SyncNR部207 の詳細を示したブロックダイアグラムである。
図１３に示す構成は、GとRの2チャネルの入力によりRに対してノイズ除去をおこなった出力を算出するようになっている。Gに対してRの相関がない成分が除去されれば偽色は除去されるので、本発明ではGに対するノイズ除去はおこなわない。しかしながら実用においては、Gに対してなんらかのノイズ除去をおこなった後に本発明によりRのノイズ除去をおこなうようにするのがより適切である。
R MS-SyncNR部207 は2つ多重解像度変換部701、702、多重解像度逆変換部717、多重解像度のレイヤ数より1少ない数（図13では3）の修正部711、712、713 によって構成される。第1の多重解像度変換部701はGチャネルの入力画像を多重解像度画像データに変換し、その結果多重解像度の各レイヤの画像信号を対応するメモリ703、704 705、706 に格納する。
同様に、第2の多重解像度変換部702 はRチャネルの入力画像を多重解像度画像データに変換し、その結果多重解像度の各レイヤの画像信号を対応するメモリ707、708、709、710に格納する。
【００６０】
3つの修正部711、712、713は、最低解像度のレイヤ以外のレイヤにそれぞれ対応し、各レイヤのG、Rチャネルの画像を入力として、ノイズが混在した各画素の修正をおこなって、ノイズが除去されたRチャネル画像を生成し、それを対応する画像メモリ714、715、716に格納する。
【００６１】
以下、修正部711、712、713について詳細に説明する。
修正部711、712、713は同様の構成を有し同様の動作を行うので、ここでは一例として修正部711について説明する。
図１４は、修正部711の構成の一例を示すブロック図である。
図１４に示すように、修正部711は、サンプリング処理部801及び802、分散算出処理部803、クリッピング処理部804、除算処理部805、共分散算出処理部806、乗算処理部807を有する。
【００６２】
サンプリング処理部801は、当該するレイヤのGチャネル画像から、注目画素位置に対応して設定される所定位置の近傍画素から複数個のGチャネル画素値をサンプリング（抽出）し、乗算処理部807、分散算出処理部803、および共分散算出処理部806に供給する。サンプリング処理部802は、当該するレイヤのRチャネル画像から、注目画素位置に対応して設定される所定の位置の近傍画素から複数個のRチャネル画素値をサンプリング（抽出）し、共分散算出処理部806に供給する。尚、サンプリング処理部801，802は、注目画素位置に対して設定される同一の所定の位置のG画素値とR画素値を抽出する。
【００６３】
分散算出処理部803は、サンプリングされたGの画素値に基づいて、Gの注目画素周辺の分散値を算出し、クリッピング処理部804に供給する。
【００６４】
共分散算出処理部806は、サンプリングされたGとRの画素値に基づいて、それらの共分散値を算出し、除算処理部805に供給する。クリッピング処理部804は、Gチャネルのサンプルの分散値が所定の閾値より小さい場合、その閾値でクリッピングし、除算処理部805に供給する。除算処理部805は、クリッピング処理部804より供給される分散値により、共分散算出処理部806より供給される共分散値を除算し、分散値に対する共分散値の割合(共分散値/分散値)として乗算処理部807に供給する。尚、クリッピング処理部804の処理は、後続の除算処理部805が(共分散値/分散値)を算出するため、０割を回避するための処理である。乗算処理部807は、(共分散値/分散値)に注目画素位置のGチャネル画素値を乗じることで注目画素のノイズ除去されたRチャネル画素値を推定し、それを出力する。
【００６５】
ここで、修正部711、712、713の処理の詳細について説明する。
修正部711、712、713は、チャネル間相関を利用した画素値推定方法により画素値を修正している。より具体的には、チャネル間相関を利用した画素値推定方法は、局所領域に注目した場合、2つのチャネル（例えばGとR）間には線形な関係があるという仮定に基づいて、局所領域内のある画素位置Rの推定値を線形回帰計算によって算出するというものである。
【００６６】
例えば、画像中の注目画素周辺の局所領域においてＣ1チャネル（例えばG）の画素値のサンプル（注目画素の位置に対応する所定の位置の複数の画素の画素値）｛Ｃ11，Ｃ12，Ｃ13，・・・，Ｃ1N｝とＣ2チャネル（例えばR）の画素値のサンプル（注目画素の位置に対応する所定の位置の複数の画素の画素値）｛Ｃ21，Ｃ22，Ｃ23，・・・，Ｃ2N｝とが得られたとき、上述した両者間の線形な関係があると仮定することにより、Ｃ2チャネルの注目画素位置の輝度推定値Ｃ2C’は注目画素位置のＣ1チャネルの輝度値Ｃ1Cから以下の式(8)により推定することができる。
【００６７】
【数８】
【００６８】
ここで、ＭC1は、その局所領域におけるＣ1チャネルの期待値、ＭC2は、Ｃ2チャネルの期待値、ＶC1C2は、Ｃ1，Ｃ2チャネルの共分散値、ＶC1C1は、Ｃ1チャネルの分散値である。
【００６９】
また、共分散値ＶC1C2および分散値ＶC1C1は、それぞれ以下の式(9)，式(10)により求められる。
【００７０】
【数９】
【００７１】
【数１０】
【００７２】
式(9)，式(10)において、ｗiは、所定の重み係数である。
【００７３】
従って、上述した式(8)を算出することでノイズを除去することが可能となる。しかしながら、図１３で示されるようにR MS-SyncNR部207 には多重解像度変換部701、702が設けられており、修正部711は、帯域毎に分離された画像に対して上述した２チャネルの相関を利用して画素値を修正することになる。
【００７４】
ところで、多重解像度変換により生成された複数のレイヤの画像においては、画像の直流成分は最低解像度のレイヤに集中するので、それ以外のレイヤでは局所的な画素の期待値は０になる。結果として、多重解像度処理を利用する場合、上述した式(8)乃至式(10)は、以下の式(11)乃至式(13)で置き換えられることになる。
【００７５】
【数１１】
【００７６】
【数１２】
【００７７】
【数１３】
【００７８】
従って、図１４の分散算出処理部803は、実質的に式(13)により分散値を算出し、共分散算出処理部806は、式(12)により共分散値を算出し、さらに、乗算処理部807は、式(11)により画素値を修正している（補正している）。
【００７９】
さらに、式(12)乃至式(13)の共分散値および分散値の算出処理にあたり、コンピュータによる算出処理で処理負荷の大きな乗算処理を軽減させるため、近似関数を用いて、乗算処理回数を低減させるようにしてもよく、例えば、以下の式(14)乃至式(15)のような近似関数により算出するようにしてもよい。
【００８０】
【数１４】
【００８１】
【数１５】
【００８２】
また、多重解像度逆変換部717は、各レイヤのノイズ除去されたRチャネル画像と、最低解像度のレイヤのRチャネル画像を入力として、元画像と同じ解像度の画像へ統合し、出力する。
【００８３】
以上説明したように、本実施形態では、4色以上の色フィルタを持ち、一部の色が規則的に配置され、残りの色がランダムに配置された単板カラー撮像素子に使用される色フィルタの配列を定義し、本フィルタ配列を持つカラーフィルタを用いた画像処理装置を構成する。
本実施形態のカラーフィルタは、従来用いられてきたBayer配列と比べ色数が多く、色再現やダイナミックレンジを向上させることができる。
また、本実施形態のカラーフィルタは、規則的に配置された色フィルタの存在により、Bayer配列同等の解像度を得ることができると同時に、ランダム配列と図９に示すR MS-SyncNR部207 、R’MS-SyncNR部208、B MS-SyncNR部209、B’MS-SyncNR部210を用いることで、効果的に偽色の発生を低減させることができる。
すなわち、本実施形態のカラーフィルタで得られたモザイク画像ではC1が全画素数の半分を占めるため、他の色に比べて高い解像度を持つ。そこで、まず全画素位置においてまずC1を揃え、それをリファレンスとして他の色の高周波成分を推定（補間）することで、全色が高い解像度をもった補間結果を得ることができる。
【００８４】
また、本実施形態では、カラーフィルタから得られたモザイク画像に対して画像処理を適用して得られた画像は、特定の空間周波数帯域に偏った偽色の発生が抑制され、様々な空間周波数帯域に少しずつ偽色が分散して存在している。このため人間に知覚され難く、R MS-SyncNR部207 、R’MS-SyncNR部208、B MS-SyncNR部209、B’MS-SyncNR部210を用いて効果的に除去することができる。
R MS-SyncNR部207 、R’MS-SyncNR部208、B MS-SyncNR部209、B’MS-SyncNR部210を用いた処理は、チャネル間相関を利用した画素値推定方法と同じ考え方に基づき、基準となるチャネル（例えばG）信号に対して他のチャネル信号の相関がなるべく高くなるように推定する処理をおこなうことにより、チャネル間の無相関な成分を低減し、クロマ成分に混在するノイズ成分である、色ムラや色ズレという現象をなくすことのできる画像処理方法である。本実施形態で得られた画像は、色ムラを含んだ画像と同じ特徴を持つ。様々な空間周波数帯域に分散して偽色が存在する画像は、チャネル間の相関が低くなっている状態であり、R MS-SyncNR部207 、R’MS-SyncNR部208、B MS-SyncNR部209、B’MS-SyncNR部210を用いて相関を高めることで、偽色を除去することができる。
【００８５】
なお、本実施形態のカラーフィルタは、間引き読み出し、加算読み出しを行った場合にはBayer配列同等の配列と見なすことができる。
【００８６】
＜第２実施形態＞
第２実施形態は、第２および第４の観点の発明の一例である。
本実施形態のカラーフィルタ配列は、第1実施形態で説明したカラーフィルタ配列において色C1が市松状に配置されていた点を二つの色C1aとC1bの規則的配置に置き換えたものである。
特開2005-160044号公報に述べられているように、C1aとC1bの規則的配置からC1aとC1bに基づいて作られた新たな色C1cをC1aとC1bが存在する全画素上に補間することができる。
C1aとC1bの代わりにC1cを配置した配列は、第１実施形態で説明したフィルタ配列と等しい。
すなわち、本実施形態のカラーフィルタは、第１実施形態で説明したカラーフィルタの利点を持ちながら、フィルタの色数が一つ増えることにより、さらに色再現やダイナミックレンジを向上させることができる。
【００８７】
図１５は、本実施形態のカラーフィルタの構成を説明するための図である。
図１５に示すように、本実施形態のカラーフィルタは、GとG’の２色で市松配置を構成し、残り４色をランダムに配置している。
【００８８】
図１６は、図１５に示す本実施形態のカラーフィルタを用いた場合におけるデモザイク処理を説明するための図である。
図１６に示すように、本実施形態の画像処理装置は、図９と対比すると、G補間部201に代わって(G+G’)補間部a201を用い、R(R’,B,B’)補間部202(203,204,205)と同じ処理がGとG’用に追加され(G補間部a202,G’補間部a203)、その結果5プレーンでなく6プレーン画像RR’GG’BB’補間画像1a208が生成される。
その後段のノイズ除去処理では、G画像、G’画像はランダム配列に起因するノイズが発生しないためノイズ除去処理をスルーし、図９と同様にR,R’B,B’画像の４つに対してMS-SyncNR処理がおこなわれる。
【００８９】
なお、(G+G’)補間部a201の実現には、特開2005-160044号公報に開示された補間処理アルゴリズムを利用することができる。当該公報には、２色で市松配置を構成する配列の当該2色C1,C2から第3の色をC3=(C1+C2)を全画素に補間する処理について記載されている。
本実施形態においても、第１実施形態で説明した図８示すブロック構成、並びに図９に示すフローチャートが適用できる。
【００９０】
本実施形態のカラーフィルタの変形例として、図１７に示す構成を用いてもよい。当該カラーフィルタでは、GとG’の２色で市松配置を構成し、Rが水平垂直に１画素おきに配置され、残り２色がランダムに配置されている。
【００９１】
本実施形態のカラーフィルタは、例えば、色C1をC1aとC1bに置き換えることによって、さらに色再現やダイナミックレンジを向上させることができることができる。
また、色C1aと色C1bの分光感度の相関が、他の色間の分光感度の相関に比べて高いことが好ましい。すなわち、特開2005-160044号公報に述べられているように、C1aとC1bの規則的配置からC1aとC1bに基づいて作られた新たな色C1cを作る場合、C1aとC1bの分光感度の相関が高い方が好ましい。
【００９２】
また、本実施形態のカラーフィルタを備えた画像センサによって得られたモザイク画像から、全画素で全色がそろうようなカラー画像を生成する画像処理では、色C1aとC1bを用いて新たな色C1cを算出する。
当該画像処理部は、注目画素位置に色C1aが配置されている場合、注目画素位置における色C1bの画素値を、注目画素位置を含む局所領域に存在する色C1a, C1bを用いて推定（補間）する。
上記画像処理部は、注目画素位置に色C1bが配置されている場合、注目画素位置における色C1aの画素値を、注目画素位置を含む局所領域に存在する色C1a, C1bを用いて補間する。
また、上記画像処理部は、市松の画素位置に得られたC1a及びC1bの画素値から市松の画素位置の色C1cを算出し、色C1cが存在しない画素位置における色C1cの画素値を、周囲に存在する色C1cを用いて補間し、色C1c以外の色CXは注目画素位置を含む局所領域に存在する色C1c及びCXを用いて補間する。
また、本実施形態においても、図１６に示すように、第１実施形態と同様に、R MS-SyncNR部a209、R’MS-SyncNR部a210、B MS-SyncNR部a211、B’MS-SyncNR部a212を備えている。
【００９３】
上述したように、本実施形態では、色C1aとC1bの規則的配置から色C1aとC1bに基づいて作られた新たな色C1cをC1aとC1bが存在する全画素上に補間することができる。
本実施形態においても、第１実施形態と同様の効果が得られる。
【００９４】
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
【符号の説明】
【００９５】
100 デジタルビデオカメラシステム、101 レンズ、102 絞り、103 CCDイメージセンサ、104 相関2重サンプリング回路、105 A/Dコンバータ、106 DSPブロック、107 タイミングジェネレータ、108 D/Aコンバータ、109 ビデオエンコーダ、110 ビデオモニタ、111 CODEC、112 メモリ、113 CPU、114 入力デバイス、201 G補間部、202 R補間部、203 R'補間部、204 B補間部、205 B'補間部、206 RR'GBB'補間画像、207 R MS-SyncNR部、208 R' MS-SyncNR部、209 B MS-SyncNR部、210 B' MS-SyncNR部、211 RR'GBB'補間画像、701 多重解像度変換部(G画素)、702 多重解像度変換部(R画素)、703 レイヤ0画像(G画素)、704 レイヤ1画像(G画素)、705 レイヤ2画像(G画素)、706 レイヤ3画像(G画素)、707 レイヤ0画像(R画素)、708 レイヤ1画像(R画素)、709 レイヤ2画像(R画素)、710 レイヤ3画像(R画素)、711 修正部(レイヤ0)、712 修正部(レイヤ1)、713 修正部(レイヤ2)、714 レイヤ0修正画像(R画素)、715 レイヤ1修正画像(R画素)、716 レイヤ2修正画像(R画素)、717 多重解像度逆変換部(R画素)、801 サンプリング処理部、802 サンプリング処理部、803 分散算出処理部、804 クリッピング処理部、805 除算処理部、806 共分散算出処理部、807 乗算処理部
【特許請求の範囲】
【請求項１】
分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、
前記複数種類のフィルタのうち１種類の所定のフィルタが、任意の画素位置について、当該画素位置を中心として規定された大きさの領域内における色の存在頻度が一定であるように配置され、残りのフィルタが前記１種類の所定のフィルタの存在頻度よりも小さい存在頻度で存在するよう配置されている
カラーフィルタ。
【請求項２】
請求項１において、任意の画素位置を中心として規定された大きさの領域内において、前記所定のフィルタの存在頻度が所望の誤差範囲に収まるように配置されている
カラーフィルタ。
【請求項３】
請求項１において、任意の画素位置を中心として規定された大きさの領域内において、前記所定のフィルタがランダムに配置されている
カラーフィルタ。
【請求項４】
分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、
前記複数種類のフィルタのうち１種類の所定のフィルタが、任意の画素位置について、当該画素位置を中心として規定された大きさの領域内における色の存在頻度が一定であるように配置され、残りのフィルタが前記１種類の所定のフィルタの存在頻度よりも小さい存在頻度で存在するよう配置されている
撮像素子。
【請求項５】
請求項４において、任意の画素位置を中心として規定された大きさの領域内において、前記所定のフィルタの存在頻度が所望の誤差範囲に収まるように配置されている
撮像素子。
【請求項６】
請求項４において、任意の画素位置を中心として規定された大きさの領域内において、前記所定のフィルタがランダムに配置されている
撮像素子。
【請求項７】
分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられ、前記複数種類のフィルタのうち１種類の所定のフィルタが、任意の画素位置について、当該画素位置を中心として規定された大きさの領域内における色の存在頻度が一定であるように配置され、残りのフィルタが前記１種類の所定のフィルタの存在頻度よりも小さい存在頻度で存在するよう配置されているカラーフィルタを持つ画像センサから、画像データを入力する入力手段と、
前記入力手段が入力した画像データ内の前記所定の色が存在しない画素位置における第１の色の画素値を、その周囲に存在する前記第１の色を用いて補間して第１の画像を生成する第１の補間手段と、
前記第１の色以外の第２の色の画素値は注目画素位置を含む局所領域に存在する前記第１の色及び前記第２の色を用いて補間して第２の画像を生成する第２の補間手段と
を有する画像処理装置。
【請求項８】
請求項７において、任意の画素位置を中心として規定された大きさの領域内において、前記所定のフィルタの存在頻度が所望の誤差範囲に収まるように配置されている
画像処理装置。
【請求項９】
請求項７において、任意の画素位置を中心として規定された大きさの領域内において、前記所定のフィルタがランダムに配置されている
画像処理装置。
【請求項１】
分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、
前記複数種類のフィルタのうち１種類の所定のフィルタが、任意の画素位置について、当該画素位置を中心として規定された大きさの領域内における色の存在頻度が一定であるように配置され、残りのフィルタが前記１種類の所定のフィルタの存在頻度よりも小さい存在頻度で存在するよう配置されている
カラーフィルタ。
【請求項２】
請求項１において、任意の画素位置を中心として規定された大きさの領域内において、前記所定のフィルタの存在頻度が所望の誤差範囲に収まるように配置されている
カラーフィルタ。
【請求項３】
請求項１において、任意の画素位置を中心として規定された大きさの領域内において、前記所定のフィルタがランダムに配置されている
カラーフィルタ。
【請求項４】
分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、
前記複数種類のフィルタのうち１種類の所定のフィルタが、任意の画素位置について、当該画素位置を中心として規定された大きさの領域内における色の存在頻度が一定であるように配置され、残りのフィルタが前記１種類の所定のフィルタの存在頻度よりも小さい存在頻度で存在するよう配置されている
撮像素子。
【請求項５】
請求項４において、任意の画素位置を中心として規定された大きさの領域内において、前記所定のフィルタの存在頻度が所望の誤差範囲に収まるように配置されている
撮像素子。
【請求項６】
請求項４において、任意の画素位置を中心として規定された大きさの領域内において、前記所定のフィルタがランダムに配置されている
撮像素子。
【請求項７】
分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられ、前記複数種類のフィルタのうち１種類の所定のフィルタが、任意の画素位置について、当該画素位置を中心として規定された大きさの領域内における色の存在頻度が一定であるように配置され、残りのフィルタが前記１種類の所定のフィルタの存在頻度よりも小さい存在頻度で存在するよう配置されているカラーフィルタを持つ画像センサから、画像データを入力する入力手段と、
前記入力手段が入力した画像データ内の前記所定の色が存在しない画素位置における第１の色の画素値を、その周囲に存在する前記第１の色を用いて補間して第１の画像を生成する第１の補間手段と、
前記第１の色以外の第２の色の画素値は注目画素位置を含む局所領域に存在する前記第１の色及び前記第２の色を用いて補間して第２の画像を生成する第２の補間手段と
を有する画像処理装置。
【請求項８】
請求項７において、任意の画素位置を中心として規定された大きさの領域内において、前記所定のフィルタの存在頻度が所望の誤差範囲に収まるように配置されている
画像処理装置。
【請求項９】
請求項７において、任意の画素位置を中心として規定された大きさの領域内において、前記所定のフィルタがランダムに配置されている
画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−１０８５３４（Ｐ２０１２−１０８５３４Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１２−１８３８０（Ｐ２０１２−１８３８０）
【出願日】平成２４年１月３１日（２０１２．１．３１）
【分割の表示】特願２０１１−８６４０３（Ｐ２０１１−８６４０３）の分割
【原出願日】平成１８年３月１４日（２００６．３．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２４年１月３１日（２０１２．１．３１）
【分割の表示】特願２０１１−８６４０３（Ｐ２０１１−８６４０３）の分割
【原出願日】平成１８年３月１４日（２００６．３．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]