光感度が改善されたイメージ・センサー
【課題】二次元画素アレイを備えるイメージ・センサーを利用した電子式キャプチャ・デバイスのために光感度を向上させる。
【解決手段】カラー画像を捕獲するため、第1の画素群と第2の画素群を有する二次元アレイを備えていて、第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭く、第1の画素群の個々の画素は、少なくとも2つの色のセットに対応する分光光応答を持つイメージ・センサーが開示されている。さらに、第1の画素群と第2の画素群の配置が、少なくとも12個の画素を含む最小繰り返し単位を持つあるパターンを規定している。この最小繰り返し単位は複数のセルを含んでおり、各セルは、第1の画素群の中から選択した特定の1つの色を表わす少なくとも2つの画素と、第2の画素群の中から選択した複数の画素とを持ち、それらの画素が、捕獲したカラー画像を異なる照明条件下で再現できるように配置されている。
【解決手段】カラー画像を捕獲するため、第1の画素群と第2の画素群を有する二次元アレイを備えていて、第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭く、第1の画素群の個々の画素は、少なくとも2つの色のセットに対応する分光光応答を持つイメージ・センサーが開示されている。さらに、第1の画素群と第2の画素群の配置が、少なくとも12個の画素を含む最小繰り返し単位を持つあるパターンを規定している。この最小繰り返し単位は複数のセルを含んでおり、各セルは、第1の画素群の中から選択した特定の1つの色を表わす少なくとも2つの画素と、第2の画素群の中から選択した複数の画素とを持ち、それらの画素が、捕獲したカラー画像を異なる照明条件下で再現できるように配置されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光感度が改善された二次元イメージ・センサーに関する。
【背景技術】
【０００２】
電子式イメージング・システムは、画像を電子的に表現にするため、電子式イメージ・センサーに頼っている。このような電子式イメージ・センサーとして、電荷結合デバイス（CCD）イメージ・センサーとアクティブ画素センサー（APS）デバイス（APSデバイスは相補型金属酸化物半導体プロセスで製造できるため、CMOSセンサーと呼ばれることがしばしばある）がある。一般に、これらイメージ・センサーには多数の感光画素が含まれていて、しばしば行と列の規則的なパターンに配置されている。カラー画像を捕獲するため、あるパターンのフィルタが一般に画素パターンの上に製造される。そのとき異なるフィルタ材料を用い、個々の画素が可視光スペクトルの一部だけに感度を持つようにする。カラー・フィルタは各画素に到達する光の量を必然的に減らすため、各画素の光感度が低下する。画像をより低いレベルの光で捕獲できるようにするため、またはより高いレベルの光で画像を捕獲して露出時間をより短くするため、電子式カラー・イメージ・センサーの光感度または写真感度を向上させることが相変わらず必要とされている。
【０００３】
イメージ・センサーは、直線状または二次元である。一般に、これらセンサーには異なる2つの用途がある。二次元センサーは、一般に、画像取得装置（例えばディジタル・カメラ、携帯電話、ならびに他の用途）に適している。直線状センサーは、文書のスキャニングにしばしば用いられる。いずれの場合にも、カラー・フィルタを用いるとイメージ・センサーの感度が低下する。
【０００４】
直線状イメージ・センサー（イーストマン・コダック社が製造したKLI-4104）は、4つの直線状単一画素ワイド・アレイを備えており、そのうちの3つのアレイにカラー・フィルタが取り付けられていてそれぞれのアレイ全体が赤、緑、青いずれかに対する感度を持つようにされ、第4のアレイにはカラー・フィルタが取り付けられていない。さらに、3つのカラー・アレイは、カラー・フィルタに起因する光感度の低下を補償するため画素がより大きく、第4のアレイはより小さくて、高解像度モノクロ画像を捕獲する。このイメージ・センサーを用いて画像が捕獲されると、その画像は、高解像度で高写真感度の1つのモノクロ画像と、写真感度がほぼ同じで解像度がより低い3つの画像として表わされる。3つの画像のそれぞれは、画像からの赤色光、緑色光、青色光いずれかに対応している。したがってこの電子画像の各点は、モノクロ値と、赤色値と、緑色値と、青色値とを有する。しかしこれは直線状イメージ・センサーであるため、画像を走査するのに4種類の直線状画素アレイの上を通過させるにはイメージ・センサーと画像の間の相対的な物理的運動が必要とされる。このようにすると画像を走査する速度が制限されるため、手で持つカメラや運動物体を含む光景の捕獲でこのセンサーを使用することはできない。
【０００５】
従来技術では、Muramatsu Akiraがアメリカ合衆国特許第4,823,186号に記載している電子式イメージング・システムも知られている。このシステムは2つのセンサーを備えていて、各センサーは二次元画素アレイを備えているが、1つのセンサーはカラー・フィルタを持たず、他方のセンサーは、画素とともに含まれたあるパターンのカラー・フィルタを備えていて、光ビーム・スプリッタが各イメージ・センサーに画像を提供する。カラー・センサーにはあるパターンのカラー・フィルタが取り付けられているため、カラー・センサーの各画素は1つの色だけを発生させる。画像がこのシステムで捕獲されるとき、電子的画像の各点は1つのモノクロ値と1つのカラー値を持つため、カラー画像は、近くの色から内挿される欠けた色を各画素位置に持つはずである。このシステムは従来の単一イメージ・センサーよりも光感度が改善されているとはいえ、2つのセンサーと1つのビーム・スプリッタを必要とするため、このシステムの複雑さ、サイズ、コストは、全体としてより大きくなる。さらに、ビーム・スプリッタは画像からの光の半分しか各センサーに向かわせないため、写真感度の改善が制限される。
【０００６】
上記の直線状イメージ・センサーに加え、二次元画素アレイを備えるイメージ・センサーが従来技術で知られている。その場合の画素は、カラー・フィルタが取り付けられていない画素を含んでいる。例えばSatoらのアメリカ合衆国特許第4,390,895号、Yamagamiらのアメリカ合衆国特許第5,323,233号、Gindeleらのアメリカ合衆国特許第6,476,865号を参照のこと。これら特許のそれぞれにおいて、フィルタなしの画素またはモノクロ画素の感度は、カラー画素よりも著しく大きい。そこで画素アレイからのカラー信号とモノクロ信号を整合させるには、カラー画素に利得を適用する必要がある。利得を大きくすると、信号とともに雑音も大きくなるため、得られる画像の全体的な信号対雑音比は低下する。アメリカ合衆国特許出願公開2003/0210332には、大半の画素にフィルタがない画素アレイが開示されているが、カラー画素には、上に述べたのと同じ感度不足の問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって二次元画素アレイを備えるイメージ・センサーを利用した電子式キャプチャ・デバイスのために光感度を向上させることが相変わらず必要とされている。
【課題を解決するための手段】
【０００８】
本発明は、カラー画素とパンクロ画素からなる二次元アレイを備えていて高感度でフル・カラー画像を生成させるのに有効なイメージ・センサーを提供することを目的とする。
【０００９】
簡単にまとめると、本発明の1つの特徴により、カラー画像を捕獲するためのイメージ・センサーであって、2つの画素群を有する二次元アレイを備えていて、第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭く、第1の画素群からの個々の画素は、少なくとも2つの色のセットに対応する分光光応答を持ち、第1の画素群と第2の画素群の配置が、少なくとも12個の画素を含む最小繰り返し単位を持つあるパターンを規定していて、その最小繰り返し単位は複数のセルを含むことによって規定され、各セルは、第1の画素群の中から選択した特定の1つの色を表わす少なくとも2つの画素と、第2の画素群の中から選択した複数の画素とを持ち、それらの画素が、捕獲したカラー画像を異なる照明条件下で再現できるように配置されているイメージ・センサーが提供される。
【００１０】
本発明のイメージ・センサーは、低レベルの照明条件に特に適している。そのような低レベルの照明条件は、光景の照明が少ないこと、露出時間が短いこと、アパーチャが小さいことの結果、またはセンサーに到達する光に関する他の制限条件の結果である。本発明のイメージ・センサーには多くの用途があり、多数のタイプの画像キャプチャ・デバイスでこのようなセンサーを有効に利用できる。
【図面の簡単な説明】
【００１１】
【図１】従来のセンサーと処理法、またはそのセンサーと本発明の処理法を利用できる従来のディジタル・スチール・カメラ・システムのブロック・ダイヤグラムである。
【図２】従来のベイヤー・カラー・フィルタ・アレイのパターン（従来技術）であり、最小繰り返しパターンと非最小繰り返しパターンを示してある。
【図３】赤色画素、緑色画素、青色画素の代表的な分光量子効率曲線と、それよりも広いパンクロ分光量子効率曲線であり、どれも赤外遮断フィルタの透過特性との積である。
【図４Ａ】カラー光応答が同じカラー画素が行または列に配置された本発明によるカラー・フィルタ・アレイのパターンのいくつかのバリエーションにおける最小繰り返し単位である。
【図４Ｂ】カラー光応答が同じカラー画素が行または列に配置された本発明によるカラー・フィルタ・アレイのパターンのいくつかのバリエーションにおける最小繰り返し単位である。
【図４Ｃ】カラー光応答が同じカラー画素が行または列に配置された本発明によるカラー・フィルタ・アレイのパターンのいくつかのバリエーションにおける最小繰り返し単位である。
【図４Ｄ】カラー光応答が同じカラー画素が行または列に配置された本発明によるカラー・フィルタ・アレイのパターンのいくつかのバリエーションにおける最小繰り返し単位である。
【図５】図4Aからの最小繰り返し単位のセル構造である。
【図６Ａ】図4Aのための内挿されたパンクロ画像である。
【図６Ｂ】図4Aと図5のセルに対応する低解像度カラー画像である。
【図７Ａ】図4Aの画素を組み合わせる方法をいくつか示してある。
【図７Ｂ】図4Aの画素を組み合わせる方法をいくつか示してある。
【図７Ｃ】図4Aの画素を組み合わせる方法をいくつか示してある。
【図８Ａ】別のカラー光応答特性を有するカラー画素を含む図4Aと同様のカラー・フィルタ・アレイのパターンであり、4色と、シアン、マゼンタ、イエローが含まれている。
【図８Ｂ】別のカラー光応答特性を有するカラー画素を含む図4Aと同様のカラー・フィルタ・アレイのパターンであり、4色と、シアン、マゼンタ、イエローが含まれている。
【図８Ｃ】別のカラー光応答特性を有するカラー画素を含む図4Aと同様のカラー・フィルタ・アレイのパターンであり、4色と、シアン、マゼンタ、イエローが含まれている。
【図８Ｄ】別のカラー光応答特性を有するカラー画素を含む図4Aと同様のカラー・フィルタ・アレイのパターンであり、4色と、シアン、マゼンタ、イエローが含まれている。
【図９】本発明による別のカラー・フィルタ・アレイのための最小繰り返し単位であり、パンクロ画素が対角線上に配置されている。
【図１０Ａ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、パンクロ画素がグリッドを形成し、その中にカラー画素が埋め込まれている。
【図１０Ｂ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、パンクロ画素がグリッドを形成し、その中にカラー画素が埋め込まれている。
【図１１Ａ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位とタイル状配置であり、セル1つにつき2つの色が存在している。
【図１１Ｂ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位とタイル状配置であり、セル1つにつき2つの色が存在している。
【図１１Ｃ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位とタイル状配置であり、セル1つにつき2つの色が存在している。
【図１１Ｄ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位とタイル状配置であり、セル1つにつき2つの色が存在している。
【図１２Ａ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、セル1つにつき2つの色が存在していて、パンクロ画素が対角線に配置されている。
【図１２Ｂ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、セル1つにつき2つの色が存在していて、パンクロ画素が対角線に配置されている。
【図１３Ａ】図4Aのバリエーションであり、最小繰り返し単位は8×8画素よりも小さい。
【図１３Ｂ】図4Aのバリエーションであり、最小繰り返し単位は8×8画素よりも小さい。
【図１３Ｃ】図4Aのバリエーションであり、最小繰り返し単位は8×8画素よりも小さい。
【図１４Ａ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、最小繰り返し単位は6×6画素である。
【図１４Ｂ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、最小繰り返し単位は6×6画素である。
【図１５Ａ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、最小繰り返し単位は4×4画素である。
【図１５Ｂ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、最小繰り返し単位は4×4画素である。
【図１６】図4Aの最小繰り返し単位であり、この最小繰り返し単位に含まれる個々の画素に添字を付してある。
【図１７Ａ】図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。
【図１７Ｂ】図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。
【図１７Ｃ】図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。
【図１７Ｄ】図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。
【図１７Ｅ】図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。
【図１８】本発明による処理ダイヤグラムであり、本発明のセンサーからのカラー画素データとパンクロ画素データを処理する方法を示している。
【図１９Ａ】図18の低解像度不完全カラー画像に欠けている色を内挿するための本発明の方法を示している。
【図１９Ｂ】図18の低解像度不完全カラー画像に欠けている色を内挿するための本発明の方法を示している。
【図１９Ｃ】図18の低解像度不完全カラー画像に欠けている色を内挿するための本発明の方法を示している。
【図１９Ｄ】図18の低解像度不完全カラー画像に欠けている色を内挿するための本発明の方法を示している。
【発明を実施するための形態】
【００１２】
本発明のこれらの側面、目的、特徴、利点と他の側面、目的、特徴、利点は、好ましい実施態様に関する以下の詳細な説明と添付の請求項を検討することで、より明確に理解することができよう。
【００１３】
イメージング装置と、信号を捕獲して補正するとともに露出を制御するための関連回路とを利用したディジタル・カメラはよく知られているため、ここでの説明は、特に、本発明の方法および装置の一部を形成する要素、または本発明の方法および装置とより直接的に協働する要素を対象とする。この明細書に特に示したり説明したりしない要素は、従来技術で知られているものの中から選択する。ここで説明する実施態様のいくつかの特徴はソフトウエアとして提供される。以下に本発明のシステムを図示して説明していることを考えると、本発明の実施に役立つがこの明細書に特には図示、説明、示唆してはいないソフトウエアは、この分野の当業者にはありふれたものであり、当業者の能力の範囲にある。
【００１４】
ここで図1を参照すると、本発明を具体化したディジタル・カメラとしての画像キャプチャ・デバイスをブロック・ダイヤグラムとして示してある。ディジタル・カメラについてこれから説明するが、本発明が他のタイプの画像キャプチャ・デバイスにも適用できることは明らかである。ここに開示するカメラでは、対象となる光景からの光10がイメージング段11に入力され、そこで光はレンズ12によって集束されて固体イメージ・センサー20の上に画像を形成する。イメージ・センサー20は、各ピクチャ・エレメント（画素）のために入射光を電気信号に変換する。この好ましい実施態様のイメージ・センサー20は、電荷結合デバイス（CCD）タイプまたはアクティブ画素センサー（APS）タイプ（APSデバイスは、相補型金属酸化物半導体プロセスで製造できるためにCMOSセンサーと呼ばれることがしばしばある）である。本発明のパターンが使用されるのであれば、二次元画素アレイを有する他のタイプのイメージ・センサーも用いられる。本発明では、カラー画素とパンクロ画素からなる二次元アレイを有するイメージ・センサー20も利用される。これについては、この明細書で図1を説明した後に明らかになろう。イメージ・センサー20で使用される本発明のカラー画素とパンクロ画素のパターンの例は、図4A〜図4D、図8A〜図8D、図9、図10A〜図10B、図11A、図11C、図13A〜図13C、図14A〜図14B、図15A〜図15Bに見られるが、本発明の範囲で他のパターンも利用できる。
【００１５】
イメージ・センサー20に到達する光の量は、アパーチャを変化させる虹彩絞りブロック14と、光路の途中に配置された1つ以上の中性（ND）フィルタを有するNDフィルタ・ブロック13とによって調節される。全体的な光のレベルは、シャッター・ブロック18を開いている時間によっても調節される。露出制御装置ブロック40は、光景において利用可能な光の量を明るさセンサー・ブロック16が測定した値に応答し、これら3つの調節機能をすべて制御する。
【００１６】
特別な構成のカメラに関するこの説明は当業者にはありふれたものであろうし、多くのバリエーションや追加の特徴が存在することも明らかであろう。例えばオートフォーカス・システムを追加したり、レンズを取外し可能かつ交換可能にしたりする。本発明があらゆるタイプのディジタル・カメラに適用され、そこでは同様の機能が代替部品によって提供されることが理解できよう。例えばここでのディジタル・カメラは、撮影対象に向けてシャッターを押す比較的単純なディジタル・カメラであり、シャッター18は、比較的簡単な可動ブレード・シャッターなどであり、より複雑な焦点面シャッターではない。本発明は、カメラではない装置（例えば携帯電話や自動車）に含まれるイメージング要素で実施することもできる。
【００１７】
イメージ・センサー20からのアナログ信号は、アナログ信号処理装置22によって処理され、アナログ／ディジタル（A/D）変換器24に送られる。タイミング発生装置26がさまざまなクロック信号を発生させて行と画素を選択するとともに、アナログ信号処理装置22とA/D変換器24の動作を同期させる。イメージ・センサー段28には、イメージ・センサー20と、アナログ信号処理装置22と、A/D変換器24と、タイミング発生装置26が含まれている。イメージ・センサー段28のこれらの要素は、別々の集積回路として製造されるか、CMOSイメージ・センサーで一般的なように単一の集積回路として製造される。A/D変換器24から得られる一連のディジタル画素値は、ディジタル信号処理装置（DSP）36に付随するメモリ32に記憶される。
【００１８】
ディジタル信号処理装置36は、この実施態様の3つの処理装置または制御装置のうち1つであり、他の2つはシステム制御装置50と露出制御装置40である。多数の制御装置と処理装置でカメラ機能の制御をこのように分担することが一般的だが、これらの制御装置または処理装置をいろいろな方法で組み合わせてもカメラの機能や本発明の用途が影響を受けることはない。これらの制御装置または処理装置は、1つ以上のディジタル信号処理装置、マイクロコントローラ、プログラム可能な論理装置、またはこれら以外のディジタル論理回路を備えることができる。このような制御装置または処理装置の1つの組み合わせについて説明したが、1つの制御装置または処理装置が必要な全機能を実施するようにできることは明らかであろう。これらのバリエーションはどれも同じ機能を実行できて本発明の範囲に含めることができ、“処理段”という用語は、必要に応じ、例えば図1の処理段38におけるように1つの文章に含まれるこの機能をすべてカバーするものとする。
【００１９】
図示した実施態様では、DSP 36は、付随するメモリ32に記憶されたディジタル画像データをソフトウエアに従って処理する。このソフトウエアはプログラム用メモリ54に常時記憶されていて、画像を捕獲している間にメモリ32にコピーされて実行される。DSP 36は、図18に示した画像処理の実施に必要なソフトウエアを実行する。メモリ32は、任意のタイプのランダム・アクセス・メモリ（例えばSDRAM）を含んでいる。アドレス信号とデータ信号のための経路を含むバス30が、DSP 36を付随するメモリ32、A/D変換器24、および他の関連した装置に接続している。
【００２０】
システム制御装置50は、プログラム用メモリ54（フラッシュEEPROMまたは他の不揮発性メモリを含むことができる）に記憶されたソフトウエア・プログラムに基づいてカメラの全動作を制御する。このメモリは、カメラのスイッチをオフにしたときに保存されるべきイメージ・センサーの較正データ、ユーザー設定の選択結果、ならびに他のデータを記憶させるのにも使用できる。システム制御装置50は、一連の画像捕獲操作を制御する。すなわち、露出制御装置40に命令することにより、すでに説明したレンズ12、NDフィルタ13、虹彩絞り14、シャッター18を動作させ、タイミング発生装置26に命令してイメージ・センサー20とそれに関連する素子を動作させ、DSP 36に命令して捕獲された画像データを処理する。画像が捕獲されて処理されると、メモリ32に記憶された最終画像ファイルはインターフェイス57を通じてホスト・コンピュータに移され、取外し可能なメモリ・カード64または他の記憶装置に記憶され、ユーザーのため画像ディスプレイ88に表示される。
【００２１】
バス52は、アドレス、データ、制御信号のための経路を含んでおり、システム制御装置50を、DSP 36、プログラム用メモリ54、システム用メモリ56、ホスト・インターフェイス57、メモリ・カードとのインターフェイス60、ならびに関連する他の装置に接続している。ホストとのインターフェイス57は、パーソナル・コンピュータ（PC）または他のホスト・コンピュータへの高速接続を提供し、表示、記憶、処理、印刷のための画像データを転送する。このインターフェイスは、IEEE1394またはUSB2.0シリアル・インターフェイスであるか、適切な他の任意のディジタル・インターフェイスである。メモリ・カード64は、一般に、ソケット62に挿入されてメモリ・カードとのインターフェイス60を通じてシステム制御装置50に接続されるコンパクト・フラッシュ（CF）カードである。使用される他のタイプの記憶装置として、PCカード、マルチメディア・カード（MMC）、セキュア・ディジタル（SD）カードなどがある。
【００２２】
処理された画像はシステム用メモリ56の表示用バッファにコピーされ、ビデオ・エンコーダ80を通じて連続的に読み出されてビデオ信号が生成される。この信号はカメラから直接出力されて外部モニタに表示されるか、表示制御装置82によって処理されて画像ディスプレイ88に表示される。このディスプレイは一般にアクティブ・マトリックス・カラー液晶ディスプレイ（LCD）だが、他のタイプのディスプレイも使用される。
【００２３】
ユーザー・インターフェイス（ビューファインダ・ディスプレイ70、露出ディスプレイ72、状態ディスプレイ76、画像ディスプレイ88のすべてまたは任意の組み合わせと、ユーザー入力74が含まれる）は、露出制御装置40とシステム制御装置50で実行されるソフトウエア・プログラムの組み合わせによって制御される。ユーザー入力74は、一般に、ボタン、ロッカー・スイッチ、ジョイスティック、回転ダイヤル、タッチスクリーンの何らかの組み合わせを備えている。露出制御装置40は、光の測定、露出モード、自動焦点合わせ、ならびに他の露出機能を実行する。システム制御装置50は、1つ以上のディスプレイ（例えば画像ディスプレイ88）に表示されるグラフィカル・ユーザー・インターフェイス（GUI）を管理する。GUIは、一般に、さまざまな選択を行なうためのメニューと、捕獲された画像を調べるための検査モードを含んでいる。
【００２４】
露出制御装置40は、露出モード、レンズのアパーチャ、露出時間（シャッター速度）、露出の指標またはISO感度を選択するユーザー入力を受け取り、それに応じてレンズとシャッターに対して命令を出してその後の捕獲を行なう。明るさセンサー16を用いて光景の明るさを測定して露出計の機能を提供することで、ユーザーがISO感度、アパーチャ、シャッター速度を手動で設定するときに参照できるようにする。この場合、ユーザーが1つ以上の設定を変えると、ビューファインダ・ディスプレイ70に表示される光測定インディケータが、ユーザーに、画像がどの程度露出過剰または露出不足になるかを知らせる。自動露出モードでは、ユーザーが1つの設定を変化させると露出制御装置40は自動的に他の設定を変えて正しい露出を維持する（例えば所定のISO感度でユーザーがレンズのアパーチャを小さくすると露出制御装置40は自動的に露出時間を長くして全露出が同じになるように維持する）。
【００２５】
ISO感度は、ディジタル・スチール・カメラの1つの重要な属性である。露出時間と、レンズのアパーチャと、レンズの透過率と、光を受けている光景の光のレベルおよびスペクトル分布と、光景の反射率とが、ディジタル・スチール・カメラの露出レベルを決定する。ディジタル・スチール・カメラから露出が十分でない画像が得られた場合には、電子的利得またはディジタル利得を大きくすることによって適切な色調の再現性が一般に維持されるが、画像は許容できない量の雑音を含むことになろう。露出が多くなるのに合わせて利得を小さくできるため、通常は画像の雑音を許容可能なレベルに低下させることができる。露出が過度に大きい場合には、画像の明るい領域で得られる信号は、イメージ・センサーまたはカメラが信号を処理する最大信号レベルを超える可能性がある。すると画像のハイライトが生じる可能性があるため、その部分を切り取って一様な明るい領域を形成するか、曇らせて画像の周辺領域にとけ込ませる。ユーザーが適切な露出を設定するよう誘導することが重要である。ISO感度は、そのようなガイドとして機能することが想定されている。撮影者が容易に理解できるようにするため、ディジタル・スチール・カメラのISO感度は、写真フィルム式カメラのISO感度と直接関係している必要がある。例えばディジタル・スチール・カメラのISO感度がISO200だとすると、同じ露出時間とアパーチャがISO200のフィルム／処理システムにとって適切でなければならない。
【００２６】
ISO感度は、フィルムのISO感度と矛盾しないことが想定されている。しかし電子式イメージング・システムとフィルムに基づくイメージング・システムの間には差があるため、正確に同じにはならない。ディジタル・スチール・カメラは利得を可変にすることができ、画像データが捕獲された後にディジタル処理が可能である。そのためカメラのある露出範囲内で色調の再現が可能である。したがってディジタル・スチール・カメラの感度にはある程度の幅を持たせることができる。この幅は、ISO感度ラティチュードとして定義される。混乱を避けるため、固有ISO感度として単一の値を指定する。そのときISO感度ラティチュードの上限と下限が、感度の範囲、すなわち固有ISO感度とは異なる有効感度を含む範囲を示す。このことを念頭に置くと、固有ISO感度は、特定のカメラ出力信号特性を生み出すため、ディジタル・スチール・カメラの焦点面における露出から計算された数値である。固有感度は、通常は、あるカメラ・システムが与えられたとき、標準的な光景に関して画像品質を最大にする露出の指標値である。この露出の指標値は、イメージ・センサーの露出に逆比例する数値である。
【００２７】
ディジタル・カメラに関する上記の説明は、当業者にはありふれたものであろう。この実施態様に対して可能な多数のバリエーションが存在しており、コストを低下させるため、特徴を追加するため、カメラの性能を向上させるためにそうしたバリエーションが選択される。以下の説明には、本発明に従って画像を捕獲することに関するこのカメラの動作を詳細に開示する。この説明はディジタル・カメラについてのものだが、本発明が、カラー画素とパンクロ画素を有するイメージ・センサーを備えたあらゆるタイプの画像キャプチャ・デバイスで利用できることが理解されよう。
【００２８】
図1に示したイメージ・センサー20は、一般に、シリコン基板上に製造された二次元感光画素アレイを含んでおり、その感光画素が、各画素への入射光を測定して電気信号に変換する手段を提供する。このセンサーに光が当たると、自由電子が発生して各画素の電子構造に捕獲される。その自由電子をある期間にわたって捕獲した後、捕獲した電子の数を測定するか、自由電子が発生する速度を測定することで、各画素における光のレベルを測定できる。前者の場合、電荷結合デバイス（CCD）などにおけるように蓄積された電荷が画素アレイからシフトして電圧測定回路の電荷となるか、アクティブ画素センサー（APSまたはCMOSセンサー）におけるように各画素の近くの領域に電圧測定回路に対する電荷のためのエレメントを含むことができる。
【００２９】
以下の説明でイメージ・センサーに言及するときにはいつでも、図1からのイメージ・センサー20を表わしているものとする。さらに、イメージ・センサー20では、この明細書に開示した本発明のすべての実施態様と、それと同等な構成のイメージ・センサーおよび画素パターンを利用するものとする。
【００３０】
イメージ・センサーという文脈では、画素（“ピクチャ・エレメント”の縮約形）は、離散した感光領域と、その感光領域に関係した電荷シフト回路または電荷測定回路を意味する。ディジタル・カラー画像の文脈では、画素という用語は、一般に、画像中で色値を伴った特定の位置を意味する。
【００３１】
カラー画像を生成させるため、イメージ・センサーの画素アレイは、一般に、その上に配置したあるパターンのカラー・フィルタを有する。図2は、赤色フィルタ、緑色フィルタ、青色フィルタからなるパターンであり、このパターンが一般に使用されている。この特別なパターンは、アメリカ合衆国特許第3,971,065号に開示されているように、発明者のブライス・ベイヤーにちなんでベイヤー・カラー・フィルタ・アレイ（CFA）として一般に知られている。このパターンは、二次元カラー画素アレイを有するイメージ・センサーで有効に用いられている。その結果、各画素は特定のカラー光応答を持つ。この場合には、赤色光、緑色光、青色光いずれかに対する感度が大きいカラー光応答である。カラー光応答の有用な別の一例では、マゼンタ色光、イエロー色光、シアン色光いずれかに対する感度が大きい。どの場合でも、特定のカラー光応答は、可視スペクトルのある部分に対する感度は大きいが、それと同時に可視スペクトルの他の部分に対する感度は低い。カラー画素という用語は、カラー光応答を有する画素を意味する。
【００３２】
センサーで利用するために選択されるカラー光応答のセットは、通常は、ベイヤーCFAに示してあるように3色だが、4色以上を含んでいてもよい。この明細書では、パンクロ光応答は、カラー光応答に関して選択したセットにおける分光感度よりも広い分光感度を持つ光応答を意味する。パンクロ光応答は、可視スペクトル全体にわたって大きな感度を持つことができる。パンクロ画素という用語は、パンクロ光応答を持つ画素を意味する。パンクロ画素は一般にカラー光応答のセットよりも広い分光感度を持つが、各パンクロ画素にはフィルタが取り付けられていてもよい。そのようなフィルタは、中性フィルタまたはカラー・フィルタである。
【００３３】
カラー画素とパンクロ画素からなるパターンがイメージ・センサーの表面にある場合には、そのような各パターンは繰り返し単位を有する。この繰り返し単位は、画素が切れ目なくつながって基本的構成ブロックとして機能するサブアレイである。この繰り返し単位のコピーを多数並置することにより、センサー・パターンの全体が得られる。繰り返し単位の多数のコピーは、斜め方向に並べることも、水平方向と鉛直方向に並べることもできる。
【００３４】
最小繰り返し単位は、より少ない画素からなる他の繰り返し単位が存在しない繰り返し単位である。例えば図2のCFAは、図2の画素ブロック100に示してあるように、2画素×2画素の最小繰り返し単位を含んでいる。この最小繰り返し単位の多数のコピーをタイルのように並べることでイメージ・センサーの画素アレイ全体がカバーされる。緑色画素が左上隈にある最小繰り返し単位を示してあるが、太線で囲まれた領域を1画素だけ右に、または1画素だけ下に、または1画素だけ対角方向に右下に移動させることにより、別の3つの最小繰り返し単位を容易に区別することができる。画素ブロック102は繰り返し単位だが、最小繰り返し単位ではない。なぜなら画素ブロック100は繰り返し単位であり、しかもブロック102よりも画素数が少ないからである。
【００３５】
図2のCFAを有する二次元アレイを備えたイメージ・センサーを用いて捕獲された画像は、画素ごとにカラー値を1つだけ持つ。フル・カラー画像を生成させるため、各画素に欠けている色を推定または内挿する多数の方法がある。こうしたCFA内挿法は従来技術でよく知られており、以下のアメリカ合衆国特許第5,506,619号、第5,629,734号、第5,652,621号に記載されている。
【００３６】
図3は、典型的なカメラの用途において赤色フィルタ、緑色フィルタ、青色フィルタを有する画素の相対分光感度を示している。図3のX軸は波長をナノメートルを単位として表わしており、Y軸は効率を表わす。図3では、曲線110は赤外光と紫外光がイメージ・センサーに到達しないようにするのに用いられる典型的なフィルタの分光透過特性を表わしている。このようなフィルタが必要なのは、イメージ・センサーで使用されるカラー・フィルタは一般に赤外光を阻止せず、したがって画素が、赤外光と、付随するカラー・フィルタの帯域内の光とを区別できないからである。曲線110で示した赤外阻止特性により、赤外光が可視光信号に影響を与えることが阻止される。赤色フィルタ、緑色フィルタ、青色フィルタが取り付けられた典型的なシリコン・センサーに関する分光量子効率（すなわち捕獲される入射フォトンと、測定可能な電気信号に変換されるフォトンの比）に、曲線110で表わされる赤外阻止フィルタの分光透過特性を掛けると、複合系の量子効率として、赤に関しては曲線114が、緑に関しては曲線116が、青に関しては曲線118が得られる。これらの曲線から、それぞれのカラー光応答は、可視スペクトルの一部だけに敏感であることがわかる。それとは逆に、カラー・フィルタが取り付けられていない（が、赤外阻止フィルタ特性は有する）同じシリコン・センサーの光応答を曲線112で示してある。カラー光応答曲線114、116、118をパンクロ光応答曲線112と比較することにより、パンクロ光応答は、広いスペクトルの光に対してどのカラー光応答よりも3〜4倍敏感であることが明らかである。
【００３７】
図3に示したパンクロ感度のほうが大きいため、カラー・フィルタを有する画素とカラー・フィルタなしの画素を混合することにより、イメージ・センサーの全体的な感度を向上させることができる。しかしカラー・フィルタを有する画素は、パンクロ画素よりもはるかに感度が低いであろう。その場合、ある光景からの光の強度範囲がパンクロ画素の測定範囲一杯になるような光がパンクロ画素に当てられたとすれば、カラー画素は著しく露出不足になるであろう。したがってカラー・フィルタを有する画素の感度を調節し、パンクロ画素とほぼ同じ感度になるようにすることが望ましい。カラー画素の感度を大きくするには、例えばパンクロ画素よりもカラー画素のサイズを大きくし、それに伴って大きなスペースを占める画素を減らす。
【００３８】
図4Aは、2通りの画素群を含む二次元画素アレイである。第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭い。第1の画素群は、少なくとも2つのカラー・フィルタに対応する異なる少なくとも2通りの分光光応答と関係する個々の画素を含んでいる。これら2つの画素群が混合されてセンサーの全体的感度が向上する。あとでより明確になることだが、第1の画素群と第2の画素群の位置により、少なくとも12個の画素を含む最小繰り返し単位を持つパターンが規定される。最小繰り返し単位は、捕獲された1つのカラー画像を異なる照明条件下で再現できるように配置した第1の画素群と第2の画素群を含んでいる。
【００３９】
図4Aに示した完成パターンは、画素アレイの全体がカバーされるようにタイル状になった最小繰り返し単位を表わしている。図2と同様、カラー画素とパンクロ画素からなるこの全体的配置を記述するのに用いられる他のいくつかの最小繰り返し単位が存在しているが、それらは性質が本質的に同等であり、それぞれ8画素×8画素の範囲の画素サブアレイである。このパターンの重要な1つの特徴は、パンクロ画素の行とカラー画素の行が交互に配置され、カラー画素の行には同じカラー光応答を持つ画素がまとめられていることである。光応答が同じ画素群と、その隣にあるいくつかのパンクロ画素が、最小繰り返し単位となる4つのセルを形成すると考えられる。1つのセルは、最小繰り返し単位よりも少数の画素が切れ目なくつながったサブアレイである。
【００４０】
図4Aにおいて太線で囲まれたこれら4つのセルと、図5でセル120、122、124、126として示した4つのセルは、それぞれ4×4画素からなる4つのグループを取り囲んでいて、120は左上のセルを表わし、122は右上のセルを表わし、124は左下のセルを表わし、126は右下のセルを表わす。4つのセルはそれぞれ、8個のパンクロ画素と、カラー色応答が同じ8個のカラー画素を含んでいる。1つのセル内のカラー画素が合わさってそのセル全体の色を表わす。したがって図5のセル120は緑色セルと見なされ、セル122は赤色セルと見なされ、以下同様である。各セルは同じ色の少なくとも2つの画素を含んでいるため、同じ色の画素が組み合わさることでカラー画素とパンクロ画素の間の光感度の違いが克服される。
【００４１】
互いに重なっていない4つのセルを含んでいて、各セルが同じ色の2つの画素と2つのパンクロ画素を有する最小繰り返し単位の場合には、最小繰り返し単位に16個の画素が含まれることが明らかである。互いに重なっていない3つのセルを含んでいて、各セルが同じ色の2つの画素と2つのパンクロ画素を有する最小繰り返し単位の場合には、最小繰り返し単位に12個の画素が含まれることが明らかである。
【００４２】
本発明によれば、図4Aの最小繰り返し単位は、図5に示したセル構造を参照すると、捕獲されたカラー画像を異なる照明条件下で再現できる配置にされた高解像度パンクロ画像と低解像度ベイヤー・パターン・カラー画像の組み合わせを表わすことができる。ベイヤー・パターン画像の個々の要素は、対応するセル内のカラー画素の組み合わせを表わす。第1の画素群は低解像度カラー・フィルタ・アレイを規定し、第2の画素群は高解像度パンクロ画像を規定する。図6Aと図6Bを参照のこと。図6Aは、図4Aに対応する高解像度パンクロ画像を表わしており、図4Aからのパンクロ画素Pと内挿されたパンクロ画素P'の両方を含んでいる。図6Bは、低解像度ベイヤー・パターン・カラー画像を表わしており、R'、G'、B'は、図5において線で囲んだ各セルについて、そのセル内で組み合わされたカラー画素に付随するセルの色を表わしている。
【００４３】
以下の説明では、図4B〜図4D、図8A〜図8D、図9、図10A〜図10B、図11A、図11C、図12A〜図12B、図13A〜図13C、図14A〜図14B、図15A〜図15Bの全セルを図4Aにおけるように太線で囲む。
【００４４】
図4Aに示した別の繰り返し単位に加え、このパターンの各セルを90°回転させて図4Bに示したパターンを得る。これは実質的に同じパターンだが、水平方向ではなく鉛直方向でパンクロ・サンプリングの頻度が最大になる。図4Aと図4Bのどちらを選択するかは、それぞれ水平方向と鉛直方向いずれでパンクロ空間的サンプリングを多くしたいかによる。しかし両方のパターンで最小繰り返し単位を作り上げるために得られるセルは、両方のパターンで同じ低解像度カラー画像を生成させる。したがって図4Aと図4Bは、色の観点からは同等である。一般に、図4Aと図4Bは本発明を実現した実施例であり、パンクロ画素が行または列に直線状に配置されている。さらに、図4Aは、パンクロ画素だけの行を含んでおり、各行は、カラー画素行によって隣のパンクロ画素行と隔てられている。図4Bは、列方向に同じ性質を有する。
【００４５】
図4Cは図4Aに対するさらに別の最小繰り返し単位であり、セルの色特性は実質的に同じである。しかし図4Cは、パンクロ画素行とカラー画素行がセルごとに互い違いになっている。こうすることで、鉛直方向のパンクロ解像度を向上させることができる。図4Aに対するさらに別の最小繰り返し単位を図4Dに示してある。この図4Dでは、パンクロ画素行とカラー画素行が2列ごとに互い違いになっている。このようにしても鉛直方向のパンクロ解像度を向上させることができる。図4A〜図4Dに示したどの最小繰り返し単位にも共通する1つの特徴は、2つ以上の同じ色の画素群が行または列の方向に並べて配置されていることである。
【００４６】
図4A〜図4Dはどれも同じ色構造であり、低解像度ベイヤー・パターンを示す最小繰り返し単位を構成するセルを有する。したがって、パンクロ画素とグループ化されたカラー画素からなるさまざまな配置を本発明の範囲で構成できることがわかる。
【００４７】
カラー光感度を大きくすることでパンクロ光感度とカラー光感度のずれを克服するため、各セル内のカラー画素をさまざまな方法で組み合わせる。例えば同じ色の画素からの電荷をCCDイメージ・センサーの中、または貯蔵可能なタイプのアクティブ画素センサーの中で、足し合わせるかまとめる。あるいは同じ色の画素内で測定された電荷量に対応する電圧を、例えば充電されてその電圧になったキャパシタに並列に接続することによって平均する。さらに別の方法では、同じ色の画素における光のレベルのディジタル値を合計または平均する。2つの画素からの電荷を足し合わせるかまとめると信号レベルが2倍になるが、足し合わせた信号をサンプリングして読み出すことに伴う雑音は同じ大きさに留まるため、信号対雑音比は2倍になる。これは、組み合わせた画素の光感度が2倍になることに対応する。2つの画素からの光レベルのディジタル値を合計する場合には、得られる信号は2倍になるが、2つの画素を読むことに対応する雑音レベルは積になるため、雑音は2の平方根を掛けた大きさになる。したがって組み合わせた画素で得られる信号対雑音比は、組み合わされていない信号と比べて2の平方根を掛けた大きさになる。同様の分析が、電圧平均またはディジタル平均に当てはまる。
【００４８】
1つのセル内の同じ色の画素からの信号の加算に関する上記の方法を単独で、または組み合わせて利用する。例えば図4Aに含まれる同じ色の画素からの電荷を2つずつ鉛直方向に組み合わせることで、図7Aに示したように組み合わされた信号R'、G'、B'を有する組み合わされた画素になる。この場合には、それぞれのR'、G'、B'は、組み合わされていない画素の2倍の感度である。あるいは図4Aに含まれる同じ色の画素から測定された値（電圧またはディジタル値）を水平方向に4つずつ組み合わせると、図7Bに示したように組み合わされた信号R'、G'、B'を有する組み合わされた画素になる。この場合には、信号は4倍になるが雑音は2倍であるため、それぞれのR'、G'、B'は組み合わされていない画素の2倍の感度である。組み合わせ方式の別の例では、図7Aに示したように同じ色の画素からの電荷を2つずつ鉛直方向に組み合わせ、水平方向には図7Aの組み合わされた画素の測定値を4つ合計または平均すると、図7Cの組み合わされた最終カラー画素が得られる。ここに、R"、G"、B"は、同じ色の画素の最終的な組み合わせを表わす。この組み合わせ配置では、図7Cの組み合わされた最終カラー画素は、それぞれ、組み合わされていない画素の4倍の感度である。ある構造のセンサー、特にある配置のCCDにすると、各セル内の同じ色の8つの画素すべてからの電荷を図7Cのように組み合わせることができるため、組み合わされたカラー画素の感度は8倍になる。
【００４９】
上記の説明から、カラー画素の光感度を調節する目的でカラー画素を組み合わせる際にはいくつかの自由度があることが理解されよう。当業者には、よく知られた組み合わせ法が思い浮かぶであろう。その組み合わせ法は、光景の内容、光景の光の状態、全体的な光のレベル、または他の基準に基づいている。さらに、組み合わせ法は、組み合わせた画素をパンクロ画素よりも意図的に低い感度または高い感度にできるように選択される。
【００５０】
ここまで赤色フィルタ、緑色フィルタ、青色フィルタを用いたイメージ・センサーを説明してきた。本発明は別のフィルタを選択して実施することもできる。シアン色センサー、マゼンタ色センサー、イエロー色センサーを用いたイメージ・センサーが従来技術でよく知られており、本発明をシアン色フィルタ、マゼンタ色フィルタ、イエロー色フィルタを用いて実施できる。図8Aには、図4Aと同等なシアン、マゼンタ、イエローを示してある。ただしCはシアン色画素、Mはマゼンタ色画素、Yはイエロー色画素を表わす。本発明は、4色以上の光応答を有する画素でも利用できる。
【００５１】
図8Bは、シアン色画素（Cと表記）と、マゼンタ色画素（Mと表記）と、イエロー色画素（Yと表記）と、緑色画素（Gと表記）を含む本発明の最小繰り返し単位を示している。これは、図5に示した最小繰り返し単位の全体的なセル配置が同じだが、異なる4色の画素を含んでいるため、対応する異なる4色のセルになっている。図8Cは、赤色画素（Rと表記）と、青色画素（Bと表記）と、あるカラー光応答を示す緑色画素（Gと表記）と、それとは異なるカラー光応答を示す別の緑色画素（Eと表記）を含むさらに別の4色配置を示している。図8Dはさらに別の4色配置を示しており、図4Aの緑色セルの1つがイエロー・セルで置き換えられている。ここではイエロー画素をYと表記してある。
【００５２】
本発明は、パンクロ画素に加え、3色よりも少ない色を用いて実施される。例えば赤色と青色に対応するセルを有する最小繰り返し単位が使用に適している。
【００５３】
図4Aに対する多くの代替例を本発明の範囲で実施できる。例えば図9は、図4Aとセル構造が同じだが、パンクロ画素が市松模様になった本発明の別の最小繰り返し単位を示している。このパターンだと画像の一様なパンクロ・サンプリングがなされるため、図4A、図4C、図4Dに欠けている鉛直方向のパンクロ・サンプリングという問題が解決する。図9は、斜め方向にパンクロ画素を配置することによって本発明を実施した一例であることを特徴とする。図9はさらに、斜め方向にパンクロ画素が1つずつ並んだ複数の線を含んでいて、斜め方向のそれぞれの線は、斜め方向に並んだカラー画素の線によってパンクロ画素が斜め方向に並んだ隣の線から隔てられていることを特徴とする。図9のさらに別の特徴は、同じ色の2つ以上の画素が斜め方向の線上に並べて配置されていることである。
【００５４】
これまでに示したパターンは、パンクロ画素とカラー画素の数が同じであった。本発明がこの配置に限定されることはなく、パンクロ画素がカラー画素よりも多くてもよい。図10Aは本発明のさらに別の実施態様を示しており、カラー画素が格子パターンになったパンクロ画素の中に埋め込まれている。このパターンによって非常に優れたパンクロ空間サンプリングがなされる一方で、図4Aおよび図9と同じ色のセル配置となる。図10Bは、格子パターンのパンクロ画素でカラー画素を4色にした場合の一例である。一般に、図10の最小繰り返し単位は、それぞれのカラー画素が1つ以上のパンクロ画素によって隣のカラー画素から隔てられていることを特徴とする。
【００５５】
所定の画素パターンに関し、最小繰り返し単位を、画素がより少ない繰り返し単位がない繰り返し単位と定義した。同じ意味で、いろいろな画素パターンからの繰り返し単位のサイズを、その繰り返し単位に含まれる全画素数で比較する。一例として、ある1つの画素パターンからの4画素×8画素繰り返し単位は、別の画素パターンからの6画素×6画素繰り返し単位よりも小さい。なぜなら第1の繰り返し単位に含まれる全画素数（4×8=32）は、第2の繰り返し単位に含まれる全画素数（6×6=36）よりも少ないからである。さらに別の一例として、8画素×8画素の繰り返し単位よりも小さい繰り返し単位は、合計で64個よりも少ない画素を含んでいる。
【００５６】
これまでに提示したどのパターンも、各セルが、パンクロ画素に加えて一色のカラー画素だけを含むというセル構造であった。さらに、これまでに提示したどのパターンも、8×8画素の大きさの最小繰り返し単位であった。各セルに2色以上が含まれるセルを有する最小繰り返し単位も利用できる。また、大きさが8×8画素よりも小さい最小繰り返し単位も定義される。例えば図11Aの最小繰り返し単位は2つのセルを持ち、各セルは2つの色を含んでいる。すなわち左側のセルには青と緑（それぞれBとGで表記）、右側のセルには赤と緑（それぞれRとGで表記）が含まれる。図11Aでは、セルは2色を含んでいて、これらの色は、色感度を向上させるために同じ色を容易に組み合わせられるように配置されている。図11Bは、図11Aの最小繰り返し単位をどのように並べると赤色と青色が互い違いになるかを示している。図11Cは、セルごとに2色を用いて合計で4色にした最小繰り返し単位を示している。図11Dは、図11Cの最小繰り返し単位どのように並べると赤色と青色が互い違いになるかを示している。図11Dでは、大きなカラー・パターンは、カラー光応答が異なる2つの緑（GとEで表記）からなる市松模様が、赤と青からなる市松模様（それぞれRとBで表記）の中に挿入されていることを特徴とする。図12Aは図11Aをパンクロ画素に関して市松模様にしたバージョンであり、図12Bは図11Cをパンクロ画素に関して市松模様にしたバージョンである。一般に、図11Aと図11Cの最小繰り返し単位は、各カラー画素が、行と列で近くにある同じ色のカラー画素から似ていない画素（異なる色のカラー画素またはパンクロ画素）によって隔てられていることを特徴とする。
【００５７】
これまで説明してきた最小繰り返し単位は、8×8画素または4×8画素の範囲であった。しかし最小繰り返し単位はより小さい。例えば図13Aは図4Aと同様だが、各カラー・セルは幅が3画素×高さが4画素であり、最小繰り返し単位の全体は、幅が6画素×高さが8画素である。図13Bでは図13Aから2つのカラー画素行が除去されているため、3画素×3画素のセルと、6画素×6画素の最小繰り返し単位になる。図13Cではさらに2つのパンクロ画素行が除去されているため、幅が3画素×高さが2画素のセル（各セルは3つのパンクロ画素と3つのカラー画素を含んでいる）と、幅が6画素×高さが4画素の最小繰り返し単位になる。図13A〜図13Cに示したパターンは、各セル内で色を組み合わせる際に図4Aや他のパターンに示したよりも画素を少なくする必要がある場合に特に有効である。
【００５８】
図14Aはさらに別の最小繰り返し単位を示している。図14Aの最小繰り返し単位は6画素×6画素であり、各セルは、1つの色のダイヤモンド型になった4つの画素と、パンクロ画素である残る5つの画素を含んでいる。図14Aに示したパンクロ空間サンプリング・パターンは幾分か不規則であるため、市松模様になったパンクロ画素と、それぞれの3画素×3画素セルの中で1つの色だけで占められた残りの画素とからなる図14Bのパターンが示唆される。
【００５９】
図15Aは4×4画素の最小繰り返し単位であり、2×2画素のセルを4つ含んでいる。各セルは、2つのパンクロ画素と同じ色の2つのカラー画素を含んでいることに注意されたい。本発明では、各セル内で容易にカラー画素を組み合わせることができるようにするため、それぞれの2×2セルに同じ色の2つのカラー画素が配置されている必要がある。図15Bは図15Aと同様だが、パンクロ画素を市松模様のパターンにしてある。
【００６０】
ここで図16に移ると、図5の最小繰り返し単位を4つのセルに分割した状態が示してある。1つのセルは、最小繰り返し単位よりも少数の画素が切れ目なくつながった画素サブアレイである。以下の処理を行なうのに必要なソフトウエアは、図1のDSP 36に収容されている。セル220、224、226、228は、光応答がそれぞれ緑、赤、青、緑である画素を含むセルの例である。この例では、セル220は、パンクロ画素と緑色画素の両方を含んでいて、緑色画素は画素群222として特定される。最終的な目標は、画素群222の緑色画素からの8つの緑色信号を組み合わせることによってセル220のための単一の緑色信号を発生させることである。イメージセンサーの動作モードに応じ、同じ色の領域の8つの緑色信号をすべて組み合わせることによって（例えば電荷を合計することによって）単一の緑色信号を発生させるか、画素群222から取り出したより小さな画素群を組み合わせることによって多数の緑色信号を発生させる。セル220のパンクロ画素を図17Aに示してある。次の例では、これらパンクロ画素からの8つの信号をすべて個別にディジタル化する。セル220の緑色画素を図17B〜図17Eに示してあり、ここでは緑色画素が同じ色の領域でいかにして組み合わされるかに従ってまとめられている。図17Bは、8つの緑色画素がすべて組み合わされてセル220のための単一の緑色信号を発生させる場合である（図16）。センサーは、図17Cに示してあるように、例えばまず最初に画素G21、G22、G23、G24からの信号を組み合わせ、次に画素G41、G42、G43、G44からの信号を組み合わせることによって2つの緑色信号を発生させる。2つの信号は他の方法で発生させることもできる。センサーは、図17Dに示してあるように、まず最初に画素G21、G22、G41、G42からの信号を組み合わせ、次に画素G23、G24、G43、G44からの信号を組み合わせることができる。センサーは、図17Eに示してあるように、4対の信号を組み合わせることによって（例えば画素G21を画素G22と組み合わせ、次に画素G23を画素G24と組み合わせ、次に画素G41を画素G42と組み合わせ、最後に画素G43を画素G44と組み合わせることによって）セル220のための4つの緑色信号を発生させることもできる。セル220（図16）の中で緑色信号のペアを組み合わせる他の多くの方法が存在していることは明らかである。センサーが組み合わせをまったく実行しない場合には、8つの緑色信号はすべて個別にセル220に報告される。このようにセル220の場合には、センサーは、その動作モードに応じ、セル220のための1個、2個、4個、8個いずれかの緑色値を異なった方法で発生させることができる。
【００６１】
セル224、226、228（図16）に関しては、センサーの動作モードに応じてセンサーから同様のカラー信号が発生する。セル224、226、228のカラー信号は、それぞれ赤、青、緑である。
【００６２】
セル220の場合に戻ると、このセルのためにどれだけ多くの信号がディジタル化されるかに関係なく、本発明の画像処理アルゴリズムはさらに、ディジタル化された緑色値を組み合わせてこのセルのための単一の緑色値を生成させる。単一の緑色値を得るための1つの方法は、セル220のために生成されたディジタル化されたすべての緑色値を平均するというものである。セルに光応答の異なるカラー画素が含まれている場合には、そのセル内の全カラー・データを同様にして組み合わせ、そのセル内に現われるそれぞれの色の光応答に関して単一の値が存在するようにする。
【００６３】
生の画像データを捕獲した原初のセンサー内の画素に関するカラー値と、原初のセンサー内のセルに関するカラー値を区別することが重要である。両方のタイプのカラー値を利用してカラー画像を生成させるが、得られるカラー画像は解像度が異なる。原初のセンサー内の画素に関する画素値を持つ画像は、高解像度画素と呼ばれ、原初のセンサー内のセルに関する画素値を持つ画像は、低解像度画素と呼ばれる。
【００６４】
ここで図18に移ると、ディジタル信号処理装置ブロック36（図1）が、捕獲された生画像データをデータ・バス30（図1）から受け取ることが示してある。生画像データは、低高解像度不完全カラー・ブロック202と高解像度パンクロ・ブロック204の両方に送られる。イメージ・センサーのための最小繰り返し単位の一例はすでに図5と図16に示した。セル220（図16）の場合には、捕獲された生の画像データは、図17Aに示したように個別のパンクロ画素から発生したパンクロ・データを含んでいる。また、セル220（図16）では、例えば図17B〜図17Eに示した組み合わせからの1つ以上の緑色（カラー）値も含まれる。
【００６５】
低解像度不完全カラー・ブロック202（図18）では、捕獲された生の画像データから不完全カラー画像が生成される。不完全カラー画像は、各画素が少なくとも1つのカラー値を持つとともに、各画素が少なくとも1つのカラー値を欠いているカラー画像である。センサーの動作モードに応じ、捕獲された生データは、各セル内のカラー画素が発生させた何個かのカラー値を含んでいる。低解像度不完全カラー・ブロック202の中では、これらカラー値の数が減らされ、セル内に表われるそれぞれの色のための単一の値になる。一例としてセル220（図16）では、単一の緑色値が生成される。同様に、セル224、226、228では、単一の赤色値、青色値、緑色値がそれぞれ生成される。
【００６６】
低解像度不完全カラー・ブロック202は、各セルを同様にして処理することでカラー値のアレイを得る。なお、各セルにつき1つのカラー値となる。得られる画像アレイは、原初のセンサーの画素ではなくセルに基づいているため、原初の捕獲された生画像データ・アレイと比べてそれぞれのサイズが1/4である。得られるアレイはセルに基づいているため、そして各画素はすべてのカラー値ではないがいくつかのカラー値を持つため、得られる画像は低解像度不完全カラー画像である。この点で、低解像度不完全カラー画像は色のバランスが取れている。
【００６７】
ここで高解像度パンクロ・ブロック204を見ると、図16に示したのと同じ生画像データが利用される。しかしパンクロ値だけが利用される（図17A）。ここでのタスクは、パンクロ値をまだ持たない画素のパンクロ値を推定することによって完全な高解像度パンクロ画像を内挿することである。セル220（図16）の場合には、画素群222（図16）の緑色画素に関してパンクロ値を推定せねばならない。欠けているパンクロ値を推定する簡単な1つの方法は、鉛直方向に平均することである。例えば画素22におけるパンクロ値は以下のようにして推定することができる。
P22 = (P12 + P32)/2
適応法も利用することができる。例えば1つの適応法は、図17Aに示したパンクロ値を利用して3つの勾配値を計算し、その絶対値を取るというものである。
SCLAS = ABS (P31 - P13)
VCLAS = ABS (P32 - P12)
BCLAS = ABS (P33 - P11)
同様にして3つの予想値が計算される。
SPRED = (P31 + P13)/2
VPRED = (P32 + P12)/2
BPRED = (P33 + P11)/2
【００６８】
次に、P22を、最も小さい分類値に対応する予想値に等しくする。同じ値の場合には、P22を得られた予想値の平均値に設定する。パンクロに関する内挿を、セルの境界とは無関係に画像全体について続ける。高解像度パンクロ・ブロック204での処理が終了すると、得られたディジタル・パンクロ画像は、原初の捕獲された生画像とサイズが同じであるため、高解像度パンクロ画像になる。
【００６９】
低解像度パンクロ・ブロック206は、ブロック204で生成された高解像度パンクロ画像アレイを受け取り、ブロック202で生成された低解像度不完全カラー画像と同じサイズの低解像度パンクロ画像アレイを生成させる。それぞれの低解像度パンクロ値は、所定のセル内で、カラー・フィルタを有する画素について、推定されたパンクロ値を平均することによって得られる。セル220（図16）の場合には、画素群222（図16）の緑色画素に関して以前に推定した高解像度パンクロ値が平均され、このセルのための単一の低解像度パンクロ値となる。同様に、セル224のため、単一の低解像度パンクロ値が、赤色フィルタを有する画素で推定された高解像度パンクロ値を利用して計算される。このようにして、各セルは最終的に単一の低解像度パンクロ値を持つ。
【００７０】
低解像度色差ブロック208は、ブロック202から低解像度不完全カラー画像を受け取ると同時に、ブロック206から低解像度パンクロ・アレイを受け取る。次に、低解像度中間カラー画像が、低解像度パンクロ画像をガイドとして低解像度不完全カラー画像の色を内挿することによって形成される。色内挿アルゴリズムの正確な特徴（あとで詳しく説明する）は、原初の生画像データを捕獲するのにどの画素光応答パターンを用いたかに依存する。
【００７１】
低解像度中間カラー画像が形成された後、色が補正される。低解像度中間カラー画像の色が補正されると、それぞれの低解像度色平面から個別に低解像度パンクロ画像を差し引くことによって色差の低解像度画像が計算される。高解像度色差ブロック210は、ブロック208から低解像度色差画像を受け取り、双一次内挿を利用して低解像度色差画像のアップサンプリングを行なうことで、原初の生画像データのサイズを一致させる。結果は、ブロック204が生成させた高解像度パンクロ画像と同じサイズの高解像度色差画像である。
【００７２】
高解像度最終画像ブロック212は、ブロック210から高解像度色差画像を受け取ると同時に、ブロック204から高解像度パンクロ画像を受け取る。次に、高解像度パンクロ画像をそれぞれの高解像度色差平面に加算することによって高解像度最終画像が形成される。得られた高解像度最終画像はさらに処理することができる。例えばDSPメモリ・ブロック32（図1）に記憶された後、シャープにされ、圧縮されてメモリ・カード・ブロック64（図1）に記憶される。
【００７３】
図4A〜図4D、図8A、図9、図10A、図13A〜図13C、図14A〜図14B、図15A〜図15Bに示したセンサー・フィルタのパターンは、ブロック202で生成された低解像度不完全カラー画像が、カラー・フィルタに関して繰り返しベイヤー・パターン：
Ｇ Ｒ
Ｂ Ｇ
を示すような最小繰り返し単位を有する。
【００７４】
どのセルも、低解像度不完全カラー画像によって与えられる単一のカラー値に加え、低解像度パンクロ画像によって与えられるパンクロ値も有する。
【００７５】
ベイヤー・パターンが低解像度不完全カラー画像に存在している場合を考えると、低解像度色差ブロック208（図18）における色内挿というタスクを今やより詳細に説明することができる。色内挿は、図19Aの画素234に示してあるように、緑色値をまだ持たない画素における緑色値を内挿することから開始する。隣にある4つの画素（画素230、232、236、238として示してある）はすべて緑色値を持ち、パンクロ値も持っている。中心の画素234はパンクロ値を持つが、疑問符で示してあるように緑色値は持たない。
【００７６】
第1のステップは、2つの分類値を計算することである。第1の分類値は水平方向に関係し、第2の分類値は鉛直方向に関係する。
HCLAS = ABS (P4 - P2) + ABS (2×P3 - P2 - P4)
VCLAS = ABS (P5 - P1) + ABS (2×P3 - P1 - P5)
次に2つの予想値を計算する。第1の予想値は水平方向に関係し、第2の予想値は鉛直方向に関係する。
HPRED = (G4 + G2)/2 + (2×P3 - P2 - P4)/2
VPRED = (G5 + G1)/2 + (2×P3 - P1 - P5)/2
最後に、THRESHを経験的に決定した閾値とすることで、欠けている値G3を以下のようにして適応的に計算することができる。
IF MAX (HCLAS, VCLAS) < THRESH
G3 = (HPRED + VPRED)/2
ELSEIF VCLAS < HCLAS
G3 = VPRED
ELSE
G3 = HPRED
END
したがって両方の分類値が閾値よりも小さい場合には、両方の予想値の平均を計算してG3とする。そうでない場合には、分類値HCLASとVCLASのどちらが小さいかに応じてHPREDまたはVPREDを利用する。
【００７７】
欠けているすべての緑色値が推定されると、欠けている赤色値と青色値が内挿される。図19Bに示してあるように、画素242には赤色値が欠けているが、水平方向に隣接している2つの画素（画素240と244）はそれぞれ赤色値R2とR4を持つ。これら3つの画素はどれも緑色値を持つ。このような条件下では、画素242に関する赤色値（R3）は以下のようにして計算される。
R3 = (R4 + R2)/2 + (2×G3 - G2 - G4)/2
欠けている青色値は、同様の条件下で同じようにして計算される。この時点では、まだ赤色値と青色値が欠けている画素だけが、鉛直方向の内挿を必要とする画素である。図19Cに示してあるように、画素252には赤色値が欠けており、鉛直方向に隣接している2つの画素（画素250と254）はそれぞれ赤色値R1とR5を持つ。このような条件下では、画素252に関する赤色値（R3）は以下のようにして計算される。
R3 = (R5 + R1)/2 + (2×G3 - G1 - G5)/2
欠けている青色値は、同様の条件で同じようにして計算される。こうすることで、低解像度不完全カラー画像の内挿が完成し、その結果が低解像度中間カラー画像となる。すでに説明したように、低解像度色差は、今やそれぞれの色平面（すなわち上で説明した例における赤、緑、青）から低解像度パンクロ値を差し引くことによって計算できる。
【００７８】
カラー値が繰り返しベイヤー・パターンを示す低解像度不完全カラー画像をすべてのセンサーが生成させるわけではない。例えば図11Aに示したセンサー・パターンでは、各セルが2つのカラー値（すなわち緑と赤、または緑と青）を持つように決められている。したがってこの場合には、低解像度色差ブロック208（図18）における色内挿というタスクにより、各画素について欠けている赤色値または青色値が推定される。図19Dを参照すると、画素264は、緑色値（G3）を持つが、赤色値（R3）は持たないことが示してある。隣接する4つの画素260、262、266、268は、緑色値と赤色値を持つ。画素264（図19D）に関して赤色値を内挿する方法は、画素234（図19A）に関して緑色値を内挿するのに用いた方法と同様である。
【００７９】
第1のステップは、2つの分類値を計算することである。第1の分類値は水平方向に関係し、第2の分類値は鉛直方向に関係する。
HCLAS = ABS (G4 - G2) + ABS (2×G3 - G2 - G4)
VCLAS = ABS (G5 - G1) + ABS (2×G3 - G1 - G5)
次に2つの予想値を計算する。第1の予想値は水平方向に関係し、第2の予想値は鉛直方向に関係する。
HPRED = (R4 + R2)/2 + (2×G3 - G2 - G4)/2
VPRED = (R5 + R1)/2 + (2×G3 - G1 - G5)/2
最後に、THRESHを経験的に決定した閾値とすることで、欠けている値R3を以下のようにして適応的に計算することができる。
IF MAX (HCLAS, VCLAS) < THRESH
R3 = (HPRED + VPRED)/2
ELSEIF VCLAS < HCLAS
R3 = VPRED
ELSE
R3 = HPRED
END
したがって両方の分類値が閾値よりも小さい場合には、両方の予想値の平均を計算してR3とする。そうでない場合には、分類値HCLASとVCLASのどちらが小さいかに応じてHPREDまたはVPREDを利用する。
【００８０】
欠けている青色値は、赤色値の代わりに青色値を用いてまったく同じ方法で内挿される。それが終わると、低解像度中間カラー画像が生成される。そこから低解像度色差がすでに説明したようにして計算される。
【００８１】
本発明を好ましいいくつかの実施態様を特に参照して説明してきたが、本発明の精神と範囲を逸脱することなくさまざまなバリエーションや変更が可能であることが理解されよう。
【符号の説明】
【００８２】
10 対象となる光景からの光
11 イメージング段
12 レンズ
13 中性フィルタ
14 虹彩絞り
16 明るさセンサー
18 シャッター
20 イメージ・センサー
22 アナログ信号処理装置
24 アナログ／ディジタル（A/D）変換器
26 タイミング発生装置
28 イメージ・センサー段
30 ディジタル信号処理装置（DSP）のバス
32 ディジタル信号処理装置（DSP）のメモリ
36 ディジタル信号処理装置（DSP）
38 処理段
40 露出制御装置
50 システム制御装置
52 システム制御装置のバス
54 プログラム用メモリ
56 システム用メモリ
57 ホストとのインターフェイス
60 メモリ・カードとのインターフェイス
62 メモリ・カード用ソケット
64 メモリ・カード
68 ユーザー制御／状態インターフェイス
70 ビューファインダ・ディスプレイ
72 露出ディスプレイ
74 ユーザー入力
76 状態ディスプレイ
80 ビデオ・エンコーダ
82 ディスプレイ制御装置
88 画像ディスプレイ
100 ベイヤー・パターンのための最小繰り返し単位
102 最小ではないベイヤー・パターンのための繰り返し単位
110 赤外阻止フィルタの分光透過曲線
112 フィルタのないセンサーの分光光応答曲線
114 センサーの赤色光応答曲線
116 センサーの緑色光応答曲線
118 センサーの青色光応答曲線
120 第1の緑色セル
122 赤色セル
124 青色セル
126 第2の緑色セル
202 低解像度不完全カラー・ブロック
204 高解像度パンクロ・ブロック
206 低解像度パンクロ・ブロック
208 低解像度色差ブロック
210 高解像度色差ブロック
212 高解像度最終画像ブロック
220 第1の緑色セル
222 第1の緑色セル内の緑色画素
224 赤色セル
226 青色セル
228 第2の緑色セル
230 欠けた緑色値を内挿するための上側画素
232 欠けた緑色値を内挿するための左側画素
234 緑色値が欠けた画素
236 欠けた緑色値を内挿するための右側画素
238 欠けた緑色値を内挿するための下側画素
240 欠けた赤色値を内挿するための左側画素
242 赤色値が欠けた画素
244 欠けた赤色値を内挿するための右側画素
250 欠けた赤色値を内挿するための上側画素
252 赤色値が欠けた画素
254 欠けた赤色値を内挿するための下側画素
260 欠けた赤色値を内挿するための上側画素
262 欠けた赤色値を内挿するための左側画素
264 赤色値が欠けた画素
266 欠けた赤色値を内挿するための右側画素
268 欠けた赤色値を内挿するための下側画素
【技術分野】
【０００１】
本発明は、光感度が改善された二次元イメージ・センサーに関する。
【背景技術】
【０００２】
電子式イメージング・システムは、画像を電子的に表現にするため、電子式イメージ・センサーに頼っている。このような電子式イメージ・センサーとして、電荷結合デバイス（CCD）イメージ・センサーとアクティブ画素センサー（APS）デバイス（APSデバイスは相補型金属酸化物半導体プロセスで製造できるため、CMOSセンサーと呼ばれることがしばしばある）がある。一般に、これらイメージ・センサーには多数の感光画素が含まれていて、しばしば行と列の規則的なパターンに配置されている。カラー画像を捕獲するため、あるパターンのフィルタが一般に画素パターンの上に製造される。そのとき異なるフィルタ材料を用い、個々の画素が可視光スペクトルの一部だけに感度を持つようにする。カラー・フィルタは各画素に到達する光の量を必然的に減らすため、各画素の光感度が低下する。画像をより低いレベルの光で捕獲できるようにするため、またはより高いレベルの光で画像を捕獲して露出時間をより短くするため、電子式カラー・イメージ・センサーの光感度または写真感度を向上させることが相変わらず必要とされている。
【０００３】
イメージ・センサーは、直線状または二次元である。一般に、これらセンサーには異なる2つの用途がある。二次元センサーは、一般に、画像取得装置（例えばディジタル・カメラ、携帯電話、ならびに他の用途）に適している。直線状センサーは、文書のスキャニングにしばしば用いられる。いずれの場合にも、カラー・フィルタを用いるとイメージ・センサーの感度が低下する。
【０００４】
直線状イメージ・センサー（イーストマン・コダック社が製造したKLI-4104）は、4つの直線状単一画素ワイド・アレイを備えており、そのうちの3つのアレイにカラー・フィルタが取り付けられていてそれぞれのアレイ全体が赤、緑、青いずれかに対する感度を持つようにされ、第4のアレイにはカラー・フィルタが取り付けられていない。さらに、3つのカラー・アレイは、カラー・フィルタに起因する光感度の低下を補償するため画素がより大きく、第4のアレイはより小さくて、高解像度モノクロ画像を捕獲する。このイメージ・センサーを用いて画像が捕獲されると、その画像は、高解像度で高写真感度の1つのモノクロ画像と、写真感度がほぼ同じで解像度がより低い3つの画像として表わされる。3つの画像のそれぞれは、画像からの赤色光、緑色光、青色光いずれかに対応している。したがってこの電子画像の各点は、モノクロ値と、赤色値と、緑色値と、青色値とを有する。しかしこれは直線状イメージ・センサーであるため、画像を走査するのに4種類の直線状画素アレイの上を通過させるにはイメージ・センサーと画像の間の相対的な物理的運動が必要とされる。このようにすると画像を走査する速度が制限されるため、手で持つカメラや運動物体を含む光景の捕獲でこのセンサーを使用することはできない。
【０００５】
従来技術では、Muramatsu Akiraがアメリカ合衆国特許第4,823,186号に記載している電子式イメージング・システムも知られている。このシステムは2つのセンサーを備えていて、各センサーは二次元画素アレイを備えているが、1つのセンサーはカラー・フィルタを持たず、他方のセンサーは、画素とともに含まれたあるパターンのカラー・フィルタを備えていて、光ビーム・スプリッタが各イメージ・センサーに画像を提供する。カラー・センサーにはあるパターンのカラー・フィルタが取り付けられているため、カラー・センサーの各画素は1つの色だけを発生させる。画像がこのシステムで捕獲されるとき、電子的画像の各点は1つのモノクロ値と1つのカラー値を持つため、カラー画像は、近くの色から内挿される欠けた色を各画素位置に持つはずである。このシステムは従来の単一イメージ・センサーよりも光感度が改善されているとはいえ、2つのセンサーと1つのビーム・スプリッタを必要とするため、このシステムの複雑さ、サイズ、コストは、全体としてより大きくなる。さらに、ビーム・スプリッタは画像からの光の半分しか各センサーに向かわせないため、写真感度の改善が制限される。
【０００６】
上記の直線状イメージ・センサーに加え、二次元画素アレイを備えるイメージ・センサーが従来技術で知られている。その場合の画素は、カラー・フィルタが取り付けられていない画素を含んでいる。例えばSatoらのアメリカ合衆国特許第4,390,895号、Yamagamiらのアメリカ合衆国特許第5,323,233号、Gindeleらのアメリカ合衆国特許第6,476,865号を参照のこと。これら特許のそれぞれにおいて、フィルタなしの画素またはモノクロ画素の感度は、カラー画素よりも著しく大きい。そこで画素アレイからのカラー信号とモノクロ信号を整合させるには、カラー画素に利得を適用する必要がある。利得を大きくすると、信号とともに雑音も大きくなるため、得られる画像の全体的な信号対雑音比は低下する。アメリカ合衆国特許出願公開2003/0210332には、大半の画素にフィルタがない画素アレイが開示されているが、カラー画素には、上に述べたのと同じ感度不足の問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって二次元画素アレイを備えるイメージ・センサーを利用した電子式キャプチャ・デバイスのために光感度を向上させることが相変わらず必要とされている。
【課題を解決するための手段】
【０００８】
本発明は、カラー画素とパンクロ画素からなる二次元アレイを備えていて高感度でフル・カラー画像を生成させるのに有効なイメージ・センサーを提供することを目的とする。
【０００９】
簡単にまとめると、本発明の1つの特徴により、カラー画像を捕獲するためのイメージ・センサーであって、2つの画素群を有する二次元アレイを備えていて、第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭く、第1の画素群からの個々の画素は、少なくとも2つの色のセットに対応する分光光応答を持ち、第1の画素群と第2の画素群の配置が、少なくとも12個の画素を含む最小繰り返し単位を持つあるパターンを規定していて、その最小繰り返し単位は複数のセルを含むことによって規定され、各セルは、第1の画素群の中から選択した特定の1つの色を表わす少なくとも2つの画素と、第2の画素群の中から選択した複数の画素とを持ち、それらの画素が、捕獲したカラー画像を異なる照明条件下で再現できるように配置されているイメージ・センサーが提供される。
【００１０】
本発明のイメージ・センサーは、低レベルの照明条件に特に適している。そのような低レベルの照明条件は、光景の照明が少ないこと、露出時間が短いこと、アパーチャが小さいことの結果、またはセンサーに到達する光に関する他の制限条件の結果である。本発明のイメージ・センサーには多くの用途があり、多数のタイプの画像キャプチャ・デバイスでこのようなセンサーを有効に利用できる。
【図面の簡単な説明】
【００１１】
【図１】従来のセンサーと処理法、またはそのセンサーと本発明の処理法を利用できる従来のディジタル・スチール・カメラ・システムのブロック・ダイヤグラムである。
【図２】従来のベイヤー・カラー・フィルタ・アレイのパターン（従来技術）であり、最小繰り返しパターンと非最小繰り返しパターンを示してある。
【図３】赤色画素、緑色画素、青色画素の代表的な分光量子効率曲線と、それよりも広いパンクロ分光量子効率曲線であり、どれも赤外遮断フィルタの透過特性との積である。
【図４Ａ】カラー光応答が同じカラー画素が行または列に配置された本発明によるカラー・フィルタ・アレイのパターンのいくつかのバリエーションにおける最小繰り返し単位である。
【図４Ｂ】カラー光応答が同じカラー画素が行または列に配置された本発明によるカラー・フィルタ・アレイのパターンのいくつかのバリエーションにおける最小繰り返し単位である。
【図４Ｃ】カラー光応答が同じカラー画素が行または列に配置された本発明によるカラー・フィルタ・アレイのパターンのいくつかのバリエーションにおける最小繰り返し単位である。
【図４Ｄ】カラー光応答が同じカラー画素が行または列に配置された本発明によるカラー・フィルタ・アレイのパターンのいくつかのバリエーションにおける最小繰り返し単位である。
【図５】図4Aからの最小繰り返し単位のセル構造である。
【図６Ａ】図4Aのための内挿されたパンクロ画像である。
【図６Ｂ】図4Aと図5のセルに対応する低解像度カラー画像である。
【図７Ａ】図4Aの画素を組み合わせる方法をいくつか示してある。
【図７Ｂ】図4Aの画素を組み合わせる方法をいくつか示してある。
【図７Ｃ】図4Aの画素を組み合わせる方法をいくつか示してある。
【図８Ａ】別のカラー光応答特性を有するカラー画素を含む図4Aと同様のカラー・フィルタ・アレイのパターンであり、4色と、シアン、マゼンタ、イエローが含まれている。
【図８Ｂ】別のカラー光応答特性を有するカラー画素を含む図4Aと同様のカラー・フィルタ・アレイのパターンであり、4色と、シアン、マゼンタ、イエローが含まれている。
【図８Ｃ】別のカラー光応答特性を有するカラー画素を含む図4Aと同様のカラー・フィルタ・アレイのパターンであり、4色と、シアン、マゼンタ、イエローが含まれている。
【図８Ｄ】別のカラー光応答特性を有するカラー画素を含む図4Aと同様のカラー・フィルタ・アレイのパターンであり、4色と、シアン、マゼンタ、イエローが含まれている。
【図９】本発明による別のカラー・フィルタ・アレイのための最小繰り返し単位であり、パンクロ画素が対角線上に配置されている。
【図１０Ａ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、パンクロ画素がグリッドを形成し、その中にカラー画素が埋め込まれている。
【図１０Ｂ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、パンクロ画素がグリッドを形成し、その中にカラー画素が埋め込まれている。
【図１１Ａ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位とタイル状配置であり、セル1つにつき2つの色が存在している。
【図１１Ｂ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位とタイル状配置であり、セル1つにつき2つの色が存在している。
【図１１Ｃ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位とタイル状配置であり、セル1つにつき2つの色が存在している。
【図１１Ｄ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位とタイル状配置であり、セル1つにつき2つの色が存在している。
【図１２Ａ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、セル1つにつき2つの色が存在していて、パンクロ画素が対角線に配置されている。
【図１２Ｂ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、セル1つにつき2つの色が存在していて、パンクロ画素が対角線に配置されている。
【図１３Ａ】図4Aのバリエーションであり、最小繰り返し単位は8×8画素よりも小さい。
【図１３Ｂ】図4Aのバリエーションであり、最小繰り返し単位は8×8画素よりも小さい。
【図１３Ｃ】図4Aのバリエーションであり、最小繰り返し単位は8×8画素よりも小さい。
【図１４Ａ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、最小繰り返し単位は6×6画素である。
【図１４Ｂ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、最小繰り返し単位は6×6画素である。
【図１５Ａ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、最小繰り返し単位は4×4画素である。
【図１５Ｂ】本発明による別のカラー・フィルタ・アレイの2つのバリエーションのための最小繰り返し単位であり、最小繰り返し単位は4×4画素である。
【図１６】図4Aの最小繰り返し単位であり、この最小繰り返し単位に含まれる個々の画素に添字を付してある。
【図１７Ａ】図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。
【図１７Ｂ】図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。
【図１７Ｃ】図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。
【図１７Ｄ】図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。
【図１７Ｅ】図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。
【図１８】本発明による処理ダイヤグラムであり、本発明のセンサーからのカラー画素データとパンクロ画素データを処理する方法を示している。
【図１９Ａ】図18の低解像度不完全カラー画像に欠けている色を内挿するための本発明の方法を示している。
【図１９Ｂ】図18の低解像度不完全カラー画像に欠けている色を内挿するための本発明の方法を示している。
【図１９Ｃ】図18の低解像度不完全カラー画像に欠けている色を内挿するための本発明の方法を示している。
【図１９Ｄ】図18の低解像度不完全カラー画像に欠けている色を内挿するための本発明の方法を示している。
【発明を実施するための形態】
【００１２】
本発明のこれらの側面、目的、特徴、利点と他の側面、目的、特徴、利点は、好ましい実施態様に関する以下の詳細な説明と添付の請求項を検討することで、より明確に理解することができよう。
【００１３】
イメージング装置と、信号を捕獲して補正するとともに露出を制御するための関連回路とを利用したディジタル・カメラはよく知られているため、ここでの説明は、特に、本発明の方法および装置の一部を形成する要素、または本発明の方法および装置とより直接的に協働する要素を対象とする。この明細書に特に示したり説明したりしない要素は、従来技術で知られているものの中から選択する。ここで説明する実施態様のいくつかの特徴はソフトウエアとして提供される。以下に本発明のシステムを図示して説明していることを考えると、本発明の実施に役立つがこの明細書に特には図示、説明、示唆してはいないソフトウエアは、この分野の当業者にはありふれたものであり、当業者の能力の範囲にある。
【００１４】
ここで図1を参照すると、本発明を具体化したディジタル・カメラとしての画像キャプチャ・デバイスをブロック・ダイヤグラムとして示してある。ディジタル・カメラについてこれから説明するが、本発明が他のタイプの画像キャプチャ・デバイスにも適用できることは明らかである。ここに開示するカメラでは、対象となる光景からの光10がイメージング段11に入力され、そこで光はレンズ12によって集束されて固体イメージ・センサー20の上に画像を形成する。イメージ・センサー20は、各ピクチャ・エレメント（画素）のために入射光を電気信号に変換する。この好ましい実施態様のイメージ・センサー20は、電荷結合デバイス（CCD）タイプまたはアクティブ画素センサー（APS）タイプ（APSデバイスは、相補型金属酸化物半導体プロセスで製造できるためにCMOSセンサーと呼ばれることがしばしばある）である。本発明のパターンが使用されるのであれば、二次元画素アレイを有する他のタイプのイメージ・センサーも用いられる。本発明では、カラー画素とパンクロ画素からなる二次元アレイを有するイメージ・センサー20も利用される。これについては、この明細書で図1を説明した後に明らかになろう。イメージ・センサー20で使用される本発明のカラー画素とパンクロ画素のパターンの例は、図4A〜図4D、図8A〜図8D、図9、図10A〜図10B、図11A、図11C、図13A〜図13C、図14A〜図14B、図15A〜図15Bに見られるが、本発明の範囲で他のパターンも利用できる。
【００１５】
イメージ・センサー20に到達する光の量は、アパーチャを変化させる虹彩絞りブロック14と、光路の途中に配置された1つ以上の中性（ND）フィルタを有するNDフィルタ・ブロック13とによって調節される。全体的な光のレベルは、シャッター・ブロック18を開いている時間によっても調節される。露出制御装置ブロック40は、光景において利用可能な光の量を明るさセンサー・ブロック16が測定した値に応答し、これら3つの調節機能をすべて制御する。
【００１６】
特別な構成のカメラに関するこの説明は当業者にはありふれたものであろうし、多くのバリエーションや追加の特徴が存在することも明らかであろう。例えばオートフォーカス・システムを追加したり、レンズを取外し可能かつ交換可能にしたりする。本発明があらゆるタイプのディジタル・カメラに適用され、そこでは同様の機能が代替部品によって提供されることが理解できよう。例えばここでのディジタル・カメラは、撮影対象に向けてシャッターを押す比較的単純なディジタル・カメラであり、シャッター18は、比較的簡単な可動ブレード・シャッターなどであり、より複雑な焦点面シャッターではない。本発明は、カメラではない装置（例えば携帯電話や自動車）に含まれるイメージング要素で実施することもできる。
【００１７】
イメージ・センサー20からのアナログ信号は、アナログ信号処理装置22によって処理され、アナログ／ディジタル（A/D）変換器24に送られる。タイミング発生装置26がさまざまなクロック信号を発生させて行と画素を選択するとともに、アナログ信号処理装置22とA/D変換器24の動作を同期させる。イメージ・センサー段28には、イメージ・センサー20と、アナログ信号処理装置22と、A/D変換器24と、タイミング発生装置26が含まれている。イメージ・センサー段28のこれらの要素は、別々の集積回路として製造されるか、CMOSイメージ・センサーで一般的なように単一の集積回路として製造される。A/D変換器24から得られる一連のディジタル画素値は、ディジタル信号処理装置（DSP）36に付随するメモリ32に記憶される。
【００１８】
ディジタル信号処理装置36は、この実施態様の3つの処理装置または制御装置のうち1つであり、他の2つはシステム制御装置50と露出制御装置40である。多数の制御装置と処理装置でカメラ機能の制御をこのように分担することが一般的だが、これらの制御装置または処理装置をいろいろな方法で組み合わせてもカメラの機能や本発明の用途が影響を受けることはない。これらの制御装置または処理装置は、1つ以上のディジタル信号処理装置、マイクロコントローラ、プログラム可能な論理装置、またはこれら以外のディジタル論理回路を備えることができる。このような制御装置または処理装置の1つの組み合わせについて説明したが、1つの制御装置または処理装置が必要な全機能を実施するようにできることは明らかであろう。これらのバリエーションはどれも同じ機能を実行できて本発明の範囲に含めることができ、“処理段”という用語は、必要に応じ、例えば図1の処理段38におけるように1つの文章に含まれるこの機能をすべてカバーするものとする。
【００１９】
図示した実施態様では、DSP 36は、付随するメモリ32に記憶されたディジタル画像データをソフトウエアに従って処理する。このソフトウエアはプログラム用メモリ54に常時記憶されていて、画像を捕獲している間にメモリ32にコピーされて実行される。DSP 36は、図18に示した画像処理の実施に必要なソフトウエアを実行する。メモリ32は、任意のタイプのランダム・アクセス・メモリ（例えばSDRAM）を含んでいる。アドレス信号とデータ信号のための経路を含むバス30が、DSP 36を付随するメモリ32、A/D変換器24、および他の関連した装置に接続している。
【００２０】
システム制御装置50は、プログラム用メモリ54（フラッシュEEPROMまたは他の不揮発性メモリを含むことができる）に記憶されたソフトウエア・プログラムに基づいてカメラの全動作を制御する。このメモリは、カメラのスイッチをオフにしたときに保存されるべきイメージ・センサーの較正データ、ユーザー設定の選択結果、ならびに他のデータを記憶させるのにも使用できる。システム制御装置50は、一連の画像捕獲操作を制御する。すなわち、露出制御装置40に命令することにより、すでに説明したレンズ12、NDフィルタ13、虹彩絞り14、シャッター18を動作させ、タイミング発生装置26に命令してイメージ・センサー20とそれに関連する素子を動作させ、DSP 36に命令して捕獲された画像データを処理する。画像が捕獲されて処理されると、メモリ32に記憶された最終画像ファイルはインターフェイス57を通じてホスト・コンピュータに移され、取外し可能なメモリ・カード64または他の記憶装置に記憶され、ユーザーのため画像ディスプレイ88に表示される。
【００２１】
バス52は、アドレス、データ、制御信号のための経路を含んでおり、システム制御装置50を、DSP 36、プログラム用メモリ54、システム用メモリ56、ホスト・インターフェイス57、メモリ・カードとのインターフェイス60、ならびに関連する他の装置に接続している。ホストとのインターフェイス57は、パーソナル・コンピュータ（PC）または他のホスト・コンピュータへの高速接続を提供し、表示、記憶、処理、印刷のための画像データを転送する。このインターフェイスは、IEEE1394またはUSB2.0シリアル・インターフェイスであるか、適切な他の任意のディジタル・インターフェイスである。メモリ・カード64は、一般に、ソケット62に挿入されてメモリ・カードとのインターフェイス60を通じてシステム制御装置50に接続されるコンパクト・フラッシュ（CF）カードである。使用される他のタイプの記憶装置として、PCカード、マルチメディア・カード（MMC）、セキュア・ディジタル（SD）カードなどがある。
【００２２】
処理された画像はシステム用メモリ56の表示用バッファにコピーされ、ビデオ・エンコーダ80を通じて連続的に読み出されてビデオ信号が生成される。この信号はカメラから直接出力されて外部モニタに表示されるか、表示制御装置82によって処理されて画像ディスプレイ88に表示される。このディスプレイは一般にアクティブ・マトリックス・カラー液晶ディスプレイ（LCD）だが、他のタイプのディスプレイも使用される。
【００２３】
ユーザー・インターフェイス（ビューファインダ・ディスプレイ70、露出ディスプレイ72、状態ディスプレイ76、画像ディスプレイ88のすべてまたは任意の組み合わせと、ユーザー入力74が含まれる）は、露出制御装置40とシステム制御装置50で実行されるソフトウエア・プログラムの組み合わせによって制御される。ユーザー入力74は、一般に、ボタン、ロッカー・スイッチ、ジョイスティック、回転ダイヤル、タッチスクリーンの何らかの組み合わせを備えている。露出制御装置40は、光の測定、露出モード、自動焦点合わせ、ならびに他の露出機能を実行する。システム制御装置50は、1つ以上のディスプレイ（例えば画像ディスプレイ88）に表示されるグラフィカル・ユーザー・インターフェイス（GUI）を管理する。GUIは、一般に、さまざまな選択を行なうためのメニューと、捕獲された画像を調べるための検査モードを含んでいる。
【００２４】
露出制御装置40は、露出モード、レンズのアパーチャ、露出時間（シャッター速度）、露出の指標またはISO感度を選択するユーザー入力を受け取り、それに応じてレンズとシャッターに対して命令を出してその後の捕獲を行なう。明るさセンサー16を用いて光景の明るさを測定して露出計の機能を提供することで、ユーザーがISO感度、アパーチャ、シャッター速度を手動で設定するときに参照できるようにする。この場合、ユーザーが1つ以上の設定を変えると、ビューファインダ・ディスプレイ70に表示される光測定インディケータが、ユーザーに、画像がどの程度露出過剰または露出不足になるかを知らせる。自動露出モードでは、ユーザーが1つの設定を変化させると露出制御装置40は自動的に他の設定を変えて正しい露出を維持する（例えば所定のISO感度でユーザーがレンズのアパーチャを小さくすると露出制御装置40は自動的に露出時間を長くして全露出が同じになるように維持する）。
【００２５】
ISO感度は、ディジタル・スチール・カメラの1つの重要な属性である。露出時間と、レンズのアパーチャと、レンズの透過率と、光を受けている光景の光のレベルおよびスペクトル分布と、光景の反射率とが、ディジタル・スチール・カメラの露出レベルを決定する。ディジタル・スチール・カメラから露出が十分でない画像が得られた場合には、電子的利得またはディジタル利得を大きくすることによって適切な色調の再現性が一般に維持されるが、画像は許容できない量の雑音を含むことになろう。露出が多くなるのに合わせて利得を小さくできるため、通常は画像の雑音を許容可能なレベルに低下させることができる。露出が過度に大きい場合には、画像の明るい領域で得られる信号は、イメージ・センサーまたはカメラが信号を処理する最大信号レベルを超える可能性がある。すると画像のハイライトが生じる可能性があるため、その部分を切り取って一様な明るい領域を形成するか、曇らせて画像の周辺領域にとけ込ませる。ユーザーが適切な露出を設定するよう誘導することが重要である。ISO感度は、そのようなガイドとして機能することが想定されている。撮影者が容易に理解できるようにするため、ディジタル・スチール・カメラのISO感度は、写真フィルム式カメラのISO感度と直接関係している必要がある。例えばディジタル・スチール・カメラのISO感度がISO200だとすると、同じ露出時間とアパーチャがISO200のフィルム／処理システムにとって適切でなければならない。
【００２６】
ISO感度は、フィルムのISO感度と矛盾しないことが想定されている。しかし電子式イメージング・システムとフィルムに基づくイメージング・システムの間には差があるため、正確に同じにはならない。ディジタル・スチール・カメラは利得を可変にすることができ、画像データが捕獲された後にディジタル処理が可能である。そのためカメラのある露出範囲内で色調の再現が可能である。したがってディジタル・スチール・カメラの感度にはある程度の幅を持たせることができる。この幅は、ISO感度ラティチュードとして定義される。混乱を避けるため、固有ISO感度として単一の値を指定する。そのときISO感度ラティチュードの上限と下限が、感度の範囲、すなわち固有ISO感度とは異なる有効感度を含む範囲を示す。このことを念頭に置くと、固有ISO感度は、特定のカメラ出力信号特性を生み出すため、ディジタル・スチール・カメラの焦点面における露出から計算された数値である。固有感度は、通常は、あるカメラ・システムが与えられたとき、標準的な光景に関して画像品質を最大にする露出の指標値である。この露出の指標値は、イメージ・センサーの露出に逆比例する数値である。
【００２７】
ディジタル・カメラに関する上記の説明は、当業者にはありふれたものであろう。この実施態様に対して可能な多数のバリエーションが存在しており、コストを低下させるため、特徴を追加するため、カメラの性能を向上させるためにそうしたバリエーションが選択される。以下の説明には、本発明に従って画像を捕獲することに関するこのカメラの動作を詳細に開示する。この説明はディジタル・カメラについてのものだが、本発明が、カラー画素とパンクロ画素を有するイメージ・センサーを備えたあらゆるタイプの画像キャプチャ・デバイスで利用できることが理解されよう。
【００２８】
図1に示したイメージ・センサー20は、一般に、シリコン基板上に製造された二次元感光画素アレイを含んでおり、その感光画素が、各画素への入射光を測定して電気信号に変換する手段を提供する。このセンサーに光が当たると、自由電子が発生して各画素の電子構造に捕獲される。その自由電子をある期間にわたって捕獲した後、捕獲した電子の数を測定するか、自由電子が発生する速度を測定することで、各画素における光のレベルを測定できる。前者の場合、電荷結合デバイス（CCD）などにおけるように蓄積された電荷が画素アレイからシフトして電圧測定回路の電荷となるか、アクティブ画素センサー（APSまたはCMOSセンサー）におけるように各画素の近くの領域に電圧測定回路に対する電荷のためのエレメントを含むことができる。
【００２９】
以下の説明でイメージ・センサーに言及するときにはいつでも、図1からのイメージ・センサー20を表わしているものとする。さらに、イメージ・センサー20では、この明細書に開示した本発明のすべての実施態様と、それと同等な構成のイメージ・センサーおよび画素パターンを利用するものとする。
【００３０】
イメージ・センサーという文脈では、画素（“ピクチャ・エレメント”の縮約形）は、離散した感光領域と、その感光領域に関係した電荷シフト回路または電荷測定回路を意味する。ディジタル・カラー画像の文脈では、画素という用語は、一般に、画像中で色値を伴った特定の位置を意味する。
【００３１】
カラー画像を生成させるため、イメージ・センサーの画素アレイは、一般に、その上に配置したあるパターンのカラー・フィルタを有する。図2は、赤色フィルタ、緑色フィルタ、青色フィルタからなるパターンであり、このパターンが一般に使用されている。この特別なパターンは、アメリカ合衆国特許第3,971,065号に開示されているように、発明者のブライス・ベイヤーにちなんでベイヤー・カラー・フィルタ・アレイ（CFA）として一般に知られている。このパターンは、二次元カラー画素アレイを有するイメージ・センサーで有効に用いられている。その結果、各画素は特定のカラー光応答を持つ。この場合には、赤色光、緑色光、青色光いずれかに対する感度が大きいカラー光応答である。カラー光応答の有用な別の一例では、マゼンタ色光、イエロー色光、シアン色光いずれかに対する感度が大きい。どの場合でも、特定のカラー光応答は、可視スペクトルのある部分に対する感度は大きいが、それと同時に可視スペクトルの他の部分に対する感度は低い。カラー画素という用語は、カラー光応答を有する画素を意味する。
【００３２】
センサーで利用するために選択されるカラー光応答のセットは、通常は、ベイヤーCFAに示してあるように3色だが、4色以上を含んでいてもよい。この明細書では、パンクロ光応答は、カラー光応答に関して選択したセットにおける分光感度よりも広い分光感度を持つ光応答を意味する。パンクロ光応答は、可視スペクトル全体にわたって大きな感度を持つことができる。パンクロ画素という用語は、パンクロ光応答を持つ画素を意味する。パンクロ画素は一般にカラー光応答のセットよりも広い分光感度を持つが、各パンクロ画素にはフィルタが取り付けられていてもよい。そのようなフィルタは、中性フィルタまたはカラー・フィルタである。
【００３３】
カラー画素とパンクロ画素からなるパターンがイメージ・センサーの表面にある場合には、そのような各パターンは繰り返し単位を有する。この繰り返し単位は、画素が切れ目なくつながって基本的構成ブロックとして機能するサブアレイである。この繰り返し単位のコピーを多数並置することにより、センサー・パターンの全体が得られる。繰り返し単位の多数のコピーは、斜め方向に並べることも、水平方向と鉛直方向に並べることもできる。
【００３４】
最小繰り返し単位は、より少ない画素からなる他の繰り返し単位が存在しない繰り返し単位である。例えば図2のCFAは、図2の画素ブロック100に示してあるように、2画素×2画素の最小繰り返し単位を含んでいる。この最小繰り返し単位の多数のコピーをタイルのように並べることでイメージ・センサーの画素アレイ全体がカバーされる。緑色画素が左上隈にある最小繰り返し単位を示してあるが、太線で囲まれた領域を1画素だけ右に、または1画素だけ下に、または1画素だけ対角方向に右下に移動させることにより、別の3つの最小繰り返し単位を容易に区別することができる。画素ブロック102は繰り返し単位だが、最小繰り返し単位ではない。なぜなら画素ブロック100は繰り返し単位であり、しかもブロック102よりも画素数が少ないからである。
【００３５】
図2のCFAを有する二次元アレイを備えたイメージ・センサーを用いて捕獲された画像は、画素ごとにカラー値を1つだけ持つ。フル・カラー画像を生成させるため、各画素に欠けている色を推定または内挿する多数の方法がある。こうしたCFA内挿法は従来技術でよく知られており、以下のアメリカ合衆国特許第5,506,619号、第5,629,734号、第5,652,621号に記載されている。
【００３６】
図3は、典型的なカメラの用途において赤色フィルタ、緑色フィルタ、青色フィルタを有する画素の相対分光感度を示している。図3のX軸は波長をナノメートルを単位として表わしており、Y軸は効率を表わす。図3では、曲線110は赤外光と紫外光がイメージ・センサーに到達しないようにするのに用いられる典型的なフィルタの分光透過特性を表わしている。このようなフィルタが必要なのは、イメージ・センサーで使用されるカラー・フィルタは一般に赤外光を阻止せず、したがって画素が、赤外光と、付随するカラー・フィルタの帯域内の光とを区別できないからである。曲線110で示した赤外阻止特性により、赤外光が可視光信号に影響を与えることが阻止される。赤色フィルタ、緑色フィルタ、青色フィルタが取り付けられた典型的なシリコン・センサーに関する分光量子効率（すなわち捕獲される入射フォトンと、測定可能な電気信号に変換されるフォトンの比）に、曲線110で表わされる赤外阻止フィルタの分光透過特性を掛けると、複合系の量子効率として、赤に関しては曲線114が、緑に関しては曲線116が、青に関しては曲線118が得られる。これらの曲線から、それぞれのカラー光応答は、可視スペクトルの一部だけに敏感であることがわかる。それとは逆に、カラー・フィルタが取り付けられていない（が、赤外阻止フィルタ特性は有する）同じシリコン・センサーの光応答を曲線112で示してある。カラー光応答曲線114、116、118をパンクロ光応答曲線112と比較することにより、パンクロ光応答は、広いスペクトルの光に対してどのカラー光応答よりも3〜4倍敏感であることが明らかである。
【００３７】
図3に示したパンクロ感度のほうが大きいため、カラー・フィルタを有する画素とカラー・フィルタなしの画素を混合することにより、イメージ・センサーの全体的な感度を向上させることができる。しかしカラー・フィルタを有する画素は、パンクロ画素よりもはるかに感度が低いであろう。その場合、ある光景からの光の強度範囲がパンクロ画素の測定範囲一杯になるような光がパンクロ画素に当てられたとすれば、カラー画素は著しく露出不足になるであろう。したがってカラー・フィルタを有する画素の感度を調節し、パンクロ画素とほぼ同じ感度になるようにすることが望ましい。カラー画素の感度を大きくするには、例えばパンクロ画素よりもカラー画素のサイズを大きくし、それに伴って大きなスペースを占める画素を減らす。
【００３８】
図4Aは、2通りの画素群を含む二次元画素アレイである。第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭い。第1の画素群は、少なくとも2つのカラー・フィルタに対応する異なる少なくとも2通りの分光光応答と関係する個々の画素を含んでいる。これら2つの画素群が混合されてセンサーの全体的感度が向上する。あとでより明確になることだが、第1の画素群と第2の画素群の位置により、少なくとも12個の画素を含む最小繰り返し単位を持つパターンが規定される。最小繰り返し単位は、捕獲された1つのカラー画像を異なる照明条件下で再現できるように配置した第1の画素群と第2の画素群を含んでいる。
【００３９】
図4Aに示した完成パターンは、画素アレイの全体がカバーされるようにタイル状になった最小繰り返し単位を表わしている。図2と同様、カラー画素とパンクロ画素からなるこの全体的配置を記述するのに用いられる他のいくつかの最小繰り返し単位が存在しているが、それらは性質が本質的に同等であり、それぞれ8画素×8画素の範囲の画素サブアレイである。このパターンの重要な1つの特徴は、パンクロ画素の行とカラー画素の行が交互に配置され、カラー画素の行には同じカラー光応答を持つ画素がまとめられていることである。光応答が同じ画素群と、その隣にあるいくつかのパンクロ画素が、最小繰り返し単位となる4つのセルを形成すると考えられる。1つのセルは、最小繰り返し単位よりも少数の画素が切れ目なくつながったサブアレイである。
【００４０】
図4Aにおいて太線で囲まれたこれら4つのセルと、図5でセル120、122、124、126として示した4つのセルは、それぞれ4×4画素からなる4つのグループを取り囲んでいて、120は左上のセルを表わし、122は右上のセルを表わし、124は左下のセルを表わし、126は右下のセルを表わす。4つのセルはそれぞれ、8個のパンクロ画素と、カラー色応答が同じ8個のカラー画素を含んでいる。1つのセル内のカラー画素が合わさってそのセル全体の色を表わす。したがって図5のセル120は緑色セルと見なされ、セル122は赤色セルと見なされ、以下同様である。各セルは同じ色の少なくとも2つの画素を含んでいるため、同じ色の画素が組み合わさることでカラー画素とパンクロ画素の間の光感度の違いが克服される。
【００４１】
互いに重なっていない4つのセルを含んでいて、各セルが同じ色の2つの画素と2つのパンクロ画素を有する最小繰り返し単位の場合には、最小繰り返し単位に16個の画素が含まれることが明らかである。互いに重なっていない3つのセルを含んでいて、各セルが同じ色の2つの画素と2つのパンクロ画素を有する最小繰り返し単位の場合には、最小繰り返し単位に12個の画素が含まれることが明らかである。
【００４２】
本発明によれば、図4Aの最小繰り返し単位は、図5に示したセル構造を参照すると、捕獲されたカラー画像を異なる照明条件下で再現できる配置にされた高解像度パンクロ画像と低解像度ベイヤー・パターン・カラー画像の組み合わせを表わすことができる。ベイヤー・パターン画像の個々の要素は、対応するセル内のカラー画素の組み合わせを表わす。第1の画素群は低解像度カラー・フィルタ・アレイを規定し、第2の画素群は高解像度パンクロ画像を規定する。図6Aと図6Bを参照のこと。図6Aは、図4Aに対応する高解像度パンクロ画像を表わしており、図4Aからのパンクロ画素Pと内挿されたパンクロ画素P'の両方を含んでいる。図6Bは、低解像度ベイヤー・パターン・カラー画像を表わしており、R'、G'、B'は、図5において線で囲んだ各セルについて、そのセル内で組み合わされたカラー画素に付随するセルの色を表わしている。
【００４３】
以下の説明では、図4B〜図4D、図8A〜図8D、図9、図10A〜図10B、図11A、図11C、図12A〜図12B、図13A〜図13C、図14A〜図14B、図15A〜図15Bの全セルを図4Aにおけるように太線で囲む。
【００４４】
図4Aに示した別の繰り返し単位に加え、このパターンの各セルを90°回転させて図4Bに示したパターンを得る。これは実質的に同じパターンだが、水平方向ではなく鉛直方向でパンクロ・サンプリングの頻度が最大になる。図4Aと図4Bのどちらを選択するかは、それぞれ水平方向と鉛直方向いずれでパンクロ空間的サンプリングを多くしたいかによる。しかし両方のパターンで最小繰り返し単位を作り上げるために得られるセルは、両方のパターンで同じ低解像度カラー画像を生成させる。したがって図4Aと図4Bは、色の観点からは同等である。一般に、図4Aと図4Bは本発明を実現した実施例であり、パンクロ画素が行または列に直線状に配置されている。さらに、図4Aは、パンクロ画素だけの行を含んでおり、各行は、カラー画素行によって隣のパンクロ画素行と隔てられている。図4Bは、列方向に同じ性質を有する。
【００４５】
図4Cは図4Aに対するさらに別の最小繰り返し単位であり、セルの色特性は実質的に同じである。しかし図4Cは、パンクロ画素行とカラー画素行がセルごとに互い違いになっている。こうすることで、鉛直方向のパンクロ解像度を向上させることができる。図4Aに対するさらに別の最小繰り返し単位を図4Dに示してある。この図4Dでは、パンクロ画素行とカラー画素行が2列ごとに互い違いになっている。このようにしても鉛直方向のパンクロ解像度を向上させることができる。図4A〜図4Dに示したどの最小繰り返し単位にも共通する1つの特徴は、2つ以上の同じ色の画素群が行または列の方向に並べて配置されていることである。
【００４６】
図4A〜図4Dはどれも同じ色構造であり、低解像度ベイヤー・パターンを示す最小繰り返し単位を構成するセルを有する。したがって、パンクロ画素とグループ化されたカラー画素からなるさまざまな配置を本発明の範囲で構成できることがわかる。
【００４７】
カラー光感度を大きくすることでパンクロ光感度とカラー光感度のずれを克服するため、各セル内のカラー画素をさまざまな方法で組み合わせる。例えば同じ色の画素からの電荷をCCDイメージ・センサーの中、または貯蔵可能なタイプのアクティブ画素センサーの中で、足し合わせるかまとめる。あるいは同じ色の画素内で測定された電荷量に対応する電圧を、例えば充電されてその電圧になったキャパシタに並列に接続することによって平均する。さらに別の方法では、同じ色の画素における光のレベルのディジタル値を合計または平均する。2つの画素からの電荷を足し合わせるかまとめると信号レベルが2倍になるが、足し合わせた信号をサンプリングして読み出すことに伴う雑音は同じ大きさに留まるため、信号対雑音比は2倍になる。これは、組み合わせた画素の光感度が2倍になることに対応する。2つの画素からの光レベルのディジタル値を合計する場合には、得られる信号は2倍になるが、2つの画素を読むことに対応する雑音レベルは積になるため、雑音は2の平方根を掛けた大きさになる。したがって組み合わせた画素で得られる信号対雑音比は、組み合わされていない信号と比べて2の平方根を掛けた大きさになる。同様の分析が、電圧平均またはディジタル平均に当てはまる。
【００４８】
1つのセル内の同じ色の画素からの信号の加算に関する上記の方法を単独で、または組み合わせて利用する。例えば図4Aに含まれる同じ色の画素からの電荷を2つずつ鉛直方向に組み合わせることで、図7Aに示したように組み合わされた信号R'、G'、B'を有する組み合わされた画素になる。この場合には、それぞれのR'、G'、B'は、組み合わされていない画素の2倍の感度である。あるいは図4Aに含まれる同じ色の画素から測定された値（電圧またはディジタル値）を水平方向に4つずつ組み合わせると、図7Bに示したように組み合わされた信号R'、G'、B'を有する組み合わされた画素になる。この場合には、信号は4倍になるが雑音は2倍であるため、それぞれのR'、G'、B'は組み合わされていない画素の2倍の感度である。組み合わせ方式の別の例では、図7Aに示したように同じ色の画素からの電荷を2つずつ鉛直方向に組み合わせ、水平方向には図7Aの組み合わされた画素の測定値を4つ合計または平均すると、図7Cの組み合わされた最終カラー画素が得られる。ここに、R"、G"、B"は、同じ色の画素の最終的な組み合わせを表わす。この組み合わせ配置では、図7Cの組み合わされた最終カラー画素は、それぞれ、組み合わされていない画素の4倍の感度である。ある構造のセンサー、特にある配置のCCDにすると、各セル内の同じ色の8つの画素すべてからの電荷を図7Cのように組み合わせることができるため、組み合わされたカラー画素の感度は8倍になる。
【００４９】
上記の説明から、カラー画素の光感度を調節する目的でカラー画素を組み合わせる際にはいくつかの自由度があることが理解されよう。当業者には、よく知られた組み合わせ法が思い浮かぶであろう。その組み合わせ法は、光景の内容、光景の光の状態、全体的な光のレベル、または他の基準に基づいている。さらに、組み合わせ法は、組み合わせた画素をパンクロ画素よりも意図的に低い感度または高い感度にできるように選択される。
【００５０】
ここまで赤色フィルタ、緑色フィルタ、青色フィルタを用いたイメージ・センサーを説明してきた。本発明は別のフィルタを選択して実施することもできる。シアン色センサー、マゼンタ色センサー、イエロー色センサーを用いたイメージ・センサーが従来技術でよく知られており、本発明をシアン色フィルタ、マゼンタ色フィルタ、イエロー色フィルタを用いて実施できる。図8Aには、図4Aと同等なシアン、マゼンタ、イエローを示してある。ただしCはシアン色画素、Mはマゼンタ色画素、Yはイエロー色画素を表わす。本発明は、4色以上の光応答を有する画素でも利用できる。
【００５１】
図8Bは、シアン色画素（Cと表記）と、マゼンタ色画素（Mと表記）と、イエロー色画素（Yと表記）と、緑色画素（Gと表記）を含む本発明の最小繰り返し単位を示している。これは、図5に示した最小繰り返し単位の全体的なセル配置が同じだが、異なる4色の画素を含んでいるため、対応する異なる4色のセルになっている。図8Cは、赤色画素（Rと表記）と、青色画素（Bと表記）と、あるカラー光応答を示す緑色画素（Gと表記）と、それとは異なるカラー光応答を示す別の緑色画素（Eと表記）を含むさらに別の4色配置を示している。図8Dはさらに別の4色配置を示しており、図4Aの緑色セルの1つがイエロー・セルで置き換えられている。ここではイエロー画素をYと表記してある。
【００５２】
本発明は、パンクロ画素に加え、3色よりも少ない色を用いて実施される。例えば赤色と青色に対応するセルを有する最小繰り返し単位が使用に適している。
【００５３】
図4Aに対する多くの代替例を本発明の範囲で実施できる。例えば図9は、図4Aとセル構造が同じだが、パンクロ画素が市松模様になった本発明の別の最小繰り返し単位を示している。このパターンだと画像の一様なパンクロ・サンプリングがなされるため、図4A、図4C、図4Dに欠けている鉛直方向のパンクロ・サンプリングという問題が解決する。図9は、斜め方向にパンクロ画素を配置することによって本発明を実施した一例であることを特徴とする。図9はさらに、斜め方向にパンクロ画素が1つずつ並んだ複数の線を含んでいて、斜め方向のそれぞれの線は、斜め方向に並んだカラー画素の線によってパンクロ画素が斜め方向に並んだ隣の線から隔てられていることを特徴とする。図9のさらに別の特徴は、同じ色の2つ以上の画素が斜め方向の線上に並べて配置されていることである。
【００５４】
これまでに示したパターンは、パンクロ画素とカラー画素の数が同じであった。本発明がこの配置に限定されることはなく、パンクロ画素がカラー画素よりも多くてもよい。図10Aは本発明のさらに別の実施態様を示しており、カラー画素が格子パターンになったパンクロ画素の中に埋め込まれている。このパターンによって非常に優れたパンクロ空間サンプリングがなされる一方で、図4Aおよび図9と同じ色のセル配置となる。図10Bは、格子パターンのパンクロ画素でカラー画素を4色にした場合の一例である。一般に、図10の最小繰り返し単位は、それぞれのカラー画素が1つ以上のパンクロ画素によって隣のカラー画素から隔てられていることを特徴とする。
【００５５】
所定の画素パターンに関し、最小繰り返し単位を、画素がより少ない繰り返し単位がない繰り返し単位と定義した。同じ意味で、いろいろな画素パターンからの繰り返し単位のサイズを、その繰り返し単位に含まれる全画素数で比較する。一例として、ある1つの画素パターンからの4画素×8画素繰り返し単位は、別の画素パターンからの6画素×6画素繰り返し単位よりも小さい。なぜなら第1の繰り返し単位に含まれる全画素数（4×8=32）は、第2の繰り返し単位に含まれる全画素数（6×6=36）よりも少ないからである。さらに別の一例として、8画素×8画素の繰り返し単位よりも小さい繰り返し単位は、合計で64個よりも少ない画素を含んでいる。
【００５６】
これまでに提示したどのパターンも、各セルが、パンクロ画素に加えて一色のカラー画素だけを含むというセル構造であった。さらに、これまでに提示したどのパターンも、8×8画素の大きさの最小繰り返し単位であった。各セルに2色以上が含まれるセルを有する最小繰り返し単位も利用できる。また、大きさが8×8画素よりも小さい最小繰り返し単位も定義される。例えば図11Aの最小繰り返し単位は2つのセルを持ち、各セルは2つの色を含んでいる。すなわち左側のセルには青と緑（それぞれBとGで表記）、右側のセルには赤と緑（それぞれRとGで表記）が含まれる。図11Aでは、セルは2色を含んでいて、これらの色は、色感度を向上させるために同じ色を容易に組み合わせられるように配置されている。図11Bは、図11Aの最小繰り返し単位をどのように並べると赤色と青色が互い違いになるかを示している。図11Cは、セルごとに2色を用いて合計で4色にした最小繰り返し単位を示している。図11Dは、図11Cの最小繰り返し単位どのように並べると赤色と青色が互い違いになるかを示している。図11Dでは、大きなカラー・パターンは、カラー光応答が異なる2つの緑（GとEで表記）からなる市松模様が、赤と青からなる市松模様（それぞれRとBで表記）の中に挿入されていることを特徴とする。図12Aは図11Aをパンクロ画素に関して市松模様にしたバージョンであり、図12Bは図11Cをパンクロ画素に関して市松模様にしたバージョンである。一般に、図11Aと図11Cの最小繰り返し単位は、各カラー画素が、行と列で近くにある同じ色のカラー画素から似ていない画素（異なる色のカラー画素またはパンクロ画素）によって隔てられていることを特徴とする。
【００５７】
これまで説明してきた最小繰り返し単位は、8×8画素または4×8画素の範囲であった。しかし最小繰り返し単位はより小さい。例えば図13Aは図4Aと同様だが、各カラー・セルは幅が3画素×高さが4画素であり、最小繰り返し単位の全体は、幅が6画素×高さが8画素である。図13Bでは図13Aから2つのカラー画素行が除去されているため、3画素×3画素のセルと、6画素×6画素の最小繰り返し単位になる。図13Cではさらに2つのパンクロ画素行が除去されているため、幅が3画素×高さが2画素のセル（各セルは3つのパンクロ画素と3つのカラー画素を含んでいる）と、幅が6画素×高さが4画素の最小繰り返し単位になる。図13A〜図13Cに示したパターンは、各セル内で色を組み合わせる際に図4Aや他のパターンに示したよりも画素を少なくする必要がある場合に特に有効である。
【００５８】
図14Aはさらに別の最小繰り返し単位を示している。図14Aの最小繰り返し単位は6画素×6画素であり、各セルは、1つの色のダイヤモンド型になった4つの画素と、パンクロ画素である残る5つの画素を含んでいる。図14Aに示したパンクロ空間サンプリング・パターンは幾分か不規則であるため、市松模様になったパンクロ画素と、それぞれの3画素×3画素セルの中で1つの色だけで占められた残りの画素とからなる図14Bのパターンが示唆される。
【００５９】
図15Aは4×4画素の最小繰り返し単位であり、2×2画素のセルを4つ含んでいる。各セルは、2つのパンクロ画素と同じ色の2つのカラー画素を含んでいることに注意されたい。本発明では、各セル内で容易にカラー画素を組み合わせることができるようにするため、それぞれの2×2セルに同じ色の2つのカラー画素が配置されている必要がある。図15Bは図15Aと同様だが、パンクロ画素を市松模様のパターンにしてある。
【００６０】
ここで図16に移ると、図5の最小繰り返し単位を4つのセルに分割した状態が示してある。1つのセルは、最小繰り返し単位よりも少数の画素が切れ目なくつながった画素サブアレイである。以下の処理を行なうのに必要なソフトウエアは、図1のDSP 36に収容されている。セル220、224、226、228は、光応答がそれぞれ緑、赤、青、緑である画素を含むセルの例である。この例では、セル220は、パンクロ画素と緑色画素の両方を含んでいて、緑色画素は画素群222として特定される。最終的な目標は、画素群222の緑色画素からの8つの緑色信号を組み合わせることによってセル220のための単一の緑色信号を発生させることである。イメージセンサーの動作モードに応じ、同じ色の領域の8つの緑色信号をすべて組み合わせることによって（例えば電荷を合計することによって）単一の緑色信号を発生させるか、画素群222から取り出したより小さな画素群を組み合わせることによって多数の緑色信号を発生させる。セル220のパンクロ画素を図17Aに示してある。次の例では、これらパンクロ画素からの8つの信号をすべて個別にディジタル化する。セル220の緑色画素を図17B〜図17Eに示してあり、ここでは緑色画素が同じ色の領域でいかにして組み合わされるかに従ってまとめられている。図17Bは、8つの緑色画素がすべて組み合わされてセル220のための単一の緑色信号を発生させる場合である（図16）。センサーは、図17Cに示してあるように、例えばまず最初に画素G21、G22、G23、G24からの信号を組み合わせ、次に画素G41、G42、G43、G44からの信号を組み合わせることによって2つの緑色信号を発生させる。2つの信号は他の方法で発生させることもできる。センサーは、図17Dに示してあるように、まず最初に画素G21、G22、G41、G42からの信号を組み合わせ、次に画素G23、G24、G43、G44からの信号を組み合わせることができる。センサーは、図17Eに示してあるように、4対の信号を組み合わせることによって（例えば画素G21を画素G22と組み合わせ、次に画素G23を画素G24と組み合わせ、次に画素G41を画素G42と組み合わせ、最後に画素G43を画素G44と組み合わせることによって）セル220のための4つの緑色信号を発生させることもできる。セル220（図16）の中で緑色信号のペアを組み合わせる他の多くの方法が存在していることは明らかである。センサーが組み合わせをまったく実行しない場合には、8つの緑色信号はすべて個別にセル220に報告される。このようにセル220の場合には、センサーは、その動作モードに応じ、セル220のための1個、2個、4個、8個いずれかの緑色値を異なった方法で発生させることができる。
【００６１】
セル224、226、228（図16）に関しては、センサーの動作モードに応じてセンサーから同様のカラー信号が発生する。セル224、226、228のカラー信号は、それぞれ赤、青、緑である。
【００６２】
セル220の場合に戻ると、このセルのためにどれだけ多くの信号がディジタル化されるかに関係なく、本発明の画像処理アルゴリズムはさらに、ディジタル化された緑色値を組み合わせてこのセルのための単一の緑色値を生成させる。単一の緑色値を得るための1つの方法は、セル220のために生成されたディジタル化されたすべての緑色値を平均するというものである。セルに光応答の異なるカラー画素が含まれている場合には、そのセル内の全カラー・データを同様にして組み合わせ、そのセル内に現われるそれぞれの色の光応答に関して単一の値が存在するようにする。
【００６３】
生の画像データを捕獲した原初のセンサー内の画素に関するカラー値と、原初のセンサー内のセルに関するカラー値を区別することが重要である。両方のタイプのカラー値を利用してカラー画像を生成させるが、得られるカラー画像は解像度が異なる。原初のセンサー内の画素に関する画素値を持つ画像は、高解像度画素と呼ばれ、原初のセンサー内のセルに関する画素値を持つ画像は、低解像度画素と呼ばれる。
【００６４】
ここで図18に移ると、ディジタル信号処理装置ブロック36（図1）が、捕獲された生画像データをデータ・バス30（図1）から受け取ることが示してある。生画像データは、低高解像度不完全カラー・ブロック202と高解像度パンクロ・ブロック204の両方に送られる。イメージ・センサーのための最小繰り返し単位の一例はすでに図5と図16に示した。セル220（図16）の場合には、捕獲された生の画像データは、図17Aに示したように個別のパンクロ画素から発生したパンクロ・データを含んでいる。また、セル220（図16）では、例えば図17B〜図17Eに示した組み合わせからの1つ以上の緑色（カラー）値も含まれる。
【００６５】
低解像度不完全カラー・ブロック202（図18）では、捕獲された生の画像データから不完全カラー画像が生成される。不完全カラー画像は、各画素が少なくとも1つのカラー値を持つとともに、各画素が少なくとも1つのカラー値を欠いているカラー画像である。センサーの動作モードに応じ、捕獲された生データは、各セル内のカラー画素が発生させた何個かのカラー値を含んでいる。低解像度不完全カラー・ブロック202の中では、これらカラー値の数が減らされ、セル内に表われるそれぞれの色のための単一の値になる。一例としてセル220（図16）では、単一の緑色値が生成される。同様に、セル224、226、228では、単一の赤色値、青色値、緑色値がそれぞれ生成される。
【００６６】
低解像度不完全カラー・ブロック202は、各セルを同様にして処理することでカラー値のアレイを得る。なお、各セルにつき1つのカラー値となる。得られる画像アレイは、原初のセンサーの画素ではなくセルに基づいているため、原初の捕獲された生画像データ・アレイと比べてそれぞれのサイズが1/4である。得られるアレイはセルに基づいているため、そして各画素はすべてのカラー値ではないがいくつかのカラー値を持つため、得られる画像は低解像度不完全カラー画像である。この点で、低解像度不完全カラー画像は色のバランスが取れている。
【００６７】
ここで高解像度パンクロ・ブロック204を見ると、図16に示したのと同じ生画像データが利用される。しかしパンクロ値だけが利用される（図17A）。ここでのタスクは、パンクロ値をまだ持たない画素のパンクロ値を推定することによって完全な高解像度パンクロ画像を内挿することである。セル220（図16）の場合には、画素群222（図16）の緑色画素に関してパンクロ値を推定せねばならない。欠けているパンクロ値を推定する簡単な1つの方法は、鉛直方向に平均することである。例えば画素22におけるパンクロ値は以下のようにして推定することができる。
P22 = (P12 + P32)/2
適応法も利用することができる。例えば1つの適応法は、図17Aに示したパンクロ値を利用して3つの勾配値を計算し、その絶対値を取るというものである。
SCLAS = ABS (P31 - P13)
VCLAS = ABS (P32 - P12)
BCLAS = ABS (P33 - P11)
同様にして3つの予想値が計算される。
SPRED = (P31 + P13)/2
VPRED = (P32 + P12)/2
BPRED = (P33 + P11)/2
【００６８】
次に、P22を、最も小さい分類値に対応する予想値に等しくする。同じ値の場合には、P22を得られた予想値の平均値に設定する。パンクロに関する内挿を、セルの境界とは無関係に画像全体について続ける。高解像度パンクロ・ブロック204での処理が終了すると、得られたディジタル・パンクロ画像は、原初の捕獲された生画像とサイズが同じであるため、高解像度パンクロ画像になる。
【００６９】
低解像度パンクロ・ブロック206は、ブロック204で生成された高解像度パンクロ画像アレイを受け取り、ブロック202で生成された低解像度不完全カラー画像と同じサイズの低解像度パンクロ画像アレイを生成させる。それぞれの低解像度パンクロ値は、所定のセル内で、カラー・フィルタを有する画素について、推定されたパンクロ値を平均することによって得られる。セル220（図16）の場合には、画素群222（図16）の緑色画素に関して以前に推定した高解像度パンクロ値が平均され、このセルのための単一の低解像度パンクロ値となる。同様に、セル224のため、単一の低解像度パンクロ値が、赤色フィルタを有する画素で推定された高解像度パンクロ値を利用して計算される。このようにして、各セルは最終的に単一の低解像度パンクロ値を持つ。
【００７０】
低解像度色差ブロック208は、ブロック202から低解像度不完全カラー画像を受け取ると同時に、ブロック206から低解像度パンクロ・アレイを受け取る。次に、低解像度中間カラー画像が、低解像度パンクロ画像をガイドとして低解像度不完全カラー画像の色を内挿することによって形成される。色内挿アルゴリズムの正確な特徴（あとで詳しく説明する）は、原初の生画像データを捕獲するのにどの画素光応答パターンを用いたかに依存する。
【００７１】
低解像度中間カラー画像が形成された後、色が補正される。低解像度中間カラー画像の色が補正されると、それぞれの低解像度色平面から個別に低解像度パンクロ画像を差し引くことによって色差の低解像度画像が計算される。高解像度色差ブロック210は、ブロック208から低解像度色差画像を受け取り、双一次内挿を利用して低解像度色差画像のアップサンプリングを行なうことで、原初の生画像データのサイズを一致させる。結果は、ブロック204が生成させた高解像度パンクロ画像と同じサイズの高解像度色差画像である。
【００７２】
高解像度最終画像ブロック212は、ブロック210から高解像度色差画像を受け取ると同時に、ブロック204から高解像度パンクロ画像を受け取る。次に、高解像度パンクロ画像をそれぞれの高解像度色差平面に加算することによって高解像度最終画像が形成される。得られた高解像度最終画像はさらに処理することができる。例えばDSPメモリ・ブロック32（図1）に記憶された後、シャープにされ、圧縮されてメモリ・カード・ブロック64（図1）に記憶される。
【００７３】
図4A〜図4D、図8A、図9、図10A、図13A〜図13C、図14A〜図14B、図15A〜図15Bに示したセンサー・フィルタのパターンは、ブロック202で生成された低解像度不完全カラー画像が、カラー・フィルタに関して繰り返しベイヤー・パターン：
Ｇ Ｒ
Ｂ Ｇ
を示すような最小繰り返し単位を有する。
【００７４】
どのセルも、低解像度不完全カラー画像によって与えられる単一のカラー値に加え、低解像度パンクロ画像によって与えられるパンクロ値も有する。
【００７５】
ベイヤー・パターンが低解像度不完全カラー画像に存在している場合を考えると、低解像度色差ブロック208（図18）における色内挿というタスクを今やより詳細に説明することができる。色内挿は、図19Aの画素234に示してあるように、緑色値をまだ持たない画素における緑色値を内挿することから開始する。隣にある4つの画素（画素230、232、236、238として示してある）はすべて緑色値を持ち、パンクロ値も持っている。中心の画素234はパンクロ値を持つが、疑問符で示してあるように緑色値は持たない。
【００７６】
第1のステップは、2つの分類値を計算することである。第1の分類値は水平方向に関係し、第2の分類値は鉛直方向に関係する。
HCLAS = ABS (P4 - P2) + ABS (2×P3 - P2 - P4)
VCLAS = ABS (P5 - P1) + ABS (2×P3 - P1 - P5)
次に2つの予想値を計算する。第1の予想値は水平方向に関係し、第2の予想値は鉛直方向に関係する。
HPRED = (G4 + G2)/2 + (2×P3 - P2 - P4)/2
VPRED = (G5 + G1)/2 + (2×P3 - P1 - P5)/2
最後に、THRESHを経験的に決定した閾値とすることで、欠けている値G3を以下のようにして適応的に計算することができる。
IF MAX (HCLAS, VCLAS) < THRESH
G3 = (HPRED + VPRED)/2
ELSEIF VCLAS < HCLAS
G3 = VPRED
ELSE
G3 = HPRED
END
したがって両方の分類値が閾値よりも小さい場合には、両方の予想値の平均を計算してG3とする。そうでない場合には、分類値HCLASとVCLASのどちらが小さいかに応じてHPREDまたはVPREDを利用する。
【００７７】
欠けているすべての緑色値が推定されると、欠けている赤色値と青色値が内挿される。図19Bに示してあるように、画素242には赤色値が欠けているが、水平方向に隣接している2つの画素（画素240と244）はそれぞれ赤色値R2とR4を持つ。これら3つの画素はどれも緑色値を持つ。このような条件下では、画素242に関する赤色値（R3）は以下のようにして計算される。
R3 = (R4 + R2)/2 + (2×G3 - G2 - G4)/2
欠けている青色値は、同様の条件下で同じようにして計算される。この時点では、まだ赤色値と青色値が欠けている画素だけが、鉛直方向の内挿を必要とする画素である。図19Cに示してあるように、画素252には赤色値が欠けており、鉛直方向に隣接している2つの画素（画素250と254）はそれぞれ赤色値R1とR5を持つ。このような条件下では、画素252に関する赤色値（R3）は以下のようにして計算される。
R3 = (R5 + R1)/2 + (2×G3 - G1 - G5)/2
欠けている青色値は、同様の条件で同じようにして計算される。こうすることで、低解像度不完全カラー画像の内挿が完成し、その結果が低解像度中間カラー画像となる。すでに説明したように、低解像度色差は、今やそれぞれの色平面（すなわち上で説明した例における赤、緑、青）から低解像度パンクロ値を差し引くことによって計算できる。
【００７８】
カラー値が繰り返しベイヤー・パターンを示す低解像度不完全カラー画像をすべてのセンサーが生成させるわけではない。例えば図11Aに示したセンサー・パターンでは、各セルが2つのカラー値（すなわち緑と赤、または緑と青）を持つように決められている。したがってこの場合には、低解像度色差ブロック208（図18）における色内挿というタスクにより、各画素について欠けている赤色値または青色値が推定される。図19Dを参照すると、画素264は、緑色値（G3）を持つが、赤色値（R3）は持たないことが示してある。隣接する4つの画素260、262、266、268は、緑色値と赤色値を持つ。画素264（図19D）に関して赤色値を内挿する方法は、画素234（図19A）に関して緑色値を内挿するのに用いた方法と同様である。
【００７９】
第1のステップは、2つの分類値を計算することである。第1の分類値は水平方向に関係し、第2の分類値は鉛直方向に関係する。
HCLAS = ABS (G4 - G2) + ABS (2×G3 - G2 - G4)
VCLAS = ABS (G5 - G1) + ABS (2×G3 - G1 - G5)
次に2つの予想値を計算する。第1の予想値は水平方向に関係し、第2の予想値は鉛直方向に関係する。
HPRED = (R4 + R2)/2 + (2×G3 - G2 - G4)/2
VPRED = (R5 + R1)/2 + (2×G3 - G1 - G5)/2
最後に、THRESHを経験的に決定した閾値とすることで、欠けている値R3を以下のようにして適応的に計算することができる。
IF MAX (HCLAS, VCLAS) < THRESH
R3 = (HPRED + VPRED)/2
ELSEIF VCLAS < HCLAS
R3 = VPRED
ELSE
R3 = HPRED
END
したがって両方の分類値が閾値よりも小さい場合には、両方の予想値の平均を計算してR3とする。そうでない場合には、分類値HCLASとVCLASのどちらが小さいかに応じてHPREDまたはVPREDを利用する。
【００８０】
欠けている青色値は、赤色値の代わりに青色値を用いてまったく同じ方法で内挿される。それが終わると、低解像度中間カラー画像が生成される。そこから低解像度色差がすでに説明したようにして計算される。
【００８１】
本発明を好ましいいくつかの実施態様を特に参照して説明してきたが、本発明の精神と範囲を逸脱することなくさまざまなバリエーションや変更が可能であることが理解されよう。
【符号の説明】
【００８２】
10 対象となる光景からの光
11 イメージング段
12 レンズ
13 中性フィルタ
14 虹彩絞り
16 明るさセンサー
18 シャッター
20 イメージ・センサー
22 アナログ信号処理装置
24 アナログ／ディジタル（A/D）変換器
26 タイミング発生装置
28 イメージ・センサー段
30 ディジタル信号処理装置（DSP）のバス
32 ディジタル信号処理装置（DSP）のメモリ
36 ディジタル信号処理装置（DSP）
38 処理段
40 露出制御装置
50 システム制御装置
52 システム制御装置のバス
54 プログラム用メモリ
56 システム用メモリ
57 ホストとのインターフェイス
60 メモリ・カードとのインターフェイス
62 メモリ・カード用ソケット
64 メモリ・カード
68 ユーザー制御／状態インターフェイス
70 ビューファインダ・ディスプレイ
72 露出ディスプレイ
74 ユーザー入力
76 状態ディスプレイ
80 ビデオ・エンコーダ
82 ディスプレイ制御装置
88 画像ディスプレイ
100 ベイヤー・パターンのための最小繰り返し単位
102 最小ではないベイヤー・パターンのための繰り返し単位
110 赤外阻止フィルタの分光透過曲線
112 フィルタのないセンサーの分光光応答曲線
114 センサーの赤色光応答曲線
116 センサーの緑色光応答曲線
118 センサーの青色光応答曲線
120 第1の緑色セル
122 赤色セル
124 青色セル
126 第2の緑色セル
202 低解像度不完全カラー・ブロック
204 高解像度パンクロ・ブロック
206 低解像度パンクロ・ブロック
208 低解像度色差ブロック
210 高解像度色差ブロック
212 高解像度最終画像ブロック
220 第1の緑色セル
222 第1の緑色セル内の緑色画素
224 赤色セル
226 青色セル
228 第2の緑色セル
230 欠けた緑色値を内挿するための上側画素
232 欠けた緑色値を内挿するための左側画素
234 緑色値が欠けた画素
236 欠けた緑色値を内挿するための右側画素
238 欠けた緑色値を内挿するための下側画素
240 欠けた赤色値を内挿するための左側画素
242 赤色値が欠けた画素
244 欠けた赤色値を内挿するための右側画素
250 欠けた赤色値を内挿するための上側画素
252 赤色値が欠けた画素
254 欠けた赤色値を内挿するための下側画素
260 欠けた赤色値を内挿するための上側画素
262 欠けた赤色値を内挿するための左側画素
264 赤色値が欠けた画素
266 欠けた赤色値を内挿するための右側画素
268 欠けた赤色値を内挿するための下側画素
【特許請求の範囲】
【請求項１】
カラー画像を捕獲するためのイメージ・センサーであって、
a）第1の画素群と第2の画素群を有する二次元アレイを備えていて、第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭く、第1の画素群の個々の画素は、少なくとも2つの色のセットに対応する分光光応答を持ち；
b）第1の画素群と第2の画素群の配置が、少なくとも12個の画素を含む最小繰り返し単位を持つあるパターンを規定していて、その最小繰り返し単位は複数のセルを含んでおり、各セルは、第1の画素群の中から選択した特定の1つの色を表わす少なくとも2つの画素と、第2の画素群の中から選択した複数の画素とを持ち、それらの画素が、捕獲したカラー画像を異なる照明条件下で再現できるように配置されているイメージ・センサー。
【請求項２】
上記最小繰り返し単位が少なくとも3つのセルを有する、請求項1に記載のイメージ・センサー。
【請求項３】
上記最小繰り返し単位が少なくとも3つのセルを含んでいて、第1の色の少なくとも1つのセルは、その第1の色の少なくとも2つの画素を持ち、第2の色の少なくとも1つのセルは、その第2の色の少なくとも2つの画素を持ち、第3の色の少なくとも1つのセルは、その第3の色の少なくとも2つの画素を持つ、請求項1に記載のイメージ・センサー。
【請求項４】
第1の色が緑、第2の色が赤、第3の色が青である、請求項3に記載のイメージ・センサー。
【請求項５】
第1の色がシアン、第2の色がマゼンタ、第3の色がイエローである、請求項3に記載のイメージ・センサー。
【請求項６】
上記最小繰り返し単位が少なくとも4つのセルを有する、請求項1に記載のイメージ・センサー。
【請求項７】
上記セルが、少なくとも2つの緑色画素を持つ少なくとも1つの緑色セルと、少なくとも2つの赤色画素を持つ少なくとも1つの赤色セルと、少なくとも2つの青色画素を持つ少なくとも1つの青色セルとを含む、請求項6に記載のイメージ・センサー。
【請求項８】
上記セルが、少なくとも2つの緑色画素をそれぞれが持つ少なくとも2つの緑色セルと、少なくとも2つの赤色画素を持つ少なくとも1つの赤色セルと、少なくとも2つの青色画素を持つ少なくとも1つの青色セルとを含む、請求項6に記載のイメージ・センサー。
【請求項９】
第2の画素群が、最小繰り返し単位の行方向、列方向、斜め方向のいずれかに直線状に配置されている、請求項1に記載のイメージ・センサー。
【請求項１０】
第1の画素群の各カラー画素が、各行と各列において、隣にある同じ色の画素から少なくとも1つの似ていない画素によって隔てられている、請求項9に記載のイメージ・センサー。
【請求項１１】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｂ Ａ Ｂ Ｃ Ｂ Ｃ Ｂ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｂ Ａ Ｂ Ｃ Ｂ Ｃ Ｂ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項10に記載のイメージ・センサー。
【請求項１２】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項11に記載のイメージ・センサー。
【請求項１３】
A、B、Cが、それぞれ赤、緑、青である、請求項11に記載のイメージ・センサー。
【請求項１４】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項11に記載のイメージ・センサー。
【請求項１５】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項11に記載のイメージ・センサー。
【請求項１６】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｂ Ａ Ｂ Ｃ Ｄ Ｃ Ｄ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｂ Ａ Ｂ Ｃ Ｄ Ｃ Ｄ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項10に記載のイメージ・センサー。
【請求項１７】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項16に記載のイメージ・センサー。
【請求項１８】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項16に記載のイメージ・センサー。
【請求項１９】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項16に記載のイメージ・センサー。
【請求項２０】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項16に記載のイメージ・センサー。
【請求項２１】
第1の画素群のカラー画素が、各行と各列において、第2の画素群の少なくとも1つの画素によって隔てられている、請求項9に記載のイメージ・センサー。
【請求項２２】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｂ Ｐ Ｂ Ｐ Ｃ Ｐ Ｃ Ｐ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｂ Ｐ Ｂ Ｐ Ｃ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項21に記載のイメージ・センサー。
【請求項２３】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項22に記載のイメージ・センサー。
【請求項２４】
A、B、Cが、それぞれ赤、緑、青である、請求項22に記載のイメージ・センサー。
【請求項２５】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項22に記載のイメージ・センサー。
【請求項２６】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項22に記載のイメージ・センサー。
【請求項２７】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｄ Ｐ Ｄ Ｐ Ｃ Ｐ Ｃ Ｐ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｄ Ｐ Ｄ Ｐ Ｃ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項21に記載のイメージ・センサー。
【請求項２８】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項27に記載のイメージ・センサー。
【請求項２９】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項27に記載のイメージ・センサー。
【請求項３０】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項27に記載のイメージ・センサー。
【請求項３１】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項27に記載のイメージ・センサー。
【請求項３２】
上記最小繰り返し単位が、
Ｐ Ｂ Ｐ Ｂ Ｐ Ｂ Ｐ Ｂ
Ａ Ｐ Ａ Ｐ Ｃ Ｐ Ｃ Ｐ
Ｐ Ｂ Ｐ Ｂ Ｐ Ｂ Ｐ Ｂ
Ａ Ｐ Ａ Ｐ Ｃ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項21に記載のイメージ・センサー。
【請求項３３】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項32に記載のイメージ・センサー。
【請求項３４】
A、B、Cが、それぞれ赤、緑、青である、請求項32に記載のイメージ・センサー。
【請求項３５】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項32に記載のイメージ・センサー。
【請求項３６】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項32に記載のイメージ・センサー。
【請求項３７】
上記最小繰り返し単位が、
Ｐ Ｂ Ｐ Ｂ Ｐ Ｄ Ｐ Ｄ
Ａ Ｐ Ａ Ｐ Ｃ Ｐ Ｃ Ｐ
Ｐ Ｂ Ｐ Ｂ Ｐ Ｄ Ｐ Ｄ
Ａ Ｐ Ａ Ｐ Ｃ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項21に記載のイメージ・センサー。
【請求項３８】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項37に記載のイメージ・センサー。
【請求項３９】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項37に記載のイメージ・センサー。
【請求項４０】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項37に記載のイメージ・センサー。
【請求項４１】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項37に記載のイメージ・センサー。
【請求項４２】
上記最小繰り返し単位の第1の画素群の同じ複数のカラー画素が、互いに横に並んで直線状に配置されている、請求項1に記載のイメージ・センサー。
【請求項４３】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ａ Ａ Ａ Ｂ Ｂ Ｂ Ｂ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ａ Ａ Ａ Ｂ Ｂ Ｂ Ｂ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｂ Ｂ Ｂ Ｂ Ｃ Ｃ Ｃ Ｃ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｂ Ｂ Ｂ Ｂ Ｃ Ｃ Ｃ Ｃ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項42に記載のイメージ・センサー。
【請求項４４】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項43に記載のイメージ・センサー。
【請求項４５】
A、B、Cが、それぞれ赤、緑、青である、請求項43に記載のイメージ・センサー。
【請求項４６】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項43に記載のイメージ・センサー。
【請求項４７】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項43に記載のイメージ・センサー。
【請求項４８】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ａ Ａ Ａ Ｂ Ｂ Ｂ Ｂ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ａ Ａ Ａ Ｂ Ｂ Ｂ Ｂ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｄ Ｄ Ｄ Ｄ Ｃ Ｃ Ｃ Ｃ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｄ Ｄ Ｄ Ｄ Ｃ Ｃ Ｃ Ｃ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項42に記載のイメージ・センサー。
【請求項４９】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項48に記載のイメージ・センサー。
【請求項５０】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項48に記載のイメージ・センサー。
【請求項５１】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項48に記載のイメージ・センサー。
【請求項５２】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項48に記載のイメージ・センサー。
【請求項５３】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ
Ａ Ａ Ｂ Ｂ
Ｐ Ｐ Ｐ Ｐ
Ｂ Ｂ Ｃ Ｃ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項42に記載のイメージ・センサー。
【請求項５４】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項53に記載のイメージ・センサー。
【請求項５５】
A、B、Cが、それぞれ赤、緑、青である、請求項53に記載のイメージ・センサー。
【請求項５６】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項53に記載のイメージ・センサー。
【請求項５７】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項53に記載のイメージ・センサー。
【請求項５８】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ
Ａ Ａ Ｂ Ｂ
Ｐ Ｐ Ｐ Ｐ
Ｄ Ｄ Ｃ Ｃ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項42に記載のイメージ・センサー。
【請求項５９】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項58に記載のイメージ・センサー。
【請求項６０】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項58に記載のイメージ・センサー。
【請求項６１】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項58に記載のイメージ・センサー。
【請求項６２】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項58に記載のイメージ・センサー。
【請求項６３】
上記最小繰り返し単位の第1の画素群の同じ複数のカラー画素が斜め方向の線上に並べて配置され、第2の画素群が斜め方向の線上に並べて配置されている、請求項1に記載のイメージ・センサー。
【請求項６４】
上記最小繰り返し単位が、
Ｐ Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ｂ Ｐ Ｂ Ｐ Ｃ Ｐ Ｃ
Ｂ Ｐ Ｂ Ｐ Ｃ Ｐ Ｃ Ｐ
Ｐ Ｂ Ｐ Ｂ Ｐ Ｃ Ｐ Ｃ
Ｂ Ｐ Ｂ Ｐ Ｃ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項63に記載のイメージ・センサー。
【請求項６５】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項64に記載のイメージ・センサー。
【請求項６６】
A、B、Cが、それぞれ赤、緑、青である、請求項64に記載のイメージ・センサー。
【請求項６７】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項64に記載のイメージ・センサー。
【請求項６８】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項64に記載のイメージ・センサー。
【請求項６９】
上記最小繰り返し単位が、
Ｐ Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ｄ Ｐ Ｄ Ｐ Ｃ Ｐ Ｃ
Ｄ Ｐ Ｄ Ｐ Ｃ Ｐ Ｃ Ｐ
Ｐ Ｄ Ｐ Ｄ Ｐ Ｃ Ｐ Ｃ
Ｄ Ｐ Ｄ Ｐ Ｃ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項63に記載のイメージ・センサー。
【請求項７０】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項69に記載のイメージ・センサー。
【請求項７１】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項69に記載のイメージ・センサー。
【請求項７２】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項69に記載のイメージ・センサー。
【請求項７３】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項69に記載のイメージ・センサー。
【請求項７４】
上記最小繰り返し単位が、
Ｐ Ａ Ｐ Ｂ
Ａ Ｐ Ｂ Ｐ
Ｐ Ｂ Ｐ Ｃ
Ｂ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項63に記載のイメージ・センサー。
【請求項７５】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項74に記載のイメージ・センサー。
【請求項７６】
A、B、Cが、それぞれ赤、緑、青である、請求項74に記載のイメージ・センサー。
【請求項７７】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項74に記載のイメージ・センサー。
【請求項７８】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項74に記載のイメージ・センサー。
【請求項７９】
上記最小繰り返し単位が、
Ｐ Ａ Ｐ Ｂ
Ａ Ｐ Ｂ Ｐ
Ｐ Ｄ Ｐ Ｃ
Ｄ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項63に記載のイメージ・センサー。
【請求項８０】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項79に記載のイメージ・センサー。
【請求項８１】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項79に記載のイメージ・センサー。
【請求項８２】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項79に記載のイメージ・センサー。
【請求項８３】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項79に記載のイメージ・センサー。
【請求項８４】
上記画像アレイが、アクティブな画素または電荷結合デバイスの画素で構成されている、請求項1に記載のイメージ・センサー。
【請求項８５】
望む色に対応するカラー・フィルタが第1の画素群の各カラー画素に取り付けられている、請求項84に記載のイメージ・センサー。
【請求項８６】
第2の画素群が、それぞれ中性フィルタを備えている、請求項84に記載のイメージ・センサー。
【請求項８７】
第2の画素群が、第1の画素群の特定の1つの色の画素よりもサイズが小さい、請求項1に記載のイメージ・センサー。
【請求項８８】
カラー画像を捕獲するイメージ・センサーであって、
a）第1の画素群と第2の画素群を有する二次元アレイを備えていて、第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭く、第1の画素群の個々の画素は、少なくとも2つの色のセットに対応する分光光応答を持ち；
b）第1の画素群と第2の画素群の配置が、少なくとも12個の画素を含む最小繰り返し単位を持つあるパターンを規定していて、その最小繰り返し単位は複数のセルを含んでおり、各セルは、第1の画素群の中から選択した特定の1つの色を表わす少なくとも2つの画素と、第2の画素群の中から選択した複数の画素とを持ち、それらの画素が、捕獲したカラー画像を異なる照明条件下で再現できるように配置されており、これらのセルが低解像度カラー・フィルタ・アレイ画像を規定し、第2の画素群の画像が高解像度パンクロ画像を規定していて、処理を行なうことにより、低解像度カラー・フィルタ・アレイ画像と高解像度パンクロ画像が組み合わされて高解像度画像が生成するイメージ・センサー。
【請求項１】
カラー画像を捕獲するためのイメージ・センサーであって、
a）第1の画素群と第2の画素群を有する二次元アレイを備えていて、第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭く、第1の画素群の個々の画素は、少なくとも2つの色のセットに対応する分光光応答を持ち；
b）第1の画素群と第2の画素群の配置が、少なくとも12個の画素を含む最小繰り返し単位を持つあるパターンを規定していて、その最小繰り返し単位は複数のセルを含んでおり、各セルは、第1の画素群の中から選択した特定の1つの色を表わす少なくとも2つの画素と、第2の画素群の中から選択した複数の画素とを持ち、それらの画素が、捕獲したカラー画像を異なる照明条件下で再現できるように配置されているイメージ・センサー。
【請求項２】
上記最小繰り返し単位が少なくとも3つのセルを有する、請求項1に記載のイメージ・センサー。
【請求項３】
上記最小繰り返し単位が少なくとも3つのセルを含んでいて、第1の色の少なくとも1つのセルは、その第1の色の少なくとも2つの画素を持ち、第2の色の少なくとも1つのセルは、その第2の色の少なくとも2つの画素を持ち、第3の色の少なくとも1つのセルは、その第3の色の少なくとも2つの画素を持つ、請求項1に記載のイメージ・センサー。
【請求項４】
第1の色が緑、第2の色が赤、第3の色が青である、請求項3に記載のイメージ・センサー。
【請求項５】
第1の色がシアン、第2の色がマゼンタ、第3の色がイエローである、請求項3に記載のイメージ・センサー。
【請求項６】
上記最小繰り返し単位が少なくとも4つのセルを有する、請求項1に記載のイメージ・センサー。
【請求項７】
上記セルが、少なくとも2つの緑色画素を持つ少なくとも1つの緑色セルと、少なくとも2つの赤色画素を持つ少なくとも1つの赤色セルと、少なくとも2つの青色画素を持つ少なくとも1つの青色セルとを含む、請求項6に記載のイメージ・センサー。
【請求項８】
上記セルが、少なくとも2つの緑色画素をそれぞれが持つ少なくとも2つの緑色セルと、少なくとも2つの赤色画素を持つ少なくとも1つの赤色セルと、少なくとも2つの青色画素を持つ少なくとも1つの青色セルとを含む、請求項6に記載のイメージ・センサー。
【請求項９】
第2の画素群が、最小繰り返し単位の行方向、列方向、斜め方向のいずれかに直線状に配置されている、請求項1に記載のイメージ・センサー。
【請求項１０】
第1の画素群の各カラー画素が、各行と各列において、隣にある同じ色の画素から少なくとも1つの似ていない画素によって隔てられている、請求項9に記載のイメージ・センサー。
【請求項１１】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｂ Ａ Ｂ Ｃ Ｂ Ｃ Ｂ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｂ Ａ Ｂ Ｃ Ｂ Ｃ Ｂ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項10に記載のイメージ・センサー。
【請求項１２】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項11に記載のイメージ・センサー。
【請求項１３】
A、B、Cが、それぞれ赤、緑、青である、請求項11に記載のイメージ・センサー。
【請求項１４】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項11に記載のイメージ・センサー。
【請求項１５】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項11に記載のイメージ・センサー。
【請求項１６】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｂ Ａ Ｂ Ｃ Ｄ Ｃ Ｄ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｂ Ａ Ｂ Ｃ Ｄ Ｃ Ｄ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項10に記載のイメージ・センサー。
【請求項１７】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項16に記載のイメージ・センサー。
【請求項１８】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項16に記載のイメージ・センサー。
【請求項１９】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項16に記載のイメージ・センサー。
【請求項２０】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項16に記載のイメージ・センサー。
【請求項２１】
第1の画素群のカラー画素が、各行と各列において、第2の画素群の少なくとも1つの画素によって隔てられている、請求項9に記載のイメージ・センサー。
【請求項２２】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｂ Ｐ Ｂ Ｐ Ｃ Ｐ Ｃ Ｐ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｂ Ｐ Ｂ Ｐ Ｃ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項21に記載のイメージ・センサー。
【請求項２３】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項22に記載のイメージ・センサー。
【請求項２４】
A、B、Cが、それぞれ赤、緑、青である、請求項22に記載のイメージ・センサー。
【請求項２５】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項22に記載のイメージ・センサー。
【請求項２６】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項22に記載のイメージ・センサー。
【請求項２７】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｄ Ｐ Ｄ Ｐ Ｃ Ｐ Ｃ Ｐ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｄ Ｐ Ｄ Ｐ Ｃ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項21に記載のイメージ・センサー。
【請求項２８】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項27に記載のイメージ・センサー。
【請求項２９】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項27に記載のイメージ・センサー。
【請求項３０】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項27に記載のイメージ・センサー。
【請求項３１】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項27に記載のイメージ・センサー。
【請求項３２】
上記最小繰り返し単位が、
Ｐ Ｂ Ｐ Ｂ Ｐ Ｂ Ｐ Ｂ
Ａ Ｐ Ａ Ｐ Ｃ Ｐ Ｃ Ｐ
Ｐ Ｂ Ｐ Ｂ Ｐ Ｂ Ｐ Ｂ
Ａ Ｐ Ａ Ｐ Ｃ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項21に記載のイメージ・センサー。
【請求項３３】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項32に記載のイメージ・センサー。
【請求項３４】
A、B、Cが、それぞれ赤、緑、青である、請求項32に記載のイメージ・センサー。
【請求項３５】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項32に記載のイメージ・センサー。
【請求項３６】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項32に記載のイメージ・センサー。
【請求項３７】
上記最小繰り返し単位が、
Ｐ Ｂ Ｐ Ｂ Ｐ Ｄ Ｐ Ｄ
Ａ Ｐ Ａ Ｐ Ｃ Ｐ Ｃ Ｐ
Ｐ Ｂ Ｐ Ｂ Ｐ Ｄ Ｐ Ｄ
Ａ Ｐ Ａ Ｐ Ｃ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項21に記載のイメージ・センサー。
【請求項３８】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項37に記載のイメージ・センサー。
【請求項３９】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項37に記載のイメージ・センサー。
【請求項４０】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項37に記載のイメージ・センサー。
【請求項４１】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項37に記載のイメージ・センサー。
【請求項４２】
上記最小繰り返し単位の第1の画素群の同じ複数のカラー画素が、互いに横に並んで直線状に配置されている、請求項1に記載のイメージ・センサー。
【請求項４３】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ａ Ａ Ａ Ｂ Ｂ Ｂ Ｂ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ａ Ａ Ａ Ｂ Ｂ Ｂ Ｂ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｂ Ｂ Ｂ Ｂ Ｃ Ｃ Ｃ Ｃ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｂ Ｂ Ｂ Ｂ Ｃ Ｃ Ｃ Ｃ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項42に記載のイメージ・センサー。
【請求項４４】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項43に記載のイメージ・センサー。
【請求項４５】
A、B、Cが、それぞれ赤、緑、青である、請求項43に記載のイメージ・センサー。
【請求項４６】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項43に記載のイメージ・センサー。
【請求項４７】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項43に記載のイメージ・センサー。
【請求項４８】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ａ Ａ Ａ Ｂ Ｂ Ｂ Ｂ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ａ Ａ Ａ Ａ Ｂ Ｂ Ｂ Ｂ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｄ Ｄ Ｄ Ｄ Ｃ Ｃ Ｃ Ｃ
Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ Ｐ
Ｄ Ｄ Ｄ Ｄ Ｃ Ｃ Ｃ Ｃ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項42に記載のイメージ・センサー。
【請求項４９】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項48に記載のイメージ・センサー。
【請求項５０】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項48に記載のイメージ・センサー。
【請求項５１】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項48に記載のイメージ・センサー。
【請求項５２】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項48に記載のイメージ・センサー。
【請求項５３】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ
Ａ Ａ Ｂ Ｂ
Ｐ Ｐ Ｐ Ｐ
Ｂ Ｂ Ｃ Ｃ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項42に記載のイメージ・センサー。
【請求項５４】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項53に記載のイメージ・センサー。
【請求項５５】
A、B、Cが、それぞれ赤、緑、青である、請求項53に記載のイメージ・センサー。
【請求項５６】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項53に記載のイメージ・センサー。
【請求項５７】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項53に記載のイメージ・センサー。
【請求項５８】
上記最小繰り返し単位が、
Ｐ Ｐ Ｐ Ｐ
Ａ Ａ Ｂ Ｂ
Ｐ Ｐ Ｐ Ｐ
Ｄ Ｄ Ｃ Ｃ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項42に記載のイメージ・センサー。
【請求項５９】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項58に記載のイメージ・センサー。
【請求項６０】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項58に記載のイメージ・センサー。
【請求項６１】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項58に記載のイメージ・センサー。
【請求項６２】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項58に記載のイメージ・センサー。
【請求項６３】
上記最小繰り返し単位の第1の画素群の同じ複数のカラー画素が斜め方向の線上に並べて配置され、第2の画素群が斜め方向の線上に並べて配置されている、請求項1に記載のイメージ・センサー。
【請求項６４】
上記最小繰り返し単位が、
Ｐ Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ｂ Ｐ Ｂ Ｐ Ｃ Ｐ Ｃ
Ｂ Ｐ Ｂ Ｐ Ｃ Ｐ Ｃ Ｐ
Ｐ Ｂ Ｐ Ｂ Ｐ Ｃ Ｐ Ｃ
Ｂ Ｐ Ｂ Ｐ Ｃ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項63に記載のイメージ・センサー。
【請求項６５】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項64に記載のイメージ・センサー。
【請求項６６】
A、B、Cが、それぞれ赤、緑、青である、請求項64に記載のイメージ・センサー。
【請求項６７】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項64に記載のイメージ・センサー。
【請求項６８】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項64に記載のイメージ・センサー。
【請求項６９】
上記最小繰り返し単位が、
Ｐ Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ
Ａ Ｐ Ａ Ｐ Ｂ Ｐ Ｂ Ｐ
Ｐ Ｄ Ｐ Ｄ Ｐ Ｃ Ｐ Ｃ
Ｄ Ｐ Ｄ Ｐ Ｃ Ｐ Ｃ Ｐ
Ｐ Ｄ Ｐ Ｄ Ｐ Ｃ Ｐ Ｃ
Ｄ Ｐ Ｄ Ｐ Ｃ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項63に記載のイメージ・センサー。
【請求項７０】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項69に記載のイメージ・センサー。
【請求項７１】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項69に記載のイメージ・センサー。
【請求項７２】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項69に記載のイメージ・センサー。
【請求項７３】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項69に記載のイメージ・センサー。
【請求項７４】
上記最小繰り返し単位が、
Ｐ Ａ Ｐ Ｂ
Ａ Ｐ Ｂ Ｐ
Ｐ Ｂ Ｐ Ｃ
Ｂ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わす）、請求項63に記載のイメージ・センサー。
【請求項７５】
A、B、Cが、赤、緑、青の中から個別に選択される、請求項74に記載のイメージ・センサー。
【請求項７６】
A、B、Cが、それぞれ赤、緑、青である、請求項74に記載のイメージ・センサー。
【請求項７７】
A、B、Cが、シアン、マゼンタ、イエローの中から個別に選択される、請求項74に記載のイメージ・センサー。
【請求項７８】
A、B、Cが、それぞれシアン、イエロー、マゼンタである、請求項74に記載のイメージ・センサー。
【請求項７９】
上記最小繰り返し単位が、
Ｐ Ａ Ｐ Ｂ
Ａ Ｐ Ｂ Ｐ
Ｐ Ｄ Ｐ Ｃ
Ｄ Ｐ Ｃ Ｐ
である（ただし、Pは第2の画素群を表わし、
Aは第1の画素群の第1の色の画素を表わし、
Bは第1の画素群の第2の色の画素を表わし、
Cは第1の画素群の第3の色の画素を表わし、
Dは第1の画素群の第4の色の画素を表わす）、請求項63に記載のイメージ・センサー。
【請求項８０】
A、B、C、Dが、赤、緑、青、第4の色の中から個別に選択される、請求項79に記載のイメージ・センサー。
【請求項８１】
A、B、C、Dが、それぞれ、赤、緑の第1のスペクトル帯、青、緑の第2のスペクトル帯である、請求項79に記載のイメージ・センサー。
【請求項８２】
A、B、C、Dが、シアン、マゼンタ、イエロー、第4の色の中から個別に選択される、請求項79に記載のイメージ・センサー。
【請求項８３】
A、B、C、Dが、それぞれシアン、イエロー、マゼンタ、緑である、請求項79に記載のイメージ・センサー。
【請求項８４】
上記画像アレイが、アクティブな画素または電荷結合デバイスの画素で構成されている、請求項1に記載のイメージ・センサー。
【請求項８５】
望む色に対応するカラー・フィルタが第1の画素群の各カラー画素に取り付けられている、請求項84に記載のイメージ・センサー。
【請求項８６】
第2の画素群が、それぞれ中性フィルタを備えている、請求項84に記載のイメージ・センサー。
【請求項８７】
第2の画素群が、第1の画素群の特定の1つの色の画素よりもサイズが小さい、請求項1に記載のイメージ・センサー。
【請求項８８】
カラー画像を捕獲するイメージ・センサーであって、
a）第1の画素群と第2の画素群を有する二次元アレイを備えていて、第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭く、第1の画素群の個々の画素は、少なくとも2つの色のセットに対応する分光光応答を持ち；
b）第1の画素群と第2の画素群の配置が、少なくとも12個の画素を含む最小繰り返し単位を持つあるパターンを規定していて、その最小繰り返し単位は複数のセルを含んでおり、各セルは、第1の画素群の中から選択した特定の1つの色を表わす少なくとも2つの画素と、第2の画素群の中から選択した複数の画素とを持ち、それらの画素が、捕獲したカラー画像を異なる照明条件下で再現できるように配置されており、これらのセルが低解像度カラー・フィルタ・アレイ画像を規定し、第2の画素群の画像が高解像度パンクロ画像を規定していて、処理を行なうことにより、低解像度カラー・フィルタ・アレイ画像と高解像度パンクロ画像が組み合わされて高解像度画像が生成するイメージ・センサー。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１１Ｄ】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１７Ｄ】
【図１７Ｅ】
【図１８】
【図１９Ａ】
【図１９Ｂ】
【図１９Ｃ】
【図１９Ｄ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１１Ｄ】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１７Ｄ】
【図１７Ｅ】
【図１８】
【図１９Ａ】
【図１９Ｂ】
【図１９Ｃ】
【図１９Ｄ】
【公開番号】特開２０１３−８１２２２（Ｐ２０１３−８１２２２Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２６７２７５（Ｐ２０１２−２６７２７５）
【出願日】平成２４年１２月６日（２０１２．１２．６）
【分割の表示】特願２００８−５２３９２９（Ｐ２００８−５２３９２９）の分割
【原出願日】平成１８年７月１３日（２００６．７．１３）
【出願人】（５１０１８８９７５）オムニビジョン テクノロジーズ， インコーポレイテッド (2)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１２−２６７２７５（Ｐ２０１２−２６７２７５）
【出願日】平成２４年１２月６日（２０１２．１２．６）
【分割の表示】特願２００８−５２３９２９（Ｐ２００８−５２３９２９）の分割
【原出願日】平成１８年７月１３日（２００６．７．１３）
【出願人】（５１０１８８９７５）オムニビジョン テクノロジーズ， インコーポレイテッド (2)
【Ｆターム（参考）】
[ Back to top ]