イメージ・センサーにおける改善された光感度
【課題】カラー画素とパンクロ画素からなる二次元アレイを備えていて高感度でフル・カラー画像を生成させるのに有効なイメージ・センサーを提供する。
【解決手段】カラー画像を捕獲するため、複数の最小繰り返し単位を有する二次元画素アレイを含むイメージ・センサーであって、それぞれの最小繰り返し単位が、5つのパンクロ画素と、色応答が異なる3つの画素を有する8つの画素からなるイメージ・センサーで構成される。以下の最小繰り返し単位：Ｐ Ｂ Ｐ Ｄ Ａ Ｐ Ｃ Ｐを持つ（ただし、Pはパンクロ画素を表わし、A、B、C、Dは、色応答が異なる画素を表わす）。
【解決手段】カラー画像を捕獲するため、複数の最小繰り返し単位を有する二次元画素アレイを含むイメージ・センサーであって、それぞれの最小繰り返し単位が、5つのパンクロ画素と、色応答が異なる3つの画素を有する8つの画素からなるイメージ・センサーで構成される。以下の最小繰り返し単位：Ｐ Ｂ Ｐ Ｄ Ａ Ｐ Ｃ Ｐを持つ（ただし、Pはパンクロ画素を表わし、A、B、C、Dは、色応答が異なる画素を表わす）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光感度が改善された二次元イメージ・センサーに関する。
【背景技術】
【０００２】
電子式イメージング・システムが画像を電子的に表現する能力は、電子式イメージ・センサーにかかっている。このような電子式イメージ・センサーとして、電荷結合デバイス（CCD）イメージ・センサーとアクティブ画素センサー（APS）デバイス（APSデバイスは相補型金属酸化物半導体プロセスで製造できるため、CMOSセンサーと呼ばれることがしばしばある）がある。一般に、これらイメージ・センサーには多数の感光画素が含まれていて、しばしば行と列の規則的なパターンに配置されている。カラー画像を捕獲するため、あるパターンのフィルタが一般に画素パターンの上に製造される。そのとき異なるフィルタ材料を用い、個々の画素が可視光スペクトルの一部だけに感度を持つようにする。カラー・フィルタは各画素に到達する光の量を必然的に減らすため、各画素の光感度が低下する。画像をより低いレベルの光で捕獲できるようにするため、またはより高いレベルの光で画像を捕獲して露出時間をより短くするため、電子式カラー・イメージ・センサーの光感度または写真感度を向上させることが相変わらず必要とされている。
【０００３】
イメージ・センサーは、直線状または二次元である。一般に、これらセンサーには異なる2つの用途がある。二次元センサーは、一般に、画像取得装置（例えばディジタル・カメラ、携帯電話、ならびに他の用途）に適している。直線状センサーは、文書のスキャニングにしばしば用いられる。いずれの場合にも、カラー・フィルタを用いるとイメージ・センサーの感度が低下する。
【０００４】
イーストマン・コダック社が製造したKLI-4104という直線状イメージ・センサーは、4つの直線状単一画素ワイド・アレイを備えており、そのうちの3つのアレイにカラー・フィルタが取り付けられていてそれぞれのアレイ全体が赤、緑、青いずれかに対する感度を持つようにされ、第4のアレイにはカラー・フィルタが取り付けられていない。さらに、3つのカラー・アレイは、カラー・フィルタに起因する光感度の低下を補償するため画素がより大きくなっているのに対し、第4のアレイはより小さくて、高解像度輝度画像を捕獲する。このイメージ・センサーを用いて画像が捕獲されると、その画像は、高解像度で高写真感度の1つの輝度画像と、写真感度がほぼ同じで解像度がより低い3つの画像として表わされる。3つの画像のそれぞれは、画像からの赤色光、緑色光、青色光いずれかに対応している。したがってこの電子画像の各点は、輝度値と、赤色値と、緑色値と、青色値とを有する。しかしこれは直線状イメージ・センサーであるため、画像を走査するのに4種類の直線状画素アレイの上を通過させるには、イメージ・センサーと画像の間の相対的な物理的運動が必要とされる。このようにすると画像を走査する速度が制限されるため、手で持つカメラや運動物体を含む光景の捕獲でこのセンサーを使用することはできない。
【０００５】
従来技術では、Muramatsu Akiraがアメリカ合衆国特許第4,823,186号に記載している電子式イメージング・システムも知られている。このシステムは2つのセンサーを備えていて、各センサーは二次元画素アレイを備えているが、1つのセンサーはカラー・フィルタを持たず、他方のセンサーは、画素とともに含まれたあるパターンのカラー・フィルタを備えていて、光ビーム・スプリッタが各イメージ・センサーに画像を提供する。カラー・センサーにはあるパターンのカラー・フィルタが取り付けられているため、カラー・センサーの各画素は1つの色だけを発生させる。画像がこのシステムで捕獲されるとき、電子的画像の各点は1つの輝度値と1つのカラー値を持つため、カラー画像は、近くの色から内挿される欠けた色を各画素位置に持つはずである。このシステムは従来の単一イメージ・センサーよりも光感度が改善されているとはいえ、2つのセンサーと1つのビーム・スプリッタを必要とするため、このシステムの複雑さ、サイズ、コストは、全体としてより大きくなる。さらに、ビーム・スプリッタは画像からの光の半分しか各センサーに向かわせないため、写真感度の改善が制限される。
【０００６】
上記の直線状イメージ・センサーに加え、二次元画素アレイを備えるイメージ・センサーが従来技術で知られている。その場合の画素は、カラー・フィルタが取り付けられていない画素を含んでいる。例えばSatoらのアメリカ合衆国特許第4,390,895号、Yamagamiらのアメリカ合衆国特許第5,323,233号、Gindeleらのアメリカ合衆国特許第6,476,865号、Frameのアメリカ合衆国特許出願公開2003/0210332を参照のこと。これら特許のそれぞれにおいて、カラー画素と輝度画素またはフィルタなしの画素のサンプリングは、カラー画像よりも輝度画像が優先されるかその逆となるようになされる、あるいはカラー画素と輝度画素が最適にはならないような何らかの別のやり方でなされる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって二次元画素アレイを備えるイメージ・センサーを利用した電子式キャプチャ・デバイスのために光感度を向上させることが相変わらず必要とされている。
【課題を解決するための手段】
【０００８】
本発明は、カラー画素とパンクロ画素からなる二次元アレイを備えていて高感度でフル・カラー画像を生成させるのに有効なイメージ・センサーを提供することを目的とする。
【０００９】
簡単にまとめると、本発明の1つの特徴により、カラー画像を捕獲するため、複数の最小繰り返し単位を有する二次元画素アレイを含むイメージ・センサーであって、それぞれの最小繰り返し単位が、5つのパンクロ画素と、色応答が異なる3つの画素を有する8つの画素からなるイメージ・センサーが提供される。
【発明の効果】
【００１０】
本発明のイメージ・センサーは、低レベルの照明条件に特に適している。そのような低レベルの照明条件は、光景の照明が少ないこと、露出時間が短いこと、アパーチャが小さいことの結果、またはセンサーに到達する光に関する他の制約の結果である。本発明のイメージ・センサーには多くの用途があり、多数のタイプの画像キャプチャ・デバイスでこのようなセンサーを有効に利用できる。それに加え、本発明のイメージ・センサーは、捕獲された画像の処理を容易にして最終的なフル・カラーのレンダリングされた画像を生成させる。
【００１１】
本発明のこれらの側面、目的、特徴、利点と他の側面、目的、特徴、利点は、好ましい実施態様に関する以下の詳細な説明と添付の請求項を検討することで、より明確に理解することができよう。
【図面の簡単な説明】
【００１２】
【図１】従来のセンサーと処理法、またはそのセンサーと本発明の処理法を利用できる従来のディジタル・スチール・カメラ・システムのブロック・ダイヤグラムである。
【図２】従来のベイヤー・カラー・フィルタ・アレイのパターン（従来技術）であり、最小繰り返しパターンと非最小繰り返しパターンを示してある。
【図３】赤色画素、緑色画素、青色画素の代表的な分光量子効率曲線と、それよりも広いパンクロ分光量子効率曲線であり、どれも赤外遮断フィルタの透過特性との積である。
【図４】パンクロ画素とカラー画素の両方を有するカラー・フィルタ・アレイのパターン（従来技術）である。
【図５Ａ】本発明によるカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図５Ｂ】本発明によるカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図５Ｃ】本発明によるカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図６Ａ】図5Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図６Ｂ】図5Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図６Ｃ】図5Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図６Ｄ】図5Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図７Ａ】原色カラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図７Ｂ】原色カラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図７Ｃ】原色カラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図８Ａ】図7Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図８Ｂ】図7Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図８Ｃ】図7Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図８Ｄ】図7Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図９Ａ】相補的なカラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図９Ｂ】相補的なカラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図９Ｃ】相補的なカラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図１０Ａ】写真感度が異なるパンクロ画素を用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図１０Ｂ】写真感度が異なるパンクロ画素を用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図１１Ａ】図7A〜図7Cのカラー・フィルタ・アレイに代わる別の最小繰り返し単位であり、それを用いると図8Dと同様のタイル状配置が得られる。
【図１１Ｂ】図7A〜図7Cのカラー・フィルタ・アレイに代わる別の最小繰り返し単位であり、それを用いると図8Dと同様のタイル状配置が得られる。
【図１１Ｃ】図7A〜図7Cのカラー・フィルタ・アレイに代わる別の最小繰り返し単位であり、それを用いると図8Dと同様のタイル状配置が得られる。
【図１２】図11Aの最小繰り返し単位のためのタイル状配置を示している。
【図１３Ａ】本発明のカラー・フィルタ・アレイのための1つの最小繰り返し単位であり、ここでは画素が8角形のパターンに配置されている。
【図１３Ｂ】図13Aのためのタイル状配置である。
【図１４】図8Dのタイル状配置から抜き出したカラー・サンプルの空間分布を示している。
【図１５Ａ】本発明のカラー・フィルタ・アレイのための1つの最小繰り返し単位であり、ここでは画素が6角形に配置されている。
【図１５Ｂ】本発明のカラー・フィルタ・アレイのための1つの最小繰り返し単位であり、ここでは画素が6角形に配置されている。
【図１６】図15Bのタイル状配置から抜き出したカラー・サンプルの空間分布を示している。
【図１７Ａ】本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。
【図１７Ｂ】本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。
【図１７Ｃ】本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。
【図１７Ｄ】本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。
【図１７Ｅ】本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。
【図１８】本発明による処理ダイヤグラムであり、本発明のセンサーからのカラー画素データとパンクロ画素データを処理する方法を示している。
【図１９】本発明のカラー画素とパンクロ画素の配置を示しており、内挿法を説明するため添字が付されている。
【発明を実施するための形態】
【００１３】
イメージング装置と、信号を捕獲して補正するとともに露出を制御するための関連回路とを利用したディジタル・カメラはよく知られているため、ここでの説明は、特に、本発明の方法および装置の一部を形成する要素、または本発明の方法および装置とより直接的に協働する要素を対象とする。この明細書に特に示したり説明したりしない要素は、従来技術で知られているものの中から選択する。ここで説明する実施態様のいくつかの特徴はソフトウエアとして提供される。以下に本発明のシステムを図示して説明していることを考えると、本発明の実施に役立つがこの明細書に特には図示、説明、示唆していないソフトウエアは、この分野の当業者にはありふれたものであり、当業者の能力の範囲にある。
【００１４】
ここで図1を参照すると、本発明を具体化したディジタル・カメラとしての画像キャプチャ・デバイスをブロック・ダイヤグラムとして示してある。ディジタル・カメラについてこれから説明するが、本発明を他のタイプの画像キャプチャ・デバイスにも適用できることは明らかである。ここに開示するカメラでは、対象となる光景からの光10がイメージング段11に入力され、そこで光はレンズ12によって集束されて固体イメージ・センサー20の上に画像を形成する。イメージ・センサー20は、各ピクチャ・エレメント（画素）のために入射光を電気信号に変換する。この好ましい実施態様のイメージ・センサー20は、電荷結合デバイス（CCD）タイプまたはアクティブ画素センサー（APS）タイプ（APSデバイスは、相補型金属酸化物半導体プロセスで製造できるためにCMOSセンサーと呼ばれることがしばしばある）である。本発明のパターンが利用されるのであれば、二次元画素アレイを有する他のタイプのイメージ・センサーも用いられる。本発明では、カラー画素とパンクロ画素からなる二次元アレイを有するイメージ・センサー20も利用される。これについては、この明細書で図1を説明した後に明らかになろう。イメージ・センサー20で使用される本発明のカラー画素とパンクロ画素のパターンの例は、図5A〜図5C、図7A〜図7C、図9A〜図9C、図10A〜図10B、図11A〜図11C、図13A、図15Aに見られるが、本発明の範囲で他のパターンも利用できる。
【００１５】
イメージ・センサー20に到達する光の量は、アパーチャを変化させる虹彩絞りブロック14と、光路の途中に配置された1つ以上の中性（ND）フィルタを有するNDフィルタ・ブロック13とによって調節される。全体的な光のレベルは、シャッター・ブロック18を開いている時間によっても調節される。露出制御装置ブロック40は、光景において利用可能な光の量を明るさセンサー・ブロック16が測定した値に応答し、これら3つの調節機能をすべて制御する。
【００１６】
特別な構成のカメラに関するこの説明は当業者にはありふれたものであろうし、多くのバリエーションや追加の特徴が存在することも明らかであろう。例えばオートフォーカス・システムを追加したり、レンズを取外し可能かつ交換可能にしたりする。本発明があらゆるタイプのディジタル・カメラに適用され、そこでは同様の機能が代替部品によって提供されることが理解できよう。例えばディジタル・カメラは、撮影対象に向けてシャッターを押す比較的単純なディジタル・カメラであり、シャッター18は、比較的簡単な可動ブレード・シャッターなどであり、より複雑な焦点面シャッターではない。本発明は、カメラではない装置（例えば携帯電話や自動車）に含まれるイメージング要素で実施することもできる。
【００１７】
イメージ・センサー20からのアナログ信号は、アナログ信号処理装置22によって処理され、アナログ／ディジタル（A/D）変換器24に送られる。タイミング発生装置26がさまざまなクロック信号を発生させて行と画素を選択するとともに、アナログ信号処理装置22とA/D変換器24の動作を同期させる。イメージ・センサー段28には、イメージ・センサー20と、アナログ信号処理装置22と、A/D変換器24と、タイミング発生装置26が含まれている。イメージ・センサー段28のこれらの要素は、別々の集積回路として製造されるか、CMOSイメージ・センサーで一般的なように単一の集積回路として製造される。A/D変換器24から得られる一連のディジタル画素値は、ディジタル信号処理装置（DSP）36に付随するメモリ32に記憶される。
【００１８】
ディジタル信号処理装置36は、この実施態様の3つの処理装置または制御装置のうち1つであり、他の2つはシステム制御装置50と露出制御装置40である。多数の制御装置と処理装置でカメラ機能の制御をこのように分担することが一般的だが、これらの制御装置または処理装置をいろいろな方法で組み合わせてもカメラの機能や本発明の用途が影響を受けることはない。これらの制御装置または処理装置は、1つ以上のディジタル信号処理装置、マイクロコントローラ、プログラム可能な論理装置、またはこれら以外のディジタル論理回路を備えることができる。このような制御装置または処理装置の1つの組み合わせについて説明したが、1つの制御装置または処理装置が必要な全機能を実施するようにできることは明らかであろう。これらのバリエーションはどれも同じ機能を実行できて本発明の範囲に含めることができ、“処理段”という用語は、必要に応じ、例えば図1の処理段38におけるようにこの機能を1つの文章ですべてカバーするものとする。
【００１９】
図示した実施態様では、DSP 36は、付随するメモリ32に記憶されたディジタル画像データをソフトウエアに従って処理する。このソフトウエアはプログラム用メモリ54に常時記憶されていて、画像を捕獲している間にメモリ32にコピーされて実行される。DSP 36は、図18に示した画像処理の実施に必要なソフトウエアを実行する。メモリ32は、任意のタイプのランダム・アクセス・メモリ（例えばSDRAM）を含んでいる。アドレス信号とデータ信号のための経路を含むバス30が、DSP 36を、付随するメモリ32、A/D変換器24、および他の関連した装置に接続している。
【００２０】
システム制御装置50は、プログラム用メモリ54（フラッシュEEPROMまたは他の不揮発性メモリを含むことができる）に記憶されたソフトウエア・プログラムに基づいてカメラの全動作を制御する。このメモリは、カメラのスイッチをオフにしたときに保存されるべきイメージ・センサーの較正データ、ユーザー設定の選択結果、ならびに他のデータを記憶させるのにも使用できる。システム制御装置50は、一連の画像捕獲操作を制御する。すなわち、露出制御装置40に命令することにより、すでに説明したレンズ12、NDフィルタ13、虹彩絞り14、シャッター18を動作させ、タイミング発生装置26に命令してイメージ・センサー20とそれに関連する素子を動作させ、DSP 36に命令して捕獲された画像データを処理する。画像が捕獲されて処理されると、メモリ32に記憶された最終画像ファイルはインターフェイス57を通じてホスト・コンピュータに移され、取外し可能なメモリ・カード64または他の記憶装置に記憶され、ユーザーのため画像ディスプレイ88に表示される。
【００２１】
バス52は、アドレス、データ、制御信号のための経路を含んでおり、システム制御装置50を、DSP 36、プログラム用メモリ54、システム用メモリ56、ホスト・インターフェイス57、メモリ・カードとのインターフェイス60、ならびに関連する他の装置に接続している。ホストとのインターフェイス57は、パーソナル・コンピュータ（PC）または他のホスト・コンピュータへの高速接続を提供し、表示、記憶、処理、印刷のための画像データを転送する。このインターフェイスは、IEEE1394またはUSB2.0インターフェイスであるか、適切な他の任意のディジタル・インターフェイスである。メモリ・カード64は一般にコンパクト・フラッシュ（CF）カードであり、ソケット62に挿入され、メモリ・カードとのインターフェイス60を通じてシステム制御装置50に接続される。使用される他のタイプの記憶装置として、PCカード、マルチメディア・カード（MMC）、セキュア・ディジタル（SD）カードなどがある。
【００２２】
処理された画像はシステム用メモリ56の表示用バッファにコピーされ、ビデオ・エンコーダ80を通じて連続的に読み出されてビデオ信号が生成される。この信号はカメラから直接出力されて外部モニタに表示されるか、表示制御装置82によって処理されて画像ディスプレイ88に表示される。このディスプレイは一般にアクティブ・マトリックス・カラー液晶ディスプレイ（LCD）だが、他のタイプのディスプレイも使用される。
【００２３】
ユーザー制御／状態インターフェイス68は、ビューファインダ・ディスプレイ70、露出ディスプレイ72、状態ディスプレイ76、画像ディスプレイ88、ユーザー入力74のすべてまたは任意の組み合わせを含んでおり、露出制御装置40とシステム制御装置50で実行されるソフトウエア・プログラムの組み合わせによって制御される。ユーザー入力74は、一般に、ボタン、ロッカー・スイッチ、ジョイスティック、回転ダイヤル、タッチスクリーンの何らかの組み合わせを備えている。露出制御装置40は、光の測定、露出モード、自動焦点合わせ、ならびに他の露出機能を実行する。システム制御装置50は、1つ以上のディスプレイ（例えば画像ディスプレイ88）に表示されるグラフィカル・ユーザー・インターフェイス（GUI）を管理する。GUIは、一般に、さまざまな選択を行なうためのメニューと、捕獲された画像を調べるための検査モードを含んでいる。
【００２４】
露出制御装置40は、露出モード、レンズのアパーチャ、露出時間（シャッター速度）、露出の指標またはISO感度を選択するユーザー入力を受け取り、それに応じてレンズとシャッターに対して命令を出してその後の捕獲を行なう。明るさセンサー16を用いて光景の明るさを測定して露出計の機能を提供することで、ユーザーがISO感度、アパーチャ、シャッター速度を手動で設定するときに参照できるようにする。この場合、ユーザーが1つ以上の設定を変えると、ビューファインダ・ディスプレイ70に表示される光測定インディケータが、ユーザーに、画像がどの程度露出過剰または露出不足になるかを知らせる。自動露出モードでは、ユーザーが1つの設定を変化させると露出制御装置40は自動的に他の設定を変えて正しい露出を維持する（例えば所定のISO感度でユーザーがレンズのアパーチャを小さくすると、露出制御装置40は自動的に露出時間を長くして全露出が同じになるように維持する）。
【００２５】
ISO感度は、ディジタル・スチール・カメラの1つの重要な属性である。露出時間と、レンズのアパーチャと、レンズの透過率と、光を受けている光景の光のレベルおよびスペクトル分布と、光景の反射率とが、ディジタル・スチール・カメラの露出レベルを決定する。ディジタル・スチール・カメラから露出が十分でない画像が得られた場合には、電子的利得またはディジタル利得を大きくすることによって適切な色調の再現性が一般に維持されるが、画像は許容できない量の雑音を含むことになろう。露出が多くなるのに合わせて利得を小さくできるため、通常は画像の雑音を許容可能なレベルに低下させることができる。露出が過度に大きい場合には、画像の明るい領域で得られる信号は、イメージ・センサーまたはカメラが信号を処理する最大信号レベルを超える可能性がある。すると画像のハイライトが生じる可能性があるため、その部分を切り取って一様な明るい領域を形成するか、曇らせて画像の周辺領域にとけ込ませる。ユーザーが適切な露出を設定するよう誘導することが重要である。ISO感度は、そのようなガイドとして機能することが想定されている。撮影者が容易に理解できるようにするため、ディジタル・スチール・カメラのISO感度は、写真フィルム式カメラのISO感度と直接関係している必要がある。例えばディジタル・スチール・カメラのISO感度がISO200だとすると、同じ露出時間とアパーチャがISO200のフィルム／処理システムにとって適切でなければならない。
【００２６】
ISO感度は、フィルムのISO感度と矛盾しないことが想定されている。しかし電子式イメージング・システムとフィルムに基づくイメージング・システムの間には差があるため、正確に同じにはならない。ディジタル・スチール・カメラは利得を可変にすることができ、画像データが捕獲された後にディジタル処理が可能である。そのためカメラのある露出範囲内で色調の再現が可能である。したがってディジタル・スチール・カメラの感度にはある程度の幅を持たせることができる。この幅は、ISO感度ラティチュードとして定義される。混乱を避けるため、固有ISO感度として単一の値を指定する。そのときISO感度ラティチュードの上限と下限が、感度の範囲、すなわち固有ISO感度とは異なる有効感度を含む範囲を示す。このことを念頭に置くと、固有ISO感度は、特定のカメラ出力信号特性を生み出すため、ディジタル・スチール・カメラの焦点面における露出から計算された数値である。固有感度は、通常は、あるカメラ・システムが与えられたとき、標準的な光景に関して画像品質を最大にする露出の指標値である。この露出の指標値は、イメージ・センサーの露出に逆比例する数値である。
【００２７】
ディジタル・カメラに関する上記の説明は、当業者にはありふれたものであろう。この実施態様に対して可能な多数のバリエーションが存在しており、コストを低下させるため、特徴を追加するため、カメラの性能を向上させるためにそうしたバリエーションが選択されることは明らかであろう。以下の説明には、本発明に従って画像を捕獲することに関するこのカメラの動作を詳細に開示する。この説明はディジタル・カメラについてのものだが、本発明が、カラー画素とパンクロ画素を有するイメージ・センサーを備えたあらゆるタイプの画像キャプチャ・デバイスで利用できることが理解されよう。
【００２８】
図1に示したイメージ・センサー20は、一般に、シリコン基板上に製造された二次元感光画素アレイを含んでおり、その感光画素が、各画素への入射光を測定して電気信号に変換する手段を提供する。このセンサーに光が当たると、自由電子が発生して各画素の電子構造に捕獲される。その自由電子をある期間にわたって捕獲した後、捕獲した電子の数を測定するか、自由電子の発生速度を測定することで、各画素における光のレベルを測定できる。前者の場合、電荷結合デバイス（CCD）などにおけるように、蓄積された電荷が画素アレイからシフトし、電荷から電圧を測定する回路に入るか、アクティブ画素センサー（APSまたはCMOSセンサー）におけるように、電荷から電圧を測定する回路のエレメントを各画素の近くの領域に含んでいる。
【００２９】
以下の説明でイメージ・センサーに言及するときにはいつでも、図1からのイメージ・センサー20を表わしているものとする。さらに、イメージ・センサー20では、この明細書に開示した本発明のすべての実施態様と、それと同等な構成のイメージ・センサーおよび画素パターンを利用するものとする。
【００３０】
イメージ・センサーという文脈では、画素（“ピクチャ・エレメント”の縮約形）は、離散した感光領域と、その感光領域に関係した電荷シフト回路または電荷測定回路を意味する。ディジタル・カラー画像の文脈では、画素という用語は、一般に、画像中で色値を伴った特定の位置を意味する。
【００３１】
カラー画像を生成させるため、イメージ・センサーの画素アレイは、一般に、その上に配置したあるパターンのカラー・フィルタを有する。図2は、赤色フィルタ、緑色フィルタ、青色フィルタからなるパターンであり、このパターンが一般に使用されている。この特別なパターンは、アメリカ合衆国特許第3,971,065号に開示されているように、発明者のブライス・ベイヤーにちなんでベイヤー・カラー・フィルタ・アレイ（CFA）として一般に知られている。このパターンは、二次元カラー画素アレイを有するイメージ・センサーで実際に用いられている。その結果、各画素は特定のカラー光応答を持つ。この場合には、赤色光、緑色光、青色光いずれかに対する感度が大きいカラー光応答である。カラー光応答の有用な別の一例では、マゼンタ色光、イエロー色光、シアン色光いずれかに対する感度が大きい。どの場合でも、特定のカラー光応答は、可視スペクトルのある部分に対する感度は大きいが、それと同時に可視スペクトルの他の部分に対する感度は低い。カラー画素という用語は、カラー光応答を有する画素を意味する。
【００３２】
センサーで利用するために選択されるカラー光応答のセットは、通常は、ベイヤーCFAに示してあるように3色だが、4色以上を含んでいてもよい。この明細書では、パンクロ光応答は、カラー光応答に関して選択したセットにおける分光感度よりも広い分光感度を持つ光応答を意味する。パンクロ光応答は、可視スペクトル全体にわたって大きな感度を持つことができる。パンクロ画素という用語は、パンクロ光応答を持つ画素を意味する。パンクロ画素は一般にカラー光応答のセットよりも広い分光感度を持つが、各パンクロ画素にはフィルタが取り付けられていてもよい。そのようなフィルタは、中性フィルタまたはカラー・フィルタである。
【００３３】
カラー画素とパンクロ画素からなるパターンがイメージ・センサーの表面にある場合には、そのような各パターンは繰り返し単位を有する。この繰り返し単位は、画素が切れ目なくつながって基本的構成ブロックとして機能するサブアレイである。この繰り返し単位のコピーを多数並置することにより、センサー・パターンの全体が得られる。繰り返し単位の多数のコピーは、斜め方向に並べることも、水平方向と鉛直方向に並べることもできる。
【００３４】
最小繰り返し単位は、より少ない画素からなる他の繰り返し単位が存在しない繰り返し単位である。例えば図2のCFAは、図2の画素ブロック100に示してあるように、2画素×2画素の最小繰り返し単位を含んでいる。この最小繰り返し単位の多数のコピーをタイルのように並べることでイメージ・センサーの画素アレイ全体がカバーされる。緑色画素が左上隈にある最小繰り返し単位を示してあるが、太線で囲まれた領域を1画素だけ右に、または1画素だけ下に、または1画素だけ対角方向に右下に移動させることにより、別の3つの最小繰り返し単位を容易に区別することができる。画素ブロック102は繰り返し単位だが、最小繰り返し単位ではない。なぜなら画素ブロック100も繰り返し単位であり、しかもブロック102よりも画素数が少ないからである。
【００３５】
図2のCFAを有する二次元アレイを備えたイメージ・センサーを用いて捕獲された画像は、画素ごとにカラー値を1つだけ持つ。フル・カラー画像を生成させるため、各画素に欠けている色を推定または内挿する多数の方法がある。こうしたCFA内挿法は従来技術でよく知られており、アメリカ合衆国特許第5,506,619号、第5,629,734号、第5,652,621号に記載されている。
【００３６】
図3は、典型的なカメラの用途において赤色フィルタ、緑色フィルタ、青色フィルタを有する画素の相対分光感度を示している。図3のX軸は波長をナノメートルを単位として表わしており、Y軸は効率を表わす。図3では、曲線110は、赤外光と紫外光がイメージ・センサーに到達しないようにするのに用いられる典型的なフィルタの分光透過特性を表わしている。このようなフィルタが必要なのは、イメージ・センサーで使用されるカラー・フィルタは一般に赤外光を阻止せず、したがって画素が、赤外光と、付随するカラー・フィルタの帯域内の光とを区別できないからである。曲線110で示した赤外阻止特性により、赤外光が可視光信号に影響を与えることが阻止される。赤色フィルタ、緑色フィルタ、青色フィルタが取り付けられた典型的なシリコン・センサーに関する分光量子効率（すなわち捕獲される入射フォトンと、測定可能な電気信号に変換されるフォトンの比）に、曲線110で表わされる赤外阻止フィルタの分光透過特性を掛けると、複合系の量子効率として、赤に関しては曲線114が、緑に関しては曲線116が、青に関しては曲線118が得られる。これらの曲線から、それぞれのカラー光応答は、可視スペクトルの一部だけに敏感であることがわかる。それとは逆に、カラー・フィルタが取り付けられていない（が、赤外阻止フィルタ特性は有する）同じシリコン・センサーの光応答を曲線112で示してある。カラー光応答曲線114、116、118をパンクロ光応答曲線112と比較することにより、パンクロ光応答は、広いスペクトルの光に対してどのカラー光応答よりも3〜4倍敏感であることが明らかである。別のタイプのセンサーは図3に示したのとは異なる光応答を持つ可能性があるが、そのより広いパンクロ応答が広いスペクトルの光に対して常にどのカラー光応答よりも敏感であることは明らかである。
【００３７】
図3に示したようにパンクロ感度のほうが大きいため、カラー・フィルタを有する画素とカラー・フィルタなしの画素を混合することにより、イメージ・センサーの全体的な感度を向上させることができる。しかしカラー・フィルタを有する画素は、パンクロ画素よりもはるかに感度が低いであろう。その場合、パンクロ画素が適切に露出されてある光景からの光の強度範囲がそのパンクロ画素の全測定範囲をカバーするとすれば、カラー画素は著しく露出不足になるであろう。したがってカラー・フィルタを有する画素の感度を調節し、パンクロ画素とほぼ同じ感度になるようにすることが望ましい。カラー画素の感度を大きくするには、例えばパンクロ画素よりもカラー画素のサイズを大きくし、それに伴って大きなスペースを占める画素を減らす。
【００３８】
パンクロ画素とカラー画素を有する画像キャプチャ・デバイスでは、画素アレイ中のパンクロ画素とカラー画素の配置が、その画像キャプチャ・デバイスの空間的サンプリング特性に影響を与える。パンクロ画素がカラー画素に置き換わる場合には、カラー・サンプリングの頻度は少なくなる。例えばGindeleらのアメリカ合衆国特許第6,476,865号におけるように図2の最小繰り返し単位の緑色画素のうちの1つをパンクロ画素で置き換える場合には、緑色のサンプリング頻度を少なくする。なぜなら図2に示した元のパターンの半分しか緑色画素が存在していないからである。この特別な場合には、パンクロ画素と各カラー画素のサンプリング頻度は同じである。
【００３９】
パンクロ画素は一般にカラー画素よりも敏感であるため、どのカラー画素よりもパンクロ画素のサンプリング頻度を多くすることが望ましい。するとロバストでより高感度なパンクロ表示の画像が得られ、以後の画像処理と各画素の位置における失われた色の内挿の基礎が提供される。例えばYamagamiらは、アメリカ合衆国特許第5,323,233号において、50％がパンクロ画素、25％が緑色画素、12.5％ずつが赤色画素と青色画素であるパターンを示している。このパターンの最小繰り返し単位を図4に示してある。緑色画素が他のカラー画素の2倍の数ある点が広く用いられているベイヤー・パターンと合致しているが、Yamagamiが示しているロバストなパンクロ・サンプリング法と組み合わせたときに利点となるとは限らない。緑色のサンプリング頻度を他の色と同程度に減らしても、完全に処理された画像に大きなマイナスの影響はなかろう。図4の緑色画素のうちの1つを異なる色の画素で置き換えると、パンクロ・サンプリング頻度に影響を与えることなく、そしてカラー・サンプリング頻度にも大きな影響を与えることなく、追加のスペクトル情報が得られる。
【００４０】
図5Aは本発明の1つの最小繰り返し単位を示しており、ここには、最小繰り返し単位全体に一様に配置された4つのパンクロ画素と、1つの赤色画素（R）と、1つの緑色画素（G）と、1つの青色画素（B）と、第4の明確に異なるスペクトル感度を持つ1つのカラー画素（Q）含まれている。図5Aの最小繰り返し単位ではYamagamiの追加の緑色画素（図4）が除去され、その代わりに他の3色とは明確に異なるスペクトル感度を持つ画素にされている。このパターンは、パンクロ画素が50％と、スペクトル感度が明確に異なる4つの画素それぞれが12.5％ずつになっている。Q画素は、可視光の範囲がR、G、Bとは異なっている。あるいはQ画素は、非可視光の範囲をカバーしている。Q画素は、例えば赤外光に対する感度を持つことができる。
【００４１】
図5Bは、本発明の別の最小繰り返し単位を示している。図5Bは図5Aと似ているが、緑色画素と青色画素が入れ代わっている点が異なっている。それぞれの色のカラー・サンプリング頻度は同じままに留まるが、4つの色のサンプリング間の位相関係が図5Aと図5Bで異なっている。図5Cは、本発明のさらに別の最小繰り返し単位を示している。図5Cは図5Aと似ているが、赤色画素、緑色画素、青色画素が、それぞれシアン色画素、イエロー画素、マゼンタ色画素で置き換えられている点が異なっている。これは、本発明のこの実施態様をスペクトル感度が明確に異なる4つの画素の任意の組み合わせで利用できることを示している。
【００４２】
図5Aの最小繰り返し単位をいくつかの方法でタイル状に敷き詰めると、失われた画素のないより大きな画素アレイが得られる。図6Aは、図5Aの最小繰り返し単位を行と列に均等に敷き詰めたタイル配置を示している。図6Bは、図5Aのための1つのタイル配置を示しており、隣の列に行くときに1画素だけ下に（またはそれと同じことだが上に）ずれている。言い換えるならば、図5Aの最小繰り返し単位が、隣の列に対して最小繰り返し単位の高さの半分だけ鉛直方向にずれた状態ですべての列に均等に敷き詰められている。図6Cは、すべての行が上の行に対して1画素分だけ右にずれたタイル配置を示している。言い換えるならば、図5Aの最小繰り返し単位が、上隣にある行に対して最小繰り返し単位の幅の1/4だけ右にずれた状態ですべての行に均等に敷き詰められている。図6Dは、隣の行に行くときに2画素（すなわち最小繰り返し単位の幅の半分）だけ右に（またはそれと同じことだが左に）ずれたタイル配置を示している。言い換えるならば、図5Aの最小繰り返し単位が、隣にある行に対して最小繰り返し単位の幅の半分だけ右にずれた状態ですべての行に均等に敷き詰められている。
【００４３】
図5Aの最小繰り返し単位を図6A〜図6Cに示したように配置したタイル状配置により、個々の色に関するサンプリング頻度が水平方向と鉛直方向で異なる画素アレイが得られる。図6Dのタイル状配置により得られる画素アレイは、個々の色に関するサンプリング頻度が水平方向と鉛直方向で同じであり、左上から右下への対角線（右下がりの斜線）と右上から左下への対角線（左下がりの斜線）の方向で同じである。さらに、サンプリング頻度はどの色でも同じであり、色に関する最大のサンプリング頻度は、水平方向と鉛直方向に関係している。最大のサンプリング頻度が水平方向と鉛直方向に関係するように配置することで、エイリアスの機会を最少の状態にして鉛直方向のエッジと水平方向のエッジをサンプリングすることができる。したがって上の説明に基づくと、図6Dにより、図5Aの最小繰り返し単位のための好ましい1つのタイル状配置が提供される。
【００４４】
一般に、3通りの異なるスペクトル感度を持つ画素があれば、捕獲されたカラー画像のカラー情報を提供するのに十分である。例えばよく知られたベイヤー・パターンは、一般に赤、緑、青の感度を持つ画素を用いて実現される。パンクロ／カラー画像キャプチャ・デバイスには、ロバストなパンクロ画像を捕獲するためにどのカラー画素よりもパンクロ画素の割合を大きくできるという利点がある。3つの異なるスペクトル感度を持つ画素があれば色情報として十分であると仮定すると、パンクロ・サンプリングの改善に興味があるという動機により、図5Aの第4のスペクトル感度を持つ画素Qをパンクロ画素にする。Qがパンクロ画素であれば、最小繰り返し単位は、62.5％がパンクロ画素であり、12.5％ずつが赤色画素、緑色画素、青色画素である。こうすると、ロバストなパンクロ表示の画像を提供するためのパンクロ・サンプリングと、画像内の色を同定するカラー・サンプリングの間のバランスが改善される。
【００４５】
図7Aは、8つの画素を備える本発明による別の一実施態様の最小繰り返し単位を示している。8つの画素のうちの5つはパンクロ画素であり、残りの3つの画素は異なる3色である。この最小繰り返し単位は、パンクロ画素とカラー画素が前段落で説明した割合になっている。図7Aでは、3つのカラー画素は、赤、緑、青である。3つのカラー画素と5つのパンクロ画素からなる配置はいくつか可能であることに注意されたい。例えば図7Bは図7Aと似ているが、赤色画素と青色画素が入れ代わっているため、新たな明確に異なる最小繰り返し単位が形成される。図7Cは図7Aと似ているが、緑色画素と青色画素が入れ代わっている。
【００４６】
図7Aの最小繰り返し単位をいくつかの方法でタイル状に敷き詰めると、失われた画素のないより大きな画素アレイが得られる。図8A〜図8Dは、図7Aの最小繰り返し単位のためのタイル状配置を示しており、図6A〜図6Dに示したタイル状配置に対応している。図6A〜図6Dに関する上記の説明に基づくと、図8Dにより、図7Aの最小繰り返し単位のための最適なタイル状配置が得られる。
【００４７】
上の説明ではカラー画素は赤、緑、青であったが、別の色の組み合わせ（例えばシアン、マゼンタ、イエロー）も利用できる。図9Aは図7Aと似ているが、赤色画素、緑色画素、青色画素の代わりにそれぞれシアン色画素、イエロー色画素、マゼンタ色画素にされている。これは、本発明のこの実施態様をスペクトル感度が明確に異なる3つの画素の任意の組み合わせで利用できることを示している。図9Bと図9Cは、シアン色画素、マゼンタ色画素、イエロー色画素の別の配置を示している。
【００４８】
本発明のパターンに含まれるパンクロ画素はどれも感度が同じである必要はない。例えば図10Aには図5Aと似た最小繰り返し単位が示してあり、ここではQ画素が、他のパンクロ画素とは異なる写真感度のパンクロ画素で置き換えられている。写真感度が異なるパンクロ画素を用いるとより広い範囲の光レベルが捕獲される。図10Bは、異なる2通りの写真感度を持つパンクロ画素が別の配置にされた別の最小繰り返し単位を示しており、この最小繰り返し単位の一方の行はある1つの写真感度を持ち、他方の行は異なる写真感度を持つ。
【００４９】
ここまで本発明を説明するのに用いた最小繰り返し単位はすべて、各行が4画素からなる2つの行を長方形に配置したものであったが、別の同等な最小繰り返し単位が存在している。例えば図11Aは、図7Aの最小繰り返し単位を図8Dのようにタイル状にしたものと同等な本発明の1つの最小繰り返し単位である。それに加え、図11Bは、図7Bを図8Dと同じようにタイル状にするのであれば図7Bと同等であり、図11Cは、図10Aを図8Dと同じようにタイル状にするのであれば図10Aと同等である。
【００５０】
図5A、図7A、図10A、図11Aいずれかのパターンの回転や、すでに説明した本発明の他の任意の実施態様の回転は、完全に本発明の範囲に含まれる。例えば図13Aは、図7Aの最小繰り返し単位を反時計回りに45°回転させたものと同等な8角形配置の最小繰り返し単位を示している。図13Bは、図13Aの最小繰り返し単位をタイル状に敷き詰めたものであり、図8Dを反時計回りに45°回転させたものと同等なパターンを形成している。
【００５１】
図6Dの4色または図8Dの3色の各色のサンプリング頻度は同じだが、色同士の間の位相関係は同じではない。例えば図8Dのそれぞれの色（すなわち赤、緑、青）の画素は、その3色に関して同じサンプリング・パターンを提供する。これは、図14でそれぞれの色を調べることによって明らかにわかる。図14は図8Dと同じパターンであり、カラー画素だけを示してある。しかしそれぞれの青色画素は近くの4つの赤色画素から等距離にあって赤色画素と青色画素の市松模様を形成している一方で、緑色画素は、45°の対角線上の赤色画素の間と、-45°の対角線上の青色画素の間に位置している。明らかに、赤、緑、青は同じサンプリング頻度であるにもかかわらず、緑色と他の2つの色の間の位相関係は、赤と青の間の位相関係とは異なっている。これは、パンクロ／3色イメージング装置をより最適化し、3色それぞれについての色サンプリング頻度が同じで、色のペアの間の位相関係に一貫性があるようにできる可能性があることを示唆している。
【００５２】
図15Aは、本発明のさらに別の一実施態様による最小繰り返し単位を示している。図15Aの最小繰り返し単位は9つの画素を含んでおり、そのうちの6つはパンクロ画素で、残りの3つの画素は3つの異なる色である。この最小繰り返し単位は、2/3がパンクロ画素、1/9が赤色画素、1/9が緑色画素、1/9が青色画素のパターンを表わす。これまでの最小繰り返し単位で説明したように、図15Aの3つのカラー画素は、赤、緑、青だが、これらはシアン、マゼンタ、イエローでもよく、何らかの別の3色のセットでもよい。さらに、図15Aのパンクロ画素は、どれも同じ写真感度を持つが、2通り以上の異なる写真感度を持っていてもよい。図15Bは、図15Aの最小繰り返し単位を列方向に均等に敷き詰め、各列を隣の列に対して最小繰り返し単位の半分だけ上または下にずらしたタイル状配置を示している。
【００５３】
図16は、図15Bのパターンからカラー画素だけを抜き出したものである。図16から、3色それぞれのサンプリング頻度が同じであることと、それぞれの色の間の位相関係に一貫性があることは明らかである。図14ではカラー画素のうちのいくつかが他のある色により近いが、図16ではすべてのカラー画素が互いに等距離に位置する。
【００５４】
いくつかの目的で、センサーから解像度がより低い画像を生成させることが有利である。それは例えば、ビデオ捕獲のフレーム速度をより大きくするため、または表示スクリーンにアクティブなプレビュー画像を表示するためである。図1において、DSP 36は、センサーとイメージング用サブシステムによって供給される生画像から処理された画像を生成させる。一連の処理された画像をビデオ・フレーム速度で供給するには、DSP 36は、多くの場合、（プログラム可能な画像処理経路ではなくて）ハードウエア方式の画像処理経路を実施する。このようなハードウエア方式の画像処理経路では、ベイヤー・フィルタ・パターン：
Ｇ Ｒ
Ｂ Ｇ
に合致したセンサー・データが必要とされることがしばしばある。したがって、本発明のセンサーから解像度が小さくなったベイヤー画像を簡単に読む能力を提供することが有利である。
【００５５】
図17Aを参照すると、カラー画素とパンクロ画素の本発明による配置が示されている。図17Aは図8Dと似ているが、本発明のイメージ・センサーから解像度が低下したベイヤー画像を生成させることの説明をわかりやすくため各画素に数字を付してある。図17Aでは、最小繰り返し単位120は図7Aに示したものと同じである。図17Aのすべての緑色画素（例えばG12、G16、G34、G38など）を変更せずに用いることにしよう。図17Bに丸で囲んで示したこれら緑色画素は、ベイヤー・パターンに存在する緑色画素による市松模様を形成する。ベイヤー・パターンに含まれる赤色画素と青色画素に関しては、赤色画素を組み合わせたペアと青色画素を組み合わせたペアを作り、赤色画素の平均と青色画素の平均を生成させる。例えばR21とR43が組み合わされ、図17Bの丸で囲んだ平均赤色画素R'32が緑色画素G12とG52の間に生成される。赤色画素に関する同様の対角線の組み合わせにより、解像度が低下したベイヤー画像の中の適切な位置に平均赤色画素が提供される。同様にしてB45とB63が組み合わされ、図17Bの丸で囲んだ平均青色画素B'54が緑色画素G34とG74の間に生成される。青色画素の同様の対角線の組み合わせにより、解像度が低下したベイヤー画像の中の適切な位置に平均青色画素が提供される。図17Cは得られた結果を示している。これは、元の画像の水平方向解像度の1/2、鉛直方向解像度の1/2になったベイヤー画像である。
【００５６】
図17A〜図17Cは、画素数が元の画像の1/4であるベイヤー画像の生成法を示している。図17Dと図17Eは、画素数が元の画像の1/16であるベイヤー画像を生成させる同様の方法を示している。図17Bと図17Eに示したように画素を組み合わせることは、例えば画素中の電荷を組み合わせることによって、またはサンプリングされる電圧を平均することによって、または画素信号のディジタル表示を組み合わせることによってなされる。
【００５７】
ここで図18に移ると、ディジタル信号処理装置ブロック36（図1）が、捕獲された生画像データをデータ・バス30（図1）から受け取ることが示されている。生画像データは、低高解像度不完全カラー・ブロック202と高解像度パンクロ・ブロック204の両方に送られる。本発明のイメージ・センサーのための最小繰り返し単位の一例はすでに図7Aに示した。
【００５８】
低解像度不完全カラー・ブロック202（図18）では、捕獲された生の画像データから不完全カラー画像が生成される。不完全カラー画像は、各画素が少なくとも1つのカラー値を持つとともに、各画素が少なくとも1つのカラー値を欠いているカラー画像である。所定のスペクトル応答をするカラー画素はパンクロ画素と比べて少ないため、不完全カラー画像は、パンクロ画素によって捕獲される画像と比べて空間解像度が低い。
【００５９】
低解像度不完全カラー・ブロック202は、不完全カラー画像の各画素を同様にして処理することでカラー値のアレイを得る。なお、それぞれの低解像度画素に1つのカラー値となる。ここには図示していないが、このステップにおいて低解像度不完全カラー画像のノイズを除去すると望ましいことがしばしばある。
【００６０】
ここで図19に移ると、図17Aに示したパターンと同等なフィルタ・パターンが示されている。最小繰り返し単位220（図19）は、最小繰り返し単位120（図17A）と一致していることがわかる。図19を再び参照すると、位置（a）、（b）、（c）、（d）の中間パンクロ値は、以下の式に従って計算できる。
a = (-P30 + 9×P21 + 9×P12 - P03)/16
b = (-P34 + 9×P23 + 9×P12 - P01)/16
c = (-P10 + 9×P21 + 9×P32 - P43)/16
d = (-P14 + 9×P23 + 9×P32 - P41)/16
したがって緑色値G22を含む画素は、近くにある菱形状の8つのパンクロ値、すなわちP21、a、P12、b、P23、d、P32、cを持つ。今や、水平方向、鉛直方向、右下がりの斜線方向、左下がりの斜線方向の4つの中心-差勾配の絶対値を用いて画素G22における分類値を計算できる。
clashorz = | P23 - P21 |
clasvert = | P12 - P32 |
classlash = | b - c |
clasback = | a - d |
これらの方向に関する対応する予想値は以下の通りである。
predhorz = (P23 + P21)/2
predvert = (P12 + P32)/2
predslash = (b + c)/2
predback = (a+ d)/2
最小分類値を持つ方向を選択した後、選択した方向に対応する予想パンクロ値から、内挿されたパンクロ値P22を生成させる。
【００６１】
緑色画素に関するパンクロ値が内挿されると、同じことを赤色画素と青色画素に対して実施するだけである。図19に示したCFAパターンを再び参照すると、緑色画素で利用したのと同じパンクロ内挿プロセスを赤色画素と青色画素にも同様にうまく適用できることがわかる。例えばパンクロ画素P12、P21、P23、P32が緑色画素G22を直接取り囲んでいるのと同様、パンクロ画素P23、P32、P34、P43が青色画素B33を直接取り囲んでいる。画素B33に関する近くの中間パンクロ値は、緑色画素G22について上に示したのと同様の式を用いて計算できる。
【００６２】
すべてのカラー画素の位置におけるパンクロ値を内挿した後は、センサー上の各画素の位置に、測定または内挿された1つのパンクロ値が存在している。これらのパンクロ値が、図18に示したように高解像度パンクロ画像204を作り出す。低解像度パンクロ画像206は、内挿されたパンクロ値を持つ画素だけを選択することによって生成される。そこで低解像度パンクロ画像206を低解像度不完全カラー画像202と組み合わせ、低解像度色差208を生成させる。次の処理ステップは、高解像度色差210を生成させるというものであり、それは、パンクロ画素からなるそれぞれの菱形の中心にあるパンクロ画素に関して緑色値-パンクロ値（G - P）を見いだすことによって開始される。G - P色差値が生成されると、その値を中心パンクロ値に加えて高解像度最終画像212の緑色値を生成させる。
【００６３】
図19を参照すると、このような中心画素はP24になろう。なぜならこの画素が、P14、P23、P24、P25、P34によって規定される菱形状のパンクロ画素の集合の中心にあるからである。最も近い4つの緑色値は、G04、G22、G26、G44である。これら4つの緑色画素のそれぞれも内挿されたパンクロ値を持つため、G - P色差値をそれぞれの位置で計算できる。水平方向と鉛直方向の分類値と予想値は、以下の式に従って計算できる。
clashorz = | (G22 - P22) - (G26 - P26) | + | P22 - 2×P24 + P26 |
clasvert = | (G04 - P04) - (G44 - P44) | + | P04 - 2×P24 + P44 |
predhorz = [ (G22 - P22) + (G26 - P26) ]/2
predvert = [ (G04 - P04) + (G44 - P44) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を中心画素P24のパンクロ値に加え、内挿された緑色値G24を生成させる。
【００６４】
パンクロ画素からなるそれぞれの菱形の中心画素に関する緑色値が計算されると、偶数の添字を2つ持つすべての画素の緑色値が存在していることになる。次のステップは、奇数の添字を2つ持つすべての画素の緑色値を計算することである。例えば青色画素B33を考えると、右下がりと左下がりの分類値と予想値は、以下の式に従って計算できる。
classlash = | (G42 - P42) - (G24 - P24) | + | P42 - 2×P33 + P24 |
clasback = | (G22 - P22) - (G44 - P44) | + | P22 - 2×P33 + P44 |
predslash = [ (G42 - P42) + (G24 - P24) ]/2
predback = [ (G22 - P22) + (G44 - P44) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を画素B33のパンクロ値に加え、内挿された緑色値G33を生成させる。これと同じ方法を赤色画素について実施する。すべての緑色値が計算されると、両方とも奇数または偶数という添字を持つすべての画素の位置に緑色値が存在していることになる。
【００６５】
緑色の内挿を完了させるため、1つの画素が、奇数の1つの添字と偶数の1つの添字を持つと考えよう（例えばP32）。水平方向と鉛直方向の分類値と予想置は、以下の式に従って計算できる。
clashorz = | (G31 - P31) - (G33 - P33) | + | P31 - 2×P32 + P33 |
clasvert = | (G22 - P22) - (G42 - P42) | + | P22 - 2×P32 + P42 |
predhorz = [ (G31 - P31) + (G33 - P33) ]/2
predvert = [ (G22 - P22) + (G42 - P42) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を中心画素P32のパンクロ値に加え、内挿された緑色値G32を生成させる。
【００６６】
今や、すべての画素の位置にパンクロ値と緑色値がある。残る作業は、失われたすべての赤色値と青色値を内挿することである。赤色画素、緑色画素、青色画素は同数であるため、そしてこれらの幾何学的レイアウト・パターンは同じであるため、緑色を内挿するための一連の式を変更して赤色画素と青色画素に適用することができる。一般に、赤色値を計算する方法は、R - G色差値を見いだした後、その値を存在している緑色値に加えて赤色値を生成させる操作を含んでいる。分類値を決定するのにパンクロ値がやはり用いられる。
【００６７】
例えば青色画素B33の位置の赤色値を計算することを考える。水平方向と鉛直方向の分類値と予想値は、以下の式に従ってR - G色差を用いて計算することができる。
clashorz = | (R31 - G31) - (R35 - G35) | + | P31 - 2×P33 + P35 |
clasvert = | (R13 - G13) - (R15 - G15) | + | P13 - 2×P33 + P15 |
predhorz = [ (R31 - G31) + (R35 - G35) ]/2
predvert = [ (R13 - G13) + (R35 - G35) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を青色画素B33における緑色値に加え、内挿された赤色値R33を生成させる。R - G色差を用いた同様の一連の式を利用し、赤色画素の位置における青色値を計算することができる。赤色値がすべての青色画素の位置で計算され、青色値が赤色画素の位置で計算されると、奇数の添字を2つ持つすべての画素位置での赤色値と青色値が存在していることになる。
【００６８】
次のステップは、偶数の添字を2つ持つ画素における赤色値と青色値を計算するというものである。例えば緑色画素G44の位置の赤色値を計算することを考える。右下がりと左下がりの分類値と予想値は、以下の式に従って計算できる。
classlash = | (R53 - G53) - (R35 - G35) | + | P53 - 2×P44 + P35 |
clasback = | (R33 - G33) - (R55 - G55) | + | P33 - 2×P44 + P55 |
predslash = [ (R53 - G53) + (R35 - G35) ]/2
predback = [ (R33 - G33) + (R55 - G55) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を画素G44における緑色値に加え、内挿された赤色値R44を生成させる。同じ方法を青色画素で実施する。すべての赤色値と青色値が計算されると、両方とも奇数または両方とも偶数の添字を持つすべての画素位置に赤色値と青色値が存在していることになる。
【００６９】
色内挿プロセスを完了させるため、1つが奇数、1つが偶数の添字を持つ画素（例えばP32）を考え、赤色値を計算する。水平方向と鉛直方向の分類値と予想値は、以下の式に従ってR - G色差を用いて計算することができる。
clashorz = | (R31 - G31) - (R33 - G33) | + | P31 - 2×P32 + P33 |
clasvert = | (R22 - G22) - (R42 - G42) | + | P22 - 2×P32 + P42 |
predhorz = [ (R31 - G31) + (R33 - G33) ]/2
predvert = [ (R22 - G22) + (R42 - G42) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差をパンクロ画素P32の位置における緑色値に加え、内挿された赤色値R32を生成させる。R - G色差を用い、同じ方法を利用して青色値B32を計算する。この時点で色の内挿が終了する。なぜなら各画素は、赤、緑、青という3つの色値をすべて持っているからである。これらの画素が、高解像度最終画像212を形成する。
【符号の説明】
【００７０】
10 対象となる光景からの光
11 イメージング段
12 レンズ
13 中性フィルタ
14 虹彩絞り
16 明るさセンサー
18 シャッター
20 イメージ・センサー
22 アナログ信号処理装置
24 アナログ／ディジタル（A/D）変換器
26 タイミング発生装置
28 イメージ・センサー段
30 ディジタル信号処理装置（DSP）のバス
32 ディジタル信号処理装置（DSP）のメモリ
36 ディジタル信号処理装置（DSP）
38 処理段
40 露出制御装置
50 システム制御装置
52 システム制御装置のバス
54 プログラム用メモリ
56 システム用メモリ
57 ホストとのインターフェイス
60 メモリ・カードとのインターフェイス
62 メモリ・カード用ソケット
64 メモリ・カード
68 ユーザー制御／状態インターフェイス
70 ビューファインダ・ディスプレイ
72 露出ディスプレイ
74 ユーザー入力
76 状態ディスプレイ
80 ビデオ・エンコーダ
82 ディスプレイ制御装置
88 画像ディスプレイ
100 ベイヤー・パターンのための最小繰り返し単位
102 ベイヤー・パターンのための最小ではない繰り返し単位
110 赤外阻止フィルタの分光透過曲線
112 フィルタのないセンサーの分光光応答曲線
114 センサーの赤色光応答曲線
116 センサーの緑色光応答曲線
118 センサーの青色光応答曲線
120 最小繰り返し単位
202 低解像度不完全カラー・ブロック
204 高解像度パンクロ・ブロック
206 低解像度パンクロ・ブロック
208 低解像度色差ブロック
210 高解像度色差ブロック
212 高解像度最終画像ブロック
220 本発明の最小繰り返し単位
【技術分野】
【０００１】
本発明は、光感度が改善された二次元イメージ・センサーに関する。
【背景技術】
【０００２】
電子式イメージング・システムが画像を電子的に表現する能力は、電子式イメージ・センサーにかかっている。このような電子式イメージ・センサーとして、電荷結合デバイス（CCD）イメージ・センサーとアクティブ画素センサー（APS）デバイス（APSデバイスは相補型金属酸化物半導体プロセスで製造できるため、CMOSセンサーと呼ばれることがしばしばある）がある。一般に、これらイメージ・センサーには多数の感光画素が含まれていて、しばしば行と列の規則的なパターンに配置されている。カラー画像を捕獲するため、あるパターンのフィルタが一般に画素パターンの上に製造される。そのとき異なるフィルタ材料を用い、個々の画素が可視光スペクトルの一部だけに感度を持つようにする。カラー・フィルタは各画素に到達する光の量を必然的に減らすため、各画素の光感度が低下する。画像をより低いレベルの光で捕獲できるようにするため、またはより高いレベルの光で画像を捕獲して露出時間をより短くするため、電子式カラー・イメージ・センサーの光感度または写真感度を向上させることが相変わらず必要とされている。
【０００３】
イメージ・センサーは、直線状または二次元である。一般に、これらセンサーには異なる2つの用途がある。二次元センサーは、一般に、画像取得装置（例えばディジタル・カメラ、携帯電話、ならびに他の用途）に適している。直線状センサーは、文書のスキャニングにしばしば用いられる。いずれの場合にも、カラー・フィルタを用いるとイメージ・センサーの感度が低下する。
【０００４】
イーストマン・コダック社が製造したKLI-4104という直線状イメージ・センサーは、4つの直線状単一画素ワイド・アレイを備えており、そのうちの3つのアレイにカラー・フィルタが取り付けられていてそれぞれのアレイ全体が赤、緑、青いずれかに対する感度を持つようにされ、第4のアレイにはカラー・フィルタが取り付けられていない。さらに、3つのカラー・アレイは、カラー・フィルタに起因する光感度の低下を補償するため画素がより大きくなっているのに対し、第4のアレイはより小さくて、高解像度輝度画像を捕獲する。このイメージ・センサーを用いて画像が捕獲されると、その画像は、高解像度で高写真感度の1つの輝度画像と、写真感度がほぼ同じで解像度がより低い3つの画像として表わされる。3つの画像のそれぞれは、画像からの赤色光、緑色光、青色光いずれかに対応している。したがってこの電子画像の各点は、輝度値と、赤色値と、緑色値と、青色値とを有する。しかしこれは直線状イメージ・センサーであるため、画像を走査するのに4種類の直線状画素アレイの上を通過させるには、イメージ・センサーと画像の間の相対的な物理的運動が必要とされる。このようにすると画像を走査する速度が制限されるため、手で持つカメラや運動物体を含む光景の捕獲でこのセンサーを使用することはできない。
【０００５】
従来技術では、Muramatsu Akiraがアメリカ合衆国特許第4,823,186号に記載している電子式イメージング・システムも知られている。このシステムは2つのセンサーを備えていて、各センサーは二次元画素アレイを備えているが、1つのセンサーはカラー・フィルタを持たず、他方のセンサーは、画素とともに含まれたあるパターンのカラー・フィルタを備えていて、光ビーム・スプリッタが各イメージ・センサーに画像を提供する。カラー・センサーにはあるパターンのカラー・フィルタが取り付けられているため、カラー・センサーの各画素は1つの色だけを発生させる。画像がこのシステムで捕獲されるとき、電子的画像の各点は1つの輝度値と1つのカラー値を持つため、カラー画像は、近くの色から内挿される欠けた色を各画素位置に持つはずである。このシステムは従来の単一イメージ・センサーよりも光感度が改善されているとはいえ、2つのセンサーと1つのビーム・スプリッタを必要とするため、このシステムの複雑さ、サイズ、コストは、全体としてより大きくなる。さらに、ビーム・スプリッタは画像からの光の半分しか各センサーに向かわせないため、写真感度の改善が制限される。
【０００６】
上記の直線状イメージ・センサーに加え、二次元画素アレイを備えるイメージ・センサーが従来技術で知られている。その場合の画素は、カラー・フィルタが取り付けられていない画素を含んでいる。例えばSatoらのアメリカ合衆国特許第4,390,895号、Yamagamiらのアメリカ合衆国特許第5,323,233号、Gindeleらのアメリカ合衆国特許第6,476,865号、Frameのアメリカ合衆国特許出願公開2003/0210332を参照のこと。これら特許のそれぞれにおいて、カラー画素と輝度画素またはフィルタなしの画素のサンプリングは、カラー画像よりも輝度画像が優先されるかその逆となるようになされる、あるいはカラー画素と輝度画素が最適にはならないような何らかの別のやり方でなされる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって二次元画素アレイを備えるイメージ・センサーを利用した電子式キャプチャ・デバイスのために光感度を向上させることが相変わらず必要とされている。
【課題を解決するための手段】
【０００８】
本発明は、カラー画素とパンクロ画素からなる二次元アレイを備えていて高感度でフル・カラー画像を生成させるのに有効なイメージ・センサーを提供することを目的とする。
【０００９】
簡単にまとめると、本発明の1つの特徴により、カラー画像を捕獲するため、複数の最小繰り返し単位を有する二次元画素アレイを含むイメージ・センサーであって、それぞれの最小繰り返し単位が、5つのパンクロ画素と、色応答が異なる3つの画素を有する8つの画素からなるイメージ・センサーが提供される。
【発明の効果】
【００１０】
本発明のイメージ・センサーは、低レベルの照明条件に特に適している。そのような低レベルの照明条件は、光景の照明が少ないこと、露出時間が短いこと、アパーチャが小さいことの結果、またはセンサーに到達する光に関する他の制約の結果である。本発明のイメージ・センサーには多くの用途があり、多数のタイプの画像キャプチャ・デバイスでこのようなセンサーを有効に利用できる。それに加え、本発明のイメージ・センサーは、捕獲された画像の処理を容易にして最終的なフル・カラーのレンダリングされた画像を生成させる。
【００１１】
本発明のこれらの側面、目的、特徴、利点と他の側面、目的、特徴、利点は、好ましい実施態様に関する以下の詳細な説明と添付の請求項を検討することで、より明確に理解することができよう。
【図面の簡単な説明】
【００１２】
【図１】従来のセンサーと処理法、またはそのセンサーと本発明の処理法を利用できる従来のディジタル・スチール・カメラ・システムのブロック・ダイヤグラムである。
【図２】従来のベイヤー・カラー・フィルタ・アレイのパターン（従来技術）であり、最小繰り返しパターンと非最小繰り返しパターンを示してある。
【図３】赤色画素、緑色画素、青色画素の代表的な分光量子効率曲線と、それよりも広いパンクロ分光量子効率曲線であり、どれも赤外遮断フィルタの透過特性との積である。
【図４】パンクロ画素とカラー画素の両方を有するカラー・フィルタ・アレイのパターン（従来技術）である。
【図５Ａ】本発明によるカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図５Ｂ】本発明によるカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図５Ｃ】本発明によるカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図６Ａ】図5Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図６Ｂ】図5Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図６Ｃ】図5Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図６Ｄ】図5Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図７Ａ】原色カラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図７Ｂ】原色カラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図７Ｃ】原色カラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図８Ａ】図7Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図８Ｂ】図7Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図８Ｃ】図7Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図８Ｄ】図7Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。
【図９Ａ】相補的なカラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図９Ｂ】相補的なカラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図９Ｃ】相補的なカラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図１０Ａ】写真感度が異なるパンクロ画素を用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図１０Ｂ】写真感度が異なるパンクロ画素を用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。
【図１１Ａ】図7A〜図7Cのカラー・フィルタ・アレイに代わる別の最小繰り返し単位であり、それを用いると図8Dと同様のタイル状配置が得られる。
【図１１Ｂ】図7A〜図7Cのカラー・フィルタ・アレイに代わる別の最小繰り返し単位であり、それを用いると図8Dと同様のタイル状配置が得られる。
【図１１Ｃ】図7A〜図7Cのカラー・フィルタ・アレイに代わる別の最小繰り返し単位であり、それを用いると図8Dと同様のタイル状配置が得られる。
【図１２】図11Aの最小繰り返し単位のためのタイル状配置を示している。
【図１３Ａ】本発明のカラー・フィルタ・アレイのための1つの最小繰り返し単位であり、ここでは画素が8角形のパターンに配置されている。
【図１３Ｂ】図13Aのためのタイル状配置である。
【図１４】図8Dのタイル状配置から抜き出したカラー・サンプルの空間分布を示している。
【図１５Ａ】本発明のカラー・フィルタ・アレイのための1つの最小繰り返し単位であり、ここでは画素が6角形に配置されている。
【図１５Ｂ】本発明のカラー・フィルタ・アレイのための1つの最小繰り返し単位であり、ここでは画素が6角形に配置されている。
【図１６】図15Bのタイル状配置から抜き出したカラー・サンプルの空間分布を示している。
【図１７Ａ】本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。
【図１７Ｂ】本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。
【図１７Ｃ】本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。
【図１７Ｄ】本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。
【図１７Ｅ】本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。
【図１８】本発明による処理ダイヤグラムであり、本発明のセンサーからのカラー画素データとパンクロ画素データを処理する方法を示している。
【図１９】本発明のカラー画素とパンクロ画素の配置を示しており、内挿法を説明するため添字が付されている。
【発明を実施するための形態】
【００１３】
イメージング装置と、信号を捕獲して補正するとともに露出を制御するための関連回路とを利用したディジタル・カメラはよく知られているため、ここでの説明は、特に、本発明の方法および装置の一部を形成する要素、または本発明の方法および装置とより直接的に協働する要素を対象とする。この明細書に特に示したり説明したりしない要素は、従来技術で知られているものの中から選択する。ここで説明する実施態様のいくつかの特徴はソフトウエアとして提供される。以下に本発明のシステムを図示して説明していることを考えると、本発明の実施に役立つがこの明細書に特には図示、説明、示唆していないソフトウエアは、この分野の当業者にはありふれたものであり、当業者の能力の範囲にある。
【００１４】
ここで図1を参照すると、本発明を具体化したディジタル・カメラとしての画像キャプチャ・デバイスをブロック・ダイヤグラムとして示してある。ディジタル・カメラについてこれから説明するが、本発明を他のタイプの画像キャプチャ・デバイスにも適用できることは明らかである。ここに開示するカメラでは、対象となる光景からの光10がイメージング段11に入力され、そこで光はレンズ12によって集束されて固体イメージ・センサー20の上に画像を形成する。イメージ・センサー20は、各ピクチャ・エレメント（画素）のために入射光を電気信号に変換する。この好ましい実施態様のイメージ・センサー20は、電荷結合デバイス（CCD）タイプまたはアクティブ画素センサー（APS）タイプ（APSデバイスは、相補型金属酸化物半導体プロセスで製造できるためにCMOSセンサーと呼ばれることがしばしばある）である。本発明のパターンが利用されるのであれば、二次元画素アレイを有する他のタイプのイメージ・センサーも用いられる。本発明では、カラー画素とパンクロ画素からなる二次元アレイを有するイメージ・センサー20も利用される。これについては、この明細書で図1を説明した後に明らかになろう。イメージ・センサー20で使用される本発明のカラー画素とパンクロ画素のパターンの例は、図5A〜図5C、図7A〜図7C、図9A〜図9C、図10A〜図10B、図11A〜図11C、図13A、図15Aに見られるが、本発明の範囲で他のパターンも利用できる。
【００１５】
イメージ・センサー20に到達する光の量は、アパーチャを変化させる虹彩絞りブロック14と、光路の途中に配置された1つ以上の中性（ND）フィルタを有するNDフィルタ・ブロック13とによって調節される。全体的な光のレベルは、シャッター・ブロック18を開いている時間によっても調節される。露出制御装置ブロック40は、光景において利用可能な光の量を明るさセンサー・ブロック16が測定した値に応答し、これら3つの調節機能をすべて制御する。
【００１６】
特別な構成のカメラに関するこの説明は当業者にはありふれたものであろうし、多くのバリエーションや追加の特徴が存在することも明らかであろう。例えばオートフォーカス・システムを追加したり、レンズを取外し可能かつ交換可能にしたりする。本発明があらゆるタイプのディジタル・カメラに適用され、そこでは同様の機能が代替部品によって提供されることが理解できよう。例えばディジタル・カメラは、撮影対象に向けてシャッターを押す比較的単純なディジタル・カメラであり、シャッター18は、比較的簡単な可動ブレード・シャッターなどであり、より複雑な焦点面シャッターではない。本発明は、カメラではない装置（例えば携帯電話や自動車）に含まれるイメージング要素で実施することもできる。
【００１７】
イメージ・センサー20からのアナログ信号は、アナログ信号処理装置22によって処理され、アナログ／ディジタル（A/D）変換器24に送られる。タイミング発生装置26がさまざまなクロック信号を発生させて行と画素を選択するとともに、アナログ信号処理装置22とA/D変換器24の動作を同期させる。イメージ・センサー段28には、イメージ・センサー20と、アナログ信号処理装置22と、A/D変換器24と、タイミング発生装置26が含まれている。イメージ・センサー段28のこれらの要素は、別々の集積回路として製造されるか、CMOSイメージ・センサーで一般的なように単一の集積回路として製造される。A/D変換器24から得られる一連のディジタル画素値は、ディジタル信号処理装置（DSP）36に付随するメモリ32に記憶される。
【００１８】
ディジタル信号処理装置36は、この実施態様の3つの処理装置または制御装置のうち1つであり、他の2つはシステム制御装置50と露出制御装置40である。多数の制御装置と処理装置でカメラ機能の制御をこのように分担することが一般的だが、これらの制御装置または処理装置をいろいろな方法で組み合わせてもカメラの機能や本発明の用途が影響を受けることはない。これらの制御装置または処理装置は、1つ以上のディジタル信号処理装置、マイクロコントローラ、プログラム可能な論理装置、またはこれら以外のディジタル論理回路を備えることができる。このような制御装置または処理装置の1つの組み合わせについて説明したが、1つの制御装置または処理装置が必要な全機能を実施するようにできることは明らかであろう。これらのバリエーションはどれも同じ機能を実行できて本発明の範囲に含めることができ、“処理段”という用語は、必要に応じ、例えば図1の処理段38におけるようにこの機能を1つの文章ですべてカバーするものとする。
【００１９】
図示した実施態様では、DSP 36は、付随するメモリ32に記憶されたディジタル画像データをソフトウエアに従って処理する。このソフトウエアはプログラム用メモリ54に常時記憶されていて、画像を捕獲している間にメモリ32にコピーされて実行される。DSP 36は、図18に示した画像処理の実施に必要なソフトウエアを実行する。メモリ32は、任意のタイプのランダム・アクセス・メモリ（例えばSDRAM）を含んでいる。アドレス信号とデータ信号のための経路を含むバス30が、DSP 36を、付随するメモリ32、A/D変換器24、および他の関連した装置に接続している。
【００２０】
システム制御装置50は、プログラム用メモリ54（フラッシュEEPROMまたは他の不揮発性メモリを含むことができる）に記憶されたソフトウエア・プログラムに基づいてカメラの全動作を制御する。このメモリは、カメラのスイッチをオフにしたときに保存されるべきイメージ・センサーの較正データ、ユーザー設定の選択結果、ならびに他のデータを記憶させるのにも使用できる。システム制御装置50は、一連の画像捕獲操作を制御する。すなわち、露出制御装置40に命令することにより、すでに説明したレンズ12、NDフィルタ13、虹彩絞り14、シャッター18を動作させ、タイミング発生装置26に命令してイメージ・センサー20とそれに関連する素子を動作させ、DSP 36に命令して捕獲された画像データを処理する。画像が捕獲されて処理されると、メモリ32に記憶された最終画像ファイルはインターフェイス57を通じてホスト・コンピュータに移され、取外し可能なメモリ・カード64または他の記憶装置に記憶され、ユーザーのため画像ディスプレイ88に表示される。
【００２１】
バス52は、アドレス、データ、制御信号のための経路を含んでおり、システム制御装置50を、DSP 36、プログラム用メモリ54、システム用メモリ56、ホスト・インターフェイス57、メモリ・カードとのインターフェイス60、ならびに関連する他の装置に接続している。ホストとのインターフェイス57は、パーソナル・コンピュータ（PC）または他のホスト・コンピュータへの高速接続を提供し、表示、記憶、処理、印刷のための画像データを転送する。このインターフェイスは、IEEE1394またはUSB2.0インターフェイスであるか、適切な他の任意のディジタル・インターフェイスである。メモリ・カード64は一般にコンパクト・フラッシュ（CF）カードであり、ソケット62に挿入され、メモリ・カードとのインターフェイス60を通じてシステム制御装置50に接続される。使用される他のタイプの記憶装置として、PCカード、マルチメディア・カード（MMC）、セキュア・ディジタル（SD）カードなどがある。
【００２２】
処理された画像はシステム用メモリ56の表示用バッファにコピーされ、ビデオ・エンコーダ80を通じて連続的に読み出されてビデオ信号が生成される。この信号はカメラから直接出力されて外部モニタに表示されるか、表示制御装置82によって処理されて画像ディスプレイ88に表示される。このディスプレイは一般にアクティブ・マトリックス・カラー液晶ディスプレイ（LCD）だが、他のタイプのディスプレイも使用される。
【００２３】
ユーザー制御／状態インターフェイス68は、ビューファインダ・ディスプレイ70、露出ディスプレイ72、状態ディスプレイ76、画像ディスプレイ88、ユーザー入力74のすべてまたは任意の組み合わせを含んでおり、露出制御装置40とシステム制御装置50で実行されるソフトウエア・プログラムの組み合わせによって制御される。ユーザー入力74は、一般に、ボタン、ロッカー・スイッチ、ジョイスティック、回転ダイヤル、タッチスクリーンの何らかの組み合わせを備えている。露出制御装置40は、光の測定、露出モード、自動焦点合わせ、ならびに他の露出機能を実行する。システム制御装置50は、1つ以上のディスプレイ（例えば画像ディスプレイ88）に表示されるグラフィカル・ユーザー・インターフェイス（GUI）を管理する。GUIは、一般に、さまざまな選択を行なうためのメニューと、捕獲された画像を調べるための検査モードを含んでいる。
【００２４】
露出制御装置40は、露出モード、レンズのアパーチャ、露出時間（シャッター速度）、露出の指標またはISO感度を選択するユーザー入力を受け取り、それに応じてレンズとシャッターに対して命令を出してその後の捕獲を行なう。明るさセンサー16を用いて光景の明るさを測定して露出計の機能を提供することで、ユーザーがISO感度、アパーチャ、シャッター速度を手動で設定するときに参照できるようにする。この場合、ユーザーが1つ以上の設定を変えると、ビューファインダ・ディスプレイ70に表示される光測定インディケータが、ユーザーに、画像がどの程度露出過剰または露出不足になるかを知らせる。自動露出モードでは、ユーザーが1つの設定を変化させると露出制御装置40は自動的に他の設定を変えて正しい露出を維持する（例えば所定のISO感度でユーザーがレンズのアパーチャを小さくすると、露出制御装置40は自動的に露出時間を長くして全露出が同じになるように維持する）。
【００２５】
ISO感度は、ディジタル・スチール・カメラの1つの重要な属性である。露出時間と、レンズのアパーチャと、レンズの透過率と、光を受けている光景の光のレベルおよびスペクトル分布と、光景の反射率とが、ディジタル・スチール・カメラの露出レベルを決定する。ディジタル・スチール・カメラから露出が十分でない画像が得られた場合には、電子的利得またはディジタル利得を大きくすることによって適切な色調の再現性が一般に維持されるが、画像は許容できない量の雑音を含むことになろう。露出が多くなるのに合わせて利得を小さくできるため、通常は画像の雑音を許容可能なレベルに低下させることができる。露出が過度に大きい場合には、画像の明るい領域で得られる信号は、イメージ・センサーまたはカメラが信号を処理する最大信号レベルを超える可能性がある。すると画像のハイライトが生じる可能性があるため、その部分を切り取って一様な明るい領域を形成するか、曇らせて画像の周辺領域にとけ込ませる。ユーザーが適切な露出を設定するよう誘導することが重要である。ISO感度は、そのようなガイドとして機能することが想定されている。撮影者が容易に理解できるようにするため、ディジタル・スチール・カメラのISO感度は、写真フィルム式カメラのISO感度と直接関係している必要がある。例えばディジタル・スチール・カメラのISO感度がISO200だとすると、同じ露出時間とアパーチャがISO200のフィルム／処理システムにとって適切でなければならない。
【００２６】
ISO感度は、フィルムのISO感度と矛盾しないことが想定されている。しかし電子式イメージング・システムとフィルムに基づくイメージング・システムの間には差があるため、正確に同じにはならない。ディジタル・スチール・カメラは利得を可変にすることができ、画像データが捕獲された後にディジタル処理が可能である。そのためカメラのある露出範囲内で色調の再現が可能である。したがってディジタル・スチール・カメラの感度にはある程度の幅を持たせることができる。この幅は、ISO感度ラティチュードとして定義される。混乱を避けるため、固有ISO感度として単一の値を指定する。そのときISO感度ラティチュードの上限と下限が、感度の範囲、すなわち固有ISO感度とは異なる有効感度を含む範囲を示す。このことを念頭に置くと、固有ISO感度は、特定のカメラ出力信号特性を生み出すため、ディジタル・スチール・カメラの焦点面における露出から計算された数値である。固有感度は、通常は、あるカメラ・システムが与えられたとき、標準的な光景に関して画像品質を最大にする露出の指標値である。この露出の指標値は、イメージ・センサーの露出に逆比例する数値である。
【００２７】
ディジタル・カメラに関する上記の説明は、当業者にはありふれたものであろう。この実施態様に対して可能な多数のバリエーションが存在しており、コストを低下させるため、特徴を追加するため、カメラの性能を向上させるためにそうしたバリエーションが選択されることは明らかであろう。以下の説明には、本発明に従って画像を捕獲することに関するこのカメラの動作を詳細に開示する。この説明はディジタル・カメラについてのものだが、本発明が、カラー画素とパンクロ画素を有するイメージ・センサーを備えたあらゆるタイプの画像キャプチャ・デバイスで利用できることが理解されよう。
【００２８】
図1に示したイメージ・センサー20は、一般に、シリコン基板上に製造された二次元感光画素アレイを含んでおり、その感光画素が、各画素への入射光を測定して電気信号に変換する手段を提供する。このセンサーに光が当たると、自由電子が発生して各画素の電子構造に捕獲される。その自由電子をある期間にわたって捕獲した後、捕獲した電子の数を測定するか、自由電子の発生速度を測定することで、各画素における光のレベルを測定できる。前者の場合、電荷結合デバイス（CCD）などにおけるように、蓄積された電荷が画素アレイからシフトし、電荷から電圧を測定する回路に入るか、アクティブ画素センサー（APSまたはCMOSセンサー）におけるように、電荷から電圧を測定する回路のエレメントを各画素の近くの領域に含んでいる。
【００２９】
以下の説明でイメージ・センサーに言及するときにはいつでも、図1からのイメージ・センサー20を表わしているものとする。さらに、イメージ・センサー20では、この明細書に開示した本発明のすべての実施態様と、それと同等な構成のイメージ・センサーおよび画素パターンを利用するものとする。
【００３０】
イメージ・センサーという文脈では、画素（“ピクチャ・エレメント”の縮約形）は、離散した感光領域と、その感光領域に関係した電荷シフト回路または電荷測定回路を意味する。ディジタル・カラー画像の文脈では、画素という用語は、一般に、画像中で色値を伴った特定の位置を意味する。
【００３１】
カラー画像を生成させるため、イメージ・センサーの画素アレイは、一般に、その上に配置したあるパターンのカラー・フィルタを有する。図2は、赤色フィルタ、緑色フィルタ、青色フィルタからなるパターンであり、このパターンが一般に使用されている。この特別なパターンは、アメリカ合衆国特許第3,971,065号に開示されているように、発明者のブライス・ベイヤーにちなんでベイヤー・カラー・フィルタ・アレイ（CFA）として一般に知られている。このパターンは、二次元カラー画素アレイを有するイメージ・センサーで実際に用いられている。その結果、各画素は特定のカラー光応答を持つ。この場合には、赤色光、緑色光、青色光いずれかに対する感度が大きいカラー光応答である。カラー光応答の有用な別の一例では、マゼンタ色光、イエロー色光、シアン色光いずれかに対する感度が大きい。どの場合でも、特定のカラー光応答は、可視スペクトルのある部分に対する感度は大きいが、それと同時に可視スペクトルの他の部分に対する感度は低い。カラー画素という用語は、カラー光応答を有する画素を意味する。
【００３２】
センサーで利用するために選択されるカラー光応答のセットは、通常は、ベイヤーCFAに示してあるように3色だが、4色以上を含んでいてもよい。この明細書では、パンクロ光応答は、カラー光応答に関して選択したセットにおける分光感度よりも広い分光感度を持つ光応答を意味する。パンクロ光応答は、可視スペクトル全体にわたって大きな感度を持つことができる。パンクロ画素という用語は、パンクロ光応答を持つ画素を意味する。パンクロ画素は一般にカラー光応答のセットよりも広い分光感度を持つが、各パンクロ画素にはフィルタが取り付けられていてもよい。そのようなフィルタは、中性フィルタまたはカラー・フィルタである。
【００３３】
カラー画素とパンクロ画素からなるパターンがイメージ・センサーの表面にある場合には、そのような各パターンは繰り返し単位を有する。この繰り返し単位は、画素が切れ目なくつながって基本的構成ブロックとして機能するサブアレイである。この繰り返し単位のコピーを多数並置することにより、センサー・パターンの全体が得られる。繰り返し単位の多数のコピーは、斜め方向に並べることも、水平方向と鉛直方向に並べることもできる。
【００３４】
最小繰り返し単位は、より少ない画素からなる他の繰り返し単位が存在しない繰り返し単位である。例えば図2のCFAは、図2の画素ブロック100に示してあるように、2画素×2画素の最小繰り返し単位を含んでいる。この最小繰り返し単位の多数のコピーをタイルのように並べることでイメージ・センサーの画素アレイ全体がカバーされる。緑色画素が左上隈にある最小繰り返し単位を示してあるが、太線で囲まれた領域を1画素だけ右に、または1画素だけ下に、または1画素だけ対角方向に右下に移動させることにより、別の3つの最小繰り返し単位を容易に区別することができる。画素ブロック102は繰り返し単位だが、最小繰り返し単位ではない。なぜなら画素ブロック100も繰り返し単位であり、しかもブロック102よりも画素数が少ないからである。
【００３５】
図2のCFAを有する二次元アレイを備えたイメージ・センサーを用いて捕獲された画像は、画素ごとにカラー値を1つだけ持つ。フル・カラー画像を生成させるため、各画素に欠けている色を推定または内挿する多数の方法がある。こうしたCFA内挿法は従来技術でよく知られており、アメリカ合衆国特許第5,506,619号、第5,629,734号、第5,652,621号に記載されている。
【００３６】
図3は、典型的なカメラの用途において赤色フィルタ、緑色フィルタ、青色フィルタを有する画素の相対分光感度を示している。図3のX軸は波長をナノメートルを単位として表わしており、Y軸は効率を表わす。図3では、曲線110は、赤外光と紫外光がイメージ・センサーに到達しないようにするのに用いられる典型的なフィルタの分光透過特性を表わしている。このようなフィルタが必要なのは、イメージ・センサーで使用されるカラー・フィルタは一般に赤外光を阻止せず、したがって画素が、赤外光と、付随するカラー・フィルタの帯域内の光とを区別できないからである。曲線110で示した赤外阻止特性により、赤外光が可視光信号に影響を与えることが阻止される。赤色フィルタ、緑色フィルタ、青色フィルタが取り付けられた典型的なシリコン・センサーに関する分光量子効率（すなわち捕獲される入射フォトンと、測定可能な電気信号に変換されるフォトンの比）に、曲線110で表わされる赤外阻止フィルタの分光透過特性を掛けると、複合系の量子効率として、赤に関しては曲線114が、緑に関しては曲線116が、青に関しては曲線118が得られる。これらの曲線から、それぞれのカラー光応答は、可視スペクトルの一部だけに敏感であることがわかる。それとは逆に、カラー・フィルタが取り付けられていない（が、赤外阻止フィルタ特性は有する）同じシリコン・センサーの光応答を曲線112で示してある。カラー光応答曲線114、116、118をパンクロ光応答曲線112と比較することにより、パンクロ光応答は、広いスペクトルの光に対してどのカラー光応答よりも3〜4倍敏感であることが明らかである。別のタイプのセンサーは図3に示したのとは異なる光応答を持つ可能性があるが、そのより広いパンクロ応答が広いスペクトルの光に対して常にどのカラー光応答よりも敏感であることは明らかである。
【００３７】
図3に示したようにパンクロ感度のほうが大きいため、カラー・フィルタを有する画素とカラー・フィルタなしの画素を混合することにより、イメージ・センサーの全体的な感度を向上させることができる。しかしカラー・フィルタを有する画素は、パンクロ画素よりもはるかに感度が低いであろう。その場合、パンクロ画素が適切に露出されてある光景からの光の強度範囲がそのパンクロ画素の全測定範囲をカバーするとすれば、カラー画素は著しく露出不足になるであろう。したがってカラー・フィルタを有する画素の感度を調節し、パンクロ画素とほぼ同じ感度になるようにすることが望ましい。カラー画素の感度を大きくするには、例えばパンクロ画素よりもカラー画素のサイズを大きくし、それに伴って大きなスペースを占める画素を減らす。
【００３８】
パンクロ画素とカラー画素を有する画像キャプチャ・デバイスでは、画素アレイ中のパンクロ画素とカラー画素の配置が、その画像キャプチャ・デバイスの空間的サンプリング特性に影響を与える。パンクロ画素がカラー画素に置き換わる場合には、カラー・サンプリングの頻度は少なくなる。例えばGindeleらのアメリカ合衆国特許第6,476,865号におけるように図2の最小繰り返し単位の緑色画素のうちの1つをパンクロ画素で置き換える場合には、緑色のサンプリング頻度を少なくする。なぜなら図2に示した元のパターンの半分しか緑色画素が存在していないからである。この特別な場合には、パンクロ画素と各カラー画素のサンプリング頻度は同じである。
【００３９】
パンクロ画素は一般にカラー画素よりも敏感であるため、どのカラー画素よりもパンクロ画素のサンプリング頻度を多くすることが望ましい。するとロバストでより高感度なパンクロ表示の画像が得られ、以後の画像処理と各画素の位置における失われた色の内挿の基礎が提供される。例えばYamagamiらは、アメリカ合衆国特許第5,323,233号において、50％がパンクロ画素、25％が緑色画素、12.5％ずつが赤色画素と青色画素であるパターンを示している。このパターンの最小繰り返し単位を図4に示してある。緑色画素が他のカラー画素の2倍の数ある点が広く用いられているベイヤー・パターンと合致しているが、Yamagamiが示しているロバストなパンクロ・サンプリング法と組み合わせたときに利点となるとは限らない。緑色のサンプリング頻度を他の色と同程度に減らしても、完全に処理された画像に大きなマイナスの影響はなかろう。図4の緑色画素のうちの1つを異なる色の画素で置き換えると、パンクロ・サンプリング頻度に影響を与えることなく、そしてカラー・サンプリング頻度にも大きな影響を与えることなく、追加のスペクトル情報が得られる。
【００４０】
図5Aは本発明の1つの最小繰り返し単位を示しており、ここには、最小繰り返し単位全体に一様に配置された4つのパンクロ画素と、1つの赤色画素（R）と、1つの緑色画素（G）と、1つの青色画素（B）と、第4の明確に異なるスペクトル感度を持つ1つのカラー画素（Q）含まれている。図5Aの最小繰り返し単位ではYamagamiの追加の緑色画素（図4）が除去され、その代わりに他の3色とは明確に異なるスペクトル感度を持つ画素にされている。このパターンは、パンクロ画素が50％と、スペクトル感度が明確に異なる4つの画素それぞれが12.5％ずつになっている。Q画素は、可視光の範囲がR、G、Bとは異なっている。あるいはQ画素は、非可視光の範囲をカバーしている。Q画素は、例えば赤外光に対する感度を持つことができる。
【００４１】
図5Bは、本発明の別の最小繰り返し単位を示している。図5Bは図5Aと似ているが、緑色画素と青色画素が入れ代わっている点が異なっている。それぞれの色のカラー・サンプリング頻度は同じままに留まるが、4つの色のサンプリング間の位相関係が図5Aと図5Bで異なっている。図5Cは、本発明のさらに別の最小繰り返し単位を示している。図5Cは図5Aと似ているが、赤色画素、緑色画素、青色画素が、それぞれシアン色画素、イエロー画素、マゼンタ色画素で置き換えられている点が異なっている。これは、本発明のこの実施態様をスペクトル感度が明確に異なる4つの画素の任意の組み合わせで利用できることを示している。
【００４２】
図5Aの最小繰り返し単位をいくつかの方法でタイル状に敷き詰めると、失われた画素のないより大きな画素アレイが得られる。図6Aは、図5Aの最小繰り返し単位を行と列に均等に敷き詰めたタイル配置を示している。図6Bは、図5Aのための1つのタイル配置を示しており、隣の列に行くときに1画素だけ下に（またはそれと同じことだが上に）ずれている。言い換えるならば、図5Aの最小繰り返し単位が、隣の列に対して最小繰り返し単位の高さの半分だけ鉛直方向にずれた状態ですべての列に均等に敷き詰められている。図6Cは、すべての行が上の行に対して1画素分だけ右にずれたタイル配置を示している。言い換えるならば、図5Aの最小繰り返し単位が、上隣にある行に対して最小繰り返し単位の幅の1/4だけ右にずれた状態ですべての行に均等に敷き詰められている。図6Dは、隣の行に行くときに2画素（すなわち最小繰り返し単位の幅の半分）だけ右に（またはそれと同じことだが左に）ずれたタイル配置を示している。言い換えるならば、図5Aの最小繰り返し単位が、隣にある行に対して最小繰り返し単位の幅の半分だけ右にずれた状態ですべての行に均等に敷き詰められている。
【００４３】
図5Aの最小繰り返し単位を図6A〜図6Cに示したように配置したタイル状配置により、個々の色に関するサンプリング頻度が水平方向と鉛直方向で異なる画素アレイが得られる。図6Dのタイル状配置により得られる画素アレイは、個々の色に関するサンプリング頻度が水平方向と鉛直方向で同じであり、左上から右下への対角線（右下がりの斜線）と右上から左下への対角線（左下がりの斜線）の方向で同じである。さらに、サンプリング頻度はどの色でも同じであり、色に関する最大のサンプリング頻度は、水平方向と鉛直方向に関係している。最大のサンプリング頻度が水平方向と鉛直方向に関係するように配置することで、エイリアスの機会を最少の状態にして鉛直方向のエッジと水平方向のエッジをサンプリングすることができる。したがって上の説明に基づくと、図6Dにより、図5Aの最小繰り返し単位のための好ましい1つのタイル状配置が提供される。
【００４４】
一般に、3通りの異なるスペクトル感度を持つ画素があれば、捕獲されたカラー画像のカラー情報を提供するのに十分である。例えばよく知られたベイヤー・パターンは、一般に赤、緑、青の感度を持つ画素を用いて実現される。パンクロ／カラー画像キャプチャ・デバイスには、ロバストなパンクロ画像を捕獲するためにどのカラー画素よりもパンクロ画素の割合を大きくできるという利点がある。3つの異なるスペクトル感度を持つ画素があれば色情報として十分であると仮定すると、パンクロ・サンプリングの改善に興味があるという動機により、図5Aの第4のスペクトル感度を持つ画素Qをパンクロ画素にする。Qがパンクロ画素であれば、最小繰り返し単位は、62.5％がパンクロ画素であり、12.5％ずつが赤色画素、緑色画素、青色画素である。こうすると、ロバストなパンクロ表示の画像を提供するためのパンクロ・サンプリングと、画像内の色を同定するカラー・サンプリングの間のバランスが改善される。
【００４５】
図7Aは、8つの画素を備える本発明による別の一実施態様の最小繰り返し単位を示している。8つの画素のうちの5つはパンクロ画素であり、残りの3つの画素は異なる3色である。この最小繰り返し単位は、パンクロ画素とカラー画素が前段落で説明した割合になっている。図7Aでは、3つのカラー画素は、赤、緑、青である。3つのカラー画素と5つのパンクロ画素からなる配置はいくつか可能であることに注意されたい。例えば図7Bは図7Aと似ているが、赤色画素と青色画素が入れ代わっているため、新たな明確に異なる最小繰り返し単位が形成される。図7Cは図7Aと似ているが、緑色画素と青色画素が入れ代わっている。
【００４６】
図7Aの最小繰り返し単位をいくつかの方法でタイル状に敷き詰めると、失われた画素のないより大きな画素アレイが得られる。図8A〜図8Dは、図7Aの最小繰り返し単位のためのタイル状配置を示しており、図6A〜図6Dに示したタイル状配置に対応している。図6A〜図6Dに関する上記の説明に基づくと、図8Dにより、図7Aの最小繰り返し単位のための最適なタイル状配置が得られる。
【００４７】
上の説明ではカラー画素は赤、緑、青であったが、別の色の組み合わせ（例えばシアン、マゼンタ、イエロー）も利用できる。図9Aは図7Aと似ているが、赤色画素、緑色画素、青色画素の代わりにそれぞれシアン色画素、イエロー色画素、マゼンタ色画素にされている。これは、本発明のこの実施態様をスペクトル感度が明確に異なる3つの画素の任意の組み合わせで利用できることを示している。図9Bと図9Cは、シアン色画素、マゼンタ色画素、イエロー色画素の別の配置を示している。
【００４８】
本発明のパターンに含まれるパンクロ画素はどれも感度が同じである必要はない。例えば図10Aには図5Aと似た最小繰り返し単位が示してあり、ここではQ画素が、他のパンクロ画素とは異なる写真感度のパンクロ画素で置き換えられている。写真感度が異なるパンクロ画素を用いるとより広い範囲の光レベルが捕獲される。図10Bは、異なる2通りの写真感度を持つパンクロ画素が別の配置にされた別の最小繰り返し単位を示しており、この最小繰り返し単位の一方の行はある1つの写真感度を持ち、他方の行は異なる写真感度を持つ。
【００４９】
ここまで本発明を説明するのに用いた最小繰り返し単位はすべて、各行が4画素からなる2つの行を長方形に配置したものであったが、別の同等な最小繰り返し単位が存在している。例えば図11Aは、図7Aの最小繰り返し単位を図8Dのようにタイル状にしたものと同等な本発明の1つの最小繰り返し単位である。それに加え、図11Bは、図7Bを図8Dと同じようにタイル状にするのであれば図7Bと同等であり、図11Cは、図10Aを図8Dと同じようにタイル状にするのであれば図10Aと同等である。
【００５０】
図5A、図7A、図10A、図11Aいずれかのパターンの回転や、すでに説明した本発明の他の任意の実施態様の回転は、完全に本発明の範囲に含まれる。例えば図13Aは、図7Aの最小繰り返し単位を反時計回りに45°回転させたものと同等な8角形配置の最小繰り返し単位を示している。図13Bは、図13Aの最小繰り返し単位をタイル状に敷き詰めたものであり、図8Dを反時計回りに45°回転させたものと同等なパターンを形成している。
【００５１】
図6Dの4色または図8Dの3色の各色のサンプリング頻度は同じだが、色同士の間の位相関係は同じではない。例えば図8Dのそれぞれの色（すなわち赤、緑、青）の画素は、その3色に関して同じサンプリング・パターンを提供する。これは、図14でそれぞれの色を調べることによって明らかにわかる。図14は図8Dと同じパターンであり、カラー画素だけを示してある。しかしそれぞれの青色画素は近くの4つの赤色画素から等距離にあって赤色画素と青色画素の市松模様を形成している一方で、緑色画素は、45°の対角線上の赤色画素の間と、-45°の対角線上の青色画素の間に位置している。明らかに、赤、緑、青は同じサンプリング頻度であるにもかかわらず、緑色と他の2つの色の間の位相関係は、赤と青の間の位相関係とは異なっている。これは、パンクロ／3色イメージング装置をより最適化し、3色それぞれについての色サンプリング頻度が同じで、色のペアの間の位相関係に一貫性があるようにできる可能性があることを示唆している。
【００５２】
図15Aは、本発明のさらに別の一実施態様による最小繰り返し単位を示している。図15Aの最小繰り返し単位は9つの画素を含んでおり、そのうちの6つはパンクロ画素で、残りの3つの画素は3つの異なる色である。この最小繰り返し単位は、2/3がパンクロ画素、1/9が赤色画素、1/9が緑色画素、1/9が青色画素のパターンを表わす。これまでの最小繰り返し単位で説明したように、図15Aの3つのカラー画素は、赤、緑、青だが、これらはシアン、マゼンタ、イエローでもよく、何らかの別の3色のセットでもよい。さらに、図15Aのパンクロ画素は、どれも同じ写真感度を持つが、2通り以上の異なる写真感度を持っていてもよい。図15Bは、図15Aの最小繰り返し単位を列方向に均等に敷き詰め、各列を隣の列に対して最小繰り返し単位の半分だけ上または下にずらしたタイル状配置を示している。
【００５３】
図16は、図15Bのパターンからカラー画素だけを抜き出したものである。図16から、3色それぞれのサンプリング頻度が同じであることと、それぞれの色の間の位相関係に一貫性があることは明らかである。図14ではカラー画素のうちのいくつかが他のある色により近いが、図16ではすべてのカラー画素が互いに等距離に位置する。
【００５４】
いくつかの目的で、センサーから解像度がより低い画像を生成させることが有利である。それは例えば、ビデオ捕獲のフレーム速度をより大きくするため、または表示スクリーンにアクティブなプレビュー画像を表示するためである。図1において、DSP 36は、センサーとイメージング用サブシステムによって供給される生画像から処理された画像を生成させる。一連の処理された画像をビデオ・フレーム速度で供給するには、DSP 36は、多くの場合、（プログラム可能な画像処理経路ではなくて）ハードウエア方式の画像処理経路を実施する。このようなハードウエア方式の画像処理経路では、ベイヤー・フィルタ・パターン：
Ｇ Ｒ
Ｂ Ｇ
に合致したセンサー・データが必要とされることがしばしばある。したがって、本発明のセンサーから解像度が小さくなったベイヤー画像を簡単に読む能力を提供することが有利である。
【００５５】
図17Aを参照すると、カラー画素とパンクロ画素の本発明による配置が示されている。図17Aは図8Dと似ているが、本発明のイメージ・センサーから解像度が低下したベイヤー画像を生成させることの説明をわかりやすくため各画素に数字を付してある。図17Aでは、最小繰り返し単位120は図7Aに示したものと同じである。図17Aのすべての緑色画素（例えばG12、G16、G34、G38など）を変更せずに用いることにしよう。図17Bに丸で囲んで示したこれら緑色画素は、ベイヤー・パターンに存在する緑色画素による市松模様を形成する。ベイヤー・パターンに含まれる赤色画素と青色画素に関しては、赤色画素を組み合わせたペアと青色画素を組み合わせたペアを作り、赤色画素の平均と青色画素の平均を生成させる。例えばR21とR43が組み合わされ、図17Bの丸で囲んだ平均赤色画素R'32が緑色画素G12とG52の間に生成される。赤色画素に関する同様の対角線の組み合わせにより、解像度が低下したベイヤー画像の中の適切な位置に平均赤色画素が提供される。同様にしてB45とB63が組み合わされ、図17Bの丸で囲んだ平均青色画素B'54が緑色画素G34とG74の間に生成される。青色画素の同様の対角線の組み合わせにより、解像度が低下したベイヤー画像の中の適切な位置に平均青色画素が提供される。図17Cは得られた結果を示している。これは、元の画像の水平方向解像度の1/2、鉛直方向解像度の1/2になったベイヤー画像である。
【００５６】
図17A〜図17Cは、画素数が元の画像の1/4であるベイヤー画像の生成法を示している。図17Dと図17Eは、画素数が元の画像の1/16であるベイヤー画像を生成させる同様の方法を示している。図17Bと図17Eに示したように画素を組み合わせることは、例えば画素中の電荷を組み合わせることによって、またはサンプリングされる電圧を平均することによって、または画素信号のディジタル表示を組み合わせることによってなされる。
【００５７】
ここで図18に移ると、ディジタル信号処理装置ブロック36（図1）が、捕獲された生画像データをデータ・バス30（図1）から受け取ることが示されている。生画像データは、低高解像度不完全カラー・ブロック202と高解像度パンクロ・ブロック204の両方に送られる。本発明のイメージ・センサーのための最小繰り返し単位の一例はすでに図7Aに示した。
【００５８】
低解像度不完全カラー・ブロック202（図18）では、捕獲された生の画像データから不完全カラー画像が生成される。不完全カラー画像は、各画素が少なくとも1つのカラー値を持つとともに、各画素が少なくとも1つのカラー値を欠いているカラー画像である。所定のスペクトル応答をするカラー画素はパンクロ画素と比べて少ないため、不完全カラー画像は、パンクロ画素によって捕獲される画像と比べて空間解像度が低い。
【００５９】
低解像度不完全カラー・ブロック202は、不完全カラー画像の各画素を同様にして処理することでカラー値のアレイを得る。なお、それぞれの低解像度画素に1つのカラー値となる。ここには図示していないが、このステップにおいて低解像度不完全カラー画像のノイズを除去すると望ましいことがしばしばある。
【００６０】
ここで図19に移ると、図17Aに示したパターンと同等なフィルタ・パターンが示されている。最小繰り返し単位220（図19）は、最小繰り返し単位120（図17A）と一致していることがわかる。図19を再び参照すると、位置（a）、（b）、（c）、（d）の中間パンクロ値は、以下の式に従って計算できる。
a = (-P30 + 9×P21 + 9×P12 - P03)/16
b = (-P34 + 9×P23 + 9×P12 - P01)/16
c = (-P10 + 9×P21 + 9×P32 - P43)/16
d = (-P14 + 9×P23 + 9×P32 - P41)/16
したがって緑色値G22を含む画素は、近くにある菱形状の8つのパンクロ値、すなわちP21、a、P12、b、P23、d、P32、cを持つ。今や、水平方向、鉛直方向、右下がりの斜線方向、左下がりの斜線方向の4つの中心-差勾配の絶対値を用いて画素G22における分類値を計算できる。
clashorz = | P23 - P21 |
clasvert = | P12 - P32 |
classlash = | b - c |
clasback = | a - d |
これらの方向に関する対応する予想値は以下の通りである。
predhorz = (P23 + P21)/2
predvert = (P12 + P32)/2
predslash = (b + c)/2
predback = (a+ d)/2
最小分類値を持つ方向を選択した後、選択した方向に対応する予想パンクロ値から、内挿されたパンクロ値P22を生成させる。
【００６１】
緑色画素に関するパンクロ値が内挿されると、同じことを赤色画素と青色画素に対して実施するだけである。図19に示したCFAパターンを再び参照すると、緑色画素で利用したのと同じパンクロ内挿プロセスを赤色画素と青色画素にも同様にうまく適用できることがわかる。例えばパンクロ画素P12、P21、P23、P32が緑色画素G22を直接取り囲んでいるのと同様、パンクロ画素P23、P32、P34、P43が青色画素B33を直接取り囲んでいる。画素B33に関する近くの中間パンクロ値は、緑色画素G22について上に示したのと同様の式を用いて計算できる。
【００６２】
すべてのカラー画素の位置におけるパンクロ値を内挿した後は、センサー上の各画素の位置に、測定または内挿された1つのパンクロ値が存在している。これらのパンクロ値が、図18に示したように高解像度パンクロ画像204を作り出す。低解像度パンクロ画像206は、内挿されたパンクロ値を持つ画素だけを選択することによって生成される。そこで低解像度パンクロ画像206を低解像度不完全カラー画像202と組み合わせ、低解像度色差208を生成させる。次の処理ステップは、高解像度色差210を生成させるというものであり、それは、パンクロ画素からなるそれぞれの菱形の中心にあるパンクロ画素に関して緑色値-パンクロ値（G - P）を見いだすことによって開始される。G - P色差値が生成されると、その値を中心パンクロ値に加えて高解像度最終画像212の緑色値を生成させる。
【００６３】
図19を参照すると、このような中心画素はP24になろう。なぜならこの画素が、P14、P23、P24、P25、P34によって規定される菱形状のパンクロ画素の集合の中心にあるからである。最も近い4つの緑色値は、G04、G22、G26、G44である。これら4つの緑色画素のそれぞれも内挿されたパンクロ値を持つため、G - P色差値をそれぞれの位置で計算できる。水平方向と鉛直方向の分類値と予想値は、以下の式に従って計算できる。
clashorz = | (G22 - P22) - (G26 - P26) | + | P22 - 2×P24 + P26 |
clasvert = | (G04 - P04) - (G44 - P44) | + | P04 - 2×P24 + P44 |
predhorz = [ (G22 - P22) + (G26 - P26) ]/2
predvert = [ (G04 - P04) + (G44 - P44) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を中心画素P24のパンクロ値に加え、内挿された緑色値G24を生成させる。
【００６４】
パンクロ画素からなるそれぞれの菱形の中心画素に関する緑色値が計算されると、偶数の添字を2つ持つすべての画素の緑色値が存在していることになる。次のステップは、奇数の添字を2つ持つすべての画素の緑色値を計算することである。例えば青色画素B33を考えると、右下がりと左下がりの分類値と予想値は、以下の式に従って計算できる。
classlash = | (G42 - P42) - (G24 - P24) | + | P42 - 2×P33 + P24 |
clasback = | (G22 - P22) - (G44 - P44) | + | P22 - 2×P33 + P44 |
predslash = [ (G42 - P42) + (G24 - P24) ]/2
predback = [ (G22 - P22) + (G44 - P44) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を画素B33のパンクロ値に加え、内挿された緑色値G33を生成させる。これと同じ方法を赤色画素について実施する。すべての緑色値が計算されると、両方とも奇数または偶数という添字を持つすべての画素の位置に緑色値が存在していることになる。
【００６５】
緑色の内挿を完了させるため、1つの画素が、奇数の1つの添字と偶数の1つの添字を持つと考えよう（例えばP32）。水平方向と鉛直方向の分類値と予想置は、以下の式に従って計算できる。
clashorz = | (G31 - P31) - (G33 - P33) | + | P31 - 2×P32 + P33 |
clasvert = | (G22 - P22) - (G42 - P42) | + | P22 - 2×P32 + P42 |
predhorz = [ (G31 - P31) + (G33 - P33) ]/2
predvert = [ (G22 - P22) + (G42 - P42) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を中心画素P32のパンクロ値に加え、内挿された緑色値G32を生成させる。
【００６６】
今や、すべての画素の位置にパンクロ値と緑色値がある。残る作業は、失われたすべての赤色値と青色値を内挿することである。赤色画素、緑色画素、青色画素は同数であるため、そしてこれらの幾何学的レイアウト・パターンは同じであるため、緑色を内挿するための一連の式を変更して赤色画素と青色画素に適用することができる。一般に、赤色値を計算する方法は、R - G色差値を見いだした後、その値を存在している緑色値に加えて赤色値を生成させる操作を含んでいる。分類値を決定するのにパンクロ値がやはり用いられる。
【００６７】
例えば青色画素B33の位置の赤色値を計算することを考える。水平方向と鉛直方向の分類値と予想値は、以下の式に従ってR - G色差を用いて計算することができる。
clashorz = | (R31 - G31) - (R35 - G35) | + | P31 - 2×P33 + P35 |
clasvert = | (R13 - G13) - (R15 - G15) | + | P13 - 2×P33 + P15 |
predhorz = [ (R31 - G31) + (R35 - G35) ]/2
predvert = [ (R13 - G13) + (R35 - G35) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を青色画素B33における緑色値に加え、内挿された赤色値R33を生成させる。R - G色差を用いた同様の一連の式を利用し、赤色画素の位置における青色値を計算することができる。赤色値がすべての青色画素の位置で計算され、青色値が赤色画素の位置で計算されると、奇数の添字を2つ持つすべての画素位置での赤色値と青色値が存在していることになる。
【００６８】
次のステップは、偶数の添字を2つ持つ画素における赤色値と青色値を計算するというものである。例えば緑色画素G44の位置の赤色値を計算することを考える。右下がりと左下がりの分類値と予想値は、以下の式に従って計算できる。
classlash = | (R53 - G53) - (R35 - G35) | + | P53 - 2×P44 + P35 |
clasback = | (R33 - G33) - (R55 - G55) | + | P33 - 2×P44 + P55 |
predslash = [ (R53 - G53) + (R35 - G35) ]/2
predback = [ (R33 - G33) + (R55 - G55) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を画素G44における緑色値に加え、内挿された赤色値R44を生成させる。同じ方法を青色画素で実施する。すべての赤色値と青色値が計算されると、両方とも奇数または両方とも偶数の添字を持つすべての画素位置に赤色値と青色値が存在していることになる。
【００６９】
色内挿プロセスを完了させるため、1つが奇数、1つが偶数の添字を持つ画素（例えばP32）を考え、赤色値を計算する。水平方向と鉛直方向の分類値と予想値は、以下の式に従ってR - G色差を用いて計算することができる。
clashorz = | (R31 - G31) - (R33 - G33) | + | P31 - 2×P32 + P33 |
clasvert = | (R22 - G22) - (R42 - G42) | + | P22 - 2×P32 + P42 |
predhorz = [ (R31 - G31) + (R33 - G33) ]/2
predvert = [ (R22 - G22) + (R42 - G42) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差をパンクロ画素P32の位置における緑色値に加え、内挿された赤色値R32を生成させる。R - G色差を用い、同じ方法を利用して青色値B32を計算する。この時点で色の内挿が終了する。なぜなら各画素は、赤、緑、青という3つの色値をすべて持っているからである。これらの画素が、高解像度最終画像212を形成する。
【符号の説明】
【００７０】
10 対象となる光景からの光
11 イメージング段
12 レンズ
13 中性フィルタ
14 虹彩絞り
16 明るさセンサー
18 シャッター
20 イメージ・センサー
22 アナログ信号処理装置
24 アナログ／ディジタル（A/D）変換器
26 タイミング発生装置
28 イメージ・センサー段
30 ディジタル信号処理装置（DSP）のバス
32 ディジタル信号処理装置（DSP）のメモリ
36 ディジタル信号処理装置（DSP）
38 処理段
40 露出制御装置
50 システム制御装置
52 システム制御装置のバス
54 プログラム用メモリ
56 システム用メモリ
57 ホストとのインターフェイス
60 メモリ・カードとのインターフェイス
62 メモリ・カード用ソケット
64 メモリ・カード
68 ユーザー制御／状態インターフェイス
70 ビューファインダ・ディスプレイ
72 露出ディスプレイ
74 ユーザー入力
76 状態ディスプレイ
80 ビデオ・エンコーダ
82 ディスプレイ制御装置
88 画像ディスプレイ
100 ベイヤー・パターンのための最小繰り返し単位
102 ベイヤー・パターンのための最小ではない繰り返し単位
110 赤外阻止フィルタの分光透過曲線
112 フィルタのないセンサーの分光光応答曲線
114 センサーの赤色光応答曲線
116 センサーの緑色光応答曲線
118 センサーの青色光応答曲線
120 最小繰り返し単位
202 低解像度不完全カラー・ブロック
204 高解像度パンクロ・ブロック
206 低解像度パンクロ・ブロック
208 低解像度色差ブロック
210 高解像度色差ブロック
212 高解像度最終画像ブロック
220 本発明の最小繰り返し単位
【特許請求の範囲】
【請求項１】
カラー画像を捕獲するため、複数の最小繰り返し単位を有する二次元画素アレイを含むイメージ・センサーであって、それぞれの最小繰り返し単位が、4つのパンクロ画素と、色応答が異なる4つの画素を有する8つの画素からなるイメージ・センサー。
【請求項２】
以下の最小繰り返し単位：
Ｐ Ｂ Ｐ Ｄ
Ａ Ｐ Ｃ Ｐ
を持つ（ただし、Pはパンクロ画素を表わし、A、B、C、Dは、色応答が異なる画素を表わす）、請求項1に記載のイメージ・センサー。
【請求項３】
カラー画像を捕獲するため、複数の最小繰り返し単位を有する二次元画素アレイを含むイメージ・センサーであって、それぞれの最小繰り返し単位が、5つのパンクロ画素と、色応答が異なる3つの画素を有する8つの画素からなるイメージ・センサー。
【請求項４】
以下の最小繰り返し単位：
Ｐ Ｂ Ｐ Ｐ
Ａ Ｐ Ｃ Ｐ
を持つ（ただし、Pはパンクロ画素を表わし、A、B、Cは、色応答が異なる画素を表わす）、請求項3に記載のイメージ・センサー。
【請求項５】
A、B、Cが、赤色応答、緑色応答、青色応答の中から個別に選択した色応答を持つ画素を表わす、請求項4に記載のイメージ・センサー。
【請求項６】
A、B、Cが、色応答としてそれぞれ赤色応答、緑色応答、青色応答を持つ画素を表わす、請求項4に記載のイメージ・センサー。
【請求項７】
A、B、Cが、シアン色応答、マゼンタ色応答、イエロー色応答の中から個別に選択した色応答を持つ画素を表わす、請求項4に記載のイメージ・センサー。
【請求項８】
A、B、Cが、色応答としてそれぞれマゼンタ色応答、イエロー色応答を持つ画素を表わす、請求項4に記載のイメージ・センサー。
【請求項９】
上記画素アレイが、上記最小繰り返し単位をすべての行に均等に敷き詰めることによって形成されていて、そのとき各行が隣の行に対して最小繰り返し単位の幅の半分だけずれた状態にされている、請求項4に記載のイメージ・センサー。
【請求項１０】
上記パンクロ画素が、少なくとも2通りの写真感度の画素を含む、請求項3に記載のイメージ・センサー。
【請求項１１】
以下の最小繰り返し単位：
Ｐ1 Ｂ Ｐ1 Ｐ2
Ａ Ｐ1 Ｃ Ｐ1
を持つ（ただし、P1は、第1の写真感度を持つパンクロ画素を表わし、P2は、第2の写真感度を持つパンクロ画素を表わし、A、B、Cは、色応答が異なる画素を表わす）、請求項10に記載のイメージ・センサー。
【請求項１２】
カラー画像を捕獲するため、複数の最小繰り返し単位を有する6角形パターンに配置された二次元画素アレイを含むイメージ・センサーであって、それぞれの最小繰り返し単位が、6つのパンクロ画素と、色応答が異なる3つの画素を有する9つの画素からなるイメージ・センサー。
【請求項１３】
以下の最小繰り返し単位：
Ｂ
Ｐ Ｐ
Ｐ
Ａ Ｃ
Ｐ
Ｐ Ｐ
を持つ（ただし、Pはパンクロ画素を表わし、A、B、Cは、色応答が異なる画素を表わす）、請求項12に記載のイメージ・センサー。
【請求項１４】
A、B、Cが、赤色応答、緑色応答、青色応答の中から個別に選択した色応答を持つ画素を表わす、請求項13に記載のイメージ・センサー。
【請求項１５】
A、B、Cが、色応答としてそれぞれ赤色応答、緑色応答、青色応答を持つ画素を表わす、請求項13に記載のイメージ・センサー。
【請求項１６】
A、B、Cが、シアン色応答、マゼンタ色応答、イエロー色応答の中から個別に選択した色応答を持つ画素を表わす、請求項13に記載のイメージ・センサー。
【請求項１７】
A、B、Cが、色応答としてそれぞれマゼンタ色応答、イエロー色応答を持つ画素を表わす、請求項13に記載のイメージ・センサー。
【請求項１８】
上記画素アレイが、上記最小繰り返し単位をすべての列に均等に敷き詰めることによって形成されていて、そのとき各列が隣の列に対して最小繰り返し単位の高さの半分だけずれた状態にされている、請求項13に記載のイメージ・センサー。
【請求項１９】
上記パンクロ画素が、少なくとも2通りの写真感度の画素を含む、請求項12に記載のイメージ・センサー。
【請求項２０】
以下の最小繰り返し単位：
Ｂ
Ｐ1 Ｐ1
Ｐ2
Ａ Ｃ
Ｐ1
Ｐ2 Ｐ2
を持つ（ただし、P1は、第1の写真感度を持つパンクロ画素を表わし、P2は、第2の写真感度を持つパンクロ画素を表わし、A、B、Cは、色応答が異なる画素を表わす）、請求項19に記載のイメージ・センサー。
【請求項１】
カラー画像を捕獲するため、複数の最小繰り返し単位を有する二次元画素アレイを含むイメージ・センサーであって、それぞれの最小繰り返し単位が、4つのパンクロ画素と、色応答が異なる4つの画素を有する8つの画素からなるイメージ・センサー。
【請求項２】
以下の最小繰り返し単位：
Ｐ Ｂ Ｐ Ｄ
Ａ Ｐ Ｃ Ｐ
を持つ（ただし、Pはパンクロ画素を表わし、A、B、C、Dは、色応答が異なる画素を表わす）、請求項1に記載のイメージ・センサー。
【請求項３】
カラー画像を捕獲するため、複数の最小繰り返し単位を有する二次元画素アレイを含むイメージ・センサーであって、それぞれの最小繰り返し単位が、5つのパンクロ画素と、色応答が異なる3つの画素を有する8つの画素からなるイメージ・センサー。
【請求項４】
以下の最小繰り返し単位：
Ｐ Ｂ Ｐ Ｐ
Ａ Ｐ Ｃ Ｐ
を持つ（ただし、Pはパンクロ画素を表わし、A、B、Cは、色応答が異なる画素を表わす）、請求項3に記載のイメージ・センサー。
【請求項５】
A、B、Cが、赤色応答、緑色応答、青色応答の中から個別に選択した色応答を持つ画素を表わす、請求項4に記載のイメージ・センサー。
【請求項６】
A、B、Cが、色応答としてそれぞれ赤色応答、緑色応答、青色応答を持つ画素を表わす、請求項4に記載のイメージ・センサー。
【請求項７】
A、B、Cが、シアン色応答、マゼンタ色応答、イエロー色応答の中から個別に選択した色応答を持つ画素を表わす、請求項4に記載のイメージ・センサー。
【請求項８】
A、B、Cが、色応答としてそれぞれマゼンタ色応答、イエロー色応答を持つ画素を表わす、請求項4に記載のイメージ・センサー。
【請求項９】
上記画素アレイが、上記最小繰り返し単位をすべての行に均等に敷き詰めることによって形成されていて、そのとき各行が隣の行に対して最小繰り返し単位の幅の半分だけずれた状態にされている、請求項4に記載のイメージ・センサー。
【請求項１０】
上記パンクロ画素が、少なくとも2通りの写真感度の画素を含む、請求項3に記載のイメージ・センサー。
【請求項１１】
以下の最小繰り返し単位：
Ｐ1 Ｂ Ｐ1 Ｐ2
Ａ Ｐ1 Ｃ Ｐ1
を持つ（ただし、P1は、第1の写真感度を持つパンクロ画素を表わし、P2は、第2の写真感度を持つパンクロ画素を表わし、A、B、Cは、色応答が異なる画素を表わす）、請求項10に記載のイメージ・センサー。
【請求項１２】
カラー画像を捕獲するため、複数の最小繰り返し単位を有する6角形パターンに配置された二次元画素アレイを含むイメージ・センサーであって、それぞれの最小繰り返し単位が、6つのパンクロ画素と、色応答が異なる3つの画素を有する9つの画素からなるイメージ・センサー。
【請求項１３】
以下の最小繰り返し単位：
Ｂ
Ｐ Ｐ
Ｐ
Ａ Ｃ
Ｐ
Ｐ Ｐ
を持つ（ただし、Pはパンクロ画素を表わし、A、B、Cは、色応答が異なる画素を表わす）、請求項12に記載のイメージ・センサー。
【請求項１４】
A、B、Cが、赤色応答、緑色応答、青色応答の中から個別に選択した色応答を持つ画素を表わす、請求項13に記載のイメージ・センサー。
【請求項１５】
A、B、Cが、色応答としてそれぞれ赤色応答、緑色応答、青色応答を持つ画素を表わす、請求項13に記載のイメージ・センサー。
【請求項１６】
A、B、Cが、シアン色応答、マゼンタ色応答、イエロー色応答の中から個別に選択した色応答を持つ画素を表わす、請求項13に記載のイメージ・センサー。
【請求項１７】
A、B、Cが、色応答としてそれぞれマゼンタ色応答、イエロー色応答を持つ画素を表わす、請求項13に記載のイメージ・センサー。
【請求項１８】
上記画素アレイが、上記最小繰り返し単位をすべての列に均等に敷き詰めることによって形成されていて、そのとき各列が隣の列に対して最小繰り返し単位の高さの半分だけずれた状態にされている、請求項13に記載のイメージ・センサー。
【請求項１９】
上記パンクロ画素が、少なくとも2通りの写真感度の画素を含む、請求項12に記載のイメージ・センサー。
【請求項２０】
以下の最小繰り返し単位：
Ｂ
Ｐ1 Ｐ1
Ｐ2
Ａ Ｃ
Ｐ1
Ｐ2 Ｐ2
を持つ（ただし、P1は、第1の写真感度を持つパンクロ画素を表わし、P2は、第2の写真感度を持つパンクロ画素を表わし、A、B、Cは、色応答が異なる画素を表わす）、請求項19に記載のイメージ・センサー。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１７Ｄ】
【図１７Ｅ】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１７Ｄ】
【図１７Ｅ】
【図１８】
【図１９】
【公開番号】特開２０１３−４２５３０（Ｐ２０１３−４２５３０Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２２６１７５（Ｐ２０１２−２２６１７５）
【出願日】平成２４年１０月１１日（２０１２．１０．１１）
【分割の表示】特願２００９−５３９２６６（Ｐ２００９−５３９２６６）の分割
【原出願日】平成１９年１１月１６日（２００７．１１．１６）
【出願人】（５１０１８８９７５）オムニビジョン テクノロジーズ， インコーポレイテッド (2)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１２−２２６１７５（Ｐ２０１２−２２６１７５）
【出願日】平成２４年１０月１１日（２０１２．１０．１１）
【分割の表示】特願２００９−５３９２６６（Ｐ２００９−５３９２６６）の分割
【原出願日】平成１９年１１月１６日（２００７．１１．１６）
【出願人】（５１０１８８９７５）オムニビジョン テクノロジーズ， インコーポレイテッド (2)
【Ｆターム（参考）】
[ Back to top ]