カラー部分画素アレイの解像度を増大すること
デジタル画像の解像度を増大することは、斜めに配置されたカラー部分画素アレイを用いて画素をサンプリングしかつサンプリングされた画素データから欠落した画素を生成することにより開示される。第１の方法は、デジタルカラー撮像画素をそれぞれ他の直交の表示画素へマッピングすることである。欠落した表示画素は、隣接するカラー撮像画素からデータを補間しかつ隣の表示画素からカラー情報を平均化することにより計算される。この平均化することは、均等に周辺画素に重み付けをし、又は強度情報に基づき周辺画素に重みを与えることにより行われ得る。第２の方法は、補間の代わりに計算したカラー撮像部分画素データを利用することである。直交表示のための欠落したカラー画素は、画素のロウカラー画素間において形成された部分画素アレイから直接的に得ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、デジタルカラーイメージセンサに関し、より特には、表示部でのカラー画素のためにデータを生成する部分画素のアレイを利用するイメージセンサの感度及びダイナミックレンジを向上させること、及び必要に応じてカラー部分画素アレイの解像度を向上させることに関する。
本願の対応出願としては、２００８年５月２２日に出願された米国出願番号１２／１２５，４６６の継続出願（ＣＩＰ）があり、この内容は全ての目的のために全体において参照により組み入れられる。
【背景技術】
【０００２】
デジタル画像キャプチャ装置は、今日の社会において、ユビキタスとなってきている。映画産業のための高精細ビデオカメラ、画像スキャナ、プロフェッショナル静止画撮影カメラ、消費者レベルの”ポイント・アンド・シュート”カメラ、及び携帯電話のような個人用携帯端末は、画像をキャプチャするためのデジタルカラーイメージセンサを一般的に利用する最新の装置のほんの一例である。上記画像キャプチャ装置にかかわらず、ほとんどの事例において、それらの装置のセンサが、キャプチャされる場面又は明るい領域と暗い領域との両方での細かい詳細をキャプチャすることができたときに、最も望ましい画像が生成される。換言すると、キャプチャされた画質は、多くの場合、キャプチャされ得る種々の光のレベルのディテールの量の関数である。例えば、場面の明るい領域と暗い領域との両方において細かいディテールを有する画像を生成することが可能なセンサは、一般的に、その明るい領域又は暗い領域のいずれかであってその両方で同時でない細かいディテールをキャプチャするセンサよりも優れていると思われている。単一画像における明るい領域と暗い領域との両方をキャプチャすることができる増大された能力を有するセンサは、より良好なダイナミックレンジを有しているものと考えられる。
【０００３】
だから、ダイナミックレンジの向上は、デジタル画像パフォーマンスを考えるために重要となっている。線形応答を有するセンサのために、それらのダイナミックレンジは、暗所でのノイズフロアの飽和レベルの出力の割合として定義され得る。線形応答を有するか有さない全ての画像センサのために、そのダイナミックレンジは、検出され得る光レベルの最小値と検出され得る光レベルの最大値との比により測定され得る。従来のダイナミックレンジの拡張方法は、２つの一般的なカテゴリに分類される：センサ構造を改良する、キャプチャの処理を改善する、又はこれらの２つを組み合わせる。
【０００４】
構造的アプローチは、画素レベルやセンサアレイレベルにおいて実施することができる。例えば、特許文献１は、画素セルにおいてＨＤＲトランジスタを導入する。追加の高電圧源を有する改良されたセンサアレイ及び電圧レベルシフタ回路は、特許文献２に提案されている。第２のカテゴリの典型的な方法は、複数フレームにわたる異なる露光（例えば、画像の明部と暗部との両方をキャプチャする２つの異なるフレームにおいて、長い及び短い露光）を使うこと、及びその後その２つのフレームからの結果を組み合わせることである。その詳細は、特許文献３及び特許文献４に記載される。特許文献５及び特許文献６には、２つのカテゴリの組み合わせを有する異なるアプローチが導入されている。特許文献７は、アレイ化されたカラム単位をベースとするアナログ画素値をデジタル形式に変換可能な固体撮像装置を開示する。特許文献８は、複数の画素セルからなる焦点面アレイを含むモノリシック相補型金属酸化膜半導体集積回路として形成された撮像装置を開示する。特許文献９は、感光領域に隣接して配置されたＦＥＴに接続されたセンスノードを有し、複数の画素の配列の外側に配置されたオペアンプの一対の差動入力を形成するもう１つのＦＥＴを有する感光装置を備えるＣＭＯＳ撮像装置を開示する。
【０００５】
増大されたダイナミックレンジに加えて、画素解像度を増大させることもまたデジタル画像化性能に対する重要な関心事である。従来のカラーデジタル撮像装置は典型的には、２×２アレイ（ベイヤパターン）において１つの赤色（Ｒ）の画素、２つの緑色（Ｇ）の画素、及び１つの青色（Ｂ）の画素から形成された、水平／垂直方向を有する。赤色及び青色の画素はサブサンプルされることができ、撮像装置の有効解像度を増大させるために補間されることができる。ベイヤパターンの画像処理は、２００８年３月２３日に出願された特許文献１０に記載され、この内容は全ての目的のためにそれらの全体において参照により組み入れられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７，２５９，４１２号明細書
【特許文献２】米国特許第６，８６１，６３５号明細書
【特許文献３】米国特許第７，１３３，０６９号明細書
【特許文献４】米国特許第７，１９０，４０２号明細書
【特許文献５】米国特許第７，２０２，４６３号明細書
【特許文献６】米国特許第６，０１８，３６５号明細書
【特許文献７】米国特許第７，５１８，６４６号明細書
【特許文献８】米国特許第５，９４９，４８３号明細書
【特許文献９】米国特許第６，０８４，２２９号明細書
【特許文献１０】米国特許出願第１２／１２６，３４７号明細書
【特許文献１１】米国特許第７，０４５，７５８号明細書
【特許文献１２】米国特許出願公開第２００７／００２４９３４号明細書
【特許文献１３】米国特許第７，０５７，１５０号明細書
【特許文献１４】米国特許第５，６２５，２１０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ベイヤパターンの補間は撮像装置の解像度の増大につながるが、今日において使用されるベイヤパターンのサブサンプリングは、一般的には、高画質のカラー画像を十分に生成していない。
【課題を解決するための手段】
【０００８】
本発明の実施態様は、異った露光で光をキャプチャして部分画素アレイを用いてキャプチャされた画像のダイナミックレンジを改善し、単一フレームの画像のためのカラー画素の出力を生成する。部分画素アレイは、スーパーサンプリングを利用し、一般的にハイエンド、高解像度なセンサやカメラ向けに提供される。部分画素アレイのそれぞれは、複数の部分画素を含み得る。部分画素アレイを構成する複数の部分画素は、赤色（Ｒ）の部分画素、緑色（Ｇ）の部分画素、青色（Ｂ）の部分画素、及びいつくかの実施態様においては、カラー（Ｃ）の部分画素を含み得る。透明な（モノクロ又はパナクロで知られる）部分画素はカラー画素よりも光をキャプチャするので、透明な部分画素の使用は、単一の露光期間の間の部分画素アレイに対して単一フレームにおいて、光子が発生した電荷の幅広い範囲をキャプチャすることを可能にさせることができる。透明な部分画素を有するこれらの部分画素アレイは、効果的により高い露光レベルを有し、透明な部分画素なしの部分画素アレイに比べて（暗部のために）低照度の場面をより良好にキャプチャすることができる。部分画素アレイのそれぞれは、部分画素アレイにおける複数の部分画素の出力の組み合わせであるカラー画素出力を生成することができる。部分画素アレイは斜めに配向させて、色のクロストークを最小化することにより、視覚解像度と色純度を向上させるために斜めに配向させることができる。部分画素アレイの部分画素のそれぞれは、同じ露光時間を有し得る、又はいくつかの実施態様において、ある部分画素アレイ内の個々の部分画素は異なった露光時間を有して、ダイナミックレンジ全体を改善させることができる。
【０００９】
斜めの縞状パターンにおいて１個のカラー画素を形成する３×３部分画素アレイの一例は、それぞれの色がチャンネルに配置された、複数のＲ，Ｇ，及びＢの部分画素を含む。一画素は、同じ色の３つの部分画素を含み得る。斜め縞状のフィルターは、特許文献１１に記載されている。斜め３×３部分画素のもう１つの例は、１つ又は複数の透明な部分画素を含む。透明な部分画素は、特許文献１２に教示されるように、カラー画素と離れて配置されていた。部分画素アレイの感度（ダイナミックレンジ）を向上するために、１つ又は複数のカラー部分画素は透明な画素と置き換えられ得る。アレイにおいて透明な画素をより多くの割合で用いるにつれて部分画素のカラー性能は低下する可能性があるが、３つ以上の透明な部分画素を有する部分画素アレイもまた使用可能である。より多くの透明な部分画素を用いることにより、より多くの光を検出できるためにその部分画素アレイのダイナミックレンジは向上し得るが、あまりカラー情報を得ることができない。より少ない透明な部分画素によれば、ダイナミックレンジはより減少するが、より多くのカラー情報を得ることができる。透明な部分画素は、他のカラー部分画素と比べて、６倍以上感度を向上し得る（つまり、透明な部分画素は、同じ光量が与えられたカラー部分画素よりも、光子が発生した電荷を６倍以上まで生成できる）。このように、透明な部分画素は、暗い画像も良好にキャプチャするが、同じ露光が与えられるカラー部分画素よりも少ない露光時間で露光オーバー（飽和）となる。
【００１０】
部分画素のそれぞれは、部分画素アレイにおける複数の部分画素の出力の組み合わせであるカラー画素出力を生成することができる。本発明のいくつかの実施態様において、全ての部分画素は同じ露光時間を有することができ、全ての部分画素出力は同じ範囲（例えば、［０，１］の間）で正規化され得る。最後のカラー画素の出力は、全ての部分画素の組み合わせられることができる（部分画素のタイプのそれぞれは異なるゲイン又は応答曲線を有する）。しかしながら、より高いダイナミックレンジが望ましい場合、個々の部分画素の露光時間は変えることができる（例えば、部分画素アレイにおける透明な部分画素はより長い時間で露光され得る一方で、カラー部分画素はより短い時間で露光され得る。）このような方法で、より暗いエリアであってもキャプチャできる一方、より短い時間で露光されたカラー部分画素は、より明るいエリアであってもキャプチャできる。とって代わって、透明な部分画素の部分は短い露光を有し得、ある部分は画像の非常に暗く非常に明るい領域をキャプチャするために長い露光を有し得る。とって代って、複数のカラー画素は、複数の部分画素に対して同じか又は同様の短期及び長期の露光の分布を有して、キャプチャされた画像内でのダイナミックレンジを拡張させることができる。使用される画素のタイプは、電荷結合素子（ＣＣＤｓ）、電荷注入素子（ＣＩＤｓ）、ＣＭＯＳアクティブ画素センサ（ＡＰＳｓ）、もしくはＣＭＯＳアクティブカラムセンサ（ＡＣＳｓ）、ローリングシャッタ、又はグローバルシャッタのいずれかが実装された受動フォトダイオード画素が用いられ得る。
【００１１】
本発明の実施態様はまた、斜めに配向されたカラー部分画素を用いて画像をサンプリングし、サンプリングされた画素データから付加的な画素を生成して、直交表示において完全な画像を形成することにより、撮像装置の解像度を増加させることができる。斜めの配置の実施態様はここでは提示しないが、直交のグリット上での他の画素レイアウトも同様に利用し得る。
【００１２】
第１の方法は、斜めの配置のカラー撮像画素をそれぞれ他の直交表示画素にマッピングする。欠落する表示画素は、隣接するカラー撮像画素からデータを補間することにより計算することができる。例えば、欠落する表示画面は、左右及び／又は上下に隣接する表示画素、又は四方に隣接する４つの全ての画素から、カラー情報を平均化することにより計算することができる。この平均化は、周辺の画素の重み付けにより、又は強度情報に基づき周辺の画素に重み付けを与えることにより行うことができる。この補償を行うことにより、水平方向の解像度を、画素の元の数の√２倍だけ有効的に増加させることができ、補間された画素数は表示画素の数を２倍とすることができる。
【００１３】
第２の方法は、補間の代わりにキャプチャされたカラー撮像装置の部分画素データを利用することである。直交表示のための欠落するカラー画素は簡単に、撮像装置におけるロウカラー画素間で形成される部分画素アレイから得ることができる。これを達成するために、１つの方法は、カラー画素がロウごとに読出された場合、メモリに全ての部分画素情報を格納することである。この方法によれば、欠落した画素は、格納されたデータを用いて処理することで再生されることができる。もう１つの方法は、カラー画素と上記のように計算された欠落した画素との両方を記憶し読出すことである。いくつかの実施態様においては、ビニング（グループ分け）を用いてもよい。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る、斜め縞状パターンのカラー画素を形成する例示的な３×３の部分画素アレイを示す。
【図２Ａ】本発明の実施形態に係る、各部分画素が１、２、及び３の透明な部分画素を備える斜めの例示的な３×３の部分画素アレイを示す。
【図２Ｂ】本発明の実施形態に係る、各部分画素が１、２、及び３の透明な部分画素を備える斜めの３×３の例示的な部分画素アレイを示す。
【図２Ｃ】本発明の実施形態に係る、各部分画素が１、２、及び３の透明な部分画素を備える斜めの例示的な３×３の部分画素アレイを示す。
【図３Ａ】本発明の実施形態に係る、各部分画素アレイデザインが異なる配置において透明な画素を有し、１，２，３，及び４と示された４つの繰り返しの部分画素アレイを有する例示的なデジタル画像センサの部分を示す。
【図３Ｂ】図３Ａのより詳細な例示的なセンサ部を示しており、Ｒ，Ｇ，Ｂ部分画素の３×３部分画素アレイのようなデザイン１，２，３及び４の４つの部分画素を示し、それぞれのデザインの異なるロケーションにおいてある透明な部分画素を示す。
【図４】本発明の実施形態に係る複数の部分画素アレイから形成されたセンサを含む例示的な画像キャプチャ装置を示す。
【図５】本発明の実施形態に係る複数の部分画素アレイから形成されたセンサを有して使用され得る例示的な画像プロセッサのハードウェアブロックを示す。
【図６】（Ａ）は例示的なカラー撮像装置での例示的なカラー画素アレイを示し、（Ｂ）は例示的なカラー表示装置での直交の例示的なカラー表示画素アレイを示す。
【図７】（Ａ）は本発明の実施形態に係る、この圧縮のために補償するための第１の方法を適用することができる例示的なカラー撮像アレイを示し、（Ｂ）は本発明の実施形態に係る、ディスプレイチップにおいて補間を適用することができる例示的な直交の表示画素アレイを示す。
【図８】本発明の実施形態に係る撮像装置チップにおいて同じカラーの部分画素の単一カラムのための例示的なビニング回路を示す。
【図９Ａ】本発明の実施形態に係る例示的な斜めのカラー撮像装置の一部であって、表示画素の水平方向の圧縮を補償するための例示的な第２の方法を示す。
【図９Ｂ】本発明の実施形態に係る例示的な直交表示画素アレイの一部を示す。
【図１０】本発明の実施形態に係る撮像装置チップにおいて同じカラーの撮像部分画素の単一カラムのための例示的な読出し回路の一部を示す。
【図１１】本発明の実施形態に係る追加的なキャプチャ回路において各カラムで使用される実施形態を説明するために表されるデジタル撮像装置の一部を示す。
【図１２】本発明の実施形態に係る例示的な読出し回路を示す。
【図１３】本発明の実施形態に係る図１１のカラムの撮像装置の部分画素データの例示的なキャプチャ及び読出しを示すテーブルである。
【図１４】本発明の実施形態に係る図１１のカラムの部分画素データの例示的なキャプチャ及び読出しの一例を示すテーブルである。
【図１５】本発明の実施形態に係る斜めの４×４部分画素アレイから成る例示的なデジタルカラー撮像装置を示す。
【発明を実施するための形態】
【００１５】
望ましい実施形態の以下の記載において、本実施形態の一部を形成する添付の図面を参照し、そこにおいて特定の実施形態において示される発明は実施可能であるように示される。他の実施形態を用いることができ、この発明の実施形態の範囲から外れることなく構造的な変形を形成することが可能であることを理解されるべきである。
【００１６】
本発明の実施形態は、異なる露光における光をキャプチャする部分画素アレイを用いてキャプチャされた画像のダイナミックレンジを改善することが可能であり、単一のフレームにおいて画像のためのカラー画素出力を生成することが可能である。部分画素アレイは本明細書に記載されるスーパーサンプリングを利用し、ハイエンド、高解像度なセンサやカメラ向けである。各部分画素アレイは、複数の部分画素を含み得る。部分画素アレイを構成する部分画素は、赤色（Ｒ）の部分画素、緑色（Ｇ）の部分画素、青色（Ｂ）の部分画素を含み得、いくつかの実施形態においては、透明な部分画素を含み得る。各カラー部分画素は、マイクロレンズによりそれぞれ覆われて曲線因子を増大させることが可能である。透明な部分画素は覆われるカラーフィルタを有さない部分画素である。透明な部分画素がカラー画素よりも光をキャプチャするので、透明な部分画素の使用は、アレイでの全ての画素のために、同じ露光期間の単一フレームにおいて、異なる露光をキャプチャすることを部分画素アレイに可能にさせる。透明な部分画素を有する部分画素アレイは、良好なより高い露光レベルを有し、透明な部分画素がないこれらの部分画素アレイよりも低い光（暗部のため）の場面をキャプチャすることができる。各部分画素アレイは、部分画素アレイでの複数の部分画素の出力の組み合わせであるカラー画素の出力をそれぞれ形成することができる。部分画素アレイは、斜めに配向され、クロストークを最小化することにより視覚解像度及びカラー純度を改善し得る。部分画素アレイでの各部分画素は、同じ露光時間を有し得る、又はいくつかの実施形態において、部分画素アレイにある個々の部分画素はさらに、ダイナミックレンジ全体を改善するために異なる露光時間を有し得る。本発明の実施形態によれば、重要な構成の変更や処理コストを伴わずに、ダイナミックレンジを改善することができる。
【００１７】
本発明の実施形態はまた、斜めに配向されたカラー部分画素を用いた画素をサンプリングしかつサンプリングされた画素データから直交表示において完全な画像を形成することにより付加的な画素を形成することで、撮像装置の解像度を増加させる。第１の方法は、斜め配向のカラー撮像画素をそれぞれ他の直交表示画素にマッピングすることである。欠落した表示画素は、隣接するカラー撮像画素からデータを補間することにより計算することができる。例えば、表示画面の欠落は、左右及び／又は上下に隣接する表示画素、又は四方に隣接する４つの全ての画素から、カラー情報を平均化することにより、計算することができる。第２の方法は、補間の代わりにキャプチャされたカラー撮像部分画素データを利用することである。直交表示による欠落したカラー画素は簡単に、撮像装置でのロウカラー画素間で形成される部分画素アレイから得ることができる。第２の方法は、解像度を増大させる数学的な補間なしに、カラー部分画素アレイのカラー画素に対してその結果得られるカラー画像解像度を最大化する。もちろん、補間は、アプリケーションがそれを必要な場合、その後に解像度をさらに達成するように利用されることが可能である。可変解像度を有する部分画素アレイは、撮像装置の解像度を最大化することにより、アナモフィックレンズの使用を容易にする。アナモフィックレンズは、通常水平軸に沿って、画像キャプチャのために与えられたフォーマットのフィルム又は固体撮像装置に合わせて画像の縦横比を絞る。本発明の部分画素撮像装置は、絞りがないキャプチャされた画像へ読出されることが可能であり、それをそのシーンの元の縦横比へ復元させることが可能である。
【００１８】
本発明の実施形態に係る部分画素アレイは、ここではハイエンドや、高解像度の撮像装置やカメラの観点で記載され図示されているが、向上されたダイナミックレンジやここで記載するセンサの実施形態や欠落した表示画素生成方法を利用可能な望まれる解像度のためのどのようなタイプの画像キャプチャ装置であっても良いことを理解されるべきである。さらに、部分画素アレイは、ここでは、円形のセンス領域を有する縞状の複数の画素を形成する部分画素の３×３アレイの観点で図示して説明をするが、他のアレイサイズや他の形状の画素であっても同様に適用し得る。加えて、部分画素アレイにおけるカラー部分画素は、Ｒ，Ｇ，及びＢの部分画素を含むように記載され、他の実施形態では、カラーは、シアン、マゼンタ、イエローの補色のようなＲ，Ｇ，及びＢ以外であっても使用可能であることが記載され、異なる色合い（例えば、青色の２つの異なる色合い）であっても適用可能である。これらの複数のカラーは、一般的に、第１、第２、及び第３のカラーとして記載されるが、これらの記載は特定の順序を意味するものではないことを理解されるべきである。
【００１９】
ダイナミックレンジの改善．図１は、本発明の実施形態に係る、斜め縞状パターンのカラー画素を形成する例示的な３×３の部分画素アレイを示す。部分画素アレイ１００は、複数の部分画素１０２を含み得る。部分画素アレイ１００を構成する部分画素１０２は、各色がチャンネルに配置された、Ｒ，Ｇ，及びＢの部分画素の部分画素を含み得る。円形は、各部分画素１０２の物理的な構成において有効なセンサ領域１０４を表し、そのギャップ１０６は、制御ゲートのような非センサ要素を表している。図１の例では、１つの画素１０８は、同じカラーの３つの部分画素を含む。図１は、３×３部分画素アレイを示しているが、他の実施形態では部分画素アレイは、例えば４×４部分画素アレイ等のように、部分画素の他の数から形成されることも可能である。各部分画素アレイはより大きくなるが最終的には単一のカラー画素出力のみを生成するため、同じ部分画素サイズにおいて、一般的にはより大きな画素アレイでは、空間解像度はより小さくなる。部分画素の選択は、デザインにより事前に決定され得るか、又はさまざまな組み合わせのためのソフトウェアの選択を通じてなされ得る。
【００２０】
図２Ａ、図２Ｂ、及び図２Ｃは、本発明の実施形態に係る、各部分画素が１、２、及び３の透明な部分画素を備える斜めの例示的な３×３の部分画素アレイ２００，２０２，及び２０４をそれぞれ示す。部分画素アレイの感度（ダイナミックレンジ）を向上するために、１つ又は複数のカラー部分画素が、図２Ａ、図２Ｂ、及び図２Ｃに示すカラー画素と置き換えられ得る。図２Ａ、図２Ｂ、及び図２Ｃに示すカラー部分画素の配置は単なる一例であり、カラー部分画素は部分画素アレイ内の他のどこかに配置することが可能であることを注意すべきである。さらに、図２Ａ、図２Ｂ、及び図２Ｃは、斜めの配向を示しているが、直交する部分画素の配向もまた採用することが可能である。
【００２１】
３つ以上の複数のカラー部分画素を有する部分画素アレイについても使用可能であるが、部分画素アレイのカラーパフォーマンスは、アレイに用いられるカラー部分画素のより高い割合につれて減少され得る。さらに複数の透明な部分画素を有すると、多くの光が検出され得るため部分画素アレイのダイナミックレンジは向上し得るが、得られるカラー情報はより減少する。透明な部分画素がより少ないと、ダイナミックレンジは、与えられる露光がより小さいために、減少するが、多くのカラー情報を得ることができる。透明なカラー部分画素は、より感度を向上でき、同じ露光時間が与えられたカラー部分画素よりも多くの光をキャプチャすることができる、なぜなら、それらは着色コーティングがされていない（例えば、カラーフィルタがない）ため、それらは暗い環境において役に立つことができる。換言すると、与えられる光量のため、透明な部分画素は、より大きな応答を処理することができ、それらはカラー部分画素よりも暗い場面をキャプチャすることができる。典型的なＲ、Ｇ、及びＢの部分画素のため、カラーフィルタは、他の２つのチャンネル（カラー）の光のほとんどをブロックし、同じカラーチャンネルの約半分の光だけを通過させることが可能である。そのため、透明な部分画素は、他のカラー部分画素と比べ、６倍以上感度を向上し得る（つまり、透明な部分画素は、同じ光量が与えられたカラー部分画素よりも、電圧を６倍まで生成できる）。だから、透明な部分画素は、暗い画像も十分にキャプチャするが、同じ露光時間が与えられるカラー部分画素よりも少ない露光時間で露光オーバー（飽和）となる。
【００２２】
図３Ａは、本発明の実施形態に係る、各部分画素アレイデザインが異なる配置において透明な画素を有し、１，２，３，及び４と示された４つの繰り返しの部分画素アレイを有する例示的なデジタル画像センサ部３００を示す。
【００２３】
図３Ｂは、図３Ａのより詳細なセンサ部３００を例示的に示しており、Ｒ，Ｇ，Ｂ部分画素の３×３部分画素アレイのようなデザイン１，２，３及び４の４つの部分画素を示し、各デザインの異なる配置においてある透明な部分画素を示している。透明な部分画素は、視覚的な強調の目的のみで太線で囲まれていることを注意すべきである。センサにおいていくつかの部分画素アレイデザインを有することにより、撮像装置において擬似ランダムの透明な部分画素分布を達成でき、画素の規則性によって引き起こされる予期せぬ低周波モアレパターンを低減することができる。図３Ｂで１つを示すように、斜めのデジタル部分画素アレイを有するセンサからの複数のカラー画素の出力が得られた後、さらに直交な画素配置の表示要求を満たすためにカラー画素を補間し、他のカラー画素の値を生成する処理を行うことができる。
【００２４】
上述したように、各部分画素は、部分画素アレイにおける複数の部分画素の出力の組み合わせであるカラー部分画素の出力を生成することができる。本発明のいくつかの実施形態では、全ての部分画素は同じ露光時間を有することができ、全ての部分画素の出力は同じ範囲（例えば、［０，１］の間）で正規化され得る。最後のカラー画素の出力は、全ての部分画素の組み合わせられることができる（部分画素のタイプのそれぞれは異なる応答曲線を有する）。
【００２５】
しかしながら、他の実施形態において、より高いダイナミックレンジが望ましい場合、個々の部分画素の露光時間を変えることができる（例えば、部分画素アレイでの透明な部分画素はより長い時間露光され得る一方、カラー部分画素はより短い時間露光され得る。）このように、より暗い領域であってもキャプチャできる一方、より短い時間で露光されたレギュラーカラー部分画素は、より明るい領域であってもキャプチャできる。
【００２６】
図４は、本発明の実施形態に係る複数の部分画素アレイから形成されたセンサ４０２を含む例示的な画像キャプチャ装置４００を示す。画像キャプチャ装置４００は、光４０６を透過し得るレンズ４０４を備えることができる。光学シャッタ４０８は、光４０６へのセンサ４０２の露光を制御することができる。当業者によりよく知られた、読出しロジック部４１０は、部分画素の出力を読出すためにセンサ４０２に接続され得、画像プロセッサ４１２内にそれが格納される。画像プロセッサ４１２は、メモリと、プロセッサと、上述した正規化演算と、補間演算と、画素露光制御演算とを実行するための他のロジック部とを含むことが可能である。読出しロジック部と画像プロセッサとがともにに搭載されたセンサ（撮像装置）は、単一の撮像装置チップで形成することができる。撮像装置チップの出力は、表示装置により駆動されるディプレイチップに接続されることができる。
【００２７】
図５は、本発明の実施形態に係る複数の部分画素アレイから形成されたセンサ（撮像装置）を有して使用され得る画像プロセッサ５００の例示的なハードウェアブロック図を示す。図５において、１つ又は複数のプロセッサ５３８は、ブートコード，ＢＩＯＳ，ファームフェア，ソフトフェア，及び上述した処理を実行するために必要ないくつかのテーブルを格納することができるＲＯＭ５４０，不揮発性の読出し／書込みメモリ５４２，及びランダムアクセスメモリ５４４に接続されることが可能である。必要に応じて、１つ又は複数のハードウェアインターフェイス５４６は、複数のＰＣ，ストレージデバイス等のような外部装置と通信するためのプロセッサ５３８及びメモリデバイスと接続されることが可能である。さらに、１つ又は複数の専用ハードウェアブロック，エンジン，及びステートマシン５４８は、所定の処理動作を行うためのプロセッサ５３８及びメモリデバイスに接続されることが可能である。
【００２８】
画素解像度の改善．図６（Ａ）は、例示的なカラー撮像装置６０２の例示的なカラー画素アレイ６００を示す。カラー撮像装置は、撮像装置チップの一部であっても良い。カラー撮像装置の画素アレイ６００は、１−１７でナンバリングされる複数のカラー画素６０８により成り、各カラー画素がさまざまなカラーの複数の部分画素により成る。（明瞭さのために、カラー画素６０８のいつかにのみ部分画素６１０を有するように示してある−その他のカラー画素は破線の円形でシンボル的に表される。）カラー画像は、斜めに配向されるカラー画素アレイ６００を用いてキャプチャされる。
【００２９】
図６（Ｂ）は、カラー表示装置６０６での直交のカラー表示画素アレイ６０４を例示的に示す。複数のカラー画像は、直交のカラー表示画素アレイ６０４を用いて表示され得る。画像キャプチャのために用いられた１７個のカラー画素は、図６（Ａ）に示すように、斜めに配向されるが、それにもかかわらず表示のためのカラー画素は、図６（Ｂ）に示すように、ロウ及びカラムに配置される。結果として、図６（Ａ）に示す１７個の斜めに配向されたカラー撮像画素のためにキャプチャされたカラー撮像画素データが、図６（Ｂ）に示す直交表示のカラー表示画素に与えられた場合、２つの方向における画素と表示との間の配置の違いのため、カラー表示画素は、図６（Ａ）及び図６（Ｂ）で破線の円形により表される画素の中央の比較から分かるように、水平方向に圧縮される。結果的に表示される画像は、円形が例えばスキニー、直立楕円として現れることなど、水平方向に圧縮されたように見える。
【００３０】
図７（Ａ）は本発明の実施形態に係る、この圧縮のために補償するための第１の方法を適用することができる例示的なカラー撮像アレイを示す。図７（Ａ）は、撮像装置チップにおいて２１８０個のロウ及び３８４０個のカラムから成る方向に配置されたカラー画素７０３のカラー撮像アレイ７００を示している。図６（Ｂ）に示すようにキャプチャされたカラー撮像画素を互いに直交に配置された表示画素へマッピングすることよりも、カラー撮像画素７０２は、他の全ての直交する表示画素が市松模様にマッピングされる。
【００３１】
図７（Ｂ）は、本発明の実施形態に係る、ディスプレイチップにおいて補間を適用することができる直交の表示画素アレイを例示的に示す。図７（Ｂ）に例示するように、キャプチャされたカラー撮像画素１，２，４，５，８，９，１１，１２，１５及び１６は、他の全ての直交表示画素にマッピングされる。欠落した表示画素（（Ａ），（Ｂ），（Ｃ），（Ｄ），（Ｅ），（Ｆ），（Ｇ），（Ｈ），（Ｉ）及び（Ｊ）として示す）は、隣接するカラー画素からデータを補償することにより生成されることができる。例えば、図７（Ｂ）で示す欠落した表示画素（Ｃ）は、表示画素４及び５，画素１及び８からカラー情報を平均することにより、又は最近接法を利用すること（画素１，４，５，及び８を平均化すること）により、又は他の補償技術を利用することにより、計算することができる。平均化は、周辺の表示画素の画質の重み付けを行うことにより、又は強度情報（プロセッサにより決定される）に基づき周辺の画素に重み付けを与えることにより、行うことができる。例えば、表示画素５が飽和状態であった場合、それは小さなカラー情報を有するため、より低い重み付け（例えば、２５％の代わりの２０％）を与えても良い。同様に、表示画素４が飽和状態でない場合、それは大きなカラー情報を有するため、より高い重み付け（例えば、２５％の代わりの３０％）を与えても良い。
【００３２】
表示画素の周辺の露光オーバーや露光不足の量に依存して、画素は、０％から１００％までのいずれかの重み付けがなされ得る。重み付けはまた、シャープな効果やソフトの効果のような、望ましい効果に基づき行うことができる。重み付けの使用は、１つの画素が飽和状態であって、隣接する画素が飽和状態でなく、明るい場面と暗い場面との間の急な移行を示唆するときに、特に効果的である。補間された表示画素が補間プロセスにおいて重み付けを行うことなく単に飽和状態の画素を利用するだけである場合、飽和状態の画素におけるカラー情報の不足は、補間された画素において、（十分なカラー情報なしに）いくらか飽和した状態が現れることを生じさせ、変異はそのシャープさを失う可能性がある。しかしながら、ソフトな画像や他の結果が望ましい場合、重み付けや方法は、それに応じて変更することが可能である。
【００３３】
本質的に、キャプチャされた撮像装置の画素を破棄する代わりに、本発明の実施形態は、整合されたＲＧＢ撮像装置の部分画素アレイに均等に配置された斜めのストライプフィルタを利用し、近くの表示画素メディアに合わせるために欠落した表示画素を生成する。人間の目は水平及び垂直方向に対して”もともと過敏”であり、人間の脳は水平及び垂直線を見るために点をつなぐように働くため、補間は満足する画像を作り出すことができる。最終的な結果は、高品質なカラー画像の表示を生成することである。
【００３４】
上述したような補間を行うことにより、水平方向の解像度が、良好に倍増されることができる。例えば、約１２．６ミリオン撮像装置の画素（赤、青、及び緑）又は約４．２ミリオンのカラー撮像装置の画素を形成し得る、約３７．７ミリオンの撮像装置の部分画素により成る５７６０個×２１８０個の撮像装置の画素アレイは、良好に総量を約８．４ミリオンカラー表示画素又は２５．１ミリオン表示画素（”４ｋ”カメラのためにおおよそ必要な量）に増加させるために、上述した補間技術を利用することできる。（用語”４ｋ”は、Ｒ，Ｇ，Ｂの各表示画像を４Ｋのサンプルが交差することを意味する（１２ｋ画素ワイド及び少なくとも１０８０個の画素よりも高く、本発明の実施形態を用いて現在達成され得る業界全体の目標を表す）。
【００３５】
カラー撮像装置の画素が上述したように補間され得る前に、その画素は読出される必要がある。カラー撮像装置の各部分画素は、別個に読出されることができ、又は”ビニング”プロセスとして知られる、それらが読出される前に２つ若しくはそれ以上の部分画素が結合されて読出されることができる。図７（Ａ）の例では、約３７．７ミリオン部分画素又はビニングされた約１２．６ミリオン画素が読出されることできる。撮像装置上でデジタル化される間、カラー撮像装置上のハードウェアで行うことができる。或いは、全てのロウ部分画素が読出されることができ、ビニングは他の場所で行うことができ、それは特殊効果にとって望ましいが、信号対雑音比の観点から少なくとも望ましいかもしれない。また、モニタ上の各表示画素のための多くの撮像装置の部分画素がある場合があるので、どのような検出された単一の画素も、部分画素アレイがスーパーサンプリングされたとき、どのような解像度の顕著な損失なしに、簡単に訂正することができる。例えば、図７（Ａ）に例示する装置では、モニタ上の１つの青色の画素を構成する３つの部分画素がある。３つの青色の部分画素の１つ又は２つが検出された場合、部分的にサンプルされたベイヤパターンの撮像装置アレイのケースにおいて、解像度の損失なく、残存する１つ又は２つの良好な青色の部分画素を使用することができる。
【００３６】
図８は、本発明の実施形態に係る撮像装置チップにおいて同じカラーの部分画素の単一カラム８０２のための例示的なビニング回路８００を示す。例示的なデジタル撮像装置の部分画素８０２−１乃至８０２−６の６つの部分画素のそれぞれに、１つのビニングノード８０６があることを理解されるべきである。図８の例では、１カラムの同じカラーの６つの部分画素８０２−１乃至８０２−６（例えば、６つの赤色の部分画素）は、斜め方向で配向されており、６つの異なる複数の選択ＦＥＴ（又は他のトランジスタ）８０４は共通のセンスノード８０６で部分画素８０２に接続され、これは２つのロウに対して６つの画素の１つのグループを持って継続して繰り返される。選択された複数のＦＥＴ８０４は、６つの異なる転送線Ｔｘ１−Ｔｘ６により制御される。センスノード８０６は、ある回路を駆動し又は複数のキャプチャ回路８１０に接続される、アンプ又は比較器８０８に接続される。ＦＥＴ８２０は、６つの部分画素の各グループに配置される異なるアンプ８０８の入力ＦＥＴの１つである。センスノード８０６に画素バックグラウンドレベルのバイアスが与えられると、アンプ８０８が完了し、ＦＥＴ８２０がオンする。アンプと組み合わされてシェアされた画素は、特許文献１２に記載され、それは全ての目的のために全体において参照により組み入れられるため、ここでは繰り返されていない。リセット線８１２はリセットスイッチ８１６がオンすると同時にアサートされ、リセットバイアス８１４をセンスノード８０６に与える。シェアされた画素８０２−１乃至８０２−６の結果、６つの画素のどのような数もセンスノードのサンプリングの前に、複数のＦＥＴ Ｔｘ１乃至Ｔｘ６がオンすることによって同時に読出されることができる。１以上の部分画素が一度に読出されることは、ビニングとして知られている。
【００３７】
続いて図８を参照すると、部分画素８０２の望ましい実施形態としては固定フォトダイオードを利用することであり、それは選択ＦＥＴ８０４のソースに接続され、ＦＥＴのドレインはセンスノード８０６に接続される。固定フォトダイオードとしては、フォトダイオードによりキャプチャされた光子発生した電荷をセンスノード８０６へ転送するような全ての又はほとんどが許容される。固定フォトダイオードを形成する１つの方法は、特許文献１３に記載され、それは全ての目的のために全体において参照により組み入れられるため、ここでは繰り返さない。ＦＥＴ８０４のドレインは、リセットバイアス８１４を用いて約２．５Ｖでプリセットされ得るので、ＦＥＴのゲートが転送線Ｔｘによりオンしたとき、実質的に、部分画素８０２の固定フォトダイオードのアノードに接続された電荷の全ては、センスノード８０６に転送され得る。なぜなら、センスノード８０６は所定の容量及びセンスノードの降下電圧（例えば、ある実施形態においては、約２．５Ｖから多分２．１Ｖへ）を有し、電荷がセンスノード上の１つ又は複数の部分画素から転送されたとき、転送された電荷の量は式Ｑ＝ＣＶにより決定されるからである。サンプリングの前に１つ以上の部分画素有する電荷がセンスノード８０６上に転送されたとき、それはアナログビニングであると考えられる。
【００３８】
いくつかの実施形態において、このポストチャージ転送電圧レベルは、アンプとして構成されたデバイス８０８により受け取ることができ、それは各電荷転送量の出力を生成する。アンプ８０８の出力はその後、キャプチャ回路８１０によりキャプチャされることができる。キャプチャ回路８１０は、アンプ８０８の出力をデジタル化するアナログデジタル変換器（ＡＤＣ）を含むことができる。各電荷転送量の値はその後、検出され、ラッチ部、蓄電部、又はその後の読出しのための他のメモリ部に格納される。いくつかの実施形態において、その後のデジタルビニング動作におけるキャプチャ回路８１０は、ラッチ又は蓄電器から与えられる１つ又は複数の部分画素からの各電荷転送量を許容することができ、そこで以下においてより詳細に説明するようなより複雑なビニングシーケンスを可能とする。
【００３９】
いくつかの実施形態において、蓄電器は、ビニングされた全ての部分画素のため電荷転送の総量のそれぞれを計数するカウンタとすることができる。新たな部分画素又は部分画素のグループがセンスノード８０６に接続されるとき、そのカウンタは、その最後の状態から計数を開始することができる。ＤＡＣ８１８の出力する間はセンスノード８０６よりも大きく、比較器は状態を変化させず、及びカウンタは計数し続ける。ＤＡＣ８１８の出力がセンスノード８０６（比較器の他の入力に接続される）上の値を越えるポイントに下げるとき、比較器は状態を変化し、ＤＡＣ及びカウンタを止める。ＤＡＣ８１８は、いずれかの方向にランプで動作させることができるが、望ましい実施形態としては、ランプは高く（２．５Ｖ）開始し、その後低くなり得る。ほとんどの画素としては、リセットレベル（又は黒色）近傍であり、これは早い背景のデジタル化のために許容される。ＤＡＣが止った時のカウンタの値は、１つ又は複数の部分画素の各電荷転送の総量である。特許文献７（全ての目的のために全体において参照により組み入れられる）に記載されるように、転送された各部分画素の電荷の値を格納するためのいくつかの技術が記載されており、例示の目的のために上述されたそれらや、他の技術は、本発明の実施形態に適用され得る。
【００４０】
他の実施形態において、デジタルアナログ変換器８１８のデジタル入力値はカウントアップされ、比較器として構成されたデバイス８０８の入力の一つとして供給され得るアナログランプを生成する。アナログランプがセンスノード８１８上の値を越えるとき、比較器は、状態を変化し、センスノード８０６上に接続された各電荷の値でＤＡＣ８１８のデジタル入力値をフリーズさせる。キャプチャ回路８１０はその後、ラッチ部、蓄電部、又はその後の読出しのための他のメモリ部に、そのデジタル入力を格納することができる。このように、部分画素８０２−１乃至８０２−３は、デジタルビニングが可能である。部分画素８０２−１乃至８０２−３がビニングされると、Ｔｘ１−Ｔｘ３は部分画素８０２−１乃至８０２−３から切り離され、リセット信号８１２はセンスノード８０６をリセットバイアス８１４へリセットすることができる。
【００４１】
上述したように、選択された複数のＦＥＴ８０４は６つの異なる転送線Ｔｘ１−Ｔｘ６により制御される。読出しのための準備において画素データの１個のロウがビニングされるとき、Ｔｘ１−Ｔｘ３は、Ｔｘ４−Ｔｘ６が部分画素８０２−４乃至８０２−６の切断を維持している間、部分画素８０２−１乃至８０２−３をセンスノード８０６へ接続させることができる。読出しのための準備において画素データの次のロウがビニングする準備のとき、Ｔｘ４−Ｔｘ６は、Ｔｘ１−Ｔｘ３が部分画素８０２−１乃至８０２−３の切断を維持している間、部分画素８０２−４乃至８０２−６をセンスノード８０６へ接続させることができ、センスノード上に接続された電荷のデジタル表現は上述したようにキャプチャされる。部分画素８０２−４乃至８０２−６上の電荷がアンプ８０８によりセンスされた後、Ｔｘ１−Ｔｘ３は部分画素８０２−４乃至８０２−６から切り離され、リセット信号８１２がセンスノード８０６からリセットバイアス８１４へリセットされ得る。
【００４２】
前の例として各ロウの出力の前に３個の部分画素のビニングを説明したが、どのような複数の部分画素であってもビニング可能であることを理解されるべきである。加えて、前の例として、選択された複数のＦＥＴ８０４を介してセンスノード８０６に接続される６つの部分画素を説明したが、どのような数の部分画素であっても選択された複数のＦＥＴ８０４を介してセンスノード８０６に共通に接続可能であり、それらのどの時点の部分画素のサブセットであっても良いことを理解されるべきである。さらに、選択された複数のＦＥＴ８０４は、どのようなシーケンスであっても、また効果的な複数のビニング配置のためにＦＥＴ８１６と共に接続されるどのような並列の組み合わせであっても、ターンオン及びオフが可能であることを理解されるべきである。図８のされた複数のＦＥＴは、図５に示されるメモリに格納されるコードをプロセッサが実行することにより、制御され得る。最後に、説明のためにここではいくつかのビニング回路を説明したが、他のビニング回路であっても本発明の実施形態に関して適用することが可能である。
【００４３】
上記説明から、同じカラーの部分画素のカラム全体がどのようにビニング可能であるか、及び一度につき１個のカラムで、どのように同じビニング回路を用いて読出すために格納されることが可能であるかを理解されるべきである。説明したように、図８のアーキテクチャは、アプリケーションが必要とするように実行可能なアナログ及びデジタルの複数のビニングの組み合わせであっても良い。一度につき１個のカラムで、撮像装置アレイ全体のためにビニングされた画素データがキャプチャされ得、読出され得るように、このプロセスは、全ての他のカラム及びロウと並行に繰り返され得る。上述した補間はその後、カラー撮像装置又はその他の内で、実行され得る。
【００４４】
図９Ａは、本発明の実施形態に係る斜めの例示的なカラー撮像装置９００を示し、表示画素の水平方向の圧縮を補償するための例示的な第２の方法を示す。図９Ａの例において、カラー撮像装置９００は、複数の４×４カラー撮像装置の部分画素アレイ９０２（Ａ乃至Ｋ及びＺとラベルされる）を含むが、カラー撮像装置のアレイは撮像装置内で使用可能などのようなサイズであっても良いこと理解されるべきである。図９Ａの例において、各４×４カラー撮像装置の部分画素アレイ９０２は、４つの赤色（Ｒ）の部分画素、８つの緑色（４つのＧ１及び４つのＧ２）の部分画素、及び４つの青色（Ｂ）の部分画素を含むが、部分画素の色の他の組み合わせ（カラー部分画素の異なる形状、補色、又はカラー部分画素）も可能である。各カラー撮像装置の部分画素１００２は、カラー画素を構成する。
【００４５】
図９Ｂは、本発明の実施形態に係る例示的な直交の表示画素アレイ９０２を示す。図９Ａのキャプチャされたカラー撮像画素のマッピングに比べ、図９Ｂにおける他のすべての表示画素は直交的であり、隣接するカラー表示素子からデータを補間することにより欠落したカラー表示画素を計算し、この実施形態に係るディプレイチップは、キャプチャされたカラーの撮像装置の画素を他のすべての直交する表示画素にマッピングし、以前にキャプチャされた部分画素データを利用することにより欠落したカラー表示画素を生成する。例えば、図９Ｂの欠落したカラー表示画素（Ｌ）は単に、図９Ａのカラーの撮像装置の画素アレイ（Ｌ）から直接的に得ることができる。換言すると、図９Ｂの直交な表示画素アレイを背景として、欠落したカラーの表示画素アレイ（Ｌ）は直接的に、周辺のカラー画素アレイ（Ｅ），（Ｇ），（Ｈ）及び（Ｊ）から以前にキャプチャした部分画素のデータについて得ることができる。同様の方法で生成され得る図９Ａ及び図９Ｂに示す他の欠落したカラー表示画素は、画素（Ｎ），（Ｍ）及び（Ｐ）を含む。
【００４６】
図１０は、本発明の実施形態に係る撮像装置チップにおいて同じカラーの撮像部分画素の単一カラム１００２のための例示的な読出し回路１０００を示す。デジタル撮像装置における部分画素の各カラムのために１つの読出し回路があることを再度理解されるべきである。
【００４７】
以前のキャプチャされた部分画素データを利用するために、実施形態において全ての部分画素の情報は、部分画素の各ロウが読出されるときに、オフチップメモリに格納され得る。各部分画素を読出すためには、ビニングは発生しない。その代わり、所定のロウがキャプチャされたとき、各部分画素１００２−１乃至１００２−４は、転送線Ｔｘ１−Ｔｘ４により制御される複数のＦＥＴ１００４を用いて、異なる時に別々にセンスノード１００６に接続され、各部分画素の転送電荷の表示は、その後の読出しのために転送線Ｔｘ５−Ｔｘ８により制御される複数のＦＥＴ１０１６を用いて、キャプチャ回路１０１０−１乃至１０１０−４に接続される。図１０の例は、各カラムについて４つのキャプチャ回路１０１０−１乃至１０１０−４を示しているが、他の実施形態においてより少ないキャプチャ回路でも適用可能であることを理解されるべきである。より少ないと見られるキャプチャ回路が用いられた場合、部分画素は転送線Ｔｘ１−Ｔｘ８の制御下で、ある程度直列にキャプチャされ読出される必要があるであろう。
【００４８】
このように各撮像部分画素が格納され読出されると、欠落したカラー表示画素は、オフチッププロセッサ又は撮像部分画素データを用いる他の回路により、生成されることができる。しかしながら、この方法は、短い時間間隔において後の処理のために読出され及びオフチップメモリに格納されるかなりの量のキャプチャされた撮像部分画素データを必要とするため、速度とメモリの制約が存在し得る。例えば、製品がロウコストなセキュリティカメラやモニタである場合、撮像部分画素データを格納するための全てにおいてどのようなオフチップメモリも有さないことが望ましい−その代わりに、データは表示のために直接的にモニタに送信される。そのような製品において、欠落したカラー表示画素の生成するオフチップは、実用的でないかもしれない。
【００４９】
他の実施形態において以下で説明するように、追加のキャプチャ回路は、撮像部分画素を格納するために各カラムで使用され、又は外部オフチップメモリ又は／及び外部処理の必要性を低減するために画素データを使用できる。説明のために２つの代替的な実施形態を示すが、以前のキャプチャ撮像部分画素データを利用するために、欠落したカラー表示画素を生成する他の同様の方法もまた適用可能であることを理解されるべきである。
【００５０】
図１１は、キャプチャ回路において各カラムで使用される実施形態を説明するために表される本発明の実施形態に係る例示的なデジタル撮像装置の一部を示す。図１１において、４×４部分画素アレイＥ，Ｆ，Ｇ，Ｊ，Ｋ，及びＺが示され、部分画素アレイＥ，Ｈ，Ｋ，及びＺに広がる赤色の部分画素のカラム１１００は、説明の目的のみで強調される。図１１の命名及び他の以下の図は、その部分画素アレイの文字と部分画素の識別子により部分画素を識別する。例えば、部分画素”Ｅ−Ｒ１”は、部分画素アレイＥの第１の赤色の部分画素（Ｒ１）を示す。この例は、以下において、各カラムのため全部で１６個又は４個のキャプチャ回路を説明するが、異なる数のキャプチャ回路を有する他の読出し回路の配置もまた可能であり、本発明の実施形態の範囲内であることを理解されるべきである。
【００５１】
図１２は、本発明の実施形態に係る例示的な読出し回路１２００を示す。図１２の例では、１６個のキャプチャ回路１２１０が、４個の部分画素ごとに、各読出し回路１２００のために必要である。
【００５２】
図１３は、本発明の実施形態に係る図１１のカラム１１００のための撮像部分画素データの例示的なキャプチャ及び読出しを示すテーブルである。図１２及び図１３で述べたように、ロウ２がキャプチャされる場合、部分画素Ｅ−Ｒ１はキャプチャ回路１２１０−１Ａ及び１２１０−１Ｂの両方でキャプチャされ、部分画素Ｅ−Ｒ２はキャプチャ回路１２１０−２Ａ及び１２１０−２Ｂの両方でキャプチャされ、部分画素Ｅ−Ｒ３はキャプチャ回路１２１０−３Ａ及び１２１０−３Ｂの両方でキャプチャされ、部分画素Ｅ−Ｒ４はキャプチャ回路１２１０−４Ａ及び１２１０−４Ｂの両方でキャプチャされる。次に、カラー表示画素（Ｅ）（図９（Ａ）及び図９（Ｂ）を参照）のために必要な、ロウ２のための部分画素データ（Ｅ−Ｒ１，Ｅ−Ｒ２，Ｅ−Ｒ３，及びＥ−Ｒ４）は、キャプチャ回路１２１０−１Ａ，１２１０−２Ａ，１２１０−３Ａ，及び１２１０−４Ａから読出すことができる。
【００５３】
ロウ３がキャプチャされた場合、部分画素Ｈ−Ｒ１は、キャプチャ回路１２１０−１Ａ及び１２１０−１Ｃの両方でキャプチャされ、部分画素Ｈ−Ｒ２はキャプチャ回路１２１０−２Ａ及び１２１０−２Ｃの両方でキャプチャされ、部分画素Ｈ−Ｒ３はキャプチャ回路１２１０−３Ａ及び１２１０−３Ｃの両方でキャプチャされ、部分画素Ｈ−Ｒ４はキャプチャ回路１２１０−４Ａ及び１２１０−４Ｃの両方でキャプチャされる。次に、カラー表示画素（Ｈ）（図９（Ａ）及び図９（Ｂ）を参照）のために必要な、ロウ３のための部分画素データ（Ｈ−Ｒ１，Ｈ−Ｒ２，Ｈ−Ｒ３，及びＨ−Ｒ４）は、キャプチャ回路１２１０−１Ａ，１２１０−２Ａ，１２１０−３Ａ，及び１２１０−４Ａから読出すことができる。加えて、欠落したカラー表示画素（Ｍ）（図９（Ａ）及び図９（Ｂ）を参照）のため、前のロウ２（Ｅ−Ｒ１及びＥ−Ｒ２）のための部分画素データは、キャプチャ回路１２１０−１Ｂ及び１２１０−２Ｂから読出すことができる。
【００５４】
ロウ４がキャプチャされた場合、部分画素Ｋ−Ｒ１は、キャプチャ回路１２１０−１Ａ及び１２１０−１Ｄの両方でキャプチャされ、部分画素Ｋ−Ｒ２はキャプチャ回路１２１０−２Ａ及び１２１０−２Ｄの両方でキャプチャされ、部分画素Ｋ−Ｒ３はキャプチャ回路１２１０−３Ａ及び１２１０−３Ｄの両方でキャプチャされ、部分画素Ｋ−Ｒ４はキャプチャ回路１２１０−４Ａ及び１２１０−４Ｄの両方でキャプチャされる。次に、カラー表示画素（Ｋ）のために必要な、ロウ４のための部分画素データ（Ｋ−Ｒ１，Ｋ−Ｒ２，Ｋ−Ｒ３，及びＫ−Ｒ４）は、キャプチャ回路１２１０−１Ａ，１２１０−２Ａ，１２１０−３Ａ，及び１２１０−４Ａから読出すことができる。加えて、欠落したカラー表示画素（Ｌ）のため、前のロウ３（Ｅ−Ｒ３，Ｅ−Ｒ４，Ｈ−Ｒ１，及びＨ−Ｒ２）のための部分画素データは、キャプチャ回路１２１０−３Ｂ，１２１０−４Ｂ，１２１０−１Ｃ，及び１２１０−２Ｃからそれぞれ読出すことができる。
【００５５】
ロウ５がキャプチャされた場合、部分画素Ｚ−Ｒ１は、キャプチャ回路１２１０−１Ａ及び１２１０−１Ｄの両方でキャプチャされ、部分画素Ｚ−Ｒ２はキャプチャ回路１２１０−２Ａ及び１２１０−２Ｄの両方でキャプチャされ、部分画素Ｋ−Ｒ３はキャプチャ回路１２１０−３Ａ及び１２１０−３Ｄの両方でキャプチャされ、部分画素Ｋ−Ｒ４はキャプチャ回路１２１０−４Ａ及び１２１０−４Ｄの両方でキャプチャされる。次に、カラー表示画素（Ｚ）のために必要な、ロウ５のための部分画素データ（Ｚ−Ｒ１，Ｚ−Ｒ２，Ｚ−Ｒ３，及びＺ−Ｒ４）は、キャプチャ回路１２１０−１Ａ，１２１０−２Ａ，１２１０−３Ａ，及び１２１０−４Ａから読出すことができる。加えて、欠落したカラー表示画素（Ｐ）のため、前のロウ４（Ｈ−Ｒ３，Ｈ−Ｒ４，Ｋ−Ｒ１，及びＫ−Ｒ２）のための部分画素データは、キャプチャ回路１２１０−３Ｃ，１２１０−４Ｃ，１２１０−１Ｄ，及び１２１０−２Ｄからそれぞれ読出すことができる。
【００５６】
上記図９（Ａ）、図９（Ｂ）及び図１１乃至図１３を用いて説明されたキャプチャ及び読出し手順は、カラム全体のために繰り返される。さらに、説明されたキャプチャ及び読出し手順は、デジタル撮像の各カラムのために並列して繰り返すことができることを理解されるべきである。
【００５７】
図１４は、本発明の実施形態に係る図１１のカラム１１００のビニングされた部分画素データの例示的なキャプチャ及び読出しを示すテーブルである。図１０及び図１４を参照すると、ロウ２がキャプチャされるとき、部分画素Ｅ−Ｒ１，Ｅ−Ｒ２，Ｅ−Ｒ３，及びＥ−Ｒ４はビニングされキャプチャ回路１０１０−１でキャプチャされ、部分画素Ｅ−Ｒ１及びＥ−Ｒ２はビニングされキャプチャ回路１０１０−２へ加えられ、部分画素Ｅ−Ｒ３及びＥ−Ｒ４はビニングされキャプチャ回路１０１０−３でキャプチャされる。これを満足するために、部分画素Ｅ−Ｒ１及びＥ−Ｒ２がはじめにビニングされキャプチャ回路１０１０−１にキャプチャされキャプチャ回路１０１０−２へ加えられ、その後部分画素Ｅ−Ｒ３及びＥ−Ｒ４がビニングされキャプチャ回路１０１０−３にキャプチャされ、キャプチャ回路１０１０−１へ加えられる（Ｅ−Ｒ１，Ｅ−Ｒ２，Ｅ−Ｒ３，及びＥ−Ｒ４のビニングを完成するため）ことを注意すべきである。次に、カラー表示画素（Ｅ）に必要な、ロウ２（Ｅ−Ｒ１，Ｅ−Ｒ２，Ｅ−Ｒ３，及びＥ−Ｒ４）のための部分画素データは、キャプチャ回路１０１０−１から読出される。加えて、前のロウ１のための欠落したカラー表示画素を生成するために必要なキャプチャされた部分画素データは、キャプチャ回路１０１０−４から読出される。
【００５８】
ロウ３がキャプチャされるとき、部分画素Ｈ−Ｒ１，Ｈ−Ｒ２，Ｈ−Ｒ３，及びＨ−Ｒ４はビニングされキャプチャ回路１０１０−１でキャプチャされ、部分画素Ｈ−Ｒ１及びＨ−Ｒ２はビニングされキャプチャ回路１０１０−３へ加えられ、部分画素Ｈ−Ｒ３及びＨ−Ｒ４はビニングされキャプチャ回路１０１０−４でキャプチャされる。次に、カラー表示画素（Ｈ）に必要な、ロウ３（Ｈ−Ｒ１，Ｈ−Ｒ２，Ｈ−Ｒ３，及びＨ−Ｒ４）のための部分画素データは、キャプチャ回路１０１０−１から読出される。加えて、前のロウ２のための部分画素、欠落したカラー表示画素（Ｎ）を生成するために必要なキャプチャされた部分画素データは、キャプチャ回路１０１０−２から読出される。
【００５９】
ロウ４がキャプチャされるとき、部分画素Ｋ−Ｒ１，Ｋ−Ｒ２，Ｋ−Ｒ３，及びＫ−Ｒ４はビニングされキャプチャ回路１０１０−１でキャプチャされ、部分画素Ｋ−Ｒ１及びＫ−Ｒ２はビニングされキャプチャ回路１０１０−４へ加えられ、部分画素Ｋ−Ｒ３及びＫ−Ｒ４はビニングされキャプチャ回路１０１０−１でキャプチャされる。次に、カラー表示画素（Ｋ）に必要な、ロウ４（Ｋ−Ｒ１，Ｋ−Ｒ２，Ｋ−Ｒ３，及びＫ−Ｒ４）のための部分画素データは、キャプチャ回路１０１０−１から読出される。加えて、前のロウ３（Ｅ−Ｒ３，Ｅ−Ｒ４，Ｈ−Ｒ１，及びＨ−Ｒ２）ための部分画素、欠落したカラー表示画素（Ｌ）を生成するために必要なキャプチャされた部分画素データは、キャプチャ回路１０１０−３から読出される。
【００６０】
ロウ５がキャプチャされるとき、部分画素Ｚ−Ｒ１，Ｚ−Ｒ２，Ｚ−Ｒ３，及びＺ−Ｒ４はビニングされキャプチャ回路１０１０−１でキャプチャされ、部分画素Ｚ−Ｒ１及びＺ−Ｒ２はビニングされキャプチャ回路１０１０−２へ加えられ、部分画素Ｚ−Ｒ３及びＺ−Ｒ４はビニングされキャプチャ回路１０１０−３でキャプチャされる。次に、カラー表示画素（Ｚ）に必要な、ロウ５（Ｚ−Ｒ１，Ｚ−Ｒ２，Ｚ−Ｒ３，及びＺ−Ｒ４）のための部分画素データは、キャプチャ回路１０１０−１から読出される。加えて、前のロウ４（Ｈ−Ｒ３，Ｈ−Ｒ４，Ｋ−Ｒ１，及びＫ−Ｒ２）のための部分画素、欠落したカラー表示画素（Ｐ）を生成するために必要なキャプチャされた部分画素データは、キャプチャ回路１０１０−４から読出される。
【００６１】
上記図９（Ａ）、図９（Ｂ）、図１０、図１１及び図１４を用いて説明されたキャプチャ及び読出し手順は、カラム全体のために繰り返される。さらに、説明されたキャプチャ及び読出し手順は、デジタル撮像の各カラムのために並列して繰り返すことができることを理解されるべきである。この実施形態によれば、表示目的のための画素データは、外部メモリを必要とすることなく、直接的に撮像装置に送信することができる。
【００６２】
欠落したカラー画素を生成するための上記で説明した方法（補間又は以前にキャプチャした部分画素の使い方）は、水平方向の解像度を倍増する。しかし他の実施形態では、解像度は水平及び垂直の近接する方向のいずれも増大させることができ、又は部分画素アレイの解像度と一致させることさえ可能である。換言すると、約３７．５ミリオンの部分画素を有するデジタルカラー撮像装置は、同数の約３７．５ミリオンの表示画素を生成するために、以前にキャプチャした部分画素を利用することができる。
【００６３】
図１５は、本発明の実施形態に係る斜め４×４部分画素アレイを備える例示的なデジタルカラー撮像装置を示す。図１５の例において、任意の２つの隣接するカラー撮像画素の間において、ただ１つの欠落したカラー表示画素を生成する代わりに、本発明の実施形態は、カラー撮像部分画素アレイの解像度により許容される追加の欠落したカラー表示画素を生成する。図１５の例において、上記で説明した方法を用いることで、水平方向に隣接するカラー撮像画素の各ペアの間で、合計で３つの欠落したカラー表示画素Ａ，Ｂ，及びＣを生成することができる。加えて、上記で説明した方法を用いることで、垂直方向に隣接するカラー撮像画素の各ペアの間で、合計で３つの欠落したカラー表示画素Ｄ，Ｅ，及びＦを生成することができる。これらの欠落したカラー表示画素を計算するため、データがメモリに保存された後の計算を行うことができるように、個々の撮像部分画素データを外部メモリに格納させることができる。
【００６４】
上記で与えられた例は、図示及び説明のために４×４カラー撮像部分画素アレイを利用したが、他の部分画素アレイのサイズ（例えば、３×３）であってもまた使用できることを理解されるべきである。このような実施形態において、以前にキャプチャされたカラー撮像部分画素の”ジグザグ”パターンは、欠落したカラー表示画素を生成するために必要となるかもしれない。加えて、グレースケール画像キャプチャ及び表示として構成されるは、カラーの代わりとしても適用することが可能である。
【００６５】
上記で説明した欠落したカラー表示画素を生成することは、専用ハードウェア、プログラム及びデータを格納するメモリ（コンピュータが読出し可能な記憶媒体）、及びメモリに格納されるプログラムを実行するためのプロセッサの組み合わせを含む、図５の撮像装置チップアーキテクチャにより少なくとも部分的に実装することが可能であることを理解されるべきである。いくつかの実施形態において、ディプレイチップ及び撮像装置チップの外部のプロセッサは、斜めのカラー撮像画素及び／又は部分画素データを直交のカラー表示画素へマッピングし得、欠落したカラー表示画素を計算し得る。
【００６６】
この発明の実施形態としては添付の図面を参照することで十分に説明したが、様々な変形及び修正は当業者によれば明らかとなるであろうことを留意すべきである。そのような変形や修正は、添付の特許請求の範囲により定義されるこの発明の実施形態の範囲内に含まれることを理解されるべきである。
【技術分野】
【０００１】
本発明の実施形態は、デジタルカラーイメージセンサに関し、より特には、表示部でのカラー画素のためにデータを生成する部分画素のアレイを利用するイメージセンサの感度及びダイナミックレンジを向上させること、及び必要に応じてカラー部分画素アレイの解像度を向上させることに関する。
本願の対応出願としては、２００８年５月２２日に出願された米国出願番号１２／１２５，４６６の継続出願（ＣＩＰ）があり、この内容は全ての目的のために全体において参照により組み入れられる。
【背景技術】
【０００２】
デジタル画像キャプチャ装置は、今日の社会において、ユビキタスとなってきている。映画産業のための高精細ビデオカメラ、画像スキャナ、プロフェッショナル静止画撮影カメラ、消費者レベルの”ポイント・アンド・シュート”カメラ、及び携帯電話のような個人用携帯端末は、画像をキャプチャするためのデジタルカラーイメージセンサを一般的に利用する最新の装置のほんの一例である。上記画像キャプチャ装置にかかわらず、ほとんどの事例において、それらの装置のセンサが、キャプチャされる場面又は明るい領域と暗い領域との両方での細かい詳細をキャプチャすることができたときに、最も望ましい画像が生成される。換言すると、キャプチャされた画質は、多くの場合、キャプチャされ得る種々の光のレベルのディテールの量の関数である。例えば、場面の明るい領域と暗い領域との両方において細かいディテールを有する画像を生成することが可能なセンサは、一般的に、その明るい領域又は暗い領域のいずれかであってその両方で同時でない細かいディテールをキャプチャするセンサよりも優れていると思われている。単一画像における明るい領域と暗い領域との両方をキャプチャすることができる増大された能力を有するセンサは、より良好なダイナミックレンジを有しているものと考えられる。
【０００３】
だから、ダイナミックレンジの向上は、デジタル画像パフォーマンスを考えるために重要となっている。線形応答を有するセンサのために、それらのダイナミックレンジは、暗所でのノイズフロアの飽和レベルの出力の割合として定義され得る。線形応答を有するか有さない全ての画像センサのために、そのダイナミックレンジは、検出され得る光レベルの最小値と検出され得る光レベルの最大値との比により測定され得る。従来のダイナミックレンジの拡張方法は、２つの一般的なカテゴリに分類される：センサ構造を改良する、キャプチャの処理を改善する、又はこれらの２つを組み合わせる。
【０００４】
構造的アプローチは、画素レベルやセンサアレイレベルにおいて実施することができる。例えば、特許文献１は、画素セルにおいてＨＤＲトランジスタを導入する。追加の高電圧源を有する改良されたセンサアレイ及び電圧レベルシフタ回路は、特許文献２に提案されている。第２のカテゴリの典型的な方法は、複数フレームにわたる異なる露光（例えば、画像の明部と暗部との両方をキャプチャする２つの異なるフレームにおいて、長い及び短い露光）を使うこと、及びその後その２つのフレームからの結果を組み合わせることである。その詳細は、特許文献３及び特許文献４に記載される。特許文献５及び特許文献６には、２つのカテゴリの組み合わせを有する異なるアプローチが導入されている。特許文献７は、アレイ化されたカラム単位をベースとするアナログ画素値をデジタル形式に変換可能な固体撮像装置を開示する。特許文献８は、複数の画素セルからなる焦点面アレイを含むモノリシック相補型金属酸化膜半導体集積回路として形成された撮像装置を開示する。特許文献９は、感光領域に隣接して配置されたＦＥＴに接続されたセンスノードを有し、複数の画素の配列の外側に配置されたオペアンプの一対の差動入力を形成するもう１つのＦＥＴを有する感光装置を備えるＣＭＯＳ撮像装置を開示する。
【０００５】
増大されたダイナミックレンジに加えて、画素解像度を増大させることもまたデジタル画像化性能に対する重要な関心事である。従来のカラーデジタル撮像装置は典型的には、２×２アレイ（ベイヤパターン）において１つの赤色（Ｒ）の画素、２つの緑色（Ｇ）の画素、及び１つの青色（Ｂ）の画素から形成された、水平／垂直方向を有する。赤色及び青色の画素はサブサンプルされることができ、撮像装置の有効解像度を増大させるために補間されることができる。ベイヤパターンの画像処理は、２００８年３月２３日に出願された特許文献１０に記載され、この内容は全ての目的のためにそれらの全体において参照により組み入れられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７，２５９，４１２号明細書
【特許文献２】米国特許第６，８６１，６３５号明細書
【特許文献３】米国特許第７，１３３，０６９号明細書
【特許文献４】米国特許第７，１９０，４０２号明細書
【特許文献５】米国特許第７，２０２，４６３号明細書
【特許文献６】米国特許第６，０１８，３６５号明細書
【特許文献７】米国特許第７，５１８，６４６号明細書
【特許文献８】米国特許第５，９４９，４８３号明細書
【特許文献９】米国特許第６，０８４，２２９号明細書
【特許文献１０】米国特許出願第１２／１２６，３４７号明細書
【特許文献１１】米国特許第７，０４５，７５８号明細書
【特許文献１２】米国特許出願公開第２００７／００２４９３４号明細書
【特許文献１３】米国特許第７，０５７，１５０号明細書
【特許文献１４】米国特許第５，６２５，２１０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ベイヤパターンの補間は撮像装置の解像度の増大につながるが、今日において使用されるベイヤパターンのサブサンプリングは、一般的には、高画質のカラー画像を十分に生成していない。
【課題を解決するための手段】
【０００８】
本発明の実施態様は、異った露光で光をキャプチャして部分画素アレイを用いてキャプチャされた画像のダイナミックレンジを改善し、単一フレームの画像のためのカラー画素の出力を生成する。部分画素アレイは、スーパーサンプリングを利用し、一般的にハイエンド、高解像度なセンサやカメラ向けに提供される。部分画素アレイのそれぞれは、複数の部分画素を含み得る。部分画素アレイを構成する複数の部分画素は、赤色（Ｒ）の部分画素、緑色（Ｇ）の部分画素、青色（Ｂ）の部分画素、及びいつくかの実施態様においては、カラー（Ｃ）の部分画素を含み得る。透明な（モノクロ又はパナクロで知られる）部分画素はカラー画素よりも光をキャプチャするので、透明な部分画素の使用は、単一の露光期間の間の部分画素アレイに対して単一フレームにおいて、光子が発生した電荷の幅広い範囲をキャプチャすることを可能にさせることができる。透明な部分画素を有するこれらの部分画素アレイは、効果的により高い露光レベルを有し、透明な部分画素なしの部分画素アレイに比べて（暗部のために）低照度の場面をより良好にキャプチャすることができる。部分画素アレイのそれぞれは、部分画素アレイにおける複数の部分画素の出力の組み合わせであるカラー画素出力を生成することができる。部分画素アレイは斜めに配向させて、色のクロストークを最小化することにより、視覚解像度と色純度を向上させるために斜めに配向させることができる。部分画素アレイの部分画素のそれぞれは、同じ露光時間を有し得る、又はいくつかの実施態様において、ある部分画素アレイ内の個々の部分画素は異なった露光時間を有して、ダイナミックレンジ全体を改善させることができる。
【０００９】
斜めの縞状パターンにおいて１個のカラー画素を形成する３×３部分画素アレイの一例は、それぞれの色がチャンネルに配置された、複数のＲ，Ｇ，及びＢの部分画素を含む。一画素は、同じ色の３つの部分画素を含み得る。斜め縞状のフィルターは、特許文献１１に記載されている。斜め３×３部分画素のもう１つの例は、１つ又は複数の透明な部分画素を含む。透明な部分画素は、特許文献１２に教示されるように、カラー画素と離れて配置されていた。部分画素アレイの感度（ダイナミックレンジ）を向上するために、１つ又は複数のカラー部分画素は透明な画素と置き換えられ得る。アレイにおいて透明な画素をより多くの割合で用いるにつれて部分画素のカラー性能は低下する可能性があるが、３つ以上の透明な部分画素を有する部分画素アレイもまた使用可能である。より多くの透明な部分画素を用いることにより、より多くの光を検出できるためにその部分画素アレイのダイナミックレンジは向上し得るが、あまりカラー情報を得ることができない。より少ない透明な部分画素によれば、ダイナミックレンジはより減少するが、より多くのカラー情報を得ることができる。透明な部分画素は、他のカラー部分画素と比べて、６倍以上感度を向上し得る（つまり、透明な部分画素は、同じ光量が与えられたカラー部分画素よりも、光子が発生した電荷を６倍以上まで生成できる）。このように、透明な部分画素は、暗い画像も良好にキャプチャするが、同じ露光が与えられるカラー部分画素よりも少ない露光時間で露光オーバー（飽和）となる。
【００１０】
部分画素のそれぞれは、部分画素アレイにおける複数の部分画素の出力の組み合わせであるカラー画素出力を生成することができる。本発明のいくつかの実施態様において、全ての部分画素は同じ露光時間を有することができ、全ての部分画素出力は同じ範囲（例えば、［０，１］の間）で正規化され得る。最後のカラー画素の出力は、全ての部分画素の組み合わせられることができる（部分画素のタイプのそれぞれは異なるゲイン又は応答曲線を有する）。しかしながら、より高いダイナミックレンジが望ましい場合、個々の部分画素の露光時間は変えることができる（例えば、部分画素アレイにおける透明な部分画素はより長い時間で露光され得る一方で、カラー部分画素はより短い時間で露光され得る。）このような方法で、より暗いエリアであってもキャプチャできる一方、より短い時間で露光されたカラー部分画素は、より明るいエリアであってもキャプチャできる。とって代わって、透明な部分画素の部分は短い露光を有し得、ある部分は画像の非常に暗く非常に明るい領域をキャプチャするために長い露光を有し得る。とって代って、複数のカラー画素は、複数の部分画素に対して同じか又は同様の短期及び長期の露光の分布を有して、キャプチャされた画像内でのダイナミックレンジを拡張させることができる。使用される画素のタイプは、電荷結合素子（ＣＣＤｓ）、電荷注入素子（ＣＩＤｓ）、ＣＭＯＳアクティブ画素センサ（ＡＰＳｓ）、もしくはＣＭＯＳアクティブカラムセンサ（ＡＣＳｓ）、ローリングシャッタ、又はグローバルシャッタのいずれかが実装された受動フォトダイオード画素が用いられ得る。
【００１１】
本発明の実施態様はまた、斜めに配向されたカラー部分画素を用いて画像をサンプリングし、サンプリングされた画素データから付加的な画素を生成して、直交表示において完全な画像を形成することにより、撮像装置の解像度を増加させることができる。斜めの配置の実施態様はここでは提示しないが、直交のグリット上での他の画素レイアウトも同様に利用し得る。
【００１２】
第１の方法は、斜めの配置のカラー撮像画素をそれぞれ他の直交表示画素にマッピングする。欠落する表示画素は、隣接するカラー撮像画素からデータを補間することにより計算することができる。例えば、欠落する表示画面は、左右及び／又は上下に隣接する表示画素、又は四方に隣接する４つの全ての画素から、カラー情報を平均化することにより計算することができる。この平均化は、周辺の画素の重み付けにより、又は強度情報に基づき周辺の画素に重み付けを与えることにより行うことができる。この補償を行うことにより、水平方向の解像度を、画素の元の数の√２倍だけ有効的に増加させることができ、補間された画素数は表示画素の数を２倍とすることができる。
【００１３】
第２の方法は、補間の代わりにキャプチャされたカラー撮像装置の部分画素データを利用することである。直交表示のための欠落するカラー画素は簡単に、撮像装置におけるロウカラー画素間で形成される部分画素アレイから得ることができる。これを達成するために、１つの方法は、カラー画素がロウごとに読出された場合、メモリに全ての部分画素情報を格納することである。この方法によれば、欠落した画素は、格納されたデータを用いて処理することで再生されることができる。もう１つの方法は、カラー画素と上記のように計算された欠落した画素との両方を記憶し読出すことである。いくつかの実施態様においては、ビニング（グループ分け）を用いてもよい。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る、斜め縞状パターンのカラー画素を形成する例示的な３×３の部分画素アレイを示す。
【図２Ａ】本発明の実施形態に係る、各部分画素が１、２、及び３の透明な部分画素を備える斜めの例示的な３×３の部分画素アレイを示す。
【図２Ｂ】本発明の実施形態に係る、各部分画素が１、２、及び３の透明な部分画素を備える斜めの３×３の例示的な部分画素アレイを示す。
【図２Ｃ】本発明の実施形態に係る、各部分画素が１、２、及び３の透明な部分画素を備える斜めの例示的な３×３の部分画素アレイを示す。
【図３Ａ】本発明の実施形態に係る、各部分画素アレイデザインが異なる配置において透明な画素を有し、１，２，３，及び４と示された４つの繰り返しの部分画素アレイを有する例示的なデジタル画像センサの部分を示す。
【図３Ｂ】図３Ａのより詳細な例示的なセンサ部を示しており、Ｒ，Ｇ，Ｂ部分画素の３×３部分画素アレイのようなデザイン１，２，３及び４の４つの部分画素を示し、それぞれのデザインの異なるロケーションにおいてある透明な部分画素を示す。
【図４】本発明の実施形態に係る複数の部分画素アレイから形成されたセンサを含む例示的な画像キャプチャ装置を示す。
【図５】本発明の実施形態に係る複数の部分画素アレイから形成されたセンサを有して使用され得る例示的な画像プロセッサのハードウェアブロックを示す。
【図６】（Ａ）は例示的なカラー撮像装置での例示的なカラー画素アレイを示し、（Ｂ）は例示的なカラー表示装置での直交の例示的なカラー表示画素アレイを示す。
【図７】（Ａ）は本発明の実施形態に係る、この圧縮のために補償するための第１の方法を適用することができる例示的なカラー撮像アレイを示し、（Ｂ）は本発明の実施形態に係る、ディスプレイチップにおいて補間を適用することができる例示的な直交の表示画素アレイを示す。
【図８】本発明の実施形態に係る撮像装置チップにおいて同じカラーの部分画素の単一カラムのための例示的なビニング回路を示す。
【図９Ａ】本発明の実施形態に係る例示的な斜めのカラー撮像装置の一部であって、表示画素の水平方向の圧縮を補償するための例示的な第２の方法を示す。
【図９Ｂ】本発明の実施形態に係る例示的な直交表示画素アレイの一部を示す。
【図１０】本発明の実施形態に係る撮像装置チップにおいて同じカラーの撮像部分画素の単一カラムのための例示的な読出し回路の一部を示す。
【図１１】本発明の実施形態に係る追加的なキャプチャ回路において各カラムで使用される実施形態を説明するために表されるデジタル撮像装置の一部を示す。
【図１２】本発明の実施形態に係る例示的な読出し回路を示す。
【図１３】本発明の実施形態に係る図１１のカラムの撮像装置の部分画素データの例示的なキャプチャ及び読出しを示すテーブルである。
【図１４】本発明の実施形態に係る図１１のカラムの部分画素データの例示的なキャプチャ及び読出しの一例を示すテーブルである。
【図１５】本発明の実施形態に係る斜めの４×４部分画素アレイから成る例示的なデジタルカラー撮像装置を示す。
【発明を実施するための形態】
【００１５】
望ましい実施形態の以下の記載において、本実施形態の一部を形成する添付の図面を参照し、そこにおいて特定の実施形態において示される発明は実施可能であるように示される。他の実施形態を用いることができ、この発明の実施形態の範囲から外れることなく構造的な変形を形成することが可能であることを理解されるべきである。
【００１６】
本発明の実施形態は、異なる露光における光をキャプチャする部分画素アレイを用いてキャプチャされた画像のダイナミックレンジを改善することが可能であり、単一のフレームにおいて画像のためのカラー画素出力を生成することが可能である。部分画素アレイは本明細書に記載されるスーパーサンプリングを利用し、ハイエンド、高解像度なセンサやカメラ向けである。各部分画素アレイは、複数の部分画素を含み得る。部分画素アレイを構成する部分画素は、赤色（Ｒ）の部分画素、緑色（Ｇ）の部分画素、青色（Ｂ）の部分画素を含み得、いくつかの実施形態においては、透明な部分画素を含み得る。各カラー部分画素は、マイクロレンズによりそれぞれ覆われて曲線因子を増大させることが可能である。透明な部分画素は覆われるカラーフィルタを有さない部分画素である。透明な部分画素がカラー画素よりも光をキャプチャするので、透明な部分画素の使用は、アレイでの全ての画素のために、同じ露光期間の単一フレームにおいて、異なる露光をキャプチャすることを部分画素アレイに可能にさせる。透明な部分画素を有する部分画素アレイは、良好なより高い露光レベルを有し、透明な部分画素がないこれらの部分画素アレイよりも低い光（暗部のため）の場面をキャプチャすることができる。各部分画素アレイは、部分画素アレイでの複数の部分画素の出力の組み合わせであるカラー画素の出力をそれぞれ形成することができる。部分画素アレイは、斜めに配向され、クロストークを最小化することにより視覚解像度及びカラー純度を改善し得る。部分画素アレイでの各部分画素は、同じ露光時間を有し得る、又はいくつかの実施形態において、部分画素アレイにある個々の部分画素はさらに、ダイナミックレンジ全体を改善するために異なる露光時間を有し得る。本発明の実施形態によれば、重要な構成の変更や処理コストを伴わずに、ダイナミックレンジを改善することができる。
【００１７】
本発明の実施形態はまた、斜めに配向されたカラー部分画素を用いた画素をサンプリングしかつサンプリングされた画素データから直交表示において完全な画像を形成することにより付加的な画素を形成することで、撮像装置の解像度を増加させる。第１の方法は、斜め配向のカラー撮像画素をそれぞれ他の直交表示画素にマッピングすることである。欠落した表示画素は、隣接するカラー撮像画素からデータを補間することにより計算することができる。例えば、表示画面の欠落は、左右及び／又は上下に隣接する表示画素、又は四方に隣接する４つの全ての画素から、カラー情報を平均化することにより、計算することができる。第２の方法は、補間の代わりにキャプチャされたカラー撮像部分画素データを利用することである。直交表示による欠落したカラー画素は簡単に、撮像装置でのロウカラー画素間で形成される部分画素アレイから得ることができる。第２の方法は、解像度を増大させる数学的な補間なしに、カラー部分画素アレイのカラー画素に対してその結果得られるカラー画像解像度を最大化する。もちろん、補間は、アプリケーションがそれを必要な場合、その後に解像度をさらに達成するように利用されることが可能である。可変解像度を有する部分画素アレイは、撮像装置の解像度を最大化することにより、アナモフィックレンズの使用を容易にする。アナモフィックレンズは、通常水平軸に沿って、画像キャプチャのために与えられたフォーマットのフィルム又は固体撮像装置に合わせて画像の縦横比を絞る。本発明の部分画素撮像装置は、絞りがないキャプチャされた画像へ読出されることが可能であり、それをそのシーンの元の縦横比へ復元させることが可能である。
【００１８】
本発明の実施形態に係る部分画素アレイは、ここではハイエンドや、高解像度の撮像装置やカメラの観点で記載され図示されているが、向上されたダイナミックレンジやここで記載するセンサの実施形態や欠落した表示画素生成方法を利用可能な望まれる解像度のためのどのようなタイプの画像キャプチャ装置であっても良いことを理解されるべきである。さらに、部分画素アレイは、ここでは、円形のセンス領域を有する縞状の複数の画素を形成する部分画素の３×３アレイの観点で図示して説明をするが、他のアレイサイズや他の形状の画素であっても同様に適用し得る。加えて、部分画素アレイにおけるカラー部分画素は、Ｒ，Ｇ，及びＢの部分画素を含むように記載され、他の実施形態では、カラーは、シアン、マゼンタ、イエローの補色のようなＲ，Ｇ，及びＢ以外であっても使用可能であることが記載され、異なる色合い（例えば、青色の２つの異なる色合い）であっても適用可能である。これらの複数のカラーは、一般的に、第１、第２、及び第３のカラーとして記載されるが、これらの記載は特定の順序を意味するものではないことを理解されるべきである。
【００１９】
ダイナミックレンジの改善．図１は、本発明の実施形態に係る、斜め縞状パターンのカラー画素を形成する例示的な３×３の部分画素アレイを示す。部分画素アレイ１００は、複数の部分画素１０２を含み得る。部分画素アレイ１００を構成する部分画素１０２は、各色がチャンネルに配置された、Ｒ，Ｇ，及びＢの部分画素の部分画素を含み得る。円形は、各部分画素１０２の物理的な構成において有効なセンサ領域１０４を表し、そのギャップ１０６は、制御ゲートのような非センサ要素を表している。図１の例では、１つの画素１０８は、同じカラーの３つの部分画素を含む。図１は、３×３部分画素アレイを示しているが、他の実施形態では部分画素アレイは、例えば４×４部分画素アレイ等のように、部分画素の他の数から形成されることも可能である。各部分画素アレイはより大きくなるが最終的には単一のカラー画素出力のみを生成するため、同じ部分画素サイズにおいて、一般的にはより大きな画素アレイでは、空間解像度はより小さくなる。部分画素の選択は、デザインにより事前に決定され得るか、又はさまざまな組み合わせのためのソフトウェアの選択を通じてなされ得る。
【００２０】
図２Ａ、図２Ｂ、及び図２Ｃは、本発明の実施形態に係る、各部分画素が１、２、及び３の透明な部分画素を備える斜めの例示的な３×３の部分画素アレイ２００，２０２，及び２０４をそれぞれ示す。部分画素アレイの感度（ダイナミックレンジ）を向上するために、１つ又は複数のカラー部分画素が、図２Ａ、図２Ｂ、及び図２Ｃに示すカラー画素と置き換えられ得る。図２Ａ、図２Ｂ、及び図２Ｃに示すカラー部分画素の配置は単なる一例であり、カラー部分画素は部分画素アレイ内の他のどこかに配置することが可能であることを注意すべきである。さらに、図２Ａ、図２Ｂ、及び図２Ｃは、斜めの配向を示しているが、直交する部分画素の配向もまた採用することが可能である。
【００２１】
３つ以上の複数のカラー部分画素を有する部分画素アレイについても使用可能であるが、部分画素アレイのカラーパフォーマンスは、アレイに用いられるカラー部分画素のより高い割合につれて減少され得る。さらに複数の透明な部分画素を有すると、多くの光が検出され得るため部分画素アレイのダイナミックレンジは向上し得るが、得られるカラー情報はより減少する。透明な部分画素がより少ないと、ダイナミックレンジは、与えられる露光がより小さいために、減少するが、多くのカラー情報を得ることができる。透明なカラー部分画素は、より感度を向上でき、同じ露光時間が与えられたカラー部分画素よりも多くの光をキャプチャすることができる、なぜなら、それらは着色コーティングがされていない（例えば、カラーフィルタがない）ため、それらは暗い環境において役に立つことができる。換言すると、与えられる光量のため、透明な部分画素は、より大きな応答を処理することができ、それらはカラー部分画素よりも暗い場面をキャプチャすることができる。典型的なＲ、Ｇ、及びＢの部分画素のため、カラーフィルタは、他の２つのチャンネル（カラー）の光のほとんどをブロックし、同じカラーチャンネルの約半分の光だけを通過させることが可能である。そのため、透明な部分画素は、他のカラー部分画素と比べ、６倍以上感度を向上し得る（つまり、透明な部分画素は、同じ光量が与えられたカラー部分画素よりも、電圧を６倍まで生成できる）。だから、透明な部分画素は、暗い画像も十分にキャプチャするが、同じ露光時間が与えられるカラー部分画素よりも少ない露光時間で露光オーバー（飽和）となる。
【００２２】
図３Ａは、本発明の実施形態に係る、各部分画素アレイデザインが異なる配置において透明な画素を有し、１，２，３，及び４と示された４つの繰り返しの部分画素アレイを有する例示的なデジタル画像センサ部３００を示す。
【００２３】
図３Ｂは、図３Ａのより詳細なセンサ部３００を例示的に示しており、Ｒ，Ｇ，Ｂ部分画素の３×３部分画素アレイのようなデザイン１，２，３及び４の４つの部分画素を示し、各デザインの異なる配置においてある透明な部分画素を示している。透明な部分画素は、視覚的な強調の目的のみで太線で囲まれていることを注意すべきである。センサにおいていくつかの部分画素アレイデザインを有することにより、撮像装置において擬似ランダムの透明な部分画素分布を達成でき、画素の規則性によって引き起こされる予期せぬ低周波モアレパターンを低減することができる。図３Ｂで１つを示すように、斜めのデジタル部分画素アレイを有するセンサからの複数のカラー画素の出力が得られた後、さらに直交な画素配置の表示要求を満たすためにカラー画素を補間し、他のカラー画素の値を生成する処理を行うことができる。
【００２４】
上述したように、各部分画素は、部分画素アレイにおける複数の部分画素の出力の組み合わせであるカラー部分画素の出力を生成することができる。本発明のいくつかの実施形態では、全ての部分画素は同じ露光時間を有することができ、全ての部分画素の出力は同じ範囲（例えば、［０，１］の間）で正規化され得る。最後のカラー画素の出力は、全ての部分画素の組み合わせられることができる（部分画素のタイプのそれぞれは異なる応答曲線を有する）。
【００２５】
しかしながら、他の実施形態において、より高いダイナミックレンジが望ましい場合、個々の部分画素の露光時間を変えることができる（例えば、部分画素アレイでの透明な部分画素はより長い時間露光され得る一方、カラー部分画素はより短い時間露光され得る。）このように、より暗い領域であってもキャプチャできる一方、より短い時間で露光されたレギュラーカラー部分画素は、より明るい領域であってもキャプチャできる。
【００２６】
図４は、本発明の実施形態に係る複数の部分画素アレイから形成されたセンサ４０２を含む例示的な画像キャプチャ装置４００を示す。画像キャプチャ装置４００は、光４０６を透過し得るレンズ４０４を備えることができる。光学シャッタ４０８は、光４０６へのセンサ４０２の露光を制御することができる。当業者によりよく知られた、読出しロジック部４１０は、部分画素の出力を読出すためにセンサ４０２に接続され得、画像プロセッサ４１２内にそれが格納される。画像プロセッサ４１２は、メモリと、プロセッサと、上述した正規化演算と、補間演算と、画素露光制御演算とを実行するための他のロジック部とを含むことが可能である。読出しロジック部と画像プロセッサとがともにに搭載されたセンサ（撮像装置）は、単一の撮像装置チップで形成することができる。撮像装置チップの出力は、表示装置により駆動されるディプレイチップに接続されることができる。
【００２７】
図５は、本発明の実施形態に係る複数の部分画素アレイから形成されたセンサ（撮像装置）を有して使用され得る画像プロセッサ５００の例示的なハードウェアブロック図を示す。図５において、１つ又は複数のプロセッサ５３８は、ブートコード，ＢＩＯＳ，ファームフェア，ソフトフェア，及び上述した処理を実行するために必要ないくつかのテーブルを格納することができるＲＯＭ５４０，不揮発性の読出し／書込みメモリ５４２，及びランダムアクセスメモリ５４４に接続されることが可能である。必要に応じて、１つ又は複数のハードウェアインターフェイス５４６は、複数のＰＣ，ストレージデバイス等のような外部装置と通信するためのプロセッサ５３８及びメモリデバイスと接続されることが可能である。さらに、１つ又は複数の専用ハードウェアブロック，エンジン，及びステートマシン５４８は、所定の処理動作を行うためのプロセッサ５３８及びメモリデバイスに接続されることが可能である。
【００２８】
画素解像度の改善．図６（Ａ）は、例示的なカラー撮像装置６０２の例示的なカラー画素アレイ６００を示す。カラー撮像装置は、撮像装置チップの一部であっても良い。カラー撮像装置の画素アレイ６００は、１−１７でナンバリングされる複数のカラー画素６０８により成り、各カラー画素がさまざまなカラーの複数の部分画素により成る。（明瞭さのために、カラー画素６０８のいつかにのみ部分画素６１０を有するように示してある−その他のカラー画素は破線の円形でシンボル的に表される。）カラー画像は、斜めに配向されるカラー画素アレイ６００を用いてキャプチャされる。
【００２９】
図６（Ｂ）は、カラー表示装置６０６での直交のカラー表示画素アレイ６０４を例示的に示す。複数のカラー画像は、直交のカラー表示画素アレイ６０４を用いて表示され得る。画像キャプチャのために用いられた１７個のカラー画素は、図６（Ａ）に示すように、斜めに配向されるが、それにもかかわらず表示のためのカラー画素は、図６（Ｂ）に示すように、ロウ及びカラムに配置される。結果として、図６（Ａ）に示す１７個の斜めに配向されたカラー撮像画素のためにキャプチャされたカラー撮像画素データが、図６（Ｂ）に示す直交表示のカラー表示画素に与えられた場合、２つの方向における画素と表示との間の配置の違いのため、カラー表示画素は、図６（Ａ）及び図６（Ｂ）で破線の円形により表される画素の中央の比較から分かるように、水平方向に圧縮される。結果的に表示される画像は、円形が例えばスキニー、直立楕円として現れることなど、水平方向に圧縮されたように見える。
【００３０】
図７（Ａ）は本発明の実施形態に係る、この圧縮のために補償するための第１の方法を適用することができる例示的なカラー撮像アレイを示す。図７（Ａ）は、撮像装置チップにおいて２１８０個のロウ及び３８４０個のカラムから成る方向に配置されたカラー画素７０３のカラー撮像アレイ７００を示している。図６（Ｂ）に示すようにキャプチャされたカラー撮像画素を互いに直交に配置された表示画素へマッピングすることよりも、カラー撮像画素７０２は、他の全ての直交する表示画素が市松模様にマッピングされる。
【００３１】
図７（Ｂ）は、本発明の実施形態に係る、ディスプレイチップにおいて補間を適用することができる直交の表示画素アレイを例示的に示す。図７（Ｂ）に例示するように、キャプチャされたカラー撮像画素１，２，４，５，８，９，１１，１２，１５及び１６は、他の全ての直交表示画素にマッピングされる。欠落した表示画素（（Ａ），（Ｂ），（Ｃ），（Ｄ），（Ｅ），（Ｆ），（Ｇ），（Ｈ），（Ｉ）及び（Ｊ）として示す）は、隣接するカラー画素からデータを補償することにより生成されることができる。例えば、図７（Ｂ）で示す欠落した表示画素（Ｃ）は、表示画素４及び５，画素１及び８からカラー情報を平均することにより、又は最近接法を利用すること（画素１，４，５，及び８を平均化すること）により、又は他の補償技術を利用することにより、計算することができる。平均化は、周辺の表示画素の画質の重み付けを行うことにより、又は強度情報（プロセッサにより決定される）に基づき周辺の画素に重み付けを与えることにより、行うことができる。例えば、表示画素５が飽和状態であった場合、それは小さなカラー情報を有するため、より低い重み付け（例えば、２５％の代わりの２０％）を与えても良い。同様に、表示画素４が飽和状態でない場合、それは大きなカラー情報を有するため、より高い重み付け（例えば、２５％の代わりの３０％）を与えても良い。
【００３２】
表示画素の周辺の露光オーバーや露光不足の量に依存して、画素は、０％から１００％までのいずれかの重み付けがなされ得る。重み付けはまた、シャープな効果やソフトの効果のような、望ましい効果に基づき行うことができる。重み付けの使用は、１つの画素が飽和状態であって、隣接する画素が飽和状態でなく、明るい場面と暗い場面との間の急な移行を示唆するときに、特に効果的である。補間された表示画素が補間プロセスにおいて重み付けを行うことなく単に飽和状態の画素を利用するだけである場合、飽和状態の画素におけるカラー情報の不足は、補間された画素において、（十分なカラー情報なしに）いくらか飽和した状態が現れることを生じさせ、変異はそのシャープさを失う可能性がある。しかしながら、ソフトな画像や他の結果が望ましい場合、重み付けや方法は、それに応じて変更することが可能である。
【００３３】
本質的に、キャプチャされた撮像装置の画素を破棄する代わりに、本発明の実施形態は、整合されたＲＧＢ撮像装置の部分画素アレイに均等に配置された斜めのストライプフィルタを利用し、近くの表示画素メディアに合わせるために欠落した表示画素を生成する。人間の目は水平及び垂直方向に対して”もともと過敏”であり、人間の脳は水平及び垂直線を見るために点をつなぐように働くため、補間は満足する画像を作り出すことができる。最終的な結果は、高品質なカラー画像の表示を生成することである。
【００３４】
上述したような補間を行うことにより、水平方向の解像度が、良好に倍増されることができる。例えば、約１２．６ミリオン撮像装置の画素（赤、青、及び緑）又は約４．２ミリオンのカラー撮像装置の画素を形成し得る、約３７．７ミリオンの撮像装置の部分画素により成る５７６０個×２１８０個の撮像装置の画素アレイは、良好に総量を約８．４ミリオンカラー表示画素又は２５．１ミリオン表示画素（”４ｋ”カメラのためにおおよそ必要な量）に増加させるために、上述した補間技術を利用することできる。（用語”４ｋ”は、Ｒ，Ｇ，Ｂの各表示画像を４Ｋのサンプルが交差することを意味する（１２ｋ画素ワイド及び少なくとも１０８０個の画素よりも高く、本発明の実施形態を用いて現在達成され得る業界全体の目標を表す）。
【００３５】
カラー撮像装置の画素が上述したように補間され得る前に、その画素は読出される必要がある。カラー撮像装置の各部分画素は、別個に読出されることができ、又は”ビニング”プロセスとして知られる、それらが読出される前に２つ若しくはそれ以上の部分画素が結合されて読出されることができる。図７（Ａ）の例では、約３７．７ミリオン部分画素又はビニングされた約１２．６ミリオン画素が読出されることできる。撮像装置上でデジタル化される間、カラー撮像装置上のハードウェアで行うことができる。或いは、全てのロウ部分画素が読出されることができ、ビニングは他の場所で行うことができ、それは特殊効果にとって望ましいが、信号対雑音比の観点から少なくとも望ましいかもしれない。また、モニタ上の各表示画素のための多くの撮像装置の部分画素がある場合があるので、どのような検出された単一の画素も、部分画素アレイがスーパーサンプリングされたとき、どのような解像度の顕著な損失なしに、簡単に訂正することができる。例えば、図７（Ａ）に例示する装置では、モニタ上の１つの青色の画素を構成する３つの部分画素がある。３つの青色の部分画素の１つ又は２つが検出された場合、部分的にサンプルされたベイヤパターンの撮像装置アレイのケースにおいて、解像度の損失なく、残存する１つ又は２つの良好な青色の部分画素を使用することができる。
【００３６】
図８は、本発明の実施形態に係る撮像装置チップにおいて同じカラーの部分画素の単一カラム８０２のための例示的なビニング回路８００を示す。例示的なデジタル撮像装置の部分画素８０２−１乃至８０２−６の６つの部分画素のそれぞれに、１つのビニングノード８０６があることを理解されるべきである。図８の例では、１カラムの同じカラーの６つの部分画素８０２−１乃至８０２−６（例えば、６つの赤色の部分画素）は、斜め方向で配向されており、６つの異なる複数の選択ＦＥＴ（又は他のトランジスタ）８０４は共通のセンスノード８０６で部分画素８０２に接続され、これは２つのロウに対して６つの画素の１つのグループを持って継続して繰り返される。選択された複数のＦＥＴ８０４は、６つの異なる転送線Ｔｘ１−Ｔｘ６により制御される。センスノード８０６は、ある回路を駆動し又は複数のキャプチャ回路８１０に接続される、アンプ又は比較器８０８に接続される。ＦＥＴ８２０は、６つの部分画素の各グループに配置される異なるアンプ８０８の入力ＦＥＴの１つである。センスノード８０６に画素バックグラウンドレベルのバイアスが与えられると、アンプ８０８が完了し、ＦＥＴ８２０がオンする。アンプと組み合わされてシェアされた画素は、特許文献１２に記載され、それは全ての目的のために全体において参照により組み入れられるため、ここでは繰り返されていない。リセット線８１２はリセットスイッチ８１６がオンすると同時にアサートされ、リセットバイアス８１４をセンスノード８０６に与える。シェアされた画素８０２−１乃至８０２−６の結果、６つの画素のどのような数もセンスノードのサンプリングの前に、複数のＦＥＴ Ｔｘ１乃至Ｔｘ６がオンすることによって同時に読出されることができる。１以上の部分画素が一度に読出されることは、ビニングとして知られている。
【００３７】
続いて図８を参照すると、部分画素８０２の望ましい実施形態としては固定フォトダイオードを利用することであり、それは選択ＦＥＴ８０４のソースに接続され、ＦＥＴのドレインはセンスノード８０６に接続される。固定フォトダイオードとしては、フォトダイオードによりキャプチャされた光子発生した電荷をセンスノード８０６へ転送するような全ての又はほとんどが許容される。固定フォトダイオードを形成する１つの方法は、特許文献１３に記載され、それは全ての目的のために全体において参照により組み入れられるため、ここでは繰り返さない。ＦＥＴ８０４のドレインは、リセットバイアス８１４を用いて約２．５Ｖでプリセットされ得るので、ＦＥＴのゲートが転送線Ｔｘによりオンしたとき、実質的に、部分画素８０２の固定フォトダイオードのアノードに接続された電荷の全ては、センスノード８０６に転送され得る。なぜなら、センスノード８０６は所定の容量及びセンスノードの降下電圧（例えば、ある実施形態においては、約２．５Ｖから多分２．１Ｖへ）を有し、電荷がセンスノード上の１つ又は複数の部分画素から転送されたとき、転送された電荷の量は式Ｑ＝ＣＶにより決定されるからである。サンプリングの前に１つ以上の部分画素有する電荷がセンスノード８０６上に転送されたとき、それはアナログビニングであると考えられる。
【００３８】
いくつかの実施形態において、このポストチャージ転送電圧レベルは、アンプとして構成されたデバイス８０８により受け取ることができ、それは各電荷転送量の出力を生成する。アンプ８０８の出力はその後、キャプチャ回路８１０によりキャプチャされることができる。キャプチャ回路８１０は、アンプ８０８の出力をデジタル化するアナログデジタル変換器（ＡＤＣ）を含むことができる。各電荷転送量の値はその後、検出され、ラッチ部、蓄電部、又はその後の読出しのための他のメモリ部に格納される。いくつかの実施形態において、その後のデジタルビニング動作におけるキャプチャ回路８１０は、ラッチ又は蓄電器から与えられる１つ又は複数の部分画素からの各電荷転送量を許容することができ、そこで以下においてより詳細に説明するようなより複雑なビニングシーケンスを可能とする。
【００３９】
いくつかの実施形態において、蓄電器は、ビニングされた全ての部分画素のため電荷転送の総量のそれぞれを計数するカウンタとすることができる。新たな部分画素又は部分画素のグループがセンスノード８０６に接続されるとき、そのカウンタは、その最後の状態から計数を開始することができる。ＤＡＣ８１８の出力する間はセンスノード８０６よりも大きく、比較器は状態を変化させず、及びカウンタは計数し続ける。ＤＡＣ８１８の出力がセンスノード８０６（比較器の他の入力に接続される）上の値を越えるポイントに下げるとき、比較器は状態を変化し、ＤＡＣ及びカウンタを止める。ＤＡＣ８１８は、いずれかの方向にランプで動作させることができるが、望ましい実施形態としては、ランプは高く（２．５Ｖ）開始し、その後低くなり得る。ほとんどの画素としては、リセットレベル（又は黒色）近傍であり、これは早い背景のデジタル化のために許容される。ＤＡＣが止った時のカウンタの値は、１つ又は複数の部分画素の各電荷転送の総量である。特許文献７（全ての目的のために全体において参照により組み入れられる）に記載されるように、転送された各部分画素の電荷の値を格納するためのいくつかの技術が記載されており、例示の目的のために上述されたそれらや、他の技術は、本発明の実施形態に適用され得る。
【００４０】
他の実施形態において、デジタルアナログ変換器８１８のデジタル入力値はカウントアップされ、比較器として構成されたデバイス８０８の入力の一つとして供給され得るアナログランプを生成する。アナログランプがセンスノード８１８上の値を越えるとき、比較器は、状態を変化し、センスノード８０６上に接続された各電荷の値でＤＡＣ８１８のデジタル入力値をフリーズさせる。キャプチャ回路８１０はその後、ラッチ部、蓄電部、又はその後の読出しのための他のメモリ部に、そのデジタル入力を格納することができる。このように、部分画素８０２−１乃至８０２−３は、デジタルビニングが可能である。部分画素８０２−１乃至８０２−３がビニングされると、Ｔｘ１−Ｔｘ３は部分画素８０２−１乃至８０２−３から切り離され、リセット信号８１２はセンスノード８０６をリセットバイアス８１４へリセットすることができる。
【００４１】
上述したように、選択された複数のＦＥＴ８０４は６つの異なる転送線Ｔｘ１−Ｔｘ６により制御される。読出しのための準備において画素データの１個のロウがビニングされるとき、Ｔｘ１−Ｔｘ３は、Ｔｘ４−Ｔｘ６が部分画素８０２−４乃至８０２−６の切断を維持している間、部分画素８０２−１乃至８０２−３をセンスノード８０６へ接続させることができる。読出しのための準備において画素データの次のロウがビニングする準備のとき、Ｔｘ４−Ｔｘ６は、Ｔｘ１−Ｔｘ３が部分画素８０２−１乃至８０２−３の切断を維持している間、部分画素８０２−４乃至８０２−６をセンスノード８０６へ接続させることができ、センスノード上に接続された電荷のデジタル表現は上述したようにキャプチャされる。部分画素８０２−４乃至８０２−６上の電荷がアンプ８０８によりセンスされた後、Ｔｘ１−Ｔｘ３は部分画素８０２−４乃至８０２−６から切り離され、リセット信号８１２がセンスノード８０６からリセットバイアス８１４へリセットされ得る。
【００４２】
前の例として各ロウの出力の前に３個の部分画素のビニングを説明したが、どのような複数の部分画素であってもビニング可能であることを理解されるべきである。加えて、前の例として、選択された複数のＦＥＴ８０４を介してセンスノード８０６に接続される６つの部分画素を説明したが、どのような数の部分画素であっても選択された複数のＦＥＴ８０４を介してセンスノード８０６に共通に接続可能であり、それらのどの時点の部分画素のサブセットであっても良いことを理解されるべきである。さらに、選択された複数のＦＥＴ８０４は、どのようなシーケンスであっても、また効果的な複数のビニング配置のためにＦＥＴ８１６と共に接続されるどのような並列の組み合わせであっても、ターンオン及びオフが可能であることを理解されるべきである。図８のされた複数のＦＥＴは、図５に示されるメモリに格納されるコードをプロセッサが実行することにより、制御され得る。最後に、説明のためにここではいくつかのビニング回路を説明したが、他のビニング回路であっても本発明の実施形態に関して適用することが可能である。
【００４３】
上記説明から、同じカラーの部分画素のカラム全体がどのようにビニング可能であるか、及び一度につき１個のカラムで、どのように同じビニング回路を用いて読出すために格納されることが可能であるかを理解されるべきである。説明したように、図８のアーキテクチャは、アプリケーションが必要とするように実行可能なアナログ及びデジタルの複数のビニングの組み合わせであっても良い。一度につき１個のカラムで、撮像装置アレイ全体のためにビニングされた画素データがキャプチャされ得、読出され得るように、このプロセスは、全ての他のカラム及びロウと並行に繰り返され得る。上述した補間はその後、カラー撮像装置又はその他の内で、実行され得る。
【００４４】
図９Ａは、本発明の実施形態に係る斜めの例示的なカラー撮像装置９００を示し、表示画素の水平方向の圧縮を補償するための例示的な第２の方法を示す。図９Ａの例において、カラー撮像装置９００は、複数の４×４カラー撮像装置の部分画素アレイ９０２（Ａ乃至Ｋ及びＺとラベルされる）を含むが、カラー撮像装置のアレイは撮像装置内で使用可能などのようなサイズであっても良いこと理解されるべきである。図９Ａの例において、各４×４カラー撮像装置の部分画素アレイ９０２は、４つの赤色（Ｒ）の部分画素、８つの緑色（４つのＧ１及び４つのＧ２）の部分画素、及び４つの青色（Ｂ）の部分画素を含むが、部分画素の色の他の組み合わせ（カラー部分画素の異なる形状、補色、又はカラー部分画素）も可能である。各カラー撮像装置の部分画素１００２は、カラー画素を構成する。
【００４５】
図９Ｂは、本発明の実施形態に係る例示的な直交の表示画素アレイ９０２を示す。図９Ａのキャプチャされたカラー撮像画素のマッピングに比べ、図９Ｂにおける他のすべての表示画素は直交的であり、隣接するカラー表示素子からデータを補間することにより欠落したカラー表示画素を計算し、この実施形態に係るディプレイチップは、キャプチャされたカラーの撮像装置の画素を他のすべての直交する表示画素にマッピングし、以前にキャプチャされた部分画素データを利用することにより欠落したカラー表示画素を生成する。例えば、図９Ｂの欠落したカラー表示画素（Ｌ）は単に、図９Ａのカラーの撮像装置の画素アレイ（Ｌ）から直接的に得ることができる。換言すると、図９Ｂの直交な表示画素アレイを背景として、欠落したカラーの表示画素アレイ（Ｌ）は直接的に、周辺のカラー画素アレイ（Ｅ），（Ｇ），（Ｈ）及び（Ｊ）から以前にキャプチャした部分画素のデータについて得ることができる。同様の方法で生成され得る図９Ａ及び図９Ｂに示す他の欠落したカラー表示画素は、画素（Ｎ），（Ｍ）及び（Ｐ）を含む。
【００４６】
図１０は、本発明の実施形態に係る撮像装置チップにおいて同じカラーの撮像部分画素の単一カラム１００２のための例示的な読出し回路１０００を示す。デジタル撮像装置における部分画素の各カラムのために１つの読出し回路があることを再度理解されるべきである。
【００４７】
以前のキャプチャされた部分画素データを利用するために、実施形態において全ての部分画素の情報は、部分画素の各ロウが読出されるときに、オフチップメモリに格納され得る。各部分画素を読出すためには、ビニングは発生しない。その代わり、所定のロウがキャプチャされたとき、各部分画素１００２−１乃至１００２−４は、転送線Ｔｘ１−Ｔｘ４により制御される複数のＦＥＴ１００４を用いて、異なる時に別々にセンスノード１００６に接続され、各部分画素の転送電荷の表示は、その後の読出しのために転送線Ｔｘ５−Ｔｘ８により制御される複数のＦＥＴ１０１６を用いて、キャプチャ回路１０１０−１乃至１０１０−４に接続される。図１０の例は、各カラムについて４つのキャプチャ回路１０１０−１乃至１０１０−４を示しているが、他の実施形態においてより少ないキャプチャ回路でも適用可能であることを理解されるべきである。より少ないと見られるキャプチャ回路が用いられた場合、部分画素は転送線Ｔｘ１−Ｔｘ８の制御下で、ある程度直列にキャプチャされ読出される必要があるであろう。
【００４８】
このように各撮像部分画素が格納され読出されると、欠落したカラー表示画素は、オフチッププロセッサ又は撮像部分画素データを用いる他の回路により、生成されることができる。しかしながら、この方法は、短い時間間隔において後の処理のために読出され及びオフチップメモリに格納されるかなりの量のキャプチャされた撮像部分画素データを必要とするため、速度とメモリの制約が存在し得る。例えば、製品がロウコストなセキュリティカメラやモニタである場合、撮像部分画素データを格納するための全てにおいてどのようなオフチップメモリも有さないことが望ましい−その代わりに、データは表示のために直接的にモニタに送信される。そのような製品において、欠落したカラー表示画素の生成するオフチップは、実用的でないかもしれない。
【００４９】
他の実施形態において以下で説明するように、追加のキャプチャ回路は、撮像部分画素を格納するために各カラムで使用され、又は外部オフチップメモリ又は／及び外部処理の必要性を低減するために画素データを使用できる。説明のために２つの代替的な実施形態を示すが、以前のキャプチャ撮像部分画素データを利用するために、欠落したカラー表示画素を生成する他の同様の方法もまた適用可能であることを理解されるべきである。
【００５０】
図１１は、キャプチャ回路において各カラムで使用される実施形態を説明するために表される本発明の実施形態に係る例示的なデジタル撮像装置の一部を示す。図１１において、４×４部分画素アレイＥ，Ｆ，Ｇ，Ｊ，Ｋ，及びＺが示され、部分画素アレイＥ，Ｈ，Ｋ，及びＺに広がる赤色の部分画素のカラム１１００は、説明の目的のみで強調される。図１１の命名及び他の以下の図は、その部分画素アレイの文字と部分画素の識別子により部分画素を識別する。例えば、部分画素”Ｅ−Ｒ１”は、部分画素アレイＥの第１の赤色の部分画素（Ｒ１）を示す。この例は、以下において、各カラムのため全部で１６個又は４個のキャプチャ回路を説明するが、異なる数のキャプチャ回路を有する他の読出し回路の配置もまた可能であり、本発明の実施形態の範囲内であることを理解されるべきである。
【００５１】
図１２は、本発明の実施形態に係る例示的な読出し回路１２００を示す。図１２の例では、１６個のキャプチャ回路１２１０が、４個の部分画素ごとに、各読出し回路１２００のために必要である。
【００５２】
図１３は、本発明の実施形態に係る図１１のカラム１１００のための撮像部分画素データの例示的なキャプチャ及び読出しを示すテーブルである。図１２及び図１３で述べたように、ロウ２がキャプチャされる場合、部分画素Ｅ−Ｒ１はキャプチャ回路１２１０−１Ａ及び１２１０−１Ｂの両方でキャプチャされ、部分画素Ｅ−Ｒ２はキャプチャ回路１２１０−２Ａ及び１２１０−２Ｂの両方でキャプチャされ、部分画素Ｅ−Ｒ３はキャプチャ回路１２１０−３Ａ及び１２１０−３Ｂの両方でキャプチャされ、部分画素Ｅ−Ｒ４はキャプチャ回路１２１０−４Ａ及び１２１０−４Ｂの両方でキャプチャされる。次に、カラー表示画素（Ｅ）（図９（Ａ）及び図９（Ｂ）を参照）のために必要な、ロウ２のための部分画素データ（Ｅ−Ｒ１，Ｅ−Ｒ２，Ｅ−Ｒ３，及びＥ−Ｒ４）は、キャプチャ回路１２１０−１Ａ，１２１０−２Ａ，１２１０−３Ａ，及び１２１０−４Ａから読出すことができる。
【００５３】
ロウ３がキャプチャされた場合、部分画素Ｈ−Ｒ１は、キャプチャ回路１２１０−１Ａ及び１２１０−１Ｃの両方でキャプチャされ、部分画素Ｈ−Ｒ２はキャプチャ回路１２１０−２Ａ及び１２１０−２Ｃの両方でキャプチャされ、部分画素Ｈ−Ｒ３はキャプチャ回路１２１０−３Ａ及び１２１０−３Ｃの両方でキャプチャされ、部分画素Ｈ−Ｒ４はキャプチャ回路１２１０−４Ａ及び１２１０−４Ｃの両方でキャプチャされる。次に、カラー表示画素（Ｈ）（図９（Ａ）及び図９（Ｂ）を参照）のために必要な、ロウ３のための部分画素データ（Ｈ−Ｒ１，Ｈ−Ｒ２，Ｈ−Ｒ３，及びＨ−Ｒ４）は、キャプチャ回路１２１０−１Ａ，１２１０−２Ａ，１２１０−３Ａ，及び１２１０−４Ａから読出すことができる。加えて、欠落したカラー表示画素（Ｍ）（図９（Ａ）及び図９（Ｂ）を参照）のため、前のロウ２（Ｅ−Ｒ１及びＥ−Ｒ２）のための部分画素データは、キャプチャ回路１２１０−１Ｂ及び１２１０−２Ｂから読出すことができる。
【００５４】
ロウ４がキャプチャされた場合、部分画素Ｋ−Ｒ１は、キャプチャ回路１２１０−１Ａ及び１２１０−１Ｄの両方でキャプチャされ、部分画素Ｋ−Ｒ２はキャプチャ回路１２１０−２Ａ及び１２１０−２Ｄの両方でキャプチャされ、部分画素Ｋ−Ｒ３はキャプチャ回路１２１０−３Ａ及び１２１０−３Ｄの両方でキャプチャされ、部分画素Ｋ−Ｒ４はキャプチャ回路１２１０−４Ａ及び１２１０−４Ｄの両方でキャプチャされる。次に、カラー表示画素（Ｋ）のために必要な、ロウ４のための部分画素データ（Ｋ−Ｒ１，Ｋ−Ｒ２，Ｋ−Ｒ３，及びＫ−Ｒ４）は、キャプチャ回路１２１０−１Ａ，１２１０−２Ａ，１２１０−３Ａ，及び１２１０−４Ａから読出すことができる。加えて、欠落したカラー表示画素（Ｌ）のため、前のロウ３（Ｅ−Ｒ３，Ｅ−Ｒ４，Ｈ−Ｒ１，及びＨ−Ｒ２）のための部分画素データは、キャプチャ回路１２１０−３Ｂ，１２１０−４Ｂ，１２１０−１Ｃ，及び１２１０−２Ｃからそれぞれ読出すことができる。
【００５５】
ロウ５がキャプチャされた場合、部分画素Ｚ−Ｒ１は、キャプチャ回路１２１０−１Ａ及び１２１０−１Ｄの両方でキャプチャされ、部分画素Ｚ−Ｒ２はキャプチャ回路１２１０−２Ａ及び１２１０−２Ｄの両方でキャプチャされ、部分画素Ｋ−Ｒ３はキャプチャ回路１２１０−３Ａ及び１２１０−３Ｄの両方でキャプチャされ、部分画素Ｋ−Ｒ４はキャプチャ回路１２１０−４Ａ及び１２１０−４Ｄの両方でキャプチャされる。次に、カラー表示画素（Ｚ）のために必要な、ロウ５のための部分画素データ（Ｚ−Ｒ１，Ｚ−Ｒ２，Ｚ−Ｒ３，及びＺ−Ｒ４）は、キャプチャ回路１２１０−１Ａ，１２１０−２Ａ，１２１０−３Ａ，及び１２１０−４Ａから読出すことができる。加えて、欠落したカラー表示画素（Ｐ）のため、前のロウ４（Ｈ−Ｒ３，Ｈ−Ｒ４，Ｋ−Ｒ１，及びＫ−Ｒ２）のための部分画素データは、キャプチャ回路１２１０−３Ｃ，１２１０−４Ｃ，１２１０−１Ｄ，及び１２１０−２Ｄからそれぞれ読出すことができる。
【００５６】
上記図９（Ａ）、図９（Ｂ）及び図１１乃至図１３を用いて説明されたキャプチャ及び読出し手順は、カラム全体のために繰り返される。さらに、説明されたキャプチャ及び読出し手順は、デジタル撮像の各カラムのために並列して繰り返すことができることを理解されるべきである。
【００５７】
図１４は、本発明の実施形態に係る図１１のカラム１１００のビニングされた部分画素データの例示的なキャプチャ及び読出しを示すテーブルである。図１０及び図１４を参照すると、ロウ２がキャプチャされるとき、部分画素Ｅ−Ｒ１，Ｅ−Ｒ２，Ｅ−Ｒ３，及びＥ−Ｒ４はビニングされキャプチャ回路１０１０−１でキャプチャされ、部分画素Ｅ−Ｒ１及びＥ−Ｒ２はビニングされキャプチャ回路１０１０−２へ加えられ、部分画素Ｅ−Ｒ３及びＥ−Ｒ４はビニングされキャプチャ回路１０１０−３でキャプチャされる。これを満足するために、部分画素Ｅ−Ｒ１及びＥ−Ｒ２がはじめにビニングされキャプチャ回路１０１０−１にキャプチャされキャプチャ回路１０１０−２へ加えられ、その後部分画素Ｅ−Ｒ３及びＥ−Ｒ４がビニングされキャプチャ回路１０１０−３にキャプチャされ、キャプチャ回路１０１０−１へ加えられる（Ｅ−Ｒ１，Ｅ−Ｒ２，Ｅ−Ｒ３，及びＥ−Ｒ４のビニングを完成するため）ことを注意すべきである。次に、カラー表示画素（Ｅ）に必要な、ロウ２（Ｅ−Ｒ１，Ｅ−Ｒ２，Ｅ−Ｒ３，及びＥ−Ｒ４）のための部分画素データは、キャプチャ回路１０１０−１から読出される。加えて、前のロウ１のための欠落したカラー表示画素を生成するために必要なキャプチャされた部分画素データは、キャプチャ回路１０１０−４から読出される。
【００５８】
ロウ３がキャプチャされるとき、部分画素Ｈ−Ｒ１，Ｈ−Ｒ２，Ｈ−Ｒ３，及びＨ−Ｒ４はビニングされキャプチャ回路１０１０−１でキャプチャされ、部分画素Ｈ−Ｒ１及びＨ−Ｒ２はビニングされキャプチャ回路１０１０−３へ加えられ、部分画素Ｈ−Ｒ３及びＨ−Ｒ４はビニングされキャプチャ回路１０１０−４でキャプチャされる。次に、カラー表示画素（Ｈ）に必要な、ロウ３（Ｈ−Ｒ１，Ｈ−Ｒ２，Ｈ−Ｒ３，及びＨ−Ｒ４）のための部分画素データは、キャプチャ回路１０１０−１から読出される。加えて、前のロウ２のための部分画素、欠落したカラー表示画素（Ｎ）を生成するために必要なキャプチャされた部分画素データは、キャプチャ回路１０１０−２から読出される。
【００５９】
ロウ４がキャプチャされるとき、部分画素Ｋ−Ｒ１，Ｋ−Ｒ２，Ｋ−Ｒ３，及びＫ−Ｒ４はビニングされキャプチャ回路１０１０−１でキャプチャされ、部分画素Ｋ−Ｒ１及びＫ−Ｒ２はビニングされキャプチャ回路１０１０−４へ加えられ、部分画素Ｋ−Ｒ３及びＫ−Ｒ４はビニングされキャプチャ回路１０１０−１でキャプチャされる。次に、カラー表示画素（Ｋ）に必要な、ロウ４（Ｋ−Ｒ１，Ｋ−Ｒ２，Ｋ−Ｒ３，及びＫ−Ｒ４）のための部分画素データは、キャプチャ回路１０１０−１から読出される。加えて、前のロウ３（Ｅ−Ｒ３，Ｅ−Ｒ４，Ｈ−Ｒ１，及びＨ−Ｒ２）ための部分画素、欠落したカラー表示画素（Ｌ）を生成するために必要なキャプチャされた部分画素データは、キャプチャ回路１０１０−３から読出される。
【００６０】
ロウ５がキャプチャされるとき、部分画素Ｚ−Ｒ１，Ｚ−Ｒ２，Ｚ−Ｒ３，及びＺ−Ｒ４はビニングされキャプチャ回路１０１０−１でキャプチャされ、部分画素Ｚ−Ｒ１及びＺ−Ｒ２はビニングされキャプチャ回路１０１０−２へ加えられ、部分画素Ｚ−Ｒ３及びＺ−Ｒ４はビニングされキャプチャ回路１０１０−３でキャプチャされる。次に、カラー表示画素（Ｚ）に必要な、ロウ５（Ｚ−Ｒ１，Ｚ−Ｒ２，Ｚ−Ｒ３，及びＺ−Ｒ４）のための部分画素データは、キャプチャ回路１０１０−１から読出される。加えて、前のロウ４（Ｈ−Ｒ３，Ｈ−Ｒ４，Ｋ−Ｒ１，及びＫ−Ｒ２）のための部分画素、欠落したカラー表示画素（Ｐ）を生成するために必要なキャプチャされた部分画素データは、キャプチャ回路１０１０−４から読出される。
【００６１】
上記図９（Ａ）、図９（Ｂ）、図１０、図１１及び図１４を用いて説明されたキャプチャ及び読出し手順は、カラム全体のために繰り返される。さらに、説明されたキャプチャ及び読出し手順は、デジタル撮像の各カラムのために並列して繰り返すことができることを理解されるべきである。この実施形態によれば、表示目的のための画素データは、外部メモリを必要とすることなく、直接的に撮像装置に送信することができる。
【００６２】
欠落したカラー画素を生成するための上記で説明した方法（補間又は以前にキャプチャした部分画素の使い方）は、水平方向の解像度を倍増する。しかし他の実施形態では、解像度は水平及び垂直の近接する方向のいずれも増大させることができ、又は部分画素アレイの解像度と一致させることさえ可能である。換言すると、約３７．５ミリオンの部分画素を有するデジタルカラー撮像装置は、同数の約３７．５ミリオンの表示画素を生成するために、以前にキャプチャした部分画素を利用することができる。
【００６３】
図１５は、本発明の実施形態に係る斜め４×４部分画素アレイを備える例示的なデジタルカラー撮像装置を示す。図１５の例において、任意の２つの隣接するカラー撮像画素の間において、ただ１つの欠落したカラー表示画素を生成する代わりに、本発明の実施形態は、カラー撮像部分画素アレイの解像度により許容される追加の欠落したカラー表示画素を生成する。図１５の例において、上記で説明した方法を用いることで、水平方向に隣接するカラー撮像画素の各ペアの間で、合計で３つの欠落したカラー表示画素Ａ，Ｂ，及びＣを生成することができる。加えて、上記で説明した方法を用いることで、垂直方向に隣接するカラー撮像画素の各ペアの間で、合計で３つの欠落したカラー表示画素Ｄ，Ｅ，及びＦを生成することができる。これらの欠落したカラー表示画素を計算するため、データがメモリに保存された後の計算を行うことができるように、個々の撮像部分画素データを外部メモリに格納させることができる。
【００６４】
上記で与えられた例は、図示及び説明のために４×４カラー撮像部分画素アレイを利用したが、他の部分画素アレイのサイズ（例えば、３×３）であってもまた使用できることを理解されるべきである。このような実施形態において、以前にキャプチャされたカラー撮像部分画素の”ジグザグ”パターンは、欠落したカラー表示画素を生成するために必要となるかもしれない。加えて、グレースケール画像キャプチャ及び表示として構成されるは、カラーの代わりとしても適用することが可能である。
【００６５】
上記で説明した欠落したカラー表示画素を生成することは、専用ハードウェア、プログラム及びデータを格納するメモリ（コンピュータが読出し可能な記憶媒体）、及びメモリに格納されるプログラムを実行するためのプロセッサの組み合わせを含む、図５の撮像装置チップアーキテクチャにより少なくとも部分的に実装することが可能であることを理解されるべきである。いくつかの実施形態において、ディプレイチップ及び撮像装置チップの外部のプロセッサは、斜めのカラー撮像画素及び／又は部分画素データを直交のカラー表示画素へマッピングし得、欠落したカラー表示画素を計算し得る。
【００６６】
この発明の実施形態としては添付の図面を参照することで十分に説明したが、様々な変形及び修正は当業者によれば明らかとなるであろうことを留意すべきである。そのような変形や修正は、添付の特許請求の範囲により定義されるこの発明の実施形態の範囲内に含まれることを理解されるべきである。
【特許請求の範囲】
【請求項１】
斜めの撮像画素アレイから直交の表示画素アレイを生成するための方法であって、
前記斜めの撮像画素アレイから撮像画素データをキャプチャすることと、
前記撮像画素アレイにおける複数の各撮像画素ごとに前記キャプチャした撮像画素を、市松模様で前記直交の表示画素アレイにおける他の直交の表示画素のそれぞれへマッピングすることと、
前記キャプチャされた撮像画素データから欠落した直交の表示画素を生成することとを備えた方法。
【請求項２】
前記欠落した直交の表示画素に隣接する前記直交の表示画素にマッピングされる前記キャプチャされた撮像画素データを補間することにより、前記欠落した直交の表示画素を生成することをさらに備えた請求項１記載の方法。
【請求項３】
前記欠落した直交の表示画素に隣接する２つ又はそれ以上の直交の表示画素にマッピングされる前記キャプチャされた撮像画素データから情報を平均化することにより、前記欠落した直交の表示画素を生成することをさらに備えた請求項２記載の方法。
【請求項４】
前記欠落した直交の表示画素に隣接する２つ又はそれ以上の直交の表示画素にマッピングされる前記キャプチャされた撮像画素データから情報を重み付けすることにより、前記欠落した直交のカラー表示画素を生成することをさらに備えた請求項３記載の方法。
【請求項５】
前記重み付けすることは、前記欠落した直交の表示画素に隣接する２つ又はそれ以上の直交の表示画素にマッピングされる前記キャプチャされた撮像画素データからの強度情報に基づくことである請求項４記載の方法。
【請求項６】
前記斜めの撮像画素アレイにおいて前記撮像画素の個々の部分画素をキャプチャすることにより、前記撮像画素データをキャプチャすることをさらに備えた請求項２記載の方法。
【請求項７】
前記斜めの撮像画素アレイにおいて前記撮像画素の複数の部分画素をビニングすることにより、前記撮像画素データをキャプチャすることをさらに備えた請求項２記載の方法。
【請求項８】
前記斜めの撮像画素アレイは、少なくとも１つの透明な部分画素を有する撮像画素を含む請求項１記載の方法。
【請求項９】
前記斜めの撮像画素アレイにおいて部分画素をキャプチャすることにより、前記撮像画素データをキャプチャすることと、
前記キャプチャされた部分画素から、直接的に欠落した直交の表示画素を生成する前に、前記キャプチャされた部分画素を読み出すこととをさらに備えた請求項１記載の方法。
【請求項１０】
前記欠落した直交の表示画素に隣接する直交の表示画素にマッピングされる前記キャプチャされた部分画素から、直接的に前記欠落した直交の表示画素を生成することをさらに備えた請求項９記載の方法。
【請求項１１】
水平方向に隣接する斜めの撮像画素の間に配置されるキャプチャされた部分画素から、直接的に前記欠落した直交の表示画素を生成することをさらに備えた請求項９記載の方法。
【請求項１２】
前記斜めの撮像画素アレイにおいて部分画素をキャプチャすることにより、撮像画素データをキャプチャすることと、
前記直交の表示画素アレイでの各ロウに対して、
そのロウで他の各直交の表示画素にそれぞれマッピングされた前記キャプチャされた部分画素データを読出すことと、
以前の前記ロウのために欠落した直交の表示画素にマッピングされた前記キャプチャされた部分画素データを読出すこととをさらに備えた請求項１記載の方法。
【請求項１３】
前記斜めの撮像画素アレイにおいて部分画素をビニングすることにより、撮像画素データをキャプチャすることと、
前記直交の表示画素アレイでの各ロウに対して、
そのロウで他の各直交の表示画素にそれぞれマッピングされた前記ビニングされた部分画素データを読出すことと、
以前の前記ロウのために欠落した直交の表示画素にマッピングされた前記ビニングされた部分画素データを読出すこととをさらに備えた請求項１記載の方法。
【請求項１４】
斜めの撮像画素アレイと、前記斜めの撮像画素アレイから撮像画素データをキャプチャするように構成される読出し回路とを備える撮像装置チップと、
ディプレイチップとを備え、前記ディプレイチップは、
前記撮像画素アレイにおける複数の各撮像画素ごとに前記キャプチャした撮像画素を、市松模様で直交の表示画素アレイにおける他の直交の表示画素のそれぞれへマッピングするように、
前記キャプチャされた撮像画素データから欠落した直交の表示画素を生成するように構成される画像キャプチャシステム。
【請求項１５】
前記ディプレイチップはさらに、前記欠落した直交の表示画素に隣接する前記直交の表示画素にマッピングされる前記キャプチャされた撮像画素データを補間することにより、前記欠落した直交の表示画素を生成するように構成される請求項１４記載の画像キャプチャシステム。
【請求項１６】
前記ディプレイチップはさらに、前記欠落した直交の表示画素に隣接する２つ又はそれ以上の直交の表示画素にマッピングされる前記キャプチャされた撮像画素データから情報を平均化することにより、前記欠落した直交の表示画素を生成するように構成される請求項１５記載の画像キャプチャシステム。
【請求項１７】
前記ディプレイチップはさらに、前記欠落した直交の表示画素に隣接する２つ又はそれ以上の直交の表示画素にマッピングされる前記キャプチャされた撮像画素データから情報を重み付けすることにより、前記欠落した直交のカラー表示画素を生成するように構成される請求項１６記載の画像キャプチャシステム。
【請求項１８】
前記重み付けすることは、前記欠落した直交の表示画素に隣接する２つ又はそれ以上の直交の表示画素にマッピングされる前記キャプチャされた撮像画素データからの強度情報に基づくことである請求項１７記載の画像キャプチャシステム。
【請求項１９】
前記撮像装置チップはさらに、前記斜めの撮像画素アレイにおいて前記撮像画素の個々の部分画素をキャプチャすることにより、前記撮像画素データをキャプチャするように構成される請求項１５記載の画像キャプチャシステム。
【請求項２０】
前記撮像装置チップはさらに、前記斜めの撮像画素アレイにおいて前記撮像画素の複数の部分画素をビニングすることにより、前記撮像画素データをキャプチャするように構成される請求項１５に記載の画像キャプチャシステム。
【請求項２１】
前記斜めの撮像画素アレイは、少なくとも１つの透明な部分画素を有する撮像画素を含む請求項１４記載の画像キャプチャシステム。
【請求項２２】
前記撮像装置チップはさらに、前記斜めの撮像画素アレイにおいて部分画素をキャプチャすることにより、前記撮像画素データをキャプチャするように、及び前記キャプチャされた部分画素を読出すように構成され、
前記ディプレイチップはさらに、前記キャプチャされた部分画素から、直接的に前記欠落した直交の表示画素を生成するように構成される請求項１４記載の画像キャプチャシステム。
【請求項２３】
前記ディプレイチップはさらに、前記欠落した直交の表示画素に隣接する直交の表示画素にマッピングされる前記キャプチャされた部分画素から、直接的に前記欠落した直交の表示画素を生成するように構成される請求項１４記載の画像キャプチャシステム。
【請求項２４】
前記表示回路はさらに、水平方向に隣接する斜めの撮像画素の間に配置されるキャプチャされた部分画素から、直接的に前記欠落した直交の表示画素を生成するように構成される請求項２２記載の画像キャプチャシステム。
【請求項２５】
前記画像キャプチャシステムは、画像キャプチャ装置に組み込まれる請求項１４記載の画像キャプチャシステム。
【請求項２６】
斜めの撮像画素アレイと、
前記斜めの撮像画素アレイにおいて、前記部分画素データをキャプチャすることにより撮像画素データをキャプチャするように構成される読出し回路とを備え、
直交の表示画素アレイでの各ロウに対して、前記読出し回路はさらに、
そのロウで他の各直交の表示画素にそれぞれマッピングされた前記キャプチャされた部分画素データを読出しかつ、
以前の前記ロウのために欠落した直交の表示画素にマッピングされた前記キャプチャされた部分画素データを読出すように構成される撮像装置チップ。
【請求項２７】
斜めの撮像画素アレイと、
前記斜めの撮像画素アレイにおいて部分画素データをビニングすることにより、撮像画素データをキャプチャするように構成される読出し回路とを備え、
直交の表示画素アレイでの各ロウに対して、前記読出し回路はさらに、
そのロウで他の各直交の表示画素にそれぞれマッピングされた前記ビニングされた部分画素データを読出しかつ、
以前の前記ロウのために欠落した直交の表示画素にマッピングされた前記ビニングされた部分画素データを読出すように構成される撮像装置チップ。
【請求項１】
斜めの撮像画素アレイから直交の表示画素アレイを生成するための方法であって、
前記斜めの撮像画素アレイから撮像画素データをキャプチャすることと、
前記撮像画素アレイにおける複数の各撮像画素ごとに前記キャプチャした撮像画素を、市松模様で前記直交の表示画素アレイにおける他の直交の表示画素のそれぞれへマッピングすることと、
前記キャプチャされた撮像画素データから欠落した直交の表示画素を生成することとを備えた方法。
【請求項２】
前記欠落した直交の表示画素に隣接する前記直交の表示画素にマッピングされる前記キャプチャされた撮像画素データを補間することにより、前記欠落した直交の表示画素を生成することをさらに備えた請求項１記載の方法。
【請求項３】
前記欠落した直交の表示画素に隣接する２つ又はそれ以上の直交の表示画素にマッピングされる前記キャプチャされた撮像画素データから情報を平均化することにより、前記欠落した直交の表示画素を生成することをさらに備えた請求項２記載の方法。
【請求項４】
前記欠落した直交の表示画素に隣接する２つ又はそれ以上の直交の表示画素にマッピングされる前記キャプチャされた撮像画素データから情報を重み付けすることにより、前記欠落した直交のカラー表示画素を生成することをさらに備えた請求項３記載の方法。
【請求項５】
前記重み付けすることは、前記欠落した直交の表示画素に隣接する２つ又はそれ以上の直交の表示画素にマッピングされる前記キャプチャされた撮像画素データからの強度情報に基づくことである請求項４記載の方法。
【請求項６】
前記斜めの撮像画素アレイにおいて前記撮像画素の個々の部分画素をキャプチャすることにより、前記撮像画素データをキャプチャすることをさらに備えた請求項２記載の方法。
【請求項７】
前記斜めの撮像画素アレイにおいて前記撮像画素の複数の部分画素をビニングすることにより、前記撮像画素データをキャプチャすることをさらに備えた請求項２記載の方法。
【請求項８】
前記斜めの撮像画素アレイは、少なくとも１つの透明な部分画素を有する撮像画素を含む請求項１記載の方法。
【請求項９】
前記斜めの撮像画素アレイにおいて部分画素をキャプチャすることにより、前記撮像画素データをキャプチャすることと、
前記キャプチャされた部分画素から、直接的に欠落した直交の表示画素を生成する前に、前記キャプチャされた部分画素を読み出すこととをさらに備えた請求項１記載の方法。
【請求項１０】
前記欠落した直交の表示画素に隣接する直交の表示画素にマッピングされる前記キャプチャされた部分画素から、直接的に前記欠落した直交の表示画素を生成することをさらに備えた請求項９記載の方法。
【請求項１１】
水平方向に隣接する斜めの撮像画素の間に配置されるキャプチャされた部分画素から、直接的に前記欠落した直交の表示画素を生成することをさらに備えた請求項９記載の方法。
【請求項１２】
前記斜めの撮像画素アレイにおいて部分画素をキャプチャすることにより、撮像画素データをキャプチャすることと、
前記直交の表示画素アレイでの各ロウに対して、
そのロウで他の各直交の表示画素にそれぞれマッピングされた前記キャプチャされた部分画素データを読出すことと、
以前の前記ロウのために欠落した直交の表示画素にマッピングされた前記キャプチャされた部分画素データを読出すこととをさらに備えた請求項１記載の方法。
【請求項１３】
前記斜めの撮像画素アレイにおいて部分画素をビニングすることにより、撮像画素データをキャプチャすることと、
前記直交の表示画素アレイでの各ロウに対して、
そのロウで他の各直交の表示画素にそれぞれマッピングされた前記ビニングされた部分画素データを読出すことと、
以前の前記ロウのために欠落した直交の表示画素にマッピングされた前記ビニングされた部分画素データを読出すこととをさらに備えた請求項１記載の方法。
【請求項１４】
斜めの撮像画素アレイと、前記斜めの撮像画素アレイから撮像画素データをキャプチャするように構成される読出し回路とを備える撮像装置チップと、
ディプレイチップとを備え、前記ディプレイチップは、
前記撮像画素アレイにおける複数の各撮像画素ごとに前記キャプチャした撮像画素を、市松模様で直交の表示画素アレイにおける他の直交の表示画素のそれぞれへマッピングするように、
前記キャプチャされた撮像画素データから欠落した直交の表示画素を生成するように構成される画像キャプチャシステム。
【請求項１５】
前記ディプレイチップはさらに、前記欠落した直交の表示画素に隣接する前記直交の表示画素にマッピングされる前記キャプチャされた撮像画素データを補間することにより、前記欠落した直交の表示画素を生成するように構成される請求項１４記載の画像キャプチャシステム。
【請求項１６】
前記ディプレイチップはさらに、前記欠落した直交の表示画素に隣接する２つ又はそれ以上の直交の表示画素にマッピングされる前記キャプチャされた撮像画素データから情報を平均化することにより、前記欠落した直交の表示画素を生成するように構成される請求項１５記載の画像キャプチャシステム。
【請求項１７】
前記ディプレイチップはさらに、前記欠落した直交の表示画素に隣接する２つ又はそれ以上の直交の表示画素にマッピングされる前記キャプチャされた撮像画素データから情報を重み付けすることにより、前記欠落した直交のカラー表示画素を生成するように構成される請求項１６記載の画像キャプチャシステム。
【請求項１８】
前記重み付けすることは、前記欠落した直交の表示画素に隣接する２つ又はそれ以上の直交の表示画素にマッピングされる前記キャプチャされた撮像画素データからの強度情報に基づくことである請求項１７記載の画像キャプチャシステム。
【請求項１９】
前記撮像装置チップはさらに、前記斜めの撮像画素アレイにおいて前記撮像画素の個々の部分画素をキャプチャすることにより、前記撮像画素データをキャプチャするように構成される請求項１５記載の画像キャプチャシステム。
【請求項２０】
前記撮像装置チップはさらに、前記斜めの撮像画素アレイにおいて前記撮像画素の複数の部分画素をビニングすることにより、前記撮像画素データをキャプチャするように構成される請求項１５に記載の画像キャプチャシステム。
【請求項２１】
前記斜めの撮像画素アレイは、少なくとも１つの透明な部分画素を有する撮像画素を含む請求項１４記載の画像キャプチャシステム。
【請求項２２】
前記撮像装置チップはさらに、前記斜めの撮像画素アレイにおいて部分画素をキャプチャすることにより、前記撮像画素データをキャプチャするように、及び前記キャプチャされた部分画素を読出すように構成され、
前記ディプレイチップはさらに、前記キャプチャされた部分画素から、直接的に前記欠落した直交の表示画素を生成するように構成される請求項１４記載の画像キャプチャシステム。
【請求項２３】
前記ディプレイチップはさらに、前記欠落した直交の表示画素に隣接する直交の表示画素にマッピングされる前記キャプチャされた部分画素から、直接的に前記欠落した直交の表示画素を生成するように構成される請求項１４記載の画像キャプチャシステム。
【請求項２４】
前記表示回路はさらに、水平方向に隣接する斜めの撮像画素の間に配置されるキャプチャされた部分画素から、直接的に前記欠落した直交の表示画素を生成するように構成される請求項２２記載の画像キャプチャシステム。
【請求項２５】
前記画像キャプチャシステムは、画像キャプチャ装置に組み込まれる請求項１４記載の画像キャプチャシステム。
【請求項２６】
斜めの撮像画素アレイと、
前記斜めの撮像画素アレイにおいて、前記部分画素データをキャプチャすることにより撮像画素データをキャプチャするように構成される読出し回路とを備え、
直交の表示画素アレイでの各ロウに対して、前記読出し回路はさらに、
そのロウで他の各直交の表示画素にそれぞれマッピングされた前記キャプチャされた部分画素データを読出しかつ、
以前の前記ロウのために欠落した直交の表示画素にマッピングされた前記キャプチャされた部分画素データを読出すように構成される撮像装置チップ。
【請求項２７】
斜めの撮像画素アレイと、
前記斜めの撮像画素アレイにおいて部分画素データをビニングすることにより、撮像画素データをキャプチャするように構成される読出し回路とを備え、
直交の表示画素アレイでの各ロウに対して、前記読出し回路はさらに、
そのロウで他の各直交の表示画素にそれぞれマッピングされた前記ビニングされた部分画素データを読出しかつ、
以前の前記ロウのために欠落した直交の表示画素にマッピングされた前記ビニングされた部分画素データを読出すように構成される撮像装置チップ。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公表番号】特表２０１３−５２０９３６（Ｐ２０１３−５２０９３６Ａ）
【公表日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１２−５５５１２２（Ｐ２０１２−５５５１２２）
【出願日】平成２３年２月２３日（２０１１．２．２３）
【国際出願番号】ＰＣＴ／ＵＳ２０１１／０２５９６５
【国際公開番号】ＷＯ２０１１／１０６４６１
【国際公開日】平成２３年９月１日（２０１１．９．１）
【出願人】（５０７０１３５３４）パナビジョン イメージング リミテッド ライアビリティ カンパニー (4)
【Ｆターム（参考）】
【公表日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年２月２３日（２０１１．２．２３）
【国際出願番号】ＰＣＴ／ＵＳ２０１１／０２５９６５
【国際公開番号】ＷＯ２０１１／１０６４６１
【国際公開日】平成２３年９月１日（２０１１．９．１）
【出願人】（５０７０１３５３４）パナビジョン イメージング リミテッド ライアビリティ カンパニー (4)
【Ｆターム（参考）】
[ Back to top ]