ベイヤーパターンによってエンコードされた画像からのフルカラー画像の再構成
フルカラー画像を再構成するための方法及び装置。本方法は、エンコードされた画像に関連する信号を受け取る段階と、畳み込みマスクのセットを用いて画像内の各ピクセル位置について４つの色値を再構成する段階とを含むことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、総括的に電子イメージングに関し、より詳細には、ベイヤーパターンによってエンドコードされた画像からのフルカラー画像の再構成に関する。
【背景技術】
【０００２】
固体イメージセンサは、カメラシステムにおいて広範囲に用いられてきた。一部のカメラシステムにおける固体イメージセンサは、スイッチング素子及び増幅素子と直列にされた感光性素子のマトリクスから構成される。感光性素子は、例えば、受光器、フォトダイオード、フォトトランジスタ、電荷結合素子（ＣＣＤ）ゲート、又は同様のものとすることができる。各感光性素子は、撮像されている光景の一部分の画像を受け取る。感光性素子は、これに付属する電子機器と併せて画素又はピクセルと呼ばれる。イメージを取得した感光性素子は、当該イメージの光強度を示す電気信号を発生する。感光性素子の電気信号は通常電流であり、その感光性素子に当たる電磁放射線（光）の量に比例する。
【０００３】
カラーイメージセンサでは、各ピクセルが１つの色成分（赤、緑又は青）のみを生じるように、感光性素子は通常、色フィルタアレイ（ＣＦＡ）によって覆われる。この結果として得られるものは、バイエルアレイとして知られるような色サンプルのモザイクである。バイエル構成においては、カーネル（アレイ内での最小の繰り返しパターン）は、赤ピクセル、青ピクセル及び２つの緑ピクセルからなる。カラー画像内の各ピクセルについて全ての色成分を生成する処理は、デモザイク処理と呼ばれる再構成処理である。
【０００４】
ベイヤーパターンによってエンコードされた画像に使用される多くのデモザイク処理アルゴリズムは、バイエルカーネル内の２つの緑ピクセルをこれらが同じ応答を有するように処理する。しかしながら、この２つの緑ピクセルは同じ応答を有しないことが多いので、こうした技法はフルカラー画像内のアーチファクトの原因となる。
【０００５】
バイエルカーネル内の２つの緑ピクセルが異なる応答をすることを可能にするデモザイク処理アルゴリズムが幾つかある。しかしながら、これらのデモザイク処理アルゴリズムは通常複雑で、フルカラー画像の鮮鋭度を調整するための付加的なアルゴリズムを必要とし、かなりの量の演算処理を伴う。
【発明を実施するための最良の形態】
【０００６】
本発明を添付図面の各図において限定でなく例証として説明する。
【０００７】
以下の説明において、本発明の実施形態を完全に理解するために、特定の指示、指定された構成要素、接続部、フレーム数、その他などの多数の特定の詳細事項が記載される。しかしながら、本発明の実施形態がこれらの特定の詳細事項なしでも実施することができる点は、当業者であれば明らかであろう。場合によっては、本発明を不必要に曖昧にするのを避けるために、公知の構成要素及び方法は、詳細には記載されず、ブロック図で示されている。従って、記載される特定の詳細事項は例証に過ぎない。この特定の詳細事項は異なることができるが、それでも尚、本発明の精神及び範囲内にあることが企図される。
【０００８】
以下の説明の一部分は、メモリ内部に記憶し且つプロセッサによって動作させることができるデータに対する動作のアルゴリズム及び記号表示で提示される。これらのアルゴリズムの説明及び表示は、これらの作用を効果的に伝えるために当業者が使用する手段である。アルゴリズムは、一般に、所望の結果をもたらす動作の自己整合性のあるシーケンスと考えられている。この動作は、物理量の操作を必要とするものである。通常、必須ではないが、これらの物理量は、記憶、転送、結合、比較、及び他の方法での操作を行うことができる電気信号又は磁気信号の形態をとる。主として共通して使用する理由から、場合によっては、これらの信号をビット、値、素子、記号、文字、用語、番号、パラメータ、又は同様のものと呼ぶことが好都合であることが分かっている。
【０００９】
以下の詳細な説明は、以下で説明されるアルゴリズムを含む。これらのアルゴリズムは、ハードウェア（例えばアナログ及び／又はデジタル）、ファームウェア、或いは機械実行可能な命令で具現化されたソフトウェアによって実施することができ、これらの命令を用いて、該命令でプログラムされた汎用又は特定用途向けプロセッサが本明細書に記載された動作を実行することができる。代替として、動作は、ハードウェア、ファームウェア、及びソフトウェアの組み合わせによって実行することができる。本明細書で使用される用語「結合される」は、直接的結合か、或いは１つ又はそれ以上の介在構成要素を介して間接的結合を意味することができる。本明細書に記載された様々なバスを通じて提供される信号の何れもが他の信号と時間多重化され、１つ又はそれ以上の共通バスを通じて提供することができる。加えて、回路構成要素又はブロック間の相互接続は、バス又は単一信号ラインとして示すことができる。バスの各々は、代替として１つ又はそれ以上の単一信号ラインであってもよく、単一信号ラインの各々は、代替としてバスであってもよい。本明細書で使用される用語「第１」、「第２」、「第３」及び「第４」は、異なるピクセル及び／又は異なるカラーを識別するための標識を意味し、別途示されない限り、これらの数字表示に応じた順序の意味はない。
【００１０】
フルカラー画像を再構成するための方法及び装置が記載される。当該再構成方法及び装置は、カラーイメージセンサの一部として議論される場合があるが、カラーイメージセンサに結合された独立デバイスの一部とすることもできる。
【００１１】
カラーイメージセンサ（例えば、図５に関して以下に議論されるイメージセンサ５００）は、１つの実施形態では、各ピクセルが１つの色チャンネルのみをサンプリングする（すなわち、あらゆるピクセルが３つではなく１つの色だけを記録する）ように色フィルタアレイ（ＣＦＡ）によって覆われた電荷結合デバイス（ＣＣＤ）アレイを用いて、色スペクトルをサンプリングするのに使用することができる。結果として得られるのは、ベイヤーパターンと呼ばれるような、色サンプルのモザイクである。ベイヤーパターン・スキームにより、ピクセルマトリクスの被覆率が、赤２５％赤、青２５％、及び緑５０％となる。すなわち、バイエル構成においては、カーネル（アレイ内の最小繰り返しパターン）は、赤ピクセル、青ピクセル及び２つの緑ピクセルからなる。本発明の実施形態はベイヤーパターンに関連して議論する場合があるが、本明細書で記載される方法及び装置は、例えば、カーネルが同じ色の２つのピクセル又は４つの異なる色のピクセルを含む何れかのモザイクスキームである、他の種々の種類の色モザイクスキームで使用するよう適合させることができる点に留意すべきである。
【００１２】
フルカラー画像を再構成するときには、３つの色（赤、青及び緑）値全てが、関連センサ位置でのソースピクセル及び隣接ソースピクセルに基づいた各センサ位置について見積もられる。バイエルカーネルにおいては、２つの緑ピクセルは異なる構成に現れる（例えば、異なる隣接ピクセル、異なるクロストーク、その他）。このため、２つの緑ピクセルは、異なる応答を有する可能性がある。本発明の実施形態は、各センサ位置について４つの色（赤、緑１、緑２及び青）値を再構成することによってこのような差異を考慮に入れる。再構成は、画像再構成中の鮮鋭度の調整を可能にするようにパラメータ化された畳み込みマスクのセットを用いて実行される。
【００１３】
図１は、デモザイク処理プロセス１００の１つの実施形態のフロー線図である。当該プロセスは、デモザイクモジュール（例えば、図５に関連して以下で議論されるデモザイクモジュール５１６）のロジック処理によって実行することができ、ハードウェア（例えば、回路構成、専用ロジック、プログラム可能ロジック、マイクロコード、その他）、ソフトウェア（デジタル処理デバイス又は汎用コンピュータシステムにより実行されるような）、或いはこの両方の組み合わせを含むことができる。
【００１４】
図１を参照すると、処理ロジックは、鮮鋭度パラメータを受け取る処理ロジックから始まる（ブロック１０２）。１つの実施形態において、鮮鋭度パラメータは、結果として得られる画像の鮮鋭度を定義する構成段階中にユーザが提供することができる。ユーザは、鮮鋭度の要求度（例えば、平滑化、ノーマル、鮮鋭化、非常に鮮鋭化、その他）を指定することができ、これは、対応する鮮鋭度パラメータにプログラムにより変換することができる。或いは、ユーザが鮮鋭度パラメータの指定値を規定してもよい。
【００１５】
別の実施形態において、鮮鋭度パラメータは、ユーザによって指定されるのではなく、方法１００が使用される用途のタイプ（例えば、汎用写真、又は特殊用途写真）に基づいて自動的に決まる。
【００１６】
ブロック１０４で、処理ロジックは、画像再構成において後で使用するために不揮発性記憶装置（例えば、図５に関して以下で議論されるイメージセンサ５００のＮＶＲＡＭ）内に鮮鋭度パラメータを記憶する。１つの実施形態において、鮮鋭度パラメータは、ユーザの要求に基づいて更新することができる。
【００１７】
ブロック１０６で、処理ロジックは、各ピクセル位置について１つの色値を有するエンコードされたカラー画像に関する信号を受け取る。１つの実施形態において、信号は、同じ色の２つのピクセルを含む２×２パターン（例えば、ベイヤーパターン）を用いてエンコードされた画像のピクセル値を含む。代替として、２×２のパターンは、４つの異なる色のピクセルを含む。
【００１８】
ブロック１０８で、処理ロジックは、画像内の各ピクセル位置について４つの色値を再構成する。１つの実施形態において、４つの色値は、赤値Ｒ、青値Ｂ、第１の緑値Ｇ１、及び第２の緑値Ｇ２（例えば、ベイヤーパターンによる）を含む。或いは、再構成される色値は、Ｂ、Ｇ、Ｒ１及びＲ２；Ｒ、Ｇ、Ｂ１及びＢ２；又は４つの異なる色（例えば、Ｂ、Ｇ、Ｒ及びブラウン）を含むことができる。
【００１９】
４つの色値は、不揮発性記憶装置から取り出された鮮鋭度パラメータを含む畳み込みマスクのセットを用いて再構成される。使用されるマスクのセットは、対応するソースピクセルの色に関係なく各ピクセル位置について同じである。畳み込みマスクのサイズ及びこれらの係数は、方法１００が使用される用途のタイプに基づいて実験的に決定することができる。４つの畳み込みマスクのセットを利用する再構成プロセスの１つの実施形態を図２に関連して以下でより詳細に議論する。
【００２０】
１つの実施形態において、処理ロジックは、２つのピクセル、すなわちカレントピクセルと、同じピクセルコラム上にある以前のピクセルラインからのピクセルとについて並行して再構成を実行する。
【００２１】
プロセシングブロック１１０において、処理ロジックは、画像内の各ピクセル位置について４つの再構成されたピクセル値の線形結合を実行して、３色出力画像を生成する。１つの実施形態において、同じ色の２つのピクセル値の平均が計算され、出力画像内のこの色のピクセル値を決定する（例えば、出力画像内の緑の値は、再構成されたＧ１及びＧ２の平均である）。
【００２２】
図２は、ベイヤーパターンによってエンコードされた画像内のピクセル位置について４つの色値を再構成するためのプロセス２００の１つの実施形態のフロー線図である。本プロセスは、デモザイクモジュール（例えば、図５に関連して以下で議論されるデモザイクモジュール）のロジック処理によって実行することができ、ハードウェア（例えば、回路構成、専用ロジック、プログラム可能ロジック、マイクロコード、その他）、ソフトウェア（デジタル処理デバイス又は汎用コンピュータシステムによって実行されるような）、或いは両方の組み合わせを含むことができる。
【００２３】
プロセス２００は、４つの畳み込みマスクのセットを使用する。鮮鋭度パラメータａ及びｂを含む例示的な畳み込みマスクは次のとおりである。
【００２４】
上述のマスクの最適なサイズ及びこれらの係数を決定するために実験を行った。
【００２５】
図２を参照すると、処理ロジックは、現在処理中のピクセル位置に対応するソースピクセルの色を決定する段階から始まる（ブロック２０２）。
【００２６】
ソースピクセルが赤である場合（ブロック２０４）、処理ロジックは、マスク０を用いて赤値Ｒを求め、マスク１を用いて青値Ｂを求め、マスク３を用いて第１の緑値Ｇ１を求め、マスク２を用いて第２の緑値Ｇ２を求める（プロセシングブロック２０６）。詳細には、赤ソースピクセルに対応するピクセル位置の４つの色値は、以下のように求められる。
Ｒｅｓｕｌｔ＿Ｒ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ０， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ１ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ３， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ２ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ２， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｂ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ１， ｍｅｍｏｒｙ）；
式中、「メモリ」は、ソースピクセル及び現在のソースピクセルが中心にある５×５領域内の隣接ピクセルの記憶ピクセル値を参照する。
【００２７】
ソースピクセルが青である場合（ブロック２０８）、処理ロジックは、マスク１を用いて赤値Ｒを求め、マスク０を用いて青値Ｂを求め、マスク２を用いて第１の緑値Ｇ１を求め、マスク３を用いて第２の緑値Ｇ２を求める（プロセシングブロック２１０）。詳細には、青ソースピクセルに対応するピクセル位置の４つの色値は、以下のように求められる：
Ｒｅｓｕｌｔ＿Ｂ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ０， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ１ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ２， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ２ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ３， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｒ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ１， ｍｅｍｏｒｙ）．
【００２８】
ソースピクセルが第１の緑ピクセルである場合（ブロック２１２）、処理ロジックは、マスク３を用いて赤値Ｒを求め、マスク２を用いて青値Ｂを求め、マスク０を用いて第１の緑値Ｇ１を求め、マスク１を用いて第２の緑値Ｇ２を求める（プロセシングブロック２１４）。詳細には、第２の緑ソースピクセルに対応するピクセル位置の４つの色値は、以下のようにして求められる：
Ｒｅｓｕｌｔ＿Ｒ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ３， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ１ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ０， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ２ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ１， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｂ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ２， ｍｅｍｏｒｙ）．
【００２９】
ソースピクセルが第２の緑ピクセルである場合、処理ロジックは、マスク２を用いて赤値Ｒを求め、マスク３を用いて青値Ｂを求め、マスク１を用いて第１の緑値Ｇ１を求め、マスク０を用いて第２の緑値Ｇ２を求める（プロセシングブロック２１６）。詳細には、第２の緑ソースピクセルに対応するピクセル位置の４つの色値は、以下のようにして求められる：
Ｒｅｓｕｌｔ＿Ｒ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ２， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ１ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ１， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ２ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ０， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｂ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ３， ｍｅｍｏｒｙ）．
【００３０】
畳み込みマスク内の鮮鋭度パラメータａ及びｂは、再構成中のフルカラー画像の鮮鋭度の調整を可能にし、従って、別個の鮮鋭化モジュールが排除される。ａ及びｂの値が小さいと平滑な画像をもたらし、大きな値は鮮鋭な画像をもたらす。
【００３１】
図３は、方法２００を用いて生成された画像における鮮鋭度の様々な程度を示す。平均的な鮮鋭度を有する画像３０２は、畳み込みマスクの鮮鋭度パラメータａ及びｂに中央値を用いて生成される。画像３０４は、畳み込みマスクの鮮鋭度パラメータａ及びｂに大きな値を用いて生成された鮮鋭な画像である。画像３０６は、畳み込みマスクの鮮鋭度パラメータａ及びｂに小さな値を用いて生成された平滑な画像である。
【００３２】
図４Ａ及び図４Ｂは、方法２００を用いて生成された画像の品質を示す。図４Ａを参照すると、画像４０２は、画像４０４、４０６及び４０８との比較の基準として使用される元の３色画像である。元画像４０２は、ベイヤーパターンに従って各ピクセル位置について３つの色値のうちの２つを除去することによって、ベイヤーパターンを用いてエンコードされる。このエンコードされた画像は、図４Ａに示されたカラー画像再構成に対する入力として使用される。画像４０４は、方法２００を使用して再構成されたカラー画像である。画像４０６及び４０８は、従来技術の方法を用いて再構成されたカラー画像である。詳細には、画像４０６を再構成するのに使用される方法（本明細書でＨａｍｉｌｔｏｎ−Ａｄａｍｓ法と呼ぶ）は、米国特許５，６２９，７３４に記載され、画像４０８を再構成するために使用される方法（本明細書でＭａｌｖａｒ法と呼ばれる）は、Ｈ．Ｓ．Ｍａｌｖａｒ他、「Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｏｒ Ｄｅｍｏｓａｉｃｉｎｇ ｏｆ Ｂａｙｅｒ−Ｐａｔｔｅｒｎｅｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ（ベイヤーパターン化カラー画像のデモザイク処理のための高品質リニア補間法）」、ＩＥＥＥ ＩＣＡＳＰＰ ２００４の紀要の刊行物に記載される。
【００３３】
図４Ａに示されるように、方法２００を用いて再構成された画像４０４は、Ｈａｍｉｌｔｏｎ−Ａｄａｍｓ法を用いて再構成された画像４０６よりも良好な品質を有する。詳細には、画像４０６は、画像４０６よりもかなり多くのアーチファクトを有する（例えば、睫毛の部位）。Ｍａｌｖａｒ法を用いて再構成された画像４０８は、図示の実施例ではバイエルカーネル内の２つの緑が画像４０２内の同じ緑から生成され、従って同じ応答を有するので、画像４０４と同様に見える。しかしながら、２つの緑が異なる応答を有する場合、Ｍａｌｖａｒ法は、ブロックパターンのアーチファクトをもたらすことになる。加えて、Ｈａｍｉｌｔｏｎ−Ａｄａｍｓ法及びＭａｌｖａｒ法のどちらも、カラー再構成中に再構成画像の鮮鋭度を選択することができない。
【００３４】
図４Ｂを参照すると、画像４１２、４１４及び４１６が、再構成された天空の一部分の詳細を示している。画像４１２は、Ｍａｌｖａｒ法を用いて生成され、画像４１４は、Ｈａｍｉｌｔｏｎ−Ａｄａｍｓ法を用いて生成され、画像４１６は、上述の方法２００を用いて生成された。図４Ｂに示されるように、画像４１６は、緑ピクセルの異なる応答に起因する顕著なアーチファクトを含む画像４１２及び４１４と比較して、有意に良好な品質を有する。
【００３５】
図５は、本明細書に記載された方法及び装置を実施するイメージセンサ５００の１つの実施形態のブロック図である。イメージセンサ５００は、スイッチング素子及び増幅素子と直列にピクセルマトリクスを有するイメージングコア５０２を含む。ピクセルマトリクスは、ピクセルのアレイ及び対応する駆動及び感知回路構成を有する。各ピクセルは、少なくとも感光性素子及び読み出しスイッチから構成される。ピクセルマトリクス並びにスイッチング素子及び増幅素子は、当該技術分野において公知であり、従って、より詳細には説明しない。
【００３６】
イメージングコアは、アナログ・デジタル変換器（ＡＤＣ）５１４にアナログ出力５１０を提供し、アナログ・イメージングコア出力５１０をデジタルドメインに変換する。ＡＤＣ５１４はデジタル処理デバイス５０４に結合される。デジタル処理デバイス５０４は、マイクロプロセッサ又は中央演算処理装置、コントローラ、又は同様のものなどの１つ又はそれ以上の汎用処理デバイスを含むことができる。代替として、デジタル処理デバイス５０４は、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、又は同様のものなど、１つ又はそれ以上の専用処理デバイスを含むことができる。デジタル処理デバイス５０４は、汎用処理デバイス及び専用処理デバイスの何れかの組み合わせも含むことができる。
【００３７】
デジタル処理デバイス５０４は、イメージセンサ５００の外部にある構成要素と情報入出力（Ｉ／Ｏ）交換を処理し且つプロトコル、ハンドシェーキング、電圧変換、その他などの他のタスクに対処するインターフェースモジュール５１２に結合される。インターフェースモジュール５１２は、シーケンサ５０８に結合することができる。シーケンサ５０８は、イメージングコア５０２、デジタル処理デバイス５０４、及びＡＤＣ５１４など、イメージセンサ５００内の１つ又はそれ以上の構成要素に結合することができる。シーケンサ５０８は、外部的に生成されたクロック及び制御信号をインターフェースモジュール５１２から受け取り、例えばイメージングコア５０２、ＡＤＣ５１４、その他のイメージセンサ内の回路構成を駆動する内部パルスを発生するデジタル回路とすることができる。
【００３８】
デジタル処理デバイス５０４は、メモリ５０６に結合される。メモリ５０６は、デジタル処理デバイス５０４が読み取り可能な何れかのタイプの機械可読媒体とすることができる。機械可読媒体は、機械（例えば、コンピュータ）が読み取り可能な形態で情報を提供（例えば記憶及び／又は伝送）する何れかの機構を含む。例えば、機械可読媒体には、読み出し専用メモリ（ＲＯＭ）；ランダムアクセスメモリ（ＲＡＭ）；磁気ディスク記憶媒体；光学記憶媒体；フラッシュメモリデバイス；ＤＶＤ、電気、光学、音響又は他の形式の伝搬信号（例えば、搬送波、赤外線信号、デジタル信号、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＦＬＡＳＨ、磁気又は光学カード）、或いは電子的命令の記憶に好適な何れかのタイプの媒体が含まれる。
【００３９】
１つの実施形態において、メモリ５０６は、鮮鋭度パラメータを記憶するための不揮発メモリ（例えば、ＮＶＲＡＭ又はフラッシュメモリ）を含む。加えて、メモリ５０６は、ＡＤＣ５１４の出力（例えば、ベイヤーパターンを使用してエンコードされた画像のソースピクセルの色値）を一時的に記憶するためのＲＡＭを含むことができる。
【００４０】
イメージセンサ５００はまた、デモザイクモジュール５１６を含むこともできる。１つの実施形態において、デモザイクモジュール５１６は、メモリ５０６内に存在し且つデジタル処理デバイス５０４が実行するための処理ロジックを内蔵する。別の実施形態において、デモザイクモジュール５１６は、回路構成、専用ロジック、プログロマブルロジック、マイクロコード、その他といったハードウェアを備えた処理ロジックを含む独立したブロックである。更に別の実施形態においては、デモザイクモジュール５１６は、ソフトウェアとハードウェアとの組み合わせを備える処理ロジックを含む。
【００４１】
１つの実施形態において、デモザイクモジュール５１６は、ＡＤＣ５１４から個々のソースピクセルを受け取りメモリ５０６にアクセスし、現在のソースピクセルの周囲のピクセルを読み取る。次いで、デモザイクモジュール５１６は、パラメータ化された畳み込みマスクのセットを用いて、現在のソースピクセルについて４つの色値を再構成する。１つの実施形態において、デモザイクモジュール５１６は、２つのピクセル、すなわち現在のピクセルと、同じピクセルコラム上の前のピクセルラインからのピクセルとに並行して再構成を実行する。
【００４２】
デモザイクモジュール５１６はまた、畳み込みマスクの鮮鋭度パラメータに基づいて再構成画像の鮮鋭度を調整することができる。次いで、デモザイクモジュール５１６は、４つの色値の線形結合を実行し、後処理モジュール５１８に結果として得られる３色画像を提供することができる。後処理モジュール５１８において、デモザイク処理の出力は、色補正、ハーフトーン処理、白色補正及び圧縮処理などの一連の画像処理ステップを通過して、最後に画像出力部５２０（例えば、ディスプレイデバイス、記録装置、など）に出力される。後処理モジュール５１８は、メモリ５０６内に存在し、デジタル処理デバイス５０４による実行のための処理ロジックを含むことができ、又は、ハードウェアを備える処理ロジックを含む独立したブロックとすることができ、或いは、ソフトウェアとハードウェアとの組み合わせを備える処理ロジックを更に含むことができる。
【００４３】
本明細書で議論したイメージセンサ５００は、種々の用途で用いることができる。１つの実施形態において、本明細書で議論したイメージセンサ５００は、例えば汎用写真（例えば、カメラ付携帯電話、スチールカメラ、ビデオカメラ）、或いは特殊用途写真に使用することができる。代替として、本明細書で議論したイメージセンサ５００は、例えば、マシンビジョン、文書スキャン、顕微鏡、セキュリティ、バイオメトリックス、その他である他のタイプの用途に使用することができる。
【００４４】
本発明の一部の特定の実施形態が示されたが、本発明はこれらの実施形態に限定されるものではない。本発明は、本明細書に記載された特定の実施形態によって限定されず、添付の請求項によってのみ限定される点を理解すべきである。
【図面の簡単な説明】
【００４５】
【図１】デモザイク処理の１つの実施形態のフロー線図である。
【図２】ベイヤーパターンによってエンコードされた画像におけるピクセル位置の４つの色値を再構成するためのプロセスの１つの実施形態のフロー線図である。
【図３】図２の方法を用いて生成された画像における鮮鋭度の様々な程度を示す図である。
【図４Ａ】図２の方法を用いて生成された画像の品質を示す図である。
【図４Ｂ】図２の方法を用いて生成された画像の品質を示す図である。
【図５】イメージセンサの１つの実施形態のブロック図である。
【技術分野】
【０００１】
本発明は、総括的に電子イメージングに関し、より詳細には、ベイヤーパターンによってエンドコードされた画像からのフルカラー画像の再構成に関する。
【背景技術】
【０００２】
固体イメージセンサは、カメラシステムにおいて広範囲に用いられてきた。一部のカメラシステムにおける固体イメージセンサは、スイッチング素子及び増幅素子と直列にされた感光性素子のマトリクスから構成される。感光性素子は、例えば、受光器、フォトダイオード、フォトトランジスタ、電荷結合素子（ＣＣＤ）ゲート、又は同様のものとすることができる。各感光性素子は、撮像されている光景の一部分の画像を受け取る。感光性素子は、これに付属する電子機器と併せて画素又はピクセルと呼ばれる。イメージを取得した感光性素子は、当該イメージの光強度を示す電気信号を発生する。感光性素子の電気信号は通常電流であり、その感光性素子に当たる電磁放射線（光）の量に比例する。
【０００３】
カラーイメージセンサでは、各ピクセルが１つの色成分（赤、緑又は青）のみを生じるように、感光性素子は通常、色フィルタアレイ（ＣＦＡ）によって覆われる。この結果として得られるものは、バイエルアレイとして知られるような色サンプルのモザイクである。バイエル構成においては、カーネル（アレイ内での最小の繰り返しパターン）は、赤ピクセル、青ピクセル及び２つの緑ピクセルからなる。カラー画像内の各ピクセルについて全ての色成分を生成する処理は、デモザイク処理と呼ばれる再構成処理である。
【０００４】
ベイヤーパターンによってエンコードされた画像に使用される多くのデモザイク処理アルゴリズムは、バイエルカーネル内の２つの緑ピクセルをこれらが同じ応答を有するように処理する。しかしながら、この２つの緑ピクセルは同じ応答を有しないことが多いので、こうした技法はフルカラー画像内のアーチファクトの原因となる。
【０００５】
バイエルカーネル内の２つの緑ピクセルが異なる応答をすることを可能にするデモザイク処理アルゴリズムが幾つかある。しかしながら、これらのデモザイク処理アルゴリズムは通常複雑で、フルカラー画像の鮮鋭度を調整するための付加的なアルゴリズムを必要とし、かなりの量の演算処理を伴う。
【発明を実施するための最良の形態】
【０００６】
本発明を添付図面の各図において限定でなく例証として説明する。
【０００７】
以下の説明において、本発明の実施形態を完全に理解するために、特定の指示、指定された構成要素、接続部、フレーム数、その他などの多数の特定の詳細事項が記載される。しかしながら、本発明の実施形態がこれらの特定の詳細事項なしでも実施することができる点は、当業者であれば明らかであろう。場合によっては、本発明を不必要に曖昧にするのを避けるために、公知の構成要素及び方法は、詳細には記載されず、ブロック図で示されている。従って、記載される特定の詳細事項は例証に過ぎない。この特定の詳細事項は異なることができるが、それでも尚、本発明の精神及び範囲内にあることが企図される。
【０００８】
以下の説明の一部分は、メモリ内部に記憶し且つプロセッサによって動作させることができるデータに対する動作のアルゴリズム及び記号表示で提示される。これらのアルゴリズムの説明及び表示は、これらの作用を効果的に伝えるために当業者が使用する手段である。アルゴリズムは、一般に、所望の結果をもたらす動作の自己整合性のあるシーケンスと考えられている。この動作は、物理量の操作を必要とするものである。通常、必須ではないが、これらの物理量は、記憶、転送、結合、比較、及び他の方法での操作を行うことができる電気信号又は磁気信号の形態をとる。主として共通して使用する理由から、場合によっては、これらの信号をビット、値、素子、記号、文字、用語、番号、パラメータ、又は同様のものと呼ぶことが好都合であることが分かっている。
【０００９】
以下の詳細な説明は、以下で説明されるアルゴリズムを含む。これらのアルゴリズムは、ハードウェア（例えばアナログ及び／又はデジタル）、ファームウェア、或いは機械実行可能な命令で具現化されたソフトウェアによって実施することができ、これらの命令を用いて、該命令でプログラムされた汎用又は特定用途向けプロセッサが本明細書に記載された動作を実行することができる。代替として、動作は、ハードウェア、ファームウェア、及びソフトウェアの組み合わせによって実行することができる。本明細書で使用される用語「結合される」は、直接的結合か、或いは１つ又はそれ以上の介在構成要素を介して間接的結合を意味することができる。本明細書に記載された様々なバスを通じて提供される信号の何れもが他の信号と時間多重化され、１つ又はそれ以上の共通バスを通じて提供することができる。加えて、回路構成要素又はブロック間の相互接続は、バス又は単一信号ラインとして示すことができる。バスの各々は、代替として１つ又はそれ以上の単一信号ラインであってもよく、単一信号ラインの各々は、代替としてバスであってもよい。本明細書で使用される用語「第１」、「第２」、「第３」及び「第４」は、異なるピクセル及び／又は異なるカラーを識別するための標識を意味し、別途示されない限り、これらの数字表示に応じた順序の意味はない。
【００１０】
フルカラー画像を再構成するための方法及び装置が記載される。当該再構成方法及び装置は、カラーイメージセンサの一部として議論される場合があるが、カラーイメージセンサに結合された独立デバイスの一部とすることもできる。
【００１１】
カラーイメージセンサ（例えば、図５に関して以下に議論されるイメージセンサ５００）は、１つの実施形態では、各ピクセルが１つの色チャンネルのみをサンプリングする（すなわち、あらゆるピクセルが３つではなく１つの色だけを記録する）ように色フィルタアレイ（ＣＦＡ）によって覆われた電荷結合デバイス（ＣＣＤ）アレイを用いて、色スペクトルをサンプリングするのに使用することができる。結果として得られるのは、ベイヤーパターンと呼ばれるような、色サンプルのモザイクである。ベイヤーパターン・スキームにより、ピクセルマトリクスの被覆率が、赤２５％赤、青２５％、及び緑５０％となる。すなわち、バイエル構成においては、カーネル（アレイ内の最小繰り返しパターン）は、赤ピクセル、青ピクセル及び２つの緑ピクセルからなる。本発明の実施形態はベイヤーパターンに関連して議論する場合があるが、本明細書で記載される方法及び装置は、例えば、カーネルが同じ色の２つのピクセル又は４つの異なる色のピクセルを含む何れかのモザイクスキームである、他の種々の種類の色モザイクスキームで使用するよう適合させることができる点に留意すべきである。
【００１２】
フルカラー画像を再構成するときには、３つの色（赤、青及び緑）値全てが、関連センサ位置でのソースピクセル及び隣接ソースピクセルに基づいた各センサ位置について見積もられる。バイエルカーネルにおいては、２つの緑ピクセルは異なる構成に現れる（例えば、異なる隣接ピクセル、異なるクロストーク、その他）。このため、２つの緑ピクセルは、異なる応答を有する可能性がある。本発明の実施形態は、各センサ位置について４つの色（赤、緑１、緑２及び青）値を再構成することによってこのような差異を考慮に入れる。再構成は、画像再構成中の鮮鋭度の調整を可能にするようにパラメータ化された畳み込みマスクのセットを用いて実行される。
【００１３】
図１は、デモザイク処理プロセス１００の１つの実施形態のフロー線図である。当該プロセスは、デモザイクモジュール（例えば、図５に関連して以下で議論されるデモザイクモジュール５１６）のロジック処理によって実行することができ、ハードウェア（例えば、回路構成、専用ロジック、プログラム可能ロジック、マイクロコード、その他）、ソフトウェア（デジタル処理デバイス又は汎用コンピュータシステムにより実行されるような）、或いはこの両方の組み合わせを含むことができる。
【００１４】
図１を参照すると、処理ロジックは、鮮鋭度パラメータを受け取る処理ロジックから始まる（ブロック１０２）。１つの実施形態において、鮮鋭度パラメータは、結果として得られる画像の鮮鋭度を定義する構成段階中にユーザが提供することができる。ユーザは、鮮鋭度の要求度（例えば、平滑化、ノーマル、鮮鋭化、非常に鮮鋭化、その他）を指定することができ、これは、対応する鮮鋭度パラメータにプログラムにより変換することができる。或いは、ユーザが鮮鋭度パラメータの指定値を規定してもよい。
【００１５】
別の実施形態において、鮮鋭度パラメータは、ユーザによって指定されるのではなく、方法１００が使用される用途のタイプ（例えば、汎用写真、又は特殊用途写真）に基づいて自動的に決まる。
【００１６】
ブロック１０４で、処理ロジックは、画像再構成において後で使用するために不揮発性記憶装置（例えば、図５に関して以下で議論されるイメージセンサ５００のＮＶＲＡＭ）内に鮮鋭度パラメータを記憶する。１つの実施形態において、鮮鋭度パラメータは、ユーザの要求に基づいて更新することができる。
【００１７】
ブロック１０６で、処理ロジックは、各ピクセル位置について１つの色値を有するエンコードされたカラー画像に関する信号を受け取る。１つの実施形態において、信号は、同じ色の２つのピクセルを含む２×２パターン（例えば、ベイヤーパターン）を用いてエンコードされた画像のピクセル値を含む。代替として、２×２のパターンは、４つの異なる色のピクセルを含む。
【００１８】
ブロック１０８で、処理ロジックは、画像内の各ピクセル位置について４つの色値を再構成する。１つの実施形態において、４つの色値は、赤値Ｒ、青値Ｂ、第１の緑値Ｇ１、及び第２の緑値Ｇ２（例えば、ベイヤーパターンによる）を含む。或いは、再構成される色値は、Ｂ、Ｇ、Ｒ１及びＲ２；Ｒ、Ｇ、Ｂ１及びＢ２；又は４つの異なる色（例えば、Ｂ、Ｇ、Ｒ及びブラウン）を含むことができる。
【００１９】
４つの色値は、不揮発性記憶装置から取り出された鮮鋭度パラメータを含む畳み込みマスクのセットを用いて再構成される。使用されるマスクのセットは、対応するソースピクセルの色に関係なく各ピクセル位置について同じである。畳み込みマスクのサイズ及びこれらの係数は、方法１００が使用される用途のタイプに基づいて実験的に決定することができる。４つの畳み込みマスクのセットを利用する再構成プロセスの１つの実施形態を図２に関連して以下でより詳細に議論する。
【００２０】
１つの実施形態において、処理ロジックは、２つのピクセル、すなわちカレントピクセルと、同じピクセルコラム上にある以前のピクセルラインからのピクセルとについて並行して再構成を実行する。
【００２１】
プロセシングブロック１１０において、処理ロジックは、画像内の各ピクセル位置について４つの再構成されたピクセル値の線形結合を実行して、３色出力画像を生成する。１つの実施形態において、同じ色の２つのピクセル値の平均が計算され、出力画像内のこの色のピクセル値を決定する（例えば、出力画像内の緑の値は、再構成されたＧ１及びＧ２の平均である）。
【００２２】
図２は、ベイヤーパターンによってエンコードされた画像内のピクセル位置について４つの色値を再構成するためのプロセス２００の１つの実施形態のフロー線図である。本プロセスは、デモザイクモジュール（例えば、図５に関連して以下で議論されるデモザイクモジュール）のロジック処理によって実行することができ、ハードウェア（例えば、回路構成、専用ロジック、プログラム可能ロジック、マイクロコード、その他）、ソフトウェア（デジタル処理デバイス又は汎用コンピュータシステムによって実行されるような）、或いは両方の組み合わせを含むことができる。
【００２３】
プロセス２００は、４つの畳み込みマスクのセットを使用する。鮮鋭度パラメータａ及びｂを含む例示的な畳み込みマスクは次のとおりである。
【００２４】
上述のマスクの最適なサイズ及びこれらの係数を決定するために実験を行った。
【００２５】
図２を参照すると、処理ロジックは、現在処理中のピクセル位置に対応するソースピクセルの色を決定する段階から始まる（ブロック２０２）。
【００２６】
ソースピクセルが赤である場合（ブロック２０４）、処理ロジックは、マスク０を用いて赤値Ｒを求め、マスク１を用いて青値Ｂを求め、マスク３を用いて第１の緑値Ｇ１を求め、マスク２を用いて第２の緑値Ｇ２を求める（プロセシングブロック２０６）。詳細には、赤ソースピクセルに対応するピクセル位置の４つの色値は、以下のように求められる。
Ｒｅｓｕｌｔ＿Ｒ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ０， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ１ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ３， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ２ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ２， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｂ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ１， ｍｅｍｏｒｙ）；
式中、「メモリ」は、ソースピクセル及び現在のソースピクセルが中心にある５×５領域内の隣接ピクセルの記憶ピクセル値を参照する。
【００２７】
ソースピクセルが青である場合（ブロック２０８）、処理ロジックは、マスク１を用いて赤値Ｒを求め、マスク０を用いて青値Ｂを求め、マスク２を用いて第１の緑値Ｇ１を求め、マスク３を用いて第２の緑値Ｇ２を求める（プロセシングブロック２１０）。詳細には、青ソースピクセルに対応するピクセル位置の４つの色値は、以下のように求められる：
Ｒｅｓｕｌｔ＿Ｂ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ０， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ１ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ２， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ２ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ３， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｒ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ１， ｍｅｍｏｒｙ）．
【００２８】
ソースピクセルが第１の緑ピクセルである場合（ブロック２１２）、処理ロジックは、マスク３を用いて赤値Ｒを求め、マスク２を用いて青値Ｂを求め、マスク０を用いて第１の緑値Ｇ１を求め、マスク１を用いて第２の緑値Ｇ２を求める（プロセシングブロック２１４）。詳細には、第２の緑ソースピクセルに対応するピクセル位置の４つの色値は、以下のようにして求められる：
Ｒｅｓｕｌｔ＿Ｒ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ３， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ１ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ０， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ２ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ１， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｂ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ２， ｍｅｍｏｒｙ）．
【００２９】
ソースピクセルが第２の緑ピクセルである場合、処理ロジックは、マスク２を用いて赤値Ｒを求め、マスク３を用いて青値Ｂを求め、マスク１を用いて第１の緑値Ｇ１を求め、マスク０を用いて第２の緑値Ｇ２を求める（プロセシングブロック２１６）。詳細には、第２の緑ソースピクセルに対応するピクセル位置の４つの色値は、以下のようにして求められる：
Ｒｅｓｕｌｔ＿Ｒ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ２， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ１ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ１， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｇ２ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ０， ｍｅｍｏｒｙ）；
Ｒｅｓｕｌｔ＿Ｂ ＝ １／８ ＊ Ｃｏｎｖ（ｍａｓｋ３， ｍｅｍｏｒｙ）．
【００３０】
畳み込みマスク内の鮮鋭度パラメータａ及びｂは、再構成中のフルカラー画像の鮮鋭度の調整を可能にし、従って、別個の鮮鋭化モジュールが排除される。ａ及びｂの値が小さいと平滑な画像をもたらし、大きな値は鮮鋭な画像をもたらす。
【００３１】
図３は、方法２００を用いて生成された画像における鮮鋭度の様々な程度を示す。平均的な鮮鋭度を有する画像３０２は、畳み込みマスクの鮮鋭度パラメータａ及びｂに中央値を用いて生成される。画像３０４は、畳み込みマスクの鮮鋭度パラメータａ及びｂに大きな値を用いて生成された鮮鋭な画像である。画像３０６は、畳み込みマスクの鮮鋭度パラメータａ及びｂに小さな値を用いて生成された平滑な画像である。
【００３２】
図４Ａ及び図４Ｂは、方法２００を用いて生成された画像の品質を示す。図４Ａを参照すると、画像４０２は、画像４０４、４０６及び４０８との比較の基準として使用される元の３色画像である。元画像４０２は、ベイヤーパターンに従って各ピクセル位置について３つの色値のうちの２つを除去することによって、ベイヤーパターンを用いてエンコードされる。このエンコードされた画像は、図４Ａに示されたカラー画像再構成に対する入力として使用される。画像４０４は、方法２００を使用して再構成されたカラー画像である。画像４０６及び４０８は、従来技術の方法を用いて再構成されたカラー画像である。詳細には、画像４０６を再構成するのに使用される方法（本明細書でＨａｍｉｌｔｏｎ−Ａｄａｍｓ法と呼ぶ）は、米国特許５，６２９，７３４に記載され、画像４０８を再構成するために使用される方法（本明細書でＭａｌｖａｒ法と呼ばれる）は、Ｈ．Ｓ．Ｍａｌｖａｒ他、「Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｏｒ Ｄｅｍｏｓａｉｃｉｎｇ ｏｆ Ｂａｙｅｒ−Ｐａｔｔｅｒｎｅｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ（ベイヤーパターン化カラー画像のデモザイク処理のための高品質リニア補間法）」、ＩＥＥＥ ＩＣＡＳＰＰ ２００４の紀要の刊行物に記載される。
【００３３】
図４Ａに示されるように、方法２００を用いて再構成された画像４０４は、Ｈａｍｉｌｔｏｎ−Ａｄａｍｓ法を用いて再構成された画像４０６よりも良好な品質を有する。詳細には、画像４０６は、画像４０６よりもかなり多くのアーチファクトを有する（例えば、睫毛の部位）。Ｍａｌｖａｒ法を用いて再構成された画像４０８は、図示の実施例ではバイエルカーネル内の２つの緑が画像４０２内の同じ緑から生成され、従って同じ応答を有するので、画像４０４と同様に見える。しかしながら、２つの緑が異なる応答を有する場合、Ｍａｌｖａｒ法は、ブロックパターンのアーチファクトをもたらすことになる。加えて、Ｈａｍｉｌｔｏｎ−Ａｄａｍｓ法及びＭａｌｖａｒ法のどちらも、カラー再構成中に再構成画像の鮮鋭度を選択することができない。
【００３４】
図４Ｂを参照すると、画像４１２、４１４及び４１６が、再構成された天空の一部分の詳細を示している。画像４１２は、Ｍａｌｖａｒ法を用いて生成され、画像４１４は、Ｈａｍｉｌｔｏｎ−Ａｄａｍｓ法を用いて生成され、画像４１６は、上述の方法２００を用いて生成された。図４Ｂに示されるように、画像４１６は、緑ピクセルの異なる応答に起因する顕著なアーチファクトを含む画像４１２及び４１４と比較して、有意に良好な品質を有する。
【００３５】
図５は、本明細書に記載された方法及び装置を実施するイメージセンサ５００の１つの実施形態のブロック図である。イメージセンサ５００は、スイッチング素子及び増幅素子と直列にピクセルマトリクスを有するイメージングコア５０２を含む。ピクセルマトリクスは、ピクセルのアレイ及び対応する駆動及び感知回路構成を有する。各ピクセルは、少なくとも感光性素子及び読み出しスイッチから構成される。ピクセルマトリクス並びにスイッチング素子及び増幅素子は、当該技術分野において公知であり、従って、より詳細には説明しない。
【００３６】
イメージングコアは、アナログ・デジタル変換器（ＡＤＣ）５１４にアナログ出力５１０を提供し、アナログ・イメージングコア出力５１０をデジタルドメインに変換する。ＡＤＣ５１４はデジタル処理デバイス５０４に結合される。デジタル処理デバイス５０４は、マイクロプロセッサ又は中央演算処理装置、コントローラ、又は同様のものなどの１つ又はそれ以上の汎用処理デバイスを含むことができる。代替として、デジタル処理デバイス５０４は、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、又は同様のものなど、１つ又はそれ以上の専用処理デバイスを含むことができる。デジタル処理デバイス５０４は、汎用処理デバイス及び専用処理デバイスの何れかの組み合わせも含むことができる。
【００３７】
デジタル処理デバイス５０４は、イメージセンサ５００の外部にある構成要素と情報入出力（Ｉ／Ｏ）交換を処理し且つプロトコル、ハンドシェーキング、電圧変換、その他などの他のタスクに対処するインターフェースモジュール５１２に結合される。インターフェースモジュール５１２は、シーケンサ５０８に結合することができる。シーケンサ５０８は、イメージングコア５０２、デジタル処理デバイス５０４、及びＡＤＣ５１４など、イメージセンサ５００内の１つ又はそれ以上の構成要素に結合することができる。シーケンサ５０８は、外部的に生成されたクロック及び制御信号をインターフェースモジュール５１２から受け取り、例えばイメージングコア５０２、ＡＤＣ５１４、その他のイメージセンサ内の回路構成を駆動する内部パルスを発生するデジタル回路とすることができる。
【００３８】
デジタル処理デバイス５０４は、メモリ５０６に結合される。メモリ５０６は、デジタル処理デバイス５０４が読み取り可能な何れかのタイプの機械可読媒体とすることができる。機械可読媒体は、機械（例えば、コンピュータ）が読み取り可能な形態で情報を提供（例えば記憶及び／又は伝送）する何れかの機構を含む。例えば、機械可読媒体には、読み出し専用メモリ（ＲＯＭ）；ランダムアクセスメモリ（ＲＡＭ）；磁気ディスク記憶媒体；光学記憶媒体；フラッシュメモリデバイス；ＤＶＤ、電気、光学、音響又は他の形式の伝搬信号（例えば、搬送波、赤外線信号、デジタル信号、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＦＬＡＳＨ、磁気又は光学カード）、或いは電子的命令の記憶に好適な何れかのタイプの媒体が含まれる。
【００３９】
１つの実施形態において、メモリ５０６は、鮮鋭度パラメータを記憶するための不揮発メモリ（例えば、ＮＶＲＡＭ又はフラッシュメモリ）を含む。加えて、メモリ５０６は、ＡＤＣ５１４の出力（例えば、ベイヤーパターンを使用してエンコードされた画像のソースピクセルの色値）を一時的に記憶するためのＲＡＭを含むことができる。
【００４０】
イメージセンサ５００はまた、デモザイクモジュール５１６を含むこともできる。１つの実施形態において、デモザイクモジュール５１６は、メモリ５０６内に存在し且つデジタル処理デバイス５０４が実行するための処理ロジックを内蔵する。別の実施形態において、デモザイクモジュール５１６は、回路構成、専用ロジック、プログロマブルロジック、マイクロコード、その他といったハードウェアを備えた処理ロジックを含む独立したブロックである。更に別の実施形態においては、デモザイクモジュール５１６は、ソフトウェアとハードウェアとの組み合わせを備える処理ロジックを含む。
【００４１】
１つの実施形態において、デモザイクモジュール５１６は、ＡＤＣ５１４から個々のソースピクセルを受け取りメモリ５０６にアクセスし、現在のソースピクセルの周囲のピクセルを読み取る。次いで、デモザイクモジュール５１６は、パラメータ化された畳み込みマスクのセットを用いて、現在のソースピクセルについて４つの色値を再構成する。１つの実施形態において、デモザイクモジュール５１６は、２つのピクセル、すなわち現在のピクセルと、同じピクセルコラム上の前のピクセルラインからのピクセルとに並行して再構成を実行する。
【００４２】
デモザイクモジュール５１６はまた、畳み込みマスクの鮮鋭度パラメータに基づいて再構成画像の鮮鋭度を調整することができる。次いで、デモザイクモジュール５１６は、４つの色値の線形結合を実行し、後処理モジュール５１８に結果として得られる３色画像を提供することができる。後処理モジュール５１８において、デモザイク処理の出力は、色補正、ハーフトーン処理、白色補正及び圧縮処理などの一連の画像処理ステップを通過して、最後に画像出力部５２０（例えば、ディスプレイデバイス、記録装置、など）に出力される。後処理モジュール５１８は、メモリ５０６内に存在し、デジタル処理デバイス５０４による実行のための処理ロジックを含むことができ、又は、ハードウェアを備える処理ロジックを含む独立したブロックとすることができ、或いは、ソフトウェアとハードウェアとの組み合わせを備える処理ロジックを更に含むことができる。
【００４３】
本明細書で議論したイメージセンサ５００は、種々の用途で用いることができる。１つの実施形態において、本明細書で議論したイメージセンサ５００は、例えば汎用写真（例えば、カメラ付携帯電話、スチールカメラ、ビデオカメラ）、或いは特殊用途写真に使用することができる。代替として、本明細書で議論したイメージセンサ５００は、例えば、マシンビジョン、文書スキャン、顕微鏡、セキュリティ、バイオメトリックス、その他である他のタイプの用途に使用することができる。
【００４４】
本発明の一部の特定の実施形態が示されたが、本発明はこれらの実施形態に限定されるものではない。本発明は、本明細書に記載された特定の実施形態によって限定されず、添付の請求項によってのみ限定される点を理解すべきである。
【図面の簡単な説明】
【００４５】
【図１】デモザイク処理の１つの実施形態のフロー線図である。
【図２】ベイヤーパターンによってエンコードされた画像におけるピクセル位置の４つの色値を再構成するためのプロセスの１つの実施形態のフロー線図である。
【図３】図２の方法を用いて生成された画像における鮮鋭度の様々な程度を示す図である。
【図４Ａ】図２の方法を用いて生成された画像の品質を示す図である。
【図４Ｂ】図２の方法を用いて生成された画像の品質を示す図である。
【図５】イメージセンサの１つの実施形態のブロック図である。
【特許請求の範囲】
【請求項１】
各ピクセル位置について１つの色値を有し、複数の色からなる４つのピクセルを備えた２×２パターンに従ってエンコードされたエンコード画像に関連する信号を受け取る段階と、
前記画像内の各ピクセル位置について複数の色の４つの値を畳み込みマスクのセットを用いて再構成する段階と、
を含み、
前記畳み込みマスクの同じセットが、全ての色の再構成に使用され、使用される前記畳み込みマスクの順序が、前記エンコード画像内の対応するピクセルの色によって決まる、
ことを特徴とする方法。
【請求項２】
前記複数の色が３つの色を含む、
請求項１に記載の方法。
【請求項３】
前記パターンが、２つの緑ピクセル、１つの赤ピクセル、及び１つの青ピクセルを含むベイヤーパターンを備える、
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記各ピクセル位置の４つの色値の線形結合を実施して、３色出力画像を生成する段階を更に含む、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記畳み込みマスクのセット内の係数が、１つ又はそれ以上のパラメータを含む、
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記１つ又はそれ以上のパラメータがユーザによって指定される、
ことを特徴とする請求項５に記載の方法。
【請求項７】
前記１つ又はそれ以上のパラメータに基づいて前記画像の鮮鋭度を調整する段階を更に含む、
ことを特徴とする請求項５に記載の方法。
【請求項８】
前記畳み込みマスクのセットが４つの畳み込みマスクを含む、
ことを特徴とする請求項１に記載の方法。
【請求項９】
前記各ピクセル位置の４つの色値が、現在のソースピクセルと前記現在のソースピクセルが中心にある５×５領域内の現在のソースピクセルの近傍とのピクセル値に基づいて再構成される、
ことを特徴とする請求項１に記載の方法。
【請求項１０】
複数の色からなる４つのピクセルを備える２×２パターンを用いてエンコードされた画像のソースピクセルの色値を記憶するメモリと、
畳み込みマスクのセットを用いて前記画像内の各ピクセル位置について前記複数の色の４つの値を再構成するデモザイクモジュールと、
を備え、
前記畳み込みマスクの同じセットが全ての色の再構成に使用され、使用される前記畳み込みマスクの順序が、前記エンコード画像内の対応するピクセルの色によって決まる、
ことを特徴とする装置。
【請求項１１】
前記パターンが、１つの赤ピクセル及び１つの青ピクセルと組み合わされた２つの緑ピクセルを備える、
ことを特徴とする請求項１０に記載の装置。
【請求項１２】
前記パターンがベイヤーパターンを備える、
ことを特徴とする請求項１１に記載の装置。
【請求項１３】
前記デモザイクモジュールが更に、前記各ピクセル位置の４つの色値の線形結合を実施して３色出力画像を生成することになる、
ことを特徴とする請求項１１に記載の装置。
【請求項１４】
前記畳み込みマスクのセットにおける係数が、１つ又はそれ以上のパラメータを含む、
ことを特徴とする請求項１１に記載の装置。
【請求項１５】
前記デモザイクモジュールが更に、前記１つ又はそれ以上のパラメータに基づいて前記画像の鮮鋭度を調整することになる、
ことを特徴とする請求項１４に記載の装置。
【請求項１６】
前記デモザイクモジュールが、現在のソースピクセルと前記現在のソースピクセルが中心になる５×５領域内の現在のソースピクセルの近傍とのピクセル値に基づいて前記４つの色値の１つについて前記セットから畳み込みマスクを選択することになる、
ことを特徴とする請求項１１に記載の装置。
【請求項１７】
処理システムによって実行されたときに、前記処理システムに対して、
各ピクセル位置について１つの色値を有し、複数の色からなる４つのピクセルを備えた２×２パターンに従ってエンコードされたエンコード画像に関連する信号を受け取る段階と、
前記画像内の各ピクセル位置について複数の色の４つの色値を畳み込みマスクのセットを用いて再構成する段階と、
を含む方法を実行させる命令を含む機械可読媒体であって、
前記畳み込みマスクの同じセットが、全ての色の再構成に使用され、使用される前記畳み込みマスクの順序が、前記エンコード画像内の対応するピクセルの色によって決まる、
ことを特徴とする機械可読媒体。
【請求項１８】
前記パターンが、１つの赤ピクセル及び１つの青ピクセルと組み合わされた２つの緑ピクセルを備える、
ことを特徴とする請求項１７に記載の機械可読媒体。
【請求項１９】
前記パターンがベイヤーパターンを備える
ことを特徴とする請求項１８に記載の機械可読媒体。
【請求項２０】
前記方法が更に、
前記畳み込みマスクのセットに含まれる１つ又はそれ以上のパラメータに基づいて前記画像の鮮鋭度を調整する段階を更に含む、
ことを特徴とする請求項１７に記載の機械可読媒体。
【請求項１】
各ピクセル位置について１つの色値を有し、複数の色からなる４つのピクセルを備えた２×２パターンに従ってエンコードされたエンコード画像に関連する信号を受け取る段階と、
前記画像内の各ピクセル位置について複数の色の４つの値を畳み込みマスクのセットを用いて再構成する段階と、
を含み、
前記畳み込みマスクの同じセットが、全ての色の再構成に使用され、使用される前記畳み込みマスクの順序が、前記エンコード画像内の対応するピクセルの色によって決まる、
ことを特徴とする方法。
【請求項２】
前記複数の色が３つの色を含む、
請求項１に記載の方法。
【請求項３】
前記パターンが、２つの緑ピクセル、１つの赤ピクセル、及び１つの青ピクセルを含むベイヤーパターンを備える、
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記各ピクセル位置の４つの色値の線形結合を実施して、３色出力画像を生成する段階を更に含む、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記畳み込みマスクのセット内の係数が、１つ又はそれ以上のパラメータを含む、
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記１つ又はそれ以上のパラメータがユーザによって指定される、
ことを特徴とする請求項５に記載の方法。
【請求項７】
前記１つ又はそれ以上のパラメータに基づいて前記画像の鮮鋭度を調整する段階を更に含む、
ことを特徴とする請求項５に記載の方法。
【請求項８】
前記畳み込みマスクのセットが４つの畳み込みマスクを含む、
ことを特徴とする請求項１に記載の方法。
【請求項９】
前記各ピクセル位置の４つの色値が、現在のソースピクセルと前記現在のソースピクセルが中心にある５×５領域内の現在のソースピクセルの近傍とのピクセル値に基づいて再構成される、
ことを特徴とする請求項１に記載の方法。
【請求項１０】
複数の色からなる４つのピクセルを備える２×２パターンを用いてエンコードされた画像のソースピクセルの色値を記憶するメモリと、
畳み込みマスクのセットを用いて前記画像内の各ピクセル位置について前記複数の色の４つの値を再構成するデモザイクモジュールと、
を備え、
前記畳み込みマスクの同じセットが全ての色の再構成に使用され、使用される前記畳み込みマスクの順序が、前記エンコード画像内の対応するピクセルの色によって決まる、
ことを特徴とする装置。
【請求項１１】
前記パターンが、１つの赤ピクセル及び１つの青ピクセルと組み合わされた２つの緑ピクセルを備える、
ことを特徴とする請求項１０に記載の装置。
【請求項１２】
前記パターンがベイヤーパターンを備える、
ことを特徴とする請求項１１に記載の装置。
【請求項１３】
前記デモザイクモジュールが更に、前記各ピクセル位置の４つの色値の線形結合を実施して３色出力画像を生成することになる、
ことを特徴とする請求項１１に記載の装置。
【請求項１４】
前記畳み込みマスクのセットにおける係数が、１つ又はそれ以上のパラメータを含む、
ことを特徴とする請求項１１に記載の装置。
【請求項１５】
前記デモザイクモジュールが更に、前記１つ又はそれ以上のパラメータに基づいて前記画像の鮮鋭度を調整することになる、
ことを特徴とする請求項１４に記載の装置。
【請求項１６】
前記デモザイクモジュールが、現在のソースピクセルと前記現在のソースピクセルが中心になる５×５領域内の現在のソースピクセルの近傍とのピクセル値に基づいて前記４つの色値の１つについて前記セットから畳み込みマスクを選択することになる、
ことを特徴とする請求項１１に記載の装置。
【請求項１７】
処理システムによって実行されたときに、前記処理システムに対して、
各ピクセル位置について１つの色値を有し、複数の色からなる４つのピクセルを備えた２×２パターンに従ってエンコードされたエンコード画像に関連する信号を受け取る段階と、
前記画像内の各ピクセル位置について複数の色の４つの色値を畳み込みマスクのセットを用いて再構成する段階と、
を含む方法を実行させる命令を含む機械可読媒体であって、
前記畳み込みマスクの同じセットが、全ての色の再構成に使用され、使用される前記畳み込みマスクの順序が、前記エンコード画像内の対応するピクセルの色によって決まる、
ことを特徴とする機械可読媒体。
【請求項１８】
前記パターンが、１つの赤ピクセル及び１つの青ピクセルと組み合わされた２つの緑ピクセルを備える、
ことを特徴とする請求項１７に記載の機械可読媒体。
【請求項１９】
前記パターンがベイヤーパターンを備える
ことを特徴とする請求項１８に記載の機械可読媒体。
【請求項２０】
前記方法が更に、
前記畳み込みマスクのセットに含まれる１つ又はそれ以上のパラメータに基づいて前記画像の鮮鋭度を調整する段階を更に含む、
ことを特徴とする請求項１７に記載の機械可読媒体。
【図１】
【図２】
【図４Ｂ】
【図５】
【図３】
【図４Ａ】
【図２】
【図４Ｂ】
【図５】
【図３】
【図４Ａ】
【公表番号】特表２００９−５０８４３６（Ｐ２００９−５０８４３６Ａ）
【公表日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願番号】特願２００８−５３１０９４（Ｐ２００８−５３１０９４）
【出願日】平成１８年７月２８日（２００６．７．２８）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０２９５６７
【国際公開番号】ＷＯ２００７／０３２８２４
【国際公開日】平成１９年３月２２日（２００７．３．２２）
【出願人】（３０１０２０２３７）サイプレス セミコンダクター コーポレイション (18)
【Ｆターム（参考）】
【公表日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願日】平成１８年７月２８日（２００６．７．２８）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０２９５６７
【国際公開番号】ＷＯ２００７／０３２８２４
【国際公開日】平成１９年３月２２日（２００７．３．２２）
【出願人】（３０１０２０２３７）サイプレス セミコンダクター コーポレイション (18)
【Ｆターム（参考）】
[ Back to top ]