デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム
本発明は、デジタル画像捕捉装置及び捕捉画像の再構成の複雑さと、画像の画質との間のトレードオフを取り除く問題を解決することを目的とする。この目的のために、本発明は、カラーフィルタのアレイ（１６）を有するデジタル画像センサ（１８）を提供する。画像センサのアレイは、オーバラップせずに反復する複数の同一の基本パターン（７０）を有する。基本パターンはそれぞれ、水平方向及び／又は垂直方向の連続する同一種類の２つのカラーフィルタの間の可変のピッチを含むように、擬似ランダムに配置されるカラーフィルタ（７２、８２、９４）によって形成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像獲得専用のカラーセンサに関し、画像獲得方法及び画像再構成方法並びにその方法を実行するシステムに関する。
【背景技術】
【０００２】
本発明は、画像及び一連の画像のデジタル処理の分野に位置付けられ、デジタル処理の際に、カメラによって画像及び一連の画像の獲得し、画像及び一連の画像を再構成しローフォーマット（raw format）、又は圧縮されたフォーマットを保存する。
【０００３】
デジタルビデオ装置、及び写真装置などによりカラー画像を獲得することには、カラー画像表示システム及び画像圧縮システムにダウンストリームを接続して、捕捉したデジタル画像の画質を改良するための、獲得後の後処理が含まれる。
【０００４】
しかしながら、視覚的に高い画質を再び作り出すために、現在のカメラ又はデジタル写真装置の多くは、正面にカラーフィルタのアレイが配置されるセンサを使用する。
【０００５】
それぞれのカラーフィルタは、一部の光を透過し、残りの光を吸収する透過性素子であり、透過性のスペクトル分布がフィルタの色を規定する。
【０００６】
捕捉画像は、「画素」で構成される。画素は、画像のデジタル成分を示し、画像における画素の位置（行／列）と、灰色（gris）レベル又はカラーレベルに対応する画素のデジタル値とによって特徴付けられる。
【０００７】
画像の「大きさ」は、行の数に列の数を乗じたもの、すなわち画素数をいう。
【０００８】
「水平／垂直」という用語は、一般的に高さ（行の数）と幅（列の数）とにおいて画像の大きさを決定するためにそれぞれ使用される。
【０００９】
カラーフィルタのアレイは、カラー表示を可能にするために、センサのそれぞれの画素に異なるスペクトル感受性を与える。同様に、この方法によると、それぞれの画素に単一の色がサンプリングされる。その結果として、デモザイク（demosaicing）する（すなわち、「ＲＧＢ色、赤色、緑色、青色」の３つの成分の補間）ことか、又は輝度を評価し、かつクロミナンスを補間することが、画素ごとに３つのスペクトル感受性を有するカラー画像を再構成するために必要となる。本明細書では、「輝度」は、画像の無色彩（achromatic）の成分をいい、「クロミナンス」、又は「複数のクロミナンス」、若しくは「クロミナンスの３つの成分」は、輝度の情報がない画像のクロミナンス成分をいう。
【００１０】
処理の複雑さを低減するために、先行技術から、いくつかの解決法が分かる。
【００１１】
例えば、現在のところ最も一般的にセンサに配置されるカラーフィルタのアレイは、いわゆるベイヤーＣＦＡ（「カラーフィルタのアレイ」）である。このアレイは、周期的であり、２つの行の一方の行の赤色画素と緑色画素の規則的な交互性と、他方の行の緑色画素と青色画素の規則的な交互性とからなる。
【００１２】
このアレイの主な問題は、観視され得るアーチファクト（artefacts）が補間によって生成されるために、再構成された画像の画質が低下することである。アーチファクトの生成を抑制する技術の１つには、４つのフォトサイト（photosites）を使用して、単一の画素を再構成する技術がある。フォトサイトはそれぞれ、光電子セルを示し、スペクトル感受性に関連する小電流を作り出すことによって変換される（traduit）波長範囲（赤色、緑色、又は青色）において光の強度に感受性を有する。４つのフォトサイトの電流を組み合わせることによって、画素の３つの色を構成することが可能になる。その一方で、この技術によって、デジタル画像に有用な画素の数がフォトサイトの数と比較して４倍減少するため、センサがより複雑になる。
【００１３】
光子の吸収差、又は六角構造を有するスーパＣＣＤ（「電荷結合素子」）などによるベイヤー法の置き換えを目的とする他の公知の方法は、ベイヤーフィルタリングのための画像獲得の後処理を完全に修正する。このため、取得し、処理するシステム及び方法がより複雑になる。
【００１４】
さらに、周知の再構成法（Laplacien補正階調法（Laplacien corrected gradient method）、所定係数法（predefined coefficients methods）、交互射影法、周波数選択法、及びウィンナー法など）の研究の多くは、ＰＳＮＲ（「ピーク信号対雑音比」）の客観的計測によって実行され、再構成画像の画質と、再構成方法の複雑さの間の妥協点があることを明示する。再構成画像の画質を高くするためには、獲得装置及び／又は再構成方法を非常に複雑にする必要がある。複雑さは、処理速度、方法を実行するのに使用可能なメモリの大きさ、結果を保存するメモリの大きさ、処理における消費電力、及び処理時間の消費などのような装置及びコンピュータ資源における消費をいう。また、カメラ獲得システムの複雑さは、性能、ロバスト性、大きさ、及びコストの観点からセンサなどのハードウェア素子につながる。
【００１５】
また、再構成画像の主観的知覚の観点から、客観的計測に関して効果的なアルゴリズムは、特定のアーチファクトを確実に抑制するが、他の観視上の欠点が多くなる傾向がある。
【００１６】
アーチファクト生成の問題を克服するために、センサ表面のカラーフィルタのランダムな配置、又は擬似ランダムな（pseudo-random）配置を使用することが公知である。実際には、ランダムなサンプリングは、エイリアシング現象を抑制しないことが公知である。したがって、カラーフィルタのランダムな分布、すなわちカラーフィルタの非周期的分布では、画像表示における空間情報と色情報との混在は、限定され、その結果として、アーチファクトの発生は抑制される。
【００１７】
ランダムな配置を有するセンサは、Chaix de Laverne他の刊行物「ランダムに配置された色モザイクの再構成のための非線形均一処理（uniform non-linear processing for reconstruction of a randomly distributed chromatic mosiac）」、又は米国特許出願第２００３／０２１０３３２号などにおいて公知である。
【００１８】
しかしながら、ベイヤーパターンなどのような規則的なパターンと対照的に、所与の画素に近接する画素が不明であり、かつ画像の一方の領域から他方の領域に変化するため、アレイ上のカラーフィルタの非周期的分布、すなわちランダムな分布では、欠落した色の補間が難しくなる。
【発明の概要】
【発明が解決しようとする課題】
【００１９】
本発明は、先行技術のこのような不利な点を軽減することを目的とする。
【００２０】
このため、本発明の基本的な考え方は、欠落した色の補間が複雑になり過ぎないように、センサを形成するアレイにおける特定の規則性を維持する一方で、アーチファクトを抑制させることが可能なランダムな分布の有利な点を組み合わせることである。
【００２１】
したがって、本発明は、人間の目の主観的知覚に対応する高画質の画像の傾向がある中で、捕捉画像を再構成する複雑さに関連する獲得装置の複雑さと、画像の画質との妥協点を超える（depasser）ことを目的とする。
【００２２】
本発明は、人間の目におけるカラーのランダムな分布のモデルから開始して、アーチファクトの抑制によって知覚される画質の向上を可能にする。
【００２３】
したがって、本発明は、センサ表面のカラーフィルタの擬似ランダム（以降、「非周期的」とも称する）配置を提案し、その結果として、発生する干渉性エラーを減少する。擬似ランダム配置と、その配置に適した捕捉画像を再構成する方法との組み合わせは、捕捉画像の画質／再構成方法及び獲得装置の複雑さの割合を最適化する。
【００２４】
「擬似ランダムパターン」は、先に予測不可能な不規則な配置に配置されるカラーフィルタを有するセンサのパターンをいい、「擬似的」という限定詞は、決定性装置であるデジタルコンピュータが実行するコンピュータ処理では、純粋にランダムな特性を取得できないという事実のため使用される。
【課題を解決するための手段】
【００２５】
より明確には、本発明の対象は、カラーフィルタのアレイを有するデジタル画像獲得センサである。アレイは、オーバラップせずに反復する複数の同一の基本パターンからなり、基本パターンはそれぞれ、水平方向及び／又は垂直方向に連続する同一種類の２つのカラーフィルタの間の可変のピッチを含むように、擬似ランダムに配置されるカラーフィルタによって形成される。
【００２６】
このように、擬似ランダムな基本パターンを使用することによって、アーチファクトを抑制することが可能であり、この基本パターをオーバラップせずに反復することによって、カラー補間を容易にする特定の規則性を取り入る。
【００２７】
米国特許出願第２００３／０２１０３３２号の文献は、複数の基本パターンからなるカラーフィルタのアレイを説明する。しかしながら、この文献は、擬似ランダムに配置されるカラーフィルタによって形成さる基本パターンがそれぞれオーバラップせずに反復するという事実に基づく情報を提供しない。
【００２８】
本発明に従うと、画像表示における空間情報と色情報との混在による干渉を制限することによって、画像の画質に影響を与えるアーチファクトの発生を抑制する。
【００２９】
したがって、画像獲得の実行において、ベイヤーケースなどで示される公知の後処理方法を部分的に使用して、性能を向上させることが可能である。
【００３０】
好適な実施形態を示す。
センサは、カラーフィルタのアレイを有し、カラーフィルタのアレイのカラーフィルタの基本パターンは、画像の４×４画素以上であり、かつ画像の大きさより小さい。
センサは、カラーフィルタのアレイを有し、カラーフィルタのアレイのカラーフィルタの基本パターンは、画像の大きさと同一の大きさである。
【００３１】
また、本発明は、一連のデジタル画像を獲得し、再構成する方法に関連する。ここで画像は、センサによって獲得される間に、カラーフィルタのアレイを用いてフィルタリングすることによって、それぞれの画像から獲得された成分から少なくとも１つの画像を再構成するために、赤色、緑色、及び青色の成分の獲得を実行する。
【００３２】
この方法は、以下の実施する特定のモードに従う。
再構成フィルタを適用するために、獲得画像の輝度とクロミナンスとの分解を実行する。分解は、再構成フィルタの複雑さを減少する。
獲得画像の輝度とクロミナンスとの分解を、擬似ランダムパターンを用いたクロミナンス用のセンサと、カラーフィルタのアレイを有しない輝度用のセンサとによって取得する。
輝度を推定し、擬似ランダムパターンセンサが獲得したデータから、クロミナンスの３つの成分を補間する。
輝度を推定し、擬似ランダムパターンセンサが獲得したデータから、３つのクロミナンス成分を補間する。
捕捉画像の推定輝度と、捕捉画像のクリミナンスの３つの補間成分とから、画像の再構成を実行する。
画像の再構成は、線形であり、基本パターンと近接部とからの画素の近接の重みのみを含む。
画像の再構成は、適応性があり、非線形であり、そして、標準化された低域フィルタで推定された輝度の低周波数の階調度に基づく計算によって、ベースバンドに戻されたスペクトルのクロミナンスの補間を実行する。
デモザイクは、ゼロ空間周波数クリミナンスの搬送波の変換によるハイリスク（high-risk）周波数を除去することによって実行する。
【００３３】
この画像獲得方法と、画像再構成方法と、これらの様々な実施を活用して、画像の画質が改良され、再構成の複雑さを緩和する。
【００３４】
カラーフィルタのアレイを有しない無色彩画像捕捉用のセンサによって作り出される線形輝度フィルタ（linear luminance filter）の係数の推定は、シミュレーションされたモザイクの中間画像と、推測された輝度との間の二次エラーの最小二乗による係数の計算に代わるものである。
【００３５】
画像データベースは、画像のそれぞれの画素に赤色、緑色、及び青色の３つの色を有するカラー画像の収集をいう。このデータベースは、それぞれの空間位置において３色サンプリング用の３つのセンサを有するシステムから生じる。
【００３６】
画像データベースのモザイクは、画像データベース上の色のモザイクの効果のシミュレーションを示す。画像データベースのモザイクを取得するために、考慮された位置にモザイクが存在しない画像の色は、人為的に（artifically）削除される。
【００３７】
不規則な分布を有するモザイクでは、階調度の計算は、それぞれ近接の画像に従って適応される。本発明は、全てのモザイクに共通の特性を使用する。すなわち、ベースバンドに輝度が位置するために、画像全体を通じて均一である輝度の低周波数成分における階調度の計算が提案される。この計算は、クロミナンスの良好な補間のために、輝度の低周波数成分における階調度により計算される輪郭（contours）を有効的に使用する。
【００３８】
また、本発明は、本発明に係る方法を実行するための一連のデジタル画像を獲得し、再構成するシステムに関連する。このシステムは、相互に接続する獲得モジュールと、デジタル処理モジュールとからなり、処理モジュールは、少なくとも１つの擬似ランダムカラーセンサと、再構成モジュールに接続される圧縮モジュールと、記憶モジュールと、表示モジュールと、出力インタフェースとを有する。
【００３９】
好適な実施形態を示す。
画像は、画素の近接の重みのみを含む線形方法によって、再構成モジュールにおいて再構成される。
画像は、標準的な低域フィルタにより推定される輝度の階調度に基づく計算によって、ベースバンドに戻されるクロミナンスの補間を実行する適応な方法で、再構成モジュールにおいて再構成される。
再構成モジュールで再構成された画像は、圧縮モジュール内の少なくとも１つのエンコーダで圧縮される。
再構成モジュールで再構成された画像は、圧縮モジュールに含まれる少なくとも１つのエンコーダで圧縮される。
【００４０】
複雑さ／画質の割合の最適化とは別に、本発明は、携帯電話、監視カメラ、又はウェブカメラのような小型獲得カメラなどの内蔵アプリケーションを含む、処理能力と大きさの制約とを有するサポートにおける実行に非常に適した解決法を提示する。
【００４１】
一般的に、本発明は、いずれのカラー画像獲得システム及びカラー画像処理システム（高解像度カメラ、フォトフォン（photophones）、及び衛星など）を対象とし、デジタル画像シーケンスのいずれの画像圧縮システム及び画像圧縮フォーマットの前処理にも適する。
【００４２】
本発明は、従来最も一般的に使用される方法、すなわちいわゆるベイヤー法に代わるものである。本発明に従うと、クロミナンスの良好な補間のために画像の輪郭を良好に使用する。輪郭は、輝度の低周波数成分の階調度によって計算される。
【００４３】
本発明は、添付した図面を参照し、限定されない以下の実施例からより理解されるであろう。
【図面の簡単な説明】
【００４４】
【図１】本発明に従った実施方法のための、擬似ランダムパターンカラーセンサを使用するデジタルカメラにおけるシステムの一例を示す図である。
【図２ａ】画像の縮小パターンと、線形再構成とによって、擬似ランダムセンサのアレイから画像を獲得する第１の実施例を示す図である。
【図２ｂ】画像の縮小パターンと、線形再構成とによって、擬似ランダムセンサのアレイから画像を獲得する第１の実施例を示す図である。
【図３ａ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｂ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｃ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｄ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｅ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｆ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｇ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｈ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｉ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ａ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｂ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｃ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｄ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｅ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｆ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｇ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｈ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｉ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【発明を実施するための形態】
【００４５】
図１を参照すると、本発明に係る擬似ランダムパターンにより獲得する方法と、デジタル画像を処理する方法とを実行するシステムであって、互いに相互接続される処理モジュールで構成されるシステムの一例がある。
【００４６】
デジタルカメラ１０は、本発明に従う擬似ランダムパターンのカラーセンサ１８と、処理部２４とから構成される。処理部２４は、再構成モジュール２６と、圧縮モジュール３２と、記憶モジュール４０と、表示モジュール４４と、出力インタフェース５２とを有する。
【００４７】
画像１４は、リンク１２を介してセンサ１８に獲得され、擬似ランダムカラーフィルタ１６のアレイによってフィルタリングされる。擬似ランダムカラーフィルタ１６は、センサに先に含まれる。フィルタリングされた画像２２は、リンク２０を介して処理部２４に送信される。より具体的には再構成モジュール２６に送信される。再構成モジュール２６は、線形再構成フィルタのアプリケーションを実行し、補間を実行して、捕捉画像の再構成をモジュール内で作り出す。また、処理部２４は、リンク２０を介してセンサ１８と通信することもできる。
【００４８】
ローフォーマットで再構成された画像３０は、リンク３６を介して記憶モジュール４０に送信されて、保存される。また、ローフォーマットで再構成された画像３０は、表示モジュール４４に直接送信されて、観視される。また、記憶モジュール４０に保存された再構成画像は、リンク４２を介して表示モジュール４４に送信され、後日観視される。
【００４９】
また、再構成画像３０は、ローフォーマットに画像を圧縮するモジュール３２にリンク２８を介して送信される。圧縮モジュールは、少なくとも１つのデジタルエンコーダを含む。代替的には、圧縮モジュール３２は、再構成モジュール２６に含まれる。エンコードの後、圧縮画像３８は、リンク３４を介して記憶部４０に送信される。
【００５０】
また、圧縮画像は、表示部４４に送信されて、観視される。表示モジュール４４は、圧縮画像３８を読み取るのに適した少なくとも１つのデジタルエンコーダを有する。また、圧縮モジュールは、圧縮器のために再構成されたロー画像を記憶モジュール４０から取り戻す。
【００５１】
記憶モジュール４０又は表示モジュール４４から、ローフォーマット又は圧縮フォーマットのいずれかで、再構成画像５０は、出力インタフェース５２にリンク４６を介して送信される。上述の処理がされた画像は、出力インタフェース５２から少なくとも１つの外部デジタルサポートにリンク５４を介して送信される。
【００５２】
ここで、本発明に従うデジタル画像獲得センサ１８を説明する。図２ａ及び２ｂを参照すると、ランダムパターンセンサ１８による獲得方法を実施し、モジュール２６において捕捉画像の再構成方法を実施する一例がある。
【００５３】
画像１４を獲得し、画像３０に再構成するこの第１の実施例において、アレイ１６と、ｎ×ｎの縮小した大きさのパターン７０とによって実行される。ここで、「ｎ」は、好適には４以上である自然数である。
【００５４】
センサ１８を形成するカラーフィルタのアレイは、オーバラップせずに反復する複数の同一の基本パターン７０からなる。それぞれの基本パターン７０は、擬似ランダムに配置されるカラーフィルタ７２、８２、及び８４によって形成される結果、それぞれの基本パターン７０は、垂直方向及び／又は水平方向において、連続する同一種類の２つのカラーフィルタの間の可変のピッチを含む。
【００５５】
実施される再構成は、線形であり、ｍ×ｍの大きさの画素７６の近接部の重みを含む。ｍは、ｎよりも大きい自然数であり、再構成フィルタの複雑さを緩和する。また、基本パターンと近接部とは、直角である。
【００５６】
また、輝度と、クロミナンスとの分解が適用される。
【００５７】
また、線形フィルタの係数の較正のために、本方法は、カラーフィルタを有しないモジュールを使用することによっても作り出される。この方法によって、定値として使用する無彩色画像を獲得することが可能になる。定値からのランダムパターンの係数の決定は、最小二乗法によって実行される。
【００５８】
次いで、画像の再構成は、推定輝度と、３色の補間成分とから実行される。
【００５９】
この実施例では、方法は、以下のＩからＩＩＩのステップに従って示される。
【００６０】
●図２に応じて、カラーフィルタ１６のアレイを規定するステップＩは、１２×１２の大きさの近接部７６とともに、基本パターンを強調する６×６の大きさのパターン７０の配置の一例を説明する。
【００６１】
縮小した大きさの基本パターン７０は、図２に規定され、（緑色に対応する）黒色で示される画素７２と、（青色に対応する）ストライプで示される画素８２と、（赤色に対応する）白色で示される画素８４とからなる。カラーフィルタの擬似ランダム配置は、６×６の大きさのパターンなどからなる。すなわち、連続する２つの同一種類のフィルタの間のピッチは、アレイの水平方向、及び垂直方向に可変である。この基本パターンは、画像全体に同一の大きさのブロックに適用される。この不規則なパターンは、任意の数のフィルタの中心にある６角のグリッド又は正方形のグリッドにおいて適用される。フィルタは、何れかの透過性を有する。
【００６２】
このパターンの規定は、同一色のフィルタが凝集することを避けるために、近接するフィルタが交互することを考慮して実行される。これによって、「誤った色（false colours）」が生じることを避ける。保持される解決法（solution retenue）は、（緑色と赤色とにある）波長に非常に近い感受性の２つのフィルタ７２と８４とを有し、擬似ランダム的に基本ブロックの多くを覆い、第３のフィルタ８２は、最大の感受性である青色を擬似ランダム的に配置する。この構成は、人間の観視システムと類似する。
【００６３】
オーバラップせずに反復するこの基本パターン７０は、センサ１８の全体のアレイに亘って適用される。したがって、提案するセンサは、連続するフィルタの同一の２つのパターンの間のピッチが一定である周期的なセンサと、画素の６×６の大きさの全体的に擬似ランダムなセンサとの間の組み合わせである。
【００６４】
●以下の計算の線形構成フィルタの構成は、ステップＩＩを構成する。
【００６５】
再構成フィルタの係数の計算が実行される。これは、再構成を実行する較正ステップであり、獲得画像の空間（光学）特性、又はスペクトル特性（カラーフィルタの付加）の変化に従って１回又は数回実行される。このステップは、画像データベースでのシミュレーション、又はカラーフィルタのアレイを有しないモジュールの構成及びアプリケーションのいずれかによって作り出される。
【００６６】
カラーモザイクの輝度の減法が実行される。色に対してコード化されたクロミナンスからなる色情報の計算が適用される。近接部の新たな重み係数を使用して、クロミナンスの補間、すなわち３つの色を作り出す。
【００６７】
第１に、再構成フィルタの係数の計算が実行される。このフィルタは、近接部７６における画素の影響を重み付けるために使用される。
【００６８】
次に、再構成フィルタの選択が、重要な画像データベースを使用してモザイク７４において欠落した色から直接規定される。
【００６９】
この場合、カラーモザイク７４の作用は、カラー画像の色が欠落したモザイクを取り除くことによってシミュレーションされ、中間の画像を取得することになる。
【００７０】
次に、Ｒ成分、Ｇ成分、及びＢ成分の係数ｐＲ、ｐＧ、及びｐＢをそれぞれ有する、データベースの画像の赤色値、緑色値、及び青色値のそれぞれの画素のために重み付けた和として、輝度画像が推定される。この係数ｐＲ、ｐＧ、及びｐＢは、擬似ランダムなモザイクを作り上げるそれぞれのフィルタに比例する。輝度、すなわち無色彩の空間情報は、画素ごとに推定される。例えば、重み係数の最適な値の１つは、ｐＲ＝ｐＧ＝ｐＢ＝１／３である。
【００７１】
大きさが可変の一連の３６個のフィルタの係数は、シミュレーションされたモザイクの中間画像と、推定輝度との間の二次エラーの最小二乗の解決法として計算される。
【００７２】
また、輝度フィルタの推定は、カラーフィルタのアレイを有しない第２のセンサモジュールの使用に基づく。実際には、カラーフィルタのアレイをセンサが有しない場合には、輝度は、センサによって測定されることになる信号に対応する。したがって、手順は、カラーフィルタを有しない輝度測定用のセンサと、カラーフィルタを有する、画像データベースのモザイク測定用のセンサとからなる。同一場面のいくつかの写真は、写真のデータベースから輝度フィルタを推定するために、この２つのモジュールで撮影される。このアプローチによって、獲得システムの光学特性とスペクトル特性とを最良に示すフィルタの構成を作り出すことが可能である。
【００７３】
また、クロミナンスフィルタの推定は、最小二乗法で実行される。この方法によって、縮小した大きさのクロミナンスの中間フィルタ、すなわち近接部７６の表面の活動の縮小を推定することが可能になる。
【００７４】
●最後に、図２ｂに参照される画像３０の線形再構成ステップＩＩＩが実行される。
【００７５】
ステップＩＩにおいてフィルタの係数が計算され、情報の再構成は、ブロック７０、８０ごとに作り出される。画素値の計算は、近接部７６の画素の全てを重み付けした和を使用して実行される。ブロックの画素７２、８２、及び８４の全てについて、３６個の異なるフィルタによる同一の計算が実行される。また、この計算は、（同一の図２内の破線における）次のブロック８０と、（同一の図２内の破線における）次の近接部７８とについて実行され、画像全てについて実行される。また、この計算は、任意の近接部に適用され、任意のブロックの大きさに適用される。
【００７６】
画像３０の再構成は、推定輝度と補間されたクロミナンスとの和によって実行される。
【００７７】
本方法は、２つの段階で規定され、第１に、輝度と、クロミナンスとに分解され、第２に、推定輝度と、補間されたクロミナンスとから画像を再合成する。これによって、輝度推定用と、クリミナンス補間用との２つの異なるフィルタアレイを使用することが可能になる。これによって、「エイリアシング」が生じる中間の空間周波数の領域を推定する。
【００７８】
有利には、再構成の他の実施形態は、輝度と色のモザイク７４との間の差異としてクリミナンスを計算することからなる。これは、輝度の使用と対照的なクリミナンスのフィルタの使用に対応する。また、アーチファクトを抑制するために、輝度の低域フィルタとクロミナンスの高域フィルタとによって、十分に分離されたスペクトル帯が規定され、スペクトルのオーバラップを実質的に減らす。これは、エイリアシングの危険性が高い中間の空間周波数を除去する別の方法である。
【００７９】
画像１４を獲得してその画像３０を再構成する方法の第２の実施形態は、図３ａ〜３ｉに簡易化され、画像の大きさと同じ大きさのカラーフィルタのアレイ１６によって、画像を獲得する。アレイ１６は、上述のようなものである。すなわち、オーバラップせずに反復する複数の同一の基本パターンからなる。それぞれの基本パターンは、水平方向及び／又は垂直方向に連続する同一種類の２つのカラーフィルタとの間の可変のピッチを含むように、擬似ランダムに配置されるカラーフィルタによって形成される。
【００８０】
また、輝度とクロミナンスとの分解が適用される。
【００８１】
ベースバンドに戻されるクロミナンスからの画像の適応な再構成が実行される。この再構成は、標準化されたＲ、Ｇ、及びＢ低域フィルタで推定される輝度の階調度に基づく計算によって作り出される。この階調度は、画像の垂直方向及び水平方向においてクロミナンスの補間を実行しなければならない場合に示す。用語「垂直階調度」は、画像の行に関連する変化をいい、用語「水平階調度」は、画像の列に関連する変化をいう。
【００８２】
また、この実施例において、同一の有利な点とともに、捕捉画像１４の再構成のために、再構成モジュールとセンサ１８とを使用することが可能である。実施形態の第２の実施例を定めることにより、そのステップは示され、処理の結果は、図３ａ〜３ｉに単純化される。
【００８３】
図３ａ〜３ｉは、図４ａ（元の画像１４）、４ｂ（捕捉画像２２）、４ｃ（捕捉画像のスペクトル８４）、４ｄ（輝度を含む推定低周波数８４）、４ｅ（３つのクロミナンス及び輝度の高周波数８８）、４ｆ（初期の赤色クロミナンス及び輝度の高周波数９０）、４ｇ（中間の赤色クロミナンス９２）、４ｈ（補間されたクロミナンスから再推定された輝度９４）、４ｉ（再構成画像２２）をそれぞれ単純化する。
【００８４】
元の画像１４（図３ａ）は、カラーフィルタのアレイ１６によってサンプリングされる。サンプリングされた画像２２（図３ｂ）は、スペクトル８４（図３ｃ）と、輝度８６を含む推定低周波数（図３ｄ）と、３つのクロミナンス及び輝度の高周波数８８（図３ｅ）とを示す。３つのクロミナンス及び輝度の高周波数８８（図３ｅ）の３つのクロミナンスの逆多重化が実行され、ここでは、初期の赤色クロミナンス及び輝度の高周波数９０などが示される。次いで、３つのクロミナンスは、適応な方法によって、補間される。例えば、赤色クロミナンス９２（図３ｇ）は、９０の初期の赤色クロミナンス（図３ｆ）から補間される。輝度９４（図３ｈ）は、補間されたクロミナンス、すなわち、赤色クロミナンス９２と、緑色及び青色クロミナンスとから再推定される。最後に、画像３０は、推定輝度とクロミナンスの３つの補間成分とから再構成される。
【００８５】
画像の獲得は、カラーフィルタのアレイ１６が配置されるカラーセンサ１８によって実行される。それぞれ３つのクロミナンスの変調関数のフーリエ変換によって規定されたクロミナンスの搬送波がスペクトル変調を形成し、輝度の低空間周波数にクロミナンスの搬送波が全く存在しない場合などには、有利には輝度のクロミナンスの干渉効果を減少するために可能な限り白色であるように色の分布をしなければならない。
【００８６】
獲得方法及び再構成方法は、以下の３つのステップＩ〜ＩＩＩなどに基づく。
【００８７】
●画像２２の輝度８６（図３ｄ）の推定及び除去のためのステップＩ
【００８８】
捕捉画像２２（図３ｂ）において元の画像１４を獲得することによって、処理を開始する。スペクトル８４（図３ｃ）などを取得するために、画像２２のスペクトル変換が適用される。次いで最も低い周波数、輝度の低い周波数がフィルタリングによって推定される。
【００８９】
使用するフィルタは、Ｒ、Ｇ、及びＢで標準化される。すなわち、フィルタの関数は、それぞれの空間位置に関係することになり、それぞれのＲ、Ｇ、及びＢの色におけるｐＲ、ｐＧ、及びｐＢの寄与が最も高い。言い換えると、Ｒ、Ｇ、及びＢのカラーフィルタに対応する係数の和がそれぞれ推定された輝度のｐＲ、ｐＧ、及びｐＢになるように、それぞれの画素においてフィルタの標準化を行う。
【００９０】
輝度８６（図３ｄ）は、センサの画像２２から推定された最も低い周波数に対応し、その画像２２から輝度８６を除去することによって、画像２２のスペクトル８４（図３ｃ）に低いスペクトル周波数を含まないスペクトル８８を創出する。
【００９１】
●輝度の階調度からのクロミナンスの補間（ステップＩＩ）
【００９２】
次いで同一のスペクトル感受性を有するサブアレイに対応する画像を分離することによって、９０の赤色クロミナンス（図３ｆ）などに画像の逆多重化が適用される。この操作は、クリミナンスの搬送波をゼロ空間周波数に戻す効果、すなわちスペクトルの中心に戻す効果を有する。
【００９３】
補間は、ベースバンドに戻したクロミナンスにおいて作り出される。この方法の有利な点は、推定輝度８６（図３ｄ）の低周波数の階調度の計算に基づいて、適応な補間を使用できることである。
【００９４】
実際には、色の補間が近接する点の垂直、水平、又は全体の平均として実行する場合に、この階調度を示す。垂直の階調度が水平の階調度よりも強い場合には、輪郭は、水平として考えられ、色の補間は、この輪郭の幅方向に実行されずに、むしろ輪郭の長さ方向に、すなわちこの場合水平に実行される。それぞれの階調度のそれぞれの値に従って、水平方向に色の補間を実行するか、又は垂直方向に色の補間を実行するかを決定するために、水平及び垂直のそれぞれの輝度８６（図３ｄ）の階調度を使用する。このように、赤色クロミナンス９２（図３ｇ）は、補間される。
【００９５】
●輝度の計算及び画像の適応な再構成の計算（ステップＩＩＩ）
【００９６】
輝度及びクロミナンスの構成の線形特性が与えられると、適応な方法で補間されたクロミナンスは、輝度９４（図３ｈ）の周波数帯の全てを回復するために、センサが獲得した画像２２から除去される。したがって、この輝度は、輝度における適応に関しては色ではない部分として計算される。
【００９７】
次いで、画像３０の再構成は、再推定した輝度９４（図３ｉ）と、補間したＲ、Ｇ、及びＢの３つのクロミナンスとから実行される。
【００９８】
本発明は、説明された実施形態の実施例に限定されない。実際には、獲得のための様々な大きさ及び形状を有する擬似ランダムなカラーフィルタのセンサアレイを規定することが可能である。例えば、擬似ランダムなパターンは、周期的に、又は非周期的にできる。再構成に関しては、様々な数のステップと、様々な種類の計算とを含む多くの方法が適用できる。再構成モジュールは、外部ホストマシーンに置くことができ、又は、デジタル処理部に統合できる。
【００９９】
また、衛星写真、医療画像などの様々な種類の応用に適合した、種々のカラーフィルタのアレイを規定することができる。
【０１００】
一般的に、画像のリアルタイムでの再構成は、リアルタイムに画像を表示することが可能であり、連続写真を実行できるカメラの一部である。
【０１０１】
例えば、衛星画像、又は直に結果を視覚化する必要がなく、遅延時間で操作する全ての装置に関しては、捕捉したデータの記憶は、ローフォーマットで実行され、次いで色の完全な再構成をオフラインで作り出す。
【０１０２】
また、本方法は、輝度を適応でき、帰納的なフィルタリングを実行することが可能である。
【０１０３】
さらに、本発明は、ＣＣＤ（電荷結合素子）技術、又はＣＭＯＳ（相補型金属酸化膜半導体回路）技術、及びセンサの大きさに関わらず、いずれの種類のセンサにも適用できる。
【技術分野】
【０００１】
本発明は、画像獲得専用のカラーセンサに関し、画像獲得方法及び画像再構成方法並びにその方法を実行するシステムに関する。
【背景技術】
【０００２】
本発明は、画像及び一連の画像のデジタル処理の分野に位置付けられ、デジタル処理の際に、カメラによって画像及び一連の画像の獲得し、画像及び一連の画像を再構成しローフォーマット（raw format）、又は圧縮されたフォーマットを保存する。
【０００３】
デジタルビデオ装置、及び写真装置などによりカラー画像を獲得することには、カラー画像表示システム及び画像圧縮システムにダウンストリームを接続して、捕捉したデジタル画像の画質を改良するための、獲得後の後処理が含まれる。
【０００４】
しかしながら、視覚的に高い画質を再び作り出すために、現在のカメラ又はデジタル写真装置の多くは、正面にカラーフィルタのアレイが配置されるセンサを使用する。
【０００５】
それぞれのカラーフィルタは、一部の光を透過し、残りの光を吸収する透過性素子であり、透過性のスペクトル分布がフィルタの色を規定する。
【０００６】
捕捉画像は、「画素」で構成される。画素は、画像のデジタル成分を示し、画像における画素の位置（行／列）と、灰色（gris）レベル又はカラーレベルに対応する画素のデジタル値とによって特徴付けられる。
【０００７】
画像の「大きさ」は、行の数に列の数を乗じたもの、すなわち画素数をいう。
【０００８】
「水平／垂直」という用語は、一般的に高さ（行の数）と幅（列の数）とにおいて画像の大きさを決定するためにそれぞれ使用される。
【０００９】
カラーフィルタのアレイは、カラー表示を可能にするために、センサのそれぞれの画素に異なるスペクトル感受性を与える。同様に、この方法によると、それぞれの画素に単一の色がサンプリングされる。その結果として、デモザイク（demosaicing）する（すなわち、「ＲＧＢ色、赤色、緑色、青色」の３つの成分の補間）ことか、又は輝度を評価し、かつクロミナンスを補間することが、画素ごとに３つのスペクトル感受性を有するカラー画像を再構成するために必要となる。本明細書では、「輝度」は、画像の無色彩（achromatic）の成分をいい、「クロミナンス」、又は「複数のクロミナンス」、若しくは「クロミナンスの３つの成分」は、輝度の情報がない画像のクロミナンス成分をいう。
【００１０】
処理の複雑さを低減するために、先行技術から、いくつかの解決法が分かる。
【００１１】
例えば、現在のところ最も一般的にセンサに配置されるカラーフィルタのアレイは、いわゆるベイヤーＣＦＡ（「カラーフィルタのアレイ」）である。このアレイは、周期的であり、２つの行の一方の行の赤色画素と緑色画素の規則的な交互性と、他方の行の緑色画素と青色画素の規則的な交互性とからなる。
【００１２】
このアレイの主な問題は、観視され得るアーチファクト（artefacts）が補間によって生成されるために、再構成された画像の画質が低下することである。アーチファクトの生成を抑制する技術の１つには、４つのフォトサイト（photosites）を使用して、単一の画素を再構成する技術がある。フォトサイトはそれぞれ、光電子セルを示し、スペクトル感受性に関連する小電流を作り出すことによって変換される（traduit）波長範囲（赤色、緑色、又は青色）において光の強度に感受性を有する。４つのフォトサイトの電流を組み合わせることによって、画素の３つの色を構成することが可能になる。その一方で、この技術によって、デジタル画像に有用な画素の数がフォトサイトの数と比較して４倍減少するため、センサがより複雑になる。
【００１３】
光子の吸収差、又は六角構造を有するスーパＣＣＤ（「電荷結合素子」）などによるベイヤー法の置き換えを目的とする他の公知の方法は、ベイヤーフィルタリングのための画像獲得の後処理を完全に修正する。このため、取得し、処理するシステム及び方法がより複雑になる。
【００１４】
さらに、周知の再構成法（Laplacien補正階調法（Laplacien corrected gradient method）、所定係数法（predefined coefficients methods）、交互射影法、周波数選択法、及びウィンナー法など）の研究の多くは、ＰＳＮＲ（「ピーク信号対雑音比」）の客観的計測によって実行され、再構成画像の画質と、再構成方法の複雑さの間の妥協点があることを明示する。再構成画像の画質を高くするためには、獲得装置及び／又は再構成方法を非常に複雑にする必要がある。複雑さは、処理速度、方法を実行するのに使用可能なメモリの大きさ、結果を保存するメモリの大きさ、処理における消費電力、及び処理時間の消費などのような装置及びコンピュータ資源における消費をいう。また、カメラ獲得システムの複雑さは、性能、ロバスト性、大きさ、及びコストの観点からセンサなどのハードウェア素子につながる。
【００１５】
また、再構成画像の主観的知覚の観点から、客観的計測に関して効果的なアルゴリズムは、特定のアーチファクトを確実に抑制するが、他の観視上の欠点が多くなる傾向がある。
【００１６】
アーチファクト生成の問題を克服するために、センサ表面のカラーフィルタのランダムな配置、又は擬似ランダムな（pseudo-random）配置を使用することが公知である。実際には、ランダムなサンプリングは、エイリアシング現象を抑制しないことが公知である。したがって、カラーフィルタのランダムな分布、すなわちカラーフィルタの非周期的分布では、画像表示における空間情報と色情報との混在は、限定され、その結果として、アーチファクトの発生は抑制される。
【００１７】
ランダムな配置を有するセンサは、Chaix de Laverne他の刊行物「ランダムに配置された色モザイクの再構成のための非線形均一処理（uniform non-linear processing for reconstruction of a randomly distributed chromatic mosiac）」、又は米国特許出願第２００３／０２１０３３２号などにおいて公知である。
【００１８】
しかしながら、ベイヤーパターンなどのような規則的なパターンと対照的に、所与の画素に近接する画素が不明であり、かつ画像の一方の領域から他方の領域に変化するため、アレイ上のカラーフィルタの非周期的分布、すなわちランダムな分布では、欠落した色の補間が難しくなる。
【発明の概要】
【発明が解決しようとする課題】
【００１９】
本発明は、先行技術のこのような不利な点を軽減することを目的とする。
【００２０】
このため、本発明の基本的な考え方は、欠落した色の補間が複雑になり過ぎないように、センサを形成するアレイにおける特定の規則性を維持する一方で、アーチファクトを抑制させることが可能なランダムな分布の有利な点を組み合わせることである。
【００２１】
したがって、本発明は、人間の目の主観的知覚に対応する高画質の画像の傾向がある中で、捕捉画像を再構成する複雑さに関連する獲得装置の複雑さと、画像の画質との妥協点を超える（depasser）ことを目的とする。
【００２２】
本発明は、人間の目におけるカラーのランダムな分布のモデルから開始して、アーチファクトの抑制によって知覚される画質の向上を可能にする。
【００２３】
したがって、本発明は、センサ表面のカラーフィルタの擬似ランダム（以降、「非周期的」とも称する）配置を提案し、その結果として、発生する干渉性エラーを減少する。擬似ランダム配置と、その配置に適した捕捉画像を再構成する方法との組み合わせは、捕捉画像の画質／再構成方法及び獲得装置の複雑さの割合を最適化する。
【００２４】
「擬似ランダムパターン」は、先に予測不可能な不規則な配置に配置されるカラーフィルタを有するセンサのパターンをいい、「擬似的」という限定詞は、決定性装置であるデジタルコンピュータが実行するコンピュータ処理では、純粋にランダムな特性を取得できないという事実のため使用される。
【課題を解決するための手段】
【００２５】
より明確には、本発明の対象は、カラーフィルタのアレイを有するデジタル画像獲得センサである。アレイは、オーバラップせずに反復する複数の同一の基本パターンからなり、基本パターンはそれぞれ、水平方向及び／又は垂直方向に連続する同一種類の２つのカラーフィルタの間の可変のピッチを含むように、擬似ランダムに配置されるカラーフィルタによって形成される。
【００２６】
このように、擬似ランダムな基本パターンを使用することによって、アーチファクトを抑制することが可能であり、この基本パターをオーバラップせずに反復することによって、カラー補間を容易にする特定の規則性を取り入る。
【００２７】
米国特許出願第２００３／０２１０３３２号の文献は、複数の基本パターンからなるカラーフィルタのアレイを説明する。しかしながら、この文献は、擬似ランダムに配置されるカラーフィルタによって形成さる基本パターンがそれぞれオーバラップせずに反復するという事実に基づく情報を提供しない。
【００２８】
本発明に従うと、画像表示における空間情報と色情報との混在による干渉を制限することによって、画像の画質に影響を与えるアーチファクトの発生を抑制する。
【００２９】
したがって、画像獲得の実行において、ベイヤーケースなどで示される公知の後処理方法を部分的に使用して、性能を向上させることが可能である。
【００３０】
好適な実施形態を示す。
センサは、カラーフィルタのアレイを有し、カラーフィルタのアレイのカラーフィルタの基本パターンは、画像の４×４画素以上であり、かつ画像の大きさより小さい。
センサは、カラーフィルタのアレイを有し、カラーフィルタのアレイのカラーフィルタの基本パターンは、画像の大きさと同一の大きさである。
【００３１】
また、本発明は、一連のデジタル画像を獲得し、再構成する方法に関連する。ここで画像は、センサによって獲得される間に、カラーフィルタのアレイを用いてフィルタリングすることによって、それぞれの画像から獲得された成分から少なくとも１つの画像を再構成するために、赤色、緑色、及び青色の成分の獲得を実行する。
【００３２】
この方法は、以下の実施する特定のモードに従う。
再構成フィルタを適用するために、獲得画像の輝度とクロミナンスとの分解を実行する。分解は、再構成フィルタの複雑さを減少する。
獲得画像の輝度とクロミナンスとの分解を、擬似ランダムパターンを用いたクロミナンス用のセンサと、カラーフィルタのアレイを有しない輝度用のセンサとによって取得する。
輝度を推定し、擬似ランダムパターンセンサが獲得したデータから、クロミナンスの３つの成分を補間する。
輝度を推定し、擬似ランダムパターンセンサが獲得したデータから、３つのクロミナンス成分を補間する。
捕捉画像の推定輝度と、捕捉画像のクリミナンスの３つの補間成分とから、画像の再構成を実行する。
画像の再構成は、線形であり、基本パターンと近接部とからの画素の近接の重みのみを含む。
画像の再構成は、適応性があり、非線形であり、そして、標準化された低域フィルタで推定された輝度の低周波数の階調度に基づく計算によって、ベースバンドに戻されたスペクトルのクロミナンスの補間を実行する。
デモザイクは、ゼロ空間周波数クリミナンスの搬送波の変換によるハイリスク（high-risk）周波数を除去することによって実行する。
【００３３】
この画像獲得方法と、画像再構成方法と、これらの様々な実施を活用して、画像の画質が改良され、再構成の複雑さを緩和する。
【００３４】
カラーフィルタのアレイを有しない無色彩画像捕捉用のセンサによって作り出される線形輝度フィルタ（linear luminance filter）の係数の推定は、シミュレーションされたモザイクの中間画像と、推測された輝度との間の二次エラーの最小二乗による係数の計算に代わるものである。
【００３５】
画像データベースは、画像のそれぞれの画素に赤色、緑色、及び青色の３つの色を有するカラー画像の収集をいう。このデータベースは、それぞれの空間位置において３色サンプリング用の３つのセンサを有するシステムから生じる。
【００３６】
画像データベースのモザイクは、画像データベース上の色のモザイクの効果のシミュレーションを示す。画像データベースのモザイクを取得するために、考慮された位置にモザイクが存在しない画像の色は、人為的に（artifically）削除される。
【００３７】
不規則な分布を有するモザイクでは、階調度の計算は、それぞれ近接の画像に従って適応される。本発明は、全てのモザイクに共通の特性を使用する。すなわち、ベースバンドに輝度が位置するために、画像全体を通じて均一である輝度の低周波数成分における階調度の計算が提案される。この計算は、クロミナンスの良好な補間のために、輝度の低周波数成分における階調度により計算される輪郭（contours）を有効的に使用する。
【００３８】
また、本発明は、本発明に係る方法を実行するための一連のデジタル画像を獲得し、再構成するシステムに関連する。このシステムは、相互に接続する獲得モジュールと、デジタル処理モジュールとからなり、処理モジュールは、少なくとも１つの擬似ランダムカラーセンサと、再構成モジュールに接続される圧縮モジュールと、記憶モジュールと、表示モジュールと、出力インタフェースとを有する。
【００３９】
好適な実施形態を示す。
画像は、画素の近接の重みのみを含む線形方法によって、再構成モジュールにおいて再構成される。
画像は、標準的な低域フィルタにより推定される輝度の階調度に基づく計算によって、ベースバンドに戻されるクロミナンスの補間を実行する適応な方法で、再構成モジュールにおいて再構成される。
再構成モジュールで再構成された画像は、圧縮モジュール内の少なくとも１つのエンコーダで圧縮される。
再構成モジュールで再構成された画像は、圧縮モジュールに含まれる少なくとも１つのエンコーダで圧縮される。
【００４０】
複雑さ／画質の割合の最適化とは別に、本発明は、携帯電話、監視カメラ、又はウェブカメラのような小型獲得カメラなどの内蔵アプリケーションを含む、処理能力と大きさの制約とを有するサポートにおける実行に非常に適した解決法を提示する。
【００４１】
一般的に、本発明は、いずれのカラー画像獲得システム及びカラー画像処理システム（高解像度カメラ、フォトフォン（photophones）、及び衛星など）を対象とし、デジタル画像シーケンスのいずれの画像圧縮システム及び画像圧縮フォーマットの前処理にも適する。
【００４２】
本発明は、従来最も一般的に使用される方法、すなわちいわゆるベイヤー法に代わるものである。本発明に従うと、クロミナンスの良好な補間のために画像の輪郭を良好に使用する。輪郭は、輝度の低周波数成分の階調度によって計算される。
【００４３】
本発明は、添付した図面を参照し、限定されない以下の実施例からより理解されるであろう。
【図面の簡単な説明】
【００４４】
【図１】本発明に従った実施方法のための、擬似ランダムパターンカラーセンサを使用するデジタルカメラにおけるシステムの一例を示す図である。
【図２ａ】画像の縮小パターンと、線形再構成とによって、擬似ランダムセンサのアレイから画像を獲得する第１の実施例を示す図である。
【図２ｂ】画像の縮小パターンと、線形再構成とによって、擬似ランダムセンサのアレイから画像を獲得する第１の実施例を示す図である。
【図３ａ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｂ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｃ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｄ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｅ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｆ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｇ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｈ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図３ｉ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ａ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｂ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｃ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｄ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｅ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｆ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｇ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｈ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【図４ｉ】画像の大きさと等しいパターンと、適応な再構成とによって、擬似ランダムセンサのアレイから獲得する第２の実施例を示す図である。
【発明を実施するための形態】
【００４５】
図１を参照すると、本発明に係る擬似ランダムパターンにより獲得する方法と、デジタル画像を処理する方法とを実行するシステムであって、互いに相互接続される処理モジュールで構成されるシステムの一例がある。
【００４６】
デジタルカメラ１０は、本発明に従う擬似ランダムパターンのカラーセンサ１８と、処理部２４とから構成される。処理部２４は、再構成モジュール２６と、圧縮モジュール３２と、記憶モジュール４０と、表示モジュール４４と、出力インタフェース５２とを有する。
【００４７】
画像１４は、リンク１２を介してセンサ１８に獲得され、擬似ランダムカラーフィルタ１６のアレイによってフィルタリングされる。擬似ランダムカラーフィルタ１６は、センサに先に含まれる。フィルタリングされた画像２２は、リンク２０を介して処理部２４に送信される。より具体的には再構成モジュール２６に送信される。再構成モジュール２６は、線形再構成フィルタのアプリケーションを実行し、補間を実行して、捕捉画像の再構成をモジュール内で作り出す。また、処理部２４は、リンク２０を介してセンサ１８と通信することもできる。
【００４８】
ローフォーマットで再構成された画像３０は、リンク３６を介して記憶モジュール４０に送信されて、保存される。また、ローフォーマットで再構成された画像３０は、表示モジュール４４に直接送信されて、観視される。また、記憶モジュール４０に保存された再構成画像は、リンク４２を介して表示モジュール４４に送信され、後日観視される。
【００４９】
また、再構成画像３０は、ローフォーマットに画像を圧縮するモジュール３２にリンク２８を介して送信される。圧縮モジュールは、少なくとも１つのデジタルエンコーダを含む。代替的には、圧縮モジュール３２は、再構成モジュール２６に含まれる。エンコードの後、圧縮画像３８は、リンク３４を介して記憶部４０に送信される。
【００５０】
また、圧縮画像は、表示部４４に送信されて、観視される。表示モジュール４４は、圧縮画像３８を読み取るのに適した少なくとも１つのデジタルエンコーダを有する。また、圧縮モジュールは、圧縮器のために再構成されたロー画像を記憶モジュール４０から取り戻す。
【００５１】
記憶モジュール４０又は表示モジュール４４から、ローフォーマット又は圧縮フォーマットのいずれかで、再構成画像５０は、出力インタフェース５２にリンク４６を介して送信される。上述の処理がされた画像は、出力インタフェース５２から少なくとも１つの外部デジタルサポートにリンク５４を介して送信される。
【００５２】
ここで、本発明に従うデジタル画像獲得センサ１８を説明する。図２ａ及び２ｂを参照すると、ランダムパターンセンサ１８による獲得方法を実施し、モジュール２６において捕捉画像の再構成方法を実施する一例がある。
【００５３】
画像１４を獲得し、画像３０に再構成するこの第１の実施例において、アレイ１６と、ｎ×ｎの縮小した大きさのパターン７０とによって実行される。ここで、「ｎ」は、好適には４以上である自然数である。
【００５４】
センサ１８を形成するカラーフィルタのアレイは、オーバラップせずに反復する複数の同一の基本パターン７０からなる。それぞれの基本パターン７０は、擬似ランダムに配置されるカラーフィルタ７２、８２、及び８４によって形成される結果、それぞれの基本パターン７０は、垂直方向及び／又は水平方向において、連続する同一種類の２つのカラーフィルタの間の可変のピッチを含む。
【００５５】
実施される再構成は、線形であり、ｍ×ｍの大きさの画素７６の近接部の重みを含む。ｍは、ｎよりも大きい自然数であり、再構成フィルタの複雑さを緩和する。また、基本パターンと近接部とは、直角である。
【００５６】
また、輝度と、クロミナンスとの分解が適用される。
【００５７】
また、線形フィルタの係数の較正のために、本方法は、カラーフィルタを有しないモジュールを使用することによっても作り出される。この方法によって、定値として使用する無彩色画像を獲得することが可能になる。定値からのランダムパターンの係数の決定は、最小二乗法によって実行される。
【００５８】
次いで、画像の再構成は、推定輝度と、３色の補間成分とから実行される。
【００５９】
この実施例では、方法は、以下のＩからＩＩＩのステップに従って示される。
【００６０】
●図２に応じて、カラーフィルタ１６のアレイを規定するステップＩは、１２×１２の大きさの近接部７６とともに、基本パターンを強調する６×６の大きさのパターン７０の配置の一例を説明する。
【００６１】
縮小した大きさの基本パターン７０は、図２に規定され、（緑色に対応する）黒色で示される画素７２と、（青色に対応する）ストライプで示される画素８２と、（赤色に対応する）白色で示される画素８４とからなる。カラーフィルタの擬似ランダム配置は、６×６の大きさのパターンなどからなる。すなわち、連続する２つの同一種類のフィルタの間のピッチは、アレイの水平方向、及び垂直方向に可変である。この基本パターンは、画像全体に同一の大きさのブロックに適用される。この不規則なパターンは、任意の数のフィルタの中心にある６角のグリッド又は正方形のグリッドにおいて適用される。フィルタは、何れかの透過性を有する。
【００６２】
このパターンの規定は、同一色のフィルタが凝集することを避けるために、近接するフィルタが交互することを考慮して実行される。これによって、「誤った色（false colours）」が生じることを避ける。保持される解決法（solution retenue）は、（緑色と赤色とにある）波長に非常に近い感受性の２つのフィルタ７２と８４とを有し、擬似ランダム的に基本ブロックの多くを覆い、第３のフィルタ８２は、最大の感受性である青色を擬似ランダム的に配置する。この構成は、人間の観視システムと類似する。
【００６３】
オーバラップせずに反復するこの基本パターン７０は、センサ１８の全体のアレイに亘って適用される。したがって、提案するセンサは、連続するフィルタの同一の２つのパターンの間のピッチが一定である周期的なセンサと、画素の６×６の大きさの全体的に擬似ランダムなセンサとの間の組み合わせである。
【００６４】
●以下の計算の線形構成フィルタの構成は、ステップＩＩを構成する。
【００６５】
再構成フィルタの係数の計算が実行される。これは、再構成を実行する較正ステップであり、獲得画像の空間（光学）特性、又はスペクトル特性（カラーフィルタの付加）の変化に従って１回又は数回実行される。このステップは、画像データベースでのシミュレーション、又はカラーフィルタのアレイを有しないモジュールの構成及びアプリケーションのいずれかによって作り出される。
【００６６】
カラーモザイクの輝度の減法が実行される。色に対してコード化されたクロミナンスからなる色情報の計算が適用される。近接部の新たな重み係数を使用して、クロミナンスの補間、すなわち３つの色を作り出す。
【００６７】
第１に、再構成フィルタの係数の計算が実行される。このフィルタは、近接部７６における画素の影響を重み付けるために使用される。
【００６８】
次に、再構成フィルタの選択が、重要な画像データベースを使用してモザイク７４において欠落した色から直接規定される。
【００６９】
この場合、カラーモザイク７４の作用は、カラー画像の色が欠落したモザイクを取り除くことによってシミュレーションされ、中間の画像を取得することになる。
【００７０】
次に、Ｒ成分、Ｇ成分、及びＢ成分の係数ｐＲ、ｐＧ、及びｐＢをそれぞれ有する、データベースの画像の赤色値、緑色値、及び青色値のそれぞれの画素のために重み付けた和として、輝度画像が推定される。この係数ｐＲ、ｐＧ、及びｐＢは、擬似ランダムなモザイクを作り上げるそれぞれのフィルタに比例する。輝度、すなわち無色彩の空間情報は、画素ごとに推定される。例えば、重み係数の最適な値の１つは、ｐＲ＝ｐＧ＝ｐＢ＝１／３である。
【００７１】
大きさが可変の一連の３６個のフィルタの係数は、シミュレーションされたモザイクの中間画像と、推定輝度との間の二次エラーの最小二乗の解決法として計算される。
【００７２】
また、輝度フィルタの推定は、カラーフィルタのアレイを有しない第２のセンサモジュールの使用に基づく。実際には、カラーフィルタのアレイをセンサが有しない場合には、輝度は、センサによって測定されることになる信号に対応する。したがって、手順は、カラーフィルタを有しない輝度測定用のセンサと、カラーフィルタを有する、画像データベースのモザイク測定用のセンサとからなる。同一場面のいくつかの写真は、写真のデータベースから輝度フィルタを推定するために、この２つのモジュールで撮影される。このアプローチによって、獲得システムの光学特性とスペクトル特性とを最良に示すフィルタの構成を作り出すことが可能である。
【００７３】
また、クロミナンスフィルタの推定は、最小二乗法で実行される。この方法によって、縮小した大きさのクロミナンスの中間フィルタ、すなわち近接部７６の表面の活動の縮小を推定することが可能になる。
【００７４】
●最後に、図２ｂに参照される画像３０の線形再構成ステップＩＩＩが実行される。
【００７５】
ステップＩＩにおいてフィルタの係数が計算され、情報の再構成は、ブロック７０、８０ごとに作り出される。画素値の計算は、近接部７６の画素の全てを重み付けした和を使用して実行される。ブロックの画素７２、８２、及び８４の全てについて、３６個の異なるフィルタによる同一の計算が実行される。また、この計算は、（同一の図２内の破線における）次のブロック８０と、（同一の図２内の破線における）次の近接部７８とについて実行され、画像全てについて実行される。また、この計算は、任意の近接部に適用され、任意のブロックの大きさに適用される。
【００７６】
画像３０の再構成は、推定輝度と補間されたクロミナンスとの和によって実行される。
【００７７】
本方法は、２つの段階で規定され、第１に、輝度と、クロミナンスとに分解され、第２に、推定輝度と、補間されたクロミナンスとから画像を再合成する。これによって、輝度推定用と、クリミナンス補間用との２つの異なるフィルタアレイを使用することが可能になる。これによって、「エイリアシング」が生じる中間の空間周波数の領域を推定する。
【００７８】
有利には、再構成の他の実施形態は、輝度と色のモザイク７４との間の差異としてクリミナンスを計算することからなる。これは、輝度の使用と対照的なクリミナンスのフィルタの使用に対応する。また、アーチファクトを抑制するために、輝度の低域フィルタとクロミナンスの高域フィルタとによって、十分に分離されたスペクトル帯が規定され、スペクトルのオーバラップを実質的に減らす。これは、エイリアシングの危険性が高い中間の空間周波数を除去する別の方法である。
【００７９】
画像１４を獲得してその画像３０を再構成する方法の第２の実施形態は、図３ａ〜３ｉに簡易化され、画像の大きさと同じ大きさのカラーフィルタのアレイ１６によって、画像を獲得する。アレイ１６は、上述のようなものである。すなわち、オーバラップせずに反復する複数の同一の基本パターンからなる。それぞれの基本パターンは、水平方向及び／又は垂直方向に連続する同一種類の２つのカラーフィルタとの間の可変のピッチを含むように、擬似ランダムに配置されるカラーフィルタによって形成される。
【００８０】
また、輝度とクロミナンスとの分解が適用される。
【００８１】
ベースバンドに戻されるクロミナンスからの画像の適応な再構成が実行される。この再構成は、標準化されたＲ、Ｇ、及びＢ低域フィルタで推定される輝度の階調度に基づく計算によって作り出される。この階調度は、画像の垂直方向及び水平方向においてクロミナンスの補間を実行しなければならない場合に示す。用語「垂直階調度」は、画像の行に関連する変化をいい、用語「水平階調度」は、画像の列に関連する変化をいう。
【００８２】
また、この実施例において、同一の有利な点とともに、捕捉画像１４の再構成のために、再構成モジュールとセンサ１８とを使用することが可能である。実施形態の第２の実施例を定めることにより、そのステップは示され、処理の結果は、図３ａ〜３ｉに単純化される。
【００８３】
図３ａ〜３ｉは、図４ａ（元の画像１４）、４ｂ（捕捉画像２２）、４ｃ（捕捉画像のスペクトル８４）、４ｄ（輝度を含む推定低周波数８４）、４ｅ（３つのクロミナンス及び輝度の高周波数８８）、４ｆ（初期の赤色クロミナンス及び輝度の高周波数９０）、４ｇ（中間の赤色クロミナンス９２）、４ｈ（補間されたクロミナンスから再推定された輝度９４）、４ｉ（再構成画像２２）をそれぞれ単純化する。
【００８４】
元の画像１４（図３ａ）は、カラーフィルタのアレイ１６によってサンプリングされる。サンプリングされた画像２２（図３ｂ）は、スペクトル８４（図３ｃ）と、輝度８６を含む推定低周波数（図３ｄ）と、３つのクロミナンス及び輝度の高周波数８８（図３ｅ）とを示す。３つのクロミナンス及び輝度の高周波数８８（図３ｅ）の３つのクロミナンスの逆多重化が実行され、ここでは、初期の赤色クロミナンス及び輝度の高周波数９０などが示される。次いで、３つのクロミナンスは、適応な方法によって、補間される。例えば、赤色クロミナンス９２（図３ｇ）は、９０の初期の赤色クロミナンス（図３ｆ）から補間される。輝度９４（図３ｈ）は、補間されたクロミナンス、すなわち、赤色クロミナンス９２と、緑色及び青色クロミナンスとから再推定される。最後に、画像３０は、推定輝度とクロミナンスの３つの補間成分とから再構成される。
【００８５】
画像の獲得は、カラーフィルタのアレイ１６が配置されるカラーセンサ１８によって実行される。それぞれ３つのクロミナンスの変調関数のフーリエ変換によって規定されたクロミナンスの搬送波がスペクトル変調を形成し、輝度の低空間周波数にクロミナンスの搬送波が全く存在しない場合などには、有利には輝度のクロミナンスの干渉効果を減少するために可能な限り白色であるように色の分布をしなければならない。
【００８６】
獲得方法及び再構成方法は、以下の３つのステップＩ〜ＩＩＩなどに基づく。
【００８７】
●画像２２の輝度８６（図３ｄ）の推定及び除去のためのステップＩ
【００８８】
捕捉画像２２（図３ｂ）において元の画像１４を獲得することによって、処理を開始する。スペクトル８４（図３ｃ）などを取得するために、画像２２のスペクトル変換が適用される。次いで最も低い周波数、輝度の低い周波数がフィルタリングによって推定される。
【００８９】
使用するフィルタは、Ｒ、Ｇ、及びＢで標準化される。すなわち、フィルタの関数は、それぞれの空間位置に関係することになり、それぞれのＲ、Ｇ、及びＢの色におけるｐＲ、ｐＧ、及びｐＢの寄与が最も高い。言い換えると、Ｒ、Ｇ、及びＢのカラーフィルタに対応する係数の和がそれぞれ推定された輝度のｐＲ、ｐＧ、及びｐＢになるように、それぞれの画素においてフィルタの標準化を行う。
【００９０】
輝度８６（図３ｄ）は、センサの画像２２から推定された最も低い周波数に対応し、その画像２２から輝度８６を除去することによって、画像２２のスペクトル８４（図３ｃ）に低いスペクトル周波数を含まないスペクトル８８を創出する。
【００９１】
●輝度の階調度からのクロミナンスの補間（ステップＩＩ）
【００９２】
次いで同一のスペクトル感受性を有するサブアレイに対応する画像を分離することによって、９０の赤色クロミナンス（図３ｆ）などに画像の逆多重化が適用される。この操作は、クリミナンスの搬送波をゼロ空間周波数に戻す効果、すなわちスペクトルの中心に戻す効果を有する。
【００９３】
補間は、ベースバンドに戻したクロミナンスにおいて作り出される。この方法の有利な点は、推定輝度８６（図３ｄ）の低周波数の階調度の計算に基づいて、適応な補間を使用できることである。
【００９４】
実際には、色の補間が近接する点の垂直、水平、又は全体の平均として実行する場合に、この階調度を示す。垂直の階調度が水平の階調度よりも強い場合には、輪郭は、水平として考えられ、色の補間は、この輪郭の幅方向に実行されずに、むしろ輪郭の長さ方向に、すなわちこの場合水平に実行される。それぞれの階調度のそれぞれの値に従って、水平方向に色の補間を実行するか、又は垂直方向に色の補間を実行するかを決定するために、水平及び垂直のそれぞれの輝度８６（図３ｄ）の階調度を使用する。このように、赤色クロミナンス９２（図３ｇ）は、補間される。
【００９５】
●輝度の計算及び画像の適応な再構成の計算（ステップＩＩＩ）
【００９６】
輝度及びクロミナンスの構成の線形特性が与えられると、適応な方法で補間されたクロミナンスは、輝度９４（図３ｈ）の周波数帯の全てを回復するために、センサが獲得した画像２２から除去される。したがって、この輝度は、輝度における適応に関しては色ではない部分として計算される。
【００９７】
次いで、画像３０の再構成は、再推定した輝度９４（図３ｉ）と、補間したＲ、Ｇ、及びＢの３つのクロミナンスとから実行される。
【００９８】
本発明は、説明された実施形態の実施例に限定されない。実際には、獲得のための様々な大きさ及び形状を有する擬似ランダムなカラーフィルタのセンサアレイを規定することが可能である。例えば、擬似ランダムなパターンは、周期的に、又は非周期的にできる。再構成に関しては、様々な数のステップと、様々な種類の計算とを含む多くの方法が適用できる。再構成モジュールは、外部ホストマシーンに置くことができ、又は、デジタル処理部に統合できる。
【００９９】
また、衛星写真、医療画像などの様々な種類の応用に適合した、種々のカラーフィルタのアレイを規定することができる。
【０１００】
一般的に、画像のリアルタイムでの再構成は、リアルタイムに画像を表示することが可能であり、連続写真を実行できるカメラの一部である。
【０１０１】
例えば、衛星画像、又は直に結果を視覚化する必要がなく、遅延時間で操作する全ての装置に関しては、捕捉したデータの記憶は、ローフォーマットで実行され、次いで色の完全な再構成をオフラインで作り出す。
【０１０２】
また、本方法は、輝度を適応でき、帰納的なフィルタリングを実行することが可能である。
【０１０３】
さらに、本発明は、ＣＣＤ（電荷結合素子）技術、又はＣＭＯＳ（相補型金属酸化膜半導体回路）技術、及びセンサの大きさに関わらず、いずれの種類のセンサにも適用できる。
【特許請求の範囲】
【請求項１】
カラーフィルタのアレイ（１６）を有し、
前記アレイは、オーバラップせずに反復する複数の同一の基本パターン（７０）からなり、基本パターン（７０）はそれぞれ、水平方向及び／又は垂直方向に連続する同一種類の２つのカラーフィルタの間の可変のピッチを含むように、擬似ランダムに配置されるカラーフィルタ（７２、８２、８４）によって形成される、
ことを特徴とするデジタル画像獲得センサ（１８）。
【請求項２】
カラーフィルタの前記アレイの前記カラーフィルタの前記基本パターン（７０）は、画像の４×４画素以上であり、前記画像の大きさよりも小さい請求項１に記載のセンサ。
【請求項３】
カラーフィルタの前記アレイの前記カラーフィルタの前記基本パターン（７０）は、前記画像と同一の大きさである請求項１に記載のセンサ。
【請求項４】
請求項１〜請求項３のいずれかの１つに従ったセンサからデジタル画像を獲得し、かつ再構成する方法であって、
前記センサ（１８）によって獲得される間に、カラーフィルタの前記アレイ（１６）を用いて、前記画像（１４）をフィルタリングすることによって、それぞれの画像（２２）から獲得された成分から少なくとも１つの画像（３０）を再構成するために、赤色、緑色、及び青色の前記成分の獲得を実行するステップを有することを特徴とする方法。
【請求項５】
前記獲得画像（２２）の輝度とクロミナンスとの分解を実行する請求項１〜請求項４のいずれかの１つに記載の方法。
【請求項６】
前記獲得画像（２２）の輝度とクロミナンスとの分解は、前記クロミナンス獲得用の請求項１〜請求項３のいずれかの１つに従ったセンサと、前記輝度獲得用のカラーフィルタのアレイを有しないセンサとを用いて実行する請求項４に記載の方法。
【請求項７】
前記輝度を推定し、請求項１〜請求項３のいずれかの１つに従った前記擬似ランダムパターンセンサ（１８）が獲得したデータから、前記クロミナンスの３つの前記成分を補間する請求項５、又は請求項６に記載の方法。
【請求項８】
前記推定輝度と、前記捕捉画像（２２）から補間された前記クリミナンスの３つの前記成分とから、前記画像（３０）の前記再構成を実行する請求項５〜請求項７のいずれかの１つに記載の方法。
【請求項９】
前記画像（３０）の前記再構成は、線形であり、前記基本パターン（７０）と近接部（７６）とからの画素（７２）、（８２）、及び（８４）の近接の重みのみを含む請求項５〜請求項８のいずれかの１つに記載の方法。
【請求項１０】
前記画像（３０）の前記再構成は、適応性があり、非線形であり、そして、標準化された低域フィルタで推定された前記輝度（８６）の階調度に基づく計算によって、ベースバンドに戻されたスペクトル（８８）の前記クロミナンスの補間を実行する方法であって、前記輝度（８６）の低周波数の前記階調度は、前記３つのクリミナンスの補間の垂直方向、又は水平方向を示す請求項５〜請求項８のいずれかの１つに記載の方法。
【請求項１１】
デモザイクは、前記ゼロ空間周波数クリミナンスの搬送波の変換によって、ハイリスク周波数を除去することによって実行する請求項１０に記載の方法。
【請求項１２】
相互に接続するデジタル獲得モジュールと、処理モジュールとを有し、前記処理モジュールは、請求項１〜請求項３の１つに従った少なくとも１つのセンサ（１８）と、再構成モジュール（２６）に接続される圧縮モジュール（３２）と、記憶モジュール（４０）と、表示モジュール（４４）と、出力インタフェース（５２）とを有する請求項４〜請求項１１のいずれか１つに記載の方法を実行する画像獲得システム。
【請求項１３】
前記画像（３０）は、前記再構成モジュール（２６）で再構成される請求項９、又は請求項１０及び１１に従った方法を実行する請求項１２に記載のデジタル画像獲得及び再構成システム。
【請求項１４】
前記再構成モジュール（２６）で再構成された前記画像（３０）は、前記圧縮モジュール（３２）内の少なくとも１つのエンコーダで圧縮される請求項９〜請求項１１のいずれか１つの方法を実行する請求項１３に記載のデジタル画像獲得及び再構成システム。
【請求項１５】
前記再構成モジュール（２６）で再構成された前記画像（３０）は、前記再構成モジュール（２６）内の少なくとも１つのエンコーダで圧縮される請求項９〜請求項１１のいずれか１つの方法を実行する請求項１３に記載のデジタル画像獲得及び再構成システム。
【請求項１】
カラーフィルタのアレイ（１６）を有し、
前記アレイは、オーバラップせずに反復する複数の同一の基本パターン（７０）からなり、基本パターン（７０）はそれぞれ、水平方向及び／又は垂直方向に連続する同一種類の２つのカラーフィルタの間の可変のピッチを含むように、擬似ランダムに配置されるカラーフィルタ（７２、８２、８４）によって形成される、
ことを特徴とするデジタル画像獲得センサ（１８）。
【請求項２】
カラーフィルタの前記アレイの前記カラーフィルタの前記基本パターン（７０）は、画像の４×４画素以上であり、前記画像の大きさよりも小さい請求項１に記載のセンサ。
【請求項３】
カラーフィルタの前記アレイの前記カラーフィルタの前記基本パターン（７０）は、前記画像と同一の大きさである請求項１に記載のセンサ。
【請求項４】
請求項１〜請求項３のいずれかの１つに従ったセンサからデジタル画像を獲得し、かつ再構成する方法であって、
前記センサ（１８）によって獲得される間に、カラーフィルタの前記アレイ（１６）を用いて、前記画像（１４）をフィルタリングすることによって、それぞれの画像（２２）から獲得された成分から少なくとも１つの画像（３０）を再構成するために、赤色、緑色、及び青色の前記成分の獲得を実行するステップを有することを特徴とする方法。
【請求項５】
前記獲得画像（２２）の輝度とクロミナンスとの分解を実行する請求項１〜請求項４のいずれかの１つに記載の方法。
【請求項６】
前記獲得画像（２２）の輝度とクロミナンスとの分解は、前記クロミナンス獲得用の請求項１〜請求項３のいずれかの１つに従ったセンサと、前記輝度獲得用のカラーフィルタのアレイを有しないセンサとを用いて実行する請求項４に記載の方法。
【請求項７】
前記輝度を推定し、請求項１〜請求項３のいずれかの１つに従った前記擬似ランダムパターンセンサ（１８）が獲得したデータから、前記クロミナンスの３つの前記成分を補間する請求項５、又は請求項６に記載の方法。
【請求項８】
前記推定輝度と、前記捕捉画像（２２）から補間された前記クリミナンスの３つの前記成分とから、前記画像（３０）の前記再構成を実行する請求項５〜請求項７のいずれかの１つに記載の方法。
【請求項９】
前記画像（３０）の前記再構成は、線形であり、前記基本パターン（７０）と近接部（７６）とからの画素（７２）、（８２）、及び（８４）の近接の重みのみを含む請求項５〜請求項８のいずれかの１つに記載の方法。
【請求項１０】
前記画像（３０）の前記再構成は、適応性があり、非線形であり、そして、標準化された低域フィルタで推定された前記輝度（８６）の階調度に基づく計算によって、ベースバンドに戻されたスペクトル（８８）の前記クロミナンスの補間を実行する方法であって、前記輝度（８６）の低周波数の前記階調度は、前記３つのクリミナンスの補間の垂直方向、又は水平方向を示す請求項５〜請求項８のいずれかの１つに記載の方法。
【請求項１１】
デモザイクは、前記ゼロ空間周波数クリミナンスの搬送波の変換によって、ハイリスク周波数を除去することによって実行する請求項１０に記載の方法。
【請求項１２】
相互に接続するデジタル獲得モジュールと、処理モジュールとを有し、前記処理モジュールは、請求項１〜請求項３の１つに従った少なくとも１つのセンサ（１８）と、再構成モジュール（２６）に接続される圧縮モジュール（３２）と、記憶モジュール（４０）と、表示モジュール（４４）と、出力インタフェース（５２）とを有する請求項４〜請求項１１のいずれか１つに記載の方法を実行する画像獲得システム。
【請求項１３】
前記画像（３０）は、前記再構成モジュール（２６）で再構成される請求項９、又は請求項１０及び１１に従った方法を実行する請求項１２に記載のデジタル画像獲得及び再構成システム。
【請求項１４】
前記再構成モジュール（２６）で再構成された前記画像（３０）は、前記圧縮モジュール（３２）内の少なくとも１つのエンコーダで圧縮される請求項９〜請求項１１のいずれか１つの方法を実行する請求項１３に記載のデジタル画像獲得及び再構成システム。
【請求項１５】
前記再構成モジュール（２６）で再構成された前記画像（３０）は、前記再構成モジュール（２６）内の少なくとも１つのエンコーダで圧縮される請求項９〜請求項１１のいずれか１つの方法を実行する請求項１３に記載のデジタル画像獲得及び再構成システム。
【図１】
【図２ａ】
【図２ｂ】
【図３ａ】
【図３ｂ】
【図３ｃ】
【図３ｄ】
【図３ｅ】
【図３ｆ】
【図３ｇ】
【図３ｈ】
【図３ｉ】
【図４ａ】
【図４ｂ】
【図４ｃ】
【図４ｄ】
【図４ｅ】
【図４ｆ】
【図４ｇ】
【図４ｈ】
【図４ｉ】
【図２ａ】
【図２ｂ】
【図３ａ】
【図３ｂ】
【図３ｃ】
【図３ｄ】
【図３ｅ】
【図３ｆ】
【図３ｇ】
【図３ｈ】
【図３ｉ】
【図４ａ】
【図４ｂ】
【図４ｃ】
【図４ｄ】
【図４ｅ】
【図４ｆ】
【図４ｇ】
【図４ｈ】
【図４ｉ】
【公表番号】特表２０１０−５３１５６０（Ｐ２０１０−５３１５６０Ａ）
【公表日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願番号】特願２０１０−５１１６８４（Ｐ２０１０−５１１６８４）
【出願日】平成２０年６月１２日（２００８．６．１２）
【国際出願番号】ＰＣＴ／ＦＲ２００８／０００８０６
【国際公開番号】ＷＯ２００９／００７５４３
【国際公開日】平成２１年１月１５日（２００９．１．１５）
【出願人】（５０１０８９８６３）サントル ナシオナル ドゥ ラ ルシェルシェサイアンティフィク（セエヌエールエス） (173)
【出願人】（５０９３４２８３２）ユニベルシテ ジョセフ フーリエ (1)
【Ｆターム（参考）】
【公表日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願日】平成２０年６月１２日（２００８．６．１２）
【国際出願番号】ＰＣＴ／ＦＲ２００８／０００８０６
【国際公開番号】ＷＯ２００９／００７５４３
【国際公開日】平成２１年１月１５日（２００９．１．１５）
【出願人】（５０１０８９８６３）サントル ナシオナル ドゥ ラ ルシェルシェサイアンティフィク（セエヌエールエス） (173)
【出願人】（５０９３４２８３２）ユニベルシテ ジョセフ フーリエ (1)
【Ｆターム（参考）】
[ Back to top ]