画像モデルにおける色成分の修復のための方法、システム、プログラムモジュールおよびコンピュータプログラム製品
本発明は、画像が画像化オプティクスを通して形成され、該画像が少なくとも１つの色成分から構成されており、少なくとも画像化オプティクスおよび画像センサを備えた画像化モジュールで取得されたデジタル画像における画像の質を向上するための方法に関する。この方法では、画像の各色成分の劣化情報が、見つけられ、画像の質を向上するために用いられる。各色成分の劣化情報は、点広がり関数により特定される。各色成分は、前記劣化情報によって修復される。画像は未処理の画像データであってもよい。本発明は、また、複数の修復を実施し、画像の劣化の逆処理を独立に制御して規格化するための他の方法に関する。本発明は、また、機器、モジュール、システム、コンピュータプログラム製品、プログラムモジュールに関する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特にデジタル画像の記憶または取得のためのシステムにおける色成分の修復に関する。
【背景技術】
【０００２】
画像のぼけまたは劣化は、例えば光学的なピンぼけ、広角レンズの使用から生ずる他の収差、または、不適切な、絞りの値、焦点距離およびレンズ位置の組み合わせという、様々な因子により引き起こされる。画像の取得過程の間に、長い露光時間が用いられると、カメラまたは対象物の動きが、写真の動きぼけをもたらすことがある。また、短い露光時間が用いられると、捕獲される光子の数が減少し、このことは、捕獲された画像の弱いコントラストに加えて、高いノイズレベルをもたらす。
【０００３】
欠陥を含む画像を再構成するための様々な方法が従来技術から知られている。画像の欠陥ブロックは、すべての取り囲むブロックのある平均で置き換えられることができる。欠陥の上に位置する３つのブロックを用いる一例がある。さらに、欠陥領域と同じサイズのスライディングブロックを取ることにより修復し、そのスライディングブロックを画像の中を通って動かす”最隣接マッチング”がある。スライディングブロックが欠陥と重なる位置を除いた各位置で、スライディングブロックの境界周囲のピクセルがベクトルに並べられる。欠陥における境界周囲のピクセルの値が、他のベクトルに並べられて、それらの間の平均２乗誤差が計算される。欠陥領域は、その後、最も値が低い境界ピクセルを有するブロックによって置き換えられる。
【０００４】
例えば、失われたか、または、破損したピクセルの良好な再構成を形成することにより、欠陥を隠そうと試みる空間誤り隠ぺい技術がある。その方法の一つとして、欠陥を取り囲む領域におけるピクセルの平均を見つけ、平均のピクセル値で欠陥を置き換えることがある。再構成における分散に対する要求は、欠陥の周囲の領域の分散と等しくすることを付け加えることができる。
【０００５】
また種々の補間法を、画像再構成処理において用いることができる。例えば、双線形補間が、矩形の欠陥における４つの角のピクセルに適用できる。これは、欠陥を横切って、ピクセル値が線形で滑らかな変化を作る。双線形補間は、再構成されたピクセル値と、再構成されたピクセルの角におけるピクセルと、再構成されたピクセルから角のピクセルまでの水平および垂直な距離と、によって定義される。他の方法には、画像における失われたサンプルを補間するというエッジセンシティブ非線形フィルタリングがある。
【０００６】
画像修復の目的は、修復された画像が可能な限り元の状況に近づいて見えるように、これらの劣化を取り除くことにある。一般に、劣化過程が既知であれば、修復した画像が、劣化の逆過程として得ることができる。この逆の数学的問題について解くいくつかの方法が、先行技術から知られている。しかしながら、これらの技術のほとんどは、問題のモデル化において画像の再構成処理を考慮せずに、単純な線形モデルとみなしている。典型的には、解決法の実施は、非常に複雑であり、コンピュータの計算が必要である。
【０００７】
画像の修復は、一般に、ぼけの修正およびノイズフィルタリング、という２つの重要なステップを有している。ぼけの修正に対するいくつかのアプローチが従来技術から知られている。これらのアプローチは、非反復技術と反復技術とに分類される。非反復法において、解決法は、例えばラプラスハイパスフィルタリング、アンシャープマスク、または周波数領域逆フィルタリングという、ワンパス処理アルゴリズムを通して得られる。反復法において、結果は、複数の処理パスの間に精緻化される。ぼけの修正処理は、例えば最小２乗法または適応ランドウェーバアルゴリズムという、精緻化処理に対する基準をセットする費用関数によりコントロールされる。普通、２，３の反復後には、隣り合うステップ間には改善がほとんど見られない。ぼけの修正アルゴリズムをある点を越えて続けることは、例えば、細部の強調過多によるエッジのオーバーシュートまたは色合い不良というような、修復した画像に気にさわる不自然な結果を導入する。ぼけ修正の問題を解決するためのあるアプローチとして、ワンステップであるぼけの修正法を、パラメータを変えながら反復的に適用し、最良の結果を保持することがある（ブラインドデコンボリューション）。
【０００８】
従来技術による方法は、通常、天文学および医学の画像のようなハイエンドの用途における画像の修復に適用される。消費者製品におけるそれらの使用は、数量的な画像収集処理、特有の複雑さ、およびこれらのアルゴリズムを実施するために必要な計算能力のために制限される。計算およびメモリ資源を制限した機器において、いくつかのアプローチが用いられている。従来技術による方法は、通常、取得されて記憶された画像に修復が適用されることを意味する、ポスト処理操作として設計されている。ポスト処理操作において、各色成分は、異なる点広がり関数を有している。点広がり関数は、画像化システムの性能を評価するために用いられる重要な基準である。ポスト処理として修復が適用されると、各色成分における異なるぼけについての情報は、もはや関連性がない。画像取得処理の正しいモデリングは、より困難であり、（多くの場合に）非線形である。従って、”逆の”解決法は、正確さにかける。たいてい、デジタルカメラの出力は、ｊｐｅｇフォーマットに圧縮される。もし、修復が圧縮（通常不可逆）後に適用されると、結果は、好ましくないブロッキングな不可逆圧縮に伴う悪い副作用が増大するだろう。
【発明の開示】
【０００９】
本発明の目的は、画像を修復するための改良された方法を提供することにある。これは、方法、モデル、モデルの使用、ほけを修正する方法、機器、モジュール、システム、プログラムモジュール、およびコンピュータプログラム製品により達成され得る。
【００１０】
本発明によれば、少なくとも結像光学系および画像センサを備えた画像化モジュールで取得されたデジタル画像における画像の質を向上するためのモデルを形成する方法において、前記画像が前記結像光学系を通して形成され、該画像が少なくとも１つの色成分から構成されており、各色成分の劣化情報が見つけられ、画像劣化関数が得られ、前記各色成分が、前記劣化関数によって修復される。
【００１１】
本発明によれば、また、デジタル画像における画像の質を向上するためのモデルが提供され、該モデルは請求項に記載の方法により得られる。本発明によれば、また、上記モデルの使用が提供される。
【００１２】
さらに、本発明によれば、少なくとも結像光学系および画像センサを備えた画像化モジュールで取得されたデジタル画像における画像の質を向上するための方法において、前記画像が前記結像光学系を通して形成され、該画像が少なくとも１つの色成分から構成されており、前記画像の各色成分の劣化情報が見つけられ、劣化関数が前記劣化情報に従って得られ、前記各色成分が、前記劣化関数によって修復される方法が提供される。
【００１３】
さらに、本発明によれば、画像の修復のための方法において、前記修復が、各反復において、規格化を伴うぼけ修正法が導入された反復性の修復関数によって実施される方法が提供される。
【００１４】
さらに、本発明によれば、画像化モジュールを備え、デジタル画像における画像の質を向上するためのモデルを決定するシステムにおいて、前記モジュールが、少なくとも結像光学系および画像センサを備え、前記画像が前記結像光学系を通して形成され、該画像が少なくとも１つの色成分から構成されており、前記システムが、前記画像の各色成分の劣化情報を見つけるための第１手段と、前記劣化情報に従った劣化関数を得るための第２手段と、前記劣化関数によって前記各色成分を修復するための第３手段とを有するシステムが提供される。
【００１５】
さらに、本発明によれば、画像の質を向上するためのモデルと関係しており、光感知画像センサ上に結像光学系を通して画像を形成するために、該結像光学系および該画像センサを備えている画像化モジュールが提供される。さらに、本発明によれば、画像化モジュールを備えた機器が提供される。
【００１６】
さらに、本発明によれば、画像化モジュールを備えた機器における画像の質を向上するためのプログラムモジュールにおいて、該プログラムモジュールが、前記画像の各色成分の劣化情報を見つけるための手段と、前記劣化情報に従う劣化関数を得るための手段と、前記劣化関数によって前記各色成分を修復するための手段とを有するプログラムモジュールが提供される。さらにまた、本発明によれば、反復性の修復における各反復において、規格化を伴うぼけ修正を実施するための手段を備えている、画像の修復のための他のプログラムモジュールが提供される。
【００１７】
さらに、画像の各色成分の劣化情報を見つけるための命令と、前記劣化情報に従った劣化関数を得るための命令と、前記劣化関数によって前記各色成分を修復するための命令を備えているコンピュータプログラム製品が提供される。さらにまた、本発明によれば、画像の修復のためのコンピュータプログラム製品において、反復性の修復における各反復において、規格化を伴うぼけ修正を実施するためのコンピュータ読み取り可能な命令を備えているコンピュータプログラム製品が提供される。
【００１８】
本発明の他の特徴が、添付の従属請求項に記載される。
【００１９】
説明において、”第１の画像モデル”という用語は、ＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補性金属酸化膜半導体）のような画像センサによりすでに取得されているが、なんらの処理もなされていないというような画像に対応する。第１の画像モデルは、未加工の画像データである。第２の画像モデルは、劣化情報が決定されている画像の１つである。ＣＭＯＳまたはＣＣＤ以外の他のセンサタイプも本発明に用いられ得ることが認識されるだろう。
【００２０】
第１の画像モデルは、画像のぼけを決定するために用いられ、第２の画像モデルが、本発明により修復される。修復は、また、本発明により規定され得る。これらのステップがなされた後には、他の画像再構成機能が画像に適用され得る。全体の画像再構成をチェインと考えるならば、本発明の考えは、修復を処理前の操作として適用することにある。それにより、続く画像再構成の操作が、上記修復から恩恵を受ける。修復を処理前の操作として適用することは、修復アルゴリズムが、未加工の色画像データを直接の対象とし、そのような方法において、各色成分が個別に取り扱われることを意味する。
【００２１】
本発明では、光学系により生じたぼけが、著しく低減され得る。固定焦点長の光学系が用いられる場合に、その手順は特に効果的である。本発明は、また、焦点長が変化するシステムにも適用でき、その場合には、処理が、レンズの焦点位置に依存した参照テーブルから、複数のぼけ関数を考慮する。ぼけ関数は、また、参照テーブルからの補間を通して得られうる。ぼけ関数を定義するための１つの可能性は、焦点長がぼけ関数のパラメータとして用いられるという、連続計算を用いることである。結果として得られる画像は、よりはっきりとしていて、空間解像度がより高い。提案する処理が従来のシャープニングアルゴリズムとは異なるということに触れておくことは、意味がある。従来のアルゴリズムもまた、高い周波数が増幅されて、よりはっきりした結果が得られる。実際には、本発明は、例えば光学系により生じるという、劣化処理を戻し、ぼけを最小にするための方法を提示する。一方、シャープニングアルゴリズムは、画像をよりはっきりと見せるため、一般的なハイパスフィルタを用いて、画像に人為的な影響を加える。
【００２２】
本発明のモデルは、将来の製品に適用され得るタイプのセンサに対してより発展性があるものである（線形画像形成モデルに、より忠実性があるため）。現在のアプローチでは、画像再構成チェインにおける続くステップおよびアルゴリズムが、解像度およびソリューションのコントラストの向上から恩恵を受ける。
【００２３】
処理前の操作として画像修復を適用することは、画像取得処理において蓄積される非線形性を最小化するかもしれない。本発明は、また、色情報の過大な増幅を防止する。
【００２４】
データ修復は、反復性の逆フィルタリングによって画像をはっきりとさせる。この逆フィルタリングは、また、本発明によって提供される制御法により制御され得る。その制御法により、画像が十分にはっきりした時に、反復が中止される。上記制御法は、画像の中で異なる位置にあるピクセルには、違った処理をなすためのメカニズムを提供する。このため、修復された画像のオーバーシューティングが低減でき、最終の画像の視覚的質をより良くする。さらに、観測された画像におけるエッジに位置するピクセルは、滑らかな領域に位置するピクセルとは異なった修復がなされる。上記制御法は、空間的に変化する点広がり関数の問題を解決できる。例えば、もし、光学系システムの点広がり関数が、異なるピクセル座標によって違うならば、独立したピクセルの処理を用いた画像の修復が、この問題を解決できる。さらに、上記制御法は、その性能を向上するために複数のぼけ修正アルゴリズムに導入され得る。
【００２５】
本発明は、また、ビデオの修復に対しても適用され得る。
【００２６】
本発明は、添付の図面における実施例および以下の説明を参照して説明される。
【発明を実施するための最良の形態】
【００２７】
本発明は、少なくとも結像光学系および画像センサを備えた画像化モジュールにより取得されたデジタル画像における画像の質を向上するための方法に関する。ここで、画像は結像光学系を通して形成され、画像は少なくとも１つの色成分から構成されている。この方法において、画像の各色成分の劣化情報が、見つけられて、画像の質を向上するために用いられる。画像の各色成分の劣化情報は、点広がり関数により特定される。各色成分は、上記劣化関数により修復される。画像は、処理されていない画像データでよい。本発明は、また、修復を実施するための、および、逆処理を、制御および規格化するためのいくつかの代替物に関する。
【００２８】
本発明の画像の修復の説明は、３つの主たるポイントが対象とされることができる。最初に、例えば１つの未加工の色成分に対して点広がり関数（ＰＳＦ）を測定することにより、ぼけ劣化関数が決定される。２番目に、少なくとも１つの未加工の色成分に対して、修復アルゴリズムが設計される。３番目に、ハイパスフィルタリングの影響を抑えるために、規格化メカニズムが統合される。説明において、モバイル機器における光学系が、一般に広角の焦点範囲に制限されているので、例として用いられる。しかしながら、モバイル機器が、唯一の適当な機器ではないことは、当業者には明らかである。例えば、本発明は、デジタルカメラ、ウエブカメラによって、またはハイエンドの用途によるものに加えて同様の機器によって用いられる。このアルゴリズムの目的は、光学系の結果として生じる劣化処理（ぼけ）を元に戻すかまたは弱めることにある。このアルゴリズムによって、結果として得られる画像は、輪郭がはっきりしており、解像度が向上する。
【００２９】
”色の成分”という用語が用いられるときは、いつでも、さまざまな色のシステムに関する。本発明における実施例は、ＲＧＢシステム（赤、緑、青）であるが、当業者は、ＨＳＶ（色相、彩度、明度）、ＹＵＶ（輝度、クロミナンス）またはＣＭＹＫ（シアン、マゼンダ、黄色、黒）等の他のシステムも認識するだろう。
【００３０】
空間領域における画像モデルは、式（１）のように記載できる。
【００３１】
【数１】
【００３２】
ここで、ｇｉは測定された色成分画像であり、ｆｉは元の色成分であり、ｈｉは色成分における対応する線形ぼけであり、ｎｉは付加されるノイズ項である。ｇｉ、ｆｉ、ｎｉは、画像領域に亘るピクセル（ｍ、ｎ）の配列上に定められる。一方、ｈｉは、ぼけ（点広がり関数）の台（ｓｕｐｐｏｒｔ：サポート）に亘るピクセル（ｕ、ｖ）に定められる。インデックスｉ＝｛１，２，３，４｝は、それぞれ、赤、緑１、青および緑２というような色成分に関するデータを示す。
【００３３】
本発明は、その画像修復システムのブロックダイアグラムを示す図１および２を用いて、より詳細に説明される。
【００３４】
ぼけの詳述
【００３５】
光学要素（１００）により取得された画像の劣化（図１、１１０）を評価するための手順が次に述べられる。図２に示されるように、劣化は、３つの色チャンネル（この例ではＲ，Ｇ，Ｂ）（未加工のデータ）におけるぼけに対応する、点広がり関数２１０を用いて評価することができる。点広がり関数は、各色チャンネルに対して異なる特性を示すために用いられる。点広がり関数は、画像化システムの性能を評価するために用いることができる重要な基準である。
【００３６】
点広がり関数は、波長と、カメラの視野における位置との関数として変化する。そのために、良い点広がり関数を見つけることは難しい。説明においては、焦点がはずれた、近距離の画像化および空間不変性のぼけが仮定される。各色成分に関連する点広がり関数（ｈｉ）を評価するための実際の手順は、また、カメラシステムの処理の評価を助けるために、独立型のアプリケーションとして用いることができる。
【００３７】
市松模様のパターンの１つの色成分に対応したぼけた画像が与えられ、４つの外側の隅の点が、手作業で位置付けられて、最初は、隅の位置の大雑把な見積もりが定められる。正確な位置（サブピクセル精度で）は、四角いウインドウ内を、例えば１０×１０ピクセルで、精緻にサーチすることにより再度計算される。これらの隅の位置を用いて、元のグリッド画像ｆｉに対する近似が、各四角の中央部を平均化して、一定の輝度値をこれらの四角にアサートすることにより、再構成することができる。
【００３８】
点広がり関数は、空間不変であると仮定される。それにより、ぼけが、擬似逆フィルタリング法（例えば、フーリエ領域において）を通して計算することができる。その擬似逆技術は、非常にノイズに敏感であるので、周波数ロウパスフィルタが、ノイズを制限するために用いられることができ、その手順が、点広がり関数の平均した評価を得るためにいくつかの画像に適用されることができる。（上述したロウパスフィルタの規格化されたカットーオフ周波数は、おおよそ０．６であるが、少なくとも０．４から０．９のいずれかの値が適用できる。）
【００３９】
各色チャンネルで生じるぼけの程度を定量化するために、簡単な統計が定められる。この統計は、（ピクセルにおける）関数の中心からの重みづけられた距離の平均として定められており、この重みはその点における規格化された点広がり関数の値に対応している。
【００４０】
【数２】
【００４１】
ここで、Ｍ１およびＮ１は、点広がり関数フィルタの台（ｓｕｐｐｏｒｔ サポート）である。Ｓｐｓｆは、ぼけの程度を記述する。実験は、チャンネルが異なったぼけパターンを有していることを確認する。例えば、ミラージュー１（Ｍｉｒａｇｅ−１）カメラを調べたときに、得られたＳｐｓｆの値は、下記のようであった。
【００４２】
【数３】
【００４３】
この結果から以下のことが分かる。赤成分が最もぼけていてノイズが大きく、最もぼけが小さいのが青成分であり、この青成分はまたコントラストが最も低かった。
【００４４】
修復アルゴリズム
【００４５】
色成分に関するデータが、センサ１２０、例えばＣＭＯＳまたはＣＣＤセンサのようなバイヤセンサ（Ｂａｙｅｒ ｓｅｎｓｏｒ）２２０（図２）、により測定される。色成分は、図２に示すように、赤（Ｒ）、緑１（Ｇ１）、青（Ｂ）および緑２（Ｇ２）の色成分である。これらの色の”画像”それぞれは、最終出力画像の４分の１のサイズである。
【００４６】
２番目の画像モデルが、修復されること（１３０；２５０）に対して提供される。画像は、辞書編集上、ベクトルに並べられて、点広がり関数ｈｉが、ブロック-テペリッツ循環行列Ｈｉに並べられる。２番目の画像モデルは、その後、式（３）のように表される。
【００４７】
【数４】
【００４８】
画像修復の目的は、Ｈｉの適当な近似を用いることにより、劣化した観測結果
【００４９】
【数５】
【００５０】
から、最適な評価
【００５１】
【数６】
【００５２】
を回復することにある。
【００５３】
ぼけ関数Ｈｉは、非可逆であるので（ぼけ関数Ｈｉはすでに有限の台上で定義されており、その逆関数は無限の台を有するだろう。）、直接の逆解法は可能ではない。この問題を解くための古典的な直接のアプローチは、入力と計算された再ぼけ画像との間のエネルギーを最小にすることを考えることであり、これは式（４）のノルムにより与えられる。
【００５４】
【数７】
【００５５】
そのように、データに最小２乗フィットを提供する。また、ノイズがガウス型であると既知の場合に、ノルムの最小化が、最も尤度のある解をもたらす。それは、また、式（５）により与えられる一般化された逆フィルタを導く。
【００５６】
【数８】
【００５７】
これを解くために、逐次近似の方法を用いた確定的反復技術を用いることが一般的であり、下記の式（６）の反復が導かれる。
【００５８】
【数９】
【００５９】
この反復は、下記式を満たすと収束する。
【００６０】
【数１０】
【００６１】
ここで、λｍａｘは、行列ＨＴＨの最大の固有値である。反復は、エネルギーの規格化された変化が非常に小さくなるまで続く。
【００６２】
図１および２に見られるように、修復（１３０；２５０）は、各色成分Ｒ，Ｇ，Ｂに独立してなされる。
【００６３】
反復技術の主な長所は、ぼけ演算子の逆演算を明確に実施する必要がなく、修復処理が、その進行としてモニタすることができる点である。
【００６４】
最小２乗法は、古典的最小２乗（classical least squares:CLS）技術に拡張できる。理論を述べると、画像修復の問題は、不良設定の問題である。すなわち、出力における小さな摂動は、例えばノイズ、上述したように直接の最小２乗解の無限の摂動を生じ得る。そのため、束縛された最小２乗法（constrained least squares method）が通常文献では考察される。これらのアルゴリズムは、式（４）における、（滑かさ）規格化項に影響を与える項を、最小にする。この項は、出力のハイパスフィルタがなされたバージョンから構成される。規格化項は、画像について事前の情報を含むことを許容する。
【００６５】
規格化メカニズムの一例
【００６６】
現実には、ＣＣＤおよびＣＭＯＳセンサのような、画像センサ電子機器は、画像に非線形成を導入する。中でも飽和が、最も深刻なものの１つである。画像形成モデルにおいて考慮されていない非線形性のために、色チャンネルの独立した処理は、エッジ周辺の色づけの深刻な誤りを生じるかもしれない。従って、本発明は、修復に適用される、改良された規格化メカニズム（図２；２４０）を導入する。飽和しているかまたは露出下にあるピクセルの領域には、取り囲む領域のハイパスフィルタリングの影響を抑える係数を、滑らかに変化させる工夫がなされる。画像取得処理の式（１）は、常に線形な式と仮定される。３つの色チャンネルの感度の違いと、あいまいな露出制御のために、ピクセルの飽和が、各色チャンネルごとに一貫せずに生じる。これらの飽和領域近傍の独立した色の修復は、その色成分だけ、過大な増幅が生じる。その結果、これらの領域近傍で不自然な色のミスマッチと誤った色づけを作り出す。これを避けるために、本発明の規格化メカニズムが提案される。規格化メカニズムは、式（６）の反復解に統合される。考え方は、飽和領域近傍の修復の影響を制限するために、空間的にμを適合させることである。適合するステップサイズは、下記の式（９）で与えられる。
【００６７】
【数１１】
【００６８】
ここで、μは上述したグローバルなステップサイズであり、βｓａｔは、ステップサイズを調節するローカルな飽和制御である。βｓａｔは、下記のアルゴリズムを用いて得られる。
【００６９】
− 各色チャンネル画像に対してｇｉ、ｉ＝｛１..４｝
− ピクセル位置ｇｉ（ｍ、ｎ）を取り囲むウインドウ（ｗ×ｗ）の値を考察する
− そのウインドウの飽和ピクセルＳｉ（ｍ、ｎ）の数を数える
− 飽和制御は、下記の式により与えられる
【００７０】
【数１２】
【００７１】
βｓａｔは、任意の色チャンネルにおける飽和ピクセルの数に依存して０と１との間で変化する。
【００７２】
反復修復法および規格化メカニズムの他の実施例
【００７３】
上述したデータ修復は、反復する逆フィルタリングにより画像をはっきりとさせる。この逆フィルタリングは、画像が十分にはっきりとした時に反復を止める制御方法によって制御され得る。この制御方法の基本的な考え方が、ブロックチャートとして、図５に示されている。この方法の最初において、画像は、観測された画像と等しく初期化されて、ぼけ修正アルゴリズムのパラメータがセットアップされる（５１０）。この後に、ぼけ修正アルゴリズムが、観測された画像に適用される。これは、アンシャープマスキング法、ぼけ領域のぼけ修正、微分フィルタリング等、のような既存の任意のワンパスアルゴリズムでよい（５２０）。ぼけ修正が良い性能を有していないならばシステムのすべてに亘る性能がそれほど良くはなくなるので、ぼけ修正は反復ごとに意味がある。次のステップ（５３０）では、過大に増幅されたエッジのようなオーバーシューティングを検知するために、ぼけ修正された画像からのピクセルが、チェックされ得る。次のステップ（５４０）では、修復された画像が更新される。もし、ぼけ修正された画像におけるピクセルの位置が、オーバーシューティングされたエッジに対応するならば、反復処理において、それはもはや更新されない。それ以外は、修復された画像からのピクセルが、普通に更新される。また、オーバーシューティングに対応するピクセルは、次の反復では対応する修復されたピクセルが変えられないように印が付けられる（これらのピクセルに対しては、修復処理はこの時点で終了となる）。次のステップ（５５０）では、中間の出力画像が走査されて、オーバーシューティングをまだ有するピクセルが検知される。もし、持続性のオーバーシューティングが検知される（５６０）と、グローバルな反復処理が中止されて、修復された画像が戻される。それ以外は、ぼけ修正アルゴリズムのパラメータが変えられて（５７０）、次の反復が、観測された画像のぼけ修正から開始される。最後の手順（５６０−５７０）は、アルゴリズムをブラインドデコンボリューションに適合させる。ここで開示されたアルゴリズムは、エッジを過大に増幅することにより現れるという、修復された画像のオーバーシューティングを防止する。これは、２つの異なる方法によりなされる。第１の方法では、反復ごとに、ピクセルそれぞれは、劣化したピクセルが修復された画像に更新されないように、更新される。第２の方法では、もし、修復された画像に極めて劣化したピクセルが１つでもある場合には、全体のぼけ修正処理が中止される。ぼけ修正法の実施の詳述が次になされる。
【００７４】
図５の方法ステップは、色成分Ｒ，Ｇ，Ｂの内の１つに対してなされる。他の２つの成分も、まさに同じ方法で独立に処理される。もし、ＹＵＶ色システムが用いられる場合には、Ｙ成分のみが処理される必要がある。
【００７５】
ステップ５１０では、画像は、観測された画像と等しく初期化され、ぼけ修正アルゴリズムのパラメータがセットアップされる。入力の観測された画像は、ここではＩにより示され、最終の修復された画像が、Ｉｒにより示される。修復された画像Ｉｒは、最初はＩ（Ｉｒ＝Ｉ）で初期化される。ぼけ修正法のパラメータもまた初期化される。例えば、アンシャープマスキング法が、ぼけ修正に用いられる場合、用いられるぼけ画像の数とそれらのパラメータが選択される。もし、他のアルゴリズムが実施される場合には、そのパラメータがこの時点でセットアップされる。画像および単位要素のサイズと同じサイズの行列が初期化される。行列がｍａｓｋにより示される。
【００７６】
ステップ５２０では、ぼけ修正アルゴリズムが観測された画像に適用されて、ぼけ修正された画像ｌｄｂが得られる。ステップ５３０では、過大に増幅されたエッジのようなオーバーシューティングを検知するために、ぼけ修正された画像からのすべてのピクセルがチェックされる。ぼけ修正された画像ｌｄｂからのピクセルが走査されて、隣接するピクセル間における水平および垂直の差が、下記のように計算され得る。
【００７７】
【数１３】
【００７８】
ここで、ｘ、ｙは垂直および水平のピクセルの座標をそれぞれ示す。また、観測された画像からのピクセルが走査されて、隣接するピクセル間における水平および垂直の差が、下記のように計算され得る。
【００７９】
【数１４】
【００８０】
ぼけ修正された画像からのすべてのピクセルに対して、ｄｈ１とｄｈ３、ｄｈ２とｄｈ４、ｄｖ１とｄｖ３、ｄｖ２とｄｖ４という対応する差の符号が異なるかどうかがチェックされる。もし、それらが異なっていれば、座標ｘ、ｙにおけるピクセルがオーバーシューティングを有していることを意味する。このチェックは、下記のアルゴリズムにより行われることができる。
【００８１】
【数１５】
【００８２】
上述した考え方は、基本的には、ぼけ修正された画像からのすべてのピクセルに対して、ぼけ修正された画像のローカルな形状が、観測された画像のローカルな形状と比較されるということである。これは、水平およびまた垂直方向において、２つの画像からの対応する差の符号を比較することによりなされる。２つの画像の形状に差が見つけられたときは（水平または垂直方向のいずれでも）、ぼけ修正された画像からの対応するピクセルが強調され過ぎているかもしれないことを意味する。それらのピクセルに対しては、オーバーシューティングの評価値が、閾値（ｔｈ１）と比較される。もし、オーバーシューティングの量が、閾値（ｔｈ１）よりも大きい場合、対応するピクセルが歪んだとして印が付けられる（行列ｍａｓｋの値がゼロに等しいとなされる）。閾値（ｔｈ１）は、観測された画像からのピクセルの最大値からの百分率として定義される（値ＭＡＸはＩの値の最大値である）。この種の閾値の計算を選択するにあたって、我々は、閾値（ｔｈ１）の値が画像の範囲に適合するようにする。
【００８３】
ステップ５４０では、修復された画像が更新される。修復された画像を形成するピクセルは、修復された画像からの歪んでいる印がついていないピクセルで単純に更新される。このステップは、下記のように実施され得る。
【００８４】
【数１６】
【００８５】
ステップ５５０では、中間の出力画像が走査されて、オーバーシューティングをまだ含むピクセルが検知される。修復された画像が走査される時、隣接するピクセル間の水平および垂直の差が、下記のように計算され得る。
【００８６】
【数１７】
【００８７】
ｄｈ５とｄｈ３、ｄｈ６とｄｈ４、ｄｖ５とｄｖ３、ｄｖ６とｄｖ４という対応する差の符号が比較される。もし、符号が異なっていれば、その後オーバーシューティングの量が下記のように計算される。
【００８８】
【数１８】
【００８９】
修復された画像および元の画像について計算された差の符号を比較して、２つの画像のローカルな形状が比較される。ローカルな形状が異なる場所のピクセルに対して、修復された画像のオーバーシューティングが、２つの隣接する差の絶対値の内の最小値を選ぶことにより見積もられる。これは、垂直および水平方向の両方について計算される。
【００９０】
ステップ５６０では、オーバーシューティングがチェックされる。もし、最大のオーバーシューティングが、あらかじめ定義されたステップよりも大きい場合、修復手続きが中止されて、修復された画像Ｉｒが出力において戻される。もし、修復された画像に、閾値よりも大きいオーバーシューティングを有するピクセルがない場合、ぼけ修正法のパラメータが変えられて、手続きがステップ５２０から続けられる。このステップは、下記のように実施される。
【００９１】
【数１９】
【００９２】
オーバーシューティング検知のための閾値ｔｈ２は、元の画像Ｉの最大のピクセル値から百分率として定義される。
【００９３】
規格化法（図５からの５３０，５５０および５６０）は、また上述した式（６）からの反復修復アルゴリズムと組み合わされることができる。ハイパスフィルタリングのような他の非反復修復アルゴリズムが、ローカルおよびグローバルな規格化を伴う上述した方法に従う反復する方法で実施できる。上で定義されたローカルまたはグローバルな規格化が、また、他の反復する修復技術に、一緒にまたは単独で適用されることができる。
【００９４】
画像再構成チェイン
【００９５】
各色成分の修復の上述した記載は、画像再構成チェインにおける最初の操作として適用される。自動ホワイトバランス、色フィルタ配列補間（ＣＦＡＩ）、色域変換、幾何学ひずみおよびシェーディング補正、ノイズリダクション、シャープニングのような、他の操作（１４０，２６０）が続く。最終画像の質（２７０）は、再構成チェインにおけるすべてのこれらの操作の効果的で最適な使用に依存するだろうということが認識される。画像再構成アルゴリズムの最も効果的な実施の１つが、非線形である。図１において、画像処理は、例えば画像圧縮（１５０）または／およびダウンサンプリング／ディザリング（１６０）処理を続ける。画像は、カメラファインダまたは画面によって見られるか（１８０）、または、圧縮された形式でメモリに記憶（１７０）される。
【００９６】
再構成チェインにおける最初の操作として、修復を用いることは、線形画像化モデルと判断されるために最も忠実であることを保証する。それに続くアルゴリズムは、特に色フィルタ配列補間およびノイズリダクションアルゴリズム、過大な修復による行過ぎた増幅を防止する、付加的な規格化メカニズムとして働く。
【００９７】
実施例
【００９８】
本発明のシステムは、モバイル端末、ウエブカメラ、デジタルカメラまたは画像化のための他のデジタル装置のような機器に配置することができる。システムは、上記機器の１つに取り付けられるカメラモジュールのデジタル信号処理の一部分になり得る。機器の一例が、図３に簡単なブロックチャートとして示された画像化モバイル端末である。機器３００は、画像を取得するための光学系またはデジタルカメラと操作可能に通信できる、光学系３１０または画像を取得するための同様の機器を備えている。機器３００は、また、送信器３２１および受信器３２２を有する通信手段３２０を備え得る。また、送信器３８１および受信器３８２を有する他の通信手段３８０があってもよい。最初の通信手段３２０は遠隔通信に適応されており、他の通信手段３８０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）システム、ＷＬＡＮシステム（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ローカルな使用および他の機器との通信に適した他のシステムのような、短距離の通信手段の類であり得る。図３の機器３００は、また、視覚情報を表示するための画面３４０を備えている。さらに、機器３００は、データを入力するため、画像取得処理等を制御するためのキーパッド３５０を備えている。機器３００は、また、イヤホーン３６１およびマイクロホーン３６２のようなオーディオ手段３６０を備えており、任意にオーディオ情報を符号化（および必要ならば、複号化）するためのコーデックを備えていてもよい。機器３００は、またその中に、本発明の修復アルゴリズムのような制御機能のための制御ユニット３３０を備えている。制御ユニット３３０は、１つまたはそれ以上のプロセッサ（ＣＰＵ、ＤＳＰ）を備えていてもよい。機器は、さらに、データ、プログラム等を記憶するためのメモリ３７０を備えている。
【００９９】
本発明の画像化モジュールは、結像光学系と、画像センサと、各色成分の劣化情報を見つけて、劣化関数を決定するために該劣化情報を用いるための手段と、さらに該劣化関数により該各色成分を修復するための手段とを備えている。この画像化モジュールは、上述された機器に配置され得る。画像化モジュールは、また、図４に示すように、独立型の機器４１０に配置されることが可能である。この機器４１０は、画像化機器４００と、表示機器と通信する。この表示機器は、また、上記画像化機器４００、または、パーソナルコンピュータのような他の機器であってもよい。上記独立型の機器４１０は、修復モジュール４１１および任意に他の画像化モジュール４１２を備えており、機器４１０は独立に画像修復のために用いられ得る。画像化機器４００および独立型の機器４１０間の通信は、有線または無線ネットワークにより処理され得る。そのようなネットワークの例として、インターネット、ＷＬＡＮおよびＢｌｕｅｔｏｏｔｈ（登録商標）等がある。
【０１００】
上述した詳細な記載は、理解の明瞭性のみのために提供されており、そこから、特許請求の範囲の中への制限が、ここでは、読み取られるべきではない。
【図面の簡単な説明】
【０１０１】
【図１】本発明のシステムの実施例を説明する。
【図２】本発明のシステムの他の実施例を説明する。
【図３】本発明の機器の実施例を説明する。
【図４】本発明の配置の実施例を説明する。
【図５】本発明の反復修復法および制御方法の実施例を説明する。
【技術分野】
【０００１】
本発明は、画像処理に関し、特にデジタル画像の記憶または取得のためのシステムにおける色成分の修復に関する。
【背景技術】
【０００２】
画像のぼけまたは劣化は、例えば光学的なピンぼけ、広角レンズの使用から生ずる他の収差、または、不適切な、絞りの値、焦点距離およびレンズ位置の組み合わせという、様々な因子により引き起こされる。画像の取得過程の間に、長い露光時間が用いられると、カメラまたは対象物の動きが、写真の動きぼけをもたらすことがある。また、短い露光時間が用いられると、捕獲される光子の数が減少し、このことは、捕獲された画像の弱いコントラストに加えて、高いノイズレベルをもたらす。
【０００３】
欠陥を含む画像を再構成するための様々な方法が従来技術から知られている。画像の欠陥ブロックは、すべての取り囲むブロックのある平均で置き換えられることができる。欠陥の上に位置する３つのブロックを用いる一例がある。さらに、欠陥領域と同じサイズのスライディングブロックを取ることにより修復し、そのスライディングブロックを画像の中を通って動かす”最隣接マッチング”がある。スライディングブロックが欠陥と重なる位置を除いた各位置で、スライディングブロックの境界周囲のピクセルがベクトルに並べられる。欠陥における境界周囲のピクセルの値が、他のベクトルに並べられて、それらの間の平均２乗誤差が計算される。欠陥領域は、その後、最も値が低い境界ピクセルを有するブロックによって置き換えられる。
【０００４】
例えば、失われたか、または、破損したピクセルの良好な再構成を形成することにより、欠陥を隠そうと試みる空間誤り隠ぺい技術がある。その方法の一つとして、欠陥を取り囲む領域におけるピクセルの平均を見つけ、平均のピクセル値で欠陥を置き換えることがある。再構成における分散に対する要求は、欠陥の周囲の領域の分散と等しくすることを付け加えることができる。
【０００５】
また種々の補間法を、画像再構成処理において用いることができる。例えば、双線形補間が、矩形の欠陥における４つの角のピクセルに適用できる。これは、欠陥を横切って、ピクセル値が線形で滑らかな変化を作る。双線形補間は、再構成されたピクセル値と、再構成されたピクセルの角におけるピクセルと、再構成されたピクセルから角のピクセルまでの水平および垂直な距離と、によって定義される。他の方法には、画像における失われたサンプルを補間するというエッジセンシティブ非線形フィルタリングがある。
【０００６】
画像修復の目的は、修復された画像が可能な限り元の状況に近づいて見えるように、これらの劣化を取り除くことにある。一般に、劣化過程が既知であれば、修復した画像が、劣化の逆過程として得ることができる。この逆の数学的問題について解くいくつかの方法が、先行技術から知られている。しかしながら、これらの技術のほとんどは、問題のモデル化において画像の再構成処理を考慮せずに、単純な線形モデルとみなしている。典型的には、解決法の実施は、非常に複雑であり、コンピュータの計算が必要である。
【０００７】
画像の修復は、一般に、ぼけの修正およびノイズフィルタリング、という２つの重要なステップを有している。ぼけの修正に対するいくつかのアプローチが従来技術から知られている。これらのアプローチは、非反復技術と反復技術とに分類される。非反復法において、解決法は、例えばラプラスハイパスフィルタリング、アンシャープマスク、または周波数領域逆フィルタリングという、ワンパス処理アルゴリズムを通して得られる。反復法において、結果は、複数の処理パスの間に精緻化される。ぼけの修正処理は、例えば最小２乗法または適応ランドウェーバアルゴリズムという、精緻化処理に対する基準をセットする費用関数によりコントロールされる。普通、２，３の反復後には、隣り合うステップ間には改善がほとんど見られない。ぼけの修正アルゴリズムをある点を越えて続けることは、例えば、細部の強調過多によるエッジのオーバーシュートまたは色合い不良というような、修復した画像に気にさわる不自然な結果を導入する。ぼけ修正の問題を解決するためのあるアプローチとして、ワンステップであるぼけの修正法を、パラメータを変えながら反復的に適用し、最良の結果を保持することがある（ブラインドデコンボリューション）。
【０００８】
従来技術による方法は、通常、天文学および医学の画像のようなハイエンドの用途における画像の修復に適用される。消費者製品におけるそれらの使用は、数量的な画像収集処理、特有の複雑さ、およびこれらのアルゴリズムを実施するために必要な計算能力のために制限される。計算およびメモリ資源を制限した機器において、いくつかのアプローチが用いられている。従来技術による方法は、通常、取得されて記憶された画像に修復が適用されることを意味する、ポスト処理操作として設計されている。ポスト処理操作において、各色成分は、異なる点広がり関数を有している。点広がり関数は、画像化システムの性能を評価するために用いられる重要な基準である。ポスト処理として修復が適用されると、各色成分における異なるぼけについての情報は、もはや関連性がない。画像取得処理の正しいモデリングは、より困難であり、（多くの場合に）非線形である。従って、”逆の”解決法は、正確さにかける。たいてい、デジタルカメラの出力は、ｊｐｅｇフォーマットに圧縮される。もし、修復が圧縮（通常不可逆）後に適用されると、結果は、好ましくないブロッキングな不可逆圧縮に伴う悪い副作用が増大するだろう。
【発明の開示】
【０００９】
本発明の目的は、画像を修復するための改良された方法を提供することにある。これは、方法、モデル、モデルの使用、ほけを修正する方法、機器、モジュール、システム、プログラムモジュール、およびコンピュータプログラム製品により達成され得る。
【００１０】
本発明によれば、少なくとも結像光学系および画像センサを備えた画像化モジュールで取得されたデジタル画像における画像の質を向上するためのモデルを形成する方法において、前記画像が前記結像光学系を通して形成され、該画像が少なくとも１つの色成分から構成されており、各色成分の劣化情報が見つけられ、画像劣化関数が得られ、前記各色成分が、前記劣化関数によって修復される。
【００１１】
本発明によれば、また、デジタル画像における画像の質を向上するためのモデルが提供され、該モデルは請求項に記載の方法により得られる。本発明によれば、また、上記モデルの使用が提供される。
【００１２】
さらに、本発明によれば、少なくとも結像光学系および画像センサを備えた画像化モジュールで取得されたデジタル画像における画像の質を向上するための方法において、前記画像が前記結像光学系を通して形成され、該画像が少なくとも１つの色成分から構成されており、前記画像の各色成分の劣化情報が見つけられ、劣化関数が前記劣化情報に従って得られ、前記各色成分が、前記劣化関数によって修復される方法が提供される。
【００１３】
さらに、本発明によれば、画像の修復のための方法において、前記修復が、各反復において、規格化を伴うぼけ修正法が導入された反復性の修復関数によって実施される方法が提供される。
【００１４】
さらに、本発明によれば、画像化モジュールを備え、デジタル画像における画像の質を向上するためのモデルを決定するシステムにおいて、前記モジュールが、少なくとも結像光学系および画像センサを備え、前記画像が前記結像光学系を通して形成され、該画像が少なくとも１つの色成分から構成されており、前記システムが、前記画像の各色成分の劣化情報を見つけるための第１手段と、前記劣化情報に従った劣化関数を得るための第２手段と、前記劣化関数によって前記各色成分を修復するための第３手段とを有するシステムが提供される。
【００１５】
さらに、本発明によれば、画像の質を向上するためのモデルと関係しており、光感知画像センサ上に結像光学系を通して画像を形成するために、該結像光学系および該画像センサを備えている画像化モジュールが提供される。さらに、本発明によれば、画像化モジュールを備えた機器が提供される。
【００１６】
さらに、本発明によれば、画像化モジュールを備えた機器における画像の質を向上するためのプログラムモジュールにおいて、該プログラムモジュールが、前記画像の各色成分の劣化情報を見つけるための手段と、前記劣化情報に従う劣化関数を得るための手段と、前記劣化関数によって前記各色成分を修復するための手段とを有するプログラムモジュールが提供される。さらにまた、本発明によれば、反復性の修復における各反復において、規格化を伴うぼけ修正を実施するための手段を備えている、画像の修復のための他のプログラムモジュールが提供される。
【００１７】
さらに、画像の各色成分の劣化情報を見つけるための命令と、前記劣化情報に従った劣化関数を得るための命令と、前記劣化関数によって前記各色成分を修復するための命令を備えているコンピュータプログラム製品が提供される。さらにまた、本発明によれば、画像の修復のためのコンピュータプログラム製品において、反復性の修復における各反復において、規格化を伴うぼけ修正を実施するためのコンピュータ読み取り可能な命令を備えているコンピュータプログラム製品が提供される。
【００１８】
本発明の他の特徴が、添付の従属請求項に記載される。
【００１９】
説明において、”第１の画像モデル”という用語は、ＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補性金属酸化膜半導体）のような画像センサによりすでに取得されているが、なんらの処理もなされていないというような画像に対応する。第１の画像モデルは、未加工の画像データである。第２の画像モデルは、劣化情報が決定されている画像の１つである。ＣＭＯＳまたはＣＣＤ以外の他のセンサタイプも本発明に用いられ得ることが認識されるだろう。
【００２０】
第１の画像モデルは、画像のぼけを決定するために用いられ、第２の画像モデルが、本発明により修復される。修復は、また、本発明により規定され得る。これらのステップがなされた後には、他の画像再構成機能が画像に適用され得る。全体の画像再構成をチェインと考えるならば、本発明の考えは、修復を処理前の操作として適用することにある。それにより、続く画像再構成の操作が、上記修復から恩恵を受ける。修復を処理前の操作として適用することは、修復アルゴリズムが、未加工の色画像データを直接の対象とし、そのような方法において、各色成分が個別に取り扱われることを意味する。
【００２１】
本発明では、光学系により生じたぼけが、著しく低減され得る。固定焦点長の光学系が用いられる場合に、その手順は特に効果的である。本発明は、また、焦点長が変化するシステムにも適用でき、その場合には、処理が、レンズの焦点位置に依存した参照テーブルから、複数のぼけ関数を考慮する。ぼけ関数は、また、参照テーブルからの補間を通して得られうる。ぼけ関数を定義するための１つの可能性は、焦点長がぼけ関数のパラメータとして用いられるという、連続計算を用いることである。結果として得られる画像は、よりはっきりとしていて、空間解像度がより高い。提案する処理が従来のシャープニングアルゴリズムとは異なるということに触れておくことは、意味がある。従来のアルゴリズムもまた、高い周波数が増幅されて、よりはっきりした結果が得られる。実際には、本発明は、例えば光学系により生じるという、劣化処理を戻し、ぼけを最小にするための方法を提示する。一方、シャープニングアルゴリズムは、画像をよりはっきりと見せるため、一般的なハイパスフィルタを用いて、画像に人為的な影響を加える。
【００２２】
本発明のモデルは、将来の製品に適用され得るタイプのセンサに対してより発展性があるものである（線形画像形成モデルに、より忠実性があるため）。現在のアプローチでは、画像再構成チェインにおける続くステップおよびアルゴリズムが、解像度およびソリューションのコントラストの向上から恩恵を受ける。
【００２３】
処理前の操作として画像修復を適用することは、画像取得処理において蓄積される非線形性を最小化するかもしれない。本発明は、また、色情報の過大な増幅を防止する。
【００２４】
データ修復は、反復性の逆フィルタリングによって画像をはっきりとさせる。この逆フィルタリングは、また、本発明によって提供される制御法により制御され得る。その制御法により、画像が十分にはっきりした時に、反復が中止される。上記制御法は、画像の中で異なる位置にあるピクセルには、違った処理をなすためのメカニズムを提供する。このため、修復された画像のオーバーシューティングが低減でき、最終の画像の視覚的質をより良くする。さらに、観測された画像におけるエッジに位置するピクセルは、滑らかな領域に位置するピクセルとは異なった修復がなされる。上記制御法は、空間的に変化する点広がり関数の問題を解決できる。例えば、もし、光学系システムの点広がり関数が、異なるピクセル座標によって違うならば、独立したピクセルの処理を用いた画像の修復が、この問題を解決できる。さらに、上記制御法は、その性能を向上するために複数のぼけ修正アルゴリズムに導入され得る。
【００２５】
本発明は、また、ビデオの修復に対しても適用され得る。
【００２６】
本発明は、添付の図面における実施例および以下の説明を参照して説明される。
【発明を実施するための最良の形態】
【００２７】
本発明は、少なくとも結像光学系および画像センサを備えた画像化モジュールにより取得されたデジタル画像における画像の質を向上するための方法に関する。ここで、画像は結像光学系を通して形成され、画像は少なくとも１つの色成分から構成されている。この方法において、画像の各色成分の劣化情報が、見つけられて、画像の質を向上するために用いられる。画像の各色成分の劣化情報は、点広がり関数により特定される。各色成分は、上記劣化関数により修復される。画像は、処理されていない画像データでよい。本発明は、また、修復を実施するための、および、逆処理を、制御および規格化するためのいくつかの代替物に関する。
【００２８】
本発明の画像の修復の説明は、３つの主たるポイントが対象とされることができる。最初に、例えば１つの未加工の色成分に対して点広がり関数（ＰＳＦ）を測定することにより、ぼけ劣化関数が決定される。２番目に、少なくとも１つの未加工の色成分に対して、修復アルゴリズムが設計される。３番目に、ハイパスフィルタリングの影響を抑えるために、規格化メカニズムが統合される。説明において、モバイル機器における光学系が、一般に広角の焦点範囲に制限されているので、例として用いられる。しかしながら、モバイル機器が、唯一の適当な機器ではないことは、当業者には明らかである。例えば、本発明は、デジタルカメラ、ウエブカメラによって、またはハイエンドの用途によるものに加えて同様の機器によって用いられる。このアルゴリズムの目的は、光学系の結果として生じる劣化処理（ぼけ）を元に戻すかまたは弱めることにある。このアルゴリズムによって、結果として得られる画像は、輪郭がはっきりしており、解像度が向上する。
【００２９】
”色の成分”という用語が用いられるときは、いつでも、さまざまな色のシステムに関する。本発明における実施例は、ＲＧＢシステム（赤、緑、青）であるが、当業者は、ＨＳＶ（色相、彩度、明度）、ＹＵＶ（輝度、クロミナンス）またはＣＭＹＫ（シアン、マゼンダ、黄色、黒）等の他のシステムも認識するだろう。
【００３０】
空間領域における画像モデルは、式（１）のように記載できる。
【００３１】
【数１】
【００３２】
ここで、ｇｉは測定された色成分画像であり、ｆｉは元の色成分であり、ｈｉは色成分における対応する線形ぼけであり、ｎｉは付加されるノイズ項である。ｇｉ、ｆｉ、ｎｉは、画像領域に亘るピクセル（ｍ、ｎ）の配列上に定められる。一方、ｈｉは、ぼけ（点広がり関数）の台（ｓｕｐｐｏｒｔ：サポート）に亘るピクセル（ｕ、ｖ）に定められる。インデックスｉ＝｛１，２，３，４｝は、それぞれ、赤、緑１、青および緑２というような色成分に関するデータを示す。
【００３３】
本発明は、その画像修復システムのブロックダイアグラムを示す図１および２を用いて、より詳細に説明される。
【００３４】
ぼけの詳述
【００３５】
光学要素（１００）により取得された画像の劣化（図１、１１０）を評価するための手順が次に述べられる。図２に示されるように、劣化は、３つの色チャンネル（この例ではＲ，Ｇ，Ｂ）（未加工のデータ）におけるぼけに対応する、点広がり関数２１０を用いて評価することができる。点広がり関数は、各色チャンネルに対して異なる特性を示すために用いられる。点広がり関数は、画像化システムの性能を評価するために用いることができる重要な基準である。
【００３６】
点広がり関数は、波長と、カメラの視野における位置との関数として変化する。そのために、良い点広がり関数を見つけることは難しい。説明においては、焦点がはずれた、近距離の画像化および空間不変性のぼけが仮定される。各色成分に関連する点広がり関数（ｈｉ）を評価するための実際の手順は、また、カメラシステムの処理の評価を助けるために、独立型のアプリケーションとして用いることができる。
【００３７】
市松模様のパターンの１つの色成分に対応したぼけた画像が与えられ、４つの外側の隅の点が、手作業で位置付けられて、最初は、隅の位置の大雑把な見積もりが定められる。正確な位置（サブピクセル精度で）は、四角いウインドウ内を、例えば１０×１０ピクセルで、精緻にサーチすることにより再度計算される。これらの隅の位置を用いて、元のグリッド画像ｆｉに対する近似が、各四角の中央部を平均化して、一定の輝度値をこれらの四角にアサートすることにより、再構成することができる。
【００３８】
点広がり関数は、空間不変であると仮定される。それにより、ぼけが、擬似逆フィルタリング法（例えば、フーリエ領域において）を通して計算することができる。その擬似逆技術は、非常にノイズに敏感であるので、周波数ロウパスフィルタが、ノイズを制限するために用いられることができ、その手順が、点広がり関数の平均した評価を得るためにいくつかの画像に適用されることができる。（上述したロウパスフィルタの規格化されたカットーオフ周波数は、おおよそ０．６であるが、少なくとも０．４から０．９のいずれかの値が適用できる。）
【００３９】
各色チャンネルで生じるぼけの程度を定量化するために、簡単な統計が定められる。この統計は、（ピクセルにおける）関数の中心からの重みづけられた距離の平均として定められており、この重みはその点における規格化された点広がり関数の値に対応している。
【００４０】
【数２】
【００４１】
ここで、Ｍ１およびＮ１は、点広がり関数フィルタの台（ｓｕｐｐｏｒｔ サポート）である。Ｓｐｓｆは、ぼけの程度を記述する。実験は、チャンネルが異なったぼけパターンを有していることを確認する。例えば、ミラージュー１（Ｍｉｒａｇｅ−１）カメラを調べたときに、得られたＳｐｓｆの値は、下記のようであった。
【００４２】
【数３】
【００４３】
この結果から以下のことが分かる。赤成分が最もぼけていてノイズが大きく、最もぼけが小さいのが青成分であり、この青成分はまたコントラストが最も低かった。
【００４４】
修復アルゴリズム
【００４５】
色成分に関するデータが、センサ１２０、例えばＣＭＯＳまたはＣＣＤセンサのようなバイヤセンサ（Ｂａｙｅｒ ｓｅｎｓｏｒ）２２０（図２）、により測定される。色成分は、図２に示すように、赤（Ｒ）、緑１（Ｇ１）、青（Ｂ）および緑２（Ｇ２）の色成分である。これらの色の”画像”それぞれは、最終出力画像の４分の１のサイズである。
【００４６】
２番目の画像モデルが、修復されること（１３０；２５０）に対して提供される。画像は、辞書編集上、ベクトルに並べられて、点広がり関数ｈｉが、ブロック-テペリッツ循環行列Ｈｉに並べられる。２番目の画像モデルは、その後、式（３）のように表される。
【００４７】
【数４】
【００４８】
画像修復の目的は、Ｈｉの適当な近似を用いることにより、劣化した観測結果
【００４９】
【数５】
【００５０】
から、最適な評価
【００５１】
【数６】
【００５２】
を回復することにある。
【００５３】
ぼけ関数Ｈｉは、非可逆であるので（ぼけ関数Ｈｉはすでに有限の台上で定義されており、その逆関数は無限の台を有するだろう。）、直接の逆解法は可能ではない。この問題を解くための古典的な直接のアプローチは、入力と計算された再ぼけ画像との間のエネルギーを最小にすることを考えることであり、これは式（４）のノルムにより与えられる。
【００５４】
【数７】
【００５５】
そのように、データに最小２乗フィットを提供する。また、ノイズがガウス型であると既知の場合に、ノルムの最小化が、最も尤度のある解をもたらす。それは、また、式（５）により与えられる一般化された逆フィルタを導く。
【００５６】
【数８】
【００５７】
これを解くために、逐次近似の方法を用いた確定的反復技術を用いることが一般的であり、下記の式（６）の反復が導かれる。
【００５８】
【数９】
【００５９】
この反復は、下記式を満たすと収束する。
【００６０】
【数１０】
【００６１】
ここで、λｍａｘは、行列ＨＴＨの最大の固有値である。反復は、エネルギーの規格化された変化が非常に小さくなるまで続く。
【００６２】
図１および２に見られるように、修復（１３０；２５０）は、各色成分Ｒ，Ｇ，Ｂに独立してなされる。
【００６３】
反復技術の主な長所は、ぼけ演算子の逆演算を明確に実施する必要がなく、修復処理が、その進行としてモニタすることができる点である。
【００６４】
最小２乗法は、古典的最小２乗（classical least squares:CLS）技術に拡張できる。理論を述べると、画像修復の問題は、不良設定の問題である。すなわち、出力における小さな摂動は、例えばノイズ、上述したように直接の最小２乗解の無限の摂動を生じ得る。そのため、束縛された最小２乗法（constrained least squares method）が通常文献では考察される。これらのアルゴリズムは、式（４）における、（滑かさ）規格化項に影響を与える項を、最小にする。この項は、出力のハイパスフィルタがなされたバージョンから構成される。規格化項は、画像について事前の情報を含むことを許容する。
【００６５】
規格化メカニズムの一例
【００６６】
現実には、ＣＣＤおよびＣＭＯＳセンサのような、画像センサ電子機器は、画像に非線形成を導入する。中でも飽和が、最も深刻なものの１つである。画像形成モデルにおいて考慮されていない非線形性のために、色チャンネルの独立した処理は、エッジ周辺の色づけの深刻な誤りを生じるかもしれない。従って、本発明は、修復に適用される、改良された規格化メカニズム（図２；２４０）を導入する。飽和しているかまたは露出下にあるピクセルの領域には、取り囲む領域のハイパスフィルタリングの影響を抑える係数を、滑らかに変化させる工夫がなされる。画像取得処理の式（１）は、常に線形な式と仮定される。３つの色チャンネルの感度の違いと、あいまいな露出制御のために、ピクセルの飽和が、各色チャンネルごとに一貫せずに生じる。これらの飽和領域近傍の独立した色の修復は、その色成分だけ、過大な増幅が生じる。その結果、これらの領域近傍で不自然な色のミスマッチと誤った色づけを作り出す。これを避けるために、本発明の規格化メカニズムが提案される。規格化メカニズムは、式（６）の反復解に統合される。考え方は、飽和領域近傍の修復の影響を制限するために、空間的にμを適合させることである。適合するステップサイズは、下記の式（９）で与えられる。
【００６７】
【数１１】
【００６８】
ここで、μは上述したグローバルなステップサイズであり、βｓａｔは、ステップサイズを調節するローカルな飽和制御である。βｓａｔは、下記のアルゴリズムを用いて得られる。
【００６９】
− 各色チャンネル画像に対してｇｉ、ｉ＝｛１..４｝
− ピクセル位置ｇｉ（ｍ、ｎ）を取り囲むウインドウ（ｗ×ｗ）の値を考察する
− そのウインドウの飽和ピクセルＳｉ（ｍ、ｎ）の数を数える
− 飽和制御は、下記の式により与えられる
【００７０】
【数１２】
【００７１】
βｓａｔは、任意の色チャンネルにおける飽和ピクセルの数に依存して０と１との間で変化する。
【００７２】
反復修復法および規格化メカニズムの他の実施例
【００７３】
上述したデータ修復は、反復する逆フィルタリングにより画像をはっきりとさせる。この逆フィルタリングは、画像が十分にはっきりとした時に反復を止める制御方法によって制御され得る。この制御方法の基本的な考え方が、ブロックチャートとして、図５に示されている。この方法の最初において、画像は、観測された画像と等しく初期化されて、ぼけ修正アルゴリズムのパラメータがセットアップされる（５１０）。この後に、ぼけ修正アルゴリズムが、観測された画像に適用される。これは、アンシャープマスキング法、ぼけ領域のぼけ修正、微分フィルタリング等、のような既存の任意のワンパスアルゴリズムでよい（５２０）。ぼけ修正が良い性能を有していないならばシステムのすべてに亘る性能がそれほど良くはなくなるので、ぼけ修正は反復ごとに意味がある。次のステップ（５３０）では、過大に増幅されたエッジのようなオーバーシューティングを検知するために、ぼけ修正された画像からのピクセルが、チェックされ得る。次のステップ（５４０）では、修復された画像が更新される。もし、ぼけ修正された画像におけるピクセルの位置が、オーバーシューティングされたエッジに対応するならば、反復処理において、それはもはや更新されない。それ以外は、修復された画像からのピクセルが、普通に更新される。また、オーバーシューティングに対応するピクセルは、次の反復では対応する修復されたピクセルが変えられないように印が付けられる（これらのピクセルに対しては、修復処理はこの時点で終了となる）。次のステップ（５５０）では、中間の出力画像が走査されて、オーバーシューティングをまだ有するピクセルが検知される。もし、持続性のオーバーシューティングが検知される（５６０）と、グローバルな反復処理が中止されて、修復された画像が戻される。それ以外は、ぼけ修正アルゴリズムのパラメータが変えられて（５７０）、次の反復が、観測された画像のぼけ修正から開始される。最後の手順（５６０−５７０）は、アルゴリズムをブラインドデコンボリューションに適合させる。ここで開示されたアルゴリズムは、エッジを過大に増幅することにより現れるという、修復された画像のオーバーシューティングを防止する。これは、２つの異なる方法によりなされる。第１の方法では、反復ごとに、ピクセルそれぞれは、劣化したピクセルが修復された画像に更新されないように、更新される。第２の方法では、もし、修復された画像に極めて劣化したピクセルが１つでもある場合には、全体のぼけ修正処理が中止される。ぼけ修正法の実施の詳述が次になされる。
【００７４】
図５の方法ステップは、色成分Ｒ，Ｇ，Ｂの内の１つに対してなされる。他の２つの成分も、まさに同じ方法で独立に処理される。もし、ＹＵＶ色システムが用いられる場合には、Ｙ成分のみが処理される必要がある。
【００７５】
ステップ５１０では、画像は、観測された画像と等しく初期化され、ぼけ修正アルゴリズムのパラメータがセットアップされる。入力の観測された画像は、ここではＩにより示され、最終の修復された画像が、Ｉｒにより示される。修復された画像Ｉｒは、最初はＩ（Ｉｒ＝Ｉ）で初期化される。ぼけ修正法のパラメータもまた初期化される。例えば、アンシャープマスキング法が、ぼけ修正に用いられる場合、用いられるぼけ画像の数とそれらのパラメータが選択される。もし、他のアルゴリズムが実施される場合には、そのパラメータがこの時点でセットアップされる。画像および単位要素のサイズと同じサイズの行列が初期化される。行列がｍａｓｋにより示される。
【００７６】
ステップ５２０では、ぼけ修正アルゴリズムが観測された画像に適用されて、ぼけ修正された画像ｌｄｂが得られる。ステップ５３０では、過大に増幅されたエッジのようなオーバーシューティングを検知するために、ぼけ修正された画像からのすべてのピクセルがチェックされる。ぼけ修正された画像ｌｄｂからのピクセルが走査されて、隣接するピクセル間における水平および垂直の差が、下記のように計算され得る。
【００７７】
【数１３】
【００７８】
ここで、ｘ、ｙは垂直および水平のピクセルの座標をそれぞれ示す。また、観測された画像からのピクセルが走査されて、隣接するピクセル間における水平および垂直の差が、下記のように計算され得る。
【００７９】
【数１４】
【００８０】
ぼけ修正された画像からのすべてのピクセルに対して、ｄｈ１とｄｈ３、ｄｈ２とｄｈ４、ｄｖ１とｄｖ３、ｄｖ２とｄｖ４という対応する差の符号が異なるかどうかがチェックされる。もし、それらが異なっていれば、座標ｘ、ｙにおけるピクセルがオーバーシューティングを有していることを意味する。このチェックは、下記のアルゴリズムにより行われることができる。
【００８１】
【数１５】
【００８２】
上述した考え方は、基本的には、ぼけ修正された画像からのすべてのピクセルに対して、ぼけ修正された画像のローカルな形状が、観測された画像のローカルな形状と比較されるということである。これは、水平およびまた垂直方向において、２つの画像からの対応する差の符号を比較することによりなされる。２つの画像の形状に差が見つけられたときは（水平または垂直方向のいずれでも）、ぼけ修正された画像からの対応するピクセルが強調され過ぎているかもしれないことを意味する。それらのピクセルに対しては、オーバーシューティングの評価値が、閾値（ｔｈ１）と比較される。もし、オーバーシューティングの量が、閾値（ｔｈ１）よりも大きい場合、対応するピクセルが歪んだとして印が付けられる（行列ｍａｓｋの値がゼロに等しいとなされる）。閾値（ｔｈ１）は、観測された画像からのピクセルの最大値からの百分率として定義される（値ＭＡＸはＩの値の最大値である）。この種の閾値の計算を選択するにあたって、我々は、閾値（ｔｈ１）の値が画像の範囲に適合するようにする。
【００８３】
ステップ５４０では、修復された画像が更新される。修復された画像を形成するピクセルは、修復された画像からの歪んでいる印がついていないピクセルで単純に更新される。このステップは、下記のように実施され得る。
【００８４】
【数１６】
【００８５】
ステップ５５０では、中間の出力画像が走査されて、オーバーシューティングをまだ含むピクセルが検知される。修復された画像が走査される時、隣接するピクセル間の水平および垂直の差が、下記のように計算され得る。
【００８６】
【数１７】
【００８７】
ｄｈ５とｄｈ３、ｄｈ６とｄｈ４、ｄｖ５とｄｖ３、ｄｖ６とｄｖ４という対応する差の符号が比較される。もし、符号が異なっていれば、その後オーバーシューティングの量が下記のように計算される。
【００８８】
【数１８】
【００８９】
修復された画像および元の画像について計算された差の符号を比較して、２つの画像のローカルな形状が比較される。ローカルな形状が異なる場所のピクセルに対して、修復された画像のオーバーシューティングが、２つの隣接する差の絶対値の内の最小値を選ぶことにより見積もられる。これは、垂直および水平方向の両方について計算される。
【００９０】
ステップ５６０では、オーバーシューティングがチェックされる。もし、最大のオーバーシューティングが、あらかじめ定義されたステップよりも大きい場合、修復手続きが中止されて、修復された画像Ｉｒが出力において戻される。もし、修復された画像に、閾値よりも大きいオーバーシューティングを有するピクセルがない場合、ぼけ修正法のパラメータが変えられて、手続きがステップ５２０から続けられる。このステップは、下記のように実施される。
【００９１】
【数１９】
【００９２】
オーバーシューティング検知のための閾値ｔｈ２は、元の画像Ｉの最大のピクセル値から百分率として定義される。
【００９３】
規格化法（図５からの５３０，５５０および５６０）は、また上述した式（６）からの反復修復アルゴリズムと組み合わされることができる。ハイパスフィルタリングのような他の非反復修復アルゴリズムが、ローカルおよびグローバルな規格化を伴う上述した方法に従う反復する方法で実施できる。上で定義されたローカルまたはグローバルな規格化が、また、他の反復する修復技術に、一緒にまたは単独で適用されることができる。
【００９４】
画像再構成チェイン
【００９５】
各色成分の修復の上述した記載は、画像再構成チェインにおける最初の操作として適用される。自動ホワイトバランス、色フィルタ配列補間（ＣＦＡＩ）、色域変換、幾何学ひずみおよびシェーディング補正、ノイズリダクション、シャープニングのような、他の操作（１４０，２６０）が続く。最終画像の質（２７０）は、再構成チェインにおけるすべてのこれらの操作の効果的で最適な使用に依存するだろうということが認識される。画像再構成アルゴリズムの最も効果的な実施の１つが、非線形である。図１において、画像処理は、例えば画像圧縮（１５０）または／およびダウンサンプリング／ディザリング（１６０）処理を続ける。画像は、カメラファインダまたは画面によって見られるか（１８０）、または、圧縮された形式でメモリに記憶（１７０）される。
【００９６】
再構成チェインにおける最初の操作として、修復を用いることは、線形画像化モデルと判断されるために最も忠実であることを保証する。それに続くアルゴリズムは、特に色フィルタ配列補間およびノイズリダクションアルゴリズム、過大な修復による行過ぎた増幅を防止する、付加的な規格化メカニズムとして働く。
【００９７】
実施例
【００９８】
本発明のシステムは、モバイル端末、ウエブカメラ、デジタルカメラまたは画像化のための他のデジタル装置のような機器に配置することができる。システムは、上記機器の１つに取り付けられるカメラモジュールのデジタル信号処理の一部分になり得る。機器の一例が、図３に簡単なブロックチャートとして示された画像化モバイル端末である。機器３００は、画像を取得するための光学系またはデジタルカメラと操作可能に通信できる、光学系３１０または画像を取得するための同様の機器を備えている。機器３００は、また、送信器３２１および受信器３２２を有する通信手段３２０を備え得る。また、送信器３８１および受信器３８２を有する他の通信手段３８０があってもよい。最初の通信手段３２０は遠隔通信に適応されており、他の通信手段３８０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）システム、ＷＬＡＮシステム（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ローカルな使用および他の機器との通信に適した他のシステムのような、短距離の通信手段の類であり得る。図３の機器３００は、また、視覚情報を表示するための画面３４０を備えている。さらに、機器３００は、データを入力するため、画像取得処理等を制御するためのキーパッド３５０を備えている。機器３００は、また、イヤホーン３６１およびマイクロホーン３６２のようなオーディオ手段３６０を備えており、任意にオーディオ情報を符号化（および必要ならば、複号化）するためのコーデックを備えていてもよい。機器３００は、またその中に、本発明の修復アルゴリズムのような制御機能のための制御ユニット３３０を備えている。制御ユニット３３０は、１つまたはそれ以上のプロセッサ（ＣＰＵ、ＤＳＰ）を備えていてもよい。機器は、さらに、データ、プログラム等を記憶するためのメモリ３７０を備えている。
【００９９】
本発明の画像化モジュールは、結像光学系と、画像センサと、各色成分の劣化情報を見つけて、劣化関数を決定するために該劣化情報を用いるための手段と、さらに該劣化関数により該各色成分を修復するための手段とを備えている。この画像化モジュールは、上述された機器に配置され得る。画像化モジュールは、また、図４に示すように、独立型の機器４１０に配置されることが可能である。この機器４１０は、画像化機器４００と、表示機器と通信する。この表示機器は、また、上記画像化機器４００、または、パーソナルコンピュータのような他の機器であってもよい。上記独立型の機器４１０は、修復モジュール４１１および任意に他の画像化モジュール４１２を備えており、機器４１０は独立に画像修復のために用いられ得る。画像化機器４００および独立型の機器４１０間の通信は、有線または無線ネットワークにより処理され得る。そのようなネットワークの例として、インターネット、ＷＬＡＮおよびＢｌｕｅｔｏｏｔｈ（登録商標）等がある。
【０１００】
上述した詳細な記載は、理解の明瞭性のみのために提供されており、そこから、特許請求の範囲の中への制限が、ここでは、読み取られるべきではない。
【図面の簡単な説明】
【０１０１】
【図１】本発明のシステムの実施例を説明する。
【図２】本発明のシステムの他の実施例を説明する。
【図３】本発明の機器の実施例を説明する。
【図４】本発明の配置の実施例を説明する。
【図５】本発明の反復修復法および制御方法の実施例を説明する。
【特許請求の範囲】
【請求項１】
少なくとも結像光学系および画像センサを備えた画像化モジュールで取得されたデジタル画像における画像の質を向上するためのモデルを構築する方法において、
前記画像が前記結像光学系を通して形成され、該画像が少なくとも１つの色成分から構成されており、前記モデルの前記構築が少なくとも、
前記画像の各色成分の劣化情報を見つけるステップと、
前記劣化情報に従った劣化関数を得るステップと、
前記劣化関数によって前記各色成分を修復するステップとを有する方法。
【請求項２】
規格化制御が前記修復された色成分に適用される請求項１に記載の方法。
【請求項３】
各色成分の前記劣化情報が、点広がり関数を用いて見つけられる請求項１に記載の方法。
【請求項４】
前記修復が、各色成分の前記点広がり関数から定められる反復性の修復関数によって実施される請求項３に記載の方法。
【請求項５】
前記修復が、各反復において、規格化を伴う１ステップのぼけ修正法が用いられる反復性の修復関数によって実施される請求項１に記載の方法。
【請求項６】
前記画像が処理されていない画像データであり、前記修復された色成分が、さらに他の画像再構成アルゴリズムによって処理される請求項１に記載の方法。
【請求項７】
ＲＧＢ、ＨＳＶ、ＣＭＹＫ、ＹＵＶという色システムの内の１つが用いられる請求項１に記載の方法。
【請求項８】
前記規格化制御が、ぼけ修正された画像を得るための前記ぼけ修正法の中に導入される請求項２に記載の方法。
【請求項９】
オーバーシューティングのピクセルが、第１および第２の閾値の値を用いて検知される請求項８に記載の方法。
【請求項１０】
請求項１に記載の方法により得られる、デジタル画像における画像の質を向上するためのモデル。
【請求項１１】
デジタル画像における画像の質を向上するための、請求項１０に記載のモデルの使用。
【請求項１２】
少なくとも結像光学系および画像センサを備えた画像化モジュールで取得されたデジタル画像における画像の質を向上するための方法において、
前記画像が前記結像光学系を通して形成され、該画像が少なくとも１つの色成分から構成されており、
前記画像の各色成分の劣化情報が見つけられ、
劣化関数が前記劣化情報に従って得られ、
前記各色成分が、前記劣化関数によって修復される方法。
【請求項１３】
規格化制御が前記修復された色成分に適用される請求項１２に記載の方法。
【請求項１４】
各色成分の前記劣化情報が、点広がり関数を用いて見つけられる請求項１２に記載の方法。
【請求項１５】
前記修復が、各色成分の前記点広がり関数から定められる反復性の修復関数によって実施される請求項１４に記載の方法。
【請求項１６】
前記修復が、各反復において、規格化を伴う１ステップのぼけ修正法が導入された反復性の修復関数によって実施される請求項１２に記載の方法。
【請求項１７】
前記画像が処理されていない画像データであり、前記修復された色成分が、さらに他の画像再構成アルゴリズムによって処理される請求項１２に記載の方法。
【請求項１８】
ＲＧＢ、ＨＳＶ、ＣＭＹＫ、ＹＵＶという色システムの内の１つが用いられる請求項１２に記載の方法。
【請求項１９】
前記規格化制御が、ぼけ修正された画像を得るための前記ぼけ修正法の中に導入される請求項１３に記載の方法。
【請求項２０】
オーバーシューティングのピクセルが、第１および第２の閾値の値を用いて検知される請求項１９に記載の方法。
【請求項２１】
画像の修復のための方法において、
前記修復が、各反復において、規格化を伴うぼけ修正法が導入された反復性の修復関数によって実施される方法。
【請求項２２】
規格化制御が、前記修復された色成分に適用される請求項２１に記載の方法。
【請求項２３】
前記規格化制御が、ぼけ修正された画像を得るための前記ぼけ修正法の中に導入される請求項２１に記載の方法。
【請求項２４】
オーバーシューティングのピクセルが、第１および第２の閾値の値を用いて検知される請求項２１に記載の方法。
【請求項２５】
少なくとも結像光学系および画像センサを備えた画像化モジュールで取得されたデジタル画像における画像の質を向上するためのモデルを決定するシステムにおいて、
前記画像が前記結像光学系を通して形成され、該画像が少なくとも１つの色成分から構成されており、前記システムが、
前記画像の各色成分の劣化情報を見つけるための第１手段と、
前記劣化情報に従った劣化関数を得るための第２手段と、
前記劣化関数によって前記各色成分を修復するための第３手段とを有するシステム。
【請求項２６】
さらに、前記修復の間に規格化制御を適用するための第４手段を有する請求項２５に記載のシステム。
【請求項２７】
さらに、他の画像再構成アルゴリズムによって、前記画像をさらに処理するための第５手段を有する請求項２５に記載のシステム。
【請求項２８】
ＲＧＢ、ＨＳＶ、ＣＭＹＫ、ＹＵＶという色システムの内の１つを用いることが可能な請求項２５に記載の方法。
【請求項２９】
前記規格化制御のために、前記システムが、前記修復された画像のぼけ修正を行うための手段を有する請求項２６に記載のシステム。
【請求項３０】
請求項１０に記載の画像の質を向上するためのモデルと関係しており、光感知画像センサ上に結像光学系を通して画像を形成するために、該結像光学系および該画像センサを備えている画像化モジュール。
【請求項３１】
さらに、前記修復の間に規格化制御を適用するための手段を有する請求項３０に記載の画像化モジュール。
【請求項３２】
請求項３０に記載の画像化モジュールを備えた機器。
【請求項３３】
通信機能を備えたモバイル機器である請求項３２に記載の機器。
【請求項３４】
画像化モジュールを備えた機器における画像の質を向上するためのプログラムモジュールにおいて、
前記プログラムモジュールが、
前記画像の各色成分の劣化情報を見つけるための手段と、
前記劣化情報に従った劣化関数を得るための手段と、
前記劣化関数によって前記各色成分を修復するための手段とを有するプログラムモジュール。
【請求項３５】
さらに、前記修復の間に規格化制御を適用するための命令を備えている請求項３４に記載のプログラムモジュール。
【請求項３６】
反復性の修復における各反復において、規格化を伴うぼけ修正を実施するための手段を備えている、画像の修復のためのプログラムモジュール。
【請求項３７】
さらに、第１および第２の閾値の値を用いて、オーバーシューティングのピクセルを検知するための手段を備えている請求項３６に記載の方法。
【請求項３８】
画像の質を向上するためのコンピュータプログラム製品において、
前記画像の各色成分の劣化情報を見つけるための命令と、
前記劣化情報に従った劣化関数を得るための命令と、
前記劣化関数によって前記各色成分を修復するための命令とが導入されたコンピュータを備えているコンピュータプログラム製品。
【請求項３９】
さらに、前記修復の間に規格化制御を適用するための命令を備えている請求項３８に記載のコンピュータプログラム製品。
【請求項４０】
画像の修復のためのコンピュータプログラム製品において、
反復性の修復における各反復において、規格化を伴うぼけ修正を実施するためのコンピュータ読み取り可能な命令を備えているコンピュータプログラム製品。
【請求項４１】
さらに、第１および第２の閾値の値を用いて、オーバーシューティングのピクセルを検知するための命令を備えている請求項４１に記載のコンピュータプログラム製品。
【請求項１】
少なくとも結像光学系および画像センサを備えた画像化モジュールで取得されたデジタル画像における画像の質を向上するためのモデルを構築する方法において、
前記画像が前記結像光学系を通して形成され、該画像が少なくとも１つの色成分から構成されており、前記モデルの前記構築が少なくとも、
前記画像の各色成分の劣化情報を見つけるステップと、
前記劣化情報に従った劣化関数を得るステップと、
前記劣化関数によって前記各色成分を修復するステップとを有する方法。
【請求項２】
規格化制御が前記修復された色成分に適用される請求項１に記載の方法。
【請求項３】
各色成分の前記劣化情報が、点広がり関数を用いて見つけられる請求項１に記載の方法。
【請求項４】
前記修復が、各色成分の前記点広がり関数から定められる反復性の修復関数によって実施される請求項３に記載の方法。
【請求項５】
前記修復が、各反復において、規格化を伴う１ステップのぼけ修正法が用いられる反復性の修復関数によって実施される請求項１に記載の方法。
【請求項６】
前記画像が処理されていない画像データであり、前記修復された色成分が、さらに他の画像再構成アルゴリズムによって処理される請求項１に記載の方法。
【請求項７】
ＲＧＢ、ＨＳＶ、ＣＭＹＫ、ＹＵＶという色システムの内の１つが用いられる請求項１に記載の方法。
【請求項８】
前記規格化制御が、ぼけ修正された画像を得るための前記ぼけ修正法の中に導入される請求項２に記載の方法。
【請求項９】
オーバーシューティングのピクセルが、第１および第２の閾値の値を用いて検知される請求項８に記載の方法。
【請求項１０】
請求項１に記載の方法により得られる、デジタル画像における画像の質を向上するためのモデル。
【請求項１１】
デジタル画像における画像の質を向上するための、請求項１０に記載のモデルの使用。
【請求項１２】
少なくとも結像光学系および画像センサを備えた画像化モジュールで取得されたデジタル画像における画像の質を向上するための方法において、
前記画像が前記結像光学系を通して形成され、該画像が少なくとも１つの色成分から構成されており、
前記画像の各色成分の劣化情報が見つけられ、
劣化関数が前記劣化情報に従って得られ、
前記各色成分が、前記劣化関数によって修復される方法。
【請求項１３】
規格化制御が前記修復された色成分に適用される請求項１２に記載の方法。
【請求項１４】
各色成分の前記劣化情報が、点広がり関数を用いて見つけられる請求項１２に記載の方法。
【請求項１５】
前記修復が、各色成分の前記点広がり関数から定められる反復性の修復関数によって実施される請求項１４に記載の方法。
【請求項１６】
前記修復が、各反復において、規格化を伴う１ステップのぼけ修正法が導入された反復性の修復関数によって実施される請求項１２に記載の方法。
【請求項１７】
前記画像が処理されていない画像データであり、前記修復された色成分が、さらに他の画像再構成アルゴリズムによって処理される請求項１２に記載の方法。
【請求項１８】
ＲＧＢ、ＨＳＶ、ＣＭＹＫ、ＹＵＶという色システムの内の１つが用いられる請求項１２に記載の方法。
【請求項１９】
前記規格化制御が、ぼけ修正された画像を得るための前記ぼけ修正法の中に導入される請求項１３に記載の方法。
【請求項２０】
オーバーシューティングのピクセルが、第１および第２の閾値の値を用いて検知される請求項１９に記載の方法。
【請求項２１】
画像の修復のための方法において、
前記修復が、各反復において、規格化を伴うぼけ修正法が導入された反復性の修復関数によって実施される方法。
【請求項２２】
規格化制御が、前記修復された色成分に適用される請求項２１に記載の方法。
【請求項２３】
前記規格化制御が、ぼけ修正された画像を得るための前記ぼけ修正法の中に導入される請求項２１に記載の方法。
【請求項２４】
オーバーシューティングのピクセルが、第１および第２の閾値の値を用いて検知される請求項２１に記載の方法。
【請求項２５】
少なくとも結像光学系および画像センサを備えた画像化モジュールで取得されたデジタル画像における画像の質を向上するためのモデルを決定するシステムにおいて、
前記画像が前記結像光学系を通して形成され、該画像が少なくとも１つの色成分から構成されており、前記システムが、
前記画像の各色成分の劣化情報を見つけるための第１手段と、
前記劣化情報に従った劣化関数を得るための第２手段と、
前記劣化関数によって前記各色成分を修復するための第３手段とを有するシステム。
【請求項２６】
さらに、前記修復の間に規格化制御を適用するための第４手段を有する請求項２５に記載のシステム。
【請求項２７】
さらに、他の画像再構成アルゴリズムによって、前記画像をさらに処理するための第５手段を有する請求項２５に記載のシステム。
【請求項２８】
ＲＧＢ、ＨＳＶ、ＣＭＹＫ、ＹＵＶという色システムの内の１つを用いることが可能な請求項２５に記載の方法。
【請求項２９】
前記規格化制御のために、前記システムが、前記修復された画像のぼけ修正を行うための手段を有する請求項２６に記載のシステム。
【請求項３０】
請求項１０に記載の画像の質を向上するためのモデルと関係しており、光感知画像センサ上に結像光学系を通して画像を形成するために、該結像光学系および該画像センサを備えている画像化モジュール。
【請求項３１】
さらに、前記修復の間に規格化制御を適用するための手段を有する請求項３０に記載の画像化モジュール。
【請求項３２】
請求項３０に記載の画像化モジュールを備えた機器。
【請求項３３】
通信機能を備えたモバイル機器である請求項３２に記載の機器。
【請求項３４】
画像化モジュールを備えた機器における画像の質を向上するためのプログラムモジュールにおいて、
前記プログラムモジュールが、
前記画像の各色成分の劣化情報を見つけるための手段と、
前記劣化情報に従った劣化関数を得るための手段と、
前記劣化関数によって前記各色成分を修復するための手段とを有するプログラムモジュール。
【請求項３５】
さらに、前記修復の間に規格化制御を適用するための命令を備えている請求項３４に記載のプログラムモジュール。
【請求項３６】
反復性の修復における各反復において、規格化を伴うぼけ修正を実施するための手段を備えている、画像の修復のためのプログラムモジュール。
【請求項３７】
さらに、第１および第２の閾値の値を用いて、オーバーシューティングのピクセルを検知するための手段を備えている請求項３６に記載の方法。
【請求項３８】
画像の質を向上するためのコンピュータプログラム製品において、
前記画像の各色成分の劣化情報を見つけるための命令と、
前記劣化情報に従った劣化関数を得るための命令と、
前記劣化関数によって前記各色成分を修復するための命令とが導入されたコンピュータを備えているコンピュータプログラム製品。
【請求項３９】
さらに、前記修復の間に規格化制御を適用するための命令を備えている請求項３８に記載のコンピュータプログラム製品。
【請求項４０】
画像の修復のためのコンピュータプログラム製品において、
反復性の修復における各反復において、規格化を伴うぼけ修正を実施するためのコンピュータ読み取り可能な命令を備えているコンピュータプログラム製品。
【請求項４１】
さらに、第１および第２の閾値の値を用いて、オーバーシューティングのピクセルを検知するための命令を備えている請求項４１に記載のコンピュータプログラム製品。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２００８−５０６１７４（Ｐ２００８−５０６１７４Ａ）
【公表日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願番号】特願２００７−５１９８２１（Ｐ２００７−５１９８２１）
【出願日】平成１７年１月４日（２００５．１．４）
【国際出願番号】ＰＣＴ／ＦＩ２００５／０５０００１
【国際公開番号】ＷＯ２００６／００５７９８
【国際公開日】平成１８年１月１９日（２００６．１．１９）
【出願人】（３９８０１２６１６）ノキア コーポレイション (1,359)
【Ｆターム（参考）】
【公表日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願日】平成１７年１月４日（２００５．１．４）
【国際出願番号】ＰＣＴ／ＦＩ２００５／０５０００１
【国際公開番号】ＷＯ２００６／００５７９８
【国際公開日】平成１８年１月１９日（２００６．１．１９）
【出願人】（３９８０１２６１６）ノキア コーポレイション (1,359)
【Ｆターム（参考）】
[ Back to top ]