予め設定された階調再現曲線を使用して画像を処理するためのシステム及び方法
【課題】自動化ＲＡＷ画像処理方法及びシステムを提供する。
【解決手段】ＲＡＷ画像及びＲＡＷ画像に関係するメタデータは、デジタルカメラ又は他のソースから取得される。ＲＡＷ画像及び関係するメタデータは、処理デバイスのオペレーティングシステムサービスを使用して自動的に処理され、結果として得られる画像を絶対カラースペースで生成する。自動的に処理されるときには、予め設定された階調再現曲線が補間ＲＡＷ画像に適用され、結果として得られる画像を生成する。予め設定された階調再現曲線は、複数の基準画像から導き出され、ＲＡＷ画像に関連付けられたメタデータに基づいて選択される。次いで、結果として得られる画像は、オペレーティングシステムサービスとのアプリケーションプログラムインターフェースを介して処理デバイス上で実行されるアプリケーションプログラムが利用できるようにされる。
【解決手段】ＲＡＷ画像及びＲＡＷ画像に関係するメタデータは、デジタルカメラ又は他のソースから取得される。ＲＡＷ画像及び関係するメタデータは、処理デバイスのオペレーティングシステムサービスを使用して自動的に処理され、結果として得られる画像を絶対カラースペースで生成する。自動的に処理されるときには、予め設定された階調再現曲線が補間ＲＡＷ画像に適用され、結果として得られる画像を生成する。予め設定された階調再現曲線は、複数の基準画像から導き出され、ＲＡＷ画像に関連付けられたメタデータに基づいて選択される。次いで、結果として得られる画像は、オペレーティングシステムサービスとのアプリケーションプログラムインターフェースを介して処理デバイス上で実行されるアプリケーションプログラムが利用できるようにされる。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本明細書は、その全体が引用により本明細書に組み込まれ且つ優先権を主張する「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｒａｗ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＲＡＷ画像処理のためのシステム及び方法）」という名称の２００６年１０月１３日に出願された米国特許仮出願第６０／８２９，５１９号の本出願である。
【０００２】
本開示の対象は、一般に、ＲＡＷ画像を処理して絶対カラースペースにすることに関し、更に具体的には、画像変換の階調再現曲線を導出し、ＲＡＷ画像の前処理中に階調再現曲線を適用するためのシステム及び方法に関する。
【背景技術】
【０００３】
デジタルカメラの電荷結合素子（ＣＣＤ）などのデジタル画像センサは、米国特許第３，９７１，０６５号（特許文献１）に記載されているＲＧＢベイヤーパターンなどのカラーフィルタ処理アレイ又はパターンで配列された複数のフォトサイトを有する。ＲＧＢベイヤーパターンでは、各フォトサイトが、赤、緑、又は青、或いはその何らかの変形形態を受け入れるようにフィルタリングされる。デジタルイメージングセンサによって取り込まれたオリジナルのビット・フォー・ビットデジタル画像ファイルは、ＲＡＷファイル又はＲＡＷ画像と呼ばれる。幾つかの変数に応じて、ＲＡＷ画像は通常、８から１８ＭＢのメモリスペースを必要とする可能性がある。カラーフィルタアレイ及びデジタルイメージングセンサのタイプは通常、デジタルカメラの製造品毎に変わる。例えば、一部のカラーフィルタ処理アレイは、黄、シアン、緑、及びマゼンタのパターンを使用する。
【０００４】
通常、デジタルカメラは、ＲＡＷ画像に対してデモザイク処理又はデベイヤープロセスを実施し、画像を圧縮アルゴリズムで変換して、ＪＰＥＧ又は表示及びビューに好適な他のタイプの圧縮ファイルを出力する画像パイプラインを有する。しかしながら、デジタルカメラによって取り込まれたＲＡＷ画像は、コンピュータ、及びＡｐｐｌｅのＡｐｅｒｔｕｒｅ１．０などのコンピュータソフトウェアにアップロードすることができ、コンピュータ上での動作によって、ユーザーは、ＲＡＷ画像に種々のマニュアル操作を行うことが可能になる。
【０００５】
処理されたデジタル画像のカラー情報は、幾つかのカラーモデルによって特徴付けることができる。１つのカラーモデルはＲＧＢカラースペースであり、複数のカラーを生成するために赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の組合せを使用する。デジタルカメラ用に使用される幾つかのＲＧＢカラースペースには、スタンダードＲＧＢ（ｓＲＧＢ）及びＡｄｏｂｅ ＲＧＢが含まれる。別のカラーモデルは、１９３１年に国際照明委員会（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍｍｉｓｉｏｎ ｏｎ Ｉｌｌｕｍｉｎａｔｉｏｎ ＣＩＥ）によって作成されたＣＩＥ ＸＹＺカラースペースである。数学的技術を使用して、カラー情報を１つのカラースペースから別のカラースペースに変換することができる。
【０００６】
デジタルカメラは、オート、白熱、蛍光灯、曇り、晴れ、又は感光度などのホワイトバランス設定（例えば、ＩＳＯ１００、ＩＳＯ２０００など）を有する。この設定は、画像の被写体を照明している光源からの光の色温度にデジタルカメラのホワイトバランスをマッチさせるのに使用される。種々の標準光源の特徴は当該技術において定義されている。例えば、光源Ａは白熱光を表すのに使用され、２８５６Ｋで黒体放射体のプロファイルによって定義される。光源シリーズＤは、自然照明を表すのに使用される。番号は、ソースの相関色温度（ＣＣＴ）を示すためにＤシリーズ光源の名称で使用される。例えば、光源Ｄ５０は５０００ＫのＣＣＴを有し、光源Ｄ６５は６５００ＫのＣＣＴを有する。光源シリーズＦは、蛍光照明の種々のタイプを表すのに使用される。例えば、光源Ｆ２は白色蛍光を表し、光源Ｆ１１は狭帯域蛍光を表す。デジタル画像がデジタルカメラによって１つの光源の下で取得されるときには、白色点変換技術を使用して異なる光源の下で画像の特徴を推定することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第３，９７１，０６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
デジタルカメラ又は他のイメージングデバイスによって取得されたデジタル画像を処理するときには、種々の考慮事項に対処しなくてはならない。１つの考慮事項は、デジタル画像の空間品質及びディテールを保護することを包含し、別の考慮事項は、デジタル画像の色を完全に表現することを包含する。多くの点で、これらの２つの考慮事項は相互に関連付けられている。
【図面の簡単な説明】
【０００９】
【図１】ＲＡＷ画像を生成及び処理するためのシステムの１つの実施形態を示す図である。
【図２】本開示の特定の教示によるＲＡＷ処理を実施するための汎用プロセッシングデバイスのためのソフトウェアスタックの１つの実施形態を示す図である。
【図３】本開示の特定の教示による自動化ＲＡＷ画像処理パイプラインの１つの実施形態を示す図である。
【図４】図３の自動化ＲＡＷ処理段の１つの実施形態を示す図である。
【図５】図４のＲＡＷ処理段のためのハイライトリカバリを実施するためのプロセスの１つの実施形態を示す図である。
【図６】図４のＲＡＷ処理段におけるノイズ及びスタックピクセルを低減するためにカメラのプロファイルを導出するプロセスの１つの実施形態を示す図である。
【図７】図４のＲＡＷ処理段のためのハーフサイズ緑エッジ画像を作成するプロセスの１つの実施形態を示す図である。
【図８】図４のＲＡＷ処理段のための非鮮鋭化及び鮮鋭化された緑再構成画像を作成するプロセスの１つの実施形態を示す図である。
【図９】図４のＲＡＷ処理段のためのハーフサイズＲＧＢ画像を作成するプロセスの１つの実施形態を示す図である。
【図１０】図４のＲＡＷ処理段のための赤再構成画像及び緑再構成画像を作成するプロセスの１つの実施形態を示す図である。
【図１１】図４のＲＡＷ処理段のための彩度ブラーオペレーションの１つの実施形態を示す図である。
【図１２】図３の第１変換段階で使用される特性行列を導出するためのプロセスの１つの実施形態を示す図である。
【図１３】図３の第１変換段階で使用されるブラックレベル調整を導出するためのプロセスの１つの実施形態を示す図である。
【図１４】図３の第１変換段階のための変換行列を導出するためのプロセスの１つの実施形態を示す図である。
【図１５Ａ】図３の第２変換段階で使用される階調再現曲線を導出するためのプロセスの１つの実施形態を示す図である。
【図１５Ｂ】図３の第２変換段階で使用される階調再現曲線を導出するためのプロセスの１つの実施形態を示す図である。
【図１５Ｃ】図３の第２変換段階で使用される階調再現曲線を導出するためのプロセスの１つの実施形態を示す図である。
【図１６Ａ】図３の自動化ＲＡＷ画像処理パイプラインのための付加的な自動化プロセスを示す図である。
【図１６Ｂ】入力及び出力輝度のグラフにおける図１６Ａの自動化プロセスの詳細を示す図である。
【図１６Ｃ】図３の自動化ＲＡＷ画像処理パイプラインで使用される輝度ブーストの１つの実施形態を示す図である。
【発明を実施するための形態】
【００１０】
本開示の対象の好ましい実施形態及び他の態様は、添付図面と共に以下の特定の実施形態の詳細な説明を読むとより理解されるであろう。
【００１１】
本開示の対象は、種々の修正及び代替形態が可能であり、その特定の実施形態が各図面において例証として示され、本明細書で詳細に説明される。各図及び本明細書での説明は、本発明の概念の範囲をどのようにも限定するものではない。むしろ、各図及び本明細書の説明は、米国特許法３５Ｕ．Ｓ．Ｃ．§１１２で要求されるように特定の実施形態を参照することにより、当業者に対して本発明の概念を例証するために提供される。
【００１２】
Ａ．ＲＡＷ画像処理システム
図１を参照すると、ＲＡＷ画像を生成し処理するためのシステム１００の１つの実施形態が概略的に示されている。システム１００は、イメージングデバイス１１０と汎用処理デバイス１５０とを含む。一般に、イメージングデバイス１１０及び汎用処理デバイス１５０は、必要な処理能力及びメモリ容量を有するデジタルスチルカメラ又は同様のものなどの１つのデバイスに一体化することができる。或いは、デバイス１１０及び１５０は、図１に示されるように別個の構成要素とすることができる。例えば、イメージングデバイス１１０は、デジタルスチルカメラ、カメラ電話、又は同様のものとすることができ、処理デバイス１５０は、コンピュータ、ラップトップ、又は同様のものとすることができる。以下の説明では、イメージングデバイス１１０はカメラと呼ばれ、処理デバイス１５０は、例証としてコンピュータと呼ぶことができる。
【００１３】
カメラ１１０は、デジタル画像を取り込むためのイメージングセンサ１２０を含む。イメージングセンサ１２０は、電荷結合素子などの当該技術において公知であり使用されているイメージングセンサの種々のタイプのいずれかとすることができる。カメラ１１０はまた、プロセッサ及びメモリハードウェア１３０と、データをコンピュータ１５０に伝達するためのインターフェース１４０とを有する。次に、コンピュータ１５０は、インターフェース１６０、プロセッサ及びメモリハードウェア１７０、オペレーティングシステム及びソフトウェア１８０、及び出力デバイス１９０を有する。
【００１４】
使用時は、カメラ１１０のイメージングセンサ１２０は、ＲＡＷ画像１２２を取り込む。前述のように、イメージングセンサ１２０は、ＲＧＢベイヤーパターンで配列することができるカラーフィルタ処理アレイを有する。従って、ＲＡＷ画像１２２における各フォトサイトのカラー値は、赤強度値、緑強度値、又は青強度値のいずれかを表し、各値は通常、０から４０９５の範囲の１０ビットである。他のカメラ製造品は、ＲＡＷ画像１２２が種々の情報を有することができるように他のカラーフィルタアレイを有することができる。例えば、ソニー「８２８」デジタルカメラでは、カラー値は、赤、緑、青、及びエメラルドを表す４チャンネルＲＧＢＥ座標にある。説明の目的で、以下の議論では、ＲＧＢ値を有するＲＡＷ画像１２２を参照するものとする。
【００１５】
ＲＡＷ画像を取り込んだ後、プロセッサ／メモリハードウェア１３０は、ユニバーサルシリアルバス（ＵＳＢ）インターフェースとすることができるインターフェース１４０を介してＲＡＷ画像１２２を出力することができる。次いでコンピュータ１５０は、インターフェース１６０を用いてＲＡＷ画像１２２を受け取ることができる。好ましくは、コンピュータ１５０は、ＲＡＷ画像１２２のオリジナルコピーを維持するためにマスターファイルとしてＲＡＷ画像１２２を記憶すると共に、以下で説明される前処理は、ＲＡＷ画像１２２のコピーに対して実施される。カメラ１１０からＲＡＷ画像１２２をインポートする代替形態では、ネットワーク、メモリカード、別のコンピュータ、又はフラッシュメモリ、外部ハードディスクドライブ、又はＣＤ−ＲＯＭなどの外部記憶メディアからインポートすることができる。
【００１６】
後で詳細に説明される技術を使用して、プロセッサ／メモリハードウェア１７０及びオペレーティングシステム／ソフトウェア１８０は、ＲＡＷ画像１２２のコピーを前処理し、これを最終的にはディスプレイ及びビューに好適な絶対カラースペース（例えば、レンダリングカラースペースとも呼ばれる、ｓＲＧＢ、Ａｄｏｂｅ ＲＧＢ、又は同様のもの）に変換する。ＲＡＷ画像１２２を前処理し、これを絶対カラースペースに変換した後、プロセッサ／メモリハードウェア１７０及びオペレーティングシステム／ソフトウェア１８０は、結果として得られた画像をコンピュータ１５０上のソフトウェア及びアプリケーションの種々のタイプに利用できるようにする。例えば、結果として得られた前処理画像は、Ａｐｐｌｅ ＣｏｍｐｕｔｅｒのＰｒｅｖｉｅｗ、ｉＰｈｏｔｏ、及びＡｐｅｒｔｕｒｅソフトウェアコンポーネントなどのイメージングアプリケーションが利用できるようにすることができ、ここでは、画像に対して処理、ビュー、加工、その他を行うことができる。
【００１７】
上述のように、オペレーティングシステム／ソフトウェア１８０は、ＲＡＷ画像１２２を前処理するのに使用される。従って、次に、ＲＡＷ画像１２２を前処理するためのソフトウェアアーキテクチャについて説明する。
【００１８】
Ｂ．ＲＡＷ画像処理システムのソフトウェアスタック
図２は、図１のコンピュータ１５０などの汎用処理デバイスのためのソフトウェアスタック２００の１つの実施形態の階層図を示す。ソフトウェアスタック２００の一部分は、図１のデジタルカメラ１１０の一部とすることができる。ソフトウェアスタック２００は、オペレーティングシステム（Ｏ／Ｓ）カーネル層２１０、Ｏ／Ｓサービス層２２０、リソース層２３０、アプリケーションフレームワーク及びサービス層２４０、並びにアプリケーション層２５０を含む。これらの層は、例示的なものであり、幾つかの特徴部が省略されている。例えば、０／Ｓカーネル層２１０の下にある下層レベルソフトウェア及びファームウェアは図示されていない。一般に、１つの層において示されるソフトウェア要素は、その下に位置付けられる層からのリソースを使用し、上に位置付けられる層にサービスを提供する。しかしながら、実際には特定のソフトウェア要素の全てのコンポーネントがこの様式で完全には機能しなくてもよい。
【００１９】
Ｏ／Ｓカーネル層２１０は、高度に保護された環境でコア０／Ｓ機能を提供する。Ｏ／Ｓカーネル層２１０の上では、Ｏ／Ｓサービス層２２０が、機能的サービスをその上の層にまで拡張する。コンピュータのオペレーティングシステムのためのＯ／Ｓサービス層２２０は、幾つかの機能サービスを提供すると同時に、デジタルカメラのカメラ内のオペレーティングシステムが、より限定されたサービスを提供することができる。本実施形態では、Ｏ／Ｓサービス層２２０は、以下に説明される種々の教示によるＲＡＷ画像に対する前処理を実施するためのＲＡＷ画像処理サービス２２２を有する。
【００２０】
リソース層２３０は、Ｏ／Ｓサービス層の上にあり、Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ（「ＯｐｅｎＧＬ」）、Ａｐｐｌｅ ＣｏｍｐｕｔｅｒのＰＤＦキット、その他などのグラフィクスリソースを示す。Ｓｉｌｉｃｏｎ Ｇｒａｐｈｉｃｓ， Ｉｎｃ．によって開発されたＯｐｅｎＧＬは、種々のグラフィクス機能の仕様である。ＲＡＷ処理アプリケーションプログラミングインターフェース（ＡＰＩ）２３２は、リソース層２３０とＯ／Ｓサービス層２２０のＲＡＷ画像処理サービス２２２との間に位置付けられる。層２４０は、２つの層、アプリケーションフレームワークとアプリケーションサービスとして通常表される機能の併合である。この層２４０は、アプリケーション層２５０として本明細書では示される最高層に常駐するアプリケーションプログラムのためのハイレベルで且つ多くの場合機能上のサポートを提供する。
【００２１】
ＲＡＷ処理サービス２３２は、汎用処理デバイスの中央処理ユニット（ＣＰＵ）を活用して、ＲＡＷ画像を前処理する。ＲＡＷ処理サービス２３２はまた、ＯｐｅｎＧＬを使用して、汎用処理デバイスに関連付けられたグラフィクス処理ユニット（ＧＰＵ）を活用することができる。この結果、ＲＡＷ処理ＡＰＩ２３２は、アプリケーション層２５０における種々のアプリケーションプログラムがサービス２３２の前処理された画像を利用できるようにする。従って、ＲＡＷ画像は、Ｏ／Ｓサービス層２２０におけるＲＡＷ画像処理サービス２２２及び汎用処理デバイスのハードウェア（例えば、ＣＰＵ／ＧＰＵ）を使用して前処理することができる。このようにして、ＲＡＷ処理は、ＲＡＷ画像がより多くの情報を包含するので、カメラによって提供される標準のＪＰＥＧファイルに比べて編集性が向上した高品質画像を生成するために、ＯＳサービス層２２２に集中させることができる。
【００２２】
更に、前処理された画像は、ＲＡＷ画像を処理可能な場合と可能でない場合があるアプリケーション層２５０において種々のアプリケーションが利用できるようにすることができる。前処理された画像を使用できる層２５０におけるアプリケーションプログラムは、ワードプロセッシングアプリケーション、フォトアプリケーション、アドレスブックアプリケーション、電子メールアプリケーション、或いは画像を使用できる他のいずれかのアプリケーションを含むことができる。更に、本明細書に開示されるＲＡＷ処理技術は、ＲＡＷビデオにも適用可能であり、これによってビデオを使用するアプリケーションはまた、開示される技術から恩恵を受けることができる。
【００２３】
Ｃ．ＲＡＷ画像処理パイプラインの概要
上記の実施形態で言及されたように、ＲＡＷ画像の前処理は、汎用コンピュータのＯ／Ｓサービス層２２０において動作するＲＡＷ画像処理サービス２２２において実施することができる。パイプラインは、画像処理を特徴付ける１つの方法である。図３は、本開示の幾つかの教示に従うＲＡＷ画像処理パイプライン３００の１つの実施形態を示す。パイプライン３００は、デジタルカメラ３１０又は他のソースからのＲＡＷ画像３１２を前処理し、更に種々のアプリケーション（図示せず）によって使用される結果として得られる画像３４９を出力するための複数の段階３０１、３０２、３０３、及び３０４で図示されている。初期画像取り込み段階３０１では、カメラ又は他のイメージングデバイス３１０が画像を取り込み、これを上述のようにＲＡＷ画像又はファイル３１２としてＲＡＷフォーマットで記憶する。この時点で、ＲＡＷ画像３１２は、カメラ３１０の処理能力に応じて、カメラ３１０から汎用処理デバイス又はコンピュータ（図示せず）に伝達されるか、或いはＲＡＷ処理のためにカメラ３１０に保持することができる。
【００２４】
後処理段は画像３１２及びカメラ３１０の属性に依存することになるので、後処理を可能にするために、ＲＡＷ画像３１２のホワイトバランス及び他のメタデータ３１４と、ＲＡＷ画像３１２を取得するのに使用される特定のカメラ３１０とが識別される。メタデータ３１４は、Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ（ＥＸＩＦ）フォーマットにすることができ、例えば、シャッター速度、アパーチャ、ホワイトバランス、露出補正、測光設定、ＩＳＯ設定、日付、及び時間を含むＲＡＷ画像３１２の画像がどのように取り込まれたかに関する情報を含むことができる。
【００２５】
ＲＡＷ処理段３０２では、ＲＡＷ処理は、ブラックサブトラクションプロセス３２０、ハイライトリカバリプロセス３２１、スタックピクセル除去プロセス３２２、自動露出調節プロセス３２３、デモザイク（デベイヤー）プロセス３２４、及び彩度(クロマ)−ブラープロセス３２５を含む１つ又はそれ以上の種々のプロセスを使用してＲＡＷ画像３１２に対して実施される。ＲＡＷ処理段３０２の１つの目的は、ＲＡＷ画像３１２における取り込まれたシーンの空間品質及びディテールを保護することである。
【００２６】
これらのプロセス３２０−３２５を実施するために、メタデータ３１４を用いて、プロセスに関連付けられた種々のＲＡＷ処理アルゴリズムを取得する（ブロック３２８）。これらのプロセス３２０−３２５の１つ又はそれ以上は、特定の順序で示されているが、カメラに関連付けられた何らかの細目などの特定の要件に応じて再配列することができる。更に、これらのプロセス３２０−３２５の１つ又はそれ以上は、種々の理由で使用される場合と使用されない場合があり、更に、画像処理において通常使用される他のプロセスを使用してもよい。更に、これらの種々のプロセス３２０−３２５の一部は、実際には、本明細書で必ずしも表現されていない方法で互いに連動して動作することができる。
【００２７】
ＲＡＷ処理段３０２の最後に、デモザイクプロセス３２６が初期ＲＡＷ画像３１２からカメラＲＧＢ画像３２９を生成する。ここで、カメラＲＧＢは、画像３２９がＩＳＯ１７３２１で定義されるＩＳＯ ＲＧＢのような、レンダリングされていないＲＧＢカラースペースを有することを示す。カメラＲＧＢ画像３２９は、初期ＲＡＷ画像３１２で取り込まれたシーンのオリジナル測色法の推定値を具現化し、カメラＲＧＢ画像３２９は、オリジナルのダイナミックレンジ及び全域を維持する。カメラＲＧＢ画像３２９は、出力デバイスによって表示、ビュー、又はプリントされるために付加的な処理に進まなくてはならない。
【００２８】
一般に、デモザイクプロセス３２６は、初期画像３１２のデバイス固有のＲＡＷデータを結果として得られる画像３２９におけるレンダリングされていないＲＧＢデータに変換し、該結果として得られる画像は、初期画像３１２を取り込むのに使用されるデバイス（例えばカメラ）とは無関係である。デモザイクプロセス３２６の実際の実施は、画像３１２の詳細及び／又はその画像３１２を取り込むのに使用されるイメージングセンサに依存することになる。例えば、カメラＲＧＢ画像３２９でのピクセルの実際のカラーは、各フォトサイトがＲ、Ｇ、又はＢに対し１つだけのカラー値を有するので、ＲＡＷ画像３１２の複数のフォトサイトから補間される。この画像再構成プロセスは、デモザイク処理（又は、Ｂａｙｅｒ Ｍａｔｒｉｘフィルタの場合のデベイヤー処理）と呼ばれる。一般に、デモザイクプロセス３２６は、ＲＡＷ画像３１２におけるフォトサイトのＲ、Ｇ、又はＢ、及びカメラＲＧＢ画像３２９のＲ、Ｇ、及びＢ値を有する出力ピクセルのいずれかで表される複数のカラー値を取る。通常、所与のピクセルの成分は、その近傍の強度から計算される。従って、デモザイクプロセス３２６は通常、カメラのカラーフィルタアレイにおけるフィルタの配列に依存するのでデバイスに固有である。
【００２９】
ＲＡＷ処理段３０２の後に２つの変換段３０３及び３０４が続く。これらの変換段３０３及び３０４の１つの目的は、取り込まれたオリジナルシーンの色を完全に表すことである。多くの方法で、色を完全に表すこれらの段階３０３及び３０４における考慮事項は、ＲＡＷ処理段３０２のディテールを維持することに相関付けられる。これらの変換段３０３及び３０４の最終結果は、スタンダードＲＧＢ又はＡｄｏｂｅ ＲＧＢなどのレンダリングカラースペースにおける結果として得られる画像３４９である。次いで、結果として得られるＲＧＢ画像３０４は、ワードプロセッシングアプリケーション、フォトアプリケーション、アドレスブックアプリケーション、電子メールアプリケーション、或いは図２を参照して上述されたような画像を使用できる他のいずれかのアプリケーションが利用できるようにすることができる。
【００３０】
第１変換段３０３では、カメラＲＧＢ画像３２９は、ＸＹＺ画像３３９を生成するために、ＸＹＺカラースペースにおけるＸＹＺ三刺激値に自動的に処理され変換される。ＸＹＺカラースペースは、その種々の利点のために使用され、画像データは、この段階３０３で発生するプロセスと互換性があるようになる。例えば、ＸＹＺカラースペースに変換することにより、カラー値を測定可能な色温度に相関付けて、カメラ３１０によって取り込まれたシーンのオリジナルカラーを完全に表すことが可能になる。
【００３１】
この段階３０３で、ブラック補正プロセス３３０は、カメラＲＧＢ画像３２９におけるブラックレベルを調節する。同時に、行列(マトリクス)変換プロセス３３２は、カメラＲＧＢ画像３２９をＸＹＺ三角刺激値を有するＸＹＺ画像３３９に変換する。この段階３０３の間に処理を行うために、幾つかのメタデータ３１４（ホワイトバランスを含む）を用いて、変換行列（Ｍ）を取得し（ブロック３３４）、以下で詳述される他の必要な計算を実施する。
【００３２】
一般に、ブラック補正プロセス３３０は、カメラＲＧＢ画像３２９からブラックレベルを差し引き、後の段階でより効率的なコード化及び処理を可能にする。更に、差し引かれるブラックレベルは、画像コンテンツ及びカメラモデルに依存し、ブラックレベルを調節して、ノイズを低減するか、又はより良好なカラーレンディションをもたらすことができる。ブラック補正プロセス３３０は、ＲＡＷ画像３１２を取り込むのに使用される特定のカメラに対して構成されている。プロセス３３０は、Ｒ、Ｇ、及びＢ値を有するピクセルを入力として受け取り、ブラック補正されたＲ、Ｇ及びＢ値を出力する。ブラック補正プロセス３３０は、各ＲＧＢチャンネルに対するブラックオフセットを最適化し、カメラＲＧＢ三刺激値からＸＹＺ三刺激値への変換が最小誤差を有するようにする。ブラック補正プロセス３３０は、図１３に関して更に詳細に説明されるプロセスによって導き出される。
【００３３】
行列変換プロセス３３２は、上述のブラック補正を組み込み、入力として、カメラＲＧＢ画像３２９のＲ、Ｇ及びＢ値を取り、ＸＹＺ三刺激値を出力する。一般に、プロセス３３２は、カメラ、モデル、その他に固有であり、更に予め定義された光源に関連付けられる２つ又はそれ以上のカメラ特性行列Ｍ1及びＭ2を使用する。カメラ特性行列Ｍ1及びＭ2の各々は、カラーチャートを撮影するときにカラーチャートの測定されたカラー値を所与のカメラの感知データと比較することによって導き出される。特性行列を導き出すための１つの実施形態を図１２に関して以下で説明する。この段階３０３の１つの利点では、カメラ特性行列の事前計算及び導出は、ユーザーの主観性及びＲＡＷ変換の他の実施に無関係の自動プロセスを包含する。従って、パイプライン３００における自動化処理は、コンピュータの種々のアプリケーションによって使用される品質処理画像を提供することができる。
【００３４】
ＲＡＷ画像３１２を取得するのに使用されるカメラに固有のカメラ特性行列を使用して、プロセス３３２は、カメラＲＧＢ画像３２９に対するブラック補正及びＸＹＺ三刺激値への変換を行うのに使用される変換行列（Ｍ）を導き出す。変換行列Ｍは、カメラＲＧＢからＸＹＺ三刺激値への最適行列変換を推定するために、メタデータ３１４でのホワイトバランスと共に使用される。変換行列Ｍは、図１４に関して更に詳細に説明されるプロセスによって導き出される。
【００３５】
最後に、第２変換段階３０４では、ＸＹＺ三刺激値の変換データが処理され、スタンダードＲＧＢ（ｓＲＧＢ）又はＡｄｏｂｅ ＲＧＢなどの絶対カラースペースにおける値に変換される。最初に、色順応プロセス３４０は、色順応変換を適用することによって画像３３９の発色を再現する。色順応変換は、入力光源の下で取り込まれた入力カラーのＸＹＺ三刺激値を、予測される出力光源の下での出力カラーの対応するＸＹＺ三刺激値に変換する。色順応変換は、当該技術で知られており、この多くがｖｏｎ Ｋｒｉｅｓモデルに基づく。
【００３６】
次に、色調整(カラーチューニング)プロセス３４２は、画像のＸＹＺ三刺激値の階調曲線を調節する。最後に、色調整プロセス３４２を組み込む変換プロセス３４４は、ＸＹＺ三刺激値を、ｓＲＧＢ又はＡｄｏｂｅ ＲＧＢなどの絶対レンダリングカラースペースのＲＧＢ三刺激値に変換し、これによって特定のＲＧＢカラースペースの結果として得られる画像３４９が生じる。レンダリングカラースペース（例えば、ｓＲＧＢ又はＡｄｏｂｅ ＲＧＢ）は、リアル又はバーチャル出力特性の測色に基づく。この第２変換段階３０４の間に処理を行うために、カメラ３１０からの幾つかのメタデータ３１４を用いて、階調曲線を取得し（ブロック３４６）、以下に説明される他の必要な計算を実施する。
【００３７】
一般に、色調整プロセス３４２は、ゲイン及び出力階調再現曲線を設定し、出力媒体への画像のレンダリングを最適化する。プロセス３４２は、１つのカメラタイプ及び製造者当たりの変換のパラメータを自動的に導き出す。自動であることで、プロセス３４２によって、公知の目標に基づいてユーザーによるマニュアル介入なしに出力を得ることが可能になり、これによってユーザーによるマニュアル色調整に関連した主観性が排除される。自動色調整プロセスのための階調再現曲線を導出するプロセスの１つの実施形態について、図１５Ａ−１５Ｃに関して以下に詳細に説明する。
【００３８】
変換プロセス３４４は、上述の色調整プロセス３４２を組み込む。一般に、変換プロセス３４４は、ＸＹＺ三刺激値を、ｓＲＧＢ及びＡｄｏｂｅ ＲＧＢなどの指定されたレンダリングカラースペースにおけるＲＧＢ三刺激値に変換する。次に、結果として得られるＲＧＢ画像３４９は、更なる処理及び編集のためのアプリケーション又は他のソフトウェアによってアクセスすることができる。
【００３９】
Ｄ．ＲＡＷ画像処理パイプラインにおけるＲＡＷ処理段の詳細
前述のように、図３のＲＡＷ画像処理パイプライン３００は、種々のプロセスを含むＲＡＷ処理段３０２を有する。図４は、ＲＡＷ処理段４００の１つの実施形態の詳細を示す。段階４００は一連のステップとして示されているが、所与の実施は異なるステップの順序付けを使用してもよく、幾つかのステップを省略してもよく、或いは図示していない付加的なステップを追加してもよいことは理解されるであろう。ＲＡＷ処理段４００の入力は、ＲＡＷ画像４０２及びメタデータである。ＲＡＷ画像４０２は、ベイヤーパックされている（例えば、画像４０２におけるフォトサイトは、ベイヤーパターン又は同様のもので配列され、各々は、１つのＲ、Ｇ、又はＢ値を有する）。
【００４０】
１．ブラックサブトラクション
ＲＡＷ処理段４００の第１ステップ４１０では、ブラックサブトラクションが、入力ＲＡＷ画像４０２に対して行われる。このステップ４１０では、フォトサイトのカラーサンプル（Ｒ、Ｇ、Ｂ）がスケール調整され、カメラの固有因子に基づいてバイアスされる。ほとんどのカメラでは、レンズキャップを付けたまま撮られた画像でさえ、フォトサイトにおける小さな非ゼロカラー値を有する画像を結果として生じることになる。非ゼロカラー値は、ノイズ又は他の理由によって引き起こされるカメラのブラックオフセット又はバイアス値に相当する。修正される最終画像では、ブラックオフセット値は、カラーサンプルの値から除去しなければならない。
【００４１】
カメラからのＲＡＷ画像４０２は、生成時にブラック補正できる場合もあれば、ブラック補正できない場合もある。一部のカメラでは、センサデータは、生成後に自動的にブラック補正される。この場合、ＲＡＷ画像のメタデータは、オフセット値０を有することができる。
【００４２】
幾つかの状況では、カメラは、これを下回るセンサデータは存在しない、画像４０２のメタデータのオフセット値を提供することができる。この場合、ブラックオフセット値は、このステップ４１０でＲＡＷ画像４０２のカラー値から差し引かれる。例えば、一部のカメラからのＲＡＷ画像４０２のブラックオフセット値は、入射光からマスクされたイメージングセンサのマージンに対する平均値から推定することができる。マージンにセンサマスクを使用しないカメラモデルでは、ブラックオフセット値はそのカメラモデルでは固定値とすることができる。いずれの場合でも、ブラックオフセット値は、画像４０２の各強度値から差し引くことができる。一般に、カメラのＲ、Ｇ、及びＢフォトサイトは、異なるオフセット値を有することができる。Ｇは一般に、２つのオフセット値を有することができる。カメラはまた、「横列」に依存したオフセット値を提供することができる。
【００４３】
上記から分かるように、ＲＡＷ画像４０２に関連付けられたメタデータは、ブラックオフセット値の１つのソースである。オーバーライドファイルは、ブラックオフセット値の二次ソースとすることができる。オーバーライドファイルは、１つのカメラモデル毎に予め設定されているブラックオフセット値を含むことができる。この二次ブラックオフセットを用いて、メタデータに関連付けられた値を増やすか又は置き換えることができ、二次ブラックオフセットはまた、各カラーチャンネル（Ｒ、Ｇ、Ｂ）に対して異なるものとすることができる。
【００４４】
ブラックオフセット値を差し引いた後、結果として得られる値は、好ましくはゼロにクリップされ、ＲＡＷ画像４０２における負の値が除去される。更に、種々のカメラはＲＡＷ感知値の範囲を有するので、この値を共通の範囲にスケール調整する必要がある。これは、ブラックオフセット値が差し引かれた全ての値に予め設定された値を乗算し、次いで、現在のカメラのホワイト値で除算することによって達成することができる。ホワイト値は、予め設定することができ、オーバーライドファイル又はメタデータから取得することができる。
【００４５】
２．ハイライトリカバリ
ＲＡＷ処理段４００の第２ステップ４２０において、ＲＡＷ画像４０２は、ハイライトリカバリの処理にかけ、センサの応答の最大レベルにクリップされている画像４０２における感知値を修正する。ＲＡＷ画像４０２を取得するのに使用されるイメージングセンサは、最大値（本明細書ではマックスアウト値と呼ばれる）までのライトアップに応答することができる。従って、そのマックスアウト値を上回って受け取られるどのような光も、センサ要素によっては検出されない。光値がセンサのマックスアウト値を超えている画像４０２におけるハイライトを回復するために、マックスアウト値でクリップされた画像４０２における感知値は、種々のカラーチャンネル（Ｒ、Ｇ、Ｂ）の近傍のクリップされていない値を使用して新しい推定値に置き換えられる。
【００４６】
１つの実施形態では、マックスアウトしたセンサに近い近傍センサについての値が探し出される。これらの近傍センサは、マックスアウト値の約８５から９０％の範囲のＲ、Ｂ、又はＧ値を有し、これらを用いて、マックスアウトセンサに対して使用されるべき値を決定することができる。これは、マックスアウトである分離されたセンサ値が存在する画像に対して十分機能することができ、ＲＡＷ画像内で使用することができる。しかしながら、一般に所与の画像は、平均近傍ピクセルが実用的ではなく、マックスアウトされたセンサ値のクラスタ又は領域を有する可能性がある。
【００４７】
別の実施形態では、図５は、チャンネルの１つ又は２つがセンサの限界値によってクリップされている場合にピクセルの輝度及び色相を回復するために適用されるハイライトリカバリプロセス５００を示している。このプロセス５００は、デモザイク処理（デベイヤ処理）プロセスの極めて早期に実施される。最初に、Ｒ、Ｇ、及びＢセンサチャンネルが、ニュートラルになるようにスケール調整される（ブロック５０２）。スケーリング係数が、ＲＡＷ画像に関連付けられたメタデータから取得されたホワイトバランスを使用して決定される。次に、各チャンネルが飽和することになる値が計算される（ブロック５０４）。計算は、チャンネル飽和値を、所与のカメラ型式及びモデルに対して調べられている露出過剰画像に相関付ける相関情報を使用して行われる。従って、相関情報は、ハイライトリカバリプロセス５００によって後でアクセスするために複数のカメラ型式及びモデルに対して予め設定及び記憶することができる。このように、ＲＡＷ画像に関連付けられたメタデータから取得されたカメラ情報は、ＲＡＷ画像を取得したカメラ型式又はモデルについての対応する相関情報にアクセスするのに使用される。
【００４８】
次に飽和値は、ブロック５０２で使用された同じ係数によってスケール調整される（ブロック５０６）。ほとんどのカメラでは、緑チャンネルが最も小さな飽和値を有し、この性質は、ハイライトリカバリプロセス５００によって活用される。画像の各ピクセルは、プロセス５００によってサンプリングされ分析される（ブロック５１０）。所与のピクセルの３つのチャンネルＲ、Ｇ、及びＢ全てがクリップされていない（ブロック５２０）場合、ピクセルはそのままにされる。所与のピクセルの３つのチャンネル全てがクリップされている（ブロック５２０）場合には、ピクセルは、ニュートラルグレー値に置き換えられる（ブロック５２２）。
【００４９】
チャンネルの少なくとも１つ（全部よりも少ない）がクリップされている（ブロック５２０）場合、プロセス５００は、種々のチャンネルの飽和を調べる。以下に詳述されるように、飽和値を有する所与のピクセルのチャンネルは、推定値に置き換えられる。飽和値から推定値への置き換えは、漸次的であり、オリジナル値が飽和にどれ程近接しているかに依存する。推定値は、ピクセルのオリジナルＲＧＢ値に基づいて計算される。
【００５０】
例えば、所与のピクセルにおける赤値が飽和又はその近傍である（ブロック５３０）場合、オリジナル赤値は、オリジナルＲ、Ｇ、及びＢ値から計算された推定赤値に置き換えられる（ブロック５３２）。推定赤値は（ＲOriginal＋ＢClipped）／２である。置き換えは、オリジナル値と、赤値が飽和にどれ程近接しているかに依存する推定値との間で計算された加重平均値に基づく。例えば、赤値がセンサクリップ値の８５％である場合、オリジナル赤値の１００％が使用される。例えば、赤値がセンサクリップ値の９０％である場合、オリジナル赤値の５０％が、置換のために推定値の５０％と共に使用される。例えば、赤値がセンサクリップ値の９５％である場合、推定値の１００％が置換のために使用される。
【００５１】
所与のピクセルにおける緑値が飽和又はその近傍である（ブロック５４０）場合、これは、オリジナルＲ、Ｇ、及びＢ値から計算された推定緑値に漸次的に置き換えられる（ブロック５４２）。Ｇチャンネルの推定値は、オリジナルＲ、Ｇ、Ｂ値の加重平均値に基づく。使用されるＲ、Ｇ、Ｂ重みは、オリジナルピクセルがどれ程緑であるかの計算に応じて（０．５、０、０．５）から（０．３７５、０．６２５、０．０）の範囲に及ぶ。置換は、上述された加重平均値を使用する。
【００５２】
所与のピクセルにおける青値が飽和又はその近傍である（ブロック５５０）場合、これは、オリジナルＲ、Ｇ、及びＢ値から計算された推定青値に漸次的に置き換えられる（ブロック５５２）。Ｒチャンネルと同様に、青値に対する推定値は、（ＲOriginal＋ＢClipped）／２である。置換はまた、上述された加重平均値を使用する。
【００５３】
チャンネルの１つ又はそれ以上が推定された最終ステップとして、回復されたＲＧＢ値が極めて明るく且つ飽和されている場合、色はニュートラルに向かって移動する（ブロック５６０）。画像の明るいエリアにおいて見られる可能性の低いマゼンタ色相は、ニュートラルに向けてより積極的に移動する。ニュートラルに向けてた色の移動は、ユーザーの基本設定により影響を受ける可能性がある。所与のピクセルを分析した後、画像の付加的なピクセルを分析する必要があるかどうかの決定が行われ（ブロック５７０）、プロセス５００は、ブロック５１０に戻り、画像の付加的なピクセルをサンプリングし分析する。
【００５４】
３．スタックピクセル除去／ノイズ処理
図４を参照すると、ＲＡＷ処理段４００は、第３ステップ４３０を含み、ここでは異常値を有するＲＡＷ画像４０２のフォトサイトが、スタックピクセル除去及び／又はノイズ処理技術を使用して変更される。所与のＲＡＷ画像では、センサが適切な応答を有していなかった（例えば、センサがスタックであるか、或いはフォトサイトで累積電荷を有する）ので、種々のフォトサイトは例外的な値を有する可能性がある。
【００５５】
これらのスタックフォトサイトでは、３Ｘ３のようなフォトサイトの近傍が評価され、その近傍から取られた周囲の８つの値の範囲が決定され、結果として最小及び最大値を生じることになる。例えば、緑ピクセルに存在している場合、緑フォトサイトのみが調べられる。範囲のサイズは、範囲の最大から最小を差し引いた値に等しく決定される。スタックフォトサイトの値は、近傍の同様のフォトサイト範囲と比較される。選択されたフォトサイトの値が、最大値よりも範囲サイズの予め設定された倍数だけ大きい場合、或いは選択されたフォトサイトの値が、最小値よりも範囲サイズの予め設定された倍数だけ小さい場合、そのフォトサイトの値は、３ｘ３近傍の平均値に設定される。予め設定された係数は、カメラ及び他の係数に基づいて構成することができる。この例外的な値をその近傍の平均値に置き換えることにより、ＲＡＷ画像４０２によく表れているスタックピクセル値の数が低減されることになる。
【００５６】
所与の画像におけるノイズは、異常値を有するチャンネルサンプルを生成する。ＲＧＢ画像がベイヤー符号化ＲＡＷ画像から構成されたときに、このノイズが増幅される可能性がある。通常、レンダリングノイズは、望ましくないほど色彩が豊富である。このノイズは、ＲＡＷ画像４０２が取り込まれたときに使用されたＩＳＯ設定（すなわち、センサ読み出しのゲイン）及び露出時間の量に相関付けることができる。従って、サブステップ４３０におけるノイズ処理は、好ましくは、ＩＳＯ設定、露出時間、及びノイズの量の間の相関関係を使用して、処理されるＲＡＷ画像４０２に対するノイズの彩度を低減又は制御する。
【００５７】
図６は、デジタルカメラのためのノイズ及びスタックピクセルプロファイルデータを導き出すためのプロセス６００を示す。プロファイルデータは、所与のＩＳＯ設定及び露出時間でカメラが生成するノイズの量に相関付けられる。次にこのプロファイルデータは、図４のＲＡＷ処理段４００で前処理されるＲＡＷ画像を処理するのに使用される。
【００５８】
最初に、デジタルカメラは、レンズキャップで固定され、接眼レンズが閉じられ、複数の画像が、その特定のカメラにおいて広範囲のＩＳＯ設定及び露出時間下で撮影される（ブロック６０２）。次いで、ＲＡＷ画像は、幾つかの編成されたセットにグループ分けされる（ブロック６０４）。例えば、第１編成セットは、露出時間の低範囲及びＩＳＯ設定の広範囲を備えた画像を有することができる。更に、第２編成セットは、ＩＳＯ設定の低範囲及び露出時間の広範囲を備えた画像を有することができ、第３編成セットは、露出時間の高範囲及びＩＳＯ設定の広範囲を備えた画像を有することができる。
【００５９】
次にＲＡＷ画像は、ノイズ応答（例えば、ノイズの量）を定量化し、各ＲＡＷ画像におけるスタックピクセル応答を定量化するように処理される（ブロック６０６）。次に、ノイズプロファイル及びスタックピクセルプロファイルが、グループ分けされた画像に対して計算される（ブロック６０８）。例えば、編成セットの各々において、二次方程式が所与のセットにおけるＩＳＯ設定及び露出時間に対するカメラのノイズ応答のノイズプロファイルを作成する。例えば、編成されたセットの各々において、二次方程式モデルが、ＩＳＯ設定及び露出時間に対するカメラのスタックピクセル応答のスタックピクセルプロファイルを作成する。カメラに対する結果として得られたプロファイルは、図４のＲＡＷ処理段４００での前処理中に後で用いるためにデータベースにおける少数の浮動小数点値の形式で記憶される（ブロック６１０）。次に、前のステップが１つ又はそれ以上の付加的なカメラに対して繰り返され、これらの特定のカメラについてのプロファイルを記憶できるようにする（ブロック６１２）。
【００６０】
最後に、種々のカメラを特徴付ける記憶されたプロファイルデータを用いて、ノイズに対して所与のＲＡＷ画像をどの程度調整したらよいかを決定することができる。ＲＡＷ画像が図４のＲＡＷ処理段４００で処理されているときには、例えば、ＲＡＷ画像に関連付けられたカメラモデル、ＩＳＯ設定、及び露出時間が、関連するメタデータから取得される（ブロック６１４）。カメラモデルのための適切なプロファイルデータは、メモリ内に位置付けられる（ブロック６１６）。所与のＩＳＯ設定及び露出時間情報は、その特定のカメラモデルのためのノイズプロファイルの式にプラグインされ、その画像に対するノイズの推定量が計算から決定される（ブロック６１８）。次に、所与のＩＳＯ設定及び露出時間情報は、そのカメラモデルのためのスタックピクセルプロファイルの式にプラグインされ、その画像に対してスタックピクセル除去を可能又は不能にするかどうかが判定される（ブロック６２０）。
【００６１】
図４のＲＡＷ処理段４００においてＲＡＷ画像を処理するときに、前のステップで決定されたノイズ及びスタックピクセルについての推定情報を用いて、処理を調整することができる。例えば、情報は、ＲＡＷ画像を再構成する間に、ノイズ低減及びスタックピクセル除去を実施するかどうか、及びどの程度まで実施するかを決定することができる。更に、情報は、ＲＡＷ画像を再構成する間又はその後で、ランピングダウン鮮鋭化を実施するかどうか、及びどの程度まで実施するかを決定することができる。最後に、情報は、彩度−ブラー、ディープシャドーエリアにおける明示的な脱飽和、或いはコントラストブースト中の飽和制御のための階調再現曲線を使用して、再構成の終わりにＲＡＷ画像からＲＧＢへの変換中にノイズの色彩豊富さを制御するかどうか及びどの程度まで制御するかを決定することができる。これらのプロセスは、本開示において後で説明する。
【００６２】
４．自動露出調整
図４を参照すると、ＲＡＷ処理段４００は、第４ステップ４４０を含み、ここでＲＡＷ画像４０２に自動露出調整が行われる。自動露出調整は、その露出が予め設定された基準を満たすようにＲＡＷ画像４０２の輝度を調整する。好ましくは、調整は、ＲＡＷ処理段４００での調整用に既に記憶されている予め設定された輝度変数を使用する。予め設定された輝度変数は、露出調整された種々の画像をビューしている複数の人々から得られた調査情報に基づく。調査は、複数の露出で種々のカメラによって生成された基準画像を使用する。これらの基準画像の平均輝度がコンピュータにより計算される。Ｍｏｎｔｅ Ｃａｒｌｏシミュレーションを使用してこれらの基準画像の輝度変数を変えるために、最も視覚的に心地よい画像の実施例を選択するよう調査参加者に求める。次いで、調査結果は、オリジナル入力輝度に相関付けられた輝度変数を有する結果として得られる許容可能な露出に収束する。
【００６３】
結果は、特定のカメラに関連付けられ、後処理のために記憶される。ＲＡＷ画像４０２が処理のために受け取られると、自動露出調整が、ＲＡＷ画像４０２の平均輝度を計算し、関連のメタデータから露出を決定する。次に、記憶された調査結果を使用して、自動露出調整は、心地よい結果が得られるように使用された平均輝度及び露出に基づいてどの輝度変数を画像４０２に適用するかを決定する。最後に、ＲＡＷ画像４０２の輝度は、自動処理で決定された輝度変数によって調整される。
【００６４】
５．補間プロセス
ＲＡＷ処理段４００の第５ステップは、デモザイク（デベイヤー処理）プロセスの一部である補間プロセス４５０を包含する。補間プロセス４５０は、結果として生じるＲＧＢ画像を生成するために、最終の彩度−ブラーオペレーション４６０となる幾つかのサブステップ４５１−４５８を使用する。これらのサブステップ４５１−４５８は、ハーフサイズ緑エッジ画像を作成する段階（４５１）、補間方向マップを決定する段階（４５２）、緑再構成画像を構成する段階（４５３）、緑再構成画像を鮮鋭化する段階（４５４）、ブラーハーフサイズＲＧＢ画像を作成する段階（４５６）、及び赤再構成画像及び青再構成画像を構成する段階（４５３）を含む。これらのステップ４５１−４５８及び４６０の各々について以下で説明する。最終的に、これらのサブステップ４５１−４５８からの緑、赤、青、及びブラーＲＧＢ画像は、以下で同様に説明される彩度−ブラーオペレーション４６０において結合される。
【００６５】
一般に、補間プロセス４５０は、最初にＲＡＷ画像４０２のフォトサイトのための輝度チャンネル（すなわち、緑チャンネル）を補間し、次にＲＡＷ画像４０２のフォトサイトのための色チャンネル（すなわち、赤及び青チャンネル）を補間し、最後に、各チャンネルを結合してＲ、Ｇ、及びＢ値を備えたピクセルを有する結果として得られるＲＧＢ画像を作成することによって、階調度ベースの補間を使用する。
【００６６】
ａ．ハーフサイズ緑エッジ画像
人間の眼は輝度の変化を感知するので、エッジが緑チャンネルで見つけられ、これによってこれらのエッジに基づいて補間を実施することができるようになる。サブステップ４５１は、ＲＡＷ画像４０２からハーフサイズ緑エッジ画像を構成し、よって、緑エッジ画像が、オリジナルＲＡＷ画像４０２の輝度の変化によって生じるエッジを示すことができるようになる。図７は、ＲＡＷ画像７１０（その一部のみが示されている）のベイヤー符号化データからハーフサイズ緑エッジ画像７５０を作成するためのプロセス７００を示している。ＲＡＷ画像７１０は、複数の２ｘ２セルを有し、各セルは、２つの緑サンプル（Ｇ１、Ｇ２）と、１つの赤サンプル（Ｒ）と、１つの青サンプル（Ｂ）とを有し、これらはベイヤーパターンで配列されたフォトサイトである。種々のパターンが当該技術で公知であり使用されているが、本明細書に示されるパターンの一部は、単に例示的なものである。
【００６７】
ハーフサイズ緑エッジ画像７５０を作成するために、ベイヤー符号化ＲＡＷ画像７１０の緑サンプル（Ｇ１、Ｇ２）のみが使用され、赤及び青サンプルは無視される。最初に、ＲＡＷ画像７１０の２ｘ２セルの各々の２つの緑サンプル（Ｇ１、Ｇ２）が平均化され、中間ハーフサイズ緑画像７２０の対応する緑値を生成する。従って、ハーフサイズ緑画像７２０は緑値のみを有し、オリジナルＲＡＷ画像７１０のサイズの半分である。次に、緑サンプルの値に対する第１導関数（すなわち、変化率）（Ｇ）は、水平及び垂直方向の両方で計算される。次いで、値の各々についての水平及び垂直第１導関数の二乗が合計されて、エッジ画像７３０を生成する。次に、単一ピクセルブラープロセス７４０の２つのパスがエッジ画像７３０に対して実施され、ブラーされた結果として得られるハーフサイズ緑エッジ画像７５０を生成する。
【００６８】
単一ピクセルブラープロセス７４０では、プロセス７４０の第１パスが、各ピクセルの４つの近傍に対して０．５の中心部重みを有するエッジ画像７３０全体にわたって実施される。次にプロセス７４０の第２パスが、各ピクセルの４つの近傍に対して０．１２５の中心部重みを有する以前にブラーされたエッジ画像７３０全体に対して実施され、結果として得られるハーフサイズ緑エッジ画像７５０を生成する。図４に示されるように、このステップ４５２の結果として得られるハーフサイズ緑エッジ画像は、他のステップによって後処理に使用されることになる。
【００６９】
ｂ．補間方向決定マップ
図４を参照すると、補間プロセス４５０のサブステップ４５２は、補間方向決定マップを作成し、該マップを使用して、ＲＡＷ画像４０２に位置付けられたＲ又はＢチャンネルを有するフォトサイトに対する欠落緑値をどのように埋めるかを決定する。１つの実施形態では、ベイヤーパターンの２ｘ２セルの各々における隣接する赤及び青サンプルを平均化し、標準デモザイク処理技術を使用してフォトサイトに対する欠落緑値を決定することができる。好ましい実施形態では、ＲＡＷ画像４０２における垂直又は水平近傍サンプルのいずれかを用いて、赤又は青であるこれらのサンプルに対する緑チャンネルを決定する。例えば、一般画像の領域が水平に向いたエッジ又はストライプを有する場合、その領域におけるＲ及びＢフォトサイトの水平近傍を用いて、これらの緑チャンネル値を決定するのが好ましい。他方、一般画像の領域が垂直に向いたエッジ又はストライプを有する場合、その領域におけるＲ及びＢフォトサイトの垂直近傍を用いて、これらの緑チャンネル値を決定するのが好ましい。
【００７０】
補間に使用されることになる水平又は垂直方向を決定するために、ＲＡＷ画像４０２のＲ、Ｇ、及びＢチャンネルの階調度が各フォトサイトについて計算される。次に、階調度は補間方向決定マップにマッピングされ、該マップを用いて、ＲＡＷ画像４０２における所与のＲ又はＢフォトサイトでの欠落緑チャンネル値をどのように埋めるかを決定する。一般に、緑チャンネルに対する階調度は、緑チャンネルに対する階調度がローカルで変化しないことを示す場合、Ｒ又はＢフォトサイトに対する欠落緑チャンネル値をどのように埋めるかを決定する際に、最も強い影響力を及ぼす。緑チャンネルの階調度がローカルに変化している場合、所与のフォトサイトに対する緑でないチャンネルの階調度を用いて、その欠落緑値をどのように埋めるかを決定する。フォトサイトでの緑値の階調度は、そのロケーションでのハーフサイズ緑エッジ画像を調べることによって決定することができる。
【００７１】
次いで、各フォトサイトに対する決定方向は、投票値としてマップに入力される。例えば、投票値「１」は、フォトサイトでの欠落緑チャンネルを補間するのに使用されるマップでの水平方向に対する決定に対応し、投票値「０」は、フォトサイトでの欠落緑チャンネルを補間するのに使用される垂直方向に対する決定である。次に、これらの投票値は、欠落緑チャンネル値を埋めるのに使用される投票プロセスで使用される。欠落緑チャンネル値を埋める実際のステップについては、以下の緑再構成ステップ４５３を参照して説明する。
【００７２】
ｃ．緑再構成画像
補間プロセス４５０のサブステップ４５３は、ステップ４４０からのオリジナルベイヤー・パック画像、サブステップ４５１からのハーフサイズ緑エッジ画像、及びサブステップ４５２の補間方向決定マップを使用して、緑再構成画像を作成する。図８には、緑再構成画像８５０を作成するためのプロセス８００の１つの実施形態が概略的に示されている。画像８５０を作成するために、ＲＡＷ画像８１０におけるフォトサイトに対する緑チャンネルＧの各々は、緑再構成画像８５０における対応するフォトサイトに対して維持される。例えば、ＲＡＷ画像８１０における緑サンプルＧ43の値は、緑再構成画像８５０において使用されるものと同じである。しかしながら、ＲＡＷ画像８１０におけるＲ及びＢチャンネルのフォトサイトは緑値を有しておらず、よって、補間方向決定マップ８２０を使用して緑再構成画像８５０における各値を補間しなければならない。例えば、緑再構成画像８５０における選択されたフォトサイト８５２は、ＲＡＷ画像８１０における青サンプルＢ44に相当するので緑値を有していない。
【００７３】
上記で言及されたように、投票プロセスを用いて、Ｒ及びＢサンプルの欠落緑値を埋めるときにどの方向を使用するかを決定する。投票プロセスによって、補間方向決定マップ８２０におけるサンプルの近傍を分析できるようになり、これによって近傍内の方向決定の平均値を用いて、欠落緑値を埋めるのにどの方向を使用するかを決定することができる。
【００７４】
補間方向決定マップ８２０は、各ピクセルロケーションでの方向性投票を有する。投票プロセスは、決定マップ８２０を使用し、幾つかの方法で実施することができる。例えば、マップ８２０における種々の方向決定Ｄは、水平に対して「１」とし、垂直に対して「０」とすることができる。１つの代替形態では、選択されたフォトサイト８５２に対応する単一投票決定８２２を単独で用いて、補間に対する方向を決定することができる。別の代替形態では、決定の近傍８２４からの複数の投票の一致を採用することができ、複数の決定の一致は、選択されたフォトサイト８５２の緑値を補間するのにどの方向を使用するかを決定することができる。
【００７５】
完全投票は、使用できる一致投票の１つの種類である。完全投票は、サンプルの奇数（例えば、３Ｘ３又は５Ｘ５サンプル）から成る決定の近傍８２４を使用する。総和は、全近傍８２４に対する決定値から計算される。総和が近傍８２４におけるフォトサイトの総数の半分よりも大きい場合、選択されたフォトサイト８５２の決定に対して「１」（水平方向）が使用される。そうでない場合には、「０」（垂直方向）が使用される。
【００７６】
通過帯域投票は、使用できる投票の別の種類である。この種類の投票では、近傍のフォトサイトの決定値の総和が計算される（選択されたフォトサイト８５２の中心決定８２２を除く。この総和が予め設定された閾値よりも小さい場合、決定値は、選択されたフォトサイト８５２に対して「０」（垂直方向）に設定される。総和が別の予め設定された閾値よりも大きい場合、決定値は、選択されたフォトサイト８５２に対して「１」（水平方向）に設定される。閾値は、使用される近傍８２４のサイズに応じて変わる。総和がこれらの閾値に等しいか又はその間である場合、選択されたフォトサイト８５２の中心決定８２２だけが残される。
【００７７】
３Ｘ３近傍８２４では、８つの近傍の決定が存在する（中心決定８２２を除外した場合）。「広通過帯域投票」では、低閾値を「２」とすることができ、高閾値を「６」とすることができる。「狭通過帯域投票」では、高閾値を「４」とすることができ、低閾値を「４」とすることができ、これは、近傍の決定を使用される中心決定８２２に正確に結び付けなくてはならないことを示している。広通過帯域投票は、選択されたフォトサイト８５２の自然方向基本設定に影響を与える可能性がないので好ましい。
【００７８】
選択されたフォトサイト８５２の緑値を決定するのに使用される方向（垂直又は水平）を決定した後、数学的計算は、ＲＡＷ画像８１０におけるサンプルを使用して、緑再構成画像８５０における選択されたフォトサイト８５２の緑値を決定する。最初に、選択された方向での２つの緑サンプルの平均値が、選択されたフォトサイト８５２の緑値のベース結果に対して使用される。図８では、例えば決定された方向が垂直であり、これによって緑サンプルＧ４３及びＧ４５の緑値の平均値が決定され、選択されたフォトサイト８５２に対する結果のベース（例えば、緑結果）として使用されるようになる。しかしながら、ＲＡＷ画像８１０における対応するサンプル（赤又は青のいずれか）８１２の値に基づいて緑結果に対して調整が行われる。最初に、サンプリング方向における近傍のような対応するサンプルの２つの平均値が計算される（例えば、Ａｖｅｒａｇｅ（平均）＝（Ｂ42＋Ｂ46）／２）。次に、平均値からの中心サンプル８１２の値の差が計算される（例えば、Ｄｉｆｆｅｒｅｎｃｅ（差）＝Ｂ44−Ａｖｅｒａｇｅ（平均））。この差は、スケール調整された差を生成するために、緑エッジが対応するサンプル８１２に対してどれ程強いかによってスケール調整される。（図４のサブステップ４５１の以前に構成された緑エッジ画像を用いて、対応するサンプルでエッジを決定することができる。）最後に、緑再構成画像８５０における選択されたフォトサイト８５２の結果として得られる緑値Ｇが、緑結果に加えられるスケール調整された差として計算される。これは、緑エッジの多くを有するエリアにおける値の他のチャンネル（Ｒ又はＢのいずれか）により依存する効果を有する。
【００７９】
全プロセス８００は、緑再構成画像８５０が緑値で完全に埋められるまで繰り返され、すなわち、これらの緑値は、ＲＡＷ画像８１０から直接取得され、上述された決定マップ及び投票を使用して補間される。
【００８０】
ｄ．緑鮮鋭化
図４を参照すると、補間プロセス４５０の後続のサブステップ４５４が、上記からの緑再構成画像８５０に対して緑鮮鋭化オペレーションを行う。最初に、緑画像が知覚グラデーションにできるだけ近接したスペースに変換される。次に、知覚的に漸変された再構成緑画像が、鮮鋭化オペレーションの半径によってブラーされ、ブラー再構成緑画像を生成する。ブラー再構成緑画像は、知覚的に漸変された再構成緑画像から差し引かれ、緑高域画像を生成する。緑高域画像は、緑再構成画像の高周波情報を包含する。緑高域画像は、２つの目的のために使用される。第１の目的は、画像を鮮鋭化することである。一時的に鮮鋭化された緑再構成画像は、オリジナル画像に対して予め設定された鮮鋭化係数倍だけ緑高域画像を加えることによって生成される。第２の目的は、エッジマスクを計算して、鮮鋭化オペレーションが画像のエッジにのみ働くよう制約することができるようにすることである。エッジマスクは、緑高域画像の絶対値を取り、これを僅かの量だけブラーして、次いで大きな係数でそのコントラストを引き上げることによって生成される。結果として得られるものは、予め設定されたレベルの閾値であり、範囲０．．．１までクランプされて、エッジマスク画像を生成する。エッジマスク画像は、鮮鋭化された緑再構成画像８７０を形成するために、一時的に鮮鋭化された緑再構成画像のどのエリアが緑再構成画像とミックスされるかを決定するためのマスクとして使用される。その後、この鮮鋭化された緑再構成画像８５０は、赤再構成画像及び青再構成画像と結合され、各サンプルでＲＧＢ値を有する画像を生成する。
【００８１】
ｅ．ブラーハーフサイズＲＧＢ画像
図４を参照すると、補間プロセス４５０のサブステップ４５６が、後で説明される彩度−ブラーオペレーション４６０で使用されることになるブラーハーフサイズＲＧＢ画像を作成する。図９は、このステップへの入力として使用されるＲＡＷ画像９１０のベイヤー符号化データの一部の実施例を示す。最初に、中間ハーフサイズＲＧＢ画像９２０の各ピクセル９２２に与えられる緑値（Ｇ）は、オリジナルフルサイズＲＡＷ画像６１０の２ｘ２セル９１２の２つの緑フォトサイト（Ｇ１、Ｇ２）の平均値を使用して決定される。赤及び青サンプル（Ｒ、Ｂ）は、畳み込みリサンプリング又は類似の技術を使用して近傍の同じカラー（Ｒ、Ｂ）サンプルから追加された小さな寄与分と共に、オリジナルフルサイズ画像９１０の２ｘ２セル９１２に見られる色（Ｒ、Ｂ）の単一のサンプルに主に基づいて各ピクセル９２２に与えられる。最後に、中間ハーフサイズＲＧＢ画像９２０は、ガウスカーネル９３０によってブラーされ、結果として得られるハーフサイズブラーＲＧＢ画像９４０を生成する。限定ではないが、ガウスブラー、選択的ブラー、バイラテラルフィルタ、メディアンフィルタ、及びボックスフィルタを含む１つ又はそれ以上の他のブラーオペレーションを使用することができる。この結果として得られる画像９４０は、後で説明される図４の彩度ブラーステップ４６０で使用できるようなブラーを有する。
【００８２】
ｆ．赤及び青再構成画像
図４の補間プロセス４５０において、サブステップ４５８は、赤再構成画像及び青再構成画像を作成する。図１０は、赤再構成画像１０５０と、図１０では部分的にのみ示されている別個の青再構成画像１０７０とを作成するためのプロセス１０００を概略的に示している。
【００８３】
再構成プロセス１０００では、ＲＡＷ画像１０１０の各フォトサイトがサンプリングされる。ＲＡＷ画像１０１０の現在のサンプルが正しいチャンネル（すなわち、Ｒ又はＢ）である場合、再構成画像（１０５０又は１０７０）における結果として得られるサンプルの値は、オリジナルサンプルに「緑鮮鋭化差」を加えた値に等しい。オペレーション中のこのポイントでは、図４のＲＡＷ画像プロセス４００は、鮮鋭化緑再構成画像（サブステップ４５４）及び非鮮鋭化緑再構成画像（サブステップ４５３）が作成されている。「緑鮮鋭化差」は、鮮鋭化緑再構成画像（サブステップ４５４から）におけるそのサンプルポイントでの緑チャンネルと、非鮮鋭化緑再構成画像（サブステップ４５３から）におけるそのサンプルポイントでの緑チャンネルとの間の差である。「緑鮮鋭化差」は、再構成時にいずれかの緑鮮鋭化を赤及び青チャンネルに同様に適用する効果を有する。例えば、図１０の赤再構成画像１０５０を再構成する際に、現在のサンプル１０１２は、正しいＲチャンネルであり、赤再構成画像１０５０における結果として得られる赤フォトサイト１０５２は、オリジナルサンプル１０１２に「鮮鋭化差」を加えた値である。
【００８４】
ＲＡＷ画像１０１０における現在のサンプルが正しいチャンネル（Ｒ又はＢ）でない場合、現在のサンプルが所望のチャンネルの直接水平又は垂直近傍を有するかどうかの決定が行われる。有する場合には、水平又は垂直近傍の平均値が取られ、「緑鮮鋭化差」が加えられて、再構成画像における結果として得られるサンプルを生成する。例えば、図１０の赤再構成画像１０５０を再構成する際には、現在のサンプル１０１４は、正しいチャンネルではない（すなわち、Ｒではない）。従って、赤再構成画像１０５０における結果として得られる赤フォトサイト１０５４は、正しいチャンネル（すなわちＲ）の水平近傍の平均値に上記で説明された「鮮鋭化差」を加えたものである。
【００８５】
ＲＡＷ画像１０１０における現在のサンプルが正しいチャンネルではなく、正しいチャンネルの直接水平又は垂直近傍を持たない場合、全ての４つの対角近傍の平均値が計算され、「緑鮮鋭化差」が加えられて、再構成画像における結果として得られるサンプルを生成する。例えば、図１０の青再構成画像１０７０を再構成する際には、現在のサンプル１０１６は正しいチャンネル（すなわち、青再構成のためのＢ）ではなく、正確なＢチャンネルの水平又は垂直近傍を持たない。従って、青再構成画像１０７０における結果として得られる青フォトサイト１０７６は、正しいチャンネル（すなわち、Ｂ）の対角近傍の平均値に上記で説明された「緑鮮鋭化差」を加えたものである。再構成プロセスの最終結果は、後のプロセスで結合されて結果として得られるＲＧＢ画像を生成するまでバッファ内に記憶できる赤再構成画像１０５０及び青再構成画像１０７０である。
【００８６】
ｇ．彩度ブラーオペレーション
最後に、図４の彩度−ブラーオペレーション４６０は、サブステップ４５４からの鮮鋭化緑再構成画像、サブステップ４５６からのハーフサイズブラーＲＧＢ画像、及びサブステップ４５８からの赤及び青再構成画像を使用し、フルＲＧＢ画像を生成する。図１１は、図４の自動化処理のための彩度ブラーオペレーション１１００の１つの実施形態を示す。最初に、以前の処理からの赤再構成画像１１０２、鮮鋭化緑再構成画像１１０４、及び青再構成画像１１０６が取得され（ブロック１１１０）、これらから個々のＲ、Ｇ及びＢサンプル値の各々を再構成ＲＧＢ画像におけるＲＧＢピクセルとして結合することにより、再構成ＲＧＢ画像が作成される（ブロック１１１２）。次に各ピクセルでの再構成ＲＧＢ画像の輝度が計算される（ブロック１１１４）。次いで、バイリニア補間を使用して、ハーフサイズブラーＲＧＢ画像１１０８をフルサイズブラー画像にリサイズし（ブロック１１２０）、フルサイズブラー画像における各ピクセルの輝度が計算される（ブロック１１２２）。次に、各ピクセルでのフルサイズブラー画像のブラーされた色の輝度が、再構成ＲＧＢ画像の輝度に一致するようにスケール調整される（ブロック１１３０）。最後に、この高速彩度ブラーオペレーション１１００から、色縁が低減されたフルサイズＲＧＢ画像が得られる（ブロック１１４０）。
【００８７】
Ｅ．ＲＡＷ画像処理パイプラインにおける変換段の詳細
１．特性行列の導出
図３のブロック３３４で既に言及されたように、カメラＲＧＢ画像をＸＹＺ三刺激値に変換するための特性行列が事前計算され、画像のホワイトバランスと共に使用されて、カメラＲＧＢからＸＹＺ三刺激値への最適行列変換を推定する。図１２では、自動化ＲＡＷ処理における変換のための特性行列を導出するプロセス１２００の１つの実施形態がフローチャート形式で示されている。プロセス１２００では、複数のカメラ特性行列（例えば、Ｍ１、Ｍ２、その他）が、複数のカメラ、カメラのタイプ、カメラのモデル、製造物、イメージングセンサ、又は他のカテゴリーに対して導出される。プロセス１２００は、図３のＲＡＷ処理中に補間行列を選ぶ際のユーザー介入及び主観性を排除することを目的としており、カメラ、タイプ、製造者、又は他のカテゴリー毎のＲＡＷ変換のパラメータを自動的に導出する。
【００８８】
最初に、カラーチャート（例えば、Ｍａｃｂｅｔｈカラーチェッカー）の基準画像又は同様のものが、特定のカメラ及び１つの公知の光源（例えば、光源Ａ、Ｄ６５、その他）を使用して取得される（ブロック１２０２）。これは、このカメラによって生成される唯一の基準画像ではない。以下で詳述されるように、このような複数の基準画像が所与のカメラ、カメラのタイプ、カメラのモデル、カメラ製造者、カメラのイメージングセンサのタイプ、又は他のカテゴリーに対して取得される。基準画像は、ラボで作ることができ、カラーチャートは、種々のカラーパッチ、ハイライト、シャドー、その他を包含することができ、複数の標準的な光源を有する照明ボックス内に位置付けることができる。
【００８９】
同じ光源の下で、比色計などの標準的器具を使用してカラーチャートからの種々のカラー領域又はパッチに対してＸ、Ｙ、Ｚ色値が測定される（ブロック１２０４）。次に、領域に対するＲＧＢ値が、これらの領域に対して測定された対応するＸＹＺ三刺激値に数学的にフィット（当てはめ）される（ブロック１２０６）。フィッティングプロセスは、基準画像のＲＧＢ値をチャートから測定されたＸＹＺ三刺激値に相関付ける行列の行列係数の値を求める段階を包含する。包含される三刺激カラースペースに起因して、行列は、フィットを解くのに関連した９つの変数があるように３ｘ３になる可能性が高い。フィッティングプロセスでは、基準画像のオリジナルホワイトバランスは無視される。従って、オリジナルホワイトバランスが無視されるので、フィッティングプロセスは、カメラが較正されているとは仮定しない。代わりに、行列係数の値を求めるのに固定ホワイトバランスが使用される。ホワイトバランスは通常、３つの値を有するベクトル
ｐ（上付→）
として表される。フィッティングプロセスでは、ベクトル
ｐ（上付→）
の各値は１に等しく、フィッティングプロセスにおけるホワイトバランスのどのような影響も認識されないようにされる。
【００９０】
フィッティングプロセスでは、好ましくは、チャートの幾つかのカラーパッチ又は領域を用いて、行列の係数を導出する。従って、プロセス１２００は、同じ光源の下の同じカラーチャート及び／又は同じ光源の下の異なるカラーチャートの種々のカラーパッチに対して繰り返すことができる（ブロック１２１０）。次に、導出された行列の係数に対してバランスが見つけられ、同じ光源を使用する種々の色に対して測定された測定ＸＹＺ三刺激値に種々の色のＲＧＢ値を相関付けるための適切な重み付けを有することができるようになる（ブロック１２１２）。最後に、プロセス１２００は、この第１カメラ及びこの第１光源に対する第１特性行列Ｍ1を導出する。この第１行列Ｍ１は、３ｘＮ行列であり、ｎは、カメラに対するチャンネルの数（例えば、Ｒ、Ｇ、Ｂ）に対応する。
【００９１】
第１カメラ特性行列Ｍ1の導出後、１２０２から１２１２のブロックは、以前に使用された同じカメラを使用する１つ又はそれ以上の付加的な光源に対して１回又はそれ以上繰り返される（ブロック１２１４）。１つ又はそれ以上のカラーチャートの以前の測定値を再使用することができる。これらのステップを繰り返した結果、異なる光源であるが同じカメラに対する複数のカメラ特性行列が得られる。これらの行列の行列係数は、種々の画像が種々の光源の下で１つ又はそれ以上のカラーチャートの対応する測定値に一致するときにカラー誤差を低減するように最適化又は調整される（ブロック１２１６）。これは、テスト及び調整を利用して行うことができる。最適化されると、各行列の係数は、その特定の行列に対する正規化係数を使用して正規化される（ブロック１２１８）。好ましくは、所与の行列に対する正規化係数は、行列の対角係数の和であり、行列の各係数がこの和によって除算されるようにする。
【００９２】
最後に、１つ又はそれ以上の付加的なカメラ、モデル、その他に対して、ブロック１２０２から１２１８の全プロセスを繰り返すことができる（ブロック１２２０）。結果として、複数のカメラ特性行列が得られる。これらのカメラ特性行列の各々は、対応する光源及び１つのカメラ、タイプ、モデル、製造物、又は同様のものに関連付けられる。次にこれらのカメラ特性行列は、図１４に関して以下に説明される後続の処理において補間が実施されたときに後でアクセスするために記憶される（ブロック１２２２）。
【００９３】
上述のように、複数のカメラ特性行列は、ラボのカメラに対して作られ、本開示の自動ＲＡＷ画像処理中に後でアクセスするために記憶することができる。従って、複数のカメラは、メモリ内に記憶されたその固有のカメラ特性行列を有することができる。自動前処理中、ＲＡＷ画像に対するメタデータを使用して、画像に対する適切なカメラ特性行列をメモリから選択することができる。カメラに対して行列を予め設定することに加えて、ユーザーは、上記の技術を使用してライティング環境を注意深く構成し、更にカラー較正ターゲットを使用することによって、ユーザーのカメラに対する特性行列を独自に作成できる。
【００９４】
２．ブラック補正の導出
図３において既に述べたように、ブラック補正プロセス３３０は、ＸＹＺカラースペースへの第１変換段３０２内でカメラＲＧＢ画像３２９に対して実施される。プロセス３３０は、補正を行うために導出されたブラックレベル調整を使用する。ブラックレベル調整は、カメラに対して導出されたカメラ特性行列（Ｍ1及びＭ2）において具現化され、その特性行列から、及びカメラから受け取ったホワイトバランス情報から生成された変換行列（Ｍ）によって行われる。図１３は、本開示の自動化ＲＡＷ処理で使用されるブラックレベル調整を導出するためのプロセス１３００の１つの実施形態を示す。
【００９５】
ブラック補正値を導出するプロセス１３００は、図１２に関して上述されたカメラ特性行列を導出するプロセスに組み込まれる。上述のように、図１２の行列導出プロセス１２００は、公知の光源を使用してチャートの基準画像を取得する段階を包含する。このステップの一部は更に、取り込まれた画像に対する標準的なブラックレベルオフセット（存在する場合）を差し引く段階を包含する（ブロック１３０２）。次に、前述と同様に、基準画像における領域に対するＲＧＢ三刺激値が、カラーチャートからの測定されたＸＹＺ三刺激値にフィットされ、特性行列を導出する（ブロック１３０４）。このフィッティングプロセスは、幾つの数のカラーパッチが分析されるかに関わらず、特性行列の係数の変数の数すなわち３ｘ３行列での９つの変数に起因してある量のフィッティング誤差を生じる。
【００９６】
誤差を低減するために、ブラック補正の変数がフィッティングプロセスで使用される。これらのブラック補正変数の各１つは、基準画像のカラーチャンネル（Ｒ、Ｇ、Ｂ）の１つから差し引かれる。このようにして、ブロック１３０４は、１２の変数（すなわち、行列からの９つとＲＧＢチャンネルのオフセットに対する３つ）を使用して基準画像のＲＧＢ三刺激値を測定されたＸＹＺ三刺激値にフィットさせることになる。次いで、導出は、カラー誤差が閾値レベルに低減されるまで、ブロック１３０４のフィッティングプロセスのブラック補正変数の値を用いて実施される（ブロック１３０６）。このように、各カラーチャンネルに対する最適ブラック補正変数は、２つのカラーセット、すなわち基準画像における測定されたカラーセットと推定されたカラーセットとの間のカラー誤差を最小にすることによって得られる。これらのブラック補正変数は、標準的ブラックオフセットに加えて付加的なブラック調整を表している。
【００９７】
次にブラック補正変数は、処理中に後でアクセスするために編成及び記憶することができる（ブロック１３１０）。例えば、ブラック補正変数を編成するために、これらブラック補正変数を導出するのに使用された対応するカメラ及び光源に対する特性行列とこれらとを関連付けることができる。従って、各特性行列は、関連付けられたブラック補正変数を有することができる。更に、ブラック補正変数は、これらを導出するのに使用された種々の条件に関連付けることができる。これらの条件は、限定ではないが、使用される光源、画像コンテンツ、ホワイトポイントカメラ設定、及び包含するＩＳＯ感度を含むことができる。ブラック補正変数間の様々な依存性は、変数の値がクラスタリングの特徴を示す場合には、グループ分け間で平均化することができる。更に、変数が一致していない場合、異なるブラック補正変数をその様々な条件に基づいて区別し分類することができる。
【００９８】
プロセス１３００は、ＲＡＷ画像処理に使用される最適ブラックレベル補正のより客観的且つ一貫した決定を提供する。例えば、図３のパイプライン３００では、これらのブラック補正変数は、行列変換が実施される前に、ステップ３３０でカメラＲＧＢ画像３２９のＲＧＢ三刺激値から最初に差し引かれ、変換におけるカラー誤差を低減することができるようにする。使用されるブラック補正変数のどのセットを選択するかは、メタデータ３１４におけるカメラ、タイプ、モデル、その他に基づくことができる。更に、選択は、異なる内部撮影条件（カメラＩＳＯ設定、露出時間、その他など）、或いは光源などの外部条件に基づくことができ、これらは、メタデータ３１４の情報に示すことができる。
【００９９】
更に、処理中にどのブラック補正変数を使用するかについての選択は、変数のセット間の平均又は補間に基づくことができる。前述のように、ブラック補正変数の第１セットは、第１光源に対して導出されて、第１特性行列Ｍ1に関連付けられ、ブラック補正変数の第２セットは、第２光源に対して導出されて、第２特性行列Ｍ2に関連付けられる。この２つのセットは記憶され、次のセクションで検討される最適変換行列Ｍを計算するのに使用される特性行列Ｍ1及びＭ2に関連付けることができる。１つの実施形態では、最適ブラック補正変数は、以下で検討する最適変換行列Ｍを計算するのに使用される特性行列Ｍ1及びＭ2に関連付けられた、変数の第１セットと第２セット間の固定平均値から計算される。或いは、最適ブラック補正変数は、ブラック補正変数のセット間の線形補間を使用して計算される。線形補間は、以下で検討される最適変換行列Ｍを計算するのに使用される同じ補間係数を適用する。
【０１００】
３．変換行列の計算
図３のＲＡＷ画像処理で既に言及されたように、行列変換プロセス３３２がカメラＲＧＢ画像３２９に対して実行され、該カメラＲＧＢ画像３２９をＸＹＺ三刺激値に変換する。プロセス３３２は、変換行列Ｍを使用して変換を行う。変換行列Ｍは３ｘＮ行列であり、ここでｎはカメラに対するチャンネル数である。変換行列Ｍは、ホワイトバランスと、２つの基準光源に対応する少なくとも２つの事前計算されたカメラ特性行列とに依存し、使用される特定のカメラ、カメラのタイプ、製造物、その他に基づいて計算される。
【０１０１】
図１４は、本開示の自動化ＲＡＷ処理で使用される変換行列（Ｍ）を計算するためのプロセス１４００の１つの実施形態を示す。プロセス１４００は、変換時に１つの画像に対して動的に実施され、１つの画像当たりのカメラからのホワイトバランスを使用して、及び少なくとも２つの基準光源に対応する予め定義された特性行列を使用して変換行列Ｍを求め、カメラＲＧＢをＸＹＺ三刺激値に変換する。
【０１０２】
詳細には、変換行列Ｍは、特性行列Ｍ1及びＭ2と、画像に依存しメタデータ（例えば、図３の３１４）としてカメラによって提供されるカメラに固有のホワイトバランス情報
ｐ（上付→）
から導出される。ホワイトバランス情報
ｐ（上付→）
は３つの値のベクトルであり、正規化されると、第３の要素は１に等しいので、２つの有意な要素のみを有する。反復プロセスを介して、画像のホワイトポイントＷに対する行列式は、Ｍ1、Ｍ2を使用して及び画像のホワイトバランス
ｐ（上付→）
を使用して解かれる。解は、固有行列Ｍ及び固有ホワイトポイントＷに収束する。
【０１０３】
プロセス１４００は、カメラの所与のタイプ、カメラの所与のスタイル、個々のカメラ、製造者、又は他の特徴に特定することができる変換行列Ｍを解き、最適変換行列Ｍを導出する彩度スケーリング係数及び適切なホワイトバランスを求める。以下で説明されるプロセス１４００では、２つの特性行列Ｍ1、Ｍ2のみが使用される。他の実施形態は、一般に補間を改善できる２つよりも多い特性行列を使用することができる。
【０１０４】
図６に関して上述されたように、所与のカメラに対する複数の特性行列Ｍ1、Ｍ2、Ｍｎは、種々の光源の下で同じシーンの画像をタックすることによって生成される。例えば、Ｍ1は、光源Ａによって作られたカメラ特性行列（ｘａ＝．４４７６、ｙａ＝．４０７４）とすることができ、Ｍ2は、光源Ｄ６５によって作られたカメラ特性行列（ｘｄ＝．３１２７、ｙｄ＝．３２９０）とすることができる。光源は、ＸＹＺスペース又はＣＩＥ−１９３１彩度スペースｘ、ｙのいずれかにおけるベクトルとして表すことができる。
【０１０５】
複数の特性行列Ｍ1、Ｍ2、．．．、Ｍｎは、１からｎまでの相関色温度に基づいて順序付けられる。次いで、最も遠い光源を用いて、処理されているＲＡＷ画像において推定光源に収束する所与のカメラに対する好ましい変換行列Ｍを導出することによって、シーンの実際の光源を推定する。最初に、以前に決定されたカメラ特性行列Ｍ1及びＭ2が入力され（ブロック１４０２）、初期値が設定される（ブロック１４０４）。初期値は、第１特性行列Ｍ１に等しい第１中間行列ｍａ１セットと、第２特性行列Ｍ２に等しい第２中間行列ｍａ２セットとを含む。Ｍ1、Ｍ2に初期化されたこれらの中間行列ｍａ１及びｍａ２は、以下に説明される反復プロセスを介して好ましい変換行列Ｍに最終的に収束される。例えば、反復Ｋの最大数は、ゼロに設定され、総反復の上限Ｎは２０に設定される。更に、ホワイトポイントの彩度に対する第１スケーリング係数ｆａ１は１に等しく設定され、ホワイトポイントの彩度に対する第２スケーリング係数ｆａ２は０に等しく設定される。
【０１０６】
収束を決定するのに使用される閾値Ｔはまた、０．００１などのある値に設定され、これによってプロセスは、第１彩度スケーリング係数ｆａ１と第２彩度スケーリング係数ｆａ２との間の差の絶対値が閾値を下回るまで繰り返されるようにする。この閾値を使用して、反復プロセスは通常、ほとんどのカメラに対して３から５の間の補間ステップを必要とすることができる。別の実施形態では、行列ｍａ１及びｍａ２のノルム間の差は、閾値との比較に対して計算することができる。しかしながら、以下の実施例では、第１及び第２彩度スケーリング係数ｆａ１及びｆａ２が既に計算されたスケーラであるので、これらを用いて収束度を測定する。
【０１０７】
最初に、第１彩度スケーリング係数ｆａ１と第２彩度スケーリング係数ｆａ２との間の差の絶対値がプリセット閾値Ｔより大きいかどうかの決定が行われる（ブロック１４１０）。勿論、第１反復では、彩度スケーリング係数ｆａ１及びｆａ２は、それぞれ１と０であり、閾値Ｔより大きいことになる。次に処理は第１特性行列Ｍ1から始まる（ブロック１４２０）。
【０１０８】
第１特性行列Ｍ1では、中間行列ｍａ１の逆行列が計算される（ブロック１４２２）。次に、ＸＹＺカラースペースの重みが、画像のホワイトバランスに基づいて計算される（ブロック１４２４）。例えば、Ｘｗ＝ｍｉ［０］［０］／ｐ［０］＋ｍｉ［０］［１］／ｐ［１］＋ｍｉ［０］［２］／ｐ［２］；Ｙｗ＝ｍｉ［１］［０］／ｐ［０］＋ｍｉ［１］［１］／ｐ［１］＋ｍｉ［１］［２］／ｐ［２］；及びＺｗ＝ｍｉ［２］［０］／ｐ［０］＋ｍｉ［２］［１］／ｐ［１］＋ｍｉ［２］［２］／ｐ［２］。次に、ｘ−ｙ重みがｘｙｚ重みに基づいて計算される（ブロック１４２６）。例えば、ｘｗ＝Ｘｗ／（Ｘｗ＋Ｙｗ＋Ｚｗ）、及びｙｗ＝Ｙｗ／（Ｘｗ＋Ｙｗ＋Ｚｗ）。Ｘ−Ｙ重み付け係数は、画像に関連付けられたｘ−ｙ重み及び特定の光源値に基づいて計算される（ブロック１４２８）。例えば、ｆｘ１＝（ｘｗ−ｘａ）／（ｘｄ−ｘａ）、及びｆｙ１＝（ｙｗ−ｙａ）／（ｙｄ−ｙａ）。
【０１０９】
次に、中間行列ｍａ１の第１彩度係数ｆａ１は、ｆａ１＝ｓｑｒｔ（ｆｘ１＊ｆｘ１＋ｆｙ１＊ｆｙ１）として計算される（ブロック１４３０）。最後に、新しい値は、Ｍ1 ＝（１−ｆａ１）＊ｍａ１＋ｆａ１＊ｍａ２としてに第１特性行列Ｍ1に対して計算される（ブロック１４３２）。
【０１１０】
次に類似のプロセスが、以下の式を使用して第２特性行列Ｍ2に対して繰り返される（ブロック１４４０）。
ｍｉ＝Ｉｎｖｅｒｓｅ（ｍａ２）；
Ｘｗ＝ｍｉ［０］［０］／ｐ［０］＋ｍｉ［０］［１］／ｐ［１］＋ｍｉ［０］［２］／ｐ［２］；
Ｙｗ＝ｍｉ［１］［０］／ｐ［０］＋ｍｉ［１］［１］／ｐ［１］＋ｍｉ［１］［２］／ｐ［２］；
Ｚｗ＝ｍｉ［２］［０］／ｐ［０］＋ｍｉ［２］［１］／ｐ［１］＋ｍｉ｛２｝［２］／ｐ［２］；
ｘｗ＝Ｘｗ／（Ｘｗ＋Ｙｗ＋Ｚｗ）；ｙｗ＝Ｙｗ／（Ｘｗ＋Ｙｗ＋Ｚｗ）；
ｆｘ２＝（ｘｗ−ｘａ）／（ｘｄ−ｘａ）；
ｆｙ２＝（ｙｗ−ｙａ）／（ｙｄ−ｙａ）；
ｆａ２＝ｓｑｒｔ（ｆｘ２＊ｆｘ２＋ｆｙ２＊ｆｙ２）；
ｍ２＝（１−ｆａ２）＊ｍａ１＋ｆａ２＊ｍａ２；
【０１１１】
第１及び第２特性行列Ｍ1及びＭ2 が上記のように計算されると、中間行列が、対応する特性行列ｍａ１＝ｍ１及びｍａ２＝ｍ２に等しく設定される（ブロック１４４２）。
【０１１２】
最後に、プロセス１４００は、収束閾値Ｔ（ブロック１４１０）又は許容総反復（ブロック１４５０）が満たされない限り繰り返すことができる。プロセス１４００が設定総反復Ｋを超えた場合（ブロック１４５０）、プロセス１４００は中止され、ブロック１４６０に進む。そうでなければ、プロセス１４００はブロック１４１０に戻り、閾値Ｔが超えたかどうかを調べ、必要に応じて特性行列Ｍ1及びＭ2 を収束する別の反復を繰り返すことになる。閾値Ｔが超えなかった場合、ブロック１４１０から１４５０は、特性行列を収束する別の反復に対して繰り返される。
【０１１３】
いずれの場合においても、収束が達成されるか或いは反復総数を超えると、最終彩度スケーリング係数が、ｆａ＝（ｆａ１＋ｆａ２）／２として計算される（ブロック１４６０）。最後に、結果として得られる変換行列Ｍが、最初にｍ＝（１−ｆａ２）＊ｍａ１＋ｆａ２＊ｍａ２を計算し、次にＭ＝Ｉｎｖｅｒｓｅ（ｍ）を計算することによって決定される（ブロック１４６２）。この結果として得られる変換行列Ｍは次に、変換行列ＭによりカメラＲＧＢ画像を変換することによって、使用された特定の光源に関係なく特定のカメラに対するＲＡＷ画像の自動処理に使用することができる（ブロック１４６４）。
【０１１４】
４．階調再現曲線の導出
図３のＲＡＷ画像処理パイプライン３００において前述したように、色調整プロセス３４２及び変換プロセス３４４を用いてＸＹＺ三刺激値を変換し、結果として得られるＲＧＢ画像３４９を生成する。変換は、３ｘｎの変換行列Ｍを使用して行われ、ここで、ｎは、上述のように１つのカメラ当たりのチャンネル数（例えば、Ｒ、Ｇ、及びＢ）である。更に、変換は階調再現曲線を使用して行われ、該曲線は、リニアスペースからディスプレイ又は出力スペースへの画像レンディッションを最適化することを目的とする。従って、色調整プロセス３４２において使用される階調再現曲線は、画像の外観、コントラスト、シャドー、ハイライトディテール、及び全体的な画像品質に影響を与える。
【０１１５】
図１５Ａ−１５Ｃは、本開示の自動化ＲＡＷ処理で使用される階調再現曲線を導出するためのプロセス１５００の１つの実施形態を示す。プロセス１５００は、特定のカメラ、カメラのタイプ又はブランド、製造者、又は他のカメラに関する基準に対する最適化階調再現曲線を自動的に導き出すことができ、これによって階調再現曲線は、特定のカメラ、カメラのタイプ又はブランド、製造者、又は他のカメラに関する基準に対してＲＡＷ処理を行うときに図３の色調整プロセス（３４２）において自動的に使用することができるようになる。
【０１１６】
最初に導出プロセス１５００において、幾つかの基準画像１５０２、１５０４が選択される。図１５Ａでは、便宜上２つの基準画像１５０２、１５０４のみが示されている。基準画像の第１画像１５０２は、カメラ情報１５０３、すなわち特定のカメラ、カメラのスタイル、製造物、その他に関連付けられている。この基準画像１５０２は、目標基準画像と呼ばれる。１つ又はそれ以上の他の基準画像１５０４は、同じ又は異なるカメラによって生成することができ、種々の技術及び処理ソフトウェアを使用して処理することができる。基準画像１５０２、１５０４の各々は、同じ設定、光源、その他を使用した同じシーン（例えば、カラーチャート又は同様のもの）を包含する。好ましくは、他の基準画像１５０４は、ハイライト、シャドー、階調の適正な分布、及び露出過剰画像への露出アンダー画像の分布を包含する。従って、他の基準画像１５０４は、画像処理ソフトウェアを使用する何らかの自動及び／又は手動操作を受けることができる。一般に、基準画像１５０２、１５０４は、画像間のシーン、露出、サイズ、その他が実質的に同じにすることができるように、ラボで生成できる。しかしながら、本明細書に開示されるＲＡＷ処理の実施形態は、ユーザーが基準画像を独自に生成して、階調再現曲線を生成可能にすることができる。
【０１１７】
基準画像１５０２、１５０４における各ピクセルの色は、使用されるカメラのセンサ、適用されるデモザイク処理プロセス、適用されるノイズ低減アルゴリズム、及び基準画像を生成するのに使用される他の詳細に応じて変わる。この結果、画像を取り込むのに使用されるイメージングセンサの差違、ノイズ低減の差違、使用されるデモザイク処理プロセスの差違、及び他の考えられる理由が依然として存在するので、２つの画像１５０２、１５０４は、同じシーンであっても色のピクセル間に相関性を有する可能性は低くなる。
【０１１８】
第１ステップ１５１０において、画像１５０２、１５０４は、両者の間のデモザイク処理の差違の影響及びノイズアーティファクトの影響を低減することを目的としたサイズにまでスケールダウンされている。２つの画像１５０２、１５０４について、デベイヤー処理、ハイライトリカバリ、画像のサイズ、及び他のディテールが同じでない可能性が高いので、スケーリングは通常必要になる。ローパスフィルタは、好ましくは、ピクセルカラーを領域に平均化するのに使用される。結果として得られるものは、ほぼ同じサイズを有する２つのスケール基準画像１５１２、１５１４である。１つの任意選択ステップ（図示せず）では、必要に応じて基準画像１５１２、１５１４のガンマ修正を実施することができる。
【０１１９】
第２ステップ１５２０において、スケール画像１５１２、１５１４は、グレースケール画像１５２２、１５２４に変換される。画像１５１２、１５１４は、カラーからグレースケールへの画像の変換を助けることができるグレーランプパッチを有することができる。画像のスケーリングダウン及びカラーからグレースケールへの低減は、オリジナル画像１５０２、１５０４間のノイズ及びデモザイク処理の影響又は差違を低減することを目的とする。
【０１２０】
第３ステップ１５３０において、第２画像１５２４の最大輝度を第１目標画像１５２２の最大輝度に一致させるゲイン係数が決定される。次に、第２画像１５２４のグレーレベルは、このゲイン係数によってスケール調整される。第４ステップ１５４０において、画像１５２２、１５２４間のピクセル毎のグレースケール値を比較するグレースケール画像１５２２、１５２４間のペアリングが行われる。第５ステップ１５５０において、グレースケール目標画像１５２２とグレースケール基準画像１５２４との間の１対１ピクセルペアリングは、ｙ＝ｆ（ｘ）の粗い階調曲線に従ってプロットされ、ここでｘは、基準画像１５２４のグレーレベルであり、ｙは目標画像１５２２のグレーレベルである。このような粗い階調曲線の実施例が図１５Ｂのグラフ１５８０に示されている。第６ステップ１５６０において、粗い階調曲線は、ｘの欠落グレーレベル又は曲線の不連続性のための補間、平均化、及び平滑化を使用して精細化される。更に、異常又は誤差に起因するあらゆるプロット値をこの精細化の間に取り除くことができる。最終ステップ１５７０において、最終階調再現曲線が生成される。このような最終階調曲線の実施例は、図１５Ｃのグラフ１５９０に示されている。通常、階調再現曲線は、各カメラモデルに対する満足のいく結果をもたらすために、画像の色飽和及び輝度コントラストを向上させるＳ字形を有する。１つの実施例では、階調再現曲線は、連続した４つの３次多項式で表すことができる。
【０１２１】
次にこの階調再現曲線１５９０は、ＲＡＷ処理が行われるカメラ（３１０）が、階調再現曲線１５９０を生成するのに使用される目標基準画像１５０２に関連付けられた初期カメラ情報１５０３の基準を満たすときに、図３の自動色調整プロセス（３４２）において使用することができる。従って、複数の階調再現曲線１５９０は、複数の異なるカメラ、カメラのタイプ、及び他の基準に対して生成される。このように、階調再現曲線が図３のプロセスのブロック３４６で取得されると、処理される画像に対するカメラ３１０からのメタデータ３１４を用いて、事前に記憶され及び構成された階調曲線のプールから適切な階調曲線を選択することができる。
【０１２２】
図１５Ａのプロセス１５００の本実施形態では、最終階調再現曲線が、別個のカラーチャンネル（例えば、Ｒ、Ｇ、Ｂ）の代わりにグレースケールを使用して生成された。この階調再現曲線が図３の自動色調整プロセス（３４２）で使用される場合、これは、基本的に各チャンネルに同様にして適用されることになる。代替の実施形態では、上記で開示されたのと同様のプロセスを用いて、画像の各カラーチャンネルに対する別個の階調再現曲線を生成することができ、これによって図３の自動色調整プロセス（３４２）が、別個の階調再現曲線を色調整のために各チャンネルに独立して適用することができるようになる。例えば、基準画像１５０２、１５０４は、各チャンネルのための別個の画像を生成するためにフィルタリング処理にかけることができる。その結果、各チャンネルに関連付けられた画像は、プロセス１５００の各段を受けて、処理されている画像の各チャンネルに適用することができる関連チャンネルに対する独立した階調再現曲線を生成することができる。
【０１２３】
Ｆ．ＲＡＷ画像処理パイプラインにおける付加的なプロセス
図１６Ａでは、オリジナルＲＡＷ画像１６１０の結果として得られるＲＧＢ画像１６９０へのＲＡＷ処理のための複数の付加的な自動化プロセス１６００が示されている。これらの自動化プロセス１６００は、ディープシャドー脱飽和プロセス１６２０、輝度ブースト１６５０、及びＲＧＢ分離可能ブースト１６８０を含む。これらのプロセスが図３のＲＡＷ画像処理パイプライン３００で実際に実施される時間及び場所は、カメラの仕様、ＲＡＷ画像、及び他の特徴によって決まる。
【０１２４】
１．ディープシャドー脱飽和プロセス
１つの実施形態では、自動化ディープシャドー脱飽和プロセス１６２０は、カメラＲＧＢからＸＹＺカラースペースへの図３の第１変換段３０３において実施することができる。このプロセス１６２０は、シャドー脱飽和閾値を下回る輝度値を持つカメラＲＧＢ画像内のＲＧＢカラー値に焦点を合わせる。図１６Ｂは、入力／出力輝度グラフ１６０２においてシャドー脱飽和閾値を線Ｔでグラフ的に示している。脱飽和プロセス１６２０は、黒に対する近接度に比例して閾値Ｔを下回るこれらのディープシャドーＲＧＢカラー値の飽和を低減する。シャドー脱飽和閾値Ｔは、黒の１％以内の輝度レベルに対応することができる。
【０１２５】
脱飽和プロセス１６２０において、ＲＧＢ画像の各ピクセルに対するオリジナル輝度ＬOは、標準的技術を使用して計算される。計算された輝度ＬOはシャドー脱飽和閾値Ｔと比較され、閾値Ｔを下回るかどうかを決定する。閾値Ｔを下回る場合、補間されたグレースケール輝度ＬGが補間関数を使用して算出される。次に、この補間グレースケール輝度ＬGは、ディープシャドーピクセルのＲ、Ｇ、及びＢのオリジナルカラー値の各々を置き換える。補間において、グレースケール輝度ＬGは、好ましくは黒に対するピクセルのオリジナル輝度ＬOの近接度に比例し、これによって、補間されたグレースケール輝度ＬGは、ディープシャドー脱飽和閾値Ｔから黒に滑らかに遷移するようになる。ディープシャドー輝度を補間グレースケール値と置き換えることで、画像のディープシャドーにおける色彩ノイズを低減することができる。
【０１２６】
２．ＲＧＢ分離可能ブースト
自動化ＲＧＢ分離可能ブースト１６８０は、画像がＲＧＢカラースペースにあるときに、図３のパイプライン３００において実施することができる。一般に、ＲＧＢ分離可能ブーストは、各Ｒ、Ｇ、及びＢチャンネルの輝度を個々に修正することによって画像コントラストを引き上げて画像の階調曲線を調整するための技術として好ましい。画像のシャドー及び低中間調エリアにおいてＲＧＢ分離可能ブーストを使用してコントラストを引き上げると、ＲＧＢ分離可能ブーストの副次的効果として色の飽和を増大させることができる。画像がかなりのノイズ量を有すると、このコントラストの増大は、ノイズをより色彩豊富にし、望ましくないものにする。ノイズが「単色」に見える程（画像のローカルカラーに一致して）、ノイズが従来のアナログフィルムグレインにより相似するようになる。ノイズの色彩度がＲＧＢ分離可能ブーストによって増大された場合、ノイズは、画像のローカルカラーから赤及び青のカラーシフトを示すことになり、これは望ましくない。この望ましくないアーティファクトが起こる階調領域では、以下で検討される輝度ブーストが、ＲＧＢ分離可能ブースト１６８０の代わりに使用される。従って、本実施形態では、ＲＧＢ分離可能ブースト１６８０は、主により高い階調に焦点を当てる（例えば、図１６Ｂのグラフ１６０２において線１６０６で示された中間調レベルを上回る階調）。これらのより高い階調に適用されると、ＲＧＢ分離可能ブースト１６８０は、画像のハイライト領域における色彩度が低下する傾向がある。
【０１２７】
３．輝度ブースト及び遷移階調領域
自動化輝度ブースト１６５０はまた、画像がＲＧＢカラースペースにあるときに、図３のパイプライン３００において実施することができる。ＲＧＢブースト１６８０と同様に、輝度ブースト１６５０を用いて、ＲＧＢ画像１６９０においてコントラストを制御することもできる。しかしながら、ＲＧＢ分離可能ブースト１６８０とは異なり、輝度ブースト１６５０は、各Ｒ、Ｇ、及びＢチャンネルの輝度を個々に修正することはない。代わりに、輝度ブースト１６５０は、全ての３つのチャンネルに同時に適用される。更に、輝度ブースト１６５０は、ＲＧＢ分離可能ブースト１６８０に使用される中間調レベルを下回る遷移階調領域に集中する。図１６Ｂのグラフ１６０２で概略的に示されるように、輝度ブースト１６５０のための遷移階調領域１６０４は、４分の１階調レベル１６０８と中間階調レベル１６０６との間の領域である。輝度ブースト１６５０は、この階調領域１６０４に適用されると、この階調領域１６０４において各チャンネルＲ、Ｇ、Ｂを個々に分離可能にブーストすることに関連する欠点の一部が低減される傾向となる。
【０１２８】
図１６Ｃは、自動化輝度ブースト１６６０の１つの実施形態を示す。最初に、ＲＧＢ画像におけるピクセルの輝度値が算出され（ブロック１６６２）、最大輝度値を下回るこれらの輝度値（例えば、図１６Ｃのレベル１６０６）が決定される（ブロック１６６４）。前述のように、定義された遷移階調領域は、上側輝度値１６０６と下側輝度値１６０８とを有する図１６Ｂの領域１６０４とすることができる。階調領域１６０４内のオリジナル輝度値を有するこれらのピクセルでは、新しい輝度値が補間を使用して算出される（ブロック１６６６）。
【０１２９】
処理デバイスのＧＰＵを使用して処理が実施されるときには、三次方程式で具現化することができる補間関数が補間に使用される。他方、処理がＣＰＵを使用して実施されるときには、補間は、三次方程式によって計算された複数のエントリを有するルックアップテーブルで具現化されるのが好ましい。このようなルックアップテーブルは、約６５，０００エントリを有することができる。例えば、オリジナル画像においてＲ１、Ｇ１、Ｂ１チャンネル値を有するピクセルは、標準的技術を使用して輝度値Ｌ１を有するように計算される。
【０１３０】
ブロック１６６６の補間において、階調領域内の輝度値は、階調領域外の輝度値と共に滑らかに遷移するのが好ましい。新しい輝度値Ｌ2 を決定するために、計算された輝度Ｌ1 が、輝度の区分的三次関数、或いは輝度の区分的三次関数の評価を具現化するルックアップテーブル（例えば、Ｌ2 ＝Ｔａｂｌｅ［Ｌ1 ］）で使用される。１つの実施形態では、ＧＰＵによって使用され且つＣＰＵに対するルックアップテーブルを構成するのに使用される区分的三次方程式は、次式で特徴付けることができる。
ｘ＜ｌｕｍｉｎａｎｃｅ＿ｔｈｒｅｓｈｏｌｄ＿１が真であれば、
ｙ＝ａｘ３＋ｂｘ２＋ｃｘ＋ｄ；
偽であり、ｌｕｍｉｎａｎｃｅ＿ｔｈｒｅｓｈｏｌｄ＿２が真であれば、
ｙ＝ｅｘ３＋ｆｘ２＋ｇｘ＋ｈ；
偽であり、ｌｕｍｉｎａｎｃｅ＿ｔｈｒｅｓｈｏｌｄ＿３が真であれば、
ｙ＝ｉｘ３＋ｊｘ２＋ｋｘ＋ｌ；
偽であれば、
ｙ＝ｍｘ３＋ｎｘ２＋ｏｘ＋ｐ；
【０１３１】
いずれの２つの隣接する三次方程式もこれらを分離する輝度閾値の値に一致させるよう設計されるのが好ましい。更に、隣接する三次方程式は、これらを分離する同じ輝度閾値の傾斜に一致するよう設計される。通常、ｌｕｍｉｎａｎｃｅ＿ｔｈｒｅｓｈｏｌｄ＿１は０．１であり、ｌｕｍｉｎａｎｃｅ＿ｔｈｒｅｓｈｏｌｄ＿２は０．２であり、ｌｕｍｉｎａｎｃｅ＿ｔｈｒｅｓｈｏｌｄ＿３は０．５である。更に、ｘ＝０でのｙの値はゼロである。これは、係数ｄが０に恒等的に等しいことを意味する。ｘ＝１でのｙの値も同様に１である。これは、係数ｍ、ｎ、ｏ、及びｐによって定義された三次方程式に対する含意を有する。
【０１３２】
新しい輝度値を補間した後、新しい輝度Ｌ2 の古い輝度Ｌ1 に対する比が算出され（ブロック１６６８）、この係数がオリジナルカラー値Ｒ1、Ｇ1、Ｂ1に乗算されて画像に対する新しいカラー値Ｒ2、Ｇ2、Ｂ2が得られ、輝度ブーストによって修正されたカラー値を有するピクセルを生成する（ブロック１６７０）。例えば、修正されたピクセルは、
Ｒ2＝（Ｌ2／Ｌ1）Ｒ1、Ｇ2＝（Ｌ2／Ｌ1）Ｇ1、及びＢ2＝（Ｌ2／Ｌ1）Ｂ1
によって特徴付けられるＲＧＢカラー値を有することになる。
【０１３３】
図１６Ｂに示されるように、遷移階調領域１６０４は、最小輝度値１６０８と最大輝度値１６０６とによって定義される。遷移階調領域１６０４の最小輝度値１６０８より下では、上述された輝度ブースト１６５０を使用して、この領域に対するブーストされたＲＧＢ値を計算する。しかしながら、遷移階調領域１６０４内では、画像におけるノイズの量に応じてハイブリッドブーストが使用される。ハイブリッドブーストでは、輝度ブースト１６５０とＲＧＢ分離可能ブースト１６８０の両方が評価される。
【０１３４】
従って、図１６Ｃのブロック１６７２では、選択されたピクセルの輝度値が遷移階調領域内に存在するかどうかの決定が行われる。存在しない場合、以前に計算された輝度ブーストからのブーストされたＲＧＢ値が所与のピクセルに対して使用され、プロセス１６００はブロック１６７８に進む。
【０１３５】
選択されたピクセルに対するオリジナル輝度値がブロック１６７２で遷移階調領域内に存在する場合、輝度値に対するＲＧＢ分離可能ブースト（１６８０）が計算される（ブロック１６７４）。次に、階調領域内のこれらの輝度値に対するブーストされたＲＧＢ値は、遷移階調領域（１６０４）内でオリジナル輝度値が存在する場所に基づいて、以前に計算された輝度ブースト（１６５０）とＲＧＢ分離可能ブースト（１６８０）との間を補間することによって計算される（ブロック１６７６）。補間は、遷移階調領域（１６０４）の最小輝度値（１６０８）の「０」から遷移階調領域（１６０４）の最大輝度値（１６０６）の「１」の範囲に及ぶ平滑関数を使用して計算される。前述のように、ＲＧＢ分離可能ブースト（１６８０）は、最大輝度レベル（１６０６）を上回る値に対してのみ使用され、輝度ブースト（１６５０）は、最小輝度レベル（１６０８）を下回る値に対してのみ使用される。
【０１３６】
好ましくは、ＲＧＢ分離可能と輝度ブーストとの間を補間されたハイブリッドブーストは、画像が所与の量のノイズを有する場合にのみ用いられる。例えば、画像がほとんどノイズを有さない場合、ＲＧＢ分離可能ブースト（１６８０）は、階調範囲全体に対して使用されるのが好ましい。しかしながら、画像が閾値を超えるノイズ量を有する場合、上述されたハイブリッドブーストが使用される。画像がノイズの中間の量を有する場合、ストレートＲＧＢ分離可能ブーストとハイブリッドブーストの両方が算出され、ストレートＲＧＢ分離可能ブーストとハイブリッドブーストとの間の補間が実施されて、使用される結果ブーストを決定する。選択されたピクセルがブーストされると、ブロック１６７８でのプロセス１６００が、オリジナル画像の付加的なピクセルに対してブロック１６６６から１６７８を繰り返す。最後に、修正された輝度値を有する結果として得られる画像が生成される（ブロック１６７４）。
【０１３７】
前述のように、オペレーティングシステムを有する処理デバイス（例えば、コンピュータ、イメージングデバイス、カメラ、その他）は、本明細書に開示される自動化ＲＡＷ画像処理方法、サービス、及び技術を実施することができる。更に、プログラム可能処理デバイスによって可読のプログラム記憶デバイスは、プログラム可能処理デバイスに本明細書で開示された自動化ＲＡＷ画像処理方法及び技術を実行させる命令をプログラム記憶デバイス上に記憶させることができる。
【０１３８】
好ましい他の実施形態の上記の説明は、出願人によって構想された本発明の概念の範囲又は適用性を限定又は制約するものではない。１つの実施例として、本開示は、ＲＧＢベイヤーパターン及びＲＧＢカラースペースに焦点を当てているが、本開示の教示がカラーフィルタアレイ及びカラースペースの他の実施にも適用できる点は理解されるであろう。本明細書に包含される本発明の概念を開示する代わりに、出願人は、添付の請求項によって与えられる特許権全てを要求する。従って、添付の請求項は、当該請求項の範囲又はその均等物の範囲内にある外延全てに対しての修正及び変更を含むものとする。
【技術分野】
【０００１】
（関連出願の相互参照）
本明細書は、その全体が引用により本明細書に組み込まれ且つ優先権を主張する「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｒａｗ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＲＡＷ画像処理のためのシステム及び方法）」という名称の２００６年１０月１３日に出願された米国特許仮出願第６０／８２９，５１９号の本出願である。
【０００２】
本開示の対象は、一般に、ＲＡＷ画像を処理して絶対カラースペースにすることに関し、更に具体的には、画像変換の階調再現曲線を導出し、ＲＡＷ画像の前処理中に階調再現曲線を適用するためのシステム及び方法に関する。
【背景技術】
【０００３】
デジタルカメラの電荷結合素子（ＣＣＤ）などのデジタル画像センサは、米国特許第３，９７１，０６５号（特許文献１）に記載されているＲＧＢベイヤーパターンなどのカラーフィルタ処理アレイ又はパターンで配列された複数のフォトサイトを有する。ＲＧＢベイヤーパターンでは、各フォトサイトが、赤、緑、又は青、或いはその何らかの変形形態を受け入れるようにフィルタリングされる。デジタルイメージングセンサによって取り込まれたオリジナルのビット・フォー・ビットデジタル画像ファイルは、ＲＡＷファイル又はＲＡＷ画像と呼ばれる。幾つかの変数に応じて、ＲＡＷ画像は通常、８から１８ＭＢのメモリスペースを必要とする可能性がある。カラーフィルタアレイ及びデジタルイメージングセンサのタイプは通常、デジタルカメラの製造品毎に変わる。例えば、一部のカラーフィルタ処理アレイは、黄、シアン、緑、及びマゼンタのパターンを使用する。
【０００４】
通常、デジタルカメラは、ＲＡＷ画像に対してデモザイク処理又はデベイヤープロセスを実施し、画像を圧縮アルゴリズムで変換して、ＪＰＥＧ又は表示及びビューに好適な他のタイプの圧縮ファイルを出力する画像パイプラインを有する。しかしながら、デジタルカメラによって取り込まれたＲＡＷ画像は、コンピュータ、及びＡｐｐｌｅのＡｐｅｒｔｕｒｅ１．０などのコンピュータソフトウェアにアップロードすることができ、コンピュータ上での動作によって、ユーザーは、ＲＡＷ画像に種々のマニュアル操作を行うことが可能になる。
【０００５】
処理されたデジタル画像のカラー情報は、幾つかのカラーモデルによって特徴付けることができる。１つのカラーモデルはＲＧＢカラースペースであり、複数のカラーを生成するために赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の組合せを使用する。デジタルカメラ用に使用される幾つかのＲＧＢカラースペースには、スタンダードＲＧＢ（ｓＲＧＢ）及びＡｄｏｂｅ ＲＧＢが含まれる。別のカラーモデルは、１９３１年に国際照明委員会（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍｍｉｓｉｏｎ ｏｎ Ｉｌｌｕｍｉｎａｔｉｏｎ ＣＩＥ）によって作成されたＣＩＥ ＸＹＺカラースペースである。数学的技術を使用して、カラー情報を１つのカラースペースから別のカラースペースに変換することができる。
【０００６】
デジタルカメラは、オート、白熱、蛍光灯、曇り、晴れ、又は感光度などのホワイトバランス設定（例えば、ＩＳＯ１００、ＩＳＯ２０００など）を有する。この設定は、画像の被写体を照明している光源からの光の色温度にデジタルカメラのホワイトバランスをマッチさせるのに使用される。種々の標準光源の特徴は当該技術において定義されている。例えば、光源Ａは白熱光を表すのに使用され、２８５６Ｋで黒体放射体のプロファイルによって定義される。光源シリーズＤは、自然照明を表すのに使用される。番号は、ソースの相関色温度（ＣＣＴ）を示すためにＤシリーズ光源の名称で使用される。例えば、光源Ｄ５０は５０００ＫのＣＣＴを有し、光源Ｄ６５は６５００ＫのＣＣＴを有する。光源シリーズＦは、蛍光照明の種々のタイプを表すのに使用される。例えば、光源Ｆ２は白色蛍光を表し、光源Ｆ１１は狭帯域蛍光を表す。デジタル画像がデジタルカメラによって１つの光源の下で取得されるときには、白色点変換技術を使用して異なる光源の下で画像の特徴を推定することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第３，９７１，０６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
デジタルカメラ又は他のイメージングデバイスによって取得されたデジタル画像を処理するときには、種々の考慮事項に対処しなくてはならない。１つの考慮事項は、デジタル画像の空間品質及びディテールを保護することを包含し、別の考慮事項は、デジタル画像の色を完全に表現することを包含する。多くの点で、これらの２つの考慮事項は相互に関連付けられている。
【図面の簡単な説明】
【０００９】
【図１】ＲＡＷ画像を生成及び処理するためのシステムの１つの実施形態を示す図である。
【図２】本開示の特定の教示によるＲＡＷ処理を実施するための汎用プロセッシングデバイスのためのソフトウェアスタックの１つの実施形態を示す図である。
【図３】本開示の特定の教示による自動化ＲＡＷ画像処理パイプラインの１つの実施形態を示す図である。
【図４】図３の自動化ＲＡＷ処理段の１つの実施形態を示す図である。
【図５】図４のＲＡＷ処理段のためのハイライトリカバリを実施するためのプロセスの１つの実施形態を示す図である。
【図６】図４のＲＡＷ処理段におけるノイズ及びスタックピクセルを低減するためにカメラのプロファイルを導出するプロセスの１つの実施形態を示す図である。
【図７】図４のＲＡＷ処理段のためのハーフサイズ緑エッジ画像を作成するプロセスの１つの実施形態を示す図である。
【図８】図４のＲＡＷ処理段のための非鮮鋭化及び鮮鋭化された緑再構成画像を作成するプロセスの１つの実施形態を示す図である。
【図９】図４のＲＡＷ処理段のためのハーフサイズＲＧＢ画像を作成するプロセスの１つの実施形態を示す図である。
【図１０】図４のＲＡＷ処理段のための赤再構成画像及び緑再構成画像を作成するプロセスの１つの実施形態を示す図である。
【図１１】図４のＲＡＷ処理段のための彩度ブラーオペレーションの１つの実施形態を示す図である。
【図１２】図３の第１変換段階で使用される特性行列を導出するためのプロセスの１つの実施形態を示す図である。
【図１３】図３の第１変換段階で使用されるブラックレベル調整を導出するためのプロセスの１つの実施形態を示す図である。
【図１４】図３の第１変換段階のための変換行列を導出するためのプロセスの１つの実施形態を示す図である。
【図１５Ａ】図３の第２変換段階で使用される階調再現曲線を導出するためのプロセスの１つの実施形態を示す図である。
【図１５Ｂ】図３の第２変換段階で使用される階調再現曲線を導出するためのプロセスの１つの実施形態を示す図である。
【図１５Ｃ】図３の第２変換段階で使用される階調再現曲線を導出するためのプロセスの１つの実施形態を示す図である。
【図１６Ａ】図３の自動化ＲＡＷ画像処理パイプラインのための付加的な自動化プロセスを示す図である。
【図１６Ｂ】入力及び出力輝度のグラフにおける図１６Ａの自動化プロセスの詳細を示す図である。
【図１６Ｃ】図３の自動化ＲＡＷ画像処理パイプラインで使用される輝度ブーストの１つの実施形態を示す図である。
【発明を実施するための形態】
【００１０】
本開示の対象の好ましい実施形態及び他の態様は、添付図面と共に以下の特定の実施形態の詳細な説明を読むとより理解されるであろう。
【００１１】
本開示の対象は、種々の修正及び代替形態が可能であり、その特定の実施形態が各図面において例証として示され、本明細書で詳細に説明される。各図及び本明細書での説明は、本発明の概念の範囲をどのようにも限定するものではない。むしろ、各図及び本明細書の説明は、米国特許法３５Ｕ．Ｓ．Ｃ．§１１２で要求されるように特定の実施形態を参照することにより、当業者に対して本発明の概念を例証するために提供される。
【００１２】
Ａ．ＲＡＷ画像処理システム
図１を参照すると、ＲＡＷ画像を生成し処理するためのシステム１００の１つの実施形態が概略的に示されている。システム１００は、イメージングデバイス１１０と汎用処理デバイス１５０とを含む。一般に、イメージングデバイス１１０及び汎用処理デバイス１５０は、必要な処理能力及びメモリ容量を有するデジタルスチルカメラ又は同様のものなどの１つのデバイスに一体化することができる。或いは、デバイス１１０及び１５０は、図１に示されるように別個の構成要素とすることができる。例えば、イメージングデバイス１１０は、デジタルスチルカメラ、カメラ電話、又は同様のものとすることができ、処理デバイス１５０は、コンピュータ、ラップトップ、又は同様のものとすることができる。以下の説明では、イメージングデバイス１１０はカメラと呼ばれ、処理デバイス１５０は、例証としてコンピュータと呼ぶことができる。
【００１３】
カメラ１１０は、デジタル画像を取り込むためのイメージングセンサ１２０を含む。イメージングセンサ１２０は、電荷結合素子などの当該技術において公知であり使用されているイメージングセンサの種々のタイプのいずれかとすることができる。カメラ１１０はまた、プロセッサ及びメモリハードウェア１３０と、データをコンピュータ１５０に伝達するためのインターフェース１４０とを有する。次に、コンピュータ１５０は、インターフェース１６０、プロセッサ及びメモリハードウェア１７０、オペレーティングシステム及びソフトウェア１８０、及び出力デバイス１９０を有する。
【００１４】
使用時は、カメラ１１０のイメージングセンサ１２０は、ＲＡＷ画像１２２を取り込む。前述のように、イメージングセンサ１２０は、ＲＧＢベイヤーパターンで配列することができるカラーフィルタ処理アレイを有する。従って、ＲＡＷ画像１２２における各フォトサイトのカラー値は、赤強度値、緑強度値、又は青強度値のいずれかを表し、各値は通常、０から４０９５の範囲の１０ビットである。他のカメラ製造品は、ＲＡＷ画像１２２が種々の情報を有することができるように他のカラーフィルタアレイを有することができる。例えば、ソニー「８２８」デジタルカメラでは、カラー値は、赤、緑、青、及びエメラルドを表す４チャンネルＲＧＢＥ座標にある。説明の目的で、以下の議論では、ＲＧＢ値を有するＲＡＷ画像１２２を参照するものとする。
【００１５】
ＲＡＷ画像を取り込んだ後、プロセッサ／メモリハードウェア１３０は、ユニバーサルシリアルバス（ＵＳＢ）インターフェースとすることができるインターフェース１４０を介してＲＡＷ画像１２２を出力することができる。次いでコンピュータ１５０は、インターフェース１６０を用いてＲＡＷ画像１２２を受け取ることができる。好ましくは、コンピュータ１５０は、ＲＡＷ画像１２２のオリジナルコピーを維持するためにマスターファイルとしてＲＡＷ画像１２２を記憶すると共に、以下で説明される前処理は、ＲＡＷ画像１２２のコピーに対して実施される。カメラ１１０からＲＡＷ画像１２２をインポートする代替形態では、ネットワーク、メモリカード、別のコンピュータ、又はフラッシュメモリ、外部ハードディスクドライブ、又はＣＤ−ＲＯＭなどの外部記憶メディアからインポートすることができる。
【００１６】
後で詳細に説明される技術を使用して、プロセッサ／メモリハードウェア１７０及びオペレーティングシステム／ソフトウェア１８０は、ＲＡＷ画像１２２のコピーを前処理し、これを最終的にはディスプレイ及びビューに好適な絶対カラースペース（例えば、レンダリングカラースペースとも呼ばれる、ｓＲＧＢ、Ａｄｏｂｅ ＲＧＢ、又は同様のもの）に変換する。ＲＡＷ画像１２２を前処理し、これを絶対カラースペースに変換した後、プロセッサ／メモリハードウェア１７０及びオペレーティングシステム／ソフトウェア１８０は、結果として得られた画像をコンピュータ１５０上のソフトウェア及びアプリケーションの種々のタイプに利用できるようにする。例えば、結果として得られた前処理画像は、Ａｐｐｌｅ ＣｏｍｐｕｔｅｒのＰｒｅｖｉｅｗ、ｉＰｈｏｔｏ、及びＡｐｅｒｔｕｒｅソフトウェアコンポーネントなどのイメージングアプリケーションが利用できるようにすることができ、ここでは、画像に対して処理、ビュー、加工、その他を行うことができる。
【００１７】
上述のように、オペレーティングシステム／ソフトウェア１８０は、ＲＡＷ画像１２２を前処理するのに使用される。従って、次に、ＲＡＷ画像１２２を前処理するためのソフトウェアアーキテクチャについて説明する。
【００１８】
Ｂ．ＲＡＷ画像処理システムのソフトウェアスタック
図２は、図１のコンピュータ１５０などの汎用処理デバイスのためのソフトウェアスタック２００の１つの実施形態の階層図を示す。ソフトウェアスタック２００の一部分は、図１のデジタルカメラ１１０の一部とすることができる。ソフトウェアスタック２００は、オペレーティングシステム（Ｏ／Ｓ）カーネル層２１０、Ｏ／Ｓサービス層２２０、リソース層２３０、アプリケーションフレームワーク及びサービス層２４０、並びにアプリケーション層２５０を含む。これらの層は、例示的なものであり、幾つかの特徴部が省略されている。例えば、０／Ｓカーネル層２１０の下にある下層レベルソフトウェア及びファームウェアは図示されていない。一般に、１つの層において示されるソフトウェア要素は、その下に位置付けられる層からのリソースを使用し、上に位置付けられる層にサービスを提供する。しかしながら、実際には特定のソフトウェア要素の全てのコンポーネントがこの様式で完全には機能しなくてもよい。
【００１９】
Ｏ／Ｓカーネル層２１０は、高度に保護された環境でコア０／Ｓ機能を提供する。Ｏ／Ｓカーネル層２１０の上では、Ｏ／Ｓサービス層２２０が、機能的サービスをその上の層にまで拡張する。コンピュータのオペレーティングシステムのためのＯ／Ｓサービス層２２０は、幾つかの機能サービスを提供すると同時に、デジタルカメラのカメラ内のオペレーティングシステムが、より限定されたサービスを提供することができる。本実施形態では、Ｏ／Ｓサービス層２２０は、以下に説明される種々の教示によるＲＡＷ画像に対する前処理を実施するためのＲＡＷ画像処理サービス２２２を有する。
【００２０】
リソース層２３０は、Ｏ／Ｓサービス層の上にあり、Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ（「ＯｐｅｎＧＬ」）、Ａｐｐｌｅ ＣｏｍｐｕｔｅｒのＰＤＦキット、その他などのグラフィクスリソースを示す。Ｓｉｌｉｃｏｎ Ｇｒａｐｈｉｃｓ， Ｉｎｃ．によって開発されたＯｐｅｎＧＬは、種々のグラフィクス機能の仕様である。ＲＡＷ処理アプリケーションプログラミングインターフェース（ＡＰＩ）２３２は、リソース層２３０とＯ／Ｓサービス層２２０のＲＡＷ画像処理サービス２２２との間に位置付けられる。層２４０は、２つの層、アプリケーションフレームワークとアプリケーションサービスとして通常表される機能の併合である。この層２４０は、アプリケーション層２５０として本明細書では示される最高層に常駐するアプリケーションプログラムのためのハイレベルで且つ多くの場合機能上のサポートを提供する。
【００２１】
ＲＡＷ処理サービス２３２は、汎用処理デバイスの中央処理ユニット（ＣＰＵ）を活用して、ＲＡＷ画像を前処理する。ＲＡＷ処理サービス２３２はまた、ＯｐｅｎＧＬを使用して、汎用処理デバイスに関連付けられたグラフィクス処理ユニット（ＧＰＵ）を活用することができる。この結果、ＲＡＷ処理ＡＰＩ２３２は、アプリケーション層２５０における種々のアプリケーションプログラムがサービス２３２の前処理された画像を利用できるようにする。従って、ＲＡＷ画像は、Ｏ／Ｓサービス層２２０におけるＲＡＷ画像処理サービス２２２及び汎用処理デバイスのハードウェア（例えば、ＣＰＵ／ＧＰＵ）を使用して前処理することができる。このようにして、ＲＡＷ処理は、ＲＡＷ画像がより多くの情報を包含するので、カメラによって提供される標準のＪＰＥＧファイルに比べて編集性が向上した高品質画像を生成するために、ＯＳサービス層２２２に集中させることができる。
【００２２】
更に、前処理された画像は、ＲＡＷ画像を処理可能な場合と可能でない場合があるアプリケーション層２５０において種々のアプリケーションが利用できるようにすることができる。前処理された画像を使用できる層２５０におけるアプリケーションプログラムは、ワードプロセッシングアプリケーション、フォトアプリケーション、アドレスブックアプリケーション、電子メールアプリケーション、或いは画像を使用できる他のいずれかのアプリケーションを含むことができる。更に、本明細書に開示されるＲＡＷ処理技術は、ＲＡＷビデオにも適用可能であり、これによってビデオを使用するアプリケーションはまた、開示される技術から恩恵を受けることができる。
【００２３】
Ｃ．ＲＡＷ画像処理パイプラインの概要
上記の実施形態で言及されたように、ＲＡＷ画像の前処理は、汎用コンピュータのＯ／Ｓサービス層２２０において動作するＲＡＷ画像処理サービス２２２において実施することができる。パイプラインは、画像処理を特徴付ける１つの方法である。図３は、本開示の幾つかの教示に従うＲＡＷ画像処理パイプライン３００の１つの実施形態を示す。パイプライン３００は、デジタルカメラ３１０又は他のソースからのＲＡＷ画像３１２を前処理し、更に種々のアプリケーション（図示せず）によって使用される結果として得られる画像３４９を出力するための複数の段階３０１、３０２、３０３、及び３０４で図示されている。初期画像取り込み段階３０１では、カメラ又は他のイメージングデバイス３１０が画像を取り込み、これを上述のようにＲＡＷ画像又はファイル３１２としてＲＡＷフォーマットで記憶する。この時点で、ＲＡＷ画像３１２は、カメラ３１０の処理能力に応じて、カメラ３１０から汎用処理デバイス又はコンピュータ（図示せず）に伝達されるか、或いはＲＡＷ処理のためにカメラ３１０に保持することができる。
【００２４】
後処理段は画像３１２及びカメラ３１０の属性に依存することになるので、後処理を可能にするために、ＲＡＷ画像３１２のホワイトバランス及び他のメタデータ３１４と、ＲＡＷ画像３１２を取得するのに使用される特定のカメラ３１０とが識別される。メタデータ３１４は、Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ（ＥＸＩＦ）フォーマットにすることができ、例えば、シャッター速度、アパーチャ、ホワイトバランス、露出補正、測光設定、ＩＳＯ設定、日付、及び時間を含むＲＡＷ画像３１２の画像がどのように取り込まれたかに関する情報を含むことができる。
【００２５】
ＲＡＷ処理段３０２では、ＲＡＷ処理は、ブラックサブトラクションプロセス３２０、ハイライトリカバリプロセス３２１、スタックピクセル除去プロセス３２２、自動露出調節プロセス３２３、デモザイク（デベイヤー）プロセス３２４、及び彩度(クロマ)−ブラープロセス３２５を含む１つ又はそれ以上の種々のプロセスを使用してＲＡＷ画像３１２に対して実施される。ＲＡＷ処理段３０２の１つの目的は、ＲＡＷ画像３１２における取り込まれたシーンの空間品質及びディテールを保護することである。
【００２６】
これらのプロセス３２０−３２５を実施するために、メタデータ３１４を用いて、プロセスに関連付けられた種々のＲＡＷ処理アルゴリズムを取得する（ブロック３２８）。これらのプロセス３２０−３２５の１つ又はそれ以上は、特定の順序で示されているが、カメラに関連付けられた何らかの細目などの特定の要件に応じて再配列することができる。更に、これらのプロセス３２０−３２５の１つ又はそれ以上は、種々の理由で使用される場合と使用されない場合があり、更に、画像処理において通常使用される他のプロセスを使用してもよい。更に、これらの種々のプロセス３２０−３２５の一部は、実際には、本明細書で必ずしも表現されていない方法で互いに連動して動作することができる。
【００２７】
ＲＡＷ処理段３０２の最後に、デモザイクプロセス３２６が初期ＲＡＷ画像３１２からカメラＲＧＢ画像３２９を生成する。ここで、カメラＲＧＢは、画像３２９がＩＳＯ１７３２１で定義されるＩＳＯ ＲＧＢのような、レンダリングされていないＲＧＢカラースペースを有することを示す。カメラＲＧＢ画像３２９は、初期ＲＡＷ画像３１２で取り込まれたシーンのオリジナル測色法の推定値を具現化し、カメラＲＧＢ画像３２９は、オリジナルのダイナミックレンジ及び全域を維持する。カメラＲＧＢ画像３２９は、出力デバイスによって表示、ビュー、又はプリントされるために付加的な処理に進まなくてはならない。
【００２８】
一般に、デモザイクプロセス３２６は、初期画像３１２のデバイス固有のＲＡＷデータを結果として得られる画像３２９におけるレンダリングされていないＲＧＢデータに変換し、該結果として得られる画像は、初期画像３１２を取り込むのに使用されるデバイス（例えばカメラ）とは無関係である。デモザイクプロセス３２６の実際の実施は、画像３１２の詳細及び／又はその画像３１２を取り込むのに使用されるイメージングセンサに依存することになる。例えば、カメラＲＧＢ画像３２９でのピクセルの実際のカラーは、各フォトサイトがＲ、Ｇ、又はＢに対し１つだけのカラー値を有するので、ＲＡＷ画像３１２の複数のフォトサイトから補間される。この画像再構成プロセスは、デモザイク処理（又は、Ｂａｙｅｒ Ｍａｔｒｉｘフィルタの場合のデベイヤー処理）と呼ばれる。一般に、デモザイクプロセス３２６は、ＲＡＷ画像３１２におけるフォトサイトのＲ、Ｇ、又はＢ、及びカメラＲＧＢ画像３２９のＲ、Ｇ、及びＢ値を有する出力ピクセルのいずれかで表される複数のカラー値を取る。通常、所与のピクセルの成分は、その近傍の強度から計算される。従って、デモザイクプロセス３２６は通常、カメラのカラーフィルタアレイにおけるフィルタの配列に依存するのでデバイスに固有である。
【００２９】
ＲＡＷ処理段３０２の後に２つの変換段３０３及び３０４が続く。これらの変換段３０３及び３０４の１つの目的は、取り込まれたオリジナルシーンの色を完全に表すことである。多くの方法で、色を完全に表すこれらの段階３０３及び３０４における考慮事項は、ＲＡＷ処理段３０２のディテールを維持することに相関付けられる。これらの変換段３０３及び３０４の最終結果は、スタンダードＲＧＢ又はＡｄｏｂｅ ＲＧＢなどのレンダリングカラースペースにおける結果として得られる画像３４９である。次いで、結果として得られるＲＧＢ画像３０４は、ワードプロセッシングアプリケーション、フォトアプリケーション、アドレスブックアプリケーション、電子メールアプリケーション、或いは図２を参照して上述されたような画像を使用できる他のいずれかのアプリケーションが利用できるようにすることができる。
【００３０】
第１変換段３０３では、カメラＲＧＢ画像３２９は、ＸＹＺ画像３３９を生成するために、ＸＹＺカラースペースにおけるＸＹＺ三刺激値に自動的に処理され変換される。ＸＹＺカラースペースは、その種々の利点のために使用され、画像データは、この段階３０３で発生するプロセスと互換性があるようになる。例えば、ＸＹＺカラースペースに変換することにより、カラー値を測定可能な色温度に相関付けて、カメラ３１０によって取り込まれたシーンのオリジナルカラーを完全に表すことが可能になる。
【００３１】
この段階３０３で、ブラック補正プロセス３３０は、カメラＲＧＢ画像３２９におけるブラックレベルを調節する。同時に、行列(マトリクス)変換プロセス３３２は、カメラＲＧＢ画像３２９をＸＹＺ三角刺激値を有するＸＹＺ画像３３９に変換する。この段階３０３の間に処理を行うために、幾つかのメタデータ３１４（ホワイトバランスを含む）を用いて、変換行列（Ｍ）を取得し（ブロック３３４）、以下で詳述される他の必要な計算を実施する。
【００３２】
一般に、ブラック補正プロセス３３０は、カメラＲＧＢ画像３２９からブラックレベルを差し引き、後の段階でより効率的なコード化及び処理を可能にする。更に、差し引かれるブラックレベルは、画像コンテンツ及びカメラモデルに依存し、ブラックレベルを調節して、ノイズを低減するか、又はより良好なカラーレンディションをもたらすことができる。ブラック補正プロセス３３０は、ＲＡＷ画像３１２を取り込むのに使用される特定のカメラに対して構成されている。プロセス３３０は、Ｒ、Ｇ、及びＢ値を有するピクセルを入力として受け取り、ブラック補正されたＲ、Ｇ及びＢ値を出力する。ブラック補正プロセス３３０は、各ＲＧＢチャンネルに対するブラックオフセットを最適化し、カメラＲＧＢ三刺激値からＸＹＺ三刺激値への変換が最小誤差を有するようにする。ブラック補正プロセス３３０は、図１３に関して更に詳細に説明されるプロセスによって導き出される。
【００３３】
行列変換プロセス３３２は、上述のブラック補正を組み込み、入力として、カメラＲＧＢ画像３２９のＲ、Ｇ及びＢ値を取り、ＸＹＺ三刺激値を出力する。一般に、プロセス３３２は、カメラ、モデル、その他に固有であり、更に予め定義された光源に関連付けられる２つ又はそれ以上のカメラ特性行列Ｍ1及びＭ2を使用する。カメラ特性行列Ｍ1及びＭ2の各々は、カラーチャートを撮影するときにカラーチャートの測定されたカラー値を所与のカメラの感知データと比較することによって導き出される。特性行列を導き出すための１つの実施形態を図１２に関して以下で説明する。この段階３０３の１つの利点では、カメラ特性行列の事前計算及び導出は、ユーザーの主観性及びＲＡＷ変換の他の実施に無関係の自動プロセスを包含する。従って、パイプライン３００における自動化処理は、コンピュータの種々のアプリケーションによって使用される品質処理画像を提供することができる。
【００３４】
ＲＡＷ画像３１２を取得するのに使用されるカメラに固有のカメラ特性行列を使用して、プロセス３３２は、カメラＲＧＢ画像３２９に対するブラック補正及びＸＹＺ三刺激値への変換を行うのに使用される変換行列（Ｍ）を導き出す。変換行列Ｍは、カメラＲＧＢからＸＹＺ三刺激値への最適行列変換を推定するために、メタデータ３１４でのホワイトバランスと共に使用される。変換行列Ｍは、図１４に関して更に詳細に説明されるプロセスによって導き出される。
【００３５】
最後に、第２変換段階３０４では、ＸＹＺ三刺激値の変換データが処理され、スタンダードＲＧＢ（ｓＲＧＢ）又はＡｄｏｂｅ ＲＧＢなどの絶対カラースペースにおける値に変換される。最初に、色順応プロセス３４０は、色順応変換を適用することによって画像３３９の発色を再現する。色順応変換は、入力光源の下で取り込まれた入力カラーのＸＹＺ三刺激値を、予測される出力光源の下での出力カラーの対応するＸＹＺ三刺激値に変換する。色順応変換は、当該技術で知られており、この多くがｖｏｎ Ｋｒｉｅｓモデルに基づく。
【００３６】
次に、色調整(カラーチューニング)プロセス３４２は、画像のＸＹＺ三刺激値の階調曲線を調節する。最後に、色調整プロセス３４２を組み込む変換プロセス３４４は、ＸＹＺ三刺激値を、ｓＲＧＢ又はＡｄｏｂｅ ＲＧＢなどの絶対レンダリングカラースペースのＲＧＢ三刺激値に変換し、これによって特定のＲＧＢカラースペースの結果として得られる画像３４９が生じる。レンダリングカラースペース（例えば、ｓＲＧＢ又はＡｄｏｂｅ ＲＧＢ）は、リアル又はバーチャル出力特性の測色に基づく。この第２変換段階３０４の間に処理を行うために、カメラ３１０からの幾つかのメタデータ３１４を用いて、階調曲線を取得し（ブロック３４６）、以下に説明される他の必要な計算を実施する。
【００３７】
一般に、色調整プロセス３４２は、ゲイン及び出力階調再現曲線を設定し、出力媒体への画像のレンダリングを最適化する。プロセス３４２は、１つのカメラタイプ及び製造者当たりの変換のパラメータを自動的に導き出す。自動であることで、プロセス３４２によって、公知の目標に基づいてユーザーによるマニュアル介入なしに出力を得ることが可能になり、これによってユーザーによるマニュアル色調整に関連した主観性が排除される。自動色調整プロセスのための階調再現曲線を導出するプロセスの１つの実施形態について、図１５Ａ−１５Ｃに関して以下に詳細に説明する。
【００３８】
変換プロセス３４４は、上述の色調整プロセス３４２を組み込む。一般に、変換プロセス３４４は、ＸＹＺ三刺激値を、ｓＲＧＢ及びＡｄｏｂｅ ＲＧＢなどの指定されたレンダリングカラースペースにおけるＲＧＢ三刺激値に変換する。次に、結果として得られるＲＧＢ画像３４９は、更なる処理及び編集のためのアプリケーション又は他のソフトウェアによってアクセスすることができる。
【００３９】
Ｄ．ＲＡＷ画像処理パイプラインにおけるＲＡＷ処理段の詳細
前述のように、図３のＲＡＷ画像処理パイプライン３００は、種々のプロセスを含むＲＡＷ処理段３０２を有する。図４は、ＲＡＷ処理段４００の１つの実施形態の詳細を示す。段階４００は一連のステップとして示されているが、所与の実施は異なるステップの順序付けを使用してもよく、幾つかのステップを省略してもよく、或いは図示していない付加的なステップを追加してもよいことは理解されるであろう。ＲＡＷ処理段４００の入力は、ＲＡＷ画像４０２及びメタデータである。ＲＡＷ画像４０２は、ベイヤーパックされている（例えば、画像４０２におけるフォトサイトは、ベイヤーパターン又は同様のもので配列され、各々は、１つのＲ、Ｇ、又はＢ値を有する）。
【００４０】
１．ブラックサブトラクション
ＲＡＷ処理段４００の第１ステップ４１０では、ブラックサブトラクションが、入力ＲＡＷ画像４０２に対して行われる。このステップ４１０では、フォトサイトのカラーサンプル（Ｒ、Ｇ、Ｂ）がスケール調整され、カメラの固有因子に基づいてバイアスされる。ほとんどのカメラでは、レンズキャップを付けたまま撮られた画像でさえ、フォトサイトにおける小さな非ゼロカラー値を有する画像を結果として生じることになる。非ゼロカラー値は、ノイズ又は他の理由によって引き起こされるカメラのブラックオフセット又はバイアス値に相当する。修正される最終画像では、ブラックオフセット値は、カラーサンプルの値から除去しなければならない。
【００４１】
カメラからのＲＡＷ画像４０２は、生成時にブラック補正できる場合もあれば、ブラック補正できない場合もある。一部のカメラでは、センサデータは、生成後に自動的にブラック補正される。この場合、ＲＡＷ画像のメタデータは、オフセット値０を有することができる。
【００４２】
幾つかの状況では、カメラは、これを下回るセンサデータは存在しない、画像４０２のメタデータのオフセット値を提供することができる。この場合、ブラックオフセット値は、このステップ４１０でＲＡＷ画像４０２のカラー値から差し引かれる。例えば、一部のカメラからのＲＡＷ画像４０２のブラックオフセット値は、入射光からマスクされたイメージングセンサのマージンに対する平均値から推定することができる。マージンにセンサマスクを使用しないカメラモデルでは、ブラックオフセット値はそのカメラモデルでは固定値とすることができる。いずれの場合でも、ブラックオフセット値は、画像４０２の各強度値から差し引くことができる。一般に、カメラのＲ、Ｇ、及びＢフォトサイトは、異なるオフセット値を有することができる。Ｇは一般に、２つのオフセット値を有することができる。カメラはまた、「横列」に依存したオフセット値を提供することができる。
【００４３】
上記から分かるように、ＲＡＷ画像４０２に関連付けられたメタデータは、ブラックオフセット値の１つのソースである。オーバーライドファイルは、ブラックオフセット値の二次ソースとすることができる。オーバーライドファイルは、１つのカメラモデル毎に予め設定されているブラックオフセット値を含むことができる。この二次ブラックオフセットを用いて、メタデータに関連付けられた値を増やすか又は置き換えることができ、二次ブラックオフセットはまた、各カラーチャンネル（Ｒ、Ｇ、Ｂ）に対して異なるものとすることができる。
【００４４】
ブラックオフセット値を差し引いた後、結果として得られる値は、好ましくはゼロにクリップされ、ＲＡＷ画像４０２における負の値が除去される。更に、種々のカメラはＲＡＷ感知値の範囲を有するので、この値を共通の範囲にスケール調整する必要がある。これは、ブラックオフセット値が差し引かれた全ての値に予め設定された値を乗算し、次いで、現在のカメラのホワイト値で除算することによって達成することができる。ホワイト値は、予め設定することができ、オーバーライドファイル又はメタデータから取得することができる。
【００４５】
２．ハイライトリカバリ
ＲＡＷ処理段４００の第２ステップ４２０において、ＲＡＷ画像４０２は、ハイライトリカバリの処理にかけ、センサの応答の最大レベルにクリップされている画像４０２における感知値を修正する。ＲＡＷ画像４０２を取得するのに使用されるイメージングセンサは、最大値（本明細書ではマックスアウト値と呼ばれる）までのライトアップに応答することができる。従って、そのマックスアウト値を上回って受け取られるどのような光も、センサ要素によっては検出されない。光値がセンサのマックスアウト値を超えている画像４０２におけるハイライトを回復するために、マックスアウト値でクリップされた画像４０２における感知値は、種々のカラーチャンネル（Ｒ、Ｇ、Ｂ）の近傍のクリップされていない値を使用して新しい推定値に置き換えられる。
【００４６】
１つの実施形態では、マックスアウトしたセンサに近い近傍センサについての値が探し出される。これらの近傍センサは、マックスアウト値の約８５から９０％の範囲のＲ、Ｂ、又はＧ値を有し、これらを用いて、マックスアウトセンサに対して使用されるべき値を決定することができる。これは、マックスアウトである分離されたセンサ値が存在する画像に対して十分機能することができ、ＲＡＷ画像内で使用することができる。しかしながら、一般に所与の画像は、平均近傍ピクセルが実用的ではなく、マックスアウトされたセンサ値のクラスタ又は領域を有する可能性がある。
【００４７】
別の実施形態では、図５は、チャンネルの１つ又は２つがセンサの限界値によってクリップされている場合にピクセルの輝度及び色相を回復するために適用されるハイライトリカバリプロセス５００を示している。このプロセス５００は、デモザイク処理（デベイヤ処理）プロセスの極めて早期に実施される。最初に、Ｒ、Ｇ、及びＢセンサチャンネルが、ニュートラルになるようにスケール調整される（ブロック５０２）。スケーリング係数が、ＲＡＷ画像に関連付けられたメタデータから取得されたホワイトバランスを使用して決定される。次に、各チャンネルが飽和することになる値が計算される（ブロック５０４）。計算は、チャンネル飽和値を、所与のカメラ型式及びモデルに対して調べられている露出過剰画像に相関付ける相関情報を使用して行われる。従って、相関情報は、ハイライトリカバリプロセス５００によって後でアクセスするために複数のカメラ型式及びモデルに対して予め設定及び記憶することができる。このように、ＲＡＷ画像に関連付けられたメタデータから取得されたカメラ情報は、ＲＡＷ画像を取得したカメラ型式又はモデルについての対応する相関情報にアクセスするのに使用される。
【００４８】
次に飽和値は、ブロック５０２で使用された同じ係数によってスケール調整される（ブロック５０６）。ほとんどのカメラでは、緑チャンネルが最も小さな飽和値を有し、この性質は、ハイライトリカバリプロセス５００によって活用される。画像の各ピクセルは、プロセス５００によってサンプリングされ分析される（ブロック５１０）。所与のピクセルの３つのチャンネルＲ、Ｇ、及びＢ全てがクリップされていない（ブロック５２０）場合、ピクセルはそのままにされる。所与のピクセルの３つのチャンネル全てがクリップされている（ブロック５２０）場合には、ピクセルは、ニュートラルグレー値に置き換えられる（ブロック５２２）。
【００４９】
チャンネルの少なくとも１つ（全部よりも少ない）がクリップされている（ブロック５２０）場合、プロセス５００は、種々のチャンネルの飽和を調べる。以下に詳述されるように、飽和値を有する所与のピクセルのチャンネルは、推定値に置き換えられる。飽和値から推定値への置き換えは、漸次的であり、オリジナル値が飽和にどれ程近接しているかに依存する。推定値は、ピクセルのオリジナルＲＧＢ値に基づいて計算される。
【００５０】
例えば、所与のピクセルにおける赤値が飽和又はその近傍である（ブロック５３０）場合、オリジナル赤値は、オリジナルＲ、Ｇ、及びＢ値から計算された推定赤値に置き換えられる（ブロック５３２）。推定赤値は（ＲOriginal＋ＢClipped）／２である。置き換えは、オリジナル値と、赤値が飽和にどれ程近接しているかに依存する推定値との間で計算された加重平均値に基づく。例えば、赤値がセンサクリップ値の８５％である場合、オリジナル赤値の１００％が使用される。例えば、赤値がセンサクリップ値の９０％である場合、オリジナル赤値の５０％が、置換のために推定値の５０％と共に使用される。例えば、赤値がセンサクリップ値の９５％である場合、推定値の１００％が置換のために使用される。
【００５１】
所与のピクセルにおける緑値が飽和又はその近傍である（ブロック５４０）場合、これは、オリジナルＲ、Ｇ、及びＢ値から計算された推定緑値に漸次的に置き換えられる（ブロック５４２）。Ｇチャンネルの推定値は、オリジナルＲ、Ｇ、Ｂ値の加重平均値に基づく。使用されるＲ、Ｇ、Ｂ重みは、オリジナルピクセルがどれ程緑であるかの計算に応じて（０．５、０、０．５）から（０．３７５、０．６２５、０．０）の範囲に及ぶ。置換は、上述された加重平均値を使用する。
【００５２】
所与のピクセルにおける青値が飽和又はその近傍である（ブロック５５０）場合、これは、オリジナルＲ、Ｇ、及びＢ値から計算された推定青値に漸次的に置き換えられる（ブロック５５２）。Ｒチャンネルと同様に、青値に対する推定値は、（ＲOriginal＋ＢClipped）／２である。置換はまた、上述された加重平均値を使用する。
【００５３】
チャンネルの１つ又はそれ以上が推定された最終ステップとして、回復されたＲＧＢ値が極めて明るく且つ飽和されている場合、色はニュートラルに向かって移動する（ブロック５６０）。画像の明るいエリアにおいて見られる可能性の低いマゼンタ色相は、ニュートラルに向けてより積極的に移動する。ニュートラルに向けてた色の移動は、ユーザーの基本設定により影響を受ける可能性がある。所与のピクセルを分析した後、画像の付加的なピクセルを分析する必要があるかどうかの決定が行われ（ブロック５７０）、プロセス５００は、ブロック５１０に戻り、画像の付加的なピクセルをサンプリングし分析する。
【００５４】
３．スタックピクセル除去／ノイズ処理
図４を参照すると、ＲＡＷ処理段４００は、第３ステップ４３０を含み、ここでは異常値を有するＲＡＷ画像４０２のフォトサイトが、スタックピクセル除去及び／又はノイズ処理技術を使用して変更される。所与のＲＡＷ画像では、センサが適切な応答を有していなかった（例えば、センサがスタックであるか、或いはフォトサイトで累積電荷を有する）ので、種々のフォトサイトは例外的な値を有する可能性がある。
【００５５】
これらのスタックフォトサイトでは、３Ｘ３のようなフォトサイトの近傍が評価され、その近傍から取られた周囲の８つの値の範囲が決定され、結果として最小及び最大値を生じることになる。例えば、緑ピクセルに存在している場合、緑フォトサイトのみが調べられる。範囲のサイズは、範囲の最大から最小を差し引いた値に等しく決定される。スタックフォトサイトの値は、近傍の同様のフォトサイト範囲と比較される。選択されたフォトサイトの値が、最大値よりも範囲サイズの予め設定された倍数だけ大きい場合、或いは選択されたフォトサイトの値が、最小値よりも範囲サイズの予め設定された倍数だけ小さい場合、そのフォトサイトの値は、３ｘ３近傍の平均値に設定される。予め設定された係数は、カメラ及び他の係数に基づいて構成することができる。この例外的な値をその近傍の平均値に置き換えることにより、ＲＡＷ画像４０２によく表れているスタックピクセル値の数が低減されることになる。
【００５６】
所与の画像におけるノイズは、異常値を有するチャンネルサンプルを生成する。ＲＧＢ画像がベイヤー符号化ＲＡＷ画像から構成されたときに、このノイズが増幅される可能性がある。通常、レンダリングノイズは、望ましくないほど色彩が豊富である。このノイズは、ＲＡＷ画像４０２が取り込まれたときに使用されたＩＳＯ設定（すなわち、センサ読み出しのゲイン）及び露出時間の量に相関付けることができる。従って、サブステップ４３０におけるノイズ処理は、好ましくは、ＩＳＯ設定、露出時間、及びノイズの量の間の相関関係を使用して、処理されるＲＡＷ画像４０２に対するノイズの彩度を低減又は制御する。
【００５７】
図６は、デジタルカメラのためのノイズ及びスタックピクセルプロファイルデータを導き出すためのプロセス６００を示す。プロファイルデータは、所与のＩＳＯ設定及び露出時間でカメラが生成するノイズの量に相関付けられる。次にこのプロファイルデータは、図４のＲＡＷ処理段４００で前処理されるＲＡＷ画像を処理するのに使用される。
【００５８】
最初に、デジタルカメラは、レンズキャップで固定され、接眼レンズが閉じられ、複数の画像が、その特定のカメラにおいて広範囲のＩＳＯ設定及び露出時間下で撮影される（ブロック６０２）。次いで、ＲＡＷ画像は、幾つかの編成されたセットにグループ分けされる（ブロック６０４）。例えば、第１編成セットは、露出時間の低範囲及びＩＳＯ設定の広範囲を備えた画像を有することができる。更に、第２編成セットは、ＩＳＯ設定の低範囲及び露出時間の広範囲を備えた画像を有することができ、第３編成セットは、露出時間の高範囲及びＩＳＯ設定の広範囲を備えた画像を有することができる。
【００５９】
次にＲＡＷ画像は、ノイズ応答（例えば、ノイズの量）を定量化し、各ＲＡＷ画像におけるスタックピクセル応答を定量化するように処理される（ブロック６０６）。次に、ノイズプロファイル及びスタックピクセルプロファイルが、グループ分けされた画像に対して計算される（ブロック６０８）。例えば、編成セットの各々において、二次方程式が所与のセットにおけるＩＳＯ設定及び露出時間に対するカメラのノイズ応答のノイズプロファイルを作成する。例えば、編成されたセットの各々において、二次方程式モデルが、ＩＳＯ設定及び露出時間に対するカメラのスタックピクセル応答のスタックピクセルプロファイルを作成する。カメラに対する結果として得られたプロファイルは、図４のＲＡＷ処理段４００での前処理中に後で用いるためにデータベースにおける少数の浮動小数点値の形式で記憶される（ブロック６１０）。次に、前のステップが１つ又はそれ以上の付加的なカメラに対して繰り返され、これらの特定のカメラについてのプロファイルを記憶できるようにする（ブロック６１２）。
【００６０】
最後に、種々のカメラを特徴付ける記憶されたプロファイルデータを用いて、ノイズに対して所与のＲＡＷ画像をどの程度調整したらよいかを決定することができる。ＲＡＷ画像が図４のＲＡＷ処理段４００で処理されているときには、例えば、ＲＡＷ画像に関連付けられたカメラモデル、ＩＳＯ設定、及び露出時間が、関連するメタデータから取得される（ブロック６１４）。カメラモデルのための適切なプロファイルデータは、メモリ内に位置付けられる（ブロック６１６）。所与のＩＳＯ設定及び露出時間情報は、その特定のカメラモデルのためのノイズプロファイルの式にプラグインされ、その画像に対するノイズの推定量が計算から決定される（ブロック６１８）。次に、所与のＩＳＯ設定及び露出時間情報は、そのカメラモデルのためのスタックピクセルプロファイルの式にプラグインされ、その画像に対してスタックピクセル除去を可能又は不能にするかどうかが判定される（ブロック６２０）。
【００６１】
図４のＲＡＷ処理段４００においてＲＡＷ画像を処理するときに、前のステップで決定されたノイズ及びスタックピクセルについての推定情報を用いて、処理を調整することができる。例えば、情報は、ＲＡＷ画像を再構成する間に、ノイズ低減及びスタックピクセル除去を実施するかどうか、及びどの程度まで実施するかを決定することができる。更に、情報は、ＲＡＷ画像を再構成する間又はその後で、ランピングダウン鮮鋭化を実施するかどうか、及びどの程度まで実施するかを決定することができる。最後に、情報は、彩度−ブラー、ディープシャドーエリアにおける明示的な脱飽和、或いはコントラストブースト中の飽和制御のための階調再現曲線を使用して、再構成の終わりにＲＡＷ画像からＲＧＢへの変換中にノイズの色彩豊富さを制御するかどうか及びどの程度まで制御するかを決定することができる。これらのプロセスは、本開示において後で説明する。
【００６２】
４．自動露出調整
図４を参照すると、ＲＡＷ処理段４００は、第４ステップ４４０を含み、ここでＲＡＷ画像４０２に自動露出調整が行われる。自動露出調整は、その露出が予め設定された基準を満たすようにＲＡＷ画像４０２の輝度を調整する。好ましくは、調整は、ＲＡＷ処理段４００での調整用に既に記憶されている予め設定された輝度変数を使用する。予め設定された輝度変数は、露出調整された種々の画像をビューしている複数の人々から得られた調査情報に基づく。調査は、複数の露出で種々のカメラによって生成された基準画像を使用する。これらの基準画像の平均輝度がコンピュータにより計算される。Ｍｏｎｔｅ Ｃａｒｌｏシミュレーションを使用してこれらの基準画像の輝度変数を変えるために、最も視覚的に心地よい画像の実施例を選択するよう調査参加者に求める。次いで、調査結果は、オリジナル入力輝度に相関付けられた輝度変数を有する結果として得られる許容可能な露出に収束する。
【００６３】
結果は、特定のカメラに関連付けられ、後処理のために記憶される。ＲＡＷ画像４０２が処理のために受け取られると、自動露出調整が、ＲＡＷ画像４０２の平均輝度を計算し、関連のメタデータから露出を決定する。次に、記憶された調査結果を使用して、自動露出調整は、心地よい結果が得られるように使用された平均輝度及び露出に基づいてどの輝度変数を画像４０２に適用するかを決定する。最後に、ＲＡＷ画像４０２の輝度は、自動処理で決定された輝度変数によって調整される。
【００６４】
５．補間プロセス
ＲＡＷ処理段４００の第５ステップは、デモザイク（デベイヤー処理）プロセスの一部である補間プロセス４５０を包含する。補間プロセス４５０は、結果として生じるＲＧＢ画像を生成するために、最終の彩度−ブラーオペレーション４６０となる幾つかのサブステップ４５１−４５８を使用する。これらのサブステップ４５１−４５８は、ハーフサイズ緑エッジ画像を作成する段階（４５１）、補間方向マップを決定する段階（４５２）、緑再構成画像を構成する段階（４５３）、緑再構成画像を鮮鋭化する段階（４５４）、ブラーハーフサイズＲＧＢ画像を作成する段階（４５６）、及び赤再構成画像及び青再構成画像を構成する段階（４５３）を含む。これらのステップ４５１−４５８及び４６０の各々について以下で説明する。最終的に、これらのサブステップ４５１−４５８からの緑、赤、青、及びブラーＲＧＢ画像は、以下で同様に説明される彩度−ブラーオペレーション４６０において結合される。
【００６５】
一般に、補間プロセス４５０は、最初にＲＡＷ画像４０２のフォトサイトのための輝度チャンネル（すなわち、緑チャンネル）を補間し、次にＲＡＷ画像４０２のフォトサイトのための色チャンネル（すなわち、赤及び青チャンネル）を補間し、最後に、各チャンネルを結合してＲ、Ｇ、及びＢ値を備えたピクセルを有する結果として得られるＲＧＢ画像を作成することによって、階調度ベースの補間を使用する。
【００６６】
ａ．ハーフサイズ緑エッジ画像
人間の眼は輝度の変化を感知するので、エッジが緑チャンネルで見つけられ、これによってこれらのエッジに基づいて補間を実施することができるようになる。サブステップ４５１は、ＲＡＷ画像４０２からハーフサイズ緑エッジ画像を構成し、よって、緑エッジ画像が、オリジナルＲＡＷ画像４０２の輝度の変化によって生じるエッジを示すことができるようになる。図７は、ＲＡＷ画像７１０（その一部のみが示されている）のベイヤー符号化データからハーフサイズ緑エッジ画像７５０を作成するためのプロセス７００を示している。ＲＡＷ画像７１０は、複数の２ｘ２セルを有し、各セルは、２つの緑サンプル（Ｇ１、Ｇ２）と、１つの赤サンプル（Ｒ）と、１つの青サンプル（Ｂ）とを有し、これらはベイヤーパターンで配列されたフォトサイトである。種々のパターンが当該技術で公知であり使用されているが、本明細書に示されるパターンの一部は、単に例示的なものである。
【００６７】
ハーフサイズ緑エッジ画像７５０を作成するために、ベイヤー符号化ＲＡＷ画像７１０の緑サンプル（Ｇ１、Ｇ２）のみが使用され、赤及び青サンプルは無視される。最初に、ＲＡＷ画像７１０の２ｘ２セルの各々の２つの緑サンプル（Ｇ１、Ｇ２）が平均化され、中間ハーフサイズ緑画像７２０の対応する緑値を生成する。従って、ハーフサイズ緑画像７２０は緑値のみを有し、オリジナルＲＡＷ画像７１０のサイズの半分である。次に、緑サンプルの値に対する第１導関数（すなわち、変化率）（Ｇ）は、水平及び垂直方向の両方で計算される。次いで、値の各々についての水平及び垂直第１導関数の二乗が合計されて、エッジ画像７３０を生成する。次に、単一ピクセルブラープロセス７４０の２つのパスがエッジ画像７３０に対して実施され、ブラーされた結果として得られるハーフサイズ緑エッジ画像７５０を生成する。
【００６８】
単一ピクセルブラープロセス７４０では、プロセス７４０の第１パスが、各ピクセルの４つの近傍に対して０．５の中心部重みを有するエッジ画像７３０全体にわたって実施される。次にプロセス７４０の第２パスが、各ピクセルの４つの近傍に対して０．１２５の中心部重みを有する以前にブラーされたエッジ画像７３０全体に対して実施され、結果として得られるハーフサイズ緑エッジ画像７５０を生成する。図４に示されるように、このステップ４５２の結果として得られるハーフサイズ緑エッジ画像は、他のステップによって後処理に使用されることになる。
【００６９】
ｂ．補間方向決定マップ
図４を参照すると、補間プロセス４５０のサブステップ４５２は、補間方向決定マップを作成し、該マップを使用して、ＲＡＷ画像４０２に位置付けられたＲ又はＢチャンネルを有するフォトサイトに対する欠落緑値をどのように埋めるかを決定する。１つの実施形態では、ベイヤーパターンの２ｘ２セルの各々における隣接する赤及び青サンプルを平均化し、標準デモザイク処理技術を使用してフォトサイトに対する欠落緑値を決定することができる。好ましい実施形態では、ＲＡＷ画像４０２における垂直又は水平近傍サンプルのいずれかを用いて、赤又は青であるこれらのサンプルに対する緑チャンネルを決定する。例えば、一般画像の領域が水平に向いたエッジ又はストライプを有する場合、その領域におけるＲ及びＢフォトサイトの水平近傍を用いて、これらの緑チャンネル値を決定するのが好ましい。他方、一般画像の領域が垂直に向いたエッジ又はストライプを有する場合、その領域におけるＲ及びＢフォトサイトの垂直近傍を用いて、これらの緑チャンネル値を決定するのが好ましい。
【００７０】
補間に使用されることになる水平又は垂直方向を決定するために、ＲＡＷ画像４０２のＲ、Ｇ、及びＢチャンネルの階調度が各フォトサイトについて計算される。次に、階調度は補間方向決定マップにマッピングされ、該マップを用いて、ＲＡＷ画像４０２における所与のＲ又はＢフォトサイトでの欠落緑チャンネル値をどのように埋めるかを決定する。一般に、緑チャンネルに対する階調度は、緑チャンネルに対する階調度がローカルで変化しないことを示す場合、Ｒ又はＢフォトサイトに対する欠落緑チャンネル値をどのように埋めるかを決定する際に、最も強い影響力を及ぼす。緑チャンネルの階調度がローカルに変化している場合、所与のフォトサイトに対する緑でないチャンネルの階調度を用いて、その欠落緑値をどのように埋めるかを決定する。フォトサイトでの緑値の階調度は、そのロケーションでのハーフサイズ緑エッジ画像を調べることによって決定することができる。
【００７１】
次いで、各フォトサイトに対する決定方向は、投票値としてマップに入力される。例えば、投票値「１」は、フォトサイトでの欠落緑チャンネルを補間するのに使用されるマップでの水平方向に対する決定に対応し、投票値「０」は、フォトサイトでの欠落緑チャンネルを補間するのに使用される垂直方向に対する決定である。次に、これらの投票値は、欠落緑チャンネル値を埋めるのに使用される投票プロセスで使用される。欠落緑チャンネル値を埋める実際のステップについては、以下の緑再構成ステップ４５３を参照して説明する。
【００７２】
ｃ．緑再構成画像
補間プロセス４５０のサブステップ４５３は、ステップ４４０からのオリジナルベイヤー・パック画像、サブステップ４５１からのハーフサイズ緑エッジ画像、及びサブステップ４５２の補間方向決定マップを使用して、緑再構成画像を作成する。図８には、緑再構成画像８５０を作成するためのプロセス８００の１つの実施形態が概略的に示されている。画像８５０を作成するために、ＲＡＷ画像８１０におけるフォトサイトに対する緑チャンネルＧの各々は、緑再構成画像８５０における対応するフォトサイトに対して維持される。例えば、ＲＡＷ画像８１０における緑サンプルＧ43の値は、緑再構成画像８５０において使用されるものと同じである。しかしながら、ＲＡＷ画像８１０におけるＲ及びＢチャンネルのフォトサイトは緑値を有しておらず、よって、補間方向決定マップ８２０を使用して緑再構成画像８５０における各値を補間しなければならない。例えば、緑再構成画像８５０における選択されたフォトサイト８５２は、ＲＡＷ画像８１０における青サンプルＢ44に相当するので緑値を有していない。
【００７３】
上記で言及されたように、投票プロセスを用いて、Ｒ及びＢサンプルの欠落緑値を埋めるときにどの方向を使用するかを決定する。投票プロセスによって、補間方向決定マップ８２０におけるサンプルの近傍を分析できるようになり、これによって近傍内の方向決定の平均値を用いて、欠落緑値を埋めるのにどの方向を使用するかを決定することができる。
【００７４】
補間方向決定マップ８２０は、各ピクセルロケーションでの方向性投票を有する。投票プロセスは、決定マップ８２０を使用し、幾つかの方法で実施することができる。例えば、マップ８２０における種々の方向決定Ｄは、水平に対して「１」とし、垂直に対して「０」とすることができる。１つの代替形態では、選択されたフォトサイト８５２に対応する単一投票決定８２２を単独で用いて、補間に対する方向を決定することができる。別の代替形態では、決定の近傍８２４からの複数の投票の一致を採用することができ、複数の決定の一致は、選択されたフォトサイト８５２の緑値を補間するのにどの方向を使用するかを決定することができる。
【００７５】
完全投票は、使用できる一致投票の１つの種類である。完全投票は、サンプルの奇数（例えば、３Ｘ３又は５Ｘ５サンプル）から成る決定の近傍８２４を使用する。総和は、全近傍８２４に対する決定値から計算される。総和が近傍８２４におけるフォトサイトの総数の半分よりも大きい場合、選択されたフォトサイト８５２の決定に対して「１」（水平方向）が使用される。そうでない場合には、「０」（垂直方向）が使用される。
【００７６】
通過帯域投票は、使用できる投票の別の種類である。この種類の投票では、近傍のフォトサイトの決定値の総和が計算される（選択されたフォトサイト８５２の中心決定８２２を除く。この総和が予め設定された閾値よりも小さい場合、決定値は、選択されたフォトサイト８５２に対して「０」（垂直方向）に設定される。総和が別の予め設定された閾値よりも大きい場合、決定値は、選択されたフォトサイト８５２に対して「１」（水平方向）に設定される。閾値は、使用される近傍８２４のサイズに応じて変わる。総和がこれらの閾値に等しいか又はその間である場合、選択されたフォトサイト８５２の中心決定８２２だけが残される。
【００７７】
３Ｘ３近傍８２４では、８つの近傍の決定が存在する（中心決定８２２を除外した場合）。「広通過帯域投票」では、低閾値を「２」とすることができ、高閾値を「６」とすることができる。「狭通過帯域投票」では、高閾値を「４」とすることができ、低閾値を「４」とすることができ、これは、近傍の決定を使用される中心決定８２２に正確に結び付けなくてはならないことを示している。広通過帯域投票は、選択されたフォトサイト８５２の自然方向基本設定に影響を与える可能性がないので好ましい。
【００７８】
選択されたフォトサイト８５２の緑値を決定するのに使用される方向（垂直又は水平）を決定した後、数学的計算は、ＲＡＷ画像８１０におけるサンプルを使用して、緑再構成画像８５０における選択されたフォトサイト８５２の緑値を決定する。最初に、選択された方向での２つの緑サンプルの平均値が、選択されたフォトサイト８５２の緑値のベース結果に対して使用される。図８では、例えば決定された方向が垂直であり、これによって緑サンプルＧ４３及びＧ４５の緑値の平均値が決定され、選択されたフォトサイト８５２に対する結果のベース（例えば、緑結果）として使用されるようになる。しかしながら、ＲＡＷ画像８１０における対応するサンプル（赤又は青のいずれか）８１２の値に基づいて緑結果に対して調整が行われる。最初に、サンプリング方向における近傍のような対応するサンプルの２つの平均値が計算される（例えば、Ａｖｅｒａｇｅ（平均）＝（Ｂ42＋Ｂ46）／２）。次に、平均値からの中心サンプル８１２の値の差が計算される（例えば、Ｄｉｆｆｅｒｅｎｃｅ（差）＝Ｂ44−Ａｖｅｒａｇｅ（平均））。この差は、スケール調整された差を生成するために、緑エッジが対応するサンプル８１２に対してどれ程強いかによってスケール調整される。（図４のサブステップ４５１の以前に構成された緑エッジ画像を用いて、対応するサンプルでエッジを決定することができる。）最後に、緑再構成画像８５０における選択されたフォトサイト８５２の結果として得られる緑値Ｇが、緑結果に加えられるスケール調整された差として計算される。これは、緑エッジの多くを有するエリアにおける値の他のチャンネル（Ｒ又はＢのいずれか）により依存する効果を有する。
【００７９】
全プロセス８００は、緑再構成画像８５０が緑値で完全に埋められるまで繰り返され、すなわち、これらの緑値は、ＲＡＷ画像８１０から直接取得され、上述された決定マップ及び投票を使用して補間される。
【００８０】
ｄ．緑鮮鋭化
図４を参照すると、補間プロセス４５０の後続のサブステップ４５４が、上記からの緑再構成画像８５０に対して緑鮮鋭化オペレーションを行う。最初に、緑画像が知覚グラデーションにできるだけ近接したスペースに変換される。次に、知覚的に漸変された再構成緑画像が、鮮鋭化オペレーションの半径によってブラーされ、ブラー再構成緑画像を生成する。ブラー再構成緑画像は、知覚的に漸変された再構成緑画像から差し引かれ、緑高域画像を生成する。緑高域画像は、緑再構成画像の高周波情報を包含する。緑高域画像は、２つの目的のために使用される。第１の目的は、画像を鮮鋭化することである。一時的に鮮鋭化された緑再構成画像は、オリジナル画像に対して予め設定された鮮鋭化係数倍だけ緑高域画像を加えることによって生成される。第２の目的は、エッジマスクを計算して、鮮鋭化オペレーションが画像のエッジにのみ働くよう制約することができるようにすることである。エッジマスクは、緑高域画像の絶対値を取り、これを僅かの量だけブラーして、次いで大きな係数でそのコントラストを引き上げることによって生成される。結果として得られるものは、予め設定されたレベルの閾値であり、範囲０．．．１までクランプされて、エッジマスク画像を生成する。エッジマスク画像は、鮮鋭化された緑再構成画像８７０を形成するために、一時的に鮮鋭化された緑再構成画像のどのエリアが緑再構成画像とミックスされるかを決定するためのマスクとして使用される。その後、この鮮鋭化された緑再構成画像８５０は、赤再構成画像及び青再構成画像と結合され、各サンプルでＲＧＢ値を有する画像を生成する。
【００８１】
ｅ．ブラーハーフサイズＲＧＢ画像
図４を参照すると、補間プロセス４５０のサブステップ４５６が、後で説明される彩度−ブラーオペレーション４６０で使用されることになるブラーハーフサイズＲＧＢ画像を作成する。図９は、このステップへの入力として使用されるＲＡＷ画像９１０のベイヤー符号化データの一部の実施例を示す。最初に、中間ハーフサイズＲＧＢ画像９２０の各ピクセル９２２に与えられる緑値（Ｇ）は、オリジナルフルサイズＲＡＷ画像６１０の２ｘ２セル９１２の２つの緑フォトサイト（Ｇ１、Ｇ２）の平均値を使用して決定される。赤及び青サンプル（Ｒ、Ｂ）は、畳み込みリサンプリング又は類似の技術を使用して近傍の同じカラー（Ｒ、Ｂ）サンプルから追加された小さな寄与分と共に、オリジナルフルサイズ画像９１０の２ｘ２セル９１２に見られる色（Ｒ、Ｂ）の単一のサンプルに主に基づいて各ピクセル９２２に与えられる。最後に、中間ハーフサイズＲＧＢ画像９２０は、ガウスカーネル９３０によってブラーされ、結果として得られるハーフサイズブラーＲＧＢ画像９４０を生成する。限定ではないが、ガウスブラー、選択的ブラー、バイラテラルフィルタ、メディアンフィルタ、及びボックスフィルタを含む１つ又はそれ以上の他のブラーオペレーションを使用することができる。この結果として得られる画像９４０は、後で説明される図４の彩度ブラーステップ４６０で使用できるようなブラーを有する。
【００８２】
ｆ．赤及び青再構成画像
図４の補間プロセス４５０において、サブステップ４５８は、赤再構成画像及び青再構成画像を作成する。図１０は、赤再構成画像１０５０と、図１０では部分的にのみ示されている別個の青再構成画像１０７０とを作成するためのプロセス１０００を概略的に示している。
【００８３】
再構成プロセス１０００では、ＲＡＷ画像１０１０の各フォトサイトがサンプリングされる。ＲＡＷ画像１０１０の現在のサンプルが正しいチャンネル（すなわち、Ｒ又はＢ）である場合、再構成画像（１０５０又は１０７０）における結果として得られるサンプルの値は、オリジナルサンプルに「緑鮮鋭化差」を加えた値に等しい。オペレーション中のこのポイントでは、図４のＲＡＷ画像プロセス４００は、鮮鋭化緑再構成画像（サブステップ４５４）及び非鮮鋭化緑再構成画像（サブステップ４５３）が作成されている。「緑鮮鋭化差」は、鮮鋭化緑再構成画像（サブステップ４５４から）におけるそのサンプルポイントでの緑チャンネルと、非鮮鋭化緑再構成画像（サブステップ４５３から）におけるそのサンプルポイントでの緑チャンネルとの間の差である。「緑鮮鋭化差」は、再構成時にいずれかの緑鮮鋭化を赤及び青チャンネルに同様に適用する効果を有する。例えば、図１０の赤再構成画像１０５０を再構成する際に、現在のサンプル１０１２は、正しいＲチャンネルであり、赤再構成画像１０５０における結果として得られる赤フォトサイト１０５２は、オリジナルサンプル１０１２に「鮮鋭化差」を加えた値である。
【００８４】
ＲＡＷ画像１０１０における現在のサンプルが正しいチャンネル（Ｒ又はＢ）でない場合、現在のサンプルが所望のチャンネルの直接水平又は垂直近傍を有するかどうかの決定が行われる。有する場合には、水平又は垂直近傍の平均値が取られ、「緑鮮鋭化差」が加えられて、再構成画像における結果として得られるサンプルを生成する。例えば、図１０の赤再構成画像１０５０を再構成する際には、現在のサンプル１０１４は、正しいチャンネルではない（すなわち、Ｒではない）。従って、赤再構成画像１０５０における結果として得られる赤フォトサイト１０５４は、正しいチャンネル（すなわちＲ）の水平近傍の平均値に上記で説明された「鮮鋭化差」を加えたものである。
【００８５】
ＲＡＷ画像１０１０における現在のサンプルが正しいチャンネルではなく、正しいチャンネルの直接水平又は垂直近傍を持たない場合、全ての４つの対角近傍の平均値が計算され、「緑鮮鋭化差」が加えられて、再構成画像における結果として得られるサンプルを生成する。例えば、図１０の青再構成画像１０７０を再構成する際には、現在のサンプル１０１６は正しいチャンネル（すなわち、青再構成のためのＢ）ではなく、正確なＢチャンネルの水平又は垂直近傍を持たない。従って、青再構成画像１０７０における結果として得られる青フォトサイト１０７６は、正しいチャンネル（すなわち、Ｂ）の対角近傍の平均値に上記で説明された「緑鮮鋭化差」を加えたものである。再構成プロセスの最終結果は、後のプロセスで結合されて結果として得られるＲＧＢ画像を生成するまでバッファ内に記憶できる赤再構成画像１０５０及び青再構成画像１０７０である。
【００８６】
ｇ．彩度ブラーオペレーション
最後に、図４の彩度−ブラーオペレーション４６０は、サブステップ４５４からの鮮鋭化緑再構成画像、サブステップ４５６からのハーフサイズブラーＲＧＢ画像、及びサブステップ４５８からの赤及び青再構成画像を使用し、フルＲＧＢ画像を生成する。図１１は、図４の自動化処理のための彩度ブラーオペレーション１１００の１つの実施形態を示す。最初に、以前の処理からの赤再構成画像１１０２、鮮鋭化緑再構成画像１１０４、及び青再構成画像１１０６が取得され（ブロック１１１０）、これらから個々のＲ、Ｇ及びＢサンプル値の各々を再構成ＲＧＢ画像におけるＲＧＢピクセルとして結合することにより、再構成ＲＧＢ画像が作成される（ブロック１１１２）。次に各ピクセルでの再構成ＲＧＢ画像の輝度が計算される（ブロック１１１４）。次いで、バイリニア補間を使用して、ハーフサイズブラーＲＧＢ画像１１０８をフルサイズブラー画像にリサイズし（ブロック１１２０）、フルサイズブラー画像における各ピクセルの輝度が計算される（ブロック１１２２）。次に、各ピクセルでのフルサイズブラー画像のブラーされた色の輝度が、再構成ＲＧＢ画像の輝度に一致するようにスケール調整される（ブロック１１３０）。最後に、この高速彩度ブラーオペレーション１１００から、色縁が低減されたフルサイズＲＧＢ画像が得られる（ブロック１１４０）。
【００８７】
Ｅ．ＲＡＷ画像処理パイプラインにおける変換段の詳細
１．特性行列の導出
図３のブロック３３４で既に言及されたように、カメラＲＧＢ画像をＸＹＺ三刺激値に変換するための特性行列が事前計算され、画像のホワイトバランスと共に使用されて、カメラＲＧＢからＸＹＺ三刺激値への最適行列変換を推定する。図１２では、自動化ＲＡＷ処理における変換のための特性行列を導出するプロセス１２００の１つの実施形態がフローチャート形式で示されている。プロセス１２００では、複数のカメラ特性行列（例えば、Ｍ１、Ｍ２、その他）が、複数のカメラ、カメラのタイプ、カメラのモデル、製造物、イメージングセンサ、又は他のカテゴリーに対して導出される。プロセス１２００は、図３のＲＡＷ処理中に補間行列を選ぶ際のユーザー介入及び主観性を排除することを目的としており、カメラ、タイプ、製造者、又は他のカテゴリー毎のＲＡＷ変換のパラメータを自動的に導出する。
【００８８】
最初に、カラーチャート（例えば、Ｍａｃｂｅｔｈカラーチェッカー）の基準画像又は同様のものが、特定のカメラ及び１つの公知の光源（例えば、光源Ａ、Ｄ６５、その他）を使用して取得される（ブロック１２０２）。これは、このカメラによって生成される唯一の基準画像ではない。以下で詳述されるように、このような複数の基準画像が所与のカメラ、カメラのタイプ、カメラのモデル、カメラ製造者、カメラのイメージングセンサのタイプ、又は他のカテゴリーに対して取得される。基準画像は、ラボで作ることができ、カラーチャートは、種々のカラーパッチ、ハイライト、シャドー、その他を包含することができ、複数の標準的な光源を有する照明ボックス内に位置付けることができる。
【００８９】
同じ光源の下で、比色計などの標準的器具を使用してカラーチャートからの種々のカラー領域又はパッチに対してＸ、Ｙ、Ｚ色値が測定される（ブロック１２０４）。次に、領域に対するＲＧＢ値が、これらの領域に対して測定された対応するＸＹＺ三刺激値に数学的にフィット（当てはめ）される（ブロック１２０６）。フィッティングプロセスは、基準画像のＲＧＢ値をチャートから測定されたＸＹＺ三刺激値に相関付ける行列の行列係数の値を求める段階を包含する。包含される三刺激カラースペースに起因して、行列は、フィットを解くのに関連した９つの変数があるように３ｘ３になる可能性が高い。フィッティングプロセスでは、基準画像のオリジナルホワイトバランスは無視される。従って、オリジナルホワイトバランスが無視されるので、フィッティングプロセスは、カメラが較正されているとは仮定しない。代わりに、行列係数の値を求めるのに固定ホワイトバランスが使用される。ホワイトバランスは通常、３つの値を有するベクトル
ｐ（上付→）
として表される。フィッティングプロセスでは、ベクトル
ｐ（上付→）
の各値は１に等しく、フィッティングプロセスにおけるホワイトバランスのどのような影響も認識されないようにされる。
【００９０】
フィッティングプロセスでは、好ましくは、チャートの幾つかのカラーパッチ又は領域を用いて、行列の係数を導出する。従って、プロセス１２００は、同じ光源の下の同じカラーチャート及び／又は同じ光源の下の異なるカラーチャートの種々のカラーパッチに対して繰り返すことができる（ブロック１２１０）。次に、導出された行列の係数に対してバランスが見つけられ、同じ光源を使用する種々の色に対して測定された測定ＸＹＺ三刺激値に種々の色のＲＧＢ値を相関付けるための適切な重み付けを有することができるようになる（ブロック１２１２）。最後に、プロセス１２００は、この第１カメラ及びこの第１光源に対する第１特性行列Ｍ1を導出する。この第１行列Ｍ１は、３ｘＮ行列であり、ｎは、カメラに対するチャンネルの数（例えば、Ｒ、Ｇ、Ｂ）に対応する。
【００９１】
第１カメラ特性行列Ｍ1の導出後、１２０２から１２１２のブロックは、以前に使用された同じカメラを使用する１つ又はそれ以上の付加的な光源に対して１回又はそれ以上繰り返される（ブロック１２１４）。１つ又はそれ以上のカラーチャートの以前の測定値を再使用することができる。これらのステップを繰り返した結果、異なる光源であるが同じカメラに対する複数のカメラ特性行列が得られる。これらの行列の行列係数は、種々の画像が種々の光源の下で１つ又はそれ以上のカラーチャートの対応する測定値に一致するときにカラー誤差を低減するように最適化又は調整される（ブロック１２１６）。これは、テスト及び調整を利用して行うことができる。最適化されると、各行列の係数は、その特定の行列に対する正規化係数を使用して正規化される（ブロック１２１８）。好ましくは、所与の行列に対する正規化係数は、行列の対角係数の和であり、行列の各係数がこの和によって除算されるようにする。
【００９２】
最後に、１つ又はそれ以上の付加的なカメラ、モデル、その他に対して、ブロック１２０２から１２１８の全プロセスを繰り返すことができる（ブロック１２２０）。結果として、複数のカメラ特性行列が得られる。これらのカメラ特性行列の各々は、対応する光源及び１つのカメラ、タイプ、モデル、製造物、又は同様のものに関連付けられる。次にこれらのカメラ特性行列は、図１４に関して以下に説明される後続の処理において補間が実施されたときに後でアクセスするために記憶される（ブロック１２２２）。
【００９３】
上述のように、複数のカメラ特性行列は、ラボのカメラに対して作られ、本開示の自動ＲＡＷ画像処理中に後でアクセスするために記憶することができる。従って、複数のカメラは、メモリ内に記憶されたその固有のカメラ特性行列を有することができる。自動前処理中、ＲＡＷ画像に対するメタデータを使用して、画像に対する適切なカメラ特性行列をメモリから選択することができる。カメラに対して行列を予め設定することに加えて、ユーザーは、上記の技術を使用してライティング環境を注意深く構成し、更にカラー較正ターゲットを使用することによって、ユーザーのカメラに対する特性行列を独自に作成できる。
【００９４】
２．ブラック補正の導出
図３において既に述べたように、ブラック補正プロセス３３０は、ＸＹＺカラースペースへの第１変換段３０２内でカメラＲＧＢ画像３２９に対して実施される。プロセス３３０は、補正を行うために導出されたブラックレベル調整を使用する。ブラックレベル調整は、カメラに対して導出されたカメラ特性行列（Ｍ1及びＭ2）において具現化され、その特性行列から、及びカメラから受け取ったホワイトバランス情報から生成された変換行列（Ｍ）によって行われる。図１３は、本開示の自動化ＲＡＷ処理で使用されるブラックレベル調整を導出するためのプロセス１３００の１つの実施形態を示す。
【００９５】
ブラック補正値を導出するプロセス１３００は、図１２に関して上述されたカメラ特性行列を導出するプロセスに組み込まれる。上述のように、図１２の行列導出プロセス１２００は、公知の光源を使用してチャートの基準画像を取得する段階を包含する。このステップの一部は更に、取り込まれた画像に対する標準的なブラックレベルオフセット（存在する場合）を差し引く段階を包含する（ブロック１３０２）。次に、前述と同様に、基準画像における領域に対するＲＧＢ三刺激値が、カラーチャートからの測定されたＸＹＺ三刺激値にフィットされ、特性行列を導出する（ブロック１３０４）。このフィッティングプロセスは、幾つの数のカラーパッチが分析されるかに関わらず、特性行列の係数の変数の数すなわち３ｘ３行列での９つの変数に起因してある量のフィッティング誤差を生じる。
【００９６】
誤差を低減するために、ブラック補正の変数がフィッティングプロセスで使用される。これらのブラック補正変数の各１つは、基準画像のカラーチャンネル（Ｒ、Ｇ、Ｂ）の１つから差し引かれる。このようにして、ブロック１３０４は、１２の変数（すなわち、行列からの９つとＲＧＢチャンネルのオフセットに対する３つ）を使用して基準画像のＲＧＢ三刺激値を測定されたＸＹＺ三刺激値にフィットさせることになる。次いで、導出は、カラー誤差が閾値レベルに低減されるまで、ブロック１３０４のフィッティングプロセスのブラック補正変数の値を用いて実施される（ブロック１３０６）。このように、各カラーチャンネルに対する最適ブラック補正変数は、２つのカラーセット、すなわち基準画像における測定されたカラーセットと推定されたカラーセットとの間のカラー誤差を最小にすることによって得られる。これらのブラック補正変数は、標準的ブラックオフセットに加えて付加的なブラック調整を表している。
【００９７】
次にブラック補正変数は、処理中に後でアクセスするために編成及び記憶することができる（ブロック１３１０）。例えば、ブラック補正変数を編成するために、これらブラック補正変数を導出するのに使用された対応するカメラ及び光源に対する特性行列とこれらとを関連付けることができる。従って、各特性行列は、関連付けられたブラック補正変数を有することができる。更に、ブラック補正変数は、これらを導出するのに使用された種々の条件に関連付けることができる。これらの条件は、限定ではないが、使用される光源、画像コンテンツ、ホワイトポイントカメラ設定、及び包含するＩＳＯ感度を含むことができる。ブラック補正変数間の様々な依存性は、変数の値がクラスタリングの特徴を示す場合には、グループ分け間で平均化することができる。更に、変数が一致していない場合、異なるブラック補正変数をその様々な条件に基づいて区別し分類することができる。
【００９８】
プロセス１３００は、ＲＡＷ画像処理に使用される最適ブラックレベル補正のより客観的且つ一貫した決定を提供する。例えば、図３のパイプライン３００では、これらのブラック補正変数は、行列変換が実施される前に、ステップ３３０でカメラＲＧＢ画像３２９のＲＧＢ三刺激値から最初に差し引かれ、変換におけるカラー誤差を低減することができるようにする。使用されるブラック補正変数のどのセットを選択するかは、メタデータ３１４におけるカメラ、タイプ、モデル、その他に基づくことができる。更に、選択は、異なる内部撮影条件（カメラＩＳＯ設定、露出時間、その他など）、或いは光源などの外部条件に基づくことができ、これらは、メタデータ３１４の情報に示すことができる。
【００９９】
更に、処理中にどのブラック補正変数を使用するかについての選択は、変数のセット間の平均又は補間に基づくことができる。前述のように、ブラック補正変数の第１セットは、第１光源に対して導出されて、第１特性行列Ｍ1に関連付けられ、ブラック補正変数の第２セットは、第２光源に対して導出されて、第２特性行列Ｍ2に関連付けられる。この２つのセットは記憶され、次のセクションで検討される最適変換行列Ｍを計算するのに使用される特性行列Ｍ1及びＭ2に関連付けることができる。１つの実施形態では、最適ブラック補正変数は、以下で検討する最適変換行列Ｍを計算するのに使用される特性行列Ｍ1及びＭ2に関連付けられた、変数の第１セットと第２セット間の固定平均値から計算される。或いは、最適ブラック補正変数は、ブラック補正変数のセット間の線形補間を使用して計算される。線形補間は、以下で検討される最適変換行列Ｍを計算するのに使用される同じ補間係数を適用する。
【０１００】
３．変換行列の計算
図３のＲＡＷ画像処理で既に言及されたように、行列変換プロセス３３２がカメラＲＧＢ画像３２９に対して実行され、該カメラＲＧＢ画像３２９をＸＹＺ三刺激値に変換する。プロセス３３２は、変換行列Ｍを使用して変換を行う。変換行列Ｍは３ｘＮ行列であり、ここでｎはカメラに対するチャンネル数である。変換行列Ｍは、ホワイトバランスと、２つの基準光源に対応する少なくとも２つの事前計算されたカメラ特性行列とに依存し、使用される特定のカメラ、カメラのタイプ、製造物、その他に基づいて計算される。
【０１０１】
図１４は、本開示の自動化ＲＡＷ処理で使用される変換行列（Ｍ）を計算するためのプロセス１４００の１つの実施形態を示す。プロセス１４００は、変換時に１つの画像に対して動的に実施され、１つの画像当たりのカメラからのホワイトバランスを使用して、及び少なくとも２つの基準光源に対応する予め定義された特性行列を使用して変換行列Ｍを求め、カメラＲＧＢをＸＹＺ三刺激値に変換する。
【０１０２】
詳細には、変換行列Ｍは、特性行列Ｍ1及びＭ2と、画像に依存しメタデータ（例えば、図３の３１４）としてカメラによって提供されるカメラに固有のホワイトバランス情報
ｐ（上付→）
から導出される。ホワイトバランス情報
ｐ（上付→）
は３つの値のベクトルであり、正規化されると、第３の要素は１に等しいので、２つの有意な要素のみを有する。反復プロセスを介して、画像のホワイトポイントＷに対する行列式は、Ｍ1、Ｍ2を使用して及び画像のホワイトバランス
ｐ（上付→）
を使用して解かれる。解は、固有行列Ｍ及び固有ホワイトポイントＷに収束する。
【０１０３】
プロセス１４００は、カメラの所与のタイプ、カメラの所与のスタイル、個々のカメラ、製造者、又は他の特徴に特定することができる変換行列Ｍを解き、最適変換行列Ｍを導出する彩度スケーリング係数及び適切なホワイトバランスを求める。以下で説明されるプロセス１４００では、２つの特性行列Ｍ1、Ｍ2のみが使用される。他の実施形態は、一般に補間を改善できる２つよりも多い特性行列を使用することができる。
【０１０４】
図６に関して上述されたように、所与のカメラに対する複数の特性行列Ｍ1、Ｍ2、Ｍｎは、種々の光源の下で同じシーンの画像をタックすることによって生成される。例えば、Ｍ1は、光源Ａによって作られたカメラ特性行列（ｘａ＝．４４７６、ｙａ＝．４０７４）とすることができ、Ｍ2は、光源Ｄ６５によって作られたカメラ特性行列（ｘｄ＝．３１２７、ｙｄ＝．３２９０）とすることができる。光源は、ＸＹＺスペース又はＣＩＥ−１９３１彩度スペースｘ、ｙのいずれかにおけるベクトルとして表すことができる。
【０１０５】
複数の特性行列Ｍ1、Ｍ2、．．．、Ｍｎは、１からｎまでの相関色温度に基づいて順序付けられる。次いで、最も遠い光源を用いて、処理されているＲＡＷ画像において推定光源に収束する所与のカメラに対する好ましい変換行列Ｍを導出することによって、シーンの実際の光源を推定する。最初に、以前に決定されたカメラ特性行列Ｍ1及びＭ2が入力され（ブロック１４０２）、初期値が設定される（ブロック１４０４）。初期値は、第１特性行列Ｍ１に等しい第１中間行列ｍａ１セットと、第２特性行列Ｍ２に等しい第２中間行列ｍａ２セットとを含む。Ｍ1、Ｍ2に初期化されたこれらの中間行列ｍａ１及びｍａ２は、以下に説明される反復プロセスを介して好ましい変換行列Ｍに最終的に収束される。例えば、反復Ｋの最大数は、ゼロに設定され、総反復の上限Ｎは２０に設定される。更に、ホワイトポイントの彩度に対する第１スケーリング係数ｆａ１は１に等しく設定され、ホワイトポイントの彩度に対する第２スケーリング係数ｆａ２は０に等しく設定される。
【０１０６】
収束を決定するのに使用される閾値Ｔはまた、０．００１などのある値に設定され、これによってプロセスは、第１彩度スケーリング係数ｆａ１と第２彩度スケーリング係数ｆａ２との間の差の絶対値が閾値を下回るまで繰り返されるようにする。この閾値を使用して、反復プロセスは通常、ほとんどのカメラに対して３から５の間の補間ステップを必要とすることができる。別の実施形態では、行列ｍａ１及びｍａ２のノルム間の差は、閾値との比較に対して計算することができる。しかしながら、以下の実施例では、第１及び第２彩度スケーリング係数ｆａ１及びｆａ２が既に計算されたスケーラであるので、これらを用いて収束度を測定する。
【０１０７】
最初に、第１彩度スケーリング係数ｆａ１と第２彩度スケーリング係数ｆａ２との間の差の絶対値がプリセット閾値Ｔより大きいかどうかの決定が行われる（ブロック１４１０）。勿論、第１反復では、彩度スケーリング係数ｆａ１及びｆａ２は、それぞれ１と０であり、閾値Ｔより大きいことになる。次に処理は第１特性行列Ｍ1から始まる（ブロック１４２０）。
【０１０８】
第１特性行列Ｍ1では、中間行列ｍａ１の逆行列が計算される（ブロック１４２２）。次に、ＸＹＺカラースペースの重みが、画像のホワイトバランスに基づいて計算される（ブロック１４２４）。例えば、Ｘｗ＝ｍｉ［０］［０］／ｐ［０］＋ｍｉ［０］［１］／ｐ［１］＋ｍｉ［０］［２］／ｐ［２］；Ｙｗ＝ｍｉ［１］［０］／ｐ［０］＋ｍｉ［１］［１］／ｐ［１］＋ｍｉ［１］［２］／ｐ［２］；及びＺｗ＝ｍｉ［２］［０］／ｐ［０］＋ｍｉ［２］［１］／ｐ［１］＋ｍｉ［２］［２］／ｐ［２］。次に、ｘ−ｙ重みがｘｙｚ重みに基づいて計算される（ブロック１４２６）。例えば、ｘｗ＝Ｘｗ／（Ｘｗ＋Ｙｗ＋Ｚｗ）、及びｙｗ＝Ｙｗ／（Ｘｗ＋Ｙｗ＋Ｚｗ）。Ｘ−Ｙ重み付け係数は、画像に関連付けられたｘ−ｙ重み及び特定の光源値に基づいて計算される（ブロック１４２８）。例えば、ｆｘ１＝（ｘｗ−ｘａ）／（ｘｄ−ｘａ）、及びｆｙ１＝（ｙｗ−ｙａ）／（ｙｄ−ｙａ）。
【０１０９】
次に、中間行列ｍａ１の第１彩度係数ｆａ１は、ｆａ１＝ｓｑｒｔ（ｆｘ１＊ｆｘ１＋ｆｙ１＊ｆｙ１）として計算される（ブロック１４３０）。最後に、新しい値は、Ｍ1 ＝（１−ｆａ１）＊ｍａ１＋ｆａ１＊ｍａ２としてに第１特性行列Ｍ1に対して計算される（ブロック１４３２）。
【０１１０】
次に類似のプロセスが、以下の式を使用して第２特性行列Ｍ2に対して繰り返される（ブロック１４４０）。
ｍｉ＝Ｉｎｖｅｒｓｅ（ｍａ２）；
Ｘｗ＝ｍｉ［０］［０］／ｐ［０］＋ｍｉ［０］［１］／ｐ［１］＋ｍｉ［０］［２］／ｐ［２］；
Ｙｗ＝ｍｉ［１］［０］／ｐ［０］＋ｍｉ［１］［１］／ｐ［１］＋ｍｉ［１］［２］／ｐ［２］；
Ｚｗ＝ｍｉ［２］［０］／ｐ［０］＋ｍｉ［２］［１］／ｐ［１］＋ｍｉ｛２｝［２］／ｐ［２］；
ｘｗ＝Ｘｗ／（Ｘｗ＋Ｙｗ＋Ｚｗ）；ｙｗ＝Ｙｗ／（Ｘｗ＋Ｙｗ＋Ｚｗ）；
ｆｘ２＝（ｘｗ−ｘａ）／（ｘｄ−ｘａ）；
ｆｙ２＝（ｙｗ−ｙａ）／（ｙｄ−ｙａ）；
ｆａ２＝ｓｑｒｔ（ｆｘ２＊ｆｘ２＋ｆｙ２＊ｆｙ２）；
ｍ２＝（１−ｆａ２）＊ｍａ１＋ｆａ２＊ｍａ２；
【０１１１】
第１及び第２特性行列Ｍ1及びＭ2 が上記のように計算されると、中間行列が、対応する特性行列ｍａ１＝ｍ１及びｍａ２＝ｍ２に等しく設定される（ブロック１４４２）。
【０１１２】
最後に、プロセス１４００は、収束閾値Ｔ（ブロック１４１０）又は許容総反復（ブロック１４５０）が満たされない限り繰り返すことができる。プロセス１４００が設定総反復Ｋを超えた場合（ブロック１４５０）、プロセス１４００は中止され、ブロック１４６０に進む。そうでなければ、プロセス１４００はブロック１４１０に戻り、閾値Ｔが超えたかどうかを調べ、必要に応じて特性行列Ｍ1及びＭ2 を収束する別の反復を繰り返すことになる。閾値Ｔが超えなかった場合、ブロック１４１０から１４５０は、特性行列を収束する別の反復に対して繰り返される。
【０１１３】
いずれの場合においても、収束が達成されるか或いは反復総数を超えると、最終彩度スケーリング係数が、ｆａ＝（ｆａ１＋ｆａ２）／２として計算される（ブロック１４６０）。最後に、結果として得られる変換行列Ｍが、最初にｍ＝（１−ｆａ２）＊ｍａ１＋ｆａ２＊ｍａ２を計算し、次にＭ＝Ｉｎｖｅｒｓｅ（ｍ）を計算することによって決定される（ブロック１４６２）。この結果として得られる変換行列Ｍは次に、変換行列ＭによりカメラＲＧＢ画像を変換することによって、使用された特定の光源に関係なく特定のカメラに対するＲＡＷ画像の自動処理に使用することができる（ブロック１４６４）。
【０１１４】
４．階調再現曲線の導出
図３のＲＡＷ画像処理パイプライン３００において前述したように、色調整プロセス３４２及び変換プロセス３４４を用いてＸＹＺ三刺激値を変換し、結果として得られるＲＧＢ画像３４９を生成する。変換は、３ｘｎの変換行列Ｍを使用して行われ、ここで、ｎは、上述のように１つのカメラ当たりのチャンネル数（例えば、Ｒ、Ｇ、及びＢ）である。更に、変換は階調再現曲線を使用して行われ、該曲線は、リニアスペースからディスプレイ又は出力スペースへの画像レンディッションを最適化することを目的とする。従って、色調整プロセス３４２において使用される階調再現曲線は、画像の外観、コントラスト、シャドー、ハイライトディテール、及び全体的な画像品質に影響を与える。
【０１１５】
図１５Ａ−１５Ｃは、本開示の自動化ＲＡＷ処理で使用される階調再現曲線を導出するためのプロセス１５００の１つの実施形態を示す。プロセス１５００は、特定のカメラ、カメラのタイプ又はブランド、製造者、又は他のカメラに関する基準に対する最適化階調再現曲線を自動的に導き出すことができ、これによって階調再現曲線は、特定のカメラ、カメラのタイプ又はブランド、製造者、又は他のカメラに関する基準に対してＲＡＷ処理を行うときに図３の色調整プロセス（３４２）において自動的に使用することができるようになる。
【０１１６】
最初に導出プロセス１５００において、幾つかの基準画像１５０２、１５０４が選択される。図１５Ａでは、便宜上２つの基準画像１５０２、１５０４のみが示されている。基準画像の第１画像１５０２は、カメラ情報１５０３、すなわち特定のカメラ、カメラのスタイル、製造物、その他に関連付けられている。この基準画像１５０２は、目標基準画像と呼ばれる。１つ又はそれ以上の他の基準画像１５０４は、同じ又は異なるカメラによって生成することができ、種々の技術及び処理ソフトウェアを使用して処理することができる。基準画像１５０２、１５０４の各々は、同じ設定、光源、その他を使用した同じシーン（例えば、カラーチャート又は同様のもの）を包含する。好ましくは、他の基準画像１５０４は、ハイライト、シャドー、階調の適正な分布、及び露出過剰画像への露出アンダー画像の分布を包含する。従って、他の基準画像１５０４は、画像処理ソフトウェアを使用する何らかの自動及び／又は手動操作を受けることができる。一般に、基準画像１５０２、１５０４は、画像間のシーン、露出、サイズ、その他が実質的に同じにすることができるように、ラボで生成できる。しかしながら、本明細書に開示されるＲＡＷ処理の実施形態は、ユーザーが基準画像を独自に生成して、階調再現曲線を生成可能にすることができる。
【０１１７】
基準画像１５０２、１５０４における各ピクセルの色は、使用されるカメラのセンサ、適用されるデモザイク処理プロセス、適用されるノイズ低減アルゴリズム、及び基準画像を生成するのに使用される他の詳細に応じて変わる。この結果、画像を取り込むのに使用されるイメージングセンサの差違、ノイズ低減の差違、使用されるデモザイク処理プロセスの差違、及び他の考えられる理由が依然として存在するので、２つの画像１５０２、１５０４は、同じシーンであっても色のピクセル間に相関性を有する可能性は低くなる。
【０１１８】
第１ステップ１５１０において、画像１５０２、１５０４は、両者の間のデモザイク処理の差違の影響及びノイズアーティファクトの影響を低減することを目的としたサイズにまでスケールダウンされている。２つの画像１５０２、１５０４について、デベイヤー処理、ハイライトリカバリ、画像のサイズ、及び他のディテールが同じでない可能性が高いので、スケーリングは通常必要になる。ローパスフィルタは、好ましくは、ピクセルカラーを領域に平均化するのに使用される。結果として得られるものは、ほぼ同じサイズを有する２つのスケール基準画像１５１２、１５１４である。１つの任意選択ステップ（図示せず）では、必要に応じて基準画像１５１２、１５１４のガンマ修正を実施することができる。
【０１１９】
第２ステップ１５２０において、スケール画像１５１２、１５１４は、グレースケール画像１５２２、１５２４に変換される。画像１５１２、１５１４は、カラーからグレースケールへの画像の変換を助けることができるグレーランプパッチを有することができる。画像のスケーリングダウン及びカラーからグレースケールへの低減は、オリジナル画像１５０２、１５０４間のノイズ及びデモザイク処理の影響又は差違を低減することを目的とする。
【０１２０】
第３ステップ１５３０において、第２画像１５２４の最大輝度を第１目標画像１５２２の最大輝度に一致させるゲイン係数が決定される。次に、第２画像１５２４のグレーレベルは、このゲイン係数によってスケール調整される。第４ステップ１５４０において、画像１５２２、１５２４間のピクセル毎のグレースケール値を比較するグレースケール画像１５２２、１５２４間のペアリングが行われる。第５ステップ１５５０において、グレースケール目標画像１５２２とグレースケール基準画像１５２４との間の１対１ピクセルペアリングは、ｙ＝ｆ（ｘ）の粗い階調曲線に従ってプロットされ、ここでｘは、基準画像１５２４のグレーレベルであり、ｙは目標画像１５２２のグレーレベルである。このような粗い階調曲線の実施例が図１５Ｂのグラフ１５８０に示されている。第６ステップ１５６０において、粗い階調曲線は、ｘの欠落グレーレベル又は曲線の不連続性のための補間、平均化、及び平滑化を使用して精細化される。更に、異常又は誤差に起因するあらゆるプロット値をこの精細化の間に取り除くことができる。最終ステップ１５７０において、最終階調再現曲線が生成される。このような最終階調曲線の実施例は、図１５Ｃのグラフ１５９０に示されている。通常、階調再現曲線は、各カメラモデルに対する満足のいく結果をもたらすために、画像の色飽和及び輝度コントラストを向上させるＳ字形を有する。１つの実施例では、階調再現曲線は、連続した４つの３次多項式で表すことができる。
【０１２１】
次にこの階調再現曲線１５９０は、ＲＡＷ処理が行われるカメラ（３１０）が、階調再現曲線１５９０を生成するのに使用される目標基準画像１５０２に関連付けられた初期カメラ情報１５０３の基準を満たすときに、図３の自動色調整プロセス（３４２）において使用することができる。従って、複数の階調再現曲線１５９０は、複数の異なるカメラ、カメラのタイプ、及び他の基準に対して生成される。このように、階調再現曲線が図３のプロセスのブロック３４６で取得されると、処理される画像に対するカメラ３１０からのメタデータ３１４を用いて、事前に記憶され及び構成された階調曲線のプールから適切な階調曲線を選択することができる。
【０１２２】
図１５Ａのプロセス１５００の本実施形態では、最終階調再現曲線が、別個のカラーチャンネル（例えば、Ｒ、Ｇ、Ｂ）の代わりにグレースケールを使用して生成された。この階調再現曲線が図３の自動色調整プロセス（３４２）で使用される場合、これは、基本的に各チャンネルに同様にして適用されることになる。代替の実施形態では、上記で開示されたのと同様のプロセスを用いて、画像の各カラーチャンネルに対する別個の階調再現曲線を生成することができ、これによって図３の自動色調整プロセス（３４２）が、別個の階調再現曲線を色調整のために各チャンネルに独立して適用することができるようになる。例えば、基準画像１５０２、１５０４は、各チャンネルのための別個の画像を生成するためにフィルタリング処理にかけることができる。その結果、各チャンネルに関連付けられた画像は、プロセス１５００の各段を受けて、処理されている画像の各チャンネルに適用することができる関連チャンネルに対する独立した階調再現曲線を生成することができる。
【０１２３】
Ｆ．ＲＡＷ画像処理パイプラインにおける付加的なプロセス
図１６Ａでは、オリジナルＲＡＷ画像１６１０の結果として得られるＲＧＢ画像１６９０へのＲＡＷ処理のための複数の付加的な自動化プロセス１６００が示されている。これらの自動化プロセス１６００は、ディープシャドー脱飽和プロセス１６２０、輝度ブースト１６５０、及びＲＧＢ分離可能ブースト１６８０を含む。これらのプロセスが図３のＲＡＷ画像処理パイプライン３００で実際に実施される時間及び場所は、カメラの仕様、ＲＡＷ画像、及び他の特徴によって決まる。
【０１２４】
１．ディープシャドー脱飽和プロセス
１つの実施形態では、自動化ディープシャドー脱飽和プロセス１６２０は、カメラＲＧＢからＸＹＺカラースペースへの図３の第１変換段３０３において実施することができる。このプロセス１６２０は、シャドー脱飽和閾値を下回る輝度値を持つカメラＲＧＢ画像内のＲＧＢカラー値に焦点を合わせる。図１６Ｂは、入力／出力輝度グラフ１６０２においてシャドー脱飽和閾値を線Ｔでグラフ的に示している。脱飽和プロセス１６２０は、黒に対する近接度に比例して閾値Ｔを下回るこれらのディープシャドーＲＧＢカラー値の飽和を低減する。シャドー脱飽和閾値Ｔは、黒の１％以内の輝度レベルに対応することができる。
【０１２５】
脱飽和プロセス１６２０において、ＲＧＢ画像の各ピクセルに対するオリジナル輝度ＬOは、標準的技術を使用して計算される。計算された輝度ＬOはシャドー脱飽和閾値Ｔと比較され、閾値Ｔを下回るかどうかを決定する。閾値Ｔを下回る場合、補間されたグレースケール輝度ＬGが補間関数を使用して算出される。次に、この補間グレースケール輝度ＬGは、ディープシャドーピクセルのＲ、Ｇ、及びＢのオリジナルカラー値の各々を置き換える。補間において、グレースケール輝度ＬGは、好ましくは黒に対するピクセルのオリジナル輝度ＬOの近接度に比例し、これによって、補間されたグレースケール輝度ＬGは、ディープシャドー脱飽和閾値Ｔから黒に滑らかに遷移するようになる。ディープシャドー輝度を補間グレースケール値と置き換えることで、画像のディープシャドーにおける色彩ノイズを低減することができる。
【０１２６】
２．ＲＧＢ分離可能ブースト
自動化ＲＧＢ分離可能ブースト１６８０は、画像がＲＧＢカラースペースにあるときに、図３のパイプライン３００において実施することができる。一般に、ＲＧＢ分離可能ブーストは、各Ｒ、Ｇ、及びＢチャンネルの輝度を個々に修正することによって画像コントラストを引き上げて画像の階調曲線を調整するための技術として好ましい。画像のシャドー及び低中間調エリアにおいてＲＧＢ分離可能ブーストを使用してコントラストを引き上げると、ＲＧＢ分離可能ブーストの副次的効果として色の飽和を増大させることができる。画像がかなりのノイズ量を有すると、このコントラストの増大は、ノイズをより色彩豊富にし、望ましくないものにする。ノイズが「単色」に見える程（画像のローカルカラーに一致して）、ノイズが従来のアナログフィルムグレインにより相似するようになる。ノイズの色彩度がＲＧＢ分離可能ブーストによって増大された場合、ノイズは、画像のローカルカラーから赤及び青のカラーシフトを示すことになり、これは望ましくない。この望ましくないアーティファクトが起こる階調領域では、以下で検討される輝度ブーストが、ＲＧＢ分離可能ブースト１６８０の代わりに使用される。従って、本実施形態では、ＲＧＢ分離可能ブースト１６８０は、主により高い階調に焦点を当てる（例えば、図１６Ｂのグラフ１６０２において線１６０６で示された中間調レベルを上回る階調）。これらのより高い階調に適用されると、ＲＧＢ分離可能ブースト１６８０は、画像のハイライト領域における色彩度が低下する傾向がある。
【０１２７】
３．輝度ブースト及び遷移階調領域
自動化輝度ブースト１６５０はまた、画像がＲＧＢカラースペースにあるときに、図３のパイプライン３００において実施することができる。ＲＧＢブースト１６８０と同様に、輝度ブースト１６５０を用いて、ＲＧＢ画像１６９０においてコントラストを制御することもできる。しかしながら、ＲＧＢ分離可能ブースト１６８０とは異なり、輝度ブースト１６５０は、各Ｒ、Ｇ、及びＢチャンネルの輝度を個々に修正することはない。代わりに、輝度ブースト１６５０は、全ての３つのチャンネルに同時に適用される。更に、輝度ブースト１６５０は、ＲＧＢ分離可能ブースト１６８０に使用される中間調レベルを下回る遷移階調領域に集中する。図１６Ｂのグラフ１６０２で概略的に示されるように、輝度ブースト１６５０のための遷移階調領域１６０４は、４分の１階調レベル１６０８と中間階調レベル１６０６との間の領域である。輝度ブースト１６５０は、この階調領域１６０４に適用されると、この階調領域１６０４において各チャンネルＲ、Ｇ、Ｂを個々に分離可能にブーストすることに関連する欠点の一部が低減される傾向となる。
【０１２８】
図１６Ｃは、自動化輝度ブースト１６６０の１つの実施形態を示す。最初に、ＲＧＢ画像におけるピクセルの輝度値が算出され（ブロック１６６２）、最大輝度値を下回るこれらの輝度値（例えば、図１６Ｃのレベル１６０６）が決定される（ブロック１６６４）。前述のように、定義された遷移階調領域は、上側輝度値１６０６と下側輝度値１６０８とを有する図１６Ｂの領域１６０４とすることができる。階調領域１６０４内のオリジナル輝度値を有するこれらのピクセルでは、新しい輝度値が補間を使用して算出される（ブロック１６６６）。
【０１２９】
処理デバイスのＧＰＵを使用して処理が実施されるときには、三次方程式で具現化することができる補間関数が補間に使用される。他方、処理がＣＰＵを使用して実施されるときには、補間は、三次方程式によって計算された複数のエントリを有するルックアップテーブルで具現化されるのが好ましい。このようなルックアップテーブルは、約６５，０００エントリを有することができる。例えば、オリジナル画像においてＲ１、Ｇ１、Ｂ１チャンネル値を有するピクセルは、標準的技術を使用して輝度値Ｌ１を有するように計算される。
【０１３０】
ブロック１６６６の補間において、階調領域内の輝度値は、階調領域外の輝度値と共に滑らかに遷移するのが好ましい。新しい輝度値Ｌ2 を決定するために、計算された輝度Ｌ1 が、輝度の区分的三次関数、或いは輝度の区分的三次関数の評価を具現化するルックアップテーブル（例えば、Ｌ2 ＝Ｔａｂｌｅ［Ｌ1 ］）で使用される。１つの実施形態では、ＧＰＵによって使用され且つＣＰＵに対するルックアップテーブルを構成するのに使用される区分的三次方程式は、次式で特徴付けることができる。
ｘ＜ｌｕｍｉｎａｎｃｅ＿ｔｈｒｅｓｈｏｌｄ＿１が真であれば、
ｙ＝ａｘ３＋ｂｘ２＋ｃｘ＋ｄ；
偽であり、ｌｕｍｉｎａｎｃｅ＿ｔｈｒｅｓｈｏｌｄ＿２が真であれば、
ｙ＝ｅｘ３＋ｆｘ２＋ｇｘ＋ｈ；
偽であり、ｌｕｍｉｎａｎｃｅ＿ｔｈｒｅｓｈｏｌｄ＿３が真であれば、
ｙ＝ｉｘ３＋ｊｘ２＋ｋｘ＋ｌ；
偽であれば、
ｙ＝ｍｘ３＋ｎｘ２＋ｏｘ＋ｐ；
【０１３１】
いずれの２つの隣接する三次方程式もこれらを分離する輝度閾値の値に一致させるよう設計されるのが好ましい。更に、隣接する三次方程式は、これらを分離する同じ輝度閾値の傾斜に一致するよう設計される。通常、ｌｕｍｉｎａｎｃｅ＿ｔｈｒｅｓｈｏｌｄ＿１は０．１であり、ｌｕｍｉｎａｎｃｅ＿ｔｈｒｅｓｈｏｌｄ＿２は０．２であり、ｌｕｍｉｎａｎｃｅ＿ｔｈｒｅｓｈｏｌｄ＿３は０．５である。更に、ｘ＝０でのｙの値はゼロである。これは、係数ｄが０に恒等的に等しいことを意味する。ｘ＝１でのｙの値も同様に１である。これは、係数ｍ、ｎ、ｏ、及びｐによって定義された三次方程式に対する含意を有する。
【０１３２】
新しい輝度値を補間した後、新しい輝度Ｌ2 の古い輝度Ｌ1 に対する比が算出され（ブロック１６６８）、この係数がオリジナルカラー値Ｒ1、Ｇ1、Ｂ1に乗算されて画像に対する新しいカラー値Ｒ2、Ｇ2、Ｂ2が得られ、輝度ブーストによって修正されたカラー値を有するピクセルを生成する（ブロック１６７０）。例えば、修正されたピクセルは、
Ｒ2＝（Ｌ2／Ｌ1）Ｒ1、Ｇ2＝（Ｌ2／Ｌ1）Ｇ1、及びＢ2＝（Ｌ2／Ｌ1）Ｂ1
によって特徴付けられるＲＧＢカラー値を有することになる。
【０１３３】
図１６Ｂに示されるように、遷移階調領域１６０４は、最小輝度値１６０８と最大輝度値１６０６とによって定義される。遷移階調領域１６０４の最小輝度値１６０８より下では、上述された輝度ブースト１６５０を使用して、この領域に対するブーストされたＲＧＢ値を計算する。しかしながら、遷移階調領域１６０４内では、画像におけるノイズの量に応じてハイブリッドブーストが使用される。ハイブリッドブーストでは、輝度ブースト１６５０とＲＧＢ分離可能ブースト１６８０の両方が評価される。
【０１３４】
従って、図１６Ｃのブロック１６７２では、選択されたピクセルの輝度値が遷移階調領域内に存在するかどうかの決定が行われる。存在しない場合、以前に計算された輝度ブーストからのブーストされたＲＧＢ値が所与のピクセルに対して使用され、プロセス１６００はブロック１６７８に進む。
【０１３５】
選択されたピクセルに対するオリジナル輝度値がブロック１６７２で遷移階調領域内に存在する場合、輝度値に対するＲＧＢ分離可能ブースト（１６８０）が計算される（ブロック１６７４）。次に、階調領域内のこれらの輝度値に対するブーストされたＲＧＢ値は、遷移階調領域（１６０４）内でオリジナル輝度値が存在する場所に基づいて、以前に計算された輝度ブースト（１６５０）とＲＧＢ分離可能ブースト（１６８０）との間を補間することによって計算される（ブロック１６７６）。補間は、遷移階調領域（１６０４）の最小輝度値（１６０８）の「０」から遷移階調領域（１６０４）の最大輝度値（１６０６）の「１」の範囲に及ぶ平滑関数を使用して計算される。前述のように、ＲＧＢ分離可能ブースト（１６８０）は、最大輝度レベル（１６０６）を上回る値に対してのみ使用され、輝度ブースト（１６５０）は、最小輝度レベル（１６０８）を下回る値に対してのみ使用される。
【０１３６】
好ましくは、ＲＧＢ分離可能と輝度ブーストとの間を補間されたハイブリッドブーストは、画像が所与の量のノイズを有する場合にのみ用いられる。例えば、画像がほとんどノイズを有さない場合、ＲＧＢ分離可能ブースト（１６８０）は、階調範囲全体に対して使用されるのが好ましい。しかしながら、画像が閾値を超えるノイズ量を有する場合、上述されたハイブリッドブーストが使用される。画像がノイズの中間の量を有する場合、ストレートＲＧＢ分離可能ブーストとハイブリッドブーストの両方が算出され、ストレートＲＧＢ分離可能ブーストとハイブリッドブーストとの間の補間が実施されて、使用される結果ブーストを決定する。選択されたピクセルがブーストされると、ブロック１６７８でのプロセス１６００が、オリジナル画像の付加的なピクセルに対してブロック１６６６から１６７８を繰り返す。最後に、修正された輝度値を有する結果として得られる画像が生成される（ブロック１６７４）。
【０１３７】
前述のように、オペレーティングシステムを有する処理デバイス（例えば、コンピュータ、イメージングデバイス、カメラ、その他）は、本明細書に開示される自動化ＲＡＷ画像処理方法、サービス、及び技術を実施することができる。更に、プログラム可能処理デバイスによって可読のプログラム記憶デバイスは、プログラム可能処理デバイスに本明細書で開示された自動化ＲＡＷ画像処理方法及び技術を実行させる命令をプログラム記憶デバイス上に記憶させることができる。
【０１３８】
好ましい他の実施形態の上記の説明は、出願人によって構想された本発明の概念の範囲又は適用性を限定又は制約するものではない。１つの実施例として、本開示は、ＲＧＢベイヤーパターン及びＲＧＢカラースペースに焦点を当てているが、本開示の教示がカラーフィルタアレイ及びカラースペースの他の実施にも適用できる点は理解されるであろう。本明細書に包含される本発明の概念を開示する代わりに、出願人は、添付の請求項によって与えられる特許権全てを要求する。従って、添付の請求項は、当該請求項の範囲又はその均等物の範囲内にある外延全てに対しての修正及び変更を含むものとする。
【特許請求の範囲】
【請求項１】
処理デバイスによって実施可能な自動化ＲＡＷ画像処理方法であって、
複数の予め設定された階調曲線を記憶する段階と、
ＲＡＷ画像を補間して補間画像を生成する段階と、
前記ＲＡＷ画像に関連付けられたメタデータに基づいて、前記予め設定された階調曲線の１つ又はそれ以上のいずれを適用するかを決定する段階と、
前記１つ又はそれ以上の予め設定された階調曲線を前記補間された画像に適用して結果として得られる画像を生成する段階と、
前記結果として得られる画像を前記処理デバイス上で実行されるアプリケーションが利用できるようにする段階と、
を含む方法。
【請求項２】
前記処理デバイスがコンピュータを含む、
請求項１に記載の方法。
【請求項３】
最初に、イメージングデバイスから伝達された前記ＲＡＷ画像及び前記関連付けられたメタデータを受け取る段階を含む、
請求項１に記載の方法。
【請求項４】
前記イメージングデバイスがデジタルカメラを含む、
請求項３に記載の方法。
【請求項５】
前記複数の予め設定された階調曲線の各々が、前記ＲＡＷ画像に関連付けられたメタデータによって識別可能なデジタルカメラに関連付けられている、
請求項１に記載の方法。
【請求項６】
前記１つ又はそれ以上の予め設定された階調曲線の各々が、
カメラを使用してシーンの第１基準画像を作成する段階と、
前記シーンの第２基準画像を取得する段階と、
前記第１及び第２基準画像をグレースケール画像に変換する段階と、
前記２つの基準画像に対するグレースケール値をペアリングする段階と、
前記ペアリングに基づいて前記予め設定された階調曲線を生成する段階と、
前記予め設定された階調曲線を前記カメラに関する情報に関連付ける段階と、
によって導き出される、
請求項１に記載の方法。
【請求項７】
前記１つ又はそれ以上の予め設定された階調曲線の各々が、
カメラを使用してシーンの第１基準画像を作成する段階と、
前記第１基準画像をフィルタ処理して、１つのカラーチャンネルのピクセル値を各々が有する複数の第１カラーチャンネル画像にする段階と、
前記シーンの第２基準画像を取得する段階と、
前記第２基準画像をフィルタ処理して、１つのカラーチャンネルのピクセル値を各々が有する複数の第２カラーチャンネル画像にする段階と、
同じカラーチャンネルの前記第１及び第２カラーチャンネル画像の各々の対応するピクセルに対するカラーチャンネル値をペアリングする段階と、
前記ペアリングに基づいて複数のカラーチャンネル階調曲線を生成する段階と、
前記カラーチャンネル階調曲線を前記カメラに関する情報に関連付ける段階と、
によって導き出される、
請求項１に記載の方法。
【請求項８】
前記ＲＡＷ画像を補間する段階が、前記ＲＡＷ画像をデモザイクしてカラースペースを有する補間画像にする段階を含む、
請求項１に記載の方法。
【請求項９】
前記ＲＡＷ画像に関連付けられたメタデータに基づいて、前記予め設定された階調曲線の１つ又はそれ以上のいずれを適用するかを決定する段階が、デジタルカメラを識別する前記メタデータの情報を、前記予め設定された階調曲線に関連付けられたカメラ情報と比較する段階を含む、
請求項１に記載の方法。
【請求項１０】
前記予め設定された階調曲線を前記補間画像に適用する段階が、
前記補間画像の各ピクセルの階調値を決定する段階と、
前記予め設定された階調曲線からの対応する階調値に一致するように各ピクセルの前記決められた階調値を調整する段階と、
を含むことを特徴とする請求項１に記載の方法。
【請求項１１】
前記結果として得られる画像を前記処理デバイス上で実行されるアプリケーションが利用できるようにする段階が、アプリケーションプログラミングインターフェースを使用して自動化ＲＡＷ画像処理を実施するオペレーティングシステムサービスを前記アプリケーションにインターフェースする段階を含む、
請求項１に記載の方法。
【請求項１２】
プログラム可能処理デバイスに前記請求項１に記載の自動化ＲＡＷ画像処理方法を実行させるために記憶された命令を含む、前記プログラム可能処理デバイスによって読取り可能なプログラム記憶デバイス。
【請求項１３】
前記請求項１に記載の自動化ＲＡＷ画像処理方法を実施するために処理デバイス上で実行可能なオペレーティングシステム。
【請求項１４】
処理デバイスによって実施可能な自動化ＲＡＷ画像処理方法であって、
第１カメラを使用してシーンの第１基準画像を取得する段階と、
前記シーンの第２基準画像を取得する段階と、
前記第１基準画像における各ピクセルの値を前記第２基準画像における対応するピクセルの値にペアリングする段階と、
前記ペアリングに基づいて１つ又はそれ以上の階調曲線を生成する段階と、
前記１つ又はそれ以上の階調曲線を前記カメラに関連付けられたカメラ情報に関連付ける段階と、
ＲＡＷ画像を処理するのに使用される処理デバイス上に前記１つ又はそれ以上の階調曲線及び関連付けられたカメラ情報を記憶する段階と、
を含む方法。
【請求項１５】
前記シーンが複数のカラーパッチを有するカラーチャートを含む、
請求項１４に記載の方法。
【請求項１６】
前記カラーチャートがグレーランプ画像を含む、
請求項１４に記載の方法。
【請求項１７】
前記シーンの第２基準画像を取得する段階が、前記第１カメラとは異なる第２カメラを使用して前記シーンの第２基準画像を取得する段階を含む、
請求項１４に記載の方法。
【請求項１８】
前記シーンの第２基準画像を取得する段階が、前記第１基準画像を取得するのに使用されたのとは異なる光源を使用して前記シーンの第２基準画像を取得する段階を含む、
請求項１４に記載の方法。
【請求項１９】
前記シーンの第２基準画像を取得する段階が、前記第１基準画像に対して行われなかった少なくとも１つの修正を前記第２基準画像に対してアプリケーションによって行う段階を含む、
請求項１４に記載の方法。
【請求項２０】
前記第１基準画像における各ピクセルの値を前記第２基準画像における対応するピクセルの値にペアリングする段階が、
前記第１及び第２基準画像を第１及び第２グレースケール画像に変換する段階と、
前記第１及び第２グレースケール画像において対応するピクセルに対するグレースケール値をペアリングする段階と、
前記ペアリングに基づいて階調曲線を生成する段階と、
前記階調曲線を前記カメラに関する情報に関連付ける段階と、
を含む、
請求項１４に記載の方法。
【請求項２１】
前記変換段階が、前記第１及び第２基準画像の各々をスケーリングする段階を含む、
請求項２０に記載の方法。
【請求項２２】
前記スケーリング段階が、デモザイク処理又はノイズから生じる前記第１及び第２基準画像間の差違を実質的に低減する段階を含む、
請求項２１に記載の方法。
【請求項２３】
前記変換段階が、
前記グレースケール画像の１つの最大輝度を他の前記グレースケール画像に一致させるゲイン係数を決定する段階と、
前記決定されたゲイン係数によって前記１つのグレースケール画像におけるグレースケール値をスケーリングする段階と、
を含む、
請求項２０に記載の方法。
【請求項２４】
前記生成段階が、補間を使用して、前記第１及び第２グレースケール画像間の前記ペアリングされたグレースケール値に基づいて実質的に連続的な曲線を生成する段階を含む、
請求項２０に記載の方法。
【請求項２５】
前記第１画像における各ピクセルの値を前記第２画像における対応するピクセルの値にペアリングする段階が、
カメラを使用してシーンの第１基準画像を作成する段階と、
カメラを使用してシーンの第１基準画像を作成する段階と、
前記第１基準画像をフィルタ処理して、１つのカラーチャンネルのピクセル値を各々が有する複数の第１カラーチャンネル画像にする段階と、
前記シーンの第２基準画像を取得する段階と、
前記第２基準画像をフィルタ処理して、１つのカラーチャンネルのピクセル値を各々が有する複数の第２カラーチャンネル画像にする段階と、
同じカラーチャンネルの前記第１及び第２カラーチャンネル画像の各々の対応するピクセルに対するカラーチャンネル値をペアリングする段階と、
前記ペアリングに基づいて複数のカラーチャンネル階調曲線を生成する段階と、
前記カラーチャンネル階調曲線を前記カメラに関する情報に関連付ける段階と、
を含む、
請求項１４に記載の方法。
【請求項２６】
前記１つ又はそれ以上の階調曲線を使用してＲＡＷ画像を自動的に前処理する段階を更に含む、
請求項１４に記載の方法。
【請求項２７】
前記１つ又はそれ以上の階調曲線を使用する段階が、
前記ＲＡＷ画像を補間して補間画像を生成する段階と、
前記ＲＡＷ画像に関連付けられたメタデータからカメラ情報を決定する段階と、
前記決定されたカメラ情報に関連付けられた１つ又はそれ以上の階調曲線を取得する段階と、
前記１つ又はそれ以上の階調曲線を前記補間画像の１つ又はそれ以上のカラーチャンネルに適用して、結果として得られる画像を生成する段階と、
前記結果として得られる画像を前記処理デバイス上で実行されるアプリケーションが利用できるようにする段階と、
を含む、
請求項２６に記載の方法。
【請求項１】
処理デバイスによって実施可能な自動化ＲＡＷ画像処理方法であって、
複数の予め設定された階調曲線を記憶する段階と、
ＲＡＷ画像を補間して補間画像を生成する段階と、
前記ＲＡＷ画像に関連付けられたメタデータに基づいて、前記予め設定された階調曲線の１つ又はそれ以上のいずれを適用するかを決定する段階と、
前記１つ又はそれ以上の予め設定された階調曲線を前記補間された画像に適用して結果として得られる画像を生成する段階と、
前記結果として得られる画像を前記処理デバイス上で実行されるアプリケーションが利用できるようにする段階と、
を含む方法。
【請求項２】
前記処理デバイスがコンピュータを含む、
請求項１に記載の方法。
【請求項３】
最初に、イメージングデバイスから伝達された前記ＲＡＷ画像及び前記関連付けられたメタデータを受け取る段階を含む、
請求項１に記載の方法。
【請求項４】
前記イメージングデバイスがデジタルカメラを含む、
請求項３に記載の方法。
【請求項５】
前記複数の予め設定された階調曲線の各々が、前記ＲＡＷ画像に関連付けられたメタデータによって識別可能なデジタルカメラに関連付けられている、
請求項１に記載の方法。
【請求項６】
前記１つ又はそれ以上の予め設定された階調曲線の各々が、
カメラを使用してシーンの第１基準画像を作成する段階と、
前記シーンの第２基準画像を取得する段階と、
前記第１及び第２基準画像をグレースケール画像に変換する段階と、
前記２つの基準画像に対するグレースケール値をペアリングする段階と、
前記ペアリングに基づいて前記予め設定された階調曲線を生成する段階と、
前記予め設定された階調曲線を前記カメラに関する情報に関連付ける段階と、
によって導き出される、
請求項１に記載の方法。
【請求項７】
前記１つ又はそれ以上の予め設定された階調曲線の各々が、
カメラを使用してシーンの第１基準画像を作成する段階と、
前記第１基準画像をフィルタ処理して、１つのカラーチャンネルのピクセル値を各々が有する複数の第１カラーチャンネル画像にする段階と、
前記シーンの第２基準画像を取得する段階と、
前記第２基準画像をフィルタ処理して、１つのカラーチャンネルのピクセル値を各々が有する複数の第２カラーチャンネル画像にする段階と、
同じカラーチャンネルの前記第１及び第２カラーチャンネル画像の各々の対応するピクセルに対するカラーチャンネル値をペアリングする段階と、
前記ペアリングに基づいて複数のカラーチャンネル階調曲線を生成する段階と、
前記カラーチャンネル階調曲線を前記カメラに関する情報に関連付ける段階と、
によって導き出される、
請求項１に記載の方法。
【請求項８】
前記ＲＡＷ画像を補間する段階が、前記ＲＡＷ画像をデモザイクしてカラースペースを有する補間画像にする段階を含む、
請求項１に記載の方法。
【請求項９】
前記ＲＡＷ画像に関連付けられたメタデータに基づいて、前記予め設定された階調曲線の１つ又はそれ以上のいずれを適用するかを決定する段階が、デジタルカメラを識別する前記メタデータの情報を、前記予め設定された階調曲線に関連付けられたカメラ情報と比較する段階を含む、
請求項１に記載の方法。
【請求項１０】
前記予め設定された階調曲線を前記補間画像に適用する段階が、
前記補間画像の各ピクセルの階調値を決定する段階と、
前記予め設定された階調曲線からの対応する階調値に一致するように各ピクセルの前記決められた階調値を調整する段階と、
を含むことを特徴とする請求項１に記載の方法。
【請求項１１】
前記結果として得られる画像を前記処理デバイス上で実行されるアプリケーションが利用できるようにする段階が、アプリケーションプログラミングインターフェースを使用して自動化ＲＡＷ画像処理を実施するオペレーティングシステムサービスを前記アプリケーションにインターフェースする段階を含む、
請求項１に記載の方法。
【請求項１２】
プログラム可能処理デバイスに前記請求項１に記載の自動化ＲＡＷ画像処理方法を実行させるために記憶された命令を含む、前記プログラム可能処理デバイスによって読取り可能なプログラム記憶デバイス。
【請求項１３】
前記請求項１に記載の自動化ＲＡＷ画像処理方法を実施するために処理デバイス上で実行可能なオペレーティングシステム。
【請求項１４】
処理デバイスによって実施可能な自動化ＲＡＷ画像処理方法であって、
第１カメラを使用してシーンの第１基準画像を取得する段階と、
前記シーンの第２基準画像を取得する段階と、
前記第１基準画像における各ピクセルの値を前記第２基準画像における対応するピクセルの値にペアリングする段階と、
前記ペアリングに基づいて１つ又はそれ以上の階調曲線を生成する段階と、
前記１つ又はそれ以上の階調曲線を前記カメラに関連付けられたカメラ情報に関連付ける段階と、
ＲＡＷ画像を処理するのに使用される処理デバイス上に前記１つ又はそれ以上の階調曲線及び関連付けられたカメラ情報を記憶する段階と、
を含む方法。
【請求項１５】
前記シーンが複数のカラーパッチを有するカラーチャートを含む、
請求項１４に記載の方法。
【請求項１６】
前記カラーチャートがグレーランプ画像を含む、
請求項１４に記載の方法。
【請求項１７】
前記シーンの第２基準画像を取得する段階が、前記第１カメラとは異なる第２カメラを使用して前記シーンの第２基準画像を取得する段階を含む、
請求項１４に記載の方法。
【請求項１８】
前記シーンの第２基準画像を取得する段階が、前記第１基準画像を取得するのに使用されたのとは異なる光源を使用して前記シーンの第２基準画像を取得する段階を含む、
請求項１４に記載の方法。
【請求項１９】
前記シーンの第２基準画像を取得する段階が、前記第１基準画像に対して行われなかった少なくとも１つの修正を前記第２基準画像に対してアプリケーションによって行う段階を含む、
請求項１４に記載の方法。
【請求項２０】
前記第１基準画像における各ピクセルの値を前記第２基準画像における対応するピクセルの値にペアリングする段階が、
前記第１及び第２基準画像を第１及び第２グレースケール画像に変換する段階と、
前記第１及び第２グレースケール画像において対応するピクセルに対するグレースケール値をペアリングする段階と、
前記ペアリングに基づいて階調曲線を生成する段階と、
前記階調曲線を前記カメラに関する情報に関連付ける段階と、
を含む、
請求項１４に記載の方法。
【請求項２１】
前記変換段階が、前記第１及び第２基準画像の各々をスケーリングする段階を含む、
請求項２０に記載の方法。
【請求項２２】
前記スケーリング段階が、デモザイク処理又はノイズから生じる前記第１及び第２基準画像間の差違を実質的に低減する段階を含む、
請求項２１に記載の方法。
【請求項２３】
前記変換段階が、
前記グレースケール画像の１つの最大輝度を他の前記グレースケール画像に一致させるゲイン係数を決定する段階と、
前記決定されたゲイン係数によって前記１つのグレースケール画像におけるグレースケール値をスケーリングする段階と、
を含む、
請求項２０に記載の方法。
【請求項２４】
前記生成段階が、補間を使用して、前記第１及び第２グレースケール画像間の前記ペアリングされたグレースケール値に基づいて実質的に連続的な曲線を生成する段階を含む、
請求項２０に記載の方法。
【請求項２５】
前記第１画像における各ピクセルの値を前記第２画像における対応するピクセルの値にペアリングする段階が、
カメラを使用してシーンの第１基準画像を作成する段階と、
カメラを使用してシーンの第１基準画像を作成する段階と、
前記第１基準画像をフィルタ処理して、１つのカラーチャンネルのピクセル値を各々が有する複数の第１カラーチャンネル画像にする段階と、
前記シーンの第２基準画像を取得する段階と、
前記第２基準画像をフィルタ処理して、１つのカラーチャンネルのピクセル値を各々が有する複数の第２カラーチャンネル画像にする段階と、
同じカラーチャンネルの前記第１及び第２カラーチャンネル画像の各々の対応するピクセルに対するカラーチャンネル値をペアリングする段階と、
前記ペアリングに基づいて複数のカラーチャンネル階調曲線を生成する段階と、
前記カラーチャンネル階調曲線を前記カメラに関する情報に関連付ける段階と、
を含む、
請求項１４に記載の方法。
【請求項２６】
前記１つ又はそれ以上の階調曲線を使用してＲＡＷ画像を自動的に前処理する段階を更に含む、
請求項１４に記載の方法。
【請求項２７】
前記１つ又はそれ以上の階調曲線を使用する段階が、
前記ＲＡＷ画像を補間して補間画像を生成する段階と、
前記ＲＡＷ画像に関連付けられたメタデータからカメラ情報を決定する段階と、
前記決定されたカメラ情報に関連付けられた１つ又はそれ以上の階調曲線を取得する段階と、
前記１つ又はそれ以上の階調曲線を前記補間画像の１つ又はそれ以上のカラーチャンネルに適用して、結果として得られる画像を生成する段階と、
前記結果として得られる画像を前記処理デバイス上で実行されるアプリケーションが利用できるようにする段階と、
を含む、
請求項２６に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１６Ａ】
【図１６Ｂ】
【図１６Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１６Ａ】
【図１６Ｂ】
【図１６Ｃ】
【公開番号】特開２０１２−５０１０８（Ｐ２０１２−５０１０８Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−２１５３５１（Ｐ２０１１−２１５３５１）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【分割の表示】特願２００９−５３２４９６（Ｐ２００９−５３２４９６）の分割
【原出願日】平成１９年９月２７日（２００７．９．２７）
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１１−２１５３５１（Ｐ２０１１−２１５３５１）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【分割の表示】特願２００９−５３２４９６（Ｐ２００９−５３２４９６）の分割
【原出願日】平成１９年９月２７日（２００７．９．２７）
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
[ Back to top ]