画像処理方法、画像処理装置及び画像処理プログラム
【課題】 センサー出力とほぼ同じ状態の色成分を持つ画像を生成してホワイトバランスの調整を適切に行う。
【解決手段】 原画像データに現像処理を施した画像データに対して、現像処理用の色階調変換処理と逆の変換処理である第１色階調変換処理を施す第１色階調変換工程と、色階調変換前サンプル色群と、色階調変換前サンプル群に対して現像処理用の色階調変換処理と実質的に等しい色階調変換処理を施した色階調変換後サンプル色群とから、第１色階調変換工程で用いる第１色階調変換情報を生成する変換情報生成工程と、第１色階調変換工程後の画像データに、現像処理時のホワイトバランス補正を調整するホワイトバランス調整工程と、ホワイトバランス調整工程後の画像データに、第１色階調変換処理とは逆の変換処理である第２色階調変換処理を施す第２色階調変換工程と、を備えたことを特徴とする。
【解決手段】 原画像データに現像処理を施した画像データに対して、現像処理用の色階調変換処理と逆の変換処理である第１色階調変換処理を施す第１色階調変換工程と、色階調変換前サンプル色群と、色階調変換前サンプル群に対して現像処理用の色階調変換処理と実質的に等しい色階調変換処理を施した色階調変換後サンプル色群とから、第１色階調変換工程で用いる第１色階調変換情報を生成する変換情報生成工程と、第１色階調変換工程後の画像データに、現像処理時のホワイトバランス補正を調整するホワイトバランス調整工程と、ホワイトバランス調整工程後の画像データに、第１色階調変換処理とは逆の変換処理である第２色階調変換処理を施す第２色階調変換工程と、を備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＲＡＷ画像データに対して現像処理を施すことで得られた画像データに対して、ホワイトバランス調整を施す画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
人間の視覚においては、異なる照明環境下であっても照明環境の効果を抑制して物体の色を識別する、所謂色順応という機能を有している。デジタルカメラにおいては、このような人間の視覚特性に対応するために、ホワイトバランス補正という機能を備えている。この機能は、撮影時の照明環境を自動的に設定、或いは推定した後、ＲＡＷ画像データの各色成分の比率の調整計数（ホワイトバランス補正値）を決定し、この調整係数を用いた補正を行うことで照明環境の効果を抑制している。
【０００３】
例えば撮影時の照明環境の設定や推定が不適切のまま、ホワイトバランス補正が行われた画像データや、ＲＡＷ画像データに対して現像処理が行われた画像データに対して、取得時の現像処理を考慮せずに色成分の調整を行うと、画像の色が不自然となりやすい。そこで、現像処理として実行される階調変換処理に対して逆の変換処理を画像データに施すことで、センサー出力と同じ状態の色成分をもつ画像を生成し、複雑な色順応モデルに基づいてホワイトバランス補正をやり直すことが可能な画像処理方法や画像処理装置が提案されている（特許文献１参照）。
【０００４】
特許文献１に記載された発明では、ガンマ補正を行った後に色空間をＲＧＢ色空間からＹＣｂＣｒ色空間に変換し、Ｃｂ及びＣｒに所定の係数を乗算することによって彩度強調を行う階調変換処理が想定されている。また、階調変換処理に対する逆の変換処理として、彩度強調されたＣｂとＣｒとを所定の係数で割った後に、色空間をＲＢＧ色空間に変換し、階調変換とは逆の変換処理を行うことも想定されている。
【特許文献１】特開２００１−１２８１９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、通常のデジタルカメラにおいて取得された画像データに対してなされる階調変換処理においては、色空間を分割した複数の領域のそれぞれに対して、異なるパラメータに基づいて色変換を行う、輝度に応じて彩度を強調する、或いは彩度に対して非線形変換を適用する等、様々な処理を組み合わせている。このような複雑な階調変換に対して厳密な逆変換アルゴリズムを作成することは難しく、また、階調変換用のアルゴリズムはカメラの機種毎に異なることから、その作成には多大な開発コストが必要であり、また、仮に上述したアルゴリズムが作成できたとしても、その処理は複雑であり、多くの処理時間が必要になる。
【課題を解決するための手段】
【０００６】
本発明は、上述した問題を解決するために発明されたものであり、複雑で多様なカメラ内の色階調変換アルゴリズムに対応してその逆の階調変換処理を実現することにより、センサー出力とほぼ同じ状態の色成分を持つ画像を生成してホワイトバランスの調整を適切に行うことができるようにした画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。
【０００７】
第１の発明の画像処理方法は、原画像データに現像処理を施した画像データに対して、前記現像処理用の色階調変換処理と逆の変換処理である第１色階調変換処理を施す第１色階調変換工程と、色階調変換前サンプル色群と、該色階調変換前サンプル群に対して前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理を施した色階調変換後サンプル色群とから、前記第１色階調変換工程で用いる第１色階調変換情報を生成する変換情報生成工程と、前記第１色階調変換工程後の画像データに、前記現像処理時のホワイトバランス補正を調整するホワイトバランス調整工程と、前記ホワイトバランス調整工程後の画像データに、前記第１色階調変換処理とは逆の変換処理である第２色階調変換処理を施す第２色階調変換工程と、を備えたことを特徴とする。なお、現像処理用の色階調変換処理と実質的に等しい色階調変換処理とは、例えば現像処理用の色階調変換処理の処理結果とほぼ等しい処理結果が得られる色階調変換処理のことである。
【０００８】
第２の発明は、第１の発明において前記第２色階調変換処理は、前記現像処理用の色階調変換処理を用いることを特徴とする。
【０００９】
第３の発明は、第１又は第２の発明において、前記第１色階調変換情報は、前記第１色階調変換処理が行われた画像データと前記現像処理用の色階調変換処理前の画像データとがほぼ等しい画像データとなるように、前記第１色階調変換処理を特定する情報からなり、前記変換情報生成工程は、前記第１色階調変換情報を生成する他に、前記第２色階調変換処理を特定する第２色階調変換情報を生成し、前記第２色階調変換工程は、前記第２色階調変換情報を用いて前記第２色階調変換処理を実行することを特徴とする。
【００１０】
第４の発明は、第１〜第３の発明のいずれかにおいて、前記変換情報生成工程は、前記色階調変換前サンプル色群と前記色階調変換後サンプル色群との対応関係から、前記第１色階調変換処理で用いる色階調変換用のテーブルデータを前記第１色階調変換情報として生成することを特徴とする。
【００１１】
第５の発明は、第１の発明において、前記変換情報生成工程は、前記色階調変換前サンプル色群から得られる無彩色のサンプル色群と、前記色階調変換後サンプル色群のうち、前記無彩色のサンプル色群に由来するサンプル色群との対応関係から階調変換情報を生成する階調変換情報生成工程を備えていることを特徴とする。
【００１２】
第６の発明は、第５の発明において、前記変換情報生成工程は、前記階調変換情報を用いた階調変換処理を前記色階調変換前サンプル色群に対して行うことで、階調変換後サンプル色群を生成する階調変換サンプル生成工程と、前記階調変換後サンプル色群と前記色階調変換後サンプル色群との対応関係に基づいた色変換情報を生成する色変換情報生成工程と、前記階調変換情報から、前記階調変換処理と逆の変換処理となる逆階調変換処理で用いる逆階調変換情報を生成する逆階調変換情報生成工程と、をさらに備え、前記変換情報生成工程は、前記逆階調変換情報と前記色変換情報とを組み合わせることで、前記第１色階調変換情報を生成することを特徴とする。
【００１３】
第７の発明は、第５の発明において、前記変換情報生成工程は、前記階調変換情報を用いた階調変換処理を前記色階調変換前サンプル色群に対して行うことで、階調変換後サンプル色群を生成する階調変換サンプル生成工程と、前記階調変換処理とは逆の変換処理となる逆階調変換処理に用いる逆階調変換情報を、前記階調変換情報に基づいて生成する逆階調変換情報生成工程と、前記階調変換後サンプル色群と前記色階調変換後サンプル群との対応関係から、色変換処理とは逆の変換処理となる逆色変換処理で用いる色変換用のテーブルデータを生成するテーブルデータ生成工程と、をさらに備え、前記変換情報生成処理は、前記色変換用のテーブルデータと前記逆階調変換情報とを組み合わせることで、前記第１色階調変換情報を生成することを特徴とする。
【００１４】
第８の発明は、第５の発明において、前記変換情報生成工程は、前記変換情報生成工程は、前記色階調変換前サンプル色群に対して、前記階調変換情報により階調変換処理を施す階調変換工程と、前記階調変換処理を行うことにより得られる階調変換後サンプル色群の各色成分を、前記色階調変換後サンプル色群の各色成分の線形和によって近似する逆色変換行列を生成する行列生成工程と、前記階調変換処理とは逆の変換処理となる逆階調変換処理を特定する逆階調変換情報を生成する逆階調変換情報生成工程と、をさらに備え、前記変換情報生成工程は、前記逆色変換行列と前記逆階調変換情報とを組み合わせることで、前記第１色階調変換情報を生成することを特徴とする。
【００１５】
第９の発明は、第８の発明において、前記変換情報生成工程は、前記逆色変換行列の逆行列を生成する逆行列生成工程を、さらに備え、前記変換情報生成工程は、前記階調変換情報と前記逆色変換行列の逆行列とを第２色階調変換情報として生成することを特徴とする。
【００１６】
第１０の発明は、第１〜第９の発明のいずれかにおいて、前記変換情報生成工程は、前記色階調変換前サンプル色群を生成する変換前サンプル生成工程を備えていることを特徴とする。
【００１７】
第１１の発明は、第１〜第１０の発明のいずれかにおいて、前記変換情報生成工程は、前記色階調変換後サンプル色群を生成する変換後サンプル生成工程を備えており、前記変換後サンプル生成工程は、前記色階調変換前サンプル色群に対して前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理を施すことで前記色階調変換後サンプル色群を生成することを特徴とする。
【００１８】
第１２の発明は、第１〜第１０の発明のいずれかにおいて、前記変換情報生成工程は、前記色階調変換前サンプル色群の色成分を、各画素の色成分として有する色階調変換前サンプル色画像を生成した後、該色階調変換前サンプル色画像に対して前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理を行うことで色階調変換後サンプル色画像を生成し、前記色階調変換後サンプル色画像の各画素の色成分を前記色階調変換後サンプル色群の各色成分として抽出することで、前記色階調変換後サンプル色群を生成することを特徴とする。
【００１９】
第１３の発明の画像処理装置は、第１の発明の画像処理方法を実施する機能を備えた画像処理装置において、撮像により取得された原画像データに、少なくともホワイトバランス補正処理と色階調変換処理とを含む現像処理を施すことにより鑑賞用の画像を生成する機能をさらに備え、前記現像処理に含まれる色階調変換処理を、請求項１に記載の前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理として用いることを特徴とする。
【００２０】
第１４の発明の画像処理プログラムは、第１の発明の画像処理方法を実施する機能を備えた画像処理プログラムにおいて、撮像により取得された原画像データに対して、少なくともホワイトバランス補正処理と色階調変換処理とを含む現像処理を施すことにより鑑賞用の画像を生成する機能をさらに備え、前記現像処理に含まれる色階調変換処理を、請求項１に記載の前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理として用いることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、画像データに対して施された階調変換処理と近似的な逆階調変換処理を施すことで、階調変換処理が実行される前の画像データと実質的に等しい画像データを容易に生成することで、ホワイトバランス補正が適切でない画像データに対するホワイトバランス調整を容易に、また適切に行うことができる。
【発明を実施するための最良の形態】
【００２２】
本発明の画像処理プログラムは、ＲＡＷ画像データに対して現像処理を施し、また、ＲＡＷ画像データ以外の画像データ（現像処理済みの画像データ）に対してホワイトバランス調整を施すことが可能なプログラムである。
【００２３】
［第１の実施形態］
以下、本発明を適用した画像処理プログラムの一実施例（第１の実施形態）について説明する。
【００２４】
図１は、画像処理プログラムを用いてＲＡＷ画像データＲＩを現像処理するときの機能ブロック図を示す。上述した画像処理プログラム１０は、ホワイトバランス補正部１５、Ｂａｙｅｒ補間部１６、色階調変換部１７、ノイズ除去部１８及び輪郭強調部１９としての機能を備えている。以下、ノイズ除去部１８及び輪郭強調部１９については、周知であることから、ここでは、その詳細を省略する。なお、図１においては、画像処理プログラム１０を示す箇所に対して、便宜上二点鎖線を用いて示している。
【００２５】
ホワイトバランス補正部１５は、入力されるＲＡＷ画像データＲＩにおけるホワイトバランスを補正する処理（ホワイトバランス補正処理）を実行する。なお、ＲＡＷ画像データＲＩは、Ｒ色成分、Ｇ色成分、Ｂ色成分の各色成分が周知のベイヤー配列により配列されたカラーフィルタを介して入射された被写体光を撮像素子にて光電変換した後、デジタル化処理が施された後の画像データである。なお、撮像素子によって光電変換することによって得られるデータは、各色成分の光量、或いは輝度値のみを表すデータであることから、ＲＡＷ画像データＲＩは、グレースケール値を示すデータとなる。また、ＲＡＷ画像データＲＩには、カメラの機種情報、撮像条件、階調モードの情報、色モードの情報などの付帯情報（メタデータ）が付帯されていることから、ホワイトバランス補正部１５は、ＲＡＷ画像データＲＩから付帯情報を参照して、ＲＡＷ画像データＲＩに対してホワイトバランス補正を施す。
【００２６】
Ｂａｙｅｒ補間部１６は、ホワイトバランス補正が施されたＲＡＷ画像データに対して補間処理（Ｂａｙｅｒ補間処理）を行う。上述したように、ＲＡＷ画像データＲＩは、カラーフィルタを透過した後の、各色成分のグレースケール値を示すデータである。ＲＡＷ画像データＲＩに付帯されている付帯情報には、カラーフィルタにおける各色成分の配列を示す配列情報も含まれていることから、Ｂａｙｅｒ補間部１６は、付帯情報から配列情報を読み出して、欠陥画素に対するカラー情報を補間して、ホワイトバランス補正処理されたグレースケールの画像データをカラー画像データに変換する。
【００２７】
色階調変換部１７は、カラー画像データに対して、階調変換処理、彩度強調処理などの色階調変換処理を実行する。階調変換処理は、ＲＡＷ画像データＲＩに付帯された付帯情報から、階調モードの情報を読み出して、階調モードに合わせた色となるように、各画素のＲ色、Ｇ色、Ｂ色の各色成分の値（強さ）を調整する。彩度強調処理は、階調変換処理が施されたカラー画像データに対する彩度を強調する処理である。カラー画像データは、Ｒ成分、Ｇ成分及びＢ成分で示されることから、一旦、Ｒ成分、Ｂ成分及びＧ成分で示されるカラー画像データをＹ成分、Ｃｂ成分及びＣｒ成分で示されるカラー画像データに変換する。この変換の後、各画素のＣｂ成分及びＣｒ成分に対して所定係数を乗算、又は乗算した後補正値を加算する。そして、Ｙ成分、Ｃｂ成分及びＣｒ成分で示されるカラー画像データを、再度、Ｒ成分、Ｇ成分、Ｂ成分で示されるカラー画像データに変換する。この色階調変換部１７による処理は、例えば実際にデジタルカメラ内で施される色階調変換処理と実質的に等しい色階調変換処理となる。
【００２８】
この色階調変換部１７における処理が施された画像データは、ノイズ除去部１８によりノイズ成分の除去処理（ノイズ除去処理）された後、輪郭強調部１９によりコントラストが強調される処理（輪郭強調処理）が施される。その後、上述した現像処理が施された画像データＰＩは、任意の形式の画像データとして記録される。このように、上述した画像処理プログラム１０を用いることにより、現像処理された画像データＰＩは、デジタルカメラ内で処理された画像データと、実質的に等しい階調と色成分を有していることになる。
【００２９】
次に、上述した画像処理プログラム１０において、ＲＡＷ画像データＲＩ以外の画像データに対する機能を、図２を用いて説明する。なお、図２においては、図１に示す機能を省略して示してある。以下では、画像データＰＩ１を、色階調変換処理前の画像データに戻すために実行される色階調変換処理を逆色階調変換処理と称し、後述するホワイトバランス調整処理が施された画像データに施される色階調変換処理を、逆逆色階調変換処理と称する。
【００３０】
画像処理プログラム１０は、現像処理済みの画像データＰＩ１が入力されたときに、サンプル色群生成部２１、サンプル色階調変換部２２、逆色階調変換ＬＵＴ生成部２３、逆色階調変換部２４、ホワイトバランス調整部２５及び逆逆色階調変換部２６の機能を実行することが可能となる。
【００３１】
サンプル色群生成部２１は、色階調変換前サンプル色群３０を作成する。この色階調変換前サンプル色群３０は、図１に示す色階調変換部１７における処理が施される直前の画像データに対応するサンプル色をまとめたものである。サンプル色は、Ｒ成分、Ｇ成分、Ｂ成分の値で示されるものであり、この色階調変換前サンプル色群３０は、Ｒ成分、Ｇ成分、Ｂ成分の値が取り得る範囲の中に満遍なく分布されるように作成される。例えば１２ビットの画像データの場合には、各画素におけるＲ、Ｇ、Ｂ成分の値が取り得る範囲は、０〜４０９５の範囲となる。例えばＲ成分の値をｉ、Ｇ成分の値をｊ、Ｂ成分の値をｋで示した場合、これらｉ，ｊ，ｋを０〜２５５で変化させ、（ｉ＋ｊ×２５６＋ｋ×２５６×２５６）個目のサンプルのＲＧＢ値を（ｉ×１６，ｊ×１６，ｋ×１６）とすることで、２５６×２５６×２５６個の色階調変換前サンプル色群３０を作成する。
【００３２】
サンプル色階調変換部２２は、図１に示す色階調変換部１７を利用して、色階調変換前サンプル色群３０の階調及び色を変換する。まず、サンプル色階調変換部２２は、色階調変換前サンプル色群３０の各サンプル色の色成分を各画素の色成分とするサンプル画像（変換前サンプル画像）を作成する。次に、画像データに付帯される付帯情報３３からカメラ機種、階調モード、及び色モードの情報を読み出し、これら情報に合わせて色階調変換処理が実行されるように、図１に示す色階調変換部１７を設定する。この設定の後、変換前サンプル画像に対して、色階調変換部１７による色階調変換処理を実行する。この色階調変換処理により得られるサンプル画像（変換後サンプル画像）の各画素の色成分を用いることで、色階調変換後サンプル色群３４が生成される。
【００３３】
逆色階調変換ＬＵＴ生成部２３は、逆色階調変換ルックアップテーブル（ＬＵＴ）３５を生成する。まず、色階調変換後サンプル色群３４の各サンプル色のＲＧＢ値を引数として３次元配列要素を指定し、そのサンプル色の生成元の色階調変換前サンプル色群３０のＲＧＢ値を、指定された配列要素に代入していく。複数の色階調変換処理後のサンプル色が同じ配列要素に対応している場合には、それらの生成元の色階調変換前サンプル色の平均値を配列要素に代入する。この処理を全てのサンプル色に対して行った後、３次元配列の配列要素のうち、一度も値を代入されなかった要素に対しては、周囲の配列要素の値を代入する。
【００３４】
この周囲の配列要素の値を代入する方法としては、公知の三次元補間方法が挙げられる。この三次元補間方法としては、例えば、値を代入されない配列要素（対象配列要素）に隣接する配列要素（第一隣接配列要素）の平均値を対象配列要素に代入する。また、第一隣接配列要素がない場合には、第一隣接要素に隣接する配列要素を用いて、その平均値を対象配列要素に代入していく。この用にして、全ての配列要素に対して処理を行うことで得られた三次元配列を逆色階調変換ＬＵＴ３５として出力する。なお、色階調変換部１７によって１２ビットのＲＧＢ画像データを色変換して、８ビットのＲＧＢ画像データに変換することから、この逆色階調変換ＬＵＴにおいて、配列要素を指定する引数（ｒ１、ｇ１、ｂ１）が取り得る範囲は、それぞれ０〜２５５であり、各配列要素となる（ｒ２、ｇ２、ｂ２）の取り得る範囲は、それぞれ０〜４０９５となる。
【００３５】
逆色階調変換部２４は、入力された画像データＰＩ１に対して、逆色階調変換ＬＵＴ３５を用いた逆色階調変換処理を実行する。この逆色階調変換処理は、画像データの各画素のＲＧＢ値を引数として逆色階調変換ＬＵＴ３５の配列要素を指定し、その配列要素に代入されているＲＧＢ値を、該当する画素のＲＧＢ値とすることで、入力された画像データの各画素のＲＧＢ値を変換していく。
【００３６】
ホワイトバランス調整部２５は、逆色階調変換処理が施された画像データに対してホワイトバランス調整を行う。このＷＢ調整としては、ホワイトバランス調整係数（Ｋｒ、Ｋｇ、Ｋｂ）３６を、画像データの各画素のＲＧＢ値にそれぞれ乗算していく。なお、このホワイトバランス調整係数（Ｋｒ、Ｋｇ、Ｋｂ）３６は、入力された画像データをモニタ等に表示し、ユーザがモニタに表示される画像を見ながら設定することが挙げられる。例えば画像が赤っぽく見える場合には、Ｋｒを１より小さくし、Ｋｂを１より大きくする。また、Ｋｒを１より小さく設定すると、画像が青っぽくなることから、このような場合には、Ｋｒを１にし、Ｋｇ、Ｋｂの値を１より大きくすればよい。
【００３７】
逆逆色階調変換部２６は、ＷＢ調整された画像データに対して色階調変換処理を実行する。なお、逆逆色階調変換部２６における色階調変換処理は、図１に示す色階調変換部１７を利用することで実行される。これにより、調整済みの画像データＰＩ１’が取得される。
【００３８】
次に、本実施形態におけるＷＢ調整の流れについて、図３のフローチャートを用いて説明する。ステップＳ１０１は、入力された画像データを読み込む処理である。また、ステップＳ１０２は、入力された画像データがＲＡＷ画像データＲＩであるか否かを判定する処理である。この判定で、入力された画像データがＲＡＷ画像データＲＩである場合（ステップＳ１０２の判定がＹｅｓとなる場合）には、ステップＳ１０３に進む。一方、入力された画像データがＲＡＷ画像データＲＩでない場合（ステップＳ１０２の判定がＮｏとなる場合）には、ステップＳ１１１に進む。
【００３９】
ステップＳ１０３は、ＲＡＷ現像処理である。このＲＡＷ現像処理の内容としては、上述したホワイトバランス補正処理、Ｂａｙｅｒ補間処理、色階調変換処理、ノイズ除去処理及び輪郭強調処理である。ここでは、その詳細は省略する。このＲＡＷ現像処理を実行することで得られる画像データＰＩは、所定形式の画像データとして記録される。なお、記録される画像データの形式としては、周知のＪｐｅｇ形式やｂｉｔｍａｐ形式などが挙げられる。
【００４０】
ステップＳ１１１は、入力された画像データがＲＡＷ画像データＲＩ以外の画像データＰＩ１となる場合に実行される処理である。このステップＳ１１１は、サンプル色群生成部２１において色階調変換前サンプル色群３０を作成する処理である。サンプル色群生成部２１は、生成された色階調変換前サンプル色群３０を、サンプル色階調変換部２２、及び逆色階調変換ＬＵＴ生成部２３に出力する。
【００４１】
ステップＳ１１２は、色階調変換後サンプル色群３４を作成する処理である。このステップＳ１１２の処理は、サンプル色階調変換部２２において実行される。色階調変換前サンプル色群３０が入力されると、サンプル色階調変換部２２は、画像データＰＩの付帯情報３３を参照して、カメラ機種、階調モード、色モード等の情報を読み出す。読み出したカメラ機種、階調モード及び色モードの情報を用いた色階調変換処理が実行されるように、色階調変換部１７の設定を行う。
【００４２】
これと同時に、サンプル色階調変換部２２は、上述した変換前サンプル画像を作成する。そして、作成された変換前サンプル画像に対して色階調変換部１７における色階調変換処理を施すことで、変換後サンプル画像を生成する。サンプル色階調変換部２２は、生成された変換後サンプル画像を用いて、該変換後サンプル画像における各画素の色成分を、各サンプル色の色成分とする色階調変換後サンプル色群３４を生成する。なお、生成された色階調変換後サンプル色群３４は、逆色階調変換ＬＵＴ生成部２３に出力される。
【００４３】
ステップＳ１１３は、逆色階調変換ＬＵＴ３５を生成する処理である。この処理は、逆色階調変換ＬＵＴ生成部２３にて実行される。上述したように、この逆色階調変換ＬＵＴ生成部２３には、色階調変換前サンプル色群３０、色階調変換後サンプル色群３４がそれぞれ入力されることから、これらサンプル色群を用いて、逆色階調変換ＬＵＴ３５を作成する。この逆色階調変換ＬＵＴ３５は、逆色階調変換部２４に出力される。
【００４４】
ステップＳ１１４は、逆色階調変換処理である。この処理は、逆色階調変換部２４にて実行される。逆色階調変換処理部２４は、逆色階調変換ＬＵＴ３５を用いて、画像データＰＩ１の各画素の色成分を変換し、例えば、色階調変換処理前の画像データに実質的に等しい画像データを生成する。なお、このステップＳ１１４の処理が実行された画像データは、ホワイトバランス調整部２５に出力される。
【００４５】
ステップＳ１１５は、ホワイトバランス調整処理である。この処理は、ホワイトバランス調整部２５にて実行される。ホワイトバランス調整部２５は、画像データの各画素のＲＧＢ値に対して、ホワイトバランス調整係数Ｋｒ、Ｋｇ、Ｋｂをそれぞれ乗算することで、ホワイトバランス調整処理が実行される。
【００４６】
ステップＳ１１６は、逆逆色階調変換処理である。この処理は、逆逆色階調変換部２６にて実行される。なお、ＷＢ調整が施された画像データが逆逆色階調変換部２６に入力されると、逆逆色階調変換部２６は、色階調変換部１７を利用した色階調変換処理を実行する。なお、色階調変換前サンプル色群３０から色階調変換後サンプル色群３４を生成する際の設定をそのままにしておけば、このステップＳ１１６の処理を実行する際に、色階調変換処理の設定を再度実行する手間を省くことができる。これにより、入力された画像データＰＩ１は、ホワイトバランス調整が施された画像データＰＩ１’となる。
【００４７】
例えば撮像等により、取得された画像データＰＩ１のホワイトバランスを適切に調整するためには、その画像に対してカメラ内で実行された色階調変換処理の効果を元に戻した上で調整を行う必要がある。また、画像処理プログラム１０においては、対象とする機種のカメラにおいて実行される色階調変換処理と実質的に等しい色階調変換処理を実行することが可能である。本発明においては、画像処理プログラム１０において実行される色階調変換処理を利用し、色階調変換前サンプル色群３０と色階調変換後サンプル色群３４との対応関係に基づいて逆色階調変換ＬＵＴ３５を生成している。ここで利用される色階調変換処理は、カメラ内で実行される色階調変換処理と実質的に等しいことから、生成された逆色階調変換ＬＵＴ３５を用いれば、カメラ内で実行された色階調変換処理の効果を元に戻すことができる。この状態でホワイトバランス調整を行うことで、自然な色の調整を行うことが可能となる。
【００４８】
また、この第１実施形態においては、色階調変換処理の具体的なアルゴリズムがわからなくとも実施することが可能であることから、色階調変換処理において使用されるアルゴリズムが複雑である場合や、機種毎に違う場合であっても、容易に実施することができる。
【００４９】
［第２の実施形態］
本発明における第２の実施形態について説明する。なお、第２の実施形態の画像処理プログラムにおいては、逆階調変換ＬＵＴを生成する機能の代わりに、逆階調変換ＬＵＴ及び逆色変換ＬＵＴを作成する機能を備えている。以下では、第１の実施形態と同一の機能については、第１の実施形態と同一の符号を付して説明する。
【００５０】
図４は、画像処理プログラム４０の機能のうち、ＲＡＷ画像データＲＩ以外の画像データに対して実行される機能について説明する機能ブロック図である。なお、ＲＡＷ画像データＲＩに対して実行される機能は、図１に示す機能と同一であることから、以下では、その機能については省略する。
【００５１】
画像処理プログラム４０は、サンプル色群生成部２１、サンプル色階調変換部２２、階調情報生成部４１、色変換情報生成部４２、逆色変換部４３、逆階調変換部４４、ホワイトバランス調整部２５及び逆逆色階調変換部２６としての機能を有している。なお、サンプル色群生成部２１、サンプル色階調変換部２２、ホワイトバランス調整部２５、逆逆色階調変換部２６は、第１の実施形態と同一であることから、ここでは、これらに対する説明は省略する。
【００５２】
階調変換情報生成部４１は、サンプル色群生成部２１により生成された色階調変換前サンプル色群３０と、サンプル色階調変換部２２にて生成された色階調変換後サンプル色群３４とを用いて、逆階調変換ＬＵＴ４５を生成する。まず、色階調変換前サンプル色群３０から無彩色となるサンプル色を抽出し、色階調変換後サンプル色群３４から無彩色となるサンプル色に由来するサンプル色を抽出する。これら抽出されたサンプル色の対応関係に基づいて逆階調変換ＬＵＴ４５を生成する。なお、この逆階調変換ＬＵＴ４５は、一次元配列のＬＵＴであり、配列要素を指定する１つの引数が取り得る範囲はそれぞれ０〜２５５である。一方、各配列要素には、０〜４０９５の範囲で１つの数値が保持される。
【００５３】
詳細には、色階調変換後サンプル色群３４の各サンプル色のＲＧＢの何れかの値を引数として配列要素を指定し、サンプル色のＲＧＢの生成元となる色階調変換前サンプル色群３０におけるサンプル色のいずれかの値を、指定された配列要素に代入する。なお、複数の色階調変換後サンプル色群３４のサンプル色が同じ配列要素に対応する場合は、それら生成元の色階調変換前サンプル色群３０のサンプル色の平均値を配列要素に代入すればよい。
【００５４】
この処理を全てのサンプル色に対して行い、１次元配列の配列要素のうち、値を代入されなかった要素に対しては、周囲の配列要素の値を代入する。この方法としては、公知の一次元補間方法を用いることができる。この一次元補間方法の一例としては、対象配列要素の第一隣接配列要素の中に値を代入された配列要素が例えば１６個以ある場合には、それらの平均値を対象配列要素に代入し、それ以外の場合には第二隣接配列要素までの範囲に対して同様の処理を実行し、値を代入された配列要素が１６個以上見つかるまで、範囲を拡大する。そして全ての配列要素に対して処理を行うことで得られる一次元配列が逆階調変換ＬＵＴ４５として生成される。
【００５５】
また、この階調変換情報生成部４１は、逆階調変換ＬＵＴ４５の他に、階調変換ＬＵＴ４６を生成する。この階調変換ＬＵＴ４６の生成方法としては、逆階調変換ＬＵＴ４５を生成する処理で、色階調変換前サンプル色群３０と、色階調変換後サンプル色群３４とを逆にした処理を行えばよい。階調変換情報生成部４１は、色階調変換前サンプル色群３０に対して階調変換ＬＵＴ４６を用いた階調変換を施すことで、階調変換後サンプル色群４７を生成する。
【００５６】
色変換情報生成部４２は、階調変換後サンプル色群４７と、色階調変換後サンプル色群３４とを用いて逆色変換ＬＵＴ４８を生成する。なお、この色逆変換ＬＵＴ４８の生成方法は、第１の実施形態における逆色階調変換ＬＵＴ３５の生成方法と同じであるので、ここでは、その詳細は省略する。
【００５７】
逆色変換部４３は、逆色変換ＬＵＴ４８を用いて、入力された画像データＰＩ２に対して逆色変換処理を実行する。逆階調変換部４４は、逆階調変換ＬＵＴ４５を用いた逆階調変換処理を、逆色変換処理が施された画像データに対して施す。なお、ここで示す逆色変換処理は、ＲＡＷ現像処理の際に行われる色座標系の変換処理（色変換処理）とは、逆となる色変換処理を示している。
【００５８】
次に、第２の実施形態におけるホワイトバランス調整の手順について、図５に示すフローチャートを用いて説明する。なお、このフローチャートにおいては、入力された画像データがＲＡＷ画像データＲＩとなる場合については、省略してある。
【００５９】
ステップＳ２０１は、入力された画像データＰＩ２を読み込む処理である。
【００６０】
ステップＳ２０２は、色階調変換前サンプル色群３０を生成する処理である。このステップＳ２０２の処理は、第１の実施形態におけるステップＳ１１１の処理と同一の処理内容であることから、ここでは、その詳細は省略する。なお、このステップＳ２０２の処理によって生成された色階調変換前サンプル色群３０は、階調変換情報生成部４１に出力される。
【００６１】
ステップＳ２０３は、色階調変換後サンプル色群３４を生成する処理である。なお、このステップＳ２０３の処理は、第１の実施形態におけるステップＳ１１２の処理と同一の処理内容であることから、ここでは、その詳細は省略する。なお、このステップＳ２０２の処理によって生成された色階調変換後サンプル色群３４は、階調変換情報生成部４１及び色変換情報生成部４２に出力される。
【００６２】
ステップＳ２０４は、逆階調変換ＬＵＴ４５及び階調変換ＬＵＴ４６を生成する処理である。このステップＳ２０４の処理は、階調変換情報生成部４１で実行される。上述したように、色階調変換前サンプル色群３０、色階調変換後サンプル色群３４は、それぞれ階調変換情報生成部４１に入力されることから、これらサンプル色群を用いて逆階調変換ＬＵＴ４５、及び階調変換ＬＵＴ４６を生成する。なお、生成された逆階調変換ＬＵＴ４５は、逆階調変換部４４に出力される。
【００６３】
ステップＳ２０５は、階調変換後サンプル色群４７を生成する処理である。このステップＳ２０５の処理も、階調変換情報生成部４１にて実行される。ステップＳ２０４の処理において、階調変換ＬＵＴ４６が生成されているので、階調変換情報生成部４１は、色階調変換前サンプル色群３０に対して階調変換ＬＵＴ４６を用いた階調変換処理を実行し、階調変換後サンプル色群４７を生成する。この階調変換後サンプル色群４７は、色変換情報生成部４２に出力される。
【００６４】
ステップＳ２０６は、逆色変換ＬＵＴ４８を生成する処理である。上述したように、色変換情報生成部４２には、色階調変換後サンプル色群３４、階調変換後サンプル色群４７がそれぞれ入力されることから、色変換情報生成部４２は、これらサンプル色群を用いて逆色変換ＬＵＴ４８を生成する。生成された逆色変換ＬＵＴ４８は、逆色変換部４３に出力される。
【００６５】
ステップＳ２０７は、逆色変換処理である。このステップＳ２０８の処理は、逆色変換部４３にて実行される。この逆色変換部４３には、逆色変換ＬＵＴ４８が入力されることから、画像データに対して逆色変換ＬＵＴ４８を用いた逆色変換処理を実行する。
【００６６】
ステップＳ２０８は、逆階調変換処理である。このステップＳ２０８の処理は、逆階調変換部４４にて実行される。逆階調変換部４４には逆階調変換ＬＵＴ４５が入力されることから、逆階調変換部４４は、逆色変換処理が施された画像データに対して逆階調変換ＬＵＴ４５を用いた逆階調変換処理を実行する。
【００６７】
ステップＳ２０９は、ホワイトバランス調整を行う処理である。なお、このステップＳ２０９の処理は、第１の実施形態におけるステップＳ１１５の処理と同一の処理内容であることから、ここでは、その詳細を省略する。
【００６８】
ステップＳ２１０は、逆逆色階調変換を行う処理である。なお、このステップＳ２１０の処理は、第１の実施形態におけるステップＳ１１６の処理と同一の処理内容であることから、ここでは、その詳細を省略する。また、このステップＳ２１０の処理においては、ＲＡＷ現像処理における色階調変換処理（図１の色階調変換部１７における処理）を利用した色階調変換処理が実行される。これにより、ホワイトバランス調整された画像データＰＩ２’が取得される。
【００６９】
この第２の実施形態の場合、第１の実施形態と同様の効果を得ることができる。また、この他に、逆色変換処理と逆色階調変換処理とを分離することによって、逆色変換ＬＵＴは、色階調変換前の画像データを生成するＬＵＴとなる。つまり、この逆色変換ＬＵＴを用いた変換前後の階調特性が等しくなることから、ＬＵＴの各要素の値の起伏を第１の実施形態に比べて緩やかにすることができる。例えば３次元ＬＵＴを生成する際には、欠落した箇所を周囲の値で平均した値としており、周囲の値の起伏が小さい場合には、これら周囲の値を平均した値における誤差が小さくなり、より精度の高い逆色変換を行うことができる。
【００７０】
［第３の実施形態］
以下、図６を用いて、第３の実施形態について説明する。なお、第１の実施形態、第２の実施形態と同一の機能を有する箇所については、同一の符号を付して説明する。この第３の実施形態においては、ＬＵＴなどのテーブルデータを用いて逆色変換処理を行わずに、行列を用いて逆色変換処理を実行する点で異なる。また、ホワイトバランス調整後の画像データに対して、階調変換情報生成部４１にて生成された階調変換ＬＵＴ４６を用いた階調変換処理を階調変換部５７にて実行した後、逆色変換処理で使用する行列の逆行列を用いた逆逆色変換処理を逆逆色変換部５８にて実行する点についても異なる。
【００７１】
以下では、第３の実施形態の画像処理プログラム５０における色変換情報生成部５２の機能について説明する。まず、色変換情報生成部５２において逆色変換近似行列を生成する方法について説明する。例えば階調変換後サンプル色群４７のｉ個目のサンプル色をＳｉ＝（ＲＳｉ，ＧＳｉ，ＢＳｉ）Ｔ、色階調変換後サンプル色群３４のｉ個目のサンプル色をＵｉ＝（ＲＵｉ，ＧＵｉ，ＢＵｉ）Ｔとする。ここで、Ｔは転置記号であり、Ｓｉ及びＵｉをそれぞれ横１×縦３の行列として定義している。そして、Ｍｋ１＋Ｍｋ２＋Ｍｋ３＝１（ｋ＝１，２，３）の制約条件の下に、（１）式におけるＥを最小化する３行３列の色変換行列Ｍを算出する。なお、Ｍｋ１＋Ｍｋ２＋Ｍｋ３＝１（ｋ＝１，２，３）の制約条件は、無彩色を色変換した場合に、は必ず無彩色になるという制約である。この制約条件は、通常の色階調変換処理や彩度強調処理を満たすべき条件なので、その逆色変換を生成する場合にも、その制約条件が守られることが望ましい。
【００７２】
【数１】
数式１に示すＭＵｉは、色階調変換後サンプル色群３４のｉ番目のサンプル色を色変換行列Ｍで色変換した値である。そして、Ｅは、行列Ｍによって色階調変換後のサンプル色を色変換した結果が階調変換後のサンプルに対してどれだけ誤差を持つかを表し、Ｅが小さいほど良い近似をしていることになる。
【００７３】
このＥを最小化する３行３列の色変換行列Ｍの算出は、周知のラグランジェの未定乗数法を用いることで算出される。この算出された色変換行列Ｍを、逆色変換近似行列５９とする。この逆色変換近似行列５９を求めた後、この行列Ｍの逆行列Ｍ−１を算出し、逆逆色変換近似行列６０とする。なお、生成される逆逆色変換近似行列６０は、逆逆色変換部５８にて用いられる。
【００７４】
以下、第３の実施形態における処理の流れについて、図７のフローチャートに基づいて説明する。なお、ステップＳ３０１〜ステップＳ３０５における処理は、第２の実施形態におけるステップＳ２０１〜Ｓ２０５の処理と同一であるので、ここでは、その詳細については省略する。
【００７５】
ステップＳ３０６は、逆色変換近似行列５９、及び逆逆色変換近似行列６０を生成する処理である。このステップＳ３０６における処理は、色変換情報生成部４２にて実行される。色変換情報生成部４２には、階調変換後サンプル色群４７及び色階調変換後サンプル色群３４が入力されている。色変換情報生成部４２は、階調変換後サンプル色群４７のｉ個目のサンプル色をＳｉ＝（ＲＳｉ，ＧＳｉ，ＢＳｉ）Ｔ、色階調変換後サンプル色群３４のｉ個目のサンプル色をＵｉ＝（ＲＵｉ，ＧＵｉ，ＢＵｉ）Ｔとして抽出し、これら抽出されたサンプル色が、上述した数式１を満足するような行列Ｍを逆色変換近似行列５９として求める。また、逆色変換近似行列５９を求めた後、この行列の逆数行列を逆逆色変換近似行列６０として算出する。
【００７６】
ステップＳ３０７は、逆色変換処理である。このステップＳ３０６の処理は、逆色変換部４３にて実行される。この逆色変換部４３には、逆色変換近似行列５９が入力されるので、逆色変換部４３は、逆色変換近似行列５９を用いて、入力された画像データに対する逆色変換処理を実行する。なお、ステップＳ３０８、ステップＳ３０９の処理は、第２の実施形態におけるステップＳ２０８、ステップＳ２０９と同一の処理であるので、ここではその詳細については省略する。
【００７７】
ステップＳ３１０は、階調変換処理である。このステップＳ３１０の処理は、階調変換部５７にて実行される。階調変換部５７には、階調変換情報生成部４１によって生成された階調変換ＬＵＴ４６が入力されるので、階調変換部５７は、階調変換ＬＵＴ４６を用いて、入力された画像データに対する階調変換処理を実行する。
【００７８】
ステップＳ３１１は、逆逆色変換処理である。このステップＳ３１１の処理は、逆逆色変換部５８において実行される。逆逆色変換部５８には逆逆色変換近似行列６０が入力されることから、逆逆色変換部５８は、逆逆色変換近似行列６０を用いて、逆逆色階調変換処理が実行された画像データに対して逆逆色変換処理を実行する。これにより、画像データＰＩ３に対してホワイトバランス調整が施された画像データＰＩ３’が取得される。
【００７９】
第３の実施形態においては、第１の実施形態と同様の効果を有している。また、第３の実施形態においては、三次元ＬＵＴの使用を避け、逆色変換近似行列５９と逆階調変換ＬＵＴ４５のみによって逆色階調変換処理を実行していることから、三次元ＬＵＴを用いる場合のメモリ容量を削減できる他に、三次元ＬＵＴを作成する処理時間を削減することができる。また、逆色階調変換処理が近似的に行われているので、ホワイトバランス調整後に色階調変換の状態を元に戻す処理において、ＲＡＷ画像データＲＩを処理するのに使用される色階調変換部を利用することを避け、近似的な逆色階調変換処理に対して厳密に逆の色階調変換処理を行っている。そのため、ホワイトバランス調整時の調整係数を１にした場合には入力画像と補整後画像の色が異なるということはない。
【００８０】
本発明の第１〜第３の実施形態においては、色階調変換前サンプル色群、色階調変換後サンプル色群のそれぞれを生成する実施形態としているが、これらサンプル色群のいずれか一方は、予め生成されているものであってもよい。この場合、カメラの機種、階調モード、色モードに合わせて複数のサンプル色群を予め生成しておく必要がある。
【００８１】
本発明の他の実施形態としては、色階調変換前サンプル色群の生成の際に、画素値の間隔を等間隔で生成しているが、それを階調変換処理や色階調変換処理を行った場合、サンプルの分布が高輝度部に偏ることになる。これを解消するために、例えばｓＲＧＢガンマなどの適当なガンマの逆ガンマを予め指定しておき、画素値の間隔を等間隔で生成したサンプル色群に対して逆階調変換を施したものを、色階調変換前サンプル色群として生成するようにしてもよい。
【００８２】
また、第３の実施形態においては、サンプル色群生成部が生成するサンプル色群の個数については、言及していないが、生成する色変換の自由度が限定的であることから、サンプル数を多くしてもあまり効果が得られない。階調変換ＬＵＴを生成する際の無彩色のサンプル色は、多いことが望ましいが、有彩色のサンプル色の個数は、少なくても良く、例えば、２５６３個の１／５１２ぐらいの個数で間引くことも可能である。
【００８３】
本実施形態では、ＲＡＷ画像データを現像処理する機能の他に、色階調変換処理などの画像処理が施された後の画像データに対するホワイトバランス調整を行う機能を有する画像処理プログラムについて説明しているが、これに限定する必要はなく、ＲＡＷ画像データを現像処理する機能を有している必要はない。
【００８４】
本発明では、色階調変換処理などの画像処理が施された後の画像データに対するホワイトバランス調整を行う画像処理プログラム、及び画像処理方法について説明しているが、本発明の画像処理プログラムや画像処理方法は、パーソナルコンピュータ（ＰＣ）、カメラ、或いは現像処理装置で実行させることも可能である。つまり、この画像処理プログラムをＰＣ、カメラ、或いは現像装置にて実行させることで、これら機器を画像処理装置として使用することができる。なお、この場合、画像処理プログラムは、予め上述した機器に設けられたメモリやストレージに記憶させておく、または、ＰＣや現像処理装置にて読み取ることができるＣＤなどの光学ディスクに記憶させておけばよい。
【図面の簡単な説明】
【００８５】
【図１】ＲＡＷ現像処理を行う際の構成を示す機能ブロック図である。
【図２】第１の実施形態において、画像データに対してホワイトバランス調整を行う場合の機能ブロック図である。
【図３】第１の実施形態において、ホワイトバランス調整を行う処理の流れを示すフローチャートである。
【図４】第２の実施形態において、画像データに対してホワイトバランス調整を行う場合の機能ブロック図である。
【図５】第２の実施形態において、ホワイトバランス調整を行う処理の流れを示すフローチャートである。
【図６】第３の実施形態において、画像データに対してホワイトバランス調整を行う場合の機能ブロック図である。
【図７】第３の実施形態において、ホワイトバランス調整を行う処理の流れを示すフローチャートである。
【符号の説明】
【００８６】
１０…画像処理プログラム、１７…色階調変換部、２１…サンプル色群生成部、２２…サンプル色階調変換部、２３…逆色階調変換ＬＵＴ生成部、２４…逆色階調変換部、２５…ホワイトバランス調整部、２６…逆逆色階調変換部、３０…色階調変換前サンプル色群、３４…色階調変換後サンプル色群、３５…逆色階調変換ＬＵＴ、４１…階調変換情報生成部、４２，５２…色変換情報生成部、４３…逆色変換部、４４…逆階調変換部、４５…逆階調変換ＬＵＴ、４６…階調変換ＬＵＴ、４７…階調変換後サンプル色群、４８…逆色変換ＬＵＴ、５７…階調変換部、５８…逆逆色変換部、５９…逆色変換近似行列、６０…逆逆色変換近似行列
【技術分野】
【０００１】
本発明は、ＲＡＷ画像データに対して現像処理を施すことで得られた画像データに対して、ホワイトバランス調整を施す画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
人間の視覚においては、異なる照明環境下であっても照明環境の効果を抑制して物体の色を識別する、所謂色順応という機能を有している。デジタルカメラにおいては、このような人間の視覚特性に対応するために、ホワイトバランス補正という機能を備えている。この機能は、撮影時の照明環境を自動的に設定、或いは推定した後、ＲＡＷ画像データの各色成分の比率の調整計数（ホワイトバランス補正値）を決定し、この調整係数を用いた補正を行うことで照明環境の効果を抑制している。
【０００３】
例えば撮影時の照明環境の設定や推定が不適切のまま、ホワイトバランス補正が行われた画像データや、ＲＡＷ画像データに対して現像処理が行われた画像データに対して、取得時の現像処理を考慮せずに色成分の調整を行うと、画像の色が不自然となりやすい。そこで、現像処理として実行される階調変換処理に対して逆の変換処理を画像データに施すことで、センサー出力と同じ状態の色成分をもつ画像を生成し、複雑な色順応モデルに基づいてホワイトバランス補正をやり直すことが可能な画像処理方法や画像処理装置が提案されている（特許文献１参照）。
【０００４】
特許文献１に記載された発明では、ガンマ補正を行った後に色空間をＲＧＢ色空間からＹＣｂＣｒ色空間に変換し、Ｃｂ及びＣｒに所定の係数を乗算することによって彩度強調を行う階調変換処理が想定されている。また、階調変換処理に対する逆の変換処理として、彩度強調されたＣｂとＣｒとを所定の係数で割った後に、色空間をＲＢＧ色空間に変換し、階調変換とは逆の変換処理を行うことも想定されている。
【特許文献１】特開２００１−１２８１９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、通常のデジタルカメラにおいて取得された画像データに対してなされる階調変換処理においては、色空間を分割した複数の領域のそれぞれに対して、異なるパラメータに基づいて色変換を行う、輝度に応じて彩度を強調する、或いは彩度に対して非線形変換を適用する等、様々な処理を組み合わせている。このような複雑な階調変換に対して厳密な逆変換アルゴリズムを作成することは難しく、また、階調変換用のアルゴリズムはカメラの機種毎に異なることから、その作成には多大な開発コストが必要であり、また、仮に上述したアルゴリズムが作成できたとしても、その処理は複雑であり、多くの処理時間が必要になる。
【課題を解決するための手段】
【０００６】
本発明は、上述した問題を解決するために発明されたものであり、複雑で多様なカメラ内の色階調変換アルゴリズムに対応してその逆の階調変換処理を実現することにより、センサー出力とほぼ同じ状態の色成分を持つ画像を生成してホワイトバランスの調整を適切に行うことができるようにした画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。
【０００７】
第１の発明の画像処理方法は、原画像データに現像処理を施した画像データに対して、前記現像処理用の色階調変換処理と逆の変換処理である第１色階調変換処理を施す第１色階調変換工程と、色階調変換前サンプル色群と、該色階調変換前サンプル群に対して前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理を施した色階調変換後サンプル色群とから、前記第１色階調変換工程で用いる第１色階調変換情報を生成する変換情報生成工程と、前記第１色階調変換工程後の画像データに、前記現像処理時のホワイトバランス補正を調整するホワイトバランス調整工程と、前記ホワイトバランス調整工程後の画像データに、前記第１色階調変換処理とは逆の変換処理である第２色階調変換処理を施す第２色階調変換工程と、を備えたことを特徴とする。なお、現像処理用の色階調変換処理と実質的に等しい色階調変換処理とは、例えば現像処理用の色階調変換処理の処理結果とほぼ等しい処理結果が得られる色階調変換処理のことである。
【０００８】
第２の発明は、第１の発明において前記第２色階調変換処理は、前記現像処理用の色階調変換処理を用いることを特徴とする。
【０００９】
第３の発明は、第１又は第２の発明において、前記第１色階調変換情報は、前記第１色階調変換処理が行われた画像データと前記現像処理用の色階調変換処理前の画像データとがほぼ等しい画像データとなるように、前記第１色階調変換処理を特定する情報からなり、前記変換情報生成工程は、前記第１色階調変換情報を生成する他に、前記第２色階調変換処理を特定する第２色階調変換情報を生成し、前記第２色階調変換工程は、前記第２色階調変換情報を用いて前記第２色階調変換処理を実行することを特徴とする。
【００１０】
第４の発明は、第１〜第３の発明のいずれかにおいて、前記変換情報生成工程は、前記色階調変換前サンプル色群と前記色階調変換後サンプル色群との対応関係から、前記第１色階調変換処理で用いる色階調変換用のテーブルデータを前記第１色階調変換情報として生成することを特徴とする。
【００１１】
第５の発明は、第１の発明において、前記変換情報生成工程は、前記色階調変換前サンプル色群から得られる無彩色のサンプル色群と、前記色階調変換後サンプル色群のうち、前記無彩色のサンプル色群に由来するサンプル色群との対応関係から階調変換情報を生成する階調変換情報生成工程を備えていることを特徴とする。
【００１２】
第６の発明は、第５の発明において、前記変換情報生成工程は、前記階調変換情報を用いた階調変換処理を前記色階調変換前サンプル色群に対して行うことで、階調変換後サンプル色群を生成する階調変換サンプル生成工程と、前記階調変換後サンプル色群と前記色階調変換後サンプル色群との対応関係に基づいた色変換情報を生成する色変換情報生成工程と、前記階調変換情報から、前記階調変換処理と逆の変換処理となる逆階調変換処理で用いる逆階調変換情報を生成する逆階調変換情報生成工程と、をさらに備え、前記変換情報生成工程は、前記逆階調変換情報と前記色変換情報とを組み合わせることで、前記第１色階調変換情報を生成することを特徴とする。
【００１３】
第７の発明は、第５の発明において、前記変換情報生成工程は、前記階調変換情報を用いた階調変換処理を前記色階調変換前サンプル色群に対して行うことで、階調変換後サンプル色群を生成する階調変換サンプル生成工程と、前記階調変換処理とは逆の変換処理となる逆階調変換処理に用いる逆階調変換情報を、前記階調変換情報に基づいて生成する逆階調変換情報生成工程と、前記階調変換後サンプル色群と前記色階調変換後サンプル群との対応関係から、色変換処理とは逆の変換処理となる逆色変換処理で用いる色変換用のテーブルデータを生成するテーブルデータ生成工程と、をさらに備え、前記変換情報生成処理は、前記色変換用のテーブルデータと前記逆階調変換情報とを組み合わせることで、前記第１色階調変換情報を生成することを特徴とする。
【００１４】
第８の発明は、第５の発明において、前記変換情報生成工程は、前記変換情報生成工程は、前記色階調変換前サンプル色群に対して、前記階調変換情報により階調変換処理を施す階調変換工程と、前記階調変換処理を行うことにより得られる階調変換後サンプル色群の各色成分を、前記色階調変換後サンプル色群の各色成分の線形和によって近似する逆色変換行列を生成する行列生成工程と、前記階調変換処理とは逆の変換処理となる逆階調変換処理を特定する逆階調変換情報を生成する逆階調変換情報生成工程と、をさらに備え、前記変換情報生成工程は、前記逆色変換行列と前記逆階調変換情報とを組み合わせることで、前記第１色階調変換情報を生成することを特徴とする。
【００１５】
第９の発明は、第８の発明において、前記変換情報生成工程は、前記逆色変換行列の逆行列を生成する逆行列生成工程を、さらに備え、前記変換情報生成工程は、前記階調変換情報と前記逆色変換行列の逆行列とを第２色階調変換情報として生成することを特徴とする。
【００１６】
第１０の発明は、第１〜第９の発明のいずれかにおいて、前記変換情報生成工程は、前記色階調変換前サンプル色群を生成する変換前サンプル生成工程を備えていることを特徴とする。
【００１７】
第１１の発明は、第１〜第１０の発明のいずれかにおいて、前記変換情報生成工程は、前記色階調変換後サンプル色群を生成する変換後サンプル生成工程を備えており、前記変換後サンプル生成工程は、前記色階調変換前サンプル色群に対して前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理を施すことで前記色階調変換後サンプル色群を生成することを特徴とする。
【００１８】
第１２の発明は、第１〜第１０の発明のいずれかにおいて、前記変換情報生成工程は、前記色階調変換前サンプル色群の色成分を、各画素の色成分として有する色階調変換前サンプル色画像を生成した後、該色階調変換前サンプル色画像に対して前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理を行うことで色階調変換後サンプル色画像を生成し、前記色階調変換後サンプル色画像の各画素の色成分を前記色階調変換後サンプル色群の各色成分として抽出することで、前記色階調変換後サンプル色群を生成することを特徴とする。
【００１９】
第１３の発明の画像処理装置は、第１の発明の画像処理方法を実施する機能を備えた画像処理装置において、撮像により取得された原画像データに、少なくともホワイトバランス補正処理と色階調変換処理とを含む現像処理を施すことにより鑑賞用の画像を生成する機能をさらに備え、前記現像処理に含まれる色階調変換処理を、請求項１に記載の前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理として用いることを特徴とする。
【００２０】
第１４の発明の画像処理プログラムは、第１の発明の画像処理方法を実施する機能を備えた画像処理プログラムにおいて、撮像により取得された原画像データに対して、少なくともホワイトバランス補正処理と色階調変換処理とを含む現像処理を施すことにより鑑賞用の画像を生成する機能をさらに備え、前記現像処理に含まれる色階調変換処理を、請求項１に記載の前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理として用いることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、画像データに対して施された階調変換処理と近似的な逆階調変換処理を施すことで、階調変換処理が実行される前の画像データと実質的に等しい画像データを容易に生成することで、ホワイトバランス補正が適切でない画像データに対するホワイトバランス調整を容易に、また適切に行うことができる。
【発明を実施するための最良の形態】
【００２２】
本発明の画像処理プログラムは、ＲＡＷ画像データに対して現像処理を施し、また、ＲＡＷ画像データ以外の画像データ（現像処理済みの画像データ）に対してホワイトバランス調整を施すことが可能なプログラムである。
【００２３】
［第１の実施形態］
以下、本発明を適用した画像処理プログラムの一実施例（第１の実施形態）について説明する。
【００２４】
図１は、画像処理プログラムを用いてＲＡＷ画像データＲＩを現像処理するときの機能ブロック図を示す。上述した画像処理プログラム１０は、ホワイトバランス補正部１５、Ｂａｙｅｒ補間部１６、色階調変換部１７、ノイズ除去部１８及び輪郭強調部１９としての機能を備えている。以下、ノイズ除去部１８及び輪郭強調部１９については、周知であることから、ここでは、その詳細を省略する。なお、図１においては、画像処理プログラム１０を示す箇所に対して、便宜上二点鎖線を用いて示している。
【００２５】
ホワイトバランス補正部１５は、入力されるＲＡＷ画像データＲＩにおけるホワイトバランスを補正する処理（ホワイトバランス補正処理）を実行する。なお、ＲＡＷ画像データＲＩは、Ｒ色成分、Ｇ色成分、Ｂ色成分の各色成分が周知のベイヤー配列により配列されたカラーフィルタを介して入射された被写体光を撮像素子にて光電変換した後、デジタル化処理が施された後の画像データである。なお、撮像素子によって光電変換することによって得られるデータは、各色成分の光量、或いは輝度値のみを表すデータであることから、ＲＡＷ画像データＲＩは、グレースケール値を示すデータとなる。また、ＲＡＷ画像データＲＩには、カメラの機種情報、撮像条件、階調モードの情報、色モードの情報などの付帯情報（メタデータ）が付帯されていることから、ホワイトバランス補正部１５は、ＲＡＷ画像データＲＩから付帯情報を参照して、ＲＡＷ画像データＲＩに対してホワイトバランス補正を施す。
【００２６】
Ｂａｙｅｒ補間部１６は、ホワイトバランス補正が施されたＲＡＷ画像データに対して補間処理（Ｂａｙｅｒ補間処理）を行う。上述したように、ＲＡＷ画像データＲＩは、カラーフィルタを透過した後の、各色成分のグレースケール値を示すデータである。ＲＡＷ画像データＲＩに付帯されている付帯情報には、カラーフィルタにおける各色成分の配列を示す配列情報も含まれていることから、Ｂａｙｅｒ補間部１６は、付帯情報から配列情報を読み出して、欠陥画素に対するカラー情報を補間して、ホワイトバランス補正処理されたグレースケールの画像データをカラー画像データに変換する。
【００２７】
色階調変換部１７は、カラー画像データに対して、階調変換処理、彩度強調処理などの色階調変換処理を実行する。階調変換処理は、ＲＡＷ画像データＲＩに付帯された付帯情報から、階調モードの情報を読み出して、階調モードに合わせた色となるように、各画素のＲ色、Ｇ色、Ｂ色の各色成分の値（強さ）を調整する。彩度強調処理は、階調変換処理が施されたカラー画像データに対する彩度を強調する処理である。カラー画像データは、Ｒ成分、Ｇ成分及びＢ成分で示されることから、一旦、Ｒ成分、Ｂ成分及びＧ成分で示されるカラー画像データをＹ成分、Ｃｂ成分及びＣｒ成分で示されるカラー画像データに変換する。この変換の後、各画素のＣｂ成分及びＣｒ成分に対して所定係数を乗算、又は乗算した後補正値を加算する。そして、Ｙ成分、Ｃｂ成分及びＣｒ成分で示されるカラー画像データを、再度、Ｒ成分、Ｇ成分、Ｂ成分で示されるカラー画像データに変換する。この色階調変換部１７による処理は、例えば実際にデジタルカメラ内で施される色階調変換処理と実質的に等しい色階調変換処理となる。
【００２８】
この色階調変換部１７における処理が施された画像データは、ノイズ除去部１８によりノイズ成分の除去処理（ノイズ除去処理）された後、輪郭強調部１９によりコントラストが強調される処理（輪郭強調処理）が施される。その後、上述した現像処理が施された画像データＰＩは、任意の形式の画像データとして記録される。このように、上述した画像処理プログラム１０を用いることにより、現像処理された画像データＰＩは、デジタルカメラ内で処理された画像データと、実質的に等しい階調と色成分を有していることになる。
【００２９】
次に、上述した画像処理プログラム１０において、ＲＡＷ画像データＲＩ以外の画像データに対する機能を、図２を用いて説明する。なお、図２においては、図１に示す機能を省略して示してある。以下では、画像データＰＩ１を、色階調変換処理前の画像データに戻すために実行される色階調変換処理を逆色階調変換処理と称し、後述するホワイトバランス調整処理が施された画像データに施される色階調変換処理を、逆逆色階調変換処理と称する。
【００３０】
画像処理プログラム１０は、現像処理済みの画像データＰＩ１が入力されたときに、サンプル色群生成部２１、サンプル色階調変換部２２、逆色階調変換ＬＵＴ生成部２３、逆色階調変換部２４、ホワイトバランス調整部２５及び逆逆色階調変換部２６の機能を実行することが可能となる。
【００３１】
サンプル色群生成部２１は、色階調変換前サンプル色群３０を作成する。この色階調変換前サンプル色群３０は、図１に示す色階調変換部１７における処理が施される直前の画像データに対応するサンプル色をまとめたものである。サンプル色は、Ｒ成分、Ｇ成分、Ｂ成分の値で示されるものであり、この色階調変換前サンプル色群３０は、Ｒ成分、Ｇ成分、Ｂ成分の値が取り得る範囲の中に満遍なく分布されるように作成される。例えば１２ビットの画像データの場合には、各画素におけるＲ、Ｇ、Ｂ成分の値が取り得る範囲は、０〜４０９５の範囲となる。例えばＲ成分の値をｉ、Ｇ成分の値をｊ、Ｂ成分の値をｋで示した場合、これらｉ，ｊ，ｋを０〜２５５で変化させ、（ｉ＋ｊ×２５６＋ｋ×２５６×２５６）個目のサンプルのＲＧＢ値を（ｉ×１６，ｊ×１６，ｋ×１６）とすることで、２５６×２５６×２５６個の色階調変換前サンプル色群３０を作成する。
【００３２】
サンプル色階調変換部２２は、図１に示す色階調変換部１７を利用して、色階調変換前サンプル色群３０の階調及び色を変換する。まず、サンプル色階調変換部２２は、色階調変換前サンプル色群３０の各サンプル色の色成分を各画素の色成分とするサンプル画像（変換前サンプル画像）を作成する。次に、画像データに付帯される付帯情報３３からカメラ機種、階調モード、及び色モードの情報を読み出し、これら情報に合わせて色階調変換処理が実行されるように、図１に示す色階調変換部１７を設定する。この設定の後、変換前サンプル画像に対して、色階調変換部１７による色階調変換処理を実行する。この色階調変換処理により得られるサンプル画像（変換後サンプル画像）の各画素の色成分を用いることで、色階調変換後サンプル色群３４が生成される。
【００３３】
逆色階調変換ＬＵＴ生成部２３は、逆色階調変換ルックアップテーブル（ＬＵＴ）３５を生成する。まず、色階調変換後サンプル色群３４の各サンプル色のＲＧＢ値を引数として３次元配列要素を指定し、そのサンプル色の生成元の色階調変換前サンプル色群３０のＲＧＢ値を、指定された配列要素に代入していく。複数の色階調変換処理後のサンプル色が同じ配列要素に対応している場合には、それらの生成元の色階調変換前サンプル色の平均値を配列要素に代入する。この処理を全てのサンプル色に対して行った後、３次元配列の配列要素のうち、一度も値を代入されなかった要素に対しては、周囲の配列要素の値を代入する。
【００３４】
この周囲の配列要素の値を代入する方法としては、公知の三次元補間方法が挙げられる。この三次元補間方法としては、例えば、値を代入されない配列要素（対象配列要素）に隣接する配列要素（第一隣接配列要素）の平均値を対象配列要素に代入する。また、第一隣接配列要素がない場合には、第一隣接要素に隣接する配列要素を用いて、その平均値を対象配列要素に代入していく。この用にして、全ての配列要素に対して処理を行うことで得られた三次元配列を逆色階調変換ＬＵＴ３５として出力する。なお、色階調変換部１７によって１２ビットのＲＧＢ画像データを色変換して、８ビットのＲＧＢ画像データに変換することから、この逆色階調変換ＬＵＴにおいて、配列要素を指定する引数（ｒ１、ｇ１、ｂ１）が取り得る範囲は、それぞれ０〜２５５であり、各配列要素となる（ｒ２、ｇ２、ｂ２）の取り得る範囲は、それぞれ０〜４０９５となる。
【００３５】
逆色階調変換部２４は、入力された画像データＰＩ１に対して、逆色階調変換ＬＵＴ３５を用いた逆色階調変換処理を実行する。この逆色階調変換処理は、画像データの各画素のＲＧＢ値を引数として逆色階調変換ＬＵＴ３５の配列要素を指定し、その配列要素に代入されているＲＧＢ値を、該当する画素のＲＧＢ値とすることで、入力された画像データの各画素のＲＧＢ値を変換していく。
【００３６】
ホワイトバランス調整部２５は、逆色階調変換処理が施された画像データに対してホワイトバランス調整を行う。このＷＢ調整としては、ホワイトバランス調整係数（Ｋｒ、Ｋｇ、Ｋｂ）３６を、画像データの各画素のＲＧＢ値にそれぞれ乗算していく。なお、このホワイトバランス調整係数（Ｋｒ、Ｋｇ、Ｋｂ）３６は、入力された画像データをモニタ等に表示し、ユーザがモニタに表示される画像を見ながら設定することが挙げられる。例えば画像が赤っぽく見える場合には、Ｋｒを１より小さくし、Ｋｂを１より大きくする。また、Ｋｒを１より小さく設定すると、画像が青っぽくなることから、このような場合には、Ｋｒを１にし、Ｋｇ、Ｋｂの値を１より大きくすればよい。
【００３７】
逆逆色階調変換部２６は、ＷＢ調整された画像データに対して色階調変換処理を実行する。なお、逆逆色階調変換部２６における色階調変換処理は、図１に示す色階調変換部１７を利用することで実行される。これにより、調整済みの画像データＰＩ１’が取得される。
【００３８】
次に、本実施形態におけるＷＢ調整の流れについて、図３のフローチャートを用いて説明する。ステップＳ１０１は、入力された画像データを読み込む処理である。また、ステップＳ１０２は、入力された画像データがＲＡＷ画像データＲＩであるか否かを判定する処理である。この判定で、入力された画像データがＲＡＷ画像データＲＩである場合（ステップＳ１０２の判定がＹｅｓとなる場合）には、ステップＳ１０３に進む。一方、入力された画像データがＲＡＷ画像データＲＩでない場合（ステップＳ１０２の判定がＮｏとなる場合）には、ステップＳ１１１に進む。
【００３９】
ステップＳ１０３は、ＲＡＷ現像処理である。このＲＡＷ現像処理の内容としては、上述したホワイトバランス補正処理、Ｂａｙｅｒ補間処理、色階調変換処理、ノイズ除去処理及び輪郭強調処理である。ここでは、その詳細は省略する。このＲＡＷ現像処理を実行することで得られる画像データＰＩは、所定形式の画像データとして記録される。なお、記録される画像データの形式としては、周知のＪｐｅｇ形式やｂｉｔｍａｐ形式などが挙げられる。
【００４０】
ステップＳ１１１は、入力された画像データがＲＡＷ画像データＲＩ以外の画像データＰＩ１となる場合に実行される処理である。このステップＳ１１１は、サンプル色群生成部２１において色階調変換前サンプル色群３０を作成する処理である。サンプル色群生成部２１は、生成された色階調変換前サンプル色群３０を、サンプル色階調変換部２２、及び逆色階調変換ＬＵＴ生成部２３に出力する。
【００４１】
ステップＳ１１２は、色階調変換後サンプル色群３４を作成する処理である。このステップＳ１１２の処理は、サンプル色階調変換部２２において実行される。色階調変換前サンプル色群３０が入力されると、サンプル色階調変換部２２は、画像データＰＩの付帯情報３３を参照して、カメラ機種、階調モード、色モード等の情報を読み出す。読み出したカメラ機種、階調モード及び色モードの情報を用いた色階調変換処理が実行されるように、色階調変換部１７の設定を行う。
【００４２】
これと同時に、サンプル色階調変換部２２は、上述した変換前サンプル画像を作成する。そして、作成された変換前サンプル画像に対して色階調変換部１７における色階調変換処理を施すことで、変換後サンプル画像を生成する。サンプル色階調変換部２２は、生成された変換後サンプル画像を用いて、該変換後サンプル画像における各画素の色成分を、各サンプル色の色成分とする色階調変換後サンプル色群３４を生成する。なお、生成された色階調変換後サンプル色群３４は、逆色階調変換ＬＵＴ生成部２３に出力される。
【００４３】
ステップＳ１１３は、逆色階調変換ＬＵＴ３５を生成する処理である。この処理は、逆色階調変換ＬＵＴ生成部２３にて実行される。上述したように、この逆色階調変換ＬＵＴ生成部２３には、色階調変換前サンプル色群３０、色階調変換後サンプル色群３４がそれぞれ入力されることから、これらサンプル色群を用いて、逆色階調変換ＬＵＴ３５を作成する。この逆色階調変換ＬＵＴ３５は、逆色階調変換部２４に出力される。
【００４４】
ステップＳ１１４は、逆色階調変換処理である。この処理は、逆色階調変換部２４にて実行される。逆色階調変換処理部２４は、逆色階調変換ＬＵＴ３５を用いて、画像データＰＩ１の各画素の色成分を変換し、例えば、色階調変換処理前の画像データに実質的に等しい画像データを生成する。なお、このステップＳ１１４の処理が実行された画像データは、ホワイトバランス調整部２５に出力される。
【００４５】
ステップＳ１１５は、ホワイトバランス調整処理である。この処理は、ホワイトバランス調整部２５にて実行される。ホワイトバランス調整部２５は、画像データの各画素のＲＧＢ値に対して、ホワイトバランス調整係数Ｋｒ、Ｋｇ、Ｋｂをそれぞれ乗算することで、ホワイトバランス調整処理が実行される。
【００４６】
ステップＳ１１６は、逆逆色階調変換処理である。この処理は、逆逆色階調変換部２６にて実行される。なお、ＷＢ調整が施された画像データが逆逆色階調変換部２６に入力されると、逆逆色階調変換部２６は、色階調変換部１７を利用した色階調変換処理を実行する。なお、色階調変換前サンプル色群３０から色階調変換後サンプル色群３４を生成する際の設定をそのままにしておけば、このステップＳ１１６の処理を実行する際に、色階調変換処理の設定を再度実行する手間を省くことができる。これにより、入力された画像データＰＩ１は、ホワイトバランス調整が施された画像データＰＩ１’となる。
【００４７】
例えば撮像等により、取得された画像データＰＩ１のホワイトバランスを適切に調整するためには、その画像に対してカメラ内で実行された色階調変換処理の効果を元に戻した上で調整を行う必要がある。また、画像処理プログラム１０においては、対象とする機種のカメラにおいて実行される色階調変換処理と実質的に等しい色階調変換処理を実行することが可能である。本発明においては、画像処理プログラム１０において実行される色階調変換処理を利用し、色階調変換前サンプル色群３０と色階調変換後サンプル色群３４との対応関係に基づいて逆色階調変換ＬＵＴ３５を生成している。ここで利用される色階調変換処理は、カメラ内で実行される色階調変換処理と実質的に等しいことから、生成された逆色階調変換ＬＵＴ３５を用いれば、カメラ内で実行された色階調変換処理の効果を元に戻すことができる。この状態でホワイトバランス調整を行うことで、自然な色の調整を行うことが可能となる。
【００４８】
また、この第１実施形態においては、色階調変換処理の具体的なアルゴリズムがわからなくとも実施することが可能であることから、色階調変換処理において使用されるアルゴリズムが複雑である場合や、機種毎に違う場合であっても、容易に実施することができる。
【００４９】
［第２の実施形態］
本発明における第２の実施形態について説明する。なお、第２の実施形態の画像処理プログラムにおいては、逆階調変換ＬＵＴを生成する機能の代わりに、逆階調変換ＬＵＴ及び逆色変換ＬＵＴを作成する機能を備えている。以下では、第１の実施形態と同一の機能については、第１の実施形態と同一の符号を付して説明する。
【００５０】
図４は、画像処理プログラム４０の機能のうち、ＲＡＷ画像データＲＩ以外の画像データに対して実行される機能について説明する機能ブロック図である。なお、ＲＡＷ画像データＲＩに対して実行される機能は、図１に示す機能と同一であることから、以下では、その機能については省略する。
【００５１】
画像処理プログラム４０は、サンプル色群生成部２１、サンプル色階調変換部２２、階調情報生成部４１、色変換情報生成部４２、逆色変換部４３、逆階調変換部４４、ホワイトバランス調整部２５及び逆逆色階調変換部２６としての機能を有している。なお、サンプル色群生成部２１、サンプル色階調変換部２２、ホワイトバランス調整部２５、逆逆色階調変換部２６は、第１の実施形態と同一であることから、ここでは、これらに対する説明は省略する。
【００５２】
階調変換情報生成部４１は、サンプル色群生成部２１により生成された色階調変換前サンプル色群３０と、サンプル色階調変換部２２にて生成された色階調変換後サンプル色群３４とを用いて、逆階調変換ＬＵＴ４５を生成する。まず、色階調変換前サンプル色群３０から無彩色となるサンプル色を抽出し、色階調変換後サンプル色群３４から無彩色となるサンプル色に由来するサンプル色を抽出する。これら抽出されたサンプル色の対応関係に基づいて逆階調変換ＬＵＴ４５を生成する。なお、この逆階調変換ＬＵＴ４５は、一次元配列のＬＵＴであり、配列要素を指定する１つの引数が取り得る範囲はそれぞれ０〜２５５である。一方、各配列要素には、０〜４０９５の範囲で１つの数値が保持される。
【００５３】
詳細には、色階調変換後サンプル色群３４の各サンプル色のＲＧＢの何れかの値を引数として配列要素を指定し、サンプル色のＲＧＢの生成元となる色階調変換前サンプル色群３０におけるサンプル色のいずれかの値を、指定された配列要素に代入する。なお、複数の色階調変換後サンプル色群３４のサンプル色が同じ配列要素に対応する場合は、それら生成元の色階調変換前サンプル色群３０のサンプル色の平均値を配列要素に代入すればよい。
【００５４】
この処理を全てのサンプル色に対して行い、１次元配列の配列要素のうち、値を代入されなかった要素に対しては、周囲の配列要素の値を代入する。この方法としては、公知の一次元補間方法を用いることができる。この一次元補間方法の一例としては、対象配列要素の第一隣接配列要素の中に値を代入された配列要素が例えば１６個以ある場合には、それらの平均値を対象配列要素に代入し、それ以外の場合には第二隣接配列要素までの範囲に対して同様の処理を実行し、値を代入された配列要素が１６個以上見つかるまで、範囲を拡大する。そして全ての配列要素に対して処理を行うことで得られる一次元配列が逆階調変換ＬＵＴ４５として生成される。
【００５５】
また、この階調変換情報生成部４１は、逆階調変換ＬＵＴ４５の他に、階調変換ＬＵＴ４６を生成する。この階調変換ＬＵＴ４６の生成方法としては、逆階調変換ＬＵＴ４５を生成する処理で、色階調変換前サンプル色群３０と、色階調変換後サンプル色群３４とを逆にした処理を行えばよい。階調変換情報生成部４１は、色階調変換前サンプル色群３０に対して階調変換ＬＵＴ４６を用いた階調変換を施すことで、階調変換後サンプル色群４７を生成する。
【００５６】
色変換情報生成部４２は、階調変換後サンプル色群４７と、色階調変換後サンプル色群３４とを用いて逆色変換ＬＵＴ４８を生成する。なお、この色逆変換ＬＵＴ４８の生成方法は、第１の実施形態における逆色階調変換ＬＵＴ３５の生成方法と同じであるので、ここでは、その詳細は省略する。
【００５７】
逆色変換部４３は、逆色変換ＬＵＴ４８を用いて、入力された画像データＰＩ２に対して逆色変換処理を実行する。逆階調変換部４４は、逆階調変換ＬＵＴ４５を用いた逆階調変換処理を、逆色変換処理が施された画像データに対して施す。なお、ここで示す逆色変換処理は、ＲＡＷ現像処理の際に行われる色座標系の変換処理（色変換処理）とは、逆となる色変換処理を示している。
【００５８】
次に、第２の実施形態におけるホワイトバランス調整の手順について、図５に示すフローチャートを用いて説明する。なお、このフローチャートにおいては、入力された画像データがＲＡＷ画像データＲＩとなる場合については、省略してある。
【００５９】
ステップＳ２０１は、入力された画像データＰＩ２を読み込む処理である。
【００６０】
ステップＳ２０２は、色階調変換前サンプル色群３０を生成する処理である。このステップＳ２０２の処理は、第１の実施形態におけるステップＳ１１１の処理と同一の処理内容であることから、ここでは、その詳細は省略する。なお、このステップＳ２０２の処理によって生成された色階調変換前サンプル色群３０は、階調変換情報生成部４１に出力される。
【００６１】
ステップＳ２０３は、色階調変換後サンプル色群３４を生成する処理である。なお、このステップＳ２０３の処理は、第１の実施形態におけるステップＳ１１２の処理と同一の処理内容であることから、ここでは、その詳細は省略する。なお、このステップＳ２０２の処理によって生成された色階調変換後サンプル色群３４は、階調変換情報生成部４１及び色変換情報生成部４２に出力される。
【００６２】
ステップＳ２０４は、逆階調変換ＬＵＴ４５及び階調変換ＬＵＴ４６を生成する処理である。このステップＳ２０４の処理は、階調変換情報生成部４１で実行される。上述したように、色階調変換前サンプル色群３０、色階調変換後サンプル色群３４は、それぞれ階調変換情報生成部４１に入力されることから、これらサンプル色群を用いて逆階調変換ＬＵＴ４５、及び階調変換ＬＵＴ４６を生成する。なお、生成された逆階調変換ＬＵＴ４５は、逆階調変換部４４に出力される。
【００６３】
ステップＳ２０５は、階調変換後サンプル色群４７を生成する処理である。このステップＳ２０５の処理も、階調変換情報生成部４１にて実行される。ステップＳ２０４の処理において、階調変換ＬＵＴ４６が生成されているので、階調変換情報生成部４１は、色階調変換前サンプル色群３０に対して階調変換ＬＵＴ４６を用いた階調変換処理を実行し、階調変換後サンプル色群４７を生成する。この階調変換後サンプル色群４７は、色変換情報生成部４２に出力される。
【００６４】
ステップＳ２０６は、逆色変換ＬＵＴ４８を生成する処理である。上述したように、色変換情報生成部４２には、色階調変換後サンプル色群３４、階調変換後サンプル色群４７がそれぞれ入力されることから、色変換情報生成部４２は、これらサンプル色群を用いて逆色変換ＬＵＴ４８を生成する。生成された逆色変換ＬＵＴ４８は、逆色変換部４３に出力される。
【００６５】
ステップＳ２０７は、逆色変換処理である。このステップＳ２０８の処理は、逆色変換部４３にて実行される。この逆色変換部４３には、逆色変換ＬＵＴ４８が入力されることから、画像データに対して逆色変換ＬＵＴ４８を用いた逆色変換処理を実行する。
【００６６】
ステップＳ２０８は、逆階調変換処理である。このステップＳ２０８の処理は、逆階調変換部４４にて実行される。逆階調変換部４４には逆階調変換ＬＵＴ４５が入力されることから、逆階調変換部４４は、逆色変換処理が施された画像データに対して逆階調変換ＬＵＴ４５を用いた逆階調変換処理を実行する。
【００６７】
ステップＳ２０９は、ホワイトバランス調整を行う処理である。なお、このステップＳ２０９の処理は、第１の実施形態におけるステップＳ１１５の処理と同一の処理内容であることから、ここでは、その詳細を省略する。
【００６８】
ステップＳ２１０は、逆逆色階調変換を行う処理である。なお、このステップＳ２１０の処理は、第１の実施形態におけるステップＳ１１６の処理と同一の処理内容であることから、ここでは、その詳細を省略する。また、このステップＳ２１０の処理においては、ＲＡＷ現像処理における色階調変換処理（図１の色階調変換部１７における処理）を利用した色階調変換処理が実行される。これにより、ホワイトバランス調整された画像データＰＩ２’が取得される。
【００６９】
この第２の実施形態の場合、第１の実施形態と同様の効果を得ることができる。また、この他に、逆色変換処理と逆色階調変換処理とを分離することによって、逆色変換ＬＵＴは、色階調変換前の画像データを生成するＬＵＴとなる。つまり、この逆色変換ＬＵＴを用いた変換前後の階調特性が等しくなることから、ＬＵＴの各要素の値の起伏を第１の実施形態に比べて緩やかにすることができる。例えば３次元ＬＵＴを生成する際には、欠落した箇所を周囲の値で平均した値としており、周囲の値の起伏が小さい場合には、これら周囲の値を平均した値における誤差が小さくなり、より精度の高い逆色変換を行うことができる。
【００７０】
［第３の実施形態］
以下、図６を用いて、第３の実施形態について説明する。なお、第１の実施形態、第２の実施形態と同一の機能を有する箇所については、同一の符号を付して説明する。この第３の実施形態においては、ＬＵＴなどのテーブルデータを用いて逆色変換処理を行わずに、行列を用いて逆色変換処理を実行する点で異なる。また、ホワイトバランス調整後の画像データに対して、階調変換情報生成部４１にて生成された階調変換ＬＵＴ４６を用いた階調変換処理を階調変換部５７にて実行した後、逆色変換処理で使用する行列の逆行列を用いた逆逆色変換処理を逆逆色変換部５８にて実行する点についても異なる。
【００７１】
以下では、第３の実施形態の画像処理プログラム５０における色変換情報生成部５２の機能について説明する。まず、色変換情報生成部５２において逆色変換近似行列を生成する方法について説明する。例えば階調変換後サンプル色群４７のｉ個目のサンプル色をＳｉ＝（ＲＳｉ，ＧＳｉ，ＢＳｉ）Ｔ、色階調変換後サンプル色群３４のｉ個目のサンプル色をＵｉ＝（ＲＵｉ，ＧＵｉ，ＢＵｉ）Ｔとする。ここで、Ｔは転置記号であり、Ｓｉ及びＵｉをそれぞれ横１×縦３の行列として定義している。そして、Ｍｋ１＋Ｍｋ２＋Ｍｋ３＝１（ｋ＝１，２，３）の制約条件の下に、（１）式におけるＥを最小化する３行３列の色変換行列Ｍを算出する。なお、Ｍｋ１＋Ｍｋ２＋Ｍｋ３＝１（ｋ＝１，２，３）の制約条件は、無彩色を色変換した場合に、は必ず無彩色になるという制約である。この制約条件は、通常の色階調変換処理や彩度強調処理を満たすべき条件なので、その逆色変換を生成する場合にも、その制約条件が守られることが望ましい。
【００７２】
【数１】
数式１に示すＭＵｉは、色階調変換後サンプル色群３４のｉ番目のサンプル色を色変換行列Ｍで色変換した値である。そして、Ｅは、行列Ｍによって色階調変換後のサンプル色を色変換した結果が階調変換後のサンプルに対してどれだけ誤差を持つかを表し、Ｅが小さいほど良い近似をしていることになる。
【００７３】
このＥを最小化する３行３列の色変換行列Ｍの算出は、周知のラグランジェの未定乗数法を用いることで算出される。この算出された色変換行列Ｍを、逆色変換近似行列５９とする。この逆色変換近似行列５９を求めた後、この行列Ｍの逆行列Ｍ−１を算出し、逆逆色変換近似行列６０とする。なお、生成される逆逆色変換近似行列６０は、逆逆色変換部５８にて用いられる。
【００７４】
以下、第３の実施形態における処理の流れについて、図７のフローチャートに基づいて説明する。なお、ステップＳ３０１〜ステップＳ３０５における処理は、第２の実施形態におけるステップＳ２０１〜Ｓ２０５の処理と同一であるので、ここでは、その詳細については省略する。
【００７５】
ステップＳ３０６は、逆色変換近似行列５９、及び逆逆色変換近似行列６０を生成する処理である。このステップＳ３０６における処理は、色変換情報生成部４２にて実行される。色変換情報生成部４２には、階調変換後サンプル色群４７及び色階調変換後サンプル色群３４が入力されている。色変換情報生成部４２は、階調変換後サンプル色群４７のｉ個目のサンプル色をＳｉ＝（ＲＳｉ，ＧＳｉ，ＢＳｉ）Ｔ、色階調変換後サンプル色群３４のｉ個目のサンプル色をＵｉ＝（ＲＵｉ，ＧＵｉ，ＢＵｉ）Ｔとして抽出し、これら抽出されたサンプル色が、上述した数式１を満足するような行列Ｍを逆色変換近似行列５９として求める。また、逆色変換近似行列５９を求めた後、この行列の逆数行列を逆逆色変換近似行列６０として算出する。
【００７６】
ステップＳ３０７は、逆色変換処理である。このステップＳ３０６の処理は、逆色変換部４３にて実行される。この逆色変換部４３には、逆色変換近似行列５９が入力されるので、逆色変換部４３は、逆色変換近似行列５９を用いて、入力された画像データに対する逆色変換処理を実行する。なお、ステップＳ３０８、ステップＳ３０９の処理は、第２の実施形態におけるステップＳ２０８、ステップＳ２０９と同一の処理であるので、ここではその詳細については省略する。
【００７７】
ステップＳ３１０は、階調変換処理である。このステップＳ３１０の処理は、階調変換部５７にて実行される。階調変換部５７には、階調変換情報生成部４１によって生成された階調変換ＬＵＴ４６が入力されるので、階調変換部５７は、階調変換ＬＵＴ４６を用いて、入力された画像データに対する階調変換処理を実行する。
【００７８】
ステップＳ３１１は、逆逆色変換処理である。このステップＳ３１１の処理は、逆逆色変換部５８において実行される。逆逆色変換部５８には逆逆色変換近似行列６０が入力されることから、逆逆色変換部５８は、逆逆色変換近似行列６０を用いて、逆逆色階調変換処理が実行された画像データに対して逆逆色変換処理を実行する。これにより、画像データＰＩ３に対してホワイトバランス調整が施された画像データＰＩ３’が取得される。
【００７９】
第３の実施形態においては、第１の実施形態と同様の効果を有している。また、第３の実施形態においては、三次元ＬＵＴの使用を避け、逆色変換近似行列５９と逆階調変換ＬＵＴ４５のみによって逆色階調変換処理を実行していることから、三次元ＬＵＴを用いる場合のメモリ容量を削減できる他に、三次元ＬＵＴを作成する処理時間を削減することができる。また、逆色階調変換処理が近似的に行われているので、ホワイトバランス調整後に色階調変換の状態を元に戻す処理において、ＲＡＷ画像データＲＩを処理するのに使用される色階調変換部を利用することを避け、近似的な逆色階調変換処理に対して厳密に逆の色階調変換処理を行っている。そのため、ホワイトバランス調整時の調整係数を１にした場合には入力画像と補整後画像の色が異なるということはない。
【００８０】
本発明の第１〜第３の実施形態においては、色階調変換前サンプル色群、色階調変換後サンプル色群のそれぞれを生成する実施形態としているが、これらサンプル色群のいずれか一方は、予め生成されているものであってもよい。この場合、カメラの機種、階調モード、色モードに合わせて複数のサンプル色群を予め生成しておく必要がある。
【００８１】
本発明の他の実施形態としては、色階調変換前サンプル色群の生成の際に、画素値の間隔を等間隔で生成しているが、それを階調変換処理や色階調変換処理を行った場合、サンプルの分布が高輝度部に偏ることになる。これを解消するために、例えばｓＲＧＢガンマなどの適当なガンマの逆ガンマを予め指定しておき、画素値の間隔を等間隔で生成したサンプル色群に対して逆階調変換を施したものを、色階調変換前サンプル色群として生成するようにしてもよい。
【００８２】
また、第３の実施形態においては、サンプル色群生成部が生成するサンプル色群の個数については、言及していないが、生成する色変換の自由度が限定的であることから、サンプル数を多くしてもあまり効果が得られない。階調変換ＬＵＴを生成する際の無彩色のサンプル色は、多いことが望ましいが、有彩色のサンプル色の個数は、少なくても良く、例えば、２５６３個の１／５１２ぐらいの個数で間引くことも可能である。
【００８３】
本実施形態では、ＲＡＷ画像データを現像処理する機能の他に、色階調変換処理などの画像処理が施された後の画像データに対するホワイトバランス調整を行う機能を有する画像処理プログラムについて説明しているが、これに限定する必要はなく、ＲＡＷ画像データを現像処理する機能を有している必要はない。
【００８４】
本発明では、色階調変換処理などの画像処理が施された後の画像データに対するホワイトバランス調整を行う画像処理プログラム、及び画像処理方法について説明しているが、本発明の画像処理プログラムや画像処理方法は、パーソナルコンピュータ（ＰＣ）、カメラ、或いは現像処理装置で実行させることも可能である。つまり、この画像処理プログラムをＰＣ、カメラ、或いは現像装置にて実行させることで、これら機器を画像処理装置として使用することができる。なお、この場合、画像処理プログラムは、予め上述した機器に設けられたメモリやストレージに記憶させておく、または、ＰＣや現像処理装置にて読み取ることができるＣＤなどの光学ディスクに記憶させておけばよい。
【図面の簡単な説明】
【００８５】
【図１】ＲＡＷ現像処理を行う際の構成を示す機能ブロック図である。
【図２】第１の実施形態において、画像データに対してホワイトバランス調整を行う場合の機能ブロック図である。
【図３】第１の実施形態において、ホワイトバランス調整を行う処理の流れを示すフローチャートである。
【図４】第２の実施形態において、画像データに対してホワイトバランス調整を行う場合の機能ブロック図である。
【図５】第２の実施形態において、ホワイトバランス調整を行う処理の流れを示すフローチャートである。
【図６】第３の実施形態において、画像データに対してホワイトバランス調整を行う場合の機能ブロック図である。
【図７】第３の実施形態において、ホワイトバランス調整を行う処理の流れを示すフローチャートである。
【符号の説明】
【００８６】
１０…画像処理プログラム、１７…色階調変換部、２１…サンプル色群生成部、２２…サンプル色階調変換部、２３…逆色階調変換ＬＵＴ生成部、２４…逆色階調変換部、２５…ホワイトバランス調整部、２６…逆逆色階調変換部、３０…色階調変換前サンプル色群、３４…色階調変換後サンプル色群、３５…逆色階調変換ＬＵＴ、４１…階調変換情報生成部、４２，５２…色変換情報生成部、４３…逆色変換部、４４…逆階調変換部、４５…逆階調変換ＬＵＴ、４６…階調変換ＬＵＴ、４７…階調変換後サンプル色群、４８…逆色変換ＬＵＴ、５７…階調変換部、５８…逆逆色変換部、５９…逆色変換近似行列、６０…逆逆色変換近似行列
【特許請求の範囲】
【請求項１】
原画像データに現像処理を施した画像データに対して、前記現像処理用の色階調変換処理と逆の変換処理である第１色階調変換処理を施す第１色階調変換工程と、
色階調変換前サンプル色群と、該色階調変換前サンプル群に対して前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理を施した色階調変換後サンプル色群とから、前記第１色階調変換工程で用いる第１色階調変換情報を生成する変換情報生成工程と、
前記第１色階調変換工程後の画像データに、前記現像処理時のホワイトバランス補正を調整するホワイトバランス調整工程と、
前記ホワイトバランス調整工程後の画像データに、前記第１色階調変換処理とは逆の変換処理である第２色階調変換処理を施す第２色階調変換工程と、
を備えたことを特徴とする画像処理方法。
【請求項２】
請求項１記載の画像処理方法において、
前記第２色階調変換処理は、前記現像処理用の色階調変換処理を用いることを特徴とする画像処理方法。
【請求項３】
請求項１又は２記載の画像処理方法において、
前記第１色階調変換情報は、前記第１色階調変換処理が行われた画像データと前記現像処理用の色階調変換処理前の画像データとがほぼ等しい画像データとなるように、前記第１色階調変換処理を特定する情報からなり、
前記変換情報生成工程は、前記第１色階調変換情報を生成する他に、前記第２色階調変換処理を特定する第２色階調変換情報を生成し、
前記第２色階調変換工程は、前記第２色階調変換情報を用いて前記第２色階調変換処理を実行することを特徴とする画像処理方法。
【請求項４】
請求項１〜３いずれか１項に記載の画像処理方法において、
前記変換情報生成工程は、前記色階調変換前サンプル色群と前記色階調変換後サンプル色群との対応関係から、前記第１色階調変換処理で用いる色階調変換用のテーブルデータを前記第１色階調変換情報として生成することを特徴とする画像処理方法。
【請求項５】
請求項１記載の画像処理方法において、
前記変換情報生成工程は、前記色階調変換前サンプル色群から得られる無彩色のサンプル色群と、前記色階調変換後サンプル色群のうち、前記無彩色のサンプル色群に由来するサンプル色群との対応関係から階調変換情報を生成する階調変換情報生成工程を備えていることを特徴とする画像処理方法。
【請求項６】
請求項５記載の画像処理方法において、
前記変換情報生成工程は、
前記階調変換情報を用いた階調変換処理を前記色階調変換前サンプル色群に対して行うことで、階調変換後サンプル色群を生成する階調変換サンプル生成工程と、
前記階調変換後サンプル色群と前記色階調変換後サンプル色群との対応関係に基づいた色変換情報を生成する色変換情報生成工程と、
前記階調変換情報から、前記階調変換処理と逆の変換処理となる逆階調変換処理で用いる逆階調変換情報を生成する逆階調変換情報生成工程と、をさらに備え、
前記変換情報生成工程は、前記逆階調変換情報と前記色変換情報とを組み合わせることで、前記第１色階調変換情報を生成することを特徴とする画像処理方法。
【請求項７】
請求項５記載の画像処理方法において、
前記変換情報生成工程は、
前記階調変換情報を用いた階調変換処理を前記色階調変換前サンプル色群に対して行うことで、階調変換後サンプル色群を生成する階調変換サンプル生成工程と、
前記階調変換処理とは逆の変換処理となる逆階調変換処理に用いる逆階調変換情報を、前記階調変換情報に基づいて生成する逆階調変換情報生成工程と、
前記階調変換後サンプル色群と前記色階調変換後サンプル群との対応関係から、色変換処理とは逆の変換処理となる逆色変換処理で用いる色変換用のテーブルデータを生成するテーブルデータ生成工程と、をさらに備え、
前記変換情報生成処理は、前記色変換用のテーブルデータと前記逆階調変換情報とを組み合わせることで、前記第１色階調変換情報を生成することを特徴とする画像処理方法。
【請求項８】
請求項５記載の画像処理方法において、
前記変換情報生成工程は、
前記色階調変換前サンプル色群に対して、前記階調変換情報により階調変換処理を施す階調変換工程と、
前記階調変換処理を行うことにより得られる階調変換後サンプル色群の各色成分を、前記色階調変換後サンプル色群の各色成分の線形和によって近似する逆色変換行列を生成する行列生成工程と、
前記階調変換処理とは逆の変換処理となる逆階調変換処理を特定する逆階調変換情報を生成する逆階調変換情報生成工程と、をさらに備え、
前記変換情報生成工程は、前記逆色変換行列と前記逆階調変換情報とを組み合わせることで、前記第１色階調変換情報を生成することを特徴とする画像処理方法。
【請求項９】
請求項８記載の画像処理方法において、
前記変換情報生成工程は、前記逆色変換行列の逆行列を生成する逆行列生成工程を、さらに備え、
前記変換情報生成工程は、前記階調変換情報と前記逆色変換行列の逆行列とを第２色階調変換情報として生成することを特徴とする画像処置方法。
【請求項１０】
請求項１〜９いずれか１項に記載の画像処理方法において、
前記変換情報生成工程は、前記色階調変換前サンプル色群を生成する変換前サンプル生成工程を備えていることを特徴とする画像処理方法。
【請求項１１】
請求項１〜１０いずれか１項に記載の画像処理方法において、
前記変換情報生成工程は、前記色階調変換後サンプル色群を生成する変換後サンプル生成工程を備えており、
前記変換後サンプル生成工程は、前記色階調変換前サンプル色群に対して前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理を施すことで前記色階調変換後サンプル色群を生成することを特徴とする画像処理方法。
【請求項１２】
請求項１〜１０いずれか１項に記載の画像処理方法において、
前記変換情報生成工程は、前記色階調変換前サンプル色群の色成分を、各画素の色成分として有する色階調変換前サンプル色画像を生成した後、該色階調変換前サンプル色画像に対して前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理を行うことで色階調変換後サンプル色画像を生成し、
前記色階調変換後サンプル色画像の各画素の色成分を前記色階調変換後サンプル色群の各色成分として抽出することで、前記色階調変換後サンプル色群を生成することを特徴とする画像処理方法。
【請求項１３】
請求項１記載の画像処理方法を実施する機能を備えた画像処理装置において、
撮像により取得された原画像データに、少なくともホワイトバランス補正処理と色階調変換処理とを含む現像処理を施すことにより鑑賞用の画像を生成する機能をさらに備え、
前記現像処理に含まれる色階調変換処理を、請求項１に記載の前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理として用いることを特徴とする画像処理装置。
【請求項１４】
請求項１記載の画像処理方法を実施する機能を備えた画像処理プログラムにおいて、
撮像により取得された原画像データに対して、少なくともホワイトバランス補正処理と色階調変換処理とを含む現像処理を施すことにより鑑賞用の画像を生成する機能をさらに備え、
前記現像処理に含まれる色階調変換処理を、請求項１に記載の前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理として用いることを特徴とする画像処理プログラム。
【請求項１】
原画像データに現像処理を施した画像データに対して、前記現像処理用の色階調変換処理と逆の変換処理である第１色階調変換処理を施す第１色階調変換工程と、
色階調変換前サンプル色群と、該色階調変換前サンプル群に対して前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理を施した色階調変換後サンプル色群とから、前記第１色階調変換工程で用いる第１色階調変換情報を生成する変換情報生成工程と、
前記第１色階調変換工程後の画像データに、前記現像処理時のホワイトバランス補正を調整するホワイトバランス調整工程と、
前記ホワイトバランス調整工程後の画像データに、前記第１色階調変換処理とは逆の変換処理である第２色階調変換処理を施す第２色階調変換工程と、
を備えたことを特徴とする画像処理方法。
【請求項２】
請求項１記載の画像処理方法において、
前記第２色階調変換処理は、前記現像処理用の色階調変換処理を用いることを特徴とする画像処理方法。
【請求項３】
請求項１又は２記載の画像処理方法において、
前記第１色階調変換情報は、前記第１色階調変換処理が行われた画像データと前記現像処理用の色階調変換処理前の画像データとがほぼ等しい画像データとなるように、前記第１色階調変換処理を特定する情報からなり、
前記変換情報生成工程は、前記第１色階調変換情報を生成する他に、前記第２色階調変換処理を特定する第２色階調変換情報を生成し、
前記第２色階調変換工程は、前記第２色階調変換情報を用いて前記第２色階調変換処理を実行することを特徴とする画像処理方法。
【請求項４】
請求項１〜３いずれか１項に記載の画像処理方法において、
前記変換情報生成工程は、前記色階調変換前サンプル色群と前記色階調変換後サンプル色群との対応関係から、前記第１色階調変換処理で用いる色階調変換用のテーブルデータを前記第１色階調変換情報として生成することを特徴とする画像処理方法。
【請求項５】
請求項１記載の画像処理方法において、
前記変換情報生成工程は、前記色階調変換前サンプル色群から得られる無彩色のサンプル色群と、前記色階調変換後サンプル色群のうち、前記無彩色のサンプル色群に由来するサンプル色群との対応関係から階調変換情報を生成する階調変換情報生成工程を備えていることを特徴とする画像処理方法。
【請求項６】
請求項５記載の画像処理方法において、
前記変換情報生成工程は、
前記階調変換情報を用いた階調変換処理を前記色階調変換前サンプル色群に対して行うことで、階調変換後サンプル色群を生成する階調変換サンプル生成工程と、
前記階調変換後サンプル色群と前記色階調変換後サンプル色群との対応関係に基づいた色変換情報を生成する色変換情報生成工程と、
前記階調変換情報から、前記階調変換処理と逆の変換処理となる逆階調変換処理で用いる逆階調変換情報を生成する逆階調変換情報生成工程と、をさらに備え、
前記変換情報生成工程は、前記逆階調変換情報と前記色変換情報とを組み合わせることで、前記第１色階調変換情報を生成することを特徴とする画像処理方法。
【請求項７】
請求項５記載の画像処理方法において、
前記変換情報生成工程は、
前記階調変換情報を用いた階調変換処理を前記色階調変換前サンプル色群に対して行うことで、階調変換後サンプル色群を生成する階調変換サンプル生成工程と、
前記階調変換処理とは逆の変換処理となる逆階調変換処理に用いる逆階調変換情報を、前記階調変換情報に基づいて生成する逆階調変換情報生成工程と、
前記階調変換後サンプル色群と前記色階調変換後サンプル群との対応関係から、色変換処理とは逆の変換処理となる逆色変換処理で用いる色変換用のテーブルデータを生成するテーブルデータ生成工程と、をさらに備え、
前記変換情報生成処理は、前記色変換用のテーブルデータと前記逆階調変換情報とを組み合わせることで、前記第１色階調変換情報を生成することを特徴とする画像処理方法。
【請求項８】
請求項５記載の画像処理方法において、
前記変換情報生成工程は、
前記色階調変換前サンプル色群に対して、前記階調変換情報により階調変換処理を施す階調変換工程と、
前記階調変換処理を行うことにより得られる階調変換後サンプル色群の各色成分を、前記色階調変換後サンプル色群の各色成分の線形和によって近似する逆色変換行列を生成する行列生成工程と、
前記階調変換処理とは逆の変換処理となる逆階調変換処理を特定する逆階調変換情報を生成する逆階調変換情報生成工程と、をさらに備え、
前記変換情報生成工程は、前記逆色変換行列と前記逆階調変換情報とを組み合わせることで、前記第１色階調変換情報を生成することを特徴とする画像処理方法。
【請求項９】
請求項８記載の画像処理方法において、
前記変換情報生成工程は、前記逆色変換行列の逆行列を生成する逆行列生成工程を、さらに備え、
前記変換情報生成工程は、前記階調変換情報と前記逆色変換行列の逆行列とを第２色階調変換情報として生成することを特徴とする画像処置方法。
【請求項１０】
請求項１〜９いずれか１項に記載の画像処理方法において、
前記変換情報生成工程は、前記色階調変換前サンプル色群を生成する変換前サンプル生成工程を備えていることを特徴とする画像処理方法。
【請求項１１】
請求項１〜１０いずれか１項に記載の画像処理方法において、
前記変換情報生成工程は、前記色階調変換後サンプル色群を生成する変換後サンプル生成工程を備えており、
前記変換後サンプル生成工程は、前記色階調変換前サンプル色群に対して前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理を施すことで前記色階調変換後サンプル色群を生成することを特徴とする画像処理方法。
【請求項１２】
請求項１〜１０いずれか１項に記載の画像処理方法において、
前記変換情報生成工程は、前記色階調変換前サンプル色群の色成分を、各画素の色成分として有する色階調変換前サンプル色画像を生成した後、該色階調変換前サンプル色画像に対して前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理を行うことで色階調変換後サンプル色画像を生成し、
前記色階調変換後サンプル色画像の各画素の色成分を前記色階調変換後サンプル色群の各色成分として抽出することで、前記色階調変換後サンプル色群を生成することを特徴とする画像処理方法。
【請求項１３】
請求項１記載の画像処理方法を実施する機能を備えた画像処理装置において、
撮像により取得された原画像データに、少なくともホワイトバランス補正処理と色階調変換処理とを含む現像処理を施すことにより鑑賞用の画像を生成する機能をさらに備え、
前記現像処理に含まれる色階調変換処理を、請求項１に記載の前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理として用いることを特徴とする画像処理装置。
【請求項１４】
請求項１記載の画像処理方法を実施する機能を備えた画像処理プログラムにおいて、
撮像により取得された原画像データに対して、少なくともホワイトバランス補正処理と色階調変換処理とを含む現像処理を施すことにより鑑賞用の画像を生成する機能をさらに備え、
前記現像処理に含まれる色階調変換処理を、請求項１に記載の前記現像処理用の色階調変換処理と実質的に等しい色階調変換処理として用いることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−２０１０２７（Ｐ２００９−２０１０２７Ａ）
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願番号】特願２００８−４３０４０（Ｐ２００８−４３０４０）
【出願日】平成２０年２月２５日（２００８．２．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願日】平成２０年２月２５日（２００８．２．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]