撮像装置及びその信号処理方法及び記憶媒体
【課題】撮像した画像の色調補正に用いる白紙データの利便性の向上を図る。
【解決手段】撮像手段により得られた第１撮像データをファイル化して記録媒体に記憶すると共に、第１撮像データを記録する領域とは異なる領域に、第１撮像データの全部あるいは一部に対する色成分のデータにより得られる撮像データの調整用データを記憶する媒体記憶部１０７と、第１撮像データに対応する情報を表示するモニター７０１と、モニターに表示された情報から１つの第１撮像データを選択するスイッチ７０８と、スイッチ７０８により選択された第１撮像データのファイルに記録されている調整用データに基づいて、撮像手段により得られた第２撮像データの調整を行うホワイトバランス調整部１１４を有し、調整用データは、前記撮像手段が有する撮像素子の固有データを含み、ホワイトバランス調整部は、固有データに基づき第２撮像データの調整を行う。
【解決手段】撮像手段により得られた第１撮像データをファイル化して記録媒体に記憶すると共に、第１撮像データを記録する領域とは異なる領域に、第１撮像データの全部あるいは一部に対する色成分のデータにより得られる撮像データの調整用データを記憶する媒体記憶部１０７と、第１撮像データに対応する情報を表示するモニター７０１と、モニターに表示された情報から１つの第１撮像データを選択するスイッチ７０８と、スイッチ７０８により選択された第１撮像データのファイルに記録されている調整用データに基づいて、撮像手段により得られた第２撮像データの調整を行うホワイトバランス調整部１１４を有し、調整用データは、前記撮像手段が有する撮像素子の固有データを含み、ホワイトバランス調整部は、固有データに基づき第２撮像データの調整を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の色フィルタを備える撮像手段により撮像された画像データに対して施される色調を調整する撮像装置及びその信号処理方法及び記憶媒体に関するものである。
【背景技術】
【０００２】
複数の色フィルターを持つ撮像素子によって撮像された画像データを出力するためには、撮像された画像データに対してホワイトバランス調整を行い、撮像画像中の光源に対してその色温度を判別し、無彩色となるように調整することで、撮像画像の忠実な色再現を図っている。
【０００３】
ホワイトバランスには、測色用素子を用いて光源の色温度を判別する方法や、撮像画像中の無彩色部を探索してその部分の色温度を判別する方法などがあるが、それぞれ光源の色の誤検出などによって正確なホワイトバランス調整ができない場合がある。
【０００４】
最も正確なホワイトバランス調整方法のひとつに、無彩色の被写体を撮像し（以下では白紙撮像と呼ぶ）、撮像された画像の各色成分の比が同じになるような制御値を求めて、以後の撮像でその制御値を用いてホワイトバランス調整を行う方法がある（以下ではマニュアルホワイトバランス（ＭＷＢ）と呼ぶ）。例えば、特許文献１において、マニュアルホワイトバランスの例が紹介されている。
【０００５】
白紙撮像によるＭＷＢ制御の方法の従来例を図１１に示す。図１１は、複数の色フィルタを備える撮像手段により撮像された無彩色の画像（以下では白紙画像と呼ぶ）より、一部のデータ（以下では白紙データと呼ぶ）を抽出して記録媒体に記録し、以後の撮像で媒体から白紙データを読み出して、ホワイトバランス制御値を演算してその制御値を用いてホワイトバランス調整を行なう従来の方法を示している。
【０００６】
撮像素子の複数の色フィルタを図５に示されるようなＲ、Ｇ１、Ｇ２、Ｂからなる原色フィルターとする。撮像データ入力端子１００１より入力された撮像データは、本画像処理部１００２、符号化処理部１００３、画像ファイル化部１００４のそれぞれの処理を経て、媒体記録部１００５により画像データとして記録媒体に記録される。
【０００７】
この通常の画像記録処理とは別に、ＭＷＢ用の白紙データとして、画像データ抽出部１００６により撮像データの一部を抽出し、記録媒体のＭＷＢ用データ領域に記録する。
【０００８】
以後の撮像でホワイトバランスの設定をＭＷＢにしたときは、撮像装置は媒体再生部１００７によりこの媒体に記録された白紙データを再生し、ホワイトバランス制御値読み出し部１００８により白紙データを読み出し、ホワイトバランス制御値演算部１００９により白紙データのＲ、Ｇ１、Ｇ２、Ｂのそれぞれの色信号別の平均値の比が等しくなるような色信号Ｒ、Ｇ１、Ｇ２、Ｂ別のホワイトバランス制御値を演算する。
【０００９】
ホワイトバランス制御値演算部１００９で求めたホワイトバランス制御値をホワイトバランス制御値設定部１０１０により撮像装置のホワイトバランス調整に設定し、以後の撮像によって撮像データ入力端子１０１３より入力される撮像データに対して、設定した制御値でホワイトバランス調整部１０１４によりホワイトバランス調整を行い、色処理部１０１５で色マトリックスを変換したり、色補正処理などを行うなどの最終の色調整を行った後、符号化処理部１０１６により記録フォーマットに符号化処理し、記録ファイル化処理部１０１７により記録ファイル化処理を行い、撮像画像ファイルとして記録媒体１０１８に記録する。
【００１０】
また、図１２に示されるように、ＭＷＢでは、撮像装置で撮像した（撮像データ入力端子１１０１により入力された）白紙データからホワイトバランス制御値演算部１１０２により直接ホワイトバランス制御値を演算し、ホワイトバランス制御値設定部１１０３により撮像装置に設定して、以後の撮像のホワイトバランス調整部１１１４の制御値に用いる方法もある。
【００１１】
なお、以後の撮像によって撮像データ入力端子１１１３より入力される撮像データに対して、設定した制御値でホワイトバランス調整部１１１４によりホワイトバランス調整を行い、色処理部１１１５で色マトリックスを変換したり、色補正処理などを行うなどの最終の色調整を行った後、符号化処理部１１１６により記録フォーマットに符号化処理し、記録ファイル化処理部１１１７により記録ファイル化処理を行い、撮像画像ファイルとして記録媒体１１１８に記録する。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平１０−３０４３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記のような従来例では、白紙データを記録媒体のＭＷＢデータ領域という特定の領域に書き込み、記録媒体を撮像装置に挿入してＭＷＢ設定を行ったときに白紙データを読み出すシステムであるため、記録媒体１つに対してＭＷＢ用の白紙データを複数種類格納し、それらを管理して、希望の白紙データを読み出すことが困難であり、白紙データの利便性が悪いという問題点があった。
【００１４】
また、撮像データを撮像直後に演算して直接ホワイトバランス制御値として撮像装置に設定する方法も、白紙データを一旦作成した後そのデータを続けて用いるためには、別のＭＷＢ設定を行うことができないなどの使用上の不便があり、白紙データの利便性が悪いという問題点があった。
【００１５】
またさらに、上記のシステムを用いると、ある撮像装置で撮像した白紙データを他の撮像装置の白紙データとして用いたときに、撮像素子の分光特性のバラツキの影響で、正確なホワイトバランス調整ができない場合が発生してしまい、白紙データの利便性が悪いという問題点があった。
【００１６】
本発明は、上記のような問題点を解決するためになされたものであり、撮像した画像の色調補正に用いる白紙データの利便性の向上を図った撮像装置及びその信号処理方法及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の撮像装置及びその信号処理方法及び記憶媒体は次のように構成したものである。
【００１８】
（１）撮像手段により得られた第１撮像データをファイル化して記録媒体に記憶するとともに、前記ファイルの第１撮像データを記録する領域とは異なる領域に、前記第１撮像データから抽出された前記第１撮像データの全部あるいは一部に対する色成分のデータにより得られる撮像データの調整用データを記憶する記憶手段と、前記ファイル化して記録された第１撮像データに対応する情報を表示するモニター手段と、前記モニター手段に表示された情報に対応する第１撮像データから１つの第１撮像データを選択する選択手段と、前記選択手段により選択された第１撮像データと同一のファイルに記録されている調整用データに基づいて、前記撮像手段により得られた前記第１撮像データとは異なる第２撮像データの調整を行う調整手段と、を有し、前記調整用データは、前記撮像手段が有する撮像素子の固有のデータを含み、前記調整手段は、前記固有データに基づき前記第２撮像データの調整を行うことを特徴とする撮像装置。
【００１９】
（２）撮像手段により得られた第１撮像データをファイル化して記録媒体に記憶するとともに、前記ファイルの第１撮像データを記録する領域とは異なる領域に、前記第１撮像データから抽出された前記第１撮像データの全部あるいは一部に対する色成分のデータにより得られる撮像データの調整用データを記録する記録ステップと、前記ファイル化して記録された第１撮像データに対応する情報をモニター手段に表示させる表示ステップと、前記モニター手段に表示された情報に対応する第１撮像データから１つの第１撮像データを選択する選択ステップと、前記選択ステップにより選択された第１撮像データと同一のファイルに記録されている調整用データに基づいて、前記撮像手段により得られた前記第１撮像データとは異なる第２撮像データの調整を行う調整ステップと、を有し、前記調整用データは、前記撮像手段が有する撮像素子の固有のデータを含み、前記調整ステップは、前記固有データに基づき前記第２撮像データの調整を行うことを特徴とする撮像装置の信号処理方法。
【００２０】
（３）前記（２）の信号処理方法を実行するためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。
【発明の効果】
【００２１】
以上説明したように、本発明によれば、撮像した画像の色調補正に用いる白紙データの利便性の向上を図ることができるという効果がある。
【図面の簡単な説明】
【００２２】
【図１】第一の実施の形態による撮像装置の要部構成を示すブロック図
【図２】第二の実施の形態による撮像装置の要部構成を示すブロック図
【図３】第三の実施の形態による撮像装置の要部構成を示すブロック図
【図４】第四の実施の形態による撮像装置の要部構成を示すブロック図
【図５】撮像素子の原色フィルターの配列構成を示す図
【図６】撮像素子の補色フィルターの配列構成を示す図
【図７】第一，第二の実施の形態によるユーザーインターフェースの構成を示す図
【図８】第三の実施の形態によるユーザーインターフェースの構成を示す図
【図９】第一〜第四の実施の形態による抽出される撮像データを示す図
【図１０】第四の実施の形態による撮像素子のバラツキを調整する演算の順序を示す説明図
【図１１】従来例の構成を示すブロック図
【図１２】従来例の構成を示すブロック図
【発明を実施するための形態】
【００２３】
（第一の実施の形態）
図１は第一の実施の形態による撮像装置の要部構成を示すブロック図である。本実施例では、各撮像画像を記録媒体に記録する際の各画像ファイルの添付データ領域に、撮像データの一部を白紙データとして記録する方法について説明する。
【００２４】
図１において、１０１は図５に示されるような配列のＲ、Ｇ１、Ｇ２、Ｂの４種類から成る色フィルターを持つ撮像素子によって撮像され、デジタルデータに変換された撮像データを入力する撮像データ入力端子である。
【００２５】
この撮像データは、通常のデジタルカメラのようなデジタル画像記録装置（撮像装置）と同様に高画質記録のためのさまざまな画像処理が本画像処理部１０２において施されて、符号化処理部１０３においてＪＰＥＧ規格の記録フォーマットに従って符号化される。
【００２６】
これとは別に撮像データの一部、例えば、図９に示されるように一画面の二次元画像空間の中央部６４画素分の画素データを白紙データ抽出部１０４により抽出し、平均化処理部１０５によりＲ、Ｇ１、Ｇ２、Ｂの各色成分信号毎１６画素ずつの平均値を求める。
【００２７】
求めた平均値を元の符号化された画像データとともに画像ファイル化部１０６により画像ファイルを形成する。平均値は画像ファイルの付属の決められたＭＷＢ白紙データ用の領域に割り当てられ、元の符号化された画像データとともに１つの画像ファイルとして媒体記録部１０７により記録媒体に記録される。
【００２８】
以上の動作を一般の撮像時も含めてすべての撮像時に必ず行うようにする。白紙撮像も同様に一般の撮像のひとつとして行う。白紙データは、画面内の中央６４画素分の領域を抽出するので、その６４画素領域の周辺では白紙以外のどのような画像が撮像されていてもよい。
【００２９】
次に、ＭＷＢ時のホワイトバランス制御値を撮像装置に設定するときの説明をする。前記の方法による記録方式で画像ファイルが記録されている媒体を撮像装置に据え、図７に示されるユーザーインターフェースを用いて画像ファイルの再生を行う。
【００３０】
図７に示すＰＬＡＹボタン７０３を押すことにより、媒体再生部１０８により再生モニター７０１に画像ファイルの本画像データ（撮像データ）が再生表示される。
【００３１】
撮像者は、この再生モニター７０１を観ながらファイル切替スイッチ７０４，７０５で複数のファイルを順次切り替えて、ＭＷＢに使用したい画像ファイルを選択する。
【００３２】
画像ファイルが再生されてモニターされるとき、白紙データ再生部（読み出し手段）１１０により白紙データも付属の白紙データ領域から読み出されて再生される。
【００３３】
ファイル選択は、ＭＷＢに用いたい白紙データが書き込まれているファイルがモニターで表示されているときに、Ｓｅｌｅｃｔスイッチ７０８を押すことによって白紙データ画像選択部１０９により希望のファイルが選択される。
【００３４】
図７に示す再生モニター７０１に示されるように、ＭＷＢに用いる画像を意識して撮像する際、白紙データとして記録される領域７０２以外の場所に撮像を行った日時や場所などを書き込んでおくと、白紙データの運用がさらに容易となる。
【００３５】
白紙データ画像選択部１０９でファイルが選択された信号に応じて、再生されている画像ファイルの白紙データが選択されて、ホワイトバランス制御値演算部１１１においてホワイトバランス制御値演算が行なわれる。
【００３６】
ホワイトバランス演算は、Ｒ、Ｇ１、Ｇ２、Ｂの各平均値の比を求め、Ｇ１、Ｇ２の平均値をセンターとして、それに対するＲ、Ｂの比の逆数をホワイトバランス制御値として求める。
【００３７】
ここで求められたホワイトバランス制御値をＭＷＢ用の制御値としてホワイトバランス制御値設定部１１２により撮像装置に設定する。
【００３８】
以上のようにして設定されたＭＷＢの制御値を用いて撮像を行うと、撮像データ入力端子１１３より得られる撮像素子からデジタルデータに変換された色成分毎の画像信号は、ホワイトバランス調整部１１４において、設定したＭＷＢ制御値が各色成分毎に乗算されてホワイトバランス調整が施される。
【００３９】
このホワイトバランス調整された信号は、以後、色調整部１１５による色調整、符号化処理１１６による符号化処理がそれぞれ施されて、撮像データから抽出された白紙データとともに画像ファイル化部１１７により画像ファイル化され、媒体記録部１１８により記録媒体に記録される。
【００４０】
以上のようにして、画像ファイルに本画像データとともに記録された白紙データからＭＷＢの制御値を撮像装置に設定する機能を持つことにより、複数の場面で記録された白紙データを容易に繰り返し運用することが可能となり、場面が変わる毎にＭＷＢ制御値を設定するための撮像を行う必要がなくなり、ＭＷＢ調整の使用を容易とすることができる。
【００４１】
このように第一の実施例によれば、複数の白紙データを１つの媒体で管理でき、呼び出しを容易にすることで、ＭＷＢ用の白紙データの使用の利便性を向上させることができる。
【００４２】
（第二の実施の形態）
図２は第二の実施の形態による撮像装置の要部構成を示すブロック図である。本実施例では、各撮像画像を記録媒体に記録する際の各画像ファイルの添付データ領域に、撮像データの一部を撮像画像の色調整用データ（以後カラーバランスデータと呼ぶ）として記録する方法を説明する。
【００４３】
図２において、２０１は図５に示されるような配列のＲ、Ｇ１、Ｇ２、Ｂの４種類から成る色フィルターを持つ撮像素子によって撮像され、デジタルデータに変換された撮像データを入力する撮像データ入力端子である。
【００４４】
この撮像データは、通常のデジタルカメラのようなデジタル画像記録装置と同様に高画質記録のためのさまざまな画像処理が本画像処理部２０２において施されて、符号化処理部２０３においてＪＰＥＧ規格の記録フォーマットに従って符号化される。
【００４５】
これとは別に撮像データの一部、例えば、図９に示されるように一画面の二次元画像空間の中央部６４画素分の画素データをカラーバランスデータ抽出部２０４により抽出し、平均化処理部２０５によりＲ、Ｇ１、Ｇ２、Ｂの各色成分信号毎１６画素ずつの平均値を求める。
【００４６】
求めた平均値を元の符号化された画像データとともに画像ファイル化部２０６により画像ファイルを形成する。平均値は画像ファイルの付属の決められたカラーバランスデータ用の領域に割り当てられ、元の符号化された画像データとともに１つの画像ファイルとして媒体記録部２０７により記録媒体に記録される。
【００４７】
以上の動作を一般の撮像時も含めてすべての撮像時に必ず行うようにする。カラーバランス用の撮像も同様に一般の撮像のひとつとして行う。カラーバランスデータは、画面内の中央６４画素分の領域を抽出するので、その６４画素領域の周辺ではカラーバランス用データ以外のどのような画像が撮像されていてもよい。
【００４８】
次に、ホワイトバランス調整後のカラーバランス調整に用いるカラーバランス制御値を撮像装置に設定するときの説明をする。前記の方法による記録方式で画像ファイルが記録されている媒体を撮像装置に据え、図７に示されるユーザーインターフェースを用いて画像ファイルの再生を行う。
【００４９】
図７示すＰＬＡＹボタン７０３を押すことにより、媒体再生部２０８により再生モニター７０１に画像ファイルの本画像データが再生される。
【００５０】
撮像者は、このモニター７０１を観ながらファイル切替スイッチ７０４および７０５で複数のファイルを順次切り替えて、カラーバランス調整に使用したい画像ファイルを選択する。
【００５１】
画像ファイルが再生されてモニターされるとき、カラーバランスデータもカラーバランスデータ再生部２１０により付属のカラーバランスデータ領域から読み出されて再生される。
【００５２】
ファイル選択は、カラーバランス調整に用いたいカラーバランスデータが書き込まれているファイルがモニターで表示されているときに、Ｓｅｌｅｃｔスイッチ７０８を押すことによってカラーバランスデータ画像選択部２０９により希望のファイルが選択される。
【００５３】
図７示すモニター７０１に示されるように、カラーバランス調整に用いる画像を意識して撮像する際、カラーバランスデータとして記録される領域７０２以外の場所に撮像を行った日時や場所などを書き込んでおくと、白紙データの運用がさらに容易となる。
【００５４】
カラーバランスデータ画像選択部２０９でファイルが選択された信号に応じて、再生されている画像ファイルのカラーバランスデータが選択されて、カラーバランス制御値演算部２１１においてカラーバランス制御値演算が行なわれる。
【００５５】
カラーバランス演算は、Ｒ、Ｇ１、Ｇ２、Ｂの各平均値の比を求め、Ｇ１、Ｇ２の平均値をセンターとして、それに対するＲ、Ｂの比をカラーバランス制御値として求める。
【００５６】
ここでさらに、以下のようにカラーバランス調整用の制御値を微調整（変更）することも可能である。
【００５７】
例えば、図７のスイッチ７０４，７０５を使って、Ｒ−Ｂ方向の調整を行うようにする。スイッチ７０４を押す毎に、カラーバランス調整係数部２１９よりＲ加算信号が出力されて、カラーバランス制御値演算部２１１において、Ｒの制御値に定数を加算して、Ｂの制御値から定数を減算する。逆にスイッチ７０５を押す毎に、カラーバランス調整係数部２１９よりＢ加算信号が出力されて、カラーバランス制御値演算部２１１において、Ｂの制御値に定数を加算して、Ｒの制御値から定数を減算する。
【００５８】
また、図７に示すスイッチ７０６，７０７を使って、マゼンタ−グリーン方向の調整を行うようにする。スイッチ７０６を押す毎に、カラーバランス調整係数部２１９よりＲ＋Ｂ加算信号が出力されて、カラーバランス制御値演算部２１１において、ＲとＢの制御値に定数を加算して、Ｇ１とＧ２の制御値から定数を減算する。逆にスイッチ７０５を押す毎に、カラーバランス調整係数部２１９よりＧｒ加算信号が出力されて、カラーバランス制御値演算部２１１において、Ｇ１とＧ２の制御値に定数を加算して、ＲとＢの制御値から定数を減算する。
【００５９】
このカラーバランス調整係数部２１９からの信号によって、図示されていないモニターの出力信号調整のＲ、Ｇ、Ｂ信号も同様に制御してモニター上で微調整の確認ができるようにする。
【００６０】
このようにして求められたカラーバランス制御値をカラーバランス調整用の制御値としてカラーバランス制御値設定部２１２により撮像装置に設定する。
【００６１】
以上のようにして設定されたカラーバランス調整の制御値を用いて撮像を行なうと、撮像データ入力端子２１３より得られる撮像素子からデジタルデータに変換された色成分毎の画像信号は、オートホワイトバランス調整部２１９によってホワイトバランス調整が施され、カラーバランス調整部２１４において、設定したカラーバランス制御値が各色成分毎に乗算されてカラーバランス調整が施される。
【００６２】
例えば、中心部が平坦に赤い色の画像であれば、その色味がそのまま反映されて赤みの強い画像が出力される。
【００６３】
このカラーバランス調整された信号は、以後、色調整部２１５による色調整、符号化処理部２１６による符号化処理がそれぞれ施されて、撮像データから抽出されたカラーバランス用データとともに画像ファイル化部２１７により画像ファイル化され、媒体記録部２１８により記録媒体に記録される。
【００６４】
以上のようにして、画像ファイルに本画像データとともに記録されたカラーバランス用データからカラーバランス調整の制御値を撮像装置に設定する機能を持つことにより、複数の場面で記録されたカラーバランス用データを容易に取捨選択して繰り返し運用することが可能となり、撮像画像の色味を撮像者が容易に変更して自由に画像を表現することができるようになる。
【００６５】
このように第二の実施の形態によれば、複数の場面で記録されたカラーバランス用データを容易に取捨選択して繰り返し運用することが可能となり、撮像画像に対して、オートホワイトバランス調整後の撮像画像のカラーバランスを自在に変化させ、撮像画像の色味を撮像者が容易に変更して自由に画像を表現することができるようになる。
【００６６】
（第三の実施の形態）
図３は第三の実施の形態による撮像装置の要部構成を示すブロック図である。本実施例では、各撮像画像を記録媒体に記録する際の各画像ファイルの添付データ領域に、撮像データの一部を撮像画像の白紙データまたはカラーバランスデータとして記録し、このデータをＭＷＢ調整やカラーバランス調整に用いる方法について説明する。
【００６７】
図３において、３０１は図５に示されるような配列のＲ、Ｇ１、Ｇ２、Ｂの４種類から成る色フィルターを持つ撮像素子（撮像手段）によって撮像され、デジタルデータに変換された撮像データを入力する撮像データ入力端子である。
【００６８】
この撮像データは、通常のデジタルカメラのようなデジタル画像記録装置と同様に高画質記録のためのさまざまな画像処理が本画像処理部３０２において施されて、符号化処理部３０３においてＪＰＥＧ規格の記録フォーマットに従って符号化される。
【００６９】
これとは別に撮像データの一部、例えば、図９に示されるように一画面の二次元画像空間の中央部６４画素分の画素データを画像データ抽出部３０４により抽出し、平均化処理部３０５によりＲ、Ｇ１、Ｇ２、Ｂの各色成分信号毎１６画素ずつの平均値を求める。
【００７０】
求めた平均値を元の符号化された画像データとともに画像ファイル化部３０６により画像ファイルを形成する。平均値は画像ファイルの付属の決められた領域に割り当てられ、元の符号化された画像データとともに１つの画像ファイルとして媒体記録部（記録手段）３０７により記録媒体に記録される。
【００７１】
以上の動作を一般の撮像時も含めてすべての撮像時に必ず行うようにする。白紙データ用やカラーバランス用の撮像も同様に一般の撮像のひとつとして行う。白紙データやカラーバランスデータは、画面内の中央６４画素分の領域を抽出するので、その６４画素領域の周辺ではどのような画像が撮像されていてもよい。
【００７２】
次に、ＭＷＢ調整用のＭＷＢ制御値とカラーバランス調整用のカラーバランス制御値を撮像装置に設定するときの説明をする。前記の方法による記録方式で画像ファイルが記録されている媒体を撮像装置に据え、図８に示されるユーザーインターフェースを用いて画像ファイルの再生を行う。
【００７３】
図８に示すＰＬＡＹボタン８０３を押すことにより、媒体再生部３０８により再生モニター８０１に画像ファイルの本画像データ（撮像データ）が再生される。
【００７４】
撮像者は、この再生モニター８０１を観ながらファイル切替スイッチ８０４，８０５で複数のファイルを順次切り替えて、ホワイトバランス調整に使用したい画像ファイルを選択する。
【００７５】
画像ファイルが再生されてモニターされるとき、白紙データも選択画像データ再生部３１０により付属のデータ領域から読み出されて再生される。
【００７６】
ファイル選択は、ホワイトバランス調整に用いたいホワイトバランスデータが書き込まれているファイルがモニターで表示されているときに、Ｗｈｉｔｅスイッチ８０８を押すことによってＣＢ／ＷＢ調整用画像選択部（第１の選択手段）３０９により希望のファイルが選択される。
【００７７】
図８に示す再生モニター８０１に示されるように、ホワイトバランス調整に用いる画像を意識して撮像する際、カラーバランスデータとして記録される領域８０２以外の場所に撮像を行った日時や場所などを書き込んでおくと、白紙データの運用がさらに容易となる。これは、次に述べるカラーバランス調整でも同様である。
【００７８】
ＣＢ／ＷＢ調整用画像選択部３０９でファイルが選択された信号に応じて、再生されている画像ファイルの付属データが選択され、さらにＷｈｉｔｅスイッチ８０８が押されたことに応じて、ホワイトバランス用のデータかカラーバランス用のデータであるかを切り替えるＣＢ／ＷＢ選択部３２０よりの信号により、切替スイッチ３２１が切り替わって、選択されたデータはホワイトバランス制御値演算部３１１においてホワイトバランス制御値演算が行われる。
【００７９】
ホワイトバランス演算は、Ｒ、Ｇ１、Ｇ２、Ｂの各平均値の比を求め、Ｇ１、Ｇ２の平均値をセンターとして、それに対するＲ、Ｂの比の逆数をホワイトバランス制御値として求める。
【００８０】
このようにして求められたホワイトバランス用の制御値をＭＷＢ調整用の制御値としてＣＢ／ＷＢ制御値設定部３１３により撮像装置に設定する。
【００８１】
ＭＷＢの制御値が撮像装置に設定されたら、次に、カラーバランスの制御値もＭＷＢ制御値と同様にして求めて撮像装置に設定する。
【００８２】
図８に示すＰＬＡＹボタン８０３を押すことにより、媒体再生部３０８により再生モニター８０１に画像ファイルの本画像データが再生される。
【００８３】
撮像者は、この再生モニター８０１を観ながらファイル切替スイッチ８０４，８０５で複数のファイルを順次切り換えて、カラーバランス調整に使用したい画像ファイルを選択する。
【００８４】
画像ファイルが再生されてモニターされるとき、カラーバランス用データも選択データ再生部３１０により付属のデータ領域から読み出されて再生される。
【００８５】
ファイル選択は、カラーバランス調整に用いたいデータが書き込まれているファイルがモニターで表示されているときに、Ｃｏｌｏｒスイッチ８０９を押すことによってＣＢ／ＷＢ調整用画像選択部３０９により希望のファイルが選択される。
【００８６】
ＣＢ／ＷＢ調整用画像選択部３０９でファイルが選択された信号に応じて、再生されている画像ファイルの付属データが選択され、さらにＣｏｌｏｒスイッチ８０９が押されたことに応じて、ホワイトバランス用のデータかカラーバランス用のデータであるかを切り替えるＷＢ／ＣＢ選択部３２０よりの信号により、切替スイッチ３２１が切り替わって、選択されたデータはカラーバランス制御値演算部３１２においてカラーバランス制御値演算が行われる。
【００８７】
カラーバランス演算は、Ｒ、Ｇ１、Ｇ２、Ｂの各平均値の比を求め、Ｇ１、Ｇ２の平均値をセンターとして、それに対するＲ、Ｂの比をカラーバランス制御値として求める。
【００８８】
ここでさらに、第二の実施の形態と同様にして、カラーバランス調整係数部３２２の信号により、カラーバランス調整用の制御値を微調整することも可能である。
【００８９】
このようにして求められたカラーバランス制御値をカラーバランス調整用の制御値としてＣＢ／ＷＢ制御値設定部３１３により撮像装置に設定する。
【００９０】
以上のようにして設定されたホワイトバランス調整の制御値およびカラーバランス調整の制御値を用いて撮像を行うと、撮像データ入力端子３１４より得られる撮像素子からデジタルデータに変換された色成分毎の画像信号は、ホワイトバランス調整部３２０によってＭＷＢ調整が施される。設定したＭＷＢ制御値が各色成分毎に乗算されてホワイトバランス調整が行なわれる。
【００９１】
次に、カラーバランス調整部３１５においてカラーバランス調整が施される。設定したカラーバランス制御値が各色成分毎に乗算されてカラーバランス調整が行われる。
【００９２】
このカラーバランス調整された信号は、以後、色調整部３１６による色調整、符号化処理部３１７による符号化処理がそれぞれ施されて、撮像データから抽出された白紙およびカラーバランス用データとともに画像ファイル化部３１９により画像ファイル化され、媒体記録部３１９により記録媒体に記録される。
【００９３】
以上のようにして、画像ファイルに本画像データとともに記録されたデータからＭＷＢ調整およびカラーバランス調整の制御値を撮像装置に設定する機能を持つことにより、複数の場面で記録された画像ファイルの付属データを容易に取捨選択して繰り返し運用することが可能となり、撮像画像の色味を撮像者が容易に変更して自由に画像を表現することができるようになる。
【００９４】
つまり、ＭＷＢ用の白紙データを読み出してホワイトバランス調整を行い、またそれと同じ白紙データあるいは別の白紙データを読み出してカラーバランス調整を行うことが可能となり、撮像画像の色調を自在に制御することが可能となる。
【００９５】
このように第三の実施例によれば、ＭＷＢ用の白紙データを読み出してホワイトバランス調整を行い、またそれと同じ白紙データあるいは別の白紙データを読み出してカラーバランス調整を行うことで、複数の場面で記録された画像ファイルの付属データを容易に取捨選択して繰り返し運用することが可能となり、撮像画像の色味を撮像者が容易に変更して自由に画像を表現することができるようになる。
【００９６】
（第四の実施の形態）
図４は第四の実施の形態による撮像装置の要部構成を示すブロック図である。本実施例では、各撮像画像を記録媒体に記録する際の各画像ファイルの添付データ領域に、撮像データの一部を撮像画像のＭＷＢやカラーバランス調整のためのゲイン調整用データとして記録し、このデータをどの撮像装置でも利用できるように調整演算を行い、ＭＷＢ調整やカラーバランス調整に用いる方法について説明する。
【００９７】
撮像データから一部のデータを抽出し、ＭＷＢやカラーバランス調整用のデータとして画像ファイル毎の付属領域に記録する方法は、第一の実施例と同様であるので説明を省略する。
【００９８】
第四の実施の形態でのポイントは、この画像ファイルにさらに特定の光源を少なくとも２種類以上を撮像した撮像素子バラツキ調整用データ記録部（メモリ）４１９に記録されている撮像素子バラツキ調整用データを付属領域の特定の箇所に記録することである。
【００９９】
撮像素子バラツキ調整用データ記録部（メモリ）４１９に記録されている撮像素子バラツキ調整用データは、図１０に示すところの基準の撮像装置による２種類の光源の撮像データ１２０３，１２０５、撮像装置毎に固有の２種類の光源の撮像データ１２０４，１２０６について、それぞれＲ、Ｇ１、Ｇ２、Ｂの色成分毎撮像データを媒体記録部４０７により画像ファイルに添付して付属領域に記録する。本実施例では２種類の光源のときについて述べているが、種類が多いほど調整の精度は良くなる。
【０１００】
これらの撮像素子バラツキ調整用のデータは、工場出荷時などで各撮像装置のメモリに書き込まれたものを、画像撮像時毎にメモリから不図示の読み出し手段（第２の読み出し手段）により読み出して、ＭＷＢ用白紙データやカラーバランス用データを書き込む際に、同一の画像ファイルに書き込む。
【０１０１】
また、これらの撮像素子バラツキ調整演算用のデータは、光源を撮像した際の撮像データの全て、あるいは一部のＲ、Ｇ１、Ｇ２、Ｂの各色成分毎の平均値を用いる。
【０１０２】
前記３つの実施の形態と同様に、図４に示す選択データ再生部４１０により選択されたファイルの付属データが読み出されるときに、同時にこれらの調整用のデータも読み出し、再生する。
【０１０３】
これらの調整用データを調整演算部４２０において、以下のように調整を行い、ＭＷＢやカラーバランス用のＲ、Ｇ１、Ｇ２、Ｂのデータとしてゲイン制御値演算部４１１に送り、ＭＷＢやカラーバランスのゲイン制御値を求める演算を行う。
【０１０４】
図１０において、１２０１はＭＷＢやカラーバランス調整用のデータを媒体に記録する撮像装置である。１２０２は記録媒体に記録されたＭＷＢやカラーバランスのゲイン調整用のデータを読み出してゲイン調整を行う撮像装置である。
【０１０５】
ここでは、撮像装置の撮像素子間のバラツキの調整は、光源ａの基準のデータ
Ｒｒｅｆａ、Ｇ１ｒｅｆａ、Ｇ２ｒｅｆａ、Ｂｒｅｆａ、光源ｂの基準のデータＲｒｅｆａ、Ｇ１ｒｅｆｂ、Ｇ２ｒｅｆｂ、Ｂｒｅｆｂ、光源ａの撮像装置固有のデータＲａ、Ｇ１ａ、Ｇ２ａ、ＢａのデータのＲ／Ｂ比と（Ｒ＋Ｂ）／（Ｇ１＋Ｇ２）比の２次元で調整を行う。
【０１０６】
撮像装置の撮像素子間のバラツキの調整演算は、この他にも（Ｒ−Ｂ）値や（Ｒ＋Ｂ）−（Ｇ１＋Ｇ２）値のような差で表す方法などもあるが、他にも撮像装置の撮像素子のバラツキを吸収できる計算式であればよい。
【０１０７】
まず媒体から読み出されたＭＷＢやカラーバランス用のゲイン調整データＲ、Ｇ１、Ｇ２、Ｂについて、同じく記録媒体から読み出された基準のデータＲｒｅｆａＳ、Ｇ１ｒｅｆａＳ、Ｇ２ｒｅｆａＳ、ＢｒｅｆａＳ、ＲｒｅｆｂＳ、Ｇ１ｒｅｆｂＳ、Ｇ２ｒｅｆｂＳ、ＢｒｅｆｂＳ（１２０３）と記録媒体に記録した撮像装置固有の調整データＲａＳ、Ｇ１ａＳ、Ｇ２ａＳ、ＢａＳ、ＲｂＳ、Ｇ１ｂＳ、Ｇ２ｂＳ、ＢｂＳ（１２０４）との関係から調整を行う。
【０１０８】
調整は、Ｒ／Ｂ比と（Ｒ＋Ｂ）／（Ｇ１＋Ｇ２）比の光源ａと光源ｂとの差のゲイン値とオフセット値を求める。
【０１０９】
ＧａｉｎＲＢ＝｛（ＲｒｅｆａＳ／ＢｒｅｆａＳ）−（ＲｒｅｆｂＳ／
ＢｒｅｆｂＳ）｝／｛（ＲａＳ／ＢａＳ）−（ＲｂＳ／ＢｂＳ）｝ （１）
ＯｆｆｓｅｔＲＢ＝（ＲｒｅｆａＳ／ＢｒｅｆａＳ）−ＧａｉｎＲＢ＊
（ＲａＳ／ＢａＳ） （２）
これをゲイン調整データに反映させる。
【０１１０】
（Ｒ´／Ｂ´）＝ＧａｉｎＲＢ＊（Ｒ／Ｂ）＋ＯｆｆｓｅｔＲＢ （３）
同様に、（Ｒ＋Ｂ）／（Ｇ１＋Ｇ２）比についても
ＧａｉｎＲＢＧ１Ｇ２＝｛（ＲｒｅｆａＳ＋ＢｒｅｆａＳ）／
（Ｇ１ｒｅｆａＳ＋Ｇ２ｒｅｆａＳ）−（ＲｒｅｆｂＳ＋ＢｒｅｆｂＳ）／
（Ｇ１ｒｅｆｂＳ＋Ｇ２ｒｅｆｂＳ）｝／｛（ＲａＳ＋ＢａＳ）／
（Ｇ１ａＳ＋Ｇ２ａＳ）−（ＲｂＳ＋ＢｂＳ）／（Ｇ１ｂＳ＋Ｇ２ｂＳ）｝（４）
ＯｆｆｓｅｔＲＢＧ１Ｇ２＝｛（ＲｒｅｆａＳ＋ＢｒｅｆａＳ）／
（Ｇ１ｒｅｆａＳ＋Ｇ２ｒｅｆａＳ）｝−ＧａｉｎＲＢ＊｛（ＲａＳ
＋ＢａＳ）／（Ｇ１ａＳ＋Ｇ２ａＳ）｝ （５）
（Ｒ´＋Ｂ´）／（Ｇ１´＋Ｇ２´）＝ＧａｉｎＲＢＧ１Ｇ２＊｛（Ｒ＋Ｂ）
／（Ｇ１＋Ｇ２）｝＋ＯｆｆｓｅｔＲＢＧ１Ｇ２ （６）
この式より、媒体に記録した撮像装置における基準のデータに換算されたデータが得られる。これが調整演算（１）１２０７である。
【０１１１】
調整演算（２）１２０８、調整演算（３）１２０９も調整演算（１）１２０７と全く同じＧａｉｎとＯｆｆｓｅｔを導く計算式で求める。
【０１１２】
調整演算（２）によって（Ｒ´／Ｂ´）、（Ｒ´＋Ｂ´）／（Ｇ１´＋Ｇ２´）より（Ｒ´´／Ｂ´´）、（Ｒ´´＋Ｂ´´）／（Ｇ１´´＋Ｇ２´´）が、調整演算（３）によって（Ｒ´´／Ｂ´´）、（Ｒ´´＋Ｂ´´）／（Ｇ１´´＋Ｇ２´´）より（Ｒ´´´／Ｂ´´´）、（Ｒ´´´＋Ｂ´´´）／（Ｇ１´´´＋Ｇ２´´´）が導き出されたとする。
【０１１３】
Ｇ１´´´およびＧ２´´´は、ＲＧ１Ｇ２Ｂ比の中心であるので、撮像装置１２０２（媒体使用側撮像装置Ｄ）のＧ１ａＤ、Ｇ２ａＤと同じ値にする。これより、Ｒ´´´およびＢ´´´の値が導き出せる。
【０１１４】
以上のようにして求めたＲ´´´、Ｇ１´´´、Ｇ２´´´、Ｂ´´´の値は、撮像装置１２０１（媒体提供側撮像装置Ｓ）データから撮像装置１２０２（媒体使用側撮像装置Ｄ）データに換算して両撮像装置の撮像素子間のバラツキを吸収した値である。
【０１１５】
そして、これらの調整演算（１）、（２）、（３）によって求められた値から、ゲイン調整制御値演算部４１１においてＲ´´´、Ｇ１´´´、Ｇ２´´´、Ｂ´´´の比を計算し、ＭＷＢやカラーバランス調整用の制御値を求め、ゲイン制御値設定部（設定手段）４１２により設定を行う。
【０１１６】
このようにして設定されたゲイン調整制御値を用いて、以降の撮像でのＭＷＢあるいはカラーバランス調整をゲイン調整部４１４において行い、前記実施例と同様にして画像ファイルに変換されて媒体記録部４１８により記録媒体に記録される。
【０１１７】
以上の方法によって、ＭＷＢやカラーバランス調整に用いる画像ファイルの付属の特定領域に書き込まれたデータを、同じく画像ファイルの付属の特定領域に書き込まれた撮像装置の撮像素子バラツキ調整用データを用いてバラツキの調整を行ない、どの撮像装置で撮像を行なっても、同じ光源であれば同じＲ、Ｇ１、Ｇ２、Ｂの値を得られるように演算して、撮像装置間でのデータのバラツキを吸収させることができるようになった。
【０１１８】
以上のように、異なる撮像装置で撮像された画像ファイルの白紙データやあるいはカラーバランス調整用データを用いて、ＭＷＢあるいはカラーバランス制御値を得ても、最適（正確）なＭＷＢあるいはカラーバランス調整演算を行うことが可能である。
【０１１９】
このように第四の実施の形態によれば、白紙データを撮像した撮像装置とは別の撮像装置において白紙データを用いてホワイトバランス調整やカラーバランス調整を正確に行なうことが可能となる。
【０１２０】
なお、上記第一から第四の実施の形態では、撮像素子の色フィルターをＲ、Ｇ１、Ｇ２、Ｂの４色として扱ったが、図６に示されるようなＭｇ（マゼンタ）、Ｇｒ（グリーン）、Ｃｙ（シアン）、Ｙｅ（イエロー）を要素とする補色フィルターにつても有効である。
【０１２１】
本発明は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２２】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１２３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１２４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本実施の形態の撮像装置に不可欠なモジュールを、記憶媒体に格納することになる。
【符号の説明】
【０１２５】
１０４ 白紙データ抽出部
１０７ 媒体記録部
１０９ 白紙データ画像選択部
１１０ 白紙データ再生部
１１１ ホワイトバランス制御値演算部
１１２ ホワイトバランス制御値設定部
１１４ ホワイトバランス調整部
【技術分野】
【０００１】
本発明は、複数の色フィルタを備える撮像手段により撮像された画像データに対して施される色調を調整する撮像装置及びその信号処理方法及び記憶媒体に関するものである。
【背景技術】
【０００２】
複数の色フィルターを持つ撮像素子によって撮像された画像データを出力するためには、撮像された画像データに対してホワイトバランス調整を行い、撮像画像中の光源に対してその色温度を判別し、無彩色となるように調整することで、撮像画像の忠実な色再現を図っている。
【０００３】
ホワイトバランスには、測色用素子を用いて光源の色温度を判別する方法や、撮像画像中の無彩色部を探索してその部分の色温度を判別する方法などがあるが、それぞれ光源の色の誤検出などによって正確なホワイトバランス調整ができない場合がある。
【０００４】
最も正確なホワイトバランス調整方法のひとつに、無彩色の被写体を撮像し（以下では白紙撮像と呼ぶ）、撮像された画像の各色成分の比が同じになるような制御値を求めて、以後の撮像でその制御値を用いてホワイトバランス調整を行う方法がある（以下ではマニュアルホワイトバランス（ＭＷＢ）と呼ぶ）。例えば、特許文献１において、マニュアルホワイトバランスの例が紹介されている。
【０００５】
白紙撮像によるＭＷＢ制御の方法の従来例を図１１に示す。図１１は、複数の色フィルタを備える撮像手段により撮像された無彩色の画像（以下では白紙画像と呼ぶ）より、一部のデータ（以下では白紙データと呼ぶ）を抽出して記録媒体に記録し、以後の撮像で媒体から白紙データを読み出して、ホワイトバランス制御値を演算してその制御値を用いてホワイトバランス調整を行なう従来の方法を示している。
【０００６】
撮像素子の複数の色フィルタを図５に示されるようなＲ、Ｇ１、Ｇ２、Ｂからなる原色フィルターとする。撮像データ入力端子１００１より入力された撮像データは、本画像処理部１００２、符号化処理部１００３、画像ファイル化部１００４のそれぞれの処理を経て、媒体記録部１００５により画像データとして記録媒体に記録される。
【０００７】
この通常の画像記録処理とは別に、ＭＷＢ用の白紙データとして、画像データ抽出部１００６により撮像データの一部を抽出し、記録媒体のＭＷＢ用データ領域に記録する。
【０００８】
以後の撮像でホワイトバランスの設定をＭＷＢにしたときは、撮像装置は媒体再生部１００７によりこの媒体に記録された白紙データを再生し、ホワイトバランス制御値読み出し部１００８により白紙データを読み出し、ホワイトバランス制御値演算部１００９により白紙データのＲ、Ｇ１、Ｇ２、Ｂのそれぞれの色信号別の平均値の比が等しくなるような色信号Ｒ、Ｇ１、Ｇ２、Ｂ別のホワイトバランス制御値を演算する。
【０００９】
ホワイトバランス制御値演算部１００９で求めたホワイトバランス制御値をホワイトバランス制御値設定部１０１０により撮像装置のホワイトバランス調整に設定し、以後の撮像によって撮像データ入力端子１０１３より入力される撮像データに対して、設定した制御値でホワイトバランス調整部１０１４によりホワイトバランス調整を行い、色処理部１０１５で色マトリックスを変換したり、色補正処理などを行うなどの最終の色調整を行った後、符号化処理部１０１６により記録フォーマットに符号化処理し、記録ファイル化処理部１０１７により記録ファイル化処理を行い、撮像画像ファイルとして記録媒体１０１８に記録する。
【００１０】
また、図１２に示されるように、ＭＷＢでは、撮像装置で撮像した（撮像データ入力端子１１０１により入力された）白紙データからホワイトバランス制御値演算部１１０２により直接ホワイトバランス制御値を演算し、ホワイトバランス制御値設定部１１０３により撮像装置に設定して、以後の撮像のホワイトバランス調整部１１１４の制御値に用いる方法もある。
【００１１】
なお、以後の撮像によって撮像データ入力端子１１１３より入力される撮像データに対して、設定した制御値でホワイトバランス調整部１１１４によりホワイトバランス調整を行い、色処理部１１１５で色マトリックスを変換したり、色補正処理などを行うなどの最終の色調整を行った後、符号化処理部１１１６により記録フォーマットに符号化処理し、記録ファイル化処理部１１１７により記録ファイル化処理を行い、撮像画像ファイルとして記録媒体１１１８に記録する。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平１０−３０４３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記のような従来例では、白紙データを記録媒体のＭＷＢデータ領域という特定の領域に書き込み、記録媒体を撮像装置に挿入してＭＷＢ設定を行ったときに白紙データを読み出すシステムであるため、記録媒体１つに対してＭＷＢ用の白紙データを複数種類格納し、それらを管理して、希望の白紙データを読み出すことが困難であり、白紙データの利便性が悪いという問題点があった。
【００１４】
また、撮像データを撮像直後に演算して直接ホワイトバランス制御値として撮像装置に設定する方法も、白紙データを一旦作成した後そのデータを続けて用いるためには、別のＭＷＢ設定を行うことができないなどの使用上の不便があり、白紙データの利便性が悪いという問題点があった。
【００１５】
またさらに、上記のシステムを用いると、ある撮像装置で撮像した白紙データを他の撮像装置の白紙データとして用いたときに、撮像素子の分光特性のバラツキの影響で、正確なホワイトバランス調整ができない場合が発生してしまい、白紙データの利便性が悪いという問題点があった。
【００１６】
本発明は、上記のような問題点を解決するためになされたものであり、撮像した画像の色調補正に用いる白紙データの利便性の向上を図った撮像装置及びその信号処理方法及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の撮像装置及びその信号処理方法及び記憶媒体は次のように構成したものである。
【００１８】
（１）撮像手段により得られた第１撮像データをファイル化して記録媒体に記憶するとともに、前記ファイルの第１撮像データを記録する領域とは異なる領域に、前記第１撮像データから抽出された前記第１撮像データの全部あるいは一部に対する色成分のデータにより得られる撮像データの調整用データを記憶する記憶手段と、前記ファイル化して記録された第１撮像データに対応する情報を表示するモニター手段と、前記モニター手段に表示された情報に対応する第１撮像データから１つの第１撮像データを選択する選択手段と、前記選択手段により選択された第１撮像データと同一のファイルに記録されている調整用データに基づいて、前記撮像手段により得られた前記第１撮像データとは異なる第２撮像データの調整を行う調整手段と、を有し、前記調整用データは、前記撮像手段が有する撮像素子の固有のデータを含み、前記調整手段は、前記固有データに基づき前記第２撮像データの調整を行うことを特徴とする撮像装置。
【００１９】
（２）撮像手段により得られた第１撮像データをファイル化して記録媒体に記憶するとともに、前記ファイルの第１撮像データを記録する領域とは異なる領域に、前記第１撮像データから抽出された前記第１撮像データの全部あるいは一部に対する色成分のデータにより得られる撮像データの調整用データを記録する記録ステップと、前記ファイル化して記録された第１撮像データに対応する情報をモニター手段に表示させる表示ステップと、前記モニター手段に表示された情報に対応する第１撮像データから１つの第１撮像データを選択する選択ステップと、前記選択ステップにより選択された第１撮像データと同一のファイルに記録されている調整用データに基づいて、前記撮像手段により得られた前記第１撮像データとは異なる第２撮像データの調整を行う調整ステップと、を有し、前記調整用データは、前記撮像手段が有する撮像素子の固有のデータを含み、前記調整ステップは、前記固有データに基づき前記第２撮像データの調整を行うことを特徴とする撮像装置の信号処理方法。
【００２０】
（３）前記（２）の信号処理方法を実行するためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。
【発明の効果】
【００２１】
以上説明したように、本発明によれば、撮像した画像の色調補正に用いる白紙データの利便性の向上を図ることができるという効果がある。
【図面の簡単な説明】
【００２２】
【図１】第一の実施の形態による撮像装置の要部構成を示すブロック図
【図２】第二の実施の形態による撮像装置の要部構成を示すブロック図
【図３】第三の実施の形態による撮像装置の要部構成を示すブロック図
【図４】第四の実施の形態による撮像装置の要部構成を示すブロック図
【図５】撮像素子の原色フィルターの配列構成を示す図
【図６】撮像素子の補色フィルターの配列構成を示す図
【図７】第一，第二の実施の形態によるユーザーインターフェースの構成を示す図
【図８】第三の実施の形態によるユーザーインターフェースの構成を示す図
【図９】第一〜第四の実施の形態による抽出される撮像データを示す図
【図１０】第四の実施の形態による撮像素子のバラツキを調整する演算の順序を示す説明図
【図１１】従来例の構成を示すブロック図
【図１２】従来例の構成を示すブロック図
【発明を実施するための形態】
【００２３】
（第一の実施の形態）
図１は第一の実施の形態による撮像装置の要部構成を示すブロック図である。本実施例では、各撮像画像を記録媒体に記録する際の各画像ファイルの添付データ領域に、撮像データの一部を白紙データとして記録する方法について説明する。
【００２４】
図１において、１０１は図５に示されるような配列のＲ、Ｇ１、Ｇ２、Ｂの４種類から成る色フィルターを持つ撮像素子によって撮像され、デジタルデータに変換された撮像データを入力する撮像データ入力端子である。
【００２５】
この撮像データは、通常のデジタルカメラのようなデジタル画像記録装置（撮像装置）と同様に高画質記録のためのさまざまな画像処理が本画像処理部１０２において施されて、符号化処理部１０３においてＪＰＥＧ規格の記録フォーマットに従って符号化される。
【００２６】
これとは別に撮像データの一部、例えば、図９に示されるように一画面の二次元画像空間の中央部６４画素分の画素データを白紙データ抽出部１０４により抽出し、平均化処理部１０５によりＲ、Ｇ１、Ｇ２、Ｂの各色成分信号毎１６画素ずつの平均値を求める。
【００２７】
求めた平均値を元の符号化された画像データとともに画像ファイル化部１０６により画像ファイルを形成する。平均値は画像ファイルの付属の決められたＭＷＢ白紙データ用の領域に割り当てられ、元の符号化された画像データとともに１つの画像ファイルとして媒体記録部１０７により記録媒体に記録される。
【００２８】
以上の動作を一般の撮像時も含めてすべての撮像時に必ず行うようにする。白紙撮像も同様に一般の撮像のひとつとして行う。白紙データは、画面内の中央６４画素分の領域を抽出するので、その６４画素領域の周辺では白紙以外のどのような画像が撮像されていてもよい。
【００２９】
次に、ＭＷＢ時のホワイトバランス制御値を撮像装置に設定するときの説明をする。前記の方法による記録方式で画像ファイルが記録されている媒体を撮像装置に据え、図７に示されるユーザーインターフェースを用いて画像ファイルの再生を行う。
【００３０】
図７に示すＰＬＡＹボタン７０３を押すことにより、媒体再生部１０８により再生モニター７０１に画像ファイルの本画像データ（撮像データ）が再生表示される。
【００３１】
撮像者は、この再生モニター７０１を観ながらファイル切替スイッチ７０４，７０５で複数のファイルを順次切り替えて、ＭＷＢに使用したい画像ファイルを選択する。
【００３２】
画像ファイルが再生されてモニターされるとき、白紙データ再生部（読み出し手段）１１０により白紙データも付属の白紙データ領域から読み出されて再生される。
【００３３】
ファイル選択は、ＭＷＢに用いたい白紙データが書き込まれているファイルがモニターで表示されているときに、Ｓｅｌｅｃｔスイッチ７０８を押すことによって白紙データ画像選択部１０９により希望のファイルが選択される。
【００３４】
図７に示す再生モニター７０１に示されるように、ＭＷＢに用いる画像を意識して撮像する際、白紙データとして記録される領域７０２以外の場所に撮像を行った日時や場所などを書き込んでおくと、白紙データの運用がさらに容易となる。
【００３５】
白紙データ画像選択部１０９でファイルが選択された信号に応じて、再生されている画像ファイルの白紙データが選択されて、ホワイトバランス制御値演算部１１１においてホワイトバランス制御値演算が行なわれる。
【００３６】
ホワイトバランス演算は、Ｒ、Ｇ１、Ｇ２、Ｂの各平均値の比を求め、Ｇ１、Ｇ２の平均値をセンターとして、それに対するＲ、Ｂの比の逆数をホワイトバランス制御値として求める。
【００３７】
ここで求められたホワイトバランス制御値をＭＷＢ用の制御値としてホワイトバランス制御値設定部１１２により撮像装置に設定する。
【００３８】
以上のようにして設定されたＭＷＢの制御値を用いて撮像を行うと、撮像データ入力端子１１３より得られる撮像素子からデジタルデータに変換された色成分毎の画像信号は、ホワイトバランス調整部１１４において、設定したＭＷＢ制御値が各色成分毎に乗算されてホワイトバランス調整が施される。
【００３９】
このホワイトバランス調整された信号は、以後、色調整部１１５による色調整、符号化処理１１６による符号化処理がそれぞれ施されて、撮像データから抽出された白紙データとともに画像ファイル化部１１７により画像ファイル化され、媒体記録部１１８により記録媒体に記録される。
【００４０】
以上のようにして、画像ファイルに本画像データとともに記録された白紙データからＭＷＢの制御値を撮像装置に設定する機能を持つことにより、複数の場面で記録された白紙データを容易に繰り返し運用することが可能となり、場面が変わる毎にＭＷＢ制御値を設定するための撮像を行う必要がなくなり、ＭＷＢ調整の使用を容易とすることができる。
【００４１】
このように第一の実施例によれば、複数の白紙データを１つの媒体で管理でき、呼び出しを容易にすることで、ＭＷＢ用の白紙データの使用の利便性を向上させることができる。
【００４２】
（第二の実施の形態）
図２は第二の実施の形態による撮像装置の要部構成を示すブロック図である。本実施例では、各撮像画像を記録媒体に記録する際の各画像ファイルの添付データ領域に、撮像データの一部を撮像画像の色調整用データ（以後カラーバランスデータと呼ぶ）として記録する方法を説明する。
【００４３】
図２において、２０１は図５に示されるような配列のＲ、Ｇ１、Ｇ２、Ｂの４種類から成る色フィルターを持つ撮像素子によって撮像され、デジタルデータに変換された撮像データを入力する撮像データ入力端子である。
【００４４】
この撮像データは、通常のデジタルカメラのようなデジタル画像記録装置と同様に高画質記録のためのさまざまな画像処理が本画像処理部２０２において施されて、符号化処理部２０３においてＪＰＥＧ規格の記録フォーマットに従って符号化される。
【００４５】
これとは別に撮像データの一部、例えば、図９に示されるように一画面の二次元画像空間の中央部６４画素分の画素データをカラーバランスデータ抽出部２０４により抽出し、平均化処理部２０５によりＲ、Ｇ１、Ｇ２、Ｂの各色成分信号毎１６画素ずつの平均値を求める。
【００４６】
求めた平均値を元の符号化された画像データとともに画像ファイル化部２０６により画像ファイルを形成する。平均値は画像ファイルの付属の決められたカラーバランスデータ用の領域に割り当てられ、元の符号化された画像データとともに１つの画像ファイルとして媒体記録部２０７により記録媒体に記録される。
【００４７】
以上の動作を一般の撮像時も含めてすべての撮像時に必ず行うようにする。カラーバランス用の撮像も同様に一般の撮像のひとつとして行う。カラーバランスデータは、画面内の中央６４画素分の領域を抽出するので、その６４画素領域の周辺ではカラーバランス用データ以外のどのような画像が撮像されていてもよい。
【００４８】
次に、ホワイトバランス調整後のカラーバランス調整に用いるカラーバランス制御値を撮像装置に設定するときの説明をする。前記の方法による記録方式で画像ファイルが記録されている媒体を撮像装置に据え、図７に示されるユーザーインターフェースを用いて画像ファイルの再生を行う。
【００４９】
図７示すＰＬＡＹボタン７０３を押すことにより、媒体再生部２０８により再生モニター７０１に画像ファイルの本画像データが再生される。
【００５０】
撮像者は、このモニター７０１を観ながらファイル切替スイッチ７０４および７０５で複数のファイルを順次切り替えて、カラーバランス調整に使用したい画像ファイルを選択する。
【００５１】
画像ファイルが再生されてモニターされるとき、カラーバランスデータもカラーバランスデータ再生部２１０により付属のカラーバランスデータ領域から読み出されて再生される。
【００５２】
ファイル選択は、カラーバランス調整に用いたいカラーバランスデータが書き込まれているファイルがモニターで表示されているときに、Ｓｅｌｅｃｔスイッチ７０８を押すことによってカラーバランスデータ画像選択部２０９により希望のファイルが選択される。
【００５３】
図７示すモニター７０１に示されるように、カラーバランス調整に用いる画像を意識して撮像する際、カラーバランスデータとして記録される領域７０２以外の場所に撮像を行った日時や場所などを書き込んでおくと、白紙データの運用がさらに容易となる。
【００５４】
カラーバランスデータ画像選択部２０９でファイルが選択された信号に応じて、再生されている画像ファイルのカラーバランスデータが選択されて、カラーバランス制御値演算部２１１においてカラーバランス制御値演算が行なわれる。
【００５５】
カラーバランス演算は、Ｒ、Ｇ１、Ｇ２、Ｂの各平均値の比を求め、Ｇ１、Ｇ２の平均値をセンターとして、それに対するＲ、Ｂの比をカラーバランス制御値として求める。
【００５６】
ここでさらに、以下のようにカラーバランス調整用の制御値を微調整（変更）することも可能である。
【００５７】
例えば、図７のスイッチ７０４，７０５を使って、Ｒ−Ｂ方向の調整を行うようにする。スイッチ７０４を押す毎に、カラーバランス調整係数部２１９よりＲ加算信号が出力されて、カラーバランス制御値演算部２１１において、Ｒの制御値に定数を加算して、Ｂの制御値から定数を減算する。逆にスイッチ７０５を押す毎に、カラーバランス調整係数部２１９よりＢ加算信号が出力されて、カラーバランス制御値演算部２１１において、Ｂの制御値に定数を加算して、Ｒの制御値から定数を減算する。
【００５８】
また、図７に示すスイッチ７０６，７０７を使って、マゼンタ−グリーン方向の調整を行うようにする。スイッチ７０６を押す毎に、カラーバランス調整係数部２１９よりＲ＋Ｂ加算信号が出力されて、カラーバランス制御値演算部２１１において、ＲとＢの制御値に定数を加算して、Ｇ１とＧ２の制御値から定数を減算する。逆にスイッチ７０５を押す毎に、カラーバランス調整係数部２１９よりＧｒ加算信号が出力されて、カラーバランス制御値演算部２１１において、Ｇ１とＧ２の制御値に定数を加算して、ＲとＢの制御値から定数を減算する。
【００５９】
このカラーバランス調整係数部２１９からの信号によって、図示されていないモニターの出力信号調整のＲ、Ｇ、Ｂ信号も同様に制御してモニター上で微調整の確認ができるようにする。
【００６０】
このようにして求められたカラーバランス制御値をカラーバランス調整用の制御値としてカラーバランス制御値設定部２１２により撮像装置に設定する。
【００６１】
以上のようにして設定されたカラーバランス調整の制御値を用いて撮像を行なうと、撮像データ入力端子２１３より得られる撮像素子からデジタルデータに変換された色成分毎の画像信号は、オートホワイトバランス調整部２１９によってホワイトバランス調整が施され、カラーバランス調整部２１４において、設定したカラーバランス制御値が各色成分毎に乗算されてカラーバランス調整が施される。
【００６２】
例えば、中心部が平坦に赤い色の画像であれば、その色味がそのまま反映されて赤みの強い画像が出力される。
【００６３】
このカラーバランス調整された信号は、以後、色調整部２１５による色調整、符号化処理部２１６による符号化処理がそれぞれ施されて、撮像データから抽出されたカラーバランス用データとともに画像ファイル化部２１７により画像ファイル化され、媒体記録部２１８により記録媒体に記録される。
【００６４】
以上のようにして、画像ファイルに本画像データとともに記録されたカラーバランス用データからカラーバランス調整の制御値を撮像装置に設定する機能を持つことにより、複数の場面で記録されたカラーバランス用データを容易に取捨選択して繰り返し運用することが可能となり、撮像画像の色味を撮像者が容易に変更して自由に画像を表現することができるようになる。
【００６５】
このように第二の実施の形態によれば、複数の場面で記録されたカラーバランス用データを容易に取捨選択して繰り返し運用することが可能となり、撮像画像に対して、オートホワイトバランス調整後の撮像画像のカラーバランスを自在に変化させ、撮像画像の色味を撮像者が容易に変更して自由に画像を表現することができるようになる。
【００６６】
（第三の実施の形態）
図３は第三の実施の形態による撮像装置の要部構成を示すブロック図である。本実施例では、各撮像画像を記録媒体に記録する際の各画像ファイルの添付データ領域に、撮像データの一部を撮像画像の白紙データまたはカラーバランスデータとして記録し、このデータをＭＷＢ調整やカラーバランス調整に用いる方法について説明する。
【００６７】
図３において、３０１は図５に示されるような配列のＲ、Ｇ１、Ｇ２、Ｂの４種類から成る色フィルターを持つ撮像素子（撮像手段）によって撮像され、デジタルデータに変換された撮像データを入力する撮像データ入力端子である。
【００６８】
この撮像データは、通常のデジタルカメラのようなデジタル画像記録装置と同様に高画質記録のためのさまざまな画像処理が本画像処理部３０２において施されて、符号化処理部３０３においてＪＰＥＧ規格の記録フォーマットに従って符号化される。
【００６９】
これとは別に撮像データの一部、例えば、図９に示されるように一画面の二次元画像空間の中央部６４画素分の画素データを画像データ抽出部３０４により抽出し、平均化処理部３０５によりＲ、Ｇ１、Ｇ２、Ｂの各色成分信号毎１６画素ずつの平均値を求める。
【００７０】
求めた平均値を元の符号化された画像データとともに画像ファイル化部３０６により画像ファイルを形成する。平均値は画像ファイルの付属の決められた領域に割り当てられ、元の符号化された画像データとともに１つの画像ファイルとして媒体記録部（記録手段）３０７により記録媒体に記録される。
【００７１】
以上の動作を一般の撮像時も含めてすべての撮像時に必ず行うようにする。白紙データ用やカラーバランス用の撮像も同様に一般の撮像のひとつとして行う。白紙データやカラーバランスデータは、画面内の中央６４画素分の領域を抽出するので、その６４画素領域の周辺ではどのような画像が撮像されていてもよい。
【００７２】
次に、ＭＷＢ調整用のＭＷＢ制御値とカラーバランス調整用のカラーバランス制御値を撮像装置に設定するときの説明をする。前記の方法による記録方式で画像ファイルが記録されている媒体を撮像装置に据え、図８に示されるユーザーインターフェースを用いて画像ファイルの再生を行う。
【００７３】
図８に示すＰＬＡＹボタン８０３を押すことにより、媒体再生部３０８により再生モニター８０１に画像ファイルの本画像データ（撮像データ）が再生される。
【００７４】
撮像者は、この再生モニター８０１を観ながらファイル切替スイッチ８０４，８０５で複数のファイルを順次切り替えて、ホワイトバランス調整に使用したい画像ファイルを選択する。
【００７５】
画像ファイルが再生されてモニターされるとき、白紙データも選択画像データ再生部３１０により付属のデータ領域から読み出されて再生される。
【００７６】
ファイル選択は、ホワイトバランス調整に用いたいホワイトバランスデータが書き込まれているファイルがモニターで表示されているときに、Ｗｈｉｔｅスイッチ８０８を押すことによってＣＢ／ＷＢ調整用画像選択部（第１の選択手段）３０９により希望のファイルが選択される。
【００７７】
図８に示す再生モニター８０１に示されるように、ホワイトバランス調整に用いる画像を意識して撮像する際、カラーバランスデータとして記録される領域８０２以外の場所に撮像を行った日時や場所などを書き込んでおくと、白紙データの運用がさらに容易となる。これは、次に述べるカラーバランス調整でも同様である。
【００７８】
ＣＢ／ＷＢ調整用画像選択部３０９でファイルが選択された信号に応じて、再生されている画像ファイルの付属データが選択され、さらにＷｈｉｔｅスイッチ８０８が押されたことに応じて、ホワイトバランス用のデータかカラーバランス用のデータであるかを切り替えるＣＢ／ＷＢ選択部３２０よりの信号により、切替スイッチ３２１が切り替わって、選択されたデータはホワイトバランス制御値演算部３１１においてホワイトバランス制御値演算が行われる。
【００７９】
ホワイトバランス演算は、Ｒ、Ｇ１、Ｇ２、Ｂの各平均値の比を求め、Ｇ１、Ｇ２の平均値をセンターとして、それに対するＲ、Ｂの比の逆数をホワイトバランス制御値として求める。
【００８０】
このようにして求められたホワイトバランス用の制御値をＭＷＢ調整用の制御値としてＣＢ／ＷＢ制御値設定部３１３により撮像装置に設定する。
【００８１】
ＭＷＢの制御値が撮像装置に設定されたら、次に、カラーバランスの制御値もＭＷＢ制御値と同様にして求めて撮像装置に設定する。
【００８２】
図８に示すＰＬＡＹボタン８０３を押すことにより、媒体再生部３０８により再生モニター８０１に画像ファイルの本画像データが再生される。
【００８３】
撮像者は、この再生モニター８０１を観ながらファイル切替スイッチ８０４，８０５で複数のファイルを順次切り換えて、カラーバランス調整に使用したい画像ファイルを選択する。
【００８４】
画像ファイルが再生されてモニターされるとき、カラーバランス用データも選択データ再生部３１０により付属のデータ領域から読み出されて再生される。
【００８５】
ファイル選択は、カラーバランス調整に用いたいデータが書き込まれているファイルがモニターで表示されているときに、Ｃｏｌｏｒスイッチ８０９を押すことによってＣＢ／ＷＢ調整用画像選択部３０９により希望のファイルが選択される。
【００８６】
ＣＢ／ＷＢ調整用画像選択部３０９でファイルが選択された信号に応じて、再生されている画像ファイルの付属データが選択され、さらにＣｏｌｏｒスイッチ８０９が押されたことに応じて、ホワイトバランス用のデータかカラーバランス用のデータであるかを切り替えるＷＢ／ＣＢ選択部３２０よりの信号により、切替スイッチ３２１が切り替わって、選択されたデータはカラーバランス制御値演算部３１２においてカラーバランス制御値演算が行われる。
【００８７】
カラーバランス演算は、Ｒ、Ｇ１、Ｇ２、Ｂの各平均値の比を求め、Ｇ１、Ｇ２の平均値をセンターとして、それに対するＲ、Ｂの比をカラーバランス制御値として求める。
【００８８】
ここでさらに、第二の実施の形態と同様にして、カラーバランス調整係数部３２２の信号により、カラーバランス調整用の制御値を微調整することも可能である。
【００８９】
このようにして求められたカラーバランス制御値をカラーバランス調整用の制御値としてＣＢ／ＷＢ制御値設定部３１３により撮像装置に設定する。
【００９０】
以上のようにして設定されたホワイトバランス調整の制御値およびカラーバランス調整の制御値を用いて撮像を行うと、撮像データ入力端子３１４より得られる撮像素子からデジタルデータに変換された色成分毎の画像信号は、ホワイトバランス調整部３２０によってＭＷＢ調整が施される。設定したＭＷＢ制御値が各色成分毎に乗算されてホワイトバランス調整が行なわれる。
【００９１】
次に、カラーバランス調整部３１５においてカラーバランス調整が施される。設定したカラーバランス制御値が各色成分毎に乗算されてカラーバランス調整が行われる。
【００９２】
このカラーバランス調整された信号は、以後、色調整部３１６による色調整、符号化処理部３１７による符号化処理がそれぞれ施されて、撮像データから抽出された白紙およびカラーバランス用データとともに画像ファイル化部３１９により画像ファイル化され、媒体記録部３１９により記録媒体に記録される。
【００９３】
以上のようにして、画像ファイルに本画像データとともに記録されたデータからＭＷＢ調整およびカラーバランス調整の制御値を撮像装置に設定する機能を持つことにより、複数の場面で記録された画像ファイルの付属データを容易に取捨選択して繰り返し運用することが可能となり、撮像画像の色味を撮像者が容易に変更して自由に画像を表現することができるようになる。
【００９４】
つまり、ＭＷＢ用の白紙データを読み出してホワイトバランス調整を行い、またそれと同じ白紙データあるいは別の白紙データを読み出してカラーバランス調整を行うことが可能となり、撮像画像の色調を自在に制御することが可能となる。
【００９５】
このように第三の実施例によれば、ＭＷＢ用の白紙データを読み出してホワイトバランス調整を行い、またそれと同じ白紙データあるいは別の白紙データを読み出してカラーバランス調整を行うことで、複数の場面で記録された画像ファイルの付属データを容易に取捨選択して繰り返し運用することが可能となり、撮像画像の色味を撮像者が容易に変更して自由に画像を表現することができるようになる。
【００９６】
（第四の実施の形態）
図４は第四の実施の形態による撮像装置の要部構成を示すブロック図である。本実施例では、各撮像画像を記録媒体に記録する際の各画像ファイルの添付データ領域に、撮像データの一部を撮像画像のＭＷＢやカラーバランス調整のためのゲイン調整用データとして記録し、このデータをどの撮像装置でも利用できるように調整演算を行い、ＭＷＢ調整やカラーバランス調整に用いる方法について説明する。
【００９７】
撮像データから一部のデータを抽出し、ＭＷＢやカラーバランス調整用のデータとして画像ファイル毎の付属領域に記録する方法は、第一の実施例と同様であるので説明を省略する。
【００９８】
第四の実施の形態でのポイントは、この画像ファイルにさらに特定の光源を少なくとも２種類以上を撮像した撮像素子バラツキ調整用データ記録部（メモリ）４１９に記録されている撮像素子バラツキ調整用データを付属領域の特定の箇所に記録することである。
【００９９】
撮像素子バラツキ調整用データ記録部（メモリ）４１９に記録されている撮像素子バラツキ調整用データは、図１０に示すところの基準の撮像装置による２種類の光源の撮像データ１２０３，１２０５、撮像装置毎に固有の２種類の光源の撮像データ１２０４，１２０６について、それぞれＲ、Ｇ１、Ｇ２、Ｂの色成分毎撮像データを媒体記録部４０７により画像ファイルに添付して付属領域に記録する。本実施例では２種類の光源のときについて述べているが、種類が多いほど調整の精度は良くなる。
【０１００】
これらの撮像素子バラツキ調整用のデータは、工場出荷時などで各撮像装置のメモリに書き込まれたものを、画像撮像時毎にメモリから不図示の読み出し手段（第２の読み出し手段）により読み出して、ＭＷＢ用白紙データやカラーバランス用データを書き込む際に、同一の画像ファイルに書き込む。
【０１０１】
また、これらの撮像素子バラツキ調整演算用のデータは、光源を撮像した際の撮像データの全て、あるいは一部のＲ、Ｇ１、Ｇ２、Ｂの各色成分毎の平均値を用いる。
【０１０２】
前記３つの実施の形態と同様に、図４に示す選択データ再生部４１０により選択されたファイルの付属データが読み出されるときに、同時にこれらの調整用のデータも読み出し、再生する。
【０１０３】
これらの調整用データを調整演算部４２０において、以下のように調整を行い、ＭＷＢやカラーバランス用のＲ、Ｇ１、Ｇ２、Ｂのデータとしてゲイン制御値演算部４１１に送り、ＭＷＢやカラーバランスのゲイン制御値を求める演算を行う。
【０１０４】
図１０において、１２０１はＭＷＢやカラーバランス調整用のデータを媒体に記録する撮像装置である。１２０２は記録媒体に記録されたＭＷＢやカラーバランスのゲイン調整用のデータを読み出してゲイン調整を行う撮像装置である。
【０１０５】
ここでは、撮像装置の撮像素子間のバラツキの調整は、光源ａの基準のデータ
Ｒｒｅｆａ、Ｇ１ｒｅｆａ、Ｇ２ｒｅｆａ、Ｂｒｅｆａ、光源ｂの基準のデータＲｒｅｆａ、Ｇ１ｒｅｆｂ、Ｇ２ｒｅｆｂ、Ｂｒｅｆｂ、光源ａの撮像装置固有のデータＲａ、Ｇ１ａ、Ｇ２ａ、ＢａのデータのＲ／Ｂ比と（Ｒ＋Ｂ）／（Ｇ１＋Ｇ２）比の２次元で調整を行う。
【０１０６】
撮像装置の撮像素子間のバラツキの調整演算は、この他にも（Ｒ−Ｂ）値や（Ｒ＋Ｂ）−（Ｇ１＋Ｇ２）値のような差で表す方法などもあるが、他にも撮像装置の撮像素子のバラツキを吸収できる計算式であればよい。
【０１０７】
まず媒体から読み出されたＭＷＢやカラーバランス用のゲイン調整データＲ、Ｇ１、Ｇ２、Ｂについて、同じく記録媒体から読み出された基準のデータＲｒｅｆａＳ、Ｇ１ｒｅｆａＳ、Ｇ２ｒｅｆａＳ、ＢｒｅｆａＳ、ＲｒｅｆｂＳ、Ｇ１ｒｅｆｂＳ、Ｇ２ｒｅｆｂＳ、ＢｒｅｆｂＳ（１２０３）と記録媒体に記録した撮像装置固有の調整データＲａＳ、Ｇ１ａＳ、Ｇ２ａＳ、ＢａＳ、ＲｂＳ、Ｇ１ｂＳ、Ｇ２ｂＳ、ＢｂＳ（１２０４）との関係から調整を行う。
【０１０８】
調整は、Ｒ／Ｂ比と（Ｒ＋Ｂ）／（Ｇ１＋Ｇ２）比の光源ａと光源ｂとの差のゲイン値とオフセット値を求める。
【０１０９】
ＧａｉｎＲＢ＝｛（ＲｒｅｆａＳ／ＢｒｅｆａＳ）−（ＲｒｅｆｂＳ／
ＢｒｅｆｂＳ）｝／｛（ＲａＳ／ＢａＳ）−（ＲｂＳ／ＢｂＳ）｝ （１）
ＯｆｆｓｅｔＲＢ＝（ＲｒｅｆａＳ／ＢｒｅｆａＳ）−ＧａｉｎＲＢ＊
（ＲａＳ／ＢａＳ） （２）
これをゲイン調整データに反映させる。
【０１１０】
（Ｒ´／Ｂ´）＝ＧａｉｎＲＢ＊（Ｒ／Ｂ）＋ＯｆｆｓｅｔＲＢ （３）
同様に、（Ｒ＋Ｂ）／（Ｇ１＋Ｇ２）比についても
ＧａｉｎＲＢＧ１Ｇ２＝｛（ＲｒｅｆａＳ＋ＢｒｅｆａＳ）／
（Ｇ１ｒｅｆａＳ＋Ｇ２ｒｅｆａＳ）−（ＲｒｅｆｂＳ＋ＢｒｅｆｂＳ）／
（Ｇ１ｒｅｆｂＳ＋Ｇ２ｒｅｆｂＳ）｝／｛（ＲａＳ＋ＢａＳ）／
（Ｇ１ａＳ＋Ｇ２ａＳ）−（ＲｂＳ＋ＢｂＳ）／（Ｇ１ｂＳ＋Ｇ２ｂＳ）｝（４）
ＯｆｆｓｅｔＲＢＧ１Ｇ２＝｛（ＲｒｅｆａＳ＋ＢｒｅｆａＳ）／
（Ｇ１ｒｅｆａＳ＋Ｇ２ｒｅｆａＳ）｝−ＧａｉｎＲＢ＊｛（ＲａＳ
＋ＢａＳ）／（Ｇ１ａＳ＋Ｇ２ａＳ）｝ （５）
（Ｒ´＋Ｂ´）／（Ｇ１´＋Ｇ２´）＝ＧａｉｎＲＢＧ１Ｇ２＊｛（Ｒ＋Ｂ）
／（Ｇ１＋Ｇ２）｝＋ＯｆｆｓｅｔＲＢＧ１Ｇ２ （６）
この式より、媒体に記録した撮像装置における基準のデータに換算されたデータが得られる。これが調整演算（１）１２０７である。
【０１１１】
調整演算（２）１２０８、調整演算（３）１２０９も調整演算（１）１２０７と全く同じＧａｉｎとＯｆｆｓｅｔを導く計算式で求める。
【０１１２】
調整演算（２）によって（Ｒ´／Ｂ´）、（Ｒ´＋Ｂ´）／（Ｇ１´＋Ｇ２´）より（Ｒ´´／Ｂ´´）、（Ｒ´´＋Ｂ´´）／（Ｇ１´´＋Ｇ２´´）が、調整演算（３）によって（Ｒ´´／Ｂ´´）、（Ｒ´´＋Ｂ´´）／（Ｇ１´´＋Ｇ２´´）より（Ｒ´´´／Ｂ´´´）、（Ｒ´´´＋Ｂ´´´）／（Ｇ１´´´＋Ｇ２´´´）が導き出されたとする。
【０１１３】
Ｇ１´´´およびＧ２´´´は、ＲＧ１Ｇ２Ｂ比の中心であるので、撮像装置１２０２（媒体使用側撮像装置Ｄ）のＧ１ａＤ、Ｇ２ａＤと同じ値にする。これより、Ｒ´´´およびＢ´´´の値が導き出せる。
【０１１４】
以上のようにして求めたＲ´´´、Ｇ１´´´、Ｇ２´´´、Ｂ´´´の値は、撮像装置１２０１（媒体提供側撮像装置Ｓ）データから撮像装置１２０２（媒体使用側撮像装置Ｄ）データに換算して両撮像装置の撮像素子間のバラツキを吸収した値である。
【０１１５】
そして、これらの調整演算（１）、（２）、（３）によって求められた値から、ゲイン調整制御値演算部４１１においてＲ´´´、Ｇ１´´´、Ｇ２´´´、Ｂ´´´の比を計算し、ＭＷＢやカラーバランス調整用の制御値を求め、ゲイン制御値設定部（設定手段）４１２により設定を行う。
【０１１６】
このようにして設定されたゲイン調整制御値を用いて、以降の撮像でのＭＷＢあるいはカラーバランス調整をゲイン調整部４１４において行い、前記実施例と同様にして画像ファイルに変換されて媒体記録部４１８により記録媒体に記録される。
【０１１７】
以上の方法によって、ＭＷＢやカラーバランス調整に用いる画像ファイルの付属の特定領域に書き込まれたデータを、同じく画像ファイルの付属の特定領域に書き込まれた撮像装置の撮像素子バラツキ調整用データを用いてバラツキの調整を行ない、どの撮像装置で撮像を行なっても、同じ光源であれば同じＲ、Ｇ１、Ｇ２、Ｂの値を得られるように演算して、撮像装置間でのデータのバラツキを吸収させることができるようになった。
【０１１８】
以上のように、異なる撮像装置で撮像された画像ファイルの白紙データやあるいはカラーバランス調整用データを用いて、ＭＷＢあるいはカラーバランス制御値を得ても、最適（正確）なＭＷＢあるいはカラーバランス調整演算を行うことが可能である。
【０１１９】
このように第四の実施の形態によれば、白紙データを撮像した撮像装置とは別の撮像装置において白紙データを用いてホワイトバランス調整やカラーバランス調整を正確に行なうことが可能となる。
【０１２０】
なお、上記第一から第四の実施の形態では、撮像素子の色フィルターをＲ、Ｇ１、Ｇ２、Ｂの４色として扱ったが、図６に示されるようなＭｇ（マゼンタ）、Ｇｒ（グリーン）、Ｃｙ（シアン）、Ｙｅ（イエロー）を要素とする補色フィルターにつても有効である。
【０１２１】
本発明は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２２】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１２３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１２４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本実施の形態の撮像装置に不可欠なモジュールを、記憶媒体に格納することになる。
【符号の説明】
【０１２５】
１０４ 白紙データ抽出部
１０７ 媒体記録部
１０９ 白紙データ画像選択部
１１０ 白紙データ再生部
１１１ ホワイトバランス制御値演算部
１１２ ホワイトバランス制御値設定部
１１４ ホワイトバランス調整部
【特許請求の範囲】
【請求項１】
撮像手段により得られた第１撮像データをファイル化して記録媒体に記憶するとともに、前記ファイルの第１撮像データを記録する領域とは異なる領域に、前記第１撮像データから抽出された前記第１撮像データの全部あるいは一部に対する色成分のデータにより得られる撮像データの調整用データを記憶する記憶手段と、
前記ファイル化して記録された第１撮像データに対応する情報を表示するモニター手段と、
前記モニター手段に表示された情報に対応する第１撮像データから１つの第１撮像データを選択する選択手段と、
前記選択手段により選択された第１撮像データと同一のファイルに記録されている調整用データに基づいて、前記撮像手段により得られた前記第１撮像データとは異なる第２撮像データの調整を行う調整手段と、を有し、
前記調整用データは、前記撮像手段が有する撮像素子の固有のデータを含み、前記調整手段は、前記固有データに基づき前記第２撮像データの調整を行うことを特徴とする撮像装置。
【請求項２】
前記モニター手段は、前記第１撮像データに対応する情報として第１撮像データの再生画像を表示することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記調整用データは、ホワイトバランスの調整用データを含むことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記調整用データは、カラーバランスの調整用データを含むことを特徴とする請求項１記載の撮像装置。
【請求項５】
前記調整用データは、前記撮像手段により得られた前記第１撮像データの全部あるいは一部に対する色成分のデータの平均値であることを特徴とする請求項１ないし３の何れか１項に記載の撮像装置。
【請求項６】
読み出された調整用データの各色成分の比から、その逆数を演算する演算手段を有することを特徴とする請求項５記載の撮像装置。
【請求項７】
前記調整手段は、前記第２撮像データとして、前記選択手段による第１撮像データの選択後に新たに前記撮像手段により得られた撮像データの調整を行うことを特徴とする請求項１ないし６の何れか１項に記載の撮像装置。
【請求項８】
前記調整用データは、各第１撮像データのファイルの付属領域に記憶されることを特徴とする請求項１ないし７の何れか１項に記載の撮像装置。
【請求項９】
前記第２撮像データから前記調整用データを抽出する抽出手段をさらに有し、
撮像手段により得られた第２撮像データは、ホワイトバランス調整後、規格で定められたフォーマットのファイルに符号化されて記録媒体に記録され、前記抽出手段により抽出された調整用データは前記第２撮像データと同一のファイルの付属の領域に記録されることを特徴とする請求項１ないし３、請求項５、請求項６の何れか１項に記載の撮像装置。
【請求項１０】
撮像手段により得られた第１撮像データをファイル化して記録媒体に記憶するとともに、前記ファイルの第１撮像データを記録する領域とは異なる領域に、前記第１撮像データから抽出された前記第１撮像データの全部あるいは一部に対する色成分のデータにより得られる撮像データの調整用データを記録する記録ステップと、
前記ファイル化して記録された第１撮像データに対応する情報をモニター手段に表示させる表示ステップと、
前記モニター手段に表示された情報に対応する第１撮像データから１つの第１撮像データを選択する選択ステップと、
前記選択ステップにより選択された第１撮像データと同一のファイルに記録されている調整用データに基づいて、前記撮像手段により得られた前記第１撮像データとは異なる第２撮像データの調整を行う調整ステップと、を有し、
前記調整用データは、前記撮像手段が有する撮像素子の固有のデータを含み、前記調整ステップは、前記固有データに基づき前記第２撮像データの調整を行うことを特徴とする撮像装置の信号処理方法。
【請求項１１】
請求項１０の信号処理方法を実行するためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。
【請求項１】
撮像手段により得られた第１撮像データをファイル化して記録媒体に記憶するとともに、前記ファイルの第１撮像データを記録する領域とは異なる領域に、前記第１撮像データから抽出された前記第１撮像データの全部あるいは一部に対する色成分のデータにより得られる撮像データの調整用データを記憶する記憶手段と、
前記ファイル化して記録された第１撮像データに対応する情報を表示するモニター手段と、
前記モニター手段に表示された情報に対応する第１撮像データから１つの第１撮像データを選択する選択手段と、
前記選択手段により選択された第１撮像データと同一のファイルに記録されている調整用データに基づいて、前記撮像手段により得られた前記第１撮像データとは異なる第２撮像データの調整を行う調整手段と、を有し、
前記調整用データは、前記撮像手段が有する撮像素子の固有のデータを含み、前記調整手段は、前記固有データに基づき前記第２撮像データの調整を行うことを特徴とする撮像装置。
【請求項２】
前記モニター手段は、前記第１撮像データに対応する情報として第１撮像データの再生画像を表示することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記調整用データは、ホワイトバランスの調整用データを含むことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記調整用データは、カラーバランスの調整用データを含むことを特徴とする請求項１記載の撮像装置。
【請求項５】
前記調整用データは、前記撮像手段により得られた前記第１撮像データの全部あるいは一部に対する色成分のデータの平均値であることを特徴とする請求項１ないし３の何れか１項に記載の撮像装置。
【請求項６】
読み出された調整用データの各色成分の比から、その逆数を演算する演算手段を有することを特徴とする請求項５記載の撮像装置。
【請求項７】
前記調整手段は、前記第２撮像データとして、前記選択手段による第１撮像データの選択後に新たに前記撮像手段により得られた撮像データの調整を行うことを特徴とする請求項１ないし６の何れか１項に記載の撮像装置。
【請求項８】
前記調整用データは、各第１撮像データのファイルの付属領域に記憶されることを特徴とする請求項１ないし７の何れか１項に記載の撮像装置。
【請求項９】
前記第２撮像データから前記調整用データを抽出する抽出手段をさらに有し、
撮像手段により得られた第２撮像データは、ホワイトバランス調整後、規格で定められたフォーマットのファイルに符号化されて記録媒体に記録され、前記抽出手段により抽出された調整用データは前記第２撮像データと同一のファイルの付属の領域に記録されることを特徴とする請求項１ないし３、請求項５、請求項６の何れか１項に記載の撮像装置。
【請求項１０】
撮像手段により得られた第１撮像データをファイル化して記録媒体に記憶するとともに、前記ファイルの第１撮像データを記録する領域とは異なる領域に、前記第１撮像データから抽出された前記第１撮像データの全部あるいは一部に対する色成分のデータにより得られる撮像データの調整用データを記録する記録ステップと、
前記ファイル化して記録された第１撮像データに対応する情報をモニター手段に表示させる表示ステップと、
前記モニター手段に表示された情報に対応する第１撮像データから１つの第１撮像データを選択する選択ステップと、
前記選択ステップにより選択された第１撮像データと同一のファイルに記録されている調整用データに基づいて、前記撮像手段により得られた前記第１撮像データとは異なる第２撮像データの調整を行う調整ステップと、を有し、
前記調整用データは、前記撮像手段が有する撮像素子の固有のデータを含み、前記調整ステップは、前記固有データに基づき前記第２撮像データの調整を行うことを特徴とする撮像装置の信号処理方法。
【請求項１１】
請求項１０の信号処理方法を実行するためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−３４２４２（Ｐ２０１３−３４２４２Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１２−２３６６９３（Ｐ２０１２−２３６６９３）
【出願日】平成２４年１０月２６日（２０１２．１０．２６）
【分割の表示】特願２０１１−２１６４７９（Ｐ２０１１−２１６４７９）の分割
【原出願日】平成１２年１０月１９日（２０００．１０．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２４年１０月２６日（２０１２．１０．２６）
【分割の表示】特願２０１１−２１６４７９（Ｐ２０１１−２１６４７９）の分割
【原出願日】平成１２年１０月１９日（２０００．１０．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]