デジタル撮影装置およびデジタル撮影方法
【課題】 画像の色合いを画像全体に対して適切に補正する。
【解決手段】 デジタルカメラを用いて原画像データを取得し（ステップＳＴ１１）、マルチバンドセンサからの出力に基づいて照明光の色度を求める（ステップＳＴ１２）。そして、照明光の色度と参照光の色度とから色順応に基づく変換を原画像の各画素に対して行い、色合いの補正を行う（ステップＳＴ１５，ＳＴ１６）。これにより、画像全体に適切な補正が行われ、撮影対象を参照光にて照明した際の画像が補正済みの画像として得られる。また、例えば、参照光として昼光色の光を用いることにより、画像全体の適切な色再現を実現することができる。
【解決手段】 デジタルカメラを用いて原画像データを取得し（ステップＳＴ１１）、マルチバンドセンサからの出力に基づいて照明光の色度を求める（ステップＳＴ１２）。そして、照明光の色度と参照光の色度とから色順応に基づく変換を原画像の各画素に対して行い、色合いの補正を行う（ステップＳＴ１５，ＳＴ１６）。これにより、画像全体に適切な補正が行われ、撮影対象を参照光にて照明した際の画像が補正済みの画像として得られる。また、例えば、参照光として昼光色の光を用いることにより、画像全体の適切な色再現を実現することができる。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、デジタルカメラやスキャナ等により取得される画像の色合いを補正する技術に関する。
【０００２】
【従来の技術】従来より、デジタルカメラやスキャナ等の画像入力装置によりデジタルデータとして取得される画像に対し、人間の視覚特性に合わせて画像の色合いを補正する画像処理が行われている。このような補正の代表的なものとして、白い物体が白く見えるようにする（すなわち、ＲＧＢのそれぞれの値の平均値を等しくする）ホワイトバランスに基づく補正がある。
【０００３】ホワイトバランスに基づく色の補正では、専用のセンサ（いわゆる、ホワイトバランスセンサ）からの出力値を利用したり、ＣＣＤにより得られる画像から光源を特定するＴＴＬ(through the lens)方式が利用されたりする。
【０００４】
【発明が解決しようとする課題】ところが、ホワイトバランスセンサを用いる方式では、黒体系の光源以外（例えば、蛍光灯）では補正の精度が悪いという問題があり、ＴＴＬ方式の場合でも色かぶり等の影響を完全には除去できないという問題がある。このような問題の原因の１つとして画像の全画素に対して一律に同じ補正を行っているため、白い対象は白く補正されるが、他の色の部分は適切に補正されないということが挙げられる。
【０００５】そこで、この発明は上記課題に鑑みなされたものであり、デジタルカメラ等により得られる画像の色合いを画像全体に対して適切に補正することを目的としている。
【０００６】
【課題を解決するための手段】請求項１の発明は、デジタル撮影装置であって、撮影対象を撮影することによりデジタルデータとして画像を取得する撮影手段と、撮影の際の照明光に相当する光の色度を第１の色度として取得する色度取得手段と、所定の照明光の色度を第２の色度として記憶する記憶手段と、前記画像の各画素の色情報に対して前記第１および第２の色度を用いる色順応に基づく変換を施すことにより、前記画像の色補正を行う補正手段とを備える。
【０００７】請求項２の発明は、請求項１に記載のデジタル撮影装置であって、前記補正手段が、各画素の色情報を色順応に基づいて変換するためのテーブルを前記第１および第２の色度から作成する手段を有する。
【０００８】請求項３の発明は、請求項１または２に記載のデジタル撮影装置であって、前記色度取得手段が、複数の波長帯の光強度を取得する手段を有する。
【０００９】請求項４の発明は、請求項１または２に記載のデジタル撮影装置であって、前記撮影手段が、前記画像として複数のフィルタのそれぞれを介して撮影された複数の予備画像を取得し、前記色度取得手段が、前記複数の予備画像から前記第１の色度を求める。
【００１０】請求項５の発明は、デジタル撮影方法であって、撮影対象を撮影することによりデジタルデータとして画像を取得する撮影工程と、撮影の際の照明光に相当する光の色度を第１の色度として取得する色度取得工程と、前記画像の各画素の色情報に対して前記第１の色度および所定の照明光の色度である第２の色度を用いる色順応に基づく変換を施すことにより、前記画像の色補正を行う補正工程とを有する。
【００１１】請求項６の発明は、請求項５に記載のデジタル撮影方法であって、前記補正工程が、各画素の色情報を色順応に基づいて変換するためのテーブルを前記第１および第２の色度から作成する工程を有する。
【００１２】請求項７の発明は、請求項５または６に記載のデジタル撮影方法であって、前記色度取得工程が、前記撮影対象からの光について複数の波長帯の光強度を取得する工程を有する。
【００１３】請求項８の発明は、請求項５または６に記載のデジタル撮影方法であって、前記撮影工程において、複数のフィルタのそれぞれを介して撮影することにより複数の予備画像が前記画像として取得され、前記色度取得工程において、前記複数の予備画像から前記第１の色度が求められる。
【００１４】
【発明の実施の形態】＜１． 第１の実施の形態＞図１はこの発明の第１の実施の形態に係るデジタルカメラ１の全体を示す斜視図である。デジタルカメラ１は、撮影を行うレンズユニット１１、および、レンズユニット１１にてデジタルデータとして取得された画像を処理する本体部１２とを有する。
【００１５】レンズユニット１１は、複数のレンズを有するレンズ系１１１、および、レンズ系１１１を介して撮影対象の像を取得するＣＣＤ１１２を有する。そして、ＣＣＤ１１２から出力される画像信号は本体部１２へと送られる。また、レンズユニット１１には、操作者が撮影対象を捉えるためのファインダ１１３、および、後述する画像処理に利用されるマルチバンドセンサ１１４が設けられる。
【００１６】なお、マルチバンドセンサ１１４が設けられる窓内には測距センサ等の他のセンサも配置される。
【００１７】本体部１２には、フラッシュ１２１およびシャッタボタン１２２が設けられ、操作者がファインダ１１３を介して撮影対象を捉え、シャッタボタン１２２を操作することにより、ＣＣＤ１１２にて電気的に画像が取得される。このとき、必要に応じてフラッシュ１２１が発光する。
【００１８】ＣＣＤ１１２からの画像信号は本体部１２内部にて後述する処理が行われ、必要に応じて本体部１２に装着されている外部メモリ１２３（いわゆる、メモリカード）に記憶される。外部メモリ１２３は本体部１２下面の蓋を開けて取出ボタン１２４を操作することにより本体部１２から取り出される。記録媒体である外部メモリ１２３に記憶されたデータは別途設けられたコンピュータ等を用いて他の装置に渡すことができる。逆に、他の装置にて外部メモリ１２３に記憶されたデータをデジタルカメラ１が読み出すことも可能である。
【００１９】また、本体部１２の背面には液晶のディスプレイ、操作ボタン等が設けられ、操作者が画面を見ながらボタンを操作することにより所望の入力操作が行われる。
【００２０】図２は、デジタルカメラ１の構成のうち、主としてこの発明に係る処理を実行するための構成を模式的に示すブロック図である。
【００２１】図２に示す構成のうち、レンズ系１１１、ＣＣＤ１１２、Ａ／Ｄ変換部１１５、シャッタボタン１２２、ＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３は画像を取得する機能を実現する。すなわち、レンズ系１１１により撮影対象の像がＣＣＤ１１２上に結像され、シャッタボタン１２２が押されるとＣＣＤ１１２からの画像信号がＡ／Ｄ変換部１１５によりデジタル変換される。Ａ／Ｄ変換部１１５にて変換されたデジタル画像信号は本体部１２のＲＡＭ２３に画像データ（以下、後述する補正後の画像データと区別するために「原画像データ」という。）２３１として記憶される。なお、これらの処理の制御はＣＰＵ２１がＲＯＭ２２内に記憶されているプログラム２２１に従って動作することにより行われる。
【００２２】また、本体部１２に設けられるＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３が画像を処理する機能を実現する。具体的には、ＲＯＭ２２に記憶されているプログラム２２１に従って、ＲＡＭ２３を作業領域として利用しながらＣＰＵ２１が取得された画像に色合いの補正処理を施す。このとき、マルチバンドセンサ１１４からの情報が利用される。
【００２３】ＲＡＭ２３に記憶（すなわち、保存）される照明色度データ２３２は、マルチバンドセンサ１１４の出力から生成されるものである。また、参照光色度データ２３３は照明色度データ２３２とともに後述する画像の色の補正の際に用いられるデータであり、補正の際にはこれらのデータからルックアップテーブル（ＬＵＴ）２３４が生成される。補正済画像データ２３５は原画像データ２３１をＬＵＴ２３４を用いて補正することにより生成される画像データであり、必要に応じて外部メモリ１２３に保存される。
【００２４】また、ディスプレイ２４は、画像の表示や操作者への情報の表示を行う手段であり、操作ボタン２５は、操作者からの入力操作を受け付ける手段となっている。
【００２５】図３は、主としてＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３により実現される機能の構成を他の構成とともに示すブロック図であり、図４は画像処理の流れを示す流れ図である。図３に示す構成のうち、照明色度データ生成部２０１、ＬＵＴ作成部２０２および色補正部２０３が、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３等により実現される機能である。以下、図３および図４を参照しながらデジタルカメラ１の動作について説明する。
【００２６】まず、既述の撮影動作によりＣＣＤ１１２にて取得された画像（正確には、画像信号）がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、原画像データ２３１として記憶される（ステップＳＴ１１）。
【００２７】次に、マルチバンドセンサ１１４からの出力が照明色度データ生成部２０１に入力される。マルチバンドセンサ１１４は、入射する光について複数の波長帯における強度を取得するセンサとなっている。マルチバンドセンサ１１４により得られた複数の波長帯の強度は照明色度データ生成部２０１により合成されて照明光に相当する光の分光分布を示すデータとされる（ステップＳＴ１２）。
【００２８】一般に、白色光にて照明された撮影対象の画像では色の平均がグレーになることから、このデジタルカメラ１では、およそ撮影対象からデジタルカメラ１へと入射する光の分光分布を照明光の分光分布として扱っている。
【００２９】マルチバンドセンサ１１４としては、複数の光強度検出器のそれぞれに各波長帯の光のみを透過するフィルタを設けたものを利用することができる。例えば、可視領域の波長帯を複数の波長帯に分け、それぞれの波長帯の光のみを透過するフィルタが各光強度検出器に設けられる。複数の波長帯としては４以上が好ましいが、３つ（例えば、ＲＧＢの３色のフィルタ）であってもデジタルカメラ１に入射する光のおおよその分光分布を推定することは可能である。なお、この場合には、ＣＣＤ１１２がマルチバンドセンサ１１４の役割を兼ねることができる。
【００３０】また、小型で高分解能のマルチバンドセンサ１１４としては、川越宣和、他２名による「分光測色計ＣＭ−１００」、Minolta Techno Report No.5 1988（９７〜１０５頁）に記載されているように、ＳＰＤ（シリコンフォトダイオード）上に階段状に厚みが異なる金属膜干渉フィルタを設けたものも知られている。このマルチバンドセンサでは、ＳＰＤのエリアごとに金属膜干渉フィルタの厚みが変えられており、ＳＰＤのエリアごとに所定の波長帯の光の強度を得ることが実現されている。
【００３１】照明色度データ生成部２０１により照明光の分光分布が求められると、さらに、照明光の色度が求められてＲＡＭ２３に照明色度データ２３２として保存される（ステップＳＴ１３）。具体的には、まず、波長をλ、照明光の分光分布をＥ(λ)、ＲＧＢの各色に対応する等色関数をそれぞれｒ(λ)，ｇ(λ)，ｂ(λ)として、３刺激値Ｘ，Ｙ，Ｚを数１にて示す式にて求める。ただし、ｋは適宜設定される係数である。
【００３２】
【数１】
【００３３】そして、３刺激値Ｘ，Ｙ，Ｚを用いて数２にて示す演算により、照明光の色度ｘe，ｙeが求められる。
【００３４】
【数２】
【００３５】照明光の色度が求められると、次に、参照光の選択が行われる（ステップＳＴ１４）。参照光とは補正された画像における照明光と想定される光であり、例えば、参照光として昼光色の光を選択すると以下の補正処理により日中の太陽光により照明された撮影対象の画像となる。操作者による参照光の選択は操作ボタン２５を介してデジタルカメラ１が受け付け、これにより、予めＲＡＭ２３に記憶されている複数種類の参照光の色度から１つの参照光の色度が決定される。なお、ＲＡＭ２３には複数の参照光に関するデータが参照光色度データ２３３として記憶されているが、以下の説明では、選択された参照光の色度に関するデータを単に参照光色度データ２３３と呼ぶこととする。
【００３６】参照光が決定されると、ＬＵＴ作成部２０２により照明色度データ２３２および参照光色度データ２３３を用いて原画像の色情報である画素値を変換するためのＬＵＴ２３４が生成され、ＲＡＭ２３に保存される（ステップＳＴ１５）。
【００３７】ＬＵＴ２３４は、色順応に基づいて画像中の各画素の画素値の変換を迅速に行うために参照される変換テーブルであり、この変換は、元の画像の照明光の色度をｘe，ｙe、参照光の色度をｘr，ｙr、ＲＧＢそれぞれの元の画素値をＲ1，Ｇ1，Ｂ1、ＲＧＢそれぞれの変換後の画素値をＲ2，Ｇ2，Ｂ2として、数３（ＣＩＥ（国際照明学会）の予測式をもとに簡略化された式）にて示される。
【００３８】
【数３】
【００３９】なおＰr，Ｐb，Ｐgは数４により求められる。
【００４０】
【数４】
【００４１】また、ξ1，η1，ζ1は、数５により求められ、ξ2，η2，ζ2は数６により求められる。
【００４２】
【数５】
【００４３】
【数６】
【００４４】ここで、ＬＵＴ２３４としてＲＧＢそれぞれの画素値が取り得る全ての値についての変換テーブルが作成されるのではなく、適宜間引いた状態でＬＵＴ２３４が作成される。すなわち、原画像の画素値がＲＧＢのそれぞれについて０〜２５５までの２５６の値（すなわち、７０万色）を取り得る場合において、ＬＵＴ２３４に格納すべき変換後の値をＲＧＢそれぞれについて２５６求めるのではなく、例えば、１つおきに変換後の値を求めることによりＬＵＴ２３４に格納すべき値がＲＧＢそれぞれについて１２８に削減され、３つおきに変換後の値を求めることにより６４に削減される。
【００４５】ＬＵＴ２３４が作成されると、次に、ＬＵＴ２３４を用いて色補正部２０３が原画像の各画素の画素値を変換して画像の補正を行う。ＬＵＴ２３４はＲＧＢそれぞれの取り得る値を間引いて作成されているので、実際の変換の際にはＬＵＴ２３４に格納されている値を原画像の画素の画素値に合わせて線形補間を行った値が変換後の画素値とされる。原画像の全ての画素の画素値の変換が完了すると、これらの画素の色情報が補正済画像データ２３５としてＲＡＭ２３に保存される（ステップＳＴ１６）。
【００４６】その後、補正済画像データ２３５に基づいてディスプレイ２４に補正後の画像が表示される（ステップＳＴ１７）。また、必要に応じて操作者の入力操作により補正済画像データ２３５が外部メモリ１２３に保存される。
【００４７】以上、この発明の第１の実施の形態に係るデジタルカメラ１について説明してきたが、このデジタルカメラ１では、撮影対象への照明光の色度および参照光の色度を用いて、原画像の全ての画素について色順応に基づく色の補正を行う。したがって、画像全体に操作者の意図を反映した適切な色合いの補正を行うことができる。
【００４８】また、従来のホワイトバランスに基づく色合いの補正では、全画素に一律に同様の変換を施すために画像全体としては適切に補正ができなかったが、この発明に係るデジタルカメラ１では、例えば、参照光として昼光色（Ｄ６５）の光を用いることにより、人間の視覚に合った（すなわち、撮影対象を観察した人間の記憶に残された色となるように人間の色順応を考慮した）色再現を画像全体に適切に行うことができる。
【００４９】また、画素値の変換の際には予めＬＵＴ２３４を作成するので、画像処理に要する処理の量も低く抑えられる。さらに、ＬＵＴ２３４として、間引かれた変換テーブルを準備することで、ＲＡＭ２３の記憶容量も抑えることが実現される。
【００５０】また、照明色度データ２３２をマルチバンドセンサ１１４からの出力を用いて簡易に求めることができるようにもされている。
【００５１】＜２． 第２の実施の形態＞図５はこの発明の第２の実施の形態に係るデジタル撮影システム３の構成を示す図である。デジタル撮影システム３は、撮影対象の画像を取得するモノクロデジタルカメラ３１、複数のフィルタを有する回転式フィルタ３２、および、デジタルカメラ３１にて得られた画像を処理するコンピュータ３３を有する。回転式フィルタ３２は、所定の波長帯の光のみを透過するフィルタを複数有し、デジタルカメラ３１に入射する光を特定の波長帯に制限する。
【００５２】図６は、デジタル撮影システム３の主な構成を示すブロック図である。第１の実施の形態に係るデジタルカメラ１では、図２に示したように、マルチバンドセンサ１１４を用いて照明色度データ２３２を求め、デジタルカメラ１内部にて画像の処理が行われるようになっているが、第２の実施の形態に係るデジタル撮影システム３では、照明色度データ４３２がデジタルカメラ３１にて撮影された複数の画像から求められ、また、画像の処理をコンピュータ３３において行うという点で第１の実施の形態と異なっている。
【００５３】図６に示すように、デジタルカメラ３１はレンズ系３１１、ＣＣＤ３１２およびＡ／Ｄ変換部３１３を有し、撮影対象の画像をデジタルデータとして取得する機能を有する。
【００５４】コンピュータ３３は、デジタルカメラ３１にて取得された画像を処理する機能を有し、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３およびディスクドライブ４４を有する。ＲＯＭ４２には、画像を処理するためのプログラム４２１が記憶されており、ＲＡＭ４３は、予備画像データ４３１、照明色度データ４３２、参照光色度データ４３３、および、補正後の補正済画像データ４３５が記憶されたり、画像処理の作業が行われる領域となっている。
【００５５】ＲＡＭ４３は、固定ディスク、携帯可能な磁気ディスク、光磁気ディスク等の記録媒体とデータの受け渡しが可能とされており、第１の実施の形態と同様に、補正済画像データ４３５が必要に応じて記録媒体に保存できるようにされている。なお、図５および図６では、記録媒体としてディスクドライブ４４を介してＲＡＭ４３等とデータの転送が行われる記録媒体９を例示している。
【００５６】また、記録媒体９に画像処理のプログラムを記憶させ、このプログラムをＲＡＭ４３に読み込ませ、ＲＡＭ４３内のプログラムにより、あるいは、ＲＯＭ４２内のプログラムとＲＡＭ４３内のプログラムとによりコンピュータ３３が画像処理装置として機能するようになっていてもよい。
【００５７】コンピュータ３３には、さらに、画像を表示したり操作者への情報の表示を行うディスプレイ４５、および、操作者からの入力を受け付けるキーボード、マウス等の入力部４６が設けられている。
【００５８】デジタルカメラ３１およびコンピュータ３３による構成は、以上のように第１の実施の形態に係るデジタルカメラ１の構成と類似しているが、このデジタル撮影システム３では、回転式フィルタ３２を用いて照明色度データ４３２を求めるようになっている点で第１の実施の形態と相違している。
【００５９】回転式フィルタ３２は、円盤状の回転体に特定の波長帯の光のみを透過するフィルタを複数設けた構成となっており、回転体が回転することによりデジタルカメラ３１には異なる波長帯の光のみが切り替えられながら入射する。各フィルタは可視光の波長帯を複数に分割した各波長帯に対応している。
【００６０】デジタルカメラ３１のレンズ系３１１の前に、いずれの種類のフィルタが位置するかは回転式フィルタ３２に設けられたエンコーダからの信号により、コンピュータ３３が認識できるようにされている。
【００６１】図７は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３等により実現される機能構成およびその他の構成を示すブロック図であり、照明色度データ生成部４０１および色補正部４０３は、図６中に示すＣＰＵ４１、ＲＯＭ４２およびＲＡＭ４３の作業領域により実現される機能に相当する。なお、デジタル撮影システム３では、第１の実施の形態と異なり、ＬＵＴを用いずに色の補正が行われる。
【００６２】図８および図９はデジタル撮影システム３の動作の流れを示す流れ図である。以下、図７ないし図９を参照しながら、デジタル撮影システム３の動作について説明する。
【００６３】まず、所定のフィルタがデジタルカメラ３１のレンズ系３１１の前方に配置され（ステップＳＴ２１）、コンピュータ３３の制御により撮影を行う。これにより、フィルタが透過する波長帯の光のみがデジタルカメラ３１に入射し、デジタルカメラ３１のＡ／Ｄ変換部３１３から１つの予備画像に相当する予備画像データ４３１がコンピュータ３３に転送されてＲＡＭ４３に記憶される（ステップＳＴ２２）。
【００６４】次に、回転式フィルタ３２を回転させ、別の波長帯の光のみを透過するフィルタがレンズ系３１１の前方に配置され、撮影を行う（ステップＳＴ２１，ＳＴ２２）。これにより、もう１つの予備画像に相当する予備画像データ４３１がＲＡＭ４３に記憶される。
【００６５】その後、フィルタの変更および撮影を繰り返すことにより（ステップＳＴ２３）、各フィルタに対応する予備画像データ４３１がＲＡＭ４３に記憶される。なお、予備画像データ４３１には回転式フィルタ３２からのフィルタに関する情報が付与される。また、複数の予備画像を撮影することは撮影対象のカラー画像（すなわち、原画像）を撮影することに相当する。
【００６６】複数の予備画像に相当する予備画像データ４３１がＲＡＭ４３に記憶されると、次に、照明色度データ生成部４０１により予備画像データ４３１から照明光に相当する光の分光分布が求められる（ステップＳＴ２４）。すなわち、ＣＰＵ４１がＲＯＭ４２内のプログラム４２１に従って以下に説明する演算処理を行う。
【００６７】複数の予備画像から照明光の分光分布を求める手法としては適切なデータが生成されるのであればどのような手法が用いられてもよい。例えば、富永昌治、「色恒常性を実現するカメラ系とアルゴリズム」、信学技報 PRU95-11(1995-05)（７７〜８４頁）に記載された手法が採用されてもよい。この手法では照明光の分光分布および撮影対象の分光反射率を次のようにして求めている。
【００６８】まず、撮影対象上の位置（以下、「対象位置」という。）から入射する光の分光分布Ｃ(λ)は、波長をλ、対象位置における分光反射率をＳ(λ)、照明光の分光分布をＥ(λ)として、
【００６９】
【数７】
【００７０】として表される。ここで、α，βはスケールファクタであり、αＳ(λ)Ｅ(λ)は拡散反射成分、βＥ(λ)は正反射成分に相当する。
【００７１】また、ｋ番目のフィルタにより撮影された画像中の対象位置に対応する画素の画素値（すなわち、ＣＣＤ３１２の出力値）ρkは、フィルタの波長帯域に対応するＣＣＤ３１２の分光感度をＲk(λ)として、
【００７２】
【数８】
【００７３】として表される。
【００７４】ここで、照明光の分光分布Ｅ(λ)と対象位置の分光反射率Ｓ(λ)について複数の基底関数の加重和として表現する有次元線形モデルを用いることにより、最終的に、
【００７５】
【数９】
【００７６】と変形される。ここで、ρは画素値ρkを要素とするベクトル、Λは対象位置の分光反射率Ｓ(λ)の有次元線形モデルの基底関数に対するセンサの応答を表す行列、σは分光反射率Ｓ(λ)の有次元線形モデルの加重係数のベクトル、Ｈは照明光の分光分布Ｅ(λ)の有次元線形モデルの基底関数に対するセンサの応答を表す行列、εは分光分布Ｅ(λ)の有次元線形モデルの加重係数のベクトルである。
【００７７】そして、同一照明下では複数の対象位置についてベクトルＨεの方向が一定であるという法則を利用しつつ、適宜簡略化した演算手法を採用することにより上記式からσとεとが求められる。これにより、２つの有次元線形モデルの係数が求められ、照明光の分光分布Ｅ(λ)および対象位置の分光反射率Ｓ(λ)が求められる。なお、この発明で利用されるのは照明光の分光分布Ｅ(λ)のみである。
【００７８】以上に例示した手法を用いて、照明色度データ生成部４０１は照明光の分光分布Ｅ(λ)を求める。なお、以上の説明では、スケールファクタα，βが予め適宜設定されているものとして説明しているが、処理を簡潔に行うためにスケールファクタβを０として演算を行ってもよい。
【００７９】照明色度データ生成部４０１により照明光の分光分布が求められると、続いて照明光の色度が、第１の実施の形態と同様に、数１および数２に示した演算により求められる（ステップＳＴ２５）。求められた照明光の色度は照明色度データ４３２としてＲＡＭ４３に保存される。
【００８０】照明色度データ４３２が保存されると、次に、第１の実施の形態と同様に参照光の選択が行われる（ステップＳＴ２６）。すなわち、コンピュータ３３の入力部４６が操作者からの入力を受け付けることにより、予めＲＡＭ４３に記憶されている複数の参照光の色度から１つの参照光の色度を決定する。なお、以下の説明においては、選択された参照光の色度に関するデータを単に参照光色度データ４３３と呼ぶこととする。
【００８１】次に、色補正部４０３が複数の予備画像の色を合成してＲＧＢそれぞれの画素値により表現される原画像を生成するとともに、原画像の画素値を予備的に変換して予備補正を行う（ステップＳＴ２７）。原画像はフィルタを通して得られたものであり、回転式フィルタ３２およびデジタルカメラ３１により構成される撮影手段のＲＧＢそれぞれに関する感度は等色関数を利用する数１に完全には適合しない。そこで、予め原画像のＲＧＢそれぞれの画素値を３×３行列を用いて変換を行うことにより、撮影手段の分光感度が擬似的に等色関数に近づけられる。
【００８２】なお、３×３行列は色票を撮影して得られる画像の色と測色計で測定した色票の色との色差が最小になるように求められる。
【００８３】原画像の予備補正が完了すると、ステップＳＴ２５にて求められた照明色度データ４３２および選択された参照光色度データ４３３とを用いて色順応に基づく補正が原画像に施される（ステップＳＴ２８）。すなわち、数３ないし数６に示した演算を各画素の画素値に施すことにより、原画像の各画素の画素値が変換される。変換により補正が完了した画像のデータは補正済画像データ４３５としてＲＡＭ４３に保存される。
【００８４】その後、補正済画像データ４３５に基づいて補正済みの画像がディスプレイ４５に表示される（ステップＳＴ２９）。また、必要に応じて入力部４６からの操作者の指示入力に従って補正済画像データ４３５が記録媒体９に保存される。
【００８５】以上、この発明の第２の実施の形態に係るデジタル撮影システム３について説明してきたが、このデジタル撮影システム３では、撮影対象への照明光の色度および参照光の色度を用いて、原画像の全ての画素についてに色順応に基づく色の変換を施すので、第１の実施の形態と同様に、画像全体の色合いを適切に補正する事ができる。これにより、例えば、参照光として昼光色（Ｄ６５）の光を用いることにより、人間の視覚に合った（すなわち、色順応を考慮した）色再現を画像全体に行うことができる。
【００８６】なお、この実施の形態では、間引きされたＬＵＴを作成することなく演算を行うために処理量が多くなるが、より適切な補正が実現される。
【００８７】＜３． 変形例＞以上、この発明に係る実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【００８８】例えば、上記第１の実施の形態では間引きされたＬＵＴの作成を利用するようになっており、第２の実施の形態では原画像を予備的に補正するようになっているが、これらの処理は必要に応じて行われるのみでよい。また、ＬＵＴとして間引きされていないＬＵＴを準備してももちろんよい。
【００８９】また、上記第２の実施の形態では、デジタルカメラ３１の前方に回転式フィルタ３２を配置するようにしているが、複数のフィルタを切り替える機構をデジタルカメラ３１内部に設けてもよい。また、フィルタの切り替え機構を設けずにデジタルカメラ３１として複数（好ましくは４以上）の入力バンドを有するものを用い、これにより複数の波長帯のそれぞれについて画像を取得するようになっていてもよい。
【００９０】また、デジタルカメラ３１や回転式フィルタ３２とコンピュータ３３とは伝送線で接続されている必要はなく、記録媒体を介して予備画像データ４３１等がコンピュータ３３に取り込まれるようになっていてもよい。
【００９１】さらに、この発明はデジタルカメラを用いて画像を得る場合に限定されるものではなく、スキャナ等の他の画像入力装置にて得られる画像についても利用することができる。
【００９２】
【発明の効果】請求項１ないし８に記載の発明では、画像の各画素の色情報に対して第１および第２の色度を用いる色順応に基づく変換を施すので、画像全体に対して適切な色補正を行うことができる。
【００９３】また、請求項２および６に記載の発明では、テーブルを利用することにより演算量の低減を図ることができる。
【００９４】また、請求項３および７に記載の発明では、第１の色度を簡易に求めることができる。
【図面の簡単な説明】
【図１】この発明に係るデジタルカメラの全体を示す斜視図である。
【図２】図１に示すデジタルカメラにおいてこの発明に係る処理を実行するための構成を示すブロック図である。
【図３】図２に示す構成を機能に分けて示すブロック図である。
【図４】図１に示すデジタルカメラにおいて画像の色合いを補正する際の動作の流れを示す流れ図である。
【図５】この発明に係るデジタル撮影システムの構成を示す図である。
【図６】図５に示すデジタル撮影システムにおいてこの発明に係る処理を実行するための構成を示すブロック図である。
【図７】図６に示す構成を機能に分けて示すブロック図である。
【図８】図５に示すデジタル撮影システムにおいて画像の色合いを補正する際の動作の流れを示す流れ図である。
【図９】図５に示すデジタル撮影システムにおいて画像の色合いを補正する際の動作の流れを示す流れ図である。
【符号の説明】
１ デジタルカメラ
３ デジタル撮影システム
１１ レンズユニット
２１，４１ ＣＰＵ
２２，４２ ＲＯＭ
２３，４３ ＲＡＭ
３１ デジタルカメラ
３２ 回転式フィルタ
３３ コンピュータ
１１４ マルチバンドセンサ
２０１，４０１ 照明色度データ生成部
２０２ ＬＵＴ作成部
２０３，４０３ 色補正部
２３１ 原画像データ
２３２，４３２ 照明色度データ
２３３，４３３ 参照光色度データ
２３４ ＬＵＴ
４３１ 予備画像データ
ＳＴ１１〜ＳＴ１３，ＳＴ１５，ＳＴ１６，ＳＴ２１〜ＳＴ２５，ＳＴ２８ステップ
【０００１】
【発明の属する技術分野】この発明は、デジタルカメラやスキャナ等により取得される画像の色合いを補正する技術に関する。
【０００２】
【従来の技術】従来より、デジタルカメラやスキャナ等の画像入力装置によりデジタルデータとして取得される画像に対し、人間の視覚特性に合わせて画像の色合いを補正する画像処理が行われている。このような補正の代表的なものとして、白い物体が白く見えるようにする（すなわち、ＲＧＢのそれぞれの値の平均値を等しくする）ホワイトバランスに基づく補正がある。
【０００３】ホワイトバランスに基づく色の補正では、専用のセンサ（いわゆる、ホワイトバランスセンサ）からの出力値を利用したり、ＣＣＤにより得られる画像から光源を特定するＴＴＬ(through the lens)方式が利用されたりする。
【０００４】
【発明が解決しようとする課題】ところが、ホワイトバランスセンサを用いる方式では、黒体系の光源以外（例えば、蛍光灯）では補正の精度が悪いという問題があり、ＴＴＬ方式の場合でも色かぶり等の影響を完全には除去できないという問題がある。このような問題の原因の１つとして画像の全画素に対して一律に同じ補正を行っているため、白い対象は白く補正されるが、他の色の部分は適切に補正されないということが挙げられる。
【０００５】そこで、この発明は上記課題に鑑みなされたものであり、デジタルカメラ等により得られる画像の色合いを画像全体に対して適切に補正することを目的としている。
【０００６】
【課題を解決するための手段】請求項１の発明は、デジタル撮影装置であって、撮影対象を撮影することによりデジタルデータとして画像を取得する撮影手段と、撮影の際の照明光に相当する光の色度を第１の色度として取得する色度取得手段と、所定の照明光の色度を第２の色度として記憶する記憶手段と、前記画像の各画素の色情報に対して前記第１および第２の色度を用いる色順応に基づく変換を施すことにより、前記画像の色補正を行う補正手段とを備える。
【０００７】請求項２の発明は、請求項１に記載のデジタル撮影装置であって、前記補正手段が、各画素の色情報を色順応に基づいて変換するためのテーブルを前記第１および第２の色度から作成する手段を有する。
【０００８】請求項３の発明は、請求項１または２に記載のデジタル撮影装置であって、前記色度取得手段が、複数の波長帯の光強度を取得する手段を有する。
【０００９】請求項４の発明は、請求項１または２に記載のデジタル撮影装置であって、前記撮影手段が、前記画像として複数のフィルタのそれぞれを介して撮影された複数の予備画像を取得し、前記色度取得手段が、前記複数の予備画像から前記第１の色度を求める。
【００１０】請求項５の発明は、デジタル撮影方法であって、撮影対象を撮影することによりデジタルデータとして画像を取得する撮影工程と、撮影の際の照明光に相当する光の色度を第１の色度として取得する色度取得工程と、前記画像の各画素の色情報に対して前記第１の色度および所定の照明光の色度である第２の色度を用いる色順応に基づく変換を施すことにより、前記画像の色補正を行う補正工程とを有する。
【００１１】請求項６の発明は、請求項５に記載のデジタル撮影方法であって、前記補正工程が、各画素の色情報を色順応に基づいて変換するためのテーブルを前記第１および第２の色度から作成する工程を有する。
【００１２】請求項７の発明は、請求項５または６に記載のデジタル撮影方法であって、前記色度取得工程が、前記撮影対象からの光について複数の波長帯の光強度を取得する工程を有する。
【００１３】請求項８の発明は、請求項５または６に記載のデジタル撮影方法であって、前記撮影工程において、複数のフィルタのそれぞれを介して撮影することにより複数の予備画像が前記画像として取得され、前記色度取得工程において、前記複数の予備画像から前記第１の色度が求められる。
【００１４】
【発明の実施の形態】＜１． 第１の実施の形態＞図１はこの発明の第１の実施の形態に係るデジタルカメラ１の全体を示す斜視図である。デジタルカメラ１は、撮影を行うレンズユニット１１、および、レンズユニット１１にてデジタルデータとして取得された画像を処理する本体部１２とを有する。
【００１５】レンズユニット１１は、複数のレンズを有するレンズ系１１１、および、レンズ系１１１を介して撮影対象の像を取得するＣＣＤ１１２を有する。そして、ＣＣＤ１１２から出力される画像信号は本体部１２へと送られる。また、レンズユニット１１には、操作者が撮影対象を捉えるためのファインダ１１３、および、後述する画像処理に利用されるマルチバンドセンサ１１４が設けられる。
【００１６】なお、マルチバンドセンサ１１４が設けられる窓内には測距センサ等の他のセンサも配置される。
【００１７】本体部１２には、フラッシュ１２１およびシャッタボタン１２２が設けられ、操作者がファインダ１１３を介して撮影対象を捉え、シャッタボタン１２２を操作することにより、ＣＣＤ１１２にて電気的に画像が取得される。このとき、必要に応じてフラッシュ１２１が発光する。
【００１８】ＣＣＤ１１２からの画像信号は本体部１２内部にて後述する処理が行われ、必要に応じて本体部１２に装着されている外部メモリ１２３（いわゆる、メモリカード）に記憶される。外部メモリ１２３は本体部１２下面の蓋を開けて取出ボタン１２４を操作することにより本体部１２から取り出される。記録媒体である外部メモリ１２３に記憶されたデータは別途設けられたコンピュータ等を用いて他の装置に渡すことができる。逆に、他の装置にて外部メモリ１２３に記憶されたデータをデジタルカメラ１が読み出すことも可能である。
【００１９】また、本体部１２の背面には液晶のディスプレイ、操作ボタン等が設けられ、操作者が画面を見ながらボタンを操作することにより所望の入力操作が行われる。
【００２０】図２は、デジタルカメラ１の構成のうち、主としてこの発明に係る処理を実行するための構成を模式的に示すブロック図である。
【００２１】図２に示す構成のうち、レンズ系１１１、ＣＣＤ１１２、Ａ／Ｄ変換部１１５、シャッタボタン１２２、ＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３は画像を取得する機能を実現する。すなわち、レンズ系１１１により撮影対象の像がＣＣＤ１１２上に結像され、シャッタボタン１２２が押されるとＣＣＤ１１２からの画像信号がＡ／Ｄ変換部１１５によりデジタル変換される。Ａ／Ｄ変換部１１５にて変換されたデジタル画像信号は本体部１２のＲＡＭ２３に画像データ（以下、後述する補正後の画像データと区別するために「原画像データ」という。）２３１として記憶される。なお、これらの処理の制御はＣＰＵ２１がＲＯＭ２２内に記憶されているプログラム２２１に従って動作することにより行われる。
【００２２】また、本体部１２に設けられるＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３が画像を処理する機能を実現する。具体的には、ＲＯＭ２２に記憶されているプログラム２２１に従って、ＲＡＭ２３を作業領域として利用しながらＣＰＵ２１が取得された画像に色合いの補正処理を施す。このとき、マルチバンドセンサ１１４からの情報が利用される。
【００２３】ＲＡＭ２３に記憶（すなわち、保存）される照明色度データ２３２は、マルチバンドセンサ１１４の出力から生成されるものである。また、参照光色度データ２３３は照明色度データ２３２とともに後述する画像の色の補正の際に用いられるデータであり、補正の際にはこれらのデータからルックアップテーブル（ＬＵＴ）２３４が生成される。補正済画像データ２３５は原画像データ２３１をＬＵＴ２３４を用いて補正することにより生成される画像データであり、必要に応じて外部メモリ１２３に保存される。
【００２４】また、ディスプレイ２４は、画像の表示や操作者への情報の表示を行う手段であり、操作ボタン２５は、操作者からの入力操作を受け付ける手段となっている。
【００２５】図３は、主としてＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３により実現される機能の構成を他の構成とともに示すブロック図であり、図４は画像処理の流れを示す流れ図である。図３に示す構成のうち、照明色度データ生成部２０１、ＬＵＴ作成部２０２および色補正部２０３が、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３等により実現される機能である。以下、図３および図４を参照しながらデジタルカメラ１の動作について説明する。
【００２６】まず、既述の撮影動作によりＣＣＤ１１２にて取得された画像（正確には、画像信号）がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、原画像データ２３１として記憶される（ステップＳＴ１１）。
【００２７】次に、マルチバンドセンサ１１４からの出力が照明色度データ生成部２０１に入力される。マルチバンドセンサ１１４は、入射する光について複数の波長帯における強度を取得するセンサとなっている。マルチバンドセンサ１１４により得られた複数の波長帯の強度は照明色度データ生成部２０１により合成されて照明光に相当する光の分光分布を示すデータとされる（ステップＳＴ１２）。
【００２８】一般に、白色光にて照明された撮影対象の画像では色の平均がグレーになることから、このデジタルカメラ１では、およそ撮影対象からデジタルカメラ１へと入射する光の分光分布を照明光の分光分布として扱っている。
【００２９】マルチバンドセンサ１１４としては、複数の光強度検出器のそれぞれに各波長帯の光のみを透過するフィルタを設けたものを利用することができる。例えば、可視領域の波長帯を複数の波長帯に分け、それぞれの波長帯の光のみを透過するフィルタが各光強度検出器に設けられる。複数の波長帯としては４以上が好ましいが、３つ（例えば、ＲＧＢの３色のフィルタ）であってもデジタルカメラ１に入射する光のおおよその分光分布を推定することは可能である。なお、この場合には、ＣＣＤ１１２がマルチバンドセンサ１１４の役割を兼ねることができる。
【００３０】また、小型で高分解能のマルチバンドセンサ１１４としては、川越宣和、他２名による「分光測色計ＣＭ−１００」、Minolta Techno Report No.5 1988（９７〜１０５頁）に記載されているように、ＳＰＤ（シリコンフォトダイオード）上に階段状に厚みが異なる金属膜干渉フィルタを設けたものも知られている。このマルチバンドセンサでは、ＳＰＤのエリアごとに金属膜干渉フィルタの厚みが変えられており、ＳＰＤのエリアごとに所定の波長帯の光の強度を得ることが実現されている。
【００３１】照明色度データ生成部２０１により照明光の分光分布が求められると、さらに、照明光の色度が求められてＲＡＭ２３に照明色度データ２３２として保存される（ステップＳＴ１３）。具体的には、まず、波長をλ、照明光の分光分布をＥ(λ)、ＲＧＢの各色に対応する等色関数をそれぞれｒ(λ)，ｇ(λ)，ｂ(λ)として、３刺激値Ｘ，Ｙ，Ｚを数１にて示す式にて求める。ただし、ｋは適宜設定される係数である。
【００３２】
【数１】
【００３３】そして、３刺激値Ｘ，Ｙ，Ｚを用いて数２にて示す演算により、照明光の色度ｘe，ｙeが求められる。
【００３４】
【数２】
【００３５】照明光の色度が求められると、次に、参照光の選択が行われる（ステップＳＴ１４）。参照光とは補正された画像における照明光と想定される光であり、例えば、参照光として昼光色の光を選択すると以下の補正処理により日中の太陽光により照明された撮影対象の画像となる。操作者による参照光の選択は操作ボタン２５を介してデジタルカメラ１が受け付け、これにより、予めＲＡＭ２３に記憶されている複数種類の参照光の色度から１つの参照光の色度が決定される。なお、ＲＡＭ２３には複数の参照光に関するデータが参照光色度データ２３３として記憶されているが、以下の説明では、選択された参照光の色度に関するデータを単に参照光色度データ２３３と呼ぶこととする。
【００３６】参照光が決定されると、ＬＵＴ作成部２０２により照明色度データ２３２および参照光色度データ２３３を用いて原画像の色情報である画素値を変換するためのＬＵＴ２３４が生成され、ＲＡＭ２３に保存される（ステップＳＴ１５）。
【００３７】ＬＵＴ２３４は、色順応に基づいて画像中の各画素の画素値の変換を迅速に行うために参照される変換テーブルであり、この変換は、元の画像の照明光の色度をｘe，ｙe、参照光の色度をｘr，ｙr、ＲＧＢそれぞれの元の画素値をＲ1，Ｇ1，Ｂ1、ＲＧＢそれぞれの変換後の画素値をＲ2，Ｇ2，Ｂ2として、数３（ＣＩＥ（国際照明学会）の予測式をもとに簡略化された式）にて示される。
【００３８】
【数３】
【００３９】なおＰr，Ｐb，Ｐgは数４により求められる。
【００４０】
【数４】
【００４１】また、ξ1，η1，ζ1は、数５により求められ、ξ2，η2，ζ2は数６により求められる。
【００４２】
【数５】
【００４３】
【数６】
【００４４】ここで、ＬＵＴ２３４としてＲＧＢそれぞれの画素値が取り得る全ての値についての変換テーブルが作成されるのではなく、適宜間引いた状態でＬＵＴ２３４が作成される。すなわち、原画像の画素値がＲＧＢのそれぞれについて０〜２５５までの２５６の値（すなわち、７０万色）を取り得る場合において、ＬＵＴ２３４に格納すべき変換後の値をＲＧＢそれぞれについて２５６求めるのではなく、例えば、１つおきに変換後の値を求めることによりＬＵＴ２３４に格納すべき値がＲＧＢそれぞれについて１２８に削減され、３つおきに変換後の値を求めることにより６４に削減される。
【００４５】ＬＵＴ２３４が作成されると、次に、ＬＵＴ２３４を用いて色補正部２０３が原画像の各画素の画素値を変換して画像の補正を行う。ＬＵＴ２３４はＲＧＢそれぞれの取り得る値を間引いて作成されているので、実際の変換の際にはＬＵＴ２３４に格納されている値を原画像の画素の画素値に合わせて線形補間を行った値が変換後の画素値とされる。原画像の全ての画素の画素値の変換が完了すると、これらの画素の色情報が補正済画像データ２３５としてＲＡＭ２３に保存される（ステップＳＴ１６）。
【００４６】その後、補正済画像データ２３５に基づいてディスプレイ２４に補正後の画像が表示される（ステップＳＴ１７）。また、必要に応じて操作者の入力操作により補正済画像データ２３５が外部メモリ１２３に保存される。
【００４７】以上、この発明の第１の実施の形態に係るデジタルカメラ１について説明してきたが、このデジタルカメラ１では、撮影対象への照明光の色度および参照光の色度を用いて、原画像の全ての画素について色順応に基づく色の補正を行う。したがって、画像全体に操作者の意図を反映した適切な色合いの補正を行うことができる。
【００４８】また、従来のホワイトバランスに基づく色合いの補正では、全画素に一律に同様の変換を施すために画像全体としては適切に補正ができなかったが、この発明に係るデジタルカメラ１では、例えば、参照光として昼光色（Ｄ６５）の光を用いることにより、人間の視覚に合った（すなわち、撮影対象を観察した人間の記憶に残された色となるように人間の色順応を考慮した）色再現を画像全体に適切に行うことができる。
【００４９】また、画素値の変換の際には予めＬＵＴ２３４を作成するので、画像処理に要する処理の量も低く抑えられる。さらに、ＬＵＴ２３４として、間引かれた変換テーブルを準備することで、ＲＡＭ２３の記憶容量も抑えることが実現される。
【００５０】また、照明色度データ２３２をマルチバンドセンサ１１４からの出力を用いて簡易に求めることができるようにもされている。
【００５１】＜２． 第２の実施の形態＞図５はこの発明の第２の実施の形態に係るデジタル撮影システム３の構成を示す図である。デジタル撮影システム３は、撮影対象の画像を取得するモノクロデジタルカメラ３１、複数のフィルタを有する回転式フィルタ３２、および、デジタルカメラ３１にて得られた画像を処理するコンピュータ３３を有する。回転式フィルタ３２は、所定の波長帯の光のみを透過するフィルタを複数有し、デジタルカメラ３１に入射する光を特定の波長帯に制限する。
【００５２】図６は、デジタル撮影システム３の主な構成を示すブロック図である。第１の実施の形態に係るデジタルカメラ１では、図２に示したように、マルチバンドセンサ１１４を用いて照明色度データ２３２を求め、デジタルカメラ１内部にて画像の処理が行われるようになっているが、第２の実施の形態に係るデジタル撮影システム３では、照明色度データ４３２がデジタルカメラ３１にて撮影された複数の画像から求められ、また、画像の処理をコンピュータ３３において行うという点で第１の実施の形態と異なっている。
【００５３】図６に示すように、デジタルカメラ３１はレンズ系３１１、ＣＣＤ３１２およびＡ／Ｄ変換部３１３を有し、撮影対象の画像をデジタルデータとして取得する機能を有する。
【００５４】コンピュータ３３は、デジタルカメラ３１にて取得された画像を処理する機能を有し、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３およびディスクドライブ４４を有する。ＲＯＭ４２には、画像を処理するためのプログラム４２１が記憶されており、ＲＡＭ４３は、予備画像データ４３１、照明色度データ４３２、参照光色度データ４３３、および、補正後の補正済画像データ４３５が記憶されたり、画像処理の作業が行われる領域となっている。
【００５５】ＲＡＭ４３は、固定ディスク、携帯可能な磁気ディスク、光磁気ディスク等の記録媒体とデータの受け渡しが可能とされており、第１の実施の形態と同様に、補正済画像データ４３５が必要に応じて記録媒体に保存できるようにされている。なお、図５および図６では、記録媒体としてディスクドライブ４４を介してＲＡＭ４３等とデータの転送が行われる記録媒体９を例示している。
【００５６】また、記録媒体９に画像処理のプログラムを記憶させ、このプログラムをＲＡＭ４３に読み込ませ、ＲＡＭ４３内のプログラムにより、あるいは、ＲＯＭ４２内のプログラムとＲＡＭ４３内のプログラムとによりコンピュータ３３が画像処理装置として機能するようになっていてもよい。
【００５７】コンピュータ３３には、さらに、画像を表示したり操作者への情報の表示を行うディスプレイ４５、および、操作者からの入力を受け付けるキーボード、マウス等の入力部４６が設けられている。
【００５８】デジタルカメラ３１およびコンピュータ３３による構成は、以上のように第１の実施の形態に係るデジタルカメラ１の構成と類似しているが、このデジタル撮影システム３では、回転式フィルタ３２を用いて照明色度データ４３２を求めるようになっている点で第１の実施の形態と相違している。
【００５９】回転式フィルタ３２は、円盤状の回転体に特定の波長帯の光のみを透過するフィルタを複数設けた構成となっており、回転体が回転することによりデジタルカメラ３１には異なる波長帯の光のみが切り替えられながら入射する。各フィルタは可視光の波長帯を複数に分割した各波長帯に対応している。
【００６０】デジタルカメラ３１のレンズ系３１１の前に、いずれの種類のフィルタが位置するかは回転式フィルタ３２に設けられたエンコーダからの信号により、コンピュータ３３が認識できるようにされている。
【００６１】図７は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３等により実現される機能構成およびその他の構成を示すブロック図であり、照明色度データ生成部４０１および色補正部４０３は、図６中に示すＣＰＵ４１、ＲＯＭ４２およびＲＡＭ４３の作業領域により実現される機能に相当する。なお、デジタル撮影システム３では、第１の実施の形態と異なり、ＬＵＴを用いずに色の補正が行われる。
【００６２】図８および図９はデジタル撮影システム３の動作の流れを示す流れ図である。以下、図７ないし図９を参照しながら、デジタル撮影システム３の動作について説明する。
【００６３】まず、所定のフィルタがデジタルカメラ３１のレンズ系３１１の前方に配置され（ステップＳＴ２１）、コンピュータ３３の制御により撮影を行う。これにより、フィルタが透過する波長帯の光のみがデジタルカメラ３１に入射し、デジタルカメラ３１のＡ／Ｄ変換部３１３から１つの予備画像に相当する予備画像データ４３１がコンピュータ３３に転送されてＲＡＭ４３に記憶される（ステップＳＴ２２）。
【００６４】次に、回転式フィルタ３２を回転させ、別の波長帯の光のみを透過するフィルタがレンズ系３１１の前方に配置され、撮影を行う（ステップＳＴ２１，ＳＴ２２）。これにより、もう１つの予備画像に相当する予備画像データ４３１がＲＡＭ４３に記憶される。
【００６５】その後、フィルタの変更および撮影を繰り返すことにより（ステップＳＴ２３）、各フィルタに対応する予備画像データ４３１がＲＡＭ４３に記憶される。なお、予備画像データ４３１には回転式フィルタ３２からのフィルタに関する情報が付与される。また、複数の予備画像を撮影することは撮影対象のカラー画像（すなわち、原画像）を撮影することに相当する。
【００６６】複数の予備画像に相当する予備画像データ４３１がＲＡＭ４３に記憶されると、次に、照明色度データ生成部４０１により予備画像データ４３１から照明光に相当する光の分光分布が求められる（ステップＳＴ２４）。すなわち、ＣＰＵ４１がＲＯＭ４２内のプログラム４２１に従って以下に説明する演算処理を行う。
【００６７】複数の予備画像から照明光の分光分布を求める手法としては適切なデータが生成されるのであればどのような手法が用いられてもよい。例えば、富永昌治、「色恒常性を実現するカメラ系とアルゴリズム」、信学技報 PRU95-11(1995-05)（７７〜８４頁）に記載された手法が採用されてもよい。この手法では照明光の分光分布および撮影対象の分光反射率を次のようにして求めている。
【００６８】まず、撮影対象上の位置（以下、「対象位置」という。）から入射する光の分光分布Ｃ(λ)は、波長をλ、対象位置における分光反射率をＳ(λ)、照明光の分光分布をＥ(λ)として、
【００６９】
【数７】
【００７０】として表される。ここで、α，βはスケールファクタであり、αＳ(λ)Ｅ(λ)は拡散反射成分、βＥ(λ)は正反射成分に相当する。
【００７１】また、ｋ番目のフィルタにより撮影された画像中の対象位置に対応する画素の画素値（すなわち、ＣＣＤ３１２の出力値）ρkは、フィルタの波長帯域に対応するＣＣＤ３１２の分光感度をＲk(λ)として、
【００７２】
【数８】
【００７３】として表される。
【００７４】ここで、照明光の分光分布Ｅ(λ)と対象位置の分光反射率Ｓ(λ)について複数の基底関数の加重和として表現する有次元線形モデルを用いることにより、最終的に、
【００７５】
【数９】
【００７６】と変形される。ここで、ρは画素値ρkを要素とするベクトル、Λは対象位置の分光反射率Ｓ(λ)の有次元線形モデルの基底関数に対するセンサの応答を表す行列、σは分光反射率Ｓ(λ)の有次元線形モデルの加重係数のベクトル、Ｈは照明光の分光分布Ｅ(λ)の有次元線形モデルの基底関数に対するセンサの応答を表す行列、εは分光分布Ｅ(λ)の有次元線形モデルの加重係数のベクトルである。
【００７７】そして、同一照明下では複数の対象位置についてベクトルＨεの方向が一定であるという法則を利用しつつ、適宜簡略化した演算手法を採用することにより上記式からσとεとが求められる。これにより、２つの有次元線形モデルの係数が求められ、照明光の分光分布Ｅ(λ)および対象位置の分光反射率Ｓ(λ)が求められる。なお、この発明で利用されるのは照明光の分光分布Ｅ(λ)のみである。
【００７８】以上に例示した手法を用いて、照明色度データ生成部４０１は照明光の分光分布Ｅ(λ)を求める。なお、以上の説明では、スケールファクタα，βが予め適宜設定されているものとして説明しているが、処理を簡潔に行うためにスケールファクタβを０として演算を行ってもよい。
【００７９】照明色度データ生成部４０１により照明光の分光分布が求められると、続いて照明光の色度が、第１の実施の形態と同様に、数１および数２に示した演算により求められる（ステップＳＴ２５）。求められた照明光の色度は照明色度データ４３２としてＲＡＭ４３に保存される。
【００８０】照明色度データ４３２が保存されると、次に、第１の実施の形態と同様に参照光の選択が行われる（ステップＳＴ２６）。すなわち、コンピュータ３３の入力部４６が操作者からの入力を受け付けることにより、予めＲＡＭ４３に記憶されている複数の参照光の色度から１つの参照光の色度を決定する。なお、以下の説明においては、選択された参照光の色度に関するデータを単に参照光色度データ４３３と呼ぶこととする。
【００８１】次に、色補正部４０３が複数の予備画像の色を合成してＲＧＢそれぞれの画素値により表現される原画像を生成するとともに、原画像の画素値を予備的に変換して予備補正を行う（ステップＳＴ２７）。原画像はフィルタを通して得られたものであり、回転式フィルタ３２およびデジタルカメラ３１により構成される撮影手段のＲＧＢそれぞれに関する感度は等色関数を利用する数１に完全には適合しない。そこで、予め原画像のＲＧＢそれぞれの画素値を３×３行列を用いて変換を行うことにより、撮影手段の分光感度が擬似的に等色関数に近づけられる。
【００８２】なお、３×３行列は色票を撮影して得られる画像の色と測色計で測定した色票の色との色差が最小になるように求められる。
【００８３】原画像の予備補正が完了すると、ステップＳＴ２５にて求められた照明色度データ４３２および選択された参照光色度データ４３３とを用いて色順応に基づく補正が原画像に施される（ステップＳＴ２８）。すなわち、数３ないし数６に示した演算を各画素の画素値に施すことにより、原画像の各画素の画素値が変換される。変換により補正が完了した画像のデータは補正済画像データ４３５としてＲＡＭ４３に保存される。
【００８４】その後、補正済画像データ４３５に基づいて補正済みの画像がディスプレイ４５に表示される（ステップＳＴ２９）。また、必要に応じて入力部４６からの操作者の指示入力に従って補正済画像データ４３５が記録媒体９に保存される。
【００８５】以上、この発明の第２の実施の形態に係るデジタル撮影システム３について説明してきたが、このデジタル撮影システム３では、撮影対象への照明光の色度および参照光の色度を用いて、原画像の全ての画素についてに色順応に基づく色の変換を施すので、第１の実施の形態と同様に、画像全体の色合いを適切に補正する事ができる。これにより、例えば、参照光として昼光色（Ｄ６５）の光を用いることにより、人間の視覚に合った（すなわち、色順応を考慮した）色再現を画像全体に行うことができる。
【００８６】なお、この実施の形態では、間引きされたＬＵＴを作成することなく演算を行うために処理量が多くなるが、より適切な補正が実現される。
【００８７】＜３． 変形例＞以上、この発明に係る実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【００８８】例えば、上記第１の実施の形態では間引きされたＬＵＴの作成を利用するようになっており、第２の実施の形態では原画像を予備的に補正するようになっているが、これらの処理は必要に応じて行われるのみでよい。また、ＬＵＴとして間引きされていないＬＵＴを準備してももちろんよい。
【００８９】また、上記第２の実施の形態では、デジタルカメラ３１の前方に回転式フィルタ３２を配置するようにしているが、複数のフィルタを切り替える機構をデジタルカメラ３１内部に設けてもよい。また、フィルタの切り替え機構を設けずにデジタルカメラ３１として複数（好ましくは４以上）の入力バンドを有するものを用い、これにより複数の波長帯のそれぞれについて画像を取得するようになっていてもよい。
【００９０】また、デジタルカメラ３１や回転式フィルタ３２とコンピュータ３３とは伝送線で接続されている必要はなく、記録媒体を介して予備画像データ４３１等がコンピュータ３３に取り込まれるようになっていてもよい。
【００９１】さらに、この発明はデジタルカメラを用いて画像を得る場合に限定されるものではなく、スキャナ等の他の画像入力装置にて得られる画像についても利用することができる。
【００９２】
【発明の効果】請求項１ないし８に記載の発明では、画像の各画素の色情報に対して第１および第２の色度を用いる色順応に基づく変換を施すので、画像全体に対して適切な色補正を行うことができる。
【００９３】また、請求項２および６に記載の発明では、テーブルを利用することにより演算量の低減を図ることができる。
【００９４】また、請求項３および７に記載の発明では、第１の色度を簡易に求めることができる。
【図面の簡単な説明】
【図１】この発明に係るデジタルカメラの全体を示す斜視図である。
【図２】図１に示すデジタルカメラにおいてこの発明に係る処理を実行するための構成を示すブロック図である。
【図３】図２に示す構成を機能に分けて示すブロック図である。
【図４】図１に示すデジタルカメラにおいて画像の色合いを補正する際の動作の流れを示す流れ図である。
【図５】この発明に係るデジタル撮影システムの構成を示す図である。
【図６】図５に示すデジタル撮影システムにおいてこの発明に係る処理を実行するための構成を示すブロック図である。
【図７】図６に示す構成を機能に分けて示すブロック図である。
【図８】図５に示すデジタル撮影システムにおいて画像の色合いを補正する際の動作の流れを示す流れ図である。
【図９】図５に示すデジタル撮影システムにおいて画像の色合いを補正する際の動作の流れを示す流れ図である。
【符号の説明】
１ デジタルカメラ
３ デジタル撮影システム
１１ レンズユニット
２１，４１ ＣＰＵ
２２，４２ ＲＯＭ
２３，４３ ＲＡＭ
３１ デジタルカメラ
３２ 回転式フィルタ
３３ コンピュータ
１１４ マルチバンドセンサ
２０１，４０１ 照明色度データ生成部
２０２ ＬＵＴ作成部
２０３，４０３ 色補正部
２３１ 原画像データ
２３２，４３２ 照明色度データ
２３３，４３３ 参照光色度データ
２３４ ＬＵＴ
４３１ 予備画像データ
ＳＴ１１〜ＳＴ１３，ＳＴ１５，ＳＴ１６，ＳＴ２１〜ＳＴ２５，ＳＴ２８ステップ
【特許請求の範囲】
【請求項１】 デジタル撮影装置であって、撮影対象を撮影することによりデジタルデータとして画像を取得する撮影手段と、撮影の際の照明光に相当する光の色度を第１の色度として取得する色度取得手段と、所定の照明光の色度を第２の色度として記憶する記憶手段と、前記画像の各画素の色情報に対して前記第１および第２の色度を用いる色順応に基づく変換を施すことにより、前記画像の色補正を行う補正手段と、を備えることを特徴とするデジタル撮影装置。
【請求項２】 請求項１に記載のデジタル撮影装置であって、前記補正手段が、各画素の色情報を色順応に基づいて変換するためのテーブルを前記第１および第２の色度から作成する手段、を有することを特徴とするデジタル撮影装置。
【請求項３】 請求項１または２に記載のデジタル撮影装置であって、前記色度取得手段が、複数の波長帯の光強度を取得する手段、を有することを特徴とするデジタル撮影装置。
【請求項４】 請求項１または２に記載のデジタル撮影装置であって、前記撮影手段が、前記画像として複数のフィルタのそれぞれを介して撮影された複数の予備画像を取得し、前記色度取得手段が、前記複数の予備画像から前記第１の色度を求めることを特徴とするデジタル撮影装置。
【請求項５】 デジタル撮影方法であって、撮影対象を撮影することによりデジタルデータとして画像を取得する撮影工程と、撮影の際の照明光に相当する光の色度を第１の色度として取得する色度取得工程と、前記画像の各画素の色情報に対して前記第１の色度および所定の照明光の色度である第２の色度を用いる色順応に基づく変換を施すことにより、前記画像の色補正を行う補正工程と、を有することを特徴とするデジタル撮影方法。
【請求項６】 請求項５に記載のデジタル撮影方法であって、前記補正工程が、各画素の色情報を色順応に基づいて変換するためのテーブルを前記第１および第２の色度から作成する工程、を有することを特徴とするデジタル撮影方法。
【請求項７】 請求項５または６に記載のデジタル撮影方法であって、前記色度取得工程が、前記撮影対象からの光について複数の波長帯の光強度を取得する工程、を有することを特徴とするデジタル撮影方法。
【請求項８】 請求項５または６に記載のデジタル撮影方法であって、前記撮影工程において、複数のフィルタのそれぞれを介して撮影することにより複数の予備画像が前記画像として取得され、前記色度取得工程において、前記複数の予備画像から前記第１の色度が求められることを特徴とするデジタル撮影方法。
【請求項１】 デジタル撮影装置であって、撮影対象を撮影することによりデジタルデータとして画像を取得する撮影手段と、撮影の際の照明光に相当する光の色度を第１の色度として取得する色度取得手段と、所定の照明光の色度を第２の色度として記憶する記憶手段と、前記画像の各画素の色情報に対して前記第１および第２の色度を用いる色順応に基づく変換を施すことにより、前記画像の色補正を行う補正手段と、を備えることを特徴とするデジタル撮影装置。
【請求項２】 請求項１に記載のデジタル撮影装置であって、前記補正手段が、各画素の色情報を色順応に基づいて変換するためのテーブルを前記第１および第２の色度から作成する手段、を有することを特徴とするデジタル撮影装置。
【請求項３】 請求項１または２に記載のデジタル撮影装置であって、前記色度取得手段が、複数の波長帯の光強度を取得する手段、を有することを特徴とするデジタル撮影装置。
【請求項４】 請求項１または２に記載のデジタル撮影装置であって、前記撮影手段が、前記画像として複数のフィルタのそれぞれを介して撮影された複数の予備画像を取得し、前記色度取得手段が、前記複数の予備画像から前記第１の色度を求めることを特徴とするデジタル撮影装置。
【請求項５】 デジタル撮影方法であって、撮影対象を撮影することによりデジタルデータとして画像を取得する撮影工程と、撮影の際の照明光に相当する光の色度を第１の色度として取得する色度取得工程と、前記画像の各画素の色情報に対して前記第１の色度および所定の照明光の色度である第２の色度を用いる色順応に基づく変換を施すことにより、前記画像の色補正を行う補正工程と、を有することを特徴とするデジタル撮影方法。
【請求項６】 請求項５に記載のデジタル撮影方法であって、前記補正工程が、各画素の色情報を色順応に基づいて変換するためのテーブルを前記第１および第２の色度から作成する工程、を有することを特徴とするデジタル撮影方法。
【請求項７】 請求項５または６に記載のデジタル撮影方法であって、前記色度取得工程が、前記撮影対象からの光について複数の波長帯の光強度を取得する工程、を有することを特徴とするデジタル撮影方法。
【請求項８】 請求項５または６に記載のデジタル撮影方法であって、前記撮影工程において、複数のフィルタのそれぞれを介して撮影することにより複数の予備画像が前記画像として取得され、前記色度取得工程において、前記複数の予備画像から前記第１の色度が求められることを特徴とするデジタル撮影方法。
【図１】
【図２】
【図４】
【図５】
【図３】
【図６】
【図８】
【図７】
【図９】
【図２】
【図４】
【図５】
【図３】
【図６】
【図８】
【図７】
【図９】
【公開番号】特開２００１−１６６０７（Ｐ２００１−１６６０７Ａ）
【公開日】平成１３年１月１９日（２００１．１．１９）
【国際特許分類】
【出願番号】特願平１１−１８３７０２
【出願日】平成１１年６月２９日（１９９９．６．２９）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
【公開日】平成１３年１月１９日（２００１．１．１９）
【国際特許分類】
【出願日】平成１１年６月２９日（１９９９．６．２９）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
[ Back to top ]