デジタル撮像装置、プログラムおよび記録媒体
【課題】 所望の照明環境の影響を反映させつつ色順応を考慮した画像を再生する。
【解決手段】 照明環境の影響を取り除いた画像のデータに相当する物体色成分データ２３５と、照明環境が画像に与える影響を示す照明成分データ２３６とを生成することができるデジタルカメラにおいて、物体色成分データ２３５と照明成分データ２３６とを合成して画像データを生成する合成部２０５と、画像データに色順応に基づく色変換を施す変換部２０６とを設ける。変換部２０６では、照明成分データ２３６から導かれる色度および露出演算部２０４からの被写体の明るさを示すデータを利用して色順応に基づく色変換が行われる。また、物体色成分データ２３５がメモリカード８に保存される際には露出データ２３７とともに１つのファイルとして保存される。
【解決手段】 照明環境の影響を取り除いた画像のデータに相当する物体色成分データ２３５と、照明環境が画像に与える影響を示す照明成分データ２３６とを生成することができるデジタルカメラにおいて、物体色成分データ２３５と照明成分データ２３６とを合成して画像データを生成する合成部２０５と、画像データに色順応に基づく色変換を施す変換部２０６とを設ける。変換部２０６では、照明成分データ２３６から導かれる色度および露出演算部２０４からの被写体の明るさを示すデータを利用して色順応に基づく色変換が行われる。また、物体色成分データ２３５がメモリカード８に保存される際には露出データ２３７とともに１つのファイルとして保存される。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、色順応を考慮しつつ画像の色を変換する技術に関する。
【０００２】
【従来の技術】被写体への照明光が変更された場合、被写体から観測者へと入射する光の分光分布が変化するが、被写体の色が大きく変化したようには感じないという色順応効果が人間の視覚に生じる。そして、このような人間の視覚における色順応を演算式として準備しておき、画像の色を実際に人間が感じとる色へと変換する技術も提案されている。
【０００３】例えば、特開平９−１７８５６１号公報では、人間の色順応を考慮した色へと画像の色を変換する技術が提案されている。上記文献では、視対象の分光反射率を視対象の色に対応する色票から特定し、視対象への照明光と視対象の分光反射率とから人間が実際に感じとると考えられる色が求められる。
【０００４】
【発明が解決しようとする課題】ところで、上記文献では視対象はカラーディスプレイに表現される仮想的な物体であり、視対象の色は操作者により数値として入力される。したがって、この技術は実在する被写体を撮影して得られる画像に適用することはできない。
【０００５】本発明は上記課題に鑑みなされたものであり、実写にて得られる画像を撮影時とは異なる照明環境下の画像へと変換し、さらに、人間の色順応効果を考慮した画像とすることを主たる目的としている。
【０００６】
【課題を解決するための手段】請求項１に記載の発明は、デジタル撮像装置であって、被写体の画像データを取得する撮像手段と、前記被写体への照明環境の影響を取り除いた画像のデータに相当する物体色成分データを求める物体色成分データ生成手段と、照明環境が画像に与える影響を示す照明成分データと前記物体色成分データとを合成して合成済画像データを生成する合成手段と、色順応に基づく色変換を前記合成済画像データに施す変換手段とを備える。
【０００７】請求項２に記載の発明は、請求項１に記載のデジタル撮像装置であって、前記変換手段が、前記被写体の画像データを取得する際の露出に関する撮影条件を用いて前記色順応に基づく色変換を行う。
【０００８】請求項３に記載の発明は、請求項１または２に記載のデジタル撮像装置であって、前記被写体の画像データから前記照明成分データを求める照明成分データ生成手段をさらに備え、前記変換手段が、前記照明成分データから導かれる色度を用いて前記色順応に基づく色変換を行う。
【０００９】請求項４に記載の発明は、デジタル撮像装置であって、被写体の画像データを取得する撮像手段と、前記被写体への照明環境の影響を取り除いた画像のデータに相当する物体色成分データまたは前記物体色成分データを導くことができるデータと、前記被写体の画像データを取得する際の露出に関する撮影条件とを一のファイルとして保存する保存手段とを備える。
【００１０】請求項５に記載の発明は、画像処理をコンピュータに実行させるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、撮影時の照明環境の影響を取り除いた画像のデータに相当する物体色成分データと、照明環境が画像に与える影響を示す照明成分データとを合成して合成済画像データを生成する合成工程と、前記撮影時の露出に関する撮影条件を用いて色順応に基づく色変換を前記合成済画像データに施す変換工程とを実行させる。
【００１１】請求項６に記載の発明は、請求項５に記載のプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、画像データから前記物体色成分データを求める工程をさらに実行させる。
【００１２】請求項７に記載の発明は、請求項６に記載のプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、前記画像データから前記照明成分データを求める工程をさらに実行させ、前記変換工程において、前記照明成分データから導かれる色度を用いて前記色順応に基づく色変換が行われる。
【００１３】請求項８に記載の発明は、画像処理をコンピュータに実行させるプログラムを記録した記録媒体であって、前記プログラムのコンピュータによる実行は、前記コンピュータに、撮影時の照明環境の影響を取り除いた画像のデータに相当する物体色成分データと、照明環境が画像に与える影響を示す照明成分データとを合成して合成済画像データを生成する合成工程と、前記撮影時の露出に関する撮影条件を用いて色順応に基づく色変換を前記合成済画像データに施す変換工程とを実行させる。
【００１４】
【発明の実施の形態】＜１． 第１の実施の形態＞図１は本発明の第１の実施の形態に係るデジタル撮影装置であるデジタルカメラ１の全体を示す斜視図である。デジタルカメラ１は、撮影を行うレンズユニット１１、および、レンズユニット１１にてデジタルデータとして取得された画像を処理する本体部１２とを有する。
【００１５】レンズユニット１１は、複数のレンズを有するレンズ系１１１、および、レンズ系１１１を介して被写体の像を取得するＣＣＤ１１２を有する。そして、ＣＣＤ１１２から出力される画像信号は本体部１２へと送られる。また、レンズユニット１１には、操作者が被写体を捉えるためのファインダ１１３、測距センサ１１４等も配置される。
【００１６】本体部１２には、フラッシュ１２１およびシャッタボタン１２２が設けられ、操作者がファインダ１１３を介して被写体を捉え、シャッタボタン１２２を操作することにより、ＣＣＤ１１２にて電気的に画像が取得される。このとき、必要に応じてフラッシュ１２１が発光する。なお、ＣＣＤ１１２は各画素の値としてＲ，Ｇ，Ｂの各色に関する値を取得する３バンドの撮像デバイスとなっている。
【００１７】ＣＣＤ１１２からの画像信号は本体部１２内部にて後述する処理が行われ、必要に応じて本体部１２に装着されている外部メモリであるメモリカード８に記憶される。メモリカード８は本体部１２下面の蓋を開けて取出ボタン１２４を操作することにより本体部１２から取り出される。記録媒体であるメモリカード８に記憶されたデータは別途設けられたコンピュータ等の他の装置に渡すことができる。逆に、他の装置にてメモリカード８に記憶されたデータをデジタルカメラ１が読み出すことも可能である。
【００１８】図２はデジタルカメラ１を背後から見たときの様子を示す図である。本体部１２の背面の中央には撮影された画像を表示したり、操作者へのメニューを表示する液晶のディスプレイ１２５が設けられ、ディスプレイ１２５の側方にはディスプレイ１２５に表示されるメニューに従って入力操作を行うための操作ボタン１２６が配置される。これにより、デジタルカメラ１の操作、撮影条件の設定、メモリカード８の保守、後述する画像の再生等ができるようにされている。
【００１９】図３は、デジタルカメラ１の主要な構成をブロック等にて示す図である。
【００２０】図３に示す構成のうち、レンズ系１１１、ＣＣＤ１１２、Ａ／Ｄ変換部１１５、シャッタボタン１２２、ＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３は画像を取得する機能を実現する。すなわち、レンズ系１１１により被写体の像がＣＣＤ１１２上に結像され、シャッタボタン１２２が押されると、ＣＣＤ１１２からの画像信号がＡ／Ｄ変換部１１５によりデジタル変換される。Ａ／Ｄ変換部１１５にて変換されたデジタル画像信号は本体部１２のＲＡＭ２３に画像データとして記憶される。なお、これらの処理の制御はＣＰＵ２１がＲＯＭ２２内に記憶されているプログラム２２１に従って動作することにより行われる。
【００２１】また、本体部１２に設けられるＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３が画像を処理する機能を実現する。具体的には、ＲＯＭ２２に記憶されているプログラム２２１に従って、ＲＡＭ２３を作業領域として利用しながらＣＰＵ２１が取得された画像に画像処理を施す。
【００２２】カードＩ／Ｆ（インターフェイス）１２３はＲＡＭ２３と接続され、操作ボタン１２６からの入力操作に基づいてＲＡＭ２３とメモリカード８との間の各種データの受け渡しを行う。また、ディスプレイ１２５もＣＰＵ２１からの信号に基づいて画像の表示や操作者への情報の表示を切り替えながら行う。
【００２３】フラッシュ１２１は発光制御回路１２１ａを介してＣＰＵ２１に接続されており、ＣＰＵ２１からフラッシュ１２１を点灯する旨の指示を受けた場合には、発光制御回路１２１ａがフラッシュ１２１の発光特性が撮影ごとにばらつかないように制御を行う。これにより、フラッシュ１２１からの光の分光分布（分光強度）が一定となるように制御される。
【００２４】図４は、主としてＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３により実現される機能を他の構成とともにブロックにて示す図であり、図４に示す構成のうち、差分画像生成部２０１、物体色成分データ生成部２０２、照明成分データ生成部２０３、露出演算部２０４、合成部２０５および変換部２０６が、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３等により実現される機能である。図５は撮影および画像処理の流れを示す流れ図である。以下、図４および図５を参照しながらデジタルカメラ１の動作について説明する。
【００２５】まず、フラッシュがＯＮの状態にて撮影を行い、フラッシュ光を浴びた被写体の画像（以下、「第１画像」という。）を得る。すなわち、フラッシュ１２１を点灯するとともにＣＣＤ１１２にて画像を取得し、得られた画像（正確には、画像信号）がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、第１画像データ２３１として記憶される（ステップＳＴ１１）。
【００２６】次に、フラッシュがＯＦＦの状態にて撮影を行い、フラッシュ光を有しない照明環境下での被写体の画像（以下、「第２画像」という。）を得る。すなわち、フラッシュを用いることなくＣＣＤ１１２にて画像を取得し、得られた画像がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、第２画像データ２３２として記憶される（ステップＳＴ１２）。
【００２７】これらの２回の撮影は、連写のように迅速に行われる。したがって、第１画像と第２画像との撮影範囲は同一となる。また、２回の撮影はシャッター速度（ＣＣＤ１１２の積分時間）および絞り値（すなわち、露出に関する撮影条件）が同一の条件にて行われる。
【００２８】露出条件は、撮影直前にＣＣＤ１１２にて取得された画像（または、測光センサの出力）に基づいて露出演算部２０４により求められる。具体的には、まず、ＣＣＤ１１２や測光センサの出力に基づいて被写体の明るさを求め、ＣＣＤ１１２の感度特性を考慮して露出値が決定される。その後、デジタルカメラ１内に予め準備されているシャッタースピードと絞り値との関係を示すプログラム線図に従ってシャッタースピードおよび絞り値が自動的に決定される。
【００２９】また、フラッシュ１２１の発光は、フラッシュ光の分光分布が一定となるように発光制御回路１２１ａにより制御される。図６は発光制御回路１２１ａの動作の流れを示す図である。
【００３０】フラッシュＯＮでの撮影の際に、あるいは、撮影に先立って、まず、発光制御回路１２１ａがフラッシュ１２１のフラッシュ電源への充電電圧（すなわち、フラッシュ１２１に与えられる電圧）のモニタを開始する（ステップＳＴ１０１）。そして、充電電圧が所定の電圧（例えば、３３０Ｖ）に達したと確認されると（ステップＳＴ１０２）、フラッシュ電源からフラッシュ１２１へと電力を供給して発光を開始する（ステップＳＴ１０３）。
【００３１】発光の開始と同時に発光制御回路１２１ａは発光時間のモニタを開始する（ステップＳＴ１０４）。その後、発光開始から所定の時間が経過したことが確認されると（ステップＳＴ１０５）、発光が停止される（ステップＳＴ１０６）。
【００３２】このように、フラッシュ１２１の発光は一定の電圧および発光時間となるように制御され、フラッシュ１２１の発光特性が撮影ごとにばらつくことはない。なお、フラッシュ１２１の分光分布も上記発光制御により一定に保たれ、この分光分布は予め計測されてＲＡＭ２３にフラッシュ分光データ２３４として記憶されている。なお、正確にはフラッシュ光の相対的な分光分布（最大の分光強度を１として正規化された分光分布をいい、以下「相対分光分布」という。）がフラッシュ分光データ２３４として用いられる。
【００３３】２回の撮影により、ＲＡＭ２３に第１画像データ２３１および第２画像データ２３２が保存されると、差分画像生成部２０１が第１画像データ２３１から第２画像データ２３２を減算して差分画像データ２３３を求める。これにより、第１画像の各画素のＲ，Ｇ，Ｂの各値から第２画像の対応する画素のＲ，Ｇ，Ｂの各値がそれぞれ減算され、第１画像と第２画像との差分画像が得られる（ステップＳＴ１３）。
【００３４】次に、物体色成分データ生成部２０２により差分画像データ２３３およびフラッシュ分光データ２３４を用いて第２画像から照明環境の影響を取り除いた成分が物体色成分データ２３５として求められ、ＲＡＭ２３に保存される（ステップＳＴ１４）。物体色成分データ２３５は、被写体の分光反射率に実質的に相当するデータである。以下、被写体の分光反射率を求める原理について説明する。
【００３５】まず、被写体を照明する照明光（光源からの直接的な光および間接的な光を含む照明環境における照明光いう。）の分光分布をＥ(λ)とし、この分光分布Ｅ(λ)を３つの基底関数Ｅ1(λ)，Ｅ2(λ)，Ｅ3(λ)および加重係数ε1，ε2，ε3を用いて、
【００３６】
【数１】
【００３７】と表し、同様に、ある画素（以下、「対象画素」という。）に対応する被写体上の位置の分光反射率をＳ(λ)を３つの基底関数Ｓ1(λ)，Ｓ2(λ)，Ｓ3(λ)および加重係数σ1，σ2，σ3を用いて、
【００３８】
【数２】
【００３９】と表すと、ＣＣＤ１１２上の対象画素に入射する光Ｉ(λ)（レンズユニット１１内のフィルタ等を無視した場合の入射光）は、
【００４０】
【数３】
【００４１】と表現される。また、対象画素のＲ，Ｇ，Ｂのいずれかの色（以下、「対象色」という。）に関する値がρcであり、ＣＣＤ１１２の対象色の分光感度をＲc(λ)とすると、値ρcは、
【００４２】
【数４】
【００４３】により導かれる。
【００４４】ここで、フラッシュＯＮの第１画像の対象画素の対象色の値がρc1であり、フラッシュＯＦＦの第２画像の対応する値がρc2である場合、差分画像の対応する値ρsは、
【００４５】
【数５】
【００４６】となる。Ｉ1(λ)はフラッシュＯＮの際の対象画素に入射する光であり、ε11，ε12，ε13はフラッシュ光を含む照明光に関する基底関数の加重係数である。同様に、Ｉ2(λ)はフラッシュＯＦＦの際の対象画素に入射する光であり、ε21，ε22，ε23はフラッシュ光を含まない照明光に関する基底関数の加重係数である。さらに、εsi（ｉ＝１，２，３）は（ε1i−ε2i）である。
【００４７】数５において、基底関数Ｅi(λ)，Ｓj(λ)は予め定められた関数であり、分光感度Ｒc(λ)は予め計測により求めることができる関数である。これらの情報は予めＲＯＭ２２やＲＡＭ２３に記憶される。一方、２回の撮影においてシャッター速度（あるいは、ＣＣＤ１１２の積分時間）および絞り値が同一に制御され、第１画像から第２画像を減算した差分画像は、照明環境の変更のみの影響を受けた画像、すなわち、フラッシュ光のみを照明光源とする画像に相当することから、加重係数εsiは後述する手法によりフラッシュ光の相対分光分布より導くことができる。
【００４８】したがって、数５に示す方程式において未知数は３つの加重係数σ1，σ2，σ3のみである。また、数５に示す方程式は対象画素におけるＲ，Ｇ，Ｂの３つの色のそれぞれに関して求めることができ、これら３つの方程式を解くことにより３つの加重係数σ1，σ2，σ3を求めることができる。すなわち、対象画素に対応する被写体上の位置の分光反射率が得られる。
【００４９】次に、加重係数εsiを求める手法について説明する。既述のように差分画像はフラッシュ光のみを照明光とする画像に相当し、差分画像における照明光の相対分光分布は既知である。一方で、フラッシュから遠い被写体上の領域はフラッシュ１２１に近い領域よりもフラッシュ光を受ける度合いが小さい。したがって、差分画像ではおおよそフラッシュ１２１から遠い位置ほど暗く現れる。
【００５０】そこで、３つの加重係数εs1，εs2，εs3の値の相対関係を一定に保ったまま差分画像中の対象画素の輝度に比例してこれらの加重係数の値を増減する。すなわち、差分画像中の対象画素の輝度が小さい場合には加重係数εs1，εs2，εs3の値は小さな値として決定され、輝度が大きい場合には加重係数εs1，εs2，εs3の値は大きな値として決定される。なお、３つの加重係数εs1，εs2，εs3の相対関係は３つの基底関数Ｅ1(λ)，Ｅ2(λ)，Ｅ3(λ)の加重和がフラッシュ光の分光分布と比例するように予め求められており、輝度と加重係数εsiとの比例関係は予め測定により求められる。
【００５１】加重係数εsiは対象画素に対応する被写体上の位置に照射されるフラッシュ光の分光分布を示す値であり、第１画像および第２画像間におけるフラッシュ１２１による照明光の変更量の分光分布を示す値である。したがって、フラッシュ分光データ２３４より加重係数εsiを求める処理は、フラッシュ光の相対分光分布からフラッシュ１２１による照明環境（照明光）の分光変更量を求める処理に相当する。
【００５２】以上の原理に基づき、デジタルカメラ１の物体色成分データ生成部２０２は差分画像データ２３３の画素値およびフラッシュ分光データ２３４を参照しながら、各画素に対応する被写体上の位置の分光反射率を求める。被写体の分光反射率は、照明環境の影響が取り除かれた画像データに相当し、物体色成分データ２３５としてＲＡＭ２３に記憶される（ステップＳＴ１４）。
【００５３】物体色成分データ２３５が求められると、数３および数４より第２画像の各画素のＲ，Ｇ，Ｂの値に基づいて加重係数ε21，ε22，ε23に関する３つの方程式を求めることができる。照明成分データ生成部２０３では、これらの方程式を解くことにより第２画像における各画素に関する加重係数ε2iが求められる。求められた各画素の加重係数ε2iは第２画像におけるフラッシュ光を含まない照明環境の影響を示す成分となる。
【００５４】ここで、各画素の加重係数ε2iはそのまま照明成分データ２３６とされてもよいが、およそ均一な照明光の照明環境である場合には画素ごとの加重係数ε2iのばらつきは少ない。そこで、加重係数ε21，ε22，ε23のそれぞれについて全画素の平均値を求め、求められた３つの加重係数が照明成分データ２３６とされる（ステップＳＴ１５）。これにより、照明成分データ２３６は画素の位置に依存しない値となり、後述するように他の物体色成分データ２３５と合成することでこの照明環境による雰囲気を他の被写体の画像に取り込むことが可能となる。
【００５５】物体色成分データ２３５および照明成分データ２３６が求められると、これらのデータはデジタルカメラ１の本体に対して着脱自在なメモリカード８へと転送されて保存される（ステップＳＴ１６，ＳＴ１７）。このとき、ＣＰＵ２１の制御の下、カードＩ／Ｆ１２３に露出演算部２０４から露出に関する撮影条件を示す露出データ２３７が入力され、図７に示すように物体色成分データ２３５は露出データ２３７とともに１つのファイル８１として保存される（ステップＳＴ１６）。照明成分データ２３６は物体色成分データ２３５とは別のファイルとして保存され、これらのデータは互いに独立して取り出し可能な状態とされる。
【００５６】デジタルカメラ１では、後述するように物体色成分データ２３５から画像を再生する際に、露出に関する撮影条件を利用して色順応に基づく色変換が行われる。そこで、デジタルカメラ１では、物体色成分データ２３５の取り扱いを容易とするために物体色成分データ２３５と露出データ２３７とを１つのファイル８１に格納する。また、これにより、画像再生処理を外部のコンピュータにて行う際にもファイル８１をコンピュータに転送することで適切な色変換を容易に行うことが可能となる。
【００５７】なお、露出に関する撮影条件としては露出値決定の際に用いられた被写体の明るさが保存されることが好ましいが、撮影時の被写体の明るさを求めることができるデータであれば他の撮影条件が利用されてもよい。例えば、ＣＣＤ１１２の感度と被写体の明るさとから露出値が求めることができるため、ＣＣＤ１１２の感度が既知である場合には、露出値が露出データ２３７として利用されてもよい。露出値に代えてシャッタースピードおよび絞り値が露出データ２３７とされてもよい。また、ＣＣＤ１１２の感度および露出値が露出データ２３７とされてもよい。
【００５８】次に、以上のようにしてメモリカード８に保存された物体色成分データ２３５および照明成分データ２３６を用いて画像を再生する際のデジタルカメラ１の動作について図４および図８を参照しながら説明する。なお、メモリカード８には、物体色成分データ２３５および露出データ２３７を格納する複数のファイル、並びに、照明成分データ２３６を格納する複数のファイルが予め記録されているものとする。メモリカード８内のこれらのファイルは外部のコンピュータから読み出されたものであってもよい。
【００５９】まず、操作者がディスプレイ１２５の表示を見ながら操作ボタン１２６を介して指示を行うことにより、所望の物体色成分データ２３５を格納するファイルを選択する。これにより、再生する画像の対象（すなわち、撮影時の被写体）が決定される。選択された物体色成分データ２３５はカードＩ／Ｆ１２３を介して合成部２０５に読み出される（正確には、ＲＡＭ２３に読み出されて合成部２０５が取り扱い可能とされる。）。
【００６０】さらに、操作者がディスプレイ１２５の表示を見ながら操作ボタン１２６を介して指示を行うことにより、所望の照明成分データ２３６を格納するファイルを選択する。これにより、被写体への照明環境が決定される。選択された照明成分データ２３６はカードＩ／Ｆ１２３を介して合成部２０５に読み出される（ステップＳＴ２１）。
【００６１】既に読み込まれている物体色成分データ２３５の基礎となった画像を再生したい場合には、物体色成分データ２３５が求められた時に求められた照明成分データ２３６が選択され、他の画像が撮影された際の照明環境下での画像として再生したい場合には、他の画像が撮影された際に得られた照明成分データ２３６がＲＡＭ２３に読み込まれる。もちろん、ＣＩＥ規格のＤ６５、蛍光灯等に対応した照明成分データ２３６や仮想的な光源に対応した照明成分データ２３６が準備されていてもよく、操作者が照明成分データ２３６を選択することにより、任意の照明環境が画像に与える影響を再生画像に反映させることが以下の演算処理により実現される。
【００６２】物体色成分データ２３５および照明成分データ２３６が合成部２０５に入力されると、これらのデータを数３および数４の加重係数εi，σjとして用いることによりこれらのデータが合成されて各画素のＲ，Ｇ，Ｂの値ρr，ρg，ρbが合成済画像データとして求められる（ステップＳＴ２２）。
【００６３】合成済画像データは、照明成分データ２３６とともに変換部２０６へと転送され、変換部２０６は、照明成分データ２３６が示す照明環境（照明光）の三刺激値Ｘ0，Ｙ0，Ｚ0を数６に示す演算により求め、数７により照明光の色度ｘ0，ｙ0を得る（ステップＳＴ２３）。
【００６４】
【数６】
【００６５】
【数７】
【００６６】なお、数６においてＲX(λ)，ＲY(λ)，ＲZ(λ)は等色関数、Ｅ(λ)は照明成分データ２３６から数１により導かれる照明光の分光分布、λは可視領域の波長である。
【００６７】変換部２０６にはさらに物体色成分データ２３５とともにメモリカード８に保存されている露出データ２３７がカードＩ／Ｆ１２３を介して入力される（ステップＳＴ２４）。
【００６８】その後、変換部２０６により色度ｘ0，ｙ0および露出データ２３７を用いて合成済画像データに色順応に基づく色の変換が施される（ステップＳＴ２５）。なお、色順応に基づく色変換には、色度の順応のみならず、明暗の順応を反映した変換が含まれてもよい。また、明暗の順応を反映した変換のみでもよい。色順応に基づく色変換を合成済画像データに施して変換済画像データを生成することにより、色順応を考慮した画像をディスプレイ１２５に表示することが実現される。
【００６９】次に、変換部２０６による合成済画像データの色変換について説明する。デジタルカメラ１では、ＣＩＥＣＡＴ９４ＬＡＢによる色順応式が利用される（詳細については、Yoshinobu Nayatani et al., "Proposal of an Abridged Color-Appearance Model CIECAT94LAB and Its Field Trials", COLOR reserch and application, vol. 24, No. 6, Dec. 1999を参照。）。
【００７０】まず、合成済画像の各画素の画素値が行列式を用いてＣＩＥ規格の表色系の三刺激値Ｘ，Ｙ，Ｚに変換され、さらに、数８により各画素の三刺激値Ｘ，Ｙ，Ｚが生理原色系の三刺激値Ｒ，Ｇ，Ｂに変換される。
【００７１】
【数８】
【００７２】次に、数９により変換後の三刺激値ＲR，ＧR，ＢRが求められる。なお、数９の各種パラメータについては後述する。
【００７３】
【数９】
【００７４】最後に、数１０により変換後の三刺激値ＲR，ＧR，ＢRが三刺激値ＸR，ＹR，ＺRに戻され、変換済画像データが生成される（ステップＳＴ２５）。
【００７５】
【数１０】
【００７６】上記変換後の各画素の三刺激値ＸR，ＹR，ＺRがディスプレイ１２５に表示するための値へと変換され、変換後の画像がディスプレイ１２５に表示される（ステップＳＴ２６）。これにより、色順応を考慮した画像が表示される。
【００７７】次に、数９の各種パラメータについて説明する。Ｙ0は被写体中の背景の影響を数９に与えるパラメータであり、ここでは２０（％）に設定される。ｎはノイズの影響を考慮したパラメータであり、０．１または１が与えられる。
【００７８】ξR，ηR，ζRは色順応に基づく色変換の基準となる基準照明（例えば、ＣＩＥ規格のＤ６５、照度１０００ルクス（ｌｘ））の相対色度であり、基準照明の色度ｘR0，ｙR0から数１１により導かれる。
【００７９】
【数１１】
【００８０】＜ξ＞，＜η＞，＜ζ＞は色度に関する順応を考慮した相対色度であり、数１２により照明成分データ２３６が示す照明（以下、「試験照明」という。）の色度ｘ0，ｙ0から相対色度ξ，η，ζを求めておき、試験照明の相対色度ξ，η，ζと基準照明の相対色度ξR，ηR，ζRとから数１３により求められる。
【００８１】
【数１２】
【００８２】
【数１３】
【００８３】なお、数１３中のαは、数１４により求められる。
【００８４】
【数１４】
【００８５】数１４中のＬ0は、被写体の順応輝度であり、単位はカンデラ毎平方メートル（ｃｄ／ｍ2）である。順応輝度Ｌ0の算出には露出データ２３７が利用され、その詳細については後述する。また、数１４では、合成画像の画素値をＬ*ａ*ｂ*表色系へと変換した際の値Ｌ*も利用される。係数Ｄは、被写体が発光しない物体の場合には１．０、被写体自体が発光するディスプレイの場合には０．０、カラースライドのように光が投射されるスクリーンが被写体の場合には０．５が与えられる。
【００８６】実際の合成済画像が表す被写体は、発光物体であるか否かを区別することが困難であることから、係数Ｄは画素ごとに厳密に区別されない。通常は、係数Ｄは１．０とされる。一方、係数Ｄを使用者の好みを反映する係数として利用することも可能である。すなわち、係数Ｄを使用者が指定することにより、順応度合い（換言すれば、照明光の影響の度合い）を変更して好みの色再現を実現することができる。
【００８７】数９中のＲR0，ＧR0，ＢR0は、基準照明下の実効順応応答であり、数１５により求められる。
【００８８】
【数１５】
【００８９】数１５においてＬR0は、基準照明の順応輝度であり、数１６により求められる。
【００９０】
【数１６】
【００９１】数１６において、ＥR0は基準照明の照度（ＥR0＝１０００（ｌｘ））である。
【００９２】数９中のＲ0，Ｇ0，Ｂ0は、試験照明下の実効順応応答であり、被写体の順応輝度Ｌ0（後述）を用いて数１７により求められる。
【００９３】
【数１７】
【００９４】べき指数の関数β1（Ｃ1），β2（Ｃ2）（Ｃ1＝ＲR0，ＧR0，Ｒ0，Ｇ0；Ｃ2＝ＢR0，Ｂ0）は、数１８により示される。
【００９５】
【数１８】
【００９６】さらに、数９中のＫは以上の各種パラメータを用いて数１９により求められる。
【００９７】
【数１９】
【００９８】ただし、デジタルカメラ１の場合、Ｙ0＝２０であるため、Ｋは１となる。
【００９９】次に、露出データ２３７を利用して被写体の順応輝度Ｌ0を算出する手法について説明する。
【０１００】露出データ２３７は、被写体の明るさを示すデータ（または、少なくとも被写体の明るさを導き出すことができるデータ）となっている。具体的には、被写体を観測した際の照度Ｅ0が被写体の明るさとされる。
【０１０１】一般に、輝度とは放射源（被写体）を観測方向から見たときの単位面積当たりの放射強度を表し、光束をΦ、立体角をΩ、光束の断面積をＳ、光束の断面と光束の方向とのなす角をθとして、数２０にて表される。
【０１０２】
【数２０】
【０１０３】一方、照度は単位面積当たりに入射する放射束であり、光束をΦ、入射面積をＡとして、数２１にて表される。
【０１０４】
【数２１】
【０１０５】ここで、デジタルカメラ１にて被写体を撮影する場合、観測方向は被写体と正対する方向とみなすことができるため、θを０°（すなわち、cosθ＝１）とすることができる。また、被写体上の点から出射した光のうち、１画素に入射する光の度合いも一定である（すなわち、立体角Ωを考慮する必要がない。）とみなすことができ、ｋを定数として、数２２が満たされると想定することができる。
【０１０６】
【数２２】
【０１０７】デジタルカメラ１では、予め実測により定数ｋを求めておき、本撮影の前のＣＣＤ１１２の出力や測光センサの出力に基づいて被写体の照度（明るさ）を露出演算部２０４により求めるようになっている。そして、被写体の明るさが露出データ２３７として物体色成分データ２３５とともに１つのファイルとしてメモリカード８に保存される。
【０１０８】数１４および数１７にて用いられる被写体の順応輝度Ｌ0は、露出データ２３７から導かれる被写体の照度Ｅ0を用いて数２３により導かれる。
【０１０９】
【数２３】
【０１１０】以上、デジタルカメラ１の構成および動作について説明してきたが、デジタルカメラ１では、フラッシュＯＮの状態にて撮影された第１画像、フラッシュＯＦＦの状態にて撮影された第２画像、および、フラッシュ光の相対分光分布とから照明環境の影響が取り除かれた画像データに相当する物体色成分データ２３５を求めることができる。すなわち、被写体の分光反射率を示す物体色成分データ２３５を照明環境が変更された２枚の画像から簡単に求めることができる。照明環境の変更はフラッシュ１２１を用いて容易に行われる。
【０１１１】また、デジタルカメラ１では求められた物体色成分データ２３５および第２画像データ２３２から照明成分データ２３６が求められる。したがって、デジタルカメラ１では、物体色成分データ２３５に複数の照明成分データ２３６から選択されたものを適宜合成することにより、所望の照明環境下の所望の撮影対象の画像を再生することができる。
【０１１２】このとき、照明成分データ２３６から照明光の色度を求めつつ色順応に基づいた色変換を行うことにより、より自然な（人間の視覚に合った）画像が再生される。
【０１１３】さらに、デジタルカメラ１では、色順応に基づく色変換の際に露出演算部２０４により求められた露出に関する撮影条件が反映されるため、撮影条件ごとに変化する被写体への照明光の強度を色順応に基づく色変換に反映させることができ、一層適切な色変換が実現される。
【０１１４】なお、デジタルカメラ１としては特殊な機構を有さず、汎用のオンチップフィルタが設けられたＣＣＤを有するデジタルカメラの簡単な仕様変更により物体色成分データ２３５、照明成分データ２３６および変換済画像データを求めることが可能となる。これにより、物体色成分データ２３５等を求める動作を汎用のデジタルカメラ１の特殊モードとして実現することができ、新たな生産コストが生じることはない。
【０１１５】＜２． 第２の実施の形態＞第１の実施の形態では、デジタルカメラ１内部にて物体色成分データ２３５および照明成分データ２３６を求めたり、色順応を考慮した画像再生を行うが、画像の取得以外の処理はコンピュータにより行われてもよい。
【０１１６】図９は本発明の第２の実施の形態に係るデジタル撮像システム３の構成を示す図である。デジタル撮像システム３は、撮影対象の画像を取得するデジタルカメラ３１、および、デジタルカメラ３１にて得られた画像を処理するコンピュータ３３を有する。
【０１１７】デジタルカメラ３１は画像を撮影し、得られた画像データをコンピュータ３３に伝送ケーブルを介して転送する。もちろん、画像データはメモリカード等の記録媒体を介してコンピュータ３３に転送されてもよい。
【０１１８】デジタルカメラ３１は、第１の実施の形態に係るデジタルカメラ１から画像処理に係る機能を取り除いた動作を行う。すなわち、図５中のステップＳＴ１１，ＳＴ１２を実行し、第１画像データ２３１および第２画像データ２３２を取得する。また、露出演算部２０４による露出データ２３７の生成も行う。そして、図１０に示すように、第１画像データ２３１、第２画像データ２３２および露出データ２３７を１つのファイル８２に格納する。このファイル８２がコンピュータ３３に転送され、画像処理が実行される。
【０１１９】図１１はコンピュータ３３の構成を示すブロック図である。コンピュータ３３は、各種演算処理を行うＣＰＵ３０１、基本プログラムを記憶するＲＯＭ３０２および各種情報を記憶するＲＡＭ３０３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク３０４、各種情報の表示を行うディスプレイ３０５、操作者からの入力を受け付けるキーボード３０６ａおよびマウス３０６ｂ、光ディスク、磁気ディスク、光磁気ディスク等の記録媒体９１から情報の読み取りを行う読取装置３０７、並びに、デジタルカメラ３１との間で通信を行う通信部３０８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【０１２０】コンピュータ３３には、事前に読取装置３０７を介して記録媒体９１からプログラム３４１が読み出され、固定ディスク３０４に記憶される。そして、プログラム３４１がＲＡＭ３０３にコピーされるとともにＣＰＵ３０１がＲＡＭ３０３内のプログラム３４１に従って演算処理を実行することによりコンピュータ３３が画像処理装置としての動作を行う。
【０１２１】すなわち、ＣＰＵ３０１およびその周辺構成が図４に示す差分画像生成部２０１、物体色成分データ生成部２０２および照明成分データ生成部２０３として動作することにより第１画像データ２３１および第２画像データ２３２（並びに、フラッシュ分光データ２３４）から物体色成分データ２３５および照明成分データ２３６が生成される。フラッシュ分光データ３４は、予めコンピュータ３３に準備されていてもよく、デジタルカメラ３１から転送されてもよい。
【０１２２】また、画像が再生される際には、ＣＰＵ３０１およびその周辺構成が図４に示す合成部２０５および変換部２０６として動作することによりキーボード３０６ａおよびマウス３０６ｂを介してデータの選択が行われ、任意の照明環境の雰囲気を取り入れつつ色順応を考慮した画像をディスプレイ３０５に表示することが実現される。このとき、物体色成分データ２３５を生成する際に利用された第１画像データ２３１および第２画像データ２３２と同一ファイル内に存在する露出データ２３７が利用される。
【０１２３】以上のように、画像処理はコンピュータ３３により行うことも可能であり、この場合、デジタルカメラ３１における処理の負担が大幅に軽減される。
【０１２４】＜３． 変形例＞以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１２５】上記実施の形態ではフラッシュを用いて取得された第１画像およびフラッシュを用いることなく取得された第２画像を利用して物体色成分データ２３５および照明成分データ２３６を求めるようにしているが、画像データから物体色成分データ２３５および照明成分データ２３６を求める手法として他の手法が用いられてもよい。
【０１２６】例えば、図１２に示すようにモノクロ画像を取得するデジタルカメラ３１ａの前に互いに異なる分光透過特性の複数のフィルタを有する回転式フィルタ３２を配置し、回転式フィルタ３２を回転させながら複数の画像を取得する。そして、複数の画像のデータをコンピュータ３３に転送し、コンピュータ３３にて物体色成分データ２３５および照明成分データ２３６が求められてもよい。具体的演算としては、富永昌治、「色恒常性を実現するカメラ系とアルゴリズム」、信学技報 PRU95-11(1995-05)（７７〜８４頁）に記載された手法が利用可能である。
【０１２７】また、複数のフィルタを切り替える機構をデジタルカメラ内部に設けてもよい。フィルタの切り替え機構を設けずにデジタルカメラに複数（好ましくは４以上）の入力バンドを有する撮像素子（すなわち、複数種類のオンチップフィルタが設けられたＣＣＤ）を設け、これにより複数の波長帯のそれぞれについて画像を取得するようになっていてもよい。
【０１２８】さらに、デジタルカメラ１に照明光を受光するマルチバンドセンサを設けておき、照明光の分光分布を照明成分データ２３６として取得してから物体色成分データ２３５が求められてもよい。
【０１２９】物体色成分データ２３５は被写体の分光反射率を正確に示すデータである必要はなく、ほぼ分光反射率を示すデータであれば足りる。照明成分データ２３６も照明光の分光分布を正確に示すデータとして求められる必要はなく、ほぼ分光分布を示すデータであればよい。
【０１３０】色順応に基づく色変換も既存の様々な手法が利用されてよい。変換後の画像の出力先もディスプレイに限定されるものではなく、プリンタであってもよい。
【０１３１】また、上記実施の形態では、露出に関する撮影条件として被写体の明るさが露出データ２３７として利用されると説明したが、露出に関する撮影条件として他のデータが利用されてもよい。また、被写体の明るさそのものが露出データ２３７とされる必要はなく、既述のように被写体の明るさを導き出すことができるデータであればどのようなデータが露出データ２３７とされてもよい。
【０１３２】第１の実施の形態ではデジタルカメラ１内部にて物体色成分データ２３５および照明成分データ２３６の算出、並びに、画像の再生を行い、第２の実施の形態では、これらの処理をコンピュータ３３にて行うが、これらの処理の分担はデジタルカメラとコンピュータとの間で任意の設定されてよい。第１の実施の形態では図７に示したように物体色成分データ２３５と露出データ２３７とは１つのファイルとして保存されると説明したが、このようなファイルをコンピュータへと転送することにより、コンピュータにて色順応を考慮した画像の再生を容易に行うことができる。
【０１３３】一方、差分画像データ２３３の生成のみをデジタルカメラにて行い、差分画像データ２３３および第２画像データ２３２が露出データ２３７とともに１つのファイルとしてコンピュータ３３に転送されてもよい。すなわち、物体色成分データ２３５または物体色成分データ２３５を導くことができるデータと露出データ２３７とをコンピュータ３３に転送することにより、コンピュータ３３にて様々な照明環境下の画像を色順応を考慮しつつ再生することが可能となる。
【０１３４】また、上記実施の形態では、ＣＰＵがプログラムに従って演算を行うことにより、各種機能が実現されると説明したが、演算処理の全部または一部は専用の電気的回路により実現されてもよい。特に、繰り返し演算を行う箇所をロジック回路にて構築することにより、高速な演算が実現される。
【０１３５】なお、上記実施の形態では、充電電圧および発光時間をモニタすることにより、フラッシュ１２１の発光特性を一定に保つようにしているが、他の方法によりフラッシュ１２１の発光特性が一定に保たれてもよい。例えば、フラッシュ１２１をパルス状に発光することにより、フラッシュの発光特性が一定に保たれてもよい。
【０１３６】充電電圧および発光時間をモニタすることにより、発光後にフラッシュ光の分光特性を求めるようにしてもよい。被写体への照明環境を変更する方法はフラッシュ１２１を用いる手法に限定されるものではない。
【０１３７】また、以上の説明では物体色成分データ２３５として各画素に対応する加重係数σ1，σ2，σ3が保存され、照明成分データ２３６として一組の加重係数ε1，ε2，ε3が保存されると説明したが、これらのデータは被写体の分光反射率の基底関数Ｓ1(λ)，Ｓ2(λ)，Ｓ3(λ)や照明光の分光分布の基底関数Ｅ1(λ)，Ｅ2(λ)，Ｅ3(λ)とともに保存されてもよい。さらに、分光反射率の特性曲線自体が物体色成分データ２３５とされてもよく分光分布の特性曲線自体が照明成分データ２３６とされてもよい。
【０１３８】
【発明の効果】請求項１ないし３の発明では、任意の照明環境の影響を反映しつつ色順応を考慮した画像データを生成することができる。
【０１３９】また、請求項２の発明では、撮影条件を考慮しつつ色順応に基づく色変換を行うことができる。
【０１４０】また、請求項３の発明では、照明環境に応じた色変換を行うことができる。
【０１４１】請求項４の発明では、別途設けられたコンピュータ等を用いて撮影条件を考慮しつつ色順応に基づく色変換を容易に行うことができる。
【０１４２】請求項５ないし８の発明では、撮影条件を考慮しつつ色順応に基づく色変換を行うことができる。
【０１４３】また、請求項６の発明では、画像データから物体色成分データを求めることができる。
【０１４４】また、請求項７の発明では、照明環境に応じた色変換を行うことができる。
【図面の簡単な説明】
【図１】第１の実施の形態に係るデジタルカメラの全体を示す斜視図である。
【図２】デジタルカメラの背面図である。
【図３】デジタルカメラの構成を示すブロック図である。
【図４】デジタルカメラの機能をブロックにて示す図である。
【図５】デジタルカメラの動作の流れを示す図である。
【図６】発光制御回路の動作の流れを示す図である。
【図７】物体色成分データを含むファイルのデータ構造を示す図である。
【図８】画像の再生動作の流れを示す図である。
【図９】デジタル撮像システムを示す図である。
【図１０】物体色成分データを含むファイルのデータ構造を示す図である。
【図１１】コンピュータの構成を示すブロック図である。
【図１２】デジタル撮像システムの他の例を示す図である。
【符号の説明】
１ デジタルカメラ
３ デジタル撮像システム
８ メモリカード
２１，３０１ ＣＰＵ
２２，３０２ ＲＯＭ
２３，３０３ ＲＡＭ
３３ コンピュータ
８１，８２ ファイル
９１ 記録媒体
１１２ ＣＣＤ
１２３ カードＩ／Ｆ
２０２ 物体色成分データ生成部
２０３ 照明成分データ生成部
２０５ 合成部
２０６ 変換部
２２１，３４１ プログラム
２３１ 第１画像データ
２３２ 第２画像データ
２３５ 物体色成分データ
２３６ 照明成分データ
２３７ 露出データ
ＳＴ１３〜ＳＴ１５，ＳＴ２２，ＳＴ２３，ＳＴ２５ ステップ
【０００１】
【発明の属する技術分野】本発明は、色順応を考慮しつつ画像の色を変換する技術に関する。
【０００２】
【従来の技術】被写体への照明光が変更された場合、被写体から観測者へと入射する光の分光分布が変化するが、被写体の色が大きく変化したようには感じないという色順応効果が人間の視覚に生じる。そして、このような人間の視覚における色順応を演算式として準備しておき、画像の色を実際に人間が感じとる色へと変換する技術も提案されている。
【０００３】例えば、特開平９−１７８５６１号公報では、人間の色順応を考慮した色へと画像の色を変換する技術が提案されている。上記文献では、視対象の分光反射率を視対象の色に対応する色票から特定し、視対象への照明光と視対象の分光反射率とから人間が実際に感じとると考えられる色が求められる。
【０００４】
【発明が解決しようとする課題】ところで、上記文献では視対象はカラーディスプレイに表現される仮想的な物体であり、視対象の色は操作者により数値として入力される。したがって、この技術は実在する被写体を撮影して得られる画像に適用することはできない。
【０００５】本発明は上記課題に鑑みなされたものであり、実写にて得られる画像を撮影時とは異なる照明環境下の画像へと変換し、さらに、人間の色順応効果を考慮した画像とすることを主たる目的としている。
【０００６】
【課題を解決するための手段】請求項１に記載の発明は、デジタル撮像装置であって、被写体の画像データを取得する撮像手段と、前記被写体への照明環境の影響を取り除いた画像のデータに相当する物体色成分データを求める物体色成分データ生成手段と、照明環境が画像に与える影響を示す照明成分データと前記物体色成分データとを合成して合成済画像データを生成する合成手段と、色順応に基づく色変換を前記合成済画像データに施す変換手段とを備える。
【０００７】請求項２に記載の発明は、請求項１に記載のデジタル撮像装置であって、前記変換手段が、前記被写体の画像データを取得する際の露出に関する撮影条件を用いて前記色順応に基づく色変換を行う。
【０００８】請求項３に記載の発明は、請求項１または２に記載のデジタル撮像装置であって、前記被写体の画像データから前記照明成分データを求める照明成分データ生成手段をさらに備え、前記変換手段が、前記照明成分データから導かれる色度を用いて前記色順応に基づく色変換を行う。
【０００９】請求項４に記載の発明は、デジタル撮像装置であって、被写体の画像データを取得する撮像手段と、前記被写体への照明環境の影響を取り除いた画像のデータに相当する物体色成分データまたは前記物体色成分データを導くことができるデータと、前記被写体の画像データを取得する際の露出に関する撮影条件とを一のファイルとして保存する保存手段とを備える。
【００１０】請求項５に記載の発明は、画像処理をコンピュータに実行させるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、撮影時の照明環境の影響を取り除いた画像のデータに相当する物体色成分データと、照明環境が画像に与える影響を示す照明成分データとを合成して合成済画像データを生成する合成工程と、前記撮影時の露出に関する撮影条件を用いて色順応に基づく色変換を前記合成済画像データに施す変換工程とを実行させる。
【００１１】請求項６に記載の発明は、請求項５に記載のプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、画像データから前記物体色成分データを求める工程をさらに実行させる。
【００１２】請求項７に記載の発明は、請求項６に記載のプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、前記画像データから前記照明成分データを求める工程をさらに実行させ、前記変換工程において、前記照明成分データから導かれる色度を用いて前記色順応に基づく色変換が行われる。
【００１３】請求項８に記載の発明は、画像処理をコンピュータに実行させるプログラムを記録した記録媒体であって、前記プログラムのコンピュータによる実行は、前記コンピュータに、撮影時の照明環境の影響を取り除いた画像のデータに相当する物体色成分データと、照明環境が画像に与える影響を示す照明成分データとを合成して合成済画像データを生成する合成工程と、前記撮影時の露出に関する撮影条件を用いて色順応に基づく色変換を前記合成済画像データに施す変換工程とを実行させる。
【００１４】
【発明の実施の形態】＜１． 第１の実施の形態＞図１は本発明の第１の実施の形態に係るデジタル撮影装置であるデジタルカメラ１の全体を示す斜視図である。デジタルカメラ１は、撮影を行うレンズユニット１１、および、レンズユニット１１にてデジタルデータとして取得された画像を処理する本体部１２とを有する。
【００１５】レンズユニット１１は、複数のレンズを有するレンズ系１１１、および、レンズ系１１１を介して被写体の像を取得するＣＣＤ１１２を有する。そして、ＣＣＤ１１２から出力される画像信号は本体部１２へと送られる。また、レンズユニット１１には、操作者が被写体を捉えるためのファインダ１１３、測距センサ１１４等も配置される。
【００１６】本体部１２には、フラッシュ１２１およびシャッタボタン１２２が設けられ、操作者がファインダ１１３を介して被写体を捉え、シャッタボタン１２２を操作することにより、ＣＣＤ１１２にて電気的に画像が取得される。このとき、必要に応じてフラッシュ１２１が発光する。なお、ＣＣＤ１１２は各画素の値としてＲ，Ｇ，Ｂの各色に関する値を取得する３バンドの撮像デバイスとなっている。
【００１７】ＣＣＤ１１２からの画像信号は本体部１２内部にて後述する処理が行われ、必要に応じて本体部１２に装着されている外部メモリであるメモリカード８に記憶される。メモリカード８は本体部１２下面の蓋を開けて取出ボタン１２４を操作することにより本体部１２から取り出される。記録媒体であるメモリカード８に記憶されたデータは別途設けられたコンピュータ等の他の装置に渡すことができる。逆に、他の装置にてメモリカード８に記憶されたデータをデジタルカメラ１が読み出すことも可能である。
【００１８】図２はデジタルカメラ１を背後から見たときの様子を示す図である。本体部１２の背面の中央には撮影された画像を表示したり、操作者へのメニューを表示する液晶のディスプレイ１２５が設けられ、ディスプレイ１２５の側方にはディスプレイ１２５に表示されるメニューに従って入力操作を行うための操作ボタン１２６が配置される。これにより、デジタルカメラ１の操作、撮影条件の設定、メモリカード８の保守、後述する画像の再生等ができるようにされている。
【００１９】図３は、デジタルカメラ１の主要な構成をブロック等にて示す図である。
【００２０】図３に示す構成のうち、レンズ系１１１、ＣＣＤ１１２、Ａ／Ｄ変換部１１５、シャッタボタン１２２、ＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３は画像を取得する機能を実現する。すなわち、レンズ系１１１により被写体の像がＣＣＤ１１２上に結像され、シャッタボタン１２２が押されると、ＣＣＤ１１２からの画像信号がＡ／Ｄ変換部１１５によりデジタル変換される。Ａ／Ｄ変換部１１５にて変換されたデジタル画像信号は本体部１２のＲＡＭ２３に画像データとして記憶される。なお、これらの処理の制御はＣＰＵ２１がＲＯＭ２２内に記憶されているプログラム２２１に従って動作することにより行われる。
【００２１】また、本体部１２に設けられるＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３が画像を処理する機能を実現する。具体的には、ＲＯＭ２２に記憶されているプログラム２２１に従って、ＲＡＭ２３を作業領域として利用しながらＣＰＵ２１が取得された画像に画像処理を施す。
【００２２】カードＩ／Ｆ（インターフェイス）１２３はＲＡＭ２３と接続され、操作ボタン１２６からの入力操作に基づいてＲＡＭ２３とメモリカード８との間の各種データの受け渡しを行う。また、ディスプレイ１２５もＣＰＵ２１からの信号に基づいて画像の表示や操作者への情報の表示を切り替えながら行う。
【００２３】フラッシュ１２１は発光制御回路１２１ａを介してＣＰＵ２１に接続されており、ＣＰＵ２１からフラッシュ１２１を点灯する旨の指示を受けた場合には、発光制御回路１２１ａがフラッシュ１２１の発光特性が撮影ごとにばらつかないように制御を行う。これにより、フラッシュ１２１からの光の分光分布（分光強度）が一定となるように制御される。
【００２４】図４は、主としてＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３により実現される機能を他の構成とともにブロックにて示す図であり、図４に示す構成のうち、差分画像生成部２０１、物体色成分データ生成部２０２、照明成分データ生成部２０３、露出演算部２０４、合成部２０５および変換部２０６が、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３等により実現される機能である。図５は撮影および画像処理の流れを示す流れ図である。以下、図４および図５を参照しながらデジタルカメラ１の動作について説明する。
【００２５】まず、フラッシュがＯＮの状態にて撮影を行い、フラッシュ光を浴びた被写体の画像（以下、「第１画像」という。）を得る。すなわち、フラッシュ１２１を点灯するとともにＣＣＤ１１２にて画像を取得し、得られた画像（正確には、画像信号）がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、第１画像データ２３１として記憶される（ステップＳＴ１１）。
【００２６】次に、フラッシュがＯＦＦの状態にて撮影を行い、フラッシュ光を有しない照明環境下での被写体の画像（以下、「第２画像」という。）を得る。すなわち、フラッシュを用いることなくＣＣＤ１１２にて画像を取得し、得られた画像がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、第２画像データ２３２として記憶される（ステップＳＴ１２）。
【００２７】これらの２回の撮影は、連写のように迅速に行われる。したがって、第１画像と第２画像との撮影範囲は同一となる。また、２回の撮影はシャッター速度（ＣＣＤ１１２の積分時間）および絞り値（すなわち、露出に関する撮影条件）が同一の条件にて行われる。
【００２８】露出条件は、撮影直前にＣＣＤ１１２にて取得された画像（または、測光センサの出力）に基づいて露出演算部２０４により求められる。具体的には、まず、ＣＣＤ１１２や測光センサの出力に基づいて被写体の明るさを求め、ＣＣＤ１１２の感度特性を考慮して露出値が決定される。その後、デジタルカメラ１内に予め準備されているシャッタースピードと絞り値との関係を示すプログラム線図に従ってシャッタースピードおよび絞り値が自動的に決定される。
【００２９】また、フラッシュ１２１の発光は、フラッシュ光の分光分布が一定となるように発光制御回路１２１ａにより制御される。図６は発光制御回路１２１ａの動作の流れを示す図である。
【００３０】フラッシュＯＮでの撮影の際に、あるいは、撮影に先立って、まず、発光制御回路１２１ａがフラッシュ１２１のフラッシュ電源への充電電圧（すなわち、フラッシュ１２１に与えられる電圧）のモニタを開始する（ステップＳＴ１０１）。そして、充電電圧が所定の電圧（例えば、３３０Ｖ）に達したと確認されると（ステップＳＴ１０２）、フラッシュ電源からフラッシュ１２１へと電力を供給して発光を開始する（ステップＳＴ１０３）。
【００３１】発光の開始と同時に発光制御回路１２１ａは発光時間のモニタを開始する（ステップＳＴ１０４）。その後、発光開始から所定の時間が経過したことが確認されると（ステップＳＴ１０５）、発光が停止される（ステップＳＴ１０６）。
【００３２】このように、フラッシュ１２１の発光は一定の電圧および発光時間となるように制御され、フラッシュ１２１の発光特性が撮影ごとにばらつくことはない。なお、フラッシュ１２１の分光分布も上記発光制御により一定に保たれ、この分光分布は予め計測されてＲＡＭ２３にフラッシュ分光データ２３４として記憶されている。なお、正確にはフラッシュ光の相対的な分光分布（最大の分光強度を１として正規化された分光分布をいい、以下「相対分光分布」という。）がフラッシュ分光データ２３４として用いられる。
【００３３】２回の撮影により、ＲＡＭ２３に第１画像データ２３１および第２画像データ２３２が保存されると、差分画像生成部２０１が第１画像データ２３１から第２画像データ２３２を減算して差分画像データ２３３を求める。これにより、第１画像の各画素のＲ，Ｇ，Ｂの各値から第２画像の対応する画素のＲ，Ｇ，Ｂの各値がそれぞれ減算され、第１画像と第２画像との差分画像が得られる（ステップＳＴ１３）。
【００３４】次に、物体色成分データ生成部２０２により差分画像データ２３３およびフラッシュ分光データ２３４を用いて第２画像から照明環境の影響を取り除いた成分が物体色成分データ２３５として求められ、ＲＡＭ２３に保存される（ステップＳＴ１４）。物体色成分データ２３５は、被写体の分光反射率に実質的に相当するデータである。以下、被写体の分光反射率を求める原理について説明する。
【００３５】まず、被写体を照明する照明光（光源からの直接的な光および間接的な光を含む照明環境における照明光いう。）の分光分布をＥ(λ)とし、この分光分布Ｅ(λ)を３つの基底関数Ｅ1(λ)，Ｅ2(λ)，Ｅ3(λ)および加重係数ε1，ε2，ε3を用いて、
【００３６】
【数１】
【００３７】と表し、同様に、ある画素（以下、「対象画素」という。）に対応する被写体上の位置の分光反射率をＳ(λ)を３つの基底関数Ｓ1(λ)，Ｓ2(λ)，Ｓ3(λ)および加重係数σ1，σ2，σ3を用いて、
【００３８】
【数２】
【００３９】と表すと、ＣＣＤ１１２上の対象画素に入射する光Ｉ(λ)（レンズユニット１１内のフィルタ等を無視した場合の入射光）は、
【００４０】
【数３】
【００４１】と表現される。また、対象画素のＲ，Ｇ，Ｂのいずれかの色（以下、「対象色」という。）に関する値がρcであり、ＣＣＤ１１２の対象色の分光感度をＲc(λ)とすると、値ρcは、
【００４２】
【数４】
【００４３】により導かれる。
【００４４】ここで、フラッシュＯＮの第１画像の対象画素の対象色の値がρc1であり、フラッシュＯＦＦの第２画像の対応する値がρc2である場合、差分画像の対応する値ρsは、
【００４５】
【数５】
【００４６】となる。Ｉ1(λ)はフラッシュＯＮの際の対象画素に入射する光であり、ε11，ε12，ε13はフラッシュ光を含む照明光に関する基底関数の加重係数である。同様に、Ｉ2(λ)はフラッシュＯＦＦの際の対象画素に入射する光であり、ε21，ε22，ε23はフラッシュ光を含まない照明光に関する基底関数の加重係数である。さらに、εsi（ｉ＝１，２，３）は（ε1i−ε2i）である。
【００４７】数５において、基底関数Ｅi(λ)，Ｓj(λ)は予め定められた関数であり、分光感度Ｒc(λ)は予め計測により求めることができる関数である。これらの情報は予めＲＯＭ２２やＲＡＭ２３に記憶される。一方、２回の撮影においてシャッター速度（あるいは、ＣＣＤ１１２の積分時間）および絞り値が同一に制御され、第１画像から第２画像を減算した差分画像は、照明環境の変更のみの影響を受けた画像、すなわち、フラッシュ光のみを照明光源とする画像に相当することから、加重係数εsiは後述する手法によりフラッシュ光の相対分光分布より導くことができる。
【００４８】したがって、数５に示す方程式において未知数は３つの加重係数σ1，σ2，σ3のみである。また、数５に示す方程式は対象画素におけるＲ，Ｇ，Ｂの３つの色のそれぞれに関して求めることができ、これら３つの方程式を解くことにより３つの加重係数σ1，σ2，σ3を求めることができる。すなわち、対象画素に対応する被写体上の位置の分光反射率が得られる。
【００４９】次に、加重係数εsiを求める手法について説明する。既述のように差分画像はフラッシュ光のみを照明光とする画像に相当し、差分画像における照明光の相対分光分布は既知である。一方で、フラッシュから遠い被写体上の領域はフラッシュ１２１に近い領域よりもフラッシュ光を受ける度合いが小さい。したがって、差分画像ではおおよそフラッシュ１２１から遠い位置ほど暗く現れる。
【００５０】そこで、３つの加重係数εs1，εs2，εs3の値の相対関係を一定に保ったまま差分画像中の対象画素の輝度に比例してこれらの加重係数の値を増減する。すなわち、差分画像中の対象画素の輝度が小さい場合には加重係数εs1，εs2，εs3の値は小さな値として決定され、輝度が大きい場合には加重係数εs1，εs2，εs3の値は大きな値として決定される。なお、３つの加重係数εs1，εs2，εs3の相対関係は３つの基底関数Ｅ1(λ)，Ｅ2(λ)，Ｅ3(λ)の加重和がフラッシュ光の分光分布と比例するように予め求められており、輝度と加重係数εsiとの比例関係は予め測定により求められる。
【００５１】加重係数εsiは対象画素に対応する被写体上の位置に照射されるフラッシュ光の分光分布を示す値であり、第１画像および第２画像間におけるフラッシュ１２１による照明光の変更量の分光分布を示す値である。したがって、フラッシュ分光データ２３４より加重係数εsiを求める処理は、フラッシュ光の相対分光分布からフラッシュ１２１による照明環境（照明光）の分光変更量を求める処理に相当する。
【００５２】以上の原理に基づき、デジタルカメラ１の物体色成分データ生成部２０２は差分画像データ２３３の画素値およびフラッシュ分光データ２３４を参照しながら、各画素に対応する被写体上の位置の分光反射率を求める。被写体の分光反射率は、照明環境の影響が取り除かれた画像データに相当し、物体色成分データ２３５としてＲＡＭ２３に記憶される（ステップＳＴ１４）。
【００５３】物体色成分データ２３５が求められると、数３および数４より第２画像の各画素のＲ，Ｇ，Ｂの値に基づいて加重係数ε21，ε22，ε23に関する３つの方程式を求めることができる。照明成分データ生成部２０３では、これらの方程式を解くことにより第２画像における各画素に関する加重係数ε2iが求められる。求められた各画素の加重係数ε2iは第２画像におけるフラッシュ光を含まない照明環境の影響を示す成分となる。
【００５４】ここで、各画素の加重係数ε2iはそのまま照明成分データ２３６とされてもよいが、およそ均一な照明光の照明環境である場合には画素ごとの加重係数ε2iのばらつきは少ない。そこで、加重係数ε21，ε22，ε23のそれぞれについて全画素の平均値を求め、求められた３つの加重係数が照明成分データ２３６とされる（ステップＳＴ１５）。これにより、照明成分データ２３６は画素の位置に依存しない値となり、後述するように他の物体色成分データ２３５と合成することでこの照明環境による雰囲気を他の被写体の画像に取り込むことが可能となる。
【００５５】物体色成分データ２３５および照明成分データ２３６が求められると、これらのデータはデジタルカメラ１の本体に対して着脱自在なメモリカード８へと転送されて保存される（ステップＳＴ１６，ＳＴ１７）。このとき、ＣＰＵ２１の制御の下、カードＩ／Ｆ１２３に露出演算部２０４から露出に関する撮影条件を示す露出データ２３７が入力され、図７に示すように物体色成分データ２３５は露出データ２３７とともに１つのファイル８１として保存される（ステップＳＴ１６）。照明成分データ２３６は物体色成分データ２３５とは別のファイルとして保存され、これらのデータは互いに独立して取り出し可能な状態とされる。
【００５６】デジタルカメラ１では、後述するように物体色成分データ２３５から画像を再生する際に、露出に関する撮影条件を利用して色順応に基づく色変換が行われる。そこで、デジタルカメラ１では、物体色成分データ２３５の取り扱いを容易とするために物体色成分データ２３５と露出データ２３７とを１つのファイル８１に格納する。また、これにより、画像再生処理を外部のコンピュータにて行う際にもファイル８１をコンピュータに転送することで適切な色変換を容易に行うことが可能となる。
【００５７】なお、露出に関する撮影条件としては露出値決定の際に用いられた被写体の明るさが保存されることが好ましいが、撮影時の被写体の明るさを求めることができるデータであれば他の撮影条件が利用されてもよい。例えば、ＣＣＤ１１２の感度と被写体の明るさとから露出値が求めることができるため、ＣＣＤ１１２の感度が既知である場合には、露出値が露出データ２３７として利用されてもよい。露出値に代えてシャッタースピードおよび絞り値が露出データ２３７とされてもよい。また、ＣＣＤ１１２の感度および露出値が露出データ２３７とされてもよい。
【００５８】次に、以上のようにしてメモリカード８に保存された物体色成分データ２３５および照明成分データ２３６を用いて画像を再生する際のデジタルカメラ１の動作について図４および図８を参照しながら説明する。なお、メモリカード８には、物体色成分データ２３５および露出データ２３７を格納する複数のファイル、並びに、照明成分データ２３６を格納する複数のファイルが予め記録されているものとする。メモリカード８内のこれらのファイルは外部のコンピュータから読み出されたものであってもよい。
【００５９】まず、操作者がディスプレイ１２５の表示を見ながら操作ボタン１２６を介して指示を行うことにより、所望の物体色成分データ２３５を格納するファイルを選択する。これにより、再生する画像の対象（すなわち、撮影時の被写体）が決定される。選択された物体色成分データ２３５はカードＩ／Ｆ１２３を介して合成部２０５に読み出される（正確には、ＲＡＭ２３に読み出されて合成部２０５が取り扱い可能とされる。）。
【００６０】さらに、操作者がディスプレイ１２５の表示を見ながら操作ボタン１２６を介して指示を行うことにより、所望の照明成分データ２３６を格納するファイルを選択する。これにより、被写体への照明環境が決定される。選択された照明成分データ２３６はカードＩ／Ｆ１２３を介して合成部２０５に読み出される（ステップＳＴ２１）。
【００６１】既に読み込まれている物体色成分データ２３５の基礎となった画像を再生したい場合には、物体色成分データ２３５が求められた時に求められた照明成分データ２３６が選択され、他の画像が撮影された際の照明環境下での画像として再生したい場合には、他の画像が撮影された際に得られた照明成分データ２３６がＲＡＭ２３に読み込まれる。もちろん、ＣＩＥ規格のＤ６５、蛍光灯等に対応した照明成分データ２３６や仮想的な光源に対応した照明成分データ２３６が準備されていてもよく、操作者が照明成分データ２３６を選択することにより、任意の照明環境が画像に与える影響を再生画像に反映させることが以下の演算処理により実現される。
【００６２】物体色成分データ２３５および照明成分データ２３６が合成部２０５に入力されると、これらのデータを数３および数４の加重係数εi，σjとして用いることによりこれらのデータが合成されて各画素のＲ，Ｇ，Ｂの値ρr，ρg，ρbが合成済画像データとして求められる（ステップＳＴ２２）。
【００６３】合成済画像データは、照明成分データ２３６とともに変換部２０６へと転送され、変換部２０６は、照明成分データ２３６が示す照明環境（照明光）の三刺激値Ｘ0，Ｙ0，Ｚ0を数６に示す演算により求め、数７により照明光の色度ｘ0，ｙ0を得る（ステップＳＴ２３）。
【００６４】
【数６】
【００６５】
【数７】
【００６６】なお、数６においてＲX(λ)，ＲY(λ)，ＲZ(λ)は等色関数、Ｅ(λ)は照明成分データ２３６から数１により導かれる照明光の分光分布、λは可視領域の波長である。
【００６７】変換部２０６にはさらに物体色成分データ２３５とともにメモリカード８に保存されている露出データ２３７がカードＩ／Ｆ１２３を介して入力される（ステップＳＴ２４）。
【００６８】その後、変換部２０６により色度ｘ0，ｙ0および露出データ２３７を用いて合成済画像データに色順応に基づく色の変換が施される（ステップＳＴ２５）。なお、色順応に基づく色変換には、色度の順応のみならず、明暗の順応を反映した変換が含まれてもよい。また、明暗の順応を反映した変換のみでもよい。色順応に基づく色変換を合成済画像データに施して変換済画像データを生成することにより、色順応を考慮した画像をディスプレイ１２５に表示することが実現される。
【００６９】次に、変換部２０６による合成済画像データの色変換について説明する。デジタルカメラ１では、ＣＩＥＣＡＴ９４ＬＡＢによる色順応式が利用される（詳細については、Yoshinobu Nayatani et al., "Proposal of an Abridged Color-Appearance Model CIECAT94LAB and Its Field Trials", COLOR reserch and application, vol. 24, No. 6, Dec. 1999を参照。）。
【００７０】まず、合成済画像の各画素の画素値が行列式を用いてＣＩＥ規格の表色系の三刺激値Ｘ，Ｙ，Ｚに変換され、さらに、数８により各画素の三刺激値Ｘ，Ｙ，Ｚが生理原色系の三刺激値Ｒ，Ｇ，Ｂに変換される。
【００７１】
【数８】
【００７２】次に、数９により変換後の三刺激値ＲR，ＧR，ＢRが求められる。なお、数９の各種パラメータについては後述する。
【００７３】
【数９】
【００７４】最後に、数１０により変換後の三刺激値ＲR，ＧR，ＢRが三刺激値ＸR，ＹR，ＺRに戻され、変換済画像データが生成される（ステップＳＴ２５）。
【００７５】
【数１０】
【００７６】上記変換後の各画素の三刺激値ＸR，ＹR，ＺRがディスプレイ１２５に表示するための値へと変換され、変換後の画像がディスプレイ１２５に表示される（ステップＳＴ２６）。これにより、色順応を考慮した画像が表示される。
【００７７】次に、数９の各種パラメータについて説明する。Ｙ0は被写体中の背景の影響を数９に与えるパラメータであり、ここでは２０（％）に設定される。ｎはノイズの影響を考慮したパラメータであり、０．１または１が与えられる。
【００７８】ξR，ηR，ζRは色順応に基づく色変換の基準となる基準照明（例えば、ＣＩＥ規格のＤ６５、照度１０００ルクス（ｌｘ））の相対色度であり、基準照明の色度ｘR0，ｙR0から数１１により導かれる。
【００７９】
【数１１】
【００８０】＜ξ＞，＜η＞，＜ζ＞は色度に関する順応を考慮した相対色度であり、数１２により照明成分データ２３６が示す照明（以下、「試験照明」という。）の色度ｘ0，ｙ0から相対色度ξ，η，ζを求めておき、試験照明の相対色度ξ，η，ζと基準照明の相対色度ξR，ηR，ζRとから数１３により求められる。
【００８１】
【数１２】
【００８２】
【数１３】
【００８３】なお、数１３中のαは、数１４により求められる。
【００８４】
【数１４】
【００８５】数１４中のＬ0は、被写体の順応輝度であり、単位はカンデラ毎平方メートル（ｃｄ／ｍ2）である。順応輝度Ｌ0の算出には露出データ２３７が利用され、その詳細については後述する。また、数１４では、合成画像の画素値をＬ*ａ*ｂ*表色系へと変換した際の値Ｌ*も利用される。係数Ｄは、被写体が発光しない物体の場合には１．０、被写体自体が発光するディスプレイの場合には０．０、カラースライドのように光が投射されるスクリーンが被写体の場合には０．５が与えられる。
【００８６】実際の合成済画像が表す被写体は、発光物体であるか否かを区別することが困難であることから、係数Ｄは画素ごとに厳密に区別されない。通常は、係数Ｄは１．０とされる。一方、係数Ｄを使用者の好みを反映する係数として利用することも可能である。すなわち、係数Ｄを使用者が指定することにより、順応度合い（換言すれば、照明光の影響の度合い）を変更して好みの色再現を実現することができる。
【００８７】数９中のＲR0，ＧR0，ＢR0は、基準照明下の実効順応応答であり、数１５により求められる。
【００８８】
【数１５】
【００８９】数１５においてＬR0は、基準照明の順応輝度であり、数１６により求められる。
【００９０】
【数１６】
【００９１】数１６において、ＥR0は基準照明の照度（ＥR0＝１０００（ｌｘ））である。
【００９２】数９中のＲ0，Ｇ0，Ｂ0は、試験照明下の実効順応応答であり、被写体の順応輝度Ｌ0（後述）を用いて数１７により求められる。
【００９３】
【数１７】
【００９４】べき指数の関数β1（Ｃ1），β2（Ｃ2）（Ｃ1＝ＲR0，ＧR0，Ｒ0，Ｇ0；Ｃ2＝ＢR0，Ｂ0）は、数１８により示される。
【００９５】
【数１８】
【００９６】さらに、数９中のＫは以上の各種パラメータを用いて数１９により求められる。
【００９７】
【数１９】
【００９８】ただし、デジタルカメラ１の場合、Ｙ0＝２０であるため、Ｋは１となる。
【００９９】次に、露出データ２３７を利用して被写体の順応輝度Ｌ0を算出する手法について説明する。
【０１００】露出データ２３７は、被写体の明るさを示すデータ（または、少なくとも被写体の明るさを導き出すことができるデータ）となっている。具体的には、被写体を観測した際の照度Ｅ0が被写体の明るさとされる。
【０１０１】一般に、輝度とは放射源（被写体）を観測方向から見たときの単位面積当たりの放射強度を表し、光束をΦ、立体角をΩ、光束の断面積をＳ、光束の断面と光束の方向とのなす角をθとして、数２０にて表される。
【０１０２】
【数２０】
【０１０３】一方、照度は単位面積当たりに入射する放射束であり、光束をΦ、入射面積をＡとして、数２１にて表される。
【０１０４】
【数２１】
【０１０５】ここで、デジタルカメラ１にて被写体を撮影する場合、観測方向は被写体と正対する方向とみなすことができるため、θを０°（すなわち、cosθ＝１）とすることができる。また、被写体上の点から出射した光のうち、１画素に入射する光の度合いも一定である（すなわち、立体角Ωを考慮する必要がない。）とみなすことができ、ｋを定数として、数２２が満たされると想定することができる。
【０１０６】
【数２２】
【０１０７】デジタルカメラ１では、予め実測により定数ｋを求めておき、本撮影の前のＣＣＤ１１２の出力や測光センサの出力に基づいて被写体の照度（明るさ）を露出演算部２０４により求めるようになっている。そして、被写体の明るさが露出データ２３７として物体色成分データ２３５とともに１つのファイルとしてメモリカード８に保存される。
【０１０８】数１４および数１７にて用いられる被写体の順応輝度Ｌ0は、露出データ２３７から導かれる被写体の照度Ｅ0を用いて数２３により導かれる。
【０１０９】
【数２３】
【０１１０】以上、デジタルカメラ１の構成および動作について説明してきたが、デジタルカメラ１では、フラッシュＯＮの状態にて撮影された第１画像、フラッシュＯＦＦの状態にて撮影された第２画像、および、フラッシュ光の相対分光分布とから照明環境の影響が取り除かれた画像データに相当する物体色成分データ２３５を求めることができる。すなわち、被写体の分光反射率を示す物体色成分データ２３５を照明環境が変更された２枚の画像から簡単に求めることができる。照明環境の変更はフラッシュ１２１を用いて容易に行われる。
【０１１１】また、デジタルカメラ１では求められた物体色成分データ２３５および第２画像データ２３２から照明成分データ２３６が求められる。したがって、デジタルカメラ１では、物体色成分データ２３５に複数の照明成分データ２３６から選択されたものを適宜合成することにより、所望の照明環境下の所望の撮影対象の画像を再生することができる。
【０１１２】このとき、照明成分データ２３６から照明光の色度を求めつつ色順応に基づいた色変換を行うことにより、より自然な（人間の視覚に合った）画像が再生される。
【０１１３】さらに、デジタルカメラ１では、色順応に基づく色変換の際に露出演算部２０４により求められた露出に関する撮影条件が反映されるため、撮影条件ごとに変化する被写体への照明光の強度を色順応に基づく色変換に反映させることができ、一層適切な色変換が実現される。
【０１１４】なお、デジタルカメラ１としては特殊な機構を有さず、汎用のオンチップフィルタが設けられたＣＣＤを有するデジタルカメラの簡単な仕様変更により物体色成分データ２３５、照明成分データ２３６および変換済画像データを求めることが可能となる。これにより、物体色成分データ２３５等を求める動作を汎用のデジタルカメラ１の特殊モードとして実現することができ、新たな生産コストが生じることはない。
【０１１５】＜２． 第２の実施の形態＞第１の実施の形態では、デジタルカメラ１内部にて物体色成分データ２３５および照明成分データ２３６を求めたり、色順応を考慮した画像再生を行うが、画像の取得以外の処理はコンピュータにより行われてもよい。
【０１１６】図９は本発明の第２の実施の形態に係るデジタル撮像システム３の構成を示す図である。デジタル撮像システム３は、撮影対象の画像を取得するデジタルカメラ３１、および、デジタルカメラ３１にて得られた画像を処理するコンピュータ３３を有する。
【０１１７】デジタルカメラ３１は画像を撮影し、得られた画像データをコンピュータ３３に伝送ケーブルを介して転送する。もちろん、画像データはメモリカード等の記録媒体を介してコンピュータ３３に転送されてもよい。
【０１１８】デジタルカメラ３１は、第１の実施の形態に係るデジタルカメラ１から画像処理に係る機能を取り除いた動作を行う。すなわち、図５中のステップＳＴ１１，ＳＴ１２を実行し、第１画像データ２３１および第２画像データ２３２を取得する。また、露出演算部２０４による露出データ２３７の生成も行う。そして、図１０に示すように、第１画像データ２３１、第２画像データ２３２および露出データ２３７を１つのファイル８２に格納する。このファイル８２がコンピュータ３３に転送され、画像処理が実行される。
【０１１９】図１１はコンピュータ３３の構成を示すブロック図である。コンピュータ３３は、各種演算処理を行うＣＰＵ３０１、基本プログラムを記憶するＲＯＭ３０２および各種情報を記憶するＲＡＭ３０３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク３０４、各種情報の表示を行うディスプレイ３０５、操作者からの入力を受け付けるキーボード３０６ａおよびマウス３０６ｂ、光ディスク、磁気ディスク、光磁気ディスク等の記録媒体９１から情報の読み取りを行う読取装置３０７、並びに、デジタルカメラ３１との間で通信を行う通信部３０８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【０１２０】コンピュータ３３には、事前に読取装置３０７を介して記録媒体９１からプログラム３４１が読み出され、固定ディスク３０４に記憶される。そして、プログラム３４１がＲＡＭ３０３にコピーされるとともにＣＰＵ３０１がＲＡＭ３０３内のプログラム３４１に従って演算処理を実行することによりコンピュータ３３が画像処理装置としての動作を行う。
【０１２１】すなわち、ＣＰＵ３０１およびその周辺構成が図４に示す差分画像生成部２０１、物体色成分データ生成部２０２および照明成分データ生成部２０３として動作することにより第１画像データ２３１および第２画像データ２３２（並びに、フラッシュ分光データ２３４）から物体色成分データ２３５および照明成分データ２３６が生成される。フラッシュ分光データ３４は、予めコンピュータ３３に準備されていてもよく、デジタルカメラ３１から転送されてもよい。
【０１２２】また、画像が再生される際には、ＣＰＵ３０１およびその周辺構成が図４に示す合成部２０５および変換部２０６として動作することによりキーボード３０６ａおよびマウス３０６ｂを介してデータの選択が行われ、任意の照明環境の雰囲気を取り入れつつ色順応を考慮した画像をディスプレイ３０５に表示することが実現される。このとき、物体色成分データ２３５を生成する際に利用された第１画像データ２３１および第２画像データ２３２と同一ファイル内に存在する露出データ２３７が利用される。
【０１２３】以上のように、画像処理はコンピュータ３３により行うことも可能であり、この場合、デジタルカメラ３１における処理の負担が大幅に軽減される。
【０１２４】＜３． 変形例＞以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１２５】上記実施の形態ではフラッシュを用いて取得された第１画像およびフラッシュを用いることなく取得された第２画像を利用して物体色成分データ２３５および照明成分データ２３６を求めるようにしているが、画像データから物体色成分データ２３５および照明成分データ２３６を求める手法として他の手法が用いられてもよい。
【０１２６】例えば、図１２に示すようにモノクロ画像を取得するデジタルカメラ３１ａの前に互いに異なる分光透過特性の複数のフィルタを有する回転式フィルタ３２を配置し、回転式フィルタ３２を回転させながら複数の画像を取得する。そして、複数の画像のデータをコンピュータ３３に転送し、コンピュータ３３にて物体色成分データ２３５および照明成分データ２３６が求められてもよい。具体的演算としては、富永昌治、「色恒常性を実現するカメラ系とアルゴリズム」、信学技報 PRU95-11(1995-05)（７７〜８４頁）に記載された手法が利用可能である。
【０１２７】また、複数のフィルタを切り替える機構をデジタルカメラ内部に設けてもよい。フィルタの切り替え機構を設けずにデジタルカメラに複数（好ましくは４以上）の入力バンドを有する撮像素子（すなわち、複数種類のオンチップフィルタが設けられたＣＣＤ）を設け、これにより複数の波長帯のそれぞれについて画像を取得するようになっていてもよい。
【０１２８】さらに、デジタルカメラ１に照明光を受光するマルチバンドセンサを設けておき、照明光の分光分布を照明成分データ２３６として取得してから物体色成分データ２３５が求められてもよい。
【０１２９】物体色成分データ２３５は被写体の分光反射率を正確に示すデータである必要はなく、ほぼ分光反射率を示すデータであれば足りる。照明成分データ２３６も照明光の分光分布を正確に示すデータとして求められる必要はなく、ほぼ分光分布を示すデータであればよい。
【０１３０】色順応に基づく色変換も既存の様々な手法が利用されてよい。変換後の画像の出力先もディスプレイに限定されるものではなく、プリンタであってもよい。
【０１３１】また、上記実施の形態では、露出に関する撮影条件として被写体の明るさが露出データ２３７として利用されると説明したが、露出に関する撮影条件として他のデータが利用されてもよい。また、被写体の明るさそのものが露出データ２３７とされる必要はなく、既述のように被写体の明るさを導き出すことができるデータであればどのようなデータが露出データ２３７とされてもよい。
【０１３２】第１の実施の形態ではデジタルカメラ１内部にて物体色成分データ２３５および照明成分データ２３６の算出、並びに、画像の再生を行い、第２の実施の形態では、これらの処理をコンピュータ３３にて行うが、これらの処理の分担はデジタルカメラとコンピュータとの間で任意の設定されてよい。第１の実施の形態では図７に示したように物体色成分データ２３５と露出データ２３７とは１つのファイルとして保存されると説明したが、このようなファイルをコンピュータへと転送することにより、コンピュータにて色順応を考慮した画像の再生を容易に行うことができる。
【０１３３】一方、差分画像データ２３３の生成のみをデジタルカメラにて行い、差分画像データ２３３および第２画像データ２３２が露出データ２３７とともに１つのファイルとしてコンピュータ３３に転送されてもよい。すなわち、物体色成分データ２３５または物体色成分データ２３５を導くことができるデータと露出データ２３７とをコンピュータ３３に転送することにより、コンピュータ３３にて様々な照明環境下の画像を色順応を考慮しつつ再生することが可能となる。
【０１３４】また、上記実施の形態では、ＣＰＵがプログラムに従って演算を行うことにより、各種機能が実現されると説明したが、演算処理の全部または一部は専用の電気的回路により実現されてもよい。特に、繰り返し演算を行う箇所をロジック回路にて構築することにより、高速な演算が実現される。
【０１３５】なお、上記実施の形態では、充電電圧および発光時間をモニタすることにより、フラッシュ１２１の発光特性を一定に保つようにしているが、他の方法によりフラッシュ１２１の発光特性が一定に保たれてもよい。例えば、フラッシュ１２１をパルス状に発光することにより、フラッシュの発光特性が一定に保たれてもよい。
【０１３６】充電電圧および発光時間をモニタすることにより、発光後にフラッシュ光の分光特性を求めるようにしてもよい。被写体への照明環境を変更する方法はフラッシュ１２１を用いる手法に限定されるものではない。
【０１３７】また、以上の説明では物体色成分データ２３５として各画素に対応する加重係数σ1，σ2，σ3が保存され、照明成分データ２３６として一組の加重係数ε1，ε2，ε3が保存されると説明したが、これらのデータは被写体の分光反射率の基底関数Ｓ1(λ)，Ｓ2(λ)，Ｓ3(λ)や照明光の分光分布の基底関数Ｅ1(λ)，Ｅ2(λ)，Ｅ3(λ)とともに保存されてもよい。さらに、分光反射率の特性曲線自体が物体色成分データ２３５とされてもよく分光分布の特性曲線自体が照明成分データ２３６とされてもよい。
【０１３８】
【発明の効果】請求項１ないし３の発明では、任意の照明環境の影響を反映しつつ色順応を考慮した画像データを生成することができる。
【０１３９】また、請求項２の発明では、撮影条件を考慮しつつ色順応に基づく色変換を行うことができる。
【０１４０】また、請求項３の発明では、照明環境に応じた色変換を行うことができる。
【０１４１】請求項４の発明では、別途設けられたコンピュータ等を用いて撮影条件を考慮しつつ色順応に基づく色変換を容易に行うことができる。
【０１４２】請求項５ないし８の発明では、撮影条件を考慮しつつ色順応に基づく色変換を行うことができる。
【０１４３】また、請求項６の発明では、画像データから物体色成分データを求めることができる。
【０１４４】また、請求項７の発明では、照明環境に応じた色変換を行うことができる。
【図面の簡単な説明】
【図１】第１の実施の形態に係るデジタルカメラの全体を示す斜視図である。
【図２】デジタルカメラの背面図である。
【図３】デジタルカメラの構成を示すブロック図である。
【図４】デジタルカメラの機能をブロックにて示す図である。
【図５】デジタルカメラの動作の流れを示す図である。
【図６】発光制御回路の動作の流れを示す図である。
【図７】物体色成分データを含むファイルのデータ構造を示す図である。
【図８】画像の再生動作の流れを示す図である。
【図９】デジタル撮像システムを示す図である。
【図１０】物体色成分データを含むファイルのデータ構造を示す図である。
【図１１】コンピュータの構成を示すブロック図である。
【図１２】デジタル撮像システムの他の例を示す図である。
【符号の説明】
１ デジタルカメラ
３ デジタル撮像システム
８ メモリカード
２１，３０１ ＣＰＵ
２２，３０２ ＲＯＭ
２３，３０３ ＲＡＭ
３３ コンピュータ
８１，８２ ファイル
９１ 記録媒体
１１２ ＣＣＤ
１２３ カードＩ／Ｆ
２０２ 物体色成分データ生成部
２０３ 照明成分データ生成部
２０５ 合成部
２０６ 変換部
２２１，３４１ プログラム
２３１ 第１画像データ
２３２ 第２画像データ
２３５ 物体色成分データ
２３６ 照明成分データ
２３７ 露出データ
ＳＴ１３〜ＳＴ１５，ＳＴ２２，ＳＴ２３，ＳＴ２５ ステップ
【特許請求の範囲】
【請求項１】 デジタル撮像装置であって、被写体の画像データを取得する撮像手段と、前記被写体への照明環境の影響を取り除いた画像のデータに相当する物体色成分データを求める物体色成分データ生成手段と、照明環境が画像に与える影響を示す照明成分データと前記物体色成分データとを合成して合成済画像データを生成する合成手段と、色順応に基づく色変換を前記合成済画像データに施す変換手段と、を備えることを特徴とするデジタル撮像装置。
【請求項２】 請求項１に記載のデジタル撮像装置であって、前記変換手段が、前記被写体の画像データを取得する際の露出に関する撮影条件を用いて前記色順応に基づく色変換を行うことを特徴とするデジタル撮像装置。
【請求項３】 請求項１または２に記載のデジタル撮像装置であって、前記被写体の画像データから前記照明成分データを求める照明成分データ生成手段、をさらに備え、前記変換手段が、前記照明成分データから導かれる色度を用いて前記色順応に基づく色変換を行うことを特徴とするデジタル撮像装置。
【請求項４】 デジタル撮像装置であって、被写体の画像データを取得する撮像手段と、前記被写体への照明環境の影響を取り除いた画像のデータに相当する物体色成分データまたは前記物体色成分データを導くことができるデータと、前記被写体の画像データを取得する際の露出に関する撮影条件とを一のファイルとして保存する保存手段と、を備えることを特徴とするデジタル撮像装置。
【請求項５】 画像処理をコンピュータに実行させるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、撮影時の照明環境の影響を取り除いた画像のデータに相当する物体色成分データと、照明環境が画像に与える影響を示す照明成分データとを合成して合成済画像データを生成する合成工程と、前記撮影時の露出に関する撮影条件を用いて色順応に基づく色変換を前記合成済画像データに施す変換工程と、を実行させることを特徴とするプログラム。
【請求項６】 請求項５に記載のプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、画像データから前記物体色成分データを求める工程、をさらに実行させることを特徴とするプログラム。
【請求項７】 請求項６に記載のプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、前記画像データから前記照明成分データを求める工程、をさらに実行させ、前記変換工程において、前記照明成分データから導かれる色度を用いて前記色順応に基づく色変換が行われることを特徴とするプログラム。
【請求項８】 画像処理をコンピュータに実行させるプログラムを記録した記録媒体であって、前記プログラムのコンピュータによる実行は、前記コンピュータに、撮影時の照明環境の影響を取り除いた画像のデータに相当する物体色成分データと、照明環境が画像に与える影響を示す照明成分データとを合成して合成済画像データを生成する合成工程と、前記撮影時の露出に関する撮影条件を用いて色順応に基づく色変換を前記合成済画像データに施す変換工程と、を実行させることを特徴とする記録媒体。
【請求項１】 デジタル撮像装置であって、被写体の画像データを取得する撮像手段と、前記被写体への照明環境の影響を取り除いた画像のデータに相当する物体色成分データを求める物体色成分データ生成手段と、照明環境が画像に与える影響を示す照明成分データと前記物体色成分データとを合成して合成済画像データを生成する合成手段と、色順応に基づく色変換を前記合成済画像データに施す変換手段と、を備えることを特徴とするデジタル撮像装置。
【請求項２】 請求項１に記載のデジタル撮像装置であって、前記変換手段が、前記被写体の画像データを取得する際の露出に関する撮影条件を用いて前記色順応に基づく色変換を行うことを特徴とするデジタル撮像装置。
【請求項３】 請求項１または２に記載のデジタル撮像装置であって、前記被写体の画像データから前記照明成分データを求める照明成分データ生成手段、をさらに備え、前記変換手段が、前記照明成分データから導かれる色度を用いて前記色順応に基づく色変換を行うことを特徴とするデジタル撮像装置。
【請求項４】 デジタル撮像装置であって、被写体の画像データを取得する撮像手段と、前記被写体への照明環境の影響を取り除いた画像のデータに相当する物体色成分データまたは前記物体色成分データを導くことができるデータと、前記被写体の画像データを取得する際の露出に関する撮影条件とを一のファイルとして保存する保存手段と、を備えることを特徴とするデジタル撮像装置。
【請求項５】 画像処理をコンピュータに実行させるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、撮影時の照明環境の影響を取り除いた画像のデータに相当する物体色成分データと、照明環境が画像に与える影響を示す照明成分データとを合成して合成済画像データを生成する合成工程と、前記撮影時の露出に関する撮影条件を用いて色順応に基づく色変換を前記合成済画像データに施す変換工程と、を実行させることを特徴とするプログラム。
【請求項６】 請求項５に記載のプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、画像データから前記物体色成分データを求める工程、をさらに実行させることを特徴とするプログラム。
【請求項７】 請求項６に記載のプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、前記画像データから前記照明成分データを求める工程、をさらに実行させ、前記変換工程において、前記照明成分データから導かれる色度を用いて前記色順応に基づく色変換が行われることを特徴とするプログラム。
【請求項８】 画像処理をコンピュータに実行させるプログラムを記録した記録媒体であって、前記プログラムのコンピュータによる実行は、前記コンピュータに、撮影時の照明環境の影響を取り除いた画像のデータに相当する物体色成分データと、照明環境が画像に与える影響を示す照明成分データとを合成して合成済画像データを生成する合成工程と、前記撮影時の露出に関する撮影条件を用いて色順応に基づく色変換を前記合成済画像データに施す変換工程と、を実行させることを特徴とする記録媒体。
【図１】
【図２】
【図４】
【図７】
【図９】
【図１０】
【図３】
【図５】
【図６】
【図８】
【図１２】
【図１１】
【図２】
【図４】
【図７】
【図９】
【図１０】
【図３】
【図５】
【図６】
【図８】
【図１２】
【図１１】
【公開番号】特開２００２−２３８０５６（Ｐ２００２−２３８０５６Ａ）
【公開日】平成１４年８月２３日（２００２．８．２３）
【国際特許分類】
【出願番号】特願２００１−３２３１５（Ｐ２００１−３２３１５）
【出願日】平成１３年２月８日（２００１．２．８）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
【公開日】平成１４年８月２３日（２００２．８．２３）
【国際特許分類】
【出願日】平成１３年２月８日（２００１．２．８）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
[ Back to top ]