光源推定装置および光源推定方法
【課題】マルチバンド撮影画像から、撮影時の光源の種類を簡易かつ高精度に推定する。
【解決手段】Ｓ５０１でマルチバンド撮影画像の全画素値を色温度空間へ射影し、Ｓ５０２で該射影結果に基づく色温度を推定する。次にＳ５０３で、Ｓ５０２で推定された色温度に基づいて、マルチバンド撮影画像の全画素値を波形空間へ射影する。そしてＳ５０４で、該射影結果に基づく波形を推定する。このように推定された色温度と波形により、マルチバンド撮影時の光源が推定される。
【解決手段】Ｓ５０１でマルチバンド撮影画像の全画素値を色温度空間へ射影し、Ｓ５０２で該射影結果に基づく色温度を推定する。次にＳ５０３で、Ｓ５０２で推定された色温度に基づいて、マルチバンド撮影画像の全画素値を波形空間へ射影する。そしてＳ５０４で、該射影結果に基づく波形を推定する。このように推定された色温度と波形により、マルチバンド撮影時の光源が推定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチバンド撮影画像から、撮影時の光源を推定する光源推定装置および光源推定方法に関する。
【背景技術】
【０００２】
近年のデジタルイメージング技術の発達により、劣化や損傷が進む歴史的文化財や美術品等の映像をデジタル化して保存し、後世に継承することを目的とした、いわゆるデジタルアーカイブの気運が高まりつつある。デジタルアーカイブにおいてデジタル化される文化財の情報とは、主に色情報である。この場合の色情報としては、ＲＧＢやＣＭＹＫのような一般的な画像信号値から、可視波長の各波長での分光反射率のような高精度な色情報まで様々であるが、ここでは、高精度な色情報である分光反射率を取得する場合について説明する。
【０００３】
現在では、被写体の分光反射率を取得するために、分光特性が異なる４種類以上のカラーフィルタを用いたマルチバンド撮影を行うマルチバンドカメラの開発が進んでいる。例えば、６種類以上のカラーフィルタを有するマルチバンドカメラを用いることによって、被写体である文化財の分光反射率を取得する技術が知られている（例えば、特許文献１参照）。
【０００４】
上記のようなマルチバンドカメラ（例えば６バンドカメラ）によってマルチバンド撮影を行った場合、被写体の分光反射率が直接得られるわけではなく、実際に得られるデータは光源の情報を含んだ６次元データＶである。そこで通常では、得られた６次元データＶから、例えば可視波長３８０nm〜７３０nmを１０nm間隔でサンプリングした３６次元の分光反射率Ｒを推定している（例えば、特許文献２参照）。
【０００５】
ここで、分光反射率Ｒの推定方法について簡単に説明する。まず、６次元データＶから、以下の式(1)に基づいて被写体の３６次元の分光放射輝度Ｏを推定する。但し、式(1)においてＬは光源の分光放射輝度を上記の波長域でサンプリングした３６×３６の行列である。式(1)から分かるように、分光放射輝度Ｏは光源の分光放射輝度Ｌを含むデータである。
【０００６】
Ｏ＝ＲＬ ・・・(1)
従って式(2)に示すように、式(1)で推定された分光放射輝度Ｏに対し、光源の分光放射輝度Ｌの逆行列を乗算することによって、分光反射率Ｒを算出することができる。
【０００７】
Ｒ＝ＯＬ-1 ・・・(2)
尚、この手法においては、撮影時の光源の分光放射輝度Ｌを分光測定器を用いて直接取得すれば良い。
【０００８】
また、分光反射率Ｒを推定する他の手法として、撮影で得られる６次元データＶに対し、光源の影響を除去するための変換行列Ｇを乗算することによって、分光反射率Ｒを推定する技術もある。式(3)に示すように、この変換行列Ｇは光源の種類に応じてｉ種類が用意されており、撮影シーンの光源に応じて選択される。
【０００９】
Ｒ＝ＶＧi ・・・(3)
なお、この変換行列Ｇiは、上記特許文献１に記載されたように、分光反射率Ｒが既知である被写体（色票など）を撮影シーンに置いてマルチバンド撮影し、得られた６次元データから光源の影響を除去するように作成する必要がある。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−２７８９５０号公報
【特許文献２】特開２００１−０９９７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述したように、分光反射率Ｒを推定する際に利用される光源特性は、分光放射輝度(Ｌ)、または、変換行列を特定するための光源の種類(ｉ)、である。しかしながら、これらの光源特性を取得するためには、それぞれ以下のような課題がある。
【００１２】
まず、光源特性として分光放射輝度を取得する場合には、ワークフローの課題がある。例えば美術品等の文化財を撮影する際には、照明を当てることにより文化財が劣化してしまうおそれがあるため、長時間の撮影ができない場合がある。このような場合には、被写体に照射されるシーンの光源を測定器により測定する、あるいは、色票を用いて予備の撮影を行うことは避けるべきである。
【００１３】
また、光源特性として光源の種類を取得する場合には、撮影画像から光源の種類を推定する必要があるが、この場合には推定精度の課題がある。例えば光源の色温度を推定する場合には、Ｒ（レッド）とＢ（ブルー）のバランスを調べるために、マルチバンド撮影によって得られた画像の全画素情報をＲＢ空間や色差空間にプロットすることで、色温度を精度良く分類（推定）することができる。しかしながらこの場合、例えば光源として、太陽光、電球光、蛍光灯の分類ができたとしても、蛍光灯の種類（高演色・普通型・三波長等）までも分類することは困難であった。一方、蛍光灯の種類を分類するために、光源の波形を推定する方法が考えられる。しかしながら波形を分類する場合、太陽光と高演色蛍光灯のように分光形状が似ている光源を分類することは、マルチバンド撮影によっても困難であり、やはり波形を高精度に推定すること困難であった。
【００１４】
光源の推定が正しく行われなかった場合、上記式(3)における最適な変換行列Ｇiを取得することはできず、したがって、分光反射率Ｒも正しく推定されないという問題があった。
【００１５】
本発明は上述した問題を解決するためになされたものであり、マルチバンド撮影画像から、撮影時の光源の種類を簡易かつ高精度に推定可能な光源推定装置および光源推定方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するための一手段として、本発明の光源推定装置は以下の構成を備える。
【００１７】
すなわち、互いに異なる分光特性を有する複数のフィルタを用いてマルチバンド撮影を行う撮像手段と、前記マルチバンド撮影によって得られた撮影画像を、その色温度の特徴を表す色温度空間に射影する色温度空間射影手段と、予め用意された複数の色温度情報のうち、前記色温度空間への前記撮影画像の射影結果に対する相関が最も高いものを、前記マルチバンド撮影時における光源の色温度情報として推定する色温度推定手段と、前記色温度推定手段で推定された色温度情報に応じた射影方法によって、前記撮影画像を、その波形の特徴を表す波形空間に射影する波形空間射影手段と、予め用意された複数の波形情報のうち、前記波形空間への前記撮影画像の射影結果に対する相関が最も高いものを、前記マルチバンド撮影時における光源の波形情報として推定する波形推定手段と、を有することを特徴とする。
【発明の効果】
【００１８】
上記構成からなる本発明によれば、マルチバンド撮影画像から、撮影時の光源の種類を簡易かつ高精度に推定することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】第１実施形態におけるマルチバンドカメラの機能構成を示すブロック図、
【図２】カラーフィルタの特性例を示す図、
【図３】信号処理部の構成を示す機能ブロック図、
【図４】光源推定部の構成を示す機能ブロック図、
【図５】光源推定の全体処理を示すフローチャート、
【図６】色温度空間への射影処理を示すフローチャート、
【図７】色温度推定処理を示すフローチャート、
【図８】波形空間への射影処理を示すフローチャート、
【図９】波形推定処理を示すフローチャート、
【図１０】分光反射率推定部の構成を示す機能ブロック図、である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００２１】
＜第１実施形態＞
●装置構成
図１は、本実施形態にかかる撮像装置としてのマルチバンドカメラの機能構成を示すブロック図である。同図において、１００はレンズやシャッターなどにより構成される入光部、１０１は４種類以上のカラーフィルタ、１０２はセンサである。以下、本実施形態では計６種類の、それぞれが異なる分光透過率を持つカラーフィルタ１０１が配置されているものとして説明する。また、１０３はゲイン調整部（ＡＧＣ）、１０４はＡ／Ｄ変換部、１０５は信号処理部、１０６はメディアＩ／Ｆ、１０７はＤ／Ａ変換部、１０８は表示部、である。また、１０９はテレビであり、ケーブル等で接続された装置外部のディスプレイ装置である。１１０はＰＣ・その他のメディアである。また、１１１はＣＰＵであり、各構成の処理全てに関わる。１１２はＲＯＭ、１１３はＲＡＭであり、ＣＰＵ１１１の処理に必要なプログラム、データ、作業領域等を格納する。１１４は操作部であり、ボタンやモードダイヤル等が該当し、これらを介して入力されたユーザ指示を受け取る。
【００２２】
次に、図１に示す構成における撮像動作を説明する。まず、被写体からの光は入光部１００及びカラーフィルタ１０１を介してセンサ１０２へ到達し、光電変換によって電気信号に変換される。センサ１０２で変換された電気信号は、ゲイン調整部１０３で予め設定されたゲイン値によりゲイン調整が行われる。ゲイン調整された電気信号が、Ａ／Ｄ変換部１０４でデジタル信号に変換される。その後、変換されたデジタル信号は信号処理部１０５でデモザイキング、ノイズリダクション等の画像処理が行われ、画像データが生成される。なお、信号処理部１０５の詳細については図３を用いて後述する。
【００２３】
信号処理部１０５によって生成された画像データは、Ｄ／Ａ変換部１０７によって電流に変換され、表示部１０８、もしくはディスプレイ１０９に表示される。また、信号処理部１０５によって生成された画像データは、メディアＩ／Ｆ１０６を介してＰＣ・その他メディア１１０に情報を格納する。
【００２４】
ここで図２に、本実施形態のセンサ１０２に配置されている６種類のカラーフィルタ１０１の分光特性例を示す。同図において、ピーク波長の短い順に、第１のフィルタ２０１、第２のフィルタ２０２、第３のフィルタ２０３、第４のフィルタ２０４、第５のフィルタ２０５、第６のフィルタ２０６、である。
【００２５】
図３に、信号処理部１０５の詳細構成を示す。同図において、３０１はデモザイキング部、３０２はノイズリダクション部、３０３は光源推定部、３０４は分光反射率推定部、３０５は色変換マトリクス部、３０６はガンマ処理部、である。
【００２６】
以下、図３を用いて信号処理部１０５の構成および動作について詳細に説明する。尚、信号処理部１０５における動作は、実際にはＲＡＭ１１３に展開されたプログラムをＣＰＵ１１１が実行することによって実現される。
【００２７】
信号処理部１０５へ入力された画像は、まずデモザイキング部３０１において、値を持たないプレーンに対して画素の補間を行うことでデモザイキング画像へ変換される。該生成されたデモザイキング画像は、ノイズリダクション部３０２でノイズの低減処理（ノイズリダクション処理）が行われた後、本実施形態の特徴的な構成である光源推定部３０３へ入力される。光源推定部３０３では、ノイズリダクション処理が施されたデモザイキング画像に基づいて撮影時の光源の特性を推定するが、その詳細については図４を用いて後述する。
【００２８】
次に分光反射率推定部３０４において、ノイズリダクション処理が施されたデモザイキング画像と、光源推定部３０３で推定された撮影時の光源特性とに基づいて、被写体の分光反射率を推定し、分光画像を生成する。この分光反射率推定処理の詳細については図１０を用いて後述する。
【００２９】
分光反射率推定部３０４で生成された分光画像は、色変換マトリクス部３０５にてマトリクス演算による色変換が施され、その後、ガンマ処理部３０６にて階調変換が施されることによって、画像データとして出力される。
【００３０】
●光源推定処理
図４に、光源推定部３０３の詳細構成を示す。同図において、４０１は色温度空間射影部、４０２は色温度推定部、４０３は波形空間射影部、４０４は波形推定部、である。
【００３１】
以下、図４に示す構成による光源推定処理を、図５〜図９のフローチャートを用いて説明する。尚、これらのフローチャートに示す光源推定処理は、ＣＰＵ１１１がプログラムを実行することによって実施される。
【００３２】
図５は、光源推定処理の全体を示すフローチャートである。まずＳ５０１で色温度空間射影部４０１において、入力画像（デモザイキング画像）の全画素値を、色温度の特徴を表す色温度空間へ射影し、プロットする。この色温度空間への射影処理の詳細については、図６を用いて後述する。
【００３３】
次にＳ５０２で色温度推定部４０２において、Ｓ５０１でプロットされた色温度空間の色温度を、予め用意された複数の色温度のいずれかとして推定する。この色温度推定処理の詳細については、図７を用いて説明する。
【００３４】
次にＳ５０３で波形空間射影部４０３において、Ｓ５０２で推定された色温度に基づき、全画素値を波形の特徴を表す波形空間へ射影し、プロットする。この波形空間への射影処理の詳細については、図８を用いて説明する。
【００３５】
そしてＳ５０４で波形推定部４０４において、Ｓ５０３でプロットされた波形空間の波形を、予め用意された複数の波形のいずれかとして推定する。この波形推定処理の詳細については、図９を用いて説明する。以上のように、Ｓ５０２で推定された色温度とＳ５０４で推定された波形が、マルチバンド撮影時の光源特性として取得され、すなわち光源が推定される。
【００３６】
以下、図５のＳ５０１〜Ｓ５０４の各処理について詳細に説明する。
【００３７】
まず、上記Ｓ５０１における色温度空間への射影処理について、図６のフローチャートを用いて説明する。まずＳ６０１において、ノイズリダクション部３０２で生成されるデモザイキング画像をＲＡＭ１１３に格納する。次にＳ６０２では、ＲＯＭ１１２から、色温度の特徴を表すように作られた重み係数Ｗaと、色温度空間へ射影するための変換マトリクスＭaを取得する。ここで重み係数Ｗaは式(4)に示す６×６の対角行列であり、センサ１０２に配置されたフィルタ特性に応じて、色温度の推定精度を向上させるように設定されている。
【００３８】
【００３９】
式(4)において、ｗa1〜ｗa6は重み係数であり、例えば、第１，第２，第４，第５のフィルタ２０１，２０２，２０４，２０５のみを用いる場合には以下のように設定される。すなわちこの場合、ｗa1＝ｗa2＝ｗa4＝ｗa5＝１とし、ｗa3＝ｗa6＝０とする。もしくは、ＲＧＢ空間やＣＩＥＬ*ｕ*ｖ*空間に変換するように重み係数を設定しても良い。
【００４０】
また、色温度空間へ射影するための変換マトリクスＭaを式(5)に示す。なお、式(5)においてａ11〜ａ66はマトリクスの係数である。
【００４１】
【００４２】
次にＳ６０３では、以下の式(6)に示すマトリクス演算を行うことで、入力画像（デモザイキング画像）を色温度空間へ射影、すなわちプロットする。
【００４３】
Ｓa＝ＭaＷaＶ ・・・(6)
式(6)において、Ｖは以下の式(7)に示すようなデモザイキング画像データであり、Ｓaは色温度空間でのデモザイキング画像データ、である。
【００４４】
【００４５】
式(7)において、Ｖ1は１から画素数ｎまでの値を持つベクトルであり、Ｖ2〜Ｖ6に関しても同様である。
【００４６】
以上の処理により、撮影画像（デモザイキング画像）の色温度空間への射影が行われる。
【００４７】
次に、上記Ｓ５０２における色温度推定処理について、図７のフローチャートを用いて説明する。本実施形態では、色温度を3000Ｋ、4000Ｋ、5000Ｋ、6500Ｋのいずれかに分類するために、上記４種類の色温度についての情報（色温度情報）を、色温度データベースとして予めＲＯＭ１１２に格納している場合を例として説明する。すなわち色温度データベース（以下、色温度ＤＢ）には、それぞれが４つの色温度に対応する４光源の色温度情報が保持されている。
【００４８】
まずＳ７０１において、Ｓ５０１で色温度空間にプロットされた点の最外郭を選び、色域を作成する。そしてＳ７０２において、色温度空間における上記色域の内外判定を行い、内部であれば１、外部であれば０とするマトリクス（以下、内外マトリクスと称する）を作成する。尚、この内外判定は色温度空間の全ての座標に対して行っても良いし、空間を矩形に区切り、対象となる座標を削減した後に内外判定を行っても良い。次にＳ７０３において、Ｓ７０２で作成した内外マトリクスの係数の総和を取ることによって、色域の面積を算出する。
【００４９】
次にＳ７０４において、光源数カウンタｉ、後の処理に必要となる変数maxに０を設定する等、各種パラメータの初期化を行う。そしてＳ７０５では、ＲＯＭ１１２に格納されている色温度ＤＢのｉ番目の光源と撮影画像の光源との相関係数Ｃoriを、以下の式(8)により算出する。なお式(8)において、Ｓiは色温度ＤＢのｉ番目の光源の色域面積、ＳTestは撮影画像の色域面積、ＳcoiはＳiとＳTestの重なった面積、である。
【００５０】
【００５１】
すなわち式(8)によれば、相関係数Ｃoriとして、色温度ＤＢに格納されたｉ番目の色温度情報についての、色温度空間で撮影画像が占める領域との重なり度合いが算出される。
【００５２】
次にＳ７０６では、Ｓ７０５で算出した相関係数Ｃoriの値が変数maxよりも大きいか否かを判定し、変数maxよりも大きければＳ７０７へ進むが、そうでなければＳ７０９へスキップする。
【００５３】
Ｓ７０７では、相関係数Ｃoriの値を変数maxに代入し、次にＳ７０８で、この時点での変数maxおよび光源数カウンタｉの値をＲＡＭ１１３で保持する。
【００５４】
そしてＳ７０９では、色温度ＤＢの全ての光源について、相関係数Ｃoriの算出を行ったか否かを判定し、全ての算出が終了していなければｉに１を加算してＳ７０５に戻るが、終了していればＳ７１０へ進む。
【００５５】
Ｓ７１０では、色温度ＤＢの全ての光源のうち、相関係数Ｃoriが最大となるものが特定され、その光源数カウンタｉがＲＡＭ１１３に保持されている。したがって、ＲＡＭ１１３から光源数カウンタｉを読み込み、該カウンタｉに対応する色温度を、光源の色温度としてＲＡＭ１１３に格納する。
【００５６】
以上のように、色温度ＤＢに予め用意された複数の色温度情報のうち、色温度空間への撮影画像の射影結果に対する相関（色温度空間において互いの占める領域の重なり度合い）が最も高いものが、撮影時光源の色温度情報として選択・推定される。
【００５７】
次に、上記Ｓ５０３における波形空間への射影処理について、図８のフローチャートを用いて説明する。まずＳ８０１において、Ｓ５０２で推定された色温度をＲＡＭ１１３から読み取る。そしてＳ８０２では、Ｓ８０１で読み込んだ色温度ｋによって処理を分岐し、色温度ｋ＝3000ＫであればＳ８０３へ、ｋ＝4000ＫであればＳ８０５へ、ｋ＝5000ＫであればＳ８０７へ、色温度ｋ＝6500ＫであればＳ８０９へ、それぞれ進む。
【００５８】
Ｓ８０３では、色温度ごとに作成された重み係数Ｗkと、波形空間へ射影するための変換マトリクスＭkをＲＯＭ１１２から読み取る。ここで重み係数Ｗkは、色温度が同じである異なる種類の光源について、分光放射輝度の差が大きい波長域を包含するフィルタほど大きい重みを付与するように、予め作成された６×６の対角行列である。重み係数Ｗkおよび変換マトリクスＭkは、以下の式(9)で示される。ただし、添え字のｋは色温度（この場合ｋ＝3000Ｋ）に対応する。
【００５９】
【００６０】
次にＳ８０４では、以下の式(10)に示すマトリクス演算を行うことによって、デモザイキング画像を3000Ｋの波形空間へ射影、すなわちプロットする。ただし、式(10)においてＶはデモザイキング画像データ、Ｓkは色温度空間でのデモザイキング画像データであり、ｋは3000Ｋ，4000Ｋ，5000Ｋ，6500Ｋのいずれかである。
【００６１】
Ｓk＝ＭkＷkＶ ・・・(10)
以上、Ｓ８０３，Ｓ８０４により、ｋ＝3000Ｋである場合の波形空間への射影処理が行われる。同様に、Ｓ８０５，Ｓ８０６でｋ＝4000Ｋ、Ｓ８０７，Ｓ８０８でｋ＝5000Ｋ、Ｓ８０９，Ｓ８１０でｋ＝6500Ｋである場合の波形空間への射影処理がそれぞれ行われる。
【００６２】
以上の処理により、撮影画像（デモザイキング画像）の波形空間への射影が、推定された色温度に応じたパラメータに基づいて行われる。
【００６３】
次に、上記Ｓ５０４における波形推定処理について、図９のフローチャートを用いて説明する。本実施形態における波形は、太陽光、電球光、蛍光灯（高演色・普通型・三波長）のような、特徴的な光源の波形の種類に分類されるものとする。そのために、太陽光、電球光、蛍光灯の波形についての情報（波形情報）を、波形データベースとして予めＲＯＭ１１２に格納している場合を例として説明する。すなわち波形データベース（以下、波形ＤＢ）には、それぞれが異なる波形に対応する、複数光源の波形情報が保持されている。
【００６４】
まずＳ９０１において、Ｓ５０３で波形空間にプロットされた点の最外郭を選び、色域を作成する。そしてＳ９０２において、波形空間における上記色域の内外判定を行い、内部であれば１、外部であれば０とする内外マトリクスを作成する。尚、この内外判定は波形空間の全ての座標に対して行っても良いし、空間を矩形に区切り、対象となる座標を削減した後に内外判定を行っても良い。次にＳ９０３において、Ｓ９０２で作成した内外マトリクスの係数の総和を取ることによって、色域の面積を算出する。
【００６５】
次にＳ９０４において、光源数カウンタｉ、後の処理に必要となる変数maxに０を設定する等、各種パラメータの初期化を行う。そしてＳ９０５では、ＲＯＭ１１２に格納されている波形ＤＢのｉ番目の光源と撮影画像の光源との相関係数Ｃoriを、上記式(8)により算出する。
【００６６】
次にＳ９０６では、Ｓ９０５で算出したＣoriの値が変数maxよりも大きいか否かを判定し、変数maxよりも大きければＳ９０７へ進むが、そうでなければＳ９０９へスキップする。
【００６７】
Ｓ９０７では、Ｃoriの値を変数maxに代入し、次にＳ９０８で変数maxおよび光源数カウンタｉの値をＲＡＭ１１３に格納する。
【００６８】
そしてＳ９０９では、波形ＤＢの全ての光源について、相関係数Ｃoriの算出を行ったか否かを判定し、全ての算出が終了していなければｉに１を加算してＳ９０５に戻るが、終了していればＳ９１０へ進む。
【００６９】
Ｓ９１０では、波形ＤＢの全ての光源のうち、相関係数Ｃoriが最大となるものが特定され、その光源数カウンタｉがＲＡＭ１１３に保持されている。したがって、ＲＡＭ１１３から光源数カウンタｉを読み込み、該カウンタｉに対応する波形を、光源の波形としてＲＡＭ１１３に格納する。
【００７０】
以上のように、波形ＤＢに予め用意された複数の波形情報のうち、波形空間への撮影画像の射影結果に対する相関（波形空間において互いの占める領域の重なり度合い）が最も高いものが、撮影時光源の波形情報として選択・推定される。
【００７１】
以上のように光源推定部３０３によれば、マルチバンド撮影された画像（デモザイキング画像）から、撮影時の光源の色温度および波形タイプを推定し、その結果がＲＡＭ１１３に格納される。これによりすなわち、該推定された色温度および波形タイプに基づき、マルチバンド撮影時の光源が推定される。
【００７２】
●分光反射率推定処理
図１０に、分光反射率推定部３０４の詳細構成を示す。同図において、１００１はデータ取得部、１００２はマトリクス演算部である。以下、図１０に示す構成による分光反射率推定処理について説明するが、この光源推定処理はＣＰＵ１１１がプログラムを実行することによって実施される。
【００７３】
まずデータ取得部１００１では、光源推定部３０３によりＲＡＭ１１３に格納された色温度と波形を読み取る。また、色温度および波形ごとに用意された分光反射率推定行列Ｇj（ｊは光源の種類）をＲＯＭ１１２から読み取る。
【００７４】
次にマトリクス演算部１００２では、以下の式(11)によるマトリクス演算を行うことで、デモザイキング画像Ｖから被写体の分光反射率Ｒefを算出する。なお、式(11)において、Ｖは上記式(7)によって示され、Ｖ1は１から画素数ｎまでの値を持つベクトルであり、Ｖ2〜Ｖ6に関しても同様である。また式(11)において、分光反射率Ｒefは３８０nm〜７３０nmを１０nm間隔でサンプリングした３６次元のデータであるものとし、分光反射率推定行列Ｇjは３６×６の要素を有する行列である。
【００７５】
【００７６】
以上のように分光反射率推定部３０４によれば、撮影画像の光源として推定された色温度および波形に基づいて最適な分光反射率推定行列Ｇjを選択することで、被写体の分光反射率を適切に推定することができる。
【００７７】
以上説明したように本実施形態によれば、測定器等の機材を用いることなく、マルチバンド撮影画像からまず光源の色温度を推定し、該推定した色温度に基づいて光源の波形を推定することによって、高精度な光源推定が容易に可能となる。その結果、被写体の分光反射率を高精度に推定することができる。
【００７８】
＜変形例＞
上記実施形態においては６種類のフィルタを用いる例を示したが、４種類以上のフィルタ数からなるシステムであれば、本発明は適用可能である。これは、主成分分析を用いた検討により、光源推定に適したフィルタを４種類以上用いれば、光源の推定を行うことが可能であることが確認されたためである。
【００７９】
また上記実施形態においては、色温度ＤＢとして、3000Ｋ、4000Ｋ、5000Ｋ、6500Ｋの４種類の色温度情報を格納する例を示した。しかしながら、予め格納される色温度情報はこの数に限らず、例えば7000Ｋや3800Ｋの光源が格納されていても良いし、例えば4000Ｋの光源が格納されていなくても良い。いずれの場合においても、色温度ＤＢに格納されている色温度情報の種類が、色温度推定処理の際の分類候補となる。
【００８０】
また上記実施形態においては、波形ＤＢに太陽光・電球光・蛍光灯の波形情報を格納する場合を例として説明を行ったが、格納される波形情報についてはもちろんこの例に限らない。上記以外（例えばＬＥＤ等）の波形情報をデータベースとして格納しても良いし、例えば電球光の波形情報を格納しなくても良い。いずれの場合においても、波形ＤＢに格納されている波形情報の種類が、波形推定処理の際の分類候補となる。
【００８１】
また上記実施形態においては、データベースに単一光源のデータを格納する例を示したが、単一光源に限らず、複数の光源による混合光源のデータを格納しても良い。
【００８２】
また上記実施形態においては、カラーフィルタが１枚のセンサ上に配置される例を示したが、複数のセンサを備えたマルチバンドカメラにおいて、それぞれのセンサにカラーフィルタが配置されていても良い。その場合、撮影回数はフィルタの枚数と等しく行うことになるが、上記実施形態と同等の効果を得ることが可能である。
【００８３】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、マルチバンド撮影画像から、撮影時の光源を推定する光源推定装置および光源推定方法に関する。
【背景技術】
【０００２】
近年のデジタルイメージング技術の発達により、劣化や損傷が進む歴史的文化財や美術品等の映像をデジタル化して保存し、後世に継承することを目的とした、いわゆるデジタルアーカイブの気運が高まりつつある。デジタルアーカイブにおいてデジタル化される文化財の情報とは、主に色情報である。この場合の色情報としては、ＲＧＢやＣＭＹＫのような一般的な画像信号値から、可視波長の各波長での分光反射率のような高精度な色情報まで様々であるが、ここでは、高精度な色情報である分光反射率を取得する場合について説明する。
【０００３】
現在では、被写体の分光反射率を取得するために、分光特性が異なる４種類以上のカラーフィルタを用いたマルチバンド撮影を行うマルチバンドカメラの開発が進んでいる。例えば、６種類以上のカラーフィルタを有するマルチバンドカメラを用いることによって、被写体である文化財の分光反射率を取得する技術が知られている（例えば、特許文献１参照）。
【０００４】
上記のようなマルチバンドカメラ（例えば６バンドカメラ）によってマルチバンド撮影を行った場合、被写体の分光反射率が直接得られるわけではなく、実際に得られるデータは光源の情報を含んだ６次元データＶである。そこで通常では、得られた６次元データＶから、例えば可視波長３８０nm〜７３０nmを１０nm間隔でサンプリングした３６次元の分光反射率Ｒを推定している（例えば、特許文献２参照）。
【０００５】
ここで、分光反射率Ｒの推定方法について簡単に説明する。まず、６次元データＶから、以下の式(1)に基づいて被写体の３６次元の分光放射輝度Ｏを推定する。但し、式(1)においてＬは光源の分光放射輝度を上記の波長域でサンプリングした３６×３６の行列である。式(1)から分かるように、分光放射輝度Ｏは光源の分光放射輝度Ｌを含むデータである。
【０００６】
Ｏ＝ＲＬ ・・・(1)
従って式(2)に示すように、式(1)で推定された分光放射輝度Ｏに対し、光源の分光放射輝度Ｌの逆行列を乗算することによって、分光反射率Ｒを算出することができる。
【０００７】
Ｒ＝ＯＬ-1 ・・・(2)
尚、この手法においては、撮影時の光源の分光放射輝度Ｌを分光測定器を用いて直接取得すれば良い。
【０００８】
また、分光反射率Ｒを推定する他の手法として、撮影で得られる６次元データＶに対し、光源の影響を除去するための変換行列Ｇを乗算することによって、分光反射率Ｒを推定する技術もある。式(3)に示すように、この変換行列Ｇは光源の種類に応じてｉ種類が用意されており、撮影シーンの光源に応じて選択される。
【０００９】
Ｒ＝ＶＧi ・・・(3)
なお、この変換行列Ｇiは、上記特許文献１に記載されたように、分光反射率Ｒが既知である被写体（色票など）を撮影シーンに置いてマルチバンド撮影し、得られた６次元データから光源の影響を除去するように作成する必要がある。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−２７８９５０号公報
【特許文献２】特開２００１−０９９７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述したように、分光反射率Ｒを推定する際に利用される光源特性は、分光放射輝度(Ｌ)、または、変換行列を特定するための光源の種類(ｉ)、である。しかしながら、これらの光源特性を取得するためには、それぞれ以下のような課題がある。
【００１２】
まず、光源特性として分光放射輝度を取得する場合には、ワークフローの課題がある。例えば美術品等の文化財を撮影する際には、照明を当てることにより文化財が劣化してしまうおそれがあるため、長時間の撮影ができない場合がある。このような場合には、被写体に照射されるシーンの光源を測定器により測定する、あるいは、色票を用いて予備の撮影を行うことは避けるべきである。
【００１３】
また、光源特性として光源の種類を取得する場合には、撮影画像から光源の種類を推定する必要があるが、この場合には推定精度の課題がある。例えば光源の色温度を推定する場合には、Ｒ（レッド）とＢ（ブルー）のバランスを調べるために、マルチバンド撮影によって得られた画像の全画素情報をＲＢ空間や色差空間にプロットすることで、色温度を精度良く分類（推定）することができる。しかしながらこの場合、例えば光源として、太陽光、電球光、蛍光灯の分類ができたとしても、蛍光灯の種類（高演色・普通型・三波長等）までも分類することは困難であった。一方、蛍光灯の種類を分類するために、光源の波形を推定する方法が考えられる。しかしながら波形を分類する場合、太陽光と高演色蛍光灯のように分光形状が似ている光源を分類することは、マルチバンド撮影によっても困難であり、やはり波形を高精度に推定すること困難であった。
【００１４】
光源の推定が正しく行われなかった場合、上記式(3)における最適な変換行列Ｇiを取得することはできず、したがって、分光反射率Ｒも正しく推定されないという問題があった。
【００１５】
本発明は上述した問題を解決するためになされたものであり、マルチバンド撮影画像から、撮影時の光源の種類を簡易かつ高精度に推定可能な光源推定装置および光源推定方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するための一手段として、本発明の光源推定装置は以下の構成を備える。
【００１７】
すなわち、互いに異なる分光特性を有する複数のフィルタを用いてマルチバンド撮影を行う撮像手段と、前記マルチバンド撮影によって得られた撮影画像を、その色温度の特徴を表す色温度空間に射影する色温度空間射影手段と、予め用意された複数の色温度情報のうち、前記色温度空間への前記撮影画像の射影結果に対する相関が最も高いものを、前記マルチバンド撮影時における光源の色温度情報として推定する色温度推定手段と、前記色温度推定手段で推定された色温度情報に応じた射影方法によって、前記撮影画像を、その波形の特徴を表す波形空間に射影する波形空間射影手段と、予め用意された複数の波形情報のうち、前記波形空間への前記撮影画像の射影結果に対する相関が最も高いものを、前記マルチバンド撮影時における光源の波形情報として推定する波形推定手段と、を有することを特徴とする。
【発明の効果】
【００１８】
上記構成からなる本発明によれば、マルチバンド撮影画像から、撮影時の光源の種類を簡易かつ高精度に推定することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】第１実施形態におけるマルチバンドカメラの機能構成を示すブロック図、
【図２】カラーフィルタの特性例を示す図、
【図３】信号処理部の構成を示す機能ブロック図、
【図４】光源推定部の構成を示す機能ブロック図、
【図５】光源推定の全体処理を示すフローチャート、
【図６】色温度空間への射影処理を示すフローチャート、
【図７】色温度推定処理を示すフローチャート、
【図８】波形空間への射影処理を示すフローチャート、
【図９】波形推定処理を示すフローチャート、
【図１０】分光反射率推定部の構成を示す機能ブロック図、である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００２１】
＜第１実施形態＞
●装置構成
図１は、本実施形態にかかる撮像装置としてのマルチバンドカメラの機能構成を示すブロック図である。同図において、１００はレンズやシャッターなどにより構成される入光部、１０１は４種類以上のカラーフィルタ、１０２はセンサである。以下、本実施形態では計６種類の、それぞれが異なる分光透過率を持つカラーフィルタ１０１が配置されているものとして説明する。また、１０３はゲイン調整部（ＡＧＣ）、１０４はＡ／Ｄ変換部、１０５は信号処理部、１０６はメディアＩ／Ｆ、１０７はＤ／Ａ変換部、１０８は表示部、である。また、１０９はテレビであり、ケーブル等で接続された装置外部のディスプレイ装置である。１１０はＰＣ・その他のメディアである。また、１１１はＣＰＵであり、各構成の処理全てに関わる。１１２はＲＯＭ、１１３はＲＡＭであり、ＣＰＵ１１１の処理に必要なプログラム、データ、作業領域等を格納する。１１４は操作部であり、ボタンやモードダイヤル等が該当し、これらを介して入力されたユーザ指示を受け取る。
【００２２】
次に、図１に示す構成における撮像動作を説明する。まず、被写体からの光は入光部１００及びカラーフィルタ１０１を介してセンサ１０２へ到達し、光電変換によって電気信号に変換される。センサ１０２で変換された電気信号は、ゲイン調整部１０３で予め設定されたゲイン値によりゲイン調整が行われる。ゲイン調整された電気信号が、Ａ／Ｄ変換部１０４でデジタル信号に変換される。その後、変換されたデジタル信号は信号処理部１０５でデモザイキング、ノイズリダクション等の画像処理が行われ、画像データが生成される。なお、信号処理部１０５の詳細については図３を用いて後述する。
【００２３】
信号処理部１０５によって生成された画像データは、Ｄ／Ａ変換部１０７によって電流に変換され、表示部１０８、もしくはディスプレイ１０９に表示される。また、信号処理部１０５によって生成された画像データは、メディアＩ／Ｆ１０６を介してＰＣ・その他メディア１１０に情報を格納する。
【００２４】
ここで図２に、本実施形態のセンサ１０２に配置されている６種類のカラーフィルタ１０１の分光特性例を示す。同図において、ピーク波長の短い順に、第１のフィルタ２０１、第２のフィルタ２０２、第３のフィルタ２０３、第４のフィルタ２０４、第５のフィルタ２０５、第６のフィルタ２０６、である。
【００２５】
図３に、信号処理部１０５の詳細構成を示す。同図において、３０１はデモザイキング部、３０２はノイズリダクション部、３０３は光源推定部、３０４は分光反射率推定部、３０５は色変換マトリクス部、３０６はガンマ処理部、である。
【００２６】
以下、図３を用いて信号処理部１０５の構成および動作について詳細に説明する。尚、信号処理部１０５における動作は、実際にはＲＡＭ１１３に展開されたプログラムをＣＰＵ１１１が実行することによって実現される。
【００２７】
信号処理部１０５へ入力された画像は、まずデモザイキング部３０１において、値を持たないプレーンに対して画素の補間を行うことでデモザイキング画像へ変換される。該生成されたデモザイキング画像は、ノイズリダクション部３０２でノイズの低減処理（ノイズリダクション処理）が行われた後、本実施形態の特徴的な構成である光源推定部３０３へ入力される。光源推定部３０３では、ノイズリダクション処理が施されたデモザイキング画像に基づいて撮影時の光源の特性を推定するが、その詳細については図４を用いて後述する。
【００２８】
次に分光反射率推定部３０４において、ノイズリダクション処理が施されたデモザイキング画像と、光源推定部３０３で推定された撮影時の光源特性とに基づいて、被写体の分光反射率を推定し、分光画像を生成する。この分光反射率推定処理の詳細については図１０を用いて後述する。
【００２９】
分光反射率推定部３０４で生成された分光画像は、色変換マトリクス部３０５にてマトリクス演算による色変換が施され、その後、ガンマ処理部３０６にて階調変換が施されることによって、画像データとして出力される。
【００３０】
●光源推定処理
図４に、光源推定部３０３の詳細構成を示す。同図において、４０１は色温度空間射影部、４０２は色温度推定部、４０３は波形空間射影部、４０４は波形推定部、である。
【００３１】
以下、図４に示す構成による光源推定処理を、図５〜図９のフローチャートを用いて説明する。尚、これらのフローチャートに示す光源推定処理は、ＣＰＵ１１１がプログラムを実行することによって実施される。
【００３２】
図５は、光源推定処理の全体を示すフローチャートである。まずＳ５０１で色温度空間射影部４０１において、入力画像（デモザイキング画像）の全画素値を、色温度の特徴を表す色温度空間へ射影し、プロットする。この色温度空間への射影処理の詳細については、図６を用いて後述する。
【００３３】
次にＳ５０２で色温度推定部４０２において、Ｓ５０１でプロットされた色温度空間の色温度を、予め用意された複数の色温度のいずれかとして推定する。この色温度推定処理の詳細については、図７を用いて説明する。
【００３４】
次にＳ５０３で波形空間射影部４０３において、Ｓ５０２で推定された色温度に基づき、全画素値を波形の特徴を表す波形空間へ射影し、プロットする。この波形空間への射影処理の詳細については、図８を用いて説明する。
【００３５】
そしてＳ５０４で波形推定部４０４において、Ｓ５０３でプロットされた波形空間の波形を、予め用意された複数の波形のいずれかとして推定する。この波形推定処理の詳細については、図９を用いて説明する。以上のように、Ｓ５０２で推定された色温度とＳ５０４で推定された波形が、マルチバンド撮影時の光源特性として取得され、すなわち光源が推定される。
【００３６】
以下、図５のＳ５０１〜Ｓ５０４の各処理について詳細に説明する。
【００３７】
まず、上記Ｓ５０１における色温度空間への射影処理について、図６のフローチャートを用いて説明する。まずＳ６０１において、ノイズリダクション部３０２で生成されるデモザイキング画像をＲＡＭ１１３に格納する。次にＳ６０２では、ＲＯＭ１１２から、色温度の特徴を表すように作られた重み係数Ｗaと、色温度空間へ射影するための変換マトリクスＭaを取得する。ここで重み係数Ｗaは式(4)に示す６×６の対角行列であり、センサ１０２に配置されたフィルタ特性に応じて、色温度の推定精度を向上させるように設定されている。
【００３８】
【００３９】
式(4)において、ｗa1〜ｗa6は重み係数であり、例えば、第１，第２，第４，第５のフィルタ２０１，２０２，２０４，２０５のみを用いる場合には以下のように設定される。すなわちこの場合、ｗa1＝ｗa2＝ｗa4＝ｗa5＝１とし、ｗa3＝ｗa6＝０とする。もしくは、ＲＧＢ空間やＣＩＥＬ*ｕ*ｖ*空間に変換するように重み係数を設定しても良い。
【００４０】
また、色温度空間へ射影するための変換マトリクスＭaを式(5)に示す。なお、式(5)においてａ11〜ａ66はマトリクスの係数である。
【００４１】
【００４２】
次にＳ６０３では、以下の式(6)に示すマトリクス演算を行うことで、入力画像（デモザイキング画像）を色温度空間へ射影、すなわちプロットする。
【００４３】
Ｓa＝ＭaＷaＶ ・・・(6)
式(6)において、Ｖは以下の式(7)に示すようなデモザイキング画像データであり、Ｓaは色温度空間でのデモザイキング画像データ、である。
【００４４】
【００４５】
式(7)において、Ｖ1は１から画素数ｎまでの値を持つベクトルであり、Ｖ2〜Ｖ6に関しても同様である。
【００４６】
以上の処理により、撮影画像（デモザイキング画像）の色温度空間への射影が行われる。
【００４７】
次に、上記Ｓ５０２における色温度推定処理について、図７のフローチャートを用いて説明する。本実施形態では、色温度を3000Ｋ、4000Ｋ、5000Ｋ、6500Ｋのいずれかに分類するために、上記４種類の色温度についての情報（色温度情報）を、色温度データベースとして予めＲＯＭ１１２に格納している場合を例として説明する。すなわち色温度データベース（以下、色温度ＤＢ）には、それぞれが４つの色温度に対応する４光源の色温度情報が保持されている。
【００４８】
まずＳ７０１において、Ｓ５０１で色温度空間にプロットされた点の最外郭を選び、色域を作成する。そしてＳ７０２において、色温度空間における上記色域の内外判定を行い、内部であれば１、外部であれば０とするマトリクス（以下、内外マトリクスと称する）を作成する。尚、この内外判定は色温度空間の全ての座標に対して行っても良いし、空間を矩形に区切り、対象となる座標を削減した後に内外判定を行っても良い。次にＳ７０３において、Ｓ７０２で作成した内外マトリクスの係数の総和を取ることによって、色域の面積を算出する。
【００４９】
次にＳ７０４において、光源数カウンタｉ、後の処理に必要となる変数maxに０を設定する等、各種パラメータの初期化を行う。そしてＳ７０５では、ＲＯＭ１１２に格納されている色温度ＤＢのｉ番目の光源と撮影画像の光源との相関係数Ｃoriを、以下の式(8)により算出する。なお式(8)において、Ｓiは色温度ＤＢのｉ番目の光源の色域面積、ＳTestは撮影画像の色域面積、ＳcoiはＳiとＳTestの重なった面積、である。
【００５０】
【００５１】
すなわち式(8)によれば、相関係数Ｃoriとして、色温度ＤＢに格納されたｉ番目の色温度情報についての、色温度空間で撮影画像が占める領域との重なり度合いが算出される。
【００５２】
次にＳ７０６では、Ｓ７０５で算出した相関係数Ｃoriの値が変数maxよりも大きいか否かを判定し、変数maxよりも大きければＳ７０７へ進むが、そうでなければＳ７０９へスキップする。
【００５３】
Ｓ７０７では、相関係数Ｃoriの値を変数maxに代入し、次にＳ７０８で、この時点での変数maxおよび光源数カウンタｉの値をＲＡＭ１１３で保持する。
【００５４】
そしてＳ７０９では、色温度ＤＢの全ての光源について、相関係数Ｃoriの算出を行ったか否かを判定し、全ての算出が終了していなければｉに１を加算してＳ７０５に戻るが、終了していればＳ７１０へ進む。
【００５５】
Ｓ７１０では、色温度ＤＢの全ての光源のうち、相関係数Ｃoriが最大となるものが特定され、その光源数カウンタｉがＲＡＭ１１３に保持されている。したがって、ＲＡＭ１１３から光源数カウンタｉを読み込み、該カウンタｉに対応する色温度を、光源の色温度としてＲＡＭ１１３に格納する。
【００５６】
以上のように、色温度ＤＢに予め用意された複数の色温度情報のうち、色温度空間への撮影画像の射影結果に対する相関（色温度空間において互いの占める領域の重なり度合い）が最も高いものが、撮影時光源の色温度情報として選択・推定される。
【００５７】
次に、上記Ｓ５０３における波形空間への射影処理について、図８のフローチャートを用いて説明する。まずＳ８０１において、Ｓ５０２で推定された色温度をＲＡＭ１１３から読み取る。そしてＳ８０２では、Ｓ８０１で読み込んだ色温度ｋによって処理を分岐し、色温度ｋ＝3000ＫであればＳ８０３へ、ｋ＝4000ＫであればＳ８０５へ、ｋ＝5000ＫであればＳ８０７へ、色温度ｋ＝6500ＫであればＳ８０９へ、それぞれ進む。
【００５８】
Ｓ８０３では、色温度ごとに作成された重み係数Ｗkと、波形空間へ射影するための変換マトリクスＭkをＲＯＭ１１２から読み取る。ここで重み係数Ｗkは、色温度が同じである異なる種類の光源について、分光放射輝度の差が大きい波長域を包含するフィルタほど大きい重みを付与するように、予め作成された６×６の対角行列である。重み係数Ｗkおよび変換マトリクスＭkは、以下の式(9)で示される。ただし、添え字のｋは色温度（この場合ｋ＝3000Ｋ）に対応する。
【００５９】
【００６０】
次にＳ８０４では、以下の式(10)に示すマトリクス演算を行うことによって、デモザイキング画像を3000Ｋの波形空間へ射影、すなわちプロットする。ただし、式(10)においてＶはデモザイキング画像データ、Ｓkは色温度空間でのデモザイキング画像データであり、ｋは3000Ｋ，4000Ｋ，5000Ｋ，6500Ｋのいずれかである。
【００６１】
Ｓk＝ＭkＷkＶ ・・・(10)
以上、Ｓ８０３，Ｓ８０４により、ｋ＝3000Ｋである場合の波形空間への射影処理が行われる。同様に、Ｓ８０５，Ｓ８０６でｋ＝4000Ｋ、Ｓ８０７，Ｓ８０８でｋ＝5000Ｋ、Ｓ８０９，Ｓ８１０でｋ＝6500Ｋである場合の波形空間への射影処理がそれぞれ行われる。
【００６２】
以上の処理により、撮影画像（デモザイキング画像）の波形空間への射影が、推定された色温度に応じたパラメータに基づいて行われる。
【００６３】
次に、上記Ｓ５０４における波形推定処理について、図９のフローチャートを用いて説明する。本実施形態における波形は、太陽光、電球光、蛍光灯（高演色・普通型・三波長）のような、特徴的な光源の波形の種類に分類されるものとする。そのために、太陽光、電球光、蛍光灯の波形についての情報（波形情報）を、波形データベースとして予めＲＯＭ１１２に格納している場合を例として説明する。すなわち波形データベース（以下、波形ＤＢ）には、それぞれが異なる波形に対応する、複数光源の波形情報が保持されている。
【００６４】
まずＳ９０１において、Ｓ５０３で波形空間にプロットされた点の最外郭を選び、色域を作成する。そしてＳ９０２において、波形空間における上記色域の内外判定を行い、内部であれば１、外部であれば０とする内外マトリクスを作成する。尚、この内外判定は波形空間の全ての座標に対して行っても良いし、空間を矩形に区切り、対象となる座標を削減した後に内外判定を行っても良い。次にＳ９０３において、Ｓ９０２で作成した内外マトリクスの係数の総和を取ることによって、色域の面積を算出する。
【００６５】
次にＳ９０４において、光源数カウンタｉ、後の処理に必要となる変数maxに０を設定する等、各種パラメータの初期化を行う。そしてＳ９０５では、ＲＯＭ１１２に格納されている波形ＤＢのｉ番目の光源と撮影画像の光源との相関係数Ｃoriを、上記式(8)により算出する。
【００６６】
次にＳ９０６では、Ｓ９０５で算出したＣoriの値が変数maxよりも大きいか否かを判定し、変数maxよりも大きければＳ９０７へ進むが、そうでなければＳ９０９へスキップする。
【００６７】
Ｓ９０７では、Ｃoriの値を変数maxに代入し、次にＳ９０８で変数maxおよび光源数カウンタｉの値をＲＡＭ１１３に格納する。
【００６８】
そしてＳ９０９では、波形ＤＢの全ての光源について、相関係数Ｃoriの算出を行ったか否かを判定し、全ての算出が終了していなければｉに１を加算してＳ９０５に戻るが、終了していればＳ９１０へ進む。
【００６９】
Ｓ９１０では、波形ＤＢの全ての光源のうち、相関係数Ｃoriが最大となるものが特定され、その光源数カウンタｉがＲＡＭ１１３に保持されている。したがって、ＲＡＭ１１３から光源数カウンタｉを読み込み、該カウンタｉに対応する波形を、光源の波形としてＲＡＭ１１３に格納する。
【００７０】
以上のように、波形ＤＢに予め用意された複数の波形情報のうち、波形空間への撮影画像の射影結果に対する相関（波形空間において互いの占める領域の重なり度合い）が最も高いものが、撮影時光源の波形情報として選択・推定される。
【００７１】
以上のように光源推定部３０３によれば、マルチバンド撮影された画像（デモザイキング画像）から、撮影時の光源の色温度および波形タイプを推定し、その結果がＲＡＭ１１３に格納される。これによりすなわち、該推定された色温度および波形タイプに基づき、マルチバンド撮影時の光源が推定される。
【００７２】
●分光反射率推定処理
図１０に、分光反射率推定部３０４の詳細構成を示す。同図において、１００１はデータ取得部、１００２はマトリクス演算部である。以下、図１０に示す構成による分光反射率推定処理について説明するが、この光源推定処理はＣＰＵ１１１がプログラムを実行することによって実施される。
【００７３】
まずデータ取得部１００１では、光源推定部３０３によりＲＡＭ１１３に格納された色温度と波形を読み取る。また、色温度および波形ごとに用意された分光反射率推定行列Ｇj（ｊは光源の種類）をＲＯＭ１１２から読み取る。
【００７４】
次にマトリクス演算部１００２では、以下の式(11)によるマトリクス演算を行うことで、デモザイキング画像Ｖから被写体の分光反射率Ｒefを算出する。なお、式(11)において、Ｖは上記式(7)によって示され、Ｖ1は１から画素数ｎまでの値を持つベクトルであり、Ｖ2〜Ｖ6に関しても同様である。また式(11)において、分光反射率Ｒefは３８０nm〜７３０nmを１０nm間隔でサンプリングした３６次元のデータであるものとし、分光反射率推定行列Ｇjは３６×６の要素を有する行列である。
【００７５】
【００７６】
以上のように分光反射率推定部３０４によれば、撮影画像の光源として推定された色温度および波形に基づいて最適な分光反射率推定行列Ｇjを選択することで、被写体の分光反射率を適切に推定することができる。
【００７７】
以上説明したように本実施形態によれば、測定器等の機材を用いることなく、マルチバンド撮影画像からまず光源の色温度を推定し、該推定した色温度に基づいて光源の波形を推定することによって、高精度な光源推定が容易に可能となる。その結果、被写体の分光反射率を高精度に推定することができる。
【００７８】
＜変形例＞
上記実施形態においては６種類のフィルタを用いる例を示したが、４種類以上のフィルタ数からなるシステムであれば、本発明は適用可能である。これは、主成分分析を用いた検討により、光源推定に適したフィルタを４種類以上用いれば、光源の推定を行うことが可能であることが確認されたためである。
【００７９】
また上記実施形態においては、色温度ＤＢとして、3000Ｋ、4000Ｋ、5000Ｋ、6500Ｋの４種類の色温度情報を格納する例を示した。しかしながら、予め格納される色温度情報はこの数に限らず、例えば7000Ｋや3800Ｋの光源が格納されていても良いし、例えば4000Ｋの光源が格納されていなくても良い。いずれの場合においても、色温度ＤＢに格納されている色温度情報の種類が、色温度推定処理の際の分類候補となる。
【００８０】
また上記実施形態においては、波形ＤＢに太陽光・電球光・蛍光灯の波形情報を格納する場合を例として説明を行ったが、格納される波形情報についてはもちろんこの例に限らない。上記以外（例えばＬＥＤ等）の波形情報をデータベースとして格納しても良いし、例えば電球光の波形情報を格納しなくても良い。いずれの場合においても、波形ＤＢに格納されている波形情報の種類が、波形推定処理の際の分類候補となる。
【００８１】
また上記実施形態においては、データベースに単一光源のデータを格納する例を示したが、単一光源に限らず、複数の光源による混合光源のデータを格納しても良い。
【００８２】
また上記実施形態においては、カラーフィルタが１枚のセンサ上に配置される例を示したが、複数のセンサを備えたマルチバンドカメラにおいて、それぞれのセンサにカラーフィルタが配置されていても良い。その場合、撮影回数はフィルタの枚数と等しく行うことになるが、上記実施形態と同等の効果を得ることが可能である。
【００８３】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
互いに異なる分光特性を有する複数のフィルタを用いてマルチバンド撮影を行う撮像手段と、
前記マルチバンド撮影によって得られた撮影画像を、その色温度の特徴を表す色温度空間に射影する色温度空間射影手段と、
予め用意された複数の色温度情報のうち、前記色温度空間への前記撮影画像の射影結果に対する相関が最も高いものを、前記マルチバンド撮影時における光源の色温度情報として推定する色温度推定手段と、
前記色温度推定手段で推定された色温度情報に応じた射影方法によって、前記撮影画像を、その波形の特徴を表す波形空間に射影する波形空間射影手段と、
予め用意された複数の波形情報のうち、前記波形空間への前記撮影画像の射影結果に対する相関が最も高いものを、前記マルチバンド撮影時における光源の波形情報として推定する波形推定手段と、
を有することを特徴とする光源推定装置。
【請求項２】
前記色温度推定手段は、前記予め用意された複数の色温度情報のうち、前記色温度空間において前記撮影画像の占める領域との重なり度合いが最も大きい色温度情報を、前記マルチバンド撮影時における光源の色温度として推定することを特徴とする請求項１に記載の光源推定装置。
【請求項３】
前記波形推定手段は、前記予め用意された複数の波形情報のうち、前記波形空間において前記撮影画像の占める領域との重なり度合いが最も大きい波形情報を、前記マルチバンド撮影時における光源の波形として推定することを特徴とする請求項１または２に記載の光源推定装置。
【請求項４】
前記波形空間射影手段は、前記撮影画像における各バンドごとに重みを付与して前記波形空間への射影を行い、
前記各バンドのうち、色温度が同じであり、かつ異なる種類の光源について分光放射輝度の差が大きいバンドほど、前記重みが大きいことを特徴とする請求項１乃至３のいずれか１項に記載の光源推定装置。
【請求項５】
前記色温度空間射影手段および前記波形空間射影手段はそれぞれ、前記複数のフィルタの特性に応じて生成された変換マトリクスを用いた射影を行うことを特徴とする請求項１乃至４のいずれか１項に記載の光源推定装置。
【請求項６】
前記波形空間射影手段は、前記色温度推定手段で推定された色温度情報に応じて前記変換マトリクスを選択することを特徴とする請求項５に記載の光源推定装置。
【請求項７】
さらに、前記色温度推定手段で推定された色温度及び前記波形推定手段で推定された波形に応じた推定行列を用いて、前記マルチバンド撮影された被写体の分光反射率を推定する分光反射率推定手段、を有することを特徴とする請求項１乃至６のいずれか１項に記載の光源推定装置。
【請求項８】
前記撮像手段は、互いに異なる分光特性を有する少なくとも４種類のフィルタを用いてマルチバンド撮影を行うことを特徴とする請求項１乃至７のいずれか１項に記載の光源推定装置。
【請求項９】
互いに異なる分光特性を有する複数のフィルタを用いたマルチバンド撮影によって得られた撮影画像を、その色温度の特徴を表す色温度空間に射影する色温度空間射影ステップと、
予め用意された複数の色温度情報のうち、前記色温度空間への前記撮影画像の射影結果に対する相関が最も高いものを、前記マルチバンド撮影時における光源の色温度情報として推定する色温度推定ステップと、
前記色温度推定ステップにおいて推定された色温度情報に応じた射影方法によって、前記撮影画像を、その波形の特徴を表す波形空間に射影する波形空間射影ステップと、
予め用意された複数の波形情報のうち、前記波形空間への前記撮影画像の射影結果に対する相関が最も高いものを、前記マルチバンド撮影時における光源の波形情報として推定する波形推定ステップと、
を有することを特徴とする光源推定方法。
【請求項１０】
コンピュータに、請求項９に記載の光源推定方法における各ステップを実行させるためのプログラム。
【請求項１】
互いに異なる分光特性を有する複数のフィルタを用いてマルチバンド撮影を行う撮像手段と、
前記マルチバンド撮影によって得られた撮影画像を、その色温度の特徴を表す色温度空間に射影する色温度空間射影手段と、
予め用意された複数の色温度情報のうち、前記色温度空間への前記撮影画像の射影結果に対する相関が最も高いものを、前記マルチバンド撮影時における光源の色温度情報として推定する色温度推定手段と、
前記色温度推定手段で推定された色温度情報に応じた射影方法によって、前記撮影画像を、その波形の特徴を表す波形空間に射影する波形空間射影手段と、
予め用意された複数の波形情報のうち、前記波形空間への前記撮影画像の射影結果に対する相関が最も高いものを、前記マルチバンド撮影時における光源の波形情報として推定する波形推定手段と、
を有することを特徴とする光源推定装置。
【請求項２】
前記色温度推定手段は、前記予め用意された複数の色温度情報のうち、前記色温度空間において前記撮影画像の占める領域との重なり度合いが最も大きい色温度情報を、前記マルチバンド撮影時における光源の色温度として推定することを特徴とする請求項１に記載の光源推定装置。
【請求項３】
前記波形推定手段は、前記予め用意された複数の波形情報のうち、前記波形空間において前記撮影画像の占める領域との重なり度合いが最も大きい波形情報を、前記マルチバンド撮影時における光源の波形として推定することを特徴とする請求項１または２に記載の光源推定装置。
【請求項４】
前記波形空間射影手段は、前記撮影画像における各バンドごとに重みを付与して前記波形空間への射影を行い、
前記各バンドのうち、色温度が同じであり、かつ異なる種類の光源について分光放射輝度の差が大きいバンドほど、前記重みが大きいことを特徴とする請求項１乃至３のいずれか１項に記載の光源推定装置。
【請求項５】
前記色温度空間射影手段および前記波形空間射影手段はそれぞれ、前記複数のフィルタの特性に応じて生成された変換マトリクスを用いた射影を行うことを特徴とする請求項１乃至４のいずれか１項に記載の光源推定装置。
【請求項６】
前記波形空間射影手段は、前記色温度推定手段で推定された色温度情報に応じて前記変換マトリクスを選択することを特徴とする請求項５に記載の光源推定装置。
【請求項７】
さらに、前記色温度推定手段で推定された色温度及び前記波形推定手段で推定された波形に応じた推定行列を用いて、前記マルチバンド撮影された被写体の分光反射率を推定する分光反射率推定手段、を有することを特徴とする請求項１乃至６のいずれか１項に記載の光源推定装置。
【請求項８】
前記撮像手段は、互いに異なる分光特性を有する少なくとも４種類のフィルタを用いてマルチバンド撮影を行うことを特徴とする請求項１乃至７のいずれか１項に記載の光源推定装置。
【請求項９】
互いに異なる分光特性を有する複数のフィルタを用いたマルチバンド撮影によって得られた撮影画像を、その色温度の特徴を表す色温度空間に射影する色温度空間射影ステップと、
予め用意された複数の色温度情報のうち、前記色温度空間への前記撮影画像の射影結果に対する相関が最も高いものを、前記マルチバンド撮影時における光源の色温度情報として推定する色温度推定ステップと、
前記色温度推定ステップにおいて推定された色温度情報に応じた射影方法によって、前記撮影画像を、その波形の特徴を表す波形空間に射影する波形空間射影ステップと、
予め用意された複数の波形情報のうち、前記波形空間への前記撮影画像の射影結果に対する相関が最も高いものを、前記マルチバンド撮影時における光源の波形情報として推定する波形推定ステップと、
を有することを特徴とする光源推定方法。
【請求項１０】
コンピュータに、請求項９に記載の光源推定方法における各ステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−９５１１０（Ｐ２０１１−９５１１０Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２４９４７７（Ｐ２００９−２４９４７７）
【出願日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]