光源検出装置
【課題】複雑なハードウェア構成を必要とせず、また、撮影者による複雑な操作を必要とすることなく、より高度な色再現を手軽に実現可能とする。
【解決手段】撮影情報取得部７１０は、撮影時、撮影光学系４０４で設定されていた画角および撮影距離等の情報を含む撮影条件情報を取得する。スペクトル検出装置１１０は、集光光学系１０２によって集光された被写界からの光を受光し、撮像部７００で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサ１０６を有して、スペクトル情報を出力し、このスペクトル情報をスペクトル情報入力部７１４が入力する。色再現処理方法決定部７１２は、撮影条件情報に基づき、画像処理部７０６で行う色再現処理の方法を決定する。
【解決手段】撮影情報取得部７１０は、撮影時、撮影光学系４０４で設定されていた画角および撮影距離等の情報を含む撮影条件情報を取得する。スペクトル検出装置１１０は、集光光学系１０２によって集光された被写界からの光を受光し、撮像部７００で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサ１０６を有して、スペクトル情報を出力し、このスペクトル情報をスペクトル情報入力部７１４が入力する。色再現処理方法決定部７１２は、撮影条件情報に基づき、画像処理部７０６で行う色再現処理の方法を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影時に被写体を照明していた光である撮影照明光の種類の判別または撮影照明光のスペクトルの推定を可能とする光源検出装置およびこれを含むカメラ、システムに関する。
【背景技術】
【０００２】
デジタルカメラのオートホワイトバランス性能や色再現性能、オートフォーカス性能を向上させるために、光源検出用のセンサを一眼レフカメラに設けるものが知られている。
【０００３】
特許文献１には、カメラ外装のペンタプリズム前方に窓を設けて乳白色の拡散板を配置し、その後方に光源測光用センサを設けた一眼レフカメラが開示される。この一眼レフカメラはまた、撮影レンズを通して結像される被写体像の色を測色する（ＴＴＬ測色）構成を有し、光源測光用センサからの出力と、ＴＴＬ測色の結果とに基づいて被写体の色を判定し、判定された色に対応して露出補正を行う。これにより、射光式の測光方式における被写体の反射率の影響を低減する。
【０００４】
特許文献２には、カメラ外装に設けられた開口に配置された拡散板の後方に光源センサを配置し、光源の種類を検出する構成が開示される。そして、検出された光源の種類に応じてＴＴＬ位相差検出式オートフォーカスの焦点検出結果に補正が加えられる。
【０００５】
特許文献３には、ＴＴＬ式の測光が可能な第１の測光手段および第２の測光手段を有する構成が開示される。第１の測光手段によって特定の波長域の測光が可能であり、第２の測光手段によって上記特定の波長域以外の波長域の測光が可能である。これら第１、第２の測光手段からの出力に基づき、照明光源の種別が判別され、その判別結果に基づき、自動焦点検出手段にて検出されるディフォーカス量検出結果に補正が加えられる。
【０００６】
引用文献４には、カメラに設けられるアクセサリシュー部分にスポット計測式の測色計を装着し、被写体の一部分の色彩情報を得て、その色彩情報がカメラに出力される構成が開示される。測色計には、測色計の向きを検出する角度センサが設けられており、上記色彩情報とともに角度情報がカメラに出力される。カメラは、角度情報に基づき、撮影範囲内のどの部分の色彩情報が得られたかを検出可能に構成される。この色彩情報に基づき、カメラの撮像素子から得られたカラー画像データに補正処理が行われる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２３２１５号公報
【特許文献２】特開２００５−２０８２３５号公報
【特許文献３】特開２００６−７２０８４号公報
【特許文献４】特開２００５−３４１１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１および２に開示される技術においては、光源センサが受光する光と、被写体を照明している光とが異なる場合がある。例えば、蛍光灯等の照明光が点灯している室内から屋外の被写体を撮影した場合、光源センサの検出結果は蛍光灯からの光の影響を多く受ける一方、屋外の被写体は太陽光に照らされている、という状況を生じ得る。このような状況では、望ましい撮影結果を得ることは難しい。また、光源センサは拡散光を受光する構成であるため、比較的広い範囲からの光を光源センサは受光する。その結果、被写体を照明している光以外の光も光源センサが受光する場合があり、光源センサの検出結果が、被写体を照明している光の特性と必ずしも一致しない場合がある。
【０００９】
引用文献３に開示される技術では、ミラー、ハーフミラー、ペンタプリズム等の部材を有する一眼レフカメラが前提なので、いわゆるコンパクトカメラ等に適用することが難しい。また、一眼レフカメラであっても、集光レンズやセンサ等を追加して配置する必要があるため、カメラの複雑化を免れない。
【００１０】
引用文献４に開示される技術では、被写体を撮影する都度、測色計の向きを調節する必要があり、動く被写体の撮影や高速の連続撮影といった用途には必ずしも適していない。
【００１１】
本発明は上記の問題に鑑みてなされたもので、複雑なハードウェア構成を必要とせず、また、撮影者による複雑な操作を必要とすることなく、より高度な色再現を手軽に実現可能とすることを目的とする。
【００１２】
本発明のさらなる目的は、撮影をする場所と、撮影をして得られた画像を観察する場所が離れている状況であっても、撮影者や画像を観察する観察者による複雑な操作を必要とすることなく、より高度な色再現を手軽に実現可能とすることにより、精度のより高い遠隔病理診断を可能とすることにある。
【課題を解決するための手段】
【００１３】
（１） 本発明の第１の態様によれば、被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置が、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な情報を含む撮影条件情報を取得する撮影条件情報取得部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを有して、前記カラーセンサの出力をもとにスペクトル情報を出力する外光式スペクトル検出装置から出力される前記スペクトル情報を入力するスペクトル情報入力部と、
前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記外光式スペクトル検出装置から出力される前記スペクトル情報と、前記画像データを分析した結果とのうち、少なくともいずれかを参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備える。
（２） 本発明の第２の態様によれば、被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置が、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な情報を含む撮影条件情報を取得する撮影条件情報取得部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを複数有して、前記複数のカラーセンサそれぞれからの出力に対応して複数のスペクトル情報を出力する外光式スペクトル検出装置から出力される前記スペクトル情報を入力するスペクトル情報入力部と、
前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記外光式スペクトル検出装置から出力される前記スペクトル情報と、前記画像データを分析した結果とのうち、少なくともいずれかを参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備える。
（３） 本発明の第３の態様によれば、被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置が、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な撮影条件情報を含む付加情報を前記画像データに付加して生成される画像ファイルを記憶する画像ファイル記憶部から前記画像ファイルを読み出す画像ファイル読み出し部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを複数有して、前記複数のカラーセンサそれぞれから出力される複数のスペクトル情報を含むスペクトル情報セットを出力する外光式スペクトル検出装置により、前記撮影光学系で撮影が行われたタイミングに同期して、あるいは前記タイミングとは同期せずに一定の時間間隔で、スペクトル検出が行われるたびごとに出力される前記スペクトル情報セットがスペクトル情報データログとして記憶されるスペクトル情報記憶部から前記スペクトル情報データログを読み出すスペクトル情報読み出し部と、
前記画像ファイル読み出し部で読み出された前記画像ファイルと、前記スペクトル情報読み出し部で読み出された前記スペクトル情報データログ中に含まれるスペクトル情報セットのうちの前記画像ファイルに対応するものとを関連付ける情報関連付け処理部と、
前記情報関連付け処理部で関連付けされた前記スペクトル情報セットに含まれる前記複数のスペクトル情報のうち、前記撮影条件情報に基づいて選択された１または複数のスペクトル情報と、前記画像データを分析した結果とのうち、前記撮影条件情報に基づいて少なくともいずれかを参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備える。
【発明の効果】
【００１４】
本発明によれば、比較的単純なスペクトル検出装置の構成で、撮影に際して煩雑な操作を必要とせず、より高度の色再現が可能となる。
【図面の簡単な説明】
【００１５】
【図１】外光式で一点計測式のスペクトル検出装置の光学的構成を概略的に示す図である。
【図２】外光式で多点計測式のスペクトル検出装置の光学的構成を概略的に示す図である。
【図３】複数のカラーセンサのそれぞれが有する分光感度特性の一例を示す図である。
【図４】外光式のスペクトル検出装置をカメラに内蔵する実施形態の一例を示す外観斜視図である。
【図５】外光式で外付け式のスペクトル検出装置をカメラに装着する実施形態の一例を示す外観斜視図であり、図５（ａ）はカメラにスペクトル検出装置を取り付けた状態を示す図であり、図５（ｂ）はスペクトル検出装置を外したカメラの外観を部分的に示す図である。
【図６】外光式スペクトル検出装置のセンサ受光範囲と、撮影範囲との関係が撮影光学系の画角や撮影距離を変えることによって変化する様子を概念的に説明する図である。
【図７】本発明の第１の実施の形態を説明する図であり、一点計測式のスペクトル検出装置が内蔵されるカメラの情報処理系統の構成を概略的に説明するブロック図である。
【図８】色再現処理方法決定部で行われる色再現処理方法決定処理の内容をまとめた表である。
【図９】本発明の第２の実施の形態を説明する図であり、多点計測式のスペクトル検出装置およびこのスペクトル検出装置が接続されるカメラの情報処理系統の構成を概略的に説明するブロック図である。
【図１０】多点式のスペクトル検出装置のセンサ受光範囲と撮影光学系の撮影範囲との関係を概念的に示す図であり、図１０（ａ）は撮影光学系の焦点距離が広角側に設定され、撮影距離がより遠い状態に設定される例を、図１０（ｂ）は撮影光学系の焦点距離が広角側に設定され、撮影距離がより近い状態に設定される例を、図１０（ｃ）は撮影光学系の焦点距離が望遠側に設定され、撮影距離がより遠い状態に設定される例を、図１０（ｄ）は撮影光学系の焦点距離が望遠側に設定され、撮影距離がより近い状態に設定される例を、それぞれ示す図である。
【図１１】本発明の第３の実施の形態を説明する図であり、多点計測式のスペクトル検出装置およびこのスペクトル検出装置が接続されるカメラの情報処理系統の構成を概略的に説明するブロック図である。
【図１２】本発明の第４の実施の形態を説明する図であり、撮影情報およびスペクトル情報の付加された画像データに色再現処理をする画像処理装置の情報処理系統の構成を概略的に説明するブロック図である。
【図１３】本発明の第４の実施の形態に係る画像処理装置内の被写体情報導出部および色変換処理部の情報処理系統の構成をより詳細に説明するブロック図である。
【図１４】スペクトル情報抽出部から得られるスペクトル情報をｎ次元空間座標系にプロットした様子を示す概念図である。
【図１５】本発明の第３および第４の実施の形態の変形例を説明する図であり、スペクトル検出装置のセンサ受光範囲と撮影光学系の撮影範囲との関係を概念的に示し、図１５（ａ）はペンダント状の白色色標を身につけた被写体を、図１５（ｂ）は撮影光学系の焦点距離が広角側に設定され、撮影距離がより遠い状態に設定される例を、図１５（ｃ）は撮影光学系の焦点距離が広角側に設定され、撮影距離がより近い状態に設定される例を、図１５（ｄ）は撮影光学系の焦点距離が望遠側に設定され、撮影距離がより遠い状態に設定される例を、図１５（ｅ）は撮影光学系の焦点距離が望遠側に設定され、撮影距離がより近い状態に設定される例を、それぞれ示し、白色色標からの光を受光するセンサブロックからのスペクトル情報が選択される様子を説明する図である。
【図１６】本発明を遠隔病理診断システムに適用する、第５の実施の形態を説明する図であり、遠隔病理診断システムの情報処理系統の構成を概略的に説明するブロック図である。
【図１７】本発明の第５の実施の形態に係る遠隔病理診断システム内の色変換処理部の情報処理系統の構成をより詳細に説明するブロック図である。
【図１８】本発明の第６の実施の形態を説明する図であり、スペクトル情報データログを蓄積可能な多点計測式のスペクトル検出装置およびこのスペクトル検出装置が接続されるカメラの情報処理系統の構成を概略的に説明するブロック図である。
【図１９】本発明の第６の実施の形態を説明する図であり、撮影日時情報の付加された画像ファイルと検出日時情報の付加されたスペクトル情報ログデータとを読み出して色再現処理を行う画像処理装置の情報処理系統の構成を概略的に説明するブロック図である。
【発明を実施するための形態】
【００１６】
− スペクトル検出装置の構成 −
図１、図２は、スペクトル検出装置の光学的な構成を概略的に示す図であり、図１は一点計測式のスペクトル検出装置１１０の構成を、図２は多点計測式のスペクトル検出装置２１０の光学的な構成を、それぞれ示す。これらのスペクトル検出装置１１０、２１０は、いずれも外光式のものであり、カメラに内蔵または外付けされる。ここで、外光式のスペクトル検出装置とは、カメラの撮影光学系とは別の光学系によって被写界からの光を集光し、スペクトルを検出する装置を意味する。なお、スペクトル検出装置１１０、２１０の電気的な構成については後で説明する。
【００１７】
最初に図１を参照して、一点計測式のスペクトル検出装置１１０の構成について説明する。スペクトル検出装置１１０は、集光レンズ１０２と、拡散板１０４と、センサモジュール１０６とを備える。集光レンズ１０２は、被写界からの光を集光し、集光レンズ１０２の後方に配置される拡散板１０４に導く。図１において集光レンズ１０２は単玉として示されているが、複数のレンズエレメントによって構成されていてもよい。拡散板１０４は、フライアイレンズが表面に形成された透明板または乳白色半透明の平板等で構成され、集光レンズ１０２を透過した光を略均一に拡散し、拡散板１０４の後方に配置されるセンサモジュール１０６に導く。このような構成により、被写界からの光は略均一に混合されて平均化され、センサモジュール１０６の受光面に入射する。
【００１８】
センサモジュール１０６は、複数の光電変換部を備え、それぞれの光電変換部上には異なる分光透過特性を有するフィルタが設けられる。つまり、ある分光透過特性を有するフィルタ一つと、そのフィルタを透過した光を受光する一つの光電変換部とを備えて一つのカラーセンサ１０６ａ、１０６ｂ、…が構成され、センサモジュール１０６は複数のカラーセンサ１０６ａ、１０６ｂ、…を備えて構成される。
【００１９】
図１には、センサモジュール１０６が１５個のカラーセンサ１０６ａ、１０６ｂ、…、１０６ｎ、１０６ｏを備える例が示されている。カラーセンサ１０６ａ、１０６ｂ、…の個数、形状、配置パターン等については図１に例示されるものに限られず、求められる仕様に応じて様々なものとすることが可能である。また、各カラーセンサ１０６ａ、１０６ｂ、…の各光電変換部の面積は均等であっても、異なっていてもよい。
【００２０】
センサモジュール１０６は、各カラーセンサ１０６ａ、１０６ｂ、…から出力される光電流を増幅するアンプや、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ等を必要に応じて備えていてもよい。本明細書においては、センサモジュール１０６がアンプやＡ／Ｄコンバータを備えていて、センサモジュール１０６からは各カラーセンサ１０６ａ、１０６ｂ、…に対応してデジタルのセンサデータが出力されるものとして説明する。
【００２１】
各カラーセンサ１０６ａ、１０６ｂ、…に設定される分光感度特性の一例を図３に示す。図３中、丸で囲ったａからｏの符号を付して示した曲線のひとつ一つがカラーセンサ１０６ａ、１０６ｂ、…それぞれに設定される分光感度特性の例を示している。図３に示される分光感度は一例であって、スペクトル検出装置１１０に求められる仕様に応じて様々な分光感度特性を設定することができる。ひとつ一つの分光感度特性の帯域は広帯域、狭帯域等、様々に設定可能である。また、可視域のみならず、用途に応じて赤外域や紫外域に分光感度を有していてもよい。
【００２２】
集光レンズ１０２の焦点距離は、センサモジュール１０６の受光部のサイズに基づいて所望の受光角度が得られるように設定される。なお、センサモジュール１０６の受光部のアスペクト比はカメラで得られる画像のアスペクト比と略一致するように設定することが望ましい。画像のフォーマットが正方形以外であればスペクトル検出装置の受光角度（以下では「センサ受光角度」と称する）は画面の縦方向、横方向で異なる。本明細書中ではセンサ受光角度と撮影画角とを比較して説明をする場合があるが、その場合には縦方向、横方向、および対角方向のうち、いずれかの同じ方向同士で比較するものとする。
【００２３】
図２を参照して、多点計測式のスペクトル検出装置２１０の構成について説明する。スペクトル検出装置２１０は、集光レンズ２０２と、センサモジュール２０６とを備える。集光レンズ２０２は、被写界からの光を集光し、後方に配置されるセンサモジュール２０６上に導いて像を形成する。図２において集光レンズ２０２は単玉として示されているが、複数のレンズエレメントにより構成されていてもよい。
【００２４】
センサモジュール２０６は、複数のセンサブロック２０６−１、２０６−２、…を備えて構成される点がセンサモジュール１０６との大きな違いである。図２においては１００個のセンサブロック２０６−１、２０６−２、…、２０６−１００が１０行１０列に配列される例が示されている。それぞれのセンサブロック２０６−１、２０６−２、…は、図１、図３を参照して説明したのと同様のカラーセンサを複数備える。図２には、センサブロック２０６−１を拡大した様子が描かれている。センサブロック２０６−１は、１５個のカラーセンサ２０６−１ａ、２０６−１ｂ、…２０６−１ｏを備える。これらのカラーセンサ２０６−１ａ、２０６−１ｂ、…の分光感度特性は、図３を参照して説明したものと同様とすることができる。
【００２５】
多点計測式のスペクトル検出装置２１０では、集光レンズ２０２によって導かれる被写界からの光を複数のセンサブロック２０６−１、２０６−２、…でエリアごとに分割して検出する。これにより、複数のエリアに分割された被写界のそれぞれに対応してスペクトルを検出することが可能となる。
【００２６】
なお、センサモジュール２０６の受光部上には集光レンズ２０２によって像が形成されるので、ひとつ一つのセンサブロック２０６−１、２０６−２、…の上に像が形成される。センサブロック２０６−１、２０６−２、…の面積が大きくなると、センサブロック中の各カラーセンサは像中の異なる部分の光を受光することになる。したがって、各カラーセンサは被写界からの異なる色の光を受光する可能性がある。そのようなことが想定される場合には、一つのセンサブロックに入射する光が略均一に混合されたものとなるように、集光レンズ２０２とセンサモジュール２０６との間にＯＬＰＦ（光学的ローパスフィルタ）やフライアイレンズ等を配設することが望ましい。
【００２７】
図２には、センサモジュール２０６が１００個のセンサブロックを備え、各センサブロックが１５個のカラーセンサを備える例が示されているが、これらのセンサブロックの配設数や各センサブロックに備えられるカラーセンサの数についてはスペクトル検出装置２１０に求められる仕様に応じて様々な値とすることが可能である。また、センサブロックやカラーセンサの形状、配置パターン等についても図２に例示されるものに限られず、求められる仕様に応じて様々なものとすることが可能である。
【００２８】
センサモジュール２０６は、図１を参照して説明したセンサモジュール１０６と同様、各カラーセンサから出力される光電流を増幅するアンプや、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ等を必要に応じて備えていてもよい。本明細書においては、センサモジュール２０６がアンプやＡ／Ｄコンバータを備えていて、センサモジュール２０６からは各センサブロック中の各カラーセンサに対応してデジタルのセンサデータが出力されるものとして説明する。
【００２９】
集光レンズ２０２の焦点距離は、センサモジュール２０６の受光部のサイズに基づいて所望の受光角度（センサ受光角度）が得られるように設定される。センサモジュール２０６の受光部のアスペクト比はカメラで得られる画像のアスペクト比と略一致するように設定することが望ましい。センサ受光角度と撮影画角とを比較する場合の考え方については図１を参照して説明したのと同様である。
【００３０】
− スペクトル検出装置の実装形態 −
図４は、スペクトル検出装置１１０をカメラ４００に内蔵する実装形態の例を示す。被写界Ｆ中の被写体ｏｂｊが撮影光学系４０４で撮影される。図４では、カメラ４００に一点計測式のスペクトル検出装置１１０が内蔵される例について示しているが、多点計測式のスペクトル検出装置２１０が内蔵されてもよい。先にも説明したように、スペクトル検出装置１１０はカメラ４００の撮影光学系４０４とは別の光学系、すなわち集光レンズ１０２によって集光された被写界Ｆおよび被写体ｏｂｊからの光を受光して被写界Ｆおよび被写体ｏｂｊのスペクトル情報を出力する。したがって、撮影光学系４０４と集光レンズ１０２とは、いわゆる視差を生じる。
【００３１】
撮影光学系４０４の光軸Ａ１と、集光レンズ１０２の光軸Ａ２とは、互いに平行であってもよいが、所定の撮影距離、例えば３ｍの位置で交わるように集光レンズ１０２の光軸Ａ２を傾けてもよい。本明細書中では光軸Ａ２が傾けられていて、光軸Ａ１と光軸Ａ２とが角度θで交差するものとする。図４に示される例では、光軸Ａ１と光軸Ａ２とはカメラ４００を保持した撮影者から見て左右方向および上下方向の双方にずれている。
【００３２】
図５は、多点計測式のスペクトル検出装置２１０をカメラ５００に外付けする実装形態の例を示す。図５（ａ）は、カメラ５００にスペクトル検出装置２１０を装着した様子を、図５（ｂ）は、スペクトル検出装置２１０を外した状態のカメラ５００の上面を部分的に示す。図５（ｂ）に示されるように、カメラ５００の上面にはアクセサリシュー５０６と接点５０６ａとが設けられる。
【００３３】
図５において、スペクトル検出装置２１０はユニット化されていて、アクセサリシュー５０６を介してカメラ５００に装着される。カメラ５００とスペクトル検出装置２１０とは、接点５０６ａなどを介して制御信号および情報を授受可能に構成される。あるいは、光通信や近距離無線通信の技術を用いて無接点の方式で制御信号および情報の授受を行うことが可能に構成されていてもよい。また、接点を介して電源をカメラ５００より電源を供給可能な構成としてもよい。
【００３４】
また、図５では多点計測式のスペクトル検出装置２１０がカメラ５００に外付けされる例が示されているが、一点計測式のスペクトル検出装置１１０が外付けされるものであってもよい。
【００３５】
図４を参照して説明したのと同様、スペクトル検出装置２１０はカメラ５００の撮影光学系４０４とは別の光学系、すなわち集光レンズ２０２によって集光された被写界Ｆおよび被写体ｏｂｊからの光を受光し、対応するスペクトル情報を出力する。したがって、撮影光学系４０４と集光レンズ２０２とは、いわゆる視差を生じる。撮影光学系４０４の光軸Ａ１と集光レンズ２０２の光軸Ａ３とは、互いに平行であっても、所定の撮影距離で交わるように光軸Ａ３を傾けてもよい。本明細書中では光軸Ａ３が傾けられていて、光軸Ａ１と光軸Ａ３とが角度θで交差するものとする。図５に示される例では、光軸Ａ１と光軸Ａ３とは、カメラ５００を保持した撮影者から見て左右方向にずれは無く、上下方向にのみずれている。もちろん、集光レンズ２０２を可変焦点距離になるよう構成することも可能である。この場合スペクトル検出装置２１０と撮影光学系４０４の撮影範囲の差は少なくなるが、光軸が異なるため完全に一致することはない。
【００３６】
図６は、スペクトル検出装置２１０によるスペクトル検出範囲（以下、「センサ受光範囲」と称する）と、撮影光学系４０４による撮影範囲との関係を説明する図である。ここでの「範囲」は空間的な範囲を意味している。本明細書において、集光レンズ２０２は単焦点である一方、撮影光学系４０４は可変焦点距離であるものとする。
【００３７】
上述のように集光レンズ２０２は単焦点であるため、センサ受光角度は一定であり、撮影距離の変化に応じてセンサ受光範囲の大きさが変化する。一方、撮影光学系４０４の設定焦点距離に応じて撮影画角は変化するので、同じ撮影距離であっても撮影範囲は変化し、さらに撮影距離が変化するとそれに応じて撮影範囲も変化する。本実施の形態において、センサ受光範囲は、撮影光学系４０４を望遠側に設定したときの撮影範囲よりも広く、広角側に設定したときの撮影範囲よりも狭くなるように設計されているものとする。別の表現を用いると、センサ受光角度は、撮影光学系４０４を望遠側に設定したときの撮影画角よりも広く、広角側に設定したときの撮影画角よりも狭くなるように設計されているものとする。
【００３８】
ところで、先にも説明したとおり、光軸Ａ１と光軸Ａ３とは、カメラ５００を保持した撮影者から見て左右方向にずれは無く、上下方向にずれている。このずれにより、センサ受光範囲と撮影範囲との間には以下で説明するように上下方向の視差を生ずる。その様子が図６には示されている。
【００３９】
光軸Ａ１と光軸Ａ３とが所定の撮影距離で交わるように光軸Ａ３は傾けられている。すなわち、この所定の撮影距離においては、センサ受光範囲の中心と撮影範囲の中心とが一致する。それ以外の撮影距離においては、センサ受光範囲の中心と撮影範囲の中心との間にずれを生じる。このとき、光軸Ａ１と光軸Ａ３とは上記のとおり左右方向にずれは無く、上下方向にずれているので、センサ受光範囲の中心と撮影範囲の中心との間に生じるずれも上下方向に沿ったものとなる。
【００４０】
センサ受光範囲と、撮影光学系４０４が広角端に設定されているときの撮影範囲との位置関係の変化を、図６を参照して説明する。より遠い距離にある撮影距離２においては、撮影範囲はセンサ受光範囲よりも上側にＵ２、下側にＬ２だけ広く、Ｕ２はＬ２よりも大きい。すなわち、カメラ５００を保持した撮影者から見て、センサ受光範囲は撮影範囲に対して下側に偏っている。
【００４１】
一方、より近い距離にある撮影距離１においては、撮影範囲はセンサ受光範囲よりも上側にＵ１、下側にＬ１だけ広く、Ｕ１はＬ１よりも小さい。すなわち、カメラ５００を保持した撮影者から見て、センサ受光範囲は撮影範囲に対して上側に偏っている。
【００４２】
以上のように、撮影光学系４０４の設定焦点距離を変化させることによってセンサ受光範囲と撮影範囲との関係が変化するのに加え、撮影距離が変化してもセンサ受光範囲と撮影範囲との関係は変化する。本発明では、スペクトル検出装置１１０、２１０で検出して得られたスペクトル情報を用い、撮影光学系４０４で撮影して得られた画像に色再現処理を行う。その際に、上述したセンサ受光範囲と撮影範囲との関係の変化に応じて、色再現処理の方法を決定する。
【００４３】
− 第１の実施の形態 −
本発明の第１の実施の形態は、図４に示されるように、カメラ４００に一点計測式のスペクトル検出装置１１０が内蔵されるのとして説明をする。カメラ４００は、レンズ交換式であってもレンズ固定式であってもよい。また、撮影光学系４０４は、単焦点レンズであっても可変焦点距離のレンズであってもよい。本実施の形態において、カメラ４００はレンズ交換式のもので、カメラ４００に装着されている撮影光学系４０４は可変焦点距離のレンズであるものとして説明をする。
【００４４】
図７は、スペクトル検出装置１１０およびこのスペクトル検出装置１１０を内蔵するカメラ４００の情報処理系統の構成を概略的に説明するブロック図である。スペクトル検出装置１１０は、センサモジュール１０６から出力されるデジタルのセンサデータを記憶するデータメモリ１２０を備える。スペクトル検出装置１１０はまた、データメモリ１２０に記憶されたセンサデータをもとにスペクトル推定処理を行い、スペクトル情報を出力するスペクトル推定処理部１２２を備える。
【００４５】
図７において、センサデータは以下のように表記されている。
ＳＤ（ｋ）： ｋ ＝ １〜Ｎ
ここでＮは、カラーセンサの数である。図１を参照して説明したセンサモジュール１０６が用いられる場合、Ｎは１５となる。
【００４６】
図７において、スペクトル情報は以下のように表記されている。
ＳＰＤ（ｊ）： ｊ＝ １〜Ｍ
ここでＭは、カメラ４００の仕様等によって決まる数である。つまり、Ｎ個のカラーセンサから出力されるセンサデータをもとに生成されるスペクトル情報の次元数をＭは示しており、例えば３８０ｎｍから７８０ｎｍまでの可視光波長帯域のスペクトル情報を１ｎｍ間隔で出力する場合、Ｍ＝４０１となる。あるいは、予め定められた例えば１０点の波長におけるスペクトル情報が得られれば十分な精度が得られる応用形態であればＭ＝１０となる。つまり、上述したセンサデータの数Ｎとスペクトル情報の次元数Ｍとの間の関係に関して、必ずしもＭがＮを上回る必要はない。
【００４７】
ここでセンサモジュール１０６から出力されるセンサデータＳＤ（ｋ）をもとにスペクトル情報を得る方法の一例について簡単に説明する。世の中に存在する自然光や人工光をセンサモジュール１０６で検出したときの出力パターン、すなわちセンサデータＳＤ（１）、ＳＤ（２）、…、ＳＤ（ｋ）の相対値（これをデータパターンと称する。）と、それらの自然光や人工光の分光スペクトルとの関係が予め求められてスペクトル検出装置１１０内にテーブルとして保持されているものとする。
【００４８】
スペクトル推定処理部１２２は、データメモリ１２０中に記憶されるセンサデータＳＤ（１）、ＳＤ（２）、…、ＳＤ（ｋ）に正規化の処理を施してデータパターンを導出する。スペクトル推定処理部１２２はさらに、上記テーブルを参照して、センサデータのデータパターンに最も類似するデータパターンを探索し、このデータパターンに対応する分光スペクトルデータをテーブル中から読み出してスペクトル情報ＳＰＤ（ｊ）とする。
【００４９】
カメラ４００内の、上記スペクトル検出装置１１０以外の構成要素について説明する。カメラ４００は、撮像部７００と、色温度検出部７０２と、第１光源検出部７０４と、画像処理部７０６と、撮影条件情報取得部７１０と、色再現処理方法決定部７１２と、スペクトル情報入力部７１４と、第２光源検出部７１６とをさらに備える。
【００５０】
撮像部７００は、撮影光学系４０４によって形成される被写体像を光電変換して画像データを出力する撮像素子や、撮像素子から出力される画像データを処理する情報処理部等を含み、色温度検出部７０２、画像処理部７０６にデジタル画像データを出力する。
【００５１】
本実施の形態において、撮像部７００は、ＲＧＢの画像データを出力するものとするが、他の色空間の画像データを出力可能に構成されていても良いし、３色よりも多い色数の画像データを出力可能に構成されていてもよい。なお、センサモジュール１０６が備えるカラーセンサで色分解可能な数は、撮像部７００から出力される画像データの色数よりも多くなるようにシステム設計がなされる。
【００５２】
色温度検出部７０２は、撮像部７００から出力される画像データを処理し、撮影時に被写体を照明していた光（以下ではこれを「撮影照明光」と称する）の色温度を推定する処理を行う。例えば、一つの画像を複数の領域に分割し、分割された領域ごとに画像データのＲＧＢ値を導出して、ＲＧＢ値の比率に基づいて分割された領域ごとに色温度を推定する。そして、分割された領域ごとの色温度をもとに、公知のアルゴリズムに従って撮影照明光の色温度が推定される。
【００５３】
第１光源検出部７０４は、色温度検出部７０２から入力した撮影照明光の色温度情報に基づき、撮影照明光の種類を特定する。第１光源検出部７０４で特定可能な撮影照明光の種類としては、晴天太陽光、曇天、タングステン灯、白色蛍光灯、昼光色蛍光灯などがある。
【００５４】
撮影条件情報取得部７１０は、撮影時に撮影光学系４０４で設定されていた焦点距離および合焦距離に関する情報をレンズ制御部４０６から入力する。ここでレンズ制御部４０６について説明する。レンズ制御部４０６は、撮影光学系４０４内に備えられ、撮影光学系４０４内の焦点調節用レンズの動作の制御や絞り装置の動作の制御を行う。レンズ制御部４０６はまた、撮影光学系４０４で設定されている焦点距離に関する情報や、撮影光学系４０４の合焦距離を検出可能に構成されている。
【００５５】
具体的には、撮影光学系４０４の焦点距離を変化させる変倍装置内に組み込まれるエンコーダ等から信号を読み出すことにより、撮影光学系４０４で設定されている焦点距離を検出する。また、焦点調節用レンズを駆動する機構内に備えられる、レンズ位置検出用エンコーダ等から信号を読み出すことにより、合焦距離を検出する。
【００５６】
撮影条件情報取得部７１０は、これらの焦点距離や合焦距離に関する情報をレンズ制御部４０６から入力する。なお、撮影条件情報取得部７１０がレンズ制御部４０６から入力する情報としては、撮影画角に関する情報や撮影倍率に関する情報であってもよい。
【００５７】
色再現処理方法決定部７１２は、撮影条件情報取得部７１０から撮影条件情報を入力する。この撮影条件情報中には、撮影が行われたときに撮影光学系４０４で設定されていた撮影画角および撮影距離を導出可能な情報を含む。すなわち、撮影条件情報中には、撮影が行われたときに撮影光学系４０４で設定されていた焦点距離または撮影画角に関連する情報と、合焦距離または撮影倍率に関連する情報とを含む。撮影倍率に関連する情報が撮影条件情報中に含まれる場合、この撮影倍率に関連する情報と、焦点距離または撮影画角に関連する情報とに基づいて撮影距離を導出することができる。
【００５８】
色再現処理方法決定部７１２はさらに、撮影条件情報取得部７１０から入力した上記撮影条件情報に基づき、後で詳しく説明するように、画像処理部７０６で行われる色再現処理の色再現処理方法を決定し、決定した色再現処理方法に関する情報を画像処理部７０６に出力する。
【００５９】
スペクトル情報入力部７１４は、スペクトル検出装置１１０からスペクトル情報ＳＰＤ（ｊ）を入力する。第２光源検出部７１６は、スペクトル情報入力部７１４で入力したスペクトル情報ＳＰＤ（ｊ）をもとに、撮影照明光の種類を特定する処理を行う。ここで第１光源検出部７０４における処理との違いについて説明する。
【００６０】
第１光源検出部７０４では、色温度検出部７０２から入力した撮影照明光の色温度情報に基づいて撮影照明光の種類を特定する。一方、第２光源検出部７１６は、スペクトル情報ＳＰＤ（ｊ）をもとに撮影照明光の種類を特定する処理を行うので、撮影照明光のスペクトルの類似度などを利用して撮影照明光の種類を第１光源検出部７０４で特定可能な種類数よりも多い数で特定することが可能となる。また、被写体が複数種類の照明により照射された状況であっても高精度に推定することが出来る。
【００６１】
画像処理部７０６は、色再現処理方法決定部７１２で決定された色再現処理方法に基づき、色再現処理を行う。ここで、色再現処理方法決定部７１２で行われる色再現処理方法決定処理と画像処理部７０６で行われる色再現処とについて説明する。
【００６２】
図８は、色再現処理方法決定部７１２で行われる色再現処理方法決定処理の内容をまとめた表である。色再現処理方法決定部７１２は、撮影条件情報取得部７１０から取得した撮影条件情報より、撮影が行われたときに撮影光学系４０４で設定されていた撮影画角および撮影距離を導出する。そして、撮影距離の遠近と、撮影画角とセンサ受光角との関係とに基づいて以下で説明する方法に従って色再現処理方法を決定する。
【００６３】
撮影距離が所定の基準距離以遠、例えば１ｍ以遠であると判定された場合、第１光源検出部での光源特定結果の信頼度に関する判定は行わず、撮影画角の判定が行われる。第１光源検出部での光源特定結果の信頼度に関しては後で説明する。撮影画角がセンサ受光角度の１．５倍以下と判定されると、スペクトル検出装置１１０からの出力（第２光源検出部７１６での光源特定結果）を参照して色再現処理（図８中の色再現処理１）が行われる。一方、撮影画角がセンサ受光角度の１．５倍を超すと判定されると、撮像部７００からの出力（第１光源検出部７０４での光源特定結果）を参照して色再現処理（図８中の色再現処理２）を行われる。
【００６４】
上記の処理について説明をする。撮影画角がセンサ受光角度の１．５倍以下と判定される状況は、撮影画角とセンサ受光角度とがほぼ一致している状況と考えることができる。したがって、このような状況ではスペクトル検出装置１１０からの出力（第２光源検出部７１６での光源特定結果）を参照して色再現処理を行うことにより、色再現処理の精度を高めることが可能となる。あるいは、カメラ４００に装着可能な交換レンズとしてそのような短焦点距離のものが提供されていなければ、常にスペクトル検出装置１１０を参照して色再現処理を行うことも考えられる。
【００６５】
無論、撮影光学系４０４で設定可能な焦点距離がかなり長ければ、撮影画角も相応に小さくなるので、撮影画角とセンサ受光角度とがほぼ一致しているとは云えなくなる。そのような状況を考慮し、例えばセンサ受光角の半分よりも撮影画角が小さい場合、撮像部７００からの出力（第１光源検出部７０４での光源特定結果）を参照して色再現処理を行うように決定がなされてもよい。あるいは、カメラ４００に装着可能な交換レンズとしてそのような長焦点距離のものが提供されていなければ、図８を参照して以上に説明した色再現処理方法決定処理を行えばよい。
【００６６】
一方、撮影画角がセンサ受光角度の１．５倍を超すと判定される状況では、撮影光学系４０４で設定された撮影画角が大きく、結果としてセンサモジュール１０６の中央重点度（スポット性）が増すことになる。このような状況でスペクトル検出装置１１０から得られるスペクトル情報は、被写体の分光反射率の影響を受けやすい。したがって、撮影画角がセンサ受光角度の１．５倍を超すと判定される状況では撮像部７００からの出力（第１光源検出部７０４での光源特定結果）を参照して色再現処理（図８中の色再現処理２）を行うように決定がなされる。
【００６７】
続いて、撮影距離が所定の基準距離よりも近いと判定された場合の処理について説明する。撮影距離が所定の基準距離よりも近いと判定されると、第１光源検出部７０４での光源特定結果の信頼度に関する判定が最初に行われる。具体的には、撮像部７００から出力される画像データにより生成される画像中に含まれる白い部分の割合に基づいて上記信頼度に関する判定が行われる。
【００６８】
すなわち、被写体中に白い部分が存在すれば、その白い部分の画像から得られる色情報は撮影照明光の分光特性をより強く反映したものとなる。したがって、上記画像中に含まれる白い部分の割合が例えば画素数比で１０％を越す場合、上記信頼度は高いと判定され、１０％以下の場合には上記信頼度は低いと判定される。
【００６９】
上記信頼度が高いと判定されると、撮像部７００からの出力（第１光源検出部７０４での光源特定結果）を参照して色再現処理（図８中の色再現処理３）が行われる。一方、上記信頼度が低いと判定されると、スペクトル検出装置１１０からの出力（第２光源検出部７１６での光源特定結果）を参照して色再現処理（図８中の色再現処理４）が行われる。
【００７０】
撮影距離が所定の基準距離よりも近いと判定された場合に撮影画角とセンサ受光角度との関係に基づく判定が行われない理由は、以下のとおりである。すなわち、先に図６を参照して説明したように、撮影距離が近いと撮像部７００とセンサモジュール１０６との間の視差が大きくなり、スペクトル検出装置１１０から得られるスペクトル情報が撮影時に被写体を照明していた撮影照明光の特性を必ずしも反映しなくなる可能性が高まるからである。
【００７１】
一方、撮影距離が近い場合には、被写体がより大きく写されるので、第１光源検出部７０４での光源特定結果は被写体中の特定の色の分光反射特性の影響を受けやすい（例えば赤や黄色等、単色に近い花のクローズアップ撮影が行われた場合、第１光源検出部７０４での光源特定結果は花の色の影響を強く受ける）。そこで、画像中に含まれる白い部分の割合に基づいて第１光源検出部７０４での光源特定結果の信頼度を判定し、上述したように色再現処理３または４が選択される。
【００７２】
ところで、上記説明で、色再現処理１、４はスペクトル検出装置１１０からの出力（第２光源検出部７１６での光源特定結果）を参照しての色再現処理であると説明したが、撮像部７００からの出力（第１光源検出部７０４での光源特定結果）も参照してそれぞれの結果を重み付けするなどして色再現処理をしてもよい。また、色再現処理２、３は撮像部７００からの出力（第１光源検出部７０４での光源特定結果）を参照しての色再現処理であると説明したが、以下のような色再現処理が行われても良い。
【００７３】
すなわち、カメラ４００の背面に備えられる液晶表示装置等に、カメラ４００のユーザに対して撮影照明光の種類を入力するように促す表示をして、ユーザの入力を受け付けるようにしてもよい。ユーザが入力可能な撮影照明光の種類は、一例として、晴天屋外、曇天屋外、タングステン灯、白色蛍光灯、昼白色蛍光灯、昼光色蛍光灯、ＬＥＤ灯などがある。あるいは、撮影照明光の種類ではなく、色温度（Ｋ）をユーザが入力できるようにしてもよい。そして、入力された撮影照明光の種類（あるいは色温度）と、撮像部７００からの出力（第１光源検出部７０４での光源特定結果）あるいはスペクトル検出装置１１０からの出力（第２光源検出部７１６での光源特定結果）とを参照して色再現処理をするように決定してもよい。
【００７４】
画像処理部７０６は、上記色再現処理１から４のうち、色再現処理方法決定部７１２で決定されたいずれかの色再現処理によって色再現処理を行う。画像処理部７０６で行われる色再現処理としては、撮像部７００から出力される画像データに対して色バランスを調節する処理とすることが可能である。あるいは、ＲＡＷデータに付加するための撮影照明情報を生成する処理とすることも可能である。
【００７５】
以上に説明したように、本発明の第１の実施の形態によれば、外光式のスペクトル検出装置１１０から得られるスペクトル情報を参照するか否かが、撮影光学系４０４で撮影が行われたときに設定されていた画角および撮影距離に基づいて決定される。そして、スペクトル情報を参照しないと決定された場合にはスペクトル検出装置１１０から出力されるスペクトル情報を参照せず、撮像部７００から出力される画像データを分析した結果に基づいて色再現処理を行うように決定される。
【００７６】
一方、スペクトル情報を参照すると決定された場合には、撮像部７００から出力される画像データを分析した結果とスペクトル情報とのうち、少なくともスペクトル情報を参照して色再現処理を行うように決定される。これにより、より高い精度で色再現処理を行うことが可能となる。
【００７７】
以上では、スペクトル検出装置１１０がカメラ４００に内蔵されるものとして説明をしたが、スペクトル検出装置１１０がカメラに対して外付け可能に構成されていてもよい。
【００７８】
また、撮影条件情報取得部７１０、色再現処理方法決定部７１２、色温度検出部７０２、第１光源検出部７０４、スペクトル情報入力部７１４、第２光源検出部７１６、画像処理部７０６がカメラ４００に備えられるものとして説明したが、これらの要素がスペクトル検出装置１１０の中に備えられていてもよい。
【００７９】
例えば、スペクトル検出装置１１０が外付け式のものである場合、カメラ４００から画像データと撮影条件情報とをスペクトル検出装置１１０が受ける。スペクトル検出装置１１０は、撮影条件情報と、スペクトル検出して得たスペクトル情報とを用いて画像データに色再現処理を行い、処理後の画像データをカメラ４００に戻す。
【００８０】
あるいは、上記の撮影条件情報取得部７１０、色再現処理方法決定部７１２、色温度検出部７０２、第１光源検出部７０４、スペクトル情報入力部７１４、第２光源検出部７１６、画像処理部７０６を備える画像処理装置として本発明を実施することも可能である。この画像処理装置は、ＰＣと、ＰＣ上で実行されるソフトウェアとによって構成可能である。
【００８１】
一方、カメラ４００はスペクトル検出装置１１０を内蔵するか、スペクトル検出装置１１０が外付けされ、撮像部７００から出力される画像データに撮影条件情報とスペクトル情報とが付加されてメモリカード等の記憶媒体に記憶される。画像処理装置は、カメラ４００の記憶媒体中から、撮影条件情報とスペクトル情報が付加された画像データを読み出し、色再現の処理をする。
【００８２】
ところで、色再現処理方法決定部７１２が図８を参照して説明した色再現処理方法決定の処理を行い、その際に、第１光源検出部７０４での光源特定結果の信頼度を色再現処理方法決定部７１２で判定することについて先に説明した。この光源特定結果の信頼度の判定に際して、色再現処理方法決定部７１２は画像データを入力することが必要となる。図７において、色再現処理方法決定部７１２が画像データを入力する際の情報の流れが記載されていないが、色再現処理方法決定部７１２は撮像部７００、色温度検出部７０２、および第１光源検出部７０４のうち、いずれかから画像データを入力すればよい。
【００８３】
以上の実施の形態において、カメラ４００は静止画または動画、あるいは両方を記録可能なものとすることができる。
【００８４】
− 第２の実施の形態 −
本発明の第２の実施の形態は、図５に例示されるような、カメラ５００にスペクトル検出装置２１０が外付けされるものとして説明をする。カメラ５００は、レンズ交換式であってもレンズ固定式であってもよい。また、撮影光学系４０４は、単焦点レンズであっても可変焦点距離のレンズであってもよい。本実施の形態において、カメラ５００はレンズ交換式のもので、カメラ５００に装着されている撮影光学系４０４は可変焦点距離のレンズであるものとして説明をする。
【００８５】
図９は、スペクトル検出装置２１０およびカメラ５００の情報処理系統の構成を概略的に説明するブロック図である。スペクトル検出装置２１０は、センサモジュール２０６から出力されるデジタルのセンサデータを記憶するデータメモリ１２０Ａを備える。スペクトル検出装置２１０はまた、データメモリ１２０Ａに記憶されたセンサデータをもとにスペクトル推定処理を行い、スペクトル情報を出力するスペクトル推定処理部１２２Ａを備える。
【００８６】
図９において、センサデータは以下のように表記されている。
ＳＤｉ（ｋ）： ｋ ＝ １〜Ｎ
ｉ ＝ １〜Ｐ
ここでＮは、カラーセンサの数である。また、Ｐはセンサブロックの数である。図２を参照して説明したセンサモジュール２０６が用いられる場合、Ｎは１５となり、Ｐは１００となる。
【００８７】
図９において、スペクトル情報は以下のように表記されている。
ＳＰＤｉ（ｊ）： ｊ＝ １〜Ｍ
ｉ＝ １〜Ｐ
ここでＭは、カメラ５００やスペクトル検出装置２１０の仕様等によって決まる数であり、第１の実施の形態で説明したのと同様である。上述したセンサデータの数Ｎとスペクトル情報の次元数Ｍとの間の関係に関して、必ずしもＭがＮを上回る必要はないのも第１の実施の形態と同様である。Ｐは先に説明したとおり、センサブロックの数である。
【００８８】
センサモジュール２０６から出力されるセンサデータＳＤｉ（ｋ）をもとにスペクトル情報を得る方法については、第１の実施の形態で説明したのと同様の方法とすることができる。すなわち、世の中に存在する自然光や人工光をセンサモジュール２０６中の一つのセンサブロック２０６−ｉで検出したときの出力パターン、すなわちセンサデータＳＤｉ（１）、ＳＤｉ（２）、…、ＳＤｉ（ｋ）の相対値（これをデータパターンと称する。）と、それらの自然光や人工光の分光スペクトルとの関係が予め求められてスペクトル検出装置２１０内にテーブルとして保持されているものとする。
【００８９】
スペクトル推定処理部１２２Ａは、データメモリ１２０Ａ中に記憶されるセンサデータＳＤｉ（ｋ） （ｋ＝１〜Ｎ） に正規化の処理を施してデータパターンを導出することを、Ｐ個のセンサブロックのそれぞれに対応して行う（ｉ＝１〜Ｐ）。スペクトル推定処理部１２２Ａはさらに、センサデータのデータパターンに最も類似するデータパターンを探索し、このデータパターンに対応する分光スペクトルデータをテーブル中から読み出してスペクトル情報ＳＰＤｉ（ｋ）とすることを、Ｐ個のセンサブロックのそれぞれに対応して行う。以上の処理により、スペクトル推定処理部１２２Ａはスペクトル情報ＳＰＤｉ（ｊ） （ｉ＝１〜Ｐ ｊ＝１〜Ｍ）を出力することが可能となる。
【００９０】
カメラ５００は、撮像部７００と、色温度検出部７０２と、第１光源検出部７０４と、画像処理部７０６Ａと、撮影条件情報取得部７１０と、色再現処理方法決定部７１２Ａと、スペクトル情報入力部７１４Ａと、スペクトル情報抽出部７１８と、第２光源検出部７１６Ａとをさらに備える。また、撮影光学系４０４はレンズ制御部４０６を備える。これらの構成要素のうち、第１の実施の形態において説明したものと同様の機能を有するものについては図９において同じ符号を付し、その説明を省略する。
【００９１】
第２の実施の形態においても、撮像部７００は、ＲＧＢの画像データを出力するものとするが、他の色空間の画像データを出力可能に構成されていても良いし、３色よりも多い色数の画像データを出力可能に構成されていてもよい。そして、センサモジュール２０６が備える各センサブロック中のカラーセンサで色分解可能な数は、撮像部７００から出力される画像データの色数よりも多くなるようにシステム設計がなされる。
【００９２】
色再現処理方法決定部７１２Ａは、撮影条件情報取得部７１０から撮影条件情報を入力する。この撮影条件情報中には、撮影が行われたときに撮影光学系４０４で設定されていた撮影画角および撮影距離を導出可能な情報を含む。
【００９３】
また、色再現処理方法決定部７１２Ａは、撮影条件情報取得部７１０から入力した上記撮影条件情報に基づき、以下で説明するように、スペクトル情報と、画像データを分析した結果とのうち、少なくともいずれかを参照して色再現処理を行うように決定する。
【００９４】
スペクトル情報に関しては、複数のスペクトル情報ＳＰＤｉ（ｊ） （ｉ＝１〜Ｐ、ｊ＝１〜Ｍ）のうち、参照する対象のスペクトル情報を撮影条件情報に基づいて選択し、この選択結果に対応する情報であるスペクトル選択情報をスペクトル情報抽出部７１８に出力する。そして、選択されたスペクトル情報と、画像データを分析した結果とのうち、少なくともいずれかを参照して色再現処理を行うように決定する。
【００９５】
上記の色再現処理方法決定処理におけるスペクトル情報の選択方法について図１０を参照して説明する。図１０は、スペクトル検出装置２１０のセンサ受光範囲と撮影光学系４０４の撮影範囲との関係を概念的に示す図である。図１０（ａ）から図１０（ｄ）のそれぞれにおいて示される１００個の矩形は、センサモジュール２０６中の１００個のセンサブロックそれぞれで検出される範囲を示している。また、図１０（ａ）から図１０（ｄ）のそれぞれにおいて示される１００個の矩形のうち、太い線で描かれた矩形は、色再現処理方法決定部７１２Ａで選択されたスペクトル情報に対応するものを示している。図１０（ａ）から図１０（ｄ）はいずれもセンサ受光範囲の大きさが同じとなるように描かれている。
【００９６】
図１０（ａ）、図１０（ｂ）は、撮影光学系４０４の設定焦点距離が短めに設定された場合の例を示しており、このうち図１０（ａ）は撮影距離が遠めに設定された場合の例を、図１０（ｂ）は撮影距離が近めに設定された場合の例を示している。
【００９７】
図１０（ｃ）、図１０（ｄ）は、撮影光学系４０４の設定焦点距離が長めに設定された場合の例を示しており、このうち図１０（ｃ）は撮影距離が遠めに設定された場合の例を、図１０（ｄ）は撮影距離が近めに設定された場合の例を示している。
【００９８】
つまり、図６を参照して説明すると、図１０（ａ）は広角の撮影範囲および撮影距離２に対応する状況を示しており、図１０（ｂ）は広角の撮影範囲および撮影距離１に対応する状況を示しており、図１０（ｃ）は望遠の撮影範囲および撮影距離２に対応する状況を示しており、図１０（ｄ）は望遠の撮影範囲および撮影距離１に対応する状況を示していると考えると理解しやすい。
【００９９】
図１０（ａ）、図１０（ｂ）に例示される、焦点距離が広角側に設定された状況では、センサ受光範囲が撮影範囲内に収まっている結果として、センサブロック２０６−１、２０６−２、…、２０６−１００から出力されるセンサデータに基づくスペクトル情報が全て選択される様子が示されている。なお、焦点距離が相当に短い状況では、センサ受光範囲に比して撮影範囲が広くなる。その結果、相対的にセンサ受光範囲が狭くなり、中央重点度が高くなる。そのような場合にはスペクトル情報を参照しない、という決定を色再現処理方法決定部７１２Ａで行うことが可能である。なお、図１０（ａ）、図１０（ｂ）においてセンサ受光範囲と撮影範囲との間の相対位置関係が変化している様子が描かれているが、これは先に説明した視差の影響によるものである。
【０１００】
図１０（ｃ）、図１０（ｄ）に例示される、焦点距離が望遠側に設定された状況では、センサ受光範囲の一部が撮影範囲となる。これに対応して、センサブロック２０６−１、２０６−２、…、２０６−１００のうち、被写界中の撮影範囲と略一致する部分からの光を検出するセンサブロックに対応するスペクトル情報が選択される様子が図１０（ｃ）、図１０（ｄ）に示されている。図１０（ｃ）、図１０（ｄ）においても、先に説明した視差によってセンサ受光範囲と撮影範囲との間の相対位置関係が変化している様子が描かれている。色再現処理方法決定部７１２Ａでは、撮影条件情報に基づいてスペクトル情報を選択するので、撮影範囲の変化に加え、センサ受光範囲と撮影範囲との間の相対位置関係の変化にも対応して、スペクトル情報を選択することができる。
【０１０１】
なお、視差に関しては、撮影距離、画撮影画角に加えて、スペクトル検出装置２１０と撮影光学系４０４との間の光軸間距離（図６において符号Ｄで示される）にも依存する。撮影光学系４０４の光軸とスペクトル検出装置２１０の光軸とが所定の距離で交差するように（非平行に）設定されている場合、厳密には光軸間距離と称することはできない。そこで、この寸法Ｄは、一例として、撮像面（撮影光学系４０４の結像面）に対して撮影光学系４０４の光軸が交わる点と、同じく撮像面に対してスペクトル検出装置２１０の光軸が交わる点との間の距離として定義することが可能である。この距離Ｄに関する情報に関しては、カメラ５００内またはスペクトル検出装置２１０内に予め記憶しておけばよい。
【０１０２】
再び図９を参照し、スペクトル情報入力部７１４Ａは、スペクトル検出装置２１０からスペクトル情報ＳＰＤｉ（ｊ） （ｉ＝１〜Ｐ、ｊ＝１〜Ｍ）を入力する。スペクトル情報抽出部７１８は、スペクトル情報入力部７１４Ａに入力されたスペクトル情報のうち、色再現処理方法決定部７１２Ａから出力されたスペクトル選択情報に対応するものを抽出し、第２光源検出部７１６Ａに出力する。第２光源検出部７１６Ａは、スペクトル情報抽出部７１８から入力したスペクトル情報をもとに、撮影照明光の種類を特定する処理を行う。第２光源検出部７１６Ａにおける撮影照明光の種類特定の処理は、第１の実施の形態で説明した第２光源検出部７１６での処理と同様であるので説明を省略する。
【０１０３】
色再現処理方法決定部７１２Ａでは、上述したスペクトル情報選択の処理の他に、第１の実施の形態で図８を参照して説明した処理も行う。すなわち、撮影条件情報取得部７１０から入力した上記撮影条件情報に基づき、スペクトル情報と、画像データを分析した結果とのうち、少なくともいずれかを参照して色再現処理を行うように決定する。
【０１０４】
第１光源検出部７０４での光源特定結果の信頼度を色再現処理方法決定部７１２Ａで判定する際には、第１の実施の形態で説明したのと同様、色再現処理方法決定部７１２Ａは撮像部７００、色温度検出部７０２、および第１光源検出部７０４のうち、いずれかから画像データを入力すればよい。
【０１０５】
画像処理部７０６Ａは、上記色再現処理１から４のうち、色再現処理方法決定部７１２Ａで選択されたスペクトル情報と、同じく色再現処理方法決定部７１２Ａで決定されたいずれかの色再現処理とによって色再現処理を行う。画像処理部７０６Ａで行われる色再現処理としては、撮像部７００から出力される画像データに対して色バランスを調節する処理とすることが可能である。あるいは、ＲＡＷデータに付加する撮影照明情報を生成する処理とすることも可能である。
【０１０６】
以上に説明したように、本発明の第２の実施の形態によれば、撮影条件情報取得部７１０から入力した上記撮影条件情報に基づき、外光式のスペクトル検出装置２１０から得られるスペクトル情報と、撮像部７００から出力される画像データを分析した結果とのうち、少なくともいずれかを参照して色再現処理を行う。これにより、撮影距離の変化や撮影画角の変化等の影響が減じられて、より高い精度で色再現処理を行うことが可能となる。
【０１０７】
以上では、スペクトル検出装置２１０がカメラ５００に外付けされるものとして説明をしたが、スペクトル検出装置２１０がカメラ５００に内蔵されるものであってもよい。
【０１０８】
また、撮影条件情報取得部７１０、色再現処理方法決定部７１２Ａ、色温度検出部７０２、第１光源検出部７０４、スペクトル情報入力部７１４Ａ、スペクトル情報抽出部７１８、第２光源検出部７１６Ａ、画像処理部７０６Ａについては、第１の実施の形態で説明したのと同様に、スペクトル検出装置２１０内に内蔵されていても、ＰＣと、ＰＣ上で実行されるソフトウェアとによって構成される画像処理装置に内蔵されていてもよい。
【０１０９】
以上の実施の形態においても、カメラ５００は静止画または動画、あるいは両方を記録可能なものとすることができる。
【０１１０】
− 第３の実施の形態 −
本発明の第３の実施の形態も、第２の実施の形態と同様、図５に示されるように、カメラ５００にスペクトル検出装置２１０が外付けされるのとして説明をする。カメラ５００は、レンズ交換式であってもレンズ固定式であってもよい。また、撮影光学系４０４は、単焦点レンズであっても可変焦点距離のレンズであってもよい。カメラ内部の構成が第２の実施の形態と異なるので、以下ではカメラ５００Ａと称する。第３の実施の形態においても、カメラ５００Ａはレンズ交換式のもので、カメラ５００Ａに装着されている撮影光学系４０４は可変焦点距離のレンズであるものとして説明をする。
【０１１１】
図１１は、スペクトル検出装置２１０およびカメラ５００Ａの情報処理系統の構成を概略的に説明するブロック図である。図１１に示される各構成要素中、第１、第２の実施の形態で説明したものと同じ構成要素については図７、図９中の構成要素に付されるのと同じ符号を付してその説明を省略する。
【０１１２】
第３の実施の形態と第２の実施の形態との違いは、第３の実施の形態においてカメラ５００Ａが白色点抽出処理部７２０をさらに備える点である。そして、色再現処理方法決定部７１２Ｂは、撮影条件情報取得部７１０から撮影条件情報を、白色点抽出処理部７２０から白色点位置情報を、それぞれ入力する。
【０１１３】
ここで白色点抽出処理部７２０の作用について説明する。白色点抽出処理部７２０は、撮像部７００から出力される画像データにより生成される画像中に含まれる白色部分を抽出する処理を行う。この、白色部分を抽出する処理とは、画像中で白いもの（あるいは白色に近いもの）が写っている場所を抽出する処理である。
【０１１４】
当然、被写体表面の色が白であっても、被写体の色は撮影照明光の色の影響を受ける。そのことを想定して、Ｒ、Ｇ、Ｂの画素値の比率が所定の範囲内にあるときにその色は白であると判定してもよい。あるいは、色温度検出部７０２での色温度検出結果や第１光源検出部７０４での光源特定結果をもとに画像データの色バランスを変更してから白色点抽出処理部７２０が白色部分を抽出する処理をしてもよい。あるいは画素値の輝度レベルを参照して輝度レベルが高い部分を白色部分であるものとして抽出する処理を行っても良い。
【０１１５】
色再現処理方法決定部７１２Ｂは、撮影条件情報取得部７１０から入力した撮影条件情報と、白色点抽出処理部７２０から入力した白色点位置情報とに基づき、スペクトル情報を参照するか否かを決定する。そして、スペクトル情報を参照しないと決定した場合には、スペクトル情報を参照せず、画像データを分析した結果に基づいて色再現処理を行うように決定する。
【０１１６】
一方、スペクトル情報を参照すると決定した場合には、複数のスペクトル情報ＳＰＤ１（ｊ）、ＳＰＤ２（ｊ）、… のうち、参照する対象のスペクトル情報を撮影条件情報と白色点位置情報とに基づいて選択する。そして選択したスペクトル情報と、画像データを分析した結果とのうち、少なくとも選択したスペクトル情報を参照して色再現処理を行うように決定する。
【０１１７】
つまり、白色点位置情報により、画像中のどの位置に白色点が位置しているかがが特定可能で、その白色点位置に対応するセンサブロックがどれであるかは撮影条件情報から特定可能であるので、上述のように白色点位置に対応するスペクトル情報が、参照する対象のスペクトル情報として選択される。
【０１１８】
被写体中の白色点（白いものが写っている領域）からの光を受光するセンサブロックが存在する場合、そのセンサブロックからの出力をもとに得られるスペクトル情報は撮影照明光の分光放射輝度をより正確に反映したものとなる。したがって、被写体中の白色点からの光を受光するセンサブロックからのスペクトル情報が選択されることにより、第２光源検出部７１６Ａでの光源特定精度を高めることが可能とる。その結果、画像処理部７０６Ａでの色再現精度も高めることが可能となる。
【０１１９】
白色点抽出処理部７２０が白色点を抽出できなかった場合、色再現処理方法決定部７１２Ｂは第１、第２の実施の形態で図８を参照して説明した方法に従って色再現処理方法を決定する。第１光源検出部７０４での光源特定結果の信頼度を色再現処理方法決定部７１２Ｂで判定する際には、第１、第２の実施の形態で説明したのと同様、色再現処理方法決定部７１２Ｂは撮像部７００、色温度検出部７０２、第１光源検出部７０４、および白色点抽出処理部７２０のうち、いずれかから画像データを入力すればよい。
【０１２０】
以上では撮像部７００から出力される画像データをもとに被写体中の白色点を抽出する例について説明したが、以下のようにしてもよい。すなわち、色再現処理方法決定部７１２Ｂが撮影条件情報に基づいてスペクトル情報を選択する際に、撮影範囲よりも広く設定した範囲内からの光を受光するセンサブロックからのスペクトル情報を選択する。そして、このスペクトル情報を解析して、被写体および被写界中の白い部分からの光を受光しているものとみなせるセンサブロックからのスペクトル情報を選択する。このようにスペクトル情報を選択することにより、第２光源検出部７１６Ａでの光源特定精度を高めることが可能となる。
【０１２１】
例えば、撮影画角が小さめ（あるいは撮影倍率が大きめ）で、画面一杯に特定の色の被写体が写されているような場合、撮像部７００から出力される画像データに基づく白色点抽出の処理は難しくなることが予想される。その点、撮影範囲よりも広く設定した範囲内からの光を受光するセンサブロックからのスペクトル情報中から被写体および被写界中の白い部分からの光を受光しているものとみなせるセンサブロックからのスペクトル情報を選択することにより、第２光源検出部での光源特定精度を高めることが期待できる。
【０１２２】
色再現処理方法決定部７１２Ｂが上記のようにスペクトル情報を解析し、被写体および被写界中の白い部分からの光を受光しているものとみなせるセンサブロックからのスペクトル情報を選択する場合、図１１には示されていないが、色再現処理方法決定部７１２Ｂはスペクトル情報入力部７１４Ａからスペクトル情報を取得すればよい。
【０１２３】
以上では、スペクトル検出装置２１０がカメラ５００Ａに外付けされるものとして説明をしたが、スペクトル検出装置２１０がカメラ５００Ａに内蔵されるものであってもよい。
【０１２４】
また、撮影条件情報取得部７１０、色再現処理方法決定部７１２Ｂ、色温度検出部７０２、第１光源検出部７０４、白色点抽出処理部７２０、スペクトル情報入力部７１４Ａ、スペクトル情報抽出部７１８、第２光源検出部７１６Ａ、画像処理部７０６Ａについては、第１の実施の形態で説明したのと同様に、スペクトル検出装置２１０内に内蔵されていても、ＰＣと、ＰＣ上で実行されるソフトウェアとによって構成される画像処理装置に内蔵されていてもよい。
【０１２５】
以上の実施の形態においても、カメラ５００Ａは静止画または動画、あるいは両方を記録可能なものとすることができる。
【０１２６】
− 第４の実施の形態 −
第１〜第３の実施の形態においては、画像処理装置がカメラ内に備えられるものとして説明をした。これに対して、本発明の第４の実施の形態においては、カメラと独立した画像処理装置において画像処理が行われる例について説明する。この画像処理装置は、カメラで生成されて保存された画像ファイル中の画像データに色再現処理をする。
【０１２７】
ここでカメラは図５に示されるような、スペクトル検出装置２１０が外付けされたカメラ５００であるものとする。画像ファイルは、画像データにタグ情報が付加されて所定のフォーマットで記録されたものである。画像データはいわゆるＲＡＷデータであるものとし、付加されるタグ情報中には撮影条件情報とスペクトル情報とを含む。このスペクトル情報は、画像撮影時にスペクトル検出装置２１０でスペクトル検出が行われた際の、全センサブロックから得られたセンサデータに基づいて生成されたスペクトル情報（図２の例では１００組のスペクトル情報）を含むものとする。
【０１２８】
カメラ５００は、レンズ交換式であってもレンズ固定式であってもよい。また、撮影光学系４０４は、単焦点レンズであっても可変焦点距離のレンズであってもよい。第４の実施の形態においても、カメラ５００はレンズ交換式のもので、カメラ５００に装着されている撮影光学系４０４は可変焦点距離のレンズであるものとする。
【０１２９】
図１２は、画像処理装置１２００の内部構成を概略的に説明するブロック図である。画像処理装置１２００は、ＰＣおよびＰＣ上で実行されるプログラムによって構成されたものとすることができる。また、ストレージビューワやデジタルフォトフレーム、あるいはディスプレイモニタに接続されるセットトップボックス等に画像処理装置１２００が備えられるものとして実施することも可能である。
【０１３０】
図１２に示される各構成要素中、第１〜第３の実施の形態で説明したものと同じ構成要素については図７、図９、図１１中の構成要素に付されるのと同じ符号を付してその説明を省略する。
【０１３１】
第４の実施の形態において、画像処理装置１２００は第３の実施の形態で説明したカメラ５００Ａが有していた色温度検出部７０２、第１光源検出部７０４、第２光源検出部７１６Ａ、画像処理部７０６Ａを備えておらず、代わりに画像データ記憶部１２０２、情報分離部１２０４、スペクトル導出処理部１２０６、被写体情報導出部１２０８、色変換処理部１２１０を備えている。
【０１３２】
図１３には、図１２中の被写体情報導出部１２０８および色変換処理部１２１０の詳細を示す。被写体情報導出部１２０８は、分光反射スペクトル導出部１２１２と被写体統計データ導出部１２１４とを備える。色変換処理部１２１０は、色変換データ作成部１２１６と出力デバイス色変換部１２１８とを備える。
【０１３３】
画像データ記憶部１２０２は、半導体記憶装置や磁気記憶装置で構成され、画像ファイルが記憶される。画像ファイルは、先にも説明したように、ＲＡＷ画像データとタグ情報とを含んでおり、そのタグ情報中には撮影条件情報とスペクトル検出装置２１０の全センサブロックから得られたスペクトル情報が含まれる。
【０１３４】
情報分離部１２０４は、画像データ記憶部１２０２から読み出された画像ファイル中から画像データ、撮影条件情報、スペクトル情報を分離して抽出する。撮影条件情報取得部７１０Ａは、情報分離部１２０４から撮影条件情報を入力する。スペクトル情報入力部７１４Ａは、情報分離部１２０４からスペクトル情報を入力する。
【０１３５】
白色点抽出処理部７２０Ａおよび色変換処理部１２１０は、情報分離部１２０４から画像データを入力する。なお、情報分離部１２０４は、ＲＡＷ画像データを現像する機能を有するものとしてよい。その場合、情報分離部１２０４から白色点抽出処理部７２０Ａおよび色変換処理部１２１０に出力される画像データはデモザイクやシェーディング補正等の処理が行われた画像データとなる。あるいは、白色点抽出処理部７２０Ａおよび色変換処理部１２１０は情報分離部１２０４からＲＡＷ画像データを入力し、それぞれで必要に応じた処理をしてもよい。
【０１３６】
白色点抽出処理部７２０Ａで行われる白色点抽出処理は、第３の実施の形態中の白色点抽出処理部７２０で行われる処理と同様であるのでその説明を省略する。色再現処理方法決定部７１２Ｃは、撮影条件情報取得部７１０Ａから入力した撮影条件情報と、白色点抽出処理部７２０Ａから入力した白色点位置情報とに基づき、複数のスペクトル情報の中から参照すべきスペクトル情報を決定する。
【０１３７】
ここで、色再現処理方法決定部７１２Ｃにおいて参照すべきスペクトル情報として選択される対象は２種類ある。一つは、被写体中の白色点からの光を受光するセンサブロックからの出力をもとに得られたスペクトル情報である。これを第１スペクトル情報と称する。もう一つは、被写体（撮影範囲）中の、白色点以外の部分からの光を受光するセンサブロックからの出力をもとに得られたスペクトル情報である。これを第２スペクトル情報と称する。
【０１３８】
スペクトル情報抽出部７１８は、スペクトル情報入力部７１４Ａに入力されたスペクトル情報のうち、色再現処理方法決定部７１２Ｃで選択された、第１スペクトル情報、第２スペクトル情報に該当するものを抽出し、スペクトル導出処理部１２０６に出力する。
【０１３９】
スペクトル導出処理部１２０６は、第１スペクトル情報に基づき、撮影照明情報を導出する。撮影照明情報は、撮影照明光の分光スペクトルを特定可能な情報である。スペクトル導出処理部１２０６はまた、第２スペクトル情報に基づき、被写体スペクトル情報を導出する。ここで図１４を参照して被写体スペクトル情報の導出処理について説明する。
【０１４０】
図１４は、スペクトル情報抽出部７１８から得られる第１スペクトル情報および第２スペクトル情報をｎ次元空間座標系（多次元スペクトル空間）にプロットした様子を示す概念図である。ここで、スペクトル情報抽出部７１８で抽出される第１スペクトル情報および第２スペクトル情報はＭ次元のスペクトル情報であるので、ｎ＝Ｍということになる。
【０１４１】
図１４において、第１スペクトル情報に基づいてプロットすると、光源のスペクトル分布範囲を把握することが可能となる。理由は、被写体の白色部分で反射された光は撮影照明光のスペクトル分布をより忠実に反映するからである。さらに、第２スペクトル情報に基づいてプロットすると、一例として図１４中において破線の楕円で囲われたようなプロット点群が得られる。
【０１４２】
これらのプロット点群のうち、光源のスペクトル分布範囲内にプロットされる点群は撮影照明光由来のスペクトル成分であると見なす。光源のスペクトル分布範囲に比較的近い領域にプロットされる点群は、撮影照明光由来のものか、被写体色由来のものか弁別が難しいので参照対象から外す。そして、光源のスペクトル分布範囲から十分に離れた領域にプロットされる点群は、被写体色由来のものであるとする。
【０１４３】
スペクトル導出処理部１２０６は、以上に説明した方法によって、第１スペクトル情報から撮影照明情報を導出し、第２スペクトル情報から被写体スペクトル情報を導出する。そして、被写体スペクトル情報および撮影照明情報を被写体情報導出部１２０８内の分光反射スペクトル導出部１２１２に出力する。スペクトル導出処理部１２０６はまた、撮影照明情報を色変換処理部１２１０内の色変換データ作成部１２１６に出力する。
【０１４４】
分光反射スペクトル導出部１２１２は、被写体スペクトル情報を撮影照明情報で正規化する（除する）処理を行い、分光反射スペクトルを導出して被写体統計データ導出部１２１４に出力する。被写体統計データ導出部１２１４は、被写体の分光反射スペクトルをもとに被写体統計データを導出する。
【０１４５】
ところで、被写体統計データとは、ＲＧＢ３バンドの画像データ等、限られた色情報の画像データから、より高精度の色再現を行う際に参照される情報である。被写体統計データを参照することにより、被写体の色がどのような分光特性を有しているかを知ることができる。この被写体統計データは、予め予想される被写体に対して前もって分光特性を計測し、生成しておくことも可能である。
【０１４６】
前もって分光特性を計測する場合、分光計などを用いて３８０ｎｍから７８０ｎｍまでの可視光範囲で高精度に測定することも可能である。例えば、皮膚科での診察に応用する場合、前もって肌の分光特性を計測しておくことができる。そして、上皮組織のメラニン、皮膚の下を流れる血液のヘモグロビンといった物質に由来する分光特性を被写体統計情報として蓄積することにより、高精度の色再現処理を行うことが可能となる。
【０１４７】
一方、本実施の形態では、撮影が行われたときの情報をもとに被写体統計データがその場で生成される。本実施の形態のように１５バンドのカラーセンサを用いた場合、被写体統計データの精度を高めることは難しいが、被写体統計データを用いない場合と比較すると色再現精度を向上させることが可能となる。また、撮影対象の被写体が何であるかを撮影者または画像処理装置のユーザが設定可能に構成されていてもよい。その情報も加味することにより、被写体統計データの精度を高め、その結果として色再現精度を向上させることが可能となる。
【０１４８】
色変換データ作成部１２１６は、スペクトル導出処理部１２０６から撮影照明情報を、被写体情報導出部１２０８（被写体統計データ導出部１２１４）から被写体統計データを入力して色変換データを作成する処理を行う。ところで、色変換処理部１２１０には、撮像部分光感度、観察環境照明光源スペクトル、出力機器色空間、モニタ色特性、観察者等色関数に関する情報が入力される。
【０１４９】
撮像部分光感度の情報は、カメラ５００の分光感度特性に関する情報を含む。この撮像部分光感度の情報には撮影光学系４０４の分光透過特性も反映されているものとする。観察環境照明光源スペクトルは、画像を表示するモニタの設置される環境を照明している光源（観察環境照明光源）のスペクトルに関する情報を含む。出力機器色空間の情報は、画像を表示するモニタの色空間に関する情報を含む。モニタ色特性の情報は、モニタの色再現特性に関する情報（モニタプロファイル）を含む。
【０１５０】
観察者等色関数の情報は、画像を観視する観察者の視感度（分光感度）に関する情報を含む。すなわち、人間の視覚系の分光感度はＣＩＥによって標準が定められているが、この分光感度には個人差がある。この個人差が無視できない応用形態においては、各個人の分光感度に対応して等色関数の形態で表現したものが観察者等色関数として画像処理装置１２００内に記憶され、色変換データ作成部１２１６に入力される。
【０１５１】
色変換データ作成部１２１６は、撮影照明情報、被写体統計データとともに上記の情報を用いて色変換マトリクスやルックアップテーブル等の色変換データを生成し、出力デバイス色変換部１２１８に出力する。出力デバイス色変換部１２１８は、色変換データを用いて画像データに色変換の処理をし、変換後画像データを生成する。この変換後画像データは、ディスプレイモニタ等に出力される。
【０１５２】
以上では、一つの画像に対応して一つの被写体統計データが生成される例について説明した。しかし、一つの画像中には様々な分光反射特性を有する被写体が写っている可能性がある。それらの被写体に一様の被写体統計データを適用すると、一つの画像中に存在する被写体によっては望ましい色再現ができない可能性もある。しかし、被写体の肌の色を高精度に再現したり、商品カタログ中の服の色を高精度に再現したりする用途においては十分な効果を発揮する。
【０１５３】
上記の被写体統計データに関して、センサモジュールに備えられるセンサブロックの数を多くすることが可能であれば、撮影範囲内を複数の領域に分割して、分割された領域ごとに被写体統計データを生成することも可能である。そのようにすることにより、一つの画像内に異なる分光反射特性を有する被写体が写っていても、それらの分光反射特性に対応して高精度の色再現が可能となる。
【０１５４】
本発明の第４の実施の形態によれば、以上に説明したように、撮影条件情報に基づいて選択されたスペクトル情報を用いて撮影照明情報と被写体統計データとが生成され、これらの撮影照明情報、被写体統計データに基づき、より高度の色再現処理が行われる。このとき、撮像部分光感度、観察環境照明光源スペクトル、出力機器色空間、モニタ色特性、観察者等色関数の各情報が参照されて色変換マトリクスが生成されるので、観察者の視感度、モニタの色再現特性、観察環境照明光の影響を減じてより高度の色再現を行うことが可能となる。
【０１５５】
尚、本発明の第４の実施の形態では、撮影条件情報に基づいて選択されたスペクトル情報を用いて撮影照明情報と被写体統計データとが生成され、これらの撮影照明情報、被写体統計データに基づき、より高度の色再現処理が行われている。これに対して、例えば撮影条件情報に基づいて選択されたスペクトル情報を撮影照明情報の生成にのみ用いるという構成も考えられる。この場合被写体統計データは前述のようにあらかじめ予想される被写体に対して前もって分光特性を計測して作成しておくか、ある一般的な値を用意するか、精度は落ちるものの、使用しないというような構成にするということも考えられる。被写体統計データを使用しない場合、色再現性能若干は落ちるが、それでも撮影照明情報の精度がよいので、一般的な（本発明にはよらない）画像処理に比べては依然として優位で、かつデータ量が少ない軽いシステムが得られる。さらにこのような場合にはまた、スペクトル検出装置としてスペクトル検出装置１１０のような一点計測式のものを用いることもできるので、スペースやコストの点で有利なシステムを提供することが出来る。
【０１５６】
以上の第３、第４の実施の形態において、白色点抽出処理部７２０、７２０Ａは、画像中で白いもの（あるいは白色に近いもの）が写っている場所を抽出する処理を行うことについて説明した。より高度な色再現を実現するためには、より高い精度で撮影照明光のスペクトルを検出することが欠かせない。
【０１５７】
ここで、撮影照明光のスペクトルの検出精度をさらに高める方法について図１５を参照して説明する。図１５（ａ）は、ペンダント状の白色色標１０００を身につけた被写体ｏｂｊを示している。この白色色標１０００は、既知の分光反射率を有する反射面を備える。白色色標１０００の形状や形態に関しては、様々なものとすることが可能である。例えば、医療の分野であれば、分光反射率が既知の布でできた服（白衣など）を患者に着せてもよい。また、分光反射率が既知の壁面等を背景にして被写体を撮影することも可能である。
【０１５８】
図１０に示されるのと同様、図１５（ｂ）、図１５（ｃ）は、撮影光学系４０４の設定焦点距離が短めに設定された場合の例を示しており、このうち図１５（ｂ）は撮影距離が遠めに設定された場合の例を、図１５（ｃ）は撮影距離が近めに設定された場合の例を示している。
【０１５９】
図１５（ｄ）、図１５（ｅ）は、撮影光学系４０４の設定焦点距離が長めに設定された場合の例を示しており、このうち図１５（ｄ）は撮影距離が遠めに設定された場合の例を、図１５（ｅ）は撮影距離が近めに設定された場合の例を示している。
【０１６０】
白色点抽出処理部７２０、７２０Ａは、画像中で白色色標１０００の写されている位置を検出し、その位置からの光を受けるセンサブロックからの出力に基づくスペクトル情報を選択する。図１５（ｂ）、図１５（ｃ）、図１５（ｄ）、図１５（ｅ）のそれぞれにおいて、１００個のセンサブロックによって検出されるエリアのうち、太い線で描かれた小さな矩形が選択されたスペクトル情報に対応するものを示している。
【０１６１】
上述のように、白色色標１０００の分光反射率は既知であるので、撮影照明光のスペクトルをより高精度に検出することが可能となり、結果として色再現処理の精度を高めることが可能となる。
【０１６２】
− 第５の実施の形態 −
本発明の第５の実施の形態は、第２、第３の実施の形態と同様、図５に示されるような、カメラ５００に多点計測式のスペクトル検出装置２１０が外付けされるものとして説明をする。カメラ５００は、レンズ交換式であってもレンズ固定式であってもよい。また、撮影光学系４０４は、単焦点レンズであっても可変焦点距離のレンズであってもよい。カメラ内部の構成が第２の実施の形態と異なるので、以下ではカメラ５００Ｂと称する。第５の実施の形態においても、カメラ５００Ｂはレンズ交換式のもので、カメラ５００Ｂに装着されている撮影光学系４０４は可変焦点距離のレンズであるものとして説明をする。
【０１６３】
図１６は、多点計測式のスペクトル検出装置と、そのスペクトル検出装置が接続されるカメラと、そのカメラから伝送されたＮＶデータを受信して色変換処理をする色変換処理部と、色変換処理部で処理された画像データに基づく画像を表示するディスプレイモニタとを備える遠隔病理診断システムの情報処理系統の構成を概略的に説明するブロック図である。図１６に示される各構成要素中、第１、第２、第３の実施の形態で説明したものと同じ構成要素については図７、図９、図１１中の構成要素に付されるのと同じ符号を付してその詳細な説明を省略する。
【０１６４】
第５の実施の形態において、第３の実施の形態との違いは、カメラ５００ＢがＮＶデータを生成し、カメラ５００ＢとネットワークＮＷを介して接続される色変換処理部１６０２にＮＶデータを送信可能に構成される点である。そして、このＮＶデータを色変換処理部１６０２が受信して色変換処理を行い、ディスプレイモニタ１６０６に出力する。
【０１６５】
ここでＮＶデータについて説明する。３よりも多いバンド数、例えば６バンド、１６バンドといったバンド数の色情報を有する画像データをもとに生成される表示画像を、３よりも多い表示原色数、例えば６原色を有する多原色表示装置に表示する技術が開発されている。この技術はナチュラルビジョンと称され、今までに数多くの研究成果が報告されている。
【０１６６】
ナチュラルビジョンの技術の応用が期待される分野の一つが医療分野である。例えば、離島にいる患者の皮膚や病理組織のサンプルを撮影して画像データを伝送し、遠隔地にいる医師が表示画像を観察して診断する、遠隔病理診断などへの応用が可能である。その際に、より正確に色再現された画像を医師が観察することにより、的確な診断を下すことが可能となる。
【０１６７】
色再現性に優れた画像データを伝送する際のフォーマットとして、ナチュラルビジョンフォーマットが以下の文献で提案されている。
ナチュラルビジョン（次世代映像表示・伝送システム）の研究開発プロジェクト、”平成１６年度 ナチュラルビジョンの研究開発プロジェクト［動画］（次世代映像表示・伝送システム）研究開発報告書”、平成１７年３月３１日、独立行政法人情報通信研究機構（拠点研究推進部門）、インターネット＜URL : http://www2.nict.go.jp/q/q262/3107/end102/NVHP(new)/index-j.html＞
上記のナチュラルビジョンフォーマットに従って生成・記憶されたデータを本明細書においてはＮＶデータと称する。本実施の形態においては、撮像部７００は３バンド以上の画像データを出力可能なものを利用可能である。一方、スペクトル検出装置２１０は、集光レンズ２０２によって集光された被写界からの光を、撮像部７００で色分解可能な色数よりも多い色数で色分解可能なカラーセンサを有するセンサモジュール２０６からの出力をもとにスペクトル情報を生成する。このスペクトル情報のバンド数は、撮像部７００から出力される画像データのバンド数を上回るように仕様が定められる。
【０１６８】
カメラ５００Ｂは、撮像部７００と、撮影条件情報取得部７１０と、色再現処理方法決定部７１２Ｃと、スペクトル情報入力部７１４Ａと、スペクトル情報抽出部７１８と、白色点抽出処理部７２０と、スペクトル導出処理部１２０６Ａと、被写体情報導出部１２０８Ａと、ＮＶデータ生成部１６００とを有する。
【０１６９】
色再現処理方法決定部７１２Ｃは、撮影条件情報取得部７１０から画角、撮影距離に関する情報を含む撮影条件情報を入力する。色再現処理方法決定部７１２Ｃはまた、白色点抽出処理部７２０から白色点位置情報を入力する。入力したこれらの情報に基づき、色再現処理方法決定部７１２Ｃは、スペクトル検出装置２１０から入力した複数のスペクトル情報ＳＰＤｉ（ｊ）の中から参照すべきスペクトル情報を決定する。
【０１７０】
色再現処理方法決定部７１２Ｃで決定されるスペクトル情報は、第４の実施の形態で説明した第１スペクトル情報および第２スペクトル情報である。すなわち、被写体中の白色点からの光を受光するセンサブロックからの出力をもとに得られたスペクトル情報が第１スペクトル情報である。そして、被写体（撮影範囲）中の、白色点以外の部分からの光を受光するセンサブロックからの出力をもとに得られたスペクトル情報が第２スペクトル情報である。
【０１７１】
色再現処理方法決定部７１２Ｃで決定された第１スペクトル情報、第２スペクトル情報を特定するスペクトル選択情報がスペクトル情報抽出部７１８に出力される。スペクトル情報抽出部７１８は、スペクトル選択情報で指定される第１スペクトル情報および第２スペクトル情報をスペクトル導出処理部１２０６Ａに出力する。スペクトル導出処理部１２０６Ａは、第１スペクトル情報に基づき、撮影照明情報を導出してＮＶデータ生成部１６００に出力する。すなわち、被写体中の白い部分で反射された光を受けて得られた第１スペクトル情報に基づいて導出される撮影照明情報は、撮影照明光の分光スペクトルを特定可能な情報である。
【０１７２】
スペクトル導出処理部１２０６Ａはまた、第２スペクトル情報に基づき、被写体スペクトル情報を導出する。すなわち、第４の実施の形態で図１４を参照して説明したのと同様の方法により、スペクトル導出処理部１２０６Ａは第２スペクトル情報中から被写体色由来の情報を抽出して被写体スペクトル情報を導出する。
【０１７３】
被写体情報導出部１２０８Ａは、スペクトル導出処理部１２０６Ａから入力した被写体スペクトル情報に基づき、被写体統計データを生成してＮＶデータ生成部１６００に出力する。ところで、被写体情報導出部１２０８Ａで導出される被写体統計データは、第４の実施の形態で説明したように被写体表面の分光反射特性に基づくものとすることも可能であるが、第５の実施の形態において被写体統計データは撮影照明光で照明された被写体表面の色に基づくものであるとする。つまり、被写体情報導出部１２０８Ａは、第４の実施の形態における被写体情報導出部１２０８とは異なり、被写体スペクトル情報を撮影照明情報で正規化して被写体の分光反射率を導出することは行わない。代わりに、撮影照明光によって照明された被写体表面の色に基づいて被写体統計データを導出する。
【０１７４】
ＮＶデータ生成部１６００は、カメラ５００Ｂ内に予め記憶されている、撮像部７００の分光感度情報を読み出す。この撮像部７００の分光感度情報には、撮影光学系４０４の分光透過特性に関する情報も含まれていることが望ましい。ＮＶデータ生成部１６００は、撮像部７００から出力されるＲＡＷ画像データに上述した撮影照明情報、被写体統計データ、撮像部分光感度情報を付加してＮＶデータを生成する。
【０１７５】
このＮＶデータは、ネットワークＮＷを介してカメラ５００Ｂと接続された色変換処理部１６０２に伝送される。ネットワークＮＷは、ＬＡＮであってもＷＡＮであってもよく、有線、無線の別を問わない。また、ネットワークＮＷを介することなく、カメラ５００Ｂと色変換処理部１６０２とがケーブルや無線通信手段を介して接続されていてもよい。またＮＶデータは、ファイル化して伝送されても、いわゆるストリーミングの方式で伝送されてもよい。
【０１７６】
色変換処理部１６０２は、カメラ５００Ｂから受信したＮＶデータを処理してディスプレイモニタ１６０６に出力する。このとき、色変換処理部１６０２は、後で詳しく説明するように、ディスプレイモニタ１６０６の設置される環境を照明する環境を照明する照明装置ＩＬＭの分光放射輝度特性、ディスプレイモニタ１６０６の色再現特性、観察者ｏｂｓの視感度に対応して色変換処理を行う。
【０１７７】
図１７は、色変換処理部１６０２の内部構成を概略的に説明するブロック図である。色変換処理部１６０２には、スペクトルセンサ１６０４とディスプレイモニタ１６０６とが接続される。スペクトルセンサ１６０４は、ディスプレイモニタ１６０６の設置される環境を照明する照明光ＩＬＭ（図１６）の分光放射輝度特性と、ディスプレイモニタ１６０６の色再現特性とを計測可能に構成される。
【０１７８】
ディスプレイモニタ１６０６の色再現特性の計測は、例えば一日の中でディスプレイモニタ１６０６の電源を最初に投入してから所定の時間、例えば３０分経過した後等に行う。照明光ＩＬＭの分光放射輝度特性は、所定の時間間隔、例えば６０秒、５分、１時間等の時間間隔で行う。スペクトルセンサ１６０４は、上記計測を行った後、観察光源スペクトル情報を色変換マトリクス生成部１６１４に出力し、モニタ色特性情報をモニタプロファイル生成部１６１６に出力する。観察光源スペクトル情報は、照明装置ＩＬＭの分光放射輝度特性に関連する情報である。モニタ色特性情報は、ディスプレイモニタ１６０６に既定の映像信号を入力したときにディスプレイモニタ１６０６に表示される色の特性を特定可能な情報である。
【０１７９】
色変換処理部１６０２はコンピュータと、このコンピュータによって実行されるソフトウェアとによって構成されていてもよいし、専用のハードウェアによって構成されていてもよい。色変換処理部１６０２はまた、ディスプレイモニタ１６０６に内蔵されていても、セットトップボックスのような形態でディスプレイモニタ１６０６に外付けされてもよい。また、スペクトルセンサ１６０４は、色変換処理部１６０２に内蔵されていてもよい。以下では、色変換処理部１６０２がディスプレイモニタ１６０６に接続されるセットトップボックスであるものとして説明をする。
【０１８０】
色変換処理部１６０２は、信号分離部１６１０と、色変換データ作成部１６１２と、出力デバイス色変換部１６１８とを有する。色変換データ作成部１６１２は、色変換マトリクス生成部１６１４とモニタプロファイル生成部１６１６とを有する。出力デバイス色変換部１６１８は、マトリクス作用部１６２０とプロファイル作用部１６２２とを有する。
【０１８１】
信号分離部１６１０は、ネットワークＮＷを介してカメラ５００Ｂから伝送されるＮＶデータから被写体統計データ、撮影照明情報、撮像部分光感度情報、画像データを抽出する。これらのうち、被写体統計データ、撮影照明情報、撮像部分光感度情報が色変換マトリクス生成部１６１４に出力され、画像データがマトリクス作用部１６２０に出力される。なお、ＮＶデータはＲＡＷ画像データを含むものであることについて先に説明したが、このＲＡＷ画像データは信号分離部１６１０にて現像処理されるものとする。
【０１８２】
色変換マトリクス生成部１６１４は、信号分離部１６１０から上記被写体統計データ、撮影照明情報、撮像部分光感度情報を入力し、スペクトルセンサ１６０４から観察光源スペクトル情報を入力する。また、色変換処理部１６０２には観察者ｏｂｓの視感度に関連する情報である観察者等色関数情報が予め入力されて記憶されており、色変換マトリクス生成部１６１４はこの観察者等色関数情報も入力する。この観察者等色関数情報は、第４の実施の形態で説明したものと同じであるので説明を省略する。
【０１８３】
色変換マトリクス生成部１６１４は、上述した観察光源スペクトル情報、被写体統計データ、撮影照明情報、撮像部分光感度情報、観察者等色関数情報に基づいて色変換マトリクスを生成してマトリクス作用部１６２０に出力する。
【０１８４】
モニタプロファイル生成部１６１６は、スペクトルセンサ１６０４からモニタ色特性情報を入力する。モニタプロファイル生成部１６１６はまた、出力色空間情報を入力する。この出力色空間情報は、ディスプレイモニタ１６０６の色空間を規定する情報である。例えば、ディスプレイモニタ１６０６がＲ（赤）Ｇ（緑）Ｂ（青）Ｏ（橙）Ｃ（水色）Ｐ（紫）の６原色入力のものである場合や、Ａｄｏｂｅ ＲＧＢ（登録商標）等に準拠したものである場合、これらの色空間規格に対応する情報をモニタプロファイル生成部１６１６は入力する。この出力色空間情報は、色変換処理部１６０２に予め入力されて記憶されていてもよいし、ディスプレイモニタ１６０６から入力されてもよい。
【０１８５】
モニタプロファイル生成部１６１６は、入力したモニタ色特性情報と出力色空間情報とに基づいてモニタプロファイルを生成し、プロファイル作用部１６２２に出力する。このモニタプロファイルは、ルックアップテーブルおよびマトリクスのうち、少なくともいずれかとすることができる。
【０１８６】
信号分離部１６１０で抽出され、現像された画像データは出力デバイス色変換部１６１８に入力され、色変換マトリクス生成部で生成された色変換マトリクスが作用される。その結果、画像データはＸＹＺ信号（測色値信号）に変換されてプロファイル作用部１６２２に入力される。プロファイル作用部１６２２では、入力されたＸＹＺ信号に対してモニタプロファイル生成部１６１６で生成されたモニタプロファイルが作用される。そして、出力デバイス色変換部１６１８からディスプレイモニタ１６０６に信号が出力され、ディスプレイモニタ１６０６上には高度に色再現された画像が表示される。
【０１８７】
以上、第５の実施の形態によれば、いわゆる照明変換の処理が行われて、被写体があたかも観察者ｏｂｓの眼の前にあって、照明光ＩＬＭによって照明されているかのような画像がディスプレイモニタ１６０６に表示される。また、環境光順応やディスプレイモニタの管面反射の影響（ディスプレイモニタに同じ色の画像が表示されていても照明光ＩＬＭの分光特性が変わると、ディスプレイモニタに表示される画像の色が異なる色に感じられてしまうこと）を減じることが可能となる。その結果、観察者ｏｂｊは被写体の色を正確に把握することが可能となる。
【０１８８】
− 第６の実施の形態 −
本発明の第６の実施の形態は、第２、第３の実施の形態と同様、図５に示されるような、カメラ５００に多点計測式のスペクトル検出装置２１０が外付けされるものとして説明をする。カメラ５００は、レンズ交換式であってもレンズ固定式であってもよい。また、撮影光学系４０４は、単焦点レンズであっても可変焦点距離のレンズであってもよい。カメラ内部の構成が第２の実施の形態や第５の実施の形態と異なるので、以下ではカメラ５００Ｃと称する。
【０１８９】
第６の実施の形態においても、カメラ５００Ｃはレンズ交換式のもので、カメラ５００Ｃに装着されている撮影光学系４０４は可変焦点距離のレンズであるものとして説明をする。また、スペクトル検出装置内部の構成が図９や図１１等に示されるものと異なるので、以下ではスペクトル検出装置２１０Ａと称する。
【０１９０】
図１８は、スペクトル検出装置２１０Ａおよびカメラ５００Ｃの情報処理系統の構成を概略的に説明するブロック図である。図１８に示される各構成要素中、第１、第２、第３、第５の実施の形態で説明したものと同じ構成要素については図７、図９、図１１、図１６中の構成要素に付されるのと同じ符号を付してその詳細な説明を省略する。
【０１９１】
スペクトル検出装置２１０Ａは、集光レンズ２０２と、センサモジュール２０６と、データメモリ１２０Ａと、スペクトル推定処理部１２２Ａと、ＲＴＣ（リアルタイムクロック）１８００と、スペクトル情報記憶部１８０２とを備える。センサモジュール２０６で１回の計測が行われると、センサモジュール２０６中の全センサブロックから出力されるセンサデータＳＤ（ｋ）がデータメモリ１２０Ａに記憶される。
【０１９２】
スペクトル推定処理部１２２Ａは、データメモリ１２０ＡからセンサデータＳＤｉ（ｋ）を読み出し、センサデータＳＤｉ（ｋ）をもとにスペクトル推定処理を行い、スペクトル情報ＳＰＤｉ（ｊ）を生成する。このとき、１回の計測に対応して全てのセンサブロックから出力されるセンサデータＳＤｉ（ｋ）のそれぞれに対応してスペクトル情報ＳＰＤｉ（ｊ）が生成される。このように、１回の計測で得られた全てのセンサブロックそれぞれに対応するスペクトル情報ＳＰＤｉ（ｊ）の集まりを本明細書ではスペクトル情報セットと称する。
【０１９３】
ＲＴＣ１８００は、スペクトル検出装置２１０Ａの電源のオン／オフに拘わらず動作し続けて現在の日時を刻み続ける。ＲＴＣ１８００は、日時に加えて年月も管理可能に構成されることが望ましい。
【０１９４】
スペクトル検出装置２１０Ａで１回のスペクトル検出が行われる度に、スペクトル推定処理部１２２Ａで一組のスペクトル情報セットが生成される。スペクトル情報記憶部１８０２には、このスペクトル情報セットに、当該スペクトル情報セットを得るためのスペクトル検出がスペクトル検出装置２１０Ａで行われたときの日時を導出可能な検出日時情報が付加されて記憶される。
【０１９５】
スペクトル検出装置２１０Ａは、以下の２つのスペクトル検出動作モードを有していていずれかのモードをユーザが選択可能に構成される。すなわち、一つは撮影同期検出方式のスペクトル検出動作モードであり、もう一つは一定間隔検出方式のスペクトル検出動作モードである。
【０１９６】
撮影同期検出方式のスペクトル検出動作モードは、カメラ５００Ｃで撮影が行われるタイミングに同期してスペクトル検出を行う動作モードである。例えば、カメラ５００Ｃで撮影が行われるタイミングを、フラッシュシンクロ接点等を介して検出可能な場合、撮影同期検出方式でスペクトル検出動作が行われる。図１８はその例を示している。
【０１９７】
一定間隔検出方式のスペクトル検出動作モードは、略一定の時間間隔、例えば１０秒、３０秒といった時間間隔でスペクトル検出を繰り返し行う動作モードである。例えば、カメラ５００Ｃがフラッシュシンクロ接点を有していないか、あるいは撮影が行われるタイミングを知ることのできる信号を出力可能に構成されていない場合、一定間隔検出方式でのスペクトル検出動作が行われる。
【０１９８】
上述したいずれのスペクトル検出動作モードにおいても、生成されたスペクトル情報セットにＲＴＣ１８００から出力された日時情報に基づいて生成された検出日時情報が付加され、スペクトル情報データログとしてスペクトル情報記憶部１８０２に記憶される。すなわち、スペクトル情報データログは、検出日時情報の付加されたスペクトル情報セットが時系列に蓄積されたものである。
【０１９９】
カメラ５００Ｃは、撮像部７００と、撮影条件情報取得部７１０と、画像ファイル記憶部１８１２と、ＲＴＣ１８１０とを備える。ＲＴＣ１８１０は、カメラ５００Ｃの電源のオン／オフに拘わらず動作し続けて現在の日時を刻み続ける。ＲＴＣ１８１０は、日時に加えて年月も管理可能に構成されることが望ましい。
【０２００】
ところで、カメラ５００Ｃとスペクトル検出装置２１０Ａとの間で情報の伝達が可能に構成される場合、スペクトル検出装置２１０ＡのＲＴＣ１８００を省いてもよい。そして、スペクトル検出装置２１０Ａは、カメラ５００ＣのＲＴＣ１８１０から日時に関する情報を取得して検出日時情報を生成する。
【０２０１】
カメラ５００Ｃで撮影動作が行われると、撮像部７００で生成された画像データに、撮影条件情報取得部７１０から出力された撮影条件情報と、ＲＴＣ１８１０から出力された日時情報に基づいて生成された撮影日時情報とが付加され、画像ファイルとして画像ファイル記憶部１８１２に記憶される。
【０２０２】
図１９は、画像処理装置１９００の概略的構成を説明するブロック図である。画像処理装置１９００は、ＰＣおよびＰＣ上で実行されるプログラムによって構成されたものとすることができる。図１９に示される各構成要素中、第１〜第３の実施の形態で説明したものと同じ構成要素については図７、図９、図１１中の構成要素に付されるのと同じ符号を付してその説明を省略する。
【０２０３】
第６の実施の形態において、画像処理装置１９００は最初に、画像ファイル記憶部１８１２に記憶されている画像ファイルと、スペクトル情報記憶部１８０２に記憶されているスペクトル情報データログとを読み出し、以下に説明する情報関連付けの処理をする。情報関連付けの処理とは、画像ファイル中の撮影日時情報と、スペクトル情報データログ中の検出日時情報とに基づき、撮影日時と検出日時とが最も近い組み合わせとなるように画像ファイルとスペクトル情報セットとを関連付ける処理である。
【０２０４】
スペクトル検出装置２１０Ａが撮影同期検出方式のスペクトル検出動作モードでスペクトル検出が行われた場合には、画像ファイルとスペクトル情報セットとの関連付けは、比較的単純な処理によって情報関連付けの処理をすることが可能である。
【０２０５】
一方、一定間隔検出方式のスペクトル検出動作モードでスペクトル検出が行われた場合には、撮影が行われた日時とスペクトル検出が行われた日時とは必ずしも一致しない。したがって、ある画像ファイルと関連付ける対象のスペクトル情報セットを探索する際には、その画像ファイルが生成される際に撮影が行われた日時に最も近いタイミングで検出されて得られたスペクトル情報セットを抽出する処理が行われる。
【０２０６】
上述した情報関連付けの処理に続き、関連付けされた画像ファイルとスペクトル情報セットとを用い、画像処理（色再現処理）が行われる。このときに、画像ファイルに付加される撮影条件情報に基づき、スペクトル情報と、画像ファイル中の画像データを分析した結果とのうち、すくなくともいずれかを参照して色再現処理を行うように決定される。
【０２０７】
スペクトル情報を参照する際には、スペクトル情報セットに含まれる複数のスペクトル情報のうち、参照する対象となるスペクトル情報が撮影条件情報に基づいて１または複数が選択される。
【０２０８】
画像処理装置１９００について図１９を参照して説明する。画像処理装置１９００は、画像ファイル読み出し部１９０２と、情報関連付け部１９０４と、スペクトル情報読み出し部１９０６と、色温度検出部７０２Ａと、第１光源検出部７０４と、白色点抽出処理部
７２０Ｂと、色再現処理方法決定部７１２Ｄと、スペクトル情報抽出部７１８Ａと、第２光源検出部７１６Ａと、画像処理部７０６Ｂとを有する。
【０２０９】
画像ファイル読み出し部１９０２は、画像ファイル記憶部１８１２に記憶される画像ファイルを一つずつ、あるは一回の読み出し動作で複数の画像ファイルを読み出す。本実施の形態において画像ファイル記憶部１８１２はカメラ５００Ｃに内蔵されるメモリ、あるいはカメラ５００Ｃに着脱自在に装着されるメモリカードであるものとする。
【０２１０】
画像ファイル記憶部１８１２がカメラ５００Ｃに内蔵されるメモリである場合、カメラ５００Ｃと画像処理装置１９００とは有線または無線の形態で接続され、画像ファイル読み出し部１９０２はカメラ５００Ｃから転送される画像ファイルを受信する。
【０２１１】
画像ファイル記憶部１８１２がメモリカードである場合、カメラ５００Ｃから取り外されたメモリカードが、画像処理装置１９００に備えられるメモリカードリーダに装着され、画像ファイル読み出し部１９０２はメモリカードから画像ファイルを読み出す。
【０２１２】
画像ファイル読み出し部１９０２は、受信した、あるいは読み出した画像ファイルから画像データ、撮影日時情報、および撮影条件情報を抽出する。画像ファイルがＲＡＷ画像データを含む場合、画像ファイル読み出し部１９０２は現像処理も行う。そして、画像データを画像処理部７０６Ｂ、色温度検出部７０２Ａ、白色点抽出処理部７２０Ｂに、撮影条件情報を色再現処理方法決定部７１２Ｄに、撮影日時情報を情報関連付け部１９０４に、それぞれ出力する。
【０２１３】
スペクトル情報読み出し部１９０６は、スペクトル情報記憶部１８０２に記憶されるスペクトル情報データログを読み出す。本実施の形態においてスペクトル情報記憶部１８０２はスペクトル検出装置２１０Ａに内蔵されるメモリ、あるいはスペクトル検出装置２１０Ａに着脱自在に装着されるメモリカードであるものとする。
【０２１４】
スペクトル情報記憶部１８０２がスペクトル検出装置２１０Ａに内蔵されるメモリである場合、スペクトル検出装置２１０Ａと画像処理装置１９００とは有線または無線の形態で接続され、スペクトル情報読み出し部１９０６はスペクトル検出装置２１０Ａから転送されるスペクトル情報データログを受信する。
【０２１５】
スペクトル情報記憶部１８０２がメモリカードである場合、スペクトル検出装置２１０Ａから取り外されたメモリカードが、画像処理装置１９００に備えられるメモリカードリーダに装着され、スペクトル情報読み出し部１９０６はメモリカードからスペクトル情報データログを読み出す。
【０２１６】
スペクトル情報読み出し部１９０６は、受信または読み出したスペクトル情報データログから検出日時情報およびスペクトル情報セットを抽出する。そして検出日時情を情報関連付け部１９０４に出力する。
【０２１７】
情報関連付け部１９０４は、画像ファイル読み出し部１９０２から入力した撮影日時情報とスペクトル情報読み出し部１９０６から入力した検出日時情報とに基づき、画像ファイルとスペクトル情報セットとを関連付ける処理である情報関連付け処理を行う。つまり、画像ファイル読み出し部１９０２で受信した、あるいは読み出したある画像ファイルに対し、この画像ファイルが生成される際にカメラ５００Ｃで撮影が行われたタイミングに最も近いタイミングにおいてスペクトル検出装置２１０Ａで検出して生成されたスペクトル情報セットを特定し、これらの画像ファイルとスペクトル情報セットとを関連付ける処理を行う。情報関連付け部１９０４は、画像ファイル読み出し部１９０２で受信または読み出したすべての画像ファイルに対して上述した情報関連付け処理を行う。
【０２１８】
情報関連付け部１９０４は、画像ファイル読み出し部１９０２に対し、上記情報関連付け処理によって得られた関連付け情報を出力する。この関連付け情報は、画像ファイルとスペクトル情報セットとを関連付けする情報である。画像ファイル読み出し部１９０２は、画像ファイル中に上記関連付け情報を付加する。あるいは、画像ファイル読み出し部１９０２は、上記関連付け情報に対応するスペクトル情報セットをスペクトル情報読み出し部１９０６から取得して画像ファイル中に付加することも可能である。
【０２１９】
なお、上述した画像ファイル読み出し部１９０２、情報関連付け部１９０４、スペクトル情報読み出し部１９０６についてはスペクトル検出装置２１０Ａ内に内蔵することも可能である。この場合、画像ファイルを記憶したメモリカードをカメラ５００Ｃから取り出してスペクトル検出装置２１０Ａに備えられるコネクタにメモリカードを挿入することにより、上記情報関連付けの処理が行われる。
【０２２０】
色温度検出部７０２Ａは、画像ファイル読み出し部１９０２から出力された画像データを処理し、撮影時に被写体を照明していた撮影照明光の色温度を推定する処理を行う。この、撮影照明光の色温度を推定する処理は第１の実施の形態中の色温度検出部７０２（図７）で行われる処理と同様であるのでその説明を省略する。
【０２２１】
第１光源検出部７０４は、色温度検出部７０２Ａから入力した撮影照明光の色温度情報に基づき、撮影照明光の種類を特定する。第１光源検出部７０４で特定可能な撮影照明光の種類としては、第１の実施の形態で説明したのと同様、晴天太陽光、曇天、タングステン灯、白色蛍光灯、昼光色蛍光灯などがある。
【０２２２】
白色点抽出処理部７２０Ｂは、画像ファイル読み出し部１９０２から出力される画像データにより生成される画像中に含まれる白色部分を抽出する処理を行う。この白色部分を抽出する処理については第３の実施の形態中の白色点抽出処理部７２０（図１１）で行われる処理と同様であるのでその説明を省略する。
【０２２３】
色再現処理方法決定部７１２Ｄは、画像ファイル読み出し部１９０２から入力した撮影条件情報と、白色点抽出処理部７２０Ｂから入力した白色点位置情報とに基づき、撮影スペクトル情報と、画像データを分析した結果とのうち、少なくともいずれかに基づいて色再現処理を行うように決定する。
【０２２４】
スペクトル情報を参照する際に、色再現処理方法決定部７１２Ｄは画像ファイル読み出し部１９０２から入力した関連づけ情報をスペクトル情報抽出部７１８Ａに出力する。色再現処理方法決定部７１２Ｄはまた、複数のスペクトル情報ＳＰＤ１（ｊ）、ＳＰＤ２（ｊ）、… のうち、参照する対象のスペクトル情報を撮影条件情報と白色点位置情報とに基づいて選択する。色再現処理方法決定部７１２Ｄは、この選択結果に対応する情報であるスペクトル選択情報をスペクトル情報抽出部７１８Ａに出力する。色再現処理方法決定部７１２Ｄは、選択したスペクトル情報と、画像データを分析した結果とのうち、少なくともいずれかを参照して色再現処理を行うように決定する。
【０２２５】
色再現処理方法決定部７１２Ｄでスペクトル情報が選択される際の方法については第３の実施の形態で図６や図１０を参照して説明したものと同様とすることが可能である。このとき、図６に示される寸法Ｄについては、ユーザが画像処理装置１９００に備えられるキーボードやコンピュータマウス等を操作して入力することが可能に構成されていてもよいし、撮影に用いられるカメラ５００Ｃの機種名とそれに対応する寸法Ｄとの関係が予め画像処理装置１９００内に記憶されていてもよい。その場合、画像ファイル中のタグ情報に含まれる機種名情報に基づいて対応する寸法Ｄの情報を読み出すことができる。
【０２２６】
また、第３の実施の形態でも説明したとおり、被写体中の白色点（白いものが写っている領域）からの光を受光するセンサブロックが存在する場合、そのセンサブロックからの出力をもとに得られるスペクトル情報は撮影照明光の分光放射輝度をより正確に反映したものとなる。したがって、色再現処理方法決定部７１２Ｄは、被写体中の白色点からの光を受光するセンサブロックからのスペクトル情報を選択するように決定することが望ましい。
【０２２７】
スペクトル情報抽出部７１８Ａは、スペクトル情報読み出し部１９０６が受信または読み出したスペクトル情報データログ中、関連づけ情報で特定されるスペクトル情報セットを抽出する。スペクトル情報抽出部７１８Ａはさらに、抽出されたスペクトル情報セット中からスペクトル選択情報で特定される一または複数のスペクトル情報を抽出して第２光源検出部７１６Ａに出力する。
【０２２８】
第２光源検出部７１６Ａは、スペクトル情報抽出部７１８Ａから入力したスペクトル情報をもとに、撮影照明光の種類を特定する処理を行う。第２光源検出部７１６Ａにおける撮影照明光の種類特定の処理は、第１の実施の形態で説明した第２光源検出部７１６での処理と同様であるので説明を省略する。
【０２２９】
色再現処理方法決定部７１２Ｄは、上述したスペクトル情報選択の処理の他に、第１の実施の形態で図８を参照して説明した色再現処理方法決定の処理も行う。この処理の詳細については第１、第２の実施の形態で説明したので説明を省略する。
【０２３０】
画像処理部７０６Ｂは、画像ファイル読み出し部１９０２から入力された画像データに対し、色再現処理方法決定部７１２Ｄで決定された色再現処理１から４のうちのいずれかによって色再現処理を行う。画像処理部７０６Ｂで行われる色再現処理としては、画像データに対して色バランスを調節する処理とすることが可能である。
【０２３１】
以上では、画像処理装置１９００が、ＰＣおよびＰＣ上で実行されるプログラムによって構成されたものである例について説明した。しかし、この画像処理装置１９００はカメラ５００Ｃ内に備えられていても、スペクトル検出装置２１０Ａ内に設けられていてもよい。
【０２３２】
画像処理装置１９００がカメラ５００Ｃ内に設けられる場合、カメラ５００Ｃおよびスペクトル検出装置２１０Ａの双方には有線または無線の形態で互いに接続し、情報の授受が可能な通信部を備えるものとする。撮影動作中、カメラ５００Ｃとスペクトル検出装置２１０Ａとは電気的に接続されていなくてもよい。そして、カメラ５００Ｃとスペクトル検出装置２１０Ａとを、ユーザが上記通信部を介して接続したときに、スペクトル情報読み出し部１９０６がスペクトル検出装置２１０Ａからスペクトル情報データログを受信する。そして画像処理装置１９００が上述した処理を行うことが可能である。
【０２３３】
画像処理装置１９００がスペクトル検出装置２１０Ａ内に設けられる場合、スペクトル検出装置２１０Ａにメモリカードを接続するためのコネクタ等を備えるものとする。そして、画像ファイルを記憶したメモリカードがカメラ５００Ｃから取り外されてスペクトル検出装置２１０Ａのコネクタに接続されたときに、画像処理装置１９００が上述した処理を行うことが可能である。
【０２３４】
以上に説明したように、本発明の第６の実施の形態によれば、カメラ５００Ｃで撮影が行われているとき、外光式のスペクトル検出装置２１０Ａとカメラ５００Ｃとは電気的に接続されている必要が無い。したがって、カメラ５００Ｃが例えば旧製品で、スペクトル検出装置２１０Ａからのスペクトル情報を用いることを想定した仕様を有していなくても、より高度の色再現が可能となる。
【０２３５】
また、例えばカメラ５００Ｃが早いコマ速での連続撮影機能を有している場合等で、色再現処理が連続撮影の速度に追いつかないような場合、カメラ５００Ｃでの撮影動作中にスペクトル検出装置２１０Ａで逐次スペクトル検出が行われてスペクトル情報データログが生成され、後処理によって高度の色再現処理を行うことが可能となる。
【０２３６】
以上では撮影日時情報と検出日時情報とに基づいて情報関連付けの処理をする例について説明したが、本発明はこの例に限られるものではない。例えば、カメラ５００Ｃとスペクトル検出装置２１０Ａとの双方にＧＰＳセンサを有している場合、撮影時およびスペクトル検出時にＧＰＳ値を記録することが可能である。そして、画像ファイル中のＧＰＳ値とスペクトル情報セットに付加されるＧＰＳ値とが互いに最も近い組み合わせとなるように情報関連付けをすればよい。
【０２３７】
あるいは、カメラ５００Ｃで撮影をしたときに、カメラ５００Ｃのモニタディスプレイ上に画像ＩＤが表示されるようにしてもよい。画像ＩＤを見たユーザが、スペクトル検出装置２１０Ａにその画像ＩＤを入力することにより、後で情報関連付けをすることが可能となる。
【０２３８】
また、カメラ５００Ｃとスペクトル検出装置２１０Ａとの間で通信が可能に構成されている場合、カメラ５００Ｃで撮影が行われたときにカメラ５００Ｃから画像ＩＤを出力することができる。スペクトル検出装置２１０は、受信した画像ＩＤをスペクトル情報セットに付加する。このようにすることにより、後で情報関連付けの処理をすることが可能となる。
【０２３９】
カメラ５００Ｃは静止画および動画のうち、少なくともいずれかを撮影可能に構成される。カメラ５００Ｃで動画撮影が行われ、スペクトル検出装置２１０Ａは撮影同期検出方式のスペクトル検出動作モードで動作可能な場合、以下のようにスペクトル検出動作が行われることが望ましい。
【０２４０】
すなわち、カメラ５００Ｃで動画の撮影が開始されたのに同期してスペクトル検出装置２１０Ａはスペクトル検出動作を行う。その後、カメラ５００Ｃで動画撮影が継続して行われている間は、スペクトル検出装置２１０Ａにおいて所定の時間間隔、たとえば５秒、１０秒、３０秒といった時間間隔でスペクトル検出動作が行われてスペクトル情報データログが生成される。後で動画を再生する際にスペクトル情報が参照されて色再現処理が行われる。このとき、スペクトル検出動作はカメラ５００Ｃでの動画撮影開始後も一定の時間間隔で行われるので、撮影シーンが大きく変化するような状況でもそのシーンに応じた色再現処理を行うことが可能となる。
【０２４１】
以上、第１から第６の実施の形態によって本発明について説明したが、本明細書中には以下に示す態様の発明も含まれる。
【０２４２】
［１］ 被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置であって、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な情報を含む撮影条件情報を取得する撮影条件情報取得部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを有して、前記カラーセンサの出力をもとにスペクトル情報を出力する外光式スペクトル検出装置から出力される前記スペクトル情報を入力するスペクトル情報入力部と、
前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記スペクトル情報を参照するか否かを決定し、前記スペクトル情報を参照しないと決定した場合には前記スペクトル情報を参照せず、前記画像データを分析した結果に基づいて前記色再現処理を行うように決定し、前記スペクトル情報を参照すると決定した場合には、前記画像データを分析した結果と前記外光式スペクトル検出装置から出力される前記スペクトル情報とのうち、少なくとも前記スペクトル情報を参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備えることを特徴とする画像処理装置。
［２］ 被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置であって、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な情報を含む撮影条件情報を取得する撮影条件情報取得部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを複数有して、前記複数のカラーセンサそれぞれからの出力に対応して複数のスペクトル情報を出力する外光式スペクトル検出装置から出力される前記スペクトル情報を入力するスペクトル情報入力部と、
前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記スペクトル情報を参照するか否かを決定し、前記スペクトル情報を参照しないと決定した場合には前記スペクトル情報を参照せず、前記画像データを分析した結果に基づいて前記色再現処理を行うように決定し、前記スペクトル情報を参照すると決定した場合には、前記複数のスペクトル情報のうち、参照する対象のスペクトル情報を前記撮影条件情報に基づいて選択し、前記選択したスペクトル情報と、前記画像データを分析した結果とのうち、少なくとも前記選択したスペクトル情報を参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備えることを特徴とする画像処理装置。
［３］ 被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置であって、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な撮影条件情報と、前記撮影光学系で撮影が行われたときの日時である撮影日時を導出可能な撮影日時情報とを含む付加情報を前記画像データに付加して生成される画像ファイルを記憶する画像ファイル記憶部から前記画像ファイルを読み出す画像ファイル読み出し部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを複数有して、前記複数のカラーセンサそれぞれから出力される複数のスペクトル情報を含むスペクトル情報セットを出力する外光式スペクトル検出装置により、前記撮影光学系で撮影が行われたタイミングに同期して、あるいは前記タイミングとは同期せずに一定の時間間隔で、スペクトル検出が行われるたびごとに出力される前記スペクトル情報セットに前記スペクトル検出が行われたときの日時であるスペクトル検出日時を導出可能な検出日時情報を付加してスペクトル情報データログとして記憶するスペクトル情報記憶部から前記スペクトル情報データログを読み出すスペクトル情報読み出し部と、
前記画像ファイル読み出し部で読み出された前記画像ファイル中の前記撮影日時情報と、前記スペクトル情報読み出し部で読み出された前記スペクトル情報データログ中の前記検出日時情報とに基づき、前記撮影日時と前記スペクトル検出日時とが最も近い組み合わせとなるように前記画像ファイルと前記スペクトル情報セットとを関連付ける情報関連付け処理部と、
前記情報関連付け処理部で関連付けされた前記画像ファイルおよび前記スペクトル情報セットを用い、前記画像ファイルに付加される前記撮影条件情報に基づき、前記スペクトル情報を参照するか否かを決定し、前記スペクトル情報を参照しないと決定した場合には前記スペクトル情報を参照せず、前記画像データを分析した結果に基づいて前記色再現処理を行うように決定し、前記スペクトル情報を参照すると決定した場合には、前記スペクトル情報セットに含まれる前記複数のスペクトル情報のうち、参照する対象となるスペクトル情報を前記撮影条件情報に基づいて１または複数選択し、前記参照する対象となるスペクトル情報と、前記画像データを分析した結果とのうち、少なくとも前記参照する対象となるスペクトル情報を参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備えることを特徴とする画像処理装置。
【０２４３】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
【産業上の利用可能性】
【０２４４】
本発明は、ディスプレイモニタ、ディスプレイモニタに接続されるセットトップボックス、画像処理装置、スチルカメラやムービーカメラ等の撮影装置、撮影装置に装着可能なスペクトル検出装置などに適用可能である。
【符号の説明】
【０２４５】
１０２、２０２ …集光レンズ
１０４ … 拡散板
１０６、２０６ … センサモジュール
１１０ … 一点計測式スペクトル検出装置
１２２、１２２Ａ … スペクトル推定処理部
２１０、２１０Ａ … 多点計測式スペクトル検出装置
４００、５００、５００Ａ、５００Ｂ、５００Ｃ … カメラ
４０４ … 撮影光学系
４０６ … レンズ制御部
７００ … 撮像部
７０２、７０２Ａ … 色温度検出部
７０４ … 第１光源検出部
７０６、７０６Ａ … 画像処理部
７１０ … 撮影条件取得部
７１２、７１２Ａ、７１２Ｂ、７１２Ｃ、７１２Ｄ …色再現処理方法決定部
７１４、７１４Ａ … スペクトル情報入力部
７１６、７１６Ａ … 第２光源検出部
７１８、７１８Ａ … スペクトル情報抽出部
７２０、７２０Ａ、７２０Ｂ … 白色点抽出部
１２００、１９００ … 画像処理装置
１２０２ … 画像データ記憶部
１２０４ … 情報分離部
１２０６、１２０６Ａ … スペクトル導出処理部
１２０８、１２０８Ａ … 被写体情報導出部
１２１０ … 色変換処理部
１２１２ … 分光反射スペクトル導出部
１２１４ … 被写体統計データ導出部
１２１６ … 色変換データ作成部
１２１８ … 出力デバイス色変換部
１６００ … ＮＶデータ生成部
１６０２ … 色変換処理部
１６０４ … スペクトルセンサ
１６０６ … ディスプレイモニタ
１６１０ … 信号分離部
１６１２ … 色変換データ作成部
１６１４ … 色変換マトリクス生成部
１６１６ … モニタプロファイル生成部
１６１８ … 出力デバイス色変換部
１６２０ … マトリクス作用部
１６２２ … プロファイル作用部
１８００、１８１０ … リアルタイムクロック
１８０２ … スペクトル情報記憶部
１８１２ … 画像ファイル記憶部
１９０２ … 画像ファイル読み出し部
１９０４ … 情報関連付け部
１９０６ … スペクトル情報読み出し部
【技術分野】
【０００１】
本発明は、撮影時に被写体を照明していた光である撮影照明光の種類の判別または撮影照明光のスペクトルの推定を可能とする光源検出装置およびこれを含むカメラ、システムに関する。
【背景技術】
【０００２】
デジタルカメラのオートホワイトバランス性能や色再現性能、オートフォーカス性能を向上させるために、光源検出用のセンサを一眼レフカメラに設けるものが知られている。
【０００３】
特許文献１には、カメラ外装のペンタプリズム前方に窓を設けて乳白色の拡散板を配置し、その後方に光源測光用センサを設けた一眼レフカメラが開示される。この一眼レフカメラはまた、撮影レンズを通して結像される被写体像の色を測色する（ＴＴＬ測色）構成を有し、光源測光用センサからの出力と、ＴＴＬ測色の結果とに基づいて被写体の色を判定し、判定された色に対応して露出補正を行う。これにより、射光式の測光方式における被写体の反射率の影響を低減する。
【０００４】
特許文献２には、カメラ外装に設けられた開口に配置された拡散板の後方に光源センサを配置し、光源の種類を検出する構成が開示される。そして、検出された光源の種類に応じてＴＴＬ位相差検出式オートフォーカスの焦点検出結果に補正が加えられる。
【０００５】
特許文献３には、ＴＴＬ式の測光が可能な第１の測光手段および第２の測光手段を有する構成が開示される。第１の測光手段によって特定の波長域の測光が可能であり、第２の測光手段によって上記特定の波長域以外の波長域の測光が可能である。これら第１、第２の測光手段からの出力に基づき、照明光源の種別が判別され、その判別結果に基づき、自動焦点検出手段にて検出されるディフォーカス量検出結果に補正が加えられる。
【０００６】
引用文献４には、カメラに設けられるアクセサリシュー部分にスポット計測式の測色計を装着し、被写体の一部分の色彩情報を得て、その色彩情報がカメラに出力される構成が開示される。測色計には、測色計の向きを検出する角度センサが設けられており、上記色彩情報とともに角度情報がカメラに出力される。カメラは、角度情報に基づき、撮影範囲内のどの部分の色彩情報が得られたかを検出可能に構成される。この色彩情報に基づき、カメラの撮像素子から得られたカラー画像データに補正処理が行われる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２３２１５号公報
【特許文献２】特開２００５−２０８２３５号公報
【特許文献３】特開２００６−７２０８４号公報
【特許文献４】特開２００５−３４１１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１および２に開示される技術においては、光源センサが受光する光と、被写体を照明している光とが異なる場合がある。例えば、蛍光灯等の照明光が点灯している室内から屋外の被写体を撮影した場合、光源センサの検出結果は蛍光灯からの光の影響を多く受ける一方、屋外の被写体は太陽光に照らされている、という状況を生じ得る。このような状況では、望ましい撮影結果を得ることは難しい。また、光源センサは拡散光を受光する構成であるため、比較的広い範囲からの光を光源センサは受光する。その結果、被写体を照明している光以外の光も光源センサが受光する場合があり、光源センサの検出結果が、被写体を照明している光の特性と必ずしも一致しない場合がある。
【０００９】
引用文献３に開示される技術では、ミラー、ハーフミラー、ペンタプリズム等の部材を有する一眼レフカメラが前提なので、いわゆるコンパクトカメラ等に適用することが難しい。また、一眼レフカメラであっても、集光レンズやセンサ等を追加して配置する必要があるため、カメラの複雑化を免れない。
【００１０】
引用文献４に開示される技術では、被写体を撮影する都度、測色計の向きを調節する必要があり、動く被写体の撮影や高速の連続撮影といった用途には必ずしも適していない。
【００１１】
本発明は上記の問題に鑑みてなされたもので、複雑なハードウェア構成を必要とせず、また、撮影者による複雑な操作を必要とすることなく、より高度な色再現を手軽に実現可能とすることを目的とする。
【００１２】
本発明のさらなる目的は、撮影をする場所と、撮影をして得られた画像を観察する場所が離れている状況であっても、撮影者や画像を観察する観察者による複雑な操作を必要とすることなく、より高度な色再現を手軽に実現可能とすることにより、精度のより高い遠隔病理診断を可能とすることにある。
【課題を解決するための手段】
【００１３】
（１） 本発明の第１の態様によれば、被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置が、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な情報を含む撮影条件情報を取得する撮影条件情報取得部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを有して、前記カラーセンサの出力をもとにスペクトル情報を出力する外光式スペクトル検出装置から出力される前記スペクトル情報を入力するスペクトル情報入力部と、
前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記外光式スペクトル検出装置から出力される前記スペクトル情報と、前記画像データを分析した結果とのうち、少なくともいずれかを参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備える。
（２） 本発明の第２の態様によれば、被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置が、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な情報を含む撮影条件情報を取得する撮影条件情報取得部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを複数有して、前記複数のカラーセンサそれぞれからの出力に対応して複数のスペクトル情報を出力する外光式スペクトル検出装置から出力される前記スペクトル情報を入力するスペクトル情報入力部と、
前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記外光式スペクトル検出装置から出力される前記スペクトル情報と、前記画像データを分析した結果とのうち、少なくともいずれかを参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備える。
（３） 本発明の第３の態様によれば、被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置が、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な撮影条件情報を含む付加情報を前記画像データに付加して生成される画像ファイルを記憶する画像ファイル記憶部から前記画像ファイルを読み出す画像ファイル読み出し部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを複数有して、前記複数のカラーセンサそれぞれから出力される複数のスペクトル情報を含むスペクトル情報セットを出力する外光式スペクトル検出装置により、前記撮影光学系で撮影が行われたタイミングに同期して、あるいは前記タイミングとは同期せずに一定の時間間隔で、スペクトル検出が行われるたびごとに出力される前記スペクトル情報セットがスペクトル情報データログとして記憶されるスペクトル情報記憶部から前記スペクトル情報データログを読み出すスペクトル情報読み出し部と、
前記画像ファイル読み出し部で読み出された前記画像ファイルと、前記スペクトル情報読み出し部で読み出された前記スペクトル情報データログ中に含まれるスペクトル情報セットのうちの前記画像ファイルに対応するものとを関連付ける情報関連付け処理部と、
前記情報関連付け処理部で関連付けされた前記スペクトル情報セットに含まれる前記複数のスペクトル情報のうち、前記撮影条件情報に基づいて選択された１または複数のスペクトル情報と、前記画像データを分析した結果とのうち、前記撮影条件情報に基づいて少なくともいずれかを参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備える。
【発明の効果】
【００１４】
本発明によれば、比較的単純なスペクトル検出装置の構成で、撮影に際して煩雑な操作を必要とせず、より高度の色再現が可能となる。
【図面の簡単な説明】
【００１５】
【図１】外光式で一点計測式のスペクトル検出装置の光学的構成を概略的に示す図である。
【図２】外光式で多点計測式のスペクトル検出装置の光学的構成を概略的に示す図である。
【図３】複数のカラーセンサのそれぞれが有する分光感度特性の一例を示す図である。
【図４】外光式のスペクトル検出装置をカメラに内蔵する実施形態の一例を示す外観斜視図である。
【図５】外光式で外付け式のスペクトル検出装置をカメラに装着する実施形態の一例を示す外観斜視図であり、図５（ａ）はカメラにスペクトル検出装置を取り付けた状態を示す図であり、図５（ｂ）はスペクトル検出装置を外したカメラの外観を部分的に示す図である。
【図６】外光式スペクトル検出装置のセンサ受光範囲と、撮影範囲との関係が撮影光学系の画角や撮影距離を変えることによって変化する様子を概念的に説明する図である。
【図７】本発明の第１の実施の形態を説明する図であり、一点計測式のスペクトル検出装置が内蔵されるカメラの情報処理系統の構成を概略的に説明するブロック図である。
【図８】色再現処理方法決定部で行われる色再現処理方法決定処理の内容をまとめた表である。
【図９】本発明の第２の実施の形態を説明する図であり、多点計測式のスペクトル検出装置およびこのスペクトル検出装置が接続されるカメラの情報処理系統の構成を概略的に説明するブロック図である。
【図１０】多点式のスペクトル検出装置のセンサ受光範囲と撮影光学系の撮影範囲との関係を概念的に示す図であり、図１０（ａ）は撮影光学系の焦点距離が広角側に設定され、撮影距離がより遠い状態に設定される例を、図１０（ｂ）は撮影光学系の焦点距離が広角側に設定され、撮影距離がより近い状態に設定される例を、図１０（ｃ）は撮影光学系の焦点距離が望遠側に設定され、撮影距離がより遠い状態に設定される例を、図１０（ｄ）は撮影光学系の焦点距離が望遠側に設定され、撮影距離がより近い状態に設定される例を、それぞれ示す図である。
【図１１】本発明の第３の実施の形態を説明する図であり、多点計測式のスペクトル検出装置およびこのスペクトル検出装置が接続されるカメラの情報処理系統の構成を概略的に説明するブロック図である。
【図１２】本発明の第４の実施の形態を説明する図であり、撮影情報およびスペクトル情報の付加された画像データに色再現処理をする画像処理装置の情報処理系統の構成を概略的に説明するブロック図である。
【図１３】本発明の第４の実施の形態に係る画像処理装置内の被写体情報導出部および色変換処理部の情報処理系統の構成をより詳細に説明するブロック図である。
【図１４】スペクトル情報抽出部から得られるスペクトル情報をｎ次元空間座標系にプロットした様子を示す概念図である。
【図１５】本発明の第３および第４の実施の形態の変形例を説明する図であり、スペクトル検出装置のセンサ受光範囲と撮影光学系の撮影範囲との関係を概念的に示し、図１５（ａ）はペンダント状の白色色標を身につけた被写体を、図１５（ｂ）は撮影光学系の焦点距離が広角側に設定され、撮影距離がより遠い状態に設定される例を、図１５（ｃ）は撮影光学系の焦点距離が広角側に設定され、撮影距離がより近い状態に設定される例を、図１５（ｄ）は撮影光学系の焦点距離が望遠側に設定され、撮影距離がより遠い状態に設定される例を、図１５（ｅ）は撮影光学系の焦点距離が望遠側に設定され、撮影距離がより近い状態に設定される例を、それぞれ示し、白色色標からの光を受光するセンサブロックからのスペクトル情報が選択される様子を説明する図である。
【図１６】本発明を遠隔病理診断システムに適用する、第５の実施の形態を説明する図であり、遠隔病理診断システムの情報処理系統の構成を概略的に説明するブロック図である。
【図１７】本発明の第５の実施の形態に係る遠隔病理診断システム内の色変換処理部の情報処理系統の構成をより詳細に説明するブロック図である。
【図１８】本発明の第６の実施の形態を説明する図であり、スペクトル情報データログを蓄積可能な多点計測式のスペクトル検出装置およびこのスペクトル検出装置が接続されるカメラの情報処理系統の構成を概略的に説明するブロック図である。
【図１９】本発明の第６の実施の形態を説明する図であり、撮影日時情報の付加された画像ファイルと検出日時情報の付加されたスペクトル情報ログデータとを読み出して色再現処理を行う画像処理装置の情報処理系統の構成を概略的に説明するブロック図である。
【発明を実施するための形態】
【００１６】
− スペクトル検出装置の構成 −
図１、図２は、スペクトル検出装置の光学的な構成を概略的に示す図であり、図１は一点計測式のスペクトル検出装置１１０の構成を、図２は多点計測式のスペクトル検出装置２１０の光学的な構成を、それぞれ示す。これらのスペクトル検出装置１１０、２１０は、いずれも外光式のものであり、カメラに内蔵または外付けされる。ここで、外光式のスペクトル検出装置とは、カメラの撮影光学系とは別の光学系によって被写界からの光を集光し、スペクトルを検出する装置を意味する。なお、スペクトル検出装置１１０、２１０の電気的な構成については後で説明する。
【００１７】
最初に図１を参照して、一点計測式のスペクトル検出装置１１０の構成について説明する。スペクトル検出装置１１０は、集光レンズ１０２と、拡散板１０４と、センサモジュール１０６とを備える。集光レンズ１０２は、被写界からの光を集光し、集光レンズ１０２の後方に配置される拡散板１０４に導く。図１において集光レンズ１０２は単玉として示されているが、複数のレンズエレメントによって構成されていてもよい。拡散板１０４は、フライアイレンズが表面に形成された透明板または乳白色半透明の平板等で構成され、集光レンズ１０２を透過した光を略均一に拡散し、拡散板１０４の後方に配置されるセンサモジュール１０６に導く。このような構成により、被写界からの光は略均一に混合されて平均化され、センサモジュール１０６の受光面に入射する。
【００１８】
センサモジュール１０６は、複数の光電変換部を備え、それぞれの光電変換部上には異なる分光透過特性を有するフィルタが設けられる。つまり、ある分光透過特性を有するフィルタ一つと、そのフィルタを透過した光を受光する一つの光電変換部とを備えて一つのカラーセンサ１０６ａ、１０６ｂ、…が構成され、センサモジュール１０６は複数のカラーセンサ１０６ａ、１０６ｂ、…を備えて構成される。
【００１９】
図１には、センサモジュール１０６が１５個のカラーセンサ１０６ａ、１０６ｂ、…、１０６ｎ、１０６ｏを備える例が示されている。カラーセンサ１０６ａ、１０６ｂ、…の個数、形状、配置パターン等については図１に例示されるものに限られず、求められる仕様に応じて様々なものとすることが可能である。また、各カラーセンサ１０６ａ、１０６ｂ、…の各光電変換部の面積は均等であっても、異なっていてもよい。
【００２０】
センサモジュール１０６は、各カラーセンサ１０６ａ、１０６ｂ、…から出力される光電流を増幅するアンプや、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ等を必要に応じて備えていてもよい。本明細書においては、センサモジュール１０６がアンプやＡ／Ｄコンバータを備えていて、センサモジュール１０６からは各カラーセンサ１０６ａ、１０６ｂ、…に対応してデジタルのセンサデータが出力されるものとして説明する。
【００２１】
各カラーセンサ１０６ａ、１０６ｂ、…に設定される分光感度特性の一例を図３に示す。図３中、丸で囲ったａからｏの符号を付して示した曲線のひとつ一つがカラーセンサ１０６ａ、１０６ｂ、…それぞれに設定される分光感度特性の例を示している。図３に示される分光感度は一例であって、スペクトル検出装置１１０に求められる仕様に応じて様々な分光感度特性を設定することができる。ひとつ一つの分光感度特性の帯域は広帯域、狭帯域等、様々に設定可能である。また、可視域のみならず、用途に応じて赤外域や紫外域に分光感度を有していてもよい。
【００２２】
集光レンズ１０２の焦点距離は、センサモジュール１０６の受光部のサイズに基づいて所望の受光角度が得られるように設定される。なお、センサモジュール１０６の受光部のアスペクト比はカメラで得られる画像のアスペクト比と略一致するように設定することが望ましい。画像のフォーマットが正方形以外であればスペクトル検出装置の受光角度（以下では「センサ受光角度」と称する）は画面の縦方向、横方向で異なる。本明細書中ではセンサ受光角度と撮影画角とを比較して説明をする場合があるが、その場合には縦方向、横方向、および対角方向のうち、いずれかの同じ方向同士で比較するものとする。
【００２３】
図２を参照して、多点計測式のスペクトル検出装置２１０の構成について説明する。スペクトル検出装置２１０は、集光レンズ２０２と、センサモジュール２０６とを備える。集光レンズ２０２は、被写界からの光を集光し、後方に配置されるセンサモジュール２０６上に導いて像を形成する。図２において集光レンズ２０２は単玉として示されているが、複数のレンズエレメントにより構成されていてもよい。
【００２４】
センサモジュール２０６は、複数のセンサブロック２０６−１、２０６−２、…を備えて構成される点がセンサモジュール１０６との大きな違いである。図２においては１００個のセンサブロック２０６−１、２０６−２、…、２０６−１００が１０行１０列に配列される例が示されている。それぞれのセンサブロック２０６−１、２０６−２、…は、図１、図３を参照して説明したのと同様のカラーセンサを複数備える。図２には、センサブロック２０６−１を拡大した様子が描かれている。センサブロック２０６−１は、１５個のカラーセンサ２０６−１ａ、２０６−１ｂ、…２０６−１ｏを備える。これらのカラーセンサ２０６−１ａ、２０６−１ｂ、…の分光感度特性は、図３を参照して説明したものと同様とすることができる。
【００２５】
多点計測式のスペクトル検出装置２１０では、集光レンズ２０２によって導かれる被写界からの光を複数のセンサブロック２０６−１、２０６−２、…でエリアごとに分割して検出する。これにより、複数のエリアに分割された被写界のそれぞれに対応してスペクトルを検出することが可能となる。
【００２６】
なお、センサモジュール２０６の受光部上には集光レンズ２０２によって像が形成されるので、ひとつ一つのセンサブロック２０６−１、２０６−２、…の上に像が形成される。センサブロック２０６−１、２０６−２、…の面積が大きくなると、センサブロック中の各カラーセンサは像中の異なる部分の光を受光することになる。したがって、各カラーセンサは被写界からの異なる色の光を受光する可能性がある。そのようなことが想定される場合には、一つのセンサブロックに入射する光が略均一に混合されたものとなるように、集光レンズ２０２とセンサモジュール２０６との間にＯＬＰＦ（光学的ローパスフィルタ）やフライアイレンズ等を配設することが望ましい。
【００２７】
図２には、センサモジュール２０６が１００個のセンサブロックを備え、各センサブロックが１５個のカラーセンサを備える例が示されているが、これらのセンサブロックの配設数や各センサブロックに備えられるカラーセンサの数についてはスペクトル検出装置２１０に求められる仕様に応じて様々な値とすることが可能である。また、センサブロックやカラーセンサの形状、配置パターン等についても図２に例示されるものに限られず、求められる仕様に応じて様々なものとすることが可能である。
【００２８】
センサモジュール２０６は、図１を参照して説明したセンサモジュール１０６と同様、各カラーセンサから出力される光電流を増幅するアンプや、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ等を必要に応じて備えていてもよい。本明細書においては、センサモジュール２０６がアンプやＡ／Ｄコンバータを備えていて、センサモジュール２０６からは各センサブロック中の各カラーセンサに対応してデジタルのセンサデータが出力されるものとして説明する。
【００２９】
集光レンズ２０２の焦点距離は、センサモジュール２０６の受光部のサイズに基づいて所望の受光角度（センサ受光角度）が得られるように設定される。センサモジュール２０６の受光部のアスペクト比はカメラで得られる画像のアスペクト比と略一致するように設定することが望ましい。センサ受光角度と撮影画角とを比較する場合の考え方については図１を参照して説明したのと同様である。
【００３０】
− スペクトル検出装置の実装形態 −
図４は、スペクトル検出装置１１０をカメラ４００に内蔵する実装形態の例を示す。被写界Ｆ中の被写体ｏｂｊが撮影光学系４０４で撮影される。図４では、カメラ４００に一点計測式のスペクトル検出装置１１０が内蔵される例について示しているが、多点計測式のスペクトル検出装置２１０が内蔵されてもよい。先にも説明したように、スペクトル検出装置１１０はカメラ４００の撮影光学系４０４とは別の光学系、すなわち集光レンズ１０２によって集光された被写界Ｆおよび被写体ｏｂｊからの光を受光して被写界Ｆおよび被写体ｏｂｊのスペクトル情報を出力する。したがって、撮影光学系４０４と集光レンズ１０２とは、いわゆる視差を生じる。
【００３１】
撮影光学系４０４の光軸Ａ１と、集光レンズ１０２の光軸Ａ２とは、互いに平行であってもよいが、所定の撮影距離、例えば３ｍの位置で交わるように集光レンズ１０２の光軸Ａ２を傾けてもよい。本明細書中では光軸Ａ２が傾けられていて、光軸Ａ１と光軸Ａ２とが角度θで交差するものとする。図４に示される例では、光軸Ａ１と光軸Ａ２とはカメラ４００を保持した撮影者から見て左右方向および上下方向の双方にずれている。
【００３２】
図５は、多点計測式のスペクトル検出装置２１０をカメラ５００に外付けする実装形態の例を示す。図５（ａ）は、カメラ５００にスペクトル検出装置２１０を装着した様子を、図５（ｂ）は、スペクトル検出装置２１０を外した状態のカメラ５００の上面を部分的に示す。図５（ｂ）に示されるように、カメラ５００の上面にはアクセサリシュー５０６と接点５０６ａとが設けられる。
【００３３】
図５において、スペクトル検出装置２１０はユニット化されていて、アクセサリシュー５０６を介してカメラ５００に装着される。カメラ５００とスペクトル検出装置２１０とは、接点５０６ａなどを介して制御信号および情報を授受可能に構成される。あるいは、光通信や近距離無線通信の技術を用いて無接点の方式で制御信号および情報の授受を行うことが可能に構成されていてもよい。また、接点を介して電源をカメラ５００より電源を供給可能な構成としてもよい。
【００３４】
また、図５では多点計測式のスペクトル検出装置２１０がカメラ５００に外付けされる例が示されているが、一点計測式のスペクトル検出装置１１０が外付けされるものであってもよい。
【００３５】
図４を参照して説明したのと同様、スペクトル検出装置２１０はカメラ５００の撮影光学系４０４とは別の光学系、すなわち集光レンズ２０２によって集光された被写界Ｆおよび被写体ｏｂｊからの光を受光し、対応するスペクトル情報を出力する。したがって、撮影光学系４０４と集光レンズ２０２とは、いわゆる視差を生じる。撮影光学系４０４の光軸Ａ１と集光レンズ２０２の光軸Ａ３とは、互いに平行であっても、所定の撮影距離で交わるように光軸Ａ３を傾けてもよい。本明細書中では光軸Ａ３が傾けられていて、光軸Ａ１と光軸Ａ３とが角度θで交差するものとする。図５に示される例では、光軸Ａ１と光軸Ａ３とは、カメラ５００を保持した撮影者から見て左右方向にずれは無く、上下方向にのみずれている。もちろん、集光レンズ２０２を可変焦点距離になるよう構成することも可能である。この場合スペクトル検出装置２１０と撮影光学系４０４の撮影範囲の差は少なくなるが、光軸が異なるため完全に一致することはない。
【００３６】
図６は、スペクトル検出装置２１０によるスペクトル検出範囲（以下、「センサ受光範囲」と称する）と、撮影光学系４０４による撮影範囲との関係を説明する図である。ここでの「範囲」は空間的な範囲を意味している。本明細書において、集光レンズ２０２は単焦点である一方、撮影光学系４０４は可変焦点距離であるものとする。
【００３７】
上述のように集光レンズ２０２は単焦点であるため、センサ受光角度は一定であり、撮影距離の変化に応じてセンサ受光範囲の大きさが変化する。一方、撮影光学系４０４の設定焦点距離に応じて撮影画角は変化するので、同じ撮影距離であっても撮影範囲は変化し、さらに撮影距離が変化するとそれに応じて撮影範囲も変化する。本実施の形態において、センサ受光範囲は、撮影光学系４０４を望遠側に設定したときの撮影範囲よりも広く、広角側に設定したときの撮影範囲よりも狭くなるように設計されているものとする。別の表現を用いると、センサ受光角度は、撮影光学系４０４を望遠側に設定したときの撮影画角よりも広く、広角側に設定したときの撮影画角よりも狭くなるように設計されているものとする。
【００３８】
ところで、先にも説明したとおり、光軸Ａ１と光軸Ａ３とは、カメラ５００を保持した撮影者から見て左右方向にずれは無く、上下方向にずれている。このずれにより、センサ受光範囲と撮影範囲との間には以下で説明するように上下方向の視差を生ずる。その様子が図６には示されている。
【００３９】
光軸Ａ１と光軸Ａ３とが所定の撮影距離で交わるように光軸Ａ３は傾けられている。すなわち、この所定の撮影距離においては、センサ受光範囲の中心と撮影範囲の中心とが一致する。それ以外の撮影距離においては、センサ受光範囲の中心と撮影範囲の中心との間にずれを生じる。このとき、光軸Ａ１と光軸Ａ３とは上記のとおり左右方向にずれは無く、上下方向にずれているので、センサ受光範囲の中心と撮影範囲の中心との間に生じるずれも上下方向に沿ったものとなる。
【００４０】
センサ受光範囲と、撮影光学系４０４が広角端に設定されているときの撮影範囲との位置関係の変化を、図６を参照して説明する。より遠い距離にある撮影距離２においては、撮影範囲はセンサ受光範囲よりも上側にＵ２、下側にＬ２だけ広く、Ｕ２はＬ２よりも大きい。すなわち、カメラ５００を保持した撮影者から見て、センサ受光範囲は撮影範囲に対して下側に偏っている。
【００４１】
一方、より近い距離にある撮影距離１においては、撮影範囲はセンサ受光範囲よりも上側にＵ１、下側にＬ１だけ広く、Ｕ１はＬ１よりも小さい。すなわち、カメラ５００を保持した撮影者から見て、センサ受光範囲は撮影範囲に対して上側に偏っている。
【００４２】
以上のように、撮影光学系４０４の設定焦点距離を変化させることによってセンサ受光範囲と撮影範囲との関係が変化するのに加え、撮影距離が変化してもセンサ受光範囲と撮影範囲との関係は変化する。本発明では、スペクトル検出装置１１０、２１０で検出して得られたスペクトル情報を用い、撮影光学系４０４で撮影して得られた画像に色再現処理を行う。その際に、上述したセンサ受光範囲と撮影範囲との関係の変化に応じて、色再現処理の方法を決定する。
【００４３】
− 第１の実施の形態 −
本発明の第１の実施の形態は、図４に示されるように、カメラ４００に一点計測式のスペクトル検出装置１１０が内蔵されるのとして説明をする。カメラ４００は、レンズ交換式であってもレンズ固定式であってもよい。また、撮影光学系４０４は、単焦点レンズであっても可変焦点距離のレンズであってもよい。本実施の形態において、カメラ４００はレンズ交換式のもので、カメラ４００に装着されている撮影光学系４０４は可変焦点距離のレンズであるものとして説明をする。
【００４４】
図７は、スペクトル検出装置１１０およびこのスペクトル検出装置１１０を内蔵するカメラ４００の情報処理系統の構成を概略的に説明するブロック図である。スペクトル検出装置１１０は、センサモジュール１０６から出力されるデジタルのセンサデータを記憶するデータメモリ１２０を備える。スペクトル検出装置１１０はまた、データメモリ１２０に記憶されたセンサデータをもとにスペクトル推定処理を行い、スペクトル情報を出力するスペクトル推定処理部１２２を備える。
【００４５】
図７において、センサデータは以下のように表記されている。
ＳＤ（ｋ）： ｋ ＝ １〜Ｎ
ここでＮは、カラーセンサの数である。図１を参照して説明したセンサモジュール１０６が用いられる場合、Ｎは１５となる。
【００４６】
図７において、スペクトル情報は以下のように表記されている。
ＳＰＤ（ｊ）： ｊ＝ １〜Ｍ
ここでＭは、カメラ４００の仕様等によって決まる数である。つまり、Ｎ個のカラーセンサから出力されるセンサデータをもとに生成されるスペクトル情報の次元数をＭは示しており、例えば３８０ｎｍから７８０ｎｍまでの可視光波長帯域のスペクトル情報を１ｎｍ間隔で出力する場合、Ｍ＝４０１となる。あるいは、予め定められた例えば１０点の波長におけるスペクトル情報が得られれば十分な精度が得られる応用形態であればＭ＝１０となる。つまり、上述したセンサデータの数Ｎとスペクトル情報の次元数Ｍとの間の関係に関して、必ずしもＭがＮを上回る必要はない。
【００４７】
ここでセンサモジュール１０６から出力されるセンサデータＳＤ（ｋ）をもとにスペクトル情報を得る方法の一例について簡単に説明する。世の中に存在する自然光や人工光をセンサモジュール１０６で検出したときの出力パターン、すなわちセンサデータＳＤ（１）、ＳＤ（２）、…、ＳＤ（ｋ）の相対値（これをデータパターンと称する。）と、それらの自然光や人工光の分光スペクトルとの関係が予め求められてスペクトル検出装置１１０内にテーブルとして保持されているものとする。
【００４８】
スペクトル推定処理部１２２は、データメモリ１２０中に記憶されるセンサデータＳＤ（１）、ＳＤ（２）、…、ＳＤ（ｋ）に正規化の処理を施してデータパターンを導出する。スペクトル推定処理部１２２はさらに、上記テーブルを参照して、センサデータのデータパターンに最も類似するデータパターンを探索し、このデータパターンに対応する分光スペクトルデータをテーブル中から読み出してスペクトル情報ＳＰＤ（ｊ）とする。
【００４９】
カメラ４００内の、上記スペクトル検出装置１１０以外の構成要素について説明する。カメラ４００は、撮像部７００と、色温度検出部７０２と、第１光源検出部７０４と、画像処理部７０６と、撮影条件情報取得部７１０と、色再現処理方法決定部７１２と、スペクトル情報入力部７１４と、第２光源検出部７１６とをさらに備える。
【００５０】
撮像部７００は、撮影光学系４０４によって形成される被写体像を光電変換して画像データを出力する撮像素子や、撮像素子から出力される画像データを処理する情報処理部等を含み、色温度検出部７０２、画像処理部７０６にデジタル画像データを出力する。
【００５１】
本実施の形態において、撮像部７００は、ＲＧＢの画像データを出力するものとするが、他の色空間の画像データを出力可能に構成されていても良いし、３色よりも多い色数の画像データを出力可能に構成されていてもよい。なお、センサモジュール１０６が備えるカラーセンサで色分解可能な数は、撮像部７００から出力される画像データの色数よりも多くなるようにシステム設計がなされる。
【００５２】
色温度検出部７０２は、撮像部７００から出力される画像データを処理し、撮影時に被写体を照明していた光（以下ではこれを「撮影照明光」と称する）の色温度を推定する処理を行う。例えば、一つの画像を複数の領域に分割し、分割された領域ごとに画像データのＲＧＢ値を導出して、ＲＧＢ値の比率に基づいて分割された領域ごとに色温度を推定する。そして、分割された領域ごとの色温度をもとに、公知のアルゴリズムに従って撮影照明光の色温度が推定される。
【００５３】
第１光源検出部７０４は、色温度検出部７０２から入力した撮影照明光の色温度情報に基づき、撮影照明光の種類を特定する。第１光源検出部７０４で特定可能な撮影照明光の種類としては、晴天太陽光、曇天、タングステン灯、白色蛍光灯、昼光色蛍光灯などがある。
【００５４】
撮影条件情報取得部７１０は、撮影時に撮影光学系４０４で設定されていた焦点距離および合焦距離に関する情報をレンズ制御部４０６から入力する。ここでレンズ制御部４０６について説明する。レンズ制御部４０６は、撮影光学系４０４内に備えられ、撮影光学系４０４内の焦点調節用レンズの動作の制御や絞り装置の動作の制御を行う。レンズ制御部４０６はまた、撮影光学系４０４で設定されている焦点距離に関する情報や、撮影光学系４０４の合焦距離を検出可能に構成されている。
【００５５】
具体的には、撮影光学系４０４の焦点距離を変化させる変倍装置内に組み込まれるエンコーダ等から信号を読み出すことにより、撮影光学系４０４で設定されている焦点距離を検出する。また、焦点調節用レンズを駆動する機構内に備えられる、レンズ位置検出用エンコーダ等から信号を読み出すことにより、合焦距離を検出する。
【００５６】
撮影条件情報取得部７１０は、これらの焦点距離や合焦距離に関する情報をレンズ制御部４０６から入力する。なお、撮影条件情報取得部７１０がレンズ制御部４０６から入力する情報としては、撮影画角に関する情報や撮影倍率に関する情報であってもよい。
【００５７】
色再現処理方法決定部７１２は、撮影条件情報取得部７１０から撮影条件情報を入力する。この撮影条件情報中には、撮影が行われたときに撮影光学系４０４で設定されていた撮影画角および撮影距離を導出可能な情報を含む。すなわち、撮影条件情報中には、撮影が行われたときに撮影光学系４０４で設定されていた焦点距離または撮影画角に関連する情報と、合焦距離または撮影倍率に関連する情報とを含む。撮影倍率に関連する情報が撮影条件情報中に含まれる場合、この撮影倍率に関連する情報と、焦点距離または撮影画角に関連する情報とに基づいて撮影距離を導出することができる。
【００５８】
色再現処理方法決定部７１２はさらに、撮影条件情報取得部７１０から入力した上記撮影条件情報に基づき、後で詳しく説明するように、画像処理部７０６で行われる色再現処理の色再現処理方法を決定し、決定した色再現処理方法に関する情報を画像処理部７０６に出力する。
【００５９】
スペクトル情報入力部７１４は、スペクトル検出装置１１０からスペクトル情報ＳＰＤ（ｊ）を入力する。第２光源検出部７１６は、スペクトル情報入力部７１４で入力したスペクトル情報ＳＰＤ（ｊ）をもとに、撮影照明光の種類を特定する処理を行う。ここで第１光源検出部７０４における処理との違いについて説明する。
【００６０】
第１光源検出部７０４では、色温度検出部７０２から入力した撮影照明光の色温度情報に基づいて撮影照明光の種類を特定する。一方、第２光源検出部７１６は、スペクトル情報ＳＰＤ（ｊ）をもとに撮影照明光の種類を特定する処理を行うので、撮影照明光のスペクトルの類似度などを利用して撮影照明光の種類を第１光源検出部７０４で特定可能な種類数よりも多い数で特定することが可能となる。また、被写体が複数種類の照明により照射された状況であっても高精度に推定することが出来る。
【００６１】
画像処理部７０６は、色再現処理方法決定部７１２で決定された色再現処理方法に基づき、色再現処理を行う。ここで、色再現処理方法決定部７１２で行われる色再現処理方法決定処理と画像処理部７０６で行われる色再現処とについて説明する。
【００６２】
図８は、色再現処理方法決定部７１２で行われる色再現処理方法決定処理の内容をまとめた表である。色再現処理方法決定部７１２は、撮影条件情報取得部７１０から取得した撮影条件情報より、撮影が行われたときに撮影光学系４０４で設定されていた撮影画角および撮影距離を導出する。そして、撮影距離の遠近と、撮影画角とセンサ受光角との関係とに基づいて以下で説明する方法に従って色再現処理方法を決定する。
【００６３】
撮影距離が所定の基準距離以遠、例えば１ｍ以遠であると判定された場合、第１光源検出部での光源特定結果の信頼度に関する判定は行わず、撮影画角の判定が行われる。第１光源検出部での光源特定結果の信頼度に関しては後で説明する。撮影画角がセンサ受光角度の１．５倍以下と判定されると、スペクトル検出装置１１０からの出力（第２光源検出部７１６での光源特定結果）を参照して色再現処理（図８中の色再現処理１）が行われる。一方、撮影画角がセンサ受光角度の１．５倍を超すと判定されると、撮像部７００からの出力（第１光源検出部７０４での光源特定結果）を参照して色再現処理（図８中の色再現処理２）を行われる。
【００６４】
上記の処理について説明をする。撮影画角がセンサ受光角度の１．５倍以下と判定される状況は、撮影画角とセンサ受光角度とがほぼ一致している状況と考えることができる。したがって、このような状況ではスペクトル検出装置１１０からの出力（第２光源検出部７１６での光源特定結果）を参照して色再現処理を行うことにより、色再現処理の精度を高めることが可能となる。あるいは、カメラ４００に装着可能な交換レンズとしてそのような短焦点距離のものが提供されていなければ、常にスペクトル検出装置１１０を参照して色再現処理を行うことも考えられる。
【００６５】
無論、撮影光学系４０４で設定可能な焦点距離がかなり長ければ、撮影画角も相応に小さくなるので、撮影画角とセンサ受光角度とがほぼ一致しているとは云えなくなる。そのような状況を考慮し、例えばセンサ受光角の半分よりも撮影画角が小さい場合、撮像部７００からの出力（第１光源検出部７０４での光源特定結果）を参照して色再現処理を行うように決定がなされてもよい。あるいは、カメラ４００に装着可能な交換レンズとしてそのような長焦点距離のものが提供されていなければ、図８を参照して以上に説明した色再現処理方法決定処理を行えばよい。
【００６６】
一方、撮影画角がセンサ受光角度の１．５倍を超すと判定される状況では、撮影光学系４０４で設定された撮影画角が大きく、結果としてセンサモジュール１０６の中央重点度（スポット性）が増すことになる。このような状況でスペクトル検出装置１１０から得られるスペクトル情報は、被写体の分光反射率の影響を受けやすい。したがって、撮影画角がセンサ受光角度の１．５倍を超すと判定される状況では撮像部７００からの出力（第１光源検出部７０４での光源特定結果）を参照して色再現処理（図８中の色再現処理２）を行うように決定がなされる。
【００６７】
続いて、撮影距離が所定の基準距離よりも近いと判定された場合の処理について説明する。撮影距離が所定の基準距離よりも近いと判定されると、第１光源検出部７０４での光源特定結果の信頼度に関する判定が最初に行われる。具体的には、撮像部７００から出力される画像データにより生成される画像中に含まれる白い部分の割合に基づいて上記信頼度に関する判定が行われる。
【００６８】
すなわち、被写体中に白い部分が存在すれば、その白い部分の画像から得られる色情報は撮影照明光の分光特性をより強く反映したものとなる。したがって、上記画像中に含まれる白い部分の割合が例えば画素数比で１０％を越す場合、上記信頼度は高いと判定され、１０％以下の場合には上記信頼度は低いと判定される。
【００６９】
上記信頼度が高いと判定されると、撮像部７００からの出力（第１光源検出部７０４での光源特定結果）を参照して色再現処理（図８中の色再現処理３）が行われる。一方、上記信頼度が低いと判定されると、スペクトル検出装置１１０からの出力（第２光源検出部７１６での光源特定結果）を参照して色再現処理（図８中の色再現処理４）が行われる。
【００７０】
撮影距離が所定の基準距離よりも近いと判定された場合に撮影画角とセンサ受光角度との関係に基づく判定が行われない理由は、以下のとおりである。すなわち、先に図６を参照して説明したように、撮影距離が近いと撮像部７００とセンサモジュール１０６との間の視差が大きくなり、スペクトル検出装置１１０から得られるスペクトル情報が撮影時に被写体を照明していた撮影照明光の特性を必ずしも反映しなくなる可能性が高まるからである。
【００７１】
一方、撮影距離が近い場合には、被写体がより大きく写されるので、第１光源検出部７０４での光源特定結果は被写体中の特定の色の分光反射特性の影響を受けやすい（例えば赤や黄色等、単色に近い花のクローズアップ撮影が行われた場合、第１光源検出部７０４での光源特定結果は花の色の影響を強く受ける）。そこで、画像中に含まれる白い部分の割合に基づいて第１光源検出部７０４での光源特定結果の信頼度を判定し、上述したように色再現処理３または４が選択される。
【００７２】
ところで、上記説明で、色再現処理１、４はスペクトル検出装置１１０からの出力（第２光源検出部７１６での光源特定結果）を参照しての色再現処理であると説明したが、撮像部７００からの出力（第１光源検出部７０４での光源特定結果）も参照してそれぞれの結果を重み付けするなどして色再現処理をしてもよい。また、色再現処理２、３は撮像部７００からの出力（第１光源検出部７０４での光源特定結果）を参照しての色再現処理であると説明したが、以下のような色再現処理が行われても良い。
【００７３】
すなわち、カメラ４００の背面に備えられる液晶表示装置等に、カメラ４００のユーザに対して撮影照明光の種類を入力するように促す表示をして、ユーザの入力を受け付けるようにしてもよい。ユーザが入力可能な撮影照明光の種類は、一例として、晴天屋外、曇天屋外、タングステン灯、白色蛍光灯、昼白色蛍光灯、昼光色蛍光灯、ＬＥＤ灯などがある。あるいは、撮影照明光の種類ではなく、色温度（Ｋ）をユーザが入力できるようにしてもよい。そして、入力された撮影照明光の種類（あるいは色温度）と、撮像部７００からの出力（第１光源検出部７０４での光源特定結果）あるいはスペクトル検出装置１１０からの出力（第２光源検出部７１６での光源特定結果）とを参照して色再現処理をするように決定してもよい。
【００７４】
画像処理部７０６は、上記色再現処理１から４のうち、色再現処理方法決定部７１２で決定されたいずれかの色再現処理によって色再現処理を行う。画像処理部７０６で行われる色再現処理としては、撮像部７００から出力される画像データに対して色バランスを調節する処理とすることが可能である。あるいは、ＲＡＷデータに付加するための撮影照明情報を生成する処理とすることも可能である。
【００７５】
以上に説明したように、本発明の第１の実施の形態によれば、外光式のスペクトル検出装置１１０から得られるスペクトル情報を参照するか否かが、撮影光学系４０４で撮影が行われたときに設定されていた画角および撮影距離に基づいて決定される。そして、スペクトル情報を参照しないと決定された場合にはスペクトル検出装置１１０から出力されるスペクトル情報を参照せず、撮像部７００から出力される画像データを分析した結果に基づいて色再現処理を行うように決定される。
【００７６】
一方、スペクトル情報を参照すると決定された場合には、撮像部７００から出力される画像データを分析した結果とスペクトル情報とのうち、少なくともスペクトル情報を参照して色再現処理を行うように決定される。これにより、より高い精度で色再現処理を行うことが可能となる。
【００７７】
以上では、スペクトル検出装置１１０がカメラ４００に内蔵されるものとして説明をしたが、スペクトル検出装置１１０がカメラに対して外付け可能に構成されていてもよい。
【００７８】
また、撮影条件情報取得部７１０、色再現処理方法決定部７１２、色温度検出部７０２、第１光源検出部７０４、スペクトル情報入力部７１４、第２光源検出部７１６、画像処理部７０６がカメラ４００に備えられるものとして説明したが、これらの要素がスペクトル検出装置１１０の中に備えられていてもよい。
【００７９】
例えば、スペクトル検出装置１１０が外付け式のものである場合、カメラ４００から画像データと撮影条件情報とをスペクトル検出装置１１０が受ける。スペクトル検出装置１１０は、撮影条件情報と、スペクトル検出して得たスペクトル情報とを用いて画像データに色再現処理を行い、処理後の画像データをカメラ４００に戻す。
【００８０】
あるいは、上記の撮影条件情報取得部７１０、色再現処理方法決定部７１２、色温度検出部７０２、第１光源検出部７０４、スペクトル情報入力部７１４、第２光源検出部７１６、画像処理部７０６を備える画像処理装置として本発明を実施することも可能である。この画像処理装置は、ＰＣと、ＰＣ上で実行されるソフトウェアとによって構成可能である。
【００８１】
一方、カメラ４００はスペクトル検出装置１１０を内蔵するか、スペクトル検出装置１１０が外付けされ、撮像部７００から出力される画像データに撮影条件情報とスペクトル情報とが付加されてメモリカード等の記憶媒体に記憶される。画像処理装置は、カメラ４００の記憶媒体中から、撮影条件情報とスペクトル情報が付加された画像データを読み出し、色再現の処理をする。
【００８２】
ところで、色再現処理方法決定部７１２が図８を参照して説明した色再現処理方法決定の処理を行い、その際に、第１光源検出部７０４での光源特定結果の信頼度を色再現処理方法決定部７１２で判定することについて先に説明した。この光源特定結果の信頼度の判定に際して、色再現処理方法決定部７１２は画像データを入力することが必要となる。図７において、色再現処理方法決定部７１２が画像データを入力する際の情報の流れが記載されていないが、色再現処理方法決定部７１２は撮像部７００、色温度検出部７０２、および第１光源検出部７０４のうち、いずれかから画像データを入力すればよい。
【００８３】
以上の実施の形態において、カメラ４００は静止画または動画、あるいは両方を記録可能なものとすることができる。
【００８４】
− 第２の実施の形態 −
本発明の第２の実施の形態は、図５に例示されるような、カメラ５００にスペクトル検出装置２１０が外付けされるものとして説明をする。カメラ５００は、レンズ交換式であってもレンズ固定式であってもよい。また、撮影光学系４０４は、単焦点レンズであっても可変焦点距離のレンズであってもよい。本実施の形態において、カメラ５００はレンズ交換式のもので、カメラ５００に装着されている撮影光学系４０４は可変焦点距離のレンズであるものとして説明をする。
【００８５】
図９は、スペクトル検出装置２１０およびカメラ５００の情報処理系統の構成を概略的に説明するブロック図である。スペクトル検出装置２１０は、センサモジュール２０６から出力されるデジタルのセンサデータを記憶するデータメモリ１２０Ａを備える。スペクトル検出装置２１０はまた、データメモリ１２０Ａに記憶されたセンサデータをもとにスペクトル推定処理を行い、スペクトル情報を出力するスペクトル推定処理部１２２Ａを備える。
【００８６】
図９において、センサデータは以下のように表記されている。
ＳＤｉ（ｋ）： ｋ ＝ １〜Ｎ
ｉ ＝ １〜Ｐ
ここでＮは、カラーセンサの数である。また、Ｐはセンサブロックの数である。図２を参照して説明したセンサモジュール２０６が用いられる場合、Ｎは１５となり、Ｐは１００となる。
【００８７】
図９において、スペクトル情報は以下のように表記されている。
ＳＰＤｉ（ｊ）： ｊ＝ １〜Ｍ
ｉ＝ １〜Ｐ
ここでＭは、カメラ５００やスペクトル検出装置２１０の仕様等によって決まる数であり、第１の実施の形態で説明したのと同様である。上述したセンサデータの数Ｎとスペクトル情報の次元数Ｍとの間の関係に関して、必ずしもＭがＮを上回る必要はないのも第１の実施の形態と同様である。Ｐは先に説明したとおり、センサブロックの数である。
【００８８】
センサモジュール２０６から出力されるセンサデータＳＤｉ（ｋ）をもとにスペクトル情報を得る方法については、第１の実施の形態で説明したのと同様の方法とすることができる。すなわち、世の中に存在する自然光や人工光をセンサモジュール２０６中の一つのセンサブロック２０６−ｉで検出したときの出力パターン、すなわちセンサデータＳＤｉ（１）、ＳＤｉ（２）、…、ＳＤｉ（ｋ）の相対値（これをデータパターンと称する。）と、それらの自然光や人工光の分光スペクトルとの関係が予め求められてスペクトル検出装置２１０内にテーブルとして保持されているものとする。
【００８９】
スペクトル推定処理部１２２Ａは、データメモリ１２０Ａ中に記憶されるセンサデータＳＤｉ（ｋ） （ｋ＝１〜Ｎ） に正規化の処理を施してデータパターンを導出することを、Ｐ個のセンサブロックのそれぞれに対応して行う（ｉ＝１〜Ｐ）。スペクトル推定処理部１２２Ａはさらに、センサデータのデータパターンに最も類似するデータパターンを探索し、このデータパターンに対応する分光スペクトルデータをテーブル中から読み出してスペクトル情報ＳＰＤｉ（ｋ）とすることを、Ｐ個のセンサブロックのそれぞれに対応して行う。以上の処理により、スペクトル推定処理部１２２Ａはスペクトル情報ＳＰＤｉ（ｊ） （ｉ＝１〜Ｐ ｊ＝１〜Ｍ）を出力することが可能となる。
【００９０】
カメラ５００は、撮像部７００と、色温度検出部７０２と、第１光源検出部７０４と、画像処理部７０６Ａと、撮影条件情報取得部７１０と、色再現処理方法決定部７１２Ａと、スペクトル情報入力部７１４Ａと、スペクトル情報抽出部７１８と、第２光源検出部７１６Ａとをさらに備える。また、撮影光学系４０４はレンズ制御部４０６を備える。これらの構成要素のうち、第１の実施の形態において説明したものと同様の機能を有するものについては図９において同じ符号を付し、その説明を省略する。
【００９１】
第２の実施の形態においても、撮像部７００は、ＲＧＢの画像データを出力するものとするが、他の色空間の画像データを出力可能に構成されていても良いし、３色よりも多い色数の画像データを出力可能に構成されていてもよい。そして、センサモジュール２０６が備える各センサブロック中のカラーセンサで色分解可能な数は、撮像部７００から出力される画像データの色数よりも多くなるようにシステム設計がなされる。
【００９２】
色再現処理方法決定部７１２Ａは、撮影条件情報取得部７１０から撮影条件情報を入力する。この撮影条件情報中には、撮影が行われたときに撮影光学系４０４で設定されていた撮影画角および撮影距離を導出可能な情報を含む。
【００９３】
また、色再現処理方法決定部７１２Ａは、撮影条件情報取得部７１０から入力した上記撮影条件情報に基づき、以下で説明するように、スペクトル情報と、画像データを分析した結果とのうち、少なくともいずれかを参照して色再現処理を行うように決定する。
【００９４】
スペクトル情報に関しては、複数のスペクトル情報ＳＰＤｉ（ｊ） （ｉ＝１〜Ｐ、ｊ＝１〜Ｍ）のうち、参照する対象のスペクトル情報を撮影条件情報に基づいて選択し、この選択結果に対応する情報であるスペクトル選択情報をスペクトル情報抽出部７１８に出力する。そして、選択されたスペクトル情報と、画像データを分析した結果とのうち、少なくともいずれかを参照して色再現処理を行うように決定する。
【００９５】
上記の色再現処理方法決定処理におけるスペクトル情報の選択方法について図１０を参照して説明する。図１０は、スペクトル検出装置２１０のセンサ受光範囲と撮影光学系４０４の撮影範囲との関係を概念的に示す図である。図１０（ａ）から図１０（ｄ）のそれぞれにおいて示される１００個の矩形は、センサモジュール２０６中の１００個のセンサブロックそれぞれで検出される範囲を示している。また、図１０（ａ）から図１０（ｄ）のそれぞれにおいて示される１００個の矩形のうち、太い線で描かれた矩形は、色再現処理方法決定部７１２Ａで選択されたスペクトル情報に対応するものを示している。図１０（ａ）から図１０（ｄ）はいずれもセンサ受光範囲の大きさが同じとなるように描かれている。
【００９６】
図１０（ａ）、図１０（ｂ）は、撮影光学系４０４の設定焦点距離が短めに設定された場合の例を示しており、このうち図１０（ａ）は撮影距離が遠めに設定された場合の例を、図１０（ｂ）は撮影距離が近めに設定された場合の例を示している。
【００９７】
図１０（ｃ）、図１０（ｄ）は、撮影光学系４０４の設定焦点距離が長めに設定された場合の例を示しており、このうち図１０（ｃ）は撮影距離が遠めに設定された場合の例を、図１０（ｄ）は撮影距離が近めに設定された場合の例を示している。
【００９８】
つまり、図６を参照して説明すると、図１０（ａ）は広角の撮影範囲および撮影距離２に対応する状況を示しており、図１０（ｂ）は広角の撮影範囲および撮影距離１に対応する状況を示しており、図１０（ｃ）は望遠の撮影範囲および撮影距離２に対応する状況を示しており、図１０（ｄ）は望遠の撮影範囲および撮影距離１に対応する状況を示していると考えると理解しやすい。
【００９９】
図１０（ａ）、図１０（ｂ）に例示される、焦点距離が広角側に設定された状況では、センサ受光範囲が撮影範囲内に収まっている結果として、センサブロック２０６−１、２０６−２、…、２０６−１００から出力されるセンサデータに基づくスペクトル情報が全て選択される様子が示されている。なお、焦点距離が相当に短い状況では、センサ受光範囲に比して撮影範囲が広くなる。その結果、相対的にセンサ受光範囲が狭くなり、中央重点度が高くなる。そのような場合にはスペクトル情報を参照しない、という決定を色再現処理方法決定部７１２Ａで行うことが可能である。なお、図１０（ａ）、図１０（ｂ）においてセンサ受光範囲と撮影範囲との間の相対位置関係が変化している様子が描かれているが、これは先に説明した視差の影響によるものである。
【０１００】
図１０（ｃ）、図１０（ｄ）に例示される、焦点距離が望遠側に設定された状況では、センサ受光範囲の一部が撮影範囲となる。これに対応して、センサブロック２０６−１、２０６−２、…、２０６−１００のうち、被写界中の撮影範囲と略一致する部分からの光を検出するセンサブロックに対応するスペクトル情報が選択される様子が図１０（ｃ）、図１０（ｄ）に示されている。図１０（ｃ）、図１０（ｄ）においても、先に説明した視差によってセンサ受光範囲と撮影範囲との間の相対位置関係が変化している様子が描かれている。色再現処理方法決定部７１２Ａでは、撮影条件情報に基づいてスペクトル情報を選択するので、撮影範囲の変化に加え、センサ受光範囲と撮影範囲との間の相対位置関係の変化にも対応して、スペクトル情報を選択することができる。
【０１０１】
なお、視差に関しては、撮影距離、画撮影画角に加えて、スペクトル検出装置２１０と撮影光学系４０４との間の光軸間距離（図６において符号Ｄで示される）にも依存する。撮影光学系４０４の光軸とスペクトル検出装置２１０の光軸とが所定の距離で交差するように（非平行に）設定されている場合、厳密には光軸間距離と称することはできない。そこで、この寸法Ｄは、一例として、撮像面（撮影光学系４０４の結像面）に対して撮影光学系４０４の光軸が交わる点と、同じく撮像面に対してスペクトル検出装置２１０の光軸が交わる点との間の距離として定義することが可能である。この距離Ｄに関する情報に関しては、カメラ５００内またはスペクトル検出装置２１０内に予め記憶しておけばよい。
【０１０２】
再び図９を参照し、スペクトル情報入力部７１４Ａは、スペクトル検出装置２１０からスペクトル情報ＳＰＤｉ（ｊ） （ｉ＝１〜Ｐ、ｊ＝１〜Ｍ）を入力する。スペクトル情報抽出部７１８は、スペクトル情報入力部７１４Ａに入力されたスペクトル情報のうち、色再現処理方法決定部７１２Ａから出力されたスペクトル選択情報に対応するものを抽出し、第２光源検出部７１６Ａに出力する。第２光源検出部７１６Ａは、スペクトル情報抽出部７１８から入力したスペクトル情報をもとに、撮影照明光の種類を特定する処理を行う。第２光源検出部７１６Ａにおける撮影照明光の種類特定の処理は、第１の実施の形態で説明した第２光源検出部７１６での処理と同様であるので説明を省略する。
【０１０３】
色再現処理方法決定部７１２Ａでは、上述したスペクトル情報選択の処理の他に、第１の実施の形態で図８を参照して説明した処理も行う。すなわち、撮影条件情報取得部７１０から入力した上記撮影条件情報に基づき、スペクトル情報と、画像データを分析した結果とのうち、少なくともいずれかを参照して色再現処理を行うように決定する。
【０１０４】
第１光源検出部７０４での光源特定結果の信頼度を色再現処理方法決定部７１２Ａで判定する際には、第１の実施の形態で説明したのと同様、色再現処理方法決定部７１２Ａは撮像部７００、色温度検出部７０２、および第１光源検出部７０４のうち、いずれかから画像データを入力すればよい。
【０１０５】
画像処理部７０６Ａは、上記色再現処理１から４のうち、色再現処理方法決定部７１２Ａで選択されたスペクトル情報と、同じく色再現処理方法決定部７１２Ａで決定されたいずれかの色再現処理とによって色再現処理を行う。画像処理部７０６Ａで行われる色再現処理としては、撮像部７００から出力される画像データに対して色バランスを調節する処理とすることが可能である。あるいは、ＲＡＷデータに付加する撮影照明情報を生成する処理とすることも可能である。
【０１０６】
以上に説明したように、本発明の第２の実施の形態によれば、撮影条件情報取得部７１０から入力した上記撮影条件情報に基づき、外光式のスペクトル検出装置２１０から得られるスペクトル情報と、撮像部７００から出力される画像データを分析した結果とのうち、少なくともいずれかを参照して色再現処理を行う。これにより、撮影距離の変化や撮影画角の変化等の影響が減じられて、より高い精度で色再現処理を行うことが可能となる。
【０１０７】
以上では、スペクトル検出装置２１０がカメラ５００に外付けされるものとして説明をしたが、スペクトル検出装置２１０がカメラ５００に内蔵されるものであってもよい。
【０１０８】
また、撮影条件情報取得部７１０、色再現処理方法決定部７１２Ａ、色温度検出部７０２、第１光源検出部７０４、スペクトル情報入力部７１４Ａ、スペクトル情報抽出部７１８、第２光源検出部７１６Ａ、画像処理部７０６Ａについては、第１の実施の形態で説明したのと同様に、スペクトル検出装置２１０内に内蔵されていても、ＰＣと、ＰＣ上で実行されるソフトウェアとによって構成される画像処理装置に内蔵されていてもよい。
【０１０９】
以上の実施の形態においても、カメラ５００は静止画または動画、あるいは両方を記録可能なものとすることができる。
【０１１０】
− 第３の実施の形態 −
本発明の第３の実施の形態も、第２の実施の形態と同様、図５に示されるように、カメラ５００にスペクトル検出装置２１０が外付けされるのとして説明をする。カメラ５００は、レンズ交換式であってもレンズ固定式であってもよい。また、撮影光学系４０４は、単焦点レンズであっても可変焦点距離のレンズであってもよい。カメラ内部の構成が第２の実施の形態と異なるので、以下ではカメラ５００Ａと称する。第３の実施の形態においても、カメラ５００Ａはレンズ交換式のもので、カメラ５００Ａに装着されている撮影光学系４０４は可変焦点距離のレンズであるものとして説明をする。
【０１１１】
図１１は、スペクトル検出装置２１０およびカメラ５００Ａの情報処理系統の構成を概略的に説明するブロック図である。図１１に示される各構成要素中、第１、第２の実施の形態で説明したものと同じ構成要素については図７、図９中の構成要素に付されるのと同じ符号を付してその説明を省略する。
【０１１２】
第３の実施の形態と第２の実施の形態との違いは、第３の実施の形態においてカメラ５００Ａが白色点抽出処理部７２０をさらに備える点である。そして、色再現処理方法決定部７１２Ｂは、撮影条件情報取得部７１０から撮影条件情報を、白色点抽出処理部７２０から白色点位置情報を、それぞれ入力する。
【０１１３】
ここで白色点抽出処理部７２０の作用について説明する。白色点抽出処理部７２０は、撮像部７００から出力される画像データにより生成される画像中に含まれる白色部分を抽出する処理を行う。この、白色部分を抽出する処理とは、画像中で白いもの（あるいは白色に近いもの）が写っている場所を抽出する処理である。
【０１１４】
当然、被写体表面の色が白であっても、被写体の色は撮影照明光の色の影響を受ける。そのことを想定して、Ｒ、Ｇ、Ｂの画素値の比率が所定の範囲内にあるときにその色は白であると判定してもよい。あるいは、色温度検出部７０２での色温度検出結果や第１光源検出部７０４での光源特定結果をもとに画像データの色バランスを変更してから白色点抽出処理部７２０が白色部分を抽出する処理をしてもよい。あるいは画素値の輝度レベルを参照して輝度レベルが高い部分を白色部分であるものとして抽出する処理を行っても良い。
【０１１５】
色再現処理方法決定部７１２Ｂは、撮影条件情報取得部７１０から入力した撮影条件情報と、白色点抽出処理部７２０から入力した白色点位置情報とに基づき、スペクトル情報を参照するか否かを決定する。そして、スペクトル情報を参照しないと決定した場合には、スペクトル情報を参照せず、画像データを分析した結果に基づいて色再現処理を行うように決定する。
【０１１６】
一方、スペクトル情報を参照すると決定した場合には、複数のスペクトル情報ＳＰＤ１（ｊ）、ＳＰＤ２（ｊ）、… のうち、参照する対象のスペクトル情報を撮影条件情報と白色点位置情報とに基づいて選択する。そして選択したスペクトル情報と、画像データを分析した結果とのうち、少なくとも選択したスペクトル情報を参照して色再現処理を行うように決定する。
【０１１７】
つまり、白色点位置情報により、画像中のどの位置に白色点が位置しているかがが特定可能で、その白色点位置に対応するセンサブロックがどれであるかは撮影条件情報から特定可能であるので、上述のように白色点位置に対応するスペクトル情報が、参照する対象のスペクトル情報として選択される。
【０１１８】
被写体中の白色点（白いものが写っている領域）からの光を受光するセンサブロックが存在する場合、そのセンサブロックからの出力をもとに得られるスペクトル情報は撮影照明光の分光放射輝度をより正確に反映したものとなる。したがって、被写体中の白色点からの光を受光するセンサブロックからのスペクトル情報が選択されることにより、第２光源検出部７１６Ａでの光源特定精度を高めることが可能とる。その結果、画像処理部７０６Ａでの色再現精度も高めることが可能となる。
【０１１９】
白色点抽出処理部７２０が白色点を抽出できなかった場合、色再現処理方法決定部７１２Ｂは第１、第２の実施の形態で図８を参照して説明した方法に従って色再現処理方法を決定する。第１光源検出部７０４での光源特定結果の信頼度を色再現処理方法決定部７１２Ｂで判定する際には、第１、第２の実施の形態で説明したのと同様、色再現処理方法決定部７１２Ｂは撮像部７００、色温度検出部７０２、第１光源検出部７０４、および白色点抽出処理部７２０のうち、いずれかから画像データを入力すればよい。
【０１２０】
以上では撮像部７００から出力される画像データをもとに被写体中の白色点を抽出する例について説明したが、以下のようにしてもよい。すなわち、色再現処理方法決定部７１２Ｂが撮影条件情報に基づいてスペクトル情報を選択する際に、撮影範囲よりも広く設定した範囲内からの光を受光するセンサブロックからのスペクトル情報を選択する。そして、このスペクトル情報を解析して、被写体および被写界中の白い部分からの光を受光しているものとみなせるセンサブロックからのスペクトル情報を選択する。このようにスペクトル情報を選択することにより、第２光源検出部７１６Ａでの光源特定精度を高めることが可能となる。
【０１２１】
例えば、撮影画角が小さめ（あるいは撮影倍率が大きめ）で、画面一杯に特定の色の被写体が写されているような場合、撮像部７００から出力される画像データに基づく白色点抽出の処理は難しくなることが予想される。その点、撮影範囲よりも広く設定した範囲内からの光を受光するセンサブロックからのスペクトル情報中から被写体および被写界中の白い部分からの光を受光しているものとみなせるセンサブロックからのスペクトル情報を選択することにより、第２光源検出部での光源特定精度を高めることが期待できる。
【０１２２】
色再現処理方法決定部７１２Ｂが上記のようにスペクトル情報を解析し、被写体および被写界中の白い部分からの光を受光しているものとみなせるセンサブロックからのスペクトル情報を選択する場合、図１１には示されていないが、色再現処理方法決定部７１２Ｂはスペクトル情報入力部７１４Ａからスペクトル情報を取得すればよい。
【０１２３】
以上では、スペクトル検出装置２１０がカメラ５００Ａに外付けされるものとして説明をしたが、スペクトル検出装置２１０がカメラ５００Ａに内蔵されるものであってもよい。
【０１２４】
また、撮影条件情報取得部７１０、色再現処理方法決定部７１２Ｂ、色温度検出部７０２、第１光源検出部７０４、白色点抽出処理部７２０、スペクトル情報入力部７１４Ａ、スペクトル情報抽出部７１８、第２光源検出部７１６Ａ、画像処理部７０６Ａについては、第１の実施の形態で説明したのと同様に、スペクトル検出装置２１０内に内蔵されていても、ＰＣと、ＰＣ上で実行されるソフトウェアとによって構成される画像処理装置に内蔵されていてもよい。
【０１２５】
以上の実施の形態においても、カメラ５００Ａは静止画または動画、あるいは両方を記録可能なものとすることができる。
【０１２６】
− 第４の実施の形態 −
第１〜第３の実施の形態においては、画像処理装置がカメラ内に備えられるものとして説明をした。これに対して、本発明の第４の実施の形態においては、カメラと独立した画像処理装置において画像処理が行われる例について説明する。この画像処理装置は、カメラで生成されて保存された画像ファイル中の画像データに色再現処理をする。
【０１２７】
ここでカメラは図５に示されるような、スペクトル検出装置２１０が外付けされたカメラ５００であるものとする。画像ファイルは、画像データにタグ情報が付加されて所定のフォーマットで記録されたものである。画像データはいわゆるＲＡＷデータであるものとし、付加されるタグ情報中には撮影条件情報とスペクトル情報とを含む。このスペクトル情報は、画像撮影時にスペクトル検出装置２１０でスペクトル検出が行われた際の、全センサブロックから得られたセンサデータに基づいて生成されたスペクトル情報（図２の例では１００組のスペクトル情報）を含むものとする。
【０１２８】
カメラ５００は、レンズ交換式であってもレンズ固定式であってもよい。また、撮影光学系４０４は、単焦点レンズであっても可変焦点距離のレンズであってもよい。第４の実施の形態においても、カメラ５００はレンズ交換式のもので、カメラ５００に装着されている撮影光学系４０４は可変焦点距離のレンズであるものとする。
【０１２９】
図１２は、画像処理装置１２００の内部構成を概略的に説明するブロック図である。画像処理装置１２００は、ＰＣおよびＰＣ上で実行されるプログラムによって構成されたものとすることができる。また、ストレージビューワやデジタルフォトフレーム、あるいはディスプレイモニタに接続されるセットトップボックス等に画像処理装置１２００が備えられるものとして実施することも可能である。
【０１３０】
図１２に示される各構成要素中、第１〜第３の実施の形態で説明したものと同じ構成要素については図７、図９、図１１中の構成要素に付されるのと同じ符号を付してその説明を省略する。
【０１３１】
第４の実施の形態において、画像処理装置１２００は第３の実施の形態で説明したカメラ５００Ａが有していた色温度検出部７０２、第１光源検出部７０４、第２光源検出部７１６Ａ、画像処理部７０６Ａを備えておらず、代わりに画像データ記憶部１２０２、情報分離部１２０４、スペクトル導出処理部１２０６、被写体情報導出部１２０８、色変換処理部１２１０を備えている。
【０１３２】
図１３には、図１２中の被写体情報導出部１２０８および色変換処理部１２１０の詳細を示す。被写体情報導出部１２０８は、分光反射スペクトル導出部１２１２と被写体統計データ導出部１２１４とを備える。色変換処理部１２１０は、色変換データ作成部１２１６と出力デバイス色変換部１２１８とを備える。
【０１３３】
画像データ記憶部１２０２は、半導体記憶装置や磁気記憶装置で構成され、画像ファイルが記憶される。画像ファイルは、先にも説明したように、ＲＡＷ画像データとタグ情報とを含んでおり、そのタグ情報中には撮影条件情報とスペクトル検出装置２１０の全センサブロックから得られたスペクトル情報が含まれる。
【０１３４】
情報分離部１２０４は、画像データ記憶部１２０２から読み出された画像ファイル中から画像データ、撮影条件情報、スペクトル情報を分離して抽出する。撮影条件情報取得部７１０Ａは、情報分離部１２０４から撮影条件情報を入力する。スペクトル情報入力部７１４Ａは、情報分離部１２０４からスペクトル情報を入力する。
【０１３５】
白色点抽出処理部７２０Ａおよび色変換処理部１２１０は、情報分離部１２０４から画像データを入力する。なお、情報分離部１２０４は、ＲＡＷ画像データを現像する機能を有するものとしてよい。その場合、情報分離部１２０４から白色点抽出処理部７２０Ａおよび色変換処理部１２１０に出力される画像データはデモザイクやシェーディング補正等の処理が行われた画像データとなる。あるいは、白色点抽出処理部７２０Ａおよび色変換処理部１２１０は情報分離部１２０４からＲＡＷ画像データを入力し、それぞれで必要に応じた処理をしてもよい。
【０１３６】
白色点抽出処理部７２０Ａで行われる白色点抽出処理は、第３の実施の形態中の白色点抽出処理部７２０で行われる処理と同様であるのでその説明を省略する。色再現処理方法決定部７１２Ｃは、撮影条件情報取得部７１０Ａから入力した撮影条件情報と、白色点抽出処理部７２０Ａから入力した白色点位置情報とに基づき、複数のスペクトル情報の中から参照すべきスペクトル情報を決定する。
【０１３７】
ここで、色再現処理方法決定部７１２Ｃにおいて参照すべきスペクトル情報として選択される対象は２種類ある。一つは、被写体中の白色点からの光を受光するセンサブロックからの出力をもとに得られたスペクトル情報である。これを第１スペクトル情報と称する。もう一つは、被写体（撮影範囲）中の、白色点以外の部分からの光を受光するセンサブロックからの出力をもとに得られたスペクトル情報である。これを第２スペクトル情報と称する。
【０１３８】
スペクトル情報抽出部７１８は、スペクトル情報入力部７１４Ａに入力されたスペクトル情報のうち、色再現処理方法決定部７１２Ｃで選択された、第１スペクトル情報、第２スペクトル情報に該当するものを抽出し、スペクトル導出処理部１２０６に出力する。
【０１３９】
スペクトル導出処理部１２０６は、第１スペクトル情報に基づき、撮影照明情報を導出する。撮影照明情報は、撮影照明光の分光スペクトルを特定可能な情報である。スペクトル導出処理部１２０６はまた、第２スペクトル情報に基づき、被写体スペクトル情報を導出する。ここで図１４を参照して被写体スペクトル情報の導出処理について説明する。
【０１４０】
図１４は、スペクトル情報抽出部７１８から得られる第１スペクトル情報および第２スペクトル情報をｎ次元空間座標系（多次元スペクトル空間）にプロットした様子を示す概念図である。ここで、スペクトル情報抽出部７１８で抽出される第１スペクトル情報および第２スペクトル情報はＭ次元のスペクトル情報であるので、ｎ＝Ｍということになる。
【０１４１】
図１４において、第１スペクトル情報に基づいてプロットすると、光源のスペクトル分布範囲を把握することが可能となる。理由は、被写体の白色部分で反射された光は撮影照明光のスペクトル分布をより忠実に反映するからである。さらに、第２スペクトル情報に基づいてプロットすると、一例として図１４中において破線の楕円で囲われたようなプロット点群が得られる。
【０１４２】
これらのプロット点群のうち、光源のスペクトル分布範囲内にプロットされる点群は撮影照明光由来のスペクトル成分であると見なす。光源のスペクトル分布範囲に比較的近い領域にプロットされる点群は、撮影照明光由来のものか、被写体色由来のものか弁別が難しいので参照対象から外す。そして、光源のスペクトル分布範囲から十分に離れた領域にプロットされる点群は、被写体色由来のものであるとする。
【０１４３】
スペクトル導出処理部１２０６は、以上に説明した方法によって、第１スペクトル情報から撮影照明情報を導出し、第２スペクトル情報から被写体スペクトル情報を導出する。そして、被写体スペクトル情報および撮影照明情報を被写体情報導出部１２０８内の分光反射スペクトル導出部１２１２に出力する。スペクトル導出処理部１２０６はまた、撮影照明情報を色変換処理部１２１０内の色変換データ作成部１２１６に出力する。
【０１４４】
分光反射スペクトル導出部１２１２は、被写体スペクトル情報を撮影照明情報で正規化する（除する）処理を行い、分光反射スペクトルを導出して被写体統計データ導出部１２１４に出力する。被写体統計データ導出部１２１４は、被写体の分光反射スペクトルをもとに被写体統計データを導出する。
【０１４５】
ところで、被写体統計データとは、ＲＧＢ３バンドの画像データ等、限られた色情報の画像データから、より高精度の色再現を行う際に参照される情報である。被写体統計データを参照することにより、被写体の色がどのような分光特性を有しているかを知ることができる。この被写体統計データは、予め予想される被写体に対して前もって分光特性を計測し、生成しておくことも可能である。
【０１４６】
前もって分光特性を計測する場合、分光計などを用いて３８０ｎｍから７８０ｎｍまでの可視光範囲で高精度に測定することも可能である。例えば、皮膚科での診察に応用する場合、前もって肌の分光特性を計測しておくことができる。そして、上皮組織のメラニン、皮膚の下を流れる血液のヘモグロビンといった物質に由来する分光特性を被写体統計情報として蓄積することにより、高精度の色再現処理を行うことが可能となる。
【０１４７】
一方、本実施の形態では、撮影が行われたときの情報をもとに被写体統計データがその場で生成される。本実施の形態のように１５バンドのカラーセンサを用いた場合、被写体統計データの精度を高めることは難しいが、被写体統計データを用いない場合と比較すると色再現精度を向上させることが可能となる。また、撮影対象の被写体が何であるかを撮影者または画像処理装置のユーザが設定可能に構成されていてもよい。その情報も加味することにより、被写体統計データの精度を高め、その結果として色再現精度を向上させることが可能となる。
【０１４８】
色変換データ作成部１２１６は、スペクトル導出処理部１２０６から撮影照明情報を、被写体情報導出部１２０８（被写体統計データ導出部１２１４）から被写体統計データを入力して色変換データを作成する処理を行う。ところで、色変換処理部１２１０には、撮像部分光感度、観察環境照明光源スペクトル、出力機器色空間、モニタ色特性、観察者等色関数に関する情報が入力される。
【０１４９】
撮像部分光感度の情報は、カメラ５００の分光感度特性に関する情報を含む。この撮像部分光感度の情報には撮影光学系４０４の分光透過特性も反映されているものとする。観察環境照明光源スペクトルは、画像を表示するモニタの設置される環境を照明している光源（観察環境照明光源）のスペクトルに関する情報を含む。出力機器色空間の情報は、画像を表示するモニタの色空間に関する情報を含む。モニタ色特性の情報は、モニタの色再現特性に関する情報（モニタプロファイル）を含む。
【０１５０】
観察者等色関数の情報は、画像を観視する観察者の視感度（分光感度）に関する情報を含む。すなわち、人間の視覚系の分光感度はＣＩＥによって標準が定められているが、この分光感度には個人差がある。この個人差が無視できない応用形態においては、各個人の分光感度に対応して等色関数の形態で表現したものが観察者等色関数として画像処理装置１２００内に記憶され、色変換データ作成部１２１６に入力される。
【０１５１】
色変換データ作成部１２１６は、撮影照明情報、被写体統計データとともに上記の情報を用いて色変換マトリクスやルックアップテーブル等の色変換データを生成し、出力デバイス色変換部１２１８に出力する。出力デバイス色変換部１２１８は、色変換データを用いて画像データに色変換の処理をし、変換後画像データを生成する。この変換後画像データは、ディスプレイモニタ等に出力される。
【０１５２】
以上では、一つの画像に対応して一つの被写体統計データが生成される例について説明した。しかし、一つの画像中には様々な分光反射特性を有する被写体が写っている可能性がある。それらの被写体に一様の被写体統計データを適用すると、一つの画像中に存在する被写体によっては望ましい色再現ができない可能性もある。しかし、被写体の肌の色を高精度に再現したり、商品カタログ中の服の色を高精度に再現したりする用途においては十分な効果を発揮する。
【０１５３】
上記の被写体統計データに関して、センサモジュールに備えられるセンサブロックの数を多くすることが可能であれば、撮影範囲内を複数の領域に分割して、分割された領域ごとに被写体統計データを生成することも可能である。そのようにすることにより、一つの画像内に異なる分光反射特性を有する被写体が写っていても、それらの分光反射特性に対応して高精度の色再現が可能となる。
【０１５４】
本発明の第４の実施の形態によれば、以上に説明したように、撮影条件情報に基づいて選択されたスペクトル情報を用いて撮影照明情報と被写体統計データとが生成され、これらの撮影照明情報、被写体統計データに基づき、より高度の色再現処理が行われる。このとき、撮像部分光感度、観察環境照明光源スペクトル、出力機器色空間、モニタ色特性、観察者等色関数の各情報が参照されて色変換マトリクスが生成されるので、観察者の視感度、モニタの色再現特性、観察環境照明光の影響を減じてより高度の色再現を行うことが可能となる。
【０１５５】
尚、本発明の第４の実施の形態では、撮影条件情報に基づいて選択されたスペクトル情報を用いて撮影照明情報と被写体統計データとが生成され、これらの撮影照明情報、被写体統計データに基づき、より高度の色再現処理が行われている。これに対して、例えば撮影条件情報に基づいて選択されたスペクトル情報を撮影照明情報の生成にのみ用いるという構成も考えられる。この場合被写体統計データは前述のようにあらかじめ予想される被写体に対して前もって分光特性を計測して作成しておくか、ある一般的な値を用意するか、精度は落ちるものの、使用しないというような構成にするということも考えられる。被写体統計データを使用しない場合、色再現性能若干は落ちるが、それでも撮影照明情報の精度がよいので、一般的な（本発明にはよらない）画像処理に比べては依然として優位で、かつデータ量が少ない軽いシステムが得られる。さらにこのような場合にはまた、スペクトル検出装置としてスペクトル検出装置１１０のような一点計測式のものを用いることもできるので、スペースやコストの点で有利なシステムを提供することが出来る。
【０１５６】
以上の第３、第４の実施の形態において、白色点抽出処理部７２０、７２０Ａは、画像中で白いもの（あるいは白色に近いもの）が写っている場所を抽出する処理を行うことについて説明した。より高度な色再現を実現するためには、より高い精度で撮影照明光のスペクトルを検出することが欠かせない。
【０１５７】
ここで、撮影照明光のスペクトルの検出精度をさらに高める方法について図１５を参照して説明する。図１５（ａ）は、ペンダント状の白色色標１０００を身につけた被写体ｏｂｊを示している。この白色色標１０００は、既知の分光反射率を有する反射面を備える。白色色標１０００の形状や形態に関しては、様々なものとすることが可能である。例えば、医療の分野であれば、分光反射率が既知の布でできた服（白衣など）を患者に着せてもよい。また、分光反射率が既知の壁面等を背景にして被写体を撮影することも可能である。
【０１５８】
図１０に示されるのと同様、図１５（ｂ）、図１５（ｃ）は、撮影光学系４０４の設定焦点距離が短めに設定された場合の例を示しており、このうち図１５（ｂ）は撮影距離が遠めに設定された場合の例を、図１５（ｃ）は撮影距離が近めに設定された場合の例を示している。
【０１５９】
図１５（ｄ）、図１５（ｅ）は、撮影光学系４０４の設定焦点距離が長めに設定された場合の例を示しており、このうち図１５（ｄ）は撮影距離が遠めに設定された場合の例を、図１５（ｅ）は撮影距離が近めに設定された場合の例を示している。
【０１６０】
白色点抽出処理部７２０、７２０Ａは、画像中で白色色標１０００の写されている位置を検出し、その位置からの光を受けるセンサブロックからの出力に基づくスペクトル情報を選択する。図１５（ｂ）、図１５（ｃ）、図１５（ｄ）、図１５（ｅ）のそれぞれにおいて、１００個のセンサブロックによって検出されるエリアのうち、太い線で描かれた小さな矩形が選択されたスペクトル情報に対応するものを示している。
【０１６１】
上述のように、白色色標１０００の分光反射率は既知であるので、撮影照明光のスペクトルをより高精度に検出することが可能となり、結果として色再現処理の精度を高めることが可能となる。
【０１６２】
− 第５の実施の形態 −
本発明の第５の実施の形態は、第２、第３の実施の形態と同様、図５に示されるような、カメラ５００に多点計測式のスペクトル検出装置２１０が外付けされるものとして説明をする。カメラ５００は、レンズ交換式であってもレンズ固定式であってもよい。また、撮影光学系４０４は、単焦点レンズであっても可変焦点距離のレンズであってもよい。カメラ内部の構成が第２の実施の形態と異なるので、以下ではカメラ５００Ｂと称する。第５の実施の形態においても、カメラ５００Ｂはレンズ交換式のもので、カメラ５００Ｂに装着されている撮影光学系４０４は可変焦点距離のレンズであるものとして説明をする。
【０１６３】
図１６は、多点計測式のスペクトル検出装置と、そのスペクトル検出装置が接続されるカメラと、そのカメラから伝送されたＮＶデータを受信して色変換処理をする色変換処理部と、色変換処理部で処理された画像データに基づく画像を表示するディスプレイモニタとを備える遠隔病理診断システムの情報処理系統の構成を概略的に説明するブロック図である。図１６に示される各構成要素中、第１、第２、第３の実施の形態で説明したものと同じ構成要素については図７、図９、図１１中の構成要素に付されるのと同じ符号を付してその詳細な説明を省略する。
【０１６４】
第５の実施の形態において、第３の実施の形態との違いは、カメラ５００ＢがＮＶデータを生成し、カメラ５００ＢとネットワークＮＷを介して接続される色変換処理部１６０２にＮＶデータを送信可能に構成される点である。そして、このＮＶデータを色変換処理部１６０２が受信して色変換処理を行い、ディスプレイモニタ１６０６に出力する。
【０１６５】
ここでＮＶデータについて説明する。３よりも多いバンド数、例えば６バンド、１６バンドといったバンド数の色情報を有する画像データをもとに生成される表示画像を、３よりも多い表示原色数、例えば６原色を有する多原色表示装置に表示する技術が開発されている。この技術はナチュラルビジョンと称され、今までに数多くの研究成果が報告されている。
【０１６６】
ナチュラルビジョンの技術の応用が期待される分野の一つが医療分野である。例えば、離島にいる患者の皮膚や病理組織のサンプルを撮影して画像データを伝送し、遠隔地にいる医師が表示画像を観察して診断する、遠隔病理診断などへの応用が可能である。その際に、より正確に色再現された画像を医師が観察することにより、的確な診断を下すことが可能となる。
【０１６７】
色再現性に優れた画像データを伝送する際のフォーマットとして、ナチュラルビジョンフォーマットが以下の文献で提案されている。
ナチュラルビジョン（次世代映像表示・伝送システム）の研究開発プロジェクト、”平成１６年度 ナチュラルビジョンの研究開発プロジェクト［動画］（次世代映像表示・伝送システム）研究開発報告書”、平成１７年３月３１日、独立行政法人情報通信研究機構（拠点研究推進部門）、インターネット＜URL : http://www2.nict.go.jp/q/q262/3107/end102/NVHP(new)/index-j.html＞
上記のナチュラルビジョンフォーマットに従って生成・記憶されたデータを本明細書においてはＮＶデータと称する。本実施の形態においては、撮像部７００は３バンド以上の画像データを出力可能なものを利用可能である。一方、スペクトル検出装置２１０は、集光レンズ２０２によって集光された被写界からの光を、撮像部７００で色分解可能な色数よりも多い色数で色分解可能なカラーセンサを有するセンサモジュール２０６からの出力をもとにスペクトル情報を生成する。このスペクトル情報のバンド数は、撮像部７００から出力される画像データのバンド数を上回るように仕様が定められる。
【０１６８】
カメラ５００Ｂは、撮像部７００と、撮影条件情報取得部７１０と、色再現処理方法決定部７１２Ｃと、スペクトル情報入力部７１４Ａと、スペクトル情報抽出部７１８と、白色点抽出処理部７２０と、スペクトル導出処理部１２０６Ａと、被写体情報導出部１２０８Ａと、ＮＶデータ生成部１６００とを有する。
【０１６９】
色再現処理方法決定部７１２Ｃは、撮影条件情報取得部７１０から画角、撮影距離に関する情報を含む撮影条件情報を入力する。色再現処理方法決定部７１２Ｃはまた、白色点抽出処理部７２０から白色点位置情報を入力する。入力したこれらの情報に基づき、色再現処理方法決定部７１２Ｃは、スペクトル検出装置２１０から入力した複数のスペクトル情報ＳＰＤｉ（ｊ）の中から参照すべきスペクトル情報を決定する。
【０１７０】
色再現処理方法決定部７１２Ｃで決定されるスペクトル情報は、第４の実施の形態で説明した第１スペクトル情報および第２スペクトル情報である。すなわち、被写体中の白色点からの光を受光するセンサブロックからの出力をもとに得られたスペクトル情報が第１スペクトル情報である。そして、被写体（撮影範囲）中の、白色点以外の部分からの光を受光するセンサブロックからの出力をもとに得られたスペクトル情報が第２スペクトル情報である。
【０１７１】
色再現処理方法決定部７１２Ｃで決定された第１スペクトル情報、第２スペクトル情報を特定するスペクトル選択情報がスペクトル情報抽出部７１８に出力される。スペクトル情報抽出部７１８は、スペクトル選択情報で指定される第１スペクトル情報および第２スペクトル情報をスペクトル導出処理部１２０６Ａに出力する。スペクトル導出処理部１２０６Ａは、第１スペクトル情報に基づき、撮影照明情報を導出してＮＶデータ生成部１６００に出力する。すなわち、被写体中の白い部分で反射された光を受けて得られた第１スペクトル情報に基づいて導出される撮影照明情報は、撮影照明光の分光スペクトルを特定可能な情報である。
【０１７２】
スペクトル導出処理部１２０６Ａはまた、第２スペクトル情報に基づき、被写体スペクトル情報を導出する。すなわち、第４の実施の形態で図１４を参照して説明したのと同様の方法により、スペクトル導出処理部１２０６Ａは第２スペクトル情報中から被写体色由来の情報を抽出して被写体スペクトル情報を導出する。
【０１７３】
被写体情報導出部１２０８Ａは、スペクトル導出処理部１２０６Ａから入力した被写体スペクトル情報に基づき、被写体統計データを生成してＮＶデータ生成部１６００に出力する。ところで、被写体情報導出部１２０８Ａで導出される被写体統計データは、第４の実施の形態で説明したように被写体表面の分光反射特性に基づくものとすることも可能であるが、第５の実施の形態において被写体統計データは撮影照明光で照明された被写体表面の色に基づくものであるとする。つまり、被写体情報導出部１２０８Ａは、第４の実施の形態における被写体情報導出部１２０８とは異なり、被写体スペクトル情報を撮影照明情報で正規化して被写体の分光反射率を導出することは行わない。代わりに、撮影照明光によって照明された被写体表面の色に基づいて被写体統計データを導出する。
【０１７４】
ＮＶデータ生成部１６００は、カメラ５００Ｂ内に予め記憶されている、撮像部７００の分光感度情報を読み出す。この撮像部７００の分光感度情報には、撮影光学系４０４の分光透過特性に関する情報も含まれていることが望ましい。ＮＶデータ生成部１６００は、撮像部７００から出力されるＲＡＷ画像データに上述した撮影照明情報、被写体統計データ、撮像部分光感度情報を付加してＮＶデータを生成する。
【０１７５】
このＮＶデータは、ネットワークＮＷを介してカメラ５００Ｂと接続された色変換処理部１６０２に伝送される。ネットワークＮＷは、ＬＡＮであってもＷＡＮであってもよく、有線、無線の別を問わない。また、ネットワークＮＷを介することなく、カメラ５００Ｂと色変換処理部１６０２とがケーブルや無線通信手段を介して接続されていてもよい。またＮＶデータは、ファイル化して伝送されても、いわゆるストリーミングの方式で伝送されてもよい。
【０１７６】
色変換処理部１６０２は、カメラ５００Ｂから受信したＮＶデータを処理してディスプレイモニタ１６０６に出力する。このとき、色変換処理部１６０２は、後で詳しく説明するように、ディスプレイモニタ１６０６の設置される環境を照明する環境を照明する照明装置ＩＬＭの分光放射輝度特性、ディスプレイモニタ１６０６の色再現特性、観察者ｏｂｓの視感度に対応して色変換処理を行う。
【０１７７】
図１７は、色変換処理部１６０２の内部構成を概略的に説明するブロック図である。色変換処理部１６０２には、スペクトルセンサ１６０４とディスプレイモニタ１６０６とが接続される。スペクトルセンサ１６０４は、ディスプレイモニタ１６０６の設置される環境を照明する照明光ＩＬＭ（図１６）の分光放射輝度特性と、ディスプレイモニタ１６０６の色再現特性とを計測可能に構成される。
【０１７８】
ディスプレイモニタ１６０６の色再現特性の計測は、例えば一日の中でディスプレイモニタ１６０６の電源を最初に投入してから所定の時間、例えば３０分経過した後等に行う。照明光ＩＬＭの分光放射輝度特性は、所定の時間間隔、例えば６０秒、５分、１時間等の時間間隔で行う。スペクトルセンサ１６０４は、上記計測を行った後、観察光源スペクトル情報を色変換マトリクス生成部１６１４に出力し、モニタ色特性情報をモニタプロファイル生成部１６１６に出力する。観察光源スペクトル情報は、照明装置ＩＬＭの分光放射輝度特性に関連する情報である。モニタ色特性情報は、ディスプレイモニタ１６０６に既定の映像信号を入力したときにディスプレイモニタ１６０６に表示される色の特性を特定可能な情報である。
【０１７９】
色変換処理部１６０２はコンピュータと、このコンピュータによって実行されるソフトウェアとによって構成されていてもよいし、専用のハードウェアによって構成されていてもよい。色変換処理部１６０２はまた、ディスプレイモニタ１６０６に内蔵されていても、セットトップボックスのような形態でディスプレイモニタ１６０６に外付けされてもよい。また、スペクトルセンサ１６０４は、色変換処理部１６０２に内蔵されていてもよい。以下では、色変換処理部１６０２がディスプレイモニタ１６０６に接続されるセットトップボックスであるものとして説明をする。
【０１８０】
色変換処理部１６０２は、信号分離部１６１０と、色変換データ作成部１６１２と、出力デバイス色変換部１６１８とを有する。色変換データ作成部１６１２は、色変換マトリクス生成部１６１４とモニタプロファイル生成部１６１６とを有する。出力デバイス色変換部１６１８は、マトリクス作用部１６２０とプロファイル作用部１６２２とを有する。
【０１８１】
信号分離部１６１０は、ネットワークＮＷを介してカメラ５００Ｂから伝送されるＮＶデータから被写体統計データ、撮影照明情報、撮像部分光感度情報、画像データを抽出する。これらのうち、被写体統計データ、撮影照明情報、撮像部分光感度情報が色変換マトリクス生成部１６１４に出力され、画像データがマトリクス作用部１６２０に出力される。なお、ＮＶデータはＲＡＷ画像データを含むものであることについて先に説明したが、このＲＡＷ画像データは信号分離部１６１０にて現像処理されるものとする。
【０１８２】
色変換マトリクス生成部１６１４は、信号分離部１６１０から上記被写体統計データ、撮影照明情報、撮像部分光感度情報を入力し、スペクトルセンサ１６０４から観察光源スペクトル情報を入力する。また、色変換処理部１６０２には観察者ｏｂｓの視感度に関連する情報である観察者等色関数情報が予め入力されて記憶されており、色変換マトリクス生成部１６１４はこの観察者等色関数情報も入力する。この観察者等色関数情報は、第４の実施の形態で説明したものと同じであるので説明を省略する。
【０１８３】
色変換マトリクス生成部１６１４は、上述した観察光源スペクトル情報、被写体統計データ、撮影照明情報、撮像部分光感度情報、観察者等色関数情報に基づいて色変換マトリクスを生成してマトリクス作用部１６２０に出力する。
【０１８４】
モニタプロファイル生成部１６１６は、スペクトルセンサ１６０４からモニタ色特性情報を入力する。モニタプロファイル生成部１６１６はまた、出力色空間情報を入力する。この出力色空間情報は、ディスプレイモニタ１６０６の色空間を規定する情報である。例えば、ディスプレイモニタ１６０６がＲ（赤）Ｇ（緑）Ｂ（青）Ｏ（橙）Ｃ（水色）Ｐ（紫）の６原色入力のものである場合や、Ａｄｏｂｅ ＲＧＢ（登録商標）等に準拠したものである場合、これらの色空間規格に対応する情報をモニタプロファイル生成部１６１６は入力する。この出力色空間情報は、色変換処理部１６０２に予め入力されて記憶されていてもよいし、ディスプレイモニタ１６０６から入力されてもよい。
【０１８５】
モニタプロファイル生成部１６１６は、入力したモニタ色特性情報と出力色空間情報とに基づいてモニタプロファイルを生成し、プロファイル作用部１６２２に出力する。このモニタプロファイルは、ルックアップテーブルおよびマトリクスのうち、少なくともいずれかとすることができる。
【０１８６】
信号分離部１６１０で抽出され、現像された画像データは出力デバイス色変換部１６１８に入力され、色変換マトリクス生成部で生成された色変換マトリクスが作用される。その結果、画像データはＸＹＺ信号（測色値信号）に変換されてプロファイル作用部１６２２に入力される。プロファイル作用部１６２２では、入力されたＸＹＺ信号に対してモニタプロファイル生成部１６１６で生成されたモニタプロファイルが作用される。そして、出力デバイス色変換部１６１８からディスプレイモニタ１６０６に信号が出力され、ディスプレイモニタ１６０６上には高度に色再現された画像が表示される。
【０１８７】
以上、第５の実施の形態によれば、いわゆる照明変換の処理が行われて、被写体があたかも観察者ｏｂｓの眼の前にあって、照明光ＩＬＭによって照明されているかのような画像がディスプレイモニタ１６０６に表示される。また、環境光順応やディスプレイモニタの管面反射の影響（ディスプレイモニタに同じ色の画像が表示されていても照明光ＩＬＭの分光特性が変わると、ディスプレイモニタに表示される画像の色が異なる色に感じられてしまうこと）を減じることが可能となる。その結果、観察者ｏｂｊは被写体の色を正確に把握することが可能となる。
【０１８８】
− 第６の実施の形態 −
本発明の第６の実施の形態は、第２、第３の実施の形態と同様、図５に示されるような、カメラ５００に多点計測式のスペクトル検出装置２１０が外付けされるものとして説明をする。カメラ５００は、レンズ交換式であってもレンズ固定式であってもよい。また、撮影光学系４０４は、単焦点レンズであっても可変焦点距離のレンズであってもよい。カメラ内部の構成が第２の実施の形態や第５の実施の形態と異なるので、以下ではカメラ５００Ｃと称する。
【０１８９】
第６の実施の形態においても、カメラ５００Ｃはレンズ交換式のもので、カメラ５００Ｃに装着されている撮影光学系４０４は可変焦点距離のレンズであるものとして説明をする。また、スペクトル検出装置内部の構成が図９や図１１等に示されるものと異なるので、以下ではスペクトル検出装置２１０Ａと称する。
【０１９０】
図１８は、スペクトル検出装置２１０Ａおよびカメラ５００Ｃの情報処理系統の構成を概略的に説明するブロック図である。図１８に示される各構成要素中、第１、第２、第３、第５の実施の形態で説明したものと同じ構成要素については図７、図９、図１１、図１６中の構成要素に付されるのと同じ符号を付してその詳細な説明を省略する。
【０１９１】
スペクトル検出装置２１０Ａは、集光レンズ２０２と、センサモジュール２０６と、データメモリ１２０Ａと、スペクトル推定処理部１２２Ａと、ＲＴＣ（リアルタイムクロック）１８００と、スペクトル情報記憶部１８０２とを備える。センサモジュール２０６で１回の計測が行われると、センサモジュール２０６中の全センサブロックから出力されるセンサデータＳＤ（ｋ）がデータメモリ１２０Ａに記憶される。
【０１９２】
スペクトル推定処理部１２２Ａは、データメモリ１２０ＡからセンサデータＳＤｉ（ｋ）を読み出し、センサデータＳＤｉ（ｋ）をもとにスペクトル推定処理を行い、スペクトル情報ＳＰＤｉ（ｊ）を生成する。このとき、１回の計測に対応して全てのセンサブロックから出力されるセンサデータＳＤｉ（ｋ）のそれぞれに対応してスペクトル情報ＳＰＤｉ（ｊ）が生成される。このように、１回の計測で得られた全てのセンサブロックそれぞれに対応するスペクトル情報ＳＰＤｉ（ｊ）の集まりを本明細書ではスペクトル情報セットと称する。
【０１９３】
ＲＴＣ１８００は、スペクトル検出装置２１０Ａの電源のオン／オフに拘わらず動作し続けて現在の日時を刻み続ける。ＲＴＣ１８００は、日時に加えて年月も管理可能に構成されることが望ましい。
【０１９４】
スペクトル検出装置２１０Ａで１回のスペクトル検出が行われる度に、スペクトル推定処理部１２２Ａで一組のスペクトル情報セットが生成される。スペクトル情報記憶部１８０２には、このスペクトル情報セットに、当該スペクトル情報セットを得るためのスペクトル検出がスペクトル検出装置２１０Ａで行われたときの日時を導出可能な検出日時情報が付加されて記憶される。
【０１９５】
スペクトル検出装置２１０Ａは、以下の２つのスペクトル検出動作モードを有していていずれかのモードをユーザが選択可能に構成される。すなわち、一つは撮影同期検出方式のスペクトル検出動作モードであり、もう一つは一定間隔検出方式のスペクトル検出動作モードである。
【０１９６】
撮影同期検出方式のスペクトル検出動作モードは、カメラ５００Ｃで撮影が行われるタイミングに同期してスペクトル検出を行う動作モードである。例えば、カメラ５００Ｃで撮影が行われるタイミングを、フラッシュシンクロ接点等を介して検出可能な場合、撮影同期検出方式でスペクトル検出動作が行われる。図１８はその例を示している。
【０１９７】
一定間隔検出方式のスペクトル検出動作モードは、略一定の時間間隔、例えば１０秒、３０秒といった時間間隔でスペクトル検出を繰り返し行う動作モードである。例えば、カメラ５００Ｃがフラッシュシンクロ接点を有していないか、あるいは撮影が行われるタイミングを知ることのできる信号を出力可能に構成されていない場合、一定間隔検出方式でのスペクトル検出動作が行われる。
【０１９８】
上述したいずれのスペクトル検出動作モードにおいても、生成されたスペクトル情報セットにＲＴＣ１８００から出力された日時情報に基づいて生成された検出日時情報が付加され、スペクトル情報データログとしてスペクトル情報記憶部１８０２に記憶される。すなわち、スペクトル情報データログは、検出日時情報の付加されたスペクトル情報セットが時系列に蓄積されたものである。
【０１９９】
カメラ５００Ｃは、撮像部７００と、撮影条件情報取得部７１０と、画像ファイル記憶部１８１２と、ＲＴＣ１８１０とを備える。ＲＴＣ１８１０は、カメラ５００Ｃの電源のオン／オフに拘わらず動作し続けて現在の日時を刻み続ける。ＲＴＣ１８１０は、日時に加えて年月も管理可能に構成されることが望ましい。
【０２００】
ところで、カメラ５００Ｃとスペクトル検出装置２１０Ａとの間で情報の伝達が可能に構成される場合、スペクトル検出装置２１０ＡのＲＴＣ１８００を省いてもよい。そして、スペクトル検出装置２１０Ａは、カメラ５００ＣのＲＴＣ１８１０から日時に関する情報を取得して検出日時情報を生成する。
【０２０１】
カメラ５００Ｃで撮影動作が行われると、撮像部７００で生成された画像データに、撮影条件情報取得部７１０から出力された撮影条件情報と、ＲＴＣ１８１０から出力された日時情報に基づいて生成された撮影日時情報とが付加され、画像ファイルとして画像ファイル記憶部１８１２に記憶される。
【０２０２】
図１９は、画像処理装置１９００の概略的構成を説明するブロック図である。画像処理装置１９００は、ＰＣおよびＰＣ上で実行されるプログラムによって構成されたものとすることができる。図１９に示される各構成要素中、第１〜第３の実施の形態で説明したものと同じ構成要素については図７、図９、図１１中の構成要素に付されるのと同じ符号を付してその説明を省略する。
【０２０３】
第６の実施の形態において、画像処理装置１９００は最初に、画像ファイル記憶部１８１２に記憶されている画像ファイルと、スペクトル情報記憶部１８０２に記憶されているスペクトル情報データログとを読み出し、以下に説明する情報関連付けの処理をする。情報関連付けの処理とは、画像ファイル中の撮影日時情報と、スペクトル情報データログ中の検出日時情報とに基づき、撮影日時と検出日時とが最も近い組み合わせとなるように画像ファイルとスペクトル情報セットとを関連付ける処理である。
【０２０４】
スペクトル検出装置２１０Ａが撮影同期検出方式のスペクトル検出動作モードでスペクトル検出が行われた場合には、画像ファイルとスペクトル情報セットとの関連付けは、比較的単純な処理によって情報関連付けの処理をすることが可能である。
【０２０５】
一方、一定間隔検出方式のスペクトル検出動作モードでスペクトル検出が行われた場合には、撮影が行われた日時とスペクトル検出が行われた日時とは必ずしも一致しない。したがって、ある画像ファイルと関連付ける対象のスペクトル情報セットを探索する際には、その画像ファイルが生成される際に撮影が行われた日時に最も近いタイミングで検出されて得られたスペクトル情報セットを抽出する処理が行われる。
【０２０６】
上述した情報関連付けの処理に続き、関連付けされた画像ファイルとスペクトル情報セットとを用い、画像処理（色再現処理）が行われる。このときに、画像ファイルに付加される撮影条件情報に基づき、スペクトル情報と、画像ファイル中の画像データを分析した結果とのうち、すくなくともいずれかを参照して色再現処理を行うように決定される。
【０２０７】
スペクトル情報を参照する際には、スペクトル情報セットに含まれる複数のスペクトル情報のうち、参照する対象となるスペクトル情報が撮影条件情報に基づいて１または複数が選択される。
【０２０８】
画像処理装置１９００について図１９を参照して説明する。画像処理装置１９００は、画像ファイル読み出し部１９０２と、情報関連付け部１９０４と、スペクトル情報読み出し部１９０６と、色温度検出部７０２Ａと、第１光源検出部７０４と、白色点抽出処理部
７２０Ｂと、色再現処理方法決定部７１２Ｄと、スペクトル情報抽出部７１８Ａと、第２光源検出部７１６Ａと、画像処理部７０６Ｂとを有する。
【０２０９】
画像ファイル読み出し部１９０２は、画像ファイル記憶部１８１２に記憶される画像ファイルを一つずつ、あるは一回の読み出し動作で複数の画像ファイルを読み出す。本実施の形態において画像ファイル記憶部１８１２はカメラ５００Ｃに内蔵されるメモリ、あるいはカメラ５００Ｃに着脱自在に装着されるメモリカードであるものとする。
【０２１０】
画像ファイル記憶部１８１２がカメラ５００Ｃに内蔵されるメモリである場合、カメラ５００Ｃと画像処理装置１９００とは有線または無線の形態で接続され、画像ファイル読み出し部１９０２はカメラ５００Ｃから転送される画像ファイルを受信する。
【０２１１】
画像ファイル記憶部１８１２がメモリカードである場合、カメラ５００Ｃから取り外されたメモリカードが、画像処理装置１９００に備えられるメモリカードリーダに装着され、画像ファイル読み出し部１９０２はメモリカードから画像ファイルを読み出す。
【０２１２】
画像ファイル読み出し部１９０２は、受信した、あるいは読み出した画像ファイルから画像データ、撮影日時情報、および撮影条件情報を抽出する。画像ファイルがＲＡＷ画像データを含む場合、画像ファイル読み出し部１９０２は現像処理も行う。そして、画像データを画像処理部７０６Ｂ、色温度検出部７０２Ａ、白色点抽出処理部７２０Ｂに、撮影条件情報を色再現処理方法決定部７１２Ｄに、撮影日時情報を情報関連付け部１９０４に、それぞれ出力する。
【０２１３】
スペクトル情報読み出し部１９０６は、スペクトル情報記憶部１８０２に記憶されるスペクトル情報データログを読み出す。本実施の形態においてスペクトル情報記憶部１８０２はスペクトル検出装置２１０Ａに内蔵されるメモリ、あるいはスペクトル検出装置２１０Ａに着脱自在に装着されるメモリカードであるものとする。
【０２１４】
スペクトル情報記憶部１８０２がスペクトル検出装置２１０Ａに内蔵されるメモリである場合、スペクトル検出装置２１０Ａと画像処理装置１９００とは有線または無線の形態で接続され、スペクトル情報読み出し部１９０６はスペクトル検出装置２１０Ａから転送されるスペクトル情報データログを受信する。
【０２１５】
スペクトル情報記憶部１８０２がメモリカードである場合、スペクトル検出装置２１０Ａから取り外されたメモリカードが、画像処理装置１９００に備えられるメモリカードリーダに装着され、スペクトル情報読み出し部１９０６はメモリカードからスペクトル情報データログを読み出す。
【０２１６】
スペクトル情報読み出し部１９０６は、受信または読み出したスペクトル情報データログから検出日時情報およびスペクトル情報セットを抽出する。そして検出日時情を情報関連付け部１９０４に出力する。
【０２１７】
情報関連付け部１９０４は、画像ファイル読み出し部１９０２から入力した撮影日時情報とスペクトル情報読み出し部１９０６から入力した検出日時情報とに基づき、画像ファイルとスペクトル情報セットとを関連付ける処理である情報関連付け処理を行う。つまり、画像ファイル読み出し部１９０２で受信した、あるいは読み出したある画像ファイルに対し、この画像ファイルが生成される際にカメラ５００Ｃで撮影が行われたタイミングに最も近いタイミングにおいてスペクトル検出装置２１０Ａで検出して生成されたスペクトル情報セットを特定し、これらの画像ファイルとスペクトル情報セットとを関連付ける処理を行う。情報関連付け部１９０４は、画像ファイル読み出し部１９０２で受信または読み出したすべての画像ファイルに対して上述した情報関連付け処理を行う。
【０２１８】
情報関連付け部１９０４は、画像ファイル読み出し部１９０２に対し、上記情報関連付け処理によって得られた関連付け情報を出力する。この関連付け情報は、画像ファイルとスペクトル情報セットとを関連付けする情報である。画像ファイル読み出し部１９０２は、画像ファイル中に上記関連付け情報を付加する。あるいは、画像ファイル読み出し部１９０２は、上記関連付け情報に対応するスペクトル情報セットをスペクトル情報読み出し部１９０６から取得して画像ファイル中に付加することも可能である。
【０２１９】
なお、上述した画像ファイル読み出し部１９０２、情報関連付け部１９０４、スペクトル情報読み出し部１９０６についてはスペクトル検出装置２１０Ａ内に内蔵することも可能である。この場合、画像ファイルを記憶したメモリカードをカメラ５００Ｃから取り出してスペクトル検出装置２１０Ａに備えられるコネクタにメモリカードを挿入することにより、上記情報関連付けの処理が行われる。
【０２２０】
色温度検出部７０２Ａは、画像ファイル読み出し部１９０２から出力された画像データを処理し、撮影時に被写体を照明していた撮影照明光の色温度を推定する処理を行う。この、撮影照明光の色温度を推定する処理は第１の実施の形態中の色温度検出部７０２（図７）で行われる処理と同様であるのでその説明を省略する。
【０２２１】
第１光源検出部７０４は、色温度検出部７０２Ａから入力した撮影照明光の色温度情報に基づき、撮影照明光の種類を特定する。第１光源検出部７０４で特定可能な撮影照明光の種類としては、第１の実施の形態で説明したのと同様、晴天太陽光、曇天、タングステン灯、白色蛍光灯、昼光色蛍光灯などがある。
【０２２２】
白色点抽出処理部７２０Ｂは、画像ファイル読み出し部１９０２から出力される画像データにより生成される画像中に含まれる白色部分を抽出する処理を行う。この白色部分を抽出する処理については第３の実施の形態中の白色点抽出処理部７２０（図１１）で行われる処理と同様であるのでその説明を省略する。
【０２２３】
色再現処理方法決定部７１２Ｄは、画像ファイル読み出し部１９０２から入力した撮影条件情報と、白色点抽出処理部７２０Ｂから入力した白色点位置情報とに基づき、撮影スペクトル情報と、画像データを分析した結果とのうち、少なくともいずれかに基づいて色再現処理を行うように決定する。
【０２２４】
スペクトル情報を参照する際に、色再現処理方法決定部７１２Ｄは画像ファイル読み出し部１９０２から入力した関連づけ情報をスペクトル情報抽出部７１８Ａに出力する。色再現処理方法決定部７１２Ｄはまた、複数のスペクトル情報ＳＰＤ１（ｊ）、ＳＰＤ２（ｊ）、… のうち、参照する対象のスペクトル情報を撮影条件情報と白色点位置情報とに基づいて選択する。色再現処理方法決定部７１２Ｄは、この選択結果に対応する情報であるスペクトル選択情報をスペクトル情報抽出部７１８Ａに出力する。色再現処理方法決定部７１２Ｄは、選択したスペクトル情報と、画像データを分析した結果とのうち、少なくともいずれかを参照して色再現処理を行うように決定する。
【０２２５】
色再現処理方法決定部７１２Ｄでスペクトル情報が選択される際の方法については第３の実施の形態で図６や図１０を参照して説明したものと同様とすることが可能である。このとき、図６に示される寸法Ｄについては、ユーザが画像処理装置１９００に備えられるキーボードやコンピュータマウス等を操作して入力することが可能に構成されていてもよいし、撮影に用いられるカメラ５００Ｃの機種名とそれに対応する寸法Ｄとの関係が予め画像処理装置１９００内に記憶されていてもよい。その場合、画像ファイル中のタグ情報に含まれる機種名情報に基づいて対応する寸法Ｄの情報を読み出すことができる。
【０２２６】
また、第３の実施の形態でも説明したとおり、被写体中の白色点（白いものが写っている領域）からの光を受光するセンサブロックが存在する場合、そのセンサブロックからの出力をもとに得られるスペクトル情報は撮影照明光の分光放射輝度をより正確に反映したものとなる。したがって、色再現処理方法決定部７１２Ｄは、被写体中の白色点からの光を受光するセンサブロックからのスペクトル情報を選択するように決定することが望ましい。
【０２２７】
スペクトル情報抽出部７１８Ａは、スペクトル情報読み出し部１９０６が受信または読み出したスペクトル情報データログ中、関連づけ情報で特定されるスペクトル情報セットを抽出する。スペクトル情報抽出部７１８Ａはさらに、抽出されたスペクトル情報セット中からスペクトル選択情報で特定される一または複数のスペクトル情報を抽出して第２光源検出部７１６Ａに出力する。
【０２２８】
第２光源検出部７１６Ａは、スペクトル情報抽出部７１８Ａから入力したスペクトル情報をもとに、撮影照明光の種類を特定する処理を行う。第２光源検出部７１６Ａにおける撮影照明光の種類特定の処理は、第１の実施の形態で説明した第２光源検出部７１６での処理と同様であるので説明を省略する。
【０２２９】
色再現処理方法決定部７１２Ｄは、上述したスペクトル情報選択の処理の他に、第１の実施の形態で図８を参照して説明した色再現処理方法決定の処理も行う。この処理の詳細については第１、第２の実施の形態で説明したので説明を省略する。
【０２３０】
画像処理部７０６Ｂは、画像ファイル読み出し部１９０２から入力された画像データに対し、色再現処理方法決定部７１２Ｄで決定された色再現処理１から４のうちのいずれかによって色再現処理を行う。画像処理部７０６Ｂで行われる色再現処理としては、画像データに対して色バランスを調節する処理とすることが可能である。
【０２３１】
以上では、画像処理装置１９００が、ＰＣおよびＰＣ上で実行されるプログラムによって構成されたものである例について説明した。しかし、この画像処理装置１９００はカメラ５００Ｃ内に備えられていても、スペクトル検出装置２１０Ａ内に設けられていてもよい。
【０２３２】
画像処理装置１９００がカメラ５００Ｃ内に設けられる場合、カメラ５００Ｃおよびスペクトル検出装置２１０Ａの双方には有線または無線の形態で互いに接続し、情報の授受が可能な通信部を備えるものとする。撮影動作中、カメラ５００Ｃとスペクトル検出装置２１０Ａとは電気的に接続されていなくてもよい。そして、カメラ５００Ｃとスペクトル検出装置２１０Ａとを、ユーザが上記通信部を介して接続したときに、スペクトル情報読み出し部１９０６がスペクトル検出装置２１０Ａからスペクトル情報データログを受信する。そして画像処理装置１９００が上述した処理を行うことが可能である。
【０２３３】
画像処理装置１９００がスペクトル検出装置２１０Ａ内に設けられる場合、スペクトル検出装置２１０Ａにメモリカードを接続するためのコネクタ等を備えるものとする。そして、画像ファイルを記憶したメモリカードがカメラ５００Ｃから取り外されてスペクトル検出装置２１０Ａのコネクタに接続されたときに、画像処理装置１９００が上述した処理を行うことが可能である。
【０２３４】
以上に説明したように、本発明の第６の実施の形態によれば、カメラ５００Ｃで撮影が行われているとき、外光式のスペクトル検出装置２１０Ａとカメラ５００Ｃとは電気的に接続されている必要が無い。したがって、カメラ５００Ｃが例えば旧製品で、スペクトル検出装置２１０Ａからのスペクトル情報を用いることを想定した仕様を有していなくても、より高度の色再現が可能となる。
【０２３５】
また、例えばカメラ５００Ｃが早いコマ速での連続撮影機能を有している場合等で、色再現処理が連続撮影の速度に追いつかないような場合、カメラ５００Ｃでの撮影動作中にスペクトル検出装置２１０Ａで逐次スペクトル検出が行われてスペクトル情報データログが生成され、後処理によって高度の色再現処理を行うことが可能となる。
【０２３６】
以上では撮影日時情報と検出日時情報とに基づいて情報関連付けの処理をする例について説明したが、本発明はこの例に限られるものではない。例えば、カメラ５００Ｃとスペクトル検出装置２１０Ａとの双方にＧＰＳセンサを有している場合、撮影時およびスペクトル検出時にＧＰＳ値を記録することが可能である。そして、画像ファイル中のＧＰＳ値とスペクトル情報セットに付加されるＧＰＳ値とが互いに最も近い組み合わせとなるように情報関連付けをすればよい。
【０２３７】
あるいは、カメラ５００Ｃで撮影をしたときに、カメラ５００Ｃのモニタディスプレイ上に画像ＩＤが表示されるようにしてもよい。画像ＩＤを見たユーザが、スペクトル検出装置２１０Ａにその画像ＩＤを入力することにより、後で情報関連付けをすることが可能となる。
【０２３８】
また、カメラ５００Ｃとスペクトル検出装置２１０Ａとの間で通信が可能に構成されている場合、カメラ５００Ｃで撮影が行われたときにカメラ５００Ｃから画像ＩＤを出力することができる。スペクトル検出装置２１０は、受信した画像ＩＤをスペクトル情報セットに付加する。このようにすることにより、後で情報関連付けの処理をすることが可能となる。
【０２３９】
カメラ５００Ｃは静止画および動画のうち、少なくともいずれかを撮影可能に構成される。カメラ５００Ｃで動画撮影が行われ、スペクトル検出装置２１０Ａは撮影同期検出方式のスペクトル検出動作モードで動作可能な場合、以下のようにスペクトル検出動作が行われることが望ましい。
【０２４０】
すなわち、カメラ５００Ｃで動画の撮影が開始されたのに同期してスペクトル検出装置２１０Ａはスペクトル検出動作を行う。その後、カメラ５００Ｃで動画撮影が継続して行われている間は、スペクトル検出装置２１０Ａにおいて所定の時間間隔、たとえば５秒、１０秒、３０秒といった時間間隔でスペクトル検出動作が行われてスペクトル情報データログが生成される。後で動画を再生する際にスペクトル情報が参照されて色再現処理が行われる。このとき、スペクトル検出動作はカメラ５００Ｃでの動画撮影開始後も一定の時間間隔で行われるので、撮影シーンが大きく変化するような状況でもそのシーンに応じた色再現処理を行うことが可能となる。
【０２４１】
以上、第１から第６の実施の形態によって本発明について説明したが、本明細書中には以下に示す態様の発明も含まれる。
【０２４２】
［１］ 被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置であって、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な情報を含む撮影条件情報を取得する撮影条件情報取得部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを有して、前記カラーセンサの出力をもとにスペクトル情報を出力する外光式スペクトル検出装置から出力される前記スペクトル情報を入力するスペクトル情報入力部と、
前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記スペクトル情報を参照するか否かを決定し、前記スペクトル情報を参照しないと決定した場合には前記スペクトル情報を参照せず、前記画像データを分析した結果に基づいて前記色再現処理を行うように決定し、前記スペクトル情報を参照すると決定した場合には、前記画像データを分析した結果と前記外光式スペクトル検出装置から出力される前記スペクトル情報とのうち、少なくとも前記スペクトル情報を参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備えることを特徴とする画像処理装置。
［２］ 被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置であって、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な情報を含む撮影条件情報を取得する撮影条件情報取得部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを複数有して、前記複数のカラーセンサそれぞれからの出力に対応して複数のスペクトル情報を出力する外光式スペクトル検出装置から出力される前記スペクトル情報を入力するスペクトル情報入力部と、
前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記スペクトル情報を参照するか否かを決定し、前記スペクトル情報を参照しないと決定した場合には前記スペクトル情報を参照せず、前記画像データを分析した結果に基づいて前記色再現処理を行うように決定し、前記スペクトル情報を参照すると決定した場合には、前記複数のスペクトル情報のうち、参照する対象のスペクトル情報を前記撮影条件情報に基づいて選択し、前記選択したスペクトル情報と、前記画像データを分析した結果とのうち、少なくとも前記選択したスペクトル情報を参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備えることを特徴とする画像処理装置。
［３］ 被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置であって、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な撮影条件情報と、前記撮影光学系で撮影が行われたときの日時である撮影日時を導出可能な撮影日時情報とを含む付加情報を前記画像データに付加して生成される画像ファイルを記憶する画像ファイル記憶部から前記画像ファイルを読み出す画像ファイル読み出し部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを複数有して、前記複数のカラーセンサそれぞれから出力される複数のスペクトル情報を含むスペクトル情報セットを出力する外光式スペクトル検出装置により、前記撮影光学系で撮影が行われたタイミングに同期して、あるいは前記タイミングとは同期せずに一定の時間間隔で、スペクトル検出が行われるたびごとに出力される前記スペクトル情報セットに前記スペクトル検出が行われたときの日時であるスペクトル検出日時を導出可能な検出日時情報を付加してスペクトル情報データログとして記憶するスペクトル情報記憶部から前記スペクトル情報データログを読み出すスペクトル情報読み出し部と、
前記画像ファイル読み出し部で読み出された前記画像ファイル中の前記撮影日時情報と、前記スペクトル情報読み出し部で読み出された前記スペクトル情報データログ中の前記検出日時情報とに基づき、前記撮影日時と前記スペクトル検出日時とが最も近い組み合わせとなるように前記画像ファイルと前記スペクトル情報セットとを関連付ける情報関連付け処理部と、
前記情報関連付け処理部で関連付けされた前記画像ファイルおよび前記スペクトル情報セットを用い、前記画像ファイルに付加される前記撮影条件情報に基づき、前記スペクトル情報を参照するか否かを決定し、前記スペクトル情報を参照しないと決定した場合には前記スペクトル情報を参照せず、前記画像データを分析した結果に基づいて前記色再現処理を行うように決定し、前記スペクトル情報を参照すると決定した場合には、前記スペクトル情報セットに含まれる前記複数のスペクトル情報のうち、参照する対象となるスペクトル情報を前記撮影条件情報に基づいて１または複数選択し、前記参照する対象となるスペクトル情報と、前記画像データを分析した結果とのうち、少なくとも前記参照する対象となるスペクトル情報を参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備えることを特徴とする画像処理装置。
【０２４３】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
【産業上の利用可能性】
【０２４４】
本発明は、ディスプレイモニタ、ディスプレイモニタに接続されるセットトップボックス、画像処理装置、スチルカメラやムービーカメラ等の撮影装置、撮影装置に装着可能なスペクトル検出装置などに適用可能である。
【符号の説明】
【０２４５】
１０２、２０２ …集光レンズ
１０４ … 拡散板
１０６、２０６ … センサモジュール
１１０ … 一点計測式スペクトル検出装置
１２２、１２２Ａ … スペクトル推定処理部
２１０、２１０Ａ … 多点計測式スペクトル検出装置
４００、５００、５００Ａ、５００Ｂ、５００Ｃ … カメラ
４０４ … 撮影光学系
４０６ … レンズ制御部
７００ … 撮像部
７０２、７０２Ａ … 色温度検出部
７０４ … 第１光源検出部
７０６、７０６Ａ … 画像処理部
７１０ … 撮影条件取得部
７１２、７１２Ａ、７１２Ｂ、７１２Ｃ、７１２Ｄ …色再現処理方法決定部
７１４、７１４Ａ … スペクトル情報入力部
７１６、７１６Ａ … 第２光源検出部
７１８、７１８Ａ … スペクトル情報抽出部
７２０、７２０Ａ、７２０Ｂ … 白色点抽出部
１２００、１９００ … 画像処理装置
１２０２ … 画像データ記憶部
１２０４ … 情報分離部
１２０６、１２０６Ａ … スペクトル導出処理部
１２０８、１２０８Ａ … 被写体情報導出部
１２１０ … 色変換処理部
１２１２ … 分光反射スペクトル導出部
１２１４ … 被写体統計データ導出部
１２１６ … 色変換データ作成部
１２１８ … 出力デバイス色変換部
１６００ … ＮＶデータ生成部
１６０２ … 色変換処理部
１６０４ … スペクトルセンサ
１６０６ … ディスプレイモニタ
１６１０ … 信号分離部
１６１２ … 色変換データ作成部
１６１４ … 色変換マトリクス生成部
１６１６ … モニタプロファイル生成部
１６１８ … 出力デバイス色変換部
１６２０ … マトリクス作用部
１６２２ … プロファイル作用部
１８００、１８１０ … リアルタイムクロック
１８０２ … スペクトル情報記憶部
１８１２ … 画像ファイル記憶部
１９０２ … 画像ファイル読み出し部
１９０４ … 情報関連付け部
１９０６ … スペクトル情報読み出し部
【特許請求の範囲】
【請求項１】
被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置であって、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な情報を含む撮影条件情報を取得する撮影条件情報取得部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを有して、前記カラーセンサの出力をもとにスペクトル情報を出力する外光式スペクトル検出装置から出力される前記スペクトル情報を入力するスペクトル情報入力部と、
前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記外光式スペクトル検出装置から出力される前記スペクトル情報と、前記画像データを分析した結果とのうち、少なくともいずれかを参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記色再現処理方法決定部が、前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記スペクトル情報を参照するか否かを決定し、前記スペクトル情報を参照しないと決定した場合には前記スペクトル情報を参照せず、前記画像データを分析した結果に基づいて前記色再現処理を行うように決定し、前記スペクトル情報を参照すると決定した場合には、前記画像データを分析した結果と前記外光式スペクトル検出装置から出力される前記スペクトル情報とのうち、少なくとも前記スペクトル情報を参照して前記色再現処理を行うように決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置であって、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な情報を含む撮影条件情報を取得する撮影条件情報取得部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを複数有して、前記複数のカラーセンサそれぞれからの出力に対応して複数のスペクトル情報を出力する外光式スペクトル検出装置から出力される前記スペクトル情報を入力するスペクトル情報入力部と、
前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記外光式スペクトル検出装置から出力される前記スペクトル情報と、前記画像データを分析した結果とのうち、少なくともいずれかを参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備えることを特徴とする画像処理装置。
【請求項４】
前記色再現処理方法決定部が、前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記スペクトル情報を参照するか否かを決定し、前記スペクトル情報を参照しないと決定した場合には前記スペクトル情報を参照せず、前記画像データを分析した結果に基づいて前記色再現処理を行うように決定し、前記スペクトル情報を参照すると決定した場合には、前記複数のスペクトル情報のうち、参照する対象のスペクトル情報を前記撮影条件情報に基づいて選択し、前記選択したスペクトル情報と、前記画像データを分析した結果とのうち、少なくとも前記スペクトル情報を参照して前記色再現処理を行うように決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記色再現処理方法決定部が、前記複数のスペクトル情報のうち、前記撮影光学系によって撮影される範囲からの光を受光する１または複数のカラーセンサからの出力に対応する前記スペクトル情報を、参照する対象のスペクトル情報として選択することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記画像データによって形成される画像中に写っている被写体像中における白色部分の抽出を試み、前記白色部分が存在する場合には前記白色部分の写っている前記画像中の位置に関する白色点位置情報を出力する白色点抽出処理部をさらに備え、
前記色再現処理方法決定部は、前記撮影条件情報取得部で取得した撮影条件情報と、前記白色点抽出処理部から出力された前記白色点位置情報とに基づき、前記複数のスペクトル情報のうち、前記被写体中の前記白色部分に対応する位置からの光を受光する１または複数のカラーセンサからの出力に対応するスペクトル情報を、参照する対象のスペクトル情報として選択することを特徴とする請求項３または４に記載の画像処理装置。
【請求項７】
前記白色点抽出処理部が、前記画像データによって形成される画像中に前記被写体とともに写し込まれている白色色標の前記画像中における位置に対応する情報を前記白色点位置情報として出力することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記色再現処理方法決定部で選択された前記スペクトル情報を参照して、撮影時に前記被写体を照明していた光源の特性情報である撮影照明情報を導出し、前記被写体中の前記白色部分に対応する位置以外の位置からの光を受光するセンサから出力されるスペクトル情報を参照して前記被写体表面のスペクトルに関する情報である被写体スペクトル情報を導出する撮影照明情報導出部と、
前記撮影照明情報導出部で導出された前記被写体スペクトル情報と前記撮影照明情報とに基づいて前記被写体の分光反射スペクトル特性を導出し、導出された前記分光反射スペクトルに基づいて被写体統計データを生成する被写体統計データ導出部と
をさらに備えることを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置であって、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な撮影条件情報を含む付加情報を前記画像データに付加して生成される画像ファイルを記憶する画像ファイル記憶部から前記画像ファイルを読み出す画像ファイル読み出し部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを複数有して、前記複数のカラーセンサそれぞれから出力される複数のスペクトル情報を含むスペクトル情報セットを出力する外光式スペクトル検出装置により、前記撮影光学系で撮影が行われたタイミングに同期して、あるいは前記タイミングとは同期せずに一定の時間間隔で、スペクトル検出が行われるたびごとに出力される前記スペクトル情報セットがスペクトル情報データログとして記憶されるスペクトル情報記憶部から前記スペクトル情報データログを読み出すスペクトル情報読み出し部と、
前記画像ファイル読み出し部で読み出された前記画像ファイルと、前記スペクトル情報読み出し部で読み出された前記スペクトル情報データログ中に含まれるスペクトル情報セットのうちの前記画像ファイルに対応するものとを関連付ける情報関連付け処理部と、
前記情報関連付け処理部で関連付けされた前記スペクトル情報セットに含まれる前記複数のスペクトル情報のうち、前記撮影条件情報に基づいて選択された１または複数のスペクトル情報と、前記画像データを分析した結果とのうち、前記撮影条件情報に基づいて少なくともいずれかを参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備えることを特徴とする画像処理装置。
【請求項１０】
前記色処理方法決定部が、前記スペクトル情報セットに含まれる前記複数のスペクトル情報のうち、前記撮影光学系によって撮影される範囲からの光を受光する１または複数のカラーセンサからの出力に対応するスペクトル情報を、前記参照する対象となるスペクトル情報として選択することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記情報関連付け処理部で関連付けされた前記画像ファイル中の画像データによって形成される画像中に写っている被写体の像中における白色部分の抽出を試み、前記白色部分が存在する場合には前記白色部分の写っている前記画像中の位置に関する白色点位置情報を出力する白色点抽出処理部をさらに備え、
前記色処理方法決定部が、前記白色点抽出処理部から出力された前記白色点位置情報に基づき、前記スペクトル情報セットに含まれる前記複数のスペクトル情報のうち、前記被写体中の前記白色部分に対応する位置からの光を受光する１または複数のカラーセンサからの出力に対応するスペクトル情報を、前記参照する対象となるスペクトル情報として選択することを特徴とする請求項９に記載の画像処理装置。
【請求項１】
被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置であって、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な情報を含む撮影条件情報を取得する撮影条件情報取得部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを有して、前記カラーセンサの出力をもとにスペクトル情報を出力する外光式スペクトル検出装置から出力される前記スペクトル情報を入力するスペクトル情報入力部と、
前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記外光式スペクトル検出装置から出力される前記スペクトル情報と、前記画像データを分析した結果とのうち、少なくともいずれかを参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記色再現処理方法決定部が、前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記スペクトル情報を参照するか否かを決定し、前記スペクトル情報を参照しないと決定した場合には前記スペクトル情報を参照せず、前記画像データを分析した結果に基づいて前記色再現処理を行うように決定し、前記スペクトル情報を参照すると決定した場合には、前記画像データを分析した結果と前記外光式スペクトル検出装置から出力される前記スペクトル情報とのうち、少なくとも前記スペクトル情報を参照して前記色再現処理を行うように決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置であって、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な情報を含む撮影条件情報を取得する撮影条件情報取得部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを複数有して、前記複数のカラーセンサそれぞれからの出力に対応して複数のスペクトル情報を出力する外光式スペクトル検出装置から出力される前記スペクトル情報を入力するスペクトル情報入力部と、
前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記外光式スペクトル検出装置から出力される前記スペクトル情報と、前記画像データを分析した結果とのうち、少なくともいずれかを参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備えることを特徴とする画像処理装置。
【請求項４】
前記色再現処理方法決定部が、前記撮影条件情報取得部で取得した撮影条件情報に基づき、前記スペクトル情報を参照するか否かを決定し、前記スペクトル情報を参照しないと決定した場合には前記スペクトル情報を参照せず、前記画像データを分析した結果に基づいて前記色再現処理を行うように決定し、前記スペクトル情報を参照すると決定した場合には、前記複数のスペクトル情報のうち、参照する対象のスペクトル情報を前記撮影条件情報に基づいて選択し、前記選択したスペクトル情報と、前記画像データを分析した結果とのうち、少なくとも前記スペクトル情報を参照して前記色再現処理を行うように決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記色再現処理方法決定部が、前記複数のスペクトル情報のうち、前記撮影光学系によって撮影される範囲からの光を受光する１または複数のカラーセンサからの出力に対応する前記スペクトル情報を、参照する対象のスペクトル情報として選択することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記画像データによって形成される画像中に写っている被写体像中における白色部分の抽出を試み、前記白色部分が存在する場合には前記白色部分の写っている前記画像中の位置に関する白色点位置情報を出力する白色点抽出処理部をさらに備え、
前記色再現処理方法決定部は、前記撮影条件情報取得部で取得した撮影条件情報と、前記白色点抽出処理部から出力された前記白色点位置情報とに基づき、前記複数のスペクトル情報のうち、前記被写体中の前記白色部分に対応する位置からの光を受光する１または複数のカラーセンサからの出力に対応するスペクトル情報を、参照する対象のスペクトル情報として選択することを特徴とする請求項３または４に記載の画像処理装置。
【請求項７】
前記白色点抽出処理部が、前記画像データによって形成される画像中に前記被写体とともに写し込まれている白色色標の前記画像中における位置に対応する情報を前記白色点位置情報として出力することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記色再現処理方法決定部で選択された前記スペクトル情報を参照して、撮影時に前記被写体を照明していた光源の特性情報である撮影照明情報を導出し、前記被写体中の前記白色部分に対応する位置以外の位置からの光を受光するセンサから出力されるスペクトル情報を参照して前記被写体表面のスペクトルに関する情報である被写体スペクトル情報を導出する撮影照明情報導出部と、
前記撮影照明情報導出部で導出された前記被写体スペクトル情報と前記撮影照明情報とに基づいて前記被写体の分光反射スペクトル特性を導出し、導出された前記分光反射スペクトルに基づいて被写体統計データを生成する被写体統計データ導出部と
をさらに備えることを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
被写界中の被写体に向けられた撮影光学系によって形成される被写体像を色分解して撮影する撮像部から出力されたカラーの画像データに色再現処理をする画像処理装置であって、
前記撮影光学系で撮影が行われたときに設定されていた画角および撮影距離を導出可能な撮影条件情報を含む付加情報を前記画像データに付加して生成される画像ファイルを記憶する画像ファイル記憶部から前記画像ファイルを読み出す画像ファイル読み出し部と、
前記撮影光学系とは異なる集光光学系によって集光された前記被写界からの光を受光し、前記撮像部で色分解可能な色数よりも多い色数で色分解して検出するカラーセンサを複数有して、前記複数のカラーセンサそれぞれから出力される複数のスペクトル情報を含むスペクトル情報セットを出力する外光式スペクトル検出装置により、前記撮影光学系で撮影が行われたタイミングに同期して、あるいは前記タイミングとは同期せずに一定の時間間隔で、スペクトル検出が行われるたびごとに出力される前記スペクトル情報セットがスペクトル情報データログとして記憶されるスペクトル情報記憶部から前記スペクトル情報データログを読み出すスペクトル情報読み出し部と、
前記画像ファイル読み出し部で読み出された前記画像ファイルと、前記スペクトル情報読み出し部で読み出された前記スペクトル情報データログ中に含まれるスペクトル情報セットのうちの前記画像ファイルに対応するものとを関連付ける情報関連付け処理部と、
前記情報関連付け処理部で関連付けされた前記スペクトル情報セットに含まれる前記複数のスペクトル情報のうち、前記撮影条件情報に基づいて選択された１または複数のスペクトル情報と、前記画像データを分析した結果とのうち、前記撮影条件情報に基づいて少なくともいずれかを参照して前記色再現処理を行うように決定する色再現処理方法決定部と
を備えることを特徴とする画像処理装置。
【請求項１０】
前記色処理方法決定部が、前記スペクトル情報セットに含まれる前記複数のスペクトル情報のうち、前記撮影光学系によって撮影される範囲からの光を受光する１または複数のカラーセンサからの出力に対応するスペクトル情報を、前記参照する対象となるスペクトル情報として選択することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記情報関連付け処理部で関連付けされた前記画像ファイル中の画像データによって形成される画像中に写っている被写体の像中における白色部分の抽出を試み、前記白色部分が存在する場合には前記白色部分の写っている前記画像中の位置に関する白色点位置情報を出力する白色点抽出処理部をさらに備え、
前記色処理方法決定部が、前記白色点抽出処理部から出力された前記白色点位置情報に基づき、前記スペクトル情報セットに含まれる前記複数のスペクトル情報のうち、前記被写体中の前記白色部分に対応する位置からの光を受光する１または複数のカラーセンサからの出力に対応するスペクトル情報を、前記参照する対象となるスペクトル情報として選択することを特徴とする請求項９に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１１−２１１３１７（Ｐ２０１１−２１１３１７Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７４７３３（Ｐ２０１０−７４７３３）
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]