説明

マルチバンド画像撮像装置およびマルチバンド画像撮像方法

【課題】リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像する。
【解決手段】照明検出センサ10は、照明光スペクトルを検出し、ノイズパラメータ算出部11は、検出された照明光スペクトルに応じてバンドごとのノイズパラメータを算出し、色変換プロファイル算出部12は、算出されたノイズパラメータを用いて色変換を行うための色変換プロファイルを生成する。撮像素子3により取得してフレームメモリ6に格納されたマルチバンド画像データは、生成された色変換プロファイルとともにマルチバンド画像記録部7に格納された後、画像再生部8で色変換プロファイルを用いて色変換され、表示素子9に表示される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体のマルチバンド画像を撮像するマルチバンド画像撮像装置およびマルチバンド画像撮像方法に関する。
【背景技術】
【0002】
画像撮像装置において、色再現性を向上させるために、4種類以上の多数種類の色フィルタを用いたり、異なる分光特性を有する複数の光路を用いたりする等の方法により、波長帯域を分割する数を増やしてマルチバンド化する撮像方法や、当該撮像方法を用いた装置が知られている(例えば、特許文献1、特許文献2および特許文献3参照)。
【0003】
波長帯域を多数のバンドに分割することによって、分割された各バンドは狭帯域となり、色再現性の向上が期待できる。しかし、狭帯域化によって、入射光のスペクトル特性によっては、入射する光量が不足してS/N比の極めて悪いバンドを含む場合がある。このようにS/N比の悪いバンドを含むと、それにより色再現性が低下する。
【0004】
例えば、蛍光灯や水銀灯など輝線を含む光源の下で撮像をするとき、狭帯域のバンドには輝線を受光して撮像素子が飽和に近いレベルになるものと、輝線からはずれてほとんど受光しないものとが含まれる。また、白熱灯のように長波長ほどエネルギーが高い光源では、波長の短い帯域のバンドと長い帯域のバンドにおいて信号レベルの差が大きくなる。
このようなときに信号が低いバンドではノイズレベルが高くなり、色変換したときの色再現精度が低下する。
【0005】
このため、従来技術では、事前に予備撮像を行うことによって露光時間をバンドごとに設定し、S/N比をバンド間で同レベルにするというものが知られている(例えば、特許文献4参照)。あるいは、あらかじめ分光放射輝度計等で測定し、その測定データを用いて撮影画像をPCで処理するなどしてS/N比を向上させることができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2002−296114号公報
【特許文献2】特開2005−260480号公報
【特許文献3】特開2007−278950号公報
【特許文献4】特開2004−147287号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、事前に予備撮像を行う上述の方法では、照明条件が変わるたびに予備撮像や測定が必要になるので手間がかかり、予備撮像や測定に係る処理のために装置が複雑になるという問題点や、撮像時のリアルタイムでの照明特性に応じた撮像ができないという問題点がある。
【0008】
したがって、これらの点に着目してなされた本発明の目的は、リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像することができるマルチバンド画像撮像装置を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成する請求項1に係るマルチバンド画像撮像装置の発明は、
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
前記検出された照明光スペクトルに応じて、前記マルチバンド画像に対応するバンドごとのノイズパラメータを算出するノイズパラメータ算出手段と、
前記算出されたノイズパラメータを用いて、前記撮像手段により取得された前記マルチバンド画像の色変換を行うためのプロファイルを生成する色変換プロファイル算出手段と、
を備えることを特徴とするものである。
【0010】
上記目的を達成する請求項2に係るマルチバンド画像撮像装置の発明は、
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
前記検出された照明光スペクトルに応じて、前記マルチバンド画像に対応するバンドごとのノイズパラメータを算出するノイズパラメータ算出手段と、
前記算出結果を用いて、前記撮像手段により前記マルチバンド画像を取得する際の各バンドの露光時間を調整する露光時間調整手段と、
を備えることを特徴とするものである。
【0011】
上記目的を達成する請求項3に係るマルチバンド画像撮像装置の発明は、
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
前記検出された照明光スペクトルに応じて、前記マルチバンド画像に対応するバンドごとのノイズパラメータを算出するノイズパラメータ算出手段と、
前記算出されたノイズパラメータに基づいて、前記撮像手段から得られた前記バンドごとの画像に対してノイズ低減処理を行うノイズ低減手段と、
を備えることを特徴とするものである。
【0012】
上記目的を達成する請求項4に係るマルチバンド画像撮像装置の発明は、
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
異なる特性のスペクトルを有する光を選択して発光することができるストロボと、
前記照明検出手段により検出される照明光スペクトルに応じて、該照明光スペクトルの弱い波長帯域に発光スペクトルを有するように、前記ストロボの発光を制御するストロボ制御手段と、
を備えることを特徴とするものである。
【0013】
請求項5に係る発明は、請求項1−4のいずれか一項に記載のマルチバンド画像撮像装置において、
前記照明検出手段は、照明光スペクトルを測定するセンサであることを特徴とするものである。
【0014】
請求項6に係る発明は、請求項1、3、4のいずれか一項に記載のマルチバンド画像撮像装置において、
前記照明検出手段は、前記撮像手段から得られたマルチバンド画像に基づいて、照明光スペクトルを推定する照明推定手段を備えることを特徴とするものである。
【0015】
上記目的を達成する請求項7に係るマルチバンド画像撮像方法の発明は、
被写体を撮像してマルチバンド画像を取得するマルチバンド画像撮像方法であって、
照明光スペクトルを検出する照明検出ステップと、
前記検出された照明光スペクトルに応じてバンドごとのノイズパラメータを算出するノイズパラメータ算出ステップと、
前記算出されたノイズパラメータを用いて前記マルチバンド画像の色変換を行うためのプロファイルを生成する色変換プロファイル生成ステップと、
を備えることを特徴とするものである。
【発明の効果】
【0016】
本発明によれば、照明検出手段により照明光スペクトルを検出し、検出された照明光スペクトルに応じてノイズパラメータ算出手段がバンドごとのノイズパラメータを算出し、算出されたノイズパラメータを用いて色変換プロファイル算出手段が色変換を行うための色変換プロファイルを生成するようにしたので、リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の第1実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図2】ノイズパラメータ算出部の処理を示すフローチャートである。
【図3】色変換プロファイル算出部の処理を示すフローチャートである。
【図4】室内における照明光スペクトルの一例(白熱灯)を示す図である。
【図5】マルチバンド画像撮像装置のスペクトル感度を示す図である。
【図6】本発明の第2実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図7】バンド選択ノイズ除去部の処理を示すフローチャートである。
【図8】本発明の第3実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図9】第3実施の形態のノイズパラメータ算出部および露出時間算出部の処理を示すフローチャートである。
【図10】室内における照明光スペクトルの他の一例(水銀灯等)を示す図である。
【図11】本発明の第4実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図12】照明推定部の処理を示すフローチャートである。
【図13】本発明の第5実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図14】本発明の第6実施の形態に係るマルチバンド画像撮像装置の背面図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施の形態について、図を参照して説明する。
【0019】
(第1実施の形態)
図1は、本発明の第1実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。このマルチバンド画像撮像装置1は、撮影レンズ2、撮像素子3、レリーズボタン4、撮像制御部5、フレームメモリ6、マルチバンド画像記録部7、画像再生部8、表示素子9、照明検出センサ10、ノイズパラメータ算出部11、色変換プロファイル算出部12を含んで構成されている。
【0020】
撮影レンズ2は、入射光を撮像素子3に結像させるレンズである。撮像素子3は、被写体からの光を電気信号に変換する素子であり、例えばCCDやCMOSから構成され、露光面の前面には、Nバンド(Nは例えば16)の狭帯域フィルタを有する図示しないマルチバンドのモザイクフィルタが装着されている。ここで、撮像手段は、撮影レンズ2および撮像素子3を含んで構成される。
【0021】
撮像制御部5は、使用者によるレリーズボタン4の操作により、撮像素子3および照明検出センサ10を制御する。すなわち、使用者によりレリーズボタン4が半押しされると、撮像制御部5は、AE(自動露光)動作を駆動するとともに、照明検出センサ10を制御して照明光スペクトルを測定させる。また、レリーズボタン4が押下されると、撮像制御部5は、撮像素子3を制御してマルチバンド画像データをフレームメモリ6に書き込ませる。フレームメモリ6は、撮像素子3の1フレーム分の画像データを格納することができる。
【0022】
照明検出センサ10は、撮像素子3の撮像バンドに対応するバンドごとの照明光のスペクトルデータを測定するセンサであり、照明検出手段を構成する。この照明検出センサ10は、マルチバンド画像撮像装置1の本体の前面に配置されており、被写体側からの照明光スペクトル強度を検出して、ノイズパラメータ算出部11に出力する。
【0023】
ノイズパラメータ算出部11は、ノイズパラメータ算出手段を構成し、検出センサ10から出力された照明光スペクトルデータから、バンドごとのS/N比を予測するためのノイズパラメータを算出して、色変換プロファイル算出部12に出力する。色変換プロファイル算出部12は、色変換プロファイル算出手段を構成し、検出センサ10で検出された照明光スペクトルデータ、および、ノイズパラメータ算出手段11で算出されたノイズパラメータから、色変換プロファイルを算出する。
【0024】
本実施の形態では、ウィナー(Wiener)推定による色推定行列を算出し、これを用いて色変換プロファイルを生成する。ウィナー推定は公知の技術であり、ウィナー推定行列は、式(1)で表される。
【0025】
【数1】

【0026】
ここで、Rは被写体統計データから求められる被写体相関関数、Hはカメラ分光感度特性と撮像照明特性(照明光スペクトルデータ)から求められるシステムマトリクス、Rはノイズマトリクスである。各バンドのノイズ間に相関がないと見なせるので、Rは式(2)で示す対角行列として表せる。
【0027】
【数2】

【0028】
ここで、Nはバンド数、σ(1≦i≦N)はバンドiにおけるノイズパラメータである。
【0029】
このため、先ず、ノイズパラメータ算出部11は、図2に示すフローチャートに従い、ノイズパラメータσを算出するように構成される。すなわち、照明光検出センサ10から照明光データが入力され(ステップS101)、また、図示しない記憶部からカメラ分光データが読み出される(ステップS102)。ノイズパラメータ算出部11は、これら照明光スペクトルデータとカメラ分光特性のデータとを乗算し、予測信号レベルWを算出する(ステップS103)。次に、全バンドの中で最大となるWをWMAXとし、ノイズパラメータσを次式により算出して(ステップS104)、色変換プロファイル算出部12へ出力する(ステップS105)。
【0030】
【数3】

【0031】
次に、色変換プロファイル算出部12は、色変換プロファイルを生成するように構成される。図3は、色変換プロファイル算出部12の処理を示すフローチャートである。色変換プロファイル算出部12には、照明光検出センサ10から照明光スペクトルデータが入力され(ステップS201)、また、図示しない記憶部からカメラ分光特性のデータを読み出し(ステップS202)、これら、照明光スペクトルデータとカメラ分光特性のデータとに基づいて、システムマトリクスHを算出する(ステップS203)。さらに、色変換プロファイル算出部12には、ノイズパラメータ算出部11からノイズパラメータσが入力される(ステップS204)。色変換プロファイル算出部12は、算出したシステムマトリクスH、ノイズパラメータσを対角要素とするノイズマトリクスR、および、図示しない記憶部から入力される被写体統計データ(ステップS205)により決定される被写体相関関数Rを用いて、式(1)に基づいてウィナー推定行列を算出する(ステップS206)。このウィナー推定行列に色空間を表す行列と再現照明光を乗算して、色変換プロファイルを色変換マトリクスとして生成して、マルチバンド画像記録部7に出力する(ステップ207)。なお、色空間を表す行列とは、例えば、出力にsRGB表色系を使用すると想定した場合、XYZ等色関数にsRGB規格で規定されているXYZからRGBへの変換マトリクスを乗算したものである。
【0032】
マルチバンド画像記録部7は、フレームメモリ6で一時的に格納されたマルチバンド画像データと色変換プロファイル算出部12で算出された色変換プロファイルとを記録するように構成される。また、画像再生部8は、マルチバンド画像記録部7からマルチバンド画像データと色変換プロファイル(色変換マトリクス)とを受け取り、画像データを色変換プロファイルで所望の色空間(例えばRGB)に色変換してカラー画像を再生するように構成される。
【0033】
表示素子9は、マルチバンド画像撮像装置1の背面側に設けられた液晶ディスプレイであり、画像再生部8で再生された画像データを受け取り、ディスプレイ上に表示する。なお、表示素子9は、有機ELディスプレイやその他の表示素子としても良い。
【0034】
以上のような構成によって、マルチバンド画像撮像装置1は、撮像時に、まず、使用者によりレリーズボタン4が半押しされると、撮像制御部5の制御により、照明検出レンズ10が照明光スペクトルを検出し、これを用いてノイズパラメータ算出部11がノイズパラメータを算出し、さらに、このノイズパラメータおよび照明検出センサ10から得られた照明光スペクトルを用いて色変換プロファイル算出部12が色変換プロファイルを算出して、マルチバンド画像記録部7がこの色変換プロファイルを格納する。
【0035】
さらに、使用者によりレリーズボタン4が押下されると、制御手段5の制御により、撮像素子3が、露光面に結像するマルチバンドの画像データをフレームメモリ6に取り込んだ後、マルチバンド画像記録部7がこの画像データを記録する。さらに、マルチバンド画像記録部7に格納された色変換プロファイルと画像データは上述のように画像再生部8で処理されカラー画像として表示素子9に表示される。
【0036】
例えば、図4に示すような照明光スペクトルを有する蛍光灯の下で撮像を行い、且つ、マルチバンド画像撮像装置1のスペクトル感度が図5で示される場合、照明検出センサ10は、照明光のスペクトルデータを検出して、ノイズパラメータ算出部11に伝達する。ノイズパラメータ算出部11は、前述のようにノイズパラメータσを算出する。ここで、図4の照明光スペクトルとカメラ分光特性のデータとを乗算して得られる予測信号レベルWは、短波長側のバンド1や2では、他のバンドの予測信号レベルよりも小さくなり、すなわち、S/N比が悪くなる。このためバンド1および2では、ノイズパラメータσが大きくなる。このノイズパラメータを用いてウィナー推定行列を算出することによって、バンド1やバンド2等の短波長側のバンドの情報の寄与度が相対的に低くなり、ノイズを抑制することができる。
【0037】
本実施の形態では、上述のように得られたノイズパラメータを用い、色変換プロファイル算出部12においてウィナー推定により色変換プロファイルを算出する。したがって、撮像するマルチバンド画像のバンドごとに露光条件を変える必要はない。
【0038】
以上説明したように、本実施の形態によれば、照明光を検出し、検出された照明光に応じてバンドごとのノイズパラメータを算出し、算出されたノイズパラメータを用いて色変換を行うプロファイルを生成して、画像データとともに記録するようにしたので、リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像することができる。また、被写体のスペクトル特性を含む被写体統計データを用い、ウィナー推定により色推定を行うようにしたので、被写体に応じた精度の高いマルチバンド画像の撮像が可能になる。さらに、バンドごとに露光条件を変える必要が無いので、装置構成を簡単にすることができる。
【0039】
なお、本実施の形態の色変換プロファイル算出部12では、色変換プロファイルをウィナー推定行列に色空間を表す行列と再現照明光とを乗算した色変換マトリクスとして生成したが、色変換プロファイルの作成方法はこれに限られず、ノイズパラメータに応じて予め用意されたルックアップテーブル(LUT)からプロファイルを選択したり、あるいは、上述のように生成される色変換マトリックスにLUTを組み合わせて生成したりすることもできる。
【0040】
また、マルチバンド画像を記録するのに加え、作成した色変換プロファイルに基づいて、Nバンドのマルチバンド画像を所望の色空間に色変換を行う色変換部を含む構成とすることもできる。この場合、色変換部は、フレームメモリ6とマルチバンド画像記録部7との間に設け、色変換プロファイル算出部12は、この色変換部にも色変換プロファイルを出力するようにする。これによって、色変換された画像データからカラー画像を出力するカメラとしての利用も可能となる。
【0041】
(第2実施の形態)
図6は、本発明の第2実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。本実施の形態は、第1実施の形態に係るマルチバンド画像撮像装置において、フレームメモリ6と画像再生部8との間に、マルチバンド画像記録部7に代えて、バンド選択ノイズ除去部21と色変換部22と画像記録部23とを設け、さらに、色変換プロファイル算出部12を設けずに、ノイズパラメータ算出部11がノイズパラメータをバンド選択ノイズ除去部21に出力するようにしたものである。
【0042】
バンド選択ノイズ除去部21は、ノイズ低減手段を構成し、S/N比の悪いバンドについてデータの平滑化を行う。図7は、バンド選択ノイズ除去部21の処理を示すフローチャートである。バンド選択ノイズ除去部21は、まず1番目のバンドを選択し(ステップS301)、ノイズパラメータ算出部11から出力されたノイズパラメータとフレームメモリ6から出力されたマルチバンド画像データとから、1番目のバンドのノイズパラメータと画像データとを抽出する(ステップS302)。1番目のバンドのノイズパラメータが予め定められた閾値以上の場合は(ステップS303)、1番目のバンドの画像データに対して平滑化処理を行い、ノイズを抑制する(ステップS304)。また、ノイズパラメータが閾値未満の場合は、平滑化処理は行わない。次に、処理対象のバンドを2番目のバンドとして(ステップS306)、上記ステップS302〜S304の処理を行う。以下、第N番目までのバンドについて順次同様の処理を行い、全てのバンドの処理が終了すると(ステップS305)、上記処理を行ったマルチバンドの画像データを色変換部22へ出力する。
【0043】
さらに、色変換部22では、バンド選択ノイズ除去部21から出力されたNバンドのマルチバンド画像を、所望の色空間の色データに変換し、画像記録部23は、色変換部22で色変換された画像データを記憶する。画像再生部8は画像記録部23に記憶された画像データを再生して表示素子9に表示させる。その他の構成、作用は、第1実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【0044】
本実施の形態では、例えば、図4に示すような照明光スペクトルを有する蛍光灯の下で撮像を行い、且つ、マルチバンド画像撮像装置1のスペクトル感度が図5である場合、バンド1およびバンド2はS/N比が悪いのでノイズパラメータが大きくなるため、バンド選択ノイズ除去部21で平滑化処理を受ける。このため、撮像したマルチバンド画像の色再現性を向上させることができる。
【0045】
第1実施の形態では、ノイズパラメータを大きくすることで、スペクトル推定・色変換時にS/N比の悪いバンドの画像情報の寄与度を低くしてノイズの影響を抑制していたのに対し、本実施の形態では、ノイズを抑制しつつバンドの画像情報の寄与度を下げない処理となっている。したがって、S/N比の悪いバンドに特徴のある被写体に適用した場合、第1実施の形態に比べ、特徴のあるバンドの情報を有効に使うことができる。
【0046】
以上説明したように、本実施の形態によれば、照明検出センサ10により検出される照明光スペクトルデータから算出されるノイズパラメータを用いて、バンドごとにノイズ低減処理を行うようにしたので、リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像することができる。また、S/N比の悪いバンドに特徴のある被写体について、特徴のあるバンドの寄与度を下げることなく撮像することができる。
【0047】
(第3実施の形態)
図8は、本発明の第3実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。本実施の形態は、撮像素子3の前段に回転フィルタ31を設けてバンドごとの露光時間を調整するようにしたものである。
【0048】
このため、本実施の形態のマルチバンド画像撮像装置1は、第2実施の形態に係るマルチバンド画像装置において、撮像素子3の前面にマルチバンドモザイクフィルタを装着しない代わりに、撮像素子3と撮影レンズ2との間に設けられたマルチバンドのカラーフィルタが取り付けられた回転フィルタ31と、この回転フィルタを回転駆動するフィルタ駆動部32と、ノイズパラメータ算出部11から得られるノイズパラメータに基づいてバンドごとの適切な露出時間を算出する露光時間算出部33とを有する。また、第2実施の形態のバンド選択ノイズ除去部21は設けず、フレームメモリ6は画像データを色変換部22へ出力する。ここで、撮像手段は、撮像レンズ2、撮像素子3、回転フィルタ31およびフィルタ駆動部32を含んで構成される。また、露光時間調整手段は、撮像制御部5、回転フィルタ31、フィルタ駆動部32、露光時間算出部33を含んで構成されている。
【0049】
図9は本実施の形態のノイズパラメータ算出部11および露出時間算出部33の処理を示すフローチャートである。まず、レリーズボタン4が半押しされると、照明検出センサから照明光スペクトルデータが入力され(ステップS401)、図示しない記憶部からカメラ分光特性が読み出される(ステップS402)。ノイズパラメータ算出部11は、照明光スペクトルデータとカメラ分光特性のデータとを乗算し、予測信号レベルWを算出する(ステップS403)。さらに、ノイズパラメータ算出部11は、全てのバンドの中で最大の予測信号レベルWを最大信号レベルとして算出し(ステップS404)、この最大信号レベルに対する各バンドの予測信号レベルの相対値であるノイズパラメータを算出する。露光時間算出部33は、算出されたノイズパラメータから、最大信号レベルのバンドに対する相対露光時間を算出する(ステップS405)。さらに、算出した相対露光時間に基づいて各バンドの露光時間を決定する(ステップS406)。その後、露光時間算出手段33は、決定した露光時間を撮像制御部5へ出力する(ステップS407)。
【0050】
撮像制御部5は、レリーズボタン4が押下されると、算出された露光時間に基づいて、フィルタ駆動部32を制御して回転フィルタ31を回転させて各バンドに対応するカラーフィルタを順次撮影レンズと撮像素子3との間の光路上に配置する。さらに、撮像素子3はこれに同期して、撮像するバンドごとに所望の露光時間露光面に結像する画像データをフレームメモリ6に取り込む。この画像データはマルチバンド画像データとして色変換部に出力される。その他の構成、作用は、第2実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【0051】
本実施の形態によれば、例えば、図4に示すような照明光スペクトルを有する蛍光灯の下で撮像を行い、且つ、マルチバンド画像撮像装置1のスペクトル感度が図5で示されるような場合、S/N比が悪いバンド1およびバンド2は、信号レベルを大きく取れるように露出時間を長くし、S/N比を向上させる。この例では、バンド1の露光時間を最長とし、バンド2の露光時間はそれよりがやや短く、というように、波長が長いバンドほど露光時間を短くするように設定することで、全帯域においてS/N比の悪いバンドを無くすことができる。
【0052】
以上説明したように、本実施の形態によれば、照明検出センサ10により検出される照明光から算出されるノイズパラメータを用いて、各バンドの露光時間を調整するようにしたので、リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像することができる。さらに、露光時間を調整することによって、特定のバンドの寄与度や解像度を低下させることなくマルチバンド画像を撮像することができる。
【0053】
なお、体育館などでは、スペクトルに図10に示すような強い輝線がある水銀灯や高圧ナトリウムランプなどが、照明として使用される場合が多い。この場合は、輝線のある波長帯域を含む数バンドは高い信号レベルを有するが、他のバンドの信号強度は極めて低く、露光時間を長くしてもほとんど信号が得られない。そこで、本実施の形態に、第2実施の形態で示したバンド選択ノイズ除去部を組み込み、露光時間の調整に加え、信号レベルが低いバンドに対しては平滑化処理も行うようにしても良い。
【0054】
(第4実施の形態)
図11は、本発明の第4実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。本実施の形態は、センサにより照明光を検出するのではなく、撮像した画像から照明光スペクトルを推定するようにしたものである。
【0055】
このため、本実施の形態のマルチバンド画像撮像装置1は、第1実施の形態に係るマルチバンド画像装置1において、照明検出センサ10を設けず、照明推定部41を設けている。照明光推定部41は、フレームメモリ6からのマルチバンドが像データを受信して、照明光スペクトルを推定するものである。ここで、照明検出手段は、照明推定部41を含んで構成される。また、マルチバンド画像記録部7に代えて、色変換部22および画像記録部23を設けている。
【0056】
以上のような構成によって、レリーズボタン4が押下されると、制御手段5の制御により、撮像素子3が、露光面に結像するマルチバンドの画像データをフレームメモリ6に取り込む。フレームメモリ6は、この画像データを色変換部22および照明光推定部41に出力する。照明光推定部41は、フレームメモリ6から出力されるマルチバンド画像データに基づいて照明光スペクトルデータを推定し、ノイズパラメータ算出部11に出力する。
【0057】
ここで、照明推定部41の処理について説明する。図12は、照明光推定部41の処理を示すフローチャートである。まず、照明光推定部41は、フレームメモリ6からマルチバンドの画像データの入力を受け(ステップS501)、この画像データから白色部分の抽出を行う(ステップS502)。次に、別途求められた照明推定マトリクスが、図示しない記憶部から読み出される(ステップS503)。照明推定マトリクスは、例えば、ウィナー推定により求めることができる。この場合、式(1)のシステムマトリクスHをカメラ感度から作成し、相関行列Rを照明光スペクトルの統計データより作成する。この照明推定マトリクスを、抽出された白色部分の白色信号値に対して乗算することにより(ステップS504)、色変換プロファイルを生成し出力する(ステップS505)。
【0058】
第1実施の形態と同様に、ノイズパラメータ算出部11は、照明光スペクトルデータからノイズパラメータを算出し、このノイズパラメータを用いて色変換プロファイル算出部12は色変換プロファイルを算出して、色変換部22に出力する。色変換部22は、フレームメモリ6から出力されるマルチバンドの画像データを、色変換プロファイルに基づいて所望の色空間に色変換する。その後、画像記録部23は、色変換された画像データを記憶する。さらに、画像再生部8は画像記録部23に記憶された画像データを再生して表示素子9にカラー画像として表示させる。その他の構成、作用は、第1実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【0059】
以上説明したように、本実施の形態によれば、照明光推定部41により照明光を推定し、推定された照明光に応じてバンドごとのノイズパラメータを算出し、算出されたノイズパラメータを用いて色変換を行う色変換プロファイルを生成して、マルチバンド画像の色変換を行うようにしたので、リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像することができる。さらに、第1実施の形態と比べ、照明検出センサを必要としないので、より簡単且つ安価な装置構成とすることができる。
【0060】
(第5実施の形態)
図13は、本発明の第5実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。本実施の形態は、照明検出センサ10で検出された照明光スペクトルデータに応じて、複数の発光部を有するストロボ51の照明光に不足する波長帯域により強い発光強度を有する発光部を選択して発光させるようにしたものである。
【0061】
このため、本実施の形態のマルチバンド画像撮像装置1は、第2実施の形態に係るマルチバンド画像装置1において、ノイズパラメータ算出部11およびバンド選択ノイズ除去部21を設けず、フレームメモリ6は画像データを色変換部22に出力するように構成し、さらに、ストロボ51およびストロボ設定部52を設けている。
【0062】
ストロボ51は、異なる特性のスペクトルを有する光を選択して発光することができる、異なる発光スペクトルを有する複数の発光部を備えるストロボとして構成される。ストロボ設定部52は、照明検出センサ10により測定される照明光スペクトルデータに基づいて、照明光スペクトルに偏りがある場合、ストロボ51が測定された照明光スペクトルの弱い波長帯域に発光スペクトルを有するように、撮像制御部5にストロボの設定情報を出力する。さらに、撮像制御部5は、撮像時にこの設定情報に基づいてストロボを発光させるように構成される。ここで、ストロボ設定部52と撮像制御部5とはストロボ制御手段を構成している。
【0063】
以上のような構成によって、マルチバンド画像撮像装置1は、使用者によりレリーズボタン4が半押しされると、撮像制御部5の制御により、照明検出レンズ10が照明光スペクトルを検出し、これを用いてストロボ設定部52が、発光させるストロボ51の発光部を設定する。続いて、レリーズボタン4が押下されると、制御手段5の制御により、ストロボ51がストロボ設定部52により設定された発光部を発光させる。これと同期して、制御手段5の制御により、撮像素子3が、露光面に結像するマルチバンドの画像データをフレームメモリ6に取り込む。フレームメモリ6は、この画像データを色変換部22に出力する。また、ストロボ設定部52は、発光したストロボのスペクトル特性のデータを色変換部22に出力する。色変換部22は、撮像したマルチバンド画像とストロボのスペクトル特性のデータに基づき色変換を行う。その他の構成、作用は、第1実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【0064】
以上説明したように本実施の形態によれば、照明検出センサ10で検出した照明光スペクトルの強度の低い波長帯域に強い発光強度を有するようにストロボを発光させて撮像するようにしたので、照明光のスペクトル強度が波長帯域により偏りがある場合、撮像バンドごとの照明強度レベルを同程度に調整し、バンドごとのS/N比の差を小さくすることができる。
【0065】
なお、本実施の形態では、照明検出センサ10で検出された照明光スペクトルデータに基づいて、撮像時にストロボを使用するか否かが自動的に判断されるものとしたが、複数のモードを用意し設定モードを選択できるようにしても良い。例えば、上記のモード以外に、照明光スペクトルデータに基づいて、使用者に対しストロボの使用を推奨する画面を表示素子9に表示するモードを用意しても良い。
【0066】
(第6実施の形態)
図14は、本発明の第6実施の形態に係るマルチバンド画像撮像装置の背面図であり、表示素子9には、照明検出センサ10による照明光スペクトルの測定モードを選択するための選択画面が表示されている。本実施の形態は、第1実施の形態において、照明検出センサ10による照明光を測定するタイミングを、レリーズボタンの半押し時(AE同期)以外にも選択できるようにしたものである。図に示すように、マルチバンド画像撮像装置1には、既に説明をした表示素子9、レリーズボタン4の他、ファインダ61、点灯ランプ62および照明測定ボタン63が設けられている。
【0067】
また、本実施の形態では、図1に示した第1実施の形態のマルチバンド画像撮像装置1において、ノイズパラメータ算出部11により算出したあるいは予め設定されたノイズパラメータを記憶する図示しない記憶部が設けられる。
【0068】
測定モードは、使用者によりマルチバンド画像撮像装置1のメニュー選択画面から選択されるように構成される。表示素子9に表示される選択画面上には、例えば、「1.AE同期」、「2.レリーズ同期」、「3.測定ボタン」、「4.プリセット」の4つの選択肢が示される。
【0069】
「1.AE同期」は、AE時(レリーズ半押し時など)に、照明スペクトルを測定するモードである。このモード選択時の動作については、上記各第1実施の形態で説明したとおりである。
【0070】
「2.レリーズ同期」は、撮像時のレリーズの押下に連動して照明光スペクトルを測定するモードである。この場合、撮像制御部5の制御により照明検出センサ10が照明光スペクトルを検出するタイミングをレリーズと同期させる。その他の動作は、「1.AE同期」と同様である。
【0071】
「3.測定ボタン」は、事前に測定を行い照明光スペクトルを保存しておき、撮像時には、照明検出センサ10から得られる照明光スペクトルデータに代えて、保存された照明光スペクトルデータを使用するモードである。この場合は、撮像ごとまたはAE操作ごとの測定は行わない。このためマルチバンド画像撮像装置1には、このモードを選択したときのみ有効となる照明測定ボタン63が設けられている。使用者によってこのボタンが操作されると、照明検出センサ10が照明光スペクトルを検出し、図示しない記憶手段に記憶する。このとき、使用者に照明光スペクトルを検出中であることを知らせるために、点灯ランプ62を点灯、または、点滅させても良い。撮像時にレリーズボタン4が押下されると、撮像制御部5の制御により、この記憶手段に格納された照明光スペクトルを用いて、ノイズパラメータ算出部11でノイズパラメータが算出され、色変換プロファイル算出部12で色変換プロファイルが算出され、マルチバンド画像記録部7に引き渡される。その他の動作は、「1.AE同期」と同様である。このモードは、例えば、日向にある被写体を日陰から撮像しなければならない場合などに、一旦日向で照明光スペクトルを測定した後、所望の日陰の撮像場所から被写体を撮像する場合などに特に有効なモードである。
【0072】
「4.プリセット」は、予め日照条件等に応じて定められた照明光スペクトルデータを使用するモードである。照明光スペクトルデータは、予め図示しない記憶手段に格納される。撮像時の動作は、「3.測定ボタン」を選択した場合と同様である。
【0073】
なお、本実施の形態では、図14で示したモード選択手段を第1実施の形態に適用するものとしたが、第2、第3および第5実施の形態にも同様に適用することができる。また、照明検出部10を使用しない第4実施の形態においても、照明光推定部41による照明光スペクトルの推定のタイミングおよび方法を、上記各モードにより選択するものとすることにより、第4実施の形態にも適用することができる。
【0074】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、各実施の形態において、マルチバンド画像撮像装置は画像再生部と表示素子とを含んで構成されるが、これらをマルチバンド画像撮像装置には含めず、これらを別体の装置で実現しても良い。
【符号の説明】
【0075】
1 マルチバンド画像撮像装置
2 撮影レンズ
3 撮像素子
4 レリーズボタン
5 撮像制御部
6 フレームメモリ
7 マルチバンド画像記録部
8 画像再生部
9 表示素子
10 照明検出センサ
11 ノイズパラメータ算出部
12 色変換プロファイル算出部
21 バンド選択ノイズ除去部
22 色変換部
23 画像記録部
31 回転フィルタ
32 フィルタ駆動部
33 露光時間算出部
41 照明光推定部
51 ストロボ
52 ストロボ設定部
61 ファインダ
62 点灯ランプ
63 照明測定ボタン

【特許請求の範囲】
【請求項1】
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
前記検出された照明光スペクトルに応じて、前記マルチバンド画像に対応するバンドごとのノイズパラメータを算出するノイズパラメータ算出手段と、
前記算出されたノイズパラメータを用いて、前記撮像手段により取得された前記マルチバンド画像の色変換を行うためのプロファイルを生成する色変換プロファイル算出手段と、
を備えることを特徴とするマルチバンド画像撮像装置。
【請求項2】
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
前記検出された照明光スペクトルに応じて、前記マルチバンド画像に対応するバンドごとのノイズパラメータを算出するノイズパラメータ算出手段と、
前記算出結果を用いて、前記撮像手段により前記マルチバンド画像を取得する際の各バンドの露光時間を調整する露光時間調整手段と、
を備えることを特徴とするマルチバンド画像撮像装置。
【請求項3】
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
前記検出された照明光スペクトルに応じて、前記マルチバンド画像に対応するバンドごとのノイズパラメータを算出するノイズパラメータ算出手段と、
前記算出されたノイズパラメータに基づいて、前記撮像手段から得られた前記バンドごとの画像に対してノイズ低減処理を行うノイズ低減手段と、
を備えることを特徴とするマルチバンド画像撮像装置。
【請求項4】
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
異なる特性のスペクトルを有する光を選択して発光することができるストロボと、
前記照明検出手段により検出される照明光スペクトルに応じて、該照明光スペクトルの弱い波長帯域に発光スペクトルを有するように、前記ストロボの発光を制御するストロボ制御手段と、
を備えることを特徴とするマルチバンド画像撮像装置。
【請求項5】
前記照明検出手段は、照明光スペクトルを測定するセンサであることを特徴とする、請求項1−4のいずれか一項に記載のマルチバンド画像撮像装置。
【請求項6】
前記照明検出手段は、前記撮像手段から得られたマルチバンド画像に基づいて、照明光スペクトルを推定する照明推定手段を備えることを特徴とする請求項1、3、4のいずれか一項に記載のマルチバンド画像撮像装置。
【請求項7】
被写体を撮像してマルチバンド画像を取得するマルチバンド画像撮像方法であって、
照明光スペクトルを検出する照明検出ステップと、
前記検出された照明光スペクトルに応じてバンドごとのノイズパラメータを算出するノイズパラメータ算出ステップと、
前記算出されたノイズパラメータを用いて前記マルチバンド画像の色変換を行うためのプロファイルを生成する色変換プロファイル生成ステップと、
を備えることを特徴とするマルチバンド画像撮像方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2010−278711(P2010−278711A)
【公開日】平成22年12月9日(2010.12.9)
【国際特許分類】
【出願番号】特願2009−128572(P2009−128572)
【出願日】平成21年5月28日(2009.5.28)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】