説明

撮像装置及び撮像方法

【課題】カラー画像データが容易に取得することのできる撮像装置を提供する。
【解決手段】画像を撮像するための複数の光電変換画素を有する撮像部と、開口部及び遮光部を有する入射光制限部と、を有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数であって、被写体を撮像する際、前記被写体からの光は前記入射光制限部を介し、前記撮像部に入射するものであることを特徴とする撮像装置を提供することにより上記課題を解決する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【0002】
従来、一般的な撮像装置として、一つの分光感度を有するモノクロ撮像装置と、人間の色感度に近いカラー画像をえることのできるカラー撮像装置がある。カラー撮像装置は、RGBやCy・Y・Me・G等の分光透過率の異なるカラーフィルタを撮像素子の各々の画素の上に配置し、異なる分光感度の撮像画像を得ることができるものである。
【0003】
一方、これらの3又は4種類の分光感度を有する一般的なカラー撮像装置に対し、より多くの分光感度において撮像を行なうマルチバンド撮像装置についても開示されている。例えば、特許文献1には撮像光学系前面に分光透過率の異なるフィルタを設け、これを切換えて撮像するものが開示されており、特許文献2にはスリットを用いたものが開示されており、特許文献3にはプリズム等を用いたものが開示されている。また、特許文献4には、通常のカラーフィルタに代えて分光素子を画素前面に設置した構造のものが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1〜3に開示されているマルチバンド撮像装置は、通常のカラー撮像装置よりも多くの分光感度で撮像することができるが、複数の分光感度の情報を取得するためには、複数回撮像する必要があり、この間撮像される被写体を静止させておく必要がある。また、特許文献4に開示されている撮像素子は、一般的なカラー撮像装置と同様に、固定された分光感度、固定されたバンド幅(波長帯域幅)の分光画像を得るものである。
【0005】
本発明は、上記に鑑みなされたものであり、被写体が動いている場合においても撮像可能であり、複数の分光感度の撮像画像を一回の撮像で得ることができ、また、必要に応じて異なる波長、異なるバンド幅における分光画像を得ることのできる撮像装置及び撮像方法を提供することを目的とするものである。
【課題を解決するための手段】
【0006】
本発明は、画像を撮像するための複数の光電変換画素を有する撮像部と、開口部及び遮光部を有する入射光制限部と、を有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数であって、被写体を撮像する際、前記被写体からの光は前記入射光制限部を介し、前記撮像部に入射するものであることを特徴とする。
【0007】
また、本発明は、画像を撮像するための複数の光電変換画素を有する撮像部と、開口部及び遮光部を有する入射光制限部とを有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数である撮像装置の撮像方法において、被写体からの光を、前記入射光制限部を介して前記撮像部に入射させて撮像することにより、画像データを取得する工程と、前記画像データに対し校正データに基づく校正を行なうことにより、異なる波長の複数の分光画像データを算出する工程と、を有することを特徴とする。
【0008】
また、本発明は、画像を撮像するための複数の光電変換画素を有する撮像部と、開口部及び遮光部を有する入射光制限部とを有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数である撮像装置の撮像方法において、複数の波長の光を順次、前記入射光制限部を介して前記撮像部に入射させて撮像することにより、各々の波長における校正データを取得する工程と、前記校正データを保存する工程と、を有し、被写体からの光を、前記入射光制限部を介して前記撮像部に入射させて撮像し画像データについて、前記校正データに基づく校正を行なうことにより、異なる波長の複数の分光画像データを算出することができるものであることを特徴とする。
【発明の効果】
【0009】
本発明によれば、被写体が動いている場合においても撮像可能であり、複数の分光感度の撮像画像を一回の撮像で得ることができ、また、必要に応じて異なる波長、異なるバンド幅における分光画像を得ることのできる撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【0010】
【図1】ホイヘンス−フレネルの原理の説明図(1)
【図2】ホイヘンス−フレネルの原理の説明図(2)
【図3】ホイヘンス−フレネルの原理の説明図(3)
【図4】ホイヘンス−フレネルの原理の説明図(4)
【図5】2つの波長の光における干渉の説明図(1)
【図6】波長λの光の強度分布のパターンの説明図
【図7】波長λの光の強度分布のパターンの説明図
【図8】2つの波長の光における干渉の説明図(2)
【図9】波長λの光の強度分布の説明図
【図10】波長λの光の強度分布の説明図
【図11】本実施の形態における撮像装置の構造図(1)
【図12】撮像部の構造図
【図13】入射光制限部の構造図
【図14】撮像部と入射光制限部との位置関係の説明図
【図15】他の入射光制限部の構造図(1)
【図16】他の入射光制限部の構造図(2)
【図17】他の入射光制限部の構造図(3)
【図18】他の入射光制限部の構造図(4)
【図19】他の入射光制限部の構造図(5)
【図20】他の入射光制限部の構造図(6)
【図21】他の入射光制限部の構造図(7)
【図22】図21に示す他の入射光制限部の説明図
【図23】他の撮像部の構造図
【図24】本実施の形態における撮像装置の構造図(2)
【図25】光学ローパスフィルタの説明図(1)
【図26】光学ローパスフィルタの説明図(2)
【図27】本実施の形態における撮像装置の説明図
【図28】校正の工程において入射させる光の波長と強度の相関図
【図29】本実施の形態における撮像装置の校正の説明図
【図30】本実施の形態における撮像方法における校正の工程の説明図
【図31】本実施の形態における撮像方法における校正の工程のフローチャート
【図32】校正工程により得られる校正データの説明図
【図33】本実施の形態における撮像方法における被写体撮像の工程の説明図
【図34】本実施の形態における撮像方法における被写体撮像の工程のフローチャート
【図35】撮像部における光電変換画素の配置の説明図
【図36】本実施の形態における撮像装置であるデジタルカメラの説明図
【図37】本実施の形態における撮像装置であるデジタルカメラの校正の説明図
【図38】校正に用いられる光の波長と強度の相関図(1)
【図39】校正に用いられる光の波長と強度の相関図(2)
【図40】本実施の形態における撮像装置であるデジタルカメラの他の校正の説明図
【発明を実施するための形態】
【0011】
本発明を実施するための形態について、以下に説明する。尚、同じ部材等については、同一の符号を付して説明を省略する。
【0012】
ところで、図1に示すように、開口部912を有するスリット911に光を入射させると、光は波としての性質を示し、スリット911の裏側に回り込む回折現象が生じることは、一般的にも知られている。また、図2に示すように、この光を球面波としてとらえた場合には、各々の点で球面波同士が干渉し、図3に示すような強度分布を有する干渉縞が観察されることも知られている。このようにホイヘンス−フレネルの原理では、光を球面波として扱うことにより、回折や干渉等の現象を説明することができる。
【0013】
ここで、図4に示すように、スリット911における開口部912の幅がdであり、波長λの光を入射させた場合において、波長λの光が干渉して弱め合う角度θを得ようとすると、図面において開口部912の左側端部の点Aを中心とする球面波と、開口部912の中点である点Bを中心とする球面波とが、点Cにおいてλ/2ずれて干渉した場合、(d/2)・sinθ=m・(λ/2)(m=1、2、3、・・・)となり、sinθ=m・λ/dとなる。
【0014】
このように、光の波長λが長いほど角度θが大きくなり光の回り込みが大きくなり、幅dが狭いほど光の回り込みは大きくなる。よって、異なる波長の波長λの光と波長λの光とを開口部912を有するスリット911に入射させた場合には、図5に示すように、異なる位置に干渉縞が生じ、図6及び図7に示すように波長λの光の干渉縞の強度分布と、波長λの光の干渉縞の強度分布は異なるパターンとなる。尚、図6は波長λの光の干渉縞の強度分布を示し、図7は波長λの光の干渉縞の強度分布を示す。
【0015】
従って、図8に示すように、スリット911の開口部912を通過した光を検出する複数の光電変換画素(光電変換素子からなる画素)を有する光検出素子913を設置した場合、光検出素子913における各々の光電変換画素により検出される光の強度は、図9及び図10に示されるように、波長λの光と波長λの光とでは異なる。尚、図9及び図10は、光検出素子913に5つの光電変換画素が設けられている場合について説明するものであり、図9は、5つの光電変換画素を有する光検出素子913により波長λの光が検出される強度を示し、図10は、5つの光電変換画素を有する光検出素子913により波長λの光が検出される強度を示す。
【0016】
ここで、光検出素子913における光電変換画素nに強度Iの光を入射させた場合、光電変換画素における出力が光の強度Iに比例するものとすると、光電変換画素における光電変換出力Snは、光の強度Iに各々の波長に依存した比例係数kn(λ)を掛けたものとなる。即ち、Sn=kn(λ)・Iとなる。尚、Sn:光電変換画素nにおける出力、kn(λ):光電変換画素nにおける波長λに依存した比例係数、I:入射する光の強度である。
【0017】
以上、単一波長の光を別々に入射させた場合について説明したが、複数の波長の光が含まれる白色光を入射させた場合には、白色光における各々の異なる波長の光は交じり合うことはないので、各々の波長の光の重ね合わせとして考えればよく、入射する光の波長λ、λ、λ、・・・・・の各々の強度をIλ、Iλ、Iλ、・・・・・とすると、その光電変換出力Snは、数1に示す式で表わされる。
【0018】
【数1】


次に、2つの光電変換画素に着目し、2つの波長の光、即ち、波長λ光と、波長λの光を入射させた場合では、2つの光電変換画素における光電変換出力S1及びS2は、数2に示す式で表わされる。
【0019】
【数2】


式を簡便にするため、K1=k1(λ)、K2=k1(λ)、K3=k2(λ)、K4=k2(λ)、I1=Iλ、I2=Iλとし、2×2の行列で表わすと、数3に示される式となる。
【0020】
【数3】


また、数3に示される2×2の行列の比例係数をMとし、その逆行列をM−1とすると、数4に示される式となる。
【0021】
【数4】


このように、比例係数Mの逆行列を算出することによって、数4に示される式より、各々の光電変換画素における光電変換出力S1及びS2より、各々の波長λ及びλにおける光の強度I1及びI2を算出することができる。
【0022】
一方、数3に示される式において、複数の波長の光を入射させるのではなく、光の強度がIである単一波長の光を入射させた場合について考える。この場合において、I1=I、I2=0である場合には、光電変換画素1の光電変換出力S1=K1・Iとなり、光電変換画素2の光電変換出力S2=K3・Iとなる。また、I1=0、I2=Iである場合には、光電変換画素1の光電変換出力S1=K2・Iとなり、光電変換画素2の光電変換出力S2=K4・Iとなる。
【0023】
よって、光電変換画素1及び光電変換画素2の2つの光電変換画素における2つの条件の光電変換出力S1及びS2より、強度Iの光における4つの比例係数、即ち、比例係数K1、K2、K3、K4を得ることができる。また、この波長に依存する各々の各々の比例係数K1、K2、K3、K4は、光の強度に依存しないため、絶対的な各々の波長における強度が不要な場合には、事前に開口部912を有するスリット911に、同じ強度で複数の波長の光を入射させ、その出力結果の逆行列を算出することにより、数4に示す式に基づき開口部912を有するスリット911に未知の混合比の光を入射させた場合における混合比を得ることができる。
【0024】
以上は、説明の便宜上、光電変換画素が2つの場合について説明したが、画像変換画素がp個の場合においては、p×pの行列の比例係数の逆行列を算出し、p種類の波長の光の光電変換出力に、算出した逆行列を乗ずることにより、p種類の波長の混合比を得ることができる。
【0025】
(撮像装置)
次に、本実施の形態における撮像装置について説明する。
【0026】
本実施の形態における撮像装置は、図11に示すように、撮像部10の前段に、入射光制限部20を有している。撮像部10は、図12に示すように、複数の光電変換画素11が2次元状に配列されているものである。また、入射光制限部20は、光を透過する開口部21と光を遮光する遮光部22とを有しており、開口部21及び遮光部22は、様々な形状で形成されており、例えば、図13に示すように、各々が不規則な形状で形成されている。本実施の形態では、入射光制限部20に入射した光は、開口部21を通過した光が回折及び干渉し、この回折及び干渉した光を撮像部10において検出し、電気信号に変換する。
【0027】
ところで、図14(a)に示すように、撮像部10における光電変換画素11a、11b、11c、11dは、入射光制限部20aにおける開口部21aとは相対的に異なる位置にあるため、前述した場合と同様に、光電変換画素11a、11b、11c、11dにおいて検出される分光感度は、異なる分光感度となる。尚、図14(b)は、入射光制限部20aの全体を示すものであり、開口部21aの周囲は遮光部22aとなっている。また、この入射光制限部20等における開口部21及び遮光部22等の形状は、検出される波長範囲、検出される波長数、バンド幅等に応じて所望の形状で形成されている。
【0028】
また、開口部21は、光を入射させるため、検出される光のうち、最も短い波長の回折限界よりも大きくなるように形成されている。開口部21等の形状や形成される位置は、離散的であればある程、干渉が生じ、検出される波長の分別率が上がり、滑らかになればなる程、分別率は下がるものの、連続的に波長の検出を行なうことができる。具体的には、入射光制限部20における開口部21等の形状は、検出される波長の範囲、検出される波長の数及び検出される波長のバンド幅に基づき、ホイヘンス−フレネルの原理等により、実際の干渉度合いを求めて設計した形状で形成される。
【0029】
入射光制限部20は、例えば、図15に示されるように、丸い開口部21bと、この開口部21bの周囲に遮光部22bが形成されている入射光制限部20bであってもよく、図16に示されるように、丸い遮光部22cと、この遮光部22cの周囲に開口部21cが形成されている入射光制限部20cであってもよい。また、図17に示されるように、四角い開口部21dと、この開口部21dの周囲に遮光部22dが形成されている入射光制限部20dであってもよく、図18に示されるように、四角い遮光部22eと、この遮光部22eの周囲に開口部21eが形成されている入射光制限部20eであってもよい。また、更に、図19に示されるように、スリット形状の開口部21fと、この開口部21fの周囲に遮光部22fが形成されている入射光制限部20fであってもよい。このように、開口部21fをスリット形状となるように形成することにより、スリット形状の開口部21fを通った光同士が干渉し合うため、よりはっきりした干渉縞が生じるため分別率を高くすることができる。また、図20に示されるように、開口部21gの形状、即ち、開口部21gと遮光部22gとの境界部分は、滑らかではなく、階段状に形成されたものであってもよい。尚、本願明細書においては、上述した入射光制限部20a〜20gは入射光制限部20に代表されるものとし、開口部21a〜21gは開口部21に代表される者とし、遮光部22a〜22gは遮光部22に代表されるものとする。
【0030】
以上、0次光の像も一緒に撮像部10に入射する場合について説明したが、図21(a)に示すように、入射光制限部20hに用いられる透明な基板23の表面と裏面において、開口部と遮光部とが反転するような形状で形成したものであってもよい。即ち、透明な基板23の表面がポジだとすれば裏面がネガとなるように形成したものであってもよい。具体的には、透明な基板23の表面に開口部24aと遮光部25aを形成し、透明な基板23の裏面には、表面に開口部24aが形成されていた領域に遮光部25bを形成し、遮光部25aが形成されていた領域に開口部24bを形成する。これにより、図22に示すように、入射する光の0次光をカットすることができ、回折光のみを撮像部10に入射させることができるため、各々の波長における分別率を向上させることができる。尚、図21(a)は、入射光制限部20hの断面構造を示し、図21(b)は、入射光制限部20hの上面における要部を示す。
【0031】
尚、モノクロ画像を主体に撮像したい場合には、0次光を積極的に用いて撮像する場合があるため、図21とは異なり、一方の面のみ開口部21と遮光部22が形成されたものを用いてもよい。
【0032】
更に、図23に示すように、撮像部10aは、3次元的に光電変換画素12a、12b、12c、12dを有するものであってもよい。このような撮像部10aにおいては、光電変換画素12a、12b、12c、12dは、入射光制限部20からの距離が異なるため、様々な分光感度における撮像を行なうことができる。
【0033】
また、入射光制限部20において、開口部21等を周期的に形成してもよいが、周期的に開口部21等を形成した場合、被写体に周期的なパターンが合った場合にはモワレ縞が生じるため、あまり好ましくはない。これに対し、図24に示されるように、入射光制限部20の前段に、光学ローパスフィルタ30を設置することにより、モワレ縞の発生を抑制することができる。尚、この光学ローパスフィルタ30は、複屈折材料等により形成されているものであり、所定の空間周波数以下の光の明暗を制限することができるものである。また、本実施の形態においては、所定の波長範囲において、各々の波長における光の強度を検出するものであるため、予め、入射する波長範囲を制限しておく方が好ましい。よって、入射光制限部20及び撮像部10に所定の波長範囲の光を入射させることができるように、光学ローパスフィルタ30の表面等には、更に、図25に示すような透過率特性を有するフィルタを設けてもよい。更に、実際に用いられる光学部材においては、短波長となる紫外光領域の光は透過しないため、長波長領域における光をカットする図26に示すような透過率特性を有するフィルタを設けてもよい。
【0034】
(撮像方法)
次に、本実施の形態における撮像方法について説明する。本実施の形態における撮像方法は、図27に示すように、撮像部10、入射光制限部20、校正部40、校正データ保持部50等を有する撮像装置を用いた撮像方法である。尚、校正部40は、入射光制限部20を介し撮像部10において撮像された画像データを校正するためのものであり、校正データ保持部50は、この校正に用いられる校正データを保持するためのものである。この撮像装置では、入射光制限部20により入射光を回折及び干渉させることにより形成された光の分布のパターンを撮像部10において撮像し、光電変換により電気信号である画像信号を出力し、更に、量子化された画像データを出力する。校正データ保持部50では、校正の工程における画像データを校正データとして記録保持し、校正部40では、被写体の撮像時における画像データと校正データに基づき分光画像データ(分光画像情報)を算出する。
【0035】
各々の波長における画像データの集まりである分光画像データは、前述のとおり、校正を行なった後、被写体の撮像を行なうことにより得ることができる。よって、校正の工程と被写体撮像の工程とを分けて説明する。
【0036】
最初に、校正の工程について説明する。校正の工程では、図28に示すような多波長光源より出射された複数の波長の光を入射光制限部20に入射させる。このような多波長光源としては、様々なものがあり、例えば、公知なものとしては、プログラマブル多波長光源や、白熱灯のような連続した波長分布の光を出射する光源をバンドパスフィルタにより帯域を制限し、分光プリズムや回折格子を用いて特定の波長の光を得ることができるようにしたもの等が挙げられる。本実施の形態においては、所定の複数の波長を含む光を出射することができる光源であれば、他の光源を用いることも可能である。
【0037】
また、校正の工程は、被写体像を撮像するためのカメラとして用いる場合には、図29(a)に示すように、入射光制限部20の前段に多波長光源60を設置した状態において校正を行ってもよく、また、図29(b)に示すように、入射光制限部20と多波長光源60との間に結像光学系70を設置した状態において校正を行ってもよい。尚、図29(b)に示すように、結像光学系70を設置することにより、結像光学系70における分光透過率等も考慮した校正を行なうことができる。
【0038】
校正の工程では、図30に示されるように、最初に、多波長光源60より出射された所定の波長の校正光を、入射光制限部20に入射させ、撮像部10において撮像し、撮像部10において撮像された画像データを校正データ保持部50において保持する。この工程を校正光となる各々の波長の光について繰り返し行なう。具体的には、図31に示されるように、ステップ102(S102)において、校正光を決定し、ステップ104(S104)において、決定した校正光を入射光制限部20に入射させ、ステップ106(S106)において、撮像部10において撮像し画像情報(画像データ)を取得し、ステップ(S108)において、取得された画像情報(画像データ)を校正データとして校正データ保持部50に保持させる。ステップ110(S110)では、すべての校正光において、校正データの取得が終了したか否かが判断される。校正データの取得が終了していないものと判断された場合、即ち、校正光となる波長の光の照射が全て終了していない場合には、ステップ102に移行して、新たな校正光が設定される。また、校正データの取得が終了したものと判断された場合には、そのまま終了する。これにより、校正データ保持部50には、図32に示されるように所定の校正光に対応した校正データが保持される。尚、図32においては、校正光の波長をλ、λ、λ、・・・・、λとしたものである。このような校正の工程は、この撮像装置を使用する前に行なうものであるため、このような撮像装置を製造販売する者が行ってもよく、製造販売する者より購入して使用する者が行なってもよい。このような校正の工程により、撮像時における画像情報の校正を行なうことができるため、撮像装置の製造時において、入射光制限部20と撮像部10との正確な位置合せを行なう必要がない。
【0039】
次に、被写体撮像の工程について説明する。被写体撮像の工程では、上述した校正の工程において得られた校正データを用いて、被写体の分光画像情報を算出する。最初に、図33に示すように、入射した被写体光を入射光制限部20に入射させて撮像部10において撮像する。この後、校正部40において、撮像部10において撮像された画像データについて、校正データ保持部50に保持されている校正データを用いて校正し、分光画像データを算出する。具体的には、図34に示されるように、ステップ202(S202)において、撮像部10により被写体からの光線による画像を撮像する。具体的には、図35に示されるように、撮像部10は、光電変換画素P00、P01、P02、P03、P10、P11、P12、P13、P20、P21、P22、P23、P30、P31、P32、P33、・・・が2次元的に配列されている。この撮像部10をもちいて撮像がなされる。
【0040】
次に、ステップ204(S204)において、計算に用いる光電変換画素の領域を決定する。即ち、撮像部10において2次元的に配列されている光電変換画素のうち、計算に用いられる光電変換画素の領域を決定する。尚、本実施の形態における説明では、計算に用いられる光電変換画素が9(3×3)画素の場合について説明する。よって、光電変換画素の領域として、1行1列の光電変換画素P11を中心とする3×3の画素、即ち、光電変換画素P00、P01、P02、P10、P11、P12、P20、P21、P22を決定し、これらの光電変換画素において検出された画像データを取得する。
【0041】
次に、ステップ206(S206)において、校正データ保持手段50より光電変換画素P00、P01、P02、P10、P11、P12、P20、P21、P22における校正データを取得し、ステップ208(S208)において、この校正データにおける9×9の逆行列を算出する。ここで、逆行列の算出方法としては、掃きだし法等の一般的な逆行列の算出方法を用いることができる。
【0042】
次に、ステップ210(S210)において、ステップ202において取得した3×3の画像情報(画像データ)にステップ208において算出した逆行列を乗じ、各々の波長における計算結果を求め、ステップ212(S212)において、この計算結果を保存する。
【0043】
次に、ステップ212(S212)において、計算結果の算出が終了したか否かが判断される。具体的には、水平画素数nx、垂直画素数nyとした場合に、撮像部10における1行1列の光電変換画素の領域P11を中心とする領域から、(nx−1)行(ny−1)列の光電変換画素の領域を中心とする領域までの計算結果が算出されているか否かが判断される。計算結果がすべて算出されていないもの判断された場合には、ステップ202に移行し、次の光電変換画素の領域、例えば、光電変換画素の領域P12を中心とする3×3の領域について計算結果の算出が行なわれる。このようにして、順次、所定の光電変換画素の領域を中心とする3×3の領域等の計算結果の算出がなされる。尚、すべての計算結果が算出されているものと判断された場合には終了する。これにより、(nx−2)×(ny−2)個の9組の分光画像情報(分光画像データ)を取得することができる。尚、本実施の形態では、ステップ208において校正データの逆行列を算出する場合について説明したが、校正データを取得した際に逆行列を算出しておき、校正データ保持手段50に保持させておくことにより、被写体撮像の工程において校正データの逆行列の算出が不要となるため、高速で分光画像情報を取得することができる。
【0044】
また、校正データの逆行列の算出を不図示の外部の計算手段を用いて行なうことにより、校正手段40を簡単で単純な構成にすることも可能である。尚、このように事前に校正データの逆行列を算出しておくことにより、行列の固有値が0になる等の数値的に逆行列の算出をすることができない場合には、再度、校正光を照射しなおすことにより逆行列を計算できない部分をなくすことができる。
【0045】
以上のように、本実施の形態における撮像装置及び撮像方法により、複数の波長の分光画像情報を得ることができる。
【0046】
次に、より具体的に、図36に基づき本実施の形態における撮像装置であるデジタルカメラについて説明する。このデジタルカメラは、結像光学系70、入射光制限部20、撮像部10等を有している。入射光制限部20は、図13に示されるように、開口部21と遮光部22とを有しており、具体的には、光を透過するガラス等の基板の表面において、遮光部22にはアルミニウム等の金属膜が形成されているものである。尚、開口部21には金属膜は形成されていないため光は通ることができる。
【0047】
このような入射光制限部20の形成方法は、光を透過するガラス等の基板の表面に、アルミニウム等の金属膜を蒸着等により成膜し、金属膜上にフォトレジストを塗布し、露光装置による露光、現像を行なうことにより、開口部21となる領域に開口を有するレジストパターンを形成する。次に、エッチングによりレジストパターンが形成されていない領域の金属膜を除去し、更に、レジストパターンを除去することにより形成することができる。また、他の形成方法としては、光を透過するガラス等の基板の表面にフォトレジストを塗布し、露光装置による露光、現像を行なうことにより、遮光部22となる領域に開口を有するレジストパターンを形成する。この後、アルミニウム等の金属膜を蒸着等により成膜し、有機溶剤等に浸漬させることにより、レジストパターンの上に成膜された金属膜を有機溶剤とともにリフトオフにより除去することにより、形成することができる。遮光部22を形成する材料としては、光の遮光するものであればよいが、金属等の光を反射する材料よりも光を吸収する材料の方が好ましく、例えば、遮光部22はカーボン等により形成されているものが好ましい。
【0048】
次に、このような入射光制限部20において回折し、干渉した光を撮像部10において撮像する。撮像部10は、CCD(Charge Coupled Device)撮像素子により形成されているものであってもよく、また、CMOS(Complementary Metal Oxide Semiconductor)撮像素子により形成されているものであってもよい。撮像部10はコントロールIC等の制御部110により制御され、撮像部10を適切な撮像時間で撮像し、画像データを取得する。得られた画像データは、バスを介してRAM121に格納される。尚、このデジタルカメラにおいては、バスには汎用のCPU(Central Processing Unit)122、ROM(Read Only Memory)123、F−ROM(flash-Read Only Memory)124、NIC(Network Interface Card)125等が接続されている。CPU122は、制御部110の制御や校正の工程を行なうためのものであり、ROM123は、CPU122において実行されるプログラムが格納されており、F−ROM124には、校正データ等の各種設定情報が保持されており、NIC125は、外部との通信を行なうためのネットワークに接続するためのものである。
【0049】
このデジタルカメラでは、図31に示す工程により校正データを取得し、図34に示す工程により分光画像情報を取得する。図31に示す校正の工程では、図29に示すように、入射光制御部20及び撮像部10を設置した状態において、図28に示すような校正光を照射し、CPU122により制御部110を制御することにより、撮像部10において画像データを取得し、RAM121に保存した後、更に、RAM121に保存されたデータをF−ROM124に保存する。次に、被写体撮像の工程では、被写体光を撮像部10において撮像することにより画像データを取得し、RAM121に一時的に保存した後、F−ROM124に保存されている校正データよりCPU122が逆行列を算出し、RAM121に一時的に保存されている画像データに逆行列を乗じ、校正を行なうことにより得られた計算結果である分光画像情報をRAM121に保存、又は、NIC125に接続されているネットワークを介し外部に出力することができる。
【0050】
上記においては、逆行列をCPU122において算出する場合について説明したが、図37に示されるように、本実施の形態における撮像装置100に外部の情報処理装置140を接続し、前述した場合と同様に、校正の工程において取得した画像情報を外部の情報処理装置140にネットワークを介して送信し、外部の情報処理装置140において逆行列の算出を行ない、算出された逆行列のデータを外部の情報処理装置140よりNIC125を介し入力し、F−ROM124に保存する方法であってもよい。このように、逆行列のデータをF−ROM124に保存しておくことにより、被写体撮像の工程において、校正は取得された画像データに逆行列を乗ずるだけでよいため、短時間に簡単に分光画像情報を得ることができる。
【0051】
また、校正の工程においては、狭い波長帯域の光を入射させて、数1に示す式における各々の比例係数を検出することにより、分光画像情報を得ることについて説明したが、本実施の形態は、入射光制限部20による回折及び干渉によって、撮像部10における各々の光電変換画素における分光感度が異なるという性質を用いているため、特定の波長に依存するものではなく、図38に示すようなブロードなRGBの光により校正してもよく、図39に示すような複数の波長帯域幅の狭い輝線スペクトルとなる光により校正してもよい。
【0052】
即ち、図40に示すように、校正の際に入射光を均一に分布させるため、すりガラスやオパールガラスのような被写体光を拡散透過させる拡散透過板150を本実施の形態における撮像装置の前段に設置し、蛍光灯やネオンランプ、白熱灯、太陽光等の様々な光源で校正することにより、撮影される被写体をこれらの光源の分光画像情報としてとらえることができるので、光源を検出することが可能となる。つまり、従来のカラーカメラや分光撮像装置のように固定された分光分布の光の混合比を検出するのではなく、必要な分光分布の組を決定し、その分光分布の組の混合比を検出することが可能となる。また、本実施の形態では、動く被写体を撮像するために、撮像部10には、2次元の光電変換画素が配列されている場合について説明したが、被写体が静止物である場合には、主走査方向に複数の光電変換画素が配列されているラインセンサを副走査方向に機械的に走査する方法であってもよい。
【0053】
このように、撮像部10の前に入射光制限部20を設置し、入射光制限部20を介した光を撮像し、校正部40において校正することにより、複数の異なる波長分布の光に対応した分光画像情報を得ることができる。尚、波長分布及び波長数は校正方式を変えることにより、任意に設定することができ、入射光制限部20や撮像部10に依存することはない。
【0054】
以上、本発明の実施に係る形態について説明したが、上記内容は、発明の内容を限定するものではない。
【符号の説明】
【0055】
10 撮像部
11 光電変換画素
20 入射光制限部
21 開口部
22 遮光部
30 光学ローパスフィルタ
40 校正部
50 校正データ保持部
60 多波長光源
70 結像光学系
100 撮像装置
110 制御部
121 RAM
122 CPU
123 ROM
124 F−ROM
125 NIC
140 外部の情報処理装置
【先行技術文献】
【特許文献】
【0056】
【特許文献1】特開2003−298913号公報
【特許文献2】特開2008−139062号公報
【特許文献3】特開2003−309747号公報
【特許文献4】特許第3742775号公報
【特許文献5】特開2011−13630号公報

【特許請求の範囲】
【請求項1】
画像を撮像するための複数の光電変換画素を有する撮像部と、
開口部及び遮光部を有する入射光制限部と、
を有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数であって、被写体を撮像する際、前記被写体からの光は前記入射光制限部を介し、前記撮像部に入射するものであることを特徴とする撮像装置。
【請求項2】
校正データに基づき前記画像データを校正することにより得られる複数の波長の異なる分光画像データを算出するための校正部と、
前記校正データが格納された校正データ格納部と、
を有することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記被写体からの光は、前記入射光制限部において、回折及び干渉するものであることを特徴とする請求項1又は2に記載の撮像素子。
【請求項4】
前記撮像部は、前記光電変換画素が2次元的に配列されているものであることを特徴とする請求項1から3のいずれかに記載の撮像装置。
【請求項5】
前記撮像部は、前記光電変換画素が3次元的に配列されているものであることを特徴とする請求項1から3のいずれかに記載の撮像装置。
【請求項6】
画像を撮像するための複数の光電変換画素を有する撮像部と、開口部及び遮光部を有する入射光制限部とを有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数である撮像装置の撮像方法において、
被写体からの光を、前記入射光制限部を介して前記撮像部に入射させて撮像することにより、画像データを取得する工程と、
前記画像データに対し校正データに基づく校正を行なうことにより、異なる波長の複数の分光画像データを算出する工程と、
を有することを特徴とする撮像方法。
【請求項7】
前記校正データは、
複数の波長の光を順次、前記入射光制限部を介して前記撮像部に入射させて撮像し各々の波長における校正データを取得する工程により取得されるものであることを特徴とする請求項6に記載の撮像方法。
【請求項8】
画像を撮像するための複数の光電変換画素を有する撮像部と、開口部及び遮光部を有する入射光制限部とを有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数である撮像装置の撮像方法において、
複数の波長の光を順次、前記入射光制限部を介して前記撮像部に入射させて撮像することにより、各々の波長における校正データを取得する工程と、
前記校正データを保存する工程と、
を有し、
被写体からの光を、前記入射光制限部を介して前記撮像部に入射させて撮像し画像データについて、前記校正データに基づく校正を行なうことにより、異なる波長の複数の分光画像データを算出することができるものであることを特徴とする撮像方法。
【請求項9】
前記校正データは、所定の波長を入射させた場合における各々の光電変換画素における出力と、前記所定の波長における光強度であることを特徴とする請求項6から8のいずれかに記載の撮像方法。
【請求項10】
前記校正データに基づき、前記所定の波長における光強度に対する前記所定の波長を入射させた場合における各々の光電変換画素における出力の係数を算出し、
前記算出された係数の逆行列を算出し、
前記校正は、前記画像データに前記逆行列を乗ずることによりなされるものであることを特徴とする請求項6から9のいずれかに記載の撮像方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図12】
image rotate

【図13】
image rotate

【図20】
image rotate

【図22】
image rotate

【図23】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図11】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図21】
image rotate

【図24】
image rotate

【図35】
image rotate


【公開番号】特開2013−104789(P2013−104789A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−249072(P2011−249072)
【出願日】平成23年11月14日(2011.11.14)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】