説明

撮像装置および電子機器

【課題】擬色および混色の発生を抑えて高画質のカラー画像を取得することが可能な撮像装置を提供する。
【解決手段】撮像装置は、複数の画素を含み、撮像データを取得するイメージセンサと、イメージセンサの受光面上に設けられ、選択的な波長を透過させる可変フィルタと、可変フィルタを駆動して、その透過波長を設定するフィルタ駆動部(波長選択回路およびシステム制御部)とを備える。可変フィルタにおける透過波長を時分割的に切り替えつつ、撮像データを取得することにより、可変フィルタにおける透過波長に対応する画素データを時間的に連続して取得する。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、例えばカラー撮影に好適な撮像装置およびこれを備えた電子機器に関する。
【背景技術】
【0002】
一般に、カラー画像を撮影するイメージングデバイス(撮像装置)では、複数の画素を有するイメージセンサ上に、所定の色配列を有するカラーフィルタを設け、空間分割的に分光された撮像データを用いてカラー画像を合成する。具体的には、イメージセンサ上に、例えばR(赤),G(緑),B(青)のいずれかの色光を選択的に透過させるフィルタを画素毎に配置する。この際のR,G,Bの色配列としては、例えばベイヤー配列が一般的である。
【0003】
一方で、分光法を利用した測定装置では、例えば、光検出素子上に、特定の波長を選択的に透過させる可変フィルタを備えたものが用いられている(例えば、特許文献1〜4)。可変フィルタとしては、例えば電圧駆動によって透過波長を変更可能な、いわゆる液晶リオフィルタが挙げられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−33222号公報
【特許文献2】特開2006−165352号公報
【特許文献3】特開2006−140767号公報
【特許文献4】特開2008−216478号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
カラー撮影用の撮像装置では、一般に、上記カラーフィルタとして、例えばR,G,Bの各顔料を用いて領域を塗り分けたフィルタを用い、各領域においてR,G,Bのいずれかの色光を選択的に透過させる。このため、1つの画素ではR,G,Bのいずれか一色の色光しか検出できず、特にコントラスト差の大きな被写体に対応する画像では、画像演算処理の結果として、いわゆる擬色や混色といった画質劣化が生じ易い。
【0006】
本開示はかかる問題点に鑑みてなされたもので、その目的は、擬色および混色の発生を抑えて高画質のカラー画像を取得することが可能な撮像装置およびこれを備えた電子機器を提供することにある。
【課題を解決するための手段】
【0007】
本開示の撮像装置は、複数の画素を含み、撮像データを出力する撮像素子と、撮像素子の受光面上に設けられ、入射光の選択的な透過波長が可変に構成された可変フィルタと、可変フィルタを駆動して透過波長を時分割的に切り替えるフィルタ駆動部とを備えたものである。
【0008】
本開示の電子機器は、上記本開示の撮像装置を有するものである。
【0009】
本開示の撮像装置では、フィルタ駆動部が可変フィルタを駆動し、その透過波長を時分割で切り替えることにより、撮像素子では、可変フィルタにおける透過波長に対応する色の画像データが時間的に連続して出力される。
【発明の効果】
【0010】
本開示の撮像装置によれば、フィルタ駆動部が可変フィルタを駆動し、その透過波長を時分割で切り替えるようにしたので、撮像素子では、撮像データとして、可変フィルタの透過波長に対応する色の画像データを時間的に連続して出力することができる。このような撮像データに基づいてカラー画像を生成することで、擬色および混色の発生を抑えて高画質のカラー画像を取得することができる。
【図面の簡単な説明】
【0011】
【図1】本開示の一実施の形態に係る撮像装置の概略構成を表す模式図である。
【図2】図1に示した撮像装置の機能ブロック図である。
【図3】イメージセンサにおける画素回路の等価回路図である。
【図4】図1に示した波長選択回路の等価回路図である。
【図5】図1に示した撮像装置の概略構成を表す断面図である。
【図6】可変フィルタを構成するセルユニットの模式図である。
【図7】(A)〜(C)は、セルユニットのレイアウトの一例を表す模式図である。
【図8】図1に示した撮像装置の作用を説明するための概念図である。
【図9】画素回路および波長選択回路の駆動するためのタイミング図である。
【図10】(A)〜(C)は、可変フィルタの時分割駆動例を表す模式図である。
【図11】画像処理動作を表すフローチャートである。
【図12】変形例1に係る画像処理動作を表すフローチャートである。
【図13】変形例2に係る撮像装置の概略構成を表す断面図である。
【図14】変形例3に係る可変フィルタの概略構成を表す断面図である。
【図15】図14に示した可変フィルタにおける各液晶セルの透過波長の組み合わせの一例である。
【図16】変形例4に係る可変フィルタの概略構成を表す断面図である。
【図17】適用例に係る電子機器(カメラ)の機能ブロック図である。
【発明を実施するための形態】
【0012】
以下、本開示を実施するための形態について図面を参照して説明する。尚、説明は以下の順序で行う。
1.実施の形態(イメージセンサ上に設けた可変フィルタの透過波長(R,G,B)を時分割的に切り替える例)
2.変形例1(R,G,B,近赤外線の時分割駆動,画像処理の他の例)
3.変形例2(イメージセンサの他の例)
4.変形例3(可変フィルタ(液晶リオフィルタ)の他の例)
5.変形例4(可変フィルタに圧電ファブリペロー干渉フィルタを用いた例)
6.適用例(電子機器の例)
【0013】
<実施の形態>
[構成]
図1は、本開示の一実施の形態に係る撮像装置(撮像装置1)の全体構成を表すものである。撮像装置1は、カラー画像(静止画または動画)の撮影に適した撮像装置であり、イメージセンサ10(撮像素子)の受光面上に、可変フィルタ20が設けられたものである。可変フィルタ20は、配線10aを介してイメージセンサ10に形成された電子回路(後述の波長選択回路21)に接続されている。
【0014】
(機能ブロック構成,回路構成)
図2は、撮像装置1の機能ブロック構成を表したものである。撮像装置1において、イメージセンサ10は、基板11上に画素アレイ部12を有し、この画素アレイ部12の周囲に、画素アレイ部12を駆動するための回路部(例えば行走査部13、水平選択部14、列走査部15およびシステム制御部16)が配設されている。可変フィルタ20は、イメージセンサ10上に画素アレイ部12に対向するように設けられており、基板10上に形成された波長選択回路21に接続されている。撮像装置1はまた、基板11上に、画像処理部22を備えている。
【0015】
イメージセンサ10は、例えばCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子からなる。画素アレイ部12は、撮像装置1における撮像エリアとなるものである。この画素アレイ部12では、入射光の光量に応じた電荷量の光電荷を発生して内部に蓄積する光電変換素子(後述のフォトダイオード111A)を含む画素P(以下、単に「画素」と記述する場合もある)が行列状に2次元配置されている。画素Pには、画素駆動線17として例えば3本の配線(具体的には、後述の行選択線171,リセット制御線172および転送線173)が接続されている。画素駆動線17は、信号読み出しのための駆動信号を伝送するものである。但し、図1では、簡便化のため、この画素駆動線17を1本の配線として示している。画素Pには更に、読み出した信号を伝送するための垂直信号線18が接続されている。この画素アレイ部12の構成については後述する。
【0016】
行走査部13は、シフトレジスタやアドレスデコーダ等によって構成され、画素アレイ部12の各画素Pを、例えば行単位で駆動する画素駆動部である。行走査部13によって選択走査された画素行の各単位画素から出力される信号は、垂直信号線18の各々を通して水平選択部14に供給される。水平選択部14は、垂直信号線18ごとに設けられたアンプや水平選択スイッチ等によって構成されている。
【0017】
列走査部15は、シフトレジスタやアドレスデコーダ等によって構成され、水平選択部14の各水平選択スイッチを走査しつつ順番に駆動する。この列走査部15による選択走査により、垂直信号線18の各々を通して伝送される各画素の信号が順番に水平信号線19に出力され、当該水平信号線19を通して基板11の外部へ伝送される。
【0018】
可変フィルタ20は、特定の波長(例えば0.3μm〜2.5μmの範囲のうちのいずれかの波長または波長帯域)にある光を選択的に透過させる、いわゆるバンドパスフィルタ(band pass filter)としての機能を有するものである。この可変フィルタ20の透過波長は、電気的または機械的な制御により切り替え可能となっている。本実施の形態では、撮像装置1がカラー撮影用のイメージングデバイスとして用いられるため、この可変フィルタ20が、R,G,Bの3原色の色光をそれぞれ切り替えて透過させるカラーフィルタとして機能する。この可変フィルタ20の具体的な構成については後述する。
【0019】
波長選択回路21は、上記のような可変フィルタ20における透過波長を設定(選択)するための電子回路である。この波長選択回路21は、例えば、イメージセンサ10に配設されたシステム制御部16によって制御され、上記のような可変フィルタ20の各液晶セルへ信号電圧を印加するためのトランジスタ(後述のトランジスタTr5〜Tr7)を有している。また、詳細は後述するが、可変フィルタ20を、例えば画素領域単位,画素列(行)単位あるいは全画素単位(面単位)で、時分割的に切り替えるようになっている。この波長選択回路21の回路構成については後述する。尚、この波長選択回路21とシステム制御部16とが、本開示におけるフィルタ駆動部の一具体例に相当する。
【0020】
画像処理部22は、イメージセンサ10において取得された撮像データを用いて所定の演算処理を行い、例えばカラーの画像データDoutを出力するものである。この画像処理部22の具体的な画像処理動作については後述する。
【0021】
システム制御部16は、基板11の外部から与えられるクロックや、動作モードを指令するデータなどを受け取り、イメージセンサ10、波長選択回路21および画像処理部22の動作を制御するものであり、例えばマイクロコンピュータ等から構成されている。具体的には、システム制御部16は、各種のタイミング信号を生成するタイミングジェネレータを有し、当該タイミングジェネレータで生成されたタイミング信号を基に行走査部13、水平選択部14、列走査部15および波長選択回路21の駆動制御を行うと共に、水平信号線19から撮像データを画像処理部22へ出力して、画像処理部22を駆動させる。
【0022】
尚、行走査部13、水平選択部14、列走査部15、波長選択回路21およびシステム制御部16からなる回路部分は、基板11上に直に形成されていてもよいし、あるいは外部制御ICに配設されたものであってもよい。また、それらの回路部分は、ケーブル等により接続された他の基板に形成されていてもよい。
【0023】
(画素回路)
図3は、フォトダイオード111Aを含む画素Pの回路構成の一例である。画素Pは、例えば、フォトダイオード111A(光電変換素子)と、4つのトランジスタTr1,Tr2,Tr3,Tr4と、前述の垂直信号線18と、画素駆動線17(行選択線171,リセット制御線172および転送線73)とを含んでいる。各画素Pには、画素駆動線17として、例えば、行選択線171、リセット制御線172および転送線173の3本の駆動配線が同一画素行の各画素について共通に接続されている。これらの行選択線171、リセット制御線172および転送線173の各一端は、行走査部13の各画素行に対応した出力端に、画素行単位で接続されている。
【0024】
トランジスタTr1〜Tr4はいずれも、例えばNチャネル型の電界効果トランジスタであり、例えば微結晶シリコン、結晶シリコンまたは多結晶シリコン等のシリコン系半導体を用いて構成されている。あるいは、酸化インジウムガリウム亜鉛(InGaZnO)または酸化亜鉛(ZnO)等の酸化物半導体が用いられていてもよい。
【0025】
トランジスタTr1は、転送トランジスタであり、ゲートが転送線173に接続されると共に、ソースおよびドレインのうちの一端が、フォトダイオード111Aの一端(例えばカソード)に接続され、他端がFD(フローティングディフュージョン)に接続されている。トランジスタTr1のゲートには、高レベル(例えば、Vddレベル)がアクティブ(以下、「Highアクティブ」と記述する)の転送パルスφTRFが転送線173を介して与えられる。これにより、トランジスタTr1はオン状態となり、フォトダイオード111Aで光電変換された光電荷をFDに転送するようになっている。
【0026】
トランジスタTr2は、リセットトランジスタであり、ゲートがリセット制御線172に接続されると共に、ソースおよびドレインのうちの一端が画素電源Vdd、他端がFDにそれぞれ接続されている。トランジスタTr2のゲートには、HighアクティブのリセットパルスφRSTがリセット制御線172を介して与えられる。これにより、トランジスタTr2はオン状態となり、フォトダイオード111AからFDへの信号電荷の転送に先立って、それまでにFDに蓄積された電荷を画素電源Vddへ捨てることによりFDをリセットするようになっている。
【0027】
トランジスタTr3は、増幅トランジスタであり、ゲートがFDに接続されると共に、ソースおよびドレインのうちの一端が画素電源Vdd、他端がトランジスタTr4にそれぞれ接続されている。このトランジスタTr3は、リセット後のFDの電位をリセット信号(リセットレベル)Vresetとして出力すると共に、信号電荷転送後のFDの電位を光蓄積信号(信号レベル)Vsigとして出力するものである。
【0028】
トランジスタTr4は、選択トランジスタであり、ゲートが行選択線171に接続されると共に、ソースおよびドレインのうちの一端がトランジスタTr3、他端が垂直信号線18にそれぞれ接続されている。トランジスタTr4のゲートには、Highアクティブの選択パルスφSELが行選択線171を介して与えられる。これにより、トランジスタTr4はオン状態となり、画素Pを選択状態としてトランジスタTr3から出力される信号を垂直信号線18に中継するようになっている。尚、このトランジスタTr4は、画素電源VddとトランジスタTr3のドレインとの間に接続してもよい。また、トランジスタTr3とトランジスタTr4とが兼用されていてもよく、即ち3つのトランジスタを有する回路構成としてもよい。
【0029】
フォトダイオード111Aは、一端(例えばアノード)が例えばグランド(GND)に接続されており、受光した光をその光量に応じた電荷量の光電荷に変換(光電変換)するものである。フォトダイオード111Aの他端(例えばカソード)は、トランジスタTr1およびFDを介してトランジスタTr3のゲートと電気的に接続されている。このフォトダイオード111Aは、その感度域(受光波長帯域)が例えば0.3〜20μmの範囲内にあり、このような範囲内にある波長を光電変換可能となっている。このフォトダイオード111Aでは、カソード側に基準電位が印加されることで、入射光の光量(受光量)に応じた電荷量の信号電荷を発生する。本実施の形態では、後述するように、可変フィルタ20において、R(赤:例えば620nm〜750nm),G(緑:例えば495nm〜570nm),B(青:例えば450nm〜495nm)の3波長の光を選択的に透過させ、各色光に対応する画素データからカラー画像を生成する。このため、フォトダイオード111Aでは、R,G,Bの波長を含む可視光線に対応する波長(例えば380nm〜750nm程度)に感度を有していればよく、そのような光電変換材料としては、例えば多結晶シリコン、結晶シリコン、微結晶シリコンまたはアモルファスシリコン等が挙げられる。
【0030】
(波長選択回路21)
図4は、波長選択回路21の回路構成の一例である。波長選択回路21は、可変フィルタ20を構成する液晶セルLCへ信号電圧Voutを印加するためのトランジスタTrを有すると共に、信号電圧Voutを設定するためのオペアンプ28およびデジタルポテンショメータ29からなる電子回路を有している。トランジスタTrのゲートは、システム制御部16からのタイミング制御信号を伝送するための選択線27に接続され、ソースおよびドレインのうちの一方がオペアンプ28の出力端子、他方が液晶セルLCの電極(後述の電極23a1,23b1,23c1)に接続されている。尚、後述するように本実施の形態では、可変フィルタ20が、3つの液晶セル20A〜20Cを有しており、これらの液晶セル20A〜20Cのそれぞれに個別に印加する信号電圧φ1,φ2,φ3の組み合わせに応じて、透過波長を時分割的に設定する(切り替える)ようになっている。このため、上記回路が液晶セル20A〜20C毎に(あるいは後述するセルユニットU毎に)それぞれ設けられており、対応するトランジスタTr5〜Tr7によって選択的なタイミングで信号電圧φ1,φ2,φ3が印加されるようになっている。尚、図4において、液晶セルLCは、液晶セル20A〜20Cのいずれか、トランジスタTrはトランジスタTr5〜Tr7のいずれか、信号電圧Voutは信号電圧φ1,φ2,φ3のいずれかにそれぞれ相当している。
【0031】
尚、この例では、デジタルポテンショメータ29を用いたデジタル信号制御により任意の信号電圧Voutを設定可能となっている。このような構成の場合、信号電圧Voutを調整して製造時の特性ばらつきに対応した補正を行うことができる。あるいは、撮影時の透過波長を、例えばR,G,B以外の波長(赤外線や紫外線)に切り替える等、任意の波長に設定することが可能となる。また、この例では、デジタルポテンショメータ29の出力を、オペアンプ28によって電圧調整し、これを信号電圧Voutとしている。但し、これらのオペアンプ28およびデジタルポテンショメータ29は、必要に応じて設ければよい。例えば、可変フィルタ20の透過波長を固定値とし、用途も限定されている場合には、信号電圧Voutは固定値であればよいので、この場合には、上記のようなデジタルポテンショメータ29を設けない回路構成としてもよい。また、信号電圧φ1,φ2,φ3として、システム制御部16より供給される電圧よりも高電圧が必要となる場合には、別途高圧電源を設けるか、あるいは外部から供給するようにしてもよい。もしくは、オペアンプ28の電源VDD2としてチャージポンプ回路からの出力等を用いて増幅効果を高めるようにしてもよい。
【0032】
(断面構成)
図5は、撮像装置1の断面構造の一部(画素アレイ部12とその周辺部との境界付近)について模式的に表したものである。イメージセンサ10は、例えば、基板11上において、配線層112よりも上層に、光電変換層114を含む素子層113を有する、いわゆる裏面照射型のCMOS(Complementary Metal Oxide Semiconductor)である。この構造では、例えば、素子層113に、光電変換層114と共に上述した画素駆動用のトランジスタTr1〜Tr4と、波長選択回路21の一部を構成するトランジスタTr5〜Tr7が形成されている。光電変換層114の直上には、集光用のオンチップレンズ(OCL:On Chip Lens)が設けられている。画素アレイ部12では、画素P毎に、光電変換層114およびオンチップレンズ115を含むフォトダイオード111Aと共に、上述したような4つのトラジスタTr1〜Tr4とが設けられている。このイメージセンサ10の受光面側には、可変フィルタ20が積層されている。
【0033】
可変フィルタ20は、例えばいわゆる液晶リオフィルタにより構成されている。液晶リオフィルタは、後述するような液晶セルと偏光板との組み合わせによって、最大で透過率をほぼ100%、半値幅(FWHM:full width at half maximum)が100nm程度を実現でき、カラーフィルタとして十分な性能を備えている。尚、この液晶リオフィルタでは、後述のように複数の液晶セルを電圧駆動して透過波長を設定するため、液晶の応答速度が画質に影響を与え易い。このため、液晶セルとしては、応答速度が5ms程度以下のものを用いることが好ましい。5ms以下であれば、実用的な動画撮影における60フレーム/秒に対して、十分に追従することができ、応答遅れによる画質劣化を抑制することができる。このような液晶リオフィルタは、例えば、それぞれを個別に電気的に駆動することが可能な複数の液晶セルと、複数の偏光板とを交互に積層したものである。可変フィルタ20では、そのような複数の液晶セルに印加される各駆動電圧の組み合わせに応じて、可変フィルタ20全体の透過波長が変化するようになっている。
【0034】
このような可変フィルタ20は、イメージセンサ10に形成された電子回路(波長選択回路21)に異方性導電膜210および接続用バンプ211を介して接続されている。尚、これらの異方性導電膜210および接続用バンプ211が、図1における配線10aの一具体例に相当する。この可変フィルタ20は、上述したように、例えば液晶リオフィルタからなり、複数(ここでは3つ)の液晶セル20A,20B,20Cと、偏光板22a,22b,22c,22dとを交互に積層したものである。このような可変フィルタ20において、偏光板22a〜22dは、例えば各吸収軸が互いに一致するように配置されている。但し、いわゆる修正型リオフィルタのように、光出射側(イメージセンサ10側)の偏光板22dの吸収軸を、他の偏光板22a〜22cの吸収軸と直交させて配置してもよい(クロスニコル配置としてもよい)。
【0035】
液晶セル20A〜20Cは、液晶の持つECB(Electrically Controlled Birefringence:電気制御複屈折)により、選択的な波長を透過させるものである。換言すると、複数の液晶セル20A〜20Cの各透過波長の組み合わせに応じて、可変フィルタ20全体として特定波長のみが透過するようになっている。可変フィルタ20の透過波長は、構成される液晶セルの段数(積層数)やそれらに印加される駆動電圧の組み合わせによって、様々な帯域を取り得ると共に、その透過スペクトルをシャープなものしたり(透過波長の帯域を狭めたり)、逆に透過スペクトルをなだらかにしたり(透過波長の帯域を広範囲に拡げたり)することが可能である。
【0036】
これらの液晶セル20A〜20Cはそれぞれ、一対の透明基板26a,26b間に、液晶層24が封止されたものである。液晶セル20Aは、透明基板26a,26bの液晶層24側の面に、ITO(インジウム錫酸化物)等の透明導電膜からなる電極23a1,23a2を有しており、これらの電極23a1,23a2を通じて、液晶層24へ所定の電圧が印加されるようになっている。電極23a1,23a2のうち一方の電極23a1は、異方性導電膜210および接続用バンプ211を介してトランジスタTr5に接続され、他方の電極23a2は例えばグランドに接続されている。これにより、トランジスタTr5を介して、液晶セル20Aには所定の駆動電圧φ1が印加される。同様に、液晶セル20Bにおいても、透明基板26a,26bの液晶層24側の面に、液晶層24への電圧印加のための電極23b1,23b2が設けられ、これらのうち一方の電極23b1は、異方性導電膜210および接続用バンプ211を介してトランジスタTr6に接続され、他方の電極23b2は例えばグランドに接続されている。これにより、液晶セル20Bには所定の駆動電圧φ2が印加される。同様に、液晶セル20Cにおいても、透明基板26a,26bの液晶層24側の面に、液晶層24への電圧印加のための電極23c1,23c2が設けられ、これらのうち一方の電極23c1は、異方性導電膜210および接続用バンプ211を介してトランジスタTr7に接続され、他方の電極23a2は例えばグランドに接続されている。これにより、液晶セル20Cには所定の駆動電圧φ3が印加される。
【0037】
尚、液晶セル20A〜20Cでは、各基板26a,26bが、画素アレイ部12の周辺領域まで延在しており、その周辺領域に、液晶セル20A〜20Cの個数分(ここでは3箇所)のスルーホールビアが厚み方向に貫通するように形成されている。本実施の形態では、これらのスルーホールビアと、異方性導電膜210および接続用バンプ211とを用いて、液晶セル20A〜20Cの一方の電極23a1,23b1,23c1のそれぞれと、対応するトランジスタTr5〜Tr7のいずれかとの電気的接続が確保されている。また、液晶セル20A〜20Cの他方の電極23a2,23b2,23c2についてはいずれも共通のグランド電位に保持されることから、各液晶セルに共通のスルーホールビアと異方性導電膜210および接続用バンプ211とを用いて、イメージセンサ10に配設されたGND線に接続されている。但し、各液晶セル20A〜20Cと、イメージセンサ10に配設された電子回路との電気的接続手法は、上述したものに限定されず、他のスルーホールビアを用いた手法やボンディング等の様々な手法を用いることができる。
【0038】
上記構成により、可変フィルタ20では、各液晶セル20A〜20Cに印加する駆動電圧φ1〜φ3の組み合わせによって、透過波長を設定(切り替え)可能となっている。本実施の形態の撮像装置1では、この可変フィルタ20における透過波長を、R,G,Bの各波長に時分割的に(あるいは、時分割的かつ空間分割的に)切り替えつつ、イメージセンサ10において受光がなされるようになっている。
【0039】
この可変フィルタ20では、上記のように個別に電気的制御が可能な液晶セルを複数積層した構造を有するが、このような積層セル構造では、全画素に共通して1つの透過波長が設定されるように構成されていてもよいし、それぞれにおいて個別に透過波長を設定できるように複数のサブフィルタを有していてもよい。具体的には、可変フィルタ20は、図6に示したような、液晶セル20A〜20Cと偏光板22a〜22dからなるセルユニット(サブフィルタ)Uを1または複数含んで構成されている。換言すると、可変フィルタ20は、1つのセルユニットUからなるか、または個別に電圧印加が可能な複数のセルユニットUを有している。可変フィルタ20が複数のセルユニットUを有する場合には、少なくとも電極23a1,23b1,23c1が複数(以下に例示するように画素行(列)毎または画素毎に)に分割されていればよい。他の電極23a2,23b2,23c2、基板26a,26b、液晶層24および偏光板22a〜22dについては、全画素Pに共通して設けられていてもよいし、分割されていてもよい。この場合、可変フィルタ20の積層構造のうち、分割された各電極に対応する領域が、上記セルユニットUに相当する。
【0040】
例えば、図7(A)に示したように、1つのセルユニットU(この場合、可変フィルタ20に同じ)が、画素アレイ部12の全面(全画素P)にわたって設けられたものであってもよい。この場合には、撮像フレーム毎に(時分割的に)、透過波長を面一括で切り替えることができる。これにより、比較的簡単な演算処理によりフルカラー画像を生成可能である。但し、この面一括制御の場合には、転送レートが高速であることが望ましい。この場合、例えば、34.8Gbpsの高転送レートを実現する技術(ISSCC2011:23.11“a 17.7Mpixel 120fps CMOS Image Sensor with 34.8Gb/s Readout”,T.Toyama et al.,Sony Corp. and Sony LSI Corp.)等を用いることができる。
【0041】
あるいは、図7(B)に示したように、画素アレイ部12の画素列(あるいは画素行)にそれぞれ対向するセルユニットUを有していてもよい。この場合、透過波長を時分割的に切り替えると共に、1フレーム内においても画素列毎に(空間分割的に)透過波長を切り替えることが可能となる。このような制御では、上記のような面一括制御の場合に比べ、高い転送レートが不要であり、また、隣接画素同士の演算処理によって容易にカラー画像を生成することができる。
【0042】
更には、図7(C)に示したように、画素アレイ部12の各画素Pに対向するセルユニットUを有していてもよい。この場合には、透過波長を時分割的に切り替えると共に、1フレーム内においても画素P毎に(空間分割的に)透過波長を切り替えることができる。これにより、上記図7(B)に示した例と同様、転送レートが比較的低くて済むと共にカラー画像を生成し易い、という利点がある。また、選択的な領域のみを特定の波長で撮影する、といった使い方も可能である。これにより、特定の対象物のみの情報を取得したり、あるいは反射成分等の特定の成分を取り除くことでコントラストを向上させることが可能となる。
【0043】
[作用・効果]
本実施の形態の作用、効果について、図2〜図11を参照して説明する。図8は、本実施の形態の可変フィルタ20およびイメージセンサ10による撮像データ取得動作を説明するための概念図である。
【0044】
撮像装置1では、システム制御部16が、イメージセンサ10の行走査部13、水平選択部14および列走査部15を駆動することにより、画素アレイ部12では、各画素P(フォトダイオード111A)において露光を行い、光電変換によって受光量に応じた電荷量の電気信号を得る。得られた電気信号は、線順次で垂直信号線18へ読み出された後、水平信号線19を経て、撮像データとして画像処理部22へ出力される。画像処理部22は、入力された撮像データに基づいて、所定の画像演算処理を行い、カラー画像に対応する画像データDoutを出力する。
【0045】
本実施の形態では、上記のようなイメージセンサ10における撮像動作の際に、システム制御部16が、波長選択回路21を駆動し、可変フィルタ20における透過波長を設定する。これにより、被写体側から可変フィルタ20へ入射した波長のうち特定の波長のみが可変フィルタ20を透過して、イメージセンサ10の画素アレイ部12へ入射する。
【0046】
(可変フィルタ20の透過波長の設定)
ここで、可変フィルタ20における透過波長の設定は次のようにして行う。即ち、図8に示したように、システム制御部16は、波長選択回路21を用いて可変フィルタ20を構成する液晶セル20A〜20Cのそれぞれに対し、互いに異なる電圧を印加する。例えば、液晶セル20Aには駆動電圧φ1、液晶セル20Bには駆動電圧φ2、液晶セル20Cには駆動電圧φ3をそれぞれ供給する。このときの駆動電圧φ1〜φ3の組み合わせ(液晶セル20A〜20Cの各透過波長の組み合わせ)により、可変フィルタ20全体として特定の波長のみが透過され、イメージセンサ10側へ出射される。即ち、被写体の画像は、可変フィルタ20によって選択された特定の波長についての撮像データとして取得される。具体的には、図8に示したように、駆動電圧φ1〜φ3の組み合わせに応じて、可変フィルタ20が赤色光Lrを選択的に透過させることにより、各画素Pでは、R単色のデータ(画素データDr)を得る。あるいは、緑色光Lgを選択的に透過させることにより、G単色のデータ(画素データDg)を得る。あるいは、青色光Lbを選択的に透過させることにより、B単色のデータ(画素データDb)を得る。
【0047】
図9(A)〜(E)は、システム制御部16による画素回路および波長選択回路の駆動タイミングの一例を表したものである。これらのうち、図9(A)は、トランジスタTr2(リセットトランジスタ)のリセットパルスφRSTを表すものであり、R1,R2,…,は、画素行(または画素列)毎に設けられた各リセット制御線172におけるパルス波形を示している。図9(B)は、トランジスタTr1(転送トランジスタ)の転送パルスφTRFを表すものであり、T1,T2,…,は、画素行毎に設けられた各転送線173におけるパルス波形を示している。図9(C)は、トランジスタTr4(選択トランジスタ)の選択パルスφSELを表すものであり、S1,S2,…,は、画素行毎に設けられた各行選択線171におけるパルス波形を示している。一方、図9(D)は、可変フィルタ20における各液晶セル20A〜20Cへの駆動電圧φ1〜φ3を表すものである。
【0048】
上記のように、システム制御部16は、イメージセンサ10における行走査部13、水平選択部14および列走査部15と、波長選択回路21とをそれぞれ同期させて駆動することにより、図9(E)に示したように、駆動電圧φ1〜φ3の組み合わせに対応する単色のデータとしての信号電荷sig1y,sig2y,…が、垂直信号線18毎に取得される。
【0049】
(透過波長(R,G,B)の時分割切り替え動作)
但し、本実施の形態では、可変フィルタ20における透過波長を時分割的に切り替えつつ、イメージセンサ10において受光を行い、撮像データを取得する。具体的には、図10(A)〜(C)に模式的に示したように、R,G,Bの各色光が時分割的に切り替わって透過されるように可変フィルタ20を駆動し、イメージセンサ10では、各画素PにおいてR,G,Bの単色のデータ(画素データ)を時間的に連続して取得する。
【0050】
この際、可変フィルタ20における透過波長の切り替えは、上述の図7(A)〜(C)に示したような1または複数のセルユニットUのそれぞれにおいて個別に行う。例えば、図7(A)の例のように、画素アレイ部12の全面(全画素P)にわたって1つのセルユニットUが設けられている場合には、透過波長を全画素一括(面一括)で時分割的に切り替える。具体的には、図10(A)に示したように、あるタイミングt1においてR光を選択的に透過させてR単色の画素データを取得し、タイミングt1に続くタイミングt2では、G光を選択的に透過させてG単色の画素データを取得し、タイミングt2に続くタイミングt3では、B光を選択的に透過させてB単色の画素データを取得する。
【0051】
あるいは、図7(B)の例のように、可変フィルタ20が画素アレイ部12の画素列(あるいは画素行)にそれぞれ対向するセルユニットU(U1,U2,U3,…)を有している場合には、上記のような時分割制御に加え、透過波長をそのセルユニットU1,U2,U3,…毎に繰り返し異なるように空間分割的に制御してもよい。具体的には、図10(B)に示したように、あるタイミングt1では、セルユニットU1においてR光、セルユニットU2においてG光、セルユニットU3においてB光をそれぞれ透過させる。そして、このタイミングt1に続くタイミングt2では、セルユニットU1においてG光、セルユニットU2においてB光、セルユニットU3においてR光をそれぞれ透過させるように切り替え、更にタイミングt2に続くタイミングt3では、セルユニットU1においてB光、セルユニットU2においてR光、セルユニットU3においてG光をそれぞれ透過させるように切り替える。
【0052】
あるいは、図7(C)の例のように、可変フィルタ20が画素アレイ部12の各画素Pにそれぞれ対向するセルユニットU(U1,U2,U3,U4,…)を有している場合には、上記のような時分割制御に加え、透過波長をそのセルユニットU1,U2,U3,U4,…毎に繰り返し異なるように空間分割的に制御してもよい。具体的には、図10(C)に示したように、あるタイミングt1では、セルユニットU1においてR光、セルユニットU2においてG光、セルユニットU3においてG光、セルユニットU4においてB光をそれぞれ透過させる。そして、このタイミングt1に続くタイミングt2では、セルユニットU1においてG光、セルユニットU2においてB光、セルユニットU3においてB光、セルユニットU4においてR光をそれぞれ透過させるように切り替える。更に、タイミングt2に続くタイミングt3では、セルユニットU1においてB光、セルユニットU2においてR光、セルユニットU3においてR光、セルユニットU4においてG光をそれぞれ透過させるように切り替える。
【0053】
尚、上記図10(B),(C)のように、空間分割的にも透過波長を切り替え制御する場合には、セルユニットU毎に、駆動電圧φ1〜φ3の組み合わせを変化させて、各セルユニットUを個別に電圧駆動するようにすればよい。
【0054】
上記のような可変フィルタ20の透過波長の時分割切り替え制御により、イメージセンサ10では、各画素Pにおいて、R,G,Bの各単色のデータ(画素データDr,Dg,Db)が時系列に沿って連続的に取得される。このようにして取得されたR,G,Bの時系列データを含む撮像データD0は、上述のように画像処理部22に出力される。
【0055】
(画像処理動作)
図11は、画像処理部22における画像演算処理動作の一例を表すフローチャートである。撮像データD0では、上述のように、時間的に連続して取得されたR,G,Bの各色の画素データを含んでいる。画像処理部22では、このような撮像データD0を用いた演算処理によって、3原色のカラー画像を生成する。
【0056】
具体的には、まず、画像処理部22は、システム制御部16の制御に基づいて、撮像データD0として、連続するタイミングt1〜t3(上記図7(A)におけるタイミングt1〜t3に相当)において得られたR,G,B単色の画素データDr(t1),Dg(t2),Db(t3)を取得する(ステップS1)。
【0057】
次いで、画像処理部22は、取得した画素データDr(t1),Dg(t2),Db(t3)を用いて、時間的に連続する撮像フレーム間における微小な被写体の位置ずれをサブピクセルの精度で推定(レジストレーション)し、タイミングt1におけるR,G,Bの3色の画素データを生成する(ステップS2)。これは、各タイミングt1〜t3間の間隔Δtが十分に短いものと仮定して、時間的に連続するフレーム間の画素データを用いて画素間の隙間を埋め込む(補間する)処理である。特に、動画撮影の場合は、各タイミング間隔は例えば数十ms程度と十分に短いことから、受光量変化を被写体の平行移動のみによるものと仮定することができる。レジストレーション技法としては、例えば以下に説明するようなオプティカルフロー法などを用いることができる。
【0058】
オプティカルフロー法は、ある微小期間における被写体の移動量を求め、この移動量に基づいて、画像を補間生成するものである。ここで、2次元平面において互いに直交するx,y方向において、x方向に沿った移動量をu、y方向に沿った移動量をvとすると、各移動量u,vは、以下の式(1)に示した誤差関数E(u,v)を最小化することにより求めることができる。尚、式(1)において、I1は、あるタイミングtにおいて観測された画像を表し、I2は、タイミングtからΔtだけ経過したタイミングにおいて観測された画像を表している。移動量u,vがいずれも非常に小さい場合には、I2はテイラー級数展開により、以下の式(2)のように近似することができる。これにより、誤差関数E(u,v)は、以下の式(3)のように表される。そして、この式(3)をu,vのそれぞれについて偏微分し、その偏微分が0となるu,vを求めると、以下の式(4)のように表される。尚、式(4)において、Aは式(5)、bは式(6)によってそれぞれ表されるものである。
【0059】
【数1】

【0060】
ステップS2のレジストレーションの際には、画像処理部22は、まず、上記オプティカルフロー法を用いて、Rの画素データDr(t1)を取得したタイミングt1と、Gの画素データDg(t2)を取得したタイミングt2との間の移動量(u12,v12)を算出する(ステップS21)。このようにして算出された移動量(u12,v12)を考慮して、タイミングt1におけるGの画素データDrg(t1)を推定する(ステップS22)。またこの一方で、画像処理部22は、上記オプティカルフロー法を用いて、Rの画素データDr(t1)を取得したタイミングt1と、Bの画素データDb(t3)を取得したタイミングt3との間の移動量(u13,v13)を算出する(ステップS23)。このようにして算出された移動量(u13,v13)を考慮して、タイミングt1におけるBの画素データDrb(t1)を推定する(ステップS24)。
【0061】
続いて、画像処理部22は、上記のような推定演算処理によって求めたタイミングt1におけるG,Bの画素データDrg(t1),Drb(t1)と、タイミングt1において取得されたRの画素データDr(t1)とを足し合わせることにより、タイミングt1におけるカラー(3原色)の画素データ(1ピクセルのデータ)Drgb(t1)を生成する。そして、このような演算処理を、全画素Pについて行い、これらを加算する。これにより、タイミングt1で撮影され、画素アレイ部12の画素数Nに対応する解像度を有するカラー画像Irgb(t1)を生成する。あるいは、次のような手順でカラー画像Irgb(t1)を生成してもよい。即ち、タイミングt1の画素データDr(t1),Drg(t1),Drb(t1)を全画素Pにおいて上記レジストレーションによって求め、それらを色毎に合成することにより、Rの画像Ir(t1),Gの画像Ig(t1),Bの画像Ib(t1)をそれぞれ生成する。そして、これらの各色の画像Ir(t1),Ig(t1),Ib(t1)を足し合わせて、カラー画像Irgb(t1)を生成するようにしてもよい。
【0062】
そして、タイミングt4以降についてもR→G→Bの順に繰り返し画素データを時間的に連続して取得し、各タイミングt2,t3,…を基準にして同様の演算処理を行うことで、タイミングt2以降においても、カラー画像Irgb(t2),Irgb(t3),…を生成することができる。例えば、タイミングt2におけるカラーの画素データDrgb(t2)は、次のようにして求める。即ち、Gの画素データDg(t2)を取得したタイミングt2と、Bの画素データDb(t3)を取得したタイミングt3との間の移動量(u23,v23)を算出し、この移動量(u23,v23)を考慮して、タイミングt2におけるBの画素データDgb(t2)を推定する。一方、Gの画素データDg(t2)を取得したタイミングt2と、Rの画素データDr(t4)を取得したタイミングt4との間の移動量(u24,v24)を算出し、この移動量(u24,v24)を考慮して、タイミングt2におけるRの画素データDgr(t2)を推定する。このようにしてタイミングt2におけるB,Rの画素データDgb(t2),Dgr(t2)を生成する。
【0063】
尚、上記演算処理では、画素Pから得られた画素データ毎にレジストレーションおよびRGB足し合わせを行い、最後に合成してカラー画像を生成したが、画素単位に限らず、2以上の画素からなるブロック領域単位、画素列単位、画素行単位、全画素(面,フレーム)単位で、それぞれ上記のようなレジストレーションを行い、カラーの画像データを生成してもよい。即ち、R,G,Bの時系列データを用いて各タイミングのカラー画像を生成するものであれば、後述する効果(偽色や混色の発生を抑制する)を得ることができる。
【0064】
また、特に静止画撮影の場合等、被写体の移動量が極めて小さい(例えば50ms程度の間に映像がぶれない)ものであれば、以下のようにしてカラー画像を生成することもできる。即ち、タイミングt1〜t3の時間間隔が十分に短いと仮定した場合、ある画素Pでは、タイミングt1のRの出力をζ1、タイミングt2のGの出力をζ2、タイミングt3のBの出力をζ3、人間の目が感じるR,G,Bの各スペクトルをR(λ),G(λ),B(λ)とすると、画素Pのタイミングt(=Σti/3(i=1,2,3))の入射光スペクトルA(λ)は、以下の式(7)のように表される。この関係に基づいて、タイミングt1〜t3におけるカラー画像を生成してもよい。
【0065】
【数2】

【0066】
このように、本実施の形態では、静止画撮影および動画撮影のいずれの場合においても、連続的にカラー画像を生成することができる。尚、画像処理部22は、上述した演算処理の他にも、例えばデモザイク処理等のカラー補間処理を併用してもよく、また、ホワイトバランス調整処理やガンマ補正処理等を別途行うようにしてもよい。
【0067】
以上のように、本実施の形態の撮像装置1では、可変フィルタ20において、その透過波長(例えばR,G,B)を時分割で切り替えつつ、イメージセンサ10において撮像を行う。これにより、撮像データD0として、可変フィルタ20の透過波長に対応するR,G,Bの単色の画素データを時間的に連続して取得することができる。
【0068】
ここで、カラー撮影を行う一般的な撮像装置では、イメージセンサの受光面にR,G,Bのいずれかの色を透過させるカラーフィルタ(R,G,Bの各透過領域が空間分割的に配置されたフィルタ)が設けられている。このような構成では、イメージセンサの各画素においてR,G,Bのいずれか1色の画素データしか得られないため、カラー補間処理を行って、イメージセンサの画素数分のR,G,Bの画素データを生成する必要がある。このような撮像装置では、特にコントラスト差の大きなカラー画像を生成する際に、いわゆる偽色や混色が生じ易く、表示品質を低下させてしまう。
【0069】
これに対し、本実施の形態では、上記のように、可変フィルタ20を用いてR,G,Bの各画素データを時間的に連続して取得し、これらのR,G,Bの画素データに基づいて所定の画像処理を行うことにより各撮影タイミングにおけるカラー画像を生成する。時分割駆動によるR,G,Bの画像取得タイミングは極めて短い期間になされることから、時間的に連続して取得されたR,G,Bの各画像は、擬似的に同時刻に取得されたものに等しい。このため、それらのR,G,Bの各画像を加算し、平均化する演算処理を行った場合であっても、擬色や混色が生じにくい。よって、擬色および混色の発生を抑えて高画質のカラー画像を取得することが可能となる。
【0070】
以下、上記実施の形態の変形例(変形例1〜4)について説明する。尚、上記実施の形態の撮像装置1と同様の構成要素については同一の符号を付し適宜説明を省略する。
【0071】
<変形例1>
上記実施の形態では、画像処理部22が、R,G,Bの時系列データを用いてカラー画像を生成する演算処理を行う場合について説明したが、カラー画像を生成する際に、R,G,Bに加え、更に他の波長、例えば近赤外線(IR)等のデータを用いるようにしてもよい。
【0072】
但し、本変形例では、イメージセンサ10の各画素Pに配置されるフォトダイオード111Aに、R,G,Bの各波長に加え、近赤外線(例えば0.7μm〜2.5μm)、中赤外線(例えば2.5μm〜4μm)あるいは遠赤外線(例えば4μm〜20μm)についても良好な感度を有する光電変換材料が用いられることが望ましい。このような光電変換材料としては、例えばPbTe,SnTe,PbSe,SnSe,およびそれらの混晶であるPbSnTe,PbSnSeTe,PbEuTeなどの化合物半導体が挙げられる。これらの化合物半導体では、バンドギャップが極めて狭い(0.3eV以下)ことから、遠赤外線およびそれよりも短い波長(20μm以下の波長)の光吸収率が良好である。従って、材料の吸収係数の波長依存性によって、紫外域から赤外域までの範囲内の任意の波長に対して光電変換可能となる。尚、本変形例における光電変換材料としては、このような化合物半導体に限らず、光電変換材料として機能する有機半導体が用いられていてもよい。尚、このような赤外域まで感度を有する化合物半導体や有機半導体は、上記実施の形態のようにR,G,Bのデータのみを用いてカラー画像を生成する場合にも、勿論使用可能である。
【0073】
一方、可変フィルタ20については、上記実施の形態と同様のものを用いることができ、例えば上記実施の形態のように液晶セル20A〜20Cを積層させてなるリオフィルタが用いられる。本変形例では、各液晶セル20A〜20Cへの駆動電圧φ1〜φ3の組み合わせを適切に設定することにより、あるタイミングにおいて近赤外線を選択的に透過させるように可変フィルタ20を駆動することができる。
【0074】
本変形例では、可変フィルタ20を用いて、R,G,B,IRの4波長を時分割的に切り替えて透過させつつ、イメージセンサ10の各画素Pにおいて、上記のような赤外域に感度を有するフォトダイオード111Aを用いて撮像を行う。これにより、各画素Pでは、R,G,B,IRの各画素データDr,Dg,Db,Diが時系列に沿って連続的に取得される。このようにして取得されたR,G,B,IRの時系列データを含む撮像データD0は、画像処理部22に出力される。
【0075】
図12は、変形例1に係る画像演算処理のフローチャート図である。本変形例において、画像処理部22は、次のようにしてカラー画像を生成する。即ち、まず、画像処理部22は、システム制御部16の制御に基づいて、撮像データD0として、連続するタイミングt1〜t4において得られたR,G,B,IRの各画素データDr(t1),Dg(t2),Db(t3),Di(t4)を取得する(ステップS4)。
【0076】
次いで、画像処理部22は、取得した画素データDr(t1),Dg(t2),Db(t3),Di(t4)を用いて、例えば上述のようなオプティカルフロー法によりレジストレーションを行い、タイミングt1におけるR,G,Bの3色の画素データを生成する(ステップS5)。具体的には、上記実施の形態と同様にして、Rの画素データDr(t1)を取得したタイミングt1と、Gの画素データDg(t2)を取得したタイミングt2との間の移動量(u12,v12)を算出する(ステップS51)。このようにして算出された移動量(u12,v12)を考慮して、タイミングt1におけるGの画素データDrg(t1)を推定する(ステップS52)。また、Rの画素データDr(t1)を取得したタイミングt1と、Bの画素データDb(t3)を取得したタイミングt3との間の移動量(u13,v13)を算出する(ステップS53)。このようにして算出された移動量(u13,v13)を考慮して、タイミングt1におけるBの画素データDrb(t1)を推定する(ステップS54)。そして、本変形例では更に、Rの画素データDr(t1)を取得したタイミングt1と、IRの画素データDi(t4)を取得したタイミングt4との間の移動量(u14,v14)を算出する(ステップS55)。このようにして算出された移動量(u14,v14)を考慮して、タイミングt1におけるIRの画素データDri(t1)を推定する(ステップS56)。
【0077】
続いて、画像処理部22は、上記のような推定演算処理によって求めたタイミングt1におけるG,B,IRの画素データDrg(t1),Drb(t1),Dri(t1)と、タイミングt1において取得されたRの画素データDr(t1)とを足し合わせることにより、タイミングt1におけるカラー(3原色)の画素データ(1ピクセルのデータ)Drgb(t1)を生成する。このような演算処理を、全画素Pについて行い加算することにより、カラー画像Irgb(t1)を生成する。また、タイミングt5以降についてもR→G→B→IRの順に繰り返し画素データを時間的に連続して取得し、各タイミングt2,t3,…を基準にして同様の演算処理を行うことで、タイミングt2以降においても、カラー画像Irgb(t2),Irgb(t3),…を生成することができる。
【0078】
本変形例のように、R,G,Bの各色光に加え、近赤外線に基づく画素データを取得し、これら4波長分の画素データを用いてカラー画像を生成してもよい。この場合であっても、上記実施の形態と同様、R,G,Bの時系列データに基づいてカラー画像を生成することから、擬色および混色の発生を抑制することができる。よって、上記実施の形態と同等の効果を得ることができる。
【0079】
また、近赤外線を用いることにより、例えば暗所においても明るい画像を取得することができる。また、ここで、一般的なカラーフィルタを用いた場合には、空間分割によりIRフィルタを設ける必要があるため、既存の色配列(例えばベイヤー配列等)をそのまま適用できない。本変形例では、上述のように可変フィルタ20の電気的制御により透過波長を近赤外線へ切り替え可能であるので、波長設計変更が容易である。
【0080】
<変形例2>
図13は、変形例2に係るイメージセンサ(イメージセンサ10B)を備えた撮像装置の断面構造の一部について模式的に表したものである。本変形例においても、イメージセンサ10Bの受光面上に可変フィルタ20が設けられるが、本変形例では、イメージセンサ10Bが、例えば、基板11上において、配線層112よりも下層に、光電変換層114を含む素子層116を有する、いわゆる表面照射型のCMOSである。この構造においても、上記裏面照射型の場合と同様、素子層116には、光電変換層114と共に上述した画素駆動用のトランジスタTr1〜Tr4と、波長選択回路21の一部を構成するトランジスタTr5〜Tr7が形成されている。但し、本変形例では、光電変換層114の直上の配線層117に対応する領域には導波路層118が形成されており、この導波路層118上にオンチップレンズ115が設けられている。このように、イメージセンサ10Bとしては、裏面照射型に限らず表面照射型のものを用いてもよい。
【0081】
<変形例3>
図14は、変形例3に係る可変フィルタ(可変フィルタ30)の断面構造を表したものである。本変形例の可変フィルタ30は、上記実施の形態の可変フィルタ20と同様、イメージセンサ10の受光面上に設けられ、透過波長を時分割的に切り替える機能を有するものである。また、例えば複数の液晶セルを積層した液晶リオフィルタからなり、必要に応じて、基板面に沿った方向において複数のセルユニットUを有していてもよい。
【0082】
但し、本変形例では、可変フィルタ30が、7つ(7段)の液晶セル20A〜20Gと、8枚の偏光板22a〜22iを交互に積層してなる。これらの7つの液晶セル20A〜20Gはそれぞれ、上記実施の形態において説明した液晶セル20A〜20Cと同様の構成を有しており、異方性導電膜210および接続用バンプ211を介して、イメージセンサ10に配設されたトランジスタ(図14には図示せず)に電気的に接続されている。尚、図14では、各液晶セル20A〜20Gとトラジスタとを接続するためのスルーホールビア、異方性導電膜210および接続用バンプ211の各一部のみを示しており、他の図示しない部分にも、これらのビア、異方性導電膜210および接続用バンプ211が形成されている。これにより、液晶セル20A〜20Gのそれぞれを個別に電気的に制御することができる。
【0083】
このように、可変フィルタ30の段数を増やし、例えば7つの液晶セル20A〜20Gを積層した場合にも、それぞれに対する駆動電圧φ1〜φ7の組み合わせを適切に設定することにより、上記実施の形態と同様、所望の選択的な波長を透過させることができ、その透過波長を時分割で切り替えることができる。
【0084】
また、本変形例のように、液晶セルの段数を増やすことにより、可変フィルタの透過波長のスペクトルをよりきめ細やかに制御することができる。一例として、図15に、液晶セル20A〜20Gの各透過波長λa〜λgと、可変フィルタ30全体の透過波長λ0について示す。この例では、液晶セル20A〜20Gの各透過波長λa〜λgを図示したように設定することで、透過波長のスペクトルピークを約500nmに設定することができる。更に、FWHMを20nm程度にまで狭めることができ、これにより、特に物質固有の吸収もしくは反射スペクトル強度を取得し易くなる。即ち、特定物質の濃度や位置の検出なども可能となり、特定物質の測定機能や検出機能が必要とされる電子機器向けの撮像装置を実現できる。
【0085】
<変形例4>
図16は、変形例4に係る可変フィルタ(可変フィルタ40)の概略構成を表したものである。上記実施の形態および変形例1〜3ではいずれも、可変フィルタの一例として液晶リオフィルタを挙げたが、本変形例のように圧電ファブリペロー干渉フィルタを用いてもよい。この圧電ファブリペロー干渉フィルタは、例えば、対向する一対の基板41a,41b間に、圧電素子42をスペーサとして設け、圧電素子42を電圧駆動することにより、基板41a,41b間のセルギャップを調整できるようになっている。基板41a,41bの各対向面には、光を反射または透過させる半透過鏡43a,43bが貼り合わせられている。このような構成において、入射光Lを基板41a,41b間(半透過鏡43a,43b間)において反射させることによって干渉させ、選択的な波長のみを透過させる。このとき、圧電素子42の制御によりセルギャップを調整することで、透過波長を任意に設定可能となっている。このように、可変フィルタ40は、圧電ファブリペローフィルタから構成されていてもよく、この場合であっても、電気的および機械的制御によりセルギャップを変化させ、透過波長を切り替えることができる。従って、R,G,Bの各波長を時分割的に切り替えることができる。これにより上記実施の形態と同様、R,G,Bの時系列データを取得して、カラー画像を生成することが可能である。よって、上記実施の形態と同等の効果を得ることができる。
【0086】
<適用例>
上記実施の形態および変形例1〜4に係る構成を含む撮像装置1は、撮影機能、測定機能および表示機能等を有する様々な種類の電子機器に適用可能である。上述したように撮像装置1は、高画質のカラー画像を提供できることから、カメラ(デジタルスチルカメラまたはビデオカメラ)や、撮影機能を有する携帯電話機やPDA(Personal Digital Assistant)などのモバイル機器に好適である。また、この他にも、特定物質の測定(検出)装置等にも適用可能である。図17にその一例としてカメラ(カメラ2)の機能ブロック構成について示す。
【0087】
カメラ2は、レンズ群31等を含む光学系、撮像装置1、カメラ信号処理部であるDSP回路32、フレームメモリ35、表示装置33、記録装置36、操作系34および電源系37等を備えている。これらのうち、DSP回路32、フレームメモリ35、表示装置33、記録装置36、操作系34および電源系37は、バスライン38を介して相互に接続された構成となっている。
【0088】
レンズ群31は、被写体からの入射光(像光)を取り込んで撮像装置1の撮像面(受光面)上に結像するものであり、1または複数のレンズから構成されている。撮像装置1は、レンズ群31によって撮像面上に結像された入射光に基づいて撮像データD0を出力する。表示装置33は、例えば液晶表示装置または有機EL(electro luminescence)表示装置等からなり、撮像装置1で撮影された動画または静止画(画像処理部22による画像処理後のカラー画像)を表示するものである。記録装置36は、撮像装置1で撮像された動画または静止画を、ビデオテープやDVD(Digital Versatile Disk)等の記録媒体に記録するものである。操作系34は、ユーザによる操作に応じて外部信号入力手段として機能するものであり、カメラ2の持つ様々な機能について操作指令を受け取り、内部へ伝達するものである。電源系37は、DSP回路32、フレームメモリ35、表示装置33、記録装置36および操作系34の動作電源となる各種の電源を含むものである。
【0089】
以上、実施の形態および変形例を挙げて説明したが、本開示内容は上記実施の形態に限定されるものではなく、種々変形可能である。例えば、上記実施の形態等では、イメージセンサとして、裏面照射型または表面照射型のCMOSを例に挙げたが、CMOSに限らず、CCD(Charge Coupled Device Image Sensor:電荷結合素子)、またはMOS型イメージセンサであってもよい。
【0090】
また、上記実施の形態等では、可変フィルタにおいて、R,G,Bの3波長またはR,G,B,IRの4波長を時分割的に切り替えて透過させる場合について説明したが、可変フィルタの透過波長はこれらに限定される訳ではなく、必要とされる任意の波長を設定可能である。例えば、R,G,B以外にも、黄色(例えば570nm〜590nm)や、橙色(例えば590nm〜620nm)の波長を透過させるようにしてもよい。また、撮像装置1が、特定物質の測定(検出)装置に用いられる場合には、測定対象となる物質に対応する波長を透過させるようにしてもよい。上述したように、可変フィルタでは、その透過波長を電気的制御(または機械的制御)により調整可能であるので、必要に応じて所望の透過波長に設定すればよい。更に、時分割的に切り替える波長の数についても、上述した3波長または4波長に限定されず、2波長であってもよいし、5波長以上であってもよい。
【0091】
尚、本開示は、以下の(1)〜(14)に記載したような構成であってもよい。
(1)複数の画素を含み、撮像データを取得する撮像素子と、前記撮像素子の受光面上に設けられ、入射光の選択的な透過波長が変化するように構成された可変フィルタと、前記可変フィルタを駆動して前記透過波長を設定するフィルタ駆動部とを備え、前記フィルタ駆動部は、前記可変フィルタにおける前記透過波長を時分割的に切り替える撮像装置。
(2)前記撮像素子において前記複数の画素が2次元配置され、前記可変フィルタは、それぞれが前記撮像素子の各画素に対向する複数のサブフィルタを有し、前記フィルタ駆動部は、前記複数のサブフィルタを個別に駆動する上記(1)に記載の撮像装置。
(3)前記撮像素子において前記複数の画素が2次元配置され、前記可変フィルタは、それぞれが前記撮像素子における各画素列または各画素行に対向する複数のサブフィルタを有し、前記フィルタ駆動部は、前記複数のサブフィルタを個別に駆動する上記(1)に記載の撮像装置。
(4)前記可変フィルタは、前記撮像素子の全画素にわたって一体的に設けられている上記(1)に記載の撮像装置。
(5)前記フィルタ駆動部は、R(赤),G(緑),B(青)の各色光を時分割的に透過させるように前記可変フィルタを駆動する上記(1)〜(4)のいずれかに記載の撮像装置。
(6)前記撮像データとして、時間的に連続するタイミングで取得されたR,G,Bの各色の画素データを用いて、各タイミングにおけるカラー画像を生成する画像処理部を更に備えた上記(5)に記載の撮像装置。
(7)前記画像処理部は、第1のタイミングで取得されたR,G,Bのうちのいずれかの波長の第1の画素データと、前記第1のタイミングに時間的に続く第2,第3のタイミングでそれぞれ取得された第2,第3の画素データとの間における被写体の各移動量をそれぞれ算出し、前記第1および第2の画素データ間の前記被写体の移動量に基づいて、前記第2の画素データに対応する波長の前記第1のタイミングにおける画素データを生成し、かつ前記第1および第3の画素データ間の前記被写体の移動量に基づいて、前記第3の画素データに対応する波長の前記第1のタイミングにおける画素データを生成する上記(6)に記載の撮像装置。
(8)前記フィルタ駆動部は、R,G,Bの各色光と近赤外線とをそれぞれ時分割的に透過させるように前記可変フィルタを駆動する上記(5)に記載の撮像装置。
(9)前記撮像データとして、時間的に連続するタイミングで取得されたR,G,Bの各波長と近赤外線との画素データを用いて、各タイミングにおけるカラー画像を生成する画像処理部を更に備えた上記(8)に記載の撮像装置。
(10)前記画像処理部は、第1のタイミングで取得されたR,G,Bおよび近赤外線のうちのいずれかの波長に対応する第1の画素データと、前記第1のタイミングに時間的に続く第2ないし第4のタイミングでそれぞれ取得された第2ないし第4の画素データとの間における被写体の各移動量をそれぞれ算出し、前記第1および第2の画素データ間の前記被写体の移動量に基づいて、前記第2の画素データに対応する波長の前記第1のタイミングにおける画素データを生成し、前記第1および第3の画素データ間の前記被写体の移動量に基づいて、前記第3の画素データに対応する波長の前記第1のタイミングにおける画素データを生成し、かつ前記第1および第4の画素データ間の前記被写体の移動量に基づいて、前記第4の画素データに対応する波長の前記第1のタイミングにおける画素データを生成する上記(9)に記載の撮像装置。
(11)前記可変フィルタは、液晶リオフィルタからなる上記(1)〜(10)のいずれかに記載の撮像装置。
(12)前記液晶リオフィルタは、それぞれが個別に電圧駆動される複数の液晶セルを積層したものであり、前記フィルタ駆動部は、前記複数の液晶セルのそれぞれに駆動電圧を印加し、それらの駆動電圧の組み合わせによって、前記液晶リオフィルタにおける前記透過波長を設定する上記(11)に記載の撮像装置。
(13)前記可変フィルタは、圧電ファブリペロー干渉フィルタからなる上記(1)〜(10)のいずれかに記載の撮像装置。
(14)複数の画素を含み、撮像データを取得する撮像素子と、前記撮像素子の受光面上に設けられ、入射光の選択的な透過波長が変化するように構成された可変フィルタと、前記可変フィルタを駆動して前記透過波長を設定するフィルタ駆動部とを有する撮像装置を備え、前記フィルタ駆動部は、前記可変フィルタにおける前記透過波長を時分割的に切り替える電子機器。
【符号の説明】
【0092】
1…撮像装置、2…カメラ、10,10B…イメージセンサ、20,30,40…可変フィルタ、11…基板、12…画素アレイ部、13…行走査部、14…水平選択部、15…列走査部、16…システム制御部、17…画素駆動線、18…垂直信号線、19…水平信号線、21…波長選択回路、22…画像処理部、20A〜20G…液晶セル、22a〜22i…偏光板、23a1,23a2,23b1,23b2,23c1,23c2…電極、24…液晶層、25…封止樹脂、26a,26b…基板、112,117…配線層、113,116…素子層、114…光電変換層、115…オンチップレンズ、111A…フォトダイオード、Tr1〜7…トランジスタ、U…セルユニット(サブフィルタ)。





【特許請求の範囲】
【請求項1】
複数の画素を含み、撮像データを出力する撮像素子と、
前記撮像素子の受光面上に設けられ、入射光の選択的な透過波長が可変に構成された可変フィルタと、
前記可変フィルタを駆動して前記透過波長を時分割的に切り替えるフィルタ駆動部と
を備えた撮像装置。
【請求項2】
前記撮像素子の前記複数の画素は2次元配置され、
前記可変フィルタは、それぞれが前記撮像素子の各画素に対向する複数のサブフィルタを有し、
前記フィルタ駆動部は、前記複数のサブフィルタを個別に駆動する
請求項1に記載の撮像装置。
【請求項3】
前記撮像素子の前記複数の画素は2次元配置され、
前記可変フィルタは、それぞれが前記撮像素子における各画素列または各画素行に対向する複数のサブフィルタを有し、
前記フィルタ駆動部は、前記複数のサブフィルタを個別に駆動する
請求項1に記載の撮像装置。
【請求項4】
前記可変フィルタは、前記撮像素子の全画素にわたって一体的に設けられている
請求項1に記載の撮像装置。
【請求項5】
前記フィルタ駆動部は、R(赤),G(緑),B(青)の各色光を時分割的に透過させるように前記可変フィルタを駆動する
請求項1に記載の撮像装置。
【請求項6】
時間的に連続するタイミングで前記撮像素子から出力された前記撮像データとして、R,G,Bの各色の画素データを用いて、各タイミングにおけるカラー画像を生成する画像処理部を更に備えた
請求項5に記載の撮像装置。
【請求項7】
前記画像処理部は、
第1のタイミングで取得されたR,G,Bのうちのいずれかの波長の第1の画素データと、前記第1のタイミングに時間的に続く第2,第3のタイミングでそれぞれ取得された第2,第3の画素データとの間における被写体の各移動量をそれぞれ算出し、
前記第1および第2の画素データ間の前記被写体の移動量に基づいて、前記第2の画素データに対応する波長の前記第1のタイミングにおける画素データを生成し、かつ
前記第1および第3の画素データ間の前記被写体の移動量に基づいて、前記第3の画素データに対応する波長の前記第1のタイミングにおける画素データを生成する
請求項6に記載の撮像装置。
【請求項8】
前記フィルタ駆動部は、R,G,Bの各色光と近赤外線とをそれぞれ時分割的に透過させるように前記可変フィルタを駆動する
請求項5に記載の撮像装置。
【請求項9】
時間的に連続するタイミングで前記撮像素子から出力された前記撮像データとして、R,G,Bの各波長と近赤外線との画素データを用いて、各タイミングにおけるカラー画像を生成する画像処理部を更に備えた
請求項8に記載の撮像装置。
【請求項10】
前記画像処理部は、
第1のタイミングで取得されたR,G,Bおよび近赤外線のうちのいずれかの波長に対応する第1の画素データと、前記第1のタイミングに時間的に続く第2ないし第4のタイミングでそれぞれ取得された第2ないし第4の画素データとの間における被写体の各移動量をそれぞれ算出し、
前記第1および第2の画素データ間の前記被写体の移動量に基づいて、前記第2の画素データに対応する波長の前記第1のタイミングにおける画素データを生成し、
前記第1および第3の画素データ間の前記被写体の移動量に基づいて、前記第3の画素データに対応する波長の前記第1のタイミングにおける画素データを生成し、かつ
前記第1および第4の画素データ間の前記被写体の移動量に基づいて、前記第4の画素データに対応する波長の前記第1のタイミングにおける画素データを生成する
請求項9に記載の撮像装置。
【請求項11】
前記可変フィルタは、液晶リオフィルタからなる
請求項1に記載の撮像装置。
【請求項12】
前記液晶リオフィルタは、複数の液晶セルを積層したものであり、
前記フィルタ駆動部は、前記複数の液晶セルのそれぞれに駆動電圧を印加し、それらの駆動電圧の組み合わせによって、前記液晶リオフィルタにおける前記透過波長を設定する
請求項11に記載の撮像装置。
【請求項13】
前記可変フィルタは、圧電ファブリペロー干渉フィルタからなる
請求項1に記載の撮像装置。
【請求項14】
複数の画素を含み、撮像データを出力する撮像素子と、
前記撮像素子の受光面上に設けられ、入射光の選択的な透過波長が可変に構成された可変フィルタと、
前記可変フィルタを駆動して前記透過波長を時分割的に切り替えるフィルタ駆動部と
を備えた撮像装置を有する電子機器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2013−85028(P2013−85028A)
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願番号】特願2011−221976(P2011−221976)
【出願日】平成23年10月6日(2011.10.6)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】