説明

撮像装置

【課題】広く普及したカラーフィルタを有するイメージセンサを用いることによって安価に可視光画像と赤外光画像を分離し、あるいは合成するとともに、赤外光画像の解像度の向上をはかる。
【解決手段】CMYG4色のカラーフィルタ付きの撮像素子で撮像された赤外光を含む色信号成分からRGBを変数とする連立方程式の解を求め、RGBの可視光の信号成分と赤外光の信号成分とを分離する演算を、全ての画素に対して行ない、RGBの信号成分からなる可視光画像と、赤外光の信号成分からなる赤外光画像とを出力する。また、出力された可視光画像を、赤外光を含む輝度信号と色差信号に変換して合成出力してもよい。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、シアン(C)、マゼンタ(M)、黄(Y)、緑(G)の4色のカラーフィルタを有する撮像素子により被写体からの反射光を受光して撮像する、撮像装置に関する。
【背景技術】
【0002】
イメージセンサは、赤外光にも感度があるため、これをそのまま撮影してしまうと、可視光と赤外光とを同時に受光してしまい、画像の色再現性が悪化することが知られている。このため、レンズとイメージセンサとの間に赤外光カットフィルタを挿入し、赤外光を除去して色再現性を向上させるのが一般的である。
【0003】
ところで、赤外光カットフィルタはプラスチックやガラスで構成されているため可視光成分も1%程度失われる。また、赤外光カットフィルタを使用しない場合に比べて赤外光成分が失われるため、20〜30%程度の光量減になる。このため、特許文献1では、赤外光カットフィルタの使用/不使用を切り替えることができ、明るいときには赤外光カットフィルタを使用して色再現性を向上させ、撮像範囲が暗いときには赤外光カットフィルタを使用しないことで光量を増加させる技術が提案されている。特に、人間の目では見ることのできない赤外光照明を併用すれば、可視光では全く捕らえることができないほど撮像範囲が暗い場合でも鮮明な画像を得ることができる。しかしながら、赤外光カットフィルタの不使用時には、色再現性が悪化するため、色を薄く表現し、あるいは色を完全に削除してモノクロの画像を出力することが行なわれる。
【0004】
しかしながら、特許文献1に開示された技術によれば、赤外光カットフィルタの使用/不使用を切り替えるための機構がコスト高になり、また、そのための駆動機構は故障の原因になる。このため、特許文献2では、駆動機構を用いることなく赤外光を分離する技術が提案されている。また、特許文献2に開示された技術によれば、撮像範囲が暗いときには可視光画像と赤外光画像とを合成することも可能である。具体的に、図4に、カラーフィルタの構造が示されるように、イメージセンサに配置するカラーフィルタに、あらかじめ赤外光をカットする、赤、緑、青のカラーフィルタと、赤外光だけを透過するカラーフィルタの4つを使用することにより、可視光画像と赤外光画像の同時撮影を可能にしている。これによって、明るいときには色再現性の高い可視光画像を出力し、撮像範囲が暗いときには赤外光画像または可視光画像と赤外光画像とを合成した画像を出力する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2000−599798号公報
【特許文献2】特開2010−062604号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献2に開示された技術によれば、特殊なカラーフィルタを持つイメージセンサの開発を必要とする。数マイクロメートルの径を持つ画素毎に異なる色のフィルタを必要とするため、既存のイメージセンサのカラーフィルタを交換することでの対応は困難である。また、赤外光を透過するフィルタは4個の画素につき1個の画素にしか配置されていないため、赤外光画像の解像度は4分の1になる。
【0007】
本発明は上記した課題を解決するためになされたものであり、広く普及した従来のカラーフィルタを有するイメージセンサを用いることによって安価に可視光画像と赤外光画像を分離し、あるいは合成するとともに、赤外光画像の解像度の向上をはかった撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記した課題を解決するために本発明の撮像装置は、CMYG補色カラーフィルタと、撮像素子と、前記CMYG補色カラーフィルタを介して前記撮像素子で撮像した赤外光を含む色信号データC’、M’、Y’、G’を入力し、予め記憶された下記の演算式(A)を用いて可視光の色信号データR、G、Bおよび赤外光データIを演算し出力する赤外光分離部と、これらを制御する制御部とを備えたことを特徴とする。
演算式(A)
R=Y’−G’
G=C’+Y’−M’−G’
B=C’ −G’
I=2×G’−C’−Y’+M’
【0009】
本発明によれば、赤外光分離部は、一般的なCMYG補色イメージセンサにより取得された信号から、演算式(A)に基づく演算により、R、G、Bの色信号データとともに赤外光データを算出することができる。
【0010】
本発明の撮像装置において、前記可視光の色信号データR、G、Bを入力し可視光画像を生成して出力する第1の画像出力部を備えたことを特徴とする。
【0011】
本発明の撮像装置において、前記赤外光分離部から出力された可視光の色信号データR、G、Bを入力し、輝度信号野データLと色差信号データCb、Crに変換し、予め記憶された以下の演算式(B)を用いて前記輝度信号データLと赤外光信号データIとゼロを含む任意の正の数tとから新たな輝度信号データL’を演算して出力する赤外線合成部と、
前記新たな輝度信号データL’と前記色差データCb、Crから画像を生成して出力する第2の画像出力部を備えたことを特徴とする。
演算式(B)
L’=L+I×t (tはゼロを含む任意の正の数)
【0012】
本発明によれば、赤外光合成部は、赤外光分離部により出力される可視光画像を演算式(B)にしたがい輝度信号データに赤外光データを含めることができる。
【発明の効果】
【0013】
本発明によれば、広く普及した従来のCMYG補色カラーフィルタを有するイメージセンサを用い、可視光データと赤外光データを分離する事で、可視光画像を生成して出力することができるため、赤外光カットフィルタが不要となり、安価に撮像装置を構成することが可能となる。また、輝度信号データと赤外光データを合成し、色差データと共に画像を生成して出力することより、色再現性を悪化させることなく撮像範囲が暗いときも鮮明なカラー映像を得ることができる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施の形態1に係る撮像装置の構成を示す図である。
【図2】本発明の実施の形態1に係る撮像装置で使用されるカラーフィルタの構造を示す図である。
【図3】本発明の実施の形態2に係る撮像装置の構成を示す図である。
【図4】従来のカラーフィルタの構造を示す図である。
【発明を実施するための形態】
【0015】
以下、添付図面を参照して、本発明を実施するための形態(以下、実施形態)について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号を付している。
【0016】
(実施形態1の構成)
図1は、本実施形態1に係る撮像装置10Aの構成を示すブロック図である。図1に示されるように、本実施形態1に係る撮像装置10Aは、レンズ11と、イメージセンサ12と、赤外光分離部13と、画像出力部14と、制御部15aと、により構成される。レンズ11等の光学系を介して入射される被写体からの反射光である被写体像はイメージセンサ12で光電変換され、赤外光分離部13を介して画像出力部14に供給されることによって信号処理される。
【0017】
イメージセンサ12は、被写体からの光を透過する、広く普及した一般的なCMYG補色カラーフィルタ121と、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)で構成される撮像素子122からなる。撮像素子122は、カラーフィルタ121を透過した反射光を受光して被写体を撮像する。
【0018】
赤外光分離部13は、撮像素子122で撮像された赤外光を含む色信号データから、後述する予め記憶されたR、G、Bを変数とする演算式を用いて、R、G、Bの可視光データと赤外光データとを分離する演算部を含む。赤外光分離部13は、撮像素子122が有する画素の全ての色信号データに対して可視光データと赤外光データを分離する演算を実行し第1の画像出力部14はこのデータを基に画像を生成する。制御部15aは、イメージセンサ12、赤外光分離部13、可視光画像出力部14の制御を行う。
【0019】
または、上記構成に赤外線合成部16を更に備え、上記R、G、Bの可視光データを輝度データLと色差データCb、Crに変換し、輝度データLに赤外線分離部13で分離された赤外線データを加算し、新たな輝度データL’とする。この演算を撮像素子122が有する画素全ての色信号データに対して実行し、第2の画像出力部14はこのデータを基に画像を生成する。制御部15bは、イメージセンサ12、赤外光分離部13、可視光画像出力部14の制御を行う。
【0020】
ところで、カラーフィルタには、原色カラーフィルタと補色カラーフィルタの2種がある。一般的に、原色カラーフィルタは色再現に、補色カラーフィルタは解像度に優れる。原色カラーフィルタは赤・緑・青・緑の4つを一組としている。緑が2つ含まれているのは、人間の目が感じる明るさの多くは、緑によるものだからである。補色カラーフィルタは、シアン・マゼンダ・黄・緑の4つを一組としている。補色というのは、シアン・マゼンダ・黄色であるが、そこに緑を加えると、色再現性が高まる。
【0021】
図2(a)は、シアン・マゼンダ・黄・緑の4つを一組とする補色カラーフィルタの構造を示している。本実施形態1に係る撮像装置10Aでは、このCMYG補色カラーフィルタ121を使用する。CMYG補色カラーフィルタ121を通したそれぞれの画素では、透過されなかった色の光は認識できないため、補間処理が行われる。例えば、図2(b)において、G11の画素に注目すると、この画素からは緑の光の光量しか出力されない。この画素に対する他の色の光量は、周辺の画素に対するその色の光量と似通っていることが多いため、周辺の画素の他の色の光の光量の平均値をこの画素における緑以外の色の光の光量とする。これが補間である。
【0022】
M00をその画素におけるマゼンダ色の光量、C01をその画素におけるシアン色の光量、Y10をその画素における黄色の光量、G11をその画素における緑色の光量とすれば、以下の演算式(1)により、G11の画素における緑以外の光の光量を求めることができる。この演算式は赤外光分離部13に記憶されており、演算自体もまた赤外光分離部13で行われる。
【0023】
演算式(1)
M11=(M00+M02+M20+M22)/4
C11=(C01+C21)/2
Y11=(Y10+Y12)/2

【0024】
この演算式(1)による色補間は最も簡単なものでありバイニリア法と呼ばれている。このバイリニア法を用いて色補間を行うと解像度が悪くなる等の理由から、さらに周囲の光量を用いて、これを改善した補間方法もあるが、以下に説明する本実施形態1に係る撮像装置10Aでは全ての画素について、C、M、Y、Gの4つの色の光量が算出できれば、いかなる補間方法を用いても良い。この処理を全ての画素について行うものである。なお、端に位置する、例えば、M00の画素には左側に位置する画素がないため、シアン色の光量を求めるために、左側の画素値を用いることができない、このような場合に備えて、あらかじめ出力する画像の範囲よりも周囲に余分な画素を配置し、出力する画像の範囲では全て同じ補間処理が行えるようにするものが多い。もしくは、単に右側のC01の値をコピーするなどの、特別な処理を適用しても良い。
【0025】
(実施形態1の動作)
まず、赤外光分離部13の動作から説明する。CMYG補色カラーフィルタ121は、シアン・マゼンダ・黄・緑の全てにおいて、シアン・マゼンダ・黄・緑の色データに赤外光データが加算されている。つまり、上記した演算式(A)により赤外線分離部13で演算された各画素の光量の値には、赤外光カットフィルタを用いていないため、赤外光データも加算され、これをそのまま第1の画像出力部14にて画像を生成すると色再現性が悪化する。よって本実施形態1に係る撮像装置10Aでは、赤外光分離部13にて演算式(A)によって各画素の光量の値から赤外光成分を除き、赤・緑・青の色データを算出し、さらに赤外光データの算出も行う。
【0026】
ここで、赤外光データを含む色信号データをC’、M’、Y’、G’、としたときに、それぞれを赤外光データを含まないR、G、Bデータと赤外光データIで表したものを演算式(2)に示す。尚、この演算式は補色系から原色系への色変換を行う演算式として公知である。
【0027】
演算式(2)
C’= G+B+I
M’=R+ B+I
Y’=R+G +I
G’= G +I
【0028】
上記した演算式(2)において、C’とM’とY’とG’はそれぞれ、ある画素における、その画素の、または補間された、赤外光データを含む、シアンとマゼンダと黄と緑のデータである。また、R、G、Bは、それぞれ、その画素における、赤外光データを含まない、赤と緑と青のデータである。また、Iは、その画素における、赤外光データである。シアンは、緑と青、マゼンダは、赤と青、黄は、赤と緑が含まれているが、ここではそれぞれに、赤外光データが含まれていることを示している。
【0029】
この演算式(2)によって、C’とM’とY’とG’の4つの変数から、RとGとBとIの4つの値を算出する演算式は、以下の演算式(3)、(4)、(5)、(6)によって示される。イメージセンサ12から出力された全データは赤外光分離部13内でこの演算式を用いR、G、Bの色データとして算出され、さらに赤外光データIの算出も行われる。尚、ここでは本発明の説明のために演算式を導き出す過程も記載しているが、赤外光分離部13内に格納され演算式として使われているのは先に記載した演算式(A)、すなわち演算式(3)、(4)、(5)、(6)それぞれの最左辺と最右辺のみである。
【0030】
演算式(3)
R=G−G+R+I−I
=(G+R+I)−(G+I)
=Y’−G’
【0031】
演算式(4)
G=G+G−G+B−B+R−R+I+I−I−I
=(G+B+I)+(R+G+I)−(R+B+I)−(G−I)
=C’+Y’−M’−G’
【0032】
演算式(5)
B=G−G+B+I−I
=(G+B+I)−(G+I)
=C’−G’
【0033】
演算式(6)
I=G−G+I
=(G+I)−G
=G’−(C’+Y’−M’−G’)
=2×G’−C’−Y’+M’
【0034】
このように、一般的なCMYG補色イメージセンサから出力された信号から、簡単な演算により、赤と緑と青のデータとともに、赤外光のデータを算出することができる。赤外光分離部13は、演算式(3)、(4)、(5)、(6)すなわち演算式(A)に示される演算を全ての画素について行い、赤と緑と青の可視光データを出力する。そして、第1の画像出力部14は、赤外光分離部13で演算されたR、G、Bの各値から可視光画像を生成し出力する。
【0035】
(実施形態1の効果)
以上説明のように本実施形態1に係る撮像装置10Aによれば、一般的なイメージセンサ12によって取得された信号から、赤外光分離部13は演算式(3)、(4)、(5)、(6)すなわち演算式(A)に基づく演算を実行し、赤と緑と青のデータとともに、赤外光のデータを算出することができ、この演算を全ての画素について行なうことで、画像を構成できる分の赤と緑と青の要素を持つ可視光データを出力することが出来る。このため、特殊なカラーフィルタを持つイメージセンサを必要とすることなく、広く普及した一般的なカラーフィルタを持つイメージセンサを用いて安価に可視光データを得ることができ、このデータを基に第1の画像出力部14では可視光画像を生成し出力することができる。また、赤外光カットフィルタを取り除くこと以外は通常のカメラの部品構成と同じ構成で実現できるため、赤外光カットフィルタとその駆動機構分のコストを削減でき、かつ、赤外光カットフィルタによる可視光の損失も防ぐことが出来る。
【0036】
なお、本実施形態1に係る撮像装置10Aによれば、赤外光分離部13は、制御部15aとは独立して存在する構成として説明したが、赤外光分離部13が持つ機能をソフトウエアで実現して図示しない記憶部に演算式(A)を格納し、制御部15aの中に組み込んでも同様の効果が得られる。
【0037】
(実施形態2の構成)
図3は、本実施形態2に係る撮像装置10Bの構成を示すブロック図である。図1に示す実施形態1との差異は、赤外光合成部16が付加されたことにある。赤外光合成部16は、赤外光分離部13から出力される可視光データと赤外光データを、赤外光データを含む輝度データと色差データに変換して出力し、第2の画像出力部14にて画像を生成し出力する。なお、制御部15bは、赤外光合成部16が、可視光画像を、赤外光を含む輝度信号と色差信号に変換して出力することができるように、イメージセンサ12と、赤外光分離部13と、画像出力部14の制御を行う。他の構成は、図1に示す実施形態1と同様である。
【0038】
(実施形態2の動作)
以下、赤外光合成方法について説明する。赤外光分離部13から出力された可視光データと赤外光データは、赤外光合成部16に入力される。赤外光合成部16は、予め記憶された以下に示す一般的な輝度・色差演算式(7)にしたがい、まず可視光データについて赤と緑と青の値を、輝度データと色差データに変換する。
【0039】
演算式(7)
L=0.3×R+0.6×G+0.1×B
Cb=B−L
Cr=R−L
【0040】
上記した演算式(7)において、Lは輝度を表している。ここで、輝度とは、人間の感じる明るさであり、通常、Yで表現されることが多いが、ここではYを黄色のデータとして扱っているため、輝度(Luminance)の頭文字をとってLで示すこととした。また、CbとCrは色差で、青っぽさ、赤っぽさを表す。色差は、負の値を取ることもあり、Cbが大きければ青っぽく、小さければ黄色っぽくなり、また、Crが大きければ赤っぽく、小さければシアンっぽくなり、また、CbとCrが両方大きければマゼンダっぽく、小さければ緑っぽくなり、また、CbとCrの絶対値が大きければ色が濃く、小さければ色は薄く、0であれば白、黒、または灰色になる。
【0041】
一方、赤外光は、本来は人間の目に見えないものの、可視光と似た性質を持っている。よって可視光データに赤外光データを合成すれば光量が増えるため撮像範囲が暗くても被写体を捉えることが可能となる。そこで、本実施形態2に係る撮像装置10Bでは、赤外線合成部16で算出された輝度データと赤外線分離部13から出力された赤外光データとを合成するために、先に記述した演算式(B)すなわち以下に示す演算式(8)を用いることとした。本実施形態に係る撮像装置10Bでは、赤外光合成部16で、予め記憶された赤外光を含む輝度データに変換する演算式(8)を用いて赤外光分離部13から入力される全ての画素について演算を実行し、L’を新たな輝度データとして入れ替えて出力する。尚、赤外光データを合成しても色再現性が悪化しない様に、色差データについては演算式(7)で示したCb、Crの式をそのまま使用する。Cb、Crは赤外線合成部16にて算出され、全ての画素のL’、Cb、Crは第2の画像出力部14に出力され、画像が生成されて出力される。
【0042】
演算式(8)
L’=L+I×t
【0043】
上記した演算式(8)において、L’は赤外光データを含む輝度データを表している。また、パラメータtは輝度データに赤外光データを合成する程度を表しており、0≦t(tはゼロを含んだ任意の正の数)の範囲とする。なお、パラメータtの値は、制御部15bが撮像範囲の明るさを判断し、その状況に応じて変化させても良い。例えば、tに0〜1の範囲で示される係数を適用すれば、撮像範囲が明るいときはt=0とすることでL’=Lとなり、赤外光データを全く含まない場合と同じになる。また、撮像範囲が暗いときはt=1とすることでL’=L+Iとなり、本来の輝度データと赤外光データが均等に含まれた値になる。
例えば、輝度データとパラメータtの値を対応させた図示しないテーブルを予め赤外光合成部16に記憶させる。撮像範囲の全画素について、赤外光合成部16で演算式(7)に従って得た輝度データLの平均値に対応するパラメータtの値を上記のテーブルから選択し、演算式(8)に従って演算する様にする。
【0044】
(実施形態2の効果)
上記した本実施形態に係る撮像装置10Bによれば、赤外光合成部16が、上記した演算式(8)にしたがい、輝度データを赤外光データを含む輝度データに変換し、これを全ての画素について行い、そのデータを基に第2の画像出力部14にて画像として生成、出力することにより、撮像範囲が暗いときも被写体を捉えることが可能となる。特に、特許文献2に示される方法によれば、赤外光成分Iは、4個につき1個の画素にしか含まれないのに対し、本実施形態2で使用される一般的なCMYG補色カラーフィルタ121では赤外光データIは全ての画素に含まれているため、解像度においては特許文献2に開示された方法よりも優れる。また、赤外光分離部13にて演算式(8)のtの値を変化させることで赤外光データを使用する量を除々に変化させることができるため、特許文献1の様に赤外カットフィルタの出し入れの際に発生する可視光画像から赤外光画像に切り替わるときの突然の画像の変化を避けることができる。
【0045】
一方で、L’がどのように変化しても色合いと色の濃さはCbとCrが示しているため、色再現はほとんど悪化しない。したがって、特許文献1に開示された技術とは異なり、色を濃くし、あるいはモノクロにする必要はない。ところで、色合いと色の濃さは変化しないが、可視光と赤外光で明るさが大きく異なる場合もある。例えば、植物の葉は赤外光を多く反射するため、葉の部分のL’の値はLに対して大きくなる場合が多く、緑っぽさは保たれるものの、明るい緑になってしまう。これを軽減するために、赤外光成分Iの値からエッジ成分を取り出してエッジ部分だけをLと合成したり、トーンカーブフィルタ等の加工処理を施したりしてから、Lと合成することが考えられる。
【0046】
なお、本実施形態2に係る撮像装置10Bによれば、赤外光合成部16は、制御部15bとは独立して存在する構成として説明したが、赤外光合成部16が持つ機能をソフトウエアで実現して制御部15bの中に組み込んでも同様の効果が得られる。
【0047】
以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【0048】
10A、10B・・・撮像装置、12・・・イメージセンサ、13・・・赤外光分離部、14・・・画像出力部、15a、15b・・・制御部、16・・・赤外光合成部

【特許請求の範囲】
【請求項1】
CMYG補色カラーフィルタと、撮像素子と、
前記CMYG補色カラーフィルタを介して前記撮像素子で撮像した赤外光を含む色信号データC’、M’、Y’、G’を入力し、予め記憶された下記の演算式(A)を用いて可視光の色信号データR、G、Bおよび赤外光データIを演算し出力する赤外光分離部と、
これらを制御する制御部とを備えたことを特徴とする撮像装置。
演算式(A)
R=Y’−G’
G=C’+Y’−M’−G’
B=C’ −G’
I=2×G’−C’−Y’+M’
【請求項2】
前記可視光の色信号データR、G、Bを入力し可視光画像を生成して出力する第1の画像出力部を備えたことを特徴とする請求項1記載の撮像装置。
【請求項3】
前記赤外光分離部から出力された可視光の色信号データR、G、Bを入力し、輝度信号データLと色差信号データCb、Crに変換し、予め記憶された以下の演算式(B)を用いて前記輝度信号データLと赤外光信号データIとゼロを含む任意の正の数tとから新たな輝度信号データL’を演算して出力する赤外線合成部と、
前記新たな輝度信号データL’と前記色差データCb、Crから画像を生成して出力する第2の画像出力部を備えたことを特徴とする請求項1記載の撮像装置。
演算式(B)
L’=L+I×t (tはゼロを含む任意の正の数)

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2013−115679(P2013−115679A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−261271(P2011−261271)
【出願日】平成23年11月30日(2011.11.30)
【出願人】(000006611)株式会社富士通ゼネラル (1,266)
【Fターム(参考)】