赤外線混合撮像装置
【課題】赤外線混合撮像装置において色再現性の高いカラー画像を得られるようにする。
【解決手段】赤外線混合撮像装置において、赤外線照射撮像条件によって撮像を行う場合に、赤外線カットフィルタを光路上に挿入する可視光撮像条件によって生成される撮像信号の色毎にホワイトバランスを処理し、ホワイトバランス撮像信号を生成する。また、可視光撮像条件によって生成される撮像信号に対する色毎の可視光量を計測し、その色毎可視光量に基づいて、赤外線撮像条件によって生成される撮像信号を可視光成分撮像信号と、赤外線成分撮像信号と、に分離する。そして、ホワイトバランス撮像信号に基づいて、可視光成分撮像信号の色バランスを整合させて、カラー画像信号を生成する。
【解決手段】赤外線混合撮像装置において、赤外線照射撮像条件によって撮像を行う場合に、赤外線カットフィルタを光路上に挿入する可視光撮像条件によって生成される撮像信号の色毎にホワイトバランスを処理し、ホワイトバランス撮像信号を生成する。また、可視光撮像条件によって生成される撮像信号に対する色毎の可視光量を計測し、その色毎可視光量に基づいて、赤外線撮像条件によって生成される撮像信号を可視光成分撮像信号と、赤外線成分撮像信号と、に分離する。そして、ホワイトバランス撮像信号に基づいて、可視光成分撮像信号の色バランスを整合させて、カラー画像信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線を照射することで低照度下の被写体の撮像を可能にする赤外線混合撮像装置に関する。
【背景技術】
【０００２】
撮像装置および方法に関する技術が、例えば、下記特許文献１に開示されている。この特許文献１には、入力画素信号から輝度信号を生成する前に、画素の色信号に混入された赤外光成分を色フィルタ毎に推定演算処理し、推定演算処理した色信号の結果に応じて輝度信号を生成し、該生成された輝度信号と色差信号を用いて画像信号を発生する信号処理方法に関して記載されている。
【０００３】
一方、下記特許文献２には、分光を変化させるフィルタの位置を検出する検出手段と、前記検出手段により検出された前記フィルタの位置に基づいて、ホワイトバランス制御を行うホワイトバランス制御手段とを備えることを特徴とする撮像装置に関する技術が開示されている。
【特許文献１】特開２００７−８８８７３号公報
【特許文献２】特開２００５−１３０３１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年に於いて、低照度下の被写体に対して赤外線を照射して撮像する場合であっても、モノクロ画像ではなく見た目に近い色合いのカラー画像を得ることができる撮像装置が市場から要求されている。
【０００５】
しかしながら、赤外線は人間の視覚特性の波長範囲にないのである。例えば、被写体に赤外線を照射して、その反射率を撮像することでモノクロ画像ならば得ることができるが、カラー画像を得るとなると、赤外線にない色情報の処理が更に必要となってくるのである。
【０００６】
例えば、前記特許文献１に示されるように、撮像信号に混入した赤外線成分を色フィルタ毎に推定演算して色再現性を得る信号処理方法がある。この信号処理方法は、特に、夕方の場合、色温度が下がり赤外線成分が増えた時に、その赤外線成分を打ち消すように色データを補正するものであって、各色データからｋ×（Ｒ＋Ｂ＋ＧＲ＋ＧＢ）／４を差し引く演算をする回路である。
【０００７】
しかしながら、前記特許文献１に示される信号処理方法は、赤外線照射器具等を用いて被写体に赤外線を照射して撮像するような、赤外線成分を多量に含む撮像信号については、前述した演算回路では補正しきれないという第１の課題があるのである。
【０００８】
一方で、前記特許文献２に示されるように、赤外成分を含む撮像に於いて、赤外線カットフィルタが光軸から外れた場合に、赤外成分を考慮した黒体カーブデータＬＢが読み出されて黒体カーブ制御が行われる。或いは、映像信号Ｒ、Ｇ、Ｂの積分値の比が１になるようなグレーワールド制御を施すことで、撮影状況に応じて、最適なホワイトバランス制御が行われる撮像装置がある。
【０００９】
しかしながら、前者の赤外成分を考慮した黒体カーブデータＬＢによる黒体カーブ制御は、可視光量と赤外線量との比率、及び／または、差分が不明であるままに、赤外線カットフィルタの配置によって黒体カーブデータＬＡ、ＬＢが選択されているので、この黒体カーブの最適化が為されていないために、前述した第１の課題が解決されていない。
【００１０】
また、後者のグレーワールド制御は、撮像する被写体に色の偏りがないことが大前提であり、被写体に色の偏りがある場合には、このホワイトバランスは大きく崩れてしまって、良好な色再現性を得ることができないという第２の課題があるのである。
【００１１】
したがって、本発明は、前述した課題に鑑みてなされたものであって、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、良好な色再現性を得ることが可能である赤外線混合撮像装置を提供することを目的とする。
【００１２】
また、本発明は、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性を得ることが可能である赤外線混合撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
赤外線混合撮像装置において、被写体に赤外線を照射する赤外線照射手段と、被写体を結像して光学像を生成する光学系と、光学系の光路上に対して進退可能な構造であって、光学像に含まれる赤外線を遮断して、可視光から成る前記光学像を生成するための赤外線カットフィルタと、被写体に赤外線を照射させないで光路上に対して赤外線カットフィルタを挿入させる可視光撮像条件と、被写体に赤外線を照射させて光路上に対して赤外線カットフィルタを退出させる赤外線照射撮像条件と、を夫々制御する撮像条件制御手段と、光学像を光電変換して色毎に撮像信号を生成する撮像部と、光学像に対する撮像部の露光時間を調節可能であるタイミングジェネレータと、撮像条件別に撮像信号を分岐させる撮像信号分岐回路と、可視光撮像条件にて生成される撮像信号の色毎にホワイトバランスを処理し、ホワイトバランス撮像信号を生成するホワイトバランス処理手段と、可視光撮像条件にて生成される撮像信号に対して色毎の可視光量を計測する可視光量計測手段と、色毎可視光量に基づいて、赤外線照射撮像条件にて生成される撮像信号を可視光成分撮像信号と、赤外線成分撮像信号と、に分離する可視光成分分離手段と、ホワイトバランス撮像信号を色毎に積分して、積分値の比率である可視光色毎比を算出して記憶し、可視光色毎比に基づいて可視光成分撮像信号の色バランスを整合させて色整合撮像信号を生成する色バランス整合手段と、色整合撮像信号と、赤外線成分撮像信号と、に画像処理を施してカラー画像信号を生成する画像処理手段と、を具備する。
【発明の効果】
【００１４】
本発明によれば、低照度下の被写体に対して赤外線を照射して撮像する場合であっても、良好な色再現性が得られる効果がある。
【００１５】
本発明によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性が得られる効果がある。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００１７】
図１は、本発明の実施形態に係る赤外線混合撮像装置（以下、「撮像装置」という。）の機能ブロック図である。撮像装置は、例えば、デジタルスチルカメラ、ムービーカメラ、医療用カメラ等であり、赤外線照射部１、レンズ群３からなる光学系、撮像部４、赤外線カットフィルタ５、フィルタ駆動部６、撮像条件制御部７、分岐部８、可視光量計測部９、ホワイトバランス処理部１０、分離部１１、色バランス整合部１２、画像処理部１４、操作部１５、タイミングジェネレータ１６を備える。
【００１８】
各構成について説明すると、赤外線照射部１は、赤外線を被写体２に照射する赤外線発光ダイオードと、凹型反射板とで構成される。赤外線発光ダイオードから射出される赤外線は例えば、８００〜９００ｎｍを主成分とする近赤外線である。
【００１９】
レンズ群３からなる光学系は、被写体２から光学像を生成して撮像部４の撮像面に結像させる。
【００２０】
赤外線カットフィルタ５は、可視光成分（３５０〜７００ｎｍ）を透過させ、赤外線成分（７００ｎｍ以上）を減衰、または、遮断する特性を有するフィルタである。赤外線カットフィルタ５は、光学系の光路上の位置（以下、「遮断位置」という。）Ａと光学系の光路上から外れた位置（以下、「退避位置」という。）Ｂとの間を移動することができるように構成される。赤外線カットフィルタ５が遮断位置Ａにあるときは、赤外線カットフィルタ５はレンズ群３によって生成された光学像から赤外線成分を取り除き、可視光成分のみを撮像部４に到達させる。赤外線カットフィルタ５が退避位置Ｂにあるときは、可視光成分と赤外線成分との両成分を撮像部４に到達させる。
【００２１】
フィルタ駆動部６は、赤外線カットフィルタ５に接続されるモータ等のアクチュエータで構成される。フィルタ駆動部６は、このアクチュエータを駆動することで、赤外線カットフィルタ５を遮断位置Ａあるいは退避位置Ｂに移動させる。
【００２２】
撮像部４は、可視光成分と赤外線成分の両成分に対して感度を有するＣＣＤ、ＭＯＳ型センサ等の撮像素子で構成される。撮像素子の前面には、複数色から成るカラーフィルタが規則的な配列にて備えられる。このような撮像部４の分光感度特性は、例えば、図２に示すようになり、カラーフィルタの分光感度特性と撮像素子の分光感度特性との積算値が主成分である。レンズ群３を介して被写体２の光学像が撮像素子の受光面に結像すると、撮像素子はその光学像を色毎に光電変換して撮像信号を生成する。撮像部４は、この撮像信号を分岐部８に出力する。
【００２３】
撮像条件制御部７は、赤外線照射部１、フィルタ駆動部６、分岐部８、タイミングジェネレータ１６を制御する。操作部１５に撮像開始の操作が為されると、撮像条件制御部７は、この操作信号を受信して上記各ブロックの制御を開始する。
【００２４】
先ず、フィルタ駆動部６により赤外線カットフィルタ５を遮断位置Ａに配置し、かつ、赤外線照射部１から被写体２への赤外線照射を行わせないことで、可視光撮像条件を実現する。そして、撮像条件制御部７は、タイミングジェネレータ１６に撮像制御を行うよう指示を出し、可視光成分から成る撮像信号（この信号を以下、可視光撮像信号ＲＧＢｘｙとする。）が撮像部４によって生成され、分岐部８に出力される。
【００２５】
続いて、撮像条件制御部７は、フィルタ駆動部６により赤外線カットフィルタ５を退避位置Ｂに配置し、かつ、赤外線照射部１から被写体２への赤外線照射を行わせることで、赤外線照射撮像条件を実現する。そして、撮像条件制御部７は、タイミングジェネレータ１６に撮像制御を行うよう指示を出し、可視光成分と赤外線成分との両成分から成る撮像信号（この信号を以下、赤外線混合撮像信号ＲＧＢＡｘｙとする。）が撮像部４により生成され、分岐部８に出力される。
【００２６】
また、撮像条件制御部７は、上記撮像を行った場合、その撮像が可視光撮像条件、赤外線照射撮像条件のいずれにより行われたものなのかに関する情報を分岐部８に出力する。
【００２７】
分岐部８は、この撮像条件制御部７に従って、撮像条件別に可視光撮像信号ＲＧＢｘｙ、または、赤外線混合撮像信号ＲＧＢＡｘｙを分岐させる回路である。
【００２８】
タイミングジェネレータ１６は、光学像に対する撮像部４の露光時間（電子シャッタ）を調節可能であるものである。このタイミングジェネレータ１６は、赤外線照射撮像条件に対して調節される第１の露光時間と、可視光撮像条件に対して調節される第２の前記露光時間と、を有するものである。
【００２９】
第１の露光時間は動的被写体の動きを考慮して調節される必要があって、操作者がこの第１の露光時間を適正な時間に調節することで、画像のブレ量が調節される。また、第２の露光時間は動的被写体の動きを考慮して調節される必要がない。何故ならば、第２の露光時間は、後述する可視光色毎比（ΣｗＲ：ΣｗＧ：ΣｗＢ）の算出に対して適正である
露光量を調節することが目的であるからである。
【００３０】
この可視光色毎比の算出を目的とする第２の露光時間による撮像データは、画素として用いられる画像データではない。したがって、第２の露光時間によって生成される可視光撮像信号ＲＧＢｘｙは画像ブレがあっても問題ないのである。
【００３１】
前述した理由から、例えば、第２の露光時間を可視光量に基づいて長時間露光に自動調節し、可視光の光量を適量に増加させることで、可視光色毎比の算出の精度を高め、ノイズの影響を抑制させる。一方で、第１の露光時間については操作者の意図に基づいた露光時間に調節されるべきであり、動的被写体の動きや手ブレに起因する画像ブレを軽減させることができる。
【００３２】
可視光量計測部９は、可視光撮像信号ＲＧＢｘｙに対してＲＧＢ各色毎の可視光量ΣＲ
、ΣＧ、ΣＢ、を計測するものである。この時、可視光量ΣＲＧＢ（ΣＲ１＋ΣＧ１＋Σ
Ｂ１）を前述したタイミングジェネレータ１６に対して出力するものである。
【００３３】
また、この可視光量計測部９は、第２の露光時間によるＲＧＢ色毎可視光量について計測し、該計測された可視光量を第１の露光時間で得られるであろうＲＧＢ色毎可視光量に推定して換算し、該換算値を後述する分離部に対して出力するものである。
【００３４】
分離部１１は、このＲＧＢ色毎可視光量ΣＲ、ΣＧ、ΣＢ、に基づいて、赤外線混合撮
像信号ＲＧＢＡｘｙを可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］と、に分離するものである。
【００３５】
ホワイトバランス処理部１０は、可視光撮像信号ＲＧＢｘｙに対してホワイトバランス処理を施してホワイトバランス撮像信号ｗＲＧＢｘｙを生成し、生成したホワイトバランス撮像信号ｗＲＧＢｘｙを色バランス整合部１２に出力する。
【００３６】
ホワイトバランス処理としては、被写体の色に偏りがある場合であってもホワイトバランスを正しく行うことができる方法が用いられる。例えば、１）可視光撮像信号ＲＧＢｘｙから被写体の反射率が高いと推定される高レベル信号を抽出し、その高レベル信号を黒体判別させて暫定的な白色信号を抽出する。そして、この暫定白色信号を黒体の軌跡に収束させる。または、２）光源の種別を自動判別あるいはユーザに光源の種類を選択させる。または、３）白色ないしグレー（無彩色）の被写体を撮像し、この時のＲＧＢ比を１に収束させる。等のホワイトバランス処理方法が用いられる。
【００３７】
尚、前述した撮像条件制御部７は、このホワイトバランス撮像信号ｗＲＧＢｘｙの生成後の時宜に適って、可視光撮像条件と赤外線照射撮像条件とを自動的に切り換える制御をするようにする。
【００３８】
色バランス整合部１２は、可視光成分撮像信号［ＲＧＢｘｙ］を構成する各色の信号［Ｒｘｙ］、［Ｇｘｙ］、［Ｂｘｙ］をｘｙ平面積分した値Σ［Ｒ］、Σ［Ｇ］、Σ［Ｂ］
を、それぞれ次式により算出する。
Σ［Ｒ］＝∬［Ｒｘｙ］ｄｘｄｙ
Σ［Ｇ］＝∬［Ｇｘｙ］ｄｘｄｙ
Σ［Ｂ］＝∬［Ｂｘｙ］ｄｘｄｙ
【００３９】
同様に、ホワイトバランス撮像信号ｗＲＧＢｘｙを構成する各色の信号ｗＲｘｙ、ｗＧｘｙ、ｗＢｘｙをｘｙ平面積分した値ΣｗＲ、ΣｗＧ、ΣｗＢを、それぞれ次式により算
出し、ホワイトバランス撮像信号ｗＲＧＢｘｙの各色の信号の積分値の比（ΣｗＲ：Σｗ
Ｇ：ΣｗＢ、これを、可視光色毎比という。）を算出する。
ΣｗＲ＝∬（ｗＲｘｙ）ｄｘｄｙ
ΣｗＧ＝∬（ｗＧｘｙ）ｄｘｄｙ
ΣｗＢ＝∬（ｗＢｘｙ）ｄｘｄｙ
【００４０】
そして、色バランス整合部１２は、次の関係式、
Ｋｒ×Σ［Ｒ］：Ｋｇ×Σ［Ｇ］：Ｋｂ×Σ［Ｂ］＝ΣｗＲ：ΣｗＧ：ΣｗＢ
を満たす色バランス係数（Ｋｒ、Ｋｇ、Ｋｂ）を算出する。
【００４１】
色バランス整合部１２は、算出した色バランス係数（Ｋｒ、Ｋｇ、Ｋｂ）に基づき、色バランス整合後の可視光成分撮像信号ｃ［ＲＧＢｘｙ］を構成する各色の信号ｃ［Ｒｘｙ］、ｃ［Ｇｘｙ］、ｃ［Ｂｘｙ］を、それぞれ次式により算出する。
ｃ［Ｒｘｙ］＝Ｋｒ×［Ｒｘｙ］
ｃ［Ｇｘｙ］＝Ｋｇ×［Ｇｘｙ］
ｃ［Ｂｘｙ］＝Ｋｂ×［Ｂｘｙ］
【００４２】
すなわち、色バランス整合部１２は、ホワイトバランス撮像信号ｗＲＧＢｘｙの可視光色毎比（ΣｗＲ：ΣｗＧ：ΣｗＢ）に基づき、可視光成分撮像信号［ＲＧＢｘｙ］の色バ
ランスを整合させ、色整合撮像信号ｃ［ＲＧＢｘｙ］を生成する。色バランス整合部１２は、生成した色整合撮像信号ｃ［ＲＧＢｘｙ］を画像処理部１４に出力する。
【００４３】
尚、この可視光色毎比は、前述したｘｙ平面積分による積分値を複数フレームに亘って更に積分してから算出するようにしても良い。複数フレームによる積分を施すことで、オプチカルショットノイズの影響を軽減し、また、動的被写体に対して可視光色毎比の安定性が得られるからである。
【００４４】
画像処理部１４は、色整合撮像信号ｃ［ＲＧＢｘｙ］と赤外線成分撮像信号［Ａｘｙ］とに画像処理を施し、カラー画像信号を生成する。
【００４５】
例えば、色整合撮像信号ｃ［ＲＧＢｘｙ］から第１の輝度信号Ｙ１ｘｙをリサンプリングして生成し、これに赤外線成分撮像信号［Ａｘｙ］を第２の輝度信号Ｙ２ｘｙとして、これらの輝度信号Ｙ１ｘｙとＹ２ｘｙとを合成し、輝度信号Ｙｘｙを生成する。また、色整合撮像信号ｃ［ＲＧＢｘｙ］を色相、及び、彩度についてリサンプリングして色信号Ｃｘｙを生成する。このようにして、カラー画像信号（Ｙ，Ｃ）ｘｙは生成される。
【００４６】
このリサンプリング処理には、例えば、バイキュービック演算、バイリニア演算、ニアレストネイバ処理、ｎタップによるマトリクス演算、Ｙマトリクス演算、色差マトリクス演算、等が用いられる。
【００４７】
尚、この画像処理部１４では、前述したようなリサンプリング処理に限らず、例えば、輝度階調性補正、ディテイル補正、各種ノイズキャンセルフィルタ、カラーコレクト、リゾリューションコンバート等の各種様々な画像処理が施される。
【００４８】
図３は、図１で示された赤外線混合撮像装置の構成を用いて、第２の露光時間を調節する一例を示すブロック図である。
【００４９】
図３に於いて、このブロック図は、可視光色毎比ΣｗＲ：ΣｗＧ：ΣｗＢを算出するた
めに適量の撮像信号レベルとなる第２の露光時間を調節する一例が示されている。図３では、第２の露光時間を調節する経路を太線で示す。
【００５０】
図３に示されるように、第２の露光時間を調節する時は、撮像条件制御部７によって可視光撮像条件に制御される。具体的には、撮像条件操作部７は、赤外線照射部１から赤外線を照射させないように制御し、赤外線カットフィルタ５を光路上に対して挿入させた後、タイミングジェネレータ１６にて標準的な露光時間（例えば、１／６０ｓ）にて被写体を撮像させる。
【００５１】
こうして生成された可視光撮像信号ＲＧＢｘｙは、可視光量計測部９に入力され可視光量ΣＲＧＢが計測されるのであるが、ここで、低照度下の被写体に対して撮像する場合に
ついては、この可視光量ΣＲＧＢは少量であるので、このままの可視光撮像信号ＲＧＢｘ
ｙでは可視光色毎比ΣｗＲ：ΣｗＧ：ΣｗＢの算出精度が悪くなることが懸念されるので
ある。
【００５２】
したがって、ここで一旦、計測された可視光量ΣＲＧＢに基づいて、可視光色毎比Σｗ
Ｒ：ΣｗＧ：ΣｗＢを算出するために適量となる第２の露光時間をタイミングジェネレー
タ１６が撮像部４に対して調節する必要があるのである。この適量とは、撮像部４に備わっている光電変換素子の最大蓄積電荷容量の少なくとも半分以上に相当する可視光量が得られるようにすると良い。
【００５３】
図４は、図１で示された赤外線混合撮像装置の構成を用いて、第２の露光時間にて生成される可視光撮像信号ＲＧＢｘｙの信号処理についての一例を示すブロック図である。
【００５４】
図４に於いて、このブロック図は、ＲＧＢ各色毎の可視光量ΣＲ、ΣＧ、ΣＢを計測す
る経路と、可視光色毎比ΣｗＲ：ΣｗＧ：ΣｗＢを算出する経路と、を太線で示す。
【００５５】
図４に於いて、この可視光撮像信号ＲＧＢｘｙは、前述した第２の露光時間にて生成された撮像信号である。ここで、計測されたＲＧＢ色毎可視光量ΣＲ、ΣＧ、ΣＢは、第１
の露光時間（赤外線照射撮像条件）で得られるであろう可視光量に換算され、分離部１１に出力される。
【００５６】
また、可視光撮像信号ＲＧＢｘｙにホワイトバランス処理が施されてホワイトバランス撮像信号ｗＲＧＢｘｙが生成された後、このホワイトバランス撮像信号ｗＲＧＢｘｙは、ＲＧＢ各色毎にｘｙ平面積分され、可視光色毎比ΣｗＲ：ΣｗＧ：ΣｗＢが算出されるこ
とが示されている。
【００５７】
図５は、図１で示された赤外線混合撮像装置の構成を用いて、赤外線混合撮像信号ＲＧＢＡｘｙの信号処理についての一例を示すブロック図である。図５に於いて、赤外線混合撮像信号ＲＧＢＡｘｙの信号処理を行う経路を太線で示す。
【００５８】
図５に於いて、このブロック図は、撮像条件操作部７によって、赤外線照射部１から被写体に対して赤外線を照射させるように制御し、赤外線カットフィルタ５を光路上から退出させた後、タイミングジェネレータ１６にて第１の露光時間にて被写体を撮像させるように制御することが示されている。この第１の露光時間は、ユーザの所望する任意の露光時間のことである。
【００５９】
図５では、こうして生成された赤外線混合撮像信号ＲＧＢＡｘｙが、ＲＧＢ色毎可視光量ΣＲ、ΣＧ、ΣＢに基づいて、可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像
信号［Ａｘｙ］と、に分離されることが示されている。
【００６０】
また、こうして得られた可視光成分撮像信号［ＲＧＢｘｙ］が、可視光色毎比ΣｗＲ：
ΣｗＧ：ΣｗＢに基づいて、可視光撮像条件時の色バランスに整合されて、色整合撮像信
号ｃ［ＲＧＢｘｙ］が生成されることが示されている。
【００６１】
更に、図５のブロック図に於いて、色整合撮像信号ｃ［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］と、に画像処理が施されてカラー画像信号が生成されることが示されている。ここで、色整合撮像信号ｃ［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］とは、撮像タイミングが同じであるので、画像合成による画像ブレは発生しないのである。尚、この赤外線成分撮像信号［Ａｘｙ］は、輝度成分に対して作用するものであって色成分に対しては無効な信号であっても良い。
【００６２】
図６は、低照度下の白色被写体を可視光撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベルの一例を示すグラフである。
【００６３】
図６は、低照度下の被写体を可視光撮像条件にて撮像した場合に於いて、白色被写体が撮像されている画素についてのＲＧＢ各色毎の撮像信号のレベルが示された一例である。尚、図６で示される撮像信号は、前述した第１の露光時間（ユーザの所望する赤外線照射撮像条件時に於ける露光時間）によるものである。
【００６４】
ここで、撮像部４がベイヤ配列による単板のカラーフィルタ仕様である場合等に於いては、ＲＧＢ各色毎の平面位相が揃っていないので、例えば、リサンプリング処理（図示なし）を施して予めＲＧＢ各色毎の平面位相を揃えておいても良い。このリサンプリング処理は、例えば、一般的なバイキュービック補間であったり、バイリニア補間等であったりしても良い。
【００６５】
尚、このリサンプリング処理を図１で示された画像処理部１４の中に備える場合に於いては、ＲＧＢ各色毎の平面位相は画素単位でずれるが、その画素ずれを略一致として信号処理する方法があっても良い。
【００６６】
図７は、低照度下の白色被写体を赤外線照射撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベルの一例を示すグラフである。
【００６７】
図７は、低照度下の被写体を赤外線照射撮像条件にて撮像した場合に於いて、この白色被写体が撮像されている画素についてのＲＧＢ各色毎の赤外線混合撮像信号ＲＧＢＡｘｙのレベルが示された一例である。
【００６８】
図７に於いて、斜線で示されている部分は、可視光成分にて光電変換された撮像信号のレベルが示されており、白枠で示されている部分は、赤外線成分にて光電変換された撮像信号のレベルが示されている。図７に示されるように、赤外線を照射して撮像することで、低照度下の被写体を撮像する場合であっても撮像信号の信号レベルが改善されるのである。
【００６９】
図８は、図７で示された赤外線照射撮像条件下の被写体の撮像信号にグレーバランス制御によるホワイトバランス処理を施した一例を示すグラフである。
【００７０】
図８で示されるように、赤外線混合撮像信号ＲＧＢＡｘｙに対して、図８の破線で示されるようなホワイトバランス処理をした場合には、図８の斜線部に着目すれば、可視光成分に対するホワイトバランスが本質的には施されていないのである。
【００７１】
また、図８のグラフは、グレーバランス制御に理想的であるような色の偏りがない被写体（ΣＲ：ΣＧ：ΣＢ≒１：１：１）であった場合に限定して示されているのであって、
仮に、被写体２に色の偏りがある場合に於いては、このホワイトバランスは大きく崩れてしまう（図示なし）のである。
【００７２】
図９は、図７で示された赤外線照射撮像条件による撮像信号が可視光成分撮像信号と、赤外線成分撮像信号と、に比率分離される一例を示すグラフである。
【００７３】
図９に於いて、このグラフは、図７で示された赤外線混合撮像信号ＲＧＢＡｘｙが分離部１１によって可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］と、に分離された様子が示されている。
【００７４】
また、図９で示されるグラフは、ＲＧＢ色毎可視光量ΣＲ、ΣＧ、ΣＢ、に基づいて、
可視光撮像信号ＲＧＢｘｙと、赤外線混合撮像信号ＲＧＢＡｘｙとのＲＧＢ各色毎の比率が算出されて、この比率によって可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］とに分離されている。
【００７５】
図１０は、図９で示された可視光成分撮像信号に対して色バランスの整合を施した一例を示すグラフである。
【００７６】
図１０にて示されるように、可視光成分撮像信号［ＲＧＢｘｙ］に対して、図１０の破線２で示されるような色バランスの整合を施した場合には、図１０の斜線部に着目すれば、可視光成分に対するホワイトバランスが本質的に施されているのである。
【００７７】
図１１は、図７で示された赤外線照射撮像条件による撮像信号が可視光成分撮像信号と、赤外線成分撮像信号と、に差分分離される別の一例を示すグラフである。
【００７８】
図１１に於いて、このグラフは、図７で示された赤外線混合撮像信号ＲＧＢＡｘｙが分離部１１によって可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］と、に分離された様子が示されている。
【００７９】
また、図１１で示されるグラフは、ＲＧＢ色毎可視光量ΣＲ、ΣＧ、ΣＢ、に基づいて
、可視光撮像信号ＲＧＢｘｙと、赤外線混合撮像信号ＲＧＢＡｘｙとのＲＧＢ各色で一律の差分が算出されて、この差分によって可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］とに分離されている。
【００８０】
図１２は、図１１で示された可視光成分撮像信号と、赤外線成分撮像信号と、に対して色バランスの整合を施した一例を示すグラフである。
【００８１】
図１２にて示されるように、この可視光成分撮像信号［ＲＧＢｘｙ］は、赤外線照射撮像条件による赤外線成分を誤差として含んだ信号である。
【００８２】
ここで、図１０のグラフと、図１２のグラフと、を比較すると、図１０のようにＲＧＢ各色毎の比率で分離した方が分離の精度が良いように示されているが、これは照射する赤外線が被写体に対して一律一様であった場合についてである。
【００８３】
しかしながら、実際の赤外線照射の照射量は被写体の距離の２乗に反比例する特性があるので、比率による分離は必ずしも図１０のグラフで示されたように精度良く分離されないことがある。したがって、図１０で示された比率分離、及び、図１２で示された差分分離は夫々一長一短であって、その性能については一概に優劣は付けられないのである。
【００８４】
このような比率分離、及び／または、差分分離の分離精度について補足すれば、どちらにしろ本実施形態による色バランス整合によって分離精度が改善される効果がある。例えば、可視光成分撮像信号［ＲＧＢｘｙ］が分離された結果、実際の被写体よりも全体的に赤っぽい信号になってしまった場合に於いても、色バランスの整合の際に、可視光色毎比ΣｗＲ：ΣｗＧ：ΣｗＢに基づいて色の整合が施されるので、この赤っぽさが修正される
。
【００８５】
また、この可視光色毎比ΣｗＲ：ΣｗＧ：ΣｗＢは、可視光撮像条件時のホワイトバラ
ンスの上で生成されているので、間接的に良好なホワイトバランスが反映される。
【００８６】
前述してきたように、本発明の実施形態による赤外線混合撮像装置は、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、良好な色再現性を得ることが可能である赤外線混合撮像装置を提供することができる。
【００８７】
また、本発明によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性を得ることが可能である赤外線混合撮像装置を提供することができる。
【００８８】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００８９】
更に、前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施形態による赤外線混合撮像装置の構成を示すブロック図である。
【図２】撮像部の分光感度特性の一例を示した図である。
【図３】図１で示された赤外線混合撮像装置の構成を用いて、第２の露光時間を調節する一例を示すブロック図である。
【図４】図１で示された赤外線混合撮像装置の構成を用いて、第２の露光時間にて生成される可視光撮像信号ＲＧＢｘｙの信号処理についての一例を示すブロック図である。
【図５】図１で示された赤外線混合撮像装置の構成を用いて、赤外線照射撮像条件にて生成される赤外線混合撮像信号ＲＧＢＡｘｙの信号処理についての一例を示すブロック図である。
【図６】低照度下の白色被写体を可視光撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベルの一例を示すグラフである。
【図７】低照度下の白色被写体を赤外線照射撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベルの一例を示すグラフである。
【図８】図７で示された赤外線照射撮像条件下の被写体の撮像信号にグレーバランス制御によるホワイトバランス処理を施した一例を示すグラフである。
【図９】図７で示された赤外線照射撮像条件による撮像信号が可視光成分撮像信号と、赤外線成分撮像信号と、に比率分離される一例を示すグラフである。
【図１０】図９で示された可視光成分撮像信号と、赤外線成分撮像信号と、に対して色バランスの整合を施した一例を示すグラフである。
【図１１】図７で示された赤外線照射撮像条件による撮像信号が可視光成分撮像信号と、赤外線成分撮像信号と、に差分分離される一例を示すグラフである。
【図１２】図１１で示された可視光成分撮像信号と、赤外線成分撮像信号と、に対して色バランスの整合を施した一例を示すグラフである。
【符号の説明】
【００９１】
１ 赤外線照射部
２ 被写体
３ レンズ群（光学系）
４ 撮像部
５ 赤外線カットフィルタ
７ 撮像条件制御部
９ 可視光量計測部
１０ ホワイトバランス処理部
１１ 分離部
１２ 色バランス整合部
１４ 画像処理部
１５ 操作部
１６ タイミングジェネレータ
【技術分野】
【０００１】
本発明は、赤外線を照射することで低照度下の被写体の撮像を可能にする赤外線混合撮像装置に関する。
【背景技術】
【０００２】
撮像装置および方法に関する技術が、例えば、下記特許文献１に開示されている。この特許文献１には、入力画素信号から輝度信号を生成する前に、画素の色信号に混入された赤外光成分を色フィルタ毎に推定演算処理し、推定演算処理した色信号の結果に応じて輝度信号を生成し、該生成された輝度信号と色差信号を用いて画像信号を発生する信号処理方法に関して記載されている。
【０００３】
一方、下記特許文献２には、分光を変化させるフィルタの位置を検出する検出手段と、前記検出手段により検出された前記フィルタの位置に基づいて、ホワイトバランス制御を行うホワイトバランス制御手段とを備えることを特徴とする撮像装置に関する技術が開示されている。
【特許文献１】特開２００７−８８８７３号公報
【特許文献２】特開２００５−１３０３１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年に於いて、低照度下の被写体に対して赤外線を照射して撮像する場合であっても、モノクロ画像ではなく見た目に近い色合いのカラー画像を得ることができる撮像装置が市場から要求されている。
【０００５】
しかしながら、赤外線は人間の視覚特性の波長範囲にないのである。例えば、被写体に赤外線を照射して、その反射率を撮像することでモノクロ画像ならば得ることができるが、カラー画像を得るとなると、赤外線にない色情報の処理が更に必要となってくるのである。
【０００６】
例えば、前記特許文献１に示されるように、撮像信号に混入した赤外線成分を色フィルタ毎に推定演算して色再現性を得る信号処理方法がある。この信号処理方法は、特に、夕方の場合、色温度が下がり赤外線成分が増えた時に、その赤外線成分を打ち消すように色データを補正するものであって、各色データからｋ×（Ｒ＋Ｂ＋ＧＲ＋ＧＢ）／４を差し引く演算をする回路である。
【０００７】
しかしながら、前記特許文献１に示される信号処理方法は、赤外線照射器具等を用いて被写体に赤外線を照射して撮像するような、赤外線成分を多量に含む撮像信号については、前述した演算回路では補正しきれないという第１の課題があるのである。
【０００８】
一方で、前記特許文献２に示されるように、赤外成分を含む撮像に於いて、赤外線カットフィルタが光軸から外れた場合に、赤外成分を考慮した黒体カーブデータＬＢが読み出されて黒体カーブ制御が行われる。或いは、映像信号Ｒ、Ｇ、Ｂの積分値の比が１になるようなグレーワールド制御を施すことで、撮影状況に応じて、最適なホワイトバランス制御が行われる撮像装置がある。
【０００９】
しかしながら、前者の赤外成分を考慮した黒体カーブデータＬＢによる黒体カーブ制御は、可視光量と赤外線量との比率、及び／または、差分が不明であるままに、赤外線カットフィルタの配置によって黒体カーブデータＬＡ、ＬＢが選択されているので、この黒体カーブの最適化が為されていないために、前述した第１の課題が解決されていない。
【００１０】
また、後者のグレーワールド制御は、撮像する被写体に色の偏りがないことが大前提であり、被写体に色の偏りがある場合には、このホワイトバランスは大きく崩れてしまって、良好な色再現性を得ることができないという第２の課題があるのである。
【００１１】
したがって、本発明は、前述した課題に鑑みてなされたものであって、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、良好な色再現性を得ることが可能である赤外線混合撮像装置を提供することを目的とする。
【００１２】
また、本発明は、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性を得ることが可能である赤外線混合撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
赤外線混合撮像装置において、被写体に赤外線を照射する赤外線照射手段と、被写体を結像して光学像を生成する光学系と、光学系の光路上に対して進退可能な構造であって、光学像に含まれる赤外線を遮断して、可視光から成る前記光学像を生成するための赤外線カットフィルタと、被写体に赤外線を照射させないで光路上に対して赤外線カットフィルタを挿入させる可視光撮像条件と、被写体に赤外線を照射させて光路上に対して赤外線カットフィルタを退出させる赤外線照射撮像条件と、を夫々制御する撮像条件制御手段と、光学像を光電変換して色毎に撮像信号を生成する撮像部と、光学像に対する撮像部の露光時間を調節可能であるタイミングジェネレータと、撮像条件別に撮像信号を分岐させる撮像信号分岐回路と、可視光撮像条件にて生成される撮像信号の色毎にホワイトバランスを処理し、ホワイトバランス撮像信号を生成するホワイトバランス処理手段と、可視光撮像条件にて生成される撮像信号に対して色毎の可視光量を計測する可視光量計測手段と、色毎可視光量に基づいて、赤外線照射撮像条件にて生成される撮像信号を可視光成分撮像信号と、赤外線成分撮像信号と、に分離する可視光成分分離手段と、ホワイトバランス撮像信号を色毎に積分して、積分値の比率である可視光色毎比を算出して記憶し、可視光色毎比に基づいて可視光成分撮像信号の色バランスを整合させて色整合撮像信号を生成する色バランス整合手段と、色整合撮像信号と、赤外線成分撮像信号と、に画像処理を施してカラー画像信号を生成する画像処理手段と、を具備する。
【発明の効果】
【００１４】
本発明によれば、低照度下の被写体に対して赤外線を照射して撮像する場合であっても、良好な色再現性が得られる効果がある。
【００１５】
本発明によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性が得られる効果がある。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００１７】
図１は、本発明の実施形態に係る赤外線混合撮像装置（以下、「撮像装置」という。）の機能ブロック図である。撮像装置は、例えば、デジタルスチルカメラ、ムービーカメラ、医療用カメラ等であり、赤外線照射部１、レンズ群３からなる光学系、撮像部４、赤外線カットフィルタ５、フィルタ駆動部６、撮像条件制御部７、分岐部８、可視光量計測部９、ホワイトバランス処理部１０、分離部１１、色バランス整合部１２、画像処理部１４、操作部１５、タイミングジェネレータ１６を備える。
【００１８】
各構成について説明すると、赤外線照射部１は、赤外線を被写体２に照射する赤外線発光ダイオードと、凹型反射板とで構成される。赤外線発光ダイオードから射出される赤外線は例えば、８００〜９００ｎｍを主成分とする近赤外線である。
【００１９】
レンズ群３からなる光学系は、被写体２から光学像を生成して撮像部４の撮像面に結像させる。
【００２０】
赤外線カットフィルタ５は、可視光成分（３５０〜７００ｎｍ）を透過させ、赤外線成分（７００ｎｍ以上）を減衰、または、遮断する特性を有するフィルタである。赤外線カットフィルタ５は、光学系の光路上の位置（以下、「遮断位置」という。）Ａと光学系の光路上から外れた位置（以下、「退避位置」という。）Ｂとの間を移動することができるように構成される。赤外線カットフィルタ５が遮断位置Ａにあるときは、赤外線カットフィルタ５はレンズ群３によって生成された光学像から赤外線成分を取り除き、可視光成分のみを撮像部４に到達させる。赤外線カットフィルタ５が退避位置Ｂにあるときは、可視光成分と赤外線成分との両成分を撮像部４に到達させる。
【００２１】
フィルタ駆動部６は、赤外線カットフィルタ５に接続されるモータ等のアクチュエータで構成される。フィルタ駆動部６は、このアクチュエータを駆動することで、赤外線カットフィルタ５を遮断位置Ａあるいは退避位置Ｂに移動させる。
【００２２】
撮像部４は、可視光成分と赤外線成分の両成分に対して感度を有するＣＣＤ、ＭＯＳ型センサ等の撮像素子で構成される。撮像素子の前面には、複数色から成るカラーフィルタが規則的な配列にて備えられる。このような撮像部４の分光感度特性は、例えば、図２に示すようになり、カラーフィルタの分光感度特性と撮像素子の分光感度特性との積算値が主成分である。レンズ群３を介して被写体２の光学像が撮像素子の受光面に結像すると、撮像素子はその光学像を色毎に光電変換して撮像信号を生成する。撮像部４は、この撮像信号を分岐部８に出力する。
【００２３】
撮像条件制御部７は、赤外線照射部１、フィルタ駆動部６、分岐部８、タイミングジェネレータ１６を制御する。操作部１５に撮像開始の操作が為されると、撮像条件制御部７は、この操作信号を受信して上記各ブロックの制御を開始する。
【００２４】
先ず、フィルタ駆動部６により赤外線カットフィルタ５を遮断位置Ａに配置し、かつ、赤外線照射部１から被写体２への赤外線照射を行わせないことで、可視光撮像条件を実現する。そして、撮像条件制御部７は、タイミングジェネレータ１６に撮像制御を行うよう指示を出し、可視光成分から成る撮像信号（この信号を以下、可視光撮像信号ＲＧＢｘｙとする。）が撮像部４によって生成され、分岐部８に出力される。
【００２５】
続いて、撮像条件制御部７は、フィルタ駆動部６により赤外線カットフィルタ５を退避位置Ｂに配置し、かつ、赤外線照射部１から被写体２への赤外線照射を行わせることで、赤外線照射撮像条件を実現する。そして、撮像条件制御部７は、タイミングジェネレータ１６に撮像制御を行うよう指示を出し、可視光成分と赤外線成分との両成分から成る撮像信号（この信号を以下、赤外線混合撮像信号ＲＧＢＡｘｙとする。）が撮像部４により生成され、分岐部８に出力される。
【００２６】
また、撮像条件制御部７は、上記撮像を行った場合、その撮像が可視光撮像条件、赤外線照射撮像条件のいずれにより行われたものなのかに関する情報を分岐部８に出力する。
【００２７】
分岐部８は、この撮像条件制御部７に従って、撮像条件別に可視光撮像信号ＲＧＢｘｙ、または、赤外線混合撮像信号ＲＧＢＡｘｙを分岐させる回路である。
【００２８】
タイミングジェネレータ１６は、光学像に対する撮像部４の露光時間（電子シャッタ）を調節可能であるものである。このタイミングジェネレータ１６は、赤外線照射撮像条件に対して調節される第１の露光時間と、可視光撮像条件に対して調節される第２の前記露光時間と、を有するものである。
【００２９】
第１の露光時間は動的被写体の動きを考慮して調節される必要があって、操作者がこの第１の露光時間を適正な時間に調節することで、画像のブレ量が調節される。また、第２の露光時間は動的被写体の動きを考慮して調節される必要がない。何故ならば、第２の露光時間は、後述する可視光色毎比（ΣｗＲ：ΣｗＧ：ΣｗＢ）の算出に対して適正である
露光量を調節することが目的であるからである。
【００３０】
この可視光色毎比の算出を目的とする第２の露光時間による撮像データは、画素として用いられる画像データではない。したがって、第２の露光時間によって生成される可視光撮像信号ＲＧＢｘｙは画像ブレがあっても問題ないのである。
【００３１】
前述した理由から、例えば、第２の露光時間を可視光量に基づいて長時間露光に自動調節し、可視光の光量を適量に増加させることで、可視光色毎比の算出の精度を高め、ノイズの影響を抑制させる。一方で、第１の露光時間については操作者の意図に基づいた露光時間に調節されるべきであり、動的被写体の動きや手ブレに起因する画像ブレを軽減させることができる。
【００３２】
可視光量計測部９は、可視光撮像信号ＲＧＢｘｙに対してＲＧＢ各色毎の可視光量ΣＲ
、ΣＧ、ΣＢ、を計測するものである。この時、可視光量ΣＲＧＢ（ΣＲ１＋ΣＧ１＋Σ
Ｂ１）を前述したタイミングジェネレータ１６に対して出力するものである。
【００３３】
また、この可視光量計測部９は、第２の露光時間によるＲＧＢ色毎可視光量について計測し、該計測された可視光量を第１の露光時間で得られるであろうＲＧＢ色毎可視光量に推定して換算し、該換算値を後述する分離部に対して出力するものである。
【００３４】
分離部１１は、このＲＧＢ色毎可視光量ΣＲ、ΣＧ、ΣＢ、に基づいて、赤外線混合撮
像信号ＲＧＢＡｘｙを可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］と、に分離するものである。
【００３５】
ホワイトバランス処理部１０は、可視光撮像信号ＲＧＢｘｙに対してホワイトバランス処理を施してホワイトバランス撮像信号ｗＲＧＢｘｙを生成し、生成したホワイトバランス撮像信号ｗＲＧＢｘｙを色バランス整合部１２に出力する。
【００３６】
ホワイトバランス処理としては、被写体の色に偏りがある場合であってもホワイトバランスを正しく行うことができる方法が用いられる。例えば、１）可視光撮像信号ＲＧＢｘｙから被写体の反射率が高いと推定される高レベル信号を抽出し、その高レベル信号を黒体判別させて暫定的な白色信号を抽出する。そして、この暫定白色信号を黒体の軌跡に収束させる。または、２）光源の種別を自動判別あるいはユーザに光源の種類を選択させる。または、３）白色ないしグレー（無彩色）の被写体を撮像し、この時のＲＧＢ比を１に収束させる。等のホワイトバランス処理方法が用いられる。
【００３７】
尚、前述した撮像条件制御部７は、このホワイトバランス撮像信号ｗＲＧＢｘｙの生成後の時宜に適って、可視光撮像条件と赤外線照射撮像条件とを自動的に切り換える制御をするようにする。
【００３８】
色バランス整合部１２は、可視光成分撮像信号［ＲＧＢｘｙ］を構成する各色の信号［Ｒｘｙ］、［Ｇｘｙ］、［Ｂｘｙ］をｘｙ平面積分した値Σ［Ｒ］、Σ［Ｇ］、Σ［Ｂ］
を、それぞれ次式により算出する。
Σ［Ｒ］＝∬［Ｒｘｙ］ｄｘｄｙ
Σ［Ｇ］＝∬［Ｇｘｙ］ｄｘｄｙ
Σ［Ｂ］＝∬［Ｂｘｙ］ｄｘｄｙ
【００３９】
同様に、ホワイトバランス撮像信号ｗＲＧＢｘｙを構成する各色の信号ｗＲｘｙ、ｗＧｘｙ、ｗＢｘｙをｘｙ平面積分した値ΣｗＲ、ΣｗＧ、ΣｗＢを、それぞれ次式により算
出し、ホワイトバランス撮像信号ｗＲＧＢｘｙの各色の信号の積分値の比（ΣｗＲ：Σｗ
Ｇ：ΣｗＢ、これを、可視光色毎比という。）を算出する。
ΣｗＲ＝∬（ｗＲｘｙ）ｄｘｄｙ
ΣｗＧ＝∬（ｗＧｘｙ）ｄｘｄｙ
ΣｗＢ＝∬（ｗＢｘｙ）ｄｘｄｙ
【００４０】
そして、色バランス整合部１２は、次の関係式、
Ｋｒ×Σ［Ｒ］：Ｋｇ×Σ［Ｇ］：Ｋｂ×Σ［Ｂ］＝ΣｗＲ：ΣｗＧ：ΣｗＢ
を満たす色バランス係数（Ｋｒ、Ｋｇ、Ｋｂ）を算出する。
【００４１】
色バランス整合部１２は、算出した色バランス係数（Ｋｒ、Ｋｇ、Ｋｂ）に基づき、色バランス整合後の可視光成分撮像信号ｃ［ＲＧＢｘｙ］を構成する各色の信号ｃ［Ｒｘｙ］、ｃ［Ｇｘｙ］、ｃ［Ｂｘｙ］を、それぞれ次式により算出する。
ｃ［Ｒｘｙ］＝Ｋｒ×［Ｒｘｙ］
ｃ［Ｇｘｙ］＝Ｋｇ×［Ｇｘｙ］
ｃ［Ｂｘｙ］＝Ｋｂ×［Ｂｘｙ］
【００４２】
すなわち、色バランス整合部１２は、ホワイトバランス撮像信号ｗＲＧＢｘｙの可視光色毎比（ΣｗＲ：ΣｗＧ：ΣｗＢ）に基づき、可視光成分撮像信号［ＲＧＢｘｙ］の色バ
ランスを整合させ、色整合撮像信号ｃ［ＲＧＢｘｙ］を生成する。色バランス整合部１２は、生成した色整合撮像信号ｃ［ＲＧＢｘｙ］を画像処理部１４に出力する。
【００４３】
尚、この可視光色毎比は、前述したｘｙ平面積分による積分値を複数フレームに亘って更に積分してから算出するようにしても良い。複数フレームによる積分を施すことで、オプチカルショットノイズの影響を軽減し、また、動的被写体に対して可視光色毎比の安定性が得られるからである。
【００４４】
画像処理部１４は、色整合撮像信号ｃ［ＲＧＢｘｙ］と赤外線成分撮像信号［Ａｘｙ］とに画像処理を施し、カラー画像信号を生成する。
【００４５】
例えば、色整合撮像信号ｃ［ＲＧＢｘｙ］から第１の輝度信号Ｙ１ｘｙをリサンプリングして生成し、これに赤外線成分撮像信号［Ａｘｙ］を第２の輝度信号Ｙ２ｘｙとして、これらの輝度信号Ｙ１ｘｙとＹ２ｘｙとを合成し、輝度信号Ｙｘｙを生成する。また、色整合撮像信号ｃ［ＲＧＢｘｙ］を色相、及び、彩度についてリサンプリングして色信号Ｃｘｙを生成する。このようにして、カラー画像信号（Ｙ，Ｃ）ｘｙは生成される。
【００４６】
このリサンプリング処理には、例えば、バイキュービック演算、バイリニア演算、ニアレストネイバ処理、ｎタップによるマトリクス演算、Ｙマトリクス演算、色差マトリクス演算、等が用いられる。
【００４７】
尚、この画像処理部１４では、前述したようなリサンプリング処理に限らず、例えば、輝度階調性補正、ディテイル補正、各種ノイズキャンセルフィルタ、カラーコレクト、リゾリューションコンバート等の各種様々な画像処理が施される。
【００４８】
図３は、図１で示された赤外線混合撮像装置の構成を用いて、第２の露光時間を調節する一例を示すブロック図である。
【００４９】
図３に於いて、このブロック図は、可視光色毎比ΣｗＲ：ΣｗＧ：ΣｗＢを算出するた
めに適量の撮像信号レベルとなる第２の露光時間を調節する一例が示されている。図３では、第２の露光時間を調節する経路を太線で示す。
【００５０】
図３に示されるように、第２の露光時間を調節する時は、撮像条件制御部７によって可視光撮像条件に制御される。具体的には、撮像条件操作部７は、赤外線照射部１から赤外線を照射させないように制御し、赤外線カットフィルタ５を光路上に対して挿入させた後、タイミングジェネレータ１６にて標準的な露光時間（例えば、１／６０ｓ）にて被写体を撮像させる。
【００５１】
こうして生成された可視光撮像信号ＲＧＢｘｙは、可視光量計測部９に入力され可視光量ΣＲＧＢが計測されるのであるが、ここで、低照度下の被写体に対して撮像する場合に
ついては、この可視光量ΣＲＧＢは少量であるので、このままの可視光撮像信号ＲＧＢｘ
ｙでは可視光色毎比ΣｗＲ：ΣｗＧ：ΣｗＢの算出精度が悪くなることが懸念されるので
ある。
【００５２】
したがって、ここで一旦、計測された可視光量ΣＲＧＢに基づいて、可視光色毎比Σｗ
Ｒ：ΣｗＧ：ΣｗＢを算出するために適量となる第２の露光時間をタイミングジェネレー
タ１６が撮像部４に対して調節する必要があるのである。この適量とは、撮像部４に備わっている光電変換素子の最大蓄積電荷容量の少なくとも半分以上に相当する可視光量が得られるようにすると良い。
【００５３】
図４は、図１で示された赤外線混合撮像装置の構成を用いて、第２の露光時間にて生成される可視光撮像信号ＲＧＢｘｙの信号処理についての一例を示すブロック図である。
【００５４】
図４に於いて、このブロック図は、ＲＧＢ各色毎の可視光量ΣＲ、ΣＧ、ΣＢを計測す
る経路と、可視光色毎比ΣｗＲ：ΣｗＧ：ΣｗＢを算出する経路と、を太線で示す。
【００５５】
図４に於いて、この可視光撮像信号ＲＧＢｘｙは、前述した第２の露光時間にて生成された撮像信号である。ここで、計測されたＲＧＢ色毎可視光量ΣＲ、ΣＧ、ΣＢは、第１
の露光時間（赤外線照射撮像条件）で得られるであろう可視光量に換算され、分離部１１に出力される。
【００５６】
また、可視光撮像信号ＲＧＢｘｙにホワイトバランス処理が施されてホワイトバランス撮像信号ｗＲＧＢｘｙが生成された後、このホワイトバランス撮像信号ｗＲＧＢｘｙは、ＲＧＢ各色毎にｘｙ平面積分され、可視光色毎比ΣｗＲ：ΣｗＧ：ΣｗＢが算出されるこ
とが示されている。
【００５７】
図５は、図１で示された赤外線混合撮像装置の構成を用いて、赤外線混合撮像信号ＲＧＢＡｘｙの信号処理についての一例を示すブロック図である。図５に於いて、赤外線混合撮像信号ＲＧＢＡｘｙの信号処理を行う経路を太線で示す。
【００５８】
図５に於いて、このブロック図は、撮像条件操作部７によって、赤外線照射部１から被写体に対して赤外線を照射させるように制御し、赤外線カットフィルタ５を光路上から退出させた後、タイミングジェネレータ１６にて第１の露光時間にて被写体を撮像させるように制御することが示されている。この第１の露光時間は、ユーザの所望する任意の露光時間のことである。
【００５９】
図５では、こうして生成された赤外線混合撮像信号ＲＧＢＡｘｙが、ＲＧＢ色毎可視光量ΣＲ、ΣＧ、ΣＢに基づいて、可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像
信号［Ａｘｙ］と、に分離されることが示されている。
【００６０】
また、こうして得られた可視光成分撮像信号［ＲＧＢｘｙ］が、可視光色毎比ΣｗＲ：
ΣｗＧ：ΣｗＢに基づいて、可視光撮像条件時の色バランスに整合されて、色整合撮像信
号ｃ［ＲＧＢｘｙ］が生成されることが示されている。
【００６１】
更に、図５のブロック図に於いて、色整合撮像信号ｃ［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］と、に画像処理が施されてカラー画像信号が生成されることが示されている。ここで、色整合撮像信号ｃ［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］とは、撮像タイミングが同じであるので、画像合成による画像ブレは発生しないのである。尚、この赤外線成分撮像信号［Ａｘｙ］は、輝度成分に対して作用するものであって色成分に対しては無効な信号であっても良い。
【００６２】
図６は、低照度下の白色被写体を可視光撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベルの一例を示すグラフである。
【００６３】
図６は、低照度下の被写体を可視光撮像条件にて撮像した場合に於いて、白色被写体が撮像されている画素についてのＲＧＢ各色毎の撮像信号のレベルが示された一例である。尚、図６で示される撮像信号は、前述した第１の露光時間（ユーザの所望する赤外線照射撮像条件時に於ける露光時間）によるものである。
【００６４】
ここで、撮像部４がベイヤ配列による単板のカラーフィルタ仕様である場合等に於いては、ＲＧＢ各色毎の平面位相が揃っていないので、例えば、リサンプリング処理（図示なし）を施して予めＲＧＢ各色毎の平面位相を揃えておいても良い。このリサンプリング処理は、例えば、一般的なバイキュービック補間であったり、バイリニア補間等であったりしても良い。
【００６５】
尚、このリサンプリング処理を図１で示された画像処理部１４の中に備える場合に於いては、ＲＧＢ各色毎の平面位相は画素単位でずれるが、その画素ずれを略一致として信号処理する方法があっても良い。
【００６６】
図７は、低照度下の白色被写体を赤外線照射撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベルの一例を示すグラフである。
【００６７】
図７は、低照度下の被写体を赤外線照射撮像条件にて撮像した場合に於いて、この白色被写体が撮像されている画素についてのＲＧＢ各色毎の赤外線混合撮像信号ＲＧＢＡｘｙのレベルが示された一例である。
【００６８】
図７に於いて、斜線で示されている部分は、可視光成分にて光電変換された撮像信号のレベルが示されており、白枠で示されている部分は、赤外線成分にて光電変換された撮像信号のレベルが示されている。図７に示されるように、赤外線を照射して撮像することで、低照度下の被写体を撮像する場合であっても撮像信号の信号レベルが改善されるのである。
【００６９】
図８は、図７で示された赤外線照射撮像条件下の被写体の撮像信号にグレーバランス制御によるホワイトバランス処理を施した一例を示すグラフである。
【００７０】
図８で示されるように、赤外線混合撮像信号ＲＧＢＡｘｙに対して、図８の破線で示されるようなホワイトバランス処理をした場合には、図８の斜線部に着目すれば、可視光成分に対するホワイトバランスが本質的には施されていないのである。
【００７１】
また、図８のグラフは、グレーバランス制御に理想的であるような色の偏りがない被写体（ΣＲ：ΣＧ：ΣＢ≒１：１：１）であった場合に限定して示されているのであって、
仮に、被写体２に色の偏りがある場合に於いては、このホワイトバランスは大きく崩れてしまう（図示なし）のである。
【００７２】
図９は、図７で示された赤外線照射撮像条件による撮像信号が可視光成分撮像信号と、赤外線成分撮像信号と、に比率分離される一例を示すグラフである。
【００７３】
図９に於いて、このグラフは、図７で示された赤外線混合撮像信号ＲＧＢＡｘｙが分離部１１によって可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］と、に分離された様子が示されている。
【００７４】
また、図９で示されるグラフは、ＲＧＢ色毎可視光量ΣＲ、ΣＧ、ΣＢ、に基づいて、
可視光撮像信号ＲＧＢｘｙと、赤外線混合撮像信号ＲＧＢＡｘｙとのＲＧＢ各色毎の比率が算出されて、この比率によって可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］とに分離されている。
【００７５】
図１０は、図９で示された可視光成分撮像信号に対して色バランスの整合を施した一例を示すグラフである。
【００７６】
図１０にて示されるように、可視光成分撮像信号［ＲＧＢｘｙ］に対して、図１０の破線２で示されるような色バランスの整合を施した場合には、図１０の斜線部に着目すれば、可視光成分に対するホワイトバランスが本質的に施されているのである。
【００７７】
図１１は、図７で示された赤外線照射撮像条件による撮像信号が可視光成分撮像信号と、赤外線成分撮像信号と、に差分分離される別の一例を示すグラフである。
【００７８】
図１１に於いて、このグラフは、図７で示された赤外線混合撮像信号ＲＧＢＡｘｙが分離部１１によって可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］と、に分離された様子が示されている。
【００７９】
また、図１１で示されるグラフは、ＲＧＢ色毎可視光量ΣＲ、ΣＧ、ΣＢ、に基づいて
、可視光撮像信号ＲＧＢｘｙと、赤外線混合撮像信号ＲＧＢＡｘｙとのＲＧＢ各色で一律の差分が算出されて、この差分によって可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］とに分離されている。
【００８０】
図１２は、図１１で示された可視光成分撮像信号と、赤外線成分撮像信号と、に対して色バランスの整合を施した一例を示すグラフである。
【００８１】
図１２にて示されるように、この可視光成分撮像信号［ＲＧＢｘｙ］は、赤外線照射撮像条件による赤外線成分を誤差として含んだ信号である。
【００８２】
ここで、図１０のグラフと、図１２のグラフと、を比較すると、図１０のようにＲＧＢ各色毎の比率で分離した方が分離の精度が良いように示されているが、これは照射する赤外線が被写体に対して一律一様であった場合についてである。
【００８３】
しかしながら、実際の赤外線照射の照射量は被写体の距離の２乗に反比例する特性があるので、比率による分離は必ずしも図１０のグラフで示されたように精度良く分離されないことがある。したがって、図１０で示された比率分離、及び、図１２で示された差分分離は夫々一長一短であって、その性能については一概に優劣は付けられないのである。
【００８４】
このような比率分離、及び／または、差分分離の分離精度について補足すれば、どちらにしろ本実施形態による色バランス整合によって分離精度が改善される効果がある。例えば、可視光成分撮像信号［ＲＧＢｘｙ］が分離された結果、実際の被写体よりも全体的に赤っぽい信号になってしまった場合に於いても、色バランスの整合の際に、可視光色毎比ΣｗＲ：ΣｗＧ：ΣｗＢに基づいて色の整合が施されるので、この赤っぽさが修正される
。
【００８５】
また、この可視光色毎比ΣｗＲ：ΣｗＧ：ΣｗＢは、可視光撮像条件時のホワイトバラ
ンスの上で生成されているので、間接的に良好なホワイトバランスが反映される。
【００８６】
前述してきたように、本発明の実施形態による赤外線混合撮像装置は、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、良好な色再現性を得ることが可能である赤外線混合撮像装置を提供することができる。
【００８７】
また、本発明によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性を得ることが可能である赤外線混合撮像装置を提供することができる。
【００８８】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００８９】
更に、前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施形態による赤外線混合撮像装置の構成を示すブロック図である。
【図２】撮像部の分光感度特性の一例を示した図である。
【図３】図１で示された赤外線混合撮像装置の構成を用いて、第２の露光時間を調節する一例を示すブロック図である。
【図４】図１で示された赤外線混合撮像装置の構成を用いて、第２の露光時間にて生成される可視光撮像信号ＲＧＢｘｙの信号処理についての一例を示すブロック図である。
【図５】図１で示された赤外線混合撮像装置の構成を用いて、赤外線照射撮像条件にて生成される赤外線混合撮像信号ＲＧＢＡｘｙの信号処理についての一例を示すブロック図である。
【図６】低照度下の白色被写体を可視光撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベルの一例を示すグラフである。
【図７】低照度下の白色被写体を赤外線照射撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベルの一例を示すグラフである。
【図８】図７で示された赤外線照射撮像条件下の被写体の撮像信号にグレーバランス制御によるホワイトバランス処理を施した一例を示すグラフである。
【図９】図７で示された赤外線照射撮像条件による撮像信号が可視光成分撮像信号と、赤外線成分撮像信号と、に比率分離される一例を示すグラフである。
【図１０】図９で示された可視光成分撮像信号と、赤外線成分撮像信号と、に対して色バランスの整合を施した一例を示すグラフである。
【図１１】図７で示された赤外線照射撮像条件による撮像信号が可視光成分撮像信号と、赤外線成分撮像信号と、に差分分離される一例を示すグラフである。
【図１２】図１１で示された可視光成分撮像信号と、赤外線成分撮像信号と、に対して色バランスの整合を施した一例を示すグラフである。
【符号の説明】
【００９１】
１ 赤外線照射部
２ 被写体
３ レンズ群（光学系）
４ 撮像部
５ 赤外線カットフィルタ
７ 撮像条件制御部
９ 可視光量計測部
１０ ホワイトバランス処理部
１１ 分離部
１２ 色バランス整合部
１４ 画像処理部
１５ 操作部
１６ タイミングジェネレータ
【特許請求の範囲】
【請求項１】
被写体に赤外線を照射する赤外線照射部と、
前記被写体を結像して光学像を生成する光学系と、
前記光学系の光路上に対して進退可能な構造であって、前記光学像に含まれる赤外線を遮断して、可視光から成る前記光学像を生成するための赤外線カットフィルタと、
前記被写体に前記赤外線を照射させないで前記光路上に対して前記赤外線カットフィルタを挿入させる可視光撮像条件と、前記被写体に前記赤外線を照射させて前記光路上に対して前記赤外線カットフィルタを退出させる赤外線照射撮像条件と、を夫々制御する撮像条件制御部と、
前記光学像を光電変換して色毎に撮像信号を生成する撮像部と、
前記光学像に対する前記撮像部の露光時間を調節可能であるタイミングジェネレータと、
前記撮像条件別に前記撮像信号を分岐させる分岐部と、
前記可視光撮像条件にて生成される前記撮像信号の前記色毎にホワイトバランスを処理し、ホワイトバランス撮像信号を生成するホワイトバランス処理部と、
前記可視光撮像条件にて生成される前記撮像信号に対して前記色毎の可視光量を計測する可視光量計測部と、
前記色毎可視光量に基づいて、前記赤外線照射撮像条件にて生成される前記撮像信号を可視光成分撮像信号と、赤外線成分撮像信号と、に分離する分離部と、
前記ホワイトバランス撮像信号を前記色毎に積分して、該積分値の比率である可視光色毎比を算出して記憶し、該可視光色毎比に基づいて前記可視光成分撮像信号の色バランスを整合させて色整合撮像信号を生成する色バランス整合部と、
前記色整合撮像信号と、前記赤外線成分撮像信号と、に画像処理を施してカラー画像信号を生成する画像処理部と、
を具備する
ことを特徴とする赤外線混合撮像装置。
【請求項２】
前記タイミングジェネレータは、調節する露光時間として、
前記赤外線照射撮像条件に対して調節される第１の前記露光時間と、
前記可視光撮像条件に対して調節される第２の前記露光時間と、
を有し、
前記第２の露光時間は前記第１の露光時間よりも長時間に調節される
ことを特徴とする請求項１に記載の赤外線混合撮像装置。
【請求項３】
前記第１の露光時間は操作者によって調節され、
前記第２の露光時間は前記可視光量に基づいて自動的に調節される
ことを特徴とする請求項２に記載の赤外線混合撮像装置。
【請求項４】
前記第２の露光時間は、前記可視光量の電荷容量が前記光電変換の最大蓄積電荷容量の少なくとも半分以上となるように調節される
ことを特徴とする請求項３に記載の赤外線混合撮像装置。
【請求項１】
被写体に赤外線を照射する赤外線照射部と、
前記被写体を結像して光学像を生成する光学系と、
前記光学系の光路上に対して進退可能な構造であって、前記光学像に含まれる赤外線を遮断して、可視光から成る前記光学像を生成するための赤外線カットフィルタと、
前記被写体に前記赤外線を照射させないで前記光路上に対して前記赤外線カットフィルタを挿入させる可視光撮像条件と、前記被写体に前記赤外線を照射させて前記光路上に対して前記赤外線カットフィルタを退出させる赤外線照射撮像条件と、を夫々制御する撮像条件制御部と、
前記光学像を光電変換して色毎に撮像信号を生成する撮像部と、
前記光学像に対する前記撮像部の露光時間を調節可能であるタイミングジェネレータと、
前記撮像条件別に前記撮像信号を分岐させる分岐部と、
前記可視光撮像条件にて生成される前記撮像信号の前記色毎にホワイトバランスを処理し、ホワイトバランス撮像信号を生成するホワイトバランス処理部と、
前記可視光撮像条件にて生成される前記撮像信号に対して前記色毎の可視光量を計測する可視光量計測部と、
前記色毎可視光量に基づいて、前記赤外線照射撮像条件にて生成される前記撮像信号を可視光成分撮像信号と、赤外線成分撮像信号と、に分離する分離部と、
前記ホワイトバランス撮像信号を前記色毎に積分して、該積分値の比率である可視光色毎比を算出して記憶し、該可視光色毎比に基づいて前記可視光成分撮像信号の色バランスを整合させて色整合撮像信号を生成する色バランス整合部と、
前記色整合撮像信号と、前記赤外線成分撮像信号と、に画像処理を施してカラー画像信号を生成する画像処理部と、
を具備する
ことを特徴とする赤外線混合撮像装置。
【請求項２】
前記タイミングジェネレータは、調節する露光時間として、
前記赤外線照射撮像条件に対して調節される第１の前記露光時間と、
前記可視光撮像条件に対して調節される第２の前記露光時間と、
を有し、
前記第２の露光時間は前記第１の露光時間よりも長時間に調節される
ことを特徴とする請求項１に記載の赤外線混合撮像装置。
【請求項３】
前記第１の露光時間は操作者によって調節され、
前記第２の露光時間は前記可視光量に基づいて自動的に調節される
ことを特徴とする請求項２に記載の赤外線混合撮像装置。
【請求項４】
前記第２の露光時間は、前記可視光量の電荷容量が前記光電変換の最大蓄積電荷容量の少なくとも半分以上となるように調節される
ことを特徴とする請求項３に記載の赤外線混合撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１６１４５５（Ｐ２０１０−１６１４５５Ａ）
【公開日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願番号】特願２００９−６８５（Ｐ２００９−６８５）
【出願日】平成２１年１月６日（２００９．１．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願日】平成２１年１月６日（２００９．１．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]