撮像装置
【課題】赤外光を検出する画素に混在する可視光成分を考慮した上で、混合係数を高精度に求める。
【解決手段】撮像装置１００は、可視光成分、及び赤外光成分のそれぞれの画素値を取得する複数の画素を有する撮像素子１０２と、それぞれの画素値に基づいて、独立成分分析による反復計算により、可視光成分、及び赤外光成分の混合係数を算出する混合係数算出部１０４ａと、混合係数算出部が算出した混合係数を記憶する混合係数記憶部と１０６ａ、を備える。
【解決手段】撮像装置１００は、可視光成分、及び赤外光成分のそれぞれの画素値を取得する複数の画素を有する撮像素子１０２と、それぞれの画素値に基づいて、独立成分分析による反復計算により、可視光成分、及び赤外光成分の混合係数を算出する混合係数算出部１０４ａと、混合係数算出部が算出した混合係数を記憶する混合係数記憶部と１０６ａ、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
近時においては、デジタルカメラなどの撮像装置等において、下記の特許文献１〜３、非特許文献１に記載されているように、赤、緑、青（ＲＧＢ）の画素値を、近赤外線成分を考慮して求める方法が知られている。
【０００３】
また、下記の非特許文献２には、独立成分分析を用いた画像特徴抽出について記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１５０８７号公報
【特許文献２】特開２００７−２０２１０８号公報
【特許文献３】特開２０１１−２９８１０号公報
【特許文献４】特開２０１０−９８３５８号公報
【非特許文献】
【０００５】
【非特許文献１】香山信三、田中圭介、廣瀬裕 「監視カメラ用昼夜兼用イメージセンサ」 Ｐａｎａｓｏｎｉｃ Ｔｅｃｈｎｉｃａｌ Ｊｏｕｒｎａｌ Ｖｏｌ．５４ Ｎｏ．４ Ｊａｎ．２００９
【非特許文献２】陳 延偉 「独立成分分析 (2) − ICA 基底による特徴抽出−」 ＭＥＤＩＣＡＬ ＩＭＡＧＩＮＧ ＴＥＣＨＮＯＬＯＧＹ Ｖｏｌ．２１ Ｎｏ．２ Ｍａｒｃｈ ２００３
【発明の概要】
【発明が解決しようとする課題】
【０００６】
赤色光、緑色光、青色光を検出する各画素（Ｒ画素、Ｇ画素、Ｂ画素）には、それぞれ、ＲＧＢ成分に加えて近赤外光成分（ＩＲ成分）が混在して検出される。このため、赤色光、緑色光、青色光を検出する各画素にＩＲ成分が含まれている割合を示す混合係数を製品出荷前に測定しておき、混在するＩＲ成分を分離する必要がある。このため、製品出荷前に煩雑な工程が必要となり、製造コストの上昇といった問題が生じていた。
【０００７】
また、製品出荷前に混合係数を測定した場合、経年劣化等の要因により、その後に混合係数の値が変化してしまうことが想定される。このため、製品出荷後に長期間に渡って、ＩＲ成分を精度良く分離することは困難であった。
【０００８】
更に、赤外光を検出するＩＲ画素は、近赤外光を透過させるフィルタを備えていたとしても、ＩＲ成分に加えてＲＧＢ成分が混在して検出される。しかしながら、上記従来の方法では、いずれもＩＲ画素にＲＧＢ成分が混在していることは想定していなかった。例えば特許文献４では、Ｒ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素、ＩＲ画素を加重平均で近似し、得られた擬似中心ＩＲ画素を差し引くことでＲＧＢ各画素を求めているが、擬似中心ＩＲ画素を差し引く際は比重係数を考慮しておらず、ＩＲ画素にＲＧＢ成分が混在していることは想定していなかった。一方、非特許文献１によれば、赤、緑、青の原信号から近赤外専用画素の近赤外信号成分を除去する差分処理を施しても、Ｒ画素には９％、Ｇ画素には４％、Ｂ画素２１％の赤外光成分が残存している。また、非特許文献１の分光感度の測定値を見ても、ＩＲ画素には一定量のＲＧＢ成分が混在していることが分かる。従って、ＩＲ画素にＲＧＢ成分が混在していないという仮定条件下で混合係数を算出すると、混合係数を精度良く求めることは困難である。
【０００９】
このため、混合係数を用いて画素値を補償した場合においても、補償した画素値の精度が低下してしまい、所望の高画質の画像を得ることができないという問題が生じていた。
【００１０】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、赤外光を検出する画素に混在する可視光成分を考慮した上で、混合係数を高精度に求めることが可能な、新規かつ改良された撮像装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある観点によれば、可視光成分、及び赤外光成分のそれぞれの画素値を取得する複数の画素を有する撮像素子と、前記それぞれの画素値に基づいて、独立成分分析による反復計算により、前記可視光成分、及び前記赤外光成分の混合係数を算出する混合係数算出部と、前記混合係数算出部が算出した前記混合係数を記憶する混合係数記憶部と、を備える撮像装置が提供される。
【００１２】
上記構成によれば、可視光成分、及び赤外光成分のそれぞれの画素値に基づいて、独立成分分析による反復計算により、可視光成分、及び赤外光成分の混合係数が算出される。従って、製品出荷時に混合係数を測定する必要がなく、製品出荷後に混合係数を逐次算出することができる。
【００１３】
前記撮像素子は、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値を取得する４つの画素を１単位とする計測ブロックを有し、前記混合係数算出部は、前記それぞれの画素値に基づいて、独立成分分析による反復計算により、前記赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値に他の光が混在する割合を示す混合係数を算出する。この構成によれば、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値に基づいて、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値に他の光が混在する割合を示す混合係数を算出することができる。
【００１４】
また、前記混合係数に基づいて、可視光成分及び赤外光成分の画素値を補償する画素値補償部を更に備える。この構成によれば、混合係数に基づいて画素値が補償されるため、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値を高精度に取得することができる。
【００１５】
また、前記計測ブロックの範囲は、前記赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値に対する周辺の画素値の差分に基づいて構築される。この構成によれば、計測ブロックに画像のエッジなどが位置しており、画素値が平坦でない場合に、中心の画素に対する周辺の画素の画素値の差分が少なくなるように計測ブロックを構築することができるため、独立成分分析による混合係数の算出を高精度に行うことができる。
【００１６】
また、前記それぞれの画素値を記憶する画素値記憶部を有し、前記混合係数算出部は、使用条件に応じた計算負荷が所定値よりも低い状態において、前記画素値記憶部に記憶された前記それぞれの画素値を用いて前記独立成分分析による反復計算を行う。この構成によれば、画素値を記憶することにより、記憶した画素値を用いて計算負荷の低い状態で独立成分分析による反復計算を行うことが可能となる。
【発明の効果】
【００１７】
本発明によれば、赤外光を検出する画素に混在する可視光成分を考慮した上で、混合係数を高精度に求めることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る撮像装置の構成を示す模式図である。
【図２】撮像素子の画素を示す模式図である。
【図３】本実施形態に係る撮像素子の処理手順を示すフローチャートである。
【図４】周辺画素から計測ブロックを再構築する手法を説明するための模式図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
図１は、本発明の一実施形態に係る撮像装置１００の構成を示す模式図である。撮像装置１００は、一例として、機械式のＩＲカットフィルタを用いない昼夜兼用（Ｄａｙ／Ｎｉｇｈｔ）カメラ、投光器を有していない監視カメラ等のカメラである。先ず、図１を参照して、本発明の一実施形態に係る撮像装置１００の構成について説明する。図１に示すように、撮像装置１００は、撮像素子（Ｄａｙ／Ｎｉｇｈｔ Ｉｍａｇｅ Ｓｅｎｓｏｒ）１０２、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）１０４、メモリ（Ｍｅｍｏｒｙ）１０６、を有して構成される。
【００２１】
図１に示す構成において、撮像素子１０２は、撮像光学系（不図示）によって被写体２００の像が結像される撮像面を備えており、被写体２００の像に応じた画素値を１画素（ピクセル）単位で出力する。プロセッサ１０４は、撮像装置１００の全体を制御する。特にプロセッサ１０４は、撮像素子１０２で取得された画素値に基づいて、混合係数を演算する処理を行う。メモリ１０６は、プロセッサ１０４が算出した混合係数を記憶する混合係数記憶部１０６ａと、画素値を記憶する画素値記憶部１０６ｂを有する。また、メモリ１０６は、独立成分分析による反復計算の中間結果を記憶するメモリ領域を有する。また、メモリ１０６は、プロセッサ１０４を機能させるためのプログラムを格納することができる。
【００２２】
図２は、撮像素子１０２の４つの画素からなるブロックを示す模式図である。図２に示すように、撮像素子１０２は、Ｒ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃ、及びＩＲ画素１０２ｄが１つの計測ブロックとして構成されている。Ｒ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃには、カラーフィルタが配列され、Ｒ＋ＩＲ画素１０２ａは赤色光を、Ｇ＋ＩＲ画素１０２ｂは緑色光を、Ｂ＋ＩＲ画素１０２ｃは青色光をそれぞれ検出し、光電変換により電気信号（画素値）に変換する。なお、上述したように、Ｒ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃは、各色の可視光とともに近赤外光も検出する。
【００２３】
また、ＩＲ画素１０２ｄは、近赤外光のみが透過可能なフィルタを備える画素である。このような構成によれば、昼間はＲ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃで検出すされる近赤外光成分を含んだ赤、緑、青の原信号からＩＲ画素１０２ｄの近赤外成分を差分除去することで、赤、緑、青の各信号を得ることができ、昼間であっても機械式ＩＲカットフィルタが不要となる。
【００２４】
プロセッサ１０８は、製品出荷後、実際にユーザが使用する過程において、混合係数を求めるため、撮像素子１０２内の全計測ブロックで計測された画素値に対して以下で説明する処理を行う。このため、プロセッサ１０８は、混合係数算出部１０４ａを備えている。混合係数算出部１０４ａは、後述する独立成分分析により、Ｒ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃ、及びＩＲ画素１０２ｄで計測された画素値から各混合係数を算出する。また、プロセッサ１０８は、求めた混合係数を用いてＲ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃ、及びＩＲ画素１０２ｄの各画素値を補償する画素値補償部１０４ｂを備える。混合係数算出部１０４ａ、および画素値補償部１０４ｂは、プロセッサ１０４とこれを機能させるプログラム（ソフトウェア）から構成することができる。この場合において、そのプログラムは、撮像装置１００が備えるメモリ１０６、または他の記憶部に格納されることができる。なお、混合係数算出部１０４ａ、および画素値補償部１０４ｂは、回路（ハードウェア）から構成することもできる。
【００２５】
前述したように、分光感度測定結果によれば、Ｒ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃにはＲＧＢ成分と一定量のＩＲ成分が混在している。また、ＩＲ画素１０２ｄには、ＩＲ成分と一定量のＲＧＢ成分が混ざっている。これらの関係は次式で表すことができる。
【００２６】
【数１】
【００２７】
上式において、Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘは、撮像素子１０２のＲ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃ、ＩＲ画素１０２ｄの画素値であり、Ｒ０，Ｇ０，Ｂ０，Ｉ０は、撮像素子１０２に照射される赤色光、緑色光、青色光、赤外光の強度である。また、Ｋｘｘ（ＫＲＩ，ＫＧＩ，ＫＢＩ，ＫＩＲ、ＫＩＧ、ＫＩＢ）は、それぞれの画素における各照射光の混合係数である。従って、各混合係数を求めることで、Ｒ０，Ｇ０，Ｂ０，Ｉ０を高精度に算出することができる。
【００２８】
ここで、式（１）〜式（４）を行列式で表すと、以下の式（５）が得られる。
【００２９】
【数２】
【００３０】
式（５）は、Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘが独立した信号であり、Ｒ，Ｇ，Ｂ，ＩＲが混合した状態であるため、独立成分分析の条件に適合する。換言すれば、式（５）は、非特許文献２のモデル２の行列式：Ｘ＝ＡＳと同じ形式になるため、独立成分分析として扱うことができる。これにより、独立成分分析より混合係数ＫＲＩ，ＫＧＩ，ＫＢＩ，ＫＩＲ、ＫＩＧ、ＫＩＢを得ることができ、Ｒ０，Ｇ０，Ｂ０，Ｉ０の計算に使用することができる。
【００３１】
独立成分分析の手法については後述するが、独立成分分析は複数回の反復計算を行うため、リアルタイムでＲｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘをサンプリングしてメモリ領域（画素値記憶部１０６ｂ）に保存し、システムがアイドリング状態になったら、独立成分分析による反復計算処理を行う。この際、独立成分分析による混合係数の計算は Ｒ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃ、ＩＲ画素１０２ｄの画素値が分かれば計算可能なため、外部デバイスに対する依存度が低く、適用範囲が広い。従って、独立成分分析による混合係数の計算はアイドリング状態などにおいて、撮像装置１００単体で行うことが可能である。混合係数の計算は、撮像装置１００の電源オン時など、計算負荷の小さい状態で定期的に行う。これにより、混合係数の経時的な変化に対応することができ、常に高画質の画像を撮像することができる。
【００３２】
次に、図３に基づいて、本実施形態に係る処理手順について説明する。ステップＳ１０では、通常の撮影状態において、Ｒ＋ＩＲ画素１０２ａの画素値Ｒｍｉｘ、Ｇ＋ＩＲ画素１０２ｂの画素値Ｇｍｉｘ、Ｂ＋ＩＲ画素１０２ｃの画素値Ｂｍｉｘ、ＩＲ画素１０２ｄの画素値Ｉｍｉｘを撮像素子１０２の各計算ブロックから取得する。
【００３３】
次に、ステップＳ１２では、各画素値Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘをメモリ１０６の画素値記憶部１０６ｂに保存する。
【００３４】
次に、ステップＳ１４では、プロセッサ１０４の計算能力に余力があるか否かを判定し、計算能力に余力がある場合は、ステップＳ１６へ進む。ステップＳ１６では、独立成分分析により１回の反復計算を行う。ここでは、各画素値Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘを式（５）のＲｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘに代入して、プロセッサ１０４側での独立成分分析より混合係数ＫＲＩ，ＫＧＩ，ＫＢＩ，ＫＩＲ、ＫＩＧ、ＫＩＢを求める。
【００３５】
次に、ステップＳ１８では、独立成分分析による反復計算が所定の回数に達したか否かを判定し、所定の回数に達していない場合は、ステップＳ２０へ進む。ステップＳ２０では、独立成分分析により反復計算の中間結果をメモリ１０６に保存する。ステップＳ２０の後はステップＳ１４へ戻り、以降の処理を再度行う。これにより、ステップＳ１４→Ｓ１６→Ｓ１８→Ｓ２０→Ｓ１４のループにより独立成分分析による反復計算が所定の回数まで行われる。
【００３６】
ステップＳ１８で独立成分分析による反復計算が所定の回数に達した場合は、ステップＳ２２へ進む。ステップＳ２２では、独立成分分析で得られた混合係数ＫＲＩ，ＫＧＩ，ＫＢＩ，ＫＩＲ、ＫＩＧ、ＫＩＢをメモリ１０６の混合係数記憶部１０６ａに保存する。
【００３７】
ステップＳ２２の後はステップＳ２４へ進む。ステップＳ２４では、混合係数ＫＲＩ，ＫＧＩ，ＫＢＩ，ＫＩＲ、ＫＩＧ、ＫＩＢを式（１）〜（４）に代入して、ＲＧＢの画素値及びＩＲの画素値を計算する。次のステップＳ２６では、ＲＧＢ及びＩＲ画素の画素値を出力する。
【００３８】
独立成分分析は複数回の反復計算によって混合行列と分離行列を求めるため、各計測ブロックの混合係数をリアルタイムで計算することとすると、比較的大きな実装コストを要する。しかし、独立成分分析を行う際に必要な情報はＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素、ＩＲ画素の画素値、Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘのみであるため、リアルタイムで得られたＲｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘをメモリ１０６に記憶しておき、アイドリング状態などシステムの計算処理に余力がある状態になったら独立成分分析を行うようにする。
【００３９】
メモリ１０６に各計測ブロックの混合係数を格納する領域を用意し、左上から右下までのスキャン順序で計測ブロックの混合係数を求めていく。そして、得られた混合係数をメモリ１０６の対応する記憶領域に保存する。対応する記憶領域に古い混合係数が残っている場合は、上書きして更新するか、古いデータとの平均を取って更新する等の処理を行う。
【００４０】
各計測ブロックの混合係数を記憶するメモリ１０６が容量不足の場合は、撮像素子１０２の撮像領域を幾つかの小領域に分割して、小領域内の計測ブロックが共通の混合係数を使用することも可能である。
【００４１】
なお、混合係数は頻繁に変化するようなパラメータではないため、混合係数を求めるための独立成分分析は比較的長期間のスパンで定期的に行っても良い。
【００４２】
次に、図３のステップＳ１６で行う独立成分分析による反復計算について説明する。式（５）を非特許文献２のモデル２の行列式：Ｘ＝ＡＳに適用する。混合ベクトルＸは、計測ブロックの各画素の画素値であり、以下のように表すことができる。また、混合行列Ａは、各混合係数からなる行列であり、以下のように表すことができる。また、互いに独立である分離信号Ｓは、ＲＧＢとＩＲ成分であり、以下のように表すことができる。
【００４３】
【数３】
【００４４】
実際の計算は、文献の式（４）：Ｙ＝ＷＸで行うことができる。以下のように、Ｙを分離信号とし、Ｙの各成分が互いに統計的に独立となるＷを求める。Ｗは、Ｗ＝ＰＤＡ＋となる分離行列を求めることになる。ここで、Ｄは対角行列であり、Ｐは置換行列である。また、Ａ＋は混合行列Ａの擬似逆行列である。
【００４５】
【数４】
【００４６】
このように、独立成分分析は、分離信号Ｙが互いに統計的に独立になるように、分離行列Ｗを求める処理である。分離信号が互いに独立であれば、互いに無相関でもある。従って、分離行列Ｗは信号を無相関化する行列といえる。独立成分分析の前処理として、観測信号の無相関化を行うのが有効である。このような前処理は白色化、または球状化と呼ばれ、主成分分析が良く使われる。
【００４７】
分離行列Ｗの１回の更新は、非特許文献２に記載された式（５）：Ｗｔ＋１=Ｗｔ+μ(I−ｇ（Ｙ）ＹＴ)Ｗｔの計算により行う。ここで、ＹＴは行列Ｙの転置行列、Ｉは単位行列、μは予め設定する学習率である。また、ｇ（Ｙ）はシグモイド関数であり、下式で表すことができる。
ｇ（φ）＝１／（１＋ｅ（−φ））
【００４８】
初期状態では行列Ｗ０の各要素（４ｘ４の行列であるため、合計１６要素）に乱数を入れて、上記の更新式で行列Ｗ１を計算し、Ｙ＝ＷＸより互いに独立する分離信号Ｙを求めることで、行列Ｗ２が計算可能になる。例えば、１００回の反復計算の場合は行列Ｗ１００まで計算し、Ｗ＝ＰＤＡ＋より混合行列Ａを求める。混合行列Ａを求めることによって、各混合係数ＫＲＩ，ＫＧＩ，ＫＢＩ，ＫＩＲ、ＫＩＧ、ＫＩＢを求めることができる。学習率μは一般的に小さい値ほど計算精度が良いが、一方で収束するまで反復回数が多くなる。
【００４９】
次に、計測ブロックに画像のエッジなどが位置しており、画素値が平坦でない場合に、周辺画素から計測ブロックを再構築する手法について説明する。上述した独立成分分析およびＲＧＢ画素値とＩＲ画素値の計算では、共通の画素値Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘを使用するため、計測ブロックに画像のエッジなどが位置しており、画素値が平坦でない場合は、画素値Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘが独立した信号ではなくなってしまう。このため、画素値が平坦でない計測ブロックに対しては、周辺画素から計測ブロックを再構築する。
【００５０】
図４は、周辺画素から計測ブロックを再構築する手法を説明するための模式図であって、図２に示した計測ブロックが撮像素子１０２の撮像面に複数配置された状態を示している。図3に示すように、ＩＲ０画素について、周囲のＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素を組み合わせて図２に示す計測ブロックを構築すると、計測ブロックは破線Ａ１で囲んだ「Ｒ０＋ＩＲ０、Ｇ０＋ＩＲ０、Ｂ０＋ＩＲ０、ＩＲ０」、破線Ａ２で囲んだ「Ｂ０＋ＩＲ０、ＩＲ０、Ｒ５＋ＩＲ５、Ｇ５＋ＩＲ５」、破線Ａ３で囲んだ「ＩＲ０、Ｂ３＋ＩＲ３、Ｇ５＋ＩＲ５、Ｒ４＋ＩＲ４」、破線Ａ４で囲んだ「Ｇ０＋ＩＲ０、Ｒ３＋ＩＲ３、ＩＲ０、Ｂ３＋ＩＲ３」の４通りが取り得る。
【００５１】
そして、中心のＩＲ０に対して周辺のＩＲ１、ＩＲ２、ＩＲ３、ＩＲ４、ＩＲ５、ＩＲ６、ＩＲ７、ＩＲ８との差分を取ることで、もっとも変化が少ない方向を知ることが出来るため、その方向に対応した計測ブロックを用いて独立成分分析およびＩＲ画素値の計算を行う。
【００５２】
例えば、中心のＩＲ０に対して周辺のＩＲ１、ＩＲ２、ＩＲ３、ＩＲ４、ＩＲ５、ＩＲ６、ＩＲ７、ＩＲ８との差分を取った場合に、ＩＲ０とＩＲ３の差分が最も小さい場合は、ＩＲ０からＩＲ３へ向かう方向では画素値が最も平坦（フラット）であり、画像のエッジが生じていないことが判る。このため、「ＩＲ０、Ｂ３＋ＩＲ３、Ｇ５＋ＩＲ５、Ｒ４＋ＩＲ４」を計測ブロックとして構築する。これにより、画像のエッジによる影響を確実に抑えることが可能である。
【００５３】
ＲＧＢ画素についても同様に、画素値が最も変化の少ない方向にある計測ブロックを用いて混合係数及び画素値の計算を行うことが可能である。
【００５４】
以上説明したように本実施形態によれば、製品出荷前に混合係数を測定する作業を必要とせず、出荷後の実際の運用環境下で自律的、自動的に可視光成分、赤外光成分の混合係数を計算するため、外部環境の影響によらず正確な混合係数の分離結果を得ることができ、混合係数を用いて画質の向上が達成することができる。独立成分分析の反復計算を撮像装置１００の電源オン時などアイドリング状態で行うことが可能なため、計算能力の低いシステムでも適用できる。さらに、混合係数の計測は外部光源に依存しないため、測定の時間帯や間隔など自由に設定することが可能である。また、非特許文献１ではカラーフィルタの環境耐久性を高めるために複雑な製造プロセスを経て、混合係数の経時変化を抑えるようにしているため、製造コストが大幅に上昇してしまうが、本実施形態では混合係数を逐次算出することができるため、光学多層膜を形成する必要がなく、一定の時間間隔で混合係数を計算することができる。従って、経時変化が生じやすく、比較的環境耐久性の低い撮像素子（センサー）にも適用することが可能である。さらに、式（４）に混合係数ＫＩＲ、ＫＩＧ、ＫＩＢを設けることで、赤外光のカラーフィルタが可視光成分を完全にカットできない場合にも対応できるようになるため、混合係数をより詳細に求めることができ。従って、撮像素子のカラーフィルタに対する要求を低減することができ、製造コストを低下することが可能である。これにより、カラーフィルタ選択の自由度が高まるとともに、経年変化等による混合係数の変動の影響を抑止できるため、カラーフィルタの製造コストを低減することが可能となる。
【００５５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５６】
１００ 撮像装置
１０２ 撮像素子
１０４ プロセッサ
１０４ａ 混合係数算出部
１０４ｂ 画素値補償部
１０６ メモリ
１０６ａ 混合係数記憶部
１０６ｂ 画素値記憶部
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
近時においては、デジタルカメラなどの撮像装置等において、下記の特許文献１〜３、非特許文献１に記載されているように、赤、緑、青（ＲＧＢ）の画素値を、近赤外線成分を考慮して求める方法が知られている。
【０００３】
また、下記の非特許文献２には、独立成分分析を用いた画像特徴抽出について記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１５０８７号公報
【特許文献２】特開２００７−２０２１０８号公報
【特許文献３】特開２０１１−２９８１０号公報
【特許文献４】特開２０１０−９８３５８号公報
【非特許文献】
【０００５】
【非特許文献１】香山信三、田中圭介、廣瀬裕 「監視カメラ用昼夜兼用イメージセンサ」 Ｐａｎａｓｏｎｉｃ Ｔｅｃｈｎｉｃａｌ Ｊｏｕｒｎａｌ Ｖｏｌ．５４ Ｎｏ．４ Ｊａｎ．２００９
【非特許文献２】陳 延偉 「独立成分分析 (2) − ICA 基底による特徴抽出−」 ＭＥＤＩＣＡＬ ＩＭＡＧＩＮＧ ＴＥＣＨＮＯＬＯＧＹ Ｖｏｌ．２１ Ｎｏ．２ Ｍａｒｃｈ ２００３
【発明の概要】
【発明が解決しようとする課題】
【０００６】
赤色光、緑色光、青色光を検出する各画素（Ｒ画素、Ｇ画素、Ｂ画素）には、それぞれ、ＲＧＢ成分に加えて近赤外光成分（ＩＲ成分）が混在して検出される。このため、赤色光、緑色光、青色光を検出する各画素にＩＲ成分が含まれている割合を示す混合係数を製品出荷前に測定しておき、混在するＩＲ成分を分離する必要がある。このため、製品出荷前に煩雑な工程が必要となり、製造コストの上昇といった問題が生じていた。
【０００７】
また、製品出荷前に混合係数を測定した場合、経年劣化等の要因により、その後に混合係数の値が変化してしまうことが想定される。このため、製品出荷後に長期間に渡って、ＩＲ成分を精度良く分離することは困難であった。
【０００８】
更に、赤外光を検出するＩＲ画素は、近赤外光を透過させるフィルタを備えていたとしても、ＩＲ成分に加えてＲＧＢ成分が混在して検出される。しかしながら、上記従来の方法では、いずれもＩＲ画素にＲＧＢ成分が混在していることは想定していなかった。例えば特許文献４では、Ｒ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素、ＩＲ画素を加重平均で近似し、得られた擬似中心ＩＲ画素を差し引くことでＲＧＢ各画素を求めているが、擬似中心ＩＲ画素を差し引く際は比重係数を考慮しておらず、ＩＲ画素にＲＧＢ成分が混在していることは想定していなかった。一方、非特許文献１によれば、赤、緑、青の原信号から近赤外専用画素の近赤外信号成分を除去する差分処理を施しても、Ｒ画素には９％、Ｇ画素には４％、Ｂ画素２１％の赤外光成分が残存している。また、非特許文献１の分光感度の測定値を見ても、ＩＲ画素には一定量のＲＧＢ成分が混在していることが分かる。従って、ＩＲ画素にＲＧＢ成分が混在していないという仮定条件下で混合係数を算出すると、混合係数を精度良く求めることは困難である。
【０００９】
このため、混合係数を用いて画素値を補償した場合においても、補償した画素値の精度が低下してしまい、所望の高画質の画像を得ることができないという問題が生じていた。
【００１０】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、赤外光を検出する画素に混在する可視光成分を考慮した上で、混合係数を高精度に求めることが可能な、新規かつ改良された撮像装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある観点によれば、可視光成分、及び赤外光成分のそれぞれの画素値を取得する複数の画素を有する撮像素子と、前記それぞれの画素値に基づいて、独立成分分析による反復計算により、前記可視光成分、及び前記赤外光成分の混合係数を算出する混合係数算出部と、前記混合係数算出部が算出した前記混合係数を記憶する混合係数記憶部と、を備える撮像装置が提供される。
【００１２】
上記構成によれば、可視光成分、及び赤外光成分のそれぞれの画素値に基づいて、独立成分分析による反復計算により、可視光成分、及び赤外光成分の混合係数が算出される。従って、製品出荷時に混合係数を測定する必要がなく、製品出荷後に混合係数を逐次算出することができる。
【００１３】
前記撮像素子は、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値を取得する４つの画素を１単位とする計測ブロックを有し、前記混合係数算出部は、前記それぞれの画素値に基づいて、独立成分分析による反復計算により、前記赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値に他の光が混在する割合を示す混合係数を算出する。この構成によれば、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値に基づいて、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値に他の光が混在する割合を示す混合係数を算出することができる。
【００１４】
また、前記混合係数に基づいて、可視光成分及び赤外光成分の画素値を補償する画素値補償部を更に備える。この構成によれば、混合係数に基づいて画素値が補償されるため、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値を高精度に取得することができる。
【００１５】
また、前記計測ブロックの範囲は、前記赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値に対する周辺の画素値の差分に基づいて構築される。この構成によれば、計測ブロックに画像のエッジなどが位置しており、画素値が平坦でない場合に、中心の画素に対する周辺の画素の画素値の差分が少なくなるように計測ブロックを構築することができるため、独立成分分析による混合係数の算出を高精度に行うことができる。
【００１６】
また、前記それぞれの画素値を記憶する画素値記憶部を有し、前記混合係数算出部は、使用条件に応じた計算負荷が所定値よりも低い状態において、前記画素値記憶部に記憶された前記それぞれの画素値を用いて前記独立成分分析による反復計算を行う。この構成によれば、画素値を記憶することにより、記憶した画素値を用いて計算負荷の低い状態で独立成分分析による反復計算を行うことが可能となる。
【発明の効果】
【００１７】
本発明によれば、赤外光を検出する画素に混在する可視光成分を考慮した上で、混合係数を高精度に求めることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る撮像装置の構成を示す模式図である。
【図２】撮像素子の画素を示す模式図である。
【図３】本実施形態に係る撮像素子の処理手順を示すフローチャートである。
【図４】周辺画素から計測ブロックを再構築する手法を説明するための模式図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
図１は、本発明の一実施形態に係る撮像装置１００の構成を示す模式図である。撮像装置１００は、一例として、機械式のＩＲカットフィルタを用いない昼夜兼用（Ｄａｙ／Ｎｉｇｈｔ）カメラ、投光器を有していない監視カメラ等のカメラである。先ず、図１を参照して、本発明の一実施形態に係る撮像装置１００の構成について説明する。図１に示すように、撮像装置１００は、撮像素子（Ｄａｙ／Ｎｉｇｈｔ Ｉｍａｇｅ Ｓｅｎｓｏｒ）１０２、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）１０４、メモリ（Ｍｅｍｏｒｙ）１０６、を有して構成される。
【００２１】
図１に示す構成において、撮像素子１０２は、撮像光学系（不図示）によって被写体２００の像が結像される撮像面を備えており、被写体２００の像に応じた画素値を１画素（ピクセル）単位で出力する。プロセッサ１０４は、撮像装置１００の全体を制御する。特にプロセッサ１０４は、撮像素子１０２で取得された画素値に基づいて、混合係数を演算する処理を行う。メモリ１０６は、プロセッサ１０４が算出した混合係数を記憶する混合係数記憶部１０６ａと、画素値を記憶する画素値記憶部１０６ｂを有する。また、メモリ１０６は、独立成分分析による反復計算の中間結果を記憶するメモリ領域を有する。また、メモリ１０６は、プロセッサ１０４を機能させるためのプログラムを格納することができる。
【００２２】
図２は、撮像素子１０２の４つの画素からなるブロックを示す模式図である。図２に示すように、撮像素子１０２は、Ｒ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃ、及びＩＲ画素１０２ｄが１つの計測ブロックとして構成されている。Ｒ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃには、カラーフィルタが配列され、Ｒ＋ＩＲ画素１０２ａは赤色光を、Ｇ＋ＩＲ画素１０２ｂは緑色光を、Ｂ＋ＩＲ画素１０２ｃは青色光をそれぞれ検出し、光電変換により電気信号（画素値）に変換する。なお、上述したように、Ｒ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃは、各色の可視光とともに近赤外光も検出する。
【００２３】
また、ＩＲ画素１０２ｄは、近赤外光のみが透過可能なフィルタを備える画素である。このような構成によれば、昼間はＲ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃで検出すされる近赤外光成分を含んだ赤、緑、青の原信号からＩＲ画素１０２ｄの近赤外成分を差分除去することで、赤、緑、青の各信号を得ることができ、昼間であっても機械式ＩＲカットフィルタが不要となる。
【００２４】
プロセッサ１０８は、製品出荷後、実際にユーザが使用する過程において、混合係数を求めるため、撮像素子１０２内の全計測ブロックで計測された画素値に対して以下で説明する処理を行う。このため、プロセッサ１０８は、混合係数算出部１０４ａを備えている。混合係数算出部１０４ａは、後述する独立成分分析により、Ｒ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃ、及びＩＲ画素１０２ｄで計測された画素値から各混合係数を算出する。また、プロセッサ１０８は、求めた混合係数を用いてＲ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃ、及びＩＲ画素１０２ｄの各画素値を補償する画素値補償部１０４ｂを備える。混合係数算出部１０４ａ、および画素値補償部１０４ｂは、プロセッサ１０４とこれを機能させるプログラム（ソフトウェア）から構成することができる。この場合において、そのプログラムは、撮像装置１００が備えるメモリ１０６、または他の記憶部に格納されることができる。なお、混合係数算出部１０４ａ、および画素値補償部１０４ｂは、回路（ハードウェア）から構成することもできる。
【００２５】
前述したように、分光感度測定結果によれば、Ｒ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃにはＲＧＢ成分と一定量のＩＲ成分が混在している。また、ＩＲ画素１０２ｄには、ＩＲ成分と一定量のＲＧＢ成分が混ざっている。これらの関係は次式で表すことができる。
【００２６】
【数１】
【００２７】
上式において、Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘは、撮像素子１０２のＲ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃ、ＩＲ画素１０２ｄの画素値であり、Ｒ０，Ｇ０，Ｂ０，Ｉ０は、撮像素子１０２に照射される赤色光、緑色光、青色光、赤外光の強度である。また、Ｋｘｘ（ＫＲＩ，ＫＧＩ，ＫＢＩ，ＫＩＲ、ＫＩＧ、ＫＩＢ）は、それぞれの画素における各照射光の混合係数である。従って、各混合係数を求めることで、Ｒ０，Ｇ０，Ｂ０，Ｉ０を高精度に算出することができる。
【００２８】
ここで、式（１）〜式（４）を行列式で表すと、以下の式（５）が得られる。
【００２９】
【数２】
【００３０】
式（５）は、Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘが独立した信号であり、Ｒ，Ｇ，Ｂ，ＩＲが混合した状態であるため、独立成分分析の条件に適合する。換言すれば、式（５）は、非特許文献２のモデル２の行列式：Ｘ＝ＡＳと同じ形式になるため、独立成分分析として扱うことができる。これにより、独立成分分析より混合係数ＫＲＩ，ＫＧＩ，ＫＢＩ，ＫＩＲ、ＫＩＧ、ＫＩＢを得ることができ、Ｒ０，Ｇ０，Ｂ０，Ｉ０の計算に使用することができる。
【００３１】
独立成分分析の手法については後述するが、独立成分分析は複数回の反復計算を行うため、リアルタイムでＲｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘをサンプリングしてメモリ領域（画素値記憶部１０６ｂ）に保存し、システムがアイドリング状態になったら、独立成分分析による反復計算処理を行う。この際、独立成分分析による混合係数の計算は Ｒ＋ＩＲ画素１０２ａ、Ｇ＋ＩＲ画素１０２ｂ、Ｂ＋ＩＲ画素１０２ｃ、ＩＲ画素１０２ｄの画素値が分かれば計算可能なため、外部デバイスに対する依存度が低く、適用範囲が広い。従って、独立成分分析による混合係数の計算はアイドリング状態などにおいて、撮像装置１００単体で行うことが可能である。混合係数の計算は、撮像装置１００の電源オン時など、計算負荷の小さい状態で定期的に行う。これにより、混合係数の経時的な変化に対応することができ、常に高画質の画像を撮像することができる。
【００３２】
次に、図３に基づいて、本実施形態に係る処理手順について説明する。ステップＳ１０では、通常の撮影状態において、Ｒ＋ＩＲ画素１０２ａの画素値Ｒｍｉｘ、Ｇ＋ＩＲ画素１０２ｂの画素値Ｇｍｉｘ、Ｂ＋ＩＲ画素１０２ｃの画素値Ｂｍｉｘ、ＩＲ画素１０２ｄの画素値Ｉｍｉｘを撮像素子１０２の各計算ブロックから取得する。
【００３３】
次に、ステップＳ１２では、各画素値Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘをメモリ１０６の画素値記憶部１０６ｂに保存する。
【００３４】
次に、ステップＳ１４では、プロセッサ１０４の計算能力に余力があるか否かを判定し、計算能力に余力がある場合は、ステップＳ１６へ進む。ステップＳ１６では、独立成分分析により１回の反復計算を行う。ここでは、各画素値Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘを式（５）のＲｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘに代入して、プロセッサ１０４側での独立成分分析より混合係数ＫＲＩ，ＫＧＩ，ＫＢＩ，ＫＩＲ、ＫＩＧ、ＫＩＢを求める。
【００３５】
次に、ステップＳ１８では、独立成分分析による反復計算が所定の回数に達したか否かを判定し、所定の回数に達していない場合は、ステップＳ２０へ進む。ステップＳ２０では、独立成分分析により反復計算の中間結果をメモリ１０６に保存する。ステップＳ２０の後はステップＳ１４へ戻り、以降の処理を再度行う。これにより、ステップＳ１４→Ｓ１６→Ｓ１８→Ｓ２０→Ｓ１４のループにより独立成分分析による反復計算が所定の回数まで行われる。
【００３６】
ステップＳ１８で独立成分分析による反復計算が所定の回数に達した場合は、ステップＳ２２へ進む。ステップＳ２２では、独立成分分析で得られた混合係数ＫＲＩ，ＫＧＩ，ＫＢＩ，ＫＩＲ、ＫＩＧ、ＫＩＢをメモリ１０６の混合係数記憶部１０６ａに保存する。
【００３７】
ステップＳ２２の後はステップＳ２４へ進む。ステップＳ２４では、混合係数ＫＲＩ，ＫＧＩ，ＫＢＩ，ＫＩＲ、ＫＩＧ、ＫＩＢを式（１）〜（４）に代入して、ＲＧＢの画素値及びＩＲの画素値を計算する。次のステップＳ２６では、ＲＧＢ及びＩＲ画素の画素値を出力する。
【００３８】
独立成分分析は複数回の反復計算によって混合行列と分離行列を求めるため、各計測ブロックの混合係数をリアルタイムで計算することとすると、比較的大きな実装コストを要する。しかし、独立成分分析を行う際に必要な情報はＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素、ＩＲ画素の画素値、Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘのみであるため、リアルタイムで得られたＲｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘをメモリ１０６に記憶しておき、アイドリング状態などシステムの計算処理に余力がある状態になったら独立成分分析を行うようにする。
【００３９】
メモリ１０６に各計測ブロックの混合係数を格納する領域を用意し、左上から右下までのスキャン順序で計測ブロックの混合係数を求めていく。そして、得られた混合係数をメモリ１０６の対応する記憶領域に保存する。対応する記憶領域に古い混合係数が残っている場合は、上書きして更新するか、古いデータとの平均を取って更新する等の処理を行う。
【００４０】
各計測ブロックの混合係数を記憶するメモリ１０６が容量不足の場合は、撮像素子１０２の撮像領域を幾つかの小領域に分割して、小領域内の計測ブロックが共通の混合係数を使用することも可能である。
【００４１】
なお、混合係数は頻繁に変化するようなパラメータではないため、混合係数を求めるための独立成分分析は比較的長期間のスパンで定期的に行っても良い。
【００４２】
次に、図３のステップＳ１６で行う独立成分分析による反復計算について説明する。式（５）を非特許文献２のモデル２の行列式：Ｘ＝ＡＳに適用する。混合ベクトルＸは、計測ブロックの各画素の画素値であり、以下のように表すことができる。また、混合行列Ａは、各混合係数からなる行列であり、以下のように表すことができる。また、互いに独立である分離信号Ｓは、ＲＧＢとＩＲ成分であり、以下のように表すことができる。
【００４３】
【数３】
【００４４】
実際の計算は、文献の式（４）：Ｙ＝ＷＸで行うことができる。以下のように、Ｙを分離信号とし、Ｙの各成分が互いに統計的に独立となるＷを求める。Ｗは、Ｗ＝ＰＤＡ＋となる分離行列を求めることになる。ここで、Ｄは対角行列であり、Ｐは置換行列である。また、Ａ＋は混合行列Ａの擬似逆行列である。
【００４５】
【数４】
【００４６】
このように、独立成分分析は、分離信号Ｙが互いに統計的に独立になるように、分離行列Ｗを求める処理である。分離信号が互いに独立であれば、互いに無相関でもある。従って、分離行列Ｗは信号を無相関化する行列といえる。独立成分分析の前処理として、観測信号の無相関化を行うのが有効である。このような前処理は白色化、または球状化と呼ばれ、主成分分析が良く使われる。
【００４７】
分離行列Ｗの１回の更新は、非特許文献２に記載された式（５）：Ｗｔ＋１=Ｗｔ+μ(I−ｇ（Ｙ）ＹＴ)Ｗｔの計算により行う。ここで、ＹＴは行列Ｙの転置行列、Ｉは単位行列、μは予め設定する学習率である。また、ｇ（Ｙ）はシグモイド関数であり、下式で表すことができる。
ｇ（φ）＝１／（１＋ｅ（−φ））
【００４８】
初期状態では行列Ｗ０の各要素（４ｘ４の行列であるため、合計１６要素）に乱数を入れて、上記の更新式で行列Ｗ１を計算し、Ｙ＝ＷＸより互いに独立する分離信号Ｙを求めることで、行列Ｗ２が計算可能になる。例えば、１００回の反復計算の場合は行列Ｗ１００まで計算し、Ｗ＝ＰＤＡ＋より混合行列Ａを求める。混合行列Ａを求めることによって、各混合係数ＫＲＩ，ＫＧＩ，ＫＢＩ，ＫＩＲ、ＫＩＧ、ＫＩＢを求めることができる。学習率μは一般的に小さい値ほど計算精度が良いが、一方で収束するまで反復回数が多くなる。
【００４９】
次に、計測ブロックに画像のエッジなどが位置しており、画素値が平坦でない場合に、周辺画素から計測ブロックを再構築する手法について説明する。上述した独立成分分析およびＲＧＢ画素値とＩＲ画素値の計算では、共通の画素値Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘを使用するため、計測ブロックに画像のエッジなどが位置しており、画素値が平坦でない場合は、画素値Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘが独立した信号ではなくなってしまう。このため、画素値が平坦でない計測ブロックに対しては、周辺画素から計測ブロックを再構築する。
【００５０】
図４は、周辺画素から計測ブロックを再構築する手法を説明するための模式図であって、図２に示した計測ブロックが撮像素子１０２の撮像面に複数配置された状態を示している。図3に示すように、ＩＲ０画素について、周囲のＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素を組み合わせて図２に示す計測ブロックを構築すると、計測ブロックは破線Ａ１で囲んだ「Ｒ０＋ＩＲ０、Ｇ０＋ＩＲ０、Ｂ０＋ＩＲ０、ＩＲ０」、破線Ａ２で囲んだ「Ｂ０＋ＩＲ０、ＩＲ０、Ｒ５＋ＩＲ５、Ｇ５＋ＩＲ５」、破線Ａ３で囲んだ「ＩＲ０、Ｂ３＋ＩＲ３、Ｇ５＋ＩＲ５、Ｒ４＋ＩＲ４」、破線Ａ４で囲んだ「Ｇ０＋ＩＲ０、Ｒ３＋ＩＲ３、ＩＲ０、Ｂ３＋ＩＲ３」の４通りが取り得る。
【００５１】
そして、中心のＩＲ０に対して周辺のＩＲ１、ＩＲ２、ＩＲ３、ＩＲ４、ＩＲ５、ＩＲ６、ＩＲ７、ＩＲ８との差分を取ることで、もっとも変化が少ない方向を知ることが出来るため、その方向に対応した計測ブロックを用いて独立成分分析およびＩＲ画素値の計算を行う。
【００５２】
例えば、中心のＩＲ０に対して周辺のＩＲ１、ＩＲ２、ＩＲ３、ＩＲ４、ＩＲ５、ＩＲ６、ＩＲ７、ＩＲ８との差分を取った場合に、ＩＲ０とＩＲ３の差分が最も小さい場合は、ＩＲ０からＩＲ３へ向かう方向では画素値が最も平坦（フラット）であり、画像のエッジが生じていないことが判る。このため、「ＩＲ０、Ｂ３＋ＩＲ３、Ｇ５＋ＩＲ５、Ｒ４＋ＩＲ４」を計測ブロックとして構築する。これにより、画像のエッジによる影響を確実に抑えることが可能である。
【００５３】
ＲＧＢ画素についても同様に、画素値が最も変化の少ない方向にある計測ブロックを用いて混合係数及び画素値の計算を行うことが可能である。
【００５４】
以上説明したように本実施形態によれば、製品出荷前に混合係数を測定する作業を必要とせず、出荷後の実際の運用環境下で自律的、自動的に可視光成分、赤外光成分の混合係数を計算するため、外部環境の影響によらず正確な混合係数の分離結果を得ることができ、混合係数を用いて画質の向上が達成することができる。独立成分分析の反復計算を撮像装置１００の電源オン時などアイドリング状態で行うことが可能なため、計算能力の低いシステムでも適用できる。さらに、混合係数の計測は外部光源に依存しないため、測定の時間帯や間隔など自由に設定することが可能である。また、非特許文献１ではカラーフィルタの環境耐久性を高めるために複雑な製造プロセスを経て、混合係数の経時変化を抑えるようにしているため、製造コストが大幅に上昇してしまうが、本実施形態では混合係数を逐次算出することができるため、光学多層膜を形成する必要がなく、一定の時間間隔で混合係数を計算することができる。従って、経時変化が生じやすく、比較的環境耐久性の低い撮像素子（センサー）にも適用することが可能である。さらに、式（４）に混合係数ＫＩＲ、ＫＩＧ、ＫＩＢを設けることで、赤外光のカラーフィルタが可視光成分を完全にカットできない場合にも対応できるようになるため、混合係数をより詳細に求めることができ。従って、撮像素子のカラーフィルタに対する要求を低減することができ、製造コストを低下することが可能である。これにより、カラーフィルタ選択の自由度が高まるとともに、経年変化等による混合係数の変動の影響を抑止できるため、カラーフィルタの製造コストを低減することが可能となる。
【００５５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５６】
１００ 撮像装置
１０２ 撮像素子
１０４ プロセッサ
１０４ａ 混合係数算出部
１０４ｂ 画素値補償部
１０６ メモリ
１０６ａ 混合係数記憶部
１０６ｂ 画素値記憶部
【特許請求の範囲】
【請求項１】
可視光成分、及び赤外光成分のそれぞれの画素値を取得する複数の画素を有する撮像素子と、
前記それぞれの画素値に基づいて、独立成分分析による反復計算により、前記可視光成分、及び前記赤外光成分の混合係数を算出する混合係数算出部と、
前記混合係数算出部が算出した前記混合係数を記憶する混合係数記憶部と、
を備えることを特徴とする、撮像装置。
【請求項２】
前記撮像素子は、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値を取得する４つの画素を１単位とする計測ブロックを有し、
前記混合係数算出部は、前記それぞれの画素値に基づいて、独立成分分析による反復計算により、前記赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値に他の光が混在する割合を示す混合係数を算出することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記混合係数に基づいて、前記可視光成分及び赤外光成分の画素値を補償する画素値補償部を更に備えることを特徴とする、請求項１又は２に記載の撮像装置。
【請求項４】
前記計測ブロックの範囲は、前記赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値に対する周辺の画素値の差分に基づいて構築されることを特徴とする、請求項２に記載の撮像装置。
【請求項５】
前記それぞれの画素値を記憶する画素値記憶部を有し、
前記混合係数算出部は、使用条件に応じた計算負荷が所定値よりも低い状態において、前記画素値記憶部に記憶された前記それぞれの画素値を用いて前記独立成分分析による反復計算を行うことを特徴とする、請求項１に記載の撮像装置。
【請求項１】
可視光成分、及び赤外光成分のそれぞれの画素値を取得する複数の画素を有する撮像素子と、
前記それぞれの画素値に基づいて、独立成分分析による反復計算により、前記可視光成分、及び前記赤外光成分の混合係数を算出する混合係数算出部と、
前記混合係数算出部が算出した前記混合係数を記憶する混合係数記憶部と、
を備えることを特徴とする、撮像装置。
【請求項２】
前記撮像素子は、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値を取得する４つの画素を１単位とする計測ブロックを有し、
前記混合係数算出部は、前記それぞれの画素値に基づいて、独立成分分析による反復計算により、前記赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値に他の光が混在する割合を示す混合係数を算出することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記混合係数に基づいて、前記可視光成分及び赤外光成分の画素値を補償する画素値補償部を更に備えることを特徴とする、請求項１又は２に記載の撮像装置。
【請求項４】
前記計測ブロックの範囲は、前記赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値に対する周辺の画素値の差分に基づいて構築されることを特徴とする、請求項２に記載の撮像装置。
【請求項５】
前記それぞれの画素値を記憶する画素値記憶部を有し、
前記混合係数算出部は、使用条件に応じた計算負荷が所定値よりも低い状態において、前記画素値記憶部に記憶された前記それぞれの画素値を用いて前記独立成分分析による反復計算を行うことを特徴とする、請求項１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−１０６２７７（Ｐ２０１３−１０６２７７Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２５００６１（Ｐ２０１１−２５００６１）
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]