撮像素子、及び撮像装置
【課題】撮像画像の輝度レベルに応じて、緑色成分に対する制御を十分に行うことができる撮像素子及び撮像装置を提供する。
【解決手段】撮像素子１４０は、赤色のカラーフィルタ（Ｒ）と、青色のカラーフィルタ（Ｂ）と、２種類の緑色の第１、第２カラーフィルタ（Ｇ１、Ｇ２）とを備える。緑色の第１カラーフィルタ（Ｇ１）は、緑色の第２カラーフィルタ（Ｇ２）の分光感度のピークの波長よりも長波長側領域に分光感度のピークを有する。
【解決手段】撮像素子１４０は、赤色のカラーフィルタ（Ｒ）と、青色のカラーフィルタ（Ｂ）と、２種類の緑色の第１、第２カラーフィルタ（Ｇ１、Ｇ２）とを備える。緑色の第１カラーフィルタ（Ｇ１）は、緑色の第２カラーフィルタ（Ｇ２）の分光感度のピークの波長よりも長波長側領域に分光感度のピークを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数種類のカラーフィルタを有する撮像素子、及び該撮像素子を備える撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、撮像装置を開示する。この撮像装置は、撮像した画像に対して、明暗の順応制御を行うことができる。つまり、この撮像装置は、暗くなるにつれて、撮像画像に対して青色系の感度が上昇するように制御する。一方、明るくなるにつれて、撮像画像に対して赤色系の感度が上昇するように制御する。
【０００３】
これにより、この撮像装置は、人間の目の順応に近い画像を撮像できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１９６９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に開示されている撮像装置は、撮像画像の輝度レベルに応じて、青色成分と赤色成分の制御については十分に行うことができるかもしれない。しかしながら、上記特許文献１に開示されている撮像装置では、撮像画像の輝度レベルに応じて、緑色成分に対する制御を十分に行うことができない。
【０００６】
本開示は、撮像画像の輝度レベルに応じて、緑色成分に対する制御を十分に行うことができる撮像素子及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の撮像素子は、入射した光に基づき画像信号を生成する撮像素子であって、赤色のカラーフィルタと、青色のカラーフィルタと、２種類の緑色の第１、第２カラーフィルタとを備える。緑色の第１カラーフィルタは、緑色の第２カラーフィルタの分光感度のピークの波長よりも長波長側領域に分光感度のピークを有する。
【０００８】
本開示の撮像装置は、上記の撮像素子と、撮像素子の出力から画像信号生成する信号処理部と、被写体の照度レベルに応じて輝度信号の構成を補正する制御部と、を備える。
【発明の効果】
【０００９】
上記態様の撮像素子及び撮像装置によれば、撮像画像の輝度レベルに応じて、緑色成分に対する制御を十分に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１のデジタルビデオカメラの構成を示す図。
【図２】実施の形態１のカラーフィルタの配置を示す平面図。
【図３】実施の形態１のＣＭＯＳイメージセンサの各カラーフィルタの分光感度を示す図。
【図４】実施の形態１の撮像画像から輝度信号を生成する動作を説明するためのフロー図。
【図５】実施の形態１の緑色の補正信号を求めるための係数を算出するための関係を示す図。
【図６】他の実施の形態のカラーフィルタ（１）の配置を示す平面図。
【図７】他の実施の形態のカラーフィルタ（２）の配置を示す平面図。
【図８】他の実施の形態のカラーフィルタ（３）の配置を示す平面図。
【図９】他の実施の形態のカラーフィルタ（４）の配置を示す平面図。
【図１０】他の実施の形態のカラーフィルタ（５）の配置を示す平面図。
【図１１】比較例のカラーフィルタの分光感度を示す図。
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１２】
以下、図面を用いて、ＣＭＯＳイメージセンサ（撮像素子）を備えるデジタルビデオカメラ（撮像装置）を一例として、実施の形態を説明する。
【００１３】
［１．実施の形態１］
１−１．デジタルビデオカメラ（撮像装置）の構成
まず、本実施の形態１に係るデジタルビデオカメラの電気的構成例について図１を用いて説明する。図１は、デジタルビデオカメラ１００の構成を示すブロック図である。デジタルビデオカメラ１００は、１又は複数のレンズからなる光学系１１０により形成された被写体像をＣＭＯＳイメージセンサ１４０で撮像する撮像装置である。
【００１４】
ＣＭＯＳイメージセンサ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルビデオカメラ１００の構成を詳細に説明する。
【００１５】
光学系１１０は、ズームレンズやフォーカスレンズにより構成される。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、又は縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。
【００１６】
レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動させる。レンズ駆動部１２０は、例えばズームレンズを駆動するズームモータや、フォーカスレンズを駆動するフォーカスモータを含む。
【００１７】
絞り部３００は、使用者の設定に応じて又は自動で、光の開口部の大きさを調整し、透過する光の量を調整する。
【００１８】
シャッタ部１３０は、ＣＭＯＳイメージセンサ１４０に透過させる光を遮光するための手段である。
【００１９】
ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＭＯＳイメージセンサ１４０は、カラーフィルタ１４１（詳細は後述）と、受光素子と、ＡＧＣ（ゲイン・コントロールアンプ）を含む。受光素子は、交換レンズ１０１によって集光された光学的信号を電気信号に変換し、画像情報を生成する。ＡＧＣ（ゲイン・コントロールアンプ）は、受光素子から出力された電気信号を増幅する。ＣＭＯＳイメージセンサ１４０はさらに、露光、転送、電子シャッタなどの各種動作を行うための駆動回路等を含む。詳細については、後述する。
【００２０】
Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル画像データに変換する。
【００２１】
画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成され、変換されたデジタル画像データに対して、コントローラ１８０の制御を受け、各種処理を施す。画像処理部１６０は、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。
【００２２】
コントローラ１８０は、デジタルビデオカメラ１００の全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコンなどで実現できる。
【００２３】
バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００２４】
カードスロット１９０は、メモリカード２００を着脱可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。
【００２５】
メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。
【００２６】
内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶している。
【００２７】
操作部２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部２１０は、例えば、使用者からの操作を受け付ける十字キーや決定釦等がこれにあたる。
【００２８】
表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。
【００２９】
１−２．ＣＭＯＳイメージセンサの構成
次に、実施の形態１に係るＣＭＯＳイメージセンサの構成について、図２、図３、図１１を用いて説明する。図２は、ＣＭＯＳイメージセンサ１４０が備えるカラーフィルタ１４１を示す平面図である。図３は、ＣＭＯＳイメージセンサ１４０に用いられる各カラーフィルタの分光感度を説明するための模式図である。図１１は、比較例に係るカラーフィルタの分光を示す分光感度図であって、図２に示すような分光感度を有するカラーフィルタを用いる理由を説明するためのものである。
【００３０】
図２に示すように、本例に係るＣＭＯＳイメージセンサ１４０は、ロウ方向（Row direction）カラム方向（Column direction）に沿ってマトリックス状に配置される４種類のカラーフィルタを有する。即ち、ＣＭＯＳイメージセンサ１４０は、２種類の緑色のカラーフィルタ（Ｇ１、Ｇ２）と、１種類の赤色のカラーフィルタ（Ｒ）と、１種類の青色のカラーフィルタ（Ｂ）と、を有する。
【００３１】
分光感度の異なる２種類の緑色のカラーフィルタ（Ｇ１、Ｇ２）は、ＣＭＯＳイメージセンサ１４０において、ロウ方向及びカラム方向において、市松模様状に配置される。また、分光感度の異なる２種類の緑色のカラーフィルタ（Ｇ１、Ｇ２）は、ＣＭＯＳイメージセンサ１４０のロウ方向及びカラム方向において、互いに対して補間的に配置される。
【００３２】
赤色、青色のカラーフィルタ（Ｒ、Ｂ）は、ＣＭＯＳイメージセンサ１４０のロウ方向及びカラム方向において、緑色のカラーフィルタ（Ｇ１）に対して補間的に配置される。また、赤色、青色のカラーフィルタ（Ｒ、Ｂ）の配置の順序は、ロウ方向において、配置される列ごとにそれぞれ反転される。
【００３３】
なお、ここでは、図示を省略するが、各カラーフィルタを透過した光は、フォトダイオード等を含む出力回路により、所定の画像データに変換される。また、各カラーフィルタ上には、光を集光するためのマイクロレンズ等が配置される。
【００３４】
＜カラーフィルタの分光感度（実施の形態１）＞
ここで、上記各カラーフィルタの分光感度は、図３に示す通りである。具体的には、青色（Ｂ）のカラーフィルタは、４００ｎｍ近傍の短波長に分光感度のピーク（最高値）を有する。また、赤色（Ｒ）のカラーフィルタは、６００ｎｍ近傍の長波長に分光感度のピーク（最高値）を有する。そして、分光感度の異なる２種類の緑色のカラーフィルタのうちの一方のカラーフィルタ（Ｇ１）は、５５０ｎｍの近傍に分光感度のピーク（最高値）Ｐ１を有する。分光感度の異なる２種類の緑色のカラーフィルタのうちの他方のカラーフィルタ（Ｇ２）は、５００ｎｍの近傍に分光感度のピーク（最高値）Ｐ２を有する。本実施形態では、一方のカラーフィルタ（Ｇ１）の分光感度のピークは５５０ｎｍに設定するが、例えば±２０ｎｍの範囲で５５０ｎｍからずれた値に設定してもよい。また、他方のカラーフィルタ（Ｇ２）の分光感度のピークは５００ｎｍに設定するが、同様にして±２０ｎｍの範囲で５００ｎｍからずれた値に設定してもよい。
【００３５】
ここで、分光感度の異なる２種類の緑色のカラーフィルタ（Ｇ１、Ｇ２）の分光感度のピークＰ１、Ｐ２にそれぞれ対応する、波長５００ｎｍ、５５０ｎｍは、人間の目の比視感度特性により選択されている波長である。つまり、人間の目は、暗所において、５００ｎｍ近傍の光を主に認識する桿体細胞を働かせることで物体を視認する（暗所視比視感度）。また、人間の目は、明所において、５５０ｎｍ近傍の光を主に認識する錐体細胞を働かせることで物体を視認する(明所視比視感度)。
【００３６】
そこで、実施の形態１では、上記のように、人間の目の比視感度特性に対応する分光感度の異なる２種類の緑色のカラーフィルタ（Ｇ１、Ｇ２）をＣＭＯＳイメージセンサ１４０に少なくとも配置させる。そして、被写体の明るさに応じて、各カラーフィルタを介して受光した撮像素子出力の重み付け具合を調整することで、人間の目により視認しやすい画像を撮像できることを提案する。
【００３７】
上記のように、緑色のカラーフィルタ（Ｇ１）は、ＣＭＯＳイメージセンサ１４０において、市松模様状に配置される。これにより、撮像画像の輝度信号の解像度の低下を抑えることができる。
【００３８】
緑色のカラーフィルタ（Ｇ２）は、ＣＭＯＳイメージセンサ１４０において、他方の緑色のカラーフィルタ（Ｇ１）に対して、補間的に配置される。これにより、被写体の照度が低照度であるような場合であっても、一定レベル以上の感度を保つことができる。
【００３９】
また、赤色のカラーフィルタ（Ｒ）と、青色のカラーフィルタ（Ｂ）とは列ごとに反転して配置される。換言すると、赤色、青色のカラーフィルタ（Ｒ、Ｂ）の配列は、ロウ方向において、配置される列ごとにそれぞれ反転される。この配列により、撮像画像に生じるモアレを低減することができる。
【００４０】
上記のように、実施の形態１においては、５００ｎｍの波長と、５５０ｎｍの波長とを含むような分光感度を有する１種類の緑色のカラーフィルタ（Ｇ）を用いない。あえて、５００ｎｍの波長と、５５０ｎｍの波長とをそれぞれに分光感度のピークを有する２種類の緑色のカラーフィルタ（Ｇ１、Ｇ２）を用いている。
【００４１】
＜カラーフィルタの分光感度（比較例）＞
これに対して、比較例においては、５５０ｎｍ近傍にピークがある分光感度を有する１種類の緑色のカラーフィルタ（Ｇ）を用いている。この比較例に係る各カラーフィルタの分光感度は、図１１に示す通りである。図示するように、比較例では、５５０ｎｍ近傍にピークを有する１種類の緑色のカラーフィルタ（Ｇ）を用いて輝度を構成せざるを得ない。そのため、明所時には人間のＳｉ感度特性に準ずることは可能だが、暗所時には人間の視感度特性に準じることはできない。また、分光感度のピークを５００ｎｍ近傍とした場合でも明所時には視感度特性に準じることは可能だが、一方で暗所時には準じることはできない。
【００４２】
１−３．撮像画像から輝度信号（Ｙ）を生成する際の動作
次に、図４、図５を用い、本実施の形態１に係るデジタルビデオカメラ１００が、ＣＭＯＳイメージセンサ１４０により撮像した画像から輝度信号（Ｙ）を生成する際の処理動作について説明する。図４は、撮像画像から輝度信号（Ｙ）を生成する際の処理動作を示すフローチャートである。図５は、輝度信号を生成するための係数Ｋ１、Ｋ２を算出するための関係を示す模式図である。
【００４３】
ここでは、特に、被写体の照度（画像の輝度）が一定レベルより低く、絞り部３００が開放状態になっている状態（暗所の状態）において、輝度信号（Ｙ）を生成する際の処理動作について一例を挙げて説明する。この説明においては、図４のフローに沿って説明する。
【００４４】
（Step Ｓ１００）
まず、使用者によりデジタルビデオカメラ１００が撮影モードに設定されると、ＣＭＯＳイメージセンサ１４０によるＲＡＷデータ（現像前のデータ）の撮像動作が開始される。
【００４５】
（Step Ｓ１１０）
続いて、ＲＡＷデータの撮像動作が開始されると、コントローラ１８０は、撮像されたＲＡＷデータの輝度情報に基づいて、ＣＭＯＳイメージセンサ１４０のＡＧＣ（Automatic Gain Control）ゲインを決定する。なお、ＡＧＣゲインは画像中の被写体の照度に応じて決定され、被写体の照度が低いほどＡＧＣゲインの値は高くなる。
【００４６】
（Step Ｓ１２０）
続いて、ＡＧＣゲインを決定すると、コントローラ１８０は、決定したＡＧＣゲインに基づいて、係数Ｋ１、Ｋ２を算出する。ここでいう係数Ｋ１、Ｋ２とは、緑色の補正信号Ｇ´を算出するための次式（１）で示されるように、緑色のフィルタのＲＡＷデータＧ１、Ｇ２に重み付けとして補正のために乗算される係数である。具体的には、本例では、コントローラ１８０は、図５に示すＡＧＣゲインとの関係に従って、係数Ｋ１、Ｋ２を算出する。
【００４７】
【数１】
図示するように、係数Ｋ２は、ＡＧＣゲインが高くなればなるほど（被写体の照度が低い暗所ほど）、その値が大きくなるように設定される。一方、係数Ｋ１は、ＡＧＣゲインが小さくなればなるほど（被写体の照度が高い明所ほど）、その値が大きくなるように設定される。
【００４８】
そのため、本例のように被写体の照度が低い状態（暗所の状態）では、係数Ｋ２の値は、係数Ｋ１の値に比べて、大きい関係にある。従って、被写体の照度が高い状態（明所の状態）では、短波長側の緑色のフィルタのＲＡＷデータＧ２の重み付けが、長波長側の緑色のフィルタのＲＡＷデータＧ１の重み付けに比べて、相対的に大きくなるように補正される。これにより、後述するように、デジタルビデオカメラ１００は、暗所において、人間の目に視認しやすい緑色を再現した画像を生成できる。
【００４９】
また、図５に示すように、実施の形態１では、係数Ｋ１、Ｋ２の値は、ＡＧＣゲインの値に応じて線形的に変化するように設定される。これにより、緑色の種類が突然変化しないため、暗所と明所と間における切り替わりにおいても、人間の目に違和感の残らない画像を生成できる。
【００５０】
なお、本例では、係数Ｋ１、Ｋ２は、共に０以上、１以下である（０≦Ｋ１≦１、０≦Ｋ２≦１）。また、係数Ｋ１、Ｋ２の和は、１である（Ｋ１＋Ｋ２＝１）。これは、色再現性を確保しつつ、緑色の成分Ｇが増減しないようにするためである。
【００５１】
（Step Ｓ１３０）
続いて、コントローラ１８０は、算出した係数Ｋ１、Ｋ２を用いて、緑色の合成信号Ｇ´の値を算出する。具体的には、前述の式（１）に示すように、コントローラ１８０は、係数Ｋ１、Ｋ２、及び緑色のカラーフィルタの各ＲＡＷデータＧ１、Ｇ２の値を代入することで、被写体の照度に応じた緑色の合成信号Ｇ´を算出する。
【００５２】
（Step Ｓ１４０）
続いて、コントローラ１８０は、下記の式（２）に従い、輝度信号（Ｙ）の低域成分（ＹＬ）を算出する。
【００５３】
【数２】
上記式（２）に示すように、輝度信号（Ｙ）の低域成分（ＹＬ）は、赤色のカラーフィルタ画素出力Ｒの低域成分ＲＬ、青色のカラーフィルタ画素出力Ｂの低域成分ＢＬ、及びステップＳ１３０で算出した緑色の合成信号Ｇ’の低域成分Ｇ’Ｌを代入することにより、算出される。なお、式（２）において、緑色の合成信号Ｇ’の低域成分Ｇ’Ｌは、市松状に配置された緑色のカラーフィルタ（Ｇ１）の画素出力Ｇ１の低域成分Ｇ１Ｌと、補間的に配置された緑色のカラーフィルタ（Ｇ２）の画素出力Ｇ２の低域成分Ｇ２Ｌとを使用して下記式で求められる。
【００５４】
【数３】
一方、輝度信号（Ｙ）の高域成分（ＹＨ）は、下記の式（４）に示すように、市松状に配置された緑色のカラーフィルタ（Ｇ１）の画素出力Ｇ１の高域成分Ｇ１Ｈと、補間的に配置された緑色のカラーフィルタ（Ｇ２）の画素出力Ｇ２の高域成分Ｇ２Ｈとを使用して下記のように構成する。
【００５５】
【数４】
（Step Ｓ１５０）
続いて、コントローラ１８０は、輝度信号の高域成分ＹＨ及び低域成分ＹＬを下記式（５）
のように加算することで、広帯域な輝度信号（Ｙ）を生成する。
【００５６】
【数５】
ここで、本例のような暗所の場合では、短波長側に感度のピークを有する緑色のフィルタのＲＡＷデータＧ２の重み付け（Ｋ２）が、長波長側に感度のピークを有する緑色のフィルタのＲＡＷデータＧ１の重み付け（Ｋ１）に比べて、相対的に大きくなるよう係数が設定され、被写体の照度に応じた緑色の合成信号Ｇ´が生成される（Ｓ１３０）。そのため、輝度信号ＹＬは、前記のような重み付けがなされたＧ１，Ｇ２により生成された補正信号Ｇ´の低域信号Ｇ’Ｌに応じて算出される（Ｓ１４０）。結果として生成される広域の輝度信号（Ｙ）は、暗所に適した補正信号Ｇ´に応じた信号が生成される。
【００５７】
一方、被写体の照度が一定レベルより高く、絞り部３００が閉に近い状態になっている状態（明所の状態）において、輝度信号（Ｙ）を生成する場合は、暗所時とは係数Ｋ１、Ｋ２の大小関係が逆となる。即ち、図５に示すように、明所の状態では、長波長側に感度のピークを有する緑色のフィルタのＲＡＷデータＧ１の重み付けの係数Ｋ１が、短波長側に感度のピークを有する緑色のフィルタのＲＡＷデータＧ２の重み付けの係数Ｋ２に比べて、相対的に大きくなるように設定される。
【００５８】
２−４．作用効果
上記実施の形態１によれば、少なくとも下記の効果が得られる。
【００５９】
すなわち、被写体の照度レベルに応じて、輝度信号の主な成分であるＧ’を主体とした構成を変化させることで、人間の目の比視感度特性に適した輝度信号を生成することができる。
【００６０】
撮像装置１００が備えるコントローラ１８０は、分光感度の異なる２種類の緑色の第１、第２カラーフィルタ（Ｇ１、Ｇ２）を介して生成される画像信号を、被写体の照度レベルに応じて、所定の係数（Ｋ１、Ｋ２）を用いて補正し、輝度信号（Ｙ）の生成を制御する。
【００６１】
より具体的に、本例に係るコントローラ１８０は、図５に示すＡＧＣゲイン（照度）との関係に従って、係数Ｋ１、Ｋ２を算出する。図示するように、係数Ｋ２は、ＡＧＣゲインが高くなればなるほど（被写体の照度が低い暗所ほど）、その値が大きくなるように設定される。一方、係数Ｋ１は、ＡＧＣゲインが小さくなればなるほど（被写体の照度が高い明所ほど）、その値が大きくなるように設定される（ステップＳ１２０）。
【００６２】
従って、式（１）に従い、照度が低い画像に対しては（暗所の状態）では、短波長側の緑色のフィルタのＲＡＷデータＧ２の重み付け係数Ｋ２が、長波長側の緑色のフィルタのＲＡＷデータＧ１の重み付け係数Ｋ１に比べて、相対的に大きくなるように、補正された緑色の補正信号Ｇ´が算出される（ステップＳ１３０）。
【００６３】
算出された緑色の補正信号Ｇ´は、式（２）に従い、輝度信号の低域成分（ＹＬ）の算出に利用される。即ち、輝度信号の低域成分（ＹＬ）の算出において、低域側の寄与率が向上される（ステップＳ１４０）。
【００６４】
そして、輝度信号の低域成分（ＹＬ）と輝度信号の高域成分（ＹＨ）とが加算されることにより、輝度信号（Ｙ）が生成される（ステップＳ１５０）。
【００６５】
以上のように本実施形態では、図５に示すように、被写体の照度が低い状態（ＡＧＣゲインが高い状態）では、短波長側に感度のピークを有する緑色のフィルタからのＲＡＷデータＧ２に対する係数Ｋ２が大きくなるように設定した。換言すれば、被写体の照度が低いほど、緑色の合成信号Ｇ’を生成するにあたって、短波長側に感度のピークを有する緑色のフィルタからの画像データＧ２の重みづけを大きくすることにした。これにより、暗所において人間の目に視認しやすい緑色を再現した画像を生成できる。これは、人間の目が、暗所において、短波長側の５００ｎｍ近傍の光（Ｇ２）を主に認識する桿体細胞を働かせることで物体を視認する視覚特性に基づくものである。
【００６６】
また、係数Ｋ１、Ｋ２の値は、ＡＧＣゲインの値に応じて線形的に変化するように設定される。これにより、緑色の種類が突然変化しないため、暗所と明所と間における切り替わりにおいても、人間の目に違和感の残らない画像を生成できる。
【００６７】
なお、本例では、係数Ｋ１、Ｋ２は、共に０以上、１以下である（０≦Ｋ１≦１、０≦Ｋ２≦１）。また、係数Ｋ１、Ｋ２の和は、１である（Ｋ１＋Ｋ２＝１）。これは、色再現性を確保しつつ、輝度信号における緑色の成分Ｇが増減しないようにするためである。
【００６８】
［２．他の実施の形態］
実施の形態の一例として、実施の形態１を説明した。しかし、実施の形態は、これらには限定されない。以下は、その他の実施の形態に関するものである。
【００６９】
上記の実施の形態１では、撮像手段として、ＣＭＯＳイメージセンサ１４０を例示したが、これに限定されない。例えば、撮像手段としては、ＣＣＤイメージセンサやＮＭＯＳイメージセンサ等を用いてもよい。
【００７０】
また、画像処理部１６０とコントローラ１８０とは、１つの半導体チップで構成してもよく、別々の半導体チップで構成してもよい。
【００７１】
また、実施の形態１においては、図５に示すように、係数Ｋ１、Ｋ２がＡＧＣゲインに応じて、線形的に変化するように設定した。しかしながら、必ずしもこのような構成に限定されない。例えば、所定のＡＧＣゲインを境として、輝度信号の緑色成分をＲＡＷデータＧ１、Ｇ２の何れかに切り替えるような構成としてもよい。これにより、簡単な構成で、暗所においても人間の目に視認しやすい画像を生成できる。
【００７２】
また、実施の形態１においては、緑色のカラーフィルタ（Ｇ１、Ｇ２）の分光特性を同一とした。しかしながら、必ずしもこのような例には限定されない。例えば、緑色のカラーフィルタＧ２の分光特性が、緑色のカラーフィルタＧ１の分光特性よりも裾広がりとなってもよい。これにより、暗所においてより高い感度の画像を生成できる。
【００７３】
また、実施の形態１においては、輝度信号（Ｙ）を、輝度信号の低域成分（ＹＬ）と輝度信号の高域成分（ＹＨ）との和として算出した。しかしながら、必ずしもこのような例には限定されない。例えば、ＡＧＣゲインが高ければ高いほど（すなわち、被写体の照度が低ければ低いほど）、下記式（６）示す輝度信号の高域成分（ＹＨ）の加算比率αを下げるようにしてもよい。これにより、撮像画像のＳ／Ｎ比の劣化を軽減することができる。
【００７４】
【数６】
また、実施の形態１においては、係数Ｋ１、Ｋ２をＡＧＣゲインに基づいて決定した。しかしながら、必ずしもこのような例には限定されない。例えば、撮像画像の色温度に基づいて係数Ｋ１、Ｋ２を決定してもよい。
【００７５】
また、実施の形態１においては、輝度信号の低域成分（ＹＬ）の算出式を数式（２）により算出した。しかしながら、必ずしもこのような構成とする必要はない。例えば、以下の式（７）に示す係数を用いて算出してもよい。
【００７６】
【数７】
また、実施の形態１においては、各カラーフィルタの配置を図３に示すようなものとした。しかしながら、必ずしもこのような構成とする必要はない。例えば、図６〜図１０に示すカラーフィルタ（１）〜（５）の配置としてもよい。即ち、撮像素子１４０が、２種類の緑色の第１、第２カラーフィルタ（Ｇ１、Ｇ２）を有していれば、どのような配置であっても適用可能である。
【００７７】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００７８】
本開示は、撮像素子や、カラーフィルタを透過した入射光に基づき画像データを生成する撮像素子を有する撮像装置に適用できる。
【符号の説明】
【００７９】
１００ デジタルビデオカメラ
１１０ 光学系
１２０ レンズ駆動部
１３０ シャッタ
１４０ ＣＭＯＳイメージセンサ
１４１ カラーフィルタ
１５０ Ａ／Ｄコンバータ
１６０ 画像処理部
１７０ バッファ
１８０ コントローラ
１９０ カードスロット
２００ メモリカード
２１０ 操作部
２２０ 表示モニタ
２４０ 内部メモリ
３００ 絞り部
【技術分野】
【０００１】
本開示は、複数種類のカラーフィルタを有する撮像素子、及び該撮像素子を備える撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、撮像装置を開示する。この撮像装置は、撮像した画像に対して、明暗の順応制御を行うことができる。つまり、この撮像装置は、暗くなるにつれて、撮像画像に対して青色系の感度が上昇するように制御する。一方、明るくなるにつれて、撮像画像に対して赤色系の感度が上昇するように制御する。
【０００３】
これにより、この撮像装置は、人間の目の順応に近い画像を撮像できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１９６９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に開示されている撮像装置は、撮像画像の輝度レベルに応じて、青色成分と赤色成分の制御については十分に行うことができるかもしれない。しかしながら、上記特許文献１に開示されている撮像装置では、撮像画像の輝度レベルに応じて、緑色成分に対する制御を十分に行うことができない。
【０００６】
本開示は、撮像画像の輝度レベルに応じて、緑色成分に対する制御を十分に行うことができる撮像素子及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の撮像素子は、入射した光に基づき画像信号を生成する撮像素子であって、赤色のカラーフィルタと、青色のカラーフィルタと、２種類の緑色の第１、第２カラーフィルタとを備える。緑色の第１カラーフィルタは、緑色の第２カラーフィルタの分光感度のピークの波長よりも長波長側領域に分光感度のピークを有する。
【０００８】
本開示の撮像装置は、上記の撮像素子と、撮像素子の出力から画像信号生成する信号処理部と、被写体の照度レベルに応じて輝度信号の構成を補正する制御部と、を備える。
【発明の効果】
【０００９】
上記態様の撮像素子及び撮像装置によれば、撮像画像の輝度レベルに応じて、緑色成分に対する制御を十分に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１のデジタルビデオカメラの構成を示す図。
【図２】実施の形態１のカラーフィルタの配置を示す平面図。
【図３】実施の形態１のＣＭＯＳイメージセンサの各カラーフィルタの分光感度を示す図。
【図４】実施の形態１の撮像画像から輝度信号を生成する動作を説明するためのフロー図。
【図５】実施の形態１の緑色の補正信号を求めるための係数を算出するための関係を示す図。
【図６】他の実施の形態のカラーフィルタ（１）の配置を示す平面図。
【図７】他の実施の形態のカラーフィルタ（２）の配置を示す平面図。
【図８】他の実施の形態のカラーフィルタ（３）の配置を示す平面図。
【図９】他の実施の形態のカラーフィルタ（４）の配置を示す平面図。
【図１０】他の実施の形態のカラーフィルタ（５）の配置を示す平面図。
【図１１】比較例のカラーフィルタの分光感度を示す図。
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１２】
以下、図面を用いて、ＣＭＯＳイメージセンサ（撮像素子）を備えるデジタルビデオカメラ（撮像装置）を一例として、実施の形態を説明する。
【００１３】
［１．実施の形態１］
１−１．デジタルビデオカメラ（撮像装置）の構成
まず、本実施の形態１に係るデジタルビデオカメラの電気的構成例について図１を用いて説明する。図１は、デジタルビデオカメラ１００の構成を示すブロック図である。デジタルビデオカメラ１００は、１又は複数のレンズからなる光学系１１０により形成された被写体像をＣＭＯＳイメージセンサ１４０で撮像する撮像装置である。
【００１４】
ＣＭＯＳイメージセンサ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルビデオカメラ１００の構成を詳細に説明する。
【００１５】
光学系１１０は、ズームレンズやフォーカスレンズにより構成される。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、又は縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。
【００１６】
レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動させる。レンズ駆動部１２０は、例えばズームレンズを駆動するズームモータや、フォーカスレンズを駆動するフォーカスモータを含む。
【００１７】
絞り部３００は、使用者の設定に応じて又は自動で、光の開口部の大きさを調整し、透過する光の量を調整する。
【００１８】
シャッタ部１３０は、ＣＭＯＳイメージセンサ１４０に透過させる光を遮光するための手段である。
【００１９】
ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＭＯＳイメージセンサ１４０は、カラーフィルタ１４１（詳細は後述）と、受光素子と、ＡＧＣ（ゲイン・コントロールアンプ）を含む。受光素子は、交換レンズ１０１によって集光された光学的信号を電気信号に変換し、画像情報を生成する。ＡＧＣ（ゲイン・コントロールアンプ）は、受光素子から出力された電気信号を増幅する。ＣＭＯＳイメージセンサ１４０はさらに、露光、転送、電子シャッタなどの各種動作を行うための駆動回路等を含む。詳細については、後述する。
【００２０】
Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル画像データに変換する。
【００２１】
画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成され、変換されたデジタル画像データに対して、コントローラ１８０の制御を受け、各種処理を施す。画像処理部１６０は、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。
【００２２】
コントローラ１８０は、デジタルビデオカメラ１００の全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコンなどで実現できる。
【００２３】
バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００２４】
カードスロット１９０は、メモリカード２００を着脱可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。
【００２５】
メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。
【００２６】
内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶している。
【００２７】
操作部２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部２１０は、例えば、使用者からの操作を受け付ける十字キーや決定釦等がこれにあたる。
【００２８】
表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。
【００２９】
１−２．ＣＭＯＳイメージセンサの構成
次に、実施の形態１に係るＣＭＯＳイメージセンサの構成について、図２、図３、図１１を用いて説明する。図２は、ＣＭＯＳイメージセンサ１４０が備えるカラーフィルタ１４１を示す平面図である。図３は、ＣＭＯＳイメージセンサ１４０に用いられる各カラーフィルタの分光感度を説明するための模式図である。図１１は、比較例に係るカラーフィルタの分光を示す分光感度図であって、図２に示すような分光感度を有するカラーフィルタを用いる理由を説明するためのものである。
【００３０】
図２に示すように、本例に係るＣＭＯＳイメージセンサ１４０は、ロウ方向（Row direction）カラム方向（Column direction）に沿ってマトリックス状に配置される４種類のカラーフィルタを有する。即ち、ＣＭＯＳイメージセンサ１４０は、２種類の緑色のカラーフィルタ（Ｇ１、Ｇ２）と、１種類の赤色のカラーフィルタ（Ｒ）と、１種類の青色のカラーフィルタ（Ｂ）と、を有する。
【００３１】
分光感度の異なる２種類の緑色のカラーフィルタ（Ｇ１、Ｇ２）は、ＣＭＯＳイメージセンサ１４０において、ロウ方向及びカラム方向において、市松模様状に配置される。また、分光感度の異なる２種類の緑色のカラーフィルタ（Ｇ１、Ｇ２）は、ＣＭＯＳイメージセンサ１４０のロウ方向及びカラム方向において、互いに対して補間的に配置される。
【００３２】
赤色、青色のカラーフィルタ（Ｒ、Ｂ）は、ＣＭＯＳイメージセンサ１４０のロウ方向及びカラム方向において、緑色のカラーフィルタ（Ｇ１）に対して補間的に配置される。また、赤色、青色のカラーフィルタ（Ｒ、Ｂ）の配置の順序は、ロウ方向において、配置される列ごとにそれぞれ反転される。
【００３３】
なお、ここでは、図示を省略するが、各カラーフィルタを透過した光は、フォトダイオード等を含む出力回路により、所定の画像データに変換される。また、各カラーフィルタ上には、光を集光するためのマイクロレンズ等が配置される。
【００３４】
＜カラーフィルタの分光感度（実施の形態１）＞
ここで、上記各カラーフィルタの分光感度は、図３に示す通りである。具体的には、青色（Ｂ）のカラーフィルタは、４００ｎｍ近傍の短波長に分光感度のピーク（最高値）を有する。また、赤色（Ｒ）のカラーフィルタは、６００ｎｍ近傍の長波長に分光感度のピーク（最高値）を有する。そして、分光感度の異なる２種類の緑色のカラーフィルタのうちの一方のカラーフィルタ（Ｇ１）は、５５０ｎｍの近傍に分光感度のピーク（最高値）Ｐ１を有する。分光感度の異なる２種類の緑色のカラーフィルタのうちの他方のカラーフィルタ（Ｇ２）は、５００ｎｍの近傍に分光感度のピーク（最高値）Ｐ２を有する。本実施形態では、一方のカラーフィルタ（Ｇ１）の分光感度のピークは５５０ｎｍに設定するが、例えば±２０ｎｍの範囲で５５０ｎｍからずれた値に設定してもよい。また、他方のカラーフィルタ（Ｇ２）の分光感度のピークは５００ｎｍに設定するが、同様にして±２０ｎｍの範囲で５００ｎｍからずれた値に設定してもよい。
【００３５】
ここで、分光感度の異なる２種類の緑色のカラーフィルタ（Ｇ１、Ｇ２）の分光感度のピークＰ１、Ｐ２にそれぞれ対応する、波長５００ｎｍ、５５０ｎｍは、人間の目の比視感度特性により選択されている波長である。つまり、人間の目は、暗所において、５００ｎｍ近傍の光を主に認識する桿体細胞を働かせることで物体を視認する（暗所視比視感度）。また、人間の目は、明所において、５５０ｎｍ近傍の光を主に認識する錐体細胞を働かせることで物体を視認する(明所視比視感度)。
【００３６】
そこで、実施の形態１では、上記のように、人間の目の比視感度特性に対応する分光感度の異なる２種類の緑色のカラーフィルタ（Ｇ１、Ｇ２）をＣＭＯＳイメージセンサ１４０に少なくとも配置させる。そして、被写体の明るさに応じて、各カラーフィルタを介して受光した撮像素子出力の重み付け具合を調整することで、人間の目により視認しやすい画像を撮像できることを提案する。
【００３７】
上記のように、緑色のカラーフィルタ（Ｇ１）は、ＣＭＯＳイメージセンサ１４０において、市松模様状に配置される。これにより、撮像画像の輝度信号の解像度の低下を抑えることができる。
【００３８】
緑色のカラーフィルタ（Ｇ２）は、ＣＭＯＳイメージセンサ１４０において、他方の緑色のカラーフィルタ（Ｇ１）に対して、補間的に配置される。これにより、被写体の照度が低照度であるような場合であっても、一定レベル以上の感度を保つことができる。
【００３９】
また、赤色のカラーフィルタ（Ｒ）と、青色のカラーフィルタ（Ｂ）とは列ごとに反転して配置される。換言すると、赤色、青色のカラーフィルタ（Ｒ、Ｂ）の配列は、ロウ方向において、配置される列ごとにそれぞれ反転される。この配列により、撮像画像に生じるモアレを低減することができる。
【００４０】
上記のように、実施の形態１においては、５００ｎｍの波長と、５５０ｎｍの波長とを含むような分光感度を有する１種類の緑色のカラーフィルタ（Ｇ）を用いない。あえて、５００ｎｍの波長と、５５０ｎｍの波長とをそれぞれに分光感度のピークを有する２種類の緑色のカラーフィルタ（Ｇ１、Ｇ２）を用いている。
【００４１】
＜カラーフィルタの分光感度（比較例）＞
これに対して、比較例においては、５５０ｎｍ近傍にピークがある分光感度を有する１種類の緑色のカラーフィルタ（Ｇ）を用いている。この比較例に係る各カラーフィルタの分光感度は、図１１に示す通りである。図示するように、比較例では、５５０ｎｍ近傍にピークを有する１種類の緑色のカラーフィルタ（Ｇ）を用いて輝度を構成せざるを得ない。そのため、明所時には人間のＳｉ感度特性に準ずることは可能だが、暗所時には人間の視感度特性に準じることはできない。また、分光感度のピークを５００ｎｍ近傍とした場合でも明所時には視感度特性に準じることは可能だが、一方で暗所時には準じることはできない。
【００４２】
１−３．撮像画像から輝度信号（Ｙ）を生成する際の動作
次に、図４、図５を用い、本実施の形態１に係るデジタルビデオカメラ１００が、ＣＭＯＳイメージセンサ１４０により撮像した画像から輝度信号（Ｙ）を生成する際の処理動作について説明する。図４は、撮像画像から輝度信号（Ｙ）を生成する際の処理動作を示すフローチャートである。図５は、輝度信号を生成するための係数Ｋ１、Ｋ２を算出するための関係を示す模式図である。
【００４３】
ここでは、特に、被写体の照度（画像の輝度）が一定レベルより低く、絞り部３００が開放状態になっている状態（暗所の状態）において、輝度信号（Ｙ）を生成する際の処理動作について一例を挙げて説明する。この説明においては、図４のフローに沿って説明する。
【００４４】
（Step Ｓ１００）
まず、使用者によりデジタルビデオカメラ１００が撮影モードに設定されると、ＣＭＯＳイメージセンサ１４０によるＲＡＷデータ（現像前のデータ）の撮像動作が開始される。
【００４５】
（Step Ｓ１１０）
続いて、ＲＡＷデータの撮像動作が開始されると、コントローラ１８０は、撮像されたＲＡＷデータの輝度情報に基づいて、ＣＭＯＳイメージセンサ１４０のＡＧＣ（Automatic Gain Control）ゲインを決定する。なお、ＡＧＣゲインは画像中の被写体の照度に応じて決定され、被写体の照度が低いほどＡＧＣゲインの値は高くなる。
【００４６】
（Step Ｓ１２０）
続いて、ＡＧＣゲインを決定すると、コントローラ１８０は、決定したＡＧＣゲインに基づいて、係数Ｋ１、Ｋ２を算出する。ここでいう係数Ｋ１、Ｋ２とは、緑色の補正信号Ｇ´を算出するための次式（１）で示されるように、緑色のフィルタのＲＡＷデータＧ１、Ｇ２に重み付けとして補正のために乗算される係数である。具体的には、本例では、コントローラ１８０は、図５に示すＡＧＣゲインとの関係に従って、係数Ｋ１、Ｋ２を算出する。
【００４７】
【数１】
図示するように、係数Ｋ２は、ＡＧＣゲインが高くなればなるほど（被写体の照度が低い暗所ほど）、その値が大きくなるように設定される。一方、係数Ｋ１は、ＡＧＣゲインが小さくなればなるほど（被写体の照度が高い明所ほど）、その値が大きくなるように設定される。
【００４８】
そのため、本例のように被写体の照度が低い状態（暗所の状態）では、係数Ｋ２の値は、係数Ｋ１の値に比べて、大きい関係にある。従って、被写体の照度が高い状態（明所の状態）では、短波長側の緑色のフィルタのＲＡＷデータＧ２の重み付けが、長波長側の緑色のフィルタのＲＡＷデータＧ１の重み付けに比べて、相対的に大きくなるように補正される。これにより、後述するように、デジタルビデオカメラ１００は、暗所において、人間の目に視認しやすい緑色を再現した画像を生成できる。
【００４９】
また、図５に示すように、実施の形態１では、係数Ｋ１、Ｋ２の値は、ＡＧＣゲインの値に応じて線形的に変化するように設定される。これにより、緑色の種類が突然変化しないため、暗所と明所と間における切り替わりにおいても、人間の目に違和感の残らない画像を生成できる。
【００５０】
なお、本例では、係数Ｋ１、Ｋ２は、共に０以上、１以下である（０≦Ｋ１≦１、０≦Ｋ２≦１）。また、係数Ｋ１、Ｋ２の和は、１である（Ｋ１＋Ｋ２＝１）。これは、色再現性を確保しつつ、緑色の成分Ｇが増減しないようにするためである。
【００５１】
（Step Ｓ１３０）
続いて、コントローラ１８０は、算出した係数Ｋ１、Ｋ２を用いて、緑色の合成信号Ｇ´の値を算出する。具体的には、前述の式（１）に示すように、コントローラ１８０は、係数Ｋ１、Ｋ２、及び緑色のカラーフィルタの各ＲＡＷデータＧ１、Ｇ２の値を代入することで、被写体の照度に応じた緑色の合成信号Ｇ´を算出する。
【００５２】
（Step Ｓ１４０）
続いて、コントローラ１８０は、下記の式（２）に従い、輝度信号（Ｙ）の低域成分（ＹＬ）を算出する。
【００５３】
【数２】
上記式（２）に示すように、輝度信号（Ｙ）の低域成分（ＹＬ）は、赤色のカラーフィルタ画素出力Ｒの低域成分ＲＬ、青色のカラーフィルタ画素出力Ｂの低域成分ＢＬ、及びステップＳ１３０で算出した緑色の合成信号Ｇ’の低域成分Ｇ’Ｌを代入することにより、算出される。なお、式（２）において、緑色の合成信号Ｇ’の低域成分Ｇ’Ｌは、市松状に配置された緑色のカラーフィルタ（Ｇ１）の画素出力Ｇ１の低域成分Ｇ１Ｌと、補間的に配置された緑色のカラーフィルタ（Ｇ２）の画素出力Ｇ２の低域成分Ｇ２Ｌとを使用して下記式で求められる。
【００５４】
【数３】
一方、輝度信号（Ｙ）の高域成分（ＹＨ）は、下記の式（４）に示すように、市松状に配置された緑色のカラーフィルタ（Ｇ１）の画素出力Ｇ１の高域成分Ｇ１Ｈと、補間的に配置された緑色のカラーフィルタ（Ｇ２）の画素出力Ｇ２の高域成分Ｇ２Ｈとを使用して下記のように構成する。
【００５５】
【数４】
（Step Ｓ１５０）
続いて、コントローラ１８０は、輝度信号の高域成分ＹＨ及び低域成分ＹＬを下記式（５）
のように加算することで、広帯域な輝度信号（Ｙ）を生成する。
【００５６】
【数５】
ここで、本例のような暗所の場合では、短波長側に感度のピークを有する緑色のフィルタのＲＡＷデータＧ２の重み付け（Ｋ２）が、長波長側に感度のピークを有する緑色のフィルタのＲＡＷデータＧ１の重み付け（Ｋ１）に比べて、相対的に大きくなるよう係数が設定され、被写体の照度に応じた緑色の合成信号Ｇ´が生成される（Ｓ１３０）。そのため、輝度信号ＹＬは、前記のような重み付けがなされたＧ１，Ｇ２により生成された補正信号Ｇ´の低域信号Ｇ’Ｌに応じて算出される（Ｓ１４０）。結果として生成される広域の輝度信号（Ｙ）は、暗所に適した補正信号Ｇ´に応じた信号が生成される。
【００５７】
一方、被写体の照度が一定レベルより高く、絞り部３００が閉に近い状態になっている状態（明所の状態）において、輝度信号（Ｙ）を生成する場合は、暗所時とは係数Ｋ１、Ｋ２の大小関係が逆となる。即ち、図５に示すように、明所の状態では、長波長側に感度のピークを有する緑色のフィルタのＲＡＷデータＧ１の重み付けの係数Ｋ１が、短波長側に感度のピークを有する緑色のフィルタのＲＡＷデータＧ２の重み付けの係数Ｋ２に比べて、相対的に大きくなるように設定される。
【００５８】
２−４．作用効果
上記実施の形態１によれば、少なくとも下記の効果が得られる。
【００５９】
すなわち、被写体の照度レベルに応じて、輝度信号の主な成分であるＧ’を主体とした構成を変化させることで、人間の目の比視感度特性に適した輝度信号を生成することができる。
【００６０】
撮像装置１００が備えるコントローラ１８０は、分光感度の異なる２種類の緑色の第１、第２カラーフィルタ（Ｇ１、Ｇ２）を介して生成される画像信号を、被写体の照度レベルに応じて、所定の係数（Ｋ１、Ｋ２）を用いて補正し、輝度信号（Ｙ）の生成を制御する。
【００６１】
より具体的に、本例に係るコントローラ１８０は、図５に示すＡＧＣゲイン（照度）との関係に従って、係数Ｋ１、Ｋ２を算出する。図示するように、係数Ｋ２は、ＡＧＣゲインが高くなればなるほど（被写体の照度が低い暗所ほど）、その値が大きくなるように設定される。一方、係数Ｋ１は、ＡＧＣゲインが小さくなればなるほど（被写体の照度が高い明所ほど）、その値が大きくなるように設定される（ステップＳ１２０）。
【００６２】
従って、式（１）に従い、照度が低い画像に対しては（暗所の状態）では、短波長側の緑色のフィルタのＲＡＷデータＧ２の重み付け係数Ｋ２が、長波長側の緑色のフィルタのＲＡＷデータＧ１の重み付け係数Ｋ１に比べて、相対的に大きくなるように、補正された緑色の補正信号Ｇ´が算出される（ステップＳ１３０）。
【００６３】
算出された緑色の補正信号Ｇ´は、式（２）に従い、輝度信号の低域成分（ＹＬ）の算出に利用される。即ち、輝度信号の低域成分（ＹＬ）の算出において、低域側の寄与率が向上される（ステップＳ１４０）。
【００６４】
そして、輝度信号の低域成分（ＹＬ）と輝度信号の高域成分（ＹＨ）とが加算されることにより、輝度信号（Ｙ）が生成される（ステップＳ１５０）。
【００６５】
以上のように本実施形態では、図５に示すように、被写体の照度が低い状態（ＡＧＣゲインが高い状態）では、短波長側に感度のピークを有する緑色のフィルタからのＲＡＷデータＧ２に対する係数Ｋ２が大きくなるように設定した。換言すれば、被写体の照度が低いほど、緑色の合成信号Ｇ’を生成するにあたって、短波長側に感度のピークを有する緑色のフィルタからの画像データＧ２の重みづけを大きくすることにした。これにより、暗所において人間の目に視認しやすい緑色を再現した画像を生成できる。これは、人間の目が、暗所において、短波長側の５００ｎｍ近傍の光（Ｇ２）を主に認識する桿体細胞を働かせることで物体を視認する視覚特性に基づくものである。
【００６６】
また、係数Ｋ１、Ｋ２の値は、ＡＧＣゲインの値に応じて線形的に変化するように設定される。これにより、緑色の種類が突然変化しないため、暗所と明所と間における切り替わりにおいても、人間の目に違和感の残らない画像を生成できる。
【００６７】
なお、本例では、係数Ｋ１、Ｋ２は、共に０以上、１以下である（０≦Ｋ１≦１、０≦Ｋ２≦１）。また、係数Ｋ１、Ｋ２の和は、１である（Ｋ１＋Ｋ２＝１）。これは、色再現性を確保しつつ、輝度信号における緑色の成分Ｇが増減しないようにするためである。
【００６８】
［２．他の実施の形態］
実施の形態の一例として、実施の形態１を説明した。しかし、実施の形態は、これらには限定されない。以下は、その他の実施の形態に関するものである。
【００６９】
上記の実施の形態１では、撮像手段として、ＣＭＯＳイメージセンサ１４０を例示したが、これに限定されない。例えば、撮像手段としては、ＣＣＤイメージセンサやＮＭＯＳイメージセンサ等を用いてもよい。
【００７０】
また、画像処理部１６０とコントローラ１８０とは、１つの半導体チップで構成してもよく、別々の半導体チップで構成してもよい。
【００７１】
また、実施の形態１においては、図５に示すように、係数Ｋ１、Ｋ２がＡＧＣゲインに応じて、線形的に変化するように設定した。しかしながら、必ずしもこのような構成に限定されない。例えば、所定のＡＧＣゲインを境として、輝度信号の緑色成分をＲＡＷデータＧ１、Ｇ２の何れかに切り替えるような構成としてもよい。これにより、簡単な構成で、暗所においても人間の目に視認しやすい画像を生成できる。
【００７２】
また、実施の形態１においては、緑色のカラーフィルタ（Ｇ１、Ｇ２）の分光特性を同一とした。しかしながら、必ずしもこのような例には限定されない。例えば、緑色のカラーフィルタＧ２の分光特性が、緑色のカラーフィルタＧ１の分光特性よりも裾広がりとなってもよい。これにより、暗所においてより高い感度の画像を生成できる。
【００７３】
また、実施の形態１においては、輝度信号（Ｙ）を、輝度信号の低域成分（ＹＬ）と輝度信号の高域成分（ＹＨ）との和として算出した。しかしながら、必ずしもこのような例には限定されない。例えば、ＡＧＣゲインが高ければ高いほど（すなわち、被写体の照度が低ければ低いほど）、下記式（６）示す輝度信号の高域成分（ＹＨ）の加算比率αを下げるようにしてもよい。これにより、撮像画像のＳ／Ｎ比の劣化を軽減することができる。
【００７４】
【数６】
また、実施の形態１においては、係数Ｋ１、Ｋ２をＡＧＣゲインに基づいて決定した。しかしながら、必ずしもこのような例には限定されない。例えば、撮像画像の色温度に基づいて係数Ｋ１、Ｋ２を決定してもよい。
【００７５】
また、実施の形態１においては、輝度信号の低域成分（ＹＬ）の算出式を数式（２）により算出した。しかしながら、必ずしもこのような構成とする必要はない。例えば、以下の式（７）に示す係数を用いて算出してもよい。
【００７６】
【数７】
また、実施の形態１においては、各カラーフィルタの配置を図３に示すようなものとした。しかしながら、必ずしもこのような構成とする必要はない。例えば、図６〜図１０に示すカラーフィルタ（１）〜（５）の配置としてもよい。即ち、撮像素子１４０が、２種類の緑色の第１、第２カラーフィルタ（Ｇ１、Ｇ２）を有していれば、どのような配置であっても適用可能である。
【００７７】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００７８】
本開示は、撮像素子や、カラーフィルタを透過した入射光に基づき画像データを生成する撮像素子を有する撮像装置に適用できる。
【符号の説明】
【００７９】
１００ デジタルビデオカメラ
１１０ 光学系
１２０ レンズ駆動部
１３０ シャッタ
１４０ ＣＭＯＳイメージセンサ
１４１ カラーフィルタ
１５０ Ａ／Ｄコンバータ
１６０ 画像処理部
１７０ バッファ
１８０ コントローラ
１９０ カードスロット
２００ メモリカード
２１０ 操作部
２２０ 表示モニタ
２４０ 内部メモリ
３００ 絞り部
【特許請求の範囲】
【請求項１】
入射した光に基づき画像信号を生成する撮像素子であって、
赤色のカラーフィルタと、
青色のカラーフィルタと、
２種類の緑色の第１、第２カラーフィルタとを備え、
前記緑色の第１カラーフィルタは、前記緑色の第２カラーフィルタの分光感度のピークの波長よりも長波長側領域において分光感度のピークを有する
撮像素子。
【請求項２】
前記緑色の第１カラーフィルタの分光感度の第１ピークの波長は、人間の目の明所における比視感度（明所視比視感度）特性に基づき決定され、
前記緑色の第２カラーフィルタの分光感度の第２ピークの波長は、人間の目の暗所における比視感度（暗所視比視感度）特性に基づき決定される
請求項１に記載の撮像素子。
【請求項３】
前記第１ピークは、５５０ｎｍ近傍に設けられ、
前記第２ピークは、５００ｎｍ近傍に設けられる
請求項２に記載の撮像素子。
【請求項４】
前記緑色の第１、第２カラーフィルタは、ロウ方向及びカラム方向において、それぞれ市松模様状に、相互補間的に配置され、
前記赤色、青色のカラーフィルタは、前記ロウ方向及びカラム方向において、前記緑色の第１カラーフィルタに対して、補間的に配置され、
前記赤色、青色のカラーフィルタの配置の順序は、前記ロウ方向において、配置される列ごとにそれぞれ反転される
請求項１乃至３のいずれかに記載の撮像素子。
【請求項５】
請求項１乃至４のいずれかに記載の撮像素子と、
前記撮像素子により生成される画像信号を被写体の照度レベルに応じて補正して、輝度信号を生成する制御部と、を備える
撮像装置。
【請求項６】
前記制御部は、
前記第１カラーフィルタに適用され、前記被写体の照度レベルが低いほど、その値が小さくなる第１係数、及び
前記第２カラーフィルタに適用され、前記被写体の照度レベルが低いほど、その値が大きくなる第２係数を用いて、前記輝度信号を補正する
請求項５に記載の撮像装置。
【請求項７】
前記第１及び第２係数は、前記被写体の照度レベルに応じて線形的に変化する、請求項６に記載の撮像装置。
【請求項８】
前記第１及び第２係数が、共に０以上１以下であり、かつ、前記第１係数と前記第２係数の和が１となる、
請求項６又は７に記載の撮像装置。
【請求項１】
入射した光に基づき画像信号を生成する撮像素子であって、
赤色のカラーフィルタと、
青色のカラーフィルタと、
２種類の緑色の第１、第２カラーフィルタとを備え、
前記緑色の第１カラーフィルタは、前記緑色の第２カラーフィルタの分光感度のピークの波長よりも長波長側領域において分光感度のピークを有する
撮像素子。
【請求項２】
前記緑色の第１カラーフィルタの分光感度の第１ピークの波長は、人間の目の明所における比視感度（明所視比視感度）特性に基づき決定され、
前記緑色の第２カラーフィルタの分光感度の第２ピークの波長は、人間の目の暗所における比視感度（暗所視比視感度）特性に基づき決定される
請求項１に記載の撮像素子。
【請求項３】
前記第１ピークは、５５０ｎｍ近傍に設けられ、
前記第２ピークは、５００ｎｍ近傍に設けられる
請求項２に記載の撮像素子。
【請求項４】
前記緑色の第１、第２カラーフィルタは、ロウ方向及びカラム方向において、それぞれ市松模様状に、相互補間的に配置され、
前記赤色、青色のカラーフィルタは、前記ロウ方向及びカラム方向において、前記緑色の第１カラーフィルタに対して、補間的に配置され、
前記赤色、青色のカラーフィルタの配置の順序は、前記ロウ方向において、配置される列ごとにそれぞれ反転される
請求項１乃至３のいずれかに記載の撮像素子。
【請求項５】
請求項１乃至４のいずれかに記載の撮像素子と、
前記撮像素子により生成される画像信号を被写体の照度レベルに応じて補正して、輝度信号を生成する制御部と、を備える
撮像装置。
【請求項６】
前記制御部は、
前記第１カラーフィルタに適用され、前記被写体の照度レベルが低いほど、その値が小さくなる第１係数、及び
前記第２カラーフィルタに適用され、前記被写体の照度レベルが低いほど、その値が大きくなる第２係数を用いて、前記輝度信号を補正する
請求項５に記載の撮像装置。
【請求項７】
前記第１及び第２係数は、前記被写体の照度レベルに応じて線形的に変化する、請求項６に記載の撮像装置。
【請求項８】
前記第１及び第２係数が、共に０以上１以下であり、かつ、前記第１係数と前記第２係数の和が１となる、
請求項６又は７に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−６６１６８（Ｐ２０１３−６６１６８Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１２−１７２２６１（Ｐ２０１２−１７２２６１）
【出願日】平成２４年８月２日（２０１２．８．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２４年８月２日（２０１２．８．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]