画像処理装置、撮像装置及び画像処理方法
【課題】ダイナミックレンジ拡張した撮像素子を用いてグラデーションを撮像した場合に発生しやすい色ノイズを低減する。
【解決手段】画像処理装置は、複数の第１及び第２の受光素子の受光値が有効領域にあるか飽和領域にあるかを判定する判定部と、複数の第１及び第２の受光素子の受光値のうち有効領域及び飽和領域にある受光値を用いて第１の色信号値を算出し、かつ複数の第１及び第２の受光素子の受光値のうち有効領域にある受光値、又は複数の第１の受光素子の受光値のうち有効領域にある受光値を用いて第２の色信号値を算出する第１の色信号算出部と、複数の第２の受光素子の受光値に基づいて、第１の色信号値と第２の色信号値との混合比率を算出する混合比率算出部と、第１の色信号値、第２の色信号値及び混合比率に基づいて、画像信号の色信号値を算出する第２の色信号算出部とを有する。
【解決手段】画像処理装置は、複数の第１及び第２の受光素子の受光値が有効領域にあるか飽和領域にあるかを判定する判定部と、複数の第１及び第２の受光素子の受光値のうち有効領域及び飽和領域にある受光値を用いて第１の色信号値を算出し、かつ複数の第１及び第２の受光素子の受光値のうち有効領域にある受光値、又は複数の第１の受光素子の受光値のうち有効領域にある受光値を用いて第２の色信号値を算出する第１の色信号算出部と、複数の第２の受光素子の受光値に基づいて、第１の色信号値と第２の色信号値との混合比率を算出する混合比率算出部と、第１の色信号値、第２の色信号値及び混合比率に基づいて、画像信号の色信号値を算出する第２の色信号算出部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ダイナミックレンジを拡張した撮像素子を用いて生成される画像信号の色信号値を算出する画像処理技術に関する。
【背景技術】
【０００２】
撮像素子を用いたデジタルスチルカメラにおいて、撮像素子のダイナミックレンジを拡張する方法として、特許文献１〜６に開示された方法がある。
【０００３】
特許文献１，２には、同色で透過率が異なる複数のカラーフィルタを用い、該複数のカラーフィルタの透過率差を利用する方法が開示されている。撮像素子への入射光の強度が弱い場合には、透過率の高いカラーフィルタを通した撮像素子の受光値を用い、入射光の強度が強い場合には、透過率の低いカラーフィルタを通した撮像素子の受光値（又は両者の加算値）を用いる。
【０００４】
特許文献３には、原色フィルタと補色フィルタを使用し、入射光の強度の強弱に対応させて、原色フィルタ及び補色フィルタにより形成される２つの像を切り替える方式が開示されている。
【０００５】
特許文献４には、補色系のカラーフィルタを用い、同色の透過率を指数関数的に４段階に減衰させることで、急激な輝度変化を抑える方法が開示されている。
【０００６】
特許文献５には、撮像素子の開口サイズを変えることで該撮像素子の受光感度を制御できる特性を利用し、複数の開口形状を用いてダイナミックレンジを拡張する方法が開示されている。
【０００７】
特許文献６には、同一の受光部あるいは近傍の受光部における電荷蓄積時間を変化させて受光感度を制御できる特性を利用した方法が開示されている。
【０００８】
一方、ダイナミックレンジの拡張によってノイズが増幅される問題が知られている。透過率の異なるカラーフィルタを用いてダイナミックレンジを拡張する場合を例として説明する。入射光の強度がやや強い場合（透過率の高いカラーフィルタを通した受光値が飽和し、透過率の低いカラーフィルタを通した受光値が小さい場合）は、透過率の低いカラーフィルタを通した受光値を用いて出力信号を生成しなければならない。
【０００９】
受光値のＳ／Ｎ比は、光電変換に寄与する光子数の平方根に比例することが知られており（これを光ショットノイズの影響という）、光子数が多いほどＳ／Ｎ比が増加する。その結果、透過率の低いカラーフィルタを通した受光値は、透過率が高いカラーフィルタを通した受光値に比べてＳ／Ｎ比が低くなり、ノイズの多い出力信号が生成される。
【００１０】
このようなダイナミックレンジの拡張により増幅されるノイズを抑制する方法が特許文献７，８に開示されている。特許文献７にて開示された方法では、電荷蓄積量の多い信号と少ない信号を、それぞれ異なる周波数強調処理を施した上で合成し、電荷蓄積量の少ない信号に混入するノイズを抑制する。また、特許文献８にて開示された方法では、Ｒ，Ｇ，Ｂの原色系のカラーフィルタとＣｙ，Ｙｅの補色系カラーフィルタを用い、中及び低輝度域では上記５色の全てから色信号を生成することでノイズを抑制する。
【特許文献１】特開２０００−０６９４９１号公報
【特許文献２】特開２０００−２５３４１２号公報
【特許文献３】特開２０００−３１５７８４号公報
【特許文献４】特開２００３−１７９８１９号公報
【特許文献５】特開２００５−２８６１０４号公報
【特許文献６】特開２００６−０１４１１７号公報
【特許文献７】特開２００１−３５２４８６号公報
【特許文献８】特開２００６−２１１４７８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、広い範囲で強度が変化するグラデーションを撮像した場合、特許文献１〜８にて開示されたいずれの方法を用いても、中間階調において色ノイズが発生しやすい。中間階調に相当する強度の光が撮像素子に入射した場合、高感度受光部において電荷が飽和して、低感度受光部の出力に切り替わる。この際に、それぞれの受光部の受光特性の差がノイズとして視認される。
【００１２】
特に、特許文献１、４及び６にて開示された方法では、入射光が強いときに、飽和していない受光値にバイアスを加算した値を出力値とする。このとき、露光調整が正確に行われていれば、他の方法に比べてノイズは目立ちにくい。しかし、露光調整を厳密に行わず、階調変換を施して画像を得る場合には、画像出力が入射光に対して線形の関係にないため、中間階調のノイズが不自然に増幅されてしまう。
【００１３】
また、特許文献２にて開示された方法では、出力は入射光に対して線形であるが、光ショットノイズが増幅されやすい。光ショットノイズは、撮像素子に発生する主要なノイズとして知られている。光ショットノイズの大きさは、光電変換により発生する電荷の平方根に比例する。特許文献２に記載された撮像素子のように、感度が大きく異なる受光部を用いる場合は、隣接する画素値に含まれる光ショットノイズの大きさが著しく異なる。特許文献２にて開示された方法では、Ｓ／Ｎ比の差を考慮せずに画像合成を行っているため、中間階調の光が入射した場合にノイズが大きくなる。
【００１４】
また、特許文献３にて開示された方法では、原色系と補色系のカラーフィルタを組み合わせてダイナミックレンジ拡大を図っているが、原色系と補色系のカラーフィルタから得られる画像は再現色域が大きく異なる。このため、グラデーション撮影時に中間階調に色の境界が生じてしまう。
【００１５】
さらに、特許文献５にて開示された方法では、開口面積が異なる高感度受光部及び低感度受光部からの出力に対して別々に補間処理を行って２つの画像を生成し、２画像の加重平均を出力としている。この場合、ノイズを多く含んだ受光値や、飽和した受光値の影響が合成結果にノイズとして現れてしまう。
【００１６】
特許文献７にて開示された方法では、ノイズの差については考慮されている。しかし、３色のカラーフィルタを使用して電荷蓄積時間に差をつける方式であるため、カラーフィルタの分光透過率が異なる場合のように、ノイズが色ノイズとして現れる場合には抑制できない場合がある。
【００１７】
特許文献８にて開示された方法では、原色系と補色系のカラーフィルタを組み合わせてダイナミックレンジ拡張を行い、二つのマトリクス演算結果の混合によりノイズと色再現性のバランスをとり階調性を改善する。この方法では、入射光の波長分布の偏りが大きい場合や、センサの電荷蓄積量の差が大きい場合に、特定色画素の飽和の影響で偽色が発生する場合がある。
【００１８】
本発明は、ダイナミックレンジ拡張した撮像素子を用いてグラデーションを撮像した場合に発生しやすい色ノイズを低減できるようにした画像処理装置、撮像装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００１９】
本発明の一側面としての画像処理装置は、複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含む撮像素子を用いて生成される画像信号の色信号値を、各受光素子の電荷蓄積量に応じた出力値である受光値に基づいて算出する。該装置は、各受光素子の受光値が有効領域にあるか飽和領域にあるかを判定する判定部と、複数の第１及び第２の受光素子の受光値のうち有効領域及び飽和領域にある受光値を用いて第１の色信号値を算出し、かつ複数の第１及び第２の受光素子の受光値のうち有効領域にある受光値、又は複数の第１の受光素子の受光値のうち有効領域にある受光値を用いて第２の色信号値を算出する第１の色信号算出部と、複数の第２の受光素子の受光値に基づいて、第１の色信号値と第２の色信号値との混合比率を算出する混合比率算出部と、第１の色信号値、第２の色信号値及び混合比率に基づいて、画像信号の色信号値を算出する第２の色信号算出部とを有することを特徴とする。
【００２０】
なお、上記撮像素子と上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【００２１】
また、本発明の他の一側面としての画像処理方法は、複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含む撮像素子を用いて生成される画像信号の色信号値を、各受光素子の電荷蓄積量に応じた出力値である受光値に基づいて算出する。該方法は、各受光素子の受光値が有効領域にあるか飽和領域にあるかを判定するステップと、複数の第１及び第２の受光素子の受光値のうち有効領域及び飽和領域にある受光値を用いて第１の色信号値を算出し、かつ複数の第１及び第２の受光素子の受光値のうち有効領域にある受光値、又は複数の第１の受光素子の受光値のうち有効領域にある受光値を用いて第２の色信号値を算出するステップと、複数の第２の受光素子の受光値に基づいて、第１の色信号値と第２の色信号値との混合比率を算出するステップと、第１の色信号値、第２の色信号値及び混合比率に基づいて、画像信号の色信号値を算出するステップとを有することを特徴とする。
【発明の効果】
【００２２】
本発明によれば、飽和受光素子に対応する色信号値を、上記第１及び第２の色信号値の混合値とすることにより、ダイナミックレンジ拡張した撮像素子を用いてグラデーションを撮像した場合に発生し易い色ノイズを低減することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２４】
図１には、本発明の実施例１である画像処理装置を含む撮像装置の概略構成を示している。
【００２５】
不図示の被写体からの光束は、レンズ系１０１によって集光される。該光束は、低域通過フィルタ１０２によって高周波成分が抑制された後、画素（受光素子）ごとにカラーフィルタと集光用マイクロレンズアレイを備えた単板式のイメージセンサ（撮像素子）１０３上に光学像を形成する。
【００２６】
イメージセンサ１０３におけるカラーフィルタの配列としては、図２に示す補色系配列（Ｃｙ，Ｍｇ，Ｙｅ，Ｇ）と、補色系配列の最大透過率を１に正規化したときに最大透過率が０．５以下の原色系配列（ＤＲ，ＤＧ，ＤＢ）とを組み合わせた配列が用いられる。言い換えれば、イメージセンサ１０３は、波長に対して均一な分光強度分布を有する白色光が入射したときに電荷蓄積量が２倍以上異なる複数の画素を含む。該白色光が入射したときの補色系カラーフィルタ（Ｃｙ，Ｍｇ，Ｙｅ，Ｇ）に対応する複数の画素（第２の受光素子）の電荷蓄積量は、原色系カラーフィルタ（ＤＲ，ＤＧ，ＤＢ）に対応する複数の画素（第１の受光素子）の電荷蓄積量に比べて、２倍以上多い。
【００２７】
ただし、カラーフィルタ配列は、図２に示すものに限らず、透過率が高いフィルタと低いフィルタの組み合せであって、各々のフィルタが備えられた画素間での電荷蓄積量に２倍以上の差があればよい。
【００２８】
イメージセンサ１０３上に形成された光学像は、該イメージセンサ１０３によって電気信号に変換（光電変換）される。光電変換の際に、リードノイズや光ショットノイズ等のノイズがイメージセンサ１０３の出力信号に加えられる。
【００２９】
イメージセンサ１０３の出力信号は、Ａ／Ｄ変換処理部１０４により濃度量子化され、各画素（各受光素子）の出力値である受光値（又は画素値）としてメインメモリ１０５に保持される。受光値は、電荷蓄積量に対応する（例えば、比例する）値である。これ以後、後述する各処理部における情報（又は信号）の送受信は、システムバス１０６を通して行われる。送受信状態の制御は、コントローラ１０７により行われる。
【００３０】
ここで、上述した電荷蓄積量の差を表す別の基準として、受光値のＳ／Ｎ比の差を用いることもできる。受光値に含まれるノイズの中で最も支配的である光ショットノイズの大きさは、光電変換により発生した電荷量（光電変換に寄与した光子数）の平方根となる。このため、Ｓ／Ｎ比も電荷量の平方根で表され、受光値のＳ／Ｎ比の差（比率）は以下の式１のように与えられる。
【００３１】
【数１】
【００３２】
（式１）
ただし、Ｖ１，Ｖ２は比較する２つの受光値のＳ／Ｎ比、ｎ１，ｎ２はそれぞれの受光値に対応する電荷量である。受光値間の差（ｎ１，ｎ２の比）が２倍であるときには、Ｓ／Ｎ比の差は約１．４倍になる。
【００３３】
補間処理部１０６は、受光値に対して補間処理を実行する。補間処理は、各画素位置に対して、各カラーフィルタに対応する受光値を推定できれば任意の処理方法で実行することができるが、本実施例では、図３に示す処理方法を用いる。
【００３４】
図３においては、まず、図２に示すカラーフィルタ配列における受光値分布を、補色系カラーフィルタと該補色系カラーフィルタよりも透過率が低い原色系カラーフィルタとにそれぞれ対応する２つの受光値分布に分割する。該２つの受光値分布に対応するカラーフィルタを、図４（ａ）に示す。右側の図が補色系カラーフィルタを、左側の図が原色系カラーフィルタを示す。
【００３５】
次に、補間処理部１０６は、補色系カラーフィルタに対応する受光値分布において値がない領域に対し、補間処理を行う。この補間処理は、値がない領域の近傍に位置する値を有する複数の画素を含むブロックでの平均受光値とする。
【００３６】
次に、補間処理部１０６は、原色系カラーフィルタに対応する受光値分布に対しても、同様の補間処理を行う。補間処理の結果として得られる２つの受光値分布のそれぞれに対応するカラーフィルタ配列は、図４（ｂ）に示すように、通常の単板式イメージセンサで用いられる補色系及び原色系のカラーフィルタ配列となる。
【００３７】
次に、補間処理部１０６は、各画素において取得できていない色（例えば、Ｃｙフィルタに対応する画素では、Ｍｇ，Ｙｅ，Ｇ）の受光値を補間処理により求める。このようして最終的に得られた２つの受光値分布を組み合わせることで、各画素に対して全カラーフィルタに対応する受光値分布が得られる。補間処理部１０６で得られた受光値分布は、メインメモリ１０５に格納される。
【００３８】
さらに、補間処理部１０６は、メインメモリ１０５に格納された受光値分布を走査して、各画素に対応する受光値の集合（全てのカラーフィルタに対応する受光値の集合）を取得し、順番に領域検出部１０７に送信する。受光値分布を走査する様子を図５に示す。
【００３９】
受光値分布は、各カラーフィルタに対する受光値がマトリクス状に配置された面により構成される。画素（ｉ，ｊ）における受光値集合は、各面の要素で構成されるベクトルであり、以下のように示される。
【００４０】
(s(1)i,j, s(2)i,j, s(3)i,j, s(4)i,j, s(5)i,j, s(6)i,j, s(7)i、j)
画素（１，１）から画素（ｎ，ｍ）まで走査して、対応する受光値集合を順番に領域検出部１０７に送信する。
【００４１】
以下、本実施例の画像処理装置を構成する領域検出部１０７、色信号生成部１０８、混合比率算出部１１２、出力色信号算出部１１３及び階調変換部１１４について説明する。なお、画像処理装置は、上記各部に対応する領域検出ステップ、色信号生成ステップ、混合比率算出ステップ、及び出力色信号算出ステップをコンピュータプログラムに従って実行する画像処理方法を実施する装置としても構成できる。
【００４２】
判定部としての領域検出部１０７は、各カラーフィルタに対応する受光値が、飽和領域、有効領域及びノイズ領域のいずれにあるかを検出（判定）する。本実施例では、図６に示すように、補色系カラーフィルタとＧフィルタに対応する受光値に対しては、Ａ未満Ｂ以上の強度を飽和領域とし、Ｂ未満の強度を有効領域とし、Ａ以上の強度を無効領域として区分する。透過率の低い原色系カラーフィルタに対応する受光値に対しては、Ｃ以上の強度を有効領域とし、Ｃ未満の強度をノイズ領域として区分し、飽和領域は設けない。
【００４３】
なお、透過率が高く飽和しやすい補色系カラーフィルタに対応する受光値に対してノイズ領域を設けてもよいし、透過率の低い原色系カラーフィルタに対応する受光値に対して飽和領域を設けてもよい。
【００４４】
領域検出部１０７での判定結果に応じて、続く処理が分岐する。
【００４５】
領域検出部１０７は、全ての受光値が飽和領域にないと判定した場合には、第１の色信号算出部としての色信号生成部１０８に、有効領域にある受光値と、受光値が対応するカラーフィルタ識別コードとを送信する。カラーフィルタ識別コードは、カラーフィルタの種類を表すために用いるビット列である。本実施例のカラーフィルタは全部で７種類であるので、カラーフィルタ識別コードは７ビットのビット列となる。図６に示すように、Ｃｙ，Ｙ，Ｇ，ＤＲ，ＤＢのフィルタに対する受光値が有効領域にあり、他のフィルタに対する受光値が有効領域にない場合は、Ｃｙ，Ｙ，Ｇ，ＤＲ，ＤＢのフィルタに対するビットを１とし、他を０とした識別コードを送信する。
【００４６】
色信号生成部１０８は、色変換情報テーブル１０９を用いてカラーフィルタ識別コードに対応する色変換行列を検索し、色変換を実行する。色変換行列としては、出力値の表色系を任意に選択し、色票を使って行列要素を調整したものを用いる。本実施例での出力値表色系は、ｘｙｚ表色系とする。色変換行列の調整には、色票に対する受光値に光ショットノイズを加えた値を使ってもよい。光ショットノイズを加えて調整することで、行列変換により光ショットノイズが増幅されなくなり、色再現性も向上する。
【００４７】
光ショットノイズを考慮する場合には、色変換情報テーブル１０９での検索のキーとして、カラーフィルタ識別コードと受光範囲（受光値が含まれる強度範囲を符号化した値）とを用いてもよい。受光値の大きさに応じて光ショットノイズの大きさも変わるため、受光範囲を検索キーとすることで、光ショットノイズの抑制効果が高い色変換行列を選ぶことが可能になる。
【００４８】
色信号生成部１０８により生成された出力信号は、そのまま画像信号の出力色信号として、階調変換部１１４に送信される。
【００４９】
一方、領域検出部１０７が、いくつかの受光値が飽和領域にあると判定した場合について図７を用いて説明する。
【００５０】
この場合、領域検出部１０７は、有効領域及び飽和領域にある受光値と、有効領域にある受光値が対応するカラーフィルタ識別コードと、飽和領域にある受光値が対応するカラーフィルタ識別コードとを色信号生成部１０８に送信する。
【００５１】
図７に示す受光値に対しては、Ｃｙ，Ｙ，Ｇ，ＤＲ，ＤＢのフィルタに対する受光値と、Ｃｙ，Ｇ，ＤＲ，ＤＢのフィルタに対するビットが１になったカラーフィルタ識別コードと、Ｙフィルタに対するビットが１になったカラーフィルタ識別コードとを送信する。
【００５２】
色信号生成部１０８は、有効領域及び飽和領域にあるカラーフィルタ識別コード（両識別コードのＯＲ演算結果）をキーにして色変換行列を検索し、有効領域及び飽和領域にある受光値を色変換して、第１の色信号値としての中間出力値１１０を求める。
【００５３】
次に、色信号生成部１０８は、有効領域にあるカラーフィルタ識別コードをキーにして色変換行列を検索し、有効領域にある受光値を色変換して、第２の色信号値である中間出力値１１１を求める。
【００５４】
中間出力値１１０，１１１は、同じ位置（画素）における色信号値を、互いに異なる受光値の組から推定した結果である。ここにいう受光値の組の違いは、飽和領域にある受光値（図７に示す例ではＹに対する受光値）を含むか含まないかである。飽和領域にある受光値は、飽和直前の高い値であるため、光ショットノイズの割合が少なく、Ｓ／Ｎ比が高い。
【００５５】
このため、ノイズに関しては、飽和領域にある受光値を含めた状態で推定された中間出力値１１０は、有効領域にある受光値のみで推定された中間出力値１１１よりもノイズの少ない高精度な値となる。
【００５６】
また、色に関しては、原色系カラーフィルタに対応する受光値を用いた方が、補色系カラーフィルタに対応する受光値を用いる場合よりも色再現性がよい。飽和領域にある受光値は、補色系カラーフィルタに対応する受光値である。このため、色再現性については、中間出力値１１０の方が中間出力値１１１よりも低い可能性がある。
【００５７】
色信号生成部１０８は、このようにして得られた中間出力値１１０，１１１を、第２の色信号算出部としての出力色信号算出部１１３に送信する。
【００５８】
また、領域検出部１０７は、色信号生成部１０８への信号送信経路とは別経路を通じて、混合比率算出部１１２に、飽和領域判定が行われた全ての受光値を、飽和領域にあるか否かに関係なく送信する。飽和領域判定が行われた全ての受光値とは、Ｃｙ，Ｙ，Ｍｇ，Ｇのフィルタに対応する受光値を示す。
【００５９】
混合比率算出部１１２は、飽和領域判定が行われた全ての受光値を用いて、中間出力値１１０，１１１の混合比率を算出する。以下に混合比率の算出手順を示す。なお、ここでは、説明を簡略化するために、飽和領域の範囲を飽和領域判定が行われる全ての受光値に対して一定とする。ただし、飽和領域の範囲をＣｙ，Ｙ，Ｍｇ，Ｇのフィルタごとに異ならせてもよい。
【００６０】
まず、各受光値の評価値τｉを、以下の式２を用いて計算する。
【００６１】
【数２】
【００６２】
（式２）
ここで、ｉは飽和領域判定が行われる受光値のインデックスであり、Ｃｙ，Ｙ，Ｍｇ，Ｇに対応する数値（１〜４）である。ｉｍａｘは飽和領域判定が行われる受光値の総数（＝
４）である。ａは飽和領域の上限値、ｂは飽和領域の下限値であり、ａ−ｂは該上限値と下限値との差である。ｃｉは受光値を表す。
【００６３】
混合比率τは、以下の式３に示すように、各受光値の評価値の総和とする。
【００６４】
【数３】
【００６５】
（式３）
混合比率τは、全ての受光値ｃｉが飽和領域の下限値ｂに近い場合に０に近づき、飽和領域の上限値ａに近い場合に１に近づく。混合比率算出部１１２は、このように求めた混合比率τを出力色信号算出部１１３に送信する。なお、色信号生成部１０８と混合比率算出部１１２から出力色信号算出部１１３にデータを送信する順序は、前後してもよい。本実施例では、処理速度向上のため、同時に送信する。
【００６６】
出力色信号算出部１１３は、以下の式４に示す計算を実行し、出力色信号を生成する。
【００６７】
【数４】
【００６８】
（式４）
ただし、ベクトルｘ１，ｘ２はそれぞれ、中間出力値１１０，１１１を表す。
【００６９】
上述した混合比率の特性から、飽和領域判定が行われた全ての受光値ｃｉが飽和領域の下限値ｂに近い場合（式２参照）には、ｘｏｕｔはｘ１に近い値となり、飽和領域の上限値ａに近い場合には、ｘｏｕｔはｘ２に近い値となる。
【００７０】
式４により得られる出力色信号（出力色信号値）について説明する。出力色信号値の輝度成分のＳ／Ｎ比と入射光強度の関係の例を図８（ａ）に示す。入射光強度が０から上昇する際に、図８（ｂ）に示すように、受光値のうちＹフィルタに対応する受光値のみが上昇する状況を考える。このような状況は、本来はＧ，ＤＲ，ＤＧのフィルタに対する受光値も上昇するため、実際にはありえないが、Ｙフィルタに対応する受光値以外の受光値が飽和領域に至る可能性がないので、説明が容易になる。他の状況でも原理的には同じであるため、説明の一般性を損なうものではない。
【００７１】
上記状況にあると仮定することにより、図８（ａ）に示す入射光強度ｐ，ｑが、Ｙフィルタに対する受光値においては、図８（ｂ）のＡ，Ｂに対応すると考えることができる。
【００７２】
入射光強度がｑより小さい場合は、図８（ｂ）に示すＹフィルタに対する受光値は、有効領域にある。このため、Ｃｙ，Ｙ，Ｇ，ＤＲ，ＤＢの５種類のフィルタに対する受光値から出力色信号値が求められる。また、出力色信号値の輝度成分のＳ／Ｎ比を計算することで、図８（ａ）に示すノイズ曲線Ｓが得られる。
【００７３】
入射光強度がｐとｑの間にある場合には、Ｙフィルタに対する受光値は飽和領域にあるので、中間出力値１１０，１１１を計算する。中間出力値１１０，１１１の輝度成分のＳ／Ｎ比を求めると、中間出力値１１０の輝度成分のＳ／Ｎ比は図８（ａ）に示す曲線Ｓに、中間出力値１１１の輝度成分のＳ／Ｎ比は曲線Ｔに対応する。
【００７４】
入射光強度がｐより大きい場合は、Ｙフィルタに対する受光値は無効領域に入るため、Ｃｙ，Ｇ，ＤＲ，ＤＢの４種類のフィルタに対する受光値から出力色信号値が求められる。この出力色信号値の輝度成分のＳ／Ｎ比を計算することで、曲線Ｔが得られる。
【００７５】
図８（ａ）に示すように、曲線Ｓ，Ｔが不連続であることは、特にグラデーションを撮像した場合に問題になる。グラデーションの輝度範囲が広い場合、入射光強度は０とｐ以上の値との間に連続的に分布する。Ｓ／Ｎ比は、入射光強度が低い部分では曲線Ｓに従い、入射光強度が高い部分では曲線Ｔに従って変化する。この結果、入射光強度ｐの近辺において急激にＳ／Ｎ比が変化することになる。入射光強度ｐはグラデーションの中間階調に相当するが、中間階調でノイズが急増するのは、視覚的に好ましくない。
【００７６】
式４による中間出力値の混合は、曲線Ｓ，Ｔの境界を滑らかに繋ぐことを目的とする。混合により得られるＳ／Ｎ比の曲線は、図８（ａ）に示す曲線Ｕのようになる。この結果、中間階調でＳ／Ｎ比が急激に変化しなくなるために、視覚的に好ましい画像が得られる。
【００７７】
以上の説明では、Ｓ／Ｎ比の不連続性を例にあげたが、カラーフィルタの組合せや色変換行列の選択によっては、中間階調で急激な色変化や偽色が発生する場合もある。式４による中間出力値の混合は、色変化を伴う場合にも有効であり、急激な色変化を緩和する効果も得られる。
【００７８】
色信号生成部１０８又は出力色信号算出部１１３は、出力色信号を階調変換部１１４に送信し、階調変換を実行する。階調変換の方式は任意であるが、対数圧縮特性を持つものが望ましい。
【００７９】
階調変換部１１４は、階調変換後の出力色信号を出力部１１８に送信する。送信部１１８は、該出力色信号をｓＲＧＢ等の表色系の色信号に変換して出力する。
【００８０】
本実施例によれば、透過率が大きく異なる複数のカラーフィルタを備えたイメージセンサを用いて光強度が広範囲で連続的に変化する光学像を撮像する場合に、中間階調での色ノイズの発生を効果的に抑制できる画像処理装置又は撮像装置を提供することができる。
【実施例２】
【００８１】
次に、本発明の実施例２である画像処理装置を含む撮像装置について説明する。本実施例における撮像装置の基本的な構成は、実施例１の撮像装置と同じであるため、本実施例も図１を用いて説明する。このことは、後述する実施例３，４においても同じである。
【００８２】
被写体からの光束がイメージセンサ１０３上に光学像を形成するまでは、実施例１の撮像装置と同じである。
【００８３】
本実施例では、図９に示すように、補色系カラーフィルタのうちＣｙ，Ｙの２色のフィルタと、原色系カラーフィルタのうちＧフィルタと、透過率が２０％以下である無色のＤフィルタにより構成されるカラーフィルタ配列を用いる。すなわち、本実施例のイメージセンサ１０３は、Ｃｙ，Ｙ，Ｇフィルタが設けられた複数の画素（第２の受光素子）と、Ｃｙ，Ｙ，Ｇフィルタよりも透過率が低いＤフィルタが設けられた複数の画素（第１の受光素子）とを含む。このようなカラーフィルタ配列を用いることで、実施例１と比較して、カラーフィルタ数が減り、同色のサンプル点数が増えるため、空間解像力が向上する。ただし、高強度光が入射すると、Ｄフィルタを通した受光値以外の受光値は飽和するため、明領域の色分解能はなくなる。
【００８４】
光学像がイメージセンサ１０３で電気信号に変換され、イメージセンサ１０３からの出力信号がＡ／Ｄ変換部１０４及びメインメモリ１０５を介して、受光値として補間処理部１０６に送信されるまでの処理も実施例１の撮像装置と同じである。
【００８５】
補間処理部１０６では、イメージセンサ１０３の画素が保持しているカラーフィルタ以外のカラーフィルタに対応する受光値を補間処理により推定する。例えば、画素がＧフィルタを保持している場合に、残りのＣｙ，Ｙ，Ｄのフィルタに対応する受光値を、その近傍に位置するＣｙ，Ｙ，Ｄのフィルタに対応する受光値の平均値とする。この結果、各画素に対して、Ｃｙ，Ｙ，Ｇ，Ｄの４色のフィルタに対する受光値を備えた画像データが形成される。
【００８６】
そして、補間処理部１０６は、得られた受光値分布を図３に示した方法と同様の方法により走査して、各画素に対応する受光値集合を取得し、順番に領域検出部１０７に送信する。
【００８７】
領域検出部１０７は、実施例１における領域検出処理と同様に、図１０に示すような領域区分を用いて、各カラーフィルタに対応する受光値が、飽和領域、有効領域及びノイズ領域のいずれにあるかを判定（検出）する。補色系カラーフィルタＣｙ，ＹとＧフィルタに対しては、Ａ未満Ｂ以上の強度を飽和領域とし、Ｂ未満の強度を有効領域とし、Ａ以上の強度を無効領域として区分する。Ｄフィルタに関しては、Ｃ以上の強度を有効領域とし、Ｃ未満の強度をノイズ領域として区分し、飽和領域は設けない。
【００８８】
領域検出部１０７の判定結果に応じて、続く処理が分岐する。
【００８９】
領域検出部１０７は、全ての受光値が飽和領域にないと判定した場合には、実施例１と同じように、色信号生成部１０８に、有効領域にある受光値と、受光値が対応するカラーフィルタ識別コードとを送信する。色信号生成部１０８は、実施例１と同様に、出力色信号を生成し、階調変換部１１４に送信する。ただし、色信号の表色系には、輝度と色差で信号値を区別するＹＣｂＣｒ表色系を用いる。
【００９０】
領域検出部１０７は、いくつかの受光値が飽和領域にあると判定した場合は、以下の情報を色信号生成部１０８に送信する。すなわち、有効領域及び飽和領域にある受光値と、有効領域にある受光値が対応するカラーフィルタ識別コードと、飽和領域にある受光値が対応するカラーフィルタ識別コードとを送信する。
【００９１】
色信号生成部１０８は、有効領域及び飽和領域にあるカラーフィルタ識別コードをキーにして色変換行列を検索し、有効領域及び飽和領域にある受光値を色変換して中間出力値１１０を求める。
【００９２】
次に、色信号生成部１０８は、以下の式５により、Ｄフィルタに対する有効領域にある受光値を輝度信号とした中間出力値１１１を求める。
【００９３】
【数５】
【００９４】
（式５）
ここで、ｃはＤフィルタに対する受光値である。ｋは比例定数であり、撮像装置の撮像特性に合わせて設定する。
【００９５】
そして、色信号生成部１０８は、中間出力値１１０，１１１を、出力色信号算出部１１３に送信する。
【００９６】
領域検出部１０７は、色信号生成部１０８への信号送信経路とは別経路を通じて、混合比率算出部１１２に、飽和領域判定が行われた全ての受光値を、飽和領域にあるか否かに関係なく送信する。飽和領域判定が行われた全ての受光値とは、Ｃｙ，Ｙ，Ｇのフィルタに対応する受光値を示す。
【００９７】
混合比率算出部１１２は、飽和領域判定が行われた全ての受光値を用いて、輝度と色差に対する２つの混合比率を算出する。以下に該２つの混合比率の算出手順について説明する。本実施例でも、飽和領域の範囲を飽和領域判定が行われた全ての受光値で同じとするが、必ずしも同じとする必要はない。
【００９８】
まず、以下の式６に従って各受光値の評価値τｓを計算する。
【００９９】
【数６】
【０１００】
（式６）
ここで、ｓはカラーフィルタの種類を表す添え字であり、本実施例のカラーフィルタ配列では｛Ｃｙ, Ｙ, Ｇ｝のいずれかである。ａは飽和領域の上限値であり、ｂは飽和領域の下限値である。ｃｓは受光値を表す。
【０１０１】
輝度に対する混合比率τ（１）と、色差に対する混合比率τ（２）は、以下の式７で表される。
【０１０２】
【数７】
【０１０３】
（式７）
輝度に対する混合比率と色差に対する混合比率とを分けた理由は、Ｃｙ又はＹフィルタに対する受光値が飽和したときに、出力色信号の色差のみを０にしたい（白色にしたい）ためである。Ｃｙ又はＹフィルタに対する受光値が飽和した場合には、他に色信号の基になる受光値がないため、色が大きくずれてしまう。輝度に関しては、Ｇフィルタに対する受光値が飽和しにくく、光ショットノイズの少ない正確な値が求まるため、色差のように急に０にしたくない。このような理由から、輝度に対しては、飽和しにくいＧフィルタの評価値を混合比率とし、色差に対しては、ＣｙとＹフィルタの評価値の積を混合比率とする。これにより、いずれかが飽和した場合に混合比率が０になるようにしている。
【０１０４】
混合比率算出部１１２は、このようにして求めた混合比率τ（１），τ（２）を出力色信号算出部１１３に送信する。
【０１０５】
出力色信号算出部１１３は、以下の式８の計算を実行し、出力色信号を生成する。
【０１０６】
【数８】
【０１０７】
（式８）
ここで、演算子“．＊”は、配列積（ベクトル要素ごとの積を新しい要素としてベクトルを作る演算）を表す。ベクトルｘ１，ｘ２はそれぞれ、中間出力値１１０，１１１を表す。
【０１０８】
式８により、輝度信号（式８内で表現されるベクトルの第１要素）と色差信号（同第２，３要素）が２つの混合比率を用いて独立に混合される。上述した輝度及び色差に対する混合比の性質から、Ｃｙ，Ｙフィルタのいずれかが飽和する場合でも偽色の発生を防止することができる。
【０１０９】
色信号生成部１０８又は出力色信号算出部１１３は、輝度信号及び色差信号により構成される出力色信号を階調変換部１１４に送信し、階調変換を実行する。階調変換部１１４は、階調変換後の出力色信号を出力部１１８に送信する。送信部１１８は、該出力色信号をｓＲＧＢ等の表色系の色信号に変換して出力する。
【０１１０】
以上説明したように、本実施例によれば、実施例１よりも少数のカラーフィルタや波長透過率分布が均一なカラーフィルタを用いた場合においても、色ノイズの低減が可能な画像処理装置及び撮像装置を提供することができる。
【実施例３】
【０１１１】
次に、本発明の実施例３である画像処理装置を含む撮像装置について説明する。本実施例の撮像装置の基本的な構成は実施例２の撮像装置と同じであるが、カラーフィルタ配列と混合比率算出部１１２での混合比率の算出方法とが異なる。
【０１１２】
本実施例におけるカラーフィルタ配列を図１１（ａ）に示す。本実施例では、マスクによって、Ｃｙ，Ｙ，Ｇのフィルタに対応する画素以外の画素の開口面積を小さくすることで、実施例２におけるＤフィルタと同様に、前述した白色光が入射したときの電荷蓄積量を少なくしている。実施例２では、Ｄフィルタの透過率を低くすることで強い光が入射した場合でも飽和しない画素を実現したが、Ｄフィルタの透過率を精度良く制御するのは容易ではない。このため、マスクを用いて透過光量を制御することで、透過光量（つまりは電荷蓄積量）の調整が容易になる。コストも削減できる。
【０１１３】
マスクは、図１１（ａ）に示すように中心部に１つの矩形開口を形成したものでも、図１１（ｂ），（ｃ）に示すように複数の開口を形成したものや矩形以外の開口を形成したものでもよい。また、図１１（ｄ）に示すように、マスクを用いず、画素の開口サイズを小さくすることで、透過光量を少なくするようにしてもよい。
【０１１４】
本実施例における混合比率算出部１１２での混合比率の算出方法について説明する。混合比率算出部１１２は、実施例２における式６に相当する評価値の計算をルックアップテーブルを用いて行う。ルックアップテーブルは、以下の式９に示すように、式６における飽和領域の上限値ａと下限値ｂとの間をｎ段階に分割した場合の各段階の代表値を示している。
【０１１５】
【数９】
【０１１６】
（式９）
ここで、ｓはカラーフィルタの種類を表す添え字であり、ｃｓは受光値を表す。ｊは分割した受光強度区間を指定する番号であり、ｋｊは各受光強度区間の下限値である。混合比率は、ルックアップテーブルより得られた評価値τｓを式７に代入することで得られる。
【０１１７】
ルックアップテーブルで評価値を計算することで、処理の高速化、コスト低減が図れる反面、出力色信号値が離散化されてグラデーションが滑らかに再現されないというおそれがある。このため、段階数ｎはできるだけ多く設定するのが望ましい。
【実施例４】
【０１１８】
次に、本発明の実施例４である撮像装置及び画像処理装置について説明する。本実施例の撮像装置は、実施例１の撮像装置とほぼ同じ構成を有する。実施例１の撮像装置との相違点は、イメージセンサが備えるカラーフィルタ配列と受光時の電荷蓄積時間である。また、ＲＡＷデータを出力するモードで動作する点も異なる。実施例１の撮像装置のうち画像処理装置の部分はなくてもよい。
【０１１９】
図１２には、本実施例におけるカラーフィルタ配列を示す。実施例１とは異なり、透過率が抑制されていない通常の原色系カラーフィルタと、補色系カラーフィルタとの組合せを用いる。原色系カラーフィルタの透過率を抑制する代わりに、原色系カラーフィルタに対応する画素の電荷蓄積時間を短くする。
【０１２０】
電荷蓄積時間ｔと、入射光の強度Ｐと、光電変換により発生する電子数（言い換えれば、電荷蓄積量）Ｎとの関係は以下の式１０で表わされる。
【０１２１】
【数１０】
【０１２２】
ただし、Ｃはイメージセンサの開口面積や入射光の波長で決定される比例定数である。実施例１においてカラーフィルタの透過率を低くした目的は、入射光強度Ｐを低下させて、受光素子（画素）での電子の飽和を防ぐことである。これに対し、本実施例では、入射光強度Ｐを抑制する代わりに、原色系カラーフィルタに対応する画素での電荷蓄積時間を他の画素の５０％以下にすることで、電子数Ｎを抑制することで飽和を防ぐ。
【０１２３】
電荷蓄積時間の制御方法は任意であるが、本実施例では、原色系カラー フィルタに対応する画素に対して、フレームレートのｋ倍の速度でリセット信号を送る。ｋは撮影状況（露出範囲等）に応じて設定される定数である。ｋ倍速でリセットすることで、電荷蓄積時間を１／ｋにすることができる。
【０１２４】
電荷蓄積時間を短縮する場合、イメージセンサ上の処理が複雑になる欠点はあるが、電子数の制御性が向上し、撮影状況に応じて適切な光電変換特性が得られるという利点がある。
【０１２５】
ＲＡＷデータ出力モードについて図１を用いて説明する。レンズ系１０１により形成された光学像をイメージセンサ１０３により電気信号に変換し、該電気信号（出力信号）をＡ／Ｄ変換した後にメインメモリ１０５に保持するまでは実施例１と同じである。
【０１２６】
メインメモリ１０５に保持された受光値の情報は、イメージセンサ情報（カラーフィルタ配列と受光値配列との関係、電荷蓄積時間等）と共に出力部１１８に送られる。これらの情報は、撮影時の情報（シャッター速度やＦナンバー等）とともにＲＡＷデータとしてまとめられ、メモリカード等の記録媒体に記録されたり、通信により後述する画像処理装置に送信されたりする。
【０１２７】
ＲＡＷ画像データ処理のシーケンスについて、図１３に示すフローチャートを用いて説明する。この処理は、コンピュータプログラム（以下、単にプログラムという）に従って、該プログラムがインストールされた画像処理装置としてのパーソナルコンピュータによって実行される。基本的な処理の流れは、実施例１で説明した撮像装置内での処理手順と同じであるが、混合比率算出時の設定自由度が高い点が実施例１と異なる。
【０１２８】
記録媒体又は撮像装置との通信によりプログラムに入力されたＲＡＷ画像データは、復号処理４０１により、受光値情報と、イメージセンサ情報と、撮影時情報とに分けられ、それぞれの情報（数値）にプログラムがアクセスできる状態とされる。
【０１２９】
次に、補間処理４０２は、各カラーフィルタに対する受光値が画素ごとに得られるように補間処理を行う。補間処理方法は任意であるが、本実施例では実施例１と同じ方法を用いる。
【０１３０】
次に、画素抽出処理４０３は、補間処理４０２で処理された画像データを画素ごとに分割し、各画素に対応する受光値を抽出する。抽出された受光値に対し、領域検出処理４０４は、飽和領域にあるか有効領域にあるかの判定を行う。判定方法としては、実施例１にて説明した方法を用いる。
【０１３１】
色信号生成処理４０５は、領域検出処理４０４によっていずれの受光値も飽和領域にないと判定された場合には、実施例１の色信号生成部１０８と同様の処理を行う。なお、撮像装置内での処理とは異なり、パーソナルコンピュータのハードディスク上に多数の色変換行列を保持できるので、色設計の自由度を増すことができる。
【０１３２】
領域検出処理４０４によっていずれかの受光値が飽和領域にあると判定された場合は、色信号生成処理４０６により中間出力値１１０，１１１を生成する。中間出力値１１０，１１１の生成の基になる受光値の選び方は、実施例１にて説明したのと同じである。
【０１３３】
次に、混合比率算出処理４０７は、飽和領域判定が行われた受光値から混合比率を計算する。まず、各受光値の評価値τｉを、以下の式１１により計算する。
【０１３４】
【数１１】
【０１３５】
（式１１）
ここで、ｉは受光値のインデックス、ａは飽和領域の上限値、ｂは飽和領域の下限値である。ｃｉは受光値であり、ｉｍａｘは飽和領域判定が行われる受光値の総数を表す。ｋｉは各受光値に対して与える重み定数であり、ｋｉの総和が１になるようにする。
【０１３６】
混合比率τは、以下の式１２に示すように、各受光値の評価値の総和に対し、図１４に示すような単調増加の非線形写像ｆを作用させた結果であるとする。
【０１３７】
【数１２】
【０１３８】
（式１２）
各受光値の評価値に対し重み定数ｋｉを与えることで、特定のカラーフィルタに対する受光値の影響を、混合比率に反映しやすい。例えば、補色系カラーフィルタの中でＣｙに対応する受光値が、画像の大部分の領域において飽和している場合を考える。Ｃｙに対する受光値は飽和しており、受光値の変化を混合比率に反映させる必要はない。このため、Ｙ， Ｍｇの２色のフィルタに対する重み定数ｋｉの割合を大きくし、Ｃｙフィルタに対する重み定数を０に近づけることで、適切な混合比率を選ぶことができる。
【０１３９】
非線形写像ｆを混合比率選択に用いることで、ノイズの増幅量の微調整が可能になる。後段で行われる階調変換では、対数圧縮やγ処理等の非線形変換が行われるため、強度によって過度にノイズが増幅される場合がある。このような場合には、ノイズが不自然に増幅されないように非線形写像ｆを予め設計すればよい。
【０１４０】
出力色信号算出処理４０８は、色信号生成処理４０６により得られた中間出力値１１０，１１１と、混合比率算出処理４０７により得られた混合比率とを用いて、出力色信号を算出する。出力色信号の算出は、実施例１と同様に行う（式４）。
【０１４１】
次に、階調変換処理４０９は、出力色信号の階調圧縮及びγ補正等の処理を行う。処理の内容は、実施例１で説明したものと同じである。
【０１４２】
次に、画素番号判定処理４１０は、全画素に対して上記処理を行ったか否かを確認し、未処理の画素がある場合は、該未処理画素に対して画素抽出処理４０３からの処理を行う。全画素に対して処理が終了した場合は、画像化処理４１１においてｊｐｅｇ等の一般的な画像形式で出力する。
【０１４３】
本実施例によれば、電荷蓄積時間が異なる受光素子を有するイメージセンサを用いて光強度が広範囲で連続的に変化する光学像を撮像して得られたＲＡＷ画像を処理することにより、中間階調での色ノイズの発生を効果的に抑制できる画像処理装置を実現できる。撮像装置は、電荷蓄積時間が異なる受光素子を備えたイメージセンサを用いることにより、高強度の光が入射した場合でも飽和せずに受光値情報を取得できる。
【０１４４】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【図面の簡単な説明】
【０１４５】
【図１】本発明の実施例１である画像処理装置を含む撮像装置の構成を示す図。
【図２】実施例１の撮像装置のカラーフィルタ配列を説明する図。
【図３】実施例１の撮像装置において実行される補間処理を説明する図。
【図４】実施例１における補間処理の中間データが対応するカラーフィルタについて説明する図。
【図５】実施例１において、補間処理結果から受光値集合を走査する過程を説明する図。
【図６】実施例１での領域検出処理において、すべての受光値が飽和領域にない状態を説明する図。
【図７】実施例１での領域検出処理において、いずれかの受光値が飽和領域にある状態を説明する図。
【図８】実施例１の撮像装置が備える出力色信号算出部で行われる処理を説明する図。
【図９】本発明の実施例２である画像処理装置を含む撮像装置のカラーフィルタ配列を説明する図。
【図１０】実施例２の撮像装置の領域検出部での領域判定を説明する図。
【図１１】本発明の実施例３である画像処理装置を含む撮像装置のカラーフィルタ配列とマスクを説明する図。
【図１２】本発明の実施例４における撮像装置のカラーフィルタ配列を説明する図。
【図１３】実施例４である画像処理装置における処理手順を説明するフローチャート。
【図１４】実施例４で用いる非線形関数を説明する図。
【符号の説明】
【０１４６】
１０１ レンズ系
１０２ 低域通過フィルタ
１０３ カラーイメージセンサ
１０４ Ａ／Ｄ変換処理部
１０５ メインメモリ
１０６ 補間処理部
１０７ 領域検出部
１０８ 色信号生成部
１０９ 色変換情報テーブル
１１０ 中間出力値
１１１ 中間出力値
１１２ 混合比率算出部
１１３ 出力色信号算出部
１１４ 階調変換部
１１５ 出力色信号
１１６ コントローラ
１１７ システムバス
１１８ 出力部
【技術分野】
【０００１】
本発明は、ダイナミックレンジを拡張した撮像素子を用いて生成される画像信号の色信号値を算出する画像処理技術に関する。
【背景技術】
【０００２】
撮像素子を用いたデジタルスチルカメラにおいて、撮像素子のダイナミックレンジを拡張する方法として、特許文献１〜６に開示された方法がある。
【０００３】
特許文献１，２には、同色で透過率が異なる複数のカラーフィルタを用い、該複数のカラーフィルタの透過率差を利用する方法が開示されている。撮像素子への入射光の強度が弱い場合には、透過率の高いカラーフィルタを通した撮像素子の受光値を用い、入射光の強度が強い場合には、透過率の低いカラーフィルタを通した撮像素子の受光値（又は両者の加算値）を用いる。
【０００４】
特許文献３には、原色フィルタと補色フィルタを使用し、入射光の強度の強弱に対応させて、原色フィルタ及び補色フィルタにより形成される２つの像を切り替える方式が開示されている。
【０００５】
特許文献４には、補色系のカラーフィルタを用い、同色の透過率を指数関数的に４段階に減衰させることで、急激な輝度変化を抑える方法が開示されている。
【０００６】
特許文献５には、撮像素子の開口サイズを変えることで該撮像素子の受光感度を制御できる特性を利用し、複数の開口形状を用いてダイナミックレンジを拡張する方法が開示されている。
【０００７】
特許文献６には、同一の受光部あるいは近傍の受光部における電荷蓄積時間を変化させて受光感度を制御できる特性を利用した方法が開示されている。
【０００８】
一方、ダイナミックレンジの拡張によってノイズが増幅される問題が知られている。透過率の異なるカラーフィルタを用いてダイナミックレンジを拡張する場合を例として説明する。入射光の強度がやや強い場合（透過率の高いカラーフィルタを通した受光値が飽和し、透過率の低いカラーフィルタを通した受光値が小さい場合）は、透過率の低いカラーフィルタを通した受光値を用いて出力信号を生成しなければならない。
【０００９】
受光値のＳ／Ｎ比は、光電変換に寄与する光子数の平方根に比例することが知られており（これを光ショットノイズの影響という）、光子数が多いほどＳ／Ｎ比が増加する。その結果、透過率の低いカラーフィルタを通した受光値は、透過率が高いカラーフィルタを通した受光値に比べてＳ／Ｎ比が低くなり、ノイズの多い出力信号が生成される。
【００１０】
このようなダイナミックレンジの拡張により増幅されるノイズを抑制する方法が特許文献７，８に開示されている。特許文献７にて開示された方法では、電荷蓄積量の多い信号と少ない信号を、それぞれ異なる周波数強調処理を施した上で合成し、電荷蓄積量の少ない信号に混入するノイズを抑制する。また、特許文献８にて開示された方法では、Ｒ，Ｇ，Ｂの原色系のカラーフィルタとＣｙ，Ｙｅの補色系カラーフィルタを用い、中及び低輝度域では上記５色の全てから色信号を生成することでノイズを抑制する。
【特許文献１】特開２０００−０６９４９１号公報
【特許文献２】特開２０００−２５３４１２号公報
【特許文献３】特開２０００−３１５７８４号公報
【特許文献４】特開２００３−１７９８１９号公報
【特許文献５】特開２００５−２８６１０４号公報
【特許文献６】特開２００６−０１４１１７号公報
【特許文献７】特開２００１−３５２４８６号公報
【特許文献８】特開２００６−２１１４７８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、広い範囲で強度が変化するグラデーションを撮像した場合、特許文献１〜８にて開示されたいずれの方法を用いても、中間階調において色ノイズが発生しやすい。中間階調に相当する強度の光が撮像素子に入射した場合、高感度受光部において電荷が飽和して、低感度受光部の出力に切り替わる。この際に、それぞれの受光部の受光特性の差がノイズとして視認される。
【００１２】
特に、特許文献１、４及び６にて開示された方法では、入射光が強いときに、飽和していない受光値にバイアスを加算した値を出力値とする。このとき、露光調整が正確に行われていれば、他の方法に比べてノイズは目立ちにくい。しかし、露光調整を厳密に行わず、階調変換を施して画像を得る場合には、画像出力が入射光に対して線形の関係にないため、中間階調のノイズが不自然に増幅されてしまう。
【００１３】
また、特許文献２にて開示された方法では、出力は入射光に対して線形であるが、光ショットノイズが増幅されやすい。光ショットノイズは、撮像素子に発生する主要なノイズとして知られている。光ショットノイズの大きさは、光電変換により発生する電荷の平方根に比例する。特許文献２に記載された撮像素子のように、感度が大きく異なる受光部を用いる場合は、隣接する画素値に含まれる光ショットノイズの大きさが著しく異なる。特許文献２にて開示された方法では、Ｓ／Ｎ比の差を考慮せずに画像合成を行っているため、中間階調の光が入射した場合にノイズが大きくなる。
【００１４】
また、特許文献３にて開示された方法では、原色系と補色系のカラーフィルタを組み合わせてダイナミックレンジ拡大を図っているが、原色系と補色系のカラーフィルタから得られる画像は再現色域が大きく異なる。このため、グラデーション撮影時に中間階調に色の境界が生じてしまう。
【００１５】
さらに、特許文献５にて開示された方法では、開口面積が異なる高感度受光部及び低感度受光部からの出力に対して別々に補間処理を行って２つの画像を生成し、２画像の加重平均を出力としている。この場合、ノイズを多く含んだ受光値や、飽和した受光値の影響が合成結果にノイズとして現れてしまう。
【００１６】
特許文献７にて開示された方法では、ノイズの差については考慮されている。しかし、３色のカラーフィルタを使用して電荷蓄積時間に差をつける方式であるため、カラーフィルタの分光透過率が異なる場合のように、ノイズが色ノイズとして現れる場合には抑制できない場合がある。
【００１７】
特許文献８にて開示された方法では、原色系と補色系のカラーフィルタを組み合わせてダイナミックレンジ拡張を行い、二つのマトリクス演算結果の混合によりノイズと色再現性のバランスをとり階調性を改善する。この方法では、入射光の波長分布の偏りが大きい場合や、センサの電荷蓄積量の差が大きい場合に、特定色画素の飽和の影響で偽色が発生する場合がある。
【００１８】
本発明は、ダイナミックレンジ拡張した撮像素子を用いてグラデーションを撮像した場合に発生しやすい色ノイズを低減できるようにした画像処理装置、撮像装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００１９】
本発明の一側面としての画像処理装置は、複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含む撮像素子を用いて生成される画像信号の色信号値を、各受光素子の電荷蓄積量に応じた出力値である受光値に基づいて算出する。該装置は、各受光素子の受光値が有効領域にあるか飽和領域にあるかを判定する判定部と、複数の第１及び第２の受光素子の受光値のうち有効領域及び飽和領域にある受光値を用いて第１の色信号値を算出し、かつ複数の第１及び第２の受光素子の受光値のうち有効領域にある受光値、又は複数の第１の受光素子の受光値のうち有効領域にある受光値を用いて第２の色信号値を算出する第１の色信号算出部と、複数の第２の受光素子の受光値に基づいて、第１の色信号値と第２の色信号値との混合比率を算出する混合比率算出部と、第１の色信号値、第２の色信号値及び混合比率に基づいて、画像信号の色信号値を算出する第２の色信号算出部とを有することを特徴とする。
【００２０】
なお、上記撮像素子と上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【００２１】
また、本発明の他の一側面としての画像処理方法は、複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含む撮像素子を用いて生成される画像信号の色信号値を、各受光素子の電荷蓄積量に応じた出力値である受光値に基づいて算出する。該方法は、各受光素子の受光値が有効領域にあるか飽和領域にあるかを判定するステップと、複数の第１及び第２の受光素子の受光値のうち有効領域及び飽和領域にある受光値を用いて第１の色信号値を算出し、かつ複数の第１及び第２の受光素子の受光値のうち有効領域にある受光値、又は複数の第１の受光素子の受光値のうち有効領域にある受光値を用いて第２の色信号値を算出するステップと、複数の第２の受光素子の受光値に基づいて、第１の色信号値と第２の色信号値との混合比率を算出するステップと、第１の色信号値、第２の色信号値及び混合比率に基づいて、画像信号の色信号値を算出するステップとを有することを特徴とする。
【発明の効果】
【００２２】
本発明によれば、飽和受光素子に対応する色信号値を、上記第１及び第２の色信号値の混合値とすることにより、ダイナミックレンジ拡張した撮像素子を用いてグラデーションを撮像した場合に発生し易い色ノイズを低減することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２４】
図１には、本発明の実施例１である画像処理装置を含む撮像装置の概略構成を示している。
【００２５】
不図示の被写体からの光束は、レンズ系１０１によって集光される。該光束は、低域通過フィルタ１０２によって高周波成分が抑制された後、画素（受光素子）ごとにカラーフィルタと集光用マイクロレンズアレイを備えた単板式のイメージセンサ（撮像素子）１０３上に光学像を形成する。
【００２６】
イメージセンサ１０３におけるカラーフィルタの配列としては、図２に示す補色系配列（Ｃｙ，Ｍｇ，Ｙｅ，Ｇ）と、補色系配列の最大透過率を１に正規化したときに最大透過率が０．５以下の原色系配列（ＤＲ，ＤＧ，ＤＢ）とを組み合わせた配列が用いられる。言い換えれば、イメージセンサ１０３は、波長に対して均一な分光強度分布を有する白色光が入射したときに電荷蓄積量が２倍以上異なる複数の画素を含む。該白色光が入射したときの補色系カラーフィルタ（Ｃｙ，Ｍｇ，Ｙｅ，Ｇ）に対応する複数の画素（第２の受光素子）の電荷蓄積量は、原色系カラーフィルタ（ＤＲ，ＤＧ，ＤＢ）に対応する複数の画素（第１の受光素子）の電荷蓄積量に比べて、２倍以上多い。
【００２７】
ただし、カラーフィルタ配列は、図２に示すものに限らず、透過率が高いフィルタと低いフィルタの組み合せであって、各々のフィルタが備えられた画素間での電荷蓄積量に２倍以上の差があればよい。
【００２８】
イメージセンサ１０３上に形成された光学像は、該イメージセンサ１０３によって電気信号に変換（光電変換）される。光電変換の際に、リードノイズや光ショットノイズ等のノイズがイメージセンサ１０３の出力信号に加えられる。
【００２９】
イメージセンサ１０３の出力信号は、Ａ／Ｄ変換処理部１０４により濃度量子化され、各画素（各受光素子）の出力値である受光値（又は画素値）としてメインメモリ１０５に保持される。受光値は、電荷蓄積量に対応する（例えば、比例する）値である。これ以後、後述する各処理部における情報（又は信号）の送受信は、システムバス１０６を通して行われる。送受信状態の制御は、コントローラ１０７により行われる。
【００３０】
ここで、上述した電荷蓄積量の差を表す別の基準として、受光値のＳ／Ｎ比の差を用いることもできる。受光値に含まれるノイズの中で最も支配的である光ショットノイズの大きさは、光電変換により発生した電荷量（光電変換に寄与した光子数）の平方根となる。このため、Ｓ／Ｎ比も電荷量の平方根で表され、受光値のＳ／Ｎ比の差（比率）は以下の式１のように与えられる。
【００３１】
【数１】
【００３２】
（式１）
ただし、Ｖ１，Ｖ２は比較する２つの受光値のＳ／Ｎ比、ｎ１，ｎ２はそれぞれの受光値に対応する電荷量である。受光値間の差（ｎ１，ｎ２の比）が２倍であるときには、Ｓ／Ｎ比の差は約１．４倍になる。
【００３３】
補間処理部１０６は、受光値に対して補間処理を実行する。補間処理は、各画素位置に対して、各カラーフィルタに対応する受光値を推定できれば任意の処理方法で実行することができるが、本実施例では、図３に示す処理方法を用いる。
【００３４】
図３においては、まず、図２に示すカラーフィルタ配列における受光値分布を、補色系カラーフィルタと該補色系カラーフィルタよりも透過率が低い原色系カラーフィルタとにそれぞれ対応する２つの受光値分布に分割する。該２つの受光値分布に対応するカラーフィルタを、図４（ａ）に示す。右側の図が補色系カラーフィルタを、左側の図が原色系カラーフィルタを示す。
【００３５】
次に、補間処理部１０６は、補色系カラーフィルタに対応する受光値分布において値がない領域に対し、補間処理を行う。この補間処理は、値がない領域の近傍に位置する値を有する複数の画素を含むブロックでの平均受光値とする。
【００３６】
次に、補間処理部１０６は、原色系カラーフィルタに対応する受光値分布に対しても、同様の補間処理を行う。補間処理の結果として得られる２つの受光値分布のそれぞれに対応するカラーフィルタ配列は、図４（ｂ）に示すように、通常の単板式イメージセンサで用いられる補色系及び原色系のカラーフィルタ配列となる。
【００３７】
次に、補間処理部１０６は、各画素において取得できていない色（例えば、Ｃｙフィルタに対応する画素では、Ｍｇ，Ｙｅ，Ｇ）の受光値を補間処理により求める。このようして最終的に得られた２つの受光値分布を組み合わせることで、各画素に対して全カラーフィルタに対応する受光値分布が得られる。補間処理部１０６で得られた受光値分布は、メインメモリ１０５に格納される。
【００３８】
さらに、補間処理部１０６は、メインメモリ１０５に格納された受光値分布を走査して、各画素に対応する受光値の集合（全てのカラーフィルタに対応する受光値の集合）を取得し、順番に領域検出部１０７に送信する。受光値分布を走査する様子を図５に示す。
【００３９】
受光値分布は、各カラーフィルタに対する受光値がマトリクス状に配置された面により構成される。画素（ｉ，ｊ）における受光値集合は、各面の要素で構成されるベクトルであり、以下のように示される。
【００４０】
(s(1)i,j, s(2)i,j, s(3)i,j, s(4)i,j, s(5)i,j, s(6)i,j, s(7)i、j)
画素（１，１）から画素（ｎ，ｍ）まで走査して、対応する受光値集合を順番に領域検出部１０７に送信する。
【００４１】
以下、本実施例の画像処理装置を構成する領域検出部１０７、色信号生成部１０８、混合比率算出部１１２、出力色信号算出部１１３及び階調変換部１１４について説明する。なお、画像処理装置は、上記各部に対応する領域検出ステップ、色信号生成ステップ、混合比率算出ステップ、及び出力色信号算出ステップをコンピュータプログラムに従って実行する画像処理方法を実施する装置としても構成できる。
【００４２】
判定部としての領域検出部１０７は、各カラーフィルタに対応する受光値が、飽和領域、有効領域及びノイズ領域のいずれにあるかを検出（判定）する。本実施例では、図６に示すように、補色系カラーフィルタとＧフィルタに対応する受光値に対しては、Ａ未満Ｂ以上の強度を飽和領域とし、Ｂ未満の強度を有効領域とし、Ａ以上の強度を無効領域として区分する。透過率の低い原色系カラーフィルタに対応する受光値に対しては、Ｃ以上の強度を有効領域とし、Ｃ未満の強度をノイズ領域として区分し、飽和領域は設けない。
【００４３】
なお、透過率が高く飽和しやすい補色系カラーフィルタに対応する受光値に対してノイズ領域を設けてもよいし、透過率の低い原色系カラーフィルタに対応する受光値に対して飽和領域を設けてもよい。
【００４４】
領域検出部１０７での判定結果に応じて、続く処理が分岐する。
【００４５】
領域検出部１０７は、全ての受光値が飽和領域にないと判定した場合には、第１の色信号算出部としての色信号生成部１０８に、有効領域にある受光値と、受光値が対応するカラーフィルタ識別コードとを送信する。カラーフィルタ識別コードは、カラーフィルタの種類を表すために用いるビット列である。本実施例のカラーフィルタは全部で７種類であるので、カラーフィルタ識別コードは７ビットのビット列となる。図６に示すように、Ｃｙ，Ｙ，Ｇ，ＤＲ，ＤＢのフィルタに対する受光値が有効領域にあり、他のフィルタに対する受光値が有効領域にない場合は、Ｃｙ，Ｙ，Ｇ，ＤＲ，ＤＢのフィルタに対するビットを１とし、他を０とした識別コードを送信する。
【００４６】
色信号生成部１０８は、色変換情報テーブル１０９を用いてカラーフィルタ識別コードに対応する色変換行列を検索し、色変換を実行する。色変換行列としては、出力値の表色系を任意に選択し、色票を使って行列要素を調整したものを用いる。本実施例での出力値表色系は、ｘｙｚ表色系とする。色変換行列の調整には、色票に対する受光値に光ショットノイズを加えた値を使ってもよい。光ショットノイズを加えて調整することで、行列変換により光ショットノイズが増幅されなくなり、色再現性も向上する。
【００４７】
光ショットノイズを考慮する場合には、色変換情報テーブル１０９での検索のキーとして、カラーフィルタ識別コードと受光範囲（受光値が含まれる強度範囲を符号化した値）とを用いてもよい。受光値の大きさに応じて光ショットノイズの大きさも変わるため、受光範囲を検索キーとすることで、光ショットノイズの抑制効果が高い色変換行列を選ぶことが可能になる。
【００４８】
色信号生成部１０８により生成された出力信号は、そのまま画像信号の出力色信号として、階調変換部１１４に送信される。
【００４９】
一方、領域検出部１０７が、いくつかの受光値が飽和領域にあると判定した場合について図７を用いて説明する。
【００５０】
この場合、領域検出部１０７は、有効領域及び飽和領域にある受光値と、有効領域にある受光値が対応するカラーフィルタ識別コードと、飽和領域にある受光値が対応するカラーフィルタ識別コードとを色信号生成部１０８に送信する。
【００５１】
図７に示す受光値に対しては、Ｃｙ，Ｙ，Ｇ，ＤＲ，ＤＢのフィルタに対する受光値と、Ｃｙ，Ｇ，ＤＲ，ＤＢのフィルタに対するビットが１になったカラーフィルタ識別コードと、Ｙフィルタに対するビットが１になったカラーフィルタ識別コードとを送信する。
【００５２】
色信号生成部１０８は、有効領域及び飽和領域にあるカラーフィルタ識別コード（両識別コードのＯＲ演算結果）をキーにして色変換行列を検索し、有効領域及び飽和領域にある受光値を色変換して、第１の色信号値としての中間出力値１１０を求める。
【００５３】
次に、色信号生成部１０８は、有効領域にあるカラーフィルタ識別コードをキーにして色変換行列を検索し、有効領域にある受光値を色変換して、第２の色信号値である中間出力値１１１を求める。
【００５４】
中間出力値１１０，１１１は、同じ位置（画素）における色信号値を、互いに異なる受光値の組から推定した結果である。ここにいう受光値の組の違いは、飽和領域にある受光値（図７に示す例ではＹに対する受光値）を含むか含まないかである。飽和領域にある受光値は、飽和直前の高い値であるため、光ショットノイズの割合が少なく、Ｓ／Ｎ比が高い。
【００５５】
このため、ノイズに関しては、飽和領域にある受光値を含めた状態で推定された中間出力値１１０は、有効領域にある受光値のみで推定された中間出力値１１１よりもノイズの少ない高精度な値となる。
【００５６】
また、色に関しては、原色系カラーフィルタに対応する受光値を用いた方が、補色系カラーフィルタに対応する受光値を用いる場合よりも色再現性がよい。飽和領域にある受光値は、補色系カラーフィルタに対応する受光値である。このため、色再現性については、中間出力値１１０の方が中間出力値１１１よりも低い可能性がある。
【００５７】
色信号生成部１０８は、このようにして得られた中間出力値１１０，１１１を、第２の色信号算出部としての出力色信号算出部１１３に送信する。
【００５８】
また、領域検出部１０７は、色信号生成部１０８への信号送信経路とは別経路を通じて、混合比率算出部１１２に、飽和領域判定が行われた全ての受光値を、飽和領域にあるか否かに関係なく送信する。飽和領域判定が行われた全ての受光値とは、Ｃｙ，Ｙ，Ｍｇ，Ｇのフィルタに対応する受光値を示す。
【００５９】
混合比率算出部１１２は、飽和領域判定が行われた全ての受光値を用いて、中間出力値１１０，１１１の混合比率を算出する。以下に混合比率の算出手順を示す。なお、ここでは、説明を簡略化するために、飽和領域の範囲を飽和領域判定が行われる全ての受光値に対して一定とする。ただし、飽和領域の範囲をＣｙ，Ｙ，Ｍｇ，Ｇのフィルタごとに異ならせてもよい。
【００６０】
まず、各受光値の評価値τｉを、以下の式２を用いて計算する。
【００６１】
【数２】
【００６２】
（式２）
ここで、ｉは飽和領域判定が行われる受光値のインデックスであり、Ｃｙ，Ｙ，Ｍｇ，Ｇに対応する数値（１〜４）である。ｉｍａｘは飽和領域判定が行われる受光値の総数（＝
４）である。ａは飽和領域の上限値、ｂは飽和領域の下限値であり、ａ−ｂは該上限値と下限値との差である。ｃｉは受光値を表す。
【００６３】
混合比率τは、以下の式３に示すように、各受光値の評価値の総和とする。
【００６４】
【数３】
【００６５】
（式３）
混合比率τは、全ての受光値ｃｉが飽和領域の下限値ｂに近い場合に０に近づき、飽和領域の上限値ａに近い場合に１に近づく。混合比率算出部１１２は、このように求めた混合比率τを出力色信号算出部１１３に送信する。なお、色信号生成部１０８と混合比率算出部１１２から出力色信号算出部１１３にデータを送信する順序は、前後してもよい。本実施例では、処理速度向上のため、同時に送信する。
【００６６】
出力色信号算出部１１３は、以下の式４に示す計算を実行し、出力色信号を生成する。
【００６７】
【数４】
【００６８】
（式４）
ただし、ベクトルｘ１，ｘ２はそれぞれ、中間出力値１１０，１１１を表す。
【００６９】
上述した混合比率の特性から、飽和領域判定が行われた全ての受光値ｃｉが飽和領域の下限値ｂに近い場合（式２参照）には、ｘｏｕｔはｘ１に近い値となり、飽和領域の上限値ａに近い場合には、ｘｏｕｔはｘ２に近い値となる。
【００７０】
式４により得られる出力色信号（出力色信号値）について説明する。出力色信号値の輝度成分のＳ／Ｎ比と入射光強度の関係の例を図８（ａ）に示す。入射光強度が０から上昇する際に、図８（ｂ）に示すように、受光値のうちＹフィルタに対応する受光値のみが上昇する状況を考える。このような状況は、本来はＧ，ＤＲ，ＤＧのフィルタに対する受光値も上昇するため、実際にはありえないが、Ｙフィルタに対応する受光値以外の受光値が飽和領域に至る可能性がないので、説明が容易になる。他の状況でも原理的には同じであるため、説明の一般性を損なうものではない。
【００７１】
上記状況にあると仮定することにより、図８（ａ）に示す入射光強度ｐ，ｑが、Ｙフィルタに対する受光値においては、図８（ｂ）のＡ，Ｂに対応すると考えることができる。
【００７２】
入射光強度がｑより小さい場合は、図８（ｂ）に示すＹフィルタに対する受光値は、有効領域にある。このため、Ｃｙ，Ｙ，Ｇ，ＤＲ，ＤＢの５種類のフィルタに対する受光値から出力色信号値が求められる。また、出力色信号値の輝度成分のＳ／Ｎ比を計算することで、図８（ａ）に示すノイズ曲線Ｓが得られる。
【００７３】
入射光強度がｐとｑの間にある場合には、Ｙフィルタに対する受光値は飽和領域にあるので、中間出力値１１０，１１１を計算する。中間出力値１１０，１１１の輝度成分のＳ／Ｎ比を求めると、中間出力値１１０の輝度成分のＳ／Ｎ比は図８（ａ）に示す曲線Ｓに、中間出力値１１１の輝度成分のＳ／Ｎ比は曲線Ｔに対応する。
【００７４】
入射光強度がｐより大きい場合は、Ｙフィルタに対する受光値は無効領域に入るため、Ｃｙ，Ｇ，ＤＲ，ＤＢの４種類のフィルタに対する受光値から出力色信号値が求められる。この出力色信号値の輝度成分のＳ／Ｎ比を計算することで、曲線Ｔが得られる。
【００７５】
図８（ａ）に示すように、曲線Ｓ，Ｔが不連続であることは、特にグラデーションを撮像した場合に問題になる。グラデーションの輝度範囲が広い場合、入射光強度は０とｐ以上の値との間に連続的に分布する。Ｓ／Ｎ比は、入射光強度が低い部分では曲線Ｓに従い、入射光強度が高い部分では曲線Ｔに従って変化する。この結果、入射光強度ｐの近辺において急激にＳ／Ｎ比が変化することになる。入射光強度ｐはグラデーションの中間階調に相当するが、中間階調でノイズが急増するのは、視覚的に好ましくない。
【００７６】
式４による中間出力値の混合は、曲線Ｓ，Ｔの境界を滑らかに繋ぐことを目的とする。混合により得られるＳ／Ｎ比の曲線は、図８（ａ）に示す曲線Ｕのようになる。この結果、中間階調でＳ／Ｎ比が急激に変化しなくなるために、視覚的に好ましい画像が得られる。
【００７７】
以上の説明では、Ｓ／Ｎ比の不連続性を例にあげたが、カラーフィルタの組合せや色変換行列の選択によっては、中間階調で急激な色変化や偽色が発生する場合もある。式４による中間出力値の混合は、色変化を伴う場合にも有効であり、急激な色変化を緩和する効果も得られる。
【００７８】
色信号生成部１０８又は出力色信号算出部１１３は、出力色信号を階調変換部１１４に送信し、階調変換を実行する。階調変換の方式は任意であるが、対数圧縮特性を持つものが望ましい。
【００７９】
階調変換部１１４は、階調変換後の出力色信号を出力部１１８に送信する。送信部１１８は、該出力色信号をｓＲＧＢ等の表色系の色信号に変換して出力する。
【００８０】
本実施例によれば、透過率が大きく異なる複数のカラーフィルタを備えたイメージセンサを用いて光強度が広範囲で連続的に変化する光学像を撮像する場合に、中間階調での色ノイズの発生を効果的に抑制できる画像処理装置又は撮像装置を提供することができる。
【実施例２】
【００８１】
次に、本発明の実施例２である画像処理装置を含む撮像装置について説明する。本実施例における撮像装置の基本的な構成は、実施例１の撮像装置と同じであるため、本実施例も図１を用いて説明する。このことは、後述する実施例３，４においても同じである。
【００８２】
被写体からの光束がイメージセンサ１０３上に光学像を形成するまでは、実施例１の撮像装置と同じである。
【００８３】
本実施例では、図９に示すように、補色系カラーフィルタのうちＣｙ，Ｙの２色のフィルタと、原色系カラーフィルタのうちＧフィルタと、透過率が２０％以下である無色のＤフィルタにより構成されるカラーフィルタ配列を用いる。すなわち、本実施例のイメージセンサ１０３は、Ｃｙ，Ｙ，Ｇフィルタが設けられた複数の画素（第２の受光素子）と、Ｃｙ，Ｙ，Ｇフィルタよりも透過率が低いＤフィルタが設けられた複数の画素（第１の受光素子）とを含む。このようなカラーフィルタ配列を用いることで、実施例１と比較して、カラーフィルタ数が減り、同色のサンプル点数が増えるため、空間解像力が向上する。ただし、高強度光が入射すると、Ｄフィルタを通した受光値以外の受光値は飽和するため、明領域の色分解能はなくなる。
【００８４】
光学像がイメージセンサ１０３で電気信号に変換され、イメージセンサ１０３からの出力信号がＡ／Ｄ変換部１０４及びメインメモリ１０５を介して、受光値として補間処理部１０６に送信されるまでの処理も実施例１の撮像装置と同じである。
【００８５】
補間処理部１０６では、イメージセンサ１０３の画素が保持しているカラーフィルタ以外のカラーフィルタに対応する受光値を補間処理により推定する。例えば、画素がＧフィルタを保持している場合に、残りのＣｙ，Ｙ，Ｄのフィルタに対応する受光値を、その近傍に位置するＣｙ，Ｙ，Ｄのフィルタに対応する受光値の平均値とする。この結果、各画素に対して、Ｃｙ，Ｙ，Ｇ，Ｄの４色のフィルタに対する受光値を備えた画像データが形成される。
【００８６】
そして、補間処理部１０６は、得られた受光値分布を図３に示した方法と同様の方法により走査して、各画素に対応する受光値集合を取得し、順番に領域検出部１０７に送信する。
【００８７】
領域検出部１０７は、実施例１における領域検出処理と同様に、図１０に示すような領域区分を用いて、各カラーフィルタに対応する受光値が、飽和領域、有効領域及びノイズ領域のいずれにあるかを判定（検出）する。補色系カラーフィルタＣｙ，ＹとＧフィルタに対しては、Ａ未満Ｂ以上の強度を飽和領域とし、Ｂ未満の強度を有効領域とし、Ａ以上の強度を無効領域として区分する。Ｄフィルタに関しては、Ｃ以上の強度を有効領域とし、Ｃ未満の強度をノイズ領域として区分し、飽和領域は設けない。
【００８８】
領域検出部１０７の判定結果に応じて、続く処理が分岐する。
【００８９】
領域検出部１０７は、全ての受光値が飽和領域にないと判定した場合には、実施例１と同じように、色信号生成部１０８に、有効領域にある受光値と、受光値が対応するカラーフィルタ識別コードとを送信する。色信号生成部１０８は、実施例１と同様に、出力色信号を生成し、階調変換部１１４に送信する。ただし、色信号の表色系には、輝度と色差で信号値を区別するＹＣｂＣｒ表色系を用いる。
【００９０】
領域検出部１０７は、いくつかの受光値が飽和領域にあると判定した場合は、以下の情報を色信号生成部１０８に送信する。すなわち、有効領域及び飽和領域にある受光値と、有効領域にある受光値が対応するカラーフィルタ識別コードと、飽和領域にある受光値が対応するカラーフィルタ識別コードとを送信する。
【００９１】
色信号生成部１０８は、有効領域及び飽和領域にあるカラーフィルタ識別コードをキーにして色変換行列を検索し、有効領域及び飽和領域にある受光値を色変換して中間出力値１１０を求める。
【００９２】
次に、色信号生成部１０８は、以下の式５により、Ｄフィルタに対する有効領域にある受光値を輝度信号とした中間出力値１１１を求める。
【００９３】
【数５】
【００９４】
（式５）
ここで、ｃはＤフィルタに対する受光値である。ｋは比例定数であり、撮像装置の撮像特性に合わせて設定する。
【００９５】
そして、色信号生成部１０８は、中間出力値１１０，１１１を、出力色信号算出部１１３に送信する。
【００９６】
領域検出部１０７は、色信号生成部１０８への信号送信経路とは別経路を通じて、混合比率算出部１１２に、飽和領域判定が行われた全ての受光値を、飽和領域にあるか否かに関係なく送信する。飽和領域判定が行われた全ての受光値とは、Ｃｙ，Ｙ，Ｇのフィルタに対応する受光値を示す。
【００９７】
混合比率算出部１１２は、飽和領域判定が行われた全ての受光値を用いて、輝度と色差に対する２つの混合比率を算出する。以下に該２つの混合比率の算出手順について説明する。本実施例でも、飽和領域の範囲を飽和領域判定が行われた全ての受光値で同じとするが、必ずしも同じとする必要はない。
【００９８】
まず、以下の式６に従って各受光値の評価値τｓを計算する。
【００９９】
【数６】
【０１００】
（式６）
ここで、ｓはカラーフィルタの種類を表す添え字であり、本実施例のカラーフィルタ配列では｛Ｃｙ, Ｙ, Ｇ｝のいずれかである。ａは飽和領域の上限値であり、ｂは飽和領域の下限値である。ｃｓは受光値を表す。
【０１０１】
輝度に対する混合比率τ（１）と、色差に対する混合比率τ（２）は、以下の式７で表される。
【０１０２】
【数７】
【０１０３】
（式７）
輝度に対する混合比率と色差に対する混合比率とを分けた理由は、Ｃｙ又はＹフィルタに対する受光値が飽和したときに、出力色信号の色差のみを０にしたい（白色にしたい）ためである。Ｃｙ又はＹフィルタに対する受光値が飽和した場合には、他に色信号の基になる受光値がないため、色が大きくずれてしまう。輝度に関しては、Ｇフィルタに対する受光値が飽和しにくく、光ショットノイズの少ない正確な値が求まるため、色差のように急に０にしたくない。このような理由から、輝度に対しては、飽和しにくいＧフィルタの評価値を混合比率とし、色差に対しては、ＣｙとＹフィルタの評価値の積を混合比率とする。これにより、いずれかが飽和した場合に混合比率が０になるようにしている。
【０１０４】
混合比率算出部１１２は、このようにして求めた混合比率τ（１），τ（２）を出力色信号算出部１１３に送信する。
【０１０５】
出力色信号算出部１１３は、以下の式８の計算を実行し、出力色信号を生成する。
【０１０６】
【数８】
【０１０７】
（式８）
ここで、演算子“．＊”は、配列積（ベクトル要素ごとの積を新しい要素としてベクトルを作る演算）を表す。ベクトルｘ１，ｘ２はそれぞれ、中間出力値１１０，１１１を表す。
【０１０８】
式８により、輝度信号（式８内で表現されるベクトルの第１要素）と色差信号（同第２，３要素）が２つの混合比率を用いて独立に混合される。上述した輝度及び色差に対する混合比の性質から、Ｃｙ，Ｙフィルタのいずれかが飽和する場合でも偽色の発生を防止することができる。
【０１０９】
色信号生成部１０８又は出力色信号算出部１１３は、輝度信号及び色差信号により構成される出力色信号を階調変換部１１４に送信し、階調変換を実行する。階調変換部１１４は、階調変換後の出力色信号を出力部１１８に送信する。送信部１１８は、該出力色信号をｓＲＧＢ等の表色系の色信号に変換して出力する。
【０１１０】
以上説明したように、本実施例によれば、実施例１よりも少数のカラーフィルタや波長透過率分布が均一なカラーフィルタを用いた場合においても、色ノイズの低減が可能な画像処理装置及び撮像装置を提供することができる。
【実施例３】
【０１１１】
次に、本発明の実施例３である画像処理装置を含む撮像装置について説明する。本実施例の撮像装置の基本的な構成は実施例２の撮像装置と同じであるが、カラーフィルタ配列と混合比率算出部１１２での混合比率の算出方法とが異なる。
【０１１２】
本実施例におけるカラーフィルタ配列を図１１（ａ）に示す。本実施例では、マスクによって、Ｃｙ，Ｙ，Ｇのフィルタに対応する画素以外の画素の開口面積を小さくすることで、実施例２におけるＤフィルタと同様に、前述した白色光が入射したときの電荷蓄積量を少なくしている。実施例２では、Ｄフィルタの透過率を低くすることで強い光が入射した場合でも飽和しない画素を実現したが、Ｄフィルタの透過率を精度良く制御するのは容易ではない。このため、マスクを用いて透過光量を制御することで、透過光量（つまりは電荷蓄積量）の調整が容易になる。コストも削減できる。
【０１１３】
マスクは、図１１（ａ）に示すように中心部に１つの矩形開口を形成したものでも、図１１（ｂ），（ｃ）に示すように複数の開口を形成したものや矩形以外の開口を形成したものでもよい。また、図１１（ｄ）に示すように、マスクを用いず、画素の開口サイズを小さくすることで、透過光量を少なくするようにしてもよい。
【０１１４】
本実施例における混合比率算出部１１２での混合比率の算出方法について説明する。混合比率算出部１１２は、実施例２における式６に相当する評価値の計算をルックアップテーブルを用いて行う。ルックアップテーブルは、以下の式９に示すように、式６における飽和領域の上限値ａと下限値ｂとの間をｎ段階に分割した場合の各段階の代表値を示している。
【０１１５】
【数９】
【０１１６】
（式９）
ここで、ｓはカラーフィルタの種類を表す添え字であり、ｃｓは受光値を表す。ｊは分割した受光強度区間を指定する番号であり、ｋｊは各受光強度区間の下限値である。混合比率は、ルックアップテーブルより得られた評価値τｓを式７に代入することで得られる。
【０１１７】
ルックアップテーブルで評価値を計算することで、処理の高速化、コスト低減が図れる反面、出力色信号値が離散化されてグラデーションが滑らかに再現されないというおそれがある。このため、段階数ｎはできるだけ多く設定するのが望ましい。
【実施例４】
【０１１８】
次に、本発明の実施例４である撮像装置及び画像処理装置について説明する。本実施例の撮像装置は、実施例１の撮像装置とほぼ同じ構成を有する。実施例１の撮像装置との相違点は、イメージセンサが備えるカラーフィルタ配列と受光時の電荷蓄積時間である。また、ＲＡＷデータを出力するモードで動作する点も異なる。実施例１の撮像装置のうち画像処理装置の部分はなくてもよい。
【０１１９】
図１２には、本実施例におけるカラーフィルタ配列を示す。実施例１とは異なり、透過率が抑制されていない通常の原色系カラーフィルタと、補色系カラーフィルタとの組合せを用いる。原色系カラーフィルタの透過率を抑制する代わりに、原色系カラーフィルタに対応する画素の電荷蓄積時間を短くする。
【０１２０】
電荷蓄積時間ｔと、入射光の強度Ｐと、光電変換により発生する電子数（言い換えれば、電荷蓄積量）Ｎとの関係は以下の式１０で表わされる。
【０１２１】
【数１０】
【０１２２】
ただし、Ｃはイメージセンサの開口面積や入射光の波長で決定される比例定数である。実施例１においてカラーフィルタの透過率を低くした目的は、入射光強度Ｐを低下させて、受光素子（画素）での電子の飽和を防ぐことである。これに対し、本実施例では、入射光強度Ｐを抑制する代わりに、原色系カラーフィルタに対応する画素での電荷蓄積時間を他の画素の５０％以下にすることで、電子数Ｎを抑制することで飽和を防ぐ。
【０１２３】
電荷蓄積時間の制御方法は任意であるが、本実施例では、原色系カラー フィルタに対応する画素に対して、フレームレートのｋ倍の速度でリセット信号を送る。ｋは撮影状況（露出範囲等）に応じて設定される定数である。ｋ倍速でリセットすることで、電荷蓄積時間を１／ｋにすることができる。
【０１２４】
電荷蓄積時間を短縮する場合、イメージセンサ上の処理が複雑になる欠点はあるが、電子数の制御性が向上し、撮影状況に応じて適切な光電変換特性が得られるという利点がある。
【０１２５】
ＲＡＷデータ出力モードについて図１を用いて説明する。レンズ系１０１により形成された光学像をイメージセンサ１０３により電気信号に変換し、該電気信号（出力信号）をＡ／Ｄ変換した後にメインメモリ１０５に保持するまでは実施例１と同じである。
【０１２６】
メインメモリ１０５に保持された受光値の情報は、イメージセンサ情報（カラーフィルタ配列と受光値配列との関係、電荷蓄積時間等）と共に出力部１１８に送られる。これらの情報は、撮影時の情報（シャッター速度やＦナンバー等）とともにＲＡＷデータとしてまとめられ、メモリカード等の記録媒体に記録されたり、通信により後述する画像処理装置に送信されたりする。
【０１２７】
ＲＡＷ画像データ処理のシーケンスについて、図１３に示すフローチャートを用いて説明する。この処理は、コンピュータプログラム（以下、単にプログラムという）に従って、該プログラムがインストールされた画像処理装置としてのパーソナルコンピュータによって実行される。基本的な処理の流れは、実施例１で説明した撮像装置内での処理手順と同じであるが、混合比率算出時の設定自由度が高い点が実施例１と異なる。
【０１２８】
記録媒体又は撮像装置との通信によりプログラムに入力されたＲＡＷ画像データは、復号処理４０１により、受光値情報と、イメージセンサ情報と、撮影時情報とに分けられ、それぞれの情報（数値）にプログラムがアクセスできる状態とされる。
【０１２９】
次に、補間処理４０２は、各カラーフィルタに対する受光値が画素ごとに得られるように補間処理を行う。補間処理方法は任意であるが、本実施例では実施例１と同じ方法を用いる。
【０１３０】
次に、画素抽出処理４０３は、補間処理４０２で処理された画像データを画素ごとに分割し、各画素に対応する受光値を抽出する。抽出された受光値に対し、領域検出処理４０４は、飽和領域にあるか有効領域にあるかの判定を行う。判定方法としては、実施例１にて説明した方法を用いる。
【０１３１】
色信号生成処理４０５は、領域検出処理４０４によっていずれの受光値も飽和領域にないと判定された場合には、実施例１の色信号生成部１０８と同様の処理を行う。なお、撮像装置内での処理とは異なり、パーソナルコンピュータのハードディスク上に多数の色変換行列を保持できるので、色設計の自由度を増すことができる。
【０１３２】
領域検出処理４０４によっていずれかの受光値が飽和領域にあると判定された場合は、色信号生成処理４０６により中間出力値１１０，１１１を生成する。中間出力値１１０，１１１の生成の基になる受光値の選び方は、実施例１にて説明したのと同じである。
【０１３３】
次に、混合比率算出処理４０７は、飽和領域判定が行われた受光値から混合比率を計算する。まず、各受光値の評価値τｉを、以下の式１１により計算する。
【０１３４】
【数１１】
【０１３５】
（式１１）
ここで、ｉは受光値のインデックス、ａは飽和領域の上限値、ｂは飽和領域の下限値である。ｃｉは受光値であり、ｉｍａｘは飽和領域判定が行われる受光値の総数を表す。ｋｉは各受光値に対して与える重み定数であり、ｋｉの総和が１になるようにする。
【０１３６】
混合比率τは、以下の式１２に示すように、各受光値の評価値の総和に対し、図１４に示すような単調増加の非線形写像ｆを作用させた結果であるとする。
【０１３７】
【数１２】
【０１３８】
（式１２）
各受光値の評価値に対し重み定数ｋｉを与えることで、特定のカラーフィルタに対する受光値の影響を、混合比率に反映しやすい。例えば、補色系カラーフィルタの中でＣｙに対応する受光値が、画像の大部分の領域において飽和している場合を考える。Ｃｙに対する受光値は飽和しており、受光値の変化を混合比率に反映させる必要はない。このため、Ｙ， Ｍｇの２色のフィルタに対する重み定数ｋｉの割合を大きくし、Ｃｙフィルタに対する重み定数を０に近づけることで、適切な混合比率を選ぶことができる。
【０１３９】
非線形写像ｆを混合比率選択に用いることで、ノイズの増幅量の微調整が可能になる。後段で行われる階調変換では、対数圧縮やγ処理等の非線形変換が行われるため、強度によって過度にノイズが増幅される場合がある。このような場合には、ノイズが不自然に増幅されないように非線形写像ｆを予め設計すればよい。
【０１４０】
出力色信号算出処理４０８は、色信号生成処理４０６により得られた中間出力値１１０，１１１と、混合比率算出処理４０７により得られた混合比率とを用いて、出力色信号を算出する。出力色信号の算出は、実施例１と同様に行う（式４）。
【０１４１】
次に、階調変換処理４０９は、出力色信号の階調圧縮及びγ補正等の処理を行う。処理の内容は、実施例１で説明したものと同じである。
【０１４２】
次に、画素番号判定処理４１０は、全画素に対して上記処理を行ったか否かを確認し、未処理の画素がある場合は、該未処理画素に対して画素抽出処理４０３からの処理を行う。全画素に対して処理が終了した場合は、画像化処理４１１においてｊｐｅｇ等の一般的な画像形式で出力する。
【０１４３】
本実施例によれば、電荷蓄積時間が異なる受光素子を有するイメージセンサを用いて光強度が広範囲で連続的に変化する光学像を撮像して得られたＲＡＷ画像を処理することにより、中間階調での色ノイズの発生を効果的に抑制できる画像処理装置を実現できる。撮像装置は、電荷蓄積時間が異なる受光素子を備えたイメージセンサを用いることにより、高強度の光が入射した場合でも飽和せずに受光値情報を取得できる。
【０１４４】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【図面の簡単な説明】
【０１４５】
【図１】本発明の実施例１である画像処理装置を含む撮像装置の構成を示す図。
【図２】実施例１の撮像装置のカラーフィルタ配列を説明する図。
【図３】実施例１の撮像装置において実行される補間処理を説明する図。
【図４】実施例１における補間処理の中間データが対応するカラーフィルタについて説明する図。
【図５】実施例１において、補間処理結果から受光値集合を走査する過程を説明する図。
【図６】実施例１での領域検出処理において、すべての受光値が飽和領域にない状態を説明する図。
【図７】実施例１での領域検出処理において、いずれかの受光値が飽和領域にある状態を説明する図。
【図８】実施例１の撮像装置が備える出力色信号算出部で行われる処理を説明する図。
【図９】本発明の実施例２である画像処理装置を含む撮像装置のカラーフィルタ配列を説明する図。
【図１０】実施例２の撮像装置の領域検出部での領域判定を説明する図。
【図１１】本発明の実施例３である画像処理装置を含む撮像装置のカラーフィルタ配列とマスクを説明する図。
【図１２】本発明の実施例４における撮像装置のカラーフィルタ配列を説明する図。
【図１３】実施例４である画像処理装置における処理手順を説明するフローチャート。
【図１４】実施例４で用いる非線形関数を説明する図。
【符号の説明】
【０１４６】
１０１ レンズ系
１０２ 低域通過フィルタ
１０３ カラーイメージセンサ
１０４ Ａ／Ｄ変換処理部
１０５ メインメモリ
１０６ 補間処理部
１０７ 領域検出部
１０８ 色信号生成部
１０９ 色変換情報テーブル
１１０ 中間出力値
１１１ 中間出力値
１１２ 混合比率算出部
１１３ 出力色信号算出部
１１４ 階調変換部
１１５ 出力色信号
１１６ コントローラ
１１７ システムバス
１１８ 出力部
【特許請求の範囲】
【請求項１】
複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が前記第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含む撮像素子を用いて生成される画像信号の色信号値を、前記各受光素子の前記電荷蓄積量に応じた出力値である受光値に基づいて算出する画像処理装置であって、
前記各受光素子の受光値が有効領域にあるか飽和領域にあるかを判定する判定部と、
前記複数の第１及び第２の受光素子の受光値のうち前記有効領域及び前記飽和領域にある受光値を用いて第１の色信号値を算出し、かつ前記複数の第１及び第２の受光素子の受光値のうち前記有効領域にある受光値、又は前記複数の第１の受光素子の受光値のうち前記有効領域にある受光値を用いて第２の色信号値を算出する第１の色信号算出部と、
前記複数の第２の受光素子の前記受光値に基づいて、前記第１の色信号値と前記第２の色信号値との混合比率を算出する混合比率算出部と、
前記第１の色信号値、前記第２の色信号値及び前記混合比率に基づいて、前記画像信号の色信号値を算出する第２の色信号算出部とを有することを特徴とする画像処理装置。
【請求項２】
前記混合比率算出部は、輝度に対する前記混合比率と色差に対する前記混合比率をそれぞれ算出し、
前記第２の色信号算出部は、前記第１の色信号値、前記第２の色信号値、前記輝度に対する混合比率、及び前記色差に対する混合比率に基づいて、前記画像信号の色信号値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記混合比率算出部は、前記飽和領域にある前記受光値と、前記飽和領域の上限値と下限値との差とに基づいて前記混合比率を算出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が前記第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含み、光学像を電気信号に変換する撮像素子と、
請求項１から３のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項５】
複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が前記第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含む撮像素子を用いて生成される画像信号の色信号値を、前記各受光素子の前記電荷蓄積量に応じた出力値である受光値に基づいて算出する画像処理方法であって、
前記各受光素子の受光値が有効領域にあるか飽和領域にあるかを判定するステップと、
前記複数の第１及び第２の受光素子の受光値のうち前記有効領域及び前記飽和領域にある受光値を用いて第１の色信号値を算出し、かつ前記複数の第１及び第２の受光素子の受光値のうち前記有効領域にある受光値、又は前記複数の第１の受光素子の受光値のうち前記有効領域にある受光値を用いて第２の色信号値を算出するステップと、
前記複数の第２の受光素子の前記受光値に基づいて、前記第１の色信号値と前記第２の色信号値との混合比率を算出するステップと、
前記第１の色信号値、前記第２の色信号値及び前記混合比率に基づいて、前記画像信号の色信号値を算出するステップとを有することを特徴とする画像処理方法。
【請求項１】
複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が前記第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含む撮像素子を用いて生成される画像信号の色信号値を、前記各受光素子の前記電荷蓄積量に応じた出力値である受光値に基づいて算出する画像処理装置であって、
前記各受光素子の受光値が有効領域にあるか飽和領域にあるかを判定する判定部と、
前記複数の第１及び第２の受光素子の受光値のうち前記有効領域及び前記飽和領域にある受光値を用いて第１の色信号値を算出し、かつ前記複数の第１及び第２の受光素子の受光値のうち前記有効領域にある受光値、又は前記複数の第１の受光素子の受光値のうち前記有効領域にある受光値を用いて第２の色信号値を算出する第１の色信号算出部と、
前記複数の第２の受光素子の前記受光値に基づいて、前記第１の色信号値と前記第２の色信号値との混合比率を算出する混合比率算出部と、
前記第１の色信号値、前記第２の色信号値及び前記混合比率に基づいて、前記画像信号の色信号値を算出する第２の色信号算出部とを有することを特徴とする画像処理装置。
【請求項２】
前記混合比率算出部は、輝度に対する前記混合比率と色差に対する前記混合比率をそれぞれ算出し、
前記第２の色信号算出部は、前記第１の色信号値、前記第２の色信号値、前記輝度に対する混合比率、及び前記色差に対する混合比率に基づいて、前記画像信号の色信号値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記混合比率算出部は、前記飽和領域にある前記受光値と、前記飽和領域の上限値と下限値との差とに基づいて前記混合比率を算出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が前記第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含み、光学像を電気信号に変換する撮像素子と、
請求項１から３のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項５】
複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が前記第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含む撮像素子を用いて生成される画像信号の色信号値を、前記各受光素子の前記電荷蓄積量に応じた出力値である受光値に基づいて算出する画像処理方法であって、
前記各受光素子の受光値が有効領域にあるか飽和領域にあるかを判定するステップと、
前記複数の第１及び第２の受光素子の受光値のうち前記有効領域及び前記飽和領域にある受光値を用いて第１の色信号値を算出し、かつ前記複数の第１及び第２の受光素子の受光値のうち前記有効領域にある受光値、又は前記複数の第１の受光素子の受光値のうち前記有効領域にある受光値を用いて第２の色信号値を算出するステップと、
前記複数の第２の受光素子の前記受光値に基づいて、前記第１の色信号値と前記第２の色信号値との混合比率を算出するステップと、
前記第１の色信号値、前記第２の色信号値及び前記混合比率に基づいて、前記画像信号の色信号値を算出するステップとを有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−２８４０１０（Ｐ２００９−２８４０１０Ａ）
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願番号】特願２００８−１３１０２１（Ｐ２００８−１３１０２１）
【出願日】平成２０年５月１９日（２００８．５．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願日】平成２０年５月１９日（２００８．５．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]