撮像装置、および画像処理方法、並びにプログラム
【課題】ワンショット型の広ダイナミックレンジ撮影画像に対する高精度なブルーミング補正を実現する装置、方法を提供する。
【解決手段】高感度画素信号と低感度画素信号を出力する撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行する。補正処理部は、撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、入力画素の画素値補正を実行する。例えば、補正対象画素の近傍画素からの電荷漏れに相当するブルーミング量を、低感度画素信号を利用して推定し、推定したブルーミング量を入力画素値から減算する。具体的には、数式モデルやＬＵＴを適用した処理を行う。
【解決手段】高感度画素信号と低感度画素信号を出力する撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行する。補正処理部は、撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、入力画素の画素値補正を実行する。例えば、補正対象画素の近傍画素からの電荷漏れに相当するブルーミング量を、低感度画素信号を利用して推定し、推定したブルーミング量を入力画素値から減算する。具体的には、数式モデルやＬＵＴを適用した処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、例えばブルーミングによる画像劣化の補正を行う撮像装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、ビデオカメラやデジタルスチルカメラなどの固体撮像素子としてＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが用いられている。これらのイメージセンサは、画素数の増加やサイズ縮小が急激に進んでいる。
【０００３】
しかし、このような画素数の増加やサイズ縮小に伴い、撮像素子における隣接画素との間隔が小さくなり、画素間の電荷漏れ、いわゆるブルーミングという新たな問題が発生している。
ブルーミングとは、隣接する画素間において、一方の画素が飽和状態となり電荷が溢れ出し、溢れ出した電荷が隣接する画素に漏れ込む現象である。
【０００４】
図１を参照して、ブルーミングの現象について説明する。
隣接する画素の一方に強い光が入射し、他方に弱い光が入射し、強い光が入射している受光部１が飽和状態となっている場合、受光部１に入射した光によって発生した電荷が受光部１に蓄積されず、その一部が隣接する受光部２に漏れ込む。この現象をブルーミングと呼ぶ。
【０００５】
ここでは、
電荷溢れを発生させる画素、すなわちブルーミング発生画素をＡｇｇｒｅｓｓｏｒ画素、
Ａｇｇｒｅｓｓｏｒ画素から溢れた電荷を蓄積してしまう画素、すなわちブルーミング受容画素をＶｉｃｔｉｍ画素、
として画素を区別する。
【０００６】
このようなブルーミングが発生すると、
電荷溢れを発生させる画素、すなわちブルーミングを発生させるＡｇｇｒｅｓｓｏｒ画素の画素値は飽和値となり、一方、溢れた電荷を蓄積してしまう画素、すなわちブルーミングを受けるＶｉｃｔｉｍ画素の画素値は、溢れ電荷による誤った画素値に設定される。
【０００７】
図２は、ブルーミングによるＡｇｇｒｅｓｓｏｒ画素とＶｉｃｔｉｍ画素の蓄積電荷の推移を説明する図である。
隣接するＡｇｇｒｅｓｓｏｒ画素とＶｉｃｔｉｍ画素に光が入射したときの電荷量の時間変化を示している。
時間ｔ１において、Ａｇｇｒｅｓｓｏｒ画素が飽和し、電荷溢れを発生させている。この溢れた電荷が隣接するＶｉｃｔｉｍ画素に流れこみ、Ｖｉｃｔｉｍ画素の蓄積電荷量を変動させている。
図に示すＶｉｃｔｉｍ画素に対応する点線がブルーミングのない場合の正常な蓄積電荷の推移であり、実線がブルーミングによって変動した蓄積電荷の推移を示している。
【０００８】
入射する光の波長とカラーフィルタの特性によって、隣接する画素毎に感度は異なっているが、感度の強い画素（Ａｇｇｒｅｓｓｏｒ）が飽和すると、感度の弱い画素（Ｖｉｃｔｉｍ）は影響を受ける。
入射する光が一定の時、電荷量の変化は線形性を持つはずであるが、Ｖｉｃｔｉｍ画素はブルーミングの影響により、非線形性を持つ。結果として、画像に着色が起こるなどの問題が起こる。
一般に、ブルーミングの影響は画像の飽和付近で発生するため、飽和付近の色成分を薄くするような対策処理によってブルーミングの影響を目立たせなくする手法が取られることもある。
【０００９】
このブルーミングに対する対策の一例が、例えば特許文献１（特開２００８−２９４６９８）に記載されている。
特許文献１（特開２００８−２９４６９８）は、広ダイナミックレンジ画像の撮影画像に対するブルーミング対策について説明している。
【００１０】
広ダイナミックレンジ画像について簡単に説明する。撮像装置による画像撮影環境は、屋内や野外、昼間や夜間といった多様な環境が想定され、このような様々な環境下で撮像素子（イメージセンサ）を使用する場合、撮影環境の明るさに応じて、光電変換素子の電荷蓄積時間の制御、すなわち露光時間を調整し、感度を最適値にする必要がある。
【００１１】
例えば、明るい環境では露光時間を短くし、暗い環境では露光時間を長くすることで、画素値の飽和や感度不足等の発生を抑制して各画素から有効画素値を出力させることができる。
【００１２】
しかし、例えば明るい被写体と暗い被写体が混在する画像を撮影する場合に、ある一定の露光時間で撮影を行うと、明るい被写体の撮影画素は電荷の蓄積が早く飽和しやすくなる。しかし、暗い被写体の撮影画素は十分な電荷の蓄積がなされないといったアンバランスが発生することがある。
【００１３】
明るい被写体から暗い被写体まで有効画素値を出力させるための手法がダイナミックレンジの拡大処理であり、このような画像の撮像処理は、高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮像、あるいは、広ダイナミックレンジ（ＷＤＲ：Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮像などと呼ばれる。
【００１４】
以下、明るい被写体から暗い被写体まで有効画素値を出力させるための画像撮影手法をＨＤＲ画像撮影手法として説明する。
ＨＤＲ画像撮影手法として、以下の２つの手法が提案されている。
（手法１）マルチショット手法：複数の異なる露光時間で連続撮影した複数の画像を利用し、長時間露光画像と短時間露光画像との合成処理によってダイナミックレンジ拡大画像を生成する手法。
（手法２）ワンショット手法：複数の画像の連続撮影を行うことなく、例えば画素配列の行単位に異なる露光時間を設定し、１枚の画像に含まれる長時間露光画素と短時間露光画素を合成してダイナミックレンジ拡大画像を生成する手法。
【００１５】
マルチショット手法については、例えば特許文献２（特開平２−１７４４７０号公報）、特許文献３（特開平７−９５４８１号公報）、特許文献４（特開平１１−７５１１８号公報）等に記載がある。
具体的には、図３に示すように、露光時間の短い短時間露光画像（低感度画像）と、露光時間の長い長時間露光画像（高感度画像）をフレームごとに交互に撮像する。
これらの異なる露光時間の撮影画像をフレームメモリに蓄積し、各画像から有効画素値を選択取得するなどの信号処理を実行する。例えば明るい被写体領域については短時間露光画像（低感度画像）の画素値を優先取得し、暗い被写体領域については長時間露光画像（高感度画像）の画素値を優先取得するなどの信号処理によってダイナミックレンジの高い画像を生成する。
【００１６】
前述の特許文献１（特開２００８−２９４６９８号公報）には、このようなマルチショットによるＨＤＲ画像に対するブルーミング補正処理について説明している。
図４には、マルチショットによって連続撮影された、
（ａ）短時間露光画像
（ｂ）長時間露光画像
を示している。
特許文献１（特開２００８−２９４６９８号公報）は、この図４に示すように、１つの画像すべてが同じ露光時間、すなわち隣接する画素の露光時間がすべて等しい中でのブルーミング補正について説明するものである。
長時間露光画素の隣接画素間で起こるブルーミングの量を、短時間露光画像の画素値を利用して推定して、この推定に基づいて長時間露光画像の画素値の補正を行う構成を開示している。
【００１７】
長時間露光画像においてブルーミングが発生している場合でも、連続撮影される短時間露光画像では、露光時間が十分に短いため、飽和やブルーミングなどの非線形性を持っていない。
この特徴により、マルチショットによるＨＤＲ撮像画像の場合、短時間露光画像の画素値に基づいて、長時間露光画像の隣接画素間で発生するブルーミングの量を推定し、この推定値に基づいて長時間露光画素の補正を行うことが可能となる。
特許文献１（特開２００８−２９４６９８号公報）は、このようなマルチショットによるＨＤＲ画像に対するブルーミング補正処理について説明している。
【００１８】
しかし、この特許文献１（特開２００８−２９４６９８号公報）に記載のブルーミング補正処理は、前述のＨＤＲ画像撮影手法の（手法２）ワンショット手法によって撮影された画像に対しては適用できない。
（手法２）ワンショット手法は、複数の画像の連続撮影を行うことなく、例えば画素配列の行単位に異なる露光時間を設定し、１枚の画像に含まれる長時間露光画素と短時間露光画素を合成してダイナミックレンジ拡大画像を生成する手法である。
【００１９】
なお、ワンショット手法によるＨＤ画像の撮影処理については、例えば、特許文献５（特開２００６−２５３８７６号公報）、特許文献６（特願２００６−５４２３３７号公報）等に記載されている。
【００２０】
このワンショット手法による撮影画像は、１枚の画像内に長時間露光画素と短時間露光画素が混在することになる。
従って、図４に示すような、
（ａ）短時間露光画像
（ｂ）長時間露光画像
これらの２つの画像を用いた処理ができない。
【００２１】
例えば１枚の撮影画像は、図５に示すように、短時間露光画素である低感度画素と、長時間露光画素である高感度画素が混在する画像となる。
このように、ワンショット手法による撮影画像では、複数の感度の画素が混在し、このような画像には、ブルーミングは極めて複雑な形態で発生する。
【００２２】
すなわち、このような画像では、
・長時間露光画素から長時間露光画素へのブルーミング
・短時間露光画素から短時間露光画素へのブルーミング
のみならず、さらに、
・長時間露光画素から短時間露光画素へのブルーミング、
・短時間露光画素から長時間露光画素へのブルーミング、
これらの様々な画素間のブルーミングが発生する。したがってブルーミング補正は、これらのブルーミング発生形態を考慮して、補正することが必要となる。
【００２３】
先に説明した特許文献１（特開２００８−２９４６９８）は、マルチショットによるＨＤＲ撮像画像に対して、ブルーミングの影響を受けていない短時間露光画像を利用して、ブルーミングの補正量を推定していた。
しかし、ワンショットによるＨＤＲ撮像画像の場合、ブルーミングの影響を受けていない短時間露光画像を利用してブルーミング補正を行わなければならないため、補正量の誤差を小さくするための処理等が必要となる。
【００２４】
なお、特許文献７（特開２００８−１４７８１８号公報）は、信号処理ではなく、イメージセンサの読み出しタイミング制御を変えることで、ブルーミングの発生を最小限にする方法を開示している。
この方法では、画像の位置によって読み出しタイミングが不連続であるため、連続したデータにするためにはフレームメモリなどを必要とする。さらに、露光時間を変化させようとした場合、露光時間に応じて、データの読み出しタイミングが変化し、後段の信号処理のための制御が困難となるという問題が発生する。
【先行技術文献】
【特許文献】
【００２５】
【特許文献１】特開２００８−２９４６９８号公報
【特許文献２】特開平２−１７４４７０号公報
【特許文献３】特開平７−９５４８１号公報
【特許文献４】特開平１１−７５１１８号公報
【特許文献５】特開２００６−２５３８７６号公報
【特許文献６】特願２００６−５４２３３７号公報
【特許文献７】特開２００８−１４７８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【００２６】
本開示は、例えば上記の問題点に鑑みてなされたものであり、画素間の電荷漏れによるブルーミングの補正処理を実行する撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００２７】
本開示は、例えば１つの撮影画像に基づいて生成されるワンショット型の広ダイナミックレンジ（ＨＤＲ）画像を生成する撮像装置に適したブルーミング補正処理を実行する撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２８】
本開示の第１の側面は、
長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部は、
前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する撮像装置にある。
【００２９】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定するブルーミング量推定部と、前記ブルーミング量推定部の推定したブルーミング量を前記撮像素子からの入力画素値から減算する演算部を有する。
【００３０】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、撮像素子の画素配列と、撮像素子の高感度画素と低感度画素の露光制御パターンとを考慮した数式モデルに基づいて算出するブルーミング量推定部を有する。
【００３１】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の画素位置に対応する各色の高感度画素値および低感度画素値を生成する信号生成部と、前記信号生成部の生成した信号を入力して前記注目画素のブルーミング補正を実行する補正処理部を有する。
【００３２】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値とを対応付けたテーブルを適用して、前記撮像素子からの入力画素の画素値補正を実行する。
【００３３】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、前記撮像素子からの入力画素値と、該入力画素値とブルーミングの影響のない理想画素値との差分とを対応付けたテーブルを適用して、前記撮像素子からの入力画素に含まれるブルーミング量を推定する。
【００３４】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定するブルーミング量推定部と、前記ブルーミング量推定部の推定したブルーミング量に、予め規定した減衰パラメータを乗算して減衰ブルーミング量を算出する乗算部と、前記乗算部の算出した減衰ブルーミング量を前記撮像素子からの入力画素値から減算する演算部を有する。
【００３５】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定し、さらに、該推定結果に基づいてブルーミング量を減算した低感度画素信号を利用して、再度、ブルーミング量の推定を実行する構成を有する。
【００３６】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素が動き領域であるか否かを判定する動き検出部を有し、前記動き検出部の検出情報に応じてブルーミング補正態様を変更する構成を有する。
【００３７】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素がエッジ領域であるか否かを判定するエッジ検出部を有し、前記エッジ検出部の検出情報に応じてブルーミング補正態様を変更する構成を有する。
【００３８】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素が動き領域またはエッジ領域である場合、該注目画素に対応する推定ブルーミング量を減少させる過補正対策部を有する。
【００３９】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、入力画素値が飽和しているか否かを判定し、飽和値である場合にはブルーミング補正を実行しない構成である。
【００４０】
さらに、本開示の撮像装置の一実施態様において、前記撮像装置は、さらに、前記ブルーミング補正処理部の生成したブルーミング補正画像を入力して広ダイナミックレンジ画像を生成する広ダイナミックレンジ（ＨＤＲ）画像生成部を有する。
【００４１】
さらに、本開示の第２の側面は、
長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号の補正を実行する補正処理部を有し、
前記補正処理部は、
前記撮像素子からの入力画素値と、前記撮像素子に対する入射光量と出力値との理想的な線形特性に従った理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する撮像装置にある。
【００４２】
さらに、本開示の撮像装置の一実施態様において、前記補正処理部は、前記撮像素子からの入力画素値に含まれる非線形特性を、前記理想的な線形特性に従った理想画素値を適用して補正する。
【００４３】
さらに、本開示の撮像装置の一実施態様において、前記補正処理部は、複数回の撮影処理によって取得した前記撮像素子の前記理想画素値、または、該理想画素値に基づく補正画素値算出に適用するルックアップテーブル（ＬＵＴ）を記憶部から取得して画素値補正を実行する。
【００４４】
さらに、本開示の第３の側面は、
撮像装置において実行する画像処理方法であり、
前記撮像装置は、長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部において、
前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する画像処理方法にある。
【００４５】
さらに、本開示の第４の側面は、
撮像装置において画像処理を実行させるプログラムであり、
前記撮像装置は、長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部に、前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行させるプログラムにある。
【００４６】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００４７】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００４８】
本開示の一実施例によれば、ワンショット型の広ダイナミックレンジ撮影画像に対する高精度なブルーミング補正を実現する装置、方法が実現される。
具体的には、高感度画素信号と低感度画素信号を出力する撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行する。補正処理部は、撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、入力画素の画素値補正を実行する。例えば、補正対象画素の近傍画素からの電荷漏れに相当するブルーミング量を、低感度画素信号を利用して推定し、推定したブルーミング量を入力画素値から減算する。具体的には、数式モデルやＬＵＴを適用した処理を行う。
本開示の構成によれば、ブルーミングを被った画素のブルーミング量を抑圧することによって、ブルーミングによる非線形性補正し、正しい色再現や、画像の階調を正確に表現でき、画質を向上できる。
【図面の簡単な説明】
【００４９】
【図１】ブルーミングの発生原理について説明する図である。
【図２】ブルーミングによるＡｇｇｒｅｓｓｏｒ画素とＶｉｃｔｉｍ画素の蓄積電荷の推移について説明する図である。
【図３】露光時間の短い短時間露光画像（低感度画像）と、露光時間の長い長時間露光画像（高感度画像）をフレームごとに交互に撮像する処理シーケンスについて説明する図である。
【図４】マルチショットによって連続撮影された短時間露光画像と長時間露光画像に対するブルーミング補正処理について説明する図である。
【図５】短時間露光画素である低感度画素と、長時間露光画素である高感度画素が混在する画像におけるブルーミング補正処理について説明する図である。
【図６】撮像素子の特性情報の計測処理について説明する図である。
【図７】撮像素子の特性情報について説明する図である。
【図８】撮像素子の画素配列パターンと露光制御パターンの例について説明する図である。
【図９】長時間露光と短時間露光における電荷の蓄積のシーケンスについて説明する図である。
【図１０】長時間露光画素から長時間露光画素へのブルーミング量（ＬＬ）の算出処理例について説明する図である。
【図１１】長時間露光画素から短時間露光画素へのブルーミング量（ＬＳ）の算出処理例について説明する図である。
【図１２】短時間露光画素から長時間露光画素へのブルーミング量（ＳＬ）の算出処理例について説明する図である。
【図１３】短時間露光画素から短時間露光画素へのブルーミング量（ＳＳ）の算出処理例について説明する図である。
【図１４】長時間露光と短時間露光における電荷の蓄積のシーケンスについて説明する図である。
【図１５】ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）に対して、縦横斜めの８画素が、ブルーミング発生画素（Ａｇｇｒｅｓｓｏｒ画素）となることを説明する図である。
【図１６】撮像素子の画素配列と露光制御設定例について説明する図である。
【図１７】ブルーミングの発生態様について説明する図である。
【図１８】ブルーミング補正を行う補正処理部の構成例について説明する図である。
【図１９】過補正対策を施したブルーミング補正処理例について説明する図である。
【図２０】ブルーミング補正量の推定処理を繰り返し処理として実行する処理例について説明する図である。
【図２１】ブルーミング補正量の推定処理を繰り返し処理として実行する処理例について説明する図である。
【図２２】ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成例について説明する図である。
【図２３】ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成例について説明する図である。
【図２４】ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成例について説明する図である。
【図２５】ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成例について説明する図である。
【図２６】ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成例について説明する図である。
【図２７】ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成例について説明する図である。
【図２８】短時間露光画素の明るさが変化したときの、実測値（ブルーミングの影響を受けた画素値）と理想値（真の画素値）の変化を表したグラフについて説明する図である。
【図２９】図２８に示す特性に基づいて、図２７に示す１次元ＬＵＴで使用する対応データの関係を表した図である。
【図３０】図２９に示す関係データを単純な折れ線データとした近似処理を実行した結果を示す図である。
【図３１】倍列近似部を有する補正処理部の構成例について説明する図である。
【図３２】３次元ＬＵＴを用いた構成において近似データを用いた補正処理部の構成例について説明する図である。
【図３３】ある画素の短時間露光画素（低感度画素）：Ｒｄ，Ｇｄ，Ｂｄの明るさ（輝度）と画素出力値の変化について説明する図である。
【図３４】数式モデルに基づく補正と、予め取得したデータに基づく補正の両方を組み合わせることで、各処理の欠点を補い、各処理の利点を利用した補正処理部の構成例について説明する図である。
【図３５】過補正対策を行った補正処理部の構成例について説明する図である。
【図３６】ブルーミング補正した結果の補正画素値がどんどん小さくなるという問題野具体例について説明する図である。
【図３７】ブルーミング補正処理を実行する撮像装置２００の構成例について説明する図である。
【図３８】ブルーミング補正処理部の全体構成例について説明する図である。
【図３９】信号生成部における信号生成処理例について、周辺画素を用いて線形補間によって画素値を生成する手法について説明する図である。
【図４０】ＨＤＲ（広ダイナミックレンジ画像）合成処理部の詳細構成例について説明する図である。
【図４１】高感度低周波信号生成部と、低感度低周波信号生成部における、注目画素の周辺画素を利用した処理によって低周波信号を生成する処理について説明する図である。
【図４２】ＨＤＲ全帯域信号生成部の構成例について説明する図である。
【図４３】撮像装置の第２構成例について説明する図である。
【図４４】統合処理部の具体例について説明する図である。
【図４５】統合処理部の具体例について説明する図である。
【図４６】統合処理部の具体例について説明する図である。
【図４７】ブルーミング補正部の入出力関係について説明する図である。図である。
【図４８】図４６に示すブルーミング補正部内に構成される画素生成部の処理例について説明する図である。
【図４９】Ｋｎｅｅ特性について説明する図である。
【発明を実施するための形態】
【００５０】
以下、図面を参照しながら本開示の撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．撮像素子の特性の計測処理について
２．ブルーミングの数式モデルを利用した補正処理例
２−１．長時間露光画素から長時間露光画素へのブルーミング量（ＬＬ）
２−２．長時間露光画素から短時間露光画素へのブルーミング量（ＬＳ）
２−３．短時間露光画素から長時間露光画素へのブルーミング量（ＳＬ）
２−４．短時間露光画素から短時間露光画素へのブルーミング量（ＳＳ）
３．複数のブルーミング発生画素からの相互作用を考慮した実施例
４．ブルーミング補正処理の実施例
４−１．数式モデルを利用した基本的なブルーミング補正処理例
４−２．数式モデルを利用し、過補正対策を施したブルーミング補正処理例
４−３．数式モデルを利用し、繰り返し補正を行う処理例
４−４．ＬＵＴ等、予め取得したデータに基づく補正処理例
４−５．異なる補正手法の組み合わせによるブルーミング補正処理について
４−６．動被写体やエッジによる過補正の対策を施した補正処理例
５．撮像装置の構成例
５−１．撮像装置の構成例１
５−２．撮像装置の構成例２
６．その他の実施例：ブルーミング以外のセンサ特性に基づく画像の補正
７．本開示の構成のまとめ
【００５１】
［１．撮像素子の特性の計測処理について］
以下に説明する本開示の撮像装置の一実施例では、撮像素子の特性を利用して、ブルーミング補正を行う。
まず、図６以下を参照して撮像素子の特性情報の計測処理について説明する。
図６は、撮像素子の特性情報の計測を行うためのシステム構成の一例を示している。
撮影対象とする被写体１０２は、例えば様々な色や輝度領域を設定したテストパターンであり、具体的には、例えばカラーチェック処理などにおいて利用されるマクベスチャートなどが利用可能である。
この被写体１０２に照明１０１を照射して、特性計測用の撮像素子（イメージセンサ）１０４を備えた撮像装置（カメラ）において画像を撮影する。
なお、図６に示す特性計測に適用する装置としては、ＲＡＷ画像を取得可能なカメラを適用してもよいが、一般的なカメラの構成を備えることは必須ではなく、撮像素子であるセンサの生データを取得可能な構成を持つ基盤や装置を適用してもよい。
【００５２】
照明１０１、被写体１０２の条件・位置などを固定し、撮像素子（イメージセンサ）１０４についても同じ条件で撮影するなら、ノイズを無視すれば同一の画像を取得できる。
撮像素子（イメージセンサ）１０４は、画素毎に露光時間を変えて撮影できるセンサである。図に示す制御部１０５の生成する制御情報である露光時間情報１０６に基づいて画素単位で露光時間を設定して撮影を行うことができる。
【００５３】
まず、すべての画素の露光時間を同一にして撮影する。
制御部１０５により、撮像素子１０４の全体の露光時間を短〜長間で細かく変化させながら取得するセンサ画像１０７を、順次、記憶装置１０８に記録する。
【００５４】
図７（Ａ）測定結果は、露光時間を変化させながら取得したセンサ画像１０７の中の、ある隣接したＲ，Ｇ，Ｂ画素値の変化を表す。
一般に被写体の変化がないときには、露光時間と画素値は比例の関係を持つ。
しかし、図７（Ａ）に示すように、露光時間が短い時には線形性があるものの、露光時間が長くなり特定の画素が飽和レベルに近づいてくると非線形性が発生する。これらが飽和やブルーミングによる非線形性である。
【００５５】
時間ｔ１において、Ｇ画素が飽和し、この飽和に基づいてＧ画素で溢れた電荷が隣接するＢ画素、Ｒ画素に流れ込むブルーミングが発生する。このブルーミングによって、Ｂ画素とＲ画素の線形性が崩れている。すなわち、蓄積電荷ペースが増加している。
さらに、時間ｔ２において、Ｂ画素が飽和し、この飽和に基づいてＢ画素で溢れた電荷が隣接するＲ画素に流れ込むブルーミングが発生する。このブルーミングによって、Ｒ画素の線形性が再度崩れ、蓄積電荷ペースがさらに増加している。
【００５６】
図７（Ｂ）理想特性は、図７（Ａ）測定データにおける線形性のある区間のデータ（時間ｔ０〜ｔ１）だけを利用して線形回帰を行った結果である。線形回帰は例えば最小二乗法などで行う。これにより、ある画素のブルーミングのない理想的なデータ［理想特性］を取得できる。例えば、露光時間がＥＸ１であるときのＲ画素の理想画素値はＲ１，Ｂ画素の理想画素値はＧ１と求めることができる。
【００５７】
この露光時間ＥＸ１では、例えばＢ画素、Ｒ画素はブルーミングの影響をうけている区間であるが、それぞれブルーミングの影響がない理想特性（Ｂ）、理想特性（Ｒ）を得られる。同様にＧ画素は飽和しているが、飽和を無視したときの理想特性（Ｇ）を得ることができる。
【００５８】
このように、測定データにおける線形性のある区間のデータ（時間ｔ０〜ｔ１）を利用した線形回帰を行って、図７（Ｂ）に示す実線データ理想的なデータ（理想特性）を求める。
理想特性は、撮像素子の画素配列パターンと、撮像素子において実際の撮影で利用する露光制御パターンに応じて算出し、撮影画像の補正処理には、配列パターンと露光制御パターンの一致する設定の理想特性を適用することが好ましい。
【００５９】
なお、撮像素子１０４の画素配列パターンと露光制御パターンの例を図８に示す。
図８には、（Ａ）〜（Ｍ）の１３種類の画素配列パターンと露光制御パターンを示している。
白い画素が長時間露光画素（高感度画素）、
グレーの画素が短時間露光画素（低感度画素）、
である。
【００６０】
例えば、図８に示す（Ａ）〜（Ｍ）のパターンごと、各色（Ｒ，Ｇ，Ｂ）あるいは（Ｒ，Ｇ，Ｂ，Ｗ）単位の理想特性を算出する。算出した理想特性は、ブルーミング補正を行う画像処理装置や撮像装置の記憶部に格納する。
【００６１】
ブルーミングの補正は、この理想データである理想特性と、実際の撮影処理によって得られる実測データを利用した補正処理として行われる。
具体的には実測データから理想データを算出する処理として実行する。
具体的な補正処理の方法としては例えば以下の方法がある。
（ａ）ブルーミングの数式モデルを導出し、その逆関数によって補正する方法
（ｂ）実測データと理想データの１対１対応データをテーブル（ＬＵＴ：Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）として保持して、テーブルを参照して補正する方法
（ｃ）上記ＬＵＴの代表点のみ利用して、近似して補正する方法
（ｄ）上記の各方法を組み合わせて利用した補正方法
例えばこれらの方法がある。
【００６２】
撮像素子１０４の画素配列や露光制御態様は、先に図８を参照して説明したように、様々であり、この種類によって理想特性と実測データとの対応関係も異なってくる。以下の実施例では、一例として図８（Ａ）に示す画素配列と露光制御構成に従った撮像素子１０４を利用して処理例について説明する。
なお、この図８（Ａ）以外の画素配列と露光制御構成であっても、理想特性と実測データとの対応関係データが異なるのみであり、以下に示す本開示の処理が適用可能である。
【００６３】
［２．ブルーミングの数式モデルを利用した補正処理例］
まず、ブルーミングの数式モデルを利用した補正処理例について説明する。
ブルーミングの数式モデルの導出
ブルーミングの現象を最も単純に記述する方法を示す。
【００６４】
単純なモデル：１画素から１画素へのブルーミング
ここでは、ある１画素（Ａｇｇｒｅｓｓｏｒ）から、ある１画素（Ｖｉｃｔｉｍ）へのブルーミングについてのみ考慮し、相互作用や複数の画素からのブルーミングについては考慮しない。
【００６５】
ブルーミングの量の要因には、入射する光の波長や、温度特性などによる変動なども考えられるが、ここではそれらの要因を考慮せず、一定であるとして簡単なモデルを示す。
【００６６】
発生するブルーミングの種類は露光時間に応じてパターンがある。
なお、長時間露光と短時間露光における電荷の蓄積については、図９に示すような撮影処理に伴う電荷蓄積動作を想定して数式モデルを導出する。
図９には、
（ａ）読み出しタイミング
（ｂ）長時間露光リセットタイミング
（ｃ）長時間露光電荷量
（ｄ）短時間露光リセットタイミング
（ｅ）短時間露光電荷量
これらの時間推移を示している。
【００６７】
長時間露光画素は、長時間露光リセットタイミング（ｔ１）を電荷蓄積開始時間として、次の読み出しタイミング（ｔｒ）まで（露光時間：ｔｂ）、画素に電荷蓄積を行って電荷量に応じた信号量を画素値として読み取る。
短時間露光画素は、短時間露光リセットタイミング（ｔ２）を電荷蓄積開始時間として、次の読み出しタイミング（ｔｒ）まで（露光時間：ｔｄ）、画素に電荷蓄積を行って電荷量に応じた信号量を画素値として読み取る。
なお、短時間露光のリセットタイミングの前には電荷が溜まっていることを想定する。
【００６８】
数式モデル導入のために下記のように各パラメータを定義する。
Ａｉ：ブルーミングを発生する画素（Ａｇｇｒｅｓｓｏｒ画素）が時間Ｔｂだけ露光したときの理想値（飽和しない場合の値）
Ａｓ：Ａｇｇｒｅｓｓｏｒ画素のセンサ出力値
Ｖｉ：ブルーミングを受ける画素（Ｖｉｃｔｉｍ画素）が時間Ｔｂだけ露光したときの理想値（ブルーミングの影響なし）
Ｖｓ：Ｖｉｃｔｉｍ画素のセンサ出力値
Ｔｂ：高感度（長時間露光）の露光時間
Ｔｄ：低感度（短時間露光）の露光時間
ｂｔｈ：Ａｇｇｒｅｓｓｏｒ画素がブルーミングを発生させる信号レベル
ｂｒｔ：Ａｇｇｒｅｓｓｏｒ画素からのブルーミング比率
Ｒ ：長時間露光画素と短時間露光画素との露光比（Ｔｂ／Ｔｄ）
【００６９】
なお、ｂｔｈ（ブルーミング発生信号レベル），ｂｒｔ（ブルーミング比率）は、実際にはセンサ特性や、温度特性、入射光の波長によって変化することがあるが、ここでは簡易的に、センサによって一意に求まるパラメータであるとする。
【００７０】
以下、図１０〜図１３を参照して、以下の各ブルーミング態様に応じたブルーミング量、すなわち電荷溢れによる流入電荷量の算出式例について説明する。以下の４種類のブルーミング量について説明する。
（１）長時間露光画素から長時間露光画素へのブルーミング量（ＬＬ）
（２）長時間露光画素から短時間露光画素へのブルーミング量（ＬＳ）
（３）短時間露光画素から長時間露光画素へのブルーミング量（ＳＬ）
（４）短時間露光画素から短時間露光画素へのブルーミング量（ＳＳ）
【００７１】
なお、以下では、
ブルーミングを発生させ、電荷溢れを起す画素をブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）、
隣接画素から溢れた電荷を流入してしまう画素をブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）、
として説明する。
【００７２】
［２−１．長時間露光画素から長時間露光画素へのブルーミング量（ＬＬ）］
まず、図１０を参照して長時間露光画素から長時間露光画素へのブルーミング量（ＬＬ）の算出式について説明する。
図１０に示す例は、
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝長時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝長時間露光画素、
この設定である。
【００７３】
時間を横軸とし、蓄積電荷量を縦軸として、各画素、すなわち
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝長時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝長時間露光画素、
これらの蓄積電荷の時間推移を示している。
実線が実際の蓄積電荷の推移データであり、点線が理想特性である。
【００７４】
露光時間はＴｂ、
ブルーミング発生信号レベル＝ｂｔｈ、
である。
なお、ブルーミング発生信号レベル＝ｂｔｈは、飽和信号レベルより高い信号レベルとしている。
【００７５】
時間（ｔ１）において、ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）が飽和し、点線で示す理想特性の信号レベルがブルーミング発生信号レベル（ｂｔｈ）となる時間（ｔ２）においてブルーミングが発生する。すなわち画素間の電荷溢れと電荷流入が開始する。
【００７６】
時間（ｔ２）のブルーミング発生タイミング以降において、ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の電荷量は点線で示す理想特性からはずれた直線を描く。
最終的な露光終了時間（ｔｒ）において、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ）と、
の差分がブルーミング量となる。
【００７７】
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝長時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝長時間露光画素、
これら長時間露光画素間におけるブルーミング量（ＬＬ）は以下のように算出される。
【００７８】
まず、ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の理想特性（Ａｉ）に基づいて算出されるブルーミング量（ｂｒｔ）をＬＬ（Ａｉ，ｂｒｔ）とすると、
最終的な露光終了時間（ｔｒ）における、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ）と、
の関係式は、以下の関係式（式１）となる。
【００７９】
【数１】
・・・（式１）
【００８０】
また、露光時間：Ｘ＝０〜ｔｒにおけるブルーミング量（ｂｒｔ）をＬＬ（Ｘ，ｂｒｔ）とすると、
ブルーミング量ＬＬ（Ｘ，ｂｒｔ）の算出式は、以下の（式２）によって示される。
【００８１】
【数２】
・・・（式２）
【００８２】
［２−２．長時間露光画素から短時間露光画素へのブルーミング量（ＬＳ）］
次に、図１１を参照して長時間露光画素から短時間露光画素へのブルーミング量（ＬＳ）の算出式について説明する。
図１１に示す例は、
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝長時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素、
この設定である。
【００８３】
時間を横軸とし、蓄積電荷量を縦軸として、各画素、すなわち
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝長時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素、
これらの蓄積電荷の時間推移を示している。
実線が実際の蓄積電荷の推移データであり、点線が理想特性である。
【００８４】
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素は、時間（ｔ２）においてリセットされ、時間（ｔ２）後の電荷蓄積量を出力画素値（Ｖｓ）としている。
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性に従った点線は時間（Ｔｒ）においてＶｉとなるラインと、（Ｖｉ／Ｒ）となる２つのラインを示している。
時間（ｔｒ）においてＶｉとなるラインは、時間０から継続して電荷蓄積が実行された場合の理想特性ラインである。
一方、時間（ｔｒ）において（Ｖｉ／Ｒ）となるラインは、時間（ｔ２）から露光が実行された場合の理想特性ラインである。
Ｒは、長時間露光画素と短時間露光画素との露光比（Ｔｂ／Ｔｄ）である。
【００８５】
露光時間は、
長時間露光画素がＴｂ、
短時間露光画素がＴｄ、
ブルーミング発生信号レベル＝ｂｔｈ、
である。
【００８６】
時間（ｔ１）において、長時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）が飽和し、点線で示す理想特性の信号レベルがブルーミング発生信号レベル（ｂｔｈ）となる時間（ｔ３）においてブルーミングが発生する。すなわち画素間の電荷溢れと電荷流入が開始する。
【００８７】
なお、時間（ｔ１）〜時間（ｔ３）間の時間（ｔ２）において、短時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の電荷蓄積が開始される設定としている。
【００８８】
短時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）は、時間（ｔ２）〜（ｔ３）までは、ブルーミングの影響のない電荷蓄積が実行される。
しかし、時間（ｔ３）のブルーミング発生タイミング以降において、ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の電荷量は点線で示す理想特性からはずれた直線を描く。
最終的な露光終了時間（ｔｒ）において、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ／Ｒ）と、
の差分がブルーミング量となる。
【００８９】
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝長時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素、
この長時間露光画素から短時間露光画素へのブルーミング量（ＬＳ）は以下のように算出される。
【００９０】
まず、ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の理想特性（Ａｉ）に基づいて算出されるブルーミング量（ｂｒｔ）をＬＳ（Ａｉ，ｂｒｔ）とすると、
最終的な露光終了時間（ｔｒ）における、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ／Ｒ）と、
の関係式は、以下の関係式（式３）となる。
【００９１】
【数３】
・・・（式３）
【００９２】
また、露光時間：Ｘ＝０〜ｔｒにおけるブルーミング量（ｂｒｔ）をＬＳ（Ｘ，ｂｒｔ）とすると、
ブルーミング量ＬＳ（Ｘ，ｂｒｔ）の算出式は、以下の（式４）によって示される。
【００９３】
【数４】
・・・（式４）
【００９４】
［２−３．短時間露光画素から長時間露光画素へのブルーミング量（ＳＬ）］
次に、図１２を参照して短時間露光画素から長時間露光画素へのブルーミング量（ＳＬ）の算出式について説明する。
図１２に示す例は、
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝長時間露光画素、
この設定である。
【００９５】
時間を横軸とし、蓄積電荷量を縦軸として、各画素、すなわち
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝長時間露光画素、
これらの蓄積電荷の時間推移を示している。
実線が実際の蓄積電荷の推移データであり、点線が理想特性である。
【００９６】
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素は、時間（ｔ３）においてリセットされ、時間（ｔ３）後の電荷蓄積量を出力画素値（Ｖｓ）としている。
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性に従った点線は時間（Ｔｒ）においてＶｉとなるラインと、（Ｖｉ／Ｒ）となる２つのラインを示している。
時間（ｔｒ）においてＶｉとなるラインは、時間０から継続して電荷蓄積が実行された場合の理想特性ラインである。
一方、時間（ｔｒ）において（Ｖｉ／Ｒ）となるラインは、時間（ｔ２）から露光が実行された場合の理想特性ラインである。
Ｒは、長時間露光画素と短時間露光画素との露光比（Ｔｂ／Ｔｄ）である。
【００９７】
露光時間は、
長時間露光画素がＴｂ、
短時間露光画素がＴｄ、
ブルーミング発生信号レベル＝ｂｔｈ、
である。
【００９８】
時間（ｔ１）において、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）が飽和し、点線（ＡＬ１）で示す理想特性の信号レベルがブルーミング発生信号レベル（ｂｔｈ）となる時間（ｔ２）においてブルーミングが発生する。すなわち画素間の電荷溢れと電荷流入が開始する。
なお、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の撮影処理に基づく電荷蓄積処理は、時間（ｔ３）〜（ｔｒ）間の露光時間（ｔｄ）に実行され、時間０〜ｔ３の間の露光によって短時間露光画素に蓄積される電荷は撮影開始（ｔ３）時点でリセットされる電荷である。
このリセット対象の電荷によってブルーミングが発生してしまう例を示している。
【００９９】
長時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）は、時間（０）〜（ｔ２）までは、ブルーミングの影響のない電荷蓄積が実行される。
しかし、時間（ｔ２）のブルーミング発生タイミング以降において、ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の電荷量は点線（ＶＬ１）で示す理想特性からはずれた直線を描く。
【０１００】
その後、時間（ｔ３）において、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）はリセット処理が行われ、被写体の撮影に応じた露光時間（ｔｄ）の露光処理が開始される。
この露光処理が開始時点で、短時間露光画素に蓄積された電荷はリセットされ、新たに被写体輝度に応じた電荷の蓄積を開始するため、電荷溢れは停止する。すなわちブルーミング発生は停止することになる。
しかし、この時間（ｔ３）において、長時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）には、すでに図に示す理想特性ライン（ＶＬ１）と実線で示す実電荷ラインとの差分（ＳＬＦ）に相当するブルーミング電荷量が、被写体輝度と無関係な余分な電荷として蓄積されている。
【０１０１】
さらに、時間（ｔ３）以降の短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の露光時間（ｔｄ）において、短時間露光画素は、時間（ｔ４）において、再度、飽和し、点線（ＡＬ２）で示す理想特性の信号レベルがブルーミング発生信号レベル（ｂｔｈ）となる時間（ｔ５）においてブルーミングを発生させる。すなわち画素間の電荷溢れと電荷流入が再び発生する。
【０１０２】
長時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）は、時間（ｔ５）以降、点線（ＶＬ２）で示す理想特性からはずれた直線を描く。この時間（ｔ５）以降のブルーミング量は図に示す（ＳＬＢ）となる。
【０１０３】
最終的な露光終了時間（ｔｒ）において、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ）と、
の差分がブルーミング量となる。
最終的なブルーミング量は、（ＳＬＡ）と（ＳＬＢ）の加算結果に相当する。
【０１０４】
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝長時間露光画素、
この短時間露光画素から長時間露光画素へのブルーミング量（ＳＬ）は以下のように算出される。
【０１０５】
まず、ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の理想特性（Ａｉ）に基づいて算出されるブルーミング量（ｂｒｔ）をＳＬ（Ａｉ，ｂｒｔ）とすると、
最終的な露光終了時間（ｔｒ）における、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ）と、
の関係式は、以下の関係式（式５）となる。
【０１０６】
【数５】
・・・（式５）
【０１０７】
また、露光時間：Ｘ＝０〜ｔｒにおけるブルーミング量（ｂｒｔ）をＳＬ（Ｘ，ｂｒｔ）とすると、
ブルーミング量ＳＬ（Ｘ，ｂｒｔ）の算出式は、以下の（式６）によって示される。
【０１０８】
【数６】
・・・（式６）
【０１０９】
［２−４．短時間露光画素から短時間露光画素へのブルーミング量（ＳＳ）］
次に、図１３を参照して短時間露光画素から短時間露光画素へのブルーミング量（ＳＳ）の算出式について説明する。
図１３に示す例は、
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素、
この設定である。
【０１１０】
時間を横軸とし、蓄積電荷量を縦軸として、各画素、すなわち
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素、
これらの蓄積電荷の時間推移を示している。
実線が実際の蓄積電荷の推移データであり、点線が理想特性である。
【０１１１】
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、およびブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素とも、時間（ｔ３）においてリセットされ、時間（ｔ３）後の電荷蓄積量を出力画素値（Ａｓ，Ｖｓ）としている。
【０１１２】
露光時間は、
長時間露光画素がＴｂ、
短時間露光画素がＴｄ、
ブルーミング発生信号レベル＝ｂｔｈ、
である。
【０１１３】
時間（ｔ１）において、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）が飽和し、点線（ＡＬ１）で示す理想特性の信号レベルがブルーミング発生信号レベル（ｂｔｈ）となる時間（ｔ２）においてブルーミングが発生する。すなわち画素間の電荷溢れと電荷流入が開始する。
なお、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の撮影処理に基づく電荷蓄積処理は、時間（ｔ３）〜（ｔｒ）間の露光時間（ｔｄ）に実行され、時間０〜ｔ３の間の露光によって短時間露光画素に蓄積される電荷は撮影開始（ｔ３）時点でリセットされる電荷である。
このリセット対象の電荷によってブルーミングが発生してしまう例を示している。
【０１１４】
短時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）は、時間（０）〜（ｔ２）までは、ブルーミングの影響のない電荷蓄積が実行される。
しかし、時間（ｔ２）のブルーミング発生タイミング以降において、ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の電荷量は点線（ＶＬ１）で示す理想特性からはずれた直線を描く。
【０１１５】
その後、時間（ｔ３）において、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）、ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）とも、リセット処理が行われ、被写体の撮影に応じた露光時間（ｔｄ）の露光処理が開始される。
この露光処理が開始時点で、短時間露光画素に蓄積された電荷はリセットされ、新たに被写体輝度に応じた電荷の蓄積を開始するため、電荷溢れは停止する。すなわちブルーミング発生は停止することになる。
【０１１６】
しかし、この露光時間（ｔｄ）において、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）は、時間（ｔ４）において、再度。飽和し、点線（ＡＬ２）で示す理想特性の信号レベルがブルーミング発生信号レベル（ｂｔｈ）となる時間（ｔ５）においてブルーミングを発生させる。すなわち画素間の電荷溢れと電荷流入が再び発生する。
【０１１７】
短時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）は、時間（ｔ５）以降、点線（ＶＬ２）で示す理想特性からはずれた直線を描く。
【０１１８】
最終的な露光終了時間（ｔｒ）において、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ／Ｒ）と、
の差分がブルーミング量となる。
【０１１９】
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素、
この短時間露光画素間のブルーミング量（ＳＳ）は以下のように算出される。
【０１２０】
まず、ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の理想特性（Ａｉ）に基づいて算出されるブルーミング量（ｂｒｔ）をＳＳ（Ａｉ，ｂｒｔ）とすると、
最終的な露光終了時間（ｔｒ）における、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ）と、
の関係式は、以下の関係式（式５）となる。
【０１２１】
【数７】
・・・（式７）
【０１２２】
また、露光時間：Ｘ＝０〜ｔｒにおけるブルーミング量（ｂｒｔ）をＳＳ（Ｘ，ｂｒｔ）とすると、
ブルーミング量ＳＳ（Ｘ，ｂｒｔ）の算出式は、以下の（式８）によって示される。
【０１２３】
【数８】
・・・（式８）
【０１２４】
ここまで、露光時間の異なる画素が隣接する場合のブルーミングの数式モデルを示してきた。この数式モデルは、あくまでも、例えば図９に示すセンサ駆動方式など特定のセンサの駆動方式における数式モデルの適用例であるが、ブルーミング量の算出処理は他の様々なセンサ駆動方式に対応して設定することが可能である。
【０１２５】
例えば、先に説明した図９に示すセンサ駆動方式と異なる図１４に示すセンサ駆動方式に対応する数式モデルの設定について説明する。
図１４に示すセンサ駆動方式では、短時間露光画素が露光開始するまで常にリセットがかかっており、電荷が蓄積しない＝ブルーミングが発生しないようになっている。
この駆動方式における、数式モデルは、前述したブルーミング量ＳＬ（Ｘ，ｂｒｔ）の算出式（式６）において、
ＳＬＦ（Ｘ，ｂｒｔ）＝０
と置き換えたものに相当する。
【０１２６】
さらに、露光時間は同じで感度が異なる画素間での従来のブルーミングについても、前述の（式１）で包含している。これにより、露光時間で感度差をつけるのではなく、露光時間は一定で、画素ごとの感度が異なるようなセンサに対するブルーミングの数式モデルについても算出可能である。
【０１２７】
［３．複数のブルーミング発生画素からの相互作用を考慮した実施例］
上述した実施例では、
ブルーミング発生画素（Ａｇｇｒｅｓｓｏｒ画素）を１画素、
ブルーミング受容画素（Ｖｉｃｔｉｍ画素）を１画素、
このようにそれぞれを１画素のみとした設定として単純化したモデルにおけるブルーミング電荷量の算出処理例について説明してきた。
【０１２８】
しかし、実際には、撮像素子を構成する各画素がブルーミングを発生させるブルーミング発生画素（Ａｇｇｒｅｓｓｏｒ画素）になり得るとともに、ブルーミング受容画素（Ｖｉｃｔｉｍ画素）にもなり得る。
このような複雑な構成のモデル化は困難であるが、近似的に下記のようにモデルを設定する。
【０１２９】
図１５には３×３の画素領域を示している。注目画素を中央の画素として、この中央画素をブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）とする。
このブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）に対して、縦横斜めの８画素が、ブルーミング発生画素（Ａｇｇｒｅｓｓｏｒ画素）となる可能性があり、これら８画素からの影響を受ける。
【０１３０】
一般に、縦横に比べ、斜め方向のブルーミングは比率（前述のｂｒｔ）が小さくなる。以降、図１６に示す画素配列と露光制御設定の場合、各感度・色の画素のブルーミングによる影響について説明する。
図１６に示す画素配列において、
白い画素が長時間露光画素（高感度画素）、
グレーの画素が短時間露光画素（低感度画素）、
である。
【０１３１】
具体的には、以下の表記としている。
Ｒｂ：Ｒｅｄ（赤）の高感度画素（長時間露光画素）
Ｇｂ：Ｇｒｅｅｎ（緑）の高感度画素
Ｂｂ：Ｂｌｕｅ（青）の高感度画素
Ｒｄ：Ｒｅｄ（赤）の低感度画素（短時間露光画素）
Ｇｄ：Ｇｒｅｅｎ（緑）の低感度画素
Ｂｄ：Ｂｌｕｅ（青）の低感度画素
【０１３２】
さらに、各画素の理想的な画素値、すなわちブルーミングの発生がない場合のＲＧＢ各画素の画素値を以下のように表記する。
Ｒｉ：Ｒｂの理想値（飽和やブルーミングのない線形性をもつ）
Ｇｉ：Ｇｂの理想値（飽和やブルーミングのない線形性をもつ）
Ｂｉ：Ｂｂの理想値（飽和やブルーミングのない線形性をもつ）
【０１３３】
上記の設定において、飽和やブルーミングのない状況において、ノイズを無視すれば、各画素の画素値は、以下のような画素値となる。
Ｒｂ＝Ｒｉ
Ｇｂ＝Ｇｉ
Ｂｂ＝Ｂｉ
Ｒｄ＝Ｒｉ／Ｒ＝Ｒｂ／Ｒ
Ｇｄ＝Ｇｉ／Ｒ＝Ｇｂ／Ｒ
Ｂｄ＝Ｂｉ／Ｒ＝Ｂｂ／Ｒ
が成り立つ。
なお、
Ｒ：長時間露光画素と短時間露光画素との露光比（Ｔｂ／Ｔｄ）
である。
【０１３４】
例えば、図１６に示すＲｂ画素１５０の周辺８画素を見てみると、
・縦横に、Ｇｂが３画素、Ｇｄが１画素あり
・斜めに、Ｂｄが２画素、Ｂｂが２画素存在する。
このように合計８画素からブルーミングの影響を受けるとして、各感度、色画素のブルーミング量をモデル化する。
【０１３５】
理想画素値Ｒｉ，Ｇｉ，Ｂｉを適用して算出する各画素のブルーミング量を以下のように表記する。
高感度画素Ｒｂのブルーミング量：ｂｌｍＲｂ（Ｒｉ，Ｇｉ，Ｂｉ）
高感度画素Ｇｂのブルーミング量：ｂｌｍＧｂ（Ｒｉ，Ｇｉ，Ｂｉ）
高感度画素Ｂｂのブルーミング量：ｂｌｍＢｂ（Ｒｉ，Ｇｉ，Ｂｉ）
低感度画素Ｒｄのブルーミング量：ｂｌｍＲｄ（Ｒｉ，Ｇｉ，Ｂｉ）
低感度画素Ｇｄのブルーミング量：ｂｌｍＧｄ（Ｒｉ，Ｇｉ，Ｂｉ）
低感度画素Ｂｄのブルーミング量：ｂｌｍＢｄ（Ｒｉ，Ｇｉ，Ｂｉ）
【０１３６】
各画素のブルーミング量は以下の式によって算出できる。
（ａ）高感度画素のブルーミング量
ｂｌｍＲｂ（Ｒｉ，Ｇｉ，Ｂｉ）＝３・ＬＬ（Ｇｉ，ｂｒｔ＿ｈｖ）＋ＳＬ（Ｇｉ，ｂｒｔ＿ｈｖ）＋２・ＳＬ（Ｂｉ，ｂｒｔ＿ａｄ）＋２・ＬＬ（Ｂｉ，ｂｒｔ＿ａｄ）
ｂｌｍＧｂ（Ｒｉ，Ｇｉ，Ｂｉ）＝２・ＬＬ（Ｒｉ，ｂｒｔ＿ｈｖ）＋ＬＬ（Ｂｉ，ｂｒｔ＿ｈｖ）＋ＳＬ（Ｂｉ，ｂｒｔ＿ｈｖ）
＋２・ＳＬ（Ｇｉ，ｂｒｔ＿ａｄ）＋２・ＬＬ（Ｇｉ，ｂｒｔ＿ａｄ）
ｂｌｍＢｂ（Ｒｉ，Ｇｉ，Ｂｉ）＝３・ＬＬ（Ｇｉ＋，ｂｒｔ＿ｈｖ）＋ＳＬ（Ｇｉ，ｂｒｔ＿ｈｖ）＋２・ＳＬ（Ｒｉ，ｂｒｔ＿ａｄ）＋２・ＬＬ（Ｒｉ，ｂｒｔ＿ａｄ）
・・・・・（式Ａ）
【０１３７】
（ｂ）低感度画素のブルーミング量
ｂｌｍＲｄ（Ｒｉ，Ｇｉ，Ｂｉ）＝３・ＳＳ（Ｇｉ，ｂｒｔ＿ｈｖ）＋ＬＳ（Ｇｉ，ｂｒｔ＿ｈｖ）＋２・ＬＳ（Ｂｉ，ｂｒｔ＿ａｄ）＋２・ＳＳ（Ｂｉ，ｂｒｔ＿ａｄ）
ｂｌｍＧｄ（Ｒｉ，Ｇｉ，Ｂｉ）＝２・ＳＳ（Ｒｉ，ｂｒｔ＿ｈｖ）＋ＳＳ（Ｂｉ，ｂｒｔ＿ｈｖ）＋ＬＳ（Ｂｉ，ｂｒｔ＿ｈｖ）＋２・ＬＳ（Ｇｉ，ｂｒｔ＿ａｄ）＋２・ＳＳ（Ｇｉ，ｂｒｔ＿ａｄ）
ｂｌｍＢｄ（Ｒｉ，Ｇｉ，Ｂｉ）＝３・ＳＳ（Ｇｉ＋，ｂｒｔ＿ｈｖ）＋ＬＳ（Ｇｉ，ｂｒｔ＿ｈｖ）＋２・ＬＳ（Ｒｉ，ｂｒｔ＿ａｄ）＋２・ＳＳ（Ｒｉ，ｂｒｔ＿ａｄ）
・・・・・（式Ｂ）
【０１３８】
なお、上記式Ａ，Ｂにおいて、
ｐｑ（ｘｉ，ｂｒｔ＿ｙｙ）の表記は、
ｐｑ＝ＬＬ，ＬＳ，ＳＬ，ＳＳの４種類であり、
ＬＬ：長時間露光画素から長時間露光画素へのブルーミング
ＬＳ：長時間露光画素から短時間露光画素へのブルーミング
ＳＬ：短時間露光画素から長時間露光画素へのブルーミング
ＳＳ：短時間露光画素から短時間露光画素へのブルーミング
ｘは、ＲＧＢのいずれかであり、ｘｉは、各画素の理想特性データを参照していることを意味している。
ｙｙはｈｖ，ａｄのいずれかであり、
ｂｒｔ＿ｈｖは縦横に隣接した画素から漏れるブルーミング比率。
ｂｒｔ＿ａｄは斜めに隣接した画素から漏れるブルーミング比率。
これらを意味する。
【０１３９】
ただし、実際には、ブルーミングは、隣接画素間で相互に発生するものもあり、正確なモデル化は難しい。
すなわち、図１７に示すように、
時間ｔ１において、
長時間露光画素がブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ１）となり。短時間露光画素がブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ１）となり、
その後、
時間ｔ２において、
短時間露光画素がブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ２）となり。長時間露光画素がブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ２）となる、
といった隣接画素間で相互にブルーミングの発生と受容が行われる場合もある。
従って、正確なモデル化は難しい。
【０１４０】
さらに、縦横と斜めの画素に対して相互にブルーミングは発生するため、正確なモデル化は非常に複雑である。
しかし、上記の（式Ａ）、（式Ｂ）により、ブルーミングの量のうちの大部分をモデル化することが可能であり、ブルーミング率（ｂｒｔ）の値が小さい時には誤差として無視できる。
【０１４１】
［４．ブルーミング補正処理の実施例］
次に、上述したブルーミング補正量の算出処理によって求めたブルーミング量を適用した画素値の補正、すなわちブルーミング補正処理の具体的な実施例について説明する。
【０１４２】
［４−１．数式モデルを利用した基本的なブルーミング補正処理例］
まず、数式モデルを利用したブルーミング補正処理例について、図１８を参照して説明する。
図１８は、ブルーミング量を低感度画素の画素値（Ｒｄ，Ｇｄ，Ｂｄ）から推定して、センサ出力信号から引くことによって、ブルーミング補正を行う補正処理部１３０の構成例を示す図である。
【０１４３】
図１８に示す補正処理部１３０は、ブルーミング量推定部１３１と演算部１３２を有する。
図１８に示す補正処理部１３０に対する入力は、撮像素子（イメージセンサ）からの出力または出力に基づいて生成される信号である。
【０１４４】
撮像素子（イメージセンサ）には、例えば図１６に示す長時間露光画素（高感度画素）と短時間露光画素（低感度画素）が混在する。
すなわち、
Ｒｂ：Ｒの高感度画素の出力
Ｇｂ：Ｇの高感度画素の出力
Ｂｂ：Ｂの高感度画素の出力
Ｒｄ：Ｒの低感度画素の出力
Ｇｄ：Ｇの低感度画素の出力
Ｂｄ：Ｂの低感度画素の出力
これらの各出力である。
【０１４５】
図１８に示す補正処理部１３０は、撮像素子の構成画素の各々を、ブルーミング補正の対象となる注目画素として、順次、選択して補正を行う。この補正処理に際して、例えば、補正対象として選択した注目画素の画素位置に対応する上記の６種類の画素値を入力してブルーミング補正を行うことになる。
なお、この注目画素の画素位置に対応する上記の６種類の画素値の生成処理は、撮像素子からの信号を入力する信号生成部（図３８に示す信号生成部２５１）において実行される。例えば注目画素の周辺画素の画素値を参照した線形補間処理によって、各画素値の生成が行われる。
この処理の詳細はについては、図３８等を参照して後段で説明する。
【０１４６】
図１８に示す補正処理部１３０は、信号生成部（図３８に示す信号生成部２５１）の生成した注目画素に対応する上記各画素値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄを入力しこれらの入力値を用いて、注目画素のブルーミング補正結果として、注目画素位置における出力画素の補正画素値：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を生成して出力する。
なお、注目画素は撮像素子の構成画素から、順次、１つずつ選択され、すべての画素について同様のブルーミング補正が実行されることになる。
【０１４７】
補正処理部１３０に対する入力画素値：Ｒｂ、Ｇｂ、Ｂｂ、Ｒｄ、Ｇｄ、Ｂｄは、ノイズや、図１７のような相互依存関係を無視すれば、下記の式（式１１）によって示すことができる。
Ｒｂ＝Ｒｉ＋ｂｌｍＲｂ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｇｂ＝Ｇｉ＋ｂｌｍＧｂ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｂｂ＝Ｂｉ＋ｂｌｍＢｂ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｒｄ＝Ｒｉ／Ｒ＋ｂｌｍＲｄ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｇｄ＝Ｇｉ／Ｒ＋ｂｌｍＧｄ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｂｄ＝Ｂｉ／Ｒ＋ｂｌｍＢｄ（Ｒｉ，Ｇｉ，Ｂｉ）
・・・・・・（式１１）
ただし、
Ｒｉ，Ｇｉ，Ｂｉは、ブルーミングのない理想特性に従って出力される画素値、
ｂｌｍｘｘ（Ｒｉ，Ｇｉ，Ｂｉ）は、各画素（ｘｘ＝Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ．Ｂｄ）におけるブルーミング量であり、先に説明した（式Ａ）、（式Ｂ）によって算出されるブルーミング量、
Ｒは、長時間露光画素と短時間露光画素との露光比（Ｔｂ／Ｔｄ）、
である。
【０１４８】
上記の（式１１）に基づいて、ブルーミングのない理想特性に従って各画素から出力される画素値：Ｒｉ，Ｇｉ，Ｂｉ，Ｒｉ／Ｒ，Ｇｉ／Ｒ，Ｂｉ／Ｒは、下記式（式２２）のように表現できる。
Ｒｉ＝Ｒｂ−ｂｌｍＲｂ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｇｉ＝Ｇｂ−ｂｌｍＧｂ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｂｉ＝Ｂｂ−ｂｌｍＢｂ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｒｉ／Ｒ＝Ｒｄ−ｂｌｍＲｄ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｇｉ／Ｒ＝Ｇｄ−ｂｌｍＧｄ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｂｉ／Ｒ＝Ｂｄ−ｂｌｍＢｄ（Ｒｉ，Ｇｉ，Ｂｉ）
・・・・・・（式１２）
【０１４９】
上記（式１２）に従って算出される理想値を、図１８に示す補正処理部１３０の出力である補正画素値：：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'として算出して出力すればよいことになる。
【０１５０】
しかし、実際には、上記（式１２）の右辺のＲｉ，Ｇｉ，Ｂｉは理想値であることから求められないため、ブルーミング量推定部１３１は、近似処理として、撮像素子の出力に相当する補正処理部の入力である低感度画素の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用して理想画素値の推定値を以下の近似式（式１３）に従って算出する。
ブルーミング量推定部１３１は、
Ｒｉ≒Ｒｄ×Ｒ，
Ｇｉ≒Ｇｄ×Ｒ，
Ｂｉ≒Ｂｄ×Ｒ、
・・・・・・（式１３）
上記の近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出する。
【０１５１】
図１８に示すブルーミング量推定部１３１は、補正処理部に対する入力画素値である低感度画素の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用して、上記の近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
さらに、図１８に示す演算部１３２は、撮像素子からの出力に相当する補正処理部に対する入力値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄから、ブルーミング量推定部１３１の算出した各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行する。
【０１５２】
この演算処理の結果として、各入力画素値からブルーミング量を除去した出力値である補正画素値：：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を出力する。
すなわち、以下の算出式（式１４）に従って、補正画素値：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を算出して出力する。
Ｒｂ'≒Ｒｂ−ｂｌｍＲｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｂ'≒Ｇｂ−ｂｌｍＧｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｂ'≒Ｂｂ−ｂｌｍＢｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｒｄ'≒Ｒｄ−ｂｌｍＲｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｄ'≒Ｇｄ−ｂｌｍＧｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｄ'≒Ｂｄ−ｂｌｍＢｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
・・・・・・（式１４）
【０１５３】
図１８に示す補正処理部１３０はこのようにして入力画素値：Ｒｂ、Ｇｂ、Ｂｂ、Ｒｄ、Ｇｄ、Ｂｄに含まれるブルーミング量を推定し、推定したブルーミング量の除去を行い、除去した結果としての画素値を補正画素値：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'として出力する。
【０１５４】
［４−２．数式モデルを利用し、過補正対策を施したブルーミング補正処理例］
次に、図１９を参照して、過補正対策を施したブルーミング補正処理例について説明する。前述の［４−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した補正処理では、図１８に示すブルーミング量推定部２０１が、近似処理として、撮像素子からの出力に相当する補正処理部に対する入力画素値である低感度画素の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用して理想画素値の推定値を以下の近似式に従って算出していた。
Ｒｉ≒Ｒｄ×Ｒ，
Ｇｉ≒Ｇｄ×Ｒ，
Ｂｉ≒Ｂｄ×Ｒ、
【０１５５】
しかし、実際には、撮像素子からの短時間露光画素（低感度画素）の入力画素値であるＲｄ，Ｇｄ，Ｂｄ画素もブルーミングの影響を受けており、これらの画素のブルーミングの影響を考慮すると、多くの場合、以下の関係式が成立する。
Ｒｉ≦Ｒｄ×Ｒ
Ｇｉ≦Ｇｄ×Ｒ
Ｂｂ≦Ｂｄ×Ｒ
【０１５６】
従って、各画素のブルーミング量：ｂｌｍｘｘは、
ｂｌｍｘｘ（Ｒｉ，Ｇｉ，Ｂｉ）≦ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
上記関係式が成立する。
ただし、ｘｘ＝Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄ、
【０１５７】
上記のように、ブルーミング量を推定するための短時間露光画素（低感度画素）の入力画素値自体のブルーミング量を考慮すると、先に説明した［４−１．数式モデルを利用した基本的なブルーミング補正処理例］における補正処理は、過補正を行ってしまう場合がある。
【０１５８】
その対策として、下記のように、入力画素値である短時間露光画素（低感度画素）に基づいて推定するブルーミング量に対して、予め規定した減衰パラメータ：ａｔｔｘｘ：０≦ａｔｔｘｘ≦１を乗算して以下の式（式２１）に従って、補正画素値：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を算出して出力する。
【０１５９】
Ｒｂ'≒Ｒｂ−ａｔｔＲｂ×ｂｌｍＲｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｂ'≒Ｇｂ−ａｔｔＧｂ×ｂｌｍＧｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｂ'≒Ｂｂ−ａｔｔＢｂ×ｂｌｍＢｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｒｄ'≒Ｒｄ−ａｔｔＲｄ×ｂｌｍＲｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｄ'≒Ｇｄ−ａｔｔＧｄ×ｂｌｍＧｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｄ'≒Ｂｄ−ａｔｔＢｄ×ｂｌｍＢｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
・・・・・（式２１）
ただし、
ａｔｔｘｘは減衰パラメータで０≦ａｔｔｘｘ≦１の任意の係数
ｘｘ＝Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄ、
【０１６０】
上記（式２１）において、減衰パラメータ：ａｔｔｘｘは、実際の補正量を抑制する役割を示す。
なお、減衰パラメータは、事前に、特定の光源下の特定の色におけるブルーミング量の推定値と実測値を測定しておき、その差を小さくするように調整することが好ましい。
【０１６１】
図１９に示す補正処理部１３５はこのようにして入力画素値：Ｒｂ、Ｇｂ、Ｂｂ、Ｒｄ、Ｇｄ、Ｂｄに含まれるブルーミング量を推定し、推定したブルーミング量の除去を行い、除去した結果としての画素値を補正画素値：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'として出力する。
【０１６２】
まず、ブルーミング量推定部１３６は、撮像素子からの出力に相当する補正処理部に対する入力画素値である低感度画素の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用して、先に、［４−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０１６３】
次に、図１９に示す乗算部１３７は、ブルーミング量推定部１３１の算出した各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）に対して、
減衰パラメータ：ａｔｔｘｘ、
ただし、
０≦ａｔｔｘｘ≦１、
ｘｘ＝Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄ、
この減衰パラメータを乗算する。
【０１６４】
乗算部１３７の出力は、以下の各値となる。
ａｔｔＲｂ×ｂｌｍＲｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
ａｔｔＧｂ×ｂｌｍＧｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
ａｔｔＢｂ×ｂｌｍＢｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
ａｔｔＲｄ×ｂｌｍＲｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
ａｔｔＧｄ×ｂｌｍＧｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
ａｔｔＢｄ×ｂｌｍＢｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
【０１６５】
次に、図１９に示す演算部１３８は、撮像素子からの出力に相当する補正処理部に対する入力値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄから、乗算部１３７の出力を減算する処理を実行する。
すなわち、以下の演算により、各入力画素値からブルーミング量を除去した出力値である補正画素値：：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を出力する。
【０１６６】
Ｒｂ'≒Ｒｂ−ａｔｔＲｂ×ｂｌｍＲｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｂ'≒Ｇｂ−ａｔｔＧｂ×ｂｌｍＧｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｂ'≒Ｂｂ−ａｔｔＢｂ×ｂｌｍＢｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｒｄ'≒Ｒｄ−ａｔｔＲｄ×ｂｌｍＲｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｄ'≒Ｇｄ−ａｔｔＧｄ×ｂｌｍＧｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｄ'≒Ｂｄ−ａｔｔＢｄ×ｂｌｍＢｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
ただし、
ａｔｔｘｘは減衰パラメータで０≦ａｔｔｘｘ≦１の任意の係数
ｘｘ＝Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄ、
【０１６７】
［４−３．数式モデルを利用し、繰り返し補正を行う処理例］
先に説明した処理例では、ブルーミング量の推定値に基づいて、推定したブルーミング量を入力画素値から減算する処理を１回実行して補正画素値を出力する構成としていた。以下に説明する処理は、補正処理結果に対して、さらに補正画素値を用いて繰り返し補正を実行する処理例である。、
【０１６８】
例えば、前述の処理例［４−１］において、補正前の短時間露光画素（低感度画素）であるＲｄは、補正処理によって補正後の画素値Ｒｄ'が得られる。この補正前の画素値：Ｒｄと、補正後の画素値：Ｒｄ'を比較すると、１度、補正を行った補正後の画素値：Ｒｄ'の方が真の値に近いはずである。
【０１６９】
すなわち、下記式が成立する。
｜Ｒｄ−Ｒｉ／Ｒ｜＞｜Ｒｄ'−Ｒｉ／Ｒ｜
これは、Ｒｄのみならず、Ｇｄ，Ｂｄについても同様である。
【０１７０】
そこで、短時間露光画素（低感度画素）の補正後の画素値：Ｒｄ'，Ｇｄ'，Ｂｄ'を利用して、繰り返し、ブルーミング補正量を推定する。
【０１７１】
図２０に示す補正処理部１４０は、２回の繰り返し処理によるブルーミング量の推定に基づく画素値補正を行う構成例であり、図２１に示す補正処理部１５０は、３回の繰り返し処理によるブルーミング量の推定に基づく画素値補正を行う構成例である。
【０１７２】
図２０に示す補正処理部１４０において、第１ブルーミング量推定部１４１は、補正処理部に対する入力画素値である低感度画素の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用して、先に、［ｘ−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０１７３】
次に、演算部１４２は、補正処理部に対する入力値：Ｒｄ，Ｇｄ，Ｂｄから、第１ブルーミング量推定部１３１の算出した各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行して、第１補正画素値Ｒｄ'，Ｇｄ'，Ｂｄ'を算出する。
【０１７４】
さらに、第２ブルーミング量推定部１４３は、第１補正画素値Ｒｄ'，Ｇｄ'，Ｂｄ'を利用して、第１ブルーミング量推定部１４１と同様、先に、［４−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ'（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０１７５】
さらに、図２０に示す演算部１４４は、補正処理部に対する入力値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄから、第２ブルーミング量推定部１４３の算出した各画素対応のブルーミング量：ｂｌｍｘｘ'（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行する。
この演算処理の結果として、各入力画素値からブルーミング量を除去した出力値である補正画素値：：Ｒｂ"、Ｇｂ"、Ｂｂ"、Ｒｄ"、Ｇｄ"、Ｂｄ"を出力する。
【０１７６】
一方、図２１に示す補正処理部１５０において、第１ブルーミング量推定部１５１は、補正処理部に対する入力画素値である低感度画素の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用して、先に、［４−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０１７７】
次に、演算部１５２は、補正処理部に対する入力値：Ｒｄ，Ｇｄ，Ｂｄから、第１ブルーミング量推定部１５１の算出した各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行して、第１補正画素値Ｒｄ'，Ｇｄ'，Ｂｄ'を算出する。
【０１７８】
さらに、第２ブルーミング量推定部１５３は、第１補正画素値Ｒｄ'，Ｇｄ'，Ｂｄ'を利用して、第１ブルーミング量推定部１５１と同様、先に、［４−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ'（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０１７９】
次に、演算部１５４は、補正処理部に対する入力値：Ｒｄ，Ｇｄ，Ｂｄから、第２ブルーミング量推定部１５１の算出した各画素対応のブルーミング量：ｂｌｍｘｘ'（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行して、第２補正画素値Ｒｄ"，Ｇｄ"，Ｂｄ"を算出する。
【０１８０】
さらに、第３ブルーミング量推定部１５５は、第２補正画素値Ｒｄ"，Ｇｄ"，Ｂｄ"を利用して、第１ブルーミング量推定部１５１と同様、先に、［４−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ"（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０１８１】
さらに、図２１に示す演算部１５６は、補正処理部に対する入力値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄから、第３ブルーミング量推定部１５５の算出した各画素対応のブルーミング量：ｂｌｍｘｘ"（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行する。
この演算処理の結果として、各入力画素値からブルーミング量を除去した出力値である補正画素値：：Ｒｂ"'、Ｇｂ"'、Ｂｂ"'、Ｒｄ"'、Ｇｄ"'、Ｂｄ"'を出力する。
【０１８２】
なお、２回、３回のブルーミング量推定の繰り返し処理のみならず、さらに多くの回数のブルーミング量推定処理を実行して補正処理を行う構成としてもよい。
【０１８３】
［４−４．ＬＵＴ等、予め取得したデータに基づく補正処理例］
次に、ルックアップテーブル（ＬＵＴ）など、予め取得したブルーミング補正データに基づく補正処理例について説明する。図１８〜図２１を参照して説明した処理例は、いずれも、入力画素値に基づいてブルーミング量を逐次算出し、算出したブルーミング量を利用した処理例としていた。
【０１８４】
しかし、この逐次算出手法の問題点として、ブルーミングの推定のためにブルーミングの影響を受けた画素値を使用している可能性があるということがある。
そのため、個別に異なるブルーミングの影響を受けた画素の画素値に基づいて、ある１つの算出モデルを利用した１回の演算処理で真の画素値を算出することは困難であると言える。
【０１８５】
しかし、前述した［１．撮像素子の特性の計測処理について］の項目において説明したように、事前計算であれば、
真の画素値から、ブルーミングの影響を受けた画素の画素値
を算出することは可能である。
しかも画素の信号値とブルーミングの影響は単調増加の関係があるため、逆関数が存在することも容易に想像できる。
【０１８６】
そこで、予めブルーミング量を測定し、ブルーミングの影響のない「真の画素値」と「ブルーミングの影響をうけた画素の画素値」との対応関係データを設定したＬＵＴ（ルックアップテーブル）を作成する。
【０１８７】
ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成を図２２に示す。
図２２に示す補正処理部１６０は、撮像素子から、長時間露光画素（高感度画素）の画素値：Ｒｂ，Ｇｂ，Ｂｂと、短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄを入力し、６次元ルックアップテーブル１６１による画素値補正を実行して、補正画素値：Ｒｂ'，Ｇｂ'，Ｂｂ'Ｒｄ'，Ｇｄ'，Ｂｄ'を出力する。
【０１８８】
６次元テーブル１６１は、
ブルーミングの影響をうけた画素の画素値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄと、
ブルーミングの影響のない真の画素値：Ｒｂ'，Ｇｂ'，Ｂｂ'Ｒｄ'，Ｇｄ'，Ｂｄ'との対応関係を保持した６次元のルックアップテーブルである。
この６次元ＬＵＴに記録された対応関係データに従って、入力画素値（＝ブルーミングの影響をうけた画素の画素値）に対する補正画素値（＝ブルーミングの影響のない真の画素値）を取得して、出力する。
【０１８９】
ただし、６次元のＬＵＴは、データ量が膨大になるという問題がある。
この問題点を解決する構成として、この結果を保持しながら軽量化する方法が考えられる。
【０１９０】
図２３は、ＬＵＴを３次元化した構成例である。
図２２に示す補正処理部１６５は、撮像素子から、長時間露光画素（高感度画素）の画素値：Ｒｂ，Ｇｂ，Ｂｂと、短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄを入力する。
長時間露光画素（高感度画素）の画素値：Ｒｂ，Ｇｂ，Ｂｂについては、第１−３次元ＬＵＴ１６６を利用して補正値の取得を実行して、補正画素値：Ｒｂ'，Ｇｂ'，Ｂｂを出力する。
また、短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄについては、第２−３次元ＬＵＴ１６７を利用して補正値の取得を実行して、補正画素値：Ｒｄ'，Ｇｄ'，Ｂｄを出力する。
【０１９１】
第１−３次元テーブル１６６は、
ブルーミングの影響をうけた長時間露光画素（高感度画素）の画素値：Ｒｂ，Ｇｂ，Ｂｂと、
ブルーミングの影響のない真の長時間露光画素（高感度画素）の画素値：Ｒｂ'，Ｇｂ'，Ｂｂ'との対応関係を保持した３次元のルックアップテーブルである。
また、第２−３次元テーブル１６７は、
ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄと、
ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｒｄ'，Ｇｄ'，Ｂｄ'との対応関係を保持した３次元のルックアップテーブルである。
【０１９２】
これら２つの３次元ＬＵＴに記録された対応関係データに従って、入力画素値（＝ブルーミングの影響をうけた画素の画素値）に対する補正画素値（＝ブルーミングの影響のない真の画素値）を算出して、出力する。
【０１９３】
また、短時間露光画素（低感度画素）に対応する３次元ルックアップテーブルを利用した補正処理部の構成として、図２４に示す補正処理部１７０の構成がある。
図２４に示す補正処理部１７０は、先に図１８を参照して説明した補正処理部１３０におけるブルーミング量推定部１３１を３次元ＬＵＴ１７１に置き換えた構成である。
【０１９４】
ここで、３次元ＬＵＴ１７１は、
ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄと、
各画素のブルーミング量との対応関係データを保持したテーブルである。
３次元ＬＵＴ１７１の出力は、補正処理部に対する入力画素値である、短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄに対応してＬＵＴに従って求められる各画素のブルーミング量：ＢｌｍＲｂ，ＢｌｍＧｂ，ＢｌｍＢｂ，ＢｌｍＲｄ，ＢｌｍＧｄ，ＢｌｍＢｄである。
【０１９５】
演算部１７２は、補正処理部に対する入力値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄから、３次元ＬＵＴ１７１の出力である各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行して、補正画素値：：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を出力する。
【０１９６】
さらに、図２５に示す補正処理部１７３のように、６つの１次元ＬＵＴを利用した構成としてもよい。
図２５に示す１次元ＬＵＴは、以下のテーブル（Ｔ１）〜（Ｔ６）によって構成される。
（Ｔ１）ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｒｂと、ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｒｂ'との対応関係を保持した１次元のルックアップテーブル。
（Ｔ２）ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｇｂと、ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｇｂ'との対応関係を保持した１次元のルックアップテーブル。
（Ｔ３）ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｂｂと、ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｂｂ'との対応関係を保持した１次元のルックアップテーブル。
（Ｔ４）ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｒｄと、ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｒｄ'との対応関係を保持した１次元のルックアップテーブル。
（Ｔ５）ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｇｄと、ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｇｄ'との対応関係を保持した１次元のルックアップテーブル。
（Ｔ６）ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｂｄと、ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｂｄ'との対応関係を保持した１次元のルックアップテーブル。
これらの６つのテーブルである。
【０１９７】
さらに、１次元ルックアップテーブルを、各種の画素単位で、
ブルーミングの影響を受けた画素の画素値と、ブルーミング量との対応関係データとして設定すれば、図２６に示す設定とした補正処理部１７４を構成することができる。
図２６に示す補正処理部１７４は、Ｒｂのみの処理構成として示しているがその他の画素についても同様の構成によって実現される。
補正処理部に対する入力画素値Ｒｂは、１次元ＬＵＴ１７６に入力され、１次元ＬＵＴ１７５から、入力画素値Ｒｂに対応するブルーミング量ＢｌｍＲｂが取得される。
【０１９８】
１次元ＬＵＴ１７５から出力されるブルーミング量ＢｌｍＲｂは、演算部１７６において、補正処理部に対する入力画素値：Ｒｂから減算され、補正画素値Ｒｂ'を出力する。すなわち、
Ｒｂ'＝Ｒｂ−ＢｒｍＲｂ
上記処理によってブルーミング量を除去した補正画素値を出力する。
【０１９９】
さらに、１次元ルックアップテーブルを、各種の画素単位で、
ブルーミングの影響を受けた画素の画素値と、
ブルーミングの影響を受けた画素の画素値とブルーミングの影響を受けない真の画素値との比率：ｋ、
これらの対応関係データを設定した構成とすれば、図２７に示す補正処理部１７７を構成することができる。
【０２００】
具体的には、例えば、入力画素値をＲｂとした場合、１次元ルックアップテーブルは、
ブルーミングの影響を受けた画素の画素値：Ｒｂと、
ブルーミングの影響を受けた画素の画素値：Ｒｂとブルーミングの影響を受けない真の画素値：（Ｒｂ−ｂｌｍＲｂ）との比率：ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂ
これらの対応関係データを格納する。
Ｒｂ以外の画素についても同様の関係データを設定した１次元ＬＵＴを作成して利用する。
【０２０１】
図２７に示す補正処理部１７７は、このような１次元ＬＵＴ１７８を用いた構成である。なお、図２７は、Ｒｂのみの処理構成として示しているがその他の画素についても同様の構成によって実現される。
補正処理部に対する入力画素値Ｒｂに基づいて、１次元ＬＵＴ１７８からは、ブルーミングの影響を受けた画素の画素値：Ｒｂとブルーミングの影響を受けない真の画素値：（Ｒｂ−ｂｌｍＲｂ）との比率：Ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂが出力される。
【０２０２】
１次元ＬＵＴ１７８から出力される比率：ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂは、乗算部１７９において、補正処理部に対する入力画素値：Ｒｂに乗算され、補正画素値Ｒｂ'を出力する。すなわち、
Ｒｂ'＝Ｒｂ×（（Ｒｂ−ｂｌｍＲｂ）／Ｒｂ）
上記処理によってブルーミング量を除去した補正画素値を出力する。
【０２０３】
図２８は、ある短時間露光画素の明るさが変化したときの、実測値（ブルーミングの影響を受けた画素値）と理想値（真の画素値）の変化を表したグラフである。
図２９は、図２８に示す特性に基づいて、図２７に示す１次元ＬＵＴで使用する対応データの関係を表した図である。
すなわち、
画素値：ブルーミングの影響を受けた画素の画素値：ｘｘと、
ブルーミング補正倍率：ブルーミングの影響を受けた画素の画素値：ｘｘとブルーミングの影響を受けない真の画素値：（ｘｘ−ｂｌｍｘｘ）との比率ｋ＝（ｘｘ−ｂｌｍｘｘ）／ｘｘ
これらの対応関係データを示したグラフである。
ただし、ｘｘ＝Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ．Ｂｄである。
【０２０４】
図２９に示すように、
縦軸に示すブルーミング補正倍率は、最大値＝１であり、横軸に示す画素値（入力画素値）に応じて１以下の値を推移する。
領域は、大きく分けて、画素値が小〜大（右方向）に向けて、以下の３種類に区分される。
ブルーミングの発生していない画素値領域、
一部の画素からブルーミングが発生している領域、
すべての高感度画素が飽和している領域、
【０２０５】
ブルーミングの発生していない画素値領域では、
画素Ｒｂを例として説明すると、
ブルーミング補正倍率：ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂ＝１
であり、図２７に示す補正処理部１７７の構成において出力画素値Ｒｂ'は、入力画素値Ｒｂと同一に設定される。
【０２０６】
一部の画素からブルーミングが発生している領域では、
ブルーミング補正倍率：ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂ＜１
であり、図２７に示す補正処理部１７７の構成において出力画素値Ｒｂ'は、入力画素値Ｒｂ以下の画素値に設定される。
【０２０７】
すべての高感度画素が飽和している領域では、
ブルーミング補正倍率：ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂ＜１
であり、図２７に示す補正処理部１７７の構成において出力画素値Ｒｂ'は、入力画素値Ｒｂ以下の画素値に設定される。この場合、周囲の隣接高感度画素からのブルーミングの発生に基づくブルーミング量に基づいて倍率が算出されることになる。
【０２０８】
図２９に示す対応データ（ＬＵＴ）を、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ．Ｂｄの各々について生成し、各入力画素の種類に応じて利用するＬＵＴを選択して利用する。
この処理により、各入力画素値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ．Ｂｄに基づいてブルーミング量を除去した補正画素値を算出して出力することができる。
【０２０９】
なお、図２７を参照して説明した補正処理部１７７では、１次元ＬＵＴ１７８として、
ブルーミングの影響を受けた画素の画素値：Ｒｂと、
ブルーミングの影響を受けた画素の画素値：Ｒｂとブルーミングの影響を受けない真の画素値：（Ｒｂ−ｂｌｍＲｂ）との比率Ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂ
これらの対応関係データを格納した例を説明した。
具体的には、図２９に示す対応関係データである。
【０２１０】
この図２９に示す対応関係データは、例えば、一部の画素からブルーミングが発生している領域では、複雑な折れ線または曲線として設定されるため、ＬＵＴとして構成するとデータ量が増大してしまう。
【０２１１】
そこで、図２９に示す関係データを図３０に示すような単純な折れ線データとした近似処理を実行し、この近似結果を反映させる処理を行う構成としてもよい。
具体的には、例えば図３１に示すような倍率近似部１８１を有する補正処理部１８０を構成することができる。
【０２１２】
図３１に示す補正処理部１８０は、先に図２７を参照して説明した補正処理部１７７の１次元ＬＵＴ１７８の代わりに倍率近似部１８１を設定した構成である。
倍率近似部１８１は、図３０に示すような単純な折れ線データに従って、入力画素の画素値に応じたブルーミング補正倍率を出力する。
具体的には、例えば、入力画素値が図３０に示す、
領域ａでは，ブルーミング補正倍率＝１、
領域ｂでは、図３０に示す領域ｂの近似直線に従ったブルーミング補正倍率（１〜ｐ）、
領域ｃでは、ブルーミング補正倍率＝ｐ、
これらの倍率を出力する。
乗算部１８２は、この倍率を入力画素値に乗算して補正画素値Ｒｂ'を出力する。
このような構成とすることで、ハードウェア構成を簡略化することが可能となる。
【０２１３】
同様に、先に図２３を参照して説明した３次元ＬＵＴを用いた構成についても、近似データを用いた補正部を構成することが可能である。
図３２を参照して、この構成例について説明する。
【０２１４】
図３２に示す補正処理部１８５は、輝度生成部１８６、マトリクス係数生成部１９７、マトリクス処理部１８８を有する。
輝度生成部１８６では、補正処理部に対する入力画素値である短時間眼露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄから輝度情報：Ｌｄを生成する。
例えば、下記のような加重平均を用いる。
Ｌｄ＝（Ｃｒｄ×Ｒｄ＋Ｃｇｄ×Ｇｄ＋Ｃｂｄ×Ｂｄ）／（Ｃｒｄ＋Ｃｇｄ＋Ｃｂｄ）
ただし、Ｃｒｄ，Ｃｇｄ，Ｃｂｄは任意の係数である。
【０２１５】
マトリクス係数生成部１８７では、輝度生成部１８６の生成した輝度Ｌｄに依存する係数：ａ（Ｌｄ），ｂ（Ｌｄ），…，ｉ（Ｌｄ）を生成して、マトリクス処理部１８８に出力する。
【０２１６】
マトリクス処理部１８８では、マトリクス係数生成部１８７の生成した係数：ａ（Ｌｄ），ｂ（Ｌｄ），…，ｉ（Ｌｄ）を用いて、入力画素値：Ｒｄ，Ｇｄ．Ｂｄのマトリクス演算を実行して補正画素値：Ｒｄ'，Ｇｄ'，Ｂｄ'を生成して出力する。
マトリクス処理部１８８の実行するマトリクス演算は、例えば以下の（式９）に示す演算である。
【０２１７】
【数９】
・・・（式９）
【０２１８】
なお、上記のマトリクス演算は、輝度生成部１８６の生成する輝度情報：Ｌｄが固定値の場合、通常のセンサにおける混色の問題を補正するリニアマトリクスと呼ばれる処理と同様である。すなわち、ブルーミングの問題をリニアマトリクス処理の拡張処理として補正することができる。
【０２１９】
図３３は、ある画素の、短時間露光画素（低感度画素）：Ｒｄ，Ｇｄ，Ｂｄの明るさ（輝度）と画素出力値の変化を示している。
点線が理想特性で、実線がブルーミングの影響を受けた実特性である。
明るさが小さい所（低輝度領域）では、高感度画素の飽和が発生しておらず、ブルーミングが起こっていないため、理想特性と実特性は同じであるが、明るくなるにつれて、すなわち高輝度領域に進むに従って、理想特性と実特性のずれが大きくなる。
【０２２０】
上記のマトリクス処理による補正方法では、明るさが増すに従って混色を補正する係数を大きくすることによってブルーミングを補正しようとするものである。
【０２２１】
［４−５．異なる補正手法の組み合わせによるブルーミング補正処理について］
これまでの説明において、
４−１．数式モデルを利用した基本的なブルーミング補正処理例
４−２．数式モデルを利用し、過補正対策を施したブルーミング補正処理例
４−３．数式モデルを利用し、繰り返し補正を行う処理例
４−４．ＬＵＴ等、予め取得したデータに基づく補正処理例
これらのブルーミング補正処理例について説明してきた。
【０２２２】
これらの各補正処理のうち、（４−２）〜（４−４）の各処理例は、数式モデルを利用した手法であり、最終的には理想特性に近づけることが可能なものの、一度の演算で真の値に近づけるのが難しいといえる。
一方で（４−４）のＬＵＴ等、予め取得したデータに基づく補正処理は、実測値と理想特性の対応関係を事前に取得することによって、１度で理想特性に補正する手法である。しかしながらＬＵＴの実装はコストがかかり、ＬＵＴを数式近似した場合には、補正誤差が残ってしまう。
【０２２３】
数式モデルに基づく補正と、予め取得したデータに基づく補正の両方を組み合わせることで、各処理の欠点を補い、各処理の利点を利用した構成が実現可能である。
例えば１つの組み合わせ構成例を、図３４に示す。
【０２２４】
図３４に示す補正処理部１９０は、先に、図３１を参照して説明した倍率近似部をと乗算部からなる演算部１９１と、ブルーミング量推定部１９２と、演算部１９３を有する。
【０２２５】
演算部１９１は、先に、図３１を参照して説明した処理と同様、短時間露光画素（低感度画素）の各画素値：Ｒｄ，Ｇｄ，Ｂｄを入力して、図３０に示す近似直線に応じたブルーミング補正倍率に基づく補正画素値を生成してブルーミング量推定部１９２に入力する。
【０２２６】
ブルーミング量推定部１９２は、この補正画素値に基づいて、各画素：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄに対応するブルーミング量：Ｂｌｍｒｂ，ＢｌｍＧｂ，ＢｌｍＢｂ，ＢｌｍＲｄ，ＢｌｍＧｄ，ＢｌｍＢｄを生成して演算部１９３に出力する。
【０２２７】
演算部１９３は、入力画素値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄの各々について、ブルーミング量推定部１９２から出力されるブルーミング量：Ｂｌｍｒｂ，ＢｌｍＧｂ，ＢｌｍＢｂ，ＢｌｍＲｄ，ＢｌｍＧｄ，ＢｌｍＢｄを減算する演算処理を実行して、ブルーミング量を除去した補正画素値：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を出力する。
【０２２８】
この補正処理部１９０は、演算部１９１では、ＬＵＴ等の既算出データに基づく補正値を算出し、この補正値を利用して、後段のブルーミング量推定部において、数式モデルを適用したブルーミング量の推定を実行して、推定したブルーミング量を入力画素値から減算して補正画素値を生成して出力する構成である。
すなわち、ＬＵＴ等の既算出データに基づく補正値によって、誤差を持ちながらも理想値に近い特性に収束させ、その後、数式モデルを利用したブルーミング量を算出して、より正確な理想特性に収束させる補正値を生成して出力する構成である。
【０２２９】
［４−６．動被写体やエッジによる過補正の対策を施した補正処理例］
次に、動被写体やエッジによる過補正の対策を施した補正処理例について説明する。
これまでに説明した補正方法は、画像が平坦で、動きがないことを想定してモデル化してきた。
しかしながら、実際には画像の画像には、様々な被写体があり、エッジのある被写体や、動きのある被写体が含まれる。
【０２３０】
これまでに説明してきたブルーミング補正処理例は、ブルーミング量の推定のために短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用している。従って、画像のエッジや動被写体の影響により以下のような問題が発生することがある。
低感度画素の画素値が高感度画素の画素値よりも相対的に大きな値になると、ブルーミング補正量を大きめに見積もってしまうことよる過補正が発生する。
高感度画素の画素値が低感度画素の画素値よりも相対的に大きな値になると、ブルーミング補正量を小さめに見積もってしまうことによる補正残りが発生する。
このような問題が発生する場合がある。
【０２３１】
この問題の対策例について、図３５を参照して説明する。
先に、図１８を参照して説明した［４−１．数式モデルを利用した基本的なブルーミング補正処理例］においては、
長時間露光画素（高感度画素）：Ｒｂ，Ｇｂ，Ｂｂの補正画素値：Ｒｂ'，Ｇｂ'，Ｂｂ'の算出は以下の処理によって行うものとして説明した。
Ｒｂ'＝Ｒｂ−ｂｌｍＲｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｂ'＝Ｇｂ−ｂｌｍＧｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｂ'＝Ｂｂ−ｂｌｍＢｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
上記のように高感度画素：Ｒｂ，Ｇｂ，Ｂｂの補正値は、低感度画素：Ｒｄ，Ｇｄ，Ｂｄの画素値を利用して算出していた。
【０２３２】
しかし、動被写体やエッジの影響により、低感度画素の画素値が高感度画素の画素値よりも相対的に大きくなってしまう場合、高感度画素は飽和していないためブルーミングを発生していないにもかかわらず、上記の補正画素値算出処理に従うと、低感度画素の画素値からの推定処理によって、高感度画素にブルーミングによる画素値変化があるとみなされ、実際はブルーミングの影響の無い高感度画素に対して、上記の式に従った補正をかけてしまうという過補正が起こりうる。
【０２３３】
このような高感度画素に対する過補正を防止する構成を持つ補正処理部の構成例を図３５に示す。
図３５に示す補正処理部１９５は、図１８に示す補正処理部のブルーミング量推定部の後段に過補正対策部１９７を設けた構成である。
【０２３４】
図３５に示す補正処理部１９５は、撮像素子から長時間露光画素（高感度画素）の画素値：Ｒｂ，Ｇｂ，Ｂｂ，短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄの各画素値を入力する。
【０２３５】
ブルーミング量推定部１９６は、先に図１８を参照して説明したブルーミング量推定部１３１と同様の処理を実行する。すなわち、
ブルーミング量推定部１９６は、
Ｒｉ≒Ｒｄ×Ｒ，
Ｇｉ≒Ｇｄ×Ｒ，
Ｂｉ≒Ｂｄ×Ｒ、
上記の近似式に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出して、この算出したブルーミング量を過補正対策部１９７に出力する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０２３６】
過補正対策部１９７は、ブルーミング量推定部１９６から各画素対応のブルーミング量を入力し、さらに、補正処理部に対する入力画素値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄを入力して、ブルーミング量推定部１９６の算出したブルーミング量の補正を行う。
【０２３７】
過補正対策部１９７は、予め設定したしきい値（Ｔｈ）と入力画素の画素値とを比較して、演算部に出力するブルーミング量を補正し、補正したブルーミング量：Ｂｌｍ'ｘｘを生成して演算部１９８に出力する。
【０２３８】
具体的には、例えば、以下のような処理を実行する。Ｒｂを例として説明するが
他の画素についても同様に処理を行う。
・Ｒｂ＜Ｔｈの場合、
補正ブルーミング量：Ｂｌｍ'Ｒｂ＝０、
とする。
・Ｒｂ≧Ｔｈの場合、
補正ブルーミング量：Ｂｌｍ'Ｒｂ＝ＢｌｍＲｂ、
とする。
【０２３９】
すなわち、補正処理部に対する入力画素値がしきい値（Ｔｈ）より小さい場合は、ブルーミング量推定部１９６の算出したブルーミング量を０に補正して演算部１９８に出力する。
また、補正処理部に対する入力画素値がしきい値（Ｔｈ）以上である場合は、ブルーミング量推定部１９６の算出したブルーミング量をそのまま演算部１９８に出力する。
【０２４０】
図３５に示す演算部１９８は、補正処理部に対する入力値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄから、ブルーミング量推定部１３１の算出した各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行する。
【０２４１】
なお、しきい値（Ｔｈ）は、画素の飽和値レベルに設定する。この処理によって、例えば、補正処理部に対する入力画素の画素値が飽和していない場合、その色画素からのブルーミングは発生していないとの判定に基づく過補正が防止される。
【０２４２】
なお、上記処理は例えばブルーミング補正対象となる注目画素が動きのある画像領域である場合やエッジ領域である場合にブルーミング量を０にセットする処理として行われる。
【０２４３】
この処理のため、例えば、補正処理部１９５に、注目画素が動き領域であるか否かを示す動き情報、エッジ領域であるか否かを示すエッジ情報を入力して、これらの情報に応じて処理を切り替える構成としてもよい。なお、これらの構成を備えたブルーミング補正処理部の構成例については、図３８を参照して後段で説明する。
【０２４４】
なお、先に図１８を参照して説明した補正画素値の算出は、前述のように、以下の補正画素値算出式に従って行われていた。
Ｒｂ'≒Ｒｂ−ｂｌｍＲｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｂ'≒Ｇｂ−ｂｌｍＧｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｂ'≒Ｂｂ−ｂｌｍＢｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
【０２４５】
上記式の適用において、補正処理部に対する入力画素値である高感度画素の画素値：Ｒｂ，Ｇｂ，Ｂｂが飽和している場合がある。
高感度画素が飽和して最大値を一定に出力していても、低感度画素Ｒｄ，Ｇｄ，Ｂｄは大きくなり、上記の補正画素値算出式に含まれるブルーミング量：ｂｌｍＲｂ，ｂｌｍＧｂ，ｂｌｍＢｂの値は大きくなる。
【０２４６】
従って、ブルーミング補正した結果の補正画素値がどんどん小さくなるという問題が発生することがある。
具体例について図３６（Ａ）を参照して説明する。
図３６（Ａ）は、横軸が被写体の明るさ、縦軸が画素の出力信号値（画素値）を示している。
実線がブルーミング補正を実行した場合の出力信号であるブルーミング補正信号、
細かい点線がブルーミング補正を実行しない場合の撮像素子からの出力であるセンサ信号、
粗い点線が理想信号を示している。
【０２４７】
前述のように、ブルーミング補正を行うと、前記の補正画素値算出式に含まれるブルーミング量の分、信号値が減少することになる。
短時間露光画素（低感度画素）の画素値は、被写体明るさが高くなると画素値が大きくなり、その結果として算出されるブルーミング量も大きくなる。
この結果、例えば、図３６（Ａ）に示すセンサ出力信号の飽和点を超えた明るさ領域において、明るさが増すほどブルーミング補正信号は、低下してしまうことになる。
【０２４８】
これは、被写体明るさを反映しない結果となる。このような事態の発生を防止するための処置として、飽和を検出した時には補正をやめるという設定としてもよい。
飽和の検出は、例えば、以下の２通りの方法（ａ），（ｂ）のいずれかを採用可能である。
（ａ）補正処理部に対する入力画素値である高感度画素の画素値を使用して、高感度画素の飽和を検出する方法。具体的には、予め設定した閾値（Ｔｈ１）と高感度画素の入力画素値、例えばＲｂとの比較を以下のように行う。
・Ｒｂ＞Ｔｈ
上記式を満足する場合は飽和していると判定し、ブルーミング補正を行わず、上記式を満足しない場合は飽和していないと判定してブルーミング補正を実行する。
【０２４９】
（ｂ）補正処理部に対する入力画素値である低感度画素の画素値を使用して、高感度画素の飽和を検出する方法。具体的には、予め設定した閾値（Ｔｈ２）と低感度画素の入力画素値、例えばＲｄとの比較を以下のように行う。
・Ｒｄ＞Ｔｈ
上記式を満足する場合は飽和していると判定し、ブルーミング補正を行わず、上記式を満足しない場合は飽和していないと判定してブルーミング補正を実行する。
【０２５０】
図３６（Ｂ）は低感度画素を利用して高感度画素の飽和を検出し、検出部の補正を行わない場合の例を示しており、実線で示すブルーミング補正信号が、理想信号の飽和レベルを超えた位置において、低下することなく一定のレベルを保持した信号値として出力される。
【０２５１】
［５．撮像装置の構成例］
次に、上述したブルーミング補正処理を実行する撮像装置の全体構成例について説明する。
【０２５２】
［５−１．撮像装置の構成例１］
図３７は、上述したブルーミング補正処理を実行する撮像装置２００の構成例を示す図である。
撮像装置２００は、レンズ２０１を介して被写体光を入力し、撮像素子（イメージセンサ）２０２に被写体光を入力する。
撮像素子（イメージセンサ）２０２は、例えば、先に図８を参照して説明したように画素毎に異なる露光時間となるような露光制御可能な撮像素子である。この露光制御信号は制御部２０５から入力される。なお、画素領域単位の露光制御処理については、例えば前述の特許文献５に記載があり、この記載の手法が適用可能である。
【０２５３】
制御部２０５は、撮像装置２００の全体的な制御を実行する。制御部２０５はＣＰＵ等のプログラム実行機能を備え、例えば図示しない記憶部に格納されたプログラムに従って各構成部の制御を実行し、画像撮影、画像補正等、撮像装置において実行するデータ処理の制御を行う。
【０２５４】
なお。長時間露光と短時間露光の設定による画像撮影処理は、例えば先に図９を参照して説明した処理シーケンスに従って実行される。
先に図９を参照して説明したように、露光時間は、画素のリセットと読み出しのタイミングによって決まる。
読み出しタイミングを一定とすると、
・リセットタイミングをより早い時刻にすることにより露光時間は長くなり、
・リセットタイミングをより遅い時刻にすることにより露光時間は短くなる。
画素毎（あるいは行毎、など）に上記制御を行うことにより、例えば図８に示すような、様々なパターンの感度配列を実現することができる。
図３７に示すように、撮像素子２０２における光電変換処理によって生成される各画素の信号はセンサ画像２０３としてブルーミング補正処理部２０４に入力される。
ブルーミング補正処理部２０３は、上述したブルーミング補正処理をほ実行する。
【０２５５】
ブルーミング補正処理部２０３の全体構成例について図３８を参照して説明する。
ブルーミング補正処理部２０４は、信号生成部２５１、動き検出部２５２、エッジ検出部２５３、補正処理部２５４を有する。
【０２５６】
信号生成部２５１は、補正処理部２５４において補正対象とする１つの注目画素の画素位置に対応する６つの画素値、すなわち、
長時間露光画素（高感度画素）のＲＧＢ各画素値：Ｒｂ，Ｇｂ，Ｂｂ、
短時間露光画素（低感度画素）のＲＧＢ各画素値：Ｒｄ，Ｇｄ，Ｂｄ、
これらの各画素値を取得または生成する。
【０２５７】
具体的には注目画素の周辺画素から各色・感度の画素値を取得する。
Ｒｂ：Ｒｅｄの長時間露光画素（高感度画素）の画素値
Ｇｂ：Ｇｒｅｅｎの長時間露光画素（高感度画素）の画素値
Ｂｂ：Ｂｌｕｅの長時間露光画素（高感度画素）の画素値
Ｒｄ：Ｒｅｄの短時間露光画素（低感度画素）の画素値
Ｇｄ：Ｇｒｅｅｎの短時間露光画素（低感度画素）の画素値
Ｂｄ：Ｂｌｕｅの短時間露光画素（低感度画素）の画素値
である。
【０２５８】
信号生成部２５１における信号生成処理例について、周辺画素を用いて線形補間によって画素値を生成する手法について図３９を参照して説明する。
図３９は、ブルーミング補正処理の実行対象とする注目画素を図３９に示す５×５画素の中央のＲｂ３３としたときの処理例について説明する図である。
【０２５９】
信号生成部２５１は、図３９に示すように注目画素Ｒｂ３３を中心とした５×５画素を参照画素領域として設定し、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄを以下の式（式３１）に従って算出する。
Ｒｂ＝（ｃ３１×Ｒｂ３１＋ｃ３３×Ｒｂ３３＋ｃ３５×Ｒｂ３５）／（ｃ３１＋ｃ３３＋ｃ３５）
Ｇｂ＝（ｃ３２×Ｇｂ３２＋ｃ３４×Ｇｂ３４＋ｃ４１×Ｇｂ４１＋ｃ４３×Ｇｂ４３＋ｃ４５×Ｇｂ４５）／（ｃ３２＋ｃ３４＋ｃ４１＋ｃ４３＋ｃ４５）
Ｂｂ＝（ｃ４１×Ｂｂ４２＋ｃ４４×Ｂｂ４４）／（ｃ４１＋ｃ４４）
Ｒｄ＝（ｃ１１×Ｒｄ１１＋ｃ１３×Ｒｄ１３＋ｃ１５×Ｒｄ１５＋ｃ５１×Ｒｄ５１＋ｃ５３×Ｒｄ５３＋ｃ５５×Ｒｄ５５）／（ｃ１１＋ｃ１３＋ｃ１５＋ｃ５１＋ｃ５３＋ｃ５５）
Ｇｄ＝（ｃ１２×Ｇｄ１２＋ｃ１４×Ｇｄ１４＋ｃ２１×Ｇｄ２１＋ｃ２３×Ｇｄ２３＋ｃ２５×Ｇｄ２５＋ｃ５２×Ｇｄ５２＋ｃ５４×Ｇｄ５４）／（ｃ１２＋ｃ１４＋ｃ２１＋ｃ２３＋ｃ２５＋ｃ５２＋ｃ５４）
Ｂｄ＝（ｃ２２×Ｂｄ２２＋ｃ２４×Ｂｄ２４）／（ｃ２２＋ｃ２４）
・・・・・・（式３１）
ただし、ｃ１１〜ｃ５５はフィルタ係数
【０２６０】
上記式（式３１）は、注目画素を中心とした５×５画素領域に含まれるＲｂ，Ｇｂ，Ｂｂ．Ｒｄ，Ｇｄ，Ｂｄの各画素を参照画素として適用し、これらの参照画素に基づいて、注目画素位置の各画素値を線形補間処理によって算出する処理を基本とした処理である。なお、フィルタ係数は注目画素から参照画素間の距離や、画素値勾配に応じて決定するといった構成が可能である。
【０２６１】
信号生成部２５１の生成した注目画素位置におけるＲｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄの各画素値は、補正処理部２５４に入力される。
【０２６２】
補正処理部２５４は、上述のブルーミング補正、すなわち、項目［ｘ．ブルーミング補正処理の実施例］において説明した以下のブルーミング補正処理、すなわち、
４−１．数式モデルを利用した基本的なブルーミング補正処理例
４−２．数式モデルを利用し、過補正対策を施したブルーミング補正処理例
４−３．数式モデルを利用し、繰り返し補正を行う処理例
４−４．ＬＵＴ等、予め取得したデータに基づく補正処理例
４−５．異なる補正手法の組み合わせによるブルーミング補正処理について
４−６．動被写体やエッジによる過補正の対策を施した補正処理例
これらのいずれかの処理態様に従ったブルーミング補正処理を実行する。
【０２６３】
動き検出部２５２、エッジ検出部２５３は、上記の［４−６．動被写体やエッジによる過補正の対策を施した補正処理例］に対応する処理を行う場合に利用される。
前述したように、画像のエッジ部分や動被写体があると、ブルーミング過剰に補正したり、補正不足になることがある。そうした副作用を最小限に留めるために、動き検出部２５２、エッジ検出部２５３において検出を行い、これらの検出情報が補正処理部２５４に提供される。
【０２６４】
動き検出部２５２は、画像のその領域が動被写体であるかどうかを検出する。
撮像素子２０２から入力するセンサ画像２０３に含まれるＧ画素の低感度画像Ｇｄ，高感度画像Ｇｂ，露光時間の比率をＲとすると、理想的には次の関係が成り立つ。
Ｇｂ＝Ｇｄ×Ｒ、
ただしＲは、長時間露光画素と短時間露光画素との露光比（Ｔｂ／Ｔｄ）である。
【０２６５】
そこで、この前提を利用して、以下の式によって低感度画像Ｇｄと高感度画像Ｇｂとの差分（Ｍｄｅｔ０）を算出して、差分が所定のしきい値以上である場合に動きありと判定する動き検出方法が適用できる。
Ｍｄｅｔ０＝｜Ｇｂ−Ｇｄ×Ｒ｜
【０２６６】
あるいは、低感度画像Ｇｄと高感度画像Ｇｂとの比（Ｍｄｅｔ１）を以下の式に従って算出して、比（Ｍｄｅｔ１）が所定のしきい値以上である場合に動きありと判定する動き検出方法が適用できる。
ＧＭａｘ＝Ｍａｘ（Ｇｂ，Ｇｄ×Ｒ）
ＧＭｉｎ＝Ｍｉｎ（Ｇｂ，Ｇｄ×Ｒ）
Ｍｄｅｔ１＝ＧＭａｘ／ＧＭｉｎ
【０２６７】
Ｍａｘ（Ａ，Ｂ）はＡとＢのうち大きいものを返す関数を意味し、Ｍｉｎ（Ａ，Ｂ）はＡとＢのうち小さいものを返す関数を意味する。上記の差分（Ｍｄｅｔ０）や比（Ｍｄｅ１）が、ノイズやブルーミングの影響を考慮した上で、十分に大きい値である場合、画像に動きがあったと判定し、動き検出情報を補正処理部２５４に提供する。
【０２６８】
エッジ検出部２５３は、ブルーミング補正対象となる注目画素領域がエッジ領域であるかどうかを検出する。
例えば、図３９に示す注目画素Ｒｂ３３についてのエッジ判定処理は、周囲の画素値を用いて以下のようにエッジ判定値（Ｅｄｅｔ）を算出する。
Ｅｄｅｔ＝｜Ｇｂ３２-Ｇｂ３４｜＋｜Ｇｂ３２-Ｇｂ４３｜＋｜Ｇｂ４３-Ｇｂ３４｜＋｜Ｇｂ１２-Ｇｄ２３｜＋｜Ｇｄ２３-Ｇｄ１４｜
上記の様に近隣の同色画素の差分絶対値を足し合わせることによってエッジ判定値（Ｅｄｅｔ）を算出する。
【０２６９】
エッジ判定値（Ｅｄｅｔ）の値がノイズを考慮した値よりも、十分に大きい場合、そこにエッジがあると判定する。
このエッジ判定情報は、補正処理部２５４に提供される。
【０２７０】
補正処理部２５４は、処理対象となる注目画素に対応する動き検出部２５２からの情報が動きありの情報である場合、または、エッジ検出部２５３からの情報がエッジ領域であるとの情報である場合は、上述の［４−６．動被写体やエッジによる過補正の対策を施した補正処理例］に従ったブルーミング補正を実行する。
【０２７１】
図３７に戻り、撮像装置２００の構成と処理についての説明を続ける。
ブルーミング補正処理部２０４は、上述したように、項目［ｘ．ブルーミング補正処理の実施例］において説明した以下のブルーミング補正処理、すなわち、
４−１．数式モデルを利用した基本的なブルーミング補正処理例
４−２．数式モデルを利用し、過補正対策を施したブルーミング補正処理例
４−３．数式モデルを利用し、繰り返し補正を行う処理例
４−４．ＬＵＴ等、予め取得したデータに基づく補正処理例
４−５．異なる補正手法の組み合わせによるブルーミング補正処理について
４−６．動被写体やエッジによる過補正の対策を施した補正処理例
これらのいずれかの処理態様に従ったブルーミング補正処理を実行する。
【０２７２】
このブルーミング補正結果としてブルーミング補正画像２０６を生成してＨＤＲ（広ダイナミックレンジ画像）合成処理部２０７に出力する。
ＨＤＲ（広ダイナミックレンジ画像）合成処理部２０７は、画像に含まれる長時間露光画素（高感度画素）と短時間露光画素（低感度画素）を利用した合成処理を実行して広ダイナミックレンジ画像を生成する。
【０２７３】
ＨＤＲ（広ダイナミックレンジ画像）合成処理部２０７の詳細構成例を図４０に示す。
高感度全帯域信号生成部３０１、低感度全帯域信号生成部３０２は、ごく近傍の画素のみを用いて高周波成分も含むＧ画素の画素全帯域信号を生成する。この全帯域信号生成処理に際しては、線形補間やエッジ方向判定を使用する。一例として、図４１に示す７×７画素の中心画素Ｂｂ４４を注目画素として、注目画素位置に、線形補間でＧ画素の全帯域信号を生成する式を示す。
Ｇｂ＝（３・Ｇｂ３４＋２・Ｇｂ４３＋２・Ｇｂ４５＋Ｇｂ７４）／８・・・（式３２）
Ｇｄ＝（４・Ｇｄ５４＋Ｇｄ２３＋Ｇｄ２５）／６・・・（式３３）
【０２７４】
高感度全帯域信号生成部３０１は上記（式３２）に従って、Ｇ画素の高感度全帯域信号を生成する。
低感度全帯域信号生成部３０２は上記（式３３）に従って、Ｇ画素の低感度全帯域信号を生成する。
【０２７５】
高感度低周波信号生成部３０３、低感度低周波信号生成部３０４は、やはり注目画素の周辺画素を利用した処理によって低周波信号を生成する。図４１に示す７×７画素の中心画素Ｂｂ４４を注目画素として、注目画素位置のＲｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄに対応する低周波信号：ｍＲｂ，ｍＧｂ，ｍＢｂ，ｍＲｄ，ｍＧｄ，ｍＢｄを生成する式を示す。
周辺の画素を利用して低周波成分のみを含むＲ，Ｇ，Ｂの各信号を生成する。
ｍＲｂ＝Σ（Ｃｒｂｉｊ×Ｒｂｉｊ）／ΣＣｒｂｉｊ・・・（式３４）
ｍＧｂ＝Σ（Ｃｇｂｉｊ×Ｇｂｉｊ）／ΣＣｇｂｉｊ・・・（式３５）
ｍＢｂ＝Σ（Ｃｂｂｉｊ×Ｂｂｉｊ）／ΣＣｂｂｉｊ・・・（式３６）
ｍＲｄ＝Σ（Ｃｒｄｉｊ×Ｒｄｉｊ）／ΣＣｒｄｉｊ・・・（式３７）
ｍＧｄ＝Σ（Ｃｇｄｉｊ×Ｇｄｉｊ）／ΣＣｇｄｉｊ・・・（式３８）
ｍＢｄ＝Σ（Ｃｂｄｉｊ×Ｂｄｉｊ）／ΣＣｂｄｉｊ・・・（式３９）
ただし、Ｃｒｂｉｊ，Ｃｇｂｉｊ，Ｃｂｂｉｊ，Ｃｒｄｉｊ，Ｃｇｄｉｊ，Ｃｂｄｉｊは係数。
【０２７６】
高感度低周波信号生成部２０３は、上記の（式３４）、（式３５）、（式３６）に従って、注目画素位置のＲｂ，Ｇｂ，Ｂｂに対応する低周波信号：ｍＲｂ，ｍＧｂ，ｍＢｂを生成する。
低感度低周波信号生成部２０４は、上記の（式３７）、（式３８）、（式３９）に従って、注目画素位置のＲｄ，Ｇｄ，Ｂｄに対応する低周波信号：ｍＲｄ，ｍＧｄ，ｍＢｄを生成する。
【０２７７】
次に、ＨＤＲ全帯域信号生成部３０５、ＨＤＲ低周波信号生成部３０６の構成と処理について説明する。
図４２は、ＨＤＲ全帯域信号生成部３０５の構成の一例を示す図である。
ＨＤＲ全帯域信号生成部３０５は、高感度全帯域信号生成部３０１の生成したＧの高感度画像と、低感度全帯域信号生成部３０２の生成したＧの低感度画像を合成し、ＨＤＲ画像を生成する。
感度比Ｒ４０１は、低感度画像と高感度画像の感度比、露光時間の比率を表す。低感度画像に対して感度比Ｒ４０１を乗算した感度調整低感度画像と高感度画像をブレンド処理部４０４に入力してブレンドする。
【０２７８】
ブレンド処理部４０４は、ブレンド率算出部４０３の算出したブレンド率に応じて、低感度画像と高感度画像の対応画素のブレンド処理を実行する。
ブレンド率算出部４０３は、処理対象画素（注目画素）の明るさに応じたブレンド率を設定してブレンド処理部４０４に出力する。
具体的には、注目画素が明るい時には、高感度画素Ｇｄは飽和しており、飽和していない低感度画素Ｇｄの重みを上げ、暗い時には、低感度画素Ｇｄはノイズに埋もており、ノイズの少ない高感度画素Ｇｄの重みを上げるように、ブレンド率を決定する。
【０２７９】
図４２に示す処理構成を式で表すと、次のように記述できる。
Ｉｆ（Ｇｂ＜Ｔｈ）
Ｇ＝Ｇｂ
Ｅｌｓｅ
Ｇ＝Ｇｄ×Ｒ
【０２８０】
ＨＤＲ低周波信号生成部３０６も、
ｍＲｂと、ｍＲｄとの処理、
ｍＧｂと、ｍＧｄとの処理、
ｍＢｂと、ｍＢｄとの処理、
これらの各信号の組み合わせに対して、図４２を参照して説明した処理と同様の処理を実行する。
【０２８１】
相関処理部３０７は、Ｇの高周波成分を使用して、Ｒ，Ｂ信号を生成する処理を実行する。例えば次の式（式４０）、（式４１）に従ってＧの高周波成分を使用して、Ｒ，Ｂ信号を生成する。
Ｒ＝ｍＲ×Ｇ／ｍＧ・・・（式４０）
Ｂ＝ｍＢ×Ｇ／ｍＧ・・・（式４１）
【０２８２】
図３７に戻り、撮像装置２０の構成と処理についての説明を続ける。
ＨＤＲ合成処理部２０７の生成したＨＤＲ画像２０８は、諧調変換部２０９に入力され、諧調変換処理が実行される。具体的には、例えばＨＤＲ画像２０８の各画素の構成ビット数を削減する処理、例えば１０ｂｉｔデータを８ｂｉｔデータに設定する処理等を実行する。
この処理は、次段のカメラ信号処理部２１０において処理可能なビット数への変換処理として実行される処理である。
【０２８３】
カメラ信号処理部２１０は、一般的なカメラ信号処理、例えばホワイトバランス調整処理やガンマ補正処理等の信号処理を実行して出力画像２１１を生成して出力する。
【０２８４】
［５−２．撮像装置の構成例２］
次に、図４３を参照して撮像装置の第２構成例について説明する。
図４３に示す撮像装置５００は、図３７を参照して説明した撮像装置２００のブルーミング補正処理部２０４とＨＤＲ合成処理部２０７を１つの統合処理部５０４として構成したものである。
【０２８５】
この構成により、ブルーミング補正処理，ＨＤＲ合成処理を、併せて行うことにより、処理の共通化を行い、演算にかかる時間あるいや、ハードウェアの実装コストを削減できる。
【０２８６】
撮像装置５００は、レンズ５０１を介して被写体光を入力し、撮像素子（イメージセンサ）５０２に被写体光を入力する。
撮像素子（イメージセンサ）５０２は、例えば、先に図８を参照して説明したように画素毎に異なる露光時間となるような露光制御可能な撮像素子である。この露光制御信号は制御部５０９から入力される。
【０２８７】
撮像素子５０２における光電変換処理によって生成される各画素の信号はセンサ画像５０３として統合処理部５０４に入力される。
統合処理部５０４は、ブルーミング補正および広ダイナミックレンジ（ＨＤＲ）画像生成処理を実行する。
図４４に統合処理部５０４の具体例について示す。
ブルーミング補正のためには、各感度・色のデータが必要であるが、ここでは、高感度低周波信号生成部６０３，低感度低周波信号生成部６０４の生成する低周波信号（ｍＲｂ，ｍＧｂ，ｍＢｂ，ｍＲｄ，ｍＧｄ，ｍＢｄ）を利用してブルーミング補正を行なう構成としている。
【０２８８】
高感度全帯域信号生成部６０１、低感度全帯域信号生成部６０２は、ごく近傍の画素のみを用いて高周波成分も含むＧ画素の画素全帯域信号を生成する。
高感度全帯域信号生成部６０１は前述の（式３２）に従って、Ｇ画素の高感度全帯域信号を生成する。
低感度全帯域信号生成部６０２は前述の（式３３）に従って、Ｇ画素の低感度全帯域信号を生成する。
高感度低周波信号生成部６０３、低感度低周波信号生成部６０４は、やはり注目画素の周辺画素を利用した処理によって低周波信号を生成する。
先に説明した（式３４）〜（式３９）に従って低周波信号（ｍＲｂ，ｍＧｂ，ｍＢｂ，ｍＲｄ，ｍＧｄ，ｍＢｄ）を生成する。
【０２８９】
補正処理部６０５が、先に説明した図３８に示す補正処理部２５４と同様のブルーミング補正を実行する補正処理部であり、感度低周波信号生成部６０３，低感度低周波信号生成部６０４の生成する低周波信号（ｍＲｂ，ｍＧｂ，ｍＢｂ，ｍＲｄ，ｍＧｄ，ｍＢｄ）を利用してブルーミング補正を行なう。
図４４に示すその他の構成部は、図４０を参照して説明した各構成部の処理と同様の処理となる。
ＨＤＲ全帯域信号生成部６０６、ＨＤＲ低周波信号生成部６０７，６０８は各入力信号に基づく広ダイナミックレンジ画像を生成する。
相関処理部６０９は、Ｇの高周波成分を使用して、Ｒ，Ｂ信号を生成する処理を実行する。例えば前述の式（式４０）、（式４１）に従ってＧの高周波成分を使用して、Ｒ，Ｂ信号を生成する。
【０２９０】
先に図３７以下を参照して説明した第１構成例では、ブルーミング補正処理、ＨＤＲ合成処理の両方でラインメモリを使用する必要があったが、この図４３、図４４に示す構成例ではＨＤＲ合成処理分のラインメモリだけで済む点メリットがある。
【０２９１】
図４５は、図４４と同様にＨＤＲ合成とブルーミング補正処理を行う統合処理部５０４の別の構成例である。
図４４に示す統合処理部５０４は、低周波信号（ｍＲｂ，ｍＧｂ，ｍＢｂ，ｍＲｄ，ｍＧｄ，ｍＢｄ）に対してブルーミング補正を行っていたが、図４５に示す統合処理部５０４は、一度、相関処理部６１１，６１２において、各色の全帯域周波信号（Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄ）を生成し、この全帯域周波信号（Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄ）をブルーミング補正を実行する補正処理部６０５に入力して、これらの入力信号に基づいてブルーミング補正を行なう構成としている。
【０２９２】
図４６は、図４４、図４５と同様にＨＤＲ合成とブルーミング補正処理を行う統合処理部５０４の別の構成例である。
図４６に示す構成は、さらに最小限のコストで、ブルーミング補正とＨＤＲ合成処理を行う構成例である。
【０２９３】
撮像素子からの出力であるセンサ画像５０３は、例えば、図８（Ａ）の配列を持つ場合、２行ごとに高感度画素と低感度画素が切り替わる。すなわち、２つの画素を合成してＨＤＲ画像を生成する場合、２ライン分の画素値データをメモリで蓄えて処理することが要請される。ラインメモリ６１０に、２ライン分の画素値データを記憶する。
【０２９４】
図４６に示すラインメモリ６２０に格納され、遅延されたラインの画素値データが例えば図４６に示す上ライン画像６２１、中心画像６２２として、ブルーミング補正部６２４に入力され、これと並列にリアルタイムでセンサ画像５０３として下ライン画像６２３がブルーミング補正部６２４に入力される。
【０２９５】
図４７がブルーミング補正部６２４の入出力関係を示す図である。
左側が撮像素子の出力であり、
中間が、ブルーミング補正部６２４に対する３ライン分の入力データであり、
右端が最終的に生成されるＨＤＲ画像の画素値である。
【０２９６】
ＨＤＲ画像は、感度の異なる同色画素を合成することで生成することができるが、その手前の部分でブルーミング補正を施す。
これまでの補正方法に示してきたように、ある画素のブルーミング補正を行う場合、その画素に対してブルーミングの影響を与えている色画素の低感度画素を参照する必要がある。しかし、図４７では、それが取得できない。
例えば、図４７の下段のＧ画素を補正するときには低感度のＲ画素の情報を取得したいが、図４７の下段の３ラインに低感度のＲ画素は含まれないため、この処理は不可能である。
【０２９７】
このような場合、低感度のＲ画素の画素値Ｒｄを他の画素の画素値に基づいて推定する。すなわち、図４６に示すブルーミング補正部６２４は、以下の式に従った推定処理を実行する。
Ｒｄ＿ｅｓｔ＝Ｇｄ×ＷｂＲ／ＷｂＧ
上記式に従って、低感度のＲ画素の画素値（Ｒｄ＿ｅｓｔ）を推定する。
ただし、
ＷｂＲはＲのホワイトバランス係数、
ＷｂＧはＧのホワイトバランス係数、
である。
【０２９８】
このような処理を実行することで、無彩色の状態で、ブルーミングが正常に動作する。すなわち、図４６に示す統合処理部５０４のように２ライン分のメモリ６２０を有する構成でもブルーミング補正を行うことが可能となる。
【０２９９】
図４８は、図４６に示すブルーミング補正部６２４内に構成される画素生成部の処理例を説明する図である。
図４８（Ａ）が図４７の上段の処理であり、３ラインデータに含まれないＢｂ画素の生成、
図４８（Ｂ）が図４７の下段の処理であり、３ラインデータに含まれないＲｄ画素の生成、
これらの処理例を示している。
【０３００】
図４６に示すブルーミング補正部６２４の出力は、上ライン画像６２５、下ライン画像６２６としてＨＤＲ合成処理部６２７に入力され、ＨＤＲ合成処理部６２７において、ブルーミング補正後の異なる感度の画素を適用した画素合成処理により、広ダイナミックレンジ（ＨＤＲ）画像５０５が生成されて出力される。
【０３０１】
［６．その他の実施例：ブルーミング以外のセンサ特性に基づく画像の補正］
上述した実施例では、主にブルーミングによって起こるセンサの非線形特性を補正する処理について言及してきた。しかしながら、本開示の方法を用いてブルーミング以外の非線形性を補正することが可能である。
【０３０２】
例えば、センサの持つ非線形特性として、図４９に示すようなＫｎｅｅ特性がある。図４９に示すように、画素に電荷が蓄積され飽和が近づくにつれ、徐々に電荷が蓄えられなくなっていく特性である。このようなＫｎｅｅ特性による非線形特性も、本開示による理想特性の取得方法および、ＬＵＴを使用した方法、あるいはその近似を用いることによって補正することが可能である。
【０３０３】
さらに、本開示の構成は、混色補正にも適用することが可能である。
混色には、カラーフィルタの特性によるものや、画素間のクロストークによるものが存在する。
このような混色が発生した画像に対して、本開示による理想特性の取得と、それを利用した前述の（式９）を適用した演算を行うことで混色を補正することが可能である。
【０３０４】
本実施例における撮像装置は、例えば、長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、撮像素子からの出力画素信号を入力して、画素信号の補正を実行する補正処理部を有する。補正処理部は、撮像素子からの入力画素値と、撮像素子に対する入射光量と出力値との理想的な線形特性に従った理想画素値との差分または比率に応じて、撮像素子からの入力画素の画素値補正を実行する。
補正処理部は、撮像素子からの入力画素値に含まれる非線形特性を、前記理想的な線形特性に従った理想画素値を適用して補正する、さらに具体的には、補正処理部は、複数回の撮影処理によって取得した前記撮像素子の前記理想画素値、または、該理想画素値に基づく補正画素値算出に適用するルックアップテーブル（ＬＵＴ）を記憶部から取得して画素値補正を実行する。
【０３０５】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０３０６】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部は、
前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する撮像装置。
【０３０７】
（２）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定するブルーミング量推定部と、前記ブルーミング量推定部の推定したブルーミング量を前記撮像素子からの入力画素値から減算する演算部を有する前記（１）に記載の撮像装置。
（３）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、撮像素子の画素配列と、撮像素子の高感度画素と低感度画素の露光制御パターンとを考慮した数式モデルに基づいて算出するブルーミング量推定部を有する前記（１）または（２）に記載の撮像装置。
【０３０８】
（４）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の画素位置に対応する各色の高感度画素値および低感度画素値を生成する信号生成部と、
前記信号生成部の生成した信号を入力して前記注目画素のブルーミング補正を実行する補正処理部を有する前記（１）〜（３）いずれかに記載の撮像装置。
（５）前記ブルーミング補正処理部は、前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値とを対応付けたテーブルを適用して、前記撮像素子からの入力画素の画素値補正を実行する前記（１）〜（４）いずれかに記載の撮像装置。
【０３０９】
（６）前記ブルーミング補正処理部は、前記撮像素子からの入力画素値と、該入力画素値とブルーミングの影響のない理想画素値との差分とを対応付けたテーブルを適用して、前記撮像素子からの入力画素に含まれるブルーミング量を推定する前記（１）〜（５）いずれかに記載の撮像装置。
（７）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定するブルーミング量推定部と、前記ブルーミング量推定部の推定したブルーミング量に、予め規定した減衰パラメータを乗算して減衰ブルーミング量を算出する乗算部と、前記乗算部の算出した減衰ブルーミング量を前記撮像素子からの入力画素値から減算する演算部を有する前記（１）〜（６）いずれかに記載の撮像装置。
【０３１０】
（８）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定し、さらに、該推定結果に基づいてブルーミング量を減算した低感度画素信号を利用して、再度、ブルーミング量の推定を実行する構成を有する前記（１）〜（７）いずれかに記載の撮像装置。
（９）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素が動き領域であるか否かを判定する動き検出部を有し、前記動き検出部の検出情報に応じてブルーミング補正態様を変更する構成を有する前記（１）〜（８）いずれかに記載の撮像装置。
【０３１１】
（１０）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素がエッジ領域であるか否かを判定するエッジ検出部を有し、前記エッジ検出部の検出情報に応じてブルーミング補正態様を変更する構成を有する前記（１）〜（９）いずれかに記載の撮像装置。
（１１）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素が動き領域またはエッジ領域である場合、該注目画素に対応する推定ブルーミング量を減少させる過補正対策部を有する前記（１）〜（１０）いずれかに記載の撮像装置。
【０３１２】
（１２）前記ブルーミング補正処理部は、入力画素値が飽和しているか否かを判定し、飽和値である場合にはブルーミング補正を実行しない構成である前記（１）〜（１１）いずれかに記載の撮像装置。
（１３）前記撮像装置は、さらに、前記ブルーミング補正処理部の生成したブルーミング補正画像を入力して広ダイナミックレンジ画像を生成する広ダイナミックレンジ（ＨＤＲ）画像生成部を有する前記（１）〜（１２）いずれかに記載の撮像装置。
【０３１３】
（１４）長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号の補正を実行する補正処理部を有し、
前記補正処理部は、
前記撮像素子からの入力画素値と、前記撮像素子に対する入射光量と出力値との理想的な線形特性に従った理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する撮像装置。
【０３１４】
（１５）前記補正処理部は、前記撮像素子からの入力画素値に含まれる非線形特性を、前記理想的な線形特性に従った理想画素値を適用して補正する前記（１４）に記載の撮像装置。
（１６）前記補正処理部は、複数回の撮影処理によって取得した前記撮像素子の前記理想画素値、または、該理想画素値に基づく補正画素値算出に適用するルックアップテーブル（ＬＵＴ）を記憶部から取得して画素値補正を実行する前記（１４）または（１５）に記載の撮像装置。
【０３１５】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０３１６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０３１７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０３１８】
以上、説明したように、本開示の一実施例の構成によれば、ワンショット型の広ダイナミックレンジ撮影画像に対する高精度なブルーミング補正を実現する装置、方法が実現される。
具体的には、高感度画素信号と低感度画素信号を出力する撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行する。補正処理部は、撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、入力画素の画素値補正を実行する。例えば、補正対象画素の近傍画素からの電荷漏れに相当するブルーミング量を、低感度画素信号を利用して推定し、推定したブルーミング量を入力画素値から減算する。具体的には、数式モデルやＬＵＴを適用した処理を行う。
本開示の構成によれば、ブルーミングを被った画素のブルーミング量を抑圧することによって、ブルーミングによる非線形性補正し、正しい色再現や、画像の階調を正確に表現でき、画質を向上できる。
【符号の説明】
【０３１９】
１０１ 照明
１０２ 被写体
１０３ レンズ
１０４ 撮像素子
１０５ 制御部
１０６ 露光時間情報
１０７ センサ画像
１０８ 記憶装置
１３０ 補正処理部
１３１ ブルーミング量推定部
１３２ 演算部
１３５ 補正処理部
１３６ ブルーミング量推定部
１３７ 乗算部
１３８ 演算部
１４０ 補正処理部
１４１ 第１ブルーミング量推定部
１４２ 演算部
１４３ 第２ブルーミング量推定部
１４４ 演算部
１５０ 補正処理部
１５１ 第１ブルーミング量推定部
１５２ 演算部
１５３ 第２ブルーミング量推定部
１５４ 演算部
１５５ 第３ルーミング量推定部
１５６ 演算部
１６０ 補正処理部
１６１ ６次元ＬＵＴ
１６５ 補正処理部
１６６ 第１−３次元ＬＵＴ
１６７ 第２−３次元ＬＵＴ
１７０ 補正処理部
１７１ ３次元ＬＵＴ
１７２ 演算部
１７３ 補正処理部
１７４ 補正処理部
１７５ １次元ＬＵＴ
１７６ 演算部
１７７ 補正処理部
１７８ １次元ＬＵＴ
１７９ 演算部
１８０ 補正処理部
１８１ 倍率近似部
１８２ 演算部
１８５ 補正処理部
１８６ 輝度生成部
１８７ マトリクス係数生成部
１８８ マトリクス処理部
１９０ 補正処理部
１９１ 演算部
１９２ ブルーミング量推定部
１９３ 演算部
１９５ 補正処理部
１９６ ブルーミング量推定部
１９７ 過補正対策部
１９８ 演算部
２００ 撮像装置
２０１ レンズ
２０２ 撮像素子
２０３ センサ画像
２０４ ブルーミング補正処理部
２０５ 制御部
２０６ ブルーミング補正画像
２０７ ＨＤＲ合成処理部
２０８ ＨＤＲ画像
２０９ 諧調変換処理部
２１０ カメラ信号処理部
２１１ 出力画像
２５１ 信号生成部
２５２ 動き検出部
２５３ エッジ検出部
２５４ 補正処理部
３０１ 高感度全帯域信号生成部
３０２ 低感度全帯域信号生成部
３０３ 高感度低周波信号生成部
３０４ 低感度低周波信号生成部
３０５ ＨＤＲ全帯域信号生成部
３０６ ＨＤＲ低周波信号生成部
３０７ 相関処理部
４０１ 感度比Ｒ
４０２ 乗算部
４０３ ブレンド率算出部
４０４ ブレンド処理部
５００ 撮像装置
５０１ レンズ
５０２ 撮像素子
５０３ センサ画像
５０４ 統合処理部
５０５ ＨＤＲ画像
５０６ 諧調変換処理部
５０７ カメラ信号処理部
５０８ 出力画像
５０９ 制御部
６０１ 高感度全帯域信号生成部
６０２ 低感度全帯域信号生成部
６０３ 高感度低周波信号生成部
６０４ 低感度低周波信号生成部
６０５ 補正処理部
６０６ ＨＤＲ全帯域信号生成部
６０７，６０８ ＨＤＲ低周波信号生成部
６０９ 相関処理部
６１１，６１２ 相関処理部
６１３ ＨＤＲ全帯域信号生成部
６２０ ラインメモリ部
６２１ 上ライン画像
６２２ 中心画像
６２３ 下ライン画像
６２４ ブルーミング補正部
６２５ 上ライン画像
６２６ 下ライン画像
６２７ ＨＤＲ合成処理部
【技術分野】
【０００１】
本開示は、撮像装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、例えばブルーミングによる画像劣化の補正を行う撮像装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、ビデオカメラやデジタルスチルカメラなどの固体撮像素子としてＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが用いられている。これらのイメージセンサは、画素数の増加やサイズ縮小が急激に進んでいる。
【０００３】
しかし、このような画素数の増加やサイズ縮小に伴い、撮像素子における隣接画素との間隔が小さくなり、画素間の電荷漏れ、いわゆるブルーミングという新たな問題が発生している。
ブルーミングとは、隣接する画素間において、一方の画素が飽和状態となり電荷が溢れ出し、溢れ出した電荷が隣接する画素に漏れ込む現象である。
【０００４】
図１を参照して、ブルーミングの現象について説明する。
隣接する画素の一方に強い光が入射し、他方に弱い光が入射し、強い光が入射している受光部１が飽和状態となっている場合、受光部１に入射した光によって発生した電荷が受光部１に蓄積されず、その一部が隣接する受光部２に漏れ込む。この現象をブルーミングと呼ぶ。
【０００５】
ここでは、
電荷溢れを発生させる画素、すなわちブルーミング発生画素をＡｇｇｒｅｓｓｏｒ画素、
Ａｇｇｒｅｓｓｏｒ画素から溢れた電荷を蓄積してしまう画素、すなわちブルーミング受容画素をＶｉｃｔｉｍ画素、
として画素を区別する。
【０００６】
このようなブルーミングが発生すると、
電荷溢れを発生させる画素、すなわちブルーミングを発生させるＡｇｇｒｅｓｓｏｒ画素の画素値は飽和値となり、一方、溢れた電荷を蓄積してしまう画素、すなわちブルーミングを受けるＶｉｃｔｉｍ画素の画素値は、溢れ電荷による誤った画素値に設定される。
【０００７】
図２は、ブルーミングによるＡｇｇｒｅｓｓｏｒ画素とＶｉｃｔｉｍ画素の蓄積電荷の推移を説明する図である。
隣接するＡｇｇｒｅｓｓｏｒ画素とＶｉｃｔｉｍ画素に光が入射したときの電荷量の時間変化を示している。
時間ｔ１において、Ａｇｇｒｅｓｓｏｒ画素が飽和し、電荷溢れを発生させている。この溢れた電荷が隣接するＶｉｃｔｉｍ画素に流れこみ、Ｖｉｃｔｉｍ画素の蓄積電荷量を変動させている。
図に示すＶｉｃｔｉｍ画素に対応する点線がブルーミングのない場合の正常な蓄積電荷の推移であり、実線がブルーミングによって変動した蓄積電荷の推移を示している。
【０００８】
入射する光の波長とカラーフィルタの特性によって、隣接する画素毎に感度は異なっているが、感度の強い画素（Ａｇｇｒｅｓｓｏｒ）が飽和すると、感度の弱い画素（Ｖｉｃｔｉｍ）は影響を受ける。
入射する光が一定の時、電荷量の変化は線形性を持つはずであるが、Ｖｉｃｔｉｍ画素はブルーミングの影響により、非線形性を持つ。結果として、画像に着色が起こるなどの問題が起こる。
一般に、ブルーミングの影響は画像の飽和付近で発生するため、飽和付近の色成分を薄くするような対策処理によってブルーミングの影響を目立たせなくする手法が取られることもある。
【０００９】
このブルーミングに対する対策の一例が、例えば特許文献１（特開２００８−２９４６９８）に記載されている。
特許文献１（特開２００８−２９４６９８）は、広ダイナミックレンジ画像の撮影画像に対するブルーミング対策について説明している。
【００１０】
広ダイナミックレンジ画像について簡単に説明する。撮像装置による画像撮影環境は、屋内や野外、昼間や夜間といった多様な環境が想定され、このような様々な環境下で撮像素子（イメージセンサ）を使用する場合、撮影環境の明るさに応じて、光電変換素子の電荷蓄積時間の制御、すなわち露光時間を調整し、感度を最適値にする必要がある。
【００１１】
例えば、明るい環境では露光時間を短くし、暗い環境では露光時間を長くすることで、画素値の飽和や感度不足等の発生を抑制して各画素から有効画素値を出力させることができる。
【００１２】
しかし、例えば明るい被写体と暗い被写体が混在する画像を撮影する場合に、ある一定の露光時間で撮影を行うと、明るい被写体の撮影画素は電荷の蓄積が早く飽和しやすくなる。しかし、暗い被写体の撮影画素は十分な電荷の蓄積がなされないといったアンバランスが発生することがある。
【００１３】
明るい被写体から暗い被写体まで有効画素値を出力させるための手法がダイナミックレンジの拡大処理であり、このような画像の撮像処理は、高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮像、あるいは、広ダイナミックレンジ（ＷＤＲ：Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮像などと呼ばれる。
【００１４】
以下、明るい被写体から暗い被写体まで有効画素値を出力させるための画像撮影手法をＨＤＲ画像撮影手法として説明する。
ＨＤＲ画像撮影手法として、以下の２つの手法が提案されている。
（手法１）マルチショット手法：複数の異なる露光時間で連続撮影した複数の画像を利用し、長時間露光画像と短時間露光画像との合成処理によってダイナミックレンジ拡大画像を生成する手法。
（手法２）ワンショット手法：複数の画像の連続撮影を行うことなく、例えば画素配列の行単位に異なる露光時間を設定し、１枚の画像に含まれる長時間露光画素と短時間露光画素を合成してダイナミックレンジ拡大画像を生成する手法。
【００１５】
マルチショット手法については、例えば特許文献２（特開平２−１７４４７０号公報）、特許文献３（特開平７−９５４８１号公報）、特許文献４（特開平１１−７５１１８号公報）等に記載がある。
具体的には、図３に示すように、露光時間の短い短時間露光画像（低感度画像）と、露光時間の長い長時間露光画像（高感度画像）をフレームごとに交互に撮像する。
これらの異なる露光時間の撮影画像をフレームメモリに蓄積し、各画像から有効画素値を選択取得するなどの信号処理を実行する。例えば明るい被写体領域については短時間露光画像（低感度画像）の画素値を優先取得し、暗い被写体領域については長時間露光画像（高感度画像）の画素値を優先取得するなどの信号処理によってダイナミックレンジの高い画像を生成する。
【００１６】
前述の特許文献１（特開２００８−２９４６９８号公報）には、このようなマルチショットによるＨＤＲ画像に対するブルーミング補正処理について説明している。
図４には、マルチショットによって連続撮影された、
（ａ）短時間露光画像
（ｂ）長時間露光画像
を示している。
特許文献１（特開２００８−２９４６９８号公報）は、この図４に示すように、１つの画像すべてが同じ露光時間、すなわち隣接する画素の露光時間がすべて等しい中でのブルーミング補正について説明するものである。
長時間露光画素の隣接画素間で起こるブルーミングの量を、短時間露光画像の画素値を利用して推定して、この推定に基づいて長時間露光画像の画素値の補正を行う構成を開示している。
【００１７】
長時間露光画像においてブルーミングが発生している場合でも、連続撮影される短時間露光画像では、露光時間が十分に短いため、飽和やブルーミングなどの非線形性を持っていない。
この特徴により、マルチショットによるＨＤＲ撮像画像の場合、短時間露光画像の画素値に基づいて、長時間露光画像の隣接画素間で発生するブルーミングの量を推定し、この推定値に基づいて長時間露光画素の補正を行うことが可能となる。
特許文献１（特開２００８−２９４６９８号公報）は、このようなマルチショットによるＨＤＲ画像に対するブルーミング補正処理について説明している。
【００１８】
しかし、この特許文献１（特開２００８−２９４６９８号公報）に記載のブルーミング補正処理は、前述のＨＤＲ画像撮影手法の（手法２）ワンショット手法によって撮影された画像に対しては適用できない。
（手法２）ワンショット手法は、複数の画像の連続撮影を行うことなく、例えば画素配列の行単位に異なる露光時間を設定し、１枚の画像に含まれる長時間露光画素と短時間露光画素を合成してダイナミックレンジ拡大画像を生成する手法である。
【００１９】
なお、ワンショット手法によるＨＤ画像の撮影処理については、例えば、特許文献５（特開２００６−２５３８７６号公報）、特許文献６（特願２００６−５４２３３７号公報）等に記載されている。
【００２０】
このワンショット手法による撮影画像は、１枚の画像内に長時間露光画素と短時間露光画素が混在することになる。
従って、図４に示すような、
（ａ）短時間露光画像
（ｂ）長時間露光画像
これらの２つの画像を用いた処理ができない。
【００２１】
例えば１枚の撮影画像は、図５に示すように、短時間露光画素である低感度画素と、長時間露光画素である高感度画素が混在する画像となる。
このように、ワンショット手法による撮影画像では、複数の感度の画素が混在し、このような画像には、ブルーミングは極めて複雑な形態で発生する。
【００２２】
すなわち、このような画像では、
・長時間露光画素から長時間露光画素へのブルーミング
・短時間露光画素から短時間露光画素へのブルーミング
のみならず、さらに、
・長時間露光画素から短時間露光画素へのブルーミング、
・短時間露光画素から長時間露光画素へのブルーミング、
これらの様々な画素間のブルーミングが発生する。したがってブルーミング補正は、これらのブルーミング発生形態を考慮して、補正することが必要となる。
【００２３】
先に説明した特許文献１（特開２００８−２９４６９８）は、マルチショットによるＨＤＲ撮像画像に対して、ブルーミングの影響を受けていない短時間露光画像を利用して、ブルーミングの補正量を推定していた。
しかし、ワンショットによるＨＤＲ撮像画像の場合、ブルーミングの影響を受けていない短時間露光画像を利用してブルーミング補正を行わなければならないため、補正量の誤差を小さくするための処理等が必要となる。
【００２４】
なお、特許文献７（特開２００８−１４７８１８号公報）は、信号処理ではなく、イメージセンサの読み出しタイミング制御を変えることで、ブルーミングの発生を最小限にする方法を開示している。
この方法では、画像の位置によって読み出しタイミングが不連続であるため、連続したデータにするためにはフレームメモリなどを必要とする。さらに、露光時間を変化させようとした場合、露光時間に応じて、データの読み出しタイミングが変化し、後段の信号処理のための制御が困難となるという問題が発生する。
【先行技術文献】
【特許文献】
【００２５】
【特許文献１】特開２００８−２９４６９８号公報
【特許文献２】特開平２−１７４４７０号公報
【特許文献３】特開平７−９５４８１号公報
【特許文献４】特開平１１−７５１１８号公報
【特許文献５】特開２００６−２５３８７６号公報
【特許文献６】特願２００６−５４２３３７号公報
【特許文献７】特開２００８−１４７８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【００２６】
本開示は、例えば上記の問題点に鑑みてなされたものであり、画素間の電荷漏れによるブルーミングの補正処理を実行する撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００２７】
本開示は、例えば１つの撮影画像に基づいて生成されるワンショット型の広ダイナミックレンジ（ＨＤＲ）画像を生成する撮像装置に適したブルーミング補正処理を実行する撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２８】
本開示の第１の側面は、
長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部は、
前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する撮像装置にある。
【００２９】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定するブルーミング量推定部と、前記ブルーミング量推定部の推定したブルーミング量を前記撮像素子からの入力画素値から減算する演算部を有する。
【００３０】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、撮像素子の画素配列と、撮像素子の高感度画素と低感度画素の露光制御パターンとを考慮した数式モデルに基づいて算出するブルーミング量推定部を有する。
【００３１】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の画素位置に対応する各色の高感度画素値および低感度画素値を生成する信号生成部と、前記信号生成部の生成した信号を入力して前記注目画素のブルーミング補正を実行する補正処理部を有する。
【００３２】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値とを対応付けたテーブルを適用して、前記撮像素子からの入力画素の画素値補正を実行する。
【００３３】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、前記撮像素子からの入力画素値と、該入力画素値とブルーミングの影響のない理想画素値との差分とを対応付けたテーブルを適用して、前記撮像素子からの入力画素に含まれるブルーミング量を推定する。
【００３４】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定するブルーミング量推定部と、前記ブルーミング量推定部の推定したブルーミング量に、予め規定した減衰パラメータを乗算して減衰ブルーミング量を算出する乗算部と、前記乗算部の算出した減衰ブルーミング量を前記撮像素子からの入力画素値から減算する演算部を有する。
【００３５】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定し、さらに、該推定結果に基づいてブルーミング量を減算した低感度画素信号を利用して、再度、ブルーミング量の推定を実行する構成を有する。
【００３６】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素が動き領域であるか否かを判定する動き検出部を有し、前記動き検出部の検出情報に応じてブルーミング補正態様を変更する構成を有する。
【００３７】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素がエッジ領域であるか否かを判定するエッジ検出部を有し、前記エッジ検出部の検出情報に応じてブルーミング補正態様を変更する構成を有する。
【００３８】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素が動き領域またはエッジ領域である場合、該注目画素に対応する推定ブルーミング量を減少させる過補正対策部を有する。
【００３９】
さらに、本開示の撮像装置の一実施態様において、前記ブルーミング補正処理部は、入力画素値が飽和しているか否かを判定し、飽和値である場合にはブルーミング補正を実行しない構成である。
【００４０】
さらに、本開示の撮像装置の一実施態様において、前記撮像装置は、さらに、前記ブルーミング補正処理部の生成したブルーミング補正画像を入力して広ダイナミックレンジ画像を生成する広ダイナミックレンジ（ＨＤＲ）画像生成部を有する。
【００４１】
さらに、本開示の第２の側面は、
長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号の補正を実行する補正処理部を有し、
前記補正処理部は、
前記撮像素子からの入力画素値と、前記撮像素子に対する入射光量と出力値との理想的な線形特性に従った理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する撮像装置にある。
【００４２】
さらに、本開示の撮像装置の一実施態様において、前記補正処理部は、前記撮像素子からの入力画素値に含まれる非線形特性を、前記理想的な線形特性に従った理想画素値を適用して補正する。
【００４３】
さらに、本開示の撮像装置の一実施態様において、前記補正処理部は、複数回の撮影処理によって取得した前記撮像素子の前記理想画素値、または、該理想画素値に基づく補正画素値算出に適用するルックアップテーブル（ＬＵＴ）を記憶部から取得して画素値補正を実行する。
【００４４】
さらに、本開示の第３の側面は、
撮像装置において実行する画像処理方法であり、
前記撮像装置は、長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部において、
前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する画像処理方法にある。
【００４５】
さらに、本開示の第４の側面は、
撮像装置において画像処理を実行させるプログラムであり、
前記撮像装置は、長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部に、前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行させるプログラムにある。
【００４６】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００４７】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００４８】
本開示の一実施例によれば、ワンショット型の広ダイナミックレンジ撮影画像に対する高精度なブルーミング補正を実現する装置、方法が実現される。
具体的には、高感度画素信号と低感度画素信号を出力する撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行する。補正処理部は、撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、入力画素の画素値補正を実行する。例えば、補正対象画素の近傍画素からの電荷漏れに相当するブルーミング量を、低感度画素信号を利用して推定し、推定したブルーミング量を入力画素値から減算する。具体的には、数式モデルやＬＵＴを適用した処理を行う。
本開示の構成によれば、ブルーミングを被った画素のブルーミング量を抑圧することによって、ブルーミングによる非線形性補正し、正しい色再現や、画像の階調を正確に表現でき、画質を向上できる。
【図面の簡単な説明】
【００４９】
【図１】ブルーミングの発生原理について説明する図である。
【図２】ブルーミングによるＡｇｇｒｅｓｓｏｒ画素とＶｉｃｔｉｍ画素の蓄積電荷の推移について説明する図である。
【図３】露光時間の短い短時間露光画像（低感度画像）と、露光時間の長い長時間露光画像（高感度画像）をフレームごとに交互に撮像する処理シーケンスについて説明する図である。
【図４】マルチショットによって連続撮影された短時間露光画像と長時間露光画像に対するブルーミング補正処理について説明する図である。
【図５】短時間露光画素である低感度画素と、長時間露光画素である高感度画素が混在する画像におけるブルーミング補正処理について説明する図である。
【図６】撮像素子の特性情報の計測処理について説明する図である。
【図７】撮像素子の特性情報について説明する図である。
【図８】撮像素子の画素配列パターンと露光制御パターンの例について説明する図である。
【図９】長時間露光と短時間露光における電荷の蓄積のシーケンスについて説明する図である。
【図１０】長時間露光画素から長時間露光画素へのブルーミング量（ＬＬ）の算出処理例について説明する図である。
【図１１】長時間露光画素から短時間露光画素へのブルーミング量（ＬＳ）の算出処理例について説明する図である。
【図１２】短時間露光画素から長時間露光画素へのブルーミング量（ＳＬ）の算出処理例について説明する図である。
【図１３】短時間露光画素から短時間露光画素へのブルーミング量（ＳＳ）の算出処理例について説明する図である。
【図１４】長時間露光と短時間露光における電荷の蓄積のシーケンスについて説明する図である。
【図１５】ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）に対して、縦横斜めの８画素が、ブルーミング発生画素（Ａｇｇｒｅｓｓｏｒ画素）となることを説明する図である。
【図１６】撮像素子の画素配列と露光制御設定例について説明する図である。
【図１７】ブルーミングの発生態様について説明する図である。
【図１８】ブルーミング補正を行う補正処理部の構成例について説明する図である。
【図１９】過補正対策を施したブルーミング補正処理例について説明する図である。
【図２０】ブルーミング補正量の推定処理を繰り返し処理として実行する処理例について説明する図である。
【図２１】ブルーミング補正量の推定処理を繰り返し処理として実行する処理例について説明する図である。
【図２２】ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成例について説明する図である。
【図２３】ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成例について説明する図である。
【図２４】ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成例について説明する図である。
【図２５】ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成例について説明する図である。
【図２６】ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成例について説明する図である。
【図２７】ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成例について説明する図である。
【図２８】短時間露光画素の明るさが変化したときの、実測値（ブルーミングの影響を受けた画素値）と理想値（真の画素値）の変化を表したグラフについて説明する図である。
【図２９】図２８に示す特性に基づいて、図２７に示す１次元ＬＵＴで使用する対応データの関係を表した図である。
【図３０】図２９に示す関係データを単純な折れ線データとした近似処理を実行した結果を示す図である。
【図３１】倍列近似部を有する補正処理部の構成例について説明する図である。
【図３２】３次元ＬＵＴを用いた構成において近似データを用いた補正処理部の構成例について説明する図である。
【図３３】ある画素の短時間露光画素（低感度画素）：Ｒｄ，Ｇｄ，Ｂｄの明るさ（輝度）と画素出力値の変化について説明する図である。
【図３４】数式モデルに基づく補正と、予め取得したデータに基づく補正の両方を組み合わせることで、各処理の欠点を補い、各処理の利点を利用した補正処理部の構成例について説明する図である。
【図３５】過補正対策を行った補正処理部の構成例について説明する図である。
【図３６】ブルーミング補正した結果の補正画素値がどんどん小さくなるという問題野具体例について説明する図である。
【図３７】ブルーミング補正処理を実行する撮像装置２００の構成例について説明する図である。
【図３８】ブルーミング補正処理部の全体構成例について説明する図である。
【図３９】信号生成部における信号生成処理例について、周辺画素を用いて線形補間によって画素値を生成する手法について説明する図である。
【図４０】ＨＤＲ（広ダイナミックレンジ画像）合成処理部の詳細構成例について説明する図である。
【図４１】高感度低周波信号生成部と、低感度低周波信号生成部における、注目画素の周辺画素を利用した処理によって低周波信号を生成する処理について説明する図である。
【図４２】ＨＤＲ全帯域信号生成部の構成例について説明する図である。
【図４３】撮像装置の第２構成例について説明する図である。
【図４４】統合処理部の具体例について説明する図である。
【図４５】統合処理部の具体例について説明する図である。
【図４６】統合処理部の具体例について説明する図である。
【図４７】ブルーミング補正部の入出力関係について説明する図である。図である。
【図４８】図４６に示すブルーミング補正部内に構成される画素生成部の処理例について説明する図である。
【図４９】Ｋｎｅｅ特性について説明する図である。
【発明を実施するための形態】
【００５０】
以下、図面を参照しながら本開示の撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．撮像素子の特性の計測処理について
２．ブルーミングの数式モデルを利用した補正処理例
２−１．長時間露光画素から長時間露光画素へのブルーミング量（ＬＬ）
２−２．長時間露光画素から短時間露光画素へのブルーミング量（ＬＳ）
２−３．短時間露光画素から長時間露光画素へのブルーミング量（ＳＬ）
２−４．短時間露光画素から短時間露光画素へのブルーミング量（ＳＳ）
３．複数のブルーミング発生画素からの相互作用を考慮した実施例
４．ブルーミング補正処理の実施例
４−１．数式モデルを利用した基本的なブルーミング補正処理例
４−２．数式モデルを利用し、過補正対策を施したブルーミング補正処理例
４−３．数式モデルを利用し、繰り返し補正を行う処理例
４−４．ＬＵＴ等、予め取得したデータに基づく補正処理例
４−５．異なる補正手法の組み合わせによるブルーミング補正処理について
４−６．動被写体やエッジによる過補正の対策を施した補正処理例
５．撮像装置の構成例
５−１．撮像装置の構成例１
５−２．撮像装置の構成例２
６．その他の実施例：ブルーミング以外のセンサ特性に基づく画像の補正
７．本開示の構成のまとめ
【００５１】
［１．撮像素子の特性の計測処理について］
以下に説明する本開示の撮像装置の一実施例では、撮像素子の特性を利用して、ブルーミング補正を行う。
まず、図６以下を参照して撮像素子の特性情報の計測処理について説明する。
図６は、撮像素子の特性情報の計測を行うためのシステム構成の一例を示している。
撮影対象とする被写体１０２は、例えば様々な色や輝度領域を設定したテストパターンであり、具体的には、例えばカラーチェック処理などにおいて利用されるマクベスチャートなどが利用可能である。
この被写体１０２に照明１０１を照射して、特性計測用の撮像素子（イメージセンサ）１０４を備えた撮像装置（カメラ）において画像を撮影する。
なお、図６に示す特性計測に適用する装置としては、ＲＡＷ画像を取得可能なカメラを適用してもよいが、一般的なカメラの構成を備えることは必須ではなく、撮像素子であるセンサの生データを取得可能な構成を持つ基盤や装置を適用してもよい。
【００５２】
照明１０１、被写体１０２の条件・位置などを固定し、撮像素子（イメージセンサ）１０４についても同じ条件で撮影するなら、ノイズを無視すれば同一の画像を取得できる。
撮像素子（イメージセンサ）１０４は、画素毎に露光時間を変えて撮影できるセンサである。図に示す制御部１０５の生成する制御情報である露光時間情報１０６に基づいて画素単位で露光時間を設定して撮影を行うことができる。
【００５３】
まず、すべての画素の露光時間を同一にして撮影する。
制御部１０５により、撮像素子１０４の全体の露光時間を短〜長間で細かく変化させながら取得するセンサ画像１０７を、順次、記憶装置１０８に記録する。
【００５４】
図７（Ａ）測定結果は、露光時間を変化させながら取得したセンサ画像１０７の中の、ある隣接したＲ，Ｇ，Ｂ画素値の変化を表す。
一般に被写体の変化がないときには、露光時間と画素値は比例の関係を持つ。
しかし、図７（Ａ）に示すように、露光時間が短い時には線形性があるものの、露光時間が長くなり特定の画素が飽和レベルに近づいてくると非線形性が発生する。これらが飽和やブルーミングによる非線形性である。
【００５５】
時間ｔ１において、Ｇ画素が飽和し、この飽和に基づいてＧ画素で溢れた電荷が隣接するＢ画素、Ｒ画素に流れ込むブルーミングが発生する。このブルーミングによって、Ｂ画素とＲ画素の線形性が崩れている。すなわち、蓄積電荷ペースが増加している。
さらに、時間ｔ２において、Ｂ画素が飽和し、この飽和に基づいてＢ画素で溢れた電荷が隣接するＲ画素に流れ込むブルーミングが発生する。このブルーミングによって、Ｒ画素の線形性が再度崩れ、蓄積電荷ペースがさらに増加している。
【００５６】
図７（Ｂ）理想特性は、図７（Ａ）測定データにおける線形性のある区間のデータ（時間ｔ０〜ｔ１）だけを利用して線形回帰を行った結果である。線形回帰は例えば最小二乗法などで行う。これにより、ある画素のブルーミングのない理想的なデータ［理想特性］を取得できる。例えば、露光時間がＥＸ１であるときのＲ画素の理想画素値はＲ１，Ｂ画素の理想画素値はＧ１と求めることができる。
【００５７】
この露光時間ＥＸ１では、例えばＢ画素、Ｒ画素はブルーミングの影響をうけている区間であるが、それぞれブルーミングの影響がない理想特性（Ｂ）、理想特性（Ｒ）を得られる。同様にＧ画素は飽和しているが、飽和を無視したときの理想特性（Ｇ）を得ることができる。
【００５８】
このように、測定データにおける線形性のある区間のデータ（時間ｔ０〜ｔ１）を利用した線形回帰を行って、図７（Ｂ）に示す実線データ理想的なデータ（理想特性）を求める。
理想特性は、撮像素子の画素配列パターンと、撮像素子において実際の撮影で利用する露光制御パターンに応じて算出し、撮影画像の補正処理には、配列パターンと露光制御パターンの一致する設定の理想特性を適用することが好ましい。
【００５９】
なお、撮像素子１０４の画素配列パターンと露光制御パターンの例を図８に示す。
図８には、（Ａ）〜（Ｍ）の１３種類の画素配列パターンと露光制御パターンを示している。
白い画素が長時間露光画素（高感度画素）、
グレーの画素が短時間露光画素（低感度画素）、
である。
【００６０】
例えば、図８に示す（Ａ）〜（Ｍ）のパターンごと、各色（Ｒ，Ｇ，Ｂ）あるいは（Ｒ，Ｇ，Ｂ，Ｗ）単位の理想特性を算出する。算出した理想特性は、ブルーミング補正を行う画像処理装置や撮像装置の記憶部に格納する。
【００６１】
ブルーミングの補正は、この理想データである理想特性と、実際の撮影処理によって得られる実測データを利用した補正処理として行われる。
具体的には実測データから理想データを算出する処理として実行する。
具体的な補正処理の方法としては例えば以下の方法がある。
（ａ）ブルーミングの数式モデルを導出し、その逆関数によって補正する方法
（ｂ）実測データと理想データの１対１対応データをテーブル（ＬＵＴ：Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）として保持して、テーブルを参照して補正する方法
（ｃ）上記ＬＵＴの代表点のみ利用して、近似して補正する方法
（ｄ）上記の各方法を組み合わせて利用した補正方法
例えばこれらの方法がある。
【００６２】
撮像素子１０４の画素配列や露光制御態様は、先に図８を参照して説明したように、様々であり、この種類によって理想特性と実測データとの対応関係も異なってくる。以下の実施例では、一例として図８（Ａ）に示す画素配列と露光制御構成に従った撮像素子１０４を利用して処理例について説明する。
なお、この図８（Ａ）以外の画素配列と露光制御構成であっても、理想特性と実測データとの対応関係データが異なるのみであり、以下に示す本開示の処理が適用可能である。
【００６３】
［２．ブルーミングの数式モデルを利用した補正処理例］
まず、ブルーミングの数式モデルを利用した補正処理例について説明する。
ブルーミングの数式モデルの導出
ブルーミングの現象を最も単純に記述する方法を示す。
【００６４】
単純なモデル：１画素から１画素へのブルーミング
ここでは、ある１画素（Ａｇｇｒｅｓｓｏｒ）から、ある１画素（Ｖｉｃｔｉｍ）へのブルーミングについてのみ考慮し、相互作用や複数の画素からのブルーミングについては考慮しない。
【００６５】
ブルーミングの量の要因には、入射する光の波長や、温度特性などによる変動なども考えられるが、ここではそれらの要因を考慮せず、一定であるとして簡単なモデルを示す。
【００６６】
発生するブルーミングの種類は露光時間に応じてパターンがある。
なお、長時間露光と短時間露光における電荷の蓄積については、図９に示すような撮影処理に伴う電荷蓄積動作を想定して数式モデルを導出する。
図９には、
（ａ）読み出しタイミング
（ｂ）長時間露光リセットタイミング
（ｃ）長時間露光電荷量
（ｄ）短時間露光リセットタイミング
（ｅ）短時間露光電荷量
これらの時間推移を示している。
【００６７】
長時間露光画素は、長時間露光リセットタイミング（ｔ１）を電荷蓄積開始時間として、次の読み出しタイミング（ｔｒ）まで（露光時間：ｔｂ）、画素に電荷蓄積を行って電荷量に応じた信号量を画素値として読み取る。
短時間露光画素は、短時間露光リセットタイミング（ｔ２）を電荷蓄積開始時間として、次の読み出しタイミング（ｔｒ）まで（露光時間：ｔｄ）、画素に電荷蓄積を行って電荷量に応じた信号量を画素値として読み取る。
なお、短時間露光のリセットタイミングの前には電荷が溜まっていることを想定する。
【００６８】
数式モデル導入のために下記のように各パラメータを定義する。
Ａｉ：ブルーミングを発生する画素（Ａｇｇｒｅｓｓｏｒ画素）が時間Ｔｂだけ露光したときの理想値（飽和しない場合の値）
Ａｓ：Ａｇｇｒｅｓｓｏｒ画素のセンサ出力値
Ｖｉ：ブルーミングを受ける画素（Ｖｉｃｔｉｍ画素）が時間Ｔｂだけ露光したときの理想値（ブルーミングの影響なし）
Ｖｓ：Ｖｉｃｔｉｍ画素のセンサ出力値
Ｔｂ：高感度（長時間露光）の露光時間
Ｔｄ：低感度（短時間露光）の露光時間
ｂｔｈ：Ａｇｇｒｅｓｓｏｒ画素がブルーミングを発生させる信号レベル
ｂｒｔ：Ａｇｇｒｅｓｓｏｒ画素からのブルーミング比率
Ｒ ：長時間露光画素と短時間露光画素との露光比（Ｔｂ／Ｔｄ）
【００６９】
なお、ｂｔｈ（ブルーミング発生信号レベル），ｂｒｔ（ブルーミング比率）は、実際にはセンサ特性や、温度特性、入射光の波長によって変化することがあるが、ここでは簡易的に、センサによって一意に求まるパラメータであるとする。
【００７０】
以下、図１０〜図１３を参照して、以下の各ブルーミング態様に応じたブルーミング量、すなわち電荷溢れによる流入電荷量の算出式例について説明する。以下の４種類のブルーミング量について説明する。
（１）長時間露光画素から長時間露光画素へのブルーミング量（ＬＬ）
（２）長時間露光画素から短時間露光画素へのブルーミング量（ＬＳ）
（３）短時間露光画素から長時間露光画素へのブルーミング量（ＳＬ）
（４）短時間露光画素から短時間露光画素へのブルーミング量（ＳＳ）
【００７１】
なお、以下では、
ブルーミングを発生させ、電荷溢れを起す画素をブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）、
隣接画素から溢れた電荷を流入してしまう画素をブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）、
として説明する。
【００７２】
［２−１．長時間露光画素から長時間露光画素へのブルーミング量（ＬＬ）］
まず、図１０を参照して長時間露光画素から長時間露光画素へのブルーミング量（ＬＬ）の算出式について説明する。
図１０に示す例は、
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝長時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝長時間露光画素、
この設定である。
【００７３】
時間を横軸とし、蓄積電荷量を縦軸として、各画素、すなわち
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝長時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝長時間露光画素、
これらの蓄積電荷の時間推移を示している。
実線が実際の蓄積電荷の推移データであり、点線が理想特性である。
【００７４】
露光時間はＴｂ、
ブルーミング発生信号レベル＝ｂｔｈ、
である。
なお、ブルーミング発生信号レベル＝ｂｔｈは、飽和信号レベルより高い信号レベルとしている。
【００７５】
時間（ｔ１）において、ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）が飽和し、点線で示す理想特性の信号レベルがブルーミング発生信号レベル（ｂｔｈ）となる時間（ｔ２）においてブルーミングが発生する。すなわち画素間の電荷溢れと電荷流入が開始する。
【００７６】
時間（ｔ２）のブルーミング発生タイミング以降において、ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の電荷量は点線で示す理想特性からはずれた直線を描く。
最終的な露光終了時間（ｔｒ）において、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ）と、
の差分がブルーミング量となる。
【００７７】
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝長時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝長時間露光画素、
これら長時間露光画素間におけるブルーミング量（ＬＬ）は以下のように算出される。
【００７８】
まず、ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の理想特性（Ａｉ）に基づいて算出されるブルーミング量（ｂｒｔ）をＬＬ（Ａｉ，ｂｒｔ）とすると、
最終的な露光終了時間（ｔｒ）における、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ）と、
の関係式は、以下の関係式（式１）となる。
【００７９】
【数１】
・・・（式１）
【００８０】
また、露光時間：Ｘ＝０〜ｔｒにおけるブルーミング量（ｂｒｔ）をＬＬ（Ｘ，ｂｒｔ）とすると、
ブルーミング量ＬＬ（Ｘ，ｂｒｔ）の算出式は、以下の（式２）によって示される。
【００８１】
【数２】
・・・（式２）
【００８２】
［２−２．長時間露光画素から短時間露光画素へのブルーミング量（ＬＳ）］
次に、図１１を参照して長時間露光画素から短時間露光画素へのブルーミング量（ＬＳ）の算出式について説明する。
図１１に示す例は、
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝長時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素、
この設定である。
【００８３】
時間を横軸とし、蓄積電荷量を縦軸として、各画素、すなわち
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝長時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素、
これらの蓄積電荷の時間推移を示している。
実線が実際の蓄積電荷の推移データであり、点線が理想特性である。
【００８４】
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素は、時間（ｔ２）においてリセットされ、時間（ｔ２）後の電荷蓄積量を出力画素値（Ｖｓ）としている。
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性に従った点線は時間（Ｔｒ）においてＶｉとなるラインと、（Ｖｉ／Ｒ）となる２つのラインを示している。
時間（ｔｒ）においてＶｉとなるラインは、時間０から継続して電荷蓄積が実行された場合の理想特性ラインである。
一方、時間（ｔｒ）において（Ｖｉ／Ｒ）となるラインは、時間（ｔ２）から露光が実行された場合の理想特性ラインである。
Ｒは、長時間露光画素と短時間露光画素との露光比（Ｔｂ／Ｔｄ）である。
【００８５】
露光時間は、
長時間露光画素がＴｂ、
短時間露光画素がＴｄ、
ブルーミング発生信号レベル＝ｂｔｈ、
である。
【００８６】
時間（ｔ１）において、長時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）が飽和し、点線で示す理想特性の信号レベルがブルーミング発生信号レベル（ｂｔｈ）となる時間（ｔ３）においてブルーミングが発生する。すなわち画素間の電荷溢れと電荷流入が開始する。
【００８７】
なお、時間（ｔ１）〜時間（ｔ３）間の時間（ｔ２）において、短時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の電荷蓄積が開始される設定としている。
【００８８】
短時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）は、時間（ｔ２）〜（ｔ３）までは、ブルーミングの影響のない電荷蓄積が実行される。
しかし、時間（ｔ３）のブルーミング発生タイミング以降において、ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の電荷量は点線で示す理想特性からはずれた直線を描く。
最終的な露光終了時間（ｔｒ）において、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ／Ｒ）と、
の差分がブルーミング量となる。
【００８９】
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝長時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素、
この長時間露光画素から短時間露光画素へのブルーミング量（ＬＳ）は以下のように算出される。
【００９０】
まず、ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の理想特性（Ａｉ）に基づいて算出されるブルーミング量（ｂｒｔ）をＬＳ（Ａｉ，ｂｒｔ）とすると、
最終的な露光終了時間（ｔｒ）における、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ／Ｒ）と、
の関係式は、以下の関係式（式３）となる。
【００９１】
【数３】
・・・（式３）
【００９２】
また、露光時間：Ｘ＝０〜ｔｒにおけるブルーミング量（ｂｒｔ）をＬＳ（Ｘ，ｂｒｔ）とすると、
ブルーミング量ＬＳ（Ｘ，ｂｒｔ）の算出式は、以下の（式４）によって示される。
【００９３】
【数４】
・・・（式４）
【００９４】
［２−３．短時間露光画素から長時間露光画素へのブルーミング量（ＳＬ）］
次に、図１２を参照して短時間露光画素から長時間露光画素へのブルーミング量（ＳＬ）の算出式について説明する。
図１２に示す例は、
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝長時間露光画素、
この設定である。
【００９５】
時間を横軸とし、蓄積電荷量を縦軸として、各画素、すなわち
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝長時間露光画素、
これらの蓄積電荷の時間推移を示している。
実線が実際の蓄積電荷の推移データであり、点線が理想特性である。
【００９６】
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素は、時間（ｔ３）においてリセットされ、時間（ｔ３）後の電荷蓄積量を出力画素値（Ｖｓ）としている。
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性に従った点線は時間（Ｔｒ）においてＶｉとなるラインと、（Ｖｉ／Ｒ）となる２つのラインを示している。
時間（ｔｒ）においてＶｉとなるラインは、時間０から継続して電荷蓄積が実行された場合の理想特性ラインである。
一方、時間（ｔｒ）において（Ｖｉ／Ｒ）となるラインは、時間（ｔ２）から露光が実行された場合の理想特性ラインである。
Ｒは、長時間露光画素と短時間露光画素との露光比（Ｔｂ／Ｔｄ）である。
【００９７】
露光時間は、
長時間露光画素がＴｂ、
短時間露光画素がＴｄ、
ブルーミング発生信号レベル＝ｂｔｈ、
である。
【００９８】
時間（ｔ１）において、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）が飽和し、点線（ＡＬ１）で示す理想特性の信号レベルがブルーミング発生信号レベル（ｂｔｈ）となる時間（ｔ２）においてブルーミングが発生する。すなわち画素間の電荷溢れと電荷流入が開始する。
なお、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の撮影処理に基づく電荷蓄積処理は、時間（ｔ３）〜（ｔｒ）間の露光時間（ｔｄ）に実行され、時間０〜ｔ３の間の露光によって短時間露光画素に蓄積される電荷は撮影開始（ｔ３）時点でリセットされる電荷である。
このリセット対象の電荷によってブルーミングが発生してしまう例を示している。
【００９９】
長時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）は、時間（０）〜（ｔ２）までは、ブルーミングの影響のない電荷蓄積が実行される。
しかし、時間（ｔ２）のブルーミング発生タイミング以降において、ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の電荷量は点線（ＶＬ１）で示す理想特性からはずれた直線を描く。
【０１００】
その後、時間（ｔ３）において、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）はリセット処理が行われ、被写体の撮影に応じた露光時間（ｔｄ）の露光処理が開始される。
この露光処理が開始時点で、短時間露光画素に蓄積された電荷はリセットされ、新たに被写体輝度に応じた電荷の蓄積を開始するため、電荷溢れは停止する。すなわちブルーミング発生は停止することになる。
しかし、この時間（ｔ３）において、長時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）には、すでに図に示す理想特性ライン（ＶＬ１）と実線で示す実電荷ラインとの差分（ＳＬＦ）に相当するブルーミング電荷量が、被写体輝度と無関係な余分な電荷として蓄積されている。
【０１０１】
さらに、時間（ｔ３）以降の短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の露光時間（ｔｄ）において、短時間露光画素は、時間（ｔ４）において、再度、飽和し、点線（ＡＬ２）で示す理想特性の信号レベルがブルーミング発生信号レベル（ｂｔｈ）となる時間（ｔ５）においてブルーミングを発生させる。すなわち画素間の電荷溢れと電荷流入が再び発生する。
【０１０２】
長時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）は、時間（ｔ５）以降、点線（ＶＬ２）で示す理想特性からはずれた直線を描く。この時間（ｔ５）以降のブルーミング量は図に示す（ＳＬＢ）となる。
【０１０３】
最終的な露光終了時間（ｔｒ）において、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ）と、
の差分がブルーミング量となる。
最終的なブルーミング量は、（ＳＬＡ）と（ＳＬＢ）の加算結果に相当する。
【０１０４】
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝長時間露光画素、
この短時間露光画素から長時間露光画素へのブルーミング量（ＳＬ）は以下のように算出される。
【０１０５】
まず、ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の理想特性（Ａｉ）に基づいて算出されるブルーミング量（ｂｒｔ）をＳＬ（Ａｉ，ｂｒｔ）とすると、
最終的な露光終了時間（ｔｒ）における、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ）と、
の関係式は、以下の関係式（式５）となる。
【０１０６】
【数５】
・・・（式５）
【０１０７】
また、露光時間：Ｘ＝０〜ｔｒにおけるブルーミング量（ｂｒｔ）をＳＬ（Ｘ，ｂｒｔ）とすると、
ブルーミング量ＳＬ（Ｘ，ｂｒｔ）の算出式は、以下の（式６）によって示される。
【０１０８】
【数６】
・・・（式６）
【０１０９】
［２−４．短時間露光画素から短時間露光画素へのブルーミング量（ＳＳ）］
次に、図１３を参照して短時間露光画素から短時間露光画素へのブルーミング量（ＳＳ）の算出式について説明する。
図１３に示す例は、
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素、
この設定である。
【０１１０】
時間を横軸とし、蓄積電荷量を縦軸として、各画素、すなわち
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素、
これらの蓄積電荷の時間推移を示している。
実線が実際の蓄積電荷の推移データであり、点線が理想特性である。
【０１１１】
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、およびブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素とも、時間（ｔ３）においてリセットされ、時間（ｔ３）後の電荷蓄積量を出力画素値（Ａｓ，Ｖｓ）としている。
【０１１２】
露光時間は、
長時間露光画素がＴｂ、
短時間露光画素がＴｄ、
ブルーミング発生信号レベル＝ｂｔｈ、
である。
【０１１３】
時間（ｔ１）において、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）が飽和し、点線（ＡＬ１）で示す理想特性の信号レベルがブルーミング発生信号レベル（ｂｔｈ）となる時間（ｔ２）においてブルーミングが発生する。すなわち画素間の電荷溢れと電荷流入が開始する。
なお、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の撮影処理に基づく電荷蓄積処理は、時間（ｔ３）〜（ｔｒ）間の露光時間（ｔｄ）に実行され、時間０〜ｔ３の間の露光によって短時間露光画素に蓄積される電荷は撮影開始（ｔ３）時点でリセットされる電荷である。
このリセット対象の電荷によってブルーミングが発生してしまう例を示している。
【０１１４】
短時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）は、時間（０）〜（ｔ２）までは、ブルーミングの影響のない電荷蓄積が実行される。
しかし、時間（ｔ２）のブルーミング発生タイミング以降において、ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の電荷量は点線（ＶＬ１）で示す理想特性からはずれた直線を描く。
【０１１５】
その後、時間（ｔ３）において、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）、ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）とも、リセット処理が行われ、被写体の撮影に応じた露光時間（ｔｄ）の露光処理が開始される。
この露光処理が開始時点で、短時間露光画素に蓄積された電荷はリセットされ、新たに被写体輝度に応じた電荷の蓄積を開始するため、電荷溢れは停止する。すなわちブルーミング発生は停止することになる。
【０１１６】
しかし、この露光時間（ｔｄ）において、短時間露光画素であるブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）は、時間（ｔ４）において、再度。飽和し、点線（ＡＬ２）で示す理想特性の信号レベルがブルーミング発生信号レベル（ｂｔｈ）となる時間（ｔ５）においてブルーミングを発生させる。すなわち画素間の電荷溢れと電荷流入が再び発生する。
【０１１７】
短時間露光画素であるブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）は、時間（ｔ５）以降、点線（ＶＬ２）で示す理想特性からはずれた直線を描く。
【０１１８】
最終的な露光終了時間（ｔｒ）において、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ／Ｒ）と、
の差分がブルーミング量となる。
【０１１９】
ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）＝短時間露光画素、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）＝短時間露光画素、
この短時間露光画素間のブルーミング量（ＳＳ）は以下のように算出される。
【０１２０】
まず、ブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ画素）の理想特性（Ａｉ）に基づいて算出されるブルーミング量（ｂｒｔ）をＳＳ（Ａｉ，ｂｒｔ）とすると、
最終的な露光終了時間（ｔｒ）における、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の実電荷量（Ｖｓ）と、
ブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）の理想特性上の電荷量（Ｖｉ）と、
の関係式は、以下の関係式（式５）となる。
【０１２１】
【数７】
・・・（式７）
【０１２２】
また、露光時間：Ｘ＝０〜ｔｒにおけるブルーミング量（ｂｒｔ）をＳＳ（Ｘ，ｂｒｔ）とすると、
ブルーミング量ＳＳ（Ｘ，ｂｒｔ）の算出式は、以下の（式８）によって示される。
【０１２３】
【数８】
・・・（式８）
【０１２４】
ここまで、露光時間の異なる画素が隣接する場合のブルーミングの数式モデルを示してきた。この数式モデルは、あくまでも、例えば図９に示すセンサ駆動方式など特定のセンサの駆動方式における数式モデルの適用例であるが、ブルーミング量の算出処理は他の様々なセンサ駆動方式に対応して設定することが可能である。
【０１２５】
例えば、先に説明した図９に示すセンサ駆動方式と異なる図１４に示すセンサ駆動方式に対応する数式モデルの設定について説明する。
図１４に示すセンサ駆動方式では、短時間露光画素が露光開始するまで常にリセットがかかっており、電荷が蓄積しない＝ブルーミングが発生しないようになっている。
この駆動方式における、数式モデルは、前述したブルーミング量ＳＬ（Ｘ，ｂｒｔ）の算出式（式６）において、
ＳＬＦ（Ｘ，ｂｒｔ）＝０
と置き換えたものに相当する。
【０１２６】
さらに、露光時間は同じで感度が異なる画素間での従来のブルーミングについても、前述の（式１）で包含している。これにより、露光時間で感度差をつけるのではなく、露光時間は一定で、画素ごとの感度が異なるようなセンサに対するブルーミングの数式モデルについても算出可能である。
【０１２７】
［３．複数のブルーミング発生画素からの相互作用を考慮した実施例］
上述した実施例では、
ブルーミング発生画素（Ａｇｇｒｅｓｓｏｒ画素）を１画素、
ブルーミング受容画素（Ｖｉｃｔｉｍ画素）を１画素、
このようにそれぞれを１画素のみとした設定として単純化したモデルにおけるブルーミング電荷量の算出処理例について説明してきた。
【０１２８】
しかし、実際には、撮像素子を構成する各画素がブルーミングを発生させるブルーミング発生画素（Ａｇｇｒｅｓｓｏｒ画素）になり得るとともに、ブルーミング受容画素（Ｖｉｃｔｉｍ画素）にもなり得る。
このような複雑な構成のモデル化は困難であるが、近似的に下記のようにモデルを設定する。
【０１２９】
図１５には３×３の画素領域を示している。注目画素を中央の画素として、この中央画素をブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）とする。
このブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ画素）に対して、縦横斜めの８画素が、ブルーミング発生画素（Ａｇｇｒｅｓｓｏｒ画素）となる可能性があり、これら８画素からの影響を受ける。
【０１３０】
一般に、縦横に比べ、斜め方向のブルーミングは比率（前述のｂｒｔ）が小さくなる。以降、図１６に示す画素配列と露光制御設定の場合、各感度・色の画素のブルーミングによる影響について説明する。
図１６に示す画素配列において、
白い画素が長時間露光画素（高感度画素）、
グレーの画素が短時間露光画素（低感度画素）、
である。
【０１３１】
具体的には、以下の表記としている。
Ｒｂ：Ｒｅｄ（赤）の高感度画素（長時間露光画素）
Ｇｂ：Ｇｒｅｅｎ（緑）の高感度画素
Ｂｂ：Ｂｌｕｅ（青）の高感度画素
Ｒｄ：Ｒｅｄ（赤）の低感度画素（短時間露光画素）
Ｇｄ：Ｇｒｅｅｎ（緑）の低感度画素
Ｂｄ：Ｂｌｕｅ（青）の低感度画素
【０１３２】
さらに、各画素の理想的な画素値、すなわちブルーミングの発生がない場合のＲＧＢ各画素の画素値を以下のように表記する。
Ｒｉ：Ｒｂの理想値（飽和やブルーミングのない線形性をもつ）
Ｇｉ：Ｇｂの理想値（飽和やブルーミングのない線形性をもつ）
Ｂｉ：Ｂｂの理想値（飽和やブルーミングのない線形性をもつ）
【０１３３】
上記の設定において、飽和やブルーミングのない状況において、ノイズを無視すれば、各画素の画素値は、以下のような画素値となる。
Ｒｂ＝Ｒｉ
Ｇｂ＝Ｇｉ
Ｂｂ＝Ｂｉ
Ｒｄ＝Ｒｉ／Ｒ＝Ｒｂ／Ｒ
Ｇｄ＝Ｇｉ／Ｒ＝Ｇｂ／Ｒ
Ｂｄ＝Ｂｉ／Ｒ＝Ｂｂ／Ｒ
が成り立つ。
なお、
Ｒ：長時間露光画素と短時間露光画素との露光比（Ｔｂ／Ｔｄ）
である。
【０１３４】
例えば、図１６に示すＲｂ画素１５０の周辺８画素を見てみると、
・縦横に、Ｇｂが３画素、Ｇｄが１画素あり
・斜めに、Ｂｄが２画素、Ｂｂが２画素存在する。
このように合計８画素からブルーミングの影響を受けるとして、各感度、色画素のブルーミング量をモデル化する。
【０１３５】
理想画素値Ｒｉ，Ｇｉ，Ｂｉを適用して算出する各画素のブルーミング量を以下のように表記する。
高感度画素Ｒｂのブルーミング量：ｂｌｍＲｂ（Ｒｉ，Ｇｉ，Ｂｉ）
高感度画素Ｇｂのブルーミング量：ｂｌｍＧｂ（Ｒｉ，Ｇｉ，Ｂｉ）
高感度画素Ｂｂのブルーミング量：ｂｌｍＢｂ（Ｒｉ，Ｇｉ，Ｂｉ）
低感度画素Ｒｄのブルーミング量：ｂｌｍＲｄ（Ｒｉ，Ｇｉ，Ｂｉ）
低感度画素Ｇｄのブルーミング量：ｂｌｍＧｄ（Ｒｉ，Ｇｉ，Ｂｉ）
低感度画素Ｂｄのブルーミング量：ｂｌｍＢｄ（Ｒｉ，Ｇｉ，Ｂｉ）
【０１３６】
各画素のブルーミング量は以下の式によって算出できる。
（ａ）高感度画素のブルーミング量
ｂｌｍＲｂ（Ｒｉ，Ｇｉ，Ｂｉ）＝３・ＬＬ（Ｇｉ，ｂｒｔ＿ｈｖ）＋ＳＬ（Ｇｉ，ｂｒｔ＿ｈｖ）＋２・ＳＬ（Ｂｉ，ｂｒｔ＿ａｄ）＋２・ＬＬ（Ｂｉ，ｂｒｔ＿ａｄ）
ｂｌｍＧｂ（Ｒｉ，Ｇｉ，Ｂｉ）＝２・ＬＬ（Ｒｉ，ｂｒｔ＿ｈｖ）＋ＬＬ（Ｂｉ，ｂｒｔ＿ｈｖ）＋ＳＬ（Ｂｉ，ｂｒｔ＿ｈｖ）
＋２・ＳＬ（Ｇｉ，ｂｒｔ＿ａｄ）＋２・ＬＬ（Ｇｉ，ｂｒｔ＿ａｄ）
ｂｌｍＢｂ（Ｒｉ，Ｇｉ，Ｂｉ）＝３・ＬＬ（Ｇｉ＋，ｂｒｔ＿ｈｖ）＋ＳＬ（Ｇｉ，ｂｒｔ＿ｈｖ）＋２・ＳＬ（Ｒｉ，ｂｒｔ＿ａｄ）＋２・ＬＬ（Ｒｉ，ｂｒｔ＿ａｄ）
・・・・・（式Ａ）
【０１３７】
（ｂ）低感度画素のブルーミング量
ｂｌｍＲｄ（Ｒｉ，Ｇｉ，Ｂｉ）＝３・ＳＳ（Ｇｉ，ｂｒｔ＿ｈｖ）＋ＬＳ（Ｇｉ，ｂｒｔ＿ｈｖ）＋２・ＬＳ（Ｂｉ，ｂｒｔ＿ａｄ）＋２・ＳＳ（Ｂｉ，ｂｒｔ＿ａｄ）
ｂｌｍＧｄ（Ｒｉ，Ｇｉ，Ｂｉ）＝２・ＳＳ（Ｒｉ，ｂｒｔ＿ｈｖ）＋ＳＳ（Ｂｉ，ｂｒｔ＿ｈｖ）＋ＬＳ（Ｂｉ，ｂｒｔ＿ｈｖ）＋２・ＬＳ（Ｇｉ，ｂｒｔ＿ａｄ）＋２・ＳＳ（Ｇｉ，ｂｒｔ＿ａｄ）
ｂｌｍＢｄ（Ｒｉ，Ｇｉ，Ｂｉ）＝３・ＳＳ（Ｇｉ＋，ｂｒｔ＿ｈｖ）＋ＬＳ（Ｇｉ，ｂｒｔ＿ｈｖ）＋２・ＬＳ（Ｒｉ，ｂｒｔ＿ａｄ）＋２・ＳＳ（Ｒｉ，ｂｒｔ＿ａｄ）
・・・・・（式Ｂ）
【０１３８】
なお、上記式Ａ，Ｂにおいて、
ｐｑ（ｘｉ，ｂｒｔ＿ｙｙ）の表記は、
ｐｑ＝ＬＬ，ＬＳ，ＳＬ，ＳＳの４種類であり、
ＬＬ：長時間露光画素から長時間露光画素へのブルーミング
ＬＳ：長時間露光画素から短時間露光画素へのブルーミング
ＳＬ：短時間露光画素から長時間露光画素へのブルーミング
ＳＳ：短時間露光画素から短時間露光画素へのブルーミング
ｘは、ＲＧＢのいずれかであり、ｘｉは、各画素の理想特性データを参照していることを意味している。
ｙｙはｈｖ，ａｄのいずれかであり、
ｂｒｔ＿ｈｖは縦横に隣接した画素から漏れるブルーミング比率。
ｂｒｔ＿ａｄは斜めに隣接した画素から漏れるブルーミング比率。
これらを意味する。
【０１３９】
ただし、実際には、ブルーミングは、隣接画素間で相互に発生するものもあり、正確なモデル化は難しい。
すなわち、図１７に示すように、
時間ｔ１において、
長時間露光画素がブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ１）となり。短時間露光画素がブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ１）となり、
その後、
時間ｔ２において、
短時間露光画素がブルーミング発生画素（Ａ：Ａｇｇｒｅｓｓｏｒ２）となり。長時間露光画素がブルーミング受容画素（Ｖ：Ｖｉｃｔｉｍ２）となる、
といった隣接画素間で相互にブルーミングの発生と受容が行われる場合もある。
従って、正確なモデル化は難しい。
【０１４０】
さらに、縦横と斜めの画素に対して相互にブルーミングは発生するため、正確なモデル化は非常に複雑である。
しかし、上記の（式Ａ）、（式Ｂ）により、ブルーミングの量のうちの大部分をモデル化することが可能であり、ブルーミング率（ｂｒｔ）の値が小さい時には誤差として無視できる。
【０１４１】
［４．ブルーミング補正処理の実施例］
次に、上述したブルーミング補正量の算出処理によって求めたブルーミング量を適用した画素値の補正、すなわちブルーミング補正処理の具体的な実施例について説明する。
【０１４２】
［４−１．数式モデルを利用した基本的なブルーミング補正処理例］
まず、数式モデルを利用したブルーミング補正処理例について、図１８を参照して説明する。
図１８は、ブルーミング量を低感度画素の画素値（Ｒｄ，Ｇｄ，Ｂｄ）から推定して、センサ出力信号から引くことによって、ブルーミング補正を行う補正処理部１３０の構成例を示す図である。
【０１４３】
図１８に示す補正処理部１３０は、ブルーミング量推定部１３１と演算部１３２を有する。
図１８に示す補正処理部１３０に対する入力は、撮像素子（イメージセンサ）からの出力または出力に基づいて生成される信号である。
【０１４４】
撮像素子（イメージセンサ）には、例えば図１６に示す長時間露光画素（高感度画素）と短時間露光画素（低感度画素）が混在する。
すなわち、
Ｒｂ：Ｒの高感度画素の出力
Ｇｂ：Ｇの高感度画素の出力
Ｂｂ：Ｂの高感度画素の出力
Ｒｄ：Ｒの低感度画素の出力
Ｇｄ：Ｇの低感度画素の出力
Ｂｄ：Ｂの低感度画素の出力
これらの各出力である。
【０１４５】
図１８に示す補正処理部１３０は、撮像素子の構成画素の各々を、ブルーミング補正の対象となる注目画素として、順次、選択して補正を行う。この補正処理に際して、例えば、補正対象として選択した注目画素の画素位置に対応する上記の６種類の画素値を入力してブルーミング補正を行うことになる。
なお、この注目画素の画素位置に対応する上記の６種類の画素値の生成処理は、撮像素子からの信号を入力する信号生成部（図３８に示す信号生成部２５１）において実行される。例えば注目画素の周辺画素の画素値を参照した線形補間処理によって、各画素値の生成が行われる。
この処理の詳細はについては、図３８等を参照して後段で説明する。
【０１４６】
図１８に示す補正処理部１３０は、信号生成部（図３８に示す信号生成部２５１）の生成した注目画素に対応する上記各画素値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄを入力しこれらの入力値を用いて、注目画素のブルーミング補正結果として、注目画素位置における出力画素の補正画素値：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を生成して出力する。
なお、注目画素は撮像素子の構成画素から、順次、１つずつ選択され、すべての画素について同様のブルーミング補正が実行されることになる。
【０１４７】
補正処理部１３０に対する入力画素値：Ｒｂ、Ｇｂ、Ｂｂ、Ｒｄ、Ｇｄ、Ｂｄは、ノイズや、図１７のような相互依存関係を無視すれば、下記の式（式１１）によって示すことができる。
Ｒｂ＝Ｒｉ＋ｂｌｍＲｂ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｇｂ＝Ｇｉ＋ｂｌｍＧｂ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｂｂ＝Ｂｉ＋ｂｌｍＢｂ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｒｄ＝Ｒｉ／Ｒ＋ｂｌｍＲｄ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｇｄ＝Ｇｉ／Ｒ＋ｂｌｍＧｄ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｂｄ＝Ｂｉ／Ｒ＋ｂｌｍＢｄ（Ｒｉ，Ｇｉ，Ｂｉ）
・・・・・・（式１１）
ただし、
Ｒｉ，Ｇｉ，Ｂｉは、ブルーミングのない理想特性に従って出力される画素値、
ｂｌｍｘｘ（Ｒｉ，Ｇｉ，Ｂｉ）は、各画素（ｘｘ＝Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ．Ｂｄ）におけるブルーミング量であり、先に説明した（式Ａ）、（式Ｂ）によって算出されるブルーミング量、
Ｒは、長時間露光画素と短時間露光画素との露光比（Ｔｂ／Ｔｄ）、
である。
【０１４８】
上記の（式１１）に基づいて、ブルーミングのない理想特性に従って各画素から出力される画素値：Ｒｉ，Ｇｉ，Ｂｉ，Ｒｉ／Ｒ，Ｇｉ／Ｒ，Ｂｉ／Ｒは、下記式（式２２）のように表現できる。
Ｒｉ＝Ｒｂ−ｂｌｍＲｂ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｇｉ＝Ｇｂ−ｂｌｍＧｂ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｂｉ＝Ｂｂ−ｂｌｍＢｂ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｒｉ／Ｒ＝Ｒｄ−ｂｌｍＲｄ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｇｉ／Ｒ＝Ｇｄ−ｂｌｍＧｄ（Ｒｉ，Ｇｉ，Ｂｉ）
Ｂｉ／Ｒ＝Ｂｄ−ｂｌｍＢｄ（Ｒｉ，Ｇｉ，Ｂｉ）
・・・・・・（式１２）
【０１４９】
上記（式１２）に従って算出される理想値を、図１８に示す補正処理部１３０の出力である補正画素値：：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'として算出して出力すればよいことになる。
【０１５０】
しかし、実際には、上記（式１２）の右辺のＲｉ，Ｇｉ，Ｂｉは理想値であることから求められないため、ブルーミング量推定部１３１は、近似処理として、撮像素子の出力に相当する補正処理部の入力である低感度画素の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用して理想画素値の推定値を以下の近似式（式１３）に従って算出する。
ブルーミング量推定部１３１は、
Ｒｉ≒Ｒｄ×Ｒ，
Ｇｉ≒Ｇｄ×Ｒ，
Ｂｉ≒Ｂｄ×Ｒ、
・・・・・・（式１３）
上記の近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出する。
【０１５１】
図１８に示すブルーミング量推定部１３１は、補正処理部に対する入力画素値である低感度画素の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用して、上記の近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
さらに、図１８に示す演算部１３２は、撮像素子からの出力に相当する補正処理部に対する入力値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄから、ブルーミング量推定部１３１の算出した各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行する。
【０１５２】
この演算処理の結果として、各入力画素値からブルーミング量を除去した出力値である補正画素値：：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を出力する。
すなわち、以下の算出式（式１４）に従って、補正画素値：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を算出して出力する。
Ｒｂ'≒Ｒｂ−ｂｌｍＲｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｂ'≒Ｇｂ−ｂｌｍＧｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｂ'≒Ｂｂ−ｂｌｍＢｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｒｄ'≒Ｒｄ−ｂｌｍＲｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｄ'≒Ｇｄ−ｂｌｍＧｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｄ'≒Ｂｄ−ｂｌｍＢｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
・・・・・・（式１４）
【０１５３】
図１８に示す補正処理部１３０はこのようにして入力画素値：Ｒｂ、Ｇｂ、Ｂｂ、Ｒｄ、Ｇｄ、Ｂｄに含まれるブルーミング量を推定し、推定したブルーミング量の除去を行い、除去した結果としての画素値を補正画素値：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'として出力する。
【０１５４】
［４−２．数式モデルを利用し、過補正対策を施したブルーミング補正処理例］
次に、図１９を参照して、過補正対策を施したブルーミング補正処理例について説明する。前述の［４−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した補正処理では、図１８に示すブルーミング量推定部２０１が、近似処理として、撮像素子からの出力に相当する補正処理部に対する入力画素値である低感度画素の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用して理想画素値の推定値を以下の近似式に従って算出していた。
Ｒｉ≒Ｒｄ×Ｒ，
Ｇｉ≒Ｇｄ×Ｒ，
Ｂｉ≒Ｂｄ×Ｒ、
【０１５５】
しかし、実際には、撮像素子からの短時間露光画素（低感度画素）の入力画素値であるＲｄ，Ｇｄ，Ｂｄ画素もブルーミングの影響を受けており、これらの画素のブルーミングの影響を考慮すると、多くの場合、以下の関係式が成立する。
Ｒｉ≦Ｒｄ×Ｒ
Ｇｉ≦Ｇｄ×Ｒ
Ｂｂ≦Ｂｄ×Ｒ
【０１５６】
従って、各画素のブルーミング量：ｂｌｍｘｘは、
ｂｌｍｘｘ（Ｒｉ，Ｇｉ，Ｂｉ）≦ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
上記関係式が成立する。
ただし、ｘｘ＝Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄ、
【０１５７】
上記のように、ブルーミング量を推定するための短時間露光画素（低感度画素）の入力画素値自体のブルーミング量を考慮すると、先に説明した［４−１．数式モデルを利用した基本的なブルーミング補正処理例］における補正処理は、過補正を行ってしまう場合がある。
【０１５８】
その対策として、下記のように、入力画素値である短時間露光画素（低感度画素）に基づいて推定するブルーミング量に対して、予め規定した減衰パラメータ：ａｔｔｘｘ：０≦ａｔｔｘｘ≦１を乗算して以下の式（式２１）に従って、補正画素値：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を算出して出力する。
【０１５９】
Ｒｂ'≒Ｒｂ−ａｔｔＲｂ×ｂｌｍＲｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｂ'≒Ｇｂ−ａｔｔＧｂ×ｂｌｍＧｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｂ'≒Ｂｂ−ａｔｔＢｂ×ｂｌｍＢｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｒｄ'≒Ｒｄ−ａｔｔＲｄ×ｂｌｍＲｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｄ'≒Ｇｄ−ａｔｔＧｄ×ｂｌｍＧｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｄ'≒Ｂｄ−ａｔｔＢｄ×ｂｌｍＢｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
・・・・・（式２１）
ただし、
ａｔｔｘｘは減衰パラメータで０≦ａｔｔｘｘ≦１の任意の係数
ｘｘ＝Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄ、
【０１６０】
上記（式２１）において、減衰パラメータ：ａｔｔｘｘは、実際の補正量を抑制する役割を示す。
なお、減衰パラメータは、事前に、特定の光源下の特定の色におけるブルーミング量の推定値と実測値を測定しておき、その差を小さくするように調整することが好ましい。
【０１６１】
図１９に示す補正処理部１３５はこのようにして入力画素値：Ｒｂ、Ｇｂ、Ｂｂ、Ｒｄ、Ｇｄ、Ｂｄに含まれるブルーミング量を推定し、推定したブルーミング量の除去を行い、除去した結果としての画素値を補正画素値：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'として出力する。
【０１６２】
まず、ブルーミング量推定部１３６は、撮像素子からの出力に相当する補正処理部に対する入力画素値である低感度画素の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用して、先に、［４−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０１６３】
次に、図１９に示す乗算部１３７は、ブルーミング量推定部１３１の算出した各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）に対して、
減衰パラメータ：ａｔｔｘｘ、
ただし、
０≦ａｔｔｘｘ≦１、
ｘｘ＝Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄ、
この減衰パラメータを乗算する。
【０１６４】
乗算部１３７の出力は、以下の各値となる。
ａｔｔＲｂ×ｂｌｍＲｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
ａｔｔＧｂ×ｂｌｍＧｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
ａｔｔＢｂ×ｂｌｍＢｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
ａｔｔＲｄ×ｂｌｍＲｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
ａｔｔＧｄ×ｂｌｍＧｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
ａｔｔＢｄ×ｂｌｍＢｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
【０１６５】
次に、図１９に示す演算部１３８は、撮像素子からの出力に相当する補正処理部に対する入力値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄから、乗算部１３７の出力を減算する処理を実行する。
すなわち、以下の演算により、各入力画素値からブルーミング量を除去した出力値である補正画素値：：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を出力する。
【０１６６】
Ｒｂ'≒Ｒｂ−ａｔｔＲｂ×ｂｌｍＲｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｂ'≒Ｇｂ−ａｔｔＧｂ×ｂｌｍＧｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｂ'≒Ｂｂ−ａｔｔＢｂ×ｂｌｍＢｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｒｄ'≒Ｒｄ−ａｔｔＲｄ×ｂｌｍＲｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｄ'≒Ｇｄ−ａｔｔＧｄ×ｂｌｍＧｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｄ'≒Ｂｄ−ａｔｔＢｄ×ｂｌｍＢｄ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
ただし、
ａｔｔｘｘは減衰パラメータで０≦ａｔｔｘｘ≦１の任意の係数
ｘｘ＝Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄ、
【０１６７】
［４−３．数式モデルを利用し、繰り返し補正を行う処理例］
先に説明した処理例では、ブルーミング量の推定値に基づいて、推定したブルーミング量を入力画素値から減算する処理を１回実行して補正画素値を出力する構成としていた。以下に説明する処理は、補正処理結果に対して、さらに補正画素値を用いて繰り返し補正を実行する処理例である。、
【０１６８】
例えば、前述の処理例［４−１］において、補正前の短時間露光画素（低感度画素）であるＲｄは、補正処理によって補正後の画素値Ｒｄ'が得られる。この補正前の画素値：Ｒｄと、補正後の画素値：Ｒｄ'を比較すると、１度、補正を行った補正後の画素値：Ｒｄ'の方が真の値に近いはずである。
【０１６９】
すなわち、下記式が成立する。
｜Ｒｄ−Ｒｉ／Ｒ｜＞｜Ｒｄ'−Ｒｉ／Ｒ｜
これは、Ｒｄのみならず、Ｇｄ，Ｂｄについても同様である。
【０１７０】
そこで、短時間露光画素（低感度画素）の補正後の画素値：Ｒｄ'，Ｇｄ'，Ｂｄ'を利用して、繰り返し、ブルーミング補正量を推定する。
【０１７１】
図２０に示す補正処理部１４０は、２回の繰り返し処理によるブルーミング量の推定に基づく画素値補正を行う構成例であり、図２１に示す補正処理部１５０は、３回の繰り返し処理によるブルーミング量の推定に基づく画素値補正を行う構成例である。
【０１７２】
図２０に示す補正処理部１４０において、第１ブルーミング量推定部１４１は、補正処理部に対する入力画素値である低感度画素の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用して、先に、［ｘ−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０１７３】
次に、演算部１４２は、補正処理部に対する入力値：Ｒｄ，Ｇｄ，Ｂｄから、第１ブルーミング量推定部１３１の算出した各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行して、第１補正画素値Ｒｄ'，Ｇｄ'，Ｂｄ'を算出する。
【０１７４】
さらに、第２ブルーミング量推定部１４３は、第１補正画素値Ｒｄ'，Ｇｄ'，Ｂｄ'を利用して、第１ブルーミング量推定部１４１と同様、先に、［４−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ'（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０１７５】
さらに、図２０に示す演算部１４４は、補正処理部に対する入力値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄから、第２ブルーミング量推定部１４３の算出した各画素対応のブルーミング量：ｂｌｍｘｘ'（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行する。
この演算処理の結果として、各入力画素値からブルーミング量を除去した出力値である補正画素値：：Ｒｂ"、Ｇｂ"、Ｂｂ"、Ｒｄ"、Ｇｄ"、Ｂｄ"を出力する。
【０１７６】
一方、図２１に示す補正処理部１５０において、第１ブルーミング量推定部１５１は、補正処理部に対する入力画素値である低感度画素の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用して、先に、［４−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０１７７】
次に、演算部１５２は、補正処理部に対する入力値：Ｒｄ，Ｇｄ，Ｂｄから、第１ブルーミング量推定部１５１の算出した各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行して、第１補正画素値Ｒｄ'，Ｇｄ'，Ｂｄ'を算出する。
【０１７８】
さらに、第２ブルーミング量推定部１５３は、第１補正画素値Ｒｄ'，Ｇｄ'，Ｂｄ'を利用して、第１ブルーミング量推定部１５１と同様、先に、［４−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ'（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０１７９】
次に、演算部１５４は、補正処理部に対する入力値：Ｒｄ，Ｇｄ，Ｂｄから、第２ブルーミング量推定部１５１の算出した各画素対応のブルーミング量：ｂｌｍｘｘ'（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行して、第２補正画素値Ｒｄ"，Ｇｄ"，Ｂｄ"を算出する。
【０１８０】
さらに、第３ブルーミング量推定部１５５は、第２補正画素値Ｒｄ"，Ｇｄ"，Ｂｄ"を利用して、第１ブルーミング量推定部１５１と同様、先に、［４−１．数式モデルを利用した基本的なブルーミング補正処理例］において説明した近似式（式１３）に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、さらに、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ"（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０１８１】
さらに、図２１に示す演算部１５６は、補正処理部に対する入力値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄから、第３ブルーミング量推定部１５５の算出した各画素対応のブルーミング量：ｂｌｍｘｘ"（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行する。
この演算処理の結果として、各入力画素値からブルーミング量を除去した出力値である補正画素値：：Ｒｂ"'、Ｇｂ"'、Ｂｂ"'、Ｒｄ"'、Ｇｄ"'、Ｂｄ"'を出力する。
【０１８２】
なお、２回、３回のブルーミング量推定の繰り返し処理のみならず、さらに多くの回数のブルーミング量推定処理を実行して補正処理を行う構成としてもよい。
【０１８３】
［４−４．ＬＵＴ等、予め取得したデータに基づく補正処理例］
次に、ルックアップテーブル（ＬＵＴ）など、予め取得したブルーミング補正データに基づく補正処理例について説明する。図１８〜図２１を参照して説明した処理例は、いずれも、入力画素値に基づいてブルーミング量を逐次算出し、算出したブルーミング量を利用した処理例としていた。
【０１８４】
しかし、この逐次算出手法の問題点として、ブルーミングの推定のためにブルーミングの影響を受けた画素値を使用している可能性があるということがある。
そのため、個別に異なるブルーミングの影響を受けた画素の画素値に基づいて、ある１つの算出モデルを利用した１回の演算処理で真の画素値を算出することは困難であると言える。
【０１８５】
しかし、前述した［１．撮像素子の特性の計測処理について］の項目において説明したように、事前計算であれば、
真の画素値から、ブルーミングの影響を受けた画素の画素値
を算出することは可能である。
しかも画素の信号値とブルーミングの影響は単調増加の関係があるため、逆関数が存在することも容易に想像できる。
【０１８６】
そこで、予めブルーミング量を測定し、ブルーミングの影響のない「真の画素値」と「ブルーミングの影響をうけた画素の画素値」との対応関係データを設定したＬＵＴ（ルックアップテーブル）を作成する。
【０１８７】
ＬＵＴ（ルックアップテーブル）を利用したブルーミング補正を実行する補正処理部の構成を図２２に示す。
図２２に示す補正処理部１６０は、撮像素子から、長時間露光画素（高感度画素）の画素値：Ｒｂ，Ｇｂ，Ｂｂと、短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄを入力し、６次元ルックアップテーブル１６１による画素値補正を実行して、補正画素値：Ｒｂ'，Ｇｂ'，Ｂｂ'Ｒｄ'，Ｇｄ'，Ｂｄ'を出力する。
【０１８８】
６次元テーブル１６１は、
ブルーミングの影響をうけた画素の画素値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄと、
ブルーミングの影響のない真の画素値：Ｒｂ'，Ｇｂ'，Ｂｂ'Ｒｄ'，Ｇｄ'，Ｂｄ'との対応関係を保持した６次元のルックアップテーブルである。
この６次元ＬＵＴに記録された対応関係データに従って、入力画素値（＝ブルーミングの影響をうけた画素の画素値）に対する補正画素値（＝ブルーミングの影響のない真の画素値）を取得して、出力する。
【０１８９】
ただし、６次元のＬＵＴは、データ量が膨大になるという問題がある。
この問題点を解決する構成として、この結果を保持しながら軽量化する方法が考えられる。
【０１９０】
図２３は、ＬＵＴを３次元化した構成例である。
図２２に示す補正処理部１６５は、撮像素子から、長時間露光画素（高感度画素）の画素値：Ｒｂ，Ｇｂ，Ｂｂと、短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄを入力する。
長時間露光画素（高感度画素）の画素値：Ｒｂ，Ｇｂ，Ｂｂについては、第１−３次元ＬＵＴ１６６を利用して補正値の取得を実行して、補正画素値：Ｒｂ'，Ｇｂ'，Ｂｂを出力する。
また、短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄについては、第２−３次元ＬＵＴ１６７を利用して補正値の取得を実行して、補正画素値：Ｒｄ'，Ｇｄ'，Ｂｄを出力する。
【０１９１】
第１−３次元テーブル１６６は、
ブルーミングの影響をうけた長時間露光画素（高感度画素）の画素値：Ｒｂ，Ｇｂ，Ｂｂと、
ブルーミングの影響のない真の長時間露光画素（高感度画素）の画素値：Ｒｂ'，Ｇｂ'，Ｂｂ'との対応関係を保持した３次元のルックアップテーブルである。
また、第２−３次元テーブル１６７は、
ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄと、
ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｒｄ'，Ｇｄ'，Ｂｄ'との対応関係を保持した３次元のルックアップテーブルである。
【０１９２】
これら２つの３次元ＬＵＴに記録された対応関係データに従って、入力画素値（＝ブルーミングの影響をうけた画素の画素値）に対する補正画素値（＝ブルーミングの影響のない真の画素値）を算出して、出力する。
【０１９３】
また、短時間露光画素（低感度画素）に対応する３次元ルックアップテーブルを利用した補正処理部の構成として、図２４に示す補正処理部１７０の構成がある。
図２４に示す補正処理部１７０は、先に図１８を参照して説明した補正処理部１３０におけるブルーミング量推定部１３１を３次元ＬＵＴ１７１に置き換えた構成である。
【０１９４】
ここで、３次元ＬＵＴ１７１は、
ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄと、
各画素のブルーミング量との対応関係データを保持したテーブルである。
３次元ＬＵＴ１７１の出力は、補正処理部に対する入力画素値である、短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄに対応してＬＵＴに従って求められる各画素のブルーミング量：ＢｌｍＲｂ，ＢｌｍＧｂ，ＢｌｍＢｂ，ＢｌｍＲｄ，ＢｌｍＧｄ，ＢｌｍＢｄである。
【０１９５】
演算部１７２は、補正処理部に対する入力値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄから、３次元ＬＵＴ１７１の出力である各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行して、補正画素値：：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を出力する。
【０１９６】
さらに、図２５に示す補正処理部１７３のように、６つの１次元ＬＵＴを利用した構成としてもよい。
図２５に示す１次元ＬＵＴは、以下のテーブル（Ｔ１）〜（Ｔ６）によって構成される。
（Ｔ１）ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｒｂと、ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｒｂ'との対応関係を保持した１次元のルックアップテーブル。
（Ｔ２）ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｇｂと、ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｇｂ'との対応関係を保持した１次元のルックアップテーブル。
（Ｔ３）ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｂｂと、ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｂｂ'との対応関係を保持した１次元のルックアップテーブル。
（Ｔ４）ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｒｄと、ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｒｄ'との対応関係を保持した１次元のルックアップテーブル。
（Ｔ５）ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｇｄと、ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｇｄ'との対応関係を保持した１次元のルックアップテーブル。
（Ｔ６）ブルーミングの影響をうけた短時間露光画素（低感度画素）の画素値：Ｂｄと、ブルーミングの影響のない真の短時間露光画素（低感度画素）の画素値：Ｂｄ'との対応関係を保持した１次元のルックアップテーブル。
これらの６つのテーブルである。
【０１９７】
さらに、１次元ルックアップテーブルを、各種の画素単位で、
ブルーミングの影響を受けた画素の画素値と、ブルーミング量との対応関係データとして設定すれば、図２６に示す設定とした補正処理部１７４を構成することができる。
図２６に示す補正処理部１７４は、Ｒｂのみの処理構成として示しているがその他の画素についても同様の構成によって実現される。
補正処理部に対する入力画素値Ｒｂは、１次元ＬＵＴ１７６に入力され、１次元ＬＵＴ１７５から、入力画素値Ｒｂに対応するブルーミング量ＢｌｍＲｂが取得される。
【０１９８】
１次元ＬＵＴ１７５から出力されるブルーミング量ＢｌｍＲｂは、演算部１７６において、補正処理部に対する入力画素値：Ｒｂから減算され、補正画素値Ｒｂ'を出力する。すなわち、
Ｒｂ'＝Ｒｂ−ＢｒｍＲｂ
上記処理によってブルーミング量を除去した補正画素値を出力する。
【０１９９】
さらに、１次元ルックアップテーブルを、各種の画素単位で、
ブルーミングの影響を受けた画素の画素値と、
ブルーミングの影響を受けた画素の画素値とブルーミングの影響を受けない真の画素値との比率：ｋ、
これらの対応関係データを設定した構成とすれば、図２７に示す補正処理部１７７を構成することができる。
【０２００】
具体的には、例えば、入力画素値をＲｂとした場合、１次元ルックアップテーブルは、
ブルーミングの影響を受けた画素の画素値：Ｒｂと、
ブルーミングの影響を受けた画素の画素値：Ｒｂとブルーミングの影響を受けない真の画素値：（Ｒｂ−ｂｌｍＲｂ）との比率：ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂ
これらの対応関係データを格納する。
Ｒｂ以外の画素についても同様の関係データを設定した１次元ＬＵＴを作成して利用する。
【０２０１】
図２７に示す補正処理部１７７は、このような１次元ＬＵＴ１７８を用いた構成である。なお、図２７は、Ｒｂのみの処理構成として示しているがその他の画素についても同様の構成によって実現される。
補正処理部に対する入力画素値Ｒｂに基づいて、１次元ＬＵＴ１７８からは、ブルーミングの影響を受けた画素の画素値：Ｒｂとブルーミングの影響を受けない真の画素値：（Ｒｂ−ｂｌｍＲｂ）との比率：Ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂが出力される。
【０２０２】
１次元ＬＵＴ１７８から出力される比率：ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂは、乗算部１７９において、補正処理部に対する入力画素値：Ｒｂに乗算され、補正画素値Ｒｂ'を出力する。すなわち、
Ｒｂ'＝Ｒｂ×（（Ｒｂ−ｂｌｍＲｂ）／Ｒｂ）
上記処理によってブルーミング量を除去した補正画素値を出力する。
【０２０３】
図２８は、ある短時間露光画素の明るさが変化したときの、実測値（ブルーミングの影響を受けた画素値）と理想値（真の画素値）の変化を表したグラフである。
図２９は、図２８に示す特性に基づいて、図２７に示す１次元ＬＵＴで使用する対応データの関係を表した図である。
すなわち、
画素値：ブルーミングの影響を受けた画素の画素値：ｘｘと、
ブルーミング補正倍率：ブルーミングの影響を受けた画素の画素値：ｘｘとブルーミングの影響を受けない真の画素値：（ｘｘ−ｂｌｍｘｘ）との比率ｋ＝（ｘｘ−ｂｌｍｘｘ）／ｘｘ
これらの対応関係データを示したグラフである。
ただし、ｘｘ＝Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ．Ｂｄである。
【０２０４】
図２９に示すように、
縦軸に示すブルーミング補正倍率は、最大値＝１であり、横軸に示す画素値（入力画素値）に応じて１以下の値を推移する。
領域は、大きく分けて、画素値が小〜大（右方向）に向けて、以下の３種類に区分される。
ブルーミングの発生していない画素値領域、
一部の画素からブルーミングが発生している領域、
すべての高感度画素が飽和している領域、
【０２０５】
ブルーミングの発生していない画素値領域では、
画素Ｒｂを例として説明すると、
ブルーミング補正倍率：ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂ＝１
であり、図２７に示す補正処理部１７７の構成において出力画素値Ｒｂ'は、入力画素値Ｒｂと同一に設定される。
【０２０６】
一部の画素からブルーミングが発生している領域では、
ブルーミング補正倍率：ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂ＜１
であり、図２７に示す補正処理部１７７の構成において出力画素値Ｒｂ'は、入力画素値Ｒｂ以下の画素値に設定される。
【０２０７】
すべての高感度画素が飽和している領域では、
ブルーミング補正倍率：ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂ＜１
であり、図２７に示す補正処理部１７７の構成において出力画素値Ｒｂ'は、入力画素値Ｒｂ以下の画素値に設定される。この場合、周囲の隣接高感度画素からのブルーミングの発生に基づくブルーミング量に基づいて倍率が算出されることになる。
【０２０８】
図２９に示す対応データ（ＬＵＴ）を、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ．Ｂｄの各々について生成し、各入力画素の種類に応じて利用するＬＵＴを選択して利用する。
この処理により、各入力画素値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ．Ｂｄに基づいてブルーミング量を除去した補正画素値を算出して出力することができる。
【０２０９】
なお、図２７を参照して説明した補正処理部１７７では、１次元ＬＵＴ１７８として、
ブルーミングの影響を受けた画素の画素値：Ｒｂと、
ブルーミングの影響を受けた画素の画素値：Ｒｂとブルーミングの影響を受けない真の画素値：（Ｒｂ−ｂｌｍＲｂ）との比率Ｋ＝（Ｒｂ−ｂｌｍＲｂ）／Ｒｂ
これらの対応関係データを格納した例を説明した。
具体的には、図２９に示す対応関係データである。
【０２１０】
この図２９に示す対応関係データは、例えば、一部の画素からブルーミングが発生している領域では、複雑な折れ線または曲線として設定されるため、ＬＵＴとして構成するとデータ量が増大してしまう。
【０２１１】
そこで、図２９に示す関係データを図３０に示すような単純な折れ線データとした近似処理を実行し、この近似結果を反映させる処理を行う構成としてもよい。
具体的には、例えば図３１に示すような倍率近似部１８１を有する補正処理部１８０を構成することができる。
【０２１２】
図３１に示す補正処理部１８０は、先に図２７を参照して説明した補正処理部１７７の１次元ＬＵＴ１７８の代わりに倍率近似部１８１を設定した構成である。
倍率近似部１８１は、図３０に示すような単純な折れ線データに従って、入力画素の画素値に応じたブルーミング補正倍率を出力する。
具体的には、例えば、入力画素値が図３０に示す、
領域ａでは，ブルーミング補正倍率＝１、
領域ｂでは、図３０に示す領域ｂの近似直線に従ったブルーミング補正倍率（１〜ｐ）、
領域ｃでは、ブルーミング補正倍率＝ｐ、
これらの倍率を出力する。
乗算部１８２は、この倍率を入力画素値に乗算して補正画素値Ｒｂ'を出力する。
このような構成とすることで、ハードウェア構成を簡略化することが可能となる。
【０２１３】
同様に、先に図２３を参照して説明した３次元ＬＵＴを用いた構成についても、近似データを用いた補正部を構成することが可能である。
図３２を参照して、この構成例について説明する。
【０２１４】
図３２に示す補正処理部１８５は、輝度生成部１８６、マトリクス係数生成部１９７、マトリクス処理部１８８を有する。
輝度生成部１８６では、補正処理部に対する入力画素値である短時間眼露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄから輝度情報：Ｌｄを生成する。
例えば、下記のような加重平均を用いる。
Ｌｄ＝（Ｃｒｄ×Ｒｄ＋Ｃｇｄ×Ｇｄ＋Ｃｂｄ×Ｂｄ）／（Ｃｒｄ＋Ｃｇｄ＋Ｃｂｄ）
ただし、Ｃｒｄ，Ｃｇｄ，Ｃｂｄは任意の係数である。
【０２１５】
マトリクス係数生成部１８７では、輝度生成部１８６の生成した輝度Ｌｄに依存する係数：ａ（Ｌｄ），ｂ（Ｌｄ），…，ｉ（Ｌｄ）を生成して、マトリクス処理部１８８に出力する。
【０２１６】
マトリクス処理部１８８では、マトリクス係数生成部１８７の生成した係数：ａ（Ｌｄ），ｂ（Ｌｄ），…，ｉ（Ｌｄ）を用いて、入力画素値：Ｒｄ，Ｇｄ．Ｂｄのマトリクス演算を実行して補正画素値：Ｒｄ'，Ｇｄ'，Ｂｄ'を生成して出力する。
マトリクス処理部１８８の実行するマトリクス演算は、例えば以下の（式９）に示す演算である。
【０２１７】
【数９】
・・・（式９）
【０２１８】
なお、上記のマトリクス演算は、輝度生成部１８６の生成する輝度情報：Ｌｄが固定値の場合、通常のセンサにおける混色の問題を補正するリニアマトリクスと呼ばれる処理と同様である。すなわち、ブルーミングの問題をリニアマトリクス処理の拡張処理として補正することができる。
【０２１９】
図３３は、ある画素の、短時間露光画素（低感度画素）：Ｒｄ，Ｇｄ，Ｂｄの明るさ（輝度）と画素出力値の変化を示している。
点線が理想特性で、実線がブルーミングの影響を受けた実特性である。
明るさが小さい所（低輝度領域）では、高感度画素の飽和が発生しておらず、ブルーミングが起こっていないため、理想特性と実特性は同じであるが、明るくなるにつれて、すなわち高輝度領域に進むに従って、理想特性と実特性のずれが大きくなる。
【０２２０】
上記のマトリクス処理による補正方法では、明るさが増すに従って混色を補正する係数を大きくすることによってブルーミングを補正しようとするものである。
【０２２１】
［４−５．異なる補正手法の組み合わせによるブルーミング補正処理について］
これまでの説明において、
４−１．数式モデルを利用した基本的なブルーミング補正処理例
４−２．数式モデルを利用し、過補正対策を施したブルーミング補正処理例
４−３．数式モデルを利用し、繰り返し補正を行う処理例
４−４．ＬＵＴ等、予め取得したデータに基づく補正処理例
これらのブルーミング補正処理例について説明してきた。
【０２２２】
これらの各補正処理のうち、（４−２）〜（４−４）の各処理例は、数式モデルを利用した手法であり、最終的には理想特性に近づけることが可能なものの、一度の演算で真の値に近づけるのが難しいといえる。
一方で（４−４）のＬＵＴ等、予め取得したデータに基づく補正処理は、実測値と理想特性の対応関係を事前に取得することによって、１度で理想特性に補正する手法である。しかしながらＬＵＴの実装はコストがかかり、ＬＵＴを数式近似した場合には、補正誤差が残ってしまう。
【０２２３】
数式モデルに基づく補正と、予め取得したデータに基づく補正の両方を組み合わせることで、各処理の欠点を補い、各処理の利点を利用した構成が実現可能である。
例えば１つの組み合わせ構成例を、図３４に示す。
【０２２４】
図３４に示す補正処理部１９０は、先に、図３１を参照して説明した倍率近似部をと乗算部からなる演算部１９１と、ブルーミング量推定部１９２と、演算部１９３を有する。
【０２２５】
演算部１９１は、先に、図３１を参照して説明した処理と同様、短時間露光画素（低感度画素）の各画素値：Ｒｄ，Ｇｄ，Ｂｄを入力して、図３０に示す近似直線に応じたブルーミング補正倍率に基づく補正画素値を生成してブルーミング量推定部１９２に入力する。
【０２２６】
ブルーミング量推定部１９２は、この補正画素値に基づいて、各画素：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄに対応するブルーミング量：Ｂｌｍｒｂ，ＢｌｍＧｂ，ＢｌｍＢｂ，ＢｌｍＲｄ，ＢｌｍＧｄ，ＢｌｍＢｄを生成して演算部１９３に出力する。
【０２２７】
演算部１９３は、入力画素値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄの各々について、ブルーミング量推定部１９２から出力されるブルーミング量：Ｂｌｍｒｂ，ＢｌｍＧｂ，ＢｌｍＢｂ，ＢｌｍＲｄ，ＢｌｍＧｄ，ＢｌｍＢｄを減算する演算処理を実行して、ブルーミング量を除去した補正画素値：Ｒｂ'、Ｇｂ'、Ｂｂ'、Ｒｄ'、Ｇｄ'、Ｂｄ'を出力する。
【０２２８】
この補正処理部１９０は、演算部１９１では、ＬＵＴ等の既算出データに基づく補正値を算出し、この補正値を利用して、後段のブルーミング量推定部において、数式モデルを適用したブルーミング量の推定を実行して、推定したブルーミング量を入力画素値から減算して補正画素値を生成して出力する構成である。
すなわち、ＬＵＴ等の既算出データに基づく補正値によって、誤差を持ちながらも理想値に近い特性に収束させ、その後、数式モデルを利用したブルーミング量を算出して、より正確な理想特性に収束させる補正値を生成して出力する構成である。
【０２２９】
［４−６．動被写体やエッジによる過補正の対策を施した補正処理例］
次に、動被写体やエッジによる過補正の対策を施した補正処理例について説明する。
これまでに説明した補正方法は、画像が平坦で、動きがないことを想定してモデル化してきた。
しかしながら、実際には画像の画像には、様々な被写体があり、エッジのある被写体や、動きのある被写体が含まれる。
【０２３０】
これまでに説明してきたブルーミング補正処理例は、ブルーミング量の推定のために短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄを利用している。従って、画像のエッジや動被写体の影響により以下のような問題が発生することがある。
低感度画素の画素値が高感度画素の画素値よりも相対的に大きな値になると、ブルーミング補正量を大きめに見積もってしまうことよる過補正が発生する。
高感度画素の画素値が低感度画素の画素値よりも相対的に大きな値になると、ブルーミング補正量を小さめに見積もってしまうことによる補正残りが発生する。
このような問題が発生する場合がある。
【０２３１】
この問題の対策例について、図３５を参照して説明する。
先に、図１８を参照して説明した［４−１．数式モデルを利用した基本的なブルーミング補正処理例］においては、
長時間露光画素（高感度画素）：Ｒｂ，Ｇｂ，Ｂｂの補正画素値：Ｒｂ'，Ｇｂ'，Ｂｂ'の算出は以下の処理によって行うものとして説明した。
Ｒｂ'＝Ｒｂ−ｂｌｍＲｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｂ'＝Ｇｂ−ｂｌｍＧｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｂ'＝Ｂｂ−ｂｌｍＢｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
上記のように高感度画素：Ｒｂ，Ｇｂ，Ｂｂの補正値は、低感度画素：Ｒｄ，Ｇｄ，Ｂｄの画素値を利用して算出していた。
【０２３２】
しかし、動被写体やエッジの影響により、低感度画素の画素値が高感度画素の画素値よりも相対的に大きくなってしまう場合、高感度画素は飽和していないためブルーミングを発生していないにもかかわらず、上記の補正画素値算出処理に従うと、低感度画素の画素値からの推定処理によって、高感度画素にブルーミングによる画素値変化があるとみなされ、実際はブルーミングの影響の無い高感度画素に対して、上記の式に従った補正をかけてしまうという過補正が起こりうる。
【０２３３】
このような高感度画素に対する過補正を防止する構成を持つ補正処理部の構成例を図３５に示す。
図３５に示す補正処理部１９５は、図１８に示す補正処理部のブルーミング量推定部の後段に過補正対策部１９７を設けた構成である。
【０２３４】
図３５に示す補正処理部１９５は、撮像素子から長時間露光画素（高感度画素）の画素値：Ｒｂ，Ｇｂ，Ｂｂ，短時間露光画素（低感度画素）の画素値：Ｒｄ，Ｇｄ，Ｂｄの各画素値を入力する。
【０２３５】
ブルーミング量推定部１９６は、先に図１８を参照して説明したブルーミング量推定部１３１と同様の処理を実行する。すなわち、
ブルーミング量推定部１９６は、
Ｒｉ≒Ｒｄ×Ｒ，
Ｇｉ≒Ｇｄ×Ｒ，
Ｂｉ≒Ｂｄ×Ｒ、
上記の近似式に従って、理想画素値：Ｒｉ，Ｇｉ，Ｂｉの推定値を算出し、前述した（式Ａ）、（式Ｂ）に従って、各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を算出して、この算出したブルーミング量を過補正対策部１９７に出力する。なお、ｘｘは、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄである。
【０２３６】
過補正対策部１９７は、ブルーミング量推定部１９６から各画素対応のブルーミング量を入力し、さらに、補正処理部に対する入力画素値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄを入力して、ブルーミング量推定部１９６の算出したブルーミング量の補正を行う。
【０２３７】
過補正対策部１９７は、予め設定したしきい値（Ｔｈ）と入力画素の画素値とを比較して、演算部に出力するブルーミング量を補正し、補正したブルーミング量：Ｂｌｍ'ｘｘを生成して演算部１９８に出力する。
【０２３８】
具体的には、例えば、以下のような処理を実行する。Ｒｂを例として説明するが
他の画素についても同様に処理を行う。
・Ｒｂ＜Ｔｈの場合、
補正ブルーミング量：Ｂｌｍ'Ｒｂ＝０、
とする。
・Ｒｂ≧Ｔｈの場合、
補正ブルーミング量：Ｂｌｍ'Ｒｂ＝ＢｌｍＲｂ、
とする。
【０２３９】
すなわち、補正処理部に対する入力画素値がしきい値（Ｔｈ）より小さい場合は、ブルーミング量推定部１９６の算出したブルーミング量を０に補正して演算部１９８に出力する。
また、補正処理部に対する入力画素値がしきい値（Ｔｈ）以上である場合は、ブルーミング量推定部１９６の算出したブルーミング量をそのまま演算部１９８に出力する。
【０２４０】
図３５に示す演算部１９８は、補正処理部に対する入力値：Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄから、ブルーミング量推定部１３１の算出した各画素対応のブルーミング量：ｂｌｍｘｘ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）を減算する処理を実行する。
【０２４１】
なお、しきい値（Ｔｈ）は、画素の飽和値レベルに設定する。この処理によって、例えば、補正処理部に対する入力画素の画素値が飽和していない場合、その色画素からのブルーミングは発生していないとの判定に基づく過補正が防止される。
【０２４２】
なお、上記処理は例えばブルーミング補正対象となる注目画素が動きのある画像領域である場合やエッジ領域である場合にブルーミング量を０にセットする処理として行われる。
【０２４３】
この処理のため、例えば、補正処理部１９５に、注目画素が動き領域であるか否かを示す動き情報、エッジ領域であるか否かを示すエッジ情報を入力して、これらの情報に応じて処理を切り替える構成としてもよい。なお、これらの構成を備えたブルーミング補正処理部の構成例については、図３８を参照して後段で説明する。
【０２４４】
なお、先に図１８を参照して説明した補正画素値の算出は、前述のように、以下の補正画素値算出式に従って行われていた。
Ｒｂ'≒Ｒｂ−ｂｌｍＲｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｇｂ'≒Ｇｂ−ｂｌｍＧｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
Ｂｂ'≒Ｂｂ−ｂｌｍＢｂ（Ｒｄ×Ｒ，Ｇｄ×Ｒ，Ｂｄ×Ｒ）
【０２４５】
上記式の適用において、補正処理部に対する入力画素値である高感度画素の画素値：Ｒｂ，Ｇｂ，Ｂｂが飽和している場合がある。
高感度画素が飽和して最大値を一定に出力していても、低感度画素Ｒｄ，Ｇｄ，Ｂｄは大きくなり、上記の補正画素値算出式に含まれるブルーミング量：ｂｌｍＲｂ，ｂｌｍＧｂ，ｂｌｍＢｂの値は大きくなる。
【０２４６】
従って、ブルーミング補正した結果の補正画素値がどんどん小さくなるという問題が発生することがある。
具体例について図３６（Ａ）を参照して説明する。
図３６（Ａ）は、横軸が被写体の明るさ、縦軸が画素の出力信号値（画素値）を示している。
実線がブルーミング補正を実行した場合の出力信号であるブルーミング補正信号、
細かい点線がブルーミング補正を実行しない場合の撮像素子からの出力であるセンサ信号、
粗い点線が理想信号を示している。
【０２４７】
前述のように、ブルーミング補正を行うと、前記の補正画素値算出式に含まれるブルーミング量の分、信号値が減少することになる。
短時間露光画素（低感度画素）の画素値は、被写体明るさが高くなると画素値が大きくなり、その結果として算出されるブルーミング量も大きくなる。
この結果、例えば、図３６（Ａ）に示すセンサ出力信号の飽和点を超えた明るさ領域において、明るさが増すほどブルーミング補正信号は、低下してしまうことになる。
【０２４８】
これは、被写体明るさを反映しない結果となる。このような事態の発生を防止するための処置として、飽和を検出した時には補正をやめるという設定としてもよい。
飽和の検出は、例えば、以下の２通りの方法（ａ），（ｂ）のいずれかを採用可能である。
（ａ）補正処理部に対する入力画素値である高感度画素の画素値を使用して、高感度画素の飽和を検出する方法。具体的には、予め設定した閾値（Ｔｈ１）と高感度画素の入力画素値、例えばＲｂとの比較を以下のように行う。
・Ｒｂ＞Ｔｈ
上記式を満足する場合は飽和していると判定し、ブルーミング補正を行わず、上記式を満足しない場合は飽和していないと判定してブルーミング補正を実行する。
【０２４９】
（ｂ）補正処理部に対する入力画素値である低感度画素の画素値を使用して、高感度画素の飽和を検出する方法。具体的には、予め設定した閾値（Ｔｈ２）と低感度画素の入力画素値、例えばＲｄとの比較を以下のように行う。
・Ｒｄ＞Ｔｈ
上記式を満足する場合は飽和していると判定し、ブルーミング補正を行わず、上記式を満足しない場合は飽和していないと判定してブルーミング補正を実行する。
【０２５０】
図３６（Ｂ）は低感度画素を利用して高感度画素の飽和を検出し、検出部の補正を行わない場合の例を示しており、実線で示すブルーミング補正信号が、理想信号の飽和レベルを超えた位置において、低下することなく一定のレベルを保持した信号値として出力される。
【０２５１】
［５．撮像装置の構成例］
次に、上述したブルーミング補正処理を実行する撮像装置の全体構成例について説明する。
【０２５２】
［５−１．撮像装置の構成例１］
図３７は、上述したブルーミング補正処理を実行する撮像装置２００の構成例を示す図である。
撮像装置２００は、レンズ２０１を介して被写体光を入力し、撮像素子（イメージセンサ）２０２に被写体光を入力する。
撮像素子（イメージセンサ）２０２は、例えば、先に図８を参照して説明したように画素毎に異なる露光時間となるような露光制御可能な撮像素子である。この露光制御信号は制御部２０５から入力される。なお、画素領域単位の露光制御処理については、例えば前述の特許文献５に記載があり、この記載の手法が適用可能である。
【０２５３】
制御部２０５は、撮像装置２００の全体的な制御を実行する。制御部２０５はＣＰＵ等のプログラム実行機能を備え、例えば図示しない記憶部に格納されたプログラムに従って各構成部の制御を実行し、画像撮影、画像補正等、撮像装置において実行するデータ処理の制御を行う。
【０２５４】
なお。長時間露光と短時間露光の設定による画像撮影処理は、例えば先に図９を参照して説明した処理シーケンスに従って実行される。
先に図９を参照して説明したように、露光時間は、画素のリセットと読み出しのタイミングによって決まる。
読み出しタイミングを一定とすると、
・リセットタイミングをより早い時刻にすることにより露光時間は長くなり、
・リセットタイミングをより遅い時刻にすることにより露光時間は短くなる。
画素毎（あるいは行毎、など）に上記制御を行うことにより、例えば図８に示すような、様々なパターンの感度配列を実現することができる。
図３７に示すように、撮像素子２０２における光電変換処理によって生成される各画素の信号はセンサ画像２０３としてブルーミング補正処理部２０４に入力される。
ブルーミング補正処理部２０３は、上述したブルーミング補正処理をほ実行する。
【０２５５】
ブルーミング補正処理部２０３の全体構成例について図３８を参照して説明する。
ブルーミング補正処理部２０４は、信号生成部２５１、動き検出部２５２、エッジ検出部２５３、補正処理部２５４を有する。
【０２５６】
信号生成部２５１は、補正処理部２５４において補正対象とする１つの注目画素の画素位置に対応する６つの画素値、すなわち、
長時間露光画素（高感度画素）のＲＧＢ各画素値：Ｒｂ，Ｇｂ，Ｂｂ、
短時間露光画素（低感度画素）のＲＧＢ各画素値：Ｒｄ，Ｇｄ，Ｂｄ、
これらの各画素値を取得または生成する。
【０２５７】
具体的には注目画素の周辺画素から各色・感度の画素値を取得する。
Ｒｂ：Ｒｅｄの長時間露光画素（高感度画素）の画素値
Ｇｂ：Ｇｒｅｅｎの長時間露光画素（高感度画素）の画素値
Ｂｂ：Ｂｌｕｅの長時間露光画素（高感度画素）の画素値
Ｒｄ：Ｒｅｄの短時間露光画素（低感度画素）の画素値
Ｇｄ：Ｇｒｅｅｎの短時間露光画素（低感度画素）の画素値
Ｂｄ：Ｂｌｕｅの短時間露光画素（低感度画素）の画素値
である。
【０２５８】
信号生成部２５１における信号生成処理例について、周辺画素を用いて線形補間によって画素値を生成する手法について図３９を参照して説明する。
図３９は、ブルーミング補正処理の実行対象とする注目画素を図３９に示す５×５画素の中央のＲｂ３３としたときの処理例について説明する図である。
【０２５９】
信号生成部２５１は、図３９に示すように注目画素Ｒｂ３３を中心とした５×５画素を参照画素領域として設定し、Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄを以下の式（式３１）に従って算出する。
Ｒｂ＝（ｃ３１×Ｒｂ３１＋ｃ３３×Ｒｂ３３＋ｃ３５×Ｒｂ３５）／（ｃ３１＋ｃ３３＋ｃ３５）
Ｇｂ＝（ｃ３２×Ｇｂ３２＋ｃ３４×Ｇｂ３４＋ｃ４１×Ｇｂ４１＋ｃ４３×Ｇｂ４３＋ｃ４５×Ｇｂ４５）／（ｃ３２＋ｃ３４＋ｃ４１＋ｃ４３＋ｃ４５）
Ｂｂ＝（ｃ４１×Ｂｂ４２＋ｃ４４×Ｂｂ４４）／（ｃ４１＋ｃ４４）
Ｒｄ＝（ｃ１１×Ｒｄ１１＋ｃ１３×Ｒｄ１３＋ｃ１５×Ｒｄ１５＋ｃ５１×Ｒｄ５１＋ｃ５３×Ｒｄ５３＋ｃ５５×Ｒｄ５５）／（ｃ１１＋ｃ１３＋ｃ１５＋ｃ５１＋ｃ５３＋ｃ５５）
Ｇｄ＝（ｃ１２×Ｇｄ１２＋ｃ１４×Ｇｄ１４＋ｃ２１×Ｇｄ２１＋ｃ２３×Ｇｄ２３＋ｃ２５×Ｇｄ２５＋ｃ５２×Ｇｄ５２＋ｃ５４×Ｇｄ５４）／（ｃ１２＋ｃ１４＋ｃ２１＋ｃ２３＋ｃ２５＋ｃ５２＋ｃ５４）
Ｂｄ＝（ｃ２２×Ｂｄ２２＋ｃ２４×Ｂｄ２４）／（ｃ２２＋ｃ２４）
・・・・・・（式３１）
ただし、ｃ１１〜ｃ５５はフィルタ係数
【０２６０】
上記式（式３１）は、注目画素を中心とした５×５画素領域に含まれるＲｂ，Ｇｂ，Ｂｂ．Ｒｄ，Ｇｄ，Ｂｄの各画素を参照画素として適用し、これらの参照画素に基づいて、注目画素位置の各画素値を線形補間処理によって算出する処理を基本とした処理である。なお、フィルタ係数は注目画素から参照画素間の距離や、画素値勾配に応じて決定するといった構成が可能である。
【０２６１】
信号生成部２５１の生成した注目画素位置におけるＲｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄの各画素値は、補正処理部２５４に入力される。
【０２６２】
補正処理部２５４は、上述のブルーミング補正、すなわち、項目［ｘ．ブルーミング補正処理の実施例］において説明した以下のブルーミング補正処理、すなわち、
４−１．数式モデルを利用した基本的なブルーミング補正処理例
４−２．数式モデルを利用し、過補正対策を施したブルーミング補正処理例
４−３．数式モデルを利用し、繰り返し補正を行う処理例
４−４．ＬＵＴ等、予め取得したデータに基づく補正処理例
４−５．異なる補正手法の組み合わせによるブルーミング補正処理について
４−６．動被写体やエッジによる過補正の対策を施した補正処理例
これらのいずれかの処理態様に従ったブルーミング補正処理を実行する。
【０２６３】
動き検出部２５２、エッジ検出部２５３は、上記の［４−６．動被写体やエッジによる過補正の対策を施した補正処理例］に対応する処理を行う場合に利用される。
前述したように、画像のエッジ部分や動被写体があると、ブルーミング過剰に補正したり、補正不足になることがある。そうした副作用を最小限に留めるために、動き検出部２５２、エッジ検出部２５３において検出を行い、これらの検出情報が補正処理部２５４に提供される。
【０２６４】
動き検出部２５２は、画像のその領域が動被写体であるかどうかを検出する。
撮像素子２０２から入力するセンサ画像２０３に含まれるＧ画素の低感度画像Ｇｄ，高感度画像Ｇｂ，露光時間の比率をＲとすると、理想的には次の関係が成り立つ。
Ｇｂ＝Ｇｄ×Ｒ、
ただしＲは、長時間露光画素と短時間露光画素との露光比（Ｔｂ／Ｔｄ）である。
【０２６５】
そこで、この前提を利用して、以下の式によって低感度画像Ｇｄと高感度画像Ｇｂとの差分（Ｍｄｅｔ０）を算出して、差分が所定のしきい値以上である場合に動きありと判定する動き検出方法が適用できる。
Ｍｄｅｔ０＝｜Ｇｂ−Ｇｄ×Ｒ｜
【０２６６】
あるいは、低感度画像Ｇｄと高感度画像Ｇｂとの比（Ｍｄｅｔ１）を以下の式に従って算出して、比（Ｍｄｅｔ１）が所定のしきい値以上である場合に動きありと判定する動き検出方法が適用できる。
ＧＭａｘ＝Ｍａｘ（Ｇｂ，Ｇｄ×Ｒ）
ＧＭｉｎ＝Ｍｉｎ（Ｇｂ，Ｇｄ×Ｒ）
Ｍｄｅｔ１＝ＧＭａｘ／ＧＭｉｎ
【０２６７】
Ｍａｘ（Ａ，Ｂ）はＡとＢのうち大きいものを返す関数を意味し、Ｍｉｎ（Ａ，Ｂ）はＡとＢのうち小さいものを返す関数を意味する。上記の差分（Ｍｄｅｔ０）や比（Ｍｄｅ１）が、ノイズやブルーミングの影響を考慮した上で、十分に大きい値である場合、画像に動きがあったと判定し、動き検出情報を補正処理部２５４に提供する。
【０２６８】
エッジ検出部２５３は、ブルーミング補正対象となる注目画素領域がエッジ領域であるかどうかを検出する。
例えば、図３９に示す注目画素Ｒｂ３３についてのエッジ判定処理は、周囲の画素値を用いて以下のようにエッジ判定値（Ｅｄｅｔ）を算出する。
Ｅｄｅｔ＝｜Ｇｂ３２-Ｇｂ３４｜＋｜Ｇｂ３２-Ｇｂ４３｜＋｜Ｇｂ４３-Ｇｂ３４｜＋｜Ｇｂ１２-Ｇｄ２３｜＋｜Ｇｄ２３-Ｇｄ１４｜
上記の様に近隣の同色画素の差分絶対値を足し合わせることによってエッジ判定値（Ｅｄｅｔ）を算出する。
【０２６９】
エッジ判定値（Ｅｄｅｔ）の値がノイズを考慮した値よりも、十分に大きい場合、そこにエッジがあると判定する。
このエッジ判定情報は、補正処理部２５４に提供される。
【０２７０】
補正処理部２５４は、処理対象となる注目画素に対応する動き検出部２５２からの情報が動きありの情報である場合、または、エッジ検出部２５３からの情報がエッジ領域であるとの情報である場合は、上述の［４−６．動被写体やエッジによる過補正の対策を施した補正処理例］に従ったブルーミング補正を実行する。
【０２７１】
図３７に戻り、撮像装置２００の構成と処理についての説明を続ける。
ブルーミング補正処理部２０４は、上述したように、項目［ｘ．ブルーミング補正処理の実施例］において説明した以下のブルーミング補正処理、すなわち、
４−１．数式モデルを利用した基本的なブルーミング補正処理例
４−２．数式モデルを利用し、過補正対策を施したブルーミング補正処理例
４−３．数式モデルを利用し、繰り返し補正を行う処理例
４−４．ＬＵＴ等、予め取得したデータに基づく補正処理例
４−５．異なる補正手法の組み合わせによるブルーミング補正処理について
４−６．動被写体やエッジによる過補正の対策を施した補正処理例
これらのいずれかの処理態様に従ったブルーミング補正処理を実行する。
【０２７２】
このブルーミング補正結果としてブルーミング補正画像２０６を生成してＨＤＲ（広ダイナミックレンジ画像）合成処理部２０７に出力する。
ＨＤＲ（広ダイナミックレンジ画像）合成処理部２０７は、画像に含まれる長時間露光画素（高感度画素）と短時間露光画素（低感度画素）を利用した合成処理を実行して広ダイナミックレンジ画像を生成する。
【０２７３】
ＨＤＲ（広ダイナミックレンジ画像）合成処理部２０７の詳細構成例を図４０に示す。
高感度全帯域信号生成部３０１、低感度全帯域信号生成部３０２は、ごく近傍の画素のみを用いて高周波成分も含むＧ画素の画素全帯域信号を生成する。この全帯域信号生成処理に際しては、線形補間やエッジ方向判定を使用する。一例として、図４１に示す７×７画素の中心画素Ｂｂ４４を注目画素として、注目画素位置に、線形補間でＧ画素の全帯域信号を生成する式を示す。
Ｇｂ＝（３・Ｇｂ３４＋２・Ｇｂ４３＋２・Ｇｂ４５＋Ｇｂ７４）／８・・・（式３２）
Ｇｄ＝（４・Ｇｄ５４＋Ｇｄ２３＋Ｇｄ２５）／６・・・（式３３）
【０２７４】
高感度全帯域信号生成部３０１は上記（式３２）に従って、Ｇ画素の高感度全帯域信号を生成する。
低感度全帯域信号生成部３０２は上記（式３３）に従って、Ｇ画素の低感度全帯域信号を生成する。
【０２７５】
高感度低周波信号生成部３０３、低感度低周波信号生成部３０４は、やはり注目画素の周辺画素を利用した処理によって低周波信号を生成する。図４１に示す７×７画素の中心画素Ｂｂ４４を注目画素として、注目画素位置のＲｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄに対応する低周波信号：ｍＲｂ，ｍＧｂ，ｍＢｂ，ｍＲｄ，ｍＧｄ，ｍＢｄを生成する式を示す。
周辺の画素を利用して低周波成分のみを含むＲ，Ｇ，Ｂの各信号を生成する。
ｍＲｂ＝Σ（Ｃｒｂｉｊ×Ｒｂｉｊ）／ΣＣｒｂｉｊ・・・（式３４）
ｍＧｂ＝Σ（Ｃｇｂｉｊ×Ｇｂｉｊ）／ΣＣｇｂｉｊ・・・（式３５）
ｍＢｂ＝Σ（Ｃｂｂｉｊ×Ｂｂｉｊ）／ΣＣｂｂｉｊ・・・（式３６）
ｍＲｄ＝Σ（Ｃｒｄｉｊ×Ｒｄｉｊ）／ΣＣｒｄｉｊ・・・（式３７）
ｍＧｄ＝Σ（Ｃｇｄｉｊ×Ｇｄｉｊ）／ΣＣｇｄｉｊ・・・（式３８）
ｍＢｄ＝Σ（Ｃｂｄｉｊ×Ｂｄｉｊ）／ΣＣｂｄｉｊ・・・（式３９）
ただし、Ｃｒｂｉｊ，Ｃｇｂｉｊ，Ｃｂｂｉｊ，Ｃｒｄｉｊ，Ｃｇｄｉｊ，Ｃｂｄｉｊは係数。
【０２７６】
高感度低周波信号生成部２０３は、上記の（式３４）、（式３５）、（式３６）に従って、注目画素位置のＲｂ，Ｇｂ，Ｂｂに対応する低周波信号：ｍＲｂ，ｍＧｂ，ｍＢｂを生成する。
低感度低周波信号生成部２０４は、上記の（式３７）、（式３８）、（式３９）に従って、注目画素位置のＲｄ，Ｇｄ，Ｂｄに対応する低周波信号：ｍＲｄ，ｍＧｄ，ｍＢｄを生成する。
【０２７７】
次に、ＨＤＲ全帯域信号生成部３０５、ＨＤＲ低周波信号生成部３０６の構成と処理について説明する。
図４２は、ＨＤＲ全帯域信号生成部３０５の構成の一例を示す図である。
ＨＤＲ全帯域信号生成部３０５は、高感度全帯域信号生成部３０１の生成したＧの高感度画像と、低感度全帯域信号生成部３０２の生成したＧの低感度画像を合成し、ＨＤＲ画像を生成する。
感度比Ｒ４０１は、低感度画像と高感度画像の感度比、露光時間の比率を表す。低感度画像に対して感度比Ｒ４０１を乗算した感度調整低感度画像と高感度画像をブレンド処理部４０４に入力してブレンドする。
【０２７８】
ブレンド処理部４０４は、ブレンド率算出部４０３の算出したブレンド率に応じて、低感度画像と高感度画像の対応画素のブレンド処理を実行する。
ブレンド率算出部４０３は、処理対象画素（注目画素）の明るさに応じたブレンド率を設定してブレンド処理部４０４に出力する。
具体的には、注目画素が明るい時には、高感度画素Ｇｄは飽和しており、飽和していない低感度画素Ｇｄの重みを上げ、暗い時には、低感度画素Ｇｄはノイズに埋もており、ノイズの少ない高感度画素Ｇｄの重みを上げるように、ブレンド率を決定する。
【０２７９】
図４２に示す処理構成を式で表すと、次のように記述できる。
Ｉｆ（Ｇｂ＜Ｔｈ）
Ｇ＝Ｇｂ
Ｅｌｓｅ
Ｇ＝Ｇｄ×Ｒ
【０２８０】
ＨＤＲ低周波信号生成部３０６も、
ｍＲｂと、ｍＲｄとの処理、
ｍＧｂと、ｍＧｄとの処理、
ｍＢｂと、ｍＢｄとの処理、
これらの各信号の組み合わせに対して、図４２を参照して説明した処理と同様の処理を実行する。
【０２８１】
相関処理部３０７は、Ｇの高周波成分を使用して、Ｒ，Ｂ信号を生成する処理を実行する。例えば次の式（式４０）、（式４１）に従ってＧの高周波成分を使用して、Ｒ，Ｂ信号を生成する。
Ｒ＝ｍＲ×Ｇ／ｍＧ・・・（式４０）
Ｂ＝ｍＢ×Ｇ／ｍＧ・・・（式４１）
【０２８２】
図３７に戻り、撮像装置２０の構成と処理についての説明を続ける。
ＨＤＲ合成処理部２０７の生成したＨＤＲ画像２０８は、諧調変換部２０９に入力され、諧調変換処理が実行される。具体的には、例えばＨＤＲ画像２０８の各画素の構成ビット数を削減する処理、例えば１０ｂｉｔデータを８ｂｉｔデータに設定する処理等を実行する。
この処理は、次段のカメラ信号処理部２１０において処理可能なビット数への変換処理として実行される処理である。
【０２８３】
カメラ信号処理部２１０は、一般的なカメラ信号処理、例えばホワイトバランス調整処理やガンマ補正処理等の信号処理を実行して出力画像２１１を生成して出力する。
【０２８４】
［５−２．撮像装置の構成例２］
次に、図４３を参照して撮像装置の第２構成例について説明する。
図４３に示す撮像装置５００は、図３７を参照して説明した撮像装置２００のブルーミング補正処理部２０４とＨＤＲ合成処理部２０７を１つの統合処理部５０４として構成したものである。
【０２８５】
この構成により、ブルーミング補正処理，ＨＤＲ合成処理を、併せて行うことにより、処理の共通化を行い、演算にかかる時間あるいや、ハードウェアの実装コストを削減できる。
【０２８６】
撮像装置５００は、レンズ５０１を介して被写体光を入力し、撮像素子（イメージセンサ）５０２に被写体光を入力する。
撮像素子（イメージセンサ）５０２は、例えば、先に図８を参照して説明したように画素毎に異なる露光時間となるような露光制御可能な撮像素子である。この露光制御信号は制御部５０９から入力される。
【０２８７】
撮像素子５０２における光電変換処理によって生成される各画素の信号はセンサ画像５０３として統合処理部５０４に入力される。
統合処理部５０４は、ブルーミング補正および広ダイナミックレンジ（ＨＤＲ）画像生成処理を実行する。
図４４に統合処理部５０４の具体例について示す。
ブルーミング補正のためには、各感度・色のデータが必要であるが、ここでは、高感度低周波信号生成部６０３，低感度低周波信号生成部６０４の生成する低周波信号（ｍＲｂ，ｍＧｂ，ｍＢｂ，ｍＲｄ，ｍＧｄ，ｍＢｄ）を利用してブルーミング補正を行なう構成としている。
【０２８８】
高感度全帯域信号生成部６０１、低感度全帯域信号生成部６０２は、ごく近傍の画素のみを用いて高周波成分も含むＧ画素の画素全帯域信号を生成する。
高感度全帯域信号生成部６０１は前述の（式３２）に従って、Ｇ画素の高感度全帯域信号を生成する。
低感度全帯域信号生成部６０２は前述の（式３３）に従って、Ｇ画素の低感度全帯域信号を生成する。
高感度低周波信号生成部６０３、低感度低周波信号生成部６０４は、やはり注目画素の周辺画素を利用した処理によって低周波信号を生成する。
先に説明した（式３４）〜（式３９）に従って低周波信号（ｍＲｂ，ｍＧｂ，ｍＢｂ，ｍＲｄ，ｍＧｄ，ｍＢｄ）を生成する。
【０２８９】
補正処理部６０５が、先に説明した図３８に示す補正処理部２５４と同様のブルーミング補正を実行する補正処理部であり、感度低周波信号生成部６０３，低感度低周波信号生成部６０４の生成する低周波信号（ｍＲｂ，ｍＧｂ，ｍＢｂ，ｍＲｄ，ｍＧｄ，ｍＢｄ）を利用してブルーミング補正を行なう。
図４４に示すその他の構成部は、図４０を参照して説明した各構成部の処理と同様の処理となる。
ＨＤＲ全帯域信号生成部６０６、ＨＤＲ低周波信号生成部６０７，６０８は各入力信号に基づく広ダイナミックレンジ画像を生成する。
相関処理部６０９は、Ｇの高周波成分を使用して、Ｒ，Ｂ信号を生成する処理を実行する。例えば前述の式（式４０）、（式４１）に従ってＧの高周波成分を使用して、Ｒ，Ｂ信号を生成する。
【０２９０】
先に図３７以下を参照して説明した第１構成例では、ブルーミング補正処理、ＨＤＲ合成処理の両方でラインメモリを使用する必要があったが、この図４３、図４４に示す構成例ではＨＤＲ合成処理分のラインメモリだけで済む点メリットがある。
【０２９１】
図４５は、図４４と同様にＨＤＲ合成とブルーミング補正処理を行う統合処理部５０４の別の構成例である。
図４４に示す統合処理部５０４は、低周波信号（ｍＲｂ，ｍＧｂ，ｍＢｂ，ｍＲｄ，ｍＧｄ，ｍＢｄ）に対してブルーミング補正を行っていたが、図４５に示す統合処理部５０４は、一度、相関処理部６１１，６１２において、各色の全帯域周波信号（Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄ）を生成し、この全帯域周波信号（Ｒｂ，Ｇｂ，Ｂｂ，Ｒｄ，Ｇｄ，Ｂｄ）をブルーミング補正を実行する補正処理部６０５に入力して、これらの入力信号に基づいてブルーミング補正を行なう構成としている。
【０２９２】
図４６は、図４４、図４５と同様にＨＤＲ合成とブルーミング補正処理を行う統合処理部５０４の別の構成例である。
図４６に示す構成は、さらに最小限のコストで、ブルーミング補正とＨＤＲ合成処理を行う構成例である。
【０２９３】
撮像素子からの出力であるセンサ画像５０３は、例えば、図８（Ａ）の配列を持つ場合、２行ごとに高感度画素と低感度画素が切り替わる。すなわち、２つの画素を合成してＨＤＲ画像を生成する場合、２ライン分の画素値データをメモリで蓄えて処理することが要請される。ラインメモリ６１０に、２ライン分の画素値データを記憶する。
【０２９４】
図４６に示すラインメモリ６２０に格納され、遅延されたラインの画素値データが例えば図４６に示す上ライン画像６２１、中心画像６２２として、ブルーミング補正部６２４に入力され、これと並列にリアルタイムでセンサ画像５０３として下ライン画像６２３がブルーミング補正部６２４に入力される。
【０２９５】
図４７がブルーミング補正部６２４の入出力関係を示す図である。
左側が撮像素子の出力であり、
中間が、ブルーミング補正部６２４に対する３ライン分の入力データであり、
右端が最終的に生成されるＨＤＲ画像の画素値である。
【０２９６】
ＨＤＲ画像は、感度の異なる同色画素を合成することで生成することができるが、その手前の部分でブルーミング補正を施す。
これまでの補正方法に示してきたように、ある画素のブルーミング補正を行う場合、その画素に対してブルーミングの影響を与えている色画素の低感度画素を参照する必要がある。しかし、図４７では、それが取得できない。
例えば、図４７の下段のＧ画素を補正するときには低感度のＲ画素の情報を取得したいが、図４７の下段の３ラインに低感度のＲ画素は含まれないため、この処理は不可能である。
【０２９７】
このような場合、低感度のＲ画素の画素値Ｒｄを他の画素の画素値に基づいて推定する。すなわち、図４６に示すブルーミング補正部６２４は、以下の式に従った推定処理を実行する。
Ｒｄ＿ｅｓｔ＝Ｇｄ×ＷｂＲ／ＷｂＧ
上記式に従って、低感度のＲ画素の画素値（Ｒｄ＿ｅｓｔ）を推定する。
ただし、
ＷｂＲはＲのホワイトバランス係数、
ＷｂＧはＧのホワイトバランス係数、
である。
【０２９８】
このような処理を実行することで、無彩色の状態で、ブルーミングが正常に動作する。すなわち、図４６に示す統合処理部５０４のように２ライン分のメモリ６２０を有する構成でもブルーミング補正を行うことが可能となる。
【０２９９】
図４８は、図４６に示すブルーミング補正部６２４内に構成される画素生成部の処理例を説明する図である。
図４８（Ａ）が図４７の上段の処理であり、３ラインデータに含まれないＢｂ画素の生成、
図４８（Ｂ）が図４７の下段の処理であり、３ラインデータに含まれないＲｄ画素の生成、
これらの処理例を示している。
【０３００】
図４６に示すブルーミング補正部６２４の出力は、上ライン画像６２５、下ライン画像６２６としてＨＤＲ合成処理部６２７に入力され、ＨＤＲ合成処理部６２７において、ブルーミング補正後の異なる感度の画素を適用した画素合成処理により、広ダイナミックレンジ（ＨＤＲ）画像５０５が生成されて出力される。
【０３０１】
［６．その他の実施例：ブルーミング以外のセンサ特性に基づく画像の補正］
上述した実施例では、主にブルーミングによって起こるセンサの非線形特性を補正する処理について言及してきた。しかしながら、本開示の方法を用いてブルーミング以外の非線形性を補正することが可能である。
【０３０２】
例えば、センサの持つ非線形特性として、図４９に示すようなＫｎｅｅ特性がある。図４９に示すように、画素に電荷が蓄積され飽和が近づくにつれ、徐々に電荷が蓄えられなくなっていく特性である。このようなＫｎｅｅ特性による非線形特性も、本開示による理想特性の取得方法および、ＬＵＴを使用した方法、あるいはその近似を用いることによって補正することが可能である。
【０３０３】
さらに、本開示の構成は、混色補正にも適用することが可能である。
混色には、カラーフィルタの特性によるものや、画素間のクロストークによるものが存在する。
このような混色が発生した画像に対して、本開示による理想特性の取得と、それを利用した前述の（式９）を適用した演算を行うことで混色を補正することが可能である。
【０３０４】
本実施例における撮像装置は、例えば、長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、撮像素子からの出力画素信号を入力して、画素信号の補正を実行する補正処理部を有する。補正処理部は、撮像素子からの入力画素値と、撮像素子に対する入射光量と出力値との理想的な線形特性に従った理想画素値との差分または比率に応じて、撮像素子からの入力画素の画素値補正を実行する。
補正処理部は、撮像素子からの入力画素値に含まれる非線形特性を、前記理想的な線形特性に従った理想画素値を適用して補正する、さらに具体的には、補正処理部は、複数回の撮影処理によって取得した前記撮像素子の前記理想画素値、または、該理想画素値に基づく補正画素値算出に適用するルックアップテーブル（ＬＵＴ）を記憶部から取得して画素値補正を実行する。
【０３０５】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０３０６】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部は、
前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する撮像装置。
【０３０７】
（２）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定するブルーミング量推定部と、前記ブルーミング量推定部の推定したブルーミング量を前記撮像素子からの入力画素値から減算する演算部を有する前記（１）に記載の撮像装置。
（３）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、撮像素子の画素配列と、撮像素子の高感度画素と低感度画素の露光制御パターンとを考慮した数式モデルに基づいて算出するブルーミング量推定部を有する前記（１）または（２）に記載の撮像装置。
【０３０８】
（４）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の画素位置に対応する各色の高感度画素値および低感度画素値を生成する信号生成部と、
前記信号生成部の生成した信号を入力して前記注目画素のブルーミング補正を実行する補正処理部を有する前記（１）〜（３）いずれかに記載の撮像装置。
（５）前記ブルーミング補正処理部は、前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値とを対応付けたテーブルを適用して、前記撮像素子からの入力画素の画素値補正を実行する前記（１）〜（４）いずれかに記載の撮像装置。
【０３０９】
（６）前記ブルーミング補正処理部は、前記撮像素子からの入力画素値と、該入力画素値とブルーミングの影響のない理想画素値との差分とを対応付けたテーブルを適用して、前記撮像素子からの入力画素に含まれるブルーミング量を推定する前記（１）〜（５）いずれかに記載の撮像装置。
（７）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定するブルーミング量推定部と、前記ブルーミング量推定部の推定したブルーミング量に、予め規定した減衰パラメータを乗算して減衰ブルーミング量を算出する乗算部と、前記乗算部の算出した減衰ブルーミング量を前記撮像素子からの入力画素値から減算する演算部を有する前記（１）〜（６）いずれかに記載の撮像装置。
【０３１０】
（８）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定し、さらに、該推定結果に基づいてブルーミング量を減算した低感度画素信号を利用して、再度、ブルーミング量の推定を実行する構成を有する前記（１）〜（７）いずれかに記載の撮像装置。
（９）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素が動き領域であるか否かを判定する動き検出部を有し、前記動き検出部の検出情報に応じてブルーミング補正態様を変更する構成を有する前記（１）〜（８）いずれかに記載の撮像装置。
【０３１１】
（１０）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素がエッジ領域であるか否かを判定するエッジ検出部を有し、前記エッジ検出部の検出情報に応じてブルーミング補正態様を変更する構成を有する前記（１）〜（９）いずれかに記載の撮像装置。
（１１）前記ブルーミング補正処理部は、ブルーミング補正対象となる注目画素が動き領域またはエッジ領域である場合、該注目画素に対応する推定ブルーミング量を減少させる過補正対策部を有する前記（１）〜（１０）いずれかに記載の撮像装置。
【０３１２】
（１２）前記ブルーミング補正処理部は、入力画素値が飽和しているか否かを判定し、飽和値である場合にはブルーミング補正を実行しない構成である前記（１）〜（１１）いずれかに記載の撮像装置。
（１３）前記撮像装置は、さらに、前記ブルーミング補正処理部の生成したブルーミング補正画像を入力して広ダイナミックレンジ画像を生成する広ダイナミックレンジ（ＨＤＲ）画像生成部を有する前記（１）〜（１２）いずれかに記載の撮像装置。
【０３１３】
（１４）長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号の補正を実行する補正処理部を有し、
前記補正処理部は、
前記撮像素子からの入力画素値と、前記撮像素子に対する入射光量と出力値との理想的な線形特性に従った理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する撮像装置。
【０３１４】
（１５）前記補正処理部は、前記撮像素子からの入力画素値に含まれる非線形特性を、前記理想的な線形特性に従った理想画素値を適用して補正する前記（１４）に記載の撮像装置。
（１６）前記補正処理部は、複数回の撮影処理によって取得した前記撮像素子の前記理想画素値、または、該理想画素値に基づく補正画素値算出に適用するルックアップテーブル（ＬＵＴ）を記憶部から取得して画素値補正を実行する前記（１４）または（１５）に記載の撮像装置。
【０３１５】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０３１６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０３１７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０３１８】
以上、説明したように、本開示の一実施例の構成によれば、ワンショット型の広ダイナミックレンジ撮影画像に対する高精度なブルーミング補正を実現する装置、方法が実現される。
具体的には、高感度画素信号と低感度画素信号を出力する撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行する。補正処理部は、撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、入力画素の画素値補正を実行する。例えば、補正対象画素の近傍画素からの電荷漏れに相当するブルーミング量を、低感度画素信号を利用して推定し、推定したブルーミング量を入力画素値から減算する。具体的には、数式モデルやＬＵＴを適用した処理を行う。
本開示の構成によれば、ブルーミングを被った画素のブルーミング量を抑圧することによって、ブルーミングによる非線形性補正し、正しい色再現や、画像の階調を正確に表現でき、画質を向上できる。
【符号の説明】
【０３１９】
１０１ 照明
１０２ 被写体
１０３ レンズ
１０４ 撮像素子
１０５ 制御部
１０６ 露光時間情報
１０７ センサ画像
１０８ 記憶装置
１３０ 補正処理部
１３１ ブルーミング量推定部
１３２ 演算部
１３５ 補正処理部
１３６ ブルーミング量推定部
１３７ 乗算部
１３８ 演算部
１４０ 補正処理部
１４１ 第１ブルーミング量推定部
１４２ 演算部
１４３ 第２ブルーミング量推定部
１４４ 演算部
１５０ 補正処理部
１５１ 第１ブルーミング量推定部
１５２ 演算部
１５３ 第２ブルーミング量推定部
１５４ 演算部
１５５ 第３ルーミング量推定部
１５６ 演算部
１６０ 補正処理部
１６１ ６次元ＬＵＴ
１６５ 補正処理部
１６６ 第１−３次元ＬＵＴ
１６７ 第２−３次元ＬＵＴ
１７０ 補正処理部
１７１ ３次元ＬＵＴ
１７２ 演算部
１７３ 補正処理部
１７４ 補正処理部
１７５ １次元ＬＵＴ
１７６ 演算部
１７７ 補正処理部
１７８ １次元ＬＵＴ
１７９ 演算部
１８０ 補正処理部
１８１ 倍率近似部
１８２ 演算部
１８５ 補正処理部
１８６ 輝度生成部
１８７ マトリクス係数生成部
１８８ マトリクス処理部
１９０ 補正処理部
１９１ 演算部
１９２ ブルーミング量推定部
１９３ 演算部
１９５ 補正処理部
１９６ ブルーミング量推定部
１９７ 過補正対策部
１９８ 演算部
２００ 撮像装置
２０１ レンズ
２０２ 撮像素子
２０３ センサ画像
２０４ ブルーミング補正処理部
２０５ 制御部
２０６ ブルーミング補正画像
２０７ ＨＤＲ合成処理部
２０８ ＨＤＲ画像
２０９ 諧調変換処理部
２１０ カメラ信号処理部
２１１ 出力画像
２５１ 信号生成部
２５２ 動き検出部
２５３ エッジ検出部
２５４ 補正処理部
３０１ 高感度全帯域信号生成部
３０２ 低感度全帯域信号生成部
３０３ 高感度低周波信号生成部
３０４ 低感度低周波信号生成部
３０５ ＨＤＲ全帯域信号生成部
３０６ ＨＤＲ低周波信号生成部
３０７ 相関処理部
４０１ 感度比Ｒ
４０２ 乗算部
４０３ ブレンド率算出部
４０４ ブレンド処理部
５００ 撮像装置
５０１ レンズ
５０２ 撮像素子
５０３ センサ画像
５０４ 統合処理部
５０５ ＨＤＲ画像
５０６ 諧調変換処理部
５０７ カメラ信号処理部
５０８ 出力画像
５０９ 制御部
６０１ 高感度全帯域信号生成部
６０２ 低感度全帯域信号生成部
６０３ 高感度低周波信号生成部
６０４ 低感度低周波信号生成部
６０５ 補正処理部
６０６ ＨＤＲ全帯域信号生成部
６０７，６０８ ＨＤＲ低周波信号生成部
６０９ 相関処理部
６１１，６１２ 相関処理部
６１３ ＨＤＲ全帯域信号生成部
６２０ ラインメモリ部
６２１ 上ライン画像
６２２ 中心画像
６２３ 下ライン画像
６２４ ブルーミング補正部
６２５ 上ライン画像
６２６ 下ライン画像
６２７ ＨＤＲ合成処理部
【特許請求の範囲】
【請求項１】
長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部は、
前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する撮像装置。
【請求項２】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定するブルーミング量推定部と、
前記ブルーミング量推定部の推定したブルーミング量を前記撮像素子からの入力画素値から減算する演算部を有する請求項１に記載の撮像装置。
【請求項３】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、撮像素子の画素配列と、撮像素子の高感度画素と低感度画素の露光制御パターンとを考慮した数式モデルに基づいて算出するブルーミング量推定部を有する請求項１に記載の撮像装置。
【請求項４】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素の画素位置に対応する各色の高感度画素値および低感度画素値を生成する信号生成部と、
前記信号生成部の生成した信号を入力して前記注目画素のブルーミング補正を実行する補正処理部を有する請求項１に記載の撮像装置。
【請求項５】
前記ブルーミング補正処理部は、
前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値とを対応付けたテーブルを適用して、前記撮像素子からの入力画素の画素値補正を実行する請求項１に記載の撮像装置。
【請求項６】
前記ブルーミング補正処理部は、
前記撮像素子からの入力画素値と、該入力画素値とブルーミングの影響のない理想画素値との差分とを対応付けたテーブルを適用して、前記撮像素子からの入力画素に含まれるブルーミング量を推定する請求項１に記載の撮像装置。
【請求項７】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定するブルーミング量推定部と、
前記ブルーミング量推定部の推定したブルーミング量に、予め規定した減衰パラメータを乗算して減衰ブルーミング量を算出する乗算部と、
前記乗算部の算出した減衰ブルーミング量を前記撮像素子からの入力画素値から減算する演算部を有する請求項１に記載の撮像装置。
【請求項８】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定し、
さらに、該推定結果に基づいてブルーミング量を減算した低感度画素信号を利用して、再度、ブルーミング量の推定を実行する構成を有する請求項１に記載の撮像装置。
【請求項９】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素が動き領域であるか否かを判定する動き検出部を有し、
前記動き検出部の検出情報に応じてブルーミング補正態様を変更する構成を有する請求項１に記載の撮像装置。
【請求項１０】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素がエッジ領域であるか否かを判定するエッジ検出部を有し、
前記エッジ検出部の検出情報に応じてブルーミング補正態様を変更する構成を有する請求項１に記載の撮像装置。
【請求項１１】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素が動き領域またはエッジ領域である場合、該注目画素に対応する推定ブルーミング量を減少させる過補正対策部を有する請求項１に記載の撮像装置。
【請求項１２】
前記ブルーミング補正処理部は、
入力画素値が飽和しているか否かを判定し、飽和値である場合にはブルーミング補正を実行しない構成である請求項１に記載の撮像装置。
【請求項１３】
前記撮像装置は、さらに、
前記ブルーミング補正処理部の生成したブルーミング補正画像を入力して広ダイナミックレンジ画像を生成する広ダイナミックレンジ（ＨＤＲ）画像生成部を有する請求項１に記載の撮像装置。
【請求項１４】
長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号の補正を実行する補正処理部を有し、
前記補正処理部は、
前記撮像素子からの入力画素値と、前記撮像素子に対する入射光量と出力値との理想的な線形特性に従った理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する撮像装置。
【請求項１５】
前記補正処理部は、
前記撮像素子からの入力画素値に含まれる非線形特性を、前記理想的な線形特性に従った理想画素値を適用して補正する請求項１４に記載の撮像装置。
【請求項１６】
前記補正処理部は、
複数回の撮影処理によって取得した前記撮像素子の前記理想画素値、または、該理想画素値に基づく補正画素値算出に適用するルックアップテーブル（ＬＵＴ）を記憶部から取得して画素値補正を実行する請求項１４に記載の撮像装置。
【請求項１７】
撮像装置において実行する画像処理方法であり、
前記撮像装置は、長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部において、
前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する画像処理方法。
【請求項１８】
撮像装置において画像処理を実行させるプログラムであり、
前記撮像装置は、長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部に、前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行させるプログラム。
【請求項１】
長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部は、
前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する撮像装置。
【請求項２】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定するブルーミング量推定部と、
前記ブルーミング量推定部の推定したブルーミング量を前記撮像素子からの入力画素値から減算する演算部を有する請求項１に記載の撮像装置。
【請求項３】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、撮像素子の画素配列と、撮像素子の高感度画素と低感度画素の露光制御パターンとを考慮した数式モデルに基づいて算出するブルーミング量推定部を有する請求項１に記載の撮像装置。
【請求項４】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素の画素位置に対応する各色の高感度画素値および低感度画素値を生成する信号生成部と、
前記信号生成部の生成した信号を入力して前記注目画素のブルーミング補正を実行する補正処理部を有する請求項１に記載の撮像装置。
【請求項５】
前記ブルーミング補正処理部は、
前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値とを対応付けたテーブルを適用して、前記撮像素子からの入力画素の画素値補正を実行する請求項１に記載の撮像装置。
【請求項６】
前記ブルーミング補正処理部は、
前記撮像素子からの入力画素値と、該入力画素値とブルーミングの影響のない理想画素値との差分とを対応付けたテーブルを適用して、前記撮像素子からの入力画素に含まれるブルーミング量を推定する請求項１に記載の撮像装置。
【請求項７】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定するブルーミング量推定部と、
前記ブルーミング量推定部の推定したブルーミング量に、予め規定した減衰パラメータを乗算して減衰ブルーミング量を算出する乗算部と、
前記乗算部の算出した減衰ブルーミング量を前記撮像素子からの入力画素値から減算する演算部を有する請求項１に記載の撮像装置。
【請求項８】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素の近傍画素からの電荷漏れに相当するブルーミング量を、前記撮像素子から入力する低感度画素信号を利用して推定し、
さらに、該推定結果に基づいてブルーミング量を減算した低感度画素信号を利用して、再度、ブルーミング量の推定を実行する構成を有する請求項１に記載の撮像装置。
【請求項９】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素が動き領域であるか否かを判定する動き検出部を有し、
前記動き検出部の検出情報に応じてブルーミング補正態様を変更する構成を有する請求項１に記載の撮像装置。
【請求項１０】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素がエッジ領域であるか否かを判定するエッジ検出部を有し、
前記エッジ検出部の検出情報に応じてブルーミング補正態様を変更する構成を有する請求項１に記載の撮像装置。
【請求項１１】
前記ブルーミング補正処理部は、
ブルーミング補正対象となる注目画素が動き領域またはエッジ領域である場合、該注目画素に対応する推定ブルーミング量を減少させる過補正対策部を有する請求項１に記載の撮像装置。
【請求項１２】
前記ブルーミング補正処理部は、
入力画素値が飽和しているか否かを判定し、飽和値である場合にはブルーミング補正を実行しない構成である請求項１に記載の撮像装置。
【請求項１３】
前記撮像装置は、さらに、
前記ブルーミング補正処理部の生成したブルーミング補正画像を入力して広ダイナミックレンジ画像を生成する広ダイナミックレンジ（ＨＤＲ）画像生成部を有する請求項１に記載の撮像装置。
【請求項１４】
長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号の補正を実行する補正処理部を有し、
前記補正処理部は、
前記撮像素子からの入力画素値と、前記撮像素子に対する入射光量と出力値との理想的な線形特性に従った理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する撮像装置。
【請求項１５】
前記補正処理部は、
前記撮像素子からの入力画素値に含まれる非線形特性を、前記理想的な線形特性に従った理想画素値を適用して補正する請求項１４に記載の撮像装置。
【請求項１６】
前記補正処理部は、
複数回の撮影処理によって取得した前記撮像素子の前記理想画素値、または、該理想画素値に基づく補正画素値算出に適用するルックアップテーブル（ＬＵＴ）を記憶部から取得して画素値補正を実行する請求項１４に記載の撮像装置。
【請求項１７】
撮像装置において実行する画像処理方法であり、
前記撮像装置は、長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部において、
前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行する画像処理方法。
【請求項１８】
撮像装置において画像処理を実行させるプログラムであり、
前記撮像装置は、長時間露光画素からの高感度画素信号と短時間露光画素からの低感度画素信号を出力する撮像素子と、
前記撮像素子からの出力画素信号を入力して、画素信号のブルーミング補正を実行するブルーミング補正処理部を有し、
前記ブルーミング補正処理部に、前記撮像素子からの入力画素値と、ブルーミングの影響のない理想画素値との差分または比率に応じて、前記撮像素子からの入力画素の画素値補正を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図４０】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図６】
【図８】
【図１６】
【図３９】
【図４１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図４０】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図６】
【図８】
【図１６】
【図３９】
【図４１】
【公開番号】特開２０１３−３８５０４（Ｐ２０１３−３８５０４Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７１０４０（Ｐ２０１１−１７１０４０）
【出願日】平成２３年８月４日（２０１１．８．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月４日（２０１１．８．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]