画像処理装置、および画像処理方法、並びにプログラム
【課題】長時間露光画素と短時間露光画素の画素値合成処理を実行して広ダイナミックレンジ画像を生成する装置、方法を提供する。
【解決手段】長時間露光画素と短時間露光画素の画素値合成処理を実行して出力画像の画素値を生成する画素情報合成部を有し、画素情報合成部は、複数の異なる画素の画素値に基づいて算出した複数のブレンド比率を算出し、複数のブレンド比率に基づいて、最終的な長時間露光画素と短時間露光画素の最終ブレンド比率を決定し、最終ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像の画素値を決定する。この処理によって広ダイナミックレンジ画像を生成する。
【解決手段】長時間露光画素と短時間露光画素の画素値合成処理を実行して出力画像の画素値を生成する画素情報合成部を有し、画素情報合成部は、複数の異なる画素の画素値に基づいて算出した複数のブレンド比率を算出し、複数のブレンド比率に基づいて、最終的な長時間露光画素と短時間露光画素の最終ブレンド比率を決定し、最終ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像の画素値を決定する。この処理によって広ダイナミックレンジ画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ダイナミックレンジの広い画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像デバイスは入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
【０００３】
このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【０００４】
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
【０００５】
このような処理を実現する手法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
【０００６】
例えば特許文献１（特開２０００−５０１５１号公報）は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。
【０００７】
例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
【０００８】
時間ｔ０〜ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。
【０００９】
しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。
【００１０】
そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【００１１】
なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
【００１２】
このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。
【００１３】
しかしながら、上記の特許文献１に記載された構成は、いずれも長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。
【００１４】
このように、露光時間を変えた複数枚の画像を利用することで、広ダイナミックレンジ画像（ＨＤＲ画像）を生成可能であるが、この複数画像に基づく処理には、例えば以下の課題がある。
課題１：複数回の撮影を行うことが必要であり、さらに、これらの画像を格納するメモリを必要とする点。
課題２：撮影タイミングが異なる複数の画像を合成したり、長時間露光の撮影データを用いるため、カメラのブレに弱い点。
【００１５】
また、これまでの多くのカメラに利用される撮像素子には、例えばＲＧＢ配列からなるカラーフィルタが装着され、各画素に特定の波長光を入射する構成となっている。
具体的には、例えばベイヤ（Ｂａｙｅｒ）配列を持つカラーフィルタが多く利用されている。
【００１６】
ベイヤ配列の撮像画像は、撮像素子の各画素にＲＧＢいずれかの色に対応する画素値のみが設定されたいわゆるモザイク画像となる。カメラの信号処理部は、このモザイク画像に対して画素値補間などの様々な信号処理を施して各画素にＲＧＢの全画素値を設定するデモザイク処理等を行い、カラー画像を生成して出力する。
【００１７】
このベイヤ配列に従ったカラーフィルタを備えた撮像画像に対する信号処理については、すでに多くの検討がなされ、ある程度、技術的に確立されていると言える。しかし、ベイヤ配列と異なる配列を持つ画像に対する信号処理については、まだ十分な検討がなされていないというのが現状である。
【００１８】
なお、例えば、撮像素子に付属するフィルタとしてＲＧＢの各色に加え、全波長透過型のＷ（Ｗｈｉｔｅ）画素を備えたＲＧＢＷ配列を持つフィルタを備えた撮像装置の撮影画像に対する補正処理について、特許文献２（特開２０１１−５５０３８号公報）などに記載がある。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２０００−５０１５１号公報
【特許文献２】特開２０１１−５５０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
本開示は、例えばこのような状況に鑑みてなされたものであり、１回の撮影画像に基づいて広ダイナミックレンジ画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００２１】
さらに、本開示は、例えばベイヤ配列と異なる配列を持つ撮影画像に基づいて広ダイナミックレンジ画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
本開示の第１の側面は、
長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成部を有し、
前記画素情報合成部は、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出し、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定し、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する画像処理装置にある。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、ブレンド対象となる複数の異なる露光時間の画素の画素値に基づいて前記複数のブレンド比率を算出し、算出した前記複数のブレンド比率に基づいて、前記適用ブレンド比率を決定する処理を実行する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、ブレンド対象となる複数の異なる露光時間の画素の近傍画素の画素値に基づいて前記複数のブレンド比率を算出し、算出した前記複数のブレンド比率に基づいて、前記適用ブレンド比率を決定する処理を実行する。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、長時間露光画素の画素値に依存した長時間露光画素値依存ブレンド比率αＬと、短時間露光画素の画素値に依存した短時間露光画素値依存ブレンド比率αＳを算出し、算出した長時間露光画素値依存ブレンド比率αＬと、短時間露光画素値依存ブレンド比率αＳとの乗算処理結果、すなわち、
α＝αＬ×αＳ、
上記αを短時間露光画素のブレンド量を示す前記適用ブレンド比率として決定する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、
前記長時間露光画素値依存ブレンド比率αＬを、
ブレンド処理対象画素となる色Ｃの長時間露光画素の画素値ＣＬが、
ＣＬ＜ＴＨ０Ｌのとき、αＬ＝０、
ＴＨ０Ｌ≦ＣＬ≦ＴＨ１Ｌのとき、αＬ＝（ＣＬ−ＴＨ０Ｌ）／（ＴＨ１Ｌ−ＴＨ０Ｌ）、
ＴＨ１Ｌ≦ＣＬのとき、αＬ＝１．０
として決定し、
前記短時間露光画素値依存ブレンド比率αＳを、
ブレンド処理対象画素となる色Ｃの短時間露光画素の画素値ＣＳが、
ＣＳ＜ＴＨ０Ｓのとき、αＳ＝０、
ＴＨ０Ｓ≦ＣＳ≦ＴＨ１Ｓのとき、αＬ＝（ＣＬ−ＴＨ０Ｓ）／（ＴＨ１Ｓ−ＴＨ０Ｓ）、
ＴＨ１Ｓ≦ＣＬのとき、αＬ＝１．０、
として決定する、
ただし、ＴＨ０Ｌ、ＴＨＬ１、ＴＨＳ０、ＴＨＳ１は予め規定したしきい値である、
上記設定とした前記長時間露光画素値依存ブレンド比率αＬと、前記短時間露光画素値依存ブレンド比率αＳを決定する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、前記出力画像または中間画像の色Ｃの画素値ＣＷを、
ＣＷ＝α×ＣＳ×ＧＡＩＮ＋（１．０−α）×ＣＬ
ただし、
ＣＬは、色Ｃの長時間露光画素の画素値、
ＣＳは、色Ｃの短時間露光画素の画素値、
ＧＡＩＮは、長時間露光画素と短時間露光画素との露光比、
αは、前記適用ブレンド比率、
上記式に従って前記出力画像または前記中間画像の色Ｃの画素値ＣＷを算出する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理によって中間画像を生成し、さらに、生成した中間画像を構成する同一色の画素値のブレンド処理により最終的な出力画像を生成する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、長時間露光画素と短時間露光画素の混在したＲＧＢ配列を有する画像データを入力し、ＲＧＢ各色単位で、同一色の長時間露光画素と短時間露光画素をブレンドして前記出力画像または前記中間画像の画素値を決定する。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、前記ＲＧＢ配列を有する画像データ中のＧ画素データのみを適用して前記適用ブレンド比率を決定する処理を行う。
【００３１】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画素情報合成部が、長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成ステップを実行し、
前記画素情報合成ステップは、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出する処理と、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定する処理と、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する処理を実行する画像処理方法にある。
【００３２】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画素情報合成部に、長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成ステップを実行させ、
前記画素情報合成ステップにおいて、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出する処理と、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定する処理と、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する処理を実行させるプログラムにある。
【００３３】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３４】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３５】
本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して広ダイナミックレンジ画像を生成する装置、方法が実現される。
具体的には、例えば、長時間露光画素と短時間露光画素の画素値合成処理を実行して出力画像の画素値を生成する画素情報合成部を有し、画素情報合成部は、複数の異なる画素の画素値に基づいて算出した複数のブレンド比率を算出し、複数のブレンド比率に基づいて、最終的な長時間露光画素と短時間露光画素の最終ブレンド比率を決定し、最終ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像の画素値を決定する。この処理によって広ダイナミックレンジ画像を生成することができる。
【図面の簡単な説明】
【００３６】
【図１】複数の画像撮影による広ダイナミックレンジ画像の撮影処理例について説明する図である。
【図２】撮像素子の構成例について説明する図である。
【図３】撮像装置の構成例について説明する図である。
【図４】撮像デバイスの構成例について説明する図である。
【図５】露光制御構成について説明する図である。
【図６】画素情報合成処理例について説明する図である。
【図７】ブレンド比率の設定例について説明する図である。
【図８】ブレンド比率の設定例について説明する図である。
【図９】ブレンド比率α＝αＬ×αＳを適用する効果について説明する図である。
【図１０】ブレンド比率α＝αＬ×αＳを適用する効果について説明する図である。
【図１１】ブレンド比率α＝αＬ×αＳを適用する効果について説明する図である。
【図１２】ブレンド比率α＝αＬ×αＳを適用する効果について説明する図である。
【図１３】画素情報合成処理例について説明する図である。
【図１４】画素情報合成処理例について説明する図である。
【図１５】画素情報合成処理例について説明する図である。
【図１６】画像処理装置の構成例について説明する図である。
【発明を実施するための形態】
【００３７】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮像素子の構成例について
２．画像処理装置の構成例について
３．撮像デバイスの構成例について
４．画素部の構成と露光時間設定例について
５．画像生成処理の実施例
５−１．実施例１．ベイヤ配列において行毎に露光時間を変更した場合の処理例
５−２．ブレンド比率α＝αＬ×αＳを適用した画素ブレンド処理を行う効果について
５−３．実施例２．ベイヤ配列において列毎に露光時間を変更した場合の処理例
５−４．実施例３．ベイヤ配列において斜め方向に露光時間を変更した場合の処理例
５−５．実施例４．４分割ベイヤ型配列において斜め方向に露光時間を変更した場合の処理例
６．画像処理装置のその他の構成例
７．本開示の構成のまとめ
【００３８】
［１．撮像素子の構成例について］
図２を参照して撮像素子の構成例について説明する。図２には、以下の３つの撮像素子構成例を示している。
（１）ベイヤ（Ｂａｙｅｒ）配列
（２）４分割ベイヤ型ＲＧＢ配列
（３）ＲＧＢＷ型配列
なお、ＲＧＢ配列中のＧについては、Ｒ列のＧをＧｒ、Ｂ列のＧをＧｂと表現する場合もある。
【００３９】
（１）ベイヤ（Ｂａｙｅｒ）配列は多くのカメラにおいて採用されている配列であり、このベイヤ配列を持つカラーフィルタを持つ撮像画像に対する信号処理はほぼ確立している。
しかし、（２）４分割ベイヤ型ＲＧＢ配列や、（３）ＲＧＢＷ型配列については、まだ、これらのフィルタを備えた撮像素子によって撮影された画像に対する信号処理について十分な検討がなされているとは言えないというのが現状である。
なお、（２）４分割ベイヤ型ＲＧＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
【００４０】
以下、この（２）４分割ベイヤ型ＲＧＢ配列を持つカラーフィルタを備えた撮像素子によって撮影される画像に対する信号処理を実行する画像処理装置について説明する。
【００４１】
［２．画像処理装置の構成例について］
図３に、本開示の画像処理装置の一構成例である撮像装置１００の構成例を示す。
図３は、撮像装置の構成例を示すブロック図である。光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、光電変換による画像データを出力する。出力画像データは信号処理部１０３に入力される。信号処理部１０３は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。
【００４２】
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
【００４３】
［３．撮像デバイスの構成例について］
次に、撮像デバイス１０２の構成例について図４を参照して説明する。
図４は、本開示の一実施例の撮像デバイス１０２の構成を示す図である。
撮像デバイス１０２は、図４に示すように画素部１５１、演算部１６０を有する。
演算部１６０はＡＤ変換部１６１、画素情報合成部１６２、出力部１６３を有する。
なお、演算部１６０は、画素部１５１と同一のチップ上の構成、すなわちオンチップにある設定としてもよいし、画素部１５１と異なるチップや装置内に設定する構成としてもよい。
【００４４】
画素部１５１は、多数の画素各々に被写体光に基づく電荷を蓄積し、高解像度画像である高画素数の画像データを出力する。
なお、画素部１５１は、長時間露光を行う高感度画素と、短時間露光を行う低感度画素を有する構成となっている。
【００４５】
撮像デバイス１０２の演算部１６０には、画素部１５１から、高感度画素情報１８１と、低感度画素情報１８２が入力される。
演算部１６０のＡ／Ｄ変換部１６１はこれらの入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を画素情報合成部１６２に入力する。
【００４６】
画素情報合成部１６２では、高感度画素情報１８１と、低感度画素情報１８２のブレンド処理により、出力画素値を算出する。例えば、４つの画素信号に基づいて出力画像の１つの画素値を算出する。このような画素値合成処理を実行して画素数を削減した広ダイナミックレンジ画像を生成して出力部１６３を介して出力する。
【００４７】
［４．画素部の構成と露光時間設定例について］
画素部１５１の構成と、露光時間の設定例について図５を参照して説明する。図５には以下の４つの例を示している。
（１）ベイヤ配列において行毎に露光時間を変更
（２）ベイヤ配列において列毎に露光時間を変更
（３）ベイヤ配列において斜め方向に露光時間を変更
（４）４分割ベイヤ型ＲＧＢ配列において斜め方向に露光時間を変更
図５に示す各配列に示す画素中、グレーの画素が露光時間の短い短時間露光画素、すなわち低感度画素である。
白い画素が、露光時間の長い長時間露光画素、すなわち高感度画素である。
【００４８】
以下、これらの各設定において撮影された画像に基づく広ダイナミックレンジ画像の生成処理について説明する。
【００４９】
［５．画像生成処理の実施例］
次に、画素情報合成部１６２における具体的な処理例について、図６以下を参照して説明する。
なお、以下において説明する処理は、撮像デバイス１０２の演算部１６０の画素情報合成部１０３の処理として説明するが、撮像デバイス１０２に画素情報合成部１０３を設定せず、例えば図３に示す信号処理部１０３に画素情報合成部１０３を設定して、信号処理部１０３内で以下に説明する処理を実行する構成としてもよい。
【００５０】
（５−１．実施例１．ベイヤ配列において行毎に露光時間を変更した場合の処理例）
図６に、ベイヤ配列において行毎に露光時間を変更した場合の処理例を示す。
図６には以下の３つのデータを示している。
（１ａ）撮像データ
（１ｂ）中間データ
（１ｃ）出力データ
【００５１】
（１ａ）撮像データは撮像素子の撮像データであり、ベイヤ配列において行毎に露光時間を変更した場合に撮影される画像を示している。
白い部分が長時間露光画素であり、グレー部分が短時間露光画素を示している。
例えばＧＳ００は、座標位置（０，０）のＧ画素の短時間（Ｓ）露光画素である。ＧＬ２０は、座標位置（２，０）のＧ画素の長時間（Ｌ）露光画素である。
なお、座標は、垂直下方向をｘ、水平右方向をｙとした座標（ｘ，ｙ）を適用して、例えば、ＧＳｘｙ、ＧＬｘｙ等の形式で示している。
【００５２】
本例では２行単位で長時間露光画素と短時間露光画素が交互に設定される。
なお、この露光時間制御は例えば制御部１０５の制御に基づいて実行される。
図６（１ａ）に示す撮像データは、図４に示す撮像デバイス１０２の画素部を構成する一部画素領域である４×４の画素領域を示している。
【００５３】
図６（１ｂ）に示す中間データは、４×４の（１ａ）撮像データに基づいて、画素情報合成部１６２の生成する中間データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×４の（１ａ）撮像データに基づいて、図６（１ｂ）に示す４×２の中間データを算出する。
【００５４】
図６（１ｃ）に示す出力データは、４×２の（１ｂ）中間データに基づいて、画素情報合成部１６２の生成する出力データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×４の（１ａ）撮像データに基づいて、４×２の（１ｂ）中間データを算出し、さらに、ステップ２（ＳＴＥＰ２）において、生成した中間データに基づいて２×２の（１ｃ）出力データを生成する。
（１ｃ）出力データは広ダイナミックレンジ画像として生成される出力データである。
【００５５】
このように、画素情報合成部１６２は、４×４の（１ａ）撮像データに含まれる長時間露光画素と短時間露光画素の画素値のブレンド処理によって、４×２の（１ｂ）中間データを算出し、さらに、中間データの構成画素のブレンド処理によって、２×２の（１ｃ）出力データを生成して出力する。
ステップ１，２の各処理について説明する。
【００５６】
（ステップ１）
ステップ１における（１ａ）撮像データから（１ｂ）中間データの生成処理は以下の複数の画素値のブレンド処理によって行われる。
ブレンド処理は、Ｇ画素に対する処理と、Ｒ、Ｂ画素に対する処理は、異なる処理となる。
なお、ＲＧＢ配列中のＧ画素については、以下Ｒ列のＧ画素をＧＲ、Ｂ列のＧ画素をＧＢとして説明する。
【００５７】
本実施例の（１ａ）撮像データから（１ｂ）中間データの生成処理において実行する画素の合成（ブレンド）処理は、Ｇ画素に対する処理、すなわちＧＲ／ＧＢ位相の画素に対する処理と、Ｒ、Ｂ画素に対する処理、すなわち、Ｒ／Ｂ位相の画素に対する処理を異なる処理として実行する。
以下、これらの各処理について説明する。
【００５８】
（ＧＲ／ＧＢ位相の処理）
例えば、図６（１ｂ）中間データの左上端に示すＧＷ００の画素値（ＧＷ００）は、（１ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
ＧＷ００＝α×ＧＳ００×ＧＡＩＮ＋（１．０−α）×ＧＬ２０
【００５９】
ただし、
ＧＳ００：画素位置（０，０）の短時間露光画素であるＧ画素の画素値、
ＧＬ２０：画素位置（２，０）の長時間露光画素であるＧ画素の画素値、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【００６０】
ここで、ブレンド比率αは、２つのブレンド比率、すなわち、
長時間露光画素値依存ブレンド比率：αＬ、
短時間露光画素値依存ブレンド比率：αＳ、
これら、αＬとαＳの積として算出する。
α＝αＬ×αＳ
である。
【００６１】
図６（１ｂ）に示す中間データ中のＧＷ００の算出処理において、
長時間露光画素値依存ブレンド比率：αＬ、
短時間露光画素値依存ブレンド比率：αＳ、
α＝αＬ×αＳ
これらの各値は、以下の式によって算出される。
αＬ＝ＣａｌｃＢｒａｔｅ（ＧＬ２０，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（ＧＳ００，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【００６２】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【００６３】
２つのブレンド比率αＬとαＳと、しきい値ＴＨＲ０，ＴＨＲ１との対応は具体的には、図７、図８に示す通りである。
なお、
ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ：長時間露光画素を適用したブレンド比率αＬの算出に適用するしきい値、
ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ：短時間露光画素を適用したブレンド比率αＳの算出に適用するしきい値、
である。
なお、短時間露光画素を適用したブレンド比率αＳは、例えば長時間露光画素を適用したブレンド比率αＬを前述のＧＡＩＮで除算した値に相当する。
【００６４】
このように、図６（１ｂ）に示す長時間露光画素と短時間露光画素が混在する撮像データから、画素数を半分とした図６（１ｂ）に示す中間データを生成する処理において、中間データのＧ画素値（ＧＷｘｙ）は、この画素値算出対象画素と同一列にある短時間露光画素ＧＳｘｙと長時間露光画素ＧＬｘｙを、上述のブレンド比率αを適用したブレンド処理によって決定する。
【００６５】
ここで、ブレンド比率αは、
長時間露光画素値依存ブレンド比率：αＬ、
短時間露光画素値依存ブレンド比率：αＳ、
これら２つの異なる画素依存のブレンド比率の積、すなわち、
α＝αＬ×αＳ
上記式によって算出する。
【００６６】
なお、上記のブレンド比率（α＝αＬ×αＳ）の算出処理に適用する、
長時間露光画素値依存ブレンド比率：αＬ、
短時間露光画素値依存ブレンド比率：αＳ、
これらの各値は、算出対象となるＧ画素のαブレンドに適用した長時間露光画素、短時間露光画素の画素値に基づいて算出する。
【００６７】
すなわち、長時間露光画素値依存ブレンド比率αＬは、
αＬ＝ＣａｌｃＢｒａｔｅ（ＧＬ２０，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
上記式のように、算出対象となるＧ画素のαブレンドに適用した長時間露光画素の画素値に従って算出する。
【００６８】
同様に、短時間露光画素値依存ブレンド比率αＳは、
αＳ＝ＣａｌｃＢｒａｔｅ（ＧＳ００，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
上記式のように、算出対象となるＧ画素のαブレンドに適用した短時間露光画素の画素値に従って算出する。
【００６９】
（Ｒ／Ｂ位相の処理）
次に、図６（１ｂ）中間データに設定するＲ画素とＢ画素の画素値の決定処理について説明する。
例えば、図６（１ｂ）に示すＲＷ０１の画素値（ＲＷ０１）は、（１ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
ＲＷ０１＝α×ＲＳ０１×ＧＡＩＮ＋（１．０−α）×ＲＬ２１
【００７０】
ただし、
ＲＳ０１：画素位置（０，１）の短時間露光画素であるＲ画素
ＲＬ２１：画素位置（２，１）の長時間露光画素であるＲ画素
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【００７１】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（（ＧＬ２０＋ＧＬ２２）／２．０，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（（ＧＳ００＋ＧＳ０２）／２．０，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【００７２】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【００７３】
このように、図６（１ｂ）に示す長時間露光画素と短時間露光画素が混在する撮像データから、画素数を半分とした図６（１ｂ）に示す中間データを生成する処理において、中間データのＲ画素値（ＲＷｘｙ）を算出する場合、画素値算出対象画素と同一列にある短時間露光画素ＲＳｘｙと長時間露光画素ＲＬｘｙを、上述のブレンド比率αを適用したブレンド処理によって決定する。
同様に、Ｂ画素値（ＢＷｘｙ）を算出する場合、画素値算出対象画素と同一列にある短時間露光画素ＢＳｘｙと長時間露光画素ＢＬｘｙを、上述のブレンド比率αを適用したブレンド処理によって決定する。
【００７４】
ここで、ブレンド比率αは、
長時間露光画素値依存ブレンド比率：αＬ、
短時間露光画素値依存ブレンド比率：αＳ、
これら２つの異なる画素依存のブレンド比率の積、すなわち、
α＝αＬ×αＳ
上記式によって算出する。
【００７５】
なお、上記のブレンド比率（α＝αＬ×αＳ）の算出処理に適用する、
長時間露光画素値依存ブレンド比率：αＬ、
短時間露光画素値依存ブレンド比率：αＳ、
これらの各値は、Ｇ画素の画素値を利用して算出する。
【００７６】
すなわち、長時間露光画素値依存ブレンド比率αＬは、
αＬ＝ＣａｌｃＢｒａｔｅ（（ＧＬ２０＋ＧＬ２２）／２．０，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
上記式のように、算出対象となるＲ画素またはＢ画素のαブレンドに適用した長時間露光画素に隣接する２つの長時間露光Ｇ画素の平均値を用いて算出する。
【００７７】
同様に、短時間露光画素値依存ブレンド比率αＳは、
αＳ＝ＣａｌｃＢｒａｔｅ（（ＧＳ００＋ＧＳ０２）／２．０，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
上記式のように、算出対象となるＲ画素またはＢ画素のαブレンドに適用した短時間露光画素に隣接する２つの短時間露光Ｇ画素の平均値を用いて算出する。
【００７８】
このようにブレンド比率αの算出処理には、ＲＧＢすべての画素について、Ｇ画素データを用いて行う。このように均一な処理を行うことで、ブレンド比率のばらつきが抑制され、自然な画像の生成が可能となる。
【００７９】
（ステップ２）
次に、図６に示すステップ２（ＳＴＥＰ２）の処理について説明する。ステップ２における（１ｂ）中間データから（１ｃ）出力データの生成処理は以下のように、（１ｂ）中間データに含まれる画素値の水平加算によって行う。
例えば、以下に示す１：１加算、または１：３／３：１加算のいずれかを適用する。
図６（１ｃ）出力データに示す画素値Ｇ００，Ｒ０１の算出処理例について説明する。
【００８０】
（１：１加算）
１：１加算では、（１ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（ＧＷ００＋ＧＷ０２）／２
Ｒ０１＝（ＲＷ０１＋ＲＷ０３）／２
【００８１】
（１：３／３：１加算）
１：３または３：１加算では、（１ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（３×ＧＷ００＋ＧＷ０２）／４
Ｒ０１＝（ＲＷ０１＋３×ＲＷ０３）／４
【００８２】
このように、図６に示す（１ｂ）中間データから（１ｃ）出力データの生成処理において、出力データの画素値は、中間データの同一行の同一色の画素の画素値を合成（ブレンド）する処理によって行われる。
上記の（１：１加算）は、２つの画素の平均値の算出であり、（１：３加算）は距離に応じた重み付け加算である。
これらのいずれかの処理によって、図６に示す（１ｂ）中間データから（１ｃ）出力データの生成処理を行う。
【００８３】
（５−２．ブレンド比率α＝αＬ×αＳを適用した画素ブレンド処理を行う効果について）
上述したように、本実施例において、
図６（１ａ）に示す撮像データから、（１ｂ）中間データを生成する処理に際しては、撮像データに含まれる長時間露光画素と短時間露光画素とのブレンド処理によって、中間データの画素値を算出している。
【００８４】
この中間データ生成処理における、長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率：αは、図７に示すグラフに従った長時間露光画素を適用したブレンド比率αＬと、図８に示すグラフに従った短時間露光画素を適用したブレンド比率αＳとの積によって算出している。すなわち、
α＝αＬ×αＳ
である。
【００８５】
例えば、
画素位置（ｘ１，ｙ１）の長時間露光画素の画素値：Ｌｘ１ｙ１、
画素位置（ｘ２，ｙ２）の短時間露光画素の画素値：Ｓｘ２ｙ２、
これらを適用して１つの画素値（中間データの画素値）を算出する処理を行う場合、
αＬ、αＳ、αを、以下の式によって算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（Ｌｘ１ｙ１，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（Ｓｘ２ｙ２，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【００８６】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【００８７】
このように、長時間露光画素を適用したブレンド比率αＬと、短時間露光画素を適用したブレンド比率αＳとの積によって算出するブレンド比率、すなわち、
α＝αＬ×αＳ
上記式に従ったブレンド比率αを算出して適用する効果について説明する。
【００８８】
従来は、例えば、
長時間露光画素を適用したブレンド比率αＬ、または、
短時間露光画素を適用したブレンド比率αＳ、
これらのいずれかをそのままブレンド比率αとして利用していた。
しかし、このように、長時間露光画素または短時間露光画素のいずれか一方の画素値に基づいてブレンド比率を決定してしまうと、短時間露光画素の撮影期間と、長時間露光画素の撮影期間の間に被写体の移動などに起因して大きな画素値変化が生じた場合、算出されるブレンド比率が好ましくない値に設定される可能性がある。
【００８９】
図９に画像撮影時における輝度変化の発生状況に応じた長時間露光画素と、短時間露光画素の画素値の例を示す。
図９に示すグラフは、
横軸に時間（ｔ）、
縦軸に画素値、
これらの関係を示すグラフである。
長時間露光は、時間Ｔ０〜Ｔ４が露光時間であり、
短時間露光は、時間Ｔ３〜Ｔ４が露光時間である。
【００９０】
撮影環境として，２つのパターンを例として示している。
（ａ）長時間露光処理期間と短時間露光処理期間の全期間において明るさの変化がない場合、
（ｂ）長時間露光処理期間の前半において明るいが、短時間露光処理期間（＝長時間露光処理期間の後半）において、暗くなる明るさの変化がある合、
これらの２つの例における長時間露光画素と、短時間露光画素の画素値の遷移を示している。
なお、ここで説明する明るさの変化は、主に、被写体の動きや、カメラの手ブレなどによる撮影被写体の移動に伴う明るさの変化である。具体的には、例えば明るい背景中で、何らかの低輝度の被写体が移動するといった動被写体などの影響による輝度変化である。
【００９１】
（ａ），（ｂ）のいずれの場合も、長時間露光画素は、露光期間中に飽和レベル（例えば画素値＝１０２３）に達している。
ケース（ａ）では時間Ｔ１、ケース（ｂ）では時間Ｔ２において、飽和画素値に達している。
【００９２】
一方、短時間露光画素は、
明るさに変化のない、ケース（ａ）では、長時間露光画素と同一の傾きで画素値が時間とともに上昇し、図に示す例では、最終的な画素値は、３２０に達している。
一方、ケース（ｂ）では、長時間露光画素より傾きが小さくなり、図に示す例では、最終的な画素値は、８０となっている。
このように、撮影環境における明るさの変化によって、長時間露光画素と短時間露光画素の一方の画素値にのみ大きな変化が発生してしまう場合がある。
ケース（ｂ）は、明るい背景に、例えば車が横切るなど、動被写体が撮影画像のある画素領域を移動した場合などの例である。
【００９３】
このような画素の明るさに変化が有る場合と、無い場合、これらの各場合に応じた上述のブレンド比率、すなわち、
α＝αＬ×αＳ
上記の本開示に従ったブレンド比率と、
従来の一般的なブレンド処理に適用する長時間露光画素の画素値にのみ依存したブレンド比率：αＬとの比較データを図１０〜図１２を参照して説明する。
【００９４】
なお、図１０〜図１２においては、
本開示に従ったブレンド比率は、αＬＳ（＝αＬ×αＳ）、
として表記し、
従来の一般的な長時間露光画素の画素値にのみ依存したブレンド比率は、αＬ、
と表記する。
【００９５】
図１０は、図９（ａ）の明るさの変化がない撮影環境で画像を撮影した場合の２つのブレンド比率、すなわち、
本開示に従ったブレンド比率：αＬＳ（＝αＬ×αＳ）、
従来の長時間露光画素の画素値にのみ依存したブレンド比率をαＬ、
これらを比較データとして示すグラフである。
横軸が長時間露光画素の画素値、
縦軸がブレンド比率：αＬＳ、αＬ、
これらを示している。
【００９６】
すなわち、図１０に示す例は、
ＤＳ：短時間露光画素の画素値、
ＤＬ：長時間露光画素の画素値、
ＧＡＩＮ：長時間露光時間と短時間露光時間の露光比、
としたとき、
ＤＳ＝（ＤＬ／ＧＡＩＮ）
が成立する場合の例である。
【００９７】
図１０のグラフに実線で示す従来の長時間露光画素の画素値にのみ依存したブレンド比率αＬのデータは、先に説明した図７に示すデータと同様のデータである。
一方、図１０のグラフに点線で示す本開示に従ったブレンド比率：αＬＳは、
αＬＳ＝αＬ×αＳ、
上記の演算結果である。
【００９８】
これらの２つのデータを比較すると、図１０のグラフから理解されるように、本開示に従ったブレンド比率：αＬＳは、しきい値ＴＨ０〜ＴＨ１の間で、従来の実線で示すブレンド比率：αＬより下側に設定されている。
これは、すなわち、しきい値ＴＨ０〜ＴＨ１の間では、本開示に従ったブレンド比率：αＬＳを適用した場合、従来の実線で示すブレンド比率：αＬより低いブレンド比率が適用されることを意味する。
【００９９】
ブレンド比率：αは、先に説明したように、
中間データの画素値＝α×（短時間露光画素の画素値）×ＧＡＩＮ＋（１．０−α）×（長時間露光画素の画素値）
として利用される値である。
従って、本開示に従ったブレンド比率：αＬＳを適用した場合、従来の実線で示すブレンド比率：αＬより、短時間露光画素のブレンド比率を低く設定し、長時間露光画素のブレンド比率を高く設定することになる。
すなわち、長時間露光画素の重みが高くなることを意味する。
【０１００】
図１１は、図９（ｂ）の撮影環境で画像を撮影した場合の２つのブレンド比率、すなわち、短時間露光の期間において、動被写体が横切るなどの影響で、短時間露光画素の画素値が低下した場合のデータを示すグラフである。
本開示に従ったブレンド比率：αＬＳ（＝αＬ×αＳ）、
従来の長時間露光画素の画素値にのみ依存したブレンド比率をαＬ、
これらを比較データとして示すグラフである。
横軸が長時間露光画素の画素値、
縦軸がブレンド比率：αＬＳ、αＬ、
これらを示している。
【０１０１】
すなわち、図１１に示す例は、
ＤＳ：短時間露光画素の画素値、
ＤＬ：長時間露光画素の画素値、
ＧＡＩＮ：長時間露光時間と短時間露光時間の露光比、
としたとき、
ＤＳ＝（ＤＬ／ＧＡＩＮ）×０．７５
が成立する場合の例である。
すなわち、短時間露光画素の画素値：ＤＳが、明るさに変化がなかった場合と比較して０．７５倍まで低下してしまった場合である。
【０１０２】
図１１に示す２つのデータを比較すると、本開示に従ったブレンド比率：αＬＳは、しきい値ＴＨ０〜ＴＨ１、さらにしきい値ＴＨ１を超えた部分で、従来の実線で示すブレンド比率：αＬより下側に設定されている。
これは、すなわち、しきい値ＴＨ０〜ＴＨ１、さらにしきい値ＴＨ１を超えた一部区間では、本開示に従ったブレンド比率：αＬＳを適用した場合、従来の実線で示すブレンド比率：αＬより低いブレンド比率が適用されることを意味する。
【０１０３】
前述のように、ブレンド比率：αは、
中間データの画素値＝α×（短時間露光画素の画素値）×ＧＡＩＮ＋（１．０−α）×（長時間露光画素の画素値）
として利用される値である。
従って、本開示に従ったブレンド比率：αＬＳを適用した場合、従来の実線で示すブレンド比率：αＬより、短時間露光画素のブレンド比率を低く設定し、長時間露光画素のブレンド比率を高く設定することになる。
長時間露光画素のブレンド比率を高める度合いは、先に説明した図１０の場合（明るさに変化がない場合）より、大きくなっている。
【０１０４】
本例は、図９（ｂ）の設定、すなわち、動被写体が横切るなどの影響で突然暗くなってしまい、短時間露光画素の露光期間が暗い動被写体を撮影してしまっている場合に相当する。この場合、短時間露光画素は、動被写体の影響で突然暗くなってしまった環境で得られた画素値であり、長時間露光画素の撮影被写体と異なる被写体を撮影していることになる。本開示の処理では、このような場合に、この短時間露光画素の画素値の重み（ブレンド比率）を低下させて、長時間露光画素の画素値の重み（ブレンド比率）を高く設定して、ブレンド処理を実行して出力画素値（本例では中間データの画素値）を設定する。
この構成により、動被写体の影響など、撮影環境の変化の影響を低減したブレンド処理による合成画素値の算出を実現している。
【０１０５】
図１２は、図１１と同様、図９（ｂ）の撮影環境で画像を撮影した場合の２つのブレンド比率、すなわち、短時間露光の期間において、動被写体が横切るなどの影響で、短時間露光画素の画素値が低下した場合のデータを示すグラフである。
ただし、図１１に示す例より、さらに、輝度変化が激しい場合であり、
ＤＳ＝（ＤＬ／ＧＡＩＮ）×０．５
が成立する場合の例である。
すなわち、短時間露光画素の画素値：ＤＳが、明るさに変化がなかった場合と比較して０．５倍、すなわち１／２まで低下してしまった場合である。
【０１０６】
図１２に示す２つのデータを比較すると、本開示に従ったブレンド比率：αＬＳは、しきい値ＴＨ０〜ＴＨ１、さらにしきい値ＴＨ１を超えた大部分の領域で、従来の実線で示すブレンド比率：αＬより下側に設定されている。
これは、すなわち、しきい値ＴＨ０〜ＴＨ１、さらにしきい値ＴＨ１を超えた一部区間では、本開示に従ったブレンド比率：αＬＳを適用した場合、従来の実線で示すブレンド比率：αＬより低いブレンド比率が適用されることを意味する。
【０１０７】
前述のように、ブレンド比率：αは、
中間データの画素値＝α×（短時間露光画素の画素値）×ＧＡＩＮ＋（１．０−α）×（長時間露光画素の画素値）
として利用される値である。
従って、本開示に従ったブレンド比率：αＬＳを適用した場合、従来の実線で示すブレンド比率：αＬより、短時間露光画素のブレンド比率を低く設定し、長時間露光画素のブレンド比率を高く設定することになる。
長時間露光画素のブレンド比率を高める度合いは、先に説明した図１０、図１１の場合より、さらに大きくなっている。
なお、短時間露光画素の出力が小さい場合は、ブレンド比率αＬＳは最大でも０．５となる。
【０１０８】
このように、撮影環境における明るさが変化した場合、本開示のブレンド比率、
α＝αＬ×αＳ
は、従来、多く利用されている一般的なブレンド比率αＬとは異なる値となる。
具体的には、図９（ｂ）に示すように短時間露光期間における撮影環境が、暗くなってしまった場合に、短時間露光画素のブレンド率を低下させて、長時間露光画素のブレンド比率を高めるという調整がなされる。
この構成により、動被写体の影響など、撮影環境の変化の影響を低減したブレンド処理による合成画素値の算出を実現している。
【０１０９】
（５−３．実施例２．ベイヤ配列において列毎に露光時間を変更した場合の処理例）
図１３に、ベイヤ配列において列毎に露光時間を変更した場合の処理例を示す。
図１３には以下の３つのデータを示している。
（２ａ）撮像データ
（２ｂ）中間データ
（２ｃ）出力データ
【０１１０】
（２ａ）撮像データは撮像素子の撮像データであり、ベイヤ配列において列毎に露光時間を変更した場合に撮影される画像を示している。
白い部分が長時間露光画素であり、濃いグレー部分が短時間露光画素を示している。
【０１１１】
本例では２列単位で長時間露光画素と短時間露光画素が交互に設定される。
なお、この露光時間制御は例えば制御部１０５の制御に基づいて実行される。
（２ａ）撮像データは４×４の画素領域を示している。
【０１１２】
（２ｂ）中間データは、４×４の（２ａ）撮像データに基づいて、画素情報合成部１６２の生成する中間データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×４の（２ａ）撮像データに基づいて、４×２の中間画素データを算出する。
【０１１３】
（２ｃ）出力データは、４×２の（２ｂ）中間画素データに基づいて、画素情報合成部１６２の生成する出力データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×４の（２ａ）撮像データに基づいて、４×２の（２ｂ）中間画素データを算出し、さらに、ステップ２（ＳＴＥＰ２）において、生成した中間データに基づいて２×２の（２ｃ）出力データを生成する。
（２ｃ）出力データは広ダイナミックレンジ画像として生成される出力データである。
【０１１４】
このように、画素情報合成部１６２は、４×４の（２ａ）撮像データに含まれる長時間露光画素と短時間露光画素の画素値のブレンド処理によって、２×２の（２ｃ）出力データの構成画素の各画素値を算出する。
ステップ１，２の各処理について説明する。
【０１１５】
（ステップ１）
ステップ１における（２ａ）撮像データから（２ｂ）中間データの生成処理は以下の複数の画素値のブレンド処理によって行われる。
ブレンド処理は、ＧＲ／ＧＢ位相と、Ｒ／Ｂ位相とで異なる処理として実行する。
【０１１６】
（ＧＲ／ＧＢ位相の処理）
例えば、図１３（２ｂ）に示すＧＷ００の画素値（ＧＷ００）は、（２ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
ＧＷ００＝α×ＧＳ００×ＧＡＩＮ＋（１．０−α）×ＧＬ０２
【０１１７】
ただし、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【０１１８】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（ＧＬ０２，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（ＧＳ００，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【０１１９】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【０１２０】
（Ｒ／Ｂ位相の処理）
例えば、図１３（２ｂ）に示すＢＷ１０の画素値（ＢＷ１０）は、（２ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
ＢＷ１０＝α×ＢＳ１０×ＧＡＩＮ＋（１．０−α）×ＢＬ１２
【０１２１】
ただし、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【０１２２】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（（ＧＬ０２＋ＧＬ２２）／２．０，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（（ＧＳ００＋ＧＳ２０）／２．０，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【０１２３】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【０１２４】
（ステップ２）
次に、図１３に示すステップ２（ＳＴＥＰ２）の処理について説明する。ステップ２における（２ｂ）中間データから（２ｃ）出力データの生成処理は以下のように、（２ｂ）中間データに含まれる画素値の垂直加算によって行う。
例えば、以下に示す１：１加算、または１：３／３：１加算のいずれかを適用する。
図１３（２ｃ）出力データに示す画素値Ｇ００，Ｒ０１の算出処理例について説明する。
【０１２５】
（１：１加算）
１：１加算では、（２ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（ＧＷ００＋ＧＷ２０）／２
Ｒ０１＝（ＲＷ０１＋ＲＷ２１）／２
【０１２６】
（１：３／３：１加算）
１：３または３：１加算では、（２ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（３×ＧＷ００＋ＧＷ２０）／４
Ｒ０１＝（ＲＷ０１＋３×ＲＷ２１）／４
【０１２７】
（５−４．実施例３．ベイヤ配列において斜め方向に露光時間を変更した場合の処理例）
図１４に、ベイヤ配列において斜め方向に露光時間を変更した場合の処理例を示す。
図１４には以下の３つのデータを示している。
（３ａ）撮像データ
（３ｂ）中間データ
（３ｃ）出力データ
【０１２８】
（３ａ）撮像データは撮像素子の撮像データであり、ベイヤ配列において斜め方向に露光時間を変更した場合に撮影される画像を示している。
白い部分が長時間露光画素であり、濃いグレー部分が短時間露光画素を示している。
【０１２９】
本例では斜め方向に４画素ブロック単位で長時間露光画素と短時間露光画素が交互に設定される。
なお、この露光時間制御は例えば制御部１０５の制御に基づいて実行される。
（３ａ）撮像データは４×４の画素領域を示している。
【０１３０】
（３ｂ）中間データは、４×４の（３ａ）撮像データに基づいて、画素情報合成部１６２の生成する中間データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×４の（３ａ）撮像データに基づいて、４×２の中間画素データを算出する。
【０１３１】
（３ｃ）出力データは、４×２の（３ｂ）中間画素データに基づいて、画素情報合成部１６２の生成する出力データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×４の（３ａ）撮像データに基づいて、４×２の（３ｂ）中間画素データを算出し、さらに、ステップ２（ＳＴＥＰ２）において、生成した中間データに基づいて２×２の（３ｃ）出力データを生成する。
（３ｃ）出力データは広ダイナミックレンジ画像として生成される出力データである。
【０１３２】
このように、画素情報合成部１６２は、４×４の（３ａ）撮像データに含まれる長時間露光画素と短時間露光画素の画素値のブレンド処理によって、２×２の（３ｃ）出力データの構成画素の各画素値を算出する。
ステップ１，２の各処理について説明する。
【０１３３】
（ステップ１）
ステップ１における（３ａ）撮像データから（３ｂ）中間データの生成処理は以下の複数の画素値のブレンド処理によって行われる。
ブレンド処理は、ＧＲ／ＧＢ位相と、Ｒ／Ｂ位相とで異なる処理として実行する。
【０１３４】
（ＧＲ／ＧＢ位相の処理）
例えば、図１４（３ｂ）に示すＧＷ００の画素値（ＧＷ００）は、（３ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
ＧＷ００＝α×ＧＳ００×ＧＡＩＮ＋（１．０−α）×ＧＬ０２
【０１３５】
ただし、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【０１３６】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（ＧＬ０２，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（ＧＳ００，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【０１３７】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【０１３８】
（Ｒ／Ｂ位相の処理）
例えば、図１４（３ｂ）に示すＢＷ１２の画素値（ＢＷ１２）は、（３ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
ＢＷ１２＝α×ＢＳ１２×ＧＡＩＮ＋（１．０−α）×ＢＬ３２
【０１３９】
ただし、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【０１４０】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝（ＣａｌｃＢｒａｔｅ（ＧＳ１１，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）＋ＣａｌｃＢｒａｔｅ（ＧＬ１３，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ））／２．０
αＳ＝（ＣａｌｃＢｒａｔｅ（ＧＬ３１，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）＋ＣａｌｃＢｒａｔｅ（ＧＳ３３，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ））／２．０
α＝αＬ×αＳ
【０１４１】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【０１４２】
（ステップ２）
次に、図１４に示すステップ２（ＳＴＥＰ２）の処理について説明する。ステップ２における（３ｂ）中間データから（３ｃ）出力データの生成処理は以下のように、（３ｂ）中間データに含まれる画素値の水平加算によって行う。
例えば、以下に示す１：１加算、または１：３／３：１加算のいずれかを適用する。
図１４（３ｃ）出力データに示す画素値Ｇ００，Ｒ０１の算出処理例について説明する。
【０１４３】
（１：１加算）
１：１加算では、（３ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（ＧＷ００＋ＧＷ０２）／２
Ｒ０１＝（ＲＷ０１＋ＲＷ０３）／２
【０１４４】
（１：３／３：１加算）
１：３または３：１加算では、（３ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（３×ＧＷ００＋ＧＷ０２）／４
Ｒ０１＝（ＲＷ０１＋３×ＲＷ０３）／４
【０１４５】
（５−５．実施例４．４分割ベイヤ型配列において斜め方向に露光時間を変更した場合の処理例）
図１５に、４分割ベイヤ型ＲＧＢ配列において斜め方向に露光時間を変更した場合の処理例を示す。
図１５には以下の３つのデータを示している。
（４ａ）撮像データ
（４ｂ）中間データ
（４ｃ）出力データ
【０１４６】
（４ａ）撮像データは撮像素子の撮像データであり、ベイヤ配列において列毎に露光時間を変更した場合に撮影される画像を示している。
白い部分が長時間露光画素であり、濃いグレー部分が短時間露光画素を示している。
【０１４７】
本例では斜め方向に長時間露光画素と短時間露光画素が交互に設定される。
なお、この露光時間制御は例えば制御部１０５の制御に基づいて実行される。
（４ａ）撮像データは４×６の画素領域を示している。
【０１４８】
（４ｂ）中間データは、４×６の（４ａ）撮像データに基づいて、画素情報合成部１６２の生成する中間データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×６の（４ａ）撮像データに基づいて、１２個の中間画素データを算出する。
【０１４９】
（４ｃ）出力データは、１２の（４ｂ）中間画素データに基づいて、画素情報合成部１６２の生成する出力データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×６の（４ａ）撮像データに基づいて、１２の（４ｂ）中間画素データを算出し、さらに、ステップ２（ＳＴＥＰ２）において、生成した中間データに基づいて２×３の（４ｃ）出力データを生成する。
（４ｃ）出力データは広ダイナミックレンジ画像として生成される出力データである。
ステップ１，２の各処理について説明する。
【０１５０】
（ステップ１）
ステップ１における（４ａ）撮像データから（４ｂ）中間データの生成処理は以下の複数の画素値の斜め加算処理によって行われる。
例えば、図１５（４ｂ）に示すＧＬＡ００の画素値（ＧＬＡ００）、ＧＳＡ００の画素値（ＧＳＡ００）は、（４ａ）撮像データに含まれる複数の画素の画素値を適用した以下の式に従った斜め加算処理によって算出する。
ＧＬＡ００＝（ＧＬ００＋ＧＬ０１）／２
ＧＳＡ００＝（ＧＳ０１＋ＧＳ１１）／２
【０１５１】
（ステップ２）
次に、図１５に示すステップ２（ＳＴＥＰ２）の処理について説明する。ステップ２における（４ｂ）中間データから（４ｃ）出力データの生成処理は以下のように、（４ｂ）中間データに含まれる画素値のブレンド処理によって行われる。
ブレンド処理は、ＧＲ／ＧＢ位相と、Ｒ／Ｂ位相とで異なる処理として実行する。
【０１５２】
（ＧＲ／ＧＢ位相の処理）
例えば、図１５（４ｃ）に示すＧ００の画素値（Ｇ００）は、（４ｂ）中間データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
Ｇ００＝α×ＧＳＡ００×ＧＡＩＮ＋（１．０−α）×ＧＬＡ００
【０１５３】
ただし、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【０１５４】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（ＧＬＡ００，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（ＧＳＡ００，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【０１５５】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【０１５６】
（Ｒ／Ｂ位相の処理）
例えば、図１５（４ｃ）に示すＲ０１の画素値（Ｒ０１）は、（４ｂ）中間データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
Ｒ０１＝α×ＲＳＡ０１×ＧＡＩＮ＋（１．０−α）×ＲＬＡ０１
【０１５７】
ただし、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【０１５８】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（（ＧＬＡ００＋ＧＬＡ０２）／２．０，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（（ＧＳＡ００＋ＧＳＡ０２）／２．０，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【０１５９】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【０１６０】
なお、上述した実施例で説明した出力画素値の生成処理は、図４に示す撮像デバイス１０２内の画素情報合成部１６２において実行する構成としてもよいし、図３に示す信号処理部１０３において実行する構成としてもよい。
なお、前述した実施例において説明した露光時間制御や演算処理は、例えば制御部において実行するプログラムに従った処理として実行することが可能である。
【０１６１】
［６．画像処理装置のその他の構成例］
先に、図３を参照して説明したように本開示の画像処理装置は、図３に示す構成とすることが可能であるが、その他の構成とすることも可能である。例えば図１６に示す設定としてもよい。
【０１６２】
図１６には、レンズ２０１、撮像デバイス２０２、信号処理部（ＤＳＰ）２０３、記録再生部２０４、ユーザ入力部２１０、システムバス２０８を有する画像処理装置を示している。
【０１６３】
処理の流れは以下の通りとなる。シャッタ（ユーザ入力部２１０）が押下されるなどして、撮像を開始したタイミングで、撮像デバイス２０２の固体撮像素子（例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ））は、レンズ２０１（光学系）から入射された光学像を２次元の電気信号（以下、画像データ）に変換する。
【０１６４】
出力は、例えば先に、図５を参照して説明したすように、空間的に露光時間を変えて撮像されたＲＡＷ画像となる。その後、以下の順番で信号処理が行われる。
（１）ワイドＤ合成＋画素加算（配列、露光方法により実施例１〜４）
（２）カメラ信号処理（ホワイトバランス、デモザイク、ガンマ補正など）
（３）データ圧縮（静止画の場合ＪＰＥＧなど，動画の場合Ｈ．２６４など）
【０１６５】
上記（１）〜（３）の信号処理は撮像デバイス２０２、信号処理部２０３のどちらで行ってもよい。なお、画素加算（垂直加算、水平加算，斜め加算）を撮像素子内部で行う場合、アナログ加算（ＦＤ（フローティングディフユージョン）加算、ＳＦ（ソースフォロア）加算）、デジタル加算などが適用可能である。
【０１６６】
また、前述した実施例１〜３のステップ１，２の順番は入れ替えることができる。出力画像として生成した画像は、圧縮データとして記録再生部２０４に保存される。
【０１６７】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１６８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成部を有し、
前記画素情報合成部は、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出し、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定し、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する画像処理装置。
【０１６９】
（２）前記画素情報合成部は、ブレンド対象となる複数の異なる露光時間の画素の画素値に基づいて前記複数のブレンド比率を算出し、算出した前記複数のブレンド比率に基づいて、前記適用ブレンド比率を決定する処理を実行する前記（１）に記載の画像処理装置。
（３）前記画素情報合成部は、ブレンド対象となる複数の異なる露光時間の画素の近傍画素の画素値に基づいて前記複数のブレンド比率を算出し、算出した前記複数のブレンド比率に基づいて、前記適用ブレンド比率を決定する処理を実行する前記（１）または（２）に記載の画像処理装置。
【０１７０】
（４）前記画素情報合成部は、長時間露光画素の画素値に依存した長時間露光画素値依存ブレンド比率αＬと、短時間露光画素の画素値に依存した短時間露光画素値依存ブレンド比率αＳを算出し、算出した長時間露光画素値依存ブレンド比率αＬと、短時間露光画素値依存ブレンド比率αＳとの乗算処理結果、すなわち、
α＝αＬ×αＳ
上記αを短時間露光画素のブレンド量を示す前記適用ブレンド比率として決定する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記画素情報合成部は、前記長時間露光画素値依存ブレンド比率αＬを、
ブレンド処理対象画素となる色Ｃの長時間露光画素の画素値ＣＬが、
ＣＬ＜ＴＨ０Ｌのとき、αＬ＝０、
ＴＨ０Ｌ≦ＣＬ≦ＴＨ１Ｌのとき、αＬ＝（ＣＬ−ＴＨ０Ｌ）／（ＴＨ１Ｌ−ＴＨ０Ｌ）、
ＴＨ１Ｌ≦ＣＬのとき、αＬ＝１．０
として決定し、
前記短時間露光画素値依存ブレンド比率αＳを、
ブレンド処理対象画素となる色Ｃの短時間露光画素の画素値ＣＳが、
ＣＳ＜ＴＨ０Ｓのとき、αＳ＝０、
ＴＨ０Ｓ≦ＣＳ≦ＴＨ１Ｓのとき、αＬ＝（ＣＬ−ＴＨ０Ｓ）／（ＴＨ１Ｓ−ＴＨ０Ｓ）、
ＴＨ１Ｓ≦ＣＬのとき、αＬ＝１．０、
として決定する、
ただし、ＴＨ０Ｌ、ＴＨＬ１、ＴＨＳ０、ＴＨＳ１は予め規定したしきい値である、
上記設定とした前記長時間露光画素値依存ブレンド比率αＬと、前記短時間露光画素値依存ブレンド比率αＳを決定する前記（４）に記載の画像処理装置。
【０１７１】
（６）前記画素情報合成部は、前記出力画像または中間画像の色Ｃの画素値ＣＷを、
ＣＷ＝α×ＣＳ×ＧＡＩＮ＋（１．０−α）×ＣＬ
ただし、
ＣＬは、色Ｃの長時間露光画素の画素値、
ＣＳは、色Ｃの短時間露光画素の画素値、
ＧＡＩＮは、長時間露光画素と短時間露光画素との露光比、
αは、前記適用ブレンド比率、
上記式に従って前記出力画像または前記中間画像の色Ｃの画素値ＣＷを算出する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１７２】
（７）前記画素情報合成部は、前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理によって中間画像を生成し、さらに、生成した中間画像を構成する同一色の画素値のブレンド処理により最終的な出力画像を生成する前記（１）〜（６）いずれかに記載の画像処理装置。
（８）前記画素情報合成部は、長時間露光画素と短時間露光画素の混在したＲＧＢ配列を有する画像データを入力し、ＲＧＢ各色単位で、同一色の長時間露光画素と短時間露光画素をブレンドして前記出力画像または前記中間画像の画素値を決定する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記画素情報合成部は、前記ＲＧＢ配列を有する画像データ中のＧ画素データのみを適用して前記適用ブレンド比率を決定する処理を行う前記（８）に記載の画像処理装置。
【０１７３】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【０１７４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１７５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１７６】
以上、説明したように、本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して広ダイナミックレンジ画像を生成する装置、方法が実現される。
具体的には、例えば、長時間露光画素と短時間露光画素の画素値合成処理を実行して出力画像の画素値を生成する画素情報合成部を有し、画素情報合成部は、複数の異なる画素の画素値に基づいて算出した複数のブレンド比率を算出し、複数のブレンド比率に基づいて、最終的な長時間露光画素と短時間露光画素の最終ブレンド比率を決定し、最終ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像の画素値を決定する。この処理によって広ダイナミックレンジ画像を生成することができる。
【符号の説明】
【０１７７】
１０ 輝度閾値レベル
１１ 高輝度領域
１２ 低輝度領域
１００ 撮像装置
１０１ 光学レンズ
１０２ 撮像デバイス
１０３ 信号処理部
１０５ 制御部
１２０ 出力画像
１５１ 画素部
１６０ 演算部
１６１ ＡＤ変換部
１６２ 画素情報合成部
１６３ 出力部
１８１ 高感度画素情報
１８２ 低感度画素情報
２００ 画像処理装置
２０１ レンズ
２０２ 撮像デバイス
２０３ 信号処理部（ＤＳＰ）
２０４ 記録再生部
２０８ システムバス
２１０ ユーザ入力部
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ダイナミックレンジの広い画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像デバイスは入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
【０００３】
このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【０００４】
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
【０００５】
このような処理を実現する手法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
【０００６】
例えば特許文献１（特開２０００−５０１５１号公報）は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。
【０００７】
例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
【０００８】
時間ｔ０〜ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。
【０００９】
しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。
【００１０】
そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【００１１】
なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
【００１２】
このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。
【００１３】
しかしながら、上記の特許文献１に記載された構成は、いずれも長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。
【００１４】
このように、露光時間を変えた複数枚の画像を利用することで、広ダイナミックレンジ画像（ＨＤＲ画像）を生成可能であるが、この複数画像に基づく処理には、例えば以下の課題がある。
課題１：複数回の撮影を行うことが必要であり、さらに、これらの画像を格納するメモリを必要とする点。
課題２：撮影タイミングが異なる複数の画像を合成したり、長時間露光の撮影データを用いるため、カメラのブレに弱い点。
【００１５】
また、これまでの多くのカメラに利用される撮像素子には、例えばＲＧＢ配列からなるカラーフィルタが装着され、各画素に特定の波長光を入射する構成となっている。
具体的には、例えばベイヤ（Ｂａｙｅｒ）配列を持つカラーフィルタが多く利用されている。
【００１６】
ベイヤ配列の撮像画像は、撮像素子の各画素にＲＧＢいずれかの色に対応する画素値のみが設定されたいわゆるモザイク画像となる。カメラの信号処理部は、このモザイク画像に対して画素値補間などの様々な信号処理を施して各画素にＲＧＢの全画素値を設定するデモザイク処理等を行い、カラー画像を生成して出力する。
【００１７】
このベイヤ配列に従ったカラーフィルタを備えた撮像画像に対する信号処理については、すでに多くの検討がなされ、ある程度、技術的に確立されていると言える。しかし、ベイヤ配列と異なる配列を持つ画像に対する信号処理については、まだ十分な検討がなされていないというのが現状である。
【００１８】
なお、例えば、撮像素子に付属するフィルタとしてＲＧＢの各色に加え、全波長透過型のＷ（Ｗｈｉｔｅ）画素を備えたＲＧＢＷ配列を持つフィルタを備えた撮像装置の撮影画像に対する補正処理について、特許文献２（特開２０１１−５５０３８号公報）などに記載がある。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２０００−５０１５１号公報
【特許文献２】特開２０１１−５５０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
本開示は、例えばこのような状況に鑑みてなされたものであり、１回の撮影画像に基づいて広ダイナミックレンジ画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００２１】
さらに、本開示は、例えばベイヤ配列と異なる配列を持つ撮影画像に基づいて広ダイナミックレンジ画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
本開示の第１の側面は、
長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成部を有し、
前記画素情報合成部は、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出し、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定し、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する画像処理装置にある。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、ブレンド対象となる複数の異なる露光時間の画素の画素値に基づいて前記複数のブレンド比率を算出し、算出した前記複数のブレンド比率に基づいて、前記適用ブレンド比率を決定する処理を実行する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、ブレンド対象となる複数の異なる露光時間の画素の近傍画素の画素値に基づいて前記複数のブレンド比率を算出し、算出した前記複数のブレンド比率に基づいて、前記適用ブレンド比率を決定する処理を実行する。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、長時間露光画素の画素値に依存した長時間露光画素値依存ブレンド比率αＬと、短時間露光画素の画素値に依存した短時間露光画素値依存ブレンド比率αＳを算出し、算出した長時間露光画素値依存ブレンド比率αＬと、短時間露光画素値依存ブレンド比率αＳとの乗算処理結果、すなわち、
α＝αＬ×αＳ、
上記αを短時間露光画素のブレンド量を示す前記適用ブレンド比率として決定する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、
前記長時間露光画素値依存ブレンド比率αＬを、
ブレンド処理対象画素となる色Ｃの長時間露光画素の画素値ＣＬが、
ＣＬ＜ＴＨ０Ｌのとき、αＬ＝０、
ＴＨ０Ｌ≦ＣＬ≦ＴＨ１Ｌのとき、αＬ＝（ＣＬ−ＴＨ０Ｌ）／（ＴＨ１Ｌ−ＴＨ０Ｌ）、
ＴＨ１Ｌ≦ＣＬのとき、αＬ＝１．０
として決定し、
前記短時間露光画素値依存ブレンド比率αＳを、
ブレンド処理対象画素となる色Ｃの短時間露光画素の画素値ＣＳが、
ＣＳ＜ＴＨ０Ｓのとき、αＳ＝０、
ＴＨ０Ｓ≦ＣＳ≦ＴＨ１Ｓのとき、αＬ＝（ＣＬ−ＴＨ０Ｓ）／（ＴＨ１Ｓ−ＴＨ０Ｓ）、
ＴＨ１Ｓ≦ＣＬのとき、αＬ＝１．０、
として決定する、
ただし、ＴＨ０Ｌ、ＴＨＬ１、ＴＨＳ０、ＴＨＳ１は予め規定したしきい値である、
上記設定とした前記長時間露光画素値依存ブレンド比率αＬと、前記短時間露光画素値依存ブレンド比率αＳを決定する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、前記出力画像または中間画像の色Ｃの画素値ＣＷを、
ＣＷ＝α×ＣＳ×ＧＡＩＮ＋（１．０−α）×ＣＬ
ただし、
ＣＬは、色Ｃの長時間露光画素の画素値、
ＣＳは、色Ｃの短時間露光画素の画素値、
ＧＡＩＮは、長時間露光画素と短時間露光画素との露光比、
αは、前記適用ブレンド比率、
上記式に従って前記出力画像または前記中間画像の色Ｃの画素値ＣＷを算出する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理によって中間画像を生成し、さらに、生成した中間画像を構成する同一色の画素値のブレンド処理により最終的な出力画像を生成する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、長時間露光画素と短時間露光画素の混在したＲＧＢ配列を有する画像データを入力し、ＲＧＢ各色単位で、同一色の長時間露光画素と短時間露光画素をブレンドして前記出力画像または前記中間画像の画素値を決定する。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、前記ＲＧＢ配列を有する画像データ中のＧ画素データのみを適用して前記適用ブレンド比率を決定する処理を行う。
【００３１】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画素情報合成部が、長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成ステップを実行し、
前記画素情報合成ステップは、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出する処理と、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定する処理と、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する処理を実行する画像処理方法にある。
【００３２】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画素情報合成部に、長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成ステップを実行させ、
前記画素情報合成ステップにおいて、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出する処理と、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定する処理と、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する処理を実行させるプログラムにある。
【００３３】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３４】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３５】
本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して広ダイナミックレンジ画像を生成する装置、方法が実現される。
具体的には、例えば、長時間露光画素と短時間露光画素の画素値合成処理を実行して出力画像の画素値を生成する画素情報合成部を有し、画素情報合成部は、複数の異なる画素の画素値に基づいて算出した複数のブレンド比率を算出し、複数のブレンド比率に基づいて、最終的な長時間露光画素と短時間露光画素の最終ブレンド比率を決定し、最終ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像の画素値を決定する。この処理によって広ダイナミックレンジ画像を生成することができる。
【図面の簡単な説明】
【００３６】
【図１】複数の画像撮影による広ダイナミックレンジ画像の撮影処理例について説明する図である。
【図２】撮像素子の構成例について説明する図である。
【図３】撮像装置の構成例について説明する図である。
【図４】撮像デバイスの構成例について説明する図である。
【図５】露光制御構成について説明する図である。
【図６】画素情報合成処理例について説明する図である。
【図７】ブレンド比率の設定例について説明する図である。
【図８】ブレンド比率の設定例について説明する図である。
【図９】ブレンド比率α＝αＬ×αＳを適用する効果について説明する図である。
【図１０】ブレンド比率α＝αＬ×αＳを適用する効果について説明する図である。
【図１１】ブレンド比率α＝αＬ×αＳを適用する効果について説明する図である。
【図１２】ブレンド比率α＝αＬ×αＳを適用する効果について説明する図である。
【図１３】画素情報合成処理例について説明する図である。
【図１４】画素情報合成処理例について説明する図である。
【図１５】画素情報合成処理例について説明する図である。
【図１６】画像処理装置の構成例について説明する図である。
【発明を実施するための形態】
【００３７】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮像素子の構成例について
２．画像処理装置の構成例について
３．撮像デバイスの構成例について
４．画素部の構成と露光時間設定例について
５．画像生成処理の実施例
５−１．実施例１．ベイヤ配列において行毎に露光時間を変更した場合の処理例
５−２．ブレンド比率α＝αＬ×αＳを適用した画素ブレンド処理を行う効果について
５−３．実施例２．ベイヤ配列において列毎に露光時間を変更した場合の処理例
５−４．実施例３．ベイヤ配列において斜め方向に露光時間を変更した場合の処理例
５−５．実施例４．４分割ベイヤ型配列において斜め方向に露光時間を変更した場合の処理例
６．画像処理装置のその他の構成例
７．本開示の構成のまとめ
【００３８】
［１．撮像素子の構成例について］
図２を参照して撮像素子の構成例について説明する。図２には、以下の３つの撮像素子構成例を示している。
（１）ベイヤ（Ｂａｙｅｒ）配列
（２）４分割ベイヤ型ＲＧＢ配列
（３）ＲＧＢＷ型配列
なお、ＲＧＢ配列中のＧについては、Ｒ列のＧをＧｒ、Ｂ列のＧをＧｂと表現する場合もある。
【００３９】
（１）ベイヤ（Ｂａｙｅｒ）配列は多くのカメラにおいて採用されている配列であり、このベイヤ配列を持つカラーフィルタを持つ撮像画像に対する信号処理はほぼ確立している。
しかし、（２）４分割ベイヤ型ＲＧＢ配列や、（３）ＲＧＢＷ型配列については、まだ、これらのフィルタを備えた撮像素子によって撮影された画像に対する信号処理について十分な検討がなされているとは言えないというのが現状である。
なお、（２）４分割ベイヤ型ＲＧＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
【００４０】
以下、この（２）４分割ベイヤ型ＲＧＢ配列を持つカラーフィルタを備えた撮像素子によって撮影される画像に対する信号処理を実行する画像処理装置について説明する。
【００４１】
［２．画像処理装置の構成例について］
図３に、本開示の画像処理装置の一構成例である撮像装置１００の構成例を示す。
図３は、撮像装置の構成例を示すブロック図である。光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、光電変換による画像データを出力する。出力画像データは信号処理部１０３に入力される。信号処理部１０３は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。
【００４２】
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
【００４３】
［３．撮像デバイスの構成例について］
次に、撮像デバイス１０２の構成例について図４を参照して説明する。
図４は、本開示の一実施例の撮像デバイス１０２の構成を示す図である。
撮像デバイス１０２は、図４に示すように画素部１５１、演算部１６０を有する。
演算部１６０はＡＤ変換部１６１、画素情報合成部１６２、出力部１６３を有する。
なお、演算部１６０は、画素部１５１と同一のチップ上の構成、すなわちオンチップにある設定としてもよいし、画素部１５１と異なるチップや装置内に設定する構成としてもよい。
【００４４】
画素部１５１は、多数の画素各々に被写体光に基づく電荷を蓄積し、高解像度画像である高画素数の画像データを出力する。
なお、画素部１５１は、長時間露光を行う高感度画素と、短時間露光を行う低感度画素を有する構成となっている。
【００４５】
撮像デバイス１０２の演算部１６０には、画素部１５１から、高感度画素情報１８１と、低感度画素情報１８２が入力される。
演算部１６０のＡ／Ｄ変換部１６１はこれらの入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を画素情報合成部１６２に入力する。
【００４６】
画素情報合成部１６２では、高感度画素情報１８１と、低感度画素情報１８２のブレンド処理により、出力画素値を算出する。例えば、４つの画素信号に基づいて出力画像の１つの画素値を算出する。このような画素値合成処理を実行して画素数を削減した広ダイナミックレンジ画像を生成して出力部１６３を介して出力する。
【００４７】
［４．画素部の構成と露光時間設定例について］
画素部１５１の構成と、露光時間の設定例について図５を参照して説明する。図５には以下の４つの例を示している。
（１）ベイヤ配列において行毎に露光時間を変更
（２）ベイヤ配列において列毎に露光時間を変更
（３）ベイヤ配列において斜め方向に露光時間を変更
（４）４分割ベイヤ型ＲＧＢ配列において斜め方向に露光時間を変更
図５に示す各配列に示す画素中、グレーの画素が露光時間の短い短時間露光画素、すなわち低感度画素である。
白い画素が、露光時間の長い長時間露光画素、すなわち高感度画素である。
【００４８】
以下、これらの各設定において撮影された画像に基づく広ダイナミックレンジ画像の生成処理について説明する。
【００４９】
［５．画像生成処理の実施例］
次に、画素情報合成部１６２における具体的な処理例について、図６以下を参照して説明する。
なお、以下において説明する処理は、撮像デバイス１０２の演算部１６０の画素情報合成部１０３の処理として説明するが、撮像デバイス１０２に画素情報合成部１０３を設定せず、例えば図３に示す信号処理部１０３に画素情報合成部１０３を設定して、信号処理部１０３内で以下に説明する処理を実行する構成としてもよい。
【００５０】
（５−１．実施例１．ベイヤ配列において行毎に露光時間を変更した場合の処理例）
図６に、ベイヤ配列において行毎に露光時間を変更した場合の処理例を示す。
図６には以下の３つのデータを示している。
（１ａ）撮像データ
（１ｂ）中間データ
（１ｃ）出力データ
【００５１】
（１ａ）撮像データは撮像素子の撮像データであり、ベイヤ配列において行毎に露光時間を変更した場合に撮影される画像を示している。
白い部分が長時間露光画素であり、グレー部分が短時間露光画素を示している。
例えばＧＳ００は、座標位置（０，０）のＧ画素の短時間（Ｓ）露光画素である。ＧＬ２０は、座標位置（２，０）のＧ画素の長時間（Ｌ）露光画素である。
なお、座標は、垂直下方向をｘ、水平右方向をｙとした座標（ｘ，ｙ）を適用して、例えば、ＧＳｘｙ、ＧＬｘｙ等の形式で示している。
【００５２】
本例では２行単位で長時間露光画素と短時間露光画素が交互に設定される。
なお、この露光時間制御は例えば制御部１０５の制御に基づいて実行される。
図６（１ａ）に示す撮像データは、図４に示す撮像デバイス１０２の画素部を構成する一部画素領域である４×４の画素領域を示している。
【００５３】
図６（１ｂ）に示す中間データは、４×４の（１ａ）撮像データに基づいて、画素情報合成部１６２の生成する中間データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×４の（１ａ）撮像データに基づいて、図６（１ｂ）に示す４×２の中間データを算出する。
【００５４】
図６（１ｃ）に示す出力データは、４×２の（１ｂ）中間データに基づいて、画素情報合成部１６２の生成する出力データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×４の（１ａ）撮像データに基づいて、４×２の（１ｂ）中間データを算出し、さらに、ステップ２（ＳＴＥＰ２）において、生成した中間データに基づいて２×２の（１ｃ）出力データを生成する。
（１ｃ）出力データは広ダイナミックレンジ画像として生成される出力データである。
【００５５】
このように、画素情報合成部１６２は、４×４の（１ａ）撮像データに含まれる長時間露光画素と短時間露光画素の画素値のブレンド処理によって、４×２の（１ｂ）中間データを算出し、さらに、中間データの構成画素のブレンド処理によって、２×２の（１ｃ）出力データを生成して出力する。
ステップ１，２の各処理について説明する。
【００５６】
（ステップ１）
ステップ１における（１ａ）撮像データから（１ｂ）中間データの生成処理は以下の複数の画素値のブレンド処理によって行われる。
ブレンド処理は、Ｇ画素に対する処理と、Ｒ、Ｂ画素に対する処理は、異なる処理となる。
なお、ＲＧＢ配列中のＧ画素については、以下Ｒ列のＧ画素をＧＲ、Ｂ列のＧ画素をＧＢとして説明する。
【００５７】
本実施例の（１ａ）撮像データから（１ｂ）中間データの生成処理において実行する画素の合成（ブレンド）処理は、Ｇ画素に対する処理、すなわちＧＲ／ＧＢ位相の画素に対する処理と、Ｒ、Ｂ画素に対する処理、すなわち、Ｒ／Ｂ位相の画素に対する処理を異なる処理として実行する。
以下、これらの各処理について説明する。
【００５８】
（ＧＲ／ＧＢ位相の処理）
例えば、図６（１ｂ）中間データの左上端に示すＧＷ００の画素値（ＧＷ００）は、（１ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
ＧＷ００＝α×ＧＳ００×ＧＡＩＮ＋（１．０−α）×ＧＬ２０
【００５９】
ただし、
ＧＳ００：画素位置（０，０）の短時間露光画素であるＧ画素の画素値、
ＧＬ２０：画素位置（２，０）の長時間露光画素であるＧ画素の画素値、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【００６０】
ここで、ブレンド比率αは、２つのブレンド比率、すなわち、
長時間露光画素値依存ブレンド比率：αＬ、
短時間露光画素値依存ブレンド比率：αＳ、
これら、αＬとαＳの積として算出する。
α＝αＬ×αＳ
である。
【００６１】
図６（１ｂ）に示す中間データ中のＧＷ００の算出処理において、
長時間露光画素値依存ブレンド比率：αＬ、
短時間露光画素値依存ブレンド比率：αＳ、
α＝αＬ×αＳ
これらの各値は、以下の式によって算出される。
αＬ＝ＣａｌｃＢｒａｔｅ（ＧＬ２０，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（ＧＳ００，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【００６２】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【００６３】
２つのブレンド比率αＬとαＳと、しきい値ＴＨＲ０，ＴＨＲ１との対応は具体的には、図７、図８に示す通りである。
なお、
ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ：長時間露光画素を適用したブレンド比率αＬの算出に適用するしきい値、
ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ：短時間露光画素を適用したブレンド比率αＳの算出に適用するしきい値、
である。
なお、短時間露光画素を適用したブレンド比率αＳは、例えば長時間露光画素を適用したブレンド比率αＬを前述のＧＡＩＮで除算した値に相当する。
【００６４】
このように、図６（１ｂ）に示す長時間露光画素と短時間露光画素が混在する撮像データから、画素数を半分とした図６（１ｂ）に示す中間データを生成する処理において、中間データのＧ画素値（ＧＷｘｙ）は、この画素値算出対象画素と同一列にある短時間露光画素ＧＳｘｙと長時間露光画素ＧＬｘｙを、上述のブレンド比率αを適用したブレンド処理によって決定する。
【００６５】
ここで、ブレンド比率αは、
長時間露光画素値依存ブレンド比率：αＬ、
短時間露光画素値依存ブレンド比率：αＳ、
これら２つの異なる画素依存のブレンド比率の積、すなわち、
α＝αＬ×αＳ
上記式によって算出する。
【００６６】
なお、上記のブレンド比率（α＝αＬ×αＳ）の算出処理に適用する、
長時間露光画素値依存ブレンド比率：αＬ、
短時間露光画素値依存ブレンド比率：αＳ、
これらの各値は、算出対象となるＧ画素のαブレンドに適用した長時間露光画素、短時間露光画素の画素値に基づいて算出する。
【００６７】
すなわち、長時間露光画素値依存ブレンド比率αＬは、
αＬ＝ＣａｌｃＢｒａｔｅ（ＧＬ２０，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
上記式のように、算出対象となるＧ画素のαブレンドに適用した長時間露光画素の画素値に従って算出する。
【００６８】
同様に、短時間露光画素値依存ブレンド比率αＳは、
αＳ＝ＣａｌｃＢｒａｔｅ（ＧＳ００，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
上記式のように、算出対象となるＧ画素のαブレンドに適用した短時間露光画素の画素値に従って算出する。
【００６９】
（Ｒ／Ｂ位相の処理）
次に、図６（１ｂ）中間データに設定するＲ画素とＢ画素の画素値の決定処理について説明する。
例えば、図６（１ｂ）に示すＲＷ０１の画素値（ＲＷ０１）は、（１ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
ＲＷ０１＝α×ＲＳ０１×ＧＡＩＮ＋（１．０−α）×ＲＬ２１
【００７０】
ただし、
ＲＳ０１：画素位置（０，１）の短時間露光画素であるＲ画素
ＲＬ２１：画素位置（２，１）の長時間露光画素であるＲ画素
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【００７１】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（（ＧＬ２０＋ＧＬ２２）／２．０，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（（ＧＳ００＋ＧＳ０２）／２．０，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【００７２】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【００７３】
このように、図６（１ｂ）に示す長時間露光画素と短時間露光画素が混在する撮像データから、画素数を半分とした図６（１ｂ）に示す中間データを生成する処理において、中間データのＲ画素値（ＲＷｘｙ）を算出する場合、画素値算出対象画素と同一列にある短時間露光画素ＲＳｘｙと長時間露光画素ＲＬｘｙを、上述のブレンド比率αを適用したブレンド処理によって決定する。
同様に、Ｂ画素値（ＢＷｘｙ）を算出する場合、画素値算出対象画素と同一列にある短時間露光画素ＢＳｘｙと長時間露光画素ＢＬｘｙを、上述のブレンド比率αを適用したブレンド処理によって決定する。
【００７４】
ここで、ブレンド比率αは、
長時間露光画素値依存ブレンド比率：αＬ、
短時間露光画素値依存ブレンド比率：αＳ、
これら２つの異なる画素依存のブレンド比率の積、すなわち、
α＝αＬ×αＳ
上記式によって算出する。
【００７５】
なお、上記のブレンド比率（α＝αＬ×αＳ）の算出処理に適用する、
長時間露光画素値依存ブレンド比率：αＬ、
短時間露光画素値依存ブレンド比率：αＳ、
これらの各値は、Ｇ画素の画素値を利用して算出する。
【００７６】
すなわち、長時間露光画素値依存ブレンド比率αＬは、
αＬ＝ＣａｌｃＢｒａｔｅ（（ＧＬ２０＋ＧＬ２２）／２．０，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
上記式のように、算出対象となるＲ画素またはＢ画素のαブレンドに適用した長時間露光画素に隣接する２つの長時間露光Ｇ画素の平均値を用いて算出する。
【００７７】
同様に、短時間露光画素値依存ブレンド比率αＳは、
αＳ＝ＣａｌｃＢｒａｔｅ（（ＧＳ００＋ＧＳ０２）／２．０，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
上記式のように、算出対象となるＲ画素またはＢ画素のαブレンドに適用した短時間露光画素に隣接する２つの短時間露光Ｇ画素の平均値を用いて算出する。
【００７８】
このようにブレンド比率αの算出処理には、ＲＧＢすべての画素について、Ｇ画素データを用いて行う。このように均一な処理を行うことで、ブレンド比率のばらつきが抑制され、自然な画像の生成が可能となる。
【００７９】
（ステップ２）
次に、図６に示すステップ２（ＳＴＥＰ２）の処理について説明する。ステップ２における（１ｂ）中間データから（１ｃ）出力データの生成処理は以下のように、（１ｂ）中間データに含まれる画素値の水平加算によって行う。
例えば、以下に示す１：１加算、または１：３／３：１加算のいずれかを適用する。
図６（１ｃ）出力データに示す画素値Ｇ００，Ｒ０１の算出処理例について説明する。
【００８０】
（１：１加算）
１：１加算では、（１ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（ＧＷ００＋ＧＷ０２）／２
Ｒ０１＝（ＲＷ０１＋ＲＷ０３）／２
【００８１】
（１：３／３：１加算）
１：３または３：１加算では、（１ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（３×ＧＷ００＋ＧＷ０２）／４
Ｒ０１＝（ＲＷ０１＋３×ＲＷ０３）／４
【００８２】
このように、図６に示す（１ｂ）中間データから（１ｃ）出力データの生成処理において、出力データの画素値は、中間データの同一行の同一色の画素の画素値を合成（ブレンド）する処理によって行われる。
上記の（１：１加算）は、２つの画素の平均値の算出であり、（１：３加算）は距離に応じた重み付け加算である。
これらのいずれかの処理によって、図６に示す（１ｂ）中間データから（１ｃ）出力データの生成処理を行う。
【００８３】
（５−２．ブレンド比率α＝αＬ×αＳを適用した画素ブレンド処理を行う効果について）
上述したように、本実施例において、
図６（１ａ）に示す撮像データから、（１ｂ）中間データを生成する処理に際しては、撮像データに含まれる長時間露光画素と短時間露光画素とのブレンド処理によって、中間データの画素値を算出している。
【００８４】
この中間データ生成処理における、長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率：αは、図７に示すグラフに従った長時間露光画素を適用したブレンド比率αＬと、図８に示すグラフに従った短時間露光画素を適用したブレンド比率αＳとの積によって算出している。すなわち、
α＝αＬ×αＳ
である。
【００８５】
例えば、
画素位置（ｘ１，ｙ１）の長時間露光画素の画素値：Ｌｘ１ｙ１、
画素位置（ｘ２，ｙ２）の短時間露光画素の画素値：Ｓｘ２ｙ２、
これらを適用して１つの画素値（中間データの画素値）を算出する処理を行う場合、
αＬ、αＳ、αを、以下の式によって算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（Ｌｘ１ｙ１，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（Ｓｘ２ｙ２，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【００８６】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【００８７】
このように、長時間露光画素を適用したブレンド比率αＬと、短時間露光画素を適用したブレンド比率αＳとの積によって算出するブレンド比率、すなわち、
α＝αＬ×αＳ
上記式に従ったブレンド比率αを算出して適用する効果について説明する。
【００８８】
従来は、例えば、
長時間露光画素を適用したブレンド比率αＬ、または、
短時間露光画素を適用したブレンド比率αＳ、
これらのいずれかをそのままブレンド比率αとして利用していた。
しかし、このように、長時間露光画素または短時間露光画素のいずれか一方の画素値に基づいてブレンド比率を決定してしまうと、短時間露光画素の撮影期間と、長時間露光画素の撮影期間の間に被写体の移動などに起因して大きな画素値変化が生じた場合、算出されるブレンド比率が好ましくない値に設定される可能性がある。
【００８９】
図９に画像撮影時における輝度変化の発生状況に応じた長時間露光画素と、短時間露光画素の画素値の例を示す。
図９に示すグラフは、
横軸に時間（ｔ）、
縦軸に画素値、
これらの関係を示すグラフである。
長時間露光は、時間Ｔ０〜Ｔ４が露光時間であり、
短時間露光は、時間Ｔ３〜Ｔ４が露光時間である。
【００９０】
撮影環境として，２つのパターンを例として示している。
（ａ）長時間露光処理期間と短時間露光処理期間の全期間において明るさの変化がない場合、
（ｂ）長時間露光処理期間の前半において明るいが、短時間露光処理期間（＝長時間露光処理期間の後半）において、暗くなる明るさの変化がある合、
これらの２つの例における長時間露光画素と、短時間露光画素の画素値の遷移を示している。
なお、ここで説明する明るさの変化は、主に、被写体の動きや、カメラの手ブレなどによる撮影被写体の移動に伴う明るさの変化である。具体的には、例えば明るい背景中で、何らかの低輝度の被写体が移動するといった動被写体などの影響による輝度変化である。
【００９１】
（ａ），（ｂ）のいずれの場合も、長時間露光画素は、露光期間中に飽和レベル（例えば画素値＝１０２３）に達している。
ケース（ａ）では時間Ｔ１、ケース（ｂ）では時間Ｔ２において、飽和画素値に達している。
【００９２】
一方、短時間露光画素は、
明るさに変化のない、ケース（ａ）では、長時間露光画素と同一の傾きで画素値が時間とともに上昇し、図に示す例では、最終的な画素値は、３２０に達している。
一方、ケース（ｂ）では、長時間露光画素より傾きが小さくなり、図に示す例では、最終的な画素値は、８０となっている。
このように、撮影環境における明るさの変化によって、長時間露光画素と短時間露光画素の一方の画素値にのみ大きな変化が発生してしまう場合がある。
ケース（ｂ）は、明るい背景に、例えば車が横切るなど、動被写体が撮影画像のある画素領域を移動した場合などの例である。
【００９３】
このような画素の明るさに変化が有る場合と、無い場合、これらの各場合に応じた上述のブレンド比率、すなわち、
α＝αＬ×αＳ
上記の本開示に従ったブレンド比率と、
従来の一般的なブレンド処理に適用する長時間露光画素の画素値にのみ依存したブレンド比率：αＬとの比較データを図１０〜図１２を参照して説明する。
【００９４】
なお、図１０〜図１２においては、
本開示に従ったブレンド比率は、αＬＳ（＝αＬ×αＳ）、
として表記し、
従来の一般的な長時間露光画素の画素値にのみ依存したブレンド比率は、αＬ、
と表記する。
【００９５】
図１０は、図９（ａ）の明るさの変化がない撮影環境で画像を撮影した場合の２つのブレンド比率、すなわち、
本開示に従ったブレンド比率：αＬＳ（＝αＬ×αＳ）、
従来の長時間露光画素の画素値にのみ依存したブレンド比率をαＬ、
これらを比較データとして示すグラフである。
横軸が長時間露光画素の画素値、
縦軸がブレンド比率：αＬＳ、αＬ、
これらを示している。
【００９６】
すなわち、図１０に示す例は、
ＤＳ：短時間露光画素の画素値、
ＤＬ：長時間露光画素の画素値、
ＧＡＩＮ：長時間露光時間と短時間露光時間の露光比、
としたとき、
ＤＳ＝（ＤＬ／ＧＡＩＮ）
が成立する場合の例である。
【００９７】
図１０のグラフに実線で示す従来の長時間露光画素の画素値にのみ依存したブレンド比率αＬのデータは、先に説明した図７に示すデータと同様のデータである。
一方、図１０のグラフに点線で示す本開示に従ったブレンド比率：αＬＳは、
αＬＳ＝αＬ×αＳ、
上記の演算結果である。
【００９８】
これらの２つのデータを比較すると、図１０のグラフから理解されるように、本開示に従ったブレンド比率：αＬＳは、しきい値ＴＨ０〜ＴＨ１の間で、従来の実線で示すブレンド比率：αＬより下側に設定されている。
これは、すなわち、しきい値ＴＨ０〜ＴＨ１の間では、本開示に従ったブレンド比率：αＬＳを適用した場合、従来の実線で示すブレンド比率：αＬより低いブレンド比率が適用されることを意味する。
【００９９】
ブレンド比率：αは、先に説明したように、
中間データの画素値＝α×（短時間露光画素の画素値）×ＧＡＩＮ＋（１．０−α）×（長時間露光画素の画素値）
として利用される値である。
従って、本開示に従ったブレンド比率：αＬＳを適用した場合、従来の実線で示すブレンド比率：αＬより、短時間露光画素のブレンド比率を低く設定し、長時間露光画素のブレンド比率を高く設定することになる。
すなわち、長時間露光画素の重みが高くなることを意味する。
【０１００】
図１１は、図９（ｂ）の撮影環境で画像を撮影した場合の２つのブレンド比率、すなわち、短時間露光の期間において、動被写体が横切るなどの影響で、短時間露光画素の画素値が低下した場合のデータを示すグラフである。
本開示に従ったブレンド比率：αＬＳ（＝αＬ×αＳ）、
従来の長時間露光画素の画素値にのみ依存したブレンド比率をαＬ、
これらを比較データとして示すグラフである。
横軸が長時間露光画素の画素値、
縦軸がブレンド比率：αＬＳ、αＬ、
これらを示している。
【０１０１】
すなわち、図１１に示す例は、
ＤＳ：短時間露光画素の画素値、
ＤＬ：長時間露光画素の画素値、
ＧＡＩＮ：長時間露光時間と短時間露光時間の露光比、
としたとき、
ＤＳ＝（ＤＬ／ＧＡＩＮ）×０．７５
が成立する場合の例である。
すなわち、短時間露光画素の画素値：ＤＳが、明るさに変化がなかった場合と比較して０．７５倍まで低下してしまった場合である。
【０１０２】
図１１に示す２つのデータを比較すると、本開示に従ったブレンド比率：αＬＳは、しきい値ＴＨ０〜ＴＨ１、さらにしきい値ＴＨ１を超えた部分で、従来の実線で示すブレンド比率：αＬより下側に設定されている。
これは、すなわち、しきい値ＴＨ０〜ＴＨ１、さらにしきい値ＴＨ１を超えた一部区間では、本開示に従ったブレンド比率：αＬＳを適用した場合、従来の実線で示すブレンド比率：αＬより低いブレンド比率が適用されることを意味する。
【０１０３】
前述のように、ブレンド比率：αは、
中間データの画素値＝α×（短時間露光画素の画素値）×ＧＡＩＮ＋（１．０−α）×（長時間露光画素の画素値）
として利用される値である。
従って、本開示に従ったブレンド比率：αＬＳを適用した場合、従来の実線で示すブレンド比率：αＬより、短時間露光画素のブレンド比率を低く設定し、長時間露光画素のブレンド比率を高く設定することになる。
長時間露光画素のブレンド比率を高める度合いは、先に説明した図１０の場合（明るさに変化がない場合）より、大きくなっている。
【０１０４】
本例は、図９（ｂ）の設定、すなわち、動被写体が横切るなどの影響で突然暗くなってしまい、短時間露光画素の露光期間が暗い動被写体を撮影してしまっている場合に相当する。この場合、短時間露光画素は、動被写体の影響で突然暗くなってしまった環境で得られた画素値であり、長時間露光画素の撮影被写体と異なる被写体を撮影していることになる。本開示の処理では、このような場合に、この短時間露光画素の画素値の重み（ブレンド比率）を低下させて、長時間露光画素の画素値の重み（ブレンド比率）を高く設定して、ブレンド処理を実行して出力画素値（本例では中間データの画素値）を設定する。
この構成により、動被写体の影響など、撮影環境の変化の影響を低減したブレンド処理による合成画素値の算出を実現している。
【０１０５】
図１２は、図１１と同様、図９（ｂ）の撮影環境で画像を撮影した場合の２つのブレンド比率、すなわち、短時間露光の期間において、動被写体が横切るなどの影響で、短時間露光画素の画素値が低下した場合のデータを示すグラフである。
ただし、図１１に示す例より、さらに、輝度変化が激しい場合であり、
ＤＳ＝（ＤＬ／ＧＡＩＮ）×０．５
が成立する場合の例である。
すなわち、短時間露光画素の画素値：ＤＳが、明るさに変化がなかった場合と比較して０．５倍、すなわち１／２まで低下してしまった場合である。
【０１０６】
図１２に示す２つのデータを比較すると、本開示に従ったブレンド比率：αＬＳは、しきい値ＴＨ０〜ＴＨ１、さらにしきい値ＴＨ１を超えた大部分の領域で、従来の実線で示すブレンド比率：αＬより下側に設定されている。
これは、すなわち、しきい値ＴＨ０〜ＴＨ１、さらにしきい値ＴＨ１を超えた一部区間では、本開示に従ったブレンド比率：αＬＳを適用した場合、従来の実線で示すブレンド比率：αＬより低いブレンド比率が適用されることを意味する。
【０１０７】
前述のように、ブレンド比率：αは、
中間データの画素値＝α×（短時間露光画素の画素値）×ＧＡＩＮ＋（１．０−α）×（長時間露光画素の画素値）
として利用される値である。
従って、本開示に従ったブレンド比率：αＬＳを適用した場合、従来の実線で示すブレンド比率：αＬより、短時間露光画素のブレンド比率を低く設定し、長時間露光画素のブレンド比率を高く設定することになる。
長時間露光画素のブレンド比率を高める度合いは、先に説明した図１０、図１１の場合より、さらに大きくなっている。
なお、短時間露光画素の出力が小さい場合は、ブレンド比率αＬＳは最大でも０．５となる。
【０１０８】
このように、撮影環境における明るさが変化した場合、本開示のブレンド比率、
α＝αＬ×αＳ
は、従来、多く利用されている一般的なブレンド比率αＬとは異なる値となる。
具体的には、図９（ｂ）に示すように短時間露光期間における撮影環境が、暗くなってしまった場合に、短時間露光画素のブレンド率を低下させて、長時間露光画素のブレンド比率を高めるという調整がなされる。
この構成により、動被写体の影響など、撮影環境の変化の影響を低減したブレンド処理による合成画素値の算出を実現している。
【０１０９】
（５−３．実施例２．ベイヤ配列において列毎に露光時間を変更した場合の処理例）
図１３に、ベイヤ配列において列毎に露光時間を変更した場合の処理例を示す。
図１３には以下の３つのデータを示している。
（２ａ）撮像データ
（２ｂ）中間データ
（２ｃ）出力データ
【０１１０】
（２ａ）撮像データは撮像素子の撮像データであり、ベイヤ配列において列毎に露光時間を変更した場合に撮影される画像を示している。
白い部分が長時間露光画素であり、濃いグレー部分が短時間露光画素を示している。
【０１１１】
本例では２列単位で長時間露光画素と短時間露光画素が交互に設定される。
なお、この露光時間制御は例えば制御部１０５の制御に基づいて実行される。
（２ａ）撮像データは４×４の画素領域を示している。
【０１１２】
（２ｂ）中間データは、４×４の（２ａ）撮像データに基づいて、画素情報合成部１６２の生成する中間データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×４の（２ａ）撮像データに基づいて、４×２の中間画素データを算出する。
【０１１３】
（２ｃ）出力データは、４×２の（２ｂ）中間画素データに基づいて、画素情報合成部１６２の生成する出力データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×４の（２ａ）撮像データに基づいて、４×２の（２ｂ）中間画素データを算出し、さらに、ステップ２（ＳＴＥＰ２）において、生成した中間データに基づいて２×２の（２ｃ）出力データを生成する。
（２ｃ）出力データは広ダイナミックレンジ画像として生成される出力データである。
【０１１４】
このように、画素情報合成部１６２は、４×４の（２ａ）撮像データに含まれる長時間露光画素と短時間露光画素の画素値のブレンド処理によって、２×２の（２ｃ）出力データの構成画素の各画素値を算出する。
ステップ１，２の各処理について説明する。
【０１１５】
（ステップ１）
ステップ１における（２ａ）撮像データから（２ｂ）中間データの生成処理は以下の複数の画素値のブレンド処理によって行われる。
ブレンド処理は、ＧＲ／ＧＢ位相と、Ｒ／Ｂ位相とで異なる処理として実行する。
【０１１６】
（ＧＲ／ＧＢ位相の処理）
例えば、図１３（２ｂ）に示すＧＷ００の画素値（ＧＷ００）は、（２ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
ＧＷ００＝α×ＧＳ００×ＧＡＩＮ＋（１．０−α）×ＧＬ０２
【０１１７】
ただし、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【０１１８】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（ＧＬ０２，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（ＧＳ００，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【０１１９】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【０１２０】
（Ｒ／Ｂ位相の処理）
例えば、図１３（２ｂ）に示すＢＷ１０の画素値（ＢＷ１０）は、（２ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
ＢＷ１０＝α×ＢＳ１０×ＧＡＩＮ＋（１．０−α）×ＢＬ１２
【０１２１】
ただし、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【０１２２】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（（ＧＬ０２＋ＧＬ２２）／２．０，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（（ＧＳ００＋ＧＳ２０）／２．０，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【０１２３】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【０１２４】
（ステップ２）
次に、図１３に示すステップ２（ＳＴＥＰ２）の処理について説明する。ステップ２における（２ｂ）中間データから（２ｃ）出力データの生成処理は以下のように、（２ｂ）中間データに含まれる画素値の垂直加算によって行う。
例えば、以下に示す１：１加算、または１：３／３：１加算のいずれかを適用する。
図１３（２ｃ）出力データに示す画素値Ｇ００，Ｒ０１の算出処理例について説明する。
【０１２５】
（１：１加算）
１：１加算では、（２ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（ＧＷ００＋ＧＷ２０）／２
Ｒ０１＝（ＲＷ０１＋ＲＷ２１）／２
【０１２６】
（１：３／３：１加算）
１：３または３：１加算では、（２ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（３×ＧＷ００＋ＧＷ２０）／４
Ｒ０１＝（ＲＷ０１＋３×ＲＷ２１）／４
【０１２７】
（５−４．実施例３．ベイヤ配列において斜め方向に露光時間を変更した場合の処理例）
図１４に、ベイヤ配列において斜め方向に露光時間を変更した場合の処理例を示す。
図１４には以下の３つのデータを示している。
（３ａ）撮像データ
（３ｂ）中間データ
（３ｃ）出力データ
【０１２８】
（３ａ）撮像データは撮像素子の撮像データであり、ベイヤ配列において斜め方向に露光時間を変更した場合に撮影される画像を示している。
白い部分が長時間露光画素であり、濃いグレー部分が短時間露光画素を示している。
【０１２９】
本例では斜め方向に４画素ブロック単位で長時間露光画素と短時間露光画素が交互に設定される。
なお、この露光時間制御は例えば制御部１０５の制御に基づいて実行される。
（３ａ）撮像データは４×４の画素領域を示している。
【０１３０】
（３ｂ）中間データは、４×４の（３ａ）撮像データに基づいて、画素情報合成部１６２の生成する中間データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×４の（３ａ）撮像データに基づいて、４×２の中間画素データを算出する。
【０１３１】
（３ｃ）出力データは、４×２の（３ｂ）中間画素データに基づいて、画素情報合成部１６２の生成する出力データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×４の（３ａ）撮像データに基づいて、４×２の（３ｂ）中間画素データを算出し、さらに、ステップ２（ＳＴＥＰ２）において、生成した中間データに基づいて２×２の（３ｃ）出力データを生成する。
（３ｃ）出力データは広ダイナミックレンジ画像として生成される出力データである。
【０１３２】
このように、画素情報合成部１６２は、４×４の（３ａ）撮像データに含まれる長時間露光画素と短時間露光画素の画素値のブレンド処理によって、２×２の（３ｃ）出力データの構成画素の各画素値を算出する。
ステップ１，２の各処理について説明する。
【０１３３】
（ステップ１）
ステップ１における（３ａ）撮像データから（３ｂ）中間データの生成処理は以下の複数の画素値のブレンド処理によって行われる。
ブレンド処理は、ＧＲ／ＧＢ位相と、Ｒ／Ｂ位相とで異なる処理として実行する。
【０１３４】
（ＧＲ／ＧＢ位相の処理）
例えば、図１４（３ｂ）に示すＧＷ００の画素値（ＧＷ００）は、（３ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
ＧＷ００＝α×ＧＳ００×ＧＡＩＮ＋（１．０−α）×ＧＬ０２
【０１３５】
ただし、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【０１３６】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（ＧＬ０２，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（ＧＳ００，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【０１３７】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【０１３８】
（Ｒ／Ｂ位相の処理）
例えば、図１４（３ｂ）に示すＢＷ１２の画素値（ＢＷ１２）は、（３ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
ＢＷ１２＝α×ＢＳ１２×ＧＡＩＮ＋（１．０−α）×ＢＬ３２
【０１３９】
ただし、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【０１４０】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝（ＣａｌｃＢｒａｔｅ（ＧＳ１１，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）＋ＣａｌｃＢｒａｔｅ（ＧＬ１３，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ））／２．０
αＳ＝（ＣａｌｃＢｒａｔｅ（ＧＬ３１，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）＋ＣａｌｃＢｒａｔｅ（ＧＳ３３，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ））／２．０
α＝αＬ×αＳ
【０１４１】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【０１４２】
（ステップ２）
次に、図１４に示すステップ２（ＳＴＥＰ２）の処理について説明する。ステップ２における（３ｂ）中間データから（３ｃ）出力データの生成処理は以下のように、（３ｂ）中間データに含まれる画素値の水平加算によって行う。
例えば、以下に示す１：１加算、または１：３／３：１加算のいずれかを適用する。
図１４（３ｃ）出力データに示す画素値Ｇ００，Ｒ０１の算出処理例について説明する。
【０１４３】
（１：１加算）
１：１加算では、（３ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（ＧＷ００＋ＧＷ０２）／２
Ｒ０１＝（ＲＷ０１＋ＲＷ０３）／２
【０１４４】
（１：３／３：１加算）
１：３または３：１加算では、（３ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（３×ＧＷ００＋ＧＷ０２）／４
Ｒ０１＝（ＲＷ０１＋３×ＲＷ０３）／４
【０１４５】
（５−５．実施例４．４分割ベイヤ型配列において斜め方向に露光時間を変更した場合の処理例）
図１５に、４分割ベイヤ型ＲＧＢ配列において斜め方向に露光時間を変更した場合の処理例を示す。
図１５には以下の３つのデータを示している。
（４ａ）撮像データ
（４ｂ）中間データ
（４ｃ）出力データ
【０１４６】
（４ａ）撮像データは撮像素子の撮像データであり、ベイヤ配列において列毎に露光時間を変更した場合に撮影される画像を示している。
白い部分が長時間露光画素であり、濃いグレー部分が短時間露光画素を示している。
【０１４７】
本例では斜め方向に長時間露光画素と短時間露光画素が交互に設定される。
なお、この露光時間制御は例えば制御部１０５の制御に基づいて実行される。
（４ａ）撮像データは４×６の画素領域を示している。
【０１４８】
（４ｂ）中間データは、４×６の（４ａ）撮像データに基づいて、画素情報合成部１６２の生成する中間データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×６の（４ａ）撮像データに基づいて、１２個の中間画素データを算出する。
【０１４９】
（４ｃ）出力データは、１２の（４ｂ）中間画素データに基づいて、画素情報合成部１６２の生成する出力データを示している。
画素情報合成部１６２は、まず、ステップ１（ＳＴＥＰ１）において、４×６の（４ａ）撮像データに基づいて、１２の（４ｂ）中間画素データを算出し、さらに、ステップ２（ＳＴＥＰ２）において、生成した中間データに基づいて２×３の（４ｃ）出力データを生成する。
（４ｃ）出力データは広ダイナミックレンジ画像として生成される出力データである。
ステップ１，２の各処理について説明する。
【０１５０】
（ステップ１）
ステップ１における（４ａ）撮像データから（４ｂ）中間データの生成処理は以下の複数の画素値の斜め加算処理によって行われる。
例えば、図１５（４ｂ）に示すＧＬＡ００の画素値（ＧＬＡ００）、ＧＳＡ００の画素値（ＧＳＡ００）は、（４ａ）撮像データに含まれる複数の画素の画素値を適用した以下の式に従った斜め加算処理によって算出する。
ＧＬＡ００＝（ＧＬ００＋ＧＬ０１）／２
ＧＳＡ００＝（ＧＳ０１＋ＧＳ１１）／２
【０１５１】
（ステップ２）
次に、図１５に示すステップ２（ＳＴＥＰ２）の処理について説明する。ステップ２における（４ｂ）中間データから（４ｃ）出力データの生成処理は以下のように、（４ｂ）中間データに含まれる画素値のブレンド処理によって行われる。
ブレンド処理は、ＧＲ／ＧＢ位相と、Ｒ／Ｂ位相とで異なる処理として実行する。
【０１５２】
（ＧＲ／ＧＢ位相の処理）
例えば、図１５（４ｃ）に示すＧ００の画素値（Ｇ００）は、（４ｂ）中間データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
Ｇ００＝α×ＧＳＡ００×ＧＡＩＮ＋（１．０−α）×ＧＬＡ００
【０１５３】
ただし、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【０１５４】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（ＧＬＡ００，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（ＧＳＡ００，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【０１５５】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【０１５６】
（Ｒ／Ｂ位相の処理）
例えば、図１５（４ｃ）に示すＲ０１の画素値（Ｒ０１）は、（４ｂ）中間データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式に従って算出する。
Ｒ０１＝α×ＲＳＡ０１×ＧＡＩＮ＋（１．０−α）×ＲＬＡ０１
【０１５７】
ただし、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
【０１５８】
ここで、ブレンド比率αは、以下の２つのブレンド比率αＬとαＳの積として算出する。
αＬ＝ＣａｌｃＢｒａｔｅ（（ＧＬＡ００＋ＧＬＡ０２）／２．０，ＴＨＲ０＿ＬＮＧ，ＴＨＲ１＿ＬＮＧ）
αＳ＝ＣａｌｃＢｒａｔｅ（（ＧＳＡ００＋ＧＳＡ０２）／２．０，ＴＨＲ０＿ＳＨＴ，ＴＨＲ１＿ＳＨＴ）
α＝αＬ×αＳ
【０１５９】
ただし、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）の値は、前述と同様、図７、図８に示す通りであり、
ｄａｔ＜ＴＨＲ０のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝０
ＴＨＲ≦ｄａｔ≦ＴＨＲ１のとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝（ｄａｔ−ＴＨＲ０）／（ＴＨＲ１−ＴＨＲ０）
ＴＨＲ１≦ｄａｔのとき、
ＣａｌｃＢｒａｔｅ（ｄａｔ，ＴＨＲ０，ＴＨＲ１）＝１．０
である。
【０１６０】
なお、上述した実施例で説明した出力画素値の生成処理は、図４に示す撮像デバイス１０２内の画素情報合成部１６２において実行する構成としてもよいし、図３に示す信号処理部１０３において実行する構成としてもよい。
なお、前述した実施例において説明した露光時間制御や演算処理は、例えば制御部において実行するプログラムに従った処理として実行することが可能である。
【０１６１】
［６．画像処理装置のその他の構成例］
先に、図３を参照して説明したように本開示の画像処理装置は、図３に示す構成とすることが可能であるが、その他の構成とすることも可能である。例えば図１６に示す設定としてもよい。
【０１６２】
図１６には、レンズ２０１、撮像デバイス２０２、信号処理部（ＤＳＰ）２０３、記録再生部２０４、ユーザ入力部２１０、システムバス２０８を有する画像処理装置を示している。
【０１６３】
処理の流れは以下の通りとなる。シャッタ（ユーザ入力部２１０）が押下されるなどして、撮像を開始したタイミングで、撮像デバイス２０２の固体撮像素子（例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ））は、レンズ２０１（光学系）から入射された光学像を２次元の電気信号（以下、画像データ）に変換する。
【０１６４】
出力は、例えば先に、図５を参照して説明したすように、空間的に露光時間を変えて撮像されたＲＡＷ画像となる。その後、以下の順番で信号処理が行われる。
（１）ワイドＤ合成＋画素加算（配列、露光方法により実施例１〜４）
（２）カメラ信号処理（ホワイトバランス、デモザイク、ガンマ補正など）
（３）データ圧縮（静止画の場合ＪＰＥＧなど，動画の場合Ｈ．２６４など）
【０１６５】
上記（１）〜（３）の信号処理は撮像デバイス２０２、信号処理部２０３のどちらで行ってもよい。なお、画素加算（垂直加算、水平加算，斜め加算）を撮像素子内部で行う場合、アナログ加算（ＦＤ（フローティングディフユージョン）加算、ＳＦ（ソースフォロア）加算）、デジタル加算などが適用可能である。
【０１６６】
また、前述した実施例１〜３のステップ１，２の順番は入れ替えることができる。出力画像として生成した画像は、圧縮データとして記録再生部２０４に保存される。
【０１６７】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１６８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成部を有し、
前記画素情報合成部は、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出し、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定し、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する画像処理装置。
【０１６９】
（２）前記画素情報合成部は、ブレンド対象となる複数の異なる露光時間の画素の画素値に基づいて前記複数のブレンド比率を算出し、算出した前記複数のブレンド比率に基づいて、前記適用ブレンド比率を決定する処理を実行する前記（１）に記載の画像処理装置。
（３）前記画素情報合成部は、ブレンド対象となる複数の異なる露光時間の画素の近傍画素の画素値に基づいて前記複数のブレンド比率を算出し、算出した前記複数のブレンド比率に基づいて、前記適用ブレンド比率を決定する処理を実行する前記（１）または（２）に記載の画像処理装置。
【０１７０】
（４）前記画素情報合成部は、長時間露光画素の画素値に依存した長時間露光画素値依存ブレンド比率αＬと、短時間露光画素の画素値に依存した短時間露光画素値依存ブレンド比率αＳを算出し、算出した長時間露光画素値依存ブレンド比率αＬと、短時間露光画素値依存ブレンド比率αＳとの乗算処理結果、すなわち、
α＝αＬ×αＳ
上記αを短時間露光画素のブレンド量を示す前記適用ブレンド比率として決定する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記画素情報合成部は、前記長時間露光画素値依存ブレンド比率αＬを、
ブレンド処理対象画素となる色Ｃの長時間露光画素の画素値ＣＬが、
ＣＬ＜ＴＨ０Ｌのとき、αＬ＝０、
ＴＨ０Ｌ≦ＣＬ≦ＴＨ１Ｌのとき、αＬ＝（ＣＬ−ＴＨ０Ｌ）／（ＴＨ１Ｌ−ＴＨ０Ｌ）、
ＴＨ１Ｌ≦ＣＬのとき、αＬ＝１．０
として決定し、
前記短時間露光画素値依存ブレンド比率αＳを、
ブレンド処理対象画素となる色Ｃの短時間露光画素の画素値ＣＳが、
ＣＳ＜ＴＨ０Ｓのとき、αＳ＝０、
ＴＨ０Ｓ≦ＣＳ≦ＴＨ１Ｓのとき、αＬ＝（ＣＬ−ＴＨ０Ｓ）／（ＴＨ１Ｓ−ＴＨ０Ｓ）、
ＴＨ１Ｓ≦ＣＬのとき、αＬ＝１．０、
として決定する、
ただし、ＴＨ０Ｌ、ＴＨＬ１、ＴＨＳ０、ＴＨＳ１は予め規定したしきい値である、
上記設定とした前記長時間露光画素値依存ブレンド比率αＬと、前記短時間露光画素値依存ブレンド比率αＳを決定する前記（４）に記載の画像処理装置。
【０１７１】
（６）前記画素情報合成部は、前記出力画像または中間画像の色Ｃの画素値ＣＷを、
ＣＷ＝α×ＣＳ×ＧＡＩＮ＋（１．０−α）×ＣＬ
ただし、
ＣＬは、色Ｃの長時間露光画素の画素値、
ＣＳは、色Ｃの短時間露光画素の画素値、
ＧＡＩＮは、長時間露光画素と短時間露光画素との露光比、
αは、前記適用ブレンド比率、
上記式に従って前記出力画像または前記中間画像の色Ｃの画素値ＣＷを算出する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１７２】
（７）前記画素情報合成部は、前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理によって中間画像を生成し、さらに、生成した中間画像を構成する同一色の画素値のブレンド処理により最終的な出力画像を生成する前記（１）〜（６）いずれかに記載の画像処理装置。
（８）前記画素情報合成部は、長時間露光画素と短時間露光画素の混在したＲＧＢ配列を有する画像データを入力し、ＲＧＢ各色単位で、同一色の長時間露光画素と短時間露光画素をブレンドして前記出力画像または前記中間画像の画素値を決定する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記画素情報合成部は、前記ＲＧＢ配列を有する画像データ中のＧ画素データのみを適用して前記適用ブレンド比率を決定する処理を行う前記（８）に記載の画像処理装置。
【０１７３】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【０１７４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１７５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１７６】
以上、説明したように、本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して広ダイナミックレンジ画像を生成する装置、方法が実現される。
具体的には、例えば、長時間露光画素と短時間露光画素の画素値合成処理を実行して出力画像の画素値を生成する画素情報合成部を有し、画素情報合成部は、複数の異なる画素の画素値に基づいて算出した複数のブレンド比率を算出し、複数のブレンド比率に基づいて、最終的な長時間露光画素と短時間露光画素の最終ブレンド比率を決定し、最終ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像の画素値を決定する。この処理によって広ダイナミックレンジ画像を生成することができる。
【符号の説明】
【０１７７】
１０ 輝度閾値レベル
１１ 高輝度領域
１２ 低輝度領域
１００ 撮像装置
１０１ 光学レンズ
１０２ 撮像デバイス
１０３ 信号処理部
１０５ 制御部
１２０ 出力画像
１５１ 画素部
１６０ 演算部
１６１ ＡＤ変換部
１６２ 画素情報合成部
１６３ 出力部
１８１ 高感度画素情報
１８２ 低感度画素情報
２００ 画像処理装置
２０１ レンズ
２０２ 撮像デバイス
２０３ 信号処理部（ＤＳＰ）
２０４ 記録再生部
２０８ システムバス
２１０ ユーザ入力部
【特許請求の範囲】
【請求項１】
長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成部を有し、
前記画素情報合成部は、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出し、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定し、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する画像処理装置。
【請求項２】
前記画素情報合成部は、
ブレンド対象となる複数の異なる露光時間の画素の画素値に基づいて前記複数のブレンド比率を算出し、算出した前記複数のブレンド比率に基づいて、前記適用ブレンド比率を決定する処理を実行する請求項１に記載の画像処理装置。
【請求項３】
前記画素情報合成部は、
ブレンド対象となる複数の異なる露光時間の画素の近傍画素の画素値に基づいて前記複数のブレンド比率を算出し、算出した前記複数のブレンド比率に基づいて、前記適用ブレンド比率を決定する処理を実行する請求項１に記載の画像処理装置。
【請求項４】
前記画素情報合成部は、
長時間露光画素の画素値に依存した長時間露光画素値依存ブレンド比率αＬと、
短時間露光画素の画素値に依存した短時間露光画素値依存ブレンド比率αＳを算出し、
算出した長時間露光画素値依存ブレンド比率αＬと、短時間露光画素値依存ブレンド比率αＳとの乗算処理結果、すなわち、
α＝αＬ×αＳ
上記αを短時間露光画素のブレンド量を示す前記適用ブレンド比率として決定する請求項１に記載の画像処理装置。
【請求項５】
前記画素情報合成部は、
前記長時間露光画素値依存ブレンド比率αＬを、
ブレンド処理対象画素となる色Ｃの長時間露光画素の画素値ＣＬが、
ＣＬ＜ＴＨ０Ｌのとき、αＬ＝０、
ＴＨ０Ｌ≦ＣＬ≦ＴＨ１Ｌのとき、αＬ＝（ＣＬ−ＴＨ０Ｌ）／（ＴＨ１Ｌ−ＴＨ０Ｌ）、
ＴＨ１Ｌ≦ＣＬのとき、αＬ＝１．０
として決定し、
前記短時間露光画素値依存ブレンド比率αＳを、
ブレンド処理対象画素となる色Ｃの短時間露光画素の画素値ＣＳが、
ＣＳ＜ＴＨ０Ｓのとき、αＳ＝０、
ＴＨ０Ｓ≦ＣＳ≦ＴＨ１Ｓのとき、αＬ＝（ＣＬ−ＴＨ０Ｓ）／（ＴＨ１Ｓ−ＴＨ０Ｓ）、
ＴＨ１Ｓ≦ＣＬのとき、αＬ＝１．０、
として決定する、
ただし、ＴＨ０Ｌ、ＴＨＬ１、ＴＨＳ０、ＴＨＳ１は予め規定したしきい値である、
上記設定とした前記長時間露光画素値依存ブレンド比率αＬと、前記短時間露光画素値依存ブレンド比率αＳを決定する請求項４に記載の画像処理装置。
【請求項６】
前記画素情報合成部は、
前記出力画像または中間画像の色Ｃの画素値ＣＷを、
ＣＷ＝α×ＣＳ×ＧＡＩＮ＋（１．０−α）×ＣＬ
ただし、
ＣＬは、色Ｃの長時間露光画素の画素値、
ＣＳは、色Ｃの短時間露光画素の画素値、
ＧＡＩＮは、長時間露光画素と短時間露光画素との露光比、
αは、前記適用ブレンド比率、
上記式に従って前記出力画像または前記中間画像の色Ｃの画素値ＣＷを算出する請求項１に記載の画像処理装置。
【請求項７】
前記画素情報合成部は、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理によって中間画像を生成し、
さらに、生成した中間画像を構成する同一色の画素値のブレンド処理により最終的な出力画像を生成する請求項１に記載の画像処理装置。
【請求項８】
前記画素情報合成部は、
長時間露光画素と短時間露光画素の混在したＲＧＢ配列を有する画像データを入力し、
ＲＧＢ各色単位で、同一色の長時間露光画素と短時間露光画素をブレンドして前記出力画像または前記中間画像の画素値を決定する請求項１に記載の画像処理装置。
【請求項９】
前記画素情報合成部は、
前記ＲＧＢ配列を有する画像データ中のＧ画素データのみを適用して前記適用ブレンド比率を決定する処理を行う請求項８に記載の画像処理装置。
【請求項１０】
画像処理装置において実行する画像処理方法であり、
画素情報合成部が、長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成ステップを実行し、
前記画素情報合成ステップは、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出する処理と、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定する処理と、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する処理を実行する画像処理方法。
【請求項１１】
画像処理装置において画像処理を実行させるプログラムであり、
画素情報合成部に、長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成ステップを実行させ、
前記画素情報合成ステップにおいて、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出する処理と、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定する処理と、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する処理を実行させるプログラム。
【請求項１】
長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成部を有し、
前記画素情報合成部は、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出し、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定し、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する画像処理装置。
【請求項２】
前記画素情報合成部は、
ブレンド対象となる複数の異なる露光時間の画素の画素値に基づいて前記複数のブレンド比率を算出し、算出した前記複数のブレンド比率に基づいて、前記適用ブレンド比率を決定する処理を実行する請求項１に記載の画像処理装置。
【請求項３】
前記画素情報合成部は、
ブレンド対象となる複数の異なる露光時間の画素の近傍画素の画素値に基づいて前記複数のブレンド比率を算出し、算出した前記複数のブレンド比率に基づいて、前記適用ブレンド比率を決定する処理を実行する請求項１に記載の画像処理装置。
【請求項４】
前記画素情報合成部は、
長時間露光画素の画素値に依存した長時間露光画素値依存ブレンド比率αＬと、
短時間露光画素の画素値に依存した短時間露光画素値依存ブレンド比率αＳを算出し、
算出した長時間露光画素値依存ブレンド比率αＬと、短時間露光画素値依存ブレンド比率αＳとの乗算処理結果、すなわち、
α＝αＬ×αＳ
上記αを短時間露光画素のブレンド量を示す前記適用ブレンド比率として決定する請求項１に記載の画像処理装置。
【請求項５】
前記画素情報合成部は、
前記長時間露光画素値依存ブレンド比率αＬを、
ブレンド処理対象画素となる色Ｃの長時間露光画素の画素値ＣＬが、
ＣＬ＜ＴＨ０Ｌのとき、αＬ＝０、
ＴＨ０Ｌ≦ＣＬ≦ＴＨ１Ｌのとき、αＬ＝（ＣＬ−ＴＨ０Ｌ）／（ＴＨ１Ｌ−ＴＨ０Ｌ）、
ＴＨ１Ｌ≦ＣＬのとき、αＬ＝１．０
として決定し、
前記短時間露光画素値依存ブレンド比率αＳを、
ブレンド処理対象画素となる色Ｃの短時間露光画素の画素値ＣＳが、
ＣＳ＜ＴＨ０Ｓのとき、αＳ＝０、
ＴＨ０Ｓ≦ＣＳ≦ＴＨ１Ｓのとき、αＬ＝（ＣＬ−ＴＨ０Ｓ）／（ＴＨ１Ｓ−ＴＨ０Ｓ）、
ＴＨ１Ｓ≦ＣＬのとき、αＬ＝１．０、
として決定する、
ただし、ＴＨ０Ｌ、ＴＨＬ１、ＴＨＳ０、ＴＨＳ１は予め規定したしきい値である、
上記設定とした前記長時間露光画素値依存ブレンド比率αＬと、前記短時間露光画素値依存ブレンド比率αＳを決定する請求項４に記載の画像処理装置。
【請求項６】
前記画素情報合成部は、
前記出力画像または中間画像の色Ｃの画素値ＣＷを、
ＣＷ＝α×ＣＳ×ＧＡＩＮ＋（１．０−α）×ＣＬ
ただし、
ＣＬは、色Ｃの長時間露光画素の画素値、
ＣＳは、色Ｃの短時間露光画素の画素値、
ＧＡＩＮは、長時間露光画素と短時間露光画素との露光比、
αは、前記適用ブレンド比率、
上記式に従って前記出力画像または前記中間画像の色Ｃの画素値ＣＷを算出する請求項１に記載の画像処理装置。
【請求項７】
前記画素情報合成部は、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理によって中間画像を生成し、
さらに、生成した中間画像を構成する同一色の画素値のブレンド処理により最終的な出力画像を生成する請求項１に記載の画像処理装置。
【請求項８】
前記画素情報合成部は、
長時間露光画素と短時間露光画素の混在したＲＧＢ配列を有する画像データを入力し、
ＲＧＢ各色単位で、同一色の長時間露光画素と短時間露光画素をブレンドして前記出力画像または前記中間画像の画素値を決定する請求項１に記載の画像処理装置。
【請求項９】
前記画素情報合成部は、
前記ＲＧＢ配列を有する画像データ中のＧ画素データのみを適用して前記適用ブレンド比率を決定する処理を行う請求項８に記載の画像処理装置。
【請求項１０】
画像処理装置において実行する画像処理方法であり、
画素情報合成部が、長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成ステップを実行し、
前記画素情報合成ステップは、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出する処理と、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定する処理と、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する処理を実行する画像処理方法。
【請求項１１】
画像処理装置において画像処理を実行させるプログラムであり、
画素情報合成部に、長時間露光画素と短時間露光画素の画素値合成処理を実行する画素情報合成ステップを実行させ、
前記画素情報合成ステップにおいて、
複数の異なる露光時間の画素の画素値に基づいて算出した複数のブレンド比率を算出する処理と、
前記複数のブレンド比率に基づいて、長時間露光画素と短時間露光画素のブレンド処理に適用する適用ブレンド比率を決定する処理と、
前記適用ブレンド比率を適用した長時間露光画素と短時間露光画素のブレンド処理により、出力画像、または出力画像生成に適用する中間画像の画素値を決定する処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図９】
【公開番号】特開２０１３−６６１４５（Ｐ２０１３−６６１４５Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２９０２５７（Ｐ２０１１−２９０２５７）
【出願日】平成２３年１２月２９日（２０１１．１２．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年１２月２９日（２０１１．１２．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]