画像処理装置、および画像処理方法、並びにプログラム
【課題】長時間露光画素と短時間露光画素の画素値合成処理を実行して広ダイナミックレンジ画像を生成する装置、方法を提供する。
【解決手段】長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理部を有し、画像処理部は、短時間露光画像と長時間露光画像を適用してブラー情報を計測するブラー情報計測部と、計測したブラー情報を適用して、短時間露光画像と長時間露光画像のブレンド係数を決定するブレンド係数算出部と、ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の画素値合成処理を実行するブレンド部を有する。ブラー情報に基づくブレンド係数の制御によりブラーの影響を削減した高品質な広ダイナミックレンジ画像生成が可能となる。
【解決手段】長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理部を有し、画像処理部は、短時間露光画像と長時間露光画像を適用してブラー情報を計測するブラー情報計測部と、計測したブラー情報を適用して、短時間露光画像と長時間露光画像のブレンド係数を決定するブレンド係数算出部と、ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の画素値合成処理を実行するブレンド部を有する。ブラー情報に基づくブレンド係数の制御によりブラーの影響を削減した高品質な広ダイナミックレンジ画像生成が可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ダイナミックレンジの広い画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像デバイスは入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
【０００３】
このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【０００４】
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
【０００５】
このような処理を実現する手法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
【０００６】
例えば特許文献１（特開２０００−５０１５１号公報）は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。
【０００７】
例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
【０００８】
時間ｔ０〜ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。
【０００９】
しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。
【００１０】
そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【００１１】
なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
【００１２】
このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。
【００１３】
しかしながら、上記の特許文献１に記載された構成は、いずれも長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。
【００１４】
このように、露光時間を変えた複数枚の画像を利用することで、広ダイナミックレンジ画像（ＨＤＲ画像）を生成可能であるが、この複数画像に基づく処理には、例えば以下の課題がある。
長時間露光画像は短時間露光画像に比較して露光時間が長く設定されるため、カメラブレや被写体の動きに起因するぼけ（ブラー）間の発生や動被写体の色抜けや偽色の発生など画像品質の低下が発生するといった問題がある。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２０００−５０１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本開示は、例えばこのような状況に鑑みてなされたものであり、例えば被写体の動きに応じたブラーを抑制した品質の高い広ダイナミックレンジ画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本開示の第１の側面は、
長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理部を有し、
前記画像処理部は、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正部と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測部と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出部と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド部を有する画像処理装置にある。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、長時間露光画素と短時間露光画素とが混在した１枚の画像を入力し、入力画像を適用した補間処理により、全ての画素を長時間露光画素の画素値として設定した長時間露光画像と、全ての画素を短時間露光画素の画素値として設定した短時間露光画像を生成する感度別補間部と、前記感度別補間部の出力する長時間露光画像と、短時間露光画像に対して、長時間露光画素と短時間露光画素との露光比に応じた露出補正を実行する露出補正部を有し、前記ブラー情報計測部は、前記露出補正部の生成する露出補正長時間露光画像と、露出補正短時間露光画像を適用して前記ブラー情報を算出する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド係数算出部は、前記ブラー情報を適用して、前記露出補正長時間露光画像と、前記露出補正短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド部は、前記ブレンド係数算出部において算出したブレンド係数を適用して前記露出補正長時間露光画像と前記露出補正短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定する。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記ブラー情報計測部は、前記長時間露光画像と、前記短時間露光画像を適用して、色別のブラー情報を算出し、各画素単位の色別ブラー情報中の最大値を画素対応のブラー情報として出力する。
【００２２】
さらに、本開示の画像処理装置の一実施態様において、前記ブラー情報計測部は、前記長時間露光画像と、前記短時間露光画像に含まれるノイズを推定するノイズ推定部を有し、露出補正を施した長時間露光画像と短時間露光画像との対応画素の画素値差分に基づく算出値から前記ノイズ推定部において推定したノイズを減算して画素対応のブラー情報を算出する。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド係数算出部は、前記長時間露光画像の画素値が飽和レベルである画素については、長時間露光画像の画素値のブレンド率を抑制したブレンド係数の算出を行う。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド部は、前記長時間露光画像と前記短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像としての広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する。
【００２５】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像処理部が、長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理を実行し、
前記画像処理において、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正処理と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測処理と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出処理と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド処理を実行する画像処理方法にある。
【００２６】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像処理部において、長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理を実行させ、
前記画像処理において、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正処理と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測処理と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出処理と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド処理を実行させるプログラムにある。
【００２７】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２８】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２９】
本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して広ダイナミックレンジ画像を生成する装置、方法が実現される。
具体的には、長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理部を有し、画像処理部は、短時間露光画像と長時間露光画像を適用してブラー情報を計測するブラー情報計測部と、計測したブラー情報を適用して、短時間露光画像と長時間露光画像のブレンド係数を決定するブレンド係数算出部と、ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の画素値合成処理を実行するブレンド部を有する。ブラー情報に基づくブレンド係数の制御によりブラーの影響を削減した高品質な広ダイナミックレンジ画像生成が可能となる。
【図面の簡単な説明】
【００３０】
【図１】複数の画像撮影による広ダイナミックレンジ画像の撮影処理例について説明する図である。
【図２】広ダイナミックレンジ画像の生成処理の概要について説明する図である。
【図３】広ダイナミックレンジ画像の生成処理の概要について説明する図である。
【図４】広ダイナミックレンジ画像の生成処理の問題点について説明する図である。
【図５】本開示の処理に従った広ダイナミックレンジ画像の生成処理の概要について説明する図である。
【図６】撮像装置の構成例について説明する図である。
【図７】撮像素子の露光制御処理について説明する図である。
【図８】撮像素子の露光制御処理について説明する図である。
【図９】画像処理部の構成と処理について説明する図である。
【図１０】画像処理部の構成と処理について説明する図である。
【図１１】画像処理部の構成と処理について説明する図である。
【図１２】画像処理部の構成と処理について説明する図である。
【図１３】画像処理部の構成と処理について説明する図である。
【図１４】画像処理部の構成と処理について説明する図である。
【図１５】画像処理部の構成と処理について説明する図である。
【図１６】画像処理部の構成と処理について説明する図である。
【図１７】画像処理部の構成と処理について説明する図である。
【図１８】画像処理部の構成と処理について説明する図である。
【図１９】画像処理部の構成と処理について説明する図である。
【図２０】撮像素子の構成例について説明する図である。
【図２１】画像処理シーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログ
ラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．広ダイナミックレンジ画像の生成処理の概要について
２．本開示の処理におけるブレンド係数βの決定処理例について
３．画像処理装置の構成例について
４．撮像素子の露光制御構成例について
５．画像処理部の処理の詳細について
６．その他の実施例について
７．画像処理装置の処理シーケンスについて
８．本開示の構成のまとめ
【００３２】
［１．広ダイナミックレンジ画像の生成処理の概要について］
まず、広ダイナミックレンジ画像の生成処理の概要について説明する。
長時間露光画像と、短時間露光画像を合成することにより広ダイナミックレンジ画像を生成することができる。
図２を参照して広ダイナミックレンジ画像の生成処理について説明する。
図２は、短時間露光画像５１と、長時間露光画像５２の合成（ブレンド）を行って広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像５５を生成する処理例を示している。
本開示の処理における合成（ブレンド）処理とは、ブレンド係数βに応じた短時間露光画像５１と、長時間露光画像５２の対応画素値のブレンド処理であり、このブレンド処理によって、出力画像（合成画像）の各画素値を設定する。
【００３３】
まず、短時間露光画像５１と、長時間露光画像５２についてステップＳ１１、ＳＳ１２において露光比に応じた定数を乗算して露出補正を行う。
例えば１０ｂｉｔのセンサ、露光比１６の場合、露出補正の段階で短時間露光画像は１６倍し、長時間露光画像は１倍して、その後、ステップＳ１３で対応画素の画素値を合成（ブレンド）して出力画像である広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像５５の画素値を決定する。
なお、
露出補正後の短時間露光画像を露出補正短時間露光画像と称し、
露出補正後の長時間露光画像を露出補正長時間露光画像と称す。
【００３４】
出力画像である広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像５５の画素値決定処理の具体的シーケンスについて説明する。
例えば、
ＤＳ：露出補正短時間露光画像の画素値
ＤＬ：露出補正長時間露光画像の画素値
ＤＨ：出力する広ダイナミックレンジ画像の画素値
としたとき、
広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像１０５の画素値は、ステップＳ１３のブレンド処理において、以下に示す式に従って算出する。
ＤＨ＝（１．０−β）×ＤＳ＋β×ＤＬ
なお、上記式に従った画素値ブレンドは、露出補正短時間露光画像と、露出補正長時間露光画像の対応画素位置ごとに行う。すなわち同一被写体の撮影画素位置ごとにブレンド処理を行って出力画像（ＨＤＲ画像）の各画素値を決定する。
【００３５】
このような処理により、例えば露出補正短時間露光画素の飽和画素値は１０２３×１６＝１６３６８（１４ｂｉｔ）となるため、出力する画素値も１４ｂｉｔとなりダイナミックレンジの拡張が実現する。
【００３６】
ただし、ステップＳ１１、ＳＳ１２において露光比に応じた定数を乗算して露出補正を行って得られる露出補正短時間露光画像５３，露出補正長時間露光画像５４は、画素値として正確な値を保持していない可能性がある。すなわち、短時間露光画像５３の暗部はノイズでつぶれ、長時間露光画像５４の明部は白飛びしている可能性がある。そこで、ステップＳ１３におけるブレンド処理に際しては、これらのエラー画素の画素値については利用しないブレンド処理を行う。このような処理によって明部から暗部までＳＮ比（ＳＮＲ）の良い広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像５５が得られる。
【００３７】
上記のような広ダイナミックレンジ（ＨＤＲ）画像生成処理における問題点として、「ブラー」による問題がある。
一般に、イメージセンサの露光時間中に被写体とカメラの相対的な位置関係に変化が生じた場合、被写体が複数画素にまたがって撮像されるため、得られる画像の精細さは失われる。特に、長時間露光画像は短時間露光画像に比べて露光時間が長いために精細さを失いやすい。そのため動被写体やカメラブレが生じた場合、短時間露光画像と長時間露光画像との露出を補正して明るさをそろえても、長時間露光画像と短時間露光画像の対応画素位置の画素値にずれが生じる。このように、露光時間中に被写体とカメラの相対的な位置関係に変化が生じることによって露出補正し明るさをそろえた長時間露光画像と短時間露光画像との対応画素位置の画素値がずれる現象を「ブラー」と定義する。
以下において説明する本開示の処理によれば、ブラーの影響を抑制した高品質なＨＤＲ画像を生成することが可能となる。
【００３８】
図２を参照して説明したブレンド処理において利用するブレンド係数βについて考察する。
ブラーを考慮しないときのブレンド係数βＦは、例えば以下の式によって算出される。
βＦ＝（ＶＳ）／（ＶＳ＋ＶＬ）
ただし、
ＶＬ：露出補正長時間露光画像の注目画素のノイズの分散値
ＶＳ：露出補正短時間露光画像の注目画素のノイズの分散値
βＦ：ブラーを考慮しないときの露出補正長時間露光画像の注目画素のブレンド率
である。
ただし、長時間露光画素が飽和する条件では、βＦ＝０となるように補正を行う。詳細は後述する。
【００３９】
一般的なブレンドによる広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像の生成構成を図３に示す。
図３（ａ）に示すように、
短時間露光画像と長時間露光画像を取得し、短時間露光画像と長時間露光画像との明るさが一致するように、露光比に応じた定数をそれぞれ掛けることで露出補正を行い、露出補正した短時間露光画像からブレンド係数を決定して、決定したブレンド係数に基づくブレンド処理を行って広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する。
【００４０】
図３（ｂ）に示すように、ブレンド係数βＦは、例えば露出補正短時間露光画像の画素値ＤＳに対応する直線近似したデータを適用可能であり、短時間露光画像のみから算出できる。
あるいは長時間露光画像のみから算出できる。
従来は多くの場合ノイズが低減できるブレンド係数の選択処理については考慮するものがあったが、例えば被写体の動きに起因するブラーについて考慮したブレンド係数の決定を行うものはなかったというのが現状である。
【００４１】
上述したように、ブレンド係数βＦは、短時間露光画像あるいは長時間露光画像のみから算出できる。
しかし、このような処理を行うと生成した広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像に様々な問題が発生する。
【００４２】
図４（ａ）は、露出補正短時間露光画像からブレンド率を決定した場合の処理、
図４（ｂ）は、露出補正長時間露光画像からブレンド率を決定した場合の処理、
これらの処理例を示している。
露出補正短時間露光画像からブレンド係数を決定した場合には、生成した広ダイナミックレンジ画像のブラー部の色が正しく出力されない現象が多く発生してしまう。
また、露出補正長時間露光画像からブレンド係数βを決定した場合には、生成した広ダイナミックレンジ画像に２つの画像の境界が目立つという問題が発生する。
本開示の画像処理では、このような問題点を解決する。
【００４３】
［２．本開示の処理におけるブレンド係数βの決定処理例について］
図５を参照して、本開示の画像処理装置において実行する長時間露光画像と短時間露光画像のブレンド係数βの決定処理例について説明する。
【００４４】
図５（ａ）には本開示の画像処理装置において実行するブレンド処理構成の一例を示している。
本開示の処理では、短時間露光画像と長時間露光画像の双方に基づいてブラー情報を計測し、この計測したブラー情報と、短時間露光画像と長時間露光画像の双方に基づいてブレンド係数を決定し、決定したブレンド係数を適用して、短時間露光画像と長時間露光画像のブレンド処理を実行する。
【００４５】
なお、「ブラー」とは、前述したように、露光比に基づく補正を行った長時間露光画像と短時間露光画像との対応画素位置の画素の画素値のずれであり、「ブラー情報」は、この画素値のずれ量に相当するブラー発生度合いを示す指標値である。
【００４６】
本開示の処理においては、撮影画像から各画素単位の「ブラー情報」を取得し、取得した「ブラー情報」に基づいて決定したブレンド係数を適用して、短時間露光画像と長時間露光画像のブレンド処理を実行して、広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する。
【００４７】
本開示の構成では、ブラーを考慮したブレンド係数βＢは、例えば以下の（式１）に従って算出される。
【００４８】
【数１】
・・・（式１）
【００４９】
ただし
Ｍ：ブラー情報（＝ブラーの大小を示すブラー度合い指標値）
ｍａｘ（ａ，ｂ）：ａとｂの最大値を求める関数
ｍｉｎ（ａ，ｂ）：ａとｂの最小値を求める関数
である。またｋ１、ｋ０は、パラメータである。詳細は後段で説明する。
【００５０】
なお、長時間露光画像のブラーの大小を示す値：Ｍは理想的には以下の式で算出される。
Ｍ＝（μＬ−μＳ）２
なおμＬ、μＳは以下の値とする。
μＬ：ノイズの影響が全くないときに得られる露出補正長時間露光画像の理想的な画素値
μＳ：ノイズの影響が全くないときに得られる露出補正短時間露光画像の理想的な画素値
【００５１】
しかし、上記式において、実際には、μＬ、μＳはノイズの影響があるため直接求めることができない。そこで注目画素の周辺の画素群を用いて、例えば以下の（式２）を用いて近似的にＭを求める。
【００５２】
【数２】
・・・（式２）
【００５３】
ただし、
Ｍ（ｘ、ｙ）：画素位置（ｘ、ｙ）でのブラー情報
ＤＬ（ｘ、ｙ）：露出補正長時間露光画像の画素位置（ｘ、ｙ）での画素値
ＤＳ（ｘ、ｙ）：露出補正短時間露光画像の画素位置（ｘ、ｙ）での画素値
ＶＬ（ｘ、ｙ）：露出補正長時間露光画像の画素位置（ｘ、ｙ）でのノイズの分散値
ＶＳ（ｘ、ｙ）：露出補正短時間露光画像の画素位置（ｘ、ｙ）でのノイズの分散値
φ（ｄｘ，ｄｙ）：ローパスフィルタの重み係数
ｍｉｎ（ａ，ｂ）：値ａと値ｂの最小値を計算する関数
ｍａｘ（ａ，ｂ）：値ａと値ｂの最大値を計算する関数
ｐ：調整用のパラメータ。ゼロ以上の定数とする。
【００５４】
また、上記（式２）の演算の結果、Ｍ（ｘ、ｙ）が負の値になった時は、Ｍ（ｘ、ｙ）を０で置き換える。
あるいは、長時間露光画像のブラーの大小を示す値：Ｍの計算は、簡略化して以下の（式３）に従って算出してもよい。
【００５５】
【数３】
・・・（式３）
【００５６】
このようなブレンド係数βＢを決定してブレンド処理を行う。
この処理により、
ブラーが大きい部位では、βＢは０に近づくためブレの少ない短時間露光画像に基づく画素値を優先的に出力する設定となり、
ブラーが小さい部位では、βＢは従来手法と同等の値をとり、所定のブレンド比率に応じた画素値が生成される。
このような処理が実現され、その結果、
動被写体部は、ブレの少なく、
静止部は、暗い部位から明るい部位までＳＮＲの良いＨＤＲ画像が得られる。
なお、上記のブレンド係数の計算量はさほど大きくなく、高速に処理可能であり、例えば動画のＨＤＲ画像生成処理にも適用することができる。
【００５７】
［３．画像処理装置の構成例について］
図６に、本開示の画像処理装置の一構成例である撮像装置１００の構成例を示す。
図６は、撮像装置の構成例を示すブロック図である。光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。出力画像データは画像処理部１０３に入力される。
【００５８】
撮像素子１０２の出力画像は、各画素にＲＧＢのいずれかの画素値が設定されたいわゆるモザイク画像である。
画像処理部１０３は、各画素にＲＧＢの全画素値を設定するデモザイク処理、上述した長時間露光画像と短時間露光画像との合成処理に基づく広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像の生成処理、ブレ補正処理などを行う。
【００５９】
この画像処理部１０３の出力は信号処理部１０４に入力される。信号処理部１０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。
【００６０】
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
【００６１】
［４．撮像素子の露光制御構成例について］
次に、撮像素子１０２の露光制御構成例について図７を参照して説明する。
本開示の画像処理装置では、１枚の撮影画像に含まれる画素単位で、長時間露光画素と短時間露光画素を設定して、これらの画素間の合成処理（ブレンド）により、広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する。この露光時間制御は制御部１０５の制御によって行われる。
【００６２】
図７は、本開示の一実施例の撮像素子１０２の露光時間設定例を示す図である。
図７に示すように、撮像素子の構成画素は、
長時間の露光条件で撮像する長時間露光画素、
短時間の露光条件で撮像する短時間露光画素、
これらの２つの種類の画素に区分される。本開示では、図７のように一つの撮像素子内に長時間露光画素と短時間露光画素を有する画素配列をＳＶＥ（Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｅｘｐｏｓｕｒｅ）配列と呼ぶ。
【００６３】
図８に各画素の露光時間のタイミング例を示す。
長時間露光画素は長時間の露光処理がなされる。
短時間露光画素は短時間の露光処理がなされる。
図８に示す例では、短時間露光画素と長時間露光画素の露光開始タイミングは一致していないが、露光終了のタイミングは一致する露光条件とする。
【００６４】
［５．画像処理部の処理の詳細について］
次に、図６に示す撮像装置１００の画像処理部１０３の詳細について説明する。
まず、図９を参照して画像処理部１０３の実行するデモザイク処理について説明する。
画像処理部１０３に構成されるデモザイク処理部は、図９に示すように、
感度別補間部２０１、
ＨＤＲ合成かつブレ補正部２０２、
を有する。
【００６５】
感度別補間部２０１では、例えば図７参照して説明した構成を持つ長時間露光画素と短時間露光画素を有する画素配列であるＳＶＥ配列の画像を入力し、入力したＳＶＥ配列画像の補間処理を実行して、
画面全体が短時間露光の画像、
画面全体が長時間露光の画像、
これらの補間画像を生成して出力する。
出力する画像の色配列は入力する画像の色配列と同等（本例ではベイヤ配列）でもよいし、１画素位置にＲＧＢそろったデモザイク後の画像でもよい。
ＨＤＲ合成かつブレ補正部２０２では、短時間露光の画像と長時間露光の画像を合成して、ブレの無い広ダイナミックレンジ（ＨＤＲ）画像を生成して出力する。
【００６６】
図１０に、感度別補間部２０１の詳細を示す。
感度別補間部２０１は、図１０に示すように、各感度の画素のみを抽出する抽出部２１１，２１２、各感度の画素を利用して、低感度画像（短時間露光画像）と高感度画像（長時間露光画像）を生成する色補間部２１３，２１４を有する。
なお、この感度対応の補間処理構成としては、例えば特開２００８−１２５１１７に記載の図７４の手法が適用可能である。
抽出部２１１，２１２で周辺画素から、補間したい感度・色の画素を抽出し、色補間部２１３，２１４で補間処理を行う。
なお、補間は、単純なローパスフィルタを用いる手法や、周囲の画素から画像のエッジ方向を推定しエッジに沿った方向に補間する手法等が使える。
【００６７】
次に、ＨＤＲ合成かつブレ補正部２０２の構成と処理について、図１１を参照して説明する。
ＨＤＲ合成かつブレ補正部２０２は、
露出補正部（乗算部）２２１，２２２
ブラー情報計測部２２３、
ブレンド係数算出部２２４、
ブレンド部２２５、
を有する。
【００６８】
露出補正部（乗算部）２２１，２２２で、露光時間に応じた定数を乗じることで短時間露光画像と長時間露光画像の明るさを合わせる。本実施例では、露光比が１６なので、短時間露光に１６を掛け、長時間露光画像に１を掛ける。
ブラー情報計測部２２３で、ブラー情報（長時間露光画像がどの程度ブレたかを表す）を画素ごとに計測する。
ブラー情報とは、先に（式１）〜（式３）を参照して説明した長時間露光画像のブラーの大小を示す値：Ｍに相当する値である。
ブレンド係数算出部２２４で、露出補正短時間露光画素と露出補正長時間露光画素をどの程度の割合でブレンドすればよいかを示すブレンド係数を算出する。
ブレンド部２２５でブレンド係数に応じて、露出補正短時間露光画像と露出補正長時間露光画像をブレンドする。
【００６９】
図１２を参照して、ブラー情報計測部２２３の詳細構成と処理について説明する。
ブラー情報計測部２２３は、
色別ブラー情報計測部２４１〜２４３、
最大値選択部２４４を有する。
【００７０】
ブラー情報計測部２２３は、デモザイク処理によって１画素位置ごとにＲＧＢの３色が設定され、かつ露光補正のなされた露出補正短時間露光画像と露出補正長時間露光画像を入力する。
Ｒの露出補正長時間露光画像２３０ＲＬと露出補正短時間露光画像２３０ＲＳを色別ブラー情報計測部２４１に入力する。
Ｇの露出補正長時間露光画像２３０ＧＬと露出補正短時間露光画像２３０ＧＳを色別ブラー情報計測部２４２に入力する。
Ｂの露出補正長時間露光画像２３０ＢＬと露出補正短時間露光画像２３０ＢＳを色別ブラー情報計測部２４３に入力する。
これらの色別ブラー情報計測部２４１〜２４３で、Ｒ，Ｇ，Ｂ各色対応のブラー情報を計測する。
ブラー情報とは、先に（式１）〜（式３）を参照して説明した長時間露光画像のブラーの大小を示す値：Ｍに相当する値であり、色別ブラー情報計測部２４１〜２４３は、ＲＧＢ各色別のブラー情報：ＭＲ、ＭＧ、ＭＢをそれぞれ画素単位で算出する。
【００７１】
さらに、色別ブラー情報計測部２４１〜２４３の算出した各画素単位のＲＧＢ各色別のブラー情報：ＭＲ、ＭＧ、ＭＢは、最大値選択部２４４に入力される。
最大値選択部２４４では、各画素単位の色別ブラー情報：ＭＲ、ＭＧ、ＭＢを比較し、
各画素単位で色別ブラー情報の最大値を選択して出力する。
【００７２】
図１３を参照して、色別ブラー情報計測部２４１〜２４３の詳細構成と処理について説明する。
色別ブラー情報計測部２４１〜２４３では、色別ブラー情報を算出する。ここではＲの色別ブラー情報（ＭＲ）を算出する図１２に示す色別ブラー情報計測部２４１の処理構成について説明する。その他の色別ブラー情報計測部２４２，２４３も同様の構成を持つ。
【００７３】
図１３に示すように、色別ブラー情報計測部２４１は、飽和処理部２５１，２５２、ノイズ推定部２５３，２５５、差分算出部２５４、二乗算出部２５６、ローパスフィルタ演算部２５７、演算部２５８を有する。
【００７４】
色別ブラー情報計測部２４１は、Ｒの色別ブラー情報（ＭＲ）先に説明した（式２）に従った算出処理と同様、注目画素の周辺の画素群を用いて、例えば以下の（式４）を用いて近似的に求める。
【００７５】
【数４】
・・・・・（式４）
【００７６】
なお、上記（式４）によって算出されるＭＲの値が負の値だったら、ゼロに置き換えて使用する。
ただし、上記（式４）における各変数は以下の通りである。
位置（ｘ、ｙ）での飽和処理後の露出補正長時間露光画素のＲの画素値をＤＲＬ（ｘ，ｙ）、
位置（ｘ、ｙ）での飽和処理後の露出補正短時間露光画素のＲの画素値をＤＲＳ（ｘ，ｙ）、
ローパスフィルタのカーネルをφ（ｘ、ｙ）
位置（ｘ、ｙ）での露出補正長時間露光画素のＲのノイズの分散をＶＲＬ（ｘ，ｙ）
位置（ｘ、ｙ）での露出補正短時間露光画素のＲのノイズの分散をＶＲＳ（ｘ，ｙ）
【００７７】
ノイズ推定部２５３，２５５では、注目画素位置での露出補正後の画素のノイズの分散値を推定する。一般に、イメージセンサが出力する画素値と、その画素が持つノイズの分散値には以下のようなモデル化が成り立つ。
ノイズの分散＝ｎ１×画素値＋ｎ０
上記式において、
ｎ１，ｎ０はセンサや感度に応じた定数である。
今回の例では、露出補正長時間露光画素の画素値ＤＬはセンサが出力した画素値に１をかけ、露出補正短時間露光画素の画素値ＤＳはセンサが出力した画素値に露光比Ｅを掛けているので、具体的には以下の式を用いて、注目画素（ｘ，ｙ）における露出補正長時間露光画像のノイズ分散ＶＬ（ｘ，ｙ）と、露出補正短時間露光画像のノイズ分散ＶＳ（ｘ，ｙ）を算出できる。
ＶＬ（ｘ，ｙ） ＝（ｎ１×ＤＬ（ｘ，ｙ）＋ｎ０）
ＶＳ（ｘ，ｙ） ＝（ｎ１×（ＤＳ（ｘ，ｙ）÷Ｅ）＋ｎ０）×Ｅ２
＝ｎ１×Ｅ×ＤＳ（ｘ，ｙ）＋ｎ０×Ｅ２
【００７８】
なお、以下に説明するように、上記のノイズ分散は、ＲＧＢ各色別のノイズ分散算出処理として実行され、
Ｒ対応の露出補正長時間露光画像のノイズ分散ＶＲＬ（ｘ，ｙ）、
Ｒ対応の露出補正短時間露光画像のノイズ分散ＶＲＳ（ｘ，ｙ）、
Ｇ対応の露出補正長時間露光画像のノイズ分散ＶＧＬ（ｘ，ｙ）、
Ｇ対応の露出補正短時間露光画像のノイズ分散ＶＧＳ（ｘ，ｙ）、
Ｂ対応の露出補正長時間露光画像のノイズ分散ＶＢＬ（ｘ，ｙ）、
Ｂ対応の露出補正短時間露光画像のノイズ分散ＶＢＳ（ｘ，ｙ）、
これらの各値を算出する処理が行われる。
【００７９】
飽和処理部２５１，２５２は、ある閾値以上の値を閾値に置き換えることで、露出補正した短時間露光画像、長時間露光画像の飽和レベルをそろえる。本実施例では、露出補正した長時間露光画像の飽和画素値が１０２３なので、露出補正短時間露光画素、露出補正長時間露光画素ともに１０２３以上の値はすべて１０２３に置き換える。
【００８０】
差分算出部２５４、二乗算出部２５６、ローパスフィルタ算出部２５７のブロックで、上記（式４）の前半部に相当する値、すなわち、以下の（式５）に示す値を算出する。
【００８１】
【数５】
・・・・・（式５）
【００８２】
なお、上記（式５）の計算では、露出補正短時間露光画素、露出補正長時間露光画素に含まれるノイズの影響を受けてしまう。ここでは、純粋にブラーによる影響を求めたい。そこで演算部２５８において、ノイズ分散を減算する処理を行う。
ノイズ分散の減算処理は、上記（式４）の後半の減算部分、すなわち、
（−Ｐ×ＶＲＬ（ｘ，ｙ）−Ｐ×ＶＲＳ（ｘ，ｙ））
上記の減算処理に相当する。
結果として、前述の（式４）の計算結果としてのＲの色別ブラー情報（ＭＲ）を算出することができる。
なお、ブラー情報Ｍとして、負の値は取り得ないので、上記（式４）によって算出されるＭＲの値が負の値だったら、ゼロに置き換えて使用する。
【００８３】
次に、図１１に示すＨＤＲ合成かつブレ補正部２０２のブレンド係数算出部２２４の構成例について図１４を参照して説明する。
図１４に示すように、ブレンド係数算出部２２４は、最大値選択部２６１，２６２と、ブレンド係数演算部２６３を有する。
【００８４】
ブレンド係数算出部２２４は、１画素位置あたりＲＧＢの３色そろった画像、具体的には、ＲＧＢ各色対応の露出補正長時間露光画像と露出補正短時間露光画像を入力し、同一位置のＲＧＢの各画素値情報を、順次、最大値選択部２６１、２６２に入力する。
【００８５】
最大値選択部２６１では、ＲＧＢ各露出補正長時間露光画像の対応画素位置のＲＧＢ各画素値から、最大値を選択する。
同様に、最大値選択部２６２では、ＲＧＢ各露出補正短時間露光画像の対応画素位置のＲＧＢ各画素値から、最大値を選択する。
【００８６】
ブレンド係数演算部２６３は、
最大値選択部２６１から、ＲＧＢ各露出補正長時間露光画像の対応画素位置のＲＧＢ各画素値の最大値を入力し、
最大値選択部２６２から、ＲＧＢ各露出補正短時間露光画像の対応画素位置のＲＧＢ各画素値の最大値を入力し、さらに、図１１〜図１３を参照して説明したブラー情報計測部２２３から各画素単位のブラー情報を入力する。
ブレンド係数演算部２６３は、これらの入力情報に基づいてブレンド係数を算出する。
【００８７】
ブレンド係数演算部２６３は、実際のブレンド係数、すなわち露出補正短時間露光画素と露出補正長時間露光画素のブレンド比率を示すブレンド係数を画素ごとに算出する。
なおＲ，Ｇ，Ｂは共通のブレンド係数にて、露出補正短時間露光画素と露出補正長時間露光画素をブレンドする。
【００８８】
ブレンド係数演算部２６３の詳細構成と処理について、図１５を参照して説明する。
図１５に示すように、ブレンド係数演算部２６３はノイズ推定部２７１，２７２、演算部２７３、飽和付近ブレンド係数算出部２７４、最小値選択部２７５を有する。
【００８９】
ノイズ推定部２７１，２７２において露出補正後のノイズの分散値を推定する。このノイズ推定部２７１，２７２は、先に図１３を参照して説明した色別ブラー情報計測部２４１にあるノイズ推定部２５３，２５５と同様の処理を行う。
すなわち、注目画素位置での露出補正後の画素のノイズの分散値を推定する。前述したように、以下の式に従って、注目画素（ｘ，ｙ）における露出補正長時間露光画像のノイズ分散ＶＬ（ｘ，ｙ）と、露出補正短時間露光画像のノイズ分散ＶＳ（ｘ，ｙ）を算出する。
ＶＬ（ｘ，ｙ） ＝（ｎ１×ＤＬ（ｘ，ｙ）＋ｎ０）
ＶＳ（ｘ，ｙ） ＝（ｎ１×（ＤＳ（ｘ，ｙ）÷Ｅ）＋ｎ０）×Ｅ２
＝ｎ１×Ｅ×ＤＳ（ｘ，ｙ）＋ｎ０×Ｅ２
ただし、
ＤＬは、露出補正長時間露光画素の画素値、
ＤＳは、露出補正短時間露光画素の画素値、
Ｅは、短時間露光と長時間露光の露光比、
ｎ１，ｎ０はセンサや感度に応じた定数である。
【００９０】
演算部は２７３以下の計算によって、最終的なブレンド係数βの算出に適用するブレンド係数算出適用値βｐの算出を行う。
βｐ＝（ＶＳ）／（ＶＳ＋ＶＬ＋Ｍ）
ただし、
ＶＬは、露出補正長時間露光画像のノイズ分散、
ＶＳは、露出補正短時間露光画像のノイズ分散、
Ｍは、ブラー情報、
である。
なお除算の軽量化のために、上記の割り算を近似式で計算する処理を適用してもよい。あるいは、上記の割り算の入出力値を予め登録したルックアップテーブル（ＬＵＴ）を記憶部に格納して、ＬＵＴを参照した処理によって、計算を簡略化してもよい。
【００９１】
なお、長時間露光画素が飽和する条件では、ブレンド係数βは０とし、露出補正短時間露光画素を出力したい。
そこで、飽和付近ブレンド係数算出部２７４において、図１６に示すグラフのような折れ線を適用して長時間露光画素が飽和する付近で、ブレンド係数βを調整するための、ブレンド係数算出適用値βｑを算出する。
【００９２】
図１６に示すグラフは、
横軸に露出補正短時間露光画素の画素値、
縦軸に最終的なブレンド係数βの算出に適用するブレンド係数算出適用値βｑ、
これらを設定したグラフであり、
横軸の露出補正短時間露光画素の画素値上に、
０＜Ｔｈ０＜Ｔｈ１
上記設定の２つのしきい値Ｔｈ０，Ｔｈ１を設定している。
これらのしきい値は、予め規定した値を用いる。例えば、しきい値Ｔｈ１は、長時間露光画素の画素値が、ほぼ１００％飽和画素値であると推定される露出補正短時間露光画素の画素値であり、しきい値Ｔｈ０は、長時間露光画素の画素値が、飽和画素値である可能性が高くなる露出補正短時間露光画素の画素値として設定する。
【００９３】
図１６に示すように、ブレンド係数算出適用値βｑは、
露出補正短時間露光画素の画素値＝０〜Ｔｈ０では、βｑ＝１、
露出補正短時間露光画素の画素値＝Ｔｈ０〜Ｔｈ１では、βｑ＝１〜０、
露出補正短時間露光画素の画素値＝Ｔｈ１〜では、βｑ＝０、
このような値に設定される。
本実施例では、露出補正長時間露光画像の飽和画素値は１０２３なので、Ｔｈ１＜１０２３のパラメータとし、Ｔｈ０はＴｈ１より小さい値のパラメータとなる。
【００９４】
最大値選択部２７５は、
（ａ）演算部２７３の算出したブレンド係数算出適用値βｐ、すなわち、
βｐ＝（ＶＳ）／（ＶＳ＋ＶＬ＋Ｍ）と、
（ｂ）飽和付近ブレンド係数算出部２７４の算出したブレンド係数算出適用値βｑ、すなわち、図１６に示す設定のブレンド係数算出適用値βｑ、
これらの２つのブレンド係数算出適用値βｐ、βｑ、
これら２つの値から、最小値を選択し、この選択した値を露出補正長時間露光画素のブレンド係数βとして出力する。
【００９５】
なお、最小値選択部２７５におけるブレンド係数βの算出式は、以下に示す（式６）として示すことができる。
【００９６】
【数６】
・・・・（式６）
【００９７】
次に、図１１に示すＨＤＲ合成かつブレ補正部２０２のブレンド部２２５の構成例について図１７を参照して説明する。
ブレンド部２２５は、図１７に示すように、色別ブレンド部２８１，２８２，２８３を有する。
【００９８】
Ｒ，Ｇ，Ｂそれぞれの短時間露光画素と長時間露光画素の対応画素について、色別ブレンド部２８１〜２８３において決定したブレンド係数βを適用したブレンド処理（合成処理）を行い、広ダイナミックレンジ（ＨＤＲ）画像を得る。ＲＧＢそれぞれのブレンド係数は画素ごとに共通の値を用いる。
【００９９】
色別ブレンド部２８１，２８２，２８３の詳細構成と処理について図１８を参照して説明する。
図１８には色別ブレンド部２８１の構成を示している。色別ブレンド部２８２，２８３も同様の構成を有する。
図１８に示すように、色別ブレンド部２８１は、減算器２９１、乗算器２９２、加算器２９３を有する。
【０１００】
色別ブレンド部２８１では以下の式に従って、出力する広ダイナミックレンジ画像（ＨＤＲ画像）の画素値ＤＨを算出する。
ＤＨ＝（１−β）×ＤＳ＋β×ＤＬ
＝β×（ＤＬ−ＤＳ）＋ＤＳ
ただし、
ＤＬ：露出補正長時間露光画像の画素値
ＤＳ：露出補正短時間露光画像の画素値
β：ブレンド係数
である。
上記式に従った、ブレンド処理の結果、広ダイナミックレンジ（ＨＤＲ）画像の画素値が得られる。
【０１０１】
［６．その他の実施例について］
以上、基本的な実施例について説明してきたが、上述した実施例を基本構成として、その一部を変更した実施例について説明する。
【０１０２】
（６−１．ブラー情報の計算を簡略化した実施例）
ブラー情報の計算を簡略化した実施例について説明する。
前述した基本実施例では、ブラー情報Ｍの計算処理として、先に説明した（式４）に従って、各色ＲＧＢ単位のブラー情報を計算していた。
【０１０３】
上記計算を行う代わりに、先にローパスフィルタ（ＬＰＦ）の適用処理、あるいはＬＰＦ適用に相当する計算を行うことで乗算器やメモリのコストを抑えることが可能である。先にローパスフィルタ（ＬＰＦ）の適用処理、あるいはＬＰＦ適用に相当する計算を行うことで、ＬＰＦ適用後の画素値は複数の周囲の画素の加算結果として設定されるのでノイズの影響が抑えられ、露出補正長時間露光画像と露出補正短時間露光画像に対するノイズ分散ＶＬ、ＶＳを減算する処理を省略することも可能である。
例えば、Ｒ対応のブラー情報ＭＲの計算処理として、以下の算出式（式７）を適用することが可能である。
【０１０４】
【数７】
・・・・・（式７）
【０１０５】
上記（式７）に従ったブラー情報の算出処理を実行する色別ブラー情報計測部２３１の構成例を図１９に示す。
図１９に示す色別ブラー情報計測部２３１はＬＰＦ３０１，３０２、飽和処理部３０３，３０４、差分算出部３０５、二乗算出部３０６を有し、これらの各構成部の処理によって、上記の（式７）に従ったブラー情報Ｍの算出処理を実行する。
【０１０６】
（６−２．ベイヤ配列に対する補間処理を施す処理例）
上述した基本実施例では、感度別補間部にて、１画素あたりＲＧＢの３色そろえる構成としていた。
このように、３色の設定を行うことなく、短時間露光画像と長時間露光画像が同じ色配列である画像に補間されていれば本処理を適用することができる。例えば本実施例では、入力するイメージセンサと同じ色配列（ベイヤ配列）に補間して処理することもできる。
【０１０７】
この場合、画素ごとに色が異なるので、ブラー情報計測部のローパスフィルタ演算部等で、周囲の画素のうち注目画素と同じ色の画素を抜き出してローパスフィルタ演算部を施す必要がある。基本的な構成は前述の基本実施例と同様となる。
【０１０８】
（６−３．撮像素子の画素配列の態様について）
上述した実施例ではベイヤ配列を持つ撮像素子からの出力に対する処理例として説明したが、本開示の処理は、このようなベイヤ配列のみならず、その他の様々な画素配列を持つ画像に対して適用できる。
例えば、図２０に示す（Ａ）〜（Ｊ）のような様々な画素配列に対する処理が可能である。
【０１０９】
（６−４．ＳＶＥ配列以外のイメージセンサを用いた例）
本開示の処理は、ＳＶＥ配列のイメージセンサ以外にも、通常のイメージセンサで複数回（短時間露光と長時間露光）撮影して取得した画像を使用したり、複数のイメージセンサで撮影した画像を用いることができる。
その場合、短時間露光画像と長時間露光画像で被写体の位置がずれている可能性があるため位置補正部にて予め被写体の位置を一致させるように補正して使うこともできる。
【０１１０】
［７．画像処理装置の処理シーケンスについて］
次に、図２１に示すフローチャートを参照して本開示の画像処理装置の実行する画像処理のシーケンスについて説明する。
【０１１１】
図２１に示すフローチャートの各ステップの処理について説明する。
図２１に示すフローは、例えば、図６に示す撮像装置１００の画像処理部１０３において実行する処理であり、画像処理部１０３内の記憶部に格納されたプログラムに従って、画像処理部１０３内のデータ処理部としてのプロセッサやハードウェアを利用して実行される。
【０１１２】
なお、図２１に示すフローは、図６に示す撮像装置１００の撮像素子１０２において撮影された画像を構成する画素値情報を、画像処理部１０３が、順次入力して実行する画素単位の処理である。画像処理部１０３は、画素単位で、図２１に示すフローを繰り返し実行して、入力画像の画素値に基づく出力画像としてのＨＤＲ画像の画素値を決定して出力する。
【０１１３】
なお、図６に示す撮像装置１００の撮像素子１０２において撮影された画像は、例えば図７、あるいは図２０を参照して説明したように、短時間露光画素と長時間露光画素とが混在した画像であり、画像処理部１０３はこのような短時間露光画素と長時間露光画素とが混在した画像の各画素値を順次、入力して処理を実行する。
【０１１４】
以下、図２１に示すフローチャートの各ステップの処理について説明する。
（ステップＳ１０１）
画像処理部１０３は、撮像素子（イメージセンサ）１０２から、処理対象とする注目画素位置の画素値を入力する。
（ステップＳ１０２）
注目画素位置の近傍の画素値を近傍画素値として読み込む。
なお、近傍画素領域は、例えば注目画素を中心とした例えば７×７画素等の矩形領域の画素であり、予め規定した領域とする。
【０１１５】
（ステップＳ１０３）
入力した注目画素と近傍画素に含まれる短時間露光画素を利用した画素補間処理によって、全画素に短時間露光画素を設定した短時間露光画像を生成する。
（ステップＳ１０４）
入力した注目画素と近傍画素に含まれる長時間露光画素を利用した画素補間処理によって、全画素に長時間露光画素を設定した長時間露光画像を生成する。
これらのステップＳ１０３〜Ｓ１０４の補間処理は、図９、図１０を参照して説明した感度別補間部２０１において実行する処理である。
【０１１６】
（ステップＳ１０５）
ステップＳ１０３の補間処理によって生成した短時間露光画像に対して、露光比（短時間露光画素と長時間露光画素の露光比）に応じた露出補正を実行し、露出補正短時間露光画像を生成する。具体的には、短時間露光画像の画素値に露光比に応じた露光定数を乗算して露出補正短時間露光画像を生成する。
（ステップＳ１０６）
ステップＳ１０４の補間処理によって生成した長時間露光画像に対して、露光比に応じた露出補正を実行し、露出補正長時間露光画像を生成する。具体的には、長時間露光画像の画素値に露光比に応じた露光定数を乗算して露出補正長時間露光画像を生成する。
これらのステップＳ１０５〜Ｓ１０６の補整処理は、図１１に示すＨＤＲ合成かつブレ補正部２０２における露出補正部（乗算器）２２１，２２２によって実行される処理である。
【０１１７】
（ステップＳ１０７）
露出補正短時間露光画像と、露出補正長時間露光画像を利用して、ブラー情報を算出する。
ブラー情報は、前述したように長時間露光画像がどの程度ブレたかを表す指標値である。このステップＳ１０７の処理は、図１１に示すＨＤＲ合成かつブレ補正部２０２におけるブラー情報計測部２２３の実行する処理である。
ブラー情報計測部２２３は、先に図１２、図１３を参照して説明したように、前述した（式４）に従って各色別のブラー情報ＭＲ，ＭＧ，ＭＢを算出し、さらに、これらの最大値を画素対応のブラー情報Ｍとして出力する。
【０１１８】
（ステップＳ１０８）
ステップＳ１０５において生成した露出補正短時間露光画像と、露出補正短時間露光定数とセンサ（撮像素子）固有のノイズモデルから決定される定数ｎ０，ｎ１等を適用して、画素対応の短時間露光画像ノイズ分散値ＶＬ（ｘ，ｙ）を算出する。
（ステップＳ１０９）
ステップＳ１０６において生成した露出補正長時間露光画像と、露出補正長時間露光定数とセンサ（撮像素子）固有のノイズモデルから決定される定数ｎ０，ｎ１等を適用して、画素対応の長時間露光画像ノイズ分散値ＶＬ（ｘ，ｙ）を算出する。
【０１１９】
これらのステップＳ１０８、Ｓ１０９の処理は、図１５に示すブレンド係数演算部２６３のノイズ推定部２７１，２７２の処理である。
前述したように、ノイズ推定部２７１，２７２は、注目画素（ｘ，ｙ）における露出補正長時間露光画像のノイズ分散ＶＬ（ｘ，ｙ）と、露出補正短時間露光画像のノイズ分散ＶＳ（ｘ，ｙ）を以下の式に従って、算出する。
ＶＬ（ｘ，ｙ） ＝（ｎ１×ＤＬ（ｘ，ｙ）＋ｎ０）
ＶＳ（ｘ，ｙ） ＝（ｎ１×（ＤＳ（ｘ，ｙ）÷Ｅ）＋ｎ０）×Ｅ２
＝ｎ１×Ｅ×ＤＳ（ｘ，ｙ）＋ｎ０×Ｅ２
ただし、
ＤＬは、露出補正長時間露光画素の画素値、
ＤＳは、露出補正短時間露光画素の画素値、
Ｅは、短時間露光と長時間露光の露光比、
ｎ１，ｎ０はセンサや感度に応じた定数である。
【０１２０】
（ステップＳ１１０）
ステップＳ１０８で算出した短時間露光画像ノイズ分散値ＶＳ（ｘ，ｙ）と、
ステップＳＳ１０９で算出した長時間露光画像ノイズ分散値ＶＬ（ｘ，ｙ）と、
ステップＳ１０７で算出したブラー情報Ｍと、
ステップＳ１０５で生成した露出補正短時間露光画像、
これらの情報を適用して、
出力画像であるＨＤＲ画像の画素値における露出補正長時間露光画像の画素値ブレンド率を示すブレンド係数βを算出する。
【０１２１】
このステップＳ１１０の処理は、図１５に示すブレンド係数演算部２６３の処理である。
先に図１５を参照して説明したよように、演算部は２７３以下の計算によって、最終的なブレンド係数βの算出に適用するブレンド係数算出適用値βｐの算出を行う。
βｐ＝（ＶＳ）／（ＶＳ＋ＶＬ＋Ｍ）
ただし、
ＶＬは、露出補正長時間露光画像のノイズ分散、
ＶＳは、露出補正短時間露光画像のノイズ分散、
Ｍは、ブラー情報、
【０１２２】
さらに、飽和付近ブレンド係数算出部２７４において、図１６に示すグラフのような折れ線を適用して長時間露光画素が飽和する付近で、ブレンド係数βを調整するための、ブレンド係数算出適用値βｑを算出する。
【０１２３】
さらに、最小値選択部２７５が、
（ａ）演算部２７３の算出したブレンド係数算出適用値βｐ、すなわち、
βｐ＝（ＶＳ）／（ＶＳ＋ＶＬ＋Ｍ）と、
（ｂ）飽和付近ブレンド係数算出部２７４の算出したブレンド係数算出適用値βｑ、すなわち、図１６に示す設定のブレンド係数算出適用値βｑ、
これらの２つのブレンド係数算出適用値βｐ、βｑ、
これら２つの値から、最小値を選択し、この選択した値を露出補正長時間露光画素のブレンド係数βとして出力する。
ステップＳ１１０の処理は、これらの処理によるブレンド係数βの算出処理である。
【０１２４】
（ステップＳ１１１）
ステップＳ１０５において生成した露出補正短時間露光画像と、
ステップＳ１０６において生成した露出補正長時間露光画像とを、
ステップＳ１１０で算出したブレンド係数βに応じてブレンドする処理を実行してＨＤＲ画像の画素値を算出する。
【０１２５】
このステップＳ１１１の処理は、図１７、図１８を参照して説明したブレンド部２２５、色別ブレンド部２８１の実行する処理である。
前述したように、色別ブレンド部２８１では以下の式に従って、出力する広ダイナミックレンジ画像（ＨＤＲ画像）の画素値ＤＨを算出する。
ＤＨ＝（１−β）×ＤＳ＋β×ＤＬ
＝β×（ＤＬ−ＤＳ）＋ＤＳ
ただし、
ＤＬ：露出補正長時間露光画像の画素値
ＤＳ：露出補正短時間露光画像の画素値
β：ブレンド係数
である。
上記式に従った、ブレンド処理の結果、広ダイナミックレンジ（ＨＤＲ）画像の画素値が得られる。
【０１２６】
（ステップＳ１１２）
後段の信号処理を実行する。
この処理は、図６に示す信号処理部１０４において実行する処理である。画像処理部１０３の生成したＨＤＲ画像に対して、一般的なカメラ信号処理、例えばホワイトバランス調整処理やガンマ補正処理などのカメラ信号処理、さらに必要に応じて記憶部に格納するための符号化処理などを実行する。
【０１２７】
ステップＳ１１３において、これらの処理をすべての画素に対して実行したか否かを判定し、未処理画素がある場合は、ステップＳ１０１で未処理画素を入力して、未処理画素について、ステップＳ１０２以下の処理を実行し、全ての画素の処理が終了した場合は、ステップＳ１１４において、処理後の画像（広ダイナミックレンジ（ＨＤＲ）画像）を出力画像として出力または記憶部にメモリ格納する。
なお、これらの処理は、例えばメモリに格納されたプログラムに従って、制御部の制御の下に実行可能である。
【０１２８】
［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１２９】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理部を有し、
前記画像処理部は、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正部と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測部と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出部と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド部を有する画像処理装置。
【０１３０】
（２）前記画像処理部は、長時間露光画素と短時間露光画素とが混在した１枚の画像を入力し、入力画像を適用した補間処理により、全ての画素を長時間露光画素の画素値として設定した長時間露光画像と、全ての画素を短時間露光画素の画素値として設定した短時間露光画像を生成する感度別補間部と、前記感度別補間部の出力する長時間露光画像と、短時間露光画像に対して、長時間露光画素と短時間露光画素との露光比に応じた露出補正を実行する露出補正部を有し、前記ブラー情報計測部は、前記露出補正部の生成する露出補正長時間露光画像と、露出補正短時間露光画像を適用して前記ブラー情報を算出する前記（１）に記載の画像処理装置。
【０１３１】
（３）前記ブレンド係数算出部は、前記ブラー情報を適用して、前記露出補正長時間露光画像と、前記露出補正短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定する前記（１）または（２）に記載の画像処理装置。
（４）前記ブレンド部は、前記ブレンド係数算出部において算出したブレンド係数を適用して前記露出補正長時間露光画像と前記露出補正短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定する前記（１）〜（３）いずれかに記載の画像処理装置。
【０１３２】
（５）前記ブラー情報計測部は、前記長時間露光画像と、前記短時間露光画像を適用して、色別のブラー情報を算出し、各画素単位の色別ブラー情報中の最大値を画素対応のブラー情報として出力する全期（１）〜（４）いずれかに記載の画像処理装置。
（６）前記ブラー情報計測部は、前記長時間露光画像と、前記短時間露光画像に含まれるノイズを推定するノイズ推定部を有し、露出補正を施した長時間露光画像と短時間露光画像との対応画素の画素値差分に基づく算出値から前記ノイズ推定部において推定したノイズを減算して画素対応のブラー情報を算出する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１３３】
（７）前記ブレンド係数算出部は、前記長時間露光画像の画素値が飽和レベルである画素については、長時間露光画像の画素値のブレンド率を抑制したブレンド係数の算出を行う前記（１）〜（６）いずれかに記載の画像処理装置。
（８）前記ブレンド部は、前記長時間露光画像と前記短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像としての広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する前記（１）〜（７）いずれかに記載の画像処理装置。
【０１３４】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【０１３５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１３７】
以上、説明したように、本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して広ダイナミックレンジ画像を生成する装置、方法が実現される。
具体的には、長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理部を有し、画像処理部は、短時間露光画像と長時間露光画像を適用してブラー情報を計測するブラー情報計測部と、計測したブラー情報を適用して、短時間露光画像と長時間露光画像のブレンド係数を決定するブレンド係数算出部と、ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の画素値合成処理を実行するブレンド部を有する。ブラー情報に基づくブレンド係数の制御によりブラーの影響を削減した高品質な広ダイナミックレンジ画像生成が可能となる。
【符号の説明】
【０１３８】
１０ 輝度閾値レベル
１１ 高輝度領域
１２ 低輝度領域
１００ 撮像装置
１０１ 光学レンズ
１０２ 撮像デバイス
１０３ 画像処理部
１０４ 信号処理部
１０５ 制御部
１２０ 出力画像
２０１ 感度別補間部
２０２ ＨＤＲ合成かつブレ補正部
２１１，２１２ 抽出部
２１３，２１４ 色補間部
２２１，２２２ 露出補正部
２２３ ブラー情報計測部
２２４ ブレンド係数算出部
２２５ ブレンド部
２４１〜２４３ 色別ブラー係数計測部
２４４ 最大値選択部
２５１，２５２ 飽和処理部
２５３，２５５ ノイズ推定部
２５４ 差分算出部
２５６ 二乗算出部
２５７ ローパスフィルタ演算部
２５８ 演算部
２６１，２６２ 最大値選択部
２６３ ブレンド係数演算部
２７１，２７２ ノイズ推定部
２７３ 演算部
２７４ 飽和付近ブレンド係数算出部
２７５ 最大値選択部
２８１〜２８３ 色別ブレンド部
２９１ 減算器
２９２ 乗算器
２９３ 加算器
３０１，３０２ ローパスフィルタ演算部
３０３，３０４ 飽和処理部
３０５ 差分算出部
３０６ 二乗算出部
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ダイナミックレンジの広い画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像デバイスは入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
【０００３】
このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【０００４】
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
【０００５】
このような処理を実現する手法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
【０００６】
例えば特許文献１（特開２０００−５０１５１号公報）は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。
【０００７】
例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
【０００８】
時間ｔ０〜ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。
【０００９】
しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。
【００１０】
そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【００１１】
なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
【００１２】
このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。
【００１３】
しかしながら、上記の特許文献１に記載された構成は、いずれも長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。
【００１４】
このように、露光時間を変えた複数枚の画像を利用することで、広ダイナミックレンジ画像（ＨＤＲ画像）を生成可能であるが、この複数画像に基づく処理には、例えば以下の課題がある。
長時間露光画像は短時間露光画像に比較して露光時間が長く設定されるため、カメラブレや被写体の動きに起因するぼけ（ブラー）間の発生や動被写体の色抜けや偽色の発生など画像品質の低下が発生するといった問題がある。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２０００−５０１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本開示は、例えばこのような状況に鑑みてなされたものであり、例えば被写体の動きに応じたブラーを抑制した品質の高い広ダイナミックレンジ画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本開示の第１の側面は、
長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理部を有し、
前記画像処理部は、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正部と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測部と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出部と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド部を有する画像処理装置にある。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、長時間露光画素と短時間露光画素とが混在した１枚の画像を入力し、入力画像を適用した補間処理により、全ての画素を長時間露光画素の画素値として設定した長時間露光画像と、全ての画素を短時間露光画素の画素値として設定した短時間露光画像を生成する感度別補間部と、前記感度別補間部の出力する長時間露光画像と、短時間露光画像に対して、長時間露光画素と短時間露光画素との露光比に応じた露出補正を実行する露出補正部を有し、前記ブラー情報計測部は、前記露出補正部の生成する露出補正長時間露光画像と、露出補正短時間露光画像を適用して前記ブラー情報を算出する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド係数算出部は、前記ブラー情報を適用して、前記露出補正長時間露光画像と、前記露出補正短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド部は、前記ブレンド係数算出部において算出したブレンド係数を適用して前記露出補正長時間露光画像と前記露出補正短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定する。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記ブラー情報計測部は、前記長時間露光画像と、前記短時間露光画像を適用して、色別のブラー情報を算出し、各画素単位の色別ブラー情報中の最大値を画素対応のブラー情報として出力する。
【００２２】
さらに、本開示の画像処理装置の一実施態様において、前記ブラー情報計測部は、前記長時間露光画像と、前記短時間露光画像に含まれるノイズを推定するノイズ推定部を有し、露出補正を施した長時間露光画像と短時間露光画像との対応画素の画素値差分に基づく算出値から前記ノイズ推定部において推定したノイズを減算して画素対応のブラー情報を算出する。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド係数算出部は、前記長時間露光画像の画素値が飽和レベルである画素については、長時間露光画像の画素値のブレンド率を抑制したブレンド係数の算出を行う。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド部は、前記長時間露光画像と前記短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像としての広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する。
【００２５】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像処理部が、長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理を実行し、
前記画像処理において、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正処理と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測処理と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出処理と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド処理を実行する画像処理方法にある。
【００２６】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像処理部において、長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理を実行させ、
前記画像処理において、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正処理と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測処理と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出処理と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド処理を実行させるプログラムにある。
【００２７】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２８】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２９】
本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して広ダイナミックレンジ画像を生成する装置、方法が実現される。
具体的には、長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理部を有し、画像処理部は、短時間露光画像と長時間露光画像を適用してブラー情報を計測するブラー情報計測部と、計測したブラー情報を適用して、短時間露光画像と長時間露光画像のブレンド係数を決定するブレンド係数算出部と、ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の画素値合成処理を実行するブレンド部を有する。ブラー情報に基づくブレンド係数の制御によりブラーの影響を削減した高品質な広ダイナミックレンジ画像生成が可能となる。
【図面の簡単な説明】
【００３０】
【図１】複数の画像撮影による広ダイナミックレンジ画像の撮影処理例について説明する図である。
【図２】広ダイナミックレンジ画像の生成処理の概要について説明する図である。
【図３】広ダイナミックレンジ画像の生成処理の概要について説明する図である。
【図４】広ダイナミックレンジ画像の生成処理の問題点について説明する図である。
【図５】本開示の処理に従った広ダイナミックレンジ画像の生成処理の概要について説明する図である。
【図６】撮像装置の構成例について説明する図である。
【図７】撮像素子の露光制御処理について説明する図である。
【図８】撮像素子の露光制御処理について説明する図である。
【図９】画像処理部の構成と処理について説明する図である。
【図１０】画像処理部の構成と処理について説明する図である。
【図１１】画像処理部の構成と処理について説明する図である。
【図１２】画像処理部の構成と処理について説明する図である。
【図１３】画像処理部の構成と処理について説明する図である。
【図１４】画像処理部の構成と処理について説明する図である。
【図１５】画像処理部の構成と処理について説明する図である。
【図１６】画像処理部の構成と処理について説明する図である。
【図１７】画像処理部の構成と処理について説明する図である。
【図１８】画像処理部の構成と処理について説明する図である。
【図１９】画像処理部の構成と処理について説明する図である。
【図２０】撮像素子の構成例について説明する図である。
【図２１】画像処理シーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログ
ラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．広ダイナミックレンジ画像の生成処理の概要について
２．本開示の処理におけるブレンド係数βの決定処理例について
３．画像処理装置の構成例について
４．撮像素子の露光制御構成例について
５．画像処理部の処理の詳細について
６．その他の実施例について
７．画像処理装置の処理シーケンスについて
８．本開示の構成のまとめ
【００３２】
［１．広ダイナミックレンジ画像の生成処理の概要について］
まず、広ダイナミックレンジ画像の生成処理の概要について説明する。
長時間露光画像と、短時間露光画像を合成することにより広ダイナミックレンジ画像を生成することができる。
図２を参照して広ダイナミックレンジ画像の生成処理について説明する。
図２は、短時間露光画像５１と、長時間露光画像５２の合成（ブレンド）を行って広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像５５を生成する処理例を示している。
本開示の処理における合成（ブレンド）処理とは、ブレンド係数βに応じた短時間露光画像５１と、長時間露光画像５２の対応画素値のブレンド処理であり、このブレンド処理によって、出力画像（合成画像）の各画素値を設定する。
【００３３】
まず、短時間露光画像５１と、長時間露光画像５２についてステップＳ１１、ＳＳ１２において露光比に応じた定数を乗算して露出補正を行う。
例えば１０ｂｉｔのセンサ、露光比１６の場合、露出補正の段階で短時間露光画像は１６倍し、長時間露光画像は１倍して、その後、ステップＳ１３で対応画素の画素値を合成（ブレンド）して出力画像である広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像５５の画素値を決定する。
なお、
露出補正後の短時間露光画像を露出補正短時間露光画像と称し、
露出補正後の長時間露光画像を露出補正長時間露光画像と称す。
【００３４】
出力画像である広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像５５の画素値決定処理の具体的シーケンスについて説明する。
例えば、
ＤＳ：露出補正短時間露光画像の画素値
ＤＬ：露出補正長時間露光画像の画素値
ＤＨ：出力する広ダイナミックレンジ画像の画素値
としたとき、
広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像１０５の画素値は、ステップＳ１３のブレンド処理において、以下に示す式に従って算出する。
ＤＨ＝（１．０−β）×ＤＳ＋β×ＤＬ
なお、上記式に従った画素値ブレンドは、露出補正短時間露光画像と、露出補正長時間露光画像の対応画素位置ごとに行う。すなわち同一被写体の撮影画素位置ごとにブレンド処理を行って出力画像（ＨＤＲ画像）の各画素値を決定する。
【００３５】
このような処理により、例えば露出補正短時間露光画素の飽和画素値は１０２３×１６＝１６３６８（１４ｂｉｔ）となるため、出力する画素値も１４ｂｉｔとなりダイナミックレンジの拡張が実現する。
【００３６】
ただし、ステップＳ１１、ＳＳ１２において露光比に応じた定数を乗算して露出補正を行って得られる露出補正短時間露光画像５３，露出補正長時間露光画像５４は、画素値として正確な値を保持していない可能性がある。すなわち、短時間露光画像５３の暗部はノイズでつぶれ、長時間露光画像５４の明部は白飛びしている可能性がある。そこで、ステップＳ１３におけるブレンド処理に際しては、これらのエラー画素の画素値については利用しないブレンド処理を行う。このような処理によって明部から暗部までＳＮ比（ＳＮＲ）の良い広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像５５が得られる。
【００３７】
上記のような広ダイナミックレンジ（ＨＤＲ）画像生成処理における問題点として、「ブラー」による問題がある。
一般に、イメージセンサの露光時間中に被写体とカメラの相対的な位置関係に変化が生じた場合、被写体が複数画素にまたがって撮像されるため、得られる画像の精細さは失われる。特に、長時間露光画像は短時間露光画像に比べて露光時間が長いために精細さを失いやすい。そのため動被写体やカメラブレが生じた場合、短時間露光画像と長時間露光画像との露出を補正して明るさをそろえても、長時間露光画像と短時間露光画像の対応画素位置の画素値にずれが生じる。このように、露光時間中に被写体とカメラの相対的な位置関係に変化が生じることによって露出補正し明るさをそろえた長時間露光画像と短時間露光画像との対応画素位置の画素値がずれる現象を「ブラー」と定義する。
以下において説明する本開示の処理によれば、ブラーの影響を抑制した高品質なＨＤＲ画像を生成することが可能となる。
【００３８】
図２を参照して説明したブレンド処理において利用するブレンド係数βについて考察する。
ブラーを考慮しないときのブレンド係数βＦは、例えば以下の式によって算出される。
βＦ＝（ＶＳ）／（ＶＳ＋ＶＬ）
ただし、
ＶＬ：露出補正長時間露光画像の注目画素のノイズの分散値
ＶＳ：露出補正短時間露光画像の注目画素のノイズの分散値
βＦ：ブラーを考慮しないときの露出補正長時間露光画像の注目画素のブレンド率
である。
ただし、長時間露光画素が飽和する条件では、βＦ＝０となるように補正を行う。詳細は後述する。
【００３９】
一般的なブレンドによる広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像の生成構成を図３に示す。
図３（ａ）に示すように、
短時間露光画像と長時間露光画像を取得し、短時間露光画像と長時間露光画像との明るさが一致するように、露光比に応じた定数をそれぞれ掛けることで露出補正を行い、露出補正した短時間露光画像からブレンド係数を決定して、決定したブレンド係数に基づくブレンド処理を行って広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する。
【００４０】
図３（ｂ）に示すように、ブレンド係数βＦは、例えば露出補正短時間露光画像の画素値ＤＳに対応する直線近似したデータを適用可能であり、短時間露光画像のみから算出できる。
あるいは長時間露光画像のみから算出できる。
従来は多くの場合ノイズが低減できるブレンド係数の選択処理については考慮するものがあったが、例えば被写体の動きに起因するブラーについて考慮したブレンド係数の決定を行うものはなかったというのが現状である。
【００４１】
上述したように、ブレンド係数βＦは、短時間露光画像あるいは長時間露光画像のみから算出できる。
しかし、このような処理を行うと生成した広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像に様々な問題が発生する。
【００４２】
図４（ａ）は、露出補正短時間露光画像からブレンド率を決定した場合の処理、
図４（ｂ）は、露出補正長時間露光画像からブレンド率を決定した場合の処理、
これらの処理例を示している。
露出補正短時間露光画像からブレンド係数を決定した場合には、生成した広ダイナミックレンジ画像のブラー部の色が正しく出力されない現象が多く発生してしまう。
また、露出補正長時間露光画像からブレンド係数βを決定した場合には、生成した広ダイナミックレンジ画像に２つの画像の境界が目立つという問題が発生する。
本開示の画像処理では、このような問題点を解決する。
【００４３】
［２．本開示の処理におけるブレンド係数βの決定処理例について］
図５を参照して、本開示の画像処理装置において実行する長時間露光画像と短時間露光画像のブレンド係数βの決定処理例について説明する。
【００４４】
図５（ａ）には本開示の画像処理装置において実行するブレンド処理構成の一例を示している。
本開示の処理では、短時間露光画像と長時間露光画像の双方に基づいてブラー情報を計測し、この計測したブラー情報と、短時間露光画像と長時間露光画像の双方に基づいてブレンド係数を決定し、決定したブレンド係数を適用して、短時間露光画像と長時間露光画像のブレンド処理を実行する。
【００４５】
なお、「ブラー」とは、前述したように、露光比に基づく補正を行った長時間露光画像と短時間露光画像との対応画素位置の画素の画素値のずれであり、「ブラー情報」は、この画素値のずれ量に相当するブラー発生度合いを示す指標値である。
【００４６】
本開示の処理においては、撮影画像から各画素単位の「ブラー情報」を取得し、取得した「ブラー情報」に基づいて決定したブレンド係数を適用して、短時間露光画像と長時間露光画像のブレンド処理を実行して、広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する。
【００４７】
本開示の構成では、ブラーを考慮したブレンド係数βＢは、例えば以下の（式１）に従って算出される。
【００４８】
【数１】
・・・（式１）
【００４９】
ただし
Ｍ：ブラー情報（＝ブラーの大小を示すブラー度合い指標値）
ｍａｘ（ａ，ｂ）：ａとｂの最大値を求める関数
ｍｉｎ（ａ，ｂ）：ａとｂの最小値を求める関数
である。またｋ１、ｋ０は、パラメータである。詳細は後段で説明する。
【００５０】
なお、長時間露光画像のブラーの大小を示す値：Ｍは理想的には以下の式で算出される。
Ｍ＝（μＬ−μＳ）２
なおμＬ、μＳは以下の値とする。
μＬ：ノイズの影響が全くないときに得られる露出補正長時間露光画像の理想的な画素値
μＳ：ノイズの影響が全くないときに得られる露出補正短時間露光画像の理想的な画素値
【００５１】
しかし、上記式において、実際には、μＬ、μＳはノイズの影響があるため直接求めることができない。そこで注目画素の周辺の画素群を用いて、例えば以下の（式２）を用いて近似的にＭを求める。
【００５２】
【数２】
・・・（式２）
【００５３】
ただし、
Ｍ（ｘ、ｙ）：画素位置（ｘ、ｙ）でのブラー情報
ＤＬ（ｘ、ｙ）：露出補正長時間露光画像の画素位置（ｘ、ｙ）での画素値
ＤＳ（ｘ、ｙ）：露出補正短時間露光画像の画素位置（ｘ、ｙ）での画素値
ＶＬ（ｘ、ｙ）：露出補正長時間露光画像の画素位置（ｘ、ｙ）でのノイズの分散値
ＶＳ（ｘ、ｙ）：露出補正短時間露光画像の画素位置（ｘ、ｙ）でのノイズの分散値
φ（ｄｘ，ｄｙ）：ローパスフィルタの重み係数
ｍｉｎ（ａ，ｂ）：値ａと値ｂの最小値を計算する関数
ｍａｘ（ａ，ｂ）：値ａと値ｂの最大値を計算する関数
ｐ：調整用のパラメータ。ゼロ以上の定数とする。
【００５４】
また、上記（式２）の演算の結果、Ｍ（ｘ、ｙ）が負の値になった時は、Ｍ（ｘ、ｙ）を０で置き換える。
あるいは、長時間露光画像のブラーの大小を示す値：Ｍの計算は、簡略化して以下の（式３）に従って算出してもよい。
【００５５】
【数３】
・・・（式３）
【００５６】
このようなブレンド係数βＢを決定してブレンド処理を行う。
この処理により、
ブラーが大きい部位では、βＢは０に近づくためブレの少ない短時間露光画像に基づく画素値を優先的に出力する設定となり、
ブラーが小さい部位では、βＢは従来手法と同等の値をとり、所定のブレンド比率に応じた画素値が生成される。
このような処理が実現され、その結果、
動被写体部は、ブレの少なく、
静止部は、暗い部位から明るい部位までＳＮＲの良いＨＤＲ画像が得られる。
なお、上記のブレンド係数の計算量はさほど大きくなく、高速に処理可能であり、例えば動画のＨＤＲ画像生成処理にも適用することができる。
【００５７】
［３．画像処理装置の構成例について］
図６に、本開示の画像処理装置の一構成例である撮像装置１００の構成例を示す。
図６は、撮像装置の構成例を示すブロック図である。光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。出力画像データは画像処理部１０３に入力される。
【００５８】
撮像素子１０２の出力画像は、各画素にＲＧＢのいずれかの画素値が設定されたいわゆるモザイク画像である。
画像処理部１０３は、各画素にＲＧＢの全画素値を設定するデモザイク処理、上述した長時間露光画像と短時間露光画像との合成処理に基づく広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像の生成処理、ブレ補正処理などを行う。
【００５９】
この画像処理部１０３の出力は信号処理部１０４に入力される。信号処理部１０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。
【００６０】
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
【００６１】
［４．撮像素子の露光制御構成例について］
次に、撮像素子１０２の露光制御構成例について図７を参照して説明する。
本開示の画像処理装置では、１枚の撮影画像に含まれる画素単位で、長時間露光画素と短時間露光画素を設定して、これらの画素間の合成処理（ブレンド）により、広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する。この露光時間制御は制御部１０５の制御によって行われる。
【００６２】
図７は、本開示の一実施例の撮像素子１０２の露光時間設定例を示す図である。
図７に示すように、撮像素子の構成画素は、
長時間の露光条件で撮像する長時間露光画素、
短時間の露光条件で撮像する短時間露光画素、
これらの２つの種類の画素に区分される。本開示では、図７のように一つの撮像素子内に長時間露光画素と短時間露光画素を有する画素配列をＳＶＥ（Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｅｘｐｏｓｕｒｅ）配列と呼ぶ。
【００６３】
図８に各画素の露光時間のタイミング例を示す。
長時間露光画素は長時間の露光処理がなされる。
短時間露光画素は短時間の露光処理がなされる。
図８に示す例では、短時間露光画素と長時間露光画素の露光開始タイミングは一致していないが、露光終了のタイミングは一致する露光条件とする。
【００６４】
［５．画像処理部の処理の詳細について］
次に、図６に示す撮像装置１００の画像処理部１０３の詳細について説明する。
まず、図９を参照して画像処理部１０３の実行するデモザイク処理について説明する。
画像処理部１０３に構成されるデモザイク処理部は、図９に示すように、
感度別補間部２０１、
ＨＤＲ合成かつブレ補正部２０２、
を有する。
【００６５】
感度別補間部２０１では、例えば図７参照して説明した構成を持つ長時間露光画素と短時間露光画素を有する画素配列であるＳＶＥ配列の画像を入力し、入力したＳＶＥ配列画像の補間処理を実行して、
画面全体が短時間露光の画像、
画面全体が長時間露光の画像、
これらの補間画像を生成して出力する。
出力する画像の色配列は入力する画像の色配列と同等（本例ではベイヤ配列）でもよいし、１画素位置にＲＧＢそろったデモザイク後の画像でもよい。
ＨＤＲ合成かつブレ補正部２０２では、短時間露光の画像と長時間露光の画像を合成して、ブレの無い広ダイナミックレンジ（ＨＤＲ）画像を生成して出力する。
【００６６】
図１０に、感度別補間部２０１の詳細を示す。
感度別補間部２０１は、図１０に示すように、各感度の画素のみを抽出する抽出部２１１，２１２、各感度の画素を利用して、低感度画像（短時間露光画像）と高感度画像（長時間露光画像）を生成する色補間部２１３，２１４を有する。
なお、この感度対応の補間処理構成としては、例えば特開２００８−１２５１１７に記載の図７４の手法が適用可能である。
抽出部２１１，２１２で周辺画素から、補間したい感度・色の画素を抽出し、色補間部２１３，２１４で補間処理を行う。
なお、補間は、単純なローパスフィルタを用いる手法や、周囲の画素から画像のエッジ方向を推定しエッジに沿った方向に補間する手法等が使える。
【００６７】
次に、ＨＤＲ合成かつブレ補正部２０２の構成と処理について、図１１を参照して説明する。
ＨＤＲ合成かつブレ補正部２０２は、
露出補正部（乗算部）２２１，２２２
ブラー情報計測部２２３、
ブレンド係数算出部２２４、
ブレンド部２２５、
を有する。
【００６８】
露出補正部（乗算部）２２１，２２２で、露光時間に応じた定数を乗じることで短時間露光画像と長時間露光画像の明るさを合わせる。本実施例では、露光比が１６なので、短時間露光に１６を掛け、長時間露光画像に１を掛ける。
ブラー情報計測部２２３で、ブラー情報（長時間露光画像がどの程度ブレたかを表す）を画素ごとに計測する。
ブラー情報とは、先に（式１）〜（式３）を参照して説明した長時間露光画像のブラーの大小を示す値：Ｍに相当する値である。
ブレンド係数算出部２２４で、露出補正短時間露光画素と露出補正長時間露光画素をどの程度の割合でブレンドすればよいかを示すブレンド係数を算出する。
ブレンド部２２５でブレンド係数に応じて、露出補正短時間露光画像と露出補正長時間露光画像をブレンドする。
【００６９】
図１２を参照して、ブラー情報計測部２２３の詳細構成と処理について説明する。
ブラー情報計測部２２３は、
色別ブラー情報計測部２４１〜２４３、
最大値選択部２４４を有する。
【００７０】
ブラー情報計測部２２３は、デモザイク処理によって１画素位置ごとにＲＧＢの３色が設定され、かつ露光補正のなされた露出補正短時間露光画像と露出補正長時間露光画像を入力する。
Ｒの露出補正長時間露光画像２３０ＲＬと露出補正短時間露光画像２３０ＲＳを色別ブラー情報計測部２４１に入力する。
Ｇの露出補正長時間露光画像２３０ＧＬと露出補正短時間露光画像２３０ＧＳを色別ブラー情報計測部２４２に入力する。
Ｂの露出補正長時間露光画像２３０ＢＬと露出補正短時間露光画像２３０ＢＳを色別ブラー情報計測部２４３に入力する。
これらの色別ブラー情報計測部２４１〜２４３で、Ｒ，Ｇ，Ｂ各色対応のブラー情報を計測する。
ブラー情報とは、先に（式１）〜（式３）を参照して説明した長時間露光画像のブラーの大小を示す値：Ｍに相当する値であり、色別ブラー情報計測部２４１〜２４３は、ＲＧＢ各色別のブラー情報：ＭＲ、ＭＧ、ＭＢをそれぞれ画素単位で算出する。
【００７１】
さらに、色別ブラー情報計測部２４１〜２４３の算出した各画素単位のＲＧＢ各色別のブラー情報：ＭＲ、ＭＧ、ＭＢは、最大値選択部２４４に入力される。
最大値選択部２４４では、各画素単位の色別ブラー情報：ＭＲ、ＭＧ、ＭＢを比較し、
各画素単位で色別ブラー情報の最大値を選択して出力する。
【００７２】
図１３を参照して、色別ブラー情報計測部２４１〜２４３の詳細構成と処理について説明する。
色別ブラー情報計測部２４１〜２４３では、色別ブラー情報を算出する。ここではＲの色別ブラー情報（ＭＲ）を算出する図１２に示す色別ブラー情報計測部２４１の処理構成について説明する。その他の色別ブラー情報計測部２４２，２４３も同様の構成を持つ。
【００７３】
図１３に示すように、色別ブラー情報計測部２４１は、飽和処理部２５１，２５２、ノイズ推定部２５３，２５５、差分算出部２５４、二乗算出部２５６、ローパスフィルタ演算部２５７、演算部２５８を有する。
【００７４】
色別ブラー情報計測部２４１は、Ｒの色別ブラー情報（ＭＲ）先に説明した（式２）に従った算出処理と同様、注目画素の周辺の画素群を用いて、例えば以下の（式４）を用いて近似的に求める。
【００７５】
【数４】
・・・・・（式４）
【００７６】
なお、上記（式４）によって算出されるＭＲの値が負の値だったら、ゼロに置き換えて使用する。
ただし、上記（式４）における各変数は以下の通りである。
位置（ｘ、ｙ）での飽和処理後の露出補正長時間露光画素のＲの画素値をＤＲＬ（ｘ，ｙ）、
位置（ｘ、ｙ）での飽和処理後の露出補正短時間露光画素のＲの画素値をＤＲＳ（ｘ，ｙ）、
ローパスフィルタのカーネルをφ（ｘ、ｙ）
位置（ｘ、ｙ）での露出補正長時間露光画素のＲのノイズの分散をＶＲＬ（ｘ，ｙ）
位置（ｘ、ｙ）での露出補正短時間露光画素のＲのノイズの分散をＶＲＳ（ｘ，ｙ）
【００７７】
ノイズ推定部２５３，２５５では、注目画素位置での露出補正後の画素のノイズの分散値を推定する。一般に、イメージセンサが出力する画素値と、その画素が持つノイズの分散値には以下のようなモデル化が成り立つ。
ノイズの分散＝ｎ１×画素値＋ｎ０
上記式において、
ｎ１，ｎ０はセンサや感度に応じた定数である。
今回の例では、露出補正長時間露光画素の画素値ＤＬはセンサが出力した画素値に１をかけ、露出補正短時間露光画素の画素値ＤＳはセンサが出力した画素値に露光比Ｅを掛けているので、具体的には以下の式を用いて、注目画素（ｘ，ｙ）における露出補正長時間露光画像のノイズ分散ＶＬ（ｘ，ｙ）と、露出補正短時間露光画像のノイズ分散ＶＳ（ｘ，ｙ）を算出できる。
ＶＬ（ｘ，ｙ） ＝（ｎ１×ＤＬ（ｘ，ｙ）＋ｎ０）
ＶＳ（ｘ，ｙ） ＝（ｎ１×（ＤＳ（ｘ，ｙ）÷Ｅ）＋ｎ０）×Ｅ２
＝ｎ１×Ｅ×ＤＳ（ｘ，ｙ）＋ｎ０×Ｅ２
【００７８】
なお、以下に説明するように、上記のノイズ分散は、ＲＧＢ各色別のノイズ分散算出処理として実行され、
Ｒ対応の露出補正長時間露光画像のノイズ分散ＶＲＬ（ｘ，ｙ）、
Ｒ対応の露出補正短時間露光画像のノイズ分散ＶＲＳ（ｘ，ｙ）、
Ｇ対応の露出補正長時間露光画像のノイズ分散ＶＧＬ（ｘ，ｙ）、
Ｇ対応の露出補正短時間露光画像のノイズ分散ＶＧＳ（ｘ，ｙ）、
Ｂ対応の露出補正長時間露光画像のノイズ分散ＶＢＬ（ｘ，ｙ）、
Ｂ対応の露出補正短時間露光画像のノイズ分散ＶＢＳ（ｘ，ｙ）、
これらの各値を算出する処理が行われる。
【００７９】
飽和処理部２５１，２５２は、ある閾値以上の値を閾値に置き換えることで、露出補正した短時間露光画像、長時間露光画像の飽和レベルをそろえる。本実施例では、露出補正した長時間露光画像の飽和画素値が１０２３なので、露出補正短時間露光画素、露出補正長時間露光画素ともに１０２３以上の値はすべて１０２３に置き換える。
【００８０】
差分算出部２５４、二乗算出部２５６、ローパスフィルタ算出部２５７のブロックで、上記（式４）の前半部に相当する値、すなわち、以下の（式５）に示す値を算出する。
【００８１】
【数５】
・・・・・（式５）
【００８２】
なお、上記（式５）の計算では、露出補正短時間露光画素、露出補正長時間露光画素に含まれるノイズの影響を受けてしまう。ここでは、純粋にブラーによる影響を求めたい。そこで演算部２５８において、ノイズ分散を減算する処理を行う。
ノイズ分散の減算処理は、上記（式４）の後半の減算部分、すなわち、
（−Ｐ×ＶＲＬ（ｘ，ｙ）−Ｐ×ＶＲＳ（ｘ，ｙ））
上記の減算処理に相当する。
結果として、前述の（式４）の計算結果としてのＲの色別ブラー情報（ＭＲ）を算出することができる。
なお、ブラー情報Ｍとして、負の値は取り得ないので、上記（式４）によって算出されるＭＲの値が負の値だったら、ゼロに置き換えて使用する。
【００８３】
次に、図１１に示すＨＤＲ合成かつブレ補正部２０２のブレンド係数算出部２２４の構成例について図１４を参照して説明する。
図１４に示すように、ブレンド係数算出部２２４は、最大値選択部２６１，２６２と、ブレンド係数演算部２６３を有する。
【００８４】
ブレンド係数算出部２２４は、１画素位置あたりＲＧＢの３色そろった画像、具体的には、ＲＧＢ各色対応の露出補正長時間露光画像と露出補正短時間露光画像を入力し、同一位置のＲＧＢの各画素値情報を、順次、最大値選択部２６１、２６２に入力する。
【００８５】
最大値選択部２６１では、ＲＧＢ各露出補正長時間露光画像の対応画素位置のＲＧＢ各画素値から、最大値を選択する。
同様に、最大値選択部２６２では、ＲＧＢ各露出補正短時間露光画像の対応画素位置のＲＧＢ各画素値から、最大値を選択する。
【００８６】
ブレンド係数演算部２６３は、
最大値選択部２６１から、ＲＧＢ各露出補正長時間露光画像の対応画素位置のＲＧＢ各画素値の最大値を入力し、
最大値選択部２６２から、ＲＧＢ各露出補正短時間露光画像の対応画素位置のＲＧＢ各画素値の最大値を入力し、さらに、図１１〜図１３を参照して説明したブラー情報計測部２２３から各画素単位のブラー情報を入力する。
ブレンド係数演算部２６３は、これらの入力情報に基づいてブレンド係数を算出する。
【００８７】
ブレンド係数演算部２６３は、実際のブレンド係数、すなわち露出補正短時間露光画素と露出補正長時間露光画素のブレンド比率を示すブレンド係数を画素ごとに算出する。
なおＲ，Ｇ，Ｂは共通のブレンド係数にて、露出補正短時間露光画素と露出補正長時間露光画素をブレンドする。
【００８８】
ブレンド係数演算部２６３の詳細構成と処理について、図１５を参照して説明する。
図１５に示すように、ブレンド係数演算部２６３はノイズ推定部２７１，２７２、演算部２７３、飽和付近ブレンド係数算出部２７４、最小値選択部２７５を有する。
【００８９】
ノイズ推定部２７１，２７２において露出補正後のノイズの分散値を推定する。このノイズ推定部２７１，２７２は、先に図１３を参照して説明した色別ブラー情報計測部２４１にあるノイズ推定部２５３，２５５と同様の処理を行う。
すなわち、注目画素位置での露出補正後の画素のノイズの分散値を推定する。前述したように、以下の式に従って、注目画素（ｘ，ｙ）における露出補正長時間露光画像のノイズ分散ＶＬ（ｘ，ｙ）と、露出補正短時間露光画像のノイズ分散ＶＳ（ｘ，ｙ）を算出する。
ＶＬ（ｘ，ｙ） ＝（ｎ１×ＤＬ（ｘ，ｙ）＋ｎ０）
ＶＳ（ｘ，ｙ） ＝（ｎ１×（ＤＳ（ｘ，ｙ）÷Ｅ）＋ｎ０）×Ｅ２
＝ｎ１×Ｅ×ＤＳ（ｘ，ｙ）＋ｎ０×Ｅ２
ただし、
ＤＬは、露出補正長時間露光画素の画素値、
ＤＳは、露出補正短時間露光画素の画素値、
Ｅは、短時間露光と長時間露光の露光比、
ｎ１，ｎ０はセンサや感度に応じた定数である。
【００９０】
演算部は２７３以下の計算によって、最終的なブレンド係数βの算出に適用するブレンド係数算出適用値βｐの算出を行う。
βｐ＝（ＶＳ）／（ＶＳ＋ＶＬ＋Ｍ）
ただし、
ＶＬは、露出補正長時間露光画像のノイズ分散、
ＶＳは、露出補正短時間露光画像のノイズ分散、
Ｍは、ブラー情報、
である。
なお除算の軽量化のために、上記の割り算を近似式で計算する処理を適用してもよい。あるいは、上記の割り算の入出力値を予め登録したルックアップテーブル（ＬＵＴ）を記憶部に格納して、ＬＵＴを参照した処理によって、計算を簡略化してもよい。
【００９１】
なお、長時間露光画素が飽和する条件では、ブレンド係数βは０とし、露出補正短時間露光画素を出力したい。
そこで、飽和付近ブレンド係数算出部２７４において、図１６に示すグラフのような折れ線を適用して長時間露光画素が飽和する付近で、ブレンド係数βを調整するための、ブレンド係数算出適用値βｑを算出する。
【００９２】
図１６に示すグラフは、
横軸に露出補正短時間露光画素の画素値、
縦軸に最終的なブレンド係数βの算出に適用するブレンド係数算出適用値βｑ、
これらを設定したグラフであり、
横軸の露出補正短時間露光画素の画素値上に、
０＜Ｔｈ０＜Ｔｈ１
上記設定の２つのしきい値Ｔｈ０，Ｔｈ１を設定している。
これらのしきい値は、予め規定した値を用いる。例えば、しきい値Ｔｈ１は、長時間露光画素の画素値が、ほぼ１００％飽和画素値であると推定される露出補正短時間露光画素の画素値であり、しきい値Ｔｈ０は、長時間露光画素の画素値が、飽和画素値である可能性が高くなる露出補正短時間露光画素の画素値として設定する。
【００９３】
図１６に示すように、ブレンド係数算出適用値βｑは、
露出補正短時間露光画素の画素値＝０〜Ｔｈ０では、βｑ＝１、
露出補正短時間露光画素の画素値＝Ｔｈ０〜Ｔｈ１では、βｑ＝１〜０、
露出補正短時間露光画素の画素値＝Ｔｈ１〜では、βｑ＝０、
このような値に設定される。
本実施例では、露出補正長時間露光画像の飽和画素値は１０２３なので、Ｔｈ１＜１０２３のパラメータとし、Ｔｈ０はＴｈ１より小さい値のパラメータとなる。
【００９４】
最大値選択部２７５は、
（ａ）演算部２７３の算出したブレンド係数算出適用値βｐ、すなわち、
βｐ＝（ＶＳ）／（ＶＳ＋ＶＬ＋Ｍ）と、
（ｂ）飽和付近ブレンド係数算出部２７４の算出したブレンド係数算出適用値βｑ、すなわち、図１６に示す設定のブレンド係数算出適用値βｑ、
これらの２つのブレンド係数算出適用値βｐ、βｑ、
これら２つの値から、最小値を選択し、この選択した値を露出補正長時間露光画素のブレンド係数βとして出力する。
【００９５】
なお、最小値選択部２７５におけるブレンド係数βの算出式は、以下に示す（式６）として示すことができる。
【００９６】
【数６】
・・・・（式６）
【００９７】
次に、図１１に示すＨＤＲ合成かつブレ補正部２０２のブレンド部２２５の構成例について図１７を参照して説明する。
ブレンド部２２５は、図１７に示すように、色別ブレンド部２８１，２８２，２８３を有する。
【００９８】
Ｒ，Ｇ，Ｂそれぞれの短時間露光画素と長時間露光画素の対応画素について、色別ブレンド部２８１〜２８３において決定したブレンド係数βを適用したブレンド処理（合成処理）を行い、広ダイナミックレンジ（ＨＤＲ）画像を得る。ＲＧＢそれぞれのブレンド係数は画素ごとに共通の値を用いる。
【００９９】
色別ブレンド部２８１，２８２，２８３の詳細構成と処理について図１８を参照して説明する。
図１８には色別ブレンド部２８１の構成を示している。色別ブレンド部２８２，２８３も同様の構成を有する。
図１８に示すように、色別ブレンド部２８１は、減算器２９１、乗算器２９２、加算器２９３を有する。
【０１００】
色別ブレンド部２８１では以下の式に従って、出力する広ダイナミックレンジ画像（ＨＤＲ画像）の画素値ＤＨを算出する。
ＤＨ＝（１−β）×ＤＳ＋β×ＤＬ
＝β×（ＤＬ−ＤＳ）＋ＤＳ
ただし、
ＤＬ：露出補正長時間露光画像の画素値
ＤＳ：露出補正短時間露光画像の画素値
β：ブレンド係数
である。
上記式に従った、ブレンド処理の結果、広ダイナミックレンジ（ＨＤＲ）画像の画素値が得られる。
【０１０１】
［６．その他の実施例について］
以上、基本的な実施例について説明してきたが、上述した実施例を基本構成として、その一部を変更した実施例について説明する。
【０１０２】
（６−１．ブラー情報の計算を簡略化した実施例）
ブラー情報の計算を簡略化した実施例について説明する。
前述した基本実施例では、ブラー情報Ｍの計算処理として、先に説明した（式４）に従って、各色ＲＧＢ単位のブラー情報を計算していた。
【０１０３】
上記計算を行う代わりに、先にローパスフィルタ（ＬＰＦ）の適用処理、あるいはＬＰＦ適用に相当する計算を行うことで乗算器やメモリのコストを抑えることが可能である。先にローパスフィルタ（ＬＰＦ）の適用処理、あるいはＬＰＦ適用に相当する計算を行うことで、ＬＰＦ適用後の画素値は複数の周囲の画素の加算結果として設定されるのでノイズの影響が抑えられ、露出補正長時間露光画像と露出補正短時間露光画像に対するノイズ分散ＶＬ、ＶＳを減算する処理を省略することも可能である。
例えば、Ｒ対応のブラー情報ＭＲの計算処理として、以下の算出式（式７）を適用することが可能である。
【０１０４】
【数７】
・・・・・（式７）
【０１０５】
上記（式７）に従ったブラー情報の算出処理を実行する色別ブラー情報計測部２３１の構成例を図１９に示す。
図１９に示す色別ブラー情報計測部２３１はＬＰＦ３０１，３０２、飽和処理部３０３，３０４、差分算出部３０５、二乗算出部３０６を有し、これらの各構成部の処理によって、上記の（式７）に従ったブラー情報Ｍの算出処理を実行する。
【０１０６】
（６−２．ベイヤ配列に対する補間処理を施す処理例）
上述した基本実施例では、感度別補間部にて、１画素あたりＲＧＢの３色そろえる構成としていた。
このように、３色の設定を行うことなく、短時間露光画像と長時間露光画像が同じ色配列である画像に補間されていれば本処理を適用することができる。例えば本実施例では、入力するイメージセンサと同じ色配列（ベイヤ配列）に補間して処理することもできる。
【０１０７】
この場合、画素ごとに色が異なるので、ブラー情報計測部のローパスフィルタ演算部等で、周囲の画素のうち注目画素と同じ色の画素を抜き出してローパスフィルタ演算部を施す必要がある。基本的な構成は前述の基本実施例と同様となる。
【０１０８】
（６−３．撮像素子の画素配列の態様について）
上述した実施例ではベイヤ配列を持つ撮像素子からの出力に対する処理例として説明したが、本開示の処理は、このようなベイヤ配列のみならず、その他の様々な画素配列を持つ画像に対して適用できる。
例えば、図２０に示す（Ａ）〜（Ｊ）のような様々な画素配列に対する処理が可能である。
【０１０９】
（６−４．ＳＶＥ配列以外のイメージセンサを用いた例）
本開示の処理は、ＳＶＥ配列のイメージセンサ以外にも、通常のイメージセンサで複数回（短時間露光と長時間露光）撮影して取得した画像を使用したり、複数のイメージセンサで撮影した画像を用いることができる。
その場合、短時間露光画像と長時間露光画像で被写体の位置がずれている可能性があるため位置補正部にて予め被写体の位置を一致させるように補正して使うこともできる。
【０１１０】
［７．画像処理装置の処理シーケンスについて］
次に、図２１に示すフローチャートを参照して本開示の画像処理装置の実行する画像処理のシーケンスについて説明する。
【０１１１】
図２１に示すフローチャートの各ステップの処理について説明する。
図２１に示すフローは、例えば、図６に示す撮像装置１００の画像処理部１０３において実行する処理であり、画像処理部１０３内の記憶部に格納されたプログラムに従って、画像処理部１０３内のデータ処理部としてのプロセッサやハードウェアを利用して実行される。
【０１１２】
なお、図２１に示すフローは、図６に示す撮像装置１００の撮像素子１０２において撮影された画像を構成する画素値情報を、画像処理部１０３が、順次入力して実行する画素単位の処理である。画像処理部１０３は、画素単位で、図２１に示すフローを繰り返し実行して、入力画像の画素値に基づく出力画像としてのＨＤＲ画像の画素値を決定して出力する。
【０１１３】
なお、図６に示す撮像装置１００の撮像素子１０２において撮影された画像は、例えば図７、あるいは図２０を参照して説明したように、短時間露光画素と長時間露光画素とが混在した画像であり、画像処理部１０３はこのような短時間露光画素と長時間露光画素とが混在した画像の各画素値を順次、入力して処理を実行する。
【０１１４】
以下、図２１に示すフローチャートの各ステップの処理について説明する。
（ステップＳ１０１）
画像処理部１０３は、撮像素子（イメージセンサ）１０２から、処理対象とする注目画素位置の画素値を入力する。
（ステップＳ１０２）
注目画素位置の近傍の画素値を近傍画素値として読み込む。
なお、近傍画素領域は、例えば注目画素を中心とした例えば７×７画素等の矩形領域の画素であり、予め規定した領域とする。
【０１１５】
（ステップＳ１０３）
入力した注目画素と近傍画素に含まれる短時間露光画素を利用した画素補間処理によって、全画素に短時間露光画素を設定した短時間露光画像を生成する。
（ステップＳ１０４）
入力した注目画素と近傍画素に含まれる長時間露光画素を利用した画素補間処理によって、全画素に長時間露光画素を設定した長時間露光画像を生成する。
これらのステップＳ１０３〜Ｓ１０４の補間処理は、図９、図１０を参照して説明した感度別補間部２０１において実行する処理である。
【０１１６】
（ステップＳ１０５）
ステップＳ１０３の補間処理によって生成した短時間露光画像に対して、露光比（短時間露光画素と長時間露光画素の露光比）に応じた露出補正を実行し、露出補正短時間露光画像を生成する。具体的には、短時間露光画像の画素値に露光比に応じた露光定数を乗算して露出補正短時間露光画像を生成する。
（ステップＳ１０６）
ステップＳ１０４の補間処理によって生成した長時間露光画像に対して、露光比に応じた露出補正を実行し、露出補正長時間露光画像を生成する。具体的には、長時間露光画像の画素値に露光比に応じた露光定数を乗算して露出補正長時間露光画像を生成する。
これらのステップＳ１０５〜Ｓ１０６の補整処理は、図１１に示すＨＤＲ合成かつブレ補正部２０２における露出補正部（乗算器）２２１，２２２によって実行される処理である。
【０１１７】
（ステップＳ１０７）
露出補正短時間露光画像と、露出補正長時間露光画像を利用して、ブラー情報を算出する。
ブラー情報は、前述したように長時間露光画像がどの程度ブレたかを表す指標値である。このステップＳ１０７の処理は、図１１に示すＨＤＲ合成かつブレ補正部２０２におけるブラー情報計測部２２３の実行する処理である。
ブラー情報計測部２２３は、先に図１２、図１３を参照して説明したように、前述した（式４）に従って各色別のブラー情報ＭＲ，ＭＧ，ＭＢを算出し、さらに、これらの最大値を画素対応のブラー情報Ｍとして出力する。
【０１１８】
（ステップＳ１０８）
ステップＳ１０５において生成した露出補正短時間露光画像と、露出補正短時間露光定数とセンサ（撮像素子）固有のノイズモデルから決定される定数ｎ０，ｎ１等を適用して、画素対応の短時間露光画像ノイズ分散値ＶＬ（ｘ，ｙ）を算出する。
（ステップＳ１０９）
ステップＳ１０６において生成した露出補正長時間露光画像と、露出補正長時間露光定数とセンサ（撮像素子）固有のノイズモデルから決定される定数ｎ０，ｎ１等を適用して、画素対応の長時間露光画像ノイズ分散値ＶＬ（ｘ，ｙ）を算出する。
【０１１９】
これらのステップＳ１０８、Ｓ１０９の処理は、図１５に示すブレンド係数演算部２６３のノイズ推定部２７１，２７２の処理である。
前述したように、ノイズ推定部２７１，２７２は、注目画素（ｘ，ｙ）における露出補正長時間露光画像のノイズ分散ＶＬ（ｘ，ｙ）と、露出補正短時間露光画像のノイズ分散ＶＳ（ｘ，ｙ）を以下の式に従って、算出する。
ＶＬ（ｘ，ｙ） ＝（ｎ１×ＤＬ（ｘ，ｙ）＋ｎ０）
ＶＳ（ｘ，ｙ） ＝（ｎ１×（ＤＳ（ｘ，ｙ）÷Ｅ）＋ｎ０）×Ｅ２
＝ｎ１×Ｅ×ＤＳ（ｘ，ｙ）＋ｎ０×Ｅ２
ただし、
ＤＬは、露出補正長時間露光画素の画素値、
ＤＳは、露出補正短時間露光画素の画素値、
Ｅは、短時間露光と長時間露光の露光比、
ｎ１，ｎ０はセンサや感度に応じた定数である。
【０１２０】
（ステップＳ１１０）
ステップＳ１０８で算出した短時間露光画像ノイズ分散値ＶＳ（ｘ，ｙ）と、
ステップＳＳ１０９で算出した長時間露光画像ノイズ分散値ＶＬ（ｘ，ｙ）と、
ステップＳ１０７で算出したブラー情報Ｍと、
ステップＳ１０５で生成した露出補正短時間露光画像、
これらの情報を適用して、
出力画像であるＨＤＲ画像の画素値における露出補正長時間露光画像の画素値ブレンド率を示すブレンド係数βを算出する。
【０１２１】
このステップＳ１１０の処理は、図１５に示すブレンド係数演算部２６３の処理である。
先に図１５を参照して説明したよように、演算部は２７３以下の計算によって、最終的なブレンド係数βの算出に適用するブレンド係数算出適用値βｐの算出を行う。
βｐ＝（ＶＳ）／（ＶＳ＋ＶＬ＋Ｍ）
ただし、
ＶＬは、露出補正長時間露光画像のノイズ分散、
ＶＳは、露出補正短時間露光画像のノイズ分散、
Ｍは、ブラー情報、
【０１２２】
さらに、飽和付近ブレンド係数算出部２７４において、図１６に示すグラフのような折れ線を適用して長時間露光画素が飽和する付近で、ブレンド係数βを調整するための、ブレンド係数算出適用値βｑを算出する。
【０１２３】
さらに、最小値選択部２７５が、
（ａ）演算部２７３の算出したブレンド係数算出適用値βｐ、すなわち、
βｐ＝（ＶＳ）／（ＶＳ＋ＶＬ＋Ｍ）と、
（ｂ）飽和付近ブレンド係数算出部２７４の算出したブレンド係数算出適用値βｑ、すなわち、図１６に示す設定のブレンド係数算出適用値βｑ、
これらの２つのブレンド係数算出適用値βｐ、βｑ、
これら２つの値から、最小値を選択し、この選択した値を露出補正長時間露光画素のブレンド係数βとして出力する。
ステップＳ１１０の処理は、これらの処理によるブレンド係数βの算出処理である。
【０１２４】
（ステップＳ１１１）
ステップＳ１０５において生成した露出補正短時間露光画像と、
ステップＳ１０６において生成した露出補正長時間露光画像とを、
ステップＳ１１０で算出したブレンド係数βに応じてブレンドする処理を実行してＨＤＲ画像の画素値を算出する。
【０１２５】
このステップＳ１１１の処理は、図１７、図１８を参照して説明したブレンド部２２５、色別ブレンド部２８１の実行する処理である。
前述したように、色別ブレンド部２８１では以下の式に従って、出力する広ダイナミックレンジ画像（ＨＤＲ画像）の画素値ＤＨを算出する。
ＤＨ＝（１−β）×ＤＳ＋β×ＤＬ
＝β×（ＤＬ−ＤＳ）＋ＤＳ
ただし、
ＤＬ：露出補正長時間露光画像の画素値
ＤＳ：露出補正短時間露光画像の画素値
β：ブレンド係数
である。
上記式に従った、ブレンド処理の結果、広ダイナミックレンジ（ＨＤＲ）画像の画素値が得られる。
【０１２６】
（ステップＳ１１２）
後段の信号処理を実行する。
この処理は、図６に示す信号処理部１０４において実行する処理である。画像処理部１０３の生成したＨＤＲ画像に対して、一般的なカメラ信号処理、例えばホワイトバランス調整処理やガンマ補正処理などのカメラ信号処理、さらに必要に応じて記憶部に格納するための符号化処理などを実行する。
【０１２７】
ステップＳ１１３において、これらの処理をすべての画素に対して実行したか否かを判定し、未処理画素がある場合は、ステップＳ１０１で未処理画素を入力して、未処理画素について、ステップＳ１０２以下の処理を実行し、全ての画素の処理が終了した場合は、ステップＳ１１４において、処理後の画像（広ダイナミックレンジ（ＨＤＲ）画像）を出力画像として出力または記憶部にメモリ格納する。
なお、これらの処理は、例えばメモリに格納されたプログラムに従って、制御部の制御の下に実行可能である。
【０１２８】
［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１２９】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理部を有し、
前記画像処理部は、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正部と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測部と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出部と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド部を有する画像処理装置。
【０１３０】
（２）前記画像処理部は、長時間露光画素と短時間露光画素とが混在した１枚の画像を入力し、入力画像を適用した補間処理により、全ての画素を長時間露光画素の画素値として設定した長時間露光画像と、全ての画素を短時間露光画素の画素値として設定した短時間露光画像を生成する感度別補間部と、前記感度別補間部の出力する長時間露光画像と、短時間露光画像に対して、長時間露光画素と短時間露光画素との露光比に応じた露出補正を実行する露出補正部を有し、前記ブラー情報計測部は、前記露出補正部の生成する露出補正長時間露光画像と、露出補正短時間露光画像を適用して前記ブラー情報を算出する前記（１）に記載の画像処理装置。
【０１３１】
（３）前記ブレンド係数算出部は、前記ブラー情報を適用して、前記露出補正長時間露光画像と、前記露出補正短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定する前記（１）または（２）に記載の画像処理装置。
（４）前記ブレンド部は、前記ブレンド係数算出部において算出したブレンド係数を適用して前記露出補正長時間露光画像と前記露出補正短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定する前記（１）〜（３）いずれかに記載の画像処理装置。
【０１３２】
（５）前記ブラー情報計測部は、前記長時間露光画像と、前記短時間露光画像を適用して、色別のブラー情報を算出し、各画素単位の色別ブラー情報中の最大値を画素対応のブラー情報として出力する全期（１）〜（４）いずれかに記載の画像処理装置。
（６）前記ブラー情報計測部は、前記長時間露光画像と、前記短時間露光画像に含まれるノイズを推定するノイズ推定部を有し、露出補正を施した長時間露光画像と短時間露光画像との対応画素の画素値差分に基づく算出値から前記ノイズ推定部において推定したノイズを減算して画素対応のブラー情報を算出する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１３３】
（７）前記ブレンド係数算出部は、前記長時間露光画像の画素値が飽和レベルである画素については、長時間露光画像の画素値のブレンド率を抑制したブレンド係数の算出を行う前記（１）〜（６）いずれかに記載の画像処理装置。
（８）前記ブレンド部は、前記長時間露光画像と前記短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像としての広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する前記（１）〜（７）いずれかに記載の画像処理装置。
【０１３４】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【０１３５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１３７】
以上、説明したように、本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素の画素値合成処理を実行して広ダイナミックレンジ画像を生成する装置、方法が実現される。
具体的には、長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理部を有し、画像処理部は、短時間露光画像と長時間露光画像を適用してブラー情報を計測するブラー情報計測部と、計測したブラー情報を適用して、短時間露光画像と長時間露光画像のブレンド係数を決定するブレンド係数算出部と、ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の画素値合成処理を実行するブレンド部を有する。ブラー情報に基づくブレンド係数の制御によりブラーの影響を削減した高品質な広ダイナミックレンジ画像生成が可能となる。
【符号の説明】
【０１３８】
１０ 輝度閾値レベル
１１ 高輝度領域
１２ 低輝度領域
１００ 撮像装置
１０１ 光学レンズ
１０２ 撮像デバイス
１０３ 画像処理部
１０４ 信号処理部
１０５ 制御部
１２０ 出力画像
２０１ 感度別補間部
２０２ ＨＤＲ合成かつブレ補正部
２１１，２１２ 抽出部
２１３，２１４ 色補間部
２２１，２２２ 露出補正部
２２３ ブラー情報計測部
２２４ ブレンド係数算出部
２２５ ブレンド部
２４１〜２４３ 色別ブラー係数計測部
２４４ 最大値選択部
２５１，２５２ 飽和処理部
２５３，２５５ ノイズ推定部
２５４ 差分算出部
２５６ 二乗算出部
２５７ ローパスフィルタ演算部
２５８ 演算部
２６１，２６２ 最大値選択部
２６３ ブレンド係数演算部
２７１，２７２ ノイズ推定部
２７３ 演算部
２７４ 飽和付近ブレンド係数算出部
２７５ 最大値選択部
２８１〜２８３ 色別ブレンド部
２９１ 減算器
２９２ 乗算器
２９３ 加算器
３０１，３０２ ローパスフィルタ演算部
３０３，３０４ 飽和処理部
３０５ 差分算出部
３０６ 二乗算出部
【特許請求の範囲】
【請求項１】
長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理部を有し、
前記画像処理部は、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正部と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測部と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出部と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド部を有する画像処理装置。
【請求項２】
前記画像処理部は、
長時間露光画素と短時間露光画素とが混在した１枚の画像を入力し、
入力画像を適用した補間処理により、全ての画素を長時間露光画素の画素値として設定した長時間露光画像と、全ての画素を短時間露光画素の画素値として設定した短時間露光画像を生成する感度別補間部と、
前記感度別補間部の出力する長時間露光画像と、短時間露光画像に対して、長時間露光画素と短時間露光画素との露光比に応じた露出補正を実行する露出補正部を有し、
前記ブラー情報計測部は、
前記露出補正部の生成する露出補正長時間露光画像と、露出補正短時間露光画像を適用して前記ブラー情報を算出する請求項１に記載の画像処理装置。
【請求項３】
前記ブレンド係数算出部は、
前記ブラー情報を適用して、前記露出補正長時間露光画像と、前記露出補正短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定する請求項２に記載の画像処理装置。
【請求項４】
前記ブレンド部は、
前記ブレンド係数算出部において算出したブレンド係数を適用して前記露出補正長時間露光画像と前記露出補正短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定する請求項２に記載の画像処理装置。
【請求項５】
前記ブラー情報計測部は、
露出補正を施した長時間露光画像と、短時間露光画像を適用して、色別のブラー情報を算出し、各画素単位の色別ブラー情報中の最大値を画素対応のブラー情報として出力する請求項１に記載の画像処理装置。
【請求項６】
前記ブラー情報計測部は、
前記長時間露光画像と、前記短時間露光画像に含まれるノイズを推定するノイズ推定部を有し、
露出補正を施した長時間露光画像と短時間露光画像との対応画素の画素値差分に基づく算出値から前記ノイズ推定部において推定したノイズを減算して画素対応のブラー情報を算出する請求項１に記載の画像処理装置。
【請求項７】
前記ブレンド係数算出部は、
前記長時間露光画像の画素値が飽和レベルである画素については、長時間露光画像の画素値のブレンド率を抑制したブレンド係数の算出を行う請求項１に記載の画像処理装置。
【請求項８】
前記ブレンド部は、
前記長時間露光画像と前記短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像としての広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する請求項１に記載の画像処理装置。
【請求項９】
画像処理装置において実行する画像処理方法であり、
画像処理部が、長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理を実行し、
前記画像処理において、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正処理と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測処理と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出処理と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド処理を実行する画像処理方法。
【請求項１０】
画像処理装置において画像処理を実行させるプログラムであり、
画像処理部において、長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理を実行させ、
前記画像処理において、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正処理と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測処理と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出処理と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド処理を実行させるプログラム。
【請求項１】
長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理部を有し、
前記画像処理部は、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正部と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測部と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出部と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド部を有する画像処理装置。
【請求項２】
前記画像処理部は、
長時間露光画素と短時間露光画素とが混在した１枚の画像を入力し、
入力画像を適用した補間処理により、全ての画素を長時間露光画素の画素値として設定した長時間露光画像と、全ての画素を短時間露光画素の画素値として設定した短時間露光画像を生成する感度別補間部と、
前記感度別補間部の出力する長時間露光画像と、短時間露光画像に対して、長時間露光画素と短時間露光画素との露光比に応じた露出補正を実行する露出補正部を有し、
前記ブラー情報計測部は、
前記露出補正部の生成する露出補正長時間露光画像と、露出補正短時間露光画像を適用して前記ブラー情報を算出する請求項１に記載の画像処理装置。
【請求項３】
前記ブレンド係数算出部は、
前記ブラー情報を適用して、前記露出補正長時間露光画像と、前記露出補正短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定する請求項２に記載の画像処理装置。
【請求項４】
前記ブレンド部は、
前記ブレンド係数算出部において算出したブレンド係数を適用して前記露出補正長時間露光画像と前記露出補正短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定する請求項２に記載の画像処理装置。
【請求項５】
前記ブラー情報計測部は、
露出補正を施した長時間露光画像と、短時間露光画像を適用して、色別のブラー情報を算出し、各画素単位の色別ブラー情報中の最大値を画素対応のブラー情報として出力する請求項１に記載の画像処理装置。
【請求項６】
前記ブラー情報計測部は、
前記長時間露光画像と、前記短時間露光画像に含まれるノイズを推定するノイズ推定部を有し、
露出補正を施した長時間露光画像と短時間露光画像との対応画素の画素値差分に基づく算出値から前記ノイズ推定部において推定したノイズを減算して画素対応のブラー情報を算出する請求項１に記載の画像処理装置。
【請求項７】
前記ブレンド係数算出部は、
前記長時間露光画像の画素値が飽和レベルである画素については、長時間露光画像の画素値のブレンド率を抑制したブレンド係数の算出を行う請求項１に記載の画像処理装置。
【請求項８】
前記ブレンド部は、
前記長時間露光画像と前記短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像としての広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する請求項１に記載の画像処理装置。
【請求項９】
画像処理装置において実行する画像処理方法であり、
画像処理部が、長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理を実行し、
前記画像処理において、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正処理と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測処理と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出処理と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド処理を実行する画像処理方法。
【請求項１０】
画像処理装置において画像処理を実行させるプログラムであり、
画像処理部において、長時間露光画像と短時間露光画像の画素値合成処理を実行して出力画像の画素値を生成する画像処理を実行させ、
前記画像処理において、
長時間露光と短時間露光との露光比に応じて長時間露光画像と短時間露光画像の露出補正を実行する露出補正処理と、
露出補正を施した長時間露光画像と短時間露光画像を適用して、長時間露光画像と短時間露光画像との対応画素位置の画素値のずれ度合いを示す指標値であるブラー情報を算出するブラー情報計測処理と、
前記ブラー情報を適用して、長時間露光画像と短時間露光画像の対応画素位置の画素値のブレンド（合成）処理に適用するブレンド比率としてのブレンド係数を決定するブレンド係数算出処理と、
前記ブレンド係数算出部において算出したブレンド係数を適用して長時間露光画像と短時間露光画像の対応画素位置の画素値ブレンド処理を実行して出力画像の画素値を決定するブレンド処理を実行させるプログラム。
【図１】
【図５】
【図６】
【図１５】
【図１６】
【図２１】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１７】
【図１８】
【図１９】
【図２０】
【図５】
【図６】
【図１５】
【図１６】
【図２１】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−６６１４２（Ｐ２０１３−６６１４２Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２７７６２９（Ｐ２０１１−２７７６２９）
【出願日】平成２３年１２月１９日（２０１１．１２．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年１２月１９日（２０１１．１２．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]