画像処理装置、および画像処理方法、並びにプログラム
【課題】１つの撮影画像に基づいてブレを減少させた広ダイナミックレンジ画像を生成する装置および方法を提供する。
【解決手段】撮像デバイスの出力する長時間露光画素情報と、短時間露光画素情報を画素情報を入力し、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、短時間露光画像と、長時間露光画像と、長時間露光画像ＰＳＦを適用して補正画像を生成する。この補正画像は、長時間露光画像の画素情報と短時間露光画像の画素情報を利用した広ダイナミックレンジ画像として生成されるとともに、ブレの少ない短時間露光画像の画素情報を適用することでブレを抑制した高品質な補正画像として生成される。
【解決手段】撮像デバイスの出力する長時間露光画素情報と、短時間露光画素情報を画素情報を入力し、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、短時間露光画像と、長時間露光画像と、長時間露光画像ＰＳＦを適用して補正画像を生成する。この補正画像は、長時間露光画像の画素情報と短時間露光画像の画素情報を利用した広ダイナミックレンジ画像として生成されるとともに、ブレの少ない短時間露光画像の画素情報を適用することでブレを抑制した高品質な補正画像として生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、ダイナミックレンジの広い画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
【０００３】
このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【０００４】
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
【０００５】
このような処理を実現する手法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
【０００６】
例えば特許文献１（特開２００８−９９１５８号公報）は、複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。
【０００７】
例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
【０００８】
時間ｔ０〜ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。
【０００９】
しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。
【００１０】
そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【００１１】
なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
【００１２】
このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。
【００１３】
さらに、特許文献２（特開２０００−５０１５１号公報）は、特許文献１に記載の構成と同様、異なる露光量の複数画像を撮影し、その合成処理に際して、異なる露光量の複数画像を比較して動きのあった画素領域を特定して補正を行って、合成に伴う偽色の発生を抑制する構成を開示している。
【００１４】
しかしながら、上記の特許文献１，２に記載された構成は、いずれも長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。
このように、露光時間を変えた複数枚の画像を利用することで、広ダイナミックレンジ画像（ＨＤＲ画像）を生成可能であるが、この複数画像に基づく処理には、例えば以下の課題がある。
課題１：複数回の撮影を行わなければいけない点。
課題２：撮影タイミングが異なる複数の画像を合成したり、長時間露光の撮影データを用いるため、カメラのブレに弱い点。
【００１５】
これらの課題を解決する従来技術として、例えば以下の従来技術がある。
（課題１を解決する手法）
１つの固体撮像素子内の画素を２種類の露光パターン、すなわち、短時間露光を行う画素と、長時間露光を行う画素の２種類の異なる露光時間の制御画素として設定する。この処理により、短時間露光と長時間露光の画素はほぼ同時のタイミングで撮影できる。
【００１６】
例えば、特許文献３（特開２００６−３１１２４０号公報）、特許文献４（特開２００６−２５３８７６号公報）は、このような構成を開示している。
しかし、この構成では、画素単位で露光時間が異なるため短時間露光に対して長時間露光の画素はブレやすく、手ブレの影響を完全に無くすことが困難であるという問題がある。
【００１７】
（課題２を解決する手法）
例えば、非特許文献１（ＳＩＧＧＲＡＰＨ ２００７：Ｉｍａｇｅ Ｄｅｂｌｕｒｒｉｎｇ ｗｉｔｈ Ｂｌｕｒｒｅｄ／Ｎｏｉｓｙ Ｉｍａｇｅ Ｐａｉｒｓ）は、短時間露光でノイズの多い画像と、長時間露光でブレのある画像から高品質の画像を得る手法を提案している。しかし、この開示手法でも、短時間露光と長時間露光の２回の撮影が必要となる。
【００１８】
また、特許文献５（特開２０１０−１０９９４８号公報）は、複数の画像から移動量を推定し、広ダイナミックレンジ撮像時の撮像画像のブレを補正する手法を提案している。
さらに、非特許文献２（Ｃｏｄｅｄ Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒ Ｐｈｏｔｏｇｒａｐｈｙ： Ｆｌｅｘｉｂｌｅ Ｓｐａｃｅ−Ｔｉｍｅ Ｓａｍｐｌｉｎｇ （ＩＣＣＰ２０１０））では、１つの固体撮像素子内で行ごとに露光時間を変えて撮影したデータを基に広ダイナミックレンジ画像の合成処理（ＨＤＲ合成）と手ブレ補正を同時に行う手法を開示している。
【００１９】
しかし、露光時間は行ごとに変えており、ブレ量を推定するためには３種類以上の露光時間の画素を組み合わせて撮影しなければならず、縦方向にボケやすいという問題があった。また、本文献ではデモザイク後の各画素位置にＲＧＢそろった画像に対して処理しており、Ｂａｙｅｒ配列などの色配列を考慮したものではなかった。
【００２０】
さらに、特許文献６（特開２０１０−６２７８５号公報）は、固体撮像素子の制御法を工夫することで、長時間露光画撮影している間に、短時間露光を断続的に撮影する手法を提案した。しかし短時間露光の撮影を複数回行わなければならず制御が複雑になるという問題があった。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開２００８−９９１５８号公報
【特許文献２】特開２０００−５０１５１号公報
【特許文献３】特開２００６−３１１２４０号公報
【特許文献４】特開２００６−２５３８７６号公報
【特許文献５】特開２０１０−１０９９４８号公報
【特許文献６】特開２０１０−６２７８５号公報
【非特許文献】
【００２２】
【非特許文献１】ＳＩＧＧＲＡＰＨ ２００７：Ｉｍａｇｅ Ｄｅｂｌｕｒｒｉｎｇ ｗｉｔｈ Ｂｌｕｒｒｅｄ／Ｎｏｉｓｙ Ｉｍａｇｅ Ｐａｉｒｓ
【非特許文献２】Ｃｏｄｅｄ Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒ Ｐｈｏｔｏｇｒａｐｈｙ： Ｆｌｅｘｉｂｌｅ Ｓｐａｃｅ−Ｔｉｍｅ Ｓａｍｐｌｉｎｇ （ＩＣＣＰ２０１０）
【発明の概要】
【発明が解決しようとする課題】
【００２３】
本開示は、例えば、上述の問題点に鑑みてなされたものであり、異なる露光時間の画像を個別に撮影することなく、１回の撮影画像を用いてダイナミックレンジの広い画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００２４】
また、本開示は、特に手ブレによる撮影画像のブレを抑制したダイナミックレンジの広い画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２５】
本開示の第１の側面は、
画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、
前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有し、
前記画像補正部は、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成する画像処理装置にある。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、さらに、前記短時間露光画像に対応するＰＳＦを、短時間露光画像ＰＳＦとして算出し、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦと前記短時間露光画像ＰＳＦとを適用して補正画像を生成する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記短時間露光画像に基づいて、長時間露光を行ったと仮定した第１の推定画像を生成し、該第１の推定画像と前記長時間露光画像との差分を小さくする第１の補正量を算出し、算出した第１の補正量を、前記短時間露光画像に基づいて生成した初期画像に加算する処理を実行して前記補正画像を生成する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結成分の抽出処理により、前記長時間露光画像ＰＳＦを算出する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結閉領域の抽出を実行し、原点と閉領域の重心位置を結んだ線分を、原点を中心に２倍伸ばした線分を前記長時間露光画像ＰＳＦとして算出する。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記短時間露光画像に対応するＰＳＦを、短時間露光画像ＰＳＦとして算出する構成であり、前記長時間露光画像ＰＳＦの重心位置と原点とを結んだ線分を、原点を中心に、
２×（第２の露光条件の露光時間）÷（第１の露光条件の露光時間）倍、伸ばした線分を、前記短時間露光画像ＰＳＦとして算出する。
【００３１】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記長時間露光画像に基づいて算出する長時間露光画像ＰＳＦと、前記短時間露光画像に基づいて生成される初期画像と、前記長時間露光画像とから、前記初期画像に対する第１の補正量を算出する第１の補正量算出部と、前記短時間露光画像に基づいて算出する短時間露光画像ＰＳＦと、前記初期画像とから、前記初期画像に対する第２の補正量を定める第２の補正量算出部と、前記初期画像に対して、前記第１の補正量と第２の補正量とを加算する加算部と、を備える。
【００３２】
さらに、本開示の画像処理装置の一実施態様において、前記第１の補正量算出部は、前記初期画像と前記長時間露光画像ＰＳＦとから前記長時間露光画像に類する画像を推定した結果である第１の推定画像を算出する第１の推定画像算出部と、前記長時間露光画像と前記第１の推定画像との差分である第１の差分画像を算出する減算部と、前記第１の差分画像と前記長時間露光画像ＰＳＦとから、第１の補正量を算出する第１の補正量推定部を備えた構成である。
【００３３】
さらに、本開示の画像処理装置の一実施態様において、前記第１の推定画像算出部は、前記長時間露光画像ＰＳＦを、撮像デバイスの画素の色（位相）ごとに長時間露光画像ＰＳＦの特性を合わせた第１の色別ＰＳＦを算出する色別ＰＳＦ算出部と、前記初期画像の注目画素の色ごとに、前記第１の色別ＰＳＦを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部の出力結果画像の、撮像デバイスの飽和画素値に相当する値以上の画素値を、前記飽和画素値に相当する値に置き換えて出力する飽和処理部と、備えた構成である。
【００３４】
さらに、本開示の画像処理装置の一実施態様において、前記第１の補正量推定部は、さらに、前記長時間露光画像ＰＳＦを点対称に反転させた第１の反転ＰＳＦを算出する色別反転ＰＳＦ算出部と、前記第１の差分画像の注目画素の色ごとに、前記第１の色別反転ＰＳＦを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部において出力した結果画像に、補正量調整パラメータを乗算して補正量調整を実行する乗算部を備えた構成である。
【００３５】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記長時間露光画像と前記短時間露光画像に対するデモザイク処理を実行するデモザイク処理部を有し、前記デモザイク処理部の処理結果であるデモザイク画像に基づいて前記補正画像を生成する。
【００３６】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
撮像デバイスが、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像ステップと、
画像補正部が、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正ステップを実行し、
前記画像補正ステップにおいては、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成する画像処理方法にある。
【００３７】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
撮像デバイスに、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力させる撮像ステップと、
画像補正部に、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成させる画像補正ステップを実行させ、
前記画像補正ステップにおいては、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成させ、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出させ、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成させるプログラムにある。
【００３８】
なお、本開示に係るプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３９】
本開示の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明の効果】
【００４０】
本開示の一実施例の構成によれば、１つの撮影画像に基づいてブレを減少させた広ダイナミックレンジ画像を生成する装置および方法が実現される。具体的には、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有する。
【００４１】
画像補正部は、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、短時間露光画像と、長時間露光画像と、長時間露光画像ＰＳＦを適用して補正画像を生成する。この補正画像は、長時間露光画像の画素情報と短時間露光画像の画素情報を利用した広ダイナミックレンジ画像として生成されるとともに、ブレの少ない短時間露光画像の画素情報を適用することでブレを抑制した高品質な補正画像となる。
【図面の簡単な説明】
【００４２】
【図１】複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る処理について説明する図である。
【図２】本開示の画像処理装置の構成例を示す図である。
【図３】本開示の画像処理装置における撮像デバイスの構成と処理の一例について説明する図である。
【図４】本開示の画像処理装置における画像補正部の一構成例について説明する図である。
【図５】本開示の画像処理装置における画像補正部の補間処理部の処理例について説明する図である。
【図６】本開示の画像処理装置における画像補正部のＰＳＦ推定部の構成と処理例について説明する図である。
【図７】本開示の画像処理装置における画像補正部のＰＳＦ推定部の構成と処理例について説明する図である。
【図８】本開示の画像処理装置における画像補正部の手ブレ補正およびダイナミックレンジ拡大処理部の構成と処理例について説明する図である。
【図９】本開示の画像処理装置における画像補正部の手ブレ補正およびダイナミックレンジ拡大処理部の構成と処理例について説明する図である。
【図１０】本開示の画像処理装置における画像補正部の手ブレ補正およびダイナミックレンジ拡大処理部の第１補正量算出部の構成と処理例について説明する図である。
【図１１】本開示の画像処理装置における画像補正部の手ブレ補正およびダイナミックレンジ拡大処理部の第１補正量算出部の色別ＰＳＦおよび色別反転ＰＳＦ生成部の構成と処理例について説明する図である。
【図１２】本開示の画像処理装置における画像補正部の手ブレ補正およびダイナミックレンジ拡大処理部の構成と処理例について説明する図である。
【図１３】本開示の画像処理装置における撮像デバイスの構成例について説明する図である。
【図１４】本開示の画像処理装置における撮像デバイスの露光制御例について説明する図である。
【発明を実施するための形態】
【００４３】
以下、図面を参照しながら、本開示の画像処理装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．画像処理装置の全体構成例について
２．撮像デバイスの構成例について
３．画像補正部の構成と処理の詳細について
（３−１）補間処理部の構成と実行する処理の詳細について
（３−２）ＰＳＦ推定部の構成と実行する処理の詳細について
（３−３）手ブレ補正およびダイナミックレンジ拡大処理部の構成と実行する処理の詳細について
４．その他の構成例について
５．他の処理との併用構成例と効果について
６．本開示の構成のまとめ
【００４４】
［１．画像処理装置の全体構成例について］
まず、本開示の画像処理装置の全体構成例について図２を参照して説明する。
図２は、本開示の画像処理装置の一例である撮像装置の構成を示すブロック図である。光学レンズ１０１を通して入射される光は例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、光電変換による画像データを出力する。出力画像データは画像補正部１０３に入力される。
なお、撮像デバイス１０２は制御部１０５の制御により、行ごとあるいは画素ごとに周期的に露光時間あるいは読み出しタイミングが制御され、長時間露光画素と短時間露光画素が設定される構成となっている。
【００４５】
画像補正部１０３は、ダイナミックレンジ拡大処理や手ブレ補正処理を含む画像補正処理を実行する。この処理の詳細については後段で詳細に説明する。
画像補正部１０３の生成した補正画像は信号処理部１０４に入力される。信号処理部１０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。
【００４６】
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理制御を行う。
【００４７】
［２．撮像デバイスの構成例について］
例えばＣＭＯＳイメージセンサによって構成される撮像デバイス１０２は、制御部１０５によって行ごとあるいは画素ごとに周期的に露光時間あるいは読み出しタイミングの制御が行われる。
【００４８】
具体的には、例えば、図３（ａ）に示すように、
長時間露光画素、
短時間露光画素、
を設定する。
なお、本実施例では、撮像デバイスの画素配列はベイヤー（Ｂａｙｅｒ）配列であるものとする。ただし、これは一例であり、本開示の処理は、この他の画素配列に対しても適用可能である。
【００４９】
図３（ｂ）は、長時間露光画素と短時間露光画素の露光開始タイミングト露光終了タイミングの設定例を示している。
本例では長時間露光画素と短時間露光画素の露光時間比は、４：１であり、露光開始時間を異ならせ、露光終了タイミング（読み出しタイミング）は等しい設定とした例である。
なお、この設定は一例であり、その他も様々な設定が可能である。
ただし、撮像デバイス１０２は、１回の撮影において複数の異なる露光時間に設定された画素からの画素情報を取得可能な構成を有するものとする。
【００５０】
［３．画像補正部の構成と処理の詳細について］
次に、画像補正部１０３の構成と処理の詳細について、図４以下を参照して説明する。
画像補正部１０３には、先に図２を参照して説明したように、複数の異なる露光時間に設定された画素を持つ撮像デバイス１０２の出力を入力し、ダイナミックレンジを拡大し、かつ手ブレ補正を行った補正画像を生成して信号処理部１０４に出力する。
【００５１】
図４に示すように、画像補正部１０３は、補間処理部２０１、ＰＳＦ推定部２０２、手ブレ補正およびダイナミックレンジ拡大処理部２０３を有する。以下、これらの各構成部の実行する処理の詳細について、以下の項目に従って、順次説明する。
（３−１）補間処理部の構成と実行する処理の詳細について
（３−２）ＰＳＦ推定部の構成と実行する処理の詳細について
（３−３）手ブレ補正およびダイナミックレンジ拡大処理部の構成と実行する処理の詳細について
【００５２】
［（３−１）補間処理部の構成と実行する処理の詳細について］
まず、図４に示す補間処理部２０１の構成と実行する処理の詳細について説明する。
図４に示すように、撮像デバイス１０２の出力は、画像補正部１０３の補間処理部２０１に入力される。
補間処理部２０１の処理について図５を参照して説明する。
補間処理部２０１は、画素単位で異なる露光時間に設定された撮像デバイス１０２の出力画像３０１を入力して、
第１の露光時間画像（長時間露光画像）３２１、
第２の露光時間画像（短時間露光画像）３２２、
これらの２つの露光時間画像を生成する。
【００５３】
補間処理部２０１は、全画素について各露光パターンが揃うように補間処理を行う。補間処理は、線形補間などのフィルタによる補間方法や、画像のエッジの方向の検出を行ないそれに基づいて補間する方法などが適用可能である。
【００５４】
例えば、第１の露光時間画像（長時間露光画像）３２１は、撮像デバイス１０２の出力画像３０１に含まれる長時間露光画素はそのまま利用する。撮像デバイス１０２の短時間露光画素の位置に長時間露光画素を補間するときは、周囲の長時間露光画素の画素値に基づいて、上記の線形補間などのフィルタによる補間方法や、画像のエッジの方向の検出を行ない、エッジ方向を考慮して、画素値の差分の少ない方向の画素値の重みを大きく設定して補間画素値を算出する処理が可能である。
【００５５】
第２の露光時間画像（短時間露光画像）３２２は、撮像デバイス１０２の出力画像３０１に含まれる短時間露光画素はそのまま利用する。撮像デバイス１０２の長時間露光画素の位置に短時間露光画素を補間するときは、周囲の短時間露光画素の画素値に基づいて、上記の線形補間などのフィルタによる補間方法や、画像のエッジの方向の検出を行ない、エッジ方向を考慮して、画素値の差分の少ない方向の画素値の重みを大きく設定して補間画素値を算出する処理が可能である。
【００５６】
補間処理部２０１は、図５に示すように、撮像デバイス１０２の出力画像３０１の補完処理により、
長時間露光のＢａｙｅｒ配列の第１の露光時間画像（長時間露光画像）３２１、
短時間露光のＢａｙｅｒ配列の第２の露光時間画像（短時間露光画像）３２２、
これらを生成する。
【００５７】
図４に示すように、補間処理部２０１の生成したこれらの２つの異なる露光時間の画像３２１，３２２は、ＰＳＦ推定部２０２、手ブレ補正およびダイナミックレンジ拡大処理部２０３に入力される。
【００５８】
［（３−２）ＰＳＦ推定部の構成と実行する処理の詳細について］
次に、図４に示すＰＳＦ推定部２０２の構成と実行する処理の詳細について説明する。
ＰＳＦ推定部２０２は、点広がり関数（以下ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の推定処理を行う。
図６と図７を参照して、ＰＳＦ推定部２０２の実行する処理について説明する。
図６は、ＰＳＦ推定部２０２の前半部、
図７は、ＰＳＦ推定部２０２の後半部、
を示している。
【００５９】
まず、図６を参照してＰＳＦ推定部２０２の前半部の処理について説明する。
図６に示すように、ＰＳＦ推定部２０２は、補間処理部２０１の生成した以下の２つの画像、
第１の露光時間画像（長時間露光画像）３２１、
第２の露光時間画像（短時間露光画像）３２２、
これらを入力する。
【００６０】
画素選択部３５１は、第１の露光時間画像（長時間露光画像）３２１から、Ｇ画素だけを抜き出す。
画素選択部３６１は、第２の露光時間画像（短時間露光画像）３２２から、Ｇ画素だけを抜き出す。
このＧ画素抽出処理の際、Ｇ画素以外の画素の画素値はゼロとする。
露出補正部３６２は、第２の露光時間画像（短時間露光画像）３２２から生成したＧ画素データに露光比を掛けることで、第１の露光時間画像とほぼ同じ明るさの画像を生成する。詳細は後段で説明する
【００６１】
なお、本来ならばバイリニア補間などを用いて全画素位置にＧ画素を補間する必要があるが、この処理はフーリエ変換後にあるローパスフィルタを掛けることと等価であるため、本実装例では離散フーリエ変換後に高周波成分を除去することで代用して計算コストを下げている。
【００６２】
Ｇ画素の画素値のみからなるデータは、離散フーリエ変換部３５２，３６３に出力される。
なお、後述するように、短時間露光画像である第２の露光時間画像３２２のＧ画素については、露出補正部３６２における露出補正後に離散フーリエ変換部３６３に出力される。
離散フーリエ変換部３５２，３６３は、それぞれ窓関数を用いて離散フーリエ変換を行う。
離散フーリエ変換部３５２は、第１の露光時間画像（長時間露光画像）３２１から生成したＧ画素データに基づいて長時間露光Ｇ画素フーリエ変換結果を算出する。
離散フーリエ変換部３６３は、第２の露光時間画像（短時間露光画像）３２２に露出補正を行い生成したＧ画素データに基づいて短時間露光Ｇ画素フーリエ変換結果を算出する。
【００６３】
これらのフーリエ変換結果は、ＰＳＦ推定演算部３７１に出力される。
ＰＳＦ推定演算部３７１は、これらの２つのフーリエ変換結果の除算値を計算する。すなわち、
除算値＝（長時間露光Ｇ画素フーリエ変換結果）／（短時間露光Ｇ画素フーリエ変換結果）
上記の除算値を計算する。
【００６４】
この除算値は、高周波除去部３７２に出力される。
高周波除去部３７２は、除算結果に含まれる高周波成分をゼロにする処理を実行する。この高周波除去結果は、逆離散フーリエ変換部３７３に出力される。
逆離散フーリエ変換部３７３は、逆離散フーリエ変換を計算する。
【００６５】
逆離散フーリエ変換部３７３の生成した逆離散フーリエ変換結果は、ノイズ除去および閉領域選択部３７４に出力される。
ノイズ除去および閉領域選択部３７４は、逆離散フーリエ変換部３７３の生成した逆離散フーリエ変換結果からノイズ除去を行い、閉領域を選択してＰＳＦの推定を行い、第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１を生成する。
【００６６】
ＰＳＦ推定部２０２の具体的な処理例について説明する。
画像を構成する画素位置を（ｘ，ｙ）の座標位置で表し、
ｆ（ｘ，ｙ）を短時間露光画像の各画素位置（ｘ，ｙ）の画素値とし、
ｇ（ｘ，ｙ）を長時間露光画像の各画素位置（ｘ，ｙ）の画素値とし、
ｐ（ｘ，ｙ）を、ＰＳＦ（点広がり関数）の各画素位置（ｘ，ｙ）の値とする。
【００６７】
ただし、説明のためｆ（ｘ，ｙ）、ｇ（ｘ，ｙ）はＢａｙｅｒ配列ではなく単色画像とし、画素の飽和（白飛び）は無視する。長時間露光画像は手ブレの影響を受けるため、以下のように表される。
ただし＊は畳み込み演算を表す。
ｇ（ｘ，ｙ）＝ｐ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（式１）
【００６８】
すなわち、長時間露光画像の各画素位置（ｘ，ｙ）の画素値ｇ（ｘ，ｙ）は、
ＰＳＦと、短時間露光画像の畳込演算（＊）によって算出される。
【００６９】
また、
短時間露光画像ｆ（ｘ，ｙ）、
長時間露光画像ｇ（ｘ，ｙ）、
ＰＳＦ：ｐ（ｘ，ｙ）、
これらを離散フーリエ変換した結果を、それぞれ、以下のように表す。
短時間露光画像ｆ（ｘ，ｙ）の離散フーリエ変換結果：Ｆ（ｕ，ｖ）、
長時間露光画像ｇ（ｘ，ｙ）の離散フーリエ変換結果：Ｇ（ｕ，ｖ）、
ＰＳＦ：ｐ（ｘ，ｙ）の離散フーリエ変換結果：Ｐ（ｕ，ｖ）、
【００７０】
この離散フーリエ変換結果を用いると、上記の（式１）は以下の（式２）として表現できる。
Ｇ（ｕ，ｖ）＝Ｐ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（式２）
なお、『・』は、周波数成分ごとの積算を意味する。
【００７１】
すなわち、
長時間露光画像ｇ（ｘ，ｙ）の離散フーリエ変換結果：Ｇ（ｕ，ｖ）は、
ＰＳＦ：ｐ（ｘ，ｙ）の離散フーリエ変換結果：Ｐ（ｕ，ｖ）と、
短時間露光画像ｆ（ｘ，ｙ）の離散フーリエ変換結果：Ｆ（ｕ，ｖ）との周波数成分ごとの積算によって算出できる。
【００７２】
これらの（式１）、（式２）から、
ＰＳＦ：ｐ（ｘ，ｙ）を算出するためには、
Ｐ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｆ（ｕ，ｖ） ・・・（式３）
上記（式３）に従って、ｐ（ｘ，ｙ）の離散フーリエ変換結果：Ｐ（ｕ，ｖ）を算出し、
さらに、算出した離散フーリエ変換結果：Ｐ（ｕ，ｖ）のこの計算結果の逆離散フーリエ変換を計算すればよい。
ただし、上記（式３）の『／』は、周波数成分ごとの除算を表す。
【００７３】
この手順で、
短時間露光画像ｆ（ｘ，ｙ）、
長時間露光画像ｇ（ｘ，ｙ）、
これらを用いて、ＰＳＦ（点広がり関数）：ｐ（ｘ，ｙ）を求めることができる。
【００７４】
ただし実際には、短時間露光画像と長時間露光画像では画像の明るさが異なるため、短時間露光画像で見えている部位が、長時間露光では完全に飽和して白飛びする状況が考えられる。その場合、画素の飽和の影響で上記（式１）が成り立たない。
そこで実際には、露出補正部３６２にて、第２の露光時間画像（長時間露光画像）３２２から生成したＧ画素データに、露光比（本開示の実施例では４倍）を掛けて、さらに飽和画素値以上の画素値を、飽和画素値に置き換える処理を行う。本処理により得られたＧ画素データと、第１の露光時間画像（長時間露光画像）３２１から生成したＧ画素データとでは、飽和画素の位置がほぼ一致するため、画素の飽和の影響を取り除くことができる。
【００７５】
また、上記（式３）に示す手法のように周波数空間で除算する処理のみだけでは、ノイズの影響が大きくなり、短時間露光画像ｆ（ｘ，ｙ）の離散フーリエ変換結果：Ｆ（ｕ，ｖ）がゼロに近い値の場合にゼロ除算されてしまう。すなわち、図６に示すように、逆離散フーリエ変換部３７３において、上記（式３）によって計算された結果はノイズを多く含むＰＳＦとなってしまう。
【００７６】
そこで、本開示の撮像装置における特徴である、
『第１の露光条件の画素と第２の露光条件の画素をほぼ同じタイミングで撮影できる』という特性や、
『手ブレにおけるＰＳＦは連結した形状をしており細かい高周波のノイズは含まれない』、
これらの特徴を考慮した処理を行う。
【００７７】
図３（ｂ）を参照して説明した露光タイミングから理解されるように、
第２の露光時間画像（短時間露光画像）の露光期間は、第１の露光時間画像（長時間露光画像）も露光されている。この結果として、これらの重複露光期間を持つ２つの画像から生成されるＰＳＦは必ず原点を通る。
これを利用して、図６に示すノイズ除去および閉領域選択部３７４は、逆離散フーリエ変換部３７３において、上記（式３）によって計算された結果を入力し、この入力から高周波のノイズを除去し、さらに原点を通る閉領域を選択する。正規化部３７５では、選択された閉領域の画素値の総和が露光比（本開示の実施例では４．０）と一致するように正規化処理を行う。その結果、ノイズの少ない第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１を生成する。
【００７８】
次に、図７を参照して、ＰＳＦ推定部２０２の後半部の処理について説明する。
ＰＳＦ推定部２０２の後半部では、ＰＳＦが直線的な形状を持つと仮定することで、より高精度な第１のＰＳＦ（長時間露光画像ＰＳＦ）や、第２のＰＳＦ（短時間露光画像ＰＳＦ）を算出する。
図６を参照して説明したＰＳＦ推定部２０２の前段において生成した第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１を入力し、重心検出部４０１においてＰＳＦの重心を検出する。ＰＳＦの形状は直線的と仮定しているため、本来のＰＳＦは、原点と重心を結んだ線分を、原点を中心に２倍伸ばした線分となる。そこでＰＳＦ補正処理部４０２において、原点を中心に２倍伸ばした線分を生成する演算を行い第１の高精度ＰＳＦ４２１を生成する。
【００７９】
また第２のＰＳＦ（短時間露光画像ＰＳＦ）４２２の長さは、第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１の長さに露光比を乗算したデータとなる。そこで第２のＰＳＦ演算部４０３において、第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１の原点と前記重心位置を結んだ線分を、原点を中心に、
２×（第２の露光条件の露光時間）÷（第１の露光条件の露光時間）倍、
伸ばした線分を生成して、これを第２のＰＳＦ（短時間露光画像ＰＳＦ）４２２として出力する。
【００８０】
［（３−３）手ブレ補正およびダイナミックレンジ拡大処理部の構成と実行する処理の詳細について］
次に、図４に示す手ブレ補正およびダイナミックレンジ拡大処理部２０３の構成と実行する処理の詳細について説明する。
【００８１】
手ブレ補正およびダイナミックレンジ拡大処理部２０３は、ブレの少ない短時間露光画像に基づいて初期画像を設定し、初期画像を推定したＰＳＦでぼかした推定画像と、実際に観測された画像の差分が少なくなるように補正量を計算し、初期画像の更新を行う。
これらの処理の結果、初期画像の暗部のノイズや階調の劣化が改善され、手ブレの影響を排除しつつダイナミックレンジを拡大することができる。
【００８２】
具体的な処理について説明する。
第１の画像（長時間露光画像）から計算された第１の補正量を用いて初期画像を更新するときには、以下の計算を行う。
ｈ'（ｘ，ｙ）＝ｈ（ｘ，ｙ）＋λｐ'（ｘ，ｙ）＊｛ｇ（ｘ，ｙ）−ｐ（ｘ，ｙ）＊ｈ（ｘ，ｙ）｝ ・・・（式４）
なお、上記（式４）において、
ｐ'（ｘ，ｙ）はＰＳＦを点対称に反転した反転ＰＳＦ、
λは調整用のパラメータ（予め既定したパラメータ、あるいはユーザが設定したパラメータ）、
ｈ（ｘ，ｙ）は初期画像、
ｈ'（ｘ，ｙ）は補正された結果である更新初期画像、
＊は畳み込み演算、
を表す。
【００８３】
また、上記（式４）は、色の区別をつけずに表記しているが、実際には注目画素の色（位相）ごとに、後述する色別ＰＳＦ、色別反転ＰＳＦを使い分けて畳み込み演算を行う。
【００８４】
手ブレ補正およびダイナミックレンジ拡大処理部２０３の詳細構成と、実行する処理について、図８を参照して説明する。
【００８５】
手ブレ補正およびダイナミックレンジ拡大処理部２０３は、図４、図５を参しようして説明したように補間処理部２０１から、補間処理部２０１の生成した以下の２つの画像、
第１の露光時間画像（長時間露光画像）３２１、
第２の露光時間画像（短時間露光画像）３２２、
これらを入力する。
【００８６】
手ブレ補正およびダイナミックレンジ拡大処理部２０３は、まず入力されたこれらの画像３２１、画像３２２をそれぞれビットシフト部５１１，５２１において構成画素値のビットシフトを行う。このビットシフトにより、高ビット階調で表現された第１の高階調画像５１２、第２の高階調画像５２２を得る。
【００８７】
例えば、入力画像である、以下の画像、すなわち、
第１の露光時間画像（長時間露光画像）３２１、
第２の露光時間画像（短時間露光画像）３２２、
これらの画像の各画素値が１０ビット表現データである場合、ビットシフト部５１１，５２１はこれらの画像の各画素値を１６ビットに設定する。
【００８８】
図８に示す初期画像５５１は、初期的には、第２の露光時間画像（短時間露光画像）３２２に基づいて生成した高階調画像に対して、ノイズ除去部５３１においてノイズ除去を施した画像を用いる。
【００８９】
次に、第１の補正量算出部５３２において、第１の露光時間画像（長時間露光画像）３２１に基づいて生成した第１の高階調画像５１２と、ＰＳＦ推定部２０２の生成した第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１と、初期画像５５１から、第１の補正量を算出する。
第１の補正量算出部５３２の実行する補正量算出処理については、さらに後段で詳細に説明する。
なお、第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１の代わりに、図７を参照して説明した第１の高精度ＰＳＦ４２１を利用してもよい。
【００９０】
また、第２の補正量算出部５３３において、第２の露光時間画像（短時間露光画像）３２２に基づいて生成した第２の高階調画像５２２と、ＰＳＦ推定部２０２の生成した第２のＰＳＦ（短時間露光画像ＰＳＦ）４２２と初期画像５５１から、第２の補正量を算出する。
【００９１】
次に、加算部５３４において、初期画像５５１に第１の補正量と第２の補正量を加算し、補正出力画像５５２を得る。
なお、さらに、補正出力画像５５２を、再び初期画像５５１として設定し、同じ処理を繰り返して、補正出力画像５５２を順次、更新して、最終的な補正出力画像５５２を生成してもよい。
【００９２】
なお、前述したように、第１の補正量算出部５３２において、第１の露光時間画像（長時間露光画像）３２１に対応する第１の補正量を算出する処理に際しては、図６を参照して説明たＰＳＦ推定部２０２の生成する第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１、または、図７を参照して説明たＰＳＦ推定部２０２の生成する第１の高精度ＰＳＦ４２１のいずれかを用いることが可能である。
またノイズ除去部５３１は、付加的な処理であり、ノイズ除去部５３１を省略した構成としてもよい。
【００９３】
なお、短時間露光処理期間である第２の露光時間画像の露光時間が十分に短く、第２の露光時間画像にブレがないと判定される場合には、先に図７参照して説明したｐｓｆ推定部２０２における第２のＰＳＦ（短時間露光画像ＰＳＦ）４２２の算出や、図８に示す手ブレ補正およびダイナミックレンジ拡大処理部２０３における第２の補正量算出部５３３を省略した構成とすることが可能である。
この場合、手ブレ補正およびダイナミックレンジ拡大処理部２０３は、例えば図９に示す構成とすることが可能である。
なお、図９ではノイズ除去部も省略した構成としている。
【００９４】
図８に示す手ブレ補正およびダイナミックレンジ拡大処理部２０３における処理結果として得られた補正出力画像５２２は、図２に示す信号処理部１０４に出力される。
信号処理部１０４は、必要に応じて階調補正、デモザイク、γ補正などを施すことで最終的な出力画像１２０を生成して出力する。
【００９５】
（補正量算出部の処理の詳細について）
次に、図８に示す第１の補正量算出部５３２の詳細について、図１０、図１１を参照して説明する。
なお、第２の補正量算出部５３３も同等の構成である。
【００９６】
まず色別ＰＳＦおよび色別反転ＰＳＦ生成部７０１にて、撮像デバイス１０２の色配列に応じた第１の色別ＰＳＦ７１１、第１の色別反転ＰＳＦ７１２を生成する。
なお。色別（位相ごと）とはベイヤー配列の場合、ＲＧＢの３色各々に対応し、
Ｒ対応のＰＳＦと反転ＰＳＦ、
Ｇ対応のＰＳＦと反転ＰＳＦ、
Ｂ対応のＰＳＦと反転ＰＳＦ、
これらが生成される。
【００９７】
第１の色別ＰＳＦ７１１は、畳み込み演算部７０２に入力される。
畳み込み演算部７０２は、第２の露光時間画像（短時間露光画像）３２２に基づいて生成された初期画像５５１（図８参照）の注目画素の色に応じて第１の色別ＰＳＦ７１１を使い分けて畳み込み演算を行う。
畳み込み演算部７０２の生成した畳み込み演算結果は、飽和処理部７０３に出力される。
【００９８】
飽和処理部７０３は、畳み込み演算部７０２の生成した畳み込み演算結果を入力し、予め設定した閾値以上の画素値を、閾値の値に飽和させる飽和処理を行う。
これらの処理によって、初期画像５５１と第１のＰＳＦ（長時間露光画像ＰＳＦ）から、第１の露光条件（長時間露光）で撮影していたときに得られると予想できる画像（第１の推定画像７２１）を生成する。
【００９９】
第１の補正量算出部５３２は、この第１の推定画像７２１と、補間処理部２０１の生成した第１の露光時間画像（長時間露光画像）３２１の差分が小さくなるような第１の補正量を算出する。
【０１００】
減算部７０４は、この第１の推定画像７２１と、補間処理部２０１の生成した第１の露光時間画像（長時間露光画像）３２１の差分を設定した第１の差分画像７２２を生成する。
減算部７０４において、補間処理部２０１の生成した第１の露光時間画像（長時間露光画像）３２１から第１の推定画像７２１の対応画素の画素値の減算処理を行い、第１の差分画像７２２を得る。
【０１０１】
次に畳み込み演算部７０５において、順次、選択される注目画素の色ごと（Ｒ，Ｇ，Ｂごと）に第１の色別反転ＰＳＦ７１２を使い分けて畳み込み演算を行う。
最後に、乗算部７０６において、畳み込み演算部７０５の演算結果に補正量調整パラメータ７３１を乗算して第１の補正量を得る。
補正量調整パラメータ７３１は、予め設定した値、あるいはユーザが設定した値を用いることができる。
【０１０２】
次に、図１１を参照して、色別ＰＳＦおよび色別反転ＰＳＦ生成部７０１の詳細構成と処理について説明する。
本処理では、撮像デバイス１０２の色配列（本実装例ではＢａｙｅｒ配列）のまま手ブレ補正を行うために、固体撮像素子の色（位相）ごとに特性を合わせた色別ＰＳＦ８２１，８２２を計算する。
また同時に、色別ＰＳＦを点対称に反転させた色別反転ＰＳＦ８２３．８２４を算出する。
【０１０３】
まず、色別ＰＳＦおよび色別反転ＰＳＦ生成部７０１入力された第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１を画素選択部８０２において、色（位相）ごと（Ｒ，Ｇ，Ｂ）に合わせた画素を抜き出す。例えばＢａｙｅｒ配列の場合、Ｇ用には市松模様に抜き出し、ＲやＢ用には２画素置きに抜き出す。
【０１０４】
その後、正規化部８０４ａ，８０４ｂにおいて、それぞれ初期画像と第１の画像の露光比に応じて正規化する処理を行う。
本構成例では露光比は、先に図３を参照して説明したように、
短時間露光時間：長時間露光時間＝１：４、
であるため、色別ＰＳＦ８２１，８２２の合計値がそれぞれ４．０になるようにそれぞれ正規化する。
【０１０５】
また、反転部８０１では第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１を点対称に反転し、画素選択部８０３において、各色（Ｒ，Ｇ，Ｂ）に応じた画素を抜き出す。さらに正規化部８０４ｃ，８０４ｄでは、画素の合計値が露光比の逆数、すなわち０．２５になるように正規化し、色別反転ＰＳＦ８２３，８２４を出力する。
【０１０６】
［４．その他の構成例について］
次に、上述した実施例と異なるその他の構成例について説明する。
前述のように、第２の露光条件の露光時間（短時間露光）が十分に短く、撮影画像にブレがない場合には、図７に示すＰＳＦ推定部２０２おいて第２のＰＳＦ（短時間露光画像ＰＳＦ）４２２を生成する処理や、図８に示す手ブレ補正およびダイナミックレンジ拡大処理部２０３の第２の補正量算出部５３３を省略した図９のような構成もとることができる。
【０１０７】
さらに、図８において構成の一例としてＢａｙｅｒ配列のまま合成する手法を示したが、予めデモザイク処理を実行して、各画素位置に対応するＲＧＢ画素値がそろった画像に対して処理を施すこともできる。
【０１０８】
図１２に予めデモザイク処理を実行して、手ブレ補正及びダイナミックレンジ拡大処理を行う手ブレ補正およびダイナミックレンジ拡大処理部２０３の構成例を示す。
まず、図１２に示すように、補間処理部２０１の生成した以下の各画像、すなわち、
第１の露光時間画像（長時間露光画像）３２１、
第２の露光時間画像（短時間露光画像）３２２、
これらを各々、デモザイク処理部９０１，９０２に入力する。
【０１０９】
デモザイク処理部９０１，９０２は、
第１の露光時間画像（長時間露光画像）３２１、
第２の露光時間画像（短時間露光画像）３２２、
これらの各画像のデモザイク処理を実行して各画素位置にＲＧＢの３色そろった画像に変換する。
【０１１０】
その後の処理は、基本的には先に図８をと参照して説明した処理と同様の処理をＲＧＢそれぞれの画像に対して実行する。ただし、全画素位置にＲＧＢの３色がそろっているため、色別ＰＳＦや色別反転ＰＳＦを用いる必要はない。
【０１１１】
また、輝度信号に比べ色差信号はボケが目立たないという特徴を利用し、ＲＧＢ画像をさらにＹＣｂＣｒ空間に変換し、Ｙ信号に対してのみ処理を施すことで計算量の削減を行うこともできる。
【０１１２】
また、撮像デバイス１０２としての例えばＣＭＯＳイメージセンサの画素配列について、先に図３を参照して長時間露光画素と短時間露光画素の設定例について説明した。
この図３に示すパターンは一例であり、この他の様々な画素パターンを設定可能である。補間処理部２０１や色別ＰＳＦおよび色別反転ＰＳＦ生成部７０１を画素配列に合わせて設計することで、本手法を適用することが可能である。
【０１１３】
例えば、図１３（Ａ），（Ｂ）に示す画素配列や、図１３（Ｃ）に示すようにカラーフィルタが非Ｂａｙｅｒ配列のイメージセンサであっても適用することができる。また露光制御について、図３（ｂ）を参照して説明した例では、２種類の露光パターンの露光の終了時が一致するように制御していたが、別の露光タイミングでもよく、例えば図１１のように露光開始時を一致させて、露光終了時を異ならせるように制御してもよい。
【０１１４】
［５．他の処理との併用構成例と効果について］
以上、本開示の画像処理装置（撮像装置）として、撮像デバイス（イメージセンサ）の露光制御と、信号撮像素子の出力に対する処理を工夫することでダイナミックレンジの拡大と手ブレ補正を同時に行う手法を提案した。さらに、本開示の手法は、従来の光学式の手ブレ補正と組み合わせて使うこともできる。
【０１１５】
本開示の構成における効果をまとめると、例えば以下の効果があげられる。
・一枚撮りの撮影画像から、信号処理による手ブレ補正と、ダイナミックレンジの拡大された画像を得ることができる。その結果、暗部から明部までノイズの少なく、手ブレの影響を抑えられた画像が得られる。
・従来手法よりもシンプルな画素配列、制御方法の固体撮像素子に対し、上記の画像処理を適用することができる。具体的には、非特許文献２に比べ、少ない露光条件（２種類）の画素配列にて処理を行うことができ、露光の制御も単純で簡易な構成とすることができる。
・入力画像、出力画像の色配列はＢａｙｅｒ配列のまま処理することもできるため、既存のカメラ信号処理との親和性が高い。
【０１１６】
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１１７】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、
前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有し、
前記画像補正部は、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成する画像処理装置。
【０１１８】
（２）前記画像補正部は、さらに、前記短時間露光画像に対応するＰＳＦを、短時間露光画像ＰＳＦとして算出し、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦと前記短時間露光画像ＰＳＦとを適用して補正画像を生成する前記（１）に記載の画像処理装置。
（３）前記画像補正部は、前記短時間露光画像に基づいて、長時間露光を行ったと仮定した第１の推定画像を生成し、該第１の推定画像と前記長時間露光画像との差分を小さくする第１の補正量を算出し、算出した第１の補正量を、前記短時間露光画像に基づいて生成した初期画像に加算する処理を実行して前記補正画像を生成する前記（１）または（２）に記載の画像処理装置。
【０１１９】
（４）前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結成分の抽出処理により、前記長時間露光画像ＰＳＦを算出する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結閉領域の抽出を実行し、原点と閉領域の重心位置を結んだ線分を、原点を中心に、２倍伸ばした線分を前記長時間露光画像ＰＳＦとして算出する前記（１）〜（４）いずれかに記載の画像処理装置。
【０１２０】
（６）前記画像補正部は、前記短時間露光画像に対応するＰＳＦを、短時間露光画像ＰＳＦとして算出する構成であり、前記長時間露光画像ＰＳＦの重心位置と原点とを結んだ線分を、原点を中心に、２×（第２の露光条件の露光時間）÷（第１の露光条件の露光時間）倍、伸ばした線分を、前記短時間露光画像ＰＳＦとして算出する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記画像補正部は、前記長時間露光画像に基づいて算出する長時間露光画像ＰＳＦと、前記短時間露光画像に基づいて生成される初期画像と、前記長時間露光画像とから、前記初期画像に対する第１の補正量を算出する第１の補正量算出部と、前記短時間露光画像に基づいて算出する短時間露光画像ＰＳＦと、前記初期画像とから、前記初期画像に対する第２の補正量を定める第２の補正量算出部と、前記初期画像に対して、前記第１の補正量と第２の補正量とを加算する加算部と、を備える前記（１）〜（６）いずれかに記載の画像処理装置。
【０１２１】
（８）前記第１の補正量算出部は、前記初期画像と前記長時間露光画像ＰＳＦとから前記長時間露光画像に類する画像を推定した結果である第１の推定画像を算出する第１の推定画像算出部と、前記長時間露光画像と前記第１の推定画像との差分である第１の差分画像を算出する減算部と、前記第１の差分画像と前記長時間露光画像ＰＳＦとから、第１の補正量を算出する第１の補正量推定部を備えた構成である前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記第１の推定画像算出部は、前記長時間露光画像ＰＳＦを、撮像デバイスの撮像面の色（位相）ごとに長時間露光画像ＰＳＦの特性を合わせた第１の色別ＰＳＦを算出する色別ＰＳＦ算出部と、前記初期画像の注目画素の色ごとに、前記第１の色別ＰＳＦを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部の出力結果画像の、撮像デバイスの飽和画素値に相当する値以上の画素値を、前記飽和画素値に相当する値に置き換えて出力する飽和処理部とを備えた構成である前記（１）〜（８）いずれかに記載の画像処理装置。
【０１２２】
（１０）前記第１の補正量推定部は、さらに、前記長時間露光画像ＰＳＦを点対称に反転させた第１の反転ＰＳＦを算出する色別反転ＰＳＦ算出部と、前記第１の差分画像の注目画素の色ごとに、前記第１の色別反転ＰＳＦを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部において出力した結果画像に、補正量調整パラメータを乗算して補正量調整を実行する乗算部を備えた構成である前記（１）〜（９）いずれかに記載の画像処理装置。
（１１）前記画像補正部は、前記長時間露光画像と前記短時間露光画像に対するデモザイク処理を実行するデモザイク処理部を有し、前記デモザイク処理部の処理結果であるデモザイク画像に基づいて前記補正画像を生成する前記（１）〜（１０）いずれかに記載の画像処理装置。
【０１２３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１２４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１２５】
以上、説明したように、本開示の一実施例の構成によれば、１つの撮影画像に基づいてブレを減少させた広ダイナミックレンジ画像を生成する装置および方法が実現される。具体的には、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有する。
【０１２６】
画像補正部は、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、短時間露光画像と、長時間露光画像と、長時間露光画像ＰＳＦを適用して補正画像を生成する。この補正画像は、長時間露光画像の画素情報と短時間露光画像の画素情報を利用した広ダイナミックレンジ画像として生成されるとともに、ブレの少ない短時間露光画像の画素情報を適用することでブレを抑制した高品質な補正画像となる。
【符号の説明】
【０１２７】
１１ 高輝度領域
１２ 低輝度領域
１０１ 光学レンズ
１０２ 撮像デバイス
１０３ 画像補正部
１０４ 信号処理部
１０５ 制御部
１２０ 出力画像
２０１ 補間処理部
２０２ ＰＳＦ推定部
２０３ 手ブレ補正およびダイナミックレンジ拡大処理部
３０１ 出力画像
３２１ 第１の露光時間画像（長時間露光画像）
３２２ 第２の露光時間画像（短時間露光画像）
３５１，３６１ 画素選択部
３５２，３６３ 離散フーリエ変換部
３６２ 露出補正部
３７１ ＰＳＦ推定部
３７２ 高周波除去部
３７３ 逆離散フーリエ変換部
３７４ ノイズ除去および閉領域選択部
３７５ 正規化部
３８１ 第１のＰＳＦ（長時間露光画像ＰＳＦ）
４０１ 重心検出部
４０２ ＰＳＦ補正処理部
４０３ 第２ＰＳＦ演算部
４２１ 第１の高精度ＰＳＦ
４２２ 第２のＰＳＦ（短時間露光画像ＰＳＦ）
５１１，５２１ ビットシフト部
５１２ 第１の高諧調画像
５２２ 第２の高諧調画像
５３１ ノイズ除去部
５３２ 第１補正量算出部
５３３ 第２補正量算出部
５３４ 加算部
５５１ 初期画像
５５２ 補正出力画像
６０１ 初期画像
６０２ 補正出力画像
７０１ 色別ＰＳＦおよび色別反転ＰＳＦ生成部
７０２ 畳み込み演算部
７０３ 飽和処理部
７０４ 減算部
７０５ 畳み込み演算部
７０６ 乗算部
７１１ 第１の色別ＰＳＦ
７１２ 第１の色別反転ＰＳＦ
７２１ 第１の推定画像
７２２ 第１の差分画像
７２３ 第１の補正画像
７３１ 補正量調整パラメータ
８０１ 反転部
８０２，８０３ 画素選択部
８０４ 正規化部
８２１ 第１の色別ＰＳＦ（Ｇ）
８２２ 第１の色別ＰＳＦ（Ｒ／Ｂ）
８２３ 第１の色別反転ＰＳＦ（Ｇ）
８２４ 第１の色別反転ＰＳＦ（Ｒ／Ｂ）
９０１，９０２ デモザイク処理部
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、ダイナミックレンジの広い画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
【０００３】
このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【０００４】
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
【０００５】
このような処理を実現する手法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
【０００６】
例えば特許文献１（特開２００８−９９１５８号公報）は、複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。
【０００７】
例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
【０００８】
時間ｔ０〜ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。
【０００９】
しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。
【００１０】
そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【００１１】
なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
【００１２】
このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。
【００１３】
さらに、特許文献２（特開２０００−５０１５１号公報）は、特許文献１に記載の構成と同様、異なる露光量の複数画像を撮影し、その合成処理に際して、異なる露光量の複数画像を比較して動きのあった画素領域を特定して補正を行って、合成に伴う偽色の発生を抑制する構成を開示している。
【００１４】
しかしながら、上記の特許文献１，２に記載された構成は、いずれも長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。
このように、露光時間を変えた複数枚の画像を利用することで、広ダイナミックレンジ画像（ＨＤＲ画像）を生成可能であるが、この複数画像に基づく処理には、例えば以下の課題がある。
課題１：複数回の撮影を行わなければいけない点。
課題２：撮影タイミングが異なる複数の画像を合成したり、長時間露光の撮影データを用いるため、カメラのブレに弱い点。
【００１５】
これらの課題を解決する従来技術として、例えば以下の従来技術がある。
（課題１を解決する手法）
１つの固体撮像素子内の画素を２種類の露光パターン、すなわち、短時間露光を行う画素と、長時間露光を行う画素の２種類の異なる露光時間の制御画素として設定する。この処理により、短時間露光と長時間露光の画素はほぼ同時のタイミングで撮影できる。
【００１６】
例えば、特許文献３（特開２００６−３１１２４０号公報）、特許文献４（特開２００６−２５３８７６号公報）は、このような構成を開示している。
しかし、この構成では、画素単位で露光時間が異なるため短時間露光に対して長時間露光の画素はブレやすく、手ブレの影響を完全に無くすことが困難であるという問題がある。
【００１７】
（課題２を解決する手法）
例えば、非特許文献１（ＳＩＧＧＲＡＰＨ ２００７：Ｉｍａｇｅ Ｄｅｂｌｕｒｒｉｎｇ ｗｉｔｈ Ｂｌｕｒｒｅｄ／Ｎｏｉｓｙ Ｉｍａｇｅ Ｐａｉｒｓ）は、短時間露光でノイズの多い画像と、長時間露光でブレのある画像から高品質の画像を得る手法を提案している。しかし、この開示手法でも、短時間露光と長時間露光の２回の撮影が必要となる。
【００１８】
また、特許文献５（特開２０１０−１０９９４８号公報）は、複数の画像から移動量を推定し、広ダイナミックレンジ撮像時の撮像画像のブレを補正する手法を提案している。
さらに、非特許文献２（Ｃｏｄｅｄ Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒ Ｐｈｏｔｏｇｒａｐｈｙ： Ｆｌｅｘｉｂｌｅ Ｓｐａｃｅ−Ｔｉｍｅ Ｓａｍｐｌｉｎｇ （ＩＣＣＰ２０１０））では、１つの固体撮像素子内で行ごとに露光時間を変えて撮影したデータを基に広ダイナミックレンジ画像の合成処理（ＨＤＲ合成）と手ブレ補正を同時に行う手法を開示している。
【００１９】
しかし、露光時間は行ごとに変えており、ブレ量を推定するためには３種類以上の露光時間の画素を組み合わせて撮影しなければならず、縦方向にボケやすいという問題があった。また、本文献ではデモザイク後の各画素位置にＲＧＢそろった画像に対して処理しており、Ｂａｙｅｒ配列などの色配列を考慮したものではなかった。
【００２０】
さらに、特許文献６（特開２０１０−６２７８５号公報）は、固体撮像素子の制御法を工夫することで、長時間露光画撮影している間に、短時間露光を断続的に撮影する手法を提案した。しかし短時間露光の撮影を複数回行わなければならず制御が複雑になるという問題があった。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開２００８−９９１５８号公報
【特許文献２】特開２０００−５０１５１号公報
【特許文献３】特開２００６−３１１２４０号公報
【特許文献４】特開２００６−２５３８７６号公報
【特許文献５】特開２０１０−１０９９４８号公報
【特許文献６】特開２０１０−６２７８５号公報
【非特許文献】
【００２２】
【非特許文献１】ＳＩＧＧＲＡＰＨ ２００７：Ｉｍａｇｅ Ｄｅｂｌｕｒｒｉｎｇ ｗｉｔｈ Ｂｌｕｒｒｅｄ／Ｎｏｉｓｙ Ｉｍａｇｅ Ｐａｉｒｓ
【非特許文献２】Ｃｏｄｅｄ Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒ Ｐｈｏｔｏｇｒａｐｈｙ： Ｆｌｅｘｉｂｌｅ Ｓｐａｃｅ−Ｔｉｍｅ Ｓａｍｐｌｉｎｇ （ＩＣＣＰ２０１０）
【発明の概要】
【発明が解決しようとする課題】
【００２３】
本開示は、例えば、上述の問題点に鑑みてなされたものであり、異なる露光時間の画像を個別に撮影することなく、１回の撮影画像を用いてダイナミックレンジの広い画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００２４】
また、本開示は、特に手ブレによる撮影画像のブレを抑制したダイナミックレンジの広い画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２５】
本開示の第１の側面は、
画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、
前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有し、
前記画像補正部は、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成する画像処理装置にある。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、さらに、前記短時間露光画像に対応するＰＳＦを、短時間露光画像ＰＳＦとして算出し、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦと前記短時間露光画像ＰＳＦとを適用して補正画像を生成する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記短時間露光画像に基づいて、長時間露光を行ったと仮定した第１の推定画像を生成し、該第１の推定画像と前記長時間露光画像との差分を小さくする第１の補正量を算出し、算出した第１の補正量を、前記短時間露光画像に基づいて生成した初期画像に加算する処理を実行して前記補正画像を生成する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結成分の抽出処理により、前記長時間露光画像ＰＳＦを算出する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結閉領域の抽出を実行し、原点と閉領域の重心位置を結んだ線分を、原点を中心に２倍伸ばした線分を前記長時間露光画像ＰＳＦとして算出する。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記短時間露光画像に対応するＰＳＦを、短時間露光画像ＰＳＦとして算出する構成であり、前記長時間露光画像ＰＳＦの重心位置と原点とを結んだ線分を、原点を中心に、
２×（第２の露光条件の露光時間）÷（第１の露光条件の露光時間）倍、伸ばした線分を、前記短時間露光画像ＰＳＦとして算出する。
【００３１】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記長時間露光画像に基づいて算出する長時間露光画像ＰＳＦと、前記短時間露光画像に基づいて生成される初期画像と、前記長時間露光画像とから、前記初期画像に対する第１の補正量を算出する第１の補正量算出部と、前記短時間露光画像に基づいて算出する短時間露光画像ＰＳＦと、前記初期画像とから、前記初期画像に対する第２の補正量を定める第２の補正量算出部と、前記初期画像に対して、前記第１の補正量と第２の補正量とを加算する加算部と、を備える。
【００３２】
さらに、本開示の画像処理装置の一実施態様において、前記第１の補正量算出部は、前記初期画像と前記長時間露光画像ＰＳＦとから前記長時間露光画像に類する画像を推定した結果である第１の推定画像を算出する第１の推定画像算出部と、前記長時間露光画像と前記第１の推定画像との差分である第１の差分画像を算出する減算部と、前記第１の差分画像と前記長時間露光画像ＰＳＦとから、第１の補正量を算出する第１の補正量推定部を備えた構成である。
【００３３】
さらに、本開示の画像処理装置の一実施態様において、前記第１の推定画像算出部は、前記長時間露光画像ＰＳＦを、撮像デバイスの画素の色（位相）ごとに長時間露光画像ＰＳＦの特性を合わせた第１の色別ＰＳＦを算出する色別ＰＳＦ算出部と、前記初期画像の注目画素の色ごとに、前記第１の色別ＰＳＦを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部の出力結果画像の、撮像デバイスの飽和画素値に相当する値以上の画素値を、前記飽和画素値に相当する値に置き換えて出力する飽和処理部と、備えた構成である。
【００３４】
さらに、本開示の画像処理装置の一実施態様において、前記第１の補正量推定部は、さらに、前記長時間露光画像ＰＳＦを点対称に反転させた第１の反転ＰＳＦを算出する色別反転ＰＳＦ算出部と、前記第１の差分画像の注目画素の色ごとに、前記第１の色別反転ＰＳＦを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部において出力した結果画像に、補正量調整パラメータを乗算して補正量調整を実行する乗算部を備えた構成である。
【００３５】
さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記長時間露光画像と前記短時間露光画像に対するデモザイク処理を実行するデモザイク処理部を有し、前記デモザイク処理部の処理結果であるデモザイク画像に基づいて前記補正画像を生成する。
【００３６】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
撮像デバイスが、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像ステップと、
画像補正部が、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正ステップを実行し、
前記画像補正ステップにおいては、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成する画像処理方法にある。
【００３７】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
撮像デバイスに、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力させる撮像ステップと、
画像補正部に、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成させる画像補正ステップを実行させ、
前記画像補正ステップにおいては、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成させ、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出させ、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成させるプログラムにある。
【００３８】
なお、本開示に係るプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３９】
本開示の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明の効果】
【００４０】
本開示の一実施例の構成によれば、１つの撮影画像に基づいてブレを減少させた広ダイナミックレンジ画像を生成する装置および方法が実現される。具体的には、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有する。
【００４１】
画像補正部は、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、短時間露光画像と、長時間露光画像と、長時間露光画像ＰＳＦを適用して補正画像を生成する。この補正画像は、長時間露光画像の画素情報と短時間露光画像の画素情報を利用した広ダイナミックレンジ画像として生成されるとともに、ブレの少ない短時間露光画像の画素情報を適用することでブレを抑制した高品質な補正画像となる。
【図面の簡単な説明】
【００４２】
【図１】複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る処理について説明する図である。
【図２】本開示の画像処理装置の構成例を示す図である。
【図３】本開示の画像処理装置における撮像デバイスの構成と処理の一例について説明する図である。
【図４】本開示の画像処理装置における画像補正部の一構成例について説明する図である。
【図５】本開示の画像処理装置における画像補正部の補間処理部の処理例について説明する図である。
【図６】本開示の画像処理装置における画像補正部のＰＳＦ推定部の構成と処理例について説明する図である。
【図７】本開示の画像処理装置における画像補正部のＰＳＦ推定部の構成と処理例について説明する図である。
【図８】本開示の画像処理装置における画像補正部の手ブレ補正およびダイナミックレンジ拡大処理部の構成と処理例について説明する図である。
【図９】本開示の画像処理装置における画像補正部の手ブレ補正およびダイナミックレンジ拡大処理部の構成と処理例について説明する図である。
【図１０】本開示の画像処理装置における画像補正部の手ブレ補正およびダイナミックレンジ拡大処理部の第１補正量算出部の構成と処理例について説明する図である。
【図１１】本開示の画像処理装置における画像補正部の手ブレ補正およびダイナミックレンジ拡大処理部の第１補正量算出部の色別ＰＳＦおよび色別反転ＰＳＦ生成部の構成と処理例について説明する図である。
【図１２】本開示の画像処理装置における画像補正部の手ブレ補正およびダイナミックレンジ拡大処理部の構成と処理例について説明する図である。
【図１３】本開示の画像処理装置における撮像デバイスの構成例について説明する図である。
【図１４】本開示の画像処理装置における撮像デバイスの露光制御例について説明する図である。
【発明を実施するための形態】
【００４３】
以下、図面を参照しながら、本開示の画像処理装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．画像処理装置の全体構成例について
２．撮像デバイスの構成例について
３．画像補正部の構成と処理の詳細について
（３−１）補間処理部の構成と実行する処理の詳細について
（３−２）ＰＳＦ推定部の構成と実行する処理の詳細について
（３−３）手ブレ補正およびダイナミックレンジ拡大処理部の構成と実行する処理の詳細について
４．その他の構成例について
５．他の処理との併用構成例と効果について
６．本開示の構成のまとめ
【００４４】
［１．画像処理装置の全体構成例について］
まず、本開示の画像処理装置の全体構成例について図２を参照して説明する。
図２は、本開示の画像処理装置の一例である撮像装置の構成を示すブロック図である。光学レンズ１０１を通して入射される光は例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、光電変換による画像データを出力する。出力画像データは画像補正部１０３に入力される。
なお、撮像デバイス１０２は制御部１０５の制御により、行ごとあるいは画素ごとに周期的に露光時間あるいは読み出しタイミングが制御され、長時間露光画素と短時間露光画素が設定される構成となっている。
【００４５】
画像補正部１０３は、ダイナミックレンジ拡大処理や手ブレ補正処理を含む画像補正処理を実行する。この処理の詳細については後段で詳細に説明する。
画像補正部１０３の生成した補正画像は信号処理部１０４に入力される。信号処理部１０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。
【００４６】
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理制御を行う。
【００４７】
［２．撮像デバイスの構成例について］
例えばＣＭＯＳイメージセンサによって構成される撮像デバイス１０２は、制御部１０５によって行ごとあるいは画素ごとに周期的に露光時間あるいは読み出しタイミングの制御が行われる。
【００４８】
具体的には、例えば、図３（ａ）に示すように、
長時間露光画素、
短時間露光画素、
を設定する。
なお、本実施例では、撮像デバイスの画素配列はベイヤー（Ｂａｙｅｒ）配列であるものとする。ただし、これは一例であり、本開示の処理は、この他の画素配列に対しても適用可能である。
【００４９】
図３（ｂ）は、長時間露光画素と短時間露光画素の露光開始タイミングト露光終了タイミングの設定例を示している。
本例では長時間露光画素と短時間露光画素の露光時間比は、４：１であり、露光開始時間を異ならせ、露光終了タイミング（読み出しタイミング）は等しい設定とした例である。
なお、この設定は一例であり、その他も様々な設定が可能である。
ただし、撮像デバイス１０２は、１回の撮影において複数の異なる露光時間に設定された画素からの画素情報を取得可能な構成を有するものとする。
【００５０】
［３．画像補正部の構成と処理の詳細について］
次に、画像補正部１０３の構成と処理の詳細について、図４以下を参照して説明する。
画像補正部１０３には、先に図２を参照して説明したように、複数の異なる露光時間に設定された画素を持つ撮像デバイス１０２の出力を入力し、ダイナミックレンジを拡大し、かつ手ブレ補正を行った補正画像を生成して信号処理部１０４に出力する。
【００５１】
図４に示すように、画像補正部１０３は、補間処理部２０１、ＰＳＦ推定部２０２、手ブレ補正およびダイナミックレンジ拡大処理部２０３を有する。以下、これらの各構成部の実行する処理の詳細について、以下の項目に従って、順次説明する。
（３−１）補間処理部の構成と実行する処理の詳細について
（３−２）ＰＳＦ推定部の構成と実行する処理の詳細について
（３−３）手ブレ補正およびダイナミックレンジ拡大処理部の構成と実行する処理の詳細について
【００５２】
［（３−１）補間処理部の構成と実行する処理の詳細について］
まず、図４に示す補間処理部２０１の構成と実行する処理の詳細について説明する。
図４に示すように、撮像デバイス１０２の出力は、画像補正部１０３の補間処理部２０１に入力される。
補間処理部２０１の処理について図５を参照して説明する。
補間処理部２０１は、画素単位で異なる露光時間に設定された撮像デバイス１０２の出力画像３０１を入力して、
第１の露光時間画像（長時間露光画像）３２１、
第２の露光時間画像（短時間露光画像）３２２、
これらの２つの露光時間画像を生成する。
【００５３】
補間処理部２０１は、全画素について各露光パターンが揃うように補間処理を行う。補間処理は、線形補間などのフィルタによる補間方法や、画像のエッジの方向の検出を行ないそれに基づいて補間する方法などが適用可能である。
【００５４】
例えば、第１の露光時間画像（長時間露光画像）３２１は、撮像デバイス１０２の出力画像３０１に含まれる長時間露光画素はそのまま利用する。撮像デバイス１０２の短時間露光画素の位置に長時間露光画素を補間するときは、周囲の長時間露光画素の画素値に基づいて、上記の線形補間などのフィルタによる補間方法や、画像のエッジの方向の検出を行ない、エッジ方向を考慮して、画素値の差分の少ない方向の画素値の重みを大きく設定して補間画素値を算出する処理が可能である。
【００５５】
第２の露光時間画像（短時間露光画像）３２２は、撮像デバイス１０２の出力画像３０１に含まれる短時間露光画素はそのまま利用する。撮像デバイス１０２の長時間露光画素の位置に短時間露光画素を補間するときは、周囲の短時間露光画素の画素値に基づいて、上記の線形補間などのフィルタによる補間方法や、画像のエッジの方向の検出を行ない、エッジ方向を考慮して、画素値の差分の少ない方向の画素値の重みを大きく設定して補間画素値を算出する処理が可能である。
【００５６】
補間処理部２０１は、図５に示すように、撮像デバイス１０２の出力画像３０１の補完処理により、
長時間露光のＢａｙｅｒ配列の第１の露光時間画像（長時間露光画像）３２１、
短時間露光のＢａｙｅｒ配列の第２の露光時間画像（短時間露光画像）３２２、
これらを生成する。
【００５７】
図４に示すように、補間処理部２０１の生成したこれらの２つの異なる露光時間の画像３２１，３２２は、ＰＳＦ推定部２０２、手ブレ補正およびダイナミックレンジ拡大処理部２０３に入力される。
【００５８】
［（３−２）ＰＳＦ推定部の構成と実行する処理の詳細について］
次に、図４に示すＰＳＦ推定部２０２の構成と実行する処理の詳細について説明する。
ＰＳＦ推定部２０２は、点広がり関数（以下ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の推定処理を行う。
図６と図７を参照して、ＰＳＦ推定部２０２の実行する処理について説明する。
図６は、ＰＳＦ推定部２０２の前半部、
図７は、ＰＳＦ推定部２０２の後半部、
を示している。
【００５９】
まず、図６を参照してＰＳＦ推定部２０２の前半部の処理について説明する。
図６に示すように、ＰＳＦ推定部２０２は、補間処理部２０１の生成した以下の２つの画像、
第１の露光時間画像（長時間露光画像）３２１、
第２の露光時間画像（短時間露光画像）３２２、
これらを入力する。
【００６０】
画素選択部３５１は、第１の露光時間画像（長時間露光画像）３２１から、Ｇ画素だけを抜き出す。
画素選択部３６１は、第２の露光時間画像（短時間露光画像）３２２から、Ｇ画素だけを抜き出す。
このＧ画素抽出処理の際、Ｇ画素以外の画素の画素値はゼロとする。
露出補正部３６２は、第２の露光時間画像（短時間露光画像）３２２から生成したＧ画素データに露光比を掛けることで、第１の露光時間画像とほぼ同じ明るさの画像を生成する。詳細は後段で説明する
【００６１】
なお、本来ならばバイリニア補間などを用いて全画素位置にＧ画素を補間する必要があるが、この処理はフーリエ変換後にあるローパスフィルタを掛けることと等価であるため、本実装例では離散フーリエ変換後に高周波成分を除去することで代用して計算コストを下げている。
【００６２】
Ｇ画素の画素値のみからなるデータは、離散フーリエ変換部３５２，３６３に出力される。
なお、後述するように、短時間露光画像である第２の露光時間画像３２２のＧ画素については、露出補正部３６２における露出補正後に離散フーリエ変換部３６３に出力される。
離散フーリエ変換部３５２，３６３は、それぞれ窓関数を用いて離散フーリエ変換を行う。
離散フーリエ変換部３５２は、第１の露光時間画像（長時間露光画像）３２１から生成したＧ画素データに基づいて長時間露光Ｇ画素フーリエ変換結果を算出する。
離散フーリエ変換部３６３は、第２の露光時間画像（短時間露光画像）３２２に露出補正を行い生成したＧ画素データに基づいて短時間露光Ｇ画素フーリエ変換結果を算出する。
【００６３】
これらのフーリエ変換結果は、ＰＳＦ推定演算部３７１に出力される。
ＰＳＦ推定演算部３７１は、これらの２つのフーリエ変換結果の除算値を計算する。すなわち、
除算値＝（長時間露光Ｇ画素フーリエ変換結果）／（短時間露光Ｇ画素フーリエ変換結果）
上記の除算値を計算する。
【００６４】
この除算値は、高周波除去部３７２に出力される。
高周波除去部３７２は、除算結果に含まれる高周波成分をゼロにする処理を実行する。この高周波除去結果は、逆離散フーリエ変換部３７３に出力される。
逆離散フーリエ変換部３７３は、逆離散フーリエ変換を計算する。
【００６５】
逆離散フーリエ変換部３７３の生成した逆離散フーリエ変換結果は、ノイズ除去および閉領域選択部３７４に出力される。
ノイズ除去および閉領域選択部３７４は、逆離散フーリエ変換部３７３の生成した逆離散フーリエ変換結果からノイズ除去を行い、閉領域を選択してＰＳＦの推定を行い、第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１を生成する。
【００６６】
ＰＳＦ推定部２０２の具体的な処理例について説明する。
画像を構成する画素位置を（ｘ，ｙ）の座標位置で表し、
ｆ（ｘ，ｙ）を短時間露光画像の各画素位置（ｘ，ｙ）の画素値とし、
ｇ（ｘ，ｙ）を長時間露光画像の各画素位置（ｘ，ｙ）の画素値とし、
ｐ（ｘ，ｙ）を、ＰＳＦ（点広がり関数）の各画素位置（ｘ，ｙ）の値とする。
【００６７】
ただし、説明のためｆ（ｘ，ｙ）、ｇ（ｘ，ｙ）はＢａｙｅｒ配列ではなく単色画像とし、画素の飽和（白飛び）は無視する。長時間露光画像は手ブレの影響を受けるため、以下のように表される。
ただし＊は畳み込み演算を表す。
ｇ（ｘ，ｙ）＝ｐ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（式１）
【００６８】
すなわち、長時間露光画像の各画素位置（ｘ，ｙ）の画素値ｇ（ｘ，ｙ）は、
ＰＳＦと、短時間露光画像の畳込演算（＊）によって算出される。
【００６９】
また、
短時間露光画像ｆ（ｘ，ｙ）、
長時間露光画像ｇ（ｘ，ｙ）、
ＰＳＦ：ｐ（ｘ，ｙ）、
これらを離散フーリエ変換した結果を、それぞれ、以下のように表す。
短時間露光画像ｆ（ｘ，ｙ）の離散フーリエ変換結果：Ｆ（ｕ，ｖ）、
長時間露光画像ｇ（ｘ，ｙ）の離散フーリエ変換結果：Ｇ（ｕ，ｖ）、
ＰＳＦ：ｐ（ｘ，ｙ）の離散フーリエ変換結果：Ｐ（ｕ，ｖ）、
【００７０】
この離散フーリエ変換結果を用いると、上記の（式１）は以下の（式２）として表現できる。
Ｇ（ｕ，ｖ）＝Ｐ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（式２）
なお、『・』は、周波数成分ごとの積算を意味する。
【００７１】
すなわち、
長時間露光画像ｇ（ｘ，ｙ）の離散フーリエ変換結果：Ｇ（ｕ，ｖ）は、
ＰＳＦ：ｐ（ｘ，ｙ）の離散フーリエ変換結果：Ｐ（ｕ，ｖ）と、
短時間露光画像ｆ（ｘ，ｙ）の離散フーリエ変換結果：Ｆ（ｕ，ｖ）との周波数成分ごとの積算によって算出できる。
【００７２】
これらの（式１）、（式２）から、
ＰＳＦ：ｐ（ｘ，ｙ）を算出するためには、
Ｐ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｆ（ｕ，ｖ） ・・・（式３）
上記（式３）に従って、ｐ（ｘ，ｙ）の離散フーリエ変換結果：Ｐ（ｕ，ｖ）を算出し、
さらに、算出した離散フーリエ変換結果：Ｐ（ｕ，ｖ）のこの計算結果の逆離散フーリエ変換を計算すればよい。
ただし、上記（式３）の『／』は、周波数成分ごとの除算を表す。
【００７３】
この手順で、
短時間露光画像ｆ（ｘ，ｙ）、
長時間露光画像ｇ（ｘ，ｙ）、
これらを用いて、ＰＳＦ（点広がり関数）：ｐ（ｘ，ｙ）を求めることができる。
【００７４】
ただし実際には、短時間露光画像と長時間露光画像では画像の明るさが異なるため、短時間露光画像で見えている部位が、長時間露光では完全に飽和して白飛びする状況が考えられる。その場合、画素の飽和の影響で上記（式１）が成り立たない。
そこで実際には、露出補正部３６２にて、第２の露光時間画像（長時間露光画像）３２２から生成したＧ画素データに、露光比（本開示の実施例では４倍）を掛けて、さらに飽和画素値以上の画素値を、飽和画素値に置き換える処理を行う。本処理により得られたＧ画素データと、第１の露光時間画像（長時間露光画像）３２１から生成したＧ画素データとでは、飽和画素の位置がほぼ一致するため、画素の飽和の影響を取り除くことができる。
【００７５】
また、上記（式３）に示す手法のように周波数空間で除算する処理のみだけでは、ノイズの影響が大きくなり、短時間露光画像ｆ（ｘ，ｙ）の離散フーリエ変換結果：Ｆ（ｕ，ｖ）がゼロに近い値の場合にゼロ除算されてしまう。すなわち、図６に示すように、逆離散フーリエ変換部３７３において、上記（式３）によって計算された結果はノイズを多く含むＰＳＦとなってしまう。
【００７６】
そこで、本開示の撮像装置における特徴である、
『第１の露光条件の画素と第２の露光条件の画素をほぼ同じタイミングで撮影できる』という特性や、
『手ブレにおけるＰＳＦは連結した形状をしており細かい高周波のノイズは含まれない』、
これらの特徴を考慮した処理を行う。
【００７７】
図３（ｂ）を参照して説明した露光タイミングから理解されるように、
第２の露光時間画像（短時間露光画像）の露光期間は、第１の露光時間画像（長時間露光画像）も露光されている。この結果として、これらの重複露光期間を持つ２つの画像から生成されるＰＳＦは必ず原点を通る。
これを利用して、図６に示すノイズ除去および閉領域選択部３７４は、逆離散フーリエ変換部３７３において、上記（式３）によって計算された結果を入力し、この入力から高周波のノイズを除去し、さらに原点を通る閉領域を選択する。正規化部３７５では、選択された閉領域の画素値の総和が露光比（本開示の実施例では４．０）と一致するように正規化処理を行う。その結果、ノイズの少ない第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１を生成する。
【００７８】
次に、図７を参照して、ＰＳＦ推定部２０２の後半部の処理について説明する。
ＰＳＦ推定部２０２の後半部では、ＰＳＦが直線的な形状を持つと仮定することで、より高精度な第１のＰＳＦ（長時間露光画像ＰＳＦ）や、第２のＰＳＦ（短時間露光画像ＰＳＦ）を算出する。
図６を参照して説明したＰＳＦ推定部２０２の前段において生成した第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１を入力し、重心検出部４０１においてＰＳＦの重心を検出する。ＰＳＦの形状は直線的と仮定しているため、本来のＰＳＦは、原点と重心を結んだ線分を、原点を中心に２倍伸ばした線分となる。そこでＰＳＦ補正処理部４０２において、原点を中心に２倍伸ばした線分を生成する演算を行い第１の高精度ＰＳＦ４２１を生成する。
【００７９】
また第２のＰＳＦ（短時間露光画像ＰＳＦ）４２２の長さは、第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１の長さに露光比を乗算したデータとなる。そこで第２のＰＳＦ演算部４０３において、第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１の原点と前記重心位置を結んだ線分を、原点を中心に、
２×（第２の露光条件の露光時間）÷（第１の露光条件の露光時間）倍、
伸ばした線分を生成して、これを第２のＰＳＦ（短時間露光画像ＰＳＦ）４２２として出力する。
【００８０】
［（３−３）手ブレ補正およびダイナミックレンジ拡大処理部の構成と実行する処理の詳細について］
次に、図４に示す手ブレ補正およびダイナミックレンジ拡大処理部２０３の構成と実行する処理の詳細について説明する。
【００８１】
手ブレ補正およびダイナミックレンジ拡大処理部２０３は、ブレの少ない短時間露光画像に基づいて初期画像を設定し、初期画像を推定したＰＳＦでぼかした推定画像と、実際に観測された画像の差分が少なくなるように補正量を計算し、初期画像の更新を行う。
これらの処理の結果、初期画像の暗部のノイズや階調の劣化が改善され、手ブレの影響を排除しつつダイナミックレンジを拡大することができる。
【００８２】
具体的な処理について説明する。
第１の画像（長時間露光画像）から計算された第１の補正量を用いて初期画像を更新するときには、以下の計算を行う。
ｈ'（ｘ，ｙ）＝ｈ（ｘ，ｙ）＋λｐ'（ｘ，ｙ）＊｛ｇ（ｘ，ｙ）−ｐ（ｘ，ｙ）＊ｈ（ｘ，ｙ）｝ ・・・（式４）
なお、上記（式４）において、
ｐ'（ｘ，ｙ）はＰＳＦを点対称に反転した反転ＰＳＦ、
λは調整用のパラメータ（予め既定したパラメータ、あるいはユーザが設定したパラメータ）、
ｈ（ｘ，ｙ）は初期画像、
ｈ'（ｘ，ｙ）は補正された結果である更新初期画像、
＊は畳み込み演算、
を表す。
【００８３】
また、上記（式４）は、色の区別をつけずに表記しているが、実際には注目画素の色（位相）ごとに、後述する色別ＰＳＦ、色別反転ＰＳＦを使い分けて畳み込み演算を行う。
【００８４】
手ブレ補正およびダイナミックレンジ拡大処理部２０３の詳細構成と、実行する処理について、図８を参照して説明する。
【００８５】
手ブレ補正およびダイナミックレンジ拡大処理部２０３は、図４、図５を参しようして説明したように補間処理部２０１から、補間処理部２０１の生成した以下の２つの画像、
第１の露光時間画像（長時間露光画像）３２１、
第２の露光時間画像（短時間露光画像）３２２、
これらを入力する。
【００８６】
手ブレ補正およびダイナミックレンジ拡大処理部２０３は、まず入力されたこれらの画像３２１、画像３２２をそれぞれビットシフト部５１１，５２１において構成画素値のビットシフトを行う。このビットシフトにより、高ビット階調で表現された第１の高階調画像５１２、第２の高階調画像５２２を得る。
【００８７】
例えば、入力画像である、以下の画像、すなわち、
第１の露光時間画像（長時間露光画像）３２１、
第２の露光時間画像（短時間露光画像）３２２、
これらの画像の各画素値が１０ビット表現データである場合、ビットシフト部５１１，５２１はこれらの画像の各画素値を１６ビットに設定する。
【００８８】
図８に示す初期画像５５１は、初期的には、第２の露光時間画像（短時間露光画像）３２２に基づいて生成した高階調画像に対して、ノイズ除去部５３１においてノイズ除去を施した画像を用いる。
【００８９】
次に、第１の補正量算出部５３２において、第１の露光時間画像（長時間露光画像）３２１に基づいて生成した第１の高階調画像５１２と、ＰＳＦ推定部２０２の生成した第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１と、初期画像５５１から、第１の補正量を算出する。
第１の補正量算出部５３２の実行する補正量算出処理については、さらに後段で詳細に説明する。
なお、第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１の代わりに、図７を参照して説明した第１の高精度ＰＳＦ４２１を利用してもよい。
【００９０】
また、第２の補正量算出部５３３において、第２の露光時間画像（短時間露光画像）３２２に基づいて生成した第２の高階調画像５２２と、ＰＳＦ推定部２０２の生成した第２のＰＳＦ（短時間露光画像ＰＳＦ）４２２と初期画像５５１から、第２の補正量を算出する。
【００９１】
次に、加算部５３４において、初期画像５５１に第１の補正量と第２の補正量を加算し、補正出力画像５５２を得る。
なお、さらに、補正出力画像５５２を、再び初期画像５５１として設定し、同じ処理を繰り返して、補正出力画像５５２を順次、更新して、最終的な補正出力画像５５２を生成してもよい。
【００９２】
なお、前述したように、第１の補正量算出部５３２において、第１の露光時間画像（長時間露光画像）３２１に対応する第１の補正量を算出する処理に際しては、図６を参照して説明たＰＳＦ推定部２０２の生成する第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１、または、図７を参照して説明たＰＳＦ推定部２０２の生成する第１の高精度ＰＳＦ４２１のいずれかを用いることが可能である。
またノイズ除去部５３１は、付加的な処理であり、ノイズ除去部５３１を省略した構成としてもよい。
【００９３】
なお、短時間露光処理期間である第２の露光時間画像の露光時間が十分に短く、第２の露光時間画像にブレがないと判定される場合には、先に図７参照して説明したｐｓｆ推定部２０２における第２のＰＳＦ（短時間露光画像ＰＳＦ）４２２の算出や、図８に示す手ブレ補正およびダイナミックレンジ拡大処理部２０３における第２の補正量算出部５３３を省略した構成とすることが可能である。
この場合、手ブレ補正およびダイナミックレンジ拡大処理部２０３は、例えば図９に示す構成とすることが可能である。
なお、図９ではノイズ除去部も省略した構成としている。
【００９４】
図８に示す手ブレ補正およびダイナミックレンジ拡大処理部２０３における処理結果として得られた補正出力画像５２２は、図２に示す信号処理部１０４に出力される。
信号処理部１０４は、必要に応じて階調補正、デモザイク、γ補正などを施すことで最終的な出力画像１２０を生成して出力する。
【００９５】
（補正量算出部の処理の詳細について）
次に、図８に示す第１の補正量算出部５３２の詳細について、図１０、図１１を参照して説明する。
なお、第２の補正量算出部５３３も同等の構成である。
【００９６】
まず色別ＰＳＦおよび色別反転ＰＳＦ生成部７０１にて、撮像デバイス１０２の色配列に応じた第１の色別ＰＳＦ７１１、第１の色別反転ＰＳＦ７１２を生成する。
なお。色別（位相ごと）とはベイヤー配列の場合、ＲＧＢの３色各々に対応し、
Ｒ対応のＰＳＦと反転ＰＳＦ、
Ｇ対応のＰＳＦと反転ＰＳＦ、
Ｂ対応のＰＳＦと反転ＰＳＦ、
これらが生成される。
【００９７】
第１の色別ＰＳＦ７１１は、畳み込み演算部７０２に入力される。
畳み込み演算部７０２は、第２の露光時間画像（短時間露光画像）３２２に基づいて生成された初期画像５５１（図８参照）の注目画素の色に応じて第１の色別ＰＳＦ７１１を使い分けて畳み込み演算を行う。
畳み込み演算部７０２の生成した畳み込み演算結果は、飽和処理部７０３に出力される。
【００９８】
飽和処理部７０３は、畳み込み演算部７０２の生成した畳み込み演算結果を入力し、予め設定した閾値以上の画素値を、閾値の値に飽和させる飽和処理を行う。
これらの処理によって、初期画像５５１と第１のＰＳＦ（長時間露光画像ＰＳＦ）から、第１の露光条件（長時間露光）で撮影していたときに得られると予想できる画像（第１の推定画像７２１）を生成する。
【００９９】
第１の補正量算出部５３２は、この第１の推定画像７２１と、補間処理部２０１の生成した第１の露光時間画像（長時間露光画像）３２１の差分が小さくなるような第１の補正量を算出する。
【０１００】
減算部７０４は、この第１の推定画像７２１と、補間処理部２０１の生成した第１の露光時間画像（長時間露光画像）３２１の差分を設定した第１の差分画像７２２を生成する。
減算部７０４において、補間処理部２０１の生成した第１の露光時間画像（長時間露光画像）３２１から第１の推定画像７２１の対応画素の画素値の減算処理を行い、第１の差分画像７２２を得る。
【０１０１】
次に畳み込み演算部７０５において、順次、選択される注目画素の色ごと（Ｒ，Ｇ，Ｂごと）に第１の色別反転ＰＳＦ７１２を使い分けて畳み込み演算を行う。
最後に、乗算部７０６において、畳み込み演算部７０５の演算結果に補正量調整パラメータ７３１を乗算して第１の補正量を得る。
補正量調整パラメータ７３１は、予め設定した値、あるいはユーザが設定した値を用いることができる。
【０１０２】
次に、図１１を参照して、色別ＰＳＦおよび色別反転ＰＳＦ生成部７０１の詳細構成と処理について説明する。
本処理では、撮像デバイス１０２の色配列（本実装例ではＢａｙｅｒ配列）のまま手ブレ補正を行うために、固体撮像素子の色（位相）ごとに特性を合わせた色別ＰＳＦ８２１，８２２を計算する。
また同時に、色別ＰＳＦを点対称に反転させた色別反転ＰＳＦ８２３．８２４を算出する。
【０１０３】
まず、色別ＰＳＦおよび色別反転ＰＳＦ生成部７０１入力された第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１を画素選択部８０２において、色（位相）ごと（Ｒ，Ｇ，Ｂ）に合わせた画素を抜き出す。例えばＢａｙｅｒ配列の場合、Ｇ用には市松模様に抜き出し、ＲやＢ用には２画素置きに抜き出す。
【０１０４】
その後、正規化部８０４ａ，８０４ｂにおいて、それぞれ初期画像と第１の画像の露光比に応じて正規化する処理を行う。
本構成例では露光比は、先に図３を参照して説明したように、
短時間露光時間：長時間露光時間＝１：４、
であるため、色別ＰＳＦ８２１，８２２の合計値がそれぞれ４．０になるようにそれぞれ正規化する。
【０１０５】
また、反転部８０１では第１のＰＳＦ（長時間露光画像ＰＳＦ）３８１を点対称に反転し、画素選択部８０３において、各色（Ｒ，Ｇ，Ｂ）に応じた画素を抜き出す。さらに正規化部８０４ｃ，８０４ｄでは、画素の合計値が露光比の逆数、すなわち０．２５になるように正規化し、色別反転ＰＳＦ８２３，８２４を出力する。
【０１０６】
［４．その他の構成例について］
次に、上述した実施例と異なるその他の構成例について説明する。
前述のように、第２の露光条件の露光時間（短時間露光）が十分に短く、撮影画像にブレがない場合には、図７に示すＰＳＦ推定部２０２おいて第２のＰＳＦ（短時間露光画像ＰＳＦ）４２２を生成する処理や、図８に示す手ブレ補正およびダイナミックレンジ拡大処理部２０３の第２の補正量算出部５３３を省略した図９のような構成もとることができる。
【０１０７】
さらに、図８において構成の一例としてＢａｙｅｒ配列のまま合成する手法を示したが、予めデモザイク処理を実行して、各画素位置に対応するＲＧＢ画素値がそろった画像に対して処理を施すこともできる。
【０１０８】
図１２に予めデモザイク処理を実行して、手ブレ補正及びダイナミックレンジ拡大処理を行う手ブレ補正およびダイナミックレンジ拡大処理部２０３の構成例を示す。
まず、図１２に示すように、補間処理部２０１の生成した以下の各画像、すなわち、
第１の露光時間画像（長時間露光画像）３２１、
第２の露光時間画像（短時間露光画像）３２２、
これらを各々、デモザイク処理部９０１，９０２に入力する。
【０１０９】
デモザイク処理部９０１，９０２は、
第１の露光時間画像（長時間露光画像）３２１、
第２の露光時間画像（短時間露光画像）３２２、
これらの各画像のデモザイク処理を実行して各画素位置にＲＧＢの３色そろった画像に変換する。
【０１１０】
その後の処理は、基本的には先に図８をと参照して説明した処理と同様の処理をＲＧＢそれぞれの画像に対して実行する。ただし、全画素位置にＲＧＢの３色がそろっているため、色別ＰＳＦや色別反転ＰＳＦを用いる必要はない。
【０１１１】
また、輝度信号に比べ色差信号はボケが目立たないという特徴を利用し、ＲＧＢ画像をさらにＹＣｂＣｒ空間に変換し、Ｙ信号に対してのみ処理を施すことで計算量の削減を行うこともできる。
【０１１２】
また、撮像デバイス１０２としての例えばＣＭＯＳイメージセンサの画素配列について、先に図３を参照して長時間露光画素と短時間露光画素の設定例について説明した。
この図３に示すパターンは一例であり、この他の様々な画素パターンを設定可能である。補間処理部２０１や色別ＰＳＦおよび色別反転ＰＳＦ生成部７０１を画素配列に合わせて設計することで、本手法を適用することが可能である。
【０１１３】
例えば、図１３（Ａ），（Ｂ）に示す画素配列や、図１３（Ｃ）に示すようにカラーフィルタが非Ｂａｙｅｒ配列のイメージセンサであっても適用することができる。また露光制御について、図３（ｂ）を参照して説明した例では、２種類の露光パターンの露光の終了時が一致するように制御していたが、別の露光タイミングでもよく、例えば図１１のように露光開始時を一致させて、露光終了時を異ならせるように制御してもよい。
【０１１４】
［５．他の処理との併用構成例と効果について］
以上、本開示の画像処理装置（撮像装置）として、撮像デバイス（イメージセンサ）の露光制御と、信号撮像素子の出力に対する処理を工夫することでダイナミックレンジの拡大と手ブレ補正を同時に行う手法を提案した。さらに、本開示の手法は、従来の光学式の手ブレ補正と組み合わせて使うこともできる。
【０１１５】
本開示の構成における効果をまとめると、例えば以下の効果があげられる。
・一枚撮りの撮影画像から、信号処理による手ブレ補正と、ダイナミックレンジの拡大された画像を得ることができる。その結果、暗部から明部までノイズの少なく、手ブレの影響を抑えられた画像が得られる。
・従来手法よりもシンプルな画素配列、制御方法の固体撮像素子に対し、上記の画像処理を適用することができる。具体的には、非特許文献２に比べ、少ない露光条件（２種類）の画素配列にて処理を行うことができ、露光の制御も単純で簡易な構成とすることができる。
・入力画像、出力画像の色配列はＢａｙｅｒ配列のまま処理することもできるため、既存のカメラ信号処理との親和性が高い。
【０１１６】
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１１７】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、
前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有し、
前記画像補正部は、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成する画像処理装置。
【０１１８】
（２）前記画像補正部は、さらに、前記短時間露光画像に対応するＰＳＦを、短時間露光画像ＰＳＦとして算出し、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦと前記短時間露光画像ＰＳＦとを適用して補正画像を生成する前記（１）に記載の画像処理装置。
（３）前記画像補正部は、前記短時間露光画像に基づいて、長時間露光を行ったと仮定した第１の推定画像を生成し、該第１の推定画像と前記長時間露光画像との差分を小さくする第１の補正量を算出し、算出した第１の補正量を、前記短時間露光画像に基づいて生成した初期画像に加算する処理を実行して前記補正画像を生成する前記（１）または（２）に記載の画像処理装置。
【０１１９】
（４）前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結成分の抽出処理により、前記長時間露光画像ＰＳＦを算出する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結閉領域の抽出を実行し、原点と閉領域の重心位置を結んだ線分を、原点を中心に、２倍伸ばした線分を前記長時間露光画像ＰＳＦとして算出する前記（１）〜（４）いずれかに記載の画像処理装置。
【０１２０】
（６）前記画像補正部は、前記短時間露光画像に対応するＰＳＦを、短時間露光画像ＰＳＦとして算出する構成であり、前記長時間露光画像ＰＳＦの重心位置と原点とを結んだ線分を、原点を中心に、２×（第２の露光条件の露光時間）÷（第１の露光条件の露光時間）倍、伸ばした線分を、前記短時間露光画像ＰＳＦとして算出する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記画像補正部は、前記長時間露光画像に基づいて算出する長時間露光画像ＰＳＦと、前記短時間露光画像に基づいて生成される初期画像と、前記長時間露光画像とから、前記初期画像に対する第１の補正量を算出する第１の補正量算出部と、前記短時間露光画像に基づいて算出する短時間露光画像ＰＳＦと、前記初期画像とから、前記初期画像に対する第２の補正量を定める第２の補正量算出部と、前記初期画像に対して、前記第１の補正量と第２の補正量とを加算する加算部と、を備える前記（１）〜（６）いずれかに記載の画像処理装置。
【０１２１】
（８）前記第１の補正量算出部は、前記初期画像と前記長時間露光画像ＰＳＦとから前記長時間露光画像に類する画像を推定した結果である第１の推定画像を算出する第１の推定画像算出部と、前記長時間露光画像と前記第１の推定画像との差分である第１の差分画像を算出する減算部と、前記第１の差分画像と前記長時間露光画像ＰＳＦとから、第１の補正量を算出する第１の補正量推定部を備えた構成である前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記第１の推定画像算出部は、前記長時間露光画像ＰＳＦを、撮像デバイスの撮像面の色（位相）ごとに長時間露光画像ＰＳＦの特性を合わせた第１の色別ＰＳＦを算出する色別ＰＳＦ算出部と、前記初期画像の注目画素の色ごとに、前記第１の色別ＰＳＦを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部の出力結果画像の、撮像デバイスの飽和画素値に相当する値以上の画素値を、前記飽和画素値に相当する値に置き換えて出力する飽和処理部とを備えた構成である前記（１）〜（８）いずれかに記載の画像処理装置。
【０１２２】
（１０）前記第１の補正量推定部は、さらに、前記長時間露光画像ＰＳＦを点対称に反転させた第１の反転ＰＳＦを算出する色別反転ＰＳＦ算出部と、前記第１の差分画像の注目画素の色ごとに、前記第１の色別反転ＰＳＦを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部において出力した結果画像に、補正量調整パラメータを乗算して補正量調整を実行する乗算部を備えた構成である前記（１）〜（９）いずれかに記載の画像処理装置。
（１１）前記画像補正部は、前記長時間露光画像と前記短時間露光画像に対するデモザイク処理を実行するデモザイク処理部を有し、前記デモザイク処理部の処理結果であるデモザイク画像に基づいて前記補正画像を生成する前記（１）〜（１０）いずれかに記載の画像処理装置。
【０１２３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１２４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１２５】
以上、説明したように、本開示の一実施例の構成によれば、１つの撮影画像に基づいてブレを減少させた広ダイナミックレンジ画像を生成する装置および方法が実現される。具体的には、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有する。
【０１２６】
画像補正部は、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、短時間露光画像と、長時間露光画像と、長時間露光画像ＰＳＦを適用して補正画像を生成する。この補正画像は、長時間露光画像の画素情報と短時間露光画像の画素情報を利用した広ダイナミックレンジ画像として生成されるとともに、ブレの少ない短時間露光画像の画素情報を適用することでブレを抑制した高品質な補正画像となる。
【符号の説明】
【０１２７】
１１ 高輝度領域
１２ 低輝度領域
１０１ 光学レンズ
１０２ 撮像デバイス
１０３ 画像補正部
１０４ 信号処理部
１０５ 制御部
１２０ 出力画像
２０１ 補間処理部
２０２ ＰＳＦ推定部
２０３ 手ブレ補正およびダイナミックレンジ拡大処理部
３０１ 出力画像
３２１ 第１の露光時間画像（長時間露光画像）
３２２ 第２の露光時間画像（短時間露光画像）
３５１，３６１ 画素選択部
３５２，３６３ 離散フーリエ変換部
３６２ 露出補正部
３７１ ＰＳＦ推定部
３７２ 高周波除去部
３７３ 逆離散フーリエ変換部
３７４ ノイズ除去および閉領域選択部
３７５ 正規化部
３８１ 第１のＰＳＦ（長時間露光画像ＰＳＦ）
４０１ 重心検出部
４０２ ＰＳＦ補正処理部
４０３ 第２ＰＳＦ演算部
４２１ 第１の高精度ＰＳＦ
４２２ 第２のＰＳＦ（短時間露光画像ＰＳＦ）
５１１，５２１ ビットシフト部
５１２ 第１の高諧調画像
５２２ 第２の高諧調画像
５３１ ノイズ除去部
５３２ 第１補正量算出部
５３３ 第２補正量算出部
５３４ 加算部
５５１ 初期画像
５５２ 補正出力画像
６０１ 初期画像
６０２ 補正出力画像
７０１ 色別ＰＳＦおよび色別反転ＰＳＦ生成部
７０２ 畳み込み演算部
７０３ 飽和処理部
７０４ 減算部
７０５ 畳み込み演算部
７０６ 乗算部
７１１ 第１の色別ＰＳＦ
７１２ 第１の色別反転ＰＳＦ
７２１ 第１の推定画像
７２２ 第１の差分画像
７２３ 第１の補正画像
７３１ 補正量調整パラメータ
８０１ 反転部
８０２，８０３ 画素選択部
８０４ 正規化部
８２１ 第１の色別ＰＳＦ（Ｇ）
８２２ 第１の色別ＰＳＦ（Ｒ／Ｂ）
８２３ 第１の色別反転ＰＳＦ（Ｇ）
８２４ 第１の色別反転ＰＳＦ（Ｒ／Ｂ）
９０１，９０２ デモザイク処理部
【特許請求の範囲】
【請求項１】
画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、
前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有し、
前記画像補正部は、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成する画像処理装置。
【請求項２】
前記画像補正部は、さらに、
前記短時間露光画像に対応するＰＳＦを、短時間露光画像ＰＳＦとして算出し、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦと前記短時間露光画像ＰＳＦとを適用して補正画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記画像補正部は、
前記短時間露光画像に基づいて、長時間露光を行ったと仮定した第１の推定画像を生成し、該第１の推定画像と前記長時間露光画像との差分を小さくする第１の補正量を算出し、算出した第１の補正量を、前記短時間露光画像に基づいて生成した初期画像に加算する処理を実行して前記補正画像を生成する請求項１に記載の画像処理装置。
【請求項４】
前記画像補正部は、
前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、
前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結成分の抽出処理により、前記長時間露光画像ＰＳＦを算出する請求項１に記載の画像処理装置。
【請求項５】
前記画像補正部は、
前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、
前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結閉領域の抽出を実行し、原点と閉領域の重心位置を結んだ線分を、原点を中心に、２倍伸ばした線分を前記長時間露光画像ＰＳＦとして算出する請求項１に記載の画像処理装置。
【請求項６】
前記画像補正部は、
前記短時間露光画像に対応するＰＳＦを、短時間露光画像ＰＳＦとして算出する構成であり、
前記長時間露光画像ＰＳＦの重心位置と原点とを結んだ線分を、原点を中心に、
２×（第２の露光条件の露光時間）÷（第１の露光条件の露光時間）倍、伸ばした線分を、前記短時間露光画像ＰＳＦとして算出する請求項１に記載の画像処理装置。
【請求項７】
前記画像補正部は、
前記長時間露光画像に基づいて算出する長時間露光画像ＰＳＦと、
前記短時間露光画像に基づいて生成される初期画像と、
前記長時間露光画像とから、
前記初期画像に対する第１の補正量を算出する第１の補正量算出部と、
前記短時間露光画像に基づいて算出する短時間露光画像ＰＳＦと、
前記初期画像とから、
前記初期画像に対する第２の補正量を定める第２の補正量算出部と、
前記初期画像に対して、前記第１の補正量と第２の補正量とを加算する加算部と、
を備える請求項１に記載の画像処理装置。
【請求項８】
前記第１の補正量算出部は、
前記初期画像と前記長時間露光画像ＰＳＦとから前記長時間露光画像に類する画像を推定した結果である第１の推定画像を算出する第１の推定画像算出部と、
前記長時間露光画像と前記第１の推定画像との差分である第１の差分画像を算出する減算部と、
前記第１の差分画像と前記長時間露光画像ＰＳＦとから、第１の補正量を算出する第１の補正量推定部を備えた構成である請求項７に記載の画像処理装置。
【請求項９】
前記第１の推定画像算出部は、
前記長時間露光画像ＰＳＦを、撮像デバイスの撮像面の色（位相）ごとに長時間露光画像ＰＳＦの特性を合わせた第１の色別ＰＳＦを算出する色別ＰＳＦ算出部と、
前記初期画像の注目画素の色ごとに、前記第１の色別ＰＳＦを使い分けて畳み込み演算を行う畳み込み演算部と、
前記畳み込み演算部の出力結果画像の、撮像デバイスの飽和画素値に相当する値以上の画素値を、前記飽和画素値に相当する値に置き換えて出力する飽和処理部と、
を備えた構成である請求項７に記載の画像処理装置。
【請求項１０】
前記第１の補正量推定部は、さらに、
前記長時間露光画像ＰＳＦを点対称に反転させた第１の反転ＰＳＦを算出する色別反転ＰＳＦ算出部と、
前記第１の差分画像の注目画素の色ごとに、前記第１の色別反転ＰＳＦを使い分けて畳み込み演算を行う畳み込み演算部と、
前記畳み込み演算部において出力した結果画像に、補正量調整パラメータを乗算して補正量調整を実行する乗算部を備えた構成である請求項９に記載の画像処理装置。
【請求項１１】
前記画像補正部は、
前記長時間露光画像と前記短時間露光画像に対するデモザイク処理を実行するデモザイク処理部を有し、
前記デモザイク処理部の処理結果であるデモザイク画像に基づいて前記補正画像を生成する請求項１に記載の画像処理装置。
【請求項１２】
画像処理装置において実行する画像処理方法であり、
撮像デバイスが、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像ステップと、
画像補正部が、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正ステップを実行し、
前記画像補正ステップにおいては、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成する画像処理方法。
【請求項１３】
画像処理装置において画像処理を実行させるプログラムであり、
撮像デバイスに、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力させる撮像ステップと、
画像補正部に、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成させる画像補正ステップを実行させ、
前記画像補正ステップにおいては、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成させ、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出させ、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成させるプログラム。
【請求項１】
画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、
前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有し、
前記画像補正部は、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成する画像処理装置。
【請求項２】
前記画像補正部は、さらに、
前記短時間露光画像に対応するＰＳＦを、短時間露光画像ＰＳＦとして算出し、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦと前記短時間露光画像ＰＳＦとを適用して補正画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記画像補正部は、
前記短時間露光画像に基づいて、長時間露光を行ったと仮定した第１の推定画像を生成し、該第１の推定画像と前記長時間露光画像との差分を小さくする第１の補正量を算出し、算出した第１の補正量を、前記短時間露光画像に基づいて生成した初期画像に加算する処理を実行して前記補正画像を生成する請求項１に記載の画像処理装置。
【請求項４】
前記画像補正部は、
前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、
前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結成分の抽出処理により、前記長時間露光画像ＰＳＦを算出する請求項１に記載の画像処理装置。
【請求項５】
前記画像補正部は、
前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、
前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結閉領域の抽出を実行し、原点と閉領域の重心位置を結んだ線分を、原点を中心に、２倍伸ばした線分を前記長時間露光画像ＰＳＦとして算出する請求項１に記載の画像処理装置。
【請求項６】
前記画像補正部は、
前記短時間露光画像に対応するＰＳＦを、短時間露光画像ＰＳＦとして算出する構成であり、
前記長時間露光画像ＰＳＦの重心位置と原点とを結んだ線分を、原点を中心に、
２×（第２の露光条件の露光時間）÷（第１の露光条件の露光時間）倍、伸ばした線分を、前記短時間露光画像ＰＳＦとして算出する請求項１に記載の画像処理装置。
【請求項７】
前記画像補正部は、
前記長時間露光画像に基づいて算出する長時間露光画像ＰＳＦと、
前記短時間露光画像に基づいて生成される初期画像と、
前記長時間露光画像とから、
前記初期画像に対する第１の補正量を算出する第１の補正量算出部と、
前記短時間露光画像に基づいて算出する短時間露光画像ＰＳＦと、
前記初期画像とから、
前記初期画像に対する第２の補正量を定める第２の補正量算出部と、
前記初期画像に対して、前記第１の補正量と第２の補正量とを加算する加算部と、
を備える請求項１に記載の画像処理装置。
【請求項８】
前記第１の補正量算出部は、
前記初期画像と前記長時間露光画像ＰＳＦとから前記長時間露光画像に類する画像を推定した結果である第１の推定画像を算出する第１の推定画像算出部と、
前記長時間露光画像と前記第１の推定画像との差分である第１の差分画像を算出する減算部と、
前記第１の差分画像と前記長時間露光画像ＰＳＦとから、第１の補正量を算出する第１の補正量推定部を備えた構成である請求項７に記載の画像処理装置。
【請求項９】
前記第１の推定画像算出部は、
前記長時間露光画像ＰＳＦを、撮像デバイスの撮像面の色（位相）ごとに長時間露光画像ＰＳＦの特性を合わせた第１の色別ＰＳＦを算出する色別ＰＳＦ算出部と、
前記初期画像の注目画素の色ごとに、前記第１の色別ＰＳＦを使い分けて畳み込み演算を行う畳み込み演算部と、
前記畳み込み演算部の出力結果画像の、撮像デバイスの飽和画素値に相当する値以上の画素値を、前記飽和画素値に相当する値に置き換えて出力する飽和処理部と、
を備えた構成である請求項７に記載の画像処理装置。
【請求項１０】
前記第１の補正量推定部は、さらに、
前記長時間露光画像ＰＳＦを点対称に反転させた第１の反転ＰＳＦを算出する色別反転ＰＳＦ算出部と、
前記第１の差分画像の注目画素の色ごとに、前記第１の色別反転ＰＳＦを使い分けて畳み込み演算を行う畳み込み演算部と、
前記畳み込み演算部において出力した結果画像に、補正量調整パラメータを乗算して補正量調整を実行する乗算部を備えた構成である請求項９に記載の画像処理装置。
【請求項１１】
前記画像補正部は、
前記長時間露光画像と前記短時間露光画像に対するデモザイク処理を実行するデモザイク処理部を有し、
前記デモザイク処理部の処理結果であるデモザイク画像に基づいて前記補正画像を生成する請求項１に記載の画像処理装置。
【請求項１２】
画像処理装置において実行する画像処理方法であり、
撮像デバイスが、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像ステップと、
画像補正部が、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正ステップを実行し、
前記画像補正ステップにおいては、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出し、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成する画像処理方法。
【請求項１３】
画像処理装置において画像処理を実行させるプログラムであり、
撮像デバイスに、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力させる撮像ステップと、
画像補正部に、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成させる画像補正ステップを実行させ、
前記画像補正ステップにおいては、
全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成させ、
前記長時間露光画像に対応するＰＳＦ（点広がり関数）を、長時間露光画像ＰＳＦとして算出させ、
前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像ＰＳＦを適用して補正画像を生成させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２３４３９３（Ｐ２０１２−２３４３９３Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０２９１５（Ｐ２０１１−１０２９１５）
【出願日】平成２３年５月２日（２０１１．５．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年５月２日（２０１１．５．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]