画像処理装置、撮像装置、および画像処理方法、並びにプログラム
【課題】撮影画像に基づいて高品質な高ダイナミックレンジ画像を生成する装置および方法を提供する。
【解決手段】イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影した画像を入力して画像処理を実行する画像処理（ＨＤＲ処理）部を有する。画像処理部は、連続撮影された複数画像を利用した補間処理によって複数の感度画像を生成し、生成した複数の感度画像の合成によって第１合成画像を生成し、また、単一の撮影画像の補間処理によって複数の異なる感度画像を生成し、生成した複数の感度画像の合成によって第２合成画像を生成する。さらに、動き検出情報に応じて算出するブレンド率に応じて、第１合成画像と第２合成画像の画素値ブレンドを実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する。この処理により解像度劣化を最小限に抑えた高ダイナミックレンジ画像が生成される。
【解決手段】イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影した画像を入力して画像処理を実行する画像処理（ＨＤＲ処理）部を有する。画像処理部は、連続撮影された複数画像を利用した補間処理によって複数の感度画像を生成し、生成した複数の感度画像の合成によって第１合成画像を生成し、また、単一の撮影画像の補間処理によって複数の異なる感度画像を生成し、生成した複数の感度画像の合成によって第２合成画像を生成する。さらに、動き検出情報に応じて算出するブレンド率に応じて、第１合成画像と第２合成画像の画素値ブレンドを実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する。この処理により解像度劣化を最小限に抑えた高ダイナミックレンジ画像が生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。特に、ダイナミックレンジの広い画像を生成する画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
【０００３】
このような現象を防止するため、被写体の輝度等に応じて光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【０００４】
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
【０００５】
このような処理を実現する手法として、連続的に露光時間の異なる複数の画像を撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像を得ることができる。
【０００６】
このように、ダイナミックレンジの広い撮像を行うことを、高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）、あるいは、広ダイナミックレンジ（ＷＤＲ：Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮像などという。
【０００７】
高ダイナミックレンジ撮像を実現する複数の従来技術について説明する。
高ダイナミックレンジ撮像の一つの方法は、例えば特許文献１〜３、非特許文献１に記載がある感度の異なる複数の画像を撮影して、これらの複数の画像を合成する手法である。
この手法を適用した撮像装置の構成と処理例について、図１、図２を参照して説明する。
【０００８】
図１に示す撮像装置のレンズ１０１を介してイメージセンサ（撮像素子）１０２に入力した入射光は光電変換によってセンサ画像１０３を出力する。センサ画像１０３はフレームメモリ１０４に格納される。
撮像装置は、画像撮影時に長時間露光を実行した高感度画像１０５と、短時間露光を行った低感度画像１０６の２つの画像を連続的に撮影してフレームメモリ１０４に格納し、後段のＨＤＲ（高ダイナミックレンジ）処理部１０７に入力する。
【０００９】
ＨＤＲ（高ダイナミックレンジ）処理部１０７は、長時間露光を実行した高感度画像１０５と、短時間露光を行った低感度画像１０６の２つの画像を合成して１つのＨＤＲ（高ダイナミックレンジ）画像１０８を生成する。
ＨＤＲ（高ダイナミックレンジ）画像１０８は、その後、カメラ信号処理部１０９においてホワイトバランス調整、ガンマ補正、デモザイク処理等、一般的なカメラにおいて行われる信号処理を実行して出力画像１１０を生成する。
【００１０】
この処理の処理シーケンスについて図２を参照して説明する。図２には、左から右に進む時間軸に従って、以下の各画像の生成タイミングを示している。
（ａ）センサ画像１０３出力タイミング
（ｂ）低感度画像１０５出力タイミング
（ｃ）高感度画像１０５出力タイミング
（ｄ）ＨＤＲ画像１０８出力タイミング
【００１１】
時間ｔ１において、低感度画像＃１が撮影され、イメージセンサ１０２から出力される。
時間ｔ２において、高感度画像＃２が撮影され、イメージセンサ１０２から出力される。
その後ｔ３，ｔ４・・・と、交互に低感度画像と高感度画像が撮影される。
【００１２】
フレームメモリ１０４からＨＤＲ処理部１０７に対して、
時間ｔ３で、撮影済みの低感度画像＃１と高感度画像＃２が出力され、
これらの２画像の合成処理によって、１枚のＨＤＲ画像＃１，＃２が生成される。
以下、ｔ５において、撮影済みの低感度画像＃３と高感度画像＃４がフレームメモリ１０４からＨＤＲ処理部１０７に出力され、
これらの２画像の合成処理によって、１枚のＨＤＲ画像＃３，＃４が生成される。
【００１３】
このように、露光時間の短い低感度画像と、露光時間の長い高感度画像をフレームごとに交互に撮像し、フレームメモリに画像を蓄積し、信号処理によって高ダイナミックレンジ画像を生成する。
この手法の問題点として、合成する２つの画像の撮影時刻にズレがあるため、被写体が動いたときの偽色の発生や、二重像になってしまうという問題点がある。
【００１４】
さらに、別の問題点として、複数の画像からの合成が必要であるため、動画像においては、センサのフレームレートに対し、合成後のフレームレートが低下してしまうという問題点がある。
図２の例では２つの画像からＨＤＲ画像を作るため、センサのフレームレートに対して、ＨＤＲ画像のフレームレートが１／２になってしまう。
【００１５】
言い換えると、ＨＤＲ画像を従来のフレームレートで出力するためには、イメージセンサを２倍の速さで駆動させる必要があり、これがコスト増加や消費電力増加の原因となっている。
【００１６】
上記の２枚の撮影画像を合成する方法と異なるもう１つの高ダイナミックレンジ画像生成手法として、例えば、特許文献４、特許文献５や、非特許文献２に記載された構成がある。
この方法は、長時間露光画像と短時間露光画像の２枚の連続撮影画像を用いることなく、１枚の撮影画像に基づいて高ダイナミックレンジ画像を生成する手法である。
【００１７】
例えば撮像素子の露光時間を画素単位で異なる設定として、１枚の撮影画像中に、長時間露光画素と短時間露光画素を設定して画像撮影を行う。
この１枚の撮影画像に含まれる長時間露光画素の画素値と、短時間露光画素の画素値を利用して１枚の高ダイナミックレンジ画像を生成する手法である。
この手法を適用した撮像装置の構成と処理例について、図３〜図５を参照して説明する。
【００１８】
図３に示す撮像装置のレンズ１１１を介してイメージセンサ（撮像素子）１１２に入力した入射光は光電変換によってセンサ画像１１３を出力する。イメージセンサ（撮像素子）１１２は、図示しない制御部の制御によって、画素単位で露光時間制御が行われ、１枚の画像中に長時間露光画素と短時間露光画素が設定されている。このセンサ画像１１３は、ＨＤＲ（高ダイナミックレンジ）処理部１１４に入力される。
【００１９】
ＨＤＲ（高ダイナミックレンジ）処理部１１４は、１枚の撮影画像に含まれる長時間露光画素である高感度画素と、短時間露光画素である低感度画素の２つの画素を合成して１つのＨＤＲ（高ダイナミックレンジ）画像１１５を生成する。具体的には、例えば、長時間露光画素である高感度画素が飽和していない画素については高感度画素の画素値を選択して利用し、高感度画素が飽和した画素については近傍の低感度画素の画素値を選択するといった画素値合成処理を行う。ＨＤＲ（高ダイナミックレンジ）画像１１５は、その後、カメラ信号処理部１１６においてホワイトバランス調整、ガンマ補正、デモザイク処理等、一般的なカメラにおいて行われる信号処理を実行して出力画像１１７を生成する。
【００２０】
なお、イメージセンサ１１２は、例えば図４に示すように、低感度画素と高感度画素が周期的に配置される。この設定で、２枚の画像を用いることなく１枚の画像からＨＤＲ画像を生成することを可能としている。
【００２１】
図５は、この処理のシーケンスを示している。
図５には、左から右に進む時間軸に従って、以下の各画像の生成タイミングを示している。
（ａ）センサ画像１１３出力タイミング
（ｂ）ＨＤＲ画像１１５出力タイミング
【００２２】
時間ｔ１において、センサ画像＃１がイメージセンサ１１２から出力される。
時間ｔ２において、センサ画像＃２がイメージセンサ１１２から出力される。
その後ｔ３，ｔ４・・・と、順次センサ画像が出力される。
このセンサ画像の各々は、低感度画素と高感度画素が設定された画像である。
【００２３】
センサ画像１１３は、即座にＨＤＲ処理部１１４に入力され、ＨＤＲ画像１１５が、ほとんど時間遅れなく生成される。
この構成では、先に説明した構成とは異なり、１つの撮影画像フレームからＨＤＲ画像を生成可能である。従って、図３に示すようにフレームメモリが不要となり、また、フレームレートを低下させることもない。
【００２４】
ただし、この手法による問題点として以下の問題点がある。
例えば、撮影被写体が明るい場合には、１枚の撮影画像に含まれる高感度画素が飽和してしまい、低感度画素のみで画像を生成しなければならなくなる。
また、被写体が暗い場合には、低感度画素にノイズが多くなり、高感度画素のみの画素情報によって画像を生成しなければならなくなる。
このような撮影被写体の状況に応じて、有効な画素情報を得られない場合が発生し、その結果、解像度の低下や、色のサンプルが取れないことによる偽色発生など、画質低下を招くという問題がある。
【先行技術文献】
【特許文献】
【００２５】
【特許文献１】特開平２−１７４４７０号公報
【特許文献２】特開平７−９５４８１号公報
【特許文献３】特開平１１−７５１１８号公報
【特許文献４】特開２００６−２５３８７６号公報
【特許文献５】特願２００６−５４２３３７号公報
【非特許文献】
【００２６】
【非特許文献１】Ｏｒｌｙ Ｙａｄｉｄ−Ｐｅｃｈｔ ａｎｄ Ｅｒｉｃ Ｒ． Ｆｏｓｓｕｍ， Ｗｉｄｅ Ｉｎｔｒａｓｃｅｎｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ＣＭＯＳ ＡＰＳ Ｕｓｉｎｇ Ｄｕａｌ Ｓａｍｐｌｉｎｇ， ＩＥＥＥ ｔｒａｎｓ． Ｏｎ ｅｌｅｃｔｒｏｎ ｄｅｖｉｃｅｓ， ｖｏｌ．４４−１０， ｐｐ．１７２１−１７２３， １９９７．
【非特許文献２】Ｊｅｎｗｅｉ Ｇｕ ｅｔ ａｌ， Ｃｏｄｅｄ Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒ Ｐｈｏｔｏｇｒａｐｈｙ： Ｆｌｅｘｉｂｌｅ Ｓｐａｃｅ−Ｔｉｍｅ Ｓａｍｐｌｉｎｇ， Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ（ＩＣＣＰ）， ２０１０．
【発明の概要】
【発明が解決しようとする課題】
【００２７】
本開示は、例えば、上述の問題点に鑑みてなされたものであり、本開示の一実施例構成においては、フレームレートの低下や、画質低下を防止したダイナミックレンジの広い画像を生成する画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００２８】
本開示の一実施例構成においては、イメージセンサの各画素における感度を、空間的かつ時間的に周期的に制御する。さらに、イメージセンサ出力画像に対して、空間的、時間的な周期を考慮した信号処理を行うことにより、フレームレートの低下や、解像度の劣化なしに、高ダイナミックレンジ撮像を実現する画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２９】
本開示の第１の側面は、
イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する画像処理装置にある。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記ＨＤＲ合成処理部は、前記動き検出情報が動きありを示す画素位置については、前記第２合成画像のブレンド率を高め、前記動き検出情報が動きなしを示す画素位置については、前記第１合成画像のブレンド率を高めた画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する。
【００３１】
さらに、本開示の画像処理装置の一実施態様において、前記ＨＤＲ処理部は、連続撮影された複数画像に存在する複数の異なる感度画素をそのまま利用して複数の異なる感度画像を生成するフレーム間補間処理部を有し、前記フレーム間補間処理部の生成した複数の異なる感度画像の画素値合成によって前記第１合成画像を生成する。
【００３２】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、異なる撮影時刻の画像の対応画素の画素値を比較して、画素単位の動き検出を実行して前記動き検出情報を生成する動き検出部と、前記動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する動き適応処理部を有する。
【００３３】
さらに、本開示の画像処理装置の一実施態様において、前記動き検出部は、連続撮影された複数画像中の最新画像である現在時刻画像のみを利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した前記第２合成画像と、連続撮影された複数画像中の最新画像より前の撮影画像である過去時刻画像のみを利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第３合成画像との画像比較に基づいて、画素単位の動き検出を実行して前記動き検出情報を生成する。
【００３４】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記ＨＤＲ合成処理部の生成した高ダイナミックレンジ（ＨＤＲ）画像を入力し、該高ダイナミックレンジ（ＨＤＲ）画像の画素値のビット数削減を行う階調変換処理部を有する。
【００３５】
さらに、本開示の第２の側面は、
イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
単一の撮影画像を利用した補間処理によって複数の異なる感度画像を生成するフレーム内補間処理部と、前記フレーム内補間処理部の生成した複数の異なる感度画像の合成処理により、高ダイナミックレンジ（ＨＤＲ）画像を生成するＨＤＲ合成処理部を有する画像処理装置にある。
【００３６】
さらに、本開示の第３の側面は、
イメージセンサと、
前記イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御を行う制御部と、
前記イメージセンサの撮影画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する撮像装置にある。
【００３７】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、前記イメージセンサに対して、行単位の露光時間の制御を実行するとともに、撮影画像フレーム単位で異なる露光制御を実行する。
【００３８】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、前記イメージセンサの構成画素に対する電荷蓄積開始時間としての行リセットタイミングの制御によって、行単位の露光時間の制御を実行する。
【００３９】
さらに、本開示の撮像装置の一実施態様において、前記撮像装置は、前記イメージセンサの構成画素数より少ない画素数とした画素数削減処理を実行し、該画素数削減処理後の画像を前記ＨＤＲ処理部に出力して高ダイナミックレンジ（ＨＤＲ）画像を生成する。
【００４０】
さらに、本開示の第４の側面は、
画像処理装置において実行する画像処理方法であり、
ＨＤＲ（高ダイナミックレンジ）処理部が、イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行する画像処理ステップを有し、
前記画像処理ステップにおいて、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する画像処理方法にある。
【００４１】
さらに、本開示の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
ＨＤＲ（高ダイナミックレンジ）処理部に、イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行させる画像処理ステップを有し、
前記画像処理ステップにおいて、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成させるプログラムにある。
【００４２】
なお、本開示に係るプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００４３】
本開示の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明の効果】
【００４４】
本開示の一実施例の構成によれば、撮影画像に基づいて高品質な高ダイナミックレンジ画像を生成する装置および方法が実現される。
具体的には、イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影した画像を入力して画像処理を実行する画像処理（ＨＤＲ処理）部を有する。画像処理部は、連続撮影された複数画像を利用した補間処理によって複数の感度画像を生成し、生成した複数の感度画像の合成によって第１合成画像を生成し、また、単一の撮影画像の補間処理によって複数の異なる感度画像を生成し、生成した複数の感度画像の合成によって第２合成画像を生成する。さらに、動き検出情報に応じて算出するブレンド率に応じて、第１合成画像と第２合成画像の画素値ブレンドを実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する。この処理により解像度劣化を最小限に抑えた高ダイナミックレンジ画像が生成される。
【図面の簡単な説明】
【００４５】
【図１】高ダイナミックレンジ画像を得る撮像装置の構成例について説明する図である。
【図２】高ダイナミックレンジ画像を得る撮像装置の処理例について説明する図である。
【図３】高ダイナミックレンジ画像を得る撮像装置の構成例について説明する図である。
【図４】高ダイナミックレンジ画像を得る撮像装置のイメージセンサの露光制御例について説明する図である。
【図５】高ダイナミックレンジ画像を得る撮像装置の処理例について説明する図である。
【図６】高ダイナミックレンジ画像を得る撮像装置の構成例について説明する図である。
【図７】高ダイナミックレンジ画像を得る撮像装置のイメージセンサの構成と処理例について説明する図である。
【図８】高ダイナミックレンジ画像を得る撮像装置のイメージセンサの処理例について説明する図である。
【図９】高ダイナミックレンジ画像を得る撮像装置のイメージセンサの構成と処理例について説明する図である。
【図１０】高ダイナミックレンジ画像を得る撮像装置の処理例について説明する図である。
【図１１】高ダイナミックレンジ画像を得る撮像装置のＨＤＲ処理部の構成と処理例について説明する図である。
【図１２】フレーム間補間処理部の構成と処理例について説明する図である。
【図１３】フレーム内補間処理部の構成と処理例について説明する図である。
【図１４】補間処理の具体例について説明する図である。
【図１５】ＨＤＲ（高ダイナミックレンジ）合成処理部の構成と処理例について説明する図である。
【図１６】ＨＤＲ（高ダイナミックレンジ）処理部の動き検出部の構成と処理について説明する図である。
【図１７】ＨＤＲ（高ダイナミックレンジ）処理部の動き検出部の設定するブレンド率について説明する図である。
【図１８】ＨＤＲ処理部の最終処理部である階調変換処理部の実行する階調変換処理例について説明する図である。
【図１９】イメージセンサの露光制御例について説明する図である。
【図２０】イメージセンサの露光制御例について説明する図である。
【図２１】イメージセンサの露光制御例について説明する図である。
【図２２】イメージセンサの露光制御例について説明する図である。
【図２３】イメージセンサの露光制御例について説明する図である。
【図２４】イメージセンサの露光制御例について説明する図である。
【図２５】イメージセンサの露光制御例について説明する図である。
【図２６】イメージセンサの露光制御例について説明する図である。
【図２７】イメージセンサの露光制御例について説明する図である。
【図２８】イメージセンサの露光制御例について説明する図である。
【図２９】画像処理装置の構成例について説明する図である。
【図３０】ＨＤＲ処理部の構成と処理例について説明する図である。
【図３１】ＨＤＲ合成処理部の構成と処理例について説明する図である。
【図３２】画像処理装置の構成例について説明する図である。
【図３３】ＨＤＲ処理部の構成と処理例について説明する図である。
【図３４】イメージセンサの出力画素数の削減処理例について説明する図である。
【図３５】イメージセンサの出力画素数の削減処理例について説明する図である。
【図３６】イメージセンサの出力画素数の削減処理例について説明する図である。
【図３７】イメージセンサの出力画素数の削減処理例について説明する図である。
【図３８】イメージセンサの出力画素数の削減処理例について説明する図である。
【図３９】ＨＤＲ処理部の構成と処理例について説明する図である。
【図４０】フレーム間補間処理部の構成と処理例について説明する図である。
【図４１】フレーム内補間処理部の構成と処理例について説明する図である。
【図４２】イメージセンサの露光制御例について説明する図である。
【図４３】イメージセンサの露光制御例について説明する図である。
【発明を実施するための形態】
【００４６】
以下、図面を参照しながら、本開示の画像処理装置、撮像装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．画像処理装置の第１実施例の構成と処理について
２．その他の実施例について
２−１．イメージセンサの様々な露光制御例について
２−２．フレームメモリを不要とした実施例について
２−３．イメージセンサ出力に際して画素加算処理または間引き処理を行う構成例について
３．本開示の画像処理装置と従来構成との比較
４．本開示の構成のまとめ
【００４７】
［１．画像処理装置の第１実施例の構成と処理について］
まず、本開示の画像処理装置の第１実施例の構成と処理について説明する。なお、以下の実施例においては、撮像装置を画像処理装置の１つの代表例として説明する。
図６に、撮像装置の構成例を示す。
光学レンズ２０１を通して入射される光は、イメージセンサ２０２によって光電変換され、イメージセンサ２０２からセンサ出力画像２０４が出力される。イメージセンサ２０２は例えばＣＭＯＳ等によって構成される。
【００４８】
イメージセンサ２０２から出力されたセンサ出力画像２０４は、現在時刻画像２０６としてＨＤＲ（高ダイナミックレンジ）処理部２０８に出力されるとともに、フレームメモリ２０５に蓄積される。
【００４９】
ＨＤＲ（高ダイナミックレンジ）処理部２０８は、イメージセンサ２０２から現在時刻画像２０６を入力するとともに、現在時刻画像２０６の前のタイミングで撮影され、フレームメモリ２０５に格納されていた過去時刻画像２０７をフレームメモリ２０５から取得する。
【００５０】
ＨＤＲ（高ダイナミックレンジ）処理部２０８は、
（１）現在時刻画像２０６、
（２）過去時刻画像２０７、
これらの２つの画像を入力する。
すなわち、遅延された過去時刻画像２０７と、遅延しない現在時刻画像２０６を利用して、ＨＤＲ（高ダイナミックレンジ）化処理を実行してＨＤＲ（高ダイナミックレンジ）画像２０９を生成する。この処理の詳細については後述する。
【００５１】
ＨＤＲ（高ダイナミックレンジ）処理部２０８の生成したＨＤＲ画像２０９は、カメラ信号処理部２１０に入力され、カメラ信号処理部２１０においてホワイトバランス調整、ガンマ補正、デモザイク処理等の一般的なカメラ信号処理が実行され、出力画像２１１が生成される。
【００５２】
制御部２１２は、イメージセンサ２０２の露光制御、ＨＤＲ処理部２０８、カメラ信号処理部２１０における処理制御を実行する。なお、制御部２１２は、例えばプログラム実行機能を持つＣＰＵを備え、図示しないメモリに格納されたプログラムに従って、撮像装置において実行される処理の全体的な制御を行う。
【００５３】
イメージセンサ２０２は、例えばＣＭＯＳ等によって構成され、制御部２１２によって設定される露光時間情報２０３に従って、イメージランサ２０２の構成画素単位で所定の空間周期単位、および、所定の時間周期単位で露光時間が変化するように制御される。
なお。この空間周期単位、および、時間周期単位の露光時間制御処理の具体的構成については、例えば、特許文献４（特開２００６−２５３８７６号公報）に記載があり、この記載構成と同様の露光制御を行う。
【００５４】
イメージセンサ２０２の構成例を図７に示す。図７は、イメージセンサ２０２の一部構成を示しており、矩形で示す領域が１つの画素に対応する。画素２２４である。
イメージセンサ２０２には、各画素の露光時間を規定するための複数の感度情報が露光時間情報２０３として制御部２１２から与えられる。
イメージセンサ２０２内の制御回路２２１は、露光時間情報２０３に従って空間周期単位、時間周期単位で各画素の露光時間（感度）が変化するように垂直走査回路２２２と水平走査回路２２３の制御を行う。
【００５５】
画素の露光時間（感度）を変化させる手法について、図８を参照して説明する。図８は、図７に示す行リセット線２３１の信号タイミングと、行選択線２３２の信号タイミングと、画素２２４の電荷量の変化を表した図である。
【００５６】
例えば時間（ｔ１）において、行リセット信号が入力されると、画素の電荷はリセットされ、その後、光の入射によって電荷が蓄積されていく。その後、時間（ｔ２）において、行選択信号が入力されるとその時点の電荷量を画素蓄積電荷両（Ｓ）として出力する。
【００５７】
すなわち、行リセットタイミングから行選択タイミングまでの時間ｔ１〜ｔ２の期間が電荷蓄積期間である。
行選択タイミングは、各行において、予め既定された間隔に設定される。
行リセットタイミングは、調整可能であり、２つの行選択タイミング（図に示すｔａ，ｔｂ）間の任意の一に設定できる。露光時間情報２０３に従って設定されることになる。
【００５８】
行リセットタイミング（ｔｃ）を、２つの行選択タイミング（図に示すｔａ，ｔｂ）内の遅い時刻（ｔｂ側に近い時刻）になるように制御することにより、その行の電荷蓄積時間を短くすることができ、結果として感度を下げることができる。
一方、行リセットタイミング（ｔｃ）を、２つの行選択タイミング（図に示すｔａ，ｔｂ）内の早い時刻（ｔａ側に近い時刻）になるように制御することにより、その行の電荷蓄積時間を長くすることができ、結果として感度を上げることができる。
このような制御を行単位で実行することで、行単位で異なる露光時間の設定すなわち異なる感度設定が可能となる。
【００５９】
ＲＧＢ画素によって構成されるベイヤー（Ｂａｙｅｒ）配列のイメージセンサにおける行単位の露光時間制御による感度制御例を、図９と図１０を参照して説明する。
図９に示す例は、低感度画素と、高感度画素を２行単位で交互に設定した例である。前述の行リセットタイミングを２行ごとに変更して設定することで、図９に示すような２行単位で、短時間露光行としての低感度画素と、長時間露光行としての高感度画素行を設定することができる。
【００６０】
図９には、
（ａ）配列１
（ｂ）配列２
これらの配列を示している。
各配列では、短時間露光行としての低感度画素と、長時間露光行としての高感度画素行が入れ替えられている。
例えば、画像撮影時の第１フレームにおいて（ａ）配列１に従った露光制御を実行し、続けて撮影する第２フレームにおいて（ｂ）配列２に従った露光制御を実行する。さらに第３、第４、第５フレームと、配列１と配列２を交互に設定して撮影を行う。
この撮影シーケンスは図１０に示す通りである。
【００６１】
図９、図１０に示す例は、
露光時間（感度）制御の空間周期単位については、４行を１周期としており、２行ごとに２種類の感度の画素が配置される。
また、露光時間（感度）制御の時間周期単位は２フレームを１周期としており、図９に示す２つの配列２４１，２４２を１フレームごとに切り替えることにより、各画素の感度が毎フレームに変化するように制御される。
【００６２】
次に、ＨＤＲ（高ダイナミックレンジ）処理部２０８の構成と処理について、図１１を参照して説明する。
先に説明したように、ＨＤＲ（高ダイナミックレンジ）処理部２０８は、
（１）現在時刻画像２０６、
（２）過去時刻画像２０７、
これらの２つの画像を入力する。
すなわち、遅延された過去時刻画像２０７と、遅延しない現在時刻画像２０６を利用して、ＨＤＲ（高ダイナミックレンジ）化処理を実行してＨＤＲ（高ダイナミックレンジ）画像２０９を生成する。
【００６３】
現在時刻画像２０６、過去時刻画像２０７は、先に説明した図９に示すような、感度が空間、時間で異なる画像であり、ＨＤＲ（高ダイナミックレンジ）処理部２０８は、これらの画像を利用して高ダイナミックレンジ画像を生成する。
【００６４】
フレーム間補間処理部２５１は、解像度の高い画像を生成する処理部である。現在時刻画像２０６と、過去時刻画像２０７の両方を利用して補間画像として、
低感度画素のみから構成される低感度画素画像、
高感度画素のみから構成される高感度画素画像、
これらの補間画像を生成する。
【００６５】
フレーム内補間処理部２５２，２５３は、動きに追従する補間画像を生成する処理部である。フレーム内補間処理部２５２は現在時刻画像２０６のみを利用した空間的な補間処理、フレーム内補間処理部２５３は過去時刻画像２０７のみを利用した空間的な補間処理を行うことによって、補間画像として、
低感度画素のみから構成される低感度画素画像、
高感度画素のみから構成される高感度画素画像、
これらの補間画像を生成する。
【００６６】
ＨＤＲ合成処理部２５４〜２５６は、感度の異なる画素を参照し、合成することによって高ダイナミックレンジ（ＨＤＲ）画像を取得する。
動き検出部２５７では、ＨＤＲ合成処理部２５５，２５６の画像を利用し、現在時刻と過去時刻で、注目画素に物体の動きなどによる画素値の変化があるかどうかを検出する。
【００６７】
動き適応処理部２５８では、ＨＤＲ合成処理部２５４が現在時刻画像２０６と過去時刻画像２０７に基づいて生成した解像度の高い画像と、ＨＤＲ合成処理部２５５が現在時刻画像２０６に基づいて生成した動きに追随する画像のブレンド処理を行う。
動き適応処理部２５８では、動き検出部２５７の動き検出結果を利用して各画素単位の画素値のブレンド比率を決定して、これら２つの画像のブレンド処理を実行する。
【００６８】
階調変換処理部２５９では、動き適応処理部２５８の生成したブレンド画像の各画素のビット値削減を行う。動き適応処理部２５８の生成したブレンド画像は、高感度画素と低感度画素の画素値を表現するため、各画素の画素値のビット数が増加する。ビット数が大きすぎると、後段のカメラ信号処理部２１０での信号処理が実行できなくなる場合があるため、階調変換処理部２５９では、後段のカメラ信号処理部２１０で信号処理が可能なレベルまでビット数を減少させる処理を行う。すなわち、従来のセンサ出力と同程度まで量子化の圧縮を行い、ＨＤＲ画像２０９を出力する。
【００６９】
次に、図１１に示すＨＤＲ処理部２０８の内部に構成されるフレーム間補間処理部２５１の構成と処理例について図１２を参照して説明する。
フレーム間補間処理部２５１は、前述したように、現在時刻画像２０６と、過去時刻画像２０７の両方を利用して補間画像として、
低感度画素のみから構成される低感度画素画像２６３、
高感度画素のみから構成される高感度画素画像２６４、
これらの補間画像を生成する。
【００７０】
まず、座標取得部２６１によって取得される注目画素位置と、例えば制御部２１２から供給される各撮影画像の露光パターン（例えば図９の配列１，２等）を示す画素配列パターン情報２６２を利用し、注目画素の位置の感度を取得する。この感度情報を利用して、現在時刻画像２０６，過去時刻画像２０７、これら連続撮影された２つの画像における低感度画素を選択して低感度画素のみから構成される低感度画素画像２６３を生成する。
同様に、感度情報を利用して、現在時刻画像２０６，過去時刻画像２０７における高感度画素を選択して高感度画素のみから構成される高感度画素画像２６４を生成する。
【００７１】
このように、フレーム間補間処理部２５１は、異なる露光パターン配列の複数の画像フレームの画素信号を使用して、すべての画素を低感度画素信号とした低感度画素画像２６３と、すべての画素を高感度画素信号とした高感度画素画像２６４を生成する。
【００７２】
低感度画素画像２６３と高感度画素画像２６４は、元の撮影画像と同様の配列、例えばベイヤー（Ｂａｙｅｒ）配列の画像であり、被写体が静止している場合は、Ｂａｙｅｒ配列と同じ解像度を実現できる。
一方で、被写体に動きがある場合には、生成元となる現在時刻画像２０６と，過去時刻画像２０７との画像取得時刻が異なるため、画素配列パターンに応じた筋状のアーティファクトが発生することがある。
【００７３】
次に、フレーム内補間処理部２５２，２５３の構成と処理例について図１３を参照して説明する。前述したように、フレーム内補間処理部２５２，２５３は、動きに追従する画像を生成する処理部である。フレーム内補間処理部２５２は現在時刻画像２０６のみを利用した空間的な補間処理、フレーム内補間処理部２５３は過去時刻画像２０７のみを利用した空間的な補間処理を行う。
このような１つの画像を適用した空間的補間処理によって、
低感度画素のみから構成される低感度画素画像、
高感度画素のみから構成される高感度画素画像、
これらの補間画像を生成する。
【００７４】
フレーム内補間処理部２５２，２５３は、図１３に示す座標取得部２６１によって取得される注目画素位置と、画素配列パターン情報２６２を利用し、入力する現在時刻画像２０６、またはは過去時刻画像２０７の注目画素の位置の感度を取得する。
この感度情報と、現在時刻画像２０６、もしくは、過去時刻画像２０７の１つの画像に含まれる画素情報を利用して、
低感度画素のみから構成される低感度画素画像２６５、
高感度画素のみから構成される高感度画素画像２６６、
これらの各感度画像を生成する。
【００７５】
フレーム内補間処理部は１つの画像のみを使用することにより、被写体の動きに追随する画像を生成することが可能であるが、一方で、解像度が低下してしまうという問題もある。
【００７６】
フレーム内補間処理部２５２，２５３で行われる空間的な補間処理について図１３、図１４を参照して説明する。
図１３のフレーム内補間処理部２５２，２５３の出力である低感度画素画像２６５における画素Ｒｄ１１，Ｒｄ１３，高感度画素画像２６６における画素Ｒｂ３１，Ｒｂ３３は、入力画像、すなわち現在時刻画像２０６，過去時刻画像２０７に存在する画素であり、入力画像の画素をそのままの出力することによって得られる。
【００７７】
一方で出力画像である低感度画素画像２６５における画素Ｒｄ３１，Ｒｄ３３や，出力画像である高感度画像２６６における画素Ｒｂ１１，Ｒｂ１３は、入力画像には存在しない画素である。これらの画素の画素値は、入力画像に含まれる画素値に基づく空間的な補間処理を行うことにより算出して設定する。
【００７８】
図１４を参照して、高感度画素位置に、低感度画素Ｒｄ３３を補間する方法について説明する。図１４に示す画像は、フレーム内補間処理部２５２，２５３に入力される画像、すなわち、現在時刻画像２０６、または過去時刻画像２０７を示している。
各画素は２行単位で低感度画素と高感度画素が設定されている。
【００７９】
図１４に示す入力画像の中央画素は、高感度画素である。この高感度画素位置に、低感度画素の画素値Ｒｄ３３を算出する補間処理について説明する。
最も単純な補間方法は、以下の式に従って、画素値Ｒｄ３３を算出する。
Ｒｄ３３＝（Ｒｄ１３＋Ｒｄ５３）／２・・・（１）
上記の式（１）は、縦方向にある２つの同一色の画素の低感度画素の画素値に基づいて線形補間を行う補間処理である。
【００８０】
この他、入力画像２０６，２０７の画像のエッジ方向を考慮した補間処理を行ったもよい。具体的には、まず、下式（２）〜（４）により、エッジ方向を判別する。
Ｅｄｇｅ＿１＝Ａｂｓ（Ｒｄ１１−Ｒｄ５５） ・・・（２）
Ｅｄｇｅ＿２＝Ａｂｓ（Ｒｄ１３−Ｒｄ５３） ・・・（３）
Ｅｄｇｅ＿３＝Ａｂｓ（Ｒｄ１５−Ｒｄ５１） ・・・（４）
上記の式（２）〜（４）式を利用して、Ｅｄｇｅ＿１，２，３を算出する。
【００８１】
上記式（２）〜（４）に従って算出したＥｄｇｅ＿１，２，３の中で、
・Ｅｄｇｅ＿１が最小値の場合、
Ｒｄ３３＝（Ｒｄ１１＋Ｒｄ５５）／２
上記式に従って、図１４に示す入力画像の中央画素の高感度画素位置の低感度画素の画素値Ｒｄ３３を算出する。
【００８２】
また、上記式（２）〜（４）に従って算出したＥｄｇｅ＿１，２，３の中で、
・Ｅｄｇｅ＿２が最小値の場合、
Ｒｄ３３＝（Ｒｄ１３＋Ｒｄ５３）／２
上記式に従って、図１４に示す入力画像の中央画素の高感度画素位置の低感度画素の画素値Ｒｄ３３を算出する。
【００８３】
また、上記式（２）〜（４）に従って算出したＥｄｇｅ＿１，２，３の中で、
・Ｅｄｇｅ＿３が最小値の場合、
Ｒｄ３３＝（Ｒｄ１５＋Ｒｄ５１）／２
上記式に従って、図１４に示す入力画像の中央画素の高感度画素位置の低感度画素の画素値Ｒｄ３３を算出する。
この処理は、エッジ方向に沿った画素値を参照画素として選択して補間処理を行う方法である。
【００８４】
なお、ここで説明した補間処理例は、フレーム内補間処理の一例であり、別の手法を適用しはた補間を行ってもよい。例えば、Ｒ画素の倍のサンプル数のあるＧ画素を利用して輝度信号を生成し、その輝度信号を利用して、Ｒ画素の高周波成分を作り直すという手法なども適用可能である。
フレーム内補間処理部２５２，２５３は、このように、入力する一枚の画像に基づく補間処理により、
低感度画素のみから構成される低感度画素画像２６５、
高感度画素のみから構成される高感度画素画像２６６、
これらの各感度画像を生成する。
【００８５】
次に、ＨＤＲ（高ダイナミックレンジ）合成処理部２５４〜２５６の構成と処理例について、図１５を参照して説明する。
ＨＤＲ（高ダイナミックレンジ）合成処理部２５４〜２５６の各々は、図１２、図１３を参照して説明したフレーム間補間処理部２５１、またはフレーム内補間処理部２５２，２５３のいずれかにおいて生成した２つの補間画像、すなわち、
低感度画素のみからなる低感度画素画像、
高感度画素のみからなる高感度画素画像、
これらを入力する。
【００８６】
図１５において、これら２つの画像は、
低感度画像Ｄｄ，２６３ｏｒ２６５、
高感度画像Ｄｂ，２６４ｏｒ２６６、
として示している。
さらに、低感度画像と高感度画像の画素の感度比Ｒ，２７１を、例えば制御部２１２から入力する。感度比Ｒ，２７１は、低感度画素と高感度画素の露光時間比に対応する。
【００８７】
ＨＤＲ（高ダイナミックレンジ）合成処理部２５４〜２５６は、
低感度画像Ｄｄ，２６３ｏｒ２６５、
高感度画像Ｄｂ，２６４ｏｒ２６６、
感度比Ｒ，２７１、
これらを使用して、ＨＤＲ画像Ｄｏ，２７２を生成する。
【００８８】
ブレンド率算出部２７３は、低感度画像Ｄｄ，高感度画像Ｄｂ各々の画像の同じ位置にある対応画素位置の各画素値を参照し、例えば、高感度画像の画素値が予め設定した閾値Ｔｈより、小さい時には高感度画像Ｄｂの重みを大きくし、画素値が予め設定した閾値Ｔｈ以上である時には低感度画像Ｄｄの重みを大きくするように、低感度画像Ｄｄ，高感度画像Ｄｂ各々の対応画素の画素値のブレンド率を決定する。
【００８９】
ブレンド処理部２７４は、ブレンド率算出部２７３の決定したブレンド率に基づいて、低感度画像Ｄｄ，および高感度画像Ｄｂの対応画素の画素値のブレンド処理を実行する。この処理により、被写体が暗い時にもノイズが少なく、明るい時にも飽和しにくい高ダイナミックレンジ画像（ＨＤＲ画像Ｄｏ，２７５）を生成することができる。
【００９０】
図１５に示すＨＤＲ（高ダイナミックレンジ）合成処理部２５４〜２５６の処理を具体的に示すと以下の処理となる。
まず、高感度画像Ｄｂから処理対象とする１つの注目画素を選択し、注目画素の画素値と、予め設定した閾値Ｔｈとを比較する。
注目画素の画素値が、Ｔｈより小さい場合は、
この高感度画像Ｄｂ，２６４ｏｒ２６６の注目画素の画素値をそのまま、出力画像であるＨＤＲ画像Ｄｏ，２７５の画素値として設定する。
この場合の画素値は、
ＤｏをＨＤＲ画像Ｄｏ，２７５の画素値とし、
Ｄｂを高感度画像Ｄｂ，２６４ｏｒ２６６の注目画素の画素値とした場合、
Ｄｏ＝Ｄｂ
上記関係となる。
【００９１】
一方、高感度画像Ｄｂから選択した注目画素の画素値が、予め設定した閾値Ｔｈ以上である場合は、
高感度画像Ｄｂの注目画素の画素位置と同じ位置の値低感度画像Ｄｄ，２６３ｏｒ２６５の画素位置の画素値に感度比Ｒを乗算した画素値を、出力画像であるＨＤＲ画像Ｄｏ，２７５の画素値として設定する。
この場合の画素値は、
ＤｏをＨＤＲ画像Ｄｏ，２７５の画素値とし、
Ｄｄを低感度画像Ｄｄ，２６３ｏｒ２６５の画素値とした場合、
Ｄｏ＝Ｄｄ×Ｒ
上記関係となる。
【００９２】
なお、上記処理を一般化して示すと、ａ，ｂをブレンド率算出部２７３の算出するブレンド率として、
Ｄｏ＝（ａ×Ｄｂ）＋（ｂ×（Ｄｄ×Ｒ））
ただし、ａ＋ｂ＝１
上記式に従って、ＨＤＲ画像Ｄｏ，２７５の画素値Ｄｏを算出する構成となる。
なお、前述した処理は、
ａ＝１，ｂ＝０、
ａ＝０，ｂ＝１、
のいずれかのみを利用した処理として説明しているが、
ａ＋ｂ＝１を満たす条件下で、
ａ＝０〜１、ｂ＝１〜０
の範囲でａ，ｂの値を選択的に利用してもよい。
【００９３】
次に、図１１に示すＨＤＲ（高ダイナミックレンジ）処理部２０８の動き検出部２５７の構成と処理について図１６、図１７を参照して説明する。
動き検出部２５７は、
現在時刻画像２０６に基づいてＨＤＲ合成処理部２５５が生成した現在時刻画像対応ＨＤＲ画像、
過去時刻画像２０７に基づいてＨＤＲ合成処理部２５６が生成した過去時刻画像対応ＨＤＲ画像、
これら２つのＨＤＲ画像を比較し、各画素単位で動きを検出する。
例えば、２つのＨＤＲ画像の同一の画素位置である対応画素の画素値の差分絶対値と予め設定した閾値を比較して、差分絶対値が閾値以上であれば「動き量が大」または「動きあり」、差分絶対値が閾値未満であれば「動き量が小」または「動きなし」と判定する。
【００９４】
このように、現在時刻画像から生成したＨＤＲ画像と、過去時刻画像から生成したＨＤＲ画像の対応画素の画素値の差分絶対値に基づいて動き量を判定する。
動き適応処理部２５８は、図１６に示すように、ブレンド率算出部２８３を有し、動き検出部２５７の判定する画素単位の動き量の大小に応じて、
（ａ）現在時刻画像２０６と過去時刻画像２０７の２つの画像に基づいてＨＤＲ合成処理部２５４の生成したＨＤＲ画像と、
（ｂ）現在時刻画像２０６のみに基づいてＨＤＲ合成処理部２５５の生成したＨＤＲ画像と、
上記（ａ），（ｂ）の２つの画像の対応画素の画素値のブレンド率２８４を決定してブレンド処理を実行する。
【００９５】
予め設定した閾値より大きい動き量の画素については、
（ｂ）現在時刻画像２０６のみに基づいてＨＤＲ合成処理部２５５の生成したＨＤＲ画像の画素値のブレンド率を大きくする。
また、予め設定した閾値未満の動き量の画素については、
（ａ）現在時刻画像２０６と過去時刻画像２０７の２つの画像に基づいてＨＤＲ合成処理部２５４の生成したＨＤＲ画像の画素値のブレンド率を大きくする。
具体的には、例えば図１７に示す動き量に応じたブレンド率αが利用される。
【００９６】
動き適応処理部２５８は、このようなブレンド率の設定に基づいて、上記（ａ），（ｂ）の２つの画像の各画素のブレンド処理を実行する。
このような処理によって、動きの多い画素位置については、
（ｂ）現在時刻画像２０６のみに基づいてＨＤＲ合成処理部２５５の生成したＨＤＲ画像の画素値の重みを大きく設定したブレンド処理、
動きの少ない画素位置については、
（ａ）現在時刻画像２０６と過去時刻画像２０７の２つの画像に基づいてＨＤＲ合成処理部２５４の生成したＨＤＲ画像の画素値の重みを大きく設定したブレンド処理、
これらのブレンド処理によって、ＨＤＲ画像が生成される。
なお、動き検出については、さらに、ノイズやエッジを考慮して、現在時刻画像の低域成分画像と過去時刻の低域成分画像の差分絶対値を利用する方法などもある。
【００９７】
図１１に示すＨＤＲ処理部２０８の最終処理部である階調変換処理部２５９では、図１５を参照して説明したＨＤＲ合成処理によって拡大したレンジを圧縮する処理が実行される。
【００９８】
図１５を参照して説明したＨＤＲ合成処理によって、例えば、従来のイメージセンサ出力に対し、図１５に示す感度比Ｒ２７１の分だけレンジが拡大することになる。
この拡大されたレンジのままでは、後段のカメラ信号処理部２１０（図６参照）では信号処理が実行できない場合がある。
【００９９】
このような不具合を防止するため、階調変換処理部２５９では、図１５を参照して説明したＨＤＲ合成処理によって拡大したレンジを圧縮する処理が実行される。
なお、このように従来のセンサ出力のレンジまで圧縮する手法は階調変換、Ｔｏｎｅ Ｒｅｐｒｏｄｕｃｔｉｏｎ処理などとして知られている。
例えば、非特許文献３（Ｅｒｉｋ Ｒｅｉｎｈａｒｄ， ｅｔ ａｌ． Ｐｈｏｔｏｇｒａｐｈｉｃ Ｔｏｎｅ Ｒｅｐｒｏｄｕｃｔｉｏｎ ｆｏｒ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ， ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｕｔａｈ．ｅｄｕ／〜ｒｅｉｎｈａｒｄ／ｃｄｒｏｍ／ｔｏｎｅｍａｐ．ｐｄｆ）に記載がある。
【０１００】
一例として、センサ出力が１０ｂｉｔで、露光比Ｒが１０倍のときの階調変換例を図１８に示す。
センサ出力の最大値は１０２３であり、露光比Ｒ＝１０であるとき、階調変換処理部２５９は最大１０２３０（１０２３×１０）の値を持つ画像を得る。階調変換処理部２５９では、図１８に示すような曲線によって、ＨＤＲ画像を通常の１０ｂｉｔのレンジまで圧縮することにより、後段の処理を従来通りの処理が適用できるようにする。
図１８の曲線は、非特許文献３のように画像の輝度平均、最大輝度など統計量を使用して、画像に依存した曲線を生成する。
【０１０１】
［２．その他の実施例について］
次に、上述した実施例と異なるその他の実施例について説明する。
（２−１．イメージセンサの様々な露光制御例について）
上述した実施例では、イメージセンサ２０２の露光制御処理として、図４を参照して説明したように、２行単位で、
短時間露光を行う低感度画素、
長時間露光を行う高感度画素、
この設定で、画素感度の切り替え制御を行う構成としていた。
【０１０２】
イメージセンサ２０２の露光制御処理構成は、この図４に示す設定に限らず、様々な設定が可能である。様々な制御構成に対して本開示の画像処理を適用することが可能である。例えば、
図１９、図２０に示すように、１行ごとに短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを設定する構成としてもよい。このような制御構成に対して本開示の画像処理を適用することも可能である。
なお、図１９、図２０において、白い画素位置が長時間露光を行う高感度画素を示し、グレーの画素位置が短時間露光を行う低感度画素を示している。なお、以下に説明する図２１〜図２５においても同様である。
【０１０３】
また、図２１に示すように、ベイヤー（Ｂａｙｅｒ）配列の周期である２行２列からなる４画素を単位として短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを設定する構成としてもよい。
【０１０４】
また、図２２に示すように、ベイヤー（Ｂａｙｅｒ）配列において各色の各感度画素が均一、すなわち、高感度のＲ画素、低感度のＲ画素、高感度のＧ画素、低感度のＧ画素、高感度のＢ画素、低感度のＢ画素のそれぞれを均一に配置する設定とした露光制御を行う構成としてもよい。
【０１０５】
また、上述した例はすべてベイヤー（Ｂａｙｅｒ）配列を有するイメージセンサ（撮像素子）に対する制御構成例であるが、本開示の処理は、ベイヤー（Ｂａｙｅｒ）配列以外の配列を有するイメージセンサ（撮像素子）に対しても適用できる。
例えば、図２３に示すように、ＲＧＢ以外にホワイト（Ｗ）画素を持つＲＧＢＷ構成の非ベイヤー（Ｂａｙｅｒ）配列に対して利用可能である。
図２３に示す露光制御例は、ＲＧＢＷ画素配列を持つイメージセンサにおいて、４行４列からなる１６画素を単位として短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを設定する構成とした例である。このような制御構成に対して本開示の画像処理を適用することも可能である。
【０１０６】
さらに、図２３と同様、図２４に示すようなＲＧＢＷ画素からなる非ベイヤー（Ｂａｙｅｒ）配列構成を持つイメージセンサに、図２４に示すような設定で短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを設定した構成に対して本開示の画像処理を適用することも可能である。
【０１０７】
また、図２５に示すように、正方格子を４５度回転させた画素撮像素子構成に、図２５に示すような設定で短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを設定した構成に対して本開示の画像処理を適用することも可能である。
【０１０８】
また、図２６に示すように、２×２の４画素単位でＲまたはＧまたはＢの同一色配列を持つ画素配列として、斜めライン方向に短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを１ライン交互に設定した構成としてもよい。このような制御構成に対して本開示の画像処理を適用することも可能である。
さらに、図２７に示すように、ＲＧＢ配列において、１行ごとに短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを設定する構成としてもよい。このような制御構成に対して本開示の画像処理を適用することが可能である。
【０１０９】
また、上述した例では、
短時間露光を行う低感度画素、
長時間露光を行う高感度画素、
この２つの異なる画素感度を設定した例を説明したが、さらに、３つ以上の異なる感度の画素を設定し、これらの３以上の異なる感度の画素を利用してＨＤＲ画像を生成する設定としもよい。
なお、図２８に示す例は、４つの異なる感度の画素を設定した例である。すなわち、
高感度画素（最長時間露光）
中高感度画素（長時間露光）
中低感度画素（短時間露光）
低感度画素（最短時間露光）
これらの４つの異なる感度の画素を設定した例である。本開示の画像処理は、このような３以上の感度の画素を持つイメージセンサの出力に対して適用することも可能である。
【０１１０】
なお、この場合、図１２、図１３を参照して説明したフレーム間補間処理部２５１、フレーム内補間処理部２５２，２５３では、補間処理によって、
低感度画像、
中低感度画像、
中高感度画像、
高感度画像、
これらの４つの画像を生成する。
【０１１１】
また、図１５を参照して説明したＨＤＲ（高ダイナミックレンジ）合成処理部２５４〜２５６は、
低感度画像、
中低感度画像、
中高感度画像、
高感度画像、
これらの画像を入力して、ＨＤＲ画像を生成する。
【０１１２】
ブレンド率算出部２７３は、
低感度画像、
中低感度画像、
中高感度画像、
高感度画像、
これら４つの画素の、同じ位置にある対応画素位置の各画素値を参照し、
最高感度画像の画素値が予め設定した閾値Ｔｈ１より、小さい時には高感度画像の重みを大きくし、
高感度画像の画素値が予め設定した閾値Ｔｈ１より大きく、閾値Ｔｈ２より小さい時には中高感度画像の重みを大きくし、
高感度画像の画素値が予め設定した閾値Ｔｈ２より大きく、閾値Ｔｈ３より小さい時には中低感度画像の重みを大きくし、
高感度画像の画素値が予め設定した閾値Ｔｈ３より大きく、閾値Ｔｈ４より小さい時には低感度画像の重みを大きくするように、各感度画像の対応画素の画素値のブレンド率を決定してブレンドを実行して、ＨＤＲ画像の画素値を決定する。
【０１１３】
図２８に示すように、イメージセンサ２０２の感度を４パターンとした場合の画像処理装置の構成例を図２９に示す。
イメージセンサ２０２には、異なる感度の画素が４種類、設定されているため、図２９に示すように、フレームメモリ３０１，３０２，３０３を用いて、連続撮影される４つの画像、すなわち、図３０に示すように、
時間ｔ４に撮影された現在時刻画像（ｔ４）３０４、
時間ｔ３に撮影された過去時刻画像（ｔ３）３０５、
時間ｔ２に撮影された過去時刻画像（ｔ２）３０６、
時間ｔ１に撮影された過去時刻画像（ｔ１）３０７、
これらの４つの画像を使用して画像処理を行う。
【０１１４】
ＨＤＲ画像処理部３０８の内部構成と処理について、図３０を参照して説明する。
フレーム間補間処理部３１１では、４つの連続撮影画像３０４〜３０７を用いて、４つの画像、すなわち、
低感度画像、
中低感度画像、
中高感度画像、
高感度画像、
これらの画像を生成する。この処理は、先に図１２を参照して説明した２つの連続撮影画像から２つの異なる感度の画像を生成する処理を拡張して、４つの画像を適用して４つの異なる感度の画像を生成する処理によって実現される。
【０１１５】
フレーム内補間処理部３１２は、現在時刻画像（ｔ４）３０４を用いた１フレームの画像に基づいて、
４つの画像、すなわち、
最低感度画像、
低感度画像、
高感度画像、
最高感度画像、
これらの画像を生成する。この処理は、先に図１３を参照して説明した２つの感度画素からなる１つ撮影画像から２つの異なる感度の画像を生成する処理を拡張して、４つの感度画素からなる１つの画像を適用して４つの異なる感度の画像を生成する処理によって実現される。
【０１１６】
フレーム内補間処理部３１３は、過去時刻画像（ｔ３）３０５を用いた１フレームの画像に基づいて、
４つの画像、すなわち、
低感度画像、
中低感度画像、
中高感度画像、
高感度画像、
これらの画像を生成する。この処理も、先に図１３を参照して説明した２つの感度画素からなる１つ撮影画像から２つの異なる感度の画像を生成する処理を拡張して、４つの感度画素からなる１つの画像を適用して４つの異なる感度の画像を生成する処理によって実現される。
【０１１７】
ＨＤＲ合成処理部３１４，３１５，３１６の構成と処理について図３１を参照して説明する。
ＨＤＲ合成処理部３１４，３１５，３１６は図３１に示すように、先に、図１５を参照して説明した２つの感度画像（低感度画像と高感度画像）のブレンド処理によって１つのＨＤＲ画像を生成する処理を、複数段、組み合わせて、最終的なＨＤＲ画像Ｄｏを生成する。
【０１１８】
図３１に示すように、まず、低感度画像Ｄ１と中低感度画像Ｄ２を図１５に示す構成と同様の構成を持つブレンド実行部３２１に入力し、ブレンド実行部３２１において、先に図１５を参照して説明したと同様のブレンド処理を実行して１つの第１ブレンド画像を生成する。
【０１１９】
次に、この第１ブレンド画像と、中高感度画像Ｄ３を図１５に示す構成と同様の構成を持つブレンド実行部３２２に入力し、ブレンド実行部３２２において、先に図１５を参照して説明したと同様のブレンド処理を実行して１つの第２ブレンド画像を生成する。
【０１２０】
次に、この第２ブレンド画像と、高感度画像Ｄ４を図１５に示す構成と同様の構成を持つブレンド実行部３２３に入力し、ブレンド実行部３２３において、先に図１５を参照して説明したと同様のブレンド処理を実行して最終的なＨＤＲ画像Ｄｏである第３ブレンド画像を生成する。
【０１２１】
（２−２．フレームメモリを不要とした実施例について）
次に、フレームメモリを不要とした実施例について、図３２を参照して説明する。図３２に示す画像処理装置（撮像装置）は、先に実施例１として説明した図６の画像処理装置構成中のフレームメモリ２０５を削除し、イメージセンサ２０２の出力であるセンサ画像２０４を直接、ＨＤＲ（高ダイナミックレンジ）処理部４０１に入力する点で、図６に示す構成と異なっている。
【０１２２】
イメージセンサ２０２の制御方法、および、その出力画像であるセンサ画像２０３は、図６以下を参照して説明した実施例１と同様である。
フレームメモリを使用せずに１つのフレームの画像のみで処理を行う点が異なっている。本構成例のＨＤＲ処理部４０１の構成と処理玲について、図３３を参照して説明する。
【０１２３】
本構成例のＨＤＲ処理部４０１は、図３３に示すように、
フレーム内補間処理部４０２、ＨＤＲ合成処理部４０３、階調変換処理部４０４を順に接続した構成を持つ。
フレーム内補間処理部４０２は、イメージセンサ２０２の出力画像であるセンサ画像２０３を入力して、先に図１３を参照して説明したと同様のフレーム内補間処理を実行して、２つの異なる感度画像、すなわち低感度画像と高感度画像を生成して後段のＨＤＲ合成処理部４０３に出力する。
【０１２４】
ＨＤＲ合成処理部４０３は、フレーム内補間処理部４０２の出力する低感度画像と高感度画像を適用したブレンド処理によってＨＤＲ画像を生成する。この処理は、先に図１５を参照して説明した処理と同様の処理である。
階調変換処理部４０４は、ＨＤＲ合成処理部４０３の出力するＨＤＲ画像の階調変換処理を実行する。この処理は、先に図１８を参照して説明した後段のカメラ信号処理部における処理可能な階調に設定する処理として行われる。
【０１２５】
この実施例は、先にフレーム説明した実施例１において実行していたフレーム間補間処理を行わず、イメージセンサの出力画像であるセンサ画像２０４に基づいて、フレーム内補間を実行して、各フレーム対応の低感度画像と高感度画像を生成し、これらの各画像を適用したブレンド処理によってＨＤＲ画像を生成する構成である。
【０１２６】
本構成例において生成されるＨＤＲ画像は、結果として、イメージセンサ２０２の出力するセンサ画像２０４より解像度の低い画像となる。
しかし、先に図１０を参照して説明したように、イメージセンサ２０２の出力するセンサ画像は、各フレーム単位で露光制御パターンが切り替わり、先行フレームにおける高感度画素は後続フレームでは低感度画素に設定され、先行フレームにおける低感度画素は後続フレームでは高感度画素に設定される。すなわち、画像の位相はフレームごとに異なっている。そのため、後段のカメラ信号処理部２５３においてフレームメモリを使用する処理を行う場合には、カメラ信号処理部２５３で解像度の復元を行うことは十分可能となる。さらに、後段の処理においてフレームメモリを使用しない場合でも、フレームレートが十分に速ければ、人間の視覚特性により、解像度の劣化を目立たなくすることが可能である。
【０１２７】
（２−３．イメージセンサ出力に際して画素加算処理または間引き処理を行う構成例について）
次に、イメージセンサ出力に際して画素加算処理または間引き処理を行う構成例について説明する。
【０１２８】
イメージセンサは、昨今、高解像度の画像を撮影するため画素数が飛躍的に増加している。しかし、後段の画像処理部における処理能力や、画像出力帯域の制限や、ＡＤ変換器の速度の制約等の関係で、イメージセンサの全ての画素の画素値を出力せず、解像度を落として、例えば、イメージセンサの２画素の画素値に基づいて出力画像の１つの画素値を決定して出力するといった画素加算処理や間引き処理を行う構成としたものがある。
【０１２９】
図３４は、イメージセンサの４つの画素情報から１つの画素情報を生成する例を示している。
（ａ）撮像画素配列
（ｂ）出力画素配列
これらの画素配列を示している。
イメージセンサの撮影画像は、（ａ）撮像画素配列であるが、これをイメージセンサから後段の処理部に出力するに際して、画素数を削減して（ｂ）出力画素配列の設定とする。この例は、８×８画素を４×４画素とする１／４の画素数削減を行っている例である。
【０１３０】
このような画素数削減の手法としては、画素間引きと、画素加算がある。
画素間引きを行う場合、例えば、
（ｂ）出力画素配列の左上端の出力画素Ｒｏ１１については以下のようにして出力画素値を決定する。
なお、Ｒｏ１１の、Ｒは画素の色、ｏは出力（ｏｕｔｐｕｔ）、１１は座標位置（ｘ，ｙ）＝（１，１）を意味する。
（ｂ）出力画素配列の左上端の出力画素Ｒｏ１１について、（ａ）撮像画素配列の左上端の４×４の画素領域に含まれる４つのＲ画素から１つのＲ画素のみを選択して、
Ｒｏ１１＝Ｒ１１
上記のように、（ａ）撮像画素配列の対応画素位置（４×４画素領域）に含まれるいずれか１つの画素出力のみを利用して出力画素値Ｒｏ１１を設定する。
【０１３１】
画素加算処理を行う場合は、
Ｒｏ１１＝ａ×Ｒ１１＋ｂ×Ｒ１３＋ｃ×Ｒ３１＋ｄ×Ｒ３３
のように、（ａ）撮像画素配列の左上端の４×４の画素領域に含まれる４つのＲ画素に基づく重みつき平均を出力する。
ａ，ｂ，ｃ，ｄは予め決定した重みであり、例えば、出力画素位置との距離やエッジ方向などを考慮して設定される。
図３５は、同じ感度の画素同士で、画素加算を行った例である。
画素加算による出力画素配列は、図９を参照して説明した２行単位で短時間露光画素と長時間露光画素を設定した配列と同じ配列であり、先に説明した図６の構成による画像処理が適用できる。
【０１３２】
なお、イメージセンサの撮影画像の画素数を削減して出力する具体的構成としては、例えば、撮像素子のＡＤ変換部において複数の画素から１つの画素を選択する構成によって実現可能である。この構成は、例えば、非特許文献４［Ｓａｔｏｓｈｉ Ｙｏｓｈｉｈａｒａ， ｅｔ ａｌ． １／１．８−ｉｎｃｈ ６．４ＭＰｉｘｅｌ ６０ ｆｒａｍｅｓ／ｓ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ Ｓｅａｍｌｅｓｓ Ｍｏｄｅ Ｃｈａｎｇｅ， ２００６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ Ｃｏｎｆｅｒｅｎｃｅ， ｐｐ．４９２−４９３ （２００６）．］に記載されている。
【０１３３】
イメージセンサの各画素の出力値をデジタル値に変換するＡＤ変換回路において、イメージセンサの複数の画素を交互に読み出し、画素値を参照し、どちらか一方を選択して出力値とする構成である。
【０１３４】
本開示の画像処理装置は、このような複数の画素情報を使用して１つの画素情報を出力する構成を持つ撮像装置にも適用できる。
【０１３５】
図３６、図３７を用いて、複数の画素の一方を選択して出力するイメージセンサの駆動例について説明する。
図３６（Ａ），（Ｂ）に示すように、垂直走査回路は、感度の異なる画素を２回に分けて読み出す。
まず、高感度画素４２１を読み出し、次に低感度画素４２２を読み出す。
その後、図３７に示すように、読み出し画素である。
高感度画素Ｄｂ、
低感度画素Ｄｄ、
これらについて、選択出力を行う。
具体的には、高感度画素Ｄｂと予め設定した閾値Ｔｈを比較し、
高感度画素Ｄｂの画素値が閾値Ｔｈ未満である場合は、セレクタにおいて、高感度画素Ｄｂを選択出力する。
高感度画素Ｄｂの画素値が閾値Ｔｈ以上である場合は、セレクタにおいて、低感度画素Ｄｄに感度比Ｒを乗算した画素値を出力する。
【０１３６】
図３７に示す構成では、高感度画素Ｄｂ、低感度画素Ｄｄ、出力画素Ｄｏとすると
・ＤｂがＴｈより小さい場合、
Ｄｏ＝Ｄｂ
・それ以外の場合は、
Ｄｏ＝Ｄｄ×Ｒ
となり、センサ出力画像がＨＤＲ画像となっている。
【０１３７】
この読み出し手法と、本開示のＨＤＲ画像生成手法を併用した例を示す。
図３７に示す手法では、シーンが暗い時は高感度画素のみを使用して出力し、シーンが明るいときは低感度画素のみを使用して出力することになる。
【０１３８】
例えば、イメージセンサの撮像画素配列が、図３８に示すように連続撮影画像において配列１、配列２と空間的、時間的に画素の感度を変化させるように制御する構成において、シーンが暗い場合、高感度画素のみを使用して画素加算が実行されて出力画素配列の構成画素の画素値が設定される。この場合、イロージセンサの出力に対して出力ＨＤＲ画像の位相はずれて出力される。
【０１３９】
図３７に示す手法、すなわち、シーンが暗い時は高感度画素のみを使用して出力し、シーンが明るいときは低感度画素のみを使用して出力する構成におけるＨＤＲ処理部の構成と処理例を図３９に示す。
【０１４０】
図３９に示すＨＤＲ処理部２０８は、先に図１１を参照して説明したＨＤＲ処理部２０８に含まれるＨＤＲ合成処理部２５４〜２５６を省略した構成となっている。
この図３９に示す構成では、すでにイメージセンサからＨＤＲ処理部２０８に対する入力時点で、画素の明るさに応じた最適な画素の選択処理が実行されている。この処理によって、図１１に示すＨＤＲ合成処理部２５４〜２５６の処理がしうりゃく可能となる。
【０１４１】
図４０は、フレーム間補間処理部５０１の処理を説明する図である。
フレーム間補間処理部５０１は、現在時刻画像２０６と過去時刻画像２０７を入力して、これら２つの画像に基づいて、１つの画像を生成する。現在時刻画像２０６と過去時刻画像２０７はいずれも、例えば高感度画素から設定された画像であり、画像の低感度画素位置の画素値が得られていない画像である。フレーム間補間処理部５０１は、この低感度画素位置の画素値を現在時刻画像２０６と過去時刻画像２０７を適用した補間処理によって算出した補間画像を生成する。
【０１４２】
図４１は、フレーム内補間処理部５０２，５０３の処理を説明する図である。
フレーム内補間処理部５０２，５０３は、現在時刻画像２０６、または過去時刻画像２０７を入力して、いずれか１つの画像に基づいて、１つの補間画像を生成する。現在時刻画像２０６と過去時刻画像２０７はいずれも、例えば高感度画素から設定された画像であり、画像の低感度画素位置の画素値が得られていない画像である。フレーム内補間処理部５０２，５０３は、この低感度画素位置の画素値を現在時刻画像２０６または過去時刻画像２０７を適用した補間処理によって算出した補間画像を生成する。
【０１４３】
図３９に示す動き適応処理部５０５〜階調変換処理部５０６における処理は、先に実施例１として説明した処理と同様の処理となる。
この先の実施例においても、実施例１において図１２、図１３ヲ参照して説明したように、空間的、時間的な補間処理を行うことによって、動きに追随し解像度を高めた高解像度画像の生成が実現される。
【０１４４】
なお、上述した例では、、シーンが暗い時は高感度画素のみを使用して出力し、シーンが明るいときは低感度画素のみを使用して出力する構成における処理について説明したが、高感度画素と低感度画素の双方から、１つの出力画素値を設定する構成に対して図３９に示すＨＤＲ処理部２０８を適用した高解像度化処理が可能である。
【０１４５】
具体的には、画素数削減を施したイメージセンサの出力構成として、図４２や、図４３に示すように、高感度画素と低感度画素の双方から、１つの出力画素値を設定する構成とした場合にも図３９に示すＨＤＲ処理部２０８を適用した高解像度化処理が可能である。
【０１４６】
図４２に示す例は、先行撮影画像は配列１、その後のタイミングの後続撮影画像は配列２の設定とした露光制御例であり、空間的に画素の感度を変化させ、時間的な感度変化は行わない露光制御例を示している。
【０１４７】
この構成において、画素数削減を行った出力（ＨＤＲ処理部に対する入力）の構成画素を、参照画素位置を時間的に切り替えている。
図４３は、空間的、時間的に画素の感度を変化させ、さらに、図４２と同様、１つの画素情報を出力するために参照する複数の画素を切り替える手法である。
このような画素数削減における処理を実行した画像を図３９に示すＨＤＲ処理部２０８に入力して前述の処理を行うことでＨＤＲ（高ダイナミックレンジ）画像を生成して出力することができる。
【０１４８】
［３．本開示の画像処理装置と従来構成との比較］
次に、上述した本開示の画像処理装置の処理と、従来構成の処理を比較して、本開示の画像処理装置における効果について説明する。
高ダイナミックレンジ撮像を実現する従来技術として、先に図１、図２を参照して説明した方法がある。この従来手法は、２つの画像を使って１つの画像を生成するため、フレームレートがセンサ出力の半分になってしまうという問題があった。
さらに１つのＨＤＲ画像を生成するためのメモリ使用帯域は、フレームメモリに書き込み２フレーム、読み出し２フレームであった。
【０１４９】
これに対して、本開示の画像処理装置、すなわち、図６〜図１０を参照して説明した構成では、出力されるＨＤＲ画像のフレームレートはセンサのフレームレートと同じに設定できるという利点がある。
さらに、１つのＨＤＲ画像を生成するためのフレームメモリの使用帯域は、書き込み１フレーム、読み込み１フレームであり、従来法に比較して半分のメモリ帯域で済むという利点もある。
【０１５０】
また、高ダイナミックレンジ撮像を実現する従来技術として、先に図３〜図５を参照して説明した方法がある。この手法は、１枚の画像に設定した感度の異なる画素情報を用いた手法である。
この手法の問題点は、先に説明したように解像度の劣化である。
【０１５１】
これに対して、本開示の画像処理装置では、例えば、図１２に示すようなフレーム間補間処理を行って、連続撮影された露光パターンの異なる複数画像を利用してＨＤＲ画像の生成情報を作成する構成であり、連続撮影された画像の実際の画素値を利用することで、少なくとも静止画領域については、撮影時のイメージセンサ出力であるＢａｙｅｒ配列と同じ高解像度を実現することができる。
【０１５２】
［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１５３】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する画像処理装置にある。
【０１５４】
（２）前記ＨＤＲ合成処理部は、前記動き検出情報が動きありを示す画素位置については、前記第２合成画像のブレンド率を高め、前記動き検出情報が動きなしを示す画素位置については、前記第１合成画像のブレンド率を高めた画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する前記（１）に記載の画像処理装置。
（３）前記ＨＤＲ処理部は、連続撮影された複数画像に存在する複数の異なる感度画素をそのまま利用して複数の異なる感度画像を生成するフレーム間補間処理部を有し、前記フレーム間補間処理部の生成した複数の異なる感度画像の画素値合成によって前記第１合成画像を生成する前記（１）または（２）に記載の画像処理装置。
【０１５５】
（４）前記画像処理装置は、異なる撮影時刻の画像の対応画素の画素値を比較して、画素単位の動き検出を実行して前記動き検出情報を生成する動き検出部と、前記動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する動き適応処理部を有する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記動き検出部は、連続撮影された複数画像中の最新画像である現在時刻画像のみを利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した前記第２合成画像と、連続撮影された複数画像中の最新画像より前の撮影画像である過去時刻画像のみを利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第３合成画像との画像比較に基づいて、画素単位の動き検出を実行して前記動き検出情報を生成する前記（１）〜（４）いずれかに記載の画像処理装置。
【０１５６】
（６）前記画像処理装置は、さらに、前記ＨＤＲ合成処理部の生成した高ダイナミックレンジ（ＨＤＲ）画像を入力し、該高ダイナミックレンジ（ＨＤＲ）画像の画素値のビット数削減を行う階調変換処理部を有する前記（１）〜（５）ていずれかに記載の画像処理装置。
【０１５７】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１５８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１５９】
以上、説明したように、本開示の一実施例の構成によれば、撮影画像に基づいて高品質な高ダイナミックレンジ画像を生成する装置および方法が実現される。
具体的には、イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影した画像を入力して画像処理を実行する画像処理（ＨＤＲ処理）部を有する。画像処理部は、連続撮影された複数画像を利用した補間処理によって複数の感度画像を生成し、生成した複数の感度画像の合成によって第１合成画像を生成し、また、単一の撮影画像の補間処理によって複数の異なる感度画像を生成し、生成した複数の感度画像の合成によって第２合成画像を生成する。さらに、動き検出情報に応じて算出するブレンド率に応じて、第１合成画像と第２合成画像の画素値ブレンドを実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する。この処理により解像度劣化を最小限に抑えた高ダイナミックレンジ画像が生成される。
【符号の説明】
【０１６０】
１０１ レンズ
１０２ イメージセンサ（撮像素子）
１０３ センサ画像
１０４ フレームメモリ
１０５ 高感度画像
１０６ 低感度画像
１０７ ＨＤＲ処理部
１０８ ＨＤＲ画像
１０９ カメラ信号処理部
１１０ 出力画像
１１１ レンズ
１１２ イメージセンサ（撮像素子）
１１３ センサ画像
１１４ ＨＤＲ処理部
１１５ ＨＤＲ画像
１１６ カメラ信号処理部
１１７ 出力画像
２０１ レンズ
２０２ イメージセンサ（撮像素子）
２０３ 露光時間情報
２０４ センサ画像
２０５ フレームメモリ
２０６ 現在時刻画像
２０７ 過去時刻画像
２０８ ＨＤＲ処理部
２０９ ＨＤＲ画像
２１０ カメラ信号処理部
２１１ 出力画像
２１２ 制御部
２２１ 制御回路
２２２ 垂直走査回路
２２３ 水平走査回路
２２４ 画素
２３１ 行リセット線
２３２ 行選択線
２３３ 列信号線
２３４ 信号出力線
２５１ フレーム間補間処理部
２５２，２５３ フレーム内補間処理部
２５４〜２５６ ＨＤＲ合成処理部
２５７ 動き検出部
２５８ 動き適応処理部
２５９ 階調変換処理部
２７１ 感度比情報
２７２ 乗算部
２７３ ブレンド率算出部
２７４ ブレンド処理部
２７５ ＨＤＲ画像
２８１ 現在時刻ＨＤＲ画像
２８２ 過去時刻ＨＤＲ画像
２８３ ブレンド率算出部
２８４ ブレンド率
３０１〜３０３ フレームメモリ
３０４ 現在時刻画像
３０５〜３０７ 過去時刻画像
３０８ ＨＤＲ処理部
３０９ ＨＤＲ画像
３１１ フレーム間補間処理部
３１２，３１３ フレーム内補間処理部
３１４〜３１６ ＨＤＲ合成処理部
３２１〜３２３ ブレンド実行部
４０１ ＨＤＲ処理部
４０２ フレーム内補間処理部
４０３ ＨＤＲ合成処理部
４０４ 階調変換処理部
４２１ 高感度画素
４２２ 低感度画素
５０１ フレーム間補間処理部
５０２，５０３ フレーム内補間処理部
５０４ 動き検出部
５０５ 動き適応処理部
５０６ 階調変換処理部
【技術分野】
【０００１】
本開示は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。特に、ダイナミックレンジの広い画像を生成する画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
【０００３】
このような現象を防止するため、被写体の輝度等に応じて光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【０００４】
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
【０００５】
このような処理を実現する手法として、連続的に露光時間の異なる複数の画像を撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像を得ることができる。
【０００６】
このように、ダイナミックレンジの広い撮像を行うことを、高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）、あるいは、広ダイナミックレンジ（ＷＤＲ：Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮像などという。
【０００７】
高ダイナミックレンジ撮像を実現する複数の従来技術について説明する。
高ダイナミックレンジ撮像の一つの方法は、例えば特許文献１〜３、非特許文献１に記載がある感度の異なる複数の画像を撮影して、これらの複数の画像を合成する手法である。
この手法を適用した撮像装置の構成と処理例について、図１、図２を参照して説明する。
【０００８】
図１に示す撮像装置のレンズ１０１を介してイメージセンサ（撮像素子）１０２に入力した入射光は光電変換によってセンサ画像１０３を出力する。センサ画像１０３はフレームメモリ１０４に格納される。
撮像装置は、画像撮影時に長時間露光を実行した高感度画像１０５と、短時間露光を行った低感度画像１０６の２つの画像を連続的に撮影してフレームメモリ１０４に格納し、後段のＨＤＲ（高ダイナミックレンジ）処理部１０７に入力する。
【０００９】
ＨＤＲ（高ダイナミックレンジ）処理部１０７は、長時間露光を実行した高感度画像１０５と、短時間露光を行った低感度画像１０６の２つの画像を合成して１つのＨＤＲ（高ダイナミックレンジ）画像１０８を生成する。
ＨＤＲ（高ダイナミックレンジ）画像１０８は、その後、カメラ信号処理部１０９においてホワイトバランス調整、ガンマ補正、デモザイク処理等、一般的なカメラにおいて行われる信号処理を実行して出力画像１１０を生成する。
【００１０】
この処理の処理シーケンスについて図２を参照して説明する。図２には、左から右に進む時間軸に従って、以下の各画像の生成タイミングを示している。
（ａ）センサ画像１０３出力タイミング
（ｂ）低感度画像１０５出力タイミング
（ｃ）高感度画像１０５出力タイミング
（ｄ）ＨＤＲ画像１０８出力タイミング
【００１１】
時間ｔ１において、低感度画像＃１が撮影され、イメージセンサ１０２から出力される。
時間ｔ２において、高感度画像＃２が撮影され、イメージセンサ１０２から出力される。
その後ｔ３，ｔ４・・・と、交互に低感度画像と高感度画像が撮影される。
【００１２】
フレームメモリ１０４からＨＤＲ処理部１０７に対して、
時間ｔ３で、撮影済みの低感度画像＃１と高感度画像＃２が出力され、
これらの２画像の合成処理によって、１枚のＨＤＲ画像＃１，＃２が生成される。
以下、ｔ５において、撮影済みの低感度画像＃３と高感度画像＃４がフレームメモリ１０４からＨＤＲ処理部１０７に出力され、
これらの２画像の合成処理によって、１枚のＨＤＲ画像＃３，＃４が生成される。
【００１３】
このように、露光時間の短い低感度画像と、露光時間の長い高感度画像をフレームごとに交互に撮像し、フレームメモリに画像を蓄積し、信号処理によって高ダイナミックレンジ画像を生成する。
この手法の問題点として、合成する２つの画像の撮影時刻にズレがあるため、被写体が動いたときの偽色の発生や、二重像になってしまうという問題点がある。
【００１４】
さらに、別の問題点として、複数の画像からの合成が必要であるため、動画像においては、センサのフレームレートに対し、合成後のフレームレートが低下してしまうという問題点がある。
図２の例では２つの画像からＨＤＲ画像を作るため、センサのフレームレートに対して、ＨＤＲ画像のフレームレートが１／２になってしまう。
【００１５】
言い換えると、ＨＤＲ画像を従来のフレームレートで出力するためには、イメージセンサを２倍の速さで駆動させる必要があり、これがコスト増加や消費電力増加の原因となっている。
【００１６】
上記の２枚の撮影画像を合成する方法と異なるもう１つの高ダイナミックレンジ画像生成手法として、例えば、特許文献４、特許文献５や、非特許文献２に記載された構成がある。
この方法は、長時間露光画像と短時間露光画像の２枚の連続撮影画像を用いることなく、１枚の撮影画像に基づいて高ダイナミックレンジ画像を生成する手法である。
【００１７】
例えば撮像素子の露光時間を画素単位で異なる設定として、１枚の撮影画像中に、長時間露光画素と短時間露光画素を設定して画像撮影を行う。
この１枚の撮影画像に含まれる長時間露光画素の画素値と、短時間露光画素の画素値を利用して１枚の高ダイナミックレンジ画像を生成する手法である。
この手法を適用した撮像装置の構成と処理例について、図３〜図５を参照して説明する。
【００１８】
図３に示す撮像装置のレンズ１１１を介してイメージセンサ（撮像素子）１１２に入力した入射光は光電変換によってセンサ画像１１３を出力する。イメージセンサ（撮像素子）１１２は、図示しない制御部の制御によって、画素単位で露光時間制御が行われ、１枚の画像中に長時間露光画素と短時間露光画素が設定されている。このセンサ画像１１３は、ＨＤＲ（高ダイナミックレンジ）処理部１１４に入力される。
【００１９】
ＨＤＲ（高ダイナミックレンジ）処理部１１４は、１枚の撮影画像に含まれる長時間露光画素である高感度画素と、短時間露光画素である低感度画素の２つの画素を合成して１つのＨＤＲ（高ダイナミックレンジ）画像１１５を生成する。具体的には、例えば、長時間露光画素である高感度画素が飽和していない画素については高感度画素の画素値を選択して利用し、高感度画素が飽和した画素については近傍の低感度画素の画素値を選択するといった画素値合成処理を行う。ＨＤＲ（高ダイナミックレンジ）画像１１５は、その後、カメラ信号処理部１１６においてホワイトバランス調整、ガンマ補正、デモザイク処理等、一般的なカメラにおいて行われる信号処理を実行して出力画像１１７を生成する。
【００２０】
なお、イメージセンサ１１２は、例えば図４に示すように、低感度画素と高感度画素が周期的に配置される。この設定で、２枚の画像を用いることなく１枚の画像からＨＤＲ画像を生成することを可能としている。
【００２１】
図５は、この処理のシーケンスを示している。
図５には、左から右に進む時間軸に従って、以下の各画像の生成タイミングを示している。
（ａ）センサ画像１１３出力タイミング
（ｂ）ＨＤＲ画像１１５出力タイミング
【００２２】
時間ｔ１において、センサ画像＃１がイメージセンサ１１２から出力される。
時間ｔ２において、センサ画像＃２がイメージセンサ１１２から出力される。
その後ｔ３，ｔ４・・・と、順次センサ画像が出力される。
このセンサ画像の各々は、低感度画素と高感度画素が設定された画像である。
【００２３】
センサ画像１１３は、即座にＨＤＲ処理部１１４に入力され、ＨＤＲ画像１１５が、ほとんど時間遅れなく生成される。
この構成では、先に説明した構成とは異なり、１つの撮影画像フレームからＨＤＲ画像を生成可能である。従って、図３に示すようにフレームメモリが不要となり、また、フレームレートを低下させることもない。
【００２４】
ただし、この手法による問題点として以下の問題点がある。
例えば、撮影被写体が明るい場合には、１枚の撮影画像に含まれる高感度画素が飽和してしまい、低感度画素のみで画像を生成しなければならなくなる。
また、被写体が暗い場合には、低感度画素にノイズが多くなり、高感度画素のみの画素情報によって画像を生成しなければならなくなる。
このような撮影被写体の状況に応じて、有効な画素情報を得られない場合が発生し、その結果、解像度の低下や、色のサンプルが取れないことによる偽色発生など、画質低下を招くという問題がある。
【先行技術文献】
【特許文献】
【００２５】
【特許文献１】特開平２−１７４４７０号公報
【特許文献２】特開平７−９５４８１号公報
【特許文献３】特開平１１−７５１１８号公報
【特許文献４】特開２００６−２５３８７６号公報
【特許文献５】特願２００６−５４２３３７号公報
【非特許文献】
【００２６】
【非特許文献１】Ｏｒｌｙ Ｙａｄｉｄ−Ｐｅｃｈｔ ａｎｄ Ｅｒｉｃ Ｒ． Ｆｏｓｓｕｍ， Ｗｉｄｅ Ｉｎｔｒａｓｃｅｎｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ＣＭＯＳ ＡＰＳ Ｕｓｉｎｇ Ｄｕａｌ Ｓａｍｐｌｉｎｇ， ＩＥＥＥ ｔｒａｎｓ． Ｏｎ ｅｌｅｃｔｒｏｎ ｄｅｖｉｃｅｓ， ｖｏｌ．４４−１０， ｐｐ．１７２１−１７２３， １９９７．
【非特許文献２】Ｊｅｎｗｅｉ Ｇｕ ｅｔ ａｌ， Ｃｏｄｅｄ Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒ Ｐｈｏｔｏｇｒａｐｈｙ： Ｆｌｅｘｉｂｌｅ Ｓｐａｃｅ−Ｔｉｍｅ Ｓａｍｐｌｉｎｇ， Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ（ＩＣＣＰ）， ２０１０．
【発明の概要】
【発明が解決しようとする課題】
【００２７】
本開示は、例えば、上述の問題点に鑑みてなされたものであり、本開示の一実施例構成においては、フレームレートの低下や、画質低下を防止したダイナミックレンジの広い画像を生成する画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００２８】
本開示の一実施例構成においては、イメージセンサの各画素における感度を、空間的かつ時間的に周期的に制御する。さらに、イメージセンサ出力画像に対して、空間的、時間的な周期を考慮した信号処理を行うことにより、フレームレートの低下や、解像度の劣化なしに、高ダイナミックレンジ撮像を実現する画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２９】
本開示の第１の側面は、
イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する画像処理装置にある。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記ＨＤＲ合成処理部は、前記動き検出情報が動きありを示す画素位置については、前記第２合成画像のブレンド率を高め、前記動き検出情報が動きなしを示す画素位置については、前記第１合成画像のブレンド率を高めた画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する。
【００３１】
さらに、本開示の画像処理装置の一実施態様において、前記ＨＤＲ処理部は、連続撮影された複数画像に存在する複数の異なる感度画素をそのまま利用して複数の異なる感度画像を生成するフレーム間補間処理部を有し、前記フレーム間補間処理部の生成した複数の異なる感度画像の画素値合成によって前記第１合成画像を生成する。
【００３２】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、異なる撮影時刻の画像の対応画素の画素値を比較して、画素単位の動き検出を実行して前記動き検出情報を生成する動き検出部と、前記動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する動き適応処理部を有する。
【００３３】
さらに、本開示の画像処理装置の一実施態様において、前記動き検出部は、連続撮影された複数画像中の最新画像である現在時刻画像のみを利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した前記第２合成画像と、連続撮影された複数画像中の最新画像より前の撮影画像である過去時刻画像のみを利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第３合成画像との画像比較に基づいて、画素単位の動き検出を実行して前記動き検出情報を生成する。
【００３４】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記ＨＤＲ合成処理部の生成した高ダイナミックレンジ（ＨＤＲ）画像を入力し、該高ダイナミックレンジ（ＨＤＲ）画像の画素値のビット数削減を行う階調変換処理部を有する。
【００３５】
さらに、本開示の第２の側面は、
イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
単一の撮影画像を利用した補間処理によって複数の異なる感度画像を生成するフレーム内補間処理部と、前記フレーム内補間処理部の生成した複数の異なる感度画像の合成処理により、高ダイナミックレンジ（ＨＤＲ）画像を生成するＨＤＲ合成処理部を有する画像処理装置にある。
【００３６】
さらに、本開示の第３の側面は、
イメージセンサと、
前記イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御を行う制御部と、
前記イメージセンサの撮影画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する撮像装置にある。
【００３７】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、前記イメージセンサに対して、行単位の露光時間の制御を実行するとともに、撮影画像フレーム単位で異なる露光制御を実行する。
【００３８】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、前記イメージセンサの構成画素に対する電荷蓄積開始時間としての行リセットタイミングの制御によって、行単位の露光時間の制御を実行する。
【００３９】
さらに、本開示の撮像装置の一実施態様において、前記撮像装置は、前記イメージセンサの構成画素数より少ない画素数とした画素数削減処理を実行し、該画素数削減処理後の画像を前記ＨＤＲ処理部に出力して高ダイナミックレンジ（ＨＤＲ）画像を生成する。
【００４０】
さらに、本開示の第４の側面は、
画像処理装置において実行する画像処理方法であり、
ＨＤＲ（高ダイナミックレンジ）処理部が、イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行する画像処理ステップを有し、
前記画像処理ステップにおいて、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する画像処理方法にある。
【００４１】
さらに、本開示の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
ＨＤＲ（高ダイナミックレンジ）処理部に、イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行させる画像処理ステップを有し、
前記画像処理ステップにおいて、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成させるプログラムにある。
【００４２】
なお、本開示に係るプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００４３】
本開示の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明の効果】
【００４４】
本開示の一実施例の構成によれば、撮影画像に基づいて高品質な高ダイナミックレンジ画像を生成する装置および方法が実現される。
具体的には、イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影した画像を入力して画像処理を実行する画像処理（ＨＤＲ処理）部を有する。画像処理部は、連続撮影された複数画像を利用した補間処理によって複数の感度画像を生成し、生成した複数の感度画像の合成によって第１合成画像を生成し、また、単一の撮影画像の補間処理によって複数の異なる感度画像を生成し、生成した複数の感度画像の合成によって第２合成画像を生成する。さらに、動き検出情報に応じて算出するブレンド率に応じて、第１合成画像と第２合成画像の画素値ブレンドを実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する。この処理により解像度劣化を最小限に抑えた高ダイナミックレンジ画像が生成される。
【図面の簡単な説明】
【００４５】
【図１】高ダイナミックレンジ画像を得る撮像装置の構成例について説明する図である。
【図２】高ダイナミックレンジ画像を得る撮像装置の処理例について説明する図である。
【図３】高ダイナミックレンジ画像を得る撮像装置の構成例について説明する図である。
【図４】高ダイナミックレンジ画像を得る撮像装置のイメージセンサの露光制御例について説明する図である。
【図５】高ダイナミックレンジ画像を得る撮像装置の処理例について説明する図である。
【図６】高ダイナミックレンジ画像を得る撮像装置の構成例について説明する図である。
【図７】高ダイナミックレンジ画像を得る撮像装置のイメージセンサの構成と処理例について説明する図である。
【図８】高ダイナミックレンジ画像を得る撮像装置のイメージセンサの処理例について説明する図である。
【図９】高ダイナミックレンジ画像を得る撮像装置のイメージセンサの構成と処理例について説明する図である。
【図１０】高ダイナミックレンジ画像を得る撮像装置の処理例について説明する図である。
【図１１】高ダイナミックレンジ画像を得る撮像装置のＨＤＲ処理部の構成と処理例について説明する図である。
【図１２】フレーム間補間処理部の構成と処理例について説明する図である。
【図１３】フレーム内補間処理部の構成と処理例について説明する図である。
【図１４】補間処理の具体例について説明する図である。
【図１５】ＨＤＲ（高ダイナミックレンジ）合成処理部の構成と処理例について説明する図である。
【図１６】ＨＤＲ（高ダイナミックレンジ）処理部の動き検出部の構成と処理について説明する図である。
【図１７】ＨＤＲ（高ダイナミックレンジ）処理部の動き検出部の設定するブレンド率について説明する図である。
【図１８】ＨＤＲ処理部の最終処理部である階調変換処理部の実行する階調変換処理例について説明する図である。
【図１９】イメージセンサの露光制御例について説明する図である。
【図２０】イメージセンサの露光制御例について説明する図である。
【図２１】イメージセンサの露光制御例について説明する図である。
【図２２】イメージセンサの露光制御例について説明する図である。
【図２３】イメージセンサの露光制御例について説明する図である。
【図２４】イメージセンサの露光制御例について説明する図である。
【図２５】イメージセンサの露光制御例について説明する図である。
【図２６】イメージセンサの露光制御例について説明する図である。
【図２７】イメージセンサの露光制御例について説明する図である。
【図２８】イメージセンサの露光制御例について説明する図である。
【図２９】画像処理装置の構成例について説明する図である。
【図３０】ＨＤＲ処理部の構成と処理例について説明する図である。
【図３１】ＨＤＲ合成処理部の構成と処理例について説明する図である。
【図３２】画像処理装置の構成例について説明する図である。
【図３３】ＨＤＲ処理部の構成と処理例について説明する図である。
【図３４】イメージセンサの出力画素数の削減処理例について説明する図である。
【図３５】イメージセンサの出力画素数の削減処理例について説明する図である。
【図３６】イメージセンサの出力画素数の削減処理例について説明する図である。
【図３７】イメージセンサの出力画素数の削減処理例について説明する図である。
【図３８】イメージセンサの出力画素数の削減処理例について説明する図である。
【図３９】ＨＤＲ処理部の構成と処理例について説明する図である。
【図４０】フレーム間補間処理部の構成と処理例について説明する図である。
【図４１】フレーム内補間処理部の構成と処理例について説明する図である。
【図４２】イメージセンサの露光制御例について説明する図である。
【図４３】イメージセンサの露光制御例について説明する図である。
【発明を実施するための形態】
【００４６】
以下、図面を参照しながら、本開示の画像処理装置、撮像装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．画像処理装置の第１実施例の構成と処理について
２．その他の実施例について
２−１．イメージセンサの様々な露光制御例について
２−２．フレームメモリを不要とした実施例について
２−３．イメージセンサ出力に際して画素加算処理または間引き処理を行う構成例について
３．本開示の画像処理装置と従来構成との比較
４．本開示の構成のまとめ
【００４７】
［１．画像処理装置の第１実施例の構成と処理について］
まず、本開示の画像処理装置の第１実施例の構成と処理について説明する。なお、以下の実施例においては、撮像装置を画像処理装置の１つの代表例として説明する。
図６に、撮像装置の構成例を示す。
光学レンズ２０１を通して入射される光は、イメージセンサ２０２によって光電変換され、イメージセンサ２０２からセンサ出力画像２０４が出力される。イメージセンサ２０２は例えばＣＭＯＳ等によって構成される。
【００４８】
イメージセンサ２０２から出力されたセンサ出力画像２０４は、現在時刻画像２０６としてＨＤＲ（高ダイナミックレンジ）処理部２０８に出力されるとともに、フレームメモリ２０５に蓄積される。
【００４９】
ＨＤＲ（高ダイナミックレンジ）処理部２０８は、イメージセンサ２０２から現在時刻画像２０６を入力するとともに、現在時刻画像２０６の前のタイミングで撮影され、フレームメモリ２０５に格納されていた過去時刻画像２０７をフレームメモリ２０５から取得する。
【００５０】
ＨＤＲ（高ダイナミックレンジ）処理部２０８は、
（１）現在時刻画像２０６、
（２）過去時刻画像２０７、
これらの２つの画像を入力する。
すなわち、遅延された過去時刻画像２０７と、遅延しない現在時刻画像２０６を利用して、ＨＤＲ（高ダイナミックレンジ）化処理を実行してＨＤＲ（高ダイナミックレンジ）画像２０９を生成する。この処理の詳細については後述する。
【００５１】
ＨＤＲ（高ダイナミックレンジ）処理部２０８の生成したＨＤＲ画像２０９は、カメラ信号処理部２１０に入力され、カメラ信号処理部２１０においてホワイトバランス調整、ガンマ補正、デモザイク処理等の一般的なカメラ信号処理が実行され、出力画像２１１が生成される。
【００５２】
制御部２１２は、イメージセンサ２０２の露光制御、ＨＤＲ処理部２０８、カメラ信号処理部２１０における処理制御を実行する。なお、制御部２１２は、例えばプログラム実行機能を持つＣＰＵを備え、図示しないメモリに格納されたプログラムに従って、撮像装置において実行される処理の全体的な制御を行う。
【００５３】
イメージセンサ２０２は、例えばＣＭＯＳ等によって構成され、制御部２１２によって設定される露光時間情報２０３に従って、イメージランサ２０２の構成画素単位で所定の空間周期単位、および、所定の時間周期単位で露光時間が変化するように制御される。
なお。この空間周期単位、および、時間周期単位の露光時間制御処理の具体的構成については、例えば、特許文献４（特開２００６−２５３８７６号公報）に記載があり、この記載構成と同様の露光制御を行う。
【００５４】
イメージセンサ２０２の構成例を図７に示す。図７は、イメージセンサ２０２の一部構成を示しており、矩形で示す領域が１つの画素に対応する。画素２２４である。
イメージセンサ２０２には、各画素の露光時間を規定するための複数の感度情報が露光時間情報２０３として制御部２１２から与えられる。
イメージセンサ２０２内の制御回路２２１は、露光時間情報２０３に従って空間周期単位、時間周期単位で各画素の露光時間（感度）が変化するように垂直走査回路２２２と水平走査回路２２３の制御を行う。
【００５５】
画素の露光時間（感度）を変化させる手法について、図８を参照して説明する。図８は、図７に示す行リセット線２３１の信号タイミングと、行選択線２３２の信号タイミングと、画素２２４の電荷量の変化を表した図である。
【００５６】
例えば時間（ｔ１）において、行リセット信号が入力されると、画素の電荷はリセットされ、その後、光の入射によって電荷が蓄積されていく。その後、時間（ｔ２）において、行選択信号が入力されるとその時点の電荷量を画素蓄積電荷両（Ｓ）として出力する。
【００５７】
すなわち、行リセットタイミングから行選択タイミングまでの時間ｔ１〜ｔ２の期間が電荷蓄積期間である。
行選択タイミングは、各行において、予め既定された間隔に設定される。
行リセットタイミングは、調整可能であり、２つの行選択タイミング（図に示すｔａ，ｔｂ）間の任意の一に設定できる。露光時間情報２０３に従って設定されることになる。
【００５８】
行リセットタイミング（ｔｃ）を、２つの行選択タイミング（図に示すｔａ，ｔｂ）内の遅い時刻（ｔｂ側に近い時刻）になるように制御することにより、その行の電荷蓄積時間を短くすることができ、結果として感度を下げることができる。
一方、行リセットタイミング（ｔｃ）を、２つの行選択タイミング（図に示すｔａ，ｔｂ）内の早い時刻（ｔａ側に近い時刻）になるように制御することにより、その行の電荷蓄積時間を長くすることができ、結果として感度を上げることができる。
このような制御を行単位で実行することで、行単位で異なる露光時間の設定すなわち異なる感度設定が可能となる。
【００５９】
ＲＧＢ画素によって構成されるベイヤー（Ｂａｙｅｒ）配列のイメージセンサにおける行単位の露光時間制御による感度制御例を、図９と図１０を参照して説明する。
図９に示す例は、低感度画素と、高感度画素を２行単位で交互に設定した例である。前述の行リセットタイミングを２行ごとに変更して設定することで、図９に示すような２行単位で、短時間露光行としての低感度画素と、長時間露光行としての高感度画素行を設定することができる。
【００６０】
図９には、
（ａ）配列１
（ｂ）配列２
これらの配列を示している。
各配列では、短時間露光行としての低感度画素と、長時間露光行としての高感度画素行が入れ替えられている。
例えば、画像撮影時の第１フレームにおいて（ａ）配列１に従った露光制御を実行し、続けて撮影する第２フレームにおいて（ｂ）配列２に従った露光制御を実行する。さらに第３、第４、第５フレームと、配列１と配列２を交互に設定して撮影を行う。
この撮影シーケンスは図１０に示す通りである。
【００６１】
図９、図１０に示す例は、
露光時間（感度）制御の空間周期単位については、４行を１周期としており、２行ごとに２種類の感度の画素が配置される。
また、露光時間（感度）制御の時間周期単位は２フレームを１周期としており、図９に示す２つの配列２４１，２４２を１フレームごとに切り替えることにより、各画素の感度が毎フレームに変化するように制御される。
【００６２】
次に、ＨＤＲ（高ダイナミックレンジ）処理部２０８の構成と処理について、図１１を参照して説明する。
先に説明したように、ＨＤＲ（高ダイナミックレンジ）処理部２０８は、
（１）現在時刻画像２０６、
（２）過去時刻画像２０７、
これらの２つの画像を入力する。
すなわち、遅延された過去時刻画像２０７と、遅延しない現在時刻画像２０６を利用して、ＨＤＲ（高ダイナミックレンジ）化処理を実行してＨＤＲ（高ダイナミックレンジ）画像２０９を生成する。
【００６３】
現在時刻画像２０６、過去時刻画像２０７は、先に説明した図９に示すような、感度が空間、時間で異なる画像であり、ＨＤＲ（高ダイナミックレンジ）処理部２０８は、これらの画像を利用して高ダイナミックレンジ画像を生成する。
【００６４】
フレーム間補間処理部２５１は、解像度の高い画像を生成する処理部である。現在時刻画像２０６と、過去時刻画像２０７の両方を利用して補間画像として、
低感度画素のみから構成される低感度画素画像、
高感度画素のみから構成される高感度画素画像、
これらの補間画像を生成する。
【００６５】
フレーム内補間処理部２５２，２５３は、動きに追従する補間画像を生成する処理部である。フレーム内補間処理部２５２は現在時刻画像２０６のみを利用した空間的な補間処理、フレーム内補間処理部２５３は過去時刻画像２０７のみを利用した空間的な補間処理を行うことによって、補間画像として、
低感度画素のみから構成される低感度画素画像、
高感度画素のみから構成される高感度画素画像、
これらの補間画像を生成する。
【００６６】
ＨＤＲ合成処理部２５４〜２５６は、感度の異なる画素を参照し、合成することによって高ダイナミックレンジ（ＨＤＲ）画像を取得する。
動き検出部２５７では、ＨＤＲ合成処理部２５５，２５６の画像を利用し、現在時刻と過去時刻で、注目画素に物体の動きなどによる画素値の変化があるかどうかを検出する。
【００６７】
動き適応処理部２５８では、ＨＤＲ合成処理部２５４が現在時刻画像２０６と過去時刻画像２０７に基づいて生成した解像度の高い画像と、ＨＤＲ合成処理部２５５が現在時刻画像２０６に基づいて生成した動きに追随する画像のブレンド処理を行う。
動き適応処理部２５８では、動き検出部２５７の動き検出結果を利用して各画素単位の画素値のブレンド比率を決定して、これら２つの画像のブレンド処理を実行する。
【００６８】
階調変換処理部２５９では、動き適応処理部２５８の生成したブレンド画像の各画素のビット値削減を行う。動き適応処理部２５８の生成したブレンド画像は、高感度画素と低感度画素の画素値を表現するため、各画素の画素値のビット数が増加する。ビット数が大きすぎると、後段のカメラ信号処理部２１０での信号処理が実行できなくなる場合があるため、階調変換処理部２５９では、後段のカメラ信号処理部２１０で信号処理が可能なレベルまでビット数を減少させる処理を行う。すなわち、従来のセンサ出力と同程度まで量子化の圧縮を行い、ＨＤＲ画像２０９を出力する。
【００６９】
次に、図１１に示すＨＤＲ処理部２０８の内部に構成されるフレーム間補間処理部２５１の構成と処理例について図１２を参照して説明する。
フレーム間補間処理部２５１は、前述したように、現在時刻画像２０６と、過去時刻画像２０７の両方を利用して補間画像として、
低感度画素のみから構成される低感度画素画像２６３、
高感度画素のみから構成される高感度画素画像２６４、
これらの補間画像を生成する。
【００７０】
まず、座標取得部２６１によって取得される注目画素位置と、例えば制御部２１２から供給される各撮影画像の露光パターン（例えば図９の配列１，２等）を示す画素配列パターン情報２６２を利用し、注目画素の位置の感度を取得する。この感度情報を利用して、現在時刻画像２０６，過去時刻画像２０７、これら連続撮影された２つの画像における低感度画素を選択して低感度画素のみから構成される低感度画素画像２６３を生成する。
同様に、感度情報を利用して、現在時刻画像２０６，過去時刻画像２０７における高感度画素を選択して高感度画素のみから構成される高感度画素画像２６４を生成する。
【００７１】
このように、フレーム間補間処理部２５１は、異なる露光パターン配列の複数の画像フレームの画素信号を使用して、すべての画素を低感度画素信号とした低感度画素画像２６３と、すべての画素を高感度画素信号とした高感度画素画像２６４を生成する。
【００７２】
低感度画素画像２６３と高感度画素画像２６４は、元の撮影画像と同様の配列、例えばベイヤー（Ｂａｙｅｒ）配列の画像であり、被写体が静止している場合は、Ｂａｙｅｒ配列と同じ解像度を実現できる。
一方で、被写体に動きがある場合には、生成元となる現在時刻画像２０６と，過去時刻画像２０７との画像取得時刻が異なるため、画素配列パターンに応じた筋状のアーティファクトが発生することがある。
【００７３】
次に、フレーム内補間処理部２５２，２５３の構成と処理例について図１３を参照して説明する。前述したように、フレーム内補間処理部２５２，２５３は、動きに追従する画像を生成する処理部である。フレーム内補間処理部２５２は現在時刻画像２０６のみを利用した空間的な補間処理、フレーム内補間処理部２５３は過去時刻画像２０７のみを利用した空間的な補間処理を行う。
このような１つの画像を適用した空間的補間処理によって、
低感度画素のみから構成される低感度画素画像、
高感度画素のみから構成される高感度画素画像、
これらの補間画像を生成する。
【００７４】
フレーム内補間処理部２５２，２５３は、図１３に示す座標取得部２６１によって取得される注目画素位置と、画素配列パターン情報２６２を利用し、入力する現在時刻画像２０６、またはは過去時刻画像２０７の注目画素の位置の感度を取得する。
この感度情報と、現在時刻画像２０６、もしくは、過去時刻画像２０７の１つの画像に含まれる画素情報を利用して、
低感度画素のみから構成される低感度画素画像２６５、
高感度画素のみから構成される高感度画素画像２６６、
これらの各感度画像を生成する。
【００７５】
フレーム内補間処理部は１つの画像のみを使用することにより、被写体の動きに追随する画像を生成することが可能であるが、一方で、解像度が低下してしまうという問題もある。
【００７６】
フレーム内補間処理部２５２，２５３で行われる空間的な補間処理について図１３、図１４を参照して説明する。
図１３のフレーム内補間処理部２５２，２５３の出力である低感度画素画像２６５における画素Ｒｄ１１，Ｒｄ１３，高感度画素画像２６６における画素Ｒｂ３１，Ｒｂ３３は、入力画像、すなわち現在時刻画像２０６，過去時刻画像２０７に存在する画素であり、入力画像の画素をそのままの出力することによって得られる。
【００７７】
一方で出力画像である低感度画素画像２６５における画素Ｒｄ３１，Ｒｄ３３や，出力画像である高感度画像２６６における画素Ｒｂ１１，Ｒｂ１３は、入力画像には存在しない画素である。これらの画素の画素値は、入力画像に含まれる画素値に基づく空間的な補間処理を行うことにより算出して設定する。
【００７８】
図１４を参照して、高感度画素位置に、低感度画素Ｒｄ３３を補間する方法について説明する。図１４に示す画像は、フレーム内補間処理部２５２，２５３に入力される画像、すなわち、現在時刻画像２０６、または過去時刻画像２０７を示している。
各画素は２行単位で低感度画素と高感度画素が設定されている。
【００７９】
図１４に示す入力画像の中央画素は、高感度画素である。この高感度画素位置に、低感度画素の画素値Ｒｄ３３を算出する補間処理について説明する。
最も単純な補間方法は、以下の式に従って、画素値Ｒｄ３３を算出する。
Ｒｄ３３＝（Ｒｄ１３＋Ｒｄ５３）／２・・・（１）
上記の式（１）は、縦方向にある２つの同一色の画素の低感度画素の画素値に基づいて線形補間を行う補間処理である。
【００８０】
この他、入力画像２０６，２０７の画像のエッジ方向を考慮した補間処理を行ったもよい。具体的には、まず、下式（２）〜（４）により、エッジ方向を判別する。
Ｅｄｇｅ＿１＝Ａｂｓ（Ｒｄ１１−Ｒｄ５５） ・・・（２）
Ｅｄｇｅ＿２＝Ａｂｓ（Ｒｄ１３−Ｒｄ５３） ・・・（３）
Ｅｄｇｅ＿３＝Ａｂｓ（Ｒｄ１５−Ｒｄ５１） ・・・（４）
上記の式（２）〜（４）式を利用して、Ｅｄｇｅ＿１，２，３を算出する。
【００８１】
上記式（２）〜（４）に従って算出したＥｄｇｅ＿１，２，３の中で、
・Ｅｄｇｅ＿１が最小値の場合、
Ｒｄ３３＝（Ｒｄ１１＋Ｒｄ５５）／２
上記式に従って、図１４に示す入力画像の中央画素の高感度画素位置の低感度画素の画素値Ｒｄ３３を算出する。
【００８２】
また、上記式（２）〜（４）に従って算出したＥｄｇｅ＿１，２，３の中で、
・Ｅｄｇｅ＿２が最小値の場合、
Ｒｄ３３＝（Ｒｄ１３＋Ｒｄ５３）／２
上記式に従って、図１４に示す入力画像の中央画素の高感度画素位置の低感度画素の画素値Ｒｄ３３を算出する。
【００８３】
また、上記式（２）〜（４）に従って算出したＥｄｇｅ＿１，２，３の中で、
・Ｅｄｇｅ＿３が最小値の場合、
Ｒｄ３３＝（Ｒｄ１５＋Ｒｄ５１）／２
上記式に従って、図１４に示す入力画像の中央画素の高感度画素位置の低感度画素の画素値Ｒｄ３３を算出する。
この処理は、エッジ方向に沿った画素値を参照画素として選択して補間処理を行う方法である。
【００８４】
なお、ここで説明した補間処理例は、フレーム内補間処理の一例であり、別の手法を適用しはた補間を行ってもよい。例えば、Ｒ画素の倍のサンプル数のあるＧ画素を利用して輝度信号を生成し、その輝度信号を利用して、Ｒ画素の高周波成分を作り直すという手法なども適用可能である。
フレーム内補間処理部２５２，２５３は、このように、入力する一枚の画像に基づく補間処理により、
低感度画素のみから構成される低感度画素画像２６５、
高感度画素のみから構成される高感度画素画像２６６、
これらの各感度画像を生成する。
【００８５】
次に、ＨＤＲ（高ダイナミックレンジ）合成処理部２５４〜２５６の構成と処理例について、図１５を参照して説明する。
ＨＤＲ（高ダイナミックレンジ）合成処理部２５４〜２５６の各々は、図１２、図１３を参照して説明したフレーム間補間処理部２５１、またはフレーム内補間処理部２５２，２５３のいずれかにおいて生成した２つの補間画像、すなわち、
低感度画素のみからなる低感度画素画像、
高感度画素のみからなる高感度画素画像、
これらを入力する。
【００８６】
図１５において、これら２つの画像は、
低感度画像Ｄｄ，２６３ｏｒ２６５、
高感度画像Ｄｂ，２６４ｏｒ２６６、
として示している。
さらに、低感度画像と高感度画像の画素の感度比Ｒ，２７１を、例えば制御部２１２から入力する。感度比Ｒ，２７１は、低感度画素と高感度画素の露光時間比に対応する。
【００８７】
ＨＤＲ（高ダイナミックレンジ）合成処理部２５４〜２５６は、
低感度画像Ｄｄ，２６３ｏｒ２６５、
高感度画像Ｄｂ，２６４ｏｒ２６６、
感度比Ｒ，２７１、
これらを使用して、ＨＤＲ画像Ｄｏ，２７２を生成する。
【００８８】
ブレンド率算出部２７３は、低感度画像Ｄｄ，高感度画像Ｄｂ各々の画像の同じ位置にある対応画素位置の各画素値を参照し、例えば、高感度画像の画素値が予め設定した閾値Ｔｈより、小さい時には高感度画像Ｄｂの重みを大きくし、画素値が予め設定した閾値Ｔｈ以上である時には低感度画像Ｄｄの重みを大きくするように、低感度画像Ｄｄ，高感度画像Ｄｂ各々の対応画素の画素値のブレンド率を決定する。
【００８９】
ブレンド処理部２７４は、ブレンド率算出部２７３の決定したブレンド率に基づいて、低感度画像Ｄｄ，および高感度画像Ｄｂの対応画素の画素値のブレンド処理を実行する。この処理により、被写体が暗い時にもノイズが少なく、明るい時にも飽和しにくい高ダイナミックレンジ画像（ＨＤＲ画像Ｄｏ，２７５）を生成することができる。
【００９０】
図１５に示すＨＤＲ（高ダイナミックレンジ）合成処理部２５４〜２５６の処理を具体的に示すと以下の処理となる。
まず、高感度画像Ｄｂから処理対象とする１つの注目画素を選択し、注目画素の画素値と、予め設定した閾値Ｔｈとを比較する。
注目画素の画素値が、Ｔｈより小さい場合は、
この高感度画像Ｄｂ，２６４ｏｒ２６６の注目画素の画素値をそのまま、出力画像であるＨＤＲ画像Ｄｏ，２７５の画素値として設定する。
この場合の画素値は、
ＤｏをＨＤＲ画像Ｄｏ，２７５の画素値とし、
Ｄｂを高感度画像Ｄｂ，２６４ｏｒ２６６の注目画素の画素値とした場合、
Ｄｏ＝Ｄｂ
上記関係となる。
【００９１】
一方、高感度画像Ｄｂから選択した注目画素の画素値が、予め設定した閾値Ｔｈ以上である場合は、
高感度画像Ｄｂの注目画素の画素位置と同じ位置の値低感度画像Ｄｄ，２６３ｏｒ２６５の画素位置の画素値に感度比Ｒを乗算した画素値を、出力画像であるＨＤＲ画像Ｄｏ，２７５の画素値として設定する。
この場合の画素値は、
ＤｏをＨＤＲ画像Ｄｏ，２７５の画素値とし、
Ｄｄを低感度画像Ｄｄ，２６３ｏｒ２６５の画素値とした場合、
Ｄｏ＝Ｄｄ×Ｒ
上記関係となる。
【００９２】
なお、上記処理を一般化して示すと、ａ，ｂをブレンド率算出部２７３の算出するブレンド率として、
Ｄｏ＝（ａ×Ｄｂ）＋（ｂ×（Ｄｄ×Ｒ））
ただし、ａ＋ｂ＝１
上記式に従って、ＨＤＲ画像Ｄｏ，２７５の画素値Ｄｏを算出する構成となる。
なお、前述した処理は、
ａ＝１，ｂ＝０、
ａ＝０，ｂ＝１、
のいずれかのみを利用した処理として説明しているが、
ａ＋ｂ＝１を満たす条件下で、
ａ＝０〜１、ｂ＝１〜０
の範囲でａ，ｂの値を選択的に利用してもよい。
【００９３】
次に、図１１に示すＨＤＲ（高ダイナミックレンジ）処理部２０８の動き検出部２５７の構成と処理について図１６、図１７を参照して説明する。
動き検出部２５７は、
現在時刻画像２０６に基づいてＨＤＲ合成処理部２５５が生成した現在時刻画像対応ＨＤＲ画像、
過去時刻画像２０７に基づいてＨＤＲ合成処理部２５６が生成した過去時刻画像対応ＨＤＲ画像、
これら２つのＨＤＲ画像を比較し、各画素単位で動きを検出する。
例えば、２つのＨＤＲ画像の同一の画素位置である対応画素の画素値の差分絶対値と予め設定した閾値を比較して、差分絶対値が閾値以上であれば「動き量が大」または「動きあり」、差分絶対値が閾値未満であれば「動き量が小」または「動きなし」と判定する。
【００９４】
このように、現在時刻画像から生成したＨＤＲ画像と、過去時刻画像から生成したＨＤＲ画像の対応画素の画素値の差分絶対値に基づいて動き量を判定する。
動き適応処理部２５８は、図１６に示すように、ブレンド率算出部２８３を有し、動き検出部２５７の判定する画素単位の動き量の大小に応じて、
（ａ）現在時刻画像２０６と過去時刻画像２０７の２つの画像に基づいてＨＤＲ合成処理部２５４の生成したＨＤＲ画像と、
（ｂ）現在時刻画像２０６のみに基づいてＨＤＲ合成処理部２５５の生成したＨＤＲ画像と、
上記（ａ），（ｂ）の２つの画像の対応画素の画素値のブレンド率２８４を決定してブレンド処理を実行する。
【００９５】
予め設定した閾値より大きい動き量の画素については、
（ｂ）現在時刻画像２０６のみに基づいてＨＤＲ合成処理部２５５の生成したＨＤＲ画像の画素値のブレンド率を大きくする。
また、予め設定した閾値未満の動き量の画素については、
（ａ）現在時刻画像２０６と過去時刻画像２０７の２つの画像に基づいてＨＤＲ合成処理部２５４の生成したＨＤＲ画像の画素値のブレンド率を大きくする。
具体的には、例えば図１７に示す動き量に応じたブレンド率αが利用される。
【００９６】
動き適応処理部２５８は、このようなブレンド率の設定に基づいて、上記（ａ），（ｂ）の２つの画像の各画素のブレンド処理を実行する。
このような処理によって、動きの多い画素位置については、
（ｂ）現在時刻画像２０６のみに基づいてＨＤＲ合成処理部２５５の生成したＨＤＲ画像の画素値の重みを大きく設定したブレンド処理、
動きの少ない画素位置については、
（ａ）現在時刻画像２０６と過去時刻画像２０７の２つの画像に基づいてＨＤＲ合成処理部２５４の生成したＨＤＲ画像の画素値の重みを大きく設定したブレンド処理、
これらのブレンド処理によって、ＨＤＲ画像が生成される。
なお、動き検出については、さらに、ノイズやエッジを考慮して、現在時刻画像の低域成分画像と過去時刻の低域成分画像の差分絶対値を利用する方法などもある。
【００９７】
図１１に示すＨＤＲ処理部２０８の最終処理部である階調変換処理部２５９では、図１５を参照して説明したＨＤＲ合成処理によって拡大したレンジを圧縮する処理が実行される。
【００９８】
図１５を参照して説明したＨＤＲ合成処理によって、例えば、従来のイメージセンサ出力に対し、図１５に示す感度比Ｒ２７１の分だけレンジが拡大することになる。
この拡大されたレンジのままでは、後段のカメラ信号処理部２１０（図６参照）では信号処理が実行できない場合がある。
【００９９】
このような不具合を防止するため、階調変換処理部２５９では、図１５を参照して説明したＨＤＲ合成処理によって拡大したレンジを圧縮する処理が実行される。
なお、このように従来のセンサ出力のレンジまで圧縮する手法は階調変換、Ｔｏｎｅ Ｒｅｐｒｏｄｕｃｔｉｏｎ処理などとして知られている。
例えば、非特許文献３（Ｅｒｉｋ Ｒｅｉｎｈａｒｄ， ｅｔ ａｌ． Ｐｈｏｔｏｇｒａｐｈｉｃ Ｔｏｎｅ Ｒｅｐｒｏｄｕｃｔｉｏｎ ｆｏｒ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ， ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｕｔａｈ．ｅｄｕ／〜ｒｅｉｎｈａｒｄ／ｃｄｒｏｍ／ｔｏｎｅｍａｐ．ｐｄｆ）に記載がある。
【０１００】
一例として、センサ出力が１０ｂｉｔで、露光比Ｒが１０倍のときの階調変換例を図１８に示す。
センサ出力の最大値は１０２３であり、露光比Ｒ＝１０であるとき、階調変換処理部２５９は最大１０２３０（１０２３×１０）の値を持つ画像を得る。階調変換処理部２５９では、図１８に示すような曲線によって、ＨＤＲ画像を通常の１０ｂｉｔのレンジまで圧縮することにより、後段の処理を従来通りの処理が適用できるようにする。
図１８の曲線は、非特許文献３のように画像の輝度平均、最大輝度など統計量を使用して、画像に依存した曲線を生成する。
【０１０１】
［２．その他の実施例について］
次に、上述した実施例と異なるその他の実施例について説明する。
（２−１．イメージセンサの様々な露光制御例について）
上述した実施例では、イメージセンサ２０２の露光制御処理として、図４を参照して説明したように、２行単位で、
短時間露光を行う低感度画素、
長時間露光を行う高感度画素、
この設定で、画素感度の切り替え制御を行う構成としていた。
【０１０２】
イメージセンサ２０２の露光制御処理構成は、この図４に示す設定に限らず、様々な設定が可能である。様々な制御構成に対して本開示の画像処理を適用することが可能である。例えば、
図１９、図２０に示すように、１行ごとに短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを設定する構成としてもよい。このような制御構成に対して本開示の画像処理を適用することも可能である。
なお、図１９、図２０において、白い画素位置が長時間露光を行う高感度画素を示し、グレーの画素位置が短時間露光を行う低感度画素を示している。なお、以下に説明する図２１〜図２５においても同様である。
【０１０３】
また、図２１に示すように、ベイヤー（Ｂａｙｅｒ）配列の周期である２行２列からなる４画素を単位として短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを設定する構成としてもよい。
【０１０４】
また、図２２に示すように、ベイヤー（Ｂａｙｅｒ）配列において各色の各感度画素が均一、すなわち、高感度のＲ画素、低感度のＲ画素、高感度のＧ画素、低感度のＧ画素、高感度のＢ画素、低感度のＢ画素のそれぞれを均一に配置する設定とした露光制御を行う構成としてもよい。
【０１０５】
また、上述した例はすべてベイヤー（Ｂａｙｅｒ）配列を有するイメージセンサ（撮像素子）に対する制御構成例であるが、本開示の処理は、ベイヤー（Ｂａｙｅｒ）配列以外の配列を有するイメージセンサ（撮像素子）に対しても適用できる。
例えば、図２３に示すように、ＲＧＢ以外にホワイト（Ｗ）画素を持つＲＧＢＷ構成の非ベイヤー（Ｂａｙｅｒ）配列に対して利用可能である。
図２３に示す露光制御例は、ＲＧＢＷ画素配列を持つイメージセンサにおいて、４行４列からなる１６画素を単位として短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを設定する構成とした例である。このような制御構成に対して本開示の画像処理を適用することも可能である。
【０１０６】
さらに、図２３と同様、図２４に示すようなＲＧＢＷ画素からなる非ベイヤー（Ｂａｙｅｒ）配列構成を持つイメージセンサに、図２４に示すような設定で短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを設定した構成に対して本開示の画像処理を適用することも可能である。
【０１０７】
また、図２５に示すように、正方格子を４５度回転させた画素撮像素子構成に、図２５に示すような設定で短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを設定した構成に対して本開示の画像処理を適用することも可能である。
【０１０８】
また、図２６に示すように、２×２の４画素単位でＲまたはＧまたはＢの同一色配列を持つ画素配列として、斜めライン方向に短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを１ライン交互に設定した構成としてもよい。このような制御構成に対して本開示の画像処理を適用することも可能である。
さらに、図２７に示すように、ＲＧＢ配列において、１行ごとに短時間露光を行う低感度画素と、長時間露光を行う高感度画素とを設定する構成としてもよい。このような制御構成に対して本開示の画像処理を適用することが可能である。
【０１０９】
また、上述した例では、
短時間露光を行う低感度画素、
長時間露光を行う高感度画素、
この２つの異なる画素感度を設定した例を説明したが、さらに、３つ以上の異なる感度の画素を設定し、これらの３以上の異なる感度の画素を利用してＨＤＲ画像を生成する設定としもよい。
なお、図２８に示す例は、４つの異なる感度の画素を設定した例である。すなわち、
高感度画素（最長時間露光）
中高感度画素（長時間露光）
中低感度画素（短時間露光）
低感度画素（最短時間露光）
これらの４つの異なる感度の画素を設定した例である。本開示の画像処理は、このような３以上の感度の画素を持つイメージセンサの出力に対して適用することも可能である。
【０１１０】
なお、この場合、図１２、図１３を参照して説明したフレーム間補間処理部２５１、フレーム内補間処理部２５２，２５３では、補間処理によって、
低感度画像、
中低感度画像、
中高感度画像、
高感度画像、
これらの４つの画像を生成する。
【０１１１】
また、図１５を参照して説明したＨＤＲ（高ダイナミックレンジ）合成処理部２５４〜２５６は、
低感度画像、
中低感度画像、
中高感度画像、
高感度画像、
これらの画像を入力して、ＨＤＲ画像を生成する。
【０１１２】
ブレンド率算出部２７３は、
低感度画像、
中低感度画像、
中高感度画像、
高感度画像、
これら４つの画素の、同じ位置にある対応画素位置の各画素値を参照し、
最高感度画像の画素値が予め設定した閾値Ｔｈ１より、小さい時には高感度画像の重みを大きくし、
高感度画像の画素値が予め設定した閾値Ｔｈ１より大きく、閾値Ｔｈ２より小さい時には中高感度画像の重みを大きくし、
高感度画像の画素値が予め設定した閾値Ｔｈ２より大きく、閾値Ｔｈ３より小さい時には中低感度画像の重みを大きくし、
高感度画像の画素値が予め設定した閾値Ｔｈ３より大きく、閾値Ｔｈ４より小さい時には低感度画像の重みを大きくするように、各感度画像の対応画素の画素値のブレンド率を決定してブレンドを実行して、ＨＤＲ画像の画素値を決定する。
【０１１３】
図２８に示すように、イメージセンサ２０２の感度を４パターンとした場合の画像処理装置の構成例を図２９に示す。
イメージセンサ２０２には、異なる感度の画素が４種類、設定されているため、図２９に示すように、フレームメモリ３０１，３０２，３０３を用いて、連続撮影される４つの画像、すなわち、図３０に示すように、
時間ｔ４に撮影された現在時刻画像（ｔ４）３０４、
時間ｔ３に撮影された過去時刻画像（ｔ３）３０５、
時間ｔ２に撮影された過去時刻画像（ｔ２）３０６、
時間ｔ１に撮影された過去時刻画像（ｔ１）３０７、
これらの４つの画像を使用して画像処理を行う。
【０１１４】
ＨＤＲ画像処理部３０８の内部構成と処理について、図３０を参照して説明する。
フレーム間補間処理部３１１では、４つの連続撮影画像３０４〜３０７を用いて、４つの画像、すなわち、
低感度画像、
中低感度画像、
中高感度画像、
高感度画像、
これらの画像を生成する。この処理は、先に図１２を参照して説明した２つの連続撮影画像から２つの異なる感度の画像を生成する処理を拡張して、４つの画像を適用して４つの異なる感度の画像を生成する処理によって実現される。
【０１１５】
フレーム内補間処理部３１２は、現在時刻画像（ｔ４）３０４を用いた１フレームの画像に基づいて、
４つの画像、すなわち、
最低感度画像、
低感度画像、
高感度画像、
最高感度画像、
これらの画像を生成する。この処理は、先に図１３を参照して説明した２つの感度画素からなる１つ撮影画像から２つの異なる感度の画像を生成する処理を拡張して、４つの感度画素からなる１つの画像を適用して４つの異なる感度の画像を生成する処理によって実現される。
【０１１６】
フレーム内補間処理部３１３は、過去時刻画像（ｔ３）３０５を用いた１フレームの画像に基づいて、
４つの画像、すなわち、
低感度画像、
中低感度画像、
中高感度画像、
高感度画像、
これらの画像を生成する。この処理も、先に図１３を参照して説明した２つの感度画素からなる１つ撮影画像から２つの異なる感度の画像を生成する処理を拡張して、４つの感度画素からなる１つの画像を適用して４つの異なる感度の画像を生成する処理によって実現される。
【０１１７】
ＨＤＲ合成処理部３１４，３１５，３１６の構成と処理について図３１を参照して説明する。
ＨＤＲ合成処理部３１４，３１５，３１６は図３１に示すように、先に、図１５を参照して説明した２つの感度画像（低感度画像と高感度画像）のブレンド処理によって１つのＨＤＲ画像を生成する処理を、複数段、組み合わせて、最終的なＨＤＲ画像Ｄｏを生成する。
【０１１８】
図３１に示すように、まず、低感度画像Ｄ１と中低感度画像Ｄ２を図１５に示す構成と同様の構成を持つブレンド実行部３２１に入力し、ブレンド実行部３２１において、先に図１５を参照して説明したと同様のブレンド処理を実行して１つの第１ブレンド画像を生成する。
【０１１９】
次に、この第１ブレンド画像と、中高感度画像Ｄ３を図１５に示す構成と同様の構成を持つブレンド実行部３２２に入力し、ブレンド実行部３２２において、先に図１５を参照して説明したと同様のブレンド処理を実行して１つの第２ブレンド画像を生成する。
【０１２０】
次に、この第２ブレンド画像と、高感度画像Ｄ４を図１５に示す構成と同様の構成を持つブレンド実行部３２３に入力し、ブレンド実行部３２３において、先に図１５を参照して説明したと同様のブレンド処理を実行して最終的なＨＤＲ画像Ｄｏである第３ブレンド画像を生成する。
【０１２１】
（２−２．フレームメモリを不要とした実施例について）
次に、フレームメモリを不要とした実施例について、図３２を参照して説明する。図３２に示す画像処理装置（撮像装置）は、先に実施例１として説明した図６の画像処理装置構成中のフレームメモリ２０５を削除し、イメージセンサ２０２の出力であるセンサ画像２０４を直接、ＨＤＲ（高ダイナミックレンジ）処理部４０１に入力する点で、図６に示す構成と異なっている。
【０１２２】
イメージセンサ２０２の制御方法、および、その出力画像であるセンサ画像２０３は、図６以下を参照して説明した実施例１と同様である。
フレームメモリを使用せずに１つのフレームの画像のみで処理を行う点が異なっている。本構成例のＨＤＲ処理部４０１の構成と処理玲について、図３３を参照して説明する。
【０１２３】
本構成例のＨＤＲ処理部４０１は、図３３に示すように、
フレーム内補間処理部４０２、ＨＤＲ合成処理部４０３、階調変換処理部４０４を順に接続した構成を持つ。
フレーム内補間処理部４０２は、イメージセンサ２０２の出力画像であるセンサ画像２０３を入力して、先に図１３を参照して説明したと同様のフレーム内補間処理を実行して、２つの異なる感度画像、すなわち低感度画像と高感度画像を生成して後段のＨＤＲ合成処理部４０３に出力する。
【０１２４】
ＨＤＲ合成処理部４０３は、フレーム内補間処理部４０２の出力する低感度画像と高感度画像を適用したブレンド処理によってＨＤＲ画像を生成する。この処理は、先に図１５を参照して説明した処理と同様の処理である。
階調変換処理部４０４は、ＨＤＲ合成処理部４０３の出力するＨＤＲ画像の階調変換処理を実行する。この処理は、先に図１８を参照して説明した後段のカメラ信号処理部における処理可能な階調に設定する処理として行われる。
【０１２５】
この実施例は、先にフレーム説明した実施例１において実行していたフレーム間補間処理を行わず、イメージセンサの出力画像であるセンサ画像２０４に基づいて、フレーム内補間を実行して、各フレーム対応の低感度画像と高感度画像を生成し、これらの各画像を適用したブレンド処理によってＨＤＲ画像を生成する構成である。
【０１２６】
本構成例において生成されるＨＤＲ画像は、結果として、イメージセンサ２０２の出力するセンサ画像２０４より解像度の低い画像となる。
しかし、先に図１０を参照して説明したように、イメージセンサ２０２の出力するセンサ画像は、各フレーム単位で露光制御パターンが切り替わり、先行フレームにおける高感度画素は後続フレームでは低感度画素に設定され、先行フレームにおける低感度画素は後続フレームでは高感度画素に設定される。すなわち、画像の位相はフレームごとに異なっている。そのため、後段のカメラ信号処理部２５３においてフレームメモリを使用する処理を行う場合には、カメラ信号処理部２５３で解像度の復元を行うことは十分可能となる。さらに、後段の処理においてフレームメモリを使用しない場合でも、フレームレートが十分に速ければ、人間の視覚特性により、解像度の劣化を目立たなくすることが可能である。
【０１２７】
（２−３．イメージセンサ出力に際して画素加算処理または間引き処理を行う構成例について）
次に、イメージセンサ出力に際して画素加算処理または間引き処理を行う構成例について説明する。
【０１２８】
イメージセンサは、昨今、高解像度の画像を撮影するため画素数が飛躍的に増加している。しかし、後段の画像処理部における処理能力や、画像出力帯域の制限や、ＡＤ変換器の速度の制約等の関係で、イメージセンサの全ての画素の画素値を出力せず、解像度を落として、例えば、イメージセンサの２画素の画素値に基づいて出力画像の１つの画素値を決定して出力するといった画素加算処理や間引き処理を行う構成としたものがある。
【０１２９】
図３４は、イメージセンサの４つの画素情報から１つの画素情報を生成する例を示している。
（ａ）撮像画素配列
（ｂ）出力画素配列
これらの画素配列を示している。
イメージセンサの撮影画像は、（ａ）撮像画素配列であるが、これをイメージセンサから後段の処理部に出力するに際して、画素数を削減して（ｂ）出力画素配列の設定とする。この例は、８×８画素を４×４画素とする１／４の画素数削減を行っている例である。
【０１３０】
このような画素数削減の手法としては、画素間引きと、画素加算がある。
画素間引きを行う場合、例えば、
（ｂ）出力画素配列の左上端の出力画素Ｒｏ１１については以下のようにして出力画素値を決定する。
なお、Ｒｏ１１の、Ｒは画素の色、ｏは出力（ｏｕｔｐｕｔ）、１１は座標位置（ｘ，ｙ）＝（１，１）を意味する。
（ｂ）出力画素配列の左上端の出力画素Ｒｏ１１について、（ａ）撮像画素配列の左上端の４×４の画素領域に含まれる４つのＲ画素から１つのＲ画素のみを選択して、
Ｒｏ１１＝Ｒ１１
上記のように、（ａ）撮像画素配列の対応画素位置（４×４画素領域）に含まれるいずれか１つの画素出力のみを利用して出力画素値Ｒｏ１１を設定する。
【０１３１】
画素加算処理を行う場合は、
Ｒｏ１１＝ａ×Ｒ１１＋ｂ×Ｒ１３＋ｃ×Ｒ３１＋ｄ×Ｒ３３
のように、（ａ）撮像画素配列の左上端の４×４の画素領域に含まれる４つのＲ画素に基づく重みつき平均を出力する。
ａ，ｂ，ｃ，ｄは予め決定した重みであり、例えば、出力画素位置との距離やエッジ方向などを考慮して設定される。
図３５は、同じ感度の画素同士で、画素加算を行った例である。
画素加算による出力画素配列は、図９を参照して説明した２行単位で短時間露光画素と長時間露光画素を設定した配列と同じ配列であり、先に説明した図６の構成による画像処理が適用できる。
【０１３２】
なお、イメージセンサの撮影画像の画素数を削減して出力する具体的構成としては、例えば、撮像素子のＡＤ変換部において複数の画素から１つの画素を選択する構成によって実現可能である。この構成は、例えば、非特許文献４［Ｓａｔｏｓｈｉ Ｙｏｓｈｉｈａｒａ， ｅｔ ａｌ． １／１．８−ｉｎｃｈ ６．４ＭＰｉｘｅｌ ６０ ｆｒａｍｅｓ／ｓ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ Ｓｅａｍｌｅｓｓ Ｍｏｄｅ Ｃｈａｎｇｅ， ２００６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ Ｃｏｎｆｅｒｅｎｃｅ， ｐｐ．４９２−４９３ （２００６）．］に記載されている。
【０１３３】
イメージセンサの各画素の出力値をデジタル値に変換するＡＤ変換回路において、イメージセンサの複数の画素を交互に読み出し、画素値を参照し、どちらか一方を選択して出力値とする構成である。
【０１３４】
本開示の画像処理装置は、このような複数の画素情報を使用して１つの画素情報を出力する構成を持つ撮像装置にも適用できる。
【０１３５】
図３６、図３７を用いて、複数の画素の一方を選択して出力するイメージセンサの駆動例について説明する。
図３６（Ａ），（Ｂ）に示すように、垂直走査回路は、感度の異なる画素を２回に分けて読み出す。
まず、高感度画素４２１を読み出し、次に低感度画素４２２を読み出す。
その後、図３７に示すように、読み出し画素である。
高感度画素Ｄｂ、
低感度画素Ｄｄ、
これらについて、選択出力を行う。
具体的には、高感度画素Ｄｂと予め設定した閾値Ｔｈを比較し、
高感度画素Ｄｂの画素値が閾値Ｔｈ未満である場合は、セレクタにおいて、高感度画素Ｄｂを選択出力する。
高感度画素Ｄｂの画素値が閾値Ｔｈ以上である場合は、セレクタにおいて、低感度画素Ｄｄに感度比Ｒを乗算した画素値を出力する。
【０１３６】
図３７に示す構成では、高感度画素Ｄｂ、低感度画素Ｄｄ、出力画素Ｄｏとすると
・ＤｂがＴｈより小さい場合、
Ｄｏ＝Ｄｂ
・それ以外の場合は、
Ｄｏ＝Ｄｄ×Ｒ
となり、センサ出力画像がＨＤＲ画像となっている。
【０１３７】
この読み出し手法と、本開示のＨＤＲ画像生成手法を併用した例を示す。
図３７に示す手法では、シーンが暗い時は高感度画素のみを使用して出力し、シーンが明るいときは低感度画素のみを使用して出力することになる。
【０１３８】
例えば、イメージセンサの撮像画素配列が、図３８に示すように連続撮影画像において配列１、配列２と空間的、時間的に画素の感度を変化させるように制御する構成において、シーンが暗い場合、高感度画素のみを使用して画素加算が実行されて出力画素配列の構成画素の画素値が設定される。この場合、イロージセンサの出力に対して出力ＨＤＲ画像の位相はずれて出力される。
【０１３９】
図３７に示す手法、すなわち、シーンが暗い時は高感度画素のみを使用して出力し、シーンが明るいときは低感度画素のみを使用して出力する構成におけるＨＤＲ処理部の構成と処理例を図３９に示す。
【０１４０】
図３９に示すＨＤＲ処理部２０８は、先に図１１を参照して説明したＨＤＲ処理部２０８に含まれるＨＤＲ合成処理部２５４〜２５６を省略した構成となっている。
この図３９に示す構成では、すでにイメージセンサからＨＤＲ処理部２０８に対する入力時点で、画素の明るさに応じた最適な画素の選択処理が実行されている。この処理によって、図１１に示すＨＤＲ合成処理部２５４〜２５６の処理がしうりゃく可能となる。
【０１４１】
図４０は、フレーム間補間処理部５０１の処理を説明する図である。
フレーム間補間処理部５０１は、現在時刻画像２０６と過去時刻画像２０７を入力して、これら２つの画像に基づいて、１つの画像を生成する。現在時刻画像２０６と過去時刻画像２０７はいずれも、例えば高感度画素から設定された画像であり、画像の低感度画素位置の画素値が得られていない画像である。フレーム間補間処理部５０１は、この低感度画素位置の画素値を現在時刻画像２０６と過去時刻画像２０７を適用した補間処理によって算出した補間画像を生成する。
【０１４２】
図４１は、フレーム内補間処理部５０２，５０３の処理を説明する図である。
フレーム内補間処理部５０２，５０３は、現在時刻画像２０６、または過去時刻画像２０７を入力して、いずれか１つの画像に基づいて、１つの補間画像を生成する。現在時刻画像２０６と過去時刻画像２０７はいずれも、例えば高感度画素から設定された画像であり、画像の低感度画素位置の画素値が得られていない画像である。フレーム内補間処理部５０２，５０３は、この低感度画素位置の画素値を現在時刻画像２０６または過去時刻画像２０７を適用した補間処理によって算出した補間画像を生成する。
【０１４３】
図３９に示す動き適応処理部５０５〜階調変換処理部５０６における処理は、先に実施例１として説明した処理と同様の処理となる。
この先の実施例においても、実施例１において図１２、図１３ヲ参照して説明したように、空間的、時間的な補間処理を行うことによって、動きに追随し解像度を高めた高解像度画像の生成が実現される。
【０１４４】
なお、上述した例では、、シーンが暗い時は高感度画素のみを使用して出力し、シーンが明るいときは低感度画素のみを使用して出力する構成における処理について説明したが、高感度画素と低感度画素の双方から、１つの出力画素値を設定する構成に対して図３９に示すＨＤＲ処理部２０８を適用した高解像度化処理が可能である。
【０１４５】
具体的には、画素数削減を施したイメージセンサの出力構成として、図４２や、図４３に示すように、高感度画素と低感度画素の双方から、１つの出力画素値を設定する構成とした場合にも図３９に示すＨＤＲ処理部２０８を適用した高解像度化処理が可能である。
【０１４６】
図４２に示す例は、先行撮影画像は配列１、その後のタイミングの後続撮影画像は配列２の設定とした露光制御例であり、空間的に画素の感度を変化させ、時間的な感度変化は行わない露光制御例を示している。
【０１４７】
この構成において、画素数削減を行った出力（ＨＤＲ処理部に対する入力）の構成画素を、参照画素位置を時間的に切り替えている。
図４３は、空間的、時間的に画素の感度を変化させ、さらに、図４２と同様、１つの画素情報を出力するために参照する複数の画素を切り替える手法である。
このような画素数削減における処理を実行した画像を図３９に示すＨＤＲ処理部２０８に入力して前述の処理を行うことでＨＤＲ（高ダイナミックレンジ）画像を生成して出力することができる。
【０１４８】
［３．本開示の画像処理装置と従来構成との比較］
次に、上述した本開示の画像処理装置の処理と、従来構成の処理を比較して、本開示の画像処理装置における効果について説明する。
高ダイナミックレンジ撮像を実現する従来技術として、先に図１、図２を参照して説明した方法がある。この従来手法は、２つの画像を使って１つの画像を生成するため、フレームレートがセンサ出力の半分になってしまうという問題があった。
さらに１つのＨＤＲ画像を生成するためのメモリ使用帯域は、フレームメモリに書き込み２フレーム、読み出し２フレームであった。
【０１４９】
これに対して、本開示の画像処理装置、すなわち、図６〜図１０を参照して説明した構成では、出力されるＨＤＲ画像のフレームレートはセンサのフレームレートと同じに設定できるという利点がある。
さらに、１つのＨＤＲ画像を生成するためのフレームメモリの使用帯域は、書き込み１フレーム、読み込み１フレームであり、従来法に比較して半分のメモリ帯域で済むという利点もある。
【０１５０】
また、高ダイナミックレンジ撮像を実現する従来技術として、先に図３〜図５を参照して説明した方法がある。この手法は、１枚の画像に設定した感度の異なる画素情報を用いた手法である。
この手法の問題点は、先に説明したように解像度の劣化である。
【０１５１】
これに対して、本開示の画像処理装置では、例えば、図１２に示すようなフレーム間補間処理を行って、連続撮影された露光パターンの異なる複数画像を利用してＨＤＲ画像の生成情報を作成する構成であり、連続撮影された画像の実際の画素値を利用することで、少なくとも静止画領域については、撮影時のイメージセンサ出力であるＢａｙｅｒ配列と同じ高解像度を実現することができる。
【０１５２】
［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１５３】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する画像処理装置にある。
【０１５４】
（２）前記ＨＤＲ合成処理部は、前記動き検出情報が動きありを示す画素位置については、前記第２合成画像のブレンド率を高め、前記動き検出情報が動きなしを示す画素位置については、前記第１合成画像のブレンド率を高めた画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する前記（１）に記載の画像処理装置。
（３）前記ＨＤＲ処理部は、連続撮影された複数画像に存在する複数の異なる感度画素をそのまま利用して複数の異なる感度画像を生成するフレーム間補間処理部を有し、前記フレーム間補間処理部の生成した複数の異なる感度画像の画素値合成によって前記第１合成画像を生成する前記（１）または（２）に記載の画像処理装置。
【０１５５】
（４）前記画像処理装置は、異なる撮影時刻の画像の対応画素の画素値を比較して、画素単位の動き検出を実行して前記動き検出情報を生成する動き検出部と、前記動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する動き適応処理部を有する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記動き検出部は、連続撮影された複数画像中の最新画像である現在時刻画像のみを利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した前記第２合成画像と、連続撮影された複数画像中の最新画像より前の撮影画像である過去時刻画像のみを利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第３合成画像との画像比較に基づいて、画素単位の動き検出を実行して前記動き検出情報を生成する前記（１）〜（４）いずれかに記載の画像処理装置。
【０１５６】
（６）前記画像処理装置は、さらに、前記ＨＤＲ合成処理部の生成した高ダイナミックレンジ（ＨＤＲ）画像を入力し、該高ダイナミックレンジ（ＨＤＲ）画像の画素値のビット数削減を行う階調変換処理部を有する前記（１）〜（５）ていずれかに記載の画像処理装置。
【０１５７】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１５８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１５９】
以上、説明したように、本開示の一実施例の構成によれば、撮影画像に基づいて高品質な高ダイナミックレンジ画像を生成する装置および方法が実現される。
具体的には、イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影した画像を入力して画像処理を実行する画像処理（ＨＤＲ処理）部を有する。画像処理部は、連続撮影された複数画像を利用した補間処理によって複数の感度画像を生成し、生成した複数の感度画像の合成によって第１合成画像を生成し、また、単一の撮影画像の補間処理によって複数の異なる感度画像を生成し、生成した複数の感度画像の合成によって第２合成画像を生成する。さらに、動き検出情報に応じて算出するブレンド率に応じて、第１合成画像と第２合成画像の画素値ブレンドを実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する。この処理により解像度劣化を最小限に抑えた高ダイナミックレンジ画像が生成される。
【符号の説明】
【０１６０】
１０１ レンズ
１０２ イメージセンサ（撮像素子）
１０３ センサ画像
１０４ フレームメモリ
１０５ 高感度画像
１０６ 低感度画像
１０７ ＨＤＲ処理部
１０８ ＨＤＲ画像
１０９ カメラ信号処理部
１１０ 出力画像
１１１ レンズ
１１２ イメージセンサ（撮像素子）
１１３ センサ画像
１１４ ＨＤＲ処理部
１１５ ＨＤＲ画像
１１６ カメラ信号処理部
１１７ 出力画像
２０１ レンズ
２０２ イメージセンサ（撮像素子）
２０３ 露光時間情報
２０４ センサ画像
２０５ フレームメモリ
２０６ 現在時刻画像
２０７ 過去時刻画像
２０８ ＨＤＲ処理部
２０９ ＨＤＲ画像
２１０ カメラ信号処理部
２１１ 出力画像
２１２ 制御部
２２１ 制御回路
２２２ 垂直走査回路
２２３ 水平走査回路
２２４ 画素
２３１ 行リセット線
２３２ 行選択線
２３３ 列信号線
２３４ 信号出力線
２５１ フレーム間補間処理部
２５２，２５３ フレーム内補間処理部
２５４〜２５６ ＨＤＲ合成処理部
２５７ 動き検出部
２５８ 動き適応処理部
２５９ 階調変換処理部
２７１ 感度比情報
２７２ 乗算部
２７３ ブレンド率算出部
２７４ ブレンド処理部
２７５ ＨＤＲ画像
２８１ 現在時刻ＨＤＲ画像
２８２ 過去時刻ＨＤＲ画像
２８３ ブレンド率算出部
２８４ ブレンド率
３０１〜３０３ フレームメモリ
３０４ 現在時刻画像
３０５〜３０７ 過去時刻画像
３０８ ＨＤＲ処理部
３０９ ＨＤＲ画像
３１１ フレーム間補間処理部
３１２，３１３ フレーム内補間処理部
３１４〜３１６ ＨＤＲ合成処理部
３２１〜３２３ ブレンド実行部
４０１ ＨＤＲ処理部
４０２ フレーム内補間処理部
４０３ ＨＤＲ合成処理部
４０４ 階調変換処理部
４２１ 高感度画素
４２２ 低感度画素
５０１ フレーム間補間処理部
５０２，５０３ フレーム内補間処理部
５０４ 動き検出部
５０５ 動き適応処理部
５０６ 階調変換処理部
【特許請求の範囲】
【請求項１】
イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する画像処理装置。
【請求項２】
前記ＨＤＲ合成処理部は、
前記動き検出情報が動きありを示す画素位置については、前記第２合成画像のブレンド率を高め、
前記動き検出情報が動きなしを示す画素位置については、前記第１合成画像のブレンド率を高めた画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記ＨＤＲ処理部は、
連続撮影された複数画像に存在する複数の異なる感度画素をそのまま利用して複数の異なる感度画像を生成するフレーム間補間処理部を有し、
前記フレーム間補間処理部の生成した複数の異なる感度画像の画素値合成によって前記第１合成画像を生成する請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、異なる撮影時刻の画像の対応画素の画素値を比較して、画素単位の動き検出を実行して前記動き検出情報を生成する動き検出部と、
前記動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する動き適応処理部を有する請求項１に記載の画像処理装置。
【請求項５】
前記動き検出部は、
連続撮影された複数画像中の最新画像である現在時刻画像のみを利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した前記第２合成画像と、
連続撮影された複数画像中の最新画像より前の撮影画像である過去時刻画像のみを利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第３合成画像と、
の画像比較に基づいて、画素単位の動き検出を実行して前記動き検出情報を生成する請求項４に記載の画像処理装置。
【請求項６】
前記画像処理装置は、さらに、
前記ＨＤＲ合成処理部の生成した高ダイナミックレンジ（ＨＤＲ）画像を入力し、
該高ダイナミックレンジ（ＨＤＲ）画像の画素値のビット数削減を行う階調変換処理部を有する請求項１に記載の画像処理装置。
【請求項７】
イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
単一の撮影画像を利用した補間処理によって複数の異なる感度画像を生成するフレーム内補間処理部と、
前記フレーム内補間処理部の生成した複数の異なる感度画像の合成処理により、高ダイナミックレンジ（ＨＤＲ）画像を生成するＨＤＲ合成処理部を有する画像処理装置。
【請求項８】
イメージセンサと、
前記イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御を行う制御部と、
前記イメージセンサの撮影画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する撮像装置。
【請求項９】
前記制御部は、
前記イメージセンサに対して、行単位の露光時間の制御を実行するとともに、撮影画像フレーム単位で異なる露光制御を実行する請求項８に記載の撮像装置。
【請求項１０】
前記制御部は、
前記イメージセンサの構成画素に対する電荷蓄積開始時間としての行リセットタイミングの制御によって、行単位の露光時間の制御を実行する請求項９に記載の撮像装置。
【請求項１１】
前記撮像装置は、
前記イメージセンサの構成画素数より少ない画素数とした画素数削減処理を実行し、該画素数削減処理後の画像を前記ＨＤＲ処理部に出力して高ダイナミックレンジ（ＨＤＲ）画像を生成する請求項８に記載の撮像装置。
【請求項１２】
画像処理装置において実行する画像処理方法であり、
ＨＤＲ（高ダイナミックレンジ）処理部が、イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行する画像処理ステップを有し、
前記画像処理ステップにおいて、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する画像処理方法。
【請求項１３】
画像処理装置において画像処理を実行させるプログラムであり、
ＨＤＲ（高ダイナミックレンジ）処理部に、イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行させる画像処理ステップを有し、
前記画像処理ステップにおいて、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成させるプログラム。
【請求項１】
イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する画像処理装置。
【請求項２】
前記ＨＤＲ合成処理部は、
前記動き検出情報が動きありを示す画素位置については、前記第２合成画像のブレンド率を高め、
前記動き検出情報が動きなしを示す画素位置については、前記第１合成画像のブレンド率を高めた画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記ＨＤＲ処理部は、
連続撮影された複数画像に存在する複数の異なる感度画素をそのまま利用して複数の異なる感度画像を生成するフレーム間補間処理部を有し、
前記フレーム間補間処理部の生成した複数の異なる感度画像の画素値合成によって前記第１合成画像を生成する請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、異なる撮影時刻の画像の対応画素の画素値を比較して、画素単位の動き検出を実行して前記動き検出情報を生成する動き検出部と、
前記動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する動き適応処理部を有する請求項１に記載の画像処理装置。
【請求項５】
前記動き検出部は、
連続撮影された複数画像中の最新画像である現在時刻画像のみを利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した前記第２合成画像と、
連続撮影された複数画像中の最新画像より前の撮影画像である過去時刻画像のみを利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第３合成画像と、
の画像比較に基づいて、画素単位の動き検出を実行して前記動き検出情報を生成する請求項４に記載の画像処理装置。
【請求項６】
前記画像処理装置は、さらに、
前記ＨＤＲ合成処理部の生成した高ダイナミックレンジ（ＨＤＲ）画像を入力し、
該高ダイナミックレンジ（ＨＤＲ）画像の画素値のビット数削減を行う階調変換処理部を有する請求項１に記載の画像処理装置。
【請求項７】
イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
単一の撮影画像を利用した補間処理によって複数の異なる感度画像を生成するフレーム内補間処理部と、
前記フレーム内補間処理部の生成した複数の異なる感度画像の合成処理により、高ダイナミックレンジ（ＨＤＲ）画像を生成するＨＤＲ合成処理部を有する画像処理装置。
【請求項８】
イメージセンサと、
前記イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御を行う制御部と、
前記イメージセンサの撮影画像を入力して画像処理を実行するＨＤＲ（高ダイナミックレンジ）処理部を有し、
前記ＨＤＲ処理部は、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する撮像装置。
【請求項９】
前記制御部は、
前記イメージセンサに対して、行単位の露光時間の制御を実行するとともに、撮影画像フレーム単位で異なる露光制御を実行する請求項８に記載の撮像装置。
【請求項１０】
前記制御部は、
前記イメージセンサの構成画素に対する電荷蓄積開始時間としての行リセットタイミングの制御によって、行単位の露光時間の制御を実行する請求項９に記載の撮像装置。
【請求項１１】
前記撮像装置は、
前記イメージセンサの構成画素数より少ない画素数とした画素数削減処理を実行し、該画素数削減処理後の画像を前記ＨＤＲ処理部に出力して高ダイナミックレンジ（ＨＤＲ）画像を生成する請求項８に記載の撮像装置。
【請求項１２】
画像処理装置において実行する画像処理方法であり、
ＨＤＲ（高ダイナミックレンジ）処理部が、イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行する画像処理ステップを有し、
前記画像処理ステップにおいて、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成する画像処理方法。
【請求項１３】
画像処理装置において画像処理を実行させるプログラムであり、
ＨＤＲ（高ダイナミックレンジ）処理部に、イメージセンサの構成画素に対して既定の空間的周期および時間的周期で露光時間を変化させる露光制御の下で撮影された画像を入力して画像処理を実行させる画像処理ステップを有し、
前記画像処理ステップにおいて、
連続撮影された複数画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第１合成画像と、
単一の撮影画像を利用した補間処理によって生成した複数の異なる感度画像の画素値合成によって生成した第２合成画像を生成し、
動き検出情報に応じて算出するブレンド率に応じて、前記第１合成画像と前記第２合成画像の画素値ブレンド処理を実行して高ダイナミックレンジ（ＨＤＲ）画像を生成させるプログラム。
【図１】
【図３】
【図６】
【図７】
【図８】
【図１７】
【図１８】
【図２９】
【図３２】
【図３９】
【図４０】
【図４１】
【図２】
【図４】
【図５】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図３０】
【図３１】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図４２】
【図４３】
【図３】
【図６】
【図７】
【図８】
【図１７】
【図１８】
【図２９】
【図３２】
【図３９】
【図４０】
【図４１】
【図２】
【図４】
【図５】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図３０】
【図３１】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図４２】
【図４３】
【公開番号】特開２０１２−２５７１９３（Ｐ２０１２−２５７１９３Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１２−３２６０４（Ｐ２０１２−３２６０４）
【出願日】平成２４年２月１７日（２０１２．２．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２４年２月１７日（２０１２．２．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]