撮像装置、および撮像装置制御方法、並びにプログラム
【課題】１つの撮影画像に基づいて動被写体領域も静止被写体領域についても高品質な広ダイナミックレンジ画像を生成する装置および方法を提供する。
【解決手段】撮像部からの入力画像情報に基づいて動被写体領域判別を実行して動被写体検出マップを生成し、生成した動被写体検出マップを利用して動被写体検出画素領域に対しては複数の異なる露光時間を周期的に配置したパターンからなる露光パターンを設定する。静止被写体領域に対しては被写体輝度に応じた露光時間設定を行う。このような露光時間制御に基づいて撮影した画像に対して、動被写体領域については複数の異なる露光時間の設定画素の画素値を利用した画素値合成処理により画素値を算出し、静止被写体領域については露光時間に応じたゲインの乗算によって画素値を算出して出力画像を生成する。この処理により解像度劣化を最小限に抑えつつ全領域に跨り広ダイナミックレンジ画像の取得が実現される。
【解決手段】撮像部からの入力画像情報に基づいて動被写体領域判別を実行して動被写体検出マップを生成し、生成した動被写体検出マップを利用して動被写体検出画素領域に対しては複数の異なる露光時間を周期的に配置したパターンからなる露光パターンを設定する。静止被写体領域に対しては被写体輝度に応じた露光時間設定を行う。このような露光時間制御に基づいて撮影した画像に対して、動被写体領域については複数の異なる露光時間の設定画素の画素値を利用した画素値合成処理により画素値を算出し、静止被写体領域については露光時間に応じたゲインの乗算によって画素値を算出して出力画像を生成する。この処理により解像度劣化を最小限に抑えつつ全領域に跨り広ダイナミックレンジ画像の取得が実現される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、および撮像装置制御方法、並びにプログラムに関する。特に、ダイナミックレンジの広い画像を生成する撮像装置、および撮像装置制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
【０００３】
このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【０００４】
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
【０００５】
このような処理を実現する手法として、連続的に露光時間の異なる複数の画像を撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
【０００６】
例えば特許文献１（特開２００８−９９１５８号公報）は、複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。
【０００７】
例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
【０００８】
時間ｔ０〜ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。
【０００９】
しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。
【００１０】
そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【００１１】
なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
【００１２】
このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。
【００１３】
この他、広ダイナミックレンジ画像を撮像する撮像装置として、事前の撮像情報に基づき画素単位で露光制御をする方法、そして空間的に露出を変化させながら合成を行う方法などが知られている。
【００１４】
例えば、特許文献２（特開２００１−３５８９８９号公報）や、特許文献３（特開２０１０−１３６２０５号公報）は、予備撮像した画像の輝度情報から露光制御情報を記録し、次の撮像条件にパラメータとして入れることで、露光を制御し、高解像を維持したまま広ダイナミックレンジ撮像を実現する構成を開示している。
【００１５】
しかし、図１を参照して説明した複数の撮影画像を利用する方法や、上記の事前の撮像情報に基づいて露光を制御する処理を行う構成では、動く被写体がある場合に、画素値の変動が発生する。従って、図１を参照して説明した複数の撮影画像を利用する方法では、合成画像の生成時に誤った画素値が設定されてしまう。
【００１６】
また、予備撮像した画像の輝度情報に基づいて露光制御を行う方法では、事前に画素単位で設定している露光制御情報が誤った情報となり、最適な制御が実現できなくなる。
たとえば暗→明と変化した画素では露光量が予想より多すぎるために飽和、明→暗と変化した画素では露光量が予想より少なすぎるためＳ／Ｎの低下、という問題が発生する。
【００１７】
また、特許文献４（特開２０１０−１１０００４号公報）は、センサ上に複数の異なる感度センサを設け、固定パターン上に配置し、低露出と高露出をそれぞれの画素で補間することで、広ダイナミックレンジを実現している。
【００１８】
この方法では、画素ごとに時間によらず露出が固定なので、動被写体の影響を受けにくい。ただしセンサ上に固定パターンで低感度と高感度のセンサを配置するために従来のＲＧＢセンサと比較してサンプリング感覚が広くなり、解像度が低下する問題が発生する。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００８−９９１５８号公報
【特許文献２】特開２００１−３５８９８９号公報
【特許文献３】特開２０１０−１３６２０５号公報
【特許文献４】特開２０１０−１１０００４号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
本開示は、例えば、上述の問題点に鑑みてなされたものであり、動被写体による画質低下を抑制したダイナミックレンジの広い画像を生成する撮像装置、および撮像装置制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本開示の第１の側面は、
撮像部と、
前記撮像部に対して画素領域単位の異なる露光時間制御を行う露光制御部と、
前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成部を有し、
前記露光制御部は、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出部と、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出部を有し、
前記出力画像生成部は、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出する撮像装置にある。
【００２２】
さらに、本開示の撮像装置の一実施態様において、前記適正露光値算出部は、前記動被写体検出マップを参照して、静止被写体領域には、被写体輝度に応じた露光時間を設定した露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する。
【００２３】
さらに、本開示の撮像装置の一実施態様において、前記適正露光値算出部は、動被写体領域に設定する露光パターンを、同一の露光時間が隣接画素に設定されない露光パターンとした露光制御マップを生成する。
【００２４】
さらに、本開示の撮像装置の一実施態様において、前記出力画像生成部は、前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して、前記撮像部の出力する各画素単位の画素値より広いダイナミックレンジを持つ出力画素値を算出する動被写体画素用信号処理部を有する。
【００２５】
さらに、本開示の撮像装置の一実施態様において、前記出力画像生成部は、画素単位で露光時間が短い画素に対しては大きなゲインを乗じ、露光時間が長い画素に対しては小さなゲインを乗じて出力画素値を算出する処理を行う静止画素用信号処理部を有する。
【００２６】
さらに、本開示の撮像装置の一実施態様において、前記撮像装置は、前記撮像部の出力画像を縮小する縮小画像生成部を有し、前記露光制御部は、前記縮小画像生成部の生成した縮小画像を入力して、縮小画像に基づいて露光制御情報を生成する。
【００２７】
さらに、本開示の撮像装置の一実施態様において、前記撮像装置は、前記撮像部の出力画像を記憶する記憶部を有し、前記動被写体検出部は、前記撮像部の出力する現在画像と、前記記憶部に格納された過去画像を利用して前記動被写体検出マップを生成する。
【００２８】
さらに、本開示の第２の側面は、
撮像装置において実行する撮像装置制御方法であり、
撮像部が画像撮影を行う撮像ステップと、
露光制御部が、前記撮像部に対して画素領域単位の異なる露光時間制御を行う露光制御ステップと、
出力画像生成部が、前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成ステップを実行し、
前記露光制御ステップは、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出ステップと、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出ステップを含み、
前記出力画像生成ステップは、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出するステップを含む撮像装置制御方法にある。
【００２９】
さらに、本開示の第３の側面は、
撮像装置において撮像装置制御処理を実行させるプログラムであり、
撮像部に画像撮影を行わせる撮像ステップと、
露光制御部に、前記撮像部に対して画素領域単位の異なる露光時間制御を行わせる露光制御ステップと、
出力画像生成部に、前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成ステップを実行させ、
前記露光制御ステップにおいては、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出ステップと、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出ステップを実行させ、
前記出力画像生成ステップにおいては、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出させるプログラムにある。
【００３０】
なお、本開示に係るプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３１】
本開示の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明の効果】
【００３２】
本開示の一実施例の構成によれば、撮像部からの入力画像情報に基づいて動被写体領域の判別を実行して動被写体検出マップを生成し、生成した動被写体検出マップを利用して、動被写体検出画素領域に対しては複数の異なる露光時間を周期的に配置したパターンからなる露光パターンを設定する。静止被写体領域に対しては被写体輝度に応じた露光時間設定を行う。
このような露光時間制御に基づいて撮影した画像に対して、動被写体領域については複数の異なる露光時間の設定画素の画素値を利用した画素値合成処理により広ダイナミックレンジの画素値を算出し、静止被写体領域については露光時間に応じたゲインの乗算によって広ダイナミックレンジの画素値を算出して出力画像を生成する。この処理により解像度劣化を最小限に抑えつつ全領域に跨り広ダイナミックレンジ画像の取得が実現される。
【図面の簡単な説明】
【００３３】
【図１】複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る処理について説明する図である。
【図２】本開示の撮像装置の構成例を示す図である。
【図３】本開示の撮像装置における露光制御部の構成例について説明する図である。
【図４】本開示の撮像装置における出力画像生成部の構成例について説明する図である。
【図５】光量Ｌに従い撮像部の出力する画素値が変化する様子を関数ｑ（Ｌ）として示した図である。
【図６】光量Ｌと露光時間ｔに従い撮像部の出力する画素値が変化する様子を関数ｑ（Ｌ，ｔ）として示した図である。
【図７】動被写体画素における露光制御パターンであり、空間において周期的に値が変化するような固定パターンの例を示す図である。
【図８】本開示の撮像装置における露光制御例について説明する図である。
【図９】Ｎ種類の露光時間を保持する同チャネルの近傍の画素値の和の算出処理について説明する図である。
【図１０】Ｎ種類の露光時間を保持する同チャネルの近傍の画素値の和ｑｓｕｍ（Ｌ）を、出力画素値としての補正画素値Ｑ（Ｌ）に変換する処理について説明する図である。
【図１１】入射光量Ｌと補正画素値Ｑ（Ｌ）との対応について説明する図である。
【図１２】動被写体検出部１４１において実行する動被写体検出の流れを説明する図である。
【図１３】動被写体検出部１４１において実行する動被写体検出の流れを説明する図である。
【図１４】動被写体検出部１４１において実行する動被写体検出処理の具体例について説明する図である。
【図１５】動きベクトル方向への距離：ｌ（エル）と、動きベクトル方向の検出値をβ（ｌ）との対応関係について説明する図である。
【図１６】動きベクトル（中心（ｘ，ｙ），動き（ｕ，ｖ））と動きベクトルに対する座標ｋ（ｘｋ，ｙｋ）の法線ベクトル方向の距離ｍｋの関係について説明する図である。
【図１７】動きベクトル方向への距離がｌ（エル）のときの、法線ベクトル方向への距離：ｍと、検出値α（ｍ，ｌ）との関係について説明する図である。
【図１８】実施例２の撮像装置の構成例について説明する図である。
【図１９】実施例２の撮像装置の動被写体検出部の実行する動被写体検出の流れを説明する図である。
【図２０】実施例３の撮像装置の構成例について説明する図である。
【図２１】実施例３の撮像装置の露光制御部６２１の構成と処理について説明する図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照しながら、本開示の撮像装置、および撮像装置制御方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．撮像装置の第１実施例の構成と処理について
２．撮像装置の第２実施例の構成と処理について
３．撮像装置の第３実施例の構成と処理について
４．撮像装置の第４実施例の構成と処理について
５．本開示の構成のまとめ
【００３５】
［１．撮像装置の第１実施例の構成と処理について］
まず、本開示の撮像装置の第１実施例について説明する。
図２は、本開示の実施例１に係る撮像装置の構成例を示すブロック図である。本実施形態に係る撮像装置は、撮像部１０１、画像信号処理手段としてのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０２、記憶部１０３を有する。
ＤＳＰ１０２は、露光制御部１２１、出力画像生成部１２２を有する。
【００３６】
なお、撮像装置は、図２に示す構成の他、各構成部の制御を実行する制御部、具体的にはプログラム実行機能を持つＣＰＵ等を備えた制御部や、制御部において実行するプログラム等を格納したメモリ（記憶部）、さらに、ユーザによって操作されるシャッター等の操作部、画像の出力を行うＬＣＤ等からなる表示部等、カメラとしての機能を実行するための構成要素を備えている。
【００３７】
撮像部１０１は、入射光を入力とし、光電変換された画像を出力とする。光学レンズや例えばＣＭＯＳイメージセンサなどによって構成される。
露光制御部１２１は撮像部１０１の露光時間の制御を行う。本開示の撮像装置は、画素単位または画素領域単位で露光時間制御を行う。
露光制御部１２１は、図３に示すように、動被写体検出部１３２、適正露光値算出部１３１を有する。
【００３８】
図２、図３に示すように、撮像部１０１から得られる最新の撮影画像である現在画像は、露光制御部１２１に出力されるとともに記憶部１０３に格納される。
露光制御部１２１は、撮像部１０１から最新の入力画像である現在画像を入力し、さらに、記憶部１０３に保存された現在画像より前のタイミングの入力画像である過去画像と、露光制御マップ（ＭＡＰ）を入力し、更新された露光制御マップと動被写体検出マップ（ＭＡＰ）を出力する。
【００３９】
なお。露光制御マップは、撮像部の撮像デバイスの画素単位の最適な露光時間を設定したマップである。
動被写体検出マップは、撮像部１０１からの入力画像から検出される動被写体領域と静止被写体領域とを画素単位で識別可能としたマップである。
【００４０】
これらの露光制御マップと動被写体検出マップは、撮影される画像フレーム単位、あるいは予め設定した複数フレーム単位で、随時更新される。
動被写体検出部１３２は、撮像部１０１から得られる入力画像である現在画像と、記憶部１０３に保存された過去画像を比較して動被写体領域を判定して、動被写体検出マップを更新し、記憶部１０３に格納するとともに、適正露出値算出部１３１に出力する。
【００４１】
適正露出値算出部１３１は、撮像部１０１から得られる入力画像である現在画像を入力し、記憶部１０３から、過去フレームに基づいて生成した露光制御マップを取得し、さらに、動被写体検出部１３２から更新された動被写体検出マップを入力して、露光制御マップの更新を実行する。この更新された露光制御マップに基づいて撮像部の撮像素子の画素単位の露光時間制御を行う。
また、更新された露光制御マップは記憶部１０３に格納する。
【００４２】
詳細については後述するが、露光制御マップは、動被写体検出マップに基づいて、静止被写体が撮影されていると判定された静止被写体撮影画素領域については、被写体明るさに応じて露光時間を設定したものとして作成される。
一方、動被写体検出マップに基づいて、動被写体の撮影された動被写体撮影画素領域であると判定された領域については、あらかじめ設定された複数の異なる露光時間の組み合わせからなる露光パターンを設定したマップとして作成される。
この露光制御マップの具体的構成例については、後段で説明する。
【００４３】
露光制御部１２１は、更新した露光制御マップに基づいて、撮像部１０１に設けられた撮像デバイスの構成画素または画素領域単位の露光制御を行う。露光制御部１２１において更新された露光制御マップと動被写体検出マップは、記憶部１０３に保存し、その後の撮影フレームの露光制御に利用される。
【００４４】
画像出力部１２２は、図４に示すように、動被写体用信号処理部１４１、静止画素用信号処理部１４２と、出力選択部１４３、および信号処理部１４４を有する。
画像出力部１２２は、撮像部１０１から得られる現在画像と、記憶部１０２に保存された露光制御マップと動被写体検出マップを入力とし、最終的に結果として得られる画像を出力する。
【００４５】
動被写体用信号処理部１４１は、撮像部１０１から得られる現在画像に対して、あらかじめ既定された動被写体に適した信号処理を実行する。
静止画素用信号処理部１４２は、撮像部１０１から得られる現在画像に対して、あらかじめ既定された静止被写体に適した信号処理を実行する。
なお、これらの信号処理に際しては、現在画像に適用された露光制御情報を適用し、各画素単位の露光時間を考慮した信号処理を行う。
【００４６】
出力選択部１４３は、動被写体用信号処理部１４１と静止画素用信号処理部１４２とから、各々の信号処理結果を入力して、さらに、記憶部１０３から動被写体検出マップを入力して、入力マップに基づいて、動被写体領域については、動被写体用信号処理部１４１における信号処理結果を選択し、静止被写体領域については、静止画素用信号処理部１４２における信号処理結果を選択して中間出力画像を生成し、信号処理部１４４に出力する。
【００４７】
信号処理部１４４は、ホワイトバランス調整、色補正、ノイズリダクション、階調補正、ガンマ補正、デモザイク処理などの信号処理を実行して、最終的な出力結果としての出力画像１０５を生成して出力する。
【００４８】
次に、本実施例の撮像装置における露光制御部１２１の構成と処理の詳細について図３を参照して説明する。
入射光が撮像部１０１で光電変換され、最新の入力画像である現在画像が露光制御部１２１の適正露光値算出部１３１と動被写体算出部１３２に入力される。ある画素における入射光の光量をＬ、露光時間をｔ、絞り値をＦ、感度に依存する定数をｋとすると、画素値ｑは以下の式で表わされる。
【００４９】
【数１】
【００５０】
ただし、画素値ｑが飽和画素値ｑｍａｘを超えた場合は飽和し、ｑ＝ｑｍａｘとなる。
光量Ｌに従い撮像部１０１の出力する画素値が変化する様子を関数ｑ（Ｌ）として示したものが図５である。ある光量（ｑｍａｘＦ２／ｋｔ）を境に画素値は飽和し、飽和画素値ｑｍａｘとなることがわかる。
【００５１】
今回の実施例では全て簡単のため露光時間ｔのみが制御可能である場合について考える。つまり適正露光値算出部では、適正露光時間のみが算出されることになる。露光時間ｔと光量Ｌが変化する時の画素値ｑ（Ｌ，ｔ）は以下の関数式で表わされる。
【００５２】
【数２】
【００５３】
図６に示すように、露光時間ｔが長くなるほど、撮像部１０１の出力は少ない光量Ｌで飽和するようになる。
【００５４】
図３に示すように、動被写体検出部１３２には記憶部１０３に保存されている過去の撮像結果も同時に入力される。動被写体検出部１３２では、現在画像と過去画像の両信号を用いて、各画素単位で、動被写体領域であるか否かの検出を行い、動被写体検出マップを出力する。この動被写体検出の方法の詳細については後述する。
【００５５】
適正露光値算出部１３１では、動被写体検出部１３２の生成した動被写体検出マップに従い、２通りの露光時間の設定態様に従って各画素単位の露光時間を決定する。動被写体検出マップで動被写体が検出されなかった画素（静止被写体画素）では、現在画像と露光制御マップを元に適正露光時間を画素ごとに算出する。適正露光の算出は、一般的な自動露光の決定方法に従い行われる。
【００５６】
例えば、Ｎフレーム目のある画素の露光時間を決定する際は、Ｎ−１フレーム目の対象画素周辺の画素値に注目し、その画素値の平均が１８％のグレーとなるようにする。具体的には、Ｎ−１フレームのある画素値の近傍平均値をｑＮ−１、露光時間をｔＮ−１とすると、Ｎフレーム目における適正露光時間ｔＮは以下の式で与えられる。
【００５７】
【数３】
【００５８】
動被写体検出マップで動被写体が検出された画素（動被写体画素）では、空間において周期的に値が変化するような固定パターンで露光時間を決定する。具体的には、固定パターンは例えば、図７に示すように異なるＫ種類の露光の画素が空間的に隣接しないように交互に並んでいるものとする。
図７に示す設定は、Ｋ＝４とした例であり、ｔ１が最も長い露光時間であり、ｔ４が最も短い露光時間とし、各露光時間の関係が以下の設定、すなわち、
ｔ１＞ｔ２＞ｔ３＞ｔ４
これら４つの異なる露光時間を各画素に設定し、同じ露光時間の画素を隣接しないように設定する。
なお、このような固定露光パターンを利用した画像撮影処理の詳細については特許文献４（特開２０１０−１１０００４号公報）において説明されている。
【００５９】
適正露光値算出部１３１では、このように、動被写体検出部１３２の生成した動被写体検出マップに従って、
静止被写体領域では、各画素の被写体輝度に応じた露光時間の設定、
動被写体領域では、例えば図７に示す複数の異なる露光時間の組み合わせパターンに従った露光時間の設定、
これらの２通りの露光時間の設定態様に従って、各画素対応の露光時間を設定した露光制御マップを生成または更新する。
【００６０】
露光制御部１２１では、生成または更新した露光制御マップを利用して、撮像部１０１における露光時間を画素毎に制御する。この一連の流れによって、過去の撮像情報を利用して、適正な露光時間で画素毎に撮像が可能になる。
【００６１】
本実施例における露光制御処理では、動被写体検出マップに従って動被写体の撮影領域に対応する画素では、固定パターンの露光パターンを用いる。
具体的な露光時間設定例を図８に示す。
図８は、撮像部１０１の撮像素子における画素単位の露光時間の設定例を示している。
【００６２】
図８中、ｔａ，ｔｂ，ｔｃ．ｔｄは、静止被写体領域に対応する露光時間を示している。これらの静止被写体画素領域では、被写体輝度に応じた露光時間が設定される。露光時間ｔａ〜ｔｄは、
ｔａ＞ｔｂ＞ｔｃ＞ｔｄ
上記のようにｔａが最も長い露光時間、ｔｄが最も短い露光時間を示している。
この露光時間は被写体輝度に応じて決定される。
【００６３】
一方、太線枠で締め矩形領域が動被写体領域である。
これらの動被写体領域は、先に図７を参照して説明した４種類の露光時間、すなわち、
ｔ１＞ｔ２＞ｔ３＞ｔ４
これら４つの異なる露光時間を、同じ露光時間の画素が隣接しない設定とした周期的な露光パターンが割り付けられる。
【００６４】
次に、図２に示す撮像装置におけるＤＳＰ１０２内の出力画像生成部１２２の構成と処理の詳細について、図４多を参照して説明する。
出力画像生成部１２２は、図２、図４に示すように、撮像部１０１から現在画像を入力し、さらに、記憶部１０３に保存された露光制御マップおよび動被写体検出マップを入力する。
【００６５】
図４に示されるように、現在画像と、露光制御マップは動被写体用信号処理部１４１、および静止画素用信号処理部１４２それぞれに入力される。
動被写体画素用信号処理部１４１では、例えば、先に図７を参照して説明した固定露光パターンで撮像されたと仮定される画素を、画素毎に近傍の露光時間の異なる画素と合成し、広ダイナミックレンジの結果を出力する。
【００６６】
ここでは近傍では入射する光量Ｌはほぼ等しいという前提を置いている。具体的には、Ｎ種類の露光時間を保持する同チャネルの近傍の画素値の和、
ｑｓｕｍ（Ｌ）＝ｑ（Ｌ，ｔ１）＋ｑ（Ｌ，ｔ２）＋…ｑ（Ｌ，ｔＮ）
を、露光制御マップの中で最も長い露光時間ｔｍａｘにしたとき（レンジが広いとき）の飽和を考慮しない値Ｑ（Ｌ）、すなわち、以下に示すＱ（Ｌ）に変換することで、画素値を圧縮することなく全ての画素において大きい階調で画素値を量子化できる。
【００６７】
【数４】
【００６８】
なお、上記式において、
ｑｓｕｍ（Ｌ）は、図９に示すように光量Ｌに従い以下のような値を取る。
【００６９】
【数５】
【００７０】
なお、上記式において、
ｔ１＞ｔ２＞…＞ｔＮ
である。
ｔｎは露光時間が長い順から並べてｎ番目（１≦ｎ＜Ｎ）の露光時間を示す。
【００７１】
ここでの問題設定は、Ｎ種類の露光時間を保持する同チャネルの近傍の画素値の和ｑｓｕｍ（Ｌ）を、出力画素値としての補正画素値Ｑ（Ｌ）に変換することになる。ここで上式の関数ｑｓｕｍ（Ｌ）は全ての画素が飽和するまで光量Ｌに対して単調増加であり、Ｑ（Ｌ）も同じく光量Ｌに対して単調増加であるため、ｑｓｕｍ（Ｌ）に線形演算を施せば変換できることがわかる。
具体的には、以下の式が成立するように線形変換を行う。
【００７２】
【数６】
【００７３】
なお、ここで、図１０に示すようにｑｓｕｍ（Ｌ）が飽和する光量以上のＬが入ったときはＱ（Ｌ）も飽和させる。ａ，ｂの値は以下のようになる。
【００７４】
【数７】
【００７５】
図４に示す出力画像生成部１２２の動被写体画素用信号処理部１４１では、このように周辺の画素値の加算を利用して、ダイナミックレンジの拡大を実現するが、前提として、加算処理を実行して有意な情報が得られる程度のある程度の大きさの近傍領域は動被写体画素として検出されなければならない。
従って、例えば静止被写体画素領域の中に１つのみの動被写体画素が存在してもこの加算処理による処理では有効な画素値を算出することは困難となる。
しかし、詳しくは後述するが、動被写体検出部１３２における動被写体検出処理によって生成する動被写体検出マップでは、ある程度まとまった画素領域で動被写体の検出を行うので、必ず複数画素からなる動被写体画素領域が設定され、このような問題を回避することができる。
【００７６】
一方、図４に示す出力画像生成部１２２の静止画素用信号処理部１４２は、露光制御マップの値をもとに、各画素で別々の適切なゲインをかける。露光時間が短い場合は大きいゲインを乗じて、露光が長い場合は少ないゲインを乗ずる画素値変換処理により出力画素値を算出する。
【００７７】
変換する値は、動被写体用信号処理部１４１と同様、最も広く量子化できる最長露光時間ｔｍａｘの時の画素値Ｑ（Ｌ）である。ただし、図１１に示すように入射光量Ｌが動被写体画素用信号処理部での最短露光時間ｔＮでの飽和レベルを超える時は、動被写体画素用信号処理部での飽和画素値と等しく値を変換する。
【００７８】
具体的には、得られた光量Ｌの画素値ｑ（Ｌ，ｔ）に対して以下の演算を行い、補正画素値Ｑ（Ｌ）を得る。
【００７９】
【数８】
【００８０】
次に、図４に示す出力画像生成部１２２の出力選択部１４３は、動被写体画素用信号処理部１４１の生成した動被写体画素用信号処理結果、および静止画素用信号処理部１４２の生成した静止画素用信号処理結果の双方を入力し、各画素単位で動被写体検出マップを参照して出力画素値を選択する。
【００８１】
動被写体検出マップにおいて動被写体と判定されている画素では動被写体用信号処理結果、それ以外の画素については静止画用信号処理結果が選択される。
この出力選択部１４３の出力する中間出力画像は、撮像部１０１から得られた入力画像よりも高いビット数を持つダイナミックレンジの広い画像であり、この広ダイナミックレンジ画像が後段の信号処理部１４４に入力される
【００８２】
信号処理部１４４は、一般的なカメラにおいて実行される画像補正処理、すなわちデモザイク、ホワイトバランス、色補正、ノイズリダクション、階調補正、ガンマ補正などが行われ、最終的な出力結果としての出力画像１０５を生成する。
【００８３】
次に、動被写体検出部１４１において実行する動被写体検出手法について、具体的に説明する。
図１２は動被写体検出部１４１において実行する動被写体検出の流れを説明する図である。
【００８４】
動被写体検出部１４１は、撮像部１０１においてＮ−２フレーム画像を撮影したタイミングで、このＮ−２フレーム画像と、記憶部１０３に格納済みのＮ−３フレーム画像を取得してこれらの２つの画像に基づいて動被写体領域の推定を実行する。
【００８５】
次に、動被写体検出部１４１は、撮像部１０１においてＮ−１フレーム画像を撮影したタイミングで、このＮ−１フレーム画像と、記憶部１０３に格納済みのＮ−２フレーム画像を取得してこれらの２つの画像に基づいて動被写体領域の推定を実行する。
【００８６】
次に、動被写体検出部１４１は、撮像部１０１においてＮフレーム画像を撮影したタイミングで、このＮフレーム画像と、記憶部１０３に格納済みのＮ−１フレーム画像を取得してこれらの２つの画像に基づいて動被写体領域の推定を実行する。
このように、動被写体検出部１４１は、順次、利用画像を新しいものに切り替えて動被写体領域の検出処理を実行する。
【００８７】
動被写体検出部１４１は、Ｎフレーム目に取得された画像の動被写体領域を、過去の２画像、つまりＮ−１フレーム目に取得された画像およびＮ−２番目に取得された画像を用いて推定する。処理の概要について図１３を参照して説明する。
【００８８】
Ｎ−１フレーム画像と、Ｎ−２フレーム画像の２枚を入力とし、まず、ステップＳ１１において、Ｎ−１フレーム画像の動被写体領域の検出を行う。領域の検出は２画像間の対応画素位置の画素値の差分絶対値を算出し、予め設定した閾値と比較することで行う。
差分絶対値が、予め設定した閾値以上ならば動被写体画素とする。
差分絶対値が、予め設定した閾値未満であれば動被写体画素ではない、すなわち静止被写体画素であると判定する。
【００８９】
その後、ステップＳ１２において、Ｎ−１フレーム画像において動被写体領域とされた画素において動きベクトルを求める。動きベクトルは勾配法を用いて求める。
さらに、Ｎ−１フレーム画像の動被写体領域とされた画素において求めた動きベクトルを元に、ステップＳ１３でＮフレーム目の動被写体検出領域を求める。
この算出手順について説明する。
【００９０】
ある座標ｋ（ｘｋ，ｙｋ）での検出値である画素値の差分絶対値をαとしたときに、αが閾値以上なら検出画素（動被写体画素）と判定する。
図１４に示されるように、ある動きベクトル（中心（ｘ，ｙ），動き量（ｕ，ｖ））に対する座標ｋ（ｘｋ，ｙｋ）の動きベクトル方向の距離ｌｋ（エルケー）は以下の式で算出される。
【００９１】
【数９】
【００９２】
また、動きベクトル方向への距離がｌ（エル）の時の動きベクトル方向の検出値をβ（ｌ）とすると、その値はｌ（エル）に従い図１５のように変化し、以下の式で算出される。
【００９３】
【数１０】
【００９４】
上記式において、
Ｃｏｒβ１〜Ｃｏｒβ３は、変更可能なパラメータであり、変更させることで検出値βの値を変更することが可能である。
【００９５】
検出値αは法線ベクトル方向の距離も加味する。つまり動きベクトルの法線方向の距離が近いほど、検出値を高くする。そのために、法線ベクトル方向への距離ｍを算出する。
図１６に示されるように、ある動きベクトル（中心（ｘ，ｙ），動き（ｕ，ｖ））に対する座標ｋ（ｘｋ，ｙｋ）の法線ベクトル方向の距離ｍｋは以下の式で算出される。
【００９６】
【数１１】
【００９７】
また、動きベクトル方向への距離がｌ（エル）、法線ベクトル方向への距離がｍのとき、検出値α（ｍ，ｌ）は図１７のように変化し、以下の式で算出される。
【００９８】
【数１２】
【００９９】
上記式において、Ｃｏｒαｏｆｆ、Ｃｏｒαｗｉｄは変更可能なパラメータであり、変更させることで検出値αの値が変わってくる。
この値αを求められた全ての動きベクトルについて、全座標で算出し、最大値を最終的な検出値αとする。
【０１００】
このように動きベクトルそのものをピークとした動きも予測した検出値を設けることである程度まとまった領域で動被写体領域を推定することができる。
検出値αが閾値以上の画素を動被写体画素、それ以外を静止画素として、それぞれ１、０の値を持つ２ビット画像を動被写体検出マップとして出力する。
【０１０１】
［２．撮像装置の第２実施例の構成と処理について］
上述した実施例、すなわち、図２他を参照して説明した構成では、露光制御部１２１に対して撮像部１０１の撮影画像をそのまま入力して露光時間の算出を実行しているが、撮像部１０１の撮影画像を縮小して縮小画像を露光制御部に入力して、露光制御部が縮小画像に基づく処理を行ってもよい。
この構成に対応する撮像装置の構成図は図１８に示す構成となる。
【０１０２】
図１８に示す撮像装置では、入射光が撮像部５０１で光電変換され、現在画像がＤＳＰ５０２の縮小画像生成部５２３に入力される。縮小画像生成部５２３における縮小画像の生成は、例えば輝度信号１チャネルのみに対する処理として実行してよい。
具体的には、例えば縮小した結果同一の画素になる元のＲＡＷ画像中の（Ｒ，Ｇｂ，Ｇｒ，Ｂ）値の最大値を抽出する処理として行うことが可能である。
【０１０３】
縮小画像生成部５２３の生成した縮小画像は記憶部５０３に保存される。
露光制御部５２１は、縮小画像生成部５２３が現在画像に基づいて生成した縮小画像と、記憶部５０３に保存された過去の縮小画像を入力し、露光制御部５２１内の動被写体算出部で動被写体の検出が行われる。
【０１０４】
本実施例における露光制御部５２１も、先の実施例と同様、図３に示す動被写体検出部と適正露光値算出部を有し、動被写体検出部において動被写体検出マップを生成し、適正露光値算出部において露光制御マップの生成しよりを実行する。この処理に際して、縮小画像が適用されることになり、処理負荷が軽減される。
なお、撮像部１０１に対する露光制御は、縮小画像に基づいて生成した露光時間の設定情報を元の撮像素子のサイズ（画素数）に復元して行われる。例えば１／４縮小画像に基づいて生成した露光制御マップに設定された縮小画像の１画素対応の露光時間は、元の撮像素子の４画素に対して適用されることになる。
【０１０５】
図１９は、本実施例における縮小画像の生成と、動被写体検出処理のシーケンスを示す図である。
動被写体検出部は、撮像部５０１においてＮ−２フレーム画像が撮影されると、縮小画像生成部５２３において縮小画像を生成し、生成したＮ−２フレーム縮小画像と、記憶部５０３に格納済みのＮ−３フレーム縮小画像を取得してこれらの２つの縮小画像に基づいて動被写体領域の推定を実行する。
【０１０６】
次に、動被写体検出部は、撮像部１０１においてＮ−１フレーム画像が撮影されると、縮小画像生成部５２３において縮小画像を生成し、生成したＮ−１フレーム縮小画像と、記憶部５０３に格納済みのＮ−２フレーム縮小画像を取得してこれらの２つの縮小画像に基づいて動被写体領域の推定を実行する。
【０１０７】
さらに、動被写体検出部は、撮像部１０１においてＮフレーム画像が撮影されると、縮小画像生成部５２３において縮小画像を生成し、生成したＮフレーム縮小画像と、記憶部５０３に格納済みのＮ−１フレーム縮小画像を取得してこれらの２つの縮小画像に基づいて動被写体領域の推定を実行する。
このように、動被写体検出部は、順次、利用画像を新しい縮小画像に切り替えて動被写体領域の検出処理を実行する。
【０１０８】
縮小画像を用いることによって動被写体検出の計算量および適正露光時間算出の計算量が削減され、更に露光制御マップおよび動被写体検出マップのサイズも小さくなるので、記憶部に記憶する情報量を抑えることができる。
【０１０９】
一方、動被写体の検出精度や露光時間の算出精度は落ちてしまう。動被写体を検出できなくなれば、飽和や黒つぶれの問題が再発し、画質の低下が顕著になってしまう。それに起因する副作用を抑えるために、動被写体検出部の検出パラメータを変化させ、検出をしやすくする方法がある。このようにパラメータを変化させると、本当は動被写体ではない領域まで検出されてしまうが、検出漏れは防ぐことができる。検出過剰によって起こる副作用は、該当領域の解像感の低下であるが、小領域での解像感の低下は、飽和や黒つぶれが発生するよりは目立たないことが多い。適正露光時間の算出精度が落ちてしまう問題は顕在してしまうが、極めて小さい近傍領域で適正露光が大きく変わるシーンというものは現実にはあまりなく問題視しなくて良いことが多い。
【０１１０】
［３．撮像装置の第３実施例の構成と処理について］
次に説明する実施例３は、実施例１，２で用いている記憶部を用いない構成とした例である。本実施例での撮像装置全体の構成は図２０に示す構成となる。
なお、縮小画像生成部６２３は必須ではないが、設けることで、前述の実施例２と同様、処理負荷の低減が実現される。
【０１１１】
撮像部６０１で得られた撮像結果である現在画像は、ＤＳＰ６０２の露光制御部６２１と、出力画像生成部６２２に入力される。なお、この場合の入力画像は縮小画像でも良い。
【０１１２】
現在画像（縮小画像）が露光制御部６２１、出力画像生成部６２２にそれぞれ入力され、露光制御部６２１には別に１ビットの露光制御のための「制御設定パラメータ」を入力する。このパラメータは、例えばユーザが入力部を介して入力する設定情報に基づいて実行される。
図２１に示すようにこの「制御設定パラメータ」は動被写体検出部６３２に入力される。動被写体検出部６３２は、設定パラメータに応じて、画像全体を動被写体画素とした動被写体検出マップ、または画像全体を静止画素とした動被写体検出マップを出力する。
【０１１３】
動被写体検出部６３２の生成した動被写体検出マップは適正露光値算出部６３１に渡される。適正露光値算出部６３１では、画像全体を動被写体画素とした動被写体検出マップ、または画像全体を静止画素とした動被写体検出マップ、それぞれのマップに応じて、先に実施例１で説明した露光時間の設定処理が行われ画素ごとに露光時間を算出する。
【０１１４】
すなわち、動被写体検出部６３２の生成した動被写体検出マップが、画像全体を動被写体画素とした動被写体検出マップである場合には、全画素に対して、例えば図７を参照して説明した固定パターンの露光時間設定を施した露光制御マップを生成して露光制御を実行する。
【０１１５】
一方、動被写体検出部６３２の生成した動被写体検出マップが、画像全体を静止被写体画素とした動被写体検出マップである場合には、全画素に対して、被写体輝度に応じた露光時間設定を施した露光制御マップを生成して露光制御を実行する。
なお、本構成では、図２０に示すように、露光制御部６２１の出力である露光制御マップと動被写体検出マップは規約部に格納されることなく、直接、出力画像生成部６２２に渡される。
【０１１６】
出力画像生成部６２２は、先の実施例１において図４を参照して説明したと同様の構成を有し、図４を参照して説明したと同様の処理を実行して出力画像を生成する。
本実施例では実施例１，２のように動被写体の検出を行い領域ごとに露光制御の方法を変えることはできなくなるが、記憶装置がいらなくなるというメリットを持つ。
【０１１７】
［４．撮像装置の第４実施例の構成と処理について］
前述の実施例１では、動被写体検出部の動被写体検出処理における動きベクトル算出処理に際して、勾配法を用いた例を説明したが、勾配法の代わりにブロックマッチング法を適用してもよい。ブロックマッチング法を用いる場合、精度は高くなるが演算量が増加する。
【０１１８】
［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１１９】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）撮像部と、
前記撮像部に対して画素領域単位の異なる露光時間制御を行う露光制御部と、
前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成部を有し、
前記露光制御部は、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出部と、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出部を有し、
前記出力画像生成部は、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出する撮像装置。
【０１２０】
（２）前記適正露光値算出部は、前記動被写体検出マップを参照して、静止被写体領域には、被写体輝度に応じた露光時間を設定した露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する前記（１）に記載の撮像装置。
（３）前記適正露光値算出部は、動被写体領域に設定する露光パターンを、同一の露光時間が隣接画素に設定されない露光パターンとした露光制御マップを生成する前記（１）または（２）に記載の撮像装置。
【０１２１】
（４）前記出力画像生成部は、前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して、前記撮像部の出力する各画素単位の画素値より広いダイナミックレンジを持つ出力画素値を算出する動被写体画素用信号処理部を有する前記（１）〜（３）いずれかに記載の撮像装置。
（５）前記出力画像生成部は、画素単位で露光時間が短い画素に対しては大きなゲインを乗じ、露光時間が長い画素に対しては小さなゲインを乗じて出力画素値を算出する処理を行う静止画素用信号処理部を有する前記（１）〜（４）いずれかに記載の撮像装置。
【０１２２】
（６）前記撮像装置は、前記撮像部の出力画像を縮小する縮小画像生成部を有し、前記露光制御部は、前記縮小画像生成部の生成した縮小画像を入力して、縮小画像に基づいて露光制御情報を生成する前記（１）〜（５）いずれかに記載の撮像装置。
（７）前記撮像装置は、前記撮像部の出力画像を記憶する記憶部を有し、前記動被写体検出部は、前記撮像部の出力する現在画像と、前記記憶部に格納された過去画像を利用して前記動被写体検出マップを生成する前記（１）〜（６）いずれかに記載の撮像装置。
【０１２３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１２４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１２５】
以上、説明したように、本開示の一実施例の構成によれば、撮像部からの入力画像情報に基づいて動被写体領域の判別を実行して動被写体検出マップを生成し、生成した動被写体検出マップを利用して、動被写体検出画素領域に対しては複数の異なる露光時間を周期的に配置したパターンからなる露光パターンを設定する。静止被写体領域に対しては被写体輝度に応じた露光時間設定を行う。
このような露光時間制御に基づいて撮影した画像に対して、動被写体領域については複数の異なる露光時間の設定画素の画素値を利用した画素値合成処理により広ダイナミックレンジの画素値を算出し、静止被写体領域については露光時間に応じたゲインの乗算によって広ダイナミックレンジの画素値を算出して出力画像を生成する。この処理により解像度劣化を最小限に抑えつつ全領域に跨り広ダイナミックレンジ画像の取得が実現される。
【符号の説明】
【０１２６】
１１ 高輝度領域
１２ 低輝度領域
１０１ 撮像部
１０２ ＤＳＰ
１０３ 記憶部
１０５ 出力画像
１２１ 露光制御部
１２２ 出力画像生成部
１３１ 適正露光値制御部
１３２ 動被写体検出部
１４１ 動被写体画素用信号処理部
１４２ 静止画素用信号処理部
１４３ 出力選択部
１４４ 信号処理部
５０１ 撮像部
５０２ ＤＳＰ
５０３ 記憶部
５０５ 出力画像
５２１ 露光制御部
５２２ 出力画像生成部
５２３ 縮小画像生成部
６０１ 撮像部
６０２ ＤＳＰ
６０５ 出力画像
６２１ 露光制御部
６２２ 出力画像生成部
６２３ 縮小画像生成部
６３１ 適正露光値算出部
６３２ 動被写体検出部
【技術分野】
【０００１】
本開示は、撮像装置、および撮像装置制御方法、並びにプログラムに関する。特に、ダイナミックレンジの広い画像を生成する撮像装置、および撮像装置制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
【０００３】
このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【０００４】
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
【０００５】
このような処理を実現する手法として、連続的に露光時間の異なる複数の画像を撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
【０００６】
例えば特許文献１（特開２００８−９９１５８号公報）は、複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。
【０００７】
例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
【０００８】
時間ｔ０〜ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。
【０００９】
しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。
【００１０】
そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【００１１】
なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
【００１２】
このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。
【００１３】
この他、広ダイナミックレンジ画像を撮像する撮像装置として、事前の撮像情報に基づき画素単位で露光制御をする方法、そして空間的に露出を変化させながら合成を行う方法などが知られている。
【００１４】
例えば、特許文献２（特開２００１−３５８９８９号公報）や、特許文献３（特開２０１０−１３６２０５号公報）は、予備撮像した画像の輝度情報から露光制御情報を記録し、次の撮像条件にパラメータとして入れることで、露光を制御し、高解像を維持したまま広ダイナミックレンジ撮像を実現する構成を開示している。
【００１５】
しかし、図１を参照して説明した複数の撮影画像を利用する方法や、上記の事前の撮像情報に基づいて露光を制御する処理を行う構成では、動く被写体がある場合に、画素値の変動が発生する。従って、図１を参照して説明した複数の撮影画像を利用する方法では、合成画像の生成時に誤った画素値が設定されてしまう。
【００１６】
また、予備撮像した画像の輝度情報に基づいて露光制御を行う方法では、事前に画素単位で設定している露光制御情報が誤った情報となり、最適な制御が実現できなくなる。
たとえば暗→明と変化した画素では露光量が予想より多すぎるために飽和、明→暗と変化した画素では露光量が予想より少なすぎるためＳ／Ｎの低下、という問題が発生する。
【００１７】
また、特許文献４（特開２０１０−１１０００４号公報）は、センサ上に複数の異なる感度センサを設け、固定パターン上に配置し、低露出と高露出をそれぞれの画素で補間することで、広ダイナミックレンジを実現している。
【００１８】
この方法では、画素ごとに時間によらず露出が固定なので、動被写体の影響を受けにくい。ただしセンサ上に固定パターンで低感度と高感度のセンサを配置するために従来のＲＧＢセンサと比較してサンプリング感覚が広くなり、解像度が低下する問題が発生する。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００８−９９１５８号公報
【特許文献２】特開２００１−３５８９８９号公報
【特許文献３】特開２０１０−１３６２０５号公報
【特許文献４】特開２０１０−１１０００４号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
本開示は、例えば、上述の問題点に鑑みてなされたものであり、動被写体による画質低下を抑制したダイナミックレンジの広い画像を生成する撮像装置、および撮像装置制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本開示の第１の側面は、
撮像部と、
前記撮像部に対して画素領域単位の異なる露光時間制御を行う露光制御部と、
前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成部を有し、
前記露光制御部は、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出部と、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出部を有し、
前記出力画像生成部は、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出する撮像装置にある。
【００２２】
さらに、本開示の撮像装置の一実施態様において、前記適正露光値算出部は、前記動被写体検出マップを参照して、静止被写体領域には、被写体輝度に応じた露光時間を設定した露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する。
【００２３】
さらに、本開示の撮像装置の一実施態様において、前記適正露光値算出部は、動被写体領域に設定する露光パターンを、同一の露光時間が隣接画素に設定されない露光パターンとした露光制御マップを生成する。
【００２４】
さらに、本開示の撮像装置の一実施態様において、前記出力画像生成部は、前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して、前記撮像部の出力する各画素単位の画素値より広いダイナミックレンジを持つ出力画素値を算出する動被写体画素用信号処理部を有する。
【００２５】
さらに、本開示の撮像装置の一実施態様において、前記出力画像生成部は、画素単位で露光時間が短い画素に対しては大きなゲインを乗じ、露光時間が長い画素に対しては小さなゲインを乗じて出力画素値を算出する処理を行う静止画素用信号処理部を有する。
【００２６】
さらに、本開示の撮像装置の一実施態様において、前記撮像装置は、前記撮像部の出力画像を縮小する縮小画像生成部を有し、前記露光制御部は、前記縮小画像生成部の生成した縮小画像を入力して、縮小画像に基づいて露光制御情報を生成する。
【００２７】
さらに、本開示の撮像装置の一実施態様において、前記撮像装置は、前記撮像部の出力画像を記憶する記憶部を有し、前記動被写体検出部は、前記撮像部の出力する現在画像と、前記記憶部に格納された過去画像を利用して前記動被写体検出マップを生成する。
【００２８】
さらに、本開示の第２の側面は、
撮像装置において実行する撮像装置制御方法であり、
撮像部が画像撮影を行う撮像ステップと、
露光制御部が、前記撮像部に対して画素領域単位の異なる露光時間制御を行う露光制御ステップと、
出力画像生成部が、前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成ステップを実行し、
前記露光制御ステップは、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出ステップと、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出ステップを含み、
前記出力画像生成ステップは、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出するステップを含む撮像装置制御方法にある。
【００２９】
さらに、本開示の第３の側面は、
撮像装置において撮像装置制御処理を実行させるプログラムであり、
撮像部に画像撮影を行わせる撮像ステップと、
露光制御部に、前記撮像部に対して画素領域単位の異なる露光時間制御を行わせる露光制御ステップと、
出力画像生成部に、前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成ステップを実行させ、
前記露光制御ステップにおいては、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出ステップと、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出ステップを実行させ、
前記出力画像生成ステップにおいては、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出させるプログラムにある。
【００３０】
なお、本開示に係るプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３１】
本開示の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明の効果】
【００３２】
本開示の一実施例の構成によれば、撮像部からの入力画像情報に基づいて動被写体領域の判別を実行して動被写体検出マップを生成し、生成した動被写体検出マップを利用して、動被写体検出画素領域に対しては複数の異なる露光時間を周期的に配置したパターンからなる露光パターンを設定する。静止被写体領域に対しては被写体輝度に応じた露光時間設定を行う。
このような露光時間制御に基づいて撮影した画像に対して、動被写体領域については複数の異なる露光時間の設定画素の画素値を利用した画素値合成処理により広ダイナミックレンジの画素値を算出し、静止被写体領域については露光時間に応じたゲインの乗算によって広ダイナミックレンジの画素値を算出して出力画像を生成する。この処理により解像度劣化を最小限に抑えつつ全領域に跨り広ダイナミックレンジ画像の取得が実現される。
【図面の簡単な説明】
【００３３】
【図１】複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る処理について説明する図である。
【図２】本開示の撮像装置の構成例を示す図である。
【図３】本開示の撮像装置における露光制御部の構成例について説明する図である。
【図４】本開示の撮像装置における出力画像生成部の構成例について説明する図である。
【図５】光量Ｌに従い撮像部の出力する画素値が変化する様子を関数ｑ（Ｌ）として示した図である。
【図６】光量Ｌと露光時間ｔに従い撮像部の出力する画素値が変化する様子を関数ｑ（Ｌ，ｔ）として示した図である。
【図７】動被写体画素における露光制御パターンであり、空間において周期的に値が変化するような固定パターンの例を示す図である。
【図８】本開示の撮像装置における露光制御例について説明する図である。
【図９】Ｎ種類の露光時間を保持する同チャネルの近傍の画素値の和の算出処理について説明する図である。
【図１０】Ｎ種類の露光時間を保持する同チャネルの近傍の画素値の和ｑｓｕｍ（Ｌ）を、出力画素値としての補正画素値Ｑ（Ｌ）に変換する処理について説明する図である。
【図１１】入射光量Ｌと補正画素値Ｑ（Ｌ）との対応について説明する図である。
【図１２】動被写体検出部１４１において実行する動被写体検出の流れを説明する図である。
【図１３】動被写体検出部１４１において実行する動被写体検出の流れを説明する図である。
【図１４】動被写体検出部１４１において実行する動被写体検出処理の具体例について説明する図である。
【図１５】動きベクトル方向への距離：ｌ（エル）と、動きベクトル方向の検出値をβ（ｌ）との対応関係について説明する図である。
【図１６】動きベクトル（中心（ｘ，ｙ），動き（ｕ，ｖ））と動きベクトルに対する座標ｋ（ｘｋ，ｙｋ）の法線ベクトル方向の距離ｍｋの関係について説明する図である。
【図１７】動きベクトル方向への距離がｌ（エル）のときの、法線ベクトル方向への距離：ｍと、検出値α（ｍ，ｌ）との関係について説明する図である。
【図１８】実施例２の撮像装置の構成例について説明する図である。
【図１９】実施例２の撮像装置の動被写体検出部の実行する動被写体検出の流れを説明する図である。
【図２０】実施例３の撮像装置の構成例について説明する図である。
【図２１】実施例３の撮像装置の露光制御部６２１の構成と処理について説明する図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照しながら、本開示の撮像装置、および撮像装置制御方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．撮像装置の第１実施例の構成と処理について
２．撮像装置の第２実施例の構成と処理について
３．撮像装置の第３実施例の構成と処理について
４．撮像装置の第４実施例の構成と処理について
５．本開示の構成のまとめ
【００３５】
［１．撮像装置の第１実施例の構成と処理について］
まず、本開示の撮像装置の第１実施例について説明する。
図２は、本開示の実施例１に係る撮像装置の構成例を示すブロック図である。本実施形態に係る撮像装置は、撮像部１０１、画像信号処理手段としてのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０２、記憶部１０３を有する。
ＤＳＰ１０２は、露光制御部１２１、出力画像生成部１２２を有する。
【００３６】
なお、撮像装置は、図２に示す構成の他、各構成部の制御を実行する制御部、具体的にはプログラム実行機能を持つＣＰＵ等を備えた制御部や、制御部において実行するプログラム等を格納したメモリ（記憶部）、さらに、ユーザによって操作されるシャッター等の操作部、画像の出力を行うＬＣＤ等からなる表示部等、カメラとしての機能を実行するための構成要素を備えている。
【００３７】
撮像部１０１は、入射光を入力とし、光電変換された画像を出力とする。光学レンズや例えばＣＭＯＳイメージセンサなどによって構成される。
露光制御部１２１は撮像部１０１の露光時間の制御を行う。本開示の撮像装置は、画素単位または画素領域単位で露光時間制御を行う。
露光制御部１２１は、図３に示すように、動被写体検出部１３２、適正露光値算出部１３１を有する。
【００３８】
図２、図３に示すように、撮像部１０１から得られる最新の撮影画像である現在画像は、露光制御部１２１に出力されるとともに記憶部１０３に格納される。
露光制御部１２１は、撮像部１０１から最新の入力画像である現在画像を入力し、さらに、記憶部１０３に保存された現在画像より前のタイミングの入力画像である過去画像と、露光制御マップ（ＭＡＰ）を入力し、更新された露光制御マップと動被写体検出マップ（ＭＡＰ）を出力する。
【００３９】
なお。露光制御マップは、撮像部の撮像デバイスの画素単位の最適な露光時間を設定したマップである。
動被写体検出マップは、撮像部１０１からの入力画像から検出される動被写体領域と静止被写体領域とを画素単位で識別可能としたマップである。
【００４０】
これらの露光制御マップと動被写体検出マップは、撮影される画像フレーム単位、あるいは予め設定した複数フレーム単位で、随時更新される。
動被写体検出部１３２は、撮像部１０１から得られる入力画像である現在画像と、記憶部１０３に保存された過去画像を比較して動被写体領域を判定して、動被写体検出マップを更新し、記憶部１０３に格納するとともに、適正露出値算出部１３１に出力する。
【００４１】
適正露出値算出部１３１は、撮像部１０１から得られる入力画像である現在画像を入力し、記憶部１０３から、過去フレームに基づいて生成した露光制御マップを取得し、さらに、動被写体検出部１３２から更新された動被写体検出マップを入力して、露光制御マップの更新を実行する。この更新された露光制御マップに基づいて撮像部の撮像素子の画素単位の露光時間制御を行う。
また、更新された露光制御マップは記憶部１０３に格納する。
【００４２】
詳細については後述するが、露光制御マップは、動被写体検出マップに基づいて、静止被写体が撮影されていると判定された静止被写体撮影画素領域については、被写体明るさに応じて露光時間を設定したものとして作成される。
一方、動被写体検出マップに基づいて、動被写体の撮影された動被写体撮影画素領域であると判定された領域については、あらかじめ設定された複数の異なる露光時間の組み合わせからなる露光パターンを設定したマップとして作成される。
この露光制御マップの具体的構成例については、後段で説明する。
【００４３】
露光制御部１２１は、更新した露光制御マップに基づいて、撮像部１０１に設けられた撮像デバイスの構成画素または画素領域単位の露光制御を行う。露光制御部１２１において更新された露光制御マップと動被写体検出マップは、記憶部１０３に保存し、その後の撮影フレームの露光制御に利用される。
【００４４】
画像出力部１２２は、図４に示すように、動被写体用信号処理部１４１、静止画素用信号処理部１４２と、出力選択部１４３、および信号処理部１４４を有する。
画像出力部１２２は、撮像部１０１から得られる現在画像と、記憶部１０２に保存された露光制御マップと動被写体検出マップを入力とし、最終的に結果として得られる画像を出力する。
【００４５】
動被写体用信号処理部１４１は、撮像部１０１から得られる現在画像に対して、あらかじめ既定された動被写体に適した信号処理を実行する。
静止画素用信号処理部１４２は、撮像部１０１から得られる現在画像に対して、あらかじめ既定された静止被写体に適した信号処理を実行する。
なお、これらの信号処理に際しては、現在画像に適用された露光制御情報を適用し、各画素単位の露光時間を考慮した信号処理を行う。
【００４６】
出力選択部１４３は、動被写体用信号処理部１４１と静止画素用信号処理部１４２とから、各々の信号処理結果を入力して、さらに、記憶部１０３から動被写体検出マップを入力して、入力マップに基づいて、動被写体領域については、動被写体用信号処理部１４１における信号処理結果を選択し、静止被写体領域については、静止画素用信号処理部１４２における信号処理結果を選択して中間出力画像を生成し、信号処理部１４４に出力する。
【００４７】
信号処理部１４４は、ホワイトバランス調整、色補正、ノイズリダクション、階調補正、ガンマ補正、デモザイク処理などの信号処理を実行して、最終的な出力結果としての出力画像１０５を生成して出力する。
【００４８】
次に、本実施例の撮像装置における露光制御部１２１の構成と処理の詳細について図３を参照して説明する。
入射光が撮像部１０１で光電変換され、最新の入力画像である現在画像が露光制御部１２１の適正露光値算出部１３１と動被写体算出部１３２に入力される。ある画素における入射光の光量をＬ、露光時間をｔ、絞り値をＦ、感度に依存する定数をｋとすると、画素値ｑは以下の式で表わされる。
【００４９】
【数１】
【００５０】
ただし、画素値ｑが飽和画素値ｑｍａｘを超えた場合は飽和し、ｑ＝ｑｍａｘとなる。
光量Ｌに従い撮像部１０１の出力する画素値が変化する様子を関数ｑ（Ｌ）として示したものが図５である。ある光量（ｑｍａｘＦ２／ｋｔ）を境に画素値は飽和し、飽和画素値ｑｍａｘとなることがわかる。
【００５１】
今回の実施例では全て簡単のため露光時間ｔのみが制御可能である場合について考える。つまり適正露光値算出部では、適正露光時間のみが算出されることになる。露光時間ｔと光量Ｌが変化する時の画素値ｑ（Ｌ，ｔ）は以下の関数式で表わされる。
【００５２】
【数２】
【００５３】
図６に示すように、露光時間ｔが長くなるほど、撮像部１０１の出力は少ない光量Ｌで飽和するようになる。
【００５４】
図３に示すように、動被写体検出部１３２には記憶部１０３に保存されている過去の撮像結果も同時に入力される。動被写体検出部１３２では、現在画像と過去画像の両信号を用いて、各画素単位で、動被写体領域であるか否かの検出を行い、動被写体検出マップを出力する。この動被写体検出の方法の詳細については後述する。
【００５５】
適正露光値算出部１３１では、動被写体検出部１３２の生成した動被写体検出マップに従い、２通りの露光時間の設定態様に従って各画素単位の露光時間を決定する。動被写体検出マップで動被写体が検出されなかった画素（静止被写体画素）では、現在画像と露光制御マップを元に適正露光時間を画素ごとに算出する。適正露光の算出は、一般的な自動露光の決定方法に従い行われる。
【００５６】
例えば、Ｎフレーム目のある画素の露光時間を決定する際は、Ｎ−１フレーム目の対象画素周辺の画素値に注目し、その画素値の平均が１８％のグレーとなるようにする。具体的には、Ｎ−１フレームのある画素値の近傍平均値をｑＮ−１、露光時間をｔＮ−１とすると、Ｎフレーム目における適正露光時間ｔＮは以下の式で与えられる。
【００５７】
【数３】
【００５８】
動被写体検出マップで動被写体が検出された画素（動被写体画素）では、空間において周期的に値が変化するような固定パターンで露光時間を決定する。具体的には、固定パターンは例えば、図７に示すように異なるＫ種類の露光の画素が空間的に隣接しないように交互に並んでいるものとする。
図７に示す設定は、Ｋ＝４とした例であり、ｔ１が最も長い露光時間であり、ｔ４が最も短い露光時間とし、各露光時間の関係が以下の設定、すなわち、
ｔ１＞ｔ２＞ｔ３＞ｔ４
これら４つの異なる露光時間を各画素に設定し、同じ露光時間の画素を隣接しないように設定する。
なお、このような固定露光パターンを利用した画像撮影処理の詳細については特許文献４（特開２０１０−１１０００４号公報）において説明されている。
【００５９】
適正露光値算出部１３１では、このように、動被写体検出部１３２の生成した動被写体検出マップに従って、
静止被写体領域では、各画素の被写体輝度に応じた露光時間の設定、
動被写体領域では、例えば図７に示す複数の異なる露光時間の組み合わせパターンに従った露光時間の設定、
これらの２通りの露光時間の設定態様に従って、各画素対応の露光時間を設定した露光制御マップを生成または更新する。
【００６０】
露光制御部１２１では、生成または更新した露光制御マップを利用して、撮像部１０１における露光時間を画素毎に制御する。この一連の流れによって、過去の撮像情報を利用して、適正な露光時間で画素毎に撮像が可能になる。
【００６１】
本実施例における露光制御処理では、動被写体検出マップに従って動被写体の撮影領域に対応する画素では、固定パターンの露光パターンを用いる。
具体的な露光時間設定例を図８に示す。
図８は、撮像部１０１の撮像素子における画素単位の露光時間の設定例を示している。
【００６２】
図８中、ｔａ，ｔｂ，ｔｃ．ｔｄは、静止被写体領域に対応する露光時間を示している。これらの静止被写体画素領域では、被写体輝度に応じた露光時間が設定される。露光時間ｔａ〜ｔｄは、
ｔａ＞ｔｂ＞ｔｃ＞ｔｄ
上記のようにｔａが最も長い露光時間、ｔｄが最も短い露光時間を示している。
この露光時間は被写体輝度に応じて決定される。
【００６３】
一方、太線枠で締め矩形領域が動被写体領域である。
これらの動被写体領域は、先に図７を参照して説明した４種類の露光時間、すなわち、
ｔ１＞ｔ２＞ｔ３＞ｔ４
これら４つの異なる露光時間を、同じ露光時間の画素が隣接しない設定とした周期的な露光パターンが割り付けられる。
【００６４】
次に、図２に示す撮像装置におけるＤＳＰ１０２内の出力画像生成部１２２の構成と処理の詳細について、図４多を参照して説明する。
出力画像生成部１２２は、図２、図４に示すように、撮像部１０１から現在画像を入力し、さらに、記憶部１０３に保存された露光制御マップおよび動被写体検出マップを入力する。
【００６５】
図４に示されるように、現在画像と、露光制御マップは動被写体用信号処理部１４１、および静止画素用信号処理部１４２それぞれに入力される。
動被写体画素用信号処理部１４１では、例えば、先に図７を参照して説明した固定露光パターンで撮像されたと仮定される画素を、画素毎に近傍の露光時間の異なる画素と合成し、広ダイナミックレンジの結果を出力する。
【００６６】
ここでは近傍では入射する光量Ｌはほぼ等しいという前提を置いている。具体的には、Ｎ種類の露光時間を保持する同チャネルの近傍の画素値の和、
ｑｓｕｍ（Ｌ）＝ｑ（Ｌ，ｔ１）＋ｑ（Ｌ，ｔ２）＋…ｑ（Ｌ，ｔＮ）
を、露光制御マップの中で最も長い露光時間ｔｍａｘにしたとき（レンジが広いとき）の飽和を考慮しない値Ｑ（Ｌ）、すなわち、以下に示すＱ（Ｌ）に変換することで、画素値を圧縮することなく全ての画素において大きい階調で画素値を量子化できる。
【００６７】
【数４】
【００６８】
なお、上記式において、
ｑｓｕｍ（Ｌ）は、図９に示すように光量Ｌに従い以下のような値を取る。
【００６９】
【数５】
【００７０】
なお、上記式において、
ｔ１＞ｔ２＞…＞ｔＮ
である。
ｔｎは露光時間が長い順から並べてｎ番目（１≦ｎ＜Ｎ）の露光時間を示す。
【００７１】
ここでの問題設定は、Ｎ種類の露光時間を保持する同チャネルの近傍の画素値の和ｑｓｕｍ（Ｌ）を、出力画素値としての補正画素値Ｑ（Ｌ）に変換することになる。ここで上式の関数ｑｓｕｍ（Ｌ）は全ての画素が飽和するまで光量Ｌに対して単調増加であり、Ｑ（Ｌ）も同じく光量Ｌに対して単調増加であるため、ｑｓｕｍ（Ｌ）に線形演算を施せば変換できることがわかる。
具体的には、以下の式が成立するように線形変換を行う。
【００７２】
【数６】
【００７３】
なお、ここで、図１０に示すようにｑｓｕｍ（Ｌ）が飽和する光量以上のＬが入ったときはＱ（Ｌ）も飽和させる。ａ，ｂの値は以下のようになる。
【００７４】
【数７】
【００７５】
図４に示す出力画像生成部１２２の動被写体画素用信号処理部１４１では、このように周辺の画素値の加算を利用して、ダイナミックレンジの拡大を実現するが、前提として、加算処理を実行して有意な情報が得られる程度のある程度の大きさの近傍領域は動被写体画素として検出されなければならない。
従って、例えば静止被写体画素領域の中に１つのみの動被写体画素が存在してもこの加算処理による処理では有効な画素値を算出することは困難となる。
しかし、詳しくは後述するが、動被写体検出部１３２における動被写体検出処理によって生成する動被写体検出マップでは、ある程度まとまった画素領域で動被写体の検出を行うので、必ず複数画素からなる動被写体画素領域が設定され、このような問題を回避することができる。
【００７６】
一方、図４に示す出力画像生成部１２２の静止画素用信号処理部１４２は、露光制御マップの値をもとに、各画素で別々の適切なゲインをかける。露光時間が短い場合は大きいゲインを乗じて、露光が長い場合は少ないゲインを乗ずる画素値変換処理により出力画素値を算出する。
【００７７】
変換する値は、動被写体用信号処理部１４１と同様、最も広く量子化できる最長露光時間ｔｍａｘの時の画素値Ｑ（Ｌ）である。ただし、図１１に示すように入射光量Ｌが動被写体画素用信号処理部での最短露光時間ｔＮでの飽和レベルを超える時は、動被写体画素用信号処理部での飽和画素値と等しく値を変換する。
【００７８】
具体的には、得られた光量Ｌの画素値ｑ（Ｌ，ｔ）に対して以下の演算を行い、補正画素値Ｑ（Ｌ）を得る。
【００７９】
【数８】
【００８０】
次に、図４に示す出力画像生成部１２２の出力選択部１４３は、動被写体画素用信号処理部１４１の生成した動被写体画素用信号処理結果、および静止画素用信号処理部１４２の生成した静止画素用信号処理結果の双方を入力し、各画素単位で動被写体検出マップを参照して出力画素値を選択する。
【００８１】
動被写体検出マップにおいて動被写体と判定されている画素では動被写体用信号処理結果、それ以外の画素については静止画用信号処理結果が選択される。
この出力選択部１４３の出力する中間出力画像は、撮像部１０１から得られた入力画像よりも高いビット数を持つダイナミックレンジの広い画像であり、この広ダイナミックレンジ画像が後段の信号処理部１４４に入力される
【００８２】
信号処理部１４４は、一般的なカメラにおいて実行される画像補正処理、すなわちデモザイク、ホワイトバランス、色補正、ノイズリダクション、階調補正、ガンマ補正などが行われ、最終的な出力結果としての出力画像１０５を生成する。
【００８３】
次に、動被写体検出部１４１において実行する動被写体検出手法について、具体的に説明する。
図１２は動被写体検出部１４１において実行する動被写体検出の流れを説明する図である。
【００８４】
動被写体検出部１４１は、撮像部１０１においてＮ−２フレーム画像を撮影したタイミングで、このＮ−２フレーム画像と、記憶部１０３に格納済みのＮ−３フレーム画像を取得してこれらの２つの画像に基づいて動被写体領域の推定を実行する。
【００８５】
次に、動被写体検出部１４１は、撮像部１０１においてＮ−１フレーム画像を撮影したタイミングで、このＮ−１フレーム画像と、記憶部１０３に格納済みのＮ−２フレーム画像を取得してこれらの２つの画像に基づいて動被写体領域の推定を実行する。
【００８６】
次に、動被写体検出部１４１は、撮像部１０１においてＮフレーム画像を撮影したタイミングで、このＮフレーム画像と、記憶部１０３に格納済みのＮ−１フレーム画像を取得してこれらの２つの画像に基づいて動被写体領域の推定を実行する。
このように、動被写体検出部１４１は、順次、利用画像を新しいものに切り替えて動被写体領域の検出処理を実行する。
【００８７】
動被写体検出部１４１は、Ｎフレーム目に取得された画像の動被写体領域を、過去の２画像、つまりＮ−１フレーム目に取得された画像およびＮ−２番目に取得された画像を用いて推定する。処理の概要について図１３を参照して説明する。
【００８８】
Ｎ−１フレーム画像と、Ｎ−２フレーム画像の２枚を入力とし、まず、ステップＳ１１において、Ｎ−１フレーム画像の動被写体領域の検出を行う。領域の検出は２画像間の対応画素位置の画素値の差分絶対値を算出し、予め設定した閾値と比較することで行う。
差分絶対値が、予め設定した閾値以上ならば動被写体画素とする。
差分絶対値が、予め設定した閾値未満であれば動被写体画素ではない、すなわち静止被写体画素であると判定する。
【００８９】
その後、ステップＳ１２において、Ｎ−１フレーム画像において動被写体領域とされた画素において動きベクトルを求める。動きベクトルは勾配法を用いて求める。
さらに、Ｎ−１フレーム画像の動被写体領域とされた画素において求めた動きベクトルを元に、ステップＳ１３でＮフレーム目の動被写体検出領域を求める。
この算出手順について説明する。
【００９０】
ある座標ｋ（ｘｋ，ｙｋ）での検出値である画素値の差分絶対値をαとしたときに、αが閾値以上なら検出画素（動被写体画素）と判定する。
図１４に示されるように、ある動きベクトル（中心（ｘ，ｙ），動き量（ｕ，ｖ））に対する座標ｋ（ｘｋ，ｙｋ）の動きベクトル方向の距離ｌｋ（エルケー）は以下の式で算出される。
【００９１】
【数９】
【００９２】
また、動きベクトル方向への距離がｌ（エル）の時の動きベクトル方向の検出値をβ（ｌ）とすると、その値はｌ（エル）に従い図１５のように変化し、以下の式で算出される。
【００９３】
【数１０】
【００９４】
上記式において、
Ｃｏｒβ１〜Ｃｏｒβ３は、変更可能なパラメータであり、変更させることで検出値βの値を変更することが可能である。
【００９５】
検出値αは法線ベクトル方向の距離も加味する。つまり動きベクトルの法線方向の距離が近いほど、検出値を高くする。そのために、法線ベクトル方向への距離ｍを算出する。
図１６に示されるように、ある動きベクトル（中心（ｘ，ｙ），動き（ｕ，ｖ））に対する座標ｋ（ｘｋ，ｙｋ）の法線ベクトル方向の距離ｍｋは以下の式で算出される。
【００９６】
【数１１】
【００９７】
また、動きベクトル方向への距離がｌ（エル）、法線ベクトル方向への距離がｍのとき、検出値α（ｍ，ｌ）は図１７のように変化し、以下の式で算出される。
【００９８】
【数１２】
【００９９】
上記式において、Ｃｏｒαｏｆｆ、Ｃｏｒαｗｉｄは変更可能なパラメータであり、変更させることで検出値αの値が変わってくる。
この値αを求められた全ての動きベクトルについて、全座標で算出し、最大値を最終的な検出値αとする。
【０１００】
このように動きベクトルそのものをピークとした動きも予測した検出値を設けることである程度まとまった領域で動被写体領域を推定することができる。
検出値αが閾値以上の画素を動被写体画素、それ以外を静止画素として、それぞれ１、０の値を持つ２ビット画像を動被写体検出マップとして出力する。
【０１０１】
［２．撮像装置の第２実施例の構成と処理について］
上述した実施例、すなわち、図２他を参照して説明した構成では、露光制御部１２１に対して撮像部１０１の撮影画像をそのまま入力して露光時間の算出を実行しているが、撮像部１０１の撮影画像を縮小して縮小画像を露光制御部に入力して、露光制御部が縮小画像に基づく処理を行ってもよい。
この構成に対応する撮像装置の構成図は図１８に示す構成となる。
【０１０２】
図１８に示す撮像装置では、入射光が撮像部５０１で光電変換され、現在画像がＤＳＰ５０２の縮小画像生成部５２３に入力される。縮小画像生成部５２３における縮小画像の生成は、例えば輝度信号１チャネルのみに対する処理として実行してよい。
具体的には、例えば縮小した結果同一の画素になる元のＲＡＷ画像中の（Ｒ，Ｇｂ，Ｇｒ，Ｂ）値の最大値を抽出する処理として行うことが可能である。
【０１０３】
縮小画像生成部５２３の生成した縮小画像は記憶部５０３に保存される。
露光制御部５２１は、縮小画像生成部５２３が現在画像に基づいて生成した縮小画像と、記憶部５０３に保存された過去の縮小画像を入力し、露光制御部５２１内の動被写体算出部で動被写体の検出が行われる。
【０１０４】
本実施例における露光制御部５２１も、先の実施例と同様、図３に示す動被写体検出部と適正露光値算出部を有し、動被写体検出部において動被写体検出マップを生成し、適正露光値算出部において露光制御マップの生成しよりを実行する。この処理に際して、縮小画像が適用されることになり、処理負荷が軽減される。
なお、撮像部１０１に対する露光制御は、縮小画像に基づいて生成した露光時間の設定情報を元の撮像素子のサイズ（画素数）に復元して行われる。例えば１／４縮小画像に基づいて生成した露光制御マップに設定された縮小画像の１画素対応の露光時間は、元の撮像素子の４画素に対して適用されることになる。
【０１０５】
図１９は、本実施例における縮小画像の生成と、動被写体検出処理のシーケンスを示す図である。
動被写体検出部は、撮像部５０１においてＮ−２フレーム画像が撮影されると、縮小画像生成部５２３において縮小画像を生成し、生成したＮ−２フレーム縮小画像と、記憶部５０３に格納済みのＮ−３フレーム縮小画像を取得してこれらの２つの縮小画像に基づいて動被写体領域の推定を実行する。
【０１０６】
次に、動被写体検出部は、撮像部１０１においてＮ−１フレーム画像が撮影されると、縮小画像生成部５２３において縮小画像を生成し、生成したＮ−１フレーム縮小画像と、記憶部５０３に格納済みのＮ−２フレーム縮小画像を取得してこれらの２つの縮小画像に基づいて動被写体領域の推定を実行する。
【０１０７】
さらに、動被写体検出部は、撮像部１０１においてＮフレーム画像が撮影されると、縮小画像生成部５２３において縮小画像を生成し、生成したＮフレーム縮小画像と、記憶部５０３に格納済みのＮ−１フレーム縮小画像を取得してこれらの２つの縮小画像に基づいて動被写体領域の推定を実行する。
このように、動被写体検出部は、順次、利用画像を新しい縮小画像に切り替えて動被写体領域の検出処理を実行する。
【０１０８】
縮小画像を用いることによって動被写体検出の計算量および適正露光時間算出の計算量が削減され、更に露光制御マップおよび動被写体検出マップのサイズも小さくなるので、記憶部に記憶する情報量を抑えることができる。
【０１０９】
一方、動被写体の検出精度や露光時間の算出精度は落ちてしまう。動被写体を検出できなくなれば、飽和や黒つぶれの問題が再発し、画質の低下が顕著になってしまう。それに起因する副作用を抑えるために、動被写体検出部の検出パラメータを変化させ、検出をしやすくする方法がある。このようにパラメータを変化させると、本当は動被写体ではない領域まで検出されてしまうが、検出漏れは防ぐことができる。検出過剰によって起こる副作用は、該当領域の解像感の低下であるが、小領域での解像感の低下は、飽和や黒つぶれが発生するよりは目立たないことが多い。適正露光時間の算出精度が落ちてしまう問題は顕在してしまうが、極めて小さい近傍領域で適正露光が大きく変わるシーンというものは現実にはあまりなく問題視しなくて良いことが多い。
【０１１０】
［３．撮像装置の第３実施例の構成と処理について］
次に説明する実施例３は、実施例１，２で用いている記憶部を用いない構成とした例である。本実施例での撮像装置全体の構成は図２０に示す構成となる。
なお、縮小画像生成部６２３は必須ではないが、設けることで、前述の実施例２と同様、処理負荷の低減が実現される。
【０１１１】
撮像部６０１で得られた撮像結果である現在画像は、ＤＳＰ６０２の露光制御部６２１と、出力画像生成部６２２に入力される。なお、この場合の入力画像は縮小画像でも良い。
【０１１２】
現在画像（縮小画像）が露光制御部６２１、出力画像生成部６２２にそれぞれ入力され、露光制御部６２１には別に１ビットの露光制御のための「制御設定パラメータ」を入力する。このパラメータは、例えばユーザが入力部を介して入力する設定情報に基づいて実行される。
図２１に示すようにこの「制御設定パラメータ」は動被写体検出部６３２に入力される。動被写体検出部６３２は、設定パラメータに応じて、画像全体を動被写体画素とした動被写体検出マップ、または画像全体を静止画素とした動被写体検出マップを出力する。
【０１１３】
動被写体検出部６３２の生成した動被写体検出マップは適正露光値算出部６３１に渡される。適正露光値算出部６３１では、画像全体を動被写体画素とした動被写体検出マップ、または画像全体を静止画素とした動被写体検出マップ、それぞれのマップに応じて、先に実施例１で説明した露光時間の設定処理が行われ画素ごとに露光時間を算出する。
【０１１４】
すなわち、動被写体検出部６３２の生成した動被写体検出マップが、画像全体を動被写体画素とした動被写体検出マップである場合には、全画素に対して、例えば図７を参照して説明した固定パターンの露光時間設定を施した露光制御マップを生成して露光制御を実行する。
【０１１５】
一方、動被写体検出部６３２の生成した動被写体検出マップが、画像全体を静止被写体画素とした動被写体検出マップである場合には、全画素に対して、被写体輝度に応じた露光時間設定を施した露光制御マップを生成して露光制御を実行する。
なお、本構成では、図２０に示すように、露光制御部６２１の出力である露光制御マップと動被写体検出マップは規約部に格納されることなく、直接、出力画像生成部６２２に渡される。
【０１１６】
出力画像生成部６２２は、先の実施例１において図４を参照して説明したと同様の構成を有し、図４を参照して説明したと同様の処理を実行して出力画像を生成する。
本実施例では実施例１，２のように動被写体の検出を行い領域ごとに露光制御の方法を変えることはできなくなるが、記憶装置がいらなくなるというメリットを持つ。
【０１１７】
［４．撮像装置の第４実施例の構成と処理について］
前述の実施例１では、動被写体検出部の動被写体検出処理における動きベクトル算出処理に際して、勾配法を用いた例を説明したが、勾配法の代わりにブロックマッチング法を適用してもよい。ブロックマッチング法を用いる場合、精度は高くなるが演算量が増加する。
【０１１８】
［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１１９】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）撮像部と、
前記撮像部に対して画素領域単位の異なる露光時間制御を行う露光制御部と、
前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成部を有し、
前記露光制御部は、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出部と、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出部を有し、
前記出力画像生成部は、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出する撮像装置。
【０１２０】
（２）前記適正露光値算出部は、前記動被写体検出マップを参照して、静止被写体領域には、被写体輝度に応じた露光時間を設定した露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する前記（１）に記載の撮像装置。
（３）前記適正露光値算出部は、動被写体領域に設定する露光パターンを、同一の露光時間が隣接画素に設定されない露光パターンとした露光制御マップを生成する前記（１）または（２）に記載の撮像装置。
【０１２１】
（４）前記出力画像生成部は、前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して、前記撮像部の出力する各画素単位の画素値より広いダイナミックレンジを持つ出力画素値を算出する動被写体画素用信号処理部を有する前記（１）〜（３）いずれかに記載の撮像装置。
（５）前記出力画像生成部は、画素単位で露光時間が短い画素に対しては大きなゲインを乗じ、露光時間が長い画素に対しては小さなゲインを乗じて出力画素値を算出する処理を行う静止画素用信号処理部を有する前記（１）〜（４）いずれかに記載の撮像装置。
【０１２２】
（６）前記撮像装置は、前記撮像部の出力画像を縮小する縮小画像生成部を有し、前記露光制御部は、前記縮小画像生成部の生成した縮小画像を入力して、縮小画像に基づいて露光制御情報を生成する前記（１）〜（５）いずれかに記載の撮像装置。
（７）前記撮像装置は、前記撮像部の出力画像を記憶する記憶部を有し、前記動被写体検出部は、前記撮像部の出力する現在画像と、前記記憶部に格納された過去画像を利用して前記動被写体検出マップを生成する前記（１）〜（６）いずれかに記載の撮像装置。
【０１２３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１２４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１２５】
以上、説明したように、本開示の一実施例の構成によれば、撮像部からの入力画像情報に基づいて動被写体領域の判別を実行して動被写体検出マップを生成し、生成した動被写体検出マップを利用して、動被写体検出画素領域に対しては複数の異なる露光時間を周期的に配置したパターンからなる露光パターンを設定する。静止被写体領域に対しては被写体輝度に応じた露光時間設定を行う。
このような露光時間制御に基づいて撮影した画像に対して、動被写体領域については複数の異なる露光時間の設定画素の画素値を利用した画素値合成処理により広ダイナミックレンジの画素値を算出し、静止被写体領域については露光時間に応じたゲインの乗算によって広ダイナミックレンジの画素値を算出して出力画像を生成する。この処理により解像度劣化を最小限に抑えつつ全領域に跨り広ダイナミックレンジ画像の取得が実現される。
【符号の説明】
【０１２６】
１１ 高輝度領域
１２ 低輝度領域
１０１ 撮像部
１０２ ＤＳＰ
１０３ 記憶部
１０５ 出力画像
１２１ 露光制御部
１２２ 出力画像生成部
１３１ 適正露光値制御部
１３２ 動被写体検出部
１４１ 動被写体画素用信号処理部
１４２ 静止画素用信号処理部
１４３ 出力選択部
１４４ 信号処理部
５０１ 撮像部
５０２ ＤＳＰ
５０３ 記憶部
５０５ 出力画像
５２１ 露光制御部
５２２ 出力画像生成部
５２３ 縮小画像生成部
６０１ 撮像部
６０２ ＤＳＰ
６０５ 出力画像
６２１ 露光制御部
６２２ 出力画像生成部
６２３ 縮小画像生成部
６３１ 適正露光値算出部
６３２ 動被写体検出部
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部に対して画素領域単位の異なる露光時間制御を行う露光制御部と、
前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成部を有し、
前記露光制御部は、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出部と、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出部を有し、
前記出力画像生成部は、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出する撮像装置。
【請求項２】
前記適正露光値算出部は、
前記動被写体検出マップを参照して、静止被写体領域には、被写体輝度に応じた露光時間を設定した露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する請求項１に記載の撮像装置。
【請求項３】
前記適正露光値算出部は、
動被写体領域に設定する露光パターンを、同一の露光時間が隣接画素に設定されない露光パターンとした露光制御マップを生成する請求項１に記載の撮像装置。
【請求項４】
前記出力画像生成部は、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して、前記撮像部の出力する各画素単位の画素値より広いダイナミックレンジを持つ出力画素値を算出する動被写体画素用信号処理部を有する請求項１に記載の撮像装置。
【請求項５】
前記出力画像生成部は、
画素単位で露光時間が短い画素に対しては大きなゲインを乗じ、露光時間が長い画素に対しては小さなゲインを乗じて出力画素値を算出する処理を行う静止画素用信号処理部を有する請求項１に記載の撮像装置。
【請求項６】
前記撮像装置は、
前記撮像部の出力画像を縮小する縮小画像生成部を有し、
前記露光制御部は、前記縮小画像生成部の生成した縮小画像を入力して、縮小画像に基づいて露光制御情報を生成する請求項１に記載の撮像装置。
【請求項７】
前記撮像装置は、
前記撮像部の出力画像を記憶する記憶部を有し、
前記動被写体検出部は、前記撮像部の出力する現在画像と、前記記憶部に格納された過去画像を利用して前記動被写体検出マップを生成する請求項１に記載の撮像装置。
【請求項８】
撮像装置において実行する撮像装置制御方法であり、
撮像部が画像撮影を行う撮像ステップと、
露光制御部が、前記撮像部に対して画素領域単位の異なる露光時間制御を行う露光制御ステップと、
出力画像生成部が、前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成ステップを実行し、
前記露光制御ステップは、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出ステップと、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出ステップを含み、
前記出力画像生成ステップは、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出するステップを含む撮像装置制御方法。
【請求項９】
撮像装置において撮像装置制御処理を実行させるプログラムであり、
撮像部に画像撮影を行わせる撮像ステップと、
露光制御部に、前記撮像部に対して画素領域単位の異なる露光時間制御を行わせる露光制御ステップと、
出力画像生成部に、前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成ステップを実行させ、
前記露光制御ステップにおいては、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出ステップと、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出ステップを実行させ、
前記出力画像生成ステップにおいては、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出させるプログラム。
【請求項１】
撮像部と、
前記撮像部に対して画素領域単位の異なる露光時間制御を行う露光制御部と、
前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成部を有し、
前記露光制御部は、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出部と、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出部を有し、
前記出力画像生成部は、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出する撮像装置。
【請求項２】
前記適正露光値算出部は、
前記動被写体検出マップを参照して、静止被写体領域には、被写体輝度に応じた露光時間を設定した露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する請求項１に記載の撮像装置。
【請求項３】
前記適正露光値算出部は、
動被写体領域に設定する露光パターンを、同一の露光時間が隣接画素に設定されない露光パターンとした露光制御マップを生成する請求項１に記載の撮像装置。
【請求項４】
前記出力画像生成部は、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して、前記撮像部の出力する各画素単位の画素値より広いダイナミックレンジを持つ出力画素値を算出する動被写体画素用信号処理部を有する請求項１に記載の撮像装置。
【請求項５】
前記出力画像生成部は、
画素単位で露光時間が短い画素に対しては大きなゲインを乗じ、露光時間が長い画素に対しては小さなゲインを乗じて出力画素値を算出する処理を行う静止画素用信号処理部を有する請求項１に記載の撮像装置。
【請求項６】
前記撮像装置は、
前記撮像部の出力画像を縮小する縮小画像生成部を有し、
前記露光制御部は、前記縮小画像生成部の生成した縮小画像を入力して、縮小画像に基づいて露光制御情報を生成する請求項１に記載の撮像装置。
【請求項７】
前記撮像装置は、
前記撮像部の出力画像を記憶する記憶部を有し、
前記動被写体検出部は、前記撮像部の出力する現在画像と、前記記憶部に格納された過去画像を利用して前記動被写体検出マップを生成する請求項１に記載の撮像装置。
【請求項８】
撮像装置において実行する撮像装置制御方法であり、
撮像部が画像撮影を行う撮像ステップと、
露光制御部が、前記撮像部に対して画素領域単位の異なる露光時間制御を行う露光制御ステップと、
出力画像生成部が、前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成ステップを実行し、
前記露光制御ステップは、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出ステップと、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出ステップを含み、
前記出力画像生成ステップは、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出するステップを含む撮像装置制御方法。
【請求項９】
撮像装置において撮像装置制御処理を実行させるプログラムであり、
撮像部に画像撮影を行わせる撮像ステップと、
露光制御部に、前記撮像部に対して画素領域単位の異なる露光時間制御を行わせる露光制御ステップと、
出力画像生成部に、前記撮像部の出力画像に対する信号処理を実行して出力画像を生成する出力画像生成ステップを実行させ、
前記露光制御ステップにおいては、
撮像部の撮影画像の動被写体領域識別情報を有する動被写体検出マップを生成する動被写体検出ステップと、
前記動被写体検出マップを参照して動被写体領域に複数の異なる露光時間を周期的に施した露光パターンを持つ露光制御マップを生成し、生成した露光制御マップに基づいて前記撮像部に対して画素領域単位の露光制御信号を出力する適正露光値算出ステップを実行させ、
前記出力画像生成ステップにおいては、
前記動被写体領域から得られる複数の異なる露光時間に設定された複数画素の複数の画素値情報を合成して出力画素値を算出させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−２３５３３２（Ｐ２０１２−２３５３３２Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０２９１４（Ｐ２０１１−１０２９１４）
【出願日】平成２３年５月２日（２０１１．５．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年５月２日（２０１１．５．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]