説明

撮像装置および画像合成方法

【課題】複数枚の低露出画像を積算合成する撮像装置であって、積算合成によって得られる画像の画質を向上させる撮像装置を提供する。
【解決手段】撮像装置が、被写体の明るさが所定の明るさとなる適正露出よりも低い低露出を算出し、算出した低露出で被写体を撮像し、複数の低露出画像を出力する。撮像装置が、出力した複数の低露出画像を積算合成して合成画像を生成する。撮像装置は、合成画像の露光量が適正露出に対応する露光量以上になる枚数分、低露出画像を積算合成する。そして、撮像装置が、合成画像のトーンマッピングを行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置および画像合成方法に関する。
【背景技術】
【0002】
複数枚の画像を合成し、1枚の合成画像を記録することができる、デジタルカメラ等の撮像装置が提案されている。このような撮像装置の中には、被写体の明るさが適正となる適正露出よりも低い露出で撮像し、複数枚の低露出画像を積算合成する機能を持つ撮像装置がある。一般的に、暗い被写体を撮影する場合、露光量を増やすために露光時間が長くなるため、手ブレや被写体ブレが発生し易い。
【0003】
撮像装置が、暗い被写体を撮影する場合に、適正露出よりも短い露光時間で撮像した複数の低露出画像に対し、画面間の被写体位置合わせを行い、適正露出で撮像した場合と同じ明るさになるよう積算合成することが考えられる。これにより、手ブレや被写体ブレの少ない積算合成画像を得ることができる。
【0004】
複数枚画像の積算合成する技術の例として、特許文献1は、予め撮影枚数を設定し、同一被写体を設定枚数だけ撮影して得られる画像を重ね合わせる電子カメラを開示する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平11−069226号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
撮像装置が、露光時間の短い複数の低露出画像に対し、位置合わせを行い、積算合成することにより、手ブレや被写体ブレの少ない積算合成画像を得ることができる。しかし、低露出画像は、適正画像よりもS/N(Signal to Noise)が良くないので、積算合成によって得られる画像の画質が低下してしまうという課題がある。
【0007】
本発明は、複数枚の低露出画像を積算合成する撮像装置であって、積算合成によって得られる画像の画質を向上させる撮像装置の提供を目的とする。
【課題を解決するための手段】
【0008】
本発明の一実施形態の撮像装置は、被写体の明るさが予め決められた明るさとなる第1の露出よりも低い第2の露出を算出する露出算出手段と、前記算出された第2の露出で被写体を撮像し、複数の低露出画像を出力する撮像手段と、前記出力された複数の低露出画像を積算合成して合成画像を生成する積算合成手段と、前記合成画像のトーンマッピングを行うトーンマッピング手段とを備える。前記積算合成手段は、前記合成画像の露光量が前記第1の露出に対応する露光量以上になる枚数分、前記低露出画像を積算合成する。
【発明の効果】
【0009】
本発明によれば、複数枚の低露出画像を積算合成する撮像装置であって、積算合成によって得られる画像のノイズの振幅を低減する撮像装置を提供することができる。従って、積算合成画像の画質が向上する。
【図面の簡単な説明】
【0010】
【図1】本実施形態の撮像装置の構成例を示す図である。
【図2】合成枚数算出部と露出算出部の構成例を示す図である。
【図3】画像積算合成部の動作処理例を説明する図である。
【図4】画像積算合成部の動作処理例を説明する図である。
【図5】階調圧縮処理を説明する図である。
【図6】本実施形態の撮像装置の動作処理例を説明するフローチャートである。
【図7】複数枚の低露出画像の積算合成処理の例を説明する図である。
【発明を実施するための形態】
【0011】
図7は、複数枚の低露出画像の積算合成処理の例を説明する図である。図7(A)は、線形特性を持つ撮像デバイスにおける適正露出及び低露出の被写体照度と光電流(画素レベル)の関係を示す。符号L801は、適正露出の場合の被写体照度と光電流の関係を示す。符号L802は、低露出の場合の被写体照度と光電流の関係を示す。また、この例では、低露出は、適正露出に対し露光量が3分の1となる。
【0012】
ある照度の被写体に対し、適正露出と低露出とで撮影を行った場合、低露出画像の方が、光電流が小さく、暗い画像が撮像されることになる。通常、被写体が白飛びしないよう適正露出が決定される。この場合の低露出画像の被写体は、適正露出画像に比べ3分の1の明るさで撮像されている。この関係を模式的に表した図が図7(B)である。
【0013】
図7(B)は、露光時間を変更することにより、露出を変更する処理の例を示す。各画像が取り得る画素レベル範囲を斜線部分で示す。適正露出の露光時間は、1/10秒である。低露出の露光時間は、1/30秒である。低露出の露光量は、適正露出の3分の1になるため、低露出画像が取り得る画素レベル範囲が適正露出画像の3分の1になっている。このように撮影した低露出画像は、適正露出画像と比較して暗い画像になっている。しかし、露光時間が適正露出よりも短いため、手ブレや被写体ブレが少ない画像と言える。撮像した複数枚の低露出画像に対し、幾何変形等により被写体位置を合わせ、図7(B)中に示す積算合成画像の例のように、低露出画像3枚を積算合成することにより、適正露出と同じ明るさで、且つ、手ブレや被写体ブレが少ない合成画像を得ることができる。
【0014】
しかし、前述したように、低露出画像は、適正画像よりもS/Nが良くないので、積算合成によって得られる画像の画質が低下してしまうという課題がある。以下に説明する本実施形態の撮像装置によれば、この課題を解決することができる。
【0015】
図1は、本実施形態の撮像装置の構成例を示す図である。図1に示す撮像装置は、レンズ101、撮像部102、A(Analog)/D(Digital)変換部103を備える。また、この撮像装置は、カメラ信号処理部104、画像位置合わせ部105、合成枚数算出部106、露出算出部107、画像積算合成部108、トーンマッピング部109、画像記録部110、カメラ制御部111を備える。本実施形態の画像合成方法は、撮像装置における画像合成方法である。また、本実施形態の画像合成方法およびコンピュータプログラムは、図1に示す撮像装置が備える各処理部の機能によって実現される。
【0016】
レンズ101は、被写体光を撮像部102に導く。レンズ101は、カメラ制御部111から出力される制御信号に対応して、ズーム動作や焦点整合動作などを行う。撮像部102は、カメラ制御部111からの指示に従い、撮像デバイスを用いて被写体を撮像する。撮像デバイスは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等である。そして、撮像部102は、撮像によって得た被写体光を電気信号に変換してA/D変換部103に出力する。
【0017】
A/D変換部103は、カメラ制御部111から設定される増幅率に応じて、アナログ信号を増幅し、ディジタル信号に変換する。カメラ信号処理部104は、A/D変換部103より出力されたディジタル信号に対して、ホワイトバランスや輪郭強調等の画像処理を行い、映像信号を出力する。
【0018】
画像位置合わせ部105は、画面間の動きベクトルに応じて、画像を幾何変形することにより、画面間の被写体位置を合わせ、画面間の動きを抑制する。画像位置合わせ部105による画像位置合わせにより、例えば、手ブレといったような画面全体の動きを低減することができる。合成枚数算出部106は、画像積算合成部108が積算合成する画像の枚数(積算合成枚数)を算出する。
【0019】
合成枚数算出部106は、画像積算合成部108による積算合成によって得られる合成画像の露光量が適正露出に対応する露光量以上になる枚数を積算合成枚数として算出する。適正露出は、被写体の明るさが予め決められた明るさとなる第1の露出である。
【0020】
露出算出部107は、撮像部102が撮像に用いる露出を算出する。具体的には、露出算出部107は、適正露出よりも低い第2の露出(低露出)を算出する。カメラ制御部111は、撮像装置全体を制御する。カメラ制御部111および撮像部102は、第2の露出で被写体を撮像し、複数の低露出画像を出力する撮像手段として機能する。
【0021】
画像積算合成部108は、合成枚数算出部106から、合成枚数算出部106が算出した積算合成枚数を取得する。また、画像積算合成部108は、画像位置合わせ部106から、画像位置合わせ部106が出力する位置合い画像すなわち複数の低露出画像を取得する。そして、画像積算合成部108は、画像位置合わせ部106取得した低露出画像を、合成枚数算出部106が算出した積算合成枚数分、積算合成して合成画像を生成する積算合成手段として機能する。
【0022】
トーンマッピング部109は、合成画像にトーンマッピングを行う。トーンマッピング部109は、例えば、ガンマ処理のような非線形処理により、合成画像の階調圧縮を行う。画像記録部110は、トーンマッピング部109がトーンマッピングした画像を記録する。
【0023】
図2は、合成枚数算出部と露出算出部の構成例を示す図である。図2(A)は、合成枚数算出部106の構成例を示す。合成枚数算出部106は、動き量算出部201と合成枚数決定部202とを備える。動き量算出部201は、画像位置合わせ部105から出力された位置合い画像を入力し、入力した画像のフレーム間画素差分値の大きさに基づいて、動き量を算出(検出)する。すなわち、動き量算出部201は、撮像部102によって撮像される複数の低露出画像間の動き量を検出する動き検出手段として機能する。
【0024】
例えば、被写体が動いている場合は、フレーム間画素差分値が大きくなるため、動き量が大きくなる。合成枚数決定部202は、動き量算出部201から出力された動き量に応じて、画像積算合成部108が積算合成する低露出画像の枚数(積算合成枚数)を決定する。
【0025】
図2(B)は、露出算出部の構成例を示す図である。図2(B)は、露出算出部107の構成例を示す。露出算出部107は、動き量算出部300、輝度積算値算出部301、露出決定部302を備える。
【0026】
輝度積算値算出部301は、画像位置合わせ部105から出力された位置合い画像を入力し、被写体の明るさを表す輝度に変換し、輝度積算値を算出する。輝度積算値は、複数の低露出画像の輝度の積算値である。例えば、明るい画像であれば、輝度積算値は大きい値となる。
【0027】
動き量算出部300は、図2(A)中に示す動き量算出部201と同様の機能を有する。動き量算出部300は、画像位置合わせ部105が出力した位置合い画像を入力し、該画像のフレーム間画素差分値の大きさに基づいて、動き量を算出する。露出決定部302は、輝度積算値算出部301が算出した輝度積算値と、動き量算出部300が算出した動き量に応じて、次画像の露出を決定する(撮像部102が被写体の撮像に用いる第2の露出を変更する)。
【0028】
露出決定部302が、輝度積算値算出部301が算出した輝度積算値と、動き量算出部201が算出した動き量に応じて、次画像の露出を決定するようにしてもよい。具体的な露出の決定方法については、後述する。
【0029】
図3および図4は、画像積算合成部の動作処理例を説明する図である。画像積算合成部108は、露出算出部107が算出された露出で撮影された画像を、合成枚数算出部106が算出した積算合成枚数分、積算合成する。本実施形態においては、絞り値は固定で、露光時間を変更し、露出を制御するものとする。
【0030】
図3は、積算合成枚数の変更処理の一例を示す。この例では、露光時間を1/30秒固定とし、合成枚数算出部106は、動き量算出部201により算出された動き量に応じて積算合成枚数を変更する。
【0031】
図3中の斜線部は、画像位置合わせ部105から出力された位置合い画像の画素レベル範囲を示す。この例では、A/D変換部103の量子化精度は12bitである。一般的に、適正露出で撮影を行うと、白飛びや黒潰れをしない露出で撮影されるため、適正露出画像の画素レベル範囲は、0〜4095までの範囲となる。本実施形態の撮像装置は、適正露出よりも低い露出で撮影を行う。
【0032】
図3に示す例では、適正露出の露光時間が1/10秒であるのに対し、低露出画像の露光時間は、1/30秒である。低露出画像は、露光量が3分の1であるため、画素レベル範囲が適正露出画像の3分の1の範囲であり、従って、暗い画像となっている。このような暗い低露出画像を画像積算合成部108が複数枚積算合成することにより、明るい積算合成画像を得ることが可能となる。この例では、低露出画像を3枚積算合成すると、適正露出画像と同じ明るさ(画素レベル範囲)となる。
【0033】
低露出画像は、露光量が適正露出に比べて小さくなるが、露光時間を短くすることにより、適正露出と比べ、被写体ブレや手ブレを抑えた画像を記録することができる。このような低露出画像に対し、画像位置合わせ部105が、手ブレ等の画面全体の位置を合わせ、積算合成を行う。これにより、適正露出で撮影した画像に比べ、ブレの少ない積算合成画像を記録することが可能となる。しかしながら、画面全体の動きではなく、被写体動きといった部分的な動きを位置合わせすることは非常に困難である。そのため、例えば、部分的な動き領域を積算合成すると被写体像が2重になってしまうことがある。
【0034】
画像積算合成部108は、合成枚数算出部106が算出した積算合成枚数分の積算合成を行う。合成枚数算出部106の合成枚数決定部202は、動き量算出部201が算出(検出)した低露出画像画面間での動き量が小さいほど、決定する積算合成枚数を多くする。また、合成枚数決定部202は、動き量算出部201が算出(検出)した複数の低露出画像画面間での動き量が大きいほど、決定する積算合成枚数を少なくする。
【0035】
図3に示す例では、動き量が小さい場合(所定の動き量未満の場合)、積算合成画像の露光量が適正露出画像の露光量以上となるように、合成枚数算出部106は、積算合成枚数として6枚を算出する。また、動き量が大きい場合(所定の動き量以上の場合)は、積算合成画像の露光量が適正露出画像の露光量以上となるように、合成枚数算出部106は、積算合成枚数として3枚を算出する。このように、動き量が大きい場合に、積算合成枚数を減らすことにより、被写体像が2重になることを抑制することができる。
【0036】
図4は、積算合成枚数の変更処理の他の例を示す。この例では、積算合成枚数は3枚固定とする。また、合成枚数算出部106は、動き量算出部201により算出された動き量に応じて、露光時間を変更する。図4中の斜線部は、画像位置合わせ部105から出力された位置合い画像の画素レベル範囲を示す。なお、A/D変換部103の量子化精度は、12bitである。この例においても、撮像装置は、適正露出よりも低い露出で撮影を行う。
【0037】
図4に示す例では、適正露出の露光時間が1/10秒であるのに対し、低露出画像の露光時間は、1/20秒である。すなわち、低露出画像は、露光量が2分の1になっている。従って、適正露出に比べ、画素レベル範囲が適正露出画像の2分の1の範囲であり、暗い画像である。このような暗い低露出画像を、画像積算合成部108が、複数枚積算合成することにより、明るい積算合成画像を得る。この例では、低露出画像を2枚積算合成すると、適正露出画像と同じ明るさ(画素レベル範囲)となるものとする。
【0038】
画像積算合成部108は、3枚の位置合い画像の積算合成を行う。露出制御部107は、低露出画像画面間での動き量が小さい場合は、露光時間を長くする。露出算出部107の露出決定部302は、複数の低露出画像画面間での動き量が大きい場合は、露光時間を短くする。すなわち、露出算出部107は、動き量が大きいほど、撮像部102が被写体の撮像に用いる露出を低くする。
【0039】
図4に示す例では、動き量が小さい場合は、露出決定部302が、露光時間を1/20秒とすることにより、積算合成画像の露光量が、適正露出画像の露光量以上の露光量となるようにする。また、動き量が大きい場合は、露出決定部302は、露光時間を1/30秒とすることにより、積算合成画像の露光量が、適正露出画像と同じ露光量となるようにする。このように、動き量が大きいときに露光時間を短くすることにより、露光期間中に被写体が動いたときに発生する被写体ブレを低減することができる。
【0040】
図5は、トーンマッピング部による階調圧縮処理を説明する図である。図5中に示すグラフは、階調圧縮処理のトーンカーブを示す。横軸は、入力画素レベルであり、縦軸は、出力画素レベルである。
【0041】
トーンマッピング部109は、画像積算合成部108が積算合成した画像の画素レベル範囲に応じて、トーンカーブの特性(トーンマッピング特性)を変更する。例えば、画像積算合成部108が出力する画像が、動き量が小さい積算合成画像の場合、トーンマッピング部109は、図5中の符号L601で示すトーンカーブで階調圧縮処理を行う。また、例えば、画像積算合成部108が出力する画像が、動き量が大きい積算合成画像の場合、トーンマッピング部109は、図5中の符号L602で示すトーンカーブで階調圧縮処理を行う。
【0042】
トーンカーブ特性L601とL602とを比較すると、トーンカーブ特性L601の方が、特に暗部の階調圧縮率が高い。動き量が小さい積算合成画像をトーンマッピングした画像は、動き量大の積算合成画像よりも階調圧縮率が高い。すなわち、トーンマッピング部109は、動き量算出部201(300)が算出する動き量が小さいほど、積算合成画像に対して行うトーンマッピングのトーンマッピング特性を、暗部の階調圧縮率を高くするトーンマッピング特性にする。これにより、ノイズ振幅が小さくなり、画質が向上する。
【0043】
また、トーンマッピング部109が、A/D変換部103のアナログ信号増幅率の大きさに応じて、トーンカーブを変更するようにしてもよい。具体的には、トーンマッピング部109は、A/D変換部103のアナログ信号増幅率が高い場合は、暗部の階調圧縮率を高くする。また、トーンマッピング部109は、A/D変換部103のアナログ信号増幅率が低い場合は、暗部の階調圧縮率を低くする。A/D変換部103のアナログ信号増幅率を高くすると、ノイズの振幅が大きくなるが、トーンマッピング部109がトーンカーブ特性を上記のように変更することにより、暗部に発生するノイズの振幅を小さくすることができる。
【0044】
図6は、本実施形態の撮像装置の動作処理例を説明するフローチャートである。まず、撮像装置の電源が投入される(ステップS1)。次に、合成枚数算出部106が、積算合成枚数を初期値に設定する(ステップS2)。合成枚数算出部106は、積算合成枚数を例えば3枚に設定する。
【0045】
次に、露出算出部107が、露出を初期値に設定する(ステップS3)。露出算出部107は、露光時間を例えば1/30秒に設定する。続いて、カメラ制御部111が、仮撮影を行う。仮撮影中は、カメラ制御部111が、撮像装置の表示部(不図示)に、撮像した画像を表示する。
【0046】
次に、動き量算出部201が、動き量を算出する(ステップS5)。そして、合成枚数決定部202が、ステップS5において算出された動き量に基づいて、積算合成枚数を決定する(ステップS6)。続いて、露出決定部302が、輝度積算値算出部301が算出した輝度積算値と、動き量算出部201(300)が算出した動き量に基づいて、次画像の露出を決定する。なお、撮像装置が、積算合成枚数及び露出の双方を変更するように動作してもよいし、いずれか一方は固定、もう一方は変更するように動作してもよい。
【0047】
次に、カメラ制御部111が、シャッターが押下されたかを判断する(ステップS8)。カメラ制御部111が、シャッターが押下されていないと判断した場合は、ステップS4に戻る。そして、シャッターが押下されるまでの間、ステップ4乃至7の処理が繰り返される。これにより、積算合成枚数と露出とが更新される。
【0048】
カメラ制御部111が、シャッターが押下されたと判断した場合、カメラ制御部111は、上記ステップ7で決定された露出で本撮影を行う(ステップS9)。続いて、画像積算合成部108が、上記ステップ6で決定された積算合成枚数分の画像を積算合成する(ステップS10)。そして、トーンマッピング部109が、ステップS10において積算合成された画像をトーンマッピングし(ステップS11)、画像記録部110に記録する。
【0049】
以上のような動作により、適正露出で撮像する露光量よりも大きい露光量になるように、複数枚の低露出画像を積算合成し、トーンマッピングを行うことにより、ノイズの振幅を低減することができる。そのため、積算合成画像の画質が向上する。
【0050】
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【0051】
101 レンズ
102 撮像部
105 画像位置合わせ部
106 合成枚数算出部
107 露出算出部
108 画像積算合成部
109 トーンマッピング部
111 カメラ制御部

【特許請求の範囲】
【請求項1】
被写体の明るさが予め決められた明るさとなる第1の露出よりも低い第2の露出を算出する露出算出手段と、
前記算出された第2の露出で被写体を撮像し、複数の低露出画像を出力する撮像手段と、
前記複数の低露出画像を積算合成して合成画像を生成する積算合成手段と、
前記合成画像のトーンマッピングを行うトーンマッピング手段とを備え、
前記積算合成手段は、前記合成画像の露光量が前記第1の露出に対応する露光量以上になる枚数分、前記低露出画像を積算合成する
ことを特徴とする撮像装置。
【請求項2】
前記撮像手段によって撮像される前記複数の低露出画像間の動き量を検出する動き検出手段と、
前記検出された動き量に応じて、前記積算合成手段が積算合成する低露出画像の枚数を決定する合成枚数決定手段とを備える
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記合成枚数決定手段は、前記動き検出手段が検出する動き量が大きいほど、前記決定する低露出画像の積算合成枚数を少なくする
ことを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記露出算出手段は、前記撮像手段によって撮像される前記複数の低露出画像の輝度の積算値と、前記動き検出手段によって検出された動き量とに基づいて、前記撮像手段が前記被写体の撮像に用いる前記第2の露出を変更する
ことを特徴とする請求項2に記載の撮像装置。
【請求項5】
前記露出算出手段は、前記動き検出手段が検出する動き量が大きいほど、前記撮像手段が前記被写体の撮像に用いる前記第2の露出を低くする
ことを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記露出算出手段は、露光時間を変更することにより前記第2の露出を変更する
ことを特徴とする請求項4または請求項5に記載の撮像装置。
【請求項7】
前記トーンマッピング手段は、前記動き検出手段が検出する動き量が小さいほど、前記合成画像に対して行うトーンマッピングのトーンマッピング特性を、暗部の階調圧縮率を高くするトーンマッピング特性にする
ことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
【請求項8】
撮像装置における画像合成方法であって、
被写体の明るさが予め決められた明るさとなる第1の露出よりも低い第2の露出を算出する工程と、
前記算出された第2の露出で被写体を撮像し、複数の低露出画像を出力する工程と、
前記複数の低露出画像を積算合成して合成画像を生成する工程と、
前記合成画像のトーンマッピングを行う工程とを有し、
前記合成画像を生成する工程では、前記合成画像の露光量が前記第1の露出に対応する露光量以上になる枚数分、前記低露出画像を積算合成する
ことを特徴とする画像合成方法。
【請求項9】
請求項8に記載の画像合成方法をコンピュータに実行させることを特徴とするコンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate