撮像装置
【課題】動画撮影時においても１フィールド毎に高画質な広ダイナミックレンジ画像を生成することができる撮像装置を提供する。
【解決手段】撮像装置は、被写体像を撮影するための光学系１０１及び撮像素子１０２と、撮影された画像を生成する画像形成回路１０３と、撮影パラメータを制御する撮影パラメータ制御回路１１１と、目標輝度値の異なる少なくとも第１画像及び第２画像を含む複数の画像を合成する画像合成回路１１５と、第１画像の評価値を求める画像評価回路１０９と、第１画像の評価値に基づいて第２画像の輝度値範囲を設定する目標輝度値設定回路１１０とを備える。撮影パラメータ制御回路１１１は、第２画像の輝度値が目標輝度値設定回路１１０により設定された輝度値範囲に納まるように撮影パラメータを変更し、画像形成回路１０３は変更された撮影パラメータで第２画像を生成させる。
【解決手段】撮像装置は、被写体像を撮影するための光学系１０１及び撮像素子１０２と、撮影された画像を生成する画像形成回路１０３と、撮影パラメータを制御する撮影パラメータ制御回路１１１と、目標輝度値の異なる少なくとも第１画像及び第２画像を含む複数の画像を合成する画像合成回路１１５と、第１画像の評価値を求める画像評価回路１０９と、第１画像の評価値に基づいて第２画像の輝度値範囲を設定する目標輝度値設定回路１１０とを備える。撮影パラメータ制御回路１１１は、第２画像の輝度値が目標輝度値設定回路１１０により設定された輝度値範囲に納まるように撮影パラメータを変更し、画像形成回路１０３は変更された撮影パラメータで第２画像を生成させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、複数枚の画像からダイナミックレンジ画像を生成する画像合成技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置で明度差の大きなシーンを撮影したときに、明部では白とびが、暗部では黒つぶれが発生することがある。このような白とびや黒つぶれの補正手法の１つとして、露光量の異なる複数枚の画像を撮影し、各画像に存在する白とびの無い領域と黒つぶれの無い領域を合成することで、明部や暗部が適切に再現された広ダイナミックレンジ画像を生成する手法がある。このとき、各画像の露光量の決定には、一般的に撮像装置に搭載されている測光手段で得られる測光値を基にする方法等が用いられるが、撮影後に実際に画像合成を行ってみると白とびや黒つぶれが補正されていない場合がある。
【０００３】
そこで、画像合成に用いる各画像の撮影パラメータをシーンに応じて適応的に変化させることにより、広ダイナミックレンジ化に適した画像を取得する手法が提案されている。例えば、低露光画像と高露光画像の合成画像について、輝度分布を解析し、その解析結果に応じて露光量のフィードバック制御を行うことにより、広ダイナミック画像の画質の向上を図る方法が提案されている（特許文献１参照）。また、１枚目として撮影された画像を分析し、露光量が足りない場合にはシャッタースピードを長くして２枚目の画像の撮影を行い、合成が可能である場合には画像合成を行う方法が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２８０５８号公報
【特許文献２】特開２００８−４２７４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された撮像装置は、あるフィールド期間で求められた露光量制御情報を次のフィールド期間での撮影に対して適用しているため、明るさが急激に変化するシーン等では、撮影画像の向上を図ることが難しい。
【０００６】
また、特許文献２に記載された撮像装置では、２枚目の画像のシャッタースピードを１枚目よりも長くするため、白とびの補正のように、２枚目をより短いシャッタースピードで撮影する必要のある補正を行うことができない。また、特許文献２に記載された撮像装置は、シャッタースピードを変更するだけであって、動画像へ適用した場合については考慮されていない。そのため、特許文献２に記載された撮像装置をそのまま動画像に適用しても、処理が所定の期間内に収まらずフレームレートが低下するおそれがある。
【０００７】
本発明は、動画撮影時においても１フィールド毎に高画質な広ダイナミックレンジ画像を生成することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、被写体像を撮影し、画像を生成する撮像手段と、前記撮像手段が前記被写体像を撮影する際の撮影パラメータを制御する制御手段と、前記撮像手段で生成される、輝度値の異なる少なくとも第１画像及び第２画像を含む複数の画像を合成する合成手段と、前記第１画像の評価値を求める評価手段と、前記評価手段が求めた前記第１画像の評価値に基づいて前記第２画像の輝度値範囲を設定する設定手段と、を備え、前記制御手段は、前記第２画像の輝度値が前記設定手段により設定された輝度値範囲に納まるように前記撮影パラメータを変更し、前記撮像手段は前記制御手段により変更された撮影パラメータで前記第２画像を生成させることを特徴とする。
【発明の効果】
【０００９】
本発明では、１フィールド期間内に、高画質な広ダイナミックレンジ画像を生成するために必要な合成用画像の輝度値を変更する。これにより、静止画像に対してだけではなく動画撮影時においても１フィールド毎に高画質な広ダイナミックレンジ画像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置の動作を示すフローチャートである。
【図３】図２のステップＳ２０１での入力画像であるフィールド画像の輝度値ヒストグラムの一例である。
【図４】白とびが改善されないと判定された場合の合成用画像の撮影の概要を模式的に示す図である。
【図５】黒つぶれが改善されないと判定された場合の合成用画像の撮影の概要を模式的に示す図である。
【図６】画像合成により広ダイナミックレンジ画像を生成する処理の概要を模式的に示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１２】
《第１実施形態》
＜撮像装置の概略構成＞
図１は、本発明の第１実施形態に係る撮像装置の概略構成を示すブロック図である。図１において、光学系１０１は被写体像を形成し、光学系１０１により形成された被写体像は、光電変換を行うＣＣＤセンサやＣＭＯＳセンサ等の撮像素子１０２に結像される。画像形成回路１０３は、撮像素子１０２から出力される電気信号から映像信号をデジタル信号として生成するために、Ａ／Ｄ変換回路１０４、オートゲイン制御回路（ＡＧＣ）１０５、オートホワイトバランス回路（ＡＷＢ）１０６を含んでいる。Ａ／Ｄ変換回路１０４は、アナログ信号をデジタル信号に変換する。ＡＧＣ１０５は、デジタル信号のレベル補正を行う。ＡＷＢ１０６は、映像の色レベル補正を行う。このように、本実施形態に係る撮像装置では、撮像素子１０２及び画像形成回路１０３により、画像の取得を行う撮像系が構成されている。
【００１３】
フィールドメモリ１０７は、画像形成回路１０３により生成された映像信号の１フィールド又は複数のフィールド画像を一時的に記憶、保持する。メモリ制御回路１０８は、フィールドメモリ１０７に入出力される映像信号を制御する。画像評価回路１０９は、入力された画像に対して、評価値として、例えば、白とび量や黒つぶれ量を評価する。目標輝度値設定回路１１０は、画像評価回路１０９から得られる評価値に基づいて、次に撮影を行う画像の輝度値範囲を設定する。撮影パラメータ制御回路１１１は、次に撮影を行う画像の輝度値が、目標輝度値設定回路１１０で設定された輝度値範囲に納まるように、撮影パラメータを変更する。
【００１４】
動きベクトル算出回路１１２は、時間的に隔たりのある２枚の合成用画像から抽出された複数の座標のそれぞれにおける移動量を検出する。画像変形量算出回路１１３は、動きベクトル検出回路１１２によって検出された動きベクトルに基づいて、合成用画像間のずれ量を画像変形量として算出する。画像位置合わせ回路１１４は、画像変形量算出回路１１３によって算出された画像変形量を用いて、画像の位置合わせを行うための画像幾何変換処理を行う。画像合成回路１１５は、画像位置合わせ回路１１４において位置合わせが行われた複数枚の合成用画像を用いて画像合成を行い、これにより後述するように、広ダイナミックレンジ画像が生成される。映像出力回路１１６は、画像合成処理が行われたフィールド画像を、順次、不図示のディスプレイに表示し、また、記憶装置に記憶させる。
【００１５】
＜撮像装置の動作＞
［動作の概略］
図２は、図１の通りに構成された撮像装置の動作を示すフローチャートである。撮像装置に第１画像としての被写体像が取り込まれる（ステップＳ２０１：画像入力）。続いて、第１画像を評価し、予め定められた撮影パラメータで第２画像の撮影を行った場合に、後に第１画像と第２画像とを合成した際に、広ダイナミックレンジ画像が良好な画像となるか否かの判定が行われる（ステップＳ２０２：画像評価）。そして、ステップＳ２０２での評価結果に基づいて、第２画像の目標輝度値が設定される（ステップＳ２０３：目標輝度値設定）。
【００１６】
こうして１フィールド期間内に撮影された複数の合成用画像の位置合わせが行われ（ステップＳ２０４：画像位置合わせ）、位置合わせの行われた合成用画像を用いて広ダイナミックレンジ画像生成のための画像合成が行われる（ステップＳ２０５：画像合成）。合成された画像は、表示装置や記憶装置に出力される（ステップＳ２０６：画像出力）。以下、各ステップについて詳述する。
【００１７】
［ステップＳ２０１の詳細］
ステップＳ２０１では、光学系１０１によって形成された被写体像が撮像素子１０２によって被写体輝度に応じたアナログ信号として出力され、画像形成回路１０３がアナログ信号に処理を施すことで映像信号を生成させる。より詳しくは、画像形成回路１０３は、Ａ／Ｄ変換回路１０４によってアナログ信号を、例えば、１２ビットのデジタル信号に変換する。更に、Ａ／Ｄ変換回路１０４から出力されるデジタル信号に対してＡＧＣ１０５及びＡＷＢ１０６により信号レベル補正や白レベル補正が行われ、こうして生成されたデジタル映像信号がフィールドメモリ１０７に記憶、保持される。
【００１８】
本実施形態に係る撮像装置では、所定のフレームレートで、順次、フィールド画像が生成され、フィールドメモリ１０７に記憶、保持されたフィールド画像は、順次、画像評価回路１０９及び動きベクトル算出回路１１２に入力される。また、フィールドメモリ１０７に記憶、保持されているフィールド画像も、順次、更新される。以上の画像制御回路１０３で行われる動作は、メモリ制御回路１０８によって制御される。
【００１９】
［ステップＳ２０２の詳細］
ステップＳ２０２では、ステップＳ２０１での入力画像であるフィールド画像を評価し、予め定められた撮影パラメータで撮影を行った場合に生成される広ダイナミックレンジ画像が良好な画像となるか否かの判定が行われる。本実施形態では、第１画像と第２画像の２枚の画像を合成する際の画像の評価方法の一例として、画像の輝度値分布を示すヒストグラムを用い、評価値として白とび及び黒つぶれの量（画素数）を判定する場合の手法について説明する。この判定は、画像評価回路１０９によって行われる。
【００２０】
図３は、ステップＳ２０１の入力画像であるフィールド画像の輝度値ヒストグラムの一例である。図３の横軸は輝度値を表しており、ここでは色深度が８ビットの場合として輝度値が０から２５５までの値を示している。図３の縦軸は輝度値の出現頻度を表しており、画像中に各輝度値を有する画素がいくつ存在しているかを示している。
【００２１】
図３では、輝度値０付近に存在している画素は、ほぼ真っ黒な画像、つまり、黒つぶれ領域の画素を示しており、輝度値２５５付近に存在している画素は、ほぼ真っ白な画像、つまり白とびをしている領域の画素を示している。したがって、例えば、図３のヒストグラムから、フィールド画像中に黒つぶれ領域がどの程度存在しているかを判定する場合、黒つぶれとみなすことのできる輝度値範囲３０１を設定し、範囲３０１内に存在している画素の総数を評価値として求める。同様に、フィールド画像中の白とび領域を判定する場合、白とび領域と判定できる輝度値範囲３０２を設定し、範囲３０２内に存在している画素の総数を評価値として求める。
【００２２】
なお、輝度値範囲３０１，３０２の範囲設定方法に特に制限は無く、実画像を参考にして主観的に決定する方法や、輝度値の取り得る全範囲の１０％とする等のように輝度レンジの割合で設定する方法を採ることができる。
【００２３】
そして、輝度値範囲３０１，３０２内の画素の総数が、例えば、フィールド画像の全画素数の３０％以上である等、予め定められた基準を越えている場合、このまま広ダイナミックレンジ画像を生成しても、黒つぶれや白とびは良好に改善されないと判定される。
【００２４】
上述の通り、本実施形態では、輝度値ヒストグラムによりフィールド画像を評価する手法について述べたが、その手法に制限は無い。例えば、主被写体領域の輝度値や画面全体の輝度値の分散値を用いる手法等を用いてもよい。また、撮像装置に搭載されている、被写体像から撮像素子１０２へ入射する光の強さと分布を測光する測光手段による測光値を用いてもよい。
【００２５】
［ステップＳ２０３の詳細］
ステップＳ２０３では、目標輝度値設定回路１１０により、ステップＳ２０２での評価結果に基づいて、第２画像の目標輝度値が設定され、設定された目標輝度値を基準として第２画像の輝度値範囲が設定される。そして、設定された輝度値範囲に第２画像の輝度値が納まるように、撮影パラメータの変更が行われる。
【００２６】
本実施形態では、第２画像の目標輝度値として、白とびが生じない最大輝度値の設定方法と、黒つぶれが生じない最小輝度値を設定する方法について説明する。そして、第２画像の輝度値が、設定された最大輝度値よりも小さい輝度値範囲に納まるように、また、設定された最小輝度値よりも大きい輝度値範囲に納まるように、撮影パラメータの１つである撮影時の露光時間を変更する場合の手法について説明する。
【００２７】
図４は、白とびが改善されないと判定された場合の合成用画像の撮影の概要を模式的に示す図であり、短い露光時間で撮影された低露光画像を第１画像、長い露光時間で撮影された高露光画像を第２画像として順に撮影を行う際の蓄積露光量の変化を示している。図４では、縦軸が蓄積される露光量（蓄積露光量）であり、横軸が１フィールド期間の時間軸（露光時間）である。図４中、勾配４０１は、合成用画像の第１画像としての低露光画像の露光時間に対する蓄積露光量の変化を表しており、勾配４０２は、合成用画像の第２画像としての高露光画像の露光時間に対する蓄積露光量の変化を表している。
【００２８】
ここで、蓄積露光量の変化を示す勾配４０１，４０３はそれぞれ、目標輝度値設定回路１１０によって目標輝度値が設定される前の予め定められている露光時間での蓄積露光量の変化を表している。図４の場合、撮像素子１０２の蓄積露光量の飽和値を飽和蓄積露光量４０５とすると、高露光画像４０２に蓄積露光量の飽和４０４が生じているだけではなく、低露光画像４０１にも蓄積露光量の飽和４０３が生じていることがわかる。この場合、予め定められた露光時間のままで第１画像及び第２画像の撮影を行って、画像合成を行ったとしても白とびを良好に改善することはできない。
【００２９】
そこで、低露光画像（第１画像）の撮影が終了し、高露光画像（第２画像）の撮影が開始されるまでの撮影移行期間４０９の間にステップＳ２０２の評価を低露光画像に対して行う。そして、評価の結果からこのまま撮影を行っても白とびを良好に改善することができないと判定された場合には、次に撮影される高露光画像に対して予め設定されていた露光時間４０６を、低露光画像の露光時間４０８よりも短い露光時間４０７に変更する。これにより、低露光画像でも白とびが発生していた領域について、より低露光の画像を撮影することで、テクスチャが再現された画像を取得することが可能となる。よって、これらの画像を用いて画像合成を行うことで、白とび領域の無い良好な広ダイナミックレンジ画像を生成することができる。
【００３０】
露光時間４０７の設定方法としては、例えば、以下の方法を用いることができる。すなわち、図３に示した白とびと判定される輝度値範囲３０２の下限輝度値が白とびになるか否かの閾値であるから、この下限輝度値を目標輝度値として設定する。そして、第２画像の最大輝度値がこの目標輝度値を超えないように露光時間４０７を設定する。このように、第１画像を評価して第２画像の露光時間を短くすることにより、白とびの無い合成用画像を撮影することが可能となり、より良好な合成画像を生成することが可能となる。また、第１画像の撮影が終了し、第２画像の撮影が開始される前に第１画像の評価を行えば、第２画像の目標輝度値を変更することができる。これにより、評価の結果を同じフィールド期間内の画像合成に適用することが可能となり、評価結果とその適用対象フィールドの時間的なずれによる広ダイナミックレンジ画像の画質劣化を防ぐことができる。
【００３１】
図５は、黒つぶれ改善されないと判定された場合の合成用画像の撮影の概要を模式的に示す図である。勾配５０１は、第１画像としての低露光画像の露光時間に対する蓄積露光量の変化を示している。ここでは、低露光画像の撮影後の撮影移行期間５０５において低露光画像を評価した結果、が予め定められた基準以上の割合を占めているとする。そのため、予め定められている露光時間５０４で高露光画像の撮影を行ったのでは、黒つぶれの無い合成用画像としての高露光画像を得ることはできないと判定されたものとする。
【００３２】
この場合、高露光画像の露光時間を、目標輝度値設定回路１１０により設定された目標輝度値を達成することができるように、予め定められている露光時間５０４を延長した露光時間５０３に変更する。これにより、黒つぶれの無い合成用画像としての高露光画像を取得することができる。
【００３３】
露光時間５０３の設定方法としては、例えば、以下の方法を用いることができる。すなわち、図３に示した黒つぶれと判定される輝度値範囲３０１の上限輝度値が黒つぶれになるか否かの閾値であるから、この上限輝度値を目標輝度値として設定する。そして、第２画像の最小輝度値がこの目標輝度値より大きくなるように、露光時間５０３を設定する。但し、黒つぶれの無い画像を取得するために露光時間を長くすると、例えば、１／６０秒といった動画像の所定のフィールド期間では間に合わない可能性が生じる。しかし、このような場合には、露光時間がフィールド期間を越えない長さに止め、ガンマ補正等の画像処理手段によって目標輝度値に対して不足している分の露光量を、別途補う等の処理を行えばよい。
【００３４】
こうして、撮影パラメータ制御回路１１１は、光学系１０１及び撮像素子１０２を制御し、目標輝度値設定回路１１０で設定された露光時間で第２画像としての高露光画像の撮影を行う。これにより、黒つぶれの無い合成用画像を撮影することが可能となり、より良好な合成画像を生成することが可能となる。
【００３５】
なお、本実施形態では、目標輝度値の設定のための撮影パラメータの例として露光時間を変更する方法について説明したが、絞り値やゲイン等の他のパラメータを変更してもよい。また、本実施形態では、第１画像と第２画像の撮影の間に評価を行うとしたが、第１画像の撮影直後に第１画像の評価と第２画像の撮影を同時に開始する方法を用いてもよい。
【００３６】
［ステップＳ２０４の詳細］
ステップＳ２０４では、１フィールド期間内に撮影された複数の合成用画像の位置合わせを行う。合成用画像の撮影中に撮像装置に動きが生じていた場合、各合成用画像間に微小な位置ずれが生じる。そのため、そのままの状態で画像合成を行うと、その位置ずれのために、合成結果である広ダイナミックレンジ画像において被写体像にぶれが生じたような状態となってしまう。そこで、画像合成を行う前に、各合成用画像間の位置ずれ量を検出し、そのずれ量を打ち消すように画像に幾何変換を施して、位置合わせを行う。
【００３７】
具体的には、最初に、動きベクトル算出回路１１２により、合成用画像間の動きベクトルを求める。動きベクトルの検出は、一般に、２つの画像間における注目画素及びその近傍領域のテクスチャ情報の相関関係に基づいて行われ、例えば、テンプレートマッチング法、勾配法等の一般的な検出方法を用いることができるが、その方法に制限は無い。注目画素の配置は、画像全体を覆うように等間隔に配置してもよいし、テクスチャのエッジやコーナー等の特徴点を抽出して注目画素としてもよい。
【００３８】
なお、各合成用画像は互いに異なる露光量で撮影されているため、そのままの状態では画像全体の明るさに差があり、同じ領域でも相関が低いと判定されてしまう場合がある。そこで、動きベクトルの検出を行う前に各合成用画像に対してゲイン調整等を施すことで、輝度値のレベル合わせを行っておく。
【００３９】
画像変形量算出回路１１３では、動きベクトル算出回路１１２で算出された動きベクトル群を用いて、各合成用画像間の位置ずれ量を画像変形量として算出する。本実施形態では、画像変形量のモデルとして平面射影モデルを使用して、位置合わせのための画像変形量を算出することとする。
【００４０】
第１画像上の下記の第（１）式で示される特徴点ａが第２画像において下記の第（２）式で示される特徴点ａ′へ移動したとすると、特徴点ａと特徴点ａ′との対応関係は、平面射影行列Ｈを用いることにより、下記の第（３）式で示される。なお、第（１）式及び第（２）式の“Ｔ”は行列の転置を表している。また、第（３）式の平面射影行列Ｈは画像間の並進、回転、変倍、せん断、あおりの変化量を示す行列式であり、下記の第（４）式で表すことができる。ここで、特徴点ａ，点ａ′及び平面射影行列Ｈは、斉次座標を用いて表している。このことは、以下でも同様である。
【００４１】
【数１】
【００４２】
平面射影行列Ｈの各要素は、動きベクトル算出回路１１２で算出された動きベクトル群を用いて、つまり各合成用画像における注目点の対応関係を用いて、最小二乗法等の統計的処理等を適用することにより算出することができる。こうして求められた平面射影行列Ｈは、各合成用画像間の位置ずれ量を表すものであるから、位置ずれを補正するためには、位置ずれを打ち消す画像変形量にＨを変換する必要がある。そのために、平面射影行列Ｈの逆行列Ｋを考えると、上記の第（５）式により、位置ずれが生じた後の特徴点ａ′を位置ずれが生じる前の特徴点ａと同じ座標に戻すことが可能となる。本実施形態では、この逆行列Ｋを、ずれ補正量と呼ぶこととする。
【００４３】
本実施形態では、上述の通り、第１画像を基準として第２画像の位置ずれ量を算出するとしたが、これに限られるものではなく、適宜、位置ずれ検出の基準画像を選択し、その基準画像から他の画像の位置ずれ量を求めてもよい。例えば、３枚以上の画像を合成用画像として撮影する場合、第１画像を基準として第３画像の位置ずれ量を算出すると、間に第２画像を挟むことになり、第１、第２画像間のずれ量よりも大きなずれ量が算出されることになる。ここで、一般的に画像間の位置ずれ量が大きくなるほど、算出される画像変形量の誤差も大きくなる。そのため、３枚以上の画像を合成する場合には、第２画像を基準画像として位置ずれ量を算出した方が、誤差の少ない画像変形量を算出することができ、精度の高い位置合わせを行うことが可能になる。このように、位置ずれ量を算出するための基準画像は、合成する画像の枚数に応じて適切なものを選択すればよい。
【００４４】
上述の通りにして求めたずれ補正量を用いて、画像位置合わせ回路１１４が、画像上の全画素に対して画像幾何変換処理を施すことにより、位置ずれの補正を行う。本実施形態においては、位置ずれを表す画像変形量として平面射影行列を使用しているが、これに限られるものではなく、画像間に生じている位置ずれの種類に応じて、ヘルマート行列やアフィン変換行列等の他の画像変形量を使用することができる。
【００４５】
［ステップＳ２０５の詳細］
ステップＳ２０５では、画像合成回路１１５において、画像位置合わせ回路１１４で位置合わせの行われた合成用画像を用いて画像合成を行い、広ダイナミックレンジ画像を生成する。
【００４６】
図６は、画像合成により広ダイナミックレンジ画像を生成する処理の概要を模式的に示す図である。図６において、横軸は画像合成回路１１５に入力される合成用画像の輝度値を光強度に換算した値を示し、縦軸は合成により生成される広ダイナミックレンジ画像の出力輝度値を示している。つまり、図６は、画像合成回路１１５に対する輝度値の入出力特性を表すグラフとなっている。なお、光強度とは撮像素子１０２に入射した光の強さを表しており、例えば、弱い光でも露光時間を長くすれば長時間蓄積することができるので、この場合には高い輝度値が出力されることになる。
【００４７】
図６に示される線６０１は高露光画像の入出力特性を示しており、線６０２は低露光画像の入出力特性を表している。高露光画像の入出力特性６０１において、画像上で白とびとみなすことのできる光強度の閾値が閾値６０３である場合、光強度が閾値６０３よりも大きな領域では、白とびでテクスチャが失われてしまった領域となる。それに対して露光時間の短い低露光画像では、強い光でも蓄積量が飽和する前に撮影が終了するため、高露光画像では白とびしてしまう領域でもディテールを損なうことなく記録することができる。したがって、閾値６０３よりも大きな光強度の領域については、低露光画像の入出力特性６０２の値に置き換えることにより白とびを改善することが可能になる。
【００４８】
このとき、高露光画像と低露光画像とでは、入出力特性の違いにより、同じ光強度でも出力輝度値が異なるため、そのままでは合成画像の入出力特性は不連続になってしまう。そこで、図６の線６０４で示される入出力特性のように、高露光画像の入出力特性６０１と連続値を取るように、低露光画像の６０２にゲインアップを施すことが必要となる。その際のゲインアップの値は、２枚の合成用画像の露光時間の比から求めることができる。例えば、低露光画像と高露光画像の露光時間の比が１：２であるとすると、高露光画像の低露光画像に対する光強度の２倍となる。従って、低露光画像の入出力特性に対して２倍のゲインアップを行うことで、高露光画像の入出力特性６０１と合成可能な新たな入出力特性６０４を得ることができる。
【００４９】
しかしながら、上述の方法では閾値６０３を境に高露光画像と低露光画像を単純に切り替えているだけなので、画像中に移動物体が存在している場合やゲインアップで誤差が生じた場合には、切り替わりが滑らかに行われず、擬似的な輪郭が発生するおそれがある。これを防止する方法の１つとして、画像の合成比率に応じて高露光画像と低露光画像の輝度値の調合を行う方法がある。図６において、低露光画像の入出力特性６０２の閾値６０３以下の部分をゲインアップした入出力特性６０５と高露光画像の入出力特性６０１のそれぞれに対して重み付け加算処理を施す。
【００５０】
このとき、閾値６０３に近いほどゲインアップした入出力特性６０５の重みを大きくし、閾値６０３を離れるに従って高露光画像の入出力特性６０１の重みを大きくする。これにより、高露光画像の入出力特性６０１とゲインアップした入出力特性６０４に多少のずれが生じていた場合でも、擬似輪郭が生じない良好な広ダイナミックレンジ画像を生成することができるようになる。
【００５１】
本実施形態では、白とび改善のための広ダイナミックレンジ画像生成の方法について説明したが、黒つぶれの改善された広ダイナミックレンジ画像もまた、同様の方法で生成することができる。
【００５２】
［ステップＳ２０６の詳細］
ステップＳ２０６では、映像出力回路１１６は、画像合成回路１１５により取得された広ダイナミックレンジ画像を、不図示の表示装置又は記憶装置に出力する。
【００５３】
以上説明したように、合成用画像の第１画像を評価して、その結果に応じて第２画像の目標輝度値を変更して撮影を行うことにより、動画像の１フィールド毎に高精細な広ダイナミックレンジ画像を生成することが可能となる。
【００５４】
《第２実施形態》
本実施形態では、第１画像及び第２画像に加えて第３画像を合成用画像として取得し、第１画像と第３画像の一方又は両方の評価値に応じて第２画像の目標輝度値を設定する。ここでは、目標輝度値設定回路１１０による目標輝度値の設定前の予め定められた露光時間が、第１画像が低露光画像、第３画像が中露光画像、第２画像が高露光画像となるように設定されており、第１，第３，第２画像の順に撮影を行う場合について説明する。なお、予め定められた露光時間は、撮像装置に搭載されている測光手段から得られる測光値から算出する方法や、使用者が手動で設定する方法により、設定することができる。
【００５５】
本実施形態における処理の概略の流れは、図２に示したフローチャートと同じであるが、具体的な処理内容が第１実施形態とは異なるステップがある。そこで、本実施形態では、第１実施形態とは異なる処理を行うステップについて説明することとする。
【００５６】
本実施形態におけるステップＳ２０２（画像評価）では、画像評価回路１０９が、第１画像と第３画像のいずれか一方又は両方の評価を行う。画像評価回路１０９では、第１実施形態と同様に輝度値ヒストグラム等を用いて、予め定められた露光時間のままで良好な広ダイナミックレンジ画像が得られるか否かの評価を行う。画像評価は、例えば、各画像の撮影の間で行ってもよいし、第３画像の撮影と平行して第１画像の評価を行って第２画像の目標輝度値を変更することで演算時間の削減を図る等してもよい。
【００５７】
ステップＳ２０３の目標輝度値設定では、目標輝度値設定回路１１０において、ステップＳ２０２から得られる評価結果を用いて第２画像の目標輝度値を設定する。目標輝度値設定の手法としては、第１画像の評価結果から第２画像及び第３画像の目標輝度値を設定する手法や、第１画像及び第３画像の評価結果から第２画像の目標輝度値を変更する手法を用いることができる。
【００５８】
例えば、画像評価回路１０９によって第１画像には黒つぶれ領域が多く、且つ、第３画像には白とび領域が多いと評価された場合には、目標輝度値設定回路１１０は、第１画像と第３画像の中間の露光時間で第２画像の撮影を行うように再設定を行う。これにより、各合成用画像間で露光時間の大小関係に入れ替わりが生じるため、以降の処理では第２画像を中露光画像、第３画像を高露光画像として扱うこととなる。
【００５９】
ステップＳ２０５の画像合成では、第１実施形態と同様に画像合成を行って広ダイナミックレンジ画像を生成する。但し、第２実施形態では、上述の通りに各合成用画像間で露光時間の大小関係に入れ替わりが生じた場合には、これに応じて合成用画像の役割を入れ替えて画像合成を行う必要がある。これは、以下の理由による。すなわち、本実施形態では、予め設定されていた目標輝度値では、第１画像を低露光画像、第３画像を中露光画像、第２画像を高露光画像として撮影を行うようになっている場合を考えている。この場合に上述のステップＳ２０３に示したような露光時間の大小関係の入れ替わりが生じた場合、第１画像を低露光画像、第２画像を中露光画像、第３画像を高露光画像として画像合成を行わなければ、良好な広ダイナミックレンジ画像を得ることはできないからである。
【００６０】
このように、本実施形態における画像合成は、ステップＳ２０３における目標輝度値の設定内容に応じて各合成用画像の役割を入れ替えて画像合成を行う必要がある。また、本実施形態例では、合成用画像が３枚の場合について説明したが、枚数に制限は無く合成用画像が４枚以上の場合でも同様である。
【００６１】
以上の通り、第２実施形態では、第１画像及び第２画像に加えて第３画像を合成用画像として取得する際に、目標輝度値の設定により各合成用画像間の露光時間の大小関係に入れ替えが生じた。この場合でも、露光時間の大小関係の入れ替えに応じた画像合成を行うことにより、広ダイナミックレンジ画像を生成することが可能となる。
【００６２】
《その他の実施形態》
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００６３】
本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介して撮像装置に供給し、その撮像装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００６４】
１０２ 撮像素子
１０３ 画像形成回路
１０９ 画像評価回路
１１０ 目標輝度値設定回路
１１１ 撮影パラメータ制御回路
１１５ 画像合成回路
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、複数枚の画像からダイナミックレンジ画像を生成する画像合成技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置で明度差の大きなシーンを撮影したときに、明部では白とびが、暗部では黒つぶれが発生することがある。このような白とびや黒つぶれの補正手法の１つとして、露光量の異なる複数枚の画像を撮影し、各画像に存在する白とびの無い領域と黒つぶれの無い領域を合成することで、明部や暗部が適切に再現された広ダイナミックレンジ画像を生成する手法がある。このとき、各画像の露光量の決定には、一般的に撮像装置に搭載されている測光手段で得られる測光値を基にする方法等が用いられるが、撮影後に実際に画像合成を行ってみると白とびや黒つぶれが補正されていない場合がある。
【０００３】
そこで、画像合成に用いる各画像の撮影パラメータをシーンに応じて適応的に変化させることにより、広ダイナミックレンジ化に適した画像を取得する手法が提案されている。例えば、低露光画像と高露光画像の合成画像について、輝度分布を解析し、その解析結果に応じて露光量のフィードバック制御を行うことにより、広ダイナミック画像の画質の向上を図る方法が提案されている（特許文献１参照）。また、１枚目として撮影された画像を分析し、露光量が足りない場合にはシャッタースピードを長くして２枚目の画像の撮影を行い、合成が可能である場合には画像合成を行う方法が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２８０５８号公報
【特許文献２】特開２００８−４２７４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された撮像装置は、あるフィールド期間で求められた露光量制御情報を次のフィールド期間での撮影に対して適用しているため、明るさが急激に変化するシーン等では、撮影画像の向上を図ることが難しい。
【０００６】
また、特許文献２に記載された撮像装置では、２枚目の画像のシャッタースピードを１枚目よりも長くするため、白とびの補正のように、２枚目をより短いシャッタースピードで撮影する必要のある補正を行うことができない。また、特許文献２に記載された撮像装置は、シャッタースピードを変更するだけであって、動画像へ適用した場合については考慮されていない。そのため、特許文献２に記載された撮像装置をそのまま動画像に適用しても、処理が所定の期間内に収まらずフレームレートが低下するおそれがある。
【０００７】
本発明は、動画撮影時においても１フィールド毎に高画質な広ダイナミックレンジ画像を生成することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、被写体像を撮影し、画像を生成する撮像手段と、前記撮像手段が前記被写体像を撮影する際の撮影パラメータを制御する制御手段と、前記撮像手段で生成される、輝度値の異なる少なくとも第１画像及び第２画像を含む複数の画像を合成する合成手段と、前記第１画像の評価値を求める評価手段と、前記評価手段が求めた前記第１画像の評価値に基づいて前記第２画像の輝度値範囲を設定する設定手段と、を備え、前記制御手段は、前記第２画像の輝度値が前記設定手段により設定された輝度値範囲に納まるように前記撮影パラメータを変更し、前記撮像手段は前記制御手段により変更された撮影パラメータで前記第２画像を生成させることを特徴とする。
【発明の効果】
【０００９】
本発明では、１フィールド期間内に、高画質な広ダイナミックレンジ画像を生成するために必要な合成用画像の輝度値を変更する。これにより、静止画像に対してだけではなく動画撮影時においても１フィールド毎に高画質な広ダイナミックレンジ画像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置の動作を示すフローチャートである。
【図３】図２のステップＳ２０１での入力画像であるフィールド画像の輝度値ヒストグラムの一例である。
【図４】白とびが改善されないと判定された場合の合成用画像の撮影の概要を模式的に示す図である。
【図５】黒つぶれが改善されないと判定された場合の合成用画像の撮影の概要を模式的に示す図である。
【図６】画像合成により広ダイナミックレンジ画像を生成する処理の概要を模式的に示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１２】
《第１実施形態》
＜撮像装置の概略構成＞
図１は、本発明の第１実施形態に係る撮像装置の概略構成を示すブロック図である。図１において、光学系１０１は被写体像を形成し、光学系１０１により形成された被写体像は、光電変換を行うＣＣＤセンサやＣＭＯＳセンサ等の撮像素子１０２に結像される。画像形成回路１０３は、撮像素子１０２から出力される電気信号から映像信号をデジタル信号として生成するために、Ａ／Ｄ変換回路１０４、オートゲイン制御回路（ＡＧＣ）１０５、オートホワイトバランス回路（ＡＷＢ）１０６を含んでいる。Ａ／Ｄ変換回路１０４は、アナログ信号をデジタル信号に変換する。ＡＧＣ１０５は、デジタル信号のレベル補正を行う。ＡＷＢ１０６は、映像の色レベル補正を行う。このように、本実施形態に係る撮像装置では、撮像素子１０２及び画像形成回路１０３により、画像の取得を行う撮像系が構成されている。
【００１３】
フィールドメモリ１０７は、画像形成回路１０３により生成された映像信号の１フィールド又は複数のフィールド画像を一時的に記憶、保持する。メモリ制御回路１０８は、フィールドメモリ１０７に入出力される映像信号を制御する。画像評価回路１０９は、入力された画像に対して、評価値として、例えば、白とび量や黒つぶれ量を評価する。目標輝度値設定回路１１０は、画像評価回路１０９から得られる評価値に基づいて、次に撮影を行う画像の輝度値範囲を設定する。撮影パラメータ制御回路１１１は、次に撮影を行う画像の輝度値が、目標輝度値設定回路１１０で設定された輝度値範囲に納まるように、撮影パラメータを変更する。
【００１４】
動きベクトル算出回路１１２は、時間的に隔たりのある２枚の合成用画像から抽出された複数の座標のそれぞれにおける移動量を検出する。画像変形量算出回路１１３は、動きベクトル検出回路１１２によって検出された動きベクトルに基づいて、合成用画像間のずれ量を画像変形量として算出する。画像位置合わせ回路１１４は、画像変形量算出回路１１３によって算出された画像変形量を用いて、画像の位置合わせを行うための画像幾何変換処理を行う。画像合成回路１１５は、画像位置合わせ回路１１４において位置合わせが行われた複数枚の合成用画像を用いて画像合成を行い、これにより後述するように、広ダイナミックレンジ画像が生成される。映像出力回路１１６は、画像合成処理が行われたフィールド画像を、順次、不図示のディスプレイに表示し、また、記憶装置に記憶させる。
【００１５】
＜撮像装置の動作＞
［動作の概略］
図２は、図１の通りに構成された撮像装置の動作を示すフローチャートである。撮像装置に第１画像としての被写体像が取り込まれる（ステップＳ２０１：画像入力）。続いて、第１画像を評価し、予め定められた撮影パラメータで第２画像の撮影を行った場合に、後に第１画像と第２画像とを合成した際に、広ダイナミックレンジ画像が良好な画像となるか否かの判定が行われる（ステップＳ２０２：画像評価）。そして、ステップＳ２０２での評価結果に基づいて、第２画像の目標輝度値が設定される（ステップＳ２０３：目標輝度値設定）。
【００１６】
こうして１フィールド期間内に撮影された複数の合成用画像の位置合わせが行われ（ステップＳ２０４：画像位置合わせ）、位置合わせの行われた合成用画像を用いて広ダイナミックレンジ画像生成のための画像合成が行われる（ステップＳ２０５：画像合成）。合成された画像は、表示装置や記憶装置に出力される（ステップＳ２０６：画像出力）。以下、各ステップについて詳述する。
【００１７】
［ステップＳ２０１の詳細］
ステップＳ２０１では、光学系１０１によって形成された被写体像が撮像素子１０２によって被写体輝度に応じたアナログ信号として出力され、画像形成回路１０３がアナログ信号に処理を施すことで映像信号を生成させる。より詳しくは、画像形成回路１０３は、Ａ／Ｄ変換回路１０４によってアナログ信号を、例えば、１２ビットのデジタル信号に変換する。更に、Ａ／Ｄ変換回路１０４から出力されるデジタル信号に対してＡＧＣ１０５及びＡＷＢ１０６により信号レベル補正や白レベル補正が行われ、こうして生成されたデジタル映像信号がフィールドメモリ１０７に記憶、保持される。
【００１８】
本実施形態に係る撮像装置では、所定のフレームレートで、順次、フィールド画像が生成され、フィールドメモリ１０７に記憶、保持されたフィールド画像は、順次、画像評価回路１０９及び動きベクトル算出回路１１２に入力される。また、フィールドメモリ１０７に記憶、保持されているフィールド画像も、順次、更新される。以上の画像制御回路１０３で行われる動作は、メモリ制御回路１０８によって制御される。
【００１９】
［ステップＳ２０２の詳細］
ステップＳ２０２では、ステップＳ２０１での入力画像であるフィールド画像を評価し、予め定められた撮影パラメータで撮影を行った場合に生成される広ダイナミックレンジ画像が良好な画像となるか否かの判定が行われる。本実施形態では、第１画像と第２画像の２枚の画像を合成する際の画像の評価方法の一例として、画像の輝度値分布を示すヒストグラムを用い、評価値として白とび及び黒つぶれの量（画素数）を判定する場合の手法について説明する。この判定は、画像評価回路１０９によって行われる。
【００２０】
図３は、ステップＳ２０１の入力画像であるフィールド画像の輝度値ヒストグラムの一例である。図３の横軸は輝度値を表しており、ここでは色深度が８ビットの場合として輝度値が０から２５５までの値を示している。図３の縦軸は輝度値の出現頻度を表しており、画像中に各輝度値を有する画素がいくつ存在しているかを示している。
【００２１】
図３では、輝度値０付近に存在している画素は、ほぼ真っ黒な画像、つまり、黒つぶれ領域の画素を示しており、輝度値２５５付近に存在している画素は、ほぼ真っ白な画像、つまり白とびをしている領域の画素を示している。したがって、例えば、図３のヒストグラムから、フィールド画像中に黒つぶれ領域がどの程度存在しているかを判定する場合、黒つぶれとみなすことのできる輝度値範囲３０１を設定し、範囲３０１内に存在している画素の総数を評価値として求める。同様に、フィールド画像中の白とび領域を判定する場合、白とび領域と判定できる輝度値範囲３０２を設定し、範囲３０２内に存在している画素の総数を評価値として求める。
【００２２】
なお、輝度値範囲３０１，３０２の範囲設定方法に特に制限は無く、実画像を参考にして主観的に決定する方法や、輝度値の取り得る全範囲の１０％とする等のように輝度レンジの割合で設定する方法を採ることができる。
【００２３】
そして、輝度値範囲３０１，３０２内の画素の総数が、例えば、フィールド画像の全画素数の３０％以上である等、予め定められた基準を越えている場合、このまま広ダイナミックレンジ画像を生成しても、黒つぶれや白とびは良好に改善されないと判定される。
【００２４】
上述の通り、本実施形態では、輝度値ヒストグラムによりフィールド画像を評価する手法について述べたが、その手法に制限は無い。例えば、主被写体領域の輝度値や画面全体の輝度値の分散値を用いる手法等を用いてもよい。また、撮像装置に搭載されている、被写体像から撮像素子１０２へ入射する光の強さと分布を測光する測光手段による測光値を用いてもよい。
【００２５】
［ステップＳ２０３の詳細］
ステップＳ２０３では、目標輝度値設定回路１１０により、ステップＳ２０２での評価結果に基づいて、第２画像の目標輝度値が設定され、設定された目標輝度値を基準として第２画像の輝度値範囲が設定される。そして、設定された輝度値範囲に第２画像の輝度値が納まるように、撮影パラメータの変更が行われる。
【００２６】
本実施形態では、第２画像の目標輝度値として、白とびが生じない最大輝度値の設定方法と、黒つぶれが生じない最小輝度値を設定する方法について説明する。そして、第２画像の輝度値が、設定された最大輝度値よりも小さい輝度値範囲に納まるように、また、設定された最小輝度値よりも大きい輝度値範囲に納まるように、撮影パラメータの１つである撮影時の露光時間を変更する場合の手法について説明する。
【００２７】
図４は、白とびが改善されないと判定された場合の合成用画像の撮影の概要を模式的に示す図であり、短い露光時間で撮影された低露光画像を第１画像、長い露光時間で撮影された高露光画像を第２画像として順に撮影を行う際の蓄積露光量の変化を示している。図４では、縦軸が蓄積される露光量（蓄積露光量）であり、横軸が１フィールド期間の時間軸（露光時間）である。図４中、勾配４０１は、合成用画像の第１画像としての低露光画像の露光時間に対する蓄積露光量の変化を表しており、勾配４０２は、合成用画像の第２画像としての高露光画像の露光時間に対する蓄積露光量の変化を表している。
【００２８】
ここで、蓄積露光量の変化を示す勾配４０１，４０３はそれぞれ、目標輝度値設定回路１１０によって目標輝度値が設定される前の予め定められている露光時間での蓄積露光量の変化を表している。図４の場合、撮像素子１０２の蓄積露光量の飽和値を飽和蓄積露光量４０５とすると、高露光画像４０２に蓄積露光量の飽和４０４が生じているだけではなく、低露光画像４０１にも蓄積露光量の飽和４０３が生じていることがわかる。この場合、予め定められた露光時間のままで第１画像及び第２画像の撮影を行って、画像合成を行ったとしても白とびを良好に改善することはできない。
【００２９】
そこで、低露光画像（第１画像）の撮影が終了し、高露光画像（第２画像）の撮影が開始されるまでの撮影移行期間４０９の間にステップＳ２０２の評価を低露光画像に対して行う。そして、評価の結果からこのまま撮影を行っても白とびを良好に改善することができないと判定された場合には、次に撮影される高露光画像に対して予め設定されていた露光時間４０６を、低露光画像の露光時間４０８よりも短い露光時間４０７に変更する。これにより、低露光画像でも白とびが発生していた領域について、より低露光の画像を撮影することで、テクスチャが再現された画像を取得することが可能となる。よって、これらの画像を用いて画像合成を行うことで、白とび領域の無い良好な広ダイナミックレンジ画像を生成することができる。
【００３０】
露光時間４０７の設定方法としては、例えば、以下の方法を用いることができる。すなわち、図３に示した白とびと判定される輝度値範囲３０２の下限輝度値が白とびになるか否かの閾値であるから、この下限輝度値を目標輝度値として設定する。そして、第２画像の最大輝度値がこの目標輝度値を超えないように露光時間４０７を設定する。このように、第１画像を評価して第２画像の露光時間を短くすることにより、白とびの無い合成用画像を撮影することが可能となり、より良好な合成画像を生成することが可能となる。また、第１画像の撮影が終了し、第２画像の撮影が開始される前に第１画像の評価を行えば、第２画像の目標輝度値を変更することができる。これにより、評価の結果を同じフィールド期間内の画像合成に適用することが可能となり、評価結果とその適用対象フィールドの時間的なずれによる広ダイナミックレンジ画像の画質劣化を防ぐことができる。
【００３１】
図５は、黒つぶれ改善されないと判定された場合の合成用画像の撮影の概要を模式的に示す図である。勾配５０１は、第１画像としての低露光画像の露光時間に対する蓄積露光量の変化を示している。ここでは、低露光画像の撮影後の撮影移行期間５０５において低露光画像を評価した結果、が予め定められた基準以上の割合を占めているとする。そのため、予め定められている露光時間５０４で高露光画像の撮影を行ったのでは、黒つぶれの無い合成用画像としての高露光画像を得ることはできないと判定されたものとする。
【００３２】
この場合、高露光画像の露光時間を、目標輝度値設定回路１１０により設定された目標輝度値を達成することができるように、予め定められている露光時間５０４を延長した露光時間５０３に変更する。これにより、黒つぶれの無い合成用画像としての高露光画像を取得することができる。
【００３３】
露光時間５０３の設定方法としては、例えば、以下の方法を用いることができる。すなわち、図３に示した黒つぶれと判定される輝度値範囲３０１の上限輝度値が黒つぶれになるか否かの閾値であるから、この上限輝度値を目標輝度値として設定する。そして、第２画像の最小輝度値がこの目標輝度値より大きくなるように、露光時間５０３を設定する。但し、黒つぶれの無い画像を取得するために露光時間を長くすると、例えば、１／６０秒といった動画像の所定のフィールド期間では間に合わない可能性が生じる。しかし、このような場合には、露光時間がフィールド期間を越えない長さに止め、ガンマ補正等の画像処理手段によって目標輝度値に対して不足している分の露光量を、別途補う等の処理を行えばよい。
【００３４】
こうして、撮影パラメータ制御回路１１１は、光学系１０１及び撮像素子１０２を制御し、目標輝度値設定回路１１０で設定された露光時間で第２画像としての高露光画像の撮影を行う。これにより、黒つぶれの無い合成用画像を撮影することが可能となり、より良好な合成画像を生成することが可能となる。
【００３５】
なお、本実施形態では、目標輝度値の設定のための撮影パラメータの例として露光時間を変更する方法について説明したが、絞り値やゲイン等の他のパラメータを変更してもよい。また、本実施形態では、第１画像と第２画像の撮影の間に評価を行うとしたが、第１画像の撮影直後に第１画像の評価と第２画像の撮影を同時に開始する方法を用いてもよい。
【００３６】
［ステップＳ２０４の詳細］
ステップＳ２０４では、１フィールド期間内に撮影された複数の合成用画像の位置合わせを行う。合成用画像の撮影中に撮像装置に動きが生じていた場合、各合成用画像間に微小な位置ずれが生じる。そのため、そのままの状態で画像合成を行うと、その位置ずれのために、合成結果である広ダイナミックレンジ画像において被写体像にぶれが生じたような状態となってしまう。そこで、画像合成を行う前に、各合成用画像間の位置ずれ量を検出し、そのずれ量を打ち消すように画像に幾何変換を施して、位置合わせを行う。
【００３７】
具体的には、最初に、動きベクトル算出回路１１２により、合成用画像間の動きベクトルを求める。動きベクトルの検出は、一般に、２つの画像間における注目画素及びその近傍領域のテクスチャ情報の相関関係に基づいて行われ、例えば、テンプレートマッチング法、勾配法等の一般的な検出方法を用いることができるが、その方法に制限は無い。注目画素の配置は、画像全体を覆うように等間隔に配置してもよいし、テクスチャのエッジやコーナー等の特徴点を抽出して注目画素としてもよい。
【００３８】
なお、各合成用画像は互いに異なる露光量で撮影されているため、そのままの状態では画像全体の明るさに差があり、同じ領域でも相関が低いと判定されてしまう場合がある。そこで、動きベクトルの検出を行う前に各合成用画像に対してゲイン調整等を施すことで、輝度値のレベル合わせを行っておく。
【００３９】
画像変形量算出回路１１３では、動きベクトル算出回路１１２で算出された動きベクトル群を用いて、各合成用画像間の位置ずれ量を画像変形量として算出する。本実施形態では、画像変形量のモデルとして平面射影モデルを使用して、位置合わせのための画像変形量を算出することとする。
【００４０】
第１画像上の下記の第（１）式で示される特徴点ａが第２画像において下記の第（２）式で示される特徴点ａ′へ移動したとすると、特徴点ａと特徴点ａ′との対応関係は、平面射影行列Ｈを用いることにより、下記の第（３）式で示される。なお、第（１）式及び第（２）式の“Ｔ”は行列の転置を表している。また、第（３）式の平面射影行列Ｈは画像間の並進、回転、変倍、せん断、あおりの変化量を示す行列式であり、下記の第（４）式で表すことができる。ここで、特徴点ａ，点ａ′及び平面射影行列Ｈは、斉次座標を用いて表している。このことは、以下でも同様である。
【００４１】
【数１】
【００４２】
平面射影行列Ｈの各要素は、動きベクトル算出回路１１２で算出された動きベクトル群を用いて、つまり各合成用画像における注目点の対応関係を用いて、最小二乗法等の統計的処理等を適用することにより算出することができる。こうして求められた平面射影行列Ｈは、各合成用画像間の位置ずれ量を表すものであるから、位置ずれを補正するためには、位置ずれを打ち消す画像変形量にＨを変換する必要がある。そのために、平面射影行列Ｈの逆行列Ｋを考えると、上記の第（５）式により、位置ずれが生じた後の特徴点ａ′を位置ずれが生じる前の特徴点ａと同じ座標に戻すことが可能となる。本実施形態では、この逆行列Ｋを、ずれ補正量と呼ぶこととする。
【００４３】
本実施形態では、上述の通り、第１画像を基準として第２画像の位置ずれ量を算出するとしたが、これに限られるものではなく、適宜、位置ずれ検出の基準画像を選択し、その基準画像から他の画像の位置ずれ量を求めてもよい。例えば、３枚以上の画像を合成用画像として撮影する場合、第１画像を基準として第３画像の位置ずれ量を算出すると、間に第２画像を挟むことになり、第１、第２画像間のずれ量よりも大きなずれ量が算出されることになる。ここで、一般的に画像間の位置ずれ量が大きくなるほど、算出される画像変形量の誤差も大きくなる。そのため、３枚以上の画像を合成する場合には、第２画像を基準画像として位置ずれ量を算出した方が、誤差の少ない画像変形量を算出することができ、精度の高い位置合わせを行うことが可能になる。このように、位置ずれ量を算出するための基準画像は、合成する画像の枚数に応じて適切なものを選択すればよい。
【００４４】
上述の通りにして求めたずれ補正量を用いて、画像位置合わせ回路１１４が、画像上の全画素に対して画像幾何変換処理を施すことにより、位置ずれの補正を行う。本実施形態においては、位置ずれを表す画像変形量として平面射影行列を使用しているが、これに限られるものではなく、画像間に生じている位置ずれの種類に応じて、ヘルマート行列やアフィン変換行列等の他の画像変形量を使用することができる。
【００４５】
［ステップＳ２０５の詳細］
ステップＳ２０５では、画像合成回路１１５において、画像位置合わせ回路１１４で位置合わせの行われた合成用画像を用いて画像合成を行い、広ダイナミックレンジ画像を生成する。
【００４６】
図６は、画像合成により広ダイナミックレンジ画像を生成する処理の概要を模式的に示す図である。図６において、横軸は画像合成回路１１５に入力される合成用画像の輝度値を光強度に換算した値を示し、縦軸は合成により生成される広ダイナミックレンジ画像の出力輝度値を示している。つまり、図６は、画像合成回路１１５に対する輝度値の入出力特性を表すグラフとなっている。なお、光強度とは撮像素子１０２に入射した光の強さを表しており、例えば、弱い光でも露光時間を長くすれば長時間蓄積することができるので、この場合には高い輝度値が出力されることになる。
【００４７】
図６に示される線６０１は高露光画像の入出力特性を示しており、線６０２は低露光画像の入出力特性を表している。高露光画像の入出力特性６０１において、画像上で白とびとみなすことのできる光強度の閾値が閾値６０３である場合、光強度が閾値６０３よりも大きな領域では、白とびでテクスチャが失われてしまった領域となる。それに対して露光時間の短い低露光画像では、強い光でも蓄積量が飽和する前に撮影が終了するため、高露光画像では白とびしてしまう領域でもディテールを損なうことなく記録することができる。したがって、閾値６０３よりも大きな光強度の領域については、低露光画像の入出力特性６０２の値に置き換えることにより白とびを改善することが可能になる。
【００４８】
このとき、高露光画像と低露光画像とでは、入出力特性の違いにより、同じ光強度でも出力輝度値が異なるため、そのままでは合成画像の入出力特性は不連続になってしまう。そこで、図６の線６０４で示される入出力特性のように、高露光画像の入出力特性６０１と連続値を取るように、低露光画像の６０２にゲインアップを施すことが必要となる。その際のゲインアップの値は、２枚の合成用画像の露光時間の比から求めることができる。例えば、低露光画像と高露光画像の露光時間の比が１：２であるとすると、高露光画像の低露光画像に対する光強度の２倍となる。従って、低露光画像の入出力特性に対して２倍のゲインアップを行うことで、高露光画像の入出力特性６０１と合成可能な新たな入出力特性６０４を得ることができる。
【００４９】
しかしながら、上述の方法では閾値６０３を境に高露光画像と低露光画像を単純に切り替えているだけなので、画像中に移動物体が存在している場合やゲインアップで誤差が生じた場合には、切り替わりが滑らかに行われず、擬似的な輪郭が発生するおそれがある。これを防止する方法の１つとして、画像の合成比率に応じて高露光画像と低露光画像の輝度値の調合を行う方法がある。図６において、低露光画像の入出力特性６０２の閾値６０３以下の部分をゲインアップした入出力特性６０５と高露光画像の入出力特性６０１のそれぞれに対して重み付け加算処理を施す。
【００５０】
このとき、閾値６０３に近いほどゲインアップした入出力特性６０５の重みを大きくし、閾値６０３を離れるに従って高露光画像の入出力特性６０１の重みを大きくする。これにより、高露光画像の入出力特性６０１とゲインアップした入出力特性６０４に多少のずれが生じていた場合でも、擬似輪郭が生じない良好な広ダイナミックレンジ画像を生成することができるようになる。
【００５１】
本実施形態では、白とび改善のための広ダイナミックレンジ画像生成の方法について説明したが、黒つぶれの改善された広ダイナミックレンジ画像もまた、同様の方法で生成することができる。
【００５２】
［ステップＳ２０６の詳細］
ステップＳ２０６では、映像出力回路１１６は、画像合成回路１１５により取得された広ダイナミックレンジ画像を、不図示の表示装置又は記憶装置に出力する。
【００５３】
以上説明したように、合成用画像の第１画像を評価して、その結果に応じて第２画像の目標輝度値を変更して撮影を行うことにより、動画像の１フィールド毎に高精細な広ダイナミックレンジ画像を生成することが可能となる。
【００５４】
《第２実施形態》
本実施形態では、第１画像及び第２画像に加えて第３画像を合成用画像として取得し、第１画像と第３画像の一方又は両方の評価値に応じて第２画像の目標輝度値を設定する。ここでは、目標輝度値設定回路１１０による目標輝度値の設定前の予め定められた露光時間が、第１画像が低露光画像、第３画像が中露光画像、第２画像が高露光画像となるように設定されており、第１，第３，第２画像の順に撮影を行う場合について説明する。なお、予め定められた露光時間は、撮像装置に搭載されている測光手段から得られる測光値から算出する方法や、使用者が手動で設定する方法により、設定することができる。
【００５５】
本実施形態における処理の概略の流れは、図２に示したフローチャートと同じであるが、具体的な処理内容が第１実施形態とは異なるステップがある。そこで、本実施形態では、第１実施形態とは異なる処理を行うステップについて説明することとする。
【００５６】
本実施形態におけるステップＳ２０２（画像評価）では、画像評価回路１０９が、第１画像と第３画像のいずれか一方又は両方の評価を行う。画像評価回路１０９では、第１実施形態と同様に輝度値ヒストグラム等を用いて、予め定められた露光時間のままで良好な広ダイナミックレンジ画像が得られるか否かの評価を行う。画像評価は、例えば、各画像の撮影の間で行ってもよいし、第３画像の撮影と平行して第１画像の評価を行って第２画像の目標輝度値を変更することで演算時間の削減を図る等してもよい。
【００５７】
ステップＳ２０３の目標輝度値設定では、目標輝度値設定回路１１０において、ステップＳ２０２から得られる評価結果を用いて第２画像の目標輝度値を設定する。目標輝度値設定の手法としては、第１画像の評価結果から第２画像及び第３画像の目標輝度値を設定する手法や、第１画像及び第３画像の評価結果から第２画像の目標輝度値を変更する手法を用いることができる。
【００５８】
例えば、画像評価回路１０９によって第１画像には黒つぶれ領域が多く、且つ、第３画像には白とび領域が多いと評価された場合には、目標輝度値設定回路１１０は、第１画像と第３画像の中間の露光時間で第２画像の撮影を行うように再設定を行う。これにより、各合成用画像間で露光時間の大小関係に入れ替わりが生じるため、以降の処理では第２画像を中露光画像、第３画像を高露光画像として扱うこととなる。
【００５９】
ステップＳ２０５の画像合成では、第１実施形態と同様に画像合成を行って広ダイナミックレンジ画像を生成する。但し、第２実施形態では、上述の通りに各合成用画像間で露光時間の大小関係に入れ替わりが生じた場合には、これに応じて合成用画像の役割を入れ替えて画像合成を行う必要がある。これは、以下の理由による。すなわち、本実施形態では、予め設定されていた目標輝度値では、第１画像を低露光画像、第３画像を中露光画像、第２画像を高露光画像として撮影を行うようになっている場合を考えている。この場合に上述のステップＳ２０３に示したような露光時間の大小関係の入れ替わりが生じた場合、第１画像を低露光画像、第２画像を中露光画像、第３画像を高露光画像として画像合成を行わなければ、良好な広ダイナミックレンジ画像を得ることはできないからである。
【００６０】
このように、本実施形態における画像合成は、ステップＳ２０３における目標輝度値の設定内容に応じて各合成用画像の役割を入れ替えて画像合成を行う必要がある。また、本実施形態例では、合成用画像が３枚の場合について説明したが、枚数に制限は無く合成用画像が４枚以上の場合でも同様である。
【００６１】
以上の通り、第２実施形態では、第１画像及び第２画像に加えて第３画像を合成用画像として取得する際に、目標輝度値の設定により各合成用画像間の露光時間の大小関係に入れ替えが生じた。この場合でも、露光時間の大小関係の入れ替えに応じた画像合成を行うことにより、広ダイナミックレンジ画像を生成することが可能となる。
【００６２】
《その他の実施形態》
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００６３】
本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介して撮像装置に供給し、その撮像装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００６４】
１０２ 撮像素子
１０３ 画像形成回路
１０９ 画像評価回路
１１０ 目標輝度値設定回路
１１１ 撮影パラメータ制御回路
１１５ 画像合成回路
【特許請求の範囲】
【請求項１】
被写体像を撮影し、画像を生成する撮像手段と、
前記撮像手段が前記被写体像を撮影する際の撮影パラメータを制御する制御手段と、
前記撮像手段で生成される、輝度値の異なる少なくとも第１画像及び第２画像を含む複数の画像を合成する合成手段と、
前記第１画像の評価値を求める評価手段と、
前記評価手段が求めた前記第１画像の評価値に基づいて前記第２画像の輝度値範囲を設定する設定手段と、を備え、
前記制御手段は、前記第２画像の輝度値が前記設定手段により設定された輝度値範囲に納まるように前記撮影パラメータを変更し、前記撮像手段は前記制御手段により変更された撮影パラメータで前記第２画像を生成させることを特徴とする撮像装置。
【請求項２】
前記評価手段は、前記評価値として、前記第１画像の輝度値分布から黒つぶれとみなされる輝度値範囲の画素の総数と白とびとみなされる輝度値範囲の画素の総数の少なくとも一方を求めることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記設定手段は、前記第２画像の輝度値範囲について、前記第１画像において黒つぶれとみなすことができる輝度値範囲の上限輝度値と、前記第１画像において白とびとみなすことができる輝度値範囲の下限輝度値を設定し、
前記制御手段は、前記第２画像の最大輝度値が前記下限輝度値を超えないように、且つ、前記第２画像の最小輝度値が前記上限輝度値より大きくなるように、前記第２画像を撮影する際の撮影パラメータを設定することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記第１画像は前記第２画像よりも露光量の少ない低露光画像であり、
前記合成手段は、前記第１画像と前記第２画像とを合成する際に、前記第１画像の出力輝度値を前記第２画像の出力輝度値と連続値を取るようにゲインアップさせることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記複数の画像は第３画像を含み、前記第１画像が低露光画像、前記第３画像が中露光画像、前記第２画像が高露光画像となるようにこの順に露光量が大きくなるように予め設定されており、且つ、前記第１画像、前記第３画像、前記第２画像の順で前記撮像手段による撮影が行われる場合に、
前記評価手段は、少なくとも前記評価値として、前記第３画像において白とびとみなされる輝度値範囲の画素の総数を求め、
前記設定手段は、前記第３画像において白とびとみなされる輝度値範囲の画素の総数が予め定められた基準よりも多い場合に、前記第２画像の最大輝度値が前記第３画像において白とびとみなすことができる輝度値範囲の下限輝度値よりも小さくなるように前記第２画像の輝度値を変更し、
前記合成手段は、前記第１画像を低露光画像、前記第２画像を中露光画像、前記第３画像を高露光画像として画像合成を行うことを特徴とする請求項２記載の撮像装置。
【請求項６】
前記評価手段は、少なくとも前記評価値として、前記第１画像において黒つぶれとみなされる輝度値範囲の画素の総数を求め、
前記設定手段は、前記第１画像において黒つぶれとみなされる輝度値範囲の画素の総数が予め定められた基準よりも多い場合に、更に前記第２画像の最小輝度値が前記第１画像において黒つぶれとみなすことができる輝度値範囲の上限輝度値より大きくなるように前記第２画像の輝度値を変更することを特徴とする請求項５記載の撮像装置。
【請求項７】
前記複数の画像は、前記撮像手段により１フィールド期間内に撮影される画像であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記被写体像から前記撮像手段へ入射する光の強さと分布を測光する測光手段を更に有し、
前記制御手段は、前記撮影パラメータとして、前記測光手段で得られる測光値を用いて、露光時間を制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項１】
被写体像を撮影し、画像を生成する撮像手段と、
前記撮像手段が前記被写体像を撮影する際の撮影パラメータを制御する制御手段と、
前記撮像手段で生成される、輝度値の異なる少なくとも第１画像及び第２画像を含む複数の画像を合成する合成手段と、
前記第１画像の評価値を求める評価手段と、
前記評価手段が求めた前記第１画像の評価値に基づいて前記第２画像の輝度値範囲を設定する設定手段と、を備え、
前記制御手段は、前記第２画像の輝度値が前記設定手段により設定された輝度値範囲に納まるように前記撮影パラメータを変更し、前記撮像手段は前記制御手段により変更された撮影パラメータで前記第２画像を生成させることを特徴とする撮像装置。
【請求項２】
前記評価手段は、前記評価値として、前記第１画像の輝度値分布から黒つぶれとみなされる輝度値範囲の画素の総数と白とびとみなされる輝度値範囲の画素の総数の少なくとも一方を求めることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記設定手段は、前記第２画像の輝度値範囲について、前記第１画像において黒つぶれとみなすことができる輝度値範囲の上限輝度値と、前記第１画像において白とびとみなすことができる輝度値範囲の下限輝度値を設定し、
前記制御手段は、前記第２画像の最大輝度値が前記下限輝度値を超えないように、且つ、前記第２画像の最小輝度値が前記上限輝度値より大きくなるように、前記第２画像を撮影する際の撮影パラメータを設定することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記第１画像は前記第２画像よりも露光量の少ない低露光画像であり、
前記合成手段は、前記第１画像と前記第２画像とを合成する際に、前記第１画像の出力輝度値を前記第２画像の出力輝度値と連続値を取るようにゲインアップさせることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記複数の画像は第３画像を含み、前記第１画像が低露光画像、前記第３画像が中露光画像、前記第２画像が高露光画像となるようにこの順に露光量が大きくなるように予め設定されており、且つ、前記第１画像、前記第３画像、前記第２画像の順で前記撮像手段による撮影が行われる場合に、
前記評価手段は、少なくとも前記評価値として、前記第３画像において白とびとみなされる輝度値範囲の画素の総数を求め、
前記設定手段は、前記第３画像において白とびとみなされる輝度値範囲の画素の総数が予め定められた基準よりも多い場合に、前記第２画像の最大輝度値が前記第３画像において白とびとみなすことができる輝度値範囲の下限輝度値よりも小さくなるように前記第２画像の輝度値を変更し、
前記合成手段は、前記第１画像を低露光画像、前記第２画像を中露光画像、前記第３画像を高露光画像として画像合成を行うことを特徴とする請求項２記載の撮像装置。
【請求項６】
前記評価手段は、少なくとも前記評価値として、前記第１画像において黒つぶれとみなされる輝度値範囲の画素の総数を求め、
前記設定手段は、前記第１画像において黒つぶれとみなされる輝度値範囲の画素の総数が予め定められた基準よりも多い場合に、更に前記第２画像の最小輝度値が前記第１画像において黒つぶれとみなすことができる輝度値範囲の上限輝度値より大きくなるように前記第２画像の輝度値を変更することを特徴とする請求項５記載の撮像装置。
【請求項７】
前記複数の画像は、前記撮像手段により１フィールド期間内に撮影される画像であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記被写体像から前記撮像手段へ入射する光の強さと分布を測光する測光手段を更に有し、
前記制御手段は、前記撮影パラメータとして、前記測光手段で得られる測光値を用いて、露光時間を制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１０９８４９（Ｐ２０１２−１０９８４９Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５７７７１（Ｐ２０１０−２５７７７１）
【出願日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]