画像合成装置及び画像合成方法
【課題】画像合成に用いられる複数の画像間の信号成分とノイズ成分の比率の違いによる合成画像の画質劣化を抑制する画像合成装置を提供する。
【解決手段】画像合成装置１は、第１の画像と露光量が低い第２の画像との間で動き領域を抽出する動き領域抽出部１３と、第１の画像の画素の輝度値が高いほど、動き領域外の背景領域内の画素についての第１の画像に対する第２の画像の合成比率を高くするとともに、第２の画像における動き領域内の画素の信号成分に対するノイズ成分の比が高いほど、所定の輝度値におけるその合成比率を高く設定する合成比率決定部１７と、動き領域内の合成画像の画素の輝度値を第２の画像の対応する画素の輝度値に基づいて決定し、背景領域内の合成画像の画素の輝度値を、その合成比率に応じて第１の画像及び第２の画像の対応する画素の輝度値を合成した値とすることで合成画像を生成する画像合成部１８とを有する。
【解決手段】画像合成装置１は、第１の画像と露光量が低い第２の画像との間で動き領域を抽出する動き領域抽出部１３と、第１の画像の画素の輝度値が高いほど、動き領域外の背景領域内の画素についての第１の画像に対する第２の画像の合成比率を高くするとともに、第２の画像における動き領域内の画素の信号成分に対するノイズ成分の比が高いほど、所定の輝度値におけるその合成比率を高く設定する合成比率決定部１７と、動き領域内の合成画像の画素の輝度値を第２の画像の対応する画素の輝度値に基づいて決定し、背景領域内の合成画像の画素の輝度値を、その合成比率に応じて第１の画像及び第２の画像の対応する画素の輝度値を合成した値とすることで合成画像を生成する画像合成部１８とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、露光量の異なる複数の画像を合成することにより合成画像を生成する画像合成装置及び画像合成方法に関する。
【背景技術】
【０００２】
従来より、デジタルカメラといった撮影装置において、固体撮像素子を用いたイメージセンサが広く利用されている。しかし、被写体によっては、イメージセンサのダイナミックレンジを超えるコントラストを有していることがある。例えば、被写体に、日向にいる物体（以下、便宜上明物体と呼ぶ）と日陰にいる物体（以下、便宜上暗物体と呼ぶ）とが含まれていることがある。このような場合、暗物体が画像上で見えるように撮影装置の露光量を調整すると、明物体の輝度がイメージセンサのダイナミックレンジの上限を超え、その結果として、画像上で明物体の像は真っ白になってしまう。逆に、明物体が画像上で見えるように撮影装置の露光量を調整すると、暗物体の輝度がイメージセンサのダイナミックレンジの下限を下回り、その結果として、画像上で暗物体の像は真っ黒になってしまう。
【０００３】
そこで、異なる露光量で被写体を撮像することにより得られる複数の画像を合成することで、イメージセンサのダイナミックレンジを仮想的に拡張する技術が提案されている（例えば、特許文献１を参照）。このような技術は、ハイダイナミックレンジ(High Dynamic Range, HDR)合成技術と呼ばれる。
【０００４】
例えば、特許文献１には、大きい露光量の撮像による第１の画像信号と小さい露光量による第２の画像信号とを合成する撮像装置が開示されている。この撮像装置は、例えば、動いている被写体領域と第１の画像信号の飽和領域には第２の画像信号を用いる。一方、その他の領域については、この撮像装置は、例えば、第１の画像信号の飽和レベルに近づくに従い、第２の画像信号が占める比率が増大するように、第１の画像と第２の画像との占める比率を変化させて画像合成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２５４１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、イメージセンサの撮影感度が高く、すなわち、ゲインが大きく設定されている場合には、ノイズ成分も大きく増幅されるので、低い露光量で撮影された画像では、特に輝度が低い物体が写っている領域においてノイズ成分が目立つ。一方、高い露光量で撮影された画像では、信号成分に対するノイズ成分の比率が相対的に小さいので、画像上でもノイズ成分はそれほど目立たない。そのため、合成画像上で高い露光量で撮影された画像が用いられている領域と低い露光量で撮影された画像が用いられている領域との間でノイズ成分の差が目立ってしまう。例え、低い露光量で撮影された画像と高い露光量で撮影された画像との合成比率を、高い露光量で撮影された画像における画素の輝度値に応じて徐々に変えたとしても、このノイズ成分の差による、領域ごとの画質の差は解消されないことがある。その結果として、合成画像上では、例えば、低い露光量で撮影された画像が用いられている領域に、ノイズ成分が目立つことによるアーティファクトが生じてしまうおそれがあった。そしてこのようなアーティファクトが生じることにより、合成画像の画質が著しく損なわれてしまう。
【０００７】
そこで本明細書は、画像合成に用いられる複数の画像のそれぞれにおける信号成分とノイズ成分の比率の違いによる合成画像の画質劣化を抑制する画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
一つの実施形態によれば、第１の露光量で撮影された第１の画像と、第１の露光量よりも低い第２の露光量で撮影された第２の画像とを合成することで第１及び第２の画像の露光量のダイナミックレンジよりも広いダイナミックレンジを持つ合成画像を生成する画像合成装置が提供される。この画像合成装置は、第１の画像と第２の画像との間で移動している物体が写っている動き領域を少なくとも一つ抽出する動き領域抽出部と、第１の画像の画素の輝度値が高いほど、少なくとも一つの動き領域外の背景領域内の画素についての第１の画像に対する第２の画像の合成比率を高くするとともに、第２の画像における少なくとも一つの動き領域内の画素の信号成分に対するノイズ成分の比が高いほど、所定の輝度値における合成比率を高く設定する合成比率決定部と、少なくとも一つの動き領域内の合成画像の画素の輝度値を第２の画像の対応する画素の輝度値に基づいて決定し、背景領域内の合成画像の画素の輝度値を、合成比率に応じて第１の画像及び第２の画像の対応する画素の輝度値を合成した値とすることで合成画像を生成する画像合成部とを有する。
【０００９】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１０】
本明細書に開示された画像合成装置は、画像合成に用いられる複数の画像のそれぞれにおける信号成分とノイズ成分の比率の違いによる合成画像の画質劣化を抑制できる。
【図面の簡単な説明】
【００１１】
【図１】一つの実施形態による画像合成装置の構成図である。
【図２】（ａ）は、低露光画像の一例であり、（ｂ）は、高露光画像の一例であり、（ｃ）は、（ａ）に示された低露光画像と（ｂ）に示された高露光画像から求められた動き領域の一例を示す図である。
【図３】（ａ）及び（ｂ）は、それぞれ、合成限界値及び統計輝度値と、合成比率との関係を示す図である。
【図４】低露光画像許容比率テーブルの一例を示す図である。
【図５】基準合成テーブル及び合成テーブルによる輝度と合成比率の関係を示す図である。
【図６】（ａ）は、低露光画像の一例を示す図であり、（ｂ）は、高露光画像の一例を示す図である。（ｃ）は、低露光画像及び高露光画像に基づいて求められた動きマスクの一例を示す図である。（ｄ）は、低露光画像及び高露光画像に基づいて決定された合成テーブルに基づいて各画素について求められた合成比率を明るさで表した合成マスクの一例を示す図である。（ｅ）は、本実施形態による画像合成装置により低露光画像と高露光画像を合成することにより生成される合成画像の一例を示す図である。（ｆ）は、従来技術により作成された低露光画像と高露光画像の合成画像の一例を示す図である。
【図７】画像合成処理の動作フローチャートである。
【発明を実施するための形態】
【００１２】
以下、図を参照しつつ、一つの実施形態による、画像合成装置について説明する。
この画像合成装置は、相対的に高い露光量で撮影された高露光画像と、相対的に低い露光量で撮影された低露光画像とを合成することで、高露光画像及び低露光画像の露光量のダイナミックレンジよりも広いダイナミックレンジを持つ合成画像を生成する。その際、この画像合成装置は、高露光画像と低露光画像との間で被写体が移動している動き領域、及び高露光画像で輝度値が飽和する領域については、原則的に低露光画像の該当する領域内の画素の輝度値に基づいて、合成画像の対応する画素の輝度値を決定する。またこの画像合成装置は、動き領域以外の背景領域では、その背景領域に含まれる高露光画像の画素の輝度値が高いほど、高露光画像に対する低露光画像の合成比率を高くして、高露光画像と低露光画像とをα合成する。ここで、この画像合成装置は、動き領域と背景領域との間で、高露光画像の信号対ノイズ(Signal to Noise, SN)比と低露光画像のSN比との差による画質の差が生じることを抑制する。そのために、この画像合成装置は、低露光画像のSN比が低いほど、背景領域内の画素の所定の輝度値における低露光画像の合成比率を高く設定する。さらにこの画像合成装置は、動き領域ごとに代表輝度値を求め、その代表輝度値が合成による画質劣化が許容可能な代表輝度値の下限未満の場合には、対応する動き領域を削除する。
【００１３】
なお、本明細書において「高露光」及び「低露光」という用語は、相対的に露光量が大きいか小さいかを表し、露光量の絶対値を表すものではないことに留意されたい。すなわち、「高露光画像」とは、「低露光画像」よりも相対的に大きな露光量で被写体を撮影することにより得られる画像であり、逆に、「低露光画像」とは、「高露光画像」よりも相対的に小さな露光量で被写体を撮影することにより得られる画像である。
【００１４】
また、本実施形態では、高露光画像、低露光画像及び合成画像は、これら画像の各画素が輝度値のみを持つグレー画像であるとする。しかし、高露光画像、低露光画像及び合成画像は、各画素が、例えば、赤色成分、緑色成分及び青色成分のうちの一つの色成分のみを持つカラーのRAW画像であってもよい。
【００１５】
図１は、一つの実施形態による画像合成装置の構成図である。画像合成装置１は、記憶部１１と、輝度補正部１２と、動き領域抽出部１３と、代表輝度決定部１４と、動きマスク生成部１５と、合成テーブル生成部１６と、合成比率決定部１７と、画像合成部１８とを有する。
画像合成装置１が有するこれらの各部は、それぞれ、別個の回路として形成される。また、画像合成装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路であってもよい。あるいは画像合成装置１が有するこれらの各部は、プロセッサ及びメモリ回路と、プロセッサ上で実行されることにより、これら各部の機能が実現されるコンピュータプログラムの組み合わせであるファームウェアであってもよい。
【００１６】
画像合成装置１は、例えば、デジタルカメラまたはカメラ付き携帯電話といった撮影装置に組み込まれる。そして画像合成装置１は、その撮影装置が有する２次元状に配列された固体撮像素子を持つイメージセンサにより生成された、高露光画像と低露光画像とを受け取る。そして画像合成装置１は、受け取った高露光画像及び低露光画像を記憶部１１に記憶する。さらに画像合成装置１は、図示しない撮影装置の制御回路から、高露光画像及び低露光画像を生成したときの撮影感度を表す設定情報及び高露光画像生成時の露光量を表す指標と低露光画像生成時の露光量を表す指標とを受け取り、記憶部１１に記憶させる。
【００１７】
露光量を変えるために、例えば、デジタルカメラのシャッター速度が調節される場合、画像合成装置１は、露光量を表す指標として、高露光画像生成時の露出時間と低露光画像生成時の露出時間を受け取る。また、露光量を変えるために、例えば、デジタルカメラの絞り径が調節される場合、画像合成装置１は、露光量を表す指標として、高露光画像生成時のＦナンバーと低露光画像生成時のＦナンバーを受け取る。あるいは、画像合成装置１は、露光量を表す指標として、露出時間とＦナンバーの両方を受け取ってもよい。
【００１８】
なお、本実施形態では、高露光画像及び低露光画像では、それぞれ、各画素の輝度値が10bitで表され、値が大きいほど、輝度も高いとする。
【００１９】
記憶部１１は、例えば、読み書き可能な不揮発性または揮発性の半導体メモリを有する。そして記憶部１１は、高露光画像、低露光画像、及び、撮影感度の設定情報、高露光画像及び低露光画像生成時の露光量の指標を記憶する。
【００２０】
輝度補正部１２は、高露光画像の露光量と低露光画像の露光量の差による各画素の値の差を打ち消すために、その露光量の差に応じて低露光画像の各画素の輝度値を補正する。例えば、高露光画像の露光量が低露光画像の露光量の2n倍、すなわち、露出値(Exposure Value, EV)がn段階異なるとする（ただし、nは1以上の整数）。この場合、輝度補正部１２は、高露光画像及び低露光画像の各画素の輝度値を表すビット長をnビット拡張する。そして輝度補正部１２は、低露光画像の各画素の輝度値を2n倍する。例えば、高露光画像の露光量が低露光画像の露光量の4倍である場合、輝度補正部１２は、高露光画像及び低露光画像の各画素の輝度値を表すビット長を10ビットから12ビットに拡張し、低露光画像の各画素の輝度値を4倍する。輝度値を表すビット長を拡張することで、低露光画像の各画素の輝度値が露光量の差に応じて補正されても、補正後の輝度値が飽和することが防止される。
【００２１】
輝度補正部１２は、ビット長が拡張された高露光画像及びビット長が拡張され、かつ補正された低露光画像を記憶部１１に記憶させるとともに、動き領域抽出部１３に渡す。以下では、便宜上、ビット長が拡張され、かつ補正された低露光画像を単に補正低露光画像と呼ぶ。
【００２２】
動き領域抽出部１３は、低露光画像または高露光画像に写っている被写体のうちで、低露光画像の撮影時から高露光画像の撮影時までの間に移動している被写体が写っている動き領域を抽出する。
そのために、動き領域抽出部１３は、補正低露光画像と高露光画像間で対応画素間の差分演算を行い、画素ごとに差分絶対値を算出する。そして動き領域抽出部１３は、差分絶対値が所定の閾値以上となる画素を動き候補画素として抽出する。なお、所定の閾値は、例えば、輝度値の値の取り得る範囲の10%に相当する値、例えば、高露光画像の画素の輝度値を表すビット長が10ビットであれば、102に設定される。
【００２３】
動き領域抽出部１３は、動き候補画素に対してラベリング処理を行って、互いに隣接する動き候補画素の集合ごとにラベルを付す。そして動き領域抽出部１３は、個々の動き候補画素の集合を、それぞれ一つの動き候補領域とする。さらに動き領域抽出部１３は、動き候補画素に対してモルフォロジーのクロージング演算を行って、孤立した動き候補画素を何れかの動き候補領域に含めるようにしてもよい。
【００２４】
動き領域抽出部１３は、動き候補領域のうち、その動き候補領域に含まれる画素数が所定数以上となる領域を動き領域として抽出する。なお、所定数は、例えば、想定される被写体の画像上でのサイズの最小値に相当する画素数、例えば、高露光画像の全画素数の1/1000〜1/10000に設定される。
【００２５】
あるいは、動き領域抽出部１３は、オプティカルフローを求める手法によって動き領域を抽出してもよい。この場合、動き領域抽出部１３は、補正された低露光画像及び高露光画像をそれぞれ複数のブロックに分割し、ブロックごとにブロックマッチングを行って、低露光画像のブロックと、そのブロックと最も一致する高露光画像のブロックとの間の動きベクトルを求める。動き領域抽出部１３は、その動きベクトルの大きさが所定サイズ（例えば、5画素）以上となる低露光画像上のブロック及び高露光画像上のブロックをそれぞれ動き候補ブロックとして抽出する。そして動き領域抽出部１３は、動き候補ブロックに対してラベリング処理を行って、互いに隣接する動き候補ブロックの集合を動き候補領域とし、動き候補領域に含まれる画素数が所定数以上となる領域を動き領域として抽出してもよい。さらにまた、動き領域抽出部１３は、２枚の画像間での動き領域を抽出するための他の様々な技術のうちの何れかを用いて動き領域を抽出してもよい。
【００２６】
代表輝度決定部１４は、動き領域ごとに、高露光画像の輝度値と合成比率との関係を示す合成テーブルを作成するための基準となる動き領域内の画素の輝度値の代表値である代表輝度値を求める。例えば、代表輝度決定部１４は、動き領域ごとに、その動き領域内の高露光画像の画素の輝度値の最小値を代表輝度値とする。あるいは、代表輝度決定部１４は、動き領域内の高露光画像の各画素の輝度値の累積ヒストグラムを作成し、動き領域内の画素の輝度値の最小値からの累積頻度が所定割合（例えば、5%）となる輝度値を代表輝度値としてもよい。あるいはまた、代表輝度決定部１４は、動き領域内の高露光画像の画素の輝度値の平均値または中央値を代表輝度値としてもよい。
【００２７】
なお、代表輝度決定部１４は、動き領域の境界から所定画素数の範囲内の画素の輝度値のみに基づいて、上記のように高露光画像の輝度値の最小値または累積頻度が所定割合となる輝度値を代表輝度値としてもよい。このように、動き領域の境界近傍の画素の輝度値のみを代表輝度値を決定するために参照することで、代表輝度決定部１４は、合成画像上での動き領域内とその周辺領域との画質差に対する影響をより反映し易い代表輝度値を設定できる。なお、所定画素数は、例えば、1画素〜5画素に設定される。
【００２８】
動きマスク生成部１５は、動き領域選択部の一例である。動きマスク生成部１５は、動き領域のうち、代表輝度値が低露光画像の対応領域に含まれる画素の輝度値を画像合成に用いても、合成画像の画質が許容される代表輝度値の下限値である合成限界値未満である動き領域を削除する。
【００２９】
合成限界値は、例えば、同一被写体を撮影した高露光画像と低露光画像の様々な組について、主観的な画質の差を調べ、その主観的な画質の差が許容範囲内となるときの代表輝度値の最小値を求めることにより決定される。なお、合成限界値は、イメージセンサの撮影感度が低いほど、低くなるように設定されてもよい。イメージセンサの撮影感度が低いほど、所定の輝度値に対応する画素あたりの光量が多くなるので、SN比も高くなるためである。
【００３０】
図２（ａ）は、低露光画像の一例であり、図２（ｂ）は、高露光画像の一例である。また図２（ｃ）は、図２（ａ）に示された低露光画像と図２（ｂ）に示された高露光画像から求められた動き領域の一例を示す図である。
【００３１】
低露光画像２００及び高露光画像２１０には、それぞれ、影となっているために暗い暗領域２０１と光が照射されているために明るい明領域２０２とが含まれている。そして暗領域２０１及び明領域２０２のそれぞれには、移動中の物体２０３及び２０４が写ってる。そのため、動き領域を表す画像２２０上には、物体２０３に対応する動き領域２０５と物体２０４に対応する動き領域２０６が抽出されている。
しかし、物体２０３は暗領域２０１内にいるため、低露光画像２００の動き領域２０５に対応する領域のSN比は低く、その領域内の画質は低い。そのため、動き領域２０５内の画素の輝度値を低露光画像２００の対応する画素の輝度値に基づいて決定すると、合成画像上で動き領域２０５の画質がその周囲の画質よりも低くなり、結果的に合成画像全体の画質が低下する。しかし、動き領域２０５の代表輝度値も低いので、本実施形態によれば、動き領域２０５は削除される。したがって、動き領域２０５内の画素の合成比率は、後述する合成テーブルに従って決定される。
【００３２】
一方、物体２０４は明領域２０２内にいるため、低露光画像２００の動き領域２０６に対応する領域のSN比は高く、その領域内の画質も動き領域２０５内の画質より良好である。そのため、動き領域２０６内の画素の輝度値を低露光画像２００の対応する画素の輝度値に基づいて決定しても、合成画像上で動き領域２０６の画質とその周囲の画質との差は小さい。そこで、動き領域２０６は維持される。
【００３３】
動きマスク生成部１５は、残った動き領域のそれぞれについて、動き領域に含まれる画素についての高露光画像に対する低露光画像の合成比率を規定する動きマスクを生成する。例えば、動きマスク生成部１５は、代表輝度値が合成限界値以上である動き領域について、低露光画像の合成比率が1となり、その動き領域以外では低露光画像の合成比率が0となる動きマスクを生成する。なお、動きマスクは、例えば、低露光画像のサイズと同じサイズを持つ画像として生成され、その画像の各画素が表す動きマスク値は、低露光画像の対応する画素の合成比率を8ビット長で表す。例えば、動きマスク値が0である画素については、高露光画像に対する低露光画像の合成比率は0であり、動きマスク値が255である画素については、高露光画像に対する低露光画像の合成比率は1である。
【００３４】
また、動きマスク生成部１５は、動き領域の境界から動き領域の中心に近い画素ほど、高露光画像に対する低露光画像の合成比率が高くなるように動きマスクを生成してもよい。例えば、動きマスク生成部１５は、動き領域内で、かつ動き領域の境界に隣接する画素における合成比率を0.5とし、その境界から1画素離れる度に、合成比率を0.05または0.1ずつ増加させてもよい。これにより、動き領域とその周囲とで、合成比率が急激に変化することを防止できるので、動き領域とその周囲との境界がより目立たなくなる。
【００３５】
合成テーブル生成部１６は、動き領域以外の背景領域を含む、合成画像全体における高露光画像に対する低露光画像の合成比率を決定するための合成テーブルを、動き領域の代表輝度値に基づいて調整する。
【００３６】
先ず、合成テーブル生成部１６は、合成テーブルを調整するための基準となる輝度値である合成テーブル基準値を決定する。本実施形態では、合成テーブル生成部１６は、各動き領域の代表輝度値の統計的代表値である統計輝度値と、上記の合成限界値とを比較し、それらの値のうちの大きい方を合成テーブル基準値とする。なお、統計輝度値は、例えば、各動き領域の代表輝度値のうちの最小値、あるいは各動き領域の代表輝度値の平均値あるいは中央値とすることができる。
【００３７】
図３（ａ）及び図３（ｂ）は、それぞれ、合成限界値及び統計輝度値と、合成比率との関係を示す図である。図３（ａ）及び図３（ｂ）において、横時は輝度を表し、縦軸は高露光画像に対する低露光画像の合成比率を表す。
【００３８】
図３（ａ）に示されるように、統計輝度値lvが合成限界値cvよりも高ければ、統計輝度値lvにおける合成比率が所定値となるように、輝度値と合成比率の関係がグラフ３００のように決定される。すなわち、高露光画像の各動き領域内の画素の輝度値が平均的に高ければ、低露光画像の対応領域の画素の輝度値も平均的に高いのでその対応領域内のSN比も高い。そのため、この場合には、動き領域の代表輝度値に従って合成テーブル基準値が決定されることで、動き領域内の高露光画像の画素の輝度値と似た輝度値を持つ背景領域内の画素についても、合成画像では、低露光画像の信号成分がある程度含まれることになる。したがって、画像合成装置１は、動き領域内のSN比と背景領域内のSN比との差を小さくできる。
【００３９】
一方、図３（ｂ）に示されるように、統計輝度値lvが合成限界値cv以下であれば、合成限界値cvにおける合成比率が所定値となるように、輝度値と合成比率の関係がグラフ３１０のように決定される。すなわち、高露光画像の各動き領域内の画素の輝度値が全体的に低ければ、当然ながら低露光画像の対応領域の画素の輝度値も全体的に低く、その結果として低露光画像のその対応領域内のSN比も低い。そのため、この場合には、合成限界値に従って合成テーブル基準値が決定されることで、合成画像全体の画質が低露光画像の画質に応じて低くなることが防止される。
【００４０】
合成テーブル生成部１６は、合成テーブル基準値及び撮影感度と、合成比率の対応関係を表す低露光画像許容比率テーブルを参照して、合成テーブル基準値における低露光画像の合成比率である基準合成比率を決定する。
【００４１】
図４は、低露光画像許容比率テーブルの一例を示す図である。低露光画像許容比率テーブル４００において、左端の列４１０には合成テーブル基準値が示されており、上端の行４２０には撮影感度が示されている。なお、この例では、撮影感度値は、ISO感度値で示されている。そして低露光画像許容比率テーブル４００の各欄には、合成テーブル基準値及び撮影感度に対応する、基準合成比率が示されている。例えば、欄４０１に示されるように、合成テーブル基準値が100であり、撮影感度が99未満であれば、基準合成比率は0.5となる。また、欄４０２に示されるように、合成テーブル基準値が100であり、撮影感度が100以上199未満であれば、基準合成比率は0.55となる。
【００４２】
図４に示されるように、撮影感度が高いほど、基準合成比率も高くなる。これにより、撮影感度が高いほど、背景領域でも、合成画像の画素の輝度値に占める低露光画像の輝度成分の割合が高くなるので、背景領域におけるSN比は、低露光画像の動き領域のSN比に近づく。その結果として、合成画像における動き領域内の各画素の輝度値が、低露光画像の対応画素の輝度値となっていても、動き領域と背景領域のSN比の差は小さくなる。そのため、撮影感度が高くて低露光画像のSN比が低い場合でも、動き領域と背景領域間の画質の差は小さくなる。
【００４３】
また、図４に示されるように、合成テーブル基準値が低いほど、その基準値における基準合成比率も高くなる。これにより、動き領域内の各画素の輝度値が全般的に低く、SN比が低い場合には、背景領域のSN比も低くなる。そのため、光量が少なくて低露光画像のSN比が低い場合でも、動き領域と背景領域間の画質の差は小さくなる。
【００４４】
合成テーブル生成部１６は、輝度と低露光画像の合成比率との関係を表し、予め設定された基準合成テーブルを、輝度値が合成テーブル基準値となるときにその合成比率が基準合成比率となるように、基準合成テーブルを調節することで、合成テーブルを生成する。
【００４５】
図５は、基準合成テーブル及び生成される合成テーブルに表される輝度と合成比率の関係の一例を示す図である。図５において横軸は輝度を表し、縦軸は低露光画像の合成比率を表す。そしてグラフ５０１は、基準合成テーブルにより表される輝度と合成比率の関係を示す。一般に、高露光画像の輝度値が低い画素ほど、低露光画像の対応画素のSN比も低くなる。そこで、図５に示されるように、基準合成テーブルは、高露光画像の輝度値が低いほど、低露光画像の合成比率も低くなるように設定されることが好ましい。この例では、基準合成テーブルにおける、低露光画像の合成比率が0となる高露光画像の輝度値の上限である閾値Th1と低露光画像の合成比率が1となる高露光画像の輝度値の下限である閾値Th2間の輝度差はldである。そして閾値Th1とTh2間の輝度差ldが一定に保たれたまま、合成テーブル基準値lrefにおける合成比率が基準合成比率rrefとなるように、基準合成テーブルを輝度値方向にシフトさせることによって合成テーブルが生成される。グラフ５０２は、生成された合成テーブルにより表される輝度と合成比率の関係を示す。
【００４６】
なお、低露光画像許容比率テーブル及び基準合成テーブルは、例えば、合成テーブル生成部１６が有する不揮発性のメモリに予め記憶される。
【００４７】
変形例によれば、低露光画像許容比率テーブルは、合成テーブル基準値及び撮影感度に対する、閾値Th1及びTh2の値を規定してもよい。合成テーブル生成部１６は、低露光画像許容比率テーブルを参照することにより、合成テーブル基準値と撮影感度の設定情報から直接閾値Th1及びTh2を決定する。この場合も、低露光画像許容比率テーブルは、撮影感度が高いほど、低露光画像の合成比率が高くなるように閾値Th1及びTh2を規定することが好ましい。また低露光画像許容比率テーブルは、合成テーブル基準値が低いほど、低露光画像の合成比率が高くなるように閾値Th1及びTh2を規定することが好ましい。
【００４８】
何れの場合も、閾値Th2は高露光画像が取り得る輝度の最大値hmax以下となるように設定されることが好ましい。これにより、高露光画像において輝度値が飽和した画素については、合成画像上での対応画素の輝度値は、補正低露光画像の対応画素の値となる。そのため、イメージセンサのダイナミックレンジが擬似的に拡大される。
【００４９】
合成テーブル生成部１６は、閾値Th1とTh2の間に含まれる各輝度値における、高露光画像に対する低露光画像の合成比率を、閾値Th1における合成比率0と閾値Th2における合成比率1を線形補間することによって決定する。これにより、合成テーブルは、輝度値ごとの低露光画像の合成比率を規定する。そして合成テーブル生成部１６は、合成テーブルで規定される輝度値ごとの合成比率を、動きマスクの各画素の合成比率を表すビット長と同一のビット長で表す。したがって、例えば、合成比率が8ビット長で表される場合、注目する輝度値における低露光画像の合成比率が0であれば、その輝度値における合成比率の値は0で表され、一方、注目する輝度値における低露光画像の合成比率が1であれば、その輝度値における合成比率の値は255で表される。
【００５０】
合成比率決定部１７は、合成テーブルと動きマスクに基づいて、合成画像の画素ごとに高露光画像に対する低露光画像の合成比率を決定する。本実施形態では、合成比率決定部１７は、次式に従って、水平座標x、垂直座標yの低露光画像の合成比率CR(x,y)を決定する。
CR(x,y) = Max(MV(x,y), BCR(Ph(x,y))) （１）
ここで、MV(x,y)は、水平座標x、垂直座標yにおける動きマスク値を表し、BCR(Ph(x,y))は、高露光画像の水平座標x、垂直座標yにおける画素の輝度値Ph(x,y)に対して合成テーブルが規定する合成比率を表す。またMax(a,b)は、パラメータa及びbのうち、大きい方の値を出力する関数である。
【００５１】
上記のように、動き領域内の画素の動きマスク値がその最大値に設定され、背景領域内の画素の動きマスク値がその最小値に設定されているならば、動き領域内では、合成比率CR(x,y)は1(8ビット長で表される場合、255)となる。一方、背景領域内では、合成比率CR(x,y)=BCR(Ph(x,y))となる。
【００５２】
画像合成部１８は、記憶部１１からビット長が拡張された高露光画像及び補正低露光画像を読み出し、合成比率決定部１７により決定された各画素の合成比率に従って、それら二つの画像をα合成することにより合成画像を作成する。例えば、合成比率決定部１７は、次式に従って、合成画像の各画素の輝度値を算出する。
Pc(x,y) = (Pl(x,y)*CR(x,y) + Ph(x,y)*(255-CR(x,y)))/255 （２）
ここで、Pl(x,y)は、補正低露光画像における、水平座標x、垂直座標yの画素の輝度値を表し、Ph(x,y)は、ビット長が拡張された高露光画像の水平座標x、垂直座標yにおける画素の輝度値Ph(x,y)を表す。CR(x,y)は、0〜255の範囲内の値で表された、水平座標x、垂直座標yにおける画素の低露光画像の合成比率を表す。そしてPc(x,y)は、合成画像における水平座標x、垂直座標yの画素の輝度値を表す。
【００５３】
この例では、合成画像の各画素の輝度値を表すビット長は、元の高露光画像の各画素の輝度値を表すビット長に、輝度補正部１２によりnビットが追加されたビット長と等しい。そこで画像合成部１８は、合成画像の各画素の輝度値を表すビット列の下位nビットを切り捨ててもよい。
画像合成部１８は、生成した合成画像を出力する。
【００５４】
図６（ａ）は、低露光画像の一例を示す図であり、図６（ｂ）は、高露光画像の一例を示す図である。低露光画像６００では、全体的にSN比が低いため、建物の窓及びサインボードといった明るい物体が写っている領域を除いてノイズ成分が目立つ。一方、高露光画像６１０では、建物の窓及びサインボードといった明るい物体が写っている領域６１１内の画素の輝度が飽和しているものの、領域６１１外の相対的に暗い領域についてもノイズ成分は目立たない。
【００５５】
図６（ｃ）は、低露光画像６００及び高露光画像６１０に基づいて求められた動きマスクの一例を示す図である。動きマスク６２０では、低露光画像６００と高露光画像６１０の間で位置が異なっている車両が写っている領域が動き領域６２１として設定されている。
【００５６】
図６（ｄ）は、低露光画像６００及び高露光画像６１０に基づいて決定された合成テーブルに基づいて各画素について求められた合成比率を明るさで表した合成マスクの一例を示す図である。合成マスク６３０では、低露光画像の合成比率が高い画素ほど明るくなっており、逆に低露光画像の合成比率が0である画素は黒で表される。この例では、高露光画像６１０において明るい物体が写っている領域６１１に対応する合成マスク６３０上の領域６３１も、低露光画像の合成比率が高いので白くなっている。一方、領域６３１の周囲でも、グレーになっている。これは、動き領域６２１内のSN比に従って、低露光画像もある程度参照されるように低露光画像の合成比率が設定されているためである。
【００５７】
図６（ｅ）は、画像合成装置１により低露光画像６００と高露光画像６１０を合成することにより生成される合成画像の一例を示す図である。図６（ｅ）に示されるように、合成画像６４０では、動き領域６２１内のSN比と動き領域６２１の周囲のSN比との差が小さく、動き領域６２１内外での主観的な画質の差も小さい。一方、図６（ｆ）は、従来技術により作成された低露光画像６００と高露光画像６１０の合成画像の一例を示す図である。従来技術により作成された合成画像６５０では、動き領域６２１内は低露光画像の対応する領域の信号のみが用いられ、一方、動き領域６２１の周囲は、高露光画像の対応する領域の信号が主に用いられているため、動き領域６２１内外の画質の差が著しくなっている。その結果として、合成画像６５０全体の主観的な画質が良好でない。
【００５８】
図７は、画像合成処理の動作フローチャートである。画像合成装置１は、低露光画像と高露光画像の組を受け取る度に、この画像合成処理を実行する。
【００５９】
画像合成装置１は、低露光画像、高露光画像及び撮影感度等を取得し、それらを記憶部１１に記憶する（ステップＳ１０１）。輝度補正部１２は、高露光画像と低露光画像の各画素の輝度値を表すビット長を拡張するとともに、高露光画像と低露光画像間の露光量の差を打ち消すように低露光画像の各画素の輝度値を補正する（ステップＳ１０２）。
【００６０】
動き領域抽出部１３は、補正された低露光画像と高露光画像間の動き領域を抽出する（ステップＳ１０３）。そして代表輝度決定部１４は、各動き領域の代表輝度値を算出する（ステップＳ１０４）。動きマスク生成部１５は、代表輝度値が合成限界値以上となる動き領域の低露光画像の合成比率が背景領域の低露光画像の合成比率よりも高くなるように動きマスクを設定する（ステップＳ１０５）。
【００６１】
合成テーブル生成部１６は、代表輝度値の最小値と合成限界値のうちの大きい方を合成テーブル基準値に設定する（ステップＳ１０６）。合成テーブル生成部１６は、合成テーブル基準値が高いほど低く、または、撮影感度が高いほど高くなるように基準合成比率を決定する（ステップＳ１０７）。そして合成テーブル生成部１６は、合成テーブル基準値において基準合成比率となるように合成テーブルを調整する（ステップＳ１０８）。
【００６２】
合成比率決定部１７は、合成テーブルと動きマスクに基づいて各画素における高露光画像に対する低露光画像の合成比率を決定する（ステップＳ１０９）。そして画像合成部１８は、合成比率に従って低露光画像と高露光画像とをα合成することにより合成画像を生成する（ステップＳ１１０）。そして画像合成装置１は、合成画像を出力する。その後、画像合成装置１は、画像合成処理を終了する。
なお、画像合成装置１は、ステップＳ１０５の処理と、ステップＳ１０６〜Ｓ１０８の処理の実行順序を入れ替えてもよく、あるいは並列に実行してもよい。
【００６３】
以上に説明してきたように、この画像合成装置は、低露光画像の動き領域内のSN比が低いほど、背景領域における低露光画像の合成比率を高くする。これにより、この画像合成装置は、動き領域と背景領域におけるSN比の差を小さくすることで、合成画像の動き領域内にアーティファクトが生じることを抑制し、その結果として合成画像の画質劣化を抑制する。さらにこの画像合成装置は、低露光画像の画質が良好でないと推定されるほど代表輝度値が低い動き領域を削除することで、その削除された動き領域については、背景領域と同様に合成比率を決定する。これにより、この画像合成装置は、低露光画像の画質が良好でない動き領域については、低露光画像を用いない、あるいは低露光画像の合成比率を低下させられるので、合成画像の画質の劣化を抑制できる。
【００６４】
なお、本発明は上記の実施形態に限定されるものではない。変形例によれば、代表輝度決定部は、各動き領域について、補正低露光画像のその動き領域内の画素の輝度値の最小値といった統計値を代表輝度値としてもよい。補正された低露光画像は、同一の露光量に対する輝度値が高露光画像の輝度値と同一となるように調整されているので、補正された低露光画像に基づいて決定される代表輝度値は、高露光画像に基づいて決定される代表輝度値と略同一となる。
【００６５】
また他の変形例によれば、画像合成装置は、代表輝度値が合成限界値以上となる動き領域と、その動き領域の周囲に設定した周辺領域に限り、（２）式に従って低露光画像と高露光画像を合成してもよい。この場合には、合成テーブル生成部は、動き領域及びその周辺領域ごとに、その動き領域の代表輝度値を合成テーブル基準値として合成テーブルを生成してもよい。そのため、合成比率決定部も、動き領域及びその周辺領域ごとに異なる合成テーブルを用いて低露光画像の合成比率を決定する。これにより、画像合成装置は、動き領域ごとに、動き領域とその周辺領域との間でSN比の差が小さくなる合成比率をより適切に決定できる。なお、周辺領域は、例えば、動き領域の境界から、動き領域の水平方向の幅と垂直方向の高さのうちの大きい方の1/2の幅を持つリング状の領域とすることができる。
またこの変形例では、画像合成部は、動き領域及びその周辺領域に含まれない背景領域内の高露光画像の画素のうち、輝度値が飽和している画素については、補正低露光画像の対応する画素の輝度値を合成画像における対応画素の輝度値とすればよい。
【００６６】
さらに他の変形例によれば、合成テーブル基準値に対する基準合成比率を、合成テーブル基準値のみ、あるいは、撮影感度のみに応じて変更してもよい。
【００６７】
さらに他の変形例によれば、画像合成装置は、露光量が互いに異なる３枚以上の画像を合成してもよい。この場合には、画像合成装置は、例えば、最も露光量が高い画像と次に露光量が高い画像とを、上記の実施形態又は変形例に従って合成する。そして画像合成装置は、合成された画像と３番目に露光量が高い画像とを、上記の実施形態又は変形例に従って合成する。同様に、画像合成装置は、輝度が飽和する画素が無くなるまで、合成された画像とその合成に用いられた二つの画像の露光量よりも低い露光量の画像との合成を繰り返してもよい。
【００６８】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００６９】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
第１の露光量で撮影された第１の画像と、該第１の露光量よりも低い第２の露光量で撮影された第２の画像とを合成することで前記第１及び第２の画像の露光量のダイナミックレンジよりも広いダイナミックレンジを持つ合成画像を生成する画像合成装置であって、
前記第１の画像と前記第２の画像との間で移動している物体が写っている動き領域を少なくとも一つ抽出する動き領域抽出部と、
前記第１の画像の画素の輝度値が高いほど、前記少なくとも一つの動き領域外の背景領域内の画素についての前記第１の画像に対する前記第２の画像の合成比率を高くするとともに、前記第２の画像における前記少なくとも一つの動き領域内の画素の信号成分に対するノイズ成分の比が高いほど、所定の輝度値における前記合成比率を高く設定する合成比率決定部と、
前記少なくとも一つの動き領域内の前記合成画像の画素の輝度値を前記第２の画像の対応する画素の輝度値に基づいて決定し、前記背景領域内の前記合成画像の画素の輝度値を前記合成比率に応じて前記第１の画像及び前記第２の画像の対応する画素の輝度値を合成した値とすることで前記合成画像を生成する画像合成部と、
を有する画像合成装置。
（付記２）
前記第１の画像及び前記第２の画像のうちの何れかにおける前記少なくとも一つの動き領域のそれぞれについて、当該動き領域内の輝度値を代表する代表輝度値を求める代表輝度決定部をさらに有し、
前記合成比率決定部は、前記各動き領域の代表輝度値の統計的代表値である統計輝度値が小さいほど、前記背景領域内の画素についての前記所定の輝度値における前記合成比率を高く設定する、付記１に記載の画像合成装置。
（付記３）
前記統計輝度値は、前記各動き領域の代表輝度値のうちの最小値である、付記２に記載の画像合成装置。
（付記４）
前記合成比率決定部は、前記第１及び前記第２の画像が生成されたときの、当該第１及び第２の画像を生成したイメージセンサの撮影感度が高いほど、前記所定の輝度値における前記合成比率を高く設定する、付記１〜３の何れか一項に記載の画像合成装置。
（付記５）
前記少なくとも一つの動き領域のうち、対応する前記代表輝度値が、前記第２の画像の当該動き領域内の画素の輝度値を前記合成画像の生成に利用しても前記合成画像の画質が許容される代表輝度値の下限値である合成限界値未満である動き領域を削除する動き領域選択部をさらに有する、付記１に記載の画像合成装置。
（付記６）
前記合成限界値は、前記第１及び前記第２の画像が生成されたときの、当該第１及び第２の画像を生成したイメージセンサの撮影感度が高いほど低く設定される、付記５に記載の画像合成装置。
（付記７）
第１の露光量で撮影された第１の画像と、該第１の露光量よりも低い第２の露光量で撮影された第２の画像とを合成することで前記第１及び第２の画像の露光量のダイナミックレンジよりも広いダイナミックレンジを持つ合成画像を生成する画像合成方法であって、
前記第１の画像と前記第２の画像との間で移動している物体が写っている動き領域を少なくとも一つ抽出し、
前記第１の画像の画素の輝度値が高いほど、前記少なくとも一つの動き領域外の背景領域内の画素についての前記第１の画像に対する前記第２の画像の合成比率を高くするとともに、前記第２の画像における前記少なくとも一つの動き領域内の画素の信号成分に対するノイズ成分の比が高いほど、所定の輝度値における前記合成比率を高く設定し、
前記少なくとも一つの動き領域内の前記合成画像の画素の輝度値を前記第２の画像の対応する画素の輝度値に基づいて決定し、前記背景領域内の前記合成画像の画素の輝度値を前記合成比率に応じて前記第１の画像及び前記第２の画像の対応する画素の輝度値を合成した値とすることで前記合成画像を生成する、
ことを含む画像合成方法。
【符号の説明】
【００７０】
１ 画像合成装置
１１ 記憶部
１２ 輝度補正部
１３ 動き領域抽出部
１４ 代表輝度決定部
１５ 動きマスク生成部
１６ 合成テーブル生成部
１７ 合成比率決定部
１８ 画像合成部
【技術分野】
【０００１】
本発明は、例えば、露光量の異なる複数の画像を合成することにより合成画像を生成する画像合成装置及び画像合成方法に関する。
【背景技術】
【０００２】
従来より、デジタルカメラといった撮影装置において、固体撮像素子を用いたイメージセンサが広く利用されている。しかし、被写体によっては、イメージセンサのダイナミックレンジを超えるコントラストを有していることがある。例えば、被写体に、日向にいる物体（以下、便宜上明物体と呼ぶ）と日陰にいる物体（以下、便宜上暗物体と呼ぶ）とが含まれていることがある。このような場合、暗物体が画像上で見えるように撮影装置の露光量を調整すると、明物体の輝度がイメージセンサのダイナミックレンジの上限を超え、その結果として、画像上で明物体の像は真っ白になってしまう。逆に、明物体が画像上で見えるように撮影装置の露光量を調整すると、暗物体の輝度がイメージセンサのダイナミックレンジの下限を下回り、その結果として、画像上で暗物体の像は真っ黒になってしまう。
【０００３】
そこで、異なる露光量で被写体を撮像することにより得られる複数の画像を合成することで、イメージセンサのダイナミックレンジを仮想的に拡張する技術が提案されている（例えば、特許文献１を参照）。このような技術は、ハイダイナミックレンジ(High Dynamic Range, HDR)合成技術と呼ばれる。
【０００４】
例えば、特許文献１には、大きい露光量の撮像による第１の画像信号と小さい露光量による第２の画像信号とを合成する撮像装置が開示されている。この撮像装置は、例えば、動いている被写体領域と第１の画像信号の飽和領域には第２の画像信号を用いる。一方、その他の領域については、この撮像装置は、例えば、第１の画像信号の飽和レベルに近づくに従い、第２の画像信号が占める比率が増大するように、第１の画像と第２の画像との占める比率を変化させて画像合成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２５４１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、イメージセンサの撮影感度が高く、すなわち、ゲインが大きく設定されている場合には、ノイズ成分も大きく増幅されるので、低い露光量で撮影された画像では、特に輝度が低い物体が写っている領域においてノイズ成分が目立つ。一方、高い露光量で撮影された画像では、信号成分に対するノイズ成分の比率が相対的に小さいので、画像上でもノイズ成分はそれほど目立たない。そのため、合成画像上で高い露光量で撮影された画像が用いられている領域と低い露光量で撮影された画像が用いられている領域との間でノイズ成分の差が目立ってしまう。例え、低い露光量で撮影された画像と高い露光量で撮影された画像との合成比率を、高い露光量で撮影された画像における画素の輝度値に応じて徐々に変えたとしても、このノイズ成分の差による、領域ごとの画質の差は解消されないことがある。その結果として、合成画像上では、例えば、低い露光量で撮影された画像が用いられている領域に、ノイズ成分が目立つことによるアーティファクトが生じてしまうおそれがあった。そしてこのようなアーティファクトが生じることにより、合成画像の画質が著しく損なわれてしまう。
【０００７】
そこで本明細書は、画像合成に用いられる複数の画像のそれぞれにおける信号成分とノイズ成分の比率の違いによる合成画像の画質劣化を抑制する画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
一つの実施形態によれば、第１の露光量で撮影された第１の画像と、第１の露光量よりも低い第２の露光量で撮影された第２の画像とを合成することで第１及び第２の画像の露光量のダイナミックレンジよりも広いダイナミックレンジを持つ合成画像を生成する画像合成装置が提供される。この画像合成装置は、第１の画像と第２の画像との間で移動している物体が写っている動き領域を少なくとも一つ抽出する動き領域抽出部と、第１の画像の画素の輝度値が高いほど、少なくとも一つの動き領域外の背景領域内の画素についての第１の画像に対する第２の画像の合成比率を高くするとともに、第２の画像における少なくとも一つの動き領域内の画素の信号成分に対するノイズ成分の比が高いほど、所定の輝度値における合成比率を高く設定する合成比率決定部と、少なくとも一つの動き領域内の合成画像の画素の輝度値を第２の画像の対応する画素の輝度値に基づいて決定し、背景領域内の合成画像の画素の輝度値を、合成比率に応じて第１の画像及び第２の画像の対応する画素の輝度値を合成した値とすることで合成画像を生成する画像合成部とを有する。
【０００９】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１０】
本明細書に開示された画像合成装置は、画像合成に用いられる複数の画像のそれぞれにおける信号成分とノイズ成分の比率の違いによる合成画像の画質劣化を抑制できる。
【図面の簡単な説明】
【００１１】
【図１】一つの実施形態による画像合成装置の構成図である。
【図２】（ａ）は、低露光画像の一例であり、（ｂ）は、高露光画像の一例であり、（ｃ）は、（ａ）に示された低露光画像と（ｂ）に示された高露光画像から求められた動き領域の一例を示す図である。
【図３】（ａ）及び（ｂ）は、それぞれ、合成限界値及び統計輝度値と、合成比率との関係を示す図である。
【図４】低露光画像許容比率テーブルの一例を示す図である。
【図５】基準合成テーブル及び合成テーブルによる輝度と合成比率の関係を示す図である。
【図６】（ａ）は、低露光画像の一例を示す図であり、（ｂ）は、高露光画像の一例を示す図である。（ｃ）は、低露光画像及び高露光画像に基づいて求められた動きマスクの一例を示す図である。（ｄ）は、低露光画像及び高露光画像に基づいて決定された合成テーブルに基づいて各画素について求められた合成比率を明るさで表した合成マスクの一例を示す図である。（ｅ）は、本実施形態による画像合成装置により低露光画像と高露光画像を合成することにより生成される合成画像の一例を示す図である。（ｆ）は、従来技術により作成された低露光画像と高露光画像の合成画像の一例を示す図である。
【図７】画像合成処理の動作フローチャートである。
【発明を実施するための形態】
【００１２】
以下、図を参照しつつ、一つの実施形態による、画像合成装置について説明する。
この画像合成装置は、相対的に高い露光量で撮影された高露光画像と、相対的に低い露光量で撮影された低露光画像とを合成することで、高露光画像及び低露光画像の露光量のダイナミックレンジよりも広いダイナミックレンジを持つ合成画像を生成する。その際、この画像合成装置は、高露光画像と低露光画像との間で被写体が移動している動き領域、及び高露光画像で輝度値が飽和する領域については、原則的に低露光画像の該当する領域内の画素の輝度値に基づいて、合成画像の対応する画素の輝度値を決定する。またこの画像合成装置は、動き領域以外の背景領域では、その背景領域に含まれる高露光画像の画素の輝度値が高いほど、高露光画像に対する低露光画像の合成比率を高くして、高露光画像と低露光画像とをα合成する。ここで、この画像合成装置は、動き領域と背景領域との間で、高露光画像の信号対ノイズ(Signal to Noise, SN)比と低露光画像のSN比との差による画質の差が生じることを抑制する。そのために、この画像合成装置は、低露光画像のSN比が低いほど、背景領域内の画素の所定の輝度値における低露光画像の合成比率を高く設定する。さらにこの画像合成装置は、動き領域ごとに代表輝度値を求め、その代表輝度値が合成による画質劣化が許容可能な代表輝度値の下限未満の場合には、対応する動き領域を削除する。
【００１３】
なお、本明細書において「高露光」及び「低露光」という用語は、相対的に露光量が大きいか小さいかを表し、露光量の絶対値を表すものではないことに留意されたい。すなわち、「高露光画像」とは、「低露光画像」よりも相対的に大きな露光量で被写体を撮影することにより得られる画像であり、逆に、「低露光画像」とは、「高露光画像」よりも相対的に小さな露光量で被写体を撮影することにより得られる画像である。
【００１４】
また、本実施形態では、高露光画像、低露光画像及び合成画像は、これら画像の各画素が輝度値のみを持つグレー画像であるとする。しかし、高露光画像、低露光画像及び合成画像は、各画素が、例えば、赤色成分、緑色成分及び青色成分のうちの一つの色成分のみを持つカラーのRAW画像であってもよい。
【００１５】
図１は、一つの実施形態による画像合成装置の構成図である。画像合成装置１は、記憶部１１と、輝度補正部１２と、動き領域抽出部１３と、代表輝度決定部１４と、動きマスク生成部１５と、合成テーブル生成部１６と、合成比率決定部１７と、画像合成部１８とを有する。
画像合成装置１が有するこれらの各部は、それぞれ、別個の回路として形成される。また、画像合成装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路であってもよい。あるいは画像合成装置１が有するこれらの各部は、プロセッサ及びメモリ回路と、プロセッサ上で実行されることにより、これら各部の機能が実現されるコンピュータプログラムの組み合わせであるファームウェアであってもよい。
【００１６】
画像合成装置１は、例えば、デジタルカメラまたはカメラ付き携帯電話といった撮影装置に組み込まれる。そして画像合成装置１は、その撮影装置が有する２次元状に配列された固体撮像素子を持つイメージセンサにより生成された、高露光画像と低露光画像とを受け取る。そして画像合成装置１は、受け取った高露光画像及び低露光画像を記憶部１１に記憶する。さらに画像合成装置１は、図示しない撮影装置の制御回路から、高露光画像及び低露光画像を生成したときの撮影感度を表す設定情報及び高露光画像生成時の露光量を表す指標と低露光画像生成時の露光量を表す指標とを受け取り、記憶部１１に記憶させる。
【００１７】
露光量を変えるために、例えば、デジタルカメラのシャッター速度が調節される場合、画像合成装置１は、露光量を表す指標として、高露光画像生成時の露出時間と低露光画像生成時の露出時間を受け取る。また、露光量を変えるために、例えば、デジタルカメラの絞り径が調節される場合、画像合成装置１は、露光量を表す指標として、高露光画像生成時のＦナンバーと低露光画像生成時のＦナンバーを受け取る。あるいは、画像合成装置１は、露光量を表す指標として、露出時間とＦナンバーの両方を受け取ってもよい。
【００１８】
なお、本実施形態では、高露光画像及び低露光画像では、それぞれ、各画素の輝度値が10bitで表され、値が大きいほど、輝度も高いとする。
【００１９】
記憶部１１は、例えば、読み書き可能な不揮発性または揮発性の半導体メモリを有する。そして記憶部１１は、高露光画像、低露光画像、及び、撮影感度の設定情報、高露光画像及び低露光画像生成時の露光量の指標を記憶する。
【００２０】
輝度補正部１２は、高露光画像の露光量と低露光画像の露光量の差による各画素の値の差を打ち消すために、その露光量の差に応じて低露光画像の各画素の輝度値を補正する。例えば、高露光画像の露光量が低露光画像の露光量の2n倍、すなわち、露出値(Exposure Value, EV)がn段階異なるとする（ただし、nは1以上の整数）。この場合、輝度補正部１２は、高露光画像及び低露光画像の各画素の輝度値を表すビット長をnビット拡張する。そして輝度補正部１２は、低露光画像の各画素の輝度値を2n倍する。例えば、高露光画像の露光量が低露光画像の露光量の4倍である場合、輝度補正部１２は、高露光画像及び低露光画像の各画素の輝度値を表すビット長を10ビットから12ビットに拡張し、低露光画像の各画素の輝度値を4倍する。輝度値を表すビット長を拡張することで、低露光画像の各画素の輝度値が露光量の差に応じて補正されても、補正後の輝度値が飽和することが防止される。
【００２１】
輝度補正部１２は、ビット長が拡張された高露光画像及びビット長が拡張され、かつ補正された低露光画像を記憶部１１に記憶させるとともに、動き領域抽出部１３に渡す。以下では、便宜上、ビット長が拡張され、かつ補正された低露光画像を単に補正低露光画像と呼ぶ。
【００２２】
動き領域抽出部１３は、低露光画像または高露光画像に写っている被写体のうちで、低露光画像の撮影時から高露光画像の撮影時までの間に移動している被写体が写っている動き領域を抽出する。
そのために、動き領域抽出部１３は、補正低露光画像と高露光画像間で対応画素間の差分演算を行い、画素ごとに差分絶対値を算出する。そして動き領域抽出部１３は、差分絶対値が所定の閾値以上となる画素を動き候補画素として抽出する。なお、所定の閾値は、例えば、輝度値の値の取り得る範囲の10%に相当する値、例えば、高露光画像の画素の輝度値を表すビット長が10ビットであれば、102に設定される。
【００２３】
動き領域抽出部１３は、動き候補画素に対してラベリング処理を行って、互いに隣接する動き候補画素の集合ごとにラベルを付す。そして動き領域抽出部１３は、個々の動き候補画素の集合を、それぞれ一つの動き候補領域とする。さらに動き領域抽出部１３は、動き候補画素に対してモルフォロジーのクロージング演算を行って、孤立した動き候補画素を何れかの動き候補領域に含めるようにしてもよい。
【００２４】
動き領域抽出部１３は、動き候補領域のうち、その動き候補領域に含まれる画素数が所定数以上となる領域を動き領域として抽出する。なお、所定数は、例えば、想定される被写体の画像上でのサイズの最小値に相当する画素数、例えば、高露光画像の全画素数の1/1000〜1/10000に設定される。
【００２５】
あるいは、動き領域抽出部１３は、オプティカルフローを求める手法によって動き領域を抽出してもよい。この場合、動き領域抽出部１３は、補正された低露光画像及び高露光画像をそれぞれ複数のブロックに分割し、ブロックごとにブロックマッチングを行って、低露光画像のブロックと、そのブロックと最も一致する高露光画像のブロックとの間の動きベクトルを求める。動き領域抽出部１３は、その動きベクトルの大きさが所定サイズ（例えば、5画素）以上となる低露光画像上のブロック及び高露光画像上のブロックをそれぞれ動き候補ブロックとして抽出する。そして動き領域抽出部１３は、動き候補ブロックに対してラベリング処理を行って、互いに隣接する動き候補ブロックの集合を動き候補領域とし、動き候補領域に含まれる画素数が所定数以上となる領域を動き領域として抽出してもよい。さらにまた、動き領域抽出部１３は、２枚の画像間での動き領域を抽出するための他の様々な技術のうちの何れかを用いて動き領域を抽出してもよい。
【００２６】
代表輝度決定部１４は、動き領域ごとに、高露光画像の輝度値と合成比率との関係を示す合成テーブルを作成するための基準となる動き領域内の画素の輝度値の代表値である代表輝度値を求める。例えば、代表輝度決定部１４は、動き領域ごとに、その動き領域内の高露光画像の画素の輝度値の最小値を代表輝度値とする。あるいは、代表輝度決定部１４は、動き領域内の高露光画像の各画素の輝度値の累積ヒストグラムを作成し、動き領域内の画素の輝度値の最小値からの累積頻度が所定割合（例えば、5%）となる輝度値を代表輝度値としてもよい。あるいはまた、代表輝度決定部１４は、動き領域内の高露光画像の画素の輝度値の平均値または中央値を代表輝度値としてもよい。
【００２７】
なお、代表輝度決定部１４は、動き領域の境界から所定画素数の範囲内の画素の輝度値のみに基づいて、上記のように高露光画像の輝度値の最小値または累積頻度が所定割合となる輝度値を代表輝度値としてもよい。このように、動き領域の境界近傍の画素の輝度値のみを代表輝度値を決定するために参照することで、代表輝度決定部１４は、合成画像上での動き領域内とその周辺領域との画質差に対する影響をより反映し易い代表輝度値を設定できる。なお、所定画素数は、例えば、1画素〜5画素に設定される。
【００２８】
動きマスク生成部１５は、動き領域選択部の一例である。動きマスク生成部１５は、動き領域のうち、代表輝度値が低露光画像の対応領域に含まれる画素の輝度値を画像合成に用いても、合成画像の画質が許容される代表輝度値の下限値である合成限界値未満である動き領域を削除する。
【００２９】
合成限界値は、例えば、同一被写体を撮影した高露光画像と低露光画像の様々な組について、主観的な画質の差を調べ、その主観的な画質の差が許容範囲内となるときの代表輝度値の最小値を求めることにより決定される。なお、合成限界値は、イメージセンサの撮影感度が低いほど、低くなるように設定されてもよい。イメージセンサの撮影感度が低いほど、所定の輝度値に対応する画素あたりの光量が多くなるので、SN比も高くなるためである。
【００３０】
図２（ａ）は、低露光画像の一例であり、図２（ｂ）は、高露光画像の一例である。また図２（ｃ）は、図２（ａ）に示された低露光画像と図２（ｂ）に示された高露光画像から求められた動き領域の一例を示す図である。
【００３１】
低露光画像２００及び高露光画像２１０には、それぞれ、影となっているために暗い暗領域２０１と光が照射されているために明るい明領域２０２とが含まれている。そして暗領域２０１及び明領域２０２のそれぞれには、移動中の物体２０３及び２０４が写ってる。そのため、動き領域を表す画像２２０上には、物体２０３に対応する動き領域２０５と物体２０４に対応する動き領域２０６が抽出されている。
しかし、物体２０３は暗領域２０１内にいるため、低露光画像２００の動き領域２０５に対応する領域のSN比は低く、その領域内の画質は低い。そのため、動き領域２０５内の画素の輝度値を低露光画像２００の対応する画素の輝度値に基づいて決定すると、合成画像上で動き領域２０５の画質がその周囲の画質よりも低くなり、結果的に合成画像全体の画質が低下する。しかし、動き領域２０５の代表輝度値も低いので、本実施形態によれば、動き領域２０５は削除される。したがって、動き領域２０５内の画素の合成比率は、後述する合成テーブルに従って決定される。
【００３２】
一方、物体２０４は明領域２０２内にいるため、低露光画像２００の動き領域２０６に対応する領域のSN比は高く、その領域内の画質も動き領域２０５内の画質より良好である。そのため、動き領域２０６内の画素の輝度値を低露光画像２００の対応する画素の輝度値に基づいて決定しても、合成画像上で動き領域２０６の画質とその周囲の画質との差は小さい。そこで、動き領域２０６は維持される。
【００３３】
動きマスク生成部１５は、残った動き領域のそれぞれについて、動き領域に含まれる画素についての高露光画像に対する低露光画像の合成比率を規定する動きマスクを生成する。例えば、動きマスク生成部１５は、代表輝度値が合成限界値以上である動き領域について、低露光画像の合成比率が1となり、その動き領域以外では低露光画像の合成比率が0となる動きマスクを生成する。なお、動きマスクは、例えば、低露光画像のサイズと同じサイズを持つ画像として生成され、その画像の各画素が表す動きマスク値は、低露光画像の対応する画素の合成比率を8ビット長で表す。例えば、動きマスク値が0である画素については、高露光画像に対する低露光画像の合成比率は0であり、動きマスク値が255である画素については、高露光画像に対する低露光画像の合成比率は1である。
【００３４】
また、動きマスク生成部１５は、動き領域の境界から動き領域の中心に近い画素ほど、高露光画像に対する低露光画像の合成比率が高くなるように動きマスクを生成してもよい。例えば、動きマスク生成部１５は、動き領域内で、かつ動き領域の境界に隣接する画素における合成比率を0.5とし、その境界から1画素離れる度に、合成比率を0.05または0.1ずつ増加させてもよい。これにより、動き領域とその周囲とで、合成比率が急激に変化することを防止できるので、動き領域とその周囲との境界がより目立たなくなる。
【００３５】
合成テーブル生成部１６は、動き領域以外の背景領域を含む、合成画像全体における高露光画像に対する低露光画像の合成比率を決定するための合成テーブルを、動き領域の代表輝度値に基づいて調整する。
【００３６】
先ず、合成テーブル生成部１６は、合成テーブルを調整するための基準となる輝度値である合成テーブル基準値を決定する。本実施形態では、合成テーブル生成部１６は、各動き領域の代表輝度値の統計的代表値である統計輝度値と、上記の合成限界値とを比較し、それらの値のうちの大きい方を合成テーブル基準値とする。なお、統計輝度値は、例えば、各動き領域の代表輝度値のうちの最小値、あるいは各動き領域の代表輝度値の平均値あるいは中央値とすることができる。
【００３７】
図３（ａ）及び図３（ｂ）は、それぞれ、合成限界値及び統計輝度値と、合成比率との関係を示す図である。図３（ａ）及び図３（ｂ）において、横時は輝度を表し、縦軸は高露光画像に対する低露光画像の合成比率を表す。
【００３８】
図３（ａ）に示されるように、統計輝度値lvが合成限界値cvよりも高ければ、統計輝度値lvにおける合成比率が所定値となるように、輝度値と合成比率の関係がグラフ３００のように決定される。すなわち、高露光画像の各動き領域内の画素の輝度値が平均的に高ければ、低露光画像の対応領域の画素の輝度値も平均的に高いのでその対応領域内のSN比も高い。そのため、この場合には、動き領域の代表輝度値に従って合成テーブル基準値が決定されることで、動き領域内の高露光画像の画素の輝度値と似た輝度値を持つ背景領域内の画素についても、合成画像では、低露光画像の信号成分がある程度含まれることになる。したがって、画像合成装置１は、動き領域内のSN比と背景領域内のSN比との差を小さくできる。
【００３９】
一方、図３（ｂ）に示されるように、統計輝度値lvが合成限界値cv以下であれば、合成限界値cvにおける合成比率が所定値となるように、輝度値と合成比率の関係がグラフ３１０のように決定される。すなわち、高露光画像の各動き領域内の画素の輝度値が全体的に低ければ、当然ながら低露光画像の対応領域の画素の輝度値も全体的に低く、その結果として低露光画像のその対応領域内のSN比も低い。そのため、この場合には、合成限界値に従って合成テーブル基準値が決定されることで、合成画像全体の画質が低露光画像の画質に応じて低くなることが防止される。
【００４０】
合成テーブル生成部１６は、合成テーブル基準値及び撮影感度と、合成比率の対応関係を表す低露光画像許容比率テーブルを参照して、合成テーブル基準値における低露光画像の合成比率である基準合成比率を決定する。
【００４１】
図４は、低露光画像許容比率テーブルの一例を示す図である。低露光画像許容比率テーブル４００において、左端の列４１０には合成テーブル基準値が示されており、上端の行４２０には撮影感度が示されている。なお、この例では、撮影感度値は、ISO感度値で示されている。そして低露光画像許容比率テーブル４００の各欄には、合成テーブル基準値及び撮影感度に対応する、基準合成比率が示されている。例えば、欄４０１に示されるように、合成テーブル基準値が100であり、撮影感度が99未満であれば、基準合成比率は0.5となる。また、欄４０２に示されるように、合成テーブル基準値が100であり、撮影感度が100以上199未満であれば、基準合成比率は0.55となる。
【００４２】
図４に示されるように、撮影感度が高いほど、基準合成比率も高くなる。これにより、撮影感度が高いほど、背景領域でも、合成画像の画素の輝度値に占める低露光画像の輝度成分の割合が高くなるので、背景領域におけるSN比は、低露光画像の動き領域のSN比に近づく。その結果として、合成画像における動き領域内の各画素の輝度値が、低露光画像の対応画素の輝度値となっていても、動き領域と背景領域のSN比の差は小さくなる。そのため、撮影感度が高くて低露光画像のSN比が低い場合でも、動き領域と背景領域間の画質の差は小さくなる。
【００４３】
また、図４に示されるように、合成テーブル基準値が低いほど、その基準値における基準合成比率も高くなる。これにより、動き領域内の各画素の輝度値が全般的に低く、SN比が低い場合には、背景領域のSN比も低くなる。そのため、光量が少なくて低露光画像のSN比が低い場合でも、動き領域と背景領域間の画質の差は小さくなる。
【００４４】
合成テーブル生成部１６は、輝度と低露光画像の合成比率との関係を表し、予め設定された基準合成テーブルを、輝度値が合成テーブル基準値となるときにその合成比率が基準合成比率となるように、基準合成テーブルを調節することで、合成テーブルを生成する。
【００４５】
図５は、基準合成テーブル及び生成される合成テーブルに表される輝度と合成比率の関係の一例を示す図である。図５において横軸は輝度を表し、縦軸は低露光画像の合成比率を表す。そしてグラフ５０１は、基準合成テーブルにより表される輝度と合成比率の関係を示す。一般に、高露光画像の輝度値が低い画素ほど、低露光画像の対応画素のSN比も低くなる。そこで、図５に示されるように、基準合成テーブルは、高露光画像の輝度値が低いほど、低露光画像の合成比率も低くなるように設定されることが好ましい。この例では、基準合成テーブルにおける、低露光画像の合成比率が0となる高露光画像の輝度値の上限である閾値Th1と低露光画像の合成比率が1となる高露光画像の輝度値の下限である閾値Th2間の輝度差はldである。そして閾値Th1とTh2間の輝度差ldが一定に保たれたまま、合成テーブル基準値lrefにおける合成比率が基準合成比率rrefとなるように、基準合成テーブルを輝度値方向にシフトさせることによって合成テーブルが生成される。グラフ５０２は、生成された合成テーブルにより表される輝度と合成比率の関係を示す。
【００４６】
なお、低露光画像許容比率テーブル及び基準合成テーブルは、例えば、合成テーブル生成部１６が有する不揮発性のメモリに予め記憶される。
【００４７】
変形例によれば、低露光画像許容比率テーブルは、合成テーブル基準値及び撮影感度に対する、閾値Th1及びTh2の値を規定してもよい。合成テーブル生成部１６は、低露光画像許容比率テーブルを参照することにより、合成テーブル基準値と撮影感度の設定情報から直接閾値Th1及びTh2を決定する。この場合も、低露光画像許容比率テーブルは、撮影感度が高いほど、低露光画像の合成比率が高くなるように閾値Th1及びTh2を規定することが好ましい。また低露光画像許容比率テーブルは、合成テーブル基準値が低いほど、低露光画像の合成比率が高くなるように閾値Th1及びTh2を規定することが好ましい。
【００４８】
何れの場合も、閾値Th2は高露光画像が取り得る輝度の最大値hmax以下となるように設定されることが好ましい。これにより、高露光画像において輝度値が飽和した画素については、合成画像上での対応画素の輝度値は、補正低露光画像の対応画素の値となる。そのため、イメージセンサのダイナミックレンジが擬似的に拡大される。
【００４９】
合成テーブル生成部１６は、閾値Th1とTh2の間に含まれる各輝度値における、高露光画像に対する低露光画像の合成比率を、閾値Th1における合成比率0と閾値Th2における合成比率1を線形補間することによって決定する。これにより、合成テーブルは、輝度値ごとの低露光画像の合成比率を規定する。そして合成テーブル生成部１６は、合成テーブルで規定される輝度値ごとの合成比率を、動きマスクの各画素の合成比率を表すビット長と同一のビット長で表す。したがって、例えば、合成比率が8ビット長で表される場合、注目する輝度値における低露光画像の合成比率が0であれば、その輝度値における合成比率の値は0で表され、一方、注目する輝度値における低露光画像の合成比率が1であれば、その輝度値における合成比率の値は255で表される。
【００５０】
合成比率決定部１７は、合成テーブルと動きマスクに基づいて、合成画像の画素ごとに高露光画像に対する低露光画像の合成比率を決定する。本実施形態では、合成比率決定部１７は、次式に従って、水平座標x、垂直座標yの低露光画像の合成比率CR(x,y)を決定する。
CR(x,y) = Max(MV(x,y), BCR(Ph(x,y))) （１）
ここで、MV(x,y)は、水平座標x、垂直座標yにおける動きマスク値を表し、BCR(Ph(x,y))は、高露光画像の水平座標x、垂直座標yにおける画素の輝度値Ph(x,y)に対して合成テーブルが規定する合成比率を表す。またMax(a,b)は、パラメータa及びbのうち、大きい方の値を出力する関数である。
【００５１】
上記のように、動き領域内の画素の動きマスク値がその最大値に設定され、背景領域内の画素の動きマスク値がその最小値に設定されているならば、動き領域内では、合成比率CR(x,y)は1(8ビット長で表される場合、255)となる。一方、背景領域内では、合成比率CR(x,y)=BCR(Ph(x,y))となる。
【００５２】
画像合成部１８は、記憶部１１からビット長が拡張された高露光画像及び補正低露光画像を読み出し、合成比率決定部１７により決定された各画素の合成比率に従って、それら二つの画像をα合成することにより合成画像を作成する。例えば、合成比率決定部１７は、次式に従って、合成画像の各画素の輝度値を算出する。
Pc(x,y) = (Pl(x,y)*CR(x,y) + Ph(x,y)*(255-CR(x,y)))/255 （２）
ここで、Pl(x,y)は、補正低露光画像における、水平座標x、垂直座標yの画素の輝度値を表し、Ph(x,y)は、ビット長が拡張された高露光画像の水平座標x、垂直座標yにおける画素の輝度値Ph(x,y)を表す。CR(x,y)は、0〜255の範囲内の値で表された、水平座標x、垂直座標yにおける画素の低露光画像の合成比率を表す。そしてPc(x,y)は、合成画像における水平座標x、垂直座標yの画素の輝度値を表す。
【００５３】
この例では、合成画像の各画素の輝度値を表すビット長は、元の高露光画像の各画素の輝度値を表すビット長に、輝度補正部１２によりnビットが追加されたビット長と等しい。そこで画像合成部１８は、合成画像の各画素の輝度値を表すビット列の下位nビットを切り捨ててもよい。
画像合成部１８は、生成した合成画像を出力する。
【００５４】
図６（ａ）は、低露光画像の一例を示す図であり、図６（ｂ）は、高露光画像の一例を示す図である。低露光画像６００では、全体的にSN比が低いため、建物の窓及びサインボードといった明るい物体が写っている領域を除いてノイズ成分が目立つ。一方、高露光画像６１０では、建物の窓及びサインボードといった明るい物体が写っている領域６１１内の画素の輝度が飽和しているものの、領域６１１外の相対的に暗い領域についてもノイズ成分は目立たない。
【００５５】
図６（ｃ）は、低露光画像６００及び高露光画像６１０に基づいて求められた動きマスクの一例を示す図である。動きマスク６２０では、低露光画像６００と高露光画像６１０の間で位置が異なっている車両が写っている領域が動き領域６２１として設定されている。
【００５６】
図６（ｄ）は、低露光画像６００及び高露光画像６１０に基づいて決定された合成テーブルに基づいて各画素について求められた合成比率を明るさで表した合成マスクの一例を示す図である。合成マスク６３０では、低露光画像の合成比率が高い画素ほど明るくなっており、逆に低露光画像の合成比率が0である画素は黒で表される。この例では、高露光画像６１０において明るい物体が写っている領域６１１に対応する合成マスク６３０上の領域６３１も、低露光画像の合成比率が高いので白くなっている。一方、領域６３１の周囲でも、グレーになっている。これは、動き領域６２１内のSN比に従って、低露光画像もある程度参照されるように低露光画像の合成比率が設定されているためである。
【００５７】
図６（ｅ）は、画像合成装置１により低露光画像６００と高露光画像６１０を合成することにより生成される合成画像の一例を示す図である。図６（ｅ）に示されるように、合成画像６４０では、動き領域６２１内のSN比と動き領域６２１の周囲のSN比との差が小さく、動き領域６２１内外での主観的な画質の差も小さい。一方、図６（ｆ）は、従来技術により作成された低露光画像６００と高露光画像６１０の合成画像の一例を示す図である。従来技術により作成された合成画像６５０では、動き領域６２１内は低露光画像の対応する領域の信号のみが用いられ、一方、動き領域６２１の周囲は、高露光画像の対応する領域の信号が主に用いられているため、動き領域６２１内外の画質の差が著しくなっている。その結果として、合成画像６５０全体の主観的な画質が良好でない。
【００５８】
図７は、画像合成処理の動作フローチャートである。画像合成装置１は、低露光画像と高露光画像の組を受け取る度に、この画像合成処理を実行する。
【００５９】
画像合成装置１は、低露光画像、高露光画像及び撮影感度等を取得し、それらを記憶部１１に記憶する（ステップＳ１０１）。輝度補正部１２は、高露光画像と低露光画像の各画素の輝度値を表すビット長を拡張するとともに、高露光画像と低露光画像間の露光量の差を打ち消すように低露光画像の各画素の輝度値を補正する（ステップＳ１０２）。
【００６０】
動き領域抽出部１３は、補正された低露光画像と高露光画像間の動き領域を抽出する（ステップＳ１０３）。そして代表輝度決定部１４は、各動き領域の代表輝度値を算出する（ステップＳ１０４）。動きマスク生成部１５は、代表輝度値が合成限界値以上となる動き領域の低露光画像の合成比率が背景領域の低露光画像の合成比率よりも高くなるように動きマスクを設定する（ステップＳ１０５）。
【００６１】
合成テーブル生成部１６は、代表輝度値の最小値と合成限界値のうちの大きい方を合成テーブル基準値に設定する（ステップＳ１０６）。合成テーブル生成部１６は、合成テーブル基準値が高いほど低く、または、撮影感度が高いほど高くなるように基準合成比率を決定する（ステップＳ１０７）。そして合成テーブル生成部１６は、合成テーブル基準値において基準合成比率となるように合成テーブルを調整する（ステップＳ１０８）。
【００６２】
合成比率決定部１７は、合成テーブルと動きマスクに基づいて各画素における高露光画像に対する低露光画像の合成比率を決定する（ステップＳ１０９）。そして画像合成部１８は、合成比率に従って低露光画像と高露光画像とをα合成することにより合成画像を生成する（ステップＳ１１０）。そして画像合成装置１は、合成画像を出力する。その後、画像合成装置１は、画像合成処理を終了する。
なお、画像合成装置１は、ステップＳ１０５の処理と、ステップＳ１０６〜Ｓ１０８の処理の実行順序を入れ替えてもよく、あるいは並列に実行してもよい。
【００６３】
以上に説明してきたように、この画像合成装置は、低露光画像の動き領域内のSN比が低いほど、背景領域における低露光画像の合成比率を高くする。これにより、この画像合成装置は、動き領域と背景領域におけるSN比の差を小さくすることで、合成画像の動き領域内にアーティファクトが生じることを抑制し、その結果として合成画像の画質劣化を抑制する。さらにこの画像合成装置は、低露光画像の画質が良好でないと推定されるほど代表輝度値が低い動き領域を削除することで、その削除された動き領域については、背景領域と同様に合成比率を決定する。これにより、この画像合成装置は、低露光画像の画質が良好でない動き領域については、低露光画像を用いない、あるいは低露光画像の合成比率を低下させられるので、合成画像の画質の劣化を抑制できる。
【００６４】
なお、本発明は上記の実施形態に限定されるものではない。変形例によれば、代表輝度決定部は、各動き領域について、補正低露光画像のその動き領域内の画素の輝度値の最小値といった統計値を代表輝度値としてもよい。補正された低露光画像は、同一の露光量に対する輝度値が高露光画像の輝度値と同一となるように調整されているので、補正された低露光画像に基づいて決定される代表輝度値は、高露光画像に基づいて決定される代表輝度値と略同一となる。
【００６５】
また他の変形例によれば、画像合成装置は、代表輝度値が合成限界値以上となる動き領域と、その動き領域の周囲に設定した周辺領域に限り、（２）式に従って低露光画像と高露光画像を合成してもよい。この場合には、合成テーブル生成部は、動き領域及びその周辺領域ごとに、その動き領域の代表輝度値を合成テーブル基準値として合成テーブルを生成してもよい。そのため、合成比率決定部も、動き領域及びその周辺領域ごとに異なる合成テーブルを用いて低露光画像の合成比率を決定する。これにより、画像合成装置は、動き領域ごとに、動き領域とその周辺領域との間でSN比の差が小さくなる合成比率をより適切に決定できる。なお、周辺領域は、例えば、動き領域の境界から、動き領域の水平方向の幅と垂直方向の高さのうちの大きい方の1/2の幅を持つリング状の領域とすることができる。
またこの変形例では、画像合成部は、動き領域及びその周辺領域に含まれない背景領域内の高露光画像の画素のうち、輝度値が飽和している画素については、補正低露光画像の対応する画素の輝度値を合成画像における対応画素の輝度値とすればよい。
【００６６】
さらに他の変形例によれば、合成テーブル基準値に対する基準合成比率を、合成テーブル基準値のみ、あるいは、撮影感度のみに応じて変更してもよい。
【００６７】
さらに他の変形例によれば、画像合成装置は、露光量が互いに異なる３枚以上の画像を合成してもよい。この場合には、画像合成装置は、例えば、最も露光量が高い画像と次に露光量が高い画像とを、上記の実施形態又は変形例に従って合成する。そして画像合成装置は、合成された画像と３番目に露光量が高い画像とを、上記の実施形態又は変形例に従って合成する。同様に、画像合成装置は、輝度が飽和する画素が無くなるまで、合成された画像とその合成に用いられた二つの画像の露光量よりも低い露光量の画像との合成を繰り返してもよい。
【００６８】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００６９】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
第１の露光量で撮影された第１の画像と、該第１の露光量よりも低い第２の露光量で撮影された第２の画像とを合成することで前記第１及び第２の画像の露光量のダイナミックレンジよりも広いダイナミックレンジを持つ合成画像を生成する画像合成装置であって、
前記第１の画像と前記第２の画像との間で移動している物体が写っている動き領域を少なくとも一つ抽出する動き領域抽出部と、
前記第１の画像の画素の輝度値が高いほど、前記少なくとも一つの動き領域外の背景領域内の画素についての前記第１の画像に対する前記第２の画像の合成比率を高くするとともに、前記第２の画像における前記少なくとも一つの動き領域内の画素の信号成分に対するノイズ成分の比が高いほど、所定の輝度値における前記合成比率を高く設定する合成比率決定部と、
前記少なくとも一つの動き領域内の前記合成画像の画素の輝度値を前記第２の画像の対応する画素の輝度値に基づいて決定し、前記背景領域内の前記合成画像の画素の輝度値を前記合成比率に応じて前記第１の画像及び前記第２の画像の対応する画素の輝度値を合成した値とすることで前記合成画像を生成する画像合成部と、
を有する画像合成装置。
（付記２）
前記第１の画像及び前記第２の画像のうちの何れかにおける前記少なくとも一つの動き領域のそれぞれについて、当該動き領域内の輝度値を代表する代表輝度値を求める代表輝度決定部をさらに有し、
前記合成比率決定部は、前記各動き領域の代表輝度値の統計的代表値である統計輝度値が小さいほど、前記背景領域内の画素についての前記所定の輝度値における前記合成比率を高く設定する、付記１に記載の画像合成装置。
（付記３）
前記統計輝度値は、前記各動き領域の代表輝度値のうちの最小値である、付記２に記載の画像合成装置。
（付記４）
前記合成比率決定部は、前記第１及び前記第２の画像が生成されたときの、当該第１及び第２の画像を生成したイメージセンサの撮影感度が高いほど、前記所定の輝度値における前記合成比率を高く設定する、付記１〜３の何れか一項に記載の画像合成装置。
（付記５）
前記少なくとも一つの動き領域のうち、対応する前記代表輝度値が、前記第２の画像の当該動き領域内の画素の輝度値を前記合成画像の生成に利用しても前記合成画像の画質が許容される代表輝度値の下限値である合成限界値未満である動き領域を削除する動き領域選択部をさらに有する、付記１に記載の画像合成装置。
（付記６）
前記合成限界値は、前記第１及び前記第２の画像が生成されたときの、当該第１及び第２の画像を生成したイメージセンサの撮影感度が高いほど低く設定される、付記５に記載の画像合成装置。
（付記７）
第１の露光量で撮影された第１の画像と、該第１の露光量よりも低い第２の露光量で撮影された第２の画像とを合成することで前記第１及び第２の画像の露光量のダイナミックレンジよりも広いダイナミックレンジを持つ合成画像を生成する画像合成方法であって、
前記第１の画像と前記第２の画像との間で移動している物体が写っている動き領域を少なくとも一つ抽出し、
前記第１の画像の画素の輝度値が高いほど、前記少なくとも一つの動き領域外の背景領域内の画素についての前記第１の画像に対する前記第２の画像の合成比率を高くするとともに、前記第２の画像における前記少なくとも一つの動き領域内の画素の信号成分に対するノイズ成分の比が高いほど、所定の輝度値における前記合成比率を高く設定し、
前記少なくとも一つの動き領域内の前記合成画像の画素の輝度値を前記第２の画像の対応する画素の輝度値に基づいて決定し、前記背景領域内の前記合成画像の画素の輝度値を前記合成比率に応じて前記第１の画像及び前記第２の画像の対応する画素の輝度値を合成した値とすることで前記合成画像を生成する、
ことを含む画像合成方法。
【符号の説明】
【００７０】
１ 画像合成装置
１１ 記憶部
１２ 輝度補正部
１３ 動き領域抽出部
１４ 代表輝度決定部
１５ 動きマスク生成部
１６ 合成テーブル生成部
１７ 合成比率決定部
１８ 画像合成部
【特許請求の範囲】
【請求項１】
第１の露光量で撮影された第１の画像と、該第１の露光量よりも低い第２の露光量で撮影された第２の画像とを合成することで前記第１及び第２の画像の露光量のダイナミックレンジよりも広いダイナミックレンジを持つ合成画像を生成する画像合成装置であって、
前記第１の画像と前記第２の画像との間で移動している物体が写っている動き領域を少なくとも一つ抽出する動き領域抽出部と、
前記第１の画像の画素の輝度値が高いほど、前記少なくとも一つの動き領域外の背景領域内の画素についての前記第１の画像に対する前記第２の画像の合成比率を高くするとともに、前記第２の画像における前記少なくとも一つの動き領域内の画素の信号成分に対するノイズ成分の比が高いほど、所定の輝度値における前記合成比率を高く設定する合成比率決定部と、
前記少なくとも一つの動き領域内の前記合成画像の画素の輝度値を前記第２の画像の対応する画素の輝度値に基づいて決定し、前記背景領域内の前記合成画像の画素の輝度値を前記合成比率に応じて前記第１の画像及び前記第２の画像の対応する画素の輝度値を合成した値とすることで前記合成画像を生成する画像合成部と、
を有する画像合成装置。
【請求項２】
前記第１の画像及び前記第２の画像のうちの何れかにおける前記少なくとも一つの動き領域のそれぞれについて、当該動き領域内の輝度値を代表する代表輝度値を求める代表輝度決定部をさらに有し、
前記合成比率決定部は、前記各動き領域の代表輝度値の統計的代表値である統計輝度値が小さいほど、前記背景領域内の画素についての前記所定の輝度値における前記合成比率を高く設定する、請求項１に記載の画像合成装置。
【請求項３】
前記合成比率決定部は、前記第１及び前記第２の画像が生成されたときの、当該第１及び第２の画像を生成したイメージセンサの撮影感度が高いほど、前記所定の輝度値における前記合成比率を高く設定する、請求項１または２に記載の画像合成装置。
【請求項４】
前記少なくとも一つの動き領域のうち、対応する前記代表輝度値が、前記第２の画像の当該動き領域内の画素の輝度値を前記合成画像の生成に利用しても前記合成画像の画質が許容される代表輝度値の下限値である合成限界値未満である動き領域を削除する動き領域選択部をさらに有する、請求項１に記載の画像合成装置。
【請求項５】
第１の露光量で撮影された第１の画像と、該第１の露光量よりも低い第２の露光量で撮影された第２の画像とを合成することで前記第１及び第２の画像の露光量のダイナミックレンジよりも広いダイナミックレンジを持つ合成画像を生成する画像合成方法であって、
前記第１の画像と前記第２の画像との間で移動している物体が写っている動き領域を少なくとも一つ抽出し、
前記第１の画像の画素の輝度値が高いほど、前記少なくとも一つの動き領域外の背景領域内の画素についての前記第１の画像に対する前記第２の画像の合成比率を高くするとともに、前記第２の画像における前記少なくとも一つの動き領域内の画素の信号成分に対するノイズ成分の比が高いほど、所定の輝度値における前記合成比率を高く設定し、
前記少なくとも一つの動き領域内の前記合成画像の画素の輝度値を前記第２の画像の対応する画素の輝度値に基づいて決定し、前記背景領域内の前記合成画像の画素の輝度値を前記合成比率に応じて前記第１の画像及び前記第２の画像の対応する画素の輝度値を合成した値とすることで前記合成画像を生成する、
ことを含む画像合成方法。
【請求項１】
第１の露光量で撮影された第１の画像と、該第１の露光量よりも低い第２の露光量で撮影された第２の画像とを合成することで前記第１及び第２の画像の露光量のダイナミックレンジよりも広いダイナミックレンジを持つ合成画像を生成する画像合成装置であって、
前記第１の画像と前記第２の画像との間で移動している物体が写っている動き領域を少なくとも一つ抽出する動き領域抽出部と、
前記第１の画像の画素の輝度値が高いほど、前記少なくとも一つの動き領域外の背景領域内の画素についての前記第１の画像に対する前記第２の画像の合成比率を高くするとともに、前記第２の画像における前記少なくとも一つの動き領域内の画素の信号成分に対するノイズ成分の比が高いほど、所定の輝度値における前記合成比率を高く設定する合成比率決定部と、
前記少なくとも一つの動き領域内の前記合成画像の画素の輝度値を前記第２の画像の対応する画素の輝度値に基づいて決定し、前記背景領域内の前記合成画像の画素の輝度値を前記合成比率に応じて前記第１の画像及び前記第２の画像の対応する画素の輝度値を合成した値とすることで前記合成画像を生成する画像合成部と、
を有する画像合成装置。
【請求項２】
前記第１の画像及び前記第２の画像のうちの何れかにおける前記少なくとも一つの動き領域のそれぞれについて、当該動き領域内の輝度値を代表する代表輝度値を求める代表輝度決定部をさらに有し、
前記合成比率決定部は、前記各動き領域の代表輝度値の統計的代表値である統計輝度値が小さいほど、前記背景領域内の画素についての前記所定の輝度値における前記合成比率を高く設定する、請求項１に記載の画像合成装置。
【請求項３】
前記合成比率決定部は、前記第１及び前記第２の画像が生成されたときの、当該第１及び第２の画像を生成したイメージセンサの撮影感度が高いほど、前記所定の輝度値における前記合成比率を高く設定する、請求項１または２に記載の画像合成装置。
【請求項４】
前記少なくとも一つの動き領域のうち、対応する前記代表輝度値が、前記第２の画像の当該動き領域内の画素の輝度値を前記合成画像の生成に利用しても前記合成画像の画質が許容される代表輝度値の下限値である合成限界値未満である動き領域を削除する動き領域選択部をさらに有する、請求項１に記載の画像合成装置。
【請求項５】
第１の露光量で撮影された第１の画像と、該第１の露光量よりも低い第２の露光量で撮影された第２の画像とを合成することで前記第１及び第２の画像の露光量のダイナミックレンジよりも広いダイナミックレンジを持つ合成画像を生成する画像合成方法であって、
前記第１の画像と前記第２の画像との間で移動している物体が写っている動き領域を少なくとも一つ抽出し、
前記第１の画像の画素の輝度値が高いほど、前記少なくとも一つの動き領域外の背景領域内の画素についての前記第１の画像に対する前記第２の画像の合成比率を高くするとともに、前記第２の画像における前記少なくとも一つの動き領域内の画素の信号成分に対するノイズ成分の比が高いほど、所定の輝度値における前記合成比率を高く設定し、
前記少なくとも一つの動き領域内の前記合成画像の画素の輝度値を前記第２の画像の対応する画素の輝度値に基づいて決定し、前記背景領域内の前記合成画像の画素の輝度値を前記合成比率に応じて前記第１の画像及び前記第２の画像の対応する画素の輝度値を合成した値とすることで前記合成画像を生成する、
ことを含む画像合成方法。
【図１】
【図３】
【図４】
【図５】
【図７】
【図２】
【図６】
【図３】
【図４】
【図５】
【図７】
【図２】
【図６】
【公開番号】特開２０１３−１１５５６０（Ｐ２０１３−１１５５６０Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５９０８６（Ｐ２０１１−２５９０８６）
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]