画像合成方法、画像合成プログラムおよび画像合成装置
【課題】２次元方向への移動の少ない動体の連続撮影画像を合成する際に動体部分に背景が強く映りこむことを防止する。
【解決手段】複数のフレームの画像データに基づいて基準画像を生成する一方、フレームの各画素の画素値の変化特性を算出し、その画素値変化特性に基づいて、各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する。そして、動体主要領域の画素とみなされた場合には、基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、背景主要領域の画素とみなされた場合には、基準画像の画素値との差分が大きい画素値を強くブレンドする。
【解決手段】複数のフレームの画像データに基づいて基準画像を生成する一方、フレームの各画素の画素値の変化特性を算出し、その画素値変化特性に基づいて、各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する。そして、動体主要領域の画素とみなされた場合には、基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、背景主要領域の画素とみなされた場合には、基準画像の画素値との差分が大きい画素値を強くブレンドする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画や連写画像を重ね合わせて1枚の静止画像を作成する画像合成方法、画像合成プログラムおよび画像合成装置に関するものである。
【背景技術】
【０００２】
従来、動画や連写画像を重ね合わせて1枚の静止画像を作成する方法がある。先行文献１および先行文献２では、複数の画像フレーム上の同一位置の画素について、画素値の平均値もしくは中央値から基準画像としての背景画像を生成し、その背景画像に近い画素値の場合はブレンド率を低く設定し、大きく離れた画素値はブレンド率を高く設定し、それぞれのブレンド率を掛け合わされた画素値を加算することで合成画像を生成している。
【０００３】
これにより、全フレームを通して出現頻度の高い画像は背景の一部とみなされて低いブレンド率で合成され、一方、出現頻度の低い動体は高いブレンド率で貼り付けられる。
【０００４】
しかし、上記従来の方法では、被写体の２次元方向への移動量が少ない画像では、うまく合成できないことがあった。例えば、図１１の野球のスウィングのように被写体１００が回転動作をしている場合は、被写体１００がフレームの大部分で重なっているため、平均値や中央値をとると、本来動体である被写体１００が背景画像として認識されてしまう。すると、例えば５枚連写のときに１フレームもしくは２フレームだけ被写体１００の位置がずれてその領域に本当の背景画像１０１が写った場合には、その背景画像１０１が動体とみなされてしまう。この結果、背景画像１０１が強くブレンドされるので、被写体１００に背景画像１０１が透けて写りこんでしまうという問題があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】登録第３４１１４６９号
【特許文献２】登録第４４１５１９８号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明では、２次元方向への移動の少ない動体の連続撮影画像を合成する際に動体部分に背景が強く映りこむことを防止することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、複複数の撮像フレームを合成して１枚の画像を生成する画像合成方法において、前記複数のフレームの画像データに基づいて基準画像を生成する基準画像生成ステップと、前記フレームの各画素の画素値変化特性を算出する画素値変化特性算出ステップと、前記画素値変化特性に基づいて、前記各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する領域判断ステップと、前記動体主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、前記背景主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を強くブレンドする画像ブレンドステップと、を有することを特徴とする。
【０００８】
また、本発明は、複数の撮像フレームを合成して１枚の画像を生成する画像合成プログラムにおいて、前記複数のフレームの画像データに基づいて基準画像を生成する基準画像生成ステップと、前記フレームの各画素の画素値変化特性を算出する画素値変化特性算出ステップと、前記画素値変化特性に基づいて、前記各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する領域判断ステップと、前記動体主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、前記背景主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を強くブレンドする画像ブレンドステップと、をコンピュータに実行させることを特徴とする。
【０００９】
さらに、本発明では、複数の撮像フレームを合成して１枚の画像を生成する画像合成装置において、前記複数のフレームの画像データに基づいて基準画像を生成する基準画像生成手段と、前記フレームの各画素の画素値変化特性を算出する画素値変化特性算出手段と、前記画素値変化特性に基づいて、前記各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する領域判断手段と、前記動体主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、前記背景主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を強くブレンドする画像ブレンド手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数のフレームの画像データに基づいて基準画像を生成する一方、フレームの各画素の画素値の変化特性を算出し、その画素値変化特性に基づいて、各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する。そして、動体主要領域の画素とみなされた場合には、基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、背景主要領域の画素とみなされた場合には、基準画像の画素値との差分が大きい画素値を強くブレンドする。
【００１１】
通常、動体がほとんど同じ位置で重なっている画像であっても、動きによって被写体やその衣服の形状に変化があるので、全フレームを通して必ず画素値に変化が見られる。一方、大多数のフレームで動きのない背景が映っている場合には、その部分の画素値の変化は非常に少ない。これらの画素値の変化の特性を捉えることで、従来は背景画像とみなされていた動体画像を正確に判断できる。そして、動体主要領域と判断された画素については、例えば全フレーム中一枚だけに背景画像が写っていたとしても、その背景画像の画素値が動体の画素値と大きく異なれば弱くブレンドされるので、動体部分に背景画像が映り込むことが防止できる。また、万一動体の画素値と大きな差がなければ、動体と同程度の割合でブレンドされるので、違和感は生じない。
【００１２】
一方、背景主要領域とみなされた画素の場合は、たとえば全フレーム中一枚だけに動体が写っていたとすると、その動体は強くブレンドされるので、背景の上に動体部分を確実に合成できる。よって、より正確な連写合成写真を生成できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施例の画像合成方法の全体の手順を示すフローチャートである。
【図２】本実施形態におけるデジタルカメラの構成を示すブロック図である。
【図３】フレーム内を動く被写体を５枚連写した場合の画像合成の一例を示す図である。（実施例１）
【図４】フレーム間差分値計算と領域判別結果の一例を示す図である。（実施例１）
【図５】領域判別精度アップフローチャートである。（実施例１）
【図６】画素の近接の判断を説明する図である。（実施例１）
【図７】ブレンド率算出表を示す図である。（実施例１）
【図８】理想的な連写合成画像の異例を示す図である。（実施例１）
【図９】本発明の第２の実施例の画像合成方法の全体の手順を示すフローチャートである。
【図１０】小区分領域の周波数特性の一例を示す図である。（実施例２）
【図１１】従来の連写合成画像の例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面に基づき本発明の実施形態について、画像合成プログラムを有する画像合成装置としてデジタルカメラを例にとり説明する。但し、本発明はデジタルカメラに限定されるものではなく、他の画像合成装置、例えばビデオカメラや携帯電話、さらにパーソナルコンピュータにも適用可能である。
【００１５】
図２に、本実施形態におけるデジタルカメラの構成を示す。撮影光学系１は、詳細には撮影レンズ、絞り及びメカシャッタを含む。撮影レンズは、さらにフォーカスレンズ、ズームレンズ及びアイリスを含む。撮影光学系１の各レンズやシャッタは、ＡＥ／ＡＦ制御部９からの指令に従ってモータやドライバにより駆動される。撮像素子２は、撮影光学系１により結像された被写体画像を電気信号に変換し、Ｒ、Ｇ、Ｂの各画像信号として出力する。撮像素子２は、ＣＣＤセンサやＣＭＯＳセンサから構成され、蓄積電荷がタイミングジェネレータ（ＴＧ）からのタイミング信号に応じて順次読み出される。
【００１６】
アナログフロントエンド（ＡＦＥ）３は、アナログ信号処理部であり、アナログ画像信号に対して増幅、ゲイン調整、リセット時の電圧値と信号出力時の電圧値の差分をとることで固定パターン雑音を除去する相関２重サンプリング（ＣＤＳ）処理を行う。ＡＤ変換回路４は、アナログフロントエンド（ＡＦＥ）３から供給された画像信号をデジタル信号に変換する。
【００１７】
コントローラ５は、図示しないＣＰＵ、画像メモリ、および不揮発性メモリを含み、不揮発性メモリに格納された撮影プログラムを実行することで、操作部６からの操作信号を受けて撮影動作を行う。また、コントローラ５は、図示しない公知のゲイン補正、ガンマ補正、同時化処理、ＲＧＢ−ＹＣ分離、ノイズ低減処理、エッジ強調処理、ＪＰＥＧ圧縮処理の各ブロックを含み、入力信号に対してゲイン補正やガンマ補正、同時化処理等を実行してＹ信号とＣ信号の画像データを生成する。ゲイン補正は、入力されたＲＡＷデータ（ＲＧＢ画像化前の空間的に不完全なサンプリングデータ）の各チャンネル毎に異なるゲインを補正してグレーバランスを合わせるものである。ガンマ補正は、ＣＣＤ等の撮像素子の特性をＬＣＤ８の入出力特性に合わせるものである。同時化処理は、Ｂａｙｅｒ配列の単板ＣＣＤからＲＧＢ３画像を生成するものである。生成された画像データはメモリカード７に格納される。また、圧縮画像データに所定の伸長処理を実行して非圧縮の画像データを生成する。非圧縮の画像データは、撮影済みの画像としてＬＣＤ８に表示される。
【００１８】
さらに、コントローラ５は、ＬＣＤ８に表示するプレビュー画像を生成するための回路や被写体画像から顔画像を検出する回路、及びＡＷＢ（オートホワイトバランス）回路を有する。さらにまた、コントローラ５には、本実施形態の画像合成プログラム５ａが図示しない不揮発性メモリに格納されており、この画像合成プログラム５ａに従って、後述する画像合成処理を実行する。なお、コントローラ５は、単一のプロセッサで構成される他、システム全体を制御するＭＰＵと、そのサブプロセッサとして画像データを高速で処理するＤＩＰ（デジタルイメージプロセッサ）とから構成されていてもよい。
【００１９】
ＡＥ／ＡＦ制御部９は、ＣＰＵを含み、ＡＥ（自動露出制御）及びＡＦ（自動焦点制御）に必要な物理量を算出する。具体的には、画像信号から被写体の輝度を検出し、また、被写体までの距離を検出する。被写体の輝度から適正露出が決定され、絞り値、シャッタ速度、ＩＳＯ感度が決定される。
【実施例１】
【００２０】
次に本発明の第1の実施例を説明する。図１は、本発明の第１の実施例の画像合成方法の全体の手順を示すフローチャートである。まず、ステップＳ１では、デジタルカメラによってなされた高速連写の画像データを取得する。具体的には、多数枚（例えば１０枚）の高速連続撮影を行い、その中から時間的に等間隔に少数枚（例えば５枚）を自動選択してもよいし、あらかじめ合成枚数のみ撮影するようにしてもよい。あるいは、撮影済みの画像データをメモリカード７から読み出してもよい。
【００２１】
ステップＳ２では、合成用の画像フレームから基準画像を作成する。基準画像とは、動体画像を除いたいわゆる背景画像であり、画像合成のベースとなる画像を意味する。基準画像の作成に利用する画像フレームは、合成するすべてのフレームでもよいが、合成枚数が多い場合には任意枚数を選択してもよい。本実施例では、すべてのフレームを用いるものとする。
【００２２】
基準画像フレーム上の任意の画素（ｉ，ｊ）における画素値をＢ（ｉ，ｊ）とすると、Ｂ（ｉ，ｊ）は次式（１）によって表される。
【００２３】
【数１】
【００２４】
ここで、Ｎは合成対象のフレーム数、Ｌ（ｎ，ｉ，ｊ）はｎ番目のフレーム上の任意の画素（ｉ，ｊ）の画素値である。この画素値には、例えばコントローラ５によってＲＧＢ−ＹＣ分離された画像信号のＹ信号成分（輝度信号成分）を用いる。また、Ｙ信号は８ビット、すなわち２５５階調とする。式（１）により、基準画像Ｂ（ｉ，ｊ）は全フレームの輝度値の平均値であることが示される。
【００２５】
次に、ステップＳ３では、連続するフレーム間の各画素値Ｌ（ｎ，ｉ，ｊ）の差分値の絶対値ΔＬ（ｍ，ｉ，ｊ）を次式（２）によって求める。
【００２６】
【数２】
【００２７】
ここで、ｍはｎ＋１番目のフレームとｎ番目のフレームとの差分計算の順番を意味し、ｍ＝Ｎ−１が最大である。
【００２８】
図３はフレーム２０内を動く被写体２１を５枚連写した場合の画像合成の一例を示す図である。なお、ここでは背景画像の図示は省略してある。図に示すように、被写体２１は、図面右側の位置２１ａから左周りに円弧を描くように移動しているものとする。すなわち、第１のフレーム（ｎ＝１）は被写体２１が位置２１ａにいるときの画像、同様に第２のフレーム（ｎ＝２）は被写体２１が位置２１ｂに、第３のフレーム（ｎ＝３）は位置２１ｃに、第４のフレーム（ｎ＝４）は位置２１ｄに、さらに第５のフレーム（ｎ＝５）は位置２１ｅにいるときの画像である。
【００２９】
このような連写画像において、サンプルとして画素Ｐ１〜Ｐ５の５点について説明する。まず、画素Ｐ１についてのフレーム間の差分値ΔＬ（ｍ，Ｐ１）を求める。なお、ここでは、わかりやすくするため座標ｉ，ｊの代わりに画素の名称Ｐ１等を記載する。画素Ｐ１は、全５フレームのうち第１のフレームのみに被写体２１が写っており、他のフレームではすべて背景画像である。よって、第２フレームと第１フレームの差分値、すなわちｍ＝１の差分値ΔＬ（１，Ｐ１）は、背景画像の画素値（輝度値）と被写体２１の画素値（輝度値）との差分の絶対値となる。一方、それ以外のフレーム間の差分値ΔＬ（２，Ｐ１）、ΔＬ（３，Ｐ１）、およびΔＬ（４，Ｐ１）は、背景画像どうしの差分になるのでほとんどゼロである。
【００３０】
次に、画素Ｐ２では、第１のフレームと第２のフレームにおいて被写体２１がそれぞれ位置２１ａ、位置２１ｂに写っている。一方、第３フレーム以降は背景画像のみが写っている。よって、第２フレームと第１フレームの差分値ΔＬ（１，Ｐ２）は、被写体２１どうしの差分値となる。このとき、被写体２１は、フレーム間のわずかなタイミングではあるが、その向きや位置が変化している。また被写体が人間であれば衣服のシワの変化などが起こる。これにより光の反射が変わるので、僅かながらに画素値にも変化が起こる。よって、差分値ΔＬ（１，Ｐ２）はある程度の大きさの階調値となる。一方、ｍ＝２の差分値ΔＬ（２，Ｐ２）は、背景画像と位置２１ｂの被写体２１との差分値になり、一般的には大きい値となる。さらにｍ＝３、４の差分値ΔＬ（３，Ｐ２）、ΔＬ（４，Ｐ２）については、背景画像どうしの差分になるのでほぼゼロとなる。
【００３１】
画素Ｐ３では、第１のフレームから第３のフレームにおいて被写体２１がそれぞれ位置２１ａ、位置２１ｂ、位置２１ｃに写っている。一方、第４フレーム以降は背景画像のみが写っている。よって、第２フレームと第１フレームの差分値ΔＬ（１，Ｐ３）は、被写体どうしの差分値となる。同様に、第３フレームと第２フレームの差分値ΔＬ（２，Ｐ３）も被写体どうしの差分値になる。そして、第４フレームと第３フレームの差分値ΔＬ（３，Ｐ３）は、位置２１ｃの被写体と背景との差分値、さらに第５フレームと第４フレームの差分値ΔＬ（４，Ｐ３）は、背景どうしの差分値となる。
【００３２】
画素Ｐ４および画素Ｐ５についても同様の処理がなされる。図１のステップＳ４に戻り、コントローラ５は、これらの計算結果から各画素が、全フレームを通して動体画像の存在する頻度の高い動体主要領域の画素であるか、あるいは背景画像の存在する頻度の高い背景主要領域の画素であるかを判別する。
【００３３】
図４はフレーム間差分値計算と領域判別結果の一例を示す図である。コントローラ５は、各画素Ｐ１〜Ｐ５について、フレーム間の差分値の絶対値ΔＬが所定値Ｌｘ以上となる数をカウントする。この所定値Ｌｘは、理論的には１以上に設定されていればよいが、本実施例では、ノイズや撮影中の微妙な手ぶれ等を考慮して、「３」に設定する。コントローラ５は、差分値ΔＬが所定値「３」以上となる数のカウント値が２個以下の画素については背景主要領域、総数ｍ＝４の半数を超える３個以上の画素については動体主要領域と判別する。この結果、画素Ｐ１およびＰ２が背景主要領域、画素Ｐ３、Ｐ４、Ｐ５が動体主要領域と判別される。
【００３４】
上記説明ではサンプルとして点Ｐ１〜Ｐ５の５個の画素のみについて判別する例を示したが、フレーム上のすべての画素について同様の処理を行うことは言うまでもない。この結果、図３の例では図中斜線で示した領域が動体主要領域、その他の領域が背景主要領域と判別される。
【００３５】
ところで、動体でありながらその輝度値に変化がほとんどない場合には、上記方法では正確に領域を判別できないことがある。例えば、被写体が無地の暗い色の服を着ている場合には、画素によっては連写中ほとんど画素値に変化が生じないことがある。このような画素は、本来は動体主要領域であるにも関わらず背景主要領域と判別される可能性が高くなる。その結果、例えば図１の斜線の動体主要領域のうちいくつかの画素が背景主要領域画素と判断され、同じ種類の領域にもかかわらず正反対のブレンド処理がなされてしまう。このため、斑状の合成画像ができてしまう虞がある。
【００３６】
そこで、本実施例では、上記の判別手順を一通り行った後で、図５の領域判別精度アップフローチャートを実行する。まず、ステップＳ１１では、背景主要領域と判断された画素の中から、動体主要領域の代表値と画素値が近似している画素（１次候補画素と呼ぶ）をフレーム毎に抽出する。動体主要領域の代表値は、全フレームの平均値または中央値をとることが好ましい。また、近似の判断としては、代表値と画素値の差分値が数階調程度以下となるかどうかを基準にするのがよい。抽出の具体例としては、例えば図３の画素Ｐ３が本来動体主要領域であるにも関わらず背景主要領域と判断されたとすると、画素Ｐ３の第１〜第５の各フレームにおける画素値をすべての動体主要領域の代表値と比較する。そして、いずれかのフレームに一つでも近似する動体主要領域が存在すれば、そのフレームの画素を１次候補画素と判断する。
【００３７】
次に、１次候補画素と判断された画素のうち、動体主要領域と近接している画素を２次候補画素として抽出する（ステップＳ１２）。この近接の判断を図６に基づいて説明する。例えば動体主要領域画素と判断されている画素Ｐａの横に上記１次候補画素ＰｂおよびＰｃが図のように隣接しているとすると、画素Ｐａと直接隣り合っている画素Ｐｂは当然２次候補画素と判断される。また、２次候補画素と判断された画素Ｐｂと隣り合っている１次候補画素Ｐｃも２次候補画素と判断する。さらにこの画素Ｐｃと隣り合う１次候補画素が存在すれば、その画素も２次候補画素と判断する。
【００３８】
図５に戻り、ステップＳ１３では、２次候補画素の存在する頻度の高い画素（例えば全５フレーム中３フレームに２次候補画素が存在する画素）を新たに動体主要領域の画素として抽出する。これにより、図４の判断だけでは拾いきれなかった動体主要領域画素を確実に抽出することができる。
【００３９】
なお、上記説明では、各画素について全フレームで１次候補画素および２次候補画素を求めたが、あらかじめ各画素値の全フレーム平均を求め、その平均値を動体主要領域の代表値と比較し、類似する場合には新たに動体主要領域の画素として抽出するようにしてもよい。
【００４０】
図１に戻り、ステップＳ５では、図４および図５の結果に基づいて以下の画像合成処理を行う。まず、各画素Ｐ１〜Ｐ５について、式（１）で求めた基準画像Ｂ（ｉ，ｊ）とフレーム毎の各画素値Ｌ（ｎ，ｉ，ｊ）との差分の絶対値ΔＬＢ（ｎ，ｉ，ｊ）を式（３）により計算する。
【００４１】
【数３】
【００４２】
次に、図７のブレンド率算出表に基づいて、各画素のフレーム毎のブレンド率を算出する。ここで、動体主要領域の画素のブレンド率をαｍ、背景主要領域の画素のブレンド率をαｂとすると、上記基準画像Ｂ（ｉ，ｊ）との差分値ΔＬＢ（ｎ，ｉ，ｊ）が所定値σ以上かσ未満であるかによって、それぞれ具体的な値が決まる。なお、σの値は、実験的に最適な値に決めればよい。好ましくは数１０階調程度に設定するのがよい。
【００４３】
図中、ｈは、動体主要領域における条件１（ΔＬＢが所定値σ未満）を満たす画素の全フレーム中の個数、ｋは背景主要領域における条件２（ΔＬＢが所定値σ以上）を満たす画素の全フレーム中の個数である。動体主要領域の各画素のブレンド率αｍは、条件１のとき、すなわち動体画像が写っている画素と見なされるときに１／ｈに、一方条件２のとき、すなわち背景画像が写っている画素とみなされるときにゼロとなる。
【００４４】
一方、背景主要領域の各画素のブレンド率αｂは、全フレーム中、条件２を満たす画素（動体画像が写っている画素）の個数ｋがゼロのとき、すなわち全フレームが背景画像のみの場合には、各画素のαｂは１／Ｎ（Ｎは全フレーム数）となる。一方、ｋがゼロでないとき、すなわち全フレーム中に１枚でも動体画像がある場合には、条件１を満たす画素のαｂはゼロに、条件２を満たす画素のαｂは１／ｋに設定される。
【００４５】
具体例として、図３の背景主要領域である画素Ｐ１について見てみる。Ｐ１の第１フレームには動体が写っているので基準画像との差分値ΔＬＢ（１，Ｐ１）は所定値σ以上となる。よって、Ｐ１の第１フレームの画素（以後Ｐ１１と呼ぶ）に関するブレンド率αｂは１／ｋとなる。ここで、画素Ｐ１においては、所定値σ以上の条件を満たすフレームは第１フレームのみなので、ｋ＝１、すなわち画素Ｐ１１のブレンド率αｂは１／１＝１となる。一方、Ｐ１の第２フレーム以降の画素Ｐ１２（２番目のフレームの画素を意味し、以下同様に記す）、Ｐ１３、Ｐ１４、Ｐ１５はすべて背景画像なので、これらの差分値ΔＬＢ（２，Ｐ１２）、ΔＬＢ（３，Ｐ１３）、ΔＬＢ（４，Ｐ１４）、ΔＬＢ（５，Ｐ１５）はすべて所定値σ未満となり、ブレンド率αｂはすべてゼロとなる。
【００４６】
こうして画素Ｐ１のすべてのフレームに対するブレンド率が求まると、次式（４）によって各画素の全フレーム分の合成画素値を算出する。
【００４７】
【数４】
【００４８】
式（４）に基づいて具体的にＰ１について計算してみる。Ｐ１のような背景主要領域では基準画像は背景画像の画素値に近い値なので、Ｐ１における条件１に対応するフレーム数は４、条件２に対応するフレーム数は１となる。よって、Ｐ１の合成画素値は次式（５）のようになる。
【００４９】
【数１】
【００５０】
すなわち、画素Ｐ１に関しては第１フレームの画素Ｐ１１の画素値のみが合成される。同様に、今度は動体主要領域画素のＰ３について計算してみる。Ｐ３のような動体主要領域では基準画像は動体の画素値に近い値なので、Ｐ３における条件１に対応するフレーム数は３、条件２に対応するフレーム数は２となる。よって、Ｐ３の合成画素値は次式（６）のようになる。
【００５１】
【数１】
【００５２】
以下同様に、フレーム２０上のすべての画素について各ブレンド率を求め、前記式（４）によって加算することにより、合成画像が生成できる。
【００５３】
以上説明したように、本実施例によれば、フレーム内の画像を動体主要領域と背景主要領域とに区別して、それぞれに応じたブレンド率で画像を合成するようにしたので、野球のスウィングのように動体の重なりが多い連写画像であっても、図８に示すように、背景画像が被写体に写り込むことなく理想的な連写合成画像ができる。
【００５４】
なお、上記説明では、各領域の主体となす画像のみにブレンド率を与え、そうでない画像はブレンド率ゼロとしたが、これに限られず、主体でない画像についてもある程度のブレンド率を与えても良い。これにより、なめらかな画像が得られる。
【００５５】
また、本実施例では、画素値として各画素の輝度値（Ｙ信号）を用いたが、ＲＧＢの各色について演算してもよい。さらに、本実施例では、基準画像を式（１）による平均値で求める例を示したが、中央値を用いてもよい。
【実施例２】
【００５６】
次に本発明の第２の実施例について説明する。図９は第２の実施例の画像合成方法の全体の手順を示すフローチャートである。まず、ステップＳ２１では、図１の第１の実施例と同様の方法で画像データを取得する。ステップＳ２２では、合成用の画像フレームから基準画像を作成する。この作成には、第１の実施例と同様にすべてのフレームを用いるものとする。
【００５７】
ステップＳ２３では、合成用の画像フレームを一旦すべて合成する（予備合成画像と呼ぶ）。ステップＳ２４では、この予備合成画像を小区分領域、例えば１６×１６画素毎の領域に分ける。そして、各小区分領域のフーリエ変換を行い、周波数特性を算出する。
【００５８】
図１０は小区分領域の周波数特性の一例を示す図である。ステップＳ２５では、各小区分領域のピーク周波数ｆａが所定周波数ｆｘ以下となる領域を動体主要領域と判断する。この理由は、動体が重なっている領域については、対象フレームを合成すると全体的にぼやけた画像となり、周波数特性が低くなるからである。一方、ピーク周波数ｆａがｆｘよりも大きい領域を背景主要領域と判断する。これは、背景画像が主な領域については、合成してもエッジがはっきりとしているので、周波数特性は高くなると考えられるからである。
【００５９】
ただし、動体主要領域と判断された領域には、青空や無地の壁のように濃淡ない背景画像が含まれている可能性がある。そこで、ステップＳ２６では、動体主要領域と判断されたものから例外の画像を抽出する。具体的には、対象の小区分領域の各画素について、実施例１で述べた式（２）と同じ計算式によって、フレーム間の画素値の差分を計算する。その差分の絶対値が所定値以下（例えば階調３以下）となる個数が全演算数ｍの半数以上となる場合には、その画素については背景主要領域とみなす。この場合、画素単位で判断してもよいし、背景主要領域画素とみなされた画素が大半を占める小区分についてはその中の画素すべてを背景主要領域画素とみなしてもよい。
【００６０】
ステップＳ２７では、このように選別された画素の種類に応じて、実施例１の図１のステップＳ５と同じ要領で最終合成画像を生成する。これにより、実施例１同様に、理想的な連写合成画像を生成することができる。
【産業上の利用可能性】
【００６１】
連写された画像のデジタルデータをデジタルカメラやその他の携帯端末装置、さらにはパーソナルコンピュータ上にて合成する方法に利用できる。
【符号の説明】
【００６２】
１ 撮影光学系
２ 撮像素子
５ コントローラ
５ａ 画像合成プログラム
７ メモリカード
８ ＬＣＤ
２１ 被写体
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５ 画素
【技術分野】
【０００１】
本発明は、動画や連写画像を重ね合わせて1枚の静止画像を作成する画像合成方法、画像合成プログラムおよび画像合成装置に関するものである。
【背景技術】
【０００２】
従来、動画や連写画像を重ね合わせて1枚の静止画像を作成する方法がある。先行文献１および先行文献２では、複数の画像フレーム上の同一位置の画素について、画素値の平均値もしくは中央値から基準画像としての背景画像を生成し、その背景画像に近い画素値の場合はブレンド率を低く設定し、大きく離れた画素値はブレンド率を高く設定し、それぞれのブレンド率を掛け合わされた画素値を加算することで合成画像を生成している。
【０００３】
これにより、全フレームを通して出現頻度の高い画像は背景の一部とみなされて低いブレンド率で合成され、一方、出現頻度の低い動体は高いブレンド率で貼り付けられる。
【０００４】
しかし、上記従来の方法では、被写体の２次元方向への移動量が少ない画像では、うまく合成できないことがあった。例えば、図１１の野球のスウィングのように被写体１００が回転動作をしている場合は、被写体１００がフレームの大部分で重なっているため、平均値や中央値をとると、本来動体である被写体１００が背景画像として認識されてしまう。すると、例えば５枚連写のときに１フレームもしくは２フレームだけ被写体１００の位置がずれてその領域に本当の背景画像１０１が写った場合には、その背景画像１０１が動体とみなされてしまう。この結果、背景画像１０１が強くブレンドされるので、被写体１００に背景画像１０１が透けて写りこんでしまうという問題があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】登録第３４１１４６９号
【特許文献２】登録第４４１５１９８号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明では、２次元方向への移動の少ない動体の連続撮影画像を合成する際に動体部分に背景が強く映りこむことを防止することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、複複数の撮像フレームを合成して１枚の画像を生成する画像合成方法において、前記複数のフレームの画像データに基づいて基準画像を生成する基準画像生成ステップと、前記フレームの各画素の画素値変化特性を算出する画素値変化特性算出ステップと、前記画素値変化特性に基づいて、前記各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する領域判断ステップと、前記動体主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、前記背景主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を強くブレンドする画像ブレンドステップと、を有することを特徴とする。
【０００８】
また、本発明は、複数の撮像フレームを合成して１枚の画像を生成する画像合成プログラムにおいて、前記複数のフレームの画像データに基づいて基準画像を生成する基準画像生成ステップと、前記フレームの各画素の画素値変化特性を算出する画素値変化特性算出ステップと、前記画素値変化特性に基づいて、前記各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する領域判断ステップと、前記動体主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、前記背景主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を強くブレンドする画像ブレンドステップと、をコンピュータに実行させることを特徴とする。
【０００９】
さらに、本発明では、複数の撮像フレームを合成して１枚の画像を生成する画像合成装置において、前記複数のフレームの画像データに基づいて基準画像を生成する基準画像生成手段と、前記フレームの各画素の画素値変化特性を算出する画素値変化特性算出手段と、前記画素値変化特性に基づいて、前記各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する領域判断手段と、前記動体主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、前記背景主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を強くブレンドする画像ブレンド手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数のフレームの画像データに基づいて基準画像を生成する一方、フレームの各画素の画素値の変化特性を算出し、その画素値変化特性に基づいて、各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する。そして、動体主要領域の画素とみなされた場合には、基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、背景主要領域の画素とみなされた場合には、基準画像の画素値との差分が大きい画素値を強くブレンドする。
【００１１】
通常、動体がほとんど同じ位置で重なっている画像であっても、動きによって被写体やその衣服の形状に変化があるので、全フレームを通して必ず画素値に変化が見られる。一方、大多数のフレームで動きのない背景が映っている場合には、その部分の画素値の変化は非常に少ない。これらの画素値の変化の特性を捉えることで、従来は背景画像とみなされていた動体画像を正確に判断できる。そして、動体主要領域と判断された画素については、例えば全フレーム中一枚だけに背景画像が写っていたとしても、その背景画像の画素値が動体の画素値と大きく異なれば弱くブレンドされるので、動体部分に背景画像が映り込むことが防止できる。また、万一動体の画素値と大きな差がなければ、動体と同程度の割合でブレンドされるので、違和感は生じない。
【００１２】
一方、背景主要領域とみなされた画素の場合は、たとえば全フレーム中一枚だけに動体が写っていたとすると、その動体は強くブレンドされるので、背景の上に動体部分を確実に合成できる。よって、より正確な連写合成写真を生成できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施例の画像合成方法の全体の手順を示すフローチャートである。
【図２】本実施形態におけるデジタルカメラの構成を示すブロック図である。
【図３】フレーム内を動く被写体を５枚連写した場合の画像合成の一例を示す図である。（実施例１）
【図４】フレーム間差分値計算と領域判別結果の一例を示す図である。（実施例１）
【図５】領域判別精度アップフローチャートである。（実施例１）
【図６】画素の近接の判断を説明する図である。（実施例１）
【図７】ブレンド率算出表を示す図である。（実施例１）
【図８】理想的な連写合成画像の異例を示す図である。（実施例１）
【図９】本発明の第２の実施例の画像合成方法の全体の手順を示すフローチャートである。
【図１０】小区分領域の周波数特性の一例を示す図である。（実施例２）
【図１１】従来の連写合成画像の例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面に基づき本発明の実施形態について、画像合成プログラムを有する画像合成装置としてデジタルカメラを例にとり説明する。但し、本発明はデジタルカメラに限定されるものではなく、他の画像合成装置、例えばビデオカメラや携帯電話、さらにパーソナルコンピュータにも適用可能である。
【００１５】
図２に、本実施形態におけるデジタルカメラの構成を示す。撮影光学系１は、詳細には撮影レンズ、絞り及びメカシャッタを含む。撮影レンズは、さらにフォーカスレンズ、ズームレンズ及びアイリスを含む。撮影光学系１の各レンズやシャッタは、ＡＥ／ＡＦ制御部９からの指令に従ってモータやドライバにより駆動される。撮像素子２は、撮影光学系１により結像された被写体画像を電気信号に変換し、Ｒ、Ｇ、Ｂの各画像信号として出力する。撮像素子２は、ＣＣＤセンサやＣＭＯＳセンサから構成され、蓄積電荷がタイミングジェネレータ（ＴＧ）からのタイミング信号に応じて順次読み出される。
【００１６】
アナログフロントエンド（ＡＦＥ）３は、アナログ信号処理部であり、アナログ画像信号に対して増幅、ゲイン調整、リセット時の電圧値と信号出力時の電圧値の差分をとることで固定パターン雑音を除去する相関２重サンプリング（ＣＤＳ）処理を行う。ＡＤ変換回路４は、アナログフロントエンド（ＡＦＥ）３から供給された画像信号をデジタル信号に変換する。
【００１７】
コントローラ５は、図示しないＣＰＵ、画像メモリ、および不揮発性メモリを含み、不揮発性メモリに格納された撮影プログラムを実行することで、操作部６からの操作信号を受けて撮影動作を行う。また、コントローラ５は、図示しない公知のゲイン補正、ガンマ補正、同時化処理、ＲＧＢ−ＹＣ分離、ノイズ低減処理、エッジ強調処理、ＪＰＥＧ圧縮処理の各ブロックを含み、入力信号に対してゲイン補正やガンマ補正、同時化処理等を実行してＹ信号とＣ信号の画像データを生成する。ゲイン補正は、入力されたＲＡＷデータ（ＲＧＢ画像化前の空間的に不完全なサンプリングデータ）の各チャンネル毎に異なるゲインを補正してグレーバランスを合わせるものである。ガンマ補正は、ＣＣＤ等の撮像素子の特性をＬＣＤ８の入出力特性に合わせるものである。同時化処理は、Ｂａｙｅｒ配列の単板ＣＣＤからＲＧＢ３画像を生成するものである。生成された画像データはメモリカード７に格納される。また、圧縮画像データに所定の伸長処理を実行して非圧縮の画像データを生成する。非圧縮の画像データは、撮影済みの画像としてＬＣＤ８に表示される。
【００１８】
さらに、コントローラ５は、ＬＣＤ８に表示するプレビュー画像を生成するための回路や被写体画像から顔画像を検出する回路、及びＡＷＢ（オートホワイトバランス）回路を有する。さらにまた、コントローラ５には、本実施形態の画像合成プログラム５ａが図示しない不揮発性メモリに格納されており、この画像合成プログラム５ａに従って、後述する画像合成処理を実行する。なお、コントローラ５は、単一のプロセッサで構成される他、システム全体を制御するＭＰＵと、そのサブプロセッサとして画像データを高速で処理するＤＩＰ（デジタルイメージプロセッサ）とから構成されていてもよい。
【００１９】
ＡＥ／ＡＦ制御部９は、ＣＰＵを含み、ＡＥ（自動露出制御）及びＡＦ（自動焦点制御）に必要な物理量を算出する。具体的には、画像信号から被写体の輝度を検出し、また、被写体までの距離を検出する。被写体の輝度から適正露出が決定され、絞り値、シャッタ速度、ＩＳＯ感度が決定される。
【実施例１】
【００２０】
次に本発明の第1の実施例を説明する。図１は、本発明の第１の実施例の画像合成方法の全体の手順を示すフローチャートである。まず、ステップＳ１では、デジタルカメラによってなされた高速連写の画像データを取得する。具体的には、多数枚（例えば１０枚）の高速連続撮影を行い、その中から時間的に等間隔に少数枚（例えば５枚）を自動選択してもよいし、あらかじめ合成枚数のみ撮影するようにしてもよい。あるいは、撮影済みの画像データをメモリカード７から読み出してもよい。
【００２１】
ステップＳ２では、合成用の画像フレームから基準画像を作成する。基準画像とは、動体画像を除いたいわゆる背景画像であり、画像合成のベースとなる画像を意味する。基準画像の作成に利用する画像フレームは、合成するすべてのフレームでもよいが、合成枚数が多い場合には任意枚数を選択してもよい。本実施例では、すべてのフレームを用いるものとする。
【００２２】
基準画像フレーム上の任意の画素（ｉ，ｊ）における画素値をＢ（ｉ，ｊ）とすると、Ｂ（ｉ，ｊ）は次式（１）によって表される。
【００２３】
【数１】
【００２４】
ここで、Ｎは合成対象のフレーム数、Ｌ（ｎ，ｉ，ｊ）はｎ番目のフレーム上の任意の画素（ｉ，ｊ）の画素値である。この画素値には、例えばコントローラ５によってＲＧＢ−ＹＣ分離された画像信号のＹ信号成分（輝度信号成分）を用いる。また、Ｙ信号は８ビット、すなわち２５５階調とする。式（１）により、基準画像Ｂ（ｉ，ｊ）は全フレームの輝度値の平均値であることが示される。
【００２５】
次に、ステップＳ３では、連続するフレーム間の各画素値Ｌ（ｎ，ｉ，ｊ）の差分値の絶対値ΔＬ（ｍ，ｉ，ｊ）を次式（２）によって求める。
【００２６】
【数２】
【００２７】
ここで、ｍはｎ＋１番目のフレームとｎ番目のフレームとの差分計算の順番を意味し、ｍ＝Ｎ−１が最大である。
【００２８】
図３はフレーム２０内を動く被写体２１を５枚連写した場合の画像合成の一例を示す図である。なお、ここでは背景画像の図示は省略してある。図に示すように、被写体２１は、図面右側の位置２１ａから左周りに円弧を描くように移動しているものとする。すなわち、第１のフレーム（ｎ＝１）は被写体２１が位置２１ａにいるときの画像、同様に第２のフレーム（ｎ＝２）は被写体２１が位置２１ｂに、第３のフレーム（ｎ＝３）は位置２１ｃに、第４のフレーム（ｎ＝４）は位置２１ｄに、さらに第５のフレーム（ｎ＝５）は位置２１ｅにいるときの画像である。
【００２９】
このような連写画像において、サンプルとして画素Ｐ１〜Ｐ５の５点について説明する。まず、画素Ｐ１についてのフレーム間の差分値ΔＬ（ｍ，Ｐ１）を求める。なお、ここでは、わかりやすくするため座標ｉ，ｊの代わりに画素の名称Ｐ１等を記載する。画素Ｐ１は、全５フレームのうち第１のフレームのみに被写体２１が写っており、他のフレームではすべて背景画像である。よって、第２フレームと第１フレームの差分値、すなわちｍ＝１の差分値ΔＬ（１，Ｐ１）は、背景画像の画素値（輝度値）と被写体２１の画素値（輝度値）との差分の絶対値となる。一方、それ以外のフレーム間の差分値ΔＬ（２，Ｐ１）、ΔＬ（３，Ｐ１）、およびΔＬ（４，Ｐ１）は、背景画像どうしの差分になるのでほとんどゼロである。
【００３０】
次に、画素Ｐ２では、第１のフレームと第２のフレームにおいて被写体２１がそれぞれ位置２１ａ、位置２１ｂに写っている。一方、第３フレーム以降は背景画像のみが写っている。よって、第２フレームと第１フレームの差分値ΔＬ（１，Ｐ２）は、被写体２１どうしの差分値となる。このとき、被写体２１は、フレーム間のわずかなタイミングではあるが、その向きや位置が変化している。また被写体が人間であれば衣服のシワの変化などが起こる。これにより光の反射が変わるので、僅かながらに画素値にも変化が起こる。よって、差分値ΔＬ（１，Ｐ２）はある程度の大きさの階調値となる。一方、ｍ＝２の差分値ΔＬ（２，Ｐ２）は、背景画像と位置２１ｂの被写体２１との差分値になり、一般的には大きい値となる。さらにｍ＝３、４の差分値ΔＬ（３，Ｐ２）、ΔＬ（４，Ｐ２）については、背景画像どうしの差分になるのでほぼゼロとなる。
【００３１】
画素Ｐ３では、第１のフレームから第３のフレームにおいて被写体２１がそれぞれ位置２１ａ、位置２１ｂ、位置２１ｃに写っている。一方、第４フレーム以降は背景画像のみが写っている。よって、第２フレームと第１フレームの差分値ΔＬ（１，Ｐ３）は、被写体どうしの差分値となる。同様に、第３フレームと第２フレームの差分値ΔＬ（２，Ｐ３）も被写体どうしの差分値になる。そして、第４フレームと第３フレームの差分値ΔＬ（３，Ｐ３）は、位置２１ｃの被写体と背景との差分値、さらに第５フレームと第４フレームの差分値ΔＬ（４，Ｐ３）は、背景どうしの差分値となる。
【００３２】
画素Ｐ４および画素Ｐ５についても同様の処理がなされる。図１のステップＳ４に戻り、コントローラ５は、これらの計算結果から各画素が、全フレームを通して動体画像の存在する頻度の高い動体主要領域の画素であるか、あるいは背景画像の存在する頻度の高い背景主要領域の画素であるかを判別する。
【００３３】
図４はフレーム間差分値計算と領域判別結果の一例を示す図である。コントローラ５は、各画素Ｐ１〜Ｐ５について、フレーム間の差分値の絶対値ΔＬが所定値Ｌｘ以上となる数をカウントする。この所定値Ｌｘは、理論的には１以上に設定されていればよいが、本実施例では、ノイズや撮影中の微妙な手ぶれ等を考慮して、「３」に設定する。コントローラ５は、差分値ΔＬが所定値「３」以上となる数のカウント値が２個以下の画素については背景主要領域、総数ｍ＝４の半数を超える３個以上の画素については動体主要領域と判別する。この結果、画素Ｐ１およびＰ２が背景主要領域、画素Ｐ３、Ｐ４、Ｐ５が動体主要領域と判別される。
【００３４】
上記説明ではサンプルとして点Ｐ１〜Ｐ５の５個の画素のみについて判別する例を示したが、フレーム上のすべての画素について同様の処理を行うことは言うまでもない。この結果、図３の例では図中斜線で示した領域が動体主要領域、その他の領域が背景主要領域と判別される。
【００３５】
ところで、動体でありながらその輝度値に変化がほとんどない場合には、上記方法では正確に領域を判別できないことがある。例えば、被写体が無地の暗い色の服を着ている場合には、画素によっては連写中ほとんど画素値に変化が生じないことがある。このような画素は、本来は動体主要領域であるにも関わらず背景主要領域と判別される可能性が高くなる。その結果、例えば図１の斜線の動体主要領域のうちいくつかの画素が背景主要領域画素と判断され、同じ種類の領域にもかかわらず正反対のブレンド処理がなされてしまう。このため、斑状の合成画像ができてしまう虞がある。
【００３６】
そこで、本実施例では、上記の判別手順を一通り行った後で、図５の領域判別精度アップフローチャートを実行する。まず、ステップＳ１１では、背景主要領域と判断された画素の中から、動体主要領域の代表値と画素値が近似している画素（１次候補画素と呼ぶ）をフレーム毎に抽出する。動体主要領域の代表値は、全フレームの平均値または中央値をとることが好ましい。また、近似の判断としては、代表値と画素値の差分値が数階調程度以下となるかどうかを基準にするのがよい。抽出の具体例としては、例えば図３の画素Ｐ３が本来動体主要領域であるにも関わらず背景主要領域と判断されたとすると、画素Ｐ３の第１〜第５の各フレームにおける画素値をすべての動体主要領域の代表値と比較する。そして、いずれかのフレームに一つでも近似する動体主要領域が存在すれば、そのフレームの画素を１次候補画素と判断する。
【００３７】
次に、１次候補画素と判断された画素のうち、動体主要領域と近接している画素を２次候補画素として抽出する（ステップＳ１２）。この近接の判断を図６に基づいて説明する。例えば動体主要領域画素と判断されている画素Ｐａの横に上記１次候補画素ＰｂおよびＰｃが図のように隣接しているとすると、画素Ｐａと直接隣り合っている画素Ｐｂは当然２次候補画素と判断される。また、２次候補画素と判断された画素Ｐｂと隣り合っている１次候補画素Ｐｃも２次候補画素と判断する。さらにこの画素Ｐｃと隣り合う１次候補画素が存在すれば、その画素も２次候補画素と判断する。
【００３８】
図５に戻り、ステップＳ１３では、２次候補画素の存在する頻度の高い画素（例えば全５フレーム中３フレームに２次候補画素が存在する画素）を新たに動体主要領域の画素として抽出する。これにより、図４の判断だけでは拾いきれなかった動体主要領域画素を確実に抽出することができる。
【００３９】
なお、上記説明では、各画素について全フレームで１次候補画素および２次候補画素を求めたが、あらかじめ各画素値の全フレーム平均を求め、その平均値を動体主要領域の代表値と比較し、類似する場合には新たに動体主要領域の画素として抽出するようにしてもよい。
【００４０】
図１に戻り、ステップＳ５では、図４および図５の結果に基づいて以下の画像合成処理を行う。まず、各画素Ｐ１〜Ｐ５について、式（１）で求めた基準画像Ｂ（ｉ，ｊ）とフレーム毎の各画素値Ｌ（ｎ，ｉ，ｊ）との差分の絶対値ΔＬＢ（ｎ，ｉ，ｊ）を式（３）により計算する。
【００４１】
【数３】
【００４２】
次に、図７のブレンド率算出表に基づいて、各画素のフレーム毎のブレンド率を算出する。ここで、動体主要領域の画素のブレンド率をαｍ、背景主要領域の画素のブレンド率をαｂとすると、上記基準画像Ｂ（ｉ，ｊ）との差分値ΔＬＢ（ｎ，ｉ，ｊ）が所定値σ以上かσ未満であるかによって、それぞれ具体的な値が決まる。なお、σの値は、実験的に最適な値に決めればよい。好ましくは数１０階調程度に設定するのがよい。
【００４３】
図中、ｈは、動体主要領域における条件１（ΔＬＢが所定値σ未満）を満たす画素の全フレーム中の個数、ｋは背景主要領域における条件２（ΔＬＢが所定値σ以上）を満たす画素の全フレーム中の個数である。動体主要領域の各画素のブレンド率αｍは、条件１のとき、すなわち動体画像が写っている画素と見なされるときに１／ｈに、一方条件２のとき、すなわち背景画像が写っている画素とみなされるときにゼロとなる。
【００４４】
一方、背景主要領域の各画素のブレンド率αｂは、全フレーム中、条件２を満たす画素（動体画像が写っている画素）の個数ｋがゼロのとき、すなわち全フレームが背景画像のみの場合には、各画素のαｂは１／Ｎ（Ｎは全フレーム数）となる。一方、ｋがゼロでないとき、すなわち全フレーム中に１枚でも動体画像がある場合には、条件１を満たす画素のαｂはゼロに、条件２を満たす画素のαｂは１／ｋに設定される。
【００４５】
具体例として、図３の背景主要領域である画素Ｐ１について見てみる。Ｐ１の第１フレームには動体が写っているので基準画像との差分値ΔＬＢ（１，Ｐ１）は所定値σ以上となる。よって、Ｐ１の第１フレームの画素（以後Ｐ１１と呼ぶ）に関するブレンド率αｂは１／ｋとなる。ここで、画素Ｐ１においては、所定値σ以上の条件を満たすフレームは第１フレームのみなので、ｋ＝１、すなわち画素Ｐ１１のブレンド率αｂは１／１＝１となる。一方、Ｐ１の第２フレーム以降の画素Ｐ１２（２番目のフレームの画素を意味し、以下同様に記す）、Ｐ１３、Ｐ１４、Ｐ１５はすべて背景画像なので、これらの差分値ΔＬＢ（２，Ｐ１２）、ΔＬＢ（３，Ｐ１３）、ΔＬＢ（４，Ｐ１４）、ΔＬＢ（５，Ｐ１５）はすべて所定値σ未満となり、ブレンド率αｂはすべてゼロとなる。
【００４６】
こうして画素Ｐ１のすべてのフレームに対するブレンド率が求まると、次式（４）によって各画素の全フレーム分の合成画素値を算出する。
【００４７】
【数４】
【００４８】
式（４）に基づいて具体的にＰ１について計算してみる。Ｐ１のような背景主要領域では基準画像は背景画像の画素値に近い値なので、Ｐ１における条件１に対応するフレーム数は４、条件２に対応するフレーム数は１となる。よって、Ｐ１の合成画素値は次式（５）のようになる。
【００４９】
【数１】
【００５０】
すなわち、画素Ｐ１に関しては第１フレームの画素Ｐ１１の画素値のみが合成される。同様に、今度は動体主要領域画素のＰ３について計算してみる。Ｐ３のような動体主要領域では基準画像は動体の画素値に近い値なので、Ｐ３における条件１に対応するフレーム数は３、条件２に対応するフレーム数は２となる。よって、Ｐ３の合成画素値は次式（６）のようになる。
【００５１】
【数１】
【００５２】
以下同様に、フレーム２０上のすべての画素について各ブレンド率を求め、前記式（４）によって加算することにより、合成画像が生成できる。
【００５３】
以上説明したように、本実施例によれば、フレーム内の画像を動体主要領域と背景主要領域とに区別して、それぞれに応じたブレンド率で画像を合成するようにしたので、野球のスウィングのように動体の重なりが多い連写画像であっても、図８に示すように、背景画像が被写体に写り込むことなく理想的な連写合成画像ができる。
【００５４】
なお、上記説明では、各領域の主体となす画像のみにブレンド率を与え、そうでない画像はブレンド率ゼロとしたが、これに限られず、主体でない画像についてもある程度のブレンド率を与えても良い。これにより、なめらかな画像が得られる。
【００５５】
また、本実施例では、画素値として各画素の輝度値（Ｙ信号）を用いたが、ＲＧＢの各色について演算してもよい。さらに、本実施例では、基準画像を式（１）による平均値で求める例を示したが、中央値を用いてもよい。
【実施例２】
【００５６】
次に本発明の第２の実施例について説明する。図９は第２の実施例の画像合成方法の全体の手順を示すフローチャートである。まず、ステップＳ２１では、図１の第１の実施例と同様の方法で画像データを取得する。ステップＳ２２では、合成用の画像フレームから基準画像を作成する。この作成には、第１の実施例と同様にすべてのフレームを用いるものとする。
【００５７】
ステップＳ２３では、合成用の画像フレームを一旦すべて合成する（予備合成画像と呼ぶ）。ステップＳ２４では、この予備合成画像を小区分領域、例えば１６×１６画素毎の領域に分ける。そして、各小区分領域のフーリエ変換を行い、周波数特性を算出する。
【００５８】
図１０は小区分領域の周波数特性の一例を示す図である。ステップＳ２５では、各小区分領域のピーク周波数ｆａが所定周波数ｆｘ以下となる領域を動体主要領域と判断する。この理由は、動体が重なっている領域については、対象フレームを合成すると全体的にぼやけた画像となり、周波数特性が低くなるからである。一方、ピーク周波数ｆａがｆｘよりも大きい領域を背景主要領域と判断する。これは、背景画像が主な領域については、合成してもエッジがはっきりとしているので、周波数特性は高くなると考えられるからである。
【００５９】
ただし、動体主要領域と判断された領域には、青空や無地の壁のように濃淡ない背景画像が含まれている可能性がある。そこで、ステップＳ２６では、動体主要領域と判断されたものから例外の画像を抽出する。具体的には、対象の小区分領域の各画素について、実施例１で述べた式（２）と同じ計算式によって、フレーム間の画素値の差分を計算する。その差分の絶対値が所定値以下（例えば階調３以下）となる個数が全演算数ｍの半数以上となる場合には、その画素については背景主要領域とみなす。この場合、画素単位で判断してもよいし、背景主要領域画素とみなされた画素が大半を占める小区分についてはその中の画素すべてを背景主要領域画素とみなしてもよい。
【００６０】
ステップＳ２７では、このように選別された画素の種類に応じて、実施例１の図１のステップＳ５と同じ要領で最終合成画像を生成する。これにより、実施例１同様に、理想的な連写合成画像を生成することができる。
【産業上の利用可能性】
【００６１】
連写された画像のデジタルデータをデジタルカメラやその他の携帯端末装置、さらにはパーソナルコンピュータ上にて合成する方法に利用できる。
【符号の説明】
【００６２】
１ 撮影光学系
２ 撮像素子
５ コントローラ
５ａ 画像合成プログラム
７ メモリカード
８ ＬＣＤ
２１ 被写体
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５ 画素
【特許請求の範囲】
【請求項１】
複数の撮像フレームを合成して１枚の画像を生成する画像合成方法において、
前記複数のフレームの画像データに基づいて基準画像を生成する基準画像生成ステップと、
前記フレームの各画素の画素値変化特性を算出する画素値変化特性算出ステップと、
前記画素値変化特性に基づいて、前記各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する領域判断ステップと、
前記動体主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、前記背景主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を強くブレンドする画像ブレンドステップと、
を有することを特徴とする画像合成方法。
【請求項２】
前記画素値変化特性は、各画素の連続するフレーム間の画素値の差分値データであり、
前記領域判断ステップは、前記差分値の絶対値が所定値以上となる場合の割合に応じてその画素が前記動体主要領域か前記背景主要領域かを判断する、
ことを特徴とする請求項１記載の画像合成方法。
【請求項３】
前記領域判断ステップは、前記差分値の絶対値が所定値以上となる場合の割合が半数以上の場合に、その画素が前記動体主要領域と判断する、
ことを特徴とする請求項２記載の画像合成方法。
【請求項４】
前記領域判断ステップは、前記背景主要領域と判断された画素のうち、前記動体主要領域の画素と近接しかつ画素値が近い画素については前記動体主要領域と判断する、
ことを特徴とする請求項２記載の画像合成方法。
【請求項５】
前記画素値変化特性算出ステップは、前記合成対象のフレームのうち所定数以上のフレームを合成して予備合成画像を生成する予備合成画像生成ステップと、前記予備合成画像を小領域に分割し前記小領域毎に周波数特性を算出する周波数特性算出ステップとを有し、
前記領域判断ステップは、前記周波数特性のピーク周波数に応じて、前記各小領域が前記動体主要領域画素か前記背景主要領域かを判断する、
ことを特徴とする請求項１記載の画像合成方法。
【請求項６】
前記領域判断ステップでは、前記ピーク周波数が所定周波数以下となる場合に、その小領域を前記動体主要領域と判断する、
ことを特徴とする請求項５記載の画像合成方法。
【請求項７】
前記領域判断ステップは、前記動体主要領域と判断された小領域の各画素について、それぞれ連続するフレーム間の差分値を算出し、前記差分値の絶対値が所定値以下となる割合が高い場合には、その画素を前記背景主要領域と判断する、
ことを特徴とする請求項５記載の画像合成方法。
【請求項８】
複数の撮像フレームを合成して１枚の画像を生成する画像合成プログラムにおいて、
前記複数のフレームの画像データに基づいて基準画像を生成する基準画像生成ステップと、
前記フレームの各画素の画素値変化特性を算出する画素値変化特性算出ステップと、
前記画素値変化特性に基づいて、前記各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する領域判断ステップと、
前記動体主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、前記背景主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を強くブレンドする画像ブレンドステップと、
をコンピュータに実行させることを特徴とする画像合成プログラム。
【請求項９】
複数の撮像フレームを合成して１枚の画像を生成する画像合成装置において、
前記複数のフレームの画像データに基づいて基準画像を生成する基準画像生成手段と、
前記フレームの各画素の画素値変化特性を算出する画素値変化特性算出手段と、
前記画素値変化特性に基づいて、前記各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する領域判断手段と、
前記動体主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、前記背景主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を強くブレンドする画像ブレンド手段と、
を有することを特徴とする画像合成装置。
【請求項１】
複数の撮像フレームを合成して１枚の画像を生成する画像合成方法において、
前記複数のフレームの画像データに基づいて基準画像を生成する基準画像生成ステップと、
前記フレームの各画素の画素値変化特性を算出する画素値変化特性算出ステップと、
前記画素値変化特性に基づいて、前記各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する領域判断ステップと、
前記動体主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、前記背景主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を強くブレンドする画像ブレンドステップと、
を有することを特徴とする画像合成方法。
【請求項２】
前記画素値変化特性は、各画素の連続するフレーム間の画素値の差分値データであり、
前記領域判断ステップは、前記差分値の絶対値が所定値以上となる場合の割合に応じてその画素が前記動体主要領域か前記背景主要領域かを判断する、
ことを特徴とする請求項１記載の画像合成方法。
【請求項３】
前記領域判断ステップは、前記差分値の絶対値が所定値以上となる場合の割合が半数以上の場合に、その画素が前記動体主要領域と判断する、
ことを特徴とする請求項２記載の画像合成方法。
【請求項４】
前記領域判断ステップは、前記背景主要領域と判断された画素のうち、前記動体主要領域の画素と近接しかつ画素値が近い画素については前記動体主要領域と判断する、
ことを特徴とする請求項２記載の画像合成方法。
【請求項５】
前記画素値変化特性算出ステップは、前記合成対象のフレームのうち所定数以上のフレームを合成して予備合成画像を生成する予備合成画像生成ステップと、前記予備合成画像を小領域に分割し前記小領域毎に周波数特性を算出する周波数特性算出ステップとを有し、
前記領域判断ステップは、前記周波数特性のピーク周波数に応じて、前記各小領域が前記動体主要領域画素か前記背景主要領域かを判断する、
ことを特徴とする請求項１記載の画像合成方法。
【請求項６】
前記領域判断ステップでは、前記ピーク周波数が所定周波数以下となる場合に、その小領域を前記動体主要領域と判断する、
ことを特徴とする請求項５記載の画像合成方法。
【請求項７】
前記領域判断ステップは、前記動体主要領域と判断された小領域の各画素について、それぞれ連続するフレーム間の差分値を算出し、前記差分値の絶対値が所定値以下となる割合が高い場合には、その画素を前記背景主要領域と判断する、
ことを特徴とする請求項５記載の画像合成方法。
【請求項８】
複数の撮像フレームを合成して１枚の画像を生成する画像合成プログラムにおいて、
前記複数のフレームの画像データに基づいて基準画像を生成する基準画像生成ステップと、
前記フレームの各画素の画素値変化特性を算出する画素値変化特性算出ステップと、
前記画素値変化特性に基づいて、前記各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する領域判断ステップと、
前記動体主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、前記背景主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を強くブレンドする画像ブレンドステップと、
をコンピュータに実行させることを特徴とする画像合成プログラム。
【請求項９】
複数の撮像フレームを合成して１枚の画像を生成する画像合成装置において、
前記複数のフレームの画像データに基づいて基準画像を生成する基準画像生成手段と、
前記フレームの各画素の画素値変化特性を算出する画素値変化特性算出手段と、
前記画素値変化特性に基づいて、前記各画素が動体画像の存在する頻度の高い動体主要領域か、背景画像の存在する頻度の高い背景主要領域かを判断する領域判断手段と、
前記動体主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を弱くブレンドし、一方、前記背景主要領域の画素とみなされた場合には、前記基準画像の画素値との差分が大きい画素値を強くブレンドする画像ブレンド手段と、
を有することを特徴とする画像合成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２２１６８０（Ｐ２０１１−２２１６８０Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−８８３５２（Ｐ２０１０−８８３５２）
【出願日】平成２２年４月７日（２０１０．４．７）
【出願人】（５９２１３６２３３）
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月７日（２０１０．４．７）
【出願人】（５９２１３６２３３）
【Ｆターム（参考）】
[ Back to top ]