画像合成装置、及びプログラム
【課題】予期せず明るさにムラのある画像を取得しても合成画像にその影響が出ないようにする。
【解決手段】図３（Ｃ）に示す、予期せぬストロボフラッシュにより部分的に明るくされた連写画像ＰＣの領域Ｃ２に関しては加算合成に採用せず、領域Ｃ１、Ｃ３は加算合成に採用して、連写された複数枚の画像をノイズ低減し加算合成する。これにより、連写された複数枚の画像において連写画像ＰＣの領域Ｃ２は採用されていない「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」が生成されることとなる。そして、生成した「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」を用いて、動体判定マップＭをαマップとして、
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成する。これにより、図３（Ｅ）に示す領域Ｅ１，Ｅ２，Ｅ３が同一の明るさであり、明るさにムラのない合成画像ＰＥを得ることができる。
【解決手段】図３（Ｃ）に示す、予期せぬストロボフラッシュにより部分的に明るくされた連写画像ＰＣの領域Ｃ２に関しては加算合成に採用せず、領域Ｃ１、Ｃ３は加算合成に採用して、連写された複数枚の画像をノイズ低減し加算合成する。これにより、連写された複数枚の画像において連写画像ＰＣの領域Ｃ２は採用されていない「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」が生成されることとなる。そして、生成した「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」を用いて、動体判定マップＭをαマップとして、
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成する。これにより、図３（Ｅ）に示す領域Ｅ１，Ｅ２，Ｅ３が同一の明るさであり、明るさにムラのない合成画像ＰＥを得ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置、及びプログラムに関する。
【背景技術】
【０００２】
従来より、連写された画像を画素加算合成することにより、夜景等、光量の少ない撮影環境であっても、記録するのに十分な明るさを有する画像を生成する技術が知られている。
また、特許文献１に記載されるように、カメラをユーザが手に持って撮影する手持ち撮影の際、撮像画角のブレを補正し合成する画像合成技術も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１４８５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ローリングシャッター方式で画像信号を読み出す機能を有するカメラの場合、露光や読出しを行なっている期間に予期しないストロボフラッシュが炊かれ、これにより一時的な撮影環境上の明るさの変化があると、明るさにムラのある画像を取得してしまうことがある。
【０００５】
そしてこのような画像を例えば連写及びこれによる加算合成に使用すると、明るさの変化を残したまま合成されるので結果的に明るさにムラの生じた合成画像が生成されることになる。
【０００６】
本願発明はこのような問題点に鑑みて成されたものであり、予期せず明るさにムラのある画像を取得しても合成画像にその影響が出ないようにすることを目的とするものである。
【課題を解決するための手段】
【０００７】
前記課題を解決するために本発明は、時間的に連続する複数の画像を取得する画像取得手段と、この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段と、この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える画像を検出する検出手段と、この検出手段によって検出された画像に基づいて透過強度を設定する設定手段と、この設定手段によって設定された透過強度を用いて前記検出された画像を含む画像取得手段によって取得された複数の画像を加算合成して一つの画像を生成する画像生成手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、明るさにムラのある画像を取得しても合成画像にその影響が出ないようにすることができる。したがって、ローリングシャッター方式で画像信号を読み出す機能を有するカメラにおいて、連写の最中にストロボフラッシュ等による一時的な撮影環境上の明るさの変化があった場合でも、明るさにムラのない合成画像を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施の形態を適用した撮像装置の回路ブロック図である。
【図２】同撮像装置における処理手順を示すフローチャートである。
【図３】同処理手順における画像例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態に係る画像処理装置を備える撮像装置の回路構成図である。この撮像装置は、ローリングシャッター方式で画像信号を読み出す機能を有するものであり、駆動制御部２、ＣＤＳ／ＡＤＣ３、キー入力部４、表示部５、画像記録部６、プログラムメモリ７、ＲＡＭ８、制御部９、画像処理部１０を有している。これらは、バスラインを介して接続されている。キー入力部４は撮影者の記録指示を検出するためのシャッターキー４１を備え、画像処理部１０は合成部１１を備える。
【００１１】
同図において撮像部１は、ＣＭＯＳ等のイメージセンサ、このイメージセンサ上に設けられたＲＧＢのカラーフィルタ、及び、駆動制御部２からの制御により、光の強度を電荷の蓄積として一定時間保持し、ＣＤＳ／ＡＤＣ３にアナログの撮像信号としてこれらを出力するドライバを内蔵する。そして、シャッターキー４１、制御部９、駆動制御部２を経由した撮影者の撮影指示を検出することで、複数の画像（カラー画像）を取得する。
【００１２】
ＣＤＳ／ＡＤＣ３は、撮像部１から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成される。なお、ゲイン調整アンプの調整に関わる制御についても、駆動制御部２からの指示に基づき行われる。このため、露光条件（シャッタースピード、若しくは絞り値）を同じくして複数枚の画像を取得しても、ＲＧＢのゲイン調整アンプや画像の色味を順次変えることによる条件の異なる複数の画像を生成することができる。
【００１３】
尚、本実施の形態においては、駆動制御部２がゲイン調整アンプに関わる制御を行なうようにしたが、これに限らない。例えば上記の制御は制御部９で行なうようにしてもよい。
【００１４】
キー入力部４は、上述のシャッターキー４１の他、本発明に係る画像の取得・記録を目的とする撮影モードへの切り換え、表示の切り換え等を検出するための各種キーを備える。
【００１５】
表示部５は、合成された画像を表示する機能を有する。画像記録部６は、本発明に係る合成処理が実行された後、ＪＰＥＧ方式で符号化された画像データ（画像ファイル）を記憶・格納する。プログラムメモリ７は、制御部９、画像処理部１０にて実行されるプログラムを記憶し、このプログラムは必要に応じて制御部９が読み出す。ＲＡＭ８は、各処理により発生する処理中のデータを一時的に保持する機能を有する。制御部９は、この撮像装置全体の処理動作を制御する。画像処理部１０は、画像データの符号化／復号化処理の他、本発明の特徴的構成に対応する合成部１１を備える。
【００１６】
すなわち合成部１１は、連写画像から選択された１枚の基準画像と、連写画像を加算合成した合成画像との合成を実行するとともに、この合成画像について後述する動体判定マップを差分領域に対応する透過強度マップ（αマップ）として用いて動体による残像を少なくさせるものである。
【００１７】
次に、本実施の形態の動作について説明する。ユーザがキー入力部４に設けられているモードボタンを操作して、本実施形態に係る撮影モードを設定すると、制御部９がプログラムメモリ７からプログラムを読み出して、図２のフローチャートに示すように、処理を開始する。
【００１８】
すなわち、制御部９はシャッターキー４１の押下が検出されたか否かを判断する（ステップＳ１０１）。シャッターキー４１の押下が検出されたならば、駆動制御部２に指示してＮ枚の連写を実行させる（ステップＳ１０２）。引き続き、連写により得られた画像データに基づき、輝度色差の色空間情報で表現されたＹＵＶ画像からなる連写画像を生成してＲＡＭ８に保存する（ステップＳ１０３）。
【００１９】
したがって、連写枚数Ｎが例えば６枚であったとすると、ＹＵＶ画像からなる６枚の連写画像Ｐ１〜Ｐ６がＲＡＭ８に保存される。なお、これら連写画像Ｐ１〜Ｐ６の連写に際しては、手ブレによる画像のブレは公知の技術（ＣＣＤシフトやレンズシフトによる画角補正技術）により補正されているものとする。
【００２０】
次に、これら連写画像から基準画像を選択する（ステップＳ１０４）。この基準画像の選択に際しては、ユーザーによる外部操作に基づいて選択する。例えば、連写画像Ｐ１〜Ｐ６を表示部５に一覧表示させ、これら一覧表示された連写画像Ｐ１〜Ｐ６からユーザー操作により選択された画像を基準画像とする。本実施例においては連写画像Ｐ３を基準画像として選択したものと仮定する。
【００２１】
しかる後に、この選択した基準画像の画像データをＬＰＦ（ローパスフィルタ）にて透過処理する等により、ノイズ低減処理する（ステップＳ１０５）。そして、このノイズ低減処理した基準画像のＹＵＶ画像データをＲＡＭ８に一旦保存する（ステップＳ１０６）。したがって、このステップＳ１０５及びステップＳ１０６での処理により、本例においては、連写画像Ｐ３の画像データがノイズ低減処理されて、そのＹＵＶ画像データがＲＡＭ８に保存されることとなる。
【００２２】
また、連写された複数枚の画像に関しては、ノイズ低減し合成する（ステップＳ１０７）。つまり、複数枚の連写画像のＹＵＶ画像データを画素毎に加算平均すれば、ノイズ低減しつつ合成を行うことができる。複数枚Ｎの連写画像のＹＵＶ画像データ加算平均の式［１］〜［３］を下記に示す。尚、Y_result、 U_result、 及び、V_resultは、画素の輝度色差パラメータ夫々の合成後の情報を示すものである。
Y_result = (Y[0] + Y[1] + ・・・ + Y [N]) / N ・・・式［１］
U_result = (U[0] + U[1] + ・・・ + U [N]) / N ・・・式［２］
V_result = (V[0] + V[1] + ・・・ + V [N]) / N ・・・式［３］
【００２３】
無論、複数枚の連写画像を用いたノイズ低減効果のある合成方法であれば、加算平均に限らず他の処理方法であってもよい。そして、このノイズ低減した全連写画像の合成画像のＹＵＶ画像データをＲＡＭ８に一旦保存する（ステップＳ１０８）。
【００２４】
したがって、このステップＳ１０８の処理を終了した時点において、ＲＡＭ８には下記の画像データが一旦保存されることとなる。
（１）各連写画像のＹＵＶ画像データ
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
【００２５】
次に、前記ステップＳ１０４で選択した基準画像から評価基準画像を生成する（ステップＳ１０９）。ここで、評価基準画像とは、前記基準画像を例えば３２×３２画素に縮小した縮小画像である。次いで、前記ステップＳ１０４で選択した基準画像以外の他の連写画像から評価対象画像を生成する（ステップＳ１１０）。ここで、評価基準画像とは、前記基準画像を例えば３２×３２画素に縮小した縮小画像である。
【００２６】
そして、次のステップＳ１１１からＳ１１５の処理で、前記評価基準画像と各連写画像との比較、評価を行う。その際に、先ず未だ比較、評価を行っていない評価対象画像（連写画像）があるか否かを判断する（ステップＳ１１１）。未だ比較、評価を行っていない評価対象画像（連写画像）があるならば、評価基準画像と、未だ比較、評価を行っていない評価対象画像とを比較する（ステップＳ１１２）。
【００２７】
しかる比較の後に、評価対象画像と評価基準画像との差分が閾値以上であるか否かを判断する（ステップＳ１１３）。つまり、制御部９はノイズ低減処理後の評価基準画像のＹＵＶ画像データ（２）と、評価対象画像（縮小画像からなる各連写画像）のＹＵＶ画像データ（１）との差分絶対値を、下記式［４］〜［６］に示すように、各連写画像のＹＵＶ画像データ（１）の画素毎に求める。
つまり、以下の式において、
Y_Base_Nr, U_Base_Nr, V_Base_Nr ：上記（２）のノイズ低減後基準画像デ ータのＹＵＶ各パラメータ
Y[n], U[n], V[n] ：n枚目の画像データのＹＵＶ各パラメ ータ
N ：合成枚数
fMax() ：最大値算出関数
fLpf() ：平滑化関数
fEmphasis() ：マップ強調関数
とすると、
Diff_Y[n] = |Y_base_Nr −Y[n]| ・・・式［４］ // Yの差分絶対値
Diff_U[n] = |U_base_Nr −U[n]| ・・・式［５］ // Uの差分絶対値
Diff_V[n] = |V_base_Nr −V[n]| ・・・式［６］ // Vの差分絶対値
を各連写画像の画素毎に求める。
【００２８】
そして、前記差分絶対値が所定の閾値以上であるか否かを判断する。このステップＳ１１３での判断の結果、差分が閾値以上でない場合には、この評価対象画像は部分的に明るい画像領域のない画像と判断し、インクリメント処理を実行し（ステップＳ１１５）、次の評価対象画像に対してステップＳ１１２からの処理を繰り返す。また、ステップＳ１１３での判断の結果、差分が閾値以上である場合には、予期せぬタイミングで発光した、外部からのストロボフラッシュにより部分的に明るくされている画像領域が存在するものと判断し、この評価対象画像にフラグをセットする（ステップＳ１１４）。
【００２９】
すなわち、前述のように本実施の形態に係る撮像装置は、ローリングシャッター方式で画像信号を読み出す機能を有するものである。したがって、連写の最中に一時的な撮影環境上の明るさの変化があると、図３（Ａ）に示す明るさにムラのない画像のみならず、同図（Ｂ）に示す明るさにムラのある画像を取得してしまうことがある。同図（Ｂ）の画像は、予期せぬタイミングで発光した外部からのストロボフラッシュにより領域Ｂ２の明るさのみが領域Ｂ１、Ｂ３よりも部分的に明るい画像である。したがって、図３（Ａ）の画像を比較基準画像ＰＡとし、同図（Ｂ）の画像を比較対象画像ＰＢとすると、ステップＳ１１２の判断がＹＥＳとなって、比較対象画像ＰＢにフラグがセットされることとなる。
【００３０】
このようにして、ステップＳ１１１からステップＳ１１５の処理が連写枚数分繰り返されると、比較対象の評価対象画像が無くなりステップＳ１１１の判断がＮＯとなる。したがって、制御部９はステップＳ１１１からＳ１１６に処理を進めて、前記ステップＳ１１４の処理が実行されてフラグがセットされた評価対象画像（連写画像）が有ったか否かを判断する。フラグセットされた評価対象画像がない場合には、ステップＳ１１７の処理を実行することなく、ステップＳ１１８に処理を進めて、動体判定マップをαマップとして用いて、合成を行う。
【００３１】
すなわち、前記式［４］〜［６］において、差分が大きいほど、部分的に明るい画像領域であるといえるから、下記式［７］に示すように差分が最大のもの（連写画像の対応する画素毎に差分が最大のもの）を選択する。
Diff[n] = fMax(Diff_Y[n], Diff_U[n], Diff_V[n]) ・・・式［７］
【００３２】
次に、下記式［８］で示すように、基準画像を除く各連写画像の最大差分を平均化する処理を実行する。
Ave_Diff = (Diff[0] + Diff[1] + ・・・ + Diff[N]) / N-1 ・・・式［８］
【００３３】
更に、下記式［９］で示すように、平滑化処理を実行する。
Ave_Diff_Lpf = fLpf(Ave_Diff) ・・・式［９］
この平滑化処理により、動体判定マップＭが生成されることとなる。この動体判定マップＭは、α＝０であって全透過させる領域と、α＝２５５であって不透過とで構成される。
【００３４】
引き続き、下記式［１０］で示すように、強調処理を行って前記動体判定マップＭのコントラストをアップさせる。
Map_Move = fEmphasis (Ave_Diff_Lpf) ・・・式［１０］
この強調処理により、動体判定マップＭにおいて動体の像が重なる領域のコントラストがアップされる。
【００３５】
そして、最終的にこの動体判定マップＭ（(Map_ Move [0 ~ 255]： 0＝動体なし)をαマップとして用いて、前述した
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成する（ステップＳ１１８）。
合成された各画素のＹＵＶの各パラメータ（Ｙ＿ｒｅｓｕｌｔ，Ｕ＿ｒｅｓｕｌｔ，Ｖ＿ｒｅｓｕｌｔ）は下記式［１１］〜［１３］で表現される。
Y_result = (Y_Nr_Mix ×(255−Map_Move) + Y_Base_Nr × Map_ Move) / 255
・・・式［１１］
U_result = (U_Nr_Mix ×(255−Map_Move) + U _Base_Nr × Map_ Move) / 255
・・・式［１２］
V_result = (V_Nr_Mix ×(255−Map_Move) + V _Base_Nr × Map_ Move) / 255
・・・式［１３］
これにより、合成画像を表すＹＵＶ画像データが生成されることとなる。
【００３６】
しかし、ステップＳ１１６での判断の結果、フラグセットされた評価対象画像があった場合には、フラグセットされた評価対象画像に対応する連写画像のαブレンド率を修正し（ステップＳ１１７）、しかる後に前述のステップＳ１１８の処理を実行する。
【００３７】
すなわち、図３（Ｂ）に示した比較対象画像ＰＢにあっては、予期せぬタイミングで発光した外部からのストロボフラッシュにより領域Ｂ２の明るさのみが領域Ｂ１、Ｂ３よりも部分的に明るい画像であり、前記ステップＳ１１４の処理でフラグセットされる。したがって、フラグセットされた比較対象画像ＰＢがあることになり、ステップＳ１１６からステップＳ１１７に進み、評価対象画像ＰＢに対応する連写画像のαブレンド率を修正する（ステップＳ１１７）。
【００３８】
つまり、図３（Ｃ）に示す画像が評価対象画像ＰＢに対応する連写画像ＰＣであるとすると、この連写画像ＰＣは、前記評価対象画像ＰＢの領域Ｂ２に対応する領域Ｃ２のみが、予期せぬタイミングで発光した外部からのストロボフラッシュにより、領域Ｂ１及びＢ３に対応するＣ１及びＣ２よりも部分的に明るい。一方、前述したようにステップＳ１０７での処理により、連写された複数枚（Ｎ枚）の画像がノイズ低減処理されて合成され、ステップＳ１０８での処理により、このノイズ低減処理された全連写画像の合成画像のＹＵＶ画像データがＲＡＭ８に保存されている。
【００３９】
したがって、このノイズ低減処理された全連写画像の合成画像（（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ）には、領域Ｃ２のみがフラッシュの影響により明るい連写画像ＰＣが合成されている。したがって、この合成画像をそのまま用いて、動体判定マップＭをαマップとして、
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成すると、「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」に領域Ｃ２の明るさ成分が含まれているので、図３（Ｄ）に示すように、連写画像ＰＣの領域Ｃ２に対応する領域Ｄ２のみが、領域Ｃ１及びＣ３に対応するＤ１及びＤ２よりも部分的に明るい合成画像ＰＤが生成されてしまう。
【００４０】
そこで、本実施の形態においてはステップＳ１１７において、フラグセットされた評価対象画像に対応する連写画像のαブレンド率を修正する。より具体的には、連写画像ＰＣの領域Ｃ２に関しては採用せず、領域Ｃ１、Ｃ３は採用して、ステップＳ１０７と同様の処理を実行し、連写された複数枚の画像をノイズ低減し合成する。これにより、連写された複数枚の画像において連写画像ＰＣの領域Ｃ２は採用されていない「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」が生成されることとなる。
【００４１】
そして、ステップＳ１１７の処理で新たに生成した「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」を用いて、ステップＳ１１８で動体判定マップＭをαマップとして、
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成する。
【００４２】
このとき、ステップＳ１１８での合成に用いられる「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」には、連写画像ＰＣの領域Ｃ２に対応する成分は含まれていない。このため、図３（Ｅ）に示すように、領域Ｅ１，Ｅ２，Ｅ３が同一の明るさであり、明るさにムラのない合成画像ＰＥを得ることができる。
【００４３】
しかも、前述のように、本実施の形態においては平滑化処理を行うことから、合成による動体と背景との境界線をより自然なものにすることができる。また、マップＭのコントラストを上げる処理を実行したことから、合成処理における被写体ブレの残像（ゴースト）を減少させることもできる。
【００４４】
なお、本実施の形態においては、ＹＵＶ画像データを用いた場合を示したが、ＲＧＢ画像データを用いるようにしてもよい。この場合、ＲＧＢそれぞれについて、同様に差分二乗を算出する。
【００４５】
以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
【００４６】
以下に、本出願の特許請求の範囲に記載された発明を付記する。
【００４７】
＜請求項１＞
時間的に連続する複数の画像を取得する画像取得手段と、
この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段と、
この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える画像を検出する検出手段と、
この検出手段によって検出された画像に基づいて透過強度を設定する設定手段と、
この設定手段によって設定された透過強度を用いて前記検出された画像を含む画像取得手段によって取得された複数の画像を加算合成して一つの画像を生成する画像生成手段と、
を備えることを特徴とする画像合成装置。
【００４８】
＜請求項２＞
前記検出手段は、前記選択された基準画像における画素の平均値と前記画像取得手段によって取得された他の画像における画素の平均値とを比較することを特徴とする請求項１記載の画像合成装置。
【００４９】
＜請求項３＞
前記画像取得手段は、撮像手段を含むことを特徴とする請求項１又は２記載の画像合成装置。
【００５０】
＜請求項４＞
前記設定手段は、前記撮像手段が画像信号を撮り込んだ瞬間の光の照射具合と前記撮像手段が撮り込む画像信号のタイミングに基づいて発生する明暗差に基づいて、透過強度を設定することを特徴とする請求項３記載の画像合成装置。
【００５１】
＜請求項５＞
装置が有するコンピュータを、
時間的に連続する複数の画像を取得する画像取得手段、
この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段、
この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える画像を検出する検出手段、
この検出手段によって検出された画像に基づいて透過強度を設定する設定手段、
この設定手段によって設定された透過強度を用いて前記検出された画像を含む画像取得手段によって取得された複数の画像を加算合成して一つの画像を生成する画像生成手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００５２】
１ 撮像部
２ 駆動制御部
３ ＣＤＳ／ＡＤＣ
４ キー入力部
５ 表示部
６ 画像記録部
７ プログラムメモリ
８ ＲＡＭ
９ 制御部
１０ 画像処理部
１１ 合成部
４１ シャッターキー
【技術分野】
【０００１】
本発明は、画像合成装置、及びプログラムに関する。
【背景技術】
【０００２】
従来より、連写された画像を画素加算合成することにより、夜景等、光量の少ない撮影環境であっても、記録するのに十分な明るさを有する画像を生成する技術が知られている。
また、特許文献１に記載されるように、カメラをユーザが手に持って撮影する手持ち撮影の際、撮像画角のブレを補正し合成する画像合成技術も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１４８５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ローリングシャッター方式で画像信号を読み出す機能を有するカメラの場合、露光や読出しを行なっている期間に予期しないストロボフラッシュが炊かれ、これにより一時的な撮影環境上の明るさの変化があると、明るさにムラのある画像を取得してしまうことがある。
【０００５】
そしてこのような画像を例えば連写及びこれによる加算合成に使用すると、明るさの変化を残したまま合成されるので結果的に明るさにムラの生じた合成画像が生成されることになる。
【０００６】
本願発明はこのような問題点に鑑みて成されたものであり、予期せず明るさにムラのある画像を取得しても合成画像にその影響が出ないようにすることを目的とするものである。
【課題を解決するための手段】
【０００７】
前記課題を解決するために本発明は、時間的に連続する複数の画像を取得する画像取得手段と、この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段と、この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える画像を検出する検出手段と、この検出手段によって検出された画像に基づいて透過強度を設定する設定手段と、この設定手段によって設定された透過強度を用いて前記検出された画像を含む画像取得手段によって取得された複数の画像を加算合成して一つの画像を生成する画像生成手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、明るさにムラのある画像を取得しても合成画像にその影響が出ないようにすることができる。したがって、ローリングシャッター方式で画像信号を読み出す機能を有するカメラにおいて、連写の最中にストロボフラッシュ等による一時的な撮影環境上の明るさの変化があった場合でも、明るさにムラのない合成画像を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施の形態を適用した撮像装置の回路ブロック図である。
【図２】同撮像装置における処理手順を示すフローチャートである。
【図３】同処理手順における画像例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態に係る画像処理装置を備える撮像装置の回路構成図である。この撮像装置は、ローリングシャッター方式で画像信号を読み出す機能を有するものであり、駆動制御部２、ＣＤＳ／ＡＤＣ３、キー入力部４、表示部５、画像記録部６、プログラムメモリ７、ＲＡＭ８、制御部９、画像処理部１０を有している。これらは、バスラインを介して接続されている。キー入力部４は撮影者の記録指示を検出するためのシャッターキー４１を備え、画像処理部１０は合成部１１を備える。
【００１１】
同図において撮像部１は、ＣＭＯＳ等のイメージセンサ、このイメージセンサ上に設けられたＲＧＢのカラーフィルタ、及び、駆動制御部２からの制御により、光の強度を電荷の蓄積として一定時間保持し、ＣＤＳ／ＡＤＣ３にアナログの撮像信号としてこれらを出力するドライバを内蔵する。そして、シャッターキー４１、制御部９、駆動制御部２を経由した撮影者の撮影指示を検出することで、複数の画像（カラー画像）を取得する。
【００１２】
ＣＤＳ／ＡＤＣ３は、撮像部１から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成される。なお、ゲイン調整アンプの調整に関わる制御についても、駆動制御部２からの指示に基づき行われる。このため、露光条件（シャッタースピード、若しくは絞り値）を同じくして複数枚の画像を取得しても、ＲＧＢのゲイン調整アンプや画像の色味を順次変えることによる条件の異なる複数の画像を生成することができる。
【００１３】
尚、本実施の形態においては、駆動制御部２がゲイン調整アンプに関わる制御を行なうようにしたが、これに限らない。例えば上記の制御は制御部９で行なうようにしてもよい。
【００１４】
キー入力部４は、上述のシャッターキー４１の他、本発明に係る画像の取得・記録を目的とする撮影モードへの切り換え、表示の切り換え等を検出するための各種キーを備える。
【００１５】
表示部５は、合成された画像を表示する機能を有する。画像記録部６は、本発明に係る合成処理が実行された後、ＪＰＥＧ方式で符号化された画像データ（画像ファイル）を記憶・格納する。プログラムメモリ７は、制御部９、画像処理部１０にて実行されるプログラムを記憶し、このプログラムは必要に応じて制御部９が読み出す。ＲＡＭ８は、各処理により発生する処理中のデータを一時的に保持する機能を有する。制御部９は、この撮像装置全体の処理動作を制御する。画像処理部１０は、画像データの符号化／復号化処理の他、本発明の特徴的構成に対応する合成部１１を備える。
【００１６】
すなわち合成部１１は、連写画像から選択された１枚の基準画像と、連写画像を加算合成した合成画像との合成を実行するとともに、この合成画像について後述する動体判定マップを差分領域に対応する透過強度マップ（αマップ）として用いて動体による残像を少なくさせるものである。
【００１７】
次に、本実施の形態の動作について説明する。ユーザがキー入力部４に設けられているモードボタンを操作して、本実施形態に係る撮影モードを設定すると、制御部９がプログラムメモリ７からプログラムを読み出して、図２のフローチャートに示すように、処理を開始する。
【００１８】
すなわち、制御部９はシャッターキー４１の押下が検出されたか否かを判断する（ステップＳ１０１）。シャッターキー４１の押下が検出されたならば、駆動制御部２に指示してＮ枚の連写を実行させる（ステップＳ１０２）。引き続き、連写により得られた画像データに基づき、輝度色差の色空間情報で表現されたＹＵＶ画像からなる連写画像を生成してＲＡＭ８に保存する（ステップＳ１０３）。
【００１９】
したがって、連写枚数Ｎが例えば６枚であったとすると、ＹＵＶ画像からなる６枚の連写画像Ｐ１〜Ｐ６がＲＡＭ８に保存される。なお、これら連写画像Ｐ１〜Ｐ６の連写に際しては、手ブレによる画像のブレは公知の技術（ＣＣＤシフトやレンズシフトによる画角補正技術）により補正されているものとする。
【００２０】
次に、これら連写画像から基準画像を選択する（ステップＳ１０４）。この基準画像の選択に際しては、ユーザーによる外部操作に基づいて選択する。例えば、連写画像Ｐ１〜Ｐ６を表示部５に一覧表示させ、これら一覧表示された連写画像Ｐ１〜Ｐ６からユーザー操作により選択された画像を基準画像とする。本実施例においては連写画像Ｐ３を基準画像として選択したものと仮定する。
【００２１】
しかる後に、この選択した基準画像の画像データをＬＰＦ（ローパスフィルタ）にて透過処理する等により、ノイズ低減処理する（ステップＳ１０５）。そして、このノイズ低減処理した基準画像のＹＵＶ画像データをＲＡＭ８に一旦保存する（ステップＳ１０６）。したがって、このステップＳ１０５及びステップＳ１０６での処理により、本例においては、連写画像Ｐ３の画像データがノイズ低減処理されて、そのＹＵＶ画像データがＲＡＭ８に保存されることとなる。
【００２２】
また、連写された複数枚の画像に関しては、ノイズ低減し合成する（ステップＳ１０７）。つまり、複数枚の連写画像のＹＵＶ画像データを画素毎に加算平均すれば、ノイズ低減しつつ合成を行うことができる。複数枚Ｎの連写画像のＹＵＶ画像データ加算平均の式［１］〜［３］を下記に示す。尚、Y_result、 U_result、 及び、V_resultは、画素の輝度色差パラメータ夫々の合成後の情報を示すものである。
Y_result = (Y[0] + Y[1] + ・・・ + Y [N]) / N ・・・式［１］
U_result = (U[0] + U[1] + ・・・ + U [N]) / N ・・・式［２］
V_result = (V[0] + V[1] + ・・・ + V [N]) / N ・・・式［３］
【００２３】
無論、複数枚の連写画像を用いたノイズ低減効果のある合成方法であれば、加算平均に限らず他の処理方法であってもよい。そして、このノイズ低減した全連写画像の合成画像のＹＵＶ画像データをＲＡＭ８に一旦保存する（ステップＳ１０８）。
【００２４】
したがって、このステップＳ１０８の処理を終了した時点において、ＲＡＭ８には下記の画像データが一旦保存されることとなる。
（１）各連写画像のＹＵＶ画像データ
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
【００２５】
次に、前記ステップＳ１０４で選択した基準画像から評価基準画像を生成する（ステップＳ１０９）。ここで、評価基準画像とは、前記基準画像を例えば３２×３２画素に縮小した縮小画像である。次いで、前記ステップＳ１０４で選択した基準画像以外の他の連写画像から評価対象画像を生成する（ステップＳ１１０）。ここで、評価基準画像とは、前記基準画像を例えば３２×３２画素に縮小した縮小画像である。
【００２６】
そして、次のステップＳ１１１からＳ１１５の処理で、前記評価基準画像と各連写画像との比較、評価を行う。その際に、先ず未だ比較、評価を行っていない評価対象画像（連写画像）があるか否かを判断する（ステップＳ１１１）。未だ比較、評価を行っていない評価対象画像（連写画像）があるならば、評価基準画像と、未だ比較、評価を行っていない評価対象画像とを比較する（ステップＳ１１２）。
【００２７】
しかる比較の後に、評価対象画像と評価基準画像との差分が閾値以上であるか否かを判断する（ステップＳ１１３）。つまり、制御部９はノイズ低減処理後の評価基準画像のＹＵＶ画像データ（２）と、評価対象画像（縮小画像からなる各連写画像）のＹＵＶ画像データ（１）との差分絶対値を、下記式［４］〜［６］に示すように、各連写画像のＹＵＶ画像データ（１）の画素毎に求める。
つまり、以下の式において、
Y_Base_Nr, U_Base_Nr, V_Base_Nr ：上記（２）のノイズ低減後基準画像デ ータのＹＵＶ各パラメータ
Y[n], U[n], V[n] ：n枚目の画像データのＹＵＶ各パラメ ータ
N ：合成枚数
fMax() ：最大値算出関数
fLpf() ：平滑化関数
fEmphasis() ：マップ強調関数
とすると、
Diff_Y[n] = |Y_base_Nr −Y[n]| ・・・式［４］ // Yの差分絶対値
Diff_U[n] = |U_base_Nr −U[n]| ・・・式［５］ // Uの差分絶対値
Diff_V[n] = |V_base_Nr −V[n]| ・・・式［６］ // Vの差分絶対値
を各連写画像の画素毎に求める。
【００２８】
そして、前記差分絶対値が所定の閾値以上であるか否かを判断する。このステップＳ１１３での判断の結果、差分が閾値以上でない場合には、この評価対象画像は部分的に明るい画像領域のない画像と判断し、インクリメント処理を実行し（ステップＳ１１５）、次の評価対象画像に対してステップＳ１１２からの処理を繰り返す。また、ステップＳ１１３での判断の結果、差分が閾値以上である場合には、予期せぬタイミングで発光した、外部からのストロボフラッシュにより部分的に明るくされている画像領域が存在するものと判断し、この評価対象画像にフラグをセットする（ステップＳ１１４）。
【００２９】
すなわち、前述のように本実施の形態に係る撮像装置は、ローリングシャッター方式で画像信号を読み出す機能を有するものである。したがって、連写の最中に一時的な撮影環境上の明るさの変化があると、図３（Ａ）に示す明るさにムラのない画像のみならず、同図（Ｂ）に示す明るさにムラのある画像を取得してしまうことがある。同図（Ｂ）の画像は、予期せぬタイミングで発光した外部からのストロボフラッシュにより領域Ｂ２の明るさのみが領域Ｂ１、Ｂ３よりも部分的に明るい画像である。したがって、図３（Ａ）の画像を比較基準画像ＰＡとし、同図（Ｂ）の画像を比較対象画像ＰＢとすると、ステップＳ１１２の判断がＹＥＳとなって、比較対象画像ＰＢにフラグがセットされることとなる。
【００３０】
このようにして、ステップＳ１１１からステップＳ１１５の処理が連写枚数分繰り返されると、比較対象の評価対象画像が無くなりステップＳ１１１の判断がＮＯとなる。したがって、制御部９はステップＳ１１１からＳ１１６に処理を進めて、前記ステップＳ１１４の処理が実行されてフラグがセットされた評価対象画像（連写画像）が有ったか否かを判断する。フラグセットされた評価対象画像がない場合には、ステップＳ１１７の処理を実行することなく、ステップＳ１１８に処理を進めて、動体判定マップをαマップとして用いて、合成を行う。
【００３１】
すなわち、前記式［４］〜［６］において、差分が大きいほど、部分的に明るい画像領域であるといえるから、下記式［７］に示すように差分が最大のもの（連写画像の対応する画素毎に差分が最大のもの）を選択する。
Diff[n] = fMax(Diff_Y[n], Diff_U[n], Diff_V[n]) ・・・式［７］
【００３２】
次に、下記式［８］で示すように、基準画像を除く各連写画像の最大差分を平均化する処理を実行する。
Ave_Diff = (Diff[0] + Diff[1] + ・・・ + Diff[N]) / N-1 ・・・式［８］
【００３３】
更に、下記式［９］で示すように、平滑化処理を実行する。
Ave_Diff_Lpf = fLpf(Ave_Diff) ・・・式［９］
この平滑化処理により、動体判定マップＭが生成されることとなる。この動体判定マップＭは、α＝０であって全透過させる領域と、α＝２５５であって不透過とで構成される。
【００３４】
引き続き、下記式［１０］で示すように、強調処理を行って前記動体判定マップＭのコントラストをアップさせる。
Map_Move = fEmphasis (Ave_Diff_Lpf) ・・・式［１０］
この強調処理により、動体判定マップＭにおいて動体の像が重なる領域のコントラストがアップされる。
【００３５】
そして、最終的にこの動体判定マップＭ（(Map_ Move [0 ~ 255]： 0＝動体なし)をαマップとして用いて、前述した
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成する（ステップＳ１１８）。
合成された各画素のＹＵＶの各パラメータ（Ｙ＿ｒｅｓｕｌｔ，Ｕ＿ｒｅｓｕｌｔ，Ｖ＿ｒｅｓｕｌｔ）は下記式［１１］〜［１３］で表現される。
Y_result = (Y_Nr_Mix ×(255−Map_Move) + Y_Base_Nr × Map_ Move) / 255
・・・式［１１］
U_result = (U_Nr_Mix ×(255−Map_Move) + U _Base_Nr × Map_ Move) / 255
・・・式［１２］
V_result = (V_Nr_Mix ×(255−Map_Move) + V _Base_Nr × Map_ Move) / 255
・・・式［１３］
これにより、合成画像を表すＹＵＶ画像データが生成されることとなる。
【００３６】
しかし、ステップＳ１１６での判断の結果、フラグセットされた評価対象画像があった場合には、フラグセットされた評価対象画像に対応する連写画像のαブレンド率を修正し（ステップＳ１１７）、しかる後に前述のステップＳ１１８の処理を実行する。
【００３７】
すなわち、図３（Ｂ）に示した比較対象画像ＰＢにあっては、予期せぬタイミングで発光した外部からのストロボフラッシュにより領域Ｂ２の明るさのみが領域Ｂ１、Ｂ３よりも部分的に明るい画像であり、前記ステップＳ１１４の処理でフラグセットされる。したがって、フラグセットされた比較対象画像ＰＢがあることになり、ステップＳ１１６からステップＳ１１７に進み、評価対象画像ＰＢに対応する連写画像のαブレンド率を修正する（ステップＳ１１７）。
【００３８】
つまり、図３（Ｃ）に示す画像が評価対象画像ＰＢに対応する連写画像ＰＣであるとすると、この連写画像ＰＣは、前記評価対象画像ＰＢの領域Ｂ２に対応する領域Ｃ２のみが、予期せぬタイミングで発光した外部からのストロボフラッシュにより、領域Ｂ１及びＢ３に対応するＣ１及びＣ２よりも部分的に明るい。一方、前述したようにステップＳ１０７での処理により、連写された複数枚（Ｎ枚）の画像がノイズ低減処理されて合成され、ステップＳ１０８での処理により、このノイズ低減処理された全連写画像の合成画像のＹＵＶ画像データがＲＡＭ８に保存されている。
【００３９】
したがって、このノイズ低減処理された全連写画像の合成画像（（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ）には、領域Ｃ２のみがフラッシュの影響により明るい連写画像ＰＣが合成されている。したがって、この合成画像をそのまま用いて、動体判定マップＭをαマップとして、
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成すると、「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」に領域Ｃ２の明るさ成分が含まれているので、図３（Ｄ）に示すように、連写画像ＰＣの領域Ｃ２に対応する領域Ｄ２のみが、領域Ｃ１及びＣ３に対応するＤ１及びＤ２よりも部分的に明るい合成画像ＰＤが生成されてしまう。
【００４０】
そこで、本実施の形態においてはステップＳ１１７において、フラグセットされた評価対象画像に対応する連写画像のαブレンド率を修正する。より具体的には、連写画像ＰＣの領域Ｃ２に関しては採用せず、領域Ｃ１、Ｃ３は採用して、ステップＳ１０７と同様の処理を実行し、連写された複数枚の画像をノイズ低減し合成する。これにより、連写された複数枚の画像において連写画像ＰＣの領域Ｃ２は採用されていない「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」が生成されることとなる。
【００４１】
そして、ステップＳ１１７の処理で新たに生成した「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」を用いて、ステップＳ１１８で動体判定マップＭをαマップとして、
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成する。
【００４２】
このとき、ステップＳ１１８での合成に用いられる「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」には、連写画像ＰＣの領域Ｃ２に対応する成分は含まれていない。このため、図３（Ｅ）に示すように、領域Ｅ１，Ｅ２，Ｅ３が同一の明るさであり、明るさにムラのない合成画像ＰＥを得ることができる。
【００４３】
しかも、前述のように、本実施の形態においては平滑化処理を行うことから、合成による動体と背景との境界線をより自然なものにすることができる。また、マップＭのコントラストを上げる処理を実行したことから、合成処理における被写体ブレの残像（ゴースト）を減少させることもできる。
【００４４】
なお、本実施の形態においては、ＹＵＶ画像データを用いた場合を示したが、ＲＧＢ画像データを用いるようにしてもよい。この場合、ＲＧＢそれぞれについて、同様に差分二乗を算出する。
【００４５】
以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
【００４６】
以下に、本出願の特許請求の範囲に記載された発明を付記する。
【００４７】
＜請求項１＞
時間的に連続する複数の画像を取得する画像取得手段と、
この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段と、
この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える画像を検出する検出手段と、
この検出手段によって検出された画像に基づいて透過強度を設定する設定手段と、
この設定手段によって設定された透過強度を用いて前記検出された画像を含む画像取得手段によって取得された複数の画像を加算合成して一つの画像を生成する画像生成手段と、
を備えることを特徴とする画像合成装置。
【００４８】
＜請求項２＞
前記検出手段は、前記選択された基準画像における画素の平均値と前記画像取得手段によって取得された他の画像における画素の平均値とを比較することを特徴とする請求項１記載の画像合成装置。
【００４９】
＜請求項３＞
前記画像取得手段は、撮像手段を含むことを特徴とする請求項１又は２記載の画像合成装置。
【００５０】
＜請求項４＞
前記設定手段は、前記撮像手段が画像信号を撮り込んだ瞬間の光の照射具合と前記撮像手段が撮り込む画像信号のタイミングに基づいて発生する明暗差に基づいて、透過強度を設定することを特徴とする請求項３記載の画像合成装置。
【００５１】
＜請求項５＞
装置が有するコンピュータを、
時間的に連続する複数の画像を取得する画像取得手段、
この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段、
この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える画像を検出する検出手段、
この検出手段によって検出された画像に基づいて透過強度を設定する設定手段、
この設定手段によって設定された透過強度を用いて前記検出された画像を含む画像取得手段によって取得された複数の画像を加算合成して一つの画像を生成する画像生成手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００５２】
１ 撮像部
２ 駆動制御部
３ ＣＤＳ／ＡＤＣ
４ キー入力部
５ 表示部
６ 画像記録部
７ プログラムメモリ
８ ＲＡＭ
９ 制御部
１０ 画像処理部
１１ 合成部
４１ シャッターキー
【特許請求の範囲】
【請求項１】
時間的に連続する複数の画像を取得する画像取得手段と、
この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段と、
この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える画像を検出する検出手段と、
この検出手段によって検出された画像に基づいて透過強度を設定する設定手段と、
この設定手段によって設定された透過強度を用いて前記検出された画像を含む画像取得手段によって取得された複数の画像を加算合成して一つの画像を生成する画像生成手段と、
を備えることを特徴とする画像合成装置。
【請求項２】
前記検出手段は、前記選択された基準画像における画素の平均値と前記画像取得手段によって取得された他の画像における画素の平均値とを比較することを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記画像取得手段は、撮像手段を含むことを特徴とする請求項１又は２記載の画像合成装置。
【請求項４】
前記設定手段は、前記撮像手段が画像信号を撮り込んだ瞬間の光の照射具合と前記撮像手段が撮り込む画像信号のタイミングに基づいて発生する明暗差に基づいて、透過強度を設定することを特徴とする請求項３記載の画像合成装置。
【請求項５】
装置が有するコンピュータを、
時間的に連続する複数の画像を取得する画像取得手段、
この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段、
この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える画像を検出する検出手段、
この検出手段によって検出された画像に基づいて、透過強度を設定する設定手段、
この設定手段によって設定された透過強度を用いて前記検出された画像を含む画像取得手段によって取得された複数の画像を加算合成して一つの画像を生成する画像生成手段、
として機能させることを特徴とするプログラム。
【請求項１】
時間的に連続する複数の画像を取得する画像取得手段と、
この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段と、
この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える画像を検出する検出手段と、
この検出手段によって検出された画像に基づいて透過強度を設定する設定手段と、
この設定手段によって設定された透過強度を用いて前記検出された画像を含む画像取得手段によって取得された複数の画像を加算合成して一つの画像を生成する画像生成手段と、
を備えることを特徴とする画像合成装置。
【請求項２】
前記検出手段は、前記選択された基準画像における画素の平均値と前記画像取得手段によって取得された他の画像における画素の平均値とを比較することを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記画像取得手段は、撮像手段を含むことを特徴とする請求項１又は２記載の画像合成装置。
【請求項４】
前記設定手段は、前記撮像手段が画像信号を撮り込んだ瞬間の光の照射具合と前記撮像手段が撮り込む画像信号のタイミングに基づいて発生する明暗差に基づいて、透過強度を設定することを特徴とする請求項３記載の画像合成装置。
【請求項５】
装置が有するコンピュータを、
時間的に連続する複数の画像を取得する画像取得手段、
この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段、
この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える画像を検出する検出手段、
この検出手段によって検出された画像に基づいて、透過強度を設定する設定手段、
この設定手段によって設定された透過強度を用いて前記検出された画像を含む画像取得手段によって取得された複数の画像を加算合成して一つの画像を生成する画像生成手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１３−１０６１６９（Ｐ２０１３−１０６１６９Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４８２５１（Ｐ２０１１−２４８２５１）
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]