撮像装置及び画像合成プログラム
【課題】画像のずれを抑制してハイダイナミックレンジ撮影することができる撮像装置及び画像合成プログラムを提供する
【解決手段】被写体を撮像して画像データを生成する撮像素子１４と、撮像素子１４が連続撮像した複数の画像データを一次記憶可能なＲＡＭ２０と、ＲＡＭ２０に記憶された複数の画像データを加算合成して加算画像データを生成する加算合成部と、複数の画像データのうち一部の画像データと加算画像データとを合成してハイダイナミックレンジ画像データを生成し、生成したハイダイナミックレンジ画像データを出力するハイダイナミックレンジ合成部とを備えた。
【解決手段】被写体を撮像して画像データを生成する撮像素子１４と、撮像素子１４が連続撮像した複数の画像データを一次記憶可能なＲＡＭ２０と、ＲＡＭ２０に記憶された複数の画像データを加算合成して加算画像データを生成する加算合成部と、複数の画像データのうち一部の画像データと加算画像データとを合成してハイダイナミックレンジ画像データを生成し、生成したハイダイナミックレンジ画像データを出力するハイダイナミックレンジ合成部とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像合成プログラムに関する。
【背景技術】
【０００２】
従来から、暗部と明部を有する同一の被写体を異なる露出条件で撮影して得られた複数の撮像画像を合成することにより、暗部が黒くつぶれたり明部が白く飛んだりしていない一つの合成画像を生成可能とするハイダイナミックレンジ（以下、「ＨＤＲ」という。）撮影技法が知られている（例えば、特許文献１参照）。
【０００３】
すなわち、こうした従来のＨＤＲ撮影技法では、異なる露出条件で撮影された複数の撮像画像を、位置補正した上でＨＤＲ合成することにより一つの合成画像を生成していた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３１９２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、一般に位置補正は、撮像画像から被写体の輪郭を抽出すると共に、各撮像画像同士で抽出した輪郭を比較することによって行われている。しかし、異なる露出条件で撮影された撮像画像では、同じ輪郭を抽出するのが困難であるため、位置ずれを類推する処理に時間を要してしまう。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、その目的は、画像のずれを抑制してハイダイナミックレンジ撮影することができる撮像装置及び画像合成プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、該撮像手段が連続撮像した複数の画像データを一次記憶可能な記憶手段と、該記憶手段に記憶された複数の前記画像データを加算合成して第１の画像データを生成する第１の合成手段と、前記複数の画像データのうち一部の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手段と、該第２の合成手段が生成した前記第２の画像データを出力する出力手段とを備えたことを要旨とする。
【０００８】
また、本発明の撮像装置において、前記出力手段は、前記第２の合成手段が生成した前記第２の画像データを逐次出力することを要旨とする。
また、本発明の撮像装置において、前記第２の合成手段は、前記複数の画像データのうち最も輝度の低い画像データを含む少なくとも一つの画像データを前記第１の画像データとの合成に用いることを要旨とする。
【０００９】
また、本発明の撮像装置において、前記第２の合成手段は、前記画像データの輝度が相対的に高い場合には、輝度が相対的に低い場合と比べて、前記第１の画像データとの合成に用いる前記画像データの数を減少させることを要旨とする。
【００１０】
また、本発明の撮像装置において、前記第１の合成手段は、前記撮像手段が所定時間当たりに撮像した複数の前記画像データを加算合成して第１の画像データを生成し、前記出力手段は、前記第２の合成手段が生成した前記第２の画像データを前記所定時間ごとに逐次出力することを要旨とする。
【００１１】
また、本発明の画像合成プログラムは、コンピュータに、被写体を撮像して画像データを生成する撮像手段が連続撮像した複数の画像データを一次記憶する記憶手順と、該記憶手順において記憶された複数の前記画像データを加算合成して第１の画像データを生成する第１の合成手順と、前記複数の画像データのうち一部の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手順と、該第２の合成手順において合成した前記第２の画像データを出力する出力手順とを実行させることを要旨とする。
また、本発明の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、基準画像に対して、該基準画像以外の他の画像を位置合わせして加算合成することにより第１の画像データを生成する第１の合成手段と、前記基準画像の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手段と、を備えたことを要旨とする。
また、本発明の画像合成プログラムは、コンピュータに、被写体を撮像して画像データを生成する撮像手段が連続撮像した複数の画像中の基準画像に対して、該基準画像以外の他の画像を位置合わせして加算合成することにより第１の画像データを生成する第１の合成手順と、前記基準画像の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手順とを実行させることを要旨とする。
【発明の効果】
【００１２】
本発明によれば、画像のずれを抑制してハイダイナミックレンジ撮影することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態におけるデジタルカメラの概略構成を示すブロック図。
【図２】明部と暗部を有する画像を撮影する場合の画面図。
【図３】撮像処理ルーチンを示すフローチャート。
【図４】スルー画像の作成手順を説明する説明図。
【図５】画像合成ルーチンを示すフローチャート。
【図６】画像合成の手順を説明する説明図。
【図７】画像合成の手順を説明する説明図。
【図８】第２の実施形態における画像合成の手順を説明する説明図。
【発明を実施するための形態】
【００１４】
（第１の実施形態）
以下、本発明を静止画および動画の撮影が可能な撮像装置としてのデジタルカメラ（以下、「カメラ」という。）及びこのカメラを用いて被写体をハイダイナミックレンジ（ＨＤＲ）撮影する場合の撮像方法に具体化した第１の実施形態を図１〜図７に基づいて説明する。
【００１５】
図１に示すように、カメラ１１は、ズームレンズなどの複数のレンズからなるレンズ部１２（図１では図面の簡略化のため１つのレンズのみ図示）と、レンズ部１２を通過した被写体光の光量を調整する絞り１３とを有している。さらに、カメラ１１は、絞り１３を通過した被写体光を撮像面となる入射側の受光面１４ａに結像させる撮像手段として機能する撮像素子１４を有している。そして、撮像素子１４の出力側には、ＡＦＥ（Analog Front End）１５と画像処理回路１６とが接続されると共に、その画像処理回路１６に対してＭＰＵ（Micro Processing Unit）１７がデータバス１８を介して接続されている。
【００１６】
また、ＭＰＵ１７には、カメラ１１の制御プログラムを記憶した不揮発性メモリ１９、記憶手段として機能するＲＡＭ２０、表示手段として機能する液晶表示のモニタ２１、及び記録媒体であるメモリカード２２を挿脱可能なカードＩ／Ｆ（Inter-Face）２３がデータバス１８を介して接続されている。さらに、カメラ本体（図示略）には、そのカメラ１１の使用者により操作されるモード切り替えボタンやレリーズボタン等からなる操作部材２４が、コンピュータとして機能するＭＰＵ１７に対して各々の操作信号（モード切替信号や半押し操作信号など）をデータ通信可能に設けられている。
【００１７】
撮像素子１４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、又はＣＣＤ（Charge Coupled Device）イメージセンサからなり、電子シャッター機能を有すると共に、その受光面１４ａには多数の受光素子（図示略）が二次元的に配列されている。そして、撮像素子１４は、その受光面１４ａに結像した被写体像に対応した信号電荷を蓄積し、その蓄積した信号電荷を画像データの元となる画素信号と呼ばれるアナログ信号でＡＦＥ１５に出力する。
【００１８】
ＡＦＥ１５は、撮像素子１４から入力したアナログ信号の画素信号を所定のタイミングでサンプリング（相関二重サンプリング）し、例えばＩＳＯ感度に基づく所定信号レベルとなるように増幅する信号処理部（図示略）と、その増幅後の画素信号をデジタル信号に変換するＡ／Ｄ変換部（図示略）とを有している。そして、ＡＦＥ１５は、アナログ信号の画素信号をＡ／Ｄ変換部でデジタル化することにより生成した画像データを画像処理回路１６に出力する。
【００１９】
画像処理回路１６は、ＡＦＥ１５から入力した画像データに対して、ＭＰＵ１７からの制御信号に基づき各種の画像処理を施す。そして、画像処理回路１６は、そのように画像処理を施した画像データを、ＲＡＭ２０に一次記憶させると共に、モニタ２１にスルー画像として表示させる。また、レリーズボタンが全押し操作された場合は、そのときの画像データと対応する画像をモニタ２１に確認用画像として表示させる一方、例えばＪＰＥＧ圧縮のためのフォーマット処理等の所定の画像処理を施した後に、メモリカード２２に画像ファイルとして記録させる。
【００２０】
ＭＰＵ１７は、不揮発性メモリ１９に記憶された画像合成プログラムなどの制御プログラムに基づき、カメラ１１における各種の処理動作（例えばＨＤＲ撮影処理等）を統括的に制御する。そして、データバス１８は、そうしたＭＰＵ１７の制御に伴う各種データの伝送路として機能する。
【００２１】
また、操作部材２４におけるモード切り替えボタンは、カメラ１１の動作モードを切り替える場合に操作されるボタンである。すなわち、モード切り替えボタンは、例えば撮影モードを通常撮影モード、ＨＤＲ静止画撮影モード、ＨＤＲ動画撮影モードなどの間で切り替える場合や、撮影した画像をモニタ２１に表示する再生モードに切り替える場合に操作される。
【００２２】
一方、レリーズボタンは、カメラ１１の動作モードが撮影モードである場合において被写体を撮影するときに押し下げ操作される。具体的には、このカメラ１１では、通常撮影モードにおいて操作部材２４のレリーズボタンが半押し操作された段階で被写体に対する焦点合わせのためのＡＦ（Auto Focus）処理と露出調整のためのＡＥ（Auto Exposure）処理が実行され、その後にレリーズボタンが全押し操作された段階で画像の生成処理が実行されるようになっている。
【００２３】
また、このカメラ１１は、撮影モードがＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードに切り替えられると、図２に示す画像２５における被写体のように、暗部と明部とを有する同一の被写体を撮像することによって得た複数の画像データをＨＤＲ合成する。因みに、図２の画像２５は、太陽２６が山２７の左側上方に位置しているために山麓にある湖２８の湖面が湖畔の立木２９の日陰になって暗くなった風景と、動く馬３０とを被写体とするものである。
【００２４】
そして、ＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードにおいては、ハイダイナミックレンジ合成（以下、「ＨＤＲ合成」という。）によって生成された第２の画像データとしてのハイダイナミックレンジ画像データ（以下、「ＨＤＲ画像データ」という。）をモニタ２１に逐次出力することにより、モニタ２１には、ＨＤＲ処理されたスルー画像が表示される。さらに、操作部材２４のレリーズボタンが全押し操作された場合には、ＨＤＲ画像データがメモリカード２２に記録されるようになっている。
【００２５】
そこで次に、このカメラ１１を用いて被写体を撮影する場合の処理を図３〜図７を参照しながら説明する。まず、図３は、カメラ１１の電源がオンされると共に、カメラ１１の動作モードが撮影モード（通常撮影モード、ＨＤＲ静止画撮影モード、ＨＤＲ動画撮影モード）に切り替えられた場合に実行される撮像処理ルーチンである。
【００２６】
すなわち、図３に示すように、ＭＰＵ１７は、まずステップＳ１０１において、不揮発性メモリ１９に記憶された初期露出条件に基づいて被写体を撮像し、その処理を次のステップＳ１０２に移行する。なお、初期露出条件は、各撮影モードごとに設定されている。なお、このカメラ１１の初期露出条件は、通常撮影モードでは３０分の１秒のシャッター速度とされている。また、ＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードでは、通常撮影モードのシャッター速度よりも速い１２０分の１秒のシャッター速度とされている。
【００２７】
そして、次のステップＳ１０２において、ＭＰＵ１７は、ステップＳ１０１において撮像した画像データをＲＡＭ２０に一次記憶させた後、その処理を次のステップＳ１０３に移行する。
【００２８】
そして、次のステップＳ１０３において、ＭＰＵ１７は、動作モードが再生モードに変更されたか否かを判断する。すなわち、使用者によってモード切り替えボタンが操作されて撮影モードから再生モードに変更された場合には（ステップＳ１０３＝ＹＥＳ）、ＭＰＵ１７は、撮像処理ルーチンを終了する。
【００２９】
また、ステップＳ１０３において、撮影モードが維持された場合には（ステップＳ１０３＝ＮＯ）、ＭＰＵ１７は、その処理を次のステップＳ１０４に移行する。
そして、次のステップＳ１０４において、カメラ１１の電源がオフされた場合には（ステップＳ１０４＝ＹＥＳ）、ＭＰＵ１７は、撮像処理ルーチンを終了する。一方、ステップＳ１０４において、カメラ１１の電源がオン状態に維持された場合には（ステップＳ１０４＝ＮＯ）、ＭＰＵ１７は、その処理をステップＳ１０１に移行する。
【００３０】
すなわち、カメラ１１は、電源のオン状態と撮影モードとが維持されている間、撮像処理ルーチンを繰り返し実行することにより、被写体を連続撮像すると共に、撮像した画像データを順次ＲＡＭ２０に一次記憶する。
【００３１】
すなわち、通常撮影モードの場合には、３０分の１秒のシャッター速度で連続撮像された画像データがＲＡＭ２０に一次記憶され、シャッター速度に対応した３０ｆｐｓ（frame par second：３０こま／秒）のスルー画像としてモニタ２１に表示される。
【００３２】
一方、図４に示すように、ＨＤＲ静止画撮影モード、及びＨＤＲ動画撮影モードの場合には、ＭＰＵ１７は、１２０分の１秒のシャッター速度で連続撮像した画像データを順次ＲＡＭ２０に一次記憶する（記憶手順）。そしてＭＰＵ１７は、ＲＡＭ２０に一次記憶された画像データを加算合成して加算画像データを生成し、所定時間（一例として通常撮影モードの場合と同じ１／３０秒）ごとに該加算画像データをモニタ２１に出力することにより、３０ｆｐｓのスルー画像として表示させる。
【００３３】
すなわち、所定時間（１／３０秒）当たりに撮影した４個の画像データを加算合成することにより生成された第１の画像データとしての加算画像データは、１２０分の１秒のシャッター速度で撮像された画像データに比べて４倍程度の明るさとなるため、３０分の１秒のシャッター速度で撮像した場合と同等の画像となる。したがって、明部と暗部との輝度の差が小さな被写体を撮像する場合には、撮影モードによって被写体を撮像するシャッター速度は異なるものの、モニタ２１には同等のスルー画像が表示される。
【００３４】
次に、上述したＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードにおいてスルー画像を表示する手順を、ＨＤＲ撮影を行う場合の手順と共に図５〜図７を参照しながら説明する。なお、図５は、カメラ１１の電源がオンされると共に、カメラ１１の動作モードがＨＤＲ静止画撮影モード、ＨＤＲ動画撮影モードに切り替えられた場合に撮像処理ルーチンと並列に実行される画像合成ルーチンである。そして、このカメラ１１では、図３に示す画像処理ルーチンと図５に示す画像合成ルーチンとにより、画像合成プログラムが構成されている。
【００３５】
さて、図５に示すように、まずステップＳ２０１において、ＭＰＵ１７は、加算合成するＮ個（Ｎは複数であって、このカメラ１１ではＮ＝４）の画像データがＲＡＭ２０に記憶されているか否かを判断する。ＲＡＭ２０に記憶された画像データ数がＮ個未満である場合には（ステップＳ２０１＝ＮＯ）、Ｎ個の画像データが記憶されるまで待機する。一方、Ｎ個の画像データが記憶された場合には（ステップＳ２０１＝ＹＥＳ）、その処理を次のステップＳ２０２に移行する。
【００３６】
そして、次のステップＳ２０２において、ＭＰＵ１７は、ＲＡＭ２０に記憶されたＮ個の画像データを取得して加算合成し、加算画像データを生成する（第１の合成手順）。そして、ＭＰＵ１７は、その処理を次のステップＳ２０３に移行する。
【００３７】
なお、ステップＳ２０２において加算合成する画像データの数Ｎは、シャッター速度と１秒間にモニタ２１に表示するこま数に応じて決まり、１こまの表示時間（例えば１／３０秒）をシャッター速度（例えば１／１２０秒）で割った商（１／３０÷１／１２０＝４）となる。
【００３８】
そして、次のステップＳ２０３において、ＭＰＵ１７は、ステップＳ２０２において加算合成した加算画像データ中に白とびがあるか否かを判断する。すなわち、ＭＰＵ１７は、加算画像データが示す輝度成分をヒストグラム解析し、白とびした画素がないと判断した場合には（ステップＳ２０３＝ＹＥＳ）、その処理を次のステップＳ２０４に移行する。
【００３９】
そして、次のステップＳ２０４において、ＭＰＵ１７は、ステップＳ２０２において生成した加算画像データをモニタ２１に出力し、スルー画像として表示させる。
一方、ステップＳ２０３において、加算合成した加算画像データ中に白とびがあると判断した場合には（ステップＳ２０３＝ＮＯ）、その処理を次のステップＳ２０５に移行する。
【００４０】
そして、次のステップＳ２０５において、ＭＰＵ１７は、ＨＤＲ合成に使用する高輝度側画像データの生成に使用する画像データ数ｎをｎ＝Ｎとし、その処理を次のステップＳ２０６に移行する。
【００４１】
そして、次のステップＳ２０６において、ＭＰＵ１７は、画像データ数ｎを１つ減少させ、その処理を次のステップＳ２０７に移行する。
そして、次のステップＳ２０７において、ＭＰＵ１７は、ｎ＝１であるか否かを判断する。ｎ＝１である場合には（ステップＳ２０７＝ＹＥＳ）、その処理を次のステップＳ２０８に移行する。
【００４２】
そして、次のステップＳ２０８において、ＭＰＵ１７は、ステップＳ２０２において加算合成した加算画像データを低輝度側画像データとすると共に、ステップＳ２０２において取得した画像データのうち１つの画像データを高輝度側画像データとしてＨＤＲ合成する（第２の合成手順）。そして、ＭＰＵ１７は、ＨＤＲ画像データを生成すると、その処理を次のステップＳ２０４に移行する。
【００４３】
そして、次のステップＳ２０４において、ＭＰＵ１７は、ステップＳ２０８において生成したＨＤＲ画像データをモニタ２１に出力し、スルー画像として表示させる（出力手順）。
【００４４】
一方、ステップＳ２０７において、ｎ＞１である場合には（ステップＳ２０７＝ＮＯ）、ＭＰＵ１７は、その処理を次のステップＳ２０９に移行する。
そして、次のステップＳ２０９において、ＭＰＵ１７は、ステップＳ２０２において取得したＮ個の画像データのうち、ｎ個の画像データを加算合成して加算画像データを生成する。そして、ＭＰＵ１７は、加算画像データを生成すると、その処理を次のステップＳ２１０に移行する。
【００４５】
そして、次のステップＳ２１０において、ＭＰＵ１７は、ステップＳ２０９において生成された加算画像データに白とびがあるか否かを判断する。すなわち、ＭＰＵ１７は、加算画像データが示す輝度成分をヒストグラム解析し、白とびした画素があると判断した場合には（ステップＳ２１０＝ＮＯ）、その処理をステップＳ２０６に移行し、加算合成に使用する画像データの数ｎを減少させる。すなわち、画像データの輝度が相対的に高い場合には、輝度が相対的に低い場合と比べてＨＤＲ合成に用いる画像データの数を減少させる。
【００４６】
一方、ステップＳ２１０において、白とびがないと判断した場合には（ステップＳ２１０＝ＹＥＳ）、ＭＰＵ１７は、その処理を次のステップＳ２０８に移行する。
そして、次のステップＳ２０８において、ＭＰＵ１７は、ステップＳ２０２において加算合成した加算画像データを低輝度側画像データとすると共に、ステップＳ２０９において加算合成した加算画像データを高輝度側画像データとしてＨＤＲ合成する。そして、ＭＰＵ１７は、ＨＤＲ画像データを生成すると、その処理を次のステップＳ２０４に移行する。
【００４７】
そして、次のステップＳ２０４では、ＭＰＵ１７は、ステップＳ２０８において生成したＨＤＲ画像データをモニタ２１に出力してスルー画像として表示させ、その処理を次のステップＳ２１１に移行する。
【００４８】
さて、次のステップＳ２１１において、ＭＰＵ１７は、動画フラグが０であるか否かを判断する。なお、動画フラグとは、動画撮影（記録）中であるか否かを示すフラグであり、動画撮影中に１となるフラグである。そのため、動画フラグ＝１である場合には（ステップＳ２１０＝ＮＯ）、動画撮影中であると判断し、その処理を次のステップＳ２１２に移行する。
【００４９】
そして、次のステップＳ２１２において、ＭＰＵ１７は、モニタ２１に出力された加算画像データもしくはＨＤＲ画像データを、動画を構成する１つの画像データとしてカードＩ／Ｆ２３へ出力してメモリカード２２に記録し、その処理をステップＳ２１３に移行する。
【００５０】
一方、ステップＳ２１１において、動画フラグ＝０である場合には（ステップＳ２１１＝ＹＥＳ）、直接次のステップＳ２１３に移行する。
そして、次のステップＳ２１３において、ＭＰＵ１７は、レジストボタンの操作の有無を判断する。そして、使用者がレジストボタンを操作し、操作ありと判断した場合には（ステップＳ２１３＝ＹＥＳ）、その処理を次のステップＳ２１４に移行する。
【００５１】
そして、次のステップＳ２１４において、ＭＰＵ１７は、撮影モードがＨＤＲ静止画撮影モードであるか、ＨＤＲ動画撮影モードであるかを判断する。すなわち、撮影モードがＨＤＲ静止画撮影モードである場合には（ステップＳ２１４＝ＹＥＳ）、ＭＰＵ１７は、その処理を次のステップＳ２１５に移行する。
【００５２】
そして、ステップＳ２１５において、ＭＰＵ１７は、モニタ２１に出力された加算画像データもしくはＨＤＲ画像データをカードＩ／Ｆ２３へ出力する。すなわち、ＭＰＵ１７は、メモリカード２２に静止画の画像データとして記録し、その処理を次のステップＳ２１６に移行する。
【００５３】
なお、ステップＳ２１３において、使用者がレジストボタンを操作していないと判断した場合には（ステップＳ２１３＝ＮＯ）、ＭＰＵ１７は、直接、その処理を次のステップＳ２１６に移行する。
【００５４】
一方、ステップＳ２１４において、撮影モードがＨＤＲ動画撮影モードである場合には（ステップＳ２１４＝ＮＯ）、ＭＰＵ１７は、その処理を次のステップＳ２１７に移行する。
【００５５】
そして、次のステップＳ２１７において、ＭＰＵ１７は、動画フラグ＝０であるか否かを判断する。すなわち、動画を撮影中ではない非撮影時には、動画フラグ＝０となっているため（ステップＳ２１７＝ＹＥＳ）、その処理を次のステップＳ２１８に移行する。
【００５６】
そして、次のステップＳ２１８において、ＭＰＵ１７は、動画フラグを１に設定し、その処理を次のステップＳ２１９に移行する。
そして、次のステップＳ２１９において、ＭＰＵ１７は、モニタ２１に出力された加算画像データもしくはＨＤＲ画像データを、動画を構成する１つの画像データとしてカードＩ／Ｆ２３へ出力してメモリカード２２に記録し、その処理を次のステップＳ２１６に移行する。
【００５７】
また、ステップＳ２１７において、ＭＰＵ１７は、動画フラグ＝１であると判断した場合には（ステップＳ２１７＝ＮＯ）、その処理をステップＳ２２０に移行する。
そして、次のステップＳ２２０において、ＭＰＵ１７は、動画フラグを０とし、その処理を次のステップＳ２１６に移行する。
【００５８】
その後、ステップＳ２１６において、ＭＰＵ１７は、動作モードが通常撮影モードもしくは再生モードに変更されたか否かを判断する。すなわち、撮影モードがＨＤＲ静止画撮影モードもしくはＨＤＲ動画撮影モードから変更された場合には（ステップＳ２１６＝ＹＥＳ）、その処理を次のステップＳ２２１に移行する。
【００５９】
そして、次のステップＳ２２１において、ＭＰＵ１７は、動画フラグを０として画像合成処理ルーチンを終了する。すなわち、ＭＰＵ１７は、動画撮影中に撮影モードが変更されると、動画撮影を中止してから画像合成ルーチンを終了する。
【００６０】
一方、ステップＳ２１６において、ＭＰＵ１７は、ＨＤＲ静止画撮影モードもしくはＨＤＲ動画撮影モードが維持されていると判断した場合には（ステップＳ２１６＝ＮＯ）、その処理を次のステップＳ２２２に移行する。
【００６１】
そして、次のステップＳ２２２において、ＭＰＵ１７は、カメラ１１の電源がオフされたか否かを判断する。カメラ１１の電源がオフされた場合には（ステップＳ２２２＝ＹＥＳ）、その処理をステップＳ２２１に移行し、動画フラグを０とした後に撮像処理ルーチンを終了する。
【００６２】
一方、ステップＳ２２２において、カメラ１１の電源がオフされていない場合には（ステップＳ２２２＝ＮＯ）、ＭＰＵ１７は、その処理をステップＳ２０１に戻す。すなわち、ＭＰＵ１７は、カメラ１１の電源がオン状態で維持されると共に、ＨＤＲ静止画撮影モードもしくはＨＤＲ動画撮影モードが維持されている間、画像合成ルーチンを繰り返し実行する。
【００６３】
次に、以上のように構成された本実施形態のカメラ１１の作用について以下説明する。
なお、説明の前提として、この場合にカメラ１１で撮影する画像は図２に示す画像２５であって、既述したように、その画像２５における被写体画像は暗部と明部を有しているものとする。さらに、操作部材２４におけるモード切り替えボタンが操作されたことにより撮影モードは通常撮影モードからＨＤＲ動画撮影モードに切り替えられているものとする。
【００６４】
さて、以上のような前提の下、カメラ１１のレンズ部１２を被写体となる山２７の方向に向けると、山麓に湖２８と立木２９がある山２７の稜線の左側上方に太陽２６が昇った状態にある風景と馬３０とがスルー画像としてモニタ２１に表示される。
【００６５】
具体的には、図６に示すように撮像素子１４は、１つの画像がスルー画像としてモニタ２１に表示される時間（例えば、１／３０秒）よりも速いシャッター速度（例えば、１／１２０秒）で被写体を連続撮像し、順次ＲＡＭ２０に一次記憶する。そして、ＲＡＭ２０に４つの画像データが記憶されると、第１の合成手段としての加算合成部３１は、これらの画像データを加算合成して加算画像データを生成する。そして、第２の合成手段としてのＨＤＲ合成部３２は、加算合成部３１が生成した加算画像データと、ＲＡＭ２０に記憶された１つの画像データ（例えば、１番最初に記憶された画像データ）とをＨＤＲ合成し、生成したＨＤＲ画像データをモニタ２１に出力する。したがって、ＨＤＲ合成部３２は、出力手段としても機能している。そして、この処理を連続して行うことにより、モニタ２１に表示されるＨＤＲ合成された画像が順次切り替わり、ＨＤＲ動画撮影した場合と同等のスルー画像がモニタ２１に表示される。
【００６６】
また、例えば、図２の画像２５において太陽２６が含まれず、複数の画像データを加算合成しても白とびした画素が生じない場合には、図７に示すように、加算画像データ同士をＨＤＲ合成してＨＤＲ画像データを生成する。なお、図７においては、２個の画像データを合成した場合に白とびが生じないのに対し、３個の画像データを加算合成した場合に白とびが生じるような被写体をＨＤＲ撮影する場合の処理を示している。
【００６７】
具体的には、図７に示すように撮像素子１４は、１つの画像がスルー画像としてモニタ２１に表示される時間（例えば、１／３０秒）よりも速いシャッター速度（例えば、１／１２０秒）で被写体を連続撮像し、順次ＲＡＭ２０に一次記憶する。そして、ＲＡＭ２０に４つの画像データが記憶されると、加算合成部３１は、これらの画像データを加算合成して低輝度側画像データとなる加算画像データを生成すると共に、一部の画像データ（例えば、先に記憶された２個の画像データ）を加算合成して高輝度側画像データとなる加算画像データを生成する。そして、ＨＤＲ合成部３２は、これらの加算画像データをＨＤＲ合成し、生成したＨＤＲ画像データをモニタ２１に出力する。そして、この処理を連続して行うことにより、モニタ２１に表示されるＨＤＲ合成された画像が順次切り替わり、ＨＤＲ動画撮影した場合と同等のスルー画像がモニタ２１に表示される。
【００６８】
そして、このようにモニタ２１にスルー画像が表示されている状態でカメラ１１の使用者により、レリーズボタンが全押しされると、モニタ２１に出力されるＨＤＲ画像データがカードＩ／Ｆ２３にも出力される。そのため、メモリカード２２には、使用者が再びレリーズボタンを全押しするまでの間に生成したＨＤＲ画像データが動画として記録される。
【００６９】
また、使用者がモード切り替えボタンを操作して動作モードをＨＤＲ静止画撮影モードに切り換えた状態でレリーズボタンを全押しすると、モニタ２１に出力されるＨＤＲ画像データがカードＩ／Ｆ２３にも出力される。そのため、メモリカード２２には、ＨＤＲ画像データが静止画として記録される。
【００７０】
上記第１の実施形態によれば、以下のような効果を得ることができる。
（１）ＨＤＲ合成部３２は、加算合成に用いた一部の画像データと、加算合成によって生成された加算画像データとをＨＤＲ合成する。そのため、所望の露出条件（例えば、シャッター速度が１／３０秒）で撮影した画像をＨＤＲ合成するために、１／３０秒のシャッター速度で被写体を撮像すると共に、続けて１／１２０秒のシャッター速度で撮像してＨＤＲ合成する場合に比べて、画像のずれを抑制することができる。したがって、撮影画像同士の位置補正をすることなく画像のずれを抑制してハイダイナミックレンジ撮影することができる。
【００７１】
（２）輝度に応じてＨＤＲ処理に用いる高輝度側画像データを、画像データの数を変更して生成することにより、画像の明るさを調整することができる。したがって、白とびを抑制しつつコントラストの大きな画像を得ることができる。
【００７２】
（３）ＨＤＲ画像データを連続してモニタ２１に表示することにより、メモリカード２２に記憶するＨＤＲ画像データをスルー画像としてユーザに視認させることができる。従って、レリーズボタンを操作してメモリカード２２に記憶する静止画及び動画イメージを使用者に伝えることができる。
【００７３】
（４）加算合成に用いた画像データと加算画像データとをＨＤＲ合成することにより、画像データ同士の位置補正処理を省略してＨＤＲ合成を高速化することができる。そのため、１秒あたりに出力されるＨＤＲ画像データの数を増加させることができるため、ＨＤＲ撮影を動画に適用することができる。
【００７４】
（第２の実施形態）
次に、本発明の第２の実施形態を図８に従って説明する。なお、第２の実施形態は、第１の実施形態とは被写体を撮影するシャッター速度と加算合成する画像データの数を変更した点でのみ相違しており、その他の構成及び処理は共通しているため、同様の構成部分については同一符号を付すことにして、その詳細な重複説明を省略する。
【００７５】
図８に示すように撮像素子１４は、静止画を撮影する露出条件（例えば、シャッター速度１／３０秒）よりも速いシャッター速度で被写体を連続撮像し、順次ＲＡＭ２０に一次記憶する（記憶手段）。なお、このときのシャッター速度は、撮像ごとに変更され、このカメラ１１では、まず１／１２０秒のシャッター速度で撮像された画像データがＲＡＭ２０に一次記憶される。そして、続いて３／１２０秒で撮像された画像データがＲＡＭ２０に一次記憶される。
【００７６】
さて、ＲＡＭ２０に２つの画像データが記憶されると、加算合成部３１は、これらの画像データを加算合成して加算画像データを生成する（第１の合成手順）。そして、ＨＤＲ合成部３２は、加算合成部３１が生成した加算画像データと、ＲＡＭ２０に記憶された画像データのうち、輝度の低い画像データとをＨＤＲ合成し（第２の合成手順）、生成したＨＤＲ画像データをモニタ２１に出力する（出力手順）。
【００７７】
すなわち、シャッター速度が速い画像データの方がシャッター速度が遅い画像データに比べて画像全体の輝度が低く暗い画像となるため、白とびが生じている確立が低い。したがって、ＨＤＲ合成部３２は、加算画像データを低輝度側画像データとすると共に、１／１２０秒のシャッター速度で撮像された画像データを高輝度側画像データとしてＨＤＲ合成する。
【００７８】
そして、ＨＤＲ画像データをモニタ２１に出力すると共に、被写体の撮像と加算合成及びＨＤＲ合成を連続して実行する。すると、モニタ２１に表示されるＨＤＲ合成された画像が順次切り替わり、ＨＤＲ動画撮影した場合と同等のスルー画像がモニタ２１に表示される。
【００７９】
また、使用者がモード切り替えボタンを操作して動作モードをＨＤＲ静止画撮影モードに切り換えた状態でレリーズボタンを全押しすると、モニタ２１に出力されるＨＤＲ画像データがカードＩ／Ｆ２３にも出力される。そのため、メモリカード２２には、ＨＤＲ画像データが静止画として記録される。
【００８０】
上記第２の実施形態によれば、第１の実施形態における（１）〜（４）の効果に加えて、さらに以下のような効果を得ることができる。
（５）遅いシャッター速度で撮像した画像データは、暗部の黒つぶれが低減されているのに対し、速いシャッター速度で撮像した画像データに比べて明部が白とびしてしまう可能性が高い。その点、シャッター速度の異なる画像データをＨＤＲ合成に用いる場合には、より速いシャッター速度で撮像した輝度の低い画像データを用いることにより、遅いシャッター速度で撮像した輝度の高い画像データを用いる場合に比べて明部における白とびをより減少させることができる。
【００８１】
（６）シャッター速度を変化させることにより、同じシャッター速度で撮像した場合と比べて加算合成に用いる画像データ数を減少させることができる。したがって、加算合成部３１における負荷を低減することができるため、所定時間当たりに出力可能な加算画像データ数を増加させることができる。したがって、動画撮影時のこま数をさらに増加させることができる。
【００８２】
なお、上記実施形態は以下のように変更してもよい。
・上記各実施形態において、絞り値を制御してＨＤＲ撮影をするようにしてもよい。すなわち、大きな絞り値で連続撮像した画像データを複数加算合成することにより、小さな絞り値で撮像した画像データと同等の画像データを得ることができる。そして、加算画像データと加算合成に使用した画像データをＨＤＲ合成に用いることにより、画像の位置ずれを抑制してＨＤＲ合成を行うことができる。
【００８３】
・上記各実施形態において、撮像素子１４から出力された画素信号やシャッター速度、絞り値から画像の輝度を推定してもよい。また、カメラ１１に測光センサを設け、被写体の輝度を直接測光するようにしてもよい。そして、これらの推定結果や測定結果に基づいて高輝度側の画像データの生成に用いる画像データ数を設定してもよい。また、ＨＤＲ合成に用いる高輝度側の画像データの数は１つに固定してもよい。
【００８４】
・上記第２の実施形態において、異なるシャッター速度で３つ以上の画像データを記憶すると共に、最も速いシャッター速度で撮像した画像データを含む一部の画像データを加算合成してＨＤＲ合成に使用してもよい。また、画像データや被写体の輝度に応じて高輝度側画像データとして用いる画像データを選択してもよい。すなわち、例えば、逆光が強く輝度が大きい場合ほどシャッター速度の早い画像を選択するようにしてもよい。
【００８５】
・上記各実施形態において、操作部材２４は、動画の記録開始と終了を指示する録画ボタンを個別に有してもよい。そして、ＨＤＲ画像データを動画として記録中にレリーズボタンが操作された場合に、ＨＤＲ画像データを静止画としても記録するようにしてもよい。
【００８６】
・上記各実施形態において、ＨＤＲ静止画撮影モードまたはＨＤＲ動画撮影モードにおいて、レリーズボタンが半押しされた場合に、被写体の輝度に応じて連続撮影するシャッター速度や絞り値といった露出条件を変更するようにしてもよい。
【００８７】
・上記実施形態において、カメラ１１は、静止画のみもしくは動画のみの撮影が可能なカメラとしてもよい。すなわち、静止画のみの撮影が可能なデジタルスチルカメラや、動画のみの撮影が可能なデジタルビデオカメラにおいても適用することができる。
【００８８】
・上記実施形態において示した電子シャッターのシャッター速度やスルー画像としてモニタに表示する画像のコマ間隔は一例であり、その他の値でもよい。ＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードの場合には、連続撮影する際のシャッター速度が、スルー画像としてモニタに表示する画像のコマ間隔よりも速ければよく、連続撮影の際のシャッター速度は一定でなくてもよい。また、ＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードの場合には、スルー画像や記録中の画像を表示せずに、直接メモリーカード等の記録媒体に記録することとしてもよい。
【００８９】
・上記実施形態において、連続撮影により得られた複数の画像（例えば、４枚）を合成する際に、１枚目を基準画像として、他の３枚を１枚目に対して位置合わせをし、４枚の画像を加算合成する。そして、合成により得られた画像と、基準画像として用いた１枚目の画像と、をＨＤＲ合成してもよい。
【符号の説明】
【００９０】
１１…カメラ（撮像装置）、１４…撮像素子（撮像手段）、１７…ＭＰＵ（コンピュータ）、２０…ＲＭＡ（記憶手段）、２５…画像、３１…加算合成部（第１の合成手段）、３２…ＨＤＲ合成部（第２の合成手段、出力手段）。
【技術分野】
【０００１】
本発明は、撮像装置及び画像合成プログラムに関する。
【背景技術】
【０００２】
従来から、暗部と明部を有する同一の被写体を異なる露出条件で撮影して得られた複数の撮像画像を合成することにより、暗部が黒くつぶれたり明部が白く飛んだりしていない一つの合成画像を生成可能とするハイダイナミックレンジ（以下、「ＨＤＲ」という。）撮影技法が知られている（例えば、特許文献１参照）。
【０００３】
すなわち、こうした従来のＨＤＲ撮影技法では、異なる露出条件で撮影された複数の撮像画像を、位置補正した上でＨＤＲ合成することにより一つの合成画像を生成していた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３１９２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、一般に位置補正は、撮像画像から被写体の輪郭を抽出すると共に、各撮像画像同士で抽出した輪郭を比較することによって行われている。しかし、異なる露出条件で撮影された撮像画像では、同じ輪郭を抽出するのが困難であるため、位置ずれを類推する処理に時間を要してしまう。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、その目的は、画像のずれを抑制してハイダイナミックレンジ撮影することができる撮像装置及び画像合成プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、該撮像手段が連続撮像した複数の画像データを一次記憶可能な記憶手段と、該記憶手段に記憶された複数の前記画像データを加算合成して第１の画像データを生成する第１の合成手段と、前記複数の画像データのうち一部の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手段と、該第２の合成手段が生成した前記第２の画像データを出力する出力手段とを備えたことを要旨とする。
【０００８】
また、本発明の撮像装置において、前記出力手段は、前記第２の合成手段が生成した前記第２の画像データを逐次出力することを要旨とする。
また、本発明の撮像装置において、前記第２の合成手段は、前記複数の画像データのうち最も輝度の低い画像データを含む少なくとも一つの画像データを前記第１の画像データとの合成に用いることを要旨とする。
【０００９】
また、本発明の撮像装置において、前記第２の合成手段は、前記画像データの輝度が相対的に高い場合には、輝度が相対的に低い場合と比べて、前記第１の画像データとの合成に用いる前記画像データの数を減少させることを要旨とする。
【００１０】
また、本発明の撮像装置において、前記第１の合成手段は、前記撮像手段が所定時間当たりに撮像した複数の前記画像データを加算合成して第１の画像データを生成し、前記出力手段は、前記第２の合成手段が生成した前記第２の画像データを前記所定時間ごとに逐次出力することを要旨とする。
【００１１】
また、本発明の画像合成プログラムは、コンピュータに、被写体を撮像して画像データを生成する撮像手段が連続撮像した複数の画像データを一次記憶する記憶手順と、該記憶手順において記憶された複数の前記画像データを加算合成して第１の画像データを生成する第１の合成手順と、前記複数の画像データのうち一部の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手順と、該第２の合成手順において合成した前記第２の画像データを出力する出力手順とを実行させることを要旨とする。
また、本発明の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、基準画像に対して、該基準画像以外の他の画像を位置合わせして加算合成することにより第１の画像データを生成する第１の合成手段と、前記基準画像の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手段と、を備えたことを要旨とする。
また、本発明の画像合成プログラムは、コンピュータに、被写体を撮像して画像データを生成する撮像手段が連続撮像した複数の画像中の基準画像に対して、該基準画像以外の他の画像を位置合わせして加算合成することにより第１の画像データを生成する第１の合成手順と、前記基準画像の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手順とを実行させることを要旨とする。
【発明の効果】
【００１２】
本発明によれば、画像のずれを抑制してハイダイナミックレンジ撮影することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態におけるデジタルカメラの概略構成を示すブロック図。
【図２】明部と暗部を有する画像を撮影する場合の画面図。
【図３】撮像処理ルーチンを示すフローチャート。
【図４】スルー画像の作成手順を説明する説明図。
【図５】画像合成ルーチンを示すフローチャート。
【図６】画像合成の手順を説明する説明図。
【図７】画像合成の手順を説明する説明図。
【図８】第２の実施形態における画像合成の手順を説明する説明図。
【発明を実施するための形態】
【００１４】
（第１の実施形態）
以下、本発明を静止画および動画の撮影が可能な撮像装置としてのデジタルカメラ（以下、「カメラ」という。）及びこのカメラを用いて被写体をハイダイナミックレンジ（ＨＤＲ）撮影する場合の撮像方法に具体化した第１の実施形態を図１〜図７に基づいて説明する。
【００１５】
図１に示すように、カメラ１１は、ズームレンズなどの複数のレンズからなるレンズ部１２（図１では図面の簡略化のため１つのレンズのみ図示）と、レンズ部１２を通過した被写体光の光量を調整する絞り１３とを有している。さらに、カメラ１１は、絞り１３を通過した被写体光を撮像面となる入射側の受光面１４ａに結像させる撮像手段として機能する撮像素子１４を有している。そして、撮像素子１４の出力側には、ＡＦＥ（Analog Front End）１５と画像処理回路１６とが接続されると共に、その画像処理回路１６に対してＭＰＵ（Micro Processing Unit）１７がデータバス１８を介して接続されている。
【００１６】
また、ＭＰＵ１７には、カメラ１１の制御プログラムを記憶した不揮発性メモリ１９、記憶手段として機能するＲＡＭ２０、表示手段として機能する液晶表示のモニタ２１、及び記録媒体であるメモリカード２２を挿脱可能なカードＩ／Ｆ（Inter-Face）２３がデータバス１８を介して接続されている。さらに、カメラ本体（図示略）には、そのカメラ１１の使用者により操作されるモード切り替えボタンやレリーズボタン等からなる操作部材２４が、コンピュータとして機能するＭＰＵ１７に対して各々の操作信号（モード切替信号や半押し操作信号など）をデータ通信可能に設けられている。
【００１７】
撮像素子１４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、又はＣＣＤ（Charge Coupled Device）イメージセンサからなり、電子シャッター機能を有すると共に、その受光面１４ａには多数の受光素子（図示略）が二次元的に配列されている。そして、撮像素子１４は、その受光面１４ａに結像した被写体像に対応した信号電荷を蓄積し、その蓄積した信号電荷を画像データの元となる画素信号と呼ばれるアナログ信号でＡＦＥ１５に出力する。
【００１８】
ＡＦＥ１５は、撮像素子１４から入力したアナログ信号の画素信号を所定のタイミングでサンプリング（相関二重サンプリング）し、例えばＩＳＯ感度に基づく所定信号レベルとなるように増幅する信号処理部（図示略）と、その増幅後の画素信号をデジタル信号に変換するＡ／Ｄ変換部（図示略）とを有している。そして、ＡＦＥ１５は、アナログ信号の画素信号をＡ／Ｄ変換部でデジタル化することにより生成した画像データを画像処理回路１６に出力する。
【００１９】
画像処理回路１６は、ＡＦＥ１５から入力した画像データに対して、ＭＰＵ１７からの制御信号に基づき各種の画像処理を施す。そして、画像処理回路１６は、そのように画像処理を施した画像データを、ＲＡＭ２０に一次記憶させると共に、モニタ２１にスルー画像として表示させる。また、レリーズボタンが全押し操作された場合は、そのときの画像データと対応する画像をモニタ２１に確認用画像として表示させる一方、例えばＪＰＥＧ圧縮のためのフォーマット処理等の所定の画像処理を施した後に、メモリカード２２に画像ファイルとして記録させる。
【００２０】
ＭＰＵ１７は、不揮発性メモリ１９に記憶された画像合成プログラムなどの制御プログラムに基づき、カメラ１１における各種の処理動作（例えばＨＤＲ撮影処理等）を統括的に制御する。そして、データバス１８は、そうしたＭＰＵ１７の制御に伴う各種データの伝送路として機能する。
【００２１】
また、操作部材２４におけるモード切り替えボタンは、カメラ１１の動作モードを切り替える場合に操作されるボタンである。すなわち、モード切り替えボタンは、例えば撮影モードを通常撮影モード、ＨＤＲ静止画撮影モード、ＨＤＲ動画撮影モードなどの間で切り替える場合や、撮影した画像をモニタ２１に表示する再生モードに切り替える場合に操作される。
【００２２】
一方、レリーズボタンは、カメラ１１の動作モードが撮影モードである場合において被写体を撮影するときに押し下げ操作される。具体的には、このカメラ１１では、通常撮影モードにおいて操作部材２４のレリーズボタンが半押し操作された段階で被写体に対する焦点合わせのためのＡＦ（Auto Focus）処理と露出調整のためのＡＥ（Auto Exposure）処理が実行され、その後にレリーズボタンが全押し操作された段階で画像の生成処理が実行されるようになっている。
【００２３】
また、このカメラ１１は、撮影モードがＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードに切り替えられると、図２に示す画像２５における被写体のように、暗部と明部とを有する同一の被写体を撮像することによって得た複数の画像データをＨＤＲ合成する。因みに、図２の画像２５は、太陽２６が山２７の左側上方に位置しているために山麓にある湖２８の湖面が湖畔の立木２９の日陰になって暗くなった風景と、動く馬３０とを被写体とするものである。
【００２４】
そして、ＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードにおいては、ハイダイナミックレンジ合成（以下、「ＨＤＲ合成」という。）によって生成された第２の画像データとしてのハイダイナミックレンジ画像データ（以下、「ＨＤＲ画像データ」という。）をモニタ２１に逐次出力することにより、モニタ２１には、ＨＤＲ処理されたスルー画像が表示される。さらに、操作部材２４のレリーズボタンが全押し操作された場合には、ＨＤＲ画像データがメモリカード２２に記録されるようになっている。
【００２５】
そこで次に、このカメラ１１を用いて被写体を撮影する場合の処理を図３〜図７を参照しながら説明する。まず、図３は、カメラ１１の電源がオンされると共に、カメラ１１の動作モードが撮影モード（通常撮影モード、ＨＤＲ静止画撮影モード、ＨＤＲ動画撮影モード）に切り替えられた場合に実行される撮像処理ルーチンである。
【００２６】
すなわち、図３に示すように、ＭＰＵ１７は、まずステップＳ１０１において、不揮発性メモリ１９に記憶された初期露出条件に基づいて被写体を撮像し、その処理を次のステップＳ１０２に移行する。なお、初期露出条件は、各撮影モードごとに設定されている。なお、このカメラ１１の初期露出条件は、通常撮影モードでは３０分の１秒のシャッター速度とされている。また、ＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードでは、通常撮影モードのシャッター速度よりも速い１２０分の１秒のシャッター速度とされている。
【００２７】
そして、次のステップＳ１０２において、ＭＰＵ１７は、ステップＳ１０１において撮像した画像データをＲＡＭ２０に一次記憶させた後、その処理を次のステップＳ１０３に移行する。
【００２８】
そして、次のステップＳ１０３において、ＭＰＵ１７は、動作モードが再生モードに変更されたか否かを判断する。すなわち、使用者によってモード切り替えボタンが操作されて撮影モードから再生モードに変更された場合には（ステップＳ１０３＝ＹＥＳ）、ＭＰＵ１７は、撮像処理ルーチンを終了する。
【００２９】
また、ステップＳ１０３において、撮影モードが維持された場合には（ステップＳ１０３＝ＮＯ）、ＭＰＵ１７は、その処理を次のステップＳ１０４に移行する。
そして、次のステップＳ１０４において、カメラ１１の電源がオフされた場合には（ステップＳ１０４＝ＹＥＳ）、ＭＰＵ１７は、撮像処理ルーチンを終了する。一方、ステップＳ１０４において、カメラ１１の電源がオン状態に維持された場合には（ステップＳ１０４＝ＮＯ）、ＭＰＵ１７は、その処理をステップＳ１０１に移行する。
【００３０】
すなわち、カメラ１１は、電源のオン状態と撮影モードとが維持されている間、撮像処理ルーチンを繰り返し実行することにより、被写体を連続撮像すると共に、撮像した画像データを順次ＲＡＭ２０に一次記憶する。
【００３１】
すなわち、通常撮影モードの場合には、３０分の１秒のシャッター速度で連続撮像された画像データがＲＡＭ２０に一次記憶され、シャッター速度に対応した３０ｆｐｓ（frame par second：３０こま／秒）のスルー画像としてモニタ２１に表示される。
【００３２】
一方、図４に示すように、ＨＤＲ静止画撮影モード、及びＨＤＲ動画撮影モードの場合には、ＭＰＵ１７は、１２０分の１秒のシャッター速度で連続撮像した画像データを順次ＲＡＭ２０に一次記憶する（記憶手順）。そしてＭＰＵ１７は、ＲＡＭ２０に一次記憶された画像データを加算合成して加算画像データを生成し、所定時間（一例として通常撮影モードの場合と同じ１／３０秒）ごとに該加算画像データをモニタ２１に出力することにより、３０ｆｐｓのスルー画像として表示させる。
【００３３】
すなわち、所定時間（１／３０秒）当たりに撮影した４個の画像データを加算合成することにより生成された第１の画像データとしての加算画像データは、１２０分の１秒のシャッター速度で撮像された画像データに比べて４倍程度の明るさとなるため、３０分の１秒のシャッター速度で撮像した場合と同等の画像となる。したがって、明部と暗部との輝度の差が小さな被写体を撮像する場合には、撮影モードによって被写体を撮像するシャッター速度は異なるものの、モニタ２１には同等のスルー画像が表示される。
【００３４】
次に、上述したＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードにおいてスルー画像を表示する手順を、ＨＤＲ撮影を行う場合の手順と共に図５〜図７を参照しながら説明する。なお、図５は、カメラ１１の電源がオンされると共に、カメラ１１の動作モードがＨＤＲ静止画撮影モード、ＨＤＲ動画撮影モードに切り替えられた場合に撮像処理ルーチンと並列に実行される画像合成ルーチンである。そして、このカメラ１１では、図３に示す画像処理ルーチンと図５に示す画像合成ルーチンとにより、画像合成プログラムが構成されている。
【００３５】
さて、図５に示すように、まずステップＳ２０１において、ＭＰＵ１７は、加算合成するＮ個（Ｎは複数であって、このカメラ１１ではＮ＝４）の画像データがＲＡＭ２０に記憶されているか否かを判断する。ＲＡＭ２０に記憶された画像データ数がＮ個未満である場合には（ステップＳ２０１＝ＮＯ）、Ｎ個の画像データが記憶されるまで待機する。一方、Ｎ個の画像データが記憶された場合には（ステップＳ２０１＝ＹＥＳ）、その処理を次のステップＳ２０２に移行する。
【００３６】
そして、次のステップＳ２０２において、ＭＰＵ１７は、ＲＡＭ２０に記憶されたＮ個の画像データを取得して加算合成し、加算画像データを生成する（第１の合成手順）。そして、ＭＰＵ１７は、その処理を次のステップＳ２０３に移行する。
【００３７】
なお、ステップＳ２０２において加算合成する画像データの数Ｎは、シャッター速度と１秒間にモニタ２１に表示するこま数に応じて決まり、１こまの表示時間（例えば１／３０秒）をシャッター速度（例えば１／１２０秒）で割った商（１／３０÷１／１２０＝４）となる。
【００３８】
そして、次のステップＳ２０３において、ＭＰＵ１７は、ステップＳ２０２において加算合成した加算画像データ中に白とびがあるか否かを判断する。すなわち、ＭＰＵ１７は、加算画像データが示す輝度成分をヒストグラム解析し、白とびした画素がないと判断した場合には（ステップＳ２０３＝ＹＥＳ）、その処理を次のステップＳ２０４に移行する。
【００３９】
そして、次のステップＳ２０４において、ＭＰＵ１７は、ステップＳ２０２において生成した加算画像データをモニタ２１に出力し、スルー画像として表示させる。
一方、ステップＳ２０３において、加算合成した加算画像データ中に白とびがあると判断した場合には（ステップＳ２０３＝ＮＯ）、その処理を次のステップＳ２０５に移行する。
【００４０】
そして、次のステップＳ２０５において、ＭＰＵ１７は、ＨＤＲ合成に使用する高輝度側画像データの生成に使用する画像データ数ｎをｎ＝Ｎとし、その処理を次のステップＳ２０６に移行する。
【００４１】
そして、次のステップＳ２０６において、ＭＰＵ１７は、画像データ数ｎを１つ減少させ、その処理を次のステップＳ２０７に移行する。
そして、次のステップＳ２０７において、ＭＰＵ１７は、ｎ＝１であるか否かを判断する。ｎ＝１である場合には（ステップＳ２０７＝ＹＥＳ）、その処理を次のステップＳ２０８に移行する。
【００４２】
そして、次のステップＳ２０８において、ＭＰＵ１７は、ステップＳ２０２において加算合成した加算画像データを低輝度側画像データとすると共に、ステップＳ２０２において取得した画像データのうち１つの画像データを高輝度側画像データとしてＨＤＲ合成する（第２の合成手順）。そして、ＭＰＵ１７は、ＨＤＲ画像データを生成すると、その処理を次のステップＳ２０４に移行する。
【００４３】
そして、次のステップＳ２０４において、ＭＰＵ１７は、ステップＳ２０８において生成したＨＤＲ画像データをモニタ２１に出力し、スルー画像として表示させる（出力手順）。
【００４４】
一方、ステップＳ２０７において、ｎ＞１である場合には（ステップＳ２０７＝ＮＯ）、ＭＰＵ１７は、その処理を次のステップＳ２０９に移行する。
そして、次のステップＳ２０９において、ＭＰＵ１７は、ステップＳ２０２において取得したＮ個の画像データのうち、ｎ個の画像データを加算合成して加算画像データを生成する。そして、ＭＰＵ１７は、加算画像データを生成すると、その処理を次のステップＳ２１０に移行する。
【００４５】
そして、次のステップＳ２１０において、ＭＰＵ１７は、ステップＳ２０９において生成された加算画像データに白とびがあるか否かを判断する。すなわち、ＭＰＵ１７は、加算画像データが示す輝度成分をヒストグラム解析し、白とびした画素があると判断した場合には（ステップＳ２１０＝ＮＯ）、その処理をステップＳ２０６に移行し、加算合成に使用する画像データの数ｎを減少させる。すなわち、画像データの輝度が相対的に高い場合には、輝度が相対的に低い場合と比べてＨＤＲ合成に用いる画像データの数を減少させる。
【００４６】
一方、ステップＳ２１０において、白とびがないと判断した場合には（ステップＳ２１０＝ＹＥＳ）、ＭＰＵ１７は、その処理を次のステップＳ２０８に移行する。
そして、次のステップＳ２０８において、ＭＰＵ１７は、ステップＳ２０２において加算合成した加算画像データを低輝度側画像データとすると共に、ステップＳ２０９において加算合成した加算画像データを高輝度側画像データとしてＨＤＲ合成する。そして、ＭＰＵ１７は、ＨＤＲ画像データを生成すると、その処理を次のステップＳ２０４に移行する。
【００４７】
そして、次のステップＳ２０４では、ＭＰＵ１７は、ステップＳ２０８において生成したＨＤＲ画像データをモニタ２１に出力してスルー画像として表示させ、その処理を次のステップＳ２１１に移行する。
【００４８】
さて、次のステップＳ２１１において、ＭＰＵ１７は、動画フラグが０であるか否かを判断する。なお、動画フラグとは、動画撮影（記録）中であるか否かを示すフラグであり、動画撮影中に１となるフラグである。そのため、動画フラグ＝１である場合には（ステップＳ２１０＝ＮＯ）、動画撮影中であると判断し、その処理を次のステップＳ２１２に移行する。
【００４９】
そして、次のステップＳ２１２において、ＭＰＵ１７は、モニタ２１に出力された加算画像データもしくはＨＤＲ画像データを、動画を構成する１つの画像データとしてカードＩ／Ｆ２３へ出力してメモリカード２２に記録し、その処理をステップＳ２１３に移行する。
【００５０】
一方、ステップＳ２１１において、動画フラグ＝０である場合には（ステップＳ２１１＝ＹＥＳ）、直接次のステップＳ２１３に移行する。
そして、次のステップＳ２１３において、ＭＰＵ１７は、レジストボタンの操作の有無を判断する。そして、使用者がレジストボタンを操作し、操作ありと判断した場合には（ステップＳ２１３＝ＹＥＳ）、その処理を次のステップＳ２１４に移行する。
【００５１】
そして、次のステップＳ２１４において、ＭＰＵ１７は、撮影モードがＨＤＲ静止画撮影モードであるか、ＨＤＲ動画撮影モードであるかを判断する。すなわち、撮影モードがＨＤＲ静止画撮影モードである場合には（ステップＳ２１４＝ＹＥＳ）、ＭＰＵ１７は、その処理を次のステップＳ２１５に移行する。
【００５２】
そして、ステップＳ２１５において、ＭＰＵ１７は、モニタ２１に出力された加算画像データもしくはＨＤＲ画像データをカードＩ／Ｆ２３へ出力する。すなわち、ＭＰＵ１７は、メモリカード２２に静止画の画像データとして記録し、その処理を次のステップＳ２１６に移行する。
【００５３】
なお、ステップＳ２１３において、使用者がレジストボタンを操作していないと判断した場合には（ステップＳ２１３＝ＮＯ）、ＭＰＵ１７は、直接、その処理を次のステップＳ２１６に移行する。
【００５４】
一方、ステップＳ２１４において、撮影モードがＨＤＲ動画撮影モードである場合には（ステップＳ２１４＝ＮＯ）、ＭＰＵ１７は、その処理を次のステップＳ２１７に移行する。
【００５５】
そして、次のステップＳ２１７において、ＭＰＵ１７は、動画フラグ＝０であるか否かを判断する。すなわち、動画を撮影中ではない非撮影時には、動画フラグ＝０となっているため（ステップＳ２１７＝ＹＥＳ）、その処理を次のステップＳ２１８に移行する。
【００５６】
そして、次のステップＳ２１８において、ＭＰＵ１７は、動画フラグを１に設定し、その処理を次のステップＳ２１９に移行する。
そして、次のステップＳ２１９において、ＭＰＵ１７は、モニタ２１に出力された加算画像データもしくはＨＤＲ画像データを、動画を構成する１つの画像データとしてカードＩ／Ｆ２３へ出力してメモリカード２２に記録し、その処理を次のステップＳ２１６に移行する。
【００５７】
また、ステップＳ２１７において、ＭＰＵ１７は、動画フラグ＝１であると判断した場合には（ステップＳ２１７＝ＮＯ）、その処理をステップＳ２２０に移行する。
そして、次のステップＳ２２０において、ＭＰＵ１７は、動画フラグを０とし、その処理を次のステップＳ２１６に移行する。
【００５８】
その後、ステップＳ２１６において、ＭＰＵ１７は、動作モードが通常撮影モードもしくは再生モードに変更されたか否かを判断する。すなわち、撮影モードがＨＤＲ静止画撮影モードもしくはＨＤＲ動画撮影モードから変更された場合には（ステップＳ２１６＝ＹＥＳ）、その処理を次のステップＳ２２１に移行する。
【００５９】
そして、次のステップＳ２２１において、ＭＰＵ１７は、動画フラグを０として画像合成処理ルーチンを終了する。すなわち、ＭＰＵ１７は、動画撮影中に撮影モードが変更されると、動画撮影を中止してから画像合成ルーチンを終了する。
【００６０】
一方、ステップＳ２１６において、ＭＰＵ１７は、ＨＤＲ静止画撮影モードもしくはＨＤＲ動画撮影モードが維持されていると判断した場合には（ステップＳ２１６＝ＮＯ）、その処理を次のステップＳ２２２に移行する。
【００６１】
そして、次のステップＳ２２２において、ＭＰＵ１７は、カメラ１１の電源がオフされたか否かを判断する。カメラ１１の電源がオフされた場合には（ステップＳ２２２＝ＹＥＳ）、その処理をステップＳ２２１に移行し、動画フラグを０とした後に撮像処理ルーチンを終了する。
【００６２】
一方、ステップＳ２２２において、カメラ１１の電源がオフされていない場合には（ステップＳ２２２＝ＮＯ）、ＭＰＵ１７は、その処理をステップＳ２０１に戻す。すなわち、ＭＰＵ１７は、カメラ１１の電源がオン状態で維持されると共に、ＨＤＲ静止画撮影モードもしくはＨＤＲ動画撮影モードが維持されている間、画像合成ルーチンを繰り返し実行する。
【００６３】
次に、以上のように構成された本実施形態のカメラ１１の作用について以下説明する。
なお、説明の前提として、この場合にカメラ１１で撮影する画像は図２に示す画像２５であって、既述したように、その画像２５における被写体画像は暗部と明部を有しているものとする。さらに、操作部材２４におけるモード切り替えボタンが操作されたことにより撮影モードは通常撮影モードからＨＤＲ動画撮影モードに切り替えられているものとする。
【００６４】
さて、以上のような前提の下、カメラ１１のレンズ部１２を被写体となる山２７の方向に向けると、山麓に湖２８と立木２９がある山２７の稜線の左側上方に太陽２６が昇った状態にある風景と馬３０とがスルー画像としてモニタ２１に表示される。
【００６５】
具体的には、図６に示すように撮像素子１４は、１つの画像がスルー画像としてモニタ２１に表示される時間（例えば、１／３０秒）よりも速いシャッター速度（例えば、１／１２０秒）で被写体を連続撮像し、順次ＲＡＭ２０に一次記憶する。そして、ＲＡＭ２０に４つの画像データが記憶されると、第１の合成手段としての加算合成部３１は、これらの画像データを加算合成して加算画像データを生成する。そして、第２の合成手段としてのＨＤＲ合成部３２は、加算合成部３１が生成した加算画像データと、ＲＡＭ２０に記憶された１つの画像データ（例えば、１番最初に記憶された画像データ）とをＨＤＲ合成し、生成したＨＤＲ画像データをモニタ２１に出力する。したがって、ＨＤＲ合成部３２は、出力手段としても機能している。そして、この処理を連続して行うことにより、モニタ２１に表示されるＨＤＲ合成された画像が順次切り替わり、ＨＤＲ動画撮影した場合と同等のスルー画像がモニタ２１に表示される。
【００６６】
また、例えば、図２の画像２５において太陽２６が含まれず、複数の画像データを加算合成しても白とびした画素が生じない場合には、図７に示すように、加算画像データ同士をＨＤＲ合成してＨＤＲ画像データを生成する。なお、図７においては、２個の画像データを合成した場合に白とびが生じないのに対し、３個の画像データを加算合成した場合に白とびが生じるような被写体をＨＤＲ撮影する場合の処理を示している。
【００６７】
具体的には、図７に示すように撮像素子１４は、１つの画像がスルー画像としてモニタ２１に表示される時間（例えば、１／３０秒）よりも速いシャッター速度（例えば、１／１２０秒）で被写体を連続撮像し、順次ＲＡＭ２０に一次記憶する。そして、ＲＡＭ２０に４つの画像データが記憶されると、加算合成部３１は、これらの画像データを加算合成して低輝度側画像データとなる加算画像データを生成すると共に、一部の画像データ（例えば、先に記憶された２個の画像データ）を加算合成して高輝度側画像データとなる加算画像データを生成する。そして、ＨＤＲ合成部３２は、これらの加算画像データをＨＤＲ合成し、生成したＨＤＲ画像データをモニタ２１に出力する。そして、この処理を連続して行うことにより、モニタ２１に表示されるＨＤＲ合成された画像が順次切り替わり、ＨＤＲ動画撮影した場合と同等のスルー画像がモニタ２１に表示される。
【００６８】
そして、このようにモニタ２１にスルー画像が表示されている状態でカメラ１１の使用者により、レリーズボタンが全押しされると、モニタ２１に出力されるＨＤＲ画像データがカードＩ／Ｆ２３にも出力される。そのため、メモリカード２２には、使用者が再びレリーズボタンを全押しするまでの間に生成したＨＤＲ画像データが動画として記録される。
【００６９】
また、使用者がモード切り替えボタンを操作して動作モードをＨＤＲ静止画撮影モードに切り換えた状態でレリーズボタンを全押しすると、モニタ２１に出力されるＨＤＲ画像データがカードＩ／Ｆ２３にも出力される。そのため、メモリカード２２には、ＨＤＲ画像データが静止画として記録される。
【００７０】
上記第１の実施形態によれば、以下のような効果を得ることができる。
（１）ＨＤＲ合成部３２は、加算合成に用いた一部の画像データと、加算合成によって生成された加算画像データとをＨＤＲ合成する。そのため、所望の露出条件（例えば、シャッター速度が１／３０秒）で撮影した画像をＨＤＲ合成するために、１／３０秒のシャッター速度で被写体を撮像すると共に、続けて１／１２０秒のシャッター速度で撮像してＨＤＲ合成する場合に比べて、画像のずれを抑制することができる。したがって、撮影画像同士の位置補正をすることなく画像のずれを抑制してハイダイナミックレンジ撮影することができる。
【００７１】
（２）輝度に応じてＨＤＲ処理に用いる高輝度側画像データを、画像データの数を変更して生成することにより、画像の明るさを調整することができる。したがって、白とびを抑制しつつコントラストの大きな画像を得ることができる。
【００７２】
（３）ＨＤＲ画像データを連続してモニタ２１に表示することにより、メモリカード２２に記憶するＨＤＲ画像データをスルー画像としてユーザに視認させることができる。従って、レリーズボタンを操作してメモリカード２２に記憶する静止画及び動画イメージを使用者に伝えることができる。
【００７３】
（４）加算合成に用いた画像データと加算画像データとをＨＤＲ合成することにより、画像データ同士の位置補正処理を省略してＨＤＲ合成を高速化することができる。そのため、１秒あたりに出力されるＨＤＲ画像データの数を増加させることができるため、ＨＤＲ撮影を動画に適用することができる。
【００７４】
（第２の実施形態）
次に、本発明の第２の実施形態を図８に従って説明する。なお、第２の実施形態は、第１の実施形態とは被写体を撮影するシャッター速度と加算合成する画像データの数を変更した点でのみ相違しており、その他の構成及び処理は共通しているため、同様の構成部分については同一符号を付すことにして、その詳細な重複説明を省略する。
【００７５】
図８に示すように撮像素子１４は、静止画を撮影する露出条件（例えば、シャッター速度１／３０秒）よりも速いシャッター速度で被写体を連続撮像し、順次ＲＡＭ２０に一次記憶する（記憶手段）。なお、このときのシャッター速度は、撮像ごとに変更され、このカメラ１１では、まず１／１２０秒のシャッター速度で撮像された画像データがＲＡＭ２０に一次記憶される。そして、続いて３／１２０秒で撮像された画像データがＲＡＭ２０に一次記憶される。
【００７６】
さて、ＲＡＭ２０に２つの画像データが記憶されると、加算合成部３１は、これらの画像データを加算合成して加算画像データを生成する（第１の合成手順）。そして、ＨＤＲ合成部３２は、加算合成部３１が生成した加算画像データと、ＲＡＭ２０に記憶された画像データのうち、輝度の低い画像データとをＨＤＲ合成し（第２の合成手順）、生成したＨＤＲ画像データをモニタ２１に出力する（出力手順）。
【００７７】
すなわち、シャッター速度が速い画像データの方がシャッター速度が遅い画像データに比べて画像全体の輝度が低く暗い画像となるため、白とびが生じている確立が低い。したがって、ＨＤＲ合成部３２は、加算画像データを低輝度側画像データとすると共に、１／１２０秒のシャッター速度で撮像された画像データを高輝度側画像データとしてＨＤＲ合成する。
【００７８】
そして、ＨＤＲ画像データをモニタ２１に出力すると共に、被写体の撮像と加算合成及びＨＤＲ合成を連続して実行する。すると、モニタ２１に表示されるＨＤＲ合成された画像が順次切り替わり、ＨＤＲ動画撮影した場合と同等のスルー画像がモニタ２１に表示される。
【００７９】
また、使用者がモード切り替えボタンを操作して動作モードをＨＤＲ静止画撮影モードに切り換えた状態でレリーズボタンを全押しすると、モニタ２１に出力されるＨＤＲ画像データがカードＩ／Ｆ２３にも出力される。そのため、メモリカード２２には、ＨＤＲ画像データが静止画として記録される。
【００８０】
上記第２の実施形態によれば、第１の実施形態における（１）〜（４）の効果に加えて、さらに以下のような効果を得ることができる。
（５）遅いシャッター速度で撮像した画像データは、暗部の黒つぶれが低減されているのに対し、速いシャッター速度で撮像した画像データに比べて明部が白とびしてしまう可能性が高い。その点、シャッター速度の異なる画像データをＨＤＲ合成に用いる場合には、より速いシャッター速度で撮像した輝度の低い画像データを用いることにより、遅いシャッター速度で撮像した輝度の高い画像データを用いる場合に比べて明部における白とびをより減少させることができる。
【００８１】
（６）シャッター速度を変化させることにより、同じシャッター速度で撮像した場合と比べて加算合成に用いる画像データ数を減少させることができる。したがって、加算合成部３１における負荷を低減することができるため、所定時間当たりに出力可能な加算画像データ数を増加させることができる。したがって、動画撮影時のこま数をさらに増加させることができる。
【００８２】
なお、上記実施形態は以下のように変更してもよい。
・上記各実施形態において、絞り値を制御してＨＤＲ撮影をするようにしてもよい。すなわち、大きな絞り値で連続撮像した画像データを複数加算合成することにより、小さな絞り値で撮像した画像データと同等の画像データを得ることができる。そして、加算画像データと加算合成に使用した画像データをＨＤＲ合成に用いることにより、画像の位置ずれを抑制してＨＤＲ合成を行うことができる。
【００８３】
・上記各実施形態において、撮像素子１４から出力された画素信号やシャッター速度、絞り値から画像の輝度を推定してもよい。また、カメラ１１に測光センサを設け、被写体の輝度を直接測光するようにしてもよい。そして、これらの推定結果や測定結果に基づいて高輝度側の画像データの生成に用いる画像データ数を設定してもよい。また、ＨＤＲ合成に用いる高輝度側の画像データの数は１つに固定してもよい。
【００８４】
・上記第２の実施形態において、異なるシャッター速度で３つ以上の画像データを記憶すると共に、最も速いシャッター速度で撮像した画像データを含む一部の画像データを加算合成してＨＤＲ合成に使用してもよい。また、画像データや被写体の輝度に応じて高輝度側画像データとして用いる画像データを選択してもよい。すなわち、例えば、逆光が強く輝度が大きい場合ほどシャッター速度の早い画像を選択するようにしてもよい。
【００８５】
・上記各実施形態において、操作部材２４は、動画の記録開始と終了を指示する録画ボタンを個別に有してもよい。そして、ＨＤＲ画像データを動画として記録中にレリーズボタンが操作された場合に、ＨＤＲ画像データを静止画としても記録するようにしてもよい。
【００８６】
・上記各実施形態において、ＨＤＲ静止画撮影モードまたはＨＤＲ動画撮影モードにおいて、レリーズボタンが半押しされた場合に、被写体の輝度に応じて連続撮影するシャッター速度や絞り値といった露出条件を変更するようにしてもよい。
【００８７】
・上記実施形態において、カメラ１１は、静止画のみもしくは動画のみの撮影が可能なカメラとしてもよい。すなわち、静止画のみの撮影が可能なデジタルスチルカメラや、動画のみの撮影が可能なデジタルビデオカメラにおいても適用することができる。
【００８８】
・上記実施形態において示した電子シャッターのシャッター速度やスルー画像としてモニタに表示する画像のコマ間隔は一例であり、その他の値でもよい。ＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードの場合には、連続撮影する際のシャッター速度が、スルー画像としてモニタに表示する画像のコマ間隔よりも速ければよく、連続撮影の際のシャッター速度は一定でなくてもよい。また、ＨＤＲ静止画撮影モード及びＨＤＲ動画撮影モードの場合には、スルー画像や記録中の画像を表示せずに、直接メモリーカード等の記録媒体に記録することとしてもよい。
【００８９】
・上記実施形態において、連続撮影により得られた複数の画像（例えば、４枚）を合成する際に、１枚目を基準画像として、他の３枚を１枚目に対して位置合わせをし、４枚の画像を加算合成する。そして、合成により得られた画像と、基準画像として用いた１枚目の画像と、をＨＤＲ合成してもよい。
【符号の説明】
【００９０】
１１…カメラ（撮像装置）、１４…撮像素子（撮像手段）、１７…ＭＰＵ（コンピュータ）、２０…ＲＭＡ（記憶手段）、２５…画像、３１…加算合成部（第１の合成手段）、３２…ＨＤＲ合成部（第２の合成手段、出力手段）。
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを生成する撮像手段と、
該撮像手段が連続撮像した複数の画像データを一次記憶可能な記憶手段と、
該記憶手段に記憶された複数の前記画像データを加算合成して第１の画像データを生成する第１の合成手段と、
前記複数の画像データのうち一部の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手段と、
該第２の合成手段が生成した前記第２の画像データを出力する出力手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記出力手段は、前記第２の合成手段が生成した前記第２の画像データを逐次出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の合成手段は、前記複数の画像データのうち最も輝度の低い画像データを含む少なくとも一つの画像データを前記第１の画像データとの合成に用いることを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記第２の合成手段は、前記画像データの輝度が相対的に高い場合には、輝度が相対的に低い場合と比べて、前記第１の画像データとの合成に用いる前記画像データの数を減少させることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第１の合成手段は、前記撮像手段が所定時間当たりに撮像した複数の前記画像データを加算合成して第１の画像データを生成し、
前記出力手段は、前記第２の合成手段が生成した前記第２の画像データを前記所定時間ごとに逐次出力することを特徴とする請求項１〜請求項４のうち何れか一項に記載の撮像装置。
【請求項６】
コンピュータに、
被写体を撮像して画像データを生成する撮像手段が連続撮像した複数の画像データを一次記憶する記憶手順と、
該記憶手順において記憶された複数の前記画像データを加算合成して第１の画像データを生成する第１の合成手順と、
前記複数の画像データのうち一部の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手順と、
該第２の合成手順において合成した前記第２の画像データを出力する出力手順と
を実行させることを特徴とする画像合成プログラム。
【請求項７】
被写体を撮像して画像データを生成する撮像手段と、
基準画像に対して、該基準画像以外の他の画像を位置合わせして加算合成することにより第１の画像データを生成する第１の合成手段と、
前記基準画像の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手段と、
を備えたことを特徴とする撮像装置。
【請求項８】
コンピュータに、
被写体を撮像して画像データを生成する撮像手段が連続撮像した複数の画像中の基準画像に対して、該基準画像以外の他の画像を位置合わせして加算合成することにより第１の画像データを生成する第１の合成手順と、
前記基準画像の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手順と
を実行させることを特徴とする画像合成プログラム。
【請求項１】
被写体を撮像して画像データを生成する撮像手段と、
該撮像手段が連続撮像した複数の画像データを一次記憶可能な記憶手段と、
該記憶手段に記憶された複数の前記画像データを加算合成して第１の画像データを生成する第１の合成手段と、
前記複数の画像データのうち一部の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手段と、
該第２の合成手段が生成した前記第２の画像データを出力する出力手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記出力手段は、前記第２の合成手段が生成した前記第２の画像データを逐次出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の合成手段は、前記複数の画像データのうち最も輝度の低い画像データを含む少なくとも一つの画像データを前記第１の画像データとの合成に用いることを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記第２の合成手段は、前記画像データの輝度が相対的に高い場合には、輝度が相対的に低い場合と比べて、前記第１の画像データとの合成に用いる前記画像データの数を減少させることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第１の合成手段は、前記撮像手段が所定時間当たりに撮像した複数の前記画像データを加算合成して第１の画像データを生成し、
前記出力手段は、前記第２の合成手段が生成した前記第２の画像データを前記所定時間ごとに逐次出力することを特徴とする請求項１〜請求項４のうち何れか一項に記載の撮像装置。
【請求項６】
コンピュータに、
被写体を撮像して画像データを生成する撮像手段が連続撮像した複数の画像データを一次記憶する記憶手順と、
該記憶手順において記憶された複数の前記画像データを加算合成して第１の画像データを生成する第１の合成手順と、
前記複数の画像データのうち一部の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手順と、
該第２の合成手順において合成した前記第２の画像データを出力する出力手順と
を実行させることを特徴とする画像合成プログラム。
【請求項７】
被写体を撮像して画像データを生成する撮像手段と、
基準画像に対して、該基準画像以外の他の画像を位置合わせして加算合成することにより第１の画像データを生成する第１の合成手段と、
前記基準画像の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手段と、
を備えたことを特徴とする撮像装置。
【請求項８】
コンピュータに、
被写体を撮像して画像データを生成する撮像手段が連続撮像した複数の画像中の基準画像に対して、該基準画像以外の他の画像を位置合わせして加算合成することにより第１の画像データを生成する第１の合成手順と、
前記基準画像の画像データと前記第１の画像データとを合成して第２の画像データを生成する第２の合成手順と
を実行させることを特徴とする画像合成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−５００７３（Ｐ２０１２−５００７３Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１１−１６１１３３（Ｐ２０１１−１６１１３３）
【出願日】平成２３年７月２２日（２０１１．７．２２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２３年７月２２日（２０１１．７．２２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]