画像処理装置及びその制御方法
【課題】連続画像を生成する際に、取得画像の保持領域の削減を可能にすると共に画像合成の負荷を軽減する。
【解決手段】保持グループ数ｍ、構成画像数ｎが設定される。順次取得した取得画像ＩＰが、順次、取得画像記憶回路１７に保持される。取得画像ＩＰがｎ個取得されたときに、それまでに取得画像記憶回路１７に保持していたｎ個の取得画像ＩＰが合成され、グループ化画像ＧＰとして生成され、グループ化画像記憶回路１８に保持されると共に、グループ化画像ＧＰの生成に使用した取得画像ＩＰは消去される。グループ化画像記憶回路１８に新たなグループ化画像ＧＰが保持される毎に、保持されていたグループ化画像ＧＰのうち最新のものからｍ個分のものまでを合成して表示画像Ｐが生成される。
【解決手段】保持グループ数ｍ、構成画像数ｎが設定される。順次取得した取得画像ＩＰが、順次、取得画像記憶回路１７に保持される。取得画像ＩＰがｎ個取得されたときに、それまでに取得画像記憶回路１７に保持していたｎ個の取得画像ＩＰが合成され、グループ化画像ＧＰとして生成され、グループ化画像記憶回路１８に保持されると共に、グループ化画像ＧＰの生成に使用した取得画像ＩＰは消去される。グループ化画像記憶回路１８に新たなグループ化画像ＧＰが保持される毎に、保持されていたグループ化画像ＧＰのうち最新のものからｍ個分のものまでを合成して表示画像Ｐが生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取得画像を合成して連続画像を生成する画像処理装置等に関する。
【背景技術】
【０００２】
従来、撮像装置等における画像処理装置には、撮像部で取得した画像を順次表示するライブビュー表示が可能に構成されたものがある。特に、撮像装置に設定した撮影時の露出設定値に基づき画像を表示する露出シミュレーション表示が可能な撮像装置が知られている。
【０００３】
また、下記特許文献１に示されるように、複数の画像を所定の間隔で取得して記憶手段にて保持し、設定しているシャッタ速度に合わせて、保持している最新の画像から所定数の画像を合成してスルー画像として表示するものが知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０７９２２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来のライブビュー表示を行う装置においては、撮影時の画像露出で表示する露出シミュレーション表示を行う場合に、画像の追従性を考えると、低輝度時にも所定のフレームレートで表示を行う必要がある。しかし、低輝度時には、実際の露出値に相当する時間の露光量を得ることができず、実際の露出値とは異なるアンダーな画像の表示となってしまうことがあった。
【０００６】
また、上記特許文献１の装置のように、所定間隔で取得した複数の画像を合成して表示するものにおいては、例えば、１秒間に１０フレーム取得して５秒間の画像を合成するためには、５０フレームの画像を保持する保持領域を確保する必要がある。そのため、合成コマ数が多くなると、保持するメモリ容量（保持領域）の確保が困難になると共に、合成画像を更新する度に多数の画像を毎回合成することによる、画像合成の演算負荷が大きいという問題があった。
【０００７】
本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、連続画像を生成する際に、取得画像の保持領域の削減を可能にすると共に画像合成の負荷を軽減することができる画像処理装置等を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明の画像処理装置は、順次取得される取得画像を保持する第１の保持手段と、前記第１の保持手段に保持された第１の設定数の取得画像を合成して第１の合成画像を生成する第１の合成手段と、前記第１の合成画像を保持する第２の保持手段と、前記第２の保持手段に保持された前記第１の合成画像のうち最も新しく生成されたものから第２の設定数のものまでを合成して第２の合成画像を生成する第２の合成手段と、前記第１の合成画像の生成に用いられなくなった前記取得画像を順次消去する消去手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、連続画像を生成する際に、取得画像の保持領域の削減を可能にすると共に画像合成の負荷を軽減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施の形態に係る画像処理装置が適用される撮像装置の構成を模式的に示す図である。
【図２】撮像装置の回路構成を示すブロック図である。
【図３】取得画像の合成の態様を示す模式図である。
【図４】ライブビュー（ＬＶ）処理のフローチャートである。
【図５】図４のステップＳ１０１で実行される合成条件設定処理のフローチャートである。
【図６】図４のステップＳ１０３で実行されるＬＶモード設定処理のフローチャートである。
【図７】図４のステップＳ１１５で実行されるＬＶモード復帰処理のフローチャートである。
【図８】ライブビュー状態からのレリーズ処理のフローチャートである。
【図９】図４のステップＳ１０９で実行される画像取得処理のフローチャートである。
【図１０】図４のステップＳ１１０で実行されるグループ化画像生成処理のフローチャートである。
【図１１】図４のステップＳ１１１で実行される表示画像生成処理のフローチャートである。
【図１２】図４のステップＳ１１２で実行される表示処理のフローチャートである。
【図１３】図１０のステップＳ３１９で実行される画像ＩＳ処理のフローチャートである。
【図１４】図４のステップＳ１０７で実行される動画撮影処理のフローチャートである。
【図１５】第２の実施の形態における動画データ変換処理のフローチャートである。
【図１６】図１５のステップＳ５００で実行される動画データの変換条件設定処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を図面を参照して説明する。
【００１２】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像処理装置が適用される撮像装置の構成を模式的に示す図である。本撮像装置は、スルー画像表示、ライブビュー表示が可能な一眼レフカメラとして構成される。本撮像装置は、撮像装置本体１００と、撮像装置本体１００に対して着脱可能な交換レンズ２００とからなる。
【００１３】
撮像装置本体１００は、ファインダ光学系を構成する正立正像光学系１０１、接眼レンズ１０２、ファインダスクリーン１０３を備える。また、メインハーフミラー１０４は撮像光束をファインダ光学系に偏向する。サブミラー１０５は撮像光束を後述する焦点検出ユニット１０９に偏向する。メインハーフミラー１０４とサブミラー１０５とによって光路分割光学系が構成される。撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサ等でなる。メカニカルシャッタであるフォーカルプレーンシャッタ（以下「シャッタ装置」という）１０７は、撮像素子１０６の露光を制御する。
【００１４】
焦点検出ユニット１０９は、少なくとも一対の画素列（ラインセンサ）を有し、該一対のラインセンサは撮影光学系からの光束によって形成された一対の像を光電変換して信号を出力する。測光センサ１１０は被写体輝度を測定し、測光レンズ１１１は測光センサ１１０に被写体からの光束を結像させる。
【００１５】
カメラマイクロプロセッサ（第１の設定手段、第２の設定手段、第１の合成手段、第２の合成手段、消去手段）１１２は、撮像装置本体１００の各種動作の制御を司る。カメラマイクロプロセッサ１１２は１つとしているが、複数設けて制御負荷を分散させても良い。ファインダ表示ユニット１１５は、光学ファインダを覗いた観察者に対して各種情報を表示する。撮像装置本体１００の外面には外部表示ユニット１１６が設けられ、外部表示ユニット１１６は電子ビューファインダ（ＥＶＦ）として機能する。撮像素子１０６の前面にはローパスフィルタ１１７が配置される。
【００１６】
一方、交換レンズ２００は、交換レンズ２００の各種動作の制御を司るレンズマイクロプロセッサ２０１を備える。レンズマイクロプロセッサ２０１は、通信接点を介してカメラマイクロプロセッサ１１２と通信を行う。レンズ２０２は撮影光学系を構成する結像光学系である。絞り装置２０３は光量調節を行う。図１では、レンズを１枚しか記載していないが、実際には撮影光学系は複数枚のレンズにより構成されている。
【００１７】
本実施の形態においては、撮像装置本体１００のカメラマイクロプロセッサ１１２は、交換レンズ２００のレンズマイクロプロセッサ２０１と通信を行い、これにより、交換レンズ２００が保有する情報を使用して制御を行う。
【００１８】
図２は、撮像装置（撮像装置本体１００及び交換レンズ２００）の回路構成を示すブロック図である。
【００１９】
図２に示すように、撮像装置本体１００は、上記したカメラマイクロプロセッサ１１２の他、以下に示す構成要素を具備している。まず、モータ駆動回路２は、撮像装置本体１００の可動部分の駆動を行う。測光回路３は、被写体の輝度を測定するための回路であり、図１の測光センサ１１０に含まれる。焦点検出部４は、交換レンズ２００の焦点状態を検出するものであり、図１の焦点検出ユニット１０９に含まれる。
【００２０】
シャッタ制御回路６は、撮像装置本体１００の露光量の制御を行う回路であり、図１のシャッタ装置１０７に含まれる。絞り制御回路７は、撮像装置本体１００に取り込む光束を制御するための回路であり、図１の絞り装置２０３を制御する。表示回路（表示手段）８は、撮像装置本体１００の状態を表示するものであり、図１のファインダ表示ユニット１１５及び外部表示ユニット１１６を含む。
【００２１】
記憶回路１０には、撮像装置本体１００の設定状態の情報が格納される。撮像回路（撮像手段）１１は撮像処理を行う。レンズ通信回路１２は、撮像装置本体１００に装着される交換レンズ２００と通信を行う。姿勢検知回路１３は、撮像装置本体１００の姿勢変化を検出する。スイッチ１４（ＳＷ１）は、撮像準備動作を開始するためのスイッチで、スイッチ１５（ＳＷ２）は撮像を開始するためのスイッチである。
【００２２】
動きベクトル検出回路（検出手段）１６は、撮像素子１０６乃至撮像回路１１により取得された画像の動きベクトルを検出するための回路である。取得画像記憶回路（第１の保持手段）１７は、撮像素子１０６乃至撮像回路１１により取得された画像（以下「取得画像ＩＰ」とも称する）を一時的に保持する。グループ化画像記憶回路（第２の保持手段）１８は、撮像回路１１により取得されて取得画像記憶回路１７に保持された取得画像ＩＰを合成したもの（以下、「グループ化画像（第１の合成画像）ＧＰ」という）を一時的に保持する。画像データ記録回路（記憶装置）１９は、画像データを記録する。
【００２３】
撮像回路１１にて取得された画像は、まず、取得画像記憶回路１７にて保持され、次に、取得画像記憶回路１７にて保持されている取得画像ＩＰから合成によりグループ化画像ＧＰが生成され、グループ化画像記憶回路１８に保持される。さらに、グループ化画像記憶回路１８にて保持されているグループ化画像ＧＰから表示用の合成画像（以下、「表示画像（第２の合成画像）Ｐ」という）が生成された後、それが表示回路８にて表示される。また、画像データ記録回路１９にて画像記録等の処理が実行される。
【００２４】
交換レンズ２００は、上記したレンズマイクロプロセッサ２０１の他、交換レンズ２００の設定値を保持する記憶回路２２、交換レンズ２００の駆動を行うレンズ駆動回路２３を備える。さらに、交換レンズ２００の位置検出を行うレンズ位置検出回路２４、交換レンズ２００の設定されている焦点距離を検出するレンズ焦点距離検出回路２５が備えられる。絞り駆動回路２６は、図１の絞り装置２０３に含まれ、絞りを駆動する。レンズ通信回路２９は、撮像装置本体１００との通信を行う。レンズ通信回路２９は、撮像装置本体１００からの制御命令を受信すると共に、交換レンズ２００に保持されている形状情報やレンズ設定値等の情報を送信する。
【００２５】
図３は、取得画像ＩＰの合成の態様を示す模式図である。図３においては、撮像回路１１により取得されたｎ個の取得画像ＩＰを合成してグループ化画像ＧＰを生成し、グループ化画像ＧＰをｍ個生成した時点で、ｍ個のグループ化画像ＧＰを合成して表示画像Ｐを生成することを示している。これらの制御はカメラマイクロプロセッサ１１２（以下、単に「プロセッサ１１２」と記す）によってなされる。
【００２６】
「ｎ」は、「第１の設定数」であって、１つのグループ化画像ＧＰを生成するための合成対象となる取得画像ＩＰの数、すなわち、１つのグループ化画像ＧＰを構成する取得画像ＩＰの数（以下、「構成画像数ｎ」という）である。「ｍ」は、「第２の設定数」であって、１つの表示画像Ｐを生成するための合成対象となるグループ化画像ＧＰの数（以下、「保持グループ数ｍ」という）である。
【００２７】
図３に例示するように、順次取得した取得画像ＩＰが、順次ＩＰ（１，１）、ＩＰ（１，２）・・・ＩＰ（１，ｎ）というように、取得画像記憶回路１７に保持されていく。取得画像ＩＰがｎ個取得されたときに、それら取得画像記憶回路１７に保持されたｎ個の取得画像ＩＰが合成され、グループ化画像ＧＰ（１）として生成される。生成されたグループ化画像ＧＰ（１）はグループ化画像記憶回路１８に保持される。式で示すと、ＧＰ（１）＝ＩＰ（１，１）＋ＩＰ（１，２）＋・・・＋ＩＰ（１，ｎ）となる。
【００２８】
グループ化画像ＧＰを生成している間も、順次、画像の取得は継続されている。グループ化画像ＧＰを生成するために取得画像ＩＰが転送された後、取得画像記憶回路１７の画像領域はクリアされ、また新たな取得画像ＩＰが蓄積されていく。すなわち、ＩＰ（１，１）〜ＩＰ（１，ｎ）はグループ化画像ＧＰ（１）の生成と共にクリアされ、次のグループ化画像ＧＰ（２）を生成するための取得画像ＩＰ（２，１）〜ＩＰ（２，ｎ）が取得画像記憶回路１７で保持される。
【００２９】
取得画像ＩＰ（２，１）〜ＩＰ（２，ｎ）の取得が完了したところで、２つ目のグループ化画像ＧＰ（２）が、１つ目のグループ化画像ＧＰ（１）と同様に、取得画像ＩＰ（２，１）〜ＩＰ（２，ｎ）の合成により生成される。そしてそれが取得画像記憶回路１７にて保持される。式で示すと、ＧＰ（２）＝ＩＰ（２，１）＋ＩＰ（２，２）＋・・・＋ＩＰ（２，ｎ）となる。
【００３０】
このようにして、取得画像ＩＰがｎ個取得される毎にグループ化画像ＧＰの生成が繰り返される。ｍ番目のグループ化画像ＧＰ（ｍ）が、ＧＰ（ｍ）＝ＩＰ（ｍ，１）＋ＩＰ（ｍ，２）＋・・・＋ＩＰ（ｍ，ｎ）により生成されると、そのとき保持しているグループ化画像ＧＰの読み出しが行われる。そして、グループ化画像ＧＰ（１）〜ＧＰ（ｍ）が、Ｐ（１）＝ＧＰ（１）＋ＧＰ（２）＋・・・＋ＧＰ（ｍ）により合成されて表示画像Ｐ（１）が生成される。表示画像Ｐ（１）は、例えば、表示回路８によって表示される。
【００３１】
その後も、順次、取得画像ＩＰが取得され、やがてｍ＋１番目のグループ化画像ＧＰ（ｍ＋１）が生成される。すると、Ｐ（２）＝ＧＰ（２）＋ＧＰ（３）＋・・・＋ＧＰ（ｍ＋１）により、グループ化画像ＧＰ（２）〜ＧＰ（ｍ＋１）までが合成されて表示画像Ｐ（２）が生成され、表示回路８の表示画像が更新される。
【００３２】
このように、グループ化画像ＧＰが順次生成され、最新のグループ化画像ＧＰからｍ個分のグループ化画像ＧＰを合成して表示画像Ｐ（ｘ）が生成される。式で示すと、Ｐ（ｘ）＝ＧＰ（ｘ）＋ＧＰ（ｘ＋１）＋・・・＋ＧＰ（ｍ＋ｘ−１）となる。表示回路８の表示内容は、最新の表示画像Ｐ（ｘ）に順次更新され、連続画像として例えばライブビュー表示される。
【００３３】
以下に本撮像装置の動作の一例を示す。
【００３４】
図４は、本撮像装置で実行されるライブビュー（ＬＶ）処理のフローチャートである。本処理は、撮像装置の電源オン時に開始される。
【００３５】
まず、ステップＳ１００では、プロセッサ１１２は、撮像装置がライブビューモード（以下、「ＬＶモード」と記す）に設定（ＯＮ）されているか否かを判別する。プロセッサ１１２は、その判別の結果、ＬＶモードがＯＮに設定されている場合にはステップＳ１０１に処理を移行させる一方、ＬＶモードがＯＦＦに設定されている場合には、処理をステップＳ１１９に移行させる。
【００３６】
次に、ステップＳ１０１では、プロセッサ１１２は、取得画像ＩＰをどのように合成するかの条件を設定する合成条件設定処理（図５で後述）を実行し、ステップＳ１０２に処理を進める。次に、ステップＳ１０２では、プロセッサ１１２は、撮像装置がＬＶ状態に設定されているか否かを判別する。そして、プロセッサ１１２は、撮像装置がＬＶ状態に設定されていればステップＳ１０５に処理を進める一方、ＬＶ状態に設定されていない場合はステップＳ１０３、Ｓ１０４を実行してからステップＳ１０５に処理を進める。
【００３７】
ステップＳ１０３においては、プロセッサ１１２は、撮像装置をＬＶ状態に設定するＬＶモード設定処理（図６で後述）を実行する。ステップＳ１０４においては、プロセッサ１１２は、取得画像ＩＰを保持するための取得画像記憶回路１７における画像保持領域を初期化し、次のステップＳ１０５に処理を進める。
【００３８】
ステップＳ１０５では、プロセッサ１１２は、撮像装置のレリーズ信号が発生したか否か、すなわち、スイッチ１５（ＳＷ２）がＯＮになったか否かを判別する。その判別の結果、ＳＷ２がＯＮである場合は、プロセッサ１１２は、ＬＶモード時のレリーズ処理に移行する。ＬＶモード時のレリーズ処理については、図８を用いて後述する。一方、ＳＷ２がＯＦＦである場合は、プロセッサ１１２は、ステップＳ１０６で、撮像装置の動画撮影を開始するための動画撮影スイッチ（図示せず）がＯＮになっているか否かを判別する。
【００３９】
ステップＳ１０６で、動画撮影スイッチがＯＦＦになっている場合は、プロセッサ１１２は、ステップＳ１０８に処理を進める。一方、動画撮影スイッチがＯＮになっている場合は、プロセッサ１１２は、ステップＳ１０７で動画撮影処理（図１４で後述）を実行してからステップＳ１０８に処理を進める。
【００４０】
ステップＳ１０８では、プロセッサ１１２は、ＬＶモードの表示モードが通常モードであるか、または露出設定値（露出条件）を再現する露出シミュレーションモードであるかを判別する。その判別の結果、プロセッサ１１２は、ＬＶモードの表示モードが露出シミュレーションモードに設定されている場合は、ステップＳ１０９に処理を進める一方、通常モードである場合はステップＳ１１６に処理を進める。
【００４１】
ステップＳ１０９では、プロセッサ１１２は、撮像素子１０６により画像（取得画像ＩＰ）を取得する画像取得処理（図９で後述）を実行する。次に、ステップＳ１１０で、プロセッサ１１２は、取得画像ＩＰを合成してグループ化画像ＧＰを生成するグループ化画像生成処理（図１０で後述）を実行する。次に、ステップＳ１１１では、プロセッサ１１２は、ステップＳ１１０にて生成したグループ化画像ＧＰから表示画像Ｐを合成により生成する表示画像生成処理（図１１で後述）を実行し、ステップＳ１１２に処理を移行させる。ステップＳ１１２では、プロセッサ１１２は、ステップＳ１１１にて生成した表示画像Ｐを表示するための表示処理（図１２で後述）を実行する。
【００４２】
次に、ステップＳ１１３では、プロセッサ１１２は、割り込み処理が指示されているか否かを判別する。その判別の結果、割り込み処理が指示されている場合は、プロセッサ１１２は、その割り込み処理の実行を指示して（ステップＳ１１８）、ステップＳ１１４に処理を進める。これにより、割り込み処理が実行される。一方、割り込み処理が指示されていない場合は、プロセッサ１１２は、ステップＳ１１４に処理を進める。
【００４３】
ステップＳ１１４では、プロセッサ１１２は、ＬＶモードがＯＮに設定されているか否かを判別する。プロセッサ１１２は、その判別の結果、ＬＶモードがＯＮに設定されている場合にはステップＳ１０５に処理を戻す一方、ＬＶモードがＯＦＦに設定されている場合には、ステップＳ１１５に処理を進める。ステップＳ１１５では、プロセッサ１１２は、撮像装置をＬＶ状態から待機状態に復帰させるＬＶモード復帰処理（図７で後述）を実行し、図４のＬＶ処理を終了させる。
【００４４】
ステップＳ１１９においては、プロセッサ１１２は、撮像装置がＬＶ状態に設定されているか否かを判別する。プロセッサ１１２は、その判別の結果、ＬＶ状態に設定されている場合は、ステップＳ１１５に処理を進める一方、ＬＶ状態に設定されていない場合は図４のＬＶ処理を終了させる。
【００４５】
ステップＳ１１６では、プロセッサ１１２は、ＬＶモードで表示する露出条件の演算を行い、次にステップＳ１１７で、ステップＳ１１６で演算した露出条件に基づき画像の取得を行って、ステップＳ１１２に処理を移行させる。演算された露出条件は記憶回路１０に記憶される。
【００４６】
図５は、図４のステップＳ１０１で実行される合成条件設定処理のフローチャートである。
【００４７】
まず、プロセッサ１１２は、ステップＳ１４００で、記憶回路１０から、設定された露出条件を読み込み、次にステップＳ１４０３で、撮像装置において画像安定モードが設定されているか否かを判別する。画像安定モードは、ユーザによって、不図示の操作子によって設定される。
【００４８】
その判別の結果、画像安定モードが設定されていない場合は、プロセッサ１１２は、ステップＳ１４０８に処理を移行させる。一方、画像安定モードが設定されている場合は、プロセッサ１１２は、ステップＳ１４０４で、複数の画像を取得して、動きベクトル検出回路１６の検出結果に基づいて動きベクトルを検出する。次に、ステップＳ１４０５では、プロセッサ１１２は、検出した動きベクトル値を元に、最長蓄積時間（電荷蓄積時間の上限値）を変更して、ステップＳ１４０８に処理を移行させる。
【００４９】
ステップＳ１４０８では、プロセッサ１１２は、上記露出条件で設定されている露出時間が所定値以上か否かを判別する。その判別の結果、プロセッサ１１２は、露出時間が所定値以上である場合はステップＳ１４０９に処理を進める一方、露出時間が所定値以上でない場合はステップＳ１４１０に処理を進める。ステップＳ１４０９では、プロセッサ１１２は、ＬＶ画像取得時のセンサ感度を、露出時間が上記所定値になるように変更して、ステップＳ１４１０に処理を移行させる。すなわち、画像取得時の撮像素子１０６のゲインを変更することで、画像取り込み時間を所定範囲に収める。
【００５０】
ステップＳ１４１０では、プロセッサ１１２は、上記露出条件に基づき、必要加算画像数ｐを算出し、ステップＳ１４２０に処理を移行させる。ここで、必要加算画像数ｐは、設定露出条件に基づく画像を生成するために必要な画像の数である。すなわち、画像として適正と考えられる明るさで表示するためには、その取得した画像の明るさならば何枚の画像が必要であるかを算出した数である。一例を挙げれば、例えば、画像として適正と考えられる明るさに対して、取得した画像の明るさが０．５ならば、２枚合成すれば所定の明るさになり、取得した画像の明るさが０．０５ならば、２０枚合成すれば適正な明るさになる。
【００５１】
ステップＳ１４２０では、プロセッサ１１２は、算出した必要加算画像数ｐが所定値以上であるか否かを判別する。その判別の結果、プロセッサ１１２は、必要加算画像数ｐが所定値以上である場合は、ステップＳ１４３０、Ｓ１４４０で、保持グループ数ｍ、構成画像数ｎの設定を行い、図５の合成条件設定処理を終了させる。
【００５２】
ここで、保持グループ数ｍ、構成画像数ｎは、ユーザが不図示の操作子を用いて設定するようにしてもよい。あるいは、下記のように、取得画像の明るさ（例えば、画像が取得される際の露出時間）や画像の動きベクトルに基づいて演算により求めるようにしてもよい。
【００５３】
まず、パラメータを以下のように定義する。
Ｓ：設定したシャッタ速度
Ｍ：画像データ保持用のメモリ容量
Ｍs：設定画像サイズでの１コマの容量
Ｆ：表示画像のフレームレート
Ｆｍｉｎ:表示画像の最低フレームレート
Ｖ：画像の動きベクトル量
Ａ：最大保持可能コマ数
ｂ：定数
フレームレートＦについては、ｂ×Ｖ＞Ｆｍｉｎであれば、Ｆ＝ｂ×Ｖとなり、ｂ×Ｖ≦Ｆｍｉｎであれば、Ｆ＝Ｆｍｉｎとなる。一駒の表示に必要なコマ数はＳ×Ｆとなる。従って、Ａ＝ＩＮＴ（Ｍ／Ｍｓ）＝ｍ＋ｎが成り立つ条件で、Ａ≧Ｓ×Ｆであれば、ｎ＝Ｓ×Ｆ、Ａ＜Ｓ×Ｆであれば、ｎ＝ＩＮＴ（Ｓ×Ｆ／Ｍ）＋１として設定する（小数点以下はゲイン調整で合わせ込む）。Ａ＝ｍ＋ｎによりｍも算出する。
【００５４】
ＬＶ表示において、適正な露出を得るために露出時間が長くなったときでも、画像の変化を表現するためには所定の間隔にて画像を更新していかなければならないため、一駒の時間は制限される。そこで、上記のように、構成画像数ｎは露出時間を考慮したものとなる。また、動きベクトルが大きい場合には、長時間蓄積処理を行うと画像にブレが発生してしまう。そこで、上記のように、画像一駒の蓄積時間を短縮し、合成枚数を増加させて画像ブレを減少させるべく、構成画像数ｎの算出には、動きベクトルも考慮する。
【００５５】
上記のような保持グループ数ｍ、構成画像数ｎの設定手法は例示であり、他の手法を用いてもよい。これらの値は記憶回路１０に格納される。
【００５６】
ステップＳ１４２０において、必要加算画像数ｐが所定値以上でない場合は、プロセッサ１１２は、ステップＳ１４５０で、取得画像ＩＰを直接合成するように設定して、図５の合成条件設定処理を終了させる。この直接合成の設定では、ｍ＝１、ｎ＝ｐに設定される。
【００５７】
図６は、図４のステップＳ１０３で実行されるＬＶモード設定処理のフローチャートである。
【００５８】
まず、ステップＳ１６０では、プロセッサ１１２は、メインハーフミラー１０４とサブミラー１０５を、撮像素子１０６の撮像光路外に退避させるように退避動作を行う。次に、ステップＳ１６１では、プロセッサ１１２は、撮像素子１０６を遮光しているシャッタ装置１０７を撮影準備状態に保持しているチャージ手段（不図示）を駆動して、シャッタチャージを解除する。次に、ステップＳ１６２では、プロセッサ１１２は、シャッタ装置１０７の遮光を開放し、撮像素子１０６にて撮像光学系（レンズ２０２）からの光束を受光できるようにして、本処理を終了させる。
【００５９】
図７は、図４のステップＳ１１５で実行されるＬＶモード復帰処理のフローチャートである。
【００６０】
まず、ステップＳ１８０では、プロセッサ１１２は、撮像素子１０６で実行されていた画像取得を停止させ、ステップＳ１８１で、シャッタ装置１０７を閉鎖状態に駆動する。次に、ステップＳ１８２では、プロセッサ１１２は、メインハーフミラー１０４とサブミラー１０５を撮影光路内に復帰させる（ミラーダウン）。次に、ステップＳ１８３では、プロセッサ１１２は、シャッタチャージ、すなわち、シャッタ装置１０７を、次の撮影動作に備えて準備状態に復帰させるためのチャージ動作を実行し、本処理を終了させる。
【００６１】
図８は、ライブビュー状態からのレリーズ処理のフローチャートである。
【００６２】
まず、ステップＳ２００では、プロセッサ１１２は、撮像装置の記録モードがＬＶ画像をそのまま記録するＬＶ画像記録モードであるか否かを判別する。その判別の結果、ＬＶ画像記録モードである場合は、プロセッサ１１２は、ステップＳ２０１に処理を移行させ、ＬＶモードにて表示していた画像を画像データ記録回路１９に保存して、元のフローに復帰する。
【００６３】
一方、ステップＳ２００において、撮像装置がＬＶ画像記録モードでない場合は、ステップＳ２０２で、プロセッサ１１２は、撮像装置のシャッタのモードが通常モード、電子先幕モードのいずれに設定されているかを判別する。ここで、通常モードは、露光開始及び露光終了を共にメカ機構にて制御するモードである。電子先幕モードは、露光開始を撮像素子１０６のリセット動作で行うと共に露光終了をメカ機構にて制御するモードである。
【００６４】
ステップＳ２０２の判別の結果、プロセッサ１１２は、シャッタのモードが通常モードである場合はステップＳ２０３に処理を進める一方、電子先幕モードである場合はステップＳ２２０に処理を進める。
【００６５】
ステップＳ２０３では、プロセッサ１１２は、ＬＶモードにて蓄積を繰り返していた撮像素子１０６の画像取得動作を停止させ、続くステップＳ２０４で、撮像処理を行う準備として、シャッタ装置１０７をチャージ状態に遷移させて撮影準備状態にする。次に、ステップＳ２０５で、プロセッサ１１２は、シャッタ装置１０７を駆動して撮像素子１０６を露光することで撮像を行う。
【００６６】
次に、ステップＳ２０６では、プロセッサ１１２は、駆動が終了したシャッタ装置１０７を待機状態に復帰させるためのチャージ動作を行うと共に、撮像した画像データを転送する。プロセッサ１１２は、チャージ動作と画像転送の双方が終了した時点で、ステップＳ２０９に処理を進める。
【００６７】
ステップＳ２０９では、プロセッサ１１２は、レリーズ信号であるＳＷ２がＯＮのまま継続しているか否かを判別し、ＳＷ２がＯＮのままである場合は、ステップＳ２０４に処理を戻して、シャッタ走行準備動作を行う。一方、プロセッサ１１２は、ＳＷ２がＯＦＦである場合は、処理をステップＳ２１０に移行させる。
【００６８】
ステップＳ２１０では、プロセッサ１１２は、ＬＶモード設定処理（図６で前述）を実行し、次に、ステップＳ２１１で、ＬＶモードで使用していた過去のグループ化画像ＧＰが存在しているか否かを判別する。その判別の結果、過去のグループ化画像ＧＰが存在していない場合は、プロセッサ１１２は、図４のＬＶ処理ルーチンへ処理を復帰させる。一方、プロセッサ１１２は、過去のグループ化画像ＧＰが存在している場合はステップＳ２１２に処理を移行させる。
【００６９】
ステップＳ２１２では、プロセッサ１１２は、姿勢検知回路１３の検出結果に基づき、撮影前後での撮像装置本体１００の姿勢変化が所定値以下であるか否かを判別する。その判別の結果、プロセッサ１１２は、姿勢変化が所定値以下である場合はステップＳ２１３に処理を移行させる一方、姿勢変化が所定値以下でない場合はステップＳ２１４に処理を移行させる。
【００７０】
ステップＳ２１３では、プロセッサ１１２は、撮影前後の経過時間が所定値以下であるか否かを判別する。その判別の結果、プロセッサ１１２は、撮影前後の経過時間が所定値以下である場合はステップＳ２１６に処理を移行させる一方、撮影前後の経過時間が所定値以下でない場合はステップＳ２１４に処理を移行させる。
【００７１】
ステップＳ２１４では、プロセッサ１１２は、グループ化画像記憶回路１８に保持されているグループ化画像ＧＰをリセット（クリア）し、次に、ステップＳ２１５で、画面に表示する表示画像Ｐをリセットして、ステップＳ２１６に処理を移行させる。ステップＳ２１６では、プロセッサ１１２は、取得画像ＩＰをリセットして、図４のＬＶ処理に処理を復帰させる。
【００７２】
ステップＳ２１１〜Ｓ２１６の処理によれば、撮像装置の状態（姿勢や経過時間）変化が大きいならばグループ化画像ＧＰ及び表示画像Ｐがリセットされる。しかし、撮影動作後にも撮像装置の状態変化が小さければ、それらをリセットすることなく、レリーズ前に蓄積した画像も用いてシミュレーション表示を行うことになる。
【００７３】
ステップＳ２２０においては、プロセッサ１１２は、ＬＶモードにて蓄積を繰り返していた撮像素子１０６の画像取得動作を停止させ、続くステップＳ２２１で、撮像処理に向けて撮像素子１０６の準備を行う。次に、プロセッサ１１２は、ステップＳ２２２で、シャッタ装置１０７の走行特性に合わせて撮像素子１０６のリセット動作を順次実施し、続くステップＳ２２３で、シャッタ装置１０７の後幕走行を行う。次に、ステップＳ２２４で、プロセッサ１１２は、駆動が終了したシャッタ装置１０７を待機状態に復帰させるためのチャージ動作を行うと共に、撮像した画像データを転送する。プロセッサ１１２は、チャージ動作と画像転送の双方が終了した時点で、ステップＳ２２７に処理を進める。
【００７４】
プロセッサ１１２は、ステップＳ２２７では、レリーズ信号であるＳＷ２がＯＮのまま継続しているか否かを判別する。その判別の結果、プロセッサ１１２は、ＳＷ２がＯＮのままである場合はステップＳ２２８に処理を移行させる一方、ＳＷ２がＯＦＦである場合はステップＳ２１０に処理を移行させる。ステップＳ２２８では、プロセッサ１１２は、シャッタ装置１０７の先幕走行を行って開放状態に設定し、ステップＳ２２１に処理を戻す。
【００７５】
図９は、図４のステップＳ１０９で実行される画像取得処理のフローチャートである。
【００７６】
まず、ステップＳ３００で、プロセッサ１１２は、撮像素子１０６にて取得画像ＩＰの蓄積処理を実行し、続くステップＳ３０１で、取得画像ＩＰの転送処理を行う。次に、ステップＳ３０２では、プロセッサ１１２は、転送した取得画像ＩＰを取得画像記憶回路１７に保持させて、図９の画像取得処理を終了させる。
【００７７】
図１０は、図４のステップＳ１１０で実行されるグループ化画像生成処理のフローチャートである。
【００７８】
まず、ステップＳ３１１においては、プロセッサ１１２は、取得画像ＩＰが構成画像数ｎだけ取得済みであるか否かを判別する。その判別の結果、取得画像ＩＰがｎ個取得済みでない場合は、プロセッサ１１２は、本処理を終了させて図４のステップＳ１１１へ処理を進める。一方、取得画像ＩＰがｎ個取得済みである場合は、プロセッサ１１２は、ステップＳ３１２で、画像ＩＳ処理、すなわち、画像防振制御処理を実施することが指定されているか否かを判別する。画像ＩＳ処理を実施するか否かの指定は、ユーザによって不図示の操作子でなされる。
【００７９】
その判別の結果、プロセッサ１１２は、画像ＩＳ処理を実施することが指定されていない場合はステップＳ３１３に処理を移行させる。ステップＳ３１３では、プロセッサ１１２は、取得画像記憶回路１７に保持されているｎ個の取得画像ＩＰを読み込み、それらを合成してグループ化画像ＧＰを生成する（図３も参照）。その後、プロセッサ１１２は、処理をステップＳ３１４に進める。一方、ステップＳ３１２で、画像ＩＳ処理を実施することが指定されていた場合は、プロセッサ１１２は、ステップＳ３１９で画像ＩＳ処理（図１３で後述）を実行してからステップＳ３１４に処理を移行させる。グループ化画像ＧＰの生成は、ステップＳ３１３または図１３のステップＳ３５６（後述）でなされる。
【００８０】
ステップＳ３１４では、プロセッサ１１２は、グループ化画像ＧＰを生成したときの条件であるグループ化画像生成条件データを作成する。グループ化画像生成条件データの一例としては、グループ化画像ＧＰの露出時間に相当する相当露出時間、グループ化画像ＧＰを生成するときに使用した画像の絞り値から得られる絞り値等が挙げられる。さらには、グループ化画像ＧＰを生成するときに使用した画像のＩＳＯ感度から得られるＩＳＯ感度値等が挙げられる。ただし、これら以外の項目を追加しても良いし、いずれかの項目を削除しても良い。グループ化画像生成条件データは、グループ化画像ＧＰに関連付けられて、例えばグループ化画像記憶回路１８に格納される。
【００８１】
次に、ステップＳ３１５では、プロセッサ１１２は、過去の（既に生成された）グループ化画像ＧＰが存在しているか否かを判別する。その判別の結果、プロセッサ１１２は、過去のグループ化画像ＧＰが存在していない場合は、ステップＳ３１７に処理を移行させる一方、過去のグループ化画像ＧＰが存在している場合は、ステップＳ３１６に処理を移行させる。
【００８２】
ステップＳ３１６では、プロセッサ１１２は、グループ化画像記憶回路１８においてグループ化画像ＧＰを保持するための保存領域に空きが無いか否かを判別する。その判別の結果、プロセッサ１１２は、保存領域に空きがある場合はステップＳ３１７に処理を移行させる一方、空きが無い場合はステップＳ３２０を実行してからステップＳ３１７に処理を移行させる。
【００８３】
ステップＳ３１７では、プロセッサ１１２は、生成したグループ化画像ＧＰをグループ化画像記憶回路１８の空き領域に保存して、ステップＳ３１８に処理を進める。ステップＳ３２０では、プロセッサ１１２は、空き領域を確保するべく、グループ化画像記憶回路１８に保持されているグループ化画像ＧＰのうち最も古いものを削除すると共に、今回新たに生成されたグループ化画像ＧＰをグループ化画像記憶回路１８に保存する。従って、プロセッサ１１２は、グループ化画像記憶回路１８に保持されているグループ化画像ＧＰのうち最古のものに置き換えて新たなグループ化画像ＧＰを保持させる。その後、プロセッサ１１２は、ステップＳ３１８に処理を進める。
【００８４】
ステップＳ３１８では、プロセッサ１１２は、ステップＳ３１３またはステップＳ３１９でグループ化画像ＧＰの生成（合成）に使用した取得画像ＩＰを取得画像記憶回路１７から順次消去（クリア）し、図１０のグループ化画像生成処理を終了させる。
【００８５】
本処理でグループ化画像ＧＰを生成することにより、取得画像ＩＰをグループ化してまとめた状態で保持できるので、取得画像記憶回路１７の必要な保持領域を削減することが可能となる。
【００８６】
図１１は、図４のステップＳ１１１で実行される表示画像生成処理のフローチャートである。
【００８７】
まず、ステップＳ３２８では、プロセッサ１１２は、グループ化画像ＧＰに関連付けられたグループ化画像生成条件データが存在するか否かを判別する。その判別の結果、プロセッサ１１２は、グループ化画像生成条件データが存在していない場合はステップＳ３２９に処理を移行させる一方、存在している場合は、ステップＳ３３０に処理を移行させる。
【００８８】
ステップＳ３２９では、プロセッサ１１２は、設定値から、グループ化画像記憶回路１８の保存領域に保持されているグループ化画像ＧＰの合成条件であるグループ化画像生成条件を決定し、ステップＳ３３１に処理を移行させる。ここで、設定値は、画像を生成する条件としてユーザにより不図示の操作子で設定され、例えば、画像を安定させるモードなのか露出をシミュレーションするモードなのかの設定等が該当する。
【００８９】
一方、ステップＳ３３０では、プロセッサ１１２は、グループ化画像ＧＰに関連付けられたグループ化画像生成条件データを取得し、当該グループ化画像生成条件データを加味してグループ化画像生成条件を決定して、ステップＳ３３１に処理を移行させる。
【００９０】
ステップＳ３３１では、プロセッサ１１２は、グループ化画像ＧＰが表示画像Ｐの合成に必要な個数（保持グループ数ｍ）だけ存在しているか否かを判別する。その判別の結果、プロセッサ１１２は、グループ化画像ＧＰが保持グループ数ｍだけ存在している場合は、ステップＳ３３２に処理を移行させる一方、保持グループ数ｍだけ存在しない場合は、ステップＳ３３６に処理を移行させる。
【００９１】
ステップＳ３３２では、プロセッサ１１２は、画像ＩＳ処理を実施することが指定されているか否かを判別する。画像ＩＳ処理を実施するか否かの指定は、ユーザによって不図示の操作子でなされる。その判別の結果、プロセッサ１１２は、画像ＩＳ処理を実施することが指定されていない場合は、ステップＳ３３３に処理を進める一方、画像ＩＳ処理を実施することが指定されていた場合は、ステップＳ３３４に処理を進める。
【００９２】
ステップＳ３３３では、プロセッサ１１２は、グループ化画像記憶回路１８に保持されているグループ化画像ＧＰのうち、最新のものから所定数（ここでは保持グループ数ｍ）分を合成対象とし、それらを合成して表示画像Ｐを生成する（図３も参照）。
【００９３】
ステップＳ３３４では、プロセッサ１１２は、最新のものからｍ個分のグループ化画像ＧＰの動きベクトルを動きベクトル検出回路１６の検出結果に基づいて検出する。次に、ステップＳ３３５で、プロセッサ１１２は、画像ＩＳ処理を実施して表示画像Ｐを生成する。
【００９４】
ここで、ステップＳ３３５で実施される画像ＩＳ処理は、後述する図１３の画像ＩＳ処理に相当する処理である。すなわち、図１３の画像ＩＳ処理自体は、ｎ個の取得画像ＩＰあたりに１つのグループ化画像ＧＰを合成する処理であるが、ステップＳ３３５では、ｍ個のグループ化画像ＧＰから表示画像Ｐを合成する処理段階にも図１３の画像ＩＳ処理を応用する。このように、表示画像Ｐの合成にも図１３の画像ＩＳ処理を応用することで、グループ化画像ＧＰ間の一致率が低い場合にも、表示画像Ｐに画像ブレが生じるのを抑制することが可能となる。
【００９５】
ステップＳ３３６では、プロセッサ１１２は、ステップＳ３３３と同様の処理を実行する。ステップＳ３３６の判別の結果、プロセッサ１１２は、画像ＩＳ処理を実施することが指定されていない場合は、ステップＳ３３７に処理を進める一方、画像ＩＳ処理を実施することが指定されていた場合は、ステップＳ３３８に処理を進める。
【００９６】
ステップＳ３３７では、プロセッサ１１２は、存在しているグループ化画像ＧＰを合成することで表示画像Ｐを生成する。その際、グループ化画像ＧＰの数が不足しているため、プロセッサ１１２は、不足分をゲインアップして合成する。ステップＳ３３８では、プロセッサ１１２は、存在しているグループ化画像ＧＰの動きベクトルを動きベクトル検出回路１６の検出結果に基づいて検出する。次に、ステップＳ３３９で、プロセッサ１１２は、画像ＩＳ処理を実施して表示画像Ｐを生成し、その際、グループ化画像ＧＰの不足分をゲインアップする。ステップＳ３３９における画像ＩＳ処理は、ステップＳ３３５におけるものと同じである。
【００９７】
ステップＳ３３３、Ｓ３３５、Ｓ３３７、Ｓ３３９の処理後は、プロセッサ１１２は、図１１の表示画像生成処理を終了させる。本処理によれば、表示画像Ｐを生成する上で、取得画像ＩＰを合成するのではなく、グループ化画像ＧＰを合成するので、表示画像Ｐを生成する加算演算処理の負荷を軽減することが可能となる。
【００９８】
図１２は、図４のステップＳ１１２で実行される表示処理のフローチャートである。
【００９９】
まず、ステップＳ３４０では、プロセッサ１１２は、撮像装置の画面表示設定を読み込む。画面表示設定は、ユーザにより不図示の操作子で設定され、その情報が記憶回路１０に保持されている。
【０１００】
次に、ステップＳ３４１では、プロセッサ１１２は、読み込んだ画像表示設定が、「画像のみ表示」になっているか否かを判別する。その判別の結果、画像表示設定が「画像のみ表示」となっている場合は、プロセッサ１１２は、ステップＳ３４３で、表示画像Ｐを表示回路８に表示させて、本処理を終了させる。
【０１０１】
一方、ステップＳ３４１の判別の結果、画像表示設定が「画像のみ表示」でない場合は、プロセッサ１１２は、ステップＳ３４２で、表示画像Ｐに付加情報を合成し、当該合成した画像をステップＳ３４３で表示させる。
【０１０２】
本処理により、ファインダ表示ユニット１１５乃至外部表示ユニット１１６に表示画像Ｐが順次表示される。
【０１０３】
図１３は、図１０のステップＳ３１９で実行される画像ＩＳ処理のフローチャートである。
【０１０４】
まず、プロセッサ１１２は、ステップＳ３５０では、取得画像記憶回路１７に保持されたｎ個の取得画像ＩＰのうち最初のものを読み込み、続くステップＳ３５１では、まだ読み込みを実施していない次の取得画像ＩＰを読み込む。
【０１０５】
次に、ステップＳ３５２では、プロセッサ１１２は、取得画像ＩＰと取得画像ＩＰ、あるいは、取得画像ＩＰと合成画像（後述するステップＳ３５６で合成されたもの）とを比較する。そして、動きベクトル検出回路１６の検出結果からそれらの画像の動きベクトルを検出する。
【０１０６】
次に、ステップＳ３６０では、プロセッサ１１２は、取得画像ＩＰを合成してグループ化画像ＧＰを生成する際に、画像一致率を考慮するか否かを判別する。画像一致率を考慮するか否かの指定は、ユーザによって事前になされているとする。その判別の結果、プロセッサ１１２は、画像一致率を考慮する場合はステップＳ３５３に処理を進める一方、画像一致率を考慮しない場合はステップＳ３５６に処理を進める。
【０１０７】
ステップＳ３５３では、プロセッサ１１２は、ステップＳ３５２で検出した動きベクトルに基づき、上記比較した画像同士の画像の一致率を算出する。次に、ステップＳ３５４では、プロセッサ１１２は、比較した画像同士の画像の一致率（一致の度合い）が所定値Ｙ以下であるか否かを判別する。その判別の結果、プロセッサ１１２は、比較した画像同士の画像の一致率が所定値Ｙ以下である（一致の度合いが低い）場合は、ステップＳ３５５に処理を進める一方、画像の一致率が所定値Ｙより高い場合は、ステップＳ３５６に処理を進める。
【０１０８】
ステップＳ３５５では、プロセッサ１１２は、今回読み込まれて比較対象の一方となった取得画像ＩＰを画像合成の候補から除外する。これにより、表示画像Ｐに画像ブレが生じるのを抑制することが可能となる。ステップＳ３５６では、プロセッサ１１２は、今回読み込まれて比較対象の一方となった取得画像ＩＰを、比較対象の他方の画像と合成する処理を行う。ここでいう比較対象の他方の画像は、以前に読み込まれた取得画像ＩＰであるか、または既にステップＳ３５６で合成された合成画像のいずれかである。ステップＳ３５６により、画像ＩＳ処理内でグループ化画像ＧＰが生成される。
【０１０９】
ステップＳ３５５またはステップＳ３５６の処理後は、ステップＳ３５７で、プロセッサ１１２は、所定数（図１０のステップＳ３１９で実行される場合は、構成画像数ｎである）の取得画像ＩＰを読み込み済みであるか否かを判別する。
【０１１０】
その判別の結果、所定数（ｎ個）の取得画像ＩＰを読み込み済みでない場合は、プロセッサ１１２は、ステップＳ３５１に処理を戻し、次の取得画像ＩＰの読み込みに移行する。一方、所定数（ｎ個）の取得画像ＩＰを読み込み済みである場合は、ステップＳ３５８で、プロセッサ１１２は、ステップＳ３５５において画像合成の候補から除かれた取得画像ＩＰがあるか否かを判別する。
【０１１１】
その判別の結果、画像合成の候補から除かれた取得画像ＩＰがある場合は、プロセッサ１１２は、ステップＳ３５９で、除外した取得画像ＩＰの数の分だけ、合成画像であるグループ化画像ＧＰのゲインアップを行い、本処理を終了させる。一方、画像合成の候補から除かれた取得画像ＩＰがない場合は、ゲインアップを行う必要がないので、プロセッサ１１２は、本処理を終了させる。
【０１１２】
図１４は、図４のステップＳ１０７で実行される動画撮影処理のフローチャートである。
【０１１３】
まず、ステップＳ４００では、プロセッサ１１２は、動画撮影において画像合成を行うか否かを判別する。画像合成を行うか否かは、ユーザが事前に指定できるものとする。その判別の結果、画像合成を行わない場合は、プロセッサ１１２は、ステップＳ４０１に処理を移行させる一方、画像合成を行う場合はステップＳ４０２に処理を移行させる。ステップＳ４０１では、プロセッサ１１２は、撮像処理を行って所定のフレームレートにて画像を取得し、ステップＳ４０５に処理を移行させる。
【０１１４】
ステップＳ４０２〜Ｓ４０４のステップは、動画撮影においても、露出シミュレーションモードのときと同様に、取得画像ＩＰを合成してグループ化画像ＧＰを生成し、グループ化画像ＧＰを合成して表示画像Ｐを生成する処理を採用したものである。従って、ステップＳ４０２〜Ｓ４０４は、図４のステップＳ１０９〜Ｓ１１１の処理と同様である。すなわち、プロセッサ１１２は、図９の画像取得処理、図１０のグループ化画像生成処理、図１１の表示画像生成処理を順次実行して、ステップＳ４０５に処理を進める。
【０１１５】
ステップＳ４０５では、プロセッサ１１２は、ステップＳ４０１で取得した画像、またはステップＳ４０４で生成した表示画像Ｐに基づいて動画データを生成する。ここで生成される動画画像は、選択された動画フォーマットに基づいて生成される。次に、ステップＳ４０６では、プロセッサ１１２は、ステップＳ４０５にて生成した動画データを画像データ記録回路１９に保存する。
【０１１６】
次に、ステップＳ４０７では、プロセッサ１１２は、静止画撮影を実行するスイッチであるＳＷ２がＯＮしているか否かを判別する。その判別の結果、プロセッサ１１２は、ＳＷ２がＯＮしている場合は、ステップＳ４０８に処理を移行させる一方、ＳＷ２がＯＦＦしている場合は、ステップＳ４１０に処理を移行させる。ステップＳ４０８では、プロセッサ１１２は、動画撮影を停止し、続くステップＳ４０９で、レリーズ処理（図８）を実行して、ステップＳ４１０に処理を移行させる。
【０１１７】
プロセッサ１１２は、ステップＳ４１０では、動画撮影を終了するのか否かを判別し、その判別の結果、動画撮影を終了すると判定した場合は、図１４の動画撮影処理を終了させる。一方、動画素撮影を継続すると判定した場合は、プロセッサ１１２は、ステップＳ４０２に処理を復帰させ、動画撮影を継続する。
【０１１８】
本処理によれば、複数画像を合成する長秒時露光相当の露光を行いながらの動画撮影においても、一旦、グループ化画像ＧＰを生成して動画画像を生成するので、演算負荷を低減することが可能となる。
【０１１９】
本実施の形態によれば、取得画像ＩＰがｎ個保持される毎に、それら取得画像ＩＰを合成してグループ化画像ＧＰを生成すると共に、当該合成に用いた取得画像ＩＰを取得画像記憶回路１７から順次消去する。これにより、取得画像記憶回路１７の保持領域は、最低でもｎ個分の取得画像ＩＰを記憶できる容量で足りる。そして、グループ化画像記憶回路１８に新たなグループ化画像ＧＰが保持される毎に、保持されていたグループ化画像ＧＰのうち最新のものから基本的にはｍ個分のものまでを合成して表示画像Ｐを生成する。これにより、取得画像ＩＰを取得する毎に表示画像Ｐを生成することに比べて、画像合成の負荷が少なくて済む。よって、連続画像を生成する際に、取得画像の保持領域の削減を可能にすると共に画像合成の負荷を軽減することができる。
【０１２０】
すなわち、低輝度状態で露出が不足する場合にも、合成する全画像数より少ない画像数をセットとして合成してグループ化画像ＧＰを生成し、生成したグループ化画像ＧＰを合成して最終画像である表示画像Ｐを得る構成である。従って、取得画像ＩＰを保持するための保持領域を削減することが可能となり、また、保持するデータの数を削減できることで、順次生成するデータの演算負荷の低減を図ることが可能となる。
【０１２１】
本実施の形態では、上述のとおり、取得画像ＩＰがｎ個保持される毎に、それら取得画像ＩＰを合成してグループ化画像ＧＰを生成すると共に、当該合成に用いた取得画像ＩＰを取得画像記憶回路１７から消去する仕様とした。しかしこれに限らず、たとえば当該合成に用いた取得画像ＩＰをｎ／２（あるいはｎ／２−1／２）個だけ取得画像記憶回路１７から消去し、次のｎ／２（あるいはｎ／２＋1／２）個が新たに取得されたときに次のグループ化画像ＧＰを生成するようにしてもよい。すなわち、グループ化画像ＧＰ生成時に消去する取得画像ＩＰの数やグループ化画像ＧＰ生成のタイミング、生成に用いる取得画像ＩＰの重複の度合い等については特に限定されない。
【０１２２】
ところで、本実施の形態においては、スルー画像表示可能なライブビュー表示が可能な一眼レフカメラを例示したが、これに限るものではない。すなわち、撮像手段にて画像取得が可能な装置ならば、コンパクトカメラ、ビデオカメラ等、各種の撮像装置に本発明を適用可能である。
【０１２３】
（第２の実施の形態）
第１の実施の形態では、グループ化画像ＧＰを生成するための合成対象である取得画像ＩＰは、撮像により順次取得される画像であった。本発明の第２の実施の形態では、予め取得された画像を合成対象とする。基本的な構成は第１の実施の形態と同じであり、第１の実施の形態と同じ動作についても同じフローチャートが適用される。
【０１２４】
図１５は、第２の実施の形態における動画データ変換処理のフローチャートである。この処理は、予め記録されているデータを読み込んで動画データに変換する処理を行うものである。
【０１２５】
まず、プロセッサ１１２は、ステップＳ５００では、動画データの変換条件設定処理（図１６で後述）を実行し、続くステップＳ５０１で、変換に使用する変換フアイルを選択する。そして、ステップＳ５０２では、選択した画像データ（取得画像ＩＰ）の読み出しを順次実施する。
【０１２６】
プロセッサ１１２は、ステップＳ５０３では、グループ化画像生成処理（図１０で前述）を実行し、続くステップＳ５０４では、表示画像生成処理（図１１で前述）を実行する。次に、プロセッサ１１２は、ステップＳ５０５では、動画データの生成処理を実行し、続くステップＳ５０６では、生成した変換した動画データを保存する。
【０１２７】
ステップＳ５０７では、プロセッサ１１２は、選択した画像データの読み出しが終了したか否かを判別し、読み出しが終了した場合は、図１５の動画データ変換処理を終了させる。一方、ステップＳ５０７で、読み出しが終了していない場合は、プロセッサ１１２は、ステップＳ５０２に処理を復帰させ、動画データの変換を継続する。
【０１２８】
図１６は、図１５のステップＳ５００で実行される動画データの変換条件設定処理のフローチャートである。
【０１２９】
まず、プロセッサ１１２は、ステップＳ５２０では、変換するデータの露出補正量を設定し、次のステップＳ５２１では、設定した露出補正量に基づく画像を生成するために必要な画像の数（必要加算画像数）を算出する。
【０１３０】
次に、ステップＳ５２２では、合成画像数が所定値以上であるか否かを判別する。その判別の結果、プロセッサ１１２は、合成画像数が所定値以上である場合はステップＳ５２３に処理を進める一方、合成画像数が所定値以上でない場合はステップＳ５２５に処理を進める。
【０１３１】
プロセッサ１１２は、ステップＳ５２３、Ｓ５２４では、図５のステップＳ１４３０、Ｓ１４４０と同様にして、保持グループ数ｍ、構成画像数ｎの設定を行う。ステップＳ５２５では、プロセッサ１１２は、ステップＳ１４５０と同様に、取得画像ＩＰを直接合成するように設定する。プロセッサ１１２は、ステップＳ５２４、Ｓ５２５の処理後は本処理を終了させる。
【０１３２】
本実施の形態によれば、予め取得済みのデータに対しても、補正値に応じて、画像を複数のグループにグループ化して合成することで、取得済み画像の合成に伴う演算負荷の低減が可能となる。なお、取得済み画像では、露出条件に代えて、取得済み画像の輝度などの明るさの設定条件に応じて保持グループ数ｍ、構成画像数ｎや必要加算画像数ｐが規定されるようにしてもよい。
【０１３３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１３４】
８ 表示回路
１１ 撮像回路
１６ 動きベクトル検出回路
１７ 取得画像記憶回路
１８ グループ化画像記憶回路
１９ 画像データ記録回路
１１２ カメラマイクロプロセッサ
【技術分野】
【０００１】
本発明は、取得画像を合成して連続画像を生成する画像処理装置等に関する。
【背景技術】
【０００２】
従来、撮像装置等における画像処理装置には、撮像部で取得した画像を順次表示するライブビュー表示が可能に構成されたものがある。特に、撮像装置に設定した撮影時の露出設定値に基づき画像を表示する露出シミュレーション表示が可能な撮像装置が知られている。
【０００３】
また、下記特許文献１に示されるように、複数の画像を所定の間隔で取得して記憶手段にて保持し、設定しているシャッタ速度に合わせて、保持している最新の画像から所定数の画像を合成してスルー画像として表示するものが知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０７９２２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来のライブビュー表示を行う装置においては、撮影時の画像露出で表示する露出シミュレーション表示を行う場合に、画像の追従性を考えると、低輝度時にも所定のフレームレートで表示を行う必要がある。しかし、低輝度時には、実際の露出値に相当する時間の露光量を得ることができず、実際の露出値とは異なるアンダーな画像の表示となってしまうことがあった。
【０００６】
また、上記特許文献１の装置のように、所定間隔で取得した複数の画像を合成して表示するものにおいては、例えば、１秒間に１０フレーム取得して５秒間の画像を合成するためには、５０フレームの画像を保持する保持領域を確保する必要がある。そのため、合成コマ数が多くなると、保持するメモリ容量（保持領域）の確保が困難になると共に、合成画像を更新する度に多数の画像を毎回合成することによる、画像合成の演算負荷が大きいという問題があった。
【０００７】
本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、連続画像を生成する際に、取得画像の保持領域の削減を可能にすると共に画像合成の負荷を軽減することができる画像処理装置等を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明の画像処理装置は、順次取得される取得画像を保持する第１の保持手段と、前記第１の保持手段に保持された第１の設定数の取得画像を合成して第１の合成画像を生成する第１の合成手段と、前記第１の合成画像を保持する第２の保持手段と、前記第２の保持手段に保持された前記第１の合成画像のうち最も新しく生成されたものから第２の設定数のものまでを合成して第２の合成画像を生成する第２の合成手段と、前記第１の合成画像の生成に用いられなくなった前記取得画像を順次消去する消去手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、連続画像を生成する際に、取得画像の保持領域の削減を可能にすると共に画像合成の負荷を軽減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施の形態に係る画像処理装置が適用される撮像装置の構成を模式的に示す図である。
【図２】撮像装置の回路構成を示すブロック図である。
【図３】取得画像の合成の態様を示す模式図である。
【図４】ライブビュー（ＬＶ）処理のフローチャートである。
【図５】図４のステップＳ１０１で実行される合成条件設定処理のフローチャートである。
【図６】図４のステップＳ１０３で実行されるＬＶモード設定処理のフローチャートである。
【図７】図４のステップＳ１１５で実行されるＬＶモード復帰処理のフローチャートである。
【図８】ライブビュー状態からのレリーズ処理のフローチャートである。
【図９】図４のステップＳ１０９で実行される画像取得処理のフローチャートである。
【図１０】図４のステップＳ１１０で実行されるグループ化画像生成処理のフローチャートである。
【図１１】図４のステップＳ１１１で実行される表示画像生成処理のフローチャートである。
【図１２】図４のステップＳ１１２で実行される表示処理のフローチャートである。
【図１３】図１０のステップＳ３１９で実行される画像ＩＳ処理のフローチャートである。
【図１４】図４のステップＳ１０７で実行される動画撮影処理のフローチャートである。
【図１５】第２の実施の形態における動画データ変換処理のフローチャートである。
【図１６】図１５のステップＳ５００で実行される動画データの変換条件設定処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を図面を参照して説明する。
【００１２】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像処理装置が適用される撮像装置の構成を模式的に示す図である。本撮像装置は、スルー画像表示、ライブビュー表示が可能な一眼レフカメラとして構成される。本撮像装置は、撮像装置本体１００と、撮像装置本体１００に対して着脱可能な交換レンズ２００とからなる。
【００１３】
撮像装置本体１００は、ファインダ光学系を構成する正立正像光学系１０１、接眼レンズ１０２、ファインダスクリーン１０３を備える。また、メインハーフミラー１０４は撮像光束をファインダ光学系に偏向する。サブミラー１０５は撮像光束を後述する焦点検出ユニット１０９に偏向する。メインハーフミラー１０４とサブミラー１０５とによって光路分割光学系が構成される。撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサ等でなる。メカニカルシャッタであるフォーカルプレーンシャッタ（以下「シャッタ装置」という）１０７は、撮像素子１０６の露光を制御する。
【００１４】
焦点検出ユニット１０９は、少なくとも一対の画素列（ラインセンサ）を有し、該一対のラインセンサは撮影光学系からの光束によって形成された一対の像を光電変換して信号を出力する。測光センサ１１０は被写体輝度を測定し、測光レンズ１１１は測光センサ１１０に被写体からの光束を結像させる。
【００１５】
カメラマイクロプロセッサ（第１の設定手段、第２の設定手段、第１の合成手段、第２の合成手段、消去手段）１１２は、撮像装置本体１００の各種動作の制御を司る。カメラマイクロプロセッサ１１２は１つとしているが、複数設けて制御負荷を分散させても良い。ファインダ表示ユニット１１５は、光学ファインダを覗いた観察者に対して各種情報を表示する。撮像装置本体１００の外面には外部表示ユニット１１６が設けられ、外部表示ユニット１１６は電子ビューファインダ（ＥＶＦ）として機能する。撮像素子１０６の前面にはローパスフィルタ１１７が配置される。
【００１６】
一方、交換レンズ２００は、交換レンズ２００の各種動作の制御を司るレンズマイクロプロセッサ２０１を備える。レンズマイクロプロセッサ２０１は、通信接点を介してカメラマイクロプロセッサ１１２と通信を行う。レンズ２０２は撮影光学系を構成する結像光学系である。絞り装置２０３は光量調節を行う。図１では、レンズを１枚しか記載していないが、実際には撮影光学系は複数枚のレンズにより構成されている。
【００１７】
本実施の形態においては、撮像装置本体１００のカメラマイクロプロセッサ１１２は、交換レンズ２００のレンズマイクロプロセッサ２０１と通信を行い、これにより、交換レンズ２００が保有する情報を使用して制御を行う。
【００１８】
図２は、撮像装置（撮像装置本体１００及び交換レンズ２００）の回路構成を示すブロック図である。
【００１９】
図２に示すように、撮像装置本体１００は、上記したカメラマイクロプロセッサ１１２の他、以下に示す構成要素を具備している。まず、モータ駆動回路２は、撮像装置本体１００の可動部分の駆動を行う。測光回路３は、被写体の輝度を測定するための回路であり、図１の測光センサ１１０に含まれる。焦点検出部４は、交換レンズ２００の焦点状態を検出するものであり、図１の焦点検出ユニット１０９に含まれる。
【００２０】
シャッタ制御回路６は、撮像装置本体１００の露光量の制御を行う回路であり、図１のシャッタ装置１０７に含まれる。絞り制御回路７は、撮像装置本体１００に取り込む光束を制御するための回路であり、図１の絞り装置２０３を制御する。表示回路（表示手段）８は、撮像装置本体１００の状態を表示するものであり、図１のファインダ表示ユニット１１５及び外部表示ユニット１１６を含む。
【００２１】
記憶回路１０には、撮像装置本体１００の設定状態の情報が格納される。撮像回路（撮像手段）１１は撮像処理を行う。レンズ通信回路１２は、撮像装置本体１００に装着される交換レンズ２００と通信を行う。姿勢検知回路１３は、撮像装置本体１００の姿勢変化を検出する。スイッチ１４（ＳＷ１）は、撮像準備動作を開始するためのスイッチで、スイッチ１５（ＳＷ２）は撮像を開始するためのスイッチである。
【００２２】
動きベクトル検出回路（検出手段）１６は、撮像素子１０６乃至撮像回路１１により取得された画像の動きベクトルを検出するための回路である。取得画像記憶回路（第１の保持手段）１７は、撮像素子１０６乃至撮像回路１１により取得された画像（以下「取得画像ＩＰ」とも称する）を一時的に保持する。グループ化画像記憶回路（第２の保持手段）１８は、撮像回路１１により取得されて取得画像記憶回路１７に保持された取得画像ＩＰを合成したもの（以下、「グループ化画像（第１の合成画像）ＧＰ」という）を一時的に保持する。画像データ記録回路（記憶装置）１９は、画像データを記録する。
【００２３】
撮像回路１１にて取得された画像は、まず、取得画像記憶回路１７にて保持され、次に、取得画像記憶回路１７にて保持されている取得画像ＩＰから合成によりグループ化画像ＧＰが生成され、グループ化画像記憶回路１８に保持される。さらに、グループ化画像記憶回路１８にて保持されているグループ化画像ＧＰから表示用の合成画像（以下、「表示画像（第２の合成画像）Ｐ」という）が生成された後、それが表示回路８にて表示される。また、画像データ記録回路１９にて画像記録等の処理が実行される。
【００２４】
交換レンズ２００は、上記したレンズマイクロプロセッサ２０１の他、交換レンズ２００の設定値を保持する記憶回路２２、交換レンズ２００の駆動を行うレンズ駆動回路２３を備える。さらに、交換レンズ２００の位置検出を行うレンズ位置検出回路２４、交換レンズ２００の設定されている焦点距離を検出するレンズ焦点距離検出回路２５が備えられる。絞り駆動回路２６は、図１の絞り装置２０３に含まれ、絞りを駆動する。レンズ通信回路２９は、撮像装置本体１００との通信を行う。レンズ通信回路２９は、撮像装置本体１００からの制御命令を受信すると共に、交換レンズ２００に保持されている形状情報やレンズ設定値等の情報を送信する。
【００２５】
図３は、取得画像ＩＰの合成の態様を示す模式図である。図３においては、撮像回路１１により取得されたｎ個の取得画像ＩＰを合成してグループ化画像ＧＰを生成し、グループ化画像ＧＰをｍ個生成した時点で、ｍ個のグループ化画像ＧＰを合成して表示画像Ｐを生成することを示している。これらの制御はカメラマイクロプロセッサ１１２（以下、単に「プロセッサ１１２」と記す）によってなされる。
【００２６】
「ｎ」は、「第１の設定数」であって、１つのグループ化画像ＧＰを生成するための合成対象となる取得画像ＩＰの数、すなわち、１つのグループ化画像ＧＰを構成する取得画像ＩＰの数（以下、「構成画像数ｎ」という）である。「ｍ」は、「第２の設定数」であって、１つの表示画像Ｐを生成するための合成対象となるグループ化画像ＧＰの数（以下、「保持グループ数ｍ」という）である。
【００２７】
図３に例示するように、順次取得した取得画像ＩＰが、順次ＩＰ（１，１）、ＩＰ（１，２）・・・ＩＰ（１，ｎ）というように、取得画像記憶回路１７に保持されていく。取得画像ＩＰがｎ個取得されたときに、それら取得画像記憶回路１７に保持されたｎ個の取得画像ＩＰが合成され、グループ化画像ＧＰ（１）として生成される。生成されたグループ化画像ＧＰ（１）はグループ化画像記憶回路１８に保持される。式で示すと、ＧＰ（１）＝ＩＰ（１，１）＋ＩＰ（１，２）＋・・・＋ＩＰ（１，ｎ）となる。
【００２８】
グループ化画像ＧＰを生成している間も、順次、画像の取得は継続されている。グループ化画像ＧＰを生成するために取得画像ＩＰが転送された後、取得画像記憶回路１７の画像領域はクリアされ、また新たな取得画像ＩＰが蓄積されていく。すなわち、ＩＰ（１，１）〜ＩＰ（１，ｎ）はグループ化画像ＧＰ（１）の生成と共にクリアされ、次のグループ化画像ＧＰ（２）を生成するための取得画像ＩＰ（２，１）〜ＩＰ（２，ｎ）が取得画像記憶回路１７で保持される。
【００２９】
取得画像ＩＰ（２，１）〜ＩＰ（２，ｎ）の取得が完了したところで、２つ目のグループ化画像ＧＰ（２）が、１つ目のグループ化画像ＧＰ（１）と同様に、取得画像ＩＰ（２，１）〜ＩＰ（２，ｎ）の合成により生成される。そしてそれが取得画像記憶回路１７にて保持される。式で示すと、ＧＰ（２）＝ＩＰ（２，１）＋ＩＰ（２，２）＋・・・＋ＩＰ（２，ｎ）となる。
【００３０】
このようにして、取得画像ＩＰがｎ個取得される毎にグループ化画像ＧＰの生成が繰り返される。ｍ番目のグループ化画像ＧＰ（ｍ）が、ＧＰ（ｍ）＝ＩＰ（ｍ，１）＋ＩＰ（ｍ，２）＋・・・＋ＩＰ（ｍ，ｎ）により生成されると、そのとき保持しているグループ化画像ＧＰの読み出しが行われる。そして、グループ化画像ＧＰ（１）〜ＧＰ（ｍ）が、Ｐ（１）＝ＧＰ（１）＋ＧＰ（２）＋・・・＋ＧＰ（ｍ）により合成されて表示画像Ｐ（１）が生成される。表示画像Ｐ（１）は、例えば、表示回路８によって表示される。
【００３１】
その後も、順次、取得画像ＩＰが取得され、やがてｍ＋１番目のグループ化画像ＧＰ（ｍ＋１）が生成される。すると、Ｐ（２）＝ＧＰ（２）＋ＧＰ（３）＋・・・＋ＧＰ（ｍ＋１）により、グループ化画像ＧＰ（２）〜ＧＰ（ｍ＋１）までが合成されて表示画像Ｐ（２）が生成され、表示回路８の表示画像が更新される。
【００３２】
このように、グループ化画像ＧＰが順次生成され、最新のグループ化画像ＧＰからｍ個分のグループ化画像ＧＰを合成して表示画像Ｐ（ｘ）が生成される。式で示すと、Ｐ（ｘ）＝ＧＰ（ｘ）＋ＧＰ（ｘ＋１）＋・・・＋ＧＰ（ｍ＋ｘ−１）となる。表示回路８の表示内容は、最新の表示画像Ｐ（ｘ）に順次更新され、連続画像として例えばライブビュー表示される。
【００３３】
以下に本撮像装置の動作の一例を示す。
【００３４】
図４は、本撮像装置で実行されるライブビュー（ＬＶ）処理のフローチャートである。本処理は、撮像装置の電源オン時に開始される。
【００３５】
まず、ステップＳ１００では、プロセッサ１１２は、撮像装置がライブビューモード（以下、「ＬＶモード」と記す）に設定（ＯＮ）されているか否かを判別する。プロセッサ１１２は、その判別の結果、ＬＶモードがＯＮに設定されている場合にはステップＳ１０１に処理を移行させる一方、ＬＶモードがＯＦＦに設定されている場合には、処理をステップＳ１１９に移行させる。
【００３６】
次に、ステップＳ１０１では、プロセッサ１１２は、取得画像ＩＰをどのように合成するかの条件を設定する合成条件設定処理（図５で後述）を実行し、ステップＳ１０２に処理を進める。次に、ステップＳ１０２では、プロセッサ１１２は、撮像装置がＬＶ状態に設定されているか否かを判別する。そして、プロセッサ１１２は、撮像装置がＬＶ状態に設定されていればステップＳ１０５に処理を進める一方、ＬＶ状態に設定されていない場合はステップＳ１０３、Ｓ１０４を実行してからステップＳ１０５に処理を進める。
【００３７】
ステップＳ１０３においては、プロセッサ１１２は、撮像装置をＬＶ状態に設定するＬＶモード設定処理（図６で後述）を実行する。ステップＳ１０４においては、プロセッサ１１２は、取得画像ＩＰを保持するための取得画像記憶回路１７における画像保持領域を初期化し、次のステップＳ１０５に処理を進める。
【００３８】
ステップＳ１０５では、プロセッサ１１２は、撮像装置のレリーズ信号が発生したか否か、すなわち、スイッチ１５（ＳＷ２）がＯＮになったか否かを判別する。その判別の結果、ＳＷ２がＯＮである場合は、プロセッサ１１２は、ＬＶモード時のレリーズ処理に移行する。ＬＶモード時のレリーズ処理については、図８を用いて後述する。一方、ＳＷ２がＯＦＦである場合は、プロセッサ１１２は、ステップＳ１０６で、撮像装置の動画撮影を開始するための動画撮影スイッチ（図示せず）がＯＮになっているか否かを判別する。
【００３９】
ステップＳ１０６で、動画撮影スイッチがＯＦＦになっている場合は、プロセッサ１１２は、ステップＳ１０８に処理を進める。一方、動画撮影スイッチがＯＮになっている場合は、プロセッサ１１２は、ステップＳ１０７で動画撮影処理（図１４で後述）を実行してからステップＳ１０８に処理を進める。
【００４０】
ステップＳ１０８では、プロセッサ１１２は、ＬＶモードの表示モードが通常モードであるか、または露出設定値（露出条件）を再現する露出シミュレーションモードであるかを判別する。その判別の結果、プロセッサ１１２は、ＬＶモードの表示モードが露出シミュレーションモードに設定されている場合は、ステップＳ１０９に処理を進める一方、通常モードである場合はステップＳ１１６に処理を進める。
【００４１】
ステップＳ１０９では、プロセッサ１１２は、撮像素子１０６により画像（取得画像ＩＰ）を取得する画像取得処理（図９で後述）を実行する。次に、ステップＳ１１０で、プロセッサ１１２は、取得画像ＩＰを合成してグループ化画像ＧＰを生成するグループ化画像生成処理（図１０で後述）を実行する。次に、ステップＳ１１１では、プロセッサ１１２は、ステップＳ１１０にて生成したグループ化画像ＧＰから表示画像Ｐを合成により生成する表示画像生成処理（図１１で後述）を実行し、ステップＳ１１２に処理を移行させる。ステップＳ１１２では、プロセッサ１１２は、ステップＳ１１１にて生成した表示画像Ｐを表示するための表示処理（図１２で後述）を実行する。
【００４２】
次に、ステップＳ１１３では、プロセッサ１１２は、割り込み処理が指示されているか否かを判別する。その判別の結果、割り込み処理が指示されている場合は、プロセッサ１１２は、その割り込み処理の実行を指示して（ステップＳ１１８）、ステップＳ１１４に処理を進める。これにより、割り込み処理が実行される。一方、割り込み処理が指示されていない場合は、プロセッサ１１２は、ステップＳ１１４に処理を進める。
【００４３】
ステップＳ１１４では、プロセッサ１１２は、ＬＶモードがＯＮに設定されているか否かを判別する。プロセッサ１１２は、その判別の結果、ＬＶモードがＯＮに設定されている場合にはステップＳ１０５に処理を戻す一方、ＬＶモードがＯＦＦに設定されている場合には、ステップＳ１１５に処理を進める。ステップＳ１１５では、プロセッサ１１２は、撮像装置をＬＶ状態から待機状態に復帰させるＬＶモード復帰処理（図７で後述）を実行し、図４のＬＶ処理を終了させる。
【００４４】
ステップＳ１１９においては、プロセッサ１１２は、撮像装置がＬＶ状態に設定されているか否かを判別する。プロセッサ１１２は、その判別の結果、ＬＶ状態に設定されている場合は、ステップＳ１１５に処理を進める一方、ＬＶ状態に設定されていない場合は図４のＬＶ処理を終了させる。
【００４５】
ステップＳ１１６では、プロセッサ１１２は、ＬＶモードで表示する露出条件の演算を行い、次にステップＳ１１７で、ステップＳ１１６で演算した露出条件に基づき画像の取得を行って、ステップＳ１１２に処理を移行させる。演算された露出条件は記憶回路１０に記憶される。
【００４６】
図５は、図４のステップＳ１０１で実行される合成条件設定処理のフローチャートである。
【００４７】
まず、プロセッサ１１２は、ステップＳ１４００で、記憶回路１０から、設定された露出条件を読み込み、次にステップＳ１４０３で、撮像装置において画像安定モードが設定されているか否かを判別する。画像安定モードは、ユーザによって、不図示の操作子によって設定される。
【００４８】
その判別の結果、画像安定モードが設定されていない場合は、プロセッサ１１２は、ステップＳ１４０８に処理を移行させる。一方、画像安定モードが設定されている場合は、プロセッサ１１２は、ステップＳ１４０４で、複数の画像を取得して、動きベクトル検出回路１６の検出結果に基づいて動きベクトルを検出する。次に、ステップＳ１４０５では、プロセッサ１１２は、検出した動きベクトル値を元に、最長蓄積時間（電荷蓄積時間の上限値）を変更して、ステップＳ１４０８に処理を移行させる。
【００４９】
ステップＳ１４０８では、プロセッサ１１２は、上記露出条件で設定されている露出時間が所定値以上か否かを判別する。その判別の結果、プロセッサ１１２は、露出時間が所定値以上である場合はステップＳ１４０９に処理を進める一方、露出時間が所定値以上でない場合はステップＳ１４１０に処理を進める。ステップＳ１４０９では、プロセッサ１１２は、ＬＶ画像取得時のセンサ感度を、露出時間が上記所定値になるように変更して、ステップＳ１４１０に処理を移行させる。すなわち、画像取得時の撮像素子１０６のゲインを変更することで、画像取り込み時間を所定範囲に収める。
【００５０】
ステップＳ１４１０では、プロセッサ１１２は、上記露出条件に基づき、必要加算画像数ｐを算出し、ステップＳ１４２０に処理を移行させる。ここで、必要加算画像数ｐは、設定露出条件に基づく画像を生成するために必要な画像の数である。すなわち、画像として適正と考えられる明るさで表示するためには、その取得した画像の明るさならば何枚の画像が必要であるかを算出した数である。一例を挙げれば、例えば、画像として適正と考えられる明るさに対して、取得した画像の明るさが０．５ならば、２枚合成すれば所定の明るさになり、取得した画像の明るさが０．０５ならば、２０枚合成すれば適正な明るさになる。
【００５１】
ステップＳ１４２０では、プロセッサ１１２は、算出した必要加算画像数ｐが所定値以上であるか否かを判別する。その判別の結果、プロセッサ１１２は、必要加算画像数ｐが所定値以上である場合は、ステップＳ１４３０、Ｓ１４４０で、保持グループ数ｍ、構成画像数ｎの設定を行い、図５の合成条件設定処理を終了させる。
【００５２】
ここで、保持グループ数ｍ、構成画像数ｎは、ユーザが不図示の操作子を用いて設定するようにしてもよい。あるいは、下記のように、取得画像の明るさ（例えば、画像が取得される際の露出時間）や画像の動きベクトルに基づいて演算により求めるようにしてもよい。
【００５３】
まず、パラメータを以下のように定義する。
Ｓ：設定したシャッタ速度
Ｍ：画像データ保持用のメモリ容量
Ｍs：設定画像サイズでの１コマの容量
Ｆ：表示画像のフレームレート
Ｆｍｉｎ:表示画像の最低フレームレート
Ｖ：画像の動きベクトル量
Ａ：最大保持可能コマ数
ｂ：定数
フレームレートＦについては、ｂ×Ｖ＞Ｆｍｉｎであれば、Ｆ＝ｂ×Ｖとなり、ｂ×Ｖ≦Ｆｍｉｎであれば、Ｆ＝Ｆｍｉｎとなる。一駒の表示に必要なコマ数はＳ×Ｆとなる。従って、Ａ＝ＩＮＴ（Ｍ／Ｍｓ）＝ｍ＋ｎが成り立つ条件で、Ａ≧Ｓ×Ｆであれば、ｎ＝Ｓ×Ｆ、Ａ＜Ｓ×Ｆであれば、ｎ＝ＩＮＴ（Ｓ×Ｆ／Ｍ）＋１として設定する（小数点以下はゲイン調整で合わせ込む）。Ａ＝ｍ＋ｎによりｍも算出する。
【００５４】
ＬＶ表示において、適正な露出を得るために露出時間が長くなったときでも、画像の変化を表現するためには所定の間隔にて画像を更新していかなければならないため、一駒の時間は制限される。そこで、上記のように、構成画像数ｎは露出時間を考慮したものとなる。また、動きベクトルが大きい場合には、長時間蓄積処理を行うと画像にブレが発生してしまう。そこで、上記のように、画像一駒の蓄積時間を短縮し、合成枚数を増加させて画像ブレを減少させるべく、構成画像数ｎの算出には、動きベクトルも考慮する。
【００５５】
上記のような保持グループ数ｍ、構成画像数ｎの設定手法は例示であり、他の手法を用いてもよい。これらの値は記憶回路１０に格納される。
【００５６】
ステップＳ１４２０において、必要加算画像数ｐが所定値以上でない場合は、プロセッサ１１２は、ステップＳ１４５０で、取得画像ＩＰを直接合成するように設定して、図５の合成条件設定処理を終了させる。この直接合成の設定では、ｍ＝１、ｎ＝ｐに設定される。
【００５７】
図６は、図４のステップＳ１０３で実行されるＬＶモード設定処理のフローチャートである。
【００５８】
まず、ステップＳ１６０では、プロセッサ１１２は、メインハーフミラー１０４とサブミラー１０５を、撮像素子１０６の撮像光路外に退避させるように退避動作を行う。次に、ステップＳ１６１では、プロセッサ１１２は、撮像素子１０６を遮光しているシャッタ装置１０７を撮影準備状態に保持しているチャージ手段（不図示）を駆動して、シャッタチャージを解除する。次に、ステップＳ１６２では、プロセッサ１１２は、シャッタ装置１０７の遮光を開放し、撮像素子１０６にて撮像光学系（レンズ２０２）からの光束を受光できるようにして、本処理を終了させる。
【００５９】
図７は、図４のステップＳ１１５で実行されるＬＶモード復帰処理のフローチャートである。
【００６０】
まず、ステップＳ１８０では、プロセッサ１１２は、撮像素子１０６で実行されていた画像取得を停止させ、ステップＳ１８１で、シャッタ装置１０７を閉鎖状態に駆動する。次に、ステップＳ１８２では、プロセッサ１１２は、メインハーフミラー１０４とサブミラー１０５を撮影光路内に復帰させる（ミラーダウン）。次に、ステップＳ１８３では、プロセッサ１１２は、シャッタチャージ、すなわち、シャッタ装置１０７を、次の撮影動作に備えて準備状態に復帰させるためのチャージ動作を実行し、本処理を終了させる。
【００６１】
図８は、ライブビュー状態からのレリーズ処理のフローチャートである。
【００６２】
まず、ステップＳ２００では、プロセッサ１１２は、撮像装置の記録モードがＬＶ画像をそのまま記録するＬＶ画像記録モードであるか否かを判別する。その判別の結果、ＬＶ画像記録モードである場合は、プロセッサ１１２は、ステップＳ２０１に処理を移行させ、ＬＶモードにて表示していた画像を画像データ記録回路１９に保存して、元のフローに復帰する。
【００６３】
一方、ステップＳ２００において、撮像装置がＬＶ画像記録モードでない場合は、ステップＳ２０２で、プロセッサ１１２は、撮像装置のシャッタのモードが通常モード、電子先幕モードのいずれに設定されているかを判別する。ここで、通常モードは、露光開始及び露光終了を共にメカ機構にて制御するモードである。電子先幕モードは、露光開始を撮像素子１０６のリセット動作で行うと共に露光終了をメカ機構にて制御するモードである。
【００６４】
ステップＳ２０２の判別の結果、プロセッサ１１２は、シャッタのモードが通常モードである場合はステップＳ２０３に処理を進める一方、電子先幕モードである場合はステップＳ２２０に処理を進める。
【００６５】
ステップＳ２０３では、プロセッサ１１２は、ＬＶモードにて蓄積を繰り返していた撮像素子１０６の画像取得動作を停止させ、続くステップＳ２０４で、撮像処理を行う準備として、シャッタ装置１０７をチャージ状態に遷移させて撮影準備状態にする。次に、ステップＳ２０５で、プロセッサ１１２は、シャッタ装置１０７を駆動して撮像素子１０６を露光することで撮像を行う。
【００６６】
次に、ステップＳ２０６では、プロセッサ１１２は、駆動が終了したシャッタ装置１０７を待機状態に復帰させるためのチャージ動作を行うと共に、撮像した画像データを転送する。プロセッサ１１２は、チャージ動作と画像転送の双方が終了した時点で、ステップＳ２０９に処理を進める。
【００６７】
ステップＳ２０９では、プロセッサ１１２は、レリーズ信号であるＳＷ２がＯＮのまま継続しているか否かを判別し、ＳＷ２がＯＮのままである場合は、ステップＳ２０４に処理を戻して、シャッタ走行準備動作を行う。一方、プロセッサ１１２は、ＳＷ２がＯＦＦである場合は、処理をステップＳ２１０に移行させる。
【００６８】
ステップＳ２１０では、プロセッサ１１２は、ＬＶモード設定処理（図６で前述）を実行し、次に、ステップＳ２１１で、ＬＶモードで使用していた過去のグループ化画像ＧＰが存在しているか否かを判別する。その判別の結果、過去のグループ化画像ＧＰが存在していない場合は、プロセッサ１１２は、図４のＬＶ処理ルーチンへ処理を復帰させる。一方、プロセッサ１１２は、過去のグループ化画像ＧＰが存在している場合はステップＳ２１２に処理を移行させる。
【００６９】
ステップＳ２１２では、プロセッサ１１２は、姿勢検知回路１３の検出結果に基づき、撮影前後での撮像装置本体１００の姿勢変化が所定値以下であるか否かを判別する。その判別の結果、プロセッサ１１２は、姿勢変化が所定値以下である場合はステップＳ２１３に処理を移行させる一方、姿勢変化が所定値以下でない場合はステップＳ２１４に処理を移行させる。
【００７０】
ステップＳ２１３では、プロセッサ１１２は、撮影前後の経過時間が所定値以下であるか否かを判別する。その判別の結果、プロセッサ１１２は、撮影前後の経過時間が所定値以下である場合はステップＳ２１６に処理を移行させる一方、撮影前後の経過時間が所定値以下でない場合はステップＳ２１４に処理を移行させる。
【００７１】
ステップＳ２１４では、プロセッサ１１２は、グループ化画像記憶回路１８に保持されているグループ化画像ＧＰをリセット（クリア）し、次に、ステップＳ２１５で、画面に表示する表示画像Ｐをリセットして、ステップＳ２１６に処理を移行させる。ステップＳ２１６では、プロセッサ１１２は、取得画像ＩＰをリセットして、図４のＬＶ処理に処理を復帰させる。
【００７２】
ステップＳ２１１〜Ｓ２１６の処理によれば、撮像装置の状態（姿勢や経過時間）変化が大きいならばグループ化画像ＧＰ及び表示画像Ｐがリセットされる。しかし、撮影動作後にも撮像装置の状態変化が小さければ、それらをリセットすることなく、レリーズ前に蓄積した画像も用いてシミュレーション表示を行うことになる。
【００７３】
ステップＳ２２０においては、プロセッサ１１２は、ＬＶモードにて蓄積を繰り返していた撮像素子１０６の画像取得動作を停止させ、続くステップＳ２２１で、撮像処理に向けて撮像素子１０６の準備を行う。次に、プロセッサ１１２は、ステップＳ２２２で、シャッタ装置１０７の走行特性に合わせて撮像素子１０６のリセット動作を順次実施し、続くステップＳ２２３で、シャッタ装置１０７の後幕走行を行う。次に、ステップＳ２２４で、プロセッサ１１２は、駆動が終了したシャッタ装置１０７を待機状態に復帰させるためのチャージ動作を行うと共に、撮像した画像データを転送する。プロセッサ１１２は、チャージ動作と画像転送の双方が終了した時点で、ステップＳ２２７に処理を進める。
【００７４】
プロセッサ１１２は、ステップＳ２２７では、レリーズ信号であるＳＷ２がＯＮのまま継続しているか否かを判別する。その判別の結果、プロセッサ１１２は、ＳＷ２がＯＮのままである場合はステップＳ２２８に処理を移行させる一方、ＳＷ２がＯＦＦである場合はステップＳ２１０に処理を移行させる。ステップＳ２２８では、プロセッサ１１２は、シャッタ装置１０７の先幕走行を行って開放状態に設定し、ステップＳ２２１に処理を戻す。
【００７５】
図９は、図４のステップＳ１０９で実行される画像取得処理のフローチャートである。
【００７６】
まず、ステップＳ３００で、プロセッサ１１２は、撮像素子１０６にて取得画像ＩＰの蓄積処理を実行し、続くステップＳ３０１で、取得画像ＩＰの転送処理を行う。次に、ステップＳ３０２では、プロセッサ１１２は、転送した取得画像ＩＰを取得画像記憶回路１７に保持させて、図９の画像取得処理を終了させる。
【００７７】
図１０は、図４のステップＳ１１０で実行されるグループ化画像生成処理のフローチャートである。
【００７８】
まず、ステップＳ３１１においては、プロセッサ１１２は、取得画像ＩＰが構成画像数ｎだけ取得済みであるか否かを判別する。その判別の結果、取得画像ＩＰがｎ個取得済みでない場合は、プロセッサ１１２は、本処理を終了させて図４のステップＳ１１１へ処理を進める。一方、取得画像ＩＰがｎ個取得済みである場合は、プロセッサ１１２は、ステップＳ３１２で、画像ＩＳ処理、すなわち、画像防振制御処理を実施することが指定されているか否かを判別する。画像ＩＳ処理を実施するか否かの指定は、ユーザによって不図示の操作子でなされる。
【００７９】
その判別の結果、プロセッサ１１２は、画像ＩＳ処理を実施することが指定されていない場合はステップＳ３１３に処理を移行させる。ステップＳ３１３では、プロセッサ１１２は、取得画像記憶回路１７に保持されているｎ個の取得画像ＩＰを読み込み、それらを合成してグループ化画像ＧＰを生成する（図３も参照）。その後、プロセッサ１１２は、処理をステップＳ３１４に進める。一方、ステップＳ３１２で、画像ＩＳ処理を実施することが指定されていた場合は、プロセッサ１１２は、ステップＳ３１９で画像ＩＳ処理（図１３で後述）を実行してからステップＳ３１４に処理を移行させる。グループ化画像ＧＰの生成は、ステップＳ３１３または図１３のステップＳ３５６（後述）でなされる。
【００８０】
ステップＳ３１４では、プロセッサ１１２は、グループ化画像ＧＰを生成したときの条件であるグループ化画像生成条件データを作成する。グループ化画像生成条件データの一例としては、グループ化画像ＧＰの露出時間に相当する相当露出時間、グループ化画像ＧＰを生成するときに使用した画像の絞り値から得られる絞り値等が挙げられる。さらには、グループ化画像ＧＰを生成するときに使用した画像のＩＳＯ感度から得られるＩＳＯ感度値等が挙げられる。ただし、これら以外の項目を追加しても良いし、いずれかの項目を削除しても良い。グループ化画像生成条件データは、グループ化画像ＧＰに関連付けられて、例えばグループ化画像記憶回路１８に格納される。
【００８１】
次に、ステップＳ３１５では、プロセッサ１１２は、過去の（既に生成された）グループ化画像ＧＰが存在しているか否かを判別する。その判別の結果、プロセッサ１１２は、過去のグループ化画像ＧＰが存在していない場合は、ステップＳ３１７に処理を移行させる一方、過去のグループ化画像ＧＰが存在している場合は、ステップＳ３１６に処理を移行させる。
【００８２】
ステップＳ３１６では、プロセッサ１１２は、グループ化画像記憶回路１８においてグループ化画像ＧＰを保持するための保存領域に空きが無いか否かを判別する。その判別の結果、プロセッサ１１２は、保存領域に空きがある場合はステップＳ３１７に処理を移行させる一方、空きが無い場合はステップＳ３２０を実行してからステップＳ３１７に処理を移行させる。
【００８３】
ステップＳ３１７では、プロセッサ１１２は、生成したグループ化画像ＧＰをグループ化画像記憶回路１８の空き領域に保存して、ステップＳ３１８に処理を進める。ステップＳ３２０では、プロセッサ１１２は、空き領域を確保するべく、グループ化画像記憶回路１８に保持されているグループ化画像ＧＰのうち最も古いものを削除すると共に、今回新たに生成されたグループ化画像ＧＰをグループ化画像記憶回路１８に保存する。従って、プロセッサ１１２は、グループ化画像記憶回路１８に保持されているグループ化画像ＧＰのうち最古のものに置き換えて新たなグループ化画像ＧＰを保持させる。その後、プロセッサ１１２は、ステップＳ３１８に処理を進める。
【００８４】
ステップＳ３１８では、プロセッサ１１２は、ステップＳ３１３またはステップＳ３１９でグループ化画像ＧＰの生成（合成）に使用した取得画像ＩＰを取得画像記憶回路１７から順次消去（クリア）し、図１０のグループ化画像生成処理を終了させる。
【００８５】
本処理でグループ化画像ＧＰを生成することにより、取得画像ＩＰをグループ化してまとめた状態で保持できるので、取得画像記憶回路１７の必要な保持領域を削減することが可能となる。
【００８６】
図１１は、図４のステップＳ１１１で実行される表示画像生成処理のフローチャートである。
【００８７】
まず、ステップＳ３２８では、プロセッサ１１２は、グループ化画像ＧＰに関連付けられたグループ化画像生成条件データが存在するか否かを判別する。その判別の結果、プロセッサ１１２は、グループ化画像生成条件データが存在していない場合はステップＳ３２９に処理を移行させる一方、存在している場合は、ステップＳ３３０に処理を移行させる。
【００８８】
ステップＳ３２９では、プロセッサ１１２は、設定値から、グループ化画像記憶回路１８の保存領域に保持されているグループ化画像ＧＰの合成条件であるグループ化画像生成条件を決定し、ステップＳ３３１に処理を移行させる。ここで、設定値は、画像を生成する条件としてユーザにより不図示の操作子で設定され、例えば、画像を安定させるモードなのか露出をシミュレーションするモードなのかの設定等が該当する。
【００８９】
一方、ステップＳ３３０では、プロセッサ１１２は、グループ化画像ＧＰに関連付けられたグループ化画像生成条件データを取得し、当該グループ化画像生成条件データを加味してグループ化画像生成条件を決定して、ステップＳ３３１に処理を移行させる。
【００９０】
ステップＳ３３１では、プロセッサ１１２は、グループ化画像ＧＰが表示画像Ｐの合成に必要な個数（保持グループ数ｍ）だけ存在しているか否かを判別する。その判別の結果、プロセッサ１１２は、グループ化画像ＧＰが保持グループ数ｍだけ存在している場合は、ステップＳ３３２に処理を移行させる一方、保持グループ数ｍだけ存在しない場合は、ステップＳ３３６に処理を移行させる。
【００９１】
ステップＳ３３２では、プロセッサ１１２は、画像ＩＳ処理を実施することが指定されているか否かを判別する。画像ＩＳ処理を実施するか否かの指定は、ユーザによって不図示の操作子でなされる。その判別の結果、プロセッサ１１２は、画像ＩＳ処理を実施することが指定されていない場合は、ステップＳ３３３に処理を進める一方、画像ＩＳ処理を実施することが指定されていた場合は、ステップＳ３３４に処理を進める。
【００９２】
ステップＳ３３３では、プロセッサ１１２は、グループ化画像記憶回路１８に保持されているグループ化画像ＧＰのうち、最新のものから所定数（ここでは保持グループ数ｍ）分を合成対象とし、それらを合成して表示画像Ｐを生成する（図３も参照）。
【００９３】
ステップＳ３３４では、プロセッサ１１２は、最新のものからｍ個分のグループ化画像ＧＰの動きベクトルを動きベクトル検出回路１６の検出結果に基づいて検出する。次に、ステップＳ３３５で、プロセッサ１１２は、画像ＩＳ処理を実施して表示画像Ｐを生成する。
【００９４】
ここで、ステップＳ３３５で実施される画像ＩＳ処理は、後述する図１３の画像ＩＳ処理に相当する処理である。すなわち、図１３の画像ＩＳ処理自体は、ｎ個の取得画像ＩＰあたりに１つのグループ化画像ＧＰを合成する処理であるが、ステップＳ３３５では、ｍ個のグループ化画像ＧＰから表示画像Ｐを合成する処理段階にも図１３の画像ＩＳ処理を応用する。このように、表示画像Ｐの合成にも図１３の画像ＩＳ処理を応用することで、グループ化画像ＧＰ間の一致率が低い場合にも、表示画像Ｐに画像ブレが生じるのを抑制することが可能となる。
【００９５】
ステップＳ３３６では、プロセッサ１１２は、ステップＳ３３３と同様の処理を実行する。ステップＳ３３６の判別の結果、プロセッサ１１２は、画像ＩＳ処理を実施することが指定されていない場合は、ステップＳ３３７に処理を進める一方、画像ＩＳ処理を実施することが指定されていた場合は、ステップＳ３３８に処理を進める。
【００９６】
ステップＳ３３７では、プロセッサ１１２は、存在しているグループ化画像ＧＰを合成することで表示画像Ｐを生成する。その際、グループ化画像ＧＰの数が不足しているため、プロセッサ１１２は、不足分をゲインアップして合成する。ステップＳ３３８では、プロセッサ１１２は、存在しているグループ化画像ＧＰの動きベクトルを動きベクトル検出回路１６の検出結果に基づいて検出する。次に、ステップＳ３３９で、プロセッサ１１２は、画像ＩＳ処理を実施して表示画像Ｐを生成し、その際、グループ化画像ＧＰの不足分をゲインアップする。ステップＳ３３９における画像ＩＳ処理は、ステップＳ３３５におけるものと同じである。
【００９７】
ステップＳ３３３、Ｓ３３５、Ｓ３３７、Ｓ３３９の処理後は、プロセッサ１１２は、図１１の表示画像生成処理を終了させる。本処理によれば、表示画像Ｐを生成する上で、取得画像ＩＰを合成するのではなく、グループ化画像ＧＰを合成するので、表示画像Ｐを生成する加算演算処理の負荷を軽減することが可能となる。
【００９８】
図１２は、図４のステップＳ１１２で実行される表示処理のフローチャートである。
【００９９】
まず、ステップＳ３４０では、プロセッサ１１２は、撮像装置の画面表示設定を読み込む。画面表示設定は、ユーザにより不図示の操作子で設定され、その情報が記憶回路１０に保持されている。
【０１００】
次に、ステップＳ３４１では、プロセッサ１１２は、読み込んだ画像表示設定が、「画像のみ表示」になっているか否かを判別する。その判別の結果、画像表示設定が「画像のみ表示」となっている場合は、プロセッサ１１２は、ステップＳ３４３で、表示画像Ｐを表示回路８に表示させて、本処理を終了させる。
【０１０１】
一方、ステップＳ３４１の判別の結果、画像表示設定が「画像のみ表示」でない場合は、プロセッサ１１２は、ステップＳ３４２で、表示画像Ｐに付加情報を合成し、当該合成した画像をステップＳ３４３で表示させる。
【０１０２】
本処理により、ファインダ表示ユニット１１５乃至外部表示ユニット１１６に表示画像Ｐが順次表示される。
【０１０３】
図１３は、図１０のステップＳ３１９で実行される画像ＩＳ処理のフローチャートである。
【０１０４】
まず、プロセッサ１１２は、ステップＳ３５０では、取得画像記憶回路１７に保持されたｎ個の取得画像ＩＰのうち最初のものを読み込み、続くステップＳ３５１では、まだ読み込みを実施していない次の取得画像ＩＰを読み込む。
【０１０５】
次に、ステップＳ３５２では、プロセッサ１１２は、取得画像ＩＰと取得画像ＩＰ、あるいは、取得画像ＩＰと合成画像（後述するステップＳ３５６で合成されたもの）とを比較する。そして、動きベクトル検出回路１６の検出結果からそれらの画像の動きベクトルを検出する。
【０１０６】
次に、ステップＳ３６０では、プロセッサ１１２は、取得画像ＩＰを合成してグループ化画像ＧＰを生成する際に、画像一致率を考慮するか否かを判別する。画像一致率を考慮するか否かの指定は、ユーザによって事前になされているとする。その判別の結果、プロセッサ１１２は、画像一致率を考慮する場合はステップＳ３５３に処理を進める一方、画像一致率を考慮しない場合はステップＳ３５６に処理を進める。
【０１０７】
ステップＳ３５３では、プロセッサ１１２は、ステップＳ３５２で検出した動きベクトルに基づき、上記比較した画像同士の画像の一致率を算出する。次に、ステップＳ３５４では、プロセッサ１１２は、比較した画像同士の画像の一致率（一致の度合い）が所定値Ｙ以下であるか否かを判別する。その判別の結果、プロセッサ１１２は、比較した画像同士の画像の一致率が所定値Ｙ以下である（一致の度合いが低い）場合は、ステップＳ３５５に処理を進める一方、画像の一致率が所定値Ｙより高い場合は、ステップＳ３５６に処理を進める。
【０１０８】
ステップＳ３５５では、プロセッサ１１２は、今回読み込まれて比較対象の一方となった取得画像ＩＰを画像合成の候補から除外する。これにより、表示画像Ｐに画像ブレが生じるのを抑制することが可能となる。ステップＳ３５６では、プロセッサ１１２は、今回読み込まれて比較対象の一方となった取得画像ＩＰを、比較対象の他方の画像と合成する処理を行う。ここでいう比較対象の他方の画像は、以前に読み込まれた取得画像ＩＰであるか、または既にステップＳ３５６で合成された合成画像のいずれかである。ステップＳ３５６により、画像ＩＳ処理内でグループ化画像ＧＰが生成される。
【０１０９】
ステップＳ３５５またはステップＳ３５６の処理後は、ステップＳ３５７で、プロセッサ１１２は、所定数（図１０のステップＳ３１９で実行される場合は、構成画像数ｎである）の取得画像ＩＰを読み込み済みであるか否かを判別する。
【０１１０】
その判別の結果、所定数（ｎ個）の取得画像ＩＰを読み込み済みでない場合は、プロセッサ１１２は、ステップＳ３５１に処理を戻し、次の取得画像ＩＰの読み込みに移行する。一方、所定数（ｎ個）の取得画像ＩＰを読み込み済みである場合は、ステップＳ３５８で、プロセッサ１１２は、ステップＳ３５５において画像合成の候補から除かれた取得画像ＩＰがあるか否かを判別する。
【０１１１】
その判別の結果、画像合成の候補から除かれた取得画像ＩＰがある場合は、プロセッサ１１２は、ステップＳ３５９で、除外した取得画像ＩＰの数の分だけ、合成画像であるグループ化画像ＧＰのゲインアップを行い、本処理を終了させる。一方、画像合成の候補から除かれた取得画像ＩＰがない場合は、ゲインアップを行う必要がないので、プロセッサ１１２は、本処理を終了させる。
【０１１２】
図１４は、図４のステップＳ１０７で実行される動画撮影処理のフローチャートである。
【０１１３】
まず、ステップＳ４００では、プロセッサ１１２は、動画撮影において画像合成を行うか否かを判別する。画像合成を行うか否かは、ユーザが事前に指定できるものとする。その判別の結果、画像合成を行わない場合は、プロセッサ１１２は、ステップＳ４０１に処理を移行させる一方、画像合成を行う場合はステップＳ４０２に処理を移行させる。ステップＳ４０１では、プロセッサ１１２は、撮像処理を行って所定のフレームレートにて画像を取得し、ステップＳ４０５に処理を移行させる。
【０１１４】
ステップＳ４０２〜Ｓ４０４のステップは、動画撮影においても、露出シミュレーションモードのときと同様に、取得画像ＩＰを合成してグループ化画像ＧＰを生成し、グループ化画像ＧＰを合成して表示画像Ｐを生成する処理を採用したものである。従って、ステップＳ４０２〜Ｓ４０４は、図４のステップＳ１０９〜Ｓ１１１の処理と同様である。すなわち、プロセッサ１１２は、図９の画像取得処理、図１０のグループ化画像生成処理、図１１の表示画像生成処理を順次実行して、ステップＳ４０５に処理を進める。
【０１１５】
ステップＳ４０５では、プロセッサ１１２は、ステップＳ４０１で取得した画像、またはステップＳ４０４で生成した表示画像Ｐに基づいて動画データを生成する。ここで生成される動画画像は、選択された動画フォーマットに基づいて生成される。次に、ステップＳ４０６では、プロセッサ１１２は、ステップＳ４０５にて生成した動画データを画像データ記録回路１９に保存する。
【０１１６】
次に、ステップＳ４０７では、プロセッサ１１２は、静止画撮影を実行するスイッチであるＳＷ２がＯＮしているか否かを判別する。その判別の結果、プロセッサ１１２は、ＳＷ２がＯＮしている場合は、ステップＳ４０８に処理を移行させる一方、ＳＷ２がＯＦＦしている場合は、ステップＳ４１０に処理を移行させる。ステップＳ４０８では、プロセッサ１１２は、動画撮影を停止し、続くステップＳ４０９で、レリーズ処理（図８）を実行して、ステップＳ４１０に処理を移行させる。
【０１１７】
プロセッサ１１２は、ステップＳ４１０では、動画撮影を終了するのか否かを判別し、その判別の結果、動画撮影を終了すると判定した場合は、図１４の動画撮影処理を終了させる。一方、動画素撮影を継続すると判定した場合は、プロセッサ１１２は、ステップＳ４０２に処理を復帰させ、動画撮影を継続する。
【０１１８】
本処理によれば、複数画像を合成する長秒時露光相当の露光を行いながらの動画撮影においても、一旦、グループ化画像ＧＰを生成して動画画像を生成するので、演算負荷を低減することが可能となる。
【０１１９】
本実施の形態によれば、取得画像ＩＰがｎ個保持される毎に、それら取得画像ＩＰを合成してグループ化画像ＧＰを生成すると共に、当該合成に用いた取得画像ＩＰを取得画像記憶回路１７から順次消去する。これにより、取得画像記憶回路１７の保持領域は、最低でもｎ個分の取得画像ＩＰを記憶できる容量で足りる。そして、グループ化画像記憶回路１８に新たなグループ化画像ＧＰが保持される毎に、保持されていたグループ化画像ＧＰのうち最新のものから基本的にはｍ個分のものまでを合成して表示画像Ｐを生成する。これにより、取得画像ＩＰを取得する毎に表示画像Ｐを生成することに比べて、画像合成の負荷が少なくて済む。よって、連続画像を生成する際に、取得画像の保持領域の削減を可能にすると共に画像合成の負荷を軽減することができる。
【０１２０】
すなわち、低輝度状態で露出が不足する場合にも、合成する全画像数より少ない画像数をセットとして合成してグループ化画像ＧＰを生成し、生成したグループ化画像ＧＰを合成して最終画像である表示画像Ｐを得る構成である。従って、取得画像ＩＰを保持するための保持領域を削減することが可能となり、また、保持するデータの数を削減できることで、順次生成するデータの演算負荷の低減を図ることが可能となる。
【０１２１】
本実施の形態では、上述のとおり、取得画像ＩＰがｎ個保持される毎に、それら取得画像ＩＰを合成してグループ化画像ＧＰを生成すると共に、当該合成に用いた取得画像ＩＰを取得画像記憶回路１７から消去する仕様とした。しかしこれに限らず、たとえば当該合成に用いた取得画像ＩＰをｎ／２（あるいはｎ／２−1／２）個だけ取得画像記憶回路１７から消去し、次のｎ／２（あるいはｎ／２＋1／２）個が新たに取得されたときに次のグループ化画像ＧＰを生成するようにしてもよい。すなわち、グループ化画像ＧＰ生成時に消去する取得画像ＩＰの数やグループ化画像ＧＰ生成のタイミング、生成に用いる取得画像ＩＰの重複の度合い等については特に限定されない。
【０１２２】
ところで、本実施の形態においては、スルー画像表示可能なライブビュー表示が可能な一眼レフカメラを例示したが、これに限るものではない。すなわち、撮像手段にて画像取得が可能な装置ならば、コンパクトカメラ、ビデオカメラ等、各種の撮像装置に本発明を適用可能である。
【０１２３】
（第２の実施の形態）
第１の実施の形態では、グループ化画像ＧＰを生成するための合成対象である取得画像ＩＰは、撮像により順次取得される画像であった。本発明の第２の実施の形態では、予め取得された画像を合成対象とする。基本的な構成は第１の実施の形態と同じであり、第１の実施の形態と同じ動作についても同じフローチャートが適用される。
【０１２４】
図１５は、第２の実施の形態における動画データ変換処理のフローチャートである。この処理は、予め記録されているデータを読み込んで動画データに変換する処理を行うものである。
【０１２５】
まず、プロセッサ１１２は、ステップＳ５００では、動画データの変換条件設定処理（図１６で後述）を実行し、続くステップＳ５０１で、変換に使用する変換フアイルを選択する。そして、ステップＳ５０２では、選択した画像データ（取得画像ＩＰ）の読み出しを順次実施する。
【０１２６】
プロセッサ１１２は、ステップＳ５０３では、グループ化画像生成処理（図１０で前述）を実行し、続くステップＳ５０４では、表示画像生成処理（図１１で前述）を実行する。次に、プロセッサ１１２は、ステップＳ５０５では、動画データの生成処理を実行し、続くステップＳ５０６では、生成した変換した動画データを保存する。
【０１２７】
ステップＳ５０７では、プロセッサ１１２は、選択した画像データの読み出しが終了したか否かを判別し、読み出しが終了した場合は、図１５の動画データ変換処理を終了させる。一方、ステップＳ５０７で、読み出しが終了していない場合は、プロセッサ１１２は、ステップＳ５０２に処理を復帰させ、動画データの変換を継続する。
【０１２８】
図１６は、図１５のステップＳ５００で実行される動画データの変換条件設定処理のフローチャートである。
【０１２９】
まず、プロセッサ１１２は、ステップＳ５２０では、変換するデータの露出補正量を設定し、次のステップＳ５２１では、設定した露出補正量に基づく画像を生成するために必要な画像の数（必要加算画像数）を算出する。
【０１３０】
次に、ステップＳ５２２では、合成画像数が所定値以上であるか否かを判別する。その判別の結果、プロセッサ１１２は、合成画像数が所定値以上である場合はステップＳ５２３に処理を進める一方、合成画像数が所定値以上でない場合はステップＳ５２５に処理を進める。
【０１３１】
プロセッサ１１２は、ステップＳ５２３、Ｓ５２４では、図５のステップＳ１４３０、Ｓ１４４０と同様にして、保持グループ数ｍ、構成画像数ｎの設定を行う。ステップＳ５２５では、プロセッサ１１２は、ステップＳ１４５０と同様に、取得画像ＩＰを直接合成するように設定する。プロセッサ１１２は、ステップＳ５２４、Ｓ５２５の処理後は本処理を終了させる。
【０１３２】
本実施の形態によれば、予め取得済みのデータに対しても、補正値に応じて、画像を複数のグループにグループ化して合成することで、取得済み画像の合成に伴う演算負荷の低減が可能となる。なお、取得済み画像では、露出条件に代えて、取得済み画像の輝度などの明るさの設定条件に応じて保持グループ数ｍ、構成画像数ｎや必要加算画像数ｐが規定されるようにしてもよい。
【０１３３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１３４】
８ 表示回路
１１ 撮像回路
１６ 動きベクトル検出回路
１７ 取得画像記憶回路
１８ グループ化画像記憶回路
１９ 画像データ記録回路
１１２ カメラマイクロプロセッサ
【特許請求の範囲】
【請求項１】
順次取得される取得画像を保持する第１の保持手段と、
前記第１の保持手段に保持された第１の設定数の取得画像を合成して第１の合成画像を生成する第１の合成手段と、
前記第１の合成画像を保持する第２の保持手段と、
前記第２の保持手段に保持された前記第１の合成画像のうち最も新しく生成されたものから第２の設定数のものまでを合成して第２の合成画像を生成する第２の合成手段と、
前記第１の合成画像の生成に用いられなくなった前記取得画像を順次消去する消去手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記第２の合成手段により新たな前記第２の合成画像が生成される毎に、表示内容を最新の前記第２の合成画像に更新して表示する表示手段を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の合成手段は、前記第１の保持手段に、前記取得画像が前記第１の設定数だけ保持される毎に、それら前記第１の設定数の取得画像を合成して前記第１の合成画像を生成し、前記消去手段は、前記第１の合成手段が前記第１の合成画像を生成したのを受けて、当該第１の合成画像の生成に用いた取得画像を前記第１の保持手段から消去することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２の保持手段は、新たな前記第１の合成画像を保持する際に空き領域がない場合は、保持している前記第１の合成画像のうち最古のものに置き換えて前記新たな前記第１の合成画像を保持することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１の設定数を、前記取得画像の明るさに基づいて設定する第１の設定手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記取得画像の明るさとは、前記取得画像が撮像により取得される際の露出時間であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記取得画像の動きベクトルを検出する検出手段と、前記第１の設定数を前記検出手段により検出された動きベクトルに基づいて設定する第１の設定手段と、を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項８】
前記第２の合成画像に対する明るさの設定と前記第１の設定数とに応じて前記第２の設定数を設定する第２の設定手段を有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記取得画像の動きベクトルを検出する検出手段を有し、前記第１の合成手段は、前記合成に用いる取得画像の中で他の取得画像に対して一致の度合いが所定値よりも低いものについては合成の対象から除いて合成を行うことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項１０】
請求項２に記載の画像処理装置と、
前記画像処理装置の前記第１の保持手段に保持されるための取得画像を取得する撮像手段と、を有し、
前記画像処理装置の前記表示手段は、前記画像処理装置の前記第２の合成手段により生成された前記第２の合成画像をライブビュー表示として順次表示することを特徴とする撮像装置。
【請求項１１】
請求項２に記載の画像処理装置と、
前記画像処理装置の前記第１の保持手段に保持されるための取得画像を取得する撮像手段と、を有し、
前記画像処理装置の前記第２の合成手段により生成された前記第２の合成画像は動画画像として記憶装置に保存されることを特徴とする撮像装置。
【請求項１２】
取得画像を保持する保持手段と、複数の取得画像を合成して合成画像を生成する合成手段と、を有する画像処理装置の制御方法であって、
前記保持手段に、順次取得される取得画像を保持する第１の保持ステップと、
前記合成手段によって、前記第１の保持ステップで保持された第１の設定数の取得画像を合成して第１の合成画像を生成する第１の合成ステップと、
前記保持手段に、前記第１の合成画像を保持する第２の保持ステップと、
前記合成手段によって、前記第２の保持ステップで保持された前記第１の合成画像のうち最も新しく生成されたものから第２の設定数のものまでを合成して第２の合成画像を生成する第２の合成ステップと、
前記第１の合成画像の生成に用いられなくなった前記取得画像を順次消去する消去ステップと、を有することを特徴とする画像処理装置の制御方法。
【請求項１】
順次取得される取得画像を保持する第１の保持手段と、
前記第１の保持手段に保持された第１の設定数の取得画像を合成して第１の合成画像を生成する第１の合成手段と、
前記第１の合成画像を保持する第２の保持手段と、
前記第２の保持手段に保持された前記第１の合成画像のうち最も新しく生成されたものから第２の設定数のものまでを合成して第２の合成画像を生成する第２の合成手段と、
前記第１の合成画像の生成に用いられなくなった前記取得画像を順次消去する消去手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記第２の合成手段により新たな前記第２の合成画像が生成される毎に、表示内容を最新の前記第２の合成画像に更新して表示する表示手段を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の合成手段は、前記第１の保持手段に、前記取得画像が前記第１の設定数だけ保持される毎に、それら前記第１の設定数の取得画像を合成して前記第１の合成画像を生成し、前記消去手段は、前記第１の合成手段が前記第１の合成画像を生成したのを受けて、当該第１の合成画像の生成に用いた取得画像を前記第１の保持手段から消去することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２の保持手段は、新たな前記第１の合成画像を保持する際に空き領域がない場合は、保持している前記第１の合成画像のうち最古のものに置き換えて前記新たな前記第１の合成画像を保持することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１の設定数を、前記取得画像の明るさに基づいて設定する第１の設定手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記取得画像の明るさとは、前記取得画像が撮像により取得される際の露出時間であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記取得画像の動きベクトルを検出する検出手段と、前記第１の設定数を前記検出手段により検出された動きベクトルに基づいて設定する第１の設定手段と、を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項８】
前記第２の合成画像に対する明るさの設定と前記第１の設定数とに応じて前記第２の設定数を設定する第２の設定手段を有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記取得画像の動きベクトルを検出する検出手段を有し、前記第１の合成手段は、前記合成に用いる取得画像の中で他の取得画像に対して一致の度合いが所定値よりも低いものについては合成の対象から除いて合成を行うことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項１０】
請求項２に記載の画像処理装置と、
前記画像処理装置の前記第１の保持手段に保持されるための取得画像を取得する撮像手段と、を有し、
前記画像処理装置の前記表示手段は、前記画像処理装置の前記第２の合成手段により生成された前記第２の合成画像をライブビュー表示として順次表示することを特徴とする撮像装置。
【請求項１１】
請求項２に記載の画像処理装置と、
前記画像処理装置の前記第１の保持手段に保持されるための取得画像を取得する撮像手段と、を有し、
前記画像処理装置の前記第２の合成手段により生成された前記第２の合成画像は動画画像として記憶装置に保存されることを特徴とする撮像装置。
【請求項１２】
取得画像を保持する保持手段と、複数の取得画像を合成して合成画像を生成する合成手段と、を有する画像処理装置の制御方法であって、
前記保持手段に、順次取得される取得画像を保持する第１の保持ステップと、
前記合成手段によって、前記第１の保持ステップで保持された第１の設定数の取得画像を合成して第１の合成画像を生成する第１の合成ステップと、
前記保持手段に、前記第１の合成画像を保持する第２の保持ステップと、
前記合成手段によって、前記第２の保持ステップで保持された前記第１の合成画像のうち最も新しく生成されたものから第２の設定数のものまでを合成して第２の合成画像を生成する第２の合成ステップと、
前記第１の合成画像の生成に用いられなくなった前記取得画像を順次消去する消去ステップと、を有することを特徴とする画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１０５１４１（Ｐ２０１２−１０５１４１Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５２８６４（Ｐ２０１０−２５２８６４）
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]