撮像装置
【課題】記録動画像の滑らかさを向上させるとともに、静止画のブレを低減することが可能な撮像装置を提供する。
【解決手段】入射した光学像を光電変換し、この出力信号を処理して画像データを取得する撮像部１１と、撮像部１１における露光を制御するとともに光学像の撮影を制御するマイクロコンピュータ２５を備えた動画と静止画を撮像して記録する撮像装置において、マイクロコンピュータ２５は、動画撮影中に静止画の撮影を行う場合に、動画像の１フレームに相当する時間（ｔ４〜ｔ５）を複数に分割して露光を行い、撮像部１１により処理して複数の画像データを取得し、複数の画像データの被写体像の位置合わせを行い複数の画像データを合成し、静止画像データとして記録するとともに、複数の画像データの被写体像の位置合わせを行わないで複数の画像データを合成し、動画像データの１フレームとして記録する。
【解決手段】入射した光学像を光電変換し、この出力信号を処理して画像データを取得する撮像部１１と、撮像部１１における露光を制御するとともに光学像の撮影を制御するマイクロコンピュータ２５を備えた動画と静止画を撮像して記録する撮像装置において、マイクロコンピュータ２５は、動画撮影中に静止画の撮影を行う場合に、動画像の１フレームに相当する時間（ｔ４〜ｔ５）を複数に分割して露光を行い、撮像部１１により処理して複数の画像データを取得し、複数の画像データの被写体像の位置合わせを行い複数の画像データを合成し、静止画像データとして記録するとともに、複数の画像データの被写体像の位置合わせを行わないで複数の画像データを合成し、動画像データの１フレームとして記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画撮影中に静止画撮影する機能を有する撮像装置に関する。
【背景技術】
【０００２】
近年、動画撮影中に静止画を撮影する機能を有する撮像装置が提案されている。また、動画撮影中のフレームレート内のぶれを低減するようにした撮像装置も提案されている。例えば、特許文献１には、動画フレーム内で通常露光と、この通常露光より短い露光時間で露光と両方で撮像し、フレームレート内のブレ量に応じて何れかを採用して動画像とする撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−７７２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動画撮影中に静止画を撮影する場合に、特許文献１に開示された技術、すなわち、通常露光時間よりも短い露光時間で撮像することにより、フレームレート内でのブレを低減した静止画を取得することが可能となる。しかし、静止画像は動画像の一部として使用することから、このフレームレートのみブレが小さくなると、動画としてのスムーズさが劣化してしまう。また、露光時間を短くしたフレームレートは増感して適正露光にするが、このときノイズが増加してしまう。このため、静止画の画質が劣化してしまうという不具合もある。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、記録動画像の滑らかさを向上させるとともに、静止画のブレを低減することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係わる撮像装置は、入射した光学像を光電変換する撮像素子と、上記撮像素子の出力信号を処理して画像データを取得する撮像処理部と、上記撮像素子の露光を制御するとともに上記光学像の撮影を制御する制御部と、を備え、動画と静止画を撮像して記録する撮像装置において、上記制御部は、動画撮影中に静止画の撮影を行う場合に、動画像の１フレームに相当する時間を複数に分割して露光を行い、上記撮像処理部により処理して複数の画像データを取得し、上記複数の画像データの被写体像の位置合わせを行い複数の画像データを合成し、静止画像データとして記録するとともに、上記複数の画像データの被写体像の位置合わせを行わないで複数の画像データを合成し、動画像データの１フレームとして記録する。
【０００７】
第２の発明に係わる撮像装置は、上記第１の発明において、手振れ量を検出する手振れ量検出部を有し、上記制御部は、上記手振れ量検出部によって検出された手振れ量に基づいて上記分割数を設定する。
第３の発明に係わる撮像装置は、上記第２の発明において、上記手振れ量検出部は、上記動画像データ間の被写体像の移動量に基づいて手振れ量を検出する。
【０００８】
第４の発明に係わる撮像装置は、上記第２の発明において、上記制御部は、複数の画像データより動画像データを合成する際に、上記手振れ量が所定量よりも大きい場合は被写体像の位置合わせを行い複数の画像データを合成して動画像データの１フレームとして記録する。
第５の発明に係わる撮像装置は、上記第４の発明において、上記制御部は、上記複数の画像データ間の被写体像の移動量に基づいて上記複数の合成画像データの被写体像の位置合わせを行う。
【０００９】
第６の発明に係わる撮像装置は、上記第２の発明において、上記制御部は、複数の画像データより動画像データを合成する際に、上記手振れ量が所定量よりも大きい場合は複数の画像データのうちから連続して取得した複数の画像データを、被写体像の位置合わせを行わずに合成して複数の合成画像データを生成し、該複数の合成画像データの被写体像の位置合わせを行って合成して動画像データの１フレームとして記録する。
第７の発明に係わる撮像装置は、上記第６の発明において、上記制御部は、位置合わせを行わずに合成される上記複数の画像データ間の被写体像の移動量に基づいて上記複数の合成画像の被写体像の位置合わせを行う。
【００１０】
第８の発明に係わる撮像装置は、入射した光学像を光電変換する撮像素子と、上記撮像素子の出力信号を処理して画像データを取得する撮像処理部と、上記撮像素子の露光を制御するとともに上記光学像の撮影を制御する制御部と、を備え、動画と静止画を撮像して記録する撮像装置において、上記制御部は、動画撮影中に静止画の撮影を行う場合に、動画像の複数フレームに関して動画像の１フレームに相当する時間をより長い時間とより短い時間に分割して露光を行い、上記撮像処理部により処理して複数の画像データを取得し、上記複数フレームに関して上記より短い時間の露光に対応する画像データを被写体像の位置合わせをして合成し、静止画像データとして記録するとともに、上記複数フレームに関して上記より長い時間の露光に対応する画像データを、上記動画像の複数フレームのそれぞれ１フレームとして記録する。
【００１１】
第９の発明に係わる撮像装置は、上記第８の発明において、上記制御部は、上記複数のフレームに関して、１フレーム内で分割されたより短い時間に対応する露光を行った後に、分割されたより長い時間に対応する露光を行う。
【発明の効果】
【００１２】
本発明によれば、記録動画像の滑らかさを向上させるとともに、静止画のブレを低減することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラの画像処理回路の詳細を示すブロック図である。
【図３】本発明の一実施形態に係わるカメラの移動量検出回路の入出力データの関係を示すブロック図である。
【図４】本発明の一実施形態に係わるカメラの合成処理回路の入出力データの関係を示すブロック図である。
【図５】本発明の一実施形態に係わるカメラにおいて、動画と静止画の撮影時における基本的な記録方法を示すタイミングチャートである。
【図６】本発明の一実施形態に係わるカメラにおいて、動画と静止画の撮影時における第１の変形的な記録方法を示すタイミングチャートである。
【図７】本発明の一実施形態に係わるカメラにおいて、動画と静止画の撮影時における第２の変形的な記録方法を示すタイミングチャートである。
【図８】本発明の一実施形態に係わるカメラにおいて、動画フレーム間移動量と合成タイプ、残存ブレ量の関係を示すグラフである。
【図９】本発明の一実施形態に係わるカメラにおいて、残存ブレ量がタイプ３の場合のタイミングチャートである。
【図１０】本発明の一実施形態に係わるカメラにおいて、残存ブレ量がタイプ４の場合のタイミングチャートである。
【図１１】本発明の一実施形態に係わるカメラにおいて、残存ブレ量がタイプ５の場合のタイミングチャートである。
【図１２】本発明の一実施形態に係わるカメラにおいて、第２の変形的な記録方法におけるタイミングチャートである。
【図１３】本発明の一実施形態に係わるカメラの撮影時の動作を示すフローチャートである。
【図１４】本発明の一実施形態に係わるカメラの撮像・合成処理（タイプ１：マルチ記録）の動作を示すフローチャートである。
【図１５】本発明の一実施形態に係わるカメラの撮像・合成処理（タイプ３：マルチ記録）の動作を示すフローチャートである。
【図１６】本発明の一実施形態に係わるカメラの撮像・合成処理（タイプ４：マルチ記録）の動作を示すフローチャートである。
【図１７】本発明の一実施形態に係わるカメラの撮像・合成処理（タイプ５：マルチ記録）の動作を示すフローチャートである。
【図１８】本発明の一実施形態に係わるカメラの撮像・合成処理（タイプ１／２／３：動画記録）の動作を示すフローチャートである。
【図１９】本発明の一実施形態に係わるカメラの撮像・合成処理（タイプ４：動画記録）の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部（背面液晶モニタやＥＶＦ）にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、静止画の画像データが記録媒体に記録され、また動画釦を操作すると動画の画像データが記録媒体に記録される。動画の記録中にレリーズ操作がなされると、動画の画像データとともに静止画の画像データも記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１５】
図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。バス２３に、撮像部１１、Ａ／Ｄ１３、移動量検出回路１５、合成処理回路１７、画像処理回路１９、操作部２１、マイクロコンピュータ２５、ＲＡＭ２７、背面液晶モニタ２９、ＥＶＦ３１、Ｉ／Ｆ３３が入出力可能に接続されている。
【００１６】
バス２３は、カメラ本体の内部で読み出され若しくは生成された各種データや制御信号をカメラ本体内部の各回路に転送するための転送路である。
【００１７】
撮像部１１は、撮影レンズ、絞り・シャッタ等の露出制御素子、撮像素子、撮像制御回路等を含み、撮影レンズによって形成された被写体像を画像信号に変換し、画像信号をＡ／Ｄ１３に出力する。撮像素子は、撮影レンズを介して入射した光学像を光電変換するための素子であって、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ配列のＲＧＢフィルタが配置されている。
【００１８】
撮像部１１は、撮像素子の出力信号を処理して画像データを取得する撮像処理部として機能し、またマイクロコンピュータ２５からの制御信号に応じて、動画像の１フレームに相当する時間を複数に分割して露光を行い、複数の画像データを生成する。なお、撮像素子はベイヤ配列に限定されず、例えばＦｏｖｅｏｎのような形式でも勿論かまわない。
【００１９】
Ａ／Ｄ（Analog-to-digital converter）１３は、アナログ信号をデジタル信号に変換するアナログデジタル変換器であり、撮像部１１から入力した画像信号を画像データに変換し、バス２３に出力する。バス２３に出力された画像データは後述するＲＡＭ２７に一時記憶される。なお、本明細書においては、撮像部１１において生成された画像信号も含めて画像データと称する場合がある。また、ベイヤ配列の撮像素子から出力された画像信号をそのまま画像データに変換したものをＲＡＷデータと称し、またベイヤデータとも称する。
【００２０】
移動量検出回路１５は、図３に示すように、バス２３を介して（図３ではバス２３を省略）、ベイヤデータ１およびベイヤデータ２を入力し、２つのベイヤデータを比較することにより、移動量を算出し、算出した移動量データをバス２３に出力する。前述したように、１フレーム分の画像データがバス２３に出力されると、一旦、ＲＡＭ２７に一時記憶される。移動量検出回路１５は、ＲＡＭ２７に一時記憶された２フレーム間の画像データを読出し、これらを比較することにより、被写体像の移動量を算出する。この移動量検出回路１５は、手振れ量を検出する手振れ量検出部として機能する。なお、移動量検出回路１５としては、図３に示すような２フレーム間の画像データの比較以外にも、例えば、ジャイロや６軸センサ等、カメラ本体の動きを検出するセンサを設け、移動量を検出するようにしても勿論かまわない。
【００２１】
合成処理回路１７は、図４に示すように、バス２３を介して（図４ではバス２３を省略）、ベイヤデータ１およびベイヤデータ２を入力し、２つのベイヤデータに基づいて合成画像を生成し、この合成画像のベイヤデータ３をバス２３に出力する。合成画像の生成にあたっては、ベイヤデータ１とベイヤデータ２の画像を単純に重畳して合成する場合と、バス２３を介して移動量データを入力し、この移動量に相当する分だけ、画像をずらしてからベイヤデータ１とベイヤデータ２の画像を合成する位置合わせ合成がある。
【００２２】
画像処理回路１９は、バス２３よりベイヤデータを入力し、画像処理を施し、この画像処理を施した画像データをバス２３に出力する。画像処理として、ノイズリダクション処理（ＮＲ）、ホワイトバランス補正（ＷＢ）、同時化処理（デモザイク）、色変換、階調変換（ガンマ変換）、エッジ強調、ＹＣ変換を行う。また、ＹＣ変換された画像データの圧縮処理や、圧縮された画像データの伸張処理も行う。画像処理回路の詳細については、図２を用いて後述する。
【００２３】
操作部２１は、カメラに設けられた各種の操作部材を含み、各種操作部材の操作状態を検知し、バス２３を介して検知信号をマイクロコンピュータ２５に送信する。各種操作部材としては、電源釦、レリーズ釦、動画釦、カメラモード選択用ダイヤル、メニュー釦、十字釦、ＯＫ釦、再生釦等を有する。
【００２４】
これらの操作部材のうち、電源釦を操作するとカメラがパワーオンとなり、再度操作するとパワーオフとなる。レリーズ釦を操作すると、静止画の撮影を行う。動画釦を操作すると動画撮影を開始し、再度操作すると動画撮影を終了する。カメラモード選択用ダイヤルを操作することにより各種カメラモードを選択することができる。メニュー釦を操作することにより、背面液晶モニタ２９にメニュー画面を表示し、このメニュー画面において種々のカメラ設定を行うことができる。十字釦はメニュー画面等においてカーソルを移動させることができ、ＯＫ釦を操作することにより、カーソルで選択した項目を確定することができる。
【００２５】
マイクロコンピュータ２５は、カメラ全体を制御する制御部を構成し、フラッシュＲＯＭ（不図示）等のメモリに記憶されたプログラムに従って、操作部２１からの検知信号やその他の回路からの信号に基づいて、各部の制御を行う。また、マイクロコンピュータ２５は、画像ファイルの作成も行う。
【００２６】
また、マイクロコンピュータ２５は制御部としても機能し、撮像部１１に対して、動画像の１フレームに相当する時間を複数に分割して露光を行い、複数の画像データを取得させる。また、制御部の機能として、複数分割して露光して得られた複数の画像データの被写体像の位置合わせを行って複数の画像データを合成し、静止画像データとして記録させる。また、制御部の機能として、複数分割して露光して得られた複数の画像データの被写体像の位置合わせを行わないで複数の画像データを合成し、動画像データの１フレームとして記録させる。この分割露光と静止画および動画の合成画像の生成については、図５〜図７を用いて後述する。
【００２７】
さらに、制御部の機能として、手振れ量検出部として機能する移動量検出回路１５によって検出された手振れ量に基づいて、上述の分割数を設定する。さらに、制御部の機能として、手振れ量が所定量よりも大きい場合は被写体像の位置合わせを行い複数の画像データを合成して動画像データの１フレームとして記録する。この時の位置合わせは、手振れ量検出部として機能する移動量検出回路１５によって検出された被写体像の移動量に基づいて被写体像の位置合わせを行う。
【００２８】
さらに、制御部の機能として、複数の画像データより動画像データを合成する際に、移動量検出回路１５によって検出された手振れ量が所定量よりも大きい場合は複数の画像データのうちから連続して取得した複数の画像データを、被写体像の位置合わせを行わずに合成して複数の合成画像データを生成し、該複数の合成画像データの被写体像の位置合わせを行って合成して動画像データの１フレームとして記録する。この制御方式は、後述するタイプ４であり、詳しくは図６、図１０を用いて詳述する。さらに、制御部の機能として、タイプ４を実行する場合には、位置合わせを行わずに合成される複数の画像データ間の被写体像の移動量に基づいて複数の合成画像の被写体像の位置合わせを行う。
【００２９】
さらに、制御部の機能として、撮像処理部として機能する撮像部１１に対して、動画像の複数フレームに関して動画像の１フレームに相当する時間をより長い時間とより短い時間に分割して露光を行い、複数の画像データを取得させる。また、制御部の機能として、複数フレームに関してより短い時間の露光に対応する画像データを被写体像の位置合わせをして合成し、静止画像データとして記録するとともに、複数フレームに関してより長い時間の露光に対応する画像データを、動画像の複数フレームのそれぞれ１フレームとして記録する。また、制御部の機能として、複数のフレーム関して、１フレーム内で分割されたより短いに対応する露光を行った後に、分割されたより長い時間に対応する露光を行う。この制御方式の詳細は、図７を用いて詳述する。
【００３０】
ＲＡＭ（Random Access Memory）２７は、書き換え可能なメモリであり、マイクロコンピュータ２５における処理の際にデータの一時記憶用に用いたり、また画像データの一時記憶に使用される。
【００３１】
背面液晶モニタ２９は、カメラ本体の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体３５に記録された静止画や動画の画像ファイルの再生表示、ライブビュー表示等の動画表示、およびメニュー画面等が含まれる。なお、表示部としては、液晶モニタに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。ＥＶＦ（Electronic View Finder）３１は、撮像部１１からの画像データに基づいて、被写体像を表示する電子ファインダであり、撮影者は接眼部を介して観察する。
【００３２】
Ｉ／Ｆ（Interface）３３は、記録媒体３５に画像データを記録する、または記録されている画像データを読み出すためのインターフェースであり、記録媒体３５に接続されている。記録媒体３５は、例えば、カメラ本体に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。
【００３３】
次に、図２を用いて、画像処理回路１９の詳細について説明する。画像処理回路１９は、ＲＡＷ切り出し部１９ａ、ＮＲ部１９ｂ、ＷＢ部１９ｃ、デモザイク部１９ｄ、色変換部１９ｅ、階調変換部１９ｆ、ＲＧＢ・ＹＣ変換部１９ｇ、エッジ抽出部１９ｈ、エッジ強調部１９ｉ、混合部１９ｊ、ＹＣリサイズ部１９ｋ、データ圧縮部１９ｍ、データ伸張部１９ｎを有する。
【００３４】
ＲＡＷ切り出し部１９ａは、動画のベイヤデータを入力し、切り出し位置の変更と画像データのリサイズを行う。動画の画像データの切り出し位置の変更は、移動量検出回路１５からの移動量データに基づいて、手振れの影響を低減するよう行う。また、画像データを小さくするリサイズも行う。切り出し位置の変更や画像データのリサイズを行った画像データは、ＮＲ部１９ｂに出力する。
【００３５】
ＮＲ部１９ｂは、ＲＡＷ切り出し部１９ａから入力した動画の画像データ、またはバス２３を介して直接入力した静止画の画像データを周波数分解し、周波数に応じてノイズを低減する処理を行う。なお、静止画の画像データは切り出し位置の変更を行わないことから、本実施形態においては、ベイヤデータを直接ＮＲ部１９ｂに入力するようにしている。
【００３６】
ＷＢ部１９ｃは、ＮＲ部１９ｂからノイズリダクション処理された画像データを入力し、ホワイトバランス補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュＲＯＭ等の不揮発性のメモリから読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ベイヤデータ（ＲＡＷデータ）からＲゲインおよびＢゲインを算出し、これらを用いて補正する。
【００３７】
デモザイク部１９ｄは、ＷＢ部１９ｃからホワイトバランス補正された画像データを入力し、同時化処理を行う。具体的には、その画素位置にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。
【００３８】
色変換部１９ｅは、デモザイク部１９ｄによって同時化処理された画像データを入力し、画像データの色を変換する。ここでは、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を変換する。
【００３９】
階調変換部１９ｆは、色変換部１９ｅによって色変換された画像データを入力し、階調変換を行う。ここでは、不揮発性メモリに記憶されているガンマテーブルを読み出し、画像データに対して階調変換を行う。
【００４０】
ＲＧＢ・ＹＣ変換部１９ｇは、階調変換部１９ｆによって階調変換されたＲＧＢデータを入力し、ＹＣデータに変換する。ＹＣデータは、輝度信号と色信号からなる画像データである。
【００４１】
エッジ抽出部１９ｈは、ＮＲ部１９ｂからノイズリダクション処理された画像データを入力し、エッジ抽出を行い、エッジ抽出された画像データをエッジ強調部１９ｉに出力する。エッジ抽出部１９ｈおよびエッジ強調部１９ｉにより、被写体像の輪郭線のみからなる画像データを生成する。
【００４２】
混合部１９ｊは、ＲＧＢ・ＹＣ変換部１９ｇから出力された輝度信号からなる画像データに、エッジ強調部１９ｉから出力された輪郭線のみからなる画像データを重畳処理し、この重畳処理した画像データをＹＣリサイズ部１９ｋに出力する。ＹＣリサイズ部１９ｋは、混合部１９ｊから出力された輝度信号とＲＧＢ・ＹＣ変換部１９ｇから出力された色信号を入力し、画像データを小さくしたＹＣデータを生成する処理を行う。画像データのサイズは、ライブビュー表示か否か、また画像記録を行う場合には設定された大きさとする。リサイズされたＹＣデータはバス２３およびデータ圧縮部１９ｍに出力される。
【００４３】
データ圧縮部１９ｍは、ＹＣリサイズ部１９ｋからＹＣデータを入力し、静止画データの場合にはＪＰＥＧ等の圧縮処理を、また動画データの場合にはＭＰＥＧ等の圧縮処理を行い、バス２３に出力する。この圧縮された画像データは記録媒体３５に記録される。データ伸張部１９ｎは、記録媒体３５に記録された圧縮データをバス２３を介して入力し、ＪＰＥＧやＭＰＥＧで圧縮された画像データの伸張処理を行い、バス２３を介して伸張したＹＣデータを出力する。
【００４４】
次に、本実施形態において、動画の撮影中にレリーズ釦が操作されて静止画の撮影を行う場合について、図５に示す概念図を用いて説明する。なお、後述するように、この処理は、タイプ３と称する。図５において、横軸は時間の流れを示している。時刻ｔ１〜ｔ４までは、動画の撮影のみが行われ、静止画の撮影は行われない。この間、時刻ｔ１〜ｔ２で１フレーム、時刻ｔ２〜ｔ３で１フレーム、時刻ｔ３〜ｔ４で１フレームの画像が露光され、露光終了後にそれぞれ読み出されて、記録媒体３５に動画の画像データとして記録される。
【００４５】
時刻ｔ３〜ｔ４の間で、レリーズ釦が操作されると、時刻ｔ４〜ｔ５の間で静止画および動画の撮影が行われる。静止画および動画を撮影する場合には、時刻ｔ４〜ｔ５の露光時間を等分に４分割し、時刻ｔ４〜ｔ４ａで画像Ａ１、時刻ｔ４ａ〜ｔ４ｂで画像Ａ２、時刻ｔ４ｂ〜ｔ４ｃで画像Ａ３、時刻ｔ４ｃ〜ｔ５で画像Ａ４をそれぞれ撮像（露光）する。記録用の動画の画像データは、合成処理回路１７が、画像の位置合わせを行うことなく、単純に画像データを重畳（加算処理）することにより合成画像を生成し、動画記録を行う。
【００４６】
一方、記録用の静止画の画像データは、合成処理回路１７が、移動量検出回路１５によって検出された移動量データに基づいて、画像Ａ１〜Ａ４の位置合わせを行い、画像の合成を行う。画像Ａ１〜Ａ４のそれぞれの露光時間は、通常の１フレームの露光時間の１／４であり、またそれぞれの画像の位置合わせを行っていることから、手振れの影響を１／４（２段分に相当）に低減することができる。
【００４７】
また、各画像の位置合わせを行うにあたって、時刻ｔ４〜ｔ４ａに撮像した画像Ａ１、すなわちレリーズ釦が操作された後の直近の画像に合わせている。このため、静止画撮影時のタイムラグを実質、短くしたことと同等になる。
【００４８】
時刻ｔ５において、静止画の撮影が終了すると、時刻ｔ５〜ｔ９において、時刻ｔ１〜ｔ４と同様、動画の撮影のみが行われ、静止画の撮影は行われない。
【００４９】
このように、動画の撮影中にレリーズ釦が操作されて静止画の撮影がなされる場合には、動画像の１フレームに相当する時間を複数に分割して露光を行い、複数の画像データを取得している。そして、複数の画像データの被写体像の位置合わせを行い複数の画像データを合成し、静止画像データとして記録し、また、複数の画像データの被写体像の位置合わせを行わないで複数の画像データを合成し、動画像データの１フレームとして記録するようにしている。
【００５０】
このため、動画の画像データは、時刻ｔ１〜ｔ４、時刻ｔ４〜ｔ９における露光条件と実質的に同等で撮影がなされることから、静止画撮影中のみ動画の画質が変化することを防止でき、再生時に違和感の生ずることがない。一方、静止画撮影にあたっては、実質的に露光時間が短時間になったことから手振れの影響を低減した高画質の画像とすることができる。
【００５１】
次に、動画の撮影中にレリーズ釦が操作されて静止画の撮影を行う場合の処理の第１の変形例について、図６に示す概念図を用いて説明する。図５に示した例では、動画の撮影にあたっては、位置合わせを行って手振れの影響を低減していなかった。しかし、手振れの影響が大きくなると、動画の画質も低下することから、本変形例においては、動画についても位置合わせを行うようにしている。後述するように、この処理は、タイプ４と称する。
【００５２】
図６においても横軸は時間の流れを示している。時刻ｔ１１〜ｔ１３までは、図５の時刻ｔ１〜ｔ４までと同様、動画の撮影のみが行われ、静止画の撮影は行われない。時刻ｔ１３〜時刻ｔ１６までは、動画撮影においても手振れ量が大きい場合である。この間は、図５の時刻ｔ４〜ｔ５の場合と同様、１フレームを４分割した時間ごとにそれぞれ画像Ａ１〜画像Ａ４を取得する。
【００５３】
時刻ｔ１３〜ｔ１６における記録用の動画の画像データは、合成処理回路１７が、各フレームにおいて、画像Ａ１とＡ２の位置合わせを行うことなく、単純に画像データを重畳（加算処理）することにより合成画像（Ａ１＋Ａ２）を生成し、同様に、画像Ａ３と画像Ａ４の位置合わせを行うことなく、単純に画像データを重畳（加算処理）することにより合成画像（Ａ３＋Ａ４）を生成する。続いて、合成処理回路１７は、移動量検出回路１５からの移動量データに基づいて合成された２つの合成画像の位置合わせを行い、画像データを合成する。合成された画像データは、動画像データの１フレームとして記録される。
【００５４】
時刻ｔ１４になると、時刻ｔ１４〜ｔ１５の間で動画に加えて静止画の撮影が行われる。この間における静止画の撮影は、図５に示した例と同様であり、時刻ｔ１４〜ｔ１５間における分割画像Ａ１〜Ａ４について、合成処理回路１７によって移動量データに基づいて、各画像の位置合わせを行ってから、画像の重畳処理を行う。
【００５５】
このように、第１の変形例においては、図５に示した基本的な処理に加えて、手振れ量が大きい場合には、動画についても分割画像の位置合わせを行うようにしている。このため、手振れ量が大きい場合であっても、動画についても手振れの影響を軽減することができる。
【００５６】
なお、本変形例においては、画像Ａ１と画像Ａ２を単純に加算し、同様に画像Ａ３と画像Ａ４を単純に加算し、これらの加算画像に対して位置合わせを行うようにしていた。しかし、この処理によって手振れを十分に軽減できない場合には、静止画の場合と同様、画像Ａ１、Ａ２、Ａ３、Ａ４のそれぞれに対して、手振れ量に応じて位置合わせを行うようにしても構わない。この方式については、図８、図１１、図１７、および図１９において、タイプ５として後述する。
【００５７】
次に、動画の撮影中にレリーズ釦が操作されて静止画の撮影を行う場合の処理の第２の変形例について、図７に示す概念図を用いて説明する。図５および図６に示した例では、手振れ量が大きくなると、１フレーム間を等分に分割していた。しかし、本変形例においては、１フレーム間を不等分割した時間で画像データを取得し、静止画用には短時間で撮影した複数画像を位置合わせすることにより生成し、一方、動画用には長時間で撮影した各動画用画像をゲインアップすることにより生成している。
【００５８】
図７において、時刻ｔ２１〜ｔ２４および時刻ｔ２７〜ｔ２９は、図５における時刻ｔ１〜ｔ４および時刻ｔ５〜ｔ９と同様に、動画の撮影のみが行われ、静止画の撮影は行われない。
【００５９】
時刻ｔ２４になると、静止画および動画の撮影が行われる。静止画および動画を撮影するにあたって、時刻ｔ２４〜ｔ２７において、各フレームの時間を１：３に２分割し、各フレームにおける先の時間で画像Ａ１、Ａ２、Ａ３を取得する。この取得した画像Ａ１〜Ａ３を、合成処理回路１７は、移動量データに基づいて位置合わせを行い、位置合わせを行った画像Ａ１〜Ａ３を重畳処理することにより、静止画用の画像データを生成する。生成された画像データは、記録媒体３５に記録される。
【００６０】
一方、動画用の画像データは、時刻ｔ２４〜ｔ２７において得られた動画用画像データを撮像部１１においてゲインアップし、この画像データを記録媒体３５に記録する。図７に示した例では、各動画用の画像データは、通常の１フレームの露光期間の３／４であることから、４／３倍にゲインアップすればよい。
【００６１】
このように、本変形例においては、動画撮影中に静止画の撮影を行う場合に、動画像の複数フレームに関して動画像の１フレームに相当する時間をより長い時間とより短い時間に分割して露光を行い、複数の画像データを取得している。そして、静止画用の画像データは、複数フレームに関してより短い時間の露光に対応する画像データを被写体像の位置合わせをして合成し、一方、動画用の画像データは、複数フレームに関してより長い時間の露光に対応する画像データを、複数フレームのそれぞれ１フレームとして記録している。また、先に短い時間対応した露光を行い、続いて長い時間に対応する露光を行っている。このため、静止画のタイムラグを実質的に短くすることができる。
【００６２】
動画用の画像データは、ゲインアップによって生成しているので簡単な構成により処理することができ、また静止画用の画像データは、手振れを軽減した高画質で取得することができる。なお、本変形例においては、１フレームの時間を１：３に分割し画像を取得していたが、分割の比は、適宜変更しても構わない。
【００６３】
次に、本発明の一実施形態の動画撮影の動作について説明する。本実施形態においては、図８に示すように、動画フレーム間の移動量ΔＬに応じて、図５および図６に示した処理を、タイプ１〜タイプ５の間で、適宜、切り換えている。図８の縦軸は、残存ブレ量であり、縦軸上に静止画ブレ限界と動画ブレ限界を示す。残存ブレ量は、ブレ量そのものか、またはブレを軽減するための処理が施された後のブレ量を意味する。動画は動きの有る被写体を撮影すること、また一般的に静止画の方が高い解像力が求められるから、動画ブレ限界は静止画ブレ限界より大きな値となる。
【００６４】
動画フレーム間移動量ΔＬが０〜Ｌ１の間にある場合には、図８に示すように、タイプ１の制御を行う。タイプ１は、動画および静止画のいずれに対しても合成処理を行わない。すなわち、撮像部１１で取得した画像データに対して、図５および図６において説明したような合成処理を行うことなく、画像処理を行った後、記録媒体３５に画像データを記録する。
【００６５】
動画フレーム間移動量ΔＬがＬ１〜Ｌ２の間にある場合には、タイプ２の制御を行う。このタイプ２の制御は、動画に対しては２フレーム位置合わせ無し合成を行い、静止画に対しては２フレーム位置合わせ合成を行う。タイプ２の制御については詳しくは説明しなかったが、前述の図５における処理の変形例である。
【００６６】
すなわち、タイプ２では、動画フレーム間移動量ΔＬが、静止画ブレ限界を超えているが、動画ブレ限界を超えていないことから、静止画に対してブレを低減するような処理を施す。図５における処理では、１フレームの露光時間を等分に４分割していたが、タイプ２では、この分割を２分割とする。そして、静止画用の画像データは、２分割された露光時間において、それぞれ取得した画像データを、合成処理部１７が移動量データに基づいて位置合わせを行ってから重畳処理によって合成画像を生成し記録する。動画用の画像データは、それぞれ取得した画像データを、合成処理部１７が単純に位置合わせを行うことなく、重畳処理によって合成画像を生成し記録する。
【００６７】
動画フレーム間移動量ΔＬがＬ２〜Ｌ３の間にある場合には、タイプ３の制御を行う。このタイプ３の制御は、動画に対しては４分割された各画像の位置合わせを行うことなく合成し、静止画に対しては４分割された各画像の位置合わせ行ってから合成を行う。タイプ３の制御は、前述の図５における処理と同じであることから、詳しい説明は省略する。
【００６８】
動画フレーム間移動量ΔＬがＬ３〜Ｌ４の間にある場合には、タイプ４の制御を行う。このタイプ４の制御は、動画に対しては２＋２フレーム位置合わせ合成を行い、静止画に対しては４分割された各画像の位置合わせをおこなってから合成を行う。静止画に対しては、タイプ３と同様の制御であるが、動画ブレ限界を超えていることから、動画に対しても手振れを軽減する処理を行う。タイプ４の制御は、前述の図６における処理と同じであることから、詳しい説明は省略する。
【００６９】
動画フレーム間移動量ΔＬがＬ４を超えると、タイプ５の制御を行う。ここでは、タイプ４の場合よりも更に動画フレーム間移動量ΔＬが大きいことから、動画に対しても静止画の場合と同様、４分割された各分割画像に対して位置合わせを行って、手振れの影響を軽減している。タイプ５の制御は、前述の図６において、Ａ１＋Ａ２とＡ３＋Ａ４の画像を生成することなく、Ａ１〜Ａ４の各画像について移動量に応じて位置合わせを行うことにより動画の画像データを生成する。
【００７０】
このように、本実施形態においては、動画フレーム間移動量に応じて、動画ブレ限界と静止画ブレ減効果を考慮して、タイプ１〜タイプ５の制御を行うようにしている。このため、動画と静止画の画質と動画の滑らかさについて、最適な制御を行うことができる。
【００７１】
次に、タイプ３の場合の動作について、図９に示すタイミングチャートを用いて説明する。タイプ３は、図５を用いて説明したように、動画のみの撮影時には、画像処理された画像データをそのまま記録媒体３５に記録し、動画撮影中に静止画の撮影も行う場合には、１フレームの露光時間を等分に４分割し、各画像を位置合わせを行うことなく、そのまま合成することにより動画の画像データを生成し、一方、各画像の位置合わせを行ってから合成することにより静止画の画像データを生成する。
【００７２】
図９に示すタイミングチャートにおいて、時刻Ｔ１〜Ｔ３および時刻Ｔ４〜Ｔ６は、動画のみの撮影が行われ、静止画の撮影は行われない。時刻Ｔ１〜Ｔ２の間で露光された画像データは、タイミング５１において読み出される。また、タイミング５２においてタイミング５１で読み出された画像データとその前のタイミングで読み出された画像データを比較することにより、移動量の算出がなされる。そして、タイミング５３においてタイミング５１で読み出された画像データと、その前のタイミングで読み出された画像データを、位置合わせすることなく、そのまま重畳することにより動画を生成し、画像処理を行った後、タイミング５４において、記録媒体３５に動画の画像データとして記録する。時刻Ｔ２〜Ｔ６も同様に動画の画像データを生成し、記録する。
【００７３】
時刻Ｔ３になると、時刻Ｔ３〜Ｔ４の間で静止画および動画の撮影が行われる。この撮影にあたっては、図５を用いて説明したように、時刻Ｔ３〜Ｔ４の露光時間を等分に４分割し、画像Ａ１〜Ａ４をそれぞれ撮像する。タイミング６１において画像Ａ１を読出し、タイミング６２において画像Ａ２を読出し、タイミング６３において画像Ａ３を読出し、タイミング６４において画像Ａ４を読み出す。
【００７４】
タイミング６５において、タイミング６１、６２において読み出した画像データを用いて、画像Ａ１を基準として画像Ａ２の移動量を算出する。同様に、タイミング６６において、タイミング６３において読み出した画像データを用いて、画像Ａ１を基準として画像Ａ３の移動量を算出する。同様に、タイミング６７において、タイミング６４において読み出した画像データを用いて、画像Ａ１を基準として画像Ａ４の移動量を算出する。
【００７５】
また、タイミング６８において、タイミング６５において算出された移動量を用いて、画像Ａ１に画像Ａ２の位置合わせを行い、合成画像（Ａ１＋Ａ２）を生成する。タイミング６９において、タイミング６６において算出された移動量を用いて、画像Ａ１＋Ａ２と画像Ａ３の位置合わせを行い、合成画像（Ａ１＋Ａ２＋Ａ３）を生成する。タイミング７０において、タイミング６７で算出された移動量を用いて、合成画像（Ａ１＋Ａ２＋Ａ３）と画像Ａ４の位置合わせを行い、合成画像（Ａ１＋Ａ２＋Ａ３＋Ａ４）を生成する。
【００７６】
タイミング７４において、タイミング７０において生成された静止画の合成画像（Ａ１＋Ａ２＋Ａ３＋Ａ４）の画像データについて、画像処理回路１９によって画像処理を行う。ここで画像処理された静止画の画像データは、タイミング７５において、記録媒体３５に記録される。
【００７７】
また、時刻Ｔ３〜Ｔ４において撮像された画像Ａ１〜Ａ４は、タイミング６１〜６４において画像データが読み出されるたびに、タイミング７１〜７３において位置合わせを行うことなくそのまま重畳処理により、動画用に合成画像が生成される。この生成された合成画像は、タイミング７６において、前のタイミングで生成された動画用の画像データと比較し、移動量が算出される。また、タイミング７８において動画用の画像処理が施された後、タイミング７９において動画用の画像データとして記録媒体３５に記録される。
【００７８】
このように、タイプ３の制御においては、動画と同時に静止画を撮像する場合には、１フレームの露光時間を４分割し、分割画像を位置合わせした後に重畳することにより静止画の画像データを、また分割画像を位置合わせすることなく重畳することにより動画の画像データを生成している。
【００７９】
次に、タイプ４の場合の動作について、図１０に示すタイミングチャートを用いて説明する。タイプ４は、図６を用いて説明したように、静止画についてはタイプ３の場合と同様、４分割した画像データの位置合わせを行った後、重畳処理により合成画像を生成する。また、動画についてはタイプ３の場合とは異なり、４分割した画像データから位置合わせを行わずに２つの合成画像を生成し、続いて、生成した２つの合成画像の位置合わせを行い重畳処理により合成画像を生成する。ただし、図６においては、時刻ｔ１３〜ｔ１６の３フレームにおいて、動画についても位置合わせによる合成画像の生成を行っていたが、図１０に示す例においては、時刻Ｔ３〜Ｔ４までの１フレームにおいてのみタイプ４の制御を行っている。
【００８０】
タイプ４における静止画の画像生成については、図９と同様であることから、同様の処理を行うタイミングについて、同一の符号を付し、詳しい説明を省略する。
【００８１】
タイプ４における動画の画像生成にあたっては、タイミング６１で読み出した画像Ａ１とタイミング６２で読み出した画像Ａ２をタイミング８１において、位置合わせを行うことなく、そのまま重畳処理を行い、合成画像（Ａ１＋Ａ２）を生成する。また、タイミング６３で読み出した画像Ａ３とタイミング６４で読み出した画像Ａ４をタイミング８２において、位置合わせを行うことなく、そのまま重畳処理を行い、合成画像（Ａ３＋Ａ４）を生成する。
【００８２】
合成画像（Ａ１＋Ａ２）と、合成画像（Ａ３＋Ａ４）を生成すると、タイミング８３において合成画像（Ａ１＋Ａ２）と合成画像（Ａ３＋Ａ４）の位置合わせを行う。この位置合わせは、タイミング６５〜６７において算出された移動量を用いて、合成画像（Ａ１＋Ａ２）と合成画像（Ａ３＋Ａ４）の移動量、実質的に、画像Ａ１と画像Ａ３の移動量を用いて行う。タイミング８３において位置合わせを行うと、次に、タイミング７６において、前のタイミングで読み出した画像と、位置合わせを行った画像を用いて移動量を算出する。また、タイミング８３において位置合わせを行った画像を、タイミング７７において動画用の画像処理を行い、タイミング７９において動画の画像データとして記録媒体３５に記録する。
【００８３】
このように、タイプ４の制御においては、動画用画像データの生成にあたって、合成画像（Ａ１＋Ａ２）と合成画像（Ａ３＋Ａ４）を生成した後、この２つの合成画像の位置合わせを行っている。このため、手振れ量が大きい場合であっても、手振れを軽減した動画の画像データを取得することができる。
【００８４】
次に、タイプ５の場合の動作について、図１１に示すタイミングチャートを用いて説明する。図６（第１の変形例）および図１０を用いて説明したタイプ４では、４分割した画像の内、２画像ずつ位置合わせをせずに画像を合成した後、この合成した２つの画像を位置合わせして動画の合成画像を生成していた。これに対して、タイプ５では、４分割した画像のそれぞれについて、位置合わせを行って動画の合成画像を生成する。なお、静止画の生成は、タイプ３と同様である。
【００８５】
図１１において、時刻Ｔ１〜Ｔ６まで動画の撮影を行っており、また時刻Ｔ３〜Ｔ４の間で静止画の撮影を行う。タイプ５における静止画の画像生成については、図９と同様であることから、同様の処理を行うタイミングについて、同一の符号を付し、詳しい説明を省略する。
【００８６】
タイプ５における動画の画像生成にあたっては、タイミング８５で読み出した画像Ａ１とタイミング８６で読み出した画像Ａ２を用いて、タイミング８９において、画像Ａ１を基準に移動量検出回路１５が移動量を算出する。ここで算出された移動量は静止画および動画の位置合わせの際に使用される。タイミング８９で算出された移動量を用いて、タイミング９２において画像Ａ１と画像Ａ２の位置合わせを行って動画用の合成画像（Ａ１＋Ａ２）を生成する。
【００８７】
タイミング８７で読み出した画像Ａ３を用いて、タイミング９０において画像Ａ１を基準に画像Ａ３の移動量を算出する。この算出された移動量を用いて、タイミング９３において、合成画像（Ａ１＋Ａ２）と画像Ａ３の位置合わせを行って動画用の合成画像（Ａ１＋Ａ２＋Ａ３）を生成する。
【００８８】
タイミング８８で読み出した画像Ａ４を用いて、タイミング９１において画像Ａ１を基準に画像Ａ４の移動量を算出する。この算出された移動量を用いて、タイミング９４において、合成画像（Ａ１＋Ａ２＋Ａ３）と画像Ａ４の位置合わせを行って動画用の合成画像（Ａ１＋Ａ２＋Ａ３＋Ａ４）を生成する。
【００８９】
動画用の合成画像（Ａ１＋Ａ２＋Ａ３＋Ａ４）が生成されると、タイミング５２において、先の動画の画像データを用いて移動量を算出する。そして、タイミング５３においてタイミング９４で合成された動画の画像データに画像処理を行った後、タイミング５４において、記録媒体３５に動画の画像データとして記録する。時刻Ｔ２〜Ｔ６も同様に動画の画像データを生成し、記録する。
【００９０】
次に、図７を用いて説明した動画の撮影中にレリーズ釦が操作されて静止画の撮影を行う場合の処理の第２の変形例について、図１２に示すタイミングチャートを用いて説明する。この第２の変形例においては、１フレームを不等分に２つの露光時間に分割して撮像を行う。そして、短い方の露光時間で撮影した複数の画像の位置合わせを行うことにより静止画を生成し、長い方の露光時間で撮影した複数の画像については、それぞれゲインアップすることにより動画を生成するようにしている。なお、図７に示した例では、画像Ａ１〜Ａ３の３つの画像を合成して静止画を生成していたが、図１２に示す例では、画像Ａ１〜Ａ４の４つの画像を合成して静止画を生成している。
【００９１】
図１２に示すタイミングチャートにおいて、時刻Ｔ２２までは動画のみの撮像を行い、時刻Ｔ２２〜Ｔ２６において、静止画のための撮像を行い、この間、動画のための撮像も併せて行っている。すなわち、時刻Ｔ２２〜Ｔ２２ａにおいて静止画用の画像Ａ１を撮像し、時刻Ｔ２３〜Ｔ２３ａにおいて静止画用の画像Ａ２を撮像し、時刻Ｔ２４〜Ｔ２４ａにおいて静止画用の画像Ａ３を撮像し、時刻Ｔ２５〜Ｔ２５ａにおいて静止画用の画像Ａ４を撮像している。
【００９２】
画像Ａ１がタイミング１０２において読み出され、画像Ａ２がタイミング１０４において読み出され、画像Ａ１と画像Ａ２に基づいて動きベクトルがタイミング１１０において算出される。この動きベクトルを用いて、タイミング１１３において画像Ａ１と画像Ａ２の位置合わせを行ってから重畳処理により合成静止画像（Ａ１＋Ａ２）を生成する。なお、合成静止画像の生成は合成処理回路１７が行う。
【００９３】
また、画像Ａ３がタイミング１０６において読み出され、合成静止画像（Ａ１＋Ａ２）と画像Ａ３から動きベクトルがタイミング１１１において算出される。この動きベクトルを用いて、タイミング１１４において合成静止画像（Ａ１＋Ａ２）と画像Ａ３の位置合わせを行ってから重畳処理により合成静止画像（Ａ１＋Ａ２＋Ａ３）を生成する。
【００９４】
また、画像Ａ４がタイミング１０８において読み出され、合成静止画像（Ａ１＋Ａ２＋Ａ３）と画像Ａ４から動きベクトルがタイミング１１２において算出される。この動きベクトルを用いて、タイミング１１５において合成静止画像（Ａ１＋Ａ２＋Ａ３）と画像Ａ４の位置合わせを行ってから重畳処理により合成静止画像（Ａ１＋Ａ２＋Ａ３＋Ａ４）を生成する。
【００９５】
タイミング１１５において生成された合成静止画像（Ａ１+Ａ２＋Ａ３＋Ａ４）は、タイミング１１６において画像処理部１９によって静止画用の画像処理が行われる。この画像処理が行われると、次に、タイミング１１７において静止画用の画像データとして記録媒体３５に記録される。
【００９６】
このように、静止画は、時刻Ｔ２２〜Ｔ２２ａ、時刻Ｔ２３〜Ｔ２３ａ、時刻Ｔ２４〜Ｔ２４ａ、時刻Ｔ２５〜Ｔ２５ａにおいて短時間で露光された複数の画像Ａ１〜Ａ４を位置合わせすることにより、合成静止画像（Ａ１＋Ａ２＋Ａ３＋Ａ４）を生成し、記録される。複数の画像Ａ１〜Ａ４の露光時間は、１フレームの一部分であることから、手振れの影響を軽減し、また、位置合わせしてから重畳処理により合成静止画像を得ていることからノイズの影響も少ない静止画像を取得することができる。
【００９７】
図１２に示すタイミングチャートにおいて、動画の生成は次のように行う。時刻Ｔ２２より前は動画のみの撮影であり、時刻Ｔ２１からＴ２２の間の露光時間で撮像した画像はタイミング１０１において読み出される。そして、画像処理回路１９は、タイミング１２１において動画用の画像処理を行い、タイミング１２６において記録媒体３５に動画の画像データとして記録する。
【００９８】
時刻Ｔ２２より、動画とともに静止画の撮影も併せて行われる。時刻Ｔ２２ａ〜Ｔ２３において動画用の画像が露光され、タイミング１０３において読み出される。この読み出された画像データを、タイミング１２２において画像処理回路１９は動画用の画像処理を行う。また、静止画の撮影も併せて行う際には、通常の１フレームの露光時間よりも短時間になることから、露光時間が短くなったことを補償するために、画像処理の際に画像データのゲインアップも行う。ゲインアップ量としては、動画用の露光時間が、１フレームのｍ／ｎであれば、ｎ／ｍ倍にすればよい。例えば、動画用の露光時間が１フレームの３／４であれば、ゲインアップ量は４／３倍となる。画像処理を行うと、タイミング１２７において記録媒体３５に記録する。
【００９９】
以後、タイミング１０５、１０７、１０９において、動画用の画像データを読出し、タイミング１２３、１２４、１２５において、露光時間が短くなった分を補償するためのゲインアップを行い、タイミング１２８、１２９、１３０において記録媒体３５に記録する。
【０１００】
このように、動画記録にあたっては、１フレームの露光時間を不等分に分割し、長い露光時間で露光した画像を、ゲイン調整したものを記録するようにしている。このため、複雑な処理を行うことなく、静止画と共に動画の画像データを取得することができる。
【０１０１】
次に、本発明の一実施形態の動作について、図１３ないし図１９に示すフローチャートを用いて説明する。これらのフローチャートは、不揮発性のメモリに記憶されたプログラムに従ってマイクロコンピュータ２５が実行する。図１３に示すフローチャートは動画記録開始のフローを示しており、操作部２１の内の動画釦が操作されると、このフローの動作が開始する。
【０１０２】
動画記録開始のフローに入ると、まず、合成タイプ判断を行う（Ｓ１）。ここでは、移動量検出回路１５によって検出された移動量（手振れ量に相当）に基づいて、図８において説明したタイプ１〜５のいずれに属するかを判断する。
【０１０３】
合成タイプの判断を行うと、次に、レリーズオンか否かの判定を行う（Ｓ３）。撮影者は動画の撮影中に静止画の記録を望む場合には、操作部２１内のレリーズ釦を操作する。このステップでは、レリーズ釦の操作状態に基づいて判定する。
【０１０４】
ステップＳ３における判定の結果、レリーズオンであった場合には、合成タイプの判定を行う（Ｓ５）。ここでは、ステップＳ１における合成タイプの判断結果に従ってステップＳ１１〜Ｓ１９に進む。
【０１０５】
ステップＳ５における判定の結果、タイプ１であった場合には、タイプ１撮像・合成処理（マルチ記録）を実行する（Ｓ１１）。タイプ１は、図８を用いて説明したように、残存ブレ量が静止画ブレ限界よりも小さい場合であり、この場合には、静止画の画像データを得るにあたって、特段、位置合わせを行う必要がない。このタイプ１の処理の詳細については、図１４を用いて後述する。
【０１０６】
ステップＳ５における判定の結果、タイプ２であった場合には、タイプ２撮像・合成処理（マルチ記録）を実行する（Ｓ１３）。タイプ２は、図８を用いて説明したように、残存ブレ量が静止画ブレ限界よりも大きいが、動画ブレ限界より小さい場合である。この場合には、１フレームの露光時間を等分に２分割し、２つの画像を位置合わせしてから重畳処理することにより合成静止画像を得る。また、２つの画像を位置合わせすることなく、重畳処理することにより動画像を得る。このタイプ２は、後述するタイプ３のフローチャート（図１５参照）における４分割画像を２分割画像とするだけであることから、詳しいフローチャートは省略する。
【０１０７】
ステップＳ５における判定の結果、タイプ３であった場合には、タイプ３撮像・合成処理（マルチ記録）を実行する（Ｓ１５）。タイプ３は、図８を用いて説明したように、残存ブレ量が静止画ブレ限界よりも大きいが、動画ブレ限界より小さく、タイプ２における手振れ量よりも大きい場合である。この場合には、図９に示すタイミングチャートを用いて説明したように、１フレームの露光時間を等分に４分割し、４つの画像を位置合わせしてから重畳処理することにより合成静止画像を得る。また、４つの画像を位置合わせすることなく、重畳処理することにより動画像を得る。このタイプ３の処理の詳細については、図１５を用いて後述する。
【０１０８】
ステップＳ５における判定の結果、タイプ４であった場合には、タイプ４撮像・合成処理（マルチ記録）を実行する（Ｓ１７）。タイプ４は、図８を用いて説明したように、残存ブレ量が静止画ブレ限界および動画ブレ限界より大きい場合である。この場合には、図１０に示すタイミングチャートを用いて説明したように、静止画のみならず、動画についても位置合わせを行って手振れの影響を軽減する。タイプ４ではタイプ３と同様に、１フレームの露光時間を等分に４分割し、４つの画像を位置合わせしてから重畳処理することにより合成静止画像を得る。また、最初の２つの画像と後の２つの画像については、それぞれ位置合わせを行うことなく重畳処理することにより合成画像を生成し、この生成した２つの合成画像を位置合わせしてから重畳処理することにより動画像を得る。このタイプ４の処理の詳細については、図１６を用いて後述する。
【０１０９】
ステップＳ５における判定の結果、タイプ５であった場合には、タイプ５撮像・合成処理（マルチ記録）を実行する（Ｓ１９）。タイプ５は、図８を用いて説明したように、残存ブレ量が静止画ブレ限界および動画ブレ限界より大きい場合である。この場合には、タイプ４と同様、静止画のみならず、動画についても位置合わせを行うが、図１１に示したタイミングチャートを用いて説明したように、タイプ４より強力なブレ補正処理を施す。タイプ５ではタイプ３、４と同様に、１フレームの露光時間を等分に４分割し、４つの画像を位置合わせしてから重畳処理することにより合成静止画像を得る。また、４つの画像を位置合わせしてから重畳処理することにより合成動画像を得る。このタイプ５の処理の詳細については、図１７を用いて後述する。
【０１１０】
ステップＳ３における判定の結果、レリーズオンでなかった場合には、静止画撮影が行われない場合であるので、動画撮影のみが続行される。そこで、まず、ステップＳ５と同様に、合成タイプについて判定する（Ｓ７）。
【０１１１】
ステップＳ７における判定の結果、タイプ１、２、または３であった場合には、タイプ１／２／３撮像・合成処理（動画記録）を行う（Ｓ２１）。静止画を撮影する場合には、タイプ１であるか、タイプ２であるか、またはタイプ３であるかに応じて処理が異なっていた。しかし、静止画撮影を行わず、動画撮影のみの場合には、タイプ１、２、３の場合には、残存ブレ量が動画ブレ限界より小さいことから、同じ処理となる。このステップでは、１フレームの露光時間が経過すると、画像データを読出し、動画用の画像処理を行ってから記録媒体３５に記録する。このタイプ１／２／３の処理の詳細については、図１８を用いて後述する。
【０１１２】
ステップＳ７における判定の結果、タイプ４であった場合には、タイプ４撮像・合成処理（動画記録）を行う（Ｓ２３）。タイプ４は、残存ブレ量が動画ブレ限界より大きい場合であり、位置合わせを行って手振れの影響を軽減する。タイプ４では、１フレームの露光時間を等分に４分割し、最初の２つの画像と後の２つの画像については、それぞれ位置合わせを行うことなく重畳処理することにより合成画像を生成し、この生成した２つの合成画像を位置合わせしてから重畳処理することにより動画像を得る。このタイプ４は、後述するタイプ５のフローチャート（図１９参照）における４分割画像を２分割画像とするだけであることから、詳しいフローチャートは省略する。
【０１１３】
ステップＳ７における判定の結果、タイプ５であった場合には、タイプ５撮像・合成処理（動画記録）を行う（Ｓ２５）。タイプ５は、残存ブレ量が動画ブレ限界より大きく、しかもタイプ４における残存ブレ量よりも大きい場合である。この場合には、タイプ４より強力なブレ補正処理を施す。１フレームの露光時間を等分に４分割し、４つの画像を位置合わせしてから重畳処理することにより合成動画像を得る。このタイプ５の処理の詳細については、図１９を用いて後述する。
【０１１４】
ステップＳ１１〜Ｓ１９において撮像・合成処理（マルチ記録）を行うと、またはステップＳ２１〜Ｓ２５において撮像・合成処理（動画記録）を行うと、次に、動画記録の終了か否かの判定を行う（Ｓ２７）。ここでは、操作部２１の内の動画釦が再度、操作されたか否かについて動画釦の操作状態に基づいて判定する。この判定の結果、動画記録が終了していない場合には、ステップＳ１に戻り、移動量検出回路１５の検出結果に基づいて合成タイプを判断し、この判断結果に基づいて前述の処理を実行する。一方、ステップＳ２７における判定の結果、動画記録が終了であった場合には、動画記録の処理を終了する。
【０１１５】
次に、ステップＳ１１におけるタイプ１撮像・合成処理（マルチ記録）について、図１４を用いて説明する。このフローに入ると、まず、撮像を行う（Ｓ３１）。ここでは、撮像部１１が所定時間の間、被写体像を光電変換する。撮像が終わると、次に、読出しを行う（Ｓ３３）。ここでは、撮像部１１から画像データの読み出しを行う。
【０１１６】
画像信号の読み出しを行うと、次に、フレーム間移動量の検出を行う（Ｓ３５）。ここでは、移動量検出回路１５が、前回ステップＳ３３で読み出した画像データと、今回ステップＳ３３で読み出した画像データを比較することにより、フレーム間の移動量を算出する。
【０１１７】
図１４に示すタイプ１撮像・合成処理では、動画記録と静止画記録を並行して行っており、動画記録はステップＳ３７〜Ｓ４５を実行することにより行い、また静止画記録は動画記録と並行してステップＳ５１〜Ｓ５５を実行することにより行う。
【０１１８】
まず、動画の記録について説明する。フレーム間移動量を検出するベイヤデータのリサイズを行う（Ｓ３７）。ここでは、画像処理回路１９内のＲＡＷ切り出し部１９ａがステップＳ３３において読み出した画像データのリサイズを行い、動画処理用に画像データを小さくする。
【０１１９】
リサイズを行うとＹＣ処理を行う（Ｓ３９）。ここでは、画像処理回路１９によって、ノイズリダクション処理、ホワイトバランス補正、同時化処理、色変換処理、階調変換処理、ＲＧＢからＹＣへの変換処理、エッジ抽出処理、エッジ強調処理、ＹＣリサイズ処理等の画像処理を行い、ＹＣデータを生成する。
【０１２０】
ＹＣ処理を行うと、次に、表示の更新を行う（Ｓ４１）。ここでは、ステップＳ３３において読み出された１フレーム分の画像データを用いて処理された画像データを用いて、背面液晶モニタ２９およびＥＶＦ３１に表示するライブビュー表示の更新を行う。この更新されたライブビュー表示は、次回の読み出し・画像処理が行われ、表示の更新がなされるまで継続される。
【０１２１】
表示更新を行うと共に、ＭＰＥＧ圧縮を行う（Ｓ４３）。ここでは、ステップＳ３９においてＹＣ処理されたＹＣデータを用いて、画像処理回路１９内のデータ圧縮部１９ｍがＭＰＥＧ圧縮を行う。続いて、記録媒体へ記録を行う（Ｓ４５）。ここでは、ステップＳ４３においてＭＰＥＧ圧縮した画像データを、記録媒体３５に記録する。
【０１２２】
次に、静止画の記録について説明する。ステップＳ３５においてフレーム間移動量検出を行うと、ＹＣ処理を行う（Ｓ５１）。ここでは、ステップＳ３９と同様に、画像処理回路１９によって、ノイズリダクション処理、ホワイトバランス補正、同時化処理、色変換処理、階調変換処理、ＲＧＢからＹＣへの変換処理、エッジ抽出処理、エッジ強調処理、ＹＣリサイズ処理等の画像処理を行い、ＹＣデータを生成する。
【０１２３】
ＹＣ処理を行うと、ＪＰＥＧ圧縮を行う（Ｓ５３）。ここでは、ステップＳ５１においてＹＣ処理されたＹＣデータを用いて、画像処理回路１９内のデータ圧縮部１９ｍがＪＰＥＧ圧縮を行う。続いて、記録媒体へ記録を行う（Ｓ５５）。ここでは、ステップＳ５３においてＪＰＥＧ圧縮した画像データを、記録媒体３５に記録する。
【０１２４】
ステップＳ４１において表示更新を行い、ステップＳ４５、Ｓ５５において画像データを記録媒体に記録すると、元のフローに戻る。
【０１２５】
次に、ステップＳ１５におけるタイプ３撮像・合成処理（マルチ記録）について、図１５に示すフローチャートを用いて説明する。このフローチャートは、前述したタイプ３に関する図９に示したタイミングチャートを実行するものである。
【０１２６】
図１５に示すフローに入ると、まず、Ａ１の撮像を行う（Ｓ６１）。この撮像は、撮像部１１によって行われ、図９に示すタイミングチャートにおいて、時刻Ｔ３〜Ｔ３ａにおける撮像に対応する。続いて、Ａ１の読み出しを行う（Ｓ６３）。この読み出しは、ステップＳ６１のＡ１撮像における画像データの読み出しであり、図９におけるタイミングチャートにおいて、タイミング６１における読み出しに相当する。
【０１２７】
次に、Ａ２の撮像を行う（Ｓ６５）。この撮像は、図９に示すタイミングチャートにおいて、時刻Ｔ３ａ〜Ｔ３ｂにおける撮像に対応する。続いて、Ａ２の読み出しを行う（Ｓ６７）。この読み出しは、タイミング６２（図９参照）における読み出しに相当する。
【０１２８】
Ａ２読出しを行うと、次に、Ａ１−Ａ２フレーム間移動量の算出を行う（Ｓ９１）。ここでは、移動量検出回路１５が、ステップＳ６３において読出したＡ１の画像と、ステップＳ６７において読み出したＡ２の画像を比較し、フレーム間移動量を算出する。この移動量の算出は、タイミング６５（図９参照）における移動量算出に相当する。
【０１２９】
Ａ１−Ａ２フレーム間移動量算出を行うと、次に、Ａ１，Ａ２位置合わせ合成を行う（Ｓ９３）。ここでは、合成処理回路１７が、ステップＳ９１において算出した移動量に基づいて、ステップＳ６３で読出したＡ１の画像と、ステップＳ６７で読み出したＡ２の画像の位置合わせを行った上で静止画像の重畳処理を行う。この位置合わせ合成は、タイミング６８（図９参照）における合成処理（静止画）に相当する。
【０１３０】
ステップＳ６７において、Ａ２画像読出しを行うと、前述のＳ９１における移動量算出と並行して、Ａ３撮像を行う（Ｓ６９）。この撮像は、図９に示すタイミングチャートにおいて、時刻Ｔ３ｂ〜Ｔ３ｃにおける撮像に対応する。続いて、Ａ３の読み出しを行う（Ｓ７１）。この読み出しは、タイミング６３（図９参照）における読み出しに相当する。
【０１３１】
Ａ３読出しを行うと、次に、Ａ１−Ａ３フレーム間移動量の算出を行う（Ｓ９５）。ここでは、移動量検出回路１５が、ステップＳ７１において読出したＡ３の画像と、ステップＳ６３において読み出したＡ１の画像を比較し、フレーム間移動量を算出する。この移動量の算出は、タイミング６６（図９参照）における移動量算出に相当する。
【０１３２】
Ａ１−Ａ３フレーム間移動量算出を行うと、次に、Ａ１，Ａ２，Ａ３位置合わせ合成を行う（Ｓ９７）。ここでは、合成処理回路１７が、ステップＳ９５において算出した移動量に基づいて、ステップＳ７１で読出したＡ３の画像と、ステップＳ９３で合成したＡ１，Ａ２位置合わせ画像の位置合わせを行った上で静止画像の重畳処理を行う。この位置合わせ合成は、タイミング６９（図９参照）における合成処理（静止画）に相当する。
【０１３３】
ステップＳ７１において、Ａ３画像読出しを行うと、前述のＳ９５における移動量算出と並行して、Ａ４撮像を行う（Ｓ７３）。この撮像は、図９に示すタイミングチャートにおいて、時刻Ｔ３ｃ〜Ｔ４における撮像に対応する。続いて、Ａ４の読み出しを行う（Ｓ７５）。この読み出しは、タイミング６４（図９参照）における読み出しに相当する。
【０１３４】
Ａ４読出しを行うと、次に、Ａ１−Ａ４フレーム間移動量の算出を行う（Ｓ９９）。ここでは、移動量検出回路１５が、ステップＳ７５において読出したＡ４の画像と、ステップＳ６３において読み出したＡ１の画像を比較し、フレーム間移動量を算出する。この移動量の算出は、タイミング６７（図９参照）における移動量算出に相当する。
【０１３５】
Ａ１−Ａ４フレーム間移動量算出を行うと、次に、Ａ１，Ａ２，Ａ３，Ａ４位置合わせ合成を行う（Ｓ１０１）。ここでは、合成処理回路１７が、ステップＳ９９において算出した移動量に基づいて、ステップＳ７５で読出したＡ４の画像と、ステップＳ９７で合成したＡ１，Ａ２，Ａ３位置合わせ画像の位置合わせを行った上で静止画像の重畳処理を行う。この位置合わせ合成は、タイミング７０（図９参照）における合成処理（静止画）に相当する。
【０１３６】
ステップＳ１０１において、Ａ１，Ａ２，Ａ３，Ａ４位置合わせ合成を行うと、次に、ステップＳ５１（図１４）と同様に、静止画生成のためのＹＣ処理を行い（Ｓ１０３）、ステップＳ５３と同様に、ＪＰＥＧ圧縮を行い（Ｓ１０５）を行い、ステップＳ５５と同様に記録媒体へ記録を行う（Ｓ１０７）。
【０１３７】
ステップＳ７５において、Ａ４画像読出しを行うと、前述のＳ９９における移動量算出と並行して、Ａ１，Ａ２，Ａ３，Ａ４ベイヤリサイズを行う（Ｓ７７）。ステップＳ６３、Ｓ６７、Ｓ７１、Ｓ７５において画像データの読み出しが行われる毎に、位置合わせを行わずに画像の重畳処理がなされる（図９のタイミング７１〜７３参照）。画像処理回路１９内のＲＡＷ切り出し部１９ａが、Ａ１，Ａ２，Ａ３，Ａ４の各画像のベイヤリサイズを行う。ベイヤリサイズを行うと、合成処理回路１７が、Ａ１，Ａ２，Ａ３，Ａ４の合成処理を行う（Ｓ７９）。
【０１３８】
Ａ１，Ａ２，Ａ３，Ａ４の合成処理を行うと、次に、ステップＳ３９（図１４参照）と同様に、ＹＣ処理を行う（Ｓ８３）。ここでは、動画用に位置合わせを行わずに合成処理を行った画像を、画像処理回路１９がＹＣ処理を行う。
【０１３９】
動画像のＹＣ処理を行うと、次に、表示の更新を行う（Ｓ８５）。また、ステップＳ８３においてＹＣ処理された画像データのＭＰＥＧ処理を行い（Ｓ８７）、記録媒体に記録する（Ｓ８９）。これらのステップＳ８５〜Ｓ８９における処理は、図１４におけるステップＳ４１〜Ｓ４５と同様であることから、詳しい説明を省略する。ステップＳ８９またはＳ１０７において記録媒体への記録を行うと、元のフローに戻る。
【０１４０】
次に、ステップＳ１７におけるタイプ４撮像・合成処理（マルチ記録）について、図１６に示すフローチャートを用いて説明する。このフローチャートは、前述したタイプ４に関する図１０に示したタイミングチャートを実行するものである。タイプ４は、前述したように、動画に対しては２＋２フレーム位置合わせ合成を行い、静止画に対しては４フレーム位置合わせ合成を行う。タイプ３と比較し、静止画の処理は同じであるが、動画の処理が２＋２フレーム位置合わせを行う点で相違するのみである。このため図１５に示したフローチャートにおいて、ステップ７９を、ステップＳ７８、Ｓ８０、Ｓ８１に置き換えるのみである。この相違点を中心に説明し、同様の処理を行うステップについては、同一のステップ番号を付し、詳しい説明を省略する。
【０１４１】
ステップＳ７５においてＡ４を読出し、ステップＳ７７においてＡ１，Ａ２，Ａ３，Ａ４ベイヤリサイズを行うと、次に、Ａ１，Ａ２合成を行う（Ｓ７８）。ここでは、合成処理回路１７が、ステップＳ６３とＳ６７において読み出したＡ１、Ａ２の画像を、位置合わせを行うことなく、重畳処理によって合成を行う。図１０のタイミング８１における処理に相当する。なお、図１６におけるフローにおいては、Ａ１〜Ａ４の全画像を読み出してから、この合成を行っているが、勿論、図１０のタイミングチャートのように、Ａ１、Ａ２の画像の読み出し後に直ちに合成を行うようにしてもよい。
【０１４２】
次に、Ａ３，Ａ４合成を行う（Ｓ８０）。ここでは、合成処理回路１７が、ステップＳ７１とＳ７５において読み出したＡ３、Ａ４の画像を、位置合わせを行うことなく、重畳処理によって合成を行う。図１０のタイミング８２における処理に相当する。
【０１４３】
Ａ３，Ａ４合成を行うと、次に、Ａ１，Ａ２＋Ａ３，Ａ４位置合わせ合成を行う（Ｓ８１）。ここでは、ステップＳ９１、Ｓ９５、Ｓ９９において、算出された移動量を用いて、ステップＳ７８において合成したＡ１，Ａ２合成画像と、ステップＳ８０において合成したＡ３，Ａ４合成画像の位置合わせを行った上で、重畳処理によって動画用の合成画像を生成する。
【０１４４】
ステップＳ８１においてＡ１，Ａ２＋Ａ３，Ａ４位置合わせ合成を行うと、ステップＳ８３以下において、動画用の画像処理および記録を行い、元のフローに戻る。
【０１４５】
次に、ステップＳ１９におけるタイプ５撮像・合成処理（マルチ記録）について、図１７に示すフローチャートを用いて説明する。このフローチャートは、前述したタイプ５に関する図１１に示したタイミングチャートを実行するものである。タイプ５は、前述したように、動画および静止画に対して共に４フレーム位置合わせ合成を行う。タイプ３と比較し、静止画の処理は同じであるが、動画の処理が４フレーム位置合わせを行う点で相違するのみである。このため図１５に示したフローチャートにおいて、ステップ７９を、ステップＳ８２に置き換えるのみである。この相違点を中心に説明し、同様の処理を行うステップについては、同一のステップ番号を付し、詳しい説明を省略する。
【０１４６】
ステップＳ７５においてＡ４を読出し、ステップＳ７７においてＡ１，Ａ２，Ａ３，Ａ４ベイヤリサイズを行うと、次に、Ａ１，Ａ２，Ａ３，Ａ４位置合わせ合成を行う（Ｓ８２）。ここでは、ステップＳ９１、Ｓ９５、Ｓ９９において、算出された移動量を用いて、ステップＳ６３、Ｓ６７、Ｓ７１、Ｓ７５で読み出したＡ１〜Ａ４の各画像の位置合わせを行った上で、重畳処理によって動画用の合成画像を生成する。
【０１４７】
ステップＳ８２においてＡ１，Ａ２，Ａ３，Ａ４位置合わせ合成を行うと、ステップＳ８３以下において、動画用の画像処理および記録を行い、元のフローに戻る。
【０１４８】
なお、図１１において示したタイミングチャートにおいては、Ａ２〜Ａ４の各画像を読み出すと（タイミング８６〜８８）、直ちに移動量を算出し（タイミング８９〜９１）、動画の合成処理を行っていた（タイミング９２〜９４）。図１７に示すフローチャートにおいても、動画用の画像も静止画の画像と同様に、各画像を読み出す毎に移動量を算出し、位置合わせ合成を行うようにしても勿論かまわない。
【０１４９】
次に、ステップＳ２１におけるタイプ１／２／３撮像・合成処理（動画記録）を図１８に示す。前述の図１４〜図１７における撮像・合成処理のフローは、いずれも動画記録と同時に静止画記録を行うマルチ記録であるが、図１８に示す撮像・合成処理のフローは静止画の記録は行わず、動画の記録のみが行われる。このため、図１８に示すフローは、タイプ１に関する図１４のフローにおいて静止画を処理するためのステップＳ５１〜Ｓ５５を省略する点で相違し、新たに追加するステップはない。そこで、図１８においては、図１４と同一の処理を行うステップについては同一のステップ番号を付し、詳しい説明を省略する。
【０１５０】
次に、ステップＳ２５におけるタイプ５撮像・合成処理（動画記録）を図１９に示す。図１９に示す撮像・合成処理のフローは、図１８に示す撮像・合成処理のフローと同様に、静止画の記録は行わず、動画の記録のみが行われる。このため、図１９に示すフローは、タイプ５に関する図１７のフローにおいて静止画を処理するためのステップＳ９３、Ｓ９７、Ｓ１０１〜Ｓ１０７を省略する点で相違し、新たに追加するステップはない。そこで、図１９においては、図１７と同一の処理を行うステップについては同一のステップ番号を付し、詳しい説明を省略する。
【０１５１】
以上説明したように、本発明の一実施形態においては、動画像の１フレームに相当する時間を複数に分割して露光を行い（例えば、図９のＴ３〜Ｔ４を４分割して露光）、この複数に分割して取得した画像の位置合わせを行って合成画像を生成し（例えば、図９のタイミング６８〜７０）、この合成画像を静止画像データとして記録し（例えば、図９のタイミング７５）、また複数に分割して取得した画像の位置合わせを行うことなく合成画像を生成し（例えば、図９のタイミング７１〜７３）、この合成画像を動画像データとして記録している（例えば、図９のタイミング７９）。このため、記録動画像の滑らかさを向上させるとともに、静止画のブレを低減することが可能となる。すなわち、静止画は複数に分割した画像の位置合わせを行って合成画像を生成することから、実質的に高速シャッタで撮影したことになり手振れの影響を低減することができる。また、動画は複数に分割した画像を位置合わせすることなく合成画像を生成することから、実質的に前後のフレームと同等のシャッタ速度で撮影しているので、静止画撮影の前後で画質が異なることがない。
【０１５２】
また、本発明の一実施形態においては、手振れ量に応じて１フレームの露光時間を分割するようにしている。このため、手振れに応じた最適な分割数にすることができる。また、本発明の一実施形態においては、手振れ量の検出にあたって、動画像データ間の被写体像の移動量に基づいて検出している。このため、ジャイロや６軸センサ等の手振れ検出用のセンサを設ける必要がない。また、本発明の一実施形態においては、手振れ量を検出し、手振れ量に応じて露光の分割数および動画用合成時の合成方法を判断するようにしている。このため、手振れ量に応じて最適な合成方法を実行することができる。
【０１５３】
また、本発明の一実施形態においては、タイプ４に示したように、動画像についても位置合わせを行わず合成画像を複数生成し、この複数の合成画像の位置合わせを行っている。このため、手振れが大きく、動画としても見苦しくなるような場合であっても、この合成方法を採用することにより、動画のブレ軽減と滑らかさを両立させることができる。
【０１５４】
また、本発明の一実施形態の変形例においては、図７を用いて説明したように、動画の１フレーム内に短秒時と長秒時にて分割露光し、更にそのセットを複数フレームに亘って繰り返し撮像し、複数の長秒時画像をそれぞれ動画として記録するとともに、複数の短秒時画像を位置合わせしながら加算し静止画としている。このため、手振れが大きい場合であっても、記録動画像の滑らかさを向上させるとともに、静止画のブレを低減することが可能となる。
【０１５５】
なお、本発明の一実施形態においては、タイプ１〜タイプ５の判断は、移動量検出回路１５によって検出された動画フレーム間の移動量に基づいて行っていた。しかし、合成タイプの判断は、動画フレーム間の移動量だけではなく、被写体輝度が低い場合にブレが大きいとみなした判断を行うようにしてもよい。また、分割撮影と合成によるノイズ増幅を考慮し撮影感度が高い場合には分割するフレーム数を減らしてもよい。
【０１５６】
また、本発明の一実施形態においては、１フレームの撮像期間を４分割していたが、分割数は、４分割よりも大きくてもよく、また３分割であってもよい。分割数を変えた場合には、分割数に応じてタイプ数を変更してもよい。また、図１３〜図１９に示したフローチャートには、図７および図１２に示した動画の撮影中にレリーズ釦が操作されて静止画の撮影を行う場合の処理の第２の変形例を組み合わせていなかったが、勿論、このタイプを組み合わせるようにしても構わない。
【０１５７】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画を主として撮影するカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、動画撮影中に静止画を撮影することが可能な機器であれば、本発明を適用することができる。
【０１５８】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１５９】
１１・・・撮像部、１３・・・Ａ／Ｄ、１５・・・移動量検出回路、１７・・・合成処理回路、１９・・・画像処理回路、１９ａ・・・ＲＡＷ切り出し部、１９ｂ・・・ＮＲ部、１９ｃ・・・ＷＢ部、１９ｄ・・・デモザイク部、１９ｅ・・・色変換部、１９ｆ・・・階調変換部、１９ｇ・・・ＲＧＢ・ＹＣ変換部、１９ｈ・・・エッジ抽出部、１９ｉ・・・エッジ強調部、１９ｊ・・・混合部、１９ｋ・・・ＹＣリサイズ部、１９ｍ・・・データ圧縮部、１９ｎ・・・データ伸張部、２１・・・操作部、２３・・・バス、２５・・・マイクロコンピュータ、２７・・・ＲＡＭ、２９・・・背面液晶モニタ、３１・・・ＥＶＦ（電子ビューファインダ）、３３・・・Ｉ／Ｆ（インターフェース）、３５・・・記録媒体
【技術分野】
【０００１】
本発明は、動画撮影中に静止画撮影する機能を有する撮像装置に関する。
【背景技術】
【０００２】
近年、動画撮影中に静止画を撮影する機能を有する撮像装置が提案されている。また、動画撮影中のフレームレート内のぶれを低減するようにした撮像装置も提案されている。例えば、特許文献１には、動画フレーム内で通常露光と、この通常露光より短い露光時間で露光と両方で撮像し、フレームレート内のブレ量に応じて何れかを採用して動画像とする撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−７７２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動画撮影中に静止画を撮影する場合に、特許文献１に開示された技術、すなわち、通常露光時間よりも短い露光時間で撮像することにより、フレームレート内でのブレを低減した静止画を取得することが可能となる。しかし、静止画像は動画像の一部として使用することから、このフレームレートのみブレが小さくなると、動画としてのスムーズさが劣化してしまう。また、露光時間を短くしたフレームレートは増感して適正露光にするが、このときノイズが増加してしまう。このため、静止画の画質が劣化してしまうという不具合もある。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、記録動画像の滑らかさを向上させるとともに、静止画のブレを低減することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係わる撮像装置は、入射した光学像を光電変換する撮像素子と、上記撮像素子の出力信号を処理して画像データを取得する撮像処理部と、上記撮像素子の露光を制御するとともに上記光学像の撮影を制御する制御部と、を備え、動画と静止画を撮像して記録する撮像装置において、上記制御部は、動画撮影中に静止画の撮影を行う場合に、動画像の１フレームに相当する時間を複数に分割して露光を行い、上記撮像処理部により処理して複数の画像データを取得し、上記複数の画像データの被写体像の位置合わせを行い複数の画像データを合成し、静止画像データとして記録するとともに、上記複数の画像データの被写体像の位置合わせを行わないで複数の画像データを合成し、動画像データの１フレームとして記録する。
【０００７】
第２の発明に係わる撮像装置は、上記第１の発明において、手振れ量を検出する手振れ量検出部を有し、上記制御部は、上記手振れ量検出部によって検出された手振れ量に基づいて上記分割数を設定する。
第３の発明に係わる撮像装置は、上記第２の発明において、上記手振れ量検出部は、上記動画像データ間の被写体像の移動量に基づいて手振れ量を検出する。
【０００８】
第４の発明に係わる撮像装置は、上記第２の発明において、上記制御部は、複数の画像データより動画像データを合成する際に、上記手振れ量が所定量よりも大きい場合は被写体像の位置合わせを行い複数の画像データを合成して動画像データの１フレームとして記録する。
第５の発明に係わる撮像装置は、上記第４の発明において、上記制御部は、上記複数の画像データ間の被写体像の移動量に基づいて上記複数の合成画像データの被写体像の位置合わせを行う。
【０００９】
第６の発明に係わる撮像装置は、上記第２の発明において、上記制御部は、複数の画像データより動画像データを合成する際に、上記手振れ量が所定量よりも大きい場合は複数の画像データのうちから連続して取得した複数の画像データを、被写体像の位置合わせを行わずに合成して複数の合成画像データを生成し、該複数の合成画像データの被写体像の位置合わせを行って合成して動画像データの１フレームとして記録する。
第７の発明に係わる撮像装置は、上記第６の発明において、上記制御部は、位置合わせを行わずに合成される上記複数の画像データ間の被写体像の移動量に基づいて上記複数の合成画像の被写体像の位置合わせを行う。
【００１０】
第８の発明に係わる撮像装置は、入射した光学像を光電変換する撮像素子と、上記撮像素子の出力信号を処理して画像データを取得する撮像処理部と、上記撮像素子の露光を制御するとともに上記光学像の撮影を制御する制御部と、を備え、動画と静止画を撮像して記録する撮像装置において、上記制御部は、動画撮影中に静止画の撮影を行う場合に、動画像の複数フレームに関して動画像の１フレームに相当する時間をより長い時間とより短い時間に分割して露光を行い、上記撮像処理部により処理して複数の画像データを取得し、上記複数フレームに関して上記より短い時間の露光に対応する画像データを被写体像の位置合わせをして合成し、静止画像データとして記録するとともに、上記複数フレームに関して上記より長い時間の露光に対応する画像データを、上記動画像の複数フレームのそれぞれ１フレームとして記録する。
【００１１】
第９の発明に係わる撮像装置は、上記第８の発明において、上記制御部は、上記複数のフレームに関して、１フレーム内で分割されたより短い時間に対応する露光を行った後に、分割されたより長い時間に対応する露光を行う。
【発明の効果】
【００１２】
本発明によれば、記録動画像の滑らかさを向上させるとともに、静止画のブレを低減することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラの画像処理回路の詳細を示すブロック図である。
【図３】本発明の一実施形態に係わるカメラの移動量検出回路の入出力データの関係を示すブロック図である。
【図４】本発明の一実施形態に係わるカメラの合成処理回路の入出力データの関係を示すブロック図である。
【図５】本発明の一実施形態に係わるカメラにおいて、動画と静止画の撮影時における基本的な記録方法を示すタイミングチャートである。
【図６】本発明の一実施形態に係わるカメラにおいて、動画と静止画の撮影時における第１の変形的な記録方法を示すタイミングチャートである。
【図７】本発明の一実施形態に係わるカメラにおいて、動画と静止画の撮影時における第２の変形的な記録方法を示すタイミングチャートである。
【図８】本発明の一実施形態に係わるカメラにおいて、動画フレーム間移動量と合成タイプ、残存ブレ量の関係を示すグラフである。
【図９】本発明の一実施形態に係わるカメラにおいて、残存ブレ量がタイプ３の場合のタイミングチャートである。
【図１０】本発明の一実施形態に係わるカメラにおいて、残存ブレ量がタイプ４の場合のタイミングチャートである。
【図１１】本発明の一実施形態に係わるカメラにおいて、残存ブレ量がタイプ５の場合のタイミングチャートである。
【図１２】本発明の一実施形態に係わるカメラにおいて、第２の変形的な記録方法におけるタイミングチャートである。
【図１３】本発明の一実施形態に係わるカメラの撮影時の動作を示すフローチャートである。
【図１４】本発明の一実施形態に係わるカメラの撮像・合成処理（タイプ１：マルチ記録）の動作を示すフローチャートである。
【図１５】本発明の一実施形態に係わるカメラの撮像・合成処理（タイプ３：マルチ記録）の動作を示すフローチャートである。
【図１６】本発明の一実施形態に係わるカメラの撮像・合成処理（タイプ４：マルチ記録）の動作を示すフローチャートである。
【図１７】本発明の一実施形態に係わるカメラの撮像・合成処理（タイプ５：マルチ記録）の動作を示すフローチャートである。
【図１８】本発明の一実施形態に係わるカメラの撮像・合成処理（タイプ１／２／３：動画記録）の動作を示すフローチャートである。
【図１９】本発明の一実施形態に係わるカメラの撮像・合成処理（タイプ４：動画記録）の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部（背面液晶モニタやＥＶＦ）にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、静止画の画像データが記録媒体に記録され、また動画釦を操作すると動画の画像データが記録媒体に記録される。動画の記録中にレリーズ操作がなされると、動画の画像データとともに静止画の画像データも記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１５】
図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。バス２３に、撮像部１１、Ａ／Ｄ１３、移動量検出回路１５、合成処理回路１７、画像処理回路１９、操作部２１、マイクロコンピュータ２５、ＲＡＭ２７、背面液晶モニタ２９、ＥＶＦ３１、Ｉ／Ｆ３３が入出力可能に接続されている。
【００１６】
バス２３は、カメラ本体の内部で読み出され若しくは生成された各種データや制御信号をカメラ本体内部の各回路に転送するための転送路である。
【００１７】
撮像部１１は、撮影レンズ、絞り・シャッタ等の露出制御素子、撮像素子、撮像制御回路等を含み、撮影レンズによって形成された被写体像を画像信号に変換し、画像信号をＡ／Ｄ１３に出力する。撮像素子は、撮影レンズを介して入射した光学像を光電変換するための素子であって、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ配列のＲＧＢフィルタが配置されている。
【００１８】
撮像部１１は、撮像素子の出力信号を処理して画像データを取得する撮像処理部として機能し、またマイクロコンピュータ２５からの制御信号に応じて、動画像の１フレームに相当する時間を複数に分割して露光を行い、複数の画像データを生成する。なお、撮像素子はベイヤ配列に限定されず、例えばＦｏｖｅｏｎのような形式でも勿論かまわない。
【００１９】
Ａ／Ｄ（Analog-to-digital converter）１３は、アナログ信号をデジタル信号に変換するアナログデジタル変換器であり、撮像部１１から入力した画像信号を画像データに変換し、バス２３に出力する。バス２３に出力された画像データは後述するＲＡＭ２７に一時記憶される。なお、本明細書においては、撮像部１１において生成された画像信号も含めて画像データと称する場合がある。また、ベイヤ配列の撮像素子から出力された画像信号をそのまま画像データに変換したものをＲＡＷデータと称し、またベイヤデータとも称する。
【００２０】
移動量検出回路１５は、図３に示すように、バス２３を介して（図３ではバス２３を省略）、ベイヤデータ１およびベイヤデータ２を入力し、２つのベイヤデータを比較することにより、移動量を算出し、算出した移動量データをバス２３に出力する。前述したように、１フレーム分の画像データがバス２３に出力されると、一旦、ＲＡＭ２７に一時記憶される。移動量検出回路１５は、ＲＡＭ２７に一時記憶された２フレーム間の画像データを読出し、これらを比較することにより、被写体像の移動量を算出する。この移動量検出回路１５は、手振れ量を検出する手振れ量検出部として機能する。なお、移動量検出回路１５としては、図３に示すような２フレーム間の画像データの比較以外にも、例えば、ジャイロや６軸センサ等、カメラ本体の動きを検出するセンサを設け、移動量を検出するようにしても勿論かまわない。
【００２１】
合成処理回路１７は、図４に示すように、バス２３を介して（図４ではバス２３を省略）、ベイヤデータ１およびベイヤデータ２を入力し、２つのベイヤデータに基づいて合成画像を生成し、この合成画像のベイヤデータ３をバス２３に出力する。合成画像の生成にあたっては、ベイヤデータ１とベイヤデータ２の画像を単純に重畳して合成する場合と、バス２３を介して移動量データを入力し、この移動量に相当する分だけ、画像をずらしてからベイヤデータ１とベイヤデータ２の画像を合成する位置合わせ合成がある。
【００２２】
画像処理回路１９は、バス２３よりベイヤデータを入力し、画像処理を施し、この画像処理を施した画像データをバス２３に出力する。画像処理として、ノイズリダクション処理（ＮＲ）、ホワイトバランス補正（ＷＢ）、同時化処理（デモザイク）、色変換、階調変換（ガンマ変換）、エッジ強調、ＹＣ変換を行う。また、ＹＣ変換された画像データの圧縮処理や、圧縮された画像データの伸張処理も行う。画像処理回路の詳細については、図２を用いて後述する。
【００２３】
操作部２１は、カメラに設けられた各種の操作部材を含み、各種操作部材の操作状態を検知し、バス２３を介して検知信号をマイクロコンピュータ２５に送信する。各種操作部材としては、電源釦、レリーズ釦、動画釦、カメラモード選択用ダイヤル、メニュー釦、十字釦、ＯＫ釦、再生釦等を有する。
【００２４】
これらの操作部材のうち、電源釦を操作するとカメラがパワーオンとなり、再度操作するとパワーオフとなる。レリーズ釦を操作すると、静止画の撮影を行う。動画釦を操作すると動画撮影を開始し、再度操作すると動画撮影を終了する。カメラモード選択用ダイヤルを操作することにより各種カメラモードを選択することができる。メニュー釦を操作することにより、背面液晶モニタ２９にメニュー画面を表示し、このメニュー画面において種々のカメラ設定を行うことができる。十字釦はメニュー画面等においてカーソルを移動させることができ、ＯＫ釦を操作することにより、カーソルで選択した項目を確定することができる。
【００２５】
マイクロコンピュータ２５は、カメラ全体を制御する制御部を構成し、フラッシュＲＯＭ（不図示）等のメモリに記憶されたプログラムに従って、操作部２１からの検知信号やその他の回路からの信号に基づいて、各部の制御を行う。また、マイクロコンピュータ２５は、画像ファイルの作成も行う。
【００２６】
また、マイクロコンピュータ２５は制御部としても機能し、撮像部１１に対して、動画像の１フレームに相当する時間を複数に分割して露光を行い、複数の画像データを取得させる。また、制御部の機能として、複数分割して露光して得られた複数の画像データの被写体像の位置合わせを行って複数の画像データを合成し、静止画像データとして記録させる。また、制御部の機能として、複数分割して露光して得られた複数の画像データの被写体像の位置合わせを行わないで複数の画像データを合成し、動画像データの１フレームとして記録させる。この分割露光と静止画および動画の合成画像の生成については、図５〜図７を用いて後述する。
【００２７】
さらに、制御部の機能として、手振れ量検出部として機能する移動量検出回路１５によって検出された手振れ量に基づいて、上述の分割数を設定する。さらに、制御部の機能として、手振れ量が所定量よりも大きい場合は被写体像の位置合わせを行い複数の画像データを合成して動画像データの１フレームとして記録する。この時の位置合わせは、手振れ量検出部として機能する移動量検出回路１５によって検出された被写体像の移動量に基づいて被写体像の位置合わせを行う。
【００２８】
さらに、制御部の機能として、複数の画像データより動画像データを合成する際に、移動量検出回路１５によって検出された手振れ量が所定量よりも大きい場合は複数の画像データのうちから連続して取得した複数の画像データを、被写体像の位置合わせを行わずに合成して複数の合成画像データを生成し、該複数の合成画像データの被写体像の位置合わせを行って合成して動画像データの１フレームとして記録する。この制御方式は、後述するタイプ４であり、詳しくは図６、図１０を用いて詳述する。さらに、制御部の機能として、タイプ４を実行する場合には、位置合わせを行わずに合成される複数の画像データ間の被写体像の移動量に基づいて複数の合成画像の被写体像の位置合わせを行う。
【００２９】
さらに、制御部の機能として、撮像処理部として機能する撮像部１１に対して、動画像の複数フレームに関して動画像の１フレームに相当する時間をより長い時間とより短い時間に分割して露光を行い、複数の画像データを取得させる。また、制御部の機能として、複数フレームに関してより短い時間の露光に対応する画像データを被写体像の位置合わせをして合成し、静止画像データとして記録するとともに、複数フレームに関してより長い時間の露光に対応する画像データを、動画像の複数フレームのそれぞれ１フレームとして記録する。また、制御部の機能として、複数のフレーム関して、１フレーム内で分割されたより短いに対応する露光を行った後に、分割されたより長い時間に対応する露光を行う。この制御方式の詳細は、図７を用いて詳述する。
【００３０】
ＲＡＭ（Random Access Memory）２７は、書き換え可能なメモリであり、マイクロコンピュータ２５における処理の際にデータの一時記憶用に用いたり、また画像データの一時記憶に使用される。
【００３１】
背面液晶モニタ２９は、カメラ本体の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体３５に記録された静止画や動画の画像ファイルの再生表示、ライブビュー表示等の動画表示、およびメニュー画面等が含まれる。なお、表示部としては、液晶モニタに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。ＥＶＦ（Electronic View Finder）３１は、撮像部１１からの画像データに基づいて、被写体像を表示する電子ファインダであり、撮影者は接眼部を介して観察する。
【００３２】
Ｉ／Ｆ（Interface）３３は、記録媒体３５に画像データを記録する、または記録されている画像データを読み出すためのインターフェースであり、記録媒体３５に接続されている。記録媒体３５は、例えば、カメラ本体に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。
【００３３】
次に、図２を用いて、画像処理回路１９の詳細について説明する。画像処理回路１９は、ＲＡＷ切り出し部１９ａ、ＮＲ部１９ｂ、ＷＢ部１９ｃ、デモザイク部１９ｄ、色変換部１９ｅ、階調変換部１９ｆ、ＲＧＢ・ＹＣ変換部１９ｇ、エッジ抽出部１９ｈ、エッジ強調部１９ｉ、混合部１９ｊ、ＹＣリサイズ部１９ｋ、データ圧縮部１９ｍ、データ伸張部１９ｎを有する。
【００３４】
ＲＡＷ切り出し部１９ａは、動画のベイヤデータを入力し、切り出し位置の変更と画像データのリサイズを行う。動画の画像データの切り出し位置の変更は、移動量検出回路１５からの移動量データに基づいて、手振れの影響を低減するよう行う。また、画像データを小さくするリサイズも行う。切り出し位置の変更や画像データのリサイズを行った画像データは、ＮＲ部１９ｂに出力する。
【００３５】
ＮＲ部１９ｂは、ＲＡＷ切り出し部１９ａから入力した動画の画像データ、またはバス２３を介して直接入力した静止画の画像データを周波数分解し、周波数に応じてノイズを低減する処理を行う。なお、静止画の画像データは切り出し位置の変更を行わないことから、本実施形態においては、ベイヤデータを直接ＮＲ部１９ｂに入力するようにしている。
【００３６】
ＷＢ部１９ｃは、ＮＲ部１９ｂからノイズリダクション処理された画像データを入力し、ホワイトバランス補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュＲＯＭ等の不揮発性のメモリから読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ベイヤデータ（ＲＡＷデータ）からＲゲインおよびＢゲインを算出し、これらを用いて補正する。
【００３７】
デモザイク部１９ｄは、ＷＢ部１９ｃからホワイトバランス補正された画像データを入力し、同時化処理を行う。具体的には、その画素位置にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。
【００３８】
色変換部１９ｅは、デモザイク部１９ｄによって同時化処理された画像データを入力し、画像データの色を変換する。ここでは、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を変換する。
【００３９】
階調変換部１９ｆは、色変換部１９ｅによって色変換された画像データを入力し、階調変換を行う。ここでは、不揮発性メモリに記憶されているガンマテーブルを読み出し、画像データに対して階調変換を行う。
【００４０】
ＲＧＢ・ＹＣ変換部１９ｇは、階調変換部１９ｆによって階調変換されたＲＧＢデータを入力し、ＹＣデータに変換する。ＹＣデータは、輝度信号と色信号からなる画像データである。
【００４１】
エッジ抽出部１９ｈは、ＮＲ部１９ｂからノイズリダクション処理された画像データを入力し、エッジ抽出を行い、エッジ抽出された画像データをエッジ強調部１９ｉに出力する。エッジ抽出部１９ｈおよびエッジ強調部１９ｉにより、被写体像の輪郭線のみからなる画像データを生成する。
【００４２】
混合部１９ｊは、ＲＧＢ・ＹＣ変換部１９ｇから出力された輝度信号からなる画像データに、エッジ強調部１９ｉから出力された輪郭線のみからなる画像データを重畳処理し、この重畳処理した画像データをＹＣリサイズ部１９ｋに出力する。ＹＣリサイズ部１９ｋは、混合部１９ｊから出力された輝度信号とＲＧＢ・ＹＣ変換部１９ｇから出力された色信号を入力し、画像データを小さくしたＹＣデータを生成する処理を行う。画像データのサイズは、ライブビュー表示か否か、また画像記録を行う場合には設定された大きさとする。リサイズされたＹＣデータはバス２３およびデータ圧縮部１９ｍに出力される。
【００４３】
データ圧縮部１９ｍは、ＹＣリサイズ部１９ｋからＹＣデータを入力し、静止画データの場合にはＪＰＥＧ等の圧縮処理を、また動画データの場合にはＭＰＥＧ等の圧縮処理を行い、バス２３に出力する。この圧縮された画像データは記録媒体３５に記録される。データ伸張部１９ｎは、記録媒体３５に記録された圧縮データをバス２３を介して入力し、ＪＰＥＧやＭＰＥＧで圧縮された画像データの伸張処理を行い、バス２３を介して伸張したＹＣデータを出力する。
【００４４】
次に、本実施形態において、動画の撮影中にレリーズ釦が操作されて静止画の撮影を行う場合について、図５に示す概念図を用いて説明する。なお、後述するように、この処理は、タイプ３と称する。図５において、横軸は時間の流れを示している。時刻ｔ１〜ｔ４までは、動画の撮影のみが行われ、静止画の撮影は行われない。この間、時刻ｔ１〜ｔ２で１フレーム、時刻ｔ２〜ｔ３で１フレーム、時刻ｔ３〜ｔ４で１フレームの画像が露光され、露光終了後にそれぞれ読み出されて、記録媒体３５に動画の画像データとして記録される。
【００４５】
時刻ｔ３〜ｔ４の間で、レリーズ釦が操作されると、時刻ｔ４〜ｔ５の間で静止画および動画の撮影が行われる。静止画および動画を撮影する場合には、時刻ｔ４〜ｔ５の露光時間を等分に４分割し、時刻ｔ４〜ｔ４ａで画像Ａ１、時刻ｔ４ａ〜ｔ４ｂで画像Ａ２、時刻ｔ４ｂ〜ｔ４ｃで画像Ａ３、時刻ｔ４ｃ〜ｔ５で画像Ａ４をそれぞれ撮像（露光）する。記録用の動画の画像データは、合成処理回路１７が、画像の位置合わせを行うことなく、単純に画像データを重畳（加算処理）することにより合成画像を生成し、動画記録を行う。
【００４６】
一方、記録用の静止画の画像データは、合成処理回路１７が、移動量検出回路１５によって検出された移動量データに基づいて、画像Ａ１〜Ａ４の位置合わせを行い、画像の合成を行う。画像Ａ１〜Ａ４のそれぞれの露光時間は、通常の１フレームの露光時間の１／４であり、またそれぞれの画像の位置合わせを行っていることから、手振れの影響を１／４（２段分に相当）に低減することができる。
【００４７】
また、各画像の位置合わせを行うにあたって、時刻ｔ４〜ｔ４ａに撮像した画像Ａ１、すなわちレリーズ釦が操作された後の直近の画像に合わせている。このため、静止画撮影時のタイムラグを実質、短くしたことと同等になる。
【００４８】
時刻ｔ５において、静止画の撮影が終了すると、時刻ｔ５〜ｔ９において、時刻ｔ１〜ｔ４と同様、動画の撮影のみが行われ、静止画の撮影は行われない。
【００４９】
このように、動画の撮影中にレリーズ釦が操作されて静止画の撮影がなされる場合には、動画像の１フレームに相当する時間を複数に分割して露光を行い、複数の画像データを取得している。そして、複数の画像データの被写体像の位置合わせを行い複数の画像データを合成し、静止画像データとして記録し、また、複数の画像データの被写体像の位置合わせを行わないで複数の画像データを合成し、動画像データの１フレームとして記録するようにしている。
【００５０】
このため、動画の画像データは、時刻ｔ１〜ｔ４、時刻ｔ４〜ｔ９における露光条件と実質的に同等で撮影がなされることから、静止画撮影中のみ動画の画質が変化することを防止でき、再生時に違和感の生ずることがない。一方、静止画撮影にあたっては、実質的に露光時間が短時間になったことから手振れの影響を低減した高画質の画像とすることができる。
【００５１】
次に、動画の撮影中にレリーズ釦が操作されて静止画の撮影を行う場合の処理の第１の変形例について、図６に示す概念図を用いて説明する。図５に示した例では、動画の撮影にあたっては、位置合わせを行って手振れの影響を低減していなかった。しかし、手振れの影響が大きくなると、動画の画質も低下することから、本変形例においては、動画についても位置合わせを行うようにしている。後述するように、この処理は、タイプ４と称する。
【００５２】
図６においても横軸は時間の流れを示している。時刻ｔ１１〜ｔ１３までは、図５の時刻ｔ１〜ｔ４までと同様、動画の撮影のみが行われ、静止画の撮影は行われない。時刻ｔ１３〜時刻ｔ１６までは、動画撮影においても手振れ量が大きい場合である。この間は、図５の時刻ｔ４〜ｔ５の場合と同様、１フレームを４分割した時間ごとにそれぞれ画像Ａ１〜画像Ａ４を取得する。
【００５３】
時刻ｔ１３〜ｔ１６における記録用の動画の画像データは、合成処理回路１７が、各フレームにおいて、画像Ａ１とＡ２の位置合わせを行うことなく、単純に画像データを重畳（加算処理）することにより合成画像（Ａ１＋Ａ２）を生成し、同様に、画像Ａ３と画像Ａ４の位置合わせを行うことなく、単純に画像データを重畳（加算処理）することにより合成画像（Ａ３＋Ａ４）を生成する。続いて、合成処理回路１７は、移動量検出回路１５からの移動量データに基づいて合成された２つの合成画像の位置合わせを行い、画像データを合成する。合成された画像データは、動画像データの１フレームとして記録される。
【００５４】
時刻ｔ１４になると、時刻ｔ１４〜ｔ１５の間で動画に加えて静止画の撮影が行われる。この間における静止画の撮影は、図５に示した例と同様であり、時刻ｔ１４〜ｔ１５間における分割画像Ａ１〜Ａ４について、合成処理回路１７によって移動量データに基づいて、各画像の位置合わせを行ってから、画像の重畳処理を行う。
【００５５】
このように、第１の変形例においては、図５に示した基本的な処理に加えて、手振れ量が大きい場合には、動画についても分割画像の位置合わせを行うようにしている。このため、手振れ量が大きい場合であっても、動画についても手振れの影響を軽減することができる。
【００５６】
なお、本変形例においては、画像Ａ１と画像Ａ２を単純に加算し、同様に画像Ａ３と画像Ａ４を単純に加算し、これらの加算画像に対して位置合わせを行うようにしていた。しかし、この処理によって手振れを十分に軽減できない場合には、静止画の場合と同様、画像Ａ１、Ａ２、Ａ３、Ａ４のそれぞれに対して、手振れ量に応じて位置合わせを行うようにしても構わない。この方式については、図８、図１１、図１７、および図１９において、タイプ５として後述する。
【００５７】
次に、動画の撮影中にレリーズ釦が操作されて静止画の撮影を行う場合の処理の第２の変形例について、図７に示す概念図を用いて説明する。図５および図６に示した例では、手振れ量が大きくなると、１フレーム間を等分に分割していた。しかし、本変形例においては、１フレーム間を不等分割した時間で画像データを取得し、静止画用には短時間で撮影した複数画像を位置合わせすることにより生成し、一方、動画用には長時間で撮影した各動画用画像をゲインアップすることにより生成している。
【００５８】
図７において、時刻ｔ２１〜ｔ２４および時刻ｔ２７〜ｔ２９は、図５における時刻ｔ１〜ｔ４および時刻ｔ５〜ｔ９と同様に、動画の撮影のみが行われ、静止画の撮影は行われない。
【００５９】
時刻ｔ２４になると、静止画および動画の撮影が行われる。静止画および動画を撮影するにあたって、時刻ｔ２４〜ｔ２７において、各フレームの時間を１：３に２分割し、各フレームにおける先の時間で画像Ａ１、Ａ２、Ａ３を取得する。この取得した画像Ａ１〜Ａ３を、合成処理回路１７は、移動量データに基づいて位置合わせを行い、位置合わせを行った画像Ａ１〜Ａ３を重畳処理することにより、静止画用の画像データを生成する。生成された画像データは、記録媒体３５に記録される。
【００６０】
一方、動画用の画像データは、時刻ｔ２４〜ｔ２７において得られた動画用画像データを撮像部１１においてゲインアップし、この画像データを記録媒体３５に記録する。図７に示した例では、各動画用の画像データは、通常の１フレームの露光期間の３／４であることから、４／３倍にゲインアップすればよい。
【００６１】
このように、本変形例においては、動画撮影中に静止画の撮影を行う場合に、動画像の複数フレームに関して動画像の１フレームに相当する時間をより長い時間とより短い時間に分割して露光を行い、複数の画像データを取得している。そして、静止画用の画像データは、複数フレームに関してより短い時間の露光に対応する画像データを被写体像の位置合わせをして合成し、一方、動画用の画像データは、複数フレームに関してより長い時間の露光に対応する画像データを、複数フレームのそれぞれ１フレームとして記録している。また、先に短い時間対応した露光を行い、続いて長い時間に対応する露光を行っている。このため、静止画のタイムラグを実質的に短くすることができる。
【００６２】
動画用の画像データは、ゲインアップによって生成しているので簡単な構成により処理することができ、また静止画用の画像データは、手振れを軽減した高画質で取得することができる。なお、本変形例においては、１フレームの時間を１：３に分割し画像を取得していたが、分割の比は、適宜変更しても構わない。
【００６３】
次に、本発明の一実施形態の動画撮影の動作について説明する。本実施形態においては、図８に示すように、動画フレーム間の移動量ΔＬに応じて、図５および図６に示した処理を、タイプ１〜タイプ５の間で、適宜、切り換えている。図８の縦軸は、残存ブレ量であり、縦軸上に静止画ブレ限界と動画ブレ限界を示す。残存ブレ量は、ブレ量そのものか、またはブレを軽減するための処理が施された後のブレ量を意味する。動画は動きの有る被写体を撮影すること、また一般的に静止画の方が高い解像力が求められるから、動画ブレ限界は静止画ブレ限界より大きな値となる。
【００６４】
動画フレーム間移動量ΔＬが０〜Ｌ１の間にある場合には、図８に示すように、タイプ１の制御を行う。タイプ１は、動画および静止画のいずれに対しても合成処理を行わない。すなわち、撮像部１１で取得した画像データに対して、図５および図６において説明したような合成処理を行うことなく、画像処理を行った後、記録媒体３５に画像データを記録する。
【００６５】
動画フレーム間移動量ΔＬがＬ１〜Ｌ２の間にある場合には、タイプ２の制御を行う。このタイプ２の制御は、動画に対しては２フレーム位置合わせ無し合成を行い、静止画に対しては２フレーム位置合わせ合成を行う。タイプ２の制御については詳しくは説明しなかったが、前述の図５における処理の変形例である。
【００６６】
すなわち、タイプ２では、動画フレーム間移動量ΔＬが、静止画ブレ限界を超えているが、動画ブレ限界を超えていないことから、静止画に対してブレを低減するような処理を施す。図５における処理では、１フレームの露光時間を等分に４分割していたが、タイプ２では、この分割を２分割とする。そして、静止画用の画像データは、２分割された露光時間において、それぞれ取得した画像データを、合成処理部１７が移動量データに基づいて位置合わせを行ってから重畳処理によって合成画像を生成し記録する。動画用の画像データは、それぞれ取得した画像データを、合成処理部１７が単純に位置合わせを行うことなく、重畳処理によって合成画像を生成し記録する。
【００６７】
動画フレーム間移動量ΔＬがＬ２〜Ｌ３の間にある場合には、タイプ３の制御を行う。このタイプ３の制御は、動画に対しては４分割された各画像の位置合わせを行うことなく合成し、静止画に対しては４分割された各画像の位置合わせ行ってから合成を行う。タイプ３の制御は、前述の図５における処理と同じであることから、詳しい説明は省略する。
【００６８】
動画フレーム間移動量ΔＬがＬ３〜Ｌ４の間にある場合には、タイプ４の制御を行う。このタイプ４の制御は、動画に対しては２＋２フレーム位置合わせ合成を行い、静止画に対しては４分割された各画像の位置合わせをおこなってから合成を行う。静止画に対しては、タイプ３と同様の制御であるが、動画ブレ限界を超えていることから、動画に対しても手振れを軽減する処理を行う。タイプ４の制御は、前述の図６における処理と同じであることから、詳しい説明は省略する。
【００６９】
動画フレーム間移動量ΔＬがＬ４を超えると、タイプ５の制御を行う。ここでは、タイプ４の場合よりも更に動画フレーム間移動量ΔＬが大きいことから、動画に対しても静止画の場合と同様、４分割された各分割画像に対して位置合わせを行って、手振れの影響を軽減している。タイプ５の制御は、前述の図６において、Ａ１＋Ａ２とＡ３＋Ａ４の画像を生成することなく、Ａ１〜Ａ４の各画像について移動量に応じて位置合わせを行うことにより動画の画像データを生成する。
【００７０】
このように、本実施形態においては、動画フレーム間移動量に応じて、動画ブレ限界と静止画ブレ減効果を考慮して、タイプ１〜タイプ５の制御を行うようにしている。このため、動画と静止画の画質と動画の滑らかさについて、最適な制御を行うことができる。
【００７１】
次に、タイプ３の場合の動作について、図９に示すタイミングチャートを用いて説明する。タイプ３は、図５を用いて説明したように、動画のみの撮影時には、画像処理された画像データをそのまま記録媒体３５に記録し、動画撮影中に静止画の撮影も行う場合には、１フレームの露光時間を等分に４分割し、各画像を位置合わせを行うことなく、そのまま合成することにより動画の画像データを生成し、一方、各画像の位置合わせを行ってから合成することにより静止画の画像データを生成する。
【００７２】
図９に示すタイミングチャートにおいて、時刻Ｔ１〜Ｔ３および時刻Ｔ４〜Ｔ６は、動画のみの撮影が行われ、静止画の撮影は行われない。時刻Ｔ１〜Ｔ２の間で露光された画像データは、タイミング５１において読み出される。また、タイミング５２においてタイミング５１で読み出された画像データとその前のタイミングで読み出された画像データを比較することにより、移動量の算出がなされる。そして、タイミング５３においてタイミング５１で読み出された画像データと、その前のタイミングで読み出された画像データを、位置合わせすることなく、そのまま重畳することにより動画を生成し、画像処理を行った後、タイミング５４において、記録媒体３５に動画の画像データとして記録する。時刻Ｔ２〜Ｔ６も同様に動画の画像データを生成し、記録する。
【００７３】
時刻Ｔ３になると、時刻Ｔ３〜Ｔ４の間で静止画および動画の撮影が行われる。この撮影にあたっては、図５を用いて説明したように、時刻Ｔ３〜Ｔ４の露光時間を等分に４分割し、画像Ａ１〜Ａ４をそれぞれ撮像する。タイミング６１において画像Ａ１を読出し、タイミング６２において画像Ａ２を読出し、タイミング６３において画像Ａ３を読出し、タイミング６４において画像Ａ４を読み出す。
【００７４】
タイミング６５において、タイミング６１、６２において読み出した画像データを用いて、画像Ａ１を基準として画像Ａ２の移動量を算出する。同様に、タイミング６６において、タイミング６３において読み出した画像データを用いて、画像Ａ１を基準として画像Ａ３の移動量を算出する。同様に、タイミング６７において、タイミング６４において読み出した画像データを用いて、画像Ａ１を基準として画像Ａ４の移動量を算出する。
【００７５】
また、タイミング６８において、タイミング６５において算出された移動量を用いて、画像Ａ１に画像Ａ２の位置合わせを行い、合成画像（Ａ１＋Ａ２）を生成する。タイミング６９において、タイミング６６において算出された移動量を用いて、画像Ａ１＋Ａ２と画像Ａ３の位置合わせを行い、合成画像（Ａ１＋Ａ２＋Ａ３）を生成する。タイミング７０において、タイミング６７で算出された移動量を用いて、合成画像（Ａ１＋Ａ２＋Ａ３）と画像Ａ４の位置合わせを行い、合成画像（Ａ１＋Ａ２＋Ａ３＋Ａ４）を生成する。
【００７６】
タイミング７４において、タイミング７０において生成された静止画の合成画像（Ａ１＋Ａ２＋Ａ３＋Ａ４）の画像データについて、画像処理回路１９によって画像処理を行う。ここで画像処理された静止画の画像データは、タイミング７５において、記録媒体３５に記録される。
【００７７】
また、時刻Ｔ３〜Ｔ４において撮像された画像Ａ１〜Ａ４は、タイミング６１〜６４において画像データが読み出されるたびに、タイミング７１〜７３において位置合わせを行うことなくそのまま重畳処理により、動画用に合成画像が生成される。この生成された合成画像は、タイミング７６において、前のタイミングで生成された動画用の画像データと比較し、移動量が算出される。また、タイミング７８において動画用の画像処理が施された後、タイミング７９において動画用の画像データとして記録媒体３５に記録される。
【００７８】
このように、タイプ３の制御においては、動画と同時に静止画を撮像する場合には、１フレームの露光時間を４分割し、分割画像を位置合わせした後に重畳することにより静止画の画像データを、また分割画像を位置合わせすることなく重畳することにより動画の画像データを生成している。
【００７９】
次に、タイプ４の場合の動作について、図１０に示すタイミングチャートを用いて説明する。タイプ４は、図６を用いて説明したように、静止画についてはタイプ３の場合と同様、４分割した画像データの位置合わせを行った後、重畳処理により合成画像を生成する。また、動画についてはタイプ３の場合とは異なり、４分割した画像データから位置合わせを行わずに２つの合成画像を生成し、続いて、生成した２つの合成画像の位置合わせを行い重畳処理により合成画像を生成する。ただし、図６においては、時刻ｔ１３〜ｔ１６の３フレームにおいて、動画についても位置合わせによる合成画像の生成を行っていたが、図１０に示す例においては、時刻Ｔ３〜Ｔ４までの１フレームにおいてのみタイプ４の制御を行っている。
【００８０】
タイプ４における静止画の画像生成については、図９と同様であることから、同様の処理を行うタイミングについて、同一の符号を付し、詳しい説明を省略する。
【００８１】
タイプ４における動画の画像生成にあたっては、タイミング６１で読み出した画像Ａ１とタイミング６２で読み出した画像Ａ２をタイミング８１において、位置合わせを行うことなく、そのまま重畳処理を行い、合成画像（Ａ１＋Ａ２）を生成する。また、タイミング６３で読み出した画像Ａ３とタイミング６４で読み出した画像Ａ４をタイミング８２において、位置合わせを行うことなく、そのまま重畳処理を行い、合成画像（Ａ３＋Ａ４）を生成する。
【００８２】
合成画像（Ａ１＋Ａ２）と、合成画像（Ａ３＋Ａ４）を生成すると、タイミング８３において合成画像（Ａ１＋Ａ２）と合成画像（Ａ３＋Ａ４）の位置合わせを行う。この位置合わせは、タイミング６５〜６７において算出された移動量を用いて、合成画像（Ａ１＋Ａ２）と合成画像（Ａ３＋Ａ４）の移動量、実質的に、画像Ａ１と画像Ａ３の移動量を用いて行う。タイミング８３において位置合わせを行うと、次に、タイミング７６において、前のタイミングで読み出した画像と、位置合わせを行った画像を用いて移動量を算出する。また、タイミング８３において位置合わせを行った画像を、タイミング７７において動画用の画像処理を行い、タイミング７９において動画の画像データとして記録媒体３５に記録する。
【００８３】
このように、タイプ４の制御においては、動画用画像データの生成にあたって、合成画像（Ａ１＋Ａ２）と合成画像（Ａ３＋Ａ４）を生成した後、この２つの合成画像の位置合わせを行っている。このため、手振れ量が大きい場合であっても、手振れを軽減した動画の画像データを取得することができる。
【００８４】
次に、タイプ５の場合の動作について、図１１に示すタイミングチャートを用いて説明する。図６（第１の変形例）および図１０を用いて説明したタイプ４では、４分割した画像の内、２画像ずつ位置合わせをせずに画像を合成した後、この合成した２つの画像を位置合わせして動画の合成画像を生成していた。これに対して、タイプ５では、４分割した画像のそれぞれについて、位置合わせを行って動画の合成画像を生成する。なお、静止画の生成は、タイプ３と同様である。
【００８５】
図１１において、時刻Ｔ１〜Ｔ６まで動画の撮影を行っており、また時刻Ｔ３〜Ｔ４の間で静止画の撮影を行う。タイプ５における静止画の画像生成については、図９と同様であることから、同様の処理を行うタイミングについて、同一の符号を付し、詳しい説明を省略する。
【００８６】
タイプ５における動画の画像生成にあたっては、タイミング８５で読み出した画像Ａ１とタイミング８６で読み出した画像Ａ２を用いて、タイミング８９において、画像Ａ１を基準に移動量検出回路１５が移動量を算出する。ここで算出された移動量は静止画および動画の位置合わせの際に使用される。タイミング８９で算出された移動量を用いて、タイミング９２において画像Ａ１と画像Ａ２の位置合わせを行って動画用の合成画像（Ａ１＋Ａ２）を生成する。
【００８７】
タイミング８７で読み出した画像Ａ３を用いて、タイミング９０において画像Ａ１を基準に画像Ａ３の移動量を算出する。この算出された移動量を用いて、タイミング９３において、合成画像（Ａ１＋Ａ２）と画像Ａ３の位置合わせを行って動画用の合成画像（Ａ１＋Ａ２＋Ａ３）を生成する。
【００８８】
タイミング８８で読み出した画像Ａ４を用いて、タイミング９１において画像Ａ１を基準に画像Ａ４の移動量を算出する。この算出された移動量を用いて、タイミング９４において、合成画像（Ａ１＋Ａ２＋Ａ３）と画像Ａ４の位置合わせを行って動画用の合成画像（Ａ１＋Ａ２＋Ａ３＋Ａ４）を生成する。
【００８９】
動画用の合成画像（Ａ１＋Ａ２＋Ａ３＋Ａ４）が生成されると、タイミング５２において、先の動画の画像データを用いて移動量を算出する。そして、タイミング５３においてタイミング９４で合成された動画の画像データに画像処理を行った後、タイミング５４において、記録媒体３５に動画の画像データとして記録する。時刻Ｔ２〜Ｔ６も同様に動画の画像データを生成し、記録する。
【００９０】
次に、図７を用いて説明した動画の撮影中にレリーズ釦が操作されて静止画の撮影を行う場合の処理の第２の変形例について、図１２に示すタイミングチャートを用いて説明する。この第２の変形例においては、１フレームを不等分に２つの露光時間に分割して撮像を行う。そして、短い方の露光時間で撮影した複数の画像の位置合わせを行うことにより静止画を生成し、長い方の露光時間で撮影した複数の画像については、それぞれゲインアップすることにより動画を生成するようにしている。なお、図７に示した例では、画像Ａ１〜Ａ３の３つの画像を合成して静止画を生成していたが、図１２に示す例では、画像Ａ１〜Ａ４の４つの画像を合成して静止画を生成している。
【００９１】
図１２に示すタイミングチャートにおいて、時刻Ｔ２２までは動画のみの撮像を行い、時刻Ｔ２２〜Ｔ２６において、静止画のための撮像を行い、この間、動画のための撮像も併せて行っている。すなわち、時刻Ｔ２２〜Ｔ２２ａにおいて静止画用の画像Ａ１を撮像し、時刻Ｔ２３〜Ｔ２３ａにおいて静止画用の画像Ａ２を撮像し、時刻Ｔ２４〜Ｔ２４ａにおいて静止画用の画像Ａ３を撮像し、時刻Ｔ２５〜Ｔ２５ａにおいて静止画用の画像Ａ４を撮像している。
【００９２】
画像Ａ１がタイミング１０２において読み出され、画像Ａ２がタイミング１０４において読み出され、画像Ａ１と画像Ａ２に基づいて動きベクトルがタイミング１１０において算出される。この動きベクトルを用いて、タイミング１１３において画像Ａ１と画像Ａ２の位置合わせを行ってから重畳処理により合成静止画像（Ａ１＋Ａ２）を生成する。なお、合成静止画像の生成は合成処理回路１７が行う。
【００９３】
また、画像Ａ３がタイミング１０６において読み出され、合成静止画像（Ａ１＋Ａ２）と画像Ａ３から動きベクトルがタイミング１１１において算出される。この動きベクトルを用いて、タイミング１１４において合成静止画像（Ａ１＋Ａ２）と画像Ａ３の位置合わせを行ってから重畳処理により合成静止画像（Ａ１＋Ａ２＋Ａ３）を生成する。
【００９４】
また、画像Ａ４がタイミング１０８において読み出され、合成静止画像（Ａ１＋Ａ２＋Ａ３）と画像Ａ４から動きベクトルがタイミング１１２において算出される。この動きベクトルを用いて、タイミング１１５において合成静止画像（Ａ１＋Ａ２＋Ａ３）と画像Ａ４の位置合わせを行ってから重畳処理により合成静止画像（Ａ１＋Ａ２＋Ａ３＋Ａ４）を生成する。
【００９５】
タイミング１１５において生成された合成静止画像（Ａ１+Ａ２＋Ａ３＋Ａ４）は、タイミング１１６において画像処理部１９によって静止画用の画像処理が行われる。この画像処理が行われると、次に、タイミング１１７において静止画用の画像データとして記録媒体３５に記録される。
【００９６】
このように、静止画は、時刻Ｔ２２〜Ｔ２２ａ、時刻Ｔ２３〜Ｔ２３ａ、時刻Ｔ２４〜Ｔ２４ａ、時刻Ｔ２５〜Ｔ２５ａにおいて短時間で露光された複数の画像Ａ１〜Ａ４を位置合わせすることにより、合成静止画像（Ａ１＋Ａ２＋Ａ３＋Ａ４）を生成し、記録される。複数の画像Ａ１〜Ａ４の露光時間は、１フレームの一部分であることから、手振れの影響を軽減し、また、位置合わせしてから重畳処理により合成静止画像を得ていることからノイズの影響も少ない静止画像を取得することができる。
【００９７】
図１２に示すタイミングチャートにおいて、動画の生成は次のように行う。時刻Ｔ２２より前は動画のみの撮影であり、時刻Ｔ２１からＴ２２の間の露光時間で撮像した画像はタイミング１０１において読み出される。そして、画像処理回路１９は、タイミング１２１において動画用の画像処理を行い、タイミング１２６において記録媒体３５に動画の画像データとして記録する。
【００９８】
時刻Ｔ２２より、動画とともに静止画の撮影も併せて行われる。時刻Ｔ２２ａ〜Ｔ２３において動画用の画像が露光され、タイミング１０３において読み出される。この読み出された画像データを、タイミング１２２において画像処理回路１９は動画用の画像処理を行う。また、静止画の撮影も併せて行う際には、通常の１フレームの露光時間よりも短時間になることから、露光時間が短くなったことを補償するために、画像処理の際に画像データのゲインアップも行う。ゲインアップ量としては、動画用の露光時間が、１フレームのｍ／ｎであれば、ｎ／ｍ倍にすればよい。例えば、動画用の露光時間が１フレームの３／４であれば、ゲインアップ量は４／３倍となる。画像処理を行うと、タイミング１２７において記録媒体３５に記録する。
【００９９】
以後、タイミング１０５、１０７、１０９において、動画用の画像データを読出し、タイミング１２３、１２４、１２５において、露光時間が短くなった分を補償するためのゲインアップを行い、タイミング１２８、１２９、１３０において記録媒体３５に記録する。
【０１００】
このように、動画記録にあたっては、１フレームの露光時間を不等分に分割し、長い露光時間で露光した画像を、ゲイン調整したものを記録するようにしている。このため、複雑な処理を行うことなく、静止画と共に動画の画像データを取得することができる。
【０１０１】
次に、本発明の一実施形態の動作について、図１３ないし図１９に示すフローチャートを用いて説明する。これらのフローチャートは、不揮発性のメモリに記憶されたプログラムに従ってマイクロコンピュータ２５が実行する。図１３に示すフローチャートは動画記録開始のフローを示しており、操作部２１の内の動画釦が操作されると、このフローの動作が開始する。
【０１０２】
動画記録開始のフローに入ると、まず、合成タイプ判断を行う（Ｓ１）。ここでは、移動量検出回路１５によって検出された移動量（手振れ量に相当）に基づいて、図８において説明したタイプ１〜５のいずれに属するかを判断する。
【０１０３】
合成タイプの判断を行うと、次に、レリーズオンか否かの判定を行う（Ｓ３）。撮影者は動画の撮影中に静止画の記録を望む場合には、操作部２１内のレリーズ釦を操作する。このステップでは、レリーズ釦の操作状態に基づいて判定する。
【０１０４】
ステップＳ３における判定の結果、レリーズオンであった場合には、合成タイプの判定を行う（Ｓ５）。ここでは、ステップＳ１における合成タイプの判断結果に従ってステップＳ１１〜Ｓ１９に進む。
【０１０５】
ステップＳ５における判定の結果、タイプ１であった場合には、タイプ１撮像・合成処理（マルチ記録）を実行する（Ｓ１１）。タイプ１は、図８を用いて説明したように、残存ブレ量が静止画ブレ限界よりも小さい場合であり、この場合には、静止画の画像データを得るにあたって、特段、位置合わせを行う必要がない。このタイプ１の処理の詳細については、図１４を用いて後述する。
【０１０６】
ステップＳ５における判定の結果、タイプ２であった場合には、タイプ２撮像・合成処理（マルチ記録）を実行する（Ｓ１３）。タイプ２は、図８を用いて説明したように、残存ブレ量が静止画ブレ限界よりも大きいが、動画ブレ限界より小さい場合である。この場合には、１フレームの露光時間を等分に２分割し、２つの画像を位置合わせしてから重畳処理することにより合成静止画像を得る。また、２つの画像を位置合わせすることなく、重畳処理することにより動画像を得る。このタイプ２は、後述するタイプ３のフローチャート（図１５参照）における４分割画像を２分割画像とするだけであることから、詳しいフローチャートは省略する。
【０１０７】
ステップＳ５における判定の結果、タイプ３であった場合には、タイプ３撮像・合成処理（マルチ記録）を実行する（Ｓ１５）。タイプ３は、図８を用いて説明したように、残存ブレ量が静止画ブレ限界よりも大きいが、動画ブレ限界より小さく、タイプ２における手振れ量よりも大きい場合である。この場合には、図９に示すタイミングチャートを用いて説明したように、１フレームの露光時間を等分に４分割し、４つの画像を位置合わせしてから重畳処理することにより合成静止画像を得る。また、４つの画像を位置合わせすることなく、重畳処理することにより動画像を得る。このタイプ３の処理の詳細については、図１５を用いて後述する。
【０１０８】
ステップＳ５における判定の結果、タイプ４であった場合には、タイプ４撮像・合成処理（マルチ記録）を実行する（Ｓ１７）。タイプ４は、図８を用いて説明したように、残存ブレ量が静止画ブレ限界および動画ブレ限界より大きい場合である。この場合には、図１０に示すタイミングチャートを用いて説明したように、静止画のみならず、動画についても位置合わせを行って手振れの影響を軽減する。タイプ４ではタイプ３と同様に、１フレームの露光時間を等分に４分割し、４つの画像を位置合わせしてから重畳処理することにより合成静止画像を得る。また、最初の２つの画像と後の２つの画像については、それぞれ位置合わせを行うことなく重畳処理することにより合成画像を生成し、この生成した２つの合成画像を位置合わせしてから重畳処理することにより動画像を得る。このタイプ４の処理の詳細については、図１６を用いて後述する。
【０１０９】
ステップＳ５における判定の結果、タイプ５であった場合には、タイプ５撮像・合成処理（マルチ記録）を実行する（Ｓ１９）。タイプ５は、図８を用いて説明したように、残存ブレ量が静止画ブレ限界および動画ブレ限界より大きい場合である。この場合には、タイプ４と同様、静止画のみならず、動画についても位置合わせを行うが、図１１に示したタイミングチャートを用いて説明したように、タイプ４より強力なブレ補正処理を施す。タイプ５ではタイプ３、４と同様に、１フレームの露光時間を等分に４分割し、４つの画像を位置合わせしてから重畳処理することにより合成静止画像を得る。また、４つの画像を位置合わせしてから重畳処理することにより合成動画像を得る。このタイプ５の処理の詳細については、図１７を用いて後述する。
【０１１０】
ステップＳ３における判定の結果、レリーズオンでなかった場合には、静止画撮影が行われない場合であるので、動画撮影のみが続行される。そこで、まず、ステップＳ５と同様に、合成タイプについて判定する（Ｓ７）。
【０１１１】
ステップＳ７における判定の結果、タイプ１、２、または３であった場合には、タイプ１／２／３撮像・合成処理（動画記録）を行う（Ｓ２１）。静止画を撮影する場合には、タイプ１であるか、タイプ２であるか、またはタイプ３であるかに応じて処理が異なっていた。しかし、静止画撮影を行わず、動画撮影のみの場合には、タイプ１、２、３の場合には、残存ブレ量が動画ブレ限界より小さいことから、同じ処理となる。このステップでは、１フレームの露光時間が経過すると、画像データを読出し、動画用の画像処理を行ってから記録媒体３５に記録する。このタイプ１／２／３の処理の詳細については、図１８を用いて後述する。
【０１１２】
ステップＳ７における判定の結果、タイプ４であった場合には、タイプ４撮像・合成処理（動画記録）を行う（Ｓ２３）。タイプ４は、残存ブレ量が動画ブレ限界より大きい場合であり、位置合わせを行って手振れの影響を軽減する。タイプ４では、１フレームの露光時間を等分に４分割し、最初の２つの画像と後の２つの画像については、それぞれ位置合わせを行うことなく重畳処理することにより合成画像を生成し、この生成した２つの合成画像を位置合わせしてから重畳処理することにより動画像を得る。このタイプ４は、後述するタイプ５のフローチャート（図１９参照）における４分割画像を２分割画像とするだけであることから、詳しいフローチャートは省略する。
【０１１３】
ステップＳ７における判定の結果、タイプ５であった場合には、タイプ５撮像・合成処理（動画記録）を行う（Ｓ２５）。タイプ５は、残存ブレ量が動画ブレ限界より大きく、しかもタイプ４における残存ブレ量よりも大きい場合である。この場合には、タイプ４より強力なブレ補正処理を施す。１フレームの露光時間を等分に４分割し、４つの画像を位置合わせしてから重畳処理することにより合成動画像を得る。このタイプ５の処理の詳細については、図１９を用いて後述する。
【０１１４】
ステップＳ１１〜Ｓ１９において撮像・合成処理（マルチ記録）を行うと、またはステップＳ２１〜Ｓ２５において撮像・合成処理（動画記録）を行うと、次に、動画記録の終了か否かの判定を行う（Ｓ２７）。ここでは、操作部２１の内の動画釦が再度、操作されたか否かについて動画釦の操作状態に基づいて判定する。この判定の結果、動画記録が終了していない場合には、ステップＳ１に戻り、移動量検出回路１５の検出結果に基づいて合成タイプを判断し、この判断結果に基づいて前述の処理を実行する。一方、ステップＳ２７における判定の結果、動画記録が終了であった場合には、動画記録の処理を終了する。
【０１１５】
次に、ステップＳ１１におけるタイプ１撮像・合成処理（マルチ記録）について、図１４を用いて説明する。このフローに入ると、まず、撮像を行う（Ｓ３１）。ここでは、撮像部１１が所定時間の間、被写体像を光電変換する。撮像が終わると、次に、読出しを行う（Ｓ３３）。ここでは、撮像部１１から画像データの読み出しを行う。
【０１１６】
画像信号の読み出しを行うと、次に、フレーム間移動量の検出を行う（Ｓ３５）。ここでは、移動量検出回路１５が、前回ステップＳ３３で読み出した画像データと、今回ステップＳ３３で読み出した画像データを比較することにより、フレーム間の移動量を算出する。
【０１１７】
図１４に示すタイプ１撮像・合成処理では、動画記録と静止画記録を並行して行っており、動画記録はステップＳ３７〜Ｓ４５を実行することにより行い、また静止画記録は動画記録と並行してステップＳ５１〜Ｓ５５を実行することにより行う。
【０１１８】
まず、動画の記録について説明する。フレーム間移動量を検出するベイヤデータのリサイズを行う（Ｓ３７）。ここでは、画像処理回路１９内のＲＡＷ切り出し部１９ａがステップＳ３３において読み出した画像データのリサイズを行い、動画処理用に画像データを小さくする。
【０１１９】
リサイズを行うとＹＣ処理を行う（Ｓ３９）。ここでは、画像処理回路１９によって、ノイズリダクション処理、ホワイトバランス補正、同時化処理、色変換処理、階調変換処理、ＲＧＢからＹＣへの変換処理、エッジ抽出処理、エッジ強調処理、ＹＣリサイズ処理等の画像処理を行い、ＹＣデータを生成する。
【０１２０】
ＹＣ処理を行うと、次に、表示の更新を行う（Ｓ４１）。ここでは、ステップＳ３３において読み出された１フレーム分の画像データを用いて処理された画像データを用いて、背面液晶モニタ２９およびＥＶＦ３１に表示するライブビュー表示の更新を行う。この更新されたライブビュー表示は、次回の読み出し・画像処理が行われ、表示の更新がなされるまで継続される。
【０１２１】
表示更新を行うと共に、ＭＰＥＧ圧縮を行う（Ｓ４３）。ここでは、ステップＳ３９においてＹＣ処理されたＹＣデータを用いて、画像処理回路１９内のデータ圧縮部１９ｍがＭＰＥＧ圧縮を行う。続いて、記録媒体へ記録を行う（Ｓ４５）。ここでは、ステップＳ４３においてＭＰＥＧ圧縮した画像データを、記録媒体３５に記録する。
【０１２２】
次に、静止画の記録について説明する。ステップＳ３５においてフレーム間移動量検出を行うと、ＹＣ処理を行う（Ｓ５１）。ここでは、ステップＳ３９と同様に、画像処理回路１９によって、ノイズリダクション処理、ホワイトバランス補正、同時化処理、色変換処理、階調変換処理、ＲＧＢからＹＣへの変換処理、エッジ抽出処理、エッジ強調処理、ＹＣリサイズ処理等の画像処理を行い、ＹＣデータを生成する。
【０１２３】
ＹＣ処理を行うと、ＪＰＥＧ圧縮を行う（Ｓ５３）。ここでは、ステップＳ５１においてＹＣ処理されたＹＣデータを用いて、画像処理回路１９内のデータ圧縮部１９ｍがＪＰＥＧ圧縮を行う。続いて、記録媒体へ記録を行う（Ｓ５５）。ここでは、ステップＳ５３においてＪＰＥＧ圧縮した画像データを、記録媒体３５に記録する。
【０１２４】
ステップＳ４１において表示更新を行い、ステップＳ４５、Ｓ５５において画像データを記録媒体に記録すると、元のフローに戻る。
【０１２５】
次に、ステップＳ１５におけるタイプ３撮像・合成処理（マルチ記録）について、図１５に示すフローチャートを用いて説明する。このフローチャートは、前述したタイプ３に関する図９に示したタイミングチャートを実行するものである。
【０１２６】
図１５に示すフローに入ると、まず、Ａ１の撮像を行う（Ｓ６１）。この撮像は、撮像部１１によって行われ、図９に示すタイミングチャートにおいて、時刻Ｔ３〜Ｔ３ａにおける撮像に対応する。続いて、Ａ１の読み出しを行う（Ｓ６３）。この読み出しは、ステップＳ６１のＡ１撮像における画像データの読み出しであり、図９におけるタイミングチャートにおいて、タイミング６１における読み出しに相当する。
【０１２７】
次に、Ａ２の撮像を行う（Ｓ６５）。この撮像は、図９に示すタイミングチャートにおいて、時刻Ｔ３ａ〜Ｔ３ｂにおける撮像に対応する。続いて、Ａ２の読み出しを行う（Ｓ６７）。この読み出しは、タイミング６２（図９参照）における読み出しに相当する。
【０１２８】
Ａ２読出しを行うと、次に、Ａ１−Ａ２フレーム間移動量の算出を行う（Ｓ９１）。ここでは、移動量検出回路１５が、ステップＳ６３において読出したＡ１の画像と、ステップＳ６７において読み出したＡ２の画像を比較し、フレーム間移動量を算出する。この移動量の算出は、タイミング６５（図９参照）における移動量算出に相当する。
【０１２９】
Ａ１−Ａ２フレーム間移動量算出を行うと、次に、Ａ１，Ａ２位置合わせ合成を行う（Ｓ９３）。ここでは、合成処理回路１７が、ステップＳ９１において算出した移動量に基づいて、ステップＳ６３で読出したＡ１の画像と、ステップＳ６７で読み出したＡ２の画像の位置合わせを行った上で静止画像の重畳処理を行う。この位置合わせ合成は、タイミング６８（図９参照）における合成処理（静止画）に相当する。
【０１３０】
ステップＳ６７において、Ａ２画像読出しを行うと、前述のＳ９１における移動量算出と並行して、Ａ３撮像を行う（Ｓ６９）。この撮像は、図９に示すタイミングチャートにおいて、時刻Ｔ３ｂ〜Ｔ３ｃにおける撮像に対応する。続いて、Ａ３の読み出しを行う（Ｓ７１）。この読み出しは、タイミング６３（図９参照）における読み出しに相当する。
【０１３１】
Ａ３読出しを行うと、次に、Ａ１−Ａ３フレーム間移動量の算出を行う（Ｓ９５）。ここでは、移動量検出回路１５が、ステップＳ７１において読出したＡ３の画像と、ステップＳ６３において読み出したＡ１の画像を比較し、フレーム間移動量を算出する。この移動量の算出は、タイミング６６（図９参照）における移動量算出に相当する。
【０１３２】
Ａ１−Ａ３フレーム間移動量算出を行うと、次に、Ａ１，Ａ２，Ａ３位置合わせ合成を行う（Ｓ９７）。ここでは、合成処理回路１７が、ステップＳ９５において算出した移動量に基づいて、ステップＳ７１で読出したＡ３の画像と、ステップＳ９３で合成したＡ１，Ａ２位置合わせ画像の位置合わせを行った上で静止画像の重畳処理を行う。この位置合わせ合成は、タイミング６９（図９参照）における合成処理（静止画）に相当する。
【０１３３】
ステップＳ７１において、Ａ３画像読出しを行うと、前述のＳ９５における移動量算出と並行して、Ａ４撮像を行う（Ｓ７３）。この撮像は、図９に示すタイミングチャートにおいて、時刻Ｔ３ｃ〜Ｔ４における撮像に対応する。続いて、Ａ４の読み出しを行う（Ｓ７５）。この読み出しは、タイミング６４（図９参照）における読み出しに相当する。
【０１３４】
Ａ４読出しを行うと、次に、Ａ１−Ａ４フレーム間移動量の算出を行う（Ｓ９９）。ここでは、移動量検出回路１５が、ステップＳ７５において読出したＡ４の画像と、ステップＳ６３において読み出したＡ１の画像を比較し、フレーム間移動量を算出する。この移動量の算出は、タイミング６７（図９参照）における移動量算出に相当する。
【０１３５】
Ａ１−Ａ４フレーム間移動量算出を行うと、次に、Ａ１，Ａ２，Ａ３，Ａ４位置合わせ合成を行う（Ｓ１０１）。ここでは、合成処理回路１７が、ステップＳ９９において算出した移動量に基づいて、ステップＳ７５で読出したＡ４の画像と、ステップＳ９７で合成したＡ１，Ａ２，Ａ３位置合わせ画像の位置合わせを行った上で静止画像の重畳処理を行う。この位置合わせ合成は、タイミング７０（図９参照）における合成処理（静止画）に相当する。
【０１３６】
ステップＳ１０１において、Ａ１，Ａ２，Ａ３，Ａ４位置合わせ合成を行うと、次に、ステップＳ５１（図１４）と同様に、静止画生成のためのＹＣ処理を行い（Ｓ１０３）、ステップＳ５３と同様に、ＪＰＥＧ圧縮を行い（Ｓ１０５）を行い、ステップＳ５５と同様に記録媒体へ記録を行う（Ｓ１０７）。
【０１３７】
ステップＳ７５において、Ａ４画像読出しを行うと、前述のＳ９９における移動量算出と並行して、Ａ１，Ａ２，Ａ３，Ａ４ベイヤリサイズを行う（Ｓ７７）。ステップＳ６３、Ｓ６７、Ｓ７１、Ｓ７５において画像データの読み出しが行われる毎に、位置合わせを行わずに画像の重畳処理がなされる（図９のタイミング７１〜７３参照）。画像処理回路１９内のＲＡＷ切り出し部１９ａが、Ａ１，Ａ２，Ａ３，Ａ４の各画像のベイヤリサイズを行う。ベイヤリサイズを行うと、合成処理回路１７が、Ａ１，Ａ２，Ａ３，Ａ４の合成処理を行う（Ｓ７９）。
【０１３８】
Ａ１，Ａ２，Ａ３，Ａ４の合成処理を行うと、次に、ステップＳ３９（図１４参照）と同様に、ＹＣ処理を行う（Ｓ８３）。ここでは、動画用に位置合わせを行わずに合成処理を行った画像を、画像処理回路１９がＹＣ処理を行う。
【０１３９】
動画像のＹＣ処理を行うと、次に、表示の更新を行う（Ｓ８５）。また、ステップＳ８３においてＹＣ処理された画像データのＭＰＥＧ処理を行い（Ｓ８７）、記録媒体に記録する（Ｓ８９）。これらのステップＳ８５〜Ｓ８９における処理は、図１４におけるステップＳ４１〜Ｓ４５と同様であることから、詳しい説明を省略する。ステップＳ８９またはＳ１０７において記録媒体への記録を行うと、元のフローに戻る。
【０１４０】
次に、ステップＳ１７におけるタイプ４撮像・合成処理（マルチ記録）について、図１６に示すフローチャートを用いて説明する。このフローチャートは、前述したタイプ４に関する図１０に示したタイミングチャートを実行するものである。タイプ４は、前述したように、動画に対しては２＋２フレーム位置合わせ合成を行い、静止画に対しては４フレーム位置合わせ合成を行う。タイプ３と比較し、静止画の処理は同じであるが、動画の処理が２＋２フレーム位置合わせを行う点で相違するのみである。このため図１５に示したフローチャートにおいて、ステップ７９を、ステップＳ７８、Ｓ８０、Ｓ８１に置き換えるのみである。この相違点を中心に説明し、同様の処理を行うステップについては、同一のステップ番号を付し、詳しい説明を省略する。
【０１４１】
ステップＳ７５においてＡ４を読出し、ステップＳ７７においてＡ１，Ａ２，Ａ３，Ａ４ベイヤリサイズを行うと、次に、Ａ１，Ａ２合成を行う（Ｓ７８）。ここでは、合成処理回路１７が、ステップＳ６３とＳ６７において読み出したＡ１、Ａ２の画像を、位置合わせを行うことなく、重畳処理によって合成を行う。図１０のタイミング８１における処理に相当する。なお、図１６におけるフローにおいては、Ａ１〜Ａ４の全画像を読み出してから、この合成を行っているが、勿論、図１０のタイミングチャートのように、Ａ１、Ａ２の画像の読み出し後に直ちに合成を行うようにしてもよい。
【０１４２】
次に、Ａ３，Ａ４合成を行う（Ｓ８０）。ここでは、合成処理回路１７が、ステップＳ７１とＳ７５において読み出したＡ３、Ａ４の画像を、位置合わせを行うことなく、重畳処理によって合成を行う。図１０のタイミング８２における処理に相当する。
【０１４３】
Ａ３，Ａ４合成を行うと、次に、Ａ１，Ａ２＋Ａ３，Ａ４位置合わせ合成を行う（Ｓ８１）。ここでは、ステップＳ９１、Ｓ９５、Ｓ９９において、算出された移動量を用いて、ステップＳ７８において合成したＡ１，Ａ２合成画像と、ステップＳ８０において合成したＡ３，Ａ４合成画像の位置合わせを行った上で、重畳処理によって動画用の合成画像を生成する。
【０１４４】
ステップＳ８１においてＡ１，Ａ２＋Ａ３，Ａ４位置合わせ合成を行うと、ステップＳ８３以下において、動画用の画像処理および記録を行い、元のフローに戻る。
【０１４５】
次に、ステップＳ１９におけるタイプ５撮像・合成処理（マルチ記録）について、図１７に示すフローチャートを用いて説明する。このフローチャートは、前述したタイプ５に関する図１１に示したタイミングチャートを実行するものである。タイプ５は、前述したように、動画および静止画に対して共に４フレーム位置合わせ合成を行う。タイプ３と比較し、静止画の処理は同じであるが、動画の処理が４フレーム位置合わせを行う点で相違するのみである。このため図１５に示したフローチャートにおいて、ステップ７９を、ステップＳ８２に置き換えるのみである。この相違点を中心に説明し、同様の処理を行うステップについては、同一のステップ番号を付し、詳しい説明を省略する。
【０１４６】
ステップＳ７５においてＡ４を読出し、ステップＳ７７においてＡ１，Ａ２，Ａ３，Ａ４ベイヤリサイズを行うと、次に、Ａ１，Ａ２，Ａ３，Ａ４位置合わせ合成を行う（Ｓ８２）。ここでは、ステップＳ９１、Ｓ９５、Ｓ９９において、算出された移動量を用いて、ステップＳ６３、Ｓ６７、Ｓ７１、Ｓ７５で読み出したＡ１〜Ａ４の各画像の位置合わせを行った上で、重畳処理によって動画用の合成画像を生成する。
【０１４７】
ステップＳ８２においてＡ１，Ａ２，Ａ３，Ａ４位置合わせ合成を行うと、ステップＳ８３以下において、動画用の画像処理および記録を行い、元のフローに戻る。
【０１４８】
なお、図１１において示したタイミングチャートにおいては、Ａ２〜Ａ４の各画像を読み出すと（タイミング８６〜８８）、直ちに移動量を算出し（タイミング８９〜９１）、動画の合成処理を行っていた（タイミング９２〜９４）。図１７に示すフローチャートにおいても、動画用の画像も静止画の画像と同様に、各画像を読み出す毎に移動量を算出し、位置合わせ合成を行うようにしても勿論かまわない。
【０１４９】
次に、ステップＳ２１におけるタイプ１／２／３撮像・合成処理（動画記録）を図１８に示す。前述の図１４〜図１７における撮像・合成処理のフローは、いずれも動画記録と同時に静止画記録を行うマルチ記録であるが、図１８に示す撮像・合成処理のフローは静止画の記録は行わず、動画の記録のみが行われる。このため、図１８に示すフローは、タイプ１に関する図１４のフローにおいて静止画を処理するためのステップＳ５１〜Ｓ５５を省略する点で相違し、新たに追加するステップはない。そこで、図１８においては、図１４と同一の処理を行うステップについては同一のステップ番号を付し、詳しい説明を省略する。
【０１５０】
次に、ステップＳ２５におけるタイプ５撮像・合成処理（動画記録）を図１９に示す。図１９に示す撮像・合成処理のフローは、図１８に示す撮像・合成処理のフローと同様に、静止画の記録は行わず、動画の記録のみが行われる。このため、図１９に示すフローは、タイプ５に関する図１７のフローにおいて静止画を処理するためのステップＳ９３、Ｓ９７、Ｓ１０１〜Ｓ１０７を省略する点で相違し、新たに追加するステップはない。そこで、図１９においては、図１７と同一の処理を行うステップについては同一のステップ番号を付し、詳しい説明を省略する。
【０１５１】
以上説明したように、本発明の一実施形態においては、動画像の１フレームに相当する時間を複数に分割して露光を行い（例えば、図９のＴ３〜Ｔ４を４分割して露光）、この複数に分割して取得した画像の位置合わせを行って合成画像を生成し（例えば、図９のタイミング６８〜７０）、この合成画像を静止画像データとして記録し（例えば、図９のタイミング７５）、また複数に分割して取得した画像の位置合わせを行うことなく合成画像を生成し（例えば、図９のタイミング７１〜７３）、この合成画像を動画像データとして記録している（例えば、図９のタイミング７９）。このため、記録動画像の滑らかさを向上させるとともに、静止画のブレを低減することが可能となる。すなわち、静止画は複数に分割した画像の位置合わせを行って合成画像を生成することから、実質的に高速シャッタで撮影したことになり手振れの影響を低減することができる。また、動画は複数に分割した画像を位置合わせすることなく合成画像を生成することから、実質的に前後のフレームと同等のシャッタ速度で撮影しているので、静止画撮影の前後で画質が異なることがない。
【０１５２】
また、本発明の一実施形態においては、手振れ量に応じて１フレームの露光時間を分割するようにしている。このため、手振れに応じた最適な分割数にすることができる。また、本発明の一実施形態においては、手振れ量の検出にあたって、動画像データ間の被写体像の移動量に基づいて検出している。このため、ジャイロや６軸センサ等の手振れ検出用のセンサを設ける必要がない。また、本発明の一実施形態においては、手振れ量を検出し、手振れ量に応じて露光の分割数および動画用合成時の合成方法を判断するようにしている。このため、手振れ量に応じて最適な合成方法を実行することができる。
【０１５３】
また、本発明の一実施形態においては、タイプ４に示したように、動画像についても位置合わせを行わず合成画像を複数生成し、この複数の合成画像の位置合わせを行っている。このため、手振れが大きく、動画としても見苦しくなるような場合であっても、この合成方法を採用することにより、動画のブレ軽減と滑らかさを両立させることができる。
【０１５４】
また、本発明の一実施形態の変形例においては、図７を用いて説明したように、動画の１フレーム内に短秒時と長秒時にて分割露光し、更にそのセットを複数フレームに亘って繰り返し撮像し、複数の長秒時画像をそれぞれ動画として記録するとともに、複数の短秒時画像を位置合わせしながら加算し静止画としている。このため、手振れが大きい場合であっても、記録動画像の滑らかさを向上させるとともに、静止画のブレを低減することが可能となる。
【０１５５】
なお、本発明の一実施形態においては、タイプ１〜タイプ５の判断は、移動量検出回路１５によって検出された動画フレーム間の移動量に基づいて行っていた。しかし、合成タイプの判断は、動画フレーム間の移動量だけではなく、被写体輝度が低い場合にブレが大きいとみなした判断を行うようにしてもよい。また、分割撮影と合成によるノイズ増幅を考慮し撮影感度が高い場合には分割するフレーム数を減らしてもよい。
【０１５６】
また、本発明の一実施形態においては、１フレームの撮像期間を４分割していたが、分割数は、４分割よりも大きくてもよく、また３分割であってもよい。分割数を変えた場合には、分割数に応じてタイプ数を変更してもよい。また、図１３〜図１９に示したフローチャートには、図７および図１２に示した動画の撮影中にレリーズ釦が操作されて静止画の撮影を行う場合の処理の第２の変形例を組み合わせていなかったが、勿論、このタイプを組み合わせるようにしても構わない。
【０１５７】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画を主として撮影するカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、動画撮影中に静止画を撮影することが可能な機器であれば、本発明を適用することができる。
【０１５８】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１５９】
１１・・・撮像部、１３・・・Ａ／Ｄ、１５・・・移動量検出回路、１７・・・合成処理回路、１９・・・画像処理回路、１９ａ・・・ＲＡＷ切り出し部、１９ｂ・・・ＮＲ部、１９ｃ・・・ＷＢ部、１９ｄ・・・デモザイク部、１９ｅ・・・色変換部、１９ｆ・・・階調変換部、１９ｇ・・・ＲＧＢ・ＹＣ変換部、１９ｈ・・・エッジ抽出部、１９ｉ・・・エッジ強調部、１９ｊ・・・混合部、１９ｋ・・・ＹＣリサイズ部、１９ｍ・・・データ圧縮部、１９ｎ・・・データ伸張部、２１・・・操作部、２３・・・バス、２５・・・マイクロコンピュータ、２７・・・ＲＡＭ、２９・・・背面液晶モニタ、３１・・・ＥＶＦ（電子ビューファインダ）、３３・・・Ｉ／Ｆ（インターフェース）、３５・・・記録媒体
【特許請求の範囲】
【請求項１】
入射した光学像を光電変換する撮像素子と、
上記撮像素子の出力信号を処理して画像データを取得する撮像処理部と、
上記撮像素子の露光を制御するとともに上記光学像の撮影を制御する制御部と、
を備え、動画と静止画を撮像して記録する撮像装置において、
上記制御部は、動画撮影中に静止画の撮影を行う場合に、動画像の１フレームに相当する時間を複数に分割して露光を行い、上記撮像処理部により処理して複数の画像データを取得し、
上記複数の画像データの被写体像の位置合わせを行い複数の画像データを合成し、静止画像データとして記録するとともに、
上記複数の画像データの被写体像の位置合わせを行わないで複数の画像データを合成し、動画像データの１フレームとして記録する、
ことを特徴とする撮像装置。
【請求項２】
手振れ量を検出する手振れ量検出部を有し、
上記制御部は、上記手振れ量検出部によって検出された手振れ量に基づいて上記分割数を設定する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記手振れ量検出部は、上記動画像データ間の被写体像の移動量に基づいて手振れ量を検出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記制御部は、複数の画像データより動画像データを合成する際に、上記手振れ量が所定量よりも大きい場合は被写体像の位置合わせを行い複数の画像データを合成して動画像データの１フレームとして記録することを特徴とする請求項２に記載の撮像装置。
【請求項５】
上記制御部は、上記複数の画像データ間の被写体像の移動量に基づいて上記複数の合成画像データの被写体像の位置合わせを行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
上記制御部は、複数の画像データより動画像データを合成する際に、上記手振れ量が所定量よりも大きい場合は複数の画像データのうちから連続して取得した複数の画像データを、被写体像の位置合わせを行わずに合成して複数の合成画像データを生成し、該複数の合成画像データの被写体像の位置合わせを行って合成して動画像データの１フレームとして記録することを特徴とする請求項２に記載の撮像装置。
【請求項７】
上記制御部は、位置合わせを行わずに合成される上記複数の画像データ間の被写体像の移動量に基づいて上記複数の合成画像の被写体像の位置合わせを行うことを特徴とする請求項６に記載の撮像装置。
【請求項８】
入射した光学像を光電変換する撮像素子と、
上記撮像素子の出力信号を処理して画像データを取得する撮像処理部と、
上記撮像素子の露光を制御するとともに上記光学像の撮影を制御する制御部と、
を備え、動画と静止画を撮像して記録する撮像装置において、
上記制御部は、動画撮影中に静止画の撮影を行う場合に、動画像の複数フレームに関して動画像の１フレームに相当する時間をより長い時間とより短い時間に分割して露光を行い、上記撮像処理部により処理して複数の画像データを取得し、
上記複数フレームに関して上記より短い時間の露光に対応する画像データを被写体像の位置合わせをして合成し、静止画像データとして記録するとともに、
上記複数フレームに関して上記より長い時間の露光に対応する画像データを、上記動画像の複数フレームのそれぞれ１フレームとして記録する、
ことを特徴とする撮像装置。
【請求項９】
上記制御部は、上記複数のフレームに関して、１フレーム内で分割されたより短い時間に対応する露光を行った後に、分割されたより長い時間に対応する露光を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１】
入射した光学像を光電変換する撮像素子と、
上記撮像素子の出力信号を処理して画像データを取得する撮像処理部と、
上記撮像素子の露光を制御するとともに上記光学像の撮影を制御する制御部と、
を備え、動画と静止画を撮像して記録する撮像装置において、
上記制御部は、動画撮影中に静止画の撮影を行う場合に、動画像の１フレームに相当する時間を複数に分割して露光を行い、上記撮像処理部により処理して複数の画像データを取得し、
上記複数の画像データの被写体像の位置合わせを行い複数の画像データを合成し、静止画像データとして記録するとともに、
上記複数の画像データの被写体像の位置合わせを行わないで複数の画像データを合成し、動画像データの１フレームとして記録する、
ことを特徴とする撮像装置。
【請求項２】
手振れ量を検出する手振れ量検出部を有し、
上記制御部は、上記手振れ量検出部によって検出された手振れ量に基づいて上記分割数を設定する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記手振れ量検出部は、上記動画像データ間の被写体像の移動量に基づいて手振れ量を検出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記制御部は、複数の画像データより動画像データを合成する際に、上記手振れ量が所定量よりも大きい場合は被写体像の位置合わせを行い複数の画像データを合成して動画像データの１フレームとして記録することを特徴とする請求項２に記載の撮像装置。
【請求項５】
上記制御部は、上記複数の画像データ間の被写体像の移動量に基づいて上記複数の合成画像データの被写体像の位置合わせを行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
上記制御部は、複数の画像データより動画像データを合成する際に、上記手振れ量が所定量よりも大きい場合は複数の画像データのうちから連続して取得した複数の画像データを、被写体像の位置合わせを行わずに合成して複数の合成画像データを生成し、該複数の合成画像データの被写体像の位置合わせを行って合成して動画像データの１フレームとして記録することを特徴とする請求項２に記載の撮像装置。
【請求項７】
上記制御部は、位置合わせを行わずに合成される上記複数の画像データ間の被写体像の移動量に基づいて上記複数の合成画像の被写体像の位置合わせを行うことを特徴とする請求項６に記載の撮像装置。
【請求項８】
入射した光学像を光電変換する撮像素子と、
上記撮像素子の出力信号を処理して画像データを取得する撮像処理部と、
上記撮像素子の露光を制御するとともに上記光学像の撮影を制御する制御部と、
を備え、動画と静止画を撮像して記録する撮像装置において、
上記制御部は、動画撮影中に静止画の撮影を行う場合に、動画像の複数フレームに関して動画像の１フレームに相当する時間をより長い時間とより短い時間に分割して露光を行い、上記撮像処理部により処理して複数の画像データを取得し、
上記複数フレームに関して上記より短い時間の露光に対応する画像データを被写体像の位置合わせをして合成し、静止画像データとして記録するとともに、
上記複数フレームに関して上記より長い時間の露光に対応する画像データを、上記動画像の複数フレームのそれぞれ１フレームとして記録する、
ことを特徴とする撮像装置。
【請求項９】
上記制御部は、上記複数のフレームに関して、１フレーム内で分割されたより短い時間に対応する露光を行った後に、分割されたより長い時間に対応する露光を行うことを特徴とする請求項８に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−５１３６（Ｐ２０１３−５１３６Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３２８７３（Ｐ２０１１−１３２８７３）
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]