撮像装置
【課題】動画と動画撮影中に撮影する静止画とに対して個別に最適な映像表現を実現することができる撮像装置を提供する。
【解決手段】動画の画像データに対応する複数のフレームにわたって視覚的な効果を生じさせる第１の特殊効果を付与する画像処理を行うとともに、前記動画撮影中に撮影した静止画に対して、該静止画の前に撮影した動画の画像データを用いて前記第１の特殊効果に対応する第２の特殊効果を付与する画像処理を行う動画中特殊効果画像処理部と、前記動画中特殊効果画像処理部における前記第１および第２の特殊効果の付与態様を制御する制御部と、を備える。
【解決手段】動画の画像データに対応する複数のフレームにわたって視覚的な効果を生じさせる第１の特殊効果を付与する画像処理を行うとともに、前記動画撮影中に撮影した静止画に対して、該静止画の前に撮影した動画の画像データを用いて前記第１の特殊効果に対応する第２の特殊効果を付与する画像処理を行う動画中特殊効果画像処理部と、前記動画中特殊効果画像処理部における前記第１および第２の特殊効果の付与態様を制御する制御部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置では、自然な印象を有するきれいな画像を生成する機能にとどまらず、ノイズ、シェーディング、ぼかし等の効果を意図的に付加する機能を有するものが知られている。このような機能を有する撮像装置は、従来得られなかった独特の印象を与える撮影を可能としている。
【０００３】
例えば、下記特許文献１では、フィルムのような粒状感（ノイズ感）を有するとともに、ハイコントラストの画像を生成する技術が開示されている。この技術によれば、荒々しく力強い印象の画像を撮影することができる。
【０００４】
また、下記特許文献２では、周縁部が減光された画像を生成する技術が開示されている。この技術によれば、トイカメラで撮影したような印象の画像を撮影することができる。
【０００５】
これらの従来技術は、静止画撮影だけでなく動画撮影にも適用可能である。動画を撮影する場合には、時間的な画像の移り変わりを利用して、静止画にはない動画ならではの独特の映像表現を行うことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−６２８３６号公報
【特許文献２】特開２０１０−７４２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、撮像装置では、動画撮影中に静止画撮影を行うことができる技術も知られている。このような場合、静止画にもその前に撮影した動画データを用いて動画的な味付けを加えた特殊効果を付与することが考えられる。
【０００８】
しかしながら、動画と静止画では画素数やアスペクト比が異なっているのが一般的であり、動画に対して付与する特殊効果と同様の特殊効果を静止画に対して付与することは難しかった。このため、動画と動画撮影中に撮影する静止画に対して個別に最適な映像表現を実現することができる技術が待望されていた。
【０００９】
本発明は、上記に鑑みてなされたものであって、動画と動画撮影中に撮影する静止画とに対して個別に最適な映像表現を実現することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像して該被写体の画像データを生成し、動画を撮影可能であるとともに、動画撮影終了直後を含む動画撮影中に静止画を撮影可能な撮像装置であって、動画の画像データに対応する複数のフレームにわたって視覚的な効果を生じさせる第１の特殊効果を付与する画像処理を行うとともに、前記動画撮影中に撮影した静止画に対して、該静止画の前に撮影した動画の画像データを用いて前記第１の特殊効果に対応する第２の特殊効果を付与する画像処理を行う動画中特殊効果画像処理部と、前記動画特殊効果画像処理部における前記第１および第２の特殊効果の付与態様を制御する制御部と、を備えたことを特徴とする。
【００１１】
本発明において、動画撮影中の静止画撮影とは、動画を撮影している途中で静止画を撮影する場合と、動画撮影を終了した直後に静止画を撮影する場合とを含む。また、動画を撮影している途中で静止画を撮影する場合には、静止画撮影時に動画撮影をいったん停止する場合と、静止画撮影を動画撮影と並行して行う場合とが含まれる。
【００１２】
また、本発明に係る撮像装置は、上記発明において、前記制御部は、前記第１の特殊効果を付与している前記複数のフレームの間に含まれる静止画に対して前記第２の特殊効果を付与しない制御を行うことを特徴とする。
【００１３】
また、本発明に係る撮像装置は、上記発明において、前記制御部は、前記第１の特殊効果を付与している前記複数のフレームの間に含まれる静止画に対して前記第２の特殊効果を付与する制御を行うことを特徴とする。
【００１４】
また、本発明に係る撮像装置は、上記発明において、前記画像データを記憶する記憶部を備え、前記制御部は、前記第１の特殊効果を付与している前記複数のフレームの間に含まれる静止画に対して前記第２の特殊効果を付与する制御を行い、前記第２の特殊効果を付与した画像データと前記第２の特殊効果を付与しない画像データとを前記記憶部に記憶させることを特徴とする。
【００１５】
また、本発明に係る撮像装置は、上記発明において、前記動画中特殊効果画像処理部は、前記静止画の前に撮影した動画の画像データの画素数を前記静止画の画像データの画素数に近づけるリサイズ処理を行うリサイズ処理部を有し、前記リサイズ処理部がリサイズ処理を行った動画の画像データと前記静止画の画像データとを合成することを特徴とする。
【００１６】
また、本発明に係る撮像装置は、上記発明において、前記動画中特殊効果画像処理部が行う画像処理は、一つ前のフレームの画像データと最新の画像データとを所定の比率で合成する処理を連続して行うマルチエコー処理を含み、前記最新の画像データが静止画の画像データである場合、前記リサイズ処理部が該画像データに対してリサイズ処理を行うことを特徴とする。
【００１７】
また、本発明に係る撮像装置は、上記発明において、前記動画中特殊効果画像処理部が行う画像処理は、特定の画像データとこの画像データの後に撮影した画像データとを所定の比率で順次合成し、前記特定の画像データの合成比率が時間とともに小さくなるワンショットエコー処理を含み、前記最新の画像データが静止画の画像データである場合、前記リサイズ処理部が該画像データに対してリサイズ処理を行うことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、動画の画像データに対応する複数のフレームにわたって視覚的な効果を生じさせる第１の特殊効果を付与する画像処理を行うとともに、動画撮影中に撮影した静止画に対して、該静止画の前に撮影した動画の画像データを用いて第１の特殊効果に対応する第２の特殊効果を付与する画像処理を行うため、動画と動画撮影中に撮影する静止画とに対して個別に最適な映像表現を実現することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る撮像装置のユーザに面する側（前面側）の構成を示す斜視図である。
【図３】図３は、本発明の実施の形態１に係る撮像装置のアート効果画像処理部が行うアート効果画像処理の概要を示す図である。
【図４】図４は、マルチエコーの概要を説明する図である。
【図５】図５は、ワンショットエコーの概要を説明する図である。
【図６】図６は、最新の撮影画像に合成されるＳＤＲＡＭ画像の係数の時間変化を示す図である。
【図７】図７は、トランジットの概要を説明する図である。
【図８】図８は、トランジット処理において開始トリガ入力前にかけられているアート効果の係数の時間変化を示す図である。
【図９】図９は、揺らぎの概要を説明する図である。
【図１０】図１０は、動画記録時と動画非記録時における十字キーの各矢印キーへの操作割り当て例を示す図である。
【図１１】図１１は、動画記録時と動画非記録時における十字キーの各矢印キーへの操作割り当て例（第２例）を示す図である。
【図１２】図１２は、本発明の実施の形態１に係る撮像装置が備えるレンズ制御部と制御部との同期通信の一例を示すタイミングチャートである。
【図１３】図１３は、本発明の実施の形態１に係る撮像装置が行う処理の概要を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態１に係る撮像装置の表示部における動画用の画面表示例を示す図である。
【図１５】図１５は、本発明の実施の形態１に係る撮像装置が行う動画中特殊効果制御処理の概要を示すフローチャートである。
【図１６】図１６は、本発明の実施の形態１に係る撮像装置が行う画像処理の概要を示すフローチャートである。
【図１７】図１７は、本発明の実施の形態１の変形例１−１に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。
【図１８】図１８は、本発明の実施の形態１の変形例１−２に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。
【図１９】図１９は、本発明の実施の形態１の変形例１−３に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。
【図２０】図２０は、本発明の実施の形態１の変形例１−４に係る撮像装置が行う動画中特殊効果制御処理の概要を示すフローチャートである。
【図２１】図２１は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。
【図２２】図２２は、本発明の実施の形態２におけるユーザインターフェースの割り当てを示す図である。
【図２３】図２３は、本発明の実施の形態２に係る撮像装置の動画記録時における状態遷移の概要を示す図である。
【図２４】図２４は、本発明の実施の形態２の変形例２−１に係る撮像装置の動画記録時と静止画記録時におけるユーザインターフェースの割り当てを示す図である。
【図２５】図２５は、本発明の実施の形態２の変形例２−２に係る撮像装置が静止画撮影待機状態にある場合の表示部における画面表示例を示す図である。
【図２６】図２６は、本発明の実施の形態２の変形例２−２に係る撮像装置が動画撮影待機状態にある場合の表示部における画面表示例を示す図である。
【図２７】図２７は、動画中特殊効果としてトランジットが選択された場合の表示部における画面表示例を示す図である。
【図２８】図２８は、図２６に示す画面において動画ボタンが押された後の画面表示例を示す図である。
【図２９】図２９は、図２８に示す画面において確定アイコンが選択された後の表示部における画面表示例を示す図である。
【図３０】図３０は、図２６に示す画面においてテストオンアイコンが選択されてテストオン状態に遷移した場合の表示部の画面表示例を示す図である。
【図３１】図３１は、本発明の実施の形態３に係る撮像装置の構成を示すブロック図である。
【図３２】図３２は、本発明の実施の形態３に係る撮像装置が静止画撮影モードと動画撮影モードにそれぞれ設定されている場合のキーの割り当て例を示す図である。
【図３３】図３３は、本発明の実施の形態３に係る撮像装置が行う処理の概要を示すフローチャートである。
【図３４】図３４は、本発明の実施の形態３の変形例３−１に係る撮像装置が静止画撮影モードと動画撮影モードにそれぞれ設定されている場合のキーの割り当て例を示す図である。
【図３５】図３５は、本発明の実施の形態３の変形例３−２に係る撮像装置が静止画撮影待機状態にある場合の表示部における画面表示例を示す図である。
【図３６】図３６は、図３５に示す画面において撮影モードアイコンが選択された場合に表示部が表示する画面表示例を示す図である。
【図３７】図３７は、動画撮影待機状態における表示部の画面表示例を示す図である。
【図３８】図３８は、本発明の実施の形態４に係る撮像装置が行う処理の概要を示すフローチャートである。
【図３９】図３９は、本発明の実施の形態５に係る撮像装置の構成を示すブロック図である。
【図４０】図４０は、本発明の実施の形態５に係る撮像装置が行う画像処理の詳細を示すフローチャートである。
【図４１】図４１は、本発明の実施の形態５に係る撮像装置のリサイズ処理部が行うリサイズ処理を模式的に示す図である。
【図４２】図４２は、静止画モードにおける合成処理と前フレーム画像信号の合成比率ｃを模式的に説明する図である。
【図４３】図４３は、本発明の実施の形態５の変形例５−１に係る撮像装置が行うリサイズ処理を模式的に示す図である。
【図４４】図４４は、本発明の実施の形態に係る撮像装置が行う画像処理の詳細を示すフローチャートである。
【図４５】図４５は、本発明の実施の形態７に係る撮像装置が行う画像処理の概要を模式的に示す図である。
【図４６】図４６は、本発明の実施の形態７に係る撮像装置が行う画像処理の概要を示すフローチャートである。
【図４７】図４７は、ベイヤデータと露光量との関係を示す図である。
【図４８】図４８は、本発明の実施の形態７に係る撮像装置のＳＤＲＡＭが記憶するデータ構造の要部を模式的に示す図である。
【図４９】図４９は、マルチエコー処理の概要を示すフローチャートである。
【図５０】図５０は、取得した画像が静止画である場合に適用される画像ゲインの値と繰り返し回数との関係を示す図である。
【図５１】図５１は、取得した画像が静止画である場合に適用される画像ゲインの値と繰り返し回数との関係を示す図である。
【図５２】図５２は、ＳＤＲＡＭが記憶するデータ構造の要部を模式的に示す図である。
【図５３】図５３は、キューを用いたリングバッファの管理の態様を示す図である。
【発明を実施するための形態】
【００２０】
以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。図面の記載において、同一の部分には同一の符号を付して説明する。
【００２１】
（実施の形態１）
本発明の実施の形態１は、静止画と動画を撮影可能な撮像装置を用いて動画記録を開始すると、静止画用に割り当てられた操作入力用のユーザインターフェースの機能が動画特殊効果用に切り替わることを特徴とする。
【００２２】
本実施の形態１に係る撮像装置は、動画撮影中に静止画を撮影する機能を有する。ここで、動画撮影中の静止画撮影とは、動画を撮影している途中で静止画を撮影する場合と、動画撮影を終了した直後に静止画を撮影する場合とを含む。また、動画を撮影している途中で静止画を撮影する場合には、静止画撮影時に動画撮影を一旦停止する場合と、静止画撮影を動画撮影と並行して行う場合とが含まれる。
【００２３】
図１は、本実施の形態１に係る撮像装置の構成を示すブロック図である。図２は、本発明の実施の形態１に係る撮像装置のユーザに面する側（前面側）の構成を示す斜視図である。図１および図２に示す撮像装置１は、本体部２と、本体部２に着脱自在なレンズ部３と、を備える。
【００２４】
本体部２は、シャッタ１０と、シャッタ駆動部１１と、撮像素子１２と、撮像素子駆動部１３と、信号処理部１４と、Ａ／Ｄ変換部１５と、画像処理部１６と、ＡＥ処理部１７と、ＡＦ処理部１８と、画像圧縮展開部１９と、入力部２０と、表示部２１と、表示駆動部２２と、記録媒体２３と、メモリＩ／Ｆ２４と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２５と、Ｆｌａｓｈメモリ２６と、本体通信部２７と、バス２８と、制御部２９と、を備える。
【００２５】
シャッタ１０は、撮像素子１２の状態を露光状態または遮光状態に設定する。シャッタ駆動部１１は、ステッピングモータ等を用いて構成され、制御部２９から入力される指示信号に応じてシャッタ１０を駆動する。
【００２６】
撮像素子１２は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像素子駆動部１３は、所定のタイミングで撮像素子１２から画像データ（アナログ信号）を信号処理部１４に出力させる。この意味で、撮像素子駆動部１３は、電子シャッタとして機能する。
【００２７】
信号処理部１４は、撮像素子１２から入力されるアナログ信号に対して、アナログ処理を施してＡ／Ｄ変換部１５に出力する。具体的には、信号処理部１４は、アナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、信号処理部１４は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
【００２８】
Ａ／Ｄ変換部１５は、信号処理部１４から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成し、バス２８を介してＳＤＲＡＭ２５に出力する。
【００２９】
画像処理部１６は、バス２８を介してＳＤＲＡＭ２５から画像データを取得し、取得した画像データ（ＲＡＷデータ）に対して各種の画像処理を行って処理画像データを生成する。この処理画像データは、バス２８を介してＳＤＲＡＭ２５に出力される。画像処理部１６は、基本画像処理部１６１と、アート効果画像処理部１６２と、動画中特殊効果画像処理部１６３と、を有する。
【００３０】
基本画像処理部１６１は、画像データに対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、基本画像処理部１６１は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する仕上がり効果処理を行って仕上がり効果画像データを生成する。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。
【００３１】
アート効果画像処理部１６２は、１つの画像データに対して複数の画像処理を組み合わせることにより、視覚的な効果を生じさせるアート効果処理を行って処理画像データ（以下、「アート効果画像データ」という）を生成する。
【００３２】
図３は、アート効果画像処理部１６２が行うアート効果画像処理の概要を示す図である。図３ではアート効果画像処理として、ファンタジックフォーカス、ファンタジックフォーカス＋スターライト、ファンタジックフォーカス＋ホワイトエッジ、ポップアート、ポップアート＋スターライト、ポップアート＋ピンホール、ポップアート＋ホワイトエッジ、トイフォト、ラフモノクローム、ジオラマの１０種類が記載されている。以下、これらのアート効果画像処理について説明する。
【００３３】
ファンタジックフォーカスは、画像全体にぼかし処理を施し、ぼかす前の画像と一定の割合で合成するソフトフォーカスの効果を与える処理である。ファンタジックフォーカスは、中間の輝度をより明るくするトーンカーブ処理を行うことにより、柔らかいトーンの中で、被写体のディテールを残しながら、幸福な光に包まれたように美しく幻想的な雰囲気の画像を結像または生成する。ファンタジックフォーカスは、例えばトーンカーブ処理、ぼかし処理、アルファブレンド処理および画像合成処理等の画像処理を組み合わせることによって実現される。
ファンタジックフォーカス＋スターライトは、ファンタジックフォーカスに加えて、画像中の高輝度部に対してクロスパターンを描写するクロスフィルター効果を施す処理である。
ファンタジックフォーカス＋ホワイトエッジは、ファンタジックフォーカスに加えて、画像の中心部から周縁部に行くにしたがって徐々に白味を帯びる効果が施す処理である。このような白味の効果は、画像の中心からの距離が大きいほど周辺部が白くなるように画素値を変更することによって得られる。
【００３４】
ポップアートは、色をカラフルに強調し、明るく楽しい雰囲気を表現する処理である。ポップアートは、例えば彩度強調処理およびコントラスト強調処理を組み合わせることによって実現される。全体に高コントラストで高彩度の効果である。
ポップアート＋スターライトは、ポップアートとスターライトを重ねて施す処理である。この場合には、カラフルな画像にクロスフィルターを施した効果が得られる。
ポップアート＋ピンホールは、ポップアートに加えて、画像の周縁部をシェーディングによって暗くして穴から覗き込むような効果を与えるトイフォト（ピンホール）を施す処理である。トイフォトの詳細については、後述する。
ポップアート＋ホワイトエッジは、ポップアートとホワイトエッジを重ねて施す処理である。
【００３５】
トイフォトは、画像の中心からの距離が大きいほど輝度が小さく（暗く）なるようにして、あたかも穴から覗き込んで異空間に迷い込んだような効果を生じさせる処理である。トイフォトは、例えばローパスフィルタ処理、ホワイトバランス処理、コントラスト処理、色相・彩度処理に加え、輝度信号に対して周辺ほど小さい係数を乗じるシェーディング処理等の画像処理を組み合わせることによって実現される（トイフォト、シェーディングの詳細な内容については、例えば特開２０１０−７４２４４号公報を参照）。
【００３６】
ラフモノクロームは、高コントラストとフィルムの粒状のノイズを付加してモノクロ画像の力強さや荒々しさを表現する処理である。ラフモノクロームは、例えばエッジ強調処理、レベル補正最適化処理、ノイズパターン重畳処理、合成処理およびコントラスト処理等を組み合わせることによって実現される（ラフモノクロームの詳細な内容については、例えば特開２０１０−６２８３６号公報を参照）。このうちノイズパターン重畳処理（ノイズ付加処理）は、予め作成したノイズパターン画像をもとの画像に加算する処理である。ノイズパターン画像は、例えば乱数などを発生させ、この乱数に基づいて生成してもよい。
【００３７】
ジオラマは、高コントラストで高彩度の画像に、画像の周縁部をぼかすことにより、ミニチュア模型やおもちゃを見ているかのような雰囲気を画面上に作り出す処理である。ジオラマは、例えば色相・彩度処理、コントラスト処理、周辺ぼかし処理および合成処理等を組み合わせることによって実現される。このうち、周辺ぼかし処理は、画像の中心からの距離に応じ、周辺部ほどぼける度合いが大きくなるように、画像の位置に応じてローパス係数を変更しながらローパスフィルタ処理を行うものである。なお、周辺ぼかし処理として、画像の上下のみ、または画像の左右のみをぼかすようにしてもよい。
【００３８】
動画中特殊効果画像処理部１６３は、動画を記録する際、画像に特殊効果を加える画像処理を行う。動画中特殊効果画像処理部１６３が行う動画中特殊効果としては、例えばマルチエコー、ワンショットエコー、トランジット、揺らぎがある。以下、これらの動画中特殊効果について説明する。
【００３９】
図４は、マルチエコーの概要を説明する図である。マルチエコーとは、直前の記録用画像と今撮影した画像の合成を所定の期間繰り返すことによって画像に残像が残る効果である。具体的には、図４に示すように、ボール１０１が動く軌跡を残像として表示することができる効果である。
【００４０】
動画中特殊効果画像処理部１６３は、動画中特殊効果としてマルチエコーが設定されている場合、開始トリガが入力されると、その直後に生成された画像に対して、一つ前のフレームの画像を所定の割合で合成する処理（マルチエコー処理）を行う。
【００４１】
図４に示す場合、動画中特殊効果画像処理部１６３は、開始トリガ入力直後の撮影画像Ｐ１とその１つ前のフレームの撮影画像Ｐ０に対応する記録画像Ｒ０とを合成することによってマルチエコー画像Ｒ１を生成する。この合成の際、各画素において、撮影画像Ｐ１の信号に係数０．６を乗じる一方、記録画像Ｒ０の信号に係数０．４を乗じる。
続いて、動画中特殊効果画像処理部１６３は、次のフレームの撮影画像Ｐ２と合成画像Ｒ１とを合成することによってマルチエコー画像Ｒ２を生成する。マルチエコー画像Ｒ２を生成する際には、各画素において、撮影画像Ｐ２の信号に係数０．６を乗じる一方、合成画像Ｒ１の信号に係数０．４を乗じる。
【００４２】
動画中特殊効果画像処理部１６３は、終了トリガが入力されるまで、上述した合成処理を繰り返し行うことによってマルチエコー画像を順次生成する。終了トリガが入力されると、記録媒体２３には、撮影画像Ｐ５に対応する記録画像Ｒ５が記録される。
【００４３】
図５は、ワンショットエコーの概要を説明する図である。ワンショットエコーとは、特定のフレームの画像（一瞬の画像）が徐々に薄くなりながら消えていく効果である。具体的には、図５に示すように、特定の時間に撮影されたボール１０１がしばらくの間撮影画像に残像として残るような効果である。
【００４４】
動画中特殊効果画像処理部１６３は、動画中特殊効果としてワンショットエコーが設定されている場合、開始トリガが入力されると、その直後に撮影して記録された画像データを一旦ＳＤＲＡＭ２５に保存し、この画像データをその後に撮影された画像データに対して時間とともに徐々に重みが減衰するように合成していく処理（ワンショットエコー処理）を行う。
【００４５】
図５に示す場合、開始トリガの入力直後に撮影された撮影画像Ｐ１はＳＤＲＡＭ２５に記憶される（以下、ＳＤＲＡＭ画像Ｓ１という）。動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ２５が記憶するＳＤＲＡＭ画像Ｓ１と最新の撮影画像とを所定の比率で合成する。
【００４６】
図５に示す場合、開始トリガ入力直後には撮影画像Ｐ１に対応するワンショットエコー画像Ｒ１１が表示される。
その後、時間ｔ＝ｔ２において、動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ画像Ｓ１と撮影画像Ｐ２とを合成することによってワンショットエコー画像Ｒ１２を生成する。この合成を行う際、各画素において、ＳＤＲＡＭ画像Ｓ１の信号に係数ａ1＝０．８を乗じる一方、撮影画像Ｐ２の信号に係数１−ａ1＝０．２を乗じる。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ3において、ＳＤＲＡＭ画像Ｓ１の信号に乗じる係数をａ＝０．４、撮影画像Ｐ３の信号に乗じる係数を１−ａ＝０．６として合成したワンショットエコー画像Ｒ１３を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ4において、ＳＤＲＡＭ画像Ｓ１の信号に乗じる係数をａ＝０．２、撮影画像Ｐ４の信号に乗じる係数を１−ａ＝０．８として合成したワンショットエコー画像Ｒ１４を生成する。
その後、時間ｔ＝ｔ5において係数ａ＝０となるため、撮影画像Ｐ５が記録画像Ｒ５となる。
【００４７】
図６は、最新の撮影画像に合成されるＳＤＲＡＭ画像の合成比率の時間変化を示す図である。図６において、横軸ｔは開始トリガ入力時点（ｔ＝０）からの経過時間であり、縦軸ａはＳＤＲＡＭ画像Ｓ１の各画素の信号に乗じる係数である。図６に示すように、係数ａは、ｔ＝０でａ1であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間ｔ5経過した時点で０となる。すなわち、ＳＤＲＡＭ画像Ｓ１の合成画像中に占める割合は、時間とともに徐々に減少していく設定がなされている。これにより、ＳＤＲＡＭ画像Ｓ１が時間とともに徐々に消えていくような画像を作り出すことができる。
【００４８】
なお、図６に示す曲線は一例に過ぎず、時間とともに係数ａが減衰するなどして一定時間で係数ａが０となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数ａが一定値をとる期間を含む曲線でもよい。
【００４９】
また、係数ａは、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で徐々に係数ａの値を減少させながら、所定のフレーム数（例えば１２０フレーム）で係数が０となるようにすればよい。
【００５０】
図７は、トランジットの概要を説明する図である。トランジットは、１つの画像に対して付与されるアート効果が、別のアート効果へと徐々に比率を変えながら変わっていく効果である。図７では、アート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。図７において、トランジットの開始トリガ入力直前は、撮影画像Ｐ０に対してアート効果Ａを施したアート効果画像Ａ０が生成される。トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。
【００５１】
図７に示す場合、開始トリガ入力前は、アート効果Ａが設定されているものとする。すなわち、開始トリガ入力直前において、アート効果画像処理部１６２は、撮影画像Ｐ０にアート効果Ａを施したアート効果画像Ｒ２０を形成しているものとする。
【００５２】
開始トリガが入力されると、動画中特殊効果画像処理部１６３は、撮影画像Ｐ１にアート効果Ａを施したアート効果画像Ａ１に係数ｂ（＝ｂ0）＝０．８を乗じる一方、撮影画像Ｐ１にアート効果Ｂを施したアート効果画像Ｂ１に係数１−ｂ（＝１−ｂ0）＝０．２を乗じた二つの画像を合成することによってトランジット画像Ｒ２１を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ12において、撮影画像Ｐ２にアート効果Ａを施したアート効果画像Ａ２の信号に乗じる係数をｂ＝０．６とし、撮影画像Ｐ２にアート効果Ｂを施したアート効果画像Ｂ２の信号に乗じる係数を１−ｂ＝０．４として合成したトランジット画像Ｒ２２を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ13において、撮影画像Ｐ３にアート効果Ａを施したアート効果画像Ａ３の信号に乗じる係数をｂ＝０．４とし、撮影画像Ｐ３にアート効果Ｂを施したアート効果画像Ｂ３の信号に乗じる係数を１−ｂ＝０．６として合成したトランジット画像Ｒ２３を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ14において、撮影画像Ｐ４にアート効果Ａを施したアート効果画像Ａ４の信号に乗じる係数をｂ＝０．２とし、撮影画像Ｐ４にアート効果Ｂを施したアート効果画像Ｂ４の信号に乗じる係数を１−ｂ＝０．８として合成したトランジット画像Ｒ２４を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ15において、撮影画像Ｐ５にアート効果Ｂのみを施した（ｂ＝０）トランジット画像Ｒ２５を生成する。
【００５３】
図８は、トランジット処理において開始トリガ入力前から付与されているアート効果の合成比率（係数）ｂの時間変化を示す図である。図８に示すように、係数ｂは、ｔ＝０でｂ0であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間ｔ15経過した時点で０となる。
【００５４】
なお、図８に示す曲線は一例に過ぎず、時間とともに係数ｂが減衰するなどして一定時間で係数ｂが０となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数ｂが一定値をとる期間を含む曲線でもよい。
【００５５】
また、係数ｂを、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で滑らかに係数ｂの値を減少させながら、所定のフレーム数（例えば１２０フレーム）で係数が０となるようにすればよい。
【００５６】
図９は、揺らぎの概要を示す図である。揺らぎとは、動画中の各フレームに対して付与するアート効果のかかり具合を時間とともにランダムに変化させることによって得られる効果である。図９では、一例として、アート効果がクロスフィルターである場合を示している。この場合、動画中特殊効果画像処理部１６３は、クロス１０２を時間とともにランダムに回転させるとともに、クロス１０２の大きさを時間とともにランダムに変化させることによって揺らぎを与えている。
【００５７】
引き続き、撮像装置１の構成を説明する。
ＡＥ処理部１７は、バス２８を介してＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１７は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値（Ｆ値）の設定値、シャッタ速度等を決定することで撮像装置１の自動露出を行う。
【００５８】
ＡＦ処理部１８は、バス２８を介してＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、撮像装置１の自動焦点の調整を行う。例えば、ＡＦ処理部１８は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ（Auto Focus）演算処理を行うことによって、撮像装置１の合焦評価を決定することで撮像装置１の自動焦点の調整を行う。
【００５９】
画像圧縮展開部１９は、バス２８を介してＳＤＲＡＭ２５から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ２５に出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部１９は、バス２８およびメモリＩ／Ｆ２４を介して記録媒体２３に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）してＳＤＲＡＭ２５に出力する。なお、記録媒体２３の代わりに撮像装置１の内部に記憶部を設けてもよい。
【００６０】
入力部２０は、静止画撮影および動画撮影における撮影条件を設定する静止画撮影条件設定信号を含む各種設定信号の入力を受け付ける設定信号入力部２０１と、少なくとも動画撮影の開始を指示する動画撮影開始信号の入力を受け付ける動画撮影信号入力部２０２と、を有する。
【００６１】
入力部２０は、本体部２の表面に設けられた操作信号入力用のユーザインターフェースを用いて実現される。以下、入力部２０の一部をなすユーザインタフェースの構成を説明する。
【００６２】
撮像装置１は、操作入力用のユーザインタフェースとして、撮像装置１の電源状態をオン状態またはオフ状態に切替える電源ボタン４１と、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付けるレリーズボタン４２と、撮像装置１に設定された各種撮影モードを切り替えるモードダイヤル４３と、撮像装置１の各種設定を切替える操作ボタン４４と、撮像装置１の各種設定を表示部２１に表示させるメニューボタン４５と、記録媒体２３に記録された画像データに対応する画像を表示部２１に表示させる再生ボタン４６と、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画ボタン４７と、撮像装置１の各種機能を設定するファンクションキー４８と、データを消去する消去ボタン４９と、表示部２１の表示画面に重ねて設けられ、外部からの接触位置に応じた入力信号を受け付けるタッチパネル５０とを有する。
【００６３】
レリーズボタン４２は、外部からの押圧により進退可能である。レリーズボタン４２が半押しされた場合、撮影準備動作を指示する１ｓｔレリーズ信号が入力される。これに対し、レリーズボタン４２が全押しされた場合、静止画撮影を指示する２ｎｄレリーズ信号が入力される。
【００６４】
操作ボタン４４は、メニュー画面等における選択設定入力を行うために上下左右方向に十字状をなす十字キー４４１と、十字キー４４１による選択を確定する決定ボタン４４２とを有する。十字キー４４１は、上矢印キー４４３、下矢印キー４４４、左矢印キー４４５、右矢印キー４４６からなる。
【００６５】
以上説明したユーザインタフェースのうち、動画ボタン４７以外のボタンは設定信号入力部２０１の一部をなす。また、動画ボタン４７は動画撮影信号入力部２０２の一部をなす。
【００６６】
図１０は、動画記録中でない場合（動画非記録時）と動画記録中である場合（動画記録時）における十字キー４４１の各矢印キーへの操作割り当て例を示す図である。動画が記録中でない場合、上矢印キー４４３には露出補正操作が割り当てられる。下矢印キー４４４には連写・単写操作が割り当てられる。左矢印キー４４５にはＡＦターゲット操作が割り当てられる。右矢印キー４４６にはフラッシュ設定操作が割り当てられる。
【００６７】
次に、動画記録中である場合を説明する。この場合、上矢印キー４４３にはワンショットエコー開始操作が割り当てられる。下矢印キー４４４にはトランジット開始操作が割り当てられる。左矢印キー４４５は、マルチエコーの開始、停止操作を交互に割り当てトグルキーとして機能する。右矢印キー４４６には揺らぎ開始操作が割り当てられる。なお、揺らぎの終了を任意に選択できるように設定する場合には、右矢印キー４４６に対して、揺らぎの開始操作と終了操作とを交互に操作可能なトグルキーとして機能させればよい。
【００６８】
動画記録時における入力ボタンの割り当ては、図１０に示すものに限られるわけではない。例えば、図１１に示すように、上矢印キー４４３に効果開始操作を割り当て、下矢印キー４４４に効果停止操作を割り当て、左矢印キー４４５、右矢印キー４４６に効果切替操作をそれぞれ割り当ててもよい。この場合には、表示部２１で設定中の特殊効果を表示するようにすればより好ましい。
【００６９】
また、十字キー４４１の操作の割当を、使いやすさや操作の使用頻度に応じて割り当てるようにしてもよいし、ユーザが独自に設定できるようにしてもよい。さらに、互いに隣接する２つのキー（例えば上矢印キー４４３と右矢印キー４４６）が両方押された場合には、別の操作を行うことができるような設定にしてもよい。
【００７０】
表示部２１は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示駆動部２２は、バス２８を介してＳＤＲＡＭ２５が記憶する画像データまたは記録媒体２３が記憶する画像データを取得し、取得した画像データに対応する画像を表示部２１に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間（例えば３秒間）だけ表示するレックビュー表示、記録媒体２３に記録された画像データを再生する再生表示、および撮像素子１２が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部２１は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。
【００７１】
記録媒体２３は、撮像装置１の外部から装着されるメモリカード等を用いて構成される。記録媒体２３は、メモリＩ／Ｆ２４を介して撮像装置１に着脱自在に装着される。記録媒体２３には、その種類に応じた図示しない読み書き装置によって画像処理部１６や画像圧縮展開部１９が処理を施した画像データが書き込まれ、または読み書き装置によって記録媒体２３に記録された画像データが読み出される。また、記録媒体２３は、制御部２９の制御のもと、メモリＩ／Ｆ２４およびバス２８を介して撮像プログラムおよび各種情報それぞれをＦｌａｓｈメモリ２６に出力してもよい。
【００７２】
ＳＤＲＡＭ２５は、揮発性メモリを用いて構成される。ＳＤＲＡＭ２５は、バス２８を介してＡ／Ｄ変換部１５から入力される画像データ、画像処理部１６から入力される処理画像データおよび撮像装置１の処理中の情報を一時的に記憶する一次記憶部としての機能を有する。例えば、ＳＤＲＡＭ２５は、信号処理部１４、Ａ／Ｄ変換部１５およびバス２８を介して、撮像素子１２が１フレーム毎に順次出力する画像データを一時的に記憶する。
【００７３】
Ｆｌａｓｈメモリ２６は、不揮発性メモリを用いて構成される。Ｆｌａｓｈメモリ２６は、プログラム記録部２６１と、特殊効果処理情報記録部２６２と、画像処理情報記録部２６３と、を有する。プログラム記録部２６１は、撮像装置１を動作させるための各種プログラム、撮像プログラムおよびプログラムの実行中に使用される各種データおよび画像処理部１６による画像処理の動作に必要な各種パラメータ等を記録する。特殊効果処理情報記録部２６２は、アート効果画像処理部１６２が行う各アート効果処理における画像処理の組み合わせ情報を記録する。画像処理情報記録部２６３は、画像処理部１６が実行可能な画像処理に処理時間を対応付けた画像処理情報を記録する。また、Ｆｌａｓｈメモリ２６は、撮像装置１を特定するための製造番号等を記録する。
【００７４】
本体通信部２７は、本体部２に装着されたレンズ部３との通信を行うための通信インターフェースである。本体通信部２７には、レンズ部３との電気的な接点も含まれる。
【００７５】
バス２８は、撮像装置１の各構成部位を接続する伝送路等を用いて構成される。バス２８は、撮像装置１の内部で発生した各種データを撮像装置１の各構成部位に転送する。
【００７６】
制御部２９は、ＣＰＵ（Central Processing Unit）等を用いて構成される。制御部２９は、画像処理制御部２９１と、表示制御部２９２と、を有する。
【００７７】
画像処理制御部２９１は、バス２８を介して入力される入力部２０からの指示信号に応じて、画像処理部１６に実行させるべき画像処理の内容を設定し、設定した内容に応じた画像処理を、基本画像処理部１６１、アート効果画像処理部１６２、および動画中特殊効果画像処理部１６３のいずれかに実行させる。
【００７８】
表示制御部２９２は、表示部２１の表示態様を制御する。具体的には、表示制御部２９２は、表示駆動部２２を駆動し、画像処理部１６が処理を行った各種画像データに対応する画像を表示部２１に表示させる。
【００７９】
制御部２９は、バス２８を介して入力部２０から送信される指示信号に応じて、撮像装置１を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置１の動作を統括的に制御する。
【００８０】
制御部２９は、レリーズボタン４２を介して２ｎｄレリーズ信号が入力された場合、撮像装置１における静止画撮影動作を開始する制御を行う。また、制御部２９は、動画ボタン４７を介して動画撮影開始信号が入力された場合、撮像装置１における動画撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、シャッタ駆動部１１および撮像素子駆動部１３の駆動によって撮像素子１２が出力した画像データに対し、信号処理部１４、Ａ／Ｄ変換部１５および画像処理部１６が所定の処理を施す動作をいう。このように処理が施された画像データは、画像処理制御部２９１の制御のもと、画像圧縮展開部１９で所定の形式にしたがって圧縮され、バス２８およびメモリＩ／Ｆ２４を介して記録媒体２３に記録される。なお、本実施の形態１では記録媒体２３が記憶部の一部をなしているが、記録媒体２３とは別に撮像装置１の内部に記憶部の機能を有する記憶領域を確保し、この記憶領域に圧縮した画像データを記憶するようにしてもよい。
【００８１】
以上の構成を有する本体部２に対して、音声入出力部、被写体に対して補助光（フラッシュ）を発光する補助光発光部、インターネットを介して外部の装置と双方向に通信を行う機能を有する通信部などをさらに設けてもよい。
【００８２】
次に、レンズ部３の構成を説明する。レンズ部３は、光学系３１と、レンズ駆動部３２と、絞り３３と、絞り駆動部３４と、レンズ操作部３５と、レンズＦｌａｓｈメモリ３６と、レンズ通信部３７と、レンズ制御部３８と、を備える。
【００８３】
光学系３１は、一または複数のレンズを用いて構成される。光学系３１は、所定の視野領域から光を集光する。光学系３１は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
【００８４】
レンズ駆動部３２は、ＤＣモータまたはステッピングモータ等を用いて構成され、光学系３１のレンズを光軸Ｌ上で移動させることにより、光学系３１のピント位置や画角等の変更を行う。
【００８５】
絞り３３は、光学系３１が集光した光の入射量を制限することにより露出の調整を行う。
絞り駆動部３４は、ステッピングモータ等を用いて構成され、絞り３３を駆動する。
【００８６】
レンズ操作部３５は、図２に示すように、レンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する操作信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３５は、プッシュ式のスイッチ等であってもよい。
【００８７】
レンズＦｌａｓｈメモリ３６は、光学系３１の位置および動きそれぞれを決定するための制御用プログラム、光学系３１のレンズ特性および各種パラメータを記録する。
【００８８】
レンズ通信部３７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２７と通信を行うための通信インターフェースである。レンズ通信部３７には、本体部２との電気的な接点も含まれる。
【００８９】
レンズ制御部３８は、ＣＰＵ（Central Processing Unit）等を用いて構成される。レンズ制御部３８は、レンズ操作部３５の操作信号または本体部２からの指示信号に応じてレンズ部３の動作を制御する。具体的には、レンズ制御部３８は、レンズ操作部３５の操作信号に応じて、レンズ駆動部３２を駆動させてレンズ部３のピント合わせやズーム変更を行うとともに、絞り駆動部３４を駆動させて絞り値の変更を行う。なお、レンズ制御部３８は、レンズ部３が本体部２に装着された際に、レンズ部３のピント位置情報、焦点距離およびレンズ部３を識別する固有情報等を本体部２に送信するようにしてもよい。
【００９０】
レンズ制御部３８は、本体部２の制御部２９との間で所定の周期でレンズ通信信号を送受信することによって、本体部２との動作の連携を図っている。図１２は、レンズ制御部３８と制御部２９との同期通信の一例を示すタイミングチャートである。図１２（ａ）は本体部２内の処理を示している。図１２（ｂ）は垂直同期信号を示している。図１２（ｃ）は撮像、読み出しのタイミングを示している。図１２（ｄ）はレンズ通信を示している。図１２（ｅ）はレンズ通信同期信号を示している。図１２（ｆ）はレンズ位置取得信号を示している。図１２（ｇ）はレンズ部３内の処理を示している。
【００９１】
まず、制御部２９は、前フレームで取得した画像データによりライブビュー画像の画像処理およびＡＦ評価値の算出等を画像処理部１６に実行させるとともに、レンズ制御部３８にレンズ状態データを取得するためのレンズ状態データ要求コマンドを送信する（Ｂ１、ＢＬ）。この際、制御部２９は、同期通信モード中に、垂直同期信号と同じ周期でレンズ通信用の同期信号および光学系３１の位置情報を取得するタイミングを指示するレンズ位置取得信号を送信する。このレンズ位置取得信号は、図１２（ｃ）に示すように撮像素子１２の中央部の蓄積時間の１／２が経過した時点で状態が変化する信号である。
【００９２】
レンズ制御部３８は、レンズ位置取得信号の状態が変化したタイミングで光学系３１の位置情報を取得するとともに、レンズ通信同期信号の受信タイミングでレンズ操作部３５の操作状態を検出する（Ｌ１）。
【００９３】
続いて、レンズ制御部３８は、制御部２９から受信したレンズ状態データ要求コマンドへの応答として、工程Ｌ１で取得した光学系３１の位置情報およびレンズ操作部３５の捜査状態を含むレンズ状態データを制御部２９へ送信する（Ｌ２）。
【００９４】
この後、制御部２９は、レンズ制御部３８から送られてきたレンズ状態データに基づいて、ＡＦ評価値の算出や、露出値の変更等の各種設定変更を行う（Ｂ２）。
【００９５】
制御部２９とレンズ制御部３８は、以上説明した処理を周期的に繰り返し行う。
【００９６】
図１３は、以上の構成を有する撮像装置１が行う処理の概要を示すフローチャートである。図１３において、まず、ユーザによって電源ボタン４１が操作されて、撮像装置１の電源がオン状態になる（ステップＳ１：Ｙｅｓ）と、制御部２９は、撮像装置１の初期化を行う（ステップＳ２）。この初期化処理において、制御部２９は、例えば動画の記録中を示す記録中フラグをオフ状態にリセットしたり、動画中の特殊効果に関する適用を示す特殊効果フラグをオフ状態にリセットしたり、レンズ制御部３８との間のレンズ通信（図１２を参照）を開始したりする処理を行う。なお、撮像装置１の電源がオン状態でない場合（ステップＳ１：Ｎｏ）、撮像装置１はステップＳ１を繰り返す。
【００９７】
続いて、再生ボタン４６が操作されることなく（ステップＳ３：Ｎｏ）、メニューボタン４５が操作された場合（ステップＳ４：Ｙｅｓ）、撮像装置１は、設定を変更するためのメニュー画面を表示し、ユーザの選択操作に応じて撮像装置１の各種条件を設定する設定処理を実行する（ステップＳ５）。ステップＳ５の後、撮像装置１は、後述するステップＳ７へ移行する。
【００９８】
ここで設定される内容は、仕上がり効果処理、アート効果処理、静止画記録モード、動画記録モード、動画中特殊効果処理などである。仕上がり効果処理には、例えば画像を自然な色合いに仕上げる処理であるナチュラル、画像を色鮮やかに仕上げる処理であるビビッド、被写体の素材性を重視して仕上げる処理であるフラット、画像をモノクロ調に仕上げる処理であるモノトーンなどが含まれる。静止画記録モードは、記録対象とする静止画の種類に応じて定められ、例えばＪＰＥＧ記録モード、ＪＰＥＧ＋ＲＡＷ記録モード、ＲＡＷ記録モードなどがある。動画撮影モードは、動画圧縮形式に応じて定められるモードであって、例えばＭｏｔｉｏｎ−ＪＰＥＧモード、ＭＰ４（Ｈ．２６４）モードなどがある。動画中特殊効果処理で設定されるのは、例えばトランジットによるアート効果の切り替え先や揺らぎなどである。
【００９９】
ステップＳ３で再生ボタン４６が操作された場合（ステップＳ３：Ｙｅｓ）、撮像装置１は再生処理を行う（ステップＳ６）。このステップＳ６において、表示制御部２９２は、記録媒体２３に記録されているファイル一覧を表示部２１に表示させる。その後、入力部２０によって再生画像が選択入力された場合、記録媒体２３から画像データを取得し、取得した画像データを画像圧縮展開部１９で展開して表示部２１に表示させる。この後、撮像装置１は、ステップＳ１８へ移行する。
【０１００】
ステップＳ３で再生ボタン４６が操作されることなく（ステップＳ３：Ｎｏ）、メニューボタン４５が操作されていない場合（ステップＳ４：Ｎｏ）において、動画ボタン４７が操作されたとき（ステップＳ７：Ｙｅｓ）、制御部２９は、動画の記録中であることを示す記録中フラグを反転させる（ステップＳ８）。具体的には、例えば記録中フラグがオン状態にある場合、制御部２９は、その記録中フラグをオフ状態に反転させる。
【０１０１】
続いて、制御部２９は、ＳＤＲＡＭ２５に記録された記録中フラグがオン状態であるか否かを判断する（ステップＳ９）。記録中フラグがオン状態であると判断した場合（ステップＳ９：Ｙｅｓ）、制御部２９は、記録媒体２３に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体２３に格納する（ステップＳ１０）。
【０１０２】
その後、制御部２９は、特殊動画用のユーザインターフェース（ＵＩ）を設定する（ステップＳ１１）。この設定により、例えば図１０に示すような動画記録時の割り当てが実行される。制御部２９は、ステップＳ１１で設定対象となったユーザインタフェースがこの後で受け付ける信号を、図１０に基づく特殊動画用の信号として認識する。
【０１０３】
続いて、表示制御部２９２は、表示部２１に表示させる画面上表示（ＯＳＤ）などの設定を切り替えることによって動画用の画面への切替えを行う（ステップＳ１２）。具体的には、表示制御部２９２は、例えば残り時間や、動画撮影時に特殊効果を適用できることを示すアイコンなどを表示する。この後、撮像装置１は、後述するステップＳ１５へ移行する。
【０１０４】
図１４は、表示部２１における動画用の画面表示例を示す図である。図１４に示すように、動画用画面Ｑでは、動画中特殊効果を適用可能であることを示す動画アイコン１１１、動画用画面キー割り当てを示す画面上表示１１２および動画撮影の残り時間を表示する残り時間１１３が表示される。このうち、画面上表示１１２は数秒間表示した後に自動的に消えるようにしてもよいし、常時表示するようにしてもよい。また、設定信号入力部２０１からの入力によって画面上表示１１２の表示と非表示を切り替えることができるようにしてもよい。
【０１０５】
ステップＳ９において、記録中フラグがオフ状態であると判断した場合（ステップＳ９：Ｎｏ）、制御部２９は、静止画用ユーザインターフェースを設定する（ステップＳ１３）。
【０１０６】
続いて、表示制御部２９２は、表示部２１における画面上表示などの設定を静止画用に切り替える（ステップＳ１４）。この切り替えにより、表示部２１は、例えば残り記録枚数や、静止画撮影時に特殊効果を適用できることを示すアイコンなどを表示する。この後、撮像装置１は、後述するステップＳ１５へ移行する。
【０１０７】
ステップＳ７において、動画ボタン４７が操作されていない場合（ステップＳ７：Ｎｏ）、画像処理制御部２９１は、動画中特殊効果画像処理部１６３に対して動画中特殊効果処理を行わせる（ステップＳ１５）。
【０１０８】
図１５は、動画中特殊効果制御処理の概要を示すフローチャートである。図１５において、動画中特殊効果を開始するキーが操作された場合（ステップＳ３１：Ｙｅｓ）、画像処理制御部２９１は、動画中特殊効果フラグをオンにする（ステップＳ３２）。その後、画像処理制御部２９１は、効果設定を行う（ステップＳ３３）。
【０１０９】
動画中特殊効果を開始するキーが操作されない場合（ステップＳ３１：Ｎｏ）において、終了指示が入力されたとき（ステップＳ３４：Ｙｅｓ）、画像処理制御部２９１は、動画中特殊効果フラグをオフにする制御を行う（ステップＳ３５）。この後、撮像装置１は、メインルーチンへ戻る。
【０１１０】
これに対し、動画中特殊効果を開始するキーが操作されない場合（ステップＳ３１：Ｎｏ）において、終了指示が入力されないとき（ステップＳ３４：Ｎｏ）、撮像装置１はメインルーチンへ戻る。
【０１１１】
ステップＳ１５の動画中特殊効果制御処理の後、レリーズボタン４２から１ｓｔレリーズ信号が入力された場合（ステップＳ１６：Ｙｅｓ）、制御部２９は、ＡＥ処理部１７に露出を調整するＡＥ処理を実行させるとともに、ＡＦ処理部１８にピントを調整するＡＦ処理を実行させる（ステップＳ１７）。
【０１１２】
続いて、制御部２９は、電源ボタン４１が操作されることによって撮像装置１の電源がオフされたか否かを判断する（ステップＳ１８）。撮像装置１の電源がオフされたと制御部２９が判断した場合（ステップＳ１８：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、撮像装置１の電源がオフされていないと制御部２９が判断した場合（ステップＳ１８：Ｎｏ）、撮像装置１は、ステップＳ３へ戻る。
【０１１３】
レリーズボタン４２から１ｓｔレリーズ信号が入力されない場合（ステップＳ１６：Ｎｏ）、レリーズボタン４２から２ｎｄレリーズ信号が入力されたとき（ステップＳ１９：Ｙｅｓ）、制御部２９は、シャッタ駆動部１１および撮像素子駆動部１３をそれぞれ駆動することにより、メカシャッタによる撮影を行う（ステップＳ２０）。
【０１１４】
続いて、画像処理部１６は、撮影した静止画像に対して所定の画像処理を実行する（ステップＳ２１）。なお、画像処理の詳細については後述する。
【０１１５】
この後、制御部２９は、画像データをＪＰＥＧ形式で画像圧縮展開部１９に圧縮させ、この圧縮した画像データを記録媒体２３に記録する（ステップＳ２２）。このステップＳ２２で、制御部２９は、画像圧縮展開部１９がＪＰＥＧ形式で圧縮した画像データに、画像処理部１６が画像処理を行っていないＲＡＷデータを対応付けて記録媒体２３に記録させるようにしてもよい。ステップＳ２２の後、撮像装置１は、ステップＳ１８へ移行する。
【０１１６】
ステップＳ１９において、レリーズボタン４２から２ｎｄレリーズ信号が入力されない場合（ステップＳ１９：Ｎｏ）、制御部２９は、ＡＥ処理部１７に露出を調整するＡＥ処理を実行させるとともに、ＡＦ処理部１８にピントを調整するＡＦ処理を実行させる（ステップＳ２３）。
【０１１７】
続いて、制御部２９は、撮像素子駆動部１３を駆動することにより、電子シャッタによる撮影を実行する（ステップＳ２４）。
【０１１８】
この後、画像処理部１６は、撮像装置１の設定情報に基づいて画像処理を行う（ステップＳ２５）。画像処理の詳細については後述する。
【０１１９】
表示制御部２９２は、画像処理部１６が処理を施した画像データに対応するライブビュー画像を表示部２１に表示させる（ステップＳ２６）。
【０１２０】
続いて、撮像装置１が動画記録中であれば（ステップＳ２７：Ｙｅｓ）、制御部２９は、画像データを画像圧縮展開部１９に圧縮させ、この圧縮した画像データを記録媒体２３に作成された動画ファイルに動画として記録させる（ステップＳ２８）。この後、撮像装置１は、ステップＳ１８へ移行する。これに対して、ステップＳ２７で動画記録中でなければ（ステップＳ２７：Ｎｏ）、撮像装置１はステップＳ１８へ移行する。
【０１２１】
図１６は、画像処理の概要を示すフローチャートである。図１６において、基本画像処理部１６１は基本画像処理を行う（ステップＳ４１）。ここでの基本画像処理は、ＯＢ（Optical Black）値の減算、ＷＢ補正、同時化、カラーマトリクス演算、ガンマ変換色補正、エッジ強調、ＮＲ（Noise Reduction）などの処理を含む。
【０１２２】
ここで、ＷＢ補正は、ベイヤ配列の画像データに対して、予めユーザが設定したＷＢモードに応じたＲゲインとＢゲインを乗じて、ＷＢを撮像装置本体のフラッシュメモリから読み出し、その値を乗じることで補正する処理である。
同時化は、撮像素子１２がベイヤー配列であった場合に、その画素にないデータを周辺から補間することによって、各画素がＲＧＢデータで構成されるデータに変換する処理である。
カラーマトリクス演算は、設定されているＷＢモードに応じたカラーマトリクス係数を本体のフラッシュメモリから読み出して乗算する処理である。
ガンマ変換色補正処理では、仕上がりの設定に応じて予め設計したガンマテーブルを本体のフラッシュメモリから読み出し、画像データをガンマ変換する。このとき、ＲＧＢデータに適用するガンマ変換と、ＲＧＢの色空間を輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒによって表される色空間に変換した後で輝度信号Ｙのみにガンマ変換を行うようにしてもよい。また、適切な色再現性を得るために、仕上がりの設定に応じて予め設計したサイドパラメータを用いて色を補正してもよい。なお、アート効果の種類によってガンマ曲線を変えるようにしてもよい。
エッジ強調処理では、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じた係数を乗じて画像データに加算することで強調する。
ＮＲ処理では、画像を周波数分解し、周波数に応じてコアリング処理などを行うことでノイズを低減する処理を行う。
【０１２３】
続いて、アート効果画像処理部１６２は、アート効果処理を行う（ステップＳ４２）。ここでは、上述したクロスフィルター、ソフトフォーカス、ノイズ付加、シェーディング、周辺輝度持ち上げ、周辺ぼかし、等の処理を行う。
【０１２４】
その後、撮像装置１が静止画撮影を行う場合（ステップＳ４３：Ｙｅｓ）、制御部２９が動画中特殊効果（第１の特殊効果）に対応した特殊効果（第２の特殊効果）を静止画の画像データに付与することを禁止する制御を行った後、メインルーチンへ戻る。
【０１２５】
ここで、撮像装置１が静止画撮影を行う場合に動画中特殊効果に対応した特殊効果を付与しない理由を説明する。動画撮影中の静止画撮影はレスポンスの速さが重要である。静止画の画素数は動画の画素数に比べて数倍程度大きいため、静止画に動画中特殊効果を付与すると、静止画撮影後の動画撮影の再開タイミングに影響を及ぼすおそれがある。そこで、本実施の形態１では、静止画の場合に動画中特殊効果の適用を禁止している。なお、光束でレスポンスに影響がなければ静止画に適用することも可能である。
【０１２６】
一方、撮像装置１が動画撮影を行う場合（ステップＳ４３：Ｎｏ）、制御部２９は、動画中特殊効果が設定されているか否かを判定する（ステップＳ４４）。動画中特殊効果が設定されている場合（ステップＳ４４：Ｙｅｓ）、ステップＳ４５へ移行する。これに対して、動画中特殊効果が設定されていない場合（ステップＳ４４：Ｎｏ）、撮像装置１はメインルーチンへ戻る。
【０１２７】
ステップＳ４４で動画中特殊効果が設定されている場合（ステップＳ４４：Ｙｅｓ）において、適用する効果がマルチエコーであるとき（ステップＳ４５：Ｙｅｓ）、動画中特殊効果画像処理部１６３は、直前の画像処理結果（前フレーム）に対して、上述したマルチエコー処理（図４を参照）として、現在のフレームを所定の比率で合成する（ステップＳ４６）。一方、適用する特殊効果がマルチエコーでないとき（ステップＳ４５：Ｎｏ）、撮像装置１はステップＳ４７へ移行する。
【０１２８】
ステップＳ４７において、制御部２９は、適用する効果がワンショットエコーであるか否かを判定する。適用する効果がワンショットエコーである場合（ステップＳ４７：Ｙｅｓ）、動画中特殊効果画像処理部１６３は、ワンショットエコー効果を得るために、ＳＤＲＡＭ２５が記憶する特定の画像データであるレリーズフレームとの合成処理を行う（ステップＳ４８）。ここで、特殊効果フラグがオンになって最初のフレームの場合、動画中特殊効果画像処理部１６３は、現在のフレームの画像をＳＤＲＡＭ２５に記憶する処理を行う。これに対し、特殊効果フラグがオンになって２フレーム以後の場合、動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ２５が記憶しているレリーズフレームと合成処理を行う。
【０１２９】
ステップＳ４７において、適用する動画中特殊効果がワンショットエコーでない場合（ステップＳ４７：Ｎｏ）、撮像装置１はステップＳ４９へ移行する。
【０１３０】
ステップＳ４９において、制御部２９は、適用する効果が揺らぎであるか否かを判定する。適用する効果が揺らぎである場合（ステップＳ４９：Ｙｅｓ）、動画中特殊効果画像処理部１６３は揺らぎ効果を追加する処理を行う（ステップＳ５０）。
【０１３１】
ステップＳ５０における動画中特殊効果画像処理部１６３の具体的な処理を説明する。動画中特殊効果画像処理部１６３は、シェーディング処理、クロスフィルター処理などのアート効果処理における画像処理パラメータに揺らぎを持たせた効果を追加する。例えば、シェーディング処理であれば、画像の中心からの減衰特性を時間とともに変化させる。周辺ぼかしであれば、ぼかし量やぼかし形状を変化させる。クロスフィルターであれば、クロスパターンの長さや角度を時間とともに変化させる。また、彩度、コントラスト、ホワイトバランスを時間とともに変化させてもよい。なお、揺らぎとシェーディング等のアート効果が重複する場合、両方を付与してもよいし、揺らぎのみを付与するようにしてもよい。
【０１３２】
ステップＳ４９において、適用する効果が揺らぎではない場合（ステップＳ４９：Ｎｏ）、撮像装置１はステップＳ５１へ移行する。
【０１３３】
ステップＳ５１において、制御部２９は、適用する効果がトランジットであるか否かを判定する（ステップＳ５１）。適用する効果がトランジットである場合（ステップＳ５１：Ｙｅｓ）、基本画像処理部１６１およびアート効果画像処理部１６２は、仕上がり／切り替え先の設定に応じた基本画像処理およびアート効果処理をそれぞれ実行する（ステップＳ５２、Ｓ５３）。その後、動画中特殊効果画像処理部１６３は、トランジット用の二つの画像の合成処理を行うことによってトランジット画像を生成する（ステップＳ５４）。ステップＳ５４の後、撮像装置１はメインルーチンへ戻る。
【０１３４】
ステップＳ５１において、制御部２９が判定した結果、適用する効果がトランジットでない場合（ステップＳ５１：Ｎｏ）、撮像装置１はメインルーチンへ戻る。
【０１３５】
以上説明した本発明の実施の形態１によれば、動画記録を開始すると、設定信号入力部が動画中特殊効果用に切り替わり、制御部は動画用特殊効果の設定信号が入力されたものと認識する。したがって、ユーザは撮影時に簡単な操作をすることで、容易に動画に特殊効果を適用することができる。
【０１３６】
また、本実施の形態１によれば、設定信号入力部を構成するユーザインターフェースに動画用と静止画用の入力機能を兼備させることができるため、動画撮影の場合にも操作性に優れたユーザインターフェースを実現することができる。加えて、ユーザインターフェースの数も抑制することができるため、レイアウトの制限も少なくなり、小型化に好適な撮像装置を実現することができる。
【０１３７】
また、本実施の形態１によれば、編集機器やＰＣ上で実現できるものと同等な特殊効果を、撮像装置自体で実行することができる。したがって、ユーザの作画意図を反映した動画を、高度な専門知識を必要とすることなく、また後編集することなく作成することができる。
【０１３８】
また、本実施の形態１によれば、動画撮影中の静止画に対して、動画中特殊効果の適用を禁止する制御を行うことにより、静止画撮影後の動画撮影の再開タイミングへの影響を防止することができる。
【０１３９】
一般に、撮像装置は、ＰＣ等と比較してメモリーが少なく処理能力が劣っているため、ＰＣ等と同等の動画データの編集処理を実現することは難しい。また、動画中の静止画撮影や、動画終了直後の静止画撮影の可能な撮像装置においては、メモリー不足やメモリー管理上の問題が決定的なものになり、メモリー増設によるコスト増や、静止画撮影時の応答性や静止画画質の劣化などの問題を発生してしまう恐れもある。本実施の形態１では、この点に鑑み、撮影した動画を編集することなく、撮影時に複数のフレームにわたる時間的な移り変わりの特殊効果による撮影者の作画意図を付与した動画を撮影可能が技術を実現している。
【０１４０】
（変形例１−１）
図１７は、本実施の形態１の変形例１−１に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。図１７に示す場合、動画非記録時には、レリーズボタン４２の１ｓｔレリーズ操作にＡＥ／ＡＦ操作を割り当て、レリーズボタン４２の２ｎｄレリーズ操作に撮影操作を割り当て、レンズ操作部３５にピント操作を割り当てる。これに対して、動画記録時には、レリーズボタン４２（１ｓｔレリーズ操作）を効果開始、停止操作を交互に操作可能なトグルキーとして機能させ、レンズ操作部３５に効果切替操作を割り当てる。ここで、動画記録中にレリーズボタン４２からの入力に応じたＡＦ、ＡＥが行われたり、効果の開始時に静止画が撮影されたりすると困る。そこで、動画記録時には、静止画撮影を行わない。
【０１４１】
（変形例１−２）
図１８は、本実施の形態１の変形例１−２に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。この場合、動画非記録時には、ファンクションキー４８にＡＦ操作を割り当てる一方、レンズ操作部３５にピント操作を割り当てる。これに対し、動画記録時には、ファンクションキー４８を、効果開始、停止を交互に操作可能なトグルキーとして機能させる一方、レンズ操作部３５を効果切替操作に割り当てる。
【０１４２】
（変形例１−３）
図１９は、本実施の形態１の変形例１−３に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。本変形例１−３では、タッチパネル５０を用いて効果のオンオフや切り替えを行う。動画非記録時には、タッチパネル５０のタッチ操作を静止画撮影操作に割り当てる。これに対して、動画記録時には、タッチパネル５０のタッチを効果開始、終了操作に交互に割り当てる一方、タッチパネル５０の横スライドを効果切り替え操作に割り当てる。
このようにしてタッチパネル５０を用いることにより、ユーザインターフェースのスペースを抑制することができる。
【０１４３】
（変形例１−４）
図２０は、本実施の形態１の変形例１−４に係る撮像装置が行う動画中特殊効果制御処理の概要を示すフローチャートである。図２０において、動画中特殊効果処理を開始するキーが操作された場合（ステップＳ６１：Ｙｅｓ）、画像処理制御部２９１は、動画特殊効果フラグをオンにする（ステップＳ６２）。その後、撮像装置１はメインルーチンへ戻る。
【０１４４】
これに対し、動画中特殊効果を開始するキーが操作されない場合（ステップＳ６１：Ｎｏ）において、終了指示が入力されたとき（ステップＳ６３：Ｙｅｓ）、画像処理制御部２９１は、動画特殊効果フラグをオフにする制御を行う（ステップＳ６４）。この後、撮像装置１は、メインルーチンへ戻る。
【０１４５】
また、動画中特殊効果を開始するキーが操作されない場合（ステップＳ６１：Ｎｏ）において、終了指示が入力されず（ステップＳ６３：Ｎｏ）、かつ効果の切替指示が入力されたとき（ステップＳ６５：Ｙｅｓ）、画像処理制御部２９１は特殊効果を切り替える（ステップＳ６６）。この後、撮像装置１は、メインルーチンへ戻る。
ステップＳ６５において、効果の切替指示が入力されないとき（ステップＳ６５：Ｎｏ）、撮像装置１はメインルーチンへ戻る。
【０１４６】
以上説明した本実施の形態１の変形例１−１〜１−４によれば、実施の形態１と同様の効果を得ることができる。
【０１４７】
（実施の形態２）
本発明の実施の形態２に係る撮像装置は、実施の形態１に係る撮像装置に対して、動画特殊効果をライブビュー表示しながらユーザが所望の効果を確認した上で実際に特殊効果を付与して撮影を行うことができる機能を付加している。
【０１４８】
図２１は、本実施の形態２に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置５１は、入力部５２を除いて、実施の形態１で説明した撮像装置１と同様の構成を有する。以下、入力部５２の構成を説明する。
【０１４９】
入力部５２は、設定信号入力部２０１、動画撮影信号入力部２０２に加えて、シミュレーション信号入力部５２１、効果記録開始信号入力部５２２、および効果停止信号入力部５２３を有する。
【０１５０】
シミュレーション信号入力部５２１は、ライブビュー表示にのみ動画中特殊効果を付与するシミュレーション信号の入力を受け付ける。効果記録開始信号入力部５２２は、動画中特殊効果を施した画像をＳＤＲＡＭ２５および記録媒体２３へ記録させる効果記録開始信号の入力を受け付ける。効果停止信号入力部５２３は、ライブビュー表示および画像の記録において適用されている動画中特殊効果を停止する効果停止信号の入力を受け付ける。
【０１５１】
図２２は、本実施の形態２におけるユーザインターフェースの割り当てを示す図である。まず、動画非記録時の割り当てについて説明する。この場合、十字キー４４１の上矢印キー４４３には、露出補正操作が割り当てられる。下矢印キー４４４には、連写・単写操作が割り当てられる。左矢印キー４４５には、ＡＦターゲット操作が割り当てられる。右矢印キー４４６には、フラッシュ設定操作が割り当てられる。また、動画非記録時には、決定ボタン４４２にカメラ設定操作が割り当てられ、１ｓｔレリーズ操作にＡＥ／ＡＦ操作が割り当てられ、２ｎｄレリーズ操作に撮影操作が割り当てられる。
【０１５２】
次に、動画記録時の割り当てについて説明する。この場合、上矢印キー４４３に効果シミュレーション開始操作が割り当てられる。したがって、上矢印キー４４３は、シミュレーション信号入力部５２１の一部をなす。
下矢印キー４４４には、効果停止操作が割り当てられる。したがって、下矢印キー４４４は、効果停止信号入力部５２３の一部をなす。なお、動画中特殊効果の中で停止指示が必要なものは、マルチエコーと揺らぎである。
左矢印キー４４５および右矢印キー４４６には、効果切り替え操作を割り当てる。
決定ボタン４４２、レリーズボタン４２の１ｓｔレリーズ操作および２ｎｄレリーズ操作には、効果記録開始機能が割り当てられる。したがって、決定ボタン４４２およびレリーズボタン４２は、効果記録開始信号入力部５２２の一部をなす。
【０１５３】
図２３は、撮像装置５１の動画記録時における状態遷移の概要を示す図である。動画記録開始後にライブビュー表示および動画記録表示に対して動画中特殊効果が設定されていない状態（状態Ｉ）において、シミュレーション信号入力部５２１によってシミュレーション信号が入力されると、画像処理制御部２９１は、ライブビュー表示に動画中特殊効果を適用する一方、動画記録では動画中特殊効果を適用しない制御を行う状態ＩＩに遷移する。
【０１５４】
状態ＩＩにおいて、効果記録開始信号入力部５２２によって効果記録開始信号が入力されると、画像処理制御部２９１は、ライブビュー表示に加え、ＳＤＲＡＭ２５へ記録する際の画像にも動画中特殊効果の適用を開始する（状態ＩＩＩ）。
【０１５５】
状態ＩＩＩにおいて、効果停止信号入力部５２３によって効果停止信号が入力されると、画像処理制御部２９１は、ライブビュー表示および動画記録に対する動画中特殊効果の適用を停止する。これにより、撮像装置１は状態Ｉへ遷移する。
【０１５６】
以上説明した本発明の実施の形態２によれば、撮像装置がシミュレーション信号入力部、効果開始信号入力部および効果停止信号入力部を備えることにより、ユーザは動画を記録するのに先立って試験的に特殊効果を適用し、その効果を画面上で確かめることができる。したがって、ユーザは、意図したタイミングで期待した効果が適用された、よりクリエイティブな動画を容易に撮影することができる。
【０１５７】
なお、本実施の形態２では、効果記録開始信号の入力を受け付けた時点で動画中特殊効果を付与した画像の記録を開始したが、シミュレーション信号の入力を受け付けてから所定時間経過する間に別の操作が行われない場合には、自動的に動画中特殊効果を付与した画像の記録を開始するようにしてもよい。
【０１５８】
（変形例２−１）
図２４は、本実施の形態２の変形例２−１に係る撮像装置の動画記録時と静止画記録時におけるユーザインターフェースの割り当てを示す図である。図２４において、動画非記録時の割り当ては、図２２に示す場合と同様である。以下、動画記録時の割り当てを説明する。上矢印キー４４３には、ワンショット開始機能が割り当てられる。下矢印キー４４４には、トランジット効果開始機能が割り当てられる。左矢印キー４４５には、マルチエコー効果シミュレーション開始機能が割り当てられる。右矢印キー４４６には、揺らぎ効果シミュレーション開始機能が割り当てられる。決定ボタン４４２、レリーズボタン４２の１ｓｔレリーズ操作および２ｎｄレリーズ操作には、効果記録開始機能および効果停止機能が割り当てられる。
【０１５９】
したがって、本変形例２−１においては、左矢印キー４４５および右矢印キー４４６がシミュレーション信号入力部５２１の一部をなす。また、本変形例２−１においては、決定ボタン４４２およびレリーズボタン４２は、効果記録開始信号入力部５２２および効果停止信号入力部５２３の一部をなす。
【０１６０】
（変形例２−２）
本実施の形態２の変形例２−２は、タッチパネル５０によって動画中特殊効果の適用態様を切り替えることを特徴とする。図２５は、撮像装置５１が静止画撮影待機状態にある場合の表示部２１における画面表示例を示す図である。画面Ｑ１の左上には、撮影モードアイコンＩ１（「Ｐ」と表示）が表示されている。また、画面Ｑ１の右上には、静止画撮影用のメニュー選択アイコンＩ２（「ＳＴＩＬＬ ＭＥＮＵ」と表示）と動画撮影用のメニュー選択アイコンＩ３（「ＭＯＶＩＥ ＭＥＮＵ」と表示）が設けられている。以下、タッチパネル５０でアイコンの表示領域に対応する部分がタッチされる場合、「アイコンが選択される」という表現を用いることがある。
【０１６１】
画面Ｑ１を表示している状態でメニュー選択アイコンＩ２が選択された場合、表示制御部２９２は、静止画撮影用のメニューとして、ホワイトバランス、ＡＦ、測光をそれぞれ選択するためのアイコンと、元の操作表示画面に戻るためのアイコンを表示部２１に表示させる（図示せず）。
【０１６２】
一方、画面Ｑ１を表示している状態でメニュー選択アイコンＩ３が選択された場合、表示制御部２９２は、動画撮影待機状態にある場合の画像を表示部２１に表示させる。図２６は、撮像装置５１が動画撮影待機状態にある場合の表示部２１における画面表示例を示す図である。図２６に示す画面Ｑ２において、表示部２１には、ワンショットエコーアイコンＩ４（「１Ｓｈｏｔ Ｅｃｈｏ」と表示）、マルチエコーアイコンＩ５（「Ｍｕｌｔｉ Ｅｃｈｏ」と表示）、トランジットアイコンＩ６（「Ｔｒａｎｓｉｔ」と表示）、テストオンアイコンＩ７（「ＴＥＳＴ ＯＮ」と表示）、リターンアイコンＩ８（「ＲＥＴ」と表示）の５種類のアイコンが表示される。
【０１６３】
図２６に示す動画撮影待機状態では、静止画撮影時の画像のアスペクト比が変更となり、静止画よりも横長の画像となっている。このため、表示部２１は、画面上下で横長の帯状をなす画像の非表示領域に各種アイコンを表示している。
【０１６４】
画面Ｑ２で表示されるアイコンのうち、ワンショットエコーアイコンＩ４、マルチエコーアイコンＩ５、およびトランジットアイコンＩ６は、動画中特殊効果としてワンショットエコー、マルチエコー、およびトランジットをそれぞれ選択するためのアイコンである。これらのアイコンのいずれかが選択されると、表示部２１は、選択された動画中特殊効果を施したライブビュー画像を表示する。したがって、ワンショットエコーアイコンＩ４、マルチエコーアイコンＩ５、およびトランジットアイコンＩ６は、シミュレーション信号入力部５２１の一部をなす。
【０１６５】
テストオンアイコンＩ７は、選択された動画中特殊効果をライブビュー表示に反映しているが、その動画中特殊効果を動画記録には反映していない状態を示すアイコンである。
【０１６６】
リターンアイコンＩ８は、一つ前の画像表示に戻るためのアイコンである。
【０１６７】
図２７は、表示部２１が画面Ｑ２を表示している状態で、動画中特殊効果としてトランジットが選択された場合の表示部２１における画面表示例を示す図である。図２７に示す画面Ｑ３において、表示部２１には、トランジット時の切替先の仕上がり一覧が選択可能に表示される。仕上がり一覧表示アイコンＩ９における仕上がり項目の表示順は、適宜変更可能である。
【０１６８】
仕上がり一覧表示アイコンＩ９の上下両端には、上方向へのスクロール信号の入力を受け付ける上スクロールボタンＩ９１と、下方向へのスクロール信号の入力を受け付ける下スクロールボタンＩ９２がそれぞれ設けられてる。例えば、上スクロールボタンＩ９１が選択されると、表示が上方へスクロールし、一番上に表示されている項目「Ｖｉｖｉｄ」が消えて項目「ファンタジックフォーカス」が一番上となり、一番下に別の仕上がり項目が表示される。
【０１６９】
仕上がり一覧表示アイコンＩ９において、現在選択されている仕上がり項目は、他の仕上がりと異なる表示とする。ここでいう異なる表示とは、例えばグレー表示、ハイライト表示など他の仕上がり項目と識別可能な表示の総称である。図２７では、項目「トイフォト」が選択されている場合を示している。切り替え先の仕上がりが選択されると、表示制御部２９２は、仕上がり一覧表示アイコンＩ９を消去する。この後、画像処理制御部２９１は、動画中特殊効果画像処理部１６３に対してトランジット処理を開始させる。
【０１７０】
なお、仕上がり一覧表示アイコンＩ９でハイライト表示されている項目が再度選択された場合には、その前に選択されていたアート効果に戻るようにしてもよい。具体的には、例えばトイフォトの前にナチュラルが選択されていれば、項目「トイフォト」が再選択された場合、再びナチュラルに戻るようにすればよい。
【０１７１】
図２８は、図２６に示す画面Ｑ２において動画ボタン４７が押された後の画面表示例を示す図である。図２８に示す画面Ｑ４では、ワンショットエコーアイコンＩ４、マルチエコーアイコンＩ５，トランジットアイコンＩ６に加えて、確定アイコンＩ１０（「ＯＫ」と表示）が表示される。確定アイコンＩ１０は、表示している動画中特殊効果を付与した画像の記録を開始するためのアイコンである。したがって、確定アイコンＩ１０は、効果記録開始信号入力部５２２の一部をなす。
【０１７２】
画面Ｑ４を表示している最中に動画ボタン４７が押されて動画記録が終了した場合、表示制御部２９２は、表示部２１における表示を画面Ｑ２に戻す制御を行う。
【０１７３】
図２９は、図２８に示す画面Ｑ４において確定アイコンＩ１０が選択された後の表示部２１における画面表示例を示す図である。図２９に示す画面Ｑ５では、ワンショットエコーアイコンＩ４、マルチエコーアイコンＩ５，トランジットアイコンＩ６に加えて、終了アイコンＩ１１（「ＥＮＤ」と表示）が表示されている。このうち、ワンショットエコーアイコンＩ４はハイライト表示されている。これは、ワンショットエコーが選択されていることを意味している。
【０１７４】
終了アイコンＩ１１は、記録中動画における動画中特殊効果の付与を終了する指示信号を入力するためのアイコンである。画面Ｑ５を表示している状態で終了アイコンＩ１１が選択された場合、画像処理制御部２９１は、動画中特殊効果画像処理部１６３は、動画中特殊効果の適用を終了する。この場合、表示制御部２９２は、画面Ｑ５から終了アイコンＩ１１を削除した画面を表示部２１に表示させる。その際に写っているライブビュー画像にも動画中特殊効果が付与されないことは勿論である。
【０１７５】
画面Ｑ５を表示している最中に動画ボタン４７が押されて動画記録が終了した場合にも、表示制御部２９２は、表示部２１における表示を画面Ｑ２に戻す制御を行う。
【０１７６】
図３０は、図２６に示す画面Ｑ２においてテストオンアイコンＩ７が選択されてテストオン状態に遷移した場合の表示部２１の画面表示例を示す図である。図３０に示す画面Ｑ６には、テストオンアイコンＩ７の代わりにテストオフアイコンＩ１２（「ＴＥＳＴ ＯＦＦ」と表示）が表示されている。テストオフアイコンＩ１２は、選択された動画中特殊効果をライブビュー表示および動画記録には反映する状態を示すアイコンである。
【０１７７】
画面Ｑ６を表示している状態でテストオフアイコンＩ１２が選択されると、表示制御部２９２は表示部２１に画面Ｑ２を表示させる。すなわち、テストオフアイコンＩ１２が選択されると、テストオフアイコンＩ１２の位置がテストオンアイコンＩ７の表示に変化する。
【０１７８】
表示部２１が画面Ｑ６を表示している状態で動画ボタン４７が押されて動画記録が開始すると、表示制御部２９２は画面Ｑ５を表示させる制御を行う。
【０１７９】
以上説明した本実施の形態２の変形例２−１、２−２によれば、実施の形態２と同様の効果を得ることができる。
【０１８０】
（実施の形態３）
本発明の実施の形態３に係る撮像装置は、動画撮影モードと静止画撮影モードとを設定可能であり、動画撮影モードに設定すると、ユーザインターフェースが動画撮影用に切り替わることを特徴とする。
【０１８１】
図３１は、本実施の形態３に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置６１は、入力部６２を除いて、実施の形態１で説明した撮像装置１と同様の構成を有する。以下、入力部６２の構成を説明する。
【０１８２】
入力部６２は、静止画撮影および動画撮影における撮影条件を設定する静止画撮影条件設定信号を含む各種設定信号の入力を受け付ける設定信号入力部６２１と、動画撮影信号入力部２０２とを有する。
【０１８３】
設定信号入力部６２１は、モードの設定を指示するモード設定信号の入力を受け付けるモード設定信号入力部６２２を有する。モード設定信号入力部６２２は、例えばモードダイヤル４３によって実現される。
【０１８４】
図３２は、撮像装置６１が静止画撮影モードと動画撮影モードにそれぞれ設定されている場合のキーの割り当てを示す図である。撮像装置６１が静止画撮影モードに設定されている場合、上矢印キー４４３には、露出補正操作が割り当てられる。下矢印キー４４４には、連写・単車操作が割り当てられる。左矢印キー４４５には、ＡＦターゲット操作が割り当てられる。右矢印キー４４６には、フラッシュ設定操作が割り当てられる。再生ボタン４６には、再生操作が割り当てられる。消去ボタン４９には、消去操作が割り当てられる。
【０１８５】
次に、撮像装置６１が動画撮影モードに設定されている場合を説明する。上矢印キー４４３および左矢印キー４４５には、静止画モード設定時と同じ操作、すなわち露出補正操作とＡＦターゲット操作がそれぞれ割り当てられる。下矢印キー４４４には、トランジット効果開始操作が割り当てられる。右矢印キー４４６には、揺らぎ効果開始・停止操作が割り当てられる。再生ボタン４６には、ワンショットエコー開始操作が割り当てられる。消去ボタン４９には、マルチエコー開始・停止操作が割り当てられる。
【０１８６】
本実施の形態３では、揺らぎ効果に関して、開始だけでなく停止も任意に設定することができるものとしているが、実施の形態１と同様に、揺らぎ効果が、効果開始後所定時間経過した時点で停止する場合には、右矢印キー４４６に対して揺らぎ効果開始操作を割り当てればよい。
【０１８７】
図３３は、撮像装置６１が行う処理の概要を示すフローチャートである。図３３におけるステップＳ７１〜Ｓ７６の処理は、図１３におけるステップＳ１〜Ｓ６の処理に順次対応している。
【０１８８】
ステップＳ７７において、動画ボタン４７が操作されたとき（ステップＳ７７：Ｙｅｓ）、制御部２９は、動画の記録中であることを示す記録中フラグを反転させる（ステップＳ７８）。
【０１８９】
続いて、制御部２９は、ＳＤＲＡＭ２５に記録された記録中フラグがオン状態であるか否かを判断する（ステップＳ７９）。記録中フラグがオン状態であると判断した場合（ステップＳ７９：Ｙｅｓ）、制御部２９は、記録媒体２３に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体２３に格納する（ステップＳ８０）。その後、撮像装置１はステップＳ８１へ移行する。ステップＳ７９において記録中フラグがオン状態にないと判断した場合（ステップＳ７９：Ｎｏ）、撮像装置はステップＳ８１へ移行する。
【０１９０】
ステップＳ８１においてモード設定が変更され（ステップＳ８１：Ｙｅｓ）、動画モードに設定された場合（ステップＳ８２：Ｙｅｓ）、制御部２９は、特殊動画用ユーザインターフェースの設定処理を行う（ステップＳ８３）。この設定処理により、例えば図３２に示すような動画モード用の割り当てが実行される。その結果、制御部２９は、ステップＳ８３で設定対象となったユーザインターフェースがこの後で受け付ける信号を、図３２に基づく特殊動画用の信号として認識する。
【０１９１】
一方、ステップＳ８１においてモード設定が変更され（ステップＳ８１：Ｙｅｓ）、静止画モードに設定された場合（ステップＳ８２：Ｎｏ）、制御部２９は、静止画用ユーザインターフェースの設定処理を行う（ステップＳ８５）。ここでも、図３２に示すような静止画モード用のキーの割当が行われる。
【０１９２】
ステップＳ８５〜Ｓ１００の処理は、上述した実施の形態１で説明したステップＳ１５〜Ｓ２８の処理に順次対応している。
【０１９３】
以上説明した本発明の実施の形態３によれば、動画撮影モードに設定すると、設定信号入力部が動画中特殊効果用に切り替わり、制御部は動画用特殊効果の設定信号が入力されたものと認識する。したがって、ユーザは撮影時に簡単な操作をすることで、容易に動画に特殊効果を適用することができる。モード設定に応じてユーザインターフェースの設定を切り替え、動画中特殊効果をライブビュー画像で確認した上で撮影を行うことができる。
【０１９４】
また、本実施の形態３によれば、設定信号入力部を構成するユーザインターフェースに動画用と静止画用の入力機能を兼備させることができるため、ユーザインターフェースの数を抑えることができる。したがって、装置の小型化にも好適である。
【０１９５】
また、本実施の形態３によれば、ユーザは、動画撮影待機中や静止画撮影待機中などに、動画へ記録される前に動画特殊効果の適用を明確に把握することができる。したがって、ユーザは、動画記録撮影される特殊効果付の動画像を事前にイメージしたり、特殊効果付与のタイミングを事前に考慮することが可能となる。
【０１９６】
（変形例３−１）
図３４は、本実施の形態３の変形例３−１に係る撮像装置が静止画撮影モードと動画撮影モードにそれぞれ設定されている場合のキーの割り当て例を示す図である。本変形例３−１に係る撮像装置が静止画撮影モードに設定されている場合の十字キー４４１のキー割り当ては、実施の形態３と同じである。
【０１９７】
以下、本変形例３−１に係る撮像装置が動画撮影モードに設定されている場合のキーの割り当て例を説明する。上矢印キー４４３には、ワンショットエコー開始操作が割り当てられる。下矢印キー４４４には、トランジット開始操作が割り当てられる。左矢印キー４４５には、マルチエコー開始・停止操作が割り当てられる。右矢印キー４４６には、揺らぎ開始・停止操作が割り当てられる。
【０１９８】
（変形例３−２）
図３５は、本実施の形態３の変形例３−２に係る撮像装置が静止画撮影待機状態にある場合の表示部２１における画面表示例を示す図である。本変形例３−２においては、タッチパネル５０を用いて各種信号の入力を行う。図３５に示す画面Ｑ７では、静止画撮影用のメニュー選択アイコンＩ２に加えて、撮影モードアイコンＩ１'もタッチ入力可能であり、モード設定信号入力部６２２の一部をなしている。
【０１９９】
図３６は、画面Ｑ７において撮影モードアイコンＩ１'が選択された場合に表示部２１が表示する画面表示例を示す図である。図３６に示す画面Ｑ８において、画面下方には、ＰモードアイコンＩ１３（「Ｐ」と表示）、ＡモードアイコンＩ１４（「Ａ」と表示）、ＳモードアイコンＩ１５（「Ｓ」と表示）、ＭモードアイコンＩ１６（「Ｍ」と表示）、動画アイコンＩ１７（「ＭＯＶＩＥ」と表示）、確定アイコンＩ１０の６種類のアイコンが表示されている。このうち、ＰモードアイコンＩ１３、ＡモードアイコンＩ１４、ＳモードアイコンＩ１５、ＭモードアイコンＩ１６は、撮影モード（露出モード）を設定するためのアイコンであり、モードダイヤル４３と同様の機能を有する。
【０２００】
画面Ｑ８において動画アイコンＩ１７が選択されると、撮像装置１は動画モードへ移行して動画撮影待機状態となる。
【０２０１】
図３７は、動画撮影待機状態における表示部２１の画面表示例を示す図である。図３７に示す画面Ｑ９では、ワンショットエコーアイコンＩ４、マルチエコーアイコンＩ５、トランジットアイコンＩ６、およびリターンアイコンＩ８が表示される。
【０２０２】
図３７に示す状態でワンショットエコーアイコンＩ４、マルチエコーアイコンＩ５、トランジットアイコンＩ６のいずれかが選択されると、表示制御部２９２は、選択された動画中特殊効果に対応する特殊効果を適用してライブビュー画像を表示する。トランジットアイコンＩ６が選択された場合には、図２７に示す画面Ｑ３が表示される。動画中特殊効果が選択された状態で動画ボタン４７が押されると、制御部２９は、ライブビュー画像で表示している動画中特殊効果入りの動画の記録を開始する。
【０２０３】
以上説明した本実施の形態３の変形例３−１、３−２によれば、実施の形態３と同様の効果を得ることができる。
【０２０４】
（実施の形態４）
本発明の実施の形態４は、動画を撮影可能な撮像装置において、撮影モードの一つとして、動画中特殊効果を適用して撮影する動画中特殊効果適用モードを設定することが可能であることを特徴とする。
【０２０５】
図３８は、本発明の実施の形態４に係る撮像装置が行う処理の概要を示すフローチャートである。本実施の形態４に係る撮像装置の構成は、上述した実施の形態３で説明した撮像装置６１の構成と同様である。また、図３８におけるステップＳ１１１〜Ｓ１１４、Ｓ１１６の処理は、図３３におけるステップＳ７１〜Ｓ７４、Ｓ７６の処理に順次対応している。
【０２０６】
ステップＳ１１５において、カメラ設定が行われる（ステップＳ１１５）。ここでのカメラ設定は、仕上がり、静止画記録モード、動画記録モード特殊効果設定、トランジットの切り替え先の設定、揺らぎ効果の設定に加えて特殊効果の選択も含まれる。したがって、本実施の形態４では、予め動画中特殊効果が選択されることとなる。この特殊効果の選択は、モードダイヤル４３で行うことができるようにしてもよい。
【０２０７】
ステップＳ１１７において、動画ボタン４７が操作されたとき（ステップＳ１１７：Ｙｅｓ）、制御部２９は、動画の記録中であることを示す記録中フラグを反転させる（ステップＳ１１８）。
【０２０８】
続いて、制御部２９は、ＳＤＲＡＭ２５に記録された記録中フラグがオン状態であるか否かを判断する（ステップＳ１１９）。記録中フラグがオン状態であると判断した場合（ステップＳ１１９：Ｙｅｓ）、制御部２９は、記録媒体２３に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体２３に格納する（ステップＳ１２０）。その後、撮像装置１はステップＳ１２１へ移行する。ステップＳ１１９において記録中フラグがオン状態にないと判断した場合（ステップＳ１１９：Ｎｏ）、動画中特殊効果画像処理部１６３は、ステップＳ１２１へ移行する。
【０２０９】
ステップＳ１２１において、制御部２９は、撮像装置６１が動画特殊効果モードに設定されているか否かを判定する。判定の結果、撮像装置６１が動画特殊効果モードに設定されている場合（ステップＳ１２１：Ｙｅｓ）、制御部２９は、動画特殊効果フラグをオン状態にする（ステップＳ１２２）。一方、ステップＳ１２１で制御部２９が判定した結果、撮像装置６１が動画特殊効果モードに設定されていない場合（ステップＳ１２１：Ｎｏ）、制御部２９は動画特殊効果フラグをオフ状態にする（ステップＳ１２３）。
【０２１０】
ステップＳ１２４〜Ｓ１３６の処理は、実施の形態３で説明したステップＳ８８〜Ｓ１００の処理に順次対応している。
【０２１１】
以上説明した本発明の実施の形態４によれば、動画中特殊効果用のモード設定を行うことができるため、モードを切り替えるだけで、動画中特殊効果が付与された動画を簡単に撮影することができる。
【０２１２】
なお、本実施の形態４に係る撮像装置において、静止画モードを設定できるようにしてもよいことはいうまでもない。
【０２１３】
（実施の形態５）
本発明の実施の形態５は、動画中に静止画を撮影した場合にも、その前に記録した動画データを用いて動画中特殊効果を付与することを特徴とする。
【０２１４】
図３９は、本実施の形態５に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置７１は、画像処理部７２を除いて、実施の形態１で説明した撮像装置１と同様の構成を有する。以下、画像処理部７２の構成を説明する。
【０２１５】
画像処理部７２は、基本画像処理部１６１と、アート効果画像処理部１６２と、動画中特殊効果画像処理部７２１とを有する。動画中特殊効果画像処理部７２１は、動画像データの画素数を補間することによって動画像データの画素数をリサイズするリサイズ処理部７２２を有する。
【０２１６】
図４０は、撮像装置７１が行う画像処理の詳細を示すフローチャートである。なお、画像処理を除く撮像装置７１の処理の概要は、実施の形態１と同様である（図１３を参照）。図４０において、基本画像処理部１６１が基本画像処理を行い（ステップＳ１４１）、アート効果画像処理部１６３がアート効果処理を行う（ステップＳ１４２）。ここでの基本画像処理およびアート効果処理は、実施の形態１で説明したものと同じである。
【０２１７】
この後、制御部２９は、動画中特殊効果が設定されているか否かを判定する（ステップＳ１４３）。動画中特殊効果が設定されている場合（ステップＳ１４３：Ｙｅｓ）、撮像装置７１はステップＳ１４４に移行する。一方、動画中特殊効果が設定されていない場合（ステップＳ１４３：Ｎｏ）、撮像装置７１はメインルーチン（図１３を参照）へ戻る。
【０２１８】
ステップＳ１４４において、制御部２９は、設定された特殊効果がマルチエコーであるか否かを判定する。設定された特殊効果がマルチエコーである場合（ステップＳ１４４：Ｙｅｓ）、撮像装置１はステップＳ１４５へ進む。一方、設定された特殊効果がマルチエコーでない場合（ステップＳ１４４：Ｎｏ）、撮像装置１は後述するステップＳ１４９へ移行する。
【０２１９】
ステップＳ１４５において、撮像装置１が静止画モードに設定されている場合（ステップＳ１４５：Ｙｅｓ）、リサイズ処理部７２２は、動画用の前フレームをリサイズする（ステップＳ１４６）。この処理は、動画と静止画で画像データの画素数が異なるためである。
【０２２０】
図４１は、リサイズ処理部７２２が行うリサイズ処理の概要を模式的に示す図である。図４１において、フレームの大きさが画像データの画素数に対応している。リサイズ処理部７２２が動画データをリサイズする際には、動画フレーム３０１のアスペクト比を維持したまま、動画フレーム３０１の横方向の画素数が静止画フレーム３０２の横方向の画素数と略等しくなるように、補間によって画素数を増やすことによってリサイズ後フレーム３０１'を生成する。
【０２２１】
続いて、動画中特殊効果画像処理部１６３は、リサイズした動画フレームと静止画フレームとを合成する（ステップＳ１４７）。具体的には、動画中特殊効果画像処理部１６３は、画素の色データごとに動画フレームの信号と静止画フレームの信号を所定の比率で足し合わせることによって合成画像信号を生成する。合成画像信号は、前フレーム画像信号の比率をｃ（＜１）とすると、
ｃ×前フレーム画像の信号＋（１−ｃ）×静止画フレームの信号
で表される。
【０２２２】
図４２は、静止画モードにおける合成処理と前フレーム画像信号の合成比率ｃを模式的に説明する図である。図４２において、リサイズした前フレームと静止画との間で、共通して画像が存在する領域Ｄ１において、前フレームである画像信号の比率ｃはほぼ一定値ｃ0をとる。一定値ｃ0の値は、例えば０．５よりも小さい値である。これに対し、動画フレームの信号が存在しない領域Ｄ２と領域Ｄ１の境界付近では、領域Ｄ１から領域Ｄ２に向けて比率ｃが徐々に小さくなっていき、領域Ｄ２内でｃ＝０となる。
【０２２３】
ステップＳ１４５において、撮像装置１が動画モードに設定されていれば（ステップＳ１４５：Ｎｏ）、動画中特殊効果画像処理部１６３は、前フレームと動画フレームをそのまま合成する（ステップＳ１４８）。
【０２２４】
ステップＳ１４７またはＳ１４８に続いて、制御部２９は、適用する効果がワンショットエコーであるか否かを判定する（ステップＳ１４９）。適用する効果がワンショットエコーである場合（ステップＳ１４９：Ｙｅｓ）において、静止画撮影モードに設定されているとき（ステップＳ１５０：Ｙｅｓ）、動画中特殊効果画像処理部１６３は、前フレームをリサイズする（ステップＳ１５１）。適用する効果がワンショットエコーである場合（ステップＳ１４９：Ｙｅｓ）において、静止画撮影モードに設定されていないとき（ステップＳ１５０：Ｎｏ）、撮像装置１はステップＳ１５２へ移行する。
【０２２５】
その後、動画中特殊効果画像処理部１６３は、前フレームと現在のフレームを所定の合成比率で合成する（ステップＳ１５２）。この合成比率は、現在のフレームの比率が高くなるように設定されることが望ましい。
【０２２６】
ステップＳ１４９において、適用する動画中特殊効果がワンショットエコーでない場合（ステップＳ１４９：Ｎｏ）、撮像装置７１はステップＳ１５３へ移行する。
【０２２７】
ステップＳ１５３において、制御部２９は、適用する効果が揺らぎであるか否かを判定する。適用する効果が揺らぎである場合（ステップＳ１５３：Ｙｅｓ）、動画中特殊効果画像処理部１６３は揺らぎを追加する（ステップＳ１５４）。一方、適用する効果が揺らぎでない場合（ステップＳ１５３：Ｎｏ）、撮像装置７１はステップＳ１５５へ移行する。
【０２２８】
ステップＳ１５５において、制御部２９は、適用する効果がトランジットであるか否かを判定する（ステップＳ１５５）。適用する効果がトランジットである場合（ステップＳ１５５：Ｙｅｓ）において、撮像装置７１が静止画を撮影する状態でないとき（ステップＳ１５６：Ｎｏ）、基本画像処理部１６１およびアート効果画像処理部１６２は、仕上がり／切り替え先の設定に応じた基本画像処理（ステップＳ１５７）およびアート効果処理（ステップＳ１５８）をそれぞれ実行する。
【０２２９】
その後、動画中特殊効果画像処理部１６３は、トランジット用の二つの画像の合成処理を行う（ステップＳ１５９）。ステップＳ１５９の後、撮像装置７１はメインルーチンへ戻る。
【０２３０】
ステップＳ１５５において、適用する効果がトランジットでない場合（ステップＳ１５５：Ｎｏ）、撮像装置７１は静止画に対してトランジットを適用することなく、メインルーチンへ戻る。
【０２３１】
ステップＳ１５６において、撮像装置７１が静止画を撮影する状態である場合（ステップＳ１５６：Ｙｅｓ）、撮像装置７１はメインルーチンへ戻る。
【０２３２】
以上説明した本発明の実施の形態５によれば、静止画に対してもマルチエコーやワンショットエコーの特殊効果を付与するが、その際にリサイズ処理を行っているため、動画と静止画を合成しても違和感がない。したがって、本実施の形態５によれば、動画と静止画に対し、それぞれの特性を活かした適切な残像効果を適用することができる。
【０２３３】
なお、本実施の形態５では、動画の場合も静止画の場合も前フレームのみを合成していたが、複数の前フレームを用いて合成画像を生成してもよい。その際には、静止画の場合には動画の場合よりも多数の前フレームを用いることによって残像効果を大きくすればより好ましい。
【０２３４】
（変形例５−１）
図４３は、本実施の形態５の変形例５−１に係る撮像装置が行うリサイズ処理の概要を模式的に示す図である。図４３においても、フレームの大きさが画像データの画素数に対応している。本変形例５−１では、画像データを記録する際、動画の場合にも静止画と同じアスペクト比の画像データ３０３をＳＤＲＡＭ２５に記録する。この画像データ３０３のうち、動画のアスペクト比を有する部分を圧縮して動画データ３０４として記録媒体２３に記録する。
【０２３５】
本変形例５−１では、静止画を撮影した場合、動画中特殊効果画像処理部１６３は、前フレームとしてＳＤＲＡＭ２５が記憶する画像データ３０３を使用してリサイズすることにより、静止画フレームと同じ画素数を有するリサイズ画像データ３０３'を生成する。このため、静止画像データと動画像データを合成する場合であっても同じアスペクト比の画像データを合成することができる。
【０２３６】
以上説明した本実施の形態５の変形例５−１によれば、前フレームのアスペクト比を静止画のアスペクト比に揃えて合成することができるので、静止画フレームに写っている被写体のうち前フレーム画像の動画アスペクト比の領域外に写っている被写体についても自然な残像効果を持たせることができる。
【０２３７】
（実施の形態６）
本発明の実施の形態６は、実施の形態５と同様、動画中に静止画を撮影した場合にも、それより時間的に前に取得した動画データを用いて動画中特殊効果を付与するとともに、動画中特殊効果を付与しない静止画自体も記録することを特徴とする。本実施の形態６に係る撮像装置の構成は、実施の形態５で説明した撮像装置７１の構成と同様である。
【０２３８】
図４４は、本実施の形態６に係る撮像装置７１が行う画像処理の詳細を示すフローチャートである。図４４において、基本画像処理部１６１は、基本画像処理を行う（ステップＳ１６１）。またアート効果画像処理部１６２は、アート効果処理を行う（ステップＳ１６２）。
【０２３９】
その後、制御部２９は、動画中特殊効果が設定されているか否かを判定する（ステップＳ１６３）。動画中特殊効果が設定されている場合（ステップＳ１６３：Ｙｅｓ）、撮像装置７１はステップＳ１６４へ移行する。一方、動画中特殊効果が設定されていない場合（ステップＳ１６３：Ｎｏ）、撮像装置７１はメインルーチンへ戻る。
【０２４０】
ステップＳ１６４において、撮像装置１が静止画撮影モードに設定されている場合（ステップＳ１６４：Ｙｅｓ）、制御部２９は静止画を記録媒体２３へ記録する制御を行う（ステップＳ１６５）。これに対し、撮像装置１が静止画撮影モードに設定されていない場合（ステップＳ１６４：Ｎｏ）、撮像装置１はステップＳ１６６へ移行する。
【０２４１】
ステップＳ１６６〜Ｓ１８１の処理は、実施の形態５で説明したステップＳ１４４〜Ｓ１５９の処理に順次対応している（図４０を参照）。
【０２４２】
以上説明した本発明の実施の形態６によれば、静止画に対してもマルチエコーやワンショットエコーの特殊効果を付与するが、その際にリサイズ処理を行っているため、動画と静止画を合成しても違和感がない。したがって、本実施の形態６によれば、動画と静止画に対し、それぞれの特性を活かした適切な残像効果を適用することができる。
【０２４３】
また、本実施の形態６によれば、動画中特殊効果を付与したい静止画も自動的に記録するため、ユーザは静止画を再生する時に自身の好みの画像を選択することができる。
【０２４４】
（実施の形態７）
図４５は、本発明の実施の形態７に係る撮像装置が行う画像処理の概要を模式的に示す図である。本実施の形態７では、動画中特殊効果としてマルチエコーを適用する場合、動画と静止画で、合成対象とする前フレームの動画画像データの枚数が異なる。具体的には、動画の場合には、３枚の動画画像データを合成するのに対し、静止画の場合には、５枚の動画画像データを合成する。なお、本実施の形態７に係る撮像装置の構成は、実施の形態５で説明した撮像装置７１の構成と同じである。
【０２４５】
図４６は、本実施の形態７に係る撮像装置７１が行う画像処理の概要を示すフローチャートである。図４６において、まず制御部２９は、撮像素子１２が取得したＲＡＷ画像データ（ベイヤデータ）をＳＤＲＡＭ２５内に確保したリングバッファで管理する（ステップＳ１９１）。
【０２４６】
図４７は、ベイヤデータと露光量との関係を示す図である。同図に示す曲線Ｌからも明らかなように、ベイヤデータの数値は、暗部で立ち上がりが急であり、明部で立ち上がりが緩やかなニー（ｋｎｅｅ）特性を有する。このような特性を有する曲線Ｌは、暗部ほど量子化ステップを細かくする一方、明部ほど量子化ステップを粗くすることによって得られる。このように、本実施の形態７では、露光量によらず一定である通常の量子化ステップとは異なる量子化ステップでベイヤデータを量子化しているため、ベイヤデータの数値特性がガンマの特性に近くなり、画質への影響が少なく、データを圧縮しやすくなる。その結果、より小さな画像データをＳＤＲＡＭ２５に格納することができる。
【０２４７】
図４８は、ＳＤＲＡＭ２５が記憶するデータ構造の要部を模式的に示す図である。同図に示すデータ構造４０１には、画像合成時に使用する枚数分（図では５枚分）のバッファＢｕ１〜Ｂｕ５がリングバッファとして確保されている。バッファＢｕｉ（ｉ＝１〜５）には、ベイヤデータを格納する領域Ｂｕｉ１と、次のバッファのアドレスを格納する領域Ｂｕｉ２とが設けられている。以下、バッファＢｕｉのアドレスをＡｄｉとする。
【０２４８】
最初にベイヤデータを格納する際には、初期格納先情報を「格納先アドレス＝Ａｄ１、末端アドレス＝ＮＵＬＬ（０）」とする。その後、ベイヤデータを格納すると、格納先情報は「格納先アドレス＝Ａｄ２，末端アドレス＝Ａｄ１」となる。これは、アドレスＡｄ１からアドレスＡｄ２の一つ前のバッファまで古い順にデータがあることを意味する。すなわち、格納されたベイヤデータが１つあることを意味する。
【０２４９】
この後、二つ目のベイヤデータを格納すると、格納先情報は「格納先アドレス＝Ａｄ３、末端アドレス＝Ａｄ１」となる。この場合には、２つのバッファＢｕ１、Ｂｕ２にベイヤデータが格納される。
【０２５０】
以後同様に繰り返し、５つ目のベイヤデータを格納すると、格納先情報は「格納先アドレス＝Ａｄ１、末端アドレス＝Ａｄ１」となる。この場合、５つのバッファＢｕ１〜Ｂｕ５にベイヤデータが格納される。
【０２５１】
この後、ベイヤデータの格納を続けると、最も古いベイヤデータはバッファＢｕ１に格納されているため、このベイヤデータが最新のデータに更新され、バッファＢｕ１に格納されたベイヤデータが最も古いデータとなる。このため、格納先情報は「格納先アドレス＝Ａｄ２，末端アドレス＝Ａｄ２」となる。
【０２５２】
以後同様の処理を繰り返すことにより、ＳＤＲＡＭ２５では、最も古いベイヤデータを最新のベイヤデータに置替しながら一定枚数のベイヤデータを管理する。
【０２５３】
図４６に戻ってステップＳ１９２以降の処理を説明する。基本画像処理部１６１は、基本画像処理を行う（ステップＳ１９２）。また、アート効果画像処理部１６２は、アート効果画像処理を行う（ステップＳ１９３）。基本画像処理およびアート効果画像処理が施された画像データ（ベイヤデータ）は、ＳＤＲＡＭ２５のバッファに格納される。
【０２５４】
この後、制御部２９は、動画中特殊効果が設定されているか否かを判定する（ステップＳ１９４）。動画中特殊効果が設定されている場合（ステップＳ１９４：Ｙｅｓ）、撮像装置７１はステップＳ１９５へ移行する。一方、動画中特殊効果が設定されていない場合（ステップＳ１９４：Ｎｏ）、撮像装置７１はメインルーチンへ戻る。
【０２５５】
ステップＳ１９５において、動画中特殊効果としてマルチエコーが設定されていれば（ステップＳ１９５：Ｙｅｓ）、撮像装置７１はマルチエコー処理を行う（ステップＳ１９６）。マルチエコー処理の詳細については後述する。
【０２５６】
続くステップＳ１９７〜ステップＳ２０７の処理は、図４４のステップＳ１７１〜Ｓ１８１の処理に順次対応している。
【０２５７】
図４９は、マルチエコー処理の概要を示すフローチャートである。図４９において、動画中特殊効果画像処理部１６３は、取得した画像信号に対して画素ごとに所定の係数（ゲイン）を乗算する（ステップＳ２１１）。この係数の値は、後述するｄ0である。
【０２５８】
この後、制御部２９は、繰り返しの回数を示すカウンタＩの値を０とする（ステップＳ２１２）。
【０２５９】
続いて、動画中特殊効果画像処理部１６３は、Ｉ＋１フレーム分だけ前のデータを取得し（ステップＳ２１３）、線形変換を行う（ステップＳ２１４）。ここでの線形変換は、フレームごとの量子化ステップ時の特性の違いをなくすためのものであって、上述した量子化ステップにおける特性と逆の特性（デニー（ｄｅｋｎｅｅ）特性）を有する。このような線形変換を行うことにより、ベイヤデータは露光量と比例する数値を有することとなる。
【０２６０】
この後、基本画像処理部１６１は、線形変換された画像データに対して基本画像処理を行う（ステップＳ２１５）。また、アート効果画像処理部１６２は、ステップＳ２１５で基本画像処理された画像データに対してアート効果画像処理を行う（ステップＳ２１６）。
【０２６１】
ステップＳ２１６に続く処理は、撮像装置７１が取得した画像が静止画であるか動画であるかに応じて異なる。まず、取得した画像が静止画である場合（ステップＳ２１７：Ｙｅｓ）を説明する。この場合、リサイズ処理部７２２は、画像データをリサイズし（ステップＳ２１８）、リサイズした画像データを用いて合成を行う（ステップＳ２１９）。ここでの合成処理は、
フレームバッファ画像データ＋ｄ×画像データ
と表される。
【０２６２】
図５０は、動画画像ゲインｄの値と繰り返し回数Ｉとの関係を示す図である。図５０に示す場合、繰り返し回数Ｉが増加するにつれて、画像ゲインｄは小さくなっていき、全ての取りうるＩに対応した係数を全てのＩの分だけ和を取ると１．０となるように設定されている（ｄ0＋ｄ1＋ｄ2＋ｄ3＋ｄ4＝１．０）。ここで、Ｉ＝０における画像ゲインｄ0は、上述したステップＳ２１１で適用した画像ゲインの値である。
【０２６３】
続いて、制御部２９は、カウンタＩを１増やしてＩ＋１とする（ステップＳ２２０）。この後、カウンタＩが所定値Ｉ0（ここではＩ0＝５）よりも小さければ（ステップＳ２２１：Ｙｅｓ）、撮像装置７１はステップＳ２１３に戻る。一方、カウンタＩが所定値Ｉ0以上であれば（ステップＳ２２１：Ｎｏ）、撮像装置７１はメインルーチンへ戻る。
【０２６４】
次に、取得した画像が動画である場合（ステップＳ２１７：Ｎｏ）を説明する。この場合、動画中特殊効果画像処理部１６３は、２つのフレームを合成する（ステップＳ２２２）。ここでの合成処理は、静止画と同様、
フレームバッファ画像データ＋ｅ×画像データ
で表される。
【０２６５】
図５１は、取得した画像が静止画である場合に適用される画像ゲインｅの値と繰り返し回数Ｉとの関係を示す図である。図５１に示す場合、繰り返し回数Ｉが増加するにつれて、係数は小さくなっていき、全ての取りうるＩに対応した係数を全てのＩの分だけ和を取ると１．０となるように設定されている（ｅ0＋ｅ2＋ｅ4＝１．０）点は静止画と同じである。ただし、動画の場合、インクリメント量が静止画よりも大きいため、同じＩの値で比較すると、動画に適用する係数の方が大きくなっているほうがより好ましい。なお、ステップＳ２１１における画像ゲインの値を静止画と動画で同じにする上では、ｄ0＝ｅ0でなければならない。
【０２６６】
続いて、制御部２９は、カウンタＩを２増やしてＩ＋２とする（ステップＳ２２３）。この後、撮像装置１はステップＳ２２１へ移行する。
【０２６７】
以上説明した本発明の実施の形態７によれば、動画と静止画にそれぞれ適切な残像効果を実現し、最低限の処理で画像を作成することが可能となる。
【０２６８】
また、本実施の形態７によれば、係数の特性は任意に設定することができるため、設計の自由度も大きい。
【０２６９】
なお、本実施の形態７においては、レンズ操作部３５などからの操作入力により、画像ゲインｄおよびｅ、リングバッファの数、合成に使用するフレームの間隔などの設定を変更することができるようにしてもよい。このように各種設定を変更することにより、ユーザの好みに合った残像効果を作成することが可能となる。
【０２７０】
本実施の形態７におけるリングバッファの管理態様は、上述した方法に限られるわけではない。例えば、キューを用いてリングバッファを管理することも可能である。以下、キューを用いたリングバッファの管理方法を説明する。
【０２７１】
図５２は、ＳＤＲＡＭ２５が記憶するデータ構造の要部を模式的に示す図である。同図に示すデータ構造４０２には、画像合成時に使用する枚数分（図では５枚分）のバッファｂｕ１〜ｂｕ５がリングバッファとして確保されている。バッファｂｕｉ（ｉ＝１〜５）には、ベイヤデータが格納されている。
【０２７２】
図５３は、キューを用いたリングバッファの管理の態様を示す図である。まず、空きキューに要素がある場合には、先頭を取り出して対応するベイヤデータを格納し、使用キューの末尾に追加する。図５３（ａ）の場合には、空きキューの先頭のバッファｂｕ１を取り出して対応するベイヤデータ１を格納し、そのバッファｂｕ１を使用キューの末尾に追加する（図５３（ｂ））。この処理を繰り返すと、図５３（ａ）に示す場合、格納５回目で空きキューは空となり、使用キューに全てのバッファが追加される。その後は、使用キューの先頭を末尾へと移動させながらベイヤデータの格納を続ける（図５３（ｄ））。
【０２７３】
このように、リングバッファを用いて動画データを管理する場合には、公知技術のいずれかを適用することが可能である。
【０２７４】
なお、本実施の形態７においては、合成する画像データの抽出間隔を変更してもよいし、合成する画像データの数を変更してもよい。また、本実施の形態８においては、リングバッファとして格納するベイヤデータの数を変えてもよい。これらの設定変更は、設定信号入力部２０１からの設定信号の入力によって実行できるようにすればよい。
【０２７５】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜７によってのみ限定されるべきものではない。
【０２７６】
例えば、本発明において、表示部とは別に電子ビューファインダを本体部に設け、この電子ビューファインダにおいて本発明を適用するようにしてもよい。この場合には、表示部と電子ビューファインダとで動画中特殊効果の見え方が異なるようにすればより好ましい。
【０２７７】
また、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。
【０２７８】
また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、例えばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。
【０２７９】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０２８０】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【０２８１】
１、５１、６１、７１ 撮像装置
２ 本体部
３ レンズ部
１２ 撮像素子
１６、７２ 画像処理部
１９ 画像圧縮展開部
２０、５２、６２ 入力部
２１ 表示部
２２ 表示駆動部
２３ 記録媒体
２６ Ｆｌａｓｈメモリ
２７ 本体通信部
２８ バス
２９ 制御部
３１ 光学系
３５ レンズ操作部
３６ レンズｆｌａｓｈメモリ
３７ レンズ通信部
３８ レンズ制御部
４１ 電源ボタン
４２ レリーズボタン
４３ モードダイヤル
４４ 操作ボタン
４５ メニューボタン
４６ 再生ボタン
４７ 動画ボタン
４８ ファンクションキー
４９ 消去ボタン
５０ タッチパネル
１６１ 基本画像処理部
１６２ アート効果画像処理部
１６３、７２１ 動画中特殊効果画像処理部
２０１、６２１ 設定信号入力部
２０２ 動画撮影信号入力部
２６１ プログラム記録部
２６２ 特殊効果処理情報記録部
２６３ 画像処理情報記録部
２９１ 画像処理制御部
２９２ 表示制御部
３０１ 動画フレーム
３０１' リサイズ後フレーム
３０２ 静止画フレーム
３０３ 画像データ
３０３' リサイズ画像データ
３０４ 動画データ
４０１、４０２ データ構造
４４１ 十字キー
４４２ 決定ボタン
４４３ 上矢印キー
４４４ 下矢印キー
４４５ 左矢印キー
４４６ 右矢印キー
５２１ シミュレーション信号入力部
５２２ 効果記録開始信号入力部
５２３ 効果停止信号入力部
６２２ モード設定信号入力部
７２２ リサイズ処理部
Ａ１、Ａ２、Ａ３、Ａ４、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｒ２０ アート効果画像
Ｉ１ 撮影モードアイコン
Ｉ２、Ｉ３ メニュー選択アイコン
Ｉ４ ワンショットエコーアイコン
Ｉ５ マルチエコーアイコン
Ｉ６ トランジットアイコン
Ｉ７ テストオンアイコン
Ｉ８ リターンアイコン
Ｉ９ 仕上がり一覧表示アイコン
Ｉ１０ 確定アイコン
Ｉ１１ 終了アイコン
Ｉ１２ テストオフアイコン
Ｉ１７ 動画アイコン
Ｉ９１ 上スクロールボタン
Ｉ９２ 下スクロールボタン
Ｒ１、Ｒ２、Ｒ３、Ｒ４ マルチエコー画像
Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４ ワンショットエコー画像
Ｒ２１、Ｒ２２、Ｒ２３、Ｒ２４、Ｒ２５ トランジット画像
Ｓ１ ＳＤＲＡＭ画像
【技術分野】
【０００１】
本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置では、自然な印象を有するきれいな画像を生成する機能にとどまらず、ノイズ、シェーディング、ぼかし等の効果を意図的に付加する機能を有するものが知られている。このような機能を有する撮像装置は、従来得られなかった独特の印象を与える撮影を可能としている。
【０００３】
例えば、下記特許文献１では、フィルムのような粒状感（ノイズ感）を有するとともに、ハイコントラストの画像を生成する技術が開示されている。この技術によれば、荒々しく力強い印象の画像を撮影することができる。
【０００４】
また、下記特許文献２では、周縁部が減光された画像を生成する技術が開示されている。この技術によれば、トイカメラで撮影したような印象の画像を撮影することができる。
【０００５】
これらの従来技術は、静止画撮影だけでなく動画撮影にも適用可能である。動画を撮影する場合には、時間的な画像の移り変わりを利用して、静止画にはない動画ならではの独特の映像表現を行うことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−６２８３６号公報
【特許文献２】特開２０１０−７４２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、撮像装置では、動画撮影中に静止画撮影を行うことができる技術も知られている。このような場合、静止画にもその前に撮影した動画データを用いて動画的な味付けを加えた特殊効果を付与することが考えられる。
【０００８】
しかしながら、動画と静止画では画素数やアスペクト比が異なっているのが一般的であり、動画に対して付与する特殊効果と同様の特殊効果を静止画に対して付与することは難しかった。このため、動画と動画撮影中に撮影する静止画に対して個別に最適な映像表現を実現することができる技術が待望されていた。
【０００９】
本発明は、上記に鑑みてなされたものであって、動画と動画撮影中に撮影する静止画とに対して個別に最適な映像表現を実現することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像して該被写体の画像データを生成し、動画を撮影可能であるとともに、動画撮影終了直後を含む動画撮影中に静止画を撮影可能な撮像装置であって、動画の画像データに対応する複数のフレームにわたって視覚的な効果を生じさせる第１の特殊効果を付与する画像処理を行うとともに、前記動画撮影中に撮影した静止画に対して、該静止画の前に撮影した動画の画像データを用いて前記第１の特殊効果に対応する第２の特殊効果を付与する画像処理を行う動画中特殊効果画像処理部と、前記動画特殊効果画像処理部における前記第１および第２の特殊効果の付与態様を制御する制御部と、を備えたことを特徴とする。
【００１１】
本発明において、動画撮影中の静止画撮影とは、動画を撮影している途中で静止画を撮影する場合と、動画撮影を終了した直後に静止画を撮影する場合とを含む。また、動画を撮影している途中で静止画を撮影する場合には、静止画撮影時に動画撮影をいったん停止する場合と、静止画撮影を動画撮影と並行して行う場合とが含まれる。
【００１２】
また、本発明に係る撮像装置は、上記発明において、前記制御部は、前記第１の特殊効果を付与している前記複数のフレームの間に含まれる静止画に対して前記第２の特殊効果を付与しない制御を行うことを特徴とする。
【００１３】
また、本発明に係る撮像装置は、上記発明において、前記制御部は、前記第１の特殊効果を付与している前記複数のフレームの間に含まれる静止画に対して前記第２の特殊効果を付与する制御を行うことを特徴とする。
【００１４】
また、本発明に係る撮像装置は、上記発明において、前記画像データを記憶する記憶部を備え、前記制御部は、前記第１の特殊効果を付与している前記複数のフレームの間に含まれる静止画に対して前記第２の特殊効果を付与する制御を行い、前記第２の特殊効果を付与した画像データと前記第２の特殊効果を付与しない画像データとを前記記憶部に記憶させることを特徴とする。
【００１５】
また、本発明に係る撮像装置は、上記発明において、前記動画中特殊効果画像処理部は、前記静止画の前に撮影した動画の画像データの画素数を前記静止画の画像データの画素数に近づけるリサイズ処理を行うリサイズ処理部を有し、前記リサイズ処理部がリサイズ処理を行った動画の画像データと前記静止画の画像データとを合成することを特徴とする。
【００１６】
また、本発明に係る撮像装置は、上記発明において、前記動画中特殊効果画像処理部が行う画像処理は、一つ前のフレームの画像データと最新の画像データとを所定の比率で合成する処理を連続して行うマルチエコー処理を含み、前記最新の画像データが静止画の画像データである場合、前記リサイズ処理部が該画像データに対してリサイズ処理を行うことを特徴とする。
【００１７】
また、本発明に係る撮像装置は、上記発明において、前記動画中特殊効果画像処理部が行う画像処理は、特定の画像データとこの画像データの後に撮影した画像データとを所定の比率で順次合成し、前記特定の画像データの合成比率が時間とともに小さくなるワンショットエコー処理を含み、前記最新の画像データが静止画の画像データである場合、前記リサイズ処理部が該画像データに対してリサイズ処理を行うことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、動画の画像データに対応する複数のフレームにわたって視覚的な効果を生じさせる第１の特殊効果を付与する画像処理を行うとともに、動画撮影中に撮影した静止画に対して、該静止画の前に撮影した動画の画像データを用いて第１の特殊効果に対応する第２の特殊効果を付与する画像処理を行うため、動画と動画撮影中に撮影する静止画とに対して個別に最適な映像表現を実現することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る撮像装置のユーザに面する側（前面側）の構成を示す斜視図である。
【図３】図３は、本発明の実施の形態１に係る撮像装置のアート効果画像処理部が行うアート効果画像処理の概要を示す図である。
【図４】図４は、マルチエコーの概要を説明する図である。
【図５】図５は、ワンショットエコーの概要を説明する図である。
【図６】図６は、最新の撮影画像に合成されるＳＤＲＡＭ画像の係数の時間変化を示す図である。
【図７】図７は、トランジットの概要を説明する図である。
【図８】図８は、トランジット処理において開始トリガ入力前にかけられているアート効果の係数の時間変化を示す図である。
【図９】図９は、揺らぎの概要を説明する図である。
【図１０】図１０は、動画記録時と動画非記録時における十字キーの各矢印キーへの操作割り当て例を示す図である。
【図１１】図１１は、動画記録時と動画非記録時における十字キーの各矢印キーへの操作割り当て例（第２例）を示す図である。
【図１２】図１２は、本発明の実施の形態１に係る撮像装置が備えるレンズ制御部と制御部との同期通信の一例を示すタイミングチャートである。
【図１３】図１３は、本発明の実施の形態１に係る撮像装置が行う処理の概要を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態１に係る撮像装置の表示部における動画用の画面表示例を示す図である。
【図１５】図１５は、本発明の実施の形態１に係る撮像装置が行う動画中特殊効果制御処理の概要を示すフローチャートである。
【図１６】図１６は、本発明の実施の形態１に係る撮像装置が行う画像処理の概要を示すフローチャートである。
【図１７】図１７は、本発明の実施の形態１の変形例１−１に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。
【図１８】図１８は、本発明の実施の形態１の変形例１−２に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。
【図１９】図１９は、本発明の実施の形態１の変形例１−３に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。
【図２０】図２０は、本発明の実施の形態１の変形例１−４に係る撮像装置が行う動画中特殊効果制御処理の概要を示すフローチャートである。
【図２１】図２１は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。
【図２２】図２２は、本発明の実施の形態２におけるユーザインターフェースの割り当てを示す図である。
【図２３】図２３は、本発明の実施の形態２に係る撮像装置の動画記録時における状態遷移の概要を示す図である。
【図２４】図２４は、本発明の実施の形態２の変形例２−１に係る撮像装置の動画記録時と静止画記録時におけるユーザインターフェースの割り当てを示す図である。
【図２５】図２５は、本発明の実施の形態２の変形例２−２に係る撮像装置が静止画撮影待機状態にある場合の表示部における画面表示例を示す図である。
【図２６】図２６は、本発明の実施の形態２の変形例２−２に係る撮像装置が動画撮影待機状態にある場合の表示部における画面表示例を示す図である。
【図２７】図２７は、動画中特殊効果としてトランジットが選択された場合の表示部における画面表示例を示す図である。
【図２８】図２８は、図２６に示す画面において動画ボタンが押された後の画面表示例を示す図である。
【図２９】図２９は、図２８に示す画面において確定アイコンが選択された後の表示部における画面表示例を示す図である。
【図３０】図３０は、図２６に示す画面においてテストオンアイコンが選択されてテストオン状態に遷移した場合の表示部の画面表示例を示す図である。
【図３１】図３１は、本発明の実施の形態３に係る撮像装置の構成を示すブロック図である。
【図３２】図３２は、本発明の実施の形態３に係る撮像装置が静止画撮影モードと動画撮影モードにそれぞれ設定されている場合のキーの割り当て例を示す図である。
【図３３】図３３は、本発明の実施の形態３に係る撮像装置が行う処理の概要を示すフローチャートである。
【図３４】図３４は、本発明の実施の形態３の変形例３−１に係る撮像装置が静止画撮影モードと動画撮影モードにそれぞれ設定されている場合のキーの割り当て例を示す図である。
【図３５】図３５は、本発明の実施の形態３の変形例３−２に係る撮像装置が静止画撮影待機状態にある場合の表示部における画面表示例を示す図である。
【図３６】図３６は、図３５に示す画面において撮影モードアイコンが選択された場合に表示部が表示する画面表示例を示す図である。
【図３７】図３７は、動画撮影待機状態における表示部の画面表示例を示す図である。
【図３８】図３８は、本発明の実施の形態４に係る撮像装置が行う処理の概要を示すフローチャートである。
【図３９】図３９は、本発明の実施の形態５に係る撮像装置の構成を示すブロック図である。
【図４０】図４０は、本発明の実施の形態５に係る撮像装置が行う画像処理の詳細を示すフローチャートである。
【図４１】図４１は、本発明の実施の形態５に係る撮像装置のリサイズ処理部が行うリサイズ処理を模式的に示す図である。
【図４２】図４２は、静止画モードにおける合成処理と前フレーム画像信号の合成比率ｃを模式的に説明する図である。
【図４３】図４３は、本発明の実施の形態５の変形例５−１に係る撮像装置が行うリサイズ処理を模式的に示す図である。
【図４４】図４４は、本発明の実施の形態に係る撮像装置が行う画像処理の詳細を示すフローチャートである。
【図４５】図４５は、本発明の実施の形態７に係る撮像装置が行う画像処理の概要を模式的に示す図である。
【図４６】図４６は、本発明の実施の形態７に係る撮像装置が行う画像処理の概要を示すフローチャートである。
【図４７】図４７は、ベイヤデータと露光量との関係を示す図である。
【図４８】図４８は、本発明の実施の形態７に係る撮像装置のＳＤＲＡＭが記憶するデータ構造の要部を模式的に示す図である。
【図４９】図４９は、マルチエコー処理の概要を示すフローチャートである。
【図５０】図５０は、取得した画像が静止画である場合に適用される画像ゲインの値と繰り返し回数との関係を示す図である。
【図５１】図５１は、取得した画像が静止画である場合に適用される画像ゲインの値と繰り返し回数との関係を示す図である。
【図５２】図５２は、ＳＤＲＡＭが記憶するデータ構造の要部を模式的に示す図である。
【図５３】図５３は、キューを用いたリングバッファの管理の態様を示す図である。
【発明を実施するための形態】
【００２０】
以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。図面の記載において、同一の部分には同一の符号を付して説明する。
【００２１】
（実施の形態１）
本発明の実施の形態１は、静止画と動画を撮影可能な撮像装置を用いて動画記録を開始すると、静止画用に割り当てられた操作入力用のユーザインターフェースの機能が動画特殊効果用に切り替わることを特徴とする。
【００２２】
本実施の形態１に係る撮像装置は、動画撮影中に静止画を撮影する機能を有する。ここで、動画撮影中の静止画撮影とは、動画を撮影している途中で静止画を撮影する場合と、動画撮影を終了した直後に静止画を撮影する場合とを含む。また、動画を撮影している途中で静止画を撮影する場合には、静止画撮影時に動画撮影を一旦停止する場合と、静止画撮影を動画撮影と並行して行う場合とが含まれる。
【００２３】
図１は、本実施の形態１に係る撮像装置の構成を示すブロック図である。図２は、本発明の実施の形態１に係る撮像装置のユーザに面する側（前面側）の構成を示す斜視図である。図１および図２に示す撮像装置１は、本体部２と、本体部２に着脱自在なレンズ部３と、を備える。
【００２４】
本体部２は、シャッタ１０と、シャッタ駆動部１１と、撮像素子１２と、撮像素子駆動部１３と、信号処理部１４と、Ａ／Ｄ変換部１５と、画像処理部１６と、ＡＥ処理部１７と、ＡＦ処理部１８と、画像圧縮展開部１９と、入力部２０と、表示部２１と、表示駆動部２２と、記録媒体２３と、メモリＩ／Ｆ２４と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２５と、Ｆｌａｓｈメモリ２６と、本体通信部２７と、バス２８と、制御部２９と、を備える。
【００２５】
シャッタ１０は、撮像素子１２の状態を露光状態または遮光状態に設定する。シャッタ駆動部１１は、ステッピングモータ等を用いて構成され、制御部２９から入力される指示信号に応じてシャッタ１０を駆動する。
【００２６】
撮像素子１２は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像素子駆動部１３は、所定のタイミングで撮像素子１２から画像データ（アナログ信号）を信号処理部１４に出力させる。この意味で、撮像素子駆動部１３は、電子シャッタとして機能する。
【００２７】
信号処理部１４は、撮像素子１２から入力されるアナログ信号に対して、アナログ処理を施してＡ／Ｄ変換部１５に出力する。具体的には、信号処理部１４は、アナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、信号処理部１４は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
【００２８】
Ａ／Ｄ変換部１５は、信号処理部１４から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成し、バス２８を介してＳＤＲＡＭ２５に出力する。
【００２９】
画像処理部１６は、バス２８を介してＳＤＲＡＭ２５から画像データを取得し、取得した画像データ（ＲＡＷデータ）に対して各種の画像処理を行って処理画像データを生成する。この処理画像データは、バス２８を介してＳＤＲＡＭ２５に出力される。画像処理部１６は、基本画像処理部１６１と、アート効果画像処理部１６２と、動画中特殊効果画像処理部１６３と、を有する。
【００３０】
基本画像処理部１６１は、画像データに対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、基本画像処理部１６１は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する仕上がり効果処理を行って仕上がり効果画像データを生成する。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。
【００３１】
アート効果画像処理部１６２は、１つの画像データに対して複数の画像処理を組み合わせることにより、視覚的な効果を生じさせるアート効果処理を行って処理画像データ（以下、「アート効果画像データ」という）を生成する。
【００３２】
図３は、アート効果画像処理部１６２が行うアート効果画像処理の概要を示す図である。図３ではアート効果画像処理として、ファンタジックフォーカス、ファンタジックフォーカス＋スターライト、ファンタジックフォーカス＋ホワイトエッジ、ポップアート、ポップアート＋スターライト、ポップアート＋ピンホール、ポップアート＋ホワイトエッジ、トイフォト、ラフモノクローム、ジオラマの１０種類が記載されている。以下、これらのアート効果画像処理について説明する。
【００３３】
ファンタジックフォーカスは、画像全体にぼかし処理を施し、ぼかす前の画像と一定の割合で合成するソフトフォーカスの効果を与える処理である。ファンタジックフォーカスは、中間の輝度をより明るくするトーンカーブ処理を行うことにより、柔らかいトーンの中で、被写体のディテールを残しながら、幸福な光に包まれたように美しく幻想的な雰囲気の画像を結像または生成する。ファンタジックフォーカスは、例えばトーンカーブ処理、ぼかし処理、アルファブレンド処理および画像合成処理等の画像処理を組み合わせることによって実現される。
ファンタジックフォーカス＋スターライトは、ファンタジックフォーカスに加えて、画像中の高輝度部に対してクロスパターンを描写するクロスフィルター効果を施す処理である。
ファンタジックフォーカス＋ホワイトエッジは、ファンタジックフォーカスに加えて、画像の中心部から周縁部に行くにしたがって徐々に白味を帯びる効果が施す処理である。このような白味の効果は、画像の中心からの距離が大きいほど周辺部が白くなるように画素値を変更することによって得られる。
【００３４】
ポップアートは、色をカラフルに強調し、明るく楽しい雰囲気を表現する処理である。ポップアートは、例えば彩度強調処理およびコントラスト強調処理を組み合わせることによって実現される。全体に高コントラストで高彩度の効果である。
ポップアート＋スターライトは、ポップアートとスターライトを重ねて施す処理である。この場合には、カラフルな画像にクロスフィルターを施した効果が得られる。
ポップアート＋ピンホールは、ポップアートに加えて、画像の周縁部をシェーディングによって暗くして穴から覗き込むような効果を与えるトイフォト（ピンホール）を施す処理である。トイフォトの詳細については、後述する。
ポップアート＋ホワイトエッジは、ポップアートとホワイトエッジを重ねて施す処理である。
【００３５】
トイフォトは、画像の中心からの距離が大きいほど輝度が小さく（暗く）なるようにして、あたかも穴から覗き込んで異空間に迷い込んだような効果を生じさせる処理である。トイフォトは、例えばローパスフィルタ処理、ホワイトバランス処理、コントラスト処理、色相・彩度処理に加え、輝度信号に対して周辺ほど小さい係数を乗じるシェーディング処理等の画像処理を組み合わせることによって実現される（トイフォト、シェーディングの詳細な内容については、例えば特開２０１０−７４２４４号公報を参照）。
【００３６】
ラフモノクロームは、高コントラストとフィルムの粒状のノイズを付加してモノクロ画像の力強さや荒々しさを表現する処理である。ラフモノクロームは、例えばエッジ強調処理、レベル補正最適化処理、ノイズパターン重畳処理、合成処理およびコントラスト処理等を組み合わせることによって実現される（ラフモノクロームの詳細な内容については、例えば特開２０１０−６２８３６号公報を参照）。このうちノイズパターン重畳処理（ノイズ付加処理）は、予め作成したノイズパターン画像をもとの画像に加算する処理である。ノイズパターン画像は、例えば乱数などを発生させ、この乱数に基づいて生成してもよい。
【００３７】
ジオラマは、高コントラストで高彩度の画像に、画像の周縁部をぼかすことにより、ミニチュア模型やおもちゃを見ているかのような雰囲気を画面上に作り出す処理である。ジオラマは、例えば色相・彩度処理、コントラスト処理、周辺ぼかし処理および合成処理等を組み合わせることによって実現される。このうち、周辺ぼかし処理は、画像の中心からの距離に応じ、周辺部ほどぼける度合いが大きくなるように、画像の位置に応じてローパス係数を変更しながらローパスフィルタ処理を行うものである。なお、周辺ぼかし処理として、画像の上下のみ、または画像の左右のみをぼかすようにしてもよい。
【００３８】
動画中特殊効果画像処理部１６３は、動画を記録する際、画像に特殊効果を加える画像処理を行う。動画中特殊効果画像処理部１６３が行う動画中特殊効果としては、例えばマルチエコー、ワンショットエコー、トランジット、揺らぎがある。以下、これらの動画中特殊効果について説明する。
【００３９】
図４は、マルチエコーの概要を説明する図である。マルチエコーとは、直前の記録用画像と今撮影した画像の合成を所定の期間繰り返すことによって画像に残像が残る効果である。具体的には、図４に示すように、ボール１０１が動く軌跡を残像として表示することができる効果である。
【００４０】
動画中特殊効果画像処理部１６３は、動画中特殊効果としてマルチエコーが設定されている場合、開始トリガが入力されると、その直後に生成された画像に対して、一つ前のフレームの画像を所定の割合で合成する処理（マルチエコー処理）を行う。
【００４１】
図４に示す場合、動画中特殊効果画像処理部１６３は、開始トリガ入力直後の撮影画像Ｐ１とその１つ前のフレームの撮影画像Ｐ０に対応する記録画像Ｒ０とを合成することによってマルチエコー画像Ｒ１を生成する。この合成の際、各画素において、撮影画像Ｐ１の信号に係数０．６を乗じる一方、記録画像Ｒ０の信号に係数０．４を乗じる。
続いて、動画中特殊効果画像処理部１６３は、次のフレームの撮影画像Ｐ２と合成画像Ｒ１とを合成することによってマルチエコー画像Ｒ２を生成する。マルチエコー画像Ｒ２を生成する際には、各画素において、撮影画像Ｐ２の信号に係数０．６を乗じる一方、合成画像Ｒ１の信号に係数０．４を乗じる。
【００４２】
動画中特殊効果画像処理部１６３は、終了トリガが入力されるまで、上述した合成処理を繰り返し行うことによってマルチエコー画像を順次生成する。終了トリガが入力されると、記録媒体２３には、撮影画像Ｐ５に対応する記録画像Ｒ５が記録される。
【００４３】
図５は、ワンショットエコーの概要を説明する図である。ワンショットエコーとは、特定のフレームの画像（一瞬の画像）が徐々に薄くなりながら消えていく効果である。具体的には、図５に示すように、特定の時間に撮影されたボール１０１がしばらくの間撮影画像に残像として残るような効果である。
【００４４】
動画中特殊効果画像処理部１６３は、動画中特殊効果としてワンショットエコーが設定されている場合、開始トリガが入力されると、その直後に撮影して記録された画像データを一旦ＳＤＲＡＭ２５に保存し、この画像データをその後に撮影された画像データに対して時間とともに徐々に重みが減衰するように合成していく処理（ワンショットエコー処理）を行う。
【００４５】
図５に示す場合、開始トリガの入力直後に撮影された撮影画像Ｐ１はＳＤＲＡＭ２５に記憶される（以下、ＳＤＲＡＭ画像Ｓ１という）。動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ２５が記憶するＳＤＲＡＭ画像Ｓ１と最新の撮影画像とを所定の比率で合成する。
【００４６】
図５に示す場合、開始トリガ入力直後には撮影画像Ｐ１に対応するワンショットエコー画像Ｒ１１が表示される。
その後、時間ｔ＝ｔ２において、動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ画像Ｓ１と撮影画像Ｐ２とを合成することによってワンショットエコー画像Ｒ１２を生成する。この合成を行う際、各画素において、ＳＤＲＡＭ画像Ｓ１の信号に係数ａ1＝０．８を乗じる一方、撮影画像Ｐ２の信号に係数１−ａ1＝０．２を乗じる。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ3において、ＳＤＲＡＭ画像Ｓ１の信号に乗じる係数をａ＝０．４、撮影画像Ｐ３の信号に乗じる係数を１−ａ＝０．６として合成したワンショットエコー画像Ｒ１３を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ4において、ＳＤＲＡＭ画像Ｓ１の信号に乗じる係数をａ＝０．２、撮影画像Ｐ４の信号に乗じる係数を１−ａ＝０．８として合成したワンショットエコー画像Ｒ１４を生成する。
その後、時間ｔ＝ｔ5において係数ａ＝０となるため、撮影画像Ｐ５が記録画像Ｒ５となる。
【００４７】
図６は、最新の撮影画像に合成されるＳＤＲＡＭ画像の合成比率の時間変化を示す図である。図６において、横軸ｔは開始トリガ入力時点（ｔ＝０）からの経過時間であり、縦軸ａはＳＤＲＡＭ画像Ｓ１の各画素の信号に乗じる係数である。図６に示すように、係数ａは、ｔ＝０でａ1であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間ｔ5経過した時点で０となる。すなわち、ＳＤＲＡＭ画像Ｓ１の合成画像中に占める割合は、時間とともに徐々に減少していく設定がなされている。これにより、ＳＤＲＡＭ画像Ｓ１が時間とともに徐々に消えていくような画像を作り出すことができる。
【００４８】
なお、図６に示す曲線は一例に過ぎず、時間とともに係数ａが減衰するなどして一定時間で係数ａが０となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数ａが一定値をとる期間を含む曲線でもよい。
【００４９】
また、係数ａは、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で徐々に係数ａの値を減少させながら、所定のフレーム数（例えば１２０フレーム）で係数が０となるようにすればよい。
【００５０】
図７は、トランジットの概要を説明する図である。トランジットは、１つの画像に対して付与されるアート効果が、別のアート効果へと徐々に比率を変えながら変わっていく効果である。図７では、アート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。図７において、トランジットの開始トリガ入力直前は、撮影画像Ｐ０に対してアート効果Ａを施したアート効果画像Ａ０が生成される。トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。
【００５１】
図７に示す場合、開始トリガ入力前は、アート効果Ａが設定されているものとする。すなわち、開始トリガ入力直前において、アート効果画像処理部１６２は、撮影画像Ｐ０にアート効果Ａを施したアート効果画像Ｒ２０を形成しているものとする。
【００５２】
開始トリガが入力されると、動画中特殊効果画像処理部１６３は、撮影画像Ｐ１にアート効果Ａを施したアート効果画像Ａ１に係数ｂ（＝ｂ0）＝０．８を乗じる一方、撮影画像Ｐ１にアート効果Ｂを施したアート効果画像Ｂ１に係数１−ｂ（＝１−ｂ0）＝０．２を乗じた二つの画像を合成することによってトランジット画像Ｒ２１を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ12において、撮影画像Ｐ２にアート効果Ａを施したアート効果画像Ａ２の信号に乗じる係数をｂ＝０．６とし、撮影画像Ｐ２にアート効果Ｂを施したアート効果画像Ｂ２の信号に乗じる係数を１−ｂ＝０．４として合成したトランジット画像Ｒ２２を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ13において、撮影画像Ｐ３にアート効果Ａを施したアート効果画像Ａ３の信号に乗じる係数をｂ＝０．４とし、撮影画像Ｐ３にアート効果Ｂを施したアート効果画像Ｂ３の信号に乗じる係数を１−ｂ＝０．６として合成したトランジット画像Ｒ２３を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ14において、撮影画像Ｐ４にアート効果Ａを施したアート効果画像Ａ４の信号に乗じる係数をｂ＝０．２とし、撮影画像Ｐ４にアート効果Ｂを施したアート効果画像Ｂ４の信号に乗じる係数を１−ｂ＝０．８として合成したトランジット画像Ｒ２４を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ15において、撮影画像Ｐ５にアート効果Ｂのみを施した（ｂ＝０）トランジット画像Ｒ２５を生成する。
【００５３】
図８は、トランジット処理において開始トリガ入力前から付与されているアート効果の合成比率（係数）ｂの時間変化を示す図である。図８に示すように、係数ｂは、ｔ＝０でｂ0であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間ｔ15経過した時点で０となる。
【００５４】
なお、図８に示す曲線は一例に過ぎず、時間とともに係数ｂが減衰するなどして一定時間で係数ｂが０となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数ｂが一定値をとる期間を含む曲線でもよい。
【００５５】
また、係数ｂを、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で滑らかに係数ｂの値を減少させながら、所定のフレーム数（例えば１２０フレーム）で係数が０となるようにすればよい。
【００５６】
図９は、揺らぎの概要を示す図である。揺らぎとは、動画中の各フレームに対して付与するアート効果のかかり具合を時間とともにランダムに変化させることによって得られる効果である。図９では、一例として、アート効果がクロスフィルターである場合を示している。この場合、動画中特殊効果画像処理部１６３は、クロス１０２を時間とともにランダムに回転させるとともに、クロス１０２の大きさを時間とともにランダムに変化させることによって揺らぎを与えている。
【００５７】
引き続き、撮像装置１の構成を説明する。
ＡＥ処理部１７は、バス２８を介してＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１７は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値（Ｆ値）の設定値、シャッタ速度等を決定することで撮像装置１の自動露出を行う。
【００５８】
ＡＦ処理部１８は、バス２８を介してＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、撮像装置１の自動焦点の調整を行う。例えば、ＡＦ処理部１８は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ（Auto Focus）演算処理を行うことによって、撮像装置１の合焦評価を決定することで撮像装置１の自動焦点の調整を行う。
【００５９】
画像圧縮展開部１９は、バス２８を介してＳＤＲＡＭ２５から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ２５に出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部１９は、バス２８およびメモリＩ／Ｆ２４を介して記録媒体２３に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）してＳＤＲＡＭ２５に出力する。なお、記録媒体２３の代わりに撮像装置１の内部に記憶部を設けてもよい。
【００６０】
入力部２０は、静止画撮影および動画撮影における撮影条件を設定する静止画撮影条件設定信号を含む各種設定信号の入力を受け付ける設定信号入力部２０１と、少なくとも動画撮影の開始を指示する動画撮影開始信号の入力を受け付ける動画撮影信号入力部２０２と、を有する。
【００６１】
入力部２０は、本体部２の表面に設けられた操作信号入力用のユーザインターフェースを用いて実現される。以下、入力部２０の一部をなすユーザインタフェースの構成を説明する。
【００６２】
撮像装置１は、操作入力用のユーザインタフェースとして、撮像装置１の電源状態をオン状態またはオフ状態に切替える電源ボタン４１と、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付けるレリーズボタン４２と、撮像装置１に設定された各種撮影モードを切り替えるモードダイヤル４３と、撮像装置１の各種設定を切替える操作ボタン４４と、撮像装置１の各種設定を表示部２１に表示させるメニューボタン４５と、記録媒体２３に記録された画像データに対応する画像を表示部２１に表示させる再生ボタン４６と、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画ボタン４７と、撮像装置１の各種機能を設定するファンクションキー４８と、データを消去する消去ボタン４９と、表示部２１の表示画面に重ねて設けられ、外部からの接触位置に応じた入力信号を受け付けるタッチパネル５０とを有する。
【００６３】
レリーズボタン４２は、外部からの押圧により進退可能である。レリーズボタン４２が半押しされた場合、撮影準備動作を指示する１ｓｔレリーズ信号が入力される。これに対し、レリーズボタン４２が全押しされた場合、静止画撮影を指示する２ｎｄレリーズ信号が入力される。
【００６４】
操作ボタン４４は、メニュー画面等における選択設定入力を行うために上下左右方向に十字状をなす十字キー４４１と、十字キー４４１による選択を確定する決定ボタン４４２とを有する。十字キー４４１は、上矢印キー４４３、下矢印キー４４４、左矢印キー４４５、右矢印キー４４６からなる。
【００６５】
以上説明したユーザインタフェースのうち、動画ボタン４７以外のボタンは設定信号入力部２０１の一部をなす。また、動画ボタン４７は動画撮影信号入力部２０２の一部をなす。
【００６６】
図１０は、動画記録中でない場合（動画非記録時）と動画記録中である場合（動画記録時）における十字キー４４１の各矢印キーへの操作割り当て例を示す図である。動画が記録中でない場合、上矢印キー４４３には露出補正操作が割り当てられる。下矢印キー４４４には連写・単写操作が割り当てられる。左矢印キー４４５にはＡＦターゲット操作が割り当てられる。右矢印キー４４６にはフラッシュ設定操作が割り当てられる。
【００６７】
次に、動画記録中である場合を説明する。この場合、上矢印キー４４３にはワンショットエコー開始操作が割り当てられる。下矢印キー４４４にはトランジット開始操作が割り当てられる。左矢印キー４４５は、マルチエコーの開始、停止操作を交互に割り当てトグルキーとして機能する。右矢印キー４４６には揺らぎ開始操作が割り当てられる。なお、揺らぎの終了を任意に選択できるように設定する場合には、右矢印キー４４６に対して、揺らぎの開始操作と終了操作とを交互に操作可能なトグルキーとして機能させればよい。
【００６８】
動画記録時における入力ボタンの割り当ては、図１０に示すものに限られるわけではない。例えば、図１１に示すように、上矢印キー４４３に効果開始操作を割り当て、下矢印キー４４４に効果停止操作を割り当て、左矢印キー４４５、右矢印キー４４６に効果切替操作をそれぞれ割り当ててもよい。この場合には、表示部２１で設定中の特殊効果を表示するようにすればより好ましい。
【００６９】
また、十字キー４４１の操作の割当を、使いやすさや操作の使用頻度に応じて割り当てるようにしてもよいし、ユーザが独自に設定できるようにしてもよい。さらに、互いに隣接する２つのキー（例えば上矢印キー４４３と右矢印キー４４６）が両方押された場合には、別の操作を行うことができるような設定にしてもよい。
【００７０】
表示部２１は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示駆動部２２は、バス２８を介してＳＤＲＡＭ２５が記憶する画像データまたは記録媒体２３が記憶する画像データを取得し、取得した画像データに対応する画像を表示部２１に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間（例えば３秒間）だけ表示するレックビュー表示、記録媒体２３に記録された画像データを再生する再生表示、および撮像素子１２が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部２１は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。
【００７１】
記録媒体２３は、撮像装置１の外部から装着されるメモリカード等を用いて構成される。記録媒体２３は、メモリＩ／Ｆ２４を介して撮像装置１に着脱自在に装着される。記録媒体２３には、その種類に応じた図示しない読み書き装置によって画像処理部１６や画像圧縮展開部１９が処理を施した画像データが書き込まれ、または読み書き装置によって記録媒体２３に記録された画像データが読み出される。また、記録媒体２３は、制御部２９の制御のもと、メモリＩ／Ｆ２４およびバス２８を介して撮像プログラムおよび各種情報それぞれをＦｌａｓｈメモリ２６に出力してもよい。
【００７２】
ＳＤＲＡＭ２５は、揮発性メモリを用いて構成される。ＳＤＲＡＭ２５は、バス２８を介してＡ／Ｄ変換部１５から入力される画像データ、画像処理部１６から入力される処理画像データおよび撮像装置１の処理中の情報を一時的に記憶する一次記憶部としての機能を有する。例えば、ＳＤＲＡＭ２５は、信号処理部１４、Ａ／Ｄ変換部１５およびバス２８を介して、撮像素子１２が１フレーム毎に順次出力する画像データを一時的に記憶する。
【００７３】
Ｆｌａｓｈメモリ２６は、不揮発性メモリを用いて構成される。Ｆｌａｓｈメモリ２６は、プログラム記録部２６１と、特殊効果処理情報記録部２６２と、画像処理情報記録部２６３と、を有する。プログラム記録部２６１は、撮像装置１を動作させるための各種プログラム、撮像プログラムおよびプログラムの実行中に使用される各種データおよび画像処理部１６による画像処理の動作に必要な各種パラメータ等を記録する。特殊効果処理情報記録部２６２は、アート効果画像処理部１６２が行う各アート効果処理における画像処理の組み合わせ情報を記録する。画像処理情報記録部２６３は、画像処理部１６が実行可能な画像処理に処理時間を対応付けた画像処理情報を記録する。また、Ｆｌａｓｈメモリ２６は、撮像装置１を特定するための製造番号等を記録する。
【００７４】
本体通信部２７は、本体部２に装着されたレンズ部３との通信を行うための通信インターフェースである。本体通信部２７には、レンズ部３との電気的な接点も含まれる。
【００７５】
バス２８は、撮像装置１の各構成部位を接続する伝送路等を用いて構成される。バス２８は、撮像装置１の内部で発生した各種データを撮像装置１の各構成部位に転送する。
【００７６】
制御部２９は、ＣＰＵ（Central Processing Unit）等を用いて構成される。制御部２９は、画像処理制御部２９１と、表示制御部２９２と、を有する。
【００７７】
画像処理制御部２９１は、バス２８を介して入力される入力部２０からの指示信号に応じて、画像処理部１６に実行させるべき画像処理の内容を設定し、設定した内容に応じた画像処理を、基本画像処理部１６１、アート効果画像処理部１６２、および動画中特殊効果画像処理部１６３のいずれかに実行させる。
【００７８】
表示制御部２９２は、表示部２１の表示態様を制御する。具体的には、表示制御部２９２は、表示駆動部２２を駆動し、画像処理部１６が処理を行った各種画像データに対応する画像を表示部２１に表示させる。
【００７９】
制御部２９は、バス２８を介して入力部２０から送信される指示信号に応じて、撮像装置１を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置１の動作を統括的に制御する。
【００８０】
制御部２９は、レリーズボタン４２を介して２ｎｄレリーズ信号が入力された場合、撮像装置１における静止画撮影動作を開始する制御を行う。また、制御部２９は、動画ボタン４７を介して動画撮影開始信号が入力された場合、撮像装置１における動画撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、シャッタ駆動部１１および撮像素子駆動部１３の駆動によって撮像素子１２が出力した画像データに対し、信号処理部１４、Ａ／Ｄ変換部１５および画像処理部１６が所定の処理を施す動作をいう。このように処理が施された画像データは、画像処理制御部２９１の制御のもと、画像圧縮展開部１９で所定の形式にしたがって圧縮され、バス２８およびメモリＩ／Ｆ２４を介して記録媒体２３に記録される。なお、本実施の形態１では記録媒体２３が記憶部の一部をなしているが、記録媒体２３とは別に撮像装置１の内部に記憶部の機能を有する記憶領域を確保し、この記憶領域に圧縮した画像データを記憶するようにしてもよい。
【００８１】
以上の構成を有する本体部２に対して、音声入出力部、被写体に対して補助光（フラッシュ）を発光する補助光発光部、インターネットを介して外部の装置と双方向に通信を行う機能を有する通信部などをさらに設けてもよい。
【００８２】
次に、レンズ部３の構成を説明する。レンズ部３は、光学系３１と、レンズ駆動部３２と、絞り３３と、絞り駆動部３４と、レンズ操作部３５と、レンズＦｌａｓｈメモリ３６と、レンズ通信部３７と、レンズ制御部３８と、を備える。
【００８３】
光学系３１は、一または複数のレンズを用いて構成される。光学系３１は、所定の視野領域から光を集光する。光学系３１は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
【００８４】
レンズ駆動部３２は、ＤＣモータまたはステッピングモータ等を用いて構成され、光学系３１のレンズを光軸Ｌ上で移動させることにより、光学系３１のピント位置や画角等の変更を行う。
【００８５】
絞り３３は、光学系３１が集光した光の入射量を制限することにより露出の調整を行う。
絞り駆動部３４は、ステッピングモータ等を用いて構成され、絞り３３を駆動する。
【００８６】
レンズ操作部３５は、図２に示すように、レンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する操作信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３５は、プッシュ式のスイッチ等であってもよい。
【００８７】
レンズＦｌａｓｈメモリ３６は、光学系３１の位置および動きそれぞれを決定するための制御用プログラム、光学系３１のレンズ特性および各種パラメータを記録する。
【００８８】
レンズ通信部３７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２７と通信を行うための通信インターフェースである。レンズ通信部３７には、本体部２との電気的な接点も含まれる。
【００８９】
レンズ制御部３８は、ＣＰＵ（Central Processing Unit）等を用いて構成される。レンズ制御部３８は、レンズ操作部３５の操作信号または本体部２からの指示信号に応じてレンズ部３の動作を制御する。具体的には、レンズ制御部３８は、レンズ操作部３５の操作信号に応じて、レンズ駆動部３２を駆動させてレンズ部３のピント合わせやズーム変更を行うとともに、絞り駆動部３４を駆動させて絞り値の変更を行う。なお、レンズ制御部３８は、レンズ部３が本体部２に装着された際に、レンズ部３のピント位置情報、焦点距離およびレンズ部３を識別する固有情報等を本体部２に送信するようにしてもよい。
【００９０】
レンズ制御部３８は、本体部２の制御部２９との間で所定の周期でレンズ通信信号を送受信することによって、本体部２との動作の連携を図っている。図１２は、レンズ制御部３８と制御部２９との同期通信の一例を示すタイミングチャートである。図１２（ａ）は本体部２内の処理を示している。図１２（ｂ）は垂直同期信号を示している。図１２（ｃ）は撮像、読み出しのタイミングを示している。図１２（ｄ）はレンズ通信を示している。図１２（ｅ）はレンズ通信同期信号を示している。図１２（ｆ）はレンズ位置取得信号を示している。図１２（ｇ）はレンズ部３内の処理を示している。
【００９１】
まず、制御部２９は、前フレームで取得した画像データによりライブビュー画像の画像処理およびＡＦ評価値の算出等を画像処理部１６に実行させるとともに、レンズ制御部３８にレンズ状態データを取得するためのレンズ状態データ要求コマンドを送信する（Ｂ１、ＢＬ）。この際、制御部２９は、同期通信モード中に、垂直同期信号と同じ周期でレンズ通信用の同期信号および光学系３１の位置情報を取得するタイミングを指示するレンズ位置取得信号を送信する。このレンズ位置取得信号は、図１２（ｃ）に示すように撮像素子１２の中央部の蓄積時間の１／２が経過した時点で状態が変化する信号である。
【００９２】
レンズ制御部３８は、レンズ位置取得信号の状態が変化したタイミングで光学系３１の位置情報を取得するとともに、レンズ通信同期信号の受信タイミングでレンズ操作部３５の操作状態を検出する（Ｌ１）。
【００９３】
続いて、レンズ制御部３８は、制御部２９から受信したレンズ状態データ要求コマンドへの応答として、工程Ｌ１で取得した光学系３１の位置情報およびレンズ操作部３５の捜査状態を含むレンズ状態データを制御部２９へ送信する（Ｌ２）。
【００９４】
この後、制御部２９は、レンズ制御部３８から送られてきたレンズ状態データに基づいて、ＡＦ評価値の算出や、露出値の変更等の各種設定変更を行う（Ｂ２）。
【００９５】
制御部２９とレンズ制御部３８は、以上説明した処理を周期的に繰り返し行う。
【００９６】
図１３は、以上の構成を有する撮像装置１が行う処理の概要を示すフローチャートである。図１３において、まず、ユーザによって電源ボタン４１が操作されて、撮像装置１の電源がオン状態になる（ステップＳ１：Ｙｅｓ）と、制御部２９は、撮像装置１の初期化を行う（ステップＳ２）。この初期化処理において、制御部２９は、例えば動画の記録中を示す記録中フラグをオフ状態にリセットしたり、動画中の特殊効果に関する適用を示す特殊効果フラグをオフ状態にリセットしたり、レンズ制御部３８との間のレンズ通信（図１２を参照）を開始したりする処理を行う。なお、撮像装置１の電源がオン状態でない場合（ステップＳ１：Ｎｏ）、撮像装置１はステップＳ１を繰り返す。
【００９７】
続いて、再生ボタン４６が操作されることなく（ステップＳ３：Ｎｏ）、メニューボタン４５が操作された場合（ステップＳ４：Ｙｅｓ）、撮像装置１は、設定を変更するためのメニュー画面を表示し、ユーザの選択操作に応じて撮像装置１の各種条件を設定する設定処理を実行する（ステップＳ５）。ステップＳ５の後、撮像装置１は、後述するステップＳ７へ移行する。
【００９８】
ここで設定される内容は、仕上がり効果処理、アート効果処理、静止画記録モード、動画記録モード、動画中特殊効果処理などである。仕上がり効果処理には、例えば画像を自然な色合いに仕上げる処理であるナチュラル、画像を色鮮やかに仕上げる処理であるビビッド、被写体の素材性を重視して仕上げる処理であるフラット、画像をモノクロ調に仕上げる処理であるモノトーンなどが含まれる。静止画記録モードは、記録対象とする静止画の種類に応じて定められ、例えばＪＰＥＧ記録モード、ＪＰＥＧ＋ＲＡＷ記録モード、ＲＡＷ記録モードなどがある。動画撮影モードは、動画圧縮形式に応じて定められるモードであって、例えばＭｏｔｉｏｎ−ＪＰＥＧモード、ＭＰ４（Ｈ．２６４）モードなどがある。動画中特殊効果処理で設定されるのは、例えばトランジットによるアート効果の切り替え先や揺らぎなどである。
【００９９】
ステップＳ３で再生ボタン４６が操作された場合（ステップＳ３：Ｙｅｓ）、撮像装置１は再生処理を行う（ステップＳ６）。このステップＳ６において、表示制御部２９２は、記録媒体２３に記録されているファイル一覧を表示部２１に表示させる。その後、入力部２０によって再生画像が選択入力された場合、記録媒体２３から画像データを取得し、取得した画像データを画像圧縮展開部１９で展開して表示部２１に表示させる。この後、撮像装置１は、ステップＳ１８へ移行する。
【０１００】
ステップＳ３で再生ボタン４６が操作されることなく（ステップＳ３：Ｎｏ）、メニューボタン４５が操作されていない場合（ステップＳ４：Ｎｏ）において、動画ボタン４７が操作されたとき（ステップＳ７：Ｙｅｓ）、制御部２９は、動画の記録中であることを示す記録中フラグを反転させる（ステップＳ８）。具体的には、例えば記録中フラグがオン状態にある場合、制御部２９は、その記録中フラグをオフ状態に反転させる。
【０１０１】
続いて、制御部２９は、ＳＤＲＡＭ２５に記録された記録中フラグがオン状態であるか否かを判断する（ステップＳ９）。記録中フラグがオン状態であると判断した場合（ステップＳ９：Ｙｅｓ）、制御部２９は、記録媒体２３に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体２３に格納する（ステップＳ１０）。
【０１０２】
その後、制御部２９は、特殊動画用のユーザインターフェース（ＵＩ）を設定する（ステップＳ１１）。この設定により、例えば図１０に示すような動画記録時の割り当てが実行される。制御部２９は、ステップＳ１１で設定対象となったユーザインタフェースがこの後で受け付ける信号を、図１０に基づく特殊動画用の信号として認識する。
【０１０３】
続いて、表示制御部２９２は、表示部２１に表示させる画面上表示（ＯＳＤ）などの設定を切り替えることによって動画用の画面への切替えを行う（ステップＳ１２）。具体的には、表示制御部２９２は、例えば残り時間や、動画撮影時に特殊効果を適用できることを示すアイコンなどを表示する。この後、撮像装置１は、後述するステップＳ１５へ移行する。
【０１０４】
図１４は、表示部２１における動画用の画面表示例を示す図である。図１４に示すように、動画用画面Ｑでは、動画中特殊効果を適用可能であることを示す動画アイコン１１１、動画用画面キー割り当てを示す画面上表示１１２および動画撮影の残り時間を表示する残り時間１１３が表示される。このうち、画面上表示１１２は数秒間表示した後に自動的に消えるようにしてもよいし、常時表示するようにしてもよい。また、設定信号入力部２０１からの入力によって画面上表示１１２の表示と非表示を切り替えることができるようにしてもよい。
【０１０５】
ステップＳ９において、記録中フラグがオフ状態であると判断した場合（ステップＳ９：Ｎｏ）、制御部２９は、静止画用ユーザインターフェースを設定する（ステップＳ１３）。
【０１０６】
続いて、表示制御部２９２は、表示部２１における画面上表示などの設定を静止画用に切り替える（ステップＳ１４）。この切り替えにより、表示部２１は、例えば残り記録枚数や、静止画撮影時に特殊効果を適用できることを示すアイコンなどを表示する。この後、撮像装置１は、後述するステップＳ１５へ移行する。
【０１０７】
ステップＳ７において、動画ボタン４７が操作されていない場合（ステップＳ７：Ｎｏ）、画像処理制御部２９１は、動画中特殊効果画像処理部１６３に対して動画中特殊効果処理を行わせる（ステップＳ１５）。
【０１０８】
図１５は、動画中特殊効果制御処理の概要を示すフローチャートである。図１５において、動画中特殊効果を開始するキーが操作された場合（ステップＳ３１：Ｙｅｓ）、画像処理制御部２９１は、動画中特殊効果フラグをオンにする（ステップＳ３２）。その後、画像処理制御部２９１は、効果設定を行う（ステップＳ３３）。
【０１０９】
動画中特殊効果を開始するキーが操作されない場合（ステップＳ３１：Ｎｏ）において、終了指示が入力されたとき（ステップＳ３４：Ｙｅｓ）、画像処理制御部２９１は、動画中特殊効果フラグをオフにする制御を行う（ステップＳ３５）。この後、撮像装置１は、メインルーチンへ戻る。
【０１１０】
これに対し、動画中特殊効果を開始するキーが操作されない場合（ステップＳ３１：Ｎｏ）において、終了指示が入力されないとき（ステップＳ３４：Ｎｏ）、撮像装置１はメインルーチンへ戻る。
【０１１１】
ステップＳ１５の動画中特殊効果制御処理の後、レリーズボタン４２から１ｓｔレリーズ信号が入力された場合（ステップＳ１６：Ｙｅｓ）、制御部２９は、ＡＥ処理部１７に露出を調整するＡＥ処理を実行させるとともに、ＡＦ処理部１８にピントを調整するＡＦ処理を実行させる（ステップＳ１７）。
【０１１２】
続いて、制御部２９は、電源ボタン４１が操作されることによって撮像装置１の電源がオフされたか否かを判断する（ステップＳ１８）。撮像装置１の電源がオフされたと制御部２９が判断した場合（ステップＳ１８：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、撮像装置１の電源がオフされていないと制御部２９が判断した場合（ステップＳ１８：Ｎｏ）、撮像装置１は、ステップＳ３へ戻る。
【０１１３】
レリーズボタン４２から１ｓｔレリーズ信号が入力されない場合（ステップＳ１６：Ｎｏ）、レリーズボタン４２から２ｎｄレリーズ信号が入力されたとき（ステップＳ１９：Ｙｅｓ）、制御部２９は、シャッタ駆動部１１および撮像素子駆動部１３をそれぞれ駆動することにより、メカシャッタによる撮影を行う（ステップＳ２０）。
【０１１４】
続いて、画像処理部１６は、撮影した静止画像に対して所定の画像処理を実行する（ステップＳ２１）。なお、画像処理の詳細については後述する。
【０１１５】
この後、制御部２９は、画像データをＪＰＥＧ形式で画像圧縮展開部１９に圧縮させ、この圧縮した画像データを記録媒体２３に記録する（ステップＳ２２）。このステップＳ２２で、制御部２９は、画像圧縮展開部１９がＪＰＥＧ形式で圧縮した画像データに、画像処理部１６が画像処理を行っていないＲＡＷデータを対応付けて記録媒体２３に記録させるようにしてもよい。ステップＳ２２の後、撮像装置１は、ステップＳ１８へ移行する。
【０１１６】
ステップＳ１９において、レリーズボタン４２から２ｎｄレリーズ信号が入力されない場合（ステップＳ１９：Ｎｏ）、制御部２９は、ＡＥ処理部１７に露出を調整するＡＥ処理を実行させるとともに、ＡＦ処理部１８にピントを調整するＡＦ処理を実行させる（ステップＳ２３）。
【０１１７】
続いて、制御部２９は、撮像素子駆動部１３を駆動することにより、電子シャッタによる撮影を実行する（ステップＳ２４）。
【０１１８】
この後、画像処理部１６は、撮像装置１の設定情報に基づいて画像処理を行う（ステップＳ２５）。画像処理の詳細については後述する。
【０１１９】
表示制御部２９２は、画像処理部１６が処理を施した画像データに対応するライブビュー画像を表示部２１に表示させる（ステップＳ２６）。
【０１２０】
続いて、撮像装置１が動画記録中であれば（ステップＳ２７：Ｙｅｓ）、制御部２９は、画像データを画像圧縮展開部１９に圧縮させ、この圧縮した画像データを記録媒体２３に作成された動画ファイルに動画として記録させる（ステップＳ２８）。この後、撮像装置１は、ステップＳ１８へ移行する。これに対して、ステップＳ２７で動画記録中でなければ（ステップＳ２７：Ｎｏ）、撮像装置１はステップＳ１８へ移行する。
【０１２１】
図１６は、画像処理の概要を示すフローチャートである。図１６において、基本画像処理部１６１は基本画像処理を行う（ステップＳ４１）。ここでの基本画像処理は、ＯＢ（Optical Black）値の減算、ＷＢ補正、同時化、カラーマトリクス演算、ガンマ変換色補正、エッジ強調、ＮＲ（Noise Reduction）などの処理を含む。
【０１２２】
ここで、ＷＢ補正は、ベイヤ配列の画像データに対して、予めユーザが設定したＷＢモードに応じたＲゲインとＢゲインを乗じて、ＷＢを撮像装置本体のフラッシュメモリから読み出し、その値を乗じることで補正する処理である。
同時化は、撮像素子１２がベイヤー配列であった場合に、その画素にないデータを周辺から補間することによって、各画素がＲＧＢデータで構成されるデータに変換する処理である。
カラーマトリクス演算は、設定されているＷＢモードに応じたカラーマトリクス係数を本体のフラッシュメモリから読み出して乗算する処理である。
ガンマ変換色補正処理では、仕上がりの設定に応じて予め設計したガンマテーブルを本体のフラッシュメモリから読み出し、画像データをガンマ変換する。このとき、ＲＧＢデータに適用するガンマ変換と、ＲＧＢの色空間を輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒによって表される色空間に変換した後で輝度信号Ｙのみにガンマ変換を行うようにしてもよい。また、適切な色再現性を得るために、仕上がりの設定に応じて予め設計したサイドパラメータを用いて色を補正してもよい。なお、アート効果の種類によってガンマ曲線を変えるようにしてもよい。
エッジ強調処理では、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じた係数を乗じて画像データに加算することで強調する。
ＮＲ処理では、画像を周波数分解し、周波数に応じてコアリング処理などを行うことでノイズを低減する処理を行う。
【０１２３】
続いて、アート効果画像処理部１６２は、アート効果処理を行う（ステップＳ４２）。ここでは、上述したクロスフィルター、ソフトフォーカス、ノイズ付加、シェーディング、周辺輝度持ち上げ、周辺ぼかし、等の処理を行う。
【０１２４】
その後、撮像装置１が静止画撮影を行う場合（ステップＳ４３：Ｙｅｓ）、制御部２９が動画中特殊効果（第１の特殊効果）に対応した特殊効果（第２の特殊効果）を静止画の画像データに付与することを禁止する制御を行った後、メインルーチンへ戻る。
【０１２５】
ここで、撮像装置１が静止画撮影を行う場合に動画中特殊効果に対応した特殊効果を付与しない理由を説明する。動画撮影中の静止画撮影はレスポンスの速さが重要である。静止画の画素数は動画の画素数に比べて数倍程度大きいため、静止画に動画中特殊効果を付与すると、静止画撮影後の動画撮影の再開タイミングに影響を及ぼすおそれがある。そこで、本実施の形態１では、静止画の場合に動画中特殊効果の適用を禁止している。なお、光束でレスポンスに影響がなければ静止画に適用することも可能である。
【０１２６】
一方、撮像装置１が動画撮影を行う場合（ステップＳ４３：Ｎｏ）、制御部２９は、動画中特殊効果が設定されているか否かを判定する（ステップＳ４４）。動画中特殊効果が設定されている場合（ステップＳ４４：Ｙｅｓ）、ステップＳ４５へ移行する。これに対して、動画中特殊効果が設定されていない場合（ステップＳ４４：Ｎｏ）、撮像装置１はメインルーチンへ戻る。
【０１２７】
ステップＳ４４で動画中特殊効果が設定されている場合（ステップＳ４４：Ｙｅｓ）において、適用する効果がマルチエコーであるとき（ステップＳ４５：Ｙｅｓ）、動画中特殊効果画像処理部１６３は、直前の画像処理結果（前フレーム）に対して、上述したマルチエコー処理（図４を参照）として、現在のフレームを所定の比率で合成する（ステップＳ４６）。一方、適用する特殊効果がマルチエコーでないとき（ステップＳ４５：Ｎｏ）、撮像装置１はステップＳ４７へ移行する。
【０１２８】
ステップＳ４７において、制御部２９は、適用する効果がワンショットエコーであるか否かを判定する。適用する効果がワンショットエコーである場合（ステップＳ４７：Ｙｅｓ）、動画中特殊効果画像処理部１６３は、ワンショットエコー効果を得るために、ＳＤＲＡＭ２５が記憶する特定の画像データであるレリーズフレームとの合成処理を行う（ステップＳ４８）。ここで、特殊効果フラグがオンになって最初のフレームの場合、動画中特殊効果画像処理部１６３は、現在のフレームの画像をＳＤＲＡＭ２５に記憶する処理を行う。これに対し、特殊効果フラグがオンになって２フレーム以後の場合、動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ２５が記憶しているレリーズフレームと合成処理を行う。
【０１２９】
ステップＳ４７において、適用する動画中特殊効果がワンショットエコーでない場合（ステップＳ４７：Ｎｏ）、撮像装置１はステップＳ４９へ移行する。
【０１３０】
ステップＳ４９において、制御部２９は、適用する効果が揺らぎであるか否かを判定する。適用する効果が揺らぎである場合（ステップＳ４９：Ｙｅｓ）、動画中特殊効果画像処理部１６３は揺らぎ効果を追加する処理を行う（ステップＳ５０）。
【０１３１】
ステップＳ５０における動画中特殊効果画像処理部１６３の具体的な処理を説明する。動画中特殊効果画像処理部１６３は、シェーディング処理、クロスフィルター処理などのアート効果処理における画像処理パラメータに揺らぎを持たせた効果を追加する。例えば、シェーディング処理であれば、画像の中心からの減衰特性を時間とともに変化させる。周辺ぼかしであれば、ぼかし量やぼかし形状を変化させる。クロスフィルターであれば、クロスパターンの長さや角度を時間とともに変化させる。また、彩度、コントラスト、ホワイトバランスを時間とともに変化させてもよい。なお、揺らぎとシェーディング等のアート効果が重複する場合、両方を付与してもよいし、揺らぎのみを付与するようにしてもよい。
【０１３２】
ステップＳ４９において、適用する効果が揺らぎではない場合（ステップＳ４９：Ｎｏ）、撮像装置１はステップＳ５１へ移行する。
【０１３３】
ステップＳ５１において、制御部２９は、適用する効果がトランジットであるか否かを判定する（ステップＳ５１）。適用する効果がトランジットである場合（ステップＳ５１：Ｙｅｓ）、基本画像処理部１６１およびアート効果画像処理部１６２は、仕上がり／切り替え先の設定に応じた基本画像処理およびアート効果処理をそれぞれ実行する（ステップＳ５２、Ｓ５３）。その後、動画中特殊効果画像処理部１６３は、トランジット用の二つの画像の合成処理を行うことによってトランジット画像を生成する（ステップＳ５４）。ステップＳ５４の後、撮像装置１はメインルーチンへ戻る。
【０１３４】
ステップＳ５１において、制御部２９が判定した結果、適用する効果がトランジットでない場合（ステップＳ５１：Ｎｏ）、撮像装置１はメインルーチンへ戻る。
【０１３５】
以上説明した本発明の実施の形態１によれば、動画記録を開始すると、設定信号入力部が動画中特殊効果用に切り替わり、制御部は動画用特殊効果の設定信号が入力されたものと認識する。したがって、ユーザは撮影時に簡単な操作をすることで、容易に動画に特殊効果を適用することができる。
【０１３６】
また、本実施の形態１によれば、設定信号入力部を構成するユーザインターフェースに動画用と静止画用の入力機能を兼備させることができるため、動画撮影の場合にも操作性に優れたユーザインターフェースを実現することができる。加えて、ユーザインターフェースの数も抑制することができるため、レイアウトの制限も少なくなり、小型化に好適な撮像装置を実現することができる。
【０１３７】
また、本実施の形態１によれば、編集機器やＰＣ上で実現できるものと同等な特殊効果を、撮像装置自体で実行することができる。したがって、ユーザの作画意図を反映した動画を、高度な専門知識を必要とすることなく、また後編集することなく作成することができる。
【０１３８】
また、本実施の形態１によれば、動画撮影中の静止画に対して、動画中特殊効果の適用を禁止する制御を行うことにより、静止画撮影後の動画撮影の再開タイミングへの影響を防止することができる。
【０１３９】
一般に、撮像装置は、ＰＣ等と比較してメモリーが少なく処理能力が劣っているため、ＰＣ等と同等の動画データの編集処理を実現することは難しい。また、動画中の静止画撮影や、動画終了直後の静止画撮影の可能な撮像装置においては、メモリー不足やメモリー管理上の問題が決定的なものになり、メモリー増設によるコスト増や、静止画撮影時の応答性や静止画画質の劣化などの問題を発生してしまう恐れもある。本実施の形態１では、この点に鑑み、撮影した動画を編集することなく、撮影時に複数のフレームにわたる時間的な移り変わりの特殊効果による撮影者の作画意図を付与した動画を撮影可能が技術を実現している。
【０１４０】
（変形例１−１）
図１７は、本実施の形態１の変形例１−１に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。図１７に示す場合、動画非記録時には、レリーズボタン４２の１ｓｔレリーズ操作にＡＥ／ＡＦ操作を割り当て、レリーズボタン４２の２ｎｄレリーズ操作に撮影操作を割り当て、レンズ操作部３５にピント操作を割り当てる。これに対して、動画記録時には、レリーズボタン４２（１ｓｔレリーズ操作）を効果開始、停止操作を交互に操作可能なトグルキーとして機能させ、レンズ操作部３５に効果切替操作を割り当てる。ここで、動画記録中にレリーズボタン４２からの入力に応じたＡＦ、ＡＥが行われたり、効果の開始時に静止画が撮影されたりすると困る。そこで、動画記録時には、静止画撮影を行わない。
【０１４１】
（変形例１−２）
図１８は、本実施の形態１の変形例１−２に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。この場合、動画非記録時には、ファンクションキー４８にＡＦ操作を割り当てる一方、レンズ操作部３５にピント操作を割り当てる。これに対し、動画記録時には、ファンクションキー４８を、効果開始、停止を交互に操作可能なトグルキーとして機能させる一方、レンズ操作部３５を効果切替操作に割り当てる。
【０１４２】
（変形例１−３）
図１９は、本実施の形態１の変形例１−３に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。本変形例１−３では、タッチパネル５０を用いて効果のオンオフや切り替えを行う。動画非記録時には、タッチパネル５０のタッチ操作を静止画撮影操作に割り当てる。これに対して、動画記録時には、タッチパネル５０のタッチを効果開始、終了操作に交互に割り当てる一方、タッチパネル５０の横スライドを効果切り替え操作に割り当てる。
このようにしてタッチパネル５０を用いることにより、ユーザインターフェースのスペースを抑制することができる。
【０１４３】
（変形例１−４）
図２０は、本実施の形態１の変形例１−４に係る撮像装置が行う動画中特殊効果制御処理の概要を示すフローチャートである。図２０において、動画中特殊効果処理を開始するキーが操作された場合（ステップＳ６１：Ｙｅｓ）、画像処理制御部２９１は、動画特殊効果フラグをオンにする（ステップＳ６２）。その後、撮像装置１はメインルーチンへ戻る。
【０１４４】
これに対し、動画中特殊効果を開始するキーが操作されない場合（ステップＳ６１：Ｎｏ）において、終了指示が入力されたとき（ステップＳ６３：Ｙｅｓ）、画像処理制御部２９１は、動画特殊効果フラグをオフにする制御を行う（ステップＳ６４）。この後、撮像装置１は、メインルーチンへ戻る。
【０１４５】
また、動画中特殊効果を開始するキーが操作されない場合（ステップＳ６１：Ｎｏ）において、終了指示が入力されず（ステップＳ６３：Ｎｏ）、かつ効果の切替指示が入力されたとき（ステップＳ６５：Ｙｅｓ）、画像処理制御部２９１は特殊効果を切り替える（ステップＳ６６）。この後、撮像装置１は、メインルーチンへ戻る。
ステップＳ６５において、効果の切替指示が入力されないとき（ステップＳ６５：Ｎｏ）、撮像装置１はメインルーチンへ戻る。
【０１４６】
以上説明した本実施の形態１の変形例１−１〜１−４によれば、実施の形態１と同様の効果を得ることができる。
【０１４７】
（実施の形態２）
本発明の実施の形態２に係る撮像装置は、実施の形態１に係る撮像装置に対して、動画特殊効果をライブビュー表示しながらユーザが所望の効果を確認した上で実際に特殊効果を付与して撮影を行うことができる機能を付加している。
【０１４８】
図２１は、本実施の形態２に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置５１は、入力部５２を除いて、実施の形態１で説明した撮像装置１と同様の構成を有する。以下、入力部５２の構成を説明する。
【０１４９】
入力部５２は、設定信号入力部２０１、動画撮影信号入力部２０２に加えて、シミュレーション信号入力部５２１、効果記録開始信号入力部５２２、および効果停止信号入力部５２３を有する。
【０１５０】
シミュレーション信号入力部５２１は、ライブビュー表示にのみ動画中特殊効果を付与するシミュレーション信号の入力を受け付ける。効果記録開始信号入力部５２２は、動画中特殊効果を施した画像をＳＤＲＡＭ２５および記録媒体２３へ記録させる効果記録開始信号の入力を受け付ける。効果停止信号入力部５２３は、ライブビュー表示および画像の記録において適用されている動画中特殊効果を停止する効果停止信号の入力を受け付ける。
【０１５１】
図２２は、本実施の形態２におけるユーザインターフェースの割り当てを示す図である。まず、動画非記録時の割り当てについて説明する。この場合、十字キー４４１の上矢印キー４４３には、露出補正操作が割り当てられる。下矢印キー４４４には、連写・単写操作が割り当てられる。左矢印キー４４５には、ＡＦターゲット操作が割り当てられる。右矢印キー４４６には、フラッシュ設定操作が割り当てられる。また、動画非記録時には、決定ボタン４４２にカメラ設定操作が割り当てられ、１ｓｔレリーズ操作にＡＥ／ＡＦ操作が割り当てられ、２ｎｄレリーズ操作に撮影操作が割り当てられる。
【０１５２】
次に、動画記録時の割り当てについて説明する。この場合、上矢印キー４４３に効果シミュレーション開始操作が割り当てられる。したがって、上矢印キー４４３は、シミュレーション信号入力部５２１の一部をなす。
下矢印キー４４４には、効果停止操作が割り当てられる。したがって、下矢印キー４４４は、効果停止信号入力部５２３の一部をなす。なお、動画中特殊効果の中で停止指示が必要なものは、マルチエコーと揺らぎである。
左矢印キー４４５および右矢印キー４４６には、効果切り替え操作を割り当てる。
決定ボタン４４２、レリーズボタン４２の１ｓｔレリーズ操作および２ｎｄレリーズ操作には、効果記録開始機能が割り当てられる。したがって、決定ボタン４４２およびレリーズボタン４２は、効果記録開始信号入力部５２２の一部をなす。
【０１５３】
図２３は、撮像装置５１の動画記録時における状態遷移の概要を示す図である。動画記録開始後にライブビュー表示および動画記録表示に対して動画中特殊効果が設定されていない状態（状態Ｉ）において、シミュレーション信号入力部５２１によってシミュレーション信号が入力されると、画像処理制御部２９１は、ライブビュー表示に動画中特殊効果を適用する一方、動画記録では動画中特殊効果を適用しない制御を行う状態ＩＩに遷移する。
【０１５４】
状態ＩＩにおいて、効果記録開始信号入力部５２２によって効果記録開始信号が入力されると、画像処理制御部２９１は、ライブビュー表示に加え、ＳＤＲＡＭ２５へ記録する際の画像にも動画中特殊効果の適用を開始する（状態ＩＩＩ）。
【０１５５】
状態ＩＩＩにおいて、効果停止信号入力部５２３によって効果停止信号が入力されると、画像処理制御部２９１は、ライブビュー表示および動画記録に対する動画中特殊効果の適用を停止する。これにより、撮像装置１は状態Ｉへ遷移する。
【０１５６】
以上説明した本発明の実施の形態２によれば、撮像装置がシミュレーション信号入力部、効果開始信号入力部および効果停止信号入力部を備えることにより、ユーザは動画を記録するのに先立って試験的に特殊効果を適用し、その効果を画面上で確かめることができる。したがって、ユーザは、意図したタイミングで期待した効果が適用された、よりクリエイティブな動画を容易に撮影することができる。
【０１５７】
なお、本実施の形態２では、効果記録開始信号の入力を受け付けた時点で動画中特殊効果を付与した画像の記録を開始したが、シミュレーション信号の入力を受け付けてから所定時間経過する間に別の操作が行われない場合には、自動的に動画中特殊効果を付与した画像の記録を開始するようにしてもよい。
【０１５８】
（変形例２−１）
図２４は、本実施の形態２の変形例２−１に係る撮像装置の動画記録時と静止画記録時におけるユーザインターフェースの割り当てを示す図である。図２４において、動画非記録時の割り当ては、図２２に示す場合と同様である。以下、動画記録時の割り当てを説明する。上矢印キー４４３には、ワンショット開始機能が割り当てられる。下矢印キー４４４には、トランジット効果開始機能が割り当てられる。左矢印キー４４５には、マルチエコー効果シミュレーション開始機能が割り当てられる。右矢印キー４４６には、揺らぎ効果シミュレーション開始機能が割り当てられる。決定ボタン４４２、レリーズボタン４２の１ｓｔレリーズ操作および２ｎｄレリーズ操作には、効果記録開始機能および効果停止機能が割り当てられる。
【０１５９】
したがって、本変形例２−１においては、左矢印キー４４５および右矢印キー４４６がシミュレーション信号入力部５２１の一部をなす。また、本変形例２−１においては、決定ボタン４４２およびレリーズボタン４２は、効果記録開始信号入力部５２２および効果停止信号入力部５２３の一部をなす。
【０１６０】
（変形例２−２）
本実施の形態２の変形例２−２は、タッチパネル５０によって動画中特殊効果の適用態様を切り替えることを特徴とする。図２５は、撮像装置５１が静止画撮影待機状態にある場合の表示部２１における画面表示例を示す図である。画面Ｑ１の左上には、撮影モードアイコンＩ１（「Ｐ」と表示）が表示されている。また、画面Ｑ１の右上には、静止画撮影用のメニュー選択アイコンＩ２（「ＳＴＩＬＬ ＭＥＮＵ」と表示）と動画撮影用のメニュー選択アイコンＩ３（「ＭＯＶＩＥ ＭＥＮＵ」と表示）が設けられている。以下、タッチパネル５０でアイコンの表示領域に対応する部分がタッチされる場合、「アイコンが選択される」という表現を用いることがある。
【０１６１】
画面Ｑ１を表示している状態でメニュー選択アイコンＩ２が選択された場合、表示制御部２９２は、静止画撮影用のメニューとして、ホワイトバランス、ＡＦ、測光をそれぞれ選択するためのアイコンと、元の操作表示画面に戻るためのアイコンを表示部２１に表示させる（図示せず）。
【０１６２】
一方、画面Ｑ１を表示している状態でメニュー選択アイコンＩ３が選択された場合、表示制御部２９２は、動画撮影待機状態にある場合の画像を表示部２１に表示させる。図２６は、撮像装置５１が動画撮影待機状態にある場合の表示部２１における画面表示例を示す図である。図２６に示す画面Ｑ２において、表示部２１には、ワンショットエコーアイコンＩ４（「１Ｓｈｏｔ Ｅｃｈｏ」と表示）、マルチエコーアイコンＩ５（「Ｍｕｌｔｉ Ｅｃｈｏ」と表示）、トランジットアイコンＩ６（「Ｔｒａｎｓｉｔ」と表示）、テストオンアイコンＩ７（「ＴＥＳＴ ＯＮ」と表示）、リターンアイコンＩ８（「ＲＥＴ」と表示）の５種類のアイコンが表示される。
【０１６３】
図２６に示す動画撮影待機状態では、静止画撮影時の画像のアスペクト比が変更となり、静止画よりも横長の画像となっている。このため、表示部２１は、画面上下で横長の帯状をなす画像の非表示領域に各種アイコンを表示している。
【０１６４】
画面Ｑ２で表示されるアイコンのうち、ワンショットエコーアイコンＩ４、マルチエコーアイコンＩ５、およびトランジットアイコンＩ６は、動画中特殊効果としてワンショットエコー、マルチエコー、およびトランジットをそれぞれ選択するためのアイコンである。これらのアイコンのいずれかが選択されると、表示部２１は、選択された動画中特殊効果を施したライブビュー画像を表示する。したがって、ワンショットエコーアイコンＩ４、マルチエコーアイコンＩ５、およびトランジットアイコンＩ６は、シミュレーション信号入力部５２１の一部をなす。
【０１６５】
テストオンアイコンＩ７は、選択された動画中特殊効果をライブビュー表示に反映しているが、その動画中特殊効果を動画記録には反映していない状態を示すアイコンである。
【０１６６】
リターンアイコンＩ８は、一つ前の画像表示に戻るためのアイコンである。
【０１６７】
図２７は、表示部２１が画面Ｑ２を表示している状態で、動画中特殊効果としてトランジットが選択された場合の表示部２１における画面表示例を示す図である。図２７に示す画面Ｑ３において、表示部２１には、トランジット時の切替先の仕上がり一覧が選択可能に表示される。仕上がり一覧表示アイコンＩ９における仕上がり項目の表示順は、適宜変更可能である。
【０１６８】
仕上がり一覧表示アイコンＩ９の上下両端には、上方向へのスクロール信号の入力を受け付ける上スクロールボタンＩ９１と、下方向へのスクロール信号の入力を受け付ける下スクロールボタンＩ９２がそれぞれ設けられてる。例えば、上スクロールボタンＩ９１が選択されると、表示が上方へスクロールし、一番上に表示されている項目「Ｖｉｖｉｄ」が消えて項目「ファンタジックフォーカス」が一番上となり、一番下に別の仕上がり項目が表示される。
【０１６９】
仕上がり一覧表示アイコンＩ９において、現在選択されている仕上がり項目は、他の仕上がりと異なる表示とする。ここでいう異なる表示とは、例えばグレー表示、ハイライト表示など他の仕上がり項目と識別可能な表示の総称である。図２７では、項目「トイフォト」が選択されている場合を示している。切り替え先の仕上がりが選択されると、表示制御部２９２は、仕上がり一覧表示アイコンＩ９を消去する。この後、画像処理制御部２９１は、動画中特殊効果画像処理部１６３に対してトランジット処理を開始させる。
【０１７０】
なお、仕上がり一覧表示アイコンＩ９でハイライト表示されている項目が再度選択された場合には、その前に選択されていたアート効果に戻るようにしてもよい。具体的には、例えばトイフォトの前にナチュラルが選択されていれば、項目「トイフォト」が再選択された場合、再びナチュラルに戻るようにすればよい。
【０１７１】
図２８は、図２６に示す画面Ｑ２において動画ボタン４７が押された後の画面表示例を示す図である。図２８に示す画面Ｑ４では、ワンショットエコーアイコンＩ４、マルチエコーアイコンＩ５，トランジットアイコンＩ６に加えて、確定アイコンＩ１０（「ＯＫ」と表示）が表示される。確定アイコンＩ１０は、表示している動画中特殊効果を付与した画像の記録を開始するためのアイコンである。したがって、確定アイコンＩ１０は、効果記録開始信号入力部５２２の一部をなす。
【０１７２】
画面Ｑ４を表示している最中に動画ボタン４７が押されて動画記録が終了した場合、表示制御部２９２は、表示部２１における表示を画面Ｑ２に戻す制御を行う。
【０１７３】
図２９は、図２８に示す画面Ｑ４において確定アイコンＩ１０が選択された後の表示部２１における画面表示例を示す図である。図２９に示す画面Ｑ５では、ワンショットエコーアイコンＩ４、マルチエコーアイコンＩ５，トランジットアイコンＩ６に加えて、終了アイコンＩ１１（「ＥＮＤ」と表示）が表示されている。このうち、ワンショットエコーアイコンＩ４はハイライト表示されている。これは、ワンショットエコーが選択されていることを意味している。
【０１７４】
終了アイコンＩ１１は、記録中動画における動画中特殊効果の付与を終了する指示信号を入力するためのアイコンである。画面Ｑ５を表示している状態で終了アイコンＩ１１が選択された場合、画像処理制御部２９１は、動画中特殊効果画像処理部１６３は、動画中特殊効果の適用を終了する。この場合、表示制御部２９２は、画面Ｑ５から終了アイコンＩ１１を削除した画面を表示部２１に表示させる。その際に写っているライブビュー画像にも動画中特殊効果が付与されないことは勿論である。
【０１７５】
画面Ｑ５を表示している最中に動画ボタン４７が押されて動画記録が終了した場合にも、表示制御部２９２は、表示部２１における表示を画面Ｑ２に戻す制御を行う。
【０１７６】
図３０は、図２６に示す画面Ｑ２においてテストオンアイコンＩ７が選択されてテストオン状態に遷移した場合の表示部２１の画面表示例を示す図である。図３０に示す画面Ｑ６には、テストオンアイコンＩ７の代わりにテストオフアイコンＩ１２（「ＴＥＳＴ ＯＦＦ」と表示）が表示されている。テストオフアイコンＩ１２は、選択された動画中特殊効果をライブビュー表示および動画記録には反映する状態を示すアイコンである。
【０１７７】
画面Ｑ６を表示している状態でテストオフアイコンＩ１２が選択されると、表示制御部２９２は表示部２１に画面Ｑ２を表示させる。すなわち、テストオフアイコンＩ１２が選択されると、テストオフアイコンＩ１２の位置がテストオンアイコンＩ７の表示に変化する。
【０１７８】
表示部２１が画面Ｑ６を表示している状態で動画ボタン４７が押されて動画記録が開始すると、表示制御部２９２は画面Ｑ５を表示させる制御を行う。
【０１７９】
以上説明した本実施の形態２の変形例２−１、２−２によれば、実施の形態２と同様の効果を得ることができる。
【０１８０】
（実施の形態３）
本発明の実施の形態３に係る撮像装置は、動画撮影モードと静止画撮影モードとを設定可能であり、動画撮影モードに設定すると、ユーザインターフェースが動画撮影用に切り替わることを特徴とする。
【０１８１】
図３１は、本実施の形態３に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置６１は、入力部６２を除いて、実施の形態１で説明した撮像装置１と同様の構成を有する。以下、入力部６２の構成を説明する。
【０１８２】
入力部６２は、静止画撮影および動画撮影における撮影条件を設定する静止画撮影条件設定信号を含む各種設定信号の入力を受け付ける設定信号入力部６２１と、動画撮影信号入力部２０２とを有する。
【０１８３】
設定信号入力部６２１は、モードの設定を指示するモード設定信号の入力を受け付けるモード設定信号入力部６２２を有する。モード設定信号入力部６２２は、例えばモードダイヤル４３によって実現される。
【０１８４】
図３２は、撮像装置６１が静止画撮影モードと動画撮影モードにそれぞれ設定されている場合のキーの割り当てを示す図である。撮像装置６１が静止画撮影モードに設定されている場合、上矢印キー４４３には、露出補正操作が割り当てられる。下矢印キー４４４には、連写・単車操作が割り当てられる。左矢印キー４４５には、ＡＦターゲット操作が割り当てられる。右矢印キー４４６には、フラッシュ設定操作が割り当てられる。再生ボタン４６には、再生操作が割り当てられる。消去ボタン４９には、消去操作が割り当てられる。
【０１８５】
次に、撮像装置６１が動画撮影モードに設定されている場合を説明する。上矢印キー４４３および左矢印キー４４５には、静止画モード設定時と同じ操作、すなわち露出補正操作とＡＦターゲット操作がそれぞれ割り当てられる。下矢印キー４４４には、トランジット効果開始操作が割り当てられる。右矢印キー４４６には、揺らぎ効果開始・停止操作が割り当てられる。再生ボタン４６には、ワンショットエコー開始操作が割り当てられる。消去ボタン４９には、マルチエコー開始・停止操作が割り当てられる。
【０１８６】
本実施の形態３では、揺らぎ効果に関して、開始だけでなく停止も任意に設定することができるものとしているが、実施の形態１と同様に、揺らぎ効果が、効果開始後所定時間経過した時点で停止する場合には、右矢印キー４４６に対して揺らぎ効果開始操作を割り当てればよい。
【０１８７】
図３３は、撮像装置６１が行う処理の概要を示すフローチャートである。図３３におけるステップＳ７１〜Ｓ７６の処理は、図１３におけるステップＳ１〜Ｓ６の処理に順次対応している。
【０１８８】
ステップＳ７７において、動画ボタン４７が操作されたとき（ステップＳ７７：Ｙｅｓ）、制御部２９は、動画の記録中であることを示す記録中フラグを反転させる（ステップＳ７８）。
【０１８９】
続いて、制御部２９は、ＳＤＲＡＭ２５に記録された記録中フラグがオン状態であるか否かを判断する（ステップＳ７９）。記録中フラグがオン状態であると判断した場合（ステップＳ７９：Ｙｅｓ）、制御部２９は、記録媒体２３に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体２３に格納する（ステップＳ８０）。その後、撮像装置１はステップＳ８１へ移行する。ステップＳ７９において記録中フラグがオン状態にないと判断した場合（ステップＳ７９：Ｎｏ）、撮像装置はステップＳ８１へ移行する。
【０１９０】
ステップＳ８１においてモード設定が変更され（ステップＳ８１：Ｙｅｓ）、動画モードに設定された場合（ステップＳ８２：Ｙｅｓ）、制御部２９は、特殊動画用ユーザインターフェースの設定処理を行う（ステップＳ８３）。この設定処理により、例えば図３２に示すような動画モード用の割り当てが実行される。その結果、制御部２９は、ステップＳ８３で設定対象となったユーザインターフェースがこの後で受け付ける信号を、図３２に基づく特殊動画用の信号として認識する。
【０１９１】
一方、ステップＳ８１においてモード設定が変更され（ステップＳ８１：Ｙｅｓ）、静止画モードに設定された場合（ステップＳ８２：Ｎｏ）、制御部２９は、静止画用ユーザインターフェースの設定処理を行う（ステップＳ８５）。ここでも、図３２に示すような静止画モード用のキーの割当が行われる。
【０１９２】
ステップＳ８５〜Ｓ１００の処理は、上述した実施の形態１で説明したステップＳ１５〜Ｓ２８の処理に順次対応している。
【０１９３】
以上説明した本発明の実施の形態３によれば、動画撮影モードに設定すると、設定信号入力部が動画中特殊効果用に切り替わり、制御部は動画用特殊効果の設定信号が入力されたものと認識する。したがって、ユーザは撮影時に簡単な操作をすることで、容易に動画に特殊効果を適用することができる。モード設定に応じてユーザインターフェースの設定を切り替え、動画中特殊効果をライブビュー画像で確認した上で撮影を行うことができる。
【０１９４】
また、本実施の形態３によれば、設定信号入力部を構成するユーザインターフェースに動画用と静止画用の入力機能を兼備させることができるため、ユーザインターフェースの数を抑えることができる。したがって、装置の小型化にも好適である。
【０１９５】
また、本実施の形態３によれば、ユーザは、動画撮影待機中や静止画撮影待機中などに、動画へ記録される前に動画特殊効果の適用を明確に把握することができる。したがって、ユーザは、動画記録撮影される特殊効果付の動画像を事前にイメージしたり、特殊効果付与のタイミングを事前に考慮することが可能となる。
【０１９６】
（変形例３−１）
図３４は、本実施の形態３の変形例３−１に係る撮像装置が静止画撮影モードと動画撮影モードにそれぞれ設定されている場合のキーの割り当て例を示す図である。本変形例３−１に係る撮像装置が静止画撮影モードに設定されている場合の十字キー４４１のキー割り当ては、実施の形態３と同じである。
【０１９７】
以下、本変形例３−１に係る撮像装置が動画撮影モードに設定されている場合のキーの割り当て例を説明する。上矢印キー４４３には、ワンショットエコー開始操作が割り当てられる。下矢印キー４４４には、トランジット開始操作が割り当てられる。左矢印キー４４５には、マルチエコー開始・停止操作が割り当てられる。右矢印キー４４６には、揺らぎ開始・停止操作が割り当てられる。
【０１９８】
（変形例３−２）
図３５は、本実施の形態３の変形例３−２に係る撮像装置が静止画撮影待機状態にある場合の表示部２１における画面表示例を示す図である。本変形例３−２においては、タッチパネル５０を用いて各種信号の入力を行う。図３５に示す画面Ｑ７では、静止画撮影用のメニュー選択アイコンＩ２に加えて、撮影モードアイコンＩ１'もタッチ入力可能であり、モード設定信号入力部６２２の一部をなしている。
【０１９９】
図３６は、画面Ｑ７において撮影モードアイコンＩ１'が選択された場合に表示部２１が表示する画面表示例を示す図である。図３６に示す画面Ｑ８において、画面下方には、ＰモードアイコンＩ１３（「Ｐ」と表示）、ＡモードアイコンＩ１４（「Ａ」と表示）、ＳモードアイコンＩ１５（「Ｓ」と表示）、ＭモードアイコンＩ１６（「Ｍ」と表示）、動画アイコンＩ１７（「ＭＯＶＩＥ」と表示）、確定アイコンＩ１０の６種類のアイコンが表示されている。このうち、ＰモードアイコンＩ１３、ＡモードアイコンＩ１４、ＳモードアイコンＩ１５、ＭモードアイコンＩ１６は、撮影モード（露出モード）を設定するためのアイコンであり、モードダイヤル４３と同様の機能を有する。
【０２００】
画面Ｑ８において動画アイコンＩ１７が選択されると、撮像装置１は動画モードへ移行して動画撮影待機状態となる。
【０２０１】
図３７は、動画撮影待機状態における表示部２１の画面表示例を示す図である。図３７に示す画面Ｑ９では、ワンショットエコーアイコンＩ４、マルチエコーアイコンＩ５、トランジットアイコンＩ６、およびリターンアイコンＩ８が表示される。
【０２０２】
図３７に示す状態でワンショットエコーアイコンＩ４、マルチエコーアイコンＩ５、トランジットアイコンＩ６のいずれかが選択されると、表示制御部２９２は、選択された動画中特殊効果に対応する特殊効果を適用してライブビュー画像を表示する。トランジットアイコンＩ６が選択された場合には、図２７に示す画面Ｑ３が表示される。動画中特殊効果が選択された状態で動画ボタン４７が押されると、制御部２９は、ライブビュー画像で表示している動画中特殊効果入りの動画の記録を開始する。
【０２０３】
以上説明した本実施の形態３の変形例３−１、３−２によれば、実施の形態３と同様の効果を得ることができる。
【０２０４】
（実施の形態４）
本発明の実施の形態４は、動画を撮影可能な撮像装置において、撮影モードの一つとして、動画中特殊効果を適用して撮影する動画中特殊効果適用モードを設定することが可能であることを特徴とする。
【０２０５】
図３８は、本発明の実施の形態４に係る撮像装置が行う処理の概要を示すフローチャートである。本実施の形態４に係る撮像装置の構成は、上述した実施の形態３で説明した撮像装置６１の構成と同様である。また、図３８におけるステップＳ１１１〜Ｓ１１４、Ｓ１１６の処理は、図３３におけるステップＳ７１〜Ｓ７４、Ｓ７６の処理に順次対応している。
【０２０６】
ステップＳ１１５において、カメラ設定が行われる（ステップＳ１１５）。ここでのカメラ設定は、仕上がり、静止画記録モード、動画記録モード特殊効果設定、トランジットの切り替え先の設定、揺らぎ効果の設定に加えて特殊効果の選択も含まれる。したがって、本実施の形態４では、予め動画中特殊効果が選択されることとなる。この特殊効果の選択は、モードダイヤル４３で行うことができるようにしてもよい。
【０２０７】
ステップＳ１１７において、動画ボタン４７が操作されたとき（ステップＳ１１７：Ｙｅｓ）、制御部２９は、動画の記録中であることを示す記録中フラグを反転させる（ステップＳ１１８）。
【０２０８】
続いて、制御部２９は、ＳＤＲＡＭ２５に記録された記録中フラグがオン状態であるか否かを判断する（ステップＳ１１９）。記録中フラグがオン状態であると判断した場合（ステップＳ１１９：Ｙｅｓ）、制御部２９は、記録媒体２３に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体２３に格納する（ステップＳ１２０）。その後、撮像装置１はステップＳ１２１へ移行する。ステップＳ１１９において記録中フラグがオン状態にないと判断した場合（ステップＳ１１９：Ｎｏ）、動画中特殊効果画像処理部１６３は、ステップＳ１２１へ移行する。
【０２０９】
ステップＳ１２１において、制御部２９は、撮像装置６１が動画特殊効果モードに設定されているか否かを判定する。判定の結果、撮像装置６１が動画特殊効果モードに設定されている場合（ステップＳ１２１：Ｙｅｓ）、制御部２９は、動画特殊効果フラグをオン状態にする（ステップＳ１２２）。一方、ステップＳ１２１で制御部２９が判定した結果、撮像装置６１が動画特殊効果モードに設定されていない場合（ステップＳ１２１：Ｎｏ）、制御部２９は動画特殊効果フラグをオフ状態にする（ステップＳ１２３）。
【０２１０】
ステップＳ１２４〜Ｓ１３６の処理は、実施の形態３で説明したステップＳ８８〜Ｓ１００の処理に順次対応している。
【０２１１】
以上説明した本発明の実施の形態４によれば、動画中特殊効果用のモード設定を行うことができるため、モードを切り替えるだけで、動画中特殊効果が付与された動画を簡単に撮影することができる。
【０２１２】
なお、本実施の形態４に係る撮像装置において、静止画モードを設定できるようにしてもよいことはいうまでもない。
【０２１３】
（実施の形態５）
本発明の実施の形態５は、動画中に静止画を撮影した場合にも、その前に記録した動画データを用いて動画中特殊効果を付与することを特徴とする。
【０２１４】
図３９は、本実施の形態５に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置７１は、画像処理部７２を除いて、実施の形態１で説明した撮像装置１と同様の構成を有する。以下、画像処理部７２の構成を説明する。
【０２１５】
画像処理部７２は、基本画像処理部１６１と、アート効果画像処理部１６２と、動画中特殊効果画像処理部７２１とを有する。動画中特殊効果画像処理部７２１は、動画像データの画素数を補間することによって動画像データの画素数をリサイズするリサイズ処理部７２２を有する。
【０２１６】
図４０は、撮像装置７１が行う画像処理の詳細を示すフローチャートである。なお、画像処理を除く撮像装置７１の処理の概要は、実施の形態１と同様である（図１３を参照）。図４０において、基本画像処理部１６１が基本画像処理を行い（ステップＳ１４１）、アート効果画像処理部１６３がアート効果処理を行う（ステップＳ１４２）。ここでの基本画像処理およびアート効果処理は、実施の形態１で説明したものと同じである。
【０２１７】
この後、制御部２９は、動画中特殊効果が設定されているか否かを判定する（ステップＳ１４３）。動画中特殊効果が設定されている場合（ステップＳ１４３：Ｙｅｓ）、撮像装置７１はステップＳ１４４に移行する。一方、動画中特殊効果が設定されていない場合（ステップＳ１４３：Ｎｏ）、撮像装置７１はメインルーチン（図１３を参照）へ戻る。
【０２１８】
ステップＳ１４４において、制御部２９は、設定された特殊効果がマルチエコーであるか否かを判定する。設定された特殊効果がマルチエコーである場合（ステップＳ１４４：Ｙｅｓ）、撮像装置１はステップＳ１４５へ進む。一方、設定された特殊効果がマルチエコーでない場合（ステップＳ１４４：Ｎｏ）、撮像装置１は後述するステップＳ１４９へ移行する。
【０２１９】
ステップＳ１４５において、撮像装置１が静止画モードに設定されている場合（ステップＳ１４５：Ｙｅｓ）、リサイズ処理部７２２は、動画用の前フレームをリサイズする（ステップＳ１４６）。この処理は、動画と静止画で画像データの画素数が異なるためである。
【０２２０】
図４１は、リサイズ処理部７２２が行うリサイズ処理の概要を模式的に示す図である。図４１において、フレームの大きさが画像データの画素数に対応している。リサイズ処理部７２２が動画データをリサイズする際には、動画フレーム３０１のアスペクト比を維持したまま、動画フレーム３０１の横方向の画素数が静止画フレーム３０２の横方向の画素数と略等しくなるように、補間によって画素数を増やすことによってリサイズ後フレーム３０１'を生成する。
【０２２１】
続いて、動画中特殊効果画像処理部１６３は、リサイズした動画フレームと静止画フレームとを合成する（ステップＳ１４７）。具体的には、動画中特殊効果画像処理部１６３は、画素の色データごとに動画フレームの信号と静止画フレームの信号を所定の比率で足し合わせることによって合成画像信号を生成する。合成画像信号は、前フレーム画像信号の比率をｃ（＜１）とすると、
ｃ×前フレーム画像の信号＋（１−ｃ）×静止画フレームの信号
で表される。
【０２２２】
図４２は、静止画モードにおける合成処理と前フレーム画像信号の合成比率ｃを模式的に説明する図である。図４２において、リサイズした前フレームと静止画との間で、共通して画像が存在する領域Ｄ１において、前フレームである画像信号の比率ｃはほぼ一定値ｃ0をとる。一定値ｃ0の値は、例えば０．５よりも小さい値である。これに対し、動画フレームの信号が存在しない領域Ｄ２と領域Ｄ１の境界付近では、領域Ｄ１から領域Ｄ２に向けて比率ｃが徐々に小さくなっていき、領域Ｄ２内でｃ＝０となる。
【０２２３】
ステップＳ１４５において、撮像装置１が動画モードに設定されていれば（ステップＳ１４５：Ｎｏ）、動画中特殊効果画像処理部１６３は、前フレームと動画フレームをそのまま合成する（ステップＳ１４８）。
【０２２４】
ステップＳ１４７またはＳ１４８に続いて、制御部２９は、適用する効果がワンショットエコーであるか否かを判定する（ステップＳ１４９）。適用する効果がワンショットエコーである場合（ステップＳ１４９：Ｙｅｓ）において、静止画撮影モードに設定されているとき（ステップＳ１５０：Ｙｅｓ）、動画中特殊効果画像処理部１６３は、前フレームをリサイズする（ステップＳ１５１）。適用する効果がワンショットエコーである場合（ステップＳ１４９：Ｙｅｓ）において、静止画撮影モードに設定されていないとき（ステップＳ１５０：Ｎｏ）、撮像装置１はステップＳ１５２へ移行する。
【０２２５】
その後、動画中特殊効果画像処理部１６３は、前フレームと現在のフレームを所定の合成比率で合成する（ステップＳ１５２）。この合成比率は、現在のフレームの比率が高くなるように設定されることが望ましい。
【０２２６】
ステップＳ１４９において、適用する動画中特殊効果がワンショットエコーでない場合（ステップＳ１４９：Ｎｏ）、撮像装置７１はステップＳ１５３へ移行する。
【０２２７】
ステップＳ１５３において、制御部２９は、適用する効果が揺らぎであるか否かを判定する。適用する効果が揺らぎである場合（ステップＳ１５３：Ｙｅｓ）、動画中特殊効果画像処理部１６３は揺らぎを追加する（ステップＳ１５４）。一方、適用する効果が揺らぎでない場合（ステップＳ１５３：Ｎｏ）、撮像装置７１はステップＳ１５５へ移行する。
【０２２８】
ステップＳ１５５において、制御部２９は、適用する効果がトランジットであるか否かを判定する（ステップＳ１５５）。適用する効果がトランジットである場合（ステップＳ１５５：Ｙｅｓ）において、撮像装置７１が静止画を撮影する状態でないとき（ステップＳ１５６：Ｎｏ）、基本画像処理部１６１およびアート効果画像処理部１６２は、仕上がり／切り替え先の設定に応じた基本画像処理（ステップＳ１５７）およびアート効果処理（ステップＳ１５８）をそれぞれ実行する。
【０２２９】
その後、動画中特殊効果画像処理部１６３は、トランジット用の二つの画像の合成処理を行う（ステップＳ１５９）。ステップＳ１５９の後、撮像装置７１はメインルーチンへ戻る。
【０２３０】
ステップＳ１５５において、適用する効果がトランジットでない場合（ステップＳ１５５：Ｎｏ）、撮像装置７１は静止画に対してトランジットを適用することなく、メインルーチンへ戻る。
【０２３１】
ステップＳ１５６において、撮像装置７１が静止画を撮影する状態である場合（ステップＳ１５６：Ｙｅｓ）、撮像装置７１はメインルーチンへ戻る。
【０２３２】
以上説明した本発明の実施の形態５によれば、静止画に対してもマルチエコーやワンショットエコーの特殊効果を付与するが、その際にリサイズ処理を行っているため、動画と静止画を合成しても違和感がない。したがって、本実施の形態５によれば、動画と静止画に対し、それぞれの特性を活かした適切な残像効果を適用することができる。
【０２３３】
なお、本実施の形態５では、動画の場合も静止画の場合も前フレームのみを合成していたが、複数の前フレームを用いて合成画像を生成してもよい。その際には、静止画の場合には動画の場合よりも多数の前フレームを用いることによって残像効果を大きくすればより好ましい。
【０２３４】
（変形例５−１）
図４３は、本実施の形態５の変形例５−１に係る撮像装置が行うリサイズ処理の概要を模式的に示す図である。図４３においても、フレームの大きさが画像データの画素数に対応している。本変形例５−１では、画像データを記録する際、動画の場合にも静止画と同じアスペクト比の画像データ３０３をＳＤＲＡＭ２５に記録する。この画像データ３０３のうち、動画のアスペクト比を有する部分を圧縮して動画データ３０４として記録媒体２３に記録する。
【０２３５】
本変形例５−１では、静止画を撮影した場合、動画中特殊効果画像処理部１６３は、前フレームとしてＳＤＲＡＭ２５が記憶する画像データ３０３を使用してリサイズすることにより、静止画フレームと同じ画素数を有するリサイズ画像データ３０３'を生成する。このため、静止画像データと動画像データを合成する場合であっても同じアスペクト比の画像データを合成することができる。
【０２３６】
以上説明した本実施の形態５の変形例５−１によれば、前フレームのアスペクト比を静止画のアスペクト比に揃えて合成することができるので、静止画フレームに写っている被写体のうち前フレーム画像の動画アスペクト比の領域外に写っている被写体についても自然な残像効果を持たせることができる。
【０２３７】
（実施の形態６）
本発明の実施の形態６は、実施の形態５と同様、動画中に静止画を撮影した場合にも、それより時間的に前に取得した動画データを用いて動画中特殊効果を付与するとともに、動画中特殊効果を付与しない静止画自体も記録することを特徴とする。本実施の形態６に係る撮像装置の構成は、実施の形態５で説明した撮像装置７１の構成と同様である。
【０２３８】
図４４は、本実施の形態６に係る撮像装置７１が行う画像処理の詳細を示すフローチャートである。図４４において、基本画像処理部１６１は、基本画像処理を行う（ステップＳ１６１）。またアート効果画像処理部１６２は、アート効果処理を行う（ステップＳ１６２）。
【０２３９】
その後、制御部２９は、動画中特殊効果が設定されているか否かを判定する（ステップＳ１６３）。動画中特殊効果が設定されている場合（ステップＳ１６３：Ｙｅｓ）、撮像装置７１はステップＳ１６４へ移行する。一方、動画中特殊効果が設定されていない場合（ステップＳ１６３：Ｎｏ）、撮像装置７１はメインルーチンへ戻る。
【０２４０】
ステップＳ１６４において、撮像装置１が静止画撮影モードに設定されている場合（ステップＳ１６４：Ｙｅｓ）、制御部２９は静止画を記録媒体２３へ記録する制御を行う（ステップＳ１６５）。これに対し、撮像装置１が静止画撮影モードに設定されていない場合（ステップＳ１６４：Ｎｏ）、撮像装置１はステップＳ１６６へ移行する。
【０２４１】
ステップＳ１６６〜Ｓ１８１の処理は、実施の形態５で説明したステップＳ１４４〜Ｓ１５９の処理に順次対応している（図４０を参照）。
【０２４２】
以上説明した本発明の実施の形態６によれば、静止画に対してもマルチエコーやワンショットエコーの特殊効果を付与するが、その際にリサイズ処理を行っているため、動画と静止画を合成しても違和感がない。したがって、本実施の形態６によれば、動画と静止画に対し、それぞれの特性を活かした適切な残像効果を適用することができる。
【０２４３】
また、本実施の形態６によれば、動画中特殊効果を付与したい静止画も自動的に記録するため、ユーザは静止画を再生する時に自身の好みの画像を選択することができる。
【０２４４】
（実施の形態７）
図４５は、本発明の実施の形態７に係る撮像装置が行う画像処理の概要を模式的に示す図である。本実施の形態７では、動画中特殊効果としてマルチエコーを適用する場合、動画と静止画で、合成対象とする前フレームの動画画像データの枚数が異なる。具体的には、動画の場合には、３枚の動画画像データを合成するのに対し、静止画の場合には、５枚の動画画像データを合成する。なお、本実施の形態７に係る撮像装置の構成は、実施の形態５で説明した撮像装置７１の構成と同じである。
【０２４５】
図４６は、本実施の形態７に係る撮像装置７１が行う画像処理の概要を示すフローチャートである。図４６において、まず制御部２９は、撮像素子１２が取得したＲＡＷ画像データ（ベイヤデータ）をＳＤＲＡＭ２５内に確保したリングバッファで管理する（ステップＳ１９１）。
【０２４６】
図４７は、ベイヤデータと露光量との関係を示す図である。同図に示す曲線Ｌからも明らかなように、ベイヤデータの数値は、暗部で立ち上がりが急であり、明部で立ち上がりが緩やかなニー（ｋｎｅｅ）特性を有する。このような特性を有する曲線Ｌは、暗部ほど量子化ステップを細かくする一方、明部ほど量子化ステップを粗くすることによって得られる。このように、本実施の形態７では、露光量によらず一定である通常の量子化ステップとは異なる量子化ステップでベイヤデータを量子化しているため、ベイヤデータの数値特性がガンマの特性に近くなり、画質への影響が少なく、データを圧縮しやすくなる。その結果、より小さな画像データをＳＤＲＡＭ２５に格納することができる。
【０２４７】
図４８は、ＳＤＲＡＭ２５が記憶するデータ構造の要部を模式的に示す図である。同図に示すデータ構造４０１には、画像合成時に使用する枚数分（図では５枚分）のバッファＢｕ１〜Ｂｕ５がリングバッファとして確保されている。バッファＢｕｉ（ｉ＝１〜５）には、ベイヤデータを格納する領域Ｂｕｉ１と、次のバッファのアドレスを格納する領域Ｂｕｉ２とが設けられている。以下、バッファＢｕｉのアドレスをＡｄｉとする。
【０２４８】
最初にベイヤデータを格納する際には、初期格納先情報を「格納先アドレス＝Ａｄ１、末端アドレス＝ＮＵＬＬ（０）」とする。その後、ベイヤデータを格納すると、格納先情報は「格納先アドレス＝Ａｄ２，末端アドレス＝Ａｄ１」となる。これは、アドレスＡｄ１からアドレスＡｄ２の一つ前のバッファまで古い順にデータがあることを意味する。すなわち、格納されたベイヤデータが１つあることを意味する。
【０２４９】
この後、二つ目のベイヤデータを格納すると、格納先情報は「格納先アドレス＝Ａｄ３、末端アドレス＝Ａｄ１」となる。この場合には、２つのバッファＢｕ１、Ｂｕ２にベイヤデータが格納される。
【０２５０】
以後同様に繰り返し、５つ目のベイヤデータを格納すると、格納先情報は「格納先アドレス＝Ａｄ１、末端アドレス＝Ａｄ１」となる。この場合、５つのバッファＢｕ１〜Ｂｕ５にベイヤデータが格納される。
【０２５１】
この後、ベイヤデータの格納を続けると、最も古いベイヤデータはバッファＢｕ１に格納されているため、このベイヤデータが最新のデータに更新され、バッファＢｕ１に格納されたベイヤデータが最も古いデータとなる。このため、格納先情報は「格納先アドレス＝Ａｄ２，末端アドレス＝Ａｄ２」となる。
【０２５２】
以後同様の処理を繰り返すことにより、ＳＤＲＡＭ２５では、最も古いベイヤデータを最新のベイヤデータに置替しながら一定枚数のベイヤデータを管理する。
【０２５３】
図４６に戻ってステップＳ１９２以降の処理を説明する。基本画像処理部１６１は、基本画像処理を行う（ステップＳ１９２）。また、アート効果画像処理部１６２は、アート効果画像処理を行う（ステップＳ１９３）。基本画像処理およびアート効果画像処理が施された画像データ（ベイヤデータ）は、ＳＤＲＡＭ２５のバッファに格納される。
【０２５４】
この後、制御部２９は、動画中特殊効果が設定されているか否かを判定する（ステップＳ１９４）。動画中特殊効果が設定されている場合（ステップＳ１９４：Ｙｅｓ）、撮像装置７１はステップＳ１９５へ移行する。一方、動画中特殊効果が設定されていない場合（ステップＳ１９４：Ｎｏ）、撮像装置７１はメインルーチンへ戻る。
【０２５５】
ステップＳ１９５において、動画中特殊効果としてマルチエコーが設定されていれば（ステップＳ１９５：Ｙｅｓ）、撮像装置７１はマルチエコー処理を行う（ステップＳ１９６）。マルチエコー処理の詳細については後述する。
【０２５６】
続くステップＳ１９７〜ステップＳ２０７の処理は、図４４のステップＳ１７１〜Ｓ１８１の処理に順次対応している。
【０２５７】
図４９は、マルチエコー処理の概要を示すフローチャートである。図４９において、動画中特殊効果画像処理部１６３は、取得した画像信号に対して画素ごとに所定の係数（ゲイン）を乗算する（ステップＳ２１１）。この係数の値は、後述するｄ0である。
【０２５８】
この後、制御部２９は、繰り返しの回数を示すカウンタＩの値を０とする（ステップＳ２１２）。
【０２５９】
続いて、動画中特殊効果画像処理部１６３は、Ｉ＋１フレーム分だけ前のデータを取得し（ステップＳ２１３）、線形変換を行う（ステップＳ２１４）。ここでの線形変換は、フレームごとの量子化ステップ時の特性の違いをなくすためのものであって、上述した量子化ステップにおける特性と逆の特性（デニー（ｄｅｋｎｅｅ）特性）を有する。このような線形変換を行うことにより、ベイヤデータは露光量と比例する数値を有することとなる。
【０２６０】
この後、基本画像処理部１６１は、線形変換された画像データに対して基本画像処理を行う（ステップＳ２１５）。また、アート効果画像処理部１６２は、ステップＳ２１５で基本画像処理された画像データに対してアート効果画像処理を行う（ステップＳ２１６）。
【０２６１】
ステップＳ２１６に続く処理は、撮像装置７１が取得した画像が静止画であるか動画であるかに応じて異なる。まず、取得した画像が静止画である場合（ステップＳ２１７：Ｙｅｓ）を説明する。この場合、リサイズ処理部７２２は、画像データをリサイズし（ステップＳ２１８）、リサイズした画像データを用いて合成を行う（ステップＳ２１９）。ここでの合成処理は、
フレームバッファ画像データ＋ｄ×画像データ
と表される。
【０２６２】
図５０は、動画画像ゲインｄの値と繰り返し回数Ｉとの関係を示す図である。図５０に示す場合、繰り返し回数Ｉが増加するにつれて、画像ゲインｄは小さくなっていき、全ての取りうるＩに対応した係数を全てのＩの分だけ和を取ると１．０となるように設定されている（ｄ0＋ｄ1＋ｄ2＋ｄ3＋ｄ4＝１．０）。ここで、Ｉ＝０における画像ゲインｄ0は、上述したステップＳ２１１で適用した画像ゲインの値である。
【０２６３】
続いて、制御部２９は、カウンタＩを１増やしてＩ＋１とする（ステップＳ２２０）。この後、カウンタＩが所定値Ｉ0（ここではＩ0＝５）よりも小さければ（ステップＳ２２１：Ｙｅｓ）、撮像装置７１はステップＳ２１３に戻る。一方、カウンタＩが所定値Ｉ0以上であれば（ステップＳ２２１：Ｎｏ）、撮像装置７１はメインルーチンへ戻る。
【０２６４】
次に、取得した画像が動画である場合（ステップＳ２１７：Ｎｏ）を説明する。この場合、動画中特殊効果画像処理部１６３は、２つのフレームを合成する（ステップＳ２２２）。ここでの合成処理は、静止画と同様、
フレームバッファ画像データ＋ｅ×画像データ
で表される。
【０２６５】
図５１は、取得した画像が静止画である場合に適用される画像ゲインｅの値と繰り返し回数Ｉとの関係を示す図である。図５１に示す場合、繰り返し回数Ｉが増加するにつれて、係数は小さくなっていき、全ての取りうるＩに対応した係数を全てのＩの分だけ和を取ると１．０となるように設定されている（ｅ0＋ｅ2＋ｅ4＝１．０）点は静止画と同じである。ただし、動画の場合、インクリメント量が静止画よりも大きいため、同じＩの値で比較すると、動画に適用する係数の方が大きくなっているほうがより好ましい。なお、ステップＳ２１１における画像ゲインの値を静止画と動画で同じにする上では、ｄ0＝ｅ0でなければならない。
【０２６６】
続いて、制御部２９は、カウンタＩを２増やしてＩ＋２とする（ステップＳ２２３）。この後、撮像装置１はステップＳ２２１へ移行する。
【０２６７】
以上説明した本発明の実施の形態７によれば、動画と静止画にそれぞれ適切な残像効果を実現し、最低限の処理で画像を作成することが可能となる。
【０２６８】
また、本実施の形態７によれば、係数の特性は任意に設定することができるため、設計の自由度も大きい。
【０２６９】
なお、本実施の形態７においては、レンズ操作部３５などからの操作入力により、画像ゲインｄおよびｅ、リングバッファの数、合成に使用するフレームの間隔などの設定を変更することができるようにしてもよい。このように各種設定を変更することにより、ユーザの好みに合った残像効果を作成することが可能となる。
【０２７０】
本実施の形態７におけるリングバッファの管理態様は、上述した方法に限られるわけではない。例えば、キューを用いてリングバッファを管理することも可能である。以下、キューを用いたリングバッファの管理方法を説明する。
【０２７１】
図５２は、ＳＤＲＡＭ２５が記憶するデータ構造の要部を模式的に示す図である。同図に示すデータ構造４０２には、画像合成時に使用する枚数分（図では５枚分）のバッファｂｕ１〜ｂｕ５がリングバッファとして確保されている。バッファｂｕｉ（ｉ＝１〜５）には、ベイヤデータが格納されている。
【０２７２】
図５３は、キューを用いたリングバッファの管理の態様を示す図である。まず、空きキューに要素がある場合には、先頭を取り出して対応するベイヤデータを格納し、使用キューの末尾に追加する。図５３（ａ）の場合には、空きキューの先頭のバッファｂｕ１を取り出して対応するベイヤデータ１を格納し、そのバッファｂｕ１を使用キューの末尾に追加する（図５３（ｂ））。この処理を繰り返すと、図５３（ａ）に示す場合、格納５回目で空きキューは空となり、使用キューに全てのバッファが追加される。その後は、使用キューの先頭を末尾へと移動させながらベイヤデータの格納を続ける（図５３（ｄ））。
【０２７３】
このように、リングバッファを用いて動画データを管理する場合には、公知技術のいずれかを適用することが可能である。
【０２７４】
なお、本実施の形態７においては、合成する画像データの抽出間隔を変更してもよいし、合成する画像データの数を変更してもよい。また、本実施の形態８においては、リングバッファとして格納するベイヤデータの数を変えてもよい。これらの設定変更は、設定信号入力部２０１からの設定信号の入力によって実行できるようにすればよい。
【０２７５】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜７によってのみ限定されるべきものではない。
【０２７６】
例えば、本発明において、表示部とは別に電子ビューファインダを本体部に設け、この電子ビューファインダにおいて本発明を適用するようにしてもよい。この場合には、表示部と電子ビューファインダとで動画中特殊効果の見え方が異なるようにすればより好ましい。
【０２７７】
また、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。
【０２７８】
また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、例えばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。
【０２７９】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０２８０】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【０２８１】
１、５１、６１、７１ 撮像装置
２ 本体部
３ レンズ部
１２ 撮像素子
１６、７２ 画像処理部
１９ 画像圧縮展開部
２０、５２、６２ 入力部
２１ 表示部
２２ 表示駆動部
２３ 記録媒体
２６ Ｆｌａｓｈメモリ
２７ 本体通信部
２８ バス
２９ 制御部
３１ 光学系
３５ レンズ操作部
３６ レンズｆｌａｓｈメモリ
３７ レンズ通信部
３８ レンズ制御部
４１ 電源ボタン
４２ レリーズボタン
４３ モードダイヤル
４４ 操作ボタン
４５ メニューボタン
４６ 再生ボタン
４７ 動画ボタン
４８ ファンクションキー
４９ 消去ボタン
５０ タッチパネル
１６１ 基本画像処理部
１６２ アート効果画像処理部
１６３、７２１ 動画中特殊効果画像処理部
２０１、６２１ 設定信号入力部
２０２ 動画撮影信号入力部
２６１ プログラム記録部
２６２ 特殊効果処理情報記録部
２６３ 画像処理情報記録部
２９１ 画像処理制御部
２９２ 表示制御部
３０１ 動画フレーム
３０１' リサイズ後フレーム
３０２ 静止画フレーム
３０３ 画像データ
３０３' リサイズ画像データ
３０４ 動画データ
４０１、４０２ データ構造
４４１ 十字キー
４４２ 決定ボタン
４４３ 上矢印キー
４４４ 下矢印キー
４４５ 左矢印キー
４４６ 右矢印キー
５２１ シミュレーション信号入力部
５２２ 効果記録開始信号入力部
５２３ 効果停止信号入力部
６２２ モード設定信号入力部
７２２ リサイズ処理部
Ａ１、Ａ２、Ａ３、Ａ４、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｒ２０ アート効果画像
Ｉ１ 撮影モードアイコン
Ｉ２、Ｉ３ メニュー選択アイコン
Ｉ４ ワンショットエコーアイコン
Ｉ５ マルチエコーアイコン
Ｉ６ トランジットアイコン
Ｉ７ テストオンアイコン
Ｉ８ リターンアイコン
Ｉ９ 仕上がり一覧表示アイコン
Ｉ１０ 確定アイコン
Ｉ１１ 終了アイコン
Ｉ１２ テストオフアイコン
Ｉ１７ 動画アイコン
Ｉ９１ 上スクロールボタン
Ｉ９２ 下スクロールボタン
Ｒ１、Ｒ２、Ｒ３、Ｒ４ マルチエコー画像
Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４ ワンショットエコー画像
Ｒ２１、Ｒ２２、Ｒ２３、Ｒ２４、Ｒ２５ トランジット画像
Ｓ１ ＳＤＲＡＭ画像
【特許請求の範囲】
【請求項１】
被写体を撮像して該被写体の画像データを生成し、動画を撮影可能であるとともに、動画撮影終了直後を含む動画撮影中に静止画を撮影可能な撮像装置であって、
動画の画像データに対応する複数のフレームにわたって視覚的な効果を生じさせる第１の特殊効果を付与する画像処理を行うとともに、前記動画撮影中に撮影した静止画に対して、該静止画の前に撮影した動画の画像データを用いて前記第１の特殊効果に対応する第２の特殊効果を付与する画像処理を行う動画中特殊効果画像処理部と、
前記動画特殊効果画像処理部における前記第１および第２の特殊効果の付与態様を制御する制御部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記制御部は、
前記第１の特殊効果を付与している前記複数のフレームの間に含まれる静止画に対して前記第２の特殊効果を付与しない制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部は、
前記第１の特殊効果を付与している前記複数のフレームの間に含まれる静止画に対して前記第２の特殊効果を付与する制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記画像データを記憶する記憶部を備え、
前記制御部は、
前記第１の特殊効果を付与している前記複数のフレームの間に含まれる静止画に対して前記第２の特殊効果を付与する制御を行い、前記第２の特殊効果を付与した画像データと前記第２の特殊効果を付与しない画像データとを前記記憶部に記憶させることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記動画中特殊効果画像処理部は、
前記静止画の前に撮影した動画の画像データの画素数を前記静止画の画像データの画素数に近づけるリサイズ処理を行うリサイズ処理部を有し、
前記リサイズ処理部がリサイズ処理を行った動画の画像データと前記静止画の画像データとを合成することを特徴とする請求項１〜４のいずれか一項に記載の撮像装置。
【請求項６】
前記動画中特殊効果画像処理部が行う画像処理は、
一つ前のフレームの画像データと最新の画像データとを所定の比率で合成する処理を連続して行うマルチエコー処理を含み、
前記最新の画像データが静止画の画像データである場合、前記リサイズ処理部が該画像データに対してリサイズ処理を行うことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記動画中特殊効果画像処理部が行う画像処理は、
特定の画像データとこの画像データの後に撮影した画像データとを所定の比率で順次合成し、前記特定の画像データの合成比率が時間とともに小さくなるワンショットエコー処理を含み、
前記最新の画像データが静止画の画像データである場合、前記リサイズ処理部が該画像データに対してリサイズ処理を行うことを特徴とする請求項５に記載の撮像装置。
【請求項１】
被写体を撮像して該被写体の画像データを生成し、動画を撮影可能であるとともに、動画撮影終了直後を含む動画撮影中に静止画を撮影可能な撮像装置であって、
動画の画像データに対応する複数のフレームにわたって視覚的な効果を生じさせる第１の特殊効果を付与する画像処理を行うとともに、前記動画撮影中に撮影した静止画に対して、該静止画の前に撮影した動画の画像データを用いて前記第１の特殊効果に対応する第２の特殊効果を付与する画像処理を行う動画中特殊効果画像処理部と、
前記動画特殊効果画像処理部における前記第１および第２の特殊効果の付与態様を制御する制御部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記制御部は、
前記第１の特殊効果を付与している前記複数のフレームの間に含まれる静止画に対して前記第２の特殊効果を付与しない制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部は、
前記第１の特殊効果を付与している前記複数のフレームの間に含まれる静止画に対して前記第２の特殊効果を付与する制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記画像データを記憶する記憶部を備え、
前記制御部は、
前記第１の特殊効果を付与している前記複数のフレームの間に含まれる静止画に対して前記第２の特殊効果を付与する制御を行い、前記第２の特殊効果を付与した画像データと前記第２の特殊効果を付与しない画像データとを前記記憶部に記憶させることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記動画中特殊効果画像処理部は、
前記静止画の前に撮影した動画の画像データの画素数を前記静止画の画像データの画素数に近づけるリサイズ処理を行うリサイズ処理部を有し、
前記リサイズ処理部がリサイズ処理を行った動画の画像データと前記静止画の画像データとを合成することを特徴とする請求項１〜４のいずれか一項に記載の撮像装置。
【請求項６】
前記動画中特殊効果画像処理部が行う画像処理は、
一つ前のフレームの画像データと最新の画像データとを所定の比率で合成する処理を連続して行うマルチエコー処理を含み、
前記最新の画像データが静止画の画像データである場合、前記リサイズ処理部が該画像データに対してリサイズ処理を行うことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記動画中特殊効果画像処理部が行う画像処理は、
特定の画像データとこの画像データの後に撮影した画像データとを所定の比率で順次合成し、前記特定の画像データの合成比率が時間とともに小さくなるワンショットエコー処理を含み、
前記最新の画像データが静止画の画像データである場合、前記リサイズ処理部が該画像データに対してリサイズ処理を行うことを特徴とする請求項５に記載の撮像装置。
【図１】
【図２】
【図３】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図４】
【図５】
【図７】
【図２】
【図３】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図４】
【図５】
【図７】
【公開番号】特開２０１３−８１１１１（Ｐ２０１３−８１１１１Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２０５４２（Ｐ２０１１−２２０５４２）
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]