撮像装置及びプログラム
【課題】 「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式の動画撮影中に、静止画撮影を行ったとしても、制約に違反しない動画データを生成することができる撮像装置を提供する。
【解決手段】 動画撮影中に静止画撮影の指示が入力されたことに応じて、所定の画像データを動画データのＩＤＲフレームとして複数回圧縮し、得られた複数のＩＤＲフレームをそれぞれ複数回用いて、ＩＤＲフレームの識別ＩＤが隣接するＩＤＲフレームで同一にならない順番になる動画データとして前記記録媒体に記録する。
【解決手段】 動画撮影中に静止画撮影の指示が入力されたことに応じて、所定の画像データを動画データのＩＤＲフレームとして複数回圧縮し、得られた複数のＩＤＲフレームをそれぞれ複数回用いて、ＩＤＲフレームの識別ＩＤが隣接するＩＤＲフレームで同一にならない順番になる動画データとして前記記録媒体に記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に、動画撮影中に静止画撮影を行うことができる撮像装置に関する。
【背景技術】
【０００２】
従来、動画撮影を行うとともに、動画撮影中に静止画撮影を行うことができる撮像装置が登場してきている。
【０００３】
しかし、動画撮影と静止画撮影とでは、露光時間、解像度、ＩＳＯ感度、ホワイトバランス調整、ガンマ補正、など様々な撮影パラメータが異なる。そのため、従来は、動画撮影中に静止画撮影を実行する場合、静止画撮影が終了するまで動画撮影（動画フレームの記録）を中断し、その終了後に動画撮影を再開する処理を行っていた。そこで、特許文献１のように、静止画撮影を行うことで中断した期間の複数の動画フレームを、静止画撮影により得られた静止画データや、静止画撮影により欠落したフレームの前後の動画フレームを用いて生成した補間フレームで補間する技術が提案されている。また、従来の撮像装置には、黒画像データを用いて生成した補間フレームで補間するものもあった。
【０００４】
一方、近年、動画の圧縮符号化の規格としてＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４が注目されている。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４は、従来のＭＥＰＧ２等の圧縮方式よりも高い圧縮率を実現しており、撮像装置の動画データの圧縮方式としても用いられるようになってきたものである。特に、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４では、新しくＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）フレームが定義された。ＩＤＲフレームとは、フレーム内の情報のみから符号化するフレーム内符号化されたＩ（イントラ）フレームである。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４においては、後続のフレーム間符号化を行うＰフレームやＢフレームは、このＩＤＲフレーム以前のフレームを参照することができないように定められている。また、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４においては、ＩＤＲフレームに対してＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）が付与されており、隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない（ＩＳＯ／ＩＥＣ１４４９６−１０参照）、と規定されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１１１９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１のように、静止画データを用いて生成された補間フレームや所定の補間フレームを用いて、静止画撮影が行われた期間の動画フレームを補間すると、同一のフレームを動画フレームに複数挿入することで補間が行われることになる。しかし、動画データの圧縮方式として、例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４のように、「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式が採用されている場合、このような補間方式を用いると、補間フレームの区間で隣接するＩＤＲフレームに、同一のＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）が割り当てられてしまう場合があるという問題があった。
【０００７】
本発明は、このような問題を解決し、前述のような「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式の動画撮影中に、静止画撮影を行ったとしても、制約に違反しない動画データを生成することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、撮像手段と、動画撮影中に前記撮像手段により得られた画像データを順次動画データとして圧縮する圧縮手段と、前記圧縮手段により圧縮された動画データを記録媒体に記録する記録手段と、前記動画撮影中に静止画撮影の指示を入力する静止画撮影指示手段と、前記圧縮手段と前記記録手段とを制御する制御手段とを有し、前記制御手段は、前記動画撮影中に前記静止画撮影の指示が入力されたことに応じて、所定の画像データを動画データのＩＤＲフレームとして複数回圧縮するように前記圧縮手段を制御し、前記制御手段は、前記複数回圧縮することにより得られた複数のＩＤＲフレームをそれぞれ複数回用いて、ＩＤＲフレームの識別ＩＤが隣接するＩＤＲフレームで同一にならない順番になる動画データとして前記記録媒体に記録するように前記記録手段を制御することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式の動画撮影中に、静止画撮影を行ったとしても、制約に違反しない動画データを生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態における撮像装置の構成を示すブロック図である。
【図２】動画撮影モードの処理を示すフローチャートである。
【図３】動画撮影モードの補間フレーム生成処理を示すフローチャートである。
【図４】動画撮影中に静止画撮影を行ったことで生成されるフレームの状態を示すイメージ図である。
【図５】動画撮影中に静止画撮影を行ったことで生成されるフレームの状態を示すイメージ図である。
【図６】本実施形態の符号化復号化部の構成を示す図である。
【図７】動画撮影モードの補間フレーム生成処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
本実施例においては、動画撮影中に静止画撮影を行うことができる撮像装置について説明する。本実施例の撮像装置は、動画データの圧縮方式として、「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」を使用するものとして説明する。しかし、これは一例であり、「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式であればどのような圧縮方式であってもよい。すなわち、圧縮方式が「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」に限定されるものではない。
【００１２】
ＩＤＲフレームとは、フレーム内の情報のみから符号化するフレーム内符号化されたＩ（イントラ）フレームである。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４においては、後続のフレーム間符号化を行うＰフレームやＢフレームは、このＩＤＲフレーム以前のフレームを参照することができないように定められている。また、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４においては、ＩＤＲフレームに対してＩＤＲフレームの識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）が付与されており、隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない（ＩＳＯ／ＩＥＣ１４４９６−１０参照）、と規定されている。
【００１３】
また、静止画データについては、ＪＰＥＧ方式で圧縮されるものとして説明するが、これは一例であり、どのような圧縮方式を用いても良いし、圧縮を行わなくてもよい。
【００１４】
また、これらの動画データ、静止画データは、ＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）ファイルシステムやｅｘＦＡＴファイルシステムでフォーマットされた記録媒体に記録され、ファイルとして管理されるものを例にとって説明する。しかし、これは一例であって、これ以外のファイルシステムであってもかまわない。
【００１５】
本実施例の撮像装置の特徴的な構成の一つは、以下である。本実施例の撮像装置１００は、動画撮影モードにおいて動画撮影を行っている間に、静止画撮影が行われたことに応じて、欠落した動画フレームを補間することができる。補間フレームを生成する際には、補間フレーム用の画像を複数枚（２枚以上）符号化復号化部によりＩＤＲフレームとして符号化させることで、ＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）の異なる複数の符号化画像データを生成する。そして、生成されたＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）の異なる複数の符号化画像データを、隣接するＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）が同一にならない順番（異なる順番）で、動画データのフレームを補間して記録媒体に記録する。
【００１６】
本実施例の撮像装置は、このような構成とすることで、静止画撮影により欠落した動画フレームを補完する場合に、隣接するＩＤＲフレームにおいて、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てることができる。
【００１７】
以下、このような撮像装置について説明する。
【００１８】
図１は、本実施例の撮像装置１００の構成を示すブロック図である。
【００１９】
撮像装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＦｌａｓｈＲＯＭ１０３、操作部１０４を有する。また、撮像装置１００は、撮像部１１０、画像処理部１１１、音声入力部１２０、音声処理部１２１、表示部１３０、表示制御部１３１、音声出力部１３２、記録媒体１４０、記録再生部１４１、通信部１５０を有する。また、撮像装置１００は、符号化復号化処理部１６０を有する。
【００２０】
図１において、ＣＰＵ１０１は、ＦｌａｓｈＲＯＭ１０３に記録された撮像装置１００の制御プログラムをＲＡＭ１０２に展開し、ＲＡＭ１０２をワークメモリとして使用しながら、撮像装置１００の各ブロックを制御するものである。操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類を有する。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等を備え、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。
【００２１】
撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶するものである。ＲＡＭ１０２に記憶されたデジタル画像信号は、その後、画像処理部１１１に送信される。画像処理部１１１は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。画像処理部１１１は、デジタル画像信号のホワイトバランスや色、明るさなどをユーザに設定された設定値や画像の特性から自動的に判定した設定値に基づいて調整する画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶させるものである。なお、画像処理部１１１の処理は、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。
【００２２】
音声入力部１２０は、たとえば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置１００の周囲の音声を集音（収音）し、取得したアナログ音声信号をデジタル信号に変換してＲＡＭ１０２に一時的に記憶させるものである。ＲＡＭ１０２に記憶されたデジタル音声信号は、その後、音声処理部１２１に送信される。音声処理部１２１は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。音声処理部１２１では、記録時においては、ＲＡＭ１０２に記憶されたデジタル音声信号の、レベルの適正化処理や雑音低減処理等の処理を行い、処理をしたデジタル音声信号を再びＲＡＭ１０２に記憶させるものである。また、必要に応じて、音声信号を圧縮する処理を行う。音声圧縮方式については、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いており、本発明の特徴とは関係ないので説明を省略する。また、再生時においては、記録媒体１４０から記録再生部１４１によって読出された音声ファイルや動画ファイルに含まれる圧縮音声データ復号する処理も行う。なお、音声処理部１２１の処理は、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。
【００２３】
また、表示制御部１３１は、表示部１３０に画像を表示するための表示制御を行うマイクロコンピュータであって、メモリ１０４に一時的に記憶されたデジタル画像信号を読み出して、表示部１３０に表示させる処理を行う。また、記録媒体１４０から記録再生部１４１によって読出された動画ファイルや静止画ファイルに含まれる画像データの画像を表示部１３０に表示させる処理も行う。表示部１３０は、たとえば撮像装置１００に搭載された液晶パネルや有機ＥＬパネル等であっても良いし、撮像装置１００とは別の表示装置（たとえば、テレビ、モニタ、プロジェクタ）であってもよい。なお、表示制御部１３１の処理は、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。
【００２４】
符号化復号化処理部１６０は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。符号化復号化処理部１６０では、記録時においては、画像処理部１１１により処理されＲＡＭ１０２に記憶されたデジタル画像信号に基づいて、画像圧縮処理を行い、圧縮された動画データや静止画データを生成し、ＲＡＭ１０２に一時的に記憶する処理を行う。また、再生時においては、記録媒体１４０から読出された画像ファイルの圧縮された動画データや静止画データを復号してデジタル画像信号を抽出し、ＲＡＭ１０２に記憶していく処理を行う。なお、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。
【００２５】
本実施例においては、符号化復号化処理部１６０は、「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」方式で、撮像部１１０により得られた画像データを圧縮して動画データを生成する。「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」方式においては、入力された画像データを、フレーム内予測符号化方式（イントラ符号化方式）、動き補償前方予測フレーム間符号化方式を用いて圧縮、符号化を行う。また、フレーム内予測符号化方式を用いて符号化したフレームのうち指定したフレームを、前述の動き補償前方予測フレーム間符号化方式のフレームがその指定したフレームよりも前のフレームを参照できなくするためのフラグを付加することができる。これがＩＤＲフレームとなり、このＩＤＲフレームには、ＩＤＲピクチャ識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を付加する機能を有する。ＩＤＲピクチャ識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）は、周知の「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」規格（ＩＳＯ／ＩＥＣ １４４９６−１０参照）に記載されているように、複数のマクロブロックからなるスライスのスライスヘッダに格納される。
【００２６】
次に、記録再生部１４１は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。記録再生部１４１では、動画記録時においては、ＲＡＭ１０２に記憶されている、符号化復号化処理部１６０により生成された圧縮動画データ、音声処理部１２１で生成された音声データ、撮影日等の各種情報とともに、動画ファイルとして記録媒体１４０に書き込む。また静止画記録時においては、ＲＯＭ１０２に記憶されている静止画データを撮影日等の各種情報とともに静止画ファイルとして記録媒体１４０に記録する。動画ファイルを記録媒体１４０に記録する際は、圧縮動画データと音声データとからなるデータストリームを形成し、順次記録媒体１４０に記録していき、ファイルヘッダ等を付加してＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形で動画ファイルを記録媒体に記録する。また、再生時においては、記録媒体１４０に記録された動画ファイルや静止画ファイルを前述のファイルフォーマットに従って読出す。読出された動画ファイルや静止画ファイルは、ＣＰＵ１０１によりヘッダが解析され、圧縮された動画データ、静止画データが抽出される。抽出された圧縮動画データ、静止画データは、ＲＡＭ１０２に記憶されて、符号化復号化処理部１６０により復号される。なお、記録再生部１４１の処理は、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。
【００２７】
また、記録媒体１４０は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１４１は、それらの取り外し可能な記録媒体を受け入れるためのインタフェースを含む。
【００２８】
次に音声出力部１３２は、例えばスピーカや音声出力端子（アナログ端子／デジタル端子）である。例えばスピーカであれば、ＣＰＵ１０１によりｆｌａｓｈＲＯＭ１０３に記録されている所定のデジタル音声信号の出力が指示されたときにデジタル音声信号をアナログ音声外部に変換し、外部に音声として出力する。また、動画ファイルに格納された音声データの示すデジタル音声信号をアナログ音声信号に変換し、外部に音声として出力する。また、音声出力端子であれば、動画ファイルに格納された音声データの示すデジタル音声信号をアナログ音声信号に変換して外部装置（外付けスピーカなど）に出力するか、デジタル音声信号をそのまま外部装置（光デジタル端子搭載のオーディオコンポなど）に出力する。
【００２９】
また、通信部１５０は、撮像装置１００とは異なる外部装置との間で、制御信号や動画ファイル、静止画ファイル、各種データ等を送受信するものであり、有線接続、無線接続を問わず接続可能である。なお、通信方式はどのような方式であっても良い。
【００３０】
ここで、本実施例の撮像装置１００の通常の動作について説明する。
【００３１】
本実施例の撮像装置１００は、ユーザが操作部１０２の電源ボタンを操作すると、操作部１０２から制御部１０１に起動の指示が出される。この指示を受けて、制御部１０１は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに対して電源を供給させる。
【００３２】
電源が供給されると、制御部１０１は、例えば、操作部１０２のモード切り換えスイッチが、例えば、「静止画撮影モード」、「動画撮影モード」、「再生モード」等のどのモードであるかを操作部１０２からの指示信号により確認する。
【００３３】
本実施例の撮像装置１００は、特に「動画撮影モード」において、動画データを「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」の圧縮方式で圧縮する例について説明する。なお、本実施例の撮像装置１００は、「動画撮影モード」において、動画データの全フレームをＩＤＲフレームのみを用いて圧縮符号化する第１の圧縮モードと、動画データの各フレームをフレーム内符号化フレーム（Ｉフレーム、ＩＤＲフレーム）と、フレーム間符号化フレーム（Ｐフレーム、Ｂフレーム）を用いて圧縮符号化する第２の圧縮モードとを有する。なお、「第１の圧縮モード」については、必ずしも全フレームをＩＤＲフレームとする必要はない。
【００３４】
（「静止画撮影モード」）
「静止画撮影モード」であれば、ＣＰＵ１０１は、撮像装置１００の各ブロックに、静止画撮影の準備をさせる。操作部１０４から撮影開始の指示が入力されるまでは、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号をＲＡＭ１０２に記憶させ、ＲＡＭ１０２に記憶されたデジタル画像信号を読出させて表示部１３０に画像を表示させように表示制御部１３１を制御する。なお、画像処理部１１１により処理され、ＲＡＭ１０２に記憶されたデジタル画像信号を読出させて表示部１３０に画像を表示させるように表示制御部１３１を制御しても良い。なお、本実施形態では、撮像部１１０から出力されるデジタル画像信号のフレームレートは、３０フレーム／秒であるとする。また、本実施形態では、記録する静止画のサイズ（画素数）を複数のサイズから選択した一つのサイズに設定することができる。
【００３５】
この状態で、ＣＰＵ１０１は、操作部１０４により撮影開始の指示が入力されたか否かを判定する。撮影開始の指示があると、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号をＲＡＭ１０２に記憶させ、ＲＡＭ１０２に記憶されたデジタル画像信号に対して設定値に基づいて画質調整処理を施すように画像処理部１１１を制御する。そして、ＣＰＵ１０１は、画像処理部１１１で処理されたデジタル画像信号をＲＡＭ１０２に記憶させ、ＲＡＭ１０２に記憶されたデジタル画像信号を符号化して静止画データを生成するように符号化復号化処理部１６０を制御する。次にＣＰＵ１０１は、符号化復号化処理部１６０で処理された静止画データをＲＡＭ１０２に再び記憶させ、記憶された静止画データを静止画ファイルとして記録媒体１４０に記録するように記録再生部１４１を制御する。
【００３６】
この処理が終了すると、ＣＰＵ１０１は、再び静止画撮影の準備状態に各ブロックを戻す。
【００３７】
（「動画撮影モード」）
次に、「動画撮影モード」であれば、ＣＰＵ１０１は、動画撮影モードが前述の「第１の圧縮モード」であるか、前述の「第２の圧縮モード」であるかを判定し、判定結果をＲＡＭ１０２に記憶する。そして、ＣＰＵ１０１は、撮像装置１００の各ブロックに、動画撮影の準備をさせる。操作部１０４から撮影開始の指示が入力されるまでは、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号をＲＡＭ１０２に記憶させ、ＲＡＭ１０２に記憶されたデジタル画像信号を読出させて表示部１３０に画像を表示させように表示制御部１３１を制御する。なお、画像処理部１１１により処理され、ＲＡＭ１０２に記憶されたデジタル画像信号を読出させて表示部１３０に画像を表示させるように表示制御部１３１を制御しても良い。なお、本実施形態では、撮像部１１０から出力されるデジタル画像信号のフレームレートは、３０フレーム／秒であるとする。また、本実施形態では、記録する動画のサイズ（画素数）を複数のサイズから選択した一つのサイズに設定することができる。
【００３８】
この状態で、ＣＰＵ１０１は、操作部１０４により動画撮影開始の指示が入力されたか否かを判定する。撮影開始の指示があると、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号をＲＡＭ１０２に記憶させ、ＲＡＭ１０２に記憶されたデジタル画像信号に対して設定値に基づいて画質調整処理を施すように画像処理部１１１を制御する。ＣＰＵ１０１は動画撮影を継続している間、３０フレーム／秒で撮像部１１０により出力されるデジタル画像信号を順次、画像処理部１１１に処理させる。そして、ＣＰＵ１０１は、画像処理部１１１で処理されたデジタル画像信号を、順次ＲＡＭ１０２に記憶させる。
【００３９】
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された複数フレームのデジタル画像信号を順次符号化して順次動画データを生成するように符号化復号化処理部１６０を制御する。ＣＰＵ１０１は、このとき、第１のモードにおいては、各フレーム画像をすべてＩＤＲフレームとして圧縮符号化をし、第２のモードにおいては、各フレーム画像をフレーム内予測符号化フレーム、フレーム間予測符号化フレームとして圧縮符号化をするように符号化復号化処理部１６０を制御する。そして、ＣＰＵ１０１は、符号化復号化処理部１６０で符号化された各フレーム画像を順次ＲＡＭ１０２に記憶させていく。
【００４０】
一方、撮影開始の指示があると、ＣＰＵ１０１は、音声に関する処理をするようにも各ブロックを制御する。ＣＰＵ１０１は、音声入力部１２０から出力されるデジタル音声信号を順次ＲＡＭ１０２に記憶し、ＲＡＭ１０２に記憶されたデジタル音声信号に音質調整処理を施すように音声処理部１２１を制御する。また、音声圧縮の設定がされている場合には、ＣＰＵ１０１は設定に従って、例えばＡＣ３、ＡＡＣの音声圧縮方式で音声信号を圧縮するように音声処理部１２１を制御する。そして、ＣＰＵ１０１は、音声処理部１２１で処理した音声データをＲＡＭ１０２に順次記憶させていく。
【００４１】
次にＣＰＵ１０１は、ＲＡＭ１０２に記憶された動画データ、音声データを順次、記録媒体１４０に記録するように、記録再生部１４１を制御する。このとき例えば、１５フレーム分（０．５秒分）の動画データと、０．５秒分の音声データとを一組にし、必要な各種情報を付加したデータストリームを形成し、ファイルシステムに従って記録媒体１４０に記録するように、記録再生部１４１を制御する。なお、３０フレーム分（１秒分）の動画データと、１秒分の音声データを一組としても良い。ＣＰＵ１０１は、これらの動作を動画撮影の停止の指示があるまで継続する。
【００４２】
そして、操作部１０４により撮影停止の指示が入力されると、ＣＰＵ１０１は、画像処理部１１１の処理を停止させ、ＲＡＭ１０２に記憶されたデジタル画像信号の符号化が終了した時点で符号化復号化処理部１６０の符号化処理を停止させる。そして、ＣＰＵ１０１は、ＲＡＭ１０２に記憶されている符号化済みの動画データ、音声データを最後まで記録媒体１４０に記録してから動作を停止するように記録再生部１４１を制御する。なお、必要に応じて、記録終了後に、動画ファイルの動画データの先頭のフレームや先頭から数フレームの画像データを符号化復号化処理部１６０に送信して復号させ、復号されたデジタル画像信号の画素数を間引いたサムネイル画像データを生成して、動画ファイルに関連づけて記録するようにしても良い。
【００４３】
この処理が終了すると、ＣＰＵ１０１は、再び動画撮影の準備状態に各ブロックを戻す。
【００４４】
（「再生モード」）
「再生モード」であれば、ＣＰＵ１０１は、記録媒体１４０に記録されている動画ファイル、静止画ファイルのうち指定されたファイルに関連づけられたサムネイル画像データを読出すように記録再生部１４１を制御する。そして、ＣＰＵ１０１は、これらのサムネイル画像データを示す画像を表示部１３０に表示するよう表示制御部１３１を制御する。
【００４５】
そして、操作部１０４から指定されたサムネイルに対応するファイルを再生する指示が入力されると、ＣＰＵ１０１は、指定された動画ファイルや静止画ファイルを記録媒体１４０から読出すように記録再生部１４１を制御する。そして、ＣＰＵ１０１は、読出した動画ファイルや静止画ファイルに含まれる各種情報、動画データ、音声データ、静止画データを抽出してＲＡＭ１０２に記憶させる。
【００４６】
静止画ファイルを再生する場合は、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された静止画データを復号するように符号化復号化処理部１６０を制御し、復号されたデジタル画像信号をＲＡＭ１０２に記憶させる。そして、ＲＡＭ１０２に記憶させた復号されたデジタル画像信号を表示部１３０に表示するように表示制御部１３１を制御する。
【００４７】
また、動画ファイルを再生する場合は、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された動画データを復号するように符号化復号化処理部１６０を制御し、復号された各フレームのデジタル画像信号を順次、ＲＡＭ１０２に記憶させる。そして、ＲＡＭ１０２に記憶させた復号された各フレームのデジタル画像信号を表示部１３０に、順次表示するように表示制御部１３１を制御する。また、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された音声データを動画の復号、表示のタイミングに合わせて、音声出力部１３２に送信し、音声を出力させる。なお、音声データが圧縮されたものである場合には、ＲＡＭ１０２に記憶された音声データを復号するように音声処理部１２１を制御し、復号された音声データを音声出力部１３２に送信する。
【００４８】
次に、「動画撮影モード」における「第１の圧縮モード」と、「第２の圧縮モード」について説明する。
【００４９】
「第１の圧縮モード」においては、撮影された動画のすべてのフレームを、「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」におけるフレーム内予測（イントラ予測）を用いた符号化方式により圧縮符号化し、ＩＤＲフレームに設定する。この様に、フレーム内予測により各フレームを圧縮することで、復号時に参照フレームを記憶する必要が無くデコーダの負荷が軽い、迅速に復号できる、どのフレームからも復号できる、編集しやすいなどの利点がある。
【００５０】
また、「第２の圧縮モード」においては、撮影された動画の各フレームを、「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」におけるイントラ予測による符号化方式、或いは、動き補償前方予測フレーム間符号化方式を用いて符号化し、圧縮する。この様に、フレーム間予測を用いて動画を圧縮することで、フレーム内予測のみによる圧縮時に比べ、符号量を大幅に削減することができる。ユーザは操作部１０４を操作することにより、撮影した動画の目的に合わせて、これら二つの圧縮モードの何れか一方を自由に選択し、設定することができる。
【００５１】
なお、ここでは、イントラ予測符号化フレームをＩフレームと呼び、前方予測フレーム間圧縮方式を用いて圧縮したフレームをＰフレームと呼ぶ。また、ＩＤＲフレームは、フレーム内予測符号化されたフレームであって、そのフレーム以前のフレームをフレーム間予測符号化フレームが参照できなくするためのフラグが付加されたものである。
【００５２】
また、「第１の圧縮モード」では、撮影された動画の全てのフレームがＩフレームとして符号化され、ＩＤＲフレームに設定される。また、「第２の圧縮モード」では、１５フレーム毎に１フレームがＩフレームとして符号化され、残りの１４フレームがＰフレームとして符号化される。なお、「第２の圧縮モード」において、前方予測フレーム間圧縮、後方予測フレーム間圧縮、両方向予測フレーム間圧縮のいずれかを選択的に使用できるＢフレームを使用しても構わない。
【００５３】
以後、ＩＤＲフレームに設定されているＩＤＲフレームの識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）については、説明を簡単にするため「ＩＤＲＩＤ」と呼ぶものとする。
【００５４】
ここで、本実施例の撮像装置１００の「動画撮影モード」において、動画撮影中に、静止画撮影を行う場合の動作について図２から図５を用いて説明する。
【００５５】
なお、本実施例の符号化復号化処理部１６０は、ＩＤＲフレームについては符号化した順番（すなわち入力された順番）に「ＩＤＲＩＤ」をインクリメントしながら付与していく機能を有する。すなわち、動画データの最初のＩＤＲフレームに、「ＩＤＲＩＤ」として０が付与されると、次のＩＤＲフレームには１、その次には、２という順に数字をインクリメントしながら付与していく。「ＩＤＲＩＤ」の上限は、例えば６５５３５であって、インクリメントすることで、上限に達した場合には、また０から順番に「ＩＤＲＩＤ」を付与するものとする。
【００５６】
本実施例の撮像装置１００は、「動画撮影モード」の「第１の圧縮モード」において、動画撮影中に静止画撮影の指示が入力されると、動画用の画像信号の画像処理、圧縮動作を一度停止させて、静止画用の画像信号の画像処理、圧縮動作を行う。そして、静止画の画像処理、圧縮動作のために欠落した期間の動画フレームについては補間フレームで補間する。このとき、補間フレームを１フレームだけ生成して動画フレームを補完すると、ＩＤＲフレームの「ＩＤＲＩＤ」が同じフレーム隣接してしまうことになる。そこで、本実施例の撮像装置１００は、補間フレームを生成する際に、符号化復号化処理部１６０に、複数フレーム（２フレーム以上）分の補間フレームを生成させることで、異なる「ＩＤＲＩＤ」を有する補間フレームを複数生成させる。そして、生成された「ＩＤＲＩＤ」の異なる複数の補間フレームを、必要なフレーム数分隣接する「ＩＤＲＩＤ」が同一にならないように、記録媒体１４０に記録する。これらの動作はＣＰＵ１０１により制御される。
【００５７】
また、「動画撮影モード」の「第２の圧縮モード」において、動画撮影中に静止画撮影を行うと、動画フレームの画像処理、圧縮動作を一度停止させて、静止画の画像処理、圧縮動作を行う。そして、静止画の画像処理、圧縮動作のために欠落した動画フレームについては補間フレームを生成して補間する。このとき、補間フレームについては、１つの補間フレーム画像をＩフレームまたは、Ｐフレームまたは、Ｂフレームで圧縮符号化し、残りを補間フレーム画像については、フレーム内のすべてのマクロブロック（一部異なってもよい）を「ｓｋｉｐｐｅｄ ｍａｃｒｏｂｌｏｃｋ」に設定する。また、１５フレーム毎に１フレームがＩフレームとして符号化されるため、補間フレームの一部のフレームがＩフレームとして符号化されることもある。
【００５８】
（「第１の圧縮モード」）
まず、「動画撮影モード」の「第１の圧縮モード」の動作について説明する。
【００５９】
図２、３は、本実施例の撮像装置１００が「第１の圧縮モード」で動画記録を開始してから終了するまでの動作を示すフローチャートである。図２、３のフローチャートは、ＣＰＵ１０１が、撮像装置１００の各ブロックを制御することにより実行される動作を示すものである。図４、図５は、各フレーム画像の状態を示す図である。
【００６０】
（Ｓ２１０）
まず、「第１の圧縮モード」で操作部１０４から動画撮影の開始の指示が入力されると、ＣＰＵ１０１は、撮像得１１０により得られたデジタル画像信号を、画像処理部１１１で動画撮影用の設定値に従って画像処理させ、処理されたデジタル画像信号をＲＡＭ１０２に一時的に記憶させる。すなわち、図４、図５に示すようにＲＡＭ１０２の動画フレーム用領域１０２Ｂにデジタル画像信号を記憶させる。
【００６１】
（Ｓ２１１）
次に、ＣＰＵ１０１は、動画撮影用の画像処理が施されたデジタル画像信号をＲＡＭ１０２から読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＩＤＲフレームとして圧縮させる。前述したように、圧縮されたＩＤＲフレームには「ＩＤＲＩＤ」が付加されており、ＩＤＲフレームとして圧縮が行われるたびに、インクリメントされた「ＩＤＲＩＤ」が付加される。すなわち、図５の圧縮後ＩＤＲフレーム５１０に示すように、符号化復号化処理部１６０において圧縮されたＩＤＲフレーム画像には順次、ＩＤ番号が増加する「ＩＤＲＩＤ」が付加されている。
【００６２】
（Ｓ２１２）
そして、ＣＰＵ１０１は、符号化復号化処理部１６０において、圧縮されたＩＤＲフレーム画像をＲＡＭ１０２に記憶させる。すなわち、図４に示すように、ＲＡＭ１０２の記録バッファ領域１０２Ｃに「ＩＤＲＩＤ」の付与されたＩＤＲフレームが格納される。
【００６３】
（Ｓ２１３）
次に、ＣＰＵ１０１は、所定数の圧縮されたフレーム画像がＲＡＭ１０２に記憶されたか否かを判定する。例えば、１５フレーム分の圧縮されたフレーム画像が記憶されたか否かを判定する。そして、所定数の圧縮されたフレーム画像がＲＡＭ１０２に記憶されている場合は、Ｓ２１４の処理へ移行し、所定数の圧縮されたフレーム画像がＲＡＭ１０２に記憶されていない場合は、Ｓ２１５の処理へ移行する。
【００６４】
（Ｓ２１４）
所定数の圧縮されたフレーム画像がＲＡＭ１０２に記憶されている場合は（Ｓ２１３でＹｅｓ）、ＣＰＵ１０２は、ＲＡＭ１０２に記憶されている圧縮されたフレーム画像を記録媒体１４０に、動画ファイルの動画データとして記録するように記録再生部１４１を制御する。
【００６５】
（Ｓ２１５）
所定数のフレーム画像がＲＡＭ１０２に記憶されていない場合（Ｓ２１３でＮｏ）、Ｓ２１４の処理が終了した場合は、ＣＰＵ１０１は、操作部１０４から静止画撮影の指示が入力されたか否かを判定する。静止画撮影の指示は、撮像装置１００の操作部１０２のシャッターボタンの全押し等である。静止画撮影の指示が入力された場合は、Ｓ２２０の処理へ移行し、静止画撮影の指示が入力されていない場合は、Ｓ２１６の処理へ移行する。なお、シャッターボタンの半押しの操作が入力された場合には、ＣＰＵ１０１は、撮像部１１０を制御してオートフォーカスなどを行うものの、静止画撮影は行わないものとする。
【００６６】
（Ｓ２１６）
静止画撮影の指示が入力されていない場合（Ｓ２１５でＮｏ）、ＣＰＵ１０１は、操作部１０４から動画撮影停止の指示が入力されたか否かを判定する。動画撮影停止の指示が入力された場合には、Ｓ２１７の処理へ移行し、動画撮影停止の指示が入力されていない場合には、Ｓ２１０へ処理を戻す。
【００６７】
（Ｓ２１７）
動画撮影停止の指示が入力された場合には（Ｓ２１６でＹｅｓ）、ＣＰＵ１０１は、撮影終了の処理をするように、以下のように撮像装置１００の各ブロックを制御する。ＣＰＵ１０１は、撮像動作を停止するように撮像部１１０を制御し、画像処理を停止するように画像処理部１１１を制御する。そして、符号化復号化処理部１６０において、ＲＡＭ１０２に記憶されているデジタル画像信号の圧縮が終了したら、ＣＰＵ１０１は、符号化復号化処理部１６０の圧縮動作を停止させる。そして、ＲＡＭ１０２に記憶されている圧縮されたフレーム画像を記録媒体１４０の動画ファイルの動画データとして記録するように記録再生部１４１を制御する。そして、ＣＰＵ１０１は、動画ファイルのファイルヘッダに格納するべき各種情報を生成し、記録媒体１４０の動画ファイルのファイルヘッダとして記録するように記録再生部１４１を制御する。
【００６８】
（Ｓ２２０）
一方、静止画撮影の指示が入力された場合（Ｓ２１５でＹｅｓ）、ＣＰＵ１０１は、動画用の画像処理を中断するように画像処理部１１１を制御する。そして、動画用の画像が画像処理部１１１から出力されなくなるため、ＣＰＵ１０１は、動画データの圧縮を一時中断するように、符号化復号化処理部１６０を制御する。
【００６９】
（Ｓ２２１）
次に、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号を、画像処理部１１１で静止画撮影用の設定値に従って画像処理させ、処理されたデジタル画像信号をＲＡＭ１０２に一時的に記憶させる。すなわち、図４に示すようにＲＡＭ１０２の静止画用領域１０２Ａに記憶される。
【００７０】
（Ｓ２２２）
次に、ＣＰＵ１０１は、静止画撮影用の画像処理が施されたデジタル画像信号をＲＡＭ１０２から読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＪＰＥＧ方式で画像データを圧縮させる。
【００７１】
（Ｓ２２３）
そして、ＣＰＵ１０１は、圧縮された静止画データをＲＡＭ１０２に記憶させる。すなわち、図４に示すように、ＲＡＭ１０２の記録バッファ領域１０２Ｃに動画用の圧縮されたＩＤＲフレームと区別して静止画データを記憶させる。
【００７２】
（Ｓ２２４）
次に、ＣＰＵ１０１は、動画用の画像処理を中断したことにより欠落したフレームを補完するための補間フレームを生成する処理を行う。この詳細については図３、図４、図５を用いて別途説明する。
【００７３】
（Ｓ２２５）
そして、補間フレーム画像の生成が終了すると、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された静止画データを記録媒体１４０の静止画ファイルの静止画データとして記録するように記録再生部１４１を制御する。この処理が終了すると、ＣＰＵ１０１は、処理をＳ２１０に戻し、再び動画フレームの処理、圧縮を開始する。すなわち、図４に示すように、記録媒体１４０に、静止画ファイル１４０の静止画データとしてＲＡＭ１０２に一時記憶された静止画データを記録する。なお、Ｓ２２５の処理は、Ｓ２２４の処理の前に行っても良い。
【００７４】
なお、ＣＰＵ１０１は、記録媒体１４０の記録残量が不足してきた場合（所定の残量以下になった場合）や、所定時間以上の動画が撮影された場合には、Ｓ２１７の処理を実行し、撮影を終了するものとする。
【００７５】
次に、動画用の画像処理を中断したことにより欠落したフレームを補完するための補間フレームを生成する処理（Ｓ２２４）について、図３、図４、図５を用いて説明する。
【００７６】
（Ｓ３１０）
まず、ＣＰＵ１０１は、ＦｌａｓｈＲＯＭ１０３から黒画像を読出して、ＲＡＭ１０２に記憶させる。このとき、ＣＰＵ１０１は、静止画撮影の指示が入力される前の動画用のフレーム画像の後に黒画像が符号化復号化処理部１６０で圧縮されるようにＲＡＭ１０２に記憶させる。すなわち、図４、図５に示すように、ＲＡＭ１０２の動画用フレーム領域１０２Ｂの、静止画撮影の指示が入力される前の動画用のフレーム画像の後に黒画像４５０が記憶される。
【００７７】
（Ｓ３１１）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶させた黒画像を読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＩＤＲフレームとして圧縮させる。
【００７８】
（Ｓ３１２）
そして、ＣＰＵ１０１は、符号化復号化処理部１６０において、圧縮された黒画像のＩＤＲフレーム画像をＲＡＭ１０２に記憶させる。
【００７９】
ここで、本実施例においては、ＣＰＵ１０１は、Ｓ３１１〜Ｓ３１２の処理を複数回（２回以上）繰り返す。符号化復号化処理部１６０では、ＩＤＲフレームとして画像を圧縮するたびに「ＩＤＲＩＤ」をインクリメントしながら付加するため、Ｓ３１１〜Ｓ３１２の処理を複数回繰り返すことで、符号化復号化処理部１６０で圧縮された黒画像のＩＤＲフレームには、異なる「ＩＤＲＩＤ」を付加することができる。すなわち、図５の圧縮後ＩＤＲフレーム５１０に示すように、符号化復号化処理部１６０において複数の圧縮された黒画像のＩＤＲフレーム５１１が生成され、それぞれ異なる「ＩＤＲＩＤ」を付加することができる。本実施例においては、静止画撮影の指示が入力される直前の「ＩＤＲＩＤ」を（Ｎ）とすると、Ｓ３１１〜Ｓ３１２により生成される圧縮された黒画像のＩＤＲフレームには、「ＩＤＲＩＤ」として、（Ｎ＋１）、（Ｎ＋２）を付加する。
【００８０】
（Ｓ３１３）
そして、ＣＰＵ１０１は、Ｓ３１１〜Ｓ３１２の処理を複数回（２回以上）繰り返すと、次に、ＲＡＭ１０２に記憶させた複数の黒画像のＩＤＲフレームを、それぞれ複数回用いて所定フレーム数分複製する。すなわち図４の記録バッファ１０２Ｃにおいて、複数の黒画像のＩＤＲフレームを複製して生成された複製ＩＤＲフレーム４６０を記憶する。本実施例では、「ＩＤＲＩＤ」として、（Ｎ＋１）、（Ｎ＋２）が付加された複数の黒画像のＩＤＲフレームが、それぞれ複数回用いられて所定フレーム数分複製される。
【００８１】
（Ｓ３２０）
次に、ＣＰＵ１０１は、静止画撮影の指示により撮像部１１０により取得された画像処理部１１１により画像処理されＲＡＭ１０２に記憶されている静止画用のデジタル画像信号を動画用のデジタル画像信号として複製する。本実施例では静止画用のデジタル画像信号から複製された動画用のデジタル画像信号を静止画フレーム画像と呼ぶものとする。すなわち、図４に示すように、静止画用のデジタル画像信号をＲＡＭ１０２の静止画用領域１０２Ａから複製して、動画フレーム用領域１０２Ｂに静止画フレーム画像４５１として配置する。
【００８２】
（Ｓ３２１）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶させた静止画フレーム画像を読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＩＤＲフレームとして圧縮させる。
【００８３】
（Ｓ３２２）
そして、ＣＰＵ１０１は、符号化復号化処理部１６０において、圧縮された静止画フレーム画像のＩＤＲフレーム画像をＲＡＭ１０２に記憶させる。
【００８４】
ここで、本実施例においては、ＣＰＵ１０１は、Ｓ３２１〜Ｓ３２２の処理を複数回（２回以上）繰り返す。符号化復号化処理部１６０では、ＩＤＲフレームとして画像を圧縮するたびに「ＩＤＲＩＤ」をインクリメントしながら付加するため、Ｓ３１１〜Ｓ３１２の処理を複数回繰り返すことで、符号化復号化処理部１６０で圧縮された静止画フレーム画像のＩＤＲフレームには、異なる「ＩＤＲＩＤ」を付加する。すなわち、図５の圧縮後ＩＤＲフレーム５１０に示すように、符号化復号化処理部１６０において複数の圧縮された静止画フレーム画像のＩＤＲフレーム５１１が生成され、それぞれ異なる「ＩＤＲＩＤ」を付加する。本実施例においては、圧縮された黒画像のＩＤＲフレームには、「ＩＤＲＩＤ」として、（Ｎ＋１）、（Ｎ＋２）が付加されているので、Ｓ３２１〜Ｓ３２２により生成される圧縮された静止画フレーム画像のＩＤＲフレームには、「ＩＤＲＩＤ」として、（Ｎ＋３）、（Ｎ＋４）を付加する。
【００８５】
（Ｓ３２３）
そして、ＣＰＵ１０１は、Ｓ３２１〜Ｓ３２２の処理を複数回（２回以上）繰り返すと、次に、ＲＡＭ１０２に記憶させた複数の静止画フレーム画像のＩＤＲフレームを、それぞれ複数回用いて所定フレーム数分複製する。なお、Ｓ３１３で複製する黒画像のＩＤＲフレームの数と、Ｓ３２３で複製する静止画フレーム画像のＩＤＲフレームの数は同一でも異なっていても良い。すなわち図４の記録バッファ１０２Ｃにおいて、複数の静止画フレーム画像のＩＤＲフレームを複製して生成された複製ＩＤＲフレーム４６１が記憶されることになる。本実施例では、「ＩＤＲＩＤ」として、（Ｎ＋３）、（Ｎ＋４）が付加された複数の静止画フレーム画像のＩＤＲフレームを、それぞれ複数回用いて所定フレーム数分複製される。
【００８６】
なお、Ｓ２２４（すなわち、図３）の処理の間、ＲＡＭ１０２に記憶された圧縮されたフレーム画像（ＩＤＲフレーム）の数が所定数以上になった場合には、ＲＡＭ１０２に記憶されている圧縮されたフレーム画像を記録媒体１４０に、動画ファイルの動画データとして記録するように、記録再生部１４１を制御する。すなわち、Ｓ２１３〜Ｓ２１４の処理を行う。
【００８７】
このように、本実施例の撮像装置１００は、図２、３に示す動作を「第１の圧縮モード」で動画記録を開始してから終了するまでの間行う。これにより、動画データの欠落フレームをＩＤＲフレーム画像により補完する場合に、隣接するＩＤＲフレームの「ＩＤＲＩＤ」が同一にならない動画データを記録媒体１４０に記録することができる。すなわち、図４、図５の動画ファイル４２０に示すように、静止画撮影指示の直前の圧縮動画フレームの「ＩＤＲＩＤ」が（Ｎ）である。そして、補間されるフレームにおいては、「ＩＤＲＩＤ」が隣接フレームで同一にならないように、黒画像のＩＤＲフレームのうち「ＩＤＲＩＤ」が（Ｎ＋１）のフレームと（Ｎ＋２）のフレームが交互に配置されるように記録媒体１４０に記録している。同様に、「ＩＤＲＩＤ」が隣接フレームで同一にならないように、静止画フレーム画像のＩＤＲフレームのうち「ＩＤＲＩＤ」が（Ｎ＋３）のフレームと（Ｎ＋４）のフレームが交互に配置されるように記録媒体１４０に記録している。そして、補間フレームより後の動画フレームの「ＩＤＲＩＤ」は、静止画フレーム画像の圧縮された際の「ＩＤＲＩＤ」が（Ｎ＋４）であるため、（Ｎ＋５）となる。すなわち、符号化復号化処理部１６０で複数回符号化されたことで生成された複数のＩＤＲフレームを、それぞれ複数回用いることによって、「ＩＤＲＩＤ」が隣接するＩＤＲフレームで同一にならない順番で記録媒体に記録することができるのである。
【００８８】
本実施例の撮像装置１００は、このように、「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式の動画撮影中に、静止画撮影を行ったとしても、制約に違反しない動画データを生成することができる。
【００８９】
本実施例では、符号化復号化処理部１６０は、ＩＤＲフレームについては符号化した順番（すなわち入力された順番）に「ＩＤＲＩＤ」をインクリメントしながら付与していく機能を有するものとして説明した。しかし、「ＩＤＲＩＤ」については、本実施例のＣＰＵ１０１によって、符号化復号化処理部１６０に設定できるようにしてもよい。この場合には、ＣＰＵ１０１は、１フレーム分の画像を符号化復号化処理部１６０にＩＤＲフレームとして圧縮させるごとに、「ＩＤＲＩＤ」に対応する数字をインクリメントして符号化復号化処理部１６０に設定する。これにより、符号化復号化処理部１６０では、ＩＤＲフレームとして圧縮を実行するたびに、設定された「ＩＤＲＩＤ」を付加して圧縮を行うので、隣接する「ＩＤＲＩＤ」を異ならせることができる。
【００９０】
また、本実施例では、補間フレームのフレーム数（圧縮された黒画像のＩＤＲフレームの数と、圧縮された静止画フレーム画像のＩＤＲフレームの数の和）は、任意の数であって良い。しかし、例えば音声データを補間フレームに対応する期間も記録する場合には、音声データの実時間に対応する数だけ補間フレームを用いる。例えば２秒間の欠落フレームであるとすると、秒間３０フレームの動画であれば６０フレーム分の欠落フレームが発生していることになる。そのため、補間フレームについても、圧縮された黒画像のＩＤＲフレームの数と圧縮された静止画フレーム画像のＩＤＲフレームの数との和が６０フレームになるように補間フレームを生成して記録媒体１４０に記録する。
【００９１】
なお、本実施例では、黒画像と、静止画に対応する画像を、補間フレームの画像として用いたが他の画像であっても良い。黒画像、静止画に対応する画像のいずれかのみを使用しても良いし、他の所定の画像を用いても良い。所定の画像としては、静止画撮影の指示が入力される直前の動画用の画像を用いても良いし、所定の画像をＦｌａｓｈＲＯＭ１０３に予め記録しておいて、当該所定の画像を用いても良い。すなわち、補間フレームをどのような画像に基づいて生成しても良い。そして補間フレームを生成する際には、補間フレーム用の画像を複数回（２回以上）、符号化復号化処理部１６０において圧縮させ、異なる「ＩＤＲＩＤ」を有する補間フレームを生成する。そして、符号化復号化処理部１６０において複数回圧縮されることで生成された、異なる「ＩＤＲＩＤ」を有する複数のＩＤＲフレームを複数回用いて、隣接する補間フレーム同士の「ＩＤＲＩＤ」が異なるような順番で補完した動画データを記録媒体１４０に記録する。
【００９２】
また、補間フレームを生成する際には、補間フレーム用の画像を複数回（２回以上）、符号化復号化処理部１６０において圧縮させ、異なる「ＩＤＲＩＤ」を有する補間フレームを生成するものとしたが、補間フレーム用の画像を別々に用意してもよい。つまり、黒画像を別々に複数個ＲＡＭ１０２の動画フレーム用領域１０２Ｂに配置して、それぞれの画像を符号化復号化処理部１６０においてＩＤＲフレームとして圧縮させることでなる「ＩＤＲＩＤ」を有する補間フレームを生成してもよい。
【００９３】
また、本実施例においては、「第１の圧縮モード」においては、撮影された動画のすべてのフレームを、ＩＤＲフレームとして圧縮するものとして説明したが、すべてのフレームをＩＤＲフレームとしなくても欠落フレームの以外の期間のフレームについては、すべてをＩＤＲフレームとして圧縮しなくても良い。すなわち、Ｉフレームまたは、Ｐフレームまたは、Ｂフレームで圧縮したフレームを通常の動画フレームに対して実行し、補間フレームについてはＩＤＲフレームとして圧縮するものであっても良い。
【００９４】
（「第２の圧縮モード」）
次に、「動画撮影モード」の「第２の圧縮モード」の動作について説明する。
【００９５】
「第２の圧縮モード」における動作については、「第１の圧縮モード」の動作との差分について、図２を用いて説明する。
【００９６】
前述したように、「第２の圧縮モード」においては、撮影された動画の各フレームを、「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」におけるイントラ予測による符号化方式、或いは、動き補償前方予測フレーム間符号化方式を用いて符号化し、圧縮する。そして、１５フレーム毎に１フレームがＩフレームとして符号化され、残りの１４フレームがＰフレームとして符号化される。
【００９７】
（Ｓ２１１）
「第１の圧縮モード」においては、ＣＰＵ１０１は、動画撮影用の画像処理が施されたデジタル画像信号をＲＡＭ１０２から読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＩＤＲフレームとして圧縮させる。しかし、「第２の圧縮モード」においては、撮影された動画の各フレームを、「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」におけるイントラ予測による符号化方式、或いは、動き補償前方予測フレーム間符号化方式を用いて圧縮させる。
【００９８】
（Ｓ２２４）
「第１の圧縮モード」においては、ＣＰＵ１０１は、動画用の画像処理を中断したことにより欠落したフレームを補完するための補間フレームを生成する処理を行う。特に、図３、図４、図５を用いて説明したように、補間フレームをＩＤＲフレームとして圧縮させていた。一方「第２の圧縮モード」においては、ＣＰＵ１０１は、補間フレームについては、１つの補間フレーム画像をＩフレームまたは、Ｐフレームまたは、Ｂフレームで圧縮符号化し、残りを補間フレーム画像については、フレーム内のすべてのマクロブロック（一部異なってもよい）を「ｓｋｉｐｐｅｄ ｍａｃｒｏｂｌｏｃｋ」に設定する。また、１５フレーム毎に１フレームがＩフレームとして符号化されるため、補間フレームの一部のフレームがＩフレームとして符号化されることもある。
【００９９】
補間フレームの画像については、「第１の圧縮モード」と同様に、黒画像と静止画フレーム画像を用いて補間フレームを生成する。
【０１００】
本実施例の撮像装置１００は、このように、「第２の圧縮モード」においては、補間フレームとしてＩＤＲフレームを用いないで動画のフレームを補完することができる。
【０１０１】
本実施例の撮像装置１００は、「第１の圧縮モード」においては、動画の欠落フレームを、ＩＤＲフレームとして圧縮されたフレームを用い、「第２の圧縮モード」においては、動画の欠落フレームを、ＩＤＲフレームとして圧縮されたフレーム用いずに補間することができる。
【０１０２】
ここで、本実施例の符号化復号化部１６０の詳細な構成について説明する。
【０１０３】
図６は、符号化復号化部１６０における符号化処理のブロックを示す図である。図６において、ＲＡＭ１０２より読み出された動画用のデジタル画像信号が水平、垂直それぞれ所定数の画素からなるマクロブロック毎に入力され、演算部６０１、フレーム内予測部６０８、動き予測部６１１に出力される。演算部６０１は、切り替え部６１３から出力された予測画像データと入力された画像データとの差分を演算し、整数変換部６０２に出力する。整数変換部６０２は、演算部６０１からのデータに対して直交変換の一つである整数変換処理を施し、入力されたデータを空間成分から周波数成分に変換して量子化部６０３に出力する。量子化部６０３は、量子化テーブル選択部６１２から供給された量子化テーブルに従って、各マクロブロックの変換係数を量子化し、エントロピー符号化部６０４と逆量子化部６０５に出力する。本実施形態では、マクロブロックの各変換係数に対する量子化幅（量子化ステップ）が割り当てられた量子化テーブルを複数用意し、量子化テーブル選択部６１２はこれらの量子化テーブルを保持している。量子化テーブル選択部６１２は、後述の様に、ＣＰＵ１０１からの圧縮強度Ｑの値に対応した量子化テーブルを選択し、量子化部６０３に送る。
【０１０４】
逆量子化部６０５は、入力されたデータを逆量子化し、逆整数変換部６０６に出力する。逆整数変換部６０６は、逆量子化部６０５からのデータに対して逆整数変換処理を施して、元の空間成分のデータに変換し、演算部６０７に出力する。演算部６０７は、切り替え部６１３からの予測画像データと逆整数変換処理されたデータとを加算し、フレーム内予測部６０８、ループフィルタ６０９に出力する。ループフィルタ６０９は、演算部６０７からの局部復号データに対して指定されたフィルタ処理を施し、蓄積部６１０に記憶する。蓄積部６１０はループフィルタ６０９からの画像データを記憶する。動き予測部６１１は、第２の圧縮モードにおいて、Ｐフレームを処理する際に、蓄積部６１０に記憶された参照フレームの画像データのうち、入力された画像データとの間の予測誤差（差分）が最も少なくなるマクロブロックを検出し、検出したマクロブロックに対する動きベクトルを動き補償部６１１に知らせる。動き補償部６１２は、動きベクトルに従い、蓄積部６１０から予測画像データとしてのマクロブロックのデータを読み出し、切り替え部６１３に出力する。
【０１０５】
一方、フレーム内予測部６０８は、「第１の圧縮モード」、或いは、「第２の圧縮モード」においてＩフレーム、ＩＤＲフレームを処理する際に、フレーム内予測処理を行う。即ち、フレーム内予測部６０８は、演算部６０７からの、入力されたマクロブロックの画像データに対して画面上で上、もしくは左に隣接する画素のデータと、入力された画像データとに基づいて、最適なイントラ予測モードを検出する。そして、検出したイントラ予測モードで処理するために必要な予測画像データを切り替え部６１３に出力する。Ｈ．２６４では、互いに異なる所定数のイントラ予測モードが用意されている。フレーム内予測部６０８は、これらの予測モードのうち、予測誤差が最も少なくなる予測モードを検出する。
【０１０６】
切り替え部６１３は、ＣＰＵ１０１からの指示に従い、フレーム内予測部６０８と動き補償部６１２からの予測画像データの一方を選択し、演算部６０１と６０７に出力する。切り替え部６１３は、「第１の圧縮モード」においては、動画の記録中は常にＩＤＲフレームとして画像を圧縮するため、常にフレーム内予測部６０８からの予測画像データを選択して出力する。また、切り替え部６１３は、「第２の圧縮モード」においては、Ｉフレームを処理する際にはフレーム内予測部６０８からの予測画像データを選択し、Ｐフレームを処理する際には動き補償部６１２からの予測画像データを選択する。
【０１０７】
フレーム内予測部６０８が検出した予測モードを示す情報と、動き予測部６１１が検出した動きベクトルのデータはエントロピー符号化部６０４に出力される。エントロピー符号化部６０４は、量子化部６０３からのデータと、量子化テーブル選択部６１２により選択されている量子化テーブルの番号、予測モードを示す情報、或いは、動きベクトルのデータを符号化し、圧縮された動画データとして出力する。また、このとき、マクロブロックの集合からなるスライスのスライスヘッダに「ＩＤＲＩＤ」を付加する。
【０１０８】
なお、本実施例では撮像装置１００は、例えば、デジタルカメラ、携帯電話、スマートフォンなど動画撮影中に静止画撮影を行うことができる装置であればどのような装置であっても良い。
【０１０９】
［第２の実施形態］
次に、第２の実施形態について説明する。第１の実施形態においては、「第１の圧縮モード」において、補間フレームの画像を圧縮する際、符号化復号化処理部１６０で黒画像や静止画フレーム画像をそれぞれ複数回圧縮した。それにより、異なる「ＩＤＲＩＤ」を有する圧縮された黒画像または静止画フレーム画像のＩＤＲフレームを複数生成し、これらを用いて隣接するＩＤＲフレームの「ＩＤＲＩＤ」が同一にならないようにしていた。
【０１１０】
一方、本実施形態においては、「第１の圧縮モード」において、補間フレームの画像を圧縮する際、符号化復号化処理部１６０で黒画像や静止画フレーム画像を複数回圧縮させない。代わりに、符号化復号化処理部１６０で圧縮された黒画像や静止画フレーム画像のＩＤＲフレームをＲＡＭ１０２内で複製する。このとき、ＩＤＲフレームのスライスヘッダに格納されている「ＩＤＲＩＤ」を変更したＩＤＲフレームをＲＡＭ１０２内で複製する。これにより、第１の実施形態と同様に、これらを用いて隣接するＩＤＲフレームの「ＩＤＲＩＤ」が同一にならないようにする。
【０１１１】
本実施形態における撮像装置１００の構成は、第１の実施形態と同様な構成であるため、説明を省略する。また、「第１の圧縮モード」、「第２の圧縮モード」における基本的な動作についても第１の実施形態と同様であるため、説明を省略する。
【０１１２】
本実施形態においては、「第１の圧縮モード」のＳ２２４の処理（すなわち、図３の処理）が異なるため、この点を説明する。
【０１１３】
図７は、本実施形態における、動画用の画像処理を中断したことにより欠落したフレームを補完するための補間フレームを生成する処理（Ｓ２２４）について説明するためのフローチャートである。第１の実施形態同様、図７のフローチャートは、ＣＰＵ１０１が撮像装置１００の各ブロックを制御することにより実行される動作を示すものである。
【０１１４】
（Ｓ７１０）
まず、ＣＰＵ１０１は、ＦｌａｓｈＲＯＭ１０３から黒画像を読出して、ＲＡＭ１０２に記憶させる。このとき、ＣＰＵ１０１は、静止画撮影の指示が入力される前の動画用のフレーム画像の後に黒画像が符号化復号化処理部１６０で圧縮されるようにＲＡＭ１０２に記憶させる。
【０１１５】
（Ｓ７１１）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶させた黒画像を読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＩＤＲフレームとして圧縮させる。
【０１１６】
（Ｓ７１２）
そして、ＣＰＵ１０１は、符号化復号化処理部１６０において、圧縮された黒画像のＩＤＲフレーム画像をＲＡＭ１０２に記憶させる。
【０１１７】
ここで、本実施例においては、第１の実施形態とは異なり、ＣＰＵ１０１は、Ｓ７１１〜Ｓ７１２の処理を複数回（２回以上）繰りかえさない。
【０１１８】
（Ｓ７１３）
次にＣＰＵ１０１は、ＲＡＭ１０２に記憶された圧縮された黒画像のＩＤＲフレームを複製する。このとき、静止画撮影の指示が入力される直前の「ＩＤＲＩＤ」を（Ｎ）とすると、ＲＡＭ１０２に記憶された圧縮された黒画像のＩＤＲフレームの「ＩＤＲＩＤ」は（Ｎ＋１）である。そこで、ＣＰＵ１０１は、複製した黒画像のＩＤＲフレーム用の「ＩＤＲＩＤ」を（Ｎ＋１）とは異なる数字に変更する。例えば（Ｎ＋２）や（Ｎ）等に変更する。
【０１１９】
（Ｓ７１４）
そして、ＣＰＵ１０１は、Ｓ７１１で圧縮された黒画像のＩＤＲフレームと、Ｓ７１３で複製された黒画像のＩＤＲフレームとを所定フレーム数分複製する。
【０１２０】
（Ｓ７２０）
次に、ＣＰＵ１０１は、静止画撮影の指示により撮像部１１０により取得された画像処理部１１１により画像処理されＲＡＭ１０２に記憶されている静止画用のデジタル画像信号を動画用のデジタル画像信号として複製する。
【０１２１】
（Ｓ７２１）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶させた静止画フレーム画像を読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＩＤＲフレームとして圧縮させる。
【０１２２】
（Ｓ７２２）
そして、ＣＰＵ１０１は、符号化復号化処理部１６０において、圧縮された静止画フレーム画像のＩＤＲフレーム画像をＲＡＭ１０２に記憶させる。
【０１２３】
ここで、本実施例においては、ＣＰＵ１０１は、Ｓ７２１〜Ｓ７２２の処理を複数回（２回以上）繰りかえさない。
【０１２４】
（Ｓ７２３）
次にＣＰＵ１０１は、ＲＡＭ１０２に記憶された圧縮された静止画フレーム画像のＩＤＲフレームを複製する。このとき、Ｓ７１３と同様に、ＣＰＵ１０１は、複製した静止画フレーム画像のＩＤＲフレーム用の「ＩＤＲＩＤ」をＲＡＭ１０２に記憶された静止画フレーム画像のＩＤＲフレームの「ＩＤＲＩＤ」とは異なる数字に変更する。例えば、ＲＡＭ１０２に記憶された静止画フレーム画像のＩＤＲフレームの「ＩＤＲＩＤ」が（Ｎ＋２）であれば、（Ｎ＋１）や（Ｎ＋３）等に変更する。
【０１２５】
（Ｓ７２４）
そして、ＣＰＵ１０１は、Ｓ７２１で圧縮された黒画像のＩＤＲフレームと、Ｓ７２３で複製された静止画フレーム画像のＩＤＲフレームとを所定フレーム数分複製する。
【０１２６】
このような動作により、本実施例の撮像装置１００は、「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式の動画撮影中に、静止画撮影を行ったとしても、制約に違反しない動画データを生成することができる。
【０１２７】
［その他の実施形態］
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１２８】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【技術分野】
【０００１】
本発明は撮像装置に関し、特に、動画撮影中に静止画撮影を行うことができる撮像装置に関する。
【背景技術】
【０００２】
従来、動画撮影を行うとともに、動画撮影中に静止画撮影を行うことができる撮像装置が登場してきている。
【０００３】
しかし、動画撮影と静止画撮影とでは、露光時間、解像度、ＩＳＯ感度、ホワイトバランス調整、ガンマ補正、など様々な撮影パラメータが異なる。そのため、従来は、動画撮影中に静止画撮影を実行する場合、静止画撮影が終了するまで動画撮影（動画フレームの記録）を中断し、その終了後に動画撮影を再開する処理を行っていた。そこで、特許文献１のように、静止画撮影を行うことで中断した期間の複数の動画フレームを、静止画撮影により得られた静止画データや、静止画撮影により欠落したフレームの前後の動画フレームを用いて生成した補間フレームで補間する技術が提案されている。また、従来の撮像装置には、黒画像データを用いて生成した補間フレームで補間するものもあった。
【０００４】
一方、近年、動画の圧縮符号化の規格としてＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４が注目されている。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４は、従来のＭＥＰＧ２等の圧縮方式よりも高い圧縮率を実現しており、撮像装置の動画データの圧縮方式としても用いられるようになってきたものである。特に、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４では、新しくＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）フレームが定義された。ＩＤＲフレームとは、フレーム内の情報のみから符号化するフレーム内符号化されたＩ（イントラ）フレームである。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４においては、後続のフレーム間符号化を行うＰフレームやＢフレームは、このＩＤＲフレーム以前のフレームを参照することができないように定められている。また、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４においては、ＩＤＲフレームに対してＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）が付与されており、隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない（ＩＳＯ／ＩＥＣ１４４９６−１０参照）、と規定されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１１１９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１のように、静止画データを用いて生成された補間フレームや所定の補間フレームを用いて、静止画撮影が行われた期間の動画フレームを補間すると、同一のフレームを動画フレームに複数挿入することで補間が行われることになる。しかし、動画データの圧縮方式として、例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４のように、「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式が採用されている場合、このような補間方式を用いると、補間フレームの区間で隣接するＩＤＲフレームに、同一のＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）が割り当てられてしまう場合があるという問題があった。
【０００７】
本発明は、このような問題を解決し、前述のような「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式の動画撮影中に、静止画撮影を行ったとしても、制約に違反しない動画データを生成することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、撮像手段と、動画撮影中に前記撮像手段により得られた画像データを順次動画データとして圧縮する圧縮手段と、前記圧縮手段により圧縮された動画データを記録媒体に記録する記録手段と、前記動画撮影中に静止画撮影の指示を入力する静止画撮影指示手段と、前記圧縮手段と前記記録手段とを制御する制御手段とを有し、前記制御手段は、前記動画撮影中に前記静止画撮影の指示が入力されたことに応じて、所定の画像データを動画データのＩＤＲフレームとして複数回圧縮するように前記圧縮手段を制御し、前記制御手段は、前記複数回圧縮することにより得られた複数のＩＤＲフレームをそれぞれ複数回用いて、ＩＤＲフレームの識別ＩＤが隣接するＩＤＲフレームで同一にならない順番になる動画データとして前記記録媒体に記録するように前記記録手段を制御することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式の動画撮影中に、静止画撮影を行ったとしても、制約に違反しない動画データを生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態における撮像装置の構成を示すブロック図である。
【図２】動画撮影モードの処理を示すフローチャートである。
【図３】動画撮影モードの補間フレーム生成処理を示すフローチャートである。
【図４】動画撮影中に静止画撮影を行ったことで生成されるフレームの状態を示すイメージ図である。
【図５】動画撮影中に静止画撮影を行ったことで生成されるフレームの状態を示すイメージ図である。
【図６】本実施形態の符号化復号化部の構成を示す図である。
【図７】動画撮影モードの補間フレーム生成処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
本実施例においては、動画撮影中に静止画撮影を行うことができる撮像装置について説明する。本実施例の撮像装置は、動画データの圧縮方式として、「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」を使用するものとして説明する。しかし、これは一例であり、「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式であればどのような圧縮方式であってもよい。すなわち、圧縮方式が「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」に限定されるものではない。
【００１２】
ＩＤＲフレームとは、フレーム内の情報のみから符号化するフレーム内符号化されたＩ（イントラ）フレームである。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４においては、後続のフレーム間符号化を行うＰフレームやＢフレームは、このＩＤＲフレーム以前のフレームを参照することができないように定められている。また、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４においては、ＩＤＲフレームに対してＩＤＲフレームの識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）が付与されており、隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない（ＩＳＯ／ＩＥＣ１４４９６−１０参照）、と規定されている。
【００１３】
また、静止画データについては、ＪＰＥＧ方式で圧縮されるものとして説明するが、これは一例であり、どのような圧縮方式を用いても良いし、圧縮を行わなくてもよい。
【００１４】
また、これらの動画データ、静止画データは、ＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）ファイルシステムやｅｘＦＡＴファイルシステムでフォーマットされた記録媒体に記録され、ファイルとして管理されるものを例にとって説明する。しかし、これは一例であって、これ以外のファイルシステムであってもかまわない。
【００１５】
本実施例の撮像装置の特徴的な構成の一つは、以下である。本実施例の撮像装置１００は、動画撮影モードにおいて動画撮影を行っている間に、静止画撮影が行われたことに応じて、欠落した動画フレームを補間することができる。補間フレームを生成する際には、補間フレーム用の画像を複数枚（２枚以上）符号化復号化部によりＩＤＲフレームとして符号化させることで、ＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）の異なる複数の符号化画像データを生成する。そして、生成されたＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）の異なる複数の符号化画像データを、隣接するＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）が同一にならない順番（異なる順番）で、動画データのフレームを補間して記録媒体に記録する。
【００１６】
本実施例の撮像装置は、このような構成とすることで、静止画撮影により欠落した動画フレームを補完する場合に、隣接するＩＤＲフレームにおいて、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てることができる。
【００１７】
以下、このような撮像装置について説明する。
【００１８】
図１は、本実施例の撮像装置１００の構成を示すブロック図である。
【００１９】
撮像装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＦｌａｓｈＲＯＭ１０３、操作部１０４を有する。また、撮像装置１００は、撮像部１１０、画像処理部１１１、音声入力部１２０、音声処理部１２１、表示部１３０、表示制御部１３１、音声出力部１３２、記録媒体１４０、記録再生部１４１、通信部１５０を有する。また、撮像装置１００は、符号化復号化処理部１６０を有する。
【００２０】
図１において、ＣＰＵ１０１は、ＦｌａｓｈＲＯＭ１０３に記録された撮像装置１００の制御プログラムをＲＡＭ１０２に展開し、ＲＡＭ１０２をワークメモリとして使用しながら、撮像装置１００の各ブロックを制御するものである。操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類を有する。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等を備え、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。
【００２１】
撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶するものである。ＲＡＭ１０２に記憶されたデジタル画像信号は、その後、画像処理部１１１に送信される。画像処理部１１１は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。画像処理部１１１は、デジタル画像信号のホワイトバランスや色、明るさなどをユーザに設定された設定値や画像の特性から自動的に判定した設定値に基づいて調整する画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶させるものである。なお、画像処理部１１１の処理は、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。
【００２２】
音声入力部１２０は、たとえば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置１００の周囲の音声を集音（収音）し、取得したアナログ音声信号をデジタル信号に変換してＲＡＭ１０２に一時的に記憶させるものである。ＲＡＭ１０２に記憶されたデジタル音声信号は、その後、音声処理部１２１に送信される。音声処理部１２１は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。音声処理部１２１では、記録時においては、ＲＡＭ１０２に記憶されたデジタル音声信号の、レベルの適正化処理や雑音低減処理等の処理を行い、処理をしたデジタル音声信号を再びＲＡＭ１０２に記憶させるものである。また、必要に応じて、音声信号を圧縮する処理を行う。音声圧縮方式については、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いており、本発明の特徴とは関係ないので説明を省略する。また、再生時においては、記録媒体１４０から記録再生部１４１によって読出された音声ファイルや動画ファイルに含まれる圧縮音声データ復号する処理も行う。なお、音声処理部１２１の処理は、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。
【００２３】
また、表示制御部１３１は、表示部１３０に画像を表示するための表示制御を行うマイクロコンピュータであって、メモリ１０４に一時的に記憶されたデジタル画像信号を読み出して、表示部１３０に表示させる処理を行う。また、記録媒体１４０から記録再生部１４１によって読出された動画ファイルや静止画ファイルに含まれる画像データの画像を表示部１３０に表示させる処理も行う。表示部１３０は、たとえば撮像装置１００に搭載された液晶パネルや有機ＥＬパネル等であっても良いし、撮像装置１００とは別の表示装置（たとえば、テレビ、モニタ、プロジェクタ）であってもよい。なお、表示制御部１３１の処理は、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。
【００２４】
符号化復号化処理部１６０は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。符号化復号化処理部１６０では、記録時においては、画像処理部１１１により処理されＲＡＭ１０２に記憶されたデジタル画像信号に基づいて、画像圧縮処理を行い、圧縮された動画データや静止画データを生成し、ＲＡＭ１０２に一時的に記憶する処理を行う。また、再生時においては、記録媒体１４０から読出された画像ファイルの圧縮された動画データや静止画データを復号してデジタル画像信号を抽出し、ＲＡＭ１０２に記憶していく処理を行う。なお、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。
【００２５】
本実施例においては、符号化復号化処理部１６０は、「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」方式で、撮像部１１０により得られた画像データを圧縮して動画データを生成する。「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」方式においては、入力された画像データを、フレーム内予測符号化方式（イントラ符号化方式）、動き補償前方予測フレーム間符号化方式を用いて圧縮、符号化を行う。また、フレーム内予測符号化方式を用いて符号化したフレームのうち指定したフレームを、前述の動き補償前方予測フレーム間符号化方式のフレームがその指定したフレームよりも前のフレームを参照できなくするためのフラグを付加することができる。これがＩＤＲフレームとなり、このＩＤＲフレームには、ＩＤＲピクチャ識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を付加する機能を有する。ＩＤＲピクチャ識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）は、周知の「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」規格（ＩＳＯ／ＩＥＣ １４４９６−１０参照）に記載されているように、複数のマクロブロックからなるスライスのスライスヘッダに格納される。
【００２６】
次に、記録再生部１４１は、次の処理を実行するプログラムを搭載したマイクロコンピュータである。記録再生部１４１では、動画記録時においては、ＲＡＭ１０２に記憶されている、符号化復号化処理部１６０により生成された圧縮動画データ、音声処理部１２１で生成された音声データ、撮影日等の各種情報とともに、動画ファイルとして記録媒体１４０に書き込む。また静止画記録時においては、ＲＯＭ１０２に記憶されている静止画データを撮影日等の各種情報とともに静止画ファイルとして記録媒体１４０に記録する。動画ファイルを記録媒体１４０に記録する際は、圧縮動画データと音声データとからなるデータストリームを形成し、順次記録媒体１４０に記録していき、ファイルヘッダ等を付加してＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形で動画ファイルを記録媒体に記録する。また、再生時においては、記録媒体１４０に記録された動画ファイルや静止画ファイルを前述のファイルフォーマットに従って読出す。読出された動画ファイルや静止画ファイルは、ＣＰＵ１０１によりヘッダが解析され、圧縮された動画データ、静止画データが抽出される。抽出された圧縮動画データ、静止画データは、ＲＡＭ１０２に記憶されて、符号化復号化処理部１６０により復号される。なお、記録再生部１４１の処理は、ＣＰＵ１０１がＦｌａｓｈＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。
【００２７】
また、記録媒体１４０は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１４１は、それらの取り外し可能な記録媒体を受け入れるためのインタフェースを含む。
【００２８】
次に音声出力部１３２は、例えばスピーカや音声出力端子（アナログ端子／デジタル端子）である。例えばスピーカであれば、ＣＰＵ１０１によりｆｌａｓｈＲＯＭ１０３に記録されている所定のデジタル音声信号の出力が指示されたときにデジタル音声信号をアナログ音声外部に変換し、外部に音声として出力する。また、動画ファイルに格納された音声データの示すデジタル音声信号をアナログ音声信号に変換し、外部に音声として出力する。また、音声出力端子であれば、動画ファイルに格納された音声データの示すデジタル音声信号をアナログ音声信号に変換して外部装置（外付けスピーカなど）に出力するか、デジタル音声信号をそのまま外部装置（光デジタル端子搭載のオーディオコンポなど）に出力する。
【００２９】
また、通信部１５０は、撮像装置１００とは異なる外部装置との間で、制御信号や動画ファイル、静止画ファイル、各種データ等を送受信するものであり、有線接続、無線接続を問わず接続可能である。なお、通信方式はどのような方式であっても良い。
【００３０】
ここで、本実施例の撮像装置１００の通常の動作について説明する。
【００３１】
本実施例の撮像装置１００は、ユーザが操作部１０２の電源ボタンを操作すると、操作部１０２から制御部１０１に起動の指示が出される。この指示を受けて、制御部１０１は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに対して電源を供給させる。
【００３２】
電源が供給されると、制御部１０１は、例えば、操作部１０２のモード切り換えスイッチが、例えば、「静止画撮影モード」、「動画撮影モード」、「再生モード」等のどのモードであるかを操作部１０２からの指示信号により確認する。
【００３３】
本実施例の撮像装置１００は、特に「動画撮影モード」において、動画データを「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」の圧縮方式で圧縮する例について説明する。なお、本実施例の撮像装置１００は、「動画撮影モード」において、動画データの全フレームをＩＤＲフレームのみを用いて圧縮符号化する第１の圧縮モードと、動画データの各フレームをフレーム内符号化フレーム（Ｉフレーム、ＩＤＲフレーム）と、フレーム間符号化フレーム（Ｐフレーム、Ｂフレーム）を用いて圧縮符号化する第２の圧縮モードとを有する。なお、「第１の圧縮モード」については、必ずしも全フレームをＩＤＲフレームとする必要はない。
【００３４】
（「静止画撮影モード」）
「静止画撮影モード」であれば、ＣＰＵ１０１は、撮像装置１００の各ブロックに、静止画撮影の準備をさせる。操作部１０４から撮影開始の指示が入力されるまでは、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号をＲＡＭ１０２に記憶させ、ＲＡＭ１０２に記憶されたデジタル画像信号を読出させて表示部１３０に画像を表示させように表示制御部１３１を制御する。なお、画像処理部１１１により処理され、ＲＡＭ１０２に記憶されたデジタル画像信号を読出させて表示部１３０に画像を表示させるように表示制御部１３１を制御しても良い。なお、本実施形態では、撮像部１１０から出力されるデジタル画像信号のフレームレートは、３０フレーム／秒であるとする。また、本実施形態では、記録する静止画のサイズ（画素数）を複数のサイズから選択した一つのサイズに設定することができる。
【００３５】
この状態で、ＣＰＵ１０１は、操作部１０４により撮影開始の指示が入力されたか否かを判定する。撮影開始の指示があると、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号をＲＡＭ１０２に記憶させ、ＲＡＭ１０２に記憶されたデジタル画像信号に対して設定値に基づいて画質調整処理を施すように画像処理部１１１を制御する。そして、ＣＰＵ１０１は、画像処理部１１１で処理されたデジタル画像信号をＲＡＭ１０２に記憶させ、ＲＡＭ１０２に記憶されたデジタル画像信号を符号化して静止画データを生成するように符号化復号化処理部１６０を制御する。次にＣＰＵ１０１は、符号化復号化処理部１６０で処理された静止画データをＲＡＭ１０２に再び記憶させ、記憶された静止画データを静止画ファイルとして記録媒体１４０に記録するように記録再生部１４１を制御する。
【００３６】
この処理が終了すると、ＣＰＵ１０１は、再び静止画撮影の準備状態に各ブロックを戻す。
【００３７】
（「動画撮影モード」）
次に、「動画撮影モード」であれば、ＣＰＵ１０１は、動画撮影モードが前述の「第１の圧縮モード」であるか、前述の「第２の圧縮モード」であるかを判定し、判定結果をＲＡＭ１０２に記憶する。そして、ＣＰＵ１０１は、撮像装置１００の各ブロックに、動画撮影の準備をさせる。操作部１０４から撮影開始の指示が入力されるまでは、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号をＲＡＭ１０２に記憶させ、ＲＡＭ１０２に記憶されたデジタル画像信号を読出させて表示部１３０に画像を表示させように表示制御部１３１を制御する。なお、画像処理部１１１により処理され、ＲＡＭ１０２に記憶されたデジタル画像信号を読出させて表示部１３０に画像を表示させるように表示制御部１３１を制御しても良い。なお、本実施形態では、撮像部１１０から出力されるデジタル画像信号のフレームレートは、３０フレーム／秒であるとする。また、本実施形態では、記録する動画のサイズ（画素数）を複数のサイズから選択した一つのサイズに設定することができる。
【００３８】
この状態で、ＣＰＵ１０１は、操作部１０４により動画撮影開始の指示が入力されたか否かを判定する。撮影開始の指示があると、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号をＲＡＭ１０２に記憶させ、ＲＡＭ１０２に記憶されたデジタル画像信号に対して設定値に基づいて画質調整処理を施すように画像処理部１１１を制御する。ＣＰＵ１０１は動画撮影を継続している間、３０フレーム／秒で撮像部１１０により出力されるデジタル画像信号を順次、画像処理部１１１に処理させる。そして、ＣＰＵ１０１は、画像処理部１１１で処理されたデジタル画像信号を、順次ＲＡＭ１０２に記憶させる。
【００３９】
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された複数フレームのデジタル画像信号を順次符号化して順次動画データを生成するように符号化復号化処理部１６０を制御する。ＣＰＵ１０１は、このとき、第１のモードにおいては、各フレーム画像をすべてＩＤＲフレームとして圧縮符号化をし、第２のモードにおいては、各フレーム画像をフレーム内予測符号化フレーム、フレーム間予測符号化フレームとして圧縮符号化をするように符号化復号化処理部１６０を制御する。そして、ＣＰＵ１０１は、符号化復号化処理部１６０で符号化された各フレーム画像を順次ＲＡＭ１０２に記憶させていく。
【００４０】
一方、撮影開始の指示があると、ＣＰＵ１０１は、音声に関する処理をするようにも各ブロックを制御する。ＣＰＵ１０１は、音声入力部１２０から出力されるデジタル音声信号を順次ＲＡＭ１０２に記憶し、ＲＡＭ１０２に記憶されたデジタル音声信号に音質調整処理を施すように音声処理部１２１を制御する。また、音声圧縮の設定がされている場合には、ＣＰＵ１０１は設定に従って、例えばＡＣ３、ＡＡＣの音声圧縮方式で音声信号を圧縮するように音声処理部１２１を制御する。そして、ＣＰＵ１０１は、音声処理部１２１で処理した音声データをＲＡＭ１０２に順次記憶させていく。
【００４１】
次にＣＰＵ１０１は、ＲＡＭ１０２に記憶された動画データ、音声データを順次、記録媒体１４０に記録するように、記録再生部１４１を制御する。このとき例えば、１５フレーム分（０．５秒分）の動画データと、０．５秒分の音声データとを一組にし、必要な各種情報を付加したデータストリームを形成し、ファイルシステムに従って記録媒体１４０に記録するように、記録再生部１４１を制御する。なお、３０フレーム分（１秒分）の動画データと、１秒分の音声データを一組としても良い。ＣＰＵ１０１は、これらの動作を動画撮影の停止の指示があるまで継続する。
【００４２】
そして、操作部１０４により撮影停止の指示が入力されると、ＣＰＵ１０１は、画像処理部１１１の処理を停止させ、ＲＡＭ１０２に記憶されたデジタル画像信号の符号化が終了した時点で符号化復号化処理部１６０の符号化処理を停止させる。そして、ＣＰＵ１０１は、ＲＡＭ１０２に記憶されている符号化済みの動画データ、音声データを最後まで記録媒体１４０に記録してから動作を停止するように記録再生部１４１を制御する。なお、必要に応じて、記録終了後に、動画ファイルの動画データの先頭のフレームや先頭から数フレームの画像データを符号化復号化処理部１６０に送信して復号させ、復号されたデジタル画像信号の画素数を間引いたサムネイル画像データを生成して、動画ファイルに関連づけて記録するようにしても良い。
【００４３】
この処理が終了すると、ＣＰＵ１０１は、再び動画撮影の準備状態に各ブロックを戻す。
【００４４】
（「再生モード」）
「再生モード」であれば、ＣＰＵ１０１は、記録媒体１４０に記録されている動画ファイル、静止画ファイルのうち指定されたファイルに関連づけられたサムネイル画像データを読出すように記録再生部１４１を制御する。そして、ＣＰＵ１０１は、これらのサムネイル画像データを示す画像を表示部１３０に表示するよう表示制御部１３１を制御する。
【００４５】
そして、操作部１０４から指定されたサムネイルに対応するファイルを再生する指示が入力されると、ＣＰＵ１０１は、指定された動画ファイルや静止画ファイルを記録媒体１４０から読出すように記録再生部１４１を制御する。そして、ＣＰＵ１０１は、読出した動画ファイルや静止画ファイルに含まれる各種情報、動画データ、音声データ、静止画データを抽出してＲＡＭ１０２に記憶させる。
【００４６】
静止画ファイルを再生する場合は、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された静止画データを復号するように符号化復号化処理部１６０を制御し、復号されたデジタル画像信号をＲＡＭ１０２に記憶させる。そして、ＲＡＭ１０２に記憶させた復号されたデジタル画像信号を表示部１３０に表示するように表示制御部１３１を制御する。
【００４７】
また、動画ファイルを再生する場合は、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された動画データを復号するように符号化復号化処理部１６０を制御し、復号された各フレームのデジタル画像信号を順次、ＲＡＭ１０２に記憶させる。そして、ＲＡＭ１０２に記憶させた復号された各フレームのデジタル画像信号を表示部１３０に、順次表示するように表示制御部１３１を制御する。また、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された音声データを動画の復号、表示のタイミングに合わせて、音声出力部１３２に送信し、音声を出力させる。なお、音声データが圧縮されたものである場合には、ＲＡＭ１０２に記憶された音声データを復号するように音声処理部１２１を制御し、復号された音声データを音声出力部１３２に送信する。
【００４８】
次に、「動画撮影モード」における「第１の圧縮モード」と、「第２の圧縮モード」について説明する。
【００４９】
「第１の圧縮モード」においては、撮影された動画のすべてのフレームを、「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」におけるフレーム内予測（イントラ予測）を用いた符号化方式により圧縮符号化し、ＩＤＲフレームに設定する。この様に、フレーム内予測により各フレームを圧縮することで、復号時に参照フレームを記憶する必要が無くデコーダの負荷が軽い、迅速に復号できる、どのフレームからも復号できる、編集しやすいなどの利点がある。
【００５０】
また、「第２の圧縮モード」においては、撮影された動画の各フレームを、「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」におけるイントラ予測による符号化方式、或いは、動き補償前方予測フレーム間符号化方式を用いて符号化し、圧縮する。この様に、フレーム間予測を用いて動画を圧縮することで、フレーム内予測のみによる圧縮時に比べ、符号量を大幅に削減することができる。ユーザは操作部１０４を操作することにより、撮影した動画の目的に合わせて、これら二つの圧縮モードの何れか一方を自由に選択し、設定することができる。
【００５１】
なお、ここでは、イントラ予測符号化フレームをＩフレームと呼び、前方予測フレーム間圧縮方式を用いて圧縮したフレームをＰフレームと呼ぶ。また、ＩＤＲフレームは、フレーム内予測符号化されたフレームであって、そのフレーム以前のフレームをフレーム間予測符号化フレームが参照できなくするためのフラグが付加されたものである。
【００５２】
また、「第１の圧縮モード」では、撮影された動画の全てのフレームがＩフレームとして符号化され、ＩＤＲフレームに設定される。また、「第２の圧縮モード」では、１５フレーム毎に１フレームがＩフレームとして符号化され、残りの１４フレームがＰフレームとして符号化される。なお、「第２の圧縮モード」において、前方予測フレーム間圧縮、後方予測フレーム間圧縮、両方向予測フレーム間圧縮のいずれかを選択的に使用できるＢフレームを使用しても構わない。
【００５３】
以後、ＩＤＲフレームに設定されているＩＤＲフレームの識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）については、説明を簡単にするため「ＩＤＲＩＤ」と呼ぶものとする。
【００５４】
ここで、本実施例の撮像装置１００の「動画撮影モード」において、動画撮影中に、静止画撮影を行う場合の動作について図２から図５を用いて説明する。
【００５５】
なお、本実施例の符号化復号化処理部１６０は、ＩＤＲフレームについては符号化した順番（すなわち入力された順番）に「ＩＤＲＩＤ」をインクリメントしながら付与していく機能を有する。すなわち、動画データの最初のＩＤＲフレームに、「ＩＤＲＩＤ」として０が付与されると、次のＩＤＲフレームには１、その次には、２という順に数字をインクリメントしながら付与していく。「ＩＤＲＩＤ」の上限は、例えば６５５３５であって、インクリメントすることで、上限に達した場合には、また０から順番に「ＩＤＲＩＤ」を付与するものとする。
【００５６】
本実施例の撮像装置１００は、「動画撮影モード」の「第１の圧縮モード」において、動画撮影中に静止画撮影の指示が入力されると、動画用の画像信号の画像処理、圧縮動作を一度停止させて、静止画用の画像信号の画像処理、圧縮動作を行う。そして、静止画の画像処理、圧縮動作のために欠落した期間の動画フレームについては補間フレームで補間する。このとき、補間フレームを１フレームだけ生成して動画フレームを補完すると、ＩＤＲフレームの「ＩＤＲＩＤ」が同じフレーム隣接してしまうことになる。そこで、本実施例の撮像装置１００は、補間フレームを生成する際に、符号化復号化処理部１６０に、複数フレーム（２フレーム以上）分の補間フレームを生成させることで、異なる「ＩＤＲＩＤ」を有する補間フレームを複数生成させる。そして、生成された「ＩＤＲＩＤ」の異なる複数の補間フレームを、必要なフレーム数分隣接する「ＩＤＲＩＤ」が同一にならないように、記録媒体１４０に記録する。これらの動作はＣＰＵ１０１により制御される。
【００５７】
また、「動画撮影モード」の「第２の圧縮モード」において、動画撮影中に静止画撮影を行うと、動画フレームの画像処理、圧縮動作を一度停止させて、静止画の画像処理、圧縮動作を行う。そして、静止画の画像処理、圧縮動作のために欠落した動画フレームについては補間フレームを生成して補間する。このとき、補間フレームについては、１つの補間フレーム画像をＩフレームまたは、Ｐフレームまたは、Ｂフレームで圧縮符号化し、残りを補間フレーム画像については、フレーム内のすべてのマクロブロック（一部異なってもよい）を「ｓｋｉｐｐｅｄ ｍａｃｒｏｂｌｏｃｋ」に設定する。また、１５フレーム毎に１フレームがＩフレームとして符号化されるため、補間フレームの一部のフレームがＩフレームとして符号化されることもある。
【００５８】
（「第１の圧縮モード」）
まず、「動画撮影モード」の「第１の圧縮モード」の動作について説明する。
【００５９】
図２、３は、本実施例の撮像装置１００が「第１の圧縮モード」で動画記録を開始してから終了するまでの動作を示すフローチャートである。図２、３のフローチャートは、ＣＰＵ１０１が、撮像装置１００の各ブロックを制御することにより実行される動作を示すものである。図４、図５は、各フレーム画像の状態を示す図である。
【００６０】
（Ｓ２１０）
まず、「第１の圧縮モード」で操作部１０４から動画撮影の開始の指示が入力されると、ＣＰＵ１０１は、撮像得１１０により得られたデジタル画像信号を、画像処理部１１１で動画撮影用の設定値に従って画像処理させ、処理されたデジタル画像信号をＲＡＭ１０２に一時的に記憶させる。すなわち、図４、図５に示すようにＲＡＭ１０２の動画フレーム用領域１０２Ｂにデジタル画像信号を記憶させる。
【００６１】
（Ｓ２１１）
次に、ＣＰＵ１０１は、動画撮影用の画像処理が施されたデジタル画像信号をＲＡＭ１０２から読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＩＤＲフレームとして圧縮させる。前述したように、圧縮されたＩＤＲフレームには「ＩＤＲＩＤ」が付加されており、ＩＤＲフレームとして圧縮が行われるたびに、インクリメントされた「ＩＤＲＩＤ」が付加される。すなわち、図５の圧縮後ＩＤＲフレーム５１０に示すように、符号化復号化処理部１６０において圧縮されたＩＤＲフレーム画像には順次、ＩＤ番号が増加する「ＩＤＲＩＤ」が付加されている。
【００６２】
（Ｓ２１２）
そして、ＣＰＵ１０１は、符号化復号化処理部１６０において、圧縮されたＩＤＲフレーム画像をＲＡＭ１０２に記憶させる。すなわち、図４に示すように、ＲＡＭ１０２の記録バッファ領域１０２Ｃに「ＩＤＲＩＤ」の付与されたＩＤＲフレームが格納される。
【００６３】
（Ｓ２１３）
次に、ＣＰＵ１０１は、所定数の圧縮されたフレーム画像がＲＡＭ１０２に記憶されたか否かを判定する。例えば、１５フレーム分の圧縮されたフレーム画像が記憶されたか否かを判定する。そして、所定数の圧縮されたフレーム画像がＲＡＭ１０２に記憶されている場合は、Ｓ２１４の処理へ移行し、所定数の圧縮されたフレーム画像がＲＡＭ１０２に記憶されていない場合は、Ｓ２１５の処理へ移行する。
【００６４】
（Ｓ２１４）
所定数の圧縮されたフレーム画像がＲＡＭ１０２に記憶されている場合は（Ｓ２１３でＹｅｓ）、ＣＰＵ１０２は、ＲＡＭ１０２に記憶されている圧縮されたフレーム画像を記録媒体１４０に、動画ファイルの動画データとして記録するように記録再生部１４１を制御する。
【００６５】
（Ｓ２１５）
所定数のフレーム画像がＲＡＭ１０２に記憶されていない場合（Ｓ２１３でＮｏ）、Ｓ２１４の処理が終了した場合は、ＣＰＵ１０１は、操作部１０４から静止画撮影の指示が入力されたか否かを判定する。静止画撮影の指示は、撮像装置１００の操作部１０２のシャッターボタンの全押し等である。静止画撮影の指示が入力された場合は、Ｓ２２０の処理へ移行し、静止画撮影の指示が入力されていない場合は、Ｓ２１６の処理へ移行する。なお、シャッターボタンの半押しの操作が入力された場合には、ＣＰＵ１０１は、撮像部１１０を制御してオートフォーカスなどを行うものの、静止画撮影は行わないものとする。
【００６６】
（Ｓ２１６）
静止画撮影の指示が入力されていない場合（Ｓ２１５でＮｏ）、ＣＰＵ１０１は、操作部１０４から動画撮影停止の指示が入力されたか否かを判定する。動画撮影停止の指示が入力された場合には、Ｓ２１７の処理へ移行し、動画撮影停止の指示が入力されていない場合には、Ｓ２１０へ処理を戻す。
【００６７】
（Ｓ２１７）
動画撮影停止の指示が入力された場合には（Ｓ２１６でＹｅｓ）、ＣＰＵ１０１は、撮影終了の処理をするように、以下のように撮像装置１００の各ブロックを制御する。ＣＰＵ１０１は、撮像動作を停止するように撮像部１１０を制御し、画像処理を停止するように画像処理部１１１を制御する。そして、符号化復号化処理部１６０において、ＲＡＭ１０２に記憶されているデジタル画像信号の圧縮が終了したら、ＣＰＵ１０１は、符号化復号化処理部１６０の圧縮動作を停止させる。そして、ＲＡＭ１０２に記憶されている圧縮されたフレーム画像を記録媒体１４０の動画ファイルの動画データとして記録するように記録再生部１４１を制御する。そして、ＣＰＵ１０１は、動画ファイルのファイルヘッダに格納するべき各種情報を生成し、記録媒体１４０の動画ファイルのファイルヘッダとして記録するように記録再生部１４１を制御する。
【００６８】
（Ｓ２２０）
一方、静止画撮影の指示が入力された場合（Ｓ２１５でＹｅｓ）、ＣＰＵ１０１は、動画用の画像処理を中断するように画像処理部１１１を制御する。そして、動画用の画像が画像処理部１１１から出力されなくなるため、ＣＰＵ１０１は、動画データの圧縮を一時中断するように、符号化復号化処理部１６０を制御する。
【００６９】
（Ｓ２２１）
次に、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号を、画像処理部１１１で静止画撮影用の設定値に従って画像処理させ、処理されたデジタル画像信号をＲＡＭ１０２に一時的に記憶させる。すなわち、図４に示すようにＲＡＭ１０２の静止画用領域１０２Ａに記憶される。
【００７０】
（Ｓ２２２）
次に、ＣＰＵ１０１は、静止画撮影用の画像処理が施されたデジタル画像信号をＲＡＭ１０２から読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＪＰＥＧ方式で画像データを圧縮させる。
【００７１】
（Ｓ２２３）
そして、ＣＰＵ１０１は、圧縮された静止画データをＲＡＭ１０２に記憶させる。すなわち、図４に示すように、ＲＡＭ１０２の記録バッファ領域１０２Ｃに動画用の圧縮されたＩＤＲフレームと区別して静止画データを記憶させる。
【００７２】
（Ｓ２２４）
次に、ＣＰＵ１０１は、動画用の画像処理を中断したことにより欠落したフレームを補完するための補間フレームを生成する処理を行う。この詳細については図３、図４、図５を用いて別途説明する。
【００７３】
（Ｓ２２５）
そして、補間フレーム画像の生成が終了すると、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された静止画データを記録媒体１４０の静止画ファイルの静止画データとして記録するように記録再生部１４１を制御する。この処理が終了すると、ＣＰＵ１０１は、処理をＳ２１０に戻し、再び動画フレームの処理、圧縮を開始する。すなわち、図４に示すように、記録媒体１４０に、静止画ファイル１４０の静止画データとしてＲＡＭ１０２に一時記憶された静止画データを記録する。なお、Ｓ２２５の処理は、Ｓ２２４の処理の前に行っても良い。
【００７４】
なお、ＣＰＵ１０１は、記録媒体１４０の記録残量が不足してきた場合（所定の残量以下になった場合）や、所定時間以上の動画が撮影された場合には、Ｓ２１７の処理を実行し、撮影を終了するものとする。
【００７５】
次に、動画用の画像処理を中断したことにより欠落したフレームを補完するための補間フレームを生成する処理（Ｓ２２４）について、図３、図４、図５を用いて説明する。
【００７６】
（Ｓ３１０）
まず、ＣＰＵ１０１は、ＦｌａｓｈＲＯＭ１０３から黒画像を読出して、ＲＡＭ１０２に記憶させる。このとき、ＣＰＵ１０１は、静止画撮影の指示が入力される前の動画用のフレーム画像の後に黒画像が符号化復号化処理部１６０で圧縮されるようにＲＡＭ１０２に記憶させる。すなわち、図４、図５に示すように、ＲＡＭ１０２の動画用フレーム領域１０２Ｂの、静止画撮影の指示が入力される前の動画用のフレーム画像の後に黒画像４５０が記憶される。
【００７７】
（Ｓ３１１）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶させた黒画像を読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＩＤＲフレームとして圧縮させる。
【００７８】
（Ｓ３１２）
そして、ＣＰＵ１０１は、符号化復号化処理部１６０において、圧縮された黒画像のＩＤＲフレーム画像をＲＡＭ１０２に記憶させる。
【００７９】
ここで、本実施例においては、ＣＰＵ１０１は、Ｓ３１１〜Ｓ３１２の処理を複数回（２回以上）繰り返す。符号化復号化処理部１６０では、ＩＤＲフレームとして画像を圧縮するたびに「ＩＤＲＩＤ」をインクリメントしながら付加するため、Ｓ３１１〜Ｓ３１２の処理を複数回繰り返すことで、符号化復号化処理部１６０で圧縮された黒画像のＩＤＲフレームには、異なる「ＩＤＲＩＤ」を付加することができる。すなわち、図５の圧縮後ＩＤＲフレーム５１０に示すように、符号化復号化処理部１６０において複数の圧縮された黒画像のＩＤＲフレーム５１１が生成され、それぞれ異なる「ＩＤＲＩＤ」を付加することができる。本実施例においては、静止画撮影の指示が入力される直前の「ＩＤＲＩＤ」を（Ｎ）とすると、Ｓ３１１〜Ｓ３１２により生成される圧縮された黒画像のＩＤＲフレームには、「ＩＤＲＩＤ」として、（Ｎ＋１）、（Ｎ＋２）を付加する。
【００８０】
（Ｓ３１３）
そして、ＣＰＵ１０１は、Ｓ３１１〜Ｓ３１２の処理を複数回（２回以上）繰り返すと、次に、ＲＡＭ１０２に記憶させた複数の黒画像のＩＤＲフレームを、それぞれ複数回用いて所定フレーム数分複製する。すなわち図４の記録バッファ１０２Ｃにおいて、複数の黒画像のＩＤＲフレームを複製して生成された複製ＩＤＲフレーム４６０を記憶する。本実施例では、「ＩＤＲＩＤ」として、（Ｎ＋１）、（Ｎ＋２）が付加された複数の黒画像のＩＤＲフレームが、それぞれ複数回用いられて所定フレーム数分複製される。
【００８１】
（Ｓ３２０）
次に、ＣＰＵ１０１は、静止画撮影の指示により撮像部１１０により取得された画像処理部１１１により画像処理されＲＡＭ１０２に記憶されている静止画用のデジタル画像信号を動画用のデジタル画像信号として複製する。本実施例では静止画用のデジタル画像信号から複製された動画用のデジタル画像信号を静止画フレーム画像と呼ぶものとする。すなわち、図４に示すように、静止画用のデジタル画像信号をＲＡＭ１０２の静止画用領域１０２Ａから複製して、動画フレーム用領域１０２Ｂに静止画フレーム画像４５１として配置する。
【００８２】
（Ｓ３２１）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶させた静止画フレーム画像を読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＩＤＲフレームとして圧縮させる。
【００８３】
（Ｓ３２２）
そして、ＣＰＵ１０１は、符号化復号化処理部１６０において、圧縮された静止画フレーム画像のＩＤＲフレーム画像をＲＡＭ１０２に記憶させる。
【００８４】
ここで、本実施例においては、ＣＰＵ１０１は、Ｓ３２１〜Ｓ３２２の処理を複数回（２回以上）繰り返す。符号化復号化処理部１６０では、ＩＤＲフレームとして画像を圧縮するたびに「ＩＤＲＩＤ」をインクリメントしながら付加するため、Ｓ３１１〜Ｓ３１２の処理を複数回繰り返すことで、符号化復号化処理部１６０で圧縮された静止画フレーム画像のＩＤＲフレームには、異なる「ＩＤＲＩＤ」を付加する。すなわち、図５の圧縮後ＩＤＲフレーム５１０に示すように、符号化復号化処理部１６０において複数の圧縮された静止画フレーム画像のＩＤＲフレーム５１１が生成され、それぞれ異なる「ＩＤＲＩＤ」を付加する。本実施例においては、圧縮された黒画像のＩＤＲフレームには、「ＩＤＲＩＤ」として、（Ｎ＋１）、（Ｎ＋２）が付加されているので、Ｓ３２１〜Ｓ３２２により生成される圧縮された静止画フレーム画像のＩＤＲフレームには、「ＩＤＲＩＤ」として、（Ｎ＋３）、（Ｎ＋４）を付加する。
【００８５】
（Ｓ３２３）
そして、ＣＰＵ１０１は、Ｓ３２１〜Ｓ３２２の処理を複数回（２回以上）繰り返すと、次に、ＲＡＭ１０２に記憶させた複数の静止画フレーム画像のＩＤＲフレームを、それぞれ複数回用いて所定フレーム数分複製する。なお、Ｓ３１３で複製する黒画像のＩＤＲフレームの数と、Ｓ３２３で複製する静止画フレーム画像のＩＤＲフレームの数は同一でも異なっていても良い。すなわち図４の記録バッファ１０２Ｃにおいて、複数の静止画フレーム画像のＩＤＲフレームを複製して生成された複製ＩＤＲフレーム４６１が記憶されることになる。本実施例では、「ＩＤＲＩＤ」として、（Ｎ＋３）、（Ｎ＋４）が付加された複数の静止画フレーム画像のＩＤＲフレームを、それぞれ複数回用いて所定フレーム数分複製される。
【００８６】
なお、Ｓ２２４（すなわち、図３）の処理の間、ＲＡＭ１０２に記憶された圧縮されたフレーム画像（ＩＤＲフレーム）の数が所定数以上になった場合には、ＲＡＭ１０２に記憶されている圧縮されたフレーム画像を記録媒体１４０に、動画ファイルの動画データとして記録するように、記録再生部１４１を制御する。すなわち、Ｓ２１３〜Ｓ２１４の処理を行う。
【００８７】
このように、本実施例の撮像装置１００は、図２、３に示す動作を「第１の圧縮モード」で動画記録を開始してから終了するまでの間行う。これにより、動画データの欠落フレームをＩＤＲフレーム画像により補完する場合に、隣接するＩＤＲフレームの「ＩＤＲＩＤ」が同一にならない動画データを記録媒体１４０に記録することができる。すなわち、図４、図５の動画ファイル４２０に示すように、静止画撮影指示の直前の圧縮動画フレームの「ＩＤＲＩＤ」が（Ｎ）である。そして、補間されるフレームにおいては、「ＩＤＲＩＤ」が隣接フレームで同一にならないように、黒画像のＩＤＲフレームのうち「ＩＤＲＩＤ」が（Ｎ＋１）のフレームと（Ｎ＋２）のフレームが交互に配置されるように記録媒体１４０に記録している。同様に、「ＩＤＲＩＤ」が隣接フレームで同一にならないように、静止画フレーム画像のＩＤＲフレームのうち「ＩＤＲＩＤ」が（Ｎ＋３）のフレームと（Ｎ＋４）のフレームが交互に配置されるように記録媒体１４０に記録している。そして、補間フレームより後の動画フレームの「ＩＤＲＩＤ」は、静止画フレーム画像の圧縮された際の「ＩＤＲＩＤ」が（Ｎ＋４）であるため、（Ｎ＋５）となる。すなわち、符号化復号化処理部１６０で複数回符号化されたことで生成された複数のＩＤＲフレームを、それぞれ複数回用いることによって、「ＩＤＲＩＤ」が隣接するＩＤＲフレームで同一にならない順番で記録媒体に記録することができるのである。
【００８８】
本実施例の撮像装置１００は、このように、「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式の動画撮影中に、静止画撮影を行ったとしても、制約に違反しない動画データを生成することができる。
【００８９】
本実施例では、符号化復号化処理部１６０は、ＩＤＲフレームについては符号化した順番（すなわち入力された順番）に「ＩＤＲＩＤ」をインクリメントしながら付与していく機能を有するものとして説明した。しかし、「ＩＤＲＩＤ」については、本実施例のＣＰＵ１０１によって、符号化復号化処理部１６０に設定できるようにしてもよい。この場合には、ＣＰＵ１０１は、１フレーム分の画像を符号化復号化処理部１６０にＩＤＲフレームとして圧縮させるごとに、「ＩＤＲＩＤ」に対応する数字をインクリメントして符号化復号化処理部１６０に設定する。これにより、符号化復号化処理部１６０では、ＩＤＲフレームとして圧縮を実行するたびに、設定された「ＩＤＲＩＤ」を付加して圧縮を行うので、隣接する「ＩＤＲＩＤ」を異ならせることができる。
【００９０】
また、本実施例では、補間フレームのフレーム数（圧縮された黒画像のＩＤＲフレームの数と、圧縮された静止画フレーム画像のＩＤＲフレームの数の和）は、任意の数であって良い。しかし、例えば音声データを補間フレームに対応する期間も記録する場合には、音声データの実時間に対応する数だけ補間フレームを用いる。例えば２秒間の欠落フレームであるとすると、秒間３０フレームの動画であれば６０フレーム分の欠落フレームが発生していることになる。そのため、補間フレームについても、圧縮された黒画像のＩＤＲフレームの数と圧縮された静止画フレーム画像のＩＤＲフレームの数との和が６０フレームになるように補間フレームを生成して記録媒体１４０に記録する。
【００９１】
なお、本実施例では、黒画像と、静止画に対応する画像を、補間フレームの画像として用いたが他の画像であっても良い。黒画像、静止画に対応する画像のいずれかのみを使用しても良いし、他の所定の画像を用いても良い。所定の画像としては、静止画撮影の指示が入力される直前の動画用の画像を用いても良いし、所定の画像をＦｌａｓｈＲＯＭ１０３に予め記録しておいて、当該所定の画像を用いても良い。すなわち、補間フレームをどのような画像に基づいて生成しても良い。そして補間フレームを生成する際には、補間フレーム用の画像を複数回（２回以上）、符号化復号化処理部１６０において圧縮させ、異なる「ＩＤＲＩＤ」を有する補間フレームを生成する。そして、符号化復号化処理部１６０において複数回圧縮されることで生成された、異なる「ＩＤＲＩＤ」を有する複数のＩＤＲフレームを複数回用いて、隣接する補間フレーム同士の「ＩＤＲＩＤ」が異なるような順番で補完した動画データを記録媒体１４０に記録する。
【００９２】
また、補間フレームを生成する際には、補間フレーム用の画像を複数回（２回以上）、符号化復号化処理部１６０において圧縮させ、異なる「ＩＤＲＩＤ」を有する補間フレームを生成するものとしたが、補間フレーム用の画像を別々に用意してもよい。つまり、黒画像を別々に複数個ＲＡＭ１０２の動画フレーム用領域１０２Ｂに配置して、それぞれの画像を符号化復号化処理部１６０においてＩＤＲフレームとして圧縮させることでなる「ＩＤＲＩＤ」を有する補間フレームを生成してもよい。
【００９３】
また、本実施例においては、「第１の圧縮モード」においては、撮影された動画のすべてのフレームを、ＩＤＲフレームとして圧縮するものとして説明したが、すべてのフレームをＩＤＲフレームとしなくても欠落フレームの以外の期間のフレームについては、すべてをＩＤＲフレームとして圧縮しなくても良い。すなわち、Ｉフレームまたは、Ｐフレームまたは、Ｂフレームで圧縮したフレームを通常の動画フレームに対して実行し、補間フレームについてはＩＤＲフレームとして圧縮するものであっても良い。
【００９４】
（「第２の圧縮モード」）
次に、「動画撮影モード」の「第２の圧縮モード」の動作について説明する。
【００９５】
「第２の圧縮モード」における動作については、「第１の圧縮モード」の動作との差分について、図２を用いて説明する。
【００９６】
前述したように、「第２の圧縮モード」においては、撮影された動画の各フレームを、「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」におけるイントラ予測による符号化方式、或いは、動き補償前方予測フレーム間符号化方式を用いて符号化し、圧縮する。そして、１５フレーム毎に１フレームがＩフレームとして符号化され、残りの１４フレームがＰフレームとして符号化される。
【００９７】
（Ｓ２１１）
「第１の圧縮モード」においては、ＣＰＵ１０１は、動画撮影用の画像処理が施されたデジタル画像信号をＲＡＭ１０２から読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＩＤＲフレームとして圧縮させる。しかし、「第２の圧縮モード」においては、撮影された動画の各フレームを、「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」におけるイントラ予測による符号化方式、或いは、動き補償前方予測フレーム間符号化方式を用いて圧縮させる。
【００９８】
（Ｓ２２４）
「第１の圧縮モード」においては、ＣＰＵ１０１は、動画用の画像処理を中断したことにより欠落したフレームを補完するための補間フレームを生成する処理を行う。特に、図３、図４、図５を用いて説明したように、補間フレームをＩＤＲフレームとして圧縮させていた。一方「第２の圧縮モード」においては、ＣＰＵ１０１は、補間フレームについては、１つの補間フレーム画像をＩフレームまたは、Ｐフレームまたは、Ｂフレームで圧縮符号化し、残りを補間フレーム画像については、フレーム内のすべてのマクロブロック（一部異なってもよい）を「ｓｋｉｐｐｅｄ ｍａｃｒｏｂｌｏｃｋ」に設定する。また、１５フレーム毎に１フレームがＩフレームとして符号化されるため、補間フレームの一部のフレームがＩフレームとして符号化されることもある。
【００９９】
補間フレームの画像については、「第１の圧縮モード」と同様に、黒画像と静止画フレーム画像を用いて補間フレームを生成する。
【０１００】
本実施例の撮像装置１００は、このように、「第２の圧縮モード」においては、補間フレームとしてＩＤＲフレームを用いないで動画のフレームを補完することができる。
【０１０１】
本実施例の撮像装置１００は、「第１の圧縮モード」においては、動画の欠落フレームを、ＩＤＲフレームとして圧縮されたフレームを用い、「第２の圧縮モード」においては、動画の欠落フレームを、ＩＤＲフレームとして圧縮されたフレーム用いずに補間することができる。
【０１０２】
ここで、本実施例の符号化復号化部１６０の詳細な構成について説明する。
【０１０３】
図６は、符号化復号化部１６０における符号化処理のブロックを示す図である。図６において、ＲＡＭ１０２より読み出された動画用のデジタル画像信号が水平、垂直それぞれ所定数の画素からなるマクロブロック毎に入力され、演算部６０１、フレーム内予測部６０８、動き予測部６１１に出力される。演算部６０１は、切り替え部６１３から出力された予測画像データと入力された画像データとの差分を演算し、整数変換部６０２に出力する。整数変換部６０２は、演算部６０１からのデータに対して直交変換の一つである整数変換処理を施し、入力されたデータを空間成分から周波数成分に変換して量子化部６０３に出力する。量子化部６０３は、量子化テーブル選択部６１２から供給された量子化テーブルに従って、各マクロブロックの変換係数を量子化し、エントロピー符号化部６０４と逆量子化部６０５に出力する。本実施形態では、マクロブロックの各変換係数に対する量子化幅（量子化ステップ）が割り当てられた量子化テーブルを複数用意し、量子化テーブル選択部６１２はこれらの量子化テーブルを保持している。量子化テーブル選択部６１２は、後述の様に、ＣＰＵ１０１からの圧縮強度Ｑの値に対応した量子化テーブルを選択し、量子化部６０３に送る。
【０１０４】
逆量子化部６０５は、入力されたデータを逆量子化し、逆整数変換部６０６に出力する。逆整数変換部６０６は、逆量子化部６０５からのデータに対して逆整数変換処理を施して、元の空間成分のデータに変換し、演算部６０７に出力する。演算部６０７は、切り替え部６１３からの予測画像データと逆整数変換処理されたデータとを加算し、フレーム内予測部６０８、ループフィルタ６０９に出力する。ループフィルタ６０９は、演算部６０７からの局部復号データに対して指定されたフィルタ処理を施し、蓄積部６１０に記憶する。蓄積部６１０はループフィルタ６０９からの画像データを記憶する。動き予測部６１１は、第２の圧縮モードにおいて、Ｐフレームを処理する際に、蓄積部６１０に記憶された参照フレームの画像データのうち、入力された画像データとの間の予測誤差（差分）が最も少なくなるマクロブロックを検出し、検出したマクロブロックに対する動きベクトルを動き補償部６１１に知らせる。動き補償部６１２は、動きベクトルに従い、蓄積部６１０から予測画像データとしてのマクロブロックのデータを読み出し、切り替え部６１３に出力する。
【０１０５】
一方、フレーム内予測部６０８は、「第１の圧縮モード」、或いは、「第２の圧縮モード」においてＩフレーム、ＩＤＲフレームを処理する際に、フレーム内予測処理を行う。即ち、フレーム内予測部６０８は、演算部６０７からの、入力されたマクロブロックの画像データに対して画面上で上、もしくは左に隣接する画素のデータと、入力された画像データとに基づいて、最適なイントラ予測モードを検出する。そして、検出したイントラ予測モードで処理するために必要な予測画像データを切り替え部６１３に出力する。Ｈ．２６４では、互いに異なる所定数のイントラ予測モードが用意されている。フレーム内予測部６０８は、これらの予測モードのうち、予測誤差が最も少なくなる予測モードを検出する。
【０１０６】
切り替え部６１３は、ＣＰＵ１０１からの指示に従い、フレーム内予測部６０８と動き補償部６１２からの予測画像データの一方を選択し、演算部６０１と６０７に出力する。切り替え部６１３は、「第１の圧縮モード」においては、動画の記録中は常にＩＤＲフレームとして画像を圧縮するため、常にフレーム内予測部６０８からの予測画像データを選択して出力する。また、切り替え部６１３は、「第２の圧縮モード」においては、Ｉフレームを処理する際にはフレーム内予測部６０８からの予測画像データを選択し、Ｐフレームを処理する際には動き補償部６１２からの予測画像データを選択する。
【０１０７】
フレーム内予測部６０８が検出した予測モードを示す情報と、動き予測部６１１が検出した動きベクトルのデータはエントロピー符号化部６０４に出力される。エントロピー符号化部６０４は、量子化部６０３からのデータと、量子化テーブル選択部６１２により選択されている量子化テーブルの番号、予測モードを示す情報、或いは、動きベクトルのデータを符号化し、圧縮された動画データとして出力する。また、このとき、マクロブロックの集合からなるスライスのスライスヘッダに「ＩＤＲＩＤ」を付加する。
【０１０８】
なお、本実施例では撮像装置１００は、例えば、デジタルカメラ、携帯電話、スマートフォンなど動画撮影中に静止画撮影を行うことができる装置であればどのような装置であっても良い。
【０１０９】
［第２の実施形態］
次に、第２の実施形態について説明する。第１の実施形態においては、「第１の圧縮モード」において、補間フレームの画像を圧縮する際、符号化復号化処理部１６０で黒画像や静止画フレーム画像をそれぞれ複数回圧縮した。それにより、異なる「ＩＤＲＩＤ」を有する圧縮された黒画像または静止画フレーム画像のＩＤＲフレームを複数生成し、これらを用いて隣接するＩＤＲフレームの「ＩＤＲＩＤ」が同一にならないようにしていた。
【０１１０】
一方、本実施形態においては、「第１の圧縮モード」において、補間フレームの画像を圧縮する際、符号化復号化処理部１６０で黒画像や静止画フレーム画像を複数回圧縮させない。代わりに、符号化復号化処理部１６０で圧縮された黒画像や静止画フレーム画像のＩＤＲフレームをＲＡＭ１０２内で複製する。このとき、ＩＤＲフレームのスライスヘッダに格納されている「ＩＤＲＩＤ」を変更したＩＤＲフレームをＲＡＭ１０２内で複製する。これにより、第１の実施形態と同様に、これらを用いて隣接するＩＤＲフレームの「ＩＤＲＩＤ」が同一にならないようにする。
【０１１１】
本実施形態における撮像装置１００の構成は、第１の実施形態と同様な構成であるため、説明を省略する。また、「第１の圧縮モード」、「第２の圧縮モード」における基本的な動作についても第１の実施形態と同様であるため、説明を省略する。
【０１１２】
本実施形態においては、「第１の圧縮モード」のＳ２２４の処理（すなわち、図３の処理）が異なるため、この点を説明する。
【０１１３】
図７は、本実施形態における、動画用の画像処理を中断したことにより欠落したフレームを補完するための補間フレームを生成する処理（Ｓ２２４）について説明するためのフローチャートである。第１の実施形態同様、図７のフローチャートは、ＣＰＵ１０１が撮像装置１００の各ブロックを制御することにより実行される動作を示すものである。
【０１１４】
（Ｓ７１０）
まず、ＣＰＵ１０１は、ＦｌａｓｈＲＯＭ１０３から黒画像を読出して、ＲＡＭ１０２に記憶させる。このとき、ＣＰＵ１０１は、静止画撮影の指示が入力される前の動画用のフレーム画像の後に黒画像が符号化復号化処理部１６０で圧縮されるようにＲＡＭ１０２に記憶させる。
【０１１５】
（Ｓ７１１）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶させた黒画像を読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＩＤＲフレームとして圧縮させる。
【０１１６】
（Ｓ７１２）
そして、ＣＰＵ１０１は、符号化復号化処理部１６０において、圧縮された黒画像のＩＤＲフレーム画像をＲＡＭ１０２に記憶させる。
【０１１７】
ここで、本実施例においては、第１の実施形態とは異なり、ＣＰＵ１０１は、Ｓ７１１〜Ｓ７１２の処理を複数回（２回以上）繰りかえさない。
【０１１８】
（Ｓ７１３）
次にＣＰＵ１０１は、ＲＡＭ１０２に記憶された圧縮された黒画像のＩＤＲフレームを複製する。このとき、静止画撮影の指示が入力される直前の「ＩＤＲＩＤ」を（Ｎ）とすると、ＲＡＭ１０２に記憶された圧縮された黒画像のＩＤＲフレームの「ＩＤＲＩＤ」は（Ｎ＋１）である。そこで、ＣＰＵ１０１は、複製した黒画像のＩＤＲフレーム用の「ＩＤＲＩＤ」を（Ｎ＋１）とは異なる数字に変更する。例えば（Ｎ＋２）や（Ｎ）等に変更する。
【０１１９】
（Ｓ７１４）
そして、ＣＰＵ１０１は、Ｓ７１１で圧縮された黒画像のＩＤＲフレームと、Ｓ７１３で複製された黒画像のＩＤＲフレームとを所定フレーム数分複製する。
【０１２０】
（Ｓ７２０）
次に、ＣＰＵ１０１は、静止画撮影の指示により撮像部１１０により取得された画像処理部１１１により画像処理されＲＡＭ１０２に記憶されている静止画用のデジタル画像信号を動画用のデジタル画像信号として複製する。
【０１２１】
（Ｓ７２１）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶させた静止画フレーム画像を読み出して、符号化復号化処理部１６０に送信し、符号化復号化処理部１６０において、ＩＤＲフレームとして圧縮させる。
【０１２２】
（Ｓ７２２）
そして、ＣＰＵ１０１は、符号化復号化処理部１６０において、圧縮された静止画フレーム画像のＩＤＲフレーム画像をＲＡＭ１０２に記憶させる。
【０１２３】
ここで、本実施例においては、ＣＰＵ１０１は、Ｓ７２１〜Ｓ７２２の処理を複数回（２回以上）繰りかえさない。
【０１２４】
（Ｓ７２３）
次にＣＰＵ１０１は、ＲＡＭ１０２に記憶された圧縮された静止画フレーム画像のＩＤＲフレームを複製する。このとき、Ｓ７１３と同様に、ＣＰＵ１０１は、複製した静止画フレーム画像のＩＤＲフレーム用の「ＩＤＲＩＤ」をＲＡＭ１０２に記憶された静止画フレーム画像のＩＤＲフレームの「ＩＤＲＩＤ」とは異なる数字に変更する。例えば、ＲＡＭ１０２に記憶された静止画フレーム画像のＩＤＲフレームの「ＩＤＲＩＤ」が（Ｎ＋２）であれば、（Ｎ＋１）や（Ｎ＋３）等に変更する。
【０１２５】
（Ｓ７２４）
そして、ＣＰＵ１０１は、Ｓ７２１で圧縮された黒画像のＩＤＲフレームと、Ｓ７２３で複製された静止画フレーム画像のＩＤＲフレームとを所定フレーム数分複製する。
【０１２６】
このような動作により、本実施例の撮像装置１００は、「隣接するＩＤＲフレームにおいては、異なるＩＤＲフレーム識別ＩＤ（ｉｄｒ＿ｐｉｃ＿ｉｄ）を割り当てなければならない」といった制約のある圧縮方式の動画撮影中に、静止画撮影を行ったとしても、制約に違反しない動画データを生成することができる。
【０１２７】
［その他の実施形態］
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１２８】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【特許請求の範囲】
【請求項１】
撮像手段と、
動画撮影中に前記撮像手段により得られた画像データを順次動画データとして圧縮する圧縮手段と、
前記圧縮手段により圧縮された動画データを記録媒体に記録する記録手段と、
前記動画撮影中に静止画撮影の指示を入力する静止画撮影指示手段と、
前記圧縮手段と前記記録手段とを制御する制御手段とを有し、
前記制御手段は、前記動画撮影中に前記静止画撮影の指示が入力されたことに応じて、所定の画像データを動画データのＩＤＲフレームとして複数回圧縮するように前記圧縮手段を制御し、
前記制御手段は、前記複数回圧縮することにより得られた複数のＩＤＲフレームをそれぞれ複数回用いて、ＩＤＲフレームの識別ＩＤが隣接するＩＤＲフレームで同一にならない順番になる動画データとして前記記録媒体に記録するように前記記録手段を制御することを特徴とする撮像装置。
【請求項２】
撮像手段と、
動画撮影中に前記撮像手段により得られた画像データを順次動画データとして圧縮する圧縮手段と、
前記圧縮手段により圧縮された動画データを記録媒体に記録する記録手段と、
前記動画撮影中に静止画撮影の指示を入力する静止画撮影指示手段と、
前記圧縮手段と前記記録手段とを制御する制御手段とを有し、
前記制御手段は、前記動画撮影中に前記静止画撮影の指示が入力されたことに応じて、所定の画像データを動画データのＩＤＲフレームとして圧縮するように前記圧縮手段を制御し、
前記制御手段は、前記圧縮手段により得られた前記所定の画像データに対応するＩＤＲフレームを複製するとともに複製されたＩＤＲフレームの識別ＩＤを変更し、
前記制御手段は、前記圧縮手段により得られた前記所定の画像データに対応するＩＤＲフレームと前記複製されたＩＤＲフレームとをそれぞれ複数回用いて、ＩＤＲフレームの識別ＩＤが隣接するＩＤＲフレームで同一にならない順番になる動画データとして前記記録媒体に記録するように前記記録手段を制御することを特徴とする撮像装置。
【請求項３】
前記圧縮手段は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式を用いて画像データを動画データとして圧縮することを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記圧縮手段は、前記画像データをＩＤＲフレームとして圧縮する際、前記画像データをフレーム内予測符号化することを特徴とする請求項１から３のいずれか１項記載の撮像装置。
【請求項５】
前記ＩＤＲフレームは、そのフレームよりも後に表示されるフレーム間予測符号化されたフレームがＩＤＲフレームよりも前に表示されるフレームを参照できなくするフラグを付加されたフレーム内予測符号化されたフレームであることを特徴とする請求項１から４のいずれか１項記載の撮像装置。
【請求項６】
前記圧縮手段は、画像データをＩＤＲフレームとして圧縮するたびにＩＤＲフレームの識別ＩＤをインクリメントすることを特徴とする請求項１から５のいずれか１項記載の撮像装置。
【請求項７】
前記圧縮手段は、第１のモードにおいては、前記画像データをすべてＩＤＲフレームとして圧縮することを特徴とする請求項１から６のいずれか１項記載の撮像装置。
【請求項８】
前記圧縮手段は、第２のモードにおいては、前記画像データをフレーム間予測符号化とフレーム内予測符号化とを用いて圧縮することを特徴とする請求項１から７のいずれか１項記載の撮像装置。
【請求項９】
前記制御手段は、前記第２のモードにおいて、前記動画撮影中に前記静止画撮影の指示が入力されたことに応じて、前記所定の画像をＩＤＲフレームとして圧縮しないことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記所定の画像は、黒画像または、静止画撮影の指示が入力されたタイミングに関連する画像データであることを特徴とする請求項１から９のいずれか１項記載の撮像装置。
【請求項１１】
撮像手段を有するコンピュータを、
動画撮影中に前記撮像手段により得られた画像データを順次動画データとして圧縮する圧縮手段、
前記圧縮手段により圧縮された動画データを記録媒体に記録する記録手段、
前記動画撮影中に静止画撮影の指示を入力する静止画撮影指示手段、
前記圧縮手段と前記記録手段とを制御する制御手段として機能させるプログラムであって、
前記制御手段は、前記動画撮影中に前記静止画撮影の指示が入力されたことに応じて、所定の画像データを動画データのＩＤＲフレームとして複数回圧縮するように前記圧縮手段を制御し、
前記制御手段は、前記複数回圧縮することにより得られた複数のＩＤＲフレームをそれぞれ複数回用いて、ＩＤＲフレームの識別ＩＤが隣接するＩＤＲフレームで同一にならない順番になる動画データとして前記記録媒体に記録するように前記記録手段を制御することを特徴とするプログラム。
【請求項１】
撮像手段と、
動画撮影中に前記撮像手段により得られた画像データを順次動画データとして圧縮する圧縮手段と、
前記圧縮手段により圧縮された動画データを記録媒体に記録する記録手段と、
前記動画撮影中に静止画撮影の指示を入力する静止画撮影指示手段と、
前記圧縮手段と前記記録手段とを制御する制御手段とを有し、
前記制御手段は、前記動画撮影中に前記静止画撮影の指示が入力されたことに応じて、所定の画像データを動画データのＩＤＲフレームとして複数回圧縮するように前記圧縮手段を制御し、
前記制御手段は、前記複数回圧縮することにより得られた複数のＩＤＲフレームをそれぞれ複数回用いて、ＩＤＲフレームの識別ＩＤが隣接するＩＤＲフレームで同一にならない順番になる動画データとして前記記録媒体に記録するように前記記録手段を制御することを特徴とする撮像装置。
【請求項２】
撮像手段と、
動画撮影中に前記撮像手段により得られた画像データを順次動画データとして圧縮する圧縮手段と、
前記圧縮手段により圧縮された動画データを記録媒体に記録する記録手段と、
前記動画撮影中に静止画撮影の指示を入力する静止画撮影指示手段と、
前記圧縮手段と前記記録手段とを制御する制御手段とを有し、
前記制御手段は、前記動画撮影中に前記静止画撮影の指示が入力されたことに応じて、所定の画像データを動画データのＩＤＲフレームとして圧縮するように前記圧縮手段を制御し、
前記制御手段は、前記圧縮手段により得られた前記所定の画像データに対応するＩＤＲフレームを複製するとともに複製されたＩＤＲフレームの識別ＩＤを変更し、
前記制御手段は、前記圧縮手段により得られた前記所定の画像データに対応するＩＤＲフレームと前記複製されたＩＤＲフレームとをそれぞれ複数回用いて、ＩＤＲフレームの識別ＩＤが隣接するＩＤＲフレームで同一にならない順番になる動画データとして前記記録媒体に記録するように前記記録手段を制御することを特徴とする撮像装置。
【請求項３】
前記圧縮手段は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式を用いて画像データを動画データとして圧縮することを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記圧縮手段は、前記画像データをＩＤＲフレームとして圧縮する際、前記画像データをフレーム内予測符号化することを特徴とする請求項１から３のいずれか１項記載の撮像装置。
【請求項５】
前記ＩＤＲフレームは、そのフレームよりも後に表示されるフレーム間予測符号化されたフレームがＩＤＲフレームよりも前に表示されるフレームを参照できなくするフラグを付加されたフレーム内予測符号化されたフレームであることを特徴とする請求項１から４のいずれか１項記載の撮像装置。
【請求項６】
前記圧縮手段は、画像データをＩＤＲフレームとして圧縮するたびにＩＤＲフレームの識別ＩＤをインクリメントすることを特徴とする請求項１から５のいずれか１項記載の撮像装置。
【請求項７】
前記圧縮手段は、第１のモードにおいては、前記画像データをすべてＩＤＲフレームとして圧縮することを特徴とする請求項１から６のいずれか１項記載の撮像装置。
【請求項８】
前記圧縮手段は、第２のモードにおいては、前記画像データをフレーム間予測符号化とフレーム内予測符号化とを用いて圧縮することを特徴とする請求項１から７のいずれか１項記載の撮像装置。
【請求項９】
前記制御手段は、前記第２のモードにおいて、前記動画撮影中に前記静止画撮影の指示が入力されたことに応じて、前記所定の画像をＩＤＲフレームとして圧縮しないことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記所定の画像は、黒画像または、静止画撮影の指示が入力されたタイミングに関連する画像データであることを特徴とする請求項１から９のいずれか１項記載の撮像装置。
【請求項１１】
撮像手段を有するコンピュータを、
動画撮影中に前記撮像手段により得られた画像データを順次動画データとして圧縮する圧縮手段、
前記圧縮手段により圧縮された動画データを記録媒体に記録する記録手段、
前記動画撮影中に静止画撮影の指示を入力する静止画撮影指示手段、
前記圧縮手段と前記記録手段とを制御する制御手段として機能させるプログラムであって、
前記制御手段は、前記動画撮影中に前記静止画撮影の指示が入力されたことに応じて、所定の画像データを動画データのＩＤＲフレームとして複数回圧縮するように前記圧縮手段を制御し、
前記制御手段は、前記複数回圧縮することにより得られた複数のＩＤＲフレームをそれぞれ複数回用いて、ＩＤＲフレームの識別ＩＤが隣接するＩＤＲフレームで同一にならない順番になる動画データとして前記記録媒体に記録するように前記記録手段を制御することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−５５５３２（Ｐ２０１３−５５５３２Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９２８１４（Ｐ２０１１−１９２８１４）
【出願日】平成２３年９月５日（２０１１．９．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月５日（２０１１．９．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]