動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置
【課題】フレーム間引きを伴う動画再生を効率的に行い得る動画像の符号化データを得ることができる動画符号化装置および動画符号化方法、動画記録装置等を提供する。
【解決手段】動画像を２４０ｆｐｓのフレームレートで高速撮像し、ＭＰＥＧ方式で圧縮符号化する。各フレームの画像をＩピクチャとＰピクチャとに分け、さらにＰピクチャを、４フレーム毎のメインフレームのＰピクチャ（Ｐ４，Ｐ８，Ｐ１２）と、それ以外のサブフレームのＰピクチャ（ｐ１，ｐ２，ｐ３，・・・）とに分けて符号化する。メインフレームのＰピクチャの符号化時には、時間軸上で隣接するＩピクチャ、若しくは他のメインフレームのＰピクチャを参照画像として使用する。動画再生性能が６０ｆｐｓの再生装置等で、動画像を再生時間が撮像時間と等しい実速再生を行うには、メインフレームのみを再生表示させるが、その際、サブフレームのＰピクチャのデコード処理が不要となる。
【解決手段】動画像を２４０ｆｐｓのフレームレートで高速撮像し、ＭＰＥＧ方式で圧縮符号化する。各フレームの画像をＩピクチャとＰピクチャとに分け、さらにＰピクチャを、４フレーム毎のメインフレームのＰピクチャ（Ｐ４，Ｐ８，Ｐ１２）と、それ以外のサブフレームのＰピクチャ（ｐ１，ｐ２，ｐ３，・・・）とに分けて符号化する。メインフレームのＰピクチャの符号化時には、時間軸上で隣接するＩピクチャ、若しくは他のメインフレームのＰピクチャを参照画像として使用する。動画再生性能が６０ｆｐｓの再生装置等で、動画像を再生時間が撮像時間と等しい実速再生を行うには、メインフレームのみを再生表示させるが、その際、サブフレームのＰピクチャのデコード処理が不要となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム間予測技術を用いて動画像を符号化する動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置に関するものである。
【背景技術】
【０００２】
現在、動画像を圧縮符号化する技術としてＭＰＥＧ（Motion Picture Experts Group）方式が一般に使用されており、そのデータ構成は公知である（例えば下記特許文献１参照）。
【０００３】
概略を説明すると、ＭＰＥＧ方式では、動画像を構成する各フレーム（画像）がＩピクチャ（Intra-coded picture、フレーム内符号化画像）、Ｐピクチャ（Predictive-coded picture、順方向予測符号化画像）及びＢピクチャ（Bi-directionally predictive coded picture、双方向予測符号化画像）といった３タイプの画像に分類して符号化されている。
【０００４】
Ｉピクチャは、所定枚数の画像データをひとまとまりにしたＧＯＰ（Group OF Picture）の独立性を保つためにＧＯＰ内には必ず１枚は設けられる画像であり、フレーム間予測を用いることなく、そのフレームの情報だけで符号化（フレーム内符号化）される画像である。これに対し、Ｐピクチャは、過去のＩピクチャ又はＰピクチャを参照画像として、それらから一方向に動きを予測して符号化（順方向フレーム間予測符号化）される予測画像であり、Ｂピクチャは、時間軸上で前後にあるＩピクチャまたはＰピクチャを参照画像として、それらから双方向に動きを予測して符号化（双方向予測符号化）される予測画像である。また、Ｐピクチャ及びＢピクチャは、１６×１６画素のマクロブロック単位で求められた動きベクトル（ＭＶ）と、その予測画像を同一タイミングのフレーム（実画像）と比較したときの差分画像（予測誤差）のＤＣＴ（Discrete Cosine Transform）係数を符号化したデータとによって表現される。
【０００５】
そして、ＭＰＥＧ方式で圧縮符号化された動画像の再生時には、Ｉピクチャについては、そのまま復号を行い元の時間軸の画像データに戻される。また、Ｐピクチャ及びＢピクチャについては、前記予測誤差（ＤＣＴ係数）が復号・逆ＤＣＴ変換により取得され、先に復号されている他のフレーム（Ｐピクチャでは過去のフレーム、Ｂピクチャでは過去又は未来のフレーム）を参照画像とし動きベクトル（ＭＶ）を用いて予測画像が作成された後、作成された予測画像と前記予測誤差とから元の時間軸の画像データが作成されることとなる。
【特許文献１】特開２００３−１７９９３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したようにＭＰＥＧ方式で圧縮符号化された動画像の再生時には、Ｐピクチャ及びＢピクチャを表示可能な画像データとするためには、いずれかのフレームのＩピクチャを起点とするフレーム毎の一連のデコード、逆ＤＣＴ変換を行いフレーム毎に予測画像を作成することが不可欠となっている。
【０００７】
そのため、フレームを間引いて表示する場合においては、実際には表示しない無用のフレーム（ＰピクチャまたはＢピクチャ）についてもデコード等の処理を行わなければならなかった。つまりフレーム間引きを伴う動画再生を行う場合の処理効率が極めて低いという問題があった。
【０００８】
図２４はそれを示したものである。すなわち同図（ａ）は、ＭＰＥＧ方式による動画像の符号化データ中のあるＩピクチャ（Ｉ０）と、それを起点としたＰピクチャ（Ｐ１，Ｐ２，Ｐ３，・・・）、及び各Ｐピクチャの符号化に参照される参照画像を示した図である。同図（ｂ）は、記録時及び再生時のフレームレートが共に２４０ｆｐｓである場合（フレーム間引きを行わない場合）の各フレームのデコード処理及び表示の有無、同図（ｃ）は、再生時のフレームレートが６０ｆｐｓである場合（フレーム間引きを行う場合）の各フレームのデコード処理及び表示の有無を示した図である。なお、図２４は、Ｂピクチャが存在しないフレーム区間の例であり、図示しないがＢピクチャの作成に際しては時間軸上で前後に位置するＩピクチャ又はＰピクチャのフレームが参照される。
【０００９】
係ることから、フレーム間引きを行って動画像を再生するときには、フレーム間引きを行わない場合とほぼ同様のデータ処理が必要であり、電力が無駄に消費される。また、フレーム間引きを行う動画再生を所定のソフトウェアを用いてＣＰＵ（中央処理装置）等により行う構成では、ＣＰＵ等の処理負担が大きいため、動画像の再生と並行して実行可能な他の処理が制限され、また動画像の再生と並行して所定の処理を実行可能とするためＣＰＵ等に過大な処理能力を確保する必要を生じさせることとなっていた。
【００１０】
本発明は、かかる従来の課題に鑑みてなされたものであり、フレーム間引きを伴う動画再生を効率的に行い得る動画像の符号化データを得ることができる動画符号化装置および動画符号化方法と、上記符号化データを復号化することができる動画復号化装置および動画復号化方法、さらには、撮影した動画像を上記符号化データとして記録可能な動画記録装置、それらの実現に使用されるプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記課題を解決するため請求項１記載の発明に係る動画符号化装置にあっては、動画像を符号化する動画符号化装置において、所定の撮像フレームレートで撮像された動画像における各フレームの画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、符号化後における前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段とを備えたことを特徴とする。
【００１２】
また、請求項２記載の発明に係る動画符号化装置にあっては、前記所定のフレーム間隔は、前記撮像フレームレートを前記表示フレームレートで割った値の整数倍であることを特徴とする。
【００１３】
また、請求項３記載の発明に係る動画符号化装置にあっては、前記符号化制御手段は、前記符号化手段が前記特定画像をフレーム間予測符号化するときの参照画像を、直近の他の特定画像に制限することを特徴とする。
【００１４】
また、請求項４記載の発明に係る動画符号化装置にあっては、前記符号化制御手段は、前記特定画像を第１の特定画像と第２の特定画像とに分け、前記符号化手段が前記第１の特定画像をフレーム間予測符号化するときの参照画像を直近の他の特定画像に制限し、かつ前記符号化手段が前記第２の特定画像をフレーム間予測符号化するときの参照画像を１つ隔てた他の特定画像に制限することを特徴とする。
【００１５】
また、請求項５記載の発明に係る動画符号化装置にあっては、前記符号化手段は、フレーム間予測符号化に際して、先行する側のフレームの画像のみを参照画像として使用することを特徴とする。
【００１６】
また、請求項６記載の発明に係る動画符号化装置にあっては、前記符号化手段は、フレーム間予測符号化に際して、先行する側のフレームの画像、又は前後双方のフレームの画像を参照画像として使用することを特徴とする。
【００１７】
また、請求項７記載の発明に係る動画符号化装置にあっては、前記符号化手段により符号化された動画データを、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む復号化処理によって復号化する復号化手段と、この復号化手段による動画データの復号化対象を前記所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段とを備えたことを特徴とする。
【００１８】
また、請求項８記載の発明に係る動画符号化装置にあっては、前記符号化制御手段は、動画像の符号化時に設定されている動作モードの種類に応じ、前記符号化手段による前記特定画像以外の非特定画像を対象とするフレーム間予測符号化の有無を制御することを特徴とする。
【００１９】
また、請求項９記載の発明に係る動画符号化装置にあっては、前記符号化手段により符号化された一連の符号化画像からなる動画データに、前記特定画像の復号化時における参照画像として他の特定画像を示す参照画像指示情報を付加する参照先情報付加手段を備えたことを特徴とする。
【００２０】
また、請求項１０記載の発明に係る動画符号化装置にあっては、前記符号化手段により符号化された一連の画像からなる動画データに、復号化対象の画像として前記特定画像のみを示す復号対象情報を付加する復号対象情報付加手段を備えたことを特徴とする。
【００２１】
また、請求項１１記載の発明に係る動画符号化装置にあっては、前記復号対象情報付加手段は、前記復号対象情報として、前記特定画像の一部の特定画像のみからなる一連の画像を示すインデックス情報を付加することを特徴とする。
【００２２】
また、請求項１２記載の発明に係る動画符号化装置にあっては、前記符号化手段により符号化された一連の画像からなる動画データに、復号化対象とすべき一連の画像を示すインデックス情報として、前記符号化手段により符号化された全フレームの画像を示す第１のインデックス情報と、前記特定画像のみからなる一連の画像を示す第２のインデックス情報とを付加するインデックス情報付加手段を備えたことを特徴とする。
【００２３】
また、請求項１３記載の発明に係る動画符号化装置にあっては、前記参照画像を一時記憶する記憶する参照画像記憶手段を備え、この参照画像記憶手段に対し並列に設けられ前記符号化手段を構成するとともに、前記参照画像記憶手段に一時記憶された同一の参照画像を使用して連続する複数フレームの画像を同期した符号化処理により個別に符号化する前記所定のフレーム間隔に応じた数の符号化手段とを備えたことを特徴とする。
【００２４】
また、請求項１４記載の発明に係る動画符号化装置にあっては、動画像を符号化する動画符号化装置において、所定のフレームレートで撮像された動画像における各入力する一連のフレームの画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、符号化後における前記動画像が撮像時のフレームレートよりも遅いフレームレートで、かつ再生時間を撮像時間と一致させて表示させる場合に表示対象となる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段とを備えたことを特徴とする。
【００２５】
また、請求項１５記載の発明に係る動画符号化方法にあっては、動画像を符号化する動画符号化方法において、所定の撮像フレームレートで撮像された動画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化するとともに、符号化後における前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像の前記フレーム間予測符号化に際しては他の特定画像を参照画像として使用することを特徴とする。
【００２６】
また、請求項１６記載の発明にあっては、動画像を符号化する動画符号化装置が有するコンピュータを、所定の撮像フレームレートで撮像された動画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、符号化後における前記動画像を前記撮像時のフレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段として機能させるためのプログラムとした。
【００２７】
また、請求項１７記載の発明に係る動画記録装置にあっては、撮影した動画像を記録する動画記録装置において、動画像を撮影する撮影手段と、この撮影手段により所定の撮像フレームレートで撮影された動画像における各フレームの画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、この符号化手段により符号化された動画データを記録する記録手段と、この記録手段に記録された動画データに基づく動画像を前記撮像時のフレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段とを備えたことを特徴とする。
【００２８】
また、請求項１８記載の発明に係る動画記録装置にあっては、動画像の記録時に設定されている記録モードの種類に応じ、前記記録手段に対する前記特定画像以外の非特定画像の符号化画像の記録の有無を制御する記録制御手段をさらに備えたことを特徴とする。
【００２９】
また、請求項１９記載の発明に係る動画記録装置にあっては、前記記憶手段に記憶されている動画データを構成する一連の符号化画像から、前記特定画像の符号化画像を抽出する抽出手段と、この抽出手段により抽出された符号化画像を、相互の前後関係を維持したまま新たな動画データとして前記記憶手段に記憶させる動画編集手段とをさらに備えたことを特徴とする。
【００３０】
また、請求項２０記載の発明に係る動画復号化装置にあっては、所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化装置において、前記動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理によって復号化する復号化手段と、この復号化手段による前記動画データの復号化対象を、前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段とを備えたことを特徴とする。
【００３１】
また、請求項２１記載の発明に係る動画復号化装置にあっては、前記復号化制御手段は、前記復号化手段に、前記特定画像のフレーム間予測復号化に際しては、前記動画データに付加されている参照画像指定情報により示されている、復号化対象と異なる他の特定画像を参照画像として使用させることを特徴とする。
【００３２】
また、請求項２２記載の発明に係る動画復号化装置にあっては、前記動画データに付加されている参照画像指定情報は、前記特定画像の復号化時の参照画像として直近の他の特定画像を示す情報であることを特徴とする。
【００３３】
また、請求項２３記載の発明に係る動画復号化装置にあっては、前記復号化制御手段は、前記動画データの復号化時に設定されている動作モードが第１の動作モードであるときには、前記復号化手段によるフレーム間予測復号化の対象を直近の他の特定画像を参照画像とする第１の特定画像、及び１つ隔てた他の特定画像を参照画像とする第２の特定画像のみに制限し、前記動画データの復号化時に設定されている動作モードが第２の動作モードであるときには、前記復号化手段によるフレーム間予測復号化の対象を１つ隔てた他の特定画像を参照画像とする第２の特定画像のみに制限することを特徴とする。
【００３４】
また、請求項２４記載の発明に係る動画復号化装置にあっては、前記復号化制御手段は、前記復号化手段による前記動画データの復号化対象を、前記動画データに付加されている復号対象情報により示される前記特定画像のみに制限することを特徴とする。
【００３５】
また、請求項２５記載の発明に係る動画復号化装置にあっては、前記復号化制御手段は、前記復号化手段による前記動画データの復号化対象を、前記特定画像のうちで、前記動画データに付加されている復号対象情報により示される前記特定画像のみに制限することを特徴とする。
【００３６】
また、請求項２６記載の発明に係る動画復号化装置にあっては、前記復号化制御手段は、復号化手段による復号化処理に際し、前記動画データに予め付加されているとともに復号対象として互いに異なる画像を示す第１のインデックス情報又は第２のインデックス情報を選択的に使用することにより、前記動作モードが第１の再生モードであるとき、復号化手段に全てのフレームを対象とする復号化処理を行わせ、かつ前記動作モードが第２の再生モードであるとき、復号化手段に所定のフレーム間隔の特定画像のみを対象とする復号化処理を行わせることを特徴とする。
【００３７】
また、請求項２７記載の発明に係る動画復号化装置にあっては、所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化装置において、前記動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理によって復号化する復号化手段と、この復号化手段による前記動画データの復号化対象を、符号化後における前記動画像を前記撮像時のフレームレートよりも遅いフレームレートで、かつ再生時間を撮像時間と一致させて表示させる場合に表示対象となる所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段とを備えたことを特徴とする。
【００３８】
また、請求項２８記載の発明に係る動画復号化方法にあっては、所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化方法において、前記動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理により復号化するとともに、その復号化処理による復号化対象を、前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像のみに制限し、該特定画像の前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用することを特徴とする。
【００３９】
また、請求項２９記載の発明にあっては、所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化装置が有するコンピュータを、動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理によって復号化する復号化手段と、この復号化手段による前記動画データの復号化対象を、前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段として機能させるためのプログラムとした。
【００４０】
また、請求項３０記載の発明に係るデータ構造にあっては、所定の撮像フレームレートで撮像された動画像が符号化されているとともに動画復号化装置により復号化される動画データのデータ構造において、動画復号化装置により復号化し前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像の符号化データであって、他の特定画像を参照画像としてフレーム間予測符号化された符号化データと、前記特定画像の復号化時に参照画像とすべき前記他の特定画像を示す参照画像指示情報とを含むことを特徴とする。
【００４１】
また、請求項３１記載の発明に係るデータ構造にあっては、前記動画復号化装置が復号化対象とすべき画像として前記特定画像のみを示す復号対象情報を含むことを特徴とする。
【００４２】
また、請求項３２記載の発明に係るデータ構造にあっては、前記復号対象情報として、前記特定画像の一部の特定画像のみからなる一連の符号化データを示すインデックス情報を含むことを特徴とする。
【００４３】
また、請求項３３記載の発明に係るデータ構造にあっては、前記動画復号化装置が復号化対象とすべき画像を示すインデックス情報として、全フレームの画像を示す第１のインデックス情報と、前記特定画像のみからなる一連の画像を示す第２のインデックス情報とを含むことを特徴とする。
【発明の効果】
【００４４】
本発明の動画符号化装置および動画符号化方法によれば、フレーム間引きを伴う動画再生を効率的に行い得る動画像の符号化データを得ることが可能となる。また、本発明の動画復号化装置および動画復号化方法によれば、上記符号化データを復号化することができる。また、本発明の動画記録装置によれば、撮影した動画像を上記符号化データとして記録することが可能となる。
【発明を実施するための最良の形態】
【００４５】
以下、本発明の好ましい実施形態を図にしたがって説明する。
［実施形態１］
まず、第１の実施形態について説明する。図１は、本実施形態に係る動画記録装置（デジタルカメラ）の電気的構成の概略を示すブロック図である。この動画記録装置は、動画像の記録機能と再生機能とを備えたものであり、以下の構成を備えている。
【００４６】
すなわち、動画記録装置は動画像を撮影するための撮像部１を有している。撮像部１は本発明の撮影手段であり、光学系から入力した被写体光Ｌによる光学像を電気信号に変換するＣＣＤやＣＭＯＳセンサ等のイメージセンサ、イメージセンサの出力信号をデジタル信号に変換するＡ／Ｄコンバータ等から構成され、変換後のデジタル信号すなわち撮像信号を画像生成部２へ出力する。
【００４７】
画像生成部２は、撮像部１から所定のフレームレートで出力された撮像信号から画像データを逐次生成する。ここで生成される画像データは輝度成分Ｙ、色差成分Ｃｂ，Ｃｒから構成され、その画像データは動画像を構成する一連のフレームデータとして、メモリバス３を介してメモリ４に逐次格納される。メモリ４にいったん格納された画像データは、記録時にはＣＯＤＥＣ５に順次入力される。なお、メモリ４には複数フレーム分の画像データが格納される。
【００４８】
ＣＯＤＥＣ５は、動き補償によるフレーム間予測技術を用いた符号化方式により動画データを符号化したり、符号化データを復号化したりする本発明の符号化手段及び復号化手段である。より具体的には、動画像を構成する一連のフレーム（画像データ）を、ＭＰＥＧ方式（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ.２６４等）におけるＩピクチャ（フレーム内符号化画像）、及びＰピクチャ（順方向フレーム間予測符号化画像）として符号化したり、符号化データを復号化したりするための、直交変換回路、量子化回路、動き検出回路、順方向予測回路、符号化回路、復号化回路、逆直交変換回路、フレームメモリ等から構成されている。
【００４９】
ＣＯＤＥＣ５は、記録時には、メモリ４から順次入力する画像データ（一連のフレームデータ）を符号化する間、Ｉピクチャを符号化する場合は、そのフレームの情報だけを用いた符号化（フレーム内符号化）処理を行い前記メモリ４に出力する。その際には、前記画像データを、次フレームのＰピクチャの符号化に際して使用される画像データ（参照画像）として前記メモリ４に蓄積する。
【００５０】
また、Ｐピクチャを符号化する場合は、それ以前のフレームの符号化に際して前記メモリ４に蓄積されていた参照用の画像データ（参照画像）を読み出し、その参照画像と当該フレームの画像とを用いた符号化（順方向フレーム間予測符号化）処理を行い、メモリ４に出力する。なお、ここで出力される符号化データには動きベクトル（ＭＶ）や、当該符号化データがＩピクチャかＰピクチャかのピクチャ種別や、復号時における参照先のフレーム等を示す属性情報も含まれる。
【００５１】
さらに、Ｐピクチャの符号化に際しては、当該フレームの画像データを次フレームのＰピクチャの符号化に際して使用する参照画像のデータとして前記メモリ４に蓄積する。より具体的には、符号化したＰピクチャに対してローカルデコード（動画データの復号化に際して作成される予測画像と同一の予測画像を作るための復号処理）を行って予測画像を作成し、その画像データを参照画像のデータとして前記メモリ４に蓄積する。なお、前述したＩピクチャ及びＰピクチャ（符号化データ）と、参照画像（画像データ）とは、前記メモリ４に確保される所定の領域に別々に格納される。
【００５２】
上記のように前記ＣＯＤＥＣ５によって生成されメモリ４に格納された符号化データは、ＣＰＵ８によって前記属性情報が付加されることにより動画ファイルとなり、メモリカード制御部９によってメモリカード１０に記録される。
【００５３】
また、記録時に画像生成部２により生成されメモリ４に格納された画像データは、表示制御部６によって順次読み出されるとともにＬＣＤ（液晶表示器）７に送出され、ＬＣＤ７において画面表示される。
【００５４】
一方、メモリカード１０に記録された動画ファイルは、再生時にメモリカード制御部９によって読み出され、ＣＰＵ８によって符号化データ部分が取り出された後、前記ＣＯＤＥＣ５へ送られる。送られた符号化データ（動画データ）は、前記ＣＯＤＥＣ５によって、後述するように３種類の再生モード（実速再生モード、スロー再生モード、可変速再生モード）に応じた動作により復号される。復号された動画データはメモリ４に格納される一方、前記表示制御部６によってフレーム毎に順に読み出されるとともにＬＣＤ７に送出され、動画像として画面表示される。
【００５５】
前記ＣＰＵ８は、プログラムメモリ１１に記憶されている所定のプログラムに従い上述した各部を制御するとともに、ユーザが動画記録装置を操作するために設けられている各種の操作キーからなるキー入力部１２におけるキー操作状態を逐次検出し、所定のキー操作に応じた制御を行う。
【００５６】
そして、ＣＰＵ８は、記録時には前述した撮像部１、画像生成部２、ＣＯＤＥＣ５を２４０ｆｐｓのフレームレートで動作させる、つまり高速撮像を行わせるとともに、表示制御部６を常に６０ｆｐｓのフレームレート（以下、表示フレームレートという。）で動作させる。また、動画記録装置においてメモリカード１０に記録した動画像の再生時には、ＣＯＤＥＣ５を前記表示フレームレートと同じ６０ｆｐｓのフレームレートで動作させるとともに、後述する３種類の再生モード（実速再生モード、スロー再生モード、可変速再生モード）に応じて制御することにより本発明の復号化制御手段として機能する。
【００５７】
前記プログラムメモリ１１は、ＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリであって、前述した所定のプログラム以外にも、ユーザにより設定、又は変更された装置の各機能に関する他の設定データが記憶されている。
【００５８】
前記キー入力部１２には、ユーザが、動画記録装置の動作モードを記録モードと再生モードとに切り替えるモード切替キー、記録モードでの記録開始及び記録終了、再生モードでの再生開始及び再生終了を指示する操作キー等が設けられている。
【００５９】
また、本実施形態においては、再生モードとして先に述べた実速再生モード、スロー再生モード、可変速再生モードの３種類が用意されている。実速再生モードは、動画像の動き速度（以下、再生速度という）を実速度とするモード、スロー再生モードは、再生速度を実速度よりも遅い１／４の速度とするモードであり、双方の再生モードは再生速度を上記速度に固定した状態で動画像を再生する際に使用される。可変速再生モードは、実速再生モード及びスロー再生モードとは異なり、再生中において動画像の再生速度を実速度と実速度の１／４の速度とに適宜変更可能とするモードである。なお、各々の再生モードは動画像の再生前において設定可能であり、前記モード切替キーの操作によってユーザが、動画像の再生に先立ちいずれかの再生モードを選択的に設定できるようになっている。
【００６０】
また、前記キー入力部１２には、可変速再生モードによる動画像の再生中にユーザが動画像の再生速度を実速度と前記１／４の速度とに切り替えるための速度切替キーが設けられており、前記キー入力部１２によって本発明の操作手段が実現されている。
【００６１】
以下、本実施形態における本発明に係る動作について説明する。
【００６２】
（記録動作）
まず、記録モードによる動画撮影記録時の動作を説明する。図２は、ＣＰＵ８によるＣＯＤＥＣ５の制御内容を示したフローチャートである。動画撮影記録時において、ＣＰＵ８は前述したように２４０ｆｐｓのフレームレートで撮像部１、画像生成部２、ＣＯＤＥＣ５を動作させるとともに、各部をフレーム単位で同期させる。
【００６３】
そして、撮影記録開始に伴いＣＰＵ８は、まずフレーム番号（ｉ）を初期化する（ステップＳＡ１）。なお、フレーム番号の初期値（先頭フレームの番号）は「０」である。以後、ＣＰＵ８は、メモリ４への１フレーム分の画像データの入力（蓄積）を待ってから（ステップＳＡ２）、フレーム毎にフレーム番号（ｉ）をインクリメントしながら以下に述べる符号化処理を前記ＣＯＤＥＣ５に行わせる。
【００６４】
まず、動作開始直後の１フレーム目（ｉ＝０）を含め、フレーム番号（ｉ）が１２０の倍数であれば（ステップＳＡ３でＹＥＳ）、メモリ４に蓄積されている今回の画像データを読み出してＣＯＤＥＣ５に入力し、ＣＯＤＥＣ５にＩピクチャをエンコードさせる。すなわちＣＯＤＥＣ５は入力した画像データのみに基づいたフレーム内符号化を行い、符号化データをメモリ４へ出力する（ステップＳＡ４）。また、このときには、符号化データをデコードしたローカルデコード画像を、次フレームのＰピクチャの符号化時に使用する画像データ（参照画像）として、符号化データとは別に前記メモリ４に蓄積する。さらに、この符号化データに対して前述した属性情報を付加する（ステップＳＡ５）。
【００６５】
そして、撮影が終了するまでの間（ステップＳＡ６でＮＯ）、フレーム番号（ｉ）をインクリメントした後（ステップＳＡ７）、ステップＳＡ２へ戻って上記処理を繰り返す。すなわちＣＯＤＥＣ５に、フレーム番号（ｉ）が「１２０」の倍数になる毎、つまりフレームレートが２４０ｆｐｓであるため０．５秒毎に入力する画像データをＩピクチャとして符号化させる。
【００６６】
また、上記処理を繰り返す間、メモリ４に入力された画像データのフレーム番号（ｉ）が１２０の倍数以外で（ステップＳＡ３でＮＯ）、かつそれが４の倍数であれば（ステップＳＡ８でＹＥＳ）、４フレーム前のフレームの符号化処理に際してメモリ４に蓄積しておいた参照画像と、同じくメモリ４に蓄積されている今回の画像データとを読み出してＣＯＤＥＣ５に入力し、ＣＯＤＥＣ５に、それを用いたＰピクチャのエンコードを行わせる（ステップＳＡ９）。すなわち３フレームおきに、４フレーム前のフレームの画像を参照画像として使用した動き補償によるフレーム間、フレーム内予測符号化による符号化を行わせ、符号化データをメモリ４へ出力させる。また、このとき、ＣＯＤＥＣ５は、符号化したＰピクチャに対して前述したローカルデコードを行って予測画像を作成し、その画像データを次フレーム（但し、Ｐピクチャ）の符号化時に使用する参照画像として、符号化データとは別に前記メモリ４に蓄積する。さらに、この符号化データに対して前述した属性情報を付加する（ステップＳＡ５）。
【００６７】
これに対し、メモリ４に入力された画像データのフレーム番号（ｉ）が４の倍数でなければ（ステップＳＡ３，ＳＡ８が共にＮＯ）、直前のフレームの符号化処理に際してメモリ４に蓄積しておいた参照画像と、同じくメモリ４に蓄積されている今回の画像データとを読み出してＣＯＤＥＣ５に入力し、ＣＯＤＥＣ５に、それを用いたＰピクチャのエンコードを行わせ、符号化データをメモリ４へ出力させる（ステップＳＡ１０）。つまり通常の動き補償によるフレーム間、フレーム内予測符号化を行わせる。また、このときも、ＣＯＤＥＣ５は、符号化したＰピクチャに対して前述したローカルデコードを行って予測画像を作成し、その画像データを次フレーム（但し、Ｐピクチャ）の符号化時に使用する参照画像として、符号化データとは別に前記メモリ４に蓄積する。さらに、この符号化データに対して前述した属性情報を付加する（ステップＳＡ５）。
【００６８】
以後、撮影が終了するまでの間は（ステップＳＡ６でＮＯ）、上述した全ての処理を繰り返し、撮影が終了した時点で記録動作を終了する。なお、前記メモリ４に蓄積された一連の符号化データ、及びそれにフレーム毎に付加された属性情報は、前記メモリカード制御部９によってメモリカード１０に送られ動画ファイルとして記録される。以上の処理は撮像部１及び画像生成部２とフレーム単位で同期して行われる。
【００６９】
図６（ａ）は、上述した処理によって生成された符号化データ６１、及びそれに付加される前記属性情報６２、つまりピクチャ種別情報６２ａと参照先フレーム情報６２ｂとを概念的に示した図である。なお、Ｈ．２６４においては、上記符号化データ６１がスライスデータ本体として動画ファイルに格納される。一方、ピクチャ種別情報６２ａは各ピクチャの種別を示すスライスタイプとしてスライスヘッダに格納され、参照先フレーム情報６２ｂは、各ピクチャの復号時における参照先の画像（ピクチャ）を示す参照画像指示情報として、符号化データ６１と共にスライスデータ本体に格納される。また、参照画像指示情報（参照先フレーム情報６２ｂ）としては、参照先の画像が直前の参照ピクチャ（参照されるピクチャ）であれば「０」、それより１つ前の参照ピクチャであれば「１」、さらに１つ前の参照ピクチャであれば「２」、といったように符号化時の順序とは逆に、そのフレームから離れるに従い増加する値が規定されている。
【００７０】
また、図に示した符号化データ６１おいて、「Ｉ」はＩピクチャ、「Ｐ」はＩピクチャ以外のフレーム番号（ｉ）が４の倍数であるフレームのＰピクチャであり、「ｐ」はフレーム番号（ｉ）が４の倍数以外のフレームのＰピクチャである。つまり本実施形態においては、「Ｉ」及び「Ｐ」が本発明における所定のフレーム間隔の特定画像である。また、矢印で示したフレームが、各Ｐピクチャの符号化時における参照先のフレーム（参照画像）である。なお、以下の説明においては、「Ｉ」及び「Ｐ」のフレームをメインフレーム、「ｐ」のフレームをサブフレームと呼ぶ。
【００７１】
また、上記符号化データ６１には、ピクチャ種別情報６２ａとしてＩピクチャであれば「Ｉ」、Ｐピクチャであれば「Ｐ」といった値がフレーム毎に付加される。また、Ｉピクチャのフレームを除きＰピクチャのフレームには、参照先フレーム情報６２ｂとして前述した所定の値が付加される。すなわち参照先フレーム情報６２ｂとして、全てのサブフレーム（ｐ１，ｐ２，ｐ３等）には直前の参照ピクチャ（参照されるピクチャ）を示す「０」がそれぞれ付加され、メインフレーム（Ｐ４，Ｐ８，Ｐ１２）にはフレーム順で４つ前の参照ピクチャ（参照されるピクチャ）を示す「３」がそれぞれ付加される。
【００７２】
（再生動作）
次に、本実施形態における前述した各再生モード（実速再生モード、スロー再生モード、可変速再生モード）よる再生時の動作を図３〜図５に従い説明する。
【００７３】
ここでは、上述した記録動作によってメモリカード１０に記録された動画像（動画ファイル）を再生するものとする。なお、各再生モードにおいては、ＣＰＵ８が、メモリカード１０に記録されているとともにユーザによって選択された任意の動画ファイルをメモリカード制御部９を介して読み出し、読み出した動画ファイルの符号化データ部分を取り出し、その符号化データ部分のＣＯＤＥＣ５への転送を６０ｆｐｓのフレームレートで開始することにより、動画像の再生が開始される。
【００７４】
（再生動作・スロー再生）
まず、スロー再生モードでの動作を図３のフローチャートに従い説明する。ユーザによりスロー再生モードが設定されているとき、ＣＰＵ８は、ＣＯＤＥＣ５、表示制御部６を６０ｆｐｓのフレームレートで動作させる。
【００７５】
そして、再生開始に伴いＣＰＵ８は、まずフレーム番号（ｉ）を初期化する（ステップＳＢ１）。なお、フレーム番号の初期値は記録時と同様「０」である。
【００７６】
次に、フレーム番号（ｉ）の符号化データから前述した属性情報６２（ピクチャ種別情報６２ａ、参照先フレーム情報６２ｂ）を読み出し（ステップＳＢ２）、そのピクチャ種別情報６２ａによって示されるピクチャの種別がＩピクチャであるか否かを判別する（ステップＳＢ３）。ここで、再生開始当初のようにＩピクチャであれば（ステップＳＢ３でＹＥＳ）、ＣＯＤＥＣ５にＩピクチャをデコードさせる。すなわちフレーム内復号化により画像データを復号し、その画像データをメモリ４へ出力する動作を行わせる（ステップＳＢ４）。
【００７７】
また、フレーム番号（ｉ）の符号化データがＩピクチャでなければ（ステップＳＢ３でＮＯ）、Ｐピクチャつまり図６（ａ）に示したＰピクチャ又はｐピクチャ（メインフレーム又はサブフレームの符号化データ）をデコードさせる。すなわちステップＳＢ２で読み出した参照先フレーム情報６２ｂによって示される参照先のフレームの画像、つまりＰピクチャ（メインフレーム）であればメモリ４に蓄積しておいた４フレーム前の画像、ｐピクチャ（サブフレーム）であればメモリ４に蓄積しておいた１フレーム前の画像をそれぞれ参照画像として用いたフレーム間予測復号化によって画像データを復号させる。より具体的には、参照画像と復号化した動画ベクトルから予測画像を作成させ、その予測画像と復号化した差分画像から当該フレームの画像を作成させ、その画像データをメモリ４へ出力させる（ステップＳＢ５）。
【００７８】
そして、１／６０秒の表示フレームレートによるタイミング待ちを行った後（ステップＳＢ６）、復号化された画像データをメモリ４から読み出し、その画像データを表示制御部６へ送る。それにより表示制御部６に、表示フレームレートによる表示タイミングでＬＣＤ７の表示画像を更新させる（ステップＳＢ７）。
【００７９】
以後、最終フレームの処理が終了するまでは（ステップＳＢ８でＮＯ）、フレーム番号（ｉ）をインクリメントした後（ステップＳＢ９）、ステップＳＢ２へ戻って前述した処理を繰り返し、全ての符号化データの復号化（全フレームの表示）が終了した時点（ステップＳＢ８でＹＥＳ）で再生を終了する。
【００８０】
これにより、図６（ｂ）に示したように、２４０ｆｐｓで撮影記録された全てのフレームを順にデコードし、記録されている全てのフレームの画像データを６０ｆｐｓで表示させることにより、動画像を実速度の１／４の速度でスロー再生する。
【００８１】
（再生動作・実速再生）
次に、実速再生モードでの動作を図４のフローチャートに従い説明する。ユーザにより実速再生モードが設定されているときにおいても、ＣＰＵ８は、ＣＯＤＥＣ５、表示制御部６を６０ｆｐｓのフレームレートで動作させる。
【００８２】
そして、再生開始に伴いＣＰＵ８は、まずフレーム番号（ｉ）を初期化する（ステップＳＢ１０１）。なお、フレーム番号の初期値は記録時と同様「０」である。
【００８３】
次に、フレーム番号（ｉ）が４の倍数（初期値「０」を含むものとする）であるか否か、つまり前述したメインフレーム（図６（ａ）で「Ｉ」又は「Ｐ」のフレーム）であるか否かを判別する（ステップＳＢ１０２）。ここで、再生開始直後のようにフレーム番号（ｉ）が４の倍数であれば（ステップＳＢ１０２でＹＥＳ）、引き続き、符号化データから属性情報を読み出し（ステップＳＢ１０３）、この属性情報によって示されるピクチャ種別がＩピクチャであるか否かを判別する（ステップＳＢ１０４）。
【００８４】
そして、前述したスロー再生モードによるステップＳＢ４〜ＳＢ９と同様、再生開始当初における先頭フレームのようにＩピクチャであれば（ステップＳＢ１０４でＹＥＳ）、ＣＯＤＥＣ５に、Ｉピクチャをデコードさせる。すなわちフレーム内復号化により画像データを復号し、その画像データをメモリ４へ出力する動作を行わせる（ステップＳＢ１０５）。また、Ｉピクチャでなければ（ステップＳＢ１０４でＮＯ）、Ｐピクチャをデコードさせる。すなわちステップＳＢ１０３で読み出した属性情報によって示される参照先のフレームの画像（メモリ４に蓄積しておいた４フレーム前の画像＝直前のメインフレームの画像）を参照画像として用いたフレーム間予測復号化によって画像データを復号させ、その画像データをメモリ４へ出力させる（ステップＳＢ１０６）。ただし、ここでデコードさせるＰピクチャは、スロー再生モードとは異なりメインフレーム（図６（ａ）で「Ｐ」のフレーム）のみのＰピクチャとなる。
【００８５】
そして、１／６０秒の表示フレームレートによるタイミング待ちを行った後（ステップＳＢ１０７）、復号化された画像データをメモリ４から読み出し、その画像データを表示制御部６へ送る。それにより表示制御部６に、表示フレームレートによる表示タイミングでＬＣＤ７の表示画像を更新させる（ステップＳＢ１０８）。
【００８６】
引き続き、最終フレームの処理が終了していなければ（ステップＳＢ１０９でＮＯ）、フレーム番号（ｉ）をインクリメントした後（ステップＳＢ１１０）、ステップＳＢ１０２へ戻り、前述した処理を繰り返す。
【００８７】
その間、ステップＳＢ１０２の判別結果がＮＯであって、新たなフレーム番号（ｉ）が４の倍数でないとき、すなわち次に処理対象となる符号化データが前述したサブフレーム（図６（ａ）で「ｐ」のフレーム）のＰピクチャであるときには、当該フレーム番号（ｉ）の符号化データを読み飛ばし、つまり動画ファイルから取り出した符号化データのＣＯＤＥＣ５への転送動作をスキップし（ステップＳＢ１１１）、そのままフレーム番号（ｉ）をインクリメントし（ステップＳＢ１１２）、ステップＳＢ１０２へ戻り、フレーム番号（ｉ）が４の倍数となるまで、ステップＳＢ１１１，ＳＢ１１２の処理を繰り返す。
【００８８】
そして、再びフレーム番号（ｉ）が４の倍数となった時点で、前述したステップＳＢ１０３〜ステップＳＢ１０８の処理を行い、次のメインフレーム（図６（ａ）で「Ｉ」又は「Ｐ」のフレーム）の符号化データ（Ｉピクチャ又はＰピクチャ）の復号化をＣＯＤＥＣ５に行わせ、かつ復号した画像データをＬＣＤ７に表示させる。
【００８９】
以後、最終フレームの処理が終了するまでの間は（ステップＳＢ１０９でＮＯ）、フレーム番号（ｉ）をインクリメントした後（ステップＳＢ１１０）、ステップＳＢ１０２へ戻って前述した処理を繰り返す。つまり、図６（ｃ）に示したように、ＣＯＤＥＣ５に動画像を４フレーム毎（３フレームおき）に表示（デコード）させる、言い換えると表示（デコード）するフレームを１／４に間引くことによって動画像を実速度で再生する。そして、最終フレームの処理が終了した時点（ステップＳＢ１０９でＹＥＳ）で再生を終了する。なお、前述したステップＳＢ１１２においてフレーム番号（ｉ）をインクリメントした時点で、それが最終フレームのフレーム番号（ｉ）を超えた場合には、当然その時点で再生を終了する。
【００９０】
ここで、以上の実速再生モードによる動画像の再生時には、実際に表示するメインフレーム（図６（ａ）で「Ｉ」又は「Ｐ」のフレーム）の符号化データのうち、Ｉピクチャはフレーム内符号化画像であり、また、Ｐピクチャは順方向フレーム間、フレーム内予測符号化画像であるが、直前のメインフレームのＩピクチャ若しくはＰピクチャを参照画像として符号化されている。そのため、前述したように各メインフレームの表示を、表示しないサブフレーム（図６（ａ）で「ｐ」のフレーム）の符号化データ（ｐピクチャ）を復号化（デコード）せずとも支障なく行うことができる。つまり、フレーム間引きを伴う実速再生モードでの動画再生を効率的に行うことができる。その結果、従来に比べて全体のデータ処理量、消費電力を削減することができる。
【００９１】
（再生動作・可変速再生）
次に、可変速再生モードでの動作を図５のフローチャートに従い説明する。ユーザにより可変速再生モードが設定されているときにおいても、ＣＰＵ８は、ＣＯＤＥＣ５、表示制御部６を６０ｆｐｓのフレームレートで動作させる。
【００９２】
そして、再生開始に伴いＣＰＵ８は、まず、前記ＣＯＤＥＣ５の再生動作を規定するパラメータである再生モード値（ｍ）を初期化する（ステップＳＢ２０１）。すなわち再生モードの種類を決める。ここで、再生モード値（ｍ）は「１」又は「４」の２種類であり、「１」がスロー再生モード、「４」が実速再生モードであり、初期化に際してＣＰＵ８は再生モード値（ｍ）に「１」（スロー再生モード）を設定する。また、フレーム番号（ｉ）を初期化する（ステップＳＢ２０２）。なお、フレーム番号の初期値は記録時と同様「０」である。
【００９３】
その後、ＣＰＵ８は、フレーム番号（ｉ）が再生モード値（ｍ）の倍数（「ｉ＝０」を含むものとする）であるか否かを判別する（ステップＳＢ２０３）。再生開始直後はｉ＝０、ｍ＝１であって、ここでの判別結果はＹＥＳとなるため、符号化データから前述した属性情報６２（ピクチャ種別情報６２ａ、参照先フレーム情報６２ｂ）を読み出し（ステップＳＢ２０４）、そのピクチャ種別情報６２ａによって示されるピクチャの種別がＩピクチャであるか否かを判別する（ステップＳＢ２０５）。再生開始直後（１フレーム目）の符号化データはＩピクチャであるため（ステップＳＢ２０５でＹＥＳ）、ＣＯＤＥＣ５にＩピクチャをデコード（フレーム内復号化）させ、そのデコードした画像データをメモリ４へ出力させる（ステップＳＢ２０６）。
【００９４】
そして、１／６０秒の表示フレームレートによるタイミング待ちを行った後（ステップＳＢ２０７）、復号化された画像データをメモリ４から読み出し、その画像データを表示制御部６へ送る。それにより表示制御部６に、表示フレームレートによる表示タイミングでＬＣＤ７の表示画像を更新させる（ステップＳＢ２０８）。
【００９５】
引き続き、最終フレームの処理が終了するまでは（ステップＳＢ２０９でＮＯ）、フレーム番号（ｉ）をインクリメントした後（ステップＳＢ２１０）、フレーム番号（ｉ）が４の倍数であるか否かを判別する（ステップＳＢ２１１）。再生開始直後にはｉ＝１であり、ここでの判別結果はＮＯとなるため、そのままステップＳＢ２０３へ戻り前述した処理を繰り返す。
【００９６】
その際、ｉ＝１、ｍ＝１であって、ステップＳＢ２０３での判別結果はＹＥＳとなるため、符号化データから属性情報６２を読み出し（ステップＳＢ２０４）、それがＩピクチャであるか否かを判別する（ステップＳＢ２０５）。２フレーム目（ｉ＝１）はサブフレーム（図６（ａ）で「ｐ」のサブフレーム）であって、復号化対象の符号化データはＰピクチャであるため（ステップＳＢ２０５がＮＯ）、フレーム番号（ｉ）の符号化データに付随する参照先フレーム情報６２ｂにおいて指示されている参照画像、すなわち１フレーム前の画像をメモリ４から読み出し、それを参照画像としてＣＯＤＥＣ５にＰピクチャをデコード（フレーム間予測復号化）させ、メモリ４へ出力させる（ステップＳＢ２１２）。そして、１／６０秒の表示フレームレートによるタイミング待ちを行った後、復号化された画像データをメモリ４から読み出し、その画像データを表示制御部６へ送り、表示制御部６に、表示フレームレートによる表示タイミングでＬＣＤ７の表示画像を更新させる（ステップＳＢ２０７、ＳＢ２０８）。また、３フレーム目、及び４フレーム目の符号化データについても、２フレーム目と同様に１フレーム前の画像を参照画像として使用するデコード処理を行わせ、デコードされた画像データをＬＣＤ７に画面表示させる。
【００９７】
そして、４フレーム目の画像が表示された直後には、ステップＳＢ２１０でインクリメントされた後のフレーム番号（ｉ）が「４」であるため（ステップＳＢ２１１でＹＥＳ）、ＣＰＵ８が、ユーザにより前述した速度切替キーが操作されたか否かをいったん確認し、速度切替キーの操作がなければ（ステップＳＢ２１３でＮＯ）、そのままステップＳＢ２０３へ戻る。そして、５フレーム目（ｉ＝４）はメインフレーム（図６（ａ）で「Ｐ」のフレーム）であって、復号化対象の符号化データはＰピクチャであるため（ステップＳＢ２０５がＮＯ）、フレーム番号（ｉ）の符号化データに含まれる属性情報において指示されている参照画像、すなわち４フレーム前の画像（直前のメインフレームの画像）をメモリ４から読み出し、ＣＯＤＥＣ５にそれを用いてＰピクチャをデコード（フレーム間予測復号化）させ、メモリ４へ出力させ（ステップＳＢ２１２）、その画像データをＬＣＤ７に画面表示させる（ステップＳＢ２０７，ＳＢ２０８）。
【００９８】
以後、上述したステップＳＢ２０３〜ＳＢ２１３の処理を繰り返し、図６（ｂ）に示したように、全てのフレームを順にデコードして表示することによって、再生開始時点においてユーザによりスロー再生モードが設定されていた場合と同様に動画像を実速度の１／４の速度でスロー再生する。また、その間には、４フレーム毎に、つまりメインフレーム（図６（ａ）で「Ｐ」のフレーム）の符号化データを処理する直前に速度切替キーの操作の有無を確認する。
【００９９】
そして、その間のいずれかの確認タイミングで速度切替キーの操作があった場合には（ステップＳＢ２１３でＹＥＳ）、その時点でＣＰＵ８が再生モード値（ｍ）を「１」から「４」に切り替えた後（ステップＳＢ２１４）、ステップＳＢ２０３へ戻ることにより実速再生モードに移行する。
【０１００】
実速再生モードに移行した直後においては、ステップＳＢ２０３の判別結果がＹＥＳであるため、ステップＳＢ２０４以降の処理により、ステップＳＢ２０５の判別結果がＮＯである場合には、４フレーム前の画像（直前のメインフレームの画像）をメモリ４から読み出し、それを参照画像としてＣＯＤＥＣ５に、メインフレーム（図６（ａ）で「Ｐ」のフレーム）の符号化データ（Ｐピクチャ）のデコード（フレーム間予測復号化）を行わせた後、デコードした画像データをＬＣＤ７に画面表示させる。また、ステップＳＢ２０５の判別結果がＹＥＳである場合には、ＣＯＤＥＣ５にＩピクチャをデコード（フレーム内復号化）させた後、デコードした画像データをＬＣＤ７に画面表示させる。
【０１０１】
その後、フレーム番号（ｉ）が４の倍数でない間は（ステップＳＢ２０３でＮＯ）、その時点のフレーム、つまりサブフレーム（図６（ａ）で「ｐ」のフレーム）の符号化データ（Ｐピクチャ）を読み飛ばし、つまり動画ファイルから取り出した符号化データのＣＯＤＥＣ５への転送動作をスキップして（ステップＳＢ２１５）、フレーム番号（ｉ）をインクリメントした後（ステップＳＢ２１６）、ステップＳＢ２０３へ戻る処理を繰り返す。そして、フレーム番号（ｉ）が４の倍数となる毎に、ステップＳＢ２０４以降の処理によって、ステップＳＢ２０５の判別結果がＮＯである場合には、４フレーム前の画像（直前のメインフレームの画像）をメモリ４から読み出し、それを参照画像としてＣＯＤＥＣ５に、メインフレーム（図６（ａ）で「Ｐ」のフレーム）の符号化データ（Ｐピクチャ）のデコード（フレーム間予測復号化）を行わせた後、デコードした画像データをＬＣＤ７に画面表示させる。また、ステップＳＢ２０５の判別結果がＹＥＳである場合には、ＣＯＤＥＣ５にＩピクチャをデコード（フレーム内復号化）させた後、デコードした画像データをＬＣＤ７に画面表示させる。
【０１０２】
以後、同様の処理を繰り返すことにより、実速再生モードが設定されていた場合と同様、図６（ｃ）に示したように、動画像を４フレーム毎（３フレームおき）に表示（デコード）する（表示するフレームを１／４に間引く）ことによって、動画像を実速度で再生する。また、その間においても、４フレーム毎に、つまり次のメインフレームの符号化データを処理する直前のタイミングで速度切替キーの操作の有無を確認する（ステップＳＢ２１３）。
【０１０３】
その後、いずれかの確認タイミングで速度切替キーの操作があった場合には（ステップＳＢ２１３でＹＥＳ）、その時点でＣＰＵ８が再生モード値（ｍ）を「４」から「１」に切り替えた後（ステップＳＢ２１４）、ステップＳＢ２０３へ戻ることによりスロー再生モードに移行し、再生動作を継続する。そして、最終フレームの処理が終了したら（ステップＳＢ２０９でＹＥＳ）、その時点で再生を終了する。なお、前述したステップＳＢ２１５においてフレーム番号（ｉ）をインクリメントした時点で、それが最終フレームのフレーム番号（ｉ）を超えた場合には、当然その時点で再生を終了する。
【０１０４】
したがって、可変速再生モードにおいては、動画像の再生中であっても、ユーザが所望の時点で速度切替キーを操作すれば、再生モードすなわち動画像の再生速度（動き速度）を実速度と実速度の１／４の速度とにリアルタイムに切り替えることができる。
【０１０５】
また、再生速度が実速度に設定されている間については、前述したように４フレーム毎のメインフレームの表示を、表示しないサブフレーム（図６（ａ）で「ｐ」のフレーム）の符号化データ（Ｐピクチャ）を復号化することなく効率的に行うことができ、その結果、従来に比べて全体のデータ処理量、消費電力を削減することができる。
【０１０６】
なお、本実施形態のようにＩピクチャ及びＰピクチャのみからなる動画データは、動画圧縮の国際標準であるＨ．２６４においても許容されるため、Ｈ．２６４に準拠する動画データが再生可能な構成であれば任意の動画再生装置においても再生可能である。
【０１０７】
［実施形態２］
次に、本発明の第２の実施形態について説明する。本実施形態は、第１の実施形態と同様、２４０ｆｐｓのフレームレートで高速撮像した動画像を圧縮して記録する記録機能と、記録した動画データを復号するとともに６０ｆｐｓの表示フレームレートで再生する再生機能とを備えた動画記録装置に関するものである。
【０１０８】
本実施形態における基本構成は第１の実施形態で説明した動画記録装置（図１）と同様であるが、前記ＣＯＤＥＣ５が図７に示したように構成されている。
【０１０９】
図７は、本実施形態におけるＣＯＤＥＣ５の構成を示すブロック図であり、ＣＯＤＥＣ５は、主としてバス制御部５１および参照バッファ５２と、並列に設けられた第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６（図７で「ＣＯＤＥＣ＿０」〜「ＣＯＤＥＣ＿３」）とによって構成されている。
【０１１０】
第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６は、動画データを符号化、復号化するための主処理部を構成する部分であり、各々が同一仕様であるとともに、各々がＶＧＡ（６４０ドット×４８０ドット）サイズの画像データを６０ｆｐｓの処理速度により符号化、復号化することができる処理能力を有している。すなわち、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６は、各々が第１の実施形態でＣＯＤＥＣ５の構成として説明した直交変換回路、量子化回路、動き検出回路、順方向予測回路、符号化回路、復号化回路、逆直交変換回路等によって構成されている。
【０１１１】
ここで、本実施形態でのＣＯＤＥＣ５による動画データの符号化方式は、第１の実施形態で言及した国際標準であるＨ．２６４、すなわち２００３年にＩＴＵ−Ｔ（International Telecommunication Union - Telecommunication Standardization Sector）とＭＰＥＧ（Moving Picture Experts Group）の合同標準化部会であるＪＶＴ（Joint Video Team）で標準化された映像圧縮符号化方式であり、ＩＴＵ−ＴではＨ．２６４として、またＭＰＥＧではＭＰＥＧ−４ Ｐａｒｔ１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）として標準化されているＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（以後、Ｈ．２６４と表記する)に準拠するものである。
【０１１２】
前記参照バッファ５２は第１の実施形態で説明したフレームメモリに相当するものである。参照バッファ５２は、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６がフレーム毎の画像データを符号化、及び復号する際に必要となる参照画像の一部を、処理に応じて前記メモリ４（図１）から読み出して格納し、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６に共通の画像データを送出する。具体的には、各々が処理対象としているマクロブロックに関する同一位置のマクロブロックと、動き探索、あるいは動き予測に必要となる部分の
【０１１３】
前記バス制御部５１は、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６の要求に応じた、前記メモリ４に対する画像データ、符号データの入出力を制御する。本実施形態では、前記ＣＰＵ８からの指令に基づくバス制御部５１の制御によって、例えば第１のＣＯＤＥＣ５３（図７で「ＣＯＤＥＣ＿０」）はＩピクチャ、その他はＰピクチャ、といったように、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６が、互いに異なる種類のピクチャの符号化・復号化をそれぞれ独立して行うことが可能となっている。
【０１１４】
なお、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６には、必ず前記参照バッファ５２を介して参照フレームの画像データが送出されるため、同時に符号化されるすべてのＰピクチャは、常に同一のフレームを参照フレーム（参照画像）とした画像となる。
【０１１５】
以上が本実施形態のＣＯＤＥＣ５における第１の実施形態で説明したものとの構成上の違いである。
【０１１６】
次に、本実施形態における本発明に係る動作について説明する。
（記録動作）
以下、記録モードによる動画撮影記録時の動作を説明する。図８は、動画撮影記録時におけるＣＰＵ８によるＣＯＤＥＣ５の制御内容を示したフローチャート、図９は、前記第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６における動画データの符号化処理時のタイミングチャート、図１０（ａ）は、動画撮影記録時に生成される一連の動画データ、すなわちＨ．２６４ストリームの概略構成を示す概念図、図１１は、第１の実施形態で示した図６に対応する図である。
【０１１７】
まず、具体的な動作説明に先立ち、図１１において第１の実施形態と異なる点を説明する。同図（ａ）は、本実施形態における動画記録時に作成される動画データの構成を示す概念図である。図６（ａ）と同様、図１１（ａ）において「Ｉ」はＩピクチャ、「Ｐ」はＩピクチャ以外のフレーム番号が４の倍数であるＰピクチャ、「ｐ」はフレーム番号が４の倍数以外のフレームのＰピクチャであって、各フレームは符号化のタイプ（Ｉピクチャ／Ｐピクチャ）とフレーム番号（ただし、先頭フレームは「０」）とを組み合わせて表記されている。また、矢印は各Ｐピクチャの参照先を示すものである。なお、本実施形態においてもＩピクチャの挿入間隔は０．５秒（１２０フレーム毎）である。
【０１１８】
そして、動画記録時には、第１の実施形態と同様、先頭フレーム０はＩピクチャ（Ｉ０）として符号化し、メインフレームであるフレーム４のＰピクチャ（Ｐ４）を直前のメインフレームのＩピクチャ（Ｉ０）を参照画像として符号化し、同様にフレーム８，１２・・・のＰピクチャ（Ｐ８，Ｐ１２，・・・）を、それぞれ直前のメインフレームのＰピクチャ（Ｐ４，Ｐ８）を参照画像として符号化する。
【０１１９】
その間、本実施形態では、サブフレームであるフレーム１〜３のＰピクチャ（ｐｌ，ｐ２，ｐ３）についても直前のメインフレームのＩピクチャ（Ｉ０）を参照画像として符号化し、同様に他のサブフレームであるフレーム５〜７のＰピクチャ（ｐ５，ｐ６，ｐ７）、及びフレーム９〜１１のＰピクチャ（ｐ９，ｐ１０，ｐ１１）も、直前のメインフレームのＰピクチャ（Ｐ４，Ｐ８）をそれぞれ参照画像として符号化する。つまり、全てのサブフレームのＰピクチャ（ｐｌ，ｐ２，ｐ３）を、直前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化する。
【０１２０】
以下、本実施形態における主として上記の符号化処理に関する動画撮影時の具体的な動作内容を図８に従い説明する。ここで、記録する動画像のサイズはＶＧＡサイズである。また、記録時おいてＣＰＵ８は、撮像部１及び画像生成部２を２４０ｆｐｓのフレームレートで動作させ、各部をフレーム単位で同期させる。ただし、ＣＯＤＥＣ５については４フレームを単位として６０ｆｐｓのフレームレートで同期させる。
【０１２１】
図８に示したように、ＣＰＵ８は記録開始に伴い、まずフレーム番号（ｉ）を初期化する（ステップＳＣ１）。フレーム番号（ｉ）の初期値（先頭フレームの番号）は「０」である。その後、ＣＰＵ８は１フレーム分の画像データがメモリ４に入力（蓄積）されるのを待ってから（ステップＳＣ２）、フレーム番号（ｉ）が４の倍数になるまでの間は（ステップＳＣ３でＮＯ）、フレーム番号（ｉ）のインクリメントのみを繰り返し行い（ステップＳＣ４）、フレーム番号（ｉ）が４の倍数となる毎に（ステップＳＣ３でＹＥＳ）、前記ＣＯＤＥＣ５に以下に述べる符号化処理を行わせる。ただし、動作開始直後の１フレーム目（ｉ＝０）については、例外的にフレーム番号（ｉ）が４の倍数であるとして処理する。
【０１２２】
まず、メモリ４に１フレーム目の画像データが入力されたときには（ステップＳＣ３、ステップＳＣ５が共にＹＥＳ）、メモリ４に蓄積されている１フレーム目の画像データを読み出して前記ＣＯＤＥＣ５の前述した第４のＣＯＤＥＣ５６（ＣＯＤＥＣ＿３）に入力し、ＣＯＤＥＣ５６に入力した画像データをフレーム内符号化により、Ｉピクチャとして前記メモリ４へ出力させる（ステップＳＣ６）。その際、１フレーム目は非参照フレームであるため、第４のＣＯＤＥＣ５６（ＣＯＤＥＣ＿３）には、符号化したＩピクチャのローカルデコードにより予測画像を作成させ、その画像データを参照画像として前記メモリ
【０１２３】
引き続きＣＰＵ８は、上記ステップＳＣ６によりメモリ４に蓄積された符号化データに対して、スライスタイプとして「Ｉ」を付加し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「３」を付加し、ｆｒａｍｅ＿ｎｕｍとして「０」を付加し、さらにＰＯＣとして「０」を付加する（ステップＳＣ７〜ＳＣ１０）。
【０１２４】
ここで、符号化データに付加する（Ｈ．２６４ストリーム中に記述する）スライスタイプは第１の実施形態でピクチャ種別情報６２ａとして説明したピクチャ・パラメータ、ｎａｌ＿ｒｅｆ＿ｉｄｃ、ｆｒａｍｅ＿ｎｕｍ、ＰＯＣは、Ｈ．２６４規格（具体的には、「ITU-T Recommendation H.264 Advanced video coding for generic audiovisual services」）に規定されているピクチャ・パラメータである。
【０１２５】
すなわちｎａｌ＿ｒｅｆ＿ｉｄｃは、０〜３の値をとりうるパラメータであって、参照されるピクチャを非「０」とし、かつ参照されないピクチャを「０」とするよう規定されているパラメータである。なお、ｎａｌ＿ｒｅｆ＿ｉｄｃについては、例えばＨ．２６４による符号化データをＲＴＰ（Real-Time Transport Protocol）で伝送する場合の標準技術仕様としてＩＥＴＦ（Internet Engineering Task Force:インターネット技術標準化委員会）より発行されている「ＲＦＣ３９８４：RTP Payload Format for H.264 Video」では、パケットの「相対的な優先度」を示すものとして規定されている。つまり優先度が高い方から３、２、１と続き、０が最も優先度が低いと規定されている。
【０１２６】
ｆｒａｍｅ＿ｎｕｍは、非参照フレームのとき０以外の値をとるよう規定されているパラメータであり、Ｈ．２６４では、
（１）参照ピクチャ毎に（参照ピクチャの次のピクチャで）カウントアップする。
（２）基本的に1ずつ増やす。
（３）時刻とは関係なく、順序だけが意味を持つ。
と規定されている。
【０１２７】
ＰＯＣ（Picture Order Count）は、画像の出力順序を示すパラメータであり、Ｈ．２６４では、
（１）ＩＤＲ（Instantaneous Decoder Refresh）ピクチャを基準(ゼロ)にして、ピクチャのサンプリング時刻に比例する値をつける。（※８．２．１のＮＯＴＥ２）
（２） 出力順序通りに大小がついていないといけない。（※Ｃ．４．５．３）
（３） 実際の時刻に比例する値を用いる。（※８．４．１．２．３）
と規定されている。なお、上記カッコ内の※に続く数字は、前記Ｈ．２６４規格での章番号である。また、上記ＩＤＲピクチャは、「Ｉピクチャであるとともに、復号順でそれよりも後の全ピクチャを、復号順でそれよりも前のピクチャを参照することなしに復号することができるピクチャ」と規定されている。
【０１２８】
引き続き、ＣＰＵ８は、メモリ４に入力した画像データのフレーム番号（ｉ）が４の倍数となったときには（ステップＳＣ３がＹＥＳ、ステップＳＣ５でＮＯ）、まずフレーム番号（ｉ）が１２０の倍数であるか否かを確認する。そして、フレーム番号（ｉ）が、例えば４，８，１６，・・・１１６のように１２０の倍数でないときには（ステップＳＣ１２でＮＯ）、前記メモリに蓄積されているフレーム番号（ｉ−３）〜（ｉ−１）のフレーム画像を読み出してバス制御部５１を介して第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５に入力させる。そして、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５に、前記メモリ４に格納されているとともに、処理に応じてマクロブロック単位で参照バッファ５２に格納されるフレーム番号（ｉ−４）の参照画像の画像データを用いて、各々がサブフレームであるフレーム番号（ｉ−３）〜（ｉ−１）のフレーム画像を並行してそれぞれｐピクチャとして符号化させ、各符号化データを前記メモリ４へ出力させる。
【０１２９】
同時に、前記メモリに蓄積されているフレーム番号（ｉ）のフレーム画像を読み出してバス制御部５１を介して第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６に入力させる。そして第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６には、フレーム番号（ｉ−４）の参照画像、すなわち直前のメインフレームの画像データを用いて、フレーム番号（ｉ）の新たなメインフレームの画像をＰピクチャとして符号化させ、符号化データを前記メモリ４へ出力させる。さらに、符号化したＰピクチャのローカルデコードにより予測画像を作成させ、その画像データを参照画像として前記メモリ４の所定領域へ出力させる（ステップＳＣ１９）。
【０１３０】
つまり、ＣＰＵ８は、４フレームを単位として、フレーム番号が連続する３フレーム分のサブフレームと、それに続くメインフレームの４フレームの画像をＣＯＤＥＣ５にまとめて（並行して）符号化させる。例えば図９に示したようにメモリ４に４フレーム目の画像データが入力したときには、フレーム番号１〜３のＰピクチャ（ｐｌ，ｐ２，ｐ３）と、フレーム番号４のＰピクチャ（Ｐ４）とをまとめて符号化させる。
【０１３１】
次に、ＣＰＵ８は、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６が出力してメモリ４に蓄積されている全ての符号化データに対し、スライスタイプとして「Ｐ」を付加し（ステップＳＣ２０）、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５が出力してメモリ４に蓄積されている各々の符号化データに対し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「０」を付加し、かつ第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６が出力してメモリ４に蓄積されている符号化データに対し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「２」を付加する（ステップＳＣ２１）。
【０１３２】
また、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６が出力してメモリ４に蓄積されている各々の符号化データに対し、ｆｒａｍｅ＿ｎｕｍとして、各々が対応するフレーム番号が若い順に、ｉｎｔ（（ｉ／４）、ｉｎｔ（（ｉ＋１）／４）、ｉｎｔ（（ｉ＋２）／４）、ｉｎｔ（（ｉ＋３）／４）によって得られる値をそれぞれ付加する（なお、ｉｎｔ（ｎ）は、引数ｎを超えない最大の整数を得る関数である。）。例えばフレーム番号が１〜４のピクチャには１，１，１，１をそれぞれ付加し、フレーム番号が５〜８のピクチャには２，２，２，２をそれぞれ付加する。つまり、各々の符号化データに対し、先頭フレームを０とし、以後、全フレームを通じ１を初期値として４フレーム毎に１ずつ増える値（同一値）を付加する（ステップＳＣ２２）。
【０１３３】
また、各々の符号化データに対し、ＰＯＣとして、対応するフレーム番号が若い順に、（ｉ−３）×２、（ｉ−２）×２、（ｉ−１）×２、（ｉ）×２によって得られる値（各符号化データに対応するフレーム番号を２倍した値）をそれぞれ付加する。例えばフレーム番号が１〜４の場合には２，４，６，８をそれぞれ付加する。つまり、各々の符号化データに対し、全フレームを通じ、０を初期値として１フレーム毎に２ずつ増える値を付加する（ステップＳＣ２３）。
【０１３４】
さらに、各々の符号化データに対し、各々の符号化データの復号時に参照すべきピクチャを指し示す参照画像指示情報の値として、各々のフレームの直前の参照ピクチャ（参照されるピクチャ）、つまり前記ｎａｌ＿ｒｅｆ＿ｉｄｃとして「０」以外の値が付加されている先行するピクチャのうちで、フレーム番号が最も近いピクチャ（４フレーム前のＩピクチャ又はＰピクチャ）を指し示す値である「０」を付加する（ステップＳＣ２４）。この値は、第１の実施形態で述べたようにＨ．２６４に規格されている値であり、Ｈ．２６４では、上記のように直前の参照ピクチャを意味する値が「０」、それより１つ前の参照ピクチャを意味する値が「１」、さらに１つ前の参照ピクチャを意味する値が「２」、といったように符号化時の順序とは逆に、そのフレームから離れるに従い増加する値とすることが規定されている。
【０１３５】
一方、ＣＰＵ８は、メモリ４に入力した画像データのフレーム番号（ｉ）が１２０の倍数であったときには（ステップＳＣ１２がＹＥＳ）、前記メモリに蓄積されているフレーム番号（ｉ−３）〜（ｉ−１）のフレーム画像を読み出してバス制御部５１を介して第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５に入力させる。そして、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５に、前述したステップＳＣ１６と同様、前記メモリ４に格納されているとともに、処理に応じてマクロブロック単位で参照バッファ５２に格納されるフレーム番号（ｉ−４）の参照画像の画像データを用いて、各々がサブフレームであるフレーム番号（ｉ−３）〜（ｉ−１）のフレーム画像を並行してそれぞれｐピクチャとして符号化させ、各符号化データを前記メモリ４へ出力させる。
【０１３６】
また、前記メモリに蓄積されているフレーム番号（ｉ）のフレーム画像を読み出してバス制御部５１を介して第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６に入力させる。そして第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６には、フレーム番号（ｉ）のフレームをＩピクチャとするため、前述したステップＳＣ６と同様、入力した画像データのフレーム内符号化を行わせ、その符号化データを前記メモリ４へ出力させ、さらに、符号化したＩピクチャに対するローカルデコードにより予測画像を作成させ、その画像データを参照画像として前記メモリ４の所定領域へ出力させる（ステップＳＣ１３）。
【０１３７】
引き続きＣＰＵ８は、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５が出力してメモリ４に蓄積されている各々の符号化データに対し、スライスタイプとして「Ｐ」を付加し、かつ第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６が出力してメモリ４に蓄積されている符号化データに対し、スライスタイプとして「Ｉ」を付加する（ステップＳＣ１４）。
【０１３８】
また、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５が出力してメモリ４に蓄積されている各々の符号化データに対し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「０」を付加し、かつ第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６が出力してメモリ４に蓄積されている符号化データに対し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「３」を付加する（ステップＳＣ１５）。
【０１３９】
また、前述したＳＣ２２，ＳＣ２３と同じ処理によって、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６が出力してメモリ４に蓄積されている各々の符号化データについて、ｆｒａｍｅ＿ｎｕｍ、及びＰＯＣとする値を順に算出し、算出した値を各々の符号化データにそれぞれ付加する（ステップＳＣ１６、ＳＣ１７）。
【０１４０】
さらに、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５が出力してメモリ４に蓄積されている各々の符号化データのみに、参照画像指示情報として直前の参照ピクチャ（参照されるピクチャ）を示す値である「０」を付加する（ステップＳＣ１８）。
【０１４１】
なお、上記のように前記ＣＯＤＥＣ５からメモリ４に順次出力された後、各種のピクチャ・パラメータが付加された符号化データは、メモリカード制御部９によってメモリカード１０に順次出力されて動画ファイルとして記録されることになる。
【０１４２】
以後、動画撮影記録中は上述した全ての処理を繰り返す。これにより、メモリカード１０には、前述したように全てのサブフレームのｐピクチャが、直前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化されているとともに、各フレームに前述したピクチャ・パラメータ（スライスタイプ、ｎａｌ＿ｒｅｆ＿ｉｄｃ、ｆｒａｍｅ＿ｎｕｍ、ＰＯＣ、参照画像指示情報）として、図１０（ａ）に示した値がそれぞれ付加されたＨ．２６４ストリームが出力される。
【０１４３】
そして、所定のキー操作による記録終了指示があった時点で（ステップＳＣ１１がＹＥＳ）、記録動作を終了する。以上の動作により、Ｈ．２６４に準拠する動画像ファイルをメモリカード１０に記録することができる。
【０１４４】
なお、前述したＰＯＣの増分は、Ｈ．２６４の規格上では１とすることもできるが、本実施形態において、その増分を２としている理由は、後述する再生動作により復号した動画像を６０フィールド、３０フレームのインタレース方式で表示することを想定しているためである。
【０１４５】
ここで、本実施形態においては、前述したようにＣＯＤＥＣ５を参照バッファ５２と、並列に設けられた第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６とによって構成し（図７）、上述したように記録時には、サブフレームと、それに続くメインフレームとの複数の画像データとを一組とし、係る一組の画像データを、参照バッファ５２に記憶されている同一フレームの画像を参照画像として一括して符号化するようにした。
【０１４６】
したがって、参照フレームとして読み出す画像データを並列数分少なくすることができることから、動画記録装置におけるメモリバス３の帯域幅を削減することができる。
【０１４７】
（再生動作）
次に、本実施形態において上述した記録動作によってメモリカード１０に記録された動画像（動画ファイル）を再生するときの動作について説明する。
【０１４８】
ここで、本実施形態においては、前記表示制御部６の性能が６０ｆｐｓであり、動画再生時においては、ＣＰＵ８が、メモリカード１０に記録されているとともにユーザによって選択された任意の動画ファイルのデータを６０ｆｐｓのフレームレートでメモリカード制御部９を介して読み出し、その符号化データ部分をＣＯＤＥＣ５へ順次転送する。
【０１４９】
また、本実施形態においては、再生モードとして４倍スロー再生モード（再生速度を実速度の１／４とするモード）と、実速再生モード（再生速度を撮影時と同じ実速度とするモード）と、２倍スロー再生モード（再生速度を実速度の１／２とするモード）とが設けられている。以下、モード別に動作を説明する。なお、図１１（ｂ）〜図１１（ｄ）は、各再生モードによる再生時における各フレームの符号化データのデコードと表示の有無を示した概念図である。
【０１５０】
（再生動作・４倍スロー再生）
４倍スロー再生モードは、第１の実施形態でスロー再生モードとして説明した再生モードと同一のモードである。４倍スロー再生モードにおいては、図７に示した第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６のうち第１のＣＯＤＥＣ５３のみを用いて、図３に示すとともに既説した第１の実施形態と同一の動作により、図１１（ｂ）に示したように、２４０ｆｐｓで記録された全てのフレームを６０ｆｐｓで順にデコードし、その画像データを表示する。つまり動画像を１／４の速度でスロー再生する。
【０１５１】
ただし、本実施形態においては、第１の実施形態とは異なり、メインフレームのＰピクチャ（Ｐ４，Ｐ８，・・・）だけでなく、サブフレームのＰピクチャ（ｐｌ，ｐ２，ｐ３，・・・）のデコード処理に際しても直前のメインフレームの画像（Ｉ０，Ｐ４，・・・）を参照画像として使用する（図１１（ａ）参照）。なお、符号化データのデコード処理には、第１のＣＯＤＥＣ５３に限らず、第２のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６のいずれか１つを用いることができる。
（再生動作・実速再生）
図１２は、本実施形態における実速再生モードでの動作を示したフローチャートある。
実速再生モードにおいても、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６のうち第１のＣＯＤＥＣ５３のみを用いて符号化データをデコードする。そして実速再生モードでは、第１の実施形態において図４に示した内容とほぼ同一の動作（ステップＳＤ１〜ステップＳＤ１２）を行う。
【０１５２】
その際、第１の実施形態と異なり、ステップＳＤ２において前述したピクチャ・パラメータをリードし、続くステップＳＤ３において、各々のフレームを復号対象とするか否かの判別を上記ピクチャ・パラメータのうちの前述したｎａｌ＿ｒｅｆ＿ｉｄｃの値に基づき行い、その値が非参照フレーム（参照されないピクチャ）を示す「０」でないとき、すなわちメインフレームであったときだけ、そのときのフレームを復号対象とする。また、ステップＳＤ６では、前述した参照画像指示情報を参照して、メインフレームのＰピクチャについては、第１の実施形態と同様に直前のメインフレームのＩピクチャ又はＰピクチャを参照画像としたデコード処理を行うが、本実施形態では、全てのサブフレームのＰピクチャについても直前のメインフレームのＩピクチャ又はＰピクチャを参照画像としたデコード処理を行う。
【０１５３】
これにより、実速再生モードにおいては、図１１（ｃ）に示したように、２４０ｆｐｓで記録された全てのフレームのうち、４フレーム毎（３フレームおき）のメインフレーム（Ｉピクチャ又はＰピクチャ）のみを６０ｆｐｓでデコードして表示する。つまり表示フレームを１／４に間引くことによって動画像を実速度で再生する。
【０１５４】
したがって、第１の実施形態と同様、表示しないサブフレームの符号化データをデコードすることなくメインフレームとなる全てのＰピクチャを表示することができ、実速再生時におけるデータ処理量、消費電力を削減することができる。
（再生動作・２倍スロー再生）
図１３は、本実施形態における２倍スロー再生モードによる動作を示したフローチャートある。２倍スロー再生モードにおいても、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６のうち第１のＣＯＤＥＣ５３のみを用いて符号化データをデコードする。図から明らかなように、図１２に示した実速再生モードでの動作との違いは、ステップＳＤ１０３において、各々のフレームを復号対象とするか否かの判別をフレーム番号（ｉ）に基づき行い、フレーム番号（ｉ）が２の倍数である（ただし、０は例外として２の倍数として処理する。）フレームのみを復号対象とする点のみである。
【０１５５】
これにより、２倍スロー再生モードにおいては、図１１（ｄ）に示したように、２４０ｆｐｓで記録された全てのフレームを２フレーム毎（１フレームおき）に６０ｆｐｓでデコードして表示する、つまり表示フレームを１／２に間引くことによって動画像を実速度の１／２の速度でスロー再生することができる。
【０１５６】
つまり本実施形態では、動画記録時にメインフレームのＰピクチャのみならずサブフレームのＰピクチャについても、直前のメインフレームのＩピクチャ又はＰピクチャを参照画像として符号化されているため、上記のように動画像を実速度の１／２の速度でスロー再生する場合においても、表示しないサブフレームの符号化データをデコードすることなく、表示対象のサブフレームの符号化データをデコードすることができる。したがって、係る場合についても、それを効率的に行うことができ、その場合におけるデータ処理量、消費電力を削減することができる。
【０１５７】
（実速抜き出し編集動作）
一方、本実施形態の動画記録装置においては、動作モードとして、上述した記録モード及び再生モード（４倍スロー再生モード、実速再生モード、２倍スロー再生モード）とは別に実速抜き出し編集モードが設けられている。実速抜き出し編集モードは、上述した記録動作によってメモリカード１０に動画ファイルとして記録されている動画データ、すなわちＶＧＡサイズで２４０ｆｐｓの高速撮像動画ストリームから、図１０（ｂ）に示した、前述した実速再生モードで表示されるメインフレーム（実速再生フレーム）のみのストリーム部分を抜き出し、抜き出した部分から構成されるＶＧＡサイズで６０ｆｐｓの新たな動画ストリームを生成してメモリカード１０に記録するモードである。
【０１５８】
図１４は、実速抜き出し編集モードにおいて、メモリカード１０に記録されている任意の動画データを編集するときのＣＰＵ８の処理を示したフローチャートである。
【０１５９】
編集開始に伴いＣＰＵ８は、まず処理フレーム番号（ｉ）を初期化して、メモリカード１０から編集対象とする高速撮像動画ストリームの読み出しを開始する（ステップＳＤ２０１）。なお、処理フレーム番号（ｉ）の初期値は「０」である。
【０１６０】
その後、ＣＰＵ８は、高速撮像動画ストリームについてフレーム毎に、ストリーム中に記述されているｎａｌ＿ｒｅｆ＿ｉｄｃの値を確認する（ステップＳＤ２０２）。そして、ｎａｌ＿ｒｅｆ＿ｉｄｃの値が「０」のときには（ステップＳＤ２０２でＹＥＳ）、そのときのフレーム番号（ｉ）のストリームを読み飛ばし（ステップＳＤ２０３）、ｎａｌ＿ｒｅｆ＿ｉｄｃの値が「０」以外のときにのみ（ステップＳＤ２０２でＮＯ）、フレーム番号（ｉ）のフレーム分のストリームをメモリカード１０に書き込む（ステップＳＤ２０４）。
【０１６１】
以後、処理対象のフレームが最終フレームとなるまでの間（ステップＳＤ２０５でＮＯ）、フレーム番号（ｉ）をインクリメントした後（ステップＳＤ２０６）、上記処理（ステップＳＤ２０２〜ＳＤ２０４）を繰り返し、最終フレームのストリームに対する処理（読み飛ばし、又は書き込み）が終わった時点で（ステップＳＤ２０５でＹＥＳ）、全ての処理を完了する。
【０１６２】
したがって、実速抜き出し編集モードを使用することにより、動画像の再生性能が６０ｆｐｓで他の装置においても実速度で表示可能な、図１０（ｂ）に示した動画ストリーム構造からなる新たな動画像を自動的に生成することができる。
【０１６３】
［実施形態３］
次に、本発明の第３の実施形態について説明する。本実施形態は、先に説明した第１及び第２の実施形態と同様、２４０ｆｐｓのフレームレートで高速撮像した動画像を圧縮して記録する記録機能と、記録した動画データを復号するとともに６０ｆｐｓの表示フレームレートで再生する再生機能とを備えた動画記録装置に関するものである。
【０１６４】
本実施形態における動画記録装置の基本構成は、第１の実施形態で説明した動画記録装置（図１）と同様であり、前記ＣＯＤＥＣ５は、ＶＧＡ（６４０ドット×４８０ドット）サイズの画像データを２４０ｆｐｓの処理速度により符号化、復号化することができる処理能力を有している。また、ＣＯＤＥＣ５による動画データの符号化方式（動画ストリーム構造）は第２の実施形態と同様、Ｈ．２６４に準拠するものである。
【０１６５】
そして、本実施形態の動画記録装置は、前記ＣＯＤＥＣ５による符号化後の動画データを、ＭＰＥＧ４の画像や音声データをファイルに記録するための標準形式としてＩＳＯ(International Organization for Standardization)によって規格化されているＭＰ４形式の動画ファイル（ＭＰ４ファイル）としてメモリカード１０に記録する。なお、動画ファイルの具体的な構成は、ＩＳＯ／ＩＥＣ １４４９６−１２，「Information technology Coding of audio-visual objects - Part 12: ISO base media file format」に規定された構成である。
【０１６６】
図１５は、本実施形態においてメモリカード１０に記録されるＭＰ４ファイルの概略構成を示した図である。図示したように、ＭＰ４ファイルは多くのＢＯＸ情報の集合体であり、当該ファイルの互換性を示す情報が格納される「ｆｔｙｐ」、エンコーダー固有の拡張情報が格納される「ｕｕｉｄ」、「ｍｄａｔ」、「ｍｏｏｖ」の各ＢＯＸから構成される。
【０１６７】
「ｍｄａｔ」は、符号化された画像データが格納される「Ｍｅｄｉａ Ｄａｔａ Ｂｏｘ」であり、当該Ｂｏｘのデータサイズ、識別コード（’ｍｄａｔ’）、Ｖｉｄｅｏストリーム群が格納される。Ｖｉｄｅｏストリーム群は、フレーム別の複数のＡｃｃｅｓｓ Ｕｎｉｔから構成され、各Ａｃｃｅｓｓ Ｕｎｉｔは、当該Ａｃｃｅｓｓ Ｕｎｉｔのデータサイズ、ＡＵデリミタ（Ａｃｃｅｓｓ Ｕｎｉｔの境界コード）、Ｈ．２６４スライスデータ（符号化データ）、当該Ｈ．２６４スライスデータのサイズの各データから構成される。
【０１６８】
Ｈ．２６４スライスデータは、ＮＡＬ（Network Abstraction Layer: ネットワーク抽象レイヤ）ユニットであり、ＮＡＬヘッダ１１１とスライスデータ１１２とからなり、このＮＡＬユニットのスライスデータ１１２が、さらにスライスヘッダ１２１とスライスデータ本体１２２とから構成される。上記ＮＡＬヘッダ１１１には、ＮＡＬユニットの種類等の属性情報が格納され、ここに第２の実施形態で説明したｎａｌ＿ｒｅｆ＿ｉｄｃが格納される。また、ｎａｌ＿ｒｅｆ＿ｉｄｃ以外のピクチャ・パラメータについては、前記スライスヘッダ１２１にスライスタイプ（第１の実施形態ではピクチャ種別情報６２ａ）と、ｆｒａｍｅ＿ｎｕｍ、ＰＯＣが格納され、参照画像指示情報（第１の実施形態では参照先フレーム情報６２ｂ）は、動画記録時にＣＯＤＥＣ５から出力される１ピクチャ分の符号化データと共にスライスデータ本体１２２に格納される。
【０１６９】
なお、スライスデータ本体１２２に格納される１ピクチャ分の符号化データはマクロブロックの集合体であって、前記参照画像指示情報は、実際にはマクロブロック毎に格納されて、マクロブロック毎に参照先のピクチャの情報が参照されるこことなるが、ここでは、説明を簡略化するため、参照画像指示情報はスライスデータ（ピクチャ）を単位として格納されているものとして説明する。
【０１７０】
また、「ｍｏｏｖ」は、Ｈ．２６４スライスデータの復号に必要な情報が格納される「Ｍｏｖｉｅ Ｂｏｘ」であり、当該Ｂｏｘのデータサイズ、Ｂｏｘの識別コード（’ｍｏｏｖ’）、Ｉｎｄｅｘ Ｄａｔａ、ｕｄｔａから構成される。
【０１７１】
Ｉｎｄｅｘ Ｄａｔａは、２種類のｔｒａｋから構成される。各ｔｒａｋは、再生時のインデックス情報を格納する「ｔｒａｃｋ Ｂｏｘ」であり、各々が当該Ｂｏｘのデータサイズ、識別コード（’ｔｒａｋ’）、復号対象とすべきＡｃｃｅｓｓ Ｕｎｉｔを示すビデオｉｎｄｅｘ情報１０１，１０２から構成される。
【０１７２】
２種類のｔｒａｋのうち一方のｔｒａｋには、前記ビデオｉｎｄｅｘ情報１０１として動画像の全てのフレームに関するインデックス情報が格納され、他方のｔｒａｋには前記ビデオｉｎｄｅｘ情報１０２として動画像の先頭フレームから４フレーム毎のメインフレームのインデックス情報のみが格納される。以下の説明では、一方のｔｒａｋを全フレーム再生用ｔｒａｋ、また、そこに格納されたビデオｉｎｄｅｘ情報１０１を全フレーム再生用インデックス情報と呼び、他方のｔｒａｋを実速再生用ｔｒａｋ、また、そこに格納されたビデオｉｎｄｅｘ情報１０２を実速再生用インデックス情報と呼ぶことにより両者を区別する。図１６は、上記全フレーム再生用インデックス情報１０１、及び実速再生用インデックス情報１０２と、前記Ａｃｃｅｓｓ Ｕｎｉｔとの関係を示した図である。
【０１７３】
また、「Ｍｏｖｉｅ Ｂｏｘ」を構成するｕｄｔａは、種々のユーザー情報が格納される「Ｕｓｅｒ Ｄａｔａ Ｂｏｘ」である。
【０１７４】
次に、本実施形態における本発明に係る動作について説明する。
（記録動作）
以下、記録モードによる動画撮影記録時の動作を説明する。図１７は、動画撮影記録時におけるＣＰＵ８によるＣＯＤＥＣ５の制御内容を示したフローチャート、図１８は、第１の実施形態で示した図６（ａ）、第２の実施形態で示した図１１（ａ）に対応する、記録モードにおいて記録される動画データの構成を示す概念図である。
【０１７５】
まず、具体的な動作説明に先立ち、図１８において第１及び第２の実施形態と異なる点について説明する。同図は、記録モードにおいて記録される動画データの構成を示す概念図である。
【０１７６】
本実施形態では、記録時においてメインフレーム間に存在させるサブフレーム数をサブフレームモードとして設定可能である。設定可能なサブフレーム数は３，１，０の何れかであり、記録時には、各々のサブフレーム数が、そのままサブフレームモードの種類を示す値として前述した「Ｕｓｅｒ Ｄａｔａ Ｂｏｘ」に格納される。
【０１７７】
なお、サブフレームモードは、動画像の記録開始前、または記録開始後の任意の時点でユーザのキー操作や、所定の条件に基づき自動的に設定可能な構成としてもよいが、ここでは便宜上、記録開始前にユーザがキー操作によって予め設定する構成であるものとする。
【０１７８】
そして、図１８（ａ）に示したようにサブフレームモードが３に設定されているときには、先頭フレームをＩピクチャ（Ｉ０）として符号化し、以後、フレーム番号（ｉ）が４の倍数であるフレームを、直前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化する。但し、本実施形態においては、フレーム番号（ｉ）が８の倍数であるフレームについては、８フレーム前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化する。また、全てのサブフレームのｐピクチャを、第２の実施形態と同様に直前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化する。
【０１７９】
また、図１８（ｂ）に示したようにサブフレームモードが１に設定されているときには、全てのサブフレームのｐピクチャを符号化対象とせずに、フレーム番号（ｉ）が２の倍数となるサブフレームのみを符号化対象とし、同図（ｃ）に示したようにサブフレームモードが０に設定されているときには全てのサブフレームを符号化対象から除外する。
【０１８０】
以下、本実施形態における動画記録時のより具体的な動作内容を図１７に従い説明する。なお、本実施形態においても、記録する動画像のサイズはＶＧＡサイズであり、記録時おいてＣＰＵ８は撮像部１、画像生成部２、ＣＯＤＥＣ５を２４０ｆｐｓのフレームレートで動作させ、各部をフレーム単位で同期させる。
【０１８１】
図１７に示したように、ＣＰＵ８は記録開始に伴い、まずフレーム番号（ｉ）を初期化する（ステップＳＥ１）。フレーム番号（ｉ）の初期値（先頭フレームの番号）は「０」である。その後、ＣＰＵ８は、メモリ４への１フレーム分の画像データがメモリ４に入力（蓄積）されるのを待ってから（ステップＳＥ２）、フレーム番号（ｉ）が０のときを含め、フレーム番号（ｉ）が１２０の倍数のときには（ステップＳＥ３がＹＥＳ）、メモリ４に蓄積されている画像データを読み出してＣＯＤＥＣ５に入力し、ＣＯＤＥＣ５に入力した当該フレームの画像データをフレーム内符号化により、Ｉピクチャとして前記メモリ４へ出力させる（ステップＳＥ４）。また、このときには、符号化データをデコードしたローカルデコード画像を、それ以降のＰピクチャの符号化時に使用する画像データ（参照画像）として、符号化データとは別に前記メモリ４に蓄積する。
【０１８２】
引き続きＣＰＵ８は、上記符号化データに対して、スライスタイプとして「Ｉ」を付加するとともに、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「３」を付加し、ｆｒａｍｅ＿ｎｕｍとして「ｉｎｔ（（ｉ＋３）／４）」で得られる値であって、先頭フレームを０とし、以後、全フレームを通じ１を初期値として４フレーム毎に１ずつ増える値を付加し、さらに、ＰＯＣとして「ｉ×２」で得られる値であって、全フレームを通じ、０を初期値として１フレーム毎に２ずつ増える値を付加する（ステップＳＥ５）。なお、このとき参照画像指示情報は付加しない。
【０１８３】
しかる後、そのときのフレーム番号（ｉ）のメインフレームに関する前述したインデックス情報を前述した実速再生用ｔｒａｋに追加し（ステップＳＥ６）、さらに全フレーム再生用ｔｒａｋにも追加する（ステップＳＥ７）。以後、所定のキー操作による記録終了指示がなければ（ステップＳＥ８でＮＯ）、フレーム番号（ｉ）に１をインクリメントし（ステップＳＥ９）、ステップＳＥ２戻り、次のフレーム分の画像データの入力待ちを行う。
【０１８４】
また、ＣＰＵ８は、フレーム番号（ｉ）が１２０の倍数以外であって、８の倍数のときには（ステップＳＥ３がＮＯ、ステップＳＥ１０でＹＥＳ）、メモリ４に蓄積されている今回の画像データを読み出してＣＯＤＥＣ５に入力し、ＣＯＤＥＣ５に、入力した当該フレームの画像データを前記メモリに蓄積しておいた８フレーム前のフレーム番号（ｉ−８）の参照画像の画像データを用いてＰピクチャとして符号化させ、前記メモリ４へ出力させる（ステップＳＥ１１）。また、係るＰピクチャの符号化に際しては、そのときの符号化データをデコードしたローカルデコード画像を、後続する４フレーム分のＰピクチャ、及び８フレーム後のＰピクチャの符号化時に使用する画像データ（参照画像）として、符号化データとは別に前記メモリ４に蓄積する。
【０１８５】
引き続き、前記メモリ４に出力した符号化データに対して、スライスタイプとして「Ｐ」を付加し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「２」を付加し、ｆｒａｍｅ＿ｎｕｍとして「ｉｎｔ（（ｉ＋３）／４）」で得られる値（４フレーム毎に１ずつ増える値）を付加し、ＰＯＣとして「ｉ×２」で得られる値（１フレーム毎に２ずつ増える値）を付加する。さらに参照画像指示情報として２つ前の参照ピクチャ、つまり８フレーム前のフレーム番号（ｉ−８）のピクチャを示す値である「１」を付加する（ステップＳＥ１２）。
【０１８６】
また、フレーム番号（ｉ）が８の倍数以外の４の倍数のときには（ステップＳＥ１０がＮＯ、ステップＳＥ１３でＹＥＳ）、メモリ４に蓄積されている今回の画像データを読み出してＣＯＤＥＣ５に入力し、入力した当該フレームの画像データを、前記メモリに蓄積しておいたフレーム番号（ｉ−４）のフレームの画像、つまり４フレーム前の画像を参照画像に使用してＰピクチャとして符号化させ、前記メモリ４へ出力させる（ステップＳＥ１６）。また、係るＰピクチャの符号化に際しては、そのときの符号化データをデコードしたローカルデコード画像を、後続する３フレーム分のＰピクチャの符号化時に使用する画像データ（参照画像）として、符号化データとは別に前記メモリ４に蓄積する。
【０１８７】
引き続き、前記メモリ４に出力した符号化データに対して、スライスタイプ、ｎａｌ＿ｒｅｆ＿ｉｄｃ、ｆｒａｍｅ＿ｎｕｍ、ＰＯＣとして、フレーム番号（ｉ）が８の倍数のときと同様の値を付加するとともに、参照画像指示情報として直前の参照ピクチャ、つまり４フレーム前のピクチャを示す値である「０」を付加する（ステップＳＥ１５）。
【０１８８】
しかる後、フレーム番号（ｉ）が８の倍数、及び４の倍数のいずれの場合においては、そのときのフレーム番号（ｉ）のメインフレームに関するインデックス情報を実速再生用ｔｒａｋと全フレーム再生用ｔｒａｋとの双方にそれぞれ追加する（ステップＳＥ６，ＳＥ７）。以後、所定のキー操作による記録終了指示がなければ（ステップＳＥ８でＮＯ）、フレーム番号（ｉ）に１をインクリメントし（ステップＳＥ９）、ステップＳＥ２戻り、次のフレーム分の画像データの入力待ちを行う。
【０１８９】
また、ステップＳＥ１３の判別結果がＮＯであって、フレーム番号（ｉ）が４の倍数以外のときには、前述したサブフレームモードの種類に応じて以下の処理を行う。
【０１９０】
まず、サブフレームモード（Ｓ）が３に設定されている場合には（ステップＳＥ１６でＹＥＳ）、メモリ４に蓄積されている今回の画像データを読み出してＣＯＤＥＣ５に入力し、ＣＯＤＥＣ５に、入力した当該フレームの画像データを前記メモリに蓄積しておいた直前のメインフレームを参照画像としＰピクチャとして符号化させ、前記メモリ４へ出力させる（ステップＳＥ１７）。引き続き、前記メモリ４に出力した符号化データに対して、スライスタイプとして「Ｐ」を付加し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「０」を付加し、前述したメインフレームに対する処理と同様の処理によってｆｒａｍｅ＿ｎｕｍ、及びＰＯＣをそれぞれ付加し、さらに参照画像指示情報として直前の参照ピクチャを示す値である「０」を付加する（ステップＳＥ１８）。しかる後、そのときのフレーム番号（ｉ）のサブフレームに関するインデックス情報を全フレーム再生用ｔｒａｋのみに追加する（ステップＳＥ７）。
【０１９１】
また、サブフレームモード（Ｓ）が１に設定されている場合については（ステップＳＥ１６がＮＯ、ステップＳＥ１９でＹＥＳ）、フレーム番号（ｉ）が２の倍数であれば（ステップＳＥ２０でＹＥＳ）、サブフレームモードが３の場合と共通する前述した（ステップＳＥ１７，ＳＥ１８、ステップＳＥ７）の処理を行う。
【０１９２】
また、サブフレームモード（Ｓ）が１に設定されていない場合（ステップＳＥ１９でＮＯ）、及び１に設定されていても、フレーム番号（ｉ）が２の倍数でなかったときには（ステップＳＥ２０でＮＯ）、直ちに所定のキー操作の有無を判別して、所定のキー操作による記録終了指示がなければ（ステップＳＥ８でＮＯ）、フレーム番号（ｉ）に１をインクリメントし（ステップＳＥ９）、ステップＳＥ２戻り、次のフレーム分の画像データの入力待ちを行う。
【０１９３】
なお、上記のように前記ＣＯＤＥＣ５からメモリ４に順次出力された後、ピクチャ・パラメータ、全フレーム再生用インデックス情報１０１、実速再生用インデックス情報１０２等が付加された符号化データは、メモリカード制御部９によってメモリカード１０に順次出力されて動画ファイル（ＭＰ４ファイル）として記録されることになる。
【０１９４】
以後、動画記録中は上述した全ての処理を繰り返し、所定のキー操作による記録終了指示があった時点で（ステップＳＥ８でＹＥＳ）、記録動作を終了する。これによりメモリカード１０に記録されるＭＰ４ファイルにおいては、前述したＶｉｄｅｏストリーム群として、サブフレームモードの設定値に応じたフレームの一連の符号化データが格納される。また、前述した全フレーム再生用ｔｒａｋには符号化された全てのフレームに関する全フレーム再生用インデックス情報１０１が格納され、実速再生用ｔｒａｋにはメインフレームのみに関する実速再生用インデックス情報１０２が格納される（図１５及び図１６参照）。
【０１９５】
（再生動作）
次に、本実施形態において上述した記録動作によりメモリカード１０に記録された動画像（ＭＰ４ファイル）を再生するときの動作について説明する。
【０１９６】
本実施形態においても、前記表示制御部６の性能が６０ｆｐｓであり、動画再生時においては、ＣＰＵ８が、メモリカード１０に記録されているとともにユーザによって選択された任意のＭＰ４ファイルのデータを６０ｆｐｓのフレームレートでメモリカード制御部９を介して読み出し、その符号化データ部分をＣＯＤＥＣ５へ順次転送する。
【０１９７】
また、本実施形態においては、再生モードとして全フレーム再生モードと、実速再生モード、１／２間引き再生モード、倍速再生モードの４種類のモードが設けられている。
【０１９８】
全フレーム再生モードは、動画データとして記録されている全てのフレームを再生することを基本とし、記録時にサブフレームモードが３に設定されていた動画像の再生速度を実速度の１／４とするモードである。また、１／２間引き再生モードは、動画データとして記録されている全てのフレームを１フレームおきに再生することを基本とし、記録時にサブフレームモードが３に設定されていた動画像の再生速度を実速度の１／２とするモードである。また、実速再生モードは、記録時に設定されていたサブフレームモードの種類に関係なく再生速度を撮影時と同じ実速度とするモードであり、倍速再生モードは、記録時に設定されていたサブフレームモードの種類に関係なく再生速度を撮影時（実速度）の２倍とするモードである（図２３参照）。以下、上記のモード別に本実施形態の再生動作を説明する。
【０１９９】
（再生動作・全フレーム再生）
図１９は、全フレーム再生モードでの動作を示したフローチャート、図２１（ａ）は、全フレーム再生モードでの各フレームのデコードと表示の有無を、動画記録時に設定されていたサブフレームモード別に示した概念図である。
【０２００】
図１９に示したように全フレーム再生モードにおいて、ＣＰＵ８は記録開始に伴い、まず再生フレーム番号（ｊ）を初期化する（ステップＳＦ１）。再生フレーム番号（ｊ）の初期値は「０」である。次に、記録時に符号化された全てのフレームに関する全フレーム再生用インデックス情報１０１が格納されている前述した全フレーム再生用ｔｒａｋからフレーム番号（ｊ）のインデックス情報を読み出し（ステップＳＦ２）、読み出したインデックス情報に従って、Ｖｉｄｅｏストリーム群に対する読み出しポインタをフレーム番号（ｊ）のＡｃｃｅｓｓ Ｕｎｉｔ（符号化データ）に設定する（ステップＳＦ３）。
【０２０１】
引き続き、フレーム番号（ｊ）の符号化データのスライスヘッダ１２１内の情報をリードした後（ステップＳＦ４）、このスライスヘッダ情報のうちスライスタイプによって示されるピクチャ種別がＩピクチャであれば（ステップＳＦ５でＹＥＳ）、ＣＯＤＥＣ５にフレーム内復号化によりＩピクチャをデコードさせ、その画像データをメモリ４へ出力させる（ステップＳＦ６）。
【０２０２】
また、フレーム番号（ｊ）の符号化データのスライスタイプによって示されるピクチャ種別がＩピクチャでなければ（ステップＳＦ５でＮＯ）、スライスデータ本体１２２に符号化データと共に格納されている前記参照画像指示情報により示される参照先のフレームの画像を参照画像として用いたフレーム間予測復号化によりＰピクチャをデコードさせ、その画像データをメモリ４へ出力させる（ステップＳＦ７）。
【０２０３】
ここでデコード対象となるＰピクチャは記録されている全てのＰピクチャとなるが、図２１（ａ）に示したように、個々のＰピクチャの内容については、動画記録時に設定されていたサブフレームモードによって異なる。すなわち動画記録時のサブフレームモードが３であれば、第１の実施形態のスロー再生、第２の実施形態の４倍スロー再生モードの場合と同様に、動画記録時に撮像されていた全てのメインフレーム及びサブフレームのＰピクチャがデコード対象となる。またサブフレームモードが１であれば、動画記録時に撮像されていた全てのメインフレームと、動画記録時におけるフレーム番号（ｉ）が偶数であったサブフレームのＰピクチャがデコード対象となる。またサブフレームモードが０であれば、動画記録時に撮像されていた全てのメインフレームのＰピクチャがデコード対象となる。
【０２０４】
また、各Ｐピクチャのデコード時における参照先のフレームについては、そのフレームが動画記録時のサブフレームモードに関係なく、フレーム番号（ｊ）のフレームがサブフレームのときには常に直前のメインフレーム（メインフレーム）である。また、そのフレームがメインフレームのときであって、動画記録時におけるフレーム番号（ｉ）が８の倍数であったＰピクチャについては８フレーム前のメインフレームであり、動画記録時におけるフレーム番号（ｉ）が８の倍数以外の４の倍数であったＰピクチャについては常に直前のメインフレームである（図１８参照）。
【０２０５】
そして、１／６０秒の表示フレームレートによるタイミング待ちを行った後（ステップＳＦ８）、デコードされた画像データをメモリ４から読み出し、その画像データを表示制御部６へ送る。これにより表示制御部６に、表示フレームレートによる表示タイミングでＬＣＤ７の表示画像を更新させる（ステップＳＦ９）。
【０２０６】
以後、最終フレームの処理が終了するまでは（ステップＳＦ１０でＮＯ）、再生フレーム番号（ｊ）をインクリメントした後（ステップＳＦ１１）、ステップＳＦ２へ戻って前述した処理を繰り返し、全ての符号化データのデコード、及び表示が終了した時点（ステップＳＦ１０でＹＥＳ）で再生を終了する。
【０２０７】
これにより、図２１（ａ）に示したように、記録時のサブフレームモードが３であった動画像については、２４０ｆｐｓで記録された全てのフレームを順にデコードし、記録されている全てのフレームの画像データを６０ｆｐｓで表示させることにより、動画像を実速度の１／４の速度でスロー再生する。また、記録時のサブフレームモードが１であった動画像については、１フレームおきに間引かれて記録されている全ての画像データを６０ｆｐｓで表示させることにより、動画像を実速度の１／２の速度でスロー再生する。さらに、記録時のサブフレームモードが０であった動画像については、３フレームおきに間引かれて記録されている全ての画像データを６０ｆｐｓで表示させることにより、動画像を実速再生する。
【０２０８】
なお、図２１（ａ）には、符号化データが記録されているフレーム（記録フレーム）のみについて、ピクチャの種別（Ｉ，Ｐ，ｐ）及び動画記録時のフレーム番号を示してある。また、太枠で示したフレームが、再生時に使用される全フレーム再生用ｔｒａｋに全フレーム再生用インデックス情報１０１が格納されているフレームである。
【０２０９】
以上のように、全フレーム再生モードにおいては、全フレーム再生用インデックス情報１０１を用いた復号処理を行うことにより、図２３に示したように、記録されている動画像を、動画記録時に設定されていたサブフレームモードの種類に応じて４倍スロー、２倍スロー（実速の１／２の速度）、実速の何れかの速度で再生する。
【０２１０】
（再生動作・実速再生）
図２０は、本実施形態における実速再生モードでの動作を示したフローチャート、図２１（ｂ）は、実速再生モードにおける各フレームのデコードと表示の有無を、動画記録時に設定されていたサブフレームモード別に示した概念図である。
【０２１１】
図２０に示したように実速再生モードにおいてＣＰＵ８は、記録開始に伴い、まず再生フレーム番号（ｊ）を初期化した後（ステップＳＦ１０１）、全フレーム再生モードの場合とは異なり、メインフレームのみに関する実速再生用インデックス情報１０２が格納されている実速再生用ｔｒａｋからフレーム番号（ｊ）のインデックス情報を読み出す（ステップＳＦ１０２）。これ以降は、全フレーム再生モードで説明した図１９のステップＳＦ３〜ステップＳＦ１１と同一の処理を行う（ステップＳＦ１０３〜ステップＳＦ１１１）。
【０２１２】
これにより、図２１（ｂ）に示したように、記録時に設定されていたサブフレームモードの種類に関係なく、先頭フレームを含めた４フレーム毎のメインフレームのみを６０ｆｐｓで表示させることにより、動画像を実速度で再生する（図２３参照）。なお、図２１（ｂ）に太枠で示したフレームが、再生時に使用される実速再生用ｔｒａｋに実速再生用インデックス情報１０２が格納されているフレームである。
【０２１３】
（再生動作・１／２間引き再生）
図２２（ａ）は、１／２間引き再生モードにおける各フレームのデコードと表示の有無を、動画記録時に設定されていたサブフレームモード別に示した概念図である。
【０２１４】
１／２間引き再生モードにおいてＣＰＵ８は、前述した全フレーム再生モードの場合とほぼ同様の処理を行う。すなわち図示しないが、図１９に示したステップＳＦ１１の処理を、再生フレーム番号（ｊ）を２つインクリメントする処理に変更した処理を行う。
【０２１５】
これにより、図２２（ａ）に示したように、記録時のサブフレームモードが３であった動画像については、２４０ｆｐｓで記録された全てのフレームを１フレームおきに間引きしながら順にデコードし６０ｆｐｓで表示させることにより、動画像を実速度の１／２の速度でスロー再生する。また、記録時のサブフレームモードが１であった動画像については、１フレームおきに間引かれて記録されている符号化データを更に１フレームおきに間引きしながら順にデコードし６０ｆｐｓで表示させることにより、動画像を実速度で再生する。さらに、記録時のサブフレームモードが０であった動画像については、３フレームおきに間引かれて記録されている符号化データを更に１フレームおきに間引きしながら順にデコードし６０ｆｐｓで表示させることにより、動画像を倍速再生（撮影時の２倍の速度で再生）する。
【０２１６】
なお、図２２（ａ）においても、符号化データが記録されているフレーム（記録フレーム）のみについて、ピクチャの種別（Ｉ，Ｐ，ｐ）及び動画記録時のフレーム番号を示してある。また、太枠で示したフレームが、再生時に使用される全フレーム再生用ｔｒａｋに全フレーム再生用インデックス情報１０１が格納されているフレームである。
【０２１７】
以上のように、１／２間引き再生においては、全フレーム再生用インデックス情報１０１を用いた復号処理を行うことにより、記録されている動画像を、動画記録時に設定されていたサブフレームモードの種類に応じ２倍スロー、実速、倍速の何れかの速度で再生する。
【０２１８】
（再生動作・倍速再生）
図２２（ｂ）は、倍速再生モードにおける各フレームのデコードと表示の有無を、動画記録時に設定されていたサブフレームモード別に示した概念図である。
【０２１９】
倍速再生モードにおいてＣＰＵ８は、前述した実速再生モードの場合とほぼ同様の処理を行う。すなわち図示しないが、図２０に示したステップＳＦ１１１の処理を、再生フレーム番号（ｊ）を２つインクリメントする処理に変更した処理を行う。
【０２２０】
これにより、図２２（ｂ）に示したように、記録時に設定されていたサブフレームモードの種類に関係なく、先頭フレームを含めた８フレーム毎のメインフレームのみを６０ｆｐｓで表示させることにより、動画像を倍速再生する（図２３参照）。なお、図２２（ｂ）に太枠で示したフレームが、再生時に使用される実速再生用ｔｒａｋに実速再生用インデックス情報１０２が格納されているフレームである。
【０２２１】
ここで、以上説明した本実施形態においても、前述した第２の実施形態と同様、動画記録時にはメインフレームのＰピクチャとサブフレームのＰピクチャとの双方を直前のメインフレームのＩピクチャ又はＰピクチャを参照画像として符号化する。そのため、動画像を再生する際には、前述したいずれの再生モードによって動画像を再生する場合であっても、また、動画記録時のサブフレームモードに関係なく、表示しないサブフレームの符号化データをデコードすることなく、表示対象のサブフレームの符号化データをデコードすることができる。
【０２２２】
したがって、動画記録時に設定されていたサブフレームモードの種類に応じて動画像を実速度の１／２の速度でスロー再生する場合や実速再生する場合、それを効率的に行うことができ、その場合におけるデータ処理量、消費電力を削減することができる。
【０２２３】
また、本実施形態においては、倍速再生モードを用いることにより、記録時に設定されていたサブフレームモードの種類に関係なく動画像を倍速再生することができ、また、記録時のサブフレームモードが０であった動画像については１／２間引き再生モードによって再生することによっても動画像を倍速再生することができる。
【０２２４】
しかも、動画記録時において、フレーム番号（ｉ）が８の倍数であるフレームのＰピクチャについては、直前のメインフレームのＩピクチャ、又はＰピクチャではなく、８フレーム前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化するようにした。そのため、動画像を倍速再生する場合においても、表示しないメインフレームの符号化データをデコードすることなく、表示対象のメインフレームの符号化データをデコードすることができる。したがって、動画像を倍速再生する場合についても、それを効率的に行うことができ、その場合におけるデータ処理量、消費電力を削減することができる。
【０２２５】
なお、本実施形態では、フレーム番号（ｉ）が８の倍数であるフレームのＰピクチャを、８フレーム前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化するようにしたが、例えばフレーム番号（ｉ）が１６の倍数であるフレームのＰピクチャを、１６フレーム前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化するようにしてもよい。つまりＰピクチャを、ｎフレームのＰピクチャ毎に、当該Ｐピクチャと最も近いフレームの他のＰピクチャの符号化時の参照画像を用いて符号化するようにしてもよい。その場合、動画像を更に速い速度で再生することができる。つまりｎ＝１６の場合は４倍速での再生が可能となる。
【０２２６】
また、本実施形態では、動画記録時において、メインフレーム間に存在させるサブフレーム数をサブフレームモードとして設定可能である。これにより、動画記録時に、例えば撮像部１において撮像される被写体の動きが遅い場合にはサブフレームモードを０に設定するといったように、被写体の動きの速度変化にあわせてサブフレームモードを設定することにより、フレーム間引きを伴う動画再生に不要なフレームの画像の符号化処理を省くことができる。したがって、動画記録時におけるデータ処理量、消費電力を削減することができる。同時に、メモリカード１０のメモリ消費量を削減することができる。
【０２２７】
また、本実施形態では、動画記録時に、再生時に復号対象とすべきＡｃｃｅｓｓ Ｕｎｉｔ（符号化データ）を示すインデックス情報として、前述した全フレーム再生用インデックス情報１０１と実速再生用インデックス情報１０２との双方を記録するようにした。これにより、動画再生時には、それらのインデックス情報を使い分けることにより、同一の動画ファイルに基づいて動画像の実速度の１／４の速度でスロー再生する全フレーム再生と実速再生とを実現することができる。しかも、ＭＰ４ファイルを再生可能な汎用の動画再生装置においても、それを実現することができる。
【０２２８】
なお、本実施形態においては、前記ＣＯＤＥＣ５が第１の実施形態で説明した動画記録装置と同様の構成である場合について説明したが、これに限らず、前記ＣＯＤＥＣ５は、第２の実施形態で説明した動画記録装置と同様に、バス制御部５１および参照バッファ５２と、並列に設けられた第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６からなる図７に示した構成としてもよい。その場合においても、記録モードにおいて図１８に示したように所定のフレームの画像を符号化させることにより、本実施形態と同様の効果を得ることができる。また、係る点については前述した第１の実施形態についても同様である。
【０２２９】
［変形例］
ここで、以上説明した第１の実施形態〜第３の実施形態においては、動画像の符号化、復号化を行うためのＣＯＤＥＣ５を有した動画記録装置について説明したが、動画像の符号化、復号化を所定のソフトウェアを用いることにより前記ＣＰＵ８に行わせる構成とすることもできる。その場合においても、前述したように動画像を実速度で再生するときのようにフレーム間引きを伴う動画再生に際しては、それを効率的に行うことができるため、全体のデータ処理量、消費電力を削減することができる。したがって、その場合にあっては、動画像の実速再生時と並行してより多様なデータ処理をＣＰＵ８に行わせることができ、またＣＰＵ８に過大な処理能力を確保せずとも、動画像の実速再生時と並行してより多様なデータ処理を行わせることができる。
【０２３０】
また、第１の実施形態〜第３の実施形態においては、前記動画記録装置が本発明の動画復号化装置としての機能を有した構成であって、前記動画記録装置によって記録した動画像を前記動画記録装置において再生する場合について述べたが、前述したように記録した動画像を、動画像の再生（復号化）機能を有する他の装置、又は再生（復号化）機能のみを有する装置において再生（復号化）する場合においても、再生（復号化）時における全体のデータ処理量、消費電力を削減することができる。
【０２３１】
これに関し、前記動画記録装置のように、動画像を２４０ｆｐｓで撮像（高速撮像）し、符号化する処理能力を有するものでは、基本的には２４０ｆｐｓで記録した動画データを２４０ｆｐｓで復号化し、表示することが可能である。これは先に述べたように符号化時には、ＭＰＥＧ方式と同様、復号化時と同じ予測画像を作るためのローカルデコードと呼ばれる復号処理が含まれているためである。
【０２３２】
したがって、前述した再生時における全体のデータ処理量を削減する効果、及びそれに付随して得られる効果、すなわち動画像の復号化を所定のソフトウェアを用いる場合の効果等については、２４０ｆｐｓで記録した動画像を、動画データの復号化処理能力として通常の表示フレームレート（例えば６０ｆｐｓ）に対応した能力を備えた一般的な再生装置に本発明の動画復号化方法を適用して実速再生等により再生する場合において最も顕著となる。
【０２３３】
一方、第１の実施形態〜第３の実施形態においては、記録モードによる記録時のフレームレートを２４０ｆｐｓとしたが、これ以外にも、記録時のフレームレートは再生時の表示フレームレート（６０ｆｐｓ）の整数（ｎ）倍であっても構わない。その場合、動画像の符号化、及び復号化に際しては、ｎフレーム毎のフレームをメインフレームとして符号化、及び復号化させるようにすれば、前述した各実施形態における実速再生モード（第１の実施形態では可変速再生モードでの実速再生中を含む）と同様に、動画の再生速度を実速度とすることができる。
【０２３４】
また、記録モードによる記録時において動画像を符号化するときのＩピクチャの挿入間隔を０．５秒（１２０フレーム毎）としたが、挿入間隔は何秒でもよく、また不定期としてもよい。さらには、Ｉピクチャを、実速再生モードで表示されるメインフレームだけでなく、実速再生モードでは表示されないサブフレームにも存在させてもよい。
【０２３５】
また、再生モードとして実速再生モード以外の再生モードを選択可能な構成としたが、動画像の再生を実速再生モードのみで行う構成としてもよい。
【０２３６】
一方、第１の実施形態〜第３の実施形態においては、前記ＣＯＤＥＣ５を動画像の符号化に際してＩピクチャ及びＰピクチャのみを作成する構成とする場合について述べたが、これに限らず、双方向予測回路を含む構成とし、符号化に際してＢピクチャ（双方向予測符号化画像）も作成する構成としてもよい。その場合、動画像の記録時には、Ｂピクチャを前述したサブフレーム（図６（ａ）、図１１（ａ）、図１８で「ｐ」のフレーム）に相当するフレーム位置に挿入すればよい。但し、その場合には、Ｂピクチャの作成には双方向の画像データを必要とするため、扱う情報量及び処理量が２倍になり、また一連のフレームの入力（撮像）・出力（表示）順と、符号化・復号化順が異なるため、処理が複雑化することとなる。
【０２３７】
また、第１の実施形態〜第３の実施形態においては、撮影した動画像を符号化するとき、一連のフレームの画像をＩピクチャ及びＰピクチャとして符号化する場合について説明したが、本発明は、あるフレームの画像データを、Ｐピクチャ（又はＢピクチャ）のように他のフレームを参照画像としたときの差分情報として符号化するフレーム間予測符号化技術を用いる方式であれば、他の方式で動画像を符号化方式する場合において適用することができる。例えばＩピクチャ（又はＢピクチャ）を動き補償によらないフレーム間予測符号化技術によって符号化する、つまり動きベクトル（ＭＶ）が含まれない差分情報のみの符号化データを生成するものや、各フレームをＤＣＴ係数以外の中間データに変換し、それを符号化するものであっても構わない。
【０２３８】
また、撮影した動画像を記録するだけでなく、記録した動画像の再生機能を備えた動画記録装置について説明したが、本発明は、再生機能を備えていない動画記録装置にも適用することができる。
【０２３９】
さらに、本発明は、動画像を符号化するものであれば、撮影によって取得される動画像に限らず、例えば他の装置から入力した動画像や、放送によって送られてくる動画像や、メモリに既に記録されている動画像を符号化する構成を有する種々の装置に採用することができる。
【０２４０】
また、第１及び２の実施形態においては、参照画像を用いてメインフレームを符号化する場合の参照フレームを直前のメインフレームとしたが、それより以前のメインフレームを用いてもよい。例えばフレーム番号（ｉ）が「８」以降のメインフレームの参照フレームを８フレーム前のメインフレームとしてもよい。さらには複数のメインフレームを参照フレームとして用いてもよい。つまりメインフレームをＢピクチャとして符号化してもよい。
【０２４１】
また、第３の実施形態においては、参照画像を用いてメインフレームを符号化する場合の参照フレームを直前の倍速フレーム、すなわち前述した倍速再生モードで表示対象となるフレーム（メインフレーム）としたが、それより以前の倍速フレームを用いてもよい。さらには複数の倍速フレームを参照フレームとして用いてもよい。つまりメインフレームをＢピクチャとして符号化してもよい。
【０２４２】
また、第１の実施形態においては、参照画像を用いてサブフレームを符号化する場合の参照フレームを直前のフレームとしたが、それより以前、あるいは以後のフレームを用いてもよい。さらには複数のフレームを参照フレームとして用いてもよい。つまりサブフレームをＢピクチャとして符号化してもよい。
【０２４３】
また、第２及び３の実施形態においては、参照画像を用いてサブフレームを符号化する場合の参照フレームを直前のメインフレームとしたが、それより以前のフレームを用いてもよい。さらには複数のメインフレームを参照フレームとして用いてもよい。つまりメインフレームをＢピクチャとして符号化してもよい。
【０２４４】
また、第１及び２の実施形態についても、第３の実施形態のように、ＭＰ４形式の動画ファイル形式を採用し、符号化データに全フレーム再生用インデックス情報１０１、実速再生用インデックス情報１０２を付加するようにして、動画像の再生（復号化）時には、全フレーム再生用インデックス情報１０１、実速再生用インデックス情報１０２を選択的に利用した再生動作を行うようにしてもよい。
【０２４５】
また、第３の実施形態についても、第２の実施形態のように、動画像の再生（復号化）時には、全フレーム再生用インデックス情報１０１、実速再生用インデックス情報１０２に代えてピクチャ・パラメータ（スライスタイプ、ｎａｌ＿ｒｅｆ＿ｉｄｃ、ｆｒａｍｅ＿ｎｕｍ、ＰＯＣ、参照画像指示情報）を利用した再生動作を行うようにしてもよい。
【図面の簡単な説明】
【０２４６】
【図１】本発明に係る動画記録装置を示す、各実施形態に共通するブロック図である。
【図２】記録モードによる動作を示すフローチャートである。
【図３】スロー再生モードによる動作を示すフローチャートである。
【図４】実速再生モードによる動作を示すフローチャートである。
【図５】可変速再生モードによる動作を示すフローチャートである。
【図６】（ａ）は記録モードで記録される動画データの構成を示す概念図、（ｂ）はスロー再生モードによる再生時における各フレームのデコードと表示の有無を示す概念図、（ｃ）は実速再生モードによる再生時における各フレームのデコードと表示の有無を示す概念図である。
【図７】第２の実施形態におけるＣＯＤＥＣの構成を示すブロック図である。
【図８】記録モードによる動作を示すフローチャートである。
【図９】ＣＯＤＥＣによる符号化処理を示すタイミングチャートである。
【図１０】Ｈ．２６４ストリームの概略構成を示す概念図である。
【図１１】図６に対応する概念図である。
【図１２】実速再生モードによる動作を示すフローチャートである。
【図１３】２倍スロー再生モードによる動作を示したフローチャートである。
【図１４】実速抜き出し編集モードによる動作を示したフローチャートである。
【図１５】第３の実施形態において記録するＭＰ４ファイルの概略構成図である。
【図１６】同ＭＰ４ファイルにおける、全フレーム再生用インデックス情報、及び実速再生用インデックス情報と、Ａｃｃｅｓｓ Ｕｎｉｔとの関係を示した図である。
【図１７】記録モードによる動作を示すフローチャートである。
【図１８】記録モードにおいて記録される動画データの構成を示す概念図である。
【図１９】全フレーム再生モードによる動作を示したフローチャートである。
【図２０】実速再生モードによる動作を示したフローチャートである。
【図２１】再生時における各フレームのデコードと表示の有無をサブフレームモード別に示した概念図である。
【図２２】再生時における各フレームのデコードと表示の有無をサブフレームモード別に示した概念図である。
【図２３】再生モードと動画再生速度と参照ｔｒａｋとの関係を示した図である。
【図２４】従来の技術の問題点を示す概念図である。
【符号の説明】
【０２４７】
１ 撮像部
２ 画像生成部
３ メモリバス
４ メモリ
５ ＣＯＤＥＣ
６ 表示制御部
７ ＬＣＤ
８ ＣＰＵ
９ メモリカード制御部
１０ メモリカード
１１ プログラムメモリ
１２ キー入力部
５１ バス制御部
５２ 参照バッファ
５３〜５６ 第１のＣＯＤＥＣ〜第４のＣＯＤＥＣ
６２ 属性情報
６２ａ ピクチャ種別情報
６２ｂ 参照先フレーム情報
１０１ ビデオｉｎｄｅｘ情報（全フレーム再生用インデックス情報）
１０２ ビデオｉｎｄｅｘ情報（実速再生用インデックス情報）
１１１ ＮＡＬヘッダ
１１２ スライスデータ
１２１ スライスヘッダ
１２２ スライスデータ本体
【技術分野】
【０００１】
本発明は、フレーム間予測技術を用いて動画像を符号化する動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置に関するものである。
【背景技術】
【０００２】
現在、動画像を圧縮符号化する技術としてＭＰＥＧ（Motion Picture Experts Group）方式が一般に使用されており、そのデータ構成は公知である（例えば下記特許文献１参照）。
【０００３】
概略を説明すると、ＭＰＥＧ方式では、動画像を構成する各フレーム（画像）がＩピクチャ（Intra-coded picture、フレーム内符号化画像）、Ｐピクチャ（Predictive-coded picture、順方向予測符号化画像）及びＢピクチャ（Bi-directionally predictive coded picture、双方向予測符号化画像）といった３タイプの画像に分類して符号化されている。
【０００４】
Ｉピクチャは、所定枚数の画像データをひとまとまりにしたＧＯＰ（Group OF Picture）の独立性を保つためにＧＯＰ内には必ず１枚は設けられる画像であり、フレーム間予測を用いることなく、そのフレームの情報だけで符号化（フレーム内符号化）される画像である。これに対し、Ｐピクチャは、過去のＩピクチャ又はＰピクチャを参照画像として、それらから一方向に動きを予測して符号化（順方向フレーム間予測符号化）される予測画像であり、Ｂピクチャは、時間軸上で前後にあるＩピクチャまたはＰピクチャを参照画像として、それらから双方向に動きを予測して符号化（双方向予測符号化）される予測画像である。また、Ｐピクチャ及びＢピクチャは、１６×１６画素のマクロブロック単位で求められた動きベクトル（ＭＶ）と、その予測画像を同一タイミングのフレーム（実画像）と比較したときの差分画像（予測誤差）のＤＣＴ（Discrete Cosine Transform）係数を符号化したデータとによって表現される。
【０００５】
そして、ＭＰＥＧ方式で圧縮符号化された動画像の再生時には、Ｉピクチャについては、そのまま復号を行い元の時間軸の画像データに戻される。また、Ｐピクチャ及びＢピクチャについては、前記予測誤差（ＤＣＴ係数）が復号・逆ＤＣＴ変換により取得され、先に復号されている他のフレーム（Ｐピクチャでは過去のフレーム、Ｂピクチャでは過去又は未来のフレーム）を参照画像とし動きベクトル（ＭＶ）を用いて予測画像が作成された後、作成された予測画像と前記予測誤差とから元の時間軸の画像データが作成されることとなる。
【特許文献１】特開２００３−１７９９３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したようにＭＰＥＧ方式で圧縮符号化された動画像の再生時には、Ｐピクチャ及びＢピクチャを表示可能な画像データとするためには、いずれかのフレームのＩピクチャを起点とするフレーム毎の一連のデコード、逆ＤＣＴ変換を行いフレーム毎に予測画像を作成することが不可欠となっている。
【０００７】
そのため、フレームを間引いて表示する場合においては、実際には表示しない無用のフレーム（ＰピクチャまたはＢピクチャ）についてもデコード等の処理を行わなければならなかった。つまりフレーム間引きを伴う動画再生を行う場合の処理効率が極めて低いという問題があった。
【０００８】
図２４はそれを示したものである。すなわち同図（ａ）は、ＭＰＥＧ方式による動画像の符号化データ中のあるＩピクチャ（Ｉ０）と、それを起点としたＰピクチャ（Ｐ１，Ｐ２，Ｐ３，・・・）、及び各Ｐピクチャの符号化に参照される参照画像を示した図である。同図（ｂ）は、記録時及び再生時のフレームレートが共に２４０ｆｐｓである場合（フレーム間引きを行わない場合）の各フレームのデコード処理及び表示の有無、同図（ｃ）は、再生時のフレームレートが６０ｆｐｓである場合（フレーム間引きを行う場合）の各フレームのデコード処理及び表示の有無を示した図である。なお、図２４は、Ｂピクチャが存在しないフレーム区間の例であり、図示しないがＢピクチャの作成に際しては時間軸上で前後に位置するＩピクチャ又はＰピクチャのフレームが参照される。
【０００９】
係ることから、フレーム間引きを行って動画像を再生するときには、フレーム間引きを行わない場合とほぼ同様のデータ処理が必要であり、電力が無駄に消費される。また、フレーム間引きを行う動画再生を所定のソフトウェアを用いてＣＰＵ（中央処理装置）等により行う構成では、ＣＰＵ等の処理負担が大きいため、動画像の再生と並行して実行可能な他の処理が制限され、また動画像の再生と並行して所定の処理を実行可能とするためＣＰＵ等に過大な処理能力を確保する必要を生じさせることとなっていた。
【００１０】
本発明は、かかる従来の課題に鑑みてなされたものであり、フレーム間引きを伴う動画再生を効率的に行い得る動画像の符号化データを得ることができる動画符号化装置および動画符号化方法と、上記符号化データを復号化することができる動画復号化装置および動画復号化方法、さらには、撮影した動画像を上記符号化データとして記録可能な動画記録装置、それらの実現に使用されるプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記課題を解決するため請求項１記載の発明に係る動画符号化装置にあっては、動画像を符号化する動画符号化装置において、所定の撮像フレームレートで撮像された動画像における各フレームの画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、符号化後における前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段とを備えたことを特徴とする。
【００１２】
また、請求項２記載の発明に係る動画符号化装置にあっては、前記所定のフレーム間隔は、前記撮像フレームレートを前記表示フレームレートで割った値の整数倍であることを特徴とする。
【００１３】
また、請求項３記載の発明に係る動画符号化装置にあっては、前記符号化制御手段は、前記符号化手段が前記特定画像をフレーム間予測符号化するときの参照画像を、直近の他の特定画像に制限することを特徴とする。
【００１４】
また、請求項４記載の発明に係る動画符号化装置にあっては、前記符号化制御手段は、前記特定画像を第１の特定画像と第２の特定画像とに分け、前記符号化手段が前記第１の特定画像をフレーム間予測符号化するときの参照画像を直近の他の特定画像に制限し、かつ前記符号化手段が前記第２の特定画像をフレーム間予測符号化するときの参照画像を１つ隔てた他の特定画像に制限することを特徴とする。
【００１５】
また、請求項５記載の発明に係る動画符号化装置にあっては、前記符号化手段は、フレーム間予測符号化に際して、先行する側のフレームの画像のみを参照画像として使用することを特徴とする。
【００１６】
また、請求項６記載の発明に係る動画符号化装置にあっては、前記符号化手段は、フレーム間予測符号化に際して、先行する側のフレームの画像、又は前後双方のフレームの画像を参照画像として使用することを特徴とする。
【００１７】
また、請求項７記載の発明に係る動画符号化装置にあっては、前記符号化手段により符号化された動画データを、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む復号化処理によって復号化する復号化手段と、この復号化手段による動画データの復号化対象を前記所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段とを備えたことを特徴とする。
【００１８】
また、請求項８記載の発明に係る動画符号化装置にあっては、前記符号化制御手段は、動画像の符号化時に設定されている動作モードの種類に応じ、前記符号化手段による前記特定画像以外の非特定画像を対象とするフレーム間予測符号化の有無を制御することを特徴とする。
【００１９】
また、請求項９記載の発明に係る動画符号化装置にあっては、前記符号化手段により符号化された一連の符号化画像からなる動画データに、前記特定画像の復号化時における参照画像として他の特定画像を示す参照画像指示情報を付加する参照先情報付加手段を備えたことを特徴とする。
【００２０】
また、請求項１０記載の発明に係る動画符号化装置にあっては、前記符号化手段により符号化された一連の画像からなる動画データに、復号化対象の画像として前記特定画像のみを示す復号対象情報を付加する復号対象情報付加手段を備えたことを特徴とする。
【００２１】
また、請求項１１記載の発明に係る動画符号化装置にあっては、前記復号対象情報付加手段は、前記復号対象情報として、前記特定画像の一部の特定画像のみからなる一連の画像を示すインデックス情報を付加することを特徴とする。
【００２２】
また、請求項１２記載の発明に係る動画符号化装置にあっては、前記符号化手段により符号化された一連の画像からなる動画データに、復号化対象とすべき一連の画像を示すインデックス情報として、前記符号化手段により符号化された全フレームの画像を示す第１のインデックス情報と、前記特定画像のみからなる一連の画像を示す第２のインデックス情報とを付加するインデックス情報付加手段を備えたことを特徴とする。
【００２３】
また、請求項１３記載の発明に係る動画符号化装置にあっては、前記参照画像を一時記憶する記憶する参照画像記憶手段を備え、この参照画像記憶手段に対し並列に設けられ前記符号化手段を構成するとともに、前記参照画像記憶手段に一時記憶された同一の参照画像を使用して連続する複数フレームの画像を同期した符号化処理により個別に符号化する前記所定のフレーム間隔に応じた数の符号化手段とを備えたことを特徴とする。
【００２４】
また、請求項１４記載の発明に係る動画符号化装置にあっては、動画像を符号化する動画符号化装置において、所定のフレームレートで撮像された動画像における各入力する一連のフレームの画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、符号化後における前記動画像が撮像時のフレームレートよりも遅いフレームレートで、かつ再生時間を撮像時間と一致させて表示させる場合に表示対象となる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段とを備えたことを特徴とする。
【００２５】
また、請求項１５記載の発明に係る動画符号化方法にあっては、動画像を符号化する動画符号化方法において、所定の撮像フレームレートで撮像された動画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化するとともに、符号化後における前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像の前記フレーム間予測符号化に際しては他の特定画像を参照画像として使用することを特徴とする。
【００２６】
また、請求項１６記載の発明にあっては、動画像を符号化する動画符号化装置が有するコンピュータを、所定の撮像フレームレートで撮像された動画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、符号化後における前記動画像を前記撮像時のフレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段として機能させるためのプログラムとした。
【００２７】
また、請求項１７記載の発明に係る動画記録装置にあっては、撮影した動画像を記録する動画記録装置において、動画像を撮影する撮影手段と、この撮影手段により所定の撮像フレームレートで撮影された動画像における各フレームの画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、この符号化手段により符号化された動画データを記録する記録手段と、この記録手段に記録された動画データに基づく動画像を前記撮像時のフレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段とを備えたことを特徴とする。
【００２８】
また、請求項１８記載の発明に係る動画記録装置にあっては、動画像の記録時に設定されている記録モードの種類に応じ、前記記録手段に対する前記特定画像以外の非特定画像の符号化画像の記録の有無を制御する記録制御手段をさらに備えたことを特徴とする。
【００２９】
また、請求項１９記載の発明に係る動画記録装置にあっては、前記記憶手段に記憶されている動画データを構成する一連の符号化画像から、前記特定画像の符号化画像を抽出する抽出手段と、この抽出手段により抽出された符号化画像を、相互の前後関係を維持したまま新たな動画データとして前記記憶手段に記憶させる動画編集手段とをさらに備えたことを特徴とする。
【００３０】
また、請求項２０記載の発明に係る動画復号化装置にあっては、所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化装置において、前記動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理によって復号化する復号化手段と、この復号化手段による前記動画データの復号化対象を、前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段とを備えたことを特徴とする。
【００３１】
また、請求項２１記載の発明に係る動画復号化装置にあっては、前記復号化制御手段は、前記復号化手段に、前記特定画像のフレーム間予測復号化に際しては、前記動画データに付加されている参照画像指定情報により示されている、復号化対象と異なる他の特定画像を参照画像として使用させることを特徴とする。
【００３２】
また、請求項２２記載の発明に係る動画復号化装置にあっては、前記動画データに付加されている参照画像指定情報は、前記特定画像の復号化時の参照画像として直近の他の特定画像を示す情報であることを特徴とする。
【００３３】
また、請求項２３記載の発明に係る動画復号化装置にあっては、前記復号化制御手段は、前記動画データの復号化時に設定されている動作モードが第１の動作モードであるときには、前記復号化手段によるフレーム間予測復号化の対象を直近の他の特定画像を参照画像とする第１の特定画像、及び１つ隔てた他の特定画像を参照画像とする第２の特定画像のみに制限し、前記動画データの復号化時に設定されている動作モードが第２の動作モードであるときには、前記復号化手段によるフレーム間予測復号化の対象を１つ隔てた他の特定画像を参照画像とする第２の特定画像のみに制限することを特徴とする。
【００３４】
また、請求項２４記載の発明に係る動画復号化装置にあっては、前記復号化制御手段は、前記復号化手段による前記動画データの復号化対象を、前記動画データに付加されている復号対象情報により示される前記特定画像のみに制限することを特徴とする。
【００３５】
また、請求項２５記載の発明に係る動画復号化装置にあっては、前記復号化制御手段は、前記復号化手段による前記動画データの復号化対象を、前記特定画像のうちで、前記動画データに付加されている復号対象情報により示される前記特定画像のみに制限することを特徴とする。
【００３６】
また、請求項２６記載の発明に係る動画復号化装置にあっては、前記復号化制御手段は、復号化手段による復号化処理に際し、前記動画データに予め付加されているとともに復号対象として互いに異なる画像を示す第１のインデックス情報又は第２のインデックス情報を選択的に使用することにより、前記動作モードが第１の再生モードであるとき、復号化手段に全てのフレームを対象とする復号化処理を行わせ、かつ前記動作モードが第２の再生モードであるとき、復号化手段に所定のフレーム間隔の特定画像のみを対象とする復号化処理を行わせることを特徴とする。
【００３７】
また、請求項２７記載の発明に係る動画復号化装置にあっては、所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化装置において、前記動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理によって復号化する復号化手段と、この復号化手段による前記動画データの復号化対象を、符号化後における前記動画像を前記撮像時のフレームレートよりも遅いフレームレートで、かつ再生時間を撮像時間と一致させて表示させる場合に表示対象となる所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段とを備えたことを特徴とする。
【００３８】
また、請求項２８記載の発明に係る動画復号化方法にあっては、所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化方法において、前記動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理により復号化するとともに、その復号化処理による復号化対象を、前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像のみに制限し、該特定画像の前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用することを特徴とする。
【００３９】
また、請求項２９記載の発明にあっては、所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化装置が有するコンピュータを、動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理によって復号化する復号化手段と、この復号化手段による前記動画データの復号化対象を、前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段として機能させるためのプログラムとした。
【００４０】
また、請求項３０記載の発明に係るデータ構造にあっては、所定の撮像フレームレートで撮像された動画像が符号化されているとともに動画復号化装置により復号化される動画データのデータ構造において、動画復号化装置により復号化し前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像の符号化データであって、他の特定画像を参照画像としてフレーム間予測符号化された符号化データと、前記特定画像の復号化時に参照画像とすべき前記他の特定画像を示す参照画像指示情報とを含むことを特徴とする。
【００４１】
また、請求項３１記載の発明に係るデータ構造にあっては、前記動画復号化装置が復号化対象とすべき画像として前記特定画像のみを示す復号対象情報を含むことを特徴とする。
【００４２】
また、請求項３２記載の発明に係るデータ構造にあっては、前記復号対象情報として、前記特定画像の一部の特定画像のみからなる一連の符号化データを示すインデックス情報を含むことを特徴とする。
【００４３】
また、請求項３３記載の発明に係るデータ構造にあっては、前記動画復号化装置が復号化対象とすべき画像を示すインデックス情報として、全フレームの画像を示す第１のインデックス情報と、前記特定画像のみからなる一連の画像を示す第２のインデックス情報とを含むことを特徴とする。
【発明の効果】
【００４４】
本発明の動画符号化装置および動画符号化方法によれば、フレーム間引きを伴う動画再生を効率的に行い得る動画像の符号化データを得ることが可能となる。また、本発明の動画復号化装置および動画復号化方法によれば、上記符号化データを復号化することができる。また、本発明の動画記録装置によれば、撮影した動画像を上記符号化データとして記録することが可能となる。
【発明を実施するための最良の形態】
【００４５】
以下、本発明の好ましい実施形態を図にしたがって説明する。
［実施形態１］
まず、第１の実施形態について説明する。図１は、本実施形態に係る動画記録装置（デジタルカメラ）の電気的構成の概略を示すブロック図である。この動画記録装置は、動画像の記録機能と再生機能とを備えたものであり、以下の構成を備えている。
【００４６】
すなわち、動画記録装置は動画像を撮影するための撮像部１を有している。撮像部１は本発明の撮影手段であり、光学系から入力した被写体光Ｌによる光学像を電気信号に変換するＣＣＤやＣＭＯＳセンサ等のイメージセンサ、イメージセンサの出力信号をデジタル信号に変換するＡ／Ｄコンバータ等から構成され、変換後のデジタル信号すなわち撮像信号を画像生成部２へ出力する。
【００４７】
画像生成部２は、撮像部１から所定のフレームレートで出力された撮像信号から画像データを逐次生成する。ここで生成される画像データは輝度成分Ｙ、色差成分Ｃｂ，Ｃｒから構成され、その画像データは動画像を構成する一連のフレームデータとして、メモリバス３を介してメモリ４に逐次格納される。メモリ４にいったん格納された画像データは、記録時にはＣＯＤＥＣ５に順次入力される。なお、メモリ４には複数フレーム分の画像データが格納される。
【００４８】
ＣＯＤＥＣ５は、動き補償によるフレーム間予測技術を用いた符号化方式により動画データを符号化したり、符号化データを復号化したりする本発明の符号化手段及び復号化手段である。より具体的には、動画像を構成する一連のフレーム（画像データ）を、ＭＰＥＧ方式（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ.２６４等）におけるＩピクチャ（フレーム内符号化画像）、及びＰピクチャ（順方向フレーム間予測符号化画像）として符号化したり、符号化データを復号化したりするための、直交変換回路、量子化回路、動き検出回路、順方向予測回路、符号化回路、復号化回路、逆直交変換回路、フレームメモリ等から構成されている。
【００４９】
ＣＯＤＥＣ５は、記録時には、メモリ４から順次入力する画像データ（一連のフレームデータ）を符号化する間、Ｉピクチャを符号化する場合は、そのフレームの情報だけを用いた符号化（フレーム内符号化）処理を行い前記メモリ４に出力する。その際には、前記画像データを、次フレームのＰピクチャの符号化に際して使用される画像データ（参照画像）として前記メモリ４に蓄積する。
【００５０】
また、Ｐピクチャを符号化する場合は、それ以前のフレームの符号化に際して前記メモリ４に蓄積されていた参照用の画像データ（参照画像）を読み出し、その参照画像と当該フレームの画像とを用いた符号化（順方向フレーム間予測符号化）処理を行い、メモリ４に出力する。なお、ここで出力される符号化データには動きベクトル（ＭＶ）や、当該符号化データがＩピクチャかＰピクチャかのピクチャ種別や、復号時における参照先のフレーム等を示す属性情報も含まれる。
【００５１】
さらに、Ｐピクチャの符号化に際しては、当該フレームの画像データを次フレームのＰピクチャの符号化に際して使用する参照画像のデータとして前記メモリ４に蓄積する。より具体的には、符号化したＰピクチャに対してローカルデコード（動画データの復号化に際して作成される予測画像と同一の予測画像を作るための復号処理）を行って予測画像を作成し、その画像データを参照画像のデータとして前記メモリ４に蓄積する。なお、前述したＩピクチャ及びＰピクチャ（符号化データ）と、参照画像（画像データ）とは、前記メモリ４に確保される所定の領域に別々に格納される。
【００５２】
上記のように前記ＣＯＤＥＣ５によって生成されメモリ４に格納された符号化データは、ＣＰＵ８によって前記属性情報が付加されることにより動画ファイルとなり、メモリカード制御部９によってメモリカード１０に記録される。
【００５３】
また、記録時に画像生成部２により生成されメモリ４に格納された画像データは、表示制御部６によって順次読み出されるとともにＬＣＤ（液晶表示器）７に送出され、ＬＣＤ７において画面表示される。
【００５４】
一方、メモリカード１０に記録された動画ファイルは、再生時にメモリカード制御部９によって読み出され、ＣＰＵ８によって符号化データ部分が取り出された後、前記ＣＯＤＥＣ５へ送られる。送られた符号化データ（動画データ）は、前記ＣＯＤＥＣ５によって、後述するように３種類の再生モード（実速再生モード、スロー再生モード、可変速再生モード）に応じた動作により復号される。復号された動画データはメモリ４に格納される一方、前記表示制御部６によってフレーム毎に順に読み出されるとともにＬＣＤ７に送出され、動画像として画面表示される。
【００５５】
前記ＣＰＵ８は、プログラムメモリ１１に記憶されている所定のプログラムに従い上述した各部を制御するとともに、ユーザが動画記録装置を操作するために設けられている各種の操作キーからなるキー入力部１２におけるキー操作状態を逐次検出し、所定のキー操作に応じた制御を行う。
【００５６】
そして、ＣＰＵ８は、記録時には前述した撮像部１、画像生成部２、ＣＯＤＥＣ５を２４０ｆｐｓのフレームレートで動作させる、つまり高速撮像を行わせるとともに、表示制御部６を常に６０ｆｐｓのフレームレート（以下、表示フレームレートという。）で動作させる。また、動画記録装置においてメモリカード１０に記録した動画像の再生時には、ＣＯＤＥＣ５を前記表示フレームレートと同じ６０ｆｐｓのフレームレートで動作させるとともに、後述する３種類の再生モード（実速再生モード、スロー再生モード、可変速再生モード）に応じて制御することにより本発明の復号化制御手段として機能する。
【００５７】
前記プログラムメモリ１１は、ＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリであって、前述した所定のプログラム以外にも、ユーザにより設定、又は変更された装置の各機能に関する他の設定データが記憶されている。
【００５８】
前記キー入力部１２には、ユーザが、動画記録装置の動作モードを記録モードと再生モードとに切り替えるモード切替キー、記録モードでの記録開始及び記録終了、再生モードでの再生開始及び再生終了を指示する操作キー等が設けられている。
【００５９】
また、本実施形態においては、再生モードとして先に述べた実速再生モード、スロー再生モード、可変速再生モードの３種類が用意されている。実速再生モードは、動画像の動き速度（以下、再生速度という）を実速度とするモード、スロー再生モードは、再生速度を実速度よりも遅い１／４の速度とするモードであり、双方の再生モードは再生速度を上記速度に固定した状態で動画像を再生する際に使用される。可変速再生モードは、実速再生モード及びスロー再生モードとは異なり、再生中において動画像の再生速度を実速度と実速度の１／４の速度とに適宜変更可能とするモードである。なお、各々の再生モードは動画像の再生前において設定可能であり、前記モード切替キーの操作によってユーザが、動画像の再生に先立ちいずれかの再生モードを選択的に設定できるようになっている。
【００６０】
また、前記キー入力部１２には、可変速再生モードによる動画像の再生中にユーザが動画像の再生速度を実速度と前記１／４の速度とに切り替えるための速度切替キーが設けられており、前記キー入力部１２によって本発明の操作手段が実現されている。
【００６１】
以下、本実施形態における本発明に係る動作について説明する。
【００６２】
（記録動作）
まず、記録モードによる動画撮影記録時の動作を説明する。図２は、ＣＰＵ８によるＣＯＤＥＣ５の制御内容を示したフローチャートである。動画撮影記録時において、ＣＰＵ８は前述したように２４０ｆｐｓのフレームレートで撮像部１、画像生成部２、ＣＯＤＥＣ５を動作させるとともに、各部をフレーム単位で同期させる。
【００６３】
そして、撮影記録開始に伴いＣＰＵ８は、まずフレーム番号（ｉ）を初期化する（ステップＳＡ１）。なお、フレーム番号の初期値（先頭フレームの番号）は「０」である。以後、ＣＰＵ８は、メモリ４への１フレーム分の画像データの入力（蓄積）を待ってから（ステップＳＡ２）、フレーム毎にフレーム番号（ｉ）をインクリメントしながら以下に述べる符号化処理を前記ＣＯＤＥＣ５に行わせる。
【００６４】
まず、動作開始直後の１フレーム目（ｉ＝０）を含め、フレーム番号（ｉ）が１２０の倍数であれば（ステップＳＡ３でＹＥＳ）、メモリ４に蓄積されている今回の画像データを読み出してＣＯＤＥＣ５に入力し、ＣＯＤＥＣ５にＩピクチャをエンコードさせる。すなわちＣＯＤＥＣ５は入力した画像データのみに基づいたフレーム内符号化を行い、符号化データをメモリ４へ出力する（ステップＳＡ４）。また、このときには、符号化データをデコードしたローカルデコード画像を、次フレームのＰピクチャの符号化時に使用する画像データ（参照画像）として、符号化データとは別に前記メモリ４に蓄積する。さらに、この符号化データに対して前述した属性情報を付加する（ステップＳＡ５）。
【００６５】
そして、撮影が終了するまでの間（ステップＳＡ６でＮＯ）、フレーム番号（ｉ）をインクリメントした後（ステップＳＡ７）、ステップＳＡ２へ戻って上記処理を繰り返す。すなわちＣＯＤＥＣ５に、フレーム番号（ｉ）が「１２０」の倍数になる毎、つまりフレームレートが２４０ｆｐｓであるため０．５秒毎に入力する画像データをＩピクチャとして符号化させる。
【００６６】
また、上記処理を繰り返す間、メモリ４に入力された画像データのフレーム番号（ｉ）が１２０の倍数以外で（ステップＳＡ３でＮＯ）、かつそれが４の倍数であれば（ステップＳＡ８でＹＥＳ）、４フレーム前のフレームの符号化処理に際してメモリ４に蓄積しておいた参照画像と、同じくメモリ４に蓄積されている今回の画像データとを読み出してＣＯＤＥＣ５に入力し、ＣＯＤＥＣ５に、それを用いたＰピクチャのエンコードを行わせる（ステップＳＡ９）。すなわち３フレームおきに、４フレーム前のフレームの画像を参照画像として使用した動き補償によるフレーム間、フレーム内予測符号化による符号化を行わせ、符号化データをメモリ４へ出力させる。また、このとき、ＣＯＤＥＣ５は、符号化したＰピクチャに対して前述したローカルデコードを行って予測画像を作成し、その画像データを次フレーム（但し、Ｐピクチャ）の符号化時に使用する参照画像として、符号化データとは別に前記メモリ４に蓄積する。さらに、この符号化データに対して前述した属性情報を付加する（ステップＳＡ５）。
【００６７】
これに対し、メモリ４に入力された画像データのフレーム番号（ｉ）が４の倍数でなければ（ステップＳＡ３，ＳＡ８が共にＮＯ）、直前のフレームの符号化処理に際してメモリ４に蓄積しておいた参照画像と、同じくメモリ４に蓄積されている今回の画像データとを読み出してＣＯＤＥＣ５に入力し、ＣＯＤＥＣ５に、それを用いたＰピクチャのエンコードを行わせ、符号化データをメモリ４へ出力させる（ステップＳＡ１０）。つまり通常の動き補償によるフレーム間、フレーム内予測符号化を行わせる。また、このときも、ＣＯＤＥＣ５は、符号化したＰピクチャに対して前述したローカルデコードを行って予測画像を作成し、その画像データを次フレーム（但し、Ｐピクチャ）の符号化時に使用する参照画像として、符号化データとは別に前記メモリ４に蓄積する。さらに、この符号化データに対して前述した属性情報を付加する（ステップＳＡ５）。
【００６８】
以後、撮影が終了するまでの間は（ステップＳＡ６でＮＯ）、上述した全ての処理を繰り返し、撮影が終了した時点で記録動作を終了する。なお、前記メモリ４に蓄積された一連の符号化データ、及びそれにフレーム毎に付加された属性情報は、前記メモリカード制御部９によってメモリカード１０に送られ動画ファイルとして記録される。以上の処理は撮像部１及び画像生成部２とフレーム単位で同期して行われる。
【００６９】
図６（ａ）は、上述した処理によって生成された符号化データ６１、及びそれに付加される前記属性情報６２、つまりピクチャ種別情報６２ａと参照先フレーム情報６２ｂとを概念的に示した図である。なお、Ｈ．２６４においては、上記符号化データ６１がスライスデータ本体として動画ファイルに格納される。一方、ピクチャ種別情報６２ａは各ピクチャの種別を示すスライスタイプとしてスライスヘッダに格納され、参照先フレーム情報６２ｂは、各ピクチャの復号時における参照先の画像（ピクチャ）を示す参照画像指示情報として、符号化データ６１と共にスライスデータ本体に格納される。また、参照画像指示情報（参照先フレーム情報６２ｂ）としては、参照先の画像が直前の参照ピクチャ（参照されるピクチャ）であれば「０」、それより１つ前の参照ピクチャであれば「１」、さらに１つ前の参照ピクチャであれば「２」、といったように符号化時の順序とは逆に、そのフレームから離れるに従い増加する値が規定されている。
【００７０】
また、図に示した符号化データ６１おいて、「Ｉ」はＩピクチャ、「Ｐ」はＩピクチャ以外のフレーム番号（ｉ）が４の倍数であるフレームのＰピクチャであり、「ｐ」はフレーム番号（ｉ）が４の倍数以外のフレームのＰピクチャである。つまり本実施形態においては、「Ｉ」及び「Ｐ」が本発明における所定のフレーム間隔の特定画像である。また、矢印で示したフレームが、各Ｐピクチャの符号化時における参照先のフレーム（参照画像）である。なお、以下の説明においては、「Ｉ」及び「Ｐ」のフレームをメインフレーム、「ｐ」のフレームをサブフレームと呼ぶ。
【００７１】
また、上記符号化データ６１には、ピクチャ種別情報６２ａとしてＩピクチャであれば「Ｉ」、Ｐピクチャであれば「Ｐ」といった値がフレーム毎に付加される。また、Ｉピクチャのフレームを除きＰピクチャのフレームには、参照先フレーム情報６２ｂとして前述した所定の値が付加される。すなわち参照先フレーム情報６２ｂとして、全てのサブフレーム（ｐ１，ｐ２，ｐ３等）には直前の参照ピクチャ（参照されるピクチャ）を示す「０」がそれぞれ付加され、メインフレーム（Ｐ４，Ｐ８，Ｐ１２）にはフレーム順で４つ前の参照ピクチャ（参照されるピクチャ）を示す「３」がそれぞれ付加される。
【００７２】
（再生動作）
次に、本実施形態における前述した各再生モード（実速再生モード、スロー再生モード、可変速再生モード）よる再生時の動作を図３〜図５に従い説明する。
【００７３】
ここでは、上述した記録動作によってメモリカード１０に記録された動画像（動画ファイル）を再生するものとする。なお、各再生モードにおいては、ＣＰＵ８が、メモリカード１０に記録されているとともにユーザによって選択された任意の動画ファイルをメモリカード制御部９を介して読み出し、読み出した動画ファイルの符号化データ部分を取り出し、その符号化データ部分のＣＯＤＥＣ５への転送を６０ｆｐｓのフレームレートで開始することにより、動画像の再生が開始される。
【００７４】
（再生動作・スロー再生）
まず、スロー再生モードでの動作を図３のフローチャートに従い説明する。ユーザによりスロー再生モードが設定されているとき、ＣＰＵ８は、ＣＯＤＥＣ５、表示制御部６を６０ｆｐｓのフレームレートで動作させる。
【００７５】
そして、再生開始に伴いＣＰＵ８は、まずフレーム番号（ｉ）を初期化する（ステップＳＢ１）。なお、フレーム番号の初期値は記録時と同様「０」である。
【００７６】
次に、フレーム番号（ｉ）の符号化データから前述した属性情報６２（ピクチャ種別情報６２ａ、参照先フレーム情報６２ｂ）を読み出し（ステップＳＢ２）、そのピクチャ種別情報６２ａによって示されるピクチャの種別がＩピクチャであるか否かを判別する（ステップＳＢ３）。ここで、再生開始当初のようにＩピクチャであれば（ステップＳＢ３でＹＥＳ）、ＣＯＤＥＣ５にＩピクチャをデコードさせる。すなわちフレーム内復号化により画像データを復号し、その画像データをメモリ４へ出力する動作を行わせる（ステップＳＢ４）。
【００７７】
また、フレーム番号（ｉ）の符号化データがＩピクチャでなければ（ステップＳＢ３でＮＯ）、Ｐピクチャつまり図６（ａ）に示したＰピクチャ又はｐピクチャ（メインフレーム又はサブフレームの符号化データ）をデコードさせる。すなわちステップＳＢ２で読み出した参照先フレーム情報６２ｂによって示される参照先のフレームの画像、つまりＰピクチャ（メインフレーム）であればメモリ４に蓄積しておいた４フレーム前の画像、ｐピクチャ（サブフレーム）であればメモリ４に蓄積しておいた１フレーム前の画像をそれぞれ参照画像として用いたフレーム間予測復号化によって画像データを復号させる。より具体的には、参照画像と復号化した動画ベクトルから予測画像を作成させ、その予測画像と復号化した差分画像から当該フレームの画像を作成させ、その画像データをメモリ４へ出力させる（ステップＳＢ５）。
【００７８】
そして、１／６０秒の表示フレームレートによるタイミング待ちを行った後（ステップＳＢ６）、復号化された画像データをメモリ４から読み出し、その画像データを表示制御部６へ送る。それにより表示制御部６に、表示フレームレートによる表示タイミングでＬＣＤ７の表示画像を更新させる（ステップＳＢ７）。
【００７９】
以後、最終フレームの処理が終了するまでは（ステップＳＢ８でＮＯ）、フレーム番号（ｉ）をインクリメントした後（ステップＳＢ９）、ステップＳＢ２へ戻って前述した処理を繰り返し、全ての符号化データの復号化（全フレームの表示）が終了した時点（ステップＳＢ８でＹＥＳ）で再生を終了する。
【００８０】
これにより、図６（ｂ）に示したように、２４０ｆｐｓで撮影記録された全てのフレームを順にデコードし、記録されている全てのフレームの画像データを６０ｆｐｓで表示させることにより、動画像を実速度の１／４の速度でスロー再生する。
【００８１】
（再生動作・実速再生）
次に、実速再生モードでの動作を図４のフローチャートに従い説明する。ユーザにより実速再生モードが設定されているときにおいても、ＣＰＵ８は、ＣＯＤＥＣ５、表示制御部６を６０ｆｐｓのフレームレートで動作させる。
【００８２】
そして、再生開始に伴いＣＰＵ８は、まずフレーム番号（ｉ）を初期化する（ステップＳＢ１０１）。なお、フレーム番号の初期値は記録時と同様「０」である。
【００８３】
次に、フレーム番号（ｉ）が４の倍数（初期値「０」を含むものとする）であるか否か、つまり前述したメインフレーム（図６（ａ）で「Ｉ」又は「Ｐ」のフレーム）であるか否かを判別する（ステップＳＢ１０２）。ここで、再生開始直後のようにフレーム番号（ｉ）が４の倍数であれば（ステップＳＢ１０２でＹＥＳ）、引き続き、符号化データから属性情報を読み出し（ステップＳＢ１０３）、この属性情報によって示されるピクチャ種別がＩピクチャであるか否かを判別する（ステップＳＢ１０４）。
【００８４】
そして、前述したスロー再生モードによるステップＳＢ４〜ＳＢ９と同様、再生開始当初における先頭フレームのようにＩピクチャであれば（ステップＳＢ１０４でＹＥＳ）、ＣＯＤＥＣ５に、Ｉピクチャをデコードさせる。すなわちフレーム内復号化により画像データを復号し、その画像データをメモリ４へ出力する動作を行わせる（ステップＳＢ１０５）。また、Ｉピクチャでなければ（ステップＳＢ１０４でＮＯ）、Ｐピクチャをデコードさせる。すなわちステップＳＢ１０３で読み出した属性情報によって示される参照先のフレームの画像（メモリ４に蓄積しておいた４フレーム前の画像＝直前のメインフレームの画像）を参照画像として用いたフレーム間予測復号化によって画像データを復号させ、その画像データをメモリ４へ出力させる（ステップＳＢ１０６）。ただし、ここでデコードさせるＰピクチャは、スロー再生モードとは異なりメインフレーム（図６（ａ）で「Ｐ」のフレーム）のみのＰピクチャとなる。
【００８５】
そして、１／６０秒の表示フレームレートによるタイミング待ちを行った後（ステップＳＢ１０７）、復号化された画像データをメモリ４から読み出し、その画像データを表示制御部６へ送る。それにより表示制御部６に、表示フレームレートによる表示タイミングでＬＣＤ７の表示画像を更新させる（ステップＳＢ１０８）。
【００８６】
引き続き、最終フレームの処理が終了していなければ（ステップＳＢ１０９でＮＯ）、フレーム番号（ｉ）をインクリメントした後（ステップＳＢ１１０）、ステップＳＢ１０２へ戻り、前述した処理を繰り返す。
【００８７】
その間、ステップＳＢ１０２の判別結果がＮＯであって、新たなフレーム番号（ｉ）が４の倍数でないとき、すなわち次に処理対象となる符号化データが前述したサブフレーム（図６（ａ）で「ｐ」のフレーム）のＰピクチャであるときには、当該フレーム番号（ｉ）の符号化データを読み飛ばし、つまり動画ファイルから取り出した符号化データのＣＯＤＥＣ５への転送動作をスキップし（ステップＳＢ１１１）、そのままフレーム番号（ｉ）をインクリメントし（ステップＳＢ１１２）、ステップＳＢ１０２へ戻り、フレーム番号（ｉ）が４の倍数となるまで、ステップＳＢ１１１，ＳＢ１１２の処理を繰り返す。
【００８８】
そして、再びフレーム番号（ｉ）が４の倍数となった時点で、前述したステップＳＢ１０３〜ステップＳＢ１０８の処理を行い、次のメインフレーム（図６（ａ）で「Ｉ」又は「Ｐ」のフレーム）の符号化データ（Ｉピクチャ又はＰピクチャ）の復号化をＣＯＤＥＣ５に行わせ、かつ復号した画像データをＬＣＤ７に表示させる。
【００８９】
以後、最終フレームの処理が終了するまでの間は（ステップＳＢ１０９でＮＯ）、フレーム番号（ｉ）をインクリメントした後（ステップＳＢ１１０）、ステップＳＢ１０２へ戻って前述した処理を繰り返す。つまり、図６（ｃ）に示したように、ＣＯＤＥＣ５に動画像を４フレーム毎（３フレームおき）に表示（デコード）させる、言い換えると表示（デコード）するフレームを１／４に間引くことによって動画像を実速度で再生する。そして、最終フレームの処理が終了した時点（ステップＳＢ１０９でＹＥＳ）で再生を終了する。なお、前述したステップＳＢ１１２においてフレーム番号（ｉ）をインクリメントした時点で、それが最終フレームのフレーム番号（ｉ）を超えた場合には、当然その時点で再生を終了する。
【００９０】
ここで、以上の実速再生モードによる動画像の再生時には、実際に表示するメインフレーム（図６（ａ）で「Ｉ」又は「Ｐ」のフレーム）の符号化データのうち、Ｉピクチャはフレーム内符号化画像であり、また、Ｐピクチャは順方向フレーム間、フレーム内予測符号化画像であるが、直前のメインフレームのＩピクチャ若しくはＰピクチャを参照画像として符号化されている。そのため、前述したように各メインフレームの表示を、表示しないサブフレーム（図６（ａ）で「ｐ」のフレーム）の符号化データ（ｐピクチャ）を復号化（デコード）せずとも支障なく行うことができる。つまり、フレーム間引きを伴う実速再生モードでの動画再生を効率的に行うことができる。その結果、従来に比べて全体のデータ処理量、消費電力を削減することができる。
【００９１】
（再生動作・可変速再生）
次に、可変速再生モードでの動作を図５のフローチャートに従い説明する。ユーザにより可変速再生モードが設定されているときにおいても、ＣＰＵ８は、ＣＯＤＥＣ５、表示制御部６を６０ｆｐｓのフレームレートで動作させる。
【００９２】
そして、再生開始に伴いＣＰＵ８は、まず、前記ＣＯＤＥＣ５の再生動作を規定するパラメータである再生モード値（ｍ）を初期化する（ステップＳＢ２０１）。すなわち再生モードの種類を決める。ここで、再生モード値（ｍ）は「１」又は「４」の２種類であり、「１」がスロー再生モード、「４」が実速再生モードであり、初期化に際してＣＰＵ８は再生モード値（ｍ）に「１」（スロー再生モード）を設定する。また、フレーム番号（ｉ）を初期化する（ステップＳＢ２０２）。なお、フレーム番号の初期値は記録時と同様「０」である。
【００９３】
その後、ＣＰＵ８は、フレーム番号（ｉ）が再生モード値（ｍ）の倍数（「ｉ＝０」を含むものとする）であるか否かを判別する（ステップＳＢ２０３）。再生開始直後はｉ＝０、ｍ＝１であって、ここでの判別結果はＹＥＳとなるため、符号化データから前述した属性情報６２（ピクチャ種別情報６２ａ、参照先フレーム情報６２ｂ）を読み出し（ステップＳＢ２０４）、そのピクチャ種別情報６２ａによって示されるピクチャの種別がＩピクチャであるか否かを判別する（ステップＳＢ２０５）。再生開始直後（１フレーム目）の符号化データはＩピクチャであるため（ステップＳＢ２０５でＹＥＳ）、ＣＯＤＥＣ５にＩピクチャをデコード（フレーム内復号化）させ、そのデコードした画像データをメモリ４へ出力させる（ステップＳＢ２０６）。
【００９４】
そして、１／６０秒の表示フレームレートによるタイミング待ちを行った後（ステップＳＢ２０７）、復号化された画像データをメモリ４から読み出し、その画像データを表示制御部６へ送る。それにより表示制御部６に、表示フレームレートによる表示タイミングでＬＣＤ７の表示画像を更新させる（ステップＳＢ２０８）。
【００９５】
引き続き、最終フレームの処理が終了するまでは（ステップＳＢ２０９でＮＯ）、フレーム番号（ｉ）をインクリメントした後（ステップＳＢ２１０）、フレーム番号（ｉ）が４の倍数であるか否かを判別する（ステップＳＢ２１１）。再生開始直後にはｉ＝１であり、ここでの判別結果はＮＯとなるため、そのままステップＳＢ２０３へ戻り前述した処理を繰り返す。
【００９６】
その際、ｉ＝１、ｍ＝１であって、ステップＳＢ２０３での判別結果はＹＥＳとなるため、符号化データから属性情報６２を読み出し（ステップＳＢ２０４）、それがＩピクチャであるか否かを判別する（ステップＳＢ２０５）。２フレーム目（ｉ＝１）はサブフレーム（図６（ａ）で「ｐ」のサブフレーム）であって、復号化対象の符号化データはＰピクチャであるため（ステップＳＢ２０５がＮＯ）、フレーム番号（ｉ）の符号化データに付随する参照先フレーム情報６２ｂにおいて指示されている参照画像、すなわち１フレーム前の画像をメモリ４から読み出し、それを参照画像としてＣＯＤＥＣ５にＰピクチャをデコード（フレーム間予測復号化）させ、メモリ４へ出力させる（ステップＳＢ２１２）。そして、１／６０秒の表示フレームレートによるタイミング待ちを行った後、復号化された画像データをメモリ４から読み出し、その画像データを表示制御部６へ送り、表示制御部６に、表示フレームレートによる表示タイミングでＬＣＤ７の表示画像を更新させる（ステップＳＢ２０７、ＳＢ２０８）。また、３フレーム目、及び４フレーム目の符号化データについても、２フレーム目と同様に１フレーム前の画像を参照画像として使用するデコード処理を行わせ、デコードされた画像データをＬＣＤ７に画面表示させる。
【００９７】
そして、４フレーム目の画像が表示された直後には、ステップＳＢ２１０でインクリメントされた後のフレーム番号（ｉ）が「４」であるため（ステップＳＢ２１１でＹＥＳ）、ＣＰＵ８が、ユーザにより前述した速度切替キーが操作されたか否かをいったん確認し、速度切替キーの操作がなければ（ステップＳＢ２１３でＮＯ）、そのままステップＳＢ２０３へ戻る。そして、５フレーム目（ｉ＝４）はメインフレーム（図６（ａ）で「Ｐ」のフレーム）であって、復号化対象の符号化データはＰピクチャであるため（ステップＳＢ２０５がＮＯ）、フレーム番号（ｉ）の符号化データに含まれる属性情報において指示されている参照画像、すなわち４フレーム前の画像（直前のメインフレームの画像）をメモリ４から読み出し、ＣＯＤＥＣ５にそれを用いてＰピクチャをデコード（フレーム間予測復号化）させ、メモリ４へ出力させ（ステップＳＢ２１２）、その画像データをＬＣＤ７に画面表示させる（ステップＳＢ２０７，ＳＢ２０８）。
【００９８】
以後、上述したステップＳＢ２０３〜ＳＢ２１３の処理を繰り返し、図６（ｂ）に示したように、全てのフレームを順にデコードして表示することによって、再生開始時点においてユーザによりスロー再生モードが設定されていた場合と同様に動画像を実速度の１／４の速度でスロー再生する。また、その間には、４フレーム毎に、つまりメインフレーム（図６（ａ）で「Ｐ」のフレーム）の符号化データを処理する直前に速度切替キーの操作の有無を確認する。
【００９９】
そして、その間のいずれかの確認タイミングで速度切替キーの操作があった場合には（ステップＳＢ２１３でＹＥＳ）、その時点でＣＰＵ８が再生モード値（ｍ）を「１」から「４」に切り替えた後（ステップＳＢ２１４）、ステップＳＢ２０３へ戻ることにより実速再生モードに移行する。
【０１００】
実速再生モードに移行した直後においては、ステップＳＢ２０３の判別結果がＹＥＳであるため、ステップＳＢ２０４以降の処理により、ステップＳＢ２０５の判別結果がＮＯである場合には、４フレーム前の画像（直前のメインフレームの画像）をメモリ４から読み出し、それを参照画像としてＣＯＤＥＣ５に、メインフレーム（図６（ａ）で「Ｐ」のフレーム）の符号化データ（Ｐピクチャ）のデコード（フレーム間予測復号化）を行わせた後、デコードした画像データをＬＣＤ７に画面表示させる。また、ステップＳＢ２０５の判別結果がＹＥＳである場合には、ＣＯＤＥＣ５にＩピクチャをデコード（フレーム内復号化）させた後、デコードした画像データをＬＣＤ７に画面表示させる。
【０１０１】
その後、フレーム番号（ｉ）が４の倍数でない間は（ステップＳＢ２０３でＮＯ）、その時点のフレーム、つまりサブフレーム（図６（ａ）で「ｐ」のフレーム）の符号化データ（Ｐピクチャ）を読み飛ばし、つまり動画ファイルから取り出した符号化データのＣＯＤＥＣ５への転送動作をスキップして（ステップＳＢ２１５）、フレーム番号（ｉ）をインクリメントした後（ステップＳＢ２１６）、ステップＳＢ２０３へ戻る処理を繰り返す。そして、フレーム番号（ｉ）が４の倍数となる毎に、ステップＳＢ２０４以降の処理によって、ステップＳＢ２０５の判別結果がＮＯである場合には、４フレーム前の画像（直前のメインフレームの画像）をメモリ４から読み出し、それを参照画像としてＣＯＤＥＣ５に、メインフレーム（図６（ａ）で「Ｐ」のフレーム）の符号化データ（Ｐピクチャ）のデコード（フレーム間予測復号化）を行わせた後、デコードした画像データをＬＣＤ７に画面表示させる。また、ステップＳＢ２０５の判別結果がＹＥＳである場合には、ＣＯＤＥＣ５にＩピクチャをデコード（フレーム内復号化）させた後、デコードした画像データをＬＣＤ７に画面表示させる。
【０１０２】
以後、同様の処理を繰り返すことにより、実速再生モードが設定されていた場合と同様、図６（ｃ）に示したように、動画像を４フレーム毎（３フレームおき）に表示（デコード）する（表示するフレームを１／４に間引く）ことによって、動画像を実速度で再生する。また、その間においても、４フレーム毎に、つまり次のメインフレームの符号化データを処理する直前のタイミングで速度切替キーの操作の有無を確認する（ステップＳＢ２１３）。
【０１０３】
その後、いずれかの確認タイミングで速度切替キーの操作があった場合には（ステップＳＢ２１３でＹＥＳ）、その時点でＣＰＵ８が再生モード値（ｍ）を「４」から「１」に切り替えた後（ステップＳＢ２１４）、ステップＳＢ２０３へ戻ることによりスロー再生モードに移行し、再生動作を継続する。そして、最終フレームの処理が終了したら（ステップＳＢ２０９でＹＥＳ）、その時点で再生を終了する。なお、前述したステップＳＢ２１５においてフレーム番号（ｉ）をインクリメントした時点で、それが最終フレームのフレーム番号（ｉ）を超えた場合には、当然その時点で再生を終了する。
【０１０４】
したがって、可変速再生モードにおいては、動画像の再生中であっても、ユーザが所望の時点で速度切替キーを操作すれば、再生モードすなわち動画像の再生速度（動き速度）を実速度と実速度の１／４の速度とにリアルタイムに切り替えることができる。
【０１０５】
また、再生速度が実速度に設定されている間については、前述したように４フレーム毎のメインフレームの表示を、表示しないサブフレーム（図６（ａ）で「ｐ」のフレーム）の符号化データ（Ｐピクチャ）を復号化することなく効率的に行うことができ、その結果、従来に比べて全体のデータ処理量、消費電力を削減することができる。
【０１０６】
なお、本実施形態のようにＩピクチャ及びＰピクチャのみからなる動画データは、動画圧縮の国際標準であるＨ．２６４においても許容されるため、Ｈ．２６４に準拠する動画データが再生可能な構成であれば任意の動画再生装置においても再生可能である。
【０１０７】
［実施形態２］
次に、本発明の第２の実施形態について説明する。本実施形態は、第１の実施形態と同様、２４０ｆｐｓのフレームレートで高速撮像した動画像を圧縮して記録する記録機能と、記録した動画データを復号するとともに６０ｆｐｓの表示フレームレートで再生する再生機能とを備えた動画記録装置に関するものである。
【０１０８】
本実施形態における基本構成は第１の実施形態で説明した動画記録装置（図１）と同様であるが、前記ＣＯＤＥＣ５が図７に示したように構成されている。
【０１０９】
図７は、本実施形態におけるＣＯＤＥＣ５の構成を示すブロック図であり、ＣＯＤＥＣ５は、主としてバス制御部５１および参照バッファ５２と、並列に設けられた第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６（図７で「ＣＯＤＥＣ＿０」〜「ＣＯＤＥＣ＿３」）とによって構成されている。
【０１１０】
第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６は、動画データを符号化、復号化するための主処理部を構成する部分であり、各々が同一仕様であるとともに、各々がＶＧＡ（６４０ドット×４８０ドット）サイズの画像データを６０ｆｐｓの処理速度により符号化、復号化することができる処理能力を有している。すなわち、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６は、各々が第１の実施形態でＣＯＤＥＣ５の構成として説明した直交変換回路、量子化回路、動き検出回路、順方向予測回路、符号化回路、復号化回路、逆直交変換回路等によって構成されている。
【０１１１】
ここで、本実施形態でのＣＯＤＥＣ５による動画データの符号化方式は、第１の実施形態で言及した国際標準であるＨ．２６４、すなわち２００３年にＩＴＵ−Ｔ（International Telecommunication Union - Telecommunication Standardization Sector）とＭＰＥＧ（Moving Picture Experts Group）の合同標準化部会であるＪＶＴ（Joint Video Team）で標準化された映像圧縮符号化方式であり、ＩＴＵ−ＴではＨ．２６４として、またＭＰＥＧではＭＰＥＧ−４ Ｐａｒｔ１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）として標準化されているＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（以後、Ｈ．２６４と表記する)に準拠するものである。
【０１１２】
前記参照バッファ５２は第１の実施形態で説明したフレームメモリに相当するものである。参照バッファ５２は、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６がフレーム毎の画像データを符号化、及び復号する際に必要となる参照画像の一部を、処理に応じて前記メモリ４（図１）から読み出して格納し、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６に共通の画像データを送出する。具体的には、各々が処理対象としているマクロブロックに関する同一位置のマクロブロックと、動き探索、あるいは動き予測に必要となる部分の
【０１１３】
前記バス制御部５１は、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６の要求に応じた、前記メモリ４に対する画像データ、符号データの入出力を制御する。本実施形態では、前記ＣＰＵ８からの指令に基づくバス制御部５１の制御によって、例えば第１のＣＯＤＥＣ５３（図７で「ＣＯＤＥＣ＿０」）はＩピクチャ、その他はＰピクチャ、といったように、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６が、互いに異なる種類のピクチャの符号化・復号化をそれぞれ独立して行うことが可能となっている。
【０１１４】
なお、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６には、必ず前記参照バッファ５２を介して参照フレームの画像データが送出されるため、同時に符号化されるすべてのＰピクチャは、常に同一のフレームを参照フレーム（参照画像）とした画像となる。
【０１１５】
以上が本実施形態のＣＯＤＥＣ５における第１の実施形態で説明したものとの構成上の違いである。
【０１１６】
次に、本実施形態における本発明に係る動作について説明する。
（記録動作）
以下、記録モードによる動画撮影記録時の動作を説明する。図８は、動画撮影記録時におけるＣＰＵ８によるＣＯＤＥＣ５の制御内容を示したフローチャート、図９は、前記第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６における動画データの符号化処理時のタイミングチャート、図１０（ａ）は、動画撮影記録時に生成される一連の動画データ、すなわちＨ．２６４ストリームの概略構成を示す概念図、図１１は、第１の実施形態で示した図６に対応する図である。
【０１１７】
まず、具体的な動作説明に先立ち、図１１において第１の実施形態と異なる点を説明する。同図（ａ）は、本実施形態における動画記録時に作成される動画データの構成を示す概念図である。図６（ａ）と同様、図１１（ａ）において「Ｉ」はＩピクチャ、「Ｐ」はＩピクチャ以外のフレーム番号が４の倍数であるＰピクチャ、「ｐ」はフレーム番号が４の倍数以外のフレームのＰピクチャであって、各フレームは符号化のタイプ（Ｉピクチャ／Ｐピクチャ）とフレーム番号（ただし、先頭フレームは「０」）とを組み合わせて表記されている。また、矢印は各Ｐピクチャの参照先を示すものである。なお、本実施形態においてもＩピクチャの挿入間隔は０．５秒（１２０フレーム毎）である。
【０１１８】
そして、動画記録時には、第１の実施形態と同様、先頭フレーム０はＩピクチャ（Ｉ０）として符号化し、メインフレームであるフレーム４のＰピクチャ（Ｐ４）を直前のメインフレームのＩピクチャ（Ｉ０）を参照画像として符号化し、同様にフレーム８，１２・・・のＰピクチャ（Ｐ８，Ｐ１２，・・・）を、それぞれ直前のメインフレームのＰピクチャ（Ｐ４，Ｐ８）を参照画像として符号化する。
【０１１９】
その間、本実施形態では、サブフレームであるフレーム１〜３のＰピクチャ（ｐｌ，ｐ２，ｐ３）についても直前のメインフレームのＩピクチャ（Ｉ０）を参照画像として符号化し、同様に他のサブフレームであるフレーム５〜７のＰピクチャ（ｐ５，ｐ６，ｐ７）、及びフレーム９〜１１のＰピクチャ（ｐ９，ｐ１０，ｐ１１）も、直前のメインフレームのＰピクチャ（Ｐ４，Ｐ８）をそれぞれ参照画像として符号化する。つまり、全てのサブフレームのＰピクチャ（ｐｌ，ｐ２，ｐ３）を、直前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化する。
【０１２０】
以下、本実施形態における主として上記の符号化処理に関する動画撮影時の具体的な動作内容を図８に従い説明する。ここで、記録する動画像のサイズはＶＧＡサイズである。また、記録時おいてＣＰＵ８は、撮像部１及び画像生成部２を２４０ｆｐｓのフレームレートで動作させ、各部をフレーム単位で同期させる。ただし、ＣＯＤＥＣ５については４フレームを単位として６０ｆｐｓのフレームレートで同期させる。
【０１２１】
図８に示したように、ＣＰＵ８は記録開始に伴い、まずフレーム番号（ｉ）を初期化する（ステップＳＣ１）。フレーム番号（ｉ）の初期値（先頭フレームの番号）は「０」である。その後、ＣＰＵ８は１フレーム分の画像データがメモリ４に入力（蓄積）されるのを待ってから（ステップＳＣ２）、フレーム番号（ｉ）が４の倍数になるまでの間は（ステップＳＣ３でＮＯ）、フレーム番号（ｉ）のインクリメントのみを繰り返し行い（ステップＳＣ４）、フレーム番号（ｉ）が４の倍数となる毎に（ステップＳＣ３でＹＥＳ）、前記ＣＯＤＥＣ５に以下に述べる符号化処理を行わせる。ただし、動作開始直後の１フレーム目（ｉ＝０）については、例外的にフレーム番号（ｉ）が４の倍数であるとして処理する。
【０１２２】
まず、メモリ４に１フレーム目の画像データが入力されたときには（ステップＳＣ３、ステップＳＣ５が共にＹＥＳ）、メモリ４に蓄積されている１フレーム目の画像データを読み出して前記ＣＯＤＥＣ５の前述した第４のＣＯＤＥＣ５６（ＣＯＤＥＣ＿３）に入力し、ＣＯＤＥＣ５６に入力した画像データをフレーム内符号化により、Ｉピクチャとして前記メモリ４へ出力させる（ステップＳＣ６）。その際、１フレーム目は非参照フレームであるため、第４のＣＯＤＥＣ５６（ＣＯＤＥＣ＿３）には、符号化したＩピクチャのローカルデコードにより予測画像を作成させ、その画像データを参照画像として前記メモリ
【０１２３】
引き続きＣＰＵ８は、上記ステップＳＣ６によりメモリ４に蓄積された符号化データに対して、スライスタイプとして「Ｉ」を付加し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「３」を付加し、ｆｒａｍｅ＿ｎｕｍとして「０」を付加し、さらにＰＯＣとして「０」を付加する（ステップＳＣ７〜ＳＣ１０）。
【０１２４】
ここで、符号化データに付加する（Ｈ．２６４ストリーム中に記述する）スライスタイプは第１の実施形態でピクチャ種別情報６２ａとして説明したピクチャ・パラメータ、ｎａｌ＿ｒｅｆ＿ｉｄｃ、ｆｒａｍｅ＿ｎｕｍ、ＰＯＣは、Ｈ．２６４規格（具体的には、「ITU-T Recommendation H.264 Advanced video coding for generic audiovisual services」）に規定されているピクチャ・パラメータである。
【０１２５】
すなわちｎａｌ＿ｒｅｆ＿ｉｄｃは、０〜３の値をとりうるパラメータであって、参照されるピクチャを非「０」とし、かつ参照されないピクチャを「０」とするよう規定されているパラメータである。なお、ｎａｌ＿ｒｅｆ＿ｉｄｃについては、例えばＨ．２６４による符号化データをＲＴＰ（Real-Time Transport Protocol）で伝送する場合の標準技術仕様としてＩＥＴＦ（Internet Engineering Task Force:インターネット技術標準化委員会）より発行されている「ＲＦＣ３９８４：RTP Payload Format for H.264 Video」では、パケットの「相対的な優先度」を示すものとして規定されている。つまり優先度が高い方から３、２、１と続き、０が最も優先度が低いと規定されている。
【０１２６】
ｆｒａｍｅ＿ｎｕｍは、非参照フレームのとき０以外の値をとるよう規定されているパラメータであり、Ｈ．２６４では、
（１）参照ピクチャ毎に（参照ピクチャの次のピクチャで）カウントアップする。
（２）基本的に1ずつ増やす。
（３）時刻とは関係なく、順序だけが意味を持つ。
と規定されている。
【０１２７】
ＰＯＣ（Picture Order Count）は、画像の出力順序を示すパラメータであり、Ｈ．２６４では、
（１）ＩＤＲ（Instantaneous Decoder Refresh）ピクチャを基準(ゼロ)にして、ピクチャのサンプリング時刻に比例する値をつける。（※８．２．１のＮＯＴＥ２）
（２） 出力順序通りに大小がついていないといけない。（※Ｃ．４．５．３）
（３） 実際の時刻に比例する値を用いる。（※８．４．１．２．３）
と規定されている。なお、上記カッコ内の※に続く数字は、前記Ｈ．２６４規格での章番号である。また、上記ＩＤＲピクチャは、「Ｉピクチャであるとともに、復号順でそれよりも後の全ピクチャを、復号順でそれよりも前のピクチャを参照することなしに復号することができるピクチャ」と規定されている。
【０１２８】
引き続き、ＣＰＵ８は、メモリ４に入力した画像データのフレーム番号（ｉ）が４の倍数となったときには（ステップＳＣ３がＹＥＳ、ステップＳＣ５でＮＯ）、まずフレーム番号（ｉ）が１２０の倍数であるか否かを確認する。そして、フレーム番号（ｉ）が、例えば４，８，１６，・・・１１６のように１２０の倍数でないときには（ステップＳＣ１２でＮＯ）、前記メモリに蓄積されているフレーム番号（ｉ−３）〜（ｉ−１）のフレーム画像を読み出してバス制御部５１を介して第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５に入力させる。そして、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５に、前記メモリ４に格納されているとともに、処理に応じてマクロブロック単位で参照バッファ５２に格納されるフレーム番号（ｉ−４）の参照画像の画像データを用いて、各々がサブフレームであるフレーム番号（ｉ−３）〜（ｉ−１）のフレーム画像を並行してそれぞれｐピクチャとして符号化させ、各符号化データを前記メモリ４へ出力させる。
【０１２９】
同時に、前記メモリに蓄積されているフレーム番号（ｉ）のフレーム画像を読み出してバス制御部５１を介して第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６に入力させる。そして第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６には、フレーム番号（ｉ−４）の参照画像、すなわち直前のメインフレームの画像データを用いて、フレーム番号（ｉ）の新たなメインフレームの画像をＰピクチャとして符号化させ、符号化データを前記メモリ４へ出力させる。さらに、符号化したＰピクチャのローカルデコードにより予測画像を作成させ、その画像データを参照画像として前記メモリ４の所定領域へ出力させる（ステップＳＣ１９）。
【０１３０】
つまり、ＣＰＵ８は、４フレームを単位として、フレーム番号が連続する３フレーム分のサブフレームと、それに続くメインフレームの４フレームの画像をＣＯＤＥＣ５にまとめて（並行して）符号化させる。例えば図９に示したようにメモリ４に４フレーム目の画像データが入力したときには、フレーム番号１〜３のＰピクチャ（ｐｌ，ｐ２，ｐ３）と、フレーム番号４のＰピクチャ（Ｐ４）とをまとめて符号化させる。
【０１３１】
次に、ＣＰＵ８は、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６が出力してメモリ４に蓄積されている全ての符号化データに対し、スライスタイプとして「Ｐ」を付加し（ステップＳＣ２０）、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５が出力してメモリ４に蓄積されている各々の符号化データに対し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「０」を付加し、かつ第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６が出力してメモリ４に蓄積されている符号化データに対し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「２」を付加する（ステップＳＣ２１）。
【０１３２】
また、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６が出力してメモリ４に蓄積されている各々の符号化データに対し、ｆｒａｍｅ＿ｎｕｍとして、各々が対応するフレーム番号が若い順に、ｉｎｔ（（ｉ／４）、ｉｎｔ（（ｉ＋１）／４）、ｉｎｔ（（ｉ＋２）／４）、ｉｎｔ（（ｉ＋３）／４）によって得られる値をそれぞれ付加する（なお、ｉｎｔ（ｎ）は、引数ｎを超えない最大の整数を得る関数である。）。例えばフレーム番号が１〜４のピクチャには１，１，１，１をそれぞれ付加し、フレーム番号が５〜８のピクチャには２，２，２，２をそれぞれ付加する。つまり、各々の符号化データに対し、先頭フレームを０とし、以後、全フレームを通じ１を初期値として４フレーム毎に１ずつ増える値（同一値）を付加する（ステップＳＣ２２）。
【０１３３】
また、各々の符号化データに対し、ＰＯＣとして、対応するフレーム番号が若い順に、（ｉ−３）×２、（ｉ−２）×２、（ｉ−１）×２、（ｉ）×２によって得られる値（各符号化データに対応するフレーム番号を２倍した値）をそれぞれ付加する。例えばフレーム番号が１〜４の場合には２，４，６，８をそれぞれ付加する。つまり、各々の符号化データに対し、全フレームを通じ、０を初期値として１フレーム毎に２ずつ増える値を付加する（ステップＳＣ２３）。
【０１３４】
さらに、各々の符号化データに対し、各々の符号化データの復号時に参照すべきピクチャを指し示す参照画像指示情報の値として、各々のフレームの直前の参照ピクチャ（参照されるピクチャ）、つまり前記ｎａｌ＿ｒｅｆ＿ｉｄｃとして「０」以外の値が付加されている先行するピクチャのうちで、フレーム番号が最も近いピクチャ（４フレーム前のＩピクチャ又はＰピクチャ）を指し示す値である「０」を付加する（ステップＳＣ２４）。この値は、第１の実施形態で述べたようにＨ．２６４に規格されている値であり、Ｈ．２６４では、上記のように直前の参照ピクチャを意味する値が「０」、それより１つ前の参照ピクチャを意味する値が「１」、さらに１つ前の参照ピクチャを意味する値が「２」、といったように符号化時の順序とは逆に、そのフレームから離れるに従い増加する値とすることが規定されている。
【０１３５】
一方、ＣＰＵ８は、メモリ４に入力した画像データのフレーム番号（ｉ）が１２０の倍数であったときには（ステップＳＣ１２がＹＥＳ）、前記メモリに蓄積されているフレーム番号（ｉ−３）〜（ｉ−１）のフレーム画像を読み出してバス制御部５１を介して第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５に入力させる。そして、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５に、前述したステップＳＣ１６と同様、前記メモリ４に格納されているとともに、処理に応じてマクロブロック単位で参照バッファ５２に格納されるフレーム番号（ｉ−４）の参照画像の画像データを用いて、各々がサブフレームであるフレーム番号（ｉ−３）〜（ｉ−１）のフレーム画像を並行してそれぞれｐピクチャとして符号化させ、各符号化データを前記メモリ４へ出力させる。
【０１３６】
また、前記メモリに蓄積されているフレーム番号（ｉ）のフレーム画像を読み出してバス制御部５１を介して第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６に入力させる。そして第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６には、フレーム番号（ｉ）のフレームをＩピクチャとするため、前述したステップＳＣ６と同様、入力した画像データのフレーム内符号化を行わせ、その符号化データを前記メモリ４へ出力させ、さらに、符号化したＩピクチャに対するローカルデコードにより予測画像を作成させ、その画像データを参照画像として前記メモリ４の所定領域へ出力させる（ステップＳＣ１３）。
【０１３７】
引き続きＣＰＵ８は、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５が出力してメモリ４に蓄積されている各々の符号化データに対し、スライスタイプとして「Ｐ」を付加し、かつ第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６が出力してメモリ４に蓄積されている符号化データに対し、スライスタイプとして「Ｉ」を付加する（ステップＳＣ１４）。
【０１３８】
また、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５が出力してメモリ４に蓄積されている各々の符号化データに対し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「０」を付加し、かつ第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６が出力してメモリ４に蓄積されている符号化データに対し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「３」を付加する（ステップＳＣ１５）。
【０１３９】
また、前述したＳＣ２２，ＳＣ２３と同じ処理によって、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第４のＣＯＤＥＣ（ＣＯＤＥＣ＿３）５６が出力してメモリ４に蓄積されている各々の符号化データについて、ｆｒａｍｅ＿ｎｕｍ、及びＰＯＣとする値を順に算出し、算出した値を各々の符号化データにそれぞれ付加する（ステップＳＣ１６、ＳＣ１７）。
【０１４０】
さらに、第１のＣＯＤＥＣ（ＣＯＤＥＣ＿０）５３〜第３のＣＯＤＥＣ（ＣＯＤＥＣ＿２）５５が出力してメモリ４に蓄積されている各々の符号化データのみに、参照画像指示情報として直前の参照ピクチャ（参照されるピクチャ）を示す値である「０」を付加する（ステップＳＣ１８）。
【０１４１】
なお、上記のように前記ＣＯＤＥＣ５からメモリ４に順次出力された後、各種のピクチャ・パラメータが付加された符号化データは、メモリカード制御部９によってメモリカード１０に順次出力されて動画ファイルとして記録されることになる。
【０１４２】
以後、動画撮影記録中は上述した全ての処理を繰り返す。これにより、メモリカード１０には、前述したように全てのサブフレームのｐピクチャが、直前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化されているとともに、各フレームに前述したピクチャ・パラメータ（スライスタイプ、ｎａｌ＿ｒｅｆ＿ｉｄｃ、ｆｒａｍｅ＿ｎｕｍ、ＰＯＣ、参照画像指示情報）として、図１０（ａ）に示した値がそれぞれ付加されたＨ．２６４ストリームが出力される。
【０１４３】
そして、所定のキー操作による記録終了指示があった時点で（ステップＳＣ１１がＹＥＳ）、記録動作を終了する。以上の動作により、Ｈ．２６４に準拠する動画像ファイルをメモリカード１０に記録することができる。
【０１４４】
なお、前述したＰＯＣの増分は、Ｈ．２６４の規格上では１とすることもできるが、本実施形態において、その増分を２としている理由は、後述する再生動作により復号した動画像を６０フィールド、３０フレームのインタレース方式で表示することを想定しているためである。
【０１４５】
ここで、本実施形態においては、前述したようにＣＯＤＥＣ５を参照バッファ５２と、並列に設けられた第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６とによって構成し（図７）、上述したように記録時には、サブフレームと、それに続くメインフレームとの複数の画像データとを一組とし、係る一組の画像データを、参照バッファ５２に記憶されている同一フレームの画像を参照画像として一括して符号化するようにした。
【０１４６】
したがって、参照フレームとして読み出す画像データを並列数分少なくすることができることから、動画記録装置におけるメモリバス３の帯域幅を削減することができる。
【０１４７】
（再生動作）
次に、本実施形態において上述した記録動作によってメモリカード１０に記録された動画像（動画ファイル）を再生するときの動作について説明する。
【０１４８】
ここで、本実施形態においては、前記表示制御部６の性能が６０ｆｐｓであり、動画再生時においては、ＣＰＵ８が、メモリカード１０に記録されているとともにユーザによって選択された任意の動画ファイルのデータを６０ｆｐｓのフレームレートでメモリカード制御部９を介して読み出し、その符号化データ部分をＣＯＤＥＣ５へ順次転送する。
【０１４９】
また、本実施形態においては、再生モードとして４倍スロー再生モード（再生速度を実速度の１／４とするモード）と、実速再生モード（再生速度を撮影時と同じ実速度とするモード）と、２倍スロー再生モード（再生速度を実速度の１／２とするモード）とが設けられている。以下、モード別に動作を説明する。なお、図１１（ｂ）〜図１１（ｄ）は、各再生モードによる再生時における各フレームの符号化データのデコードと表示の有無を示した概念図である。
【０１５０】
（再生動作・４倍スロー再生）
４倍スロー再生モードは、第１の実施形態でスロー再生モードとして説明した再生モードと同一のモードである。４倍スロー再生モードにおいては、図７に示した第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６のうち第１のＣＯＤＥＣ５３のみを用いて、図３に示すとともに既説した第１の実施形態と同一の動作により、図１１（ｂ）に示したように、２４０ｆｐｓで記録された全てのフレームを６０ｆｐｓで順にデコードし、その画像データを表示する。つまり動画像を１／４の速度でスロー再生する。
【０１５１】
ただし、本実施形態においては、第１の実施形態とは異なり、メインフレームのＰピクチャ（Ｐ４，Ｐ８，・・・）だけでなく、サブフレームのＰピクチャ（ｐｌ，ｐ２，ｐ３，・・・）のデコード処理に際しても直前のメインフレームの画像（Ｉ０，Ｐ４，・・・）を参照画像として使用する（図１１（ａ）参照）。なお、符号化データのデコード処理には、第１のＣＯＤＥＣ５３に限らず、第２のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６のいずれか１つを用いることができる。
（再生動作・実速再生）
図１２は、本実施形態における実速再生モードでの動作を示したフローチャートある。
実速再生モードにおいても、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６のうち第１のＣＯＤＥＣ５３のみを用いて符号化データをデコードする。そして実速再生モードでは、第１の実施形態において図４に示した内容とほぼ同一の動作（ステップＳＤ１〜ステップＳＤ１２）を行う。
【０１５２】
その際、第１の実施形態と異なり、ステップＳＤ２において前述したピクチャ・パラメータをリードし、続くステップＳＤ３において、各々のフレームを復号対象とするか否かの判別を上記ピクチャ・パラメータのうちの前述したｎａｌ＿ｒｅｆ＿ｉｄｃの値に基づき行い、その値が非参照フレーム（参照されないピクチャ）を示す「０」でないとき、すなわちメインフレームであったときだけ、そのときのフレームを復号対象とする。また、ステップＳＤ６では、前述した参照画像指示情報を参照して、メインフレームのＰピクチャについては、第１の実施形態と同様に直前のメインフレームのＩピクチャ又はＰピクチャを参照画像としたデコード処理を行うが、本実施形態では、全てのサブフレームのＰピクチャについても直前のメインフレームのＩピクチャ又はＰピクチャを参照画像としたデコード処理を行う。
【０１５３】
これにより、実速再生モードにおいては、図１１（ｃ）に示したように、２４０ｆｐｓで記録された全てのフレームのうち、４フレーム毎（３フレームおき）のメインフレーム（Ｉピクチャ又はＰピクチャ）のみを６０ｆｐｓでデコードして表示する。つまり表示フレームを１／４に間引くことによって動画像を実速度で再生する。
【０１５４】
したがって、第１の実施形態と同様、表示しないサブフレームの符号化データをデコードすることなくメインフレームとなる全てのＰピクチャを表示することができ、実速再生時におけるデータ処理量、消費電力を削減することができる。
（再生動作・２倍スロー再生）
図１３は、本実施形態における２倍スロー再生モードによる動作を示したフローチャートある。２倍スロー再生モードにおいても、第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６のうち第１のＣＯＤＥＣ５３のみを用いて符号化データをデコードする。図から明らかなように、図１２に示した実速再生モードでの動作との違いは、ステップＳＤ１０３において、各々のフレームを復号対象とするか否かの判別をフレーム番号（ｉ）に基づき行い、フレーム番号（ｉ）が２の倍数である（ただし、０は例外として２の倍数として処理する。）フレームのみを復号対象とする点のみである。
【０１５５】
これにより、２倍スロー再生モードにおいては、図１１（ｄ）に示したように、２４０ｆｐｓで記録された全てのフレームを２フレーム毎（１フレームおき）に６０ｆｐｓでデコードして表示する、つまり表示フレームを１／２に間引くことによって動画像を実速度の１／２の速度でスロー再生することができる。
【０１５６】
つまり本実施形態では、動画記録時にメインフレームのＰピクチャのみならずサブフレームのＰピクチャについても、直前のメインフレームのＩピクチャ又はＰピクチャを参照画像として符号化されているため、上記のように動画像を実速度の１／２の速度でスロー再生する場合においても、表示しないサブフレームの符号化データをデコードすることなく、表示対象のサブフレームの符号化データをデコードすることができる。したがって、係る場合についても、それを効率的に行うことができ、その場合におけるデータ処理量、消費電力を削減することができる。
【０１５７】
（実速抜き出し編集動作）
一方、本実施形態の動画記録装置においては、動作モードとして、上述した記録モード及び再生モード（４倍スロー再生モード、実速再生モード、２倍スロー再生モード）とは別に実速抜き出し編集モードが設けられている。実速抜き出し編集モードは、上述した記録動作によってメモリカード１０に動画ファイルとして記録されている動画データ、すなわちＶＧＡサイズで２４０ｆｐｓの高速撮像動画ストリームから、図１０（ｂ）に示した、前述した実速再生モードで表示されるメインフレーム（実速再生フレーム）のみのストリーム部分を抜き出し、抜き出した部分から構成されるＶＧＡサイズで６０ｆｐｓの新たな動画ストリームを生成してメモリカード１０に記録するモードである。
【０１５８】
図１４は、実速抜き出し編集モードにおいて、メモリカード１０に記録されている任意の動画データを編集するときのＣＰＵ８の処理を示したフローチャートである。
【０１５９】
編集開始に伴いＣＰＵ８は、まず処理フレーム番号（ｉ）を初期化して、メモリカード１０から編集対象とする高速撮像動画ストリームの読み出しを開始する（ステップＳＤ２０１）。なお、処理フレーム番号（ｉ）の初期値は「０」である。
【０１６０】
その後、ＣＰＵ８は、高速撮像動画ストリームについてフレーム毎に、ストリーム中に記述されているｎａｌ＿ｒｅｆ＿ｉｄｃの値を確認する（ステップＳＤ２０２）。そして、ｎａｌ＿ｒｅｆ＿ｉｄｃの値が「０」のときには（ステップＳＤ２０２でＹＥＳ）、そのときのフレーム番号（ｉ）のストリームを読み飛ばし（ステップＳＤ２０３）、ｎａｌ＿ｒｅｆ＿ｉｄｃの値が「０」以外のときにのみ（ステップＳＤ２０２でＮＯ）、フレーム番号（ｉ）のフレーム分のストリームをメモリカード１０に書き込む（ステップＳＤ２０４）。
【０１６１】
以後、処理対象のフレームが最終フレームとなるまでの間（ステップＳＤ２０５でＮＯ）、フレーム番号（ｉ）をインクリメントした後（ステップＳＤ２０６）、上記処理（ステップＳＤ２０２〜ＳＤ２０４）を繰り返し、最終フレームのストリームに対する処理（読み飛ばし、又は書き込み）が終わった時点で（ステップＳＤ２０５でＹＥＳ）、全ての処理を完了する。
【０１６２】
したがって、実速抜き出し編集モードを使用することにより、動画像の再生性能が６０ｆｐｓで他の装置においても実速度で表示可能な、図１０（ｂ）に示した動画ストリーム構造からなる新たな動画像を自動的に生成することができる。
【０１６３】
［実施形態３］
次に、本発明の第３の実施形態について説明する。本実施形態は、先に説明した第１及び第２の実施形態と同様、２４０ｆｐｓのフレームレートで高速撮像した動画像を圧縮して記録する記録機能と、記録した動画データを復号するとともに６０ｆｐｓの表示フレームレートで再生する再生機能とを備えた動画記録装置に関するものである。
【０１６４】
本実施形態における動画記録装置の基本構成は、第１の実施形態で説明した動画記録装置（図１）と同様であり、前記ＣＯＤＥＣ５は、ＶＧＡ（６４０ドット×４８０ドット）サイズの画像データを２４０ｆｐｓの処理速度により符号化、復号化することができる処理能力を有している。また、ＣＯＤＥＣ５による動画データの符号化方式（動画ストリーム構造）は第２の実施形態と同様、Ｈ．２６４に準拠するものである。
【０１６５】
そして、本実施形態の動画記録装置は、前記ＣＯＤＥＣ５による符号化後の動画データを、ＭＰＥＧ４の画像や音声データをファイルに記録するための標準形式としてＩＳＯ(International Organization for Standardization)によって規格化されているＭＰ４形式の動画ファイル（ＭＰ４ファイル）としてメモリカード１０に記録する。なお、動画ファイルの具体的な構成は、ＩＳＯ／ＩＥＣ １４４９６−１２，「Information technology Coding of audio-visual objects - Part 12: ISO base media file format」に規定された構成である。
【０１６６】
図１５は、本実施形態においてメモリカード１０に記録されるＭＰ４ファイルの概略構成を示した図である。図示したように、ＭＰ４ファイルは多くのＢＯＸ情報の集合体であり、当該ファイルの互換性を示す情報が格納される「ｆｔｙｐ」、エンコーダー固有の拡張情報が格納される「ｕｕｉｄ」、「ｍｄａｔ」、「ｍｏｏｖ」の各ＢＯＸから構成される。
【０１６７】
「ｍｄａｔ」は、符号化された画像データが格納される「Ｍｅｄｉａ Ｄａｔａ Ｂｏｘ」であり、当該Ｂｏｘのデータサイズ、識別コード（’ｍｄａｔ’）、Ｖｉｄｅｏストリーム群が格納される。Ｖｉｄｅｏストリーム群は、フレーム別の複数のＡｃｃｅｓｓ Ｕｎｉｔから構成され、各Ａｃｃｅｓｓ Ｕｎｉｔは、当該Ａｃｃｅｓｓ Ｕｎｉｔのデータサイズ、ＡＵデリミタ（Ａｃｃｅｓｓ Ｕｎｉｔの境界コード）、Ｈ．２６４スライスデータ（符号化データ）、当該Ｈ．２６４スライスデータのサイズの各データから構成される。
【０１６８】
Ｈ．２６４スライスデータは、ＮＡＬ（Network Abstraction Layer: ネットワーク抽象レイヤ）ユニットであり、ＮＡＬヘッダ１１１とスライスデータ１１２とからなり、このＮＡＬユニットのスライスデータ１１２が、さらにスライスヘッダ１２１とスライスデータ本体１２２とから構成される。上記ＮＡＬヘッダ１１１には、ＮＡＬユニットの種類等の属性情報が格納され、ここに第２の実施形態で説明したｎａｌ＿ｒｅｆ＿ｉｄｃが格納される。また、ｎａｌ＿ｒｅｆ＿ｉｄｃ以外のピクチャ・パラメータについては、前記スライスヘッダ１２１にスライスタイプ（第１の実施形態ではピクチャ種別情報６２ａ）と、ｆｒａｍｅ＿ｎｕｍ、ＰＯＣが格納され、参照画像指示情報（第１の実施形態では参照先フレーム情報６２ｂ）は、動画記録時にＣＯＤＥＣ５から出力される１ピクチャ分の符号化データと共にスライスデータ本体１２２に格納される。
【０１６９】
なお、スライスデータ本体１２２に格納される１ピクチャ分の符号化データはマクロブロックの集合体であって、前記参照画像指示情報は、実際にはマクロブロック毎に格納されて、マクロブロック毎に参照先のピクチャの情報が参照されるこことなるが、ここでは、説明を簡略化するため、参照画像指示情報はスライスデータ（ピクチャ）を単位として格納されているものとして説明する。
【０１７０】
また、「ｍｏｏｖ」は、Ｈ．２６４スライスデータの復号に必要な情報が格納される「Ｍｏｖｉｅ Ｂｏｘ」であり、当該Ｂｏｘのデータサイズ、Ｂｏｘの識別コード（’ｍｏｏｖ’）、Ｉｎｄｅｘ Ｄａｔａ、ｕｄｔａから構成される。
【０１７１】
Ｉｎｄｅｘ Ｄａｔａは、２種類のｔｒａｋから構成される。各ｔｒａｋは、再生時のインデックス情報を格納する「ｔｒａｃｋ Ｂｏｘ」であり、各々が当該Ｂｏｘのデータサイズ、識別コード（’ｔｒａｋ’）、復号対象とすべきＡｃｃｅｓｓ Ｕｎｉｔを示すビデオｉｎｄｅｘ情報１０１，１０２から構成される。
【０１７２】
２種類のｔｒａｋのうち一方のｔｒａｋには、前記ビデオｉｎｄｅｘ情報１０１として動画像の全てのフレームに関するインデックス情報が格納され、他方のｔｒａｋには前記ビデオｉｎｄｅｘ情報１０２として動画像の先頭フレームから４フレーム毎のメインフレームのインデックス情報のみが格納される。以下の説明では、一方のｔｒａｋを全フレーム再生用ｔｒａｋ、また、そこに格納されたビデオｉｎｄｅｘ情報１０１を全フレーム再生用インデックス情報と呼び、他方のｔｒａｋを実速再生用ｔｒａｋ、また、そこに格納されたビデオｉｎｄｅｘ情報１０２を実速再生用インデックス情報と呼ぶことにより両者を区別する。図１６は、上記全フレーム再生用インデックス情報１０１、及び実速再生用インデックス情報１０２と、前記Ａｃｃｅｓｓ Ｕｎｉｔとの関係を示した図である。
【０１７３】
また、「Ｍｏｖｉｅ Ｂｏｘ」を構成するｕｄｔａは、種々のユーザー情報が格納される「Ｕｓｅｒ Ｄａｔａ Ｂｏｘ」である。
【０１７４】
次に、本実施形態における本発明に係る動作について説明する。
（記録動作）
以下、記録モードによる動画撮影記録時の動作を説明する。図１７は、動画撮影記録時におけるＣＰＵ８によるＣＯＤＥＣ５の制御内容を示したフローチャート、図１８は、第１の実施形態で示した図６（ａ）、第２の実施形態で示した図１１（ａ）に対応する、記録モードにおいて記録される動画データの構成を示す概念図である。
【０１７５】
まず、具体的な動作説明に先立ち、図１８において第１及び第２の実施形態と異なる点について説明する。同図は、記録モードにおいて記録される動画データの構成を示す概念図である。
【０１７６】
本実施形態では、記録時においてメインフレーム間に存在させるサブフレーム数をサブフレームモードとして設定可能である。設定可能なサブフレーム数は３，１，０の何れかであり、記録時には、各々のサブフレーム数が、そのままサブフレームモードの種類を示す値として前述した「Ｕｓｅｒ Ｄａｔａ Ｂｏｘ」に格納される。
【０１７７】
なお、サブフレームモードは、動画像の記録開始前、または記録開始後の任意の時点でユーザのキー操作や、所定の条件に基づき自動的に設定可能な構成としてもよいが、ここでは便宜上、記録開始前にユーザがキー操作によって予め設定する構成であるものとする。
【０１７８】
そして、図１８（ａ）に示したようにサブフレームモードが３に設定されているときには、先頭フレームをＩピクチャ（Ｉ０）として符号化し、以後、フレーム番号（ｉ）が４の倍数であるフレームを、直前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化する。但し、本実施形態においては、フレーム番号（ｉ）が８の倍数であるフレームについては、８フレーム前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化する。また、全てのサブフレームのｐピクチャを、第２の実施形態と同様に直前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化する。
【０１７９】
また、図１８（ｂ）に示したようにサブフレームモードが１に設定されているときには、全てのサブフレームのｐピクチャを符号化対象とせずに、フレーム番号（ｉ）が２の倍数となるサブフレームのみを符号化対象とし、同図（ｃ）に示したようにサブフレームモードが０に設定されているときには全てのサブフレームを符号化対象から除外する。
【０１８０】
以下、本実施形態における動画記録時のより具体的な動作内容を図１７に従い説明する。なお、本実施形態においても、記録する動画像のサイズはＶＧＡサイズであり、記録時おいてＣＰＵ８は撮像部１、画像生成部２、ＣＯＤＥＣ５を２４０ｆｐｓのフレームレートで動作させ、各部をフレーム単位で同期させる。
【０１８１】
図１７に示したように、ＣＰＵ８は記録開始に伴い、まずフレーム番号（ｉ）を初期化する（ステップＳＥ１）。フレーム番号（ｉ）の初期値（先頭フレームの番号）は「０」である。その後、ＣＰＵ８は、メモリ４への１フレーム分の画像データがメモリ４に入力（蓄積）されるのを待ってから（ステップＳＥ２）、フレーム番号（ｉ）が０のときを含め、フレーム番号（ｉ）が１２０の倍数のときには（ステップＳＥ３がＹＥＳ）、メモリ４に蓄積されている画像データを読み出してＣＯＤＥＣ５に入力し、ＣＯＤＥＣ５に入力した当該フレームの画像データをフレーム内符号化により、Ｉピクチャとして前記メモリ４へ出力させる（ステップＳＥ４）。また、このときには、符号化データをデコードしたローカルデコード画像を、それ以降のＰピクチャの符号化時に使用する画像データ（参照画像）として、符号化データとは別に前記メモリ４に蓄積する。
【０１８２】
引き続きＣＰＵ８は、上記符号化データに対して、スライスタイプとして「Ｉ」を付加するとともに、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「３」を付加し、ｆｒａｍｅ＿ｎｕｍとして「ｉｎｔ（（ｉ＋３）／４）」で得られる値であって、先頭フレームを０とし、以後、全フレームを通じ１を初期値として４フレーム毎に１ずつ増える値を付加し、さらに、ＰＯＣとして「ｉ×２」で得られる値であって、全フレームを通じ、０を初期値として１フレーム毎に２ずつ増える値を付加する（ステップＳＥ５）。なお、このとき参照画像指示情報は付加しない。
【０１８３】
しかる後、そのときのフレーム番号（ｉ）のメインフレームに関する前述したインデックス情報を前述した実速再生用ｔｒａｋに追加し（ステップＳＥ６）、さらに全フレーム再生用ｔｒａｋにも追加する（ステップＳＥ７）。以後、所定のキー操作による記録終了指示がなければ（ステップＳＥ８でＮＯ）、フレーム番号（ｉ）に１をインクリメントし（ステップＳＥ９）、ステップＳＥ２戻り、次のフレーム分の画像データの入力待ちを行う。
【０１８４】
また、ＣＰＵ８は、フレーム番号（ｉ）が１２０の倍数以外であって、８の倍数のときには（ステップＳＥ３がＮＯ、ステップＳＥ１０でＹＥＳ）、メモリ４に蓄積されている今回の画像データを読み出してＣＯＤＥＣ５に入力し、ＣＯＤＥＣ５に、入力した当該フレームの画像データを前記メモリに蓄積しておいた８フレーム前のフレーム番号（ｉ−８）の参照画像の画像データを用いてＰピクチャとして符号化させ、前記メモリ４へ出力させる（ステップＳＥ１１）。また、係るＰピクチャの符号化に際しては、そのときの符号化データをデコードしたローカルデコード画像を、後続する４フレーム分のＰピクチャ、及び８フレーム後のＰピクチャの符号化時に使用する画像データ（参照画像）として、符号化データとは別に前記メモリ４に蓄積する。
【０１８５】
引き続き、前記メモリ４に出力した符号化データに対して、スライスタイプとして「Ｐ」を付加し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「２」を付加し、ｆｒａｍｅ＿ｎｕｍとして「ｉｎｔ（（ｉ＋３）／４）」で得られる値（４フレーム毎に１ずつ増える値）を付加し、ＰＯＣとして「ｉ×２」で得られる値（１フレーム毎に２ずつ増える値）を付加する。さらに参照画像指示情報として２つ前の参照ピクチャ、つまり８フレーム前のフレーム番号（ｉ−８）のピクチャを示す値である「１」を付加する（ステップＳＥ１２）。
【０１８６】
また、フレーム番号（ｉ）が８の倍数以外の４の倍数のときには（ステップＳＥ１０がＮＯ、ステップＳＥ１３でＹＥＳ）、メモリ４に蓄積されている今回の画像データを読み出してＣＯＤＥＣ５に入力し、入力した当該フレームの画像データを、前記メモリに蓄積しておいたフレーム番号（ｉ−４）のフレームの画像、つまり４フレーム前の画像を参照画像に使用してＰピクチャとして符号化させ、前記メモリ４へ出力させる（ステップＳＥ１６）。また、係るＰピクチャの符号化に際しては、そのときの符号化データをデコードしたローカルデコード画像を、後続する３フレーム分のＰピクチャの符号化時に使用する画像データ（参照画像）として、符号化データとは別に前記メモリ４に蓄積する。
【０１８７】
引き続き、前記メモリ４に出力した符号化データに対して、スライスタイプ、ｎａｌ＿ｒｅｆ＿ｉｄｃ、ｆｒａｍｅ＿ｎｕｍ、ＰＯＣとして、フレーム番号（ｉ）が８の倍数のときと同様の値を付加するとともに、参照画像指示情報として直前の参照ピクチャ、つまり４フレーム前のピクチャを示す値である「０」を付加する（ステップＳＥ１５）。
【０１８８】
しかる後、フレーム番号（ｉ）が８の倍数、及び４の倍数のいずれの場合においては、そのときのフレーム番号（ｉ）のメインフレームに関するインデックス情報を実速再生用ｔｒａｋと全フレーム再生用ｔｒａｋとの双方にそれぞれ追加する（ステップＳＥ６，ＳＥ７）。以後、所定のキー操作による記録終了指示がなければ（ステップＳＥ８でＮＯ）、フレーム番号（ｉ）に１をインクリメントし（ステップＳＥ９）、ステップＳＥ２戻り、次のフレーム分の画像データの入力待ちを行う。
【０１８９】
また、ステップＳＥ１３の判別結果がＮＯであって、フレーム番号（ｉ）が４の倍数以外のときには、前述したサブフレームモードの種類に応じて以下の処理を行う。
【０１９０】
まず、サブフレームモード（Ｓ）が３に設定されている場合には（ステップＳＥ１６でＹＥＳ）、メモリ４に蓄積されている今回の画像データを読み出してＣＯＤＥＣ５に入力し、ＣＯＤＥＣ５に、入力した当該フレームの画像データを前記メモリに蓄積しておいた直前のメインフレームを参照画像としＰピクチャとして符号化させ、前記メモリ４へ出力させる（ステップＳＥ１７）。引き続き、前記メモリ４に出力した符号化データに対して、スライスタイプとして「Ｐ」を付加し、ｎａｌ＿ｒｅｆ＿ｉｄｃとして「０」を付加し、前述したメインフレームに対する処理と同様の処理によってｆｒａｍｅ＿ｎｕｍ、及びＰＯＣをそれぞれ付加し、さらに参照画像指示情報として直前の参照ピクチャを示す値である「０」を付加する（ステップＳＥ１８）。しかる後、そのときのフレーム番号（ｉ）のサブフレームに関するインデックス情報を全フレーム再生用ｔｒａｋのみに追加する（ステップＳＥ７）。
【０１９１】
また、サブフレームモード（Ｓ）が１に設定されている場合については（ステップＳＥ１６がＮＯ、ステップＳＥ１９でＹＥＳ）、フレーム番号（ｉ）が２の倍数であれば（ステップＳＥ２０でＹＥＳ）、サブフレームモードが３の場合と共通する前述した（ステップＳＥ１７，ＳＥ１８、ステップＳＥ７）の処理を行う。
【０１９２】
また、サブフレームモード（Ｓ）が１に設定されていない場合（ステップＳＥ１９でＮＯ）、及び１に設定されていても、フレーム番号（ｉ）が２の倍数でなかったときには（ステップＳＥ２０でＮＯ）、直ちに所定のキー操作の有無を判別して、所定のキー操作による記録終了指示がなければ（ステップＳＥ８でＮＯ）、フレーム番号（ｉ）に１をインクリメントし（ステップＳＥ９）、ステップＳＥ２戻り、次のフレーム分の画像データの入力待ちを行う。
【０１９３】
なお、上記のように前記ＣＯＤＥＣ５からメモリ４に順次出力された後、ピクチャ・パラメータ、全フレーム再生用インデックス情報１０１、実速再生用インデックス情報１０２等が付加された符号化データは、メモリカード制御部９によってメモリカード１０に順次出力されて動画ファイル（ＭＰ４ファイル）として記録されることになる。
【０１９４】
以後、動画記録中は上述した全ての処理を繰り返し、所定のキー操作による記録終了指示があった時点で（ステップＳＥ８でＹＥＳ）、記録動作を終了する。これによりメモリカード１０に記録されるＭＰ４ファイルにおいては、前述したＶｉｄｅｏストリーム群として、サブフレームモードの設定値に応じたフレームの一連の符号化データが格納される。また、前述した全フレーム再生用ｔｒａｋには符号化された全てのフレームに関する全フレーム再生用インデックス情報１０１が格納され、実速再生用ｔｒａｋにはメインフレームのみに関する実速再生用インデックス情報１０２が格納される（図１５及び図１６参照）。
【０１９５】
（再生動作）
次に、本実施形態において上述した記録動作によりメモリカード１０に記録された動画像（ＭＰ４ファイル）を再生するときの動作について説明する。
【０１９６】
本実施形態においても、前記表示制御部６の性能が６０ｆｐｓであり、動画再生時においては、ＣＰＵ８が、メモリカード１０に記録されているとともにユーザによって選択された任意のＭＰ４ファイルのデータを６０ｆｐｓのフレームレートでメモリカード制御部９を介して読み出し、その符号化データ部分をＣＯＤＥＣ５へ順次転送する。
【０１９７】
また、本実施形態においては、再生モードとして全フレーム再生モードと、実速再生モード、１／２間引き再生モード、倍速再生モードの４種類のモードが設けられている。
【０１９８】
全フレーム再生モードは、動画データとして記録されている全てのフレームを再生することを基本とし、記録時にサブフレームモードが３に設定されていた動画像の再生速度を実速度の１／４とするモードである。また、１／２間引き再生モードは、動画データとして記録されている全てのフレームを１フレームおきに再生することを基本とし、記録時にサブフレームモードが３に設定されていた動画像の再生速度を実速度の１／２とするモードである。また、実速再生モードは、記録時に設定されていたサブフレームモードの種類に関係なく再生速度を撮影時と同じ実速度とするモードであり、倍速再生モードは、記録時に設定されていたサブフレームモードの種類に関係なく再生速度を撮影時（実速度）の２倍とするモードである（図２３参照）。以下、上記のモード別に本実施形態の再生動作を説明する。
【０１９９】
（再生動作・全フレーム再生）
図１９は、全フレーム再生モードでの動作を示したフローチャート、図２１（ａ）は、全フレーム再生モードでの各フレームのデコードと表示の有無を、動画記録時に設定されていたサブフレームモード別に示した概念図である。
【０２００】
図１９に示したように全フレーム再生モードにおいて、ＣＰＵ８は記録開始に伴い、まず再生フレーム番号（ｊ）を初期化する（ステップＳＦ１）。再生フレーム番号（ｊ）の初期値は「０」である。次に、記録時に符号化された全てのフレームに関する全フレーム再生用インデックス情報１０１が格納されている前述した全フレーム再生用ｔｒａｋからフレーム番号（ｊ）のインデックス情報を読み出し（ステップＳＦ２）、読み出したインデックス情報に従って、Ｖｉｄｅｏストリーム群に対する読み出しポインタをフレーム番号（ｊ）のＡｃｃｅｓｓ Ｕｎｉｔ（符号化データ）に設定する（ステップＳＦ３）。
【０２０１】
引き続き、フレーム番号（ｊ）の符号化データのスライスヘッダ１２１内の情報をリードした後（ステップＳＦ４）、このスライスヘッダ情報のうちスライスタイプによって示されるピクチャ種別がＩピクチャであれば（ステップＳＦ５でＹＥＳ）、ＣＯＤＥＣ５にフレーム内復号化によりＩピクチャをデコードさせ、その画像データをメモリ４へ出力させる（ステップＳＦ６）。
【０２０２】
また、フレーム番号（ｊ）の符号化データのスライスタイプによって示されるピクチャ種別がＩピクチャでなければ（ステップＳＦ５でＮＯ）、スライスデータ本体１２２に符号化データと共に格納されている前記参照画像指示情報により示される参照先のフレームの画像を参照画像として用いたフレーム間予測復号化によりＰピクチャをデコードさせ、その画像データをメモリ４へ出力させる（ステップＳＦ７）。
【０２０３】
ここでデコード対象となるＰピクチャは記録されている全てのＰピクチャとなるが、図２１（ａ）に示したように、個々のＰピクチャの内容については、動画記録時に設定されていたサブフレームモードによって異なる。すなわち動画記録時のサブフレームモードが３であれば、第１の実施形態のスロー再生、第２の実施形態の４倍スロー再生モードの場合と同様に、動画記録時に撮像されていた全てのメインフレーム及びサブフレームのＰピクチャがデコード対象となる。またサブフレームモードが１であれば、動画記録時に撮像されていた全てのメインフレームと、動画記録時におけるフレーム番号（ｉ）が偶数であったサブフレームのＰピクチャがデコード対象となる。またサブフレームモードが０であれば、動画記録時に撮像されていた全てのメインフレームのＰピクチャがデコード対象となる。
【０２０４】
また、各Ｐピクチャのデコード時における参照先のフレームについては、そのフレームが動画記録時のサブフレームモードに関係なく、フレーム番号（ｊ）のフレームがサブフレームのときには常に直前のメインフレーム（メインフレーム）である。また、そのフレームがメインフレームのときであって、動画記録時におけるフレーム番号（ｉ）が８の倍数であったＰピクチャについては８フレーム前のメインフレームであり、動画記録時におけるフレーム番号（ｉ）が８の倍数以外の４の倍数であったＰピクチャについては常に直前のメインフレームである（図１８参照）。
【０２０５】
そして、１／６０秒の表示フレームレートによるタイミング待ちを行った後（ステップＳＦ８）、デコードされた画像データをメモリ４から読み出し、その画像データを表示制御部６へ送る。これにより表示制御部６に、表示フレームレートによる表示タイミングでＬＣＤ７の表示画像を更新させる（ステップＳＦ９）。
【０２０６】
以後、最終フレームの処理が終了するまでは（ステップＳＦ１０でＮＯ）、再生フレーム番号（ｊ）をインクリメントした後（ステップＳＦ１１）、ステップＳＦ２へ戻って前述した処理を繰り返し、全ての符号化データのデコード、及び表示が終了した時点（ステップＳＦ１０でＹＥＳ）で再生を終了する。
【０２０７】
これにより、図２１（ａ）に示したように、記録時のサブフレームモードが３であった動画像については、２４０ｆｐｓで記録された全てのフレームを順にデコードし、記録されている全てのフレームの画像データを６０ｆｐｓで表示させることにより、動画像を実速度の１／４の速度でスロー再生する。また、記録時のサブフレームモードが１であった動画像については、１フレームおきに間引かれて記録されている全ての画像データを６０ｆｐｓで表示させることにより、動画像を実速度の１／２の速度でスロー再生する。さらに、記録時のサブフレームモードが０であった動画像については、３フレームおきに間引かれて記録されている全ての画像データを６０ｆｐｓで表示させることにより、動画像を実速再生する。
【０２０８】
なお、図２１（ａ）には、符号化データが記録されているフレーム（記録フレーム）のみについて、ピクチャの種別（Ｉ，Ｐ，ｐ）及び動画記録時のフレーム番号を示してある。また、太枠で示したフレームが、再生時に使用される全フレーム再生用ｔｒａｋに全フレーム再生用インデックス情報１０１が格納されているフレームである。
【０２０９】
以上のように、全フレーム再生モードにおいては、全フレーム再生用インデックス情報１０１を用いた復号処理を行うことにより、図２３に示したように、記録されている動画像を、動画記録時に設定されていたサブフレームモードの種類に応じて４倍スロー、２倍スロー（実速の１／２の速度）、実速の何れかの速度で再生する。
【０２１０】
（再生動作・実速再生）
図２０は、本実施形態における実速再生モードでの動作を示したフローチャート、図２１（ｂ）は、実速再生モードにおける各フレームのデコードと表示の有無を、動画記録時に設定されていたサブフレームモード別に示した概念図である。
【０２１１】
図２０に示したように実速再生モードにおいてＣＰＵ８は、記録開始に伴い、まず再生フレーム番号（ｊ）を初期化した後（ステップＳＦ１０１）、全フレーム再生モードの場合とは異なり、メインフレームのみに関する実速再生用インデックス情報１０２が格納されている実速再生用ｔｒａｋからフレーム番号（ｊ）のインデックス情報を読み出す（ステップＳＦ１０２）。これ以降は、全フレーム再生モードで説明した図１９のステップＳＦ３〜ステップＳＦ１１と同一の処理を行う（ステップＳＦ１０３〜ステップＳＦ１１１）。
【０２１２】
これにより、図２１（ｂ）に示したように、記録時に設定されていたサブフレームモードの種類に関係なく、先頭フレームを含めた４フレーム毎のメインフレームのみを６０ｆｐｓで表示させることにより、動画像を実速度で再生する（図２３参照）。なお、図２１（ｂ）に太枠で示したフレームが、再生時に使用される実速再生用ｔｒａｋに実速再生用インデックス情報１０２が格納されているフレームである。
【０２１３】
（再生動作・１／２間引き再生）
図２２（ａ）は、１／２間引き再生モードにおける各フレームのデコードと表示の有無を、動画記録時に設定されていたサブフレームモード別に示した概念図である。
【０２１４】
１／２間引き再生モードにおいてＣＰＵ８は、前述した全フレーム再生モードの場合とほぼ同様の処理を行う。すなわち図示しないが、図１９に示したステップＳＦ１１の処理を、再生フレーム番号（ｊ）を２つインクリメントする処理に変更した処理を行う。
【０２１５】
これにより、図２２（ａ）に示したように、記録時のサブフレームモードが３であった動画像については、２４０ｆｐｓで記録された全てのフレームを１フレームおきに間引きしながら順にデコードし６０ｆｐｓで表示させることにより、動画像を実速度の１／２の速度でスロー再生する。また、記録時のサブフレームモードが１であった動画像については、１フレームおきに間引かれて記録されている符号化データを更に１フレームおきに間引きしながら順にデコードし６０ｆｐｓで表示させることにより、動画像を実速度で再生する。さらに、記録時のサブフレームモードが０であった動画像については、３フレームおきに間引かれて記録されている符号化データを更に１フレームおきに間引きしながら順にデコードし６０ｆｐｓで表示させることにより、動画像を倍速再生（撮影時の２倍の速度で再生）する。
【０２１６】
なお、図２２（ａ）においても、符号化データが記録されているフレーム（記録フレーム）のみについて、ピクチャの種別（Ｉ，Ｐ，ｐ）及び動画記録時のフレーム番号を示してある。また、太枠で示したフレームが、再生時に使用される全フレーム再生用ｔｒａｋに全フレーム再生用インデックス情報１０１が格納されているフレームである。
【０２１７】
以上のように、１／２間引き再生においては、全フレーム再生用インデックス情報１０１を用いた復号処理を行うことにより、記録されている動画像を、動画記録時に設定されていたサブフレームモードの種類に応じ２倍スロー、実速、倍速の何れかの速度で再生する。
【０２１８】
（再生動作・倍速再生）
図２２（ｂ）は、倍速再生モードにおける各フレームのデコードと表示の有無を、動画記録時に設定されていたサブフレームモード別に示した概念図である。
【０２１９】
倍速再生モードにおいてＣＰＵ８は、前述した実速再生モードの場合とほぼ同様の処理を行う。すなわち図示しないが、図２０に示したステップＳＦ１１１の処理を、再生フレーム番号（ｊ）を２つインクリメントする処理に変更した処理を行う。
【０２２０】
これにより、図２２（ｂ）に示したように、記録時に設定されていたサブフレームモードの種類に関係なく、先頭フレームを含めた８フレーム毎のメインフレームのみを６０ｆｐｓで表示させることにより、動画像を倍速再生する（図２３参照）。なお、図２２（ｂ）に太枠で示したフレームが、再生時に使用される実速再生用ｔｒａｋに実速再生用インデックス情報１０２が格納されているフレームである。
【０２２１】
ここで、以上説明した本実施形態においても、前述した第２の実施形態と同様、動画記録時にはメインフレームのＰピクチャとサブフレームのＰピクチャとの双方を直前のメインフレームのＩピクチャ又はＰピクチャを参照画像として符号化する。そのため、動画像を再生する際には、前述したいずれの再生モードによって動画像を再生する場合であっても、また、動画記録時のサブフレームモードに関係なく、表示しないサブフレームの符号化データをデコードすることなく、表示対象のサブフレームの符号化データをデコードすることができる。
【０２２２】
したがって、動画記録時に設定されていたサブフレームモードの種類に応じて動画像を実速度の１／２の速度でスロー再生する場合や実速再生する場合、それを効率的に行うことができ、その場合におけるデータ処理量、消費電力を削減することができる。
【０２２３】
また、本実施形態においては、倍速再生モードを用いることにより、記録時に設定されていたサブフレームモードの種類に関係なく動画像を倍速再生することができ、また、記録時のサブフレームモードが０であった動画像については１／２間引き再生モードによって再生することによっても動画像を倍速再生することができる。
【０２２４】
しかも、動画記録時において、フレーム番号（ｉ）が８の倍数であるフレームのＰピクチャについては、直前のメインフレームのＩピクチャ、又はＰピクチャではなく、８フレーム前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化するようにした。そのため、動画像を倍速再生する場合においても、表示しないメインフレームの符号化データをデコードすることなく、表示対象のメインフレームの符号化データをデコードすることができる。したがって、動画像を倍速再生する場合についても、それを効率的に行うことができ、その場合におけるデータ処理量、消費電力を削減することができる。
【０２２５】
なお、本実施形態では、フレーム番号（ｉ）が８の倍数であるフレームのＰピクチャを、８フレーム前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化するようにしたが、例えばフレーム番号（ｉ）が１６の倍数であるフレームのＰピクチャを、１６フレーム前のメインフレームのＩピクチャ、又はＰピクチャを参照画像として符号化するようにしてもよい。つまりＰピクチャを、ｎフレームのＰピクチャ毎に、当該Ｐピクチャと最も近いフレームの他のＰピクチャの符号化時の参照画像を用いて符号化するようにしてもよい。その場合、動画像を更に速い速度で再生することができる。つまりｎ＝１６の場合は４倍速での再生が可能となる。
【０２２６】
また、本実施形態では、動画記録時において、メインフレーム間に存在させるサブフレーム数をサブフレームモードとして設定可能である。これにより、動画記録時に、例えば撮像部１において撮像される被写体の動きが遅い場合にはサブフレームモードを０に設定するといったように、被写体の動きの速度変化にあわせてサブフレームモードを設定することにより、フレーム間引きを伴う動画再生に不要なフレームの画像の符号化処理を省くことができる。したがって、動画記録時におけるデータ処理量、消費電力を削減することができる。同時に、メモリカード１０のメモリ消費量を削減することができる。
【０２２７】
また、本実施形態では、動画記録時に、再生時に復号対象とすべきＡｃｃｅｓｓ Ｕｎｉｔ（符号化データ）を示すインデックス情報として、前述した全フレーム再生用インデックス情報１０１と実速再生用インデックス情報１０２との双方を記録するようにした。これにより、動画再生時には、それらのインデックス情報を使い分けることにより、同一の動画ファイルに基づいて動画像の実速度の１／４の速度でスロー再生する全フレーム再生と実速再生とを実現することができる。しかも、ＭＰ４ファイルを再生可能な汎用の動画再生装置においても、それを実現することができる。
【０２２８】
なお、本実施形態においては、前記ＣＯＤＥＣ５が第１の実施形態で説明した動画記録装置と同様の構成である場合について説明したが、これに限らず、前記ＣＯＤＥＣ５は、第２の実施形態で説明した動画記録装置と同様に、バス制御部５１および参照バッファ５２と、並列に設けられた第１のＣＯＤＥＣ５３〜第４のＣＯＤＥＣ５６からなる図７に示した構成としてもよい。その場合においても、記録モードにおいて図１８に示したように所定のフレームの画像を符号化させることにより、本実施形態と同様の効果を得ることができる。また、係る点については前述した第１の実施形態についても同様である。
【０２２９】
［変形例］
ここで、以上説明した第１の実施形態〜第３の実施形態においては、動画像の符号化、復号化を行うためのＣＯＤＥＣ５を有した動画記録装置について説明したが、動画像の符号化、復号化を所定のソフトウェアを用いることにより前記ＣＰＵ８に行わせる構成とすることもできる。その場合においても、前述したように動画像を実速度で再生するときのようにフレーム間引きを伴う動画再生に際しては、それを効率的に行うことができるため、全体のデータ処理量、消費電力を削減することができる。したがって、その場合にあっては、動画像の実速再生時と並行してより多様なデータ処理をＣＰＵ８に行わせることができ、またＣＰＵ８に過大な処理能力を確保せずとも、動画像の実速再生時と並行してより多様なデータ処理を行わせることができる。
【０２３０】
また、第１の実施形態〜第３の実施形態においては、前記動画記録装置が本発明の動画復号化装置としての機能を有した構成であって、前記動画記録装置によって記録した動画像を前記動画記録装置において再生する場合について述べたが、前述したように記録した動画像を、動画像の再生（復号化）機能を有する他の装置、又は再生（復号化）機能のみを有する装置において再生（復号化）する場合においても、再生（復号化）時における全体のデータ処理量、消費電力を削減することができる。
【０２３１】
これに関し、前記動画記録装置のように、動画像を２４０ｆｐｓで撮像（高速撮像）し、符号化する処理能力を有するものでは、基本的には２４０ｆｐｓで記録した動画データを２４０ｆｐｓで復号化し、表示することが可能である。これは先に述べたように符号化時には、ＭＰＥＧ方式と同様、復号化時と同じ予測画像を作るためのローカルデコードと呼ばれる復号処理が含まれているためである。
【０２３２】
したがって、前述した再生時における全体のデータ処理量を削減する効果、及びそれに付随して得られる効果、すなわち動画像の復号化を所定のソフトウェアを用いる場合の効果等については、２４０ｆｐｓで記録した動画像を、動画データの復号化処理能力として通常の表示フレームレート（例えば６０ｆｐｓ）に対応した能力を備えた一般的な再生装置に本発明の動画復号化方法を適用して実速再生等により再生する場合において最も顕著となる。
【０２３３】
一方、第１の実施形態〜第３の実施形態においては、記録モードによる記録時のフレームレートを２４０ｆｐｓとしたが、これ以外にも、記録時のフレームレートは再生時の表示フレームレート（６０ｆｐｓ）の整数（ｎ）倍であっても構わない。その場合、動画像の符号化、及び復号化に際しては、ｎフレーム毎のフレームをメインフレームとして符号化、及び復号化させるようにすれば、前述した各実施形態における実速再生モード（第１の実施形態では可変速再生モードでの実速再生中を含む）と同様に、動画の再生速度を実速度とすることができる。
【０２３４】
また、記録モードによる記録時において動画像を符号化するときのＩピクチャの挿入間隔を０．５秒（１２０フレーム毎）としたが、挿入間隔は何秒でもよく、また不定期としてもよい。さらには、Ｉピクチャを、実速再生モードで表示されるメインフレームだけでなく、実速再生モードでは表示されないサブフレームにも存在させてもよい。
【０２３５】
また、再生モードとして実速再生モード以外の再生モードを選択可能な構成としたが、動画像の再生を実速再生モードのみで行う構成としてもよい。
【０２３６】
一方、第１の実施形態〜第３の実施形態においては、前記ＣＯＤＥＣ５を動画像の符号化に際してＩピクチャ及びＰピクチャのみを作成する構成とする場合について述べたが、これに限らず、双方向予測回路を含む構成とし、符号化に際してＢピクチャ（双方向予測符号化画像）も作成する構成としてもよい。その場合、動画像の記録時には、Ｂピクチャを前述したサブフレーム（図６（ａ）、図１１（ａ）、図１８で「ｐ」のフレーム）に相当するフレーム位置に挿入すればよい。但し、その場合には、Ｂピクチャの作成には双方向の画像データを必要とするため、扱う情報量及び処理量が２倍になり、また一連のフレームの入力（撮像）・出力（表示）順と、符号化・復号化順が異なるため、処理が複雑化することとなる。
【０２３７】
また、第１の実施形態〜第３の実施形態においては、撮影した動画像を符号化するとき、一連のフレームの画像をＩピクチャ及びＰピクチャとして符号化する場合について説明したが、本発明は、あるフレームの画像データを、Ｐピクチャ（又はＢピクチャ）のように他のフレームを参照画像としたときの差分情報として符号化するフレーム間予測符号化技術を用いる方式であれば、他の方式で動画像を符号化方式する場合において適用することができる。例えばＩピクチャ（又はＢピクチャ）を動き補償によらないフレーム間予測符号化技術によって符号化する、つまり動きベクトル（ＭＶ）が含まれない差分情報のみの符号化データを生成するものや、各フレームをＤＣＴ係数以外の中間データに変換し、それを符号化するものであっても構わない。
【０２３８】
また、撮影した動画像を記録するだけでなく、記録した動画像の再生機能を備えた動画記録装置について説明したが、本発明は、再生機能を備えていない動画記録装置にも適用することができる。
【０２３９】
さらに、本発明は、動画像を符号化するものであれば、撮影によって取得される動画像に限らず、例えば他の装置から入力した動画像や、放送によって送られてくる動画像や、メモリに既に記録されている動画像を符号化する構成を有する種々の装置に採用することができる。
【０２４０】
また、第１及び２の実施形態においては、参照画像を用いてメインフレームを符号化する場合の参照フレームを直前のメインフレームとしたが、それより以前のメインフレームを用いてもよい。例えばフレーム番号（ｉ）が「８」以降のメインフレームの参照フレームを８フレーム前のメインフレームとしてもよい。さらには複数のメインフレームを参照フレームとして用いてもよい。つまりメインフレームをＢピクチャとして符号化してもよい。
【０２４１】
また、第３の実施形態においては、参照画像を用いてメインフレームを符号化する場合の参照フレームを直前の倍速フレーム、すなわち前述した倍速再生モードで表示対象となるフレーム（メインフレーム）としたが、それより以前の倍速フレームを用いてもよい。さらには複数の倍速フレームを参照フレームとして用いてもよい。つまりメインフレームをＢピクチャとして符号化してもよい。
【０２４２】
また、第１の実施形態においては、参照画像を用いてサブフレームを符号化する場合の参照フレームを直前のフレームとしたが、それより以前、あるいは以後のフレームを用いてもよい。さらには複数のフレームを参照フレームとして用いてもよい。つまりサブフレームをＢピクチャとして符号化してもよい。
【０２４３】
また、第２及び３の実施形態においては、参照画像を用いてサブフレームを符号化する場合の参照フレームを直前のメインフレームとしたが、それより以前のフレームを用いてもよい。さらには複数のメインフレームを参照フレームとして用いてもよい。つまりメインフレームをＢピクチャとして符号化してもよい。
【０２４４】
また、第１及び２の実施形態についても、第３の実施形態のように、ＭＰ４形式の動画ファイル形式を採用し、符号化データに全フレーム再生用インデックス情報１０１、実速再生用インデックス情報１０２を付加するようにして、動画像の再生（復号化）時には、全フレーム再生用インデックス情報１０１、実速再生用インデックス情報１０２を選択的に利用した再生動作を行うようにしてもよい。
【０２４５】
また、第３の実施形態についても、第２の実施形態のように、動画像の再生（復号化）時には、全フレーム再生用インデックス情報１０１、実速再生用インデックス情報１０２に代えてピクチャ・パラメータ（スライスタイプ、ｎａｌ＿ｒｅｆ＿ｉｄｃ、ｆｒａｍｅ＿ｎｕｍ、ＰＯＣ、参照画像指示情報）を利用した再生動作を行うようにしてもよい。
【図面の簡単な説明】
【０２４６】
【図１】本発明に係る動画記録装置を示す、各実施形態に共通するブロック図である。
【図２】記録モードによる動作を示すフローチャートである。
【図３】スロー再生モードによる動作を示すフローチャートである。
【図４】実速再生モードによる動作を示すフローチャートである。
【図５】可変速再生モードによる動作を示すフローチャートである。
【図６】（ａ）は記録モードで記録される動画データの構成を示す概念図、（ｂ）はスロー再生モードによる再生時における各フレームのデコードと表示の有無を示す概念図、（ｃ）は実速再生モードによる再生時における各フレームのデコードと表示の有無を示す概念図である。
【図７】第２の実施形態におけるＣＯＤＥＣの構成を示すブロック図である。
【図８】記録モードによる動作を示すフローチャートである。
【図９】ＣＯＤＥＣによる符号化処理を示すタイミングチャートである。
【図１０】Ｈ．２６４ストリームの概略構成を示す概念図である。
【図１１】図６に対応する概念図である。
【図１２】実速再生モードによる動作を示すフローチャートである。
【図１３】２倍スロー再生モードによる動作を示したフローチャートである。
【図１４】実速抜き出し編集モードによる動作を示したフローチャートである。
【図１５】第３の実施形態において記録するＭＰ４ファイルの概略構成図である。
【図１６】同ＭＰ４ファイルにおける、全フレーム再生用インデックス情報、及び実速再生用インデックス情報と、Ａｃｃｅｓｓ Ｕｎｉｔとの関係を示した図である。
【図１７】記録モードによる動作を示すフローチャートである。
【図１８】記録モードにおいて記録される動画データの構成を示す概念図である。
【図１９】全フレーム再生モードによる動作を示したフローチャートである。
【図２０】実速再生モードによる動作を示したフローチャートである。
【図２１】再生時における各フレームのデコードと表示の有無をサブフレームモード別に示した概念図である。
【図２２】再生時における各フレームのデコードと表示の有無をサブフレームモード別に示した概念図である。
【図２３】再生モードと動画再生速度と参照ｔｒａｋとの関係を示した図である。
【図２４】従来の技術の問題点を示す概念図である。
【符号の説明】
【０２４７】
１ 撮像部
２ 画像生成部
３ メモリバス
４ メモリ
５ ＣＯＤＥＣ
６ 表示制御部
７ ＬＣＤ
８ ＣＰＵ
９ メモリカード制御部
１０ メモリカード
１１ プログラムメモリ
１２ キー入力部
５１ バス制御部
５２ 参照バッファ
５３〜５６ 第１のＣＯＤＥＣ〜第４のＣＯＤＥＣ
６２ 属性情報
６２ａ ピクチャ種別情報
６２ｂ 参照先フレーム情報
１０１ ビデオｉｎｄｅｘ情報（全フレーム再生用インデックス情報）
１０２ ビデオｉｎｄｅｘ情報（実速再生用インデックス情報）
１１１ ＮＡＬヘッダ
１１２ スライスデータ
１２１ スライスヘッダ
１２２ スライスデータ本体
【特許請求の範囲】
【請求項１】
動画像を符号化する動画符号化装置において、
所定の撮像フレームレートで撮像された動画像における各フレームの画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、
符号化後における前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段と
を備えたことを特徴とする動画符号化装置。
【請求項２】
前記所定のフレーム間隔は、前記撮像フレームレートを前記表示フレームレートで割った値の整数倍であることを特徴とする請求項１記載の動画符号化装置。
【請求項３】
前記符号化制御手段は、前記符号化手段が前記特定画像をフレーム間予測符号化するときの参照画像を、直近の他の特定画像に制限することを特徴とする請求項１又は２記載の動画符号化装置。
【請求項４】
前記符号化制御手段は、前記特定画像を第１の特定画像と第２の特定画像とに分け、前記符号化手段が前記第１の特定画像をフレーム間予測符号化するときの参照画像を直近の他の特定画像に制限し、かつ前記符号化手段が前記第２の特定画像をフレーム間予測符号化するときの参照画像を１つ隔てた他の特定画像に制限することを特徴とする請求項１又は２記載の動画符号化装置。
【請求項５】
前記符号化手段は、フレーム間予測符号化に際して、先行する側のフレームの画像のみを参照画像として使用することを特徴とする請求項１乃至４いずれか記載の動画符号化装置。
【請求項６】
前記符号化手段は、フレーム間予測符号化に際して、先行する側のフレームの画像、又は前後双方のフレームの画像を参照画像として使用することを特徴とする請求項１乃至４いずれか記載の動画符号化装置。
【請求項７】
前記符号化手段により符号化された動画データを、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む復号化処理によって復号化する復号化手段と、
この復号化手段による動画データの復号化対象を前記所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段と
を備えたことを特徴とする請求項１乃至６いずれか記載の動画符号化装置。
【請求項８】
前記符号化制御手段は、動画像の符号化時に設定されている動作モードの種類に応じ、前記符号化手段による前記特定画像以外の非特定画像を対象とするフレーム間予測符号化の有無を制御することを特徴とする請求項１乃至７いずれか記載の動画符号化装置。
【請求項９】
前記符号化手段により符号化された一連の符号化画像からなる動画データに、前記特定画像の復号化時における参照画像として他の特定画像を示す参照画像指示情報を付加する参照先情報付加手段を備えたことを特徴とする請求項１乃至８いずれか記載の動画符号化装置。
【請求項１０】
前記符号化手段により符号化された一連の画像からなる動画データに、復号化対象の画像として前記特定画像のみを示す復号対象情報を付加する復号対象情報付加手段を備えたことを特徴とする請求項１乃至９いずれか記載の動画符号化装置。
【請求項１１】
前記復号対象情報付加手段は、前記復号対象情報として、前記特定画像の一部の特定画像のみからなる一連の画像を示すインデックス情報を付加することを特徴とする請求項１０記載の動画符号化装置。
【請求項１２】
前記符号化手段により符号化された一連の画像からなる動画データに、復号化対象とすべき一連の画像を示すインデックス情報として、前記符号化手段により符号化された全フレームの画像を示す第１のインデックス情報と、前記特定画像のみからなる一連の画像を示す第２のインデックス情報とを付加するインデックス情報付加手段を備えたことを特徴とする請求項１乃至９いずれか記載の動画符号化装置。
【請求項１３】
前記参照画像を一時記憶する記憶する参照画像記憶手段を備え、
この参照画像記憶手段に対し並列に設けられ前記符号化手段を構成するとともに、前記参照画像記憶手段に一時記憶された同一の参照画像を使用して連続する複数フレームの画像を同期した符号化処理により個別に符号化する前記所定のフレーム間隔に応じた数の符号化手段と
を備えたことを特徴とする請求項１乃至１２いずれか記載の動画符号化装置。
【請求項１４】
動画像を符号化する動画符号化装置において、
所定のフレームレートで撮像された動画像における各 入力する一連のフレームの画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、
符号化後における前記動画像が撮像時のフレームレートよりも遅いフレームレートで、かつ再生時間を撮像時間と一致させて表示させる場合に表示対象となる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段と
を備えたことを特徴とする動画符号化装置。
【請求項１５】
動画像を符号化する動画符号化方法において、
所定の撮像フレームレートで撮像された動画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化するとともに、
符号化後における前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像の前記フレーム間予測符号化に際しては他の特定画像を参照画像として使用する
ことを特徴とする動画符号化方法。
【請求項１６】
動画像を符号化する動画符号化装置が有するコンピュータを、
所定の撮像フレームレートで撮像された動画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、
符号化後における前記動画像を前記撮像時のフレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段と
して機能させるためのプログラム。
【請求項１７】
撮影した動画像を記録する動画記録装置において、
動画像を撮影する撮影手段と、
この撮影手段により所定の撮像フレームレートで撮影された動画像における各フレームの画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、
この符号化手段により符号化された動画データを記録する記録手段と、
この記録手段に記録された動画データに基づく動画像を前記撮像時のフレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段と
を備えたことを特徴とする動画記録装置。
【請求項１８】
動画像の記録時に設定されている記録モードの種類に応じ、前記記録手段に対する前記特定画像以外の非特定画像の符号化画像の記録の有無を制御する記録制御手段をさらに備えたことを特徴とする請求項１７記載の動画記録装置。
【請求項１９】
前記記憶手段に記憶されている動画データを構成する一連の符号化画像から、前記特定画像の符号化画像を抽出する抽出手段と、
この抽出手段により抽出された符号化画像を、相互の前後関係を維持したまま新たな動画データとして前記記憶手段に記憶させる動画編集手段と
をさらに備えたことを特徴とする請求項１７又は１８記載の動画記録装置。
【請求項２０】
所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化装置において、
前記動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理によって復号化する復号化手段と、
この復号化手段による前記動画データの復号化対象を、前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段と
を備えたことを特徴とする動画復号化装置。
【請求項２１】
前記復号化制御手段は、前記復号化手段に、前記特定画像のフレーム間予測復号化に際しては、前記動画データに付加されている参照画像指定情報により示されている、復号化対象と異なる他の特定画像を参照画像として使用させることを特徴とする請求項２０記載の動画復号化装置。
【請求項２２】
前記動画データに付加されている参照画像指定情報は、前記特定画像の復号化時の参照画像として直近の他の特定画像を示す情報であることを特徴とする請求項２１記載の動画復号化装置。
【請求項２３】
前記復号化制御手段は、前記動画データの復号化時に設定されている動作モードが第１の動作モードであるときには、前記復号化手段によるフレーム間予測復号化の対象を直近の他の特定画像を参照画像とする第１の特定画像、及び１つ隔てた他の特定画像を参照画像とする第２の特定画像のみに制限し、前記動画データの復号化時に設定されている動作モードが第２の動作モードであるときには、前記復号化手段によるフレーム間予測復号化の対象を１つ隔てた他の特定画像を参照画像とする第２の特定画像のみに制限することを特徴とする請求項２０，２１又は２２記載の動画復号化装置。
【請求項２４】
前記復号化制御手段は、前記復号化手段による前記動画データの復号化対象を、前記動画データに付加されている復号対象情報により示される前記特定画像のみに制限することを特徴とする請求項２０乃至２３いずれか記載の動画復号化装置。
【請求項２５】
前記復号化制御手段は、前記復号化手段による前記動画データの復号化対象を、前記特定画像のうちで、前記動画データに付加されている復号対象情報により示される前記特定画像のみに制限することを特徴とする請求項２４記載の動画復号化装置。
【請求項２６】
前記復号化制御手段は、復号化手段による復号化処理に際し、前記動画データに予め付加されているとともに復号対象として互いに異なる画像を示す第１のインデックス情報又は第２のインデックス情報を選択的に使用することにより、前記動作モードが第１の再生モードであるとき、復号化手段に全てのフレームを対象とする復号化処理を行わせ、かつ前記動作モードが第２の再生モードであるとき、復号化手段に所定のフレーム間隔の特定画像のみを対象とする復号化処理を行わせる
ことを特徴とする請求項２０，２１又は２２記載の動画復号化装置。
【請求項２７】
所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化装置において、
前記動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理によって復号化する復号化手段と、
この復号化手段による前記動画データの復号化対象を、符号化後における前記動画像を前記撮像時のフレームレートよりも遅いフレームレートで、かつ再生時間を撮像時間と一致させて表示させる場合に表示対象となる所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段と
を備えたことを特徴とする動画復号化装置。
【請求項２８】
所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化方法において、
前記動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理により復号化するとともに、
その復号化処理による復号化対象を、前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像のみに制限し、該特定画像の前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用する
ことを特徴とする動画復号化方法。
【請求項２９】
所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化装置が有するコンピュータを、
動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理によって復号化する復号化手段と、
この復号化手段による前記動画データの復号化対象を、前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段と
して機能させるためのプログラム。
【請求項３０】
所定の撮像フレームレートで撮像された動画像が符号化されているとともに動画復号化装置により復号化される動画データのデータ構造において、
動画復号化装置により復号化し前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像の符号化データであって、他の特定画像を参照画像としてフレーム間予測符号化された符号化データと、
前記特定画像の復号化時に参照画像とすべき前記他の特定画像を示す参照画像指示情報と
を含むことを特徴とするデータ構造。
【請求項３１】
前記動画復号化装置が復号化対象とすべき画像として前記特定画像のみを示す復号対象情報を含むことを特徴とする請求項３０記載のデータ構造。
【請求項３２】
前記復号対象情報として、前記特定画像の一部の特定画像のみからなる一連の符号化データを示すインデックス情報を含むことを特徴とする請求項３１記載のデータ構造。
【請求項３３】
前記動画復号化装置が復号化対象とすべき画像を示すインデックス情報として、全フレームの画像を示す第１のインデックス情報と、前記特定画像のみからなる一連の画像を示す第２のインデックス情報とを含むことを特徴とする請求項３０，３１又は３２記載のデータ構造。
【請求項１】
動画像を符号化する動画符号化装置において、
所定の撮像フレームレートで撮像された動画像における各フレームの画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、
符号化後における前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段と
を備えたことを特徴とする動画符号化装置。
【請求項２】
前記所定のフレーム間隔は、前記撮像フレームレートを前記表示フレームレートで割った値の整数倍であることを特徴とする請求項１記載の動画符号化装置。
【請求項３】
前記符号化制御手段は、前記符号化手段が前記特定画像をフレーム間予測符号化するときの参照画像を、直近の他の特定画像に制限することを特徴とする請求項１又は２記載の動画符号化装置。
【請求項４】
前記符号化制御手段は、前記特定画像を第１の特定画像と第２の特定画像とに分け、前記符号化手段が前記第１の特定画像をフレーム間予測符号化するときの参照画像を直近の他の特定画像に制限し、かつ前記符号化手段が前記第２の特定画像をフレーム間予測符号化するときの参照画像を１つ隔てた他の特定画像に制限することを特徴とする請求項１又は２記載の動画符号化装置。
【請求項５】
前記符号化手段は、フレーム間予測符号化に際して、先行する側のフレームの画像のみを参照画像として使用することを特徴とする請求項１乃至４いずれか記載の動画符号化装置。
【請求項６】
前記符号化手段は、フレーム間予測符号化に際して、先行する側のフレームの画像、又は前後双方のフレームの画像を参照画像として使用することを特徴とする請求項１乃至４いずれか記載の動画符号化装置。
【請求項７】
前記符号化手段により符号化された動画データを、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む復号化処理によって復号化する復号化手段と、
この復号化手段による動画データの復号化対象を前記所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段と
を備えたことを特徴とする請求項１乃至６いずれか記載の動画符号化装置。
【請求項８】
前記符号化制御手段は、動画像の符号化時に設定されている動作モードの種類に応じ、前記符号化手段による前記特定画像以外の非特定画像を対象とするフレーム間予測符号化の有無を制御することを特徴とする請求項１乃至７いずれか記載の動画符号化装置。
【請求項９】
前記符号化手段により符号化された一連の符号化画像からなる動画データに、前記特定画像の復号化時における参照画像として他の特定画像を示す参照画像指示情報を付加する参照先情報付加手段を備えたことを特徴とする請求項１乃至８いずれか記載の動画符号化装置。
【請求項１０】
前記符号化手段により符号化された一連の画像からなる動画データに、復号化対象の画像として前記特定画像のみを示す復号対象情報を付加する復号対象情報付加手段を備えたことを特徴とする請求項１乃至９いずれか記載の動画符号化装置。
【請求項１１】
前記復号対象情報付加手段は、前記復号対象情報として、前記特定画像の一部の特定画像のみからなる一連の画像を示すインデックス情報を付加することを特徴とする請求項１０記載の動画符号化装置。
【請求項１２】
前記符号化手段により符号化された一連の画像からなる動画データに、復号化対象とすべき一連の画像を示すインデックス情報として、前記符号化手段により符号化された全フレームの画像を示す第１のインデックス情報と、前記特定画像のみからなる一連の画像を示す第２のインデックス情報とを付加するインデックス情報付加手段を備えたことを特徴とする請求項１乃至９いずれか記載の動画符号化装置。
【請求項１３】
前記参照画像を一時記憶する記憶する参照画像記憶手段を備え、
この参照画像記憶手段に対し並列に設けられ前記符号化手段を構成するとともに、前記参照画像記憶手段に一時記憶された同一の参照画像を使用して連続する複数フレームの画像を同期した符号化処理により個別に符号化する前記所定のフレーム間隔に応じた数の符号化手段と
を備えたことを特徴とする請求項１乃至１２いずれか記載の動画符号化装置。
【請求項１４】
動画像を符号化する動画符号化装置において、
所定のフレームレートで撮像された動画像における各 入力する一連のフレームの画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、
符号化後における前記動画像が撮像時のフレームレートよりも遅いフレームレートで、かつ再生時間を撮像時間と一致させて表示させる場合に表示対象となる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段と
を備えたことを特徴とする動画符号化装置。
【請求項１５】
動画像を符号化する動画符号化方法において、
所定の撮像フレームレートで撮像された動画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化するとともに、
符号化後における前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像の前記フレーム間予測符号化に際しては他の特定画像を参照画像として使用する
ことを特徴とする動画符号化方法。
【請求項１６】
動画像を符号化する動画符号化装置が有するコンピュータを、
所定の撮像フレームレートで撮像された動画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、
符号化後における前記動画像を前記撮像時のフレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段と
して機能させるためのプログラム。
【請求項１７】
撮影した動画像を記録する動画記録装置において、
動画像を撮影する撮影手段と、
この撮影手段により所定の撮像フレームレートで撮影された動画像における各フレームの画像を、他のフレームの画像を参照画像として使用するフレーム間予測符号化を含む符号化処理によって符号化する符号化手段と、
この符号化手段により符号化された動画データを記録する記録手段と、
この記録手段に記録された動画データに基づく動画像を前記撮像時のフレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の画像を特定画像とし、該特定画像を前記符号化手段がフレーム間予測符号化するときの参照画像を他の特定画像に制限する符号化制御手段と
を備えたことを特徴とする動画記録装置。
【請求項１８】
動画像の記録時に設定されている記録モードの種類に応じ、前記記録手段に対する前記特定画像以外の非特定画像の符号化画像の記録の有無を制御する記録制御手段をさらに備えたことを特徴とする請求項１７記載の動画記録装置。
【請求項１９】
前記記憶手段に記憶されている動画データを構成する一連の符号化画像から、前記特定画像の符号化画像を抽出する抽出手段と、
この抽出手段により抽出された符号化画像を、相互の前後関係を維持したまま新たな動画データとして前記記憶手段に記憶させる動画編集手段と
をさらに備えたことを特徴とする請求項１７又は１８記載の動画記録装置。
【請求項２０】
所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化装置において、
前記動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理によって復号化する復号化手段と、
この復号化手段による前記動画データの復号化対象を、前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段と
を備えたことを特徴とする動画復号化装置。
【請求項２１】
前記復号化制御手段は、前記復号化手段に、前記特定画像のフレーム間予測復号化に際しては、前記動画データに付加されている参照画像指定情報により示されている、復号化対象と異なる他の特定画像を参照画像として使用させることを特徴とする請求項２０記載の動画復号化装置。
【請求項２２】
前記動画データに付加されている参照画像指定情報は、前記特定画像の復号化時の参照画像として直近の他の特定画像を示す情報であることを特徴とする請求項２１記載の動画復号化装置。
【請求項２３】
前記復号化制御手段は、前記動画データの復号化時に設定されている動作モードが第１の動作モードであるときには、前記復号化手段によるフレーム間予測復号化の対象を直近の他の特定画像を参照画像とする第１の特定画像、及び１つ隔てた他の特定画像を参照画像とする第２の特定画像のみに制限し、前記動画データの復号化時に設定されている動作モードが第２の動作モードであるときには、前記復号化手段によるフレーム間予測復号化の対象を１つ隔てた他の特定画像を参照画像とする第２の特定画像のみに制限することを特徴とする請求項２０，２１又は２２記載の動画復号化装置。
【請求項２４】
前記復号化制御手段は、前記復号化手段による前記動画データの復号化対象を、前記動画データに付加されている復号対象情報により示される前記特定画像のみに制限することを特徴とする請求項２０乃至２３いずれか記載の動画復号化装置。
【請求項２５】
前記復号化制御手段は、前記復号化手段による前記動画データの復号化対象を、前記特定画像のうちで、前記動画データに付加されている復号対象情報により示される前記特定画像のみに制限することを特徴とする請求項２４記載の動画復号化装置。
【請求項２６】
前記復号化制御手段は、復号化手段による復号化処理に際し、前記動画データに予め付加されているとともに復号対象として互いに異なる画像を示す第１のインデックス情報又は第２のインデックス情報を選択的に使用することにより、前記動作モードが第１の再生モードであるとき、復号化手段に全てのフレームを対象とする復号化処理を行わせ、かつ前記動作モードが第２の再生モードであるとき、復号化手段に所定のフレーム間隔の特定画像のみを対象とする復号化処理を行わせる
ことを特徴とする請求項２０，２１又は２２記載の動画復号化装置。
【請求項２７】
所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化装置において、
前記動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理によって復号化する復号化手段と、
この復号化手段による前記動画データの復号化対象を、符号化後における前記動画像を前記撮像時のフレームレートよりも遅いフレームレートで、かつ再生時間を撮像時間と一致させて表示させる場合に表示対象となる所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段と
を備えたことを特徴とする動画復号化装置。
【請求項２８】
所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化方法において、
前記動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理により復号化するとともに、
その復号化処理による復号化対象を、前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像のみに制限し、該特定画像の前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用する
ことを特徴とする動画復号化方法。
【請求項２９】
所定の撮像フレームレートで撮像された動画像が符号化された動画データを復号化する動画復号化装置が有するコンピュータを、
動画データを、他のフレームの画像を参照画像として使用するフレーム間予測復号化を含む復号化処理によって復号化する復号化手段と、
この復号化手段による前記動画データの復号化対象を、前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像のみに制限するとともに、前記復号化手段に、前記フレーム間予測復号化に際しては、復号化対象と異なる他の特定画像を参照画像として使用させる復号化制御手段と
して機能させるためのプログラム。
【請求項３０】
所定の撮像フレームレートで撮像された動画像が符号化されているとともに動画復号化装置により復号化される動画データのデータ構造において、
動画復号化装置により復号化し前記動画像を前記撮像フレームレートよりも遅い所定の表示フレームレートで表示させる場合に表示対象となる、前記撮像フレームレートと前記表示フレームレートとにより決まる所定のフレーム間隔の特定画像の符号化データであって、他の特定画像を参照画像としてフレーム間予測符号化された符号化データと、
前記特定画像の復号化時に参照画像とすべき前記他の特定画像を示す参照画像指示情報と
を含むことを特徴とするデータ構造。
【請求項３１】
前記動画復号化装置が復号化対象とすべき画像として前記特定画像のみを示す復号対象情報を含むことを特徴とする請求項３０記載のデータ構造。
【請求項３２】
前記復号対象情報として、前記特定画像の一部の特定画像のみからなる一連の符号化データを示すインデックス情報を含むことを特徴とする請求項３１記載のデータ構造。
【請求項３３】
前記動画復号化装置が復号化対象とすべき画像を示すインデックス情報として、全フレームの画像を示す第１のインデックス情報と、前記特定画像のみからなる一連の画像を示す第２のインデックス情報とを含むことを特徴とする請求項３０，３１又は３２記載のデータ構造。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００８−２２５３２（Ｐ２００８−２２５３２Ａ）
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００７−１０８７９４（Ｐ２００７−１０８７９４）
【出願日】平成１９年４月１８日（２００７．４．１８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【出願人】（５０３１２１１０３）株式会社ルネサステクノロジ (4,790)
【Ｆターム（参考）】
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１９年４月１８日（２００７．４．１８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【出願人】（５０３１２１１０３）株式会社ルネサステクノロジ (4,790)
【Ｆターム（参考）】
[ Back to top ]