記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体
【課題】 本発明は、記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体に関し、例えばランダムアクセス可能な記録媒体にビデオデータ及びオーディオデータを記録する携帯型の記録再生装置に適用して、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができるようにする。
【解決手段】 本発明は、編集可能点の位置情報を記録媒体２に記録する。
【解決手段】 本発明は、編集可能点の位置情報を記録媒体２に記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体に関し、例えばランダムアクセス可能な記録媒体にビデオデータ及びオーディオデータを記録する携帯型の記録再生装置に適用することができる。本発明は、編集可能点の位置情報を記録媒体に記録することにより、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができるようにする。
【背景技術】
【０００２】
従来、携帯型のビデオカメラ等では、ＭＰＥＧ（Moving Picture Experts Group）の手法によりビデオデータ及びオーディオデータをデータ圧縮した後、インターリーブ処理により多重化して記録媒体に記録するものが提供されている。
【０００３】
ここでＭＰＥＧでは、図４に示すように、連続するフレームを所定フレーム数により順次区切ってＧＯＰ（Group Of Pictures ）を形成し、各ＧＯＰの先頭フレームをＩピクチャーに設定する。ＭＰＥＧでは、このＩピクチャーをフレーム内符号化処理によりデータ圧縮する。またＧＯＰの残りフレームをＰピクチャー、Ｂピクチャーに設定し、それぞれ各ＧＯＰのＩピクチャーを予測フレームに設定したフレーム間符号化処理により、さらにはＩピクチャーを予測フレームに設定したＰピクチャーをさらに予測フレームに設定したフレーム間符号化処理により、Ｐピクチャー、Ｂピクチャーをデータ圧縮し、これらによりＧＯＰ単位でビデオデータを符号化処理する。
【０００４】
これに対してオーディオデータは、ＡＡＣ（Advanced Audio Codec）の手法により、図５（Ｂ）に示すように、ＧＯＰに対応する時間区分により順次区分されてオーディオアクセスユニット（ＡＡＵ：Audio Access Unit ）が形成され、このオーディオアクセスユニットを単位にしてデータ圧縮処理される。
【０００５】
従来のビデオカメラでは、図５に示すように、このようにデータ圧縮処理されて生成されるビデオデータのストリーミングデータＳＴ１とオーディオデータのストリーミングデータＳＴ２とをそれぞれ所定の時間区分によりパケット化し、これらパケットの時分割多重化により、これらビデオデータのストリーミングデータＳＴ１とオーディオデータのストリーミングデータＳＴ２とのインターリーブ処理による多重化ストリームＳＴ３を形成し、この多重化ストリームＳＴ３を記録媒体に記録していた。
【０００６】
ここでＭＰＥＧによるビデオデータのストリーミングデータＳＴ１は、ＧＯＰ単位でデータ圧縮処理されていることにより、ＧＯＰの途中で編集処理して１つのＧＯＰを構成するＰピクチャー、ＢピクチャーをＩピクチャーから切り離すと、これらＰピクチャー、Ｂピクチャーを復号することが困難になる。これによりこのようなＭＰＥＧによるビデオデータのストリーミングデータＳＴ１では、ＧＯＰの境界で編集処理することが必要になる。
【０００７】
またオーディオデータのストリーミングデータＳＴ２にあっても、オーディオアクセスユニット単位でデータ圧縮処理していることにより、このオーディオアクセスユニットの途中で編集処理したのでは、正しく復号することが困難になり、オーディオアクセスユニットの境界で編集処理することが必要になる。
【０００８】
これらにより記録媒体に記録した多重化ストリームＳＴ３を編集処理する場合には、ＧＯＰの境界であって、かつオーディオアクセスユニットの境界が、多重化ストリームを構成する各ストリーミングデータを正しく復号可能に多重化ストリームを編集可能な点（以下、編集可能点と呼ぶ）となり、これら以外の箇所で編集処理したのでは、ビデオデータ、オーディオデータの少なくとも一方は正しく復号できなくなる。これにより従来のビデオカメラでは、このようなＧＯＰの境界であって、かつオーディオアクセスユニットの境界を編集可能点に設定して、記録媒体に記録した多重化ストリームを編集処理していた。
【０００９】
このような多重化ストリームの記録に関して、特開２００４−７９０８７号公報には、ＧＯＰの先頭が、記録媒体におけるクラスタの先頭となるように設定して記録することにより、このような編集可能点を高速度で検出可能とする方法が提案されている。
【００１０】
ところでこのような編集可能点の検出にあっては、実際に記録媒体に記録された多重化ストリームを再生してストリーミングデータを解析し、境界を検出することが必要になる。またこのような多重化ストリームによるファイルを分割等する場合には、さらにファイル先頭からの時間経過を考慮した処理により、このような境界を検出することが必要になる。またインターリーブ処理によるビデオデータとオーディオデータとのパケットの位置関係も記録する装置によって異なる場合があることにより、このようなパケットの位置関係についても考慮して境界を検出することが必要になる。
【００１１】
これにより特開２００４−７９０８７号公報に開示の手法を適用して多重化ストリームを検出することにより、境界の検出に要する時間を短縮することができるものの、このような編集可能点を高速度で検出する処理にあっては、実用上、未だ不十分な問題があった。
【特許文献１】特開２００４−７９０８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は以上の点を考慮してなされたもので、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができる記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【００１３】
かかる課題を解決するため請求項１の発明は、複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録装置に適用して、前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出部と、前記検出部の検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化部と、前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録部とを備えるようにする。
【００１４】
また請求項８の発明は、複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録方法に適用して、前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出のステップと、前記検出のステップによる検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化処理のステップと、前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録のステップとを有するようにする。
【００１５】
また請求項９の発明は、演算処理手段による所定の処理手順の実行により、複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録方法のプログラムに適用して、前記処理手順は、前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出のステップと、前記検出のステップによる検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化処理のステップと、前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録のステップとを有するようにする。
【００１６】
また請求項１０の発明は、請求項９に記載の記録方法のプログラムを記録したことを特徴とする記録方法のプログラムを記録した記録媒体であるようにする。
【００１７】
請求項１の構成により、複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録装置に適用して、前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出部と、前記検出部の検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化部と、前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録部とを備えるようにすれば、この記録媒体に記録された多重化ストリームは、いちいち再生して解析しなくても、管理情報に割り当てられた位置情報及び時間情報により、編集可能点を検出することができ、これにより従来に比して編集可能な境界の位置を短時間で検出可能に多重化ストリームを記録することができる。
【００１８】
これにより請求項８、請求項９、請求項１０の構成によれば、従来に比して編集可能な境界の位置を短時間で検出可能に多重化ストリームを記録することができる記録方法、記録方法のプログラム、記録方法のプログラムを記録した記録媒体を提供することができる。
【発明の効果】
【００１９】
本発明によれば、従来に比して編集可能な境界の位置を短時間で検出可能に多重化ストリームを記録することができる。
【発明を実施するための最良の形態】
【００２０】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００２１】
（１）実施例の構成
図１は、本発明の実施例に係る記録再生装置を示すブロック図である。この記録再生装置１は、携帯型のビデオカメラであり、所望の被写体を撮影して得られるビデオデータ及びオーディオデータを記録媒体２に記録し、また記録媒体２に記録したビデオデータ及びオーディオデータを再生して出力する。このためこの記録再生装置１は、撮像素子より得られる１系統のビデオデータＤＶ、マイクより得られるステレオ方式による１系統のオーディオデータＤＡをそれぞれ信号処理回路により処理した後、バッファメモリ（バッファ）３、４を介してビデオエンコード部５、オーディオエンコード部６に入力する。なおここでこの実施例において、記録媒体２は、ランダムアクセス可能な記録媒体が適用され、例えば光ディスク、メモリカード等が適用される。
【００２２】
ビデオエンコード部５は、順次入力されるビデオデータＤＶをＭＰＥＧによりデータ圧縮し、ビデオデータによるストリーミングデータＳＴ１を出力する。この処理において、ビデオエンコード部５は、Ｉピクチャーに係る符号化処理を完了すると、制御部７の制御により、このＩピクチャーを構成する画素の間引きにより、Ｉピクチャーのサムネール画像データＤＴを生成して出力する。
【００２３】
オーディオエンコード部６は、ＡＡＣにより順次入力されるオーディオデータＤＡをデータ圧縮し、オーディオデータによるストリーミングデータＳＴ２を出力する。
【００２４】
バッファメモリ（バッファ）８は、ビデオエンコード部５から出力されるビデオデータによるストリーミングデータＳＴ１、サムネール画像データＤＴを蓄積して出力し、バッファメモリ（バッファ）９は、オーディオエンコード部６から出力されるオーディオデータのストリーミングデータＳＴ２を蓄積して出力する。バッファメモリ８、９は、このようにして一旦蓄積してストリーミングデータＳＴ１、ＳＴ２を出力するようにして、順次入力されるストリーミングデータＳＴ１、ＳＴ２に設定された制御コードが制御部７により監視され、この監視結果による制御部７のタイミング制御により、ビデオデータによるストリーミングデータＳＴ１のＧＯＰ境界のタイミングに対して、オーディオデータによるストリーミングデータＳＴ２のオーディオアクセスユニット境界のタイミングが一致するように、オーディオデータによるストリーミングデータＳＴ２のタイミングを補正して、ビデオデータによるストリーミングデータＳＴ１に同期したタイミングにより出力する。これによりこの実施例では、制御部７は、ビデオデータ及びオーディオデータに係るストリーミングデータのデータ圧縮処理単位の境界を検出する検出部を構成する。
【００２５】
多重化部１０は、制御部７の制御により、バッファメモリ８、９から出力されるストリーミングデータＳＴ１、ＳＴ２をインターリーブ処理して多重化ストリームＳＴ３を生成し、この多重化ストリームＳＴ３を出力する（図５参照）。これらによりこの記録再生装置１は、ビデオデータＤＶ及びオーディオデータＤＡをそれぞれデータ圧縮処理単位であるＧＯＰ及びオーディオアクセスユニット単位で符号化処理した後、その結果得られるストリーミングデータＳＴ１及びＳＴ２を多重化処理して出力する。
【００２６】
多重化部１０は、このインターリーブの処理において、制御部７の制御により、これら複数のストリーミングデータＳＴ１、ＳＴ２を正しく復号可能に多重化ストリームを編集可能とする編集可能点が発生するように、少なくともこれら複数のストリーミングデータＳＴ１、ＳＴ２の境界でインターリーブ処理するように、一定の時間区分により、これらストリーミングデータＳＴ１、ＳＴ２をインターリーブ処理して多重化ストリームを生成する。
【００２７】
具体的に、この実施例では、ビデオデータによるストリーミングデータＳＴ１のＧＯＰの先頭と、オーディオデータによるストリーミングデータＳＴ２のオーディオアクセスユニットの先頭とが、一致したタイミングによりバッファメモリ８、９から入力されることにより、ＧＯＰの境界のタイミングがインターリーブ処理のタイミングとなるように設定した一定の時間区分により、これらストリーミングデータＳＴ１、ＳＴ２をインターリーブ処理すれば、多重化ストリームＳＴ３上でこれらビデオデータ及びオーディオデータのストリーミングデータＳＴ１、ＳＴ２の境界が連続するように、多重化ストリームＳＴ３を生成することができ、この場合この連続する境界の末尾の境界を編集可能点とすることができる。
【００２８】
記録再生部１１は、制御部７の制御により、多重化部１０から出力される多重化ストリームＳＴ３、バッファメモリ８から出力されるサムネール画像データＤＴ等を記録媒体に記録する。この実施例では、これら多重化ストリームＳＴ３、サムネール画像データＤＴの記録にMP4ファイルフォーマット（ISO／IEC１４４９６−１４）が適用され、それぞれストリーミングデータファイル、サムネールデータファイルにより記録媒体２に記録される。
【００２９】
ここでMP4ファイルフォーマットとは、マルチメディア対応のファイルフォーマットであり、Ｑｕｉｃｋ Ｔｉｍｅファイルフォーマットを基にして、ISOにて標準化されている。
【００３０】
MP4ファイルフォーマットは、動画、静止画、音声等による実データがまとめられてブロック化され、またこの実データのブロックとは別に、この実データを管理する管理情報がまとめられてブロック化される。MP4ファイルフォーマットは、図２（Ｃ）に示すように、この実データのブロックがメディアデータボックス（mdat）と称され、また管理情報のブロックがムービーボックス（moov）と称される。ムービーボックス（moov）は、階層構造によるブロックにより管理情報が割り当てられ、これらのブロックもボックスと称される。
【００３１】
MP4ファイルフォーマットは、ムービーボックス（moov）の下位階層に、MP4ファイルフォーマットに係る実データの種類毎に、トラックボックス（track ）が形成される。これによりビデオデータ及びオーディオデータのストリーミングデータとサムネール画像を記録する場合、MP4ファイルは、ムービーボックス（moov）にそれぞれビデオ、オーディオそしてサムネールの３つのトラックボックス（track ）が形成される。
【００３２】
これにより図２（Ａ）及び（Ｂ）に示すように、記録再生部１１は、サムネール画像データＤＴを順次記録すると共に、この管理情報をムービーボックス（moov）のトラックボックス（track ）に外部参照機能を利用して割り当て、サムネールデータファイルＦＴ及びFSを生成する。なおここでこのトラックボックス（track ）の管理情報は、各サムネール画像データＤＴを再生するのに必要な情報であり、サムネールデータファイルＦＴ上における各サムネール画像データＤＴの位置情報、データ長、編集可能点の時間情報等のデータが割り当てられる。
【００３３】
同時に記録再生部１１は、図２（Ｂ）に示すように、多重化ストリームＳＴ３を順次、メディアデータボックス（mdat）に記録する共に、この管理情報をムービーボックス（moov）のビデオ及びオーディオのトラックボックス（track ）に割り当て、ストリーミングデータファイルＦＳを生成する。またムービーボックス（moov）の各トラックの管理情報により、図２（Ｃ）に示すような編集可能点の多重化ストリームＳＴ３の先頭記録位置を基準にしたオフセットデータ位置、この先頭記録位置からの再生時間が求められる。これらにより編集可能点を高速度で検索でき、そのサムネールを高速表示できるようにする。
【００３４】
制御部７は、図示しないメモリに記録されたプログラムの実行により、この記録再生装置１全体の動作を制御する演算処理手段により構成され、ユーザーにより撮像結果の記録が指示されると、全体の動作モードを切り換え、ビデオデータＤＶ及びオーディオデータＤＡの取得、記録を開始する。このビデオデータＤＶ及びオーディオデータＤＡの記録において、制御部７は、ビデオデータＤＶの１フレーム毎に、図３の処理手順を実行し、これにより上述したＭＰ４ファイルフォーマットによりサムネールデータファイルＦＴ、ストリーミングデータファイルＦＳを記録媒体２に記録する。なおこの実施例において、この制御部７の実行に係るプログラムは、事前にこの記録再生装置１にインストールされて提供されるものの、このような事前のインストールに代えて、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、光ディスク、磁気ディスク、メモリカード等の記録媒体を介して提供するようにしてもよい。
【００３５】
すなわち制御部７は、この処理手順を開始すると、ステップＳＰ１からステップＳＰ２に移り、ここで１フレーム分の符号化処理の完了を待機し、続くステップＳＰ３において、この符号化処理の完了したフレームがＩピクチャーか否か判断することにより、ＧＯＰ境界に続く１フレームの処理を完了したか否か判断する。なおここでこの判断にあっては、ストリーミングデータＳＴ１に設定される制御コードによるピクチャータイプにより判定されるが、これに代えてビデオエンコード部５からピクチャータイプを通知して判定するようにしてもよい。ここで否定結果が得られると、制御部７は、ステップＳＰ３からステップＳＰ４に移り、この処理を完了した１フレームの分だけ、ファイル先頭からの再生時間、フレーム先頭の記録位置を示すオフセット値をアップカウントした後、ステップＳＰ５に移ってこの処理手順を終了する。なおここでの記録位置を示すオフセット値のアップカウントにあっては、ビデオエンコード部５より出力されるストリーミングデータの１フレーム分のデータ量を、それまでのオフセット値に加算して実行される。
【００３６】
これに対してステップＳＰ３で肯定結果が得られると、制御部７は、ステップＳＰ６に移る。ここで制御部７は、サムネール画像データＤＴの生成をビデオエンコード部５に指示し、これによりこのＩピクチャーのサムネール画像を生成する。また続くステップＳＰ７において、ビデオエンコード部５で生成されるサムネール画像データＤＴのデータ量の検出により、このサムネール画像データＤＴのサイズを検出する。また続くステップＳＰ８において、このＩピクチャーの開始の時点に係る編集可能点でのインターリーブを指示する。また続くステップＳＰ９において、直前のステップＳＰ４によるアップカウント値、再生時間を取得し、これにより編集可能点のオフセット値、時間情報を検出する。また続くステップＳＰ１０において、ステップＳＰ７で取得したデータ量、ステップＳＰ９で取得したオフセット値、時間情報により、図２（Ｂ）について上述した各種編集可能点に係る情報を生成して記録再生部１１に通知し、ステップＳＰ４に移る。
【００３７】
これにより制御部７は、多重化ストリームＳＴ３によるストリーミングデータファイルＦＳを順次記録しながら、サムネール画像データＤＴを生成してサムネールデータファイルＦＴを記録媒体２に記録する。
【００３８】
しかして制御部７は、ユーザーにより記録の停止が指示されると、この一連の処理を停止してストリーミングデータファイルＦＳ、サムネールデータファイルＦＴの記録を終了する。これに対してユーザーにより記録媒体２に記録されたファイルの再生が指示されると、記録再生部１１により再生が指示されたストリーミングデータファイルＦＳを再生するように全体の動作を制御する。またこれにより記録再生部１１から得られる多重化ストリームＳＴ３をビデオデータ及びオーディオデータのストリーミングデータに分離した後、それぞれ復号してユーザーに提供する。
【００３９】
この一連の処理において、ユーザーによる再生の指示が編集処理に係る再生の場合、制御部７は、このストリーミングデータファイルＦＳに記録されたサムネールデータファイルＦＴに係るトラックボックスを再生して内蔵のメモリに保持した後、このメモリに記録したトラックボックスのデータによりサムネールデータファイルＦＴに記録されたサムネール画像データＤＴによるサムネール画像を順次再生して一定の時間間隔によりモニタに表示する。またユーザーによる操作子の操作により、このようなサムネール画像の一定の時間間隔による再生を一時停止してユーザーによる操作を受け付け、これにより例えばユーザーが録画の操作子を誤って操作して記録した箇所の削除等を受け付ける。制御部７は、このユーザーによる削除等の指示により、一時停止の状態で表示しているサムネール画像のトラックボックスの記録より、多重化ストリームのトラックボックスを検索して対応する編集可能点を検出し、この編集可能点によりストリーミングデータファイルＦＳを編集処理する。なおこの編集処理にあっては、ＭＰ４ファイルの特徴を利用して、外部参照形式により、例えば編集可能点以降を削除したトラックボックスによりムービーボックスを作成して別ファイルにより編集結果のファイルを作成する場合等が考えられる。またサムネールデータファイルＦＴにあっては、このような編集処理だけに限らず、頭出し等の処理にも利用することができる。
【００４０】
（２）実施例の動作
以上の構成において、この記録再生装置１において、撮像素子から得られるビデオデータＤＶは、バッファメモリ３を介してビデオエンコード部５に入力され、ここでＧＯＰによるデータ圧縮処理単位毎に、ＭＰＥＧによりデータ圧縮処理されてビデオデータによるストリーミングデータＳＴ１が生成される。これに対してマイクより得られるオーディオデータＤＡは、バッファメモリ４を介してオーディオエンコード部６に入力され、ここでオーディオアクセスユニットによるデータ圧縮処理単位毎に、ＡＡＣによりデータ圧縮処理されてオーディオデータによるストリーミングデータＳＴ２が生成される。
【００４１】
これらビデオデータによるストリーミングデータＳＴ１及びオーディオデータによるストリーミングデータＳＴ２は、制御部７によりデータ圧縮処理単位の境界がそれぞれ検出され、この境界の検出結果に基づいた制御部７によるバッファメモリ８、９のタイミング制御により、また多重化部１０におけるインターリーブ処理のタイミング制御により、編集可能点が発生するように、少なくともこれらストリーミングデータＳＴ１、ＳＴ２の境界を含む一定の時間区分によりインターリーブ処理されて多重化ストリームＳＴ３が生成される。これによりこのビデオデータ及びオーディオデータにあっては、この編集可能点により多重化ストリームＳＴ３を編集処理した場合には、ビデオデータ及びオーディオデータの双方を正しく復号可能に設定されて多重化ストリームＳＴ３に変換処理され、この記録再生装置１では、この多重化ストリームＳＴ３が記録媒体２に記録される。
【００４２】
またこの記録再生装置１では、多重化ストリームにおけるこの編集可能点の位置情報及び時間情報が制御部７により生成され、これらの情報が多重化ストリームの管理情報として記録媒体２に記録される。これによりこの記録媒体２に記録された多重化ストリームＳＴ３にあっては、いちいちビデオデータ及びオーディオデータのストリーミングデータＳＴ１、ＳＴ２を再生して解析しなくても、記録媒体に記録した編集可能点の位置情報及び時間情報により編集可能点を検出することができ、これにより従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができる。
【００４３】
具体的に、この記録再生装置１において、ビデオデータ及びオーディオデータのストリーミングデータＳＴ１及びＳＴ２は、バッファメモリ８、９のタイミング制御により、ＧＯＰの境界とオーディオアクセスユニットの境界のタイミングとが一致するように設定された後、ＧＯＰの境界のタイミングを含む一定の時間区分によりインターリーブ処理され、これにより多重化ストリーム上では、これらストリーミングデータＳＴ１及びＳＴ２の境界が連続するように形成され、この多重化ストリーム上における連続する境界のうちの末尾の境界が編集可能点とされる。
【００４４】
これによりこの実施例では、この末尾の境界に係る位置情報、時間情報が管理情報により記録媒体２に記録され、これによりこの位置情報及び時間情報により編集可能な境界の位置を高速度で検出して、記録媒体２に記録された多重化ストリームを処理することができる。
【００４５】
さらにこの実施例では、このようにして多重化ストリームＳＴ３を生成して記録媒体２に記録するようにして、ビデオエンコード部５においてビデオデータＤＶを符号化処理する際に、Ｉピクチャーのサムネール画像データＤＴが生成され、このサムネール画像データＤＴが併せて記録媒体２に記録される。これによりこの記録再生装置１では、記録媒体２に記録した位置情報、時間情報による編集可能点に続く１フレームのサムネール画像が記録媒体２に併せて記録される。
【００４６】
これによりこの記録再生装置１では、この記録媒体２に記録したサムネール画像データＤＴを再生して表示することにより、編集可能点を簡易かつ迅速に確認することができ、その分、編集処理における操作性を向上してユーザーの使い勝手を向上することができる。
【００４７】
また多重化ストリームＳＴ３にあっては、ファイルにより記録媒体２に記録され、編集可能点の位置情報にあっては、このファイルのファイル先頭からのオフセットにより記録媒体に記録される。これにより記録媒体２に記録された多重化ストリームＳＴ３のファイルにあっては、この位置情報により迅速に所望する編集可能点に係る箇所をアクセスすることができ、これによってもユーザーの使い勝手を向上することができる。また時間情報にあっても、ファイル先頭を基準にした再生時間により記録され、これによっても編集処理の作業性を向上することができる。
【００４８】
しかしてこの実施例では、このサムネール画像データがＭＰ４ファイルにより記録媒体２に記録され、多重化ストリームＳＴ３が、このサムネール画像データによるＭＰ４ファイルを外部参照する形式のＭＰ４ファイルにより記録される。これによりこの記録媒体に記録された多重化ストリームＳＴ３にあっては、サムネール画像データによるＭＰ４ファイルによっても、さらには多重化ストリームＳＴ３のＭＰ４ファイルによっても、サムネール画像を再生することができ、その分、再生側の負担を軽減することができる。
【００４９】
（３）実施例の効果
以上の構成によれば、編集可能点の位置情報を記録媒体に記録することにより、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができる。
【００５０】
また複数のストリーミングデータにおける境界が、多重化ストリーム上で連続するように、複数のストリーミングデータをインターリーブ処理するようにして、この連続する境界のうちの末尾の境界を編集可能点として位置情報を記録媒体に記録することにより、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができる。
【００５１】
具体的に、この複数のストリーミングデータの少なくとも１つのストリーミングデータが、ＡＡＣによりデータ圧縮したオーディオデータであり、このストリーミングデータの境界がオーディオアクセスユニットの境界であることにより、ＡＡＣによりデータ圧縮したオーディオデータによる多重化ストリームに関して、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができる。
【００５２】
またこの複数のストリーミングデータの少なくとも１つのストリーミングデータが、ＭＰＥＧによりデータ圧縮したビデオデータであり、この１つのストリーミングデータの境界がＧＯＰの境界であることにより、ＭＰＥＧによりデータ圧縮したビデオデータによる多重化ストリームに関して、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができる。
【００５３】
またビデオデータのＩピクチャーからサムネール画像データを生成し、このサムネール画像データを記録媒体に記録することにより、編集処理における操作性を向上してユーザーの使い勝手を向上することができる。
【００５４】
また多重化ストリームをファイルにより記録媒体に記録するようにして、編集可能点の位置情報をこのファイルのファイル先頭を基準にしたオフセットにより記録媒体に記録することによっても、編集処理における操作性を向上してユーザーの使い勝手を向上することができる。
【００５５】
またサムネール画像データの連続によるサムネール画像のファイルを記録媒体に記録するようにして、このサムネール画像のファイルを外部参照形式により再生可能に、多重化ストリームをファイルにより記録することにより、サムネール画像データによるファイル、多重化ストリームのファイルの何れを再生しても、サムネール画像を確認することができ、その分、再生側の負担を軽減することができる。
【実施例２】
【００５６】
なお上述の実施例においては、外部参照形式により多重化ストリームを再生してサムネール画像データを再生可能とする場合について述べたが、本発明はこれに限らず、自己内包形式により多重化ストリームとサムネール画像データとを一体にファイル化して記録するようにしてもよい。
【００５７】
また上述の実施例においては、ＭＰ４ファイルフォーマットによりサムネール画像データ、多重化ストリームを記録する場合について述べたが、本発明はこれに限らず、種々のファイルフォーマットによりサムネール画像データ、多重化ストリームを記録する場合に広く適用することができる。
【００５８】
また上述の実施例においては、ビデオデータのストリーミングデータ編集境界をGOPとする場合について述べたが、本発明はこれに限らず、編集境界をClosed GOPにする場合にも適用することができる。
【００５９】
また上述の実施例においては、１つのビデオデータによるストリーミングデータとステレオ方式による１系統のオーディオデータによるストリーミングデータとをインターリーブ処理して多重化処理する場合について述べたが、本発明はこれに限らず、種々の系統数によるビデオデータ及びオーディオデータに係るストリーミングデータを多重化処理して記録する場合に、広く適用することができる。
【００６０】
また上述の実施例においては、本発明を携帯型のビデオカメラに適用する場合について述べたが、本発明はこれに限らず、据え置き型の各種記録再生装置、パーソナルコンピュータにおける処理等に広く適用することができる。
【産業上の利用可能性】
【００６１】
本発明は、記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体に関し、例えばランダムアクセス可能な記録媒体にビデオデータ及びオーディオデータを記録する携帯型の記録再生装置に適用することができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施例に係る記録再生装置を示すブロック図である。
【図２】図１の記録再生装置に係る記録フォーマットの説明に供する図表である。
【図３】図１の記録再生装置における制御部の処理手順を示すフローチャートである。
【図４】ビデオデータの符号化処理の説明に供する略線図である。
【図５】多重化処理の説明に供する略線図である。
【符号の説明】
【００６３】
１……記録再生装置、２……記録媒体、５……ビデオエンコード部、６……オーディオエンコード部、７……制御部、１０……多重化部、１１……記録再生部
【技術分野】
【０００１】
本発明は、記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体に関し、例えばランダムアクセス可能な記録媒体にビデオデータ及びオーディオデータを記録する携帯型の記録再生装置に適用することができる。本発明は、編集可能点の位置情報を記録媒体に記録することにより、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができるようにする。
【背景技術】
【０００２】
従来、携帯型のビデオカメラ等では、ＭＰＥＧ（Moving Picture Experts Group）の手法によりビデオデータ及びオーディオデータをデータ圧縮した後、インターリーブ処理により多重化して記録媒体に記録するものが提供されている。
【０００３】
ここでＭＰＥＧでは、図４に示すように、連続するフレームを所定フレーム数により順次区切ってＧＯＰ（Group Of Pictures ）を形成し、各ＧＯＰの先頭フレームをＩピクチャーに設定する。ＭＰＥＧでは、このＩピクチャーをフレーム内符号化処理によりデータ圧縮する。またＧＯＰの残りフレームをＰピクチャー、Ｂピクチャーに設定し、それぞれ各ＧＯＰのＩピクチャーを予測フレームに設定したフレーム間符号化処理により、さらにはＩピクチャーを予測フレームに設定したＰピクチャーをさらに予測フレームに設定したフレーム間符号化処理により、Ｐピクチャー、Ｂピクチャーをデータ圧縮し、これらによりＧＯＰ単位でビデオデータを符号化処理する。
【０００４】
これに対してオーディオデータは、ＡＡＣ（Advanced Audio Codec）の手法により、図５（Ｂ）に示すように、ＧＯＰに対応する時間区分により順次区分されてオーディオアクセスユニット（ＡＡＵ：Audio Access Unit ）が形成され、このオーディオアクセスユニットを単位にしてデータ圧縮処理される。
【０００５】
従来のビデオカメラでは、図５に示すように、このようにデータ圧縮処理されて生成されるビデオデータのストリーミングデータＳＴ１とオーディオデータのストリーミングデータＳＴ２とをそれぞれ所定の時間区分によりパケット化し、これらパケットの時分割多重化により、これらビデオデータのストリーミングデータＳＴ１とオーディオデータのストリーミングデータＳＴ２とのインターリーブ処理による多重化ストリームＳＴ３を形成し、この多重化ストリームＳＴ３を記録媒体に記録していた。
【０００６】
ここでＭＰＥＧによるビデオデータのストリーミングデータＳＴ１は、ＧＯＰ単位でデータ圧縮処理されていることにより、ＧＯＰの途中で編集処理して１つのＧＯＰを構成するＰピクチャー、ＢピクチャーをＩピクチャーから切り離すと、これらＰピクチャー、Ｂピクチャーを復号することが困難になる。これによりこのようなＭＰＥＧによるビデオデータのストリーミングデータＳＴ１では、ＧＯＰの境界で編集処理することが必要になる。
【０００７】
またオーディオデータのストリーミングデータＳＴ２にあっても、オーディオアクセスユニット単位でデータ圧縮処理していることにより、このオーディオアクセスユニットの途中で編集処理したのでは、正しく復号することが困難になり、オーディオアクセスユニットの境界で編集処理することが必要になる。
【０００８】
これらにより記録媒体に記録した多重化ストリームＳＴ３を編集処理する場合には、ＧＯＰの境界であって、かつオーディオアクセスユニットの境界が、多重化ストリームを構成する各ストリーミングデータを正しく復号可能に多重化ストリームを編集可能な点（以下、編集可能点と呼ぶ）となり、これら以外の箇所で編集処理したのでは、ビデオデータ、オーディオデータの少なくとも一方は正しく復号できなくなる。これにより従来のビデオカメラでは、このようなＧＯＰの境界であって、かつオーディオアクセスユニットの境界を編集可能点に設定して、記録媒体に記録した多重化ストリームを編集処理していた。
【０００９】
このような多重化ストリームの記録に関して、特開２００４−７９０８７号公報には、ＧＯＰの先頭が、記録媒体におけるクラスタの先頭となるように設定して記録することにより、このような編集可能点を高速度で検出可能とする方法が提案されている。
【００１０】
ところでこのような編集可能点の検出にあっては、実際に記録媒体に記録された多重化ストリームを再生してストリーミングデータを解析し、境界を検出することが必要になる。またこのような多重化ストリームによるファイルを分割等する場合には、さらにファイル先頭からの時間経過を考慮した処理により、このような境界を検出することが必要になる。またインターリーブ処理によるビデオデータとオーディオデータとのパケットの位置関係も記録する装置によって異なる場合があることにより、このようなパケットの位置関係についても考慮して境界を検出することが必要になる。
【００１１】
これにより特開２００４−７９０８７号公報に開示の手法を適用して多重化ストリームを検出することにより、境界の検出に要する時間を短縮することができるものの、このような編集可能点を高速度で検出する処理にあっては、実用上、未だ不十分な問題があった。
【特許文献１】特開２００４−７９０８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は以上の点を考慮してなされたもので、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができる記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【００１３】
かかる課題を解決するため請求項１の発明は、複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録装置に適用して、前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出部と、前記検出部の検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化部と、前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録部とを備えるようにする。
【００１４】
また請求項８の発明は、複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録方法に適用して、前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出のステップと、前記検出のステップによる検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化処理のステップと、前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録のステップとを有するようにする。
【００１５】
また請求項９の発明は、演算処理手段による所定の処理手順の実行により、複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録方法のプログラムに適用して、前記処理手順は、前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出のステップと、前記検出のステップによる検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化処理のステップと、前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録のステップとを有するようにする。
【００１６】
また請求項１０の発明は、請求項９に記載の記録方法のプログラムを記録したことを特徴とする記録方法のプログラムを記録した記録媒体であるようにする。
【００１７】
請求項１の構成により、複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録装置に適用して、前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出部と、前記検出部の検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化部と、前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録部とを備えるようにすれば、この記録媒体に記録された多重化ストリームは、いちいち再生して解析しなくても、管理情報に割り当てられた位置情報及び時間情報により、編集可能点を検出することができ、これにより従来に比して編集可能な境界の位置を短時間で検出可能に多重化ストリームを記録することができる。
【００１８】
これにより請求項８、請求項９、請求項１０の構成によれば、従来に比して編集可能な境界の位置を短時間で検出可能に多重化ストリームを記録することができる記録方法、記録方法のプログラム、記録方法のプログラムを記録した記録媒体を提供することができる。
【発明の効果】
【００１９】
本発明によれば、従来に比して編集可能な境界の位置を短時間で検出可能に多重化ストリームを記録することができる。
【発明を実施するための最良の形態】
【００２０】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００２１】
（１）実施例の構成
図１は、本発明の実施例に係る記録再生装置を示すブロック図である。この記録再生装置１は、携帯型のビデオカメラであり、所望の被写体を撮影して得られるビデオデータ及びオーディオデータを記録媒体２に記録し、また記録媒体２に記録したビデオデータ及びオーディオデータを再生して出力する。このためこの記録再生装置１は、撮像素子より得られる１系統のビデオデータＤＶ、マイクより得られるステレオ方式による１系統のオーディオデータＤＡをそれぞれ信号処理回路により処理した後、バッファメモリ（バッファ）３、４を介してビデオエンコード部５、オーディオエンコード部６に入力する。なおここでこの実施例において、記録媒体２は、ランダムアクセス可能な記録媒体が適用され、例えば光ディスク、メモリカード等が適用される。
【００２２】
ビデオエンコード部５は、順次入力されるビデオデータＤＶをＭＰＥＧによりデータ圧縮し、ビデオデータによるストリーミングデータＳＴ１を出力する。この処理において、ビデオエンコード部５は、Ｉピクチャーに係る符号化処理を完了すると、制御部７の制御により、このＩピクチャーを構成する画素の間引きにより、Ｉピクチャーのサムネール画像データＤＴを生成して出力する。
【００２３】
オーディオエンコード部６は、ＡＡＣにより順次入力されるオーディオデータＤＡをデータ圧縮し、オーディオデータによるストリーミングデータＳＴ２を出力する。
【００２４】
バッファメモリ（バッファ）８は、ビデオエンコード部５から出力されるビデオデータによるストリーミングデータＳＴ１、サムネール画像データＤＴを蓄積して出力し、バッファメモリ（バッファ）９は、オーディオエンコード部６から出力されるオーディオデータのストリーミングデータＳＴ２を蓄積して出力する。バッファメモリ８、９は、このようにして一旦蓄積してストリーミングデータＳＴ１、ＳＴ２を出力するようにして、順次入力されるストリーミングデータＳＴ１、ＳＴ２に設定された制御コードが制御部７により監視され、この監視結果による制御部７のタイミング制御により、ビデオデータによるストリーミングデータＳＴ１のＧＯＰ境界のタイミングに対して、オーディオデータによるストリーミングデータＳＴ２のオーディオアクセスユニット境界のタイミングが一致するように、オーディオデータによるストリーミングデータＳＴ２のタイミングを補正して、ビデオデータによるストリーミングデータＳＴ１に同期したタイミングにより出力する。これによりこの実施例では、制御部７は、ビデオデータ及びオーディオデータに係るストリーミングデータのデータ圧縮処理単位の境界を検出する検出部を構成する。
【００２５】
多重化部１０は、制御部７の制御により、バッファメモリ８、９から出力されるストリーミングデータＳＴ１、ＳＴ２をインターリーブ処理して多重化ストリームＳＴ３を生成し、この多重化ストリームＳＴ３を出力する（図５参照）。これらによりこの記録再生装置１は、ビデオデータＤＶ及びオーディオデータＤＡをそれぞれデータ圧縮処理単位であるＧＯＰ及びオーディオアクセスユニット単位で符号化処理した後、その結果得られるストリーミングデータＳＴ１及びＳＴ２を多重化処理して出力する。
【００２６】
多重化部１０は、このインターリーブの処理において、制御部７の制御により、これら複数のストリーミングデータＳＴ１、ＳＴ２を正しく復号可能に多重化ストリームを編集可能とする編集可能点が発生するように、少なくともこれら複数のストリーミングデータＳＴ１、ＳＴ２の境界でインターリーブ処理するように、一定の時間区分により、これらストリーミングデータＳＴ１、ＳＴ２をインターリーブ処理して多重化ストリームを生成する。
【００２７】
具体的に、この実施例では、ビデオデータによるストリーミングデータＳＴ１のＧＯＰの先頭と、オーディオデータによるストリーミングデータＳＴ２のオーディオアクセスユニットの先頭とが、一致したタイミングによりバッファメモリ８、９から入力されることにより、ＧＯＰの境界のタイミングがインターリーブ処理のタイミングとなるように設定した一定の時間区分により、これらストリーミングデータＳＴ１、ＳＴ２をインターリーブ処理すれば、多重化ストリームＳＴ３上でこれらビデオデータ及びオーディオデータのストリーミングデータＳＴ１、ＳＴ２の境界が連続するように、多重化ストリームＳＴ３を生成することができ、この場合この連続する境界の末尾の境界を編集可能点とすることができる。
【００２８】
記録再生部１１は、制御部７の制御により、多重化部１０から出力される多重化ストリームＳＴ３、バッファメモリ８から出力されるサムネール画像データＤＴ等を記録媒体に記録する。この実施例では、これら多重化ストリームＳＴ３、サムネール画像データＤＴの記録にMP4ファイルフォーマット（ISO／IEC１４４９６−１４）が適用され、それぞれストリーミングデータファイル、サムネールデータファイルにより記録媒体２に記録される。
【００２９】
ここでMP4ファイルフォーマットとは、マルチメディア対応のファイルフォーマットであり、Ｑｕｉｃｋ Ｔｉｍｅファイルフォーマットを基にして、ISOにて標準化されている。
【００３０】
MP4ファイルフォーマットは、動画、静止画、音声等による実データがまとめられてブロック化され、またこの実データのブロックとは別に、この実データを管理する管理情報がまとめられてブロック化される。MP4ファイルフォーマットは、図２（Ｃ）に示すように、この実データのブロックがメディアデータボックス（mdat）と称され、また管理情報のブロックがムービーボックス（moov）と称される。ムービーボックス（moov）は、階層構造によるブロックにより管理情報が割り当てられ、これらのブロックもボックスと称される。
【００３１】
MP4ファイルフォーマットは、ムービーボックス（moov）の下位階層に、MP4ファイルフォーマットに係る実データの種類毎に、トラックボックス（track ）が形成される。これによりビデオデータ及びオーディオデータのストリーミングデータとサムネール画像を記録する場合、MP4ファイルは、ムービーボックス（moov）にそれぞれビデオ、オーディオそしてサムネールの３つのトラックボックス（track ）が形成される。
【００３２】
これにより図２（Ａ）及び（Ｂ）に示すように、記録再生部１１は、サムネール画像データＤＴを順次記録すると共に、この管理情報をムービーボックス（moov）のトラックボックス（track ）に外部参照機能を利用して割り当て、サムネールデータファイルＦＴ及びFSを生成する。なおここでこのトラックボックス（track ）の管理情報は、各サムネール画像データＤＴを再生するのに必要な情報であり、サムネールデータファイルＦＴ上における各サムネール画像データＤＴの位置情報、データ長、編集可能点の時間情報等のデータが割り当てられる。
【００３３】
同時に記録再生部１１は、図２（Ｂ）に示すように、多重化ストリームＳＴ３を順次、メディアデータボックス（mdat）に記録する共に、この管理情報をムービーボックス（moov）のビデオ及びオーディオのトラックボックス（track ）に割り当て、ストリーミングデータファイルＦＳを生成する。またムービーボックス（moov）の各トラックの管理情報により、図２（Ｃ）に示すような編集可能点の多重化ストリームＳＴ３の先頭記録位置を基準にしたオフセットデータ位置、この先頭記録位置からの再生時間が求められる。これらにより編集可能点を高速度で検索でき、そのサムネールを高速表示できるようにする。
【００３４】
制御部７は、図示しないメモリに記録されたプログラムの実行により、この記録再生装置１全体の動作を制御する演算処理手段により構成され、ユーザーにより撮像結果の記録が指示されると、全体の動作モードを切り換え、ビデオデータＤＶ及びオーディオデータＤＡの取得、記録を開始する。このビデオデータＤＶ及びオーディオデータＤＡの記録において、制御部７は、ビデオデータＤＶの１フレーム毎に、図３の処理手順を実行し、これにより上述したＭＰ４ファイルフォーマットによりサムネールデータファイルＦＴ、ストリーミングデータファイルＦＳを記録媒体２に記録する。なおこの実施例において、この制御部７の実行に係るプログラムは、事前にこの記録再生装置１にインストールされて提供されるものの、このような事前のインストールに代えて、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、光ディスク、磁気ディスク、メモリカード等の記録媒体を介して提供するようにしてもよい。
【００３５】
すなわち制御部７は、この処理手順を開始すると、ステップＳＰ１からステップＳＰ２に移り、ここで１フレーム分の符号化処理の完了を待機し、続くステップＳＰ３において、この符号化処理の完了したフレームがＩピクチャーか否か判断することにより、ＧＯＰ境界に続く１フレームの処理を完了したか否か判断する。なおここでこの判断にあっては、ストリーミングデータＳＴ１に設定される制御コードによるピクチャータイプにより判定されるが、これに代えてビデオエンコード部５からピクチャータイプを通知して判定するようにしてもよい。ここで否定結果が得られると、制御部７は、ステップＳＰ３からステップＳＰ４に移り、この処理を完了した１フレームの分だけ、ファイル先頭からの再生時間、フレーム先頭の記録位置を示すオフセット値をアップカウントした後、ステップＳＰ５に移ってこの処理手順を終了する。なおここでの記録位置を示すオフセット値のアップカウントにあっては、ビデオエンコード部５より出力されるストリーミングデータの１フレーム分のデータ量を、それまでのオフセット値に加算して実行される。
【００３６】
これに対してステップＳＰ３で肯定結果が得られると、制御部７は、ステップＳＰ６に移る。ここで制御部７は、サムネール画像データＤＴの生成をビデオエンコード部５に指示し、これによりこのＩピクチャーのサムネール画像を生成する。また続くステップＳＰ７において、ビデオエンコード部５で生成されるサムネール画像データＤＴのデータ量の検出により、このサムネール画像データＤＴのサイズを検出する。また続くステップＳＰ８において、このＩピクチャーの開始の時点に係る編集可能点でのインターリーブを指示する。また続くステップＳＰ９において、直前のステップＳＰ４によるアップカウント値、再生時間を取得し、これにより編集可能点のオフセット値、時間情報を検出する。また続くステップＳＰ１０において、ステップＳＰ７で取得したデータ量、ステップＳＰ９で取得したオフセット値、時間情報により、図２（Ｂ）について上述した各種編集可能点に係る情報を生成して記録再生部１１に通知し、ステップＳＰ４に移る。
【００３７】
これにより制御部７は、多重化ストリームＳＴ３によるストリーミングデータファイルＦＳを順次記録しながら、サムネール画像データＤＴを生成してサムネールデータファイルＦＴを記録媒体２に記録する。
【００３８】
しかして制御部７は、ユーザーにより記録の停止が指示されると、この一連の処理を停止してストリーミングデータファイルＦＳ、サムネールデータファイルＦＴの記録を終了する。これに対してユーザーにより記録媒体２に記録されたファイルの再生が指示されると、記録再生部１１により再生が指示されたストリーミングデータファイルＦＳを再生するように全体の動作を制御する。またこれにより記録再生部１１から得られる多重化ストリームＳＴ３をビデオデータ及びオーディオデータのストリーミングデータに分離した後、それぞれ復号してユーザーに提供する。
【００３９】
この一連の処理において、ユーザーによる再生の指示が編集処理に係る再生の場合、制御部７は、このストリーミングデータファイルＦＳに記録されたサムネールデータファイルＦＴに係るトラックボックスを再生して内蔵のメモリに保持した後、このメモリに記録したトラックボックスのデータによりサムネールデータファイルＦＴに記録されたサムネール画像データＤＴによるサムネール画像を順次再生して一定の時間間隔によりモニタに表示する。またユーザーによる操作子の操作により、このようなサムネール画像の一定の時間間隔による再生を一時停止してユーザーによる操作を受け付け、これにより例えばユーザーが録画の操作子を誤って操作して記録した箇所の削除等を受け付ける。制御部７は、このユーザーによる削除等の指示により、一時停止の状態で表示しているサムネール画像のトラックボックスの記録より、多重化ストリームのトラックボックスを検索して対応する編集可能点を検出し、この編集可能点によりストリーミングデータファイルＦＳを編集処理する。なおこの編集処理にあっては、ＭＰ４ファイルの特徴を利用して、外部参照形式により、例えば編集可能点以降を削除したトラックボックスによりムービーボックスを作成して別ファイルにより編集結果のファイルを作成する場合等が考えられる。またサムネールデータファイルＦＴにあっては、このような編集処理だけに限らず、頭出し等の処理にも利用することができる。
【００４０】
（２）実施例の動作
以上の構成において、この記録再生装置１において、撮像素子から得られるビデオデータＤＶは、バッファメモリ３を介してビデオエンコード部５に入力され、ここでＧＯＰによるデータ圧縮処理単位毎に、ＭＰＥＧによりデータ圧縮処理されてビデオデータによるストリーミングデータＳＴ１が生成される。これに対してマイクより得られるオーディオデータＤＡは、バッファメモリ４を介してオーディオエンコード部６に入力され、ここでオーディオアクセスユニットによるデータ圧縮処理単位毎に、ＡＡＣによりデータ圧縮処理されてオーディオデータによるストリーミングデータＳＴ２が生成される。
【００４１】
これらビデオデータによるストリーミングデータＳＴ１及びオーディオデータによるストリーミングデータＳＴ２は、制御部７によりデータ圧縮処理単位の境界がそれぞれ検出され、この境界の検出結果に基づいた制御部７によるバッファメモリ８、９のタイミング制御により、また多重化部１０におけるインターリーブ処理のタイミング制御により、編集可能点が発生するように、少なくともこれらストリーミングデータＳＴ１、ＳＴ２の境界を含む一定の時間区分によりインターリーブ処理されて多重化ストリームＳＴ３が生成される。これによりこのビデオデータ及びオーディオデータにあっては、この編集可能点により多重化ストリームＳＴ３を編集処理した場合には、ビデオデータ及びオーディオデータの双方を正しく復号可能に設定されて多重化ストリームＳＴ３に変換処理され、この記録再生装置１では、この多重化ストリームＳＴ３が記録媒体２に記録される。
【００４２】
またこの記録再生装置１では、多重化ストリームにおけるこの編集可能点の位置情報及び時間情報が制御部７により生成され、これらの情報が多重化ストリームの管理情報として記録媒体２に記録される。これによりこの記録媒体２に記録された多重化ストリームＳＴ３にあっては、いちいちビデオデータ及びオーディオデータのストリーミングデータＳＴ１、ＳＴ２を再生して解析しなくても、記録媒体に記録した編集可能点の位置情報及び時間情報により編集可能点を検出することができ、これにより従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができる。
【００４３】
具体的に、この記録再生装置１において、ビデオデータ及びオーディオデータのストリーミングデータＳＴ１及びＳＴ２は、バッファメモリ８、９のタイミング制御により、ＧＯＰの境界とオーディオアクセスユニットの境界のタイミングとが一致するように設定された後、ＧＯＰの境界のタイミングを含む一定の時間区分によりインターリーブ処理され、これにより多重化ストリーム上では、これらストリーミングデータＳＴ１及びＳＴ２の境界が連続するように形成され、この多重化ストリーム上における連続する境界のうちの末尾の境界が編集可能点とされる。
【００４４】
これによりこの実施例では、この末尾の境界に係る位置情報、時間情報が管理情報により記録媒体２に記録され、これによりこの位置情報及び時間情報により編集可能な境界の位置を高速度で検出して、記録媒体２に記録された多重化ストリームを処理することができる。
【００４５】
さらにこの実施例では、このようにして多重化ストリームＳＴ３を生成して記録媒体２に記録するようにして、ビデオエンコード部５においてビデオデータＤＶを符号化処理する際に、Ｉピクチャーのサムネール画像データＤＴが生成され、このサムネール画像データＤＴが併せて記録媒体２に記録される。これによりこの記録再生装置１では、記録媒体２に記録した位置情報、時間情報による編集可能点に続く１フレームのサムネール画像が記録媒体２に併せて記録される。
【００４６】
これによりこの記録再生装置１では、この記録媒体２に記録したサムネール画像データＤＴを再生して表示することにより、編集可能点を簡易かつ迅速に確認することができ、その分、編集処理における操作性を向上してユーザーの使い勝手を向上することができる。
【００４７】
また多重化ストリームＳＴ３にあっては、ファイルにより記録媒体２に記録され、編集可能点の位置情報にあっては、このファイルのファイル先頭からのオフセットにより記録媒体に記録される。これにより記録媒体２に記録された多重化ストリームＳＴ３のファイルにあっては、この位置情報により迅速に所望する編集可能点に係る箇所をアクセスすることができ、これによってもユーザーの使い勝手を向上することができる。また時間情報にあっても、ファイル先頭を基準にした再生時間により記録され、これによっても編集処理の作業性を向上することができる。
【００４８】
しかしてこの実施例では、このサムネール画像データがＭＰ４ファイルにより記録媒体２に記録され、多重化ストリームＳＴ３が、このサムネール画像データによるＭＰ４ファイルを外部参照する形式のＭＰ４ファイルにより記録される。これによりこの記録媒体に記録された多重化ストリームＳＴ３にあっては、サムネール画像データによるＭＰ４ファイルによっても、さらには多重化ストリームＳＴ３のＭＰ４ファイルによっても、サムネール画像を再生することができ、その分、再生側の負担を軽減することができる。
【００４９】
（３）実施例の効果
以上の構成によれば、編集可能点の位置情報を記録媒体に記録することにより、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができる。
【００５０】
また複数のストリーミングデータにおける境界が、多重化ストリーム上で連続するように、複数のストリーミングデータをインターリーブ処理するようにして、この連続する境界のうちの末尾の境界を編集可能点として位置情報を記録媒体に記録することにより、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができる。
【００５１】
具体的に、この複数のストリーミングデータの少なくとも１つのストリーミングデータが、ＡＡＣによりデータ圧縮したオーディオデータであり、このストリーミングデータの境界がオーディオアクセスユニットの境界であることにより、ＡＡＣによりデータ圧縮したオーディオデータによる多重化ストリームに関して、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができる。
【００５２】
またこの複数のストリーミングデータの少なくとも１つのストリーミングデータが、ＭＰＥＧによりデータ圧縮したビデオデータであり、この１つのストリーミングデータの境界がＧＯＰの境界であることにより、ＭＰＥＧによりデータ圧縮したビデオデータによる多重化ストリームに関して、従来に比して編集可能な境界の位置を高速度で検出可能に多重化ストリームを記録することができる。
【００５３】
またビデオデータのＩピクチャーからサムネール画像データを生成し、このサムネール画像データを記録媒体に記録することにより、編集処理における操作性を向上してユーザーの使い勝手を向上することができる。
【００５４】
また多重化ストリームをファイルにより記録媒体に記録するようにして、編集可能点の位置情報をこのファイルのファイル先頭を基準にしたオフセットにより記録媒体に記録することによっても、編集処理における操作性を向上してユーザーの使い勝手を向上することができる。
【００５５】
またサムネール画像データの連続によるサムネール画像のファイルを記録媒体に記録するようにして、このサムネール画像のファイルを外部参照形式により再生可能に、多重化ストリームをファイルにより記録することにより、サムネール画像データによるファイル、多重化ストリームのファイルの何れを再生しても、サムネール画像を確認することができ、その分、再生側の負担を軽減することができる。
【実施例２】
【００５６】
なお上述の実施例においては、外部参照形式により多重化ストリームを再生してサムネール画像データを再生可能とする場合について述べたが、本発明はこれに限らず、自己内包形式により多重化ストリームとサムネール画像データとを一体にファイル化して記録するようにしてもよい。
【００５７】
また上述の実施例においては、ＭＰ４ファイルフォーマットによりサムネール画像データ、多重化ストリームを記録する場合について述べたが、本発明はこれに限らず、種々のファイルフォーマットによりサムネール画像データ、多重化ストリームを記録する場合に広く適用することができる。
【００５８】
また上述の実施例においては、ビデオデータのストリーミングデータ編集境界をGOPとする場合について述べたが、本発明はこれに限らず、編集境界をClosed GOPにする場合にも適用することができる。
【００５９】
また上述の実施例においては、１つのビデオデータによるストリーミングデータとステレオ方式による１系統のオーディオデータによるストリーミングデータとをインターリーブ処理して多重化処理する場合について述べたが、本発明はこれに限らず、種々の系統数によるビデオデータ及びオーディオデータに係るストリーミングデータを多重化処理して記録する場合に、広く適用することができる。
【００６０】
また上述の実施例においては、本発明を携帯型のビデオカメラに適用する場合について述べたが、本発明はこれに限らず、据え置き型の各種記録再生装置、パーソナルコンピュータにおける処理等に広く適用することができる。
【産業上の利用可能性】
【００６１】
本発明は、記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体に関し、例えばランダムアクセス可能な記録媒体にビデオデータ及びオーディオデータを記録する携帯型の記録再生装置に適用することができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施例に係る記録再生装置を示すブロック図である。
【図２】図１の記録再生装置に係る記録フォーマットの説明に供する図表である。
【図３】図１の記録再生装置における制御部の処理手順を示すフローチャートである。
【図４】ビデオデータの符号化処理の説明に供する略線図である。
【図５】多重化処理の説明に供する略線図である。
【符号の説明】
【００６３】
１……記録再生装置、２……記録媒体、５……ビデオエンコード部、６……オーディオエンコード部、７……制御部、１０……多重化部、１１……記録再生部
【特許請求の範囲】
【請求項１】
複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録装置において、
前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出部と、
前記検出部の検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化部と、
前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録部とを備える
ことを特徴とする記録装置。
【請求項２】
前記多重化部は、
前記複数のストリーミングデータにおける前記境界が、前記多重化ストリーム上で連続するように、前記複数のストリーミングデータをインターリーブ処理することにより、編集可能点が発生するように前記複数のストリーミングデータをインターリーブ処理し、
前記編集可能点が、
前記連続する境界のうちの末尾の境界である
ことを特徴とする請求項１の記載の記録装置。
【請求項３】
前記複数のストリーミングデータの少なくとも１つのストリーミングデータが、
ＡＡＣによりデータ圧縮したオーディオデータであり、
前記１つのストリーミングデータの境界が、オーディオアクセスユニットの境界である
ことを特徴とする請求項１の記載の記録装置。
【請求項４】
前記複数のストリーミングデータの少なくとも１つのストリーミングデータが、
ＭＰＥＧによりデータ圧縮したビデオデータであり、
前記１つのストリーミングデータの境界が、ＧＯＰの境界である
ことを特徴とする請求項１の記載の記録装置。
【請求項５】
前記ビデオデータのＩピクチャーからサムネール画像のデータを生成するサムネール画像生成手段を有し、
前記記録部は、
前記サムネール画像のデータを前記記録媒体に記録する
ことを特徴とする請求項４の記載の記録装置。
【請求項６】
前記記録部は、
前記多重化ストリームをファイルにより前記記録媒体に記録し、
前記編集可能点の位置情報を前記ファイルのファイル先頭を基準にしたオフセットにより前記記録媒体に記録する
ことを特徴とする請求項１の記載の記録装置。
【請求項７】
前記記録部は、
前記サムネール画像のデータの連続によるサムネール画像のファイルにより前記サムネール画像のデータを記録すると共に
前記サムネール画像のファイルを外部参照形式により再生可能に、前記多重化ストリームをファイルにより記録する
ことを特徴とする請求項５の記載の記録装置。
【請求項８】
複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録方法において、
前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出のステップと、
前記検出のステップによる検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化処理のステップと、
前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録のステップとを有する
ことを特徴とする記録方法。
【請求項９】
演算処理手段による所定の処理手順の実行により、複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録方法のプログラムにおいて、
前記処理手順は、
前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出のステップと、
前記検出のステップによる検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化処理のステップと、
前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録のステップとを有する
ことを特徴とする記録方法のプログラム。
【請求項１０】
請求項９に記載の記録方法のプログラムを記録した
ことを特徴とする記録方法のプログラムを記録した記録媒体。
【請求項１】
複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録装置において、
前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出部と、
前記検出部の検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化部と、
前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録部とを備える
ことを特徴とする記録装置。
【請求項２】
前記多重化部は、
前記複数のストリーミングデータにおける前記境界が、前記多重化ストリーム上で連続するように、前記複数のストリーミングデータをインターリーブ処理することにより、編集可能点が発生するように前記複数のストリーミングデータをインターリーブ処理し、
前記編集可能点が、
前記連続する境界のうちの末尾の境界である
ことを特徴とする請求項１の記載の記録装置。
【請求項３】
前記複数のストリーミングデータの少なくとも１つのストリーミングデータが、
ＡＡＣによりデータ圧縮したオーディオデータであり、
前記１つのストリーミングデータの境界が、オーディオアクセスユニットの境界である
ことを特徴とする請求項１の記載の記録装置。
【請求項４】
前記複数のストリーミングデータの少なくとも１つのストリーミングデータが、
ＭＰＥＧによりデータ圧縮したビデオデータであり、
前記１つのストリーミングデータの境界が、ＧＯＰの境界である
ことを特徴とする請求項１の記載の記録装置。
【請求項５】
前記ビデオデータのＩピクチャーからサムネール画像のデータを生成するサムネール画像生成手段を有し、
前記記録部は、
前記サムネール画像のデータを前記記録媒体に記録する
ことを特徴とする請求項４の記載の記録装置。
【請求項６】
前記記録部は、
前記多重化ストリームをファイルにより前記記録媒体に記録し、
前記編集可能点の位置情報を前記ファイルのファイル先頭を基準にしたオフセットにより前記記録媒体に記録する
ことを特徴とする請求項１の記載の記録装置。
【請求項７】
前記記録部は、
前記サムネール画像のデータの連続によるサムネール画像のファイルにより前記サムネール画像のデータを記録すると共に
前記サムネール画像のファイルを外部参照形式により再生可能に、前記多重化ストリームをファイルにより記録する
ことを特徴とする請求項５の記載の記録装置。
【請求項８】
複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録方法において、
前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出のステップと、
前記検出のステップによる検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化処理のステップと、
前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録のステップとを有する
ことを特徴とする記録方法。
【請求項９】
演算処理手段による所定の処理手順の実行により、複数のストリーミングデータを多重化して多重化ストリームを生成し、前記多重化ストリームを記録媒体に記録する記録方法のプログラムにおいて、
前記処理手順は、
前記ストリーミングデータのデータ圧縮処理単位の境界を検出する検出のステップと、
前記検出のステップによる検出結果に基づいて、前記複数のストリーミングデータを正しく復号可能に前記多重化ストリームを編集可能な編集可能点が発生するように、少なくとも前記複数のストリーミングデータの境界でインターリーブ処理して、前記複数のストリーミングデータより前記多重化ストリームを生成する多重化処理のステップと、
前記多重化ストリーム、前記多重化ストリームにおける編集可能点の位置情報及び時間情報による前記多重化ストリームの管理情報を前記記録媒体に記録する記録のステップとを有する
ことを特徴とする記録方法のプログラム。
【請求項１０】
請求項９に記載の記録方法のプログラムを記録した
ことを特徴とする記録方法のプログラムを記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−４８３７８（Ｐ２００７−４８３７８Ａ）
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願番号】特願２００５−２３１５１９（Ｐ２００５−２３１５１９）
【出願日】平成１７年８月１０日（２００５．８．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願日】平成１７年８月１０日（２００５．８．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]