説明

情報記録装置、情報再生装置、情報記録プログラムおよび情報再生プログラム

【課題】静止画をインデックスとして動画のエントリーポイントをサーチしてアクセスする際の最適なアクセス位置を記録することで、再生の際に最適なアクセス動作を行なわせることが可能な情報記録装置及び情報再生装置を提供する。
【解決手段】撮像レンズから入射された光線を分離する光路分離器と、分離された光線を受光し、動画信号として出力する少なくとも1つの受光素子と静止画信号として出力する少なくとも1つの受光素子と、前記動画信号を記録媒体に記録する動画信号記録器と、前記静止画信号を記録媒体に記録する静止画信号記録器とを備えた情報記録装置において、前記静止画に対応した前記動画像の位置情報を記録媒体に記録するとともに、その位置情報からどれだけ離れた位置からアクセスするかのオフセット情報を記録媒体に記録することを特徴とする情報記録装置及びその記録した情報を再生する情報再生装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報記録装置、情報再生装置、情報記録プログラムおよび情報再生プログラムに係り、特に動画記録中に静止画を記録した信号を再生する際に、各静止画を記録した時系列的位置をインデックスポイントとし、かつこれらの各静止画をインデックス画面として、そのそれぞれのインデックスポイントから所定期間前の位置を、動画再生時のサーチに用いるエントリーポイントとして設定することで、インデックス画面を用いて動画のサーチを好適に実現する情報記録装置、情報再生装置、情報記録プログラムおよび情報再生プログラムに関するものである。
【背景技術】
【0002】
動画と静止画を共に記録し、また再生することが可能な情報記録再生装置が存在する。
例えば特許文献1には、入射光をプリズム分岐させて動画記録用CCDと静止画記録用CCDとに受光させ、1つの光学系と2つのCCDとを用いて、動画はMPEG圧縮して動画用記録媒体に、静止画はJPEG圧縮して静止画用記録媒体に、それぞれ同時に記録を行なう技術が開示されている。
【0003】
また特許文献2には、動画を記録中に所望の場面を静止画としても記録が可能な情報記録再生装置を提供する目的で、入力手段から入力された画像を、動画用データとして圧縮処理し、操作ボタンによって静止画記録開始信号が入力された際には、その静止画記録開始信号が入力された時点における入力画像を静止画用データとして圧縮処理し、同期信号生成回路からの同期信号に同期して上記した動画用データと静止画用データとを記録するためのタイミング信号を生成し、動画用データと静止画用データとを光磁気記録媒体に同時記録する技術が開示されている。
<MPEG>
次に、上記した記録再生装置で使用されているMPEGについて説明する。
【0004】
MPEGは1988年、ISO/IEC JTC1/SC2(国際標準化機構/国際電気標準化会合同技術委員会1/専門部会2、現在のSC29)に設立された動画像符号化標準を検討する組織の名称(Moving Pictures Expert Group)の略称である。MPEG1(MPEGフェーズ1)は1.5Mbps程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたJPEGと、ISDNのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたH.261(CCITT SGXV、現在のITU-T SG15で標準化)の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは1993年8月、ISO/IEC 11172 として成立している。
【0005】
MPEG2(MPEGフェーズ2)は通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、1994年11月ISO/IEC 13818、H.262として成立している。
MPEGは幾つかの技術の組み合わせで実現される。
【0006】
入力画像は動き補償器で復号化した画像と、入力画像の差分を取ることで時間冗長部分を削減する。予測の方向は、過去、未来、両方からの3モード存在する。またこれらは16画素×16画素のMB(マクロブロック)ごとに切り替えて使用できる。予測方向は入力画像に与えられたピクチャータイプによって決定される。過去からの予測と、予測をしないでそのMBを独立で符号化する2モード存在するのがPピクチャーである。また未来からの予測、過去からの予測、両方からの予測、独立で符号化する4モード存在するのがBピクチャーである。そして全てのMBが独立で符号化するのがIピクチャーである。動き補償は、動き領域をMBごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すMC(Motion Compensation)モードとともにMBの付加情報として伝送される。Iピクチャーから次のIピクチャーの前のピクチャーまでをGOP(Group Of Picture)といい、蓄積メディアなどで使用される場合には、一般に約15ピクチャー程度が使用される。
【0007】
差分画像はDCT器において直交変換が行われる。DCT(Discrete Cosine Transform)とは 余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。MPEGではMBを4分割し8×8のDCTブロックに対して、2次元DCTを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、DCTを行うと係数が低域に集中する。
【0008】
DCTされた画像データ(DCT係数)は量子化器で量子化が行われる。量子化は量子化マトリックスという8×8の2次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、DCT係数をその量子化値で除算する。デコーダーで逆量子化するときは量子化値で乗算することにより、元のDCT係数に近似している値を得ることになる。
【0009】
量子化されたデータはVLC器で可変長符号化される。量子化された値のうち直流(DC)成分は予測符号化のひとつであるDPCM(differential pulse code modulation )を使用する。また交流(AC)成分は 低域から高域にzigzag scanを行い、ゼロのラン長および有効係数値を1つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。
【0010】
可変長符号化されたデータは一時バッファに蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器に送信され、目標符号量に対する発生符号量との誤差符号量を量子化器にフィードバックして量子化スケールを調整することで符号量制御される。量子化された画像データは逆量子化器にて逆量子化、逆DCT器にて逆DCTされ一時、画像メモリーに蓄えられたのち、動き補償予測器において、差分画像を計算するためのリファレンスの復号化画像として使用される。これら全体の符号化構成例を図10に示す。
【0011】
符号化されたストリームはバッファリングされ、バッファからのデータはVLD器に入力される。VLD器では可変長復号化され、直流(DC)成分および交流(AC)成分を得る。交流(AC)成分データは低域から高域にzigzag scanの順で8x8のマトリックスに配置する。このデータは逆量子化器に入力され、量子化マトリックスにて逆量子化される。逆量子化されたデータは逆DCT器に入力され、逆DCTされ一時、画像データ(復号化データ)として出力される。また、復号化データは一時、画像メモリーに蓄えられたのち、動き補償予測器において、差分画像を計算するためのリファレンスの復号化画像として使用される。復号化構成例を図11に示す。
<ディスクフォーマットの一般的データ構造>
次に、CD等の従来のディスク媒体と比較して、数倍から十数倍の記憶容量を有する近年開発された次世代のディスク媒体におけるディスクフォーマットの一般的なデータ構造について説明する。
【0012】
次世代のディスク媒体としては、DVD-ROMディスク(DVD Specifications for Read-Only Discに準拠した読み出し専用光ディスク)、DVD-RWディスク(DVD Specifications for Re-recordable Discに準拠した再記録可能なディスク)DVD-RAMディスク(DVD Specifications for Rewritable Discに準拠した再書き込み可能なディスク)などがある。
【0013】
DVD-RWまたはDVD-RAMディスク上に画像データを収録する規格も策定されており、その大容量を活かして高画質な動画及び静止画を記録し、様々な編集を経て再生する手法が提供される。
【0014】
DVD-RWまたはDVD-RAMディスク上(以下、DVD-RW/RAMディスクと略す)に動画データを収録する規格であるVIDEO RECORDING規格(以下DVD-VRと略す)では、動画データはVOB(Video Object)単位に記録される。VOBとは連続する動画を任意の範囲毎に区別するための単位である。
【0015】
そして、この記録された各VOBの再生には、そのVOB群の各VOBの再生順序を記述した管理データであるPGC (Program Chain)が用いられる。再生装置は再生時にこのPGCを参照して、記述されている順序でVOBを再生する。
【0016】
このPGCのうち、ディスクに記録されている全てのVOBを、各VOBを記録した時の順序で全て再生するための順序が記述されているPGCはオリジナルPGC と定義されている。
また、全VOBのうち利用者が任意に選択し順序を設定した内容を記述したPGCはユーザー定義PGC (User Defined PGC)と定義されている。
【0017】
1枚のディスク上に、オリジナルPGCはただ一つ存在し、ユーザー定義PGCは複数存在しうる。 従って、1枚のディスクに対して利用者が複数いても、その各利用者に対応したそれぞれ別々のユーザー定義PGCを作成し、編集することが可能である。また一人の利用者が好みに応じて複数のユーザー定義PGCを作成し、編集することも可能である。
[ディレクトリ構造]
"DVD Specifications for Rewritable/Re-recordable Discs、 Part3 VIDEO RECORDING、 Version 1.0"で示されるように、DVD-VRでは、DVD-RW/RAM上におけるディレクトリ構造が定義されている。図12にそのディレクトリ構造図を示す。
【0018】
ルートディレクトリ下にDVD_RTAVディレクトリがある。
そのDVD_RTAVディレクトリの下のVR_MANGER.IFOファイルは、全ての記録再生管理データを収録するためのファイルであり、オリジナルPGC、ユーザー定義PGCなどが記述される。VR_MOVIE.VROファイルには、動画データの本体が記録される。VR_STILL.VROファイルには、静止画データの本体が記録される。VR_AUDIO.VROファイルには、音声データの本体が記録される。
【0019】
このように、実際の動画データ(VR_MOVIE.VRO)、静止画データ(VR_STILL.VRO)、音声データ(VR_AUDIO.VRO)等の実データと、記録再生管理データとを分離して記録する構造とすることで、実際の動画、静止画、音声の各データを変更することなく、ユーザー定義PGCによって任意の再生順序を設定することが出来る。なお、VR_STILL.VRO中の各静止画は、MPEG Video規格に準拠したMPEGイントラ画像として記録される。
[オリジナルPGC]
図13はオリジナルPGCの構造概念図である。
【0020】
DVD-VRディスクに、複数の動画データを記録する場合、その記録された各動画データを参照するためのプログラム(Program)がオリジナルPGC内に記述される。そして、その記述された各プログラムで参照される動画データを、更に1つまたは複数に分けるためのセル(Cell)が上記したプログラムと対応付けられて記述される。一般的には、記録の途中でポーズした場合や、記録後に番組の途中部分を編集で削除した場合などに、プログラムはその途切れ部分を境とする複数のセルに分割された構成をとる。各セルはそれぞれ対応する各VOBを参照している。このプログラムおよびセルがオリジナルPGCの記録再生管理データである。
【0021】
VOBは、上記セルで参照される動画データそのものであり、MPEG-2システムに準拠したプログラムストリームとして記録されている。
図13において、ディスクに最初に記録された動画データはVOB1であり、これを参照するプログラム及びセルがProgram1、Cell1としてオリジナルPGC内に記述される。以下、VOBが追加記録されていくたびに、その各VOBを参照するプログラムがProgram2、 Program 3、 ...、セルがCell2、Cell3、...というように追加記述されていく。なおVOBは、上記したとおり1つのプログラムの中で記録ポーズなどの区切りが発生した場合は複数に分かれるので、そのVOBを参照するセルも1つのプログラム内で複数記述されることになる。図13は、Program2がCell2、Cell3に分かれている例である。
【0022】
このオリジナルPGCを用いると、オリジナルPGC内に記述されているプログラムまたはセル(つまりディスクに記録されている全てのプログラムまたはセル)に対応した全VOBを記述順、つまり記録順に再生することが可能となる。また、オリジナルPGC上の特定のプログラムを利用者に指定させて、その指定させたプログラムが参照するVOBのみ再生することも可能である。
[ユーザー定義PGC]
図14はユーザー定義PGCの構造概念図である。
【0023】
オリジナルPGCで参照されている各VOBは、その全部または一部をユーザー定義PGCでも参照可能である。ユーザー定義PGCで用いられるセルは、オリジナルPGCと異なり、VOBと1対1に対応しなくてもよく、一つのVOBの中の一部分のみを参照したり、二つのVOBにまたがって参照したりすることが可能である。例えば、VOB内のコマーシャルの部分や不要場面の部分を除いた必要場面の部分のみを参照したり、2つ以上の番組(Program)の一部分を繋いで再生したりする用途等に適している。
【0024】
また、ユーザー定義PGC中にはプログラムの階層は存在しない。つまり、ひとつのユーザー定義PGCが、オリジナルPGCで言う1つのプログラムに相当する。
[PGCI]
表5は、オリジナルPGC及びユーザー定義PGCに記述される情報(PGCI)の具体的定義内容を示す表である。PGCIは以下の情報からなる。
・PGC_GI:PGCの一般情報。
・PGI:各プログラムナンバーのPGI。
【0025】
(オリジナルPGCの場合のみ定義する。ユーザー定義PGCでは定義しない。)
・CI_SRP :PGC中の各セル情報の検索ポインタ。
・M_CI:動画セルの場合の各セル情報。
【0026】
(静止画セルの場合はS_CIと置き換える。)
次に、上記各要素の詳細内容を説明する。
PGC_GIには、PGC内のプログラム数が記述されるPG_Ns、及びCI_SRPの数が記述されるCI_SRP_Nsが定義される。ユーザー定義PGCの場合は上記したようにプログラムの階層を持たないのでPG_Nsはゼロである。
【0027】
PGIは、PG_Nsに記述される個数分存在し、それぞれに付加されるナンバーi(iは整数)で区別する。PGI内には、プログラム中のセル数が記述されるC_Ns、プログラムに関するテキスト情報を記述するプライマリテキスト情報が記述されるPRM_TXTI、プログラムに関連するアイテムテキスト情報(PGCIではなく、VR_MANGR.IFO内の別のデータ構造として別途収録されている)の検索ポインタ番号が記述されるIT_TXT_SRPN、プログラムを代表する静止画像の位置を指定する代表静止画情報が記述されるEP_PICTI等が定義される。
【0028】
CI_SRPは、CI_SRP_Nsに記述されるプログラムの個数分存在し、それぞれに付加されるナンバーj(jは整数)で区別する。各CI_SRP内にはセル情報M_CI(静止画の場合はS_CI)の先頭アドレスが記述されるCI_SAが定義される。
【0029】
M_CIには、セルの一般情報を記述するM_C_GIと0個以上のセルエントリーポイント情報が記述されるM_C_EPIが定義される。M_CIはC_Nsに記述されるセルの個数分存在し、それぞれに付加されるナンバーj(jは整数)で区別する。
【0030】
M_C_GI内には、セルのタイプが記述されるC_TY、セルエントリーポイント数が記述されるC_EPI_Ns等が定義される。
M_C_EPI内には、エントリーポイントのタイプが記述されるEP_TY(AとB、AはPRM_TXTIなし、BはPRM_TXTIあり)、エントリーポイントの再生時刻が記述されるEP_PTM、及びエントリーポイントに関するプライマリテキスト情報が既出されるPRM_TXTIが定義される。M_C_EPIはC_EPI_Nsに記述されるエントリーポイントの個数分存在し、それぞれに付加されるナンバーk(kは整数)で区別する。
【0031】
ここで、エントリーポイントとはセル内の任意の時刻を指定し、プログラムやセルの任意の中間地点へのアクセスを可能にする情報である。図13および図14中に、セル内に指定されるエントリーポイントの例(EPと示される矢印)を示す。
【0032】
なお、静止画のセルを再生する場合には、M_CIの代わりにS_CIが用いられる。(S_CIの内容はここでは省略する。) 従って、オリジナルPGC上に動画と静止画を記録する場合はセル毎に混在することになる。ユーザー定義PGC上も、セル毎に動画用セルと静止画用セルを混在させることが出来る。
【特許文献1】特開2004−72148
【特許文献2】特開2000−23094
【発明の開示】
【発明が解決しようとする課題】
【0033】
上記した特許文献1や特許文献2のような動画と静止画とを共に記録再生可能な従来の情報記録再生装置においては、動画と同時期に静止画を記録する際に、その静止画を記録した位置情報を動画のピクチャー(フレーム)のサーチ位置情報(エントリーポイント)として用いるが、この位置情報だけでは効果的に再生時のサーチを行なうことができないという課題があった。
【0034】
例えば、記録した静止画をインデックス画面として用いて、この静止画が記録された位置を動画のエントリーポイントとしてサーチすると、静止画が記録された位置の動画シーンからすぐ再生が始まってしまう。静止画を記録したということは、その静止画の記録以前に、利用者にとって何かその記録を行なわせるきっかけとなる特徴的な出来事が動画として記録されている場合が多い。しながら従来例では、この静止画をインデックスとしてサーチするが、エントリーポイントがこの静止画の位置となっているので、上記した特徴的な出来事の後からしか動画を観ることができない。従って、利用者がその特徴的な出来事を観たい場合は、サーチ後に再生位置をすこし前に戻すという操作が必要になるなどの課題が生じていた。
【課題を解決するための手段】
【0035】
そこで、上記課題を解決するために本発明は、以下の装置およびプログラムを提供するものである。
(1)撮影された動画と静止画とを記録媒体へ記録する第1の記録手段と、
前記撮影された静止画と、これらの静止画が撮影された時刻を含む所定撮影期間内に撮影された前記動画のうちの1枚とを1対1に関連付けるリンク情報を前記各静止画毎に生成するリンク情報生成手段と、
前記リンク情報にて前記各静止画と関連付けられた各1枚の動画の撮影時刻からそれぞれ所定期間前の各1枚の動画を指し示す情報であるオフセット情報を生成するオフセット情報設定手段と、
前記各静止画毎の前記各リンク情報と前記各オフセット情報とを対にした対応付け情報を前記記録媒体に記録する第2の記録手段と、
を有することを特徴とする情報記録装置。
(2)上記(1)に記載の情報記録装置で記録媒体に記録された動画と静止画とをそれぞれ再生する情報再生装置であって、
前記記録媒体に記録された前記動画のシーンサーチに用いる各インデックス用画面を、前記記録媒体より読み出した前記各静止画を基に生成し、表示装置に表示させるインデックス画面生成手段と、
前記表示装置に表示されている前記各インデックス画面のうちの1つを指示する指示信号が入力され、その入力指示信号によってシーンサーチを行なう際に、前記記録媒体から前記対応付け情報を読み出して、前記1つのインデックス画面の基となる静止画と関連付けられている1枚の動画を前記対応付け情報内のリンク情報を用いて特定し、前記リンク情報と対をなすオフセット情報を用いて、前記特定した1枚の動画から前記所定期間前の1枚の動画をサーチするサーチ手段と、
を有することを特徴とする情報再生装置。
(3)前記記録媒体から読み出した前記対応付け情報内の前記各オフセット情報を、それぞれ任意の値に変更する為の変更指示信号が入力されたならば、この入力変更指示信号に従って新たな各オフセット情報を生成し、この生成した新たな各オフセット情報と各リンク情報とを対にした新たな対応付け情報を生成し、前記記録媒体に既に記録してある対応付け情報に上書きするオフセット情報変更手段と、
を有し、
前記サーチ手段は、
前記オフセット情報変更手段で変更され、記録媒体に記録された前記新たな対応付け情報を読み出して、この読み出した新たな対応付け情報を用いてサーチを行なう手段であることを特徴とする上記(2)に記載の情報再生装置。
(4)撮影された動画と静止画とを記録媒体に記録させる為の情報記録プログラムであって、
前記撮影された動画と静止画とを第1の記録手段を用いて前記記録媒体に記録させる機能と、
1枚以上の前記撮影された静止画と、これらの静止画が撮影された時刻を含む所定期間内に撮影された前記動画のうちの1枚とを1対1に関連付けるリンク情報を前記各静止画毎に生成する機能と、
前記リンク情報にて前記各静止画と関連付けられた各1枚の動画の撮影時刻からそれぞれ所定期間前の各1枚の動画を指し示す情報であるオフセット情報を生成する機能と、
前記各静止画毎の前記各リンク情報と前記各オフセット情報とを対にした対応付け情報を第2の記録手段を用いて前記記録媒体に記録させる機能と、
をコンピュータに実行させる情報記録プログラム。
(5)上記(4)に記載の情報記録プログラムをコンピュータに実行させて記録媒体に記録させた前記動画と前記静止画とを再生する為の情報再生プログラムであって、
前記記録媒体に記録された前記動画のシーンサーチに用いる各インデックス用画面を、前記記録媒体より読み出し手段を用いて読み出させた前記各静止画を基に生成し、表示装置に表示させる機能と、
前記表示装置に表示されている前記各インデックス画面のうちの1つを指示する指示信号が入力され、その入力指示信号によってシーンサーチを行なう際に、前記記録媒体から前記読み出し手段を用いて前記対応付け情報を読み出させて、前記1つのインデックス画面の基となる静止画と関連付けられている1枚の動画を前記対応付け情報のうちのリンク情報を用いて特定し、前記リンク情報と対をなすオフセット情報を用いて、前記特定した1枚の動画から前記所定期間前の1枚の動画をサーチ手段を用いてサーチさせるサーチ機能と、
をコンピュータに実行させる情報再生プログラム。
(6)前記記録媒体から前記読み出し手段を用いて読み出した前記対応付け情報内の前記各オフセット情報を、それぞれ任意の値に変更する為の変更指示信号が入力されたならば、この入力変更指示信号に従って新たな各オフセット情報を生成し、この生成した新たな各オフセット情報と各リンク情報とを対にした新たな対応付け情報を生成し、前記記録媒体に既に記録してある対応付け情報に前記第2の記録手段を用いて上書きさせる上書き機能と、
をコンピュータに実行させ、
前記サーチ機能は、
前記上書き機能によって前記記録媒体に記録されている前記新たな対応付け情報を前記読み出し手段を用いて読み出して、この読み出した前記新たな対応付け情報を基に前記サーチ手段を用いてサーチを行なわせる機能である、
上記(5)に記載の情報再生プログラム。
【発明の効果】
【0036】
本発明は、動画記録中に静止画を記録する場合、その静止画を記録した時系列的な位置情報として、この静止画に対応した動画のピクチャー(フレーム)の位置情報をインデックスポイントとして記録媒体に記録するとともに、そのインデックスポイントより時系列的に前の所定位置を動画のサーチに使用するエントリーポイントとなるように、前述のインデックスポイントからエントリーポイントまでの所定期間をオフセット期間として記録媒体に記録するようにした。更にこのオフセット期間を、記録した全静止画に対して一律に設定したり、個々の静止画毎に異ならせて設定したりできるようにした。
【0037】
上記構成とすることにより、静止画をインデックスとして動画をサーチする際に、その静止画に対して所定のオフセット期間分前のエントリーポイントの動画から再生を開始することが可能となる。よって、従来例の課題であった、静止画を記録するきっかけとなる特徴的な出来事を観るためにサーチ後に再生位置をすこし前に戻すという操作が不要になり、利用者の利便性の向上が可能となる。
【0038】
また、上記オフセット期間の設定を静止画毎に可能としているので、それぞれの静止画毎のきっかけとなる特徴的な出来事の時間に応じてオフセット設定できるので、利用者の利便性の更なる向上が可能となる。
【発明を実施するための最良の形態】
【0039】
図1は本発明の情報記録装置の一実施例のブロック図である。本実施例の情報記録装置は、動画の記録中でもその記録を中断することなく、静止画も記録することを可能とするものである。詳細内容は後述する。
【0040】
図3は本発明の情報再生装置の一実施例のブロック図である。本実施例の情報再生装置は、記録した動画及び静止画を再生すると共に、記録した静止画を動画のサーチ用のインデックスとして用いてサーチ再生することを可能とするものである。詳細内容は後述する。
<ディスクフォーマットのデータ構造>
まず、上記情報記録装置及び情報再生装置の実施例で使用する、ディスクフォーマットのデータ構造について説明する。これは従来例で説明した、一般的なディスクフォーマットのデータ構造を、本実施例の情報記録装置及び情報再生装置用にカスタマイズしたものである。
【0041】
図16は本実施例で使用するディスクフォーマットのデータ構造の例である。なお、ディレクトリ名やファイル名は本実施例を説明する目的で使用しており、これ以外の名称でも構わない。図示していないルートディレクトリの下にJVC_HDVD_SYSTEMディレクトリがあり、その下に、本実施例に関わる全ての管理データ、音声データ、動画データ、静止画データがファイルとして保存される。これは、従来例で説明した図12のDVD_RTAVディレクトリ以降に対応する。つまり、JVC_HDVD_SYSTEMが図12のDVD_RTAVに対応する。
[動画ファイル]
V_PR_SETは、記録されている各VOBをグループ化する為のディレクトリであり、このディレクトリ中に各VOBがV_PRn.dat (ここで、nは1から開始されるプログラム番号)ファイルとしてそれぞれ記録される。各VOBはMPEG-2システム規格のプログラムストリームまたは、トランスポートストリームとして記録される。上記V_PRn.datファイルは、従来例で説明した図12のVR_MOVIE.VROファイルに対応する。
[音声ファイル]
A_PR_SETは、音声の各プログラムをグループ化する為のディレクトリでありディレクトリ中に上記VOBと同様の各オーディオオブジェクト(AOB)がA_PRn.dat (ここで、nは1から開始されるプログラム番号)ファイルとしてそれぞれ記録される。各AOBはMPEG-2システム規格のプログラムストリームまたは、トランスポートストリームとして記録される。上記A_PRn.datファイルは、従来例で説明した図12のVR_AUDIO.VROファイルに対応する。
[Pack]
VOB及びAOBを記録する場合、図9のように、MPEG多重化規格のフォーマットに従い、パック化が施される。VOB及びAOBは所定バイト数単位(1パック内にセット可能なバイト数)毎に分割され、それぞれ図9のAudio or Video data部にセットされる。
【0042】
なお、ひとつのPackはPack Header部とPacket部に分かれており、更にPacket部はPacket Header部と、分割されたVOB又はAOBがセットされるAudio or Video data部とに分かれている。なおPacket Header部の直後には、必要に応じてPrivate Headerが付加される場合がある。
[静止画ファイル]
S_PR_SETは、記録されている静止画の各ファイルをグループ化する為のディレクトリであり、このディレクトリ中に静止画の各ファイルがS_PRn.jpg (ここで、nは1から開始されるプログラム番号)ファイルとして記録されている。なお、各静止画ファイルはJPEGファイルとして記録される。上記S_PRn.jpgは、従来例で説明した図12のVR_STILL.VROファイルに対応する。
【0043】
なお、図16では動画、音声、静止画のプログラムに関するファイル群をそれぞれ異なるディレクトリ下に記録する例を示したが、3種全てのファイル群を同一ディレクトリ、例えばAVS_PR_SETなどの下に記録するようにしても、本発明の趣旨と相違しない。 さらには、動画のプログラムをそれぞれ一つのファイルV_PRn.datとして記録する例、及び音声のプログラムをそれぞれ一つのファイルA_PRn.datとして記録する例を示したが、全てのビデオプログラムを同一のファイル、例えばV_PR.dat内に連続して記録し、V_PR.dat内のどの部分がどのプログラムデータに相当するかを別途の情報として保持するようにしても良い。A_PR.datについても同様である。
[TMG.ifo]
TMG.ifo(Total Manager Information)は、オリジナル管理データ及びユーザー定義管理データ(以下、プレイリストとも呼ぶ)を記録する為のファイルである。このTMG.ifoファイルは、従来例で説明した図12のVR_MANGRDVD.IFOファイルに対応する。また、オリジナル管理データは図12のオリジナルPGC、ユーザー定義管理データは図12のユーザー定義PGCにそれぞれ相当するものである。
【0044】
TMG.ifoファイルの構造を図17に示す。TOTAL_MAN_IFO(Total Manager Information)は、GENERAL_IFO(General Information)、CNTNT_IFO(Content Information)及びSTATUS_IFO(Status Information)で構成される。
[STATUS_IFO]
STATUS_IFOには、最後に再生したプログラムの種類や番号など、ステータスに関する情報が記述される。
[CNTNT_IFO]
CNTNT_IFOは、動画プログラム情報構造体V_PR_IFOT(Video Program Information Table)、音声プログラム情報構造体A_PR_IFOT(Audio Program Information Table)、静止画プログラム情報構造体S_PR_IFOT(Still picture Program Information Table)、プレイリスト情報構造体PL_IFOT(Play List Information Table)で構成される。
【0045】
上記のうち、V_PR_IFOT、A_PR_IFOT及びS_PR_IFOTの3つがそれぞれ動画、音声静止画用のオリジナル管理データである。また、PL_IFOTがユーザー定義管理データである。
【0046】
V_PR_IFOTは、各動画プログラム毎の情報V_PR_IFO_i(iは1からnまでの整数)の集まりで構成される。
A_PR_IFOTは、各音声プログラム毎の情報A_PR_IFO_j(jは1からmまでの整数)の集まりで構成される。
【0047】
S_PR_IFOTは、各静止画プログラム毎の情報S_PR_IFO_k(kは1からqまでの整数)の集まりで構成される。
PL_IFOTは、各プレイリスト毎の情報PL_IFO_p(pは1からrまでの整数)の集まりで構成される。
【0048】
以下では上記したそれぞれの整数i、 j、 k、 pをそれぞれ、V_PR_IFO番号、 A_PR_IFO番号、S_PR_IFO番号、PL_PR_IFO番号と呼ぶことにする。
以下に上記したV_PR_IFO_i、A_PR_IFO_j、S_PR_IFO_k、PL_IFO_pの詳細内容を説明する。
[動画プログラム情報構造体]
表1は、動画プログラム情報構造体V_PR_IFO_i のデータフィールドと内容の例を示す表である。
【0049】
データフィールドの中の、PR number (V_PRN)に記述される値は、この動画プログラムの番号(i)を示し、V_PR_IFO番号と等しい。
Video Group number (V_GRN)に記述される値は、この動画プログラムが属する動画グループの番号を示す。
【0050】
V_ATRには表1の下側の表に示すような内容の、このV_PR_IFO_iで参照される動画データ(各VOB)の各種属性情報が記述される。例えば、圧縮方式を示すVideo_compression_mode、PALやNTSC等の放送方式を示すTV_system、アスペクト比情報を示すAspect_ratio、水平解像度であるHorizontal_video_resolution、垂直解像度であるVertical_video_resolution等の各種属性情報が記述される。
【0051】
その他のデータフィールドについては、本実施例とは関係性が低いので説明を省略する。
なお、V_PR_IFO_iは動画プログラムの再生に必要なアドレス情報や属性情報、テキスト等の付随情報を記述する為のものであり、表1の実施例以外にも様々な情報構造をとり得る。
[音声プログラム情報構造体]
表2は、音声プログラム情報構造体A_PR_IFO_j のデータフィールドと内容の例を示す表である。
【0052】
データフィールドの中の、PR number (A_PRN)に記述される値は、この音声プログラムの番号(j)を示し、A_PR_IFO番号と等しい。
Audio Group number (A_GRN)に記述される値は、この音声プログラムが属する音声グループの番号を示す。
【0053】
Track number (TKN)に記述される値は、オーディオグループ内のトラック番号を示す。
その他のデータフィールドについては、本実施例とは関係性が低いので説明を省略する。
【0054】
なお、A_PR_IFO_jは音声プログラムの再生に必要なアドレス情報や属性情報、テキスト等の付随情報を記述する為のものであり、表2の実施例以外にも様々な情報構造をとり得る。
[静止画プログラム情報構造体]
表3は、静止画プログラム情報構造体S_PR_IFO_kのデータフィールドと内容の例を示す表である。
【0055】
データフィールドの中の、PR number (S_PRN)に記述される値は、この静止画プログラムの番号(k)を示し、S_PR_IFO番号と等しい。
Still picture Group number (S_GRN)に記述される値は、この静止画プログラムが属する静止画グループの番号を示す。
【0056】
Linked_video_program_numberには、この静止画プログラムと関連付けられる(以下リンクされると称する)動画プログラムのPR_numberが記述される。なお、関連付けられていない(以下リンクされていないと称する)場合には0が記述される。リンクに関する詳細内容は後述する。
【0057】
Linked_video_entry_timeには、リンクされている動画プログラムの中のピクチャーのタイムコードが記述される。
entry_offset_timeにはリンクされている動画プログラムの中のピクチャーのタイムコードからどれだけ前の時間からエントリーするかのオフセットタイムが記述される。この値はオフセットする時間幅で示される。
【0058】
S_ATRには表3の下側の表に示すような内容の、このS_PR_IFO_kで参照される静止画データの各種属性情報が記述される。例えば圧縮方式を示すVideo_compression_modeや、PALやNTSCのTVシステムを識別するTV_system、アスペクト比情報を示すAspect_ratioなどの各種属性情報が記述される。
【0059】
その他のデータフィールドについては、本実施例とは関係性が低いので説明を省略する。
なお、S_PR_IFO_kは静止画プログラムの再生に必要なアドレス情報や属性情報、テキスト等の付随情報を記述する為のものであり、表3の実施例以外にも様々な情報構造をとり得る。
[プレイリストプログラム情報構造体]
表4は、プレイリストプログラム情報構造体PL_IFO_pのデータフィールドと内容の例を示す表である。
【0060】
データフィールドの中の、PL numberに記述される値は、このプレイリストの番号(p)を示す。
num_of_ud_programsには、このプレイリストに含まれるユーザー定義プログラムの数が記述される。ユーザー定義プログラムUD_PR(User Defined Program)とは、利用者が設定するもので、一つ以上の動画プログラム、一つ以上の音声プログラムまたは一つ以上の静止画プログラムが記述されるものである。または、一つ以上の音声プログラムと、それと同時に再生すべき一つ以上の静止画プログラムが記述される場合もある。
【0061】
UD_PR_modeには、対応するUD_PRに動画、音声、静止画のうちのいずれのプログラムが記述されているかを示す情報が記述されている。
その他のデータフィールドについては、本実施例とは関係性が低いので説明を省略する。
【0062】
各プログラムの機能、プログラムとユーザー定義プログラム、プレイリストの関係などについては後述する。
なお、プレイリストプログラム情報構造体PL_IFO_pは動画、音声、静止画の各プログラムを関連付けて再生するのに必要なアドレス情報や属性情報、テキスト等の付随情報を記述する為のものであり、表4の実施例以外にも様々な情報構造をとり得る。
[GENERAL_IFO]
GENERAL_IFOには、System IDやVersion number、 及びCNTNT_IFOとSTATUS_IFOの先頭アドレスなど、TOTAL_MAN_IFOの一般情報を記述する。詳細な例を表6に示す。この中の、Global_entry_offsetフィールドは、各静止画とリンクしているそれぞれの動画のピクチャーからエントリーする一般的なオフセットタイムが記述されるフィールドである。このGlobal_entry_offsetの値は、各静止画に対応する静止画プログラム情報構造体S_PR_IFO_kの entry_offset_time フィールドに具体的な値が記載されていない場合に有効となるものである。
<記録装置>
図1は本発明の情報記録装置の一実施例のブロック図である。本実施例の情報記録装置は、上記したディスクフォーマットのデータ構造を用いることにより、動画の記録中でもその記録を中断することなく、静止画も記録することを可能とするものである。且つ、本装置は記録した静止画と、この静止画を記録した時期と同時期に記録していた動画のピクチャー(またはフレーム)とを互いにリンクさせた情報を併せて記録するものである。且つ、その記録するリンク情報には、その動画のピクチャーとリンクさせた静止画をインデックスとして動画をサーチするために用いるエントリーポイントを指し示すオフセット情報を含む。そしてこのエントリーポイント指し示すオフセット情報は静止画を記録した位置に対して所定期間前の位置の情報である。
【0063】
以下この図1を用いて実施例を説明する。
入力された画像光はレンズ101を通して、光路分離器102に入力される。光路分離器にはプリズムやハーフミラーなどが用いられる。この光路分離器102によって2つに分離された画像光は動画用受光素子104と、静止画用受光素子105に入光される。受光素子には例えばCCDやCMOSなどが用いられる。このとき、動画用撮像素子の解像度よりも、静止画用撮像素子の解像度のほうを大きくするのが効果的である。図5は、これまで説明したレンズ101から静止画用受光素子105までの所謂光学ブロックの具体例を示す構造図である。レンズ101に対応するレンズ群501、光路分離器102に対応するプリズム502、動画用受光素子104に対応するCCD503、静止画用受光素子105に対応するCCD504から構成されている。
【0064】
動画用受光素子104と静止画用受光素子105とで画像光はそれぞれ光電変換されて電気的な画像信号となる。更に画像信号はA/D変換されてデジタルデータとしてそれぞれ静止画符号化器114、動画符号化器115に入力される。静止画符号化器114では入力されるデジタルデータを静止画データとして扱い、例えばJPEGを用いて信号圧縮処理を行う。また、動画符号化器115では入力されるデジタルデータを動画データとして扱い、例えばMPEG2を用いて信号圧縮処理を行う。
【0065】
また、オーディオ入力器103からのオーディオデータはA/D変換器108にてデジタルデータに変換され、音声符号化器113に入力される。音声符号化器113では入力されるデジタルデータを例えばドルビーAC3を用いて信号圧縮処理を行う。
【0066】
それぞれの符号化器で符号化された動画、静止画、音声の各符号化データは、多重化器117にて、1つのデータに多重化される。多重化されたデータはディスクフォーマット器119にて、後述するディスクフォーマットにてフォーマット化され、記録媒体書き込み器118へ入力される。
【0067】
ユーザーインターフェース部(U/I)109は、利用者の操作情報を入力するブロックである。たとえば、動画を記録している途中に、利用者によってシャッターボタンが押されたなどの操作情報が入力されたならば、その押した時点のタイミング情報をCPUへ出力する。
【0068】
CPU110は、上記のタイミング情報を受信したならば、静止画記録の開始を静止画撮影タイミング信号発生器111に指示する。
静止画撮影タイミング信号発生器111は、CPU110より静止画記録の開始指示を受けたならば、静止画記録開始信号を静止画符号化器114、動画符号化器115に送信する。また同時に、これから記録する静止画のプログラムナンバーと、この静止画とリンクする動画のプログラムナンバー及びピクチャータイムコードとを生成して、それぞれを管理データメモリー112に送信し、また静止画のプログラムナンバーは、動画符号化器115へも送信する。
【0069】
静止画符号化器114は、静止画記録開始信号を受信したならば、静止画符号化を開始する。
動画符号化器115は、静止画記録開始信号を受信したならば、動画符号化を開始する。そして、同時に受信した静止画のプログラムナンバーを、動画符号化データの1ピクチャー毎に付加されているMPEGのユーザーデータ領域にセットする。これにより、動画記録中に記録した静止画と、その静止画を記録したのと同時期に記録されていた動画の1枚のピクチャーとの対応付けがなされることになる。
【0070】
静止画のプログラムナンバーとは、表3に示す静止画プログラム情報構造体のS_PR_IFOフィールドの中のPR_numberの値である。
MPEGのユーザーデータ領域とは、図2に示すようにMPEGストリームの1ピクチャー毎に1つ付加されているものである。表7はMPEG2ビデオレーヤの1ピクチャーのシンタックスを示したものであり、この中のuser_dataを使用する。user_dataは、User_data_start_codeという一意に決定できるバイトアラインされたスタートコードから始まり、次に0x000001の3バイトを受信するまで、user_dataを続けることができる。ここに静止画の識別情報(後述するS_PRN)を記述する。その際、他のアプリケーションでuser_dataを使用している可能性もあるので、user_data_start_codeに続く4バイトのuser_dataに、本方式のデータであることを示す識別コード0x22220204を記述する。これにより他の用途で使用されているユーザーデータとの混同を防ぐことができる。
なお、ここでは4バイトの識別コード0x22220204としているが、この識別コードのバイト長は4バイトに限らずまた識別コードも0x22220204に限るものではない。
【0071】
オフセット時間決定器116は、ユーザーインターフェース部(U/I)部109及びCPU110を介して利用者から設定されたり、装置内部にデフォルトとして予め設定されたりしている前述のオフセット情報をCPU110からの指示に従って管理データメモリーへ送信する。
【0072】
管理データメモリー112は、前述したTMG.ifoファイルを記憶し管理するメモリーである。このメモリーに送信された静止画のプログラムナンバー、この静止画とリンクする動画のプログラムナンバー及びピクチャータイムコード、オフセット情報はCPU110からの制御指示に従って、以下のように処理される。
【0073】
受信した静止画のプログラムナンバーと同じプログラムナンバーの静止画プログラム情報構造体がTMG.ifoファイル中に存在しない場合は、このプログラムナンバーの静止画プログラム情報構造体を新たに作成しTMG.ifoファイルに追加する。そしてこのプログラムナンバーを新たに作成した静止画プログラム情報構造体のPR_numberフィールドにセットする。
【0074】
この静止画とリンクする動画のプログラムナンバーは、上記で新たに作成した静止画プログラム情報構造体のLinked_video_programフィールドにセットする。この動画のプログラムナンバーは、現在記録中の動画に対応して既に作成されている表1に示す動画プログラム情報構造体のV_PR_IFOフィールドの中のPR_numberと同じ値を記述する。つまり、記録中の動画の動画プログラム情報構造対のPR_numberを、これから記録する静止画の静止画プログラム情報構造対のLinked_video_programに記述することで、現在記録中の動画とこれから記録する静止画との対応付け(リンク)がなされることになる。
【0075】
ピクチャータイムコードは、Linked_video_entry_timeフィールドにセットする。
ピクチャータイムコードとは、所謂タイムコードであり、MPEGなどで用いられているGOP単位のGOPヘッダーに記述されている時分秒フレーム数で表されるタイムコードを用いる。このタイムコードを、Linked_video_entry_timeフィールドに記述することにより、現在記録中の動画プログラム中のピクチャーとこれから記録する静止画プログラムとの対応付け(リンク)がなされることになる。なお、このinked_video_entry_timeフィールドに記述する情報は、動画プログラムの中のピクチャーを特定できる情報(動画ピクチャーの位置情報)であればタイムコードでなくて良い。例えば、記録されている動画プログラムの先頭からのフレーム数または先頭からのアドレス(バイト数)であっても良い。
【0076】
オフセット情報は、entry_offset_timeフィールドにセットする。このオフセット情報はピクチャータイムコードと同じ時間表示単位でセットする。このオフセット情報によりサーチ時のエントリーポイントとなる動画のピクチャーを指定できる。
【0077】
多重化器117は、それぞれの符号化器で独立に符号化された動画符号化データ、静止画符号化データ、音声符号化データを、時分割多重化する。
ディスクフォーマット器119は、上記多重化された各符号化データに対して、上記したディスクフォーマットである動画ディレクトリ(V_PR_SET)中の動画ファイル(V_PRn.dat)、音声ディレクトリ(A_PR_SET)中の音声ファイル(A_PRn.dat)、静止画ディレクトリ(S_PR_SET)中の静止画ファイル(S_PRn.jpg)に対応するようにフォーマット化する。
【0078】
記録媒体書き込み器118は、管理データメモリー112で生成され、記憶されているTMG.ifoファイル、及びディスクフォーマット器119によってフォーマット化された動画ファイル(V_PRn.dat)、音声ファイル(A_PRn.dat)、静止画ファイル(S_PRn.jpg)をCPU110からの制御信号に従って、記録媒体120に記録する。
【0079】
なお、本実施例は光路分離器102を用いて2つの光路に分離して、動画と静止画とをそれぞれ独立して記録する例であるが、光路分離器102を用いて2つの光路に分離しなくても良い。解像度の十分に高い受光素子と、静止画記録と動画記録とを切り替えるスイッチ105と、動画記録時に解像度を低くする為の解像度変換器107とがあれば、本発明は1つの受光素子で実現できる。
<再生装置>
図3は本発明の情報再生装置の一実施例のブロック図である。本実施例は、動画を記録中に任意の時点で静止画を記録したデータから動画及び静止画を再生する情報再生装置である。動画再生中に、それぞれの時点で記録されている静止画を用いた複数のインデックス画面から成るメニュー画面を作成し、そのメニュー画面を用いて、記録されている動画の所望の位置をサーチするものである。以下、図3を用いて実施例を説明する。
【0080】
CPU204は、記録媒体読み出し器202へ再生開始指示の制御信号を出力する。
記録媒体読み出し器202は、CPU204から再生開始指示の制御信号を受けたならば、記録媒体201に記録されている動画ファイル(V_PRn.dat)、静止画ファイル(S_PRn.jpg)、音声(A_PRn.dat)の多重化データと、管理データであるTMG.ifoファイルを読み出す。そして読み出したTMG.ifoファイルを管理データメモリー206に記録する。。また動画ファイル(V_PRn.dat)、静止画ファイル(S_PRn.jpg)、音声(A_PRn.dat)の多重化データをディスクフォーマットデコーダー器205に入力する。
【0081】
ディスクフォーマットデコーダー器205は、上記したディスクフォーマットで記録されている動画ファイル(V_PRn.dat)、静止画ファイル(S_PRn.jpg)、音声ファイル(A_PRn.dat)をフォーマットデコードして多重化分離器207へ出力する。
【0082】
多重化分離器207では、フォーマットデコードされた多重化データから、動画、静止画、音声の各符号化データを分離する。
音声復号化器210は、分離された音声符号化データを復号する。
【0083】
静止画復号化器211は、分離された静止画符号化データを復号する。
動画復号化器211は、分離された動画符号化データを復号する。
メニュー画面設定器213は、復号された静止画を縮小してインデックス画面を生成し、このインデックス画面を複数枚ならべてメニュー画面を生成し、この生成したメニュー画面を利用者に表示する。利用者はこのメニュー画面に従って、ユーザーインターフェース(U/I)203を介してCPU204へ指示を送ることにより、各インデックス画面毎のエントリーポイントを設定したり、実際にサーチを実行したりすることが可能となる。
【0084】
このメニュー画面を用いたエントリーポイントの具体的設定例を、図4を用いて説明する。図4はメニュー画面の表示例である。
利用者は、図4のメニュー画面の下部の8個の制御メニューを操作することにより、まず(1)や(2)のインデックス画面を選択する。するとこの(1)(2)の下側にある各2つの画面のうち右側に上記インデックス画面と同じシーンの画像が表示される。そして左側の画面は、右側の画面に対して例えば5秒前の映像が表示される。なお、この5秒の値はこの時点で装置に設定されている値である。次にこの5秒前の映像を選択した後に、制御メニューを操作してこの5秒前のシーンを例えば10秒前のシーンに変更する。
【0085】
上記設定処理を装置内部の動作で説明すると以下のような動作となる。
CPU204は、管理データメモリー206に記録されているTMG.ifoファイルの中の上記インデックス画面の静止画に対応する静止画プログラム情報構造体(表3)のオフセット情報(entory_offset_time)に上記で設定した10秒に相当する値を記述する。
【0086】
次に、上記で設定したメニュー画面の任意のインデックス画面に対応する動画位置にサーチする場合の動作を説明する。
CPUは、管理データメモリー206に記録されているTMG.ifoファイルの中から、サーチするために選択されたインデックス画面の静止画に対応する静止画プログラム情報構造体(表3)からリンク先の動画のプログラムナンバーであるlinked_video_program_numberと、リンク先の動画のピクチャー情報であるlinked_video_entry_timeと、このピクチャーのどの位前から再生するかを示すオフセット情報であるentory_offset_timeとを取得する。
【0087】
そしてCPU204は、取得した上記linked_video_program_numberと、linked_video_entry_timeと、entry_offset_timeとをアクセス時間設定器208に送信する。
アクセス時間設定器208は、送信されたlinked_video_program_numberを用いて、サーチする対象の動画プログラムを特定し、linked_video_entry_timeとentry_offset_timeを用いて、実際にサーチするエントリータイムを計算し、この計算したエントリータイムをランダムアクセス制御器209に送信する。
【0088】
ランダムアクセス制御器209は、サーチ用の制御信号を記録媒体読み出し器202と画像出力器215とに送信する。
画像出力器215は、復号した動画ピクチャーの時刻情報と送信されたエントリータイムとを比較して、その時刻が一致するか、送信されたエントリータイムよりも大きい時刻情報の動画ピクチャーになったら、図示していないモニターへの画像信号の出力を開始する。
【0089】
音声復号器210は、音声データを図示していないスピーカなどに出力する。
<記録手順>
次に、本実施例の記録装置における記録手順について、図6のフローチャートを用いて説明する。
【0090】
ステップ601:記録処理スタート。
ステップ602:動画、音声の記録を開始する。
ステップ603:静止画を記録するか否かを判断する。この判断は、例えば利用者による静止画記録ボタンの押下などの操作結果によって行う。
【0091】
操作結果が、静止画を記録する(YES)であった場合はステップ604へ処理を移行する。操作結果が記録しない(NO)、または操作が無かった場合には、ステップ606へ処理を移行する。
【0092】
ステップ604:静止画データの記録を開始する。
ステップ605:静止画記録開始信号を出力する。
ステップ606:動画または静止画の符号化を行う。動画は、MPEG2圧縮符号化を行う。静止画はJPEG圧縮符号化を行う。音声は動画とともにドルビーAC3やMPEG音声符号化などの圧縮符号化を行う。
【0093】
ステップ607:符号化された動画、静止画、音声の各符号化データをそれぞれパック化して、パックヘッダーやタイムスタンプなどを付加して多重化を行う。
ステップ608:多重化されたデータのうちの動画データのピクチャー毎のユーザーデータ領域に、静止画のプログラムナンバーを記録する。この静止画のプログラムナンバーとは、表3の静止画プログラム情報構造体に記述されるPR_numberである。
【0094】
ステップ609:多重化されたデータを、図16のフォーマットにしたがってフォーマット化し、バッファリングする。バッファにある程度のデータ量が蓄積されたら、記録媒体に記録する。
【0095】
ステップ610:記録が全部終了したかどうかを判定する。
終了(YES)であればステップ611に処理を移行し、終了でない(NO)であればステップ603へ戻る。
【0096】
ステップ611:記録結果に基づいて、管理データであるTMG.ifoファイルを記録媒体に記録する。
ステップ612:記録処理エンド。
【0097】
<エントリーセット手順>
次に図7のフローチャートを用いて、記録された静止画に対して動画のオフセット時間(エントリーポイント)を設定する手順を説明する。
【0098】
ステップ701:設定処理スタート。
ステップ702:オフセット時間設定画面(図4)を表示する。設定画面は対象となる記録した静止画をインデックス画面として表示する。そして、そのインデックス画面からどの位前の位置から、そのインデックス画面の静止画に関連する動画にアクセスするかのオフセット時間を利用者に入力させる。
【0099】
ステップ703:静止画毎のオフセット時間を設定するかどうかを利用者に選択させる。設定する(YES)の場合、ステップ704に処理を移行する。設定しない(NO)の場合、ステップ705に移行する。
【0100】
ステップ704:静止画データを再生、表示する。
ステップ705:予め装置に設定されているグローバルオフセット値を入力し、ステップ708に処理を移行する。このグローバルオフセット値は、表6に示すGENERAL_IFOのGlobal_entry_offsetに記録する。ステップ708へ処理を移行する。
【0101】
ステップ706:静止画毎にオフセット値を入力させる。入力したオフセット値は、それぞれの静止画に対応した表3に示す静止画プログラム情報構造体のentry_offset_timeに記録する。
【0102】
ステップ707:静止画毎のオフセット値入力が終了したか否かを判定する。終了した(YES)場合はステップ708に処理を移行する。終了していない(NO)の場合はステップ704へ戻る。
【0103】
ステップ708:表3に示す静止画プログラム情報構造体としてフォーマット化する。
ステップ709:管理データであるTMG.ifoファイルをを記録媒体に記録する。
ステップ710:設定処理エンド。
<再生手順>
次に、本実施例の再生装置における再生手順について、図8のフローチャートを用いて説明する。
【0104】
ステップ801:再生処理スタート。
ステップ802:記録媒体から管理データであるTMG.ifoファイルを読み取り、管理データメモリー112に記録する。
【0105】
ステップ803:TMG.ifoファイル内の表6に示すGENERAL_IFOのGlobal_entry_offsetの値を読み取る。
ステップ804:静止画データを復号して再生を開始する。
【0106】
ステップ805:再生された静止画データを縮小してインデックス画面とし、図4のようなメニュー画面を作成し表示する。
ステップ806:メニュー画面の中からサーチするインデックス画面を選択する。
【0107】
ステップ807:選択されたインデックス画面の静止画のLinked_video_entry_timeとentry_offset_time値をTMG.ifoファイル内の表3に示す静止画プログラム情報構造体から読み出す。
【0108】
ステップ808:静止画毎のentry_offset_time値が0であるかどうかを判定する。0である(YES)場合はステップ809に処理を移行する。0でない(NO)場合はステップ810に処理を移行する。
【0109】
ステップ809:表6のGlobal_entry_offset値を、読み取った静止画毎のentry_offset_time(今は0が入力されている)のレジスター(メモリ)に入力(上書き)する。
ステップ810:Linked_video_entry_timeとentry_offset_timeを加算した
エントリータイムの位置(エントリーポイント)へのサーチを実行する。
【0110】
ステップ811:サーチした位置から動画データの再生を行う。
ステップ812:更にサーチをするかどうかを選択する。サーチする(YES)場合にはステップ804に処理を戻す。サーチしない(NO)場合にはステップ813に処理を移行する。
【0111】
ステップ813:動画再生を継続するか終了するかを判定する。終了しない(NO)場合はステップ811に処理を戻す。終了する場合(YES)にはステップ814処理を移行する。
【0112】
ステップ814:再生処理エンド。
なお、本実施例では、記録媒体を特定していないが、ランダムアクセスできる記録媒体、例えばハードディスクや光ディスクなどであればどんな記録媒体であっても良い。
【0113】
また、記録媒体にデータを記録しなくても、通信、放送などあらゆる伝送媒体を経由してデータを送信することが可能で、その場合には、記録装置は伝送装置として使用することもできる。また再生装置は受信装置として使用することも可能である。
【0114】
本実施例の信号データを記録した記録媒体は、図16、図17、表1、表2、表3、表4、表6に示したフォーマット構造のデータが記録されていて、記録された静止画と同時期に記録された動画のピクチャーの位置情報からどれだけ離れた位置からエントリーするかのオフセット情報を記録媒体に記録するようにしたので、静止画をインデックスとして動画のエントリーポイントをサーチした際に、その静止画に対応するシーンの少し前から再生を開始することが出来、また、どの程度前から再生するかの情報が、全体及ぶような設定の仕方や、個々の静止画毎に設定することが可能となるという媒体特有の効果があり、見たいシーンから再生が始まってしまって、すこし前に戻すというユーザー操作が不要になり、効果的な再生を演出することできるシステムを好適に実現することができる。
【0115】
また、記録媒体は、媒体という定義はデータを記録できる媒体という、狭義な媒体というものだけでなく、信号データを伝送するための電磁波、光などを含む。また、記録媒体に記録されている情報は、記録されていない状態での、電子ファイルなどのデータ自身を含むものとする。
【0116】
また、本発明は上記した情報記録装置及び情報再生装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【0117】
【表1】

【0118】
【表2】

【0119】
【表3】

【0120】
【表4】

【0121】
【表5】

【0122】
【表6】

【0123】
【表7】

【図面の簡単な説明】
【0124】
【図1】本発明の実施例の好適な記録装置を示すブロック図である。
【図2】本発明の実施例のMPEGのユーザーデータ中に記録するデータ構造の説明図である。
【図3】本発明の実施例の好適な再生装置を示すブロック図である。
【図4】本発明の実施例の再生に使用するU/Iの例の説明図である。
【図5】本発明の実施例の好適な記録装置の光学系部分を示す構成図である。
【図6】本発明の実施例の好適な記録方法を示すフローチャート図である。
【図7】本発明の実施例の好適なパラメータ設定記録方法を示すフローチャート図である。
【図8】本発明の実施例の好適な再生方法を示すフローチャート図である。
【図9】従来技術におけるMPEG規格のデータパック構造を示す説明図である。
【図10】従来技術におけるMPEG符号化器のブロック図である。
【図11】従来技術におけるMPEG復号化器のブロック図である。
【図12】従来技術におけるディレクトリ、ファイル構造例の説明図である。
【図13】従来技術におけるオリジナルPGCの構造を示す説明図である。
【図14】従来技術におけるユーザー定義PGCの構造を示す説明図である。
【図15】本発明の第2実施例の好適な記録装置を示すブロック図である。
【図16】本発明の実施例のディレクトリ、ファイル構造の例を示す図である。
【図17】本発明の実施例のTMG.ifoのデータ構造例を示す図である。
【符号の説明】
【0125】
101 レンズ
102 光路分離機
103 オーディオ入力器
104 受光素子(動画用)
105 受光素子(静止画用)
106 A/D変換器
107 A/D変換器
108 A/D変換器
109 ユーザーインターフェース部
110 CPU
111 静止画撮像タイミング信号発生器
112 管理データメモリ
113 音声符号化器
114 静止画符号化器
115 動画符号化器
116 オフセット時間決定器
117 多重化器
118 記録媒体書き込み器
119 ディスクフォーマット器
120 記録媒体選択器



【特許請求の範囲】
【請求項1】
撮影された動画と静止画とを記録媒体へ記録する第1の記録手段と、
前記撮影された静止画と、これらの静止画が撮影された時刻を含む所定撮影期間内に撮影された前記動画のうちの1枚とを1対1に関連付けるリンク情報を前記各静止画毎に生成するリンク情報生成手段と、
前記リンク情報にて前記各静止画と関連付けられた各1枚の動画の撮影時刻からそれぞれ所定期間前の各1枚の動画を指し示す情報であるオフセット情報を生成するオフセット情報設定手段と、
前記各静止画毎の前記各リンク情報と前記各オフセット情報とを対にした対応付け情報を前記記録媒体に記録する第2の記録手段と、
を有することを特徴とする情報記録装置。
【請求項2】
前記請求項1に記載の情報記録装置で記録媒体に記録された動画と静止画とをそれぞれ再生する情報再生装置であって、
前記記録媒体に記録された前記動画のシーンサーチに用いる各インデックス用画面を、前記記録媒体より読み出した前記各静止画を基に生成し、表示装置に表示させるインデックス画面生成手段と、
前記表示装置に表示されている前記各インデックス画面のうちの1つを指示する指示信号が入力され、その入力指示信号によってシーンサーチを行なう際に、前記記録媒体から前記対応付け情報を読み出して、前記1つのインデックス画面の基となる静止画と関連付けられている1枚の動画を前記対応付け情報内のリンク情報を用いて特定し、前記リンク情報と対をなすオフセット情報を用いて、前記特定した1枚の動画から前記所定期間前の1枚の動画をサーチするサーチ手段と、
を有することを特徴とする情報再生装置。
【請求項3】
前記記録媒体から読み出した前記対応付け情報内の前記各オフセット情報を、それぞれ任意の値に変更する為の変更指示信号が入力されたならば、この入力変更指示信号に従って新たな各オフセット情報を生成し、この生成した新たな各オフセット情報と各リンク情報とを対にした新たな対応付け情報を生成し、前記記録媒体に既に記録してある対応付け情報に上書きするオフセット情報変更手段と、
を有し、
前記サーチ手段は、
前記オフセット情報変更手段で変更され、記録媒体に記録された前記新たな対応付け情報を読み出して、この読み出した新たな対応付け情報を用いてサーチを行なう手段であることを特徴とする請求項2に記載の情報再生装置。
【請求項4】
撮影された動画と静止画とを記録媒体に記録させる為の情報記録プログラムであって、
前記撮影された動画と静止画とを第1の記録手段を用いて前記記録媒体に記録させる機能と、
1枚以上の前記撮影された静止画と、これらの静止画が撮影された時刻を含む所定期間内に撮影された前記動画のうちの1枚とを1対1に関連付けるリンク情報を前記各静止画毎に生成する機能と、
前記リンク情報にて前記各静止画と関連付けられた各1枚の動画の撮影時刻からそれぞれ所定期間前の各1枚の動画を指し示す情報であるオフセット情報を生成する機能と、
前記各静止画毎の前記各リンク情報と前記各オフセット情報とを対にした対応付け情報を第2の記録手段を用いて前記記録媒体に記録させる機能と、
をコンピュータに実行させる情報記録プログラム。
【請求項5】
前記請求項4に記載の情報記録プログラムをコンピュータに実行させて記録媒体に記録させた前記動画と前記静止画とを再生する為の情報再生プログラムであって、
前記記録媒体に記録された前記動画のシーンサーチに用いる各インデックス用画面を、前記記録媒体より読み出し手段を用いて読み出させた前記各静止画を基に生成し、表示装置に表示させる機能と、
前記表示装置に表示されている前記各インデックス画面のうちの1つを指示する指示信号が入力され、その入力指示信号によってシーンサーチを行なう際に、前記記録媒体から前記読み出し手段を用いて前記対応付け情報を読み出させて、前記1つのインデックス画面の基となる静止画と関連付けられている1枚の動画を前記対応付け情報のうちのリンク情報を用いて特定し、前記リンク情報と対をなすオフセット情報を用いて、前記特定した1枚の動画から前記所定期間前の1枚の動画をサーチ手段を用いてサーチさせるサーチ機能と、
をコンピュータに実行させる情報再生プログラム。
【請求項6】
前記記録媒体から前記読み出し手段を用いて読み出した前記対応付け情報内の前記各オフセット情報を、それぞれ任意の値に変更する為の変更指示信号が入力されたならば、この入力変更指示信号に従って新たな各オフセット情報を生成し、この生成した新たな各オフセット情報と各リンク情報とを対にした新たな対応付け情報を生成し、前記記録媒体に既に記録してある対応付け情報に前記第2の記録手段を用いて上書きさせる上書き機能と、
をコンピュータに実行させ、
前記サーチ機能は、
前記上書き機能によって前記記録媒体に記録されている前記新たな対応付け情報を前記読み出し手段を用いて読み出して、この読み出した前記新たな対応付け情報を基に前記サーチ手段を用いてサーチを行なわせる機能である、
請求項5に記載の情報再生プログラム。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2006−222930(P2006−222930A)
【公開日】平成18年8月24日(2006.8.24)
【国際特許分類】
【出願番号】特願2005−331299(P2005−331299)
【出願日】平成17年11月16日(2005.11.16)
【出願人】(000004329)日本ビクター株式会社 (3,896)
【Fターム(参考)】