説明

符号化装置及び方法、並びに復号化装置及び方法

【課題】GOPの長さを長くしても、ランダムアクセスを可能とする。
【解決手段】アクセスポイントとして予測に用いられるアクセスポイントPピクチャーであって、当該アクセスポイントPピクチャーが属する映像情報単位先頭のIピクチャー、または当該映像情報単位先頭のIピクチャーに基づいて予測された以前のアクセスポイントPピクチャーのいずれかに基づいて予測されるアクセスポイントPピクチャーを符号化し、アクセスポイントPピクチャー以降のピクチャーとして、直前のアクセスポイントPピクチャーから予測され、直前のアクセスポイントPピクチャー以前のピクチャーについては予測に用いないPピクチャー、およびBピクチャーを符号化する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、ランダムアクセス可能な映像情報記録媒体、並びに、映像データを映像情報記録媒体に記録する記録装置及び記録方法、ランダムアクセス可能な映像情報記録媒体から映像データを再生する再生装置及び再生方法に関するものである。本発明はまた、符号化装置及び方法、並びに復号化装置及び方法に関する。
【背景技術】
【0002】
蓄積媒体の容量を大きくすることなく、効率的にかつ簡単な方法で画像データの特殊再生を行う方式として、符号化された画像データをMPEG方式に準拠したフォーマットでパケット化して蓄積媒体に書き込む際に、Iピクチャーデータの少なくとも一部が格納されているパケットに対してIピクチャーインデックスを設定し、特殊再生時にはそのIピクチャーインデックスが設定されているパケットのみを読み出すようにした方式が提案されている(例えば、特許文献1等)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平9−98430号公報(第4−10頁、第1−15図)
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、MPEG4−AVC(H.264)をはじめとする、低ビットレートで符号化しても十分な画質が確保できる新しい符号化方式が普及し始めている。低ビットレートで高画質を実現するには、符号量の多いIピクチャーの枚数をできるだけ少なくすることが必要である。
【0005】
一方、GOPの先頭フレームは必ず、Iピクチャーである必要があるため、Iピクチャーの枚数を減らすことは、GOPの長さが大きくなることに等しい。例えば携帯端末用のテレビ放送である、「1セグ放送」においては、最大5秒間のGOPまで許されている。
このように、GOPの長さが大きくなってくると、ランダムアクセス時には別のフレームを参照することなくデコードできるIピクチャーから再生を行うことが必要であるため、アクセス可能なポイントとして指定できる位置が大幅に減少することとなる。この場合、ユーザーが録画した映像に対してタイムサーチ等を行ったとしても、アクセス可能なポイントとして指定されている箇所がGOPの先頭にあるIピクチャーにしか存在しないため、ユーザーがある時点からの映像再生を希望したとしても、その位置に正確にアクセスすることが困難となり、希望した時点からずれた時間からの再生しか行えないといった不便が生じることとなる。また、GOPの長さが例えば5秒間に設定されている場合、その中間にランダムアクセスを行おうとすると、目的のピクチャーが再生されるまでに、最悪の場合2秒以上かかるといった問題もある。
【0006】
本発明は、上記のような問題を解決するためになされたもので、GOPの長さを長くしても、ランダムアクセスを可能とすることを目的とする。
【課題を解決するための手段】
【0007】
本発明は、フレーム内符号化画像であるIピクチャー、1枚のピクチャーから予測されるブロックの集合体の予測符号化画像であるPピクチャー、及び2枚のピクチャーから予測されるブロックの集合体の予測符号化画像であるBピクチャーからなる映像情報単位により構成される映像データが記録された記録媒体において、前記映像情報単位は、ランダムアクセス可能なアクセスポイントとして予測に用いられるPピクチャーであって、当該Pピクチャーが属する前記映像情報単位の先頭のIピクチャー、またはBピクチャーを用いずに予測された以前のPピクチャーに基づいて符号化されたアクセスポイントPピクチャーと、前記アクセスポイントPピクチャーの後続のピクチャーであって、直前の前記アクセスポイントPピクチャー、あるいは当該アクセスポイントPピクチャーから予測されたPピクチャーまたはBピクチャーに基づいて予測され、直前の前記アクセスポイントPピクチャー以前のピクチャーについては予測に用いないPピクチャーおよびBピクチャーを含んで構成されるものであり、前記記録媒体を再生する再生装置において、任意の指定位置から再生を行う際、当該指定位置に対応するピクチャーを含む前記映像情報単位にアクセスするために参照される情報であって、アクセスポイントとなる前記Iピクチャーの位置情報を含むエントリーポイントマップが前記映像データの再生を制御するためのナビゲーション情報として記録され、前記再生装置において、前記指定位置に対応するピクチャーをデコードするために参照される情報であって、前記映像情報単位を構成する各々のピクチャーが、前記アクセスポイントPピクチャーであるか、前記アクセスポイントPピクチャーをデコードするために必要なPピクチャーであるかを示す属性情報が前記映像情報単位毎に記録されたものである。
【発明の効果】
【0008】
本発明によれば、GOPの長さを長くしても、ユーザーの希望する時点からの映像再生をスムーズに行うことができ、ランダムアクセスが可能となる。
【図面の簡単な説明】
【0009】
【図1】(a)及び(b)は実施の形態1のGOPの構成を説明するための図である。
【図2】実施の形態1における、1GOPの中に2つのPピクチャーのアクセスポイントを設定した場合のGOPの構成例である。
【図3】実施の形態1における、アクセスポイントとなるPピクチャーへアクセスするためのインデックス情報の構造図である。
【図4】実施の形態1,4,5の再生装置の構成を示す図である。
【図5】実施の形態1における、光ディスクにおける映像ファイルとEntry_map()中の各管理データとの関係を示す図である。
【図6】実施の形態2における、アクセスポイントとなるPピクチャーへアクセスするためのインデックス情報の構造図である。
【図7】実施の形態2における、GOP内のピクチャーの参照とfram_numの関係を示す図である。
【図8】実施の形態3のGOPの構成を説明するための図である。
【図9】実施の形態3の再生装置の構成を示す図である。
【図10】実施の形態3における、各GOP内のアクセス情報が記述される“GOP_access_info”の構造を示す図である。
【図11】実施の形態3における、各GOP内のアクセス情報が記述される“GOP_access_info”の構造の他の例を示す図である。
【図12】実施の形態3における、アクセスポイントとなるPピクチャーへアクセスするためのインデックス情報の構造図である。
【図13】実施の形態4における、表示順に並んだピクチャーの配列とランダムアクセス用に並び替えた記録時の配列との関係を示す図である。
【図14】実施の形態4における、GOP_structure()の構造を示す図である。
【図15】実施の形態4における、Entry_map()と各ピクチャーの配列との関係を表す図である。
【図16】実施の形態5における、表示順に並んだピクチャーの配列とランダムアクセス及び早送り再生用に並び替えた記録時の配列との関係を示す図である。
【図17】実施の形態5における、ランダムアクセスと早送り再生とに対応したインデックス情報の構造図である。
【発明を実施するための形態】
【0010】
以下、実施の形態を図面を参照しながら説明する。
映像情報記録媒体として光ディスクである場合について主として示すが、ハードディスクや半導体メモリ等の記録媒体であってもよい。
また、本実施の形態では30フレーム/秒の映像をMPEG4−AVC(Advanced Video Codec)の符号化方式により、ディジタル映像データに圧縮して記録が行われる場合について説明する。ディジタル映像データの各フレームは、Iピクチャー、Pピクチャー、Bピクチャーの3種類の符号化画像のいずれかにより構成されている。Iピクチャーは、1フレーム内で符号化されるフレーム内符号化画像である。Pピクチャーは、1枚のフレームを複数のブロックに分割して各ブロックに対して別の1枚のフレームから予測される予測符号化画像、即ち、1枚のフレームから予測されるブロックの集合体である。Bピクチャーは、1枚のフレームを複数のブロックに分割して各ブロックに対して別の2枚のフレームを参照して予測する予測符号化画像、即ち、2枚のフレームから予測されるブロックの集合体である。また、少なくとも1つのIピクチャーを含むとともにIピクチャーを先頭にして1つ又は複数枚のPピクチャー及び1つ又は複数枚のBピクチャーを含んでなる映像単位としてGOP(Group of Picture)を構成し、映像データはこのGOPが複数集まって構成されている。ただし、MPEG4−AVCにおいてGOPは規格で規定されていないが、このようなGOPの概念をMPEG4−AVCに適用したものをここではGOPと呼び、GOPの長さを1.0秒に設定されていることを前提として説明を行う。
【0011】
実施の形態1.
図1は、GOPの構成を説明するための図である。図において、IはIピクチャー、PはPピクチャー、BはBピクチャーを表す。一番左にあるI1ピクチャーが時間的に最も古い時間のピクチャーであり、右に行くほど新しい時間のピクチャーとなっており、表示順に配列されている。図中、矢印は各ピクチャーを符号化する際の、予測、参照の関係を示す。I,P,Bに続く番号は各ピクチャーを識別するための番号であり、I,P,Bごとに、時間的に古いものから番号が振られている。
【0012】
図1(a)は、MPEG4−AVCで符号化した場合のGOPの構成例である。図1(a)を用いて各ピクチャーがデコードされる手順について説明を行う。なお、表示順は図1に示したとおりであるが、記録媒体等に記録する際にはデコード順に記録されている。
例えば、図1(a)においては、I1、P1、B1、B2、B3、B4、P2・・・の順で記録媒体に記録されている。
【0013】
図1(a)において、I1は単独でデコード可能なピクチャーであり、且つ最初のピクチャーであるため、まず第一にデコードされる。デコードされたIピクチャーは、後のデコードに必要であるため、デコーダー内のフレームメモリーに一旦蓄積される。次に、P1がデコードされ、デコードされたPピクチャーもフレームメモリーに一旦蓄積される。
続いて、B1が、既にデコードされたI1、P1を参照しデコードされ、一旦フレームメモリーに蓄積される。ここでフレームメモリー内のI1は破棄される。次に、B1とP1とを参照してB2がデコードされ、一旦フレームメモリーに蓄積される。そして、B3がP1とB2とを参照してデコードされ、フレームメモリーに一旦蓄積され、フレームメモリー内のB3は破棄される。次に、P1とB3とを参照してB4がデコードされ、フレームメモリー内に一旦蓄積され、フレームメモリー内のピクチャーはB4を除いて破棄される。次にB4から予測されるP2がデコードされ、フレームメモリー内に一旦蓄積される。以下同様にして、次々とデコードが進んでいく。
【0014】
以上のように、一つのピクチャーを復号するには、時間的に前方向及び/又は後方向のピクチャーを必要とするが、この仕組みが、ランダムアクセスへの大きな障害となっている。ここでP2に注目をする。P2のデコードにはB4が必要で、B4のデコードにはB3とP1が必要である。B3のデコードにはP1とB2が必要で、B2のデコードにはB1とP1が必要である。更にB1のデコードには、I1とP1が必要となる。よってP2より再生を開始しようとした場合、P2より以前にある、I1、B1、B1、P1、B3、B4のすべてのピクチャーをデコードした後でないと、デコードすることができないことがわかる。なお、MPEG2の場合は、MPEG4ーAVCと違い、参照や予測に使うピクチャーの自由度がないため、P2から再生を行うには、I1、P1をデコードすることでP2はデコード可能である。このことはMPEG4−AVCで符号化された映像は、ランダムアクセス性に欠けることを意味する。低ビットレートで符号化する場合、符号化効率を上げるために、GOPの長さを長めにすることが一般的である。例えばGOPの長さを5秒程度にとった場合、その中間にランダムアクセスを行おうとすると、目的のピクチャーが再生されるまでに、最悪の場合2秒以上かかる場合が考えられる。
【0015】
従って、MPEG4−AVCのように、参照や予測に用いるピクチャーに自由度が大きい符号化方式においては、GOPの途中にアクセスしようとする場合、多くのピクチャーをデコード必要があるため、再生を開始するまでに時間を要する。その結果、ユーザーが希望する時点から再生しようとしても、再生が開始するまでに時間がかかったり、希望の時間からずれた時間より再生始めたりといった不便が生じることとなる。
【0016】
この問題を解決するには、符号化時にある程度の制約を与える必要がある。しかし、大きな制約を与えることは、MPEG4−AVCの良さを損なうことになるため、必要最小限にすべきである。図1(b)は、アクセスポイントAPとなるピクチャーを符号化する際に、ある制約条件を加えて符号化したGOPの構成である。各ピクチャーは、左から表示順に配列されている。このGOPでは、アクセスポイントAP以降のピクチャーを符号化する条件として、次の3つの制約を加えている。
1.アクセスポイントAPとなるピクチャーはIまたはPピクチャーとする。
2.アクセスポイントAPとなるPピクチャーは、必ずGOP先頭のIピクチャーから予測する。
3.アクセスポイントAPのPピクチャー以降のピクチャーは、アクセスポイントAP以前のピクチャーから予測したり、参照したりしない。但しGOP先頭のIピクチャーは除く。
【0017】
ここで、アクセスポイントAPとは、例えばユーザーが希望する時点等の、映像情報の任意の位置から再生するいわゆるランダムアクセスを行う際のアクセス可能な位置(ポイント)である。再生専用型光ディスクの場合にはディスクのオーサリング時に位置指定が行われ、追記可能型又は書換え可能型光ディスクの場合には当該光ディスクへの映像データを記録する際に記録装置が自動的に指定する。
【0018】
図1(b)において、アクセスポイントAPであるP4から再生を行うには、まずGOP先頭のI1をデコードし、次にP4をデコードするだけでよい。P4以降のピクチャーは、P4よりも前のピクチャーを参照、予測に使っていないため、これ以降は通常のシーケンスでデコードすることで、連続した再生が可能である。
【0019】
上記の制約条件で符号化すると、アクセスポイントAPであるP4から再生を行うには、GOP先頭のI1のデータを読み出してデコードするだけでよく、P4より以前のピクチャーを読み出したりデコードする必要がない。ここで、ディスクの読み出し速度を10Mbps、符号化レートを10Mbpsとし、Iピクチャー、Bピクチャー、Pピクチャーの符号化比率を10:6:1、シーク時間を100msecと仮定する。この時、I1とP4のデータサイズの合計は上記の条件で、約1.3Mbitとなり、これを読み出すために必要な時間は130msecである。I1を読み出した後、P4へアクセスするため、更に100msec分余計に時間を要するため合計230msec程度を要する。
【0020】
上記の説明は、PピクチャーのアクセスポイントAPがGOP中に一つの場合について説明したが、GOPの中に複数のPピクチャーのアクセスポイントを設定することも可能である。図2は、1GOPの中に2つのPピクチャーのアクセスポイントAP1,AP2を設定した場合のGOPの構成例である。最初のPピクチャーのアクセスポイントAP1であるP4は、上述したPピクチャーのアクセスポイントAPが一つの場合と同じであるため、説明を省略する。2番目のアクセスポイントAP2はP8である。P4はI1より予測して符号化されているが、2つめのアクセスポイントAP2のP8の場合、I1からの時間的な距離が大きくなる。一般に予測するピクチャーの時間的距離が大きくなるほど、予測精度が低下して、画質劣化を引き起こす。よって2番目のアクセスポイントAP2以降のPピクチャーについては、Iピクチャーから予測するよりも、その1つ前のアクセスポイントAP1の位置にあるPピクチャーから予測する方がよい。2番目のアクセスポイントAP2の位置にあるP8の場合、1番目のアクセスポイントAP1のP4から予測することで、符号化を行う。但し、場合によっては、I1から予測した場合のほうが、符号効率が良くなる場合もあるので、必ずしも一つ前のアクセスポイントから予測する必要はない。
【0021】
よって、2番目以降のPピクチャーのアクセスポイントの符号化条件は以下のようになる。
1.アクセスポイントとなるピクチャーはIまたはPピクチャーとする。
2.アクセスポイントとなるPピクチャーは、GOP先頭のIピクチャーまたはアクセスポイントとなるPピクチャーから予測する。
3.アクセスポイントのPピクチャー以降のピクチャーは、アクセスポイント以前のピクチャーから予測したり、参照したりしない。但しGOPの先頭のIピクチャー、またはアクセスポイントとなるPピクチャーを除く。
【0022】
2番目のアクセスポイントAP2のP8から再生を開始する場合、まずGOPの先頭であるI1を再生する。次に1番目のアクセスポイントAP1であるP4を読み出し復号する、さらにP8を読み出し復号することで、それ以降は通常に再生することができる。アクセスポイントAPが1箇所の場合と違って、複数アクセスポイントが存在する場合は、GOP先頭のIピクチャー、目的のアクセスポイント以前のアクセスポイントになっているPピクチャーを再生する必要があるため、GOP内の後ろのアクセスポイントになるに従って、再生開始までの時間を要するが、このような制約条件を加えずに符号化した場合と比較して、十分早く映像を再生することが可能である。
【0023】
以上の符号化条件において、GOP途中のアクセスポイントから迅速な再生を行うために、以下のようなインデックス情報を映像データ中に配置する。図3は、アクセスポイントとなるPピクチャーへアクセスするためのインデックス情報の構造図である。図3において、Entry_map()は、アクセスポイントに必要な情報が格納されたデータ領域であり、ナビゲーションデータの一部を構成している。ナビゲーションデータとは、記録媒体内の映像ファイル等のコンテンツの再生を制御するための制御情報や管理情報全般のことを指し、アクセスポイントのインデックス情報もこの中に含まれる。
【0024】
図3の“number_of_IAP”には、動画ファイル中に存在するIピクチャーのアクセスポイントの総数が記述される。動画ファイルは複数のGOPにより構成されているが、GOPの先頭のIピクチャーは必ずしもアクセスポイントにする必要はないので、GOPの数と“number_of_IAP”の数は一致する必要は無いが、GOPの総数を超えることはない。
【0025】
図3において、“number_of_IAP”の次のforループ文は、“number_of_IAP”の数だけ繰り返されるループである。この中に、1つのIピクチャーのアクセスポイントから次のIピクチャーのアクセスポイントまでの、以下のようなアクセスポイント情報が記述される。なお、数秒程度のGOPの場合、GOP先頭のIピクチャーは必ずアクセスポイントとして指定されるため、GOPごとのアクセスポイント情報とみなしてよい。
【0026】
図3の“I_PTS_AP[IAP_id]”は、アクセスポイント先頭の再生タイミングを意味する表示時間情報であるIピクチャーのPresentation Timeが記述される。ここでのPresentation Timeは、MPEG2の各ピクチャーに記述されるPTSでもよいし、映像ファイルの先頭からの相対的な時間を示す値でもよい。ここで、括弧内の[IAP_id]は、“number_of_IAP”のうちの、あるIピクチャーのアクセスポイントの番号を意味し、例えば、“I_PTS_AP[IAP_id]”は[IAP_id]で特定されるIピクチャーのアクセスポイントについての“I_PTS_AP”情報という意味である。以下においても同様の意味であるため以下の説明では省略する。
【0027】
次の“I_SCN_AP”は、アクセスポイント先頭のIピクチャーについての映像ファイル内での位置情報、またはディスク内での位置情報を意味する情報である。本実施の形態では、アクセスポイント先頭のIピクチャーについての、映像ファイルの先頭アドレスからの相対セクター数が記述される。ここではセクター数としてあるが、バイト数等であってもよく、映像ファイルの先頭からの位置、またはディスクの絶対位置が特定できる情報であればよい。“Size_of_IAP”は、アクセスポイント先頭のIピクチャーのデータサイズを意味する情報である。ここではIピクチャーの最終バイトが存在するセクターの、当該Iピクチャーの存在するGOP先頭からの相対セクター数が記述される。以上の3つのアクセスポイント情報により、アクセスポイント先頭のIピクチャーの先頭位置、表示時刻、データサイズを知ることが可能となる。
【0028】
更に図3において、“number_of_PAP”は、1つのIピクチャーのアクセスポイントから次のIピクチャーのアクセスポイントまでに存在するPピクチャーのアクセスポイントの総数、一般的には次のGOP先頭までのPピクチャーのアクセスポイントの総数、が記述される。次のforループ文は、この“number_of_PAP”の数だけ繰り返されるループである。“P_PTS_AP[IAP_id][PAP_id]”は、上記“I_PTS_AP”と同様のものであり、アクセスポイントとなるPピクチャーの表示タイミングを意味するPresentation Timeが記述される。
ここでのPresentation Timeは、MPEG2の各ピクチャーに記述されるPTSでもよいし、映像ファイルの先頭からの相対的な時間を示す値でもよい。一般に映像データ以外のデータ量は小さいほどよい。クロック周波数を90kHzとすると絶対的なPTSの場合は、33bitのデータ量が必要であるが、GOPの最大長を5秒とすると、相対的なPTSに要するデータ量は19bitに削減されるため、“P_PTS_AP[IAP_id][PAP_id]”の値は、GOP先頭からの相対的な時間とするほうがよい。本実施の形態では、映像ファイル先頭からの相対的なPresentation Timeとしている。ここで、括弧内の[IAP_id][PAP_id]は、IAP_idで特定される1つのIピクチャーのアクセスポイントから次のIピクチャーのアクセスポイントまでに存在するPピクチャーのアクセスポイント(“number_of_PAP”)のうちの、あるPピクチャーのアクセスポイントの番号に対応する情報であることを意味する。例えば、“P_PTS_AP[IAP_id][PAP_id]”は、[IAP_id]で特定される1つのIピクチャーのアクセスポイントから次のIピクチャーのアクセスポイントまでに存在するPピクチャーのアクセスポイントのうちの、あるPピクチャーのアクセスポイント[PAP_id]で特定される“P_PTS_AP”情報という意味である。以下においても同様の意味であるため以下の説明では省略する。
【0029】
次の“P_SCN_AP”は、上記“I_SCN_AP”と同様のものであり、そのPピクチャーについての、アクセスポイント先頭のGOP内の位置情報または、映像ファイル内での位置情報である。ここではIピクチャーのアクセスポイント先頭からの相対セクター数が記述される。“Size_of_PAP”は、“Size_of_IAP”と同様に、アクセスポイントのPピクチャーのデータサイズを意味する情報である。ここではアクセスポイントとなるPピクチャーの最終バイトが位置するセクターの、当該Pピクチャー先頭からの相対セクター数が記述される。上記の3つの情報から、アクセスポイントとなるPピクチャーの動画先頭位置、表示時刻、データサイズを知ることが可能となる。
【0030】
以上のようにアクセスポイントのインデックス情報を構成することにより、各アクセスポイントの位置情報、時間情報、ピクチャーサイズを知ることが可能となる。次に上記インデックス情報を利用してアクセスポイントからの再生を行う手順について説明をする。
図4は再生装置100の構成を示す図であり、図5は光ディスクにおける映像ファイルとEntry_map()中の各管理データとの関係を示す図である。
【0031】
通常の再生シーケンスを説明する。ユーザーからの再生指示が、ユーザーインターフェース(I/F)部101からCPU102に入力されると、光ディスクからデータを読み出すドライブ103を制御するドライブ制御部104へ、ナビゲーションデータ1の読み出し命令が出される。読み出されたナビゲーションデータ1はドライブ制御部104を経由してワークメモリー105へ転送される。CPU102、ドライブ制御部104、ワークメモリー105はアドレスバス、データバスで構成されるシステムバス106でCPU102と接続されており、CPU102からの命令、各ブロック間のデータの転送は、このシステムバス106を使って行われる。CPU102は、ワークメモリー105に展開されたナビゲーションデータ1より、ユーザーからの再生指定された番組に関する管理情報を抽出する。CPU102は、この抽出された管理情報に従って、映像データ2から再生に必要な映像ファイル3のデータ読み出しをドライブ制御部104に指示し、ドライブ103によって所望のデータが読み出される。読み出されたデータは、システムバス106を経由して、符号化されたデータを復号するデコーダー107に付帯するバッファメモリー108へ、一旦蓄積される。CPU102は、映像や音声が途切れなく再生できるように、バッファメモリー108が空になったり、オーバーフローしないよう制御を行う。
一旦バッファメモリー108に蓄積されたデータはデコーダー107で映像信号に復号され、TV等の表示装置109へ出力される。
【0032】
次に、ユーザーにより、時間を指定するタイムサーチが行われた場合の動作について説明する。ユーザーから時間指定されたサーチ命令がユーザーI/F部101から出されると、CPU102は、ワークメモリー105に蓄積された、ナビゲーションデータ1のEntry_map()を参照する。ここでEntry_map()中の“I_PTS_AP”の中で、ユーザーの指定した時間に最も近いアクセスポイントであるIピクチャーについての時間情報をI_PTS_AP(k)とする。また、“P_SCN_AP”の中で、最も近いアクセスポイントであるPピクチャーj(jは1以上の整数で、Iピクチャーから数えてj番目のPピクチャーのアクセスポイントとする。)についての時間情報を“P_PTS_AP(j)”とする。ここで、上記IピクチャーはGOP(k)4に含まれるとする。
【0033】
現在再生中の映像ファイル3の先頭アドレスは、記録媒体のファイルシステムから認識できる。よって映像ファイル3の先頭アドレスに、上記Iピクチャーについての位置情報である“I_SCN_AP(k)”を加算したアドレスが、目的のアクセスポイントを含むGOP(k)4の先頭に位置するIピクチャーの絶対アドレスとなる。CPU102は、その絶対アドレスからのデータ読み出しを、ドライブ制御部104へ命令する。ここで読み出されるデータ量は、当該Iピクチャーについてのデータサイズである“Size_of_IAP”に記述されたセクター分である。このように位置情報とデータサイズとに基づいて読み出された当該Iピクチャーのデータは、ドライブ制御部104から、バッファメモリー108へ一旦蓄積される。
【0034】
このようにして、Iピクチャーの読み出しが完了すると、CPU102は、映像ファイルの先頭アドレスに、上記Iピクチャーについての位置情報である“I_SCN_AP(k)”と、すぐ次のアクセスポイントでありかつPピクチャーについての位置情報である“P_SCN_AP(1)”(図示せず)とを加算したアドレスからのデータ読み出しを、ドライブ制御部104に命令する。ここで読み出されるデータ量は“Size_of_PAP(1)”に記述されたセクター分である。このように位置情報とデータサイズとに基づいて読み出された当該Pピクチャーのデータは、ドライブ制御部104から、バッファメモリー108へ一旦蓄積される。
【0035】
Pピクチャーjを再生するには、GOP(k)4のIピクチャーと、それ以降のアクセスポイントのPピクチャーAP(1)〜AP(j)を読み出せばよいため、以上の動作をj回分繰り返す。このようにして、目的のアクセスポイント“P_PTS_AP(j)”に到達する。
【0036】
CPU102は、目的のアクセスポイントから最短で映像が出力できるようタイミングを計算し、バッファメモリー108に蓄積されたデータをデコーダー107へ転送し、デコードをスタートさせる。以上の手順により、ユーザーの指定した時間からの再生が行われる。なお、ユーザーが再生すべき時刻を指定するタイムサーチを行う場合について示したが、再生すべきピクチャーやアドレス自体を指定してもよく、本発明の再生指定位置はこれらの再生指定時刻やアドレス、再生指定映像等を含むものである。
【0037】
以上、説明したように、ランダムアクセス可能な位置として指定されるアクセスポイントとなるピクチャーをIピクチャー又はPピクチャーとすることによって、MPEG4−AVC等の低ビットレートでの符号化方式においても、アクセスポイントを減少させることなく、適当な間隔でアクセスポイントを指定することが可能となる。
【0038】
また、アクセスポイントとなるピクチャーがPピクチャーである場合、GOP先頭のIピクチャー又は当該Pピクチャーより時間的に前方向に位置するアクセスポイントのPピクチャーから予測符号化することによって、符号化効率を保持することができる。
【0039】
更に、アクセスポイントとなるIピクチャー又はPピクチャーより時間的に後方向のピクチャーを、GOP先頭のIピクチャー及びアクセスポイントとなるピクチャーを除いて、当該アクセスポイントとなるIピクチャー又はPピクチャーより時間的に前方向のピクチャーから予測符号化しないことによって、アクセスポイント以降の再生をスムーズに行うことができる。
【0040】
また、光ディスク等の映像情報記録媒体に、アクセスポイントのピクチャーの表示時間情報と位置情報とデータサイズとを記録しておくことによって、GOP途中のアクセスポイントから迅速な再生を行うことができる。
【0041】
本実施の形態により、1GOPを長時間にすることによる圧縮効率の向上とランダムアクセス性とを両立することが可能となる。
【0042】
実施の形態2.
実施の形態1において、GOP内に存在するアクセスポイントの表示時間情報として、GOPの先頭からの相対的な時間情報である、“P_PTS_AP[IAP_id][PAP_id]”を利用したが、さらにデータサイズの小さい情報を利用して時間情報を取得する方法について説明をする。図6は、新しい“Entry_map()”の構造を示す図である。図16の“Entry_map()”と異なる点は、“P_PTS_AP[IAP_id][PAP_id]”の代わりに、“frame_num[IAP_id][PAP_id]”を利用している点である。“frame_num”はMPEG4−AVCストリームのslice_headerに記述されるパラメーターである。“frame_num”は参照ピクチャーがデコードされる度にインクリメントされる情報であり、4bitから16bitの値をとる。図7はGOP内のピクチャーの参照とfram_numの関係を示す図である。図7に示すように、“frame_num”の値は、参照ピクチャーがデコードされる度に、一ずつインクリメントされる。この時のアクセスポイントの表示順番は、次式によって算出される。
【0043】
Display_order[IAP_id][PAP_id]
=(frame_num[IAP_id][PAP_id]
−frame_num[IAP_id])*M
【0044】
数式中のMはPピクチャーの間隔を示す値で、図7の場合M=3となる。上記数式に従って計算すると、アクセスポイントの表示順番は15枚目と計算することができる。PTSのクロック周波数を90Hz、フレーム周波数を24Hzと仮定すると、フレーム間のPTSの差は90000/24=3750となるため、GOP先頭のピクチャーからの相対的なPTSの値は次式により算出される。
【0045】
P_PTS_AP[IAP_id][PAP_id]
=Display_order[IAP_id][PAP_id]*3750
【0046】
但し、上記2つの式のような計算を可能とするには、エンコード時に次の条件を満たすことが必要である。
1.Bピクチャーは参照ピクチャーとしない。
2.参照ピクチャーのre−orderが発生する参照をしない
3.GOP内の参照ピクチャーと参照ピクチャーの間のBピクチャーの枚数は固定値とする。
以上の条件が満たされていれば、“frame_num”の値からアクセスポイントの表示時間を容易に計算することが可能である。“frame_num”のデータ量は最大16bitであるが、必ずしもすべてのbit数を利用する必要は無い。例えば、GOPの長さを最大5秒、フレーム周波数を30Hz、M=3とすると、GOP中に存在するフレーム数は最大150枚となり、そのうちPピクチャーは50枚とある。よって“frame_num”の下位6bitがあれば、Iピクチャーからの相対的なフレーム数を計算することが可能である。
【0047】
以上、説明したようにエンコード時に所定の条件が満たされている場合、“frame_num”からアクセスポイントとなるPピクチャーの表示時間を容易に計算することができ、PTSを利用した場合に比較して、映像データ以外のデータ量を減らすことが可能である。また、本実施の形態では、“frame_num”からアクセスポイントの表示時間を計算したが、デコード順を表す情報であれば、同様にアクセスポイントの表示時間を計算することができる。
【0048】
実施の形態3.
実施の形態1において、GOP途中のPピクチャーによるアクセスポイントへのアクセス手法について説明したが、符号化の方式を制御することで更に、高画質でアクセス速度も速く再生する方法を本実施の形態では説明する。
【0049】
実施の形態1では、アクセスポイントのPピクチャーの予測に用いるピクチャーはGOP先頭のIピクチャーまたは、アクセスポイントとなっているPピクチャーであった。一般にPピクチャーの符号量を減らすためには、極力時間的に近いピクチャーから予測するほうが、符号量を抑えることができる。よって同じビットレートで符号化した場合、先頭のIピクチャーから予測するよりも、近くのピクチャーから予測したほうが、より高画質に符号化できる。アクセスポイントは0.5秒、1.0秒といった単位で設定されるが、これだけ時間的に離れたピクチャーから予測すると、Pピクチャーの符号量が多くなる可能性が高い。よってGOP途中に、アクセスポイントを設定しないケースと比較して、高画質の点から不利になることが予想される。
【0050】
実施の形態1では、ディスクからの読み出しレートと、符号化のビットレートとが比較的近い場合について説明をしたが、読み出しレートが符号化のレートを大きく上回る場合は、目的のアクセスポイントまでのデータをシーク動作無しに、比較的短い時間で、データの読み出しが可能であるため、次に挙げる条件でエンコードをすることで、比較的近いPピクチャーからアクセスポイントの予測が可能となり、高画質化を図ることが可能である。
1.アクセスポイントとなるピクチャーはIまたはPピクチャーとする。
2.アクセスポイントとなるPピクチャーは、GOP先頭のIピクチャーまたは当該アクセスポイント以前のPピクチャーから予測され、アクセスポイントとなるPピクチャーのデコードに必要なピクチャーの中にBピクチャーが存在しない。
3.アクセスポイントのPピクチャー以降のピクチャーは、アクセスポイント以前のピクチャーから予測したり、参照したりしない。但しGOPの先頭のIピクチャー、またはアクセスポイントとなるPピクチャーを除く。
【0051】
実施の形態1と異なる点は、アクセスポイントとなるPピクチャーがIピクチャーとアクセスポイント間のPピクチャーとの間のPピクチャーから予測され、アクセスポイントのPピクチャーをデコードするのに必要な、過去のピクチャーの中にBピクチャーを含まないようにエンコードされる点である。図8は上記の条件下でエンコードした場合の、GOPの構成を説明するための図である。図8において、アクセスポイントであるP5は、P4より予測され、P4はP3、P3はP2、P2はI1より予測される。即ち、上記の条件でエンコードすることにより、アクセスポイントP5をデコードするには、I1、P2、P3、P4の4枚のピクチャーをデコードするだけでよい。なお、図8において、P1はアクセスポイントとなるP5のデコードに必要なピクチャーではないため、P1に基づいて他のBピクチャーを予測してもよい。
【0052】
実施の形態1でも説明したが、何の制約もなしにエンコードをした場合は、P5以前の18枚のデコードをする必要があり、これに比較すると大幅にデコードするピクチャーの枚数を減らすことができる。
【0053】
ここで、ディスクの読み出し速度を10Mbps、符号化レートを2Mbps、Iピクチャー、Bピクチャー、Pピクチャーの符号化比率を10:6:1、Pピクチャーのデコードに要する時間を20msecと仮定する。I1からP5までのデータ量は約1.5Mbitであり、これを読み出すためには、約150msecが必要である。一方P5までをデコードするために必要な時間は約100msecとなる。この場合は、読み出し時間の方が支配的であるため、150msec後にP5のデコードが開始可能である。この様に、符号化レートが読み出しレートに比べ非常に小さい場合は、上記の条件で符号化することにより、短時間にアクセスポイントからの再生が可能である。仮に符号化レートが実施の形態1と同じ10Mbpsである場合は、データの読み出しに要する時間は5倍の約750secとなるため実用的でない。
【0054】
次に連続して読み出された一連のピクチャーデータの中から、アクセスポイントP5をデコードするのに必要なPピクチャーを選択する方法について、図9、図10又は図11を用いて説明する。図9は再生装置120の構成を示す図であり、図10は各GOP内のアクセス情報が記述される“GOP_access_info”の構造を示す図である。
図9の再生装置120において、図4の再生装置100と異なる点は、バッファメモリー108に蓄積されたデータがデコーダー107に出力される際に、アクセスポイントのデコードに際して、必要なピクチャーであるか否かを示す情報に従ってデコーダー107に出力するピクチャーを選択するピクチャー選択部110を介して行われる点である。
【0055】
ピクチャーの選択はLSIの中で自動的に処理されるため、“GOP_access_info”は、図5の映像ファイル3中において、各アクセスポイントのIピクチャーよりも先頭側に配置する。MPEG4−AVCの場合、SEI(Supplemental Enhancement Information)内のユーザー領域に記述するのが一般的である。SEIは、映像ファイル中に分散して存在する、各アクセスポイントのIピクチャーよりも先頭側に配置された管理情報領域である。
【0056】
図10において、“ref_IAP_id”は、例えば図3に示したEntry_map()中の、アクセスポイントとなっている個々のIピクチャーを特定するための番号が記述されているが、“ref_IAP_id”は特に必要な情報ではない。次の“number_of_P_picture_in_GOP”は、“ref_IAP_id”で特定されるアクセスポイントのIピクチャーからGOP内の最終のアクセスポイントまでのPピクチャーの総数が記述される。次のforループは“number_of_P_picture_in_GOP”の数だけ繰り返されるループである。“frame_num”は実施の形態2で説明したように、この情報からPピクチャーの表示時間情報が計算される。ここでは“frame_num”を用いているが、実施の形態1のようにPTSを使ってよい。“P_SCN_AP”は対象のピクチャーのGOP先頭からの、相対的なセクター数を示す情報である。これを利用して目標となるアクセスポイントであるPピクチャーのデータの所在場所を直接算出し、素早くアクセスすることができる。
“picture_type”には、個々のPピクチャーが、次のアクセスポイントのPピクチャーをデコードするために必要なPピクチャーであるのか、アクセスポイントそのものであるのか、を示す属性情報が記述される。例えばアクセスポイントであるPピクチャーである場合は、“2”、次のアクセスポイントをデコードするのに必要なPピクチャーである場合“1”、いずれでもない場合は“0”が記述される。以上の情報から、GOP内にあるアクセスポイントとなるPピクチャーの表示時間とその位置情報、アクセスポイントのデコードに必要なPピクチャーの表示時間とその位置情報を知ることが可能となる。
【0057】
図11において、“ref_IAP_id”は、例えば図3に示したEntry_map()中の、アクセスポイントとなっている個々のIピクチャーを特定するための番号が記述されている。次の“number_of_PAP”は、“ref_IAP_id”で特定されるアクセスポイントのIピクチャーから次のアクセスポイントのIピクチャー内の、Pピクチャーのアクセスポイントの総数が記述される。次のforループは“number_of_PAP”の数だけ繰り返されるループである。”P_PTS_AP[PAP_id]”及び“P_SCN_AP[PAP_id]”は、実施の形態1と同様に、アクセスポイントとなっているPピクチャーを識別する番号(識別情報)[PAP_id]で特定される表示時間情報と位置情報である。ここで、“P_PTS_AP”はユーザーがタイムサーチを指定した場合にその指定時間と最も近いアクセスポイントのPピクチャーを特定するために必要であるが、“P_SCN_AP”は特に必要ではない情報である。ただし、“P_PTS_AP”の代わりに“P_SCN_AP”を用いてもよいし、両方を併用してもよい。“number_of_P_picture”はアクセスポイントとアクセスポイントの間に存在するPピクチャーの総数が記述される。次のforループは“number_of_P_picture”の数だけ繰り返されるループである。“picture_type”は、個々のPピクチャーが、次のアクセスポイントのPピクチャーをデコードするために必要か否かを示す属性情報が記述される。例えば必要なピクチャーである場合“1”、必要ない場合“0”が記述される。ここで、最後に“[PAP_id][P_id]”が付されているのは、アクセスポイントのPピクチャー[PAP_id]で特定されるか、又はPピクチャー[P_id]で特定される情報のいずれかを意味する。
【0058】
図9において、Entry_map()中の“I_SCN_AP”で記述されたアドレスから読み出されたデータが、バッファメモリー108に一旦蓄積された後、ピクチャー選択部110へ送られる。ピクチャー選択部110では、前記“picture_type”情報に従って、アクセスポイントP5をデコードするのに必要なピクチャーだけを選択して、デコーダー107へ転送する。なお、一般に各ピクチャーの境界は各ピクチャーの先頭にあるヘッダー情報で識別することが可能であるため、各ピクチャーの位置情報を付加する必要はないが、そのようなヘッダー情報が無い場合は“GOP_access_info”中に各ピクチャーの位置情報を付加すればよい。
【0059】
本実施の形態ではピクチャー選択部110はデコーダー107の前に配置するだけでなく、バッファメモリー108の前段に配置して、バッファメモリー108に蓄積する前にデコードに必要なピクチャーのデータを選択しても同様の効果が得られる。
【0060】
次にユーザーにより、時間を指定するタイムサーチが行われた場合の動作について説明する。図12は実施の形態3のEntry_map()を表す図である。図12において、実施の形態1と異なるのは、“number_of_PAP”以下の記述が存在しない点、及びI_SCN_AP[IAP_id]の代わりにSEI_SCN_AP[IAP_id]が配置されている点である。ここで、SEI_SCN_AP[IAP_id]は、アクセスポイントのIピクチャーを識別する番号[IAP_id]で特定されるアクセスポイントのIピクチャーのすぐ前に配置されているSEIについての映像ファイル内での位置情報、またはディスク内での位置情報を意味する情報である。本実施の形態では、アクセスポイントのIピクチャーのすぐ前に配置されているSEIについての、映像ファイルの先頭アドレスからの相対セクター数が記述される。ここではセクター数としてあるが、バイト数等であってもよく、映像ファイルの先頭からの位置、またはディスクの絶対位置が特定できる情報であればよい。
【0061】
実施の形態3においては、前述したように、アクセスポイントとなっているIピクチャーからシーク動作なしでPピクチャーのアクセスポイントのデータ読み出しを行うため、GOP中のPピクチャーのアクセスポイントへ直接シークする必要がない。よってEntry_map()にはIピクチャーのアクセスポイント情報だけがあればよい。また、アクセスポイントとなっているIピクチャーを読み出すために、当該アクセスポイントのIピクチャーから次のアクセスポイントのIピクチャーまでの間の管理情報が記録されているSEIをまず最初に読み出す必要があるため、図12に示したように、Entry_map()には、当該SEIの位置情報であるSEI_SCN_APを記録しておく。
【0062】
ユーザーから再生希望時点又は再生希望映像が指定されると、実施の形態1の場合と同様に、まず、コンテンツデータ領域とは別に記録されている管理領域であるEntry_map()にアクセスして、指定された時間に最も近いアクセスポイントのIピクチャーが特定される。次に、この特定されたIピクチャーのアクセスポイント情報、特に当該SEIの位置情報であるSEI_SCN_APをもとに、このIピクチャーのアクセスポイントに対応する番号“ref_IAP_id”の“GOP_access_info”にアクセスされる。
【0063】
実施の形態1とは異なり、特定されたアクセスポイントのIピクチャーの“I_PTS_AP(k)”で指定されるアドレスから連続的にデータは読み出される。さらに目的の時間に最も近いPピクチャーのアクセスポイントまでの読み出されたデータについては、アクセスポイントをデコードするのに必要なPピクチャーのみがデコードされ、それ以降に読み出されたデータはすべてデコードされ、目的の時間に最も近いPピクチャーのアクセスポイントからの再生が行われる。
【0064】
図10及び図11において、GOP_access_info()が映像ファイル中に存在する場合について説明したが、この情報をナビゲーション情報のEntry_map()中に記述しても、同様の機能を実現することは可能である。但し、ナビゲーション情報はCPU102で解釈することが一般的であるため、Entry_map()中に記述した場合、例えばGOPの先頭へアクセスする度に、CPU102からピクチャー選択部110へ、ピクチャーの選択情報を設定することが必要となる。
【0065】
以上のように、読み出しレートが符号化レートを大きく上回る場合において、ランダムアクセス可能な位置として指定されるアクセスポイントとなるピクチャーをIピクチャー又はPピクチャーとすることによって、MPEG4−AVC等の低ビットレートでの符号化方式においても、アクセスポイントを減少させることなく、適当な間隔でアクセスポイントを指定することが可能となる。
【0066】
また、アクセスポイントとなるピクチャーがPピクチャーである場合、GOP先頭のIピクチャー又は当該Pピクチャーより時間的に前方向に位置するPピクチャーから予測符号化することによって、符号化効率と高画質とを両立することができる。
【0067】
更に、アクセスポイントとなるIピクチャー又はPピクチャーより時間的に後方向のピクチャーを、GOP先頭のIピクチャー及びアクセスポイントとなるピクチャーを除いて、当該アクセスポイントとなるIピクチャー又はPピクチャーより時間的に前方向のピクチャーから予測符号化しないことによって、アクセスポイント以降の再生をスムーズに行うことができる。
【0068】
また、光ディスク等の映像情報記録媒体に、アクセスポイントのピクチャーの表示時間情報を記録しておくことによって、GOP途中のアクセスポイントから迅速な再生を行うことができる。更に、次のアクセスポイントのデコードに必要なピクチャーであるかを示す属性情報を記録しておくことによって、デコードに必要か否かの判断が容易になる。
【0069】
本実施の形態により、1GOPを長時間にすることによる圧縮効率の向上、画質の維持とランダムアクセス性とを両立することが可能となる。
【0070】
実施の形態4.
実施の形態3において、読み出しレートに比べて符号化レートが小さい場合について説明をしたが、符号化レートが読み出しレートに近づいてくると、データの読み出し時間が大きくなり実用的でなくなる。符号化レートを8Mbps、Iピクチャー、Bピクチャー、Pピクチャーの符号化比率を4:2:1、と仮定する。この時、図8のアクセスポイントP5までのデータ量は、約5Mbitとなりデータの読み出しに500msecを要し、符号化レートが小さいときに比較して、読み出しに要する時間が大幅に大きくなる。これを解消するためには、アクセスポイントのPピクチャーのデコードに必要なデータだけを読み出して、不必要なデータの読み出しを行わないことが必要となる。例えば図8のアクセスポイントP5までのデータ量からP5のデコードに必要の無いデータを除いたデータ量は、約2.5Mbitとなり、読み出しの時間を半減することが可能となる。このようにアクセスポイントのデコードに必要なデータのみを読み出すことは、以下の条件でエンコードすることで実現することが可能となる。
1.アクセスポイントとなるピクチャーはIまたはPピクチャーとする。
2.アクセスポイントとなるPピクチャーは、GOP先頭のIピクチャーまたは当該アクセスポイント以前のPピクチャーから予測され、アクセスポイントとなるPピクチャーをデコードに必要なピクチャーの中にBピクチャーが存在しない。
3.アクセスポイントのPピクチャー以降のピクチャーは、アクセスポイント以前のピクチャーから予測したり、参照したりしない。但しGOPの先頭のIピクチャー、またはアクセスポイントとなるPピクチャーを除く。
4.アクセスポイントのPピクチャーを予測符号化するのに使用した、即ち、デコードするために必要なPピクチャーを、IピクチャーまたはアクセスポイントのPピクチャーの直後に連続して配置する。
【0071】
実施の形態1と異なる点は、上記のうち2番目の条件においてアクセスポイントがアクセスポイント以外のPピクチャーからも予測することができる点と、新たに4番目の条件が加わった点である。実施の形態1では、シークに時間を要するため、Iピクチャー又はアクセスポイントのPピクチャーから予測していたが、上記4番目の条件のようにアクセスポイントをデコードするために必要なPピクチャーを連続して配置することで、より近くのPピクチャーから予測することが可能となり、アクセスポイントのPピクチャーの符号量を下げることができる。
【0072】
なお、MPEG4−AVCでは、デコーダーへはデコードされるべき順番に入力することが定められているが、記録時には、自由にピクチャーの配列を構成することが可能である。本実施の形態では、ランダムアクセスに適した、新しいGOPの構造を提案することで、上記の矛盾を解決するものである。図13は表示順(再生順)に並んだピクチャーの配列(上段)とランダムアクセス用に並び替えた記録時の配列(下段)との関係を示す図である。
【0073】
図13において、アクセスポイントAPの位置にあるP4はP3から予測して符号化される。P3はP1より、P1はI1より予測して符号化される。よってP4をデコードするには、I1、P1、P3がデコードできればよいので、I1の後にP1、P3を配列する。この時P4のデコードに必要のないP2は、この配列に入れる必要はない。P3以降は、デコードされる順に配列する。言い換えると、デコードされる順番に配列したものから、アクセスポイントAPの位置にあるP4のデコードに必要なPピクチャーを抜き出して、抜き出されたPピクチャーをIピクチャーの直後に配列させ、残りのピクチャーは、ぬけたPピクチャーの分を前詰めにして、配列をすることに等しい。
【0074】
上記のように、デコード順に配列されていない場合は、デコーダーに送る前に、デコード順に並び替える必要がある。図14は並び替えを行うために必要な情報であるGOP_structure()の構造を示す図である。GOP_structure()はナビゲーションデータ1(図5)を構成する情報の一部である。本実施の形態では一つの動画ファイルに一つのGOP_structure()が存在する場合について説明をする。
“number_of_GOP”は動画ファイル中に存在するGOPの総数が記述される。次のforループは、GOPの数だけ繰り返されるループである。“GOP_PTS[GOP_id]”は、GOP先頭のピクチャーの再生タイミング情報であるPresentation Timeである。ここで、[GOP_id]は、個々のGOPを特定する番号である[GOP_id]の情報であることを意味し、以下同様であるため省略する。
“number_of_picture”には、GOP内に含まれるピクチャーの総数が記述される。次のforループは“number_of_picture”の数だけ繰り返されるループである。“decode_order[GOP_id][picture_id]”は、GOP内でのピクチャーのデコードされる順番が記述される。ここで、[GOP_id][picture_id]は、[GOP_id]で特定されるGOPのなかの、個々のピクチャーを特定する番号である[picture_id]の情報であることを意味し、以下同様であるため省略する。CPU102はこのピクチャーをデコードする順番の情報を元に、読み出されたデータをバッファメモリー108内で並び替え、デコード順にデコーダー107へ転送する。なお、本実施の形態ではGOP_structure()が図5のナビゲーションデータ1内にある場合について説明をしたが、必ずしもナビゲーションデータ1として扱う必要はない。例えば、各GOPの先頭(映像データよりも先頭側)に制御情報を記録する領域を確保し、そこに記述してもよいし、また、MPEG4−AVCの場合、SEI(Supplemental Enhancement Information)内のユーザー領域に記述しても同様の効果が得られる。この場合、“number_of_GOP”は必要ないため、“number_of_GOP”のループ内に記述された情報だけでよい。
【0075】
次にユーザーにより、時間を指定するタイムサーチが行われた場合の動作について説明する。図15はEntry_map()と各ピクチャーの配列との関係を表す図である。
ユーザーから再生希望時点又は再生希望映像が指定されると、実施の形態1の場合と同様に、指定された時間に最も近い“I_PTS_AP(k)”で指定されるアドレスからデータの読み出しが開始される。ここ読み出されるデータ量は、“Size_of_IAP”に記述されているセクター数であるが、実施の形態1ではIピクチャーの総セクター数が記述されているのに対して、実施の形態4では、当該Iピクチャーのアクセスポイントの次のアクセスポイントAPのデコードに必要なピクチャーのデータサイズ、即ち、P4をデコードするのに必要なピクチャーのデータサイズが記述されている点が異なる。図15においては、I1のセクター数にI1に続くP1、P2、P3の総セクター数を加算した値である。“Size_of_PAP”もまた同様であり、アクセスポイントAPの位置にあるP4の次のアクセスポイント(図示せず)のデコードに必要なピクチャーのデータサイズ、ここでは、P4、P5、P6、P7の総セクター数を加算した値が記述される。動作については実施の形態1と同様なので説明を省略する。
【0076】
以上、説明したように、ランダムアクセス可能な位置として指定されるアクセスポイントとなるピクチャーをIピクチャー又はPピクチャーとすることによって、MPEG4−AVC等の低ビットレートでの符号化方式においても、アクセスポイントを減少させることなく、適当な間隔でアクセスポイントを指定することが可能となる。
【0077】
また、アクセスポイントとなるピクチャーがPピクチャーである場合、GOP先頭のIピクチャー又は当該Pピクチャーより時間的に前方向に位置するPピクチャーから予測符号化することによって、符号化効率と高画質とを両立することができる。
【0078】
更に、アクセスポイントとなるIピクチャー又はPピクチャーより時間的に後方向のピクチャーを、GOP先頭のIピクチャー及びアクセスポイントとなるピクチャーを除いて、当該アクセスポイントとなるIピクチャー又はPピクチャーより時間的に前方向のピクチャーから予測符号化しないことによって、アクセスポイント以降の再生をスムーズに行うことができる。
【0079】
アクセスポイントとなるピクチャーがPピクチャーである場合、当該Pピクチャーを予測符号化するために使用した、即ち、デコードに必要なIピクチャー及び/又はPピクチャーを固めて配置するようにピクチャーの配列を入れ替えることによって、GOP途中のアクセスポイントまでのアクセス時間を短縮することができる。
【0080】
また、光ディスク等の映像情報記録媒体に、アクセスポイントのピクチャーの表示時間情報と位置情報とデータサイズとを記録しておくことによって、GOP途中のアクセスポイントから迅速な再生を行うことができる。
【0081】
更に、各GOP(映像単位)ごとにピクチャーをデコードする順番を記録することによって、デコード時にピクチャーの並び替えを行う場合スムーズに行える。
【0082】
本実施の形態により、1GOPを長時間にすることによる圧縮効率の向上、画質の維持とランダムアクセス性とを両立することが可能となる。
【0083】
実施の形態5.
長時間のGOPを設定することは、これまで説明したランダムアクセスによる再生だけでなく、早送り再生等の特殊再生においても大きな影響を与える。MPEG4−AVC方式において長時間のGOPを設定した場合、Iピクチャーの間隔が数秒間に広がってしまうため、Iピクチャーのみを再生するような早送り再生時の再生品位が大きく低下する問題がある。本実施の形態では、実施の形態4にさらに改良を加え、品位の良い早送り再生を実現する方法について説明をする。以下、実施の形態4と異なる点のみ説明し、同様の点については特に説明を行わない。
【0084】
一般に、なめらかな早送り再生を実現するのは、Iピクチャーだけでなく、GOPの途中にあるPピクチャーも再生することが要求される。例えばDVDの場合、GOPの先頭から3枚目までのPピクチャーの位置情報がナビゲーションデータの中に記述されており、早送り再生時にはこれを利用してスムーズな早送り再生を実現している。DVDの場合は、1GOPは一般に0.5秒に設定されており、1GOP内のPピクチャーは4枚程度である。よって、GOP先頭から3枚分のPピクチャーの位置情報を用いてこれらのみPピクチャーを再生する場合、ほぼGOP内のPピクチャーが網羅されることになるため、スムーズな早送り再生が可能である。しかし、数秒間を超えるGOPを設定した場合、GOP内のPピクチャーの枚数自体が増えるため、先頭から3枚程度のPピクチャーについてのみ位置情報に基づいて再生したとしても、スムーズな早送り再生は困難である。また仮にすべてのPピクチャーの位置情報が解ったとしても、前にも説明したように、光ディスクのシーク速度が遅いため、すべてのPピクチャーを読み出すことは、現実的でない。
実施の形態4では、ランダムアクセスを実現するために、アクセスポイントのピクチャー直後に、次のアクセスポイントのデコードに必要なPピクチャーを配列した。アクセスポイントのデコードに必要なPピクチャーが、早送り再生に必要なPピクチャーと完全に一致する訳ではないため、この配列のままではスムーズに早送り再生は実現できないが、早送りに必要なPピクチャーもこの配列の中に入れ込むことで、繰り返しシーク動作をすることなく、GOP内のPピクチャーを読み出すことができることがわかる。
【0085】
本実施の形態における、ランダムアクセスと早送り再生を両立する、エンコード時の制約条件は以下のようになる。
1.アクセスポイントとなるピクチャー、早送りに利用するピクチャーは、IピクチャーまたはPピクチャーとする。
2.アクセスポイントとなるPピクチャー、早送りに利用するPピクチャーは、GOP先頭のIピクチャーまたはPピクチャーから予測され、アクセスポイントとなるPピクチャーをデコードに必要なピクチャーの中にBピクチャーが存在しない。
3.アクセスポイントのPピクチャー以降のピクチャーは、アクセスポイント以前のピクチャーから予測したり、参照したりしない。但しGOPの先頭のIピクチャー、またはアクセスポイントとなるPピクチャーを除く。
4.アクセスポイントをデコードするために必要なPピクチャーと早送り時に表示するピクチャーを、IピクチャーまたはアクセスポイントのPピクチャーの直後に連続して配置する。
【0086】
図16を用いて、実施の形態4に改良を加え、品位のよい早送り再生を実現するデータの配列方法、および再生方法について説明する。図16は、表示順に並んだピクチャーの配列(上段)とランダムアクセス及び早送り再生用に並び替えた記録時の配列(下段)との関係を示す図である。アクセスポイントAPであるP5をデコードするために必要なPピクチャーを、P1、P3とし、早送り再生時にデコードすべきPピクチャーをP1、P4とする。このような場合、デコード順の配列は、下段に示すように、I1の直後に、P1、P3、P4を連続して配列する。どちらにも利用されないP2のようなPピクチャーは、この配列には加えない。アクセスポイントAPにアクセスをする場合は、I1、P1、P3をデコードし、早送り再生時には、I1、P1、P4をデコードする。このように、目的に応じてデコードするPピクチャーを選択する必要があるため、上記実施の形態で説明したEntry_map()に、改良を加える必要性がある。図17は、ランダムアクセスと早送り再生とに対応したインデックス情報の構造図である。
【0087】
図17において、斜体で書かれた部分が、上記の実施の形態のEntry_map()と異なる部分であり、異なる部分についてのみ説明する。図17において、number_of_P_pictureはランダムアクセスと早送りに必要なすべてのPピクチャーの枚数が記述される。次のforループはnumber_of_P_pictureの数だけ繰り返されるループである。“attribute”は、例えばピクチャーがトリックプレイに使われる場合、“01”、ランダムアクセスに使われる場合は“10”、両方に使われるのであれば“11”といった具合に、ピクチャーの属性情報、即ちランダムアクセスと早送りのいずれか又は両方に使用されるか否かを示すフラグである。例えば、図16の場合、P1、P3、P4はそれぞれ、“11”、“10”、“01”と記述されることになる。このようにピクチャーそれぞれに、トリックプレイ、ランダムアクセスに必要か否かの情報を付加することで、ランダムアクセス、早送り再生それぞれに必要なPピクチャーを判別することが可能となる。なお、図17において、“attribute”の後の[IAP_id][P_id]、[IAP_id][PAP_id][P_id]はそれぞれ、[IAP_id]で特定されるIピクチャーのアクセスポイントから次のIピクチャーのアクセスポイントまでの中の[P_id]で特定されるPピクチャーの情報、及び、[IAP_id]で特定されるIピクチャーのアクセスポイントから次のIピクチャーのアクセスポイントまでにおける、[PAP_id]で特定されるPピクチャーのアクセスポイントから次のPピクチャーのアクセスポイントまでの中の[P_id]で特定されるPピクチャーの情報を意味する。
【0088】
また、Size_of_IAP、Size_of_PAPの値は、実施の形態4では、ランダムアクセスに必要な総セクター数、即ち、当該アクセスポイントの次のアクセスポイントのデコードに必要なピクチャーのデータサイズを記述していたが、本実施の形態では、当該アクセスポイントの次のアクセスポイントのデコードに必要なピクチャーと早送り再生に必要なピクチャーとの合計のデータサイズ(総セクター数)となる点が異なる。
【0089】
早送り再生がユーザーにより指示されると、次のGOPの先頭から早送り再生動作に移行する。“Size_of_IAP”のデータを読み出す所までの動作はランダムアクセスと全く同様である。ここで読み出されたピクチャーは、次のアクセスポイントからのデコードのため、すべてデコードされるが、実際に再生されるのは“attribute”で早送り再生用に指定されたピクチャーのみである。“Size_of_IAP”で指定されたデータの読み出しが完了すると、シーク動作を行い、次のPピクチャーのアクセスポイントから“Size_of_PAP”で指定されたデータを読み出す。以下、ユーザーから早送り再生の中止が出されるまで、同じ動作が繰り返される。以上の動作により、スムーズな早送り再生が実現される。ランダムアクセス時の動作は、“Size_of_IAP”、“Size_of_PAP”で指定されたデータサイズについて読み出されたピクチャーの中から、上記“attribute”に従い次のアクセスポイントのデコードに必要なピクチャーを選択する点が異なるだけで、その他の動作は全く同じであるため、説明は省略する。なお、デコードされたピクチャーのなかから図4のデコーダー107において“attribute”に従ってピクチャーを選択して再生される場合について説明したが、デコーダー107へ送信する前に、実施の形態3に示したピクチャー選択部110により選択した後でデコーダー107へ送信してもよい。
【0090】
本実施の形態においては、実施の形態4にさらに改良を加えて良好な早送り再生を実現する方法について説明したが、ピクチャーの順序を並びかえる必要のない実施の形態3において、ランダムアクセスと早送りのいずれか又は両方に使用されるか否かを示すフラグ“attribute”を、実施の形態3において示した“picture_type”の代わりに追加することにより、実施の形態3においても早送り再生を実現することができる。
【0091】
以上、説明したように、ランダムアクセス可能な位置として指定されるアクセスポイントとなるピクチャー、及び早送り等の特殊再生に必要なピクチャーをIピクチャー又はPピクチャーとすることによって、MPEG4−AVC等の低ビットレートでの符号化方式においても、アクセスポイントを適当な間隔で指定するとともに、スムーズな特殊再生が可能となる。
【0092】
また、アクセスポイントとなるピクチャー、及び特殊再生に必要なピクチャーがPピクチャーである場合、GOP先頭のIピクチャー又は当該Pピクチャーより時間的に前方向に位置するPピクチャーから予測符号化することによって、符号化効率と高画質とを両立することができる。
【0093】
更に、アクセスポイントとなるIピクチャー又はPピクチャーより時間的に後方向のピクチャーを、GOP先頭のIピクチャー及びアクセスポイントとなるピクチャーを除いて、当該アクセスポイントとなるIピクチャー又はPピクチャーより時間的に前方向のピクチャーから予測符号化しないことによって、アクセスポイント以降の再生をスムーズに行うことができる。
【0094】
アクセスポイントとなるピクチャー又は前記特殊再生に必要なピクチャーのいずれか又は両方がPピクチャーである場合、当該Pピクチャーを予測符号化するために使用した、即ち、デコードに必要なIピクチャー及び/又はPピクチャーを固めて配置するようにピクチャーの配列を入れ替えることによって、GOP途中のアクセスポイントまでのアクセス時間を短縮することができる。
【0095】
また、光ディスク等の映像情報記録媒体に、アクセスポイントのピクチャーの表示時間情報と位置情報とデータサイズとを記録しておくことによって、GOP途中のアクセスポイントから迅速な再生を行うことができる。
【0096】
更に、次のアクセスポイントのデコードに必要なピクチャーであるか、若しくは早送り再生等の特殊再生に必要なピクチャーであるか、又はその両方に必要なピクチャーであるかを示す属性情報を記録することによって、ランダムアクセスと特殊再生のいずれに使用されるPピクチャーであるかを容易に判別することができ、デコード時にピクチャーの並び替えを行う場合スムーズに行える。
【0097】
また、実施の形態4で示したように、各GOP(映像単位)ごとにピクチャーをデコードする順番とを記録しておけば、デコード時にピクチャーの並び替えを行う場合スムーズに行える。
【0098】
本実施の形態により、1GOPを長時間にすることによる圧縮効率の向上、画質の維持、ランダムアクセス性及びスムーズな特殊再生を両立することが可能となる。
【0099】
以下に、本発明の特徴を要約する。
(1) フレーム内符号化画像であるIピクチャー、1枚のフレームから予測されるブロックの集合体の予測符号化画像であるPピクチャー及び2枚のフレームから予測されるブロックの集合体の予測符号化画像であるBピクチャーからなる映像単位により構成される映像データが記録され、ランダムアクセス可能な映像情報記録媒体であって、
前記ランダムアクセス可能な位置として指定されるアクセスポイントとなるピクチャーのデコード順を示す情報と、
ピクチャーが当該アクセスポイントの次のアクセスポイントのデコードに必要なピクチャーであるか、アクセスポイントとなるピクチャーであるかを示す属性情報とが配置されることを特徴とする映像情報記録媒体。
(2) 前記アクセスポイントとなるピクチャーは、前記Iピクチャー又は前記Pピクチャーであることを特徴とする上記第(1)項記載の映像情報記録媒体。
(3) フレーム内符号化画像であるIピクチャー、1枚のフレームから予測されるブロックの集合体の予測符号化画像であるPピクチャー及び2枚のフレームから予測されるブロックの集合体の予測符号化画像であるBピクチャーからなる映像単位により構成される映像データを記録し、
ランダムアクセス可能な位置として指定されるアクセスポイントのピクチャーのデコード順を示す情報と、
ピクチャーが当該アクセスポイントの次のアクセスポイントのデコードに必要なピクチャーであるか、アクセスポイントとなるピクチャーであるかを示す属性情報とが配置されることを特徴とする映像情報記録方法。
(4) 前記アクセスポイントとなるピクチャーは、前記Iピクチャー又は前記Pピクチャーであることを特徴とする上記第(3)項記載の映像情報記録方法。
(5) 上記第(1)項に記載の映像情報記録媒体に記録されてなる映像データを再生する情報再生装置であって、
前記映像情報記録媒体から前記デコード順を示す情報と前記属性情報とを取得する手段と、
前記取得された表示時間情報に基づいて、ユーザの再生指定位置に最も近いアクセスポイントを特定し、前記ピクチャーを取得する手段と、
前記属性情報に基づいて、前記取得したピクチャーから再生すべきピクチャーを選択して前記アクセスポイントとなるピクチャーからの再生を行う手段とを備えることを特徴とする映像情報再生装置。
(6) 上記第(1)項に記載の映像情報記録媒体に記録されてなる映像データを再生する情報再生方法であって、
前記映像情報記録媒体から前記表示時間情報と前記属性情報とを取得し、
前記取得されたデコード順を示す情報に基づいて、ユーザの再生指定位置に最も近いアクセスポイントを特定し、前記ピクチャーを取得し、
前記属性情報に基づいて、前記取得したピクチャーから再生すべきピクチャーを選択して前記アクセスポイントとなるピクチャーからの再生を行うことを特徴とする映像情報再生方法。
【符号の説明】
【0100】
AP,AP1,AP2 アクセスポイント、 1 ナビゲーションデータ、 2 映像データ、 3 映像ファイル、 4 GOP(k)、 100,120 再生装置、 101 ユーザーインターフェース(I/F)部、 102 CPU、 103 ドライブ、 104 ドライブ制御部、 105 ワークメモリー、 106 システムバス、 107 デコーダー、 108 バッファメモリー、 109 表示装置、 110 ピクチャー選択部。

【特許請求の範囲】
【請求項1】
フレーム内符号化画像であるIピクチャー、1枚のピクチャーから予測されるブロックの集合体の予測符号化画像であるPピクチャー、及び2枚のピクチャーから予測されるブロックの集合体の予測符号化画像であるBピクチャーからなる映像情報単位により構成される映像データが記録された記録媒体において、
前記映像情報単位は、ランダムアクセス可能なアクセスポイントとして予測に用いられるPピクチャーであって、当該Pピクチャーが属する前記映像情報単位の先頭のIピクチャー、またはBピクチャーを用いずに予測された以前のPピクチャーに基づいて符号化されたアクセスポイントPピクチャーと、
前記アクセスポイントPピクチャーの後続のピクチャーであって、直前の前記アクセスポイントPピクチャー、あるいは当該アクセスポイントPピクチャーから予測されたPピクチャーまたはBピクチャーに基づいて予測され、直前の前記アクセスポイントPピクチャー以前のピクチャーについては予測に用いないPピクチャーおよびBピクチャーを含んで構成されるものであり、
前記記録媒体を再生する再生装置において、任意の指定位置から再生を行う際、当該指定位置に対応するピクチャーを含む前記映像情報単位にアクセスするために参照される情報であって、アクセスポイントとなる前記Iピクチャーの位置情報を含むエントリーポイントマップが前記映像データの再生を制御するためのナビゲーション情報として記録され、
前記再生装置において、前記指定位置に対応するピクチャーをデコードするために参照される情報であって、前記映像情報単位を構成する各々のピクチャーが、前記アクセスポイントPピクチャーであるか、前記アクセスポイントPピクチャーをデコードするために必要なPピクチャーであるかを示す属性情報が前記映像情報単位毎に記録されたことを特徴とする記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2011−160437(P2011−160437A)
【公開日】平成23年8月18日(2011.8.18)
【国際特許分類】
【出願番号】特願2011−41628(P2011−41628)
【出願日】平成23年2月28日(2011.2.28)
【分割の表示】特願2010−94959(P2010−94959)の分割
【原出願日】平成17年6月21日(2005.6.21)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】