ビデオ信号多重化装置、ビデオ信号多重化方法及び映像再生装置
【課題】
映像情報のフレームにスキップやリピートが発生しても映像情報と付加情報の同期を取ることのできるビデオ信号多重化装置を提供すること。
【解決手段】
本発明におけるビデオ信号多重化装置は、付加情報を含むビデオ信号を入力し、符号化処理した後、多重化するビデオ信号多重化装置であって、映像情報と付加情報を分離する分離部と、付加情報を格納する付加情報記憶部と、映像情報を符号化する符号化部と、映像情報と前記付加情報とが非同期状態にある場合に、映像情報のデータ量に基づいて付加情報記憶部に格納された付加情報のデータ量を映像情報と付加情報とが同期状態になるように調整する制御部と、符号化データとデータ量が制御された付加情報を多重化する多重化部を備える。このような構成により、映像情報にスキップやリピートが発生しても、同期状態になるように調整されるため同期を取ることが可能となる。
映像情報のフレームにスキップやリピートが発生しても映像情報と付加情報の同期を取ることのできるビデオ信号多重化装置を提供すること。
【解決手段】
本発明におけるビデオ信号多重化装置は、付加情報を含むビデオ信号を入力し、符号化処理した後、多重化するビデオ信号多重化装置であって、映像情報と付加情報を分離する分離部と、付加情報を格納する付加情報記憶部と、映像情報を符号化する符号化部と、映像情報と前記付加情報とが非同期状態にある場合に、映像情報のデータ量に基づいて付加情報記憶部に格納された付加情報のデータ量を映像情報と付加情報とが同期状態になるように調整する制御部と、符号化データとデータ量が制御された付加情報を多重化する多重化部を備える。このような構成により、映像情報にスキップやリピートが発生しても、同期状態になるように調整されるため同期を取ることが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号多重化装置、ビデオ信号多重化方法及び映像再生装置に関するものであり、より詳細には、ビデオ信号に含まれる映像情報を符号化し、重畳された付加情報との多重化を行うビデオ信号多重化装置、ビデオ信号多重化方法及び映像再生装置に関する。
【背景技術】
【０００２】
近年、動画像をデジタル信号化しデジタルデータとして記録及び転送する技術が注目されている。そのため、動画像を符号化するＭＰＥＧ（Moving Pictures Expert Group）等の技術が重要となってきている。動画像は画面に表示する映像情報のみならず、声や効果音、音楽などの音声情報も合わせて符号化が行われる。更には、映像情報とは別に字幕などの付加情報も符号化され、動画像再生時に映像情報とともに付加情報から字幕などを表示する多重化の技術も数多く提案されている（例えば、特許文献１など）。
【０００３】
映像情報と付加情報を多重化する従来技術について簡単に説明する。図１は、従来技術におけるビデオ信号多重化装置の構成の一例を示す図である。図１に示すビデオ信号多重化装置２００は、分離部２０１、符号化部２０２、符号化データ記憶部２０３、付加情報記憶部２０４、多重化部２０５を備えている。
【０００４】
分離部２０１は、ビデオ信号を入力し、入力したビデオ信号から映像情報と付加情報を分離する。ここで、映像情報とは、入力したビデオ信号のうち画面に表示される映像の情報をいう。また、付加情報は映像情報以外の情報をいうが、付加情報は字幕などの情報を含むため、多重化後に付加情報が画面に表示されることはありうる。映像情報と付加情報はフィールド毎に入力される。フィールドはフレームを構成する単位である。
【０００５】
分離部２０１はビデオ信号を分離し、映像情報は符号化部２０２へ、付加情報は付加情報記憶部２０４へ出力する。符号化部２０２は、分離部２０１から入力した映像情報の符号化を行う。符号化部２０２により符号化した符号化データは、符号化データ記憶部２０３へ出力され、符号化データ記憶部２０３に格納される。符号化データは、フィールドあるいはフレーム毎に生成され、記録される。
【０００６】
多重化部２０５は、符号化データ記憶部２０３に格納された符号化データと付加情報記憶部２０４に格納された付加情報を入力し、ＧＯＰ（Group Of Pictures）といわれる単位毎に多重化を行う。図２は、従来技術における多重化時のデータの流れを示す図である。図２に示す付加情報１０は、付加情報記憶部２０４に格納された付加情報である。映像情報フレームデータ２０は、符号化データ記憶部２０３に格納された符号化データである。映像情報フレームデータ２０は、フレーム単位毎に多重化部２０５に出力される。多重化部２０５は、符号化データ記憶部２０３から入力した符号化データを、ＧＯＰを構成するフレーム数に相当する数だけ入力する。また、多重化部２０５は、付加情報記憶部２０４から、付加情報１０を、同様にＧＯＰを構成するフレーム数に該当する数だけ入力する。入力した付加情報は、ＧＯＰのヘッダ部分に該当するＧＯＰレーヤ３１のユーザー・データ領域３１１に全て格納される。
【０００７】
多重化部２０５は、付加情報記憶部２０４から入力した付加情報などからＧＯＰレーヤ３１を生成し、符号化データ記憶部２０３から入力した符号化データと共にＧＯＰ毎のストリームデータであるＧＯＰデータ３０を生成する。これで多重化の完成となる。再生時は、符号化データを復号化映像情報を生成し再生すると共に、ＧＯＰレーヤ３１のユーザー・データ領域３１１から付加情報を取得し、字幕情報として表示などを行う。
【０００８】
このようにして、ビデオ信号の多重化が行われる。しかしながらこの方法は、入力するビデオ信号と生成する多重化データの同期がとれている場合は問題ないが、非同期の場合に問題が生じる。例えば、映画などの秒間２４フレームの映像をＴＶ等の秒間３０フレームの映像として符号化を行う場合やその逆を行う場合、同期信号の時間軸がそれぞれ異なっているため、画面が垂直方向に流れてしまう。これを流れないようにするため同期信号の位相を合わせる必要がある。このとき、従来技術のように付加情報と映像情報を分離し、映像情報について位相を合わせるなどの処理を行うと、付加情報についてはフレーム数の変化が反映されず、多重化時にずれが生じてしまう。さらに、アナログ地上波やテープ走行などによって発生する画面のずれジッター時間軸の変動等から不安定になりがちなアナログ信号をフレーム間にて信号補正したり、ダビングを繰り返したテープなどが入力ソースであったりした場合など、付加情報が正常に記録できない場合がある。
【０００９】
また、分離前にタイムベースコレクタ等により時間軸補正を行うと同期を取ることはできるが、補正したビデオ信号の付加情報の妥当性を問わずに、入力したビデオ信号が付加情報を含んだままスキップやリピートの処理を行ってしまう。このため、付加情報についてもスキップによるデータの欠落やリピートによるデータの重複が発生し、そのまま多重化してしまうとデータの整合性が取れない。
【００１０】
また、ＭＰＥＧなどの規格により符号化を行う場合、ＧＯＰを構成する映像のフレーム数が変化する状況下でユーザー・データ領域の容量を考慮する必要が生じるが、映像情報と付加情報が別経路で処理されてしまうため、映像情報と付加情報の同期を取ることが不可能であった。従って、従来の方法では、ＧＯＰを構成する映像のフレーム数が変化した場合に多重化できないという問題点もあった。
【特許文献１】特開２００１−２４９８３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
このように、従来の技術では、ビデオ信号の多重化を行う場合に映像情報と付加情報を同期させることが困難という問題点があった。また、ＧＯＰを構成するフレーム数が変化した場合に多重化できないという問題点もあった。
【課題を解決するための手段】
【００１２】
本発明におけるビデオ信号多重化装置は、映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化装置であって、前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離する分離部と、前記分離部より分離された付加情報を格納する付加情報記憶部と、前記分離部により分離された映像情報を符号化する符号化部と、前記映像情報と前記付加情報とが非同期状態にある場合に、前記映像情報のデータ量に基づいて前記付加情報記憶部に格納された付加情報のデータ量を前記映像情報と前記付加情報とが同期状態になるように調整する制御部と、前記符号化部により生成した符号化データと前記制御部によりデータ量が制御された付加情報を多重化する多重化部を備えたビデオ信号多重化装置である。このような構成にすることにより、映像情報にスキップやリピートが発生しても、制御部により同期状態になるように調整されるため、映像情報と付加情報の同期を取ることが可能となる。
【００１３】
本発明におけるビデオ信号多重化装置は、映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化装置であって、前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離する分離部と、前記分離部により分離された映像情報を入力し、前記映像情報の時間軸補正を行う時間軸補正部と、前記時間軸補正部により時間軸補正の行われた映像情報を符号化する符号化部と、前記符号化部により符号化された符号化データを格納する符号化データ格納部と、前記分離部より分離された付加情報を格納する付加情報記憶部と、前記符号化データ格納部に格納された符号化データと前記付加情報記憶部に格納された付加情報を多重化する多重化部を備えたビデオ信号多重化装置である。このような構成にすることにより、付加情報を先に分離し取り出しているため、時間軸補正を行っても付加情報が取得できなくなる危険を回避することが可能となる。
【００１４】
本発明におけるビデオ信号多重化方法は、映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化方法であって、前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離し、分離された映像情報を符号化し、前記映像情報と前記付加情報とが非同期状態にある場合に、前記映像情報のデータ量に基づいて前記付加情報のデータ量を前記映像情報と前記付加情報とが同期状態になるように調整し、前記符号化部により生成した符号化データと前記制御部によりデータ量が制御された付加情報を多重化するビデオ信号多重化方法である。このようにすることにより、映像情報にスキップやリピートが発生しても、制御部により同期状態になるように調整されるため、映像情報と付加情報の同期を取ることが可能となる。
【００１５】
本発明におけるビデオ信号多重化方法は、映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化方法であって、前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離し、分離された映像情報を入力し、入力した前記映像情報の時間軸補正を行い、前記時間軸補正部により時間軸補正の行われた映像情報を符号化し、生成した符号化データと分離された付加情報を多重化するビデオ信号多重化方法である。このようにすることにより、付加情報を先に分離し取り出しているため、時間軸補正を行っても付加情報が取得できなくなる危険を回避することが可能となる。
【発明の効果】
【００１６】
本発明によれば、映像情報のフレームにスキップやリピートが発生しても映像情報と付加情報の同期を取ることのできるビデオ信号多重化装置及びビデオ信号多重化方法を提供することが可能となる。
【発明を実施するための最良の形態】
【００１７】
図３は、本発明の実施の形態におけるビデオ信号多重化装置の構成を示すブロック図である。ビデオ信号多重化装置１００は、分離部１０１、時間軸補正部１０２、符号化部１０３、符号化データ記憶部１０４、制御部１０５、付加情報記憶部１０６、多重化部１０７を備える。
【００１８】
分離部１０１は、ビデオ信号を入力し、入力したビデオ信号から映像情報と付加情報を分離するスライサである。日本や米国で一般的なビデオ信号であるＮＴＳＣ方式のビデオ信号の場合、インターレース方式により、１フレームの映像を構成する５２５本の走査線を２つのフィールドに分けて２６２本半毎に走査を行っている。この２６２本半の走査線のうち第２２番から第２６２番までが実際の映像の送信に利用されている。本例では、この部分の情報が映像情報に相当する。それよりも前の第１番から第２１番までの走査線による走査期間は、垂直帰線消去期間となっている。このうち第２１番目の走査線に、字幕情報などの情報を記録し、送信することが可能である。本例ではこの情報が付加情報に相当する。本例での付加情報は第２１番目の走査線に記録する情報のためライン２１データと呼ばれる。分離された映像情報は時間軸補正部１０２へ、付加情報は付加情報記憶部１０６へ、それぞれ分離部１０１から出力される。
【００１９】
図９は、第２１番目の走査線の信号波形を示す図である。この信号波形は、水平同期信号（Hsync）、バースト（Color Burst）、クロックランイン（Clock Run-In）、開始ビット（Start Bits）、文字１データ（Character One）、文字２データ（Character Two）で構成されており、データとして、文字１と文字２の２種類の文字データが格納可能である。それぞれの文字データは７ビット＋パリティビット１ビットの８ビットで構成される。この、データビットに格納されたデータが文字情報などのライン２１データとして利用される。なお、ここでは文字情報を例に挙げたが、データとして格納できるのは文字情報とは限らず、所定のビット数で表現できるデータであれば内容は限定されない。
【００２０】
時間軸補正部１０２は、分離部１０１より入力した映像情報の時間軸補正を行う。時間軸補正部１０２は、従来のタイムベースコレクタやフレームシンクロナイザをそのまま利用することが可能である。時間軸補正が行われた映像情報は、符号化部１０３へ出力される。時間軸補正部１０２による時間軸補正は、分離部１０１より分離する前に行うことも可能であるが、先に時間軸補正を行った場合は、本来クロックランインに同期してサンプリングを行っていたライン２１データが、時間軸補正により信号データの入力に対して同期が取れなくなるため正しい位置でサンプリングされずにデータビットに格納されたデータが取り出せなくなってしまう。その結果、付加情報が破壊されてしまい、分離部１０１により正確に付加情報の分離が行われなくなる危険がある。そのため、本発明では、時間軸補正部１０２による時間軸の補正は、分離部１０１より分離した映像情報に対して行う。
【００２１】
符号化部１０３は、時間軸補正部１０２により時間軸補正の行われた映像情報の符号化を行う。ここで行われる符号化の方法自体は従来技術と同様である。符号化部１０３は、映像情報の符号化を行い、生成した符号化データを符号化データ記憶部１０４へ出力する。符号化部１０３は、同時に符号化データについてのフレーム数等の符号化データ情報を制御部１０５へ出力する。
【００２２】
符号化データ記憶部１０４は、符号化部１０３により生成された符号化データを入力し格納するストリームバッファである。符号化データ記憶部１０４は、メモリやハードディスク等の読み書きが可能な記憶媒体が用いられる。符号化データ記憶部１０４に格納された符号化データは多重化部１０７に出力され、多重化部１０７により多重化が行われる。
【００２３】
制御部１０５は、符号化部１０３より入力した符号化データ情報に基づいて、付加情報記憶部１０６に格納された付加情報のデータの制御を行う。この付加情報のデータの制御は、多重化部１０７により符号化データと付加情報の多重化が行われる際に、同期を取る目的で行われる。具体的な方法については後に詳しく説明する。
【００２４】
付加情報記憶部１０６は、分離部１０１より分離された付加情報を入力し格納する。付加情報記憶部１０６は、メモリやハードディスク等の読み書きが可能な記憶媒体が用いられる。付加情報記憶部１０６は、符号化データ記憶部１０４と同じ記憶媒体に付加情報を格納するようにしてもよい。付加情報記憶部１０６は入力した付加情報を入力順に格納し、多重化部１０７から入力順に読み出しが行われるため、ＦＩＦＯ（First In First Out）とも呼ばれる。付加情報記憶部１０６は、制御部１０５によりデータの挿入や削除が行われる。
【００２５】
多重化部１０７は、符号化データ記憶部１０４より入力した符号化データと付加情報記憶部１０６より入力した付加情報の多重化を行う。ここでの多重化は、ＧＯＰ毎に行われる。多重化部１０７は、符号化データ記憶部１０４に符号化データが何フレーム分格納されたかを監視しており、１ＧＯＰ分の符号化データが格納されると多重化処理を開始する。このとき、多重化部１０７は、１ＧＯＰ分の符号化データをパケットといわれるデータ単位に分割して出力し、付加情報記憶部１０６より入力した１ＧＯＰ分の付加情報を分割したパケットのヘッダ領域内のユーザー・データ領域に挿入することにより多重化を行う。
【００２６】
図４に示すフローチャートを用いて多重化部１０７の行う多重化処理について具体的に説明する。
【００２７】
多重化部１０７の行う処理に関連するデータの構成について、図１０を参照して先に説明する。まず、多重化は、ＧＯＰ単位毎に行われる。ＧＯＰは更に、パックごとに分割される。このパックはＧＯＰヘッダ情報も符号化データも含めて分割される。このとき、第１のパックである第１ビデオパケットにはＧＯＰヘッダのデータが、第２のパック以降は符号化データが格納される。各パックは、１つのパックヘッダと複数のＰＥＳ（Packetized Elementary System）パケットデータといわれるパケットデータの集合で構成されている。ＰＥＳパケットデータはデータ長を可変にできるのが特徴であり、ＰＥＳヘッダとストリームデータより構成されている。ＰＥＳヘッダには、ＰＥＳパケットデータのデータ長やストリームデータを識別するコード、その他の制御情報などが記述されている。ストリームデータには、ＧＯＰヘッダのデータ及び符号化データが格納される。構成を示すと図１０のようになる。
【００２８】
まず、多重化部１０７は、パックヘッダを出力する（Ｓ１０１）。パックヘッダには、パックの全体情報などが記録されている。次に、多重化部１０７は、ＰＥＳヘッダの出力を行う（Ｓ１０２）。
【００２９】
次に、多重化部１０７は、生成するパックデータがＧＯＰの第１ビデオパケットの場合（Ｓ１０３）、生成するパックデータにＧＯＰヘッダを格納する必要があるため、ＧＯＰヘッダまでを出力する（Ｓ１０４）。ＧＯＰヘッダには、ユーザー・データ領域が用意されており、ユーザー・データ領域に付加情報が格納される。そこで、多重化部１０７は、付加情報記憶部１０６からＧＯＰに格納する数だけ付加情報を入力し（Ｓ１０５）、入力した付加情報をユーザー・データ領域に記録する（Ｓ１０６）。
【００３０】
符号化部１０３は、符号化部１０３が符号化時に利用するバッファの遷移を想定して符号化を行う必要があり、ＧＯＰヘッダのユーザー・データ領域のサイズ容量を考慮する必要がある。このバッファとはＭＰＥＧエンコード時ではＶＢＶ（Video Buffering Verifier）バッファのことである。符号化時にＧＯＰを構成するフレーム数はこのユーザー・データ領域を考慮する必要がある。ＧＯＰを構成するフレーム数はＧＯＰにより変更することが可能であるが、ユーザー・データ領域はＧＯＰを構成するフレーム数の変動可能な最大の値に設定し、全ての付加情報を格納できるようにする。ＧＯＰを構成するフレーム数が最大でない場合には残りの領域にはデータ長を合わせるためのスタフィング・データを挿入する。このようにすることにより、ＧＯＰを構成するフレーム数が変化する場合に対応することが可能となる。例えば、ＭＰＥＧエンコーダの符号化処理において、毎秒２４フレームで記録された映像を毎秒３０フレームの映像に変換するときに行われる逆３：２プルダウン処理を行うとＧＯＰ中のフレーム数が変化するが、このような状況にも対応することが可能である。
【００３１】
ＧＯＰヘッダの生成が終わると、続いてＧＯＰを構成する映像情報の格納を実行する。ＧＯＰヘッダ以外のＧＯＰを構成するデータは符号化データ記憶部１０４より入力した符号化データとなるので、ＧＯＰ第１ビデオパケットのＧＯＰ第１ヘッダ以外のデータ及びＧＯＰ第１ビデオパケット以外のＧＯＰデータはパックのデータ長に合わせて符号化データ記憶部１０４より入力した符号化データの出力を行う（Ｓ１０７）。パックのデータ長は、ＰＥＳヘッダに格納されたデータから周知である。
【００３２】
このようにして、ＧＯＰ毎に符号化データと付加情報を多重化し、ＧＯＰデータを構成するパックデータ毎に出力を行う。これを全てのＧＯＰについて行う。
【００３３】
次に、本発明の実施の形態におけるビデオ信号多重化装置の処理の流れについて説明する。図５は、本発明の実施の形態における多重化の処理の流れを示すタイミング図である。まず、分離部１０１が、ビデオ信号を入力する。このときの時刻をｔ０とする。このとき、ビデオ信号は先頭のフレームから順に入力される。分離部１０１は、入力したビデオ信号を映像情報と付加情報に分離する。分離は入力するフレーム毎に順次行われる。分離が完了すると分離部１０１は、分離した映像情報を時間軸補正部１０２へ、付加情報を付加情報記憶部１０６へそれぞれ出力する。
【００３４】
図５に示すタイミング図は、入力したビデオ信号や符号化データをＧＯＰ毎に分割して表記している。ＧＯＰ＃０は、最初のＧＯＰを構成するフレーム数分のビデオ信号・符号化データである。分離部１０１による分離は入力するフレーム毎に順次行われるため、図５に示すように、各ＧＯＰにおけるビデオ信号入力と分離は同じ時間で行われる。つまりビデオ信号入力時間は分離期間に等しく（ｔ２−ｔ０）である。
【００３５】
時間軸補正部１０２は、分離部１０１から入力した映像情報の時間軸補正を映像情報のフレーム数の変化に対応させて実行する。即ち、フレーム数を増加させる場合は、前のフレームの映像と同じ映像を表示させるリピート処理を行い、フレーム数を減少させる場合は、フレームを表示しないスキップ処理を行う。時間軸補正部１０２による時間軸補正が完了すると、時間軸補正部１０２は、時間軸補正を行った映像情報を符号化部１０３に出力する。この処理はビデオ信号の入力から符号化処理までの間に行われる。
【００３６】
次に、符号化部１０３は、入力した映像情報の符号化を行う。ＭＰＥＧなどの方式で符号化を行う場合、符号化は入力したフレーム順に行うとは限らず、また符号化時に前後のフレームの差分情報を抽出する場合があるため、入力してすぐに符号化を行えるわけではない。そのため、ビデオ信号の入力と、符号化開始の間に遅延時間が生じる。ここで、この遅延時間を入力するフレーム単位で表現した値をenc_delayと定義する。符号化は、符号化が可能となり次第開始される。このときの時刻がｔ１である。符号化が完了すると符号化部１０３は、符号化した符号化データを符号化データ記憶部１０４に出力する。このときの時刻がｔ３である。
【００３７】
enc_delayは、一般的にＧＯＰの構造によって異なる。例えば、ＧＯＰのコア・ピクチャ周期であるＭ値が３である場合、３フレーム目の映像情報から符号化を開始するので、その前の２フレーム分の入力の間は符号化処理ができないため、enc_delayは２となる。
【００３８】
符号化が完了すると多重化部１０７は、符号化データ記憶部１０４より入力した符号化データと付加情報記憶部１０６より入力した付加情報の多重化を行う。多重化の具体的方法については、上述の通りである。
【００３９】
次に、映像情報と付加情報の同期の方法について説明する。映像情報が時間軸補正部１０２により時間軸補正が行われているのに対し、付加情報は時間軸補正が行われていないため、そのまま多重化を行っても映像情報と付加情報の同期を取ることができない。そこで、制御部１０５が付加情報記憶部１０６に格納された付加情報を制御することにより映像情報と付加情報の同期を取るようにしている。この処理について具体的に説明する。
【００４０】
図６は、本発明における制御部１０５の処理の流れを示すフローチャートである。ここで説明のために、ＧＯＰを構成するビデオのフレーム数をgfnum、付加情報記憶部１０６に格納されている付加情報のデータ量をL21numと定義する。付加情報のデータ量は、入力するビデオ信号のフレーム数により決定される。例えば、１５フレームのビデオ信号からは１５フレーム分の付加情報が取得できる。
【００４１】
まず、制御部１０５は、符号化部１０３からgfnumの値を入力する（Ｓ２０１）。次に、制御部１０５は、付加情報記憶部１０６から格納されている付加情報のデータ量L21numを入力する（Ｓ２０２）。
【００４２】
gfnumとL21numの入力が終わると、制御部１０５は、gfnumとL21numの値を比較し、比較結果に応じた処理を行う。
【００４３】
まず、gfnum−L21num>αが成立するとき（Ｓ２０３）はリピート処理を行う（Ｓ２０４）。αは定数である。この場合、時間軸補正部１０２による時間軸補正の結果、入力したビデオ信号のフレームレートより大きい値のフレームレートに補正したと考えられる。つまり、単位時間あたりのフレーム数が増加したため、増加分については前のフレームと同じ映像を表示するリピート処理が行われている。このときは、付加情報についてもリピート処理を行う必要がある。リピート処理の方法は、付加情報記憶部１０６の最後にgfnum−L21num＝αとなるまでヌルデータの挿入を繰り返し行う。図７は、リピート処理を行う場合の符号化データ記憶部１０４と付加情報記憶部１０６の構成を示す図である。このときはgfnumがＮ、L21numがＮ−１、αが１の状態である。映像情報はＮフレーム目にリピート処理が行われているため、付加情報記憶部の最後に１つヌルデータを挿入する。
【００４４】
次に、L21num−gfnum>β＋γが成立するとき（Ｓ２０５）は強制スキップ処理を行う（Ｓ２０６）。βは定数である。この場合、時間軸補正部１０２による時間軸補正の結果、入力したビデオ信号のフレームレートよりかなり小さい値のフレームレートに補正したと考えられる。つまり、単位時間あたりのフレーム数が減少したため、減少分については、フレームを削除するスキップ処理が多く行われたと考えられる。このときは、付加情報についてもスキップ処理を行う必要がある。スキップ処理の方法は、付加情報記憶部１０６に格納された付加情報をL21−gfnum＝γとなるまで削除する。削除は、ヌルデータが含まれている場合ヌルデータを優先的に削除する。ヌルデータを全て削除してもL21−gfnum＝γとならない場合は、ヌルデータ以外のデータを削除してもよい。このような状況になるときは、入力したビデオ信号がノイズなどにより非標準の信号になっている可能性が高く、その場合は、付加情報の有効性も低いからである。
【００４５】
最後に、L21num−gfnum>γが成立するとき（Ｓ２０７）はスキップ処理を行う（Ｓ２０８）。この場合、時間軸補正部１０２による時間軸補正の結果、入力したビデオ信号のフレームレートより小さい値のフレームレートに補正したと考えられる。つまり、単位時間あたりのフレーム数が減少したため、減少分については、フレームを削除するスキップ処理が行われたと考えられる。このときは、付加情報についてもスキップ処理を行う必要がある。スキップ処理の方法は、付加情報記憶部１０６に格納された付加情報のうちヌルデータのみを削除する。図８は、リピート処理を行う場合の符号化データ記憶部１０４と付加情報記憶部１０６の構成を示す図である。Ｎフレームの付加情報内にヌルデータがある場合は削除する。ヌルデータがない場合は多すぎる付加情報については次のＧＯＰに利用される付加情報であると考えられるのでスキップ処理は行わない。
【００４６】
上記のα、β、γの値はＮＴＳＣのテレビシステム条件下ではα＝２、β＝２、γ＝２が適当であるが、これは実験により得られた値であり、α、β、γの値はこれに限定されない。
【００４７】
このようにして、映像情報に対して行われたリピート処理やスキップ処理に応じたリピート処理やスキップ処理を付加情報に対しても行うことにより、映像情報と付加情報の同期を取ることが可能となる。
【００４８】
その他の発明の実施の形態．
上述の例では、分離部、制御部、多重化部の全てを備えていたが、分離部と多重化部のみ、制御部と多重化部のみでもそれぞれの機能については動作可能である。
【図面の簡単な説明】
【００４９】
【図１】従来技術における、ビデオ信号多重化装置の構成の一例を示す図である。
【図２】従来技術における、多重化時のデータの流れを示す図である。
【図３】本発明における、ビデオ信号多重化装置の構成を示すブロック図である。
【図４】本発明における、多重化部の処理の流れを示すフローチャートである。
【図５】本発明における、多重化の処理の流れを示すタイミング図である。
【図６】本発明における制御部１０５の処理の流れを示すフローチャートである。
【図７】本発明における符号化データと付加情報の同期について示す図である。
【図８】本発明における符号化データと付加情報の同期について示す図である。
【図９】本発明における第２１番目の走査線の信号波形を示す図である。
【図１０】本発明における多重化データの構成を示す図である。
【符号の説明】
【００５０】
１００ ビデオ信号多重化装置
１０１ 分離部
１０２ 時間軸補正部
１０３ 符号化部
１０４ 符号化データ記憶部
１０５ 制御部
１０６ 付加情報記憶部
１０７ 多重化部
２００ ビデオ信号多重化装置
２０１ 分離部
２０２ 符号化部
２０３ 符号化データ記憶部
２０４ 付加情報記憶部
２０５ 多重化部
１０ 付加情報
２０ 映像情報フレームデータ
２１ ライン
３０ ＧＯＰデータ
３１ ＧＯＰレーヤ
３１１ ユーザー・データ領域
【技術分野】
【０００１】
本発明は、ビデオ信号多重化装置、ビデオ信号多重化方法及び映像再生装置に関するものであり、より詳細には、ビデオ信号に含まれる映像情報を符号化し、重畳された付加情報との多重化を行うビデオ信号多重化装置、ビデオ信号多重化方法及び映像再生装置に関する。
【背景技術】
【０００２】
近年、動画像をデジタル信号化しデジタルデータとして記録及び転送する技術が注目されている。そのため、動画像を符号化するＭＰＥＧ（Moving Pictures Expert Group）等の技術が重要となってきている。動画像は画面に表示する映像情報のみならず、声や効果音、音楽などの音声情報も合わせて符号化が行われる。更には、映像情報とは別に字幕などの付加情報も符号化され、動画像再生時に映像情報とともに付加情報から字幕などを表示する多重化の技術も数多く提案されている（例えば、特許文献１など）。
【０００３】
映像情報と付加情報を多重化する従来技術について簡単に説明する。図１は、従来技術におけるビデオ信号多重化装置の構成の一例を示す図である。図１に示すビデオ信号多重化装置２００は、分離部２０１、符号化部２０２、符号化データ記憶部２０３、付加情報記憶部２０４、多重化部２０５を備えている。
【０００４】
分離部２０１は、ビデオ信号を入力し、入力したビデオ信号から映像情報と付加情報を分離する。ここで、映像情報とは、入力したビデオ信号のうち画面に表示される映像の情報をいう。また、付加情報は映像情報以外の情報をいうが、付加情報は字幕などの情報を含むため、多重化後に付加情報が画面に表示されることはありうる。映像情報と付加情報はフィールド毎に入力される。フィールドはフレームを構成する単位である。
【０００５】
分離部２０１はビデオ信号を分離し、映像情報は符号化部２０２へ、付加情報は付加情報記憶部２０４へ出力する。符号化部２０２は、分離部２０１から入力した映像情報の符号化を行う。符号化部２０２により符号化した符号化データは、符号化データ記憶部２０３へ出力され、符号化データ記憶部２０３に格納される。符号化データは、フィールドあるいはフレーム毎に生成され、記録される。
【０００６】
多重化部２０５は、符号化データ記憶部２０３に格納された符号化データと付加情報記憶部２０４に格納された付加情報を入力し、ＧＯＰ（Group Of Pictures）といわれる単位毎に多重化を行う。図２は、従来技術における多重化時のデータの流れを示す図である。図２に示す付加情報１０は、付加情報記憶部２０４に格納された付加情報である。映像情報フレームデータ２０は、符号化データ記憶部２０３に格納された符号化データである。映像情報フレームデータ２０は、フレーム単位毎に多重化部２０５に出力される。多重化部２０５は、符号化データ記憶部２０３から入力した符号化データを、ＧＯＰを構成するフレーム数に相当する数だけ入力する。また、多重化部２０５は、付加情報記憶部２０４から、付加情報１０を、同様にＧＯＰを構成するフレーム数に該当する数だけ入力する。入力した付加情報は、ＧＯＰのヘッダ部分に該当するＧＯＰレーヤ３１のユーザー・データ領域３１１に全て格納される。
【０００７】
多重化部２０５は、付加情報記憶部２０４から入力した付加情報などからＧＯＰレーヤ３１を生成し、符号化データ記憶部２０３から入力した符号化データと共にＧＯＰ毎のストリームデータであるＧＯＰデータ３０を生成する。これで多重化の完成となる。再生時は、符号化データを復号化映像情報を生成し再生すると共に、ＧＯＰレーヤ３１のユーザー・データ領域３１１から付加情報を取得し、字幕情報として表示などを行う。
【０００８】
このようにして、ビデオ信号の多重化が行われる。しかしながらこの方法は、入力するビデオ信号と生成する多重化データの同期がとれている場合は問題ないが、非同期の場合に問題が生じる。例えば、映画などの秒間２４フレームの映像をＴＶ等の秒間３０フレームの映像として符号化を行う場合やその逆を行う場合、同期信号の時間軸がそれぞれ異なっているため、画面が垂直方向に流れてしまう。これを流れないようにするため同期信号の位相を合わせる必要がある。このとき、従来技術のように付加情報と映像情報を分離し、映像情報について位相を合わせるなどの処理を行うと、付加情報についてはフレーム数の変化が反映されず、多重化時にずれが生じてしまう。さらに、アナログ地上波やテープ走行などによって発生する画面のずれジッター時間軸の変動等から不安定になりがちなアナログ信号をフレーム間にて信号補正したり、ダビングを繰り返したテープなどが入力ソースであったりした場合など、付加情報が正常に記録できない場合がある。
【０００９】
また、分離前にタイムベースコレクタ等により時間軸補正を行うと同期を取ることはできるが、補正したビデオ信号の付加情報の妥当性を問わずに、入力したビデオ信号が付加情報を含んだままスキップやリピートの処理を行ってしまう。このため、付加情報についてもスキップによるデータの欠落やリピートによるデータの重複が発生し、そのまま多重化してしまうとデータの整合性が取れない。
【００１０】
また、ＭＰＥＧなどの規格により符号化を行う場合、ＧＯＰを構成する映像のフレーム数が変化する状況下でユーザー・データ領域の容量を考慮する必要が生じるが、映像情報と付加情報が別経路で処理されてしまうため、映像情報と付加情報の同期を取ることが不可能であった。従って、従来の方法では、ＧＯＰを構成する映像のフレーム数が変化した場合に多重化できないという問題点もあった。
【特許文献１】特開２００１−２４９８３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
このように、従来の技術では、ビデオ信号の多重化を行う場合に映像情報と付加情報を同期させることが困難という問題点があった。また、ＧＯＰを構成するフレーム数が変化した場合に多重化できないという問題点もあった。
【課題を解決するための手段】
【００１２】
本発明におけるビデオ信号多重化装置は、映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化装置であって、前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離する分離部と、前記分離部より分離された付加情報を格納する付加情報記憶部と、前記分離部により分離された映像情報を符号化する符号化部と、前記映像情報と前記付加情報とが非同期状態にある場合に、前記映像情報のデータ量に基づいて前記付加情報記憶部に格納された付加情報のデータ量を前記映像情報と前記付加情報とが同期状態になるように調整する制御部と、前記符号化部により生成した符号化データと前記制御部によりデータ量が制御された付加情報を多重化する多重化部を備えたビデオ信号多重化装置である。このような構成にすることにより、映像情報にスキップやリピートが発生しても、制御部により同期状態になるように調整されるため、映像情報と付加情報の同期を取ることが可能となる。
【００１３】
本発明におけるビデオ信号多重化装置は、映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化装置であって、前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離する分離部と、前記分離部により分離された映像情報を入力し、前記映像情報の時間軸補正を行う時間軸補正部と、前記時間軸補正部により時間軸補正の行われた映像情報を符号化する符号化部と、前記符号化部により符号化された符号化データを格納する符号化データ格納部と、前記分離部より分離された付加情報を格納する付加情報記憶部と、前記符号化データ格納部に格納された符号化データと前記付加情報記憶部に格納された付加情報を多重化する多重化部を備えたビデオ信号多重化装置である。このような構成にすることにより、付加情報を先に分離し取り出しているため、時間軸補正を行っても付加情報が取得できなくなる危険を回避することが可能となる。
【００１４】
本発明におけるビデオ信号多重化方法は、映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化方法であって、前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離し、分離された映像情報を符号化し、前記映像情報と前記付加情報とが非同期状態にある場合に、前記映像情報のデータ量に基づいて前記付加情報のデータ量を前記映像情報と前記付加情報とが同期状態になるように調整し、前記符号化部により生成した符号化データと前記制御部によりデータ量が制御された付加情報を多重化するビデオ信号多重化方法である。このようにすることにより、映像情報にスキップやリピートが発生しても、制御部により同期状態になるように調整されるため、映像情報と付加情報の同期を取ることが可能となる。
【００１５】
本発明におけるビデオ信号多重化方法は、映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化方法であって、前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離し、分離された映像情報を入力し、入力した前記映像情報の時間軸補正を行い、前記時間軸補正部により時間軸補正の行われた映像情報を符号化し、生成した符号化データと分離された付加情報を多重化するビデオ信号多重化方法である。このようにすることにより、付加情報を先に分離し取り出しているため、時間軸補正を行っても付加情報が取得できなくなる危険を回避することが可能となる。
【発明の効果】
【００１６】
本発明によれば、映像情報のフレームにスキップやリピートが発生しても映像情報と付加情報の同期を取ることのできるビデオ信号多重化装置及びビデオ信号多重化方法を提供することが可能となる。
【発明を実施するための最良の形態】
【００１７】
図３は、本発明の実施の形態におけるビデオ信号多重化装置の構成を示すブロック図である。ビデオ信号多重化装置１００は、分離部１０１、時間軸補正部１０２、符号化部１０３、符号化データ記憶部１０４、制御部１０５、付加情報記憶部１０６、多重化部１０７を備える。
【００１８】
分離部１０１は、ビデオ信号を入力し、入力したビデオ信号から映像情報と付加情報を分離するスライサである。日本や米国で一般的なビデオ信号であるＮＴＳＣ方式のビデオ信号の場合、インターレース方式により、１フレームの映像を構成する５２５本の走査線を２つのフィールドに分けて２６２本半毎に走査を行っている。この２６２本半の走査線のうち第２２番から第２６２番までが実際の映像の送信に利用されている。本例では、この部分の情報が映像情報に相当する。それよりも前の第１番から第２１番までの走査線による走査期間は、垂直帰線消去期間となっている。このうち第２１番目の走査線に、字幕情報などの情報を記録し、送信することが可能である。本例ではこの情報が付加情報に相当する。本例での付加情報は第２１番目の走査線に記録する情報のためライン２１データと呼ばれる。分離された映像情報は時間軸補正部１０２へ、付加情報は付加情報記憶部１０６へ、それぞれ分離部１０１から出力される。
【００１９】
図９は、第２１番目の走査線の信号波形を示す図である。この信号波形は、水平同期信号（Hsync）、バースト（Color Burst）、クロックランイン（Clock Run-In）、開始ビット（Start Bits）、文字１データ（Character One）、文字２データ（Character Two）で構成されており、データとして、文字１と文字２の２種類の文字データが格納可能である。それぞれの文字データは７ビット＋パリティビット１ビットの８ビットで構成される。この、データビットに格納されたデータが文字情報などのライン２１データとして利用される。なお、ここでは文字情報を例に挙げたが、データとして格納できるのは文字情報とは限らず、所定のビット数で表現できるデータであれば内容は限定されない。
【００２０】
時間軸補正部１０２は、分離部１０１より入力した映像情報の時間軸補正を行う。時間軸補正部１０２は、従来のタイムベースコレクタやフレームシンクロナイザをそのまま利用することが可能である。時間軸補正が行われた映像情報は、符号化部１０３へ出力される。時間軸補正部１０２による時間軸補正は、分離部１０１より分離する前に行うことも可能であるが、先に時間軸補正を行った場合は、本来クロックランインに同期してサンプリングを行っていたライン２１データが、時間軸補正により信号データの入力に対して同期が取れなくなるため正しい位置でサンプリングされずにデータビットに格納されたデータが取り出せなくなってしまう。その結果、付加情報が破壊されてしまい、分離部１０１により正確に付加情報の分離が行われなくなる危険がある。そのため、本発明では、時間軸補正部１０２による時間軸の補正は、分離部１０１より分離した映像情報に対して行う。
【００２１】
符号化部１０３は、時間軸補正部１０２により時間軸補正の行われた映像情報の符号化を行う。ここで行われる符号化の方法自体は従来技術と同様である。符号化部１０３は、映像情報の符号化を行い、生成した符号化データを符号化データ記憶部１０４へ出力する。符号化部１０３は、同時に符号化データについてのフレーム数等の符号化データ情報を制御部１０５へ出力する。
【００２２】
符号化データ記憶部１０４は、符号化部１０３により生成された符号化データを入力し格納するストリームバッファである。符号化データ記憶部１０４は、メモリやハードディスク等の読み書きが可能な記憶媒体が用いられる。符号化データ記憶部１０４に格納された符号化データは多重化部１０７に出力され、多重化部１０７により多重化が行われる。
【００２３】
制御部１０５は、符号化部１０３より入力した符号化データ情報に基づいて、付加情報記憶部１０６に格納された付加情報のデータの制御を行う。この付加情報のデータの制御は、多重化部１０７により符号化データと付加情報の多重化が行われる際に、同期を取る目的で行われる。具体的な方法については後に詳しく説明する。
【００２４】
付加情報記憶部１０６は、分離部１０１より分離された付加情報を入力し格納する。付加情報記憶部１０６は、メモリやハードディスク等の読み書きが可能な記憶媒体が用いられる。付加情報記憶部１０６は、符号化データ記憶部１０４と同じ記憶媒体に付加情報を格納するようにしてもよい。付加情報記憶部１０６は入力した付加情報を入力順に格納し、多重化部１０７から入力順に読み出しが行われるため、ＦＩＦＯ（First In First Out）とも呼ばれる。付加情報記憶部１０６は、制御部１０５によりデータの挿入や削除が行われる。
【００２５】
多重化部１０７は、符号化データ記憶部１０４より入力した符号化データと付加情報記憶部１０６より入力した付加情報の多重化を行う。ここでの多重化は、ＧＯＰ毎に行われる。多重化部１０７は、符号化データ記憶部１０４に符号化データが何フレーム分格納されたかを監視しており、１ＧＯＰ分の符号化データが格納されると多重化処理を開始する。このとき、多重化部１０７は、１ＧＯＰ分の符号化データをパケットといわれるデータ単位に分割して出力し、付加情報記憶部１０６より入力した１ＧＯＰ分の付加情報を分割したパケットのヘッダ領域内のユーザー・データ領域に挿入することにより多重化を行う。
【００２６】
図４に示すフローチャートを用いて多重化部１０７の行う多重化処理について具体的に説明する。
【００２７】
多重化部１０７の行う処理に関連するデータの構成について、図１０を参照して先に説明する。まず、多重化は、ＧＯＰ単位毎に行われる。ＧＯＰは更に、パックごとに分割される。このパックはＧＯＰヘッダ情報も符号化データも含めて分割される。このとき、第１のパックである第１ビデオパケットにはＧＯＰヘッダのデータが、第２のパック以降は符号化データが格納される。各パックは、１つのパックヘッダと複数のＰＥＳ（Packetized Elementary System）パケットデータといわれるパケットデータの集合で構成されている。ＰＥＳパケットデータはデータ長を可変にできるのが特徴であり、ＰＥＳヘッダとストリームデータより構成されている。ＰＥＳヘッダには、ＰＥＳパケットデータのデータ長やストリームデータを識別するコード、その他の制御情報などが記述されている。ストリームデータには、ＧＯＰヘッダのデータ及び符号化データが格納される。構成を示すと図１０のようになる。
【００２８】
まず、多重化部１０７は、パックヘッダを出力する（Ｓ１０１）。パックヘッダには、パックの全体情報などが記録されている。次に、多重化部１０７は、ＰＥＳヘッダの出力を行う（Ｓ１０２）。
【００２９】
次に、多重化部１０７は、生成するパックデータがＧＯＰの第１ビデオパケットの場合（Ｓ１０３）、生成するパックデータにＧＯＰヘッダを格納する必要があるため、ＧＯＰヘッダまでを出力する（Ｓ１０４）。ＧＯＰヘッダには、ユーザー・データ領域が用意されており、ユーザー・データ領域に付加情報が格納される。そこで、多重化部１０７は、付加情報記憶部１０６からＧＯＰに格納する数だけ付加情報を入力し（Ｓ１０５）、入力した付加情報をユーザー・データ領域に記録する（Ｓ１０６）。
【００３０】
符号化部１０３は、符号化部１０３が符号化時に利用するバッファの遷移を想定して符号化を行う必要があり、ＧＯＰヘッダのユーザー・データ領域のサイズ容量を考慮する必要がある。このバッファとはＭＰＥＧエンコード時ではＶＢＶ（Video Buffering Verifier）バッファのことである。符号化時にＧＯＰを構成するフレーム数はこのユーザー・データ領域を考慮する必要がある。ＧＯＰを構成するフレーム数はＧＯＰにより変更することが可能であるが、ユーザー・データ領域はＧＯＰを構成するフレーム数の変動可能な最大の値に設定し、全ての付加情報を格納できるようにする。ＧＯＰを構成するフレーム数が最大でない場合には残りの領域にはデータ長を合わせるためのスタフィング・データを挿入する。このようにすることにより、ＧＯＰを構成するフレーム数が変化する場合に対応することが可能となる。例えば、ＭＰＥＧエンコーダの符号化処理において、毎秒２４フレームで記録された映像を毎秒３０フレームの映像に変換するときに行われる逆３：２プルダウン処理を行うとＧＯＰ中のフレーム数が変化するが、このような状況にも対応することが可能である。
【００３１】
ＧＯＰヘッダの生成が終わると、続いてＧＯＰを構成する映像情報の格納を実行する。ＧＯＰヘッダ以外のＧＯＰを構成するデータは符号化データ記憶部１０４より入力した符号化データとなるので、ＧＯＰ第１ビデオパケットのＧＯＰ第１ヘッダ以外のデータ及びＧＯＰ第１ビデオパケット以外のＧＯＰデータはパックのデータ長に合わせて符号化データ記憶部１０４より入力した符号化データの出力を行う（Ｓ１０７）。パックのデータ長は、ＰＥＳヘッダに格納されたデータから周知である。
【００３２】
このようにして、ＧＯＰ毎に符号化データと付加情報を多重化し、ＧＯＰデータを構成するパックデータ毎に出力を行う。これを全てのＧＯＰについて行う。
【００３３】
次に、本発明の実施の形態におけるビデオ信号多重化装置の処理の流れについて説明する。図５は、本発明の実施の形態における多重化の処理の流れを示すタイミング図である。まず、分離部１０１が、ビデオ信号を入力する。このときの時刻をｔ０とする。このとき、ビデオ信号は先頭のフレームから順に入力される。分離部１０１は、入力したビデオ信号を映像情報と付加情報に分離する。分離は入力するフレーム毎に順次行われる。分離が完了すると分離部１０１は、分離した映像情報を時間軸補正部１０２へ、付加情報を付加情報記憶部１０６へそれぞれ出力する。
【００３４】
図５に示すタイミング図は、入力したビデオ信号や符号化データをＧＯＰ毎に分割して表記している。ＧＯＰ＃０は、最初のＧＯＰを構成するフレーム数分のビデオ信号・符号化データである。分離部１０１による分離は入力するフレーム毎に順次行われるため、図５に示すように、各ＧＯＰにおけるビデオ信号入力と分離は同じ時間で行われる。つまりビデオ信号入力時間は分離期間に等しく（ｔ２−ｔ０）である。
【００３５】
時間軸補正部１０２は、分離部１０１から入力した映像情報の時間軸補正を映像情報のフレーム数の変化に対応させて実行する。即ち、フレーム数を増加させる場合は、前のフレームの映像と同じ映像を表示させるリピート処理を行い、フレーム数を減少させる場合は、フレームを表示しないスキップ処理を行う。時間軸補正部１０２による時間軸補正が完了すると、時間軸補正部１０２は、時間軸補正を行った映像情報を符号化部１０３に出力する。この処理はビデオ信号の入力から符号化処理までの間に行われる。
【００３６】
次に、符号化部１０３は、入力した映像情報の符号化を行う。ＭＰＥＧなどの方式で符号化を行う場合、符号化は入力したフレーム順に行うとは限らず、また符号化時に前後のフレームの差分情報を抽出する場合があるため、入力してすぐに符号化を行えるわけではない。そのため、ビデオ信号の入力と、符号化開始の間に遅延時間が生じる。ここで、この遅延時間を入力するフレーム単位で表現した値をenc_delayと定義する。符号化は、符号化が可能となり次第開始される。このときの時刻がｔ１である。符号化が完了すると符号化部１０３は、符号化した符号化データを符号化データ記憶部１０４に出力する。このときの時刻がｔ３である。
【００３７】
enc_delayは、一般的にＧＯＰの構造によって異なる。例えば、ＧＯＰのコア・ピクチャ周期であるＭ値が３である場合、３フレーム目の映像情報から符号化を開始するので、その前の２フレーム分の入力の間は符号化処理ができないため、enc_delayは２となる。
【００３８】
符号化が完了すると多重化部１０７は、符号化データ記憶部１０４より入力した符号化データと付加情報記憶部１０６より入力した付加情報の多重化を行う。多重化の具体的方法については、上述の通りである。
【００３９】
次に、映像情報と付加情報の同期の方法について説明する。映像情報が時間軸補正部１０２により時間軸補正が行われているのに対し、付加情報は時間軸補正が行われていないため、そのまま多重化を行っても映像情報と付加情報の同期を取ることができない。そこで、制御部１０５が付加情報記憶部１０６に格納された付加情報を制御することにより映像情報と付加情報の同期を取るようにしている。この処理について具体的に説明する。
【００４０】
図６は、本発明における制御部１０５の処理の流れを示すフローチャートである。ここで説明のために、ＧＯＰを構成するビデオのフレーム数をgfnum、付加情報記憶部１０６に格納されている付加情報のデータ量をL21numと定義する。付加情報のデータ量は、入力するビデオ信号のフレーム数により決定される。例えば、１５フレームのビデオ信号からは１５フレーム分の付加情報が取得できる。
【００４１】
まず、制御部１０５は、符号化部１０３からgfnumの値を入力する（Ｓ２０１）。次に、制御部１０５は、付加情報記憶部１０６から格納されている付加情報のデータ量L21numを入力する（Ｓ２０２）。
【００４２】
gfnumとL21numの入力が終わると、制御部１０５は、gfnumとL21numの値を比較し、比較結果に応じた処理を行う。
【００４３】
まず、gfnum−L21num>αが成立するとき（Ｓ２０３）はリピート処理を行う（Ｓ２０４）。αは定数である。この場合、時間軸補正部１０２による時間軸補正の結果、入力したビデオ信号のフレームレートより大きい値のフレームレートに補正したと考えられる。つまり、単位時間あたりのフレーム数が増加したため、増加分については前のフレームと同じ映像を表示するリピート処理が行われている。このときは、付加情報についてもリピート処理を行う必要がある。リピート処理の方法は、付加情報記憶部１０６の最後にgfnum−L21num＝αとなるまでヌルデータの挿入を繰り返し行う。図７は、リピート処理を行う場合の符号化データ記憶部１０４と付加情報記憶部１０６の構成を示す図である。このときはgfnumがＮ、L21numがＮ−１、αが１の状態である。映像情報はＮフレーム目にリピート処理が行われているため、付加情報記憶部の最後に１つヌルデータを挿入する。
【００４４】
次に、L21num−gfnum>β＋γが成立するとき（Ｓ２０５）は強制スキップ処理を行う（Ｓ２０６）。βは定数である。この場合、時間軸補正部１０２による時間軸補正の結果、入力したビデオ信号のフレームレートよりかなり小さい値のフレームレートに補正したと考えられる。つまり、単位時間あたりのフレーム数が減少したため、減少分については、フレームを削除するスキップ処理が多く行われたと考えられる。このときは、付加情報についてもスキップ処理を行う必要がある。スキップ処理の方法は、付加情報記憶部１０６に格納された付加情報をL21−gfnum＝γとなるまで削除する。削除は、ヌルデータが含まれている場合ヌルデータを優先的に削除する。ヌルデータを全て削除してもL21−gfnum＝γとならない場合は、ヌルデータ以外のデータを削除してもよい。このような状況になるときは、入力したビデオ信号がノイズなどにより非標準の信号になっている可能性が高く、その場合は、付加情報の有効性も低いからである。
【００４５】
最後に、L21num−gfnum>γが成立するとき（Ｓ２０７）はスキップ処理を行う（Ｓ２０８）。この場合、時間軸補正部１０２による時間軸補正の結果、入力したビデオ信号のフレームレートより小さい値のフレームレートに補正したと考えられる。つまり、単位時間あたりのフレーム数が減少したため、減少分については、フレームを削除するスキップ処理が行われたと考えられる。このときは、付加情報についてもスキップ処理を行う必要がある。スキップ処理の方法は、付加情報記憶部１０６に格納された付加情報のうちヌルデータのみを削除する。図８は、リピート処理を行う場合の符号化データ記憶部１０４と付加情報記憶部１０６の構成を示す図である。Ｎフレームの付加情報内にヌルデータがある場合は削除する。ヌルデータがない場合は多すぎる付加情報については次のＧＯＰに利用される付加情報であると考えられるのでスキップ処理は行わない。
【００４６】
上記のα、β、γの値はＮＴＳＣのテレビシステム条件下ではα＝２、β＝２、γ＝２が適当であるが、これは実験により得られた値であり、α、β、γの値はこれに限定されない。
【００４７】
このようにして、映像情報に対して行われたリピート処理やスキップ処理に応じたリピート処理やスキップ処理を付加情報に対しても行うことにより、映像情報と付加情報の同期を取ることが可能となる。
【００４８】
その他の発明の実施の形態．
上述の例では、分離部、制御部、多重化部の全てを備えていたが、分離部と多重化部のみ、制御部と多重化部のみでもそれぞれの機能については動作可能である。
【図面の簡単な説明】
【００４９】
【図１】従来技術における、ビデオ信号多重化装置の構成の一例を示す図である。
【図２】従来技術における、多重化時のデータの流れを示す図である。
【図３】本発明における、ビデオ信号多重化装置の構成を示すブロック図である。
【図４】本発明における、多重化部の処理の流れを示すフローチャートである。
【図５】本発明における、多重化の処理の流れを示すタイミング図である。
【図６】本発明における制御部１０５の処理の流れを示すフローチャートである。
【図７】本発明における符号化データと付加情報の同期について示す図である。
【図８】本発明における符号化データと付加情報の同期について示す図である。
【図９】本発明における第２１番目の走査線の信号波形を示す図である。
【図１０】本発明における多重化データの構成を示す図である。
【符号の説明】
【００５０】
１００ ビデオ信号多重化装置
１０１ 分離部
１０２ 時間軸補正部
１０３ 符号化部
１０４ 符号化データ記憶部
１０５ 制御部
１０６ 付加情報記憶部
１０７ 多重化部
２００ ビデオ信号多重化装置
２０１ 分離部
２０２ 符号化部
２０３ 符号化データ記憶部
２０４ 付加情報記憶部
２０５ 多重化部
１０ 付加情報
２０ 映像情報フレームデータ
２１ ライン
３０ ＧＯＰデータ
３１ ＧＯＰレーヤ
３１１ ユーザー・データ領域
【特許請求の範囲】
【請求項１】
映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化装置であって、
前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離する分離部と、
前記分離部より分離された付加情報を格納する付加情報記憶部と、
前記分離部により分離された映像情報を符号化する符号化部と、
前記映像情報と前記付加情報とが非同期状態にある場合に、前記映像情報のデータ量に基づいて前記付加情報記憶部に格納された付加情報のデータ量を前記映像情報と前記付加情報とが同期状態になるように調整する制御部と、
前記符号化部により生成した符号化データと前記制御部によりデータ量が制御された付加情報を多重化する多重化部を備えたビデオ信号多重化装置。
【請求項２】
前記制御部は、
前記付加情報のデータ量が前記映像情報のデータ量よりも予め定められた値以内小さい場合、
前記付加情報にヌルデータを追加することを特徴とする請求項１記載のビデオ信号多重化装置。
【請求項３】
前記制御部は、
前記付加情報のデータ量が前記映像情報のデータ量よりも多い場合であって、
その差が予め定められた値よりも大きい場合は、前記付加情報の一部を一定数削除し、
その差が予め定められた値以下の場合は、前記付加情報に含まれたヌルデータのみを一定数削除することを特徴とする請求項１または２記載のビデオ信号多重化装置。
【請求項４】
前記制御部は、
その差が予め定められた値よりも大きい場合は、ヌルデータを優先して削除することを特徴とする請求項３記載のビデオ信号多重化装置。
【請求項５】
前記符号化部は、
前記映像情報を予め定められたフレーム数毎に符号化を行い、
前記制御部は、
前記映像情報のデータ量を、前記フレーム数に基づいて決定することを特徴とする請求項１乃至４いずれかに記載のビデオ信号多重化装置。
【請求項６】
前記制御部は、
前記付加情報のフレーム数が前記映像情報のフレーム数よりも予め定められた値以内小さい場合、
前記付加情報にヌルデータを追加することを特徴とする請求項１記載のビデオ信号多重化装置。
【請求項７】
前記制御部は、
前記付加情報のフレーム数が前記映像情報のフレーム数よりも多い場合であって、
その差が予め定められた値よりも大きい場合は、前記付加情報の一部を一定数削除し、
その差が予め定められた値以下の場合は、前記付加情報に含まれたヌルデータのみを一定数削除することを特徴とする請求項６記載のビデオ信号多重化装置。
【請求項８】
前記制御部は、
その差が予め定められた値よりも大きい場合は、ヌルデータを優先して削除することを特徴とする請求項７記載のビデオ信号多重化装置。
【請求項９】
映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化装置であって、
前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離する分離部と、
前記分離部により分離された映像情報を入力し、前記映像情報の時間軸補正を行う時間軸補正部と、
前記時間軸補正部により時間軸補正の行われた映像情報を符号化する符号化部と、
前記符号化部により符号化された符号化データを格納する符号化データ格納部と、
前記分離部より分離された付加情報を格納する付加情報記憶部と、
前記符号化データ格納部に格納された符号化データと前記付加情報記憶部に格納された付加情報を多重化する多重化部を備えたビデオ信号多重化装置。
【請求項１０】
前記ビデオ信号多重化装置は、更に、
前記映像情報と前記付加情報とが非同期状態にある場合に、前記映像情報のデータ量に基づいて前記付加情報記憶部に格納された付加情報のデータ量を前記映像情報と前記付加情報とが同期状態になるように調整する制御部を備えることを特徴とする請求項９記載のビデオ信号多重化装置。
【請求項１１】
請求項１乃至１０いずれかに記載のビデオ信号多重化装置を備えた映像再生装置。
【請求項１２】
映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化方法であって、
前記ビデオ信号を入力し、
当該ビデオ信号に含まれる映像情報と付加情報を分離し、
分離された映像情報を符号化し、
前記映像情報と前記付加情報とが非同期状態にある場合に、前記映像情報のデータ量に基づいて前記付加情報のデータ量を前記映像情報と前記付加情報とが同期状態になるように調整し、
前記符号化により生成した符号化データと前記調整によりデータ量が調整された付加情報を多重化するビデオ信号多重化方法。
【請求項１３】
前記調整は、
前記付加情報のデータ量が前記映像情報のデータ量より予め定められた値以内小さい場合、
前記付加情報にヌルデータを追加することを特徴とする請求項１２記載のビデオ信号多重化方法。
【請求項１４】
前記調整は、
前記付加情報のデータ量が前記映像情報のデータ量よりも多い場合であって、
その差が予め定められた値よりも大きい場合は、前記付加情報の一部を一定数削除し、
その差が予め定められた値以下の場合は、前記付加情報に含まれたヌルデータのみを一定数削除することを特徴とする請求項１２または１３記載のビデオ信号多重化方法。
【請求項１５】
前記調整は、
その差が予め定められた値よりも大きい場合は、ヌルデータを優先して削除することを特徴とする請求項１４記載のビデオ信号多重化方法。
【請求項１６】
映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化方法であって、
前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離し、
分離された映像情報を入力し、
入力した前記映像情報の時間軸補正を行い、
前記時間軸補正により時間軸補正の行われた映像情報を符号化し、
生成した符号化データと分離された付加情報を多重化するビデオ信号多重化方法。
【請求項１７】
前記ビデオ信号多重化方法は、更に、
前記映像情報と前記付加情報とが非同期状態にある場合に、前記映像情報のデータ量に基づいて前記付加情報のデータ量を前記映像情報と前記付加情報とが同期状態になるように調整することを特徴とする請求項１６記載のビデオ信号多重化方法。
【請求項１】
映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化装置であって、
前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離する分離部と、
前記分離部より分離された付加情報を格納する付加情報記憶部と、
前記分離部により分離された映像情報を符号化する符号化部と、
前記映像情報と前記付加情報とが非同期状態にある場合に、前記映像情報のデータ量に基づいて前記付加情報記憶部に格納された付加情報のデータ量を前記映像情報と前記付加情報とが同期状態になるように調整する制御部と、
前記符号化部により生成した符号化データと前記制御部によりデータ量が制御された付加情報を多重化する多重化部を備えたビデオ信号多重化装置。
【請求項２】
前記制御部は、
前記付加情報のデータ量が前記映像情報のデータ量よりも予め定められた値以内小さい場合、
前記付加情報にヌルデータを追加することを特徴とする請求項１記載のビデオ信号多重化装置。
【請求項３】
前記制御部は、
前記付加情報のデータ量が前記映像情報のデータ量よりも多い場合であって、
その差が予め定められた値よりも大きい場合は、前記付加情報の一部を一定数削除し、
その差が予め定められた値以下の場合は、前記付加情報に含まれたヌルデータのみを一定数削除することを特徴とする請求項１または２記載のビデオ信号多重化装置。
【請求項４】
前記制御部は、
その差が予め定められた値よりも大きい場合は、ヌルデータを優先して削除することを特徴とする請求項３記載のビデオ信号多重化装置。
【請求項５】
前記符号化部は、
前記映像情報を予め定められたフレーム数毎に符号化を行い、
前記制御部は、
前記映像情報のデータ量を、前記フレーム数に基づいて決定することを特徴とする請求項１乃至４いずれかに記載のビデオ信号多重化装置。
【請求項６】
前記制御部は、
前記付加情報のフレーム数が前記映像情報のフレーム数よりも予め定められた値以内小さい場合、
前記付加情報にヌルデータを追加することを特徴とする請求項１記載のビデオ信号多重化装置。
【請求項７】
前記制御部は、
前記付加情報のフレーム数が前記映像情報のフレーム数よりも多い場合であって、
その差が予め定められた値よりも大きい場合は、前記付加情報の一部を一定数削除し、
その差が予め定められた値以下の場合は、前記付加情報に含まれたヌルデータのみを一定数削除することを特徴とする請求項６記載のビデオ信号多重化装置。
【請求項８】
前記制御部は、
その差が予め定められた値よりも大きい場合は、ヌルデータを優先して削除することを特徴とする請求項７記載のビデオ信号多重化装置。
【請求項９】
映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化装置であって、
前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離する分離部と、
前記分離部により分離された映像情報を入力し、前記映像情報の時間軸補正を行う時間軸補正部と、
前記時間軸補正部により時間軸補正の行われた映像情報を符号化する符号化部と、
前記符号化部により符号化された符号化データを格納する符号化データ格納部と、
前記分離部より分離された付加情報を格納する付加情報記憶部と、
前記符号化データ格納部に格納された符号化データと前記付加情報記憶部に格納された付加情報を多重化する多重化部を備えたビデオ信号多重化装置。
【請求項１０】
前記ビデオ信号多重化装置は、更に、
前記映像情報と前記付加情報とが非同期状態にある場合に、前記映像情報のデータ量に基づいて前記付加情報記憶部に格納された付加情報のデータ量を前記映像情報と前記付加情報とが同期状態になるように調整する制御部を備えることを特徴とする請求項９記載のビデオ信号多重化装置。
【請求項１１】
請求項１乃至１０いずれかに記載のビデオ信号多重化装置を備えた映像再生装置。
【請求項１２】
映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化方法であって、
前記ビデオ信号を入力し、
当該ビデオ信号に含まれる映像情報と付加情報を分離し、
分離された映像情報を符号化し、
前記映像情報と前記付加情報とが非同期状態にある場合に、前記映像情報のデータ量に基づいて前記付加情報のデータ量を前記映像情報と前記付加情報とが同期状態になるように調整し、
前記符号化により生成した符号化データと前記調整によりデータ量が調整された付加情報を多重化するビデオ信号多重化方法。
【請求項１３】
前記調整は、
前記付加情報のデータ量が前記映像情報のデータ量より予め定められた値以内小さい場合、
前記付加情報にヌルデータを追加することを特徴とする請求項１２記載のビデオ信号多重化方法。
【請求項１４】
前記調整は、
前記付加情報のデータ量が前記映像情報のデータ量よりも多い場合であって、
その差が予め定められた値よりも大きい場合は、前記付加情報の一部を一定数削除し、
その差が予め定められた値以下の場合は、前記付加情報に含まれたヌルデータのみを一定数削除することを特徴とする請求項１２または１３記載のビデオ信号多重化方法。
【請求項１５】
前記調整は、
その差が予め定められた値よりも大きい場合は、ヌルデータを優先して削除することを特徴とする請求項１４記載のビデオ信号多重化方法。
【請求項１６】
映像情報と当該映像情報に重畳された付加情報を含むビデオ信号を入力し、当該ビデオ信号に含まれる映像情報に対して符号化処理した後、当該符号化後の映像情報と前記付加情報とを多重化するビデオ信号多重化方法であって、
前記ビデオ信号を入力し、当該ビデオ信号に含まれる映像情報と付加情報を分離し、
分離された映像情報を入力し、
入力した前記映像情報の時間軸補正を行い、
前記時間軸補正により時間軸補正の行われた映像情報を符号化し、
生成した符号化データと分離された付加情報を多重化するビデオ信号多重化方法。
【請求項１７】
前記ビデオ信号多重化方法は、更に、
前記映像情報と前記付加情報とが非同期状態にある場合に、前記映像情報のデータ量に基づいて前記付加情報のデータ量を前記映像情報と前記付加情報とが同期状態になるように調整することを特徴とする請求項１６記載のビデオ信号多重化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−１４８２７５（Ｐ２００６−１４８２７５Ａ）
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願番号】特願２００４−３３２６５３（Ｐ２００４−３３２６５３）
【出願日】平成１６年１１月１７日（２００４．１１．１７）
【出願人】（３０２０６２９３１）ＮＥＣエレクトロニクス株式会社 (8,021)
【出願人】（０００２３２０３６）ＮＥＣマイクロシステム株式会社 (72)
【Ｆターム（参考）】
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願日】平成１６年１１月１７日（２００４．１１．１７）
【出願人】（３０２０６２９３１）ＮＥＣエレクトロニクス株式会社 (8,021)
【出願人】（０００２３２０３６）ＮＥＣマイクロシステム株式会社 (72)
【Ｆターム（参考）】
[ Back to top ]