字幕等の情報を含むビデオ信号の処理回路
文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ信号を処理する際に、文字情報等の一貫性を損うことなく信号の供給速度と処理速度の違いを吸収することが可能なビデオ信号処理回路を提供することを目的とする。このビデオ信号処理回路は、フレーム毎に付加情報が対応付けられたデジタルビデオ信号の各フレームを第１のレートで受け取り格納するフレームメモリと、フレームメモリからデジタルビデオ信号の各フレームを第２のレートで読み出すフレーム同期ユニットと、フレーム同期ユニットがデジタルビデオ信号の同一のフレームを繰り返し読み出した場合に付加情報を繰り返すことなく、またフレーム同期ユニットがデジタルビデオ信号のあるフレームをスキップして読み出した場合に付加情報をスキップすることなく、付加情報をフレーム同期ユニットが読み出したデジタルビデオ信号に対応付ける処理ユニットを含むことを特徴とする。
【発明の詳細な説明】
【技術分野】
本発明は、一般にビデオ信号処理回路に関し、詳しくは字幕情報等のデータが挿入されたビデオ信号を符号化等するビデオ信号処理回路に関する。
【背景技術】
最近のテレビジョン信号には、クローズドキャプション等の字幕情報や、文字放送情報、番組表情報、更にはコピーガード信号等が含まれている。これらの情報及び信号は、例えばインターレース方式のビデオ信号であれば、トップフィールドとボトムフィールドとにおいて、画像フィールド上部に位置する複数の水平ライン部分に挿入される。
図１Ａ及び１Ｂは、ＮＴＳＣ方式におけるインターレース方式の各フィールドと文字情報等の挿入位置を示す図である。
図１Ａはトップフィールドを示し、図１Ｂはボトムフィールドを示す。図１Ａに示されるように、トップフィールドはライン１からライン２６３までの水平走査線よりなる。この２６３本の水平走査線のうちでフィールド上部のライン１からライン２１までが、垂直帰線期間に対応する画面に表示されないブランキング期間であり、ここに垂直同期パルスが挿入される。ブランキング期間には更に、テスト信号、字幕情報、文字放送情報、番組表情報、コピーガード信号等を挿入できる。同様に、図１Ｂに示されるボトムフィールドはライン２６４からライン５２５までの水平走査線よりなり、このうちフィールド上部のライン２６４からライン２８４までがブランキング期間であり、ここに字幕情報等を挿入することができる。
クローズドキャプション方式の文字データは、トップフィールドのライン２１及びボトムフィールドのライン２８４に、各フィールド１６ビットのデータとして挿入される。この１６ビットのうちで、２ビットはパリティービットとして用いられる。各フレーム毎に例えば一文字分挿入されている文字データを抽出して複数文字からなる一纏めの字幕とし、制御情報により指定された期間、映像情報に重畳して表示することで、映画等の字幕を作成することができる。
例えばテレビジョン放送によりアナログ信号として供給されたビデオ＆オーディオ信号をデジタル信号として録画する場合、ビデオ＆オーディオ信号をＮＴＳＣデコーダ及びオーディオＤＡＣ（デジタル・アナログ・コンバータ）によってデジタル信号に変換する。変換後のデジタル信号を、ＭＰＥＧ２コーデックに入力して符号化することで、ＭＰＥＧ２ＰＳ若しくはＭＰＥＧ２ＴＳ方式のストリームに圧縮する。圧縮されたストリームは、ＭＰＥＧ２コーデックのストリーム専用ポートより出力され、ＣＰＵにより録画デバイスへＤＭＡ転送され格納される。
この際、ＭＰＥＧ２コーデックにより符号化されたビデオフレームのライン２１及びライン２８４に挿入されている文字データは、ＭＰＥＧ２コーデックにより抽出されて、上記ストリーム中に挿入される。
一般に、ＮＴＳＣデコーダから出力されるデジタルデータのクロック周波数（即ちアナログ信号の供給速度）と、ＭＰＥＧ２コーデックの動作クロックの周波数（即ち符号化の速度）とには僅かながらずれがある。このデータ供給速度と符号化速度とのずれをなくすために、ＮＴＳＣデコーダから出力される各フレームのデジタルデータを一旦バッファに格納し、バッファから順次フレームデータを読み出して符号化する構成が用いられる。このようにバッファを設けた上で、データ供給速度と符号化速度の違いを随時吸収するために、ＭＰＥＧ２コーデックが必要に応じてあるフレームをスキップしたり、あるフレームをリピートしたりして符号化する。
このようにして符号化処理で速度の違いを吸収するが、文字データ等はビデオ信号の各フィールドに順番に挿入されているために、フレームがスキップされたりリピートされたりすると、データが欠落したり同一データが２個続いたりすることになる。即ちリピート処理された場合、本来は「ＴＥＳＴ」という字幕のはずが、同一データが２個続くことにより例えば「ＴＥＥＳＴ」となってしまう。またスキップ処理された場合、本来は「ＴＥＳＴ」という字幕のはずが、あるデータが欠落して例えば「ＴＥＴ」となってしまう。
以上を鑑みて、文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ信号を処理する際に、文字情報等の一貫性を損うことなく信号の供給速度と処理速度の違いを吸収することが望ましい。
【特許文献１】 特許文献１ 特表平９−５０１８０８号公報
【特許文献２】 特許文献２ 特開２００１−２４９８３号公報
【特許文献３】 特許文献３ 特開２００１−６９４３９号公報
【特許文献２】 特許文献２ 特開平１１−７５１１３号公報
【発明の開示】
本発明は、上記関連技術の一つ又は複数の問題点を解決するビデオ信号処理回路を提供することを一般的な目的とする。
また本発明は、文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ信号を処理する際に、文字情報等の一貫性を損うことなく信号の供給速度と処理速度の違いを吸収することが可能なビデオ信号処理回路を提供することを更なる具体的な目的とする。
上記目的を達成するために、本発明によるビデオ信号処理回路は、フレーム毎に付加情報が対応付けられたデジタルビデオ信号の各フレームを第１のレートで受け取り格納するフレームメモリと、該フレームメモリから該デジタルビデオ信号の各フレームを第２のレートで読み出すフレーム同期ユニットと、該フレーム同期ユニットが該デジタルビデオ信号の同一のフレームを繰り返し読み出した場合に該付加情報を繰り返すことなく、また該フレーム同期ユニットが該デジタルビデオ信号のあるフレームをスキップして読み出した場合に該付加情報をスキップすることなく、該付加情報を該フレーム同期ユニットが読み出した該デジタルビデオ信号に対応付ける処理ユニットを含むことを特徴とする。
上記ビデオ信号処理回路によれば、第１のレートと第２のレートとの違いによりフレームが繰り返し読み出される場合又はフレームがスキップして読み出される場合であっても、文字情報等の付加情報については繰り返すことも又スキップすることもなくビデオストリームに対応付けるように処理される。従って、文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ信号を処理する際に、文字情報等の一貫性を損うことなく信号の供給速度と処理速度の違いを吸収することが可能となる。
【図面の簡単な説明】
図１Ａ及び１Ｂは、インターレース方式の各フィールドと文字情報等の挿入位置を示す図である。
図２は、本発明を適用する対象となるビデオ信号処理回路の一例を示す図である。
図３は、ＭＰＥＧ２コーデック及び接続されるメモリの構成を示すブロック図である。
図４は、ＣＰＵがフレームのスキップ・リピート処理に応じてＣＣＤに施す処理を示すフローチャートである。
図５Ａ乃至図５Ｅは、ビデオデータのフレームとクローズドキャプションデータとの対応について本発明と従来技術との比較を示す図である。
【発明を実施するための最良の形態】
以下に、本発明の実施例を添付の図面を用いて詳細に説明する。
図２は、本発明を適用する対象となるビデオ信号処理回路の一例を示す図である。
図２のビデオ信号処理回路１０は、ＭＰＥＧ２コーデック１１、ＣＰＵ＆インターフェース１２、データ格納装置１３、ＮＴＳＣデコーダ１４、オーディオＡＤＣ１５、オーディオＤＡＣ１６、及びＮＴＳＣエンコーダ１７を含む。ここでＡＤＣはアナログ・トゥー・デジタル変換器であり、ＤＡＣはデジタル・トゥー・アナログ変換器である。
例えばテレビジョン放送により供給されたアナログ・ビデオ信号とアナログ・オーディオ信号とが、それぞれＮＴＳＣデコーダ１４とオーディオＡＤＣ１５とに入力される。ＮＴＳＣデコーダ１４は、アナログ・ビデオ信号をデジタル・ビデオ信号に変換して、ＭＰＥＧ２コーデック１１に供給する。オーディオＡＤＣ１５は、アナログ・オーディオ信号をデジタル・オーディオ信号に変換して、ＭＰＥＧ２コーデック１１に供給する。
ＭＰＥＧ２コーデック１１は、データが供給されるフレームレートに従ってデジタル・ビデオ信号をフレームメモリに一時的に格納する。またＭＰＥＧ２コーデック１１は、自らが要求するフレームレートに従ってフレームメモリから１フレーム分のデータを読み出す。この動作により、要求フレームレートが供給フレームレートよりも速い場合には同一のフレームを繰り返し読み出すことになり、また要求フレームレートが供給フレームレートよりも遅い場合には途中でフレームがとばされることになる。
ＭＰＥＧ２コーデック１１は、フレームメモリから読み出したビデオデータを符号化し、別経路で符号化されたオーディオデータと多重化し、圧縮されたＭＰＥＧ２ストリームとしてＣＰＵ＆インターフェース１２に供給する。ＣＰＵ＆インターフェース１２は、供給されたストリームをデータ格納装置１３に転送する。データ格納装置１３は、例えばハードディスクドライブやＤＶＤドライブ等であり、ビデオデータ及びオーディオデータからなるストリームを記憶媒体に格納する。
再生等の復号化時には、ＣＰＵ＆インターフェース１２がデータ格納装置１３からビデオデータ及びオーディオデータを含むストリームを読み出し、ビデオデータ及びオーディオデータを分離し、それぞれのデータを復号化する。復号化されたオーディオデータはオーディオＤＡＣ１６によりアナログ・オーディオ信号に変換される。また復号化されたビデオデータはＮＴＳＣエンコーダ１７によりアナログ・ビデオ信号に変換される。
図３は、ＭＰＥＧ２コーデック１１及び接続されるメモリの構成を示すブロック図である。
図３のＭＰＥＧ２コーデック１１は、ＲＡＭ２１に接続される。ＲＡＭ２１は、ビデオ信号をフレーム毎に格納するフレームメモリ２１Ａ及びクローズドキャプションデータ（ＣＣＤ）を格納するＣＣＤテーブル２１Ｂを含む。
図３のＭＰＥＧ２コーデック１１は、フレームシンクロナイザ３１、ＣＣＤスライサ３２、ＣＰＵ３３、ＭＰＥＧ２ビデオエンコーダ３４、ＭＰＥＧ１オーディオエンコーダ３５、ＭＰＥＧ２マルチプレクサ３６、ＭＰＥＧ２デマルチプレクサ３７、ＭＰＥＧ２ビデオデコーダ３８、及びＭＰＥＧ１オーディオデコーダ３９を含む。
フレームシンクロナイザ３１は、入力されたデジタルビデオ信号を、ＣＣＤスライサ３２を介してＲＡＭ２１のフレームメモリ２１Ａに書き込む。フレームメモリ２１Ａは２バンク構成となっており、各バンクは１フレーム分のメモリ容量を有し、１フレーム分のビデオデータを格納する。フレームシンクロナイザ３１は、入力ビデオ信号をフレームメモリ２１Ａの２つのバンクに交互に書き込む。１つのバンクに対する１フレーム分のビデオデータの書き込みが終了すると、ＣＰＵ３３に対して割り込みを発行する（フレーム割り込み）。
またフレームシンクロナイザ３１は、ＭＰＥＧ２ビデオエンコーダ３４からの要求に応答して、フレームメモリ２１Ａからビデオデータを１フレーム分読み出して、読み出したビデオデータをＭＰＥＧ２ビデオエンコーダ３４に転送する。この際にビデオデータを１フレーム分読み出す対象となる転送元のバンクは、時間的に古いビデオデータが書き込まれているバンクである。従って、フレームメモリ２１Ａに格納されている２つのフレームのうち、先に格納されたものが常に先に転送される。
外部から入力されるビデオ信号と、ＭＰＥＧ２ビデオエンコーダ３４の要求は同期していない。従って、外部からの入力ビデオ信号のフレームレートとＭＰＥＧ２ビデオエンコーダ３４が要求するフレームレートとには、若干のずれが生じる場合がある。この場合であっても、上記のように、フレームシンクロナイザ３１がＭＰＥＧ２ビデオエンコーダ３４の要求に応答して２つのフレームデータのうち常に古い方を読み出すように動作することで、フレームレートのずれは吸収される。即ち、ＭＰＥＧ２ビデオエンコーダ３４の要求レートが高い場合は、結果的にフレームをとばす処理（スキップ処理）が実行され、またＭＰＥＧ２ビデオエンコーダ３４の要求レートが低い場合は、結果的に同じフレームを転送する処理（リピート処理）が実行されることになる。
フレームシンクロナイザ３１は、スキップ処理又はリピート処理が実行されたことを検知し、何れの処理が実行されたかを示すデータを、フレームシンクロナイザ内部のレジスタにフレーム転送開始時に格納する。またフレームシンクロナイザ３１は、ＭＰＥＧ２ビデオエンコーダ３４にフレームを転送する際、フレームの先頭データの転送を開始した時点（スキップ・リピート時はレジスタセット後）で、ＣＰＵ３３に割り込みをかける（エンコード開始割り込み）。ＣＰＵ３３は、この割り込みに応答して上記レジスタからスキップ処理又はリピート処理を示すデータを読むことにより、何れの処理が実行されたかを知ることができる。
ＣＣＤスライサ３２は、入力されたビデオ信号の各フィールドから１６ビットのＣＣＤ（クローズドキャプションデータ）を抽出し、抽出したＣＣＤを内部レジスタに保持する。また、ＣＣＤを検出できたか否かを示すレジスタも設けられる。ＣＰＵ３３は、フレーム割り込みに応答してこれらのレジスタを読むことにより、ＣＣＤの有無や両フィールドのＣＣＤを抽出し、ＣＰＵ３３のワークメモリ内に格納する。ＣＰＵ３３は、フレームのスキップ・リピート処理に応じてＣＣＤに所定の処理を施した後に、ＲＡＭ２１の所定の領域に確保されているＣＣＤテーブル２１ＢにＣＣＤデータを書き込む。なおこの書き込みのタイミングは、エンコード開始割り込みに応答するタイミングとなる。
ＭＰＥＧ２ビデオエンコーダ３４は、フレームシンクロナイザ３１によりフレームメモリ２１Ａから転送される各フレームのビデオデータを順次符号化し、ＭＰＥＧ２ビデオストリームを生成する。またＭＰＥＧ２ビデオエンコーダ３４は更に、ＣＣＤテーブル２１Ｂに保持されているＣＣＤを、順にＭＰＥＧ２ビデオストリーム中に挿入する。
ＭＰＥＧ１オーディオエンコーダ３５は、外部から供給されるオーディオデータを符号化し、ＭＰＥＧ２マルチプレクサ３６に供給する。ＭＰＥＧ２マルチプレクサ３６は、ＭＰＥＧ２ビデオエンコーダ３４から供給されるＭＰＥＧ２ビデオストリームとＭＰＥＧ１オーディオエンコーダ３５から供給されるＭＰＥＧ１オーディオストリームを多重化し、ＭＰＥＧ２ＰＳ／ＴＳストリームとして外部に出力する。
ＭＰＥＧ２デマルチプレクサ３７は、外部から入力されるＭＰＥＧ２ＰＳ／ＴＳストリームをビデオストリームとオーディオストリームとに分離して、ＭＰＥＧ２ビデオデコーダ３８とＭＰＥＧ１オーディオデコーダ３９とに供給する。ＭＰＥＧ２ビデオデコーダ３８は、ビデオストリームを復号化して、ビデオ出力として外部に供給する。ＭＰＥＧ１オーディオデコーダ３９は、オーディオストリームを復号化して、オーディオ出力として外部に供給する。
図４は、ＣＰＵ３３がフレームのスキップ・リピート処理に応じてＣＣＤに施す処理を示すフローチャートである。この処理は、上述のようにＣＰＵ３３がＣＣＤテーブル２１ＢにＣＣＤデータを書き込む際に実行される。
まずスキップ処理及びリピート処理の何れも実行されなかった場合（通常通りにフレームが転送された場合）の処理について説明する。
図４のステップＳＴ１で、ＣＰＵ３３は、フレームシンクロナイザ３１内部のレジスタ（スキップリピートレジスタ）からスキップ処理又はリピート処理を示すデータを読み出す。
ステップＳＴ２で、ＣＰＵ３３は、スキップリピートレジスタの内容がリピート処理を示すか否かを判定する。リピート処理ではない通常の場合であるので、ステップＳＴ４に進む。
ステップＳＴ４で、ＣＰＵ３３は、スキップリピートレジスタの内容がスキップ処理を示すか否かを判定する。スキップ処理ではない通常の場合であるので、ステップＳＴ６に進む。
ステップＳＴ６で、ＣＰＵ３３は、Ｎが０以上であるか否かを判定する。ここでＮは初期値が０であり、スキップ処理される度に１ずつインクリメントされるカウント値である（ステップＳＴ５）。Ｎが０以上の場合は後程説明することとし、ここではＮは０であるとする。
ステップＳＴ８で、ＣＰＵ３３は、ＣＣＤテーブル２１Ｂ（ＣＣＤ挿入レジスタ）にデータＡを書き込む。ここでデータＡとは、ＣＰＵワークメモリ領域に保持されている最も古いＣＣＤである。
次にステップＳＴ１０で、ＣＰＵ３３のワークメモリ領域からデータＡを削除する。
以上のようにして、通常通りにフレームが転送された場合には、フレームの順番どおりに、ＣＣＤがＣＰＵ３３のワークメモリ領域からＣＣＤテーブル２１Ｂに転送される。
次にリピート処理が実行された場合の処理について説明する。
図４のステップＳＴ１で、ＣＰＵ３３は、フレームシンクロナイザ３１内部のレジスタ（スキップリピートレジスタ）からスキップ処理又はリピート処理を示すデータを読み出す。
ステップＳＴ２で、ＣＰＵ３３は、スキップリピートレジスタの内容がリピート処理を示すか否かを判定する。これ場合はリピート処理を示すので、ステップＳＴ３に進む。
ステップＳＴ３において、ＣＰＵ３３は、ＣＣＤテーブル２１Ｂ（ＣＣＤ挿入レジスタ）にＮＵＬＬ（データ無しを示すコード）を書き込む。
次にステップＳＴ１０で、ＣＰＵ３３のワークメモリ領域からデータＡを削除する。
以上のようにして、あるフレームがリピートされた場合には、リピートされたフレームについて対応するＣＣＤをリピートするのではなく、ＮＵＬＬを書き込むこととする。これによりリピートされたフレームの文字データが繰り返し表示されることを避けることができる。
なおリピート処理時にＮＵＬＬを書き込む動作は、フレームと文字データとの対応を正しいタイミング関係に保つために必要となる。即ち、リピート処理時にＮＵＬＬを書き込んでおかないと、本来は次のフレームに対応すべき文字データが、リピート処理によって繰り返されたフレームに対応付けられることになってしまう。上記のようにリピート処理時にＮＵＬＬを書き込むことで、フレームと文字データとの対応を正しく保つことができる。
ここで、リピート処理時にＮＵＬＬを書き込む動作は、必ずしもリピート処理を実行したフレームの時に行う必要は無い。リピート処理を実行した時には何も書き込むことなく、リピート処理が実行された旨を記憶しておき、後続するフレームの何れかにおいて適当なタイミングでＮＵＬＬを書き込むようにしてもよい。このような動作によっても、リピート処理によりずれたフレームと文字データとの対応関係を正しいタイミング関係に戻すことができる。また或いは、予め余計なＮＵＬＬを書き込んでおいて、リピート処理を実行した時には何も書き込まないようにしてもよい。即ち、予めタイミングをずらしておいて、リピート処理を実行した時に正しいタイミングに戻すようにしてもよい。何れの方法を取るにしても、重要なのはリピート処理の回数と同一の数のＮＵＬＬを何れかのタイミングで挿入することで、長い時間間隔で見たときにフレームと文字データとの対応を正しく保つことである。
次にスキップ処理が実行された場合の処理について説明する。
図４のステップＳＴ１で、ＣＰＵ３３は、フレームシンクロナイザ３１内部のレジスタ（スキップリピートレジスタ）からスキップ処理又はリピート処理を示すデータを読み出す。
ステップＳＴ２で、ＣＰＵ３３は、スキップリピートレジスタの内容がリピート処理を示すか否かを判定する。リピート処理ではないスキップ処理の場合であるので、ステップＳＴ４に進む。
ステップＳＴ４で、ＣＰＵ３３は、スキップリピートレジスタの内容がスキップ処理を示すか否かを判定する。この場合はスキップ処理であるので、ステップＳＴ５に進む。
ステップＳＴ５で、カウント値Ｎを１だけ増加させる。前述のようにＮは初期値が０であり、スキップ処理される度に１ずつインクリメントされるカウント値である
ステップＳＴ６で、ＣＰＵ３３は、Ｎが０以上であるか否かを判定する。この場合Ｎは０以上であり、ステップＳＴ７に進む。
ステップＳＴ７で、ＣＰＵ３３は、ＣＰＵワークメモリ領域の最も古いＣＣＤであるデータＡがＮＵＬＬであるか否かを判定する。ここで例えば字幕データの場合には、ＣＣＤのデータレートは通常の会話の文字のデータレートよりも遥かに高いので、あるフレームに附随するＣＣＤはＮＵＬＬデータであることが頻繁にあると考えて良い。ＮＵＬＬデータでない場合には、ステップＳＴ８に進む。
ステップＳＴ８で、ＣＰＵ３３は、ＣＣＤテーブル２１Ｂ（ＣＣＤ挿入レジスタ）にデータＡを書き込む。
次にステップＳＴ１０で、ＣＰＵ３３のワークメモリ領域からデータＡを削除する。
なおステップＳＴ７でＣＰＵワークメモリ領域の最も古いＣＣＤであるデータＡがＮＵＬＬであると判断された場合には、ステップＳＴ９でＮが１減少されて、データＡ（ＮＵＬＬ）をＣＣＤテーブル２１Ｂに書き込むことなく、ステップＳＴ１０でデータＡを削除する。従って、フレームがスキップされた場合であっても、対応するＣＣＤが不要なデータ（ＮＵＬＬ）である場合には、そのＣＣＤを破棄することにより、フレームとＣＣＤとのタイミング関係を正しい関係に保つことができる。
フレームがスキップされ、対応するＣＣＤが必要なデータである場合（ステップＳＴ７でＮの場合）には、ステップＳＴ８でＣＣＤを書き込むことになる。従って、フレームとＣＣＤとのタイミング関係がずれることになる。この場合には、ステップＳＴ９が実行されないので、Ｎは０以上の値に留まることになる。その後、スキップ処理及びリピート処理の何れも実行されなかった場合（通常通りにフレームが転送された場合）が発生すると、ステップＳＴ６でＮが０以上としてステップＳＴ７が実行される。ステップＳＴ７において、ワークメモリ領域の最も古いＣＣＤであるデータＡがＮＵＬＬであると判定される場合には、そのＣＣＤを破棄することにより、フレームとＣＣＤとのタイミングを正しい関係に戻すことができる。なお複数回スキップ処理が実行されＮが大きな数となっている場合には、１回のＣＣＤの破棄でタイミングが正しい関係に戻るのではなく、複数回の破棄が繰り返されて初めてタイミングが正しい関係に戻ることになる。
以上のようにして、スキップ処理が実行された場合であっても、必要なＣＣＤをワークメモリ領域からＣＣＤテーブル２１Ｂに書き込むことで、字幕の文字が飛ばされることを防ぐことができる。またフレームとＣＣＤとのタイミングを考慮しながら、ＮＵＬＬデータを適宜スキップすることで、フレームとＣＣＤとのタイミングを正しい関係に維持或いは戻すことができる。
図５Ａ乃至図５Ｅは、本発明と従来技術との比較を示す図である。
図５Ａは、入力として外部から供給されるビデオデータのフレーム「画像」及びクローズドキャプションデータ「ＣＣＤ」との関係を示す図である。図示されるように画像１にはＣＣＤ（Ａ，Ｂ）が挿入されており、画像２にはＣＣＤ（Ｃ，Ｄ）、画像３にはＣＣＤ（Ｅ，Ｆ）、画像４にはＣＣＤ（Ｇ，Ｈ）が挿入されている。
図５Ｂは、フレーム２がスキップされた場合に従来得られるビデオストリームを示す図である。図に示されるように、画像２がスキップされるのと同時にＣＣＤ（Ｃ，Ｄ）も飛ばされてしまい、本来「ＡＢＣＤＥＦＧＨ」となるべき字幕が「ＡＢＥＦＧＨ」となってしまう。
図５Ｃは、フレーム２がスキップされた場合に本発明により得られるビデオストリームを示す図である。図に示されるように、画像２をスキップしても、対応するＣＣＤ（Ｃ，Ｄ）を破棄することなくデータ保持するので、本来「ＡＢＣＤＥＦＧＨ」となるべき字幕が正しく表示されることになる。
図５Ｄは、フレーム２がリピートされた場合に従来得られるビデオストリームを示す図である。図に示されるように、画像２がリピートされるのと同時にＣＣＤ（Ｃ，Ｄ）もリピートされてしまう。この結果、本来「ＡＢＣＤＥＦＧＨ」となるべき字幕が「ＡＢＣＤＣＤＥＦＧＨ」となってしまう。
図５Ｅは、フレーム２がリピートされた場合に本発明により得られるビデオストリームを示す図である。図に示されるように、画像２をリピートしても、対応するＣＣＤ（Ｃ，Ｄ）をリピートすることなく処理するので、本来「ＡＢＣＤＥＦＧＨ」となるべき字幕が正しく表示されることになる。
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
例えば本実施例では、スキップ処理及びリピート処理はハードウエアが検出するものとしたが、フレーム割り込みとエンコード開始割り込みの回数をカウントして比較することで、ＣＰＵによるソフトフェア処理で検出してもよい。
また本実施例では、ＣＣＤはハードウエアが検出しているが、フレームメモリ内に保持された画像データをＣＰＵが直接読むことにより、ＣＰＵによるソフトフェア処理で検出してもよい。
また本実施例は、クローズドキャプションを例として説明したが、本発明は字幕情報だけでなく、テスト信号、文字放送情報、番組表情報、コピーガード信号等、フレーム毎にブランキング期間等に挿入される情報一般に適用可能なものである。
また本実施例では、スキップされたフレームの付加データ（ＣＣＤ）がＮＵＬＬであるか否かを判断して、ＮＵＬＬの場合には該付加データもスキップする構成としたが、スキップされたフレームの付加データが重要であるか否かを判断して、重要でない場合には該付加データもスキップする構成としてよい。あるデータが重要であるか否かは、付加情報の種類（番組表情報、コピーガード信号等の種類）に依存するので、付加情報の種類に応じて予めスキップ可能なデータ（重要度の低いデータ）及びスキップ不可能なデータ（重要度の高いデータ）を決めておけばよい。
【図２】
【図３】
【図４】
【技術分野】
本発明は、一般にビデオ信号処理回路に関し、詳しくは字幕情報等のデータが挿入されたビデオ信号を符号化等するビデオ信号処理回路に関する。
【背景技術】
最近のテレビジョン信号には、クローズドキャプション等の字幕情報や、文字放送情報、番組表情報、更にはコピーガード信号等が含まれている。これらの情報及び信号は、例えばインターレース方式のビデオ信号であれば、トップフィールドとボトムフィールドとにおいて、画像フィールド上部に位置する複数の水平ライン部分に挿入される。
図１Ａ及び１Ｂは、ＮＴＳＣ方式におけるインターレース方式の各フィールドと文字情報等の挿入位置を示す図である。
図１Ａはトップフィールドを示し、図１Ｂはボトムフィールドを示す。図１Ａに示されるように、トップフィールドはライン１からライン２６３までの水平走査線よりなる。この２６３本の水平走査線のうちでフィールド上部のライン１からライン２１までが、垂直帰線期間に対応する画面に表示されないブランキング期間であり、ここに垂直同期パルスが挿入される。ブランキング期間には更に、テスト信号、字幕情報、文字放送情報、番組表情報、コピーガード信号等を挿入できる。同様に、図１Ｂに示されるボトムフィールドはライン２６４からライン５２５までの水平走査線よりなり、このうちフィールド上部のライン２６４からライン２８４までがブランキング期間であり、ここに字幕情報等を挿入することができる。
クローズドキャプション方式の文字データは、トップフィールドのライン２１及びボトムフィールドのライン２８４に、各フィールド１６ビットのデータとして挿入される。この１６ビットのうちで、２ビットはパリティービットとして用いられる。各フレーム毎に例えば一文字分挿入されている文字データを抽出して複数文字からなる一纏めの字幕とし、制御情報により指定された期間、映像情報に重畳して表示することで、映画等の字幕を作成することができる。
例えばテレビジョン放送によりアナログ信号として供給されたビデオ＆オーディオ信号をデジタル信号として録画する場合、ビデオ＆オーディオ信号をＮＴＳＣデコーダ及びオーディオＤＡＣ（デジタル・アナログ・コンバータ）によってデジタル信号に変換する。変換後のデジタル信号を、ＭＰＥＧ２コーデックに入力して符号化することで、ＭＰＥＧ２ＰＳ若しくはＭＰＥＧ２ＴＳ方式のストリームに圧縮する。圧縮されたストリームは、ＭＰＥＧ２コーデックのストリーム専用ポートより出力され、ＣＰＵにより録画デバイスへＤＭＡ転送され格納される。
この際、ＭＰＥＧ２コーデックにより符号化されたビデオフレームのライン２１及びライン２８４に挿入されている文字データは、ＭＰＥＧ２コーデックにより抽出されて、上記ストリーム中に挿入される。
一般に、ＮＴＳＣデコーダから出力されるデジタルデータのクロック周波数（即ちアナログ信号の供給速度）と、ＭＰＥＧ２コーデックの動作クロックの周波数（即ち符号化の速度）とには僅かながらずれがある。このデータ供給速度と符号化速度とのずれをなくすために、ＮＴＳＣデコーダから出力される各フレームのデジタルデータを一旦バッファに格納し、バッファから順次フレームデータを読み出して符号化する構成が用いられる。このようにバッファを設けた上で、データ供給速度と符号化速度の違いを随時吸収するために、ＭＰＥＧ２コーデックが必要に応じてあるフレームをスキップしたり、あるフレームをリピートしたりして符号化する。
このようにして符号化処理で速度の違いを吸収するが、文字データ等はビデオ信号の各フィールドに順番に挿入されているために、フレームがスキップされたりリピートされたりすると、データが欠落したり同一データが２個続いたりすることになる。即ちリピート処理された場合、本来は「ＴＥＳＴ」という字幕のはずが、同一データが２個続くことにより例えば「ＴＥＥＳＴ」となってしまう。またスキップ処理された場合、本来は「ＴＥＳＴ」という字幕のはずが、あるデータが欠落して例えば「ＴＥＴ」となってしまう。
以上を鑑みて、文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ信号を処理する際に、文字情報等の一貫性を損うことなく信号の供給速度と処理速度の違いを吸収することが望ましい。
【特許文献１】 特許文献１ 特表平９−５０１８０８号公報
【特許文献２】 特許文献２ 特開２００１−２４９８３号公報
【特許文献３】 特許文献３ 特開２００１−６９４３９号公報
【特許文献２】 特許文献２ 特開平１１−７５１１３号公報
【発明の開示】
本発明は、上記関連技術の一つ又は複数の問題点を解決するビデオ信号処理回路を提供することを一般的な目的とする。
また本発明は、文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ信号を処理する際に、文字情報等の一貫性を損うことなく信号の供給速度と処理速度の違いを吸収することが可能なビデオ信号処理回路を提供することを更なる具体的な目的とする。
上記目的を達成するために、本発明によるビデオ信号処理回路は、フレーム毎に付加情報が対応付けられたデジタルビデオ信号の各フレームを第１のレートで受け取り格納するフレームメモリと、該フレームメモリから該デジタルビデオ信号の各フレームを第２のレートで読み出すフレーム同期ユニットと、該フレーム同期ユニットが該デジタルビデオ信号の同一のフレームを繰り返し読み出した場合に該付加情報を繰り返すことなく、また該フレーム同期ユニットが該デジタルビデオ信号のあるフレームをスキップして読み出した場合に該付加情報をスキップすることなく、該付加情報を該フレーム同期ユニットが読み出した該デジタルビデオ信号に対応付ける処理ユニットを含むことを特徴とする。
上記ビデオ信号処理回路によれば、第１のレートと第２のレートとの違いによりフレームが繰り返し読み出される場合又はフレームがスキップして読み出される場合であっても、文字情報等の付加情報については繰り返すことも又スキップすることもなくビデオストリームに対応付けるように処理される。従って、文字情報等がフレーム毎又はフィールド毎に挿入されたビデオ信号を処理する際に、文字情報等の一貫性を損うことなく信号の供給速度と処理速度の違いを吸収することが可能となる。
【図面の簡単な説明】
図１Ａ及び１Ｂは、インターレース方式の各フィールドと文字情報等の挿入位置を示す図である。
図２は、本発明を適用する対象となるビデオ信号処理回路の一例を示す図である。
図３は、ＭＰＥＧ２コーデック及び接続されるメモリの構成を示すブロック図である。
図４は、ＣＰＵがフレームのスキップ・リピート処理に応じてＣＣＤに施す処理を示すフローチャートである。
図５Ａ乃至図５Ｅは、ビデオデータのフレームとクローズドキャプションデータとの対応について本発明と従来技術との比較を示す図である。
【発明を実施するための最良の形態】
以下に、本発明の実施例を添付の図面を用いて詳細に説明する。
図２は、本発明を適用する対象となるビデオ信号処理回路の一例を示す図である。
図２のビデオ信号処理回路１０は、ＭＰＥＧ２コーデック１１、ＣＰＵ＆インターフェース１２、データ格納装置１３、ＮＴＳＣデコーダ１４、オーディオＡＤＣ１５、オーディオＤＡＣ１６、及びＮＴＳＣエンコーダ１７を含む。ここでＡＤＣはアナログ・トゥー・デジタル変換器であり、ＤＡＣはデジタル・トゥー・アナログ変換器である。
例えばテレビジョン放送により供給されたアナログ・ビデオ信号とアナログ・オーディオ信号とが、それぞれＮＴＳＣデコーダ１４とオーディオＡＤＣ１５とに入力される。ＮＴＳＣデコーダ１４は、アナログ・ビデオ信号をデジタル・ビデオ信号に変換して、ＭＰＥＧ２コーデック１１に供給する。オーディオＡＤＣ１５は、アナログ・オーディオ信号をデジタル・オーディオ信号に変換して、ＭＰＥＧ２コーデック１１に供給する。
ＭＰＥＧ２コーデック１１は、データが供給されるフレームレートに従ってデジタル・ビデオ信号をフレームメモリに一時的に格納する。またＭＰＥＧ２コーデック１１は、自らが要求するフレームレートに従ってフレームメモリから１フレーム分のデータを読み出す。この動作により、要求フレームレートが供給フレームレートよりも速い場合には同一のフレームを繰り返し読み出すことになり、また要求フレームレートが供給フレームレートよりも遅い場合には途中でフレームがとばされることになる。
ＭＰＥＧ２コーデック１１は、フレームメモリから読み出したビデオデータを符号化し、別経路で符号化されたオーディオデータと多重化し、圧縮されたＭＰＥＧ２ストリームとしてＣＰＵ＆インターフェース１２に供給する。ＣＰＵ＆インターフェース１２は、供給されたストリームをデータ格納装置１３に転送する。データ格納装置１３は、例えばハードディスクドライブやＤＶＤドライブ等であり、ビデオデータ及びオーディオデータからなるストリームを記憶媒体に格納する。
再生等の復号化時には、ＣＰＵ＆インターフェース１２がデータ格納装置１３からビデオデータ及びオーディオデータを含むストリームを読み出し、ビデオデータ及びオーディオデータを分離し、それぞれのデータを復号化する。復号化されたオーディオデータはオーディオＤＡＣ１６によりアナログ・オーディオ信号に変換される。また復号化されたビデオデータはＮＴＳＣエンコーダ１７によりアナログ・ビデオ信号に変換される。
図３は、ＭＰＥＧ２コーデック１１及び接続されるメモリの構成を示すブロック図である。
図３のＭＰＥＧ２コーデック１１は、ＲＡＭ２１に接続される。ＲＡＭ２１は、ビデオ信号をフレーム毎に格納するフレームメモリ２１Ａ及びクローズドキャプションデータ（ＣＣＤ）を格納するＣＣＤテーブル２１Ｂを含む。
図３のＭＰＥＧ２コーデック１１は、フレームシンクロナイザ３１、ＣＣＤスライサ３２、ＣＰＵ３３、ＭＰＥＧ２ビデオエンコーダ３４、ＭＰＥＧ１オーディオエンコーダ３５、ＭＰＥＧ２マルチプレクサ３６、ＭＰＥＧ２デマルチプレクサ３７、ＭＰＥＧ２ビデオデコーダ３８、及びＭＰＥＧ１オーディオデコーダ３９を含む。
フレームシンクロナイザ３１は、入力されたデジタルビデオ信号を、ＣＣＤスライサ３２を介してＲＡＭ２１のフレームメモリ２１Ａに書き込む。フレームメモリ２１Ａは２バンク構成となっており、各バンクは１フレーム分のメモリ容量を有し、１フレーム分のビデオデータを格納する。フレームシンクロナイザ３１は、入力ビデオ信号をフレームメモリ２１Ａの２つのバンクに交互に書き込む。１つのバンクに対する１フレーム分のビデオデータの書き込みが終了すると、ＣＰＵ３３に対して割り込みを発行する（フレーム割り込み）。
またフレームシンクロナイザ３１は、ＭＰＥＧ２ビデオエンコーダ３４からの要求に応答して、フレームメモリ２１Ａからビデオデータを１フレーム分読み出して、読み出したビデオデータをＭＰＥＧ２ビデオエンコーダ３４に転送する。この際にビデオデータを１フレーム分読み出す対象となる転送元のバンクは、時間的に古いビデオデータが書き込まれているバンクである。従って、フレームメモリ２１Ａに格納されている２つのフレームのうち、先に格納されたものが常に先に転送される。
外部から入力されるビデオ信号と、ＭＰＥＧ２ビデオエンコーダ３４の要求は同期していない。従って、外部からの入力ビデオ信号のフレームレートとＭＰＥＧ２ビデオエンコーダ３４が要求するフレームレートとには、若干のずれが生じる場合がある。この場合であっても、上記のように、フレームシンクロナイザ３１がＭＰＥＧ２ビデオエンコーダ３４の要求に応答して２つのフレームデータのうち常に古い方を読み出すように動作することで、フレームレートのずれは吸収される。即ち、ＭＰＥＧ２ビデオエンコーダ３４の要求レートが高い場合は、結果的にフレームをとばす処理（スキップ処理）が実行され、またＭＰＥＧ２ビデオエンコーダ３４の要求レートが低い場合は、結果的に同じフレームを転送する処理（リピート処理）が実行されることになる。
フレームシンクロナイザ３１は、スキップ処理又はリピート処理が実行されたことを検知し、何れの処理が実行されたかを示すデータを、フレームシンクロナイザ内部のレジスタにフレーム転送開始時に格納する。またフレームシンクロナイザ３１は、ＭＰＥＧ２ビデオエンコーダ３４にフレームを転送する際、フレームの先頭データの転送を開始した時点（スキップ・リピート時はレジスタセット後）で、ＣＰＵ３３に割り込みをかける（エンコード開始割り込み）。ＣＰＵ３３は、この割り込みに応答して上記レジスタからスキップ処理又はリピート処理を示すデータを読むことにより、何れの処理が実行されたかを知ることができる。
ＣＣＤスライサ３２は、入力されたビデオ信号の各フィールドから１６ビットのＣＣＤ（クローズドキャプションデータ）を抽出し、抽出したＣＣＤを内部レジスタに保持する。また、ＣＣＤを検出できたか否かを示すレジスタも設けられる。ＣＰＵ３３は、フレーム割り込みに応答してこれらのレジスタを読むことにより、ＣＣＤの有無や両フィールドのＣＣＤを抽出し、ＣＰＵ３３のワークメモリ内に格納する。ＣＰＵ３３は、フレームのスキップ・リピート処理に応じてＣＣＤに所定の処理を施した後に、ＲＡＭ２１の所定の領域に確保されているＣＣＤテーブル２１ＢにＣＣＤデータを書き込む。なおこの書き込みのタイミングは、エンコード開始割り込みに応答するタイミングとなる。
ＭＰＥＧ２ビデオエンコーダ３４は、フレームシンクロナイザ３１によりフレームメモリ２１Ａから転送される各フレームのビデオデータを順次符号化し、ＭＰＥＧ２ビデオストリームを生成する。またＭＰＥＧ２ビデオエンコーダ３４は更に、ＣＣＤテーブル２１Ｂに保持されているＣＣＤを、順にＭＰＥＧ２ビデオストリーム中に挿入する。
ＭＰＥＧ１オーディオエンコーダ３５は、外部から供給されるオーディオデータを符号化し、ＭＰＥＧ２マルチプレクサ３６に供給する。ＭＰＥＧ２マルチプレクサ３６は、ＭＰＥＧ２ビデオエンコーダ３４から供給されるＭＰＥＧ２ビデオストリームとＭＰＥＧ１オーディオエンコーダ３５から供給されるＭＰＥＧ１オーディオストリームを多重化し、ＭＰＥＧ２ＰＳ／ＴＳストリームとして外部に出力する。
ＭＰＥＧ２デマルチプレクサ３７は、外部から入力されるＭＰＥＧ２ＰＳ／ＴＳストリームをビデオストリームとオーディオストリームとに分離して、ＭＰＥＧ２ビデオデコーダ３８とＭＰＥＧ１オーディオデコーダ３９とに供給する。ＭＰＥＧ２ビデオデコーダ３８は、ビデオストリームを復号化して、ビデオ出力として外部に供給する。ＭＰＥＧ１オーディオデコーダ３９は、オーディオストリームを復号化して、オーディオ出力として外部に供給する。
図４は、ＣＰＵ３３がフレームのスキップ・リピート処理に応じてＣＣＤに施す処理を示すフローチャートである。この処理は、上述のようにＣＰＵ３３がＣＣＤテーブル２１ＢにＣＣＤデータを書き込む際に実行される。
まずスキップ処理及びリピート処理の何れも実行されなかった場合（通常通りにフレームが転送された場合）の処理について説明する。
図４のステップＳＴ１で、ＣＰＵ３３は、フレームシンクロナイザ３１内部のレジスタ（スキップリピートレジスタ）からスキップ処理又はリピート処理を示すデータを読み出す。
ステップＳＴ２で、ＣＰＵ３３は、スキップリピートレジスタの内容がリピート処理を示すか否かを判定する。リピート処理ではない通常の場合であるので、ステップＳＴ４に進む。
ステップＳＴ４で、ＣＰＵ３３は、スキップリピートレジスタの内容がスキップ処理を示すか否かを判定する。スキップ処理ではない通常の場合であるので、ステップＳＴ６に進む。
ステップＳＴ６で、ＣＰＵ３３は、Ｎが０以上であるか否かを判定する。ここでＮは初期値が０であり、スキップ処理される度に１ずつインクリメントされるカウント値である（ステップＳＴ５）。Ｎが０以上の場合は後程説明することとし、ここではＮは０であるとする。
ステップＳＴ８で、ＣＰＵ３３は、ＣＣＤテーブル２１Ｂ（ＣＣＤ挿入レジスタ）にデータＡを書き込む。ここでデータＡとは、ＣＰＵワークメモリ領域に保持されている最も古いＣＣＤである。
次にステップＳＴ１０で、ＣＰＵ３３のワークメモリ領域からデータＡを削除する。
以上のようにして、通常通りにフレームが転送された場合には、フレームの順番どおりに、ＣＣＤがＣＰＵ３３のワークメモリ領域からＣＣＤテーブル２１Ｂに転送される。
次にリピート処理が実行された場合の処理について説明する。
図４のステップＳＴ１で、ＣＰＵ３３は、フレームシンクロナイザ３１内部のレジスタ（スキップリピートレジスタ）からスキップ処理又はリピート処理を示すデータを読み出す。
ステップＳＴ２で、ＣＰＵ３３は、スキップリピートレジスタの内容がリピート処理を示すか否かを判定する。これ場合はリピート処理を示すので、ステップＳＴ３に進む。
ステップＳＴ３において、ＣＰＵ３３は、ＣＣＤテーブル２１Ｂ（ＣＣＤ挿入レジスタ）にＮＵＬＬ（データ無しを示すコード）を書き込む。
次にステップＳＴ１０で、ＣＰＵ３３のワークメモリ領域からデータＡを削除する。
以上のようにして、あるフレームがリピートされた場合には、リピートされたフレームについて対応するＣＣＤをリピートするのではなく、ＮＵＬＬを書き込むこととする。これによりリピートされたフレームの文字データが繰り返し表示されることを避けることができる。
なおリピート処理時にＮＵＬＬを書き込む動作は、フレームと文字データとの対応を正しいタイミング関係に保つために必要となる。即ち、リピート処理時にＮＵＬＬを書き込んでおかないと、本来は次のフレームに対応すべき文字データが、リピート処理によって繰り返されたフレームに対応付けられることになってしまう。上記のようにリピート処理時にＮＵＬＬを書き込むことで、フレームと文字データとの対応を正しく保つことができる。
ここで、リピート処理時にＮＵＬＬを書き込む動作は、必ずしもリピート処理を実行したフレームの時に行う必要は無い。リピート処理を実行した時には何も書き込むことなく、リピート処理が実行された旨を記憶しておき、後続するフレームの何れかにおいて適当なタイミングでＮＵＬＬを書き込むようにしてもよい。このような動作によっても、リピート処理によりずれたフレームと文字データとの対応関係を正しいタイミング関係に戻すことができる。また或いは、予め余計なＮＵＬＬを書き込んでおいて、リピート処理を実行した時には何も書き込まないようにしてもよい。即ち、予めタイミングをずらしておいて、リピート処理を実行した時に正しいタイミングに戻すようにしてもよい。何れの方法を取るにしても、重要なのはリピート処理の回数と同一の数のＮＵＬＬを何れかのタイミングで挿入することで、長い時間間隔で見たときにフレームと文字データとの対応を正しく保つことである。
次にスキップ処理が実行された場合の処理について説明する。
図４のステップＳＴ１で、ＣＰＵ３３は、フレームシンクロナイザ３１内部のレジスタ（スキップリピートレジスタ）からスキップ処理又はリピート処理を示すデータを読み出す。
ステップＳＴ２で、ＣＰＵ３３は、スキップリピートレジスタの内容がリピート処理を示すか否かを判定する。リピート処理ではないスキップ処理の場合であるので、ステップＳＴ４に進む。
ステップＳＴ４で、ＣＰＵ３３は、スキップリピートレジスタの内容がスキップ処理を示すか否かを判定する。この場合はスキップ処理であるので、ステップＳＴ５に進む。
ステップＳＴ５で、カウント値Ｎを１だけ増加させる。前述のようにＮは初期値が０であり、スキップ処理される度に１ずつインクリメントされるカウント値である
ステップＳＴ６で、ＣＰＵ３３は、Ｎが０以上であるか否かを判定する。この場合Ｎは０以上であり、ステップＳＴ７に進む。
ステップＳＴ７で、ＣＰＵ３３は、ＣＰＵワークメモリ領域の最も古いＣＣＤであるデータＡがＮＵＬＬであるか否かを判定する。ここで例えば字幕データの場合には、ＣＣＤのデータレートは通常の会話の文字のデータレートよりも遥かに高いので、あるフレームに附随するＣＣＤはＮＵＬＬデータであることが頻繁にあると考えて良い。ＮＵＬＬデータでない場合には、ステップＳＴ８に進む。
ステップＳＴ８で、ＣＰＵ３３は、ＣＣＤテーブル２１Ｂ（ＣＣＤ挿入レジスタ）にデータＡを書き込む。
次にステップＳＴ１０で、ＣＰＵ３３のワークメモリ領域からデータＡを削除する。
なおステップＳＴ７でＣＰＵワークメモリ領域の最も古いＣＣＤであるデータＡがＮＵＬＬであると判断された場合には、ステップＳＴ９でＮが１減少されて、データＡ（ＮＵＬＬ）をＣＣＤテーブル２１Ｂに書き込むことなく、ステップＳＴ１０でデータＡを削除する。従って、フレームがスキップされた場合であっても、対応するＣＣＤが不要なデータ（ＮＵＬＬ）である場合には、そのＣＣＤを破棄することにより、フレームとＣＣＤとのタイミング関係を正しい関係に保つことができる。
フレームがスキップされ、対応するＣＣＤが必要なデータである場合（ステップＳＴ７でＮの場合）には、ステップＳＴ８でＣＣＤを書き込むことになる。従って、フレームとＣＣＤとのタイミング関係がずれることになる。この場合には、ステップＳＴ９が実行されないので、Ｎは０以上の値に留まることになる。その後、スキップ処理及びリピート処理の何れも実行されなかった場合（通常通りにフレームが転送された場合）が発生すると、ステップＳＴ６でＮが０以上としてステップＳＴ７が実行される。ステップＳＴ７において、ワークメモリ領域の最も古いＣＣＤであるデータＡがＮＵＬＬであると判定される場合には、そのＣＣＤを破棄することにより、フレームとＣＣＤとのタイミングを正しい関係に戻すことができる。なお複数回スキップ処理が実行されＮが大きな数となっている場合には、１回のＣＣＤの破棄でタイミングが正しい関係に戻るのではなく、複数回の破棄が繰り返されて初めてタイミングが正しい関係に戻ることになる。
以上のようにして、スキップ処理が実行された場合であっても、必要なＣＣＤをワークメモリ領域からＣＣＤテーブル２１Ｂに書き込むことで、字幕の文字が飛ばされることを防ぐことができる。またフレームとＣＣＤとのタイミングを考慮しながら、ＮＵＬＬデータを適宜スキップすることで、フレームとＣＣＤとのタイミングを正しい関係に維持或いは戻すことができる。
図５Ａ乃至図５Ｅは、本発明と従来技術との比較を示す図である。
図５Ａは、入力として外部から供給されるビデオデータのフレーム「画像」及びクローズドキャプションデータ「ＣＣＤ」との関係を示す図である。図示されるように画像１にはＣＣＤ（Ａ，Ｂ）が挿入されており、画像２にはＣＣＤ（Ｃ，Ｄ）、画像３にはＣＣＤ（Ｅ，Ｆ）、画像４にはＣＣＤ（Ｇ，Ｈ）が挿入されている。
図５Ｂは、フレーム２がスキップされた場合に従来得られるビデオストリームを示す図である。図に示されるように、画像２がスキップされるのと同時にＣＣＤ（Ｃ，Ｄ）も飛ばされてしまい、本来「ＡＢＣＤＥＦＧＨ」となるべき字幕が「ＡＢＥＦＧＨ」となってしまう。
図５Ｃは、フレーム２がスキップされた場合に本発明により得られるビデオストリームを示す図である。図に示されるように、画像２をスキップしても、対応するＣＣＤ（Ｃ，Ｄ）を破棄することなくデータ保持するので、本来「ＡＢＣＤＥＦＧＨ」となるべき字幕が正しく表示されることになる。
図５Ｄは、フレーム２がリピートされた場合に従来得られるビデオストリームを示す図である。図に示されるように、画像２がリピートされるのと同時にＣＣＤ（Ｃ，Ｄ）もリピートされてしまう。この結果、本来「ＡＢＣＤＥＦＧＨ」となるべき字幕が「ＡＢＣＤＣＤＥＦＧＨ」となってしまう。
図５Ｅは、フレーム２がリピートされた場合に本発明により得られるビデオストリームを示す図である。図に示されるように、画像２をリピートしても、対応するＣＣＤ（Ｃ，Ｄ）をリピートすることなく処理するので、本来「ＡＢＣＤＥＦＧＨ」となるべき字幕が正しく表示されることになる。
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
例えば本実施例では、スキップ処理及びリピート処理はハードウエアが検出するものとしたが、フレーム割り込みとエンコード開始割り込みの回数をカウントして比較することで、ＣＰＵによるソフトフェア処理で検出してもよい。
また本実施例では、ＣＣＤはハードウエアが検出しているが、フレームメモリ内に保持された画像データをＣＰＵが直接読むことにより、ＣＰＵによるソフトフェア処理で検出してもよい。
また本実施例は、クローズドキャプションを例として説明したが、本発明は字幕情報だけでなく、テスト信号、文字放送情報、番組表情報、コピーガード信号等、フレーム毎にブランキング期間等に挿入される情報一般に適用可能なものである。
また本実施例では、スキップされたフレームの付加データ（ＣＣＤ）がＮＵＬＬであるか否かを判断して、ＮＵＬＬの場合には該付加データもスキップする構成としたが、スキップされたフレームの付加データが重要であるか否かを判断して、重要でない場合には該付加データもスキップする構成としてよい。あるデータが重要であるか否かは、付加情報の種類（番組表情報、コピーガード信号等の種類）に依存するので、付加情報の種類に応じて予めスキップ可能なデータ（重要度の低いデータ）及びスキップ不可能なデータ（重要度の高いデータ）を決めておけばよい。
【図２】
【図３】
【図４】
【特許請求の範囲】
【請求項１】
フレーム毎に付加情報が対応付けられたデジタルビデオ信号の各フレームを第１のレートで受け取り格納するフレームメモリと、
該フレームメモリから該デジタルビデオ信号の各フレームを第２のレートで読み出すフレーム同期ユニットと、
該フレーム同期ユニットが該デジタルビデオ信号の同一のフレームを繰り返し読み出した場合に該付加情報を繰り返すことなく、また該フレーム同期ユニットが該デジタルビデオ信号のあるフレームをスキップして読み出した場合に該付加情報をスキップすることなく、該付加情報を該フレーム同期ユニットが読み出した該デジタルビデオ信号に対応付ける処理ユニット
を含むことを特徴とするビデオ信号処理回路。
【請求項２】
該フレーム同期ユニットが該フレームメモリから読み出した該デジタルビデオ信号の各フレームを符号化するビデオエンコーダを更に含むことを特徴とする請求項１記載のビデオ信号処理回路。
【請求項３】
該付加情報は文字情報であることを特徴とする請求項１記載のビデオ信号処理回路。
【請求項４】
該処理ユニットは、該フレーム同期ユニットが該デジタルビデオ信号の同一のフレームを２度続けて読み出した場合に、該２度目に読み出されたフレームに対応する該付加情報をＮＵＬＬデータで置き換えることを特徴とする請求項３記載のビデオ信号処理回路。
【請求項５】
該処理ユニットは、該フレーム同期ユニットが該デジタルビデオ信号のあるフレームをスキップして読み出した場合に、該スキップされたフレームに対応する該付加情報が所定の重要度の低いデータであるときには該対応する該付加情報を破棄し、該対応する該付加情報が所定の重要度の低いデータでないときには該対応する該付加情報を保持することを特徴とする請求項１記載のビデオ信号処理回路。
【請求項６】
該処理ユニットは、該デジタルビデオ信号のあるフレームがスキップされながらも該付加情報をスキップしない場合に、後のフレームにおいて該付加情報が所定の重要度の低いデータであることを検出すると、該後のフレームの該付加情報をスキップすることを特徴とする請求項１記載のビデオ信号処理回路。
【請求項７】
該重要度の低いデータはＮＵＬＬデータであることを特徴とする請求項６記載のビデオ信号処理回路。
【請求項８】
フレーム毎に付加情報が対応付けられたデジタルビデオ信号のフレームがリピートされたか或いはスキップされたかを検出し、
該検出結果に応じて該付加情報を処理する
各段階を含むことを特徴とするビデオ信号処理方法。
【請求項９】
該付加情報を処理する段階は、該デジタルビデオ信号の同一のフレームを２度続けることにより該リピートが検出された場合に、該２度目に読み出されたフレームに対応する該付加情報をＮＵＬＬデータで置き換える段階を含むことを特徴とする請求項８記載のビデオ信号処理方法。
【請求項１０】
該付加情報を処理する段階は、該デジタルビデオ信号のあるフレームがスキップされ該スキップが検出された場合に、該スキップされたフレームに対応する該付加情報が所定の重要度の低いデータであるときには該対応する該付加情報を破棄し、該対応する該付加情報が所定の重要度の低いデータでないときには該対応する該付加情報を保持する段階を含むことを特徴とする請求項８記載のビデオ信号処理方法。
【請求項１】
フレーム毎に付加情報が対応付けられたデジタルビデオ信号の各フレームを第１のレートで受け取り格納するフレームメモリと、
該フレームメモリから該デジタルビデオ信号の各フレームを第２のレートで読み出すフレーム同期ユニットと、
該フレーム同期ユニットが該デジタルビデオ信号の同一のフレームを繰り返し読み出した場合に該付加情報を繰り返すことなく、また該フレーム同期ユニットが該デジタルビデオ信号のあるフレームをスキップして読み出した場合に該付加情報をスキップすることなく、該付加情報を該フレーム同期ユニットが読み出した該デジタルビデオ信号に対応付ける処理ユニット
を含むことを特徴とするビデオ信号処理回路。
【請求項２】
該フレーム同期ユニットが該フレームメモリから読み出した該デジタルビデオ信号の各フレームを符号化するビデオエンコーダを更に含むことを特徴とする請求項１記載のビデオ信号処理回路。
【請求項３】
該付加情報は文字情報であることを特徴とする請求項１記載のビデオ信号処理回路。
【請求項４】
該処理ユニットは、該フレーム同期ユニットが該デジタルビデオ信号の同一のフレームを２度続けて読み出した場合に、該２度目に読み出されたフレームに対応する該付加情報をＮＵＬＬデータで置き換えることを特徴とする請求項３記載のビデオ信号処理回路。
【請求項５】
該処理ユニットは、該フレーム同期ユニットが該デジタルビデオ信号のあるフレームをスキップして読み出した場合に、該スキップされたフレームに対応する該付加情報が所定の重要度の低いデータであるときには該対応する該付加情報を破棄し、該対応する該付加情報が所定の重要度の低いデータでないときには該対応する該付加情報を保持することを特徴とする請求項１記載のビデオ信号処理回路。
【請求項６】
該処理ユニットは、該デジタルビデオ信号のあるフレームがスキップされながらも該付加情報をスキップしない場合に、後のフレームにおいて該付加情報が所定の重要度の低いデータであることを検出すると、該後のフレームの該付加情報をスキップすることを特徴とする請求項１記載のビデオ信号処理回路。
【請求項７】
該重要度の低いデータはＮＵＬＬデータであることを特徴とする請求項６記載のビデオ信号処理回路。
【請求項８】
フレーム毎に付加情報が対応付けられたデジタルビデオ信号のフレームがリピートされたか或いはスキップされたかを検出し、
該検出結果に応じて該付加情報を処理する
各段階を含むことを特徴とするビデオ信号処理方法。
【請求項９】
該付加情報を処理する段階は、該デジタルビデオ信号の同一のフレームを２度続けることにより該リピートが検出された場合に、該２度目に読み出されたフレームに対応する該付加情報をＮＵＬＬデータで置き換える段階を含むことを特徴とする請求項８記載のビデオ信号処理方法。
【請求項１０】
該付加情報を処理する段階は、該デジタルビデオ信号のあるフレームがスキップされ該スキップが検出された場合に、該スキップされたフレームに対応する該付加情報が所定の重要度の低いデータであるときには該対応する該付加情報を破棄し、該対応する該付加情報が所定の重要度の低いデータでないときには該対応する該付加情報を保持する段階を含むことを特徴とする請求項８記載のビデオ信号処理方法。
【国際公開番号】ＷＯ２００５／００２２２４
【国際公開日】平成１７年１月６日（２００５．１．６）
【発行日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願番号】特願２００５−５０３２２５（Ｐ２００５−５０３２２５）
【国際出願番号】ＰＣＴ／ＪＰ２００３／００８２１０
【国際出願日】平成１５年６月２７日（２００３．６．２７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【国際公開日】平成１７年１月６日（２００５．１．６）
【発行日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００３／００８２１０
【国際出願日】平成１５年６月２７日（２００３．６．２７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]