字幕付き映像信号の遅延制御装置及び遅延制御プログラム
【課題】生字幕放送において映像と字幕を時間軸上で完全に同期させて再生することを可能とする。
【解決手段】字幕放送番組の放送波に含まれる字幕付き映像信号は受信部により受信され、字幕信号が抽出される。映像信号は、所定の固定遅延時間で遅延される。また、字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報を含んでいる。字幕遅延部は、入力遅延時間情報に基づいて、字幕ページごとに固定遅延時間から入力遅延時間を減算することにより、可変遅延時間を算出し、字幕信号に応じた可変遅延時間だけ字幕信号を遅延させる。そして、遅延された映像信号と遅延された字幕信号を合成することにより、映像と字幕とが同期した字幕同期映像信号が生成される。
【解決手段】字幕放送番組の放送波に含まれる字幕付き映像信号は受信部により受信され、字幕信号が抽出される。映像信号は、所定の固定遅延時間で遅延される。また、字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報を含んでいる。字幕遅延部は、入力遅延時間情報に基づいて、字幕ページごとに固定遅延時間から入力遅延時間を減算することにより、可変遅延時間を算出し、字幕信号に応じた可変遅延時間だけ字幕信号を遅延させる。そして、遅延された映像信号と遅延された字幕信号を合成することにより、映像と字幕とが同期した字幕同期映像信号が生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、字幕放送などの字幕付き映像信号に基づいて、映像とその映像に対応する字幕とを時間的に同期させて再生する技術に関する。
【背景技術】
【０００２】
ニュースなどの生のテレビ番組では、聴覚障害者向けサービスとして字幕を放送することが増えている。この「生」の字幕放送（「生字幕放送」、「リアルタイム字幕放送」などと呼ばれる。）では、時として映像に対して字幕が数秒〜数十秒遅れて放送され、視聴者が違和感を覚えることがある。
【０００３】
アナログ放送では、映像信号の垂直帰線消去期間（VBI:Vertical Blanking Interval）に字幕データを重畳している。通常の字幕付き録画番組では、予め字幕を制作しておき、映像と完全に合ったタイミングで字幕データをページ単位で送出することができる。一方、生字幕番組では、字幕の重畳が映像に対して遅れたタイミングで行われる。これは、放送局の字幕入力者が、放送する映像を見ながら字幕文をキー入力し、漢字変換、誤変換訂正などを行った後に初めて字幕を重畳するため、時間的に遅れが生じるからである（以下、この遅れを「字幕遅延」と呼ぶ。）。よって、字幕遅延が大きいと、視聴者は映像が表示されてから数秒後に字幕を見ることになり、違和感を覚えることになる。
【０００４】
このような字幕遅延を補償する手法が例えば特許文献１及び２に提案されている。
【０００５】
【特許文献１】特開２００４−２１５０３３号公報
【特許文献２】特開２００４−２０７８２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は以上の点に鑑みてなされたものであり、生字幕放送において映像と字幕を時間軸上で完全に同期させて再生することを可能とする字幕付き映像信号の遅延制御装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の１つの観点では、字幕付き映像信号の遅延制御装置は、字幕付き映像信号を受信する受信部と、前記字幕付き映像信号から、字幕信号を抽出する抽出部と、前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部と、前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部と、を備え、前記字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報と、を含み、前記字幕遅延部は、字幕ページごとに前記固定遅延時間から前記入力遅延時間を減算することにより、前記可変遅延時間を算出する。
【０００８】
上記の遅延制御装置は、放送局から送信される字幕放送を受信する環境に配置され、例えばＴＶ受信機やＨＤＤレコーダなどに内蔵することができる。字幕放送番組の放送波に含まれる字幕付き映像信号は受信部により受信され、字幕信号が抽出される。映像信号は、所定の固定遅延時間で遅延される。また、字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報を含んでいる。字幕遅延部は、入力遅延時間情報に基づいて、字幕ページごとに固定遅延時間から入力遅延時間を減算することにより、可変遅延時間を算出し、字幕信号に応じた可変遅延時間だけ字幕信号を遅延させる。そして、遅延された映像信号と遅延された字幕信号を合成することにより、映像と字幕とが同期した字幕同期映像信号が生成される。
【０００９】
好適な例では、前記入力遅延時間情報は、アナログテレビジョンにおける文字放送技術基準に規定するページ管理情報内のページデータヘッダ内に含めて伝送される。また、他の好適な例では、前記入力遅延時間情報は、デジタルテレビジョンにおけるＡＲＩＢ技術基準に規定するキャプションデータストリーム内に含めて伝送される。
【００１０】
上記の遅延制御装置の一態様では、前記固定遅延時間は、前記字幕付き映像信号に含まれる前記字幕信号の最大の字幕遅延時間よりも大きく設定される。これにより、ページ毎の入力遅延時間の差を吸収し、全てのページについて映像と字幕とを同期させることができる。
【００１１】
本発明の他の観点では、字幕付き映像／音声再生装置は、上記の字幕付き映像信号の遅延制御装置と、音声信号を受信し、前記固定遅延時間だけ遅延させて遅延音声信号を生成する音声遅延部と、前記字幕同期映像信号及び前記遅延音声信号を再生する再生部と、を備える。上記の字幕付き映像信号の遅延制御装置に加えて、音声信号を映像信号と同じ固定遅延時間で遅延させることにより、生字幕放送番組の字幕と映像及び音声とを同期再生することが可能な再生装置を提供することが可能となる。
【００１２】
本発明のさらに他の観点では、字幕付き映像信号の遅延制御プログラムは、コンピュータ端末により実行されることにより、字幕付き映像信号を受信する受信部、前記字幕付き映像信号から、字幕信号を抽出する抽出部、前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部、前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部、及び、前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部、として前記コンピュータ端末を機能させ、前記字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報と、を含み、前記字幕遅延部は、字幕ページごとに前記固定遅延時間から前記入力遅延時間を減算することにより、前記可変遅延時間を算出する。
【００１３】
上記のプログラムをコンピュータ上で実行することにより、本発明の字幕付き映像信号の遅延制御装置を実現することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の好適な実施形態について説明する。
【００１５】
（字幕放送システム）
図１に、本発明に係る字幕付き映像信号の遅延補償方法を適用した字幕放送システムの例を示す。図１では、放送局１０がユーザ環境５０に対して字幕テレビ放送を行っている。放送局１０内では、字幕放送送出システム２０が字幕付き映像信号を作成し、これを放送波４０に乗せて送出する。ユーザ環境５０では字幕遅延制御装置６０が放送波４０を受信し、字幕信号の遅延制御を行って、映像と字幕とが時間軸上で同期した字幕付き映像信号（「字幕同期映像信号」とも呼ぶ。）と、音声信号とを含む信号５３を生成してＴＶ受信機５２へ供給する。ＴＶ受信機５２は、字幕同期映像信号及び音声信号を再生する。これにより、ユーザは生字幕放送を、映像と字幕とが時間的に同期した状態で視聴することができる。
【００１６】
（字幕遅延）
次に、生字幕放送において生じる字幕遅延について説明する。テレビ等の番組は、事前にＶＴＲなどに収録したパッケージ番組と、ニュースなどの様に生放送の番組に大別される。これらの番組に字幕を付与する場合、パッケージ番組では、映像信号などと字幕信号を一緒にＶＴＲなどに記録し放送する方法と、映像信号などをＶＴＲなどに記録し、放送時に字幕信号を付加する方法があり、それらは共にパッケージ字幕放送番組である。また、ニュース番組など生放送の放送時に、リアルタイムで字幕を付加する生字幕（リアルタイム字幕）放送番組がある。
【００１７】
生字幕放送番組の場合、ＴＶ映像の生放送中に、リアルタイムで字幕を生成し、ＴＶ映像に挿入して放送するため、字幕はＴＶ映像の放送に対して時間的に遅れて表示されることになる。以下、生字幕放送における字幕送出の遅延について簡単に説明する。
【００１８】
ニュースなどの生のテレビ番組で聴覚障害者向けサービスとして字幕を放送することが増えている。この生字幕放送では、時として映像に対して字幕が数秒〜数十秒遅れて放送されることがあり、この遅延が大きいと視聴者が違和感を覚えることがある。
【００１９】
アナログ放送では、映像の垂直帰線消去期間（ＶＢＩ）に字幕データを映像に合わせて重畳している。パッケージ字幕放送番組ではあらかじめ字幕を制作しておき、映像と完全に合ったタイミングで字幕データをページ単位で送出できるが、リアルタイム字幕番組では、図２に示すように字幕の重畳タイミングがリアルタイムでなく、若干遅れたタイミングで行われる。これは、放送局の字幕入力者が、放送される映像を見ながら字幕文をキー入力し、漢字変換、誤変換訂正などを行って字幕データを作成した後で、始めて字幕データを重畳するため、字幕データの送出が映像より遅れるからである。なお、図２において、字幕の入力開始タイミングと、対応する字幕データが重畳されるタイミングとのずれ、即ち、字幕入力による遅延時間（以下、「入力遅延時間」とも呼ぶ。）がΔＴで示されている。映像カット毎に字幕の内容が異なり、それに応じて字幕データの作成に要する時間が異なるため、入力遅延時間ΔＴは映像カット毎に異なったものとなる（ΔＴａ〜ΔＴｃ）。
【００２０】
例えばニュース番組の場合、アナウンサーがニュース記事を読んだときに、その内容を音声認識などにより取得して字幕を生成し、これをＴＶ映像に付加するので、実際にはそのニュース項目に対応する映像及びアナウンサーの音声が終了し、次のニュース項目に移った頃に字幕が挿入されるということもある。
【００２１】
なお、リアルタイム字幕の生成方法としては、アナウンサーの発声に基づいて音声認識を用いる音声認識方式や、放送音声を入力オペレータがキー入力することにより字幕を生成するキーボード方式などが知られている。
【００２２】
このため、生字幕放送番組の字幕付き映像信号中では、映像（フレーム画像）の内容と字幕とが時間的に一致していない。即ち、ある映像に対応する字幕は、当該映像から時間的に数フレームから数百フレーム程度遅れたフレーム画像の信号中に含まれていることになる。
【００２３】
字幕遅延について、図３及び図４を参照して詳しく説明する。通常の字幕付き番組の放送では、予め番組内容に合わせて字幕を制作しておき映像に合ったタイミングで字幕データを映像信号に付加することが可能であるので、映像と字幕のタイミング不一致の問題は生じない。同様に生放送においても、たとえば図３に示すように、ある人物が映像に合わせて話す内容（コメント１、２、・・・）を受信機画面に字幕スーパーで表示する場合、各コメントのはじめから同時に字幕のスーパーが行われるのが望ましい。しかしながら、実際には放送局側の制作現場では、字幕作成者がある人物のコメントを聞き、それを要約しつつ文字列としてキー入力し、漢字変換、誤変換の修正などを行うことにより字幕データが作成される。そうして作成された後、字幕データは、ページ毎の字幕ページデータとして映像信号に付加して放送される。このため、実際には図４のΔＴ１、ΔＴ２、・・のように、受信機ではその作業に要した時間（即ち、入力遅延時間ΔＴ）だけ字幕が遅れて表示されることが避けられない。入力遅延時間ΔＴは字幕のページ内容の長さや複雑さによって異なるが、数秒から十数秒以上にも亘るため、視聴者に違和感や内容の誤解をもたらすことがしばしばある。この字幕の遅延を補償して映像・音声と字幕のタイミングを合わせることにより自然な字幕表示を行う技術が放送事業者や聴力障害者などから待望されている。
【００２４】
（字幕遅延補償）
次に、本発明による字幕遅延補償方法について説明する。図５は、本発明によって字幕遅延補償を行ったときの映像・音声と字幕との時間関係を示す。テレビ受信機内に設けられた字幕遅延補償部は、受信した映像・音声信号を固定遅延時間Ｄfixだけ常時遅延させて表示・出力する。また、ある字幕ページを受信したら、それに付随して伝送される入力遅延時間ΔＴ１、ΔＴ２などの値を用いて、
可変遅延時間（Ｄvar）＝固定遅延時間（Ｄfix）―入力遅延時間（ΔＴ） （１）
の式により、可変遅延時間Ｄvarを計算し、この可変遅延時間Ｄvarだけ、その字幕を遅らせて表示する。これにより映像・音声は実際の放送より一定時間（即ち、固定遅延時間Ｄfix）遅れて出力される。また、字幕１、字幕２はコメント１、コメント２に対して適切に一致したタイミングで（即ち、同期して）映像に合成され、出力される。なお、固定遅延時間Ｄfixは実際の生字幕放送で生じうる最大の入力遅延時間ΔＴより大きく設定する必要がある。
【００２５】
本発明による字幕遅延補償を実現するためには、生字幕番組を放送する局が、字幕のページごとに、その字幕データとともに入力遅延時間ΔＴの情報を放送することが前提とされる。この入力遅延時間情報は、秒単位の時間データでもよく、また適宜の周期で計数したカウンタ値のデータでもよいが、ここでは秒単位を用いた場合を説明する。字幕遅延を補償する場合に必要なタイミング合わせの時間精度は０．５秒程度で十分であり、また最大の入力遅延時間ΔＴは実際の番組の例で２０数秒程度である。そこで、入力遅延時間情報は、例えば０．５秒単位で計数した６ビットのバイナリ値で表すことができる。この場合、表現可能な遅延時間は０秒から０．５秒刻みで３１．５秒までとなり十分な値となる。入力遅延時間情報のデータ構造例を図６に示す。
【００２６】
（入力遅延時間情報の伝送方法）
次に、放送局が入力遅延時間情報を含む字幕付き映像・音声信号を送信する方法について説明する。
【００２７】
入力遅延時間情報を伝送するためには、まず放送局内の生字幕入力装置や字幕送出装置に以下の機能を持たせることが必要となる。
【００２８】
（１）１つ１つの文字列について、字幕入力者が入力開始時に行う特定の操作によって、その瞬間の実時刻（「入力開始時刻」とする）を記憶すること。
【００２９】
（２）字幕入力者が、入力した文字列の漢字変換や内容確認を終わり字幕送出装置への転送を指示したときに、記憶された該入力開始時刻を字幕データに付加して字幕送出装置に伝送すること。
【００３０】
（３）字幕送出装置は、該字幕データを映像信号に重畳して放送する際に、放送時の現在時刻から該入力開始時刻を差し引いた時間を算出し、入力遅延時間情報として放送される情報に多重して放送すること。
【００３１】
図７は、これらの機能による生字幕放送の流れを模式的に示す。図７において、生字幕の制作処理においては、生番組の中で字幕の付加が必要な度に、１台あるいは複数の字幕入力装置から、生字幕の１ページ単位で字幕の文字列データと、その入力を開始した時の時刻データ（「入力開始時刻データ」）とを組み合わせて、入力開始時刻順に字幕送出バッファに送り込む。
【００３２】
これに続く生字幕の送出処理においては、字幕送出装置は、字幕送出バッファにデータが有ったら、視聴者が読みやすい適宜の間隔で、各字幕ページ毎に、送出時の実時刻から入力開始時刻を差し引いた入力遅延時間を０．５秒刻みの６ビットバイナリ値に換算して入力遅延時間情報を生成する。そして、字幕送出装置は、入力遅延時間情報を各ページの文字列データとともに、後述する適宜のフィールドに格納して、字幕放送として映像・音声に多重して放送する。これにより、放送局は、字幕放送中に、各ページ毎の入力遅延時間情報を含めて視聴者の受信機へ送信することができる。
【００３３】
（入力遅延時間情報の格納場所）
次に、本発明による入力遅延時間情報を格納すべき放送信号中の場所について説明する。
【００３４】
図８は、アナログ放送の場合に、本発明による入力遅延時間情報を格納する場所を示す。アナログテレビジョンにおいては、入力遅延時間情報を、例えば図８に示すように、文字放送技術基準におけるページ管理情報内のページデータヘッダ内に含めて伝送することが考えられる。ページデータヘッダ（ＰＡＣＩ ページ管理情報）のＤＢ１５（ページ提示デバイス）のバイトは現在ｂ１、ｂ２以外は未定義であるからその６ビットに、入力遅延時間データ６ビットを格納する。
【００３５】
図９は、デジタル放送の場合に、本発明による入力遅延時間情報を格納する場所を示す。デジタル放送の場合、入力遅延時間を例えば図９に示すように、ＡＲＩＢ技術基準における字幕ＰＥＳで伝送される字幕文データ（caption data）内のＴＭＤに続く６ビットのReservedを変更し、ここに入力遅延時間情報（仮称を「Caption_data_setup_delay」とする）６ビットを格納してbslbf（bit serial lower bit first）で伝送する。
【００３６】
なお、上記はいずれも入力遅延時間情報の格納場所の一例に過ぎず、本発明は入力遅延時間情報をＴＶ信号のいずれかの場所に格納して放送できる限り、その場所の如何に拘わらず実現可能である。
【００３７】
（字幕遅延制御装置）
次に、本発明の字幕遅延補償方法を適用した字幕遅延制御装置の構成について説明する。なお、以下の字幕遅延制御装置は、コンピュータ上で動作する制御プログラムとして構成することが可能である。
【００３８】
字幕遅延制御装置では、映像信号と音声信号はあらかじめ字幕の最大遅延を見込んだ固定遅延時間（Ｄfix）が与えられる。これに対して、字幕信号にはページ単位の可変遅延（Ｄvar）が与えられる。字幕信号に対する可変遅延時間は、上述の式（１）により算出される。入力遅延時間ΔＴは、各字幕ページ毎の字幕入力に伴う遅延時間である。この手法により、字幕ページ毎に字幕遅延時間が異なることに起因して映像及び音声の不連続が生じることが防止される。
【００３９】
まず、アナログ字幕放送の場合の実施例について説明する。図１０はアナログ字幕放送の場合における字幕遅延制御装置の構成を示すブロック図である。図１０において、字幕データ抽出部６１は字幕付き映像信号Ｓvcから字幕データを抽出して字幕可変遅延部６５及び入力遅延時間通出部６６へ供給するとともに、字幕データ抽出後の映像信号を映像固定遅延部６２へ供給する。映像固定遅延部６２は、映像信号を予め決められた固定遅延時間Ｄfixだけ遅延し、画面合成部６３へ供給する。
【００４０】
一方、入力遅延時間抽出部６６は、字幕ページ毎の字幕データから、そこに含まれる入力遅延時間ΔＴを抽出して字幕可変遅延部６５へ供給する。前述の例では、入力遅延時間抽出部６６は、図８に示すページデータヘッダ（ページ管理情報）のＤＢ１５のｂ３〜ｂ６の６ビットから入力遅延時間ΔＴを取得する。
【００４１】
そして、字幕可変遅延部６５は、式（１）に基づいて、字幕ページ毎に可変遅延時間Ｄvarを算出し、その可変遅延時間Ｄvarだけ字幕データを遅延させて字幕画面生成部６４へ出力する。字幕画面生成部６４は、遅延された字幕データから字幕画面を生成し、画面合成部６３へ供給する。
【００４２】
画面合成部６３は、固定遅延時間Ｄfixだけ遅延された映像信号と、可変遅延時間Ｄvarだけ遅延された字幕画面とを合成して表示回路へ出力する。なお、音声信号は、映像信号との同期を維持するため、音声可変遅延部６７により映像信号と同様の固定遅延時間Ｄfixだけ遅延されて音声回路へ出力される。
【００４３】
たとえば固定遅延時間Ｄfixを１５秒に設定した字幕遅延制御装置で、入力遅延時間ΔＴ＝７秒遅れの生字幕ページを受信したときには、可変遅延時間Ｄvar＝１５−７＝８（秒）にセットされる。従って、映像信号及び音声信号は１５秒遅延されて再生されるのに対し、字幕は８秒遅れて再生される。これにより、入力遅延時間ΔＴが補償され、映像信号及び音声信号と字幕とが時間軸上で一致したタイミングで再生される。よって、この方法によれば番組の進行中、映像と音声の連続性は保たれ、字幕ページの遅延は認識されないので視聴上の違和感がない。但し、映像と音声の連続性を確保するためには、固定遅延時間Ｄfixを、放送局から送信される字幕付き映像信号における入力遅延時間ΔＴの最大値よりも大きく設定することが必要となる。
【００４４】
字幕可変遅延部６５が字幕データを遅延させる方法としては、例えば字幕データのデコード開始を入力遅延時間ΔＴだけ待たせる方法、デコードした字幕の画面へのスーパーインポーズを入力遅延時間ΔＴだけ待たせる方法、などがある。
【００４５】
図１０に示す字幕遅延制御装置６０は、上記のように生字幕放送における字幕遅延を補償することに加えて、字幕遅延の無いパッケージ字幕番組を再生することも可能である。その場合には、入力遅延時間ΔＴ＝０であるから、全ての字幕ページで可変遅延時間Ｄvar＝固定遅延時間Ｄfixとなる。即ち、字幕遅延制御装置６０は、現在受信している字幕放送番組が生字幕放送番組である場合には、上述のように映像固定遅延部６２、字幕可変遅延部６５及び音声固定遅延部６７による遅延を有効とする（以下、この状態を「遅延モード」と呼ぶ。）。一方、現在受信している字幕放送番組がパッケージ字幕放送番組である場合、映像固定遅延部６２、字幕可変遅延部６５及び音声固定遅延部６７による遅延をゼロとする（以下、この状態を「非遅延モード」と呼ぶ。）。
【００４６】
ただし、遅延モードと非遅延モードとの間の切り替えの際には、前述と同様に映像と音声の不連続が発生することには注意を要する。この対策としては、遅延モードへの切り替えを生字幕番組の入り口で行うか（「自動遅延モード」）、全番組を遅延モードで見る（「常時遅延モード」）か、などを視聴者が任意に選択できるように字幕遅延制御装置６０を構成すればよい。好適な例としては、視聴者が任意に選択可能なモードとして、「常時遅延モード」、「自動遅延モード」および「遅延補償なし」を設け、ユーザに任意に設定させればよい。「常時遅延モード」では字幕なしの番組を含めて全番組を一定の時間だけ遅延して視聴することになる。この場合は字幕のタイミングだけが操作されるので映像・音声の不連続は一切起こらない。「自動遅延モード」では通常の字幕無し番組及びパッケージ字幕番組は遅延なしで視聴し、生字幕番組に入るときと出るときに自動的に映像・音声の不連続を許容した切り替えを行う。このときは受信者が文字放送の字幕の番組番号を選択したときに「入り」、字幕の番組番号から他の番組番号を選択したときに「出」に切り替えるのが適切な方法である。「遅延補償なし」ではこれらの動作をすべて停止して従来通りの受信形態をとる。即ち、字幕は映像に対して遅れて再生されることになる。
【００４７】
なお、遅延モードへの「入り」の制御時には、固定遅延時間Ｄfixの期間にわたり映像及び音声が無くなるので、視聴者の不安を除くために、不連続対策として別途用意した字幕や音声でたとえば「字幕合わせの起動中です」というような告知を行うことが望ましい。また、同様に遅延モードからの「出」の瞬間には映像及び音声のスキップが生ずるので、「字幕合わせを終了中しました」などの告知を行うことが望ましい。
【００４８】
次に、デジタル字幕放送の場合の実施例について説明する。図１１は、デジタル字幕放送の場合における字幕遅延制御装置の構成を示すブロック図である。字幕遅延制御の手法は、上述のアナログ字幕放送の場合と基本的に同様である。
【００４９】
デジタル字幕放送のＴＳは映像信号、音声信号及び字幕ＰＥＳを含んでおり、ＴＳ固定遅延部１０１及び字幕ＰＥＳ抽出部１０３へ供給される。ＴＳ固定遅延部１０１は、固定遅延Ｄfixを与え、遅延ＴＳデータＤtsdを映像／音声デコード部１０２へ供給する。映像／音声デコード部１０２は、映像データ及び音声データをそれぞれデコードし、固定遅延された音声データＤadを音声回路へ供給するとともに、固定遅延された映像データＤvdを画面合成部１０６へ供給する。
【００５０】
一方、字幕ＰＥＳ抽出部１０３はＴＳから字幕ＰＥＳを抽出し、字幕データ抽出部１０７へ供給する。字幕データ抽出部１０７は、字幕ＰＥＳから字幕データＤｃを抽出し、字幕可変遅延部１０４及び入力遅延時間抽出部１０８へ供給する。入力遅延時間抽出部１０８は、字幕データＤｃから入力遅延時間ΔＴを抽出し、字幕可変遅延部１０４へ供給する。前述の例では、入力遅延時間抽出部１０８は、ＡＲＩＢ技術基準における字幕ＰＥＳで伝送される字幕文データ（caption data）内のＴＭＤに続く６ビットから入力遅延時間ΔＴを取得する。
【００５１】
そして、字幕可変遅延部１０４は、入力遅延時間抽出部１０８から供給された入力遅延時間ΔＴに基づいて可変遅延時間Ｄvarを算出し、その可変遅延時間だけ字幕データを遅延させて字幕データＤcdとして字幕画面生成部１０５へ供給する。字幕画面生成部１０５は、字幕データＤcdから字幕画面データＤccを生成し、画面合成部１０６へ供給する。画面合成部１０６は、固定遅延時間Ｄfixだけ遅延された映像データＤvdと、可変遅延時間Ｄvarだけ遅延された字幕画面とを合成し、表示回路へ供給する。こうして、音声、映像及び字幕が時間軸上で一致した状態で再生される。
【００５２】
なお、ＴＳ固定遅延部１０１及び字幕可変遅延部１０４は、例えば半導体メモリを利用紙、それぞれＦＩＦＯ（First in First Out）バッファとリングバッファを構成することにより実現することができる。また、映像、音声及び字幕のＰＥＳヘッダ拡張部のＰＴＳ（Presentation Time Stamp）を適切に設定することにより、字幕の可変遅延を実現することも可能である。
【図面の簡単な説明】
【００５３】
【図１】本発明に係る字幕遅延制御装置を適用した環境の例を示す。
【図２】字幕の遅延を説明する図である。
【図３】理想的な字幕放送の例を示すタイミングチャートである。
【図４】実際の字幕放送の例を示すタイミングチャートである。
【図５】本発明による字幕放送の例を示すタイミングチャートである。
【図６】入力遅延時間情報のデータ構造例を示す。
【図７】放送局が入力遅延時間情報を含む字幕付き映像・音声信号を送信する方法を模式的に示す。
【図８】アナログ字幕放送における入力遅延時間情報の格納例を示す。
【図９】デジタル字幕放送における入力遅延時間情報の格納例を示す。
【図１０】アナログ字幕放送の場合の字幕遅延制御装置の構成を示す。
【図１１】デジタル字幕放送の場合の字幕遅延制御装置の構成を示す。
【符号の説明】
【００５４】
１０ 放送局、
２０ 字幕放送送出システム、
４０ 放送波、
５０ ユーザ環境、
５２ ＴＶ受信機、
６０、１００ 字幕遅延制御装置
【技術分野】
【０００１】
本発明は、字幕放送などの字幕付き映像信号に基づいて、映像とその映像に対応する字幕とを時間的に同期させて再生する技術に関する。
【背景技術】
【０００２】
ニュースなどの生のテレビ番組では、聴覚障害者向けサービスとして字幕を放送することが増えている。この「生」の字幕放送（「生字幕放送」、「リアルタイム字幕放送」などと呼ばれる。）では、時として映像に対して字幕が数秒〜数十秒遅れて放送され、視聴者が違和感を覚えることがある。
【０００３】
アナログ放送では、映像信号の垂直帰線消去期間（VBI:Vertical Blanking Interval）に字幕データを重畳している。通常の字幕付き録画番組では、予め字幕を制作しておき、映像と完全に合ったタイミングで字幕データをページ単位で送出することができる。一方、生字幕番組では、字幕の重畳が映像に対して遅れたタイミングで行われる。これは、放送局の字幕入力者が、放送する映像を見ながら字幕文をキー入力し、漢字変換、誤変換訂正などを行った後に初めて字幕を重畳するため、時間的に遅れが生じるからである（以下、この遅れを「字幕遅延」と呼ぶ。）。よって、字幕遅延が大きいと、視聴者は映像が表示されてから数秒後に字幕を見ることになり、違和感を覚えることになる。
【０００４】
このような字幕遅延を補償する手法が例えば特許文献１及び２に提案されている。
【０００５】
【特許文献１】特開２００４−２１５０３３号公報
【特許文献２】特開２００４−２０７８２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は以上の点に鑑みてなされたものであり、生字幕放送において映像と字幕を時間軸上で完全に同期させて再生することを可能とする字幕付き映像信号の遅延制御装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の１つの観点では、字幕付き映像信号の遅延制御装置は、字幕付き映像信号を受信する受信部と、前記字幕付き映像信号から、字幕信号を抽出する抽出部と、前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部と、前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部と、を備え、前記字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報と、を含み、前記字幕遅延部は、字幕ページごとに前記固定遅延時間から前記入力遅延時間を減算することにより、前記可変遅延時間を算出する。
【０００８】
上記の遅延制御装置は、放送局から送信される字幕放送を受信する環境に配置され、例えばＴＶ受信機やＨＤＤレコーダなどに内蔵することができる。字幕放送番組の放送波に含まれる字幕付き映像信号は受信部により受信され、字幕信号が抽出される。映像信号は、所定の固定遅延時間で遅延される。また、字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報を含んでいる。字幕遅延部は、入力遅延時間情報に基づいて、字幕ページごとに固定遅延時間から入力遅延時間を減算することにより、可変遅延時間を算出し、字幕信号に応じた可変遅延時間だけ字幕信号を遅延させる。そして、遅延された映像信号と遅延された字幕信号を合成することにより、映像と字幕とが同期した字幕同期映像信号が生成される。
【０００９】
好適な例では、前記入力遅延時間情報は、アナログテレビジョンにおける文字放送技術基準に規定するページ管理情報内のページデータヘッダ内に含めて伝送される。また、他の好適な例では、前記入力遅延時間情報は、デジタルテレビジョンにおけるＡＲＩＢ技術基準に規定するキャプションデータストリーム内に含めて伝送される。
【００１０】
上記の遅延制御装置の一態様では、前記固定遅延時間は、前記字幕付き映像信号に含まれる前記字幕信号の最大の字幕遅延時間よりも大きく設定される。これにより、ページ毎の入力遅延時間の差を吸収し、全てのページについて映像と字幕とを同期させることができる。
【００１１】
本発明の他の観点では、字幕付き映像／音声再生装置は、上記の字幕付き映像信号の遅延制御装置と、音声信号を受信し、前記固定遅延時間だけ遅延させて遅延音声信号を生成する音声遅延部と、前記字幕同期映像信号及び前記遅延音声信号を再生する再生部と、を備える。上記の字幕付き映像信号の遅延制御装置に加えて、音声信号を映像信号と同じ固定遅延時間で遅延させることにより、生字幕放送番組の字幕と映像及び音声とを同期再生することが可能な再生装置を提供することが可能となる。
【００１２】
本発明のさらに他の観点では、字幕付き映像信号の遅延制御プログラムは、コンピュータ端末により実行されることにより、字幕付き映像信号を受信する受信部、前記字幕付き映像信号から、字幕信号を抽出する抽出部、前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部、前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部、及び、前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部、として前記コンピュータ端末を機能させ、前記字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報と、を含み、前記字幕遅延部は、字幕ページごとに前記固定遅延時間から前記入力遅延時間を減算することにより、前記可変遅延時間を算出する。
【００１３】
上記のプログラムをコンピュータ上で実行することにより、本発明の字幕付き映像信号の遅延制御装置を実現することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の好適な実施形態について説明する。
【００１５】
（字幕放送システム）
図１に、本発明に係る字幕付き映像信号の遅延補償方法を適用した字幕放送システムの例を示す。図１では、放送局１０がユーザ環境５０に対して字幕テレビ放送を行っている。放送局１０内では、字幕放送送出システム２０が字幕付き映像信号を作成し、これを放送波４０に乗せて送出する。ユーザ環境５０では字幕遅延制御装置６０が放送波４０を受信し、字幕信号の遅延制御を行って、映像と字幕とが時間軸上で同期した字幕付き映像信号（「字幕同期映像信号」とも呼ぶ。）と、音声信号とを含む信号５３を生成してＴＶ受信機５２へ供給する。ＴＶ受信機５２は、字幕同期映像信号及び音声信号を再生する。これにより、ユーザは生字幕放送を、映像と字幕とが時間的に同期した状態で視聴することができる。
【００１６】
（字幕遅延）
次に、生字幕放送において生じる字幕遅延について説明する。テレビ等の番組は、事前にＶＴＲなどに収録したパッケージ番組と、ニュースなどの様に生放送の番組に大別される。これらの番組に字幕を付与する場合、パッケージ番組では、映像信号などと字幕信号を一緒にＶＴＲなどに記録し放送する方法と、映像信号などをＶＴＲなどに記録し、放送時に字幕信号を付加する方法があり、それらは共にパッケージ字幕放送番組である。また、ニュース番組など生放送の放送時に、リアルタイムで字幕を付加する生字幕（リアルタイム字幕）放送番組がある。
【００１７】
生字幕放送番組の場合、ＴＶ映像の生放送中に、リアルタイムで字幕を生成し、ＴＶ映像に挿入して放送するため、字幕はＴＶ映像の放送に対して時間的に遅れて表示されることになる。以下、生字幕放送における字幕送出の遅延について簡単に説明する。
【００１８】
ニュースなどの生のテレビ番組で聴覚障害者向けサービスとして字幕を放送することが増えている。この生字幕放送では、時として映像に対して字幕が数秒〜数十秒遅れて放送されることがあり、この遅延が大きいと視聴者が違和感を覚えることがある。
【００１９】
アナログ放送では、映像の垂直帰線消去期間（ＶＢＩ）に字幕データを映像に合わせて重畳している。パッケージ字幕放送番組ではあらかじめ字幕を制作しておき、映像と完全に合ったタイミングで字幕データをページ単位で送出できるが、リアルタイム字幕番組では、図２に示すように字幕の重畳タイミングがリアルタイムでなく、若干遅れたタイミングで行われる。これは、放送局の字幕入力者が、放送される映像を見ながら字幕文をキー入力し、漢字変換、誤変換訂正などを行って字幕データを作成した後で、始めて字幕データを重畳するため、字幕データの送出が映像より遅れるからである。なお、図２において、字幕の入力開始タイミングと、対応する字幕データが重畳されるタイミングとのずれ、即ち、字幕入力による遅延時間（以下、「入力遅延時間」とも呼ぶ。）がΔＴで示されている。映像カット毎に字幕の内容が異なり、それに応じて字幕データの作成に要する時間が異なるため、入力遅延時間ΔＴは映像カット毎に異なったものとなる（ΔＴａ〜ΔＴｃ）。
【００２０】
例えばニュース番組の場合、アナウンサーがニュース記事を読んだときに、その内容を音声認識などにより取得して字幕を生成し、これをＴＶ映像に付加するので、実際にはそのニュース項目に対応する映像及びアナウンサーの音声が終了し、次のニュース項目に移った頃に字幕が挿入されるということもある。
【００２１】
なお、リアルタイム字幕の生成方法としては、アナウンサーの発声に基づいて音声認識を用いる音声認識方式や、放送音声を入力オペレータがキー入力することにより字幕を生成するキーボード方式などが知られている。
【００２２】
このため、生字幕放送番組の字幕付き映像信号中では、映像（フレーム画像）の内容と字幕とが時間的に一致していない。即ち、ある映像に対応する字幕は、当該映像から時間的に数フレームから数百フレーム程度遅れたフレーム画像の信号中に含まれていることになる。
【００２３】
字幕遅延について、図３及び図４を参照して詳しく説明する。通常の字幕付き番組の放送では、予め番組内容に合わせて字幕を制作しておき映像に合ったタイミングで字幕データを映像信号に付加することが可能であるので、映像と字幕のタイミング不一致の問題は生じない。同様に生放送においても、たとえば図３に示すように、ある人物が映像に合わせて話す内容（コメント１、２、・・・）を受信機画面に字幕スーパーで表示する場合、各コメントのはじめから同時に字幕のスーパーが行われるのが望ましい。しかしながら、実際には放送局側の制作現場では、字幕作成者がある人物のコメントを聞き、それを要約しつつ文字列としてキー入力し、漢字変換、誤変換の修正などを行うことにより字幕データが作成される。そうして作成された後、字幕データは、ページ毎の字幕ページデータとして映像信号に付加して放送される。このため、実際には図４のΔＴ１、ΔＴ２、・・のように、受信機ではその作業に要した時間（即ち、入力遅延時間ΔＴ）だけ字幕が遅れて表示されることが避けられない。入力遅延時間ΔＴは字幕のページ内容の長さや複雑さによって異なるが、数秒から十数秒以上にも亘るため、視聴者に違和感や内容の誤解をもたらすことがしばしばある。この字幕の遅延を補償して映像・音声と字幕のタイミングを合わせることにより自然な字幕表示を行う技術が放送事業者や聴力障害者などから待望されている。
【００２４】
（字幕遅延補償）
次に、本発明による字幕遅延補償方法について説明する。図５は、本発明によって字幕遅延補償を行ったときの映像・音声と字幕との時間関係を示す。テレビ受信機内に設けられた字幕遅延補償部は、受信した映像・音声信号を固定遅延時間Ｄfixだけ常時遅延させて表示・出力する。また、ある字幕ページを受信したら、それに付随して伝送される入力遅延時間ΔＴ１、ΔＴ２などの値を用いて、
可変遅延時間（Ｄvar）＝固定遅延時間（Ｄfix）―入力遅延時間（ΔＴ） （１）
の式により、可変遅延時間Ｄvarを計算し、この可変遅延時間Ｄvarだけ、その字幕を遅らせて表示する。これにより映像・音声は実際の放送より一定時間（即ち、固定遅延時間Ｄfix）遅れて出力される。また、字幕１、字幕２はコメント１、コメント２に対して適切に一致したタイミングで（即ち、同期して）映像に合成され、出力される。なお、固定遅延時間Ｄfixは実際の生字幕放送で生じうる最大の入力遅延時間ΔＴより大きく設定する必要がある。
【００２５】
本発明による字幕遅延補償を実現するためには、生字幕番組を放送する局が、字幕のページごとに、その字幕データとともに入力遅延時間ΔＴの情報を放送することが前提とされる。この入力遅延時間情報は、秒単位の時間データでもよく、また適宜の周期で計数したカウンタ値のデータでもよいが、ここでは秒単位を用いた場合を説明する。字幕遅延を補償する場合に必要なタイミング合わせの時間精度は０．５秒程度で十分であり、また最大の入力遅延時間ΔＴは実際の番組の例で２０数秒程度である。そこで、入力遅延時間情報は、例えば０．５秒単位で計数した６ビットのバイナリ値で表すことができる。この場合、表現可能な遅延時間は０秒から０．５秒刻みで３１．５秒までとなり十分な値となる。入力遅延時間情報のデータ構造例を図６に示す。
【００２６】
（入力遅延時間情報の伝送方法）
次に、放送局が入力遅延時間情報を含む字幕付き映像・音声信号を送信する方法について説明する。
【００２７】
入力遅延時間情報を伝送するためには、まず放送局内の生字幕入力装置や字幕送出装置に以下の機能を持たせることが必要となる。
【００２８】
（１）１つ１つの文字列について、字幕入力者が入力開始時に行う特定の操作によって、その瞬間の実時刻（「入力開始時刻」とする）を記憶すること。
【００２９】
（２）字幕入力者が、入力した文字列の漢字変換や内容確認を終わり字幕送出装置への転送を指示したときに、記憶された該入力開始時刻を字幕データに付加して字幕送出装置に伝送すること。
【００３０】
（３）字幕送出装置は、該字幕データを映像信号に重畳して放送する際に、放送時の現在時刻から該入力開始時刻を差し引いた時間を算出し、入力遅延時間情報として放送される情報に多重して放送すること。
【００３１】
図７は、これらの機能による生字幕放送の流れを模式的に示す。図７において、生字幕の制作処理においては、生番組の中で字幕の付加が必要な度に、１台あるいは複数の字幕入力装置から、生字幕の１ページ単位で字幕の文字列データと、その入力を開始した時の時刻データ（「入力開始時刻データ」）とを組み合わせて、入力開始時刻順に字幕送出バッファに送り込む。
【００３２】
これに続く生字幕の送出処理においては、字幕送出装置は、字幕送出バッファにデータが有ったら、視聴者が読みやすい適宜の間隔で、各字幕ページ毎に、送出時の実時刻から入力開始時刻を差し引いた入力遅延時間を０．５秒刻みの６ビットバイナリ値に換算して入力遅延時間情報を生成する。そして、字幕送出装置は、入力遅延時間情報を各ページの文字列データとともに、後述する適宜のフィールドに格納して、字幕放送として映像・音声に多重して放送する。これにより、放送局は、字幕放送中に、各ページ毎の入力遅延時間情報を含めて視聴者の受信機へ送信することができる。
【００３３】
（入力遅延時間情報の格納場所）
次に、本発明による入力遅延時間情報を格納すべき放送信号中の場所について説明する。
【００３４】
図８は、アナログ放送の場合に、本発明による入力遅延時間情報を格納する場所を示す。アナログテレビジョンにおいては、入力遅延時間情報を、例えば図８に示すように、文字放送技術基準におけるページ管理情報内のページデータヘッダ内に含めて伝送することが考えられる。ページデータヘッダ（ＰＡＣＩ ページ管理情報）のＤＢ１５（ページ提示デバイス）のバイトは現在ｂ１、ｂ２以外は未定義であるからその６ビットに、入力遅延時間データ６ビットを格納する。
【００３５】
図９は、デジタル放送の場合に、本発明による入力遅延時間情報を格納する場所を示す。デジタル放送の場合、入力遅延時間を例えば図９に示すように、ＡＲＩＢ技術基準における字幕ＰＥＳで伝送される字幕文データ（caption data）内のＴＭＤに続く６ビットのReservedを変更し、ここに入力遅延時間情報（仮称を「Caption_data_setup_delay」とする）６ビットを格納してbslbf（bit serial lower bit first）で伝送する。
【００３６】
なお、上記はいずれも入力遅延時間情報の格納場所の一例に過ぎず、本発明は入力遅延時間情報をＴＶ信号のいずれかの場所に格納して放送できる限り、その場所の如何に拘わらず実現可能である。
【００３７】
（字幕遅延制御装置）
次に、本発明の字幕遅延補償方法を適用した字幕遅延制御装置の構成について説明する。なお、以下の字幕遅延制御装置は、コンピュータ上で動作する制御プログラムとして構成することが可能である。
【００３８】
字幕遅延制御装置では、映像信号と音声信号はあらかじめ字幕の最大遅延を見込んだ固定遅延時間（Ｄfix）が与えられる。これに対して、字幕信号にはページ単位の可変遅延（Ｄvar）が与えられる。字幕信号に対する可変遅延時間は、上述の式（１）により算出される。入力遅延時間ΔＴは、各字幕ページ毎の字幕入力に伴う遅延時間である。この手法により、字幕ページ毎に字幕遅延時間が異なることに起因して映像及び音声の不連続が生じることが防止される。
【００３９】
まず、アナログ字幕放送の場合の実施例について説明する。図１０はアナログ字幕放送の場合における字幕遅延制御装置の構成を示すブロック図である。図１０において、字幕データ抽出部６１は字幕付き映像信号Ｓvcから字幕データを抽出して字幕可変遅延部６５及び入力遅延時間通出部６６へ供給するとともに、字幕データ抽出後の映像信号を映像固定遅延部６２へ供給する。映像固定遅延部６２は、映像信号を予め決められた固定遅延時間Ｄfixだけ遅延し、画面合成部６３へ供給する。
【００４０】
一方、入力遅延時間抽出部６６は、字幕ページ毎の字幕データから、そこに含まれる入力遅延時間ΔＴを抽出して字幕可変遅延部６５へ供給する。前述の例では、入力遅延時間抽出部６６は、図８に示すページデータヘッダ（ページ管理情報）のＤＢ１５のｂ３〜ｂ６の６ビットから入力遅延時間ΔＴを取得する。
【００４１】
そして、字幕可変遅延部６５は、式（１）に基づいて、字幕ページ毎に可変遅延時間Ｄvarを算出し、その可変遅延時間Ｄvarだけ字幕データを遅延させて字幕画面生成部６４へ出力する。字幕画面生成部６４は、遅延された字幕データから字幕画面を生成し、画面合成部６３へ供給する。
【００４２】
画面合成部６３は、固定遅延時間Ｄfixだけ遅延された映像信号と、可変遅延時間Ｄvarだけ遅延された字幕画面とを合成して表示回路へ出力する。なお、音声信号は、映像信号との同期を維持するため、音声可変遅延部６７により映像信号と同様の固定遅延時間Ｄfixだけ遅延されて音声回路へ出力される。
【００４３】
たとえば固定遅延時間Ｄfixを１５秒に設定した字幕遅延制御装置で、入力遅延時間ΔＴ＝７秒遅れの生字幕ページを受信したときには、可変遅延時間Ｄvar＝１５−７＝８（秒）にセットされる。従って、映像信号及び音声信号は１５秒遅延されて再生されるのに対し、字幕は８秒遅れて再生される。これにより、入力遅延時間ΔＴが補償され、映像信号及び音声信号と字幕とが時間軸上で一致したタイミングで再生される。よって、この方法によれば番組の進行中、映像と音声の連続性は保たれ、字幕ページの遅延は認識されないので視聴上の違和感がない。但し、映像と音声の連続性を確保するためには、固定遅延時間Ｄfixを、放送局から送信される字幕付き映像信号における入力遅延時間ΔＴの最大値よりも大きく設定することが必要となる。
【００４４】
字幕可変遅延部６５が字幕データを遅延させる方法としては、例えば字幕データのデコード開始を入力遅延時間ΔＴだけ待たせる方法、デコードした字幕の画面へのスーパーインポーズを入力遅延時間ΔＴだけ待たせる方法、などがある。
【００４５】
図１０に示す字幕遅延制御装置６０は、上記のように生字幕放送における字幕遅延を補償することに加えて、字幕遅延の無いパッケージ字幕番組を再生することも可能である。その場合には、入力遅延時間ΔＴ＝０であるから、全ての字幕ページで可変遅延時間Ｄvar＝固定遅延時間Ｄfixとなる。即ち、字幕遅延制御装置６０は、現在受信している字幕放送番組が生字幕放送番組である場合には、上述のように映像固定遅延部６２、字幕可変遅延部６５及び音声固定遅延部６７による遅延を有効とする（以下、この状態を「遅延モード」と呼ぶ。）。一方、現在受信している字幕放送番組がパッケージ字幕放送番組である場合、映像固定遅延部６２、字幕可変遅延部６５及び音声固定遅延部６７による遅延をゼロとする（以下、この状態を「非遅延モード」と呼ぶ。）。
【００４６】
ただし、遅延モードと非遅延モードとの間の切り替えの際には、前述と同様に映像と音声の不連続が発生することには注意を要する。この対策としては、遅延モードへの切り替えを生字幕番組の入り口で行うか（「自動遅延モード」）、全番組を遅延モードで見る（「常時遅延モード」）か、などを視聴者が任意に選択できるように字幕遅延制御装置６０を構成すればよい。好適な例としては、視聴者が任意に選択可能なモードとして、「常時遅延モード」、「自動遅延モード」および「遅延補償なし」を設け、ユーザに任意に設定させればよい。「常時遅延モード」では字幕なしの番組を含めて全番組を一定の時間だけ遅延して視聴することになる。この場合は字幕のタイミングだけが操作されるので映像・音声の不連続は一切起こらない。「自動遅延モード」では通常の字幕無し番組及びパッケージ字幕番組は遅延なしで視聴し、生字幕番組に入るときと出るときに自動的に映像・音声の不連続を許容した切り替えを行う。このときは受信者が文字放送の字幕の番組番号を選択したときに「入り」、字幕の番組番号から他の番組番号を選択したときに「出」に切り替えるのが適切な方法である。「遅延補償なし」ではこれらの動作をすべて停止して従来通りの受信形態をとる。即ち、字幕は映像に対して遅れて再生されることになる。
【００４７】
なお、遅延モードへの「入り」の制御時には、固定遅延時間Ｄfixの期間にわたり映像及び音声が無くなるので、視聴者の不安を除くために、不連続対策として別途用意した字幕や音声でたとえば「字幕合わせの起動中です」というような告知を行うことが望ましい。また、同様に遅延モードからの「出」の瞬間には映像及び音声のスキップが生ずるので、「字幕合わせを終了中しました」などの告知を行うことが望ましい。
【００４８】
次に、デジタル字幕放送の場合の実施例について説明する。図１１は、デジタル字幕放送の場合における字幕遅延制御装置の構成を示すブロック図である。字幕遅延制御の手法は、上述のアナログ字幕放送の場合と基本的に同様である。
【００４９】
デジタル字幕放送のＴＳは映像信号、音声信号及び字幕ＰＥＳを含んでおり、ＴＳ固定遅延部１０１及び字幕ＰＥＳ抽出部１０３へ供給される。ＴＳ固定遅延部１０１は、固定遅延Ｄfixを与え、遅延ＴＳデータＤtsdを映像／音声デコード部１０２へ供給する。映像／音声デコード部１０２は、映像データ及び音声データをそれぞれデコードし、固定遅延された音声データＤadを音声回路へ供給するとともに、固定遅延された映像データＤvdを画面合成部１０６へ供給する。
【００５０】
一方、字幕ＰＥＳ抽出部１０３はＴＳから字幕ＰＥＳを抽出し、字幕データ抽出部１０７へ供給する。字幕データ抽出部１０７は、字幕ＰＥＳから字幕データＤｃを抽出し、字幕可変遅延部１０４及び入力遅延時間抽出部１０８へ供給する。入力遅延時間抽出部１０８は、字幕データＤｃから入力遅延時間ΔＴを抽出し、字幕可変遅延部１０４へ供給する。前述の例では、入力遅延時間抽出部１０８は、ＡＲＩＢ技術基準における字幕ＰＥＳで伝送される字幕文データ（caption data）内のＴＭＤに続く６ビットから入力遅延時間ΔＴを取得する。
【００５１】
そして、字幕可変遅延部１０４は、入力遅延時間抽出部１０８から供給された入力遅延時間ΔＴに基づいて可変遅延時間Ｄvarを算出し、その可変遅延時間だけ字幕データを遅延させて字幕データＤcdとして字幕画面生成部１０５へ供給する。字幕画面生成部１０５は、字幕データＤcdから字幕画面データＤccを生成し、画面合成部１０６へ供給する。画面合成部１０６は、固定遅延時間Ｄfixだけ遅延された映像データＤvdと、可変遅延時間Ｄvarだけ遅延された字幕画面とを合成し、表示回路へ供給する。こうして、音声、映像及び字幕が時間軸上で一致した状態で再生される。
【００５２】
なお、ＴＳ固定遅延部１０１及び字幕可変遅延部１０４は、例えば半導体メモリを利用紙、それぞれＦＩＦＯ（First in First Out）バッファとリングバッファを構成することにより実現することができる。また、映像、音声及び字幕のＰＥＳヘッダ拡張部のＰＴＳ（Presentation Time Stamp）を適切に設定することにより、字幕の可変遅延を実現することも可能である。
【図面の簡単な説明】
【００５３】
【図１】本発明に係る字幕遅延制御装置を適用した環境の例を示す。
【図２】字幕の遅延を説明する図である。
【図３】理想的な字幕放送の例を示すタイミングチャートである。
【図４】実際の字幕放送の例を示すタイミングチャートである。
【図５】本発明による字幕放送の例を示すタイミングチャートである。
【図６】入力遅延時間情報のデータ構造例を示す。
【図７】放送局が入力遅延時間情報を含む字幕付き映像・音声信号を送信する方法を模式的に示す。
【図８】アナログ字幕放送における入力遅延時間情報の格納例を示す。
【図９】デジタル字幕放送における入力遅延時間情報の格納例を示す。
【図１０】アナログ字幕放送の場合の字幕遅延制御装置の構成を示す。
【図１１】デジタル字幕放送の場合の字幕遅延制御装置の構成を示す。
【符号の説明】
【００５４】
１０ 放送局、
２０ 字幕放送送出システム、
４０ 放送波、
５０ ユーザ環境、
５２ ＴＶ受信機、
６０、１００ 字幕遅延制御装置
【特許請求の範囲】
【請求項１】
字幕付き映像信号を受信する受信部と、
前記字幕付き映像信号から、字幕信号を抽出する抽出部と、
前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、
前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部と、
前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部と、を備え、
前記字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報と、を含み、
前記字幕遅延部は、字幕ページごとに前記固定遅延時間から前記入力遅延時間を減算することにより、前記可変遅延時間を算出することを特徴とする字幕付き映像信号の遅延制御装置。
【請求項２】
前記入力遅延時間情報は、アナログテレビジョンにおける文字放送技術基準に規定するページ管理情報内のページデータヘッダ内に含めて伝送されることを特徴とする請求項１に記載の字幕付き映像信号の遅延制御装置。
【請求項３】
前記入力遅延時間情報は、デジタルテレビジョンにおけるＡＲＩＢ技術基準に規定するキャプションデータストリーム内に含めて伝送されることを特徴とする請求項１に記載の字幕付き映像信号の遅延制御装置。
【請求項４】
前記固定遅延時間は、前記字幕付き映像信号に含まれる前記字幕信号の最大の字幕遅延時間よりも大きく設定されることを特徴とする請求項１に記載の字幕付き映像信号の遅延制御装置。
【請求項５】
請求項１乃至４のいずれか一項に記載の字幕付き映像信号の遅延制御装置と、
音声信号を受信し、前記固定遅延時間だけ遅延させて遅延音声信号を生成する音声遅延部と、
前記字幕同期映像信号及び前記遅延音声信号を再生する再生部と、を備えることを特徴とする字幕付き映像／音声再生装置。
【請求項６】
コンピュータ端末により実行されることにより、
字幕付き映像信号を受信する受信部、
前記字幕付き映像信号から、字幕信号を抽出する抽出部、
前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部、
前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部、及び、
前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部、として前記コンピュータ端末を機能させ、
前記字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報と、を含み、
前記字幕遅延部は、字幕ページごとに前記固定遅延時間から前記入力遅延時間を減算することにより、前記可変遅延時間を算出することを特徴とする字幕付き映像信号の遅延制御プログラム。
【請求項１】
字幕付き映像信号を受信する受信部と、
前記字幕付き映像信号から、字幕信号を抽出する抽出部と、
前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、
前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部と、
前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部と、を備え、
前記字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報と、を含み、
前記字幕遅延部は、字幕ページごとに前記固定遅延時間から前記入力遅延時間を減算することにより、前記可変遅延時間を算出することを特徴とする字幕付き映像信号の遅延制御装置。
【請求項２】
前記入力遅延時間情報は、アナログテレビジョンにおける文字放送技術基準に規定するページ管理情報内のページデータヘッダ内に含めて伝送されることを特徴とする請求項１に記載の字幕付き映像信号の遅延制御装置。
【請求項３】
前記入力遅延時間情報は、デジタルテレビジョンにおけるＡＲＩＢ技術基準に規定するキャプションデータストリーム内に含めて伝送されることを特徴とする請求項１に記載の字幕付き映像信号の遅延制御装置。
【請求項４】
前記固定遅延時間は、前記字幕付き映像信号に含まれる前記字幕信号の最大の字幕遅延時間よりも大きく設定されることを特徴とする請求項１に記載の字幕付き映像信号の遅延制御装置。
【請求項５】
請求項１乃至４のいずれか一項に記載の字幕付き映像信号の遅延制御装置と、
音声信号を受信し、前記固定遅延時間だけ遅延させて遅延音声信号を生成する音声遅延部と、
前記字幕同期映像信号及び前記遅延音声信号を再生する再生部と、を備えることを特徴とする字幕付き映像／音声再生装置。
【請求項６】
コンピュータ端末により実行されることにより、
字幕付き映像信号を受信する受信部、
前記字幕付き映像信号から、字幕信号を抽出する抽出部、
前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部、
前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部、及び、
前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部、として前記コンピュータ端末を機能させ、
前記字幕付き映像信号は、字幕ページ単位の字幕文字情報と、字幕文字の入力開始から当該字幕データの送出までに要する字幕ページごとの入力遅延時間情報と、を含み、
前記字幕遅延部は、字幕ページごとに前記固定遅延時間から前記入力遅延時間を減算することにより、前記可変遅延時間を算出することを特徴とする字幕付き映像信号の遅延制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−３２４８７２（Ｐ２００７−３２４８７２Ａ）
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願番号】特願２００６−１５２１６６（Ｐ２００６−１５２１６６）
【出願日】平成１８年５月３１日（２００６．５．３１）
【出願人】（５０４３８０６５５）株式会社テレビ朝日データビジョン (3)
【出願人】（３９１０１６０９３）エル・エス・アイ ジャパン株式会社 (21)
【Ｆターム（参考）】
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願日】平成１８年５月３１日（２００６．５．３１）
【出願人】（５０４３８０６５５）株式会社テレビ朝日データビジョン (3)
【出願人】（３９１０１６０９３）エル・エス・アイ ジャパン株式会社 (21)
【Ｆターム（参考）】
[ Back to top ]