字幕付き映像信号の遅延制御装置及び遅延制御プログラム
【課題】生字幕放送において映像と字幕を時間軸上で完全に同期させて再生することを可能とする。
【解決手段】字幕放送番組が入力された字幕データ抽出部６１では、字幕信号を抽出する。映像信号は、映像固定遅延部６２にて所定の固定遅延時間で遅延される。一方、字幕信号は、字幕可変遅延部６５でその字幕信号に応じた可変遅延時間だけ遅延されて、字幕画面生成部６４に送られる。画面合成部６３では、映像固定遅延部６２からの映像信号と、字幕画面生成部６４からの字幕信号を合成して表示回路へ出力する。この結果、映像に同期した字幕の表示が可能となる。音声信号は音声可変遅延部６７に入力され、映像信号の遅延時間と同じ時間だけ遅延されて、音声回路へ出力される。
【解決手段】字幕放送番組が入力された字幕データ抽出部６１では、字幕信号を抽出する。映像信号は、映像固定遅延部６２にて所定の固定遅延時間で遅延される。一方、字幕信号は、字幕可変遅延部６５でその字幕信号に応じた可変遅延時間だけ遅延されて、字幕画面生成部６４に送られる。画面合成部６３では、映像固定遅延部６２からの映像信号と、字幕画面生成部６４からの字幕信号を合成して表示回路へ出力する。この結果、映像に同期した字幕の表示が可能となる。音声信号は音声可変遅延部６７に入力され、映像信号の遅延時間と同じ時間だけ遅延されて、音声回路へ出力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、字幕放送などの字幕付き映像信号に基づいて、映像とその映像に対応する字幕とを時間的に同期させて再生する技術に関する。
【背景技術】
【０００２】
ニュースなどの生のテレビ番組では、聴覚障害者向けサービスとして字幕を放送することが増えている。この「生」の字幕放送（「生字幕放送」、「リアルタイム字幕放送」などと呼ばれる。）では、時として映像に対して字幕が数秒〜数十秒遅れて放送され、視聴者が違和感を覚えることがある。
【０００３】
アナログ放送では、映像信号の垂直帰線消去期間（VBI:Vertical Blanking Period）に字幕データを重畳している。通常の字幕付き録画番組では、予め字幕を制作しておき、映像と完全に合ったタイミングで字幕データをページ単位で送出することができる。一方、生字幕番組では、字幕の重畳が映像に対して遅れたタイミングで行われる。これは、放送局の字幕入力者が、放送される映像を見ながら字幕文をキー入力し、漢字変換、誤変換訂正などを行った後に初めて字幕を重畳するため、時間的に遅れが生じるからである（以下、この遅れを「字幕遅延」と呼ぶ。）。よって、字幕遅延が大きいと、視聴者は映像が切り替わってから数秒後に字幕を見ることになり、違和感を覚えることになる。
【０００４】
このような字幕遅延を補償する手法が例えば特許文献１及び２に提案されている。
【０００５】
【特許文献１】特開２００４−２１５０３３号公報
【特許文献２】特開２００４−２０７８２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は以上の点に鑑みてなされたものであり、生字幕放送において映像と字幕を時間軸上で完全に同期させて再生することを可能とする字幕付き映像信号の遅延制御装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の１つの観点では、字幕付き映像信号の遅延制御装置は、字幕付き映像信号を受信する受信部と、前記字幕付き映像信号から、字幕信号を抽出する抽出部と、前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部と、前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部と、を備えることを特徴とする。
【０００８】
上記の遅延制御装置は、放送局から送信される字幕放送を受信する環境に配置され、例えばＴＶ受信機やＨＤＤレコーダなどに内蔵することができる。字幕放送番組の放送波に含まれる字幕付き映像信号は受信部により受信され、字幕信号が抽出される。映像信号は、所定の固定遅延時間で遅延される。一方、字幕信号は、その字幕信号に応じた可変遅延時間だけ遅延される。そして、遅延映像信号と遅延字幕信号を合成することにより、映像と字幕とが同期した字幕同期映像信号が生成される。
【０００９】
上記の字幕付き映像信号の遅延制御装置の一態様では、前記字幕遅延部は、前記字幕付き映像信号中の映像信号に対する字幕信号の遅れ時間である字幕遅延時間に基づいて、前記可変遅延時間を決定する。生字幕放送では、字幕の入力作業などに要する時間分だけ、映像に対して字幕が遅れて送信される（字幕遅延時間）。ここで、映像と字幕との時間軸上の同期を確保する際には、字幕毎にその遅れ時間が異なる点が問題である。上記の遅延制御装置では、映像信号は一律に固定遅延時間だけ遅延し、字幕データはその字幕データ毎の字幕遅延時間に応じた可変遅延時間で遅延させるので、字幕データ毎に字幕遅延時間が異なる場合でも、映像と字幕とを確実に同期させて再生することが可能となる。
【００１０】
好適な例では、前記字幕遅延部は、前記固定遅延時間から前記字幕遅延時間を減算することにより、前記可変遅延時間を算出する。これにより、単純な処理で可変遅延時間を算出することができる。
【００１１】
上記の字幕付き映像信号の遅延制御装置の他の一態様では、前記字幕付き映像信号は、前記映像信号に対する前記字幕信号の入力開始タイミングを示す情報及び重畳タイミングを示す情報を含む遅延制御信号を有し、前記字幕遅延部は、前記遅延制御信号に基づいて、前記入力開始タイミングと前記重畳タイミングとの時間差を前記字幕遅延時間と決定する。これにより、字幕付き映像信号を作成する放送局側から与えられる遅延制御情報に基づいて、字幕遅延時間を正確に得ることができる。
【００１２】
好適な例では、前記字幕信号の入力開始タイミングを示す情報は、透明字幕に対応する字幕信号中に含められる。透明字幕に対応する字幕信号を利用することにより、映像に影響を与えることなく、遅延制御信号を放送局側から遅延制御装置側へ伝送することが可能となる。
【００１３】
上記の字幕付き映像信号の遅延制御装置の一態様では、前記固定遅延時間は、前記字幕付き映像信号に含まれる前記字幕信号の最大の字幕遅延時間よりも大きく設定される。これにより、字幕遅延時間の大小に拘わらず、確実に映像と字幕と時間軸上で同期させることが可能となる。
【００１４】
上記の字幕付き映像信号の遅延制御装置の他の一態様では、前記受信部は、前記字幕付き映像信号に対応する音声信号を受信し、前記抽出部は、前記字幕信号の受信タイミングを検出し、前記字幕遅延部は、前記音声信号に基づいて字幕信号の入力開始タイミングを検出する検出部と、前記字幕信号の入力開始タイミング及び前記字幕信号の受信タイミングに基づいて前記字幕遅延時間を算出する字幕遅延時間算出部と、を備える。
【００１５】
この態様では、遅延制御装置は、字幕付き映像信号に対応する音声信号を受信し、音声信号に基づいて字幕信号の入力開始タイミングを検出する。また、抽出部は字幕信号の受信タイミングを検出する。そして、字幕信号の入力開始タイミングと、字幕信号の受信タイミングとに基づいて字幕遅延時間が算出される。これによれば、放送局から送信される字幕付き映像信号中に、字幕遅延時間を算出するための遅延制御信号を含める必要がなくなり、受信側の遅延制御装置のみで字幕信号の遅延補償が可能となる。好適な例では、前記字幕遅延時間算出部は、前記字幕信号の入力開始タイミングと前記字幕信号の受信タイミングとの時間間隔を前記字幕遅延時間とする。
【００１６】
上記の字幕付き映像信号の遅延制御装置の他の一態様では、前記字幕遅延部は、前記検出部が前記字幕信号の入力開始タイミングを検出できない場合には、所定のデフォルト字幕遅延時間を前記字幕遅延時間に設定する。これにより、例えば音声信号にノイズが多い場合や、メッセージ音声以外の信号が含まれる場合など、メッセージ音声の立上りを正確に検出できない場合であっても、ある程度の信頼性で遅延補償を行うことが可能となる。好適な例では、前記デフォルト字幕遅延時間は、前記字幕付き映像信号が構成する番組の開始からその時点までに算出された字幕遅延時間の平均値又は最頻値に相当する遅延時間、もしくは予め経験的に決定された平均的な字幕遅延時間とすることができる。
【００１７】
上記の字幕付き映像信号の好適な実施例では、前記検出部は、前記音声信号を所定のスライスレベルでスライスしてスライス信号を生成する手段と、前記スライス信号に基づいて、前記音声信号の無音期間を検出する手段と、前記無音期間の終了時点を前記字幕信号の入力開始タイミングとして抽出する手段と、を備える。
【００１８】
本発明の他の観点では、字幕付き映像／音声再生装置は、上記の字幕付き映像信号の遅延制御装置と、音声信号を受信し、前記固定遅延時間で遅延させて遅延音声信号を生成する音声遅延部と、前記字幕同期映像信号及び前記遅延音声信号を再生する再生部と、を備える。上記の字幕付き映像信号の遅延制御装置に加えて、音声信号を映像信号と同じ固定遅延時間で遅延させることにより、生字幕放送番組の字幕と映像及び音声とを同期再生することが可能な再生装置を提供することが可能となる。
【００１９】
本発明の他の観点では、字幕付き映像信号の遅延制御プログラムは、コンピュータ端末により実行されることにより、前記コンピュータ端末を、字幕付き映像信号を受信する受信部と、前記字幕付き映像信号から、字幕信号を抽出する抽出部と、前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、前記字幕信号を、当該字幕信号に応じた可変遅延時間で遅延させ、遅延字幕信号を生成する字幕遅延部と、前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部として機能させる。
【００２０】
上記のプログラムをコンピュータ上で実行することにより、本発明の字幕付き映像信号の遅延制御装置を実現することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明の好適な実施形態について説明する。
【００２２】
［第１実施形態］
（字幕放送システム）
図１に、本発明に係る字幕付き映像信号の遅延制御手法を適用した字幕放送システムの例を示す。図１では、放送局１０がユーザ環境５０に対して字幕テレビ放送を行っている。放送局１０内では、字幕放送送出システム２０が字幕付き映像信号を作成し、これを放送波４０に乗せて送出する。ユーザ環境５０では字幕遅延制御装置６０が放送波４０を受信し、字幕信号の遅延調整を行って、映像と字幕とが時間軸上で同期した字幕付き映像信号（「字幕同期映像信号」とも呼ぶ。）と、音声信号とを含む信号５３を生成してＴＶ受信機５２へ供給する。ＴＶ受信機５２は、字幕同期映像信号及び音声信号を再生する。これにより、ユーザは生字幕放送を、映像と字幕とが時間的に同期した状態で視聴することができる。
【００２３】
（字幕遅延）
次に、生字幕放送において生じる字幕遅延について説明する。テレビ等の番組は、事前にＶＴＲなどに収録したパッケージ番組と、ニュースなどの様に生放送の番組に大別される。これらの番組に字幕を付与する場合、パッケージ番組では、映像信号などと字幕信号を一緒にＶＴＲなどに記録し放送する方法と、映像信号などをＶＴＲなどに記録し、放送時に字幕信号を付加する方法があり、それらは共にパッケージ字幕放送番組である。また、ニュース番組など生放送の放送時に、リアルタイムで字幕を付加する生字幕（リアルタイム字幕）放送番組がある。
【００２４】
生字幕放送番組の場合、ＴＶ映像の生放送中に、リアルタイムで字幕を生成し、ＴＶ映像に挿入して放送するため、字幕はＴＶ映像の放送に対して時間的に遅れて表示されることになる。以下、生字幕放送における字幕送出の遅延について簡単に説明する。
【００２５】
ニュースなどの生のテレビ番組で聴覚障害者向けサービスとして字幕を放送することが増えている。この生字幕放送では、時として映像に対して字幕が数秒〜数十秒遅れて放送されることがあり、この遅延が大きいと視聴者が違和感を覚えることがある。
【００２６】
アナログ放送では、映像の垂直帰線消去期間（ＶＢＩ）に字幕データを映像に合わせて重畳している。パッケージ字幕放送番組ではあらかじめ字幕を制作しておき、映像と完全に合ったタイミングで字幕データをページ単位で送出できるが、リアルタイム字幕番組では、図２に示すように字幕の重畳タイミングがリアルタイムでなく、若干遅れたタイミングで行われる。これは、放送局の字幕入力者が、放送される映像を見ながら字幕文をキー入力し、漢字変換、誤変換訂正などを行って字幕データを作成した後で、始めて字幕データを重畳するため、字幕データの送出が映像より遅れるのである。なお、図２において、字幕の入力開始タイミングと、対応する字幕データが重畳されるタイミングとのずれ、即ち、字幕遅延時間がΔＴで示されている。映像カット毎に字幕の内容が異なり、それに応じて字幕データの作成に要する時間が異なるため、字幕遅延時間ΔＴは映像カット毎に異なったものとなる（ΔＴ１〜ΔＴ３）。
【００２７】
よって、例えばニュース番組の場合、アナウンサーがニュース記事を読んだときに、その内容を音声認識などにより取得して字幕を生成し、これをＴＶ映像に付加するので、実際にはそのニュース項目に対応する映像及びアナウンサーの音声が終了し、次のニュース項目に移った頃に字幕が挿入されるということもある。
【００２８】
なお、リアルタイム字幕の生成方法としては、アナウンサーの発声に基づいて音声認識を用いる音声認識方式や、放送音声を入力オペレータがキー入力することにより字幕を生成するキーボード方式などが知られている。
【００２９】
このため、生字幕放送番組の字幕付き映像信号中では、映像（フレーム画像）の内容と字幕とが時間的に一致していない。即ち、ある映像に対応する字幕は、当該映像から時間的に数フレームから数百フレーム程度遅れたフレーム画像の信号中に含まれていることになる。
【００３０】
このように、生字幕放送番組では、映像と字幕データとの間に字幕遅延が存在する。よって、受信機側で映像と字幕データを時間的に同期させて再生するためには、この字幕遅延を補償することが必要となる。即ち、字幕遅延時間ΔＴの大きさを、受信機側に伝える必要がある。このため、本発明では、字幕付き映像信号中に、字幕遅延時間ΔＴを得るために用いられる遅延制御信号を含める。図２に示すように、字幕遅延時間ΔＴは、各映像において、字幕入力開始タイミングと、字幕重畳タイミングとの時間差である。従って、本発明では、字幕入力開始タイミングを示す制御フラグと、字幕重畳タイミングを示す制御フラグを含む遅延制御信号を、字幕付き映像信号中に設定する。
【００３１】
まず、遅延制御信号の第１の設定例について説明する。第１の設定例は、図３に示すように、映像信号に対する通常字幕ページの前に新たに透明字幕ページを挿入する。そして、遅延制御情報として、透明字幕ページのページ管理情報には字幕入力開始タイミングを示す制御フラグを設定し、通常字幕ページのページ管理情報には字幕重畳タイミングを示す制御フラグを設定する。なお、透明字幕ページとは、表示文字の表示色と文字背景色を透明とすることにより、文字情報は送られるが、視聴者には見えないように意図されたページをいう。ここでは、各字幕ページのデータ先頭に配置されるページ管理情報の伝送が目的であるので、透明字幕ページにおける文字情報の内容は問わない。
【００３２】
図４及び５に、第１の設定例による遅延制御情報の位置及び内容を示す。本例では、字幕付き映像信号は文字放送規格に従ったアナログＴＶ映像信号であるものとする。アナログ字幕付き映像信号では、字幕データ及び字幕に関する情報はＴＶ映像信号の垂直帰線期間（ＶＢＩ）中に挿入される。本例では、特に制御信号は文字放送規格のうち、ページデータヘッダ（ＰＡＣＩ）の「ページ提示デバイス（ＤＢ１５）のうちのビット番号ｂ５〜ｂ８に設定されるものとする。
【００３３】
図４に文字放送のページデータヘッダの構成を示す。文字放送データのうち、図４の最下段に示すデータグループ０〜３にはそれぞれヘッダ（Ｈ）２１と、データグループデータ２２と、ＣＲＣなどの情報２３が含まれる。このうち、データグループ０中のデータグループデータ２２は番組管理データに対応し、番組管理データは番組データヘッダ２４及びデータユニット２５を含む。一方、データグループ１及び２中のデータグループデータ２２はページデータ中のページデータヘッダ２６及びデータユニット２７にそれぞれ対応する。
【００３４】
ページデータ中のページデータヘッダ２６は、データヘッダ識別３１、データヘッダデータ長３２及びデータヘッダデータ３３を含む。データヘッダ識別３１は情報分離符号ＤＢ８及びデータヘッダパラメータＤＢ９を含む。一方、データヘッダデータ３３は、図４の最上段に示すように、番組番号及びマガジン番号ＤＢ１１〜ラスタ色及びヘッダラスタ色ＤＢ１９の各種情報を含み、その中にページ提示デバイスＤＢ１５が含まれている。
【００３５】
図５に、ページデータヘッダ２６及びページ提示デバイスＤＢ１５の構成、並びに、制御フラグの例を示す。図示のように、ページ提示デバイスＤＢ１５はｂ１〜ｂ８の８ビットを有し、ｂ５〜ｂ８の４ビットが本発明による遅延制御信号を設定するための制御ビットとして使用される。また、これらの制御ビットは、ページデータヘッダ中の番組形態ＤＢ１４の制御ビット「ｂ４」、「ｂ３」がともに“１”（オン）である場合、つまり「“１１”＝字幕」である場合に有効となる。
【００３６】
図５の最下段に制御ビットｂ５〜ｂ８に設定される制御フラグの意味を示す。制御フラグ「０００１」は字幕入力開始タイミングを示し、制御フラグ「００１１」は字幕重畳タイミングを示す。なお、制御フラグ「００００」はリセットを意味し、上記以外の制御フラグは不使用に設定されている。
【００３７】
受信機側では、字幕付き映像信号中に含まれるこれらの制御フラグを検出することにより、各映像（映像カット）毎の字幕遅延時間ΔＴを算出することができる。具体的には、字幕入力開始タイミングを示す制御フラグ「０００１」を検出してから、字幕重畳タイミングを示す制御フラグ「００１１」を検出するまでの時間が、当該映像の字幕遅延時間ΔＴとなる。
【００３８】
次に、遅延制御情報の第２の設定例について説明する。上記の第１の設定例では、字幕入力開始タイミングを示す制御フラグをページ管理情報中の制御ビットに設定した。その代わりに、第２の設定例では、字幕入力開始タイミングを示す文字又は符号などを、透明字幕ページの字幕本文中に挿入する。透明字幕ページであるので、この文字又は符号などが表示されることはない。なお、字幕重畳タイミングを示す制御フラグは第１の設定例と同様に、通常字幕ページのページ管理情報中の制御ビットに設定する。
【００３９】
第２の設定例の場合、受信機側では、透明字幕ページ中に挿入された、字幕入力開始タイミングを示す上記の文字又は符号を検出してから、通常字幕ページのページ管理情報中に設定された、字幕重畳タイミングを示す制御フラグを検出するまでの時間をカウントし、時間間隔を字幕遅延時間ΔＴとする。
【００４０】
（遅延制御）
次に、上記の字幕遅延時間ΔＴを利用した遅延制御について説明する。字幕が映像より遅れて放送されるという問題を解決するには、放送側あるいは受信機側において映像の表示時間軸と字幕の表示時間軸をずらし、両者のタイミングを一致させればよい。このタイミング合わせのための処理は、基本的には放送局側及びユーザ環境（受信機側）のいずれにおいても実行することができる。放送局側のみで実施する場合、放送局内の字幕放送送出システムが映像信号を遅延させてそのタイミングを字幕に合わせ、放送すればよい。しかしながら、この手法は字幕を視聴する必要のない受信者にとっても生放送のメリットを減殺されることになり実現が困難である。そこで、本発明では、放送局側は遅延制御情報の送出のみ行い、ユーザ環境（受信機側）で遅延補償を行う方法を採用する。
【００４１】
遅延制御により映像の表示時間軸と字幕の表示時間軸を合わせる場合、次の点が重要である。
１）遅延時間は字幕の内容や入力担当者の要約の仕方によってページごとに変動し一定ではないが、これに対して常に最適な遅延を与えることが要求されること。
２）遅延が必要な字幕番組（生字幕番組）と不必要な番組（パッケージ字幕番組）があるため、自動的にこれに対応できること。
【００４２】
以下、これらの点を解決する方法の例を示す。図６は、字幕遅延の基本的な補償方法を示すブロック図である。字幕データ抽出部７１は、入力された字幕付き映像信号Ｓvcから字幕データを抽出し、字幕画面生成部７４へ供給するとともに、字幕データ抽出後の映像信号を映像可変遅延部７２へ供給する。字幕画面生成部７４は字幕データを元に、字幕画面を生成する。一方、映像可変遅延部７２は、入力された映像信号を字幕遅延時間ΔＴに相当する時間だけ遅延させ、出力する。遅延時間信号Ｓｄは、字幕遅延時間ΔＴを示す信号である。画面合成部７３は、映像可変遅延部７２から与えられる映像信号と、字幕画面生成部７４から与えられる字幕画面とを合成して表示回路へ供給する。また、音声信号Ｓacは、音声可変遅延部７７により、遅延時間信号Ｓｄに基づいて映像信号と同様に、字幕遅延時間ΔＴに相当する時間だけ遅延させ、音声回路へ出力する。
【００４３】
映像信号及び音声信号がアナログ信号である場合、可変遅延部はたとえばＡ／Ｄ変換、半導体メモリー、Ｄ／Ａ変換の組み合わせにより実現可能である。字幕遅延時間ΔＴは字幕ページごとに異なるが、遅延制御回路は、上述の遅延制御情報を検出することにより字幕ページ毎の字幕遅延時間ΔＴを算出して遅延時間信号Ｓｄを生成し、映像可変遅延部７２及び音声可変遅延部７７を制御する。こうして、映像信号及び音声信号は、字幕遅延時間ΔＴに相当する時間だけ遅延させられ、字幕との時間軸上のタイミングが一致する。
【００４４】
この方法は、受信機側で受信した字幕に合わせて必要な時間だけ映像信号と音声信号を遅らせるものであるが、字幕遅延時間ΔＴが変化するたびに映像信号と音声信号の不連続が発生するという欠陥がある。
【００４５】
図７は本発明の好適な実施形態に係る字幕遅延制御装置の構成を示す。この構成は図６に示した基本原理における欠陥を補った実現可能な方法である。なお、この字幕遅延制御装置は、コンピュータ上で動作する制御プログラムとして構成することが可能である。
【００４６】
この字幕遅延制御装置では、映像信号と音声信号はあらかじめ字幕の最大遅延を見込んだ固定遅延（Ｄfix）が与えられ、これに対して字幕信号にはページ単位の可変遅延（Ｄvar）が与えられる。字幕信号に対する可変遅延時間は、Ｄvar＝Ｄfix−ΔＴで算出する。ΔＴは各字幕ページ毎の字幕遅延時間である。この手法により、字幕ページ毎に字幕遅延時間が異なることに起因して映像及び音声の不連続が生じることが防止される。
【００４７】
具体的には、図７において、字幕データ抽出部６１は字幕付き映像信号Ｓvcから字幕データを抽出して字幕可変遅延部６５へ供給するとともに、字幕データ抽出後の映像信号を映像固定遅延部６２へ供給する。映像固定遅延部６２は、映像信号を予め決められた固定遅延時間Ｄfixだけ遅延し、画面合成部６３へ供給する。
【００４８】
一方、字幕可変遅延部６５には、字幕遅延時間ΔＴが与えられる。字幕可変遅延部６５は、Ｄvar＝Ｄfix−ΔＴの式に基づいて、字幕ページ毎に可変遅延時間Ｄvarを算出し、その遅延時間Ｄvarだけ字幕データを遅延させて字幕画面生成部６４へ出力する。字幕画面生成部６４は、遅延された字幕データから字幕画面を生成し、画面合成部６３へ供給する。画面合成部６３は、固定遅延時間Ｄfixだけ遅延された映像信号と、可変遅延時間Ｄvarだけ遅延された字幕画面とを合成して表示回路へ出力する。なお、音声信号は、映像信号との同期を維持するため、音声可変遅延部６７により映像信号と同様の固定遅延時間Ｄfixだけ遅延されて音声回路へ出力される。
【００４９】
たとえば固定遅延時間Ｄfixを１５秒に設定した字幕遅延制御装置で、字幕遅延時間ΔＴ＝７秒遅れの生字幕ページを受信したとき、可変遅延時間Ｄvar＝１５−７＝８（秒）にセットされる。従って、映像信号及び音声信号は１５秒遅延されて再生されるのに対し、字幕は８秒遅れて再生される。これにより、字幕遅延時間ΔＴが補償され、映像信号及び音声信号と字幕とが時間軸上で一致したタイミングで再生される。よって、この方法によれば番組の進行中、映像と音声の連続性は保たれ、字幕ページの遅延は認識されないので視聴上の違和感がない。但し、映像と音声の連続性を確保するためには、固定遅延時間Ｄfixを、放送局から送信される字幕付き映像信号における字幕遅延時間ΔＴの最大値よりも大きく設定することが必要となる。
【００５０】
字幕可変遅延部６５が字幕データを遅延させる方法としては、例えば字幕データのデコード開始を字幕遅延時間ΔＴだけ待たせる方法、デコードした字幕の画面へのスーパーインポーズを字幕遅延時間ΔＴだけ待たせる方法、などがある。
【００５１】
図７に示す字幕遅延制御装置６０は、上記のように生字幕放送における字幕遅延を補償することに加えて、字幕遅延の無いパッケージ字幕番組を再生することも可能である。その場合には、字幕遅延時間ΔＴ＝０であるから、全ての字幕ページで可変遅延時間Ｄvar＝固定遅延時間Ｄfixとなる。即ち、字幕遅延制御装置６０は、現在受信している字幕放送番組が生字幕放送番組である場合には、上述のように映像固定遅延部６２、字幕可変遅延部６５及び音声固定遅延部６７による遅延を有効とする（以下、この状態を「遅延モード」と呼ぶ。）。一方、現在受信している字幕放送番組がパッケージ字幕放送番組である場合、映像固定遅延部６２、字幕可変遅延部６５及び音声固定遅延部６７による遅延をゼロとする（以下、この状態を「非遅延モード」と呼ぶ。）。
【００５２】
ただし、遅延モードと非遅延モードとの間の切り替えの際には、前述と同様に映像と音声の不連続が発生することには注意を要する。この対策としては、遅延モードへの切り替えを生字幕番組の入り口で行うか（「自動遅延モード」）、全番組を遅延モードで見る（「常時遅延モード」）か、などを視聴者が任意に選択できるように字幕遅延制御装置６０を構成すればよい。好適な例としては、視聴者が任意に選択可能なモードとして、「常時遅延モード」、「自動遅延モード」および「遅延補償なし」を設け、ユーザに任意に設定させればよい。「常時遅延モード」では字幕なしの番組を含めて全番組を一定の時間だけ遅延して視聴することになる。この場合は字幕のタイミングだけが操作されるので映像・音声の不連続は一切起こらない。「自動遅延モード」では通常の字幕無し番組及びパッケージ字幕番組は遅延なしで視聴し、生字幕番組に入るときと出るときに自動的に映像・音声の不連続を許容した切り替えを行う。このときは受信者が文字放送の字幕の番組番号を選択したときに「入り」、字幕の番組番号から他の番組番号を選択したときに「出」に切り替えるのが適切な方法である。「遅延補償なし」ではこれらの動作をすべて停止して従来通りの受信形態をとる。即ち、字幕は映像に対して遅れて再生されることになる。
【００５３】
遅延モードの自動切り替えは、上述した遅延制御情報を用いて行うことができる。すなわち、字幕遅延制御装置６０は、透明字幕ページを受信したときに自動遅延モードへの「入り」の制御を行い。また、透明字幕ページの受信が一定のタイムアウト時間より長い間（例えば３０秒）行われなかったときに、字幕遅延制御装置６０は自動遅延モードからの「出」の制御を行う。これは通常の字幕番組で字幕送出の間隔が３０秒以上になる例はほとんど無いことを利用している。
【００５４】
なお、遅延モードへの「入り」の制御時には、固定遅延時間Ｄfixの期間にわたり映像及び音声が無くなるので、視聴者の不安を除くために、不連続対策として別途用意した字幕や音声でたとえば「字幕合わせの起動中です」というような告知を行うことが望ましい。また、同様に遅延モードからの「出」の瞬間には映像及び音声のスキップが生ずるので、「字幕合わせを終了中しました」などの告知を行うことが望ましい。
【００５５】
（実施例）
図８に、上記の字幕遅延制御装置６０の実施例を示す。本実施例による字幕遅延制御装置６０ａは、映像信号及び音声信号を遅延させるためにＨＤＤレコーダを使用した例である。
【００５６】
図８（ａ）は字幕遅延制御装置６０ａの構成を示す。放送局からの放送波から抽出されたＲＦ信号Ｓrfは、ＨＤＤレコーダ８１及びアダプタ８２へ入力される。ＨＤＤレコーダ８１はＲＦ信号Ｓrf中の映像信号及び音声信号をそれぞれ固定遅延時間Ｄfixだけ遅延し、遅延した映像信号Ｖｄをアダプタ８２へ入力するとともに、遅延した音声信号ＡｄをＴＶ受信機５２へ入力する。
【００５７】
アダプタ８２の構成を図８（ｂ）に示す。アダプタ８２内では、遅延制御フラグ抽出部９２が映像信号中の字幕ページから図５に例示した制御フラグを抽出する。字幕遅延部９３は、制御フラグに基づいて字幕遅延時間ΔＴを算出し、それに基づいて可変遅延時間Ｄvarだけ字幕データを遅延させる。字幕デコード部９４は、遅延された字幕データをデコードして字幕画面を生成する。字幕重畳部９１は遅延された映像信号Ｖｄに対して、遅延された字幕画面を重畳し、字幕付き映像信号ＶｄｃとしてＴＶ受信機５２へ供給する。ＴＶ受信機５２は、入力された音声信号Ａｄ及び字幕付き映像信号Ｖｄｃを再生する。なお、この構成では、ＴＶ受信機５２には放送波の受信機能は不要であり、代わりに外部からの映像及び音声入力を再生可能な単なるモニタを使用してもよい。
【００５８】
［第２実施形態］
上記の実施形態は、字幕付き映像信号がアナログＴＶ映像信号である場合を示したが、字幕付き映像信号がデジタルＴＶ映像信号である場合にも本発明を適用することができる。即ち、デジタル字幕放送番組についても、上述の固定遅延と可変遅延の組み合わせによる字幕遅延補償が実現可能である。
【００５９】
デジタル字幕放送において、字幕入力開始タイミング及び字幕重畳タイミングを受信側に伝送し、受信側でその時間差として遅延時間を求める方法の例を２つ示す。
【００６０】
第１の例は、アナログ放送の場合で説明したものと同じ制御フラグを新設する方法である。図９に、デジタルＴＶ映像信号の場合の制御フラグの設定方法について説明する。ＡＲＩＢ標準規格では、字幕の伝送方法として、まずページ単位の字幕データを収容した字幕データユニットをデータグループとして構成し、これをデータバイトに収容したＰＥＳ（Packetized Elementary Stream）としてＴＳ（Transport Stream）に乗せて放送すると規定している。本発明の趣旨から、制御フラグは字幕ページ単位で伝送する必要があるが、１枚の字幕ページについて少なくとも１個のＰＥＳが生成されるので、制御フラグはＰＥＳ内のどこかに収容するのが適当である。
【００６１】
データグループからＰＥＳまでの階層構造と制御フラグの収容場所を図９に示す。図示のように、データグループ内には制御フラグの収容に適する場所が無いため、１つの方法では、ＰＥＳヘッダ中の１２８バイトのプライベートデータ領域内に前述の４ビットの制御ビットを確保し、制御フラグを設定する。この領域は事業者が使用できるので最も好ましいと考えられる。但し、本発明による制御フラグの収容場所は、この例に限定されるものではない。
【００６２】
具体的には、透明字幕ページのＰＥＳヘッダに字幕入力開始タイミングを示す制御フラグを収容し、通常字幕ページのＰＥＳヘッダには字幕重畳タイミングを示す制御フラグを収容して、ユーザ環境へ送信する。字幕遅延制御装置は、透明字幕ページ中の字幕入力開始タイミングを示す制御フラグを受信したら字幕遅延時間ΔＴのカウントを開始し、次に通常字ページ中の字幕重畳タイミングを示す制御フラグを受信したらカウントを停止して字幕遅延時間ΔＴを算出する。
【００６３】
第２の例では、制御フラグを新設せず、字幕本文中に透明文字色を用いて字幕入力開始タイミングを示す文字又は記号などを記入する。透明字幕ページであるので、この文字又は符号などが表示されることはない。なお、字幕重畳タイミングを示す制御フラグは第１の例と同様に、通常字幕ページのＰＥＳヘッダ中の制御ビットに設定する。
【００６４】
第２の設定例の場合、字幕遅延制御装置側では、透明字幕ページ中に挿入された、字幕入力開始タイミングを示す上記の文字又は符号を検出してから、通常字幕ページのＰＥＳヘッダ中に設定された、字幕重畳タイミングを示す制御フラグを検出するまでの時間をカウントし、字幕遅延時間ΔＴとする。
【００６５】
図１０に、デジタル字幕放送の場合の字幕遅延制御装置の構成を示す。字幕遅延制御の手法は、上述のアナログ字幕放送の場合と基本的に同様である。なお、この字幕遅延制御装置は、コンピュータ上で動作する制御プログラムとして構成することが可能である。
【００６６】
デジタル字幕放送のＴＳは映像信号、音声信号及び字幕ＰＥＳを含んでおり、ＴＳ固定遅延部１０１及び字幕ＰＥＳ抽出部１０３へ供給される。ＴＳ固定遅延部１０１は、固定遅延Ｄfixを与え、遅延ＴＳデータＤtsdを映像／音声デコード部１０２へ供給する。映像／音声デコード部１０２は、映像データ及び音声データをそれぞれデコードし、固定遅延された音声データＤadを音声回路へ供給するとともに、固定遅延された映像データＤvdを画面合成部１０６へ供給する。
【００６７】
字幕ＰＥＳ抽出部１０３はＴＳから字幕ＰＥＳを抽出し、字幕データＤｃを字幕可変遅延部１０４へ供給する。字幕可変遅延部１０４は、上述のように制御フラグなどに基づいて得られた字幕遅延時間ΔＴに基づいて可変遅延時間Ｄvarを算出し、その可変遅延時間だけ字幕データを遅延させて字幕データＤcdとして字幕画面生成部１０５へ供給する。字幕画面生成部１０５は、字幕データＤcdから字幕画面データＤccを生成し、画面合成部１０６へ供給する。画面合成部１０６は、固定遅延時間Ｄfixだけ遅延された映像データＤvdと、可変遅延時間Ｄvarだけ遅延された字幕画面とを合成し、表示回路へ供給する。こうして、音声、映像及び字幕が時間軸上で一致した状態で再生される。
【００６８】
なお、ＴＳ固定遅延部１０１及び字幕可変遅延部１０４は、例えば半導体メモリを利用紙、それぞれＦＩＦＯ（First in First Out）バッファとリングバッファを構成することにより実現することができる。また、映像、音声及び字幕のＰＥＳヘッダ拡張部のＰＴＳ（Presentation Time Stamp）を適切に設定することにより、字幕の可変遅延を実現することも可能である。
【００６９】
［第３実施形態］
次に、本発明の第３実施形態について説明する。上記の第１及び第２実施形態では、放送局から送信される字幕付き映像信号に含まれる遅延制御情報に基づいて字幕遅延時間ΔＴを算出している。即ち、放送局では、予め遅延制御情報を作成し、これを映像信号中に含めて送信する必要がある。これに対し、第３実施形態では、放送局は遅延制御情報を含まない通常の字幕付き映像信号を送信する。受信機側は、通常の字幕付き映像信号から自動的に字幕遅延時間ΔＴを算出し、遅延補償を行う。
【００７０】
（字幕遅延時間の自動算出）
以下、第３実施形態による字幕遅延時間ΔＴの自動算出方法について説明する。図１１は、字幕遅延時間の自動算出の原理を説明する図である。具体的に、図１１は、放送中の映像の各シーン（場面）と、それらに対応するメッセージ音声と、字幕データの入力／受信タイミングとを示す。黒い太枠は各映像シーン２０１を示し、細い黒枠は映像に対応付けされたメッセージ音声２０２が１センテンスで時間的に連続している区間を示す。図示のように１つのメッセージ音声の開始時刻をｔａ、終了時刻をｔｂとすると、字幕遅延時間ΔＴは、ΔＴ＝ｔｂ−ｔａで得られる。なお、時間的に連続するメッセージ音声２０２の間を「段落」２０３と呼ぶ。また、白三角のマーク２０４は字幕データの入力開始タイミングを示し、黒三角のマーク２０５は字幕データの受信タイミング（＝入力終了／送出タイミング）を示す。
【００７１】
あるシーンの最初の字幕入力はメッセージ音声２０２の開始時刻ｔａに開始され、メッセージ音声２０２の終了時刻ｔｂ（＝段落の開始時刻）に終了する。なお、字幕の入力終了・送出が、メッセージ音声の終了を過ぎてから行われる場合もある。メッセージ音声が長い場合、数ページ分の字幕がまとめて入力される。図１１のように、１つのシーン中に、段落２０３をはさんで複数のメッセージ音声２０２が存在することも多い。あるシーンが終了すると映像は次のシーンに移るが、通常はシーンの移行時にはメッセージ音声を理解しやすいように次のシーンのメッセージ音声までの時間間隔（段落）をやや長くとることが行われる（段落２０６を参照）。
【００７２】
本実施形態では、このように段落の箇所でメッセージ音声が無音になった後、次のメッセージ音声の開始時刻ｔａ（立ち上がり）を自動的に検出し、字幕の入力開始タイミングとする。また、その字幕データの入力が終了し、放送局から送出されて受信機に到着したときの時刻ｔｂを字幕の終了タイミングとする。この両者の時間差から、字幕遅延時間ΔＴはΔＴ＝ｔｂ−ｔａで算出される。例えばカウンタなどを用いて、字幕データの入力開始タイミングｔａから、字幕データの受信タイミングｔｂまでの時間をカウントすることにより、字幕遅延時間ΔＴを容易に得ることができる。
【００７３】
なお、実際にはメッセージ音声が無音となった後、次のメッセージ音声の立上りで必ずしも字幕が挿入されるとは限らない。即ち、メッセージ音声が存在しても、それに対応する字幕が存在しない場合もある。この場合、あるメッセージ音声（ｎ番目とする）の立上りが検出されてから、次のメッセージ音声（ｎ＋１番目とする）の立上りが検出されるまでの間に字幕データは放送局から送出されず、受信機側もそれを受信しないことになる。よって、受信機側は、次のメッセージ音声の立上りまでに字幕データを受信しなかった場合は、ｎ番目のメッセージ音声の立上りタイミングｔａを破棄し、ｎ＋１番目のメッセージ音声の立上りタイミングｔａとそれに続く字幕データの受信タイミングｔｂから字幕遅延時間ΔＴを算出すればよい。カウンタを用いる場合には、次のメッセージ音声の立上りまでに字幕データを受信しなかった場合、ｎ番目のメッセージ音声の立上りタイミングｔａに対応するカウント値をクリアすればよい。
【００７４】
次に、メッセージ音声２０２の無音部分からメッセージ音声の立上りタイミングを自動検出する方法について、図１２を参照して説明する。図１２において、アナログ音声信号Ｓ１はメッセージ音声２０２の音声信号の波形を示している。なお、アナログ音声信号Ｓ１の波形は、その平均信号レベルを「０」として図示している。波形部分Ｍ１、Ｍ２はメッセージ音声に対応している。アナログ音声信号Ｓ１の振幅が大きいほどメッセージ音声の音量が大きく、波形が細かい（周波数が高い）ほどメッセージ音声の音は高い。
【００７５】
いま、図示のように、メッセージ音声がＭ１の部分とＭ２の部分を有し、その間に段落に相当する無音期間Ｔｄがあるとする。図示のように、通常、無音期間Ｔｄ内にも多少のノイズが含まれている。よって、アナログ音声信号Ｓ１を、適切なスライスレベルＬｓでスライスし、スライス信号Ｓ２を生成する。スライスレベルＬｓは、アナログ音声信号Ｓ１の平均信号レベルに近く、かつ、ノイズレベルより高いレベルに予め決定される。スライス信号Ｓ２は、図示のように「０」と「１」の２値のパルス信号となる。このスライス信号Ｓ２には、メッセージ音声を構成する可聴周波数の周期に近い幅のパルスや、アナウンサーが呼吸を継ぐ短い無音期間、段落として挿入される比較的長い無音期間などを含んでいる。
【００７６】
このスライス信号Ｓ２で、リトリガー（Re-Trigger）型ワンショットマルチバイブレータをトリガすることにより、スライス信号Ｓ２に含まれる周期の短いパルスを除去し、段落などの周期の長いパルスのみを残し、無音期間信号Ｓ３を生成する。無音期間信号Ｓ３は、ある時間幅以上の無音期間が「０」レベルとなり、それ以外の期間が「１」レベルとなる。なお、図１２では、リトリガー型ワンショットマルチバイブレータのパルス幅が「τ」で示されており、このパルス幅τより短い幅のパルスが除去されている。
【００７７】
次に、無音期間信号Ｓ３における「０」レベルから「１」レベルへの遷移点を別のモノマルチバイブレータにより抽出することにより、メッセージ立上り信号Ｓ４を得ることができる。メッセージ立上り信号Ｓ４に含まれるパルスＰupの立上りは、メッセージ音声の立上り時刻ｔａを示している。
【００７８】
以上のようにして、メッセージ音声の開始時刻、即ち字幕データの入力開始タイミングｔａが得られる。一方、受信機は、放送局から送出された字幕付き映像信号中の字幕データを受信した時刻を字幕データの受信タイミングｔｂとする。通常、字幕データは入力終了後直ちに放送局から送出され、受信機により受信されるので、字幕データの受信タイミングは、字幕データの入力終了タイミング及び送出タイミングと一致する。そして、受信機は、こうして得られた字幕データの入力開始タイミングｔａ及び受信タイミングｔｂに基づいて、字幕遅延時間ΔＴを算出する。
【００７９】
本実施形態の方法では、放送局から送出される通常の字幕付き映像信号（即ち、第１及び第２実施形態に示す遅延制御情報を含まない字幕付き映像信号）に基づいて、受信機が自動的に字幕遅延時間ΔＴを算出することができる。よって、放送局側で、遅延制御信号を字幕付き映像信号中に挿入するという特別な処理を要することなく、受信機側における字幕表示の遅延補償が可能となる。
【００８０】
上記の字幕遅延時間の自動検出方法は、例えばニュース番組におけるアナウンサーのメッセージ音声のように、アナログ音声信号中の有音／無音の境界がはっきりしている場合に有効である。しかし、例えば背景音楽が流れている番組やノイズが多い環境などでは、背景音楽やノイズとメッセージ音声とが混在しており、無音期間の検出が困難な場合がある。そのような場合には、図１２に示すメッセージ立上り信号Ｓ４を検出することができない状態で、受信機は字幕データを受信することになる。即ち、受信機は、字幕データの受信タイミングｔｂを得ることはできるが、字幕データの入力開始タイミングｔａを得ることができない。この場合の対策としては、字幕遅延時間ΔＴとして、当該番組の開始からその時点までに算出された各ページの字幕遅延時間ΔＴの平均値又は最頻値に相当する遅延時間、もしくは予め経験的に決定された平均的な字幕遅延時間（以下、「デフォルト字幕遅延時間」とも呼ぶ。）を代わりに使用することができる。これにより、自動検出による無音期間の検出が困難な場合にも、ある程度自然なタイミングで字幕表示が可能となる。
【００８１】
なお、このように字幕遅延時間を自動検出するか、デフォルト字幕遅延時間を使用するかは、ユーザの設定により選択可能としてもよいし、番組の種類毎に自動的に設定されるように機器を構成してもよい。
【００８２】
図１３に第３実施形態に係る字幕遅延制御装置の概略ブロック図を示す。字幕遅延制御装置６０ａは、図１に示すようにユーザ環境５０内に設けられる。図示のように、字幕遅延制御装置６０ａは、映像固定遅延部１２１と、音声固定遅延部１２２と、画面合成部１２３と、字幕データ抽出部１２４と、音声立上り検出部１２５と、字幕遅延時間算出部１２６と、字幕可変遅延部１２７とを備える。
【００８３】
字幕データ抽出部１２４は、字幕付き映像信号から字幕データを抽出して字幕可変遅延部１２７へ供給するとともに、字幕データの受信タイミング（ｔｂ）を字幕遅延時間算出部１２６へ供給する。また、字幕データ抽出後の映像信号を映像固定遅延部１２１へ供給する。映像固定遅延部１２１は、入力された映像信号を固定遅延時間Ｄfix遅延し、画面合成部１２３へ供給する。
【００８４】
音声信号は音声固定遅延部１２２及び音声立上り検出部１２５へ入力される。音声固定遅延部１２２は、音声信号を固定遅延時間Ｄfix遅延させ、音声回路へ出力する。音声立上り検出部１２５は、上述のようにメッセージ音声の立上りを検出して字幕データの入力開始タイミングｔａを取得し、字幕遅延時間算出部１２６へ供給する。字幕遅延時間算出部１２６は、字幕データ抽出部１２４から供給された字幕データの受信タイミングｔｂ、及び、音声立上り検出部１２５から供給された入力開始タイミングｔａに基づいて、字幕遅延時間ΔＴを算出し、字幕可変遅延部１２７へ送る。
【００８５】
字幕可変遅延部１２７は、字幕遅延時間ΔＴと、予め決定されている固定遅延時間Ｄfixとに基づいて可変遅延時間Ｄvarを算出する。そして、字幕データ抽出部１２４から供給された字幕データを可変遅延時間Ｄvar遅延して画面合成部１２３へ供給する。画面合成部１２３は、可変遅延時間Ｄvar遅延された字幕データを、固定遅延時間Ｄfix遅延された映像信号に合成し、表示回路へ出力する。こうして、字幕の遅延補償が行われる。
【００８６】
なお、デジタル放送の場合には、字幕データの受信タイミングは字幕ＰＥＳのページデータ到着時刻から知ることもできる。また、デジタル放送の場合、映像固定遅延部１２１及び音声固定遅延部１２２は、映像・音声信号の代わりに、それらを伝送するＭＰＥＧ２信号のＰＥＳ又はＴＳを遅延してもよい。
【００８７】
なお、字幕データを表示する上で重要な事項に、ある字幕の表示を開始するタイミングの他に、その表示を終了するタイミングがある。字幕の表示の終了方法としては２つある。第１の方法は、文字の無い画面を上書きする方法である。通常、各字幕は、次の字幕の到着したときに、その新しい字幕が表示される（即ち、字幕が更新される）。よって、次のページの字幕データが到着する前に古い字幕を意図的に消去したい場合には、文字無しの画面を上書き表示することにより古い字幕の表示を終了させることができる。第２の方法は、字幕表示を強制終了するための消去パケットを伝送する方法である。消去パケットとは、字幕表示を終了するための目的で送られる１ページ分のデータである。例えば民放の放送では、ＣＭの開始前に字幕表示を強制終了する目的で消去パケットを使用することがある。
【００８８】
本実施形態では、字幕表示の消去に第１の方法を使用する場合には、文字無し画面に対応するページの直前の通常ページにおいて検出された字幕データの入力開始タイミングｔａから、当該文字無し画面に対応するページを受信した受信タイミングｔｂまでの時間を字幕遅延時間ΔＴとすることにより、正しく文字画面の消去動作が実行される。
【００８９】
一方、字幕表示の消去に第２の方法を使用する場合には、消去パケットを受信したときに字幕遅延時間ΔＴを「０」に設定する。これにより、固定遅延時間と同じ遅延時間後、即ち、映像及び音声の表示終了時に字幕データも同時に消去されることとなるので、映像がＣＭなどに入る直前で正しく文字画面の消去動作が実行される。なお、消去パケットは文字データユニットを含まないパケットであるので、消去パケットであるか否かの判別は受信したパケット中の文字データユニットの有無により容易に行うことができる。
【００９０】
（変形例）
上記の説明では、本実施形態による字幕遅延時間の自動検出手法を受信機側（ユーザ環境側）の装置に搭載する例を説明した。その代わりに、この自動検出手法を、放送局側の機器に搭載することも可能である。その場合には、放送局側で字幕遅延時間を自動検出し、それに基づいて第１及び第２実施形態のように遅延制御情報を生成して字幕付き映像信号中に挿入した上で送出することができる。
【図面の簡単な説明】
【００９１】
【図１】本発明に係る字幕遅延制御装置を適用した環境の例を示す。
【図２】字幕の遅延を説明する図である。
【図３】遅延制御情報による字幕遅延時間の特定方法を概念的に示す図である。
【図４】字幕付き映像信号中における遅延制御情報の位置及び内容を示す。
【図５】字幕付き映像信号中における遅延制御情報の位置及び内容を示す。
【図６】字幕遅延の基本的な補償方法を示すブロック図である。
【図７】本発明の好適な実施形態に係る字幕遅延制御装置の構成を示す。
【図８】字幕遅延制御装置の実施例を示すブロック図である。
【図９】デジタルＴＶ映像信号の場合の制御フラグの設定例を示す。
【図１０】デジタル字幕放送に対応した字幕遅延制御装置の構成を示す。
【図１１】第３実施形態による字幕遅延時間の自動算出の原理を説明する図である。
【図１２】字幕データの入力開始タイミングの検出方法を説明する図である。
【図１３】第３実施形態に係る字幕遅延制御装置の概略ブロック図を示す。
【符号の説明】
【００９２】
１０ 放送局、
２０ 字幕放送送出システム、
４０ 放送波、
５０ ユーザ環境、
５２ ＴＶ受信機、
６０、６０ａ 字幕遅延制御装置
【技術分野】
【０００１】
本発明は、字幕放送などの字幕付き映像信号に基づいて、映像とその映像に対応する字幕とを時間的に同期させて再生する技術に関する。
【背景技術】
【０００２】
ニュースなどの生のテレビ番組では、聴覚障害者向けサービスとして字幕を放送することが増えている。この「生」の字幕放送（「生字幕放送」、「リアルタイム字幕放送」などと呼ばれる。）では、時として映像に対して字幕が数秒〜数十秒遅れて放送され、視聴者が違和感を覚えることがある。
【０００３】
アナログ放送では、映像信号の垂直帰線消去期間（VBI:Vertical Blanking Period）に字幕データを重畳している。通常の字幕付き録画番組では、予め字幕を制作しておき、映像と完全に合ったタイミングで字幕データをページ単位で送出することができる。一方、生字幕番組では、字幕の重畳が映像に対して遅れたタイミングで行われる。これは、放送局の字幕入力者が、放送される映像を見ながら字幕文をキー入力し、漢字変換、誤変換訂正などを行った後に初めて字幕を重畳するため、時間的に遅れが生じるからである（以下、この遅れを「字幕遅延」と呼ぶ。）。よって、字幕遅延が大きいと、視聴者は映像が切り替わってから数秒後に字幕を見ることになり、違和感を覚えることになる。
【０００４】
このような字幕遅延を補償する手法が例えば特許文献１及び２に提案されている。
【０００５】
【特許文献１】特開２００４−２１５０３３号公報
【特許文献２】特開２００４−２０７８２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は以上の点に鑑みてなされたものであり、生字幕放送において映像と字幕を時間軸上で完全に同期させて再生することを可能とする字幕付き映像信号の遅延制御装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の１つの観点では、字幕付き映像信号の遅延制御装置は、字幕付き映像信号を受信する受信部と、前記字幕付き映像信号から、字幕信号を抽出する抽出部と、前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部と、前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部と、を備えることを特徴とする。
【０００８】
上記の遅延制御装置は、放送局から送信される字幕放送を受信する環境に配置され、例えばＴＶ受信機やＨＤＤレコーダなどに内蔵することができる。字幕放送番組の放送波に含まれる字幕付き映像信号は受信部により受信され、字幕信号が抽出される。映像信号は、所定の固定遅延時間で遅延される。一方、字幕信号は、その字幕信号に応じた可変遅延時間だけ遅延される。そして、遅延映像信号と遅延字幕信号を合成することにより、映像と字幕とが同期した字幕同期映像信号が生成される。
【０００９】
上記の字幕付き映像信号の遅延制御装置の一態様では、前記字幕遅延部は、前記字幕付き映像信号中の映像信号に対する字幕信号の遅れ時間である字幕遅延時間に基づいて、前記可変遅延時間を決定する。生字幕放送では、字幕の入力作業などに要する時間分だけ、映像に対して字幕が遅れて送信される（字幕遅延時間）。ここで、映像と字幕との時間軸上の同期を確保する際には、字幕毎にその遅れ時間が異なる点が問題である。上記の遅延制御装置では、映像信号は一律に固定遅延時間だけ遅延し、字幕データはその字幕データ毎の字幕遅延時間に応じた可変遅延時間で遅延させるので、字幕データ毎に字幕遅延時間が異なる場合でも、映像と字幕とを確実に同期させて再生することが可能となる。
【００１０】
好適な例では、前記字幕遅延部は、前記固定遅延時間から前記字幕遅延時間を減算することにより、前記可変遅延時間を算出する。これにより、単純な処理で可変遅延時間を算出することができる。
【００１１】
上記の字幕付き映像信号の遅延制御装置の他の一態様では、前記字幕付き映像信号は、前記映像信号に対する前記字幕信号の入力開始タイミングを示す情報及び重畳タイミングを示す情報を含む遅延制御信号を有し、前記字幕遅延部は、前記遅延制御信号に基づいて、前記入力開始タイミングと前記重畳タイミングとの時間差を前記字幕遅延時間と決定する。これにより、字幕付き映像信号を作成する放送局側から与えられる遅延制御情報に基づいて、字幕遅延時間を正確に得ることができる。
【００１２】
好適な例では、前記字幕信号の入力開始タイミングを示す情報は、透明字幕に対応する字幕信号中に含められる。透明字幕に対応する字幕信号を利用することにより、映像に影響を与えることなく、遅延制御信号を放送局側から遅延制御装置側へ伝送することが可能となる。
【００１３】
上記の字幕付き映像信号の遅延制御装置の一態様では、前記固定遅延時間は、前記字幕付き映像信号に含まれる前記字幕信号の最大の字幕遅延時間よりも大きく設定される。これにより、字幕遅延時間の大小に拘わらず、確実に映像と字幕と時間軸上で同期させることが可能となる。
【００１４】
上記の字幕付き映像信号の遅延制御装置の他の一態様では、前記受信部は、前記字幕付き映像信号に対応する音声信号を受信し、前記抽出部は、前記字幕信号の受信タイミングを検出し、前記字幕遅延部は、前記音声信号に基づいて字幕信号の入力開始タイミングを検出する検出部と、前記字幕信号の入力開始タイミング及び前記字幕信号の受信タイミングに基づいて前記字幕遅延時間を算出する字幕遅延時間算出部と、を備える。
【００１５】
この態様では、遅延制御装置は、字幕付き映像信号に対応する音声信号を受信し、音声信号に基づいて字幕信号の入力開始タイミングを検出する。また、抽出部は字幕信号の受信タイミングを検出する。そして、字幕信号の入力開始タイミングと、字幕信号の受信タイミングとに基づいて字幕遅延時間が算出される。これによれば、放送局から送信される字幕付き映像信号中に、字幕遅延時間を算出するための遅延制御信号を含める必要がなくなり、受信側の遅延制御装置のみで字幕信号の遅延補償が可能となる。好適な例では、前記字幕遅延時間算出部は、前記字幕信号の入力開始タイミングと前記字幕信号の受信タイミングとの時間間隔を前記字幕遅延時間とする。
【００１６】
上記の字幕付き映像信号の遅延制御装置の他の一態様では、前記字幕遅延部は、前記検出部が前記字幕信号の入力開始タイミングを検出できない場合には、所定のデフォルト字幕遅延時間を前記字幕遅延時間に設定する。これにより、例えば音声信号にノイズが多い場合や、メッセージ音声以外の信号が含まれる場合など、メッセージ音声の立上りを正確に検出できない場合であっても、ある程度の信頼性で遅延補償を行うことが可能となる。好適な例では、前記デフォルト字幕遅延時間は、前記字幕付き映像信号が構成する番組の開始からその時点までに算出された字幕遅延時間の平均値又は最頻値に相当する遅延時間、もしくは予め経験的に決定された平均的な字幕遅延時間とすることができる。
【００１７】
上記の字幕付き映像信号の好適な実施例では、前記検出部は、前記音声信号を所定のスライスレベルでスライスしてスライス信号を生成する手段と、前記スライス信号に基づいて、前記音声信号の無音期間を検出する手段と、前記無音期間の終了時点を前記字幕信号の入力開始タイミングとして抽出する手段と、を備える。
【００１８】
本発明の他の観点では、字幕付き映像／音声再生装置は、上記の字幕付き映像信号の遅延制御装置と、音声信号を受信し、前記固定遅延時間で遅延させて遅延音声信号を生成する音声遅延部と、前記字幕同期映像信号及び前記遅延音声信号を再生する再生部と、を備える。上記の字幕付き映像信号の遅延制御装置に加えて、音声信号を映像信号と同じ固定遅延時間で遅延させることにより、生字幕放送番組の字幕と映像及び音声とを同期再生することが可能な再生装置を提供することが可能となる。
【００１９】
本発明の他の観点では、字幕付き映像信号の遅延制御プログラムは、コンピュータ端末により実行されることにより、前記コンピュータ端末を、字幕付き映像信号を受信する受信部と、前記字幕付き映像信号から、字幕信号を抽出する抽出部と、前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、前記字幕信号を、当該字幕信号に応じた可変遅延時間で遅延させ、遅延字幕信号を生成する字幕遅延部と、前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部として機能させる。
【００２０】
上記のプログラムをコンピュータ上で実行することにより、本発明の字幕付き映像信号の遅延制御装置を実現することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明の好適な実施形態について説明する。
【００２２】
［第１実施形態］
（字幕放送システム）
図１に、本発明に係る字幕付き映像信号の遅延制御手法を適用した字幕放送システムの例を示す。図１では、放送局１０がユーザ環境５０に対して字幕テレビ放送を行っている。放送局１０内では、字幕放送送出システム２０が字幕付き映像信号を作成し、これを放送波４０に乗せて送出する。ユーザ環境５０では字幕遅延制御装置６０が放送波４０を受信し、字幕信号の遅延調整を行って、映像と字幕とが時間軸上で同期した字幕付き映像信号（「字幕同期映像信号」とも呼ぶ。）と、音声信号とを含む信号５３を生成してＴＶ受信機５２へ供給する。ＴＶ受信機５２は、字幕同期映像信号及び音声信号を再生する。これにより、ユーザは生字幕放送を、映像と字幕とが時間的に同期した状態で視聴することができる。
【００２３】
（字幕遅延）
次に、生字幕放送において生じる字幕遅延について説明する。テレビ等の番組は、事前にＶＴＲなどに収録したパッケージ番組と、ニュースなどの様に生放送の番組に大別される。これらの番組に字幕を付与する場合、パッケージ番組では、映像信号などと字幕信号を一緒にＶＴＲなどに記録し放送する方法と、映像信号などをＶＴＲなどに記録し、放送時に字幕信号を付加する方法があり、それらは共にパッケージ字幕放送番組である。また、ニュース番組など生放送の放送時に、リアルタイムで字幕を付加する生字幕（リアルタイム字幕）放送番組がある。
【００２４】
生字幕放送番組の場合、ＴＶ映像の生放送中に、リアルタイムで字幕を生成し、ＴＶ映像に挿入して放送するため、字幕はＴＶ映像の放送に対して時間的に遅れて表示されることになる。以下、生字幕放送における字幕送出の遅延について簡単に説明する。
【００２５】
ニュースなどの生のテレビ番組で聴覚障害者向けサービスとして字幕を放送することが増えている。この生字幕放送では、時として映像に対して字幕が数秒〜数十秒遅れて放送されることがあり、この遅延が大きいと視聴者が違和感を覚えることがある。
【００２６】
アナログ放送では、映像の垂直帰線消去期間（ＶＢＩ）に字幕データを映像に合わせて重畳している。パッケージ字幕放送番組ではあらかじめ字幕を制作しておき、映像と完全に合ったタイミングで字幕データをページ単位で送出できるが、リアルタイム字幕番組では、図２に示すように字幕の重畳タイミングがリアルタイムでなく、若干遅れたタイミングで行われる。これは、放送局の字幕入力者が、放送される映像を見ながら字幕文をキー入力し、漢字変換、誤変換訂正などを行って字幕データを作成した後で、始めて字幕データを重畳するため、字幕データの送出が映像より遅れるのである。なお、図２において、字幕の入力開始タイミングと、対応する字幕データが重畳されるタイミングとのずれ、即ち、字幕遅延時間がΔＴで示されている。映像カット毎に字幕の内容が異なり、それに応じて字幕データの作成に要する時間が異なるため、字幕遅延時間ΔＴは映像カット毎に異なったものとなる（ΔＴ１〜ΔＴ３）。
【００２７】
よって、例えばニュース番組の場合、アナウンサーがニュース記事を読んだときに、その内容を音声認識などにより取得して字幕を生成し、これをＴＶ映像に付加するので、実際にはそのニュース項目に対応する映像及びアナウンサーの音声が終了し、次のニュース項目に移った頃に字幕が挿入されるということもある。
【００２８】
なお、リアルタイム字幕の生成方法としては、アナウンサーの発声に基づいて音声認識を用いる音声認識方式や、放送音声を入力オペレータがキー入力することにより字幕を生成するキーボード方式などが知られている。
【００２９】
このため、生字幕放送番組の字幕付き映像信号中では、映像（フレーム画像）の内容と字幕とが時間的に一致していない。即ち、ある映像に対応する字幕は、当該映像から時間的に数フレームから数百フレーム程度遅れたフレーム画像の信号中に含まれていることになる。
【００３０】
このように、生字幕放送番組では、映像と字幕データとの間に字幕遅延が存在する。よって、受信機側で映像と字幕データを時間的に同期させて再生するためには、この字幕遅延を補償することが必要となる。即ち、字幕遅延時間ΔＴの大きさを、受信機側に伝える必要がある。このため、本発明では、字幕付き映像信号中に、字幕遅延時間ΔＴを得るために用いられる遅延制御信号を含める。図２に示すように、字幕遅延時間ΔＴは、各映像において、字幕入力開始タイミングと、字幕重畳タイミングとの時間差である。従って、本発明では、字幕入力開始タイミングを示す制御フラグと、字幕重畳タイミングを示す制御フラグを含む遅延制御信号を、字幕付き映像信号中に設定する。
【００３１】
まず、遅延制御信号の第１の設定例について説明する。第１の設定例は、図３に示すように、映像信号に対する通常字幕ページの前に新たに透明字幕ページを挿入する。そして、遅延制御情報として、透明字幕ページのページ管理情報には字幕入力開始タイミングを示す制御フラグを設定し、通常字幕ページのページ管理情報には字幕重畳タイミングを示す制御フラグを設定する。なお、透明字幕ページとは、表示文字の表示色と文字背景色を透明とすることにより、文字情報は送られるが、視聴者には見えないように意図されたページをいう。ここでは、各字幕ページのデータ先頭に配置されるページ管理情報の伝送が目的であるので、透明字幕ページにおける文字情報の内容は問わない。
【００３２】
図４及び５に、第１の設定例による遅延制御情報の位置及び内容を示す。本例では、字幕付き映像信号は文字放送規格に従ったアナログＴＶ映像信号であるものとする。アナログ字幕付き映像信号では、字幕データ及び字幕に関する情報はＴＶ映像信号の垂直帰線期間（ＶＢＩ）中に挿入される。本例では、特に制御信号は文字放送規格のうち、ページデータヘッダ（ＰＡＣＩ）の「ページ提示デバイス（ＤＢ１５）のうちのビット番号ｂ５〜ｂ８に設定されるものとする。
【００３３】
図４に文字放送のページデータヘッダの構成を示す。文字放送データのうち、図４の最下段に示すデータグループ０〜３にはそれぞれヘッダ（Ｈ）２１と、データグループデータ２２と、ＣＲＣなどの情報２３が含まれる。このうち、データグループ０中のデータグループデータ２２は番組管理データに対応し、番組管理データは番組データヘッダ２４及びデータユニット２５を含む。一方、データグループ１及び２中のデータグループデータ２２はページデータ中のページデータヘッダ２６及びデータユニット２７にそれぞれ対応する。
【００３４】
ページデータ中のページデータヘッダ２６は、データヘッダ識別３１、データヘッダデータ長３２及びデータヘッダデータ３３を含む。データヘッダ識別３１は情報分離符号ＤＢ８及びデータヘッダパラメータＤＢ９を含む。一方、データヘッダデータ３３は、図４の最上段に示すように、番組番号及びマガジン番号ＤＢ１１〜ラスタ色及びヘッダラスタ色ＤＢ１９の各種情報を含み、その中にページ提示デバイスＤＢ１５が含まれている。
【００３５】
図５に、ページデータヘッダ２６及びページ提示デバイスＤＢ１５の構成、並びに、制御フラグの例を示す。図示のように、ページ提示デバイスＤＢ１５はｂ１〜ｂ８の８ビットを有し、ｂ５〜ｂ８の４ビットが本発明による遅延制御信号を設定するための制御ビットとして使用される。また、これらの制御ビットは、ページデータヘッダ中の番組形態ＤＢ１４の制御ビット「ｂ４」、「ｂ３」がともに“１”（オン）である場合、つまり「“１１”＝字幕」である場合に有効となる。
【００３６】
図５の最下段に制御ビットｂ５〜ｂ８に設定される制御フラグの意味を示す。制御フラグ「０００１」は字幕入力開始タイミングを示し、制御フラグ「００１１」は字幕重畳タイミングを示す。なお、制御フラグ「００００」はリセットを意味し、上記以外の制御フラグは不使用に設定されている。
【００３７】
受信機側では、字幕付き映像信号中に含まれるこれらの制御フラグを検出することにより、各映像（映像カット）毎の字幕遅延時間ΔＴを算出することができる。具体的には、字幕入力開始タイミングを示す制御フラグ「０００１」を検出してから、字幕重畳タイミングを示す制御フラグ「００１１」を検出するまでの時間が、当該映像の字幕遅延時間ΔＴとなる。
【００３８】
次に、遅延制御情報の第２の設定例について説明する。上記の第１の設定例では、字幕入力開始タイミングを示す制御フラグをページ管理情報中の制御ビットに設定した。その代わりに、第２の設定例では、字幕入力開始タイミングを示す文字又は符号などを、透明字幕ページの字幕本文中に挿入する。透明字幕ページであるので、この文字又は符号などが表示されることはない。なお、字幕重畳タイミングを示す制御フラグは第１の設定例と同様に、通常字幕ページのページ管理情報中の制御ビットに設定する。
【００３９】
第２の設定例の場合、受信機側では、透明字幕ページ中に挿入された、字幕入力開始タイミングを示す上記の文字又は符号を検出してから、通常字幕ページのページ管理情報中に設定された、字幕重畳タイミングを示す制御フラグを検出するまでの時間をカウントし、時間間隔を字幕遅延時間ΔＴとする。
【００４０】
（遅延制御）
次に、上記の字幕遅延時間ΔＴを利用した遅延制御について説明する。字幕が映像より遅れて放送されるという問題を解決するには、放送側あるいは受信機側において映像の表示時間軸と字幕の表示時間軸をずらし、両者のタイミングを一致させればよい。このタイミング合わせのための処理は、基本的には放送局側及びユーザ環境（受信機側）のいずれにおいても実行することができる。放送局側のみで実施する場合、放送局内の字幕放送送出システムが映像信号を遅延させてそのタイミングを字幕に合わせ、放送すればよい。しかしながら、この手法は字幕を視聴する必要のない受信者にとっても生放送のメリットを減殺されることになり実現が困難である。そこで、本発明では、放送局側は遅延制御情報の送出のみ行い、ユーザ環境（受信機側）で遅延補償を行う方法を採用する。
【００４１】
遅延制御により映像の表示時間軸と字幕の表示時間軸を合わせる場合、次の点が重要である。
１）遅延時間は字幕の内容や入力担当者の要約の仕方によってページごとに変動し一定ではないが、これに対して常に最適な遅延を与えることが要求されること。
２）遅延が必要な字幕番組（生字幕番組）と不必要な番組（パッケージ字幕番組）があるため、自動的にこれに対応できること。
【００４２】
以下、これらの点を解決する方法の例を示す。図６は、字幕遅延の基本的な補償方法を示すブロック図である。字幕データ抽出部７１は、入力された字幕付き映像信号Ｓvcから字幕データを抽出し、字幕画面生成部７４へ供給するとともに、字幕データ抽出後の映像信号を映像可変遅延部７２へ供給する。字幕画面生成部７４は字幕データを元に、字幕画面を生成する。一方、映像可変遅延部７２は、入力された映像信号を字幕遅延時間ΔＴに相当する時間だけ遅延させ、出力する。遅延時間信号Ｓｄは、字幕遅延時間ΔＴを示す信号である。画面合成部７３は、映像可変遅延部７２から与えられる映像信号と、字幕画面生成部７４から与えられる字幕画面とを合成して表示回路へ供給する。また、音声信号Ｓacは、音声可変遅延部７７により、遅延時間信号Ｓｄに基づいて映像信号と同様に、字幕遅延時間ΔＴに相当する時間だけ遅延させ、音声回路へ出力する。
【００４３】
映像信号及び音声信号がアナログ信号である場合、可変遅延部はたとえばＡ／Ｄ変換、半導体メモリー、Ｄ／Ａ変換の組み合わせにより実現可能である。字幕遅延時間ΔＴは字幕ページごとに異なるが、遅延制御回路は、上述の遅延制御情報を検出することにより字幕ページ毎の字幕遅延時間ΔＴを算出して遅延時間信号Ｓｄを生成し、映像可変遅延部７２及び音声可変遅延部７７を制御する。こうして、映像信号及び音声信号は、字幕遅延時間ΔＴに相当する時間だけ遅延させられ、字幕との時間軸上のタイミングが一致する。
【００４４】
この方法は、受信機側で受信した字幕に合わせて必要な時間だけ映像信号と音声信号を遅らせるものであるが、字幕遅延時間ΔＴが変化するたびに映像信号と音声信号の不連続が発生するという欠陥がある。
【００４５】
図７は本発明の好適な実施形態に係る字幕遅延制御装置の構成を示す。この構成は図６に示した基本原理における欠陥を補った実現可能な方法である。なお、この字幕遅延制御装置は、コンピュータ上で動作する制御プログラムとして構成することが可能である。
【００４６】
この字幕遅延制御装置では、映像信号と音声信号はあらかじめ字幕の最大遅延を見込んだ固定遅延（Ｄfix）が与えられ、これに対して字幕信号にはページ単位の可変遅延（Ｄvar）が与えられる。字幕信号に対する可変遅延時間は、Ｄvar＝Ｄfix−ΔＴで算出する。ΔＴは各字幕ページ毎の字幕遅延時間である。この手法により、字幕ページ毎に字幕遅延時間が異なることに起因して映像及び音声の不連続が生じることが防止される。
【００４７】
具体的には、図７において、字幕データ抽出部６１は字幕付き映像信号Ｓvcから字幕データを抽出して字幕可変遅延部６５へ供給するとともに、字幕データ抽出後の映像信号を映像固定遅延部６２へ供給する。映像固定遅延部６２は、映像信号を予め決められた固定遅延時間Ｄfixだけ遅延し、画面合成部６３へ供給する。
【００４８】
一方、字幕可変遅延部６５には、字幕遅延時間ΔＴが与えられる。字幕可変遅延部６５は、Ｄvar＝Ｄfix−ΔＴの式に基づいて、字幕ページ毎に可変遅延時間Ｄvarを算出し、その遅延時間Ｄvarだけ字幕データを遅延させて字幕画面生成部６４へ出力する。字幕画面生成部６４は、遅延された字幕データから字幕画面を生成し、画面合成部６３へ供給する。画面合成部６３は、固定遅延時間Ｄfixだけ遅延された映像信号と、可変遅延時間Ｄvarだけ遅延された字幕画面とを合成して表示回路へ出力する。なお、音声信号は、映像信号との同期を維持するため、音声可変遅延部６７により映像信号と同様の固定遅延時間Ｄfixだけ遅延されて音声回路へ出力される。
【００４９】
たとえば固定遅延時間Ｄfixを１５秒に設定した字幕遅延制御装置で、字幕遅延時間ΔＴ＝７秒遅れの生字幕ページを受信したとき、可変遅延時間Ｄvar＝１５−７＝８（秒）にセットされる。従って、映像信号及び音声信号は１５秒遅延されて再生されるのに対し、字幕は８秒遅れて再生される。これにより、字幕遅延時間ΔＴが補償され、映像信号及び音声信号と字幕とが時間軸上で一致したタイミングで再生される。よって、この方法によれば番組の進行中、映像と音声の連続性は保たれ、字幕ページの遅延は認識されないので視聴上の違和感がない。但し、映像と音声の連続性を確保するためには、固定遅延時間Ｄfixを、放送局から送信される字幕付き映像信号における字幕遅延時間ΔＴの最大値よりも大きく設定することが必要となる。
【００５０】
字幕可変遅延部６５が字幕データを遅延させる方法としては、例えば字幕データのデコード開始を字幕遅延時間ΔＴだけ待たせる方法、デコードした字幕の画面へのスーパーインポーズを字幕遅延時間ΔＴだけ待たせる方法、などがある。
【００５１】
図７に示す字幕遅延制御装置６０は、上記のように生字幕放送における字幕遅延を補償することに加えて、字幕遅延の無いパッケージ字幕番組を再生することも可能である。その場合には、字幕遅延時間ΔＴ＝０であるから、全ての字幕ページで可変遅延時間Ｄvar＝固定遅延時間Ｄfixとなる。即ち、字幕遅延制御装置６０は、現在受信している字幕放送番組が生字幕放送番組である場合には、上述のように映像固定遅延部６２、字幕可変遅延部６５及び音声固定遅延部６７による遅延を有効とする（以下、この状態を「遅延モード」と呼ぶ。）。一方、現在受信している字幕放送番組がパッケージ字幕放送番組である場合、映像固定遅延部６２、字幕可変遅延部６５及び音声固定遅延部６７による遅延をゼロとする（以下、この状態を「非遅延モード」と呼ぶ。）。
【００５２】
ただし、遅延モードと非遅延モードとの間の切り替えの際には、前述と同様に映像と音声の不連続が発生することには注意を要する。この対策としては、遅延モードへの切り替えを生字幕番組の入り口で行うか（「自動遅延モード」）、全番組を遅延モードで見る（「常時遅延モード」）か、などを視聴者が任意に選択できるように字幕遅延制御装置６０を構成すればよい。好適な例としては、視聴者が任意に選択可能なモードとして、「常時遅延モード」、「自動遅延モード」および「遅延補償なし」を設け、ユーザに任意に設定させればよい。「常時遅延モード」では字幕なしの番組を含めて全番組を一定の時間だけ遅延して視聴することになる。この場合は字幕のタイミングだけが操作されるので映像・音声の不連続は一切起こらない。「自動遅延モード」では通常の字幕無し番組及びパッケージ字幕番組は遅延なしで視聴し、生字幕番組に入るときと出るときに自動的に映像・音声の不連続を許容した切り替えを行う。このときは受信者が文字放送の字幕の番組番号を選択したときに「入り」、字幕の番組番号から他の番組番号を選択したときに「出」に切り替えるのが適切な方法である。「遅延補償なし」ではこれらの動作をすべて停止して従来通りの受信形態をとる。即ち、字幕は映像に対して遅れて再生されることになる。
【００５３】
遅延モードの自動切り替えは、上述した遅延制御情報を用いて行うことができる。すなわち、字幕遅延制御装置６０は、透明字幕ページを受信したときに自動遅延モードへの「入り」の制御を行い。また、透明字幕ページの受信が一定のタイムアウト時間より長い間（例えば３０秒）行われなかったときに、字幕遅延制御装置６０は自動遅延モードからの「出」の制御を行う。これは通常の字幕番組で字幕送出の間隔が３０秒以上になる例はほとんど無いことを利用している。
【００５４】
なお、遅延モードへの「入り」の制御時には、固定遅延時間Ｄfixの期間にわたり映像及び音声が無くなるので、視聴者の不安を除くために、不連続対策として別途用意した字幕や音声でたとえば「字幕合わせの起動中です」というような告知を行うことが望ましい。また、同様に遅延モードからの「出」の瞬間には映像及び音声のスキップが生ずるので、「字幕合わせを終了中しました」などの告知を行うことが望ましい。
【００５５】
（実施例）
図８に、上記の字幕遅延制御装置６０の実施例を示す。本実施例による字幕遅延制御装置６０ａは、映像信号及び音声信号を遅延させるためにＨＤＤレコーダを使用した例である。
【００５６】
図８（ａ）は字幕遅延制御装置６０ａの構成を示す。放送局からの放送波から抽出されたＲＦ信号Ｓrfは、ＨＤＤレコーダ８１及びアダプタ８２へ入力される。ＨＤＤレコーダ８１はＲＦ信号Ｓrf中の映像信号及び音声信号をそれぞれ固定遅延時間Ｄfixだけ遅延し、遅延した映像信号Ｖｄをアダプタ８２へ入力するとともに、遅延した音声信号ＡｄをＴＶ受信機５２へ入力する。
【００５７】
アダプタ８２の構成を図８（ｂ）に示す。アダプタ８２内では、遅延制御フラグ抽出部９２が映像信号中の字幕ページから図５に例示した制御フラグを抽出する。字幕遅延部９３は、制御フラグに基づいて字幕遅延時間ΔＴを算出し、それに基づいて可変遅延時間Ｄvarだけ字幕データを遅延させる。字幕デコード部９４は、遅延された字幕データをデコードして字幕画面を生成する。字幕重畳部９１は遅延された映像信号Ｖｄに対して、遅延された字幕画面を重畳し、字幕付き映像信号ＶｄｃとしてＴＶ受信機５２へ供給する。ＴＶ受信機５２は、入力された音声信号Ａｄ及び字幕付き映像信号Ｖｄｃを再生する。なお、この構成では、ＴＶ受信機５２には放送波の受信機能は不要であり、代わりに外部からの映像及び音声入力を再生可能な単なるモニタを使用してもよい。
【００５８】
［第２実施形態］
上記の実施形態は、字幕付き映像信号がアナログＴＶ映像信号である場合を示したが、字幕付き映像信号がデジタルＴＶ映像信号である場合にも本発明を適用することができる。即ち、デジタル字幕放送番組についても、上述の固定遅延と可変遅延の組み合わせによる字幕遅延補償が実現可能である。
【００５９】
デジタル字幕放送において、字幕入力開始タイミング及び字幕重畳タイミングを受信側に伝送し、受信側でその時間差として遅延時間を求める方法の例を２つ示す。
【００６０】
第１の例は、アナログ放送の場合で説明したものと同じ制御フラグを新設する方法である。図９に、デジタルＴＶ映像信号の場合の制御フラグの設定方法について説明する。ＡＲＩＢ標準規格では、字幕の伝送方法として、まずページ単位の字幕データを収容した字幕データユニットをデータグループとして構成し、これをデータバイトに収容したＰＥＳ（Packetized Elementary Stream）としてＴＳ（Transport Stream）に乗せて放送すると規定している。本発明の趣旨から、制御フラグは字幕ページ単位で伝送する必要があるが、１枚の字幕ページについて少なくとも１個のＰＥＳが生成されるので、制御フラグはＰＥＳ内のどこかに収容するのが適当である。
【００６１】
データグループからＰＥＳまでの階層構造と制御フラグの収容場所を図９に示す。図示のように、データグループ内には制御フラグの収容に適する場所が無いため、１つの方法では、ＰＥＳヘッダ中の１２８バイトのプライベートデータ領域内に前述の４ビットの制御ビットを確保し、制御フラグを設定する。この領域は事業者が使用できるので最も好ましいと考えられる。但し、本発明による制御フラグの収容場所は、この例に限定されるものではない。
【００６２】
具体的には、透明字幕ページのＰＥＳヘッダに字幕入力開始タイミングを示す制御フラグを収容し、通常字幕ページのＰＥＳヘッダには字幕重畳タイミングを示す制御フラグを収容して、ユーザ環境へ送信する。字幕遅延制御装置は、透明字幕ページ中の字幕入力開始タイミングを示す制御フラグを受信したら字幕遅延時間ΔＴのカウントを開始し、次に通常字ページ中の字幕重畳タイミングを示す制御フラグを受信したらカウントを停止して字幕遅延時間ΔＴを算出する。
【００６３】
第２の例では、制御フラグを新設せず、字幕本文中に透明文字色を用いて字幕入力開始タイミングを示す文字又は記号などを記入する。透明字幕ページであるので、この文字又は符号などが表示されることはない。なお、字幕重畳タイミングを示す制御フラグは第１の例と同様に、通常字幕ページのＰＥＳヘッダ中の制御ビットに設定する。
【００６４】
第２の設定例の場合、字幕遅延制御装置側では、透明字幕ページ中に挿入された、字幕入力開始タイミングを示す上記の文字又は符号を検出してから、通常字幕ページのＰＥＳヘッダ中に設定された、字幕重畳タイミングを示す制御フラグを検出するまでの時間をカウントし、字幕遅延時間ΔＴとする。
【００６５】
図１０に、デジタル字幕放送の場合の字幕遅延制御装置の構成を示す。字幕遅延制御の手法は、上述のアナログ字幕放送の場合と基本的に同様である。なお、この字幕遅延制御装置は、コンピュータ上で動作する制御プログラムとして構成することが可能である。
【００６６】
デジタル字幕放送のＴＳは映像信号、音声信号及び字幕ＰＥＳを含んでおり、ＴＳ固定遅延部１０１及び字幕ＰＥＳ抽出部１０３へ供給される。ＴＳ固定遅延部１０１は、固定遅延Ｄfixを与え、遅延ＴＳデータＤtsdを映像／音声デコード部１０２へ供給する。映像／音声デコード部１０２は、映像データ及び音声データをそれぞれデコードし、固定遅延された音声データＤadを音声回路へ供給するとともに、固定遅延された映像データＤvdを画面合成部１０６へ供給する。
【００６７】
字幕ＰＥＳ抽出部１０３はＴＳから字幕ＰＥＳを抽出し、字幕データＤｃを字幕可変遅延部１０４へ供給する。字幕可変遅延部１０４は、上述のように制御フラグなどに基づいて得られた字幕遅延時間ΔＴに基づいて可変遅延時間Ｄvarを算出し、その可変遅延時間だけ字幕データを遅延させて字幕データＤcdとして字幕画面生成部１０５へ供給する。字幕画面生成部１０５は、字幕データＤcdから字幕画面データＤccを生成し、画面合成部１０６へ供給する。画面合成部１０６は、固定遅延時間Ｄfixだけ遅延された映像データＤvdと、可変遅延時間Ｄvarだけ遅延された字幕画面とを合成し、表示回路へ供給する。こうして、音声、映像及び字幕が時間軸上で一致した状態で再生される。
【００６８】
なお、ＴＳ固定遅延部１０１及び字幕可変遅延部１０４は、例えば半導体メモリを利用紙、それぞれＦＩＦＯ（First in First Out）バッファとリングバッファを構成することにより実現することができる。また、映像、音声及び字幕のＰＥＳヘッダ拡張部のＰＴＳ（Presentation Time Stamp）を適切に設定することにより、字幕の可変遅延を実現することも可能である。
【００６９】
［第３実施形態］
次に、本発明の第３実施形態について説明する。上記の第１及び第２実施形態では、放送局から送信される字幕付き映像信号に含まれる遅延制御情報に基づいて字幕遅延時間ΔＴを算出している。即ち、放送局では、予め遅延制御情報を作成し、これを映像信号中に含めて送信する必要がある。これに対し、第３実施形態では、放送局は遅延制御情報を含まない通常の字幕付き映像信号を送信する。受信機側は、通常の字幕付き映像信号から自動的に字幕遅延時間ΔＴを算出し、遅延補償を行う。
【００７０】
（字幕遅延時間の自動算出）
以下、第３実施形態による字幕遅延時間ΔＴの自動算出方法について説明する。図１１は、字幕遅延時間の自動算出の原理を説明する図である。具体的に、図１１は、放送中の映像の各シーン（場面）と、それらに対応するメッセージ音声と、字幕データの入力／受信タイミングとを示す。黒い太枠は各映像シーン２０１を示し、細い黒枠は映像に対応付けされたメッセージ音声２０２が１センテンスで時間的に連続している区間を示す。図示のように１つのメッセージ音声の開始時刻をｔａ、終了時刻をｔｂとすると、字幕遅延時間ΔＴは、ΔＴ＝ｔｂ−ｔａで得られる。なお、時間的に連続するメッセージ音声２０２の間を「段落」２０３と呼ぶ。また、白三角のマーク２０４は字幕データの入力開始タイミングを示し、黒三角のマーク２０５は字幕データの受信タイミング（＝入力終了／送出タイミング）を示す。
【００７１】
あるシーンの最初の字幕入力はメッセージ音声２０２の開始時刻ｔａに開始され、メッセージ音声２０２の終了時刻ｔｂ（＝段落の開始時刻）に終了する。なお、字幕の入力終了・送出が、メッセージ音声の終了を過ぎてから行われる場合もある。メッセージ音声が長い場合、数ページ分の字幕がまとめて入力される。図１１のように、１つのシーン中に、段落２０３をはさんで複数のメッセージ音声２０２が存在することも多い。あるシーンが終了すると映像は次のシーンに移るが、通常はシーンの移行時にはメッセージ音声を理解しやすいように次のシーンのメッセージ音声までの時間間隔（段落）をやや長くとることが行われる（段落２０６を参照）。
【００７２】
本実施形態では、このように段落の箇所でメッセージ音声が無音になった後、次のメッセージ音声の開始時刻ｔａ（立ち上がり）を自動的に検出し、字幕の入力開始タイミングとする。また、その字幕データの入力が終了し、放送局から送出されて受信機に到着したときの時刻ｔｂを字幕の終了タイミングとする。この両者の時間差から、字幕遅延時間ΔＴはΔＴ＝ｔｂ−ｔａで算出される。例えばカウンタなどを用いて、字幕データの入力開始タイミングｔａから、字幕データの受信タイミングｔｂまでの時間をカウントすることにより、字幕遅延時間ΔＴを容易に得ることができる。
【００７３】
なお、実際にはメッセージ音声が無音となった後、次のメッセージ音声の立上りで必ずしも字幕が挿入されるとは限らない。即ち、メッセージ音声が存在しても、それに対応する字幕が存在しない場合もある。この場合、あるメッセージ音声（ｎ番目とする）の立上りが検出されてから、次のメッセージ音声（ｎ＋１番目とする）の立上りが検出されるまでの間に字幕データは放送局から送出されず、受信機側もそれを受信しないことになる。よって、受信機側は、次のメッセージ音声の立上りまでに字幕データを受信しなかった場合は、ｎ番目のメッセージ音声の立上りタイミングｔａを破棄し、ｎ＋１番目のメッセージ音声の立上りタイミングｔａとそれに続く字幕データの受信タイミングｔｂから字幕遅延時間ΔＴを算出すればよい。カウンタを用いる場合には、次のメッセージ音声の立上りまでに字幕データを受信しなかった場合、ｎ番目のメッセージ音声の立上りタイミングｔａに対応するカウント値をクリアすればよい。
【００７４】
次に、メッセージ音声２０２の無音部分からメッセージ音声の立上りタイミングを自動検出する方法について、図１２を参照して説明する。図１２において、アナログ音声信号Ｓ１はメッセージ音声２０２の音声信号の波形を示している。なお、アナログ音声信号Ｓ１の波形は、その平均信号レベルを「０」として図示している。波形部分Ｍ１、Ｍ２はメッセージ音声に対応している。アナログ音声信号Ｓ１の振幅が大きいほどメッセージ音声の音量が大きく、波形が細かい（周波数が高い）ほどメッセージ音声の音は高い。
【００７５】
いま、図示のように、メッセージ音声がＭ１の部分とＭ２の部分を有し、その間に段落に相当する無音期間Ｔｄがあるとする。図示のように、通常、無音期間Ｔｄ内にも多少のノイズが含まれている。よって、アナログ音声信号Ｓ１を、適切なスライスレベルＬｓでスライスし、スライス信号Ｓ２を生成する。スライスレベルＬｓは、アナログ音声信号Ｓ１の平均信号レベルに近く、かつ、ノイズレベルより高いレベルに予め決定される。スライス信号Ｓ２は、図示のように「０」と「１」の２値のパルス信号となる。このスライス信号Ｓ２には、メッセージ音声を構成する可聴周波数の周期に近い幅のパルスや、アナウンサーが呼吸を継ぐ短い無音期間、段落として挿入される比較的長い無音期間などを含んでいる。
【００７６】
このスライス信号Ｓ２で、リトリガー（Re-Trigger）型ワンショットマルチバイブレータをトリガすることにより、スライス信号Ｓ２に含まれる周期の短いパルスを除去し、段落などの周期の長いパルスのみを残し、無音期間信号Ｓ３を生成する。無音期間信号Ｓ３は、ある時間幅以上の無音期間が「０」レベルとなり、それ以外の期間が「１」レベルとなる。なお、図１２では、リトリガー型ワンショットマルチバイブレータのパルス幅が「τ」で示されており、このパルス幅τより短い幅のパルスが除去されている。
【００７７】
次に、無音期間信号Ｓ３における「０」レベルから「１」レベルへの遷移点を別のモノマルチバイブレータにより抽出することにより、メッセージ立上り信号Ｓ４を得ることができる。メッセージ立上り信号Ｓ４に含まれるパルスＰupの立上りは、メッセージ音声の立上り時刻ｔａを示している。
【００７８】
以上のようにして、メッセージ音声の開始時刻、即ち字幕データの入力開始タイミングｔａが得られる。一方、受信機は、放送局から送出された字幕付き映像信号中の字幕データを受信した時刻を字幕データの受信タイミングｔｂとする。通常、字幕データは入力終了後直ちに放送局から送出され、受信機により受信されるので、字幕データの受信タイミングは、字幕データの入力終了タイミング及び送出タイミングと一致する。そして、受信機は、こうして得られた字幕データの入力開始タイミングｔａ及び受信タイミングｔｂに基づいて、字幕遅延時間ΔＴを算出する。
【００７９】
本実施形態の方法では、放送局から送出される通常の字幕付き映像信号（即ち、第１及び第２実施形態に示す遅延制御情報を含まない字幕付き映像信号）に基づいて、受信機が自動的に字幕遅延時間ΔＴを算出することができる。よって、放送局側で、遅延制御信号を字幕付き映像信号中に挿入するという特別な処理を要することなく、受信機側における字幕表示の遅延補償が可能となる。
【００８０】
上記の字幕遅延時間の自動検出方法は、例えばニュース番組におけるアナウンサーのメッセージ音声のように、アナログ音声信号中の有音／無音の境界がはっきりしている場合に有効である。しかし、例えば背景音楽が流れている番組やノイズが多い環境などでは、背景音楽やノイズとメッセージ音声とが混在しており、無音期間の検出が困難な場合がある。そのような場合には、図１２に示すメッセージ立上り信号Ｓ４を検出することができない状態で、受信機は字幕データを受信することになる。即ち、受信機は、字幕データの受信タイミングｔｂを得ることはできるが、字幕データの入力開始タイミングｔａを得ることができない。この場合の対策としては、字幕遅延時間ΔＴとして、当該番組の開始からその時点までに算出された各ページの字幕遅延時間ΔＴの平均値又は最頻値に相当する遅延時間、もしくは予め経験的に決定された平均的な字幕遅延時間（以下、「デフォルト字幕遅延時間」とも呼ぶ。）を代わりに使用することができる。これにより、自動検出による無音期間の検出が困難な場合にも、ある程度自然なタイミングで字幕表示が可能となる。
【００８１】
なお、このように字幕遅延時間を自動検出するか、デフォルト字幕遅延時間を使用するかは、ユーザの設定により選択可能としてもよいし、番組の種類毎に自動的に設定されるように機器を構成してもよい。
【００８２】
図１３に第３実施形態に係る字幕遅延制御装置の概略ブロック図を示す。字幕遅延制御装置６０ａは、図１に示すようにユーザ環境５０内に設けられる。図示のように、字幕遅延制御装置６０ａは、映像固定遅延部１２１と、音声固定遅延部１２２と、画面合成部１２３と、字幕データ抽出部１２４と、音声立上り検出部１２５と、字幕遅延時間算出部１２６と、字幕可変遅延部１２７とを備える。
【００８３】
字幕データ抽出部１２４は、字幕付き映像信号から字幕データを抽出して字幕可変遅延部１２７へ供給するとともに、字幕データの受信タイミング（ｔｂ）を字幕遅延時間算出部１２６へ供給する。また、字幕データ抽出後の映像信号を映像固定遅延部１２１へ供給する。映像固定遅延部１２１は、入力された映像信号を固定遅延時間Ｄfix遅延し、画面合成部１２３へ供給する。
【００８４】
音声信号は音声固定遅延部１２２及び音声立上り検出部１２５へ入力される。音声固定遅延部１２２は、音声信号を固定遅延時間Ｄfix遅延させ、音声回路へ出力する。音声立上り検出部１２５は、上述のようにメッセージ音声の立上りを検出して字幕データの入力開始タイミングｔａを取得し、字幕遅延時間算出部１２６へ供給する。字幕遅延時間算出部１２６は、字幕データ抽出部１２４から供給された字幕データの受信タイミングｔｂ、及び、音声立上り検出部１２５から供給された入力開始タイミングｔａに基づいて、字幕遅延時間ΔＴを算出し、字幕可変遅延部１２７へ送る。
【００８５】
字幕可変遅延部１２７は、字幕遅延時間ΔＴと、予め決定されている固定遅延時間Ｄfixとに基づいて可変遅延時間Ｄvarを算出する。そして、字幕データ抽出部１２４から供給された字幕データを可変遅延時間Ｄvar遅延して画面合成部１２３へ供給する。画面合成部１２３は、可変遅延時間Ｄvar遅延された字幕データを、固定遅延時間Ｄfix遅延された映像信号に合成し、表示回路へ出力する。こうして、字幕の遅延補償が行われる。
【００８６】
なお、デジタル放送の場合には、字幕データの受信タイミングは字幕ＰＥＳのページデータ到着時刻から知ることもできる。また、デジタル放送の場合、映像固定遅延部１２１及び音声固定遅延部１２２は、映像・音声信号の代わりに、それらを伝送するＭＰＥＧ２信号のＰＥＳ又はＴＳを遅延してもよい。
【００８７】
なお、字幕データを表示する上で重要な事項に、ある字幕の表示を開始するタイミングの他に、その表示を終了するタイミングがある。字幕の表示の終了方法としては２つある。第１の方法は、文字の無い画面を上書きする方法である。通常、各字幕は、次の字幕の到着したときに、その新しい字幕が表示される（即ち、字幕が更新される）。よって、次のページの字幕データが到着する前に古い字幕を意図的に消去したい場合には、文字無しの画面を上書き表示することにより古い字幕の表示を終了させることができる。第２の方法は、字幕表示を強制終了するための消去パケットを伝送する方法である。消去パケットとは、字幕表示を終了するための目的で送られる１ページ分のデータである。例えば民放の放送では、ＣＭの開始前に字幕表示を強制終了する目的で消去パケットを使用することがある。
【００８８】
本実施形態では、字幕表示の消去に第１の方法を使用する場合には、文字無し画面に対応するページの直前の通常ページにおいて検出された字幕データの入力開始タイミングｔａから、当該文字無し画面に対応するページを受信した受信タイミングｔｂまでの時間を字幕遅延時間ΔＴとすることにより、正しく文字画面の消去動作が実行される。
【００８９】
一方、字幕表示の消去に第２の方法を使用する場合には、消去パケットを受信したときに字幕遅延時間ΔＴを「０」に設定する。これにより、固定遅延時間と同じ遅延時間後、即ち、映像及び音声の表示終了時に字幕データも同時に消去されることとなるので、映像がＣＭなどに入る直前で正しく文字画面の消去動作が実行される。なお、消去パケットは文字データユニットを含まないパケットであるので、消去パケットであるか否かの判別は受信したパケット中の文字データユニットの有無により容易に行うことができる。
【００９０】
（変形例）
上記の説明では、本実施形態による字幕遅延時間の自動検出手法を受信機側（ユーザ環境側）の装置に搭載する例を説明した。その代わりに、この自動検出手法を、放送局側の機器に搭載することも可能である。その場合には、放送局側で字幕遅延時間を自動検出し、それに基づいて第１及び第２実施形態のように遅延制御情報を生成して字幕付き映像信号中に挿入した上で送出することができる。
【図面の簡単な説明】
【００９１】
【図１】本発明に係る字幕遅延制御装置を適用した環境の例を示す。
【図２】字幕の遅延を説明する図である。
【図３】遅延制御情報による字幕遅延時間の特定方法を概念的に示す図である。
【図４】字幕付き映像信号中における遅延制御情報の位置及び内容を示す。
【図５】字幕付き映像信号中における遅延制御情報の位置及び内容を示す。
【図６】字幕遅延の基本的な補償方法を示すブロック図である。
【図７】本発明の好適な実施形態に係る字幕遅延制御装置の構成を示す。
【図８】字幕遅延制御装置の実施例を示すブロック図である。
【図９】デジタルＴＶ映像信号の場合の制御フラグの設定例を示す。
【図１０】デジタル字幕放送に対応した字幕遅延制御装置の構成を示す。
【図１１】第３実施形態による字幕遅延時間の自動算出の原理を説明する図である。
【図１２】字幕データの入力開始タイミングの検出方法を説明する図である。
【図１３】第３実施形態に係る字幕遅延制御装置の概略ブロック図を示す。
【符号の説明】
【００９２】
１０ 放送局、
２０ 字幕放送送出システム、
４０ 放送波、
５０ ユーザ環境、
５２ ＴＶ受信機、
６０、６０ａ 字幕遅延制御装置
【特許請求の範囲】
【請求項１】
字幕付き映像信号を受信する受信部と、
前記字幕付き映像信号から、字幕信号を抽出する抽出部と、
前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、
前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部と、
前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部と、を備えることを特徴とする字幕付き映像信号の遅延制御装置。
【請求項２】
前記字幕遅延部は、前記字幕付き映像信号中の映像信号に対する字幕信号の遅れ時間である字幕遅延時間に基づいて、前記可変遅延時間を決定することを特徴とする請求項１に記載の字幕付き映像信号の遅延制御装置。
【請求項３】
前記字幕遅延部は、前記固定遅延時間から前記字幕遅延時間を減算することにより、前記可変遅延時間を算出することを特徴とする請求項２に記載の字幕付き映像信号の遅延制御装置。
【請求項４】
前記字幕付き映像信号は、前記映像信号に対する前記字幕信号の入力開始タイミングを示す情報及び重畳タイミングを示す情報を含む遅延制御信号を有し、
前記字幕遅延部は、前記遅延制御信号に基づいて、前記入力開始タイミングと前記重畳タイミングとの時間差を前記字幕遅延時間と決定することを特徴とする請求項２又は３に記載の字幕付き映像信号の遅延制御装置。
【請求項５】
前記字幕信号の入力開始タイミングを示す情報は、透明字幕に対応する字幕信号中に含められることを特徴とする請求項４に記載の字幕付き映像信号の遅延制御装置。
【請求項６】
前記固定遅延時間は、前記字幕付き映像信号に含まれる前記字幕信号の最大の字幕遅延時間よりも大きく設定されることを特徴とする請求項２に記載の字幕付き映像信号の遅延制御装置。
【請求項７】
前記受信部は、前記字幕付き映像信号に対応する音声信号を受信し、
前記抽出部は、前記字幕信号の受信タイミングを検出し、
前記字幕遅延部は、前記音声信号に基づいて字幕信号の入力開始タイミングを検出する検出部と、前記字幕信号の入力開始タイミング及び前記字幕信号の受信タイミングに基づいて前記字幕遅延時間を算出する字幕遅延時間算出部と、を備えることを特徴とする請求項２に記載の字幕付き映像信号の遅延制御装置。
【請求項８】
前記字幕遅延時間算出部は、前記字幕信号の入力開始タイミングと前記字幕信号の受信タイミングとの時間間隔を前記字幕遅延時間とすることを特徴とする請求項７に記載の字幕付き映像信号の遅延制御装置。
【請求項９】
前記字幕遅延部は、前記検出部が前記字幕信号の入力開始タイミングを検出できない場合には、所定のデフォルト字幕遅延時間を前記字幕遅延時間に設定することを特徴とする請求項８に記載の字幕付き映像信号の遅延制御装置。
【請求項１０】
前記デフォルト字幕遅延時間は、前記字幕付き映像信号が構成する番組の開始からその時点までに算出された字幕遅延時間の平均値又は最頻値に相当する遅延時間、もしくは予め経験的に決定された平均的な字幕遅延時間であることを特徴とする請求項９に記載の字幕付き映像信号の遅延制御装置。
【請求項１１】
前記検出部は、
前記音声信号を所定のスライスレベルでスライスしてスライス信号を生成する手段と、
前記スライス信号に基づいて、前記音声信号の無音期間を検出する手段と、
前記無音期間の終了時点を前記字幕信号の入力開始タイミングとして抽出する手段と、を備えることを特徴とする請求項７に記載の字幕付き映像信号の遅延制御装置。
【請求項１２】
請求項１乃至１１のいずれか一項に記載の字幕付き映像信号の遅延制御装置と、
音声信号を受信し、前記固定遅延時間だけ遅延させて遅延音声信号を生成する音声遅延部と、
前記字幕同期映像信号及び前記遅延音声信号を再生する再生部と、を備えることを特徴とする字幕付き映像／音声再生装置。
【請求項１３】
コンピュータ端末により実行されることにより、前記コンピュータ端末を、
字幕付き映像信号を受信する受信部と、
前記字幕付き映像信号から、字幕信号を抽出する抽出部と、
前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、
前記字幕信号を、当該字幕信号に応じた可変遅延時間で遅延させ、遅延字幕信号を生成する字幕遅延部と、
前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部として機能させることを特徴とする字幕付き映像信号の遅延制御プログラム。
【請求項１】
字幕付き映像信号を受信する受信部と、
前記字幕付き映像信号から、字幕信号を抽出する抽出部と、
前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、
前記字幕信号を、当該字幕信号に応じた可変遅延時間だけ遅延させ、遅延字幕信号を生成する字幕遅延部と、
前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部と、を備えることを特徴とする字幕付き映像信号の遅延制御装置。
【請求項２】
前記字幕遅延部は、前記字幕付き映像信号中の映像信号に対する字幕信号の遅れ時間である字幕遅延時間に基づいて、前記可変遅延時間を決定することを特徴とする請求項１に記載の字幕付き映像信号の遅延制御装置。
【請求項３】
前記字幕遅延部は、前記固定遅延時間から前記字幕遅延時間を減算することにより、前記可変遅延時間を算出することを特徴とする請求項２に記載の字幕付き映像信号の遅延制御装置。
【請求項４】
前記字幕付き映像信号は、前記映像信号に対する前記字幕信号の入力開始タイミングを示す情報及び重畳タイミングを示す情報を含む遅延制御信号を有し、
前記字幕遅延部は、前記遅延制御信号に基づいて、前記入力開始タイミングと前記重畳タイミングとの時間差を前記字幕遅延時間と決定することを特徴とする請求項２又は３に記載の字幕付き映像信号の遅延制御装置。
【請求項５】
前記字幕信号の入力開始タイミングを示す情報は、透明字幕に対応する字幕信号中に含められることを特徴とする請求項４に記載の字幕付き映像信号の遅延制御装置。
【請求項６】
前記固定遅延時間は、前記字幕付き映像信号に含まれる前記字幕信号の最大の字幕遅延時間よりも大きく設定されることを特徴とする請求項２に記載の字幕付き映像信号の遅延制御装置。
【請求項７】
前記受信部は、前記字幕付き映像信号に対応する音声信号を受信し、
前記抽出部は、前記字幕信号の受信タイミングを検出し、
前記字幕遅延部は、前記音声信号に基づいて字幕信号の入力開始タイミングを検出する検出部と、前記字幕信号の入力開始タイミング及び前記字幕信号の受信タイミングに基づいて前記字幕遅延時間を算出する字幕遅延時間算出部と、を備えることを特徴とする請求項２に記載の字幕付き映像信号の遅延制御装置。
【請求項８】
前記字幕遅延時間算出部は、前記字幕信号の入力開始タイミングと前記字幕信号の受信タイミングとの時間間隔を前記字幕遅延時間とすることを特徴とする請求項７に記載の字幕付き映像信号の遅延制御装置。
【請求項９】
前記字幕遅延部は、前記検出部が前記字幕信号の入力開始タイミングを検出できない場合には、所定のデフォルト字幕遅延時間を前記字幕遅延時間に設定することを特徴とする請求項８に記載の字幕付き映像信号の遅延制御装置。
【請求項１０】
前記デフォルト字幕遅延時間は、前記字幕付き映像信号が構成する番組の開始からその時点までに算出された字幕遅延時間の平均値又は最頻値に相当する遅延時間、もしくは予め経験的に決定された平均的な字幕遅延時間であることを特徴とする請求項９に記載の字幕付き映像信号の遅延制御装置。
【請求項１１】
前記検出部は、
前記音声信号を所定のスライスレベルでスライスしてスライス信号を生成する手段と、
前記スライス信号に基づいて、前記音声信号の無音期間を検出する手段と、
前記無音期間の終了時点を前記字幕信号の入力開始タイミングとして抽出する手段と、を備えることを特徴とする請求項７に記載の字幕付き映像信号の遅延制御装置。
【請求項１２】
請求項１乃至１１のいずれか一項に記載の字幕付き映像信号の遅延制御装置と、
音声信号を受信し、前記固定遅延時間だけ遅延させて遅延音声信号を生成する音声遅延部と、
前記字幕同期映像信号及び前記遅延音声信号を再生する再生部と、を備えることを特徴とする字幕付き映像／音声再生装置。
【請求項１３】
コンピュータ端末により実行されることにより、前記コンピュータ端末を、
字幕付き映像信号を受信する受信部と、
前記字幕付き映像信号から、字幕信号を抽出する抽出部と、
前記映像信号を所定の固定遅延時間で遅延させ、遅延映像信号を生成する映像遅延部と、
前記字幕信号を、当該字幕信号に応じた可変遅延時間で遅延させ、遅延字幕信号を生成する字幕遅延部と、
前記遅延映像信号及び前記遅延字幕信号を合成して、映像と字幕とが同期した字幕同期映像信号を生成する合成部として機能させることを特徴とする字幕付き映像信号の遅延制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−２１１６３６（Ｐ２００６−２１１６３６Ａ）
【公開日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願番号】特願２００５−２０６３９３（Ｐ２００５−２０６３９３）
【出願日】平成１７年７月１５日（２００５．７．１５）
【出願人】（５０４３８０６５５）株式会社テレビ朝日データビジョン (3)
【出願人】（３９１０１６０９３）エル・エス・アイ ジャパン株式会社 (21)
【Ｆターム（参考）】
【公開日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願日】平成１７年７月１５日（２００５．７．１５）
【出願人】（５０４３８０６５５）株式会社テレビ朝日データビジョン (3)
【出願人】（３９１０１６０９３）エル・エス・アイ ジャパン株式会社 (21)
【Ｆターム（参考）】
[ Back to top ]