字幕情報作成装置、字幕情報作成方法及びプログラム
【課題】実際の発話タイミングとの間にずれが少ないタイミング情報を持つ字幕グループの作成を行う字幕情報作成装置を提供する。
【解決手段】字幕情報作成装置は、オリジナルタイミング情報を有する一対の前記タイミング単位文字列の間に、等時分節の数が一意に決定できない前記タイミング単位文字列である等時分節未決文字列が存在する場合に、決定済みタイミング単位文字列の前記タイミング情報と前記オリジナルタイミング情報の差分時間を求め、一対の前記タイミング単位文字列の前記オリジナルタイミング情報から前記差分時間を差し引いて前記タイミング情報をそれぞれ求め、一対の前記タイミング単位文字列の前記タイミング情報を用いて、その間にある前記等時分節未決文字列の前記タイミング情報を決定する。
【解決手段】字幕情報作成装置は、オリジナルタイミング情報を有する一対の前記タイミング単位文字列の間に、等時分節の数が一意に決定できない前記タイミング単位文字列である等時分節未決文字列が存在する場合に、決定済みタイミング単位文字列の前記タイミング情報と前記オリジナルタイミング情報の差分時間を求め、一対の前記タイミング単位文字列の前記オリジナルタイミング情報から前記差分時間を差し引いて前記タイミング情報をそれぞれ求め、一対の前記タイミング単位文字列の前記タイミング情報を用いて、その間にある前記等時分節未決文字列の前記タイミング情報を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、字幕情報を作成する字幕情報作成装置、字幕情報作成方法及びプログラムに関する。
【背景技術】
【０００２】
放送などでは、音声の内容を文字列化したＣｌｏｓｅｄ Ｃａｐｔｉｏｎ（以下、「ＣＣ」という）が、音声と共に配信されている。１回に表示するＣＣの文字数や行数など表示形式に対する視聴者の要望に応えるため、受信側でＣＣを基に一定の書式に則ったまとまり（以下、字幕グループ）を作成し、各字幕グループへタイミング情報を付与する方法が開示されている（特許文献１参照）。
【０００３】
また、生放送では、ＣＣの表示タイミングと対応する音声の発話タイミングとの間にずれがある。さらに、１単語のみ画面上に表示されたまま数秒経過するなど、十分な作業時間の下で読み易さを考慮して編集された収録放送のＣＣとは表示状態が異なる。
【０００４】
これを解決するためにも受信側の字幕グループ作成とタイミング情報付与が必要である。各字幕グループの前端にあたる可能性のある部分文字列（以下、「タイミング単位文字列」という）は、ＣＣの内容と視聴者の要望によるため、なるべく細かい文字列単位でタイミング単位文字列を設定し、かつ、全てのタイミング単位文字列についてタイミング情報を算出できるようにする必要がある。
【０００５】
特許文献１の発明では、タイミング情報が決定している位置（以下、「基点位置」という）のタイミング情報と、基点位置と字幕グループ前端との間に存在する文字数と文字種、又は、音素に基づいて、字幕グループ前端のタイミング情報を類推演算して決定した。
【特許文献１】特開２０００−３５０１１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ＣＣの表示と音声の発話タイミングとの間にずれがある状況において、基点位置から字幕グループ前端までの間に、対応モーラ数が１個に決定できない文字列（以下、「モーラ未決文字列」という）が含まれる場合がある。
【０００７】
上記のような場合には、特許文献１の発明では、モーラ未決文字列以降、字幕グループ前端までの間に位置する各タイミング単位文字列のタイミング情報を算出できないという問題点があった。また、各タイミング情報の決定過程の違いによって生じる誤差の大小を考慮しないため、字幕グループに付与するタイミング情報が実際の発話タイミングと大きくずれる場合があるという問題点があった。
【０００８】
そこで本発明は、上記問題点を解決するためになされたものであって、実際の発話タイミングとの間にずれが少ないタイミング情報を持つ字幕グループの作成を行う字幕情報作成装置及びその方法を提供する。
【課題を解決するための手段】
【０００９】
本発明は、音声に対する字幕情報を作成する字幕情報作成装置において、予め作成された字幕文字列群、及び、前記字幕文字列中の任意の文字数毎に付与された前記音声との参考的な対応を示す時間情報であるオリジナルタイミング情報を含むオリジナル字幕情報を受け取り、前記音声と同期して前記字幕文字列を表示するための時間情報であるタイミング情報を付与するタイミング単位文字列を、前記字幕文字列群から抽出する抽出部と、前記音声と前記タイミング単位文字列の対応付けを音声認識によって行い、前記対応付けができた前記タイミング単位文字列に対し、前記音声の時間情報に基づいて前記タイミング情報を決定する第１タイミング情報決定部と、前記タイミング情報が決定された決定済みタイミング単位文字列の前記タイミング情報を基準にして、前記各タイミング単位文字列が含む等時性を持つ音の分節である等時分節の数を用いて、前記タイミング情報が決定できなかった未決タイミング単位文字列の前記タイミング情報を決定する第２タイミング情報決定部と、前記オリジナルタイミング情報を有する一対の前記タイミング単位文字列の間に、前記等時分節の数が一意に決定できない前記タイミング単位文字列である等時分節未決文字列が存在する場合に、（１）前記決定済みタイミング単位文字列の前記タイミング情報と前記オリジナルタイミング情報の差分時間を求め、（２）一対の前記タイミング単位文字列の前記オリジナルタイミング情報から前記差分時間を差し引いて前記タイミング情報をそれぞれ求め、（３）一対の前記タイミング単位文字列の前記タイミング情報を用いて、その間にある前記等時分節未決文字列の前記タイミング情報を決定する第３タイミング情報決定部と、前記字幕文字列群を任意の書式に則って分けた字幕文字列である字幕グループと、前記各字幕グループを前記音声と同期して表示するための前記決定済みタイミング単位文字列、前記未決タイミング単位文字列、又は、前記等時分節未決文字列のそれぞれの前記タイミング情報とを含む前記字幕情報を作成する作成部と、を有することを特徴とする字幕情報作成装置である。
【発明の効果】
【００１０】
本発明によれば、実際の発話タイミングとの間にずれが少ないタイミング情報を持つ字幕グループを作成できる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施例の字幕情報作成装置について図面に基づいて説明する。
【００１２】
なお、以下の各実施例において、字幕情報作成装置を日本語に適用する場合は、等時性を持つ音の分節単位として、「モーラ」を用い、英語に適用する場合は、一定音節のまとまりであるフットを使う。すなわち、「等時性を持つ音の分節単位」とは、モーラ、フットなどをいう。モーラとフットについては、後から説明する。
【実施例１】
【００１３】
以下、本発明の実施例１の字幕情報作成装置１０について図１〜図６、図１０に基づいて説明する。
【００１４】
（１）字幕情報作成装置１０の構成
図１は、本実施例に係わる字幕情報作成装置１０を示すブロック図である。
【００１５】
この字幕情報作成装置１０は、タイミング単位文字列抽出部１００、音声ベースタイミング情報決定部１０１、モーラ数決定部１０２、モーラベースタイミング情報決定部１０３，差分時間ベースタイミング情報決定部１０４、字幕グループ作成部１０５とを備えている。
【００１６】
なお、この字幕情報作成装置１０は、例えば、汎用のコンピュータ装置１０を基本ハードウェアとして用いることでも実現することが可能である。すなわち、タイミング単位文字列抽出部１００、音声ベースタイミング情報決定部１０１、モーラ数決定部１０２、モーラベースタイミング情報決定部１０３，差分時間ベースタイミング情報決定部１０４、字幕グループ作成部１０５は、上記のコンピュータ装置１０に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、字幕情報作成装置１０は、上記のプログラムをコンピュータ装置１０に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置１０に適宜インストールすることで実現してもよい。
【００１７】
タイミング単位文字列抽出部１００は、オリジナル字幕情報の字幕文字列群からタイミング単位文字列を抽出する。
【００１８】
音声ベースタイミング情報決定部１０１は、タイミング単位文字列と音声との対応付けを行い、その結果に基づいて各タイミング単位文字列のタイミング情報を決定する。
【００１９】
モーラ数決定部１０２は、各タイミング単位文字列のモーラ数を決定する。
【００２０】
モーラベースタイミング情報決定部１０３は、各タイミング単位文字列のモーラ数と、決定済みタイミング単位文字列のタイミング情報に基づいて、未決タイミング単位文字列のタイミング情報を決定する。
【００２１】
差分時間ベースタイミング情報決定部１０４は、決定済みタイミング単位文字列と未決タイミング単位文字列との間に、モーラ未決文字列が存在する場合に、決定済みタイミング単位文字列のタイミング情報と、オリジナル字幕情報のタイミング情報に基づいて、未決タイミング単位文字列のタイミング情報を決定する。
【００２２】
字幕グループ作成部１０５は、字幕グループを作成する。
【００２３】
（２）字幕情報作成装置１０の動作
以下では、図２とその他の図面を用いて実施例１に係わる字幕情報作成装置１０の動作について説明する。図２は、実施例１に係わる字幕情報作成装置１０のフローチャートである。
【００２４】
なお、ここでは例として、図１０に示すように、ＣＣを表示する機能を持つテレビを想定して説明する。音声及びオリジナル字幕情報は放送電波として受信され、ここから取り出された音声とオリジナル字幕情報が本発明の字幕情報作成装置１０へ入力される。
【００２５】
（３）タイミング単位文字列抽出
まず、図２のステップＳ０において、タイミング単位文字列抽出部１００が、オリジナル字幕情報に含まれる字幕文字列群を対象として、そこからタイミング単位文字列を抽出する。
【００２６】
字幕文字列群を構成する個々の字幕文字列は、音声と同期して一度に画面上に表示するまとまりであり、図３のｃ１からｃ５のように、それぞれに表示開始と表示終了のタイミング情報が付随している。図３では、それぞれ表示開始時間、表示終了時間、字幕文字列を「，」区切りで表記している。表示開始、終了時間は音声の再生開始時間を０秒とした秒単位である。
【００２７】
抽出すべきタイミング単位文字列は一定の文字パターンであり、この字幕情報作成装置１０において、第１に音声と字幕文字列を対応付ける際の字幕文字列側の対応付け要素、第２に字幕グループの前端候補、という役割がある。そのためタイミング単位文字列として定義する文字パターンは、音声との対応付けのためになるべく少ない文字数で構成される文字列であることが望ましく、かつ、字幕グループの前端になり得る単位であることが条件となる。
【００２８】
ここではタイミング単位文字列の文字パターン単位として「単語」を採り上げ、前記「字幕グループの前端になり得る」について説明する。例えば「オリンピック」という単語は以下に示すように、字幕グループの前端となり得る。
【００２９】
字幕グループ１：「さあ、いよいよ来週から」
字幕グループ２：「オリンピックが始まります。」。
【００３０】
ここで「オリンピック」をより細かく「オリ」「ン」「ピック」に分けたとして、以下の例のように「ン」から始まる字幕グループは、表示される際の可読性という観点から適切なものとは言いがたい。
【００３１】
字幕グループ１：「さあ、いよいよ来週からオリ」
字幕グループ２：「ンピックが始まります。」
したがって、「オリンピック」の「ン」は字幕グループの前端とはなり得ない。単語「オリンピック」を一つのまとまりとして扱った方が妥当である。
【００３２】
また、タイミング単位文字列は日本語に限定する必要は無い。例えば「ＩＮ」や「ＴＨＥ」など特定の英文字のパターンをタイミング単位文字列として設定してもよい。よって本発明で扱う字幕文字列は、言語に依存しない。英語については、後の実施例で詳しく説明する。
【００３３】
なお、説明を簡単にするため、以降はタイミング単位文字列として日本語の単語を用いるものとし、字幕文字列から得た単語を以下では字幕単語と呼ぶ。字幕単語の抽出は単純な部分文字列検索や形態素解析など公知の技術を用いて行う。
【００３４】
（４）音声ベースタイミング情報決定
次に、図２のステップＳ１において、音声ベースタイミング情報決定部１０１が、前記受信した音声から音声認識を行って単語（以下、「音声単語」という）を抽出する。動的計画法を用いて字幕単語列と対応付ける。対応する音声単語が見つかった字幕単語（以下、「一致単語」という）のタイミング情報を、音声単語のタイミング情報として付与する。
【００３５】
例えば、図４で示すように音声単語列上の「オリンピック」が、字幕単語列上の「オリンピック」と対応付けられ、音声単語側のタイミング情報である６０．８８（表示開始時間）と６１．６３（表示終了時間）を、字幕単語側のタイミング情報として付与する。
【００３６】
付与後に、ステップＳ２において、全字幕単語のタイミング情報が決定したかどうか判定し、決定している場合は、ステップＳ６において字幕グループの作成を行い、終了する。
【００３７】
なお、図４の音声単語列は音声認識の結果を羅列したものであり認識誤りを含んでいる。例では「朝」、「の」、「本」、「だ」、「外」が認識誤りの音声単語である。
【００３８】
（５）モーラベースタイミング情報決定
図２のステップＳ２の判定で、タイミング情報が決定していない字幕単語（以下、「不一致単語」という）が存在する場合、モーラベースタイミング情報決定部１０３が、モーラベースタイミング情報決定を行い不一致単語のタイミング情報を決定する。
【００３９】
このとき、モーラ数決定部１０２は、各単語のモーラ数を決定してモーラベースタイミング情報決定部１０３へ提供する。
【００４０】
なお、「モーラ」とは、一定時間長を持つ音の分節単位をいう。言語の違い、あるいは同一言語内でも方言の違いなどで時間長が異なる。音節は全ての言語が持つが、モーラは持たない言語が存在する。日本語の場合、原則として仮名１つが同じ長さ（１音）で発音され、１音が１モーラに相当する。但し、拗音は１モーラと認識される。また撥音「ン」、長音「ー」、促音「ッ」も１モーラとなる。英語の分節単位はモーラでなく音節を用いる。
【００４１】
図５を用いて、モーラベースタイミング情報決定について説明する。
【００４２】
モーラベースタイミング情報決定部１０３は、一致単語のタイミング情報及び各単語のモーラ数を用いて１モーラ当たりの時間を算出し、それに基づいて字幕単語のタイミング情報を類推演算で算出する。例えば一致単語「出場」と「選手」の間にある不一致単語「する」と「日本」それぞれのタイミング情報を決定する場合、以下の式で１モーラ当たりの時間を算出する。
【００４３】
ｍ＝（Ｔ２−Ｔ１）／ｍｔ
但し、ｍは１モーラ当たりの時間、Ｔ１は「出場」の表示終了時間、Ｔ２は「選手」の表示開始時間、ｍｔは「出場」と「選手」間にある総モーラ数である。
【００４４】
「する」は２モーラ、「日本」は３モーラであるからｍｔは５であり、ｍは（６３．３８−６２．６０）／５の結果０．１５６となる。
【００４５】
ｍに基づいて「する」の発話にはｍ×２、「日本」の発話にはｍ×３の時間が経過することが決まる。よって「する」と「日本」それぞれのタイミング情報は、
「する」表示開始時間＝Ｔ１
「する」表示終了時間＝Ｔ１＋ｍ×２
「日本」表示開始時間＝Ｔ１＋ｍ×２
「日本」表示終了時間＝Ｔ２
で得られる。
【００４６】
さて上記したようにモーラベースタイミング情報決定部１０３は、字幕単語が時系列的に間隔を置かず連続していることを前提としている。すなわち、隣接する単語の発話タイミング間に一定時間以上の空きが無いことを前提としている。
【００４７】
そこで、図３に示すように、演算前に、オリジナル字幕情報から得たオリジナルのタイミング情報に基づいて、時系列的に連続する字幕単語のまとまり（以下、「時系列連続単語グループ」という）を作り、以降はこれらグループ毎に演算してタイミング情報を決定する。グループは、オリジナル字幕情報において、ある字幕文字列の表示終了時間と、次に表示される字幕文字列の表示開始時間の間に一定以上の時間差がある場合にその字幕文字列間を区切りとすることで作成する。例えば時系列的に連続しているとみなす最大時間差を２．００秒と決めた場合、ｃ２の表示終了時間とｃ３の表示開始時間との間には、３３．３７−３０．４０＝２．９７秒の時間差があるので、ここで範囲を分ける。
【００４８】
さて、上記の通り一致単語２つに挟まれた不一致単語のタイミング情報を決定する。
【００４９】
次に一致単語に挟まれていない不一致単語のタイミング情報の決定について説明する。
【００５０】
時系列連続単語グループの前端及び後端の字幕単語が一致単語でない場合、時系列連続単語グループの前端からグループ内で最初の一致単語手前までに存在する不一致単語は上記した「一致単語に挟まれていない不一致単語」となる。なお後端についても状況は前後端が逆になるのみで同様であるため、前端のみを例に挙げて説明する。
【００５１】
図５で、単語「さあ」が時系列連続単語グループ前端にあたる単語であるとする。このとき「さあ」と「本日」の２つのタイミング情報の決定には、グループ内で前端から見て最初の一致単語である「オリンピック」を用いて１モーラ当たりの時間を算出し、それを用いる。６モーラの「オリンピック」の表示開始時間と終了時間から、１モーラ当たりの時間は、（６１．６３−６０．８８）／６で得られるので、不一致単語それぞれのタイミング情報は、
「さあ」表示開始時間＝Ｔ３−ｍ×４−ｍ×２
「さあ」表示終了時間＝Ｔ３−ｍ×４
「本日」表示開始時間＝Ｔ３−ｍ×４
「本日」表示終了時間＝Ｔ３
「オリンピック」の表示開始時間：Ｔ３
１モーラ当たりの時間：ｍ
と決定する。１モーラ当たりの時間として、グループ内の別箇所で既に算出した１モーラ当たりの時間を用いてもよい。すなわち、一致単語２つとそれらに挟まれた不一致単語に基づいて算出した１モーラ当たりの時間を用いてもよい。また、グループ内の各一致単語について１モーラ当たりの時間を算出し、それらの平均を用いてもよい。
【００５２】
（６）差分時間ベースタイミング情報決定
モーラ数決定部１０２でモーラ数が１個に決定できない単語（以下、「モーラ未決単語」という）がある。
【００５３】
それは、第１に棒読みか桁読みかがわからない数字文字列、第２に「、」「。」「・・・」など対応するモーラ数が一定でない記号、第３にモーラ数決定部１０２で対応していない文字パターンなどである。「対応していない文字パターン」とは、例えば、モーラ数決定部１０２で辞書を用いている場合、辞書未登録語のことを指す。
【００５４】
図６の例では「３３２４」がモーラ未決単語である。
【００５５】
「３３２４」は、桁読みであれば「サンゼンサンビャクニジューヨン」で１３モーラである。棒読みであれば「サンサンニーヨン」で８モーラである。また、例えば株式市場であれば「サンゼンサンビャクフタジューヨン」で１４モーラとなる。このように、ＣＣの同じ表記に対して実際の発話がどのようになるかは文脈に依存し、自動判別するためには更なる知識と計算量を要する。強いていずれかの読み方に決めて計算を行い、その読み方が本来の発話の読み方と異なっている場合、大きな誤差が生じる可能性がある。以下に、棒読みと桁読みの違いによって生じる誤差の算出結果を示す。
【００５６】
一致単語「参加」に基づく１モーラ当たりの時間＝（６４．９３−６４．４８）／３＝０．１５
「２２２４」の桁読みと棒読みのモーラの差による誤差＝０．１５×（１３−８）＝０．７５
モーラ未決単語が混在するたびに上記のような誤差が生じる可能性が増すため、モーラベースタイミング情報決定部１０３のみでは、実質的に誤差の小さいタイミング情報を算出することができない場合がある。
【００５７】
そこで、ステップＳ３において、モーラベースタイミング情報決定を行う際、時系列連続単語グループ内に、一致単語と不一致単語の間にモーラ未決単語が存在する場合があるときには、ステップＳ４において、差分時間ベースタイミング情報決定部１０４が、不一致単語のタイミング情報を決定する。
【００５８】
差分時間ベースタイミング情報決定部１０４は、オリジナル字幕情報のタイミング情報（以下、「オリジナルタイミング情報」という）を用いる。このオリジナルタイミング情報は、オリジナル字幕情報で１画面表示単位の字幕文字列毎に付与されているものであるが、生放送でリアルタイムに付与された字幕情報である場合、音声に完全に同期しているわけでない。これらの表示開始時間を、各字幕文字列の前端にあたる単語の表示開始時間とみなす。例えば、図３のｃ２の字幕文字列の表示開始時間は２７．４８であり、これをｃ２の字幕文字列の前端単語「さあ」の表示開始時間と見なす（ｅ２）。同様に、ｅ１、ｅ３の単語もオリジナルタイミング情報に基づいた表示開始時間（以下、オリジナル表示開始時間）を持つ単語となる。
【００５９】
図６を用いて、差分時間ベースタイミング情報決定の流れを説明する。
【００６０】
まず、図６の丸数字の１に示すように、モーラベースタイミング情報決定により、一致単語「参加」を基点としてオリジナルタイミング情報に基づいた表示開始時間を持つ単語「前回」のタイミング情報を算出する。
【００６１】
次に、図６の丸数字の２に示すように、「前回」のオリジナル表示開始時間７１．３８と、モーラベースタイミング情報決定で算出したタイミング情報の表示開始時間６３．８８の差分時間７．５を算出する。
【００６２】
次に、図６の丸数字の３に示すように、この差分時間を「今年」のオリジナル表示開始時間６８．３８から引くことで、６０．８８という表示開始時間を得る。
【００６３】
以降、モーラベースタイミング情報決定部１０３で、「今年」から「は」までのタイミング情報を算出する。
【００６４】
また、「と」についても「参加」を計算基点としたモーラベースタイミング情報決定部１０３を用いてタイミング情報を決定する。
【００６５】
以上の処理で前後端両方向に隣接する単語のタイミング情報が判明し、モーラ未決単語「３３２４」のタイミング情報が決定する。
【００６６】
（７）字幕グループ作成
図２で示すように、音声ベースタイミング情報決定（ステップＳ１）、モーラベースタイミング情報決定（ステップＳ３）及び差分時間ベースタイミング情報決定（ステップＳ４）によって全単語にタイミング情報が決定されたら、次に、ステップＳ６において、字幕グループ作成部１０５が字幕グループを作成する。
【００６７】
作成は、第１に（Ｓ１）〜（Ｓ４）によって決定されたタイミング情報、第２にユーザの字幕表示形態に対する要望、第３に可読性を考慮した書式、に則る。
【００６８】
第１の決定されたタイミング情報で、ある単語の表示終了時間とその次の単語の表示開始時間が同一でなければ、それら２単語を同じ字幕グループとはしない。
【００６９】
第２のユーザの字幕表示形態に対する要望は、行数や文字数の指定等が考えられる。
【００７０】
第３の可読性を考慮した書式とは、次のようなものがある。
【００７１】
・一回に表示する文字数とその表示時間を統計的に得た人間の読解速度を考慮して決める。
【００７２】
・句読点が行頭に来ないようにする。
【００７３】
・接頭辞の直後、接尾辞の直前で区切らない。
【００７４】
字幕グループの作成については、特許文献１の発明の請求項１、２に示されるような方法で作成してもいい。
【００７５】
そして、各字幕グループ前端単語の表示開始時間を字幕グループの表示開始時間とし、字幕グループ後端単語の表示終了時間を字幕グループの表示終了時間とする。
【００７６】
字幕グループの表示開始、終了時間の決め方については、ユーザ要望や可読性に基づいて意図的に時間差を与えることも考えられる。
【００７７】
例えば、以下に示すように、実際の発話時間よりも字幕の発話時間を長くすることで、想定するユーザの字幕読解速度が実際の発話よりも遅い場合に対応する。
【００７８】
・字幕グループＮの表示終了時間と、Ｎの次に表示される字幕グループの表示開始時間との間に一定以上の時間差Ｔｄがあれば、字幕グループＮの表示終了時間にＴｄ以下の加算を行って字幕グループＮが対応する発話終了後も一定時間字幕が表示されるようにする。
【００７９】
・字幕グループＮの表示開始時間と、Ｎの前に表示される字幕グループの表示終了時間との間に一定以上の時間差Ｔｄがあれば、字幕グループＮの表示開始時間からＴｄ以下の減算を行って字幕グループＮが対応する発話が開始する一定時間前から字幕グループＮが表示されるようにする。
【００８０】
（８）効果
本実施例によれば、ＣＣ上で基点位置との間にモーラ未決文字列が存在するタイミング単位文字列、及び、モーラ未決範囲内のモーラ未決文字列それぞれのタイミング情報を算出でき、これらの文字列を前端とする字幕グループを作ることができ、ＣＣ表示状態に対する要望に対応することができる。
【００８１】
すなわち、基点位置のタイミング情報と、ＣＣのオリジナルタイミング情報（ＣＣで１画面表示分の字幕文字列毎に付与されているタイミング情報）の差分時間を算出し、これを用いてモーラ未決文字列以降に位置するタイミング単位文字列のタイミング情報を補間できる。
【実施例２】
【００８２】
以下、本発明の実施例２の字幕情報作成装置１０について図７〜図８に基づいて説明する。
【００８３】
本実施例は、モーラ数推定部１０６について説明する。なお便宜上、単語で構成される未決範囲を未決単語範囲として、これを例に説明する。未決単語範囲は、前後端がモーラ未決単語であり、範囲内に一致単語又はオリジナル表示開始時間を持つ単語が存在しない範囲とする。但し、複数の範囲が隣接又は重複する場合は、それらをまとめた最大の範囲のみを認める。
【００８４】
（１）字幕情報作成装置１０の構成
図７は、本実施例に係わる字幕情報作成装置１０を示すブロック図である。なお、説明は、実施例１との異なる箇所についてのみ説明する。
【００８５】
モーラ数推定部１０６は、未決単語範囲を決定し、この未決単語範囲内の各単語のモーラ数を推定する。
【００８６】
モーラベースタイミング情報決定部１０３は、推定されたモーラ数に基づいて、未決単語範囲内の各単語のタイミング情報を決定する。
【００８７】
（２）モーラ数推定
図８を用いて、モーラ数推定について説明する。
【００８８】
字幕単語列上の「２００」、「から」、「３００」の３単語が１つの未決単語範囲を構成している。まず、未決単語範囲の前方に隣接する単語「今」の表示終了時間と、後方に隣接する単語「の」の表示開始時間から、未決単語範囲で経過している総時間を算出する。例では、７４．０１−７２．６６＝１．３５が得られる。
【００８９】
次に、この未決単語範囲内の各単語のモーラ数候補の全組み合わせを作り、範囲の総時間に基づいて組み合わせ毎に１モーラ当たりの時間を算出する。
【００９０】
「２００」は桁読み「ニヒャク」（３モーラ）あるいは棒読み「ニーゼロゼロ」（６モーラ）であり、「から」は２モーラ、「３００」は桁読み「サンビャク」（４モーラ）あるいは棒読み「サンゼロゼロ」（６モーラ）である。組み合わせの数は２×１×２＝４通りである。それぞれの組み合わせ毎に１モーラ当たりの時間を算出する。
【００９１】
算出した各時間から、未決単語範囲周辺の１モーラ当たりの時間に基づいて１つを選択する。図８では未決単語範囲候補の後方に隣接する単語「の」の算出に用いた１モーラ当たりの時間が０．１５であるため、１モーラ当たりの時間として０．１５が算出されるモーラ数の組み合わせ「ニヒャク」（３モーラ）＋「から」（２モーラ）＋「サンビャク」（４モーラ）を選択し、これを推定結果とする。
【００９２】
選択方法は、例えば未決単語範囲の前後の単語のタイミング情報を決定するのに用いた１モーラ当たりの時間を平均し、その値に最も近い時間を選択するなどでもよい。
【００９３】
（３）効果
本実施例によれば、モーラ未決文字列が１個以上ある範囲（前後端がモーラ未決文字列であり、かつ内部に基点位置を含まない。また未決単語範囲が隣接又は重複するものはそれらをまとめた１つのみを範囲として認める）について、未決単語範囲前後のタイミング情報と未決単語範囲内のモーラ数候補から実際に発話されたモーラ数を推定し、未決単語範囲内の各モーラ未決文字列のタイミング情報を決定できる。
【実施例３】
【００９４】
以下、本発明の実施例３の字幕情報作成装置１０について図９に基づいて説明する。
【００９５】
本実施例は、タイミング情報の決定過程を用いた字幕グループ作成に関するものである。
【００９６】
（１）タイミング付随情報
タイミング情報が決定する際に「どのような過程を経て決定したか」の情報をタイミング付随情報とする。タイミング情報が決定する過程は多様である。例えば、受信した音声を聴きながらユーザがタイミング情報を入力してもいい。
【００９７】
また、以下に挙げるように上記した各タイミング情報決定部を用いてもいい。
【００９８】
Ｍ１：音声ベースタイミング情報決定部１０１
Ｍ２：モーラベースタイミング情報決定部１０３
Ｍ３：差分時間ベースタイミング情報決定部１０４
Ｍ４：モーラ数推定部１０６
なお、モーラ数推定も「Ｍ４：モーラ数推定部１０６」として加える。モーラ数推定をバリエーションの一要素として加えるのは、モーラ数推定部１０６を使用するか使用しないかにより、得られるタイミング情報に生じる誤差に違いがあると考えられるからである。
【００９９】
（２）過程のバリエーション
以下にタイミング情報が決定する過程のバリエーションを示す。
【０１００】
１．Ｍ１
２．Ｍ１＋Ｍ２
３．Ｍ１＋Ｍ３
４．Ｍ１＋Ｍ２＋Ｍ３
５．Ｍ１＋Ｍ２＋Ｍ４
６．Ｍ１＋Ｍ３＋Ｍ４
７．Ｍ１＋Ｍ２＋Ｍ３＋Ｍ４
前端行のＭ１「音声ベースタイミング情報決定部１０１のみで決定する」のみで決定する場合が最も時間的な誤差が少ない。以降、下へ行くほど、得られるタイミング情報の時間的な誤差が大きくなる可能性が増える。ここで、時間的誤差とは、音声の時間と、字幕の表示時間の誤差である。
【０１０１】
（３）誤差の生じ第１の状況
時間的な誤差の生じる状況について「Ｍ１」と「Ｍ１＋Ｍ２」を例に説明する。
【０１０２】
図５の一致単語「選手」と不一致単語「する」を比べた場合、「する」のタイミング情報は「出場」「する」「日本」「選手」が同じ話速で発話されていることを前提としている。そのため「する」と「日本」それぞれを発話する時に話速が異なっていれば、誤差が生じることになる。一方、一致単語は音声との対応付けに基づいたタイミング情報が付与されているため、「する」と比較して誤差が生じる可能性は小さい。
【０１０３】
さらに、前記バリエーションの内「Ｍ２：モーラベースタイミング情報決定部１０３」については、同じ手段であっても決定されるタイミング情報の誤差に差異が生じる。モーラベースタイミング情報決定部１０３内で、誤差が生じる要因を以下に挙げる。なお、タイミング情報を決定する不一致単語を、以下の要因一覧上では「当該単語」と呼ぶ。
【０１０４】
第１の要因は、当該単語と、計算起点とする一致単語と間にあるモーラ数である。モーラ数が小さいほど、誤差が生じる可能性が小さくなる。掛け合わせるモーラ数が大きくなればなるほど１モーラ当たりの時間誤差が増えるからである。
【０１０５】
第２の要因は、当該単語が一致単語に挟まれているかいないか、である。挟まれている方が、挟まれていない場合に比べ誤差が生じる可能性が小さくなる。挟まれている場合、双方の一致単語のタイミング情報に基づいて１モーラ当たりの時間を算出することができるが、挟まれていない場合はそれができないからである。
【０１０６】
第３の要因は、当該単語を含む時系列連続単語グループ内の一致単語の数である。一致単語数が多い方が、誤差が生じる可能性が小さくなる。一致単語数が多ければ多いほど、それぞれから１モーラ当たりの時間を算出でき、１モーラ当たりの時間について誤差が生じる可能性が小さくなるからである。
【０１０７】
（４）誤差の生じる第２の状況
また、モーラベースタイミング情報決定部１０３において、計算の基点となる一致単語が、時系列連続単語グループＧに存在しない場合がある。この場合、Ｇの前後の時系列連続単語グループに含まれるオリジナル表示開始時間を持つ単語と、Ｇに含まれるオリジナル表示開始時間を持つ単語を用いて、差分時間ベースタイミング決定部同様、差分時間で補間する方法が考えられる。この方法を用いてタイミング情報を得た単語を基点として、タイミング情報を決定したＧ内の各単語のタイミング情報は、この方法を用いなかったＧ以外の時系列連続単語グループの単語のタイミング情報と比較して、誤差が生じる可能性が大きい。
【０１０８】
（５）誤差の生じる第３の状況
さらに「Ｍ４：モーラ数推定部１０６」においても、以下のような要因で誤差が生じる可能性が異なる。
【０１０９】
推定結果のモーラ数組み合わせに基づいて算出される１モーラ当たりの時間と、推定結果に選ばれなかった組み合わせ候補の１モーラ当たりの時間との時間差がある。この時間差が大きいほどモーラ数推定結果が誤っている可能性が小さくなり、付与されるタイミング情報が誤差を含む可能性が小さくなる。
【０１１０】
また、モーラ数推定で、組み合わせから得られる１モーラ当たりの時間に差が無く、モーラ数の組み合わせ候補を１個に決定できない場合も、モーラ数推定結果が誤る可能性が大きい。
【０１１１】
（６）まとめ
以上のようにタイミング情報が決定する過程には多くのバリエーションがある。
【０１１２】
決定過程は決定するタイミング情報の誤差の大小に影響する。本実施例に係わる字幕情報作成装置１０は、このような決定過程をタイミング付随情報として記録しておき、字幕グループを作成する際に用いる。
【０１１３】
（７）字幕情報作成装置１０の構成
図９は、本実施例に係わる字幕情報作成装置１０を示すブロック図である。
【０１１４】
この字幕情報作成装置１０は、タイミング単位文字列抽出部１００、タイミング情報決定部１０７、字幕グループ作成部１０５、タイミング付随情報記憶部１０８とを備えている。
【０１１５】
タイミング単位文字列抽出部１００は、オリジナル字幕情報の字幕文字列群からタイミング単位文字列を抽出する。
【０１１６】
タイミング情報決定部１０７は、前記タイミング単位文字列抽出部１００で抽出した各タイミング単位文字列へタイミング情報を決定する。
【０１１７】
タイミング付随情報記憶部１０８は、前記タイミング情報決定部１０８でタイミング情報が決定する際に、その決定過程をタイミング付随情報として、各タイミング情報に対応付けて記憶する。
【０１１８】
字幕グループ作成部１０５は、前記タイミング付随情報記憶部１０８で記憶したタイミング付随情報を用いて字幕グループを作成する。
【０１１９】
（８）タイミング付随情報を用いた字幕グループの作成
字幕グループ作成部１０５の動作は、上記の字幕グループ作成部１０５と同じである。
【０１２０】
但し、字幕グループ作成部１０５は、タイミング付随情報記憶部１０８に記憶されたタイミング付随情報を参照し、時間的誤差を含む可能性がより小さい決定過程に基づいたタイミング情報を持つ単語を、優先して字幕グループの前端になるよう字幕グループを作成する。
【０１２１】
また、逆に、時間的誤差を含む可能性がより大きい決定過程に基づいたタイミング情報を持つ単語を、字幕グループ前端に置くことを避けて字幕グループを作成する。
【０１２２】
（９）効果
本実施例によれば、決定した各タイミング情報について、決定過程の違いによって生じるタイミング情報の誤差が生じる可能性の大小を考慮して字幕グループの作成を行うことにより、字幕グループ前端又は後端までの間に位置する各タイミング単位文字列のタイミング情報の算出を可能とし、かつ実際の発話タイミングとの間にずれが少ないタイミング情報を持つ字幕グループの作成できる。
【実施例４】
【０１２３】
以下、本発明の実施例４の字幕情報作成装置１０について図１１〜図１６に基づいて説明する。本実施例は、字幕情報作成装置１０を英語に適用した場合である。
【０１２４】
（１）字幕情報作成装置１０の構成
図１１は、本実施例に係わる字幕情報作成装置１０を示すブロック図である。
【０１２５】
この字幕情報作成装置１０は、タイミング単位文字列抽出部１００、音声ベースタイミング情報決定部１０１、等時分節ベースタイミング情報決定部１０８、差分時間ベースタイミング情報決定部１０９、字幕グループ作成部１０５とを備えている。
【０１２６】
タイミング単位文字列抽出部１００は、オリジナル字幕情報の字幕文字列群からタイミング単位文字列を抽出する。
【０１２７】
音声ベースタイミング情報決定部１０１は、タイミング単位文字列と音声との対応付けを行い、その結果に基づいて各タイミング単位文字列のタイミング情報を決定する。
【０１２８】
等時分節ベースタイミング情報決定部１０８は、等時分節数と、決定済みタイミング単位文字列のタイミング情報とに基づいて、未決タイミング単位文字列のタイミング情報を決定する。
【０１２９】
差分時間ベースタイミング情報決定部１０９は、決定済みタイミング単位文字列と未決タイミング単位文字列との間に、等時分節未決文字列が存在する場合に、決定済みタイミング単位文字列のタイミング情報と、オリジナル字幕情報のタイミング情報に基づいて、未決タイミング単位文字列のタイミング情報を決定する。
【０１３０】
字幕グループ作成部１０５は、字幕グループを作成する。
【０１３１】
（２）字幕情報作成装置１０の動作
図１２は、実施例４に係わる字幕情報作成装置１０のフローチャートである。
【０１３２】
以下では、図１２のフローチャートに沿って、その他の図を用いて本実施例に係わる字幕情報作成装置１０の動作について説明する。なお、ここでは、実施例１と同様に、例としてＣＣを表示する機能を持つテレビを想定して説明する。音声及びオリジナル字幕情報は放送電波として受信され、ここから取り出された音声とオリジナル字幕情報が本発明の字幕情報作成装置１０へ入力される。
【０１３３】
（３）タイミング単位文字列抽出
まず、図１２のステップＳ０において、タイミング単位文字列抽出部１００が、オリジナル字幕情報に含まれる字幕文字列群を対象として、そこからタイミング単位文字列を抽出する。
【０１３４】
字幕文字列群を構成する個々の字幕文字列は、音声と同期して一度に画面上に表示するまとまりであり、図１３のｃ１からｃ５のように、それぞれに表示開始と終了のタイミング情報が付随している。それぞれ表示開始時間、表示終了時間、字幕文字列を「，」区切りで表記している。表示開始、終了時間は音声の再生開始時間を０秒とした秒単位である。
【０１３５】
抽出すべきタイミング単位文字列は一定の文字パターンであり、この字幕情報作成装置１０において、第１に音声と字幕文字列を対応付ける際の字幕文字列側の対応付け要素、第２に字幕グループの前端候補、という役割がある。そのためタイミング単位文字列として定義する文字パターンは、音声との対応付けのためになるべく少ない文字数で構成される文字列であることが望ましく、かつ、字幕グループの前端になり得る単位であることを条件とする。
【０１３６】
実施例１では、字幕情報作成装置１０を日本語に適用して、「タイミング単位文字列」を単語としていた。しかし、本実施例では、英語を事例としているため、タイミング単位文字列をフットとする。そして、タイミング単位文字列抽出部１００は、フット毎にタイミング単位文字列を区切る。
【０１３７】
「フット」とは、英語の発話において、強勢毎に区切られる発話単位である。強勢とは、強くゆっくりと発話される音節であり、文中の単語には強勢を持つ単語（以下、「強勢単語」という）と、強勢を持たず弱く速く発話される単語（以下、「弱勢単語」という）とがある。強勢単語と、その強勢単語によって区切られた一続きの弱勢単語を一まとめにしたものをフットと呼ぶ。フットは一息で発話される発話区間であるため音声との対応付け単位として適当である。また、発話上意味を持つまとまりになっているので、字幕グループの前端としても適している。
【０１３８】
フットは、日本語におけるモーラ同様に、英語の発話において等時性を持つ音の分節単位である。以下の例では、大文字が強勢の位置、「｜」がフットの境界を示す。
【０１３９】
１）the｜HOUSE is｜BEAUtiful
２）the｜HOUSE is very｜BEAUtiful
３）the｜HOUSE is not very｜BEAUtiful
１）〜３）の「house is」、「house is very」、「house is not very」は、フットに含まれる音節数に関わりなく、強勢間の時間間隔が大きく変化しない（田窪，前川，窪園，本多，白井，中川：「言語の科学２ 音声」：岩波書店：１９８８参照）。以降の説明ではタイミング単位文字列としてフット単位を用いるものとし、字幕文字列から得たフット単位の文字列を以下では字幕要素と呼ぶ。
【０１４０】
（４）音声ベースタイミング情報決定
次に、音声ベースタイミング情報決定部１０１が、前記受信した音声から比較のための文字列（以下、「音声要素」という）を抽出し、字幕要素列と対応付ける。音声要素の抽出には、抽出単位を字幕要素同様フットとして公知である音声認識などを用いる。音声要素と字幕要素列との対応付けには、公知の動的計画法などを用いる。
【０１４１】
図１２のステップＳ１において、対応する音声要素が見つかった字幕要素（以下、「一致要素」という）のタイミング情報として、音声要素のタイミング情報を付与する。例えば、図１４で示すように音声要素列上の「house is not」が、字幕要素列上の「house is not」と対応付けられ、音声要素側のタイミング情報である６０．８８（表示開始時間）と６１．０８（表示終了時間）を、字幕要素側のタイミング情報として付与する。
【０１４２】
ステップＳ２において、上記付与後、全字幕要素のタイミング情報が決定したかどうか判定する。
【０１４３】
ステップＳ２において、タイミング情報が決定している場合は、字幕グループの作成を行い、終了する。
【０１４４】
なお、図１４の音声要素列は音声認識の結果を羅列したものであり認識誤りを含んでいる。例では「does」、「boots」が認識誤りの音声要素である。
【０１４５】
（５）等時分節ベースタイミング情報決定
ステップＳ２の判定で、タイミング情報が決定していない字幕要素（以下、「不一致要素」という）が存在する場合、ステップＳ３において、等時分節ベースタイミング情報決定部１０９が、不一致要素のタイミング情報を決定する。
【０１４６】
図１５を用いて、等時分節ベースタイミング情報決定について説明する。
【０１４７】
等時分節ベースタイミング情報決定部１０９は、一致要素のタイミング情報と、フット数に基づいて字幕要素のタイミング情報を類推演算で算出する。
【０１４８】
例えば一致要素「beautiful as you」の後方にある不一致要素「say.」のタイミング情報を決定する場合、１フット当たりの時間（以下、「フット時間長」という）ｆｔに基づいて以下のように算出する。
【０１４９】
ｆｔ＝「beautiful as you」の発話終了時間−「beautiful as you」の発話開始時間＝６１．４８−６１．２８＝０．２
「say」の発話開始時間＝「beautiful as you」の発話終了時間＝６１．４８
「say」の発話終了時間＝「say」の発話開始時間＋ｆｔ＝６１．６８
１フットの等時性はピリオドで区切られる１文区間内で保たれるものとする。一文内の複数の一致要素から異なる時間長（ｆｔ）が得られる場合は、それらの平均値を用いる、又は、タイミング情報を決定する不一致要素に最も近い位置にある一致要素のフット時間長を用いるなどしてもよい。
【０１５０】
（６）差分時間ベースタイミング情報決定
等時分節数が一意に決定できない文字列（以下、「等時分節未決要素」という）がある。それは、第１に棒読みか桁読みかがわからない数字文字列、第２に等時分節決定処理で対応していない文字列、などである。なお、対応していない文字列とは（等時分節決定に辞書を用いている場合）、辞書未登録の文字列が該当する。
【０１５１】
図１６の例では「１０９６３」が等時分節未決要素である。
【０１５２】
「１０９６３」は「ten／nine／sixty／three」と発話する場合で４フット（「／」がフット境界）であり、「one／o／nine／six／three」と発話する場合で５フットとなる。このように、ＣＣの表記に対して実際の発話がどのようになるかは文脈に依存し、自動判別するためには更なる知識と計算量を要する。強いていずれかの読み方に決めて計算を行い、その読み方が実際の発話の読み方と異なっている場合、大きな誤差が生じる可能性がある。
【０１５３】
等時分節未決要素が混在するたびに誤差が生じる可能性が増すため、等時分節ベースタイミング情報決定部１０９のみでは、誤差の小さいタイミング情報を算出することができない場合がある。
【０１５４】
そこで、ステップＳ３において、等時分節ベースタイミング情報決定を行う際、字幕要素列上の一致要素と不一致要素の間に等時分節未決要素が存在する場合には、ステップＳ４において、差分時間ベースタイミング決定部１１０が、不一致要素のタイミング情報を決定する。
【０１５５】
差分時間ベースタイミング情報決定部１１０は、オリジナル字幕情報のタイミング情報を用いる。オリジナル字幕情報のタイミング情報は、オリジナル字幕情報で１画面表示単位の字幕文字列毎に付与されている。これらの表示開始時間を、各字幕文字列の前端にあたる単語の表示開始時間とみなす。例えば、図１３のｃ２の字幕文字列の表示開始時間は２７．４８であり、これをｃ２の字幕文字列の前端単語「decided」の表示開始時間と見なす（ｅ２）。同様に、ｅ１、ｅ３、ｅ４の単語もオリジナルタイミング情報に基づいた表示開始時間（以下、オリジナル表示開始時間）を持つ単語となる。
【０１５６】
図１６を用いて、差分時間ベースタイミング情報決定の流れを説明する。
【０１５７】
まず、図１６の丸数字の１が示すように、等時分節ベースタイミング情報決定により、一致要素「pound」を基点としてオリジナルタイミング情報に基づいた表示開始時間を持つ要素「after」のタイミング情報を算出する。「after」は本来１フットではないが、前方に等時分節未決要素が存在するため、便宜上１要素となる。
【０１５８】
次に、図１６の丸数字の２に示すように、「after」のオリジナル表示開始時間７１．０３と、等時分節ベースタイミング情報決定手段で算出したタイミング情報の表示開始時間６３．５３の差分時間７．５を算出する。
【０１５９】
次に、図１６の丸数字の３に示すように、この差分時間を「Just dial」のオリジナル表示開始時間６９．５６から引くことで、６２．０６という表示開始時間を得る。
【０１６０】
以上の処理で前後端両方向に隣接する要素のタイミング情報が判明し、等時分節未決要素「１０９６３」のタイミング情報が決定する。
【０１６１】
（７）字幕グループ作成
図１２で示すように、ステップＳ１において音声ベースタイミング情報決定、ステップＳ３において等時分節ベースタイミング情報決定、及び、ステップＳ４において差分時間ベースタイミング情報決定することによって全要素にタイミング情報が決定されたら、次に、ステップＳ６において字幕グループ作成部１０５が字幕グループを作成する。
【０１６２】
作成は、第１に（Ｓ１）〜（Ｓ４）によって決定されたタイミング情報、第２にユーザの字幕表示形態に対する要望、第３に可読性を考慮した書式、に則る。
【０１６３】
決定されたタイミング情報で、ある要素の表示終了時間とその次の要素の表示開始時間が同一でなければ、それら２要素を同じ字幕グループとはしない。
【０１６４】
ユーザの字幕表示形態に対する要望は、行数や文字数の指定等が考えられる。
【０１６５】
また、可読性を考慮した書式とは、
・統計的に得た人間の読解速度を考慮して、一回に表示する文字数と表示時間を決める。
【０１６６】
・終止符（「．」）、コンマ（「，」）、疑問符（「？」）、感嘆符（「！」）などが表示文字列前端に来ないようにする。
【０１６７】
・「Ｍｒ．」「Ｍｓ．」「Ｍｔ．」などの直後で区切らない。
【０１６８】
などが考えられる。
【０１６９】
最後に、各字幕グループ前端フットの表示開始時間を字幕グループの表示開始時間とし、字幕グループ後端フットの表示終了時間を字幕グループの表示終了時間とする。字幕グループの表示開始、終了時間の決め方についてはユーザ要望や可読性に基づいて意図的に時間差を与えることも考えられる。例えば以下に示すように、実際の発話時間よりも字幕の発話時間を長くすることで、想定するユーザの字幕読解速度が実際の発話よりも遅い場合に対応する。
【０１７０】
・字幕グループｇの表示終了時間と、ｇの次に表示される字幕グループの表示開始時間との間に一定以上の時間差Ｔｄがあれば、字幕グループｇの表示終了時間にＴｄ以下の加算を行って字幕グループＮが対応する発話終了後も一定時間字幕が表示されるようにする。
【０１７１】
・字幕グループｇの表示開始時間と、ｇの前に表示される字幕グループの表示終了時間との間に一定以上の時間差Ｔｄがあれば、字幕グループｇの表示開始時間からＴｄ以下の減算を行って字幕グループｇが対応する発話が開始する一定時間前から字幕グループｇが表示されるようにする。
【０１７２】
（８）効果
本実施例によれば、英語においても、モーラを用いる日本語と同様に、タイミング情報を算出でき、これらの文字列を前端とする字幕グループを作ることができ、ＣＣ表示状態に対する要望に対応することができる。
【実施例５】
【０１７３】
以下、本発明の実施例５の字幕情報作成装置１０について図１７〜図１９に基づいて説明する。
【０１７４】
本実施例は、等時分節未決定範囲内の等時分節数を推定するものであり、等時分節推定部１１１を有している。未決範囲は、前後端が等時分節未決要素であり、範囲内に一致要素、又は、オリジナル表示開始時間を持つ字幕要素が存在しない範囲とする。但し、複数の範囲が隣接又は重複する場合は、それらをまとめた最大の範囲のみを認める。
【０１７５】
（１）字幕情報作成装置１０の構成
図１７は、本実施例に係わる字幕情報作成装置１０を示すブロック図である。実施例４の図１１との異なる箇所についてのみ説明する。
【０１７６】
等時分節推定部１１１は、未決範囲を対象に、範囲内のフット数を推定する。
【０１７７】
等時分節ベースタイミング情報決定部１０９は、推定されたフット数に基づいて、範囲内の各字幕要素のタイミング情報を決定する。
【０１７８】
（２）等時分節数推定
図１８を用いて、等時分節推定について説明する。
【０１７９】
字幕要素列上の「CHI」、「or」、「ISWC」の３要素が１つの未決範囲を構成している。この場合、範囲後方に隣接する「next」（前方に未決範囲があるため、便宜上１要素としているが「フット」ではない）は未決範囲の後端フットの一部になると予想できるので、「send it to」の表示終了時間と「year」の表示開始時間の差分を対象範囲の総経過時間とする。
【０１８０】
例では７２．７９−７２．１９＝０．６が得られる。次に範囲内の各要素のフット候補の全組み合わせを作り、範囲の総時間に基づいて組み合わせ毎に１フット当たりの時間を算出する。
【０１８１】
「CHI」は、「Computer Human Interaction」の略称であり、ユーザインタフェース関連で世界最大規模の学会である。これは一般に「カイ」（１フット）あるいは１文字ずつ「シー、エイチ、アイ」（３フット）で発話される。
【０１８２】
「ISWC」は、「International Symposium on Wearable Computers」の略称であり、「イーズウィック」（１フット）あるいは「アイ、エス、ダブリュー、シー」（４フット）で発話される。したがって組み合わせの数は２×２＝４通りである。
【０１８３】
算出した時間から、未決範囲前後の１フット当たりの時間に基づいて１つを選択する。例では範囲前方のフット「send it to」から１フット当たり０．３秒を得る。そこで、１フット当たりの時間として０．３が算出されるフット数の組み合わせである「カイ」（１フット）＋「イーズウィック」（１フット）を選択し、これを推定結果とする。選択方法は、例えば未決範囲の前後の１フット当たりの時間を平均し、その値に最も近い時間を選択するなどしてもよい。
【０１８４】
得られた推定結果に基づき、図１８の字幕要素列のフット構成とそれぞれのタイミング情報は、図１９のように決定できる。
【変更例】
【０１８５】
なお、本発明は上記実施例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施例に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施例にわたる構成要素を適宜組み合わせてもよい。
【０１８６】
例えば、上記各実施例では、言語として、日本語と英語に適用したが、本発明は、これ以外のドイツ語、フランス語、イタリア語、スペイン語、ロシア語、中国語、ハングル語などにも適用できる。
【図面の簡単な説明】
【０１８７】
【図１】本発明の実施例１の字幕情報作成装置１０のブロック図である。
【図２】実施例１の動作を示すフローチャートである。
【図３】オリジナル字幕情報とタイミング単位文字列の例である。
【図４】音声ベースタイミング情報決定の説明図である。
【図５】モーラベースタイミング情報決定の説明図である。
【図６】差分時間ベースタイミング情報決定の説明図である。
【図７】実施例２の字幕情報作成装置１０のブロック図である。
【図８】モーラ数推定の説明図である。
【図９】実施例３の字幕情報作成装置１０のブロック図である。
【図１０】テレビに字幕を表示した状態の図である。
【図１１】実施例４の字幕情報作成装置１０のブロック図である。
【図１２】実施例４の動作を示すフローチャートである。
【図１３】オリジナル字幕情報とタイミング単位文字列の例である。
【図１４】音声ベースタイミング情報決定の説明図である。
【図１５】等時分節ベースタイミング情報決定の説明図である。
【図１６】差分時間ベースタイミング情報決定の説明図である。
【図１７】実施例５の字幕情報作成装置１０のブロック図である。
【図１８】等時分節推定の説明図である。
【図１９】等時分節推定の結果に基づく図１７のフット構成とタイミング情報の表である。
【符号の説明】
【０１８８】
１０ 字幕情報作成装置
１００ タイミング単位文字列抽出部
１０１ 音声ベースタイミング情報決定部
１０２ モーラ数決定部
１０３ モーラベースタイミング情報決定部
１０４ 差分時間ベースタイミング情報決定部
１０５ 字幕グループ作成部
１０６ モーラ数推定部
１０７ タイミング情報決定部
１０８ タイミング情報記憶部
１０９ 等時分節ベースタイミング情報決定部
１１０ 差分時間ベースタイミング情報決定部
１１１ 等時分節推定部
【技術分野】
【０００１】
本発明は、字幕情報を作成する字幕情報作成装置、字幕情報作成方法及びプログラムに関する。
【背景技術】
【０００２】
放送などでは、音声の内容を文字列化したＣｌｏｓｅｄ Ｃａｐｔｉｏｎ（以下、「ＣＣ」という）が、音声と共に配信されている。１回に表示するＣＣの文字数や行数など表示形式に対する視聴者の要望に応えるため、受信側でＣＣを基に一定の書式に則ったまとまり（以下、字幕グループ）を作成し、各字幕グループへタイミング情報を付与する方法が開示されている（特許文献１参照）。
【０００３】
また、生放送では、ＣＣの表示タイミングと対応する音声の発話タイミングとの間にずれがある。さらに、１単語のみ画面上に表示されたまま数秒経過するなど、十分な作業時間の下で読み易さを考慮して編集された収録放送のＣＣとは表示状態が異なる。
【０００４】
これを解決するためにも受信側の字幕グループ作成とタイミング情報付与が必要である。各字幕グループの前端にあたる可能性のある部分文字列（以下、「タイミング単位文字列」という）は、ＣＣの内容と視聴者の要望によるため、なるべく細かい文字列単位でタイミング単位文字列を設定し、かつ、全てのタイミング単位文字列についてタイミング情報を算出できるようにする必要がある。
【０００５】
特許文献１の発明では、タイミング情報が決定している位置（以下、「基点位置」という）のタイミング情報と、基点位置と字幕グループ前端との間に存在する文字数と文字種、又は、音素に基づいて、字幕グループ前端のタイミング情報を類推演算して決定した。
【特許文献１】特開２０００−３５０１１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ＣＣの表示と音声の発話タイミングとの間にずれがある状況において、基点位置から字幕グループ前端までの間に、対応モーラ数が１個に決定できない文字列（以下、「モーラ未決文字列」という）が含まれる場合がある。
【０００７】
上記のような場合には、特許文献１の発明では、モーラ未決文字列以降、字幕グループ前端までの間に位置する各タイミング単位文字列のタイミング情報を算出できないという問題点があった。また、各タイミング情報の決定過程の違いによって生じる誤差の大小を考慮しないため、字幕グループに付与するタイミング情報が実際の発話タイミングと大きくずれる場合があるという問題点があった。
【０００８】
そこで本発明は、上記問題点を解決するためになされたものであって、実際の発話タイミングとの間にずれが少ないタイミング情報を持つ字幕グループの作成を行う字幕情報作成装置及びその方法を提供する。
【課題を解決するための手段】
【０００９】
本発明は、音声に対する字幕情報を作成する字幕情報作成装置において、予め作成された字幕文字列群、及び、前記字幕文字列中の任意の文字数毎に付与された前記音声との参考的な対応を示す時間情報であるオリジナルタイミング情報を含むオリジナル字幕情報を受け取り、前記音声と同期して前記字幕文字列を表示するための時間情報であるタイミング情報を付与するタイミング単位文字列を、前記字幕文字列群から抽出する抽出部と、前記音声と前記タイミング単位文字列の対応付けを音声認識によって行い、前記対応付けができた前記タイミング単位文字列に対し、前記音声の時間情報に基づいて前記タイミング情報を決定する第１タイミング情報決定部と、前記タイミング情報が決定された決定済みタイミング単位文字列の前記タイミング情報を基準にして、前記各タイミング単位文字列が含む等時性を持つ音の分節である等時分節の数を用いて、前記タイミング情報が決定できなかった未決タイミング単位文字列の前記タイミング情報を決定する第２タイミング情報決定部と、前記オリジナルタイミング情報を有する一対の前記タイミング単位文字列の間に、前記等時分節の数が一意に決定できない前記タイミング単位文字列である等時分節未決文字列が存在する場合に、（１）前記決定済みタイミング単位文字列の前記タイミング情報と前記オリジナルタイミング情報の差分時間を求め、（２）一対の前記タイミング単位文字列の前記オリジナルタイミング情報から前記差分時間を差し引いて前記タイミング情報をそれぞれ求め、（３）一対の前記タイミング単位文字列の前記タイミング情報を用いて、その間にある前記等時分節未決文字列の前記タイミング情報を決定する第３タイミング情報決定部と、前記字幕文字列群を任意の書式に則って分けた字幕文字列である字幕グループと、前記各字幕グループを前記音声と同期して表示するための前記決定済みタイミング単位文字列、前記未決タイミング単位文字列、又は、前記等時分節未決文字列のそれぞれの前記タイミング情報とを含む前記字幕情報を作成する作成部と、を有することを特徴とする字幕情報作成装置である。
【発明の効果】
【００１０】
本発明によれば、実際の発話タイミングとの間にずれが少ないタイミング情報を持つ字幕グループを作成できる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施例の字幕情報作成装置について図面に基づいて説明する。
【００１２】
なお、以下の各実施例において、字幕情報作成装置を日本語に適用する場合は、等時性を持つ音の分節単位として、「モーラ」を用い、英語に適用する場合は、一定音節のまとまりであるフットを使う。すなわち、「等時性を持つ音の分節単位」とは、モーラ、フットなどをいう。モーラとフットについては、後から説明する。
【実施例１】
【００１３】
以下、本発明の実施例１の字幕情報作成装置１０について図１〜図６、図１０に基づいて説明する。
【００１４】
（１）字幕情報作成装置１０の構成
図１は、本実施例に係わる字幕情報作成装置１０を示すブロック図である。
【００１５】
この字幕情報作成装置１０は、タイミング単位文字列抽出部１００、音声ベースタイミング情報決定部１０１、モーラ数決定部１０２、モーラベースタイミング情報決定部１０３，差分時間ベースタイミング情報決定部１０４、字幕グループ作成部１０５とを備えている。
【００１６】
なお、この字幕情報作成装置１０は、例えば、汎用のコンピュータ装置１０を基本ハードウェアとして用いることでも実現することが可能である。すなわち、タイミング単位文字列抽出部１００、音声ベースタイミング情報決定部１０１、モーラ数決定部１０２、モーラベースタイミング情報決定部１０３，差分時間ベースタイミング情報決定部１０４、字幕グループ作成部１０５は、上記のコンピュータ装置１０に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、字幕情報作成装置１０は、上記のプログラムをコンピュータ装置１０に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置１０に適宜インストールすることで実現してもよい。
【００１７】
タイミング単位文字列抽出部１００は、オリジナル字幕情報の字幕文字列群からタイミング単位文字列を抽出する。
【００１８】
音声ベースタイミング情報決定部１０１は、タイミング単位文字列と音声との対応付けを行い、その結果に基づいて各タイミング単位文字列のタイミング情報を決定する。
【００１９】
モーラ数決定部１０２は、各タイミング単位文字列のモーラ数を決定する。
【００２０】
モーラベースタイミング情報決定部１０３は、各タイミング単位文字列のモーラ数と、決定済みタイミング単位文字列のタイミング情報に基づいて、未決タイミング単位文字列のタイミング情報を決定する。
【００２１】
差分時間ベースタイミング情報決定部１０４は、決定済みタイミング単位文字列と未決タイミング単位文字列との間に、モーラ未決文字列が存在する場合に、決定済みタイミング単位文字列のタイミング情報と、オリジナル字幕情報のタイミング情報に基づいて、未決タイミング単位文字列のタイミング情報を決定する。
【００２２】
字幕グループ作成部１０５は、字幕グループを作成する。
【００２３】
（２）字幕情報作成装置１０の動作
以下では、図２とその他の図面を用いて実施例１に係わる字幕情報作成装置１０の動作について説明する。図２は、実施例１に係わる字幕情報作成装置１０のフローチャートである。
【００２４】
なお、ここでは例として、図１０に示すように、ＣＣを表示する機能を持つテレビを想定して説明する。音声及びオリジナル字幕情報は放送電波として受信され、ここから取り出された音声とオリジナル字幕情報が本発明の字幕情報作成装置１０へ入力される。
【００２５】
（３）タイミング単位文字列抽出
まず、図２のステップＳ０において、タイミング単位文字列抽出部１００が、オリジナル字幕情報に含まれる字幕文字列群を対象として、そこからタイミング単位文字列を抽出する。
【００２６】
字幕文字列群を構成する個々の字幕文字列は、音声と同期して一度に画面上に表示するまとまりであり、図３のｃ１からｃ５のように、それぞれに表示開始と表示終了のタイミング情報が付随している。図３では、それぞれ表示開始時間、表示終了時間、字幕文字列を「，」区切りで表記している。表示開始、終了時間は音声の再生開始時間を０秒とした秒単位である。
【００２７】
抽出すべきタイミング単位文字列は一定の文字パターンであり、この字幕情報作成装置１０において、第１に音声と字幕文字列を対応付ける際の字幕文字列側の対応付け要素、第２に字幕グループの前端候補、という役割がある。そのためタイミング単位文字列として定義する文字パターンは、音声との対応付けのためになるべく少ない文字数で構成される文字列であることが望ましく、かつ、字幕グループの前端になり得る単位であることが条件となる。
【００２８】
ここではタイミング単位文字列の文字パターン単位として「単語」を採り上げ、前記「字幕グループの前端になり得る」について説明する。例えば「オリンピック」という単語は以下に示すように、字幕グループの前端となり得る。
【００２９】
字幕グループ１：「さあ、いよいよ来週から」
字幕グループ２：「オリンピックが始まります。」。
【００３０】
ここで「オリンピック」をより細かく「オリ」「ン」「ピック」に分けたとして、以下の例のように「ン」から始まる字幕グループは、表示される際の可読性という観点から適切なものとは言いがたい。
【００３１】
字幕グループ１：「さあ、いよいよ来週からオリ」
字幕グループ２：「ンピックが始まります。」
したがって、「オリンピック」の「ン」は字幕グループの前端とはなり得ない。単語「オリンピック」を一つのまとまりとして扱った方が妥当である。
【００３２】
また、タイミング単位文字列は日本語に限定する必要は無い。例えば「ＩＮ」や「ＴＨＥ」など特定の英文字のパターンをタイミング単位文字列として設定してもよい。よって本発明で扱う字幕文字列は、言語に依存しない。英語については、後の実施例で詳しく説明する。
【００３３】
なお、説明を簡単にするため、以降はタイミング単位文字列として日本語の単語を用いるものとし、字幕文字列から得た単語を以下では字幕単語と呼ぶ。字幕単語の抽出は単純な部分文字列検索や形態素解析など公知の技術を用いて行う。
【００３４】
（４）音声ベースタイミング情報決定
次に、図２のステップＳ１において、音声ベースタイミング情報決定部１０１が、前記受信した音声から音声認識を行って単語（以下、「音声単語」という）を抽出する。動的計画法を用いて字幕単語列と対応付ける。対応する音声単語が見つかった字幕単語（以下、「一致単語」という）のタイミング情報を、音声単語のタイミング情報として付与する。
【００３５】
例えば、図４で示すように音声単語列上の「オリンピック」が、字幕単語列上の「オリンピック」と対応付けられ、音声単語側のタイミング情報である６０．８８（表示開始時間）と６１．６３（表示終了時間）を、字幕単語側のタイミング情報として付与する。
【００３６】
付与後に、ステップＳ２において、全字幕単語のタイミング情報が決定したかどうか判定し、決定している場合は、ステップＳ６において字幕グループの作成を行い、終了する。
【００３７】
なお、図４の音声単語列は音声認識の結果を羅列したものであり認識誤りを含んでいる。例では「朝」、「の」、「本」、「だ」、「外」が認識誤りの音声単語である。
【００３８】
（５）モーラベースタイミング情報決定
図２のステップＳ２の判定で、タイミング情報が決定していない字幕単語（以下、「不一致単語」という）が存在する場合、モーラベースタイミング情報決定部１０３が、モーラベースタイミング情報決定を行い不一致単語のタイミング情報を決定する。
【００３９】
このとき、モーラ数決定部１０２は、各単語のモーラ数を決定してモーラベースタイミング情報決定部１０３へ提供する。
【００４０】
なお、「モーラ」とは、一定時間長を持つ音の分節単位をいう。言語の違い、あるいは同一言語内でも方言の違いなどで時間長が異なる。音節は全ての言語が持つが、モーラは持たない言語が存在する。日本語の場合、原則として仮名１つが同じ長さ（１音）で発音され、１音が１モーラに相当する。但し、拗音は１モーラと認識される。また撥音「ン」、長音「ー」、促音「ッ」も１モーラとなる。英語の分節単位はモーラでなく音節を用いる。
【００４１】
図５を用いて、モーラベースタイミング情報決定について説明する。
【００４２】
モーラベースタイミング情報決定部１０３は、一致単語のタイミング情報及び各単語のモーラ数を用いて１モーラ当たりの時間を算出し、それに基づいて字幕単語のタイミング情報を類推演算で算出する。例えば一致単語「出場」と「選手」の間にある不一致単語「する」と「日本」それぞれのタイミング情報を決定する場合、以下の式で１モーラ当たりの時間を算出する。
【００４３】
ｍ＝（Ｔ２−Ｔ１）／ｍｔ
但し、ｍは１モーラ当たりの時間、Ｔ１は「出場」の表示終了時間、Ｔ２は「選手」の表示開始時間、ｍｔは「出場」と「選手」間にある総モーラ数である。
【００４４】
「する」は２モーラ、「日本」は３モーラであるからｍｔは５であり、ｍは（６３．３８−６２．６０）／５の結果０．１５６となる。
【００４５】
ｍに基づいて「する」の発話にはｍ×２、「日本」の発話にはｍ×３の時間が経過することが決まる。よって「する」と「日本」それぞれのタイミング情報は、
「する」表示開始時間＝Ｔ１
「する」表示終了時間＝Ｔ１＋ｍ×２
「日本」表示開始時間＝Ｔ１＋ｍ×２
「日本」表示終了時間＝Ｔ２
で得られる。
【００４６】
さて上記したようにモーラベースタイミング情報決定部１０３は、字幕単語が時系列的に間隔を置かず連続していることを前提としている。すなわち、隣接する単語の発話タイミング間に一定時間以上の空きが無いことを前提としている。
【００４７】
そこで、図３に示すように、演算前に、オリジナル字幕情報から得たオリジナルのタイミング情報に基づいて、時系列的に連続する字幕単語のまとまり（以下、「時系列連続単語グループ」という）を作り、以降はこれらグループ毎に演算してタイミング情報を決定する。グループは、オリジナル字幕情報において、ある字幕文字列の表示終了時間と、次に表示される字幕文字列の表示開始時間の間に一定以上の時間差がある場合にその字幕文字列間を区切りとすることで作成する。例えば時系列的に連続しているとみなす最大時間差を２．００秒と決めた場合、ｃ２の表示終了時間とｃ３の表示開始時間との間には、３３．３７−３０．４０＝２．９７秒の時間差があるので、ここで範囲を分ける。
【００４８】
さて、上記の通り一致単語２つに挟まれた不一致単語のタイミング情報を決定する。
【００４９】
次に一致単語に挟まれていない不一致単語のタイミング情報の決定について説明する。
【００５０】
時系列連続単語グループの前端及び後端の字幕単語が一致単語でない場合、時系列連続単語グループの前端からグループ内で最初の一致単語手前までに存在する不一致単語は上記した「一致単語に挟まれていない不一致単語」となる。なお後端についても状況は前後端が逆になるのみで同様であるため、前端のみを例に挙げて説明する。
【００５１】
図５で、単語「さあ」が時系列連続単語グループ前端にあたる単語であるとする。このとき「さあ」と「本日」の２つのタイミング情報の決定には、グループ内で前端から見て最初の一致単語である「オリンピック」を用いて１モーラ当たりの時間を算出し、それを用いる。６モーラの「オリンピック」の表示開始時間と終了時間から、１モーラ当たりの時間は、（６１．６３−６０．８８）／６で得られるので、不一致単語それぞれのタイミング情報は、
「さあ」表示開始時間＝Ｔ３−ｍ×４−ｍ×２
「さあ」表示終了時間＝Ｔ３−ｍ×４
「本日」表示開始時間＝Ｔ３−ｍ×４
「本日」表示終了時間＝Ｔ３
「オリンピック」の表示開始時間：Ｔ３
１モーラ当たりの時間：ｍ
と決定する。１モーラ当たりの時間として、グループ内の別箇所で既に算出した１モーラ当たりの時間を用いてもよい。すなわち、一致単語２つとそれらに挟まれた不一致単語に基づいて算出した１モーラ当たりの時間を用いてもよい。また、グループ内の各一致単語について１モーラ当たりの時間を算出し、それらの平均を用いてもよい。
【００５２】
（６）差分時間ベースタイミング情報決定
モーラ数決定部１０２でモーラ数が１個に決定できない単語（以下、「モーラ未決単語」という）がある。
【００５３】
それは、第１に棒読みか桁読みかがわからない数字文字列、第２に「、」「。」「・・・」など対応するモーラ数が一定でない記号、第３にモーラ数決定部１０２で対応していない文字パターンなどである。「対応していない文字パターン」とは、例えば、モーラ数決定部１０２で辞書を用いている場合、辞書未登録語のことを指す。
【００５４】
図６の例では「３３２４」がモーラ未決単語である。
【００５５】
「３３２４」は、桁読みであれば「サンゼンサンビャクニジューヨン」で１３モーラである。棒読みであれば「サンサンニーヨン」で８モーラである。また、例えば株式市場であれば「サンゼンサンビャクフタジューヨン」で１４モーラとなる。このように、ＣＣの同じ表記に対して実際の発話がどのようになるかは文脈に依存し、自動判別するためには更なる知識と計算量を要する。強いていずれかの読み方に決めて計算を行い、その読み方が本来の発話の読み方と異なっている場合、大きな誤差が生じる可能性がある。以下に、棒読みと桁読みの違いによって生じる誤差の算出結果を示す。
【００５６】
一致単語「参加」に基づく１モーラ当たりの時間＝（６４．９３−６４．４８）／３＝０．１５
「２２２４」の桁読みと棒読みのモーラの差による誤差＝０．１５×（１３−８）＝０．７５
モーラ未決単語が混在するたびに上記のような誤差が生じる可能性が増すため、モーラベースタイミング情報決定部１０３のみでは、実質的に誤差の小さいタイミング情報を算出することができない場合がある。
【００５７】
そこで、ステップＳ３において、モーラベースタイミング情報決定を行う際、時系列連続単語グループ内に、一致単語と不一致単語の間にモーラ未決単語が存在する場合があるときには、ステップＳ４において、差分時間ベースタイミング情報決定部１０４が、不一致単語のタイミング情報を決定する。
【００５８】
差分時間ベースタイミング情報決定部１０４は、オリジナル字幕情報のタイミング情報（以下、「オリジナルタイミング情報」という）を用いる。このオリジナルタイミング情報は、オリジナル字幕情報で１画面表示単位の字幕文字列毎に付与されているものであるが、生放送でリアルタイムに付与された字幕情報である場合、音声に完全に同期しているわけでない。これらの表示開始時間を、各字幕文字列の前端にあたる単語の表示開始時間とみなす。例えば、図３のｃ２の字幕文字列の表示開始時間は２７．４８であり、これをｃ２の字幕文字列の前端単語「さあ」の表示開始時間と見なす（ｅ２）。同様に、ｅ１、ｅ３の単語もオリジナルタイミング情報に基づいた表示開始時間（以下、オリジナル表示開始時間）を持つ単語となる。
【００５９】
図６を用いて、差分時間ベースタイミング情報決定の流れを説明する。
【００６０】
まず、図６の丸数字の１に示すように、モーラベースタイミング情報決定により、一致単語「参加」を基点としてオリジナルタイミング情報に基づいた表示開始時間を持つ単語「前回」のタイミング情報を算出する。
【００６１】
次に、図６の丸数字の２に示すように、「前回」のオリジナル表示開始時間７１．３８と、モーラベースタイミング情報決定で算出したタイミング情報の表示開始時間６３．８８の差分時間７．５を算出する。
【００６２】
次に、図６の丸数字の３に示すように、この差分時間を「今年」のオリジナル表示開始時間６８．３８から引くことで、６０．８８という表示開始時間を得る。
【００６３】
以降、モーラベースタイミング情報決定部１０３で、「今年」から「は」までのタイミング情報を算出する。
【００６４】
また、「と」についても「参加」を計算基点としたモーラベースタイミング情報決定部１０３を用いてタイミング情報を決定する。
【００６５】
以上の処理で前後端両方向に隣接する単語のタイミング情報が判明し、モーラ未決単語「３３２４」のタイミング情報が決定する。
【００６６】
（７）字幕グループ作成
図２で示すように、音声ベースタイミング情報決定（ステップＳ１）、モーラベースタイミング情報決定（ステップＳ３）及び差分時間ベースタイミング情報決定（ステップＳ４）によって全単語にタイミング情報が決定されたら、次に、ステップＳ６において、字幕グループ作成部１０５が字幕グループを作成する。
【００６７】
作成は、第１に（Ｓ１）〜（Ｓ４）によって決定されたタイミング情報、第２にユーザの字幕表示形態に対する要望、第３に可読性を考慮した書式、に則る。
【００６８】
第１の決定されたタイミング情報で、ある単語の表示終了時間とその次の単語の表示開始時間が同一でなければ、それら２単語を同じ字幕グループとはしない。
【００６９】
第２のユーザの字幕表示形態に対する要望は、行数や文字数の指定等が考えられる。
【００７０】
第３の可読性を考慮した書式とは、次のようなものがある。
【００７１】
・一回に表示する文字数とその表示時間を統計的に得た人間の読解速度を考慮して決める。
【００７２】
・句読点が行頭に来ないようにする。
【００７３】
・接頭辞の直後、接尾辞の直前で区切らない。
【００７４】
字幕グループの作成については、特許文献１の発明の請求項１、２に示されるような方法で作成してもいい。
【００７５】
そして、各字幕グループ前端単語の表示開始時間を字幕グループの表示開始時間とし、字幕グループ後端単語の表示終了時間を字幕グループの表示終了時間とする。
【００７６】
字幕グループの表示開始、終了時間の決め方については、ユーザ要望や可読性に基づいて意図的に時間差を与えることも考えられる。
【００７７】
例えば、以下に示すように、実際の発話時間よりも字幕の発話時間を長くすることで、想定するユーザの字幕読解速度が実際の発話よりも遅い場合に対応する。
【００７８】
・字幕グループＮの表示終了時間と、Ｎの次に表示される字幕グループの表示開始時間との間に一定以上の時間差Ｔｄがあれば、字幕グループＮの表示終了時間にＴｄ以下の加算を行って字幕グループＮが対応する発話終了後も一定時間字幕が表示されるようにする。
【００７９】
・字幕グループＮの表示開始時間と、Ｎの前に表示される字幕グループの表示終了時間との間に一定以上の時間差Ｔｄがあれば、字幕グループＮの表示開始時間からＴｄ以下の減算を行って字幕グループＮが対応する発話が開始する一定時間前から字幕グループＮが表示されるようにする。
【００８０】
（８）効果
本実施例によれば、ＣＣ上で基点位置との間にモーラ未決文字列が存在するタイミング単位文字列、及び、モーラ未決範囲内のモーラ未決文字列それぞれのタイミング情報を算出でき、これらの文字列を前端とする字幕グループを作ることができ、ＣＣ表示状態に対する要望に対応することができる。
【００８１】
すなわち、基点位置のタイミング情報と、ＣＣのオリジナルタイミング情報（ＣＣで１画面表示分の字幕文字列毎に付与されているタイミング情報）の差分時間を算出し、これを用いてモーラ未決文字列以降に位置するタイミング単位文字列のタイミング情報を補間できる。
【実施例２】
【００８２】
以下、本発明の実施例２の字幕情報作成装置１０について図７〜図８に基づいて説明する。
【００８３】
本実施例は、モーラ数推定部１０６について説明する。なお便宜上、単語で構成される未決範囲を未決単語範囲として、これを例に説明する。未決単語範囲は、前後端がモーラ未決単語であり、範囲内に一致単語又はオリジナル表示開始時間を持つ単語が存在しない範囲とする。但し、複数の範囲が隣接又は重複する場合は、それらをまとめた最大の範囲のみを認める。
【００８４】
（１）字幕情報作成装置１０の構成
図７は、本実施例に係わる字幕情報作成装置１０を示すブロック図である。なお、説明は、実施例１との異なる箇所についてのみ説明する。
【００８５】
モーラ数推定部１０６は、未決単語範囲を決定し、この未決単語範囲内の各単語のモーラ数を推定する。
【００８６】
モーラベースタイミング情報決定部１０３は、推定されたモーラ数に基づいて、未決単語範囲内の各単語のタイミング情報を決定する。
【００８７】
（２）モーラ数推定
図８を用いて、モーラ数推定について説明する。
【００８８】
字幕単語列上の「２００」、「から」、「３００」の３単語が１つの未決単語範囲を構成している。まず、未決単語範囲の前方に隣接する単語「今」の表示終了時間と、後方に隣接する単語「の」の表示開始時間から、未決単語範囲で経過している総時間を算出する。例では、７４．０１−７２．６６＝１．３５が得られる。
【００８９】
次に、この未決単語範囲内の各単語のモーラ数候補の全組み合わせを作り、範囲の総時間に基づいて組み合わせ毎に１モーラ当たりの時間を算出する。
【００９０】
「２００」は桁読み「ニヒャク」（３モーラ）あるいは棒読み「ニーゼロゼロ」（６モーラ）であり、「から」は２モーラ、「３００」は桁読み「サンビャク」（４モーラ）あるいは棒読み「サンゼロゼロ」（６モーラ）である。組み合わせの数は２×１×２＝４通りである。それぞれの組み合わせ毎に１モーラ当たりの時間を算出する。
【００９１】
算出した各時間から、未決単語範囲周辺の１モーラ当たりの時間に基づいて１つを選択する。図８では未決単語範囲候補の後方に隣接する単語「の」の算出に用いた１モーラ当たりの時間が０．１５であるため、１モーラ当たりの時間として０．１５が算出されるモーラ数の組み合わせ「ニヒャク」（３モーラ）＋「から」（２モーラ）＋「サンビャク」（４モーラ）を選択し、これを推定結果とする。
【００９２】
選択方法は、例えば未決単語範囲の前後の単語のタイミング情報を決定するのに用いた１モーラ当たりの時間を平均し、その値に最も近い時間を選択するなどでもよい。
【００９３】
（３）効果
本実施例によれば、モーラ未決文字列が１個以上ある範囲（前後端がモーラ未決文字列であり、かつ内部に基点位置を含まない。また未決単語範囲が隣接又は重複するものはそれらをまとめた１つのみを範囲として認める）について、未決単語範囲前後のタイミング情報と未決単語範囲内のモーラ数候補から実際に発話されたモーラ数を推定し、未決単語範囲内の各モーラ未決文字列のタイミング情報を決定できる。
【実施例３】
【００９４】
以下、本発明の実施例３の字幕情報作成装置１０について図９に基づいて説明する。
【００９５】
本実施例は、タイミング情報の決定過程を用いた字幕グループ作成に関するものである。
【００９６】
（１）タイミング付随情報
タイミング情報が決定する際に「どのような過程を経て決定したか」の情報をタイミング付随情報とする。タイミング情報が決定する過程は多様である。例えば、受信した音声を聴きながらユーザがタイミング情報を入力してもいい。
【００９７】
また、以下に挙げるように上記した各タイミング情報決定部を用いてもいい。
【００９８】
Ｍ１：音声ベースタイミング情報決定部１０１
Ｍ２：モーラベースタイミング情報決定部１０３
Ｍ３：差分時間ベースタイミング情報決定部１０４
Ｍ４：モーラ数推定部１０６
なお、モーラ数推定も「Ｍ４：モーラ数推定部１０６」として加える。モーラ数推定をバリエーションの一要素として加えるのは、モーラ数推定部１０６を使用するか使用しないかにより、得られるタイミング情報に生じる誤差に違いがあると考えられるからである。
【００９９】
（２）過程のバリエーション
以下にタイミング情報が決定する過程のバリエーションを示す。
【０１００】
１．Ｍ１
２．Ｍ１＋Ｍ２
３．Ｍ１＋Ｍ３
４．Ｍ１＋Ｍ２＋Ｍ３
５．Ｍ１＋Ｍ２＋Ｍ４
６．Ｍ１＋Ｍ３＋Ｍ４
７．Ｍ１＋Ｍ２＋Ｍ３＋Ｍ４
前端行のＭ１「音声ベースタイミング情報決定部１０１のみで決定する」のみで決定する場合が最も時間的な誤差が少ない。以降、下へ行くほど、得られるタイミング情報の時間的な誤差が大きくなる可能性が増える。ここで、時間的誤差とは、音声の時間と、字幕の表示時間の誤差である。
【０１０１】
（３）誤差の生じ第１の状況
時間的な誤差の生じる状況について「Ｍ１」と「Ｍ１＋Ｍ２」を例に説明する。
【０１０２】
図５の一致単語「選手」と不一致単語「する」を比べた場合、「する」のタイミング情報は「出場」「する」「日本」「選手」が同じ話速で発話されていることを前提としている。そのため「する」と「日本」それぞれを発話する時に話速が異なっていれば、誤差が生じることになる。一方、一致単語は音声との対応付けに基づいたタイミング情報が付与されているため、「する」と比較して誤差が生じる可能性は小さい。
【０１０３】
さらに、前記バリエーションの内「Ｍ２：モーラベースタイミング情報決定部１０３」については、同じ手段であっても決定されるタイミング情報の誤差に差異が生じる。モーラベースタイミング情報決定部１０３内で、誤差が生じる要因を以下に挙げる。なお、タイミング情報を決定する不一致単語を、以下の要因一覧上では「当該単語」と呼ぶ。
【０１０４】
第１の要因は、当該単語と、計算起点とする一致単語と間にあるモーラ数である。モーラ数が小さいほど、誤差が生じる可能性が小さくなる。掛け合わせるモーラ数が大きくなればなるほど１モーラ当たりの時間誤差が増えるからである。
【０１０５】
第２の要因は、当該単語が一致単語に挟まれているかいないか、である。挟まれている方が、挟まれていない場合に比べ誤差が生じる可能性が小さくなる。挟まれている場合、双方の一致単語のタイミング情報に基づいて１モーラ当たりの時間を算出することができるが、挟まれていない場合はそれができないからである。
【０１０６】
第３の要因は、当該単語を含む時系列連続単語グループ内の一致単語の数である。一致単語数が多い方が、誤差が生じる可能性が小さくなる。一致単語数が多ければ多いほど、それぞれから１モーラ当たりの時間を算出でき、１モーラ当たりの時間について誤差が生じる可能性が小さくなるからである。
【０１０７】
（４）誤差の生じる第２の状況
また、モーラベースタイミング情報決定部１０３において、計算の基点となる一致単語が、時系列連続単語グループＧに存在しない場合がある。この場合、Ｇの前後の時系列連続単語グループに含まれるオリジナル表示開始時間を持つ単語と、Ｇに含まれるオリジナル表示開始時間を持つ単語を用いて、差分時間ベースタイミング決定部同様、差分時間で補間する方法が考えられる。この方法を用いてタイミング情報を得た単語を基点として、タイミング情報を決定したＧ内の各単語のタイミング情報は、この方法を用いなかったＧ以外の時系列連続単語グループの単語のタイミング情報と比較して、誤差が生じる可能性が大きい。
【０１０８】
（５）誤差の生じる第３の状況
さらに「Ｍ４：モーラ数推定部１０６」においても、以下のような要因で誤差が生じる可能性が異なる。
【０１０９】
推定結果のモーラ数組み合わせに基づいて算出される１モーラ当たりの時間と、推定結果に選ばれなかった組み合わせ候補の１モーラ当たりの時間との時間差がある。この時間差が大きいほどモーラ数推定結果が誤っている可能性が小さくなり、付与されるタイミング情報が誤差を含む可能性が小さくなる。
【０１１０】
また、モーラ数推定で、組み合わせから得られる１モーラ当たりの時間に差が無く、モーラ数の組み合わせ候補を１個に決定できない場合も、モーラ数推定結果が誤る可能性が大きい。
【０１１１】
（６）まとめ
以上のようにタイミング情報が決定する過程には多くのバリエーションがある。
【０１１２】
決定過程は決定するタイミング情報の誤差の大小に影響する。本実施例に係わる字幕情報作成装置１０は、このような決定過程をタイミング付随情報として記録しておき、字幕グループを作成する際に用いる。
【０１１３】
（７）字幕情報作成装置１０の構成
図９は、本実施例に係わる字幕情報作成装置１０を示すブロック図である。
【０１１４】
この字幕情報作成装置１０は、タイミング単位文字列抽出部１００、タイミング情報決定部１０７、字幕グループ作成部１０５、タイミング付随情報記憶部１０８とを備えている。
【０１１５】
タイミング単位文字列抽出部１００は、オリジナル字幕情報の字幕文字列群からタイミング単位文字列を抽出する。
【０１１６】
タイミング情報決定部１０７は、前記タイミング単位文字列抽出部１００で抽出した各タイミング単位文字列へタイミング情報を決定する。
【０１１７】
タイミング付随情報記憶部１０８は、前記タイミング情報決定部１０８でタイミング情報が決定する際に、その決定過程をタイミング付随情報として、各タイミング情報に対応付けて記憶する。
【０１１８】
字幕グループ作成部１０５は、前記タイミング付随情報記憶部１０８で記憶したタイミング付随情報を用いて字幕グループを作成する。
【０１１９】
（８）タイミング付随情報を用いた字幕グループの作成
字幕グループ作成部１０５の動作は、上記の字幕グループ作成部１０５と同じである。
【０１２０】
但し、字幕グループ作成部１０５は、タイミング付随情報記憶部１０８に記憶されたタイミング付随情報を参照し、時間的誤差を含む可能性がより小さい決定過程に基づいたタイミング情報を持つ単語を、優先して字幕グループの前端になるよう字幕グループを作成する。
【０１２１】
また、逆に、時間的誤差を含む可能性がより大きい決定過程に基づいたタイミング情報を持つ単語を、字幕グループ前端に置くことを避けて字幕グループを作成する。
【０１２２】
（９）効果
本実施例によれば、決定した各タイミング情報について、決定過程の違いによって生じるタイミング情報の誤差が生じる可能性の大小を考慮して字幕グループの作成を行うことにより、字幕グループ前端又は後端までの間に位置する各タイミング単位文字列のタイミング情報の算出を可能とし、かつ実際の発話タイミングとの間にずれが少ないタイミング情報を持つ字幕グループの作成できる。
【実施例４】
【０１２３】
以下、本発明の実施例４の字幕情報作成装置１０について図１１〜図１６に基づいて説明する。本実施例は、字幕情報作成装置１０を英語に適用した場合である。
【０１２４】
（１）字幕情報作成装置１０の構成
図１１は、本実施例に係わる字幕情報作成装置１０を示すブロック図である。
【０１２５】
この字幕情報作成装置１０は、タイミング単位文字列抽出部１００、音声ベースタイミング情報決定部１０１、等時分節ベースタイミング情報決定部１０８、差分時間ベースタイミング情報決定部１０９、字幕グループ作成部１０５とを備えている。
【０１２６】
タイミング単位文字列抽出部１００は、オリジナル字幕情報の字幕文字列群からタイミング単位文字列を抽出する。
【０１２７】
音声ベースタイミング情報決定部１０１は、タイミング単位文字列と音声との対応付けを行い、その結果に基づいて各タイミング単位文字列のタイミング情報を決定する。
【０１２８】
等時分節ベースタイミング情報決定部１０８は、等時分節数と、決定済みタイミング単位文字列のタイミング情報とに基づいて、未決タイミング単位文字列のタイミング情報を決定する。
【０１２９】
差分時間ベースタイミング情報決定部１０９は、決定済みタイミング単位文字列と未決タイミング単位文字列との間に、等時分節未決文字列が存在する場合に、決定済みタイミング単位文字列のタイミング情報と、オリジナル字幕情報のタイミング情報に基づいて、未決タイミング単位文字列のタイミング情報を決定する。
【０１３０】
字幕グループ作成部１０５は、字幕グループを作成する。
【０１３１】
（２）字幕情報作成装置１０の動作
図１２は、実施例４に係わる字幕情報作成装置１０のフローチャートである。
【０１３２】
以下では、図１２のフローチャートに沿って、その他の図を用いて本実施例に係わる字幕情報作成装置１０の動作について説明する。なお、ここでは、実施例１と同様に、例としてＣＣを表示する機能を持つテレビを想定して説明する。音声及びオリジナル字幕情報は放送電波として受信され、ここから取り出された音声とオリジナル字幕情報が本発明の字幕情報作成装置１０へ入力される。
【０１３３】
（３）タイミング単位文字列抽出
まず、図１２のステップＳ０において、タイミング単位文字列抽出部１００が、オリジナル字幕情報に含まれる字幕文字列群を対象として、そこからタイミング単位文字列を抽出する。
【０１３４】
字幕文字列群を構成する個々の字幕文字列は、音声と同期して一度に画面上に表示するまとまりであり、図１３のｃ１からｃ５のように、それぞれに表示開始と終了のタイミング情報が付随している。それぞれ表示開始時間、表示終了時間、字幕文字列を「，」区切りで表記している。表示開始、終了時間は音声の再生開始時間を０秒とした秒単位である。
【０１３５】
抽出すべきタイミング単位文字列は一定の文字パターンであり、この字幕情報作成装置１０において、第１に音声と字幕文字列を対応付ける際の字幕文字列側の対応付け要素、第２に字幕グループの前端候補、という役割がある。そのためタイミング単位文字列として定義する文字パターンは、音声との対応付けのためになるべく少ない文字数で構成される文字列であることが望ましく、かつ、字幕グループの前端になり得る単位であることを条件とする。
【０１３６】
実施例１では、字幕情報作成装置１０を日本語に適用して、「タイミング単位文字列」を単語としていた。しかし、本実施例では、英語を事例としているため、タイミング単位文字列をフットとする。そして、タイミング単位文字列抽出部１００は、フット毎にタイミング単位文字列を区切る。
【０１３７】
「フット」とは、英語の発話において、強勢毎に区切られる発話単位である。強勢とは、強くゆっくりと発話される音節であり、文中の単語には強勢を持つ単語（以下、「強勢単語」という）と、強勢を持たず弱く速く発話される単語（以下、「弱勢単語」という）とがある。強勢単語と、その強勢単語によって区切られた一続きの弱勢単語を一まとめにしたものをフットと呼ぶ。フットは一息で発話される発話区間であるため音声との対応付け単位として適当である。また、発話上意味を持つまとまりになっているので、字幕グループの前端としても適している。
【０１３８】
フットは、日本語におけるモーラ同様に、英語の発話において等時性を持つ音の分節単位である。以下の例では、大文字が強勢の位置、「｜」がフットの境界を示す。
【０１３９】
１）the｜HOUSE is｜BEAUtiful
２）the｜HOUSE is very｜BEAUtiful
３）the｜HOUSE is not very｜BEAUtiful
１）〜３）の「house is」、「house is very」、「house is not very」は、フットに含まれる音節数に関わりなく、強勢間の時間間隔が大きく変化しない（田窪，前川，窪園，本多，白井，中川：「言語の科学２ 音声」：岩波書店：１９８８参照）。以降の説明ではタイミング単位文字列としてフット単位を用いるものとし、字幕文字列から得たフット単位の文字列を以下では字幕要素と呼ぶ。
【０１４０】
（４）音声ベースタイミング情報決定
次に、音声ベースタイミング情報決定部１０１が、前記受信した音声から比較のための文字列（以下、「音声要素」という）を抽出し、字幕要素列と対応付ける。音声要素の抽出には、抽出単位を字幕要素同様フットとして公知である音声認識などを用いる。音声要素と字幕要素列との対応付けには、公知の動的計画法などを用いる。
【０１４１】
図１２のステップＳ１において、対応する音声要素が見つかった字幕要素（以下、「一致要素」という）のタイミング情報として、音声要素のタイミング情報を付与する。例えば、図１４で示すように音声要素列上の「house is not」が、字幕要素列上の「house is not」と対応付けられ、音声要素側のタイミング情報である６０．８８（表示開始時間）と６１．０８（表示終了時間）を、字幕要素側のタイミング情報として付与する。
【０１４２】
ステップＳ２において、上記付与後、全字幕要素のタイミング情報が決定したかどうか判定する。
【０１４３】
ステップＳ２において、タイミング情報が決定している場合は、字幕グループの作成を行い、終了する。
【０１４４】
なお、図１４の音声要素列は音声認識の結果を羅列したものであり認識誤りを含んでいる。例では「does」、「boots」が認識誤りの音声要素である。
【０１４５】
（５）等時分節ベースタイミング情報決定
ステップＳ２の判定で、タイミング情報が決定していない字幕要素（以下、「不一致要素」という）が存在する場合、ステップＳ３において、等時分節ベースタイミング情報決定部１０９が、不一致要素のタイミング情報を決定する。
【０１４６】
図１５を用いて、等時分節ベースタイミング情報決定について説明する。
【０１４７】
等時分節ベースタイミング情報決定部１０９は、一致要素のタイミング情報と、フット数に基づいて字幕要素のタイミング情報を類推演算で算出する。
【０１４８】
例えば一致要素「beautiful as you」の後方にある不一致要素「say.」のタイミング情報を決定する場合、１フット当たりの時間（以下、「フット時間長」という）ｆｔに基づいて以下のように算出する。
【０１４９】
ｆｔ＝「beautiful as you」の発話終了時間−「beautiful as you」の発話開始時間＝６１．４８−６１．２８＝０．２
「say」の発話開始時間＝「beautiful as you」の発話終了時間＝６１．４８
「say」の発話終了時間＝「say」の発話開始時間＋ｆｔ＝６１．６８
１フットの等時性はピリオドで区切られる１文区間内で保たれるものとする。一文内の複数の一致要素から異なる時間長（ｆｔ）が得られる場合は、それらの平均値を用いる、又は、タイミング情報を決定する不一致要素に最も近い位置にある一致要素のフット時間長を用いるなどしてもよい。
【０１５０】
（６）差分時間ベースタイミング情報決定
等時分節数が一意に決定できない文字列（以下、「等時分節未決要素」という）がある。それは、第１に棒読みか桁読みかがわからない数字文字列、第２に等時分節決定処理で対応していない文字列、などである。なお、対応していない文字列とは（等時分節決定に辞書を用いている場合）、辞書未登録の文字列が該当する。
【０１５１】
図１６の例では「１０９６３」が等時分節未決要素である。
【０１５２】
「１０９６３」は「ten／nine／sixty／three」と発話する場合で４フット（「／」がフット境界）であり、「one／o／nine／six／three」と発話する場合で５フットとなる。このように、ＣＣの表記に対して実際の発話がどのようになるかは文脈に依存し、自動判別するためには更なる知識と計算量を要する。強いていずれかの読み方に決めて計算を行い、その読み方が実際の発話の読み方と異なっている場合、大きな誤差が生じる可能性がある。
【０１５３】
等時分節未決要素が混在するたびに誤差が生じる可能性が増すため、等時分節ベースタイミング情報決定部１０９のみでは、誤差の小さいタイミング情報を算出することができない場合がある。
【０１５４】
そこで、ステップＳ３において、等時分節ベースタイミング情報決定を行う際、字幕要素列上の一致要素と不一致要素の間に等時分節未決要素が存在する場合には、ステップＳ４において、差分時間ベースタイミング決定部１１０が、不一致要素のタイミング情報を決定する。
【０１５５】
差分時間ベースタイミング情報決定部１１０は、オリジナル字幕情報のタイミング情報を用いる。オリジナル字幕情報のタイミング情報は、オリジナル字幕情報で１画面表示単位の字幕文字列毎に付与されている。これらの表示開始時間を、各字幕文字列の前端にあたる単語の表示開始時間とみなす。例えば、図１３のｃ２の字幕文字列の表示開始時間は２７．４８であり、これをｃ２の字幕文字列の前端単語「decided」の表示開始時間と見なす（ｅ２）。同様に、ｅ１、ｅ３、ｅ４の単語もオリジナルタイミング情報に基づいた表示開始時間（以下、オリジナル表示開始時間）を持つ単語となる。
【０１５６】
図１６を用いて、差分時間ベースタイミング情報決定の流れを説明する。
【０１５７】
まず、図１６の丸数字の１が示すように、等時分節ベースタイミング情報決定により、一致要素「pound」を基点としてオリジナルタイミング情報に基づいた表示開始時間を持つ要素「after」のタイミング情報を算出する。「after」は本来１フットではないが、前方に等時分節未決要素が存在するため、便宜上１要素となる。
【０１５８】
次に、図１６の丸数字の２に示すように、「after」のオリジナル表示開始時間７１．０３と、等時分節ベースタイミング情報決定手段で算出したタイミング情報の表示開始時間６３．５３の差分時間７．５を算出する。
【０１５９】
次に、図１６の丸数字の３に示すように、この差分時間を「Just dial」のオリジナル表示開始時間６９．５６から引くことで、６２．０６という表示開始時間を得る。
【０１６０】
以上の処理で前後端両方向に隣接する要素のタイミング情報が判明し、等時分節未決要素「１０９６３」のタイミング情報が決定する。
【０１６１】
（７）字幕グループ作成
図１２で示すように、ステップＳ１において音声ベースタイミング情報決定、ステップＳ３において等時分節ベースタイミング情報決定、及び、ステップＳ４において差分時間ベースタイミング情報決定することによって全要素にタイミング情報が決定されたら、次に、ステップＳ６において字幕グループ作成部１０５が字幕グループを作成する。
【０１６２】
作成は、第１に（Ｓ１）〜（Ｓ４）によって決定されたタイミング情報、第２にユーザの字幕表示形態に対する要望、第３に可読性を考慮した書式、に則る。
【０１６３】
決定されたタイミング情報で、ある要素の表示終了時間とその次の要素の表示開始時間が同一でなければ、それら２要素を同じ字幕グループとはしない。
【０１６４】
ユーザの字幕表示形態に対する要望は、行数や文字数の指定等が考えられる。
【０１６５】
また、可読性を考慮した書式とは、
・統計的に得た人間の読解速度を考慮して、一回に表示する文字数と表示時間を決める。
【０１６６】
・終止符（「．」）、コンマ（「，」）、疑問符（「？」）、感嘆符（「！」）などが表示文字列前端に来ないようにする。
【０１６７】
・「Ｍｒ．」「Ｍｓ．」「Ｍｔ．」などの直後で区切らない。
【０１６８】
などが考えられる。
【０１６９】
最後に、各字幕グループ前端フットの表示開始時間を字幕グループの表示開始時間とし、字幕グループ後端フットの表示終了時間を字幕グループの表示終了時間とする。字幕グループの表示開始、終了時間の決め方についてはユーザ要望や可読性に基づいて意図的に時間差を与えることも考えられる。例えば以下に示すように、実際の発話時間よりも字幕の発話時間を長くすることで、想定するユーザの字幕読解速度が実際の発話よりも遅い場合に対応する。
【０１７０】
・字幕グループｇの表示終了時間と、ｇの次に表示される字幕グループの表示開始時間との間に一定以上の時間差Ｔｄがあれば、字幕グループｇの表示終了時間にＴｄ以下の加算を行って字幕グループＮが対応する発話終了後も一定時間字幕が表示されるようにする。
【０１７１】
・字幕グループｇの表示開始時間と、ｇの前に表示される字幕グループの表示終了時間との間に一定以上の時間差Ｔｄがあれば、字幕グループｇの表示開始時間からＴｄ以下の減算を行って字幕グループｇが対応する発話が開始する一定時間前から字幕グループｇが表示されるようにする。
【０１７２】
（８）効果
本実施例によれば、英語においても、モーラを用いる日本語と同様に、タイミング情報を算出でき、これらの文字列を前端とする字幕グループを作ることができ、ＣＣ表示状態に対する要望に対応することができる。
【実施例５】
【０１７３】
以下、本発明の実施例５の字幕情報作成装置１０について図１７〜図１９に基づいて説明する。
【０１７４】
本実施例は、等時分節未決定範囲内の等時分節数を推定するものであり、等時分節推定部１１１を有している。未決範囲は、前後端が等時分節未決要素であり、範囲内に一致要素、又は、オリジナル表示開始時間を持つ字幕要素が存在しない範囲とする。但し、複数の範囲が隣接又は重複する場合は、それらをまとめた最大の範囲のみを認める。
【０１７５】
（１）字幕情報作成装置１０の構成
図１７は、本実施例に係わる字幕情報作成装置１０を示すブロック図である。実施例４の図１１との異なる箇所についてのみ説明する。
【０１７６】
等時分節推定部１１１は、未決範囲を対象に、範囲内のフット数を推定する。
【０１７７】
等時分節ベースタイミング情報決定部１０９は、推定されたフット数に基づいて、範囲内の各字幕要素のタイミング情報を決定する。
【０１７８】
（２）等時分節数推定
図１８を用いて、等時分節推定について説明する。
【０１７９】
字幕要素列上の「CHI」、「or」、「ISWC」の３要素が１つの未決範囲を構成している。この場合、範囲後方に隣接する「next」（前方に未決範囲があるため、便宜上１要素としているが「フット」ではない）は未決範囲の後端フットの一部になると予想できるので、「send it to」の表示終了時間と「year」の表示開始時間の差分を対象範囲の総経過時間とする。
【０１８０】
例では７２．７９−７２．１９＝０．６が得られる。次に範囲内の各要素のフット候補の全組み合わせを作り、範囲の総時間に基づいて組み合わせ毎に１フット当たりの時間を算出する。
【０１８１】
「CHI」は、「Computer Human Interaction」の略称であり、ユーザインタフェース関連で世界最大規模の学会である。これは一般に「カイ」（１フット）あるいは１文字ずつ「シー、エイチ、アイ」（３フット）で発話される。
【０１８２】
「ISWC」は、「International Symposium on Wearable Computers」の略称であり、「イーズウィック」（１フット）あるいは「アイ、エス、ダブリュー、シー」（４フット）で発話される。したがって組み合わせの数は２×２＝４通りである。
【０１８３】
算出した時間から、未決範囲前後の１フット当たりの時間に基づいて１つを選択する。例では範囲前方のフット「send it to」から１フット当たり０．３秒を得る。そこで、１フット当たりの時間として０．３が算出されるフット数の組み合わせである「カイ」（１フット）＋「イーズウィック」（１フット）を選択し、これを推定結果とする。選択方法は、例えば未決範囲の前後の１フット当たりの時間を平均し、その値に最も近い時間を選択するなどしてもよい。
【０１８４】
得られた推定結果に基づき、図１８の字幕要素列のフット構成とそれぞれのタイミング情報は、図１９のように決定できる。
【変更例】
【０１８５】
なお、本発明は上記実施例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施例に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施例にわたる構成要素を適宜組み合わせてもよい。
【０１８６】
例えば、上記各実施例では、言語として、日本語と英語に適用したが、本発明は、これ以外のドイツ語、フランス語、イタリア語、スペイン語、ロシア語、中国語、ハングル語などにも適用できる。
【図面の簡単な説明】
【０１８７】
【図１】本発明の実施例１の字幕情報作成装置１０のブロック図である。
【図２】実施例１の動作を示すフローチャートである。
【図３】オリジナル字幕情報とタイミング単位文字列の例である。
【図４】音声ベースタイミング情報決定の説明図である。
【図５】モーラベースタイミング情報決定の説明図である。
【図６】差分時間ベースタイミング情報決定の説明図である。
【図７】実施例２の字幕情報作成装置１０のブロック図である。
【図８】モーラ数推定の説明図である。
【図９】実施例３の字幕情報作成装置１０のブロック図である。
【図１０】テレビに字幕を表示した状態の図である。
【図１１】実施例４の字幕情報作成装置１０のブロック図である。
【図１２】実施例４の動作を示すフローチャートである。
【図１３】オリジナル字幕情報とタイミング単位文字列の例である。
【図１４】音声ベースタイミング情報決定の説明図である。
【図１５】等時分節ベースタイミング情報決定の説明図である。
【図１６】差分時間ベースタイミング情報決定の説明図である。
【図１７】実施例５の字幕情報作成装置１０のブロック図である。
【図１８】等時分節推定の説明図である。
【図１９】等時分節推定の結果に基づく図１７のフット構成とタイミング情報の表である。
【符号の説明】
【０１８８】
１０ 字幕情報作成装置
１００ タイミング単位文字列抽出部
１０１ 音声ベースタイミング情報決定部
１０２ モーラ数決定部
１０３ モーラベースタイミング情報決定部
１０４ 差分時間ベースタイミング情報決定部
１０５ 字幕グループ作成部
１０６ モーラ数推定部
１０７ タイミング情報決定部
１０８ タイミング情報記憶部
１０９ 等時分節ベースタイミング情報決定部
１１０ 差分時間ベースタイミング情報決定部
１１１ 等時分節推定部
【特許請求の範囲】
【請求項１】
音声に対する字幕情報を作成する字幕情報作成装置において、
予め作成された字幕文字列群、及び、前記字幕文字列中の任意の文字数毎に付与された前記音声との参考的な対応を示す時間情報であるオリジナルタイミング情報を含むオリジナル字幕情報を受け取り、前記音声と同期して前記字幕文字列を表示するための時間情報であるタイミング情報を付与するタイミング単位文字列を、前記字幕文字列群から抽出する抽出部と、
前記音声と前記タイミング単位文字列の対応付けを音声認識によって行い、前記対応付けができた前記タイミング単位文字列に対し、前記音声の時間情報に基づいて前記タイミング情報を決定する第１タイミング情報決定部と、
前記タイミング情報が決定された決定済みタイミング単位文字列の前記タイミング情報を基準にして、前記各タイミング単位文字列が含む等時性を持つ音の分節である等時分節の数を用いて、前記タイミング情報が決定できなかった未決タイミング単位文字列の前記タイミング情報を決定する第２タイミング情報決定部と、
前記オリジナルタイミング情報を有する一対の前記タイミング単位文字列の間に、前記等時分節の数が一意に決定できない前記タイミング単位文字列である等時分節未決文字列が存在する場合に、（１）前記決定済みタイミング単位文字列の前記タイミング情報と前記オリジナルタイミング情報の差分時間を求め、（２）一対の前記タイミング単位文字列の前記オリジナルタイミング情報から前記差分時間を差し引いて前記タイミング情報をそれぞれ求め、（３）一対の前記タイミング単位文字列の前記タイミング情報を用いて、その間にある前記等時分節未決文字列の前記タイミング情報を決定する第３タイミング情報決定部と、
前記字幕文字列群を任意の書式に則って分けた字幕文字列である字幕グループと、前記各字幕グループを前記音声と同期して表示するための前記決定済みタイミング単位文字列、前記未決タイミング単位文字列、又は、前記等時分節未決文字列のそれぞれの前記タイミング情報とを含む前記字幕情報を作成する作成部と、
を有することを特徴とする字幕情報作成装置。
【請求項２】
前記字幕文字列群の前後端が前記等時分節未決文字列であり、かつ、前記決定済みタイミング単位文字列を含まない文字列群である未決範囲を求め、
前記未決範囲の前後に隣接する前記決定済みタイミング単位文字列の前記タイミング情報と、前記未決範囲内の前記各タイミング単位文字列の等時分節候補の組み合わせに基づいて、前記組み合わせ毎に１等時分節当たりの表示時間を算出し、
前記未決範囲前後の１等時分節当たりの表示時間と比較して最も近い時間が得られる前記等時分節候補の組み合わせを選び、
選んだ前記等時分節候補の数を、前記未決範囲内の前記タイミング単位文字列の前記等時分節の数と推定する推定部を有する、
ことを特徴とする請求項１に記載の字幕情報作成装置。
【請求項３】
前記第１タイミング情報決定部、前記第２タイミング情報決定部、又は、前記第３タイミング情報決定部によりそれぞれ決定された前記タイミング情報であることを表すタイミング付随情報を、前記各タイミング情報に対応付けて記憶するタイミング付随情報記憶部をさらに有し、
前記作成部は、前記タイミング付随情報に基づいて、時間的誤差が少ない前記タイミング情報を持つ前記タイミング単位文字列を前記字幕グループの前端に設定する、
ことを特徴とする請求項１に記載の字幕情報作成装置。
【請求項４】
前記第２タイミング情報決定部は、前記タイミング単位文字列が含む前記等時分節の数を決定する等時分節数決定部を有する、
ことを特徴とする請求項１に記載の字幕情報作成装置。
【請求項５】
前記抽出部は、前記タイミング単位文字列を、前記等時分節を最小構成単位として区切る、
ことを特徴とする請求項１に記載の字幕情報作成装置。
【請求項６】
前記等時分節は、モーラ、又は、フットである、
ことを特徴とする請求項１に記載の字幕情報作成装置。
【請求項７】
音声に対する字幕情報を作成する字幕情報作成方法において、
予め作成された字幕文字列群、及び、前記字幕文字列中の任意の文字数毎に付与された前記音声との参考的な対応を示す時間情報であるオリジナルタイミング情報を含むオリジナル字幕情報を受け取り、前記音声と同期して前記字幕文字列を表示するための時間情報であるタイミング情報を付与するタイミング単位文字列を、前記字幕文字列群から抽出する抽出ステップと、
前記音声と前記タイミング単位文字列の対応付けを音声認識によって行い、前記対応付けができた前記タイミング単位文字列に対し、前記音声の時間情報に基づいて前記タイミング情報を決定する第１タイミング情報決定ステップと、
前記タイミング情報が決定された決定済みタイミング単位文字列の前記タイミング情報を基準にして、前記各タイミング単位文字列が含む等時性を持つ音の分節である等時分節の数を用いて、前記タイミング情報が決定できなかった未決タイミング単位文字列の前記タイミング情報を決定する第２タイミング情報決定ステップと、
前記オリジナルタイミング情報を有する一対の前記タイミング単位文字列の間に、前記等時分節の数が一意に決定できない前記タイミング単位文字列である等時分節未決文字列が存在する場合に、（１）前記決定済みタイミング単位文字列の前記タイミング情報と前記オリジナルタイミング情報の差分時間を求め、（２）一対の前記タイミング単位文字列の前記オリジナルタイミング情報から前記差分時間を差し引いて前記タイミング情報をそれぞれ求め、（３）一対の前記タイミング単位文字列の前記タイミング情報を用いて、その間にある前記等時分節未決文字列の前記タイミング情報を決定する第３タイミング情報決定ステップと、
前記字幕文字列群を任意の書式に則って分けた字幕文字列である字幕グループと、前記各字幕グループを前記音声と同期して表示するための前記決定済みタイミング単位文字列、前記未決タイミング単位文字列、又は、前記等時分節未決文字列のそれぞれの前記タイミング情報とを含む前記字幕情報を作成する作成ステップと、
を有することを特徴とする字幕情報作成方法。
【請求項８】
コンピュータに、
予め作成された字幕文字列群、及び、前記字幕文字列中の任意の文字数毎に付与された音声との参考的な対応を示す時間情報であるオリジナルタイミング情報を含むオリジナル字幕情報を受け取り、前記音声と同期して前記字幕文字列を表示するための時間情報であるタイミング情報を付与するタイミング単位文字列を、前記字幕文字列群から抽出する抽出機能と、
前記音声と前記タイミング単位文字列の対応付けを音声認識によって行い、前記対応付けができた前記タイミング単位文字列に対し、前記音声の時間情報に基づいて前記タイミング情報を決定する第１タイミング情報決定機能と、
前記タイミング情報が決定された決定済みタイミング単位文字列の前記タイミング情報を基準にして、前記各タイミング単位文字列が含む等時性を持つ音の分節である等時分節の数を用いて、前記タイミング情報が決定できなかった未決タイミング単位文字列の前記タイミング情報を決定する第２タイミング情報決定機能と、
前記オリジナルタイミング情報を有する一対の前記タイミング単位文字列の間に、前記等時分節の数が一意に決定できない前記タイミング単位文字列である等時分節未決文字列が存在する場合に、（１）前記決定済みタイミング単位文字列の前記タイミング情報と前記オリジナルタイミング情報の差分時間を求め、（２）一対の前記タイミング単位文字列の前記オリジナルタイミング情報から前記差分時間を差し引いて前記タイミング情報をそれぞれ求め、（３）一対の前記タイミング単位文字列の前記タイミング情報を用いて、その間にある前記等時分節未決文字列の前記タイミング情報を決定する第３タイミング情報決定機能と、
前記字幕文字列群を任意の書式に則って分けた字幕文字列である字幕グループと、前記各字幕グループを前記音声と同期して表示するための前記決定済みタイミング単位文字列、前記未決タイミング単位文字列、又は、前記等時分節未決文字列のそれぞれの前記タイミング情報とを含む前記字幕情報を作成する作成機能と、
を実現させるための字幕情報作成プログラム。
【請求項１】
音声に対する字幕情報を作成する字幕情報作成装置において、
予め作成された字幕文字列群、及び、前記字幕文字列中の任意の文字数毎に付与された前記音声との参考的な対応を示す時間情報であるオリジナルタイミング情報を含むオリジナル字幕情報を受け取り、前記音声と同期して前記字幕文字列を表示するための時間情報であるタイミング情報を付与するタイミング単位文字列を、前記字幕文字列群から抽出する抽出部と、
前記音声と前記タイミング単位文字列の対応付けを音声認識によって行い、前記対応付けができた前記タイミング単位文字列に対し、前記音声の時間情報に基づいて前記タイミング情報を決定する第１タイミング情報決定部と、
前記タイミング情報が決定された決定済みタイミング単位文字列の前記タイミング情報を基準にして、前記各タイミング単位文字列が含む等時性を持つ音の分節である等時分節の数を用いて、前記タイミング情報が決定できなかった未決タイミング単位文字列の前記タイミング情報を決定する第２タイミング情報決定部と、
前記オリジナルタイミング情報を有する一対の前記タイミング単位文字列の間に、前記等時分節の数が一意に決定できない前記タイミング単位文字列である等時分節未決文字列が存在する場合に、（１）前記決定済みタイミング単位文字列の前記タイミング情報と前記オリジナルタイミング情報の差分時間を求め、（２）一対の前記タイミング単位文字列の前記オリジナルタイミング情報から前記差分時間を差し引いて前記タイミング情報をそれぞれ求め、（３）一対の前記タイミング単位文字列の前記タイミング情報を用いて、その間にある前記等時分節未決文字列の前記タイミング情報を決定する第３タイミング情報決定部と、
前記字幕文字列群を任意の書式に則って分けた字幕文字列である字幕グループと、前記各字幕グループを前記音声と同期して表示するための前記決定済みタイミング単位文字列、前記未決タイミング単位文字列、又は、前記等時分節未決文字列のそれぞれの前記タイミング情報とを含む前記字幕情報を作成する作成部と、
を有することを特徴とする字幕情報作成装置。
【請求項２】
前記字幕文字列群の前後端が前記等時分節未決文字列であり、かつ、前記決定済みタイミング単位文字列を含まない文字列群である未決範囲を求め、
前記未決範囲の前後に隣接する前記決定済みタイミング単位文字列の前記タイミング情報と、前記未決範囲内の前記各タイミング単位文字列の等時分節候補の組み合わせに基づいて、前記組み合わせ毎に１等時分節当たりの表示時間を算出し、
前記未決範囲前後の１等時分節当たりの表示時間と比較して最も近い時間が得られる前記等時分節候補の組み合わせを選び、
選んだ前記等時分節候補の数を、前記未決範囲内の前記タイミング単位文字列の前記等時分節の数と推定する推定部を有する、
ことを特徴とする請求項１に記載の字幕情報作成装置。
【請求項３】
前記第１タイミング情報決定部、前記第２タイミング情報決定部、又は、前記第３タイミング情報決定部によりそれぞれ決定された前記タイミング情報であることを表すタイミング付随情報を、前記各タイミング情報に対応付けて記憶するタイミング付随情報記憶部をさらに有し、
前記作成部は、前記タイミング付随情報に基づいて、時間的誤差が少ない前記タイミング情報を持つ前記タイミング単位文字列を前記字幕グループの前端に設定する、
ことを特徴とする請求項１に記載の字幕情報作成装置。
【請求項４】
前記第２タイミング情報決定部は、前記タイミング単位文字列が含む前記等時分節の数を決定する等時分節数決定部を有する、
ことを特徴とする請求項１に記載の字幕情報作成装置。
【請求項５】
前記抽出部は、前記タイミング単位文字列を、前記等時分節を最小構成単位として区切る、
ことを特徴とする請求項１に記載の字幕情報作成装置。
【請求項６】
前記等時分節は、モーラ、又は、フットである、
ことを特徴とする請求項１に記載の字幕情報作成装置。
【請求項７】
音声に対する字幕情報を作成する字幕情報作成方法において、
予め作成された字幕文字列群、及び、前記字幕文字列中の任意の文字数毎に付与された前記音声との参考的な対応を示す時間情報であるオリジナルタイミング情報を含むオリジナル字幕情報を受け取り、前記音声と同期して前記字幕文字列を表示するための時間情報であるタイミング情報を付与するタイミング単位文字列を、前記字幕文字列群から抽出する抽出ステップと、
前記音声と前記タイミング単位文字列の対応付けを音声認識によって行い、前記対応付けができた前記タイミング単位文字列に対し、前記音声の時間情報に基づいて前記タイミング情報を決定する第１タイミング情報決定ステップと、
前記タイミング情報が決定された決定済みタイミング単位文字列の前記タイミング情報を基準にして、前記各タイミング単位文字列が含む等時性を持つ音の分節である等時分節の数を用いて、前記タイミング情報が決定できなかった未決タイミング単位文字列の前記タイミング情報を決定する第２タイミング情報決定ステップと、
前記オリジナルタイミング情報を有する一対の前記タイミング単位文字列の間に、前記等時分節の数が一意に決定できない前記タイミング単位文字列である等時分節未決文字列が存在する場合に、（１）前記決定済みタイミング単位文字列の前記タイミング情報と前記オリジナルタイミング情報の差分時間を求め、（２）一対の前記タイミング単位文字列の前記オリジナルタイミング情報から前記差分時間を差し引いて前記タイミング情報をそれぞれ求め、（３）一対の前記タイミング単位文字列の前記タイミング情報を用いて、その間にある前記等時分節未決文字列の前記タイミング情報を決定する第３タイミング情報決定ステップと、
前記字幕文字列群を任意の書式に則って分けた字幕文字列である字幕グループと、前記各字幕グループを前記音声と同期して表示するための前記決定済みタイミング単位文字列、前記未決タイミング単位文字列、又は、前記等時分節未決文字列のそれぞれの前記タイミング情報とを含む前記字幕情報を作成する作成ステップと、
を有することを特徴とする字幕情報作成方法。
【請求項８】
コンピュータに、
予め作成された字幕文字列群、及び、前記字幕文字列中の任意の文字数毎に付与された音声との参考的な対応を示す時間情報であるオリジナルタイミング情報を含むオリジナル字幕情報を受け取り、前記音声と同期して前記字幕文字列を表示するための時間情報であるタイミング情報を付与するタイミング単位文字列を、前記字幕文字列群から抽出する抽出機能と、
前記音声と前記タイミング単位文字列の対応付けを音声認識によって行い、前記対応付けができた前記タイミング単位文字列に対し、前記音声の時間情報に基づいて前記タイミング情報を決定する第１タイミング情報決定機能と、
前記タイミング情報が決定された決定済みタイミング単位文字列の前記タイミング情報を基準にして、前記各タイミング単位文字列が含む等時性を持つ音の分節である等時分節の数を用いて、前記タイミング情報が決定できなかった未決タイミング単位文字列の前記タイミング情報を決定する第２タイミング情報決定機能と、
前記オリジナルタイミング情報を有する一対の前記タイミング単位文字列の間に、前記等時分節の数が一意に決定できない前記タイミング単位文字列である等時分節未決文字列が存在する場合に、（１）前記決定済みタイミング単位文字列の前記タイミング情報と前記オリジナルタイミング情報の差分時間を求め、（２）一対の前記タイミング単位文字列の前記オリジナルタイミング情報から前記差分時間を差し引いて前記タイミング情報をそれぞれ求め、（３）一対の前記タイミング単位文字列の前記タイミング情報を用いて、その間にある前記等時分節未決文字列の前記タイミング情報を決定する第３タイミング情報決定機能と、
前記字幕文字列群を任意の書式に則って分けた字幕文字列である字幕グループと、前記各字幕グループを前記音声と同期して表示するための前記決定済みタイミング単位文字列、前記未決タイミング単位文字列、又は、前記等時分節未決文字列のそれぞれの前記タイミング情報とを含む前記字幕情報を作成する作成機能と、
を実現させるための字幕情報作成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−１５７８１６（Ｐ２０１０−１５７８１６Ａ）
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００８−３３３７７３（Ｐ２００８−３３３７７３）
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]