説明

字幕付映像再生装置、プログラム

【課題】字幕文のリスト中に示される字幕文を、字幕付映像の再生に伴って入替え、スクロール表示する。
【解決手段】
制御部11は、コンテンツの録画後、字幕文とその字幕文の再生タイミングとを対応付ける字幕管理データを生成する。続いて、コンテンツのデータから抽出した映像フレームの再生タイミングと、現在再生中の字幕文の再生タイミングと、を比較し、再生中の字幕文に対応する映像フレームを特定し、表示させる。さらに、再生中の字幕文から所定のタイミングだけ前後にある字幕文を字幕管理データから読み出し、その字幕文と再生中の字幕文とを示す字幕リストを表示させる。タイマで「字幕切替時間」の経過を検出すると、字幕管理データから次に再生する字幕文とその字幕文の表示時刻を読み出し、上述した処理を繰り返す。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、字幕文及び映像を処理する字幕付映像再生装置と、コンピュータを字幕付映像再生装置として機能させるプログラムと、に関する。
【背景技術】
【0002】
特許文献1は、ストリームに含まれる字幕文の表示時刻と映像とを対応付け、ユーザが字幕文を選択したときに、選択された字幕文と共にその字幕文の表示時刻に対応する映像を再生する字幕表示装置、を開示する(特許文献1 3頁右欄50行〜4頁左欄39行 参照)。
【特許文献1】特開2003−18491号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1に開示された字幕表示装置は、字幕付映像に含まれる所定の表示時刻を有する映像を複数表示させ、その内からユーザが選択した映像及び字幕文から再生を開始する。しかし、特許文献1に開示された字幕表示装置は、再生中の場面に係る内容を示す字幕文しか表示することができない。
【0004】
本発明は、上記実情に鑑みてなされたものであり、字幕付映像を視聴するときに、再生中の場面以外の内容を把握可能とすることを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため、本発明の字幕付映像再生装置は、複数の字幕文を定義する字幕信号と、複数の映像を定義する映像信号とを、再生順序により対応付けて記憶する記憶手段と、前記字幕信号が定義する字幕文を再生する字幕再生手段と、時間を計時し、前記字幕再生手段が再生中の字幕文の再生開始から所定時間が経過したことを検出するタイマ手段と、前記タイマ手段で所定時間の経過を検出したときに、前記字幕再生手段を制御し、現在再生中の字幕文に代えて、その字幕文の次の再生順序を有する字幕文を再生させる字幕切替手段と、前記映像信号が定義する各映像の内から前記字幕再生手段が再生中の字幕文に対応する再生順序を有する映像、を再生する映像再生手段と、前記字幕再生手段が再生中の字幕文と、その字幕文の再生順序から所定の順序だけ前にある字幕文と、その字幕文の再生順序から所定の順序だけ後にある字幕文と、のリストを生成して表示するリスト表示手段と、を備えることを特徴とする。
【0006】
更に、コンピュータに対して本発明の主要機能を実行させるためのプログラムを提供する。
【発明の効果】
【0007】
本発明の字幕付映像再生装置によれば、字幕文及び映像と共に字幕文のリストが表示される。これにより、字幕文を視聴しつつ、その字幕文の前後の字幕文の情報も同時に取得できる。また、字幕文が切り替わっても、前後の字幕文の情報を取得できる。
【発明を実施するための最良の形態】
【0008】
(実施形態1)
以下、本発明の実施形態1に係る字幕付映像再生装置を説明する。実施形態1は、字幕付映像再生装置を、コンテンツ受信機能を備える携帯電話1に適用する例である。携帯電話1は、任意のデータ転送方式に則ったコンテンツを受信可能であるが、本実施形態ではワンセグ放送のコンテンツを受信する場合について説明する。
【0009】
携帯電話1は、例えば、図1に示すような折り畳み型のもので、キーボード2、表示パネル5、等を備える。キーボード2は、カーソルキー3と表示切替ボタン4、その他各種のボタン、を備え、ユーザに操作されて、様々なデータや指示の入力に使用される。例えば、字幕付映像の再生及び終了、等の指示の入力に使用される。
【0010】
表示パネル5は、ドットマトリクスタイプのLCD(液晶表示)パネル等から構成され、任意の画像を表示する。例えば、コンテンツの映像や字幕文、字幕文のリスト(以下、「字幕リスト」という)、等を表示する。通話用マイク6は、通話音声を入力する。通話用スピーカ7は、受話音声を出力する。スピーカ8は、コンテンツ再生時の音声等を出力する。
【0011】
また、携帯電話1は、図2に示すように、制御部11、記憶部12、操作部13、表示部14、チューナ15、デコード部16、音声出力部17、音声入力部18、通信部19、バス20、を備える。
【0012】
制御部11は、マイクロプロセッサユニット等から構成され、携帯電話1全体の動作を制御する。例えば、録画したコンテンツの再生の開始・終了、字幕リスト中に表示される字幕文の切替、等を制御する。
【0013】
また、制御部11は、図示しないタイマを備える。タイマは、例えば、ソフトウェアタイマ等から構成され、時間を計時し、所定時間が経過したことを検出する。
【0014】
記憶部12は、各種のデータを記憶する。記憶部12は、携帯電話1に内蔵されるメモリ、取り外し可能な外部メモリ、のいずれから構成されてもよい。
【0015】
操作部13は、前述のキーボード2、カーソルキー3、表示切替ボタン4、等を備え、ユーザからの操作を受け付け、操作信号を制御部11に入力する。
【0016】
表示部14は、表示パネル5とドライバ回路等から構成され、制御部11の制御下に画像を表示パネル5に表示する。チューナ15は、ワンセグ放送のコンテンツを受信して復調し、復調信号を制御部11に出力する。デコード部16は、チューナ15が出力したコンテンツを復号し、出力する。
【0017】
音声出力部17は、前述の通話用スピーカ7とスピーカ8、DAC(Digital Analog Converter)等から構成され、例えば、制御部11が再生したコンテンツの音声信号を復調し、スピーカ8で放音する。
【0018】
音声入力部18は、通話時等に、音声信号を収集し、通信部19に供給する。通信部19は、基地局を介して、通話音声、各種のデータ、等を送受信する。バス20は、各部間で相互にデータを伝送する。
【0019】
次に、本実施形態に特徴的な字幕リストの自動スクロール動作に必要な情報について説明する。記憶部12は、コンテンツ録画データ121と字幕管理データ122とを記憶する。
【0020】
コンテンツ録画データ121は、ワンセグ放送のコンテンツ(テレビ信号)を録画したデータで、図3に示すように、ビデオPES(Packetized Elementary Stream)と字幕PESとを含んでいる。
【0021】
ビデオPESは、パケット化された映像の圧縮符号化データで、1枚毎の映像(映像フレーム)が連続するデータ、各映像を再生する「再生タイミング」を示すデータ、を含んでいる。本実施形態では、各映像フレームは予測符号化方式に則ったフォーマットである。
【0022】
予測符号化方式の映像フレームは、他の映像フレームを参照しない独立したIDRフレームと、自己の再生タイミングよりも先に再生されるIDRフレームを参照するPフレームと、を含む。図3の例では、PフレームPln(l:1〜L、L:ビデオPES内のPフレームの数、n:1〜N、N:コンテンツ録画データ121内のビデオPESの数)は、IDRフレームIn(n:1〜N)を参照する。
【0023】
字幕PESは、パケット化された字幕文の圧縮符号化データで、字幕管理データ121を生成するために必要な情報を含んでいる。図3の例では、字幕PESは、字幕文Mn(n:1〜N、N:コンテンツ録画データ121内の字幕PESの数)、字幕再生タイミングtmn(n:1〜N)、制御符号CSn(n:1〜N)、の情報を有する。
【0024】
「字幕文Mn」は、字幕付映像の字幕文の内容を示す。「字幕再生タイミングtmn」は、字幕文Mnを再生するタイミングを示し、例えば、PTS(Presentation Time Stamp)単位で表される。「制御符号CSn」は、字幕文Mnの区切を示す。
【0025】
字幕管理データ122は、図4に示すように、「字幕表示時刻Tn」と「字幕文Mn」とを対応付ける。「字幕表示時刻Tn」は、字幕文Mnが表示される時刻を示す。本実施形態では、字幕付映像の再生開始時を基準とする。「字幕文Mn」は、字幕付映像に含まれる字幕文の内容を示し、コンテンツ録画データ121から抽出されたデータである。
【0026】
なお、ワンセグ放送においては、映像のフレームレートは15フレーム/秒である。このため、1つの字幕文には、その再生タイミングに対応する映像フレームとして複数の映像フレームが対応する。
【0027】
次に、上記構成を有する携帯電話1の動作について説明する。なお、携帯電話1の通信動作自体は通常の携帯電話と同一であり、以下、本実施形態で特徴的な字幕付映像の再生動作について説明する。
【0028】
携帯電話1は、字幕付映像の再生中、字幕付映像と共に複数の字幕文を示す字幕リストを同時に表示する。また、予め定められた「字幕切替時間」の経過をタイマで検出すると、再生表示する字幕文と字幕リスト中に表示される字幕文とを入れ替える。
【0029】
字幕文の入替は、ユーザの操作を伴うことなく自動的に行われ、入替前に字幕リスト中に表示されていた字幕文はスクロールされる(以下、「自動スクロール」という)。ユーザは、操作部13を操作し、自動スクロールの開始及び終了を指示可能である。
【0030】
なお、自動スクロール実行の間、現在再生中の字幕文が字幕リストの中央に表示される。図6に示す画面D1の例では、現在再生中の字幕文(字幕領域MAに表示されている字幕文「おはよう」)が、字幕リスト表示用のリスト領域LAの中央に配置される。現在再生中の字幕文をリスト領域LAの中央に配置させるのは、矩形で定義される表示領域上では、中心位置近傍の方が視認性が良好なためである。
【0031】
携帯電話1は、コンテンツの再生中、字幕管理データ122が格納する字幕表示時刻Tnに従って、その字幕表示時刻Tnに対応する字幕文を再生する。以下、制御部11が、この字幕管理データ122を生成する動作について説明する。
【0032】
図5に示すように、制御部11は、コンテンツ録画データ121内に字幕PESがあれば(ステップS11;Yes)、字幕PESを抽出する(ステップS12)。その字幕PESから字幕文を抽出できたら(ステップS13;Yes)、さらに、その字幕文の再生タイミングtmn(PTS単位)を取得する。
【0033】
続いて、制御部11は、先頭の映像の再生開始から字幕文Mnの再生時に至るまでの経過時間(PTS単位)を求める(ステップS14)。この経過時間(PTS単位)は、字幕再生タイミングtmnと先頭にある映像の再生タイミングとの差分である。
【0034】
さらに、制御部11は、経過時間(PTS単位)を時分秒単位に換算し(ステップS15)、その経過時間(時分秒単位)を、字幕表示時刻T1として字幕管理データ122に格納する(ステップS16)。
【0035】
字幕表示時刻の格納後、制御部11は、字幕PESから字幕文を抽出し、字幕管理データ122に格納する(ステップS17)。以後、最後の制御符号CSNに達するまで(ステップS18;Yes)、上述した処理を繰り返す。以上で、字幕管理データ122の生成が終了する。
【0036】
次に、本実施形態で特徴的な自動スクロールの動作について説明する。図7に示すように、ユーザが自動スクロールの開始を指示すると、制御部11は、自動スクロールを行うか否かを示す自動スクロールフラグを「オン」に設定する(ステップS21)。さらに、制御部11は、表示部14に指示し、表示パネル5上に字幕リストを表示させる。図6の例では、リスト領域LAに字幕リストが示された画面D1が表示される。
【0037】
この状態で、ユーザは、字幕リスト中の字幕文から再生を開始する字幕文を選択可能である。ユーザが字幕文を選択すると、その字幕文の字幕表示時刻に対応する再生タイミング(PTS単位)を有する映像を抽出するため、処理はステップS22に移る。
【0038】
制御部11は、ビデオPESから映像フレームの情報を抽出し(ステップS22)、その映像フレームがIDRフレームでなければ(ステップS23;No)、処理をステップS22に戻す。
【0039】
一方、抽出した映像フレームがIDRフレームなら(ステップS23;Yes)、制御部11は、先頭の映像フレームの再生開始からそのIDRフレームの再生に至るまでの経過時間を求める(ステップS24)。この経過時刻は、そのIDRフレームが有する再生タイミング(PTS単位)からコンテンツ録画データ121先頭の映像の再生タイミング(PTS単位)を減じた差分である。
【0040】
続いて、抽出したIDRフレームが、再生中の字幕文Mnに対応する可能性の有無を判別する。そのため、制御部11は、その字幕文Mnの字幕表示時刻Tnが今回求めた経過時刻よりも大きいか否かを判別する(ステップS25)。
【0041】
字幕表示時刻Tnが今回求めた経過時間よりも大きければ(ステップS25;Yes)、抽出したIDRフレームは、字幕文Mnよりも先に再生され、字幕文Mnに対応する可能性がある。このとき、制御部11は、そのIDRフレームのデータの位置を保存し(ステップS26)、処理をステップS22に戻す。ステップS26にて保存するデータの位置は、例えば、IDRフレームの表示時刻、IDRフレームを格納するビデオPESの番号、IDRフレーム格納されている記憶部12内のアドレス、等である。
【0042】
字幕表示時刻Tnが今回求めた経過時刻より小さければ(ステップS25;No)、前回抽出したIDRフレームは、現在再生中の字幕文Mnの直前に再生される。そのため、制御部11は、ステップS26で格納した映像位置から映像フレームを読み出し、表示パネル5に表示させる(ステップS27)。
【0043】
制御部11は、字幕領域MAに、表示中の映像に対応する字幕文を表示させる(ステップS28)。更に、制御部11は、字幕リストをリスト領域に表示させる(ステップS29)。このとき、現在再生中の字幕文をリスト領域LAの中央近傍に配置する。
【0044】
制御部11は、ユーザによる自動スクロールの終了指示の有無を判別する。そのため、自動スクロールフラグが「オン」か否かを判別し、「オフ」なら(ステップS210;No)、処理を終える。
【0045】
一方、自動スクロールフラグが「オン」なら(ステップS210;Yes)、制御部11は、図示しないタイマを起動させ、記憶部12が記憶する「字幕切替時間」の経過を検出させる。
【0046】
「字幕切替時間」の経過を検出すると(ステップS211;Yes)、次に再生される字幕文を再生するため、字幕管理データ122から、その字幕文及びその字幕文に対応付けられた字幕表示時刻を取得する(ステップS212)。その後、処理はステップS22に戻る。以上で、予め定められた「字幕切替時間」が経過する毎に、各字幕文を自動スクロールする処理が終了する。
【0047】
(実施形態2)
上述した実施形態1では、字幕リスト中に表示される各字幕文を、その文字の数に関わらず同一に設定された字幕切替時間の経過毎に切り替える。そのため、字幕文が含む文字の数が多い場合、ユーザが字幕文を読み終わる前に次の字幕文が表示されるおそれがある。また、文字の数が少ない場合、ユーザが字幕文を読み終わった後に次の字幕文が表示されるまでの間、待ち時間が発生する。
【0048】
この問題を避けるためには、「字幕切替時間」を字幕文の文字数に応じて変更すればよい。以下、このような自動スクロールを行う実施形態2に係る携帯電話1について説明する。
【0049】
実施形態2の携帯電話1の基本構成は、図2に示す構成と同一である。ただし、記憶部12には、図3に示す字幕管理データ122に代えて、図8に示す字幕管理データ122aが記憶されている。この字幕管理データ122aは、字幕表示時刻Tn、字幕文Mn、字幕文の文字数KZn、を対応付ける。
【0050】
字幕管理データ122aを生成する処理は、図5で示した例と基本的に同一である。ただし、実施形態2では、図9(a)に示すように、制御部11は、前述した図5に示すステップS17と実質的に同一の処理の実行後(ステップS17a)、更に、字幕文に含まれる文字数をカウントし(ステップS17b)、字幕管理データ122aに格納する。
【0051】
実施形態2の自動スクロール処理は、図7で示した例と基本的に同一である。ただし、実施形態2では、制御部11は、図7に示すステップS210の処理に代えて図9(b)に示す処理を実行する。即ち、自動スクロールフラグが「オン」と判別すると(ステップV11;Yes)、字幕管理データ122aから現在表示中の字幕文Mnの文字数KZnを取得する(ステップV12)。
【0052】
続いて、制御部11は、取得した文字数KZnに基づいて、その文字数KZnに応じた「字幕切替時間」を求める(ステップV13)。例えば、文字数KZnと予め定められた1文字あたりの表示時間tとを積算し、「字幕切替時間」を求める。例えば、この表示時間tが0.2秒の場合、10文字の字幕文に対応する「字幕切替時間」は2秒、20文字の字幕文では「字幕切替時間」は4秒、である。
【0053】
その後、処理は図7にリターンし、タイマで「字幕切替時間」の経過を検出すると(ステップS211;Yes)、次の字幕文を取得し(ステップS212)、スクロール表示される。
【0054】
(実施形態3)
上述した実施形態2では、字幕文Mnの文字数KZnが少ない場合、1文字あたりの表示時間tの値によっては、ユーザがその字幕文を判読できないおそれがある。例えば、表示時間tが0.2秒の場合、文字数KZnが「1」である字幕文の表示開始から「字幕切替時間(0.2秒)」経過後に、次の字幕文が表示されてしまう。
【0055】
この問題を解決するには、文字数が少ない字幕文を表示する場合でもユーザが判読可能なよう、その字幕文に対応する字幕切替時間を長くすればよい。
【0056】
そのため、字幕文の文字数に応じて区分を定めておき、各区分に該当する字幕文を判読するのに好適な「字幕切替時間」をその区分ごとに設定すればよい。例えば、文字数KZnが1〜10の場合、字幕切替時間を2秒に設定し、11〜20の場合、字幕切替時間を3秒に設定する。以下、このような自動スクロールを行う実施形態3に係る携帯電話1について説明する。
【0057】
実施形態3の携帯電話1の基本構成は図2に示す構成と同一である。ただし、図2に示す記憶部12には、図10(a)に示すように、字幕文の文字数に応じて設けられた区分KBと、その区分KBに対応する「字幕切替時間TS」と、を対応付ける表示切替時間情報123が予め記憶されている。
【0058】
実施形態3の自動スクロール処理は、図7で示した例と基本的に同一である。ただし、実施形態3では、制御部11は、図7に示すステップS210に代えて、図10(b)に示すステップV21〜V23の処理を実行する。
【0059】
即ち、実施形態3では、図7に示すステップS21〜ステップS29と実質的に同一の処理を行い、字幕付映像と字幕リストとを表示させる。
【0060】
続いて、制御部11は、自動スクロールフラグが「オン」と判別すると(ステップV21;Yes)、字幕文の文字数を求める(ステップV22)。さらに、表示切替時間情報123を参照して、その文字数が該当する区分に対応付けられた「字幕切替時間TS」を読み出す(ステップV23)。
【0061】
その後、処理は図7にリターンし、「字幕切替時間」の経過後(ステップS211;Yes)、次の字幕文を取得し(ステップS212)、自動スクロールさせる。以上で、字幕文の文字数に応じて設けられた区分に対応する「字幕切替時間」に従い、字幕文を自動スクロールする処理が終了する。
【0062】
一般に、各ユーザにより字幕文を読み終える時間は異なる。そのため、ユーザの利便性を向上させる観点より、上述した実施形態1乃至3でそれぞれ設定される「字幕切替時間」をユーザにより編集可能にすることが望ましい。以下、携帯電話1の編集機能について説明する。
【0063】
実施形態1〜3では自動スクロールの実行中、図11(a)に例示するように、字幕付映像と共に字幕リストが示された画面D21が表示される。この状態で、ユーザが操作部13によりソフトキーE1(「サブメニュー」)を押下すると、制御部11は、サブメニュー画面を表示させる。図11(b)の例では、サブメニュー画面は画面D22である。
【0064】
さらに、ユーザがサブメニュー中の選択候補「1、自動スクロール時間設定」を選んで「選択」キーを押下すると、各実施形態1〜3に対応する自動スクロールの時間設定画面を表示させる。以下、各時間設定画面を使用した、各実施形態1〜3における「字幕切替時間」の設定動作を説明する。
【0065】
実施形態1の「字幕切替時間」設定では、ユーザは、「字幕切替時間」の値を、自らが所望する値に直接変更する。図11(c)の例では、ユーザは、カーソルキー3等により「字幕切替時間」に設定する値(テキストボックスE2中に表示される値)を増減させ、所望の値(例えば、3秒)を選択する。
【0066】
所望する値の表示中にユーザが「決定」キーを押下すると、制御部11は、その値を「字幕切替時間」として記憶部12に記憶させる。なお、「字幕切替時間」に設定する値を、ユーザが直接入力可能としてもよい。
【0067】
実施形態2の「字幕切替時間」設定では、1文字あたりの表示時間tと各字幕文の文字数KZnとの積から、各字幕文の「字幕切替時間」を求める。「字幕切替時間」を変更するために、ユーザが編集可能なパラメータは1文字あたりの表示時間tである。
【0068】
そのため、図11(d)に示す例のように、表示時間tに設定する値(テキストボックスE3中の値)を編集可能な画面D24を表示させる。表示時間tに設定する値は、ユーザが直接入力可能としてもよく、プリセットの値をカーソルキー3で増減して選択するようにしてもよい。
【0069】
なお、図11(e)に示すように、コンテンツの全字幕文の再生に要する全字幕再生時間(テキストボックスE4中に示す)、コンテンツを最後まで視聴したときの完了予定時刻(テキストボックスE5中に示す)、等を同時に表示してもよい。これにより、1文字あたりの表示時間を決める目安となるため、利便性を向上できる。
【0070】
そのために、字幕付映像に含まれる全字幕文の文字数の和(以下、「全字幕文字数KZt」)を求めておく。制御部11は、図8に示す字幕管理データ122aの文字数KZ1〜KZNを全て加算し、得られた全字幕文字数KZtを記憶部12に記憶させる。
【0071】
図11(e)で示した例では、ユーザが1文字あたりの表示時間tの値として「0.3秒」と入力すると、表示時間t(0.3秒)×全字幕文字数KZtをテキストボックスE4に表示する。さらに、現在時刻にテキストボックスE4に表示させた時間を加えた完了予定時刻をテキストボックスE5に表示させる。
【0072】
全字幕再生時間(テキストボックスE4中の値)は、ユーザにより編集可能としてもよい。このとき、ユーザが編集した値に従って自動スクロールしたときの1文字あたりの表示時間をテキストボックスE3に表示する。この表示時間は、ユーザの編集した全字幕再生時間を全字幕文字数KZtで除算して求まる。テキストボックスE5には、現在時刻にユーザの編集した全字幕再生時間を加算した時刻、を表示させる。
【0073】
完了予定時刻を、ユーザにより編集可能としてもよい。このとき、ユーザが編集した値(完了予定時刻)と現在時刻との差分から求まる全字幕再生時間をテキストボックスE4に表示し、そのときの1文字あたりの表示時間をテキストボックスE3に表示させる。
【0074】
実施形態3の「字幕切替時間」設定では、字幕文の文字数に応じて設けられた各区分に対応する「字幕切替時間TS」を編集可能とする。「字幕切替時間TS」に設定する値は、ユーザが直接入力可能でもよく、プリセットされた値から選択してもよい。
【0075】
図11(f)の例では、所望する値の表示中にユーザが「決定」キーを押下すると、その値が、図10(a)に示す表示切替時間情報123中の「字幕切替時間」として設定される。このとき、文字数が1〜10の字幕文に対応する「字幕切替時間」は3秒、文字数が11〜20の字幕文に対応する「字幕切替時間」は6秒、に設定される。
【0076】
(実施形態4)
上述した実施形態1乃至3では、ユーザは、現在読んでいる字幕文から次の字幕文への表示がいつ切替わるか把握できない。この場合、ユーザは、字幕文の表示が切替わるタイミングにペースを合わせて、字幕文を読むことが難しい。
【0077】
この問題を避けるためには、現時点からの字幕文の表示が切替わるまでの残り時間を表示させればよい。以下、このような残り時間を表示する実施形態4に係る携帯電話1について説明する。
【0078】
実施形態4では、次の字幕文に切替わるまでの残り時間を求める。例えば、「字幕切替時間」からタイマが計時した時間を減じた差分である。さらに、自動スクロールの実行中、その残り時間を表示パネル5上に表示させる。
【0079】
残り時間を示す態様は任意である。例えば、テキスト表示により残り時間を示す場合、ユーザに残り時間を通知するためのメッセージ(例えば、「次の字幕まで、残り2秒」)等で残り時間を示せばよい。
【0080】
また、アイコン表示により残り時間を示す場合、アナログ時計を模したアイコン等で残り時間を示せばよい。この場合、そのアイコンが示す残り時間がゼロになったときに次の字幕文の表示に切替えればよい。
【0081】
更に、再生中の字幕文の色を、タイマが計時する時間の経過に伴って、変更させてもよい。例えば、字幕文の再生開始時には字幕文を青色で表示させ、次の字幕文に切替える直前では赤色で表示させてもよい。
【0082】
なお、制御部11が、字幕文の表示を切替えたとき、その旨を、報知音の出力やバイブレーション動作によりユーザ通知してもよい。これにより、ユーザは字幕文が切替わったことを認識できるため、ユーザにとっての利便性を向上できる。
【0083】
(実施形態5)
上述した実施形態では、ユーザは、表示中の映像に関し、コンテンツの録画時間中で再生されるタイミングを知ることができない。
【0084】
実施形態5は、コンテンツ録画データ121全体の再生時間(以下、「全再生時間TT」という)における、現在再生中の映像の表示時刻を表示させて、ユーザにとっての利便性を向上させる例である。
【0085】
実施形態5の自動スクロール処理は、図7で示した例と基本的に同一である。ただし、実施形態5では、制御部11は、図7のステップS29の処理の実行後、ステップS210の処理を行う前に、図13に示すステップV31〜V34の処理を実行する。
【0086】
即ち、字幕付映像と字幕リストとの表示後(図7,ステップS21〜ステップS29)、制御部11は、現在表示中のコンテンツ録画データ121に係る全再生時間TTを取得する(ステップV31)。全再生時間TTは、例えば、録画したコンテンツを格納するファイルの属性としてコンテンツ録画データ121と予め対応付けておくことで、取得できる。
【0087】
続いて、図7のステップS26で格納した現在表示中の映像の経過時刻を取得し(ステップV32)、その経過時刻を全再生時間TTで除算し、経過時刻が全再生時間に占める割合(以下、「進捗割合」という)を求める(ステップV33)。さらに、その進捗割合を示す画像を、表示パネル5上に表示させる(ステップV34)。
【0088】
進捗割合を示す態様は、任意であり、画像表示で示しても、テキスト表示で示してもよい。ここでは、画像表示の一例として、全再生時間を表す全体バーB1(例えば、横棒)と、進捗割合を示す割合バーB2とを重ねて表示する例を説明する。例えば、全体バーB1の大きさを200画素に設定した場合、進捗割合が10%のとき、割合バーB2の大きさは200画素×10%=20画素である。
【0089】
図12(a)の例では、先頭の字幕文(字幕表示時刻「00:00:00」)及びその字幕文に対応する映像を表示中のため、進捗割合RTは0の状態にある。このとき、全体バーB1のみを表示させる。
【0090】
図12(b)の例では、図4に示す字幕管理データ122内の先頭から2番目の字幕文を表示中である。このとき、映像の表示時刻(00:00:09)に基づいて定まる進捗割合を示す割合バーB2が、全体バーB1に重ねて表示される。
【0091】
前述した図12(b)の表示方法の例では、ユーザは現時点での進捗割合は把握できるが、時分秒単位等で表した時間などに関する情報を取得できない。
【0092】
この問題を回避するため、図12(c)に例示するように、全体バーB1に対応する全再生時間TT、割合バーB2に対応する再生中の映像の表示時刻、などを表示してもよい。これにより、ユーザは、視聴中のコンテンツの残りの部分の再生に要する時間、現時点で視聴を完了したコンテンツの再生時間、を示す情報を取得でき、利便性を向上できる。
【0093】
さらに、図12(d)に例示するように、全体バーB1や割合バーB2と共に、各字幕文の進捗割合が全体バーB1に対応する位置に、各字幕文の存在を示す画像PIを表示してもよい。これにより、ユーザは、自動スクロールの実行に伴って割合バーB2の端点が画像PIに達したときに字幕文が表示されること、を把握できる。
【0094】
また、録画番組内の字幕がない部分が一目で把握できる。例えば、録画番組がドラマであれば、オープニングテーマ中やエンディングテーマ中、コマーシャル中などといったシーンは字幕がない。しかし、オープニングだけは視聴したいというユーザがいた場合、画像PIの分布を見て、番組先頭付近の字幕がない部分がオープニングであることが分かり、そこは字幕送りをせずに再生することでオープニングを視聴できる。
【0095】
図12(d)に示す変形例では、字幕文Mn毎に進捗割合RTnを求め、各進捗割合が各字幕文に対応付けられた字幕管理データ122bを、記憶部12に格納しておく。図14に示す字幕管理データ122bの例では、先頭の字幕文M1の字幕表示時刻T1が00:00:00のため、進捗割合RT1は「0」である。なお、進捗割合は、コンテンツの再生前に予め求めておいてもよく、コンテンツの再生中に求めて記憶部12に一時的に記憶させてもよい。
【0096】
この変形例で自動スクロールを実行する場合、図13に示すステップV34において、各進捗割合RTnを字幕管理データ122bから取得し、各進捗割合が全体バー1上で対応する位置に画像PIを表示させる。画像PIは、全体バーB1及び割合バーB2と重ねて表示されても分別できるよう、各バーと異なる色で表示することが望ましい。
【0097】
(実施形態6)
上述した実施形態では、ユーザが字幕リスト中からコンテンツ録画データ121内の先頭の字幕文を選択した場合、先頭の字幕文から再生を開始すると共に、その字幕文に対応する再生タイミングを有する映像から再生を開始する。
【0098】
そのため、先頭の字幕文に対応するIDRフレームの再生時以前に再生される映像フレームをコンテンツが含む場合でも、それらの映像フレームが再生されないという問題が生じてしまう。例えば、先頭の字幕文がコンテンツの再生開始から3分後に表示される場合、それまで映像が再生されない。
【0099】
この問題を解決するために、先頭の映像フレームの再生タイミングに模擬的な字幕文(以下、「仮字幕文」という)を対応付けて、その仮字幕文から字幕文の再生を開始すればよい。以下、このような動作を行う実施形態6に係る携帯電話1を説明する。
【0100】
実施形態6の携帯電話1の基本構成は、図2で示した例と同一である。ただし、記憶部12には、図4で示した字幕管理データ122に代えて、図15に示す字幕管理データ122cを記憶させる。この字幕管理データ122cの字幕文には、コンテンツ録画データ121から抽出した字幕文Mn以外に、コンテンツ録画データ121に含まれていない仮字幕文が追加されている。
【0101】
図15中、「(番組先頭)」という内容は新たに追加されたもので、その内容を示す字幕文は仮字幕文KMである。この仮字幕文KMは、コンテンツ録画データ121内の先頭のIDRフレームに対応付けられるよう、その字幕表示時刻Mnは「00:00:00」に設定されている。なお、字幕管理データ122cへの仮字幕文の格納は、字幕PESから字幕文Mnを抽出するときに同時に実行すればよい。
【0102】
また、コンテンツ再生用のアプリケーションの実行中、字幕文Mnを表示させるため図4で示した字幕管理データ122をワークメモリに展開するときに、仮字幕文を追加してもよい。
【0103】
以下では、字幕管理データ122の内容を変更することなしにコンテンツの先頭にある映像を表示するための処理を説明する。図17に示すように、ユーザがコンテンツ視聴用のアプリケーションの実行を指示すると、制御部11は、先頭の字幕文が先頭の映像フレームに対応しているか否かを判別する(ステップV41)。
【0104】
このとき、字幕管理データ122を参照して、先頭の字幕文の字幕表示時刻が「00:00:00」であるか否かを判別し、「00:00:00」なら(ステップV41;Yes)、処理はステップV45に進む。ステップV45の通常の映像表示処理は、図7で示したステップS22〜S29と実質的に同一の処理である。
【0105】
一方、先頭の字幕表示時刻が「00:00:00」でなければ(ステップV41;No)、コンテンツ録画データ121の先頭にあるIDRフレームを表示する(ステップV42)。さらに、そのIDRフレームに対応する仮字幕文KMを字幕領域MAに表示し(ステップV43)、表示中の仮字幕文KMが中央に配置された字幕リストをリスト領域LAに表示する(ステップV44)。ステップV42〜V44の処理により、図16(b)に例示する画面D42が表示される。
【0106】
また、実施形態6では、図18に示すように、ユーザが現在表示中の字幕文に代えてその1つ前の字幕文を表示するよう指示すると、表示中の字幕文が先頭の字幕文か否かを判別する。この指示は、カーソルキー3の上方向への押下などにより可能である。
【0107】
先頭の字幕文でなければ(ステップV51;No)、処理はステップV55に進む。ステップV55の処理は、図7で示したステップS22〜S29と実質的に同一である。
【0108】
一方、表示中の字幕文が先頭の字幕文なら(ステップV51;Yes)、ステップV52〜V54の処理を行う。ステップV52〜V54の処理は、図17で示したステップV42〜V44の処理と実質的に同一である。そして、処理を終える。
【0109】
なお、仮字幕文と映像との対応付は、先頭の字幕文と先頭の映像とが対応しない場合に限られない。例えば、コンテンツの最後の字幕文と最後の映像とが対応しない場合、などにも同様に適用可能である。最後の字幕文と最後の映像とが対応しないとき、最後の映像は表示されないため、図16(c)に例示する画面D43が表示される。最後の映像に仮字幕文を対応付け、仮字幕文を表示したときは、図16(d)に例示する画面D44が表示される。
【0110】
以上説明したように、本発明の実施形態1によれば、予め定められた「字幕切替時間」が経過する毎に、再生中の字幕文に代えて次の字幕文を再生すると共に、字幕リストを自動スクロールする。これにより、ユーザはカーソルキー3等を操作して字幕文を表示する必要がなくなり、ユーザの利便性を向上できる。
【0111】
実施形態2によれば、予め定められた「1文字あたりの表示時間t」と字幕文の文字数KZnとを乗じた「字幕切替時間」に従い、字幕リストの自動スクロールを行う。これにより、字幕文の文字数が多くなるにつれてその字幕文を表示する時間も長くなり、ユーザの利便性を向上できる。
【0112】
実施形態3によれば、文字数に応じた区分により字幕文を分別し、その区分に対応する「字幕切替時間」に従って、字幕リストの自動スクロールを行う。これにより、表示中の字幕文の文字数が少ない場合でも、その字幕文は分別された区分中で最も文字数の多い字幕文と同一の「字幕切替時間」に従って表示され、ユーザがその字幕文を判読するための時間が長くなる。
【0113】
また、本発明の各実施形態によれば、ユーザにより「字幕切替時間」を編集可能とする。これにより、ユーザは自己の好みに応じて字幕文の表示を切替させることができる。
【0114】
実施形態4によれば、次の字幕文に切替わるまでの残り時間を表示パネル5に表示させる。これにより、ユーザは、現在表示中の字幕文から次の字幕文の表示に切替わるタイミングに合わせて、字幕文を読むペースを調整できる。
【0115】
実施形態5によれば、コンテンツの再生中、コンテンツ録画データ121の全再生時間に対し、現時点までのコンテンツ再生が完了した程度をユーザに示す。これにより、ユーザは、示された程度を基準として、コンテンツの視聴を継続するか否かを判断できる。
【0116】
さらに、全再生時間、表示中の映像の表示時刻、などを表示する。これにより、ユーザは視聴中のコンテンツの未再生部分の再生完了に要する時間、コンテンツ再生開始時から現時点までの視聴時間、などを把握できる。
【0117】
実施形態6によれば、コンテンツ中の先頭の字幕文と先頭の映像とが対応していない場合、先頭の映像が有する再生タイミングに仮字幕文KMを対応付ける。そして、仮字幕文KMから字幕文の再生を開始する。これにより、ユーザは先頭の映像を視聴することが可能となり、ユーザの利便性を向上できる。
【0118】
以下、本実施形態の変形について説明する。字幕リストの表示のオン又はオフを、ユーザにより編集可能としてもよい。このとき、字幕リスト表示のオフからオンへの切替後、字幕リストから字幕文が選択されたときに自動スクロールを開始すればよい。
【0119】
実施形態6では、仮字幕文の内容は、「(番組先頭)」の文字列に限らず、他の文字列でも空白でもよい。また、仮字幕文に対応付けられる映像は、コンテンツ中の先頭の映像フレームに限らず、先頭の字幕文の字幕表示時刻に対応する映像よりも先に再生される映像であればよい。例えば、番組先頭のIDRフレームでも、そのIDRフレーム近傍のPフレームでもよい。
【0120】
その他、本発明の概念は、専用のコンピュータシステムに限らず、例えば、コンテンツ録画再生機能を備える、PDA、電子カメラ、電子腕時計、携帯型TV、カーナビゲーション装置、等の任意の字幕付映像再生装置に適用可能である。即ち、コンピュータを携帯電話1として機能・動作させるためのコンピュータプログラムを作成し、配布し、貸与し、これをコンピュータにインストールして、携帯電話1として、これを使用、譲渡、貸与などしてもよい。
【図面の簡単な説明】
【0121】
【図1】本発明に係る携帯電話を開いた状態で正面から見たときの外観図である。
【図2】携帯電話の構成を示すブロック図である。
【図3】コンテンツ録画データのデータ構造の一例を示す図である。
【図4】字幕管理データのデータ構造の第1の例を示す図である。
【図5】TV信号から情報を抽出して、字幕管理データを生成する処理を示すフローチャートである。
【図6】字幕付映像と共に字幕リストが表示された画面を示す図である。
【図7】自動スクロールの処理を示すフローチャートである。
【図8】字幕管理データのデータ構造の第2の例を示す図である。
【図9】(a)は、実施形態2における字幕管理データを生成する処理を示すフローチャートである。(b)は、実施形態2における自動スクロールの処理を示すフローチャートである。
【図10】(a)は、表示切替時間情報のデータ構造の一例を示す図である。(b)は、実施形態3における自動スクロールの処理を示すフローチャートである。
【図11】(a)は、サブメニュー表示前の画面の一例を示す図である。(b)は、サブメニュー表示後の画面の一例を示す図である。(c)は、実施形態1に係る字幕切替時間の設定画面の一例を示す図である。(d)は、実施形態2に係る字幕切替時間の設定画面の第1の例を示す図である。(e)は、実施形態2に係る字幕切替時間の設定画面の第2の例を示す図である。(f)は、実施形態3に係る字幕切替時間の設定画面の一例を示す図である。
【図12】(a)は、実施形態5に係る画面の第1の例を示す図である。(b)は、実施形態5に係る画面の第2の例を示す図である。(c)は、実施形態5に係る画面の第3の例を示す図である。(d)は、実施形態5に係る画面の第4の例を示す図である。
【図13】実施形態5における自動スクロールの処理を示すフローチャートである。
【図14】字幕管理データのデータ構造の第3の例を示す図である。
【図15】字幕管理データのデータ構造の第4の例を示す図である。
【図16】(a)は、先頭映像と先頭の字幕文とが対応していないコンテンツを再生したときの画面の一例を示す図である。(b)は、先頭映像と仮字幕文とを対応付けてコンテンツを再生したときの画面の一例を示す図である。(c)は、最後の映像と最後の字幕文とが対応していないコンテンツを再生したときの画面の一例を示す図である。(d)は、最後の映像と仮字幕文とを対応付けてコンテンツを再生したときの画面の一例を示す図である。
【図17】実施形態6における、先頭の映像に対応する仮字幕文を表示する処理を示すフローチャートである。
【図18】実施形態6における、現在表示中の1つ前の字幕文を表示する処理を示すフローチャートである。
【符号の説明】
【0122】
1…携帯電話、2…キーボード、3…カーソルキー、4…表示切替ボタン、5…表示パネル、6…通話用マイク、7…通話用スピーカ、8…スピーカ、11…制御部、12…記憶部、13…操作部、14…表示部、15…チューナ、16…デコード部、17…音声出力部、18…音声入力部、19…通信部、20…バス、121…コンテンツ録画データ、122,122a,122b,122c…字幕管理データ、123…表示切替時間情報

【特許請求の範囲】
【請求項1】
複数の字幕文を定義する字幕信号と、複数の映像を定義する映像信号とを、再生順序により対応付けて記憶する記憶手段と、
前記字幕信号が定義する字幕文を再生する字幕再生手段と、
時間を計時し、前記字幕再生手段が再生中の字幕文の再生開始から所定時間が経過したことを検出するタイマ手段と、
前記タイマ手段で所定時間の経過を検出したときに、前記字幕再生手段を制御し、現在再生中の字幕文に代えて、その字幕文の次の再生順序を有する字幕文を再生させる字幕切替手段と、
前記映像信号が定義する各映像の内から前記字幕再生手段が再生中の字幕文に対応する再生順序を有する映像、を再生する映像再生手段と、
前記字幕再生手段が再生中の字幕文と、その字幕文の再生順序から所定の順序だけ前にある字幕文と、その字幕文の再生順序から所定の順序だけ後にある字幕文と、のリストを生成して表示するリスト表示手段と、
を備えることを特徴とする字幕付映像再生装置。
【請求項2】
前記タイマ手段は、
現在再生中の字幕文に含まれる文字の数を判別する文字数判別手段と、前記文字数判別手段で判別した数の増大に伴って前記所定時間を大きくし、前記数の減少に伴って前記所定時間を小さくする時間変更手段と、を備え、
前記時間変更手段で変更した所定時間が経過したことを検出する、
ことを特徴とする請求項1に記載の字幕付映像再生装置。
【請求項3】
前記記憶手段は、前記字幕文に含まれる各文字の再生時間を示す1文字再生時間情報を記憶しており、
前記時間変更手段は、前記1文字再生時間情報が示す再生時間と前記文字数判別手段で判別した数との積から定まる時間に、前記所定時間を変更する、
ことを特徴とする請求項2に記載の字幕付映像再生装置。
【請求項4】
前記字幕信号が定義する全字幕文の総文字数を求める総文字数演算手段と、
前記記憶手段が記憶する1文字再生時間情報が示す再生時間と前記総文字数との積から、全字幕文の再生に要する全字幕文再生時間を求める全字幕再生時間取得手段と、
前記全字幕文再生時間と現在時刻とを加えて字幕文再生完了時刻を求め、その字幕文再生完了時刻を表示する手段と、
をさらに備える、ことを特徴とする請求項3に記載の字幕付映像再生装置。
【請求項5】
前記記憶手段は、前記字幕文に含まれる文字の数と前記所定時間とを対応付ける字幕切替時間情報を記憶しており、
前記時間変更手段は、
前記字幕切替時間情報を参照し、前記文字数判別手段で判別した数に対応する所定時間を特定する時間特定手段、を備え、
前記時間特定手段で特定した所定時間に、前記所定時間を変更する、ことを特徴とする請求項2に記載の字幕付映像再生装置。
【請求項6】
前記タイマ手段は、
ユーザの操作に応答して、前記所定時間を入力する時間入力手段、を備え、
前記時間入力手段が入力した所定時間が経過したことを検出する、ことを特徴とする請求項1乃至5のいずれか1項に記載の字幕付映像再生装置。
【請求項7】
前記字幕切替手段は、
前記所定時間と前記タイマ手段で計時した時間との差から、再生中の字幕文を切替えるまでの残り時間を求め、その残り時間を表示する残り時間表示手段、を備え、
前記残り時間表示手段が表示中の残り時間がゼロになったときに、前記字幕再生手段を制御して字幕文を切替えさせる、ことを特徴とする請求項1乃至6のいずれか1項に記載の字幕付映像再生装置。
【請求項8】
前記映像信号が定義する全映像の再生の開始から終了までの時間を示す全映像再生時間を求める全映像時間取得手段と、
先頭の字幕文の再生開始時から現在再生中の字幕文の再生時に至るまでの経過時間が前記全映像再生時間に占める割合、を示す割合指示画像を生成する割合画像生成手段と、
前記割合画像生成手段で生成した割合指示画像を表示する割合画像表示手段と、を備える、ことを特徴とする請求項1乃至7のいずれか1項に記載の字幕付映像再生装置。
【請求項9】
前記全映像時間取得手段で求めた全映像再生時間における前記各字幕文の各再生時刻を示す再生時刻指示画像と、前記割合画像生成手段で生成した割合指示画像とを重ねて表示する手段、を備える、ことを特徴とする請求項8に記載の字幕付映像再生装置。
【請求項10】
前記記憶手段は、
前記各映像から、前記各字幕文に再生順序が対応付けられていない映像を抽出する非対応映像抽出手段、を備え、
前記非対応映像抽出手段で抽出した映像と、擬似的な字幕文である仮字幕文とを、再生順序により対応付けて記憶して、
前記字幕再生手段は、
前記映像再生手段が前記非対応映像抽出手段で抽出した映像を再生したときに、該映像に対応付けられた仮字幕文を再生して、
前記リスト表示手段は、
前記再生中の仮字幕文と、該仮字幕文の再生順序から所定の順序だけ前又は後の再生順序を有する字幕文及び仮字幕文と、を示すリストを表示する、ことを特徴とする請求項1乃至9のいずれか1項に記載の字幕付映像再生装置。
【請求項11】
前記字幕切替手段は、
再生中の字幕文に代えて、その字幕文の次の再生順序を有する字幕文が再生されたことをユーザに通知する通知手段、を備え、
前記字幕再生手段を制御して前記次の再生順序を有する字幕文を再生させたときに、前記通知手段でユーザに通知する、ことを特徴とする請求項1乃至10のいずれか1項に記載の字幕付映像再生装置。
【請求項12】
コンピュータに、
複数の字幕文を定義する字幕信号と、複数の映像を定義する映像信号とを、再生順序により対応付けて記憶部に記憶させ、
前記記憶部に記憶させた字幕信号が定義する字幕文を再生させ、
時間を計時し、前記再生中の字幕文の再生開始から所定時間が経過したことを検出させ、
前記所定時間が経過したことを検出したときに、現在再生中の字幕文に代えて、その字幕文の次の再生順序を有する字幕文を再生させ、
前記映像信号が定義する各映像の内から前記再生中の字幕文に対応する再生順序を有する映像、を再生させ、
前記再生中の字幕文と、その字幕文の再生順序から所定の順序だけ前又は後の再生順序を有する字幕文と、を示すリストを表示部に表示させ、
前記再生中の字幕文と、その字幕文の再生順序から所定の順序だけ前にある字幕文と、その字幕文の再生順序から所定の順序だけ後にある字幕文と、を示すリストを表示させる、
ためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2008−312066(P2008−312066A)
【公開日】平成20年12月25日(2008.12.25)
【国際特許分類】
【出願番号】特願2007−159510(P2007−159510)
【出願日】平成19年6月15日(2007.6.15)
【出願人】(504149100)株式会社カシオ日立モバイルコミュニケーションズ (893)
【Fターム(参考)】