説明

字幕付映像再生装置及びその方法、プログラム

【課題】選択された字幕文に対応する映像を頭出しして再生を開始すると、ユーザによる停止の指示を受けるまで、又は、映像の最後まで再生を続けてしまうため、使い勝手が悪かった。
【解決手段】制御部19は、ユーザが字幕文を選択すると、選択された字幕文に対応する映像を表示部15に表示する。そして、制御部19は、選択された字幕文を再生する再生時間を記憶部17から取得する。制御部19は、選択された字幕文に対応する映像の再生を開始し、再生開始からの時間を計時する。そして、計時した時間が記憶部17から取得した再生時間に達すると、制御部19は再生を一時停止する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、字幕付映像を再生する字幕付映像再生装置とその方法、プログラムに関する。
【背景技術】
【0002】
字幕付映像の字幕情報と映像情報とを分離して、それぞれを別々に表示部に出力する技術が存在する。
【0003】
特許文献1には、字幕付映像のストリームを録画して、映像と字幕とを別々に表示する字幕表示装置が開示されている。
【特許文献1】特開2003−18491号公報
【0004】
特許文献1で開示された字幕表示装置は、ユーザが字幕文を選択すると、選択された字幕文に対応する映像を頭出しして、それ以降の映像を再生する。
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1で開示された字幕表示装置は、選択された字幕文に対応する映像を頭出しして再生を開始すると、映像を停止する指示を受けるまで、又は、映像の最後まで、再生を続ける。
【0006】
したがって、例えば、ユーザが字幕付映像を繰り返して再生したい場合、ユーザは字幕を選択して映像の再生を開始し、停止操作をして映像を停止し、再び字幕を選択しなければならない。
【0007】
また、例えば、ユーザが複数の字幕文に対応する映像のみを再生したい場合、ユーザが停止をするタイミングを逸してしまうと、ユーザが再生したい所定個数よりも少ない又は多い個数分だけ後の字幕文に対応する映像で停止してしまうという問題がある。
【0008】
本発明は、上記実情に鑑みてなされたものであり、ユーザにとって使い勝手のよい字幕付映像再生装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の第1の観点に係る字幕付映像再生装置は、複数の字幕文と複数の映像とを、その再生順番に基づいて、互いに対応付けて記憶する記憶手段と、
前記記憶手段に記憶されている複数の字幕文からいずれかの字幕文を選択する字幕文選択手段と、
前記字幕文選択手段が選択した字幕文から、前記再生順番に従って、字幕文を再生する字幕文再生手段と、
前記字幕文再生手段によって再生されている字幕文に対応する映像を再生する映像再生手段と、
前記字幕文再生手段が字幕文の再生を開始してからの経過時間を計測し、所定の時間が経過したことを判別するタイマ手段と、
前記タイマ手段が所定の時間を計測したときに、所定の再生順番の字幕文を再生するように前記字幕文再生手段を制御する制御手段と、を備えることを特徴とする。
【0010】
例えば、前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、所定の再生順番の字幕文から、字幕文を順次再生するように前記字幕文再生手段を制御するようにしてもよい。
【0011】
例えば、各字幕文には、各字幕文を継続して再生する再生継続時間を指定する再生時間情報が付加されており、
各映像は複数のフレームから構成される動画から構成されており、
前記制御手段は、前記タイマ手段が計測する所定の時間として、前記字幕文選択手段が選択した字幕文に付加されている再生時間情報が指示する再生継続時間をセットすると共にタイマ手段の計時動作を起動し、
前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像の所定のフレームを再生させるようにしてもよい。
【0012】
例えば、前記制御手段は、前記タイマ手段が計測する所定の時間として、前記字幕文選択手段が選択した字幕文と、所定の個数だけ後の再生順番に対応する字幕文と、の間の各字幕文に付加されている再生時間情報が指示する再生継続時間の和をセットすると共に前記タイマ手段の計時動作を起動するようにしてもよい。
【0013】
例えば、各字幕文には、該字幕文に含まれる字幕文字数を示す文字数情報が付加されており、
前記記憶手段は、文字数と該文字数の字幕文を継続して再生する再生継続時間とを対応付けて記憶し、
前記制御手段は、前記字幕文選択手段が選択した字幕文に付加された文字数情報から文字数を判別し、
前記記憶手段を参照して、判別した文字数に対応する再生継続時間を判別し、判別した再生継続時間を前記所定の時間として前記タイマ手段に設定し、
前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段が選択した字幕文に対応付けられた映像を所定のフレームから再生させるようにしてもよい。
【0014】
例えば、前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像の最初のフレームを再生させるようにしてもよい。
【0015】
例えば、前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像の最後のフレームを再生させるようにしてもよい。
【0016】
例えば、前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像を、前記所定のフレームから順に再生させるようにしてもよい。
【0017】
例えば、前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像の最初のフレームから順に再生させるようにしてもよい。
【0018】
例えば、前記制御手段は、前記字幕文選択手段が選択した字幕文に対応付けられた予測符号化方式の映像を構成する複数のフレームに含まれるIDR(Instantaneous Decoder Refresh)フレームを検出し、
前記タイマ手段が前記所定の時間を計測したときに、再生中のフレームに最も近いIDRフレームを判別して、再生させるようにしてもよい。
【0019】
例えば、前記字幕付映像再生装置は、複数の再生速度から1つの再生速度を選択する再生速度選択手段と、
前記再生速度選択手段で選択された速度で映像を再生する映像再生手段と、を備え、
前記制御手段は、前記再生速度選択手段が選択した再生速度に対応する時間間隔で字幕文を切り替え、
前記タイマ手段は、前記再生速度選択手段が選択した再生速度に基づいて、前記所定の時間を修正する手段を備えるようにしてもよい。
【0020】
例えば、前記記憶手段は、再生時の字幕文の複数の切り替え時間間隔と前記映像の複数の再生速度と、を対応付けて記憶し、
各字幕文に、該字幕文を継続して再生する再生継続時間を示す再生継続時間情報が予め付加して記憶しており、
前記制御手段は、前記字幕文選択手段が選択した字幕文の再生継続時間に基づいて字幕文を切り替える時間間隔を判別し、判別した時間間隔に対応する再生速度を判別し、
前記再生速度選択手段は、前記制御手段が判別した再生速度を選択するようにしてもよい。
【0021】
例えば、前記字幕付映像再生装置は、前記タイマ手段が計測した経過時間の、前記字幕文選択手段が選択した字幕文に付加された継続時間情報が示す再生継続時間に対する割合を表示する表示手段を備えるようにしてもよい。
【0022】
例えば、この字幕付映像再生装置は、音声を出力する音声出力手段を備え、
前記映像には音声が付加されており、
前記制御手段は、前記映像の再生速度を指定する手段を備え、
再生速度が所定の基準速度の場合は、音声を出力させ、再生速度が所定の基準速度より速い速度の場合は、音声を出力させないように前記音声出力手段を制御するようにしてもよい。
【0023】
上記目的を達成するために、本発明の第2の観点に係る字幕付映像再生方法は、複数の字幕文を定義する複数の字幕信号と、前記字幕文に対応付けられている映像を定義する複数の映像信号とのうちから、いずれかの字幕文を選択する字幕文選択ステップと、
前記字幕文選択ステップで選択した字幕文から、前記再生順番に従って、字幕文を再生する字幕文再生ステップと、
前記字幕文再生ステップで再生されている字幕文に対応する映像を再生する映像再生ステップと、
前記字幕文再生ステップで字幕文の再生を開始してからの経過時間を計測し、所定の時間が経過したことを判別する判別ステップと、
前記判別ステップで所定の時間が経過したことを判別したときに、所定の再生順番の字幕文を再生するように制御する制御ステップと、を備えることを特徴とする。
【0024】
上記目的を達成するために、本発明の第3の観点に係るプログラムは、コンピュータに、
複数の字幕文と複数の映像とを、その再生順番に基づいて、互いに対応付けて記憶する記憶ステップ、
前記記憶ステップで記憶した複数の字幕文からいずれかの字幕文を選択する字幕文選択ステップ、
前記字幕文選択ステップで選択した字幕文から、前記再生順番に従って字幕文を再生する字幕文再生ステップ、
前記字幕文再生ステップで再生されている字幕文に対応する映像を再生する映像再生ステップ、
前記字幕文再生ステップで字幕文の再生を開始してからの経過時間を計測し、所定の時間が経過したことを判別する判別ステップと、
前記判別ステップで所定の時間が経過したことを判別したときに、所定の再生順番の字幕文を再生するように制御する、ように実行させることを特徴とする。
【発明の効果】
【0025】
本発明によれば、ユーザにとって使い勝手のよい字幕付映像再生装置とその方法、プログラムを提供することができる。
【発明を実施するための最良の形態】
【0026】
(実施形態1)
以下、本発明の実施形態に係る字幕付映像再生装置を説明する。実施形態1は、本発明の実施形態に係る字幕付映像再生装置を、コンテンツ受信機能を備える携帯電話1に適用する例である。
【0027】
携帯電話1は、任意のデータ転送方式に則ったコンテンツを受信可能であるが、本実施形態ではワンセグ放送のコンテンツを受信する場合について説明する。
【0028】
携帯電話1は、例えば、図1に示すような折り畳み型のもので、キーボード2、表示パネル5等を備える。
【0029】
キーボード2は、カーソルキー3、表示切替ボタン4、その他各種のボタンを備え、ユーザに操作されて、様々なデータや指示の入力に使用される。例えば、字幕付映像の再生及び終了等の指示の入力に使用される。
【0030】
表示パネル5は、ドットマトリクスタイプのLCD(液晶表示)パネル等から構成され、任意の画像を表示する。例えば、コンテンツの映像や字幕文、字幕文のリスト(以下、「字幕リスト」という)、等を表示する。
【0031】
通話用マイク6は、通話音声を入力する。
【0032】
通話用スピーカ7は、受話音声を出力する。スピーカ8は、コンテンツ再生時の音声等を出力する。
【0033】
また、携帯電話1は、図2に示す回路構成のように、チューナ10と、デコード部11と、音声出力部12と、音声入力部13と、通信部14と、表示部15と、操作部16と、記憶部17と、バス18と、制御部19とを備える。
【0034】
チューナ10は、アンテナ10Aが受信したワンセグ放送のコンテンツを取得して復調し、復調信号を制御部19に出力する。
【0035】
デコード部11は、チューナ10から出力されたコンテンツを、映像信号、音声信号、字幕信号に分離すると共に復号し、出力する。
【0036】
音声出力部12は、前述のスピーカ7とDAC(digital analog converter)等から構成され、例えば、制御部19が再生したコンテンツの音声信号を復調し、スピーカ8で放音する。
【0037】
音声入力部13は、通話時等に音声信号を収集し、通信部14に供給する。
【0038】
通信部14は、基地局を介して、通話音声、各種データ等を送受信する。
【0039】
表示部15は、表示パネル5とドライバ回路等から構成され、制御部19の制御下に画像を表示パネル5に表示する。
【0040】
操作部16は、ユーザが指示やデータを入力するための各種のキー若しくはボタンを備え、制御部19への各種の指示やデータを制御部19に供給する。例えば、テレビジョン信号の受信の開始・終了の指示や、ユーザがテレビ番組を録画するときのコンテンツの録画の開始・終了の指示、ユーザ認証時のパスワードの入力等が可能である。
【0041】
また、操作部16には、上述のカーソルキー3が設けられている。ユーザは、カーソルキー3を操作することにより画面上に表示されたカーソルをスクロールし、字幕リストから任意の字幕文を選択できる。
【0042】
更に、操作部16にはリスト表示切替ボタン4が設けられている。ユーザによってリスト表示切替ボタンが押下されると、表示部15の表示が後述するリスト表示モードとリスト非表示モードとに切り替わる。
【0043】
記憶部17は、後述するコンテンツ録画データ121と字幕管理データ122とを記憶する。
【0044】
記憶部17は、携帯電話1に内蔵されるメモリ、取り外し可能な外部メモリ、のいずれから構成されてもよい。また、記憶部17は、制御部19のワークメモリとしても機能する。
【0045】
バス18は、各部間で相互にデータを伝送する。
【0046】
制御部19は、携帯電話1全体の動作を制御する。例えば、録画したコンテンツの再生の開始・終了、字幕リスト中に表示される字幕文の切替、等を制御する。
【0047】
制御部19は、CPU20(Central Processing Unit)と、ROM(Read Only Memory)21と、タイマ22とを備える。
【0048】
CPU20は、ROM21に格納されているプログラムデータを読み出して、プログラムに従って処理を実行し、携帯電話1全体の動作を制御する。
【0049】
ROM21は、CPU20が処理するプログラムデータ等を格納する。
【0050】
タイマ22は、例えば、ソフトウェアタイマ等から構成される。
【0051】
タイマ22は、映像の再生継続時間を指示する時間情報をCPU20から取得する。制御部19が表示部に映像を再生すると、タイマ22は、再生開始からの経過時間を計時する。そして、計時した時間が時間情報で指示された時間に達すると、その旨の信号をCPU20に供給する。
【0052】
制御部19は、ユーザがテレビ番組を視聴するときのテレビジョン放送の受信の開始・終了や、ユーザがテレビ番組を録画するときのコンテンツの録画の開始・終了を制御する。
【0053】
次に、本実施形態で用いるデータについて説明する。記憶部17は、図3(a)に示すように、コンテンツ録画データ121と字幕管理データ122とを記憶する。
【0054】
ワンセグ放送のコンテンツ(テレビ信号)は、図3(b)に示すように、TSP(Transport Stream Packet, トランスポートストリームパケット)から構成される。
【0055】
TSPは、映像データをペイロードに格納する映像パケットVと、音声データをペイロードに格納する音声パケットAと、字幕データをペイロードに格納する字幕パケットCとが混在したストリームから構成される。
【0056】
制御部19は、受信したTSPを構成する各パケットを、各パケットに格納されているデータの種類に応じて分類し、各パケットに付与されているパケット番号などに基づいて再配置する。
【0057】
そして、制御部19は、図3(c)に示すように、ビデオPES(Packetized Elementary Stream)131と、音声PES132と、字幕PES133とを生成して、コンテンツ録画データ121として、記憶部17に格納する。
【0058】
ビデオPES131は、パケット化されたフレームの圧縮符号化データであり、各フレームを定義するデータを含む。また、各フレームは、その再生タイミングを示すデータを含む。
【0059】
ワンセグ放送におけるTSPは、予測符号化方式に則ったデータである。従って、ビデオPES131は、他のフレームを参照しないIDR(Instantaneous Decoder Refresh)フレーム(独立映像パケットVIに対応する)と、自己の再生タイミングよりも先に再生されるIDRフレームを参照するPフレーム(参照映像パケットVPに対応する)と、を含む。なお、ワンセグ放送では、映像フレームのフレームレートは15フレーム/秒である。
【0060】
音声PES132は、パケット化された音声の圧縮符号化データである。
【0061】
字幕PES133は、パケット化された字幕文の圧縮符号化データである。字幕PES133は、字幕管理データ122の生成に必要なデータを含む。例えば、字幕PES133は、字幕文Stn(n:1〜N、N:コンテンツ録画データ121内の字幕PESの数)と、字幕再生タイミングTMn(n:1〜N)と、制御符号CSn(n:1〜N)と、を示す情報を有する。
【0062】
字幕文Stnは、字幕付映像の字幕文の内容を示し、字幕管理データ122の字幕文Stnとして格納されるデータである。字幕再生タイミングTMnは、字幕文Stnを再生するタイミングを示し、PTS(Presentation Time Stamp)単位で表される。ワンセグ放送では、各字幕文は、15秒に1回の割合で生成される。
【0063】
字幕管理データ122は、図4に示すように、字幕表示時刻Tdnと字幕文Stnとを対応付けて格納するデータである。字幕表示時刻Tdnは、字幕文Stnの再生を開始する時刻を示す。例えば、字幕管理データ122が図4に示すデータであった場合、字幕文「おはよう。」は、表示時刻「00:00:04」から再生され、表示時刻「00:00:09」に達すると、字幕文「こんにちは。」が再生される。
【0064】
ワンセグ放送においては、映像のフレームレートは15フレーム/秒である。このため、1つの字幕文には、その再生タイミングに対応する映像として複数のフレームが対応する。
【0065】
したがって、例えば、字幕文St1(「おはよう。」)には、その再生タイミングTM1に対応する映像として、複数のフレームI1〜P1Lが対応する。
【0066】
そして、字幕文St1(「おはよう。」)に対応する字幕付映像を再生すると、表示部15には、字幕文St1とフレームI1とを合成した映像→字幕文St1とフレームI1とP11フレームとを合成した映像→字幕文St1とフレームI1とP12フレームとを合成した映像→・・・と連続的に表示される。
【0067】
次に、図5のフローチャートを参照して、制御部19が、テレビジョン信号から取得した情報を、字幕管理データ122に登録する動作について説明する。なお、制御部19は、テレビジョン信号に含まれる制御符号CSと同数だけ、字幕管理データ122内の字幕データ3BN(N:整数)を作成する。
【0068】
図5のフローチャートで示す処理は、制御部19がチューナ10から供給されたテレビジョン信号を取得して、記憶部17に格納したときに起動される。
【0069】
図5のフローチャートに示す処理が起動されると、制御部19は、テレビジョン信号から字幕PESの抽出を試みて、字幕PESが抽出できたか否かを判別する(ステップS101)。
【0070】
字幕PESが抽出できずにファイル終端になれば(ステップS101:No)、制御部19は処理を終了する。
【0071】
字幕PESが抽出できたならば(ステップS101:Yes)、制御部19は、抽出した字幕PESに含まれる情報が字幕文であるか否かを判別する(ステップS102)。抽出した情報が字幕文でなければ(ステップS102:No)、制御部19は、次の字幕PESを抽出するため、処理をステップS101に戻す。
【0072】
抽出した情報が字幕文であれば(ステップS102;Yes)、制御部19は、字幕PESを解析し、字幕PESに含まれる字幕再生タイミングTM1と、字幕文St1に格納するべき字幕文と、を取り出す(ステップS103)。
【0073】
制御部19は、字幕PESから抽出した字幕文の再生タイミングTM1から、テレビジョン信号の先頭にある映像の再生タイミングTfを差し引き、映像の先頭から再生したときの経過時刻Tp1(PTS単位)を求める。
【0074】
制御部19は、経過時刻Tp1(PTS単位)を通常の時分秒単位に換算し、換算した経過時刻Tp1(字分秒単位)を、字幕管理データ122の表示時刻Td1として格納する(ステップS104)。即ち、図4においては、表示時刻Td1として、00:00:00が登録される。
【0075】
また、制御部19は、制御符号CS1直前までの字幕文(「おはよう。」)を字幕管理データ122の字幕文3B1に登録する(ステップS105)。
【0076】
字幕データSt1(「おはよう。」)を字幕管理データ122に登録すると、制御部19は、処理をステップS101に戻して、制御符号CS1よりも後にある字幕再生タイミングTM2を検索する。
【0077】
制御部19は、字幕管理データ122の表示時刻Td2として、表示時刻Td1(00:00:00)に、PTS単位から時分秒単位へと換算した映像再生タイミングTM2(00:00:20)を加えた、表示時刻Td2(00:00:20)を登録する(ステップS104)。
【0078】
また、制御部19は、最初の制御符号CS1から次の制御符号CS2までの間に含まれる字幕データSt2(「こんにちは。」)を字幕文3B2に登録する(ステップS105)。
【0079】
制御部19は、以下、制御符号CSnがなくなるまで、テレビジョン信号から字幕再生タイミングTMnを抽出して、字幕管理データ122を生成する処理を繰り返す。
【0080】
なお、制御符号CS1よりも前に制御符号CSがなければ、制御部19は、テレビジョン信号に含まれる全ての字幕文を字幕文St1に登録する。
【0081】
そして、制御部19は、字幕管理データ122をテーブルとして生成して(ステップS106)、処理を終了する。
【0082】
次に、ユーザが字幕付映像を視聴するときに、表示部15に表示される画面を、図6(a)、6(b)を参照して、以下に説明する。なお、図6(b)の画面D2において、画面D1と同一の構成要素には、図6(a)と同一の符号を付している。
【0083】
ユーザが字幕付映像を視聴するときの画面表示モードには、リスト表示モードと、リスト非表示モードとがある。ユーザは、操作部16上のリスト表示切替ボタン4を押下することにより、表示部15に、画面D1又は画面D2の何れを表示するか選択できる。
【0084】
リスト表示モードにおける画面D1は、図6(a)に示す画面であり、リスト非表示モードにおける画面D2は、図6(b)に示す画面である。
【0085】
リスト表示モードにおける画面D1は、図6(a)に示すように、ピクト領域PA、映像領域DA、字幕領域SA、字幕リスト領域LA、ソフトキー領域FA、を備える。
【0086】
ピクト領域PAは、携帯電話の受信状況やバッテリの残量、現在日時、等を表示する領域である。
【0087】
映像領域DAは、選択された字幕文に対応する映像を表示する領域である。図6(a)では、選択中の字幕文に対応する映像として、人物の顔が表示されている。
【0088】
字幕領域SAは、選択された字幕文を表示する領域である。
【0089】
字幕リスト領域LAは、複数の字幕文を並べた字幕リストを表示する領域である。図6(a)には、字幕文を5個表示する字幕リストを一例として示す。字幕リスト領域LAは、5個の字幕文を表示する字幕リスト枝領域LA1〜LA5を備える。
【0090】
リスト表示モードでは、ユーザが選択可能な字幕文のリストが字幕リスト領域LAに表示される。
【0091】
図4に示す字幕管理データ122が記憶部17に登録されている場合、表示時刻Tdにより昇順にソートされて表示され、字幕リスト枝領域LA1には「おはよう。」が表示され、字幕リスト領域LA2には「こんにちは。」が表示される。
【0092】
また、ユーザがカーソルキー3を操作して字幕リストから字幕文を選択している場合、選択された字幕文が字幕リスト領域LAの中央(字幕リスト枝領域LA3)に表示される。選択された字幕文が字幕リスト領域LAの中央に表示される動作の詳細については、後述する。
【0093】
なお、ソフトキー領域FAは、現在選択されている動作モード等を表示する領域である。
【0094】
次に、リスト非表示モードにおける画面D2について説明する。画面D2では、図6(b)に示すように、字幕リストが表示されないため、画面を構成する主要部分が映像領域DAとなる。
【0095】
ユーザは、コンテンツを視聴する場合、リスト非表示モードを選択して字幕付映像を再生表示することにより、字幕付映像の視聴に集中することができる。
【0096】
次に、制御部19が選択された字幕文を字幕リスト領域LAの中心にスクロール表示される動作について説明する。
【0097】
前提として、ユーザが選択した字幕文は、字幕管理データ122で先頭行からM番目の字幕文StM(M:1からNまでの正の整数)であるとする。
【0098】
制御部19は、操作部16から供給された操作情報に基づいて、字幕文StMが選択されたと判別する。
【0099】
制御部19は、M−1が2以上であるか否かを判別する。
【0100】
M−1が2以上であると判別すると、制御部19は、字幕リスト枝領域LA1に字幕文StMの2行前の字幕文StM−2を表示し、字幕リスト枝領域LA2に字幕文StMの1行前の字幕文StM−1を表示する。
【0101】
M−1が1であると判別すると、ユーザが選択中の字幕文は先頭から2行目の字幕文St2であるから、制御部19は、字幕リスト枝領域LA1には何も表示せず、字幕リスト枝領域LA2に字幕文St1を表示する。
【0102】
更に、M−1が0であると判別すると、ユーザが選択中の字幕文は先頭行にある字幕文St1であるから、制御部19は、字幕リスト表示枝領域LA1、LA2には何も表示しない。
【0103】
また、制御部19は、字幕リスト枝領域LA4、LA5に表示される字幕文がどの字幕文かを判別するために、N−Mが2以上であるか否かを判別する。
【0104】
N−Mが2以上であると判別すると、制御部19は、字幕リスト枝領域LA4に字幕文St(M+1)を表示し、字幕リスト枝領域LA5に字幕文St(M+2)を表示する。
【0105】
N−Mが1であると判別すると、制御部19は、字幕リスト枝領域LA4に字幕文StNを表示して、字幕リスト枝領域LA5には何も表示しない。
【0106】
更に、N−Mが0であれば、ユーザが選択中の字幕文は最終行にある字幕文StNであるから、制御部19は、字幕リスト枝領域LA4、LA5には何も表示しない。
【0107】
これにより、ユーザが選択した字幕文は、字幕リスト領域LAの中央に位置する字幕リスト枝領域LA3に表示される。
【0108】
リスト表示モードにおいて、ユーザが操作部16に設けられたカーソルキー3を押下して、字幕リスト領域LAの字幕文を選択した場合の画面表示の一例を、図7(a)、(b)に示す。
【0109】
リスト非表示モードにおいて、ユーザがカーソルキーを押下した場合の画面表示の一例を、図7(c)、(d)に示す。このときは、ユーザのカーソルキー3の操作に応じて選択された字幕文が変更されているので、画面D2の字幕領域SAに表示される字幕文が変更される。
【0110】
次に、制御部19が選択された字幕文StMの再生開始に対応するIDRフレームの映像を表示する動作について、図8のフローチャートを参照して説明する。
【0111】
図8のフローチャートで示す処理は、ユーザがカーソルキー3を操作して、字幕リストの字幕文StMを選択したときに起動される。
【0112】
ユーザが字幕文を選択すると(ステップS110)、制御部19は、テレビジョン信号から、先頭にあるフレームの情報を抽出する(ステップS111)。
【0113】
制御部19は、抽出したフレームの情報から、抽出したフレームがIDRフレームか否かを判別する(ステップS112)。IDRフレームではないと判別すると(ステップS112:No)、制御部19は、処理をステップS111に戻し、次のフレームの情報を抽出する。
【0114】
IDRフレームであると判別すると(ステップS112:Yes)、制御部19は、IDRフレームの再生タイミングから、テレビジョン信号の先頭にあるフレームの再生タイミングTfを減じて、先頭からの経過時刻TpMを計算する(ステップS113)。
【0115】
経過時刻TpMを計算すると、制御部19は、経過時刻TpMと選択されている字幕文StMの表示時刻TdMとの大小を判別する(ステップS114)。
【0116】
字幕文StMの表示時刻TdMが抽出したフレームの経過時刻TpMよりも大きいと判別すると(ステップS114:Yes)、制御部19は、ステップS113で抽出したフレームのデータの位置を保存する(ステップS115)。
【0117】
そして、制御部19は、処理をステップS111に戻し、更にフレームの情報を抽出する。
【0118】
次に抽出されたフレームにおいても、表示時刻TdMが経過時刻TpMよりも大きいと判別すると(ステップS114:Yes)、制御部19は、新しく抽出したフレームのデータの位置を保存する(ステップS115)。
【0119】
一方、表示時刻TdMが経過時刻TpMよりも小さいと判別すると(ステップS114:No)、制御部19は、ステップS115で保存した情報を元に、IDRフレームを表示する(ステップS116)。
【0120】
制御部19は、選択された字幕文StMを字幕領域SAに表示する(ステップS117)。
【0121】
また、制御部19は、選択された字幕文StMが字幕リスト領域LAの中心に位置するように字幕リストをスクロールする(ステップS118)。
【0122】
これにより、例えば、ユーザが字幕文St1(「おはよう。」)を選択した場合、字幕表示時刻Td1の直後のIDRフレームI1が表示される。また、例えば、ユーザが字幕文St2(「こんにちは。」)を選択した場合、字幕表示時刻Td2の直後のIDRフレームI2が表示される。なお、字幕表示時刻の直前のIDRフレームを表示するように制御してもよい。
【0123】
次に、ユーザが選択した字幕文StMに対応する映像を動画再生する1シーン動画再生機能について、図9に示すフローチャートを参照して説明する。
【0124】
ユーザは、メニュー画面において、予め1シーン動画再生モードをON又はOFFにしている。
【0125】
ユーザが1シーン動画再生モードをONにした場合、制御部19は、1シーン動画再生フラグをONにする。1シーン動画再生フラグとは、記憶部17に記憶されているソフトウェア上の変数である。この変数の値が例えば1であれば1シーン動画再生モードはON状態であり、0であればOFF状態である。
【0126】
ユーザがカーソルキー3を操作して、字幕リスト領域LAに表示された字幕文から字幕文StMを選択する。
【0127】
まず、制御部19は、図8のフローチャートで示したステップS110〜ステップS116までの処理と同様の処理を実行する。
【0128】
制御部19は、映像領域DAにはユーザが選択した字幕文StMに対応するIDRフレームを表示し(ステップS117)、字幕文StMを字幕領域SAの中央に再生する(ステップS118)。
【0129】
次に、制御部19は、1シーン動画再生フラグがONであるか否かを判別する(ステップS121)。1シーン動画再生フラグがOFFであると判別した場合(ステップS121:No)、制御部19は処理を終了する。
【0130】
1シーン動画再生フラグがONであると判別した場合(ステップS121:Yes)、制御部19は、字幕管理データ122から字幕文StMの表示時刻TdMと字幕文StMの次の字幕文St(M+1)の表示時刻Td(M+1)を取得する(ステップS122)。
【0131】
制御部19は、表示時刻Td(M+1)とTdMとを取得すると、その差Td(M+1)−TdMを計算する。
【0132】
制御部19は、字幕文StMの再生開始に対応するIDRフレームから映像を再生する(ステップS123)。
【0133】
制御部19は、ステップS123で映像の再生を開始してからの経過時間を計時する(ステップS124)。
【0134】
制御部19は、経過時間が表示時刻の差Td(M+1)−TdMよりも大きいか否かを判別する(ステップS125)。
【0135】
経過時間が表示時刻の差Td(M+1)−TdMよりも小さいと判別した場合(ステップS125:No)、制御部19は処理をステップS124に戻し、計時を再開する。
【0136】
経過時間が表示時刻の差Td(M+1)−TdMよりも大きいと判別した場合(ステップS125:Yes)、制御部19は映像を一時停止して(ステップS126)、処理を終了する。
【0137】
これにより、ユーザはカーソルキー3を操作して、視聴したいシーンに対応する字幕文を選択するだけで、視聴したいシーンのみを視聴することができる。したがって、停止操作を行う必要がなくなり、使い勝手が向上する。
【0138】
(実施形態2)
1シーン動画再生では、選択した字幕文の次の字幕文の表示時刻に達した時点で一時停止する。したがって、表示部には、選択した字幕文の次の字幕文に対応するフレームが再生されている。つまり、選択した字幕文に対応していないフレームが再生されていることになる。
【0139】
そこで、1シーン動画再生後に、再び選択した字幕文の字幕表示時刻直後のIDRフレームを再生するようにする。このような1シーン動画再生後に選択した字幕文の字幕表示時刻直後のIDRフレームを再生する動作について、図10に示すフローチャートを参照して説明する。
【0140】
ユーザが字幕リスト領域LAに表示された字幕文から字幕文StMを選択すると、制御部19は、まずステップS110〜ステップS126と同様の処理を実行し、一時停止する(ステップS126)。
【0141】
次に、制御部19は、ステップS110〜ステップS116と同様の処理を実行して、ユーザが選択した字幕文StMの字幕表示時刻直後のIDRフレームを表示する(ステップS131)。
【0142】
これにより、1シーン動画再生して一時停止した後は、ユーザが選択した字幕文の字幕表示時刻直後のIDRフレームが表示されるので、ユーザにとって違和感のない動作が実現される。
【0143】
(実施形態3)
次に、選択した字幕文に対応する映像を繰り返し再生する動作について、図11に示すフローチャートを参照して説明する。
【0144】
ユーザは、メニュー画面において、予め1シーン動画再生モードをONとし、且つ、繰り返し再生モードをON又はOFFにしている。
【0145】
ユーザが繰り返し再生モードをONにした場合、制御部19は、繰り返し再生フラグをONにする。繰り返し再生フラグとは、記憶部17に記憶されているソフトウェア上の変数である。この変数の値が例えば1であれば繰り返し再生モードはON状態であり、0であればOFF状態である。
【0146】
まず、制御部19は、ユーザが選択した字幕文StMに対応する映像を再生して、一時停止する(ステップS126)。
【0147】
次に、制御部19は、繰り返し再生フラグがON状態か又はOFF状態かを判別する(ステップS141)。繰り返し再生フラグがOFF状態であると判別した場合(ステップS141:No)、制御部19は、一時停止した状態で処理を終了する。
【0148】
繰り返し再生フラグがON状態であると判別した場合(ステップS141:Yes)、制御部19は、ユーザが選択した字幕文StMの字幕表示時刻直後のIDRフレームを表示し(ステップS131)、字幕文StMに対応する映像を1回再生して一時停止する(ステップS142)。
【0149】
次に、制御部19は、操作部16から操作情報が供給された操作情報に基づいて、再生中にユーザが他の操作を行ったか否かを判別する(ステップS143)。ユーザが他の操作を行ったと判別した場合(ステップS143:Yes)、制御部19は、1シーン動画再生を終了して、ユーザから指示された他の処理を実行する。
【0150】
ユーザが他の操作を行わなかったと判別した場合(ステップS143:No)、制御部19は、処理をステップS131に戻す。
【0151】
この繰り返し再生により、例えば、英会話番組で聞き取れない会話のシーンを繰り返して視聴できるなど、ユーザにとって使い勝手がよくなる。
【0152】
(実施形態4)
これまでの実施形態では、1シーン動画再生中に他の字幕文を選択すると、映像の再生が停止されるまで待機しなければならない。また、デコード部11は、映像再生中にはコンテンツ録画データ121からフレーム情報を抽出しており、さらに他の字幕文が選択されると、2箇所のフレーム情報を同時に抽出しなければならない。すると、消費電力が増加し、回路の規模も増大してしまう。
【0153】
そこで、1シーン動画再生中に、ユーザが字幕リストから別の字幕文を選択した場合の動作について、図12に示すフローチャートを参照して説明する。
【0154】
ユーザが別の字幕文StLを選択すると、制御部19は、動画再生中か否かを判別する(ステップS151)。動画再生中ではないと判別した場合(ステップS151:No)、制御部19は、選択された字幕文StLと字幕文StLに対応する映像とを再生する(ステップS153)。
【0155】
動画再生中であると判別した場合(ステップS151:Yes)、制御部19は、現在再生中の映像を一時停止して(ステップS152)、選択された字幕文StLと字幕文StLに対応する映像とを再生する(ステップS153)。
【0156】
これにより、消費電力を抑えることが可能となり、回路の規模を大きくする必要もなくなる。また、ユーザは、映像再生中も好きなタイミングで別の字幕文を選択することで、新たに選択した字幕文に対応する映像をすぐに視聴することが可能となる。
【0157】
(実施形態5)
次に、ユーザが選択した字幕文に対応する映像から所定の個数だけ後の字幕文に対応する映像までを繰り返し再生する動作について、図13に示すフローチャートを参照して説明する。
【0158】
字幕数nは、記憶部17に記憶されたソフトウェア上の変数である。制御部19は、記憶部17にアクセスして字幕数nを取得することができる。
【0159】
字幕数nは、プログラムをコンパイルする際に決定しても良いが、ユーザが携帯電話1を操作中に設定できるようにしてもよい。
【0160】
まず、制御部19は、図9に示すフローチャートのステップS110〜S126と同様の処理を実行し、映像を一時停止する。
【0161】
次に、制御部19は、予め設定されている字幕数nを取得する(ステップS161)。
【0162】
制御部19は、字幕文StMの表示時刻TdMと、字幕文StMのn個後ろの字幕文St(M+n)の表示時刻Td(M+n)と、を取得する(ステップS162)。
【0163】
制御部19は、表示時刻Td(M+n)とTdMとを取得すると、その差Td(M+n)−TdMを計算する。
【0164】
次に、制御部19は、図9に示すフローチャートのステップS110〜ステップS116と同様の処理を実行し、ユーザが選択した字幕文StMの字幕表示時刻TdM直前のIDRフレームを表示する(ステップS131)。
【0165】
制御部19は、ステップS123で映像の再生を開始してからの経過時間を計時する(ステップS124)。
【0166】
制御部19は、経過時間が表示時刻の差Td(M+n)−TdMよりも大きいか否かを判別する(ステップS163)。
【0167】
経過時間が表示時刻の差Td(M+n)−TdMよりも小さいと判別した場合(ステップS163:No)、制御部19は処理をステップS124に戻し、計時を再開する。
【0168】
経過時間が表示時刻の差Td(M+1)−TdMよりも大きいと判別した場合(ステップS163:Yes)、制御部19は映像を一時停止する(ステップS126)。
【0169】
次に、制御部19は、操作部16から操作情報が供給された操作情報に基づいて、再生中にユーザが他の操作を行ったか否かを判別する(ステップS164)。ユーザが他の操作を行ったと判別した場合(ステップS164:Yes)、制御部19は、処理を終了して、ユーザから指示された他の処理を実行する。
【0170】
ユーザが他の操作を行わなかったと判別した場合(ステップS164:No)、制御部19は、処理をステップS131に戻す。
【0171】
これにより、ユーザは、例えば、英会話番組で聞き取れなかったシーンが複数の字幕文に跨ったシーンであった場合でも、聞き取れなかったシーンを繰り返し再生して視聴することができる。
【0172】
この実施形態では、ユーザが選択した字幕文とその所定個数だけ後の字幕文との間の映像を繰り返し再生する。しかし、例えば、所定個数だけ後の字幕文に対応する映像の再生が終了すると、その再生終了に対応する映像で一時停止してもよい。また、例えば、映像の再生を終了後、ユーザが選択した字幕文の字幕表示時刻直後のIDRフレームを再生して一時停止してもよい。
【0173】
ここで、携帯電話1の画面に表示される表示の一例について、図14(a)〜(f)を用いて説明する。
【0174】
ユーザがカーソルキー3を操作して、字幕リストに表示された字幕文1407「こんにちは。」を選択すると、映像領域DAに字幕文1407に対応するフレーム1401が表示される。
【0175】
予め1シーン動画再生フラグがON状態であった場合、ユーザが字幕文1407「こんにちは。」を選択すると、図14(b)に示すように、映像領域DAに映像が再生される。
【0176】
そして、字幕文1407の次の字幕文1408「こんばんは。」の表示時刻に達すると、図14(c)に示すように、一時停止する。
【0177】
次に、ユーザがカーソルキー3の下方向のキーを押下すると、図14(d)に示すように、字幕文1409「こんばんは。」選択される。
【0178】
すると、図14(e)に示すように、字幕文1409「こんばんは。」に対応する映像が再生される。
【0179】
そして、時間が経過して、次の字幕文である字幕文1410「さようなら。」の表示時刻に達すると、図14(f)に示すように、一時停止する。
【0180】
また、繰り返し再生モードの場合、図14(c)に示すように、映像が一時停止したあとに、図14(a)に示す状態に戻り、映像が再生される。
【0181】
また、複数の字幕文を繰り返し再生するモードで繰り返す字幕文の個数が2個の場合、字幕文1407「こんにちは。」の2個後ろにある字幕文1410「さようなら。」の表示時刻まで再生されて一時停止し、図14(a)に示す状態に戻り、映像が再生される。
【0182】
(実施形態6)
1シーン動画再生では、ユーザが選択した字幕文の字幕表示時刻から次の字幕文の字幕表示時刻までの時間間隔が長い場合、選択した字幕文に対応する映像を再生する時間が長くなってしまう。
【0183】
そこで、ユーザによって選択された字幕文に含まれる文字数に応じた映像再生時間を決定し、映像の再生を開始してから当該映像再生時間を経過すると、一時停止する動作について、図15に示すフローチャートを参照して説明する。
【0184】
携帯電話1は、予め記憶部17に字幕文字数−映像再生時間対応データ1600を格納している。字幕文字数−映像再生時間対応データの一例を図16に示す。
【0185】
字幕文字数−映像再生時間対応データ1600には、字幕文字数1601と、映像再生時間1602と、が登録されている。
【0186】
例えば、ユーザが選択した字幕文に含まれる字幕文字数が「1〜10文字」である場合、制御部19は、その字幕文に対応する映像を再生する映像再生時間を「5秒」にセットする。
【0187】
まず、制御部19は、図9に示すフローチャートのステップS110〜ステップS118の処理を実行する。制御部19がステップS118の処理を終了すると、ユーザが選択した字幕文StMの字幕表示時刻TdM直後のIDRフレームと、字幕文StMとが再生されている。
【0188】
次に、制御部19は、1シーン動画再生フラグがONであるか否かを判別する(ステップS121)。1シーン動画再生フラグがONではないと判別した場合(ステップS121:No)、制御部19は、処理を終了する。
【0189】
1シーン動画再生フラグがONであると判別した場合(ステップS121:Yes)、制御部19は、字幕表示時刻TdMとTd(M+1)とを取得する(ステップS122)。
【0190】
次に、制御部19は、字幕文StMに含まれる字幕文字数を判別する(ステップS171)。
【0191】
次に、制御部19は、記憶部17に格納されている字幕文字数−映像再生時間対応データ1600を読み出して、ステップS171で判別した字幕文字数に対応する映像再生時間Tplayを判別する(ステップS172)。
【0192】
制御部19は、ステップS122で判別した表示時刻Td(M+1)とTdMとの差Td(M+1)−TdMと、ステップS172で判別した映像再生時間Tplayの大小を判別する(ステップS173)。
【0193】
差Td(M+1)−TdMがTplayよりも大きいと判別した場合(ステップS173:Yes)、制御部19は、字幕文StMに対応する映像を再生する時間としてTplayをセットする(ステップS174)。
【0194】
差Td(M+1)−TdMがTplayよりも小さいと判別した場合(ステップS173:No)、制御部19は、字幕文StMに対応する映像を再生する時間としてTd(M+1)−TdMをセットする(ステップS175)。
【0195】
制御部19は、字幕文StMの字幕表示時刻TdM直後のIDRフレームから映像を再生する(ステップS123)。
【0196】
制御部19は、ステップS123で再生を開始してからの経過時間を計時する(ステップS124)。
【0197】
制御部19は、経過時間がステップS174又はステップ175でセットした再生時間よりも大きいか否かを判別する(ステップS176)。
【0198】
経過時間がステップS174又はステップ175でセットした再生時間よりも小さいと判別した場合(ステップS176:No)、制御部19は処理をステップS124に戻し、計時を再開する。
【0199】
経過時間がステップS174又はステップ175でセットした再生時間よりも大きいと判別した場合(ステップS176:Yes)、制御部19は映像を一時停止して(ステップS126)、処理を終了する。
【0200】
したがって、通常の1シーン動画再生では、図17(a)に映像は字幕表示時刻TdMからTd(M+1)まで再生される。しかし、本実施形態における1シーン動画再生では、映像は字幕表示時刻TdMからTdM+Tplayまで再生される。
【0201】
本実施形態では、Tplayを経過すると、再生中のフレームで一時停止する。
【0202】
この形態に限らず、例えば、Tplayを経過すると、ユーザが選択した字幕文の再生終了のタイミングに対応するフレームを再生するようにしてもよい。または、Tplayを経過すると、ユーザが選択した字幕文の字幕表示時刻直後のIDRフレームを再生して一時停止するようにしてもよい。
【0203】
また、Tplayを経過したときに、再びユーザが選択した字幕文の字幕表示時刻TdM直後のIDRフレームから再生するようにしてもよい。
【0204】
これにより、ユーザは、字幕文が表示されているシーンを重点的に視聴することができる。例えば、ユーザがCM直前のシーンを視聴したい場合、本実施形態の機能がなければ、CM後に字幕文が表示される時間まで映像を再生しなければならない。しかし、本実施形態の機能を備えれば、CMを視聴する必要がなくなる。したがって、ユーザが視聴したくないシーンが再生されないので、使い勝手が向上する。
【0205】
また、繰り返し再生の動作も追加することで、CM直前のシーンを何度も視聴すること等が可能となる。
【0206】
(実施形態7)
さらに、映像の再生時間をIDRフレームの表示時刻に合わせてもよい。IDRフレームは、シーンの切り替え時に発生する確率が高く、選択している字幕文に対応したシーンがIDRフレームの表示時刻で終わっている可能性があるからである。
【0207】
そこで、制御部19は、ステップS174又はステップS175で再生時間を決定すると、決定した再生時間の直前又は直後にあるIDRフレームを判別する。
【0208】
そして、制御部19は、判別したIDRフレームの表示時刻を一時停止する時間とする。図17(b)に停止時刻の候補を示す。TdM+Tplayの直前(直後)にあるIDRフレームの表示時刻がT1(T2)であり、この時刻を停止時刻とする。
【0209】
これにより、ユーザは違和感なく動画を見ることができるので、ユーザの使い勝手が向上する。
【0210】
(実施形態8)
次に、ユーザが選択した字幕文が再生される再生時間が長いときに、通常の再生速度ではなく、より速い再生速度で再生して、選択した字幕文に対応するシーンの内容を把握したい場合がある。
【0211】
そこで、選択された字幕文が再生される再生時間に対応する再生速度を決定して、決定した再生速度で、その字幕文に対応する映像を再生する動作について、図18に示すフローチャートを参照して説明する。
【0212】
携帯電話1は、予め記憶部17に図19に示す再生速度対応データ1900を格納している。
【0213】
再生速度対応データ1900には、再生時間1901と、再生速度1902と、が登録されている。
【0214】
例えば、ユーザが選択した字幕文の再生時間が「31〜60秒」である場合、制御部19は、再生速度として通常の再生速度の「1.3倍」の速度をセットする。
【0215】
まず、制御部19は、図9に示すフローチャートのステップS110〜ステップS118までの処理を実行する。制御部19がステップS118の処理を終了すると、字幕表示時刻TdM直後のIDRフレームと、字幕文StMとが表示されている。
【0216】
次に、制御部19は、字幕文SdMの字幕表示時刻TdMとその次の字幕文の字幕表示時刻Td(M+1)とを取得する。
【0217】
制御部19は、字幕表示時刻TdMとTd(M+1)とを取得すると、その差Td(M+1)−TdMを計算する(ステップS181)。
【0218】
次に、制御部19は、記憶部17に格納されている再生速度対応データ1900を読み出して、ステップS181で計算したTd(M+1)−TdMに対応する再生速度を取得する(ステップS182)。
【0219】
制御部19は、取得した再生速度をセットして、字幕文StMに対応する映像を再生する(ステップS183)。
【0220】
再生を開始すると、制御部19は、図9に示すフローチャートのステップS124〜ステップS126までの処理を実行し、映像を一時停止して、処理を終了する。
【0221】
このとき、タイマ22に、制御部19が映像を再生する再生速度に基づいて、映像を再生する時間を修正する。
【0222】
例えば、再生速度が通常の再生速度の4倍で、且つ、通常の再生速度での再生時間が20秒である場合、タイマ22は、計時する時間を20(秒)÷4=5秒と修正して時間を計時する。
【0223】
本実施形態では、映像の再生開始からタイマ22が修正した時間を経過すると、再生中のフレームを再生して一時停止している。この他にも、例えば、タイマ22が修正した時間を経過すると、選択された字幕文の字幕表示時刻直後のIDRフレームを再生してもよい。
【0224】
これにより、ユーザは、選択した字幕文の再生時間が長い場合でも、短時間でその字幕文に対応するシーンの内容を把握することができる。
【0225】
(実施形態9)
次に、予め再生速度は再生モードとして設定して、再生時に再生モードから再生速度を決定する動作について、図20に示すフローチャートを参照して説明する。
【0226】
再生モードを設定する方法としては、ユーザが操作部16に設けられたキーを操作するか、又は、ユーザインタフェースのメニューからユーザが設定する方法がある。
【0227】
例えば、ユーザがキーボードの「2」キーを押下すると、再生モードは早送りモードに設定され、ユーザが「0」キーを押下すると、再生モードは通常再生モードに設定されるようにしてもよい。
【0228】
再生モードから再生速度を決定するために、記憶部17には、図21に示す再生モードと再生速度との対応関係を示した再生モード−再生速度対応データが予め格納されている。再生モード−再生速度対応データ2100には、再生モード2101と、再生速度2102とが登録されている。
【0229】
例えば、再生モードが「早送りモード」の場合、再生速度は「2倍」に設定される。再生モードは、記憶部12に記憶されたソフトウェア上の変数であり、例えば、再生モードの値が0であれば、通常再生モードに設定される。
【0230】
まず、制御部19は、図9に示すフローチャートのステップS110〜ステップS118までの処理を実行する。制御部19がステップS118の処理を終了すると、ユーザが選択した字幕文StMと、字幕表示時刻TdM直後のIDRフレームとが再生されている。
【0231】
次に、制御部19は、字幕文StMの再生開始の表示時刻TdMとその次の字幕文の再生開始時刻Td(M+1)とを取得する(ステップS191)。
【0232】
制御部19は、表示時刻TdMとTd(M+1)とを取得すると、その差Td(M+1)−TdMを計算する。
【0233】
次に、制御部19は、記憶部17に格納されている再生モードと再生モード−再生速度対応データ2100とを読み出して、設定されている再生モードに対応する再生速度を判別する(ステップS192)
【0234】
制御部19は、判別した再生速度で字幕文StMに対応する映像を再生する(ステップS193)。
【0235】
再生を開始すると、制御部19は、図9に示すフローチャートのステップS124〜ステップS126までの処理を実行し、映像を一時停止して、処理を終了する。
【0236】
この実施形態では、一時停止して処理を終了するが、この他にも、例えば、繰り返し映像を再生するようにしてもよい。また、例えば、一時停止後に字幕文StMの字幕表示時刻TdM直後のIDRフレームを再生して一時停止してもよい。
【0237】
これにより、ユーザが選択した字幕文の再生時間に関係なく、ユーザが再生したい再生速度で映像を再生することができる。
【0238】
また、再生モードに応じて音声出力の有無を設定できるようにしてもよい。
【0239】
例えば、通常の速度で映像を再生する場合には、音声を出力し、通常の再生速度の3倍の速度で映像を再生する場合には、音声を出ないようにする。
【0240】
これにより、ユーザは映像のみに集中することができる。
【0241】
ここで、ユーザが携帯電話1の画面に表示されるメニューに従って再生速度を設定する場合の画面表示の一例を図22に示す。
【0242】
リスト表示モードにおける画面を、図22(a)に示す。ユーザがソフトキー2201の「サブメニュー」に対応するキーを押下すると、サブメニュー画面が表示される。サブメニュー画面を図22(b)に示す。
【0243】
ユーザが「再生速度設定」を選択すると、図22(c)に示すように、再生速度設定画面が表示される。
【0244】
ユーザは、カーソルキー3の上下方向キーを押下して、表示欄2202に示された再生速度を変更する。
【0245】
さらに、字幕文を再生する再生時間ごとに再生速度を変更できるようにした場合の再生速度設定画面を図22(d)に示す。ユーザは、表示2203、2204に表示された数字を変更することで、再生速度を変更することができる。
【0246】
例えば、字幕再生時間が1〜30秒の場合は再生速度を2倍に、字幕再生時間が31〜60秒の場合は再生速度を4倍に設定することができるようにする。
【0247】
これにより、ユーザは、字幕再生時間の長さに応じて好みの再生速度を設定することができる。
【0248】
(実施形態10)
次に、動画再生の進捗を表示する動作について、図23に示すフローチャートを参照して説明する。ここでは、一般的に用いられているバー表示を例として説明する。
【0249】
バー表示を実行するバー表示モードを設定する方法としては、ユーザが操作部16に設けられたキーを操作するか、又は、ユーザインタフェースのメニューからユーザが設定する方法がある。
【0250】
まず、ユーザが字幕文StMを選択すると、制御部19は、図9に示すフローチャートのステップS110〜ステップS118までの処理を実行する。制御部19がステップS118の処理を終了すると、ユーザが選択した字幕文StMの再生開始のタイミングに対応するIDRフレームと、字幕文StMとが表示されている。
【0251】
次に、制御部19は、1シーン動画再生フラグがONか否かを判別する(ステップS121)。1シーン動画再生フラグがONではないと判別した場合(ステップS121:No)、制御部19は、処理を終了する。
【0252】
1シーン動画再生フラグがONであると判別した場合(ステップS121:Yes)、制御部19は、字幕文StMの表示時刻TdMと字幕文StMの次の字幕文St(M+1)の表示時刻Td(M+1)を取得する(ステップS122)。
【0253】
制御部19は、字幕文StMの再生開始のタイミングに対応するIDRフレームから映像を再生する(ステップS123)。
【0254】
制御部19は、ステップS123で映像の再生を開始してからの経過時間を計時する(ステップS124)。
【0255】
次に、制御部19は、ステップS124で計時した再生開始からの経過時間の字幕文StMの再生時間Td(M+1)−TdMに対する割合を計算する(ステップS201)。
【0256】
割合を計算すると、制御部19は、表示部15に表示するバー全体に対する進捗バーの長さを計算し、計算した長さのバーを表示する(ステップS202)。
【0257】
次に、制御部19は、経過時間が表示時刻の差Td(M+1)−TdMよりも大きいか否かを判別する(ステップS125)。
【0258】
経過時間が表示時刻の差Td(M+1)−TdMよりも小さいと判別した場合(ステップS125:No)、制御部19は処理をステップS124に戻し、計時を再開する。
【0259】
経過時間が表示時刻の差Td(M+1)−TdMよりも大きいと判別した場合(ステップS125:Yes)、制御部19は映像を一時停止して(ステップS126)、処理を終了する。
【0260】
バー表示は、例えば、次のように行う。
【0261】
選択した字幕文の再生時間を100ピクセルとする。ステップS201で計算した割合が45%とすると、進捗バーの長さは、100×0.45=45ピクセルである。
【0262】
この場合、例えば、再生時間が1分として、再生開始からの経過時間が36秒とすると、進捗バーの長さは、100(ピクセル)×36(秒)/60(秒)=60(ピクセル)である。
【0263】
続いて、映像再生中の表示部15の一例を図24に示す。
【0264】
字幕文「こんにちは。」に対応する映像を再生する場合、再生開始時では再生時間バー2401は、図24(a)に示すように、白抜きの状態で表示される。
【0265】
映像が再生されると、進捗バー2402が、図24(b)に示すように、再生時間バー2401を埋めていく。
【0266】
再生開始からの経過時間が再生時間に達すると、進捗バー2402は、図24(c)に示すように、再生時間バー2401と同じ長さになる。
【0267】
さらに、ユーザが選択した字幕文の再生時間の映像全体の再生時間に対する割合を、図24(d)のバー2403のように表示してもよい。
【0268】
図24(d)に示すように、バー2403は、ユーザが選択した字幕文の再生時間の映像全体の再生時間に対する割合を示している。
【0269】
また、図24(e)に示すように、再生時間バー2401の近傍に字幕文を再生する時間2404を表示するようにしてもよい。
【0270】
バー表示の他にも、例えば、円形の表示をしてもよいし、経過時間をデジタル数字として表示してもよい。
【0271】
これにより、ユーザは、選択した字幕文に対応する映像が再生されてからの経過時間を視覚的に把握することができる。よって、ユーザの使い勝手が向上する。
【0272】
その他、本発明の方法は、専用のコンピュータシステムに限らず、例えば、コンテンツ録画再生機能を備える、PDA、電子カメラ、電子腕時計、携帯型TV、カーナビゲーション装置、等の任意の字幕付映像再生装置に適用可能である。
【0273】
また、本発明の概念は、コンピュータを携帯電話1として機能・動作させるためのコンピュータプログラムを作成し、配布し、貸与し、これをコンピュータにインストールして、携帯電話1として、これを使用、譲渡、貸与などしてもよい。
【図面の簡単な説明】
【0274】
【図1】本発明の実施形態に係る携帯電話を開いた状態で正面から見たときの外観図である。
【図2】本発明の実施形態に係る携帯電話の構成を示すブロック図である。
【図3】(a)は、記憶部に格納されるデータの構造を模式的に示す図である。(b)は、コンテンツ録画データのデータ構造の一例を示す図である。(c)は、記憶部に格納されるコンテンツ録画データ121のデータ構造の模式的に示す図である。(d)は、字幕PES133のデータ構造の一例を示す図である。
【図4】字幕管理データのデータ構造の一例を示す図である。
【図5】TV信号から情報を抽出して、字幕管理データを生成する処理を示すフローチャートである。
【図6】(a)は、本発明の実施形態に係る携帯電話の字幕表示リストを表示したときの画面構成を示す図である。(b)は、本発明の実施形態に係る携帯電話の字幕表示リストを表示しないときの画面構成を示す図である。
【図7】(a)は、字幕リストを表示した画面にて、ユーザがカーソルをスクロールして、選択する字幕を変更する前の画面構成を示す図である。(b)は、字幕リストを表示した画面にて、ユーザが、カーソルをスクロールして、選択する字幕を変更した後の画面構成を示す図である。(c)は、字幕リストを表示しない画面にて、ユーザがカーソルをスクロールして、選択する字幕を変更する前の画面構成を示す図である。(d)は、字幕リストを表示しない画面にて、ユーザが、カーソルをスクロールして、選択する字幕を変更した後の画面構成を示す図である。
【図8】ユーザが選択した字幕文を字幕文リストの中央に表示する処理を示すフローチャートである。
【図9】1シーン動画再生処理を示すフローチャートである。
【図10】1シーン動画再生後に選択された字幕文に対応する映像を表示する処理を示すフローチャートである。
【図11】1シーン動画再生後に繰り返し再生する処理を示すフローチャートである。
【図12】1シーン動画再生中に別の字幕文が選択された場合の処理を示すフローチャートである。
【図13】選択されている字幕文から複数個後の字幕文に対応する映像を繰り返し再生する処理を示すフローチャートである。
【図14】本発明の実施形態に係る携帯電話の画面の表示の一例を示す図である。
【図15】選択された字幕文に含まれる字幕文字数に対応する再生時間で映像を再生する処理を示すフローチャートである。
【図16】字幕文字数−映像再生時間対応データの一例を示す図である。
【図17】(a)は、選択された字幕文とその次の字幕文とが表示される表示時刻と、映像の再生を一時停止する時刻との関係を示す図である。(b)は、選択された字幕文に含まれる字幕文字数に対応する停止時刻と、その前後に表示されるIDRフレームの表示時刻との関係を示す図である。
【図18】選択された字幕文を再生する時間に対応する再生速度で映像を再生する処理を示すフローチャートである。
【図19】再生速度対応データの一例を示す図である。
【図20】再生モードから再生速度を決定して映像を再生する処理を示すフローチャートである。
【図21】再生モード−再生速度対応データの一例を示す図である。
【図22】モードを設定する画面表示の一例を示す図である。
【図23】映像を再生中に再生の進捗をバー表示する処理を示すフローチャートである。
【図24】(a)は、バー表示モードにおける映像再生開始時の画面表示の一例を示す図である。(b)は、バー表示モードにおける映像再生中の画面表示の一例を示す図である。(c)は、バー表示モードにおける映像再生終了時の画面表示の一例を示す図である。(d)は、バー表示モードにおける画面表示の一例を示す図である。(e)は、バー表示モードにおける画面表示の一例を示す図である。
【符号の説明】
【0275】
1・・・携帯電話、2・・・キーボード、3・・・カーソルキー、4・・・表示切替ボタン、5・・・表示パネル、6・・・通話用マイク、7・・・通話用スピーカ、8・・・スピーカ、10・・・チューナ、10A・・・アンテナ、11・・・デコード部、12・・・音声出力部、13・・・音声入力部、14・・・通信部、15・・・表示部、16・・・操作部、17・・・記憶部、18・・・バス、19・・・制御部、20・・・CPU、21・・・ROM、22・・・タイマ

【特許請求の範囲】
【請求項1】
複数の字幕文と複数の映像とを、その再生順番に基づいて、互いに対応付けて記憶する記憶手段と、
前記記憶手段に記憶されている複数の字幕文からいずれかの字幕文を選択する字幕文選択手段と、
前記字幕文選択手段が選択した字幕文から、前記再生順番に従って、字幕文を再生する字幕文再生手段と、
前記字幕文再生手段によって再生されている字幕文に対応する映像を再生する映像再生手段と、
前記字幕文再生手段が字幕文の再生を開始してからの経過時間を計測し、所定の時間が経過したことを判別するタイマ手段と、
前記タイマ手段が所定の時間を計測したときに、所定の再生順番の字幕文を再生するように前記字幕文再生手段を制御する制御手段と、
を備えることを特徴とする字幕付映像再生装置。
【請求項2】
前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、所定の再生順番の字幕文から、字幕文を順次再生するように前記字幕文再生手段を制御する、
ことを特徴とする請求項1に記載の字幕付映像再生装置。
【請求項3】
各字幕文には、各字幕文を継続して再生する再生継続時間を指定する再生時間情報が付加されており、
各映像は複数のフレームから構成される動画から構成されており、
前記制御手段は、
前記タイマ手段が計測する所定の時間として、前記字幕文選択手段が選択した字幕文に付加されている再生時間情報が指示する再生継続時間をセットすると共にタイマ手段の計時動作を起動し、
前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像の所定のフレームを再生させる、
ことを特徴とする請求項1又は2に記載の字幕付映像再生装置。
【請求項4】
前記制御手段は、前記タイマ手段が計測する所定の時間として、前記字幕文選択手段が選択した字幕文と、所定の個数だけ後の再生順番に対応する字幕文と、の間の各字幕文に付加されている再生時間情報が指示する再生継続時間の和をセットすると共に前記タイマ手段の計時動作を起動する、
ことを特徴とする請求項1又は2に記載の字幕付映像再生装置。
【請求項5】
各字幕文には、該字幕文に含まれる字幕文字数を示す文字数情報が付加されており、
前記記憶手段は、文字数と該文字数の字幕文を継続して再生する再生継続時間とを対応付けて記憶し、
前記制御手段は、
前記字幕文選択手段が選択した字幕文に付加された文字数情報から文字数を判別し、
前記記憶手段を参照して、判別した文字数に対応する再生継続時間を判別し、判別した再生継続時間を前記所定の時間として前記タイマ手段に設定し、
前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段が選択した字幕文に対応付けられた映像を所定のフレームから再生させる、
ことを特徴とする請求項3に記載の字幕付映像再生装置。
【請求項6】
前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像の最初のフレームを再生させる、
ことを特徴とする請求項3乃至5のいずれか1項に記載の字幕付映像再生装置。
【請求項7】
前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像の最後のフレームを再生させる、
ことを特徴とする請求項3乃至5のいずれか1項に記載の字幕付映像再生装置。
【請求項8】
前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像を、前記所定のフレームから順に再生させる、
ことを特徴とする請求項3又は5に記載の字幕付映像再生装置。
【請求項9】
前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像の最初のフレームから順に再生させる、
ことを特徴とする請求項8に記載の字幕付映像再生装置。
【請求項10】
前記制御手段は、
前記字幕文選択手段が選択した字幕文に対応付けられた予測符号化方式の映像を構成する複数のフレームに含まれるIDR(Instantaneous Decoder Refresh)フレームを検出し、
前記タイマ手段が前記所定の時間を計測したときに、再生中のフレームに最も近いIDRフレームを判別して、再生させる、
ことを特徴とする請求項5に記載の字幕付映像再生装置。
【請求項11】
前記字幕付映像再生装置は、
複数の再生速度から1つの再生速度を選択する再生速度選択手段と、
前記再生速度選択手段で選択された速度で映像を再生する映像再生手段と、を備え、
前記制御手段は、前記再生速度選択手段が選択した再生速度に対応する時間間隔で字幕文を切り替え、
前記タイマ手段は、前記再生速度選択手段が選択した再生速度に基づいて、前記所定の時間を修正する手段を備える、
ことを特徴とする請求項1乃至10のいずれか1項に記載の字幕付映像再生装置。
【請求項12】
前記記憶手段は、
再生時の字幕文の複数の切り替え時間間隔と前記映像の複数の再生速度と、を対応付けて記憶し、
各字幕文に、該字幕文を継続して再生する再生継続時間を示す再生継続時間情報が予め付加して記憶しており、
前記制御手段は、前記字幕文選択手段が選択した字幕文の再生継続時間に基づいて字幕文を切り替える時間間隔を判別し、判別した時間間隔に対応する再生速度を判別し、
前記再生速度選択手段は、前記制御手段が判別した再生速度を選択する、
ことを特徴とする請求項11に記載の字幕付映像再生装置。
【請求項13】
前記字幕付映像再生装置は、
前記タイマ手段が計測した経過時間の、前記字幕文選択手段が選択した字幕文に付加された継続時間情報が示す再生継続時間に対する割合を表示する表示手段を備える、
ことを特徴とする請求項1乃至12のいずれか1項に記載の字幕付映像再生装置。
【請求項14】
この字幕付映像再生装置は、
音声を出力する音声出力手段を備え、
前記映像には音声が付加されており、
前記制御手段は、
前記映像の再生速度を指定する手段を備え、
再生速度が所定の基準速度の場合は、音声を出力させ、再生速度が所定の基準速度より速い速度の場合は、音声を出力させないように前記音声出力手段を制御する、
ことを特徴とする請求項11乃至13のいずれか1項に記載の字幕付映像再生装置。
【請求項15】
複数の字幕文を定義する複数の字幕信号と、前記字幕文に対応付けられている映像を定義する複数の映像信号とのうちから、いずれかの字幕文を選択する字幕文選択ステップと、
前記字幕文選択ステップで選択した字幕文から、前記再生順番に従って、字幕文を再生する字幕文再生ステップと、
前記字幕文再生ステップで再生されている字幕文に対応する映像を再生する映像再生ステップと、
前記字幕文再生ステップで字幕文の再生を開始してからの経過時間を計測し、所定の時間が経過したことを判別する判別ステップと、
前記判別ステップで所定の時間が経過したことを判別したときに、所定の再生順番の字幕文を再生するように制御する制御ステップと、
を備えることを特徴とする字幕付映像再生方法。
【請求項16】
コンピュータに、
複数の字幕文と複数の映像とを、その再生順番に基づいて、互いに対応付けて記憶する記憶ステップ、
前記記憶ステップで記憶した複数の字幕文からいずれかの字幕文を選択する字幕文選択ステップ、
前記字幕文選択ステップで選択した字幕文から、前記再生順番に従って字幕文を再生する字幕文再生ステップ、
前記字幕文再生ステップで再生されている字幕文に対応する映像を再生する映像再生ステップ、
前記字幕文再生ステップで字幕文の再生を開始してからの経過時間を計測し、所定の時間が経過したことを判別する判別ステップと、
前記判別ステップで所定の時間が経過したことを判別したときに、所定の再生順番の字幕文を再生するように制御する、
ように実行させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate


【公開番号】特開2009−141810(P2009−141810A)
【公開日】平成21年6月25日(2009.6.25)
【国際特許分類】
【出願番号】特願2007−317619(P2007−317619)
【出願日】平成19年12月7日(2007.12.7)
【出願人】(504149100)株式会社カシオ日立モバイルコミュニケーションズ (893)
【Fターム(参考)】