携帯端末および情報処理方法
【課題】地上デジタル放送波における字幕の文字列および映像の視認性を好適に向上させることができるようにする。
【解決手段】本発明の携帯端末においては、文字サイズ・表示領域設定部７８は、字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し字幕文の表示領域を表示領域Ｐａに設定し字幕文の表示間隔を表示間隔Ｐｉに設定し、および字幕文の表示位置を設定し、字幕文分割部７７は字幕文の表示領域が表示領域Ｐａよりも大きい場合字幕文の表示時間Ｐｔを算出し、字幕文の最大分割数Ｄｎを算出し、字幕文の表示領域が表示領域Ｐａ以下の大きさになるように字幕文を分割し、各デコーダはオーディオデータ、ビデオデータ、および分割後の字幕データを所定の復号化方式で復号化し、メインディスプレイ１７は、映像信号に基づく映像を映像表示領域に表示し、字幕信号に基づく字幕を表示領域Ｐａに表示することができる。
【解決手段】本発明の携帯端末においては、文字サイズ・表示領域設定部７８は、字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し字幕文の表示領域を表示領域Ｐａに設定し字幕文の表示間隔を表示間隔Ｐｉに設定し、および字幕文の表示位置を設定し、字幕文分割部７７は字幕文の表示領域が表示領域Ｐａよりも大きい場合字幕文の表示時間Ｐｔを算出し、字幕文の最大分割数Ｄｎを算出し、字幕文の表示領域が表示領域Ｐａ以下の大きさになるように字幕文を分割し、各デコーダはオーディオデータ、ビデオデータ、および分割後の字幕データを所定の復号化方式で復号化し、メインディスプレイ１７は、映像信号に基づく映像を映像表示領域に表示し、字幕信号に基づく字幕を表示領域Ｐａに表示することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は携帯端末および情報処理方法に係り、特に、地上デジタル放送における字幕の文字列の視認性を向上させることができるようにした携帯端末および情報処理方法に関する。
【背景技術】
【０００２】
近年、情報処理装置としての携帯電話機は、単なる通話による通信機能を備えるだけでなく、アドレス帳機能、基地局やインターネットを介したメール機能や、Ｗｅｂページなどを閲覧することが可能なブラウザ機能、さらにはオーディオデータを聞くことができる音楽制御機能や、携帯機器向けの地上デジタルワンセグメント（以下ワンセグ（登録商標）と称する）放送を受信することができる機能などを備え、今後は固定機向けの地上デジタルフルセグメント（以下フルセグと称する）放送を受信する機能の搭載も検討されている。
【０００３】
地上デジタル放送は字幕放送に対応しており、フルセグ放送字幕（ARIB TR-B14 Aプロファイル）とワンセグ放送字幕（ARIB TR-B14 Cプロファイル）では仕様が異なり、フルセグ放送字幕のほうが一画面に表示できる文字数や装飾機能が豊富である。
【０００４】
携帯端末でフルセグ放送字幕を表示する方法としては、フルセグ放送字幕を画面サイズに合わせて縮小表示する方法と、ワンセグ放送字幕に変換して表示する方法がある。
【０００５】
ワンセグ放送字幕に変換する技術として、次のような技術が知られている（例えば特許文献１参照）。特許文献１に提案される技術によれば、デジタル放送用携帯字幕仕様変換装置は、固定受信機用字幕データを動作位置制御コード、文字列の表示状態等の条件によって文字列を分割し、分割を行った文字列を開始座標が基準点に近い順に並べ換え、各文字列の関連性をチェックして、関連性があると判断した文字列を結合することで文字ブロックを構築し、構築された文字ブロックが複数存在する場合には、それら文字ブロックのソートを行って送出順序を自動的に決定する。これにより、固定受信機向けの字幕表示仕様を携帯字幕仕様として、ブロック毎の表示順序が意味の通じる言葉となるように配列順序と表示タイミングを自動的に判別し編集することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１４２５６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
フルセグ放送字幕は画面サイズの大きい固定機を対象としているため、携帯端末で視聴する場合は、字幕の文字サイズが小さく字幕が読みにくくなったり、字幕と映像が重なることで映像が見にくくなってしまうという課題がある。
【０００８】
また特許文献１の技術を利用してワンセグ放送字幕に変換したとしても、フルセグ放送字幕はワンセグ放送字幕と比べて1画面に表示できる文字数や使用できる装飾機能が多いため、文字や装飾が欠落するという課題がある。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、地上デジタル放送における字幕の文字列や映像の視認性を好適に向上させることができる携帯端末および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の携帯端末は、上述した課題を解決するために、地上デジタル放送を受信する受信手段と、受信手段により受信された地上デジタル放送に基づくＴＳ信号を生成し、生成されたＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離する分離手段と、字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、字幕文の表示領域を表示領域Ｐａに設定し、字幕文の表示間隔を表示間隔Ｐｉに設定し、および字幕文の表示位置を設定する設定手段と、字幕文の文字サイズを文字サイズＣｓに設定することにより字幕文の表示領域が表示領域Ｐａよりも大きくなる場合、字幕文の表示領域が表示領域Ｐａ以下の大きさになるように字幕文を分割する分割手段と、分離されたオーディオデータ、ビデオデータ、および分割後の字幕データを所定の復号化方式で復号化する復号化手段と、復号化手段による復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を表示領域Ｐａに表示する表示手段とを備えることを特徴とする。
【００１１】
本発明の情報処理方法は、上述した課題を解決するために、地上デジタル放送を受信する受信ステップと、受信ステップの処理により受信された地上デジタル放送に基づくＴＳ信号を生成し、生成されたＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離する分離ステップと、字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、字幕文の表示領域を表示領域Ｐａに設定し、字幕文の表示間隔を表示間隔Ｐｉに設定し、および字幕文の表示位置を設定する設定ステップと、字幕文の文字サイズを文字サイズＣｓに設定することにより字幕文の表示領域が表示領域Ｐａよりも大きくなる場合、字幕文の表示領域が表示領域Ｐａ以下の大きさになるように字幕文を分割する分割ステップと、分離されたオーディオデータ、ビデオデータ、および分割後の字幕データを所定の復号化方式で復号化する復号化ステップと、復号化ステップの処理による復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を表示領域Ｐａに表示する表示ステップとを含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、地上デジタル放送における字幕の文字列や映像の視認性を好適に向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の概念を説明する説明図。
【図２】（Ａ）と（Ｂ）は、本発明に係る携帯端末に適用可能な携帯電話機の外観の構成を示す図。
【図３】本発明に係る情報処理装置に適用可能な携帯電話機の内部の構成を示すブロック図。
【図４】図３の地デジ処理部の内部の詳細な構成を示すブロック図。
【図５】（Ａ）と（Ｂ）は、文字サイズ・表示領域設定部が設定する表示領域Ｐａと字幕文表示位置の例を示す図。
【図６】図３および図４の携帯電話機における字幕文表示処理を説明するフローチャート。
【図７】字幕文分割部が字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域の算出方法を説明するための説明図。
【図８】字幕文分割部における字幕文表示時間算出処理を説明するフローチャート。
【図９】字幕文分割部における字幕文分割処理を説明するフローチャート。
【図１０】字幕文分割部における他の字幕文分割処理を説明するフローチャート。
【図１１】図３の地デジ処理部の内部の他の詳細な構成を示すブロック図。
【図１２】図１１の字幕文分割部における字幕文表示時間算出処理について説明する
【図１３】図３の地デジ処理部の内部の他の詳細な構成を示すブロック図。
【図１４】図１３の地デジ処理部における字幕文分割処理を説明するフローチャート。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の概念を説明する説明図である。地上デジタル放送に代表されるデジタル放送には、映像データ（ビデオデータ）や音声データ（オーディオデータ）以外に字幕データも含まれている。デジタル放送波を受信する受信機は、字幕データに含まれる字幕文を映像データに基づく映像に重畳して表示することが可能である。フルセグ放送を視聴可能な携帯電話機を例に実施例を述べる。
【００１５】
図１（Ａ）は、従来の携帯電話機がフルセグ放送波に基づく映像および字幕を表示する表示画面の表示例を表している。携帯電話機が有する比較的小さいサイズのディスプレイ上でフルセグ放送波を再生することは想定されていない。そのため、図１（Ａ）が示すように、携帯電話機が、携帯電話機が有する小さいサイズのディスプレイ上でフルセグ放送波に含まれる字幕をそのまま再生すると、携帯電話機が有するディスプレイよりも大きいサイズのディスプレイを有する固定用の受信機がフルセグ放送波を再生する場合に比べて、字幕に含まれる文字列の文字サイズが小さくなってしまう。その結果、ユーザは、携帯電話機が表示する字幕の文字列を読むことが困難になってしまう。また、フルセグ放送波に含まれる映像データに基づく映像と、字幕文データに基づく字幕文が重なり合ってしまい、ユーザにとって映像が見にくくなってしまう。
【００１６】
そこで、本実施形態では、携帯電話機がメインディスプレイに出力する字幕の文字列の文字サイズを拡大するとともに、字幕の文字列を所定の数に分割する。図１（Ｂ）は、本発明に係る携帯端末として適用可能な携帯電話機がフルセグ放送波に基づく映像および字幕を表示する表示画面の表示例を表している。これにより、携帯電話機が表示する字幕の文字列をユーザにとって読みやすくすることができるとともに、映像と字幕とが重なり合うことを解消することができる。その結果、地上デジタル放送波における字幕の文字列の視認性を好適に向上させることができる。
【００１７】
図２は、本発明に係る携帯端末として適用可能な携帯電話機１の外観の構成を表している。なお、図２（Ａ）は、携帯電話機１を約１８０度に見開いたときの正面から見た外観の構成を表しており、図２（Ｂ）は、携帯電話機１を見開いたときの側面から見た外観の構成を表している。
【００１８】
図２（Ａ）および（Ｂ）に示されるように、携帯電話機１は、中央のヒンジ部１１を境に第１の筐体１２と第２の筐体１３とがヒンジ結合されており、ヒンジ部１１を介して矢印Ｘ方向に折り畳み可能に形成される。携帯電話機１の内部の所定の位置には、送受信用のアンテナ（後述する図３のアンテナ３１）が設けられており、内蔵されたアンテナを介して基地局（図示せず）との間で電波を送受信する。
【００１９】
第１の筐体１２には、その表面に「０」乃至「９」の数字キー、発呼キー、リダイヤルキー、終話・電源キー、クリアキー、および電子メールキーなどの操作キー１４が設けられており、操作キー１４を用いて各種指示を入力することができる。
【００２０】
また、第１の筐体１２には、操作キー１４の下部にマイクロフォン１５が設けられており、マイクロフォン１５によって通話時のユーザの音声を集音する。さらに、第１の筐体１２には、携帯電話機１の操作を行うサイドキー１６が設けられている。
【００２１】
なお、第１の筐体１２は、背面側に図示しないバッテリパックが挿着されており、終話・電源キーがオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態に起動する。
【００２２】
一方、第２の筐体１３には、その正面にメインディスプレイ１７が設けられており、電波の受信状態、電池残量、電話帳として登録されている相手先名や電話番号及び送信履歴等の他、電子メールの内容、簡易ホームページ、ＣＣＤ（Charge Coupled Device）カメラで撮像した画像、外部のコンテンツサーバ（図示せず）より受信したコンテンツ、メモリカードに記憶されているコンテンツ、フルセグ放送波に基づく映像および字幕を表示することができる。また、メインディスプレイ１７の上部の所定の位置にはレシーバ（受話器）１８が設けられており、これにより、ユーザは音声通話することが可能である。なお、携帯電話機１の所定の位置には、レシーバ１８以外の音声出力部としてのスピーカ（図３のスピーカ５０）も設けられている。
【００２３】
また、第１の筐体１２と第２の筐体１３の内部の所定の位置には、携帯電話機１の状態を検知するための磁気センサ１９a、１９b、１９c、および１９dが設けられる。なお、メインディスプレイ１７は、例えば有機ＥＬにより構成されるディスプレイでもよいし、液晶ディスプレイ（Liquid Crystal Display）でもよい。
【００２４】
図３は、本発明に係る情報処理装置に適用可能な携帯電話機１の内部の構成を表している。図示せぬ基地局から送信されてきた無線信号は、アンテナ３１で受信された後、アンテナ共用器（ＤＵＰ）３２を介して受信回路（ＲＸ）３３に入力される。受信回路３３は、受信された無線信号を周波数シンセサイザ（ＳＹＮ）３４から出力された局部発振信号とミキシングして中間周波数信号に周波数変換（ダウンコンバート）する。そして、受信回路３３は、このダウンコンバートされた中間周波数信号を直交復調して受信ベースバンド信号を出力する。なお、周波数シンセサイザ３４から発生される局部発振信号の周波数は、制御部４１から出力される制御信号ＳＹＣによって指示される。
【００２５】
受信回路３３からの受信ベースバンド信号は、ＣＤＭＡ信号処理部３６に入力される。ＣＤＭＡ信号処理部３６は、図示せぬＲＡＫＥ受信機を備える。このＲＡＫＥ受信機では、受信ベースバンド信号に含まれる複数のパスがそれぞれの拡散符号（すなわち、拡散された受信信号の拡散符号と同一の拡散符号）で逆拡散処理される。そして、この逆拡散処理された各パスの信号は、位相が調整された後、コヒーレントＲａｋｅ合成される。Ｒａｋｅ合成後のデータ系列は、デインタリーブおよびチャネル復号（誤り訂正復号）が行われた後、２値のデータ判定が行われる。これにより、所定の伝送フォーマットの受信パケットデータが得られる。この受信パケットデータは、圧縮伸張処理部３７に入力される。
【００２６】
圧縮伸張処理部３７は、ＤＳＰ（Digital Signal Processor）などにより構成され、ＣＤＭＡ信号処理部３６から出力された受信パケットデータを図示せぬ多重分離部によりメディアごとに分離し、分離されたメディアごとのデータに対してそれぞれ復号処理を行う。例えば通話モードにおいては、受信パケットデータに含まれる通話音声などに対応するオーディオデータをスピーチコーデックにより復号する。また、例えばテレビ電話モードなどのように、受信パケットデータに動画像データが含まれていれば、この動画像データをビデオコーデックにより復号する。さらに、受信パケットデータがダウンロードコンテンツであれば、このダウンロードコンテンツを伸張した後、伸張されたダウンロードコンテンツを制御部４１に出力する。
【００２７】
復号処理により得られたデジタルオーディオ信号はＰＣＭコーデック３８に供給される。ＰＣＭコーデック３８は、圧縮伸張処理部３７から出力されたデジタルオーディオ信号をＰＣＭ復号し、ＰＣＭ復号後のアナログオーディオデータ信号を受話増幅器３９に出力する。このアナログオーディオ信号は、受話増幅器３９にて増幅された後、レシーバ１８により出力される。
【００２８】
圧縮伸張処理部３７によりビデオコーデックにて復号されたデジタル動画像信号は、制御部４１に入力される。制御部４１は、圧縮伸張処理部３７から出力されたデジタル動画像信号に基づく動画像を、表示駆動部６１に内蔵された画像メモリ６２（例えばＶＲＡＭなど）を介してメインディスプレイ１７に表示させる。このとき、デジタル動画像信号に基づく動画像は、必要に応じて、表示駆動部６１に内蔵された画像合成回路６３にて合成されるとともに、合成結果の合成画像は画像データ転送回路６４によってメインディスプレイ１７に転送される。この画像データ転送回路６４は、例えばＤＭＡ（Direct Memory Access）コントローラなどからなる。
【００２９】
なお、制御部４１は、受信された動画像データだけでなく、ＣＣＤカメラ２０により撮像された動画像データに関しても、表示駆動部６１の画像メモリ６２を介してメインディスプレイ１７に表示させることも可能である。
【００３０】
一方、通話モードにおいて、マイクロフォン１５に入力された話者（ユーザ）の音声信号（アナログオーディオ信号）は、送話増幅器４０により適正レベルまで増幅された後、ＰＣＭコーデック３８によりＰＣＭ符号化される。このＰＣＭ符号化後のデジタルオーディオ信号は、圧縮伸張処理部３７に入力される。また、ＣＣＤカメラ２０から出力される動画像信号は、制御部４１によりデジタル化されて圧縮伸張処理部３７に入力される。さらに、制御部４１にて作成されたテキストデータである電子メールも、圧縮伸張処理部３７に入力される。
【００３１】
圧縮伸張処理部３７は、ＰＣＭコーデック３８から出力されたデジタルオーディオ信号を所定の送信データレートに応じたフォーマットで圧縮符号化する。これにより、オーディオデータが生成される。また、圧縮伸張処理部３７は、制御部４１から出力されたデジタル動画像信号を圧縮符号化して動画像データを生成する。そして、圧縮伸張処理部３７は、これらのオーディオデータや動画像データを図示せぬ多重分離部で所定の伝送フォーマットに従って多重化した後にパケット化し、パケット化後の送信パケットデータをＣＤＭＡ信号処理部３６に出力する。なお、圧縮伸張処理部３７は、制御部４１から電子メールが出力された場合にも、この電子メールを送信パケットデータに多重化する。
【００３２】
ＣＤＭＡ信号処理部３６は、圧縮伸張処理部３７から出力された送信パケットデータに対し、送信チャネルに割り当てられた拡散符号を用いてスペクトラム拡散処理を施し、スペクトラム拡散処理後の出力信号を送信回路（ＴＸ）３５に出力する。送信回路３５は、スペクトラム拡散処理後の信号をＱＰＳＫ（Quadrature Phase Shift Keying）方式などのデジタル変調方式を使用して変調する。送信回路３５は、デジタル変調後の送信信号を、周波数シンセサイザ３４から発生される局部発振信号と合成して無線信号に周波数変換（アップコンバート）する。そして、送信回路３５は、制御部４１により指示される送信電力レベルとなるように、このアップコンバートにより生成された無線信号を高周波増幅する。この高周波増幅された無線信号は、アンテナ共用器３２を介してアンテナ３１に供給され、このアンテナ３１から図示せぬ基地局に向けて送信される。さらに、携帯電話機１には、現在の正確な現在の時刻を測定する時計回路（タイマ）４７が設けられている。
【００３３】
制御部４１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）などからなり、ＣＰＵは、ＲＯＭに記憶されているプログラムまたは記憶部４２からＲＡＭにロードされた、オペレーティングシステム（ＯＳ）を含む各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより携帯電話機１を統括的に制御する。ＲＡＭは、ＣＰＵが各種の処理を実行する上において必要なデータなどを適宜記憶する。
【００３４】
記憶部４２は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子やＨＤＤ（Hard Disc Drive）などからなり、制御部４１のＵＩ処理ＣＰＵにより実行される種々のアプリケーションプログラムや種々のデータ群を格納している。電源回路４４は、バッテリ４３の出力を基に所定の動作電源電圧Ｖｃｃを生成して各回路部に供給する。
【００３５】
また、フルセグ受信部５２は、チューナとＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調回路を備える。フルセグ受信部５２は、図示せぬ放送局からのフルセグ放送波をアンテナ５１を介して受信し、受信されたフルセグ放送波に対してＯＦＤＭ復調処理を施すことにより、フルセグ放送波に基づくＴＳ（Transport Stream）信号を生成する。なお、ＴＳ信号とは、ＭＰＥＧ−２システムで規定されるＴＳ形式の信号である。フルセグ受信部５２は、生成されたＴＳ信号を地デジ処理部５３に供給する。地デジ処理部５３は、フルセグ受信部５２からのフルセグ放送波に基づくＴＳ信号を、オーディオデータ（音声データ）とビデオデータ（映像データ）、および字幕データに関するメディアデータにそれぞれ分離する。地デジ処理部５３は、分離された各メディアデータに関するＰＥＳ（Packetized Elementary Stream）を復元する。地デジ処理部５３は、分離されたオーディオデータを地デジ処理部５３のオーディオデコーダ（図４のオーディオデコーダ７９）にて所定の復号化方式でデコードするとともに、分離されたビデオデータを地デジ処理部５３内のビデオデコーダ（図４のビデオデコーダ８０）にて所定の復号化方式でデコードし、さらに、分離された字幕データを地デジ処理部５３内の字幕デコーダ（図４の字幕デコーダ８１）にて所定の復号化方式でデコードする。地デジ処理部５３は、デコード後のデジタル音声信号とデコード後のデジタル映像信号（デジタル動画像信号）をそれぞれ制御部４１に供給する。
【００３６】
なお、フルセグ受信部５２が生成するＴＳ信号を直接制御部４１に出力し、記憶部４２がＴＳ信号をＴＳ信号ファイルとして記憶するようにしてもよい。
【００３７】
図４は、図３の地デジ処理部５３の内部の詳細な構成を表している。地デジ処理部５３は、ＴＳバッファ７１、分離部７２、字幕表示時刻情報取得部７３、オーディオデータバッファ７４、ビデオデータバッファ７５、字幕データバッファ７６、字幕文分割部７７、文字サイズ・表示領域設定部７８、オーディオデコーダ７９、ビデオデコーダ８０、および字幕デコーダ８１を備える。なお、図４においては、フルセグ受信部５２がＴＳ信号を地デジ処理部５３に供給する場合を想定している。
【００３８】
ＴＳバッファ７１は、フルセグ放送波受信部５２からのＴＳ信号を一時的に保持する（バッファリングする）。分離部７２は、ＴＳバッファ７１に保持されるＴＳ信号を読み出し、読み出されたＴＳ信号を、オーディオデータ（音声データ）とビデオデータ（映像データ）、および字幕データに関するメディアデータにそれぞれ分離する。分離部７２は、分離部７２のＰＩＤ（パケット識別子）フィルタ部に対して分離対象となるＰＩＤを設定し、同一のＰＩＤのＴＳパケットのペイロード（ＴＳパケットからＴＳヘッダが取り除かされた残余部分）を結合することにより各メディアのＰＥＳ（Packetized Elementary Stream）パケットを復元する。ＰＥＳヘッダの中には、ＰＴＳ（Presentation Time Stamp；同期用の再生時刻情報）が精度２７ＭＨｚで記述される。また、ＰＥＳヘッダの中には、ＤＴＳ（Decoding Time Stamp；デコードのタイミング時刻情報）も記述される。分離部７２は、分離されたオーディオデータに関するＰＥＳ、ビデオデータに関するＰＥＳ、および字幕データに関するＰＥＳをそれぞれオーディオデータバッファ７４、ビデオデータバッファ７５、および字幕データバッファ７６に出力する。オーディオデータバッファ７４、ビデオデータバッファ７５、および字幕データバッファ７６は、それぞれ、オーディオデータに関するＰＥＳ、ビデオデータに関するＰＥＳ、および字幕データに関するＰＥＳを一時的に保持する。なお、字幕データバッファ７６が一時的に保持する字幕データは、制御データを含む字幕管理データと、字幕文に関するデータを含む字幕文データからなる。字幕文データは、字幕文に関するデータを構成する８単位符号で符号化されており、文字符号列、表示書式、文字の表示位置、改行、文字サイズ、文字色、および背景色などに関する制御データからなる。表示書式には、９６０×５４０や７２０×４８０などのような字幕プレーンのサイズや、縦書きまたは横書きなどのような記述方法が含まれる。
【００３９】
オーディオデコーダ７９は、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報に基づいて、オーディオデータバッファ７４に保持されるオーディオデータを所定の復号化方式でデコードする。オーディオデコーダ７９は、デコード後のデジタル音声信号を制御部４１に出力する。ビデオデコーダ８０は、ＰＥＳヘッダ中のＤＴＳもしくはＰＴＳが指定するデコードのタイミング時刻情報に基づいて、ビデオデータバッファ７５に保持されるオーディオデータを所定の復号化方式でデコードする。ビデオデコーダ８０は、デコード後のデジタル映像信号を制御部４１に出力する。字幕デコーダ８１は、字幕文分割部７７が字幕文を分割する場合には、字幕文分割部７７から字幕データのうちの字幕管理データおよび分割後の字幕文データを取得し、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報を基準とした再生時刻PTSn（PTSn＝ PTS + Pi * (n -1) # nは分割した字幕文データの番号）に、各字幕管理データ分割後の字幕データを所定の復号化方式でデコードする。一方、字幕デコーダ８１は、字幕文分割部７７が字幕文を分割しない場合、字幕データバッファ７６に保持される字幕データを取得し、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報に基づいて字幕データを所定の復号化方式でデコードする。字幕デコーダ８１は、デコード後のデジタル字幕信号を制御部４１に出力する。なお、制御部４１は、デジタル映像信号に基づく映像およびデジタル字幕信号に基づく字幕の表示領域をプレーンと呼ばれる論理的な表示領域として管理する。また、制御部４１がフルセグ放送波に基づく映像および字幕をメインディスプレイ１７に表示させる場合、表示駆動部６１の画像合成回路５２は映像と字幕を合成し、メインディスプレイ１７は、映像と字幕の合成結果を表示する。
【００４０】
字幕文表示時刻取得部７３は、ＴＳバッファ７１に保持されるＴＳ信号の中から字幕データに関するＴＳ信号を抽出し、字幕データに関するＴＳパケットのペイロードに含まれるＰＥＳを取り出す。字幕文表示時刻取得部７３は、字幕データに関するＰＥＳのＰＥＳヘッダに含まれるＰＴＳを取得し、字幕文分割部７７が分割する対象となる字幕文の次の字幕文（次々回送出される字幕文）の表示時刻を取得する。字幕文表示時刻取得部７３は、次々回送出される字幕文の表示時刻に関する情報を字幕文分割部７７に出力する。
【００４１】
字幕文分割部７７は、文字サイズ・表示領域設定部７８から文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）に関する設定情報を取得するとともに、字幕データバッファ７６から字幕管理データと字幕文データを含む字幕データおよび字幕データのＰＴＳが示す表示時刻を取得し、字幕文の文字サイズを文字サイズＣｓに設定した場合における字幕文の表示領域が表示領域Ｐａよりも大きい場合、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する。字幕文分割部７７は、分割後の字幕データを字幕デコーダ８１に出力する。
【００４２】
文字サイズ・表示領域設定部７８は、制御部４１の制御に従い、文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）を設定し、文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）に関する設定情報を字幕文分割部７７に供給する。なお、文字サイズＣｓはドット単位で設定され、表示領域Ｐａは横がＸドットで縦がＹドットのように設定される。また、文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）は、フルセグ放送波の番組再生中であっても、待ち受け中であっても、ユーザが操作キー１４を操作することにより設定画面上で任意の値に変更することができる。勿論、文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）は固定値でもよい。文字サイズ・表示領域設定部７８は、字幕の表示領域Ｐａを設定する場合に、メインディスプレイ１７が字幕文を表示領域Ｐａに表示する際の原点となる字幕文表示位置を設定する。図５（Ａ）と（Ｂ）は、文字サイズ・表示領域設定部７８が設定する表示領域Ｐａと字幕文表示位置の例を表している。図５（Ａ）の場合、字幕の表示領域Ｐａが表示画面の下部に設定される。このとき、文字サイズ・表示領域設定部７８は、メインディスプレイ１７が字幕文を表示領域Ｐａに表示する際の原点となる字幕文表示位置Ｍを設定する。なお、字幕の表示領域Ｐａは、映像が表示されない映像非表示領域である。図５（Ｂ）の場合、字幕の表示領域Ｐａが表示画面の右部に設定される。このとき、文字サイズ・表示領域設定部７８は、メインディスプレイ１７が字幕文を表示領域Ｐａに表示する際の原点となる字幕文表示位置Ｎを設定する。なお、字幕の表示領域Ｐａは、映像が表示される表示領域の一部分と重なっていてもよい。勿論、映像が表示されない映像非表示領域が設定されている場合に、字幕の表示領域Ｐａを映像非表示領域中に設定することで、より視認性を高めることができる。ユーザが操作キー１４を操作することにより設定画面上で任意の値および位置を設定しない場合、文字サイズ・表示領域設定部７８は、デフォルトの値および位置で設定する。なお、文字サイズ・表示領域設定部７８は、表示領域Ｐａを、メインディスプレイ１７の解像度と表示する映像の解像度の差分（映像非表示領域）として設定するようにしてもよい。また、字幕の表示領域Ｐａは、表示画面上で複数の表示領域に分割されてもよい。
【００４３】
図６のフローチャートを参照して、図３および図４の携帯電話機１における字幕文表示処理について説明する。図６の字幕文表示処理と並列して、フルセグ受信部５２はフルセグ放送波を受信し、地デジ処理部５３の分離部７２はＴＳ信号を各メディアに分離する。また、図６の字幕文表示処理と並列して、オーディオデコーダ７９とビデオデコーダ８０はそれぞれオーディオデータとビデオデータを所定の復号化方式でデコードする。
【００４４】
ステップＳ１において、字幕文分割部７７は、文字サイズ・表示領域設定部７８から文字サイズＣｓ、表示領域Ｐａ、字幕文表示間隔Ｐｉ（ｍｓｅｃ）、および字幕文表示位置に関する設定情報を取得する。
【００４５】
ステップＳ２において、字幕文分割部７７は、字幕データバッファ７６に保持される字幕データを取得するとともに、字幕データに関するＰＥＳのＰＥＳヘッダに含まれるＰＴＳに基づいて、字幕文表示時刻に関する情報を取得する。なお、字幕文分割部７７が字幕データバッファ７６から取得する字幕データには、字幕管理データと字幕文データが含まれる。
【００４６】
ステップＳ３において、字幕文分割部７７は、文字サイズＣｓに関する設定情報に基づいて、字幕データに含まれる字幕文データに関する文字の文字サイズを拡大する。具体的には、字幕文分割部７７は、字幕データに含まれる字幕文データに関する文字の文字サイズをすべて文字サイズＣｓに拡大する。勿論、このような場合に限られず、字幕文分割部７７は、字幕データに含まれる字幕文データに関する文字の文字サイズのうち、最小サイズまたは中間サイズの文字の文字サイズを文字サイズＣｓに拡大し、最小サイズまたは中間サイズの文字以外の文字の文字サイズを文字サイズＣｓを基準に元の文字サイズに比例して拡大するようにしてもよい。なお、本発明の実施形態においては、字幕文分割部７７が字幕データに含まれる字幕文データに関する文字の文字サイズをすべて文字サイズＣｓに拡大する場合について説明する。
【００４７】
ステップＳ４において、字幕文分割部７７は、字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域を算出する。図７（Ａ）と（Ｂ）は、字幕文分割部７７が字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域の算出方法を説明するための説明図である。図７（Ａ）が示すように、字幕プレーン上に位置する各文字のＸＹ座標のそれぞれの最小値と最大値を抽出し、抽出されたＸＹ座標の最小値と最大値に基づいて４点によって囲まれる矩形領域を算出し、矩形領域を字幕文の表示領域として算出する。図７（Ａ）の場合、字幕文分割部７７は、４点ＰＱＲＳによって囲まれる矩形領域を字幕文の表示領域として算出する。また、図７（Ｂ）が示すように表示領域が複数に分かれている場合には、字幕文分割部７７は、それぞれの矩形領域を算出し、算出された各矩形領域を加算した領域を字幕文の表示領域として算出する。
【００４８】
ステップＳ５において、字幕文分割部７７は、字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域が表示領域Ｐａのサイズよりも大きいか否かを判定する。ステップＳ５において字幕文分割部７７が字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域が表示領域Ｐａのサイズよりも大きいと判定した場合、字幕文分割部７７はステップＳ６で、字幕文表示時間算出処理を実行する。字幕文分割部７７が実行する字幕文表示時間算出処理の詳細は、図８に示される。
【００４９】
図８のフローチャートを参照して、字幕文分割部７７における字幕文表示時間算出処理について説明する。
【００５０】
ステップＳ２１において、字幕文分割部７７は、ＴＳバッファ７１に字幕データ（すなわち、次々回送出する字幕データ）が保持されているか否かを判定する。ステップＳ２１において字幕文分割部７７がＴＳバッファ７１に字幕データが保持されていると判定した場合、字幕文分割部７７はステップＳ２２で、字幕文表示時刻取得部７３から、次々回送出される字幕文の表示時刻に関する情報を取得する。ステップＳ２３において、字幕文分割部７７は、分割対象となる字幕文の表示時刻に関する情報と、ステップＳ２２で取得された次々回送出される字幕文の表示時刻に関する情報に基づいて、字幕文表示時間Ｐｔを算出する。具体的には、字幕文分割部７７は、［数１］が示すように、字幕文表示時間Ｐｔを、次々回送出される字幕文の表示時刻と分割対象となる字幕文の表示時刻の差分として算出する。
［数１］
字幕文表示時間Ｐｔ
＝次々回送出される字幕文の表示時刻−分割対象となる字幕文の表示時刻
【００５１】
一方、ステップＳ２１において字幕文分割部７７がＴＳバッファ７１に字幕データが保持されていないと判定した場合、字幕文分割部７７はステップＳ２４で、［数２］が示すように、予め設定されたＴＳバッファ７１のバッファリング時間に０．５ｓｅｃを加算した時間を字幕表示時間Ｐｔとして算出する。なお、０．５ｓｅｃは、字幕文の表示時刻とＴＳバッファ７１へのＴＳ信号の入力完了時刻との差分であり、ＡＲＩＢ規定値である。 ［数２］
字幕文表示時間Ｐｔ
＝ＴＳバッファ７１のバッファリング時間＋０．５ｓｅｃ
【００５２】
その後、処理は図６に戻る。なお、字幕文分割部７７は、次回と次々回に送出される字幕文表示時刻に関する情報のいずれも字幕文表示時刻取得部７３から取得するようにしてもよい。
【００５３】
ステップＳ７において、字幕文分割部７７は、字幕文分割処理を実行する。字幕文分割処理の詳細は、図９に示される。図９のフローチャートを参照して、字幕文分割部７７における字幕文分割処理について説明する。ステップＳ３１において、字幕文分割部７７は、字幕文表示時間Ｐｔと字幕文表示間隔Ｐｉを用いて最大字幕文分割数Ｄｎを算出する。具板的には、字幕文分割部７７は、［数３］が示すように、字幕文表示時間Ｐｔを字幕文表示間隔Ｐｉで除算して最大字幕文分割数Ｄｎを算出する。
［数３］
最大字幕文分割数Ｄｎ＝字幕文表示時間Ｐｔ／字幕文表示間隔Ｐｉ
【００５４】
ステップＳ３２において、字幕文分割部７７は、最大字幕文分割数Ｄｎを分割個数の上限としつつ、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する。字幕文分割部７７は、分割後の字幕データを字幕管理データと合わせて字幕データとして字幕デコーダ８１に出力する。その後、処理は図６に戻る。
【００５５】
なお、字幕文分割部７７が字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する場合、字幕文分割部７７は、文字数を基に均等分割してもよいし、改行情報に基づいて行単位で分割してもよい。また、字幕文分割部７７は、例えば発言者ごとの文字色を基に分割してもよいし、上記の分割方法を複数組み合わせても良い。
【００５６】
ステップＳ５において字幕文分割部７７が字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域が表示領域Ｐａのサイズ以下であると判定した場合、ステップＳ６の字幕文表示時間算出処理とステップＳ６の字幕文分割処理はスキップされる。ステップＳ８において、字幕デコーダ８１は、字幕文分割部７７が字幕文を分割する場合には、字幕文分割部７７から字幕データのうちの字幕管理データおよび分割後の字幕文データを取得し、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報に基づいて、字幕管理データと分割後の字幕文データを含む字幕データを所定の復号化方式でデコードする。字幕デコーダ８１は、字幕文分割部７７が字幕文を分割しない場合、字幕データバッファ７６に保持される字幕データを取得し、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報に基づいて字幕データを所定の復号化方式でデコードする。字幕デコーダ８１は、デコード後のデジタル字幕信号を制御部４１に出力する。
【００５７】
ステップＳ９において、制御部４１は、地デジ処理部５３からのデジタル音声信号とともに、デジタル映像信号とデジタル字幕信号を取得し、取得されたデジタル音声信号ＰＣＭコーデック３８に出力するとともに、取得されたデジタル映像信号とデジタル字幕信号を表示駆動部６１に出力する。表示駆動部６１の画像合成回路５２は、制御部４１の制御に従い、デジタル映像信号とデジタル字幕信号を合成してデジタル映像合成信号を生成する。ステップＳ１０において、メインディスプレイ１７は、映像と字幕の合成結果であるデジタル映像合成信号に基づく映像と字幕を表示する。なお、映像は映像表示領域に表示され、字幕は字幕の表示領域Ｐａに表示される。このとき、映像表示領域と字幕の表示領域Ｐａは重なっていてもよい。
【００５８】
なお、図９の場合、字幕文分割部７７は、最大字幕文分割数Ｄｎを分割個数の上限としつつ、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する。しかし、分割後の字幕文の表示領域が表示領域Ｐａよりも大きい場合には、字幕文の表示領域を縮小するようにしてもよい。すなわち、図１０に示されるように、ステップＳ５３において字幕文分割部７７が分割後の字幕文の表示領域が表示領域Ｐａよりも大きいと判定した場合、ステップＳ５４において字幕文分割部７７が、文字サイズの縮小や、改行を削除してスペースに変換することや複数の行を連結することによって、字幕文の表示領域を表示領域Ｐａ以下になるように縮小するようにしてもよい。
【００５９】
ところで、図４においては、フルセグ受信部５２がＴＳ信号を地デジ処理部５３に供給する場合を想定しているが、このような場合に限られず、例えばフルセグ受信部５２がＴＳ信号を直接制御部４１に出力し、制御部４１が記憶部４２に一旦記憶させた後、地デジ処理部５３が記憶部４２のＴＳ信号ファイルからＴＳ信号を読み出してデコードするようにしてもよい。これにより、処理を簡略化することができ、デバイスサイズを小型化することができる。この場合における地デジ処理部５３の構成は、図１１に示される。
【００６０】
図１１は、図３の地デジ処理部５３の内部の他の詳細な構成を表している。なお、図４の地デジ処理部５３の構成と対応するものについては同一の符号を付しており、その説明は繰り返しになるので省略する。
【００６１】
ＴＳバッファ７１は、記憶部４２のＴＳ信号ファイル９１が記憶するＴＳ信号を一時的に保持する（バッファリングする）。なお、図１１の地デジ処理部５３の場合、字幕文分割部７７は、記憶部４２が記憶する字幕情報ファイル９２から次回の字幕文の表示時刻に関する情報と、次々回の字幕文の表示時刻に関する情報を取得する。字幕情報は、フルセグ受信部５２が受信する放送局からのフルセグ放送波に付加情報として予め含まれており、記憶部４２がＴＳ信号ファイル９１にＴＳ信号を記憶する際に同時に字幕情報ファイル９２に字幕情報を記憶する。字幕情報には、各字幕文の表示時刻に関する情報が少なくとも含まれている。なお、携帯電話機１がフルセグ放送波を受信してＴＳ信号を生成した後に、ＴＳ信号から字幕情報を生成し、生成されたＴＳ信号と字幕情報をそれぞれＴＳ信号ファイル９１と字幕情報ファイル９２に記憶するようにしてもよい。
【００６２】
図１２のフローチャートを参照して、図１１の字幕文分割部７７における字幕文表示時間算出処理について説明する。なお、図３および図１１の携帯電話機１における字幕文表示処理は図６が示す字幕文表示処理と同様であり、その説明は繰り返しなるので重複する部分については省略する。
【００６３】
ステップＳ７１において、字幕文分割部７７は、字幕情報ファイル９２から、次回送出される字幕文（すなわち、分割対象である字幕文）の表示時刻に関する情報、および次々回送出される字幕文の表示時刻に関する情報を取得する。ステップＳ７２において、字幕文分割部７７は、分割対象となる字幕文の表示時刻に関する情報と、次々回送出される字幕文の表示時刻に関する情報に基づいて、字幕文表示時間Ｐｔを算出する。算出方法は、図８のステップＳ２２の処理と同様である。
【００６４】
ところで、図４と図１１の地デジ処理部５３の場合、字幕文分割部７７は、字幕文表示時間Ｐｔを字幕文表示間隔Ｐｉで除算して最大字幕文分割数Ｄｎを算出し、最大字幕文分割数Ｄｎを分割個数の上限としつつ、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する。しかし、このような場合に限られない。すなわち、字幕文分割部７７は、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を所定の分割数Ｄｎ´に分割する。そして、字幕文分割部７７は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、字幕文の再生速度を調整するようにする。すなわち、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、携帯電話機１は、映像の再生速度を基準となる基準再生速度Ｔよりも遅くすることにより、再生速度が基準再生速度Ｔよりも遅くなった分に応じて字幕文表示時間Ｐｔを延長させて字幕文表示時間Ｐｔ´とし、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔ´以下になるようにする。この場合における地デジ処理部５３の構成は、図１３に示される。
【００６５】
図１３は、図３の地デジ処理部５３の内部の他の詳細な構成を表している。なお、図４の地デジ処理部５３の構成と対応するものについては同一の符号を付しており、その説明は繰り返しになるので省略する。
【００６６】
字幕文分割部７７は、文字サイズ・表示領域設定部７８から文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）に関する設定情報を取得するとともに、字幕データバッファ７６から字幕管理データと字幕文データを含む字幕データおよび字幕データのＰＴＳが示す表示時刻を取得し、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を所定の分割数Ｄｎ´に分割する。字幕文分割部７７は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、字幕文の再生速度を調整するために再生速度制御部１０１に対して再生速度制御開始信号を生成し、生成された再生速度制御信号を再生速度制御部１０１に出力する。字幕文分割部７７は、分割後の字幕データを字幕デコーダ８１に出力する。
【００６７】
再生速度制御部１０１は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、字幕文分割部７７からの再生速度制御信号に基づいて、映像の再生速度を基準となる基準再生速度Ｔよりも遅くすることにより、再生速度が基準再生速度Ｔよりも遅くなった分に応じて字幕文表示時間Ｐｔを延長させて字幕文表示時間Ｐｔ´とし、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔ´以下にする。より具体的には、再生速度制御部１０１は、字幕文分割部７７からの再生速度制御信号に基づいて、オーディオデコーダ７９、ビデオデコーダ８０、および字幕デコーダ８１を制御し、各デコーダのデコード速度を基準となる基準デコード速度よりも遅延させ、映像の再生速度を基準となる基準再生速度Ｔよりも遅延させる。
【００６８】
図１４のフローチャートを参照して、図１３の地デジ処理部５３における字幕文分割処理について説明する。なお、図３および図１３の携帯電話機１における字幕文表示処理は図６が示す字幕文表示処理と同様であり、その説明は繰り返しなるので重複する部分については省略する。
【００６９】
ステップＳ１０１において、字幕文分割部７７は、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を所定の分割数Ｄｎ´に分割する。ステップＳ１０２において、字幕文分割部７７は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きいか否かを判定する。ステップＳ１０２において字幕文分割部７７が字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きいと判定した場合、字幕文分割部７７はステップＳ１０３で、字幕文の再生速度を調整するために再生速度制御部１０１に対して再生速度制御開始信号を生成し、生成された再生速度制御信号を再生速度制御部１０１に出力する。再生速度制御開始信号は再生速度制御を開始する旨の信号であり、再生速度制御開始信号には、少なくとも字幕文の分割数Ｄｎ´に関する情報が含まれる。字幕文分割部７７は、分割後の字幕データを字幕管理データと合わせて字幕データとして字幕デコーダ８１に出力する。
【００７０】
再生速度制御部１０１は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、字幕文分割部７７からの再生速度制御信号を取得する。再生速度制御部１０１は、文字サイズ・表示領域設定部７８から字幕文表示間隔Ｐｉに関する設定情報を取得し、字幕文分割部７７からの再生速度制御開始信号に基づいて、映像の再生速度を基準となる基準再生速度Ｔよりも遅くすることにより、再生速度が基準再生速度Ｔよりも遅くなった分に応じて字幕文表示時間Ｐｔを延長させて字幕文表示時間Ｐｔ´とし、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔ´以下にする。より具体的には、再生速度制御部１０１はステップＳ１０４で、字幕文分割部７７からの再生速度制御信号に基づき、字幕文表示間隔Ｐｉに関する情報と分割数Ｄｎ´に関する情報を用いて、図６のステップＳ６における字幕文表示時間算出処理により算出された字幕文表示時間Ｐｔが字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間以上になるような調整再生速度Ｔ´の基準再生速度Ｔに対する倍率α（＝調整再生速度Ｔ´／基準再生速度Ｔ）を算出する。調整再生速度Ｔの算出方法は、［数４］に示される。
［数４］
倍率α＝字幕文表示時間Ｐｔ／（字幕文表示間隔Ｐｉ×分割数Ｄｎ´）
【００７１】
例えば字幕文表示時間Ｐｔが８ｓであるとし、かつ、字幕文表示間隔Ｐｉ×分割数Ｄｎ´が１０ｓであるとすると、倍率αは０．８となる。すなわち、字幕文表示時間算出処理により算出された字幕文表示時間Ｐｔが字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間以上になるような調整再生速度Ｔ´は、基準再生速度Ｔの０．８倍以下の速度となる。そして、再生速度制御部１０１は、算出された倍率αを参照して、字幕文表示時間算出処理により算出された字幕文表示時間Ｐｔが字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間以上になるような調整再生速度Ｔ´を設定する。これにより、再生速度が基準再生速度Ｔよりも遅くなった分に応じて字幕文表示時間Ｐｔを延長させて字幕文表示時間Ｐｔ´にすることができる。
【００７２】
再生速度制御部１０１は、設定された調整再生速度Ｔ´の基準再生速度Ｔに対する倍率αに基づいてオーディオデコーダ７９、ビデオデコーダ８０、および字幕デコーダ８１を制御し、各デコーダのデコード速度を基準となる基準デコード速度よりも遅延させ、字幕の再生速度に合わせて映像および音声の再生速度を基準再生速度Ｔよりも遅延させる。
【００７３】
一方、ステップＳ１０２において字幕文分割部７７が字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔ以下であると判定した場合、ステップＳ１０３およびステップＳ１０４の処理はスキップされる。その後、処理は図６に戻る。これにより、遅延した調整再生速度Ｔ´で映像、字幕および音声が再生される。
【００７４】
なお、映像の再生速度だけでなく音声の再生速度も遅延させるようにしたが、このような場合に限られず、ビデオデコーダ８０と字幕デコード８１のデコード速度のみを遅延させ、字幕の再生速度に合わせて映像の再生速度のみを遅延させるようにしてもよい。
【００７５】
本発明の実施形態においては、フルセグ受信部５２は、地上デジタル放送波を受信し、地デジ処理部５３の分離部７２は、受信された地上デジタル放送波に基づくＴＳ信号を生成し、生成されたＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離し、文字サイズ・表示領域設定部７８は、字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、字幕文の表示領域を表示領域Ｐａに設定し、字幕文の表示間隔を表示間隔Ｐｉに設定し、および字幕文の表示位置を設定し、字幕文分割部７７は、字幕文の文字サイズを文字サイズＣｓに設定することにより字幕文の表示領域が表示領域Ｐａよりも大きくなる場合、字幕文の表示時間Ｐｔを算出し、字幕文の表示時間Ｐｔと字幕文表示間隔Ｐｉを用いて字幕文の最大分割数Ｄｎを算出し、算出された字幕文の最大分割数Ｄｎを上限としつつ、字幕文の表示領域が表示領域Ｐａ以下の大きさになるように字幕文を分割し、各デコーダは、分離されたオーディオデータ、ビデオデータ、および分割後の字幕データを所定の復号化方式で復号化し、メインディスプレイ１７は、復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を表示領域Ｐａに表示することができる。
【００７６】
これにより、地上デジタル放送波における字幕の文字列の視認性を好適に向上させることができる。
【００７７】
なお、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。
【００７８】
また、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。さらに、本発明の実施形態に記載した構成を適宜組み合わせるようにしてもよい。
【符号の説明】
【００７９】
１…携帯電話機、１１…ヒンジ部、１２…第１の筐体、１３…第２の筐体、１４…スピーカ、１５…サイドキー、１６…防犯ブザースイッチ、１６ａ…防犯ブザースイッチ１６の端部、１７…プルトップ式タブ、１９…レシーバ、２０…マイクロフォン、２１…操作キー、２２…メインディスプレイ、２３…サブディスプレイ、２４…ＣＣＤカメラ、２５…センサ群、３１…アンテナ、３２…アンテナ共用器（ＤＵＰ）、３３…受信回路（ＲＸ）、３４…周波数シンセサイザ（ＳＹＮ）、３５…送信回路（ＴＸ）、３６…ＣＤＭＡ信号処理部、３７…圧縮伸張処理部、３８…ＰＣＭコーデック、３９…受話増幅器、４０…送話増幅器、４１…制御部、４２…記憶部、４３…バッテリ、４４…電源回路、４７…時計回路、５０…スピーカ、５１…アンテナ、５２…フルセグ受信部、５３…地デジ処理部、６１…表示駆動部、６２…画像メモリ、６３…画像合成回路、６４…画像データ転送回路、７１…ＴＳバッファ、７２…分離部、７３…字幕文表示時刻取得部、７４…オーディオデータバッファ、７５…ビデオデータバッファ、７６…字幕データバッファ、７７…字幕文分割部、７８…文字サイズ・表示領域設定部、７９…オーディオデコーダ、８０…ビデオデコーダ、８１…字幕デコーダ、９１…ＴＳ信号ファイル、９２…字幕情報ファイル、１０１…再生速度制御部。
【技術分野】
【０００１】
本発明は携帯端末および情報処理方法に係り、特に、地上デジタル放送における字幕の文字列の視認性を向上させることができるようにした携帯端末および情報処理方法に関する。
【背景技術】
【０００２】
近年、情報処理装置としての携帯電話機は、単なる通話による通信機能を備えるだけでなく、アドレス帳機能、基地局やインターネットを介したメール機能や、Ｗｅｂページなどを閲覧することが可能なブラウザ機能、さらにはオーディオデータを聞くことができる音楽制御機能や、携帯機器向けの地上デジタルワンセグメント（以下ワンセグ（登録商標）と称する）放送を受信することができる機能などを備え、今後は固定機向けの地上デジタルフルセグメント（以下フルセグと称する）放送を受信する機能の搭載も検討されている。
【０００３】
地上デジタル放送は字幕放送に対応しており、フルセグ放送字幕（ARIB TR-B14 Aプロファイル）とワンセグ放送字幕（ARIB TR-B14 Cプロファイル）では仕様が異なり、フルセグ放送字幕のほうが一画面に表示できる文字数や装飾機能が豊富である。
【０００４】
携帯端末でフルセグ放送字幕を表示する方法としては、フルセグ放送字幕を画面サイズに合わせて縮小表示する方法と、ワンセグ放送字幕に変換して表示する方法がある。
【０００５】
ワンセグ放送字幕に変換する技術として、次のような技術が知られている（例えば特許文献１参照）。特許文献１に提案される技術によれば、デジタル放送用携帯字幕仕様変換装置は、固定受信機用字幕データを動作位置制御コード、文字列の表示状態等の条件によって文字列を分割し、分割を行った文字列を開始座標が基準点に近い順に並べ換え、各文字列の関連性をチェックして、関連性があると判断した文字列を結合することで文字ブロックを構築し、構築された文字ブロックが複数存在する場合には、それら文字ブロックのソートを行って送出順序を自動的に決定する。これにより、固定受信機向けの字幕表示仕様を携帯字幕仕様として、ブロック毎の表示順序が意味の通じる言葉となるように配列順序と表示タイミングを自動的に判別し編集することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１４２５６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
フルセグ放送字幕は画面サイズの大きい固定機を対象としているため、携帯端末で視聴する場合は、字幕の文字サイズが小さく字幕が読みにくくなったり、字幕と映像が重なることで映像が見にくくなってしまうという課題がある。
【０００８】
また特許文献１の技術を利用してワンセグ放送字幕に変換したとしても、フルセグ放送字幕はワンセグ放送字幕と比べて1画面に表示できる文字数や使用できる装飾機能が多いため、文字や装飾が欠落するという課題がある。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、地上デジタル放送における字幕の文字列や映像の視認性を好適に向上させることができる携帯端末および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の携帯端末は、上述した課題を解決するために、地上デジタル放送を受信する受信手段と、受信手段により受信された地上デジタル放送に基づくＴＳ信号を生成し、生成されたＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離する分離手段と、字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、字幕文の表示領域を表示領域Ｐａに設定し、字幕文の表示間隔を表示間隔Ｐｉに設定し、および字幕文の表示位置を設定する設定手段と、字幕文の文字サイズを文字サイズＣｓに設定することにより字幕文の表示領域が表示領域Ｐａよりも大きくなる場合、字幕文の表示領域が表示領域Ｐａ以下の大きさになるように字幕文を分割する分割手段と、分離されたオーディオデータ、ビデオデータ、および分割後の字幕データを所定の復号化方式で復号化する復号化手段と、復号化手段による復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を表示領域Ｐａに表示する表示手段とを備えることを特徴とする。
【００１１】
本発明の情報処理方法は、上述した課題を解決するために、地上デジタル放送を受信する受信ステップと、受信ステップの処理により受信された地上デジタル放送に基づくＴＳ信号を生成し、生成されたＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離する分離ステップと、字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、字幕文の表示領域を表示領域Ｐａに設定し、字幕文の表示間隔を表示間隔Ｐｉに設定し、および字幕文の表示位置を設定する設定ステップと、字幕文の文字サイズを文字サイズＣｓに設定することにより字幕文の表示領域が表示領域Ｐａよりも大きくなる場合、字幕文の表示領域が表示領域Ｐａ以下の大きさになるように字幕文を分割する分割ステップと、分離されたオーディオデータ、ビデオデータ、および分割後の字幕データを所定の復号化方式で復号化する復号化ステップと、復号化ステップの処理による復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を表示領域Ｐａに表示する表示ステップとを含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、地上デジタル放送における字幕の文字列や映像の視認性を好適に向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の概念を説明する説明図。
【図２】（Ａ）と（Ｂ）は、本発明に係る携帯端末に適用可能な携帯電話機の外観の構成を示す図。
【図３】本発明に係る情報処理装置に適用可能な携帯電話機の内部の構成を示すブロック図。
【図４】図３の地デジ処理部の内部の詳細な構成を示すブロック図。
【図５】（Ａ）と（Ｂ）は、文字サイズ・表示領域設定部が設定する表示領域Ｐａと字幕文表示位置の例を示す図。
【図６】図３および図４の携帯電話機における字幕文表示処理を説明するフローチャート。
【図７】字幕文分割部が字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域の算出方法を説明するための説明図。
【図８】字幕文分割部における字幕文表示時間算出処理を説明するフローチャート。
【図９】字幕文分割部における字幕文分割処理を説明するフローチャート。
【図１０】字幕文分割部における他の字幕文分割処理を説明するフローチャート。
【図１１】図３の地デジ処理部の内部の他の詳細な構成を示すブロック図。
【図１２】図１１の字幕文分割部における字幕文表示時間算出処理について説明する
【図１３】図３の地デジ処理部の内部の他の詳細な構成を示すブロック図。
【図１４】図１３の地デジ処理部における字幕文分割処理を説明するフローチャート。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の概念を説明する説明図である。地上デジタル放送に代表されるデジタル放送には、映像データ（ビデオデータ）や音声データ（オーディオデータ）以外に字幕データも含まれている。デジタル放送波を受信する受信機は、字幕データに含まれる字幕文を映像データに基づく映像に重畳して表示することが可能である。フルセグ放送を視聴可能な携帯電話機を例に実施例を述べる。
【００１５】
図１（Ａ）は、従来の携帯電話機がフルセグ放送波に基づく映像および字幕を表示する表示画面の表示例を表している。携帯電話機が有する比較的小さいサイズのディスプレイ上でフルセグ放送波を再生することは想定されていない。そのため、図１（Ａ）が示すように、携帯電話機が、携帯電話機が有する小さいサイズのディスプレイ上でフルセグ放送波に含まれる字幕をそのまま再生すると、携帯電話機が有するディスプレイよりも大きいサイズのディスプレイを有する固定用の受信機がフルセグ放送波を再生する場合に比べて、字幕に含まれる文字列の文字サイズが小さくなってしまう。その結果、ユーザは、携帯電話機が表示する字幕の文字列を読むことが困難になってしまう。また、フルセグ放送波に含まれる映像データに基づく映像と、字幕文データに基づく字幕文が重なり合ってしまい、ユーザにとって映像が見にくくなってしまう。
【００１６】
そこで、本実施形態では、携帯電話機がメインディスプレイに出力する字幕の文字列の文字サイズを拡大するとともに、字幕の文字列を所定の数に分割する。図１（Ｂ）は、本発明に係る携帯端末として適用可能な携帯電話機がフルセグ放送波に基づく映像および字幕を表示する表示画面の表示例を表している。これにより、携帯電話機が表示する字幕の文字列をユーザにとって読みやすくすることができるとともに、映像と字幕とが重なり合うことを解消することができる。その結果、地上デジタル放送波における字幕の文字列の視認性を好適に向上させることができる。
【００１７】
図２は、本発明に係る携帯端末として適用可能な携帯電話機１の外観の構成を表している。なお、図２（Ａ）は、携帯電話機１を約１８０度に見開いたときの正面から見た外観の構成を表しており、図２（Ｂ）は、携帯電話機１を見開いたときの側面から見た外観の構成を表している。
【００１８】
図２（Ａ）および（Ｂ）に示されるように、携帯電話機１は、中央のヒンジ部１１を境に第１の筐体１２と第２の筐体１３とがヒンジ結合されており、ヒンジ部１１を介して矢印Ｘ方向に折り畳み可能に形成される。携帯電話機１の内部の所定の位置には、送受信用のアンテナ（後述する図３のアンテナ３１）が設けられており、内蔵されたアンテナを介して基地局（図示せず）との間で電波を送受信する。
【００１９】
第１の筐体１２には、その表面に「０」乃至「９」の数字キー、発呼キー、リダイヤルキー、終話・電源キー、クリアキー、および電子メールキーなどの操作キー１４が設けられており、操作キー１４を用いて各種指示を入力することができる。
【００２０】
また、第１の筐体１２には、操作キー１４の下部にマイクロフォン１５が設けられており、マイクロフォン１５によって通話時のユーザの音声を集音する。さらに、第１の筐体１２には、携帯電話機１の操作を行うサイドキー１６が設けられている。
【００２１】
なお、第１の筐体１２は、背面側に図示しないバッテリパックが挿着されており、終話・電源キーがオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態に起動する。
【００２２】
一方、第２の筐体１３には、その正面にメインディスプレイ１７が設けられており、電波の受信状態、電池残量、電話帳として登録されている相手先名や電話番号及び送信履歴等の他、電子メールの内容、簡易ホームページ、ＣＣＤ（Charge Coupled Device）カメラで撮像した画像、外部のコンテンツサーバ（図示せず）より受信したコンテンツ、メモリカードに記憶されているコンテンツ、フルセグ放送波に基づく映像および字幕を表示することができる。また、メインディスプレイ１７の上部の所定の位置にはレシーバ（受話器）１８が設けられており、これにより、ユーザは音声通話することが可能である。なお、携帯電話機１の所定の位置には、レシーバ１８以外の音声出力部としてのスピーカ（図３のスピーカ５０）も設けられている。
【００２３】
また、第１の筐体１２と第２の筐体１３の内部の所定の位置には、携帯電話機１の状態を検知するための磁気センサ１９a、１９b、１９c、および１９dが設けられる。なお、メインディスプレイ１７は、例えば有機ＥＬにより構成されるディスプレイでもよいし、液晶ディスプレイ（Liquid Crystal Display）でもよい。
【００２４】
図３は、本発明に係る情報処理装置に適用可能な携帯電話機１の内部の構成を表している。図示せぬ基地局から送信されてきた無線信号は、アンテナ３１で受信された後、アンテナ共用器（ＤＵＰ）３２を介して受信回路（ＲＸ）３３に入力される。受信回路３３は、受信された無線信号を周波数シンセサイザ（ＳＹＮ）３４から出力された局部発振信号とミキシングして中間周波数信号に周波数変換（ダウンコンバート）する。そして、受信回路３３は、このダウンコンバートされた中間周波数信号を直交復調して受信ベースバンド信号を出力する。なお、周波数シンセサイザ３４から発生される局部発振信号の周波数は、制御部４１から出力される制御信号ＳＹＣによって指示される。
【００２５】
受信回路３３からの受信ベースバンド信号は、ＣＤＭＡ信号処理部３６に入力される。ＣＤＭＡ信号処理部３６は、図示せぬＲＡＫＥ受信機を備える。このＲＡＫＥ受信機では、受信ベースバンド信号に含まれる複数のパスがそれぞれの拡散符号（すなわち、拡散された受信信号の拡散符号と同一の拡散符号）で逆拡散処理される。そして、この逆拡散処理された各パスの信号は、位相が調整された後、コヒーレントＲａｋｅ合成される。Ｒａｋｅ合成後のデータ系列は、デインタリーブおよびチャネル復号（誤り訂正復号）が行われた後、２値のデータ判定が行われる。これにより、所定の伝送フォーマットの受信パケットデータが得られる。この受信パケットデータは、圧縮伸張処理部３７に入力される。
【００２６】
圧縮伸張処理部３７は、ＤＳＰ（Digital Signal Processor）などにより構成され、ＣＤＭＡ信号処理部３６から出力された受信パケットデータを図示せぬ多重分離部によりメディアごとに分離し、分離されたメディアごとのデータに対してそれぞれ復号処理を行う。例えば通話モードにおいては、受信パケットデータに含まれる通話音声などに対応するオーディオデータをスピーチコーデックにより復号する。また、例えばテレビ電話モードなどのように、受信パケットデータに動画像データが含まれていれば、この動画像データをビデオコーデックにより復号する。さらに、受信パケットデータがダウンロードコンテンツであれば、このダウンロードコンテンツを伸張した後、伸張されたダウンロードコンテンツを制御部４１に出力する。
【００２７】
復号処理により得られたデジタルオーディオ信号はＰＣＭコーデック３８に供給される。ＰＣＭコーデック３８は、圧縮伸張処理部３７から出力されたデジタルオーディオ信号をＰＣＭ復号し、ＰＣＭ復号後のアナログオーディオデータ信号を受話増幅器３９に出力する。このアナログオーディオ信号は、受話増幅器３９にて増幅された後、レシーバ１８により出力される。
【００２８】
圧縮伸張処理部３７によりビデオコーデックにて復号されたデジタル動画像信号は、制御部４１に入力される。制御部４１は、圧縮伸張処理部３７から出力されたデジタル動画像信号に基づく動画像を、表示駆動部６１に内蔵された画像メモリ６２（例えばＶＲＡＭなど）を介してメインディスプレイ１７に表示させる。このとき、デジタル動画像信号に基づく動画像は、必要に応じて、表示駆動部６１に内蔵された画像合成回路６３にて合成されるとともに、合成結果の合成画像は画像データ転送回路６４によってメインディスプレイ１７に転送される。この画像データ転送回路６４は、例えばＤＭＡ（Direct Memory Access）コントローラなどからなる。
【００２９】
なお、制御部４１は、受信された動画像データだけでなく、ＣＣＤカメラ２０により撮像された動画像データに関しても、表示駆動部６１の画像メモリ６２を介してメインディスプレイ１７に表示させることも可能である。
【００３０】
一方、通話モードにおいて、マイクロフォン１５に入力された話者（ユーザ）の音声信号（アナログオーディオ信号）は、送話増幅器４０により適正レベルまで増幅された後、ＰＣＭコーデック３８によりＰＣＭ符号化される。このＰＣＭ符号化後のデジタルオーディオ信号は、圧縮伸張処理部３７に入力される。また、ＣＣＤカメラ２０から出力される動画像信号は、制御部４１によりデジタル化されて圧縮伸張処理部３７に入力される。さらに、制御部４１にて作成されたテキストデータである電子メールも、圧縮伸張処理部３７に入力される。
【００３１】
圧縮伸張処理部３７は、ＰＣＭコーデック３８から出力されたデジタルオーディオ信号を所定の送信データレートに応じたフォーマットで圧縮符号化する。これにより、オーディオデータが生成される。また、圧縮伸張処理部３７は、制御部４１から出力されたデジタル動画像信号を圧縮符号化して動画像データを生成する。そして、圧縮伸張処理部３７は、これらのオーディオデータや動画像データを図示せぬ多重分離部で所定の伝送フォーマットに従って多重化した後にパケット化し、パケット化後の送信パケットデータをＣＤＭＡ信号処理部３６に出力する。なお、圧縮伸張処理部３７は、制御部４１から電子メールが出力された場合にも、この電子メールを送信パケットデータに多重化する。
【００３２】
ＣＤＭＡ信号処理部３６は、圧縮伸張処理部３７から出力された送信パケットデータに対し、送信チャネルに割り当てられた拡散符号を用いてスペクトラム拡散処理を施し、スペクトラム拡散処理後の出力信号を送信回路（ＴＸ）３５に出力する。送信回路３５は、スペクトラム拡散処理後の信号をＱＰＳＫ（Quadrature Phase Shift Keying）方式などのデジタル変調方式を使用して変調する。送信回路３５は、デジタル変調後の送信信号を、周波数シンセサイザ３４から発生される局部発振信号と合成して無線信号に周波数変換（アップコンバート）する。そして、送信回路３５は、制御部４１により指示される送信電力レベルとなるように、このアップコンバートにより生成された無線信号を高周波増幅する。この高周波増幅された無線信号は、アンテナ共用器３２を介してアンテナ３１に供給され、このアンテナ３１から図示せぬ基地局に向けて送信される。さらに、携帯電話機１には、現在の正確な現在の時刻を測定する時計回路（タイマ）４７が設けられている。
【００３３】
制御部４１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）などからなり、ＣＰＵは、ＲＯＭに記憶されているプログラムまたは記憶部４２からＲＡＭにロードされた、オペレーティングシステム（ＯＳ）を含む各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより携帯電話機１を統括的に制御する。ＲＡＭは、ＣＰＵが各種の処理を実行する上において必要なデータなどを適宜記憶する。
【００３４】
記憶部４２は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子やＨＤＤ（Hard Disc Drive）などからなり、制御部４１のＵＩ処理ＣＰＵにより実行される種々のアプリケーションプログラムや種々のデータ群を格納している。電源回路４４は、バッテリ４３の出力を基に所定の動作電源電圧Ｖｃｃを生成して各回路部に供給する。
【００３５】
また、フルセグ受信部５２は、チューナとＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調回路を備える。フルセグ受信部５２は、図示せぬ放送局からのフルセグ放送波をアンテナ５１を介して受信し、受信されたフルセグ放送波に対してＯＦＤＭ復調処理を施すことにより、フルセグ放送波に基づくＴＳ（Transport Stream）信号を生成する。なお、ＴＳ信号とは、ＭＰＥＧ−２システムで規定されるＴＳ形式の信号である。フルセグ受信部５２は、生成されたＴＳ信号を地デジ処理部５３に供給する。地デジ処理部５３は、フルセグ受信部５２からのフルセグ放送波に基づくＴＳ信号を、オーディオデータ（音声データ）とビデオデータ（映像データ）、および字幕データに関するメディアデータにそれぞれ分離する。地デジ処理部５３は、分離された各メディアデータに関するＰＥＳ（Packetized Elementary Stream）を復元する。地デジ処理部５３は、分離されたオーディオデータを地デジ処理部５３のオーディオデコーダ（図４のオーディオデコーダ７９）にて所定の復号化方式でデコードするとともに、分離されたビデオデータを地デジ処理部５３内のビデオデコーダ（図４のビデオデコーダ８０）にて所定の復号化方式でデコードし、さらに、分離された字幕データを地デジ処理部５３内の字幕デコーダ（図４の字幕デコーダ８１）にて所定の復号化方式でデコードする。地デジ処理部５３は、デコード後のデジタル音声信号とデコード後のデジタル映像信号（デジタル動画像信号）をそれぞれ制御部４１に供給する。
【００３６】
なお、フルセグ受信部５２が生成するＴＳ信号を直接制御部４１に出力し、記憶部４２がＴＳ信号をＴＳ信号ファイルとして記憶するようにしてもよい。
【００３７】
図４は、図３の地デジ処理部５３の内部の詳細な構成を表している。地デジ処理部５３は、ＴＳバッファ７１、分離部７２、字幕表示時刻情報取得部７３、オーディオデータバッファ７４、ビデオデータバッファ７５、字幕データバッファ７６、字幕文分割部７７、文字サイズ・表示領域設定部７８、オーディオデコーダ７９、ビデオデコーダ８０、および字幕デコーダ８１を備える。なお、図４においては、フルセグ受信部５２がＴＳ信号を地デジ処理部５３に供給する場合を想定している。
【００３８】
ＴＳバッファ７１は、フルセグ放送波受信部５２からのＴＳ信号を一時的に保持する（バッファリングする）。分離部７２は、ＴＳバッファ７１に保持されるＴＳ信号を読み出し、読み出されたＴＳ信号を、オーディオデータ（音声データ）とビデオデータ（映像データ）、および字幕データに関するメディアデータにそれぞれ分離する。分離部７２は、分離部７２のＰＩＤ（パケット識別子）フィルタ部に対して分離対象となるＰＩＤを設定し、同一のＰＩＤのＴＳパケットのペイロード（ＴＳパケットからＴＳヘッダが取り除かされた残余部分）を結合することにより各メディアのＰＥＳ（Packetized Elementary Stream）パケットを復元する。ＰＥＳヘッダの中には、ＰＴＳ（Presentation Time Stamp；同期用の再生時刻情報）が精度２７ＭＨｚで記述される。また、ＰＥＳヘッダの中には、ＤＴＳ（Decoding Time Stamp；デコードのタイミング時刻情報）も記述される。分離部７２は、分離されたオーディオデータに関するＰＥＳ、ビデオデータに関するＰＥＳ、および字幕データに関するＰＥＳをそれぞれオーディオデータバッファ７４、ビデオデータバッファ７５、および字幕データバッファ７６に出力する。オーディオデータバッファ７４、ビデオデータバッファ７５、および字幕データバッファ７６は、それぞれ、オーディオデータに関するＰＥＳ、ビデオデータに関するＰＥＳ、および字幕データに関するＰＥＳを一時的に保持する。なお、字幕データバッファ７６が一時的に保持する字幕データは、制御データを含む字幕管理データと、字幕文に関するデータを含む字幕文データからなる。字幕文データは、字幕文に関するデータを構成する８単位符号で符号化されており、文字符号列、表示書式、文字の表示位置、改行、文字サイズ、文字色、および背景色などに関する制御データからなる。表示書式には、９６０×５４０や７２０×４８０などのような字幕プレーンのサイズや、縦書きまたは横書きなどのような記述方法が含まれる。
【００３９】
オーディオデコーダ７９は、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報に基づいて、オーディオデータバッファ７４に保持されるオーディオデータを所定の復号化方式でデコードする。オーディオデコーダ７９は、デコード後のデジタル音声信号を制御部４１に出力する。ビデオデコーダ８０は、ＰＥＳヘッダ中のＤＴＳもしくはＰＴＳが指定するデコードのタイミング時刻情報に基づいて、ビデオデータバッファ７５に保持されるオーディオデータを所定の復号化方式でデコードする。ビデオデコーダ８０は、デコード後のデジタル映像信号を制御部４１に出力する。字幕デコーダ８１は、字幕文分割部７７が字幕文を分割する場合には、字幕文分割部７７から字幕データのうちの字幕管理データおよび分割後の字幕文データを取得し、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報を基準とした再生時刻PTSn（PTSn＝ PTS + Pi * (n -1) # nは分割した字幕文データの番号）に、各字幕管理データ分割後の字幕データを所定の復号化方式でデコードする。一方、字幕デコーダ８１は、字幕文分割部７７が字幕文を分割しない場合、字幕データバッファ７６に保持される字幕データを取得し、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報に基づいて字幕データを所定の復号化方式でデコードする。字幕デコーダ８１は、デコード後のデジタル字幕信号を制御部４１に出力する。なお、制御部４１は、デジタル映像信号に基づく映像およびデジタル字幕信号に基づく字幕の表示領域をプレーンと呼ばれる論理的な表示領域として管理する。また、制御部４１がフルセグ放送波に基づく映像および字幕をメインディスプレイ１７に表示させる場合、表示駆動部６１の画像合成回路５２は映像と字幕を合成し、メインディスプレイ１７は、映像と字幕の合成結果を表示する。
【００４０】
字幕文表示時刻取得部７３は、ＴＳバッファ７１に保持されるＴＳ信号の中から字幕データに関するＴＳ信号を抽出し、字幕データに関するＴＳパケットのペイロードに含まれるＰＥＳを取り出す。字幕文表示時刻取得部７３は、字幕データに関するＰＥＳのＰＥＳヘッダに含まれるＰＴＳを取得し、字幕文分割部７７が分割する対象となる字幕文の次の字幕文（次々回送出される字幕文）の表示時刻を取得する。字幕文表示時刻取得部７３は、次々回送出される字幕文の表示時刻に関する情報を字幕文分割部７７に出力する。
【００４１】
字幕文分割部７７は、文字サイズ・表示領域設定部７８から文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）に関する設定情報を取得するとともに、字幕データバッファ７６から字幕管理データと字幕文データを含む字幕データおよび字幕データのＰＴＳが示す表示時刻を取得し、字幕文の文字サイズを文字サイズＣｓに設定した場合における字幕文の表示領域が表示領域Ｐａよりも大きい場合、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する。字幕文分割部７７は、分割後の字幕データを字幕デコーダ８１に出力する。
【００４２】
文字サイズ・表示領域設定部７８は、制御部４１の制御に従い、文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）を設定し、文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）に関する設定情報を字幕文分割部７７に供給する。なお、文字サイズＣｓはドット単位で設定され、表示領域Ｐａは横がＸドットで縦がＹドットのように設定される。また、文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）は、フルセグ放送波の番組再生中であっても、待ち受け中であっても、ユーザが操作キー１４を操作することにより設定画面上で任意の値に変更することができる。勿論、文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）は固定値でもよい。文字サイズ・表示領域設定部７８は、字幕の表示領域Ｐａを設定する場合に、メインディスプレイ１７が字幕文を表示領域Ｐａに表示する際の原点となる字幕文表示位置を設定する。図５（Ａ）と（Ｂ）は、文字サイズ・表示領域設定部７８が設定する表示領域Ｐａと字幕文表示位置の例を表している。図５（Ａ）の場合、字幕の表示領域Ｐａが表示画面の下部に設定される。このとき、文字サイズ・表示領域設定部７８は、メインディスプレイ１７が字幕文を表示領域Ｐａに表示する際の原点となる字幕文表示位置Ｍを設定する。なお、字幕の表示領域Ｐａは、映像が表示されない映像非表示領域である。図５（Ｂ）の場合、字幕の表示領域Ｐａが表示画面の右部に設定される。このとき、文字サイズ・表示領域設定部７８は、メインディスプレイ１７が字幕文を表示領域Ｐａに表示する際の原点となる字幕文表示位置Ｎを設定する。なお、字幕の表示領域Ｐａは、映像が表示される表示領域の一部分と重なっていてもよい。勿論、映像が表示されない映像非表示領域が設定されている場合に、字幕の表示領域Ｐａを映像非表示領域中に設定することで、より視認性を高めることができる。ユーザが操作キー１４を操作することにより設定画面上で任意の値および位置を設定しない場合、文字サイズ・表示領域設定部７８は、デフォルトの値および位置で設定する。なお、文字サイズ・表示領域設定部７８は、表示領域Ｐａを、メインディスプレイ１７の解像度と表示する映像の解像度の差分（映像非表示領域）として設定するようにしてもよい。また、字幕の表示領域Ｐａは、表示画面上で複数の表示領域に分割されてもよい。
【００４３】
図６のフローチャートを参照して、図３および図４の携帯電話機１における字幕文表示処理について説明する。図６の字幕文表示処理と並列して、フルセグ受信部５２はフルセグ放送波を受信し、地デジ処理部５３の分離部７２はＴＳ信号を各メディアに分離する。また、図６の字幕文表示処理と並列して、オーディオデコーダ７９とビデオデコーダ８０はそれぞれオーディオデータとビデオデータを所定の復号化方式でデコードする。
【００４４】
ステップＳ１において、字幕文分割部７７は、文字サイズ・表示領域設定部７８から文字サイズＣｓ、表示領域Ｐａ、字幕文表示間隔Ｐｉ（ｍｓｅｃ）、および字幕文表示位置に関する設定情報を取得する。
【００４５】
ステップＳ２において、字幕文分割部７７は、字幕データバッファ７６に保持される字幕データを取得するとともに、字幕データに関するＰＥＳのＰＥＳヘッダに含まれるＰＴＳに基づいて、字幕文表示時刻に関する情報を取得する。なお、字幕文分割部７７が字幕データバッファ７６から取得する字幕データには、字幕管理データと字幕文データが含まれる。
【００４６】
ステップＳ３において、字幕文分割部７７は、文字サイズＣｓに関する設定情報に基づいて、字幕データに含まれる字幕文データに関する文字の文字サイズを拡大する。具体的には、字幕文分割部７７は、字幕データに含まれる字幕文データに関する文字の文字サイズをすべて文字サイズＣｓに拡大する。勿論、このような場合に限られず、字幕文分割部７７は、字幕データに含まれる字幕文データに関する文字の文字サイズのうち、最小サイズまたは中間サイズの文字の文字サイズを文字サイズＣｓに拡大し、最小サイズまたは中間サイズの文字以外の文字の文字サイズを文字サイズＣｓを基準に元の文字サイズに比例して拡大するようにしてもよい。なお、本発明の実施形態においては、字幕文分割部７７が字幕データに含まれる字幕文データに関する文字の文字サイズをすべて文字サイズＣｓに拡大する場合について説明する。
【００４７】
ステップＳ４において、字幕文分割部７７は、字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域を算出する。図７（Ａ）と（Ｂ）は、字幕文分割部７７が字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域の算出方法を説明するための説明図である。図７（Ａ）が示すように、字幕プレーン上に位置する各文字のＸＹ座標のそれぞれの最小値と最大値を抽出し、抽出されたＸＹ座標の最小値と最大値に基づいて４点によって囲まれる矩形領域を算出し、矩形領域を字幕文の表示領域として算出する。図７（Ａ）の場合、字幕文分割部７７は、４点ＰＱＲＳによって囲まれる矩形領域を字幕文の表示領域として算出する。また、図７（Ｂ）が示すように表示領域が複数に分かれている場合には、字幕文分割部７７は、それぞれの矩形領域を算出し、算出された各矩形領域を加算した領域を字幕文の表示領域として算出する。
【００４８】
ステップＳ５において、字幕文分割部７７は、字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域が表示領域Ｐａのサイズよりも大きいか否かを判定する。ステップＳ５において字幕文分割部７７が字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域が表示領域Ｐａのサイズよりも大きいと判定した場合、字幕文分割部７７はステップＳ６で、字幕文表示時間算出処理を実行する。字幕文分割部７７が実行する字幕文表示時間算出処理の詳細は、図８に示される。
【００４９】
図８のフローチャートを参照して、字幕文分割部７７における字幕文表示時間算出処理について説明する。
【００５０】
ステップＳ２１において、字幕文分割部７７は、ＴＳバッファ７１に字幕データ（すなわち、次々回送出する字幕データ）が保持されているか否かを判定する。ステップＳ２１において字幕文分割部７７がＴＳバッファ７１に字幕データが保持されていると判定した場合、字幕文分割部７７はステップＳ２２で、字幕文表示時刻取得部７３から、次々回送出される字幕文の表示時刻に関する情報を取得する。ステップＳ２３において、字幕文分割部７７は、分割対象となる字幕文の表示時刻に関する情報と、ステップＳ２２で取得された次々回送出される字幕文の表示時刻に関する情報に基づいて、字幕文表示時間Ｐｔを算出する。具体的には、字幕文分割部７７は、［数１］が示すように、字幕文表示時間Ｐｔを、次々回送出される字幕文の表示時刻と分割対象となる字幕文の表示時刻の差分として算出する。
［数１］
字幕文表示時間Ｐｔ
＝次々回送出される字幕文の表示時刻−分割対象となる字幕文の表示時刻
【００５１】
一方、ステップＳ２１において字幕文分割部７７がＴＳバッファ７１に字幕データが保持されていないと判定した場合、字幕文分割部７７はステップＳ２４で、［数２］が示すように、予め設定されたＴＳバッファ７１のバッファリング時間に０．５ｓｅｃを加算した時間を字幕表示時間Ｐｔとして算出する。なお、０．５ｓｅｃは、字幕文の表示時刻とＴＳバッファ７１へのＴＳ信号の入力完了時刻との差分であり、ＡＲＩＢ規定値である。 ［数２］
字幕文表示時間Ｐｔ
＝ＴＳバッファ７１のバッファリング時間＋０．５ｓｅｃ
【００５２】
その後、処理は図６に戻る。なお、字幕文分割部７７は、次回と次々回に送出される字幕文表示時刻に関する情報のいずれも字幕文表示時刻取得部７３から取得するようにしてもよい。
【００５３】
ステップＳ７において、字幕文分割部７７は、字幕文分割処理を実行する。字幕文分割処理の詳細は、図９に示される。図９のフローチャートを参照して、字幕文分割部７７における字幕文分割処理について説明する。ステップＳ３１において、字幕文分割部７７は、字幕文表示時間Ｐｔと字幕文表示間隔Ｐｉを用いて最大字幕文分割数Ｄｎを算出する。具板的には、字幕文分割部７７は、［数３］が示すように、字幕文表示時間Ｐｔを字幕文表示間隔Ｐｉで除算して最大字幕文分割数Ｄｎを算出する。
［数３］
最大字幕文分割数Ｄｎ＝字幕文表示時間Ｐｔ／字幕文表示間隔Ｐｉ
【００５４】
ステップＳ３２において、字幕文分割部７７は、最大字幕文分割数Ｄｎを分割個数の上限としつつ、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する。字幕文分割部７７は、分割後の字幕データを字幕管理データと合わせて字幕データとして字幕デコーダ８１に出力する。その後、処理は図６に戻る。
【００５５】
なお、字幕文分割部７７が字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する場合、字幕文分割部７７は、文字数を基に均等分割してもよいし、改行情報に基づいて行単位で分割してもよい。また、字幕文分割部７７は、例えば発言者ごとの文字色を基に分割してもよいし、上記の分割方法を複数組み合わせても良い。
【００５６】
ステップＳ５において字幕文分割部７７が字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域が表示領域Ｐａのサイズ以下であると判定した場合、ステップＳ６の字幕文表示時間算出処理とステップＳ６の字幕文分割処理はスキップされる。ステップＳ８において、字幕デコーダ８１は、字幕文分割部７７が字幕文を分割する場合には、字幕文分割部７７から字幕データのうちの字幕管理データおよび分割後の字幕文データを取得し、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報に基づいて、字幕管理データと分割後の字幕文データを含む字幕データを所定の復号化方式でデコードする。字幕デコーダ８１は、字幕文分割部７７が字幕文を分割しない場合、字幕データバッファ７６に保持される字幕データを取得し、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報に基づいて字幕データを所定の復号化方式でデコードする。字幕デコーダ８１は、デコード後のデジタル字幕信号を制御部４１に出力する。
【００５７】
ステップＳ９において、制御部４１は、地デジ処理部５３からのデジタル音声信号とともに、デジタル映像信号とデジタル字幕信号を取得し、取得されたデジタル音声信号ＰＣＭコーデック３８に出力するとともに、取得されたデジタル映像信号とデジタル字幕信号を表示駆動部６１に出力する。表示駆動部６１の画像合成回路５２は、制御部４１の制御に従い、デジタル映像信号とデジタル字幕信号を合成してデジタル映像合成信号を生成する。ステップＳ１０において、メインディスプレイ１７は、映像と字幕の合成結果であるデジタル映像合成信号に基づく映像と字幕を表示する。なお、映像は映像表示領域に表示され、字幕は字幕の表示領域Ｐａに表示される。このとき、映像表示領域と字幕の表示領域Ｐａは重なっていてもよい。
【００５８】
なお、図９の場合、字幕文分割部７７は、最大字幕文分割数Ｄｎを分割個数の上限としつつ、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する。しかし、分割後の字幕文の表示領域が表示領域Ｐａよりも大きい場合には、字幕文の表示領域を縮小するようにしてもよい。すなわち、図１０に示されるように、ステップＳ５３において字幕文分割部７７が分割後の字幕文の表示領域が表示領域Ｐａよりも大きいと判定した場合、ステップＳ５４において字幕文分割部７７が、文字サイズの縮小や、改行を削除してスペースに変換することや複数の行を連結することによって、字幕文の表示領域を表示領域Ｐａ以下になるように縮小するようにしてもよい。
【００５９】
ところで、図４においては、フルセグ受信部５２がＴＳ信号を地デジ処理部５３に供給する場合を想定しているが、このような場合に限られず、例えばフルセグ受信部５２がＴＳ信号を直接制御部４１に出力し、制御部４１が記憶部４２に一旦記憶させた後、地デジ処理部５３が記憶部４２のＴＳ信号ファイルからＴＳ信号を読み出してデコードするようにしてもよい。これにより、処理を簡略化することができ、デバイスサイズを小型化することができる。この場合における地デジ処理部５３の構成は、図１１に示される。
【００６０】
図１１は、図３の地デジ処理部５３の内部の他の詳細な構成を表している。なお、図４の地デジ処理部５３の構成と対応するものについては同一の符号を付しており、その説明は繰り返しになるので省略する。
【００６１】
ＴＳバッファ７１は、記憶部４２のＴＳ信号ファイル９１が記憶するＴＳ信号を一時的に保持する（バッファリングする）。なお、図１１の地デジ処理部５３の場合、字幕文分割部７７は、記憶部４２が記憶する字幕情報ファイル９２から次回の字幕文の表示時刻に関する情報と、次々回の字幕文の表示時刻に関する情報を取得する。字幕情報は、フルセグ受信部５２が受信する放送局からのフルセグ放送波に付加情報として予め含まれており、記憶部４２がＴＳ信号ファイル９１にＴＳ信号を記憶する際に同時に字幕情報ファイル９２に字幕情報を記憶する。字幕情報には、各字幕文の表示時刻に関する情報が少なくとも含まれている。なお、携帯電話機１がフルセグ放送波を受信してＴＳ信号を生成した後に、ＴＳ信号から字幕情報を生成し、生成されたＴＳ信号と字幕情報をそれぞれＴＳ信号ファイル９１と字幕情報ファイル９２に記憶するようにしてもよい。
【００６２】
図１２のフローチャートを参照して、図１１の字幕文分割部７７における字幕文表示時間算出処理について説明する。なお、図３および図１１の携帯電話機１における字幕文表示処理は図６が示す字幕文表示処理と同様であり、その説明は繰り返しなるので重複する部分については省略する。
【００６３】
ステップＳ７１において、字幕文分割部７７は、字幕情報ファイル９２から、次回送出される字幕文（すなわち、分割対象である字幕文）の表示時刻に関する情報、および次々回送出される字幕文の表示時刻に関する情報を取得する。ステップＳ７２において、字幕文分割部７７は、分割対象となる字幕文の表示時刻に関する情報と、次々回送出される字幕文の表示時刻に関する情報に基づいて、字幕文表示時間Ｐｔを算出する。算出方法は、図８のステップＳ２２の処理と同様である。
【００６４】
ところで、図４と図１１の地デジ処理部５３の場合、字幕文分割部７７は、字幕文表示時間Ｐｔを字幕文表示間隔Ｐｉで除算して最大字幕文分割数Ｄｎを算出し、最大字幕文分割数Ｄｎを分割個数の上限としつつ、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する。しかし、このような場合に限られない。すなわち、字幕文分割部７７は、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を所定の分割数Ｄｎ´に分割する。そして、字幕文分割部７７は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、字幕文の再生速度を調整するようにする。すなわち、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、携帯電話機１は、映像の再生速度を基準となる基準再生速度Ｔよりも遅くすることにより、再生速度が基準再生速度Ｔよりも遅くなった分に応じて字幕文表示時間Ｐｔを延長させて字幕文表示時間Ｐｔ´とし、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔ´以下になるようにする。この場合における地デジ処理部５３の構成は、図１３に示される。
【００６５】
図１３は、図３の地デジ処理部５３の内部の他の詳細な構成を表している。なお、図４の地デジ処理部５３の構成と対応するものについては同一の符号を付しており、その説明は繰り返しになるので省略する。
【００６６】
字幕文分割部７７は、文字サイズ・表示領域設定部７８から文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）に関する設定情報を取得するとともに、字幕データバッファ７６から字幕管理データと字幕文データを含む字幕データおよび字幕データのＰＴＳが示す表示時刻を取得し、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を所定の分割数Ｄｎ´に分割する。字幕文分割部７７は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、字幕文の再生速度を調整するために再生速度制御部１０１に対して再生速度制御開始信号を生成し、生成された再生速度制御信号を再生速度制御部１０１に出力する。字幕文分割部７７は、分割後の字幕データを字幕デコーダ８１に出力する。
【００６７】
再生速度制御部１０１は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、字幕文分割部７７からの再生速度制御信号に基づいて、映像の再生速度を基準となる基準再生速度Ｔよりも遅くすることにより、再生速度が基準再生速度Ｔよりも遅くなった分に応じて字幕文表示時間Ｐｔを延長させて字幕文表示時間Ｐｔ´とし、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔ´以下にする。より具体的には、再生速度制御部１０１は、字幕文分割部７７からの再生速度制御信号に基づいて、オーディオデコーダ７９、ビデオデコーダ８０、および字幕デコーダ８１を制御し、各デコーダのデコード速度を基準となる基準デコード速度よりも遅延させ、映像の再生速度を基準となる基準再生速度Ｔよりも遅延させる。
【００６８】
図１４のフローチャートを参照して、図１３の地デジ処理部５３における字幕文分割処理について説明する。なお、図３および図１３の携帯電話機１における字幕文表示処理は図６が示す字幕文表示処理と同様であり、その説明は繰り返しなるので重複する部分については省略する。
【００６９】
ステップＳ１０１において、字幕文分割部７７は、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を所定の分割数Ｄｎ´に分割する。ステップＳ１０２において、字幕文分割部７７は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きいか否かを判定する。ステップＳ１０２において字幕文分割部７７が字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きいと判定した場合、字幕文分割部７７はステップＳ１０３で、字幕文の再生速度を調整するために再生速度制御部１０１に対して再生速度制御開始信号を生成し、生成された再生速度制御信号を再生速度制御部１０１に出力する。再生速度制御開始信号は再生速度制御を開始する旨の信号であり、再生速度制御開始信号には、少なくとも字幕文の分割数Ｄｎ´に関する情報が含まれる。字幕文分割部７７は、分割後の字幕データを字幕管理データと合わせて字幕データとして字幕デコーダ８１に出力する。
【００７０】
再生速度制御部１０１は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、字幕文分割部７７からの再生速度制御信号を取得する。再生速度制御部１０１は、文字サイズ・表示領域設定部７８から字幕文表示間隔Ｐｉに関する設定情報を取得し、字幕文分割部７７からの再生速度制御開始信号に基づいて、映像の再生速度を基準となる基準再生速度Ｔよりも遅くすることにより、再生速度が基準再生速度Ｔよりも遅くなった分に応じて字幕文表示時間Ｐｔを延長させて字幕文表示時間Ｐｔ´とし、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔ´以下にする。より具体的には、再生速度制御部１０１はステップＳ１０４で、字幕文分割部７７からの再生速度制御信号に基づき、字幕文表示間隔Ｐｉに関する情報と分割数Ｄｎ´に関する情報を用いて、図６のステップＳ６における字幕文表示時間算出処理により算出された字幕文表示時間Ｐｔが字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間以上になるような調整再生速度Ｔ´の基準再生速度Ｔに対する倍率α（＝調整再生速度Ｔ´／基準再生速度Ｔ）を算出する。調整再生速度Ｔの算出方法は、［数４］に示される。
［数４］
倍率α＝字幕文表示時間Ｐｔ／（字幕文表示間隔Ｐｉ×分割数Ｄｎ´）
【００７１】
例えば字幕文表示時間Ｐｔが８ｓであるとし、かつ、字幕文表示間隔Ｐｉ×分割数Ｄｎ´が１０ｓであるとすると、倍率αは０．８となる。すなわち、字幕文表示時間算出処理により算出された字幕文表示時間Ｐｔが字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間以上になるような調整再生速度Ｔ´は、基準再生速度Ｔの０．８倍以下の速度となる。そして、再生速度制御部１０１は、算出された倍率αを参照して、字幕文表示時間算出処理により算出された字幕文表示時間Ｐｔが字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間以上になるような調整再生速度Ｔ´を設定する。これにより、再生速度が基準再生速度Ｔよりも遅くなった分に応じて字幕文表示時間Ｐｔを延長させて字幕文表示時間Ｐｔ´にすることができる。
【００７２】
再生速度制御部１０１は、設定された調整再生速度Ｔ´の基準再生速度Ｔに対する倍率αに基づいてオーディオデコーダ７９、ビデオデコーダ８０、および字幕デコーダ８１を制御し、各デコーダのデコード速度を基準となる基準デコード速度よりも遅延させ、字幕の再生速度に合わせて映像および音声の再生速度を基準再生速度Ｔよりも遅延させる。
【００７３】
一方、ステップＳ１０２において字幕文分割部７７が字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔ以下であると判定した場合、ステップＳ１０３およびステップＳ１０４の処理はスキップされる。その後、処理は図６に戻る。これにより、遅延した調整再生速度Ｔ´で映像、字幕および音声が再生される。
【００７４】
なお、映像の再生速度だけでなく音声の再生速度も遅延させるようにしたが、このような場合に限られず、ビデオデコーダ８０と字幕デコード８１のデコード速度のみを遅延させ、字幕の再生速度に合わせて映像の再生速度のみを遅延させるようにしてもよい。
【００７５】
本発明の実施形態においては、フルセグ受信部５２は、地上デジタル放送波を受信し、地デジ処理部５３の分離部７２は、受信された地上デジタル放送波に基づくＴＳ信号を生成し、生成されたＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離し、文字サイズ・表示領域設定部７８は、字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、字幕文の表示領域を表示領域Ｐａに設定し、字幕文の表示間隔を表示間隔Ｐｉに設定し、および字幕文の表示位置を設定し、字幕文分割部７７は、字幕文の文字サイズを文字サイズＣｓに設定することにより字幕文の表示領域が表示領域Ｐａよりも大きくなる場合、字幕文の表示時間Ｐｔを算出し、字幕文の表示時間Ｐｔと字幕文表示間隔Ｐｉを用いて字幕文の最大分割数Ｄｎを算出し、算出された字幕文の最大分割数Ｄｎを上限としつつ、字幕文の表示領域が表示領域Ｐａ以下の大きさになるように字幕文を分割し、各デコーダは、分離されたオーディオデータ、ビデオデータ、および分割後の字幕データを所定の復号化方式で復号化し、メインディスプレイ１７は、復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を表示領域Ｐａに表示することができる。
【００７６】
これにより、地上デジタル放送波における字幕の文字列の視認性を好適に向上させることができる。
【００７７】
なお、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。
【００７８】
また、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。さらに、本発明の実施形態に記載した構成を適宜組み合わせるようにしてもよい。
【符号の説明】
【００７９】
１…携帯電話機、１１…ヒンジ部、１２…第１の筐体、１３…第２の筐体、１４…スピーカ、１５…サイドキー、１６…防犯ブザースイッチ、１６ａ…防犯ブザースイッチ１６の端部、１７…プルトップ式タブ、１９…レシーバ、２０…マイクロフォン、２１…操作キー、２２…メインディスプレイ、２３…サブディスプレイ、２４…ＣＣＤカメラ、２５…センサ群、３１…アンテナ、３２…アンテナ共用器（ＤＵＰ）、３３…受信回路（ＲＸ）、３４…周波数シンセサイザ（ＳＹＮ）、３５…送信回路（ＴＸ）、３６…ＣＤＭＡ信号処理部、３７…圧縮伸張処理部、３８…ＰＣＭコーデック、３９…受話増幅器、４０…送話増幅器、４１…制御部、４２…記憶部、４３…バッテリ、４４…電源回路、４７…時計回路、５０…スピーカ、５１…アンテナ、５２…フルセグ受信部、５３…地デジ処理部、６１…表示駆動部、６２…画像メモリ、６３…画像合成回路、６４…画像データ転送回路、７１…ＴＳバッファ、７２…分離部、７３…字幕文表示時刻取得部、７４…オーディオデータバッファ、７５…ビデオデータバッファ、７６…字幕データバッファ、７７…字幕文分割部、７８…文字サイズ・表示領域設定部、７９…オーディオデコーダ、８０…ビデオデコーダ、８１…字幕デコーダ、９１…ＴＳ信号ファイル、９２…字幕情報ファイル、１０１…再生速度制御部。
【特許請求の範囲】
【請求項１】
地上デジタル放送波を受信する受信手段と、
前記受信手段により受信された前記地上デジタル放送波に基づくＴＳ信号を生成し、生成された前記ＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離する分離手段と、
字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、前記字幕文の表示領域を表示領域Ｐａに設定し、前記字幕文の表示間隔を表示間隔Ｐｉに設定し、および前記字幕文の表示位置を設定する設定手段と、
前記字幕文の文字サイズを前記文字サイズＣｓに設定することにより字幕文の表示領域が前記表示領域Ｐａよりも大きくなる場合、字幕文の表示領域が前記表示領域Ｐａ以下の大きさになるように前記字幕文を分割する分割手段と、
分離された前記オーディオデータ、前記ビデオデータ、および前記分割後の前記字幕データを所定の復号化方式で復号化する復号化手段と、
前記復号化手段による復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を前記表示領域Ｐａに表示する表示手段とを備えることを特徴とする携帯端末。
【請求項２】
前記字幕文の文字サイズを前記文字サイズＣｓに設定することにより字幕文の表示領域が前記表示領域Ｐａよりも大きくなる場合、前記字幕文の表示時間Ｐｔを算出し、前記字幕文の表示時間Ｐｔと前記字幕文表示間隔Ｐｉを用いて前記字幕文の最大分割数Ｄｎを算出する算出手段をさらに備え、
前記分割手段は、前記算出手段により算出された前記字幕文の最大分割数Ｄｎを上限としつつ、前記字幕文の表示領域が前記表示領域Ｐａ以下の大きさになるように前記字幕文を分割することを特徴とする請求項１に記載の携帯端末。
【請求項３】
前記ＴＳ信号を保持する保持手段をさらに備え、
前記算出手段は、前記保持手段により前記ＴＳ信号が保持される場合、前記表示手段がｎ＋１番目に表示する前記字幕文の表示時刻を前記保持手段により保持される前記ＴＳ信号から取得し、前記表示手段がｎ番目に表示する前記字幕文の表示時刻と前記表示手段がｎ＋１番目に表示する前記字幕文の表示時刻との差分を前記字幕文の表示時間Ｐｔとして算出することを特徴とする請求項２に記載の携帯端末。
【請求項４】
前記算出手段は、前記保持手段により前記ＴＳ信号が保持されていない場合、前記保持手段による前記ＴＳ信号の保持時間に基づいて前記字幕文の表示時間Ｐｔを算出することを特徴とする請求項２に記載の携帯端末。
【請求項５】
前記算出手段は、前記字幕文の表示時間Ｐｔを前記字幕文表示間隔Ｐｉで除算することにより前記字幕文の最大分割数Ｄｎを算出することを特徴とする請求項２に記載の携帯端末。
【請求項６】
前記分割手段が前記字幕文の表示領域を前記表示領域Ｐａの大きさごとに分割した場合における分割数Ｄｎ´に前記字幕文表示間隔Ｐｉを乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、前記表示手段が表示する前記映像の基準再生速度に対して所定の倍率を有する調整再生速度を用いて、前記表示手段が前記分割数Ｄｎ´で分割された前記字幕文を前記字幕文表示間隔Ｐｉで表示しつつ前記映像の再生速度を調整するように制御する再生速度制御手段をさらに備えることを特徴とする請求項２に記載の携帯端末。
【請求項７】
前記分割手段が前記字幕文を前記字幕文の最大分割数Ｄｎで分割した際に分割後の字幕文の表示領域が前記表示領域Ｐａよりも大きい場合、字幕文の表示領域が前記表示領域Ｐａ以下になるように字幕文の表示領域を縮小する縮小手段をさらに備えることを特徴とする請求項２に記載の携帯端末。
【請求項８】
地上デジタル放送波を受信する受信ステップと、
前記受信ステップの処理により受信された前記地上デジタル放送波に基づくＴＳ信号を生成し、生成された前記ＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離する分離ステップと、
字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、前記字幕文の表示領域を表示領域Ｐａに設定し、前記字幕文の表示間隔を表示間隔Ｐｉに設定し、および前記字幕文の表示位置を設定する設定ステップと、
前記字幕文の文字サイズを前記文字サイズＣｓに設定することにより字幕文の表示領域が前記表示領域Ｐａよりも大きくなる場合、字幕文の表示領域が前記表示領域Ｐａ以下の大きさになるように前記字幕文を分割する分割ステップと、
分離された前記オーディオデータ、前記ビデオデータ、および前記分割後の前記字幕データを所定の復号化方式で復号化する復号化ステップと、
前記復号化ステップの処理による復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を前記表示領域Ｐａに表示する表示ステップとを含むことを特徴とする情報処理方法。
【請求項１】
地上デジタル放送波を受信する受信手段と、
前記受信手段により受信された前記地上デジタル放送波に基づくＴＳ信号を生成し、生成された前記ＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離する分離手段と、
字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、前記字幕文の表示領域を表示領域Ｐａに設定し、前記字幕文の表示間隔を表示間隔Ｐｉに設定し、および前記字幕文の表示位置を設定する設定手段と、
前記字幕文の文字サイズを前記文字サイズＣｓに設定することにより字幕文の表示領域が前記表示領域Ｐａよりも大きくなる場合、字幕文の表示領域が前記表示領域Ｐａ以下の大きさになるように前記字幕文を分割する分割手段と、
分離された前記オーディオデータ、前記ビデオデータ、および前記分割後の前記字幕データを所定の復号化方式で復号化する復号化手段と、
前記復号化手段による復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を前記表示領域Ｐａに表示する表示手段とを備えることを特徴とする携帯端末。
【請求項２】
前記字幕文の文字サイズを前記文字サイズＣｓに設定することにより字幕文の表示領域が前記表示領域Ｐａよりも大きくなる場合、前記字幕文の表示時間Ｐｔを算出し、前記字幕文の表示時間Ｐｔと前記字幕文表示間隔Ｐｉを用いて前記字幕文の最大分割数Ｄｎを算出する算出手段をさらに備え、
前記分割手段は、前記算出手段により算出された前記字幕文の最大分割数Ｄｎを上限としつつ、前記字幕文の表示領域が前記表示領域Ｐａ以下の大きさになるように前記字幕文を分割することを特徴とする請求項１に記載の携帯端末。
【請求項３】
前記ＴＳ信号を保持する保持手段をさらに備え、
前記算出手段は、前記保持手段により前記ＴＳ信号が保持される場合、前記表示手段がｎ＋１番目に表示する前記字幕文の表示時刻を前記保持手段により保持される前記ＴＳ信号から取得し、前記表示手段がｎ番目に表示する前記字幕文の表示時刻と前記表示手段がｎ＋１番目に表示する前記字幕文の表示時刻との差分を前記字幕文の表示時間Ｐｔとして算出することを特徴とする請求項２に記載の携帯端末。
【請求項４】
前記算出手段は、前記保持手段により前記ＴＳ信号が保持されていない場合、前記保持手段による前記ＴＳ信号の保持時間に基づいて前記字幕文の表示時間Ｐｔを算出することを特徴とする請求項２に記載の携帯端末。
【請求項５】
前記算出手段は、前記字幕文の表示時間Ｐｔを前記字幕文表示間隔Ｐｉで除算することにより前記字幕文の最大分割数Ｄｎを算出することを特徴とする請求項２に記載の携帯端末。
【請求項６】
前記分割手段が前記字幕文の表示領域を前記表示領域Ｐａの大きさごとに分割した場合における分割数Ｄｎ´に前記字幕文表示間隔Ｐｉを乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、前記表示手段が表示する前記映像の基準再生速度に対して所定の倍率を有する調整再生速度を用いて、前記表示手段が前記分割数Ｄｎ´で分割された前記字幕文を前記字幕文表示間隔Ｐｉで表示しつつ前記映像の再生速度を調整するように制御する再生速度制御手段をさらに備えることを特徴とする請求項２に記載の携帯端末。
【請求項７】
前記分割手段が前記字幕文を前記字幕文の最大分割数Ｄｎで分割した際に分割後の字幕文の表示領域が前記表示領域Ｐａよりも大きい場合、字幕文の表示領域が前記表示領域Ｐａ以下になるように字幕文の表示領域を縮小する縮小手段をさらに備えることを特徴とする請求項２に記載の携帯端末。
【請求項８】
地上デジタル放送波を受信する受信ステップと、
前記受信ステップの処理により受信された前記地上デジタル放送波に基づくＴＳ信号を生成し、生成された前記ＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離する分離ステップと、
字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、前記字幕文の表示領域を表示領域Ｐａに設定し、前記字幕文の表示間隔を表示間隔Ｐｉに設定し、および前記字幕文の表示位置を設定する設定ステップと、
前記字幕文の文字サイズを前記文字サイズＣｓに設定することにより字幕文の表示領域が前記表示領域Ｐａよりも大きくなる場合、字幕文の表示領域が前記表示領域Ｐａ以下の大きさになるように前記字幕文を分割する分割ステップと、
分離された前記オーディオデータ、前記ビデオデータ、および前記分割後の前記字幕データを所定の復号化方式で復号化する復号化ステップと、
前記復号化ステップの処理による復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を前記表示領域Ｐａに表示する表示ステップとを含むことを特徴とする情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−５５２３０（Ｐ２０１１−５５２３０Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０１９４４（Ｐ２００９−２０１９４４）
【出願日】平成２１年９月１日（２００９．９．１）
【出願人】（３１００２２３７２）富士通東芝モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月１日（２００９．９．１）
【出願人】（３１００２２３７２）富士通東芝モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
[ Back to top ]