携帯情報端末、表示制御方法及び表示制御プログラム
【課題】アプリ使用時において、アプリの利便性低下を回避しつつ、テレビ番組の内容も容易に把握できて、テレビ番組におけるユーザが見たいシーンを見逃すのを回避し得る携帯情報端末を提供する。
【解決手段】テレビ映像に付随する字幕とテレビ映像とが多重化されたデジタルテレビ放送波を受信する携帯電話機は、ディスプレイ１３と、ワンセグ受信部３１が受信したデジタルテレビ放送波からテレビ映像を抽出するテレビ抽出部３２と、字幕を抽出する字幕抽出部３３と、メールなど画像表示を行う所定のアプリケーションを実行するアプリ実行部３５と、テレビ映像をディスプレイ１３に表示している場合において、アプリケーション実行要求を入力部１４から受け取ったときに、テレビ映像の表示を中止し、アプリケーションによる表示画像と字幕とをディスプレイ１３に表示する表示制御部３４とを備える。
【解決手段】テレビ映像に付随する字幕とテレビ映像とが多重化されたデジタルテレビ放送波を受信する携帯電話機は、ディスプレイ１３と、ワンセグ受信部３１が受信したデジタルテレビ放送波からテレビ映像を抽出するテレビ抽出部３２と、字幕を抽出する字幕抽出部３３と、メールなど画像表示を行う所定のアプリケーションを実行するアプリ実行部３５と、テレビ映像をディスプレイ１３に表示している場合において、アプリケーション実行要求を入力部１４から受け取ったときに、テレビ映像の表示を中止し、アプリケーションによる表示画像と字幕とをディスプレイ１３に表示する表示制御部３４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メールの送受信、ＷＥＢ閲覧などの機能を実現するアプリケーション（以下、単にアプリともいう。）の実行に加え、テレビ映像、音声の視聴が可能な携帯情報端末に関し、特に、これらアプリケーション等が生成する画像のディスプレイへの表示制御に関する。
【背景技術】
【０００２】
近年、携帯電話機など携帯情報端末の多くは、ブラウザを用いたＷＥＢ閲覧機能を有するアプリケーション（ブラウザ）や、メールの作成、送受信を行うアプリケーション（メールアプリ）などを標準装備するほか、ワンセグなどテレビ放送を受信する機能を備えている。テレビ放送を視聴中にメールを受信した場合、ユーザは、メールアプリを立ち上げて受信したメールの閲覧、そのメールへの返信文の作成等を行う。このときの画面表示の制御として、メール閲覧画面などメールアプリが表示する画像と、テレビ画像とを同時に表示する場合に、ディスプレイの表示領域を２分割し、一方にメールアプリの画像を縮小して表示し、他方にテレビ画像を縮小して表示することがよく行われるが、携帯情報端末のディスプレイは小さいので、文字、図形などの表示が潰れて認識しにくくなるなどアプリの使用について利便性が低下する問題が生じ得る。
【０００３】
これを回避すべく、テレビ番組がＣＭ（Ｃｏｍｍｅｒｃｉａｌ Ｍｅｓｓａｇｅ）に切り替わったときに、ユーザ指示によりメールアプリを立ち上げてディスプレイの全面にアプリ画像を表示すれば、文字、図形などを縮小しなくても表示ができる。この場合、テレビ映像はディスプレイに表示されないが、ユーザがテレビ音声を聴取し得る状態であれば、聴取したテレビ音声の内容によりユーザはＣＭが終わったことを判断できる。ＣＭが終わったと判断した場合に、ユーザがテレビ番組の視聴を再開すれば、テレビ番組において見たいシーンを見逃すことを回避することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３１８３６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ワンセグ視聴は電車の中など音声を出せない状態で行われることが多いので、この状態ではＣＭの終了時期を判断することができず、テレビ番組において見たいシーンを見逃すことに繋がる。音声を出せない状態において、イヤホンを用いるとしても、電車の走行音、車内アナウンスなどにより音声を聞き取りにくいことが多く、この場合にもＣＭの終了時期を判断することができず、テレビ番組において見たいシーンを見逃すことに繋がる。また、イヤホンを常時携行する必要も新たに生じてユーザにとっての利便性が低下する。
【０００６】
上記の問題に鑑み、本発明は、アプリ使用時において、アプリの利便性低下を回避しつつ、テレビ番組の内容も容易に把握できて、テレビ番組におけるユーザが見たいシーンを見逃すのを回避し得る携帯情報端末を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、テレビ映像と当該テレビ映像に付随する字幕とが多重化されたデジタルテレビ放送波を受信する携帯情報端末であって、ディスプレイと、受信したデジタルテレビ放送波からテレビ映像を抽出する映像抽出手段と、前記受信したデジタルテレビ放送波から字幕を抽出する字幕抽出手段と、テレビ映像以外の画像表示を行う所定のアプリケーションを実行する実行手段と、テレビ映像を前記ディスプレイに表示している場合において、前記アプリケーションがユーザから実行要求されたときに、前記テレビ映像の表示を中止し、前記実行手段によって実行されるアプリケーションによる表示画像と前記字幕とを前記ディスプレイに表示する表示制御手段とを備える。
【発明の効果】
【０００８】
本発明の携帯情報端末は、上述の構成を備えることにより、ユーザはディスプレイを広く使ってアプリケーションを操作することができ、かつ、テレビ映像に係る字幕を閲覧することでテレビ映像の内容を容易に把握することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る携帯電話機１の外観斜視図である。
【図２】本発明の一実施形態に係る携帯電話機１の内部構成を示す図である。
【図３】本発明の一実施形態に係る機能実行処理を示すフローチャートである。
【図４】本発明の一変形例に係る機能実行処理のフローチャートである。
【図５】本発明の一変形例に係る携帯電話機１における表示変更処理を示すフローチャートである。
【図６】本発明の一変形例に係る機能実行処理に追っかけ再生を加えた場合の処理を示すフローチャートである。
【図７】（ａ）は、テレビ放送を字幕有りで表示する場合の表示画像の一例を示す図、（ｂ）及び（ｃ）は、字幕付きでアプリを実行する場合の表示画像の一例を示す図である。
【図８】（ａ）は、字幕無しでアプリを実行する場合の表示画像を示す図、（ｂ）は、字幕付きでアプリを実行する場合の表示画像を示す図である。
【図９】（ａ）、（ｂ）は、タッチパネル式の携帯電話機の外観及び表示画像の一例を示す図である。
【図１０】スワイプ操作によるサービスＩＤの変更について説明するための図である（図１０（ａ）は変更前、図１０（ｂ）は変更後）。
【図１１】アプリとしてブラウザアプリを動作させる場合の画面表示の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図示例と共に説明する。
１．構成
携帯情報端末の一例としての携帯電話機１は、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、携帯電話機１は、その機能を達成する。
【００１１】
図１は、携帯電話機１の外観斜視図である。
図２は、携帯電話機１の内部構成を示す図である。
携帯電話機１は、外観的には、図１に示すように、マイクロフォン１１、レシーバ１２、ディスプレイ１３、入力部１４、イヤホン接続部１５及びワンセグアンテナ１６を含んで構成される。本実施の形態では、デジタルテレビ放送波として、ワンセグ放送波を用いる例で説明するが、これに限らない。ＤＶＢ−Ｈ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｂｒｏａｄｃａｓｔｉｎｇ − Ｈａｎｄｈｅｌｄ)、ＡＴＳＣ−Ｍ／Ｈ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ− Ｍｏｂｉｌｅ／Ｈａｎｄｈｅｌｄ）など他のデジタルテレビ放送仕様に基づくものであってもよい。
【００１２】
また、携帯電話機１は、内部構成としては、図２に示すように、マイクロフォン１１、レシーバ１２、ディスプレイ１３、入力部１４、イヤホン接続部１５、ワンセグアンテナ１６、通信アンテナ２１、無線通信部２２、信号処理部２３、ワンセグ受信部３１、テレビ映像抽出部３２、字幕抽出部３３、表示制御部３４、アプリ実行部３５、音声抽出部３６、音声制御部３７、スピーカ３８、制御部４１、記憶部４２及び映像蓄積部４３を含んで構成される。
【００１３】
マイクロフォン１１は、通話時に、利用者が発する音声を集音して電気信号である通話信号に変換し、その通話信号を信号処理部２３に送信する。
レシーバ１２は、信号処理部２３が生成した音声信号を受信し、受信した音声信号を音声に変換してユーザが受話できるよう拡声する。
ディスプレイ１３は、文字、画像などを表示する表示部であり、一例として、液晶ディスプレイである。
【００１４】
入力部１４は、ユーザが携帯電話機１へユーザ指示を入力するための入力デバイスである。入力部１４は、一例としてキーパッド、タッチパネルなどを備えている。ユーザは、キーパッド、タッチパネルなどを操作してユーザ指示を入力する。入力されたユーザ指示は制御部４１に通知される。
イヤホン接続部１５は、イヤホン、ヘッドホンなどが接続されるイヤホンジャックであり、イヤホンが接続されたか否かを検出して制御部４１に通知する。
【００１５】
ワンセグアンテナ１６は、ワンセグ放送波を受信するアンテナである。
通信アンテナ２１は、無線通信波を送受信するアンテナである。
無線通信部２２は、通信アンテナ２１を介して、通話用、データ通信用などの無線通信を携帯電話網を構成する基地局（図示せず）などとの間で行う。無線通信部２２は、基地局から受信した信号を復調してベースバンド信号を生成し信号処理部２３に送信し、また、信号処理部２３から受信したベースバンド信号を変調して基地局に送信する。
【００１６】
信号処理部２３は、無線通信部２２から受信したベースバンド信号から音声データ、通信用データを復元し、音声データについては音声信号に変換してレシーバ１２に出力し、通信用データについては制御部４１に出力する。また、信号処理部２３は、マイクロフォン１１から通話信号（音声信号）を受信して音声データを生成し、制御部４１から通信用データを受信し、これらデータからベースバンド信号を生成して無線通信部２２に送信する。
【００１７】
ワンセグ受信部３１は、チューナ、ＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）復調部、誤り訂正部、多重分離部などを含んで構成されており、入力部１４を用いてユーザから指示された所定のチャンネル（サービスＩＤ）のワンセグ放送波をワンセグアンテナ１６を用いて受信する。そして、受信したワンセグ放送波からＯＦＤＭ信号を抽出し、復調してデジタル信号を取り出す。そして、取り出したデジタル信号に誤り訂正処理を施してＴＳパケット信号を生成し、テレビ映像、字幕、音声に関するＴＳパケットに分離する。そして、テレビ映像に係るＴＳパケットはテレビ映像抽出部３２に出力し、字幕に係るＴＳパケットは字幕抽出部３３に抽出し、音声に係るＴＳパケットは音声抽出部３６に出力する。
【００１８】
テレビ映像抽出部３２は、ワンセグ受信部３１から受信したテレビ映像に係るＴＳパケットを復号し、ワンセグ用のテレビ映像データを生成して表示制御部３４に出力する。
字幕抽出部３３は、ワンセグ受信部３１から受信した字幕に係るＴＳパケットを復号して字幕データを生成し、表示制御部３４に出力する。
映像蓄積部４３は、いわゆる追っかけ再生用のテレビ映像データを蓄積する。映像蓄積部４３は、テレビ映像抽出部３２により生成されたテレビ映像データのうち、新しいものから一定時間（一例として１０分間）分のテレビ映像データ（以下、蓄積映像データという。）を蓄積しておく。蓄積の開始、終了は、制御部４１により指示される。一例として、蓄積開始の指示は、アプリの字幕付き実行を開始した場合になされ、蓄積終了の指示は、アプリの字幕付き実行を終了し蓄積映像データの追っかけ再生を行った後になされる。
【００１９】
なお、テレビ映像とともに、テレビ音声についても蓄積することとしてもよい。この場合、追っかけ再生するときにはテレビ映像とテレビ音声を共に再生するものとする。
アプリ実行部３５は、制御部４１からの起動指示に従って、記憶部４２に記憶されているアプリケーションプログラム（以下、単にアプリケーションという。）を実行する。アプリケーションプログラムは、実行時にＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画像、静止画、動画などディスプレイ１３への画像の表示を伴うものとする。本実施の形態では、アプリケーションは、一例としてメールソフトとするが、これに限るものではなく、ゲームソフト、メモ帳ソフト、ブラウザソフトなどディスプレイ１３への画像の表示を伴うものであれば、これに置き換えてもよい。また、アプリ実行部３５は、複数のアプリケーションプログラムを並行して実行してもよい。
【００２０】
表示制御部３４は、テレビ映像抽出部３２から出力されるテレビ映像データからテレビ画像を生成する。また、字幕抽出部３３から出力される字幕データから字幕画像を生成する。ここで、この字幕画像を生成する際に表示制御部３４は、ユーザに特に注意を喚起すべく特定の文字列の表示色を他の文字列の色と異なる色で表示する画像を生成することとしてもよい。例えば、テレビ映像がサッカー中継の映像である場合に、特定の文字列として「ＧＯＡＬ」「ゴール」などの文字列を黄色で表示し、他の文字列を青色で表示することとしてもよい。これにより、ユーザに対し、サッカーの試合においてゴールシーンがあったことを、他のシーンがあった場合よりも強く認識させることができる。表示色として他の文字列とは異なる色を用いる特定の文字列は、そのリストを特定文字列リストとして記憶部４２などに記憶しておくものとし、表示制御部３４は、字幕画像の生成時に参照する。
【００２１】
また、この字幕画像を生成する際に表示制御部３４は、選択しているテレビ映像に係るサービスＩＤ毎に文字列の色を変更することとしてもよい。これにより、ユーザは、表示させる字幕の色を認識することで、現在のサービスＩＤを知ることができる。この場合、サービスＩＤと、字幕を表示する場合の文字色との対応は、予め定められており、その対応を示す情報を記憶部４２などに記憶しておくものとする。また、サービスＩＤと、字幕を表示する場合の文字色との対応は、予め定められたものに限らず、ユーザ操作による色指定を受け付けて、サービスＩＤと色指定に係る色とを対応づけることとしてもよい。
【００２２】
また、映像蓄積部４３に蓄積されている蓄積映像データからテレビ画像（テレビ映像抽出部３２から出力されるテレビ映像データから生成されるテレビ映像との区別のため、便宜的に、蓄積テレビ画像という。）を生成する。
表示制御部３４は、生成したテレビ画像、字幕画像、アプリ画像、蓄積テレビ画像をディスプレイ１３に表示するためレイアウト（配列、重ね合わせなど）する。そして、レイアウトした画像（表示画像）を表示するための映像信号を生成してディスプレイ１３に対し出力する。ここで、表示画像の一例について図面を用いて説明する。
【００２３】
図７及び図８は、表示画像の一例を示す図である。
図７（ａ）の表示画像７１は、テレビ放送を字幕有りで表示する場合に表示される画像である。表示画像７１は、下端部分に字幕画像７３が配置され、残りの部分にサービスＩＤ、番組名などテレビ番組に関する付加的な情報を表示する領域を含むテレビ画像７２が配置されている。
【００２４】
図７（ｂ）の表示画像８１は、字幕付きでアプリを実行する場合に表示される画像である。表示画像８１は、ディスプレイ１３の下端部分に、テレビ画像の内容を表す字幕画像７３が配置され、残りの部分全てにアプリ画像８２が配置されている。字幕画像７３は、１行〜２行程度の文字列を表示するものである。この場合、ディスプレイ１３上に、字幕を表示する領域を確保することで、ディスプレイ１３において、アプリケーションによる表示画像を表示する領域が圧迫されてしまうようなことはなく、ユーザにとってアプリケーションを使用する際の利便性が低下してしまうのを避けることができる。なお、字幕の表示位置は、ディスプレイ下端に限定されるものではなく、上端などアプリケーション画像を視認するのに邪魔でない場所であればいずれの場所でもよい。
【００２５】
図７（ｃ）の表示画像８５は、字幕付きでアプリを実行する場合に表示される画像である。表示画像８５は、アプリ画像８６の下端部分の上に、テレビ画像の内容を表す字幕画像８７が重ね合わせて配置されている。字幕画像８７は、半透明の画像に字幕の文字が記載されたテロップである。ユーザにとっては、半透明画像の下のアプリ画像８６の内容が読み取れる、すなわち、ユーザが視認できるアプリ画像が表示画像７１と比べると大きいという有利な効果を奏する。
【００２６】
図８（ａ）の表示画像９１は、字幕無しでアプリを実行する場合に表示される画像である。表示画像９１は、ディスプレイ１３の全面に表示される。
図８（ｂ）の表示画像９５は、字幕付きでアプリを実行する場合に表示される画像である。表示画像９５は、アプリ画像９６の下端部分に、テレビ画像の内容を表す字幕に加えて、アンテナの受信電波強度を示すアイコン画像、テレビのサービスＩＤ（チャンネル番号）、番組名、バッテリ残量を示す画像など各種の情報（以下、状態情報という。）を示す状態情報画像９７が配置されている。
【００２７】
この場合、アプリ画像９６を見つつ、字幕によりテレビの内容を把握し、かつ、状態情報についても確認できるという利点がある。
字幕付きでアプリを実行する場合に、表示画像８１、表示画像８５、表示画像９１のいずれの態様で表示するかは、ユーザが入力部１３を用いて入力するユーザ指示によって選択できるものとする。
【００２８】
音声抽出部３６は、ワンセグ受信部３１から受信した音声に係るＴＳパケットを復号して音声データを生成し、音声制御部３７に出力する。
音声制御部３７は、音声抽出部３６から取得する音声データから音声信号を生成しスピーカ３８に出力する。音声制御部３７は、また、着信音、起動音など所定の音声についても音声データを記憶部４２に記憶しており、その音声データを音声信号に変換してスピーカ３８に出力する。
【００２９】
スピーカ３８は、音声制御部３７から受け取った音声信号を音声に変換して拡声する。
制御部４１は、携帯電話機１の全体制御を行う。制御部４１の動作については、後述する。
記憶部４２は、アプリケーションプログラム、各種の制御情報等を記憶する。
２．動作
以下、上記のように構成された携帯電話機１の、機能（テレビ機能、アプリ（メール）機能）実行処理について、説明する。
【００３０】
図３は、機能実行処理を示すフローチャートである。
制御部４１は、ユーザが入力部１４を用いて、テレビ機能の実行、アプリ機能の字幕付き実行、字幕無し実行のいずれかの実行要求を行うのを待つ（Ｓ１１）。
実行要求があった場合（Ｓ１１＝ＹＥＳ）、実行要求された機能がテレビ機能かアプリ機能かのいずれであるか判定する（Ｓ１２）。なお、テレビ機能の場合、ユーザは、実行要求と共にサービスＩＤの指定も行っているものとする。
【００３１】
実行要求された機能がテレビ機能の場合（Ｓ１２＝テレビ機能）、現在、アプリ機能を実行しておりアプリケーションに係るアプリ画像を表示中か否か判断する（Ｓ１３）。
アプリ画像表示中である場合（Ｓ１３＝ＹＥＳ）、制御部４１は、表示制御部３４に指示してアプリ画像の表示を中止させる（Ｓ１４）。
そして、ワンセグ受信部３１に対し、ユーザにより指定されたサービスＩＤの通知と共に、ワンセグ放送波の受信を指示する（Ｓ１５）。ワンセグ受信部３１は、ワンセグ放送を受信し（Ｓ１５）、ＯＦＤＭ復調、誤り訂正、多重分離を行って、指定されたサービスＩＤのテレビ映像に係るＴＳパケットを抽出する。そして、ワンセグ受信部３１は、テレビ映像に係るＴＳパケットをテレビ映像抽出部３２に出力する。テレビ映像抽出部３２は、ワンセグ受信部３１から受け取ったＴＳパケットからテレビ映像データを生成し、表示制御部３４に出力する（Ｓ１６）。
【００３２】
また、制御部４１は、現在、字幕の抽出を行っているか否かを判定し（Ｓ１７）、字幕の抽出をしていない場合（Ｓ１７＝ＮＯ）、ワンセグ受信部３１に字幕抽出指示を行う。ワンセグ受信部３１は、字幕に係るＴＳパケットを抽出し、字幕抽出部３３に出力する。字幕抽出部３３は、ワンセグ受信部３１から受け取ったＴＳパケットから字幕データを生成し、表示制御部３４に出力する（Ｓ１８）。
【００３３】
表示制御部３４は、テレビ映像データ、字幕データから表示画像を生成し、表示画像を示す信号をディスプレイ１３に出力する。ディスプレイ１３は、表示画像を表示する（Ｓ１９）。このとき、ディスプレイ１３には、図７（ａ）の表示画像７１が表示される。
また、ワンセグ受信部３１は、指定されたサービスＩＤの音声に係るＴＳパケットを抽出する。そして、ワンセグ受信部３１は、音声に係るＴＳパケットを音声抽出部３６に出力する。音声抽出部３６は、ワンセグ受信部３１から受信した音声に係るＴＳパケットを復号して音声データを生成し、音声制御部３７に出力する。音声制御部３７は、音声抽出部３６から取得する音声データから音声信号を生成しスピーカ３８に出力する。（Ｓ２０）。
【００３４】
なお、本実施の形態では、テレビ機能を実行する場合、字幕も合わせて表示することとしているが、これに限らず、字幕を表示するか否かをユーザ操作により選択できるものとしてもよい。
Ｓ１２において、実行指示された機能がアプリ機能の場合（Ｓ１２＝アプリ機能）、制御部４１は、実行指示が、アプリの字幕付きでの実行を指示したものか否か判定する（Ｓ３０）。
【００３５】
アプリの字幕付きでの実行を指示された場合（Ｓ３０＝ＹＥＳ）、制御部４１は、現在テレビ機能を実行中であるか否かを判定する（Ｓ３１）。テレビ機能実行中であった場合は、テレビ映像抽出部３２に指示してテレビ映像の抽出・表示を中止し（Ｓ３２）、音声抽出部３６に指示してテレビ音声の抽出・出力を中止する（Ｓ３３）。さらに、字幕表示のために字幕を抽出しているか否かを判定し（Ｓ３４）、字幕の抽出中でなかった場合（Ｓ３４＝ＮＯ）、ワンセグ受信部３１に対して字幕抽出指示を行う。字幕抽出指示されたワンセグ受信部３１は、字幕に係るＴＳパケットを抽出し字幕抽出部３３に出力する。字幕抽出部３３は、ワンセグ受信部３１から受け取ったＴＳパケットから字幕データを生成し、表示制御部３４に出力する（Ｓ３５）。
【００３６】
次いで、制御部４１は、アプリ実行部３５に対し、アプリケーションプログラムの実行を指示する。アプリ実行部３５は、実行指示されたアプリケーションプログラムを記憶部４２から読み出して実行する（Ｓ３６）。
このとき、アプリ実行部３５は、アプリケーションプログラムの実行時に表示すべきＵＩ画像、静止画、動画などを表すアプリ画像を生成し、そのアプリ画像を表すアプリ画像データを表示制御部３４に出力する（Ｓ３７）。
【００３７】
表示制御部３４は、受け取った字幕画像データと、アプリ画像データとから、字幕画像とアプリ画像とをレイアウトした表示画像を生成し、表示画像を示す映像信号をディスプレイ１３に出力する。ディスプレイ１３は、受け取った映像信号に基づき表示画像を表示する。このとき、ディスプレイ１３には、表示画像として、既に説明した表示画像８１、８５、９５のいずれかのような画像が表示される。
【００３８】
また、Ｓ３０において、アプリ機能の実行が、字幕付きでの実行でないと判断された場合（Ｓ３０＝ＮＯ）、テレビ機能実行中であったときには（Ｓ５１＝ＹＥＳ）、制御部４１は、テレビ機能実行の中止をワンセグ受信部３１に指示する。ワンセグ受信部３１は、ワンセグ受信を中止し、テレビ機能実行を中止する（Ｓ５２）。
そして、制御部４１は、アプリ実行部３５に対し、アプリケーションプログラムの実行を指示する。アプリ実行部３５は、記憶部４２からアプリケーションプログラムを読み出して実行する（Ｓ５３）。
【００３９】
このとき、アプリ実行部３５は、アプリケーションプログラムの実行時に表示すべきＵＩ画像、静止画、動画などを表すアプリ画像に係るアプリ画像データを表示制御部３４に出力する。
表示制御部３４は、受け取ったアプリ画像データとから、アプリ画像のみをレイアウトした表示画像を生成し、表示画像を示す映像信号をディスプレイ１３に出力する。ディスプレイ１３は、映像信号に基づき表示画像を表示する（Ｓ５４）。このとき、表示画像は、一例として、既に説明した表示画像９１のような画像を表示する。
３．変形例
（１）上述の実施の形態では、アプリの字幕付き実行指示があった場合に（Ｓ３０＝ＹＥＳ）、アプリケーションを字幕付きで実行することとしたが、これに限らない。例えば、イヤホンが挿入されているか否か、また、マナーモードであるかなどの条件に従い、アプリを字幕付き実行するか否か判定してもよい。
【００４０】
これにより、ユーザからアプリを字幕付きで実行する旨の指示が無い場合でも、ユーザがアプリを実行しつつテレビ映像の字幕も見たいと想定されるときに、アプリを字幕付きで実行することができ、ユーザの利便性を高めることができる。なお、マナーモードとは、携帯電話機に一般的に備えられたモードであり、着信音を消してバイブレータによる振動により着信を通知するよう動作するようなモードである。
【００４１】
図４は、本変形例に係る機能実行処理のフローチャートである。
図４における、実行指示された機能がテレビ機能であった場合（Ｓ１１〜Ｓ２０）のフローについては、図３と同様であるので説明を省略する。
以下では、機能実行指示がアプリ機能であった場合（Ｓ１２＝アプリ機能）について説明する。
【００４２】
この場合、制御部４１は、イヤホン接続部１５によりイヤホン接続が検出されているか否かを判定し（Ｓ６１）、イヤホン接続部１５によりイヤホン接続が検出されなかった場合（Ｓ６１＝ＮＯ）には、さらに、携帯電話機１がマナーモードであるか否か判定する（Ｓ６２）。マナーモードであった場合（Ｓ６２＝ＹＥＳ）、アプリを字幕付きで実行する処理を行うこととなり、Ｓ６３に移行する。
【００４３】
一方、イヤホン接続を検出した場合（Ｓ６１＝ＹＥＳ）、マナーモードである場合（Ｓ６２＝ＮＯ）のいずれかに該当する場合は、アプリを字幕無しで実行するために、Ｓ７１に移行する。
Ｓ６３以降のアプリの字幕付き実行において、制御部４１は、現在テレビ機能実行中か否か判定し（Ｓ６３）、実行中であった場合（Ｓ６３＝ＹＥＳ）、テレビ映像の抽出・表示を中止し（Ｓ６４）、テレビ音声の抽出・出力を中止する（Ｓ６５）。そして、字幕抽出中か否か判定し（Ｓ６６）、字幕抽出していない場合に（Ｓ６６＝ＮＯ）、字幕抽出処理を行い（Ｓ６７）、字幕抽出中の場合（Ｓ６６＝ＹＥＳ）、字幕抽出を継続する。
【００４４】
次いで、制御部４１は、アプリ実行部３５に対し、アプリケーションプログラムの実行を指示する。アプリ実行部３５は、記憶部４２からアプリケーションプログラムを読み出して実行する（Ｓ６８）。
このとき、アプリ実行部３５は、アプリケーションプログラムの実行時に表示すべきアプリ画像に係るアプリ画像データを表示制御部３４に出力する。
【００４５】
表示制御部３４は、受け取った字幕画像データと、アプリ画像データとから、字幕画像とアプリ画像とをレイアウトした表示画像を生成し、表示画像を示す映像信号をディスプレイ１３に出力する。ディスプレイ１３は、表示画像を表示する（Ｓ６９）。
Ｓ７１以降のアプリの字幕無し実行においては、制御部４１は、現在テレビ機能実行中か否か判定し（Ｓ７１）、実行中であった場合（Ｓ７１＝ＹＥＳ）、テレビ映像の抽出・表示を中止する（Ｓ７２）。そして、現在字幕抽出中か否か判定し（Ｓ７４）、字幕抽出している場合に（Ｓ７４＝ＹＥＳ）、字幕抽出処理を中止し（Ｓ７５）、字幕抽出していない場合（Ｓ７４＝ＮＯ）、字幕抽出をそのまま字幕抽出を行わない。
【００４６】
次いで、制御部４１は、アプリ実行部３５に対し、アプリケーションプログラムの実行を指示する。アプリ実行部３５は、記憶部４２からアプリケーションプログラムを読み出して実行する（Ｓ７６）。そして、表示制御部３４は、受け取ったアプリ画像データから表示画像を生成し、表示画像を示す映像信号をディスプレイ１３に出力する。ディスプレイ１３は、表示画像を表示する（Ｓ７７）。
【００４７】
Ｓ７１において実行中でなかったと判断された場合（Ｓ７１＝ＮＯ）、テレビ音声の抽出・出力を開始して（Ｓ７３）、Ｓ７６に移行する。
図５は、携帯電話機１において、ユーザが、イヤホンの接続状態、或いは、マナーモードの状態を変更する場合に、表示を変更する処理（表示変更処理）を示すフローチャートである。
【００４８】
制御部４１は、イヤホン接続部１５からイヤホン接続状態の変更があった旨の通知を受けた場合、または、管理しているマナーモードの状態に変更があった場合（Ｓ９１）、イヤホン接続が接続状態であるか（Ｓ９２）、マナーモードであるか（Ｓ９３）の判定を行う。
イヤホン接続が接続状態であるか（Ｓ９２＝ＹＥＳ）、又は、マナーモードでないか（Ｓ９３＝ＮＯ）の少なくともいずれかの場合、制御部４１は、アプリ表示画面のみ表示するためにＳ１０１に移行する。また、イヤホン接続が接続状態でなく（Ｓ９２＝ＮＯ）、かつマナーモードである場合（Ｓ９３＝ＹＥＳ）は、アプリ表示画面と字幕とを同時表示するためにＳ９４に移行する。
【００４９】
Ｓ９４においては、制御部４１は、テレビ音声の抽出・出力中か否かを判定し（Ｓ９４）、テレビ音声の抽出・出力中であった場合（Ｓ９４＝ＹＥＳ）、テレビ音声の抽出・出力を中止する（Ｓ９５）。そして、字幕表示のために字幕を抽出しているか否かを判定し（Ｓ９６）、字幕の抽出中でなかった場合（Ｓ９６＝ＮＯ）、ワンセグ受信部３１に対して字幕抽出指示を行う。字幕抽出指示されたワンセグ受信部３１は、字幕に係るＴＳパケットを抽出し字幕抽出部３３に出力する。字幕抽出部３３は、ワンセグ受信部３１から受け取ったＴＳパケットから字幕データを生成し、表示制御部３４に出力する（Ｓ９７）。表示制御部３４は、アプリ画像と字幕とを同時に表示する表示画像をディスプレイ１３に表示させ（Ｓ９８）、Ｓ９１に移行する。
【００５０】
Ｓ１０１においては、制御部４１は、テレビ音声の抽出・出力中か否かを判定し（Ｓ１０１）、テレビ音声の抽出・出力中でなかった場合（Ｓ１０１＝ＮＯ）、テレビ音声の抽出・出力を開始する（Ｓ１０２）。そして、字幕表示のために字幕を抽出しているか否かを判定し（Ｓ１０３）、字幕の抽出中であった場合（Ｓ１０３＝ＹＥＳ）、字幕抽出部３３に対して字幕抽出の中止を指示して字幕の抽出を中止する（Ｓ１０４）。
【００５１】
表示制御部３４は、アプリ画像のみから表示画像を生成してディスプレイ１３に表示させ（Ｓ１０５）、Ｓ９１に移行する。
（２）図３を用いて説明した機能実行処理に加え、アプリケーションを字幕付きで実行するときに、映像蓄積部４３が、バックグラウンド処理としてテレビ映像を所定時間分蓄積しておくこととしてもよい。映像蓄積部４３に蓄積されるテレビ映像は、アプリ機能の実行中に字幕を見ることでユーザによってその内容が確認されていたものである。
【００５２】
そして、アプリを字幕付きで実行している状態から、テレビ機能を実行する状態に変更するときに、テレビ機能の実行に先だち、蓄積テレビ映像を追っかけ再生する。映像蓄積部４３に蓄積された未視聴のテレビ映像データが全て再生されて無くなって、追っかけ再生がリアルタイム視聴（現にワンセグ放送しているテレビ映像の視聴）に追いついたときに、バックグラウンド蓄積を終了して、リアルタイム視聴を継続する。
【００５３】
図６は、図３に、テレビ映像の蓄積処理、追っかけ再生処理を加えたものである。
以下では、図３からの変更箇所を中心に説明する。
具体的には、ユーザにより実行指示された機能がアプリ機能であり（Ｓ１２＝アプリ機能）、アプリ機能への切替前にテレビ機能の実行をしていた場合に（Ｓ３１＝ＹＥＳ）、テレビ映像のバックグラウンド蓄積を開始する（Ｓ１１１）。ここで、バックグラウンド蓄積とは、ディスプレイ１３にテレビ画像を表示せず、ワンセグ受信部３１においてワンセグ放送波の受信を行い、ワンセグ放送波から抽出した蓄積映像データを映像蓄積部４３に記憶することである。なお、テレビ映像のデータ蓄積に加え、テレビ音声のデータもバックグラウンド蓄積してもよい。この場合には、Ｓ３３において、テレビ音声の出力は中止するが、テレビ音声の抽出については継続することとなる。
【００５４】
また、制御部４１は、ユーザにより実行指示された機能がテレビ機能であり（Ｓ１２＝テレビ機能）、アプリ画像の表示中であった場合に（Ｓ１３＝ＹＥＳ）、アプリ機能が字幕付き実行されているか否か判定する（Ｓ１１２）。字幕付き実行であった場合（Ｓ１１２＝ＹＥＳ）、アプリの実行を中止し（Ｓ１４）、蓄積テレビ映像の追っかけ再生（テレビ音声もバックグラウンド蓄積している場合には、音声も再生してよい。）を行い（Ｓ１１３）、バックグラウンド蓄積を終了し（Ｓ１１４）、Ｓ１５に移行する。
【００５５】
字幕付き実行で無かった場合（Ｓ１１２＝ＮＯ）、アプリの実行を中止し（Ｓ１４）、Ｓ１５に移行する。
以上により、ユーザは、アプリ機能の実行中に、字幕を視聴することで内容を確認していたテレビ番組について、テレビ機能の実行を開始する前に、所定時間分のテレビ映像を視聴することができる。特に、字幕を視聴していて、テレビ映像に関し見たいシーンがあったことを認識した場合に、アプリ機能を中止して、テレビ機能の実行を指示すれば、そのシーンを追っかけ再生によって視聴することができる。これにより、ユーザにとっての利便性を向上させることができる。
【００５６】
（３）上述の実施形態では、ユーザがキーパッド等の入力デバイスを用いて携帯電話機に対し指示を行う例で説明したが、これには限らない。例えば、タッチパネル式の携帯電話機等であってもよい。
図９（ａ）は、タッチパネル式の携帯電話機の外観の一例を示す図である。
タッチパネル式のディスプレイには、表示画像１０１が表示されている。表示画像１０１は、字幕付きでアプリを実行する場合に表示される画像である。表示画像１０１では、アプリ画像９６の下端部分に、ソフトウェアキーボード１０２が表示されている。ユーザは、ソフトウェアキーボード１０２を用いて携帯電話機に文字を入力し、また指示を与えることになる。ソフトウェアキーボード１０２の下に状態情報画像９７が配置されている。
【００５７】
また、図９（ｂ）の表示画像１０２では、表示画像１０１と比較して画像の並び方が異なっている。表示画像１０２の上端に、状態情報画像９７が配され、その下にアプリ画像９６が配されており、アプリ画像９６の下端部分にソフトウェアキーボード１０２が配されている。ユーザがソフトウェアキーボード１０２の配置位置を指定することにより、入力がし易いディスプレイ上の好みの位置にソフトウェアキーボードを配することができるよう構成されている。
【００５８】
また、図１０（ａ）に示すように、状態情報画像９７のうち、テレビのサービスＩＤ（図中では、「８ｃｈ」）が表示された部分を、ユーザが指でタッチし、滑らせる操作（所謂スワイプ操作）を行うことで、サービスＩＤの変更をすることができる。スワイプ操作の結果、図１０（ｂ）の表示画像１１１における状態表示画像１１２のように、サービスＩＤが「１０ｃｈ」に変更されて、その「１０ｃｈ」の字幕が表示される。
【００５９】
（４）上述の実施形態では、アプリ画像として、メールアプリが表示する画像を例に説明した。図１１は、アプリケーションの一例としてブラウザアプリを用いた例を示す画像である。
図１１の表示画像１２１中には、ブラウザアプリによるアプリ画像１２２が配されている。そして、アプリ画像１２２の下端にはソフトウェアキーボード１０２が配されている。アプリ画像１２２の中央付近には、検索対象とする語の入力窓と、検索開始を指示するボタンが表示されている。ユーザは、入力窓にタッチして検索語の入力を開始することを指示する。そして、ソフトウェアキーボード１０２を用いて、検索語の入力を行う。検索語の入力後に、検索開始を指示するボタンにタッチすることで、検索語についての検索が行われ、検索結果が表示されることになる。
【００６０】
（５）図７（ｂ）は、サービスＩＤが８ｃｈの字幕を表示しながら、メール作成を行った場合の表示画像の一例を示していた。このように、ユーザがテレビ番組の内容を字幕を用いてチェックしつつメールを作成した場合、メール完成後に送信されるメールには、メールの送信者がチェックしていたテレビ番組の視聴を、メールの受信者が簡単に開始できるようなリンク、起動コマンド等が含まれることとしてもよい。このメールの受信者は、自身の携帯電話機を用いてメールを受信して閲覧のため画面表示し、表示されたメールに含まれるリンクを示す画像、起動コマンドの実行開始を表す画像をキーパッド、タッチパネル等の入力デバイスを用いて指定する。これにより、メールの受信者の携帯電話機は、メール送信者が内容をチェックしていたテレビ番組の受信を開始し、画面表示する。このように構成することで、メールの受信者の携帯電話機において、簡易な手順で、メール送信者が内容をチェックしていたテレビ番組の視聴を開始することができる。
【００６１】
（６）実施形態で示した状態遷移について制御する処理、起動時状態判定処理などを行う携帯電話機のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。
【００６２】
（７）上述の実施形態で示した各機能構成要素は、その機能を実行する回路として実現されてもよいし、１又は複数のプロセッサによりプログラムを実行することで実現されてもよい。また、ＩＣ、ＬＳＩその他の集積回路のパッケージとして構成されるものとしてもよい。このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。
【００６３】
（８）上述の実施形態は、携帯電話機の例で説明したが、本発明は、同様な構成、機能を有するような携帯型の情報端末等としても実現し得る。
（９）上述の各実施形態及び各変形例を、部分的に組み合せてもよい。
【産業上の利用可能性】
【００６４】
本発明の携帯情報端末は、メール、ＷＥＢなどのアプリケーションの実行機能に加え、デジタルテレビ放送の受信機能を備えた携帯情報端末に好適である。
【符号の説明】
【００６５】
１ 携帯電話機
１１ マイクロフォン
１２ レシーバ
１３ ディスプレイ
１４ 入力部
１５ イヤホン接続部
１６ ワンセグアンテナ
２１ 通信アンテナ
３１ ワンセグ受信部
３２ テレビ映像抽出部
３３ 字幕抽出部
３４ 表示制御部
３５ アプリ実行部
３６ 音声抽出部
３７ 音声制御部
３８ スピーカ
４１ 制御部
４２ 記憶部
４３ 映像蓄積部
【技術分野】
【０００１】
本発明は、メールの送受信、ＷＥＢ閲覧などの機能を実現するアプリケーション（以下、単にアプリともいう。）の実行に加え、テレビ映像、音声の視聴が可能な携帯情報端末に関し、特に、これらアプリケーション等が生成する画像のディスプレイへの表示制御に関する。
【背景技術】
【０００２】
近年、携帯電話機など携帯情報端末の多くは、ブラウザを用いたＷＥＢ閲覧機能を有するアプリケーション（ブラウザ）や、メールの作成、送受信を行うアプリケーション（メールアプリ）などを標準装備するほか、ワンセグなどテレビ放送を受信する機能を備えている。テレビ放送を視聴中にメールを受信した場合、ユーザは、メールアプリを立ち上げて受信したメールの閲覧、そのメールへの返信文の作成等を行う。このときの画面表示の制御として、メール閲覧画面などメールアプリが表示する画像と、テレビ画像とを同時に表示する場合に、ディスプレイの表示領域を２分割し、一方にメールアプリの画像を縮小して表示し、他方にテレビ画像を縮小して表示することがよく行われるが、携帯情報端末のディスプレイは小さいので、文字、図形などの表示が潰れて認識しにくくなるなどアプリの使用について利便性が低下する問題が生じ得る。
【０００３】
これを回避すべく、テレビ番組がＣＭ（Ｃｏｍｍｅｒｃｉａｌ Ｍｅｓｓａｇｅ）に切り替わったときに、ユーザ指示によりメールアプリを立ち上げてディスプレイの全面にアプリ画像を表示すれば、文字、図形などを縮小しなくても表示ができる。この場合、テレビ映像はディスプレイに表示されないが、ユーザがテレビ音声を聴取し得る状態であれば、聴取したテレビ音声の内容によりユーザはＣＭが終わったことを判断できる。ＣＭが終わったと判断した場合に、ユーザがテレビ番組の視聴を再開すれば、テレビ番組において見たいシーンを見逃すことを回避することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３１８３６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ワンセグ視聴は電車の中など音声を出せない状態で行われることが多いので、この状態ではＣＭの終了時期を判断することができず、テレビ番組において見たいシーンを見逃すことに繋がる。音声を出せない状態において、イヤホンを用いるとしても、電車の走行音、車内アナウンスなどにより音声を聞き取りにくいことが多く、この場合にもＣＭの終了時期を判断することができず、テレビ番組において見たいシーンを見逃すことに繋がる。また、イヤホンを常時携行する必要も新たに生じてユーザにとっての利便性が低下する。
【０００６】
上記の問題に鑑み、本発明は、アプリ使用時において、アプリの利便性低下を回避しつつ、テレビ番組の内容も容易に把握できて、テレビ番組におけるユーザが見たいシーンを見逃すのを回避し得る携帯情報端末を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、テレビ映像と当該テレビ映像に付随する字幕とが多重化されたデジタルテレビ放送波を受信する携帯情報端末であって、ディスプレイと、受信したデジタルテレビ放送波からテレビ映像を抽出する映像抽出手段と、前記受信したデジタルテレビ放送波から字幕を抽出する字幕抽出手段と、テレビ映像以外の画像表示を行う所定のアプリケーションを実行する実行手段と、テレビ映像を前記ディスプレイに表示している場合において、前記アプリケーションがユーザから実行要求されたときに、前記テレビ映像の表示を中止し、前記実行手段によって実行されるアプリケーションによる表示画像と前記字幕とを前記ディスプレイに表示する表示制御手段とを備える。
【発明の効果】
【０００８】
本発明の携帯情報端末は、上述の構成を備えることにより、ユーザはディスプレイを広く使ってアプリケーションを操作することができ、かつ、テレビ映像に係る字幕を閲覧することでテレビ映像の内容を容易に把握することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る携帯電話機１の外観斜視図である。
【図２】本発明の一実施形態に係る携帯電話機１の内部構成を示す図である。
【図３】本発明の一実施形態に係る機能実行処理を示すフローチャートである。
【図４】本発明の一変形例に係る機能実行処理のフローチャートである。
【図５】本発明の一変形例に係る携帯電話機１における表示変更処理を示すフローチャートである。
【図６】本発明の一変形例に係る機能実行処理に追っかけ再生を加えた場合の処理を示すフローチャートである。
【図７】（ａ）は、テレビ放送を字幕有りで表示する場合の表示画像の一例を示す図、（ｂ）及び（ｃ）は、字幕付きでアプリを実行する場合の表示画像の一例を示す図である。
【図８】（ａ）は、字幕無しでアプリを実行する場合の表示画像を示す図、（ｂ）は、字幕付きでアプリを実行する場合の表示画像を示す図である。
【図９】（ａ）、（ｂ）は、タッチパネル式の携帯電話機の外観及び表示画像の一例を示す図である。
【図１０】スワイプ操作によるサービスＩＤの変更について説明するための図である（図１０（ａ）は変更前、図１０（ｂ）は変更後）。
【図１１】アプリとしてブラウザアプリを動作させる場合の画面表示の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図示例と共に説明する。
１．構成
携帯情報端末の一例としての携帯電話機１は、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、携帯電話機１は、その機能を達成する。
【００１１】
図１は、携帯電話機１の外観斜視図である。
図２は、携帯電話機１の内部構成を示す図である。
携帯電話機１は、外観的には、図１に示すように、マイクロフォン１１、レシーバ１２、ディスプレイ１３、入力部１４、イヤホン接続部１５及びワンセグアンテナ１６を含んで構成される。本実施の形態では、デジタルテレビ放送波として、ワンセグ放送波を用いる例で説明するが、これに限らない。ＤＶＢ−Ｈ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｂｒｏａｄｃａｓｔｉｎｇ − Ｈａｎｄｈｅｌｄ)、ＡＴＳＣ−Ｍ／Ｈ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ− Ｍｏｂｉｌｅ／Ｈａｎｄｈｅｌｄ）など他のデジタルテレビ放送仕様に基づくものであってもよい。
【００１２】
また、携帯電話機１は、内部構成としては、図２に示すように、マイクロフォン１１、レシーバ１２、ディスプレイ１３、入力部１４、イヤホン接続部１５、ワンセグアンテナ１６、通信アンテナ２１、無線通信部２２、信号処理部２３、ワンセグ受信部３１、テレビ映像抽出部３２、字幕抽出部３３、表示制御部３４、アプリ実行部３５、音声抽出部３６、音声制御部３７、スピーカ３８、制御部４１、記憶部４２及び映像蓄積部４３を含んで構成される。
【００１３】
マイクロフォン１１は、通話時に、利用者が発する音声を集音して電気信号である通話信号に変換し、その通話信号を信号処理部２３に送信する。
レシーバ１２は、信号処理部２３が生成した音声信号を受信し、受信した音声信号を音声に変換してユーザが受話できるよう拡声する。
ディスプレイ１３は、文字、画像などを表示する表示部であり、一例として、液晶ディスプレイである。
【００１４】
入力部１４は、ユーザが携帯電話機１へユーザ指示を入力するための入力デバイスである。入力部１４は、一例としてキーパッド、タッチパネルなどを備えている。ユーザは、キーパッド、タッチパネルなどを操作してユーザ指示を入力する。入力されたユーザ指示は制御部４１に通知される。
イヤホン接続部１５は、イヤホン、ヘッドホンなどが接続されるイヤホンジャックであり、イヤホンが接続されたか否かを検出して制御部４１に通知する。
【００１５】
ワンセグアンテナ１６は、ワンセグ放送波を受信するアンテナである。
通信アンテナ２１は、無線通信波を送受信するアンテナである。
無線通信部２２は、通信アンテナ２１を介して、通話用、データ通信用などの無線通信を携帯電話網を構成する基地局（図示せず）などとの間で行う。無線通信部２２は、基地局から受信した信号を復調してベースバンド信号を生成し信号処理部２３に送信し、また、信号処理部２３から受信したベースバンド信号を変調して基地局に送信する。
【００１６】
信号処理部２３は、無線通信部２２から受信したベースバンド信号から音声データ、通信用データを復元し、音声データについては音声信号に変換してレシーバ１２に出力し、通信用データについては制御部４１に出力する。また、信号処理部２３は、マイクロフォン１１から通話信号（音声信号）を受信して音声データを生成し、制御部４１から通信用データを受信し、これらデータからベースバンド信号を生成して無線通信部２２に送信する。
【００１７】
ワンセグ受信部３１は、チューナ、ＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）復調部、誤り訂正部、多重分離部などを含んで構成されており、入力部１４を用いてユーザから指示された所定のチャンネル（サービスＩＤ）のワンセグ放送波をワンセグアンテナ１６を用いて受信する。そして、受信したワンセグ放送波からＯＦＤＭ信号を抽出し、復調してデジタル信号を取り出す。そして、取り出したデジタル信号に誤り訂正処理を施してＴＳパケット信号を生成し、テレビ映像、字幕、音声に関するＴＳパケットに分離する。そして、テレビ映像に係るＴＳパケットはテレビ映像抽出部３２に出力し、字幕に係るＴＳパケットは字幕抽出部３３に抽出し、音声に係るＴＳパケットは音声抽出部３６に出力する。
【００１８】
テレビ映像抽出部３２は、ワンセグ受信部３１から受信したテレビ映像に係るＴＳパケットを復号し、ワンセグ用のテレビ映像データを生成して表示制御部３４に出力する。
字幕抽出部３３は、ワンセグ受信部３１から受信した字幕に係るＴＳパケットを復号して字幕データを生成し、表示制御部３４に出力する。
映像蓄積部４３は、いわゆる追っかけ再生用のテレビ映像データを蓄積する。映像蓄積部４３は、テレビ映像抽出部３２により生成されたテレビ映像データのうち、新しいものから一定時間（一例として１０分間）分のテレビ映像データ（以下、蓄積映像データという。）を蓄積しておく。蓄積の開始、終了は、制御部４１により指示される。一例として、蓄積開始の指示は、アプリの字幕付き実行を開始した場合になされ、蓄積終了の指示は、アプリの字幕付き実行を終了し蓄積映像データの追っかけ再生を行った後になされる。
【００１９】
なお、テレビ映像とともに、テレビ音声についても蓄積することとしてもよい。この場合、追っかけ再生するときにはテレビ映像とテレビ音声を共に再生するものとする。
アプリ実行部３５は、制御部４１からの起動指示に従って、記憶部４２に記憶されているアプリケーションプログラム（以下、単にアプリケーションという。）を実行する。アプリケーションプログラムは、実行時にＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画像、静止画、動画などディスプレイ１３への画像の表示を伴うものとする。本実施の形態では、アプリケーションは、一例としてメールソフトとするが、これに限るものではなく、ゲームソフト、メモ帳ソフト、ブラウザソフトなどディスプレイ１３への画像の表示を伴うものであれば、これに置き換えてもよい。また、アプリ実行部３５は、複数のアプリケーションプログラムを並行して実行してもよい。
【００２０】
表示制御部３４は、テレビ映像抽出部３２から出力されるテレビ映像データからテレビ画像を生成する。また、字幕抽出部３３から出力される字幕データから字幕画像を生成する。ここで、この字幕画像を生成する際に表示制御部３４は、ユーザに特に注意を喚起すべく特定の文字列の表示色を他の文字列の色と異なる色で表示する画像を生成することとしてもよい。例えば、テレビ映像がサッカー中継の映像である場合に、特定の文字列として「ＧＯＡＬ」「ゴール」などの文字列を黄色で表示し、他の文字列を青色で表示することとしてもよい。これにより、ユーザに対し、サッカーの試合においてゴールシーンがあったことを、他のシーンがあった場合よりも強く認識させることができる。表示色として他の文字列とは異なる色を用いる特定の文字列は、そのリストを特定文字列リストとして記憶部４２などに記憶しておくものとし、表示制御部３４は、字幕画像の生成時に参照する。
【００２１】
また、この字幕画像を生成する際に表示制御部３４は、選択しているテレビ映像に係るサービスＩＤ毎に文字列の色を変更することとしてもよい。これにより、ユーザは、表示させる字幕の色を認識することで、現在のサービスＩＤを知ることができる。この場合、サービスＩＤと、字幕を表示する場合の文字色との対応は、予め定められており、その対応を示す情報を記憶部４２などに記憶しておくものとする。また、サービスＩＤと、字幕を表示する場合の文字色との対応は、予め定められたものに限らず、ユーザ操作による色指定を受け付けて、サービスＩＤと色指定に係る色とを対応づけることとしてもよい。
【００２２】
また、映像蓄積部４３に蓄積されている蓄積映像データからテレビ画像（テレビ映像抽出部３２から出力されるテレビ映像データから生成されるテレビ映像との区別のため、便宜的に、蓄積テレビ画像という。）を生成する。
表示制御部３４は、生成したテレビ画像、字幕画像、アプリ画像、蓄積テレビ画像をディスプレイ１３に表示するためレイアウト（配列、重ね合わせなど）する。そして、レイアウトした画像（表示画像）を表示するための映像信号を生成してディスプレイ１３に対し出力する。ここで、表示画像の一例について図面を用いて説明する。
【００２３】
図７及び図８は、表示画像の一例を示す図である。
図７（ａ）の表示画像７１は、テレビ放送を字幕有りで表示する場合に表示される画像である。表示画像７１は、下端部分に字幕画像７３が配置され、残りの部分にサービスＩＤ、番組名などテレビ番組に関する付加的な情報を表示する領域を含むテレビ画像７２が配置されている。
【００２４】
図７（ｂ）の表示画像８１は、字幕付きでアプリを実行する場合に表示される画像である。表示画像８１は、ディスプレイ１３の下端部分に、テレビ画像の内容を表す字幕画像７３が配置され、残りの部分全てにアプリ画像８２が配置されている。字幕画像７３は、１行〜２行程度の文字列を表示するものである。この場合、ディスプレイ１３上に、字幕を表示する領域を確保することで、ディスプレイ１３において、アプリケーションによる表示画像を表示する領域が圧迫されてしまうようなことはなく、ユーザにとってアプリケーションを使用する際の利便性が低下してしまうのを避けることができる。なお、字幕の表示位置は、ディスプレイ下端に限定されるものではなく、上端などアプリケーション画像を視認するのに邪魔でない場所であればいずれの場所でもよい。
【００２５】
図７（ｃ）の表示画像８５は、字幕付きでアプリを実行する場合に表示される画像である。表示画像８５は、アプリ画像８６の下端部分の上に、テレビ画像の内容を表す字幕画像８７が重ね合わせて配置されている。字幕画像８７は、半透明の画像に字幕の文字が記載されたテロップである。ユーザにとっては、半透明画像の下のアプリ画像８６の内容が読み取れる、すなわち、ユーザが視認できるアプリ画像が表示画像７１と比べると大きいという有利な効果を奏する。
【００２６】
図８（ａ）の表示画像９１は、字幕無しでアプリを実行する場合に表示される画像である。表示画像９１は、ディスプレイ１３の全面に表示される。
図８（ｂ）の表示画像９５は、字幕付きでアプリを実行する場合に表示される画像である。表示画像９５は、アプリ画像９６の下端部分に、テレビ画像の内容を表す字幕に加えて、アンテナの受信電波強度を示すアイコン画像、テレビのサービスＩＤ（チャンネル番号）、番組名、バッテリ残量を示す画像など各種の情報（以下、状態情報という。）を示す状態情報画像９７が配置されている。
【００２７】
この場合、アプリ画像９６を見つつ、字幕によりテレビの内容を把握し、かつ、状態情報についても確認できるという利点がある。
字幕付きでアプリを実行する場合に、表示画像８１、表示画像８５、表示画像９１のいずれの態様で表示するかは、ユーザが入力部１３を用いて入力するユーザ指示によって選択できるものとする。
【００２８】
音声抽出部３６は、ワンセグ受信部３１から受信した音声に係るＴＳパケットを復号して音声データを生成し、音声制御部３７に出力する。
音声制御部３７は、音声抽出部３６から取得する音声データから音声信号を生成しスピーカ３８に出力する。音声制御部３７は、また、着信音、起動音など所定の音声についても音声データを記憶部４２に記憶しており、その音声データを音声信号に変換してスピーカ３８に出力する。
【００２９】
スピーカ３８は、音声制御部３７から受け取った音声信号を音声に変換して拡声する。
制御部４１は、携帯電話機１の全体制御を行う。制御部４１の動作については、後述する。
記憶部４２は、アプリケーションプログラム、各種の制御情報等を記憶する。
２．動作
以下、上記のように構成された携帯電話機１の、機能（テレビ機能、アプリ（メール）機能）実行処理について、説明する。
【００３０】
図３は、機能実行処理を示すフローチャートである。
制御部４１は、ユーザが入力部１４を用いて、テレビ機能の実行、アプリ機能の字幕付き実行、字幕無し実行のいずれかの実行要求を行うのを待つ（Ｓ１１）。
実行要求があった場合（Ｓ１１＝ＹＥＳ）、実行要求された機能がテレビ機能かアプリ機能かのいずれであるか判定する（Ｓ１２）。なお、テレビ機能の場合、ユーザは、実行要求と共にサービスＩＤの指定も行っているものとする。
【００３１】
実行要求された機能がテレビ機能の場合（Ｓ１２＝テレビ機能）、現在、アプリ機能を実行しておりアプリケーションに係るアプリ画像を表示中か否か判断する（Ｓ１３）。
アプリ画像表示中である場合（Ｓ１３＝ＹＥＳ）、制御部４１は、表示制御部３４に指示してアプリ画像の表示を中止させる（Ｓ１４）。
そして、ワンセグ受信部３１に対し、ユーザにより指定されたサービスＩＤの通知と共に、ワンセグ放送波の受信を指示する（Ｓ１５）。ワンセグ受信部３１は、ワンセグ放送を受信し（Ｓ１５）、ＯＦＤＭ復調、誤り訂正、多重分離を行って、指定されたサービスＩＤのテレビ映像に係るＴＳパケットを抽出する。そして、ワンセグ受信部３１は、テレビ映像に係るＴＳパケットをテレビ映像抽出部３２に出力する。テレビ映像抽出部３２は、ワンセグ受信部３１から受け取ったＴＳパケットからテレビ映像データを生成し、表示制御部３４に出力する（Ｓ１６）。
【００３２】
また、制御部４１は、現在、字幕の抽出を行っているか否かを判定し（Ｓ１７）、字幕の抽出をしていない場合（Ｓ１７＝ＮＯ）、ワンセグ受信部３１に字幕抽出指示を行う。ワンセグ受信部３１は、字幕に係るＴＳパケットを抽出し、字幕抽出部３３に出力する。字幕抽出部３３は、ワンセグ受信部３１から受け取ったＴＳパケットから字幕データを生成し、表示制御部３４に出力する（Ｓ１８）。
【００３３】
表示制御部３４は、テレビ映像データ、字幕データから表示画像を生成し、表示画像を示す信号をディスプレイ１３に出力する。ディスプレイ１３は、表示画像を表示する（Ｓ１９）。このとき、ディスプレイ１３には、図７（ａ）の表示画像７１が表示される。
また、ワンセグ受信部３１は、指定されたサービスＩＤの音声に係るＴＳパケットを抽出する。そして、ワンセグ受信部３１は、音声に係るＴＳパケットを音声抽出部３６に出力する。音声抽出部３６は、ワンセグ受信部３１から受信した音声に係るＴＳパケットを復号して音声データを生成し、音声制御部３７に出力する。音声制御部３７は、音声抽出部３６から取得する音声データから音声信号を生成しスピーカ３８に出力する。（Ｓ２０）。
【００３４】
なお、本実施の形態では、テレビ機能を実行する場合、字幕も合わせて表示することとしているが、これに限らず、字幕を表示するか否かをユーザ操作により選択できるものとしてもよい。
Ｓ１２において、実行指示された機能がアプリ機能の場合（Ｓ１２＝アプリ機能）、制御部４１は、実行指示が、アプリの字幕付きでの実行を指示したものか否か判定する（Ｓ３０）。
【００３５】
アプリの字幕付きでの実行を指示された場合（Ｓ３０＝ＹＥＳ）、制御部４１は、現在テレビ機能を実行中であるか否かを判定する（Ｓ３１）。テレビ機能実行中であった場合は、テレビ映像抽出部３２に指示してテレビ映像の抽出・表示を中止し（Ｓ３２）、音声抽出部３６に指示してテレビ音声の抽出・出力を中止する（Ｓ３３）。さらに、字幕表示のために字幕を抽出しているか否かを判定し（Ｓ３４）、字幕の抽出中でなかった場合（Ｓ３４＝ＮＯ）、ワンセグ受信部３１に対して字幕抽出指示を行う。字幕抽出指示されたワンセグ受信部３１は、字幕に係るＴＳパケットを抽出し字幕抽出部３３に出力する。字幕抽出部３３は、ワンセグ受信部３１から受け取ったＴＳパケットから字幕データを生成し、表示制御部３４に出力する（Ｓ３５）。
【００３６】
次いで、制御部４１は、アプリ実行部３５に対し、アプリケーションプログラムの実行を指示する。アプリ実行部３５は、実行指示されたアプリケーションプログラムを記憶部４２から読み出して実行する（Ｓ３６）。
このとき、アプリ実行部３５は、アプリケーションプログラムの実行時に表示すべきＵＩ画像、静止画、動画などを表すアプリ画像を生成し、そのアプリ画像を表すアプリ画像データを表示制御部３４に出力する（Ｓ３７）。
【００３７】
表示制御部３４は、受け取った字幕画像データと、アプリ画像データとから、字幕画像とアプリ画像とをレイアウトした表示画像を生成し、表示画像を示す映像信号をディスプレイ１３に出力する。ディスプレイ１３は、受け取った映像信号に基づき表示画像を表示する。このとき、ディスプレイ１３には、表示画像として、既に説明した表示画像８１、８５、９５のいずれかのような画像が表示される。
【００３８】
また、Ｓ３０において、アプリ機能の実行が、字幕付きでの実行でないと判断された場合（Ｓ３０＝ＮＯ）、テレビ機能実行中であったときには（Ｓ５１＝ＹＥＳ）、制御部４１は、テレビ機能実行の中止をワンセグ受信部３１に指示する。ワンセグ受信部３１は、ワンセグ受信を中止し、テレビ機能実行を中止する（Ｓ５２）。
そして、制御部４１は、アプリ実行部３５に対し、アプリケーションプログラムの実行を指示する。アプリ実行部３５は、記憶部４２からアプリケーションプログラムを読み出して実行する（Ｓ５３）。
【００３９】
このとき、アプリ実行部３５は、アプリケーションプログラムの実行時に表示すべきＵＩ画像、静止画、動画などを表すアプリ画像に係るアプリ画像データを表示制御部３４に出力する。
表示制御部３４は、受け取ったアプリ画像データとから、アプリ画像のみをレイアウトした表示画像を生成し、表示画像を示す映像信号をディスプレイ１３に出力する。ディスプレイ１３は、映像信号に基づき表示画像を表示する（Ｓ５４）。このとき、表示画像は、一例として、既に説明した表示画像９１のような画像を表示する。
３．変形例
（１）上述の実施の形態では、アプリの字幕付き実行指示があった場合に（Ｓ３０＝ＹＥＳ）、アプリケーションを字幕付きで実行することとしたが、これに限らない。例えば、イヤホンが挿入されているか否か、また、マナーモードであるかなどの条件に従い、アプリを字幕付き実行するか否か判定してもよい。
【００４０】
これにより、ユーザからアプリを字幕付きで実行する旨の指示が無い場合でも、ユーザがアプリを実行しつつテレビ映像の字幕も見たいと想定されるときに、アプリを字幕付きで実行することができ、ユーザの利便性を高めることができる。なお、マナーモードとは、携帯電話機に一般的に備えられたモードであり、着信音を消してバイブレータによる振動により着信を通知するよう動作するようなモードである。
【００４１】
図４は、本変形例に係る機能実行処理のフローチャートである。
図４における、実行指示された機能がテレビ機能であった場合（Ｓ１１〜Ｓ２０）のフローについては、図３と同様であるので説明を省略する。
以下では、機能実行指示がアプリ機能であった場合（Ｓ１２＝アプリ機能）について説明する。
【００４２】
この場合、制御部４１は、イヤホン接続部１５によりイヤホン接続が検出されているか否かを判定し（Ｓ６１）、イヤホン接続部１５によりイヤホン接続が検出されなかった場合（Ｓ６１＝ＮＯ）には、さらに、携帯電話機１がマナーモードであるか否か判定する（Ｓ６２）。マナーモードであった場合（Ｓ６２＝ＹＥＳ）、アプリを字幕付きで実行する処理を行うこととなり、Ｓ６３に移行する。
【００４３】
一方、イヤホン接続を検出した場合（Ｓ６１＝ＹＥＳ）、マナーモードである場合（Ｓ６２＝ＮＯ）のいずれかに該当する場合は、アプリを字幕無しで実行するために、Ｓ７１に移行する。
Ｓ６３以降のアプリの字幕付き実行において、制御部４１は、現在テレビ機能実行中か否か判定し（Ｓ６３）、実行中であった場合（Ｓ６３＝ＹＥＳ）、テレビ映像の抽出・表示を中止し（Ｓ６４）、テレビ音声の抽出・出力を中止する（Ｓ６５）。そして、字幕抽出中か否か判定し（Ｓ６６）、字幕抽出していない場合に（Ｓ６６＝ＮＯ）、字幕抽出処理を行い（Ｓ６７）、字幕抽出中の場合（Ｓ６６＝ＹＥＳ）、字幕抽出を継続する。
【００４４】
次いで、制御部４１は、アプリ実行部３５に対し、アプリケーションプログラムの実行を指示する。アプリ実行部３５は、記憶部４２からアプリケーションプログラムを読み出して実行する（Ｓ６８）。
このとき、アプリ実行部３５は、アプリケーションプログラムの実行時に表示すべきアプリ画像に係るアプリ画像データを表示制御部３４に出力する。
【００４５】
表示制御部３４は、受け取った字幕画像データと、アプリ画像データとから、字幕画像とアプリ画像とをレイアウトした表示画像を生成し、表示画像を示す映像信号をディスプレイ１３に出力する。ディスプレイ１３は、表示画像を表示する（Ｓ６９）。
Ｓ７１以降のアプリの字幕無し実行においては、制御部４１は、現在テレビ機能実行中か否か判定し（Ｓ７１）、実行中であった場合（Ｓ７１＝ＹＥＳ）、テレビ映像の抽出・表示を中止する（Ｓ７２）。そして、現在字幕抽出中か否か判定し（Ｓ７４）、字幕抽出している場合に（Ｓ７４＝ＹＥＳ）、字幕抽出処理を中止し（Ｓ７５）、字幕抽出していない場合（Ｓ７４＝ＮＯ）、字幕抽出をそのまま字幕抽出を行わない。
【００４６】
次いで、制御部４１は、アプリ実行部３５に対し、アプリケーションプログラムの実行を指示する。アプリ実行部３５は、記憶部４２からアプリケーションプログラムを読み出して実行する（Ｓ７６）。そして、表示制御部３４は、受け取ったアプリ画像データから表示画像を生成し、表示画像を示す映像信号をディスプレイ１３に出力する。ディスプレイ１３は、表示画像を表示する（Ｓ７７）。
【００４７】
Ｓ７１において実行中でなかったと判断された場合（Ｓ７１＝ＮＯ）、テレビ音声の抽出・出力を開始して（Ｓ７３）、Ｓ７６に移行する。
図５は、携帯電話機１において、ユーザが、イヤホンの接続状態、或いは、マナーモードの状態を変更する場合に、表示を変更する処理（表示変更処理）を示すフローチャートである。
【００４８】
制御部４１は、イヤホン接続部１５からイヤホン接続状態の変更があった旨の通知を受けた場合、または、管理しているマナーモードの状態に変更があった場合（Ｓ９１）、イヤホン接続が接続状態であるか（Ｓ９２）、マナーモードであるか（Ｓ９３）の判定を行う。
イヤホン接続が接続状態であるか（Ｓ９２＝ＹＥＳ）、又は、マナーモードでないか（Ｓ９３＝ＮＯ）の少なくともいずれかの場合、制御部４１は、アプリ表示画面のみ表示するためにＳ１０１に移行する。また、イヤホン接続が接続状態でなく（Ｓ９２＝ＮＯ）、かつマナーモードである場合（Ｓ９３＝ＹＥＳ）は、アプリ表示画面と字幕とを同時表示するためにＳ９４に移行する。
【００４９】
Ｓ９４においては、制御部４１は、テレビ音声の抽出・出力中か否かを判定し（Ｓ９４）、テレビ音声の抽出・出力中であった場合（Ｓ９４＝ＹＥＳ）、テレビ音声の抽出・出力を中止する（Ｓ９５）。そして、字幕表示のために字幕を抽出しているか否かを判定し（Ｓ９６）、字幕の抽出中でなかった場合（Ｓ９６＝ＮＯ）、ワンセグ受信部３１に対して字幕抽出指示を行う。字幕抽出指示されたワンセグ受信部３１は、字幕に係るＴＳパケットを抽出し字幕抽出部３３に出力する。字幕抽出部３３は、ワンセグ受信部３１から受け取ったＴＳパケットから字幕データを生成し、表示制御部３４に出力する（Ｓ９７）。表示制御部３４は、アプリ画像と字幕とを同時に表示する表示画像をディスプレイ１３に表示させ（Ｓ９８）、Ｓ９１に移行する。
【００５０】
Ｓ１０１においては、制御部４１は、テレビ音声の抽出・出力中か否かを判定し（Ｓ１０１）、テレビ音声の抽出・出力中でなかった場合（Ｓ１０１＝ＮＯ）、テレビ音声の抽出・出力を開始する（Ｓ１０２）。そして、字幕表示のために字幕を抽出しているか否かを判定し（Ｓ１０３）、字幕の抽出中であった場合（Ｓ１０３＝ＹＥＳ）、字幕抽出部３３に対して字幕抽出の中止を指示して字幕の抽出を中止する（Ｓ１０４）。
【００５１】
表示制御部３４は、アプリ画像のみから表示画像を生成してディスプレイ１３に表示させ（Ｓ１０５）、Ｓ９１に移行する。
（２）図３を用いて説明した機能実行処理に加え、アプリケーションを字幕付きで実行するときに、映像蓄積部４３が、バックグラウンド処理としてテレビ映像を所定時間分蓄積しておくこととしてもよい。映像蓄積部４３に蓄積されるテレビ映像は、アプリ機能の実行中に字幕を見ることでユーザによってその内容が確認されていたものである。
【００５２】
そして、アプリを字幕付きで実行している状態から、テレビ機能を実行する状態に変更するときに、テレビ機能の実行に先だち、蓄積テレビ映像を追っかけ再生する。映像蓄積部４３に蓄積された未視聴のテレビ映像データが全て再生されて無くなって、追っかけ再生がリアルタイム視聴（現にワンセグ放送しているテレビ映像の視聴）に追いついたときに、バックグラウンド蓄積を終了して、リアルタイム視聴を継続する。
【００５３】
図６は、図３に、テレビ映像の蓄積処理、追っかけ再生処理を加えたものである。
以下では、図３からの変更箇所を中心に説明する。
具体的には、ユーザにより実行指示された機能がアプリ機能であり（Ｓ１２＝アプリ機能）、アプリ機能への切替前にテレビ機能の実行をしていた場合に（Ｓ３１＝ＹＥＳ）、テレビ映像のバックグラウンド蓄積を開始する（Ｓ１１１）。ここで、バックグラウンド蓄積とは、ディスプレイ１３にテレビ画像を表示せず、ワンセグ受信部３１においてワンセグ放送波の受信を行い、ワンセグ放送波から抽出した蓄積映像データを映像蓄積部４３に記憶することである。なお、テレビ映像のデータ蓄積に加え、テレビ音声のデータもバックグラウンド蓄積してもよい。この場合には、Ｓ３３において、テレビ音声の出力は中止するが、テレビ音声の抽出については継続することとなる。
【００５４】
また、制御部４１は、ユーザにより実行指示された機能がテレビ機能であり（Ｓ１２＝テレビ機能）、アプリ画像の表示中であった場合に（Ｓ１３＝ＹＥＳ）、アプリ機能が字幕付き実行されているか否か判定する（Ｓ１１２）。字幕付き実行であった場合（Ｓ１１２＝ＹＥＳ）、アプリの実行を中止し（Ｓ１４）、蓄積テレビ映像の追っかけ再生（テレビ音声もバックグラウンド蓄積している場合には、音声も再生してよい。）を行い（Ｓ１１３）、バックグラウンド蓄積を終了し（Ｓ１１４）、Ｓ１５に移行する。
【００５５】
字幕付き実行で無かった場合（Ｓ１１２＝ＮＯ）、アプリの実行を中止し（Ｓ１４）、Ｓ１５に移行する。
以上により、ユーザは、アプリ機能の実行中に、字幕を視聴することで内容を確認していたテレビ番組について、テレビ機能の実行を開始する前に、所定時間分のテレビ映像を視聴することができる。特に、字幕を視聴していて、テレビ映像に関し見たいシーンがあったことを認識した場合に、アプリ機能を中止して、テレビ機能の実行を指示すれば、そのシーンを追っかけ再生によって視聴することができる。これにより、ユーザにとっての利便性を向上させることができる。
【００５６】
（３）上述の実施形態では、ユーザがキーパッド等の入力デバイスを用いて携帯電話機に対し指示を行う例で説明したが、これには限らない。例えば、タッチパネル式の携帯電話機等であってもよい。
図９（ａ）は、タッチパネル式の携帯電話機の外観の一例を示す図である。
タッチパネル式のディスプレイには、表示画像１０１が表示されている。表示画像１０１は、字幕付きでアプリを実行する場合に表示される画像である。表示画像１０１では、アプリ画像９６の下端部分に、ソフトウェアキーボード１０２が表示されている。ユーザは、ソフトウェアキーボード１０２を用いて携帯電話機に文字を入力し、また指示を与えることになる。ソフトウェアキーボード１０２の下に状態情報画像９７が配置されている。
【００５７】
また、図９（ｂ）の表示画像１０２では、表示画像１０１と比較して画像の並び方が異なっている。表示画像１０２の上端に、状態情報画像９７が配され、その下にアプリ画像９６が配されており、アプリ画像９６の下端部分にソフトウェアキーボード１０２が配されている。ユーザがソフトウェアキーボード１０２の配置位置を指定することにより、入力がし易いディスプレイ上の好みの位置にソフトウェアキーボードを配することができるよう構成されている。
【００５８】
また、図１０（ａ）に示すように、状態情報画像９７のうち、テレビのサービスＩＤ（図中では、「８ｃｈ」）が表示された部分を、ユーザが指でタッチし、滑らせる操作（所謂スワイプ操作）を行うことで、サービスＩＤの変更をすることができる。スワイプ操作の結果、図１０（ｂ）の表示画像１１１における状態表示画像１１２のように、サービスＩＤが「１０ｃｈ」に変更されて、その「１０ｃｈ」の字幕が表示される。
【００５９】
（４）上述の実施形態では、アプリ画像として、メールアプリが表示する画像を例に説明した。図１１は、アプリケーションの一例としてブラウザアプリを用いた例を示す画像である。
図１１の表示画像１２１中には、ブラウザアプリによるアプリ画像１２２が配されている。そして、アプリ画像１２２の下端にはソフトウェアキーボード１０２が配されている。アプリ画像１２２の中央付近には、検索対象とする語の入力窓と、検索開始を指示するボタンが表示されている。ユーザは、入力窓にタッチして検索語の入力を開始することを指示する。そして、ソフトウェアキーボード１０２を用いて、検索語の入力を行う。検索語の入力後に、検索開始を指示するボタンにタッチすることで、検索語についての検索が行われ、検索結果が表示されることになる。
【００６０】
（５）図７（ｂ）は、サービスＩＤが８ｃｈの字幕を表示しながら、メール作成を行った場合の表示画像の一例を示していた。このように、ユーザがテレビ番組の内容を字幕を用いてチェックしつつメールを作成した場合、メール完成後に送信されるメールには、メールの送信者がチェックしていたテレビ番組の視聴を、メールの受信者が簡単に開始できるようなリンク、起動コマンド等が含まれることとしてもよい。このメールの受信者は、自身の携帯電話機を用いてメールを受信して閲覧のため画面表示し、表示されたメールに含まれるリンクを示す画像、起動コマンドの実行開始を表す画像をキーパッド、タッチパネル等の入力デバイスを用いて指定する。これにより、メールの受信者の携帯電話機は、メール送信者が内容をチェックしていたテレビ番組の受信を開始し、画面表示する。このように構成することで、メールの受信者の携帯電話機において、簡易な手順で、メール送信者が内容をチェックしていたテレビ番組の視聴を開始することができる。
【００６１】
（６）実施形態で示した状態遷移について制御する処理、起動時状態判定処理などを行う携帯電話機のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。
【００６２】
（７）上述の実施形態で示した各機能構成要素は、その機能を実行する回路として実現されてもよいし、１又は複数のプロセッサによりプログラムを実行することで実現されてもよい。また、ＩＣ、ＬＳＩその他の集積回路のパッケージとして構成されるものとしてもよい。このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。
【００６３】
（８）上述の実施形態は、携帯電話機の例で説明したが、本発明は、同様な構成、機能を有するような携帯型の情報端末等としても実現し得る。
（９）上述の各実施形態及び各変形例を、部分的に組み合せてもよい。
【産業上の利用可能性】
【００６４】
本発明の携帯情報端末は、メール、ＷＥＢなどのアプリケーションの実行機能に加え、デジタルテレビ放送の受信機能を備えた携帯情報端末に好適である。
【符号の説明】
【００６５】
１ 携帯電話機
１１ マイクロフォン
１２ レシーバ
１３ ディスプレイ
１４ 入力部
１５ イヤホン接続部
１６ ワンセグアンテナ
２１ 通信アンテナ
３１ ワンセグ受信部
３２ テレビ映像抽出部
３３ 字幕抽出部
３４ 表示制御部
３５ アプリ実行部
３６ 音声抽出部
３７ 音声制御部
３８ スピーカ
４１ 制御部
４２ 記憶部
４３ 映像蓄積部
【特許請求の範囲】
【請求項１】
テレビ映像と当該テレビ映像に付随する字幕とが多重化されたデジタルテレビ放送波を受信する携帯情報端末であって、
ディスプレイと、
受信したデジタルテレビ放送波からテレビ映像を抽出する映像抽出手段と、
前記受信したデジタルテレビ放送波から字幕を抽出する字幕抽出手段と、
テレビ映像以外の画像表示を行う所定のアプリケーションを実行する実行手段と、
テレビ映像を前記ディスプレイに表示している場合において、前記アプリケーションがユーザから実行要求されたときに、前記テレビ映像の表示を中止し、前記実行手段によって実行されるアプリケーションによる表示画像と前記字幕とを前記ディスプレイに表示する表示制御手段と
を備えることを特徴とする携帯情報端末。
【請求項２】
前記表示制御手段は、前記アプリケーションによる表示画像と前記字幕とを前記ディスプレイに表示する場合に、前記アプリケーションによる表示画像の上に前記字幕を重畳して表示する
ことを特徴とする請求項１記載の携帯情報端末。
【請求項３】
前記表示制御手段は、前記アプリケーションによる表示画像と前記字幕とを前記ディスプレイに表示する場合に、前記ディスプレイにおける表示領域を分けて、一方に前記アプリケーションによる表示画像を表示し、他方に前記字幕を表示する
ことを特徴とする請求項１記載の携帯情報端末。
【請求項４】
前記携帯情報端末は、さらに、
イヤホンが接続されているか否かを検出する検出手段を備え、
前記表示制御手段は、前記アプリケーションが実行要求されたときに、前記テレビ映像の表示を中止し、前記検出手段により前記イヤホンの接続が検知される場合には、前記字幕の表示を抑止して前記アプリケーションの実行に伴う表示画像を前記ディスプレイに表示し、前記検出手段により前記イヤホンの接続が検知されない場合には、前記アプリケーションの実行に伴う表示画像と前記字幕とを前記ディスプレイに表示する
ことを特徴とする請求項１記載の携帯情報端末。
【請求項５】
前記携帯情報端末は、マナーモードを備えており、
前記表示制御手段は、前記アプリケーションが実行要求されたときに、前記テレビ映像の表示を中止し、前記携帯情報端末が前記マナーモードでない場合には、前記字幕の表示を抑止して前記アプリケーションの実行に伴う表示画像を前記ディスプレイに表示し、前記携帯情報端末が前記マナーモードである場合には、前記アプリケーションの実行に伴う表示画像と前記字幕とを前記ディスプレイに表示する
ことを特徴とする請求項１記載の携帯情報端末。
【請求項６】
前記表示制御手段は、特定の文字列を保持しており、前記字幕を前記ディスプレイに表示させる場合において、前記字幕に前記特定の文字列が含まれているときには、当該特定の文字列を他の文字列と異なる色で表示させる
ことを特徴とする請求項１記載の携帯情報端末。
【請求項７】
前記表示制御手段は、
予め定めたサービスＩＤと文字色との対応を示す情報を保持しており、
前記字幕をディスプレイに表示する場合に、選択されているテレビ映像に係るサービスＩＤに対応する文字色で表示する
ことを特徴とする請求項１記載の携帯情報端末。
【請求項８】
前記携帯情報端末は、さらに、
受信時刻の遅いものから順に所定時間分のテレビ映像を蓄積する蓄積手段を備え、
前記表示制御手段は、ユーザから前記中止したテレビ映像の表示の再開要求を受けた場合に、再開に先立ち前記蓄積していたテレビ映像を表示して、その後テレビ映像の表示を再開する
ことを特徴とする請求項１記載の携帯情報端末。
【請求項９】
前記デジタルテレビ放送波は、ワンセグ放送波である
ことを特徴とする請求項１記載の携帯情報端末。
【請求項１０】
前記携帯情報端末は、携帯電話機である
ことを特徴とする請求項１記載の携帯情報端末。
【請求項１１】
ディスプレイを備えた、テレビ映像と当該テレビ映像に付随する字幕とが多重化されたデジタルテレビ放送波を受信する携帯情報端末に用いられる表示制御方法であって、
受信したデジタルテレビ放送波からテレビ映像を抽出する映像抽出ステップと、
前記受信したデジタルテレビ放送波から字幕を抽出する字幕抽出ステップと、
テレビ映像の表示と無関係であり、画像表示を行う所定のアプリケーションを実行する実行ステップと、
テレビ映像をディスプレイに表示している場合において、前記アプリケーションがユーザから実行要求されたときに、前記テレビ映像の表示を中止し、前記アプリケーションを実行し、前記アプリケーションによる表示画像と前記字幕とを前記ディスプレイに表示する表示制御ステップと
を含むことを特徴とする表示制御方法。
【請求項１２】
ディスプレイを備えた、テレビ映像と当該テレビ映像に付随する字幕とが多重化されたデジタルテレビ放送波を受信する携帯情報端末に用いられる表示制御プログラムであって、
受信したデジタルテレビ放送波からテレビ映像を抽出する映像抽出ステップと、
前記受信したデジタルテレビ放送波から字幕を抽出する字幕抽出ステップと、
テレビ映像の表示と無関係であり、画像表示を行う所定のアプリケーションを実行する実行ステップと、
テレビ映像をディスプレイに表示している場合において、前記アプリケーションがユーザから実行要求されたときに、前記テレビ映像の表示を中止し、前記アプリケーションを実行し、前記アプリケーションによる表示画像と前記字幕とを前記ディスプレイに表示する表示制御ステップと
をコンピュータに実行させることを特徴とする表示制御プログラム。
【請求項１】
テレビ映像と当該テレビ映像に付随する字幕とが多重化されたデジタルテレビ放送波を受信する携帯情報端末であって、
ディスプレイと、
受信したデジタルテレビ放送波からテレビ映像を抽出する映像抽出手段と、
前記受信したデジタルテレビ放送波から字幕を抽出する字幕抽出手段と、
テレビ映像以外の画像表示を行う所定のアプリケーションを実行する実行手段と、
テレビ映像を前記ディスプレイに表示している場合において、前記アプリケーションがユーザから実行要求されたときに、前記テレビ映像の表示を中止し、前記実行手段によって実行されるアプリケーションによる表示画像と前記字幕とを前記ディスプレイに表示する表示制御手段と
を備えることを特徴とする携帯情報端末。
【請求項２】
前記表示制御手段は、前記アプリケーションによる表示画像と前記字幕とを前記ディスプレイに表示する場合に、前記アプリケーションによる表示画像の上に前記字幕を重畳して表示する
ことを特徴とする請求項１記載の携帯情報端末。
【請求項３】
前記表示制御手段は、前記アプリケーションによる表示画像と前記字幕とを前記ディスプレイに表示する場合に、前記ディスプレイにおける表示領域を分けて、一方に前記アプリケーションによる表示画像を表示し、他方に前記字幕を表示する
ことを特徴とする請求項１記載の携帯情報端末。
【請求項４】
前記携帯情報端末は、さらに、
イヤホンが接続されているか否かを検出する検出手段を備え、
前記表示制御手段は、前記アプリケーションが実行要求されたときに、前記テレビ映像の表示を中止し、前記検出手段により前記イヤホンの接続が検知される場合には、前記字幕の表示を抑止して前記アプリケーションの実行に伴う表示画像を前記ディスプレイに表示し、前記検出手段により前記イヤホンの接続が検知されない場合には、前記アプリケーションの実行に伴う表示画像と前記字幕とを前記ディスプレイに表示する
ことを特徴とする請求項１記載の携帯情報端末。
【請求項５】
前記携帯情報端末は、マナーモードを備えており、
前記表示制御手段は、前記アプリケーションが実行要求されたときに、前記テレビ映像の表示を中止し、前記携帯情報端末が前記マナーモードでない場合には、前記字幕の表示を抑止して前記アプリケーションの実行に伴う表示画像を前記ディスプレイに表示し、前記携帯情報端末が前記マナーモードである場合には、前記アプリケーションの実行に伴う表示画像と前記字幕とを前記ディスプレイに表示する
ことを特徴とする請求項１記載の携帯情報端末。
【請求項６】
前記表示制御手段は、特定の文字列を保持しており、前記字幕を前記ディスプレイに表示させる場合において、前記字幕に前記特定の文字列が含まれているときには、当該特定の文字列を他の文字列と異なる色で表示させる
ことを特徴とする請求項１記載の携帯情報端末。
【請求項７】
前記表示制御手段は、
予め定めたサービスＩＤと文字色との対応を示す情報を保持しており、
前記字幕をディスプレイに表示する場合に、選択されているテレビ映像に係るサービスＩＤに対応する文字色で表示する
ことを特徴とする請求項１記載の携帯情報端末。
【請求項８】
前記携帯情報端末は、さらに、
受信時刻の遅いものから順に所定時間分のテレビ映像を蓄積する蓄積手段を備え、
前記表示制御手段は、ユーザから前記中止したテレビ映像の表示の再開要求を受けた場合に、再開に先立ち前記蓄積していたテレビ映像を表示して、その後テレビ映像の表示を再開する
ことを特徴とする請求項１記載の携帯情報端末。
【請求項９】
前記デジタルテレビ放送波は、ワンセグ放送波である
ことを特徴とする請求項１記載の携帯情報端末。
【請求項１０】
前記携帯情報端末は、携帯電話機である
ことを特徴とする請求項１記載の携帯情報端末。
【請求項１１】
ディスプレイを備えた、テレビ映像と当該テレビ映像に付随する字幕とが多重化されたデジタルテレビ放送波を受信する携帯情報端末に用いられる表示制御方法であって、
受信したデジタルテレビ放送波からテレビ映像を抽出する映像抽出ステップと、
前記受信したデジタルテレビ放送波から字幕を抽出する字幕抽出ステップと、
テレビ映像の表示と無関係であり、画像表示を行う所定のアプリケーションを実行する実行ステップと、
テレビ映像をディスプレイに表示している場合において、前記アプリケーションがユーザから実行要求されたときに、前記テレビ映像の表示を中止し、前記アプリケーションを実行し、前記アプリケーションによる表示画像と前記字幕とを前記ディスプレイに表示する表示制御ステップと
を含むことを特徴とする表示制御方法。
【請求項１２】
ディスプレイを備えた、テレビ映像と当該テレビ映像に付随する字幕とが多重化されたデジタルテレビ放送波を受信する携帯情報端末に用いられる表示制御プログラムであって、
受信したデジタルテレビ放送波からテレビ映像を抽出する映像抽出ステップと、
前記受信したデジタルテレビ放送波から字幕を抽出する字幕抽出ステップと、
テレビ映像の表示と無関係であり、画像表示を行う所定のアプリケーションを実行する実行ステップと、
テレビ映像をディスプレイに表示している場合において、前記アプリケーションがユーザから実行要求されたときに、前記テレビ映像の表示を中止し、前記アプリケーションを実行し、前記アプリケーションによる表示画像と前記字幕とを前記ディスプレイに表示する表示制御ステップと
をコンピュータに実行させることを特徴とする表示制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１２８１６（Ｐ２０１３−１２８１６Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４２７４３（Ｐ２０１１−１４２７４３）
【出願日】平成２３年６月２８日（２０１１．６．２８）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２８日（２０１１．６．２８）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]