説明

画像生成装置、画像生成方法、及び画像生成用プログラム

【課題】 より印象深いワンシーン画像を簡単に生成することができる画像生成装置、画像生成方法、及び画像生成用プログラムを提供する。
【解決手段】 デジタル放送受信テレビ102は、テレビジョンデータ受信部201と、チューナ部202と、ユーザインターフェース部203と、キャプチャ画像生成部207と、字幕データ取得部209と、画像字幕表示処理部211と、合成画像生成部212と、表示部219と、制御部220とを備える。制御部220は、キャプチャ指示があり、合成用字幕表示指示があるときは、表示中のキャプチャ画像に、キャプチャした時刻又は当該時刻から所定時間前若しくは後の時刻の字幕をさらに重ねて表示部219に表示させ、合成画像生成部212が、表示中のキャプチャ画像と字幕を用いて合成画像データを作成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像のキャプチャ画面印刷を行う画像生成装置、画像生成方法、及び画像生成用プログラムに関し、特に、キャプチャ画面の編集及び表示を行う画像生成装置、画像生成方法、及び画像生成用プログラムに関する。
【背景技術】
【0002】
従来よりテレビ放送によってテレビモニタに映し出される映像のワンシーンを切り取り、画像に変換する画像生成装置はよく知られている。ユーザは、この装置によってテレビ番組のワンシーンを印刷して楽しむことができる(例えば、特許文献1参照)。
【特許文献1】特開平09−121313号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、テレビ番組中のワンシーンをただ印刷するだけでは物足りないというユーザも少なくない。特に、当該ワンシーンを印刷しただけではそのテレビ番組に出演している出演者が話している内容を理解できないため、ユーザに印象深いワンシーン画像を提供することができないおそれがある。
【0004】
本発明の目的は、より印象深いワンシーン画像を簡単に生成することができる画像生成装置、画像生成方法、及び画像生成用プログラムを提供することにある。
【課題を解決するための手段】
【0005】
上記目的を達成するために、請求項1の画像生成装置は、テレビジョン信号を入力するテレビジョン信号入力手段と、前記入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により前記取得されたテレビ映像をキャプチャしてキャプチャ画像を生成するキャプチャ画像生成手段と、前記入力されたテレビジョン信号から字幕データを取得する字幕データ取得手段と、前記キャプチャ画像と、前記取得された字幕データのうち前記キャプチャ画像に関連するものとを表示部に表示する画像字幕表示手段と、前記表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成する合成画像生成手段とを備えることを特徴とする。
【0006】
上記目的を達成するために、請求項9の画像生成方法は、テレビジョン信号を入力するテレビジョン信号入力ステップと、前記入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により前記取得されたテレビ映像をキャプチャしてキャプチャ画像を生成するキャプチャ画像生成ステップと、前記入力されたテレビジョン信号から字幕データを取得する字幕データ取得ステップと、前記キャプチャ画像と、前記取得された字幕データのうち前記キャプチャ画像に関連するものとを表示部に表示する画像字幕表示ステップと、前記表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成する合成画像生成ステップとを備えることを特徴とする。
【0007】
上記目的を達成するために、請求項10の画像生成用プログラムは、テレビジョン信号を入力するテレビジョン信号入力モジュールと、前記入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により前記取得されたテレビ映像をキャプチャしてキャプチャ画像を生成するキャプチャ画像生成モジュールと、前記入力されたテレビジョン信号から字幕データを取得する字幕データ取得モジュールと、前記キャプチャ画像と、前記取得された字幕データのうち前記キャプチャ画像に関連するものとを表示部に表示する画像字幕表示モジュールと、前記表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成する合成画像生成モジュールとを備えることを特徴とする。
【発明の効果】
【0008】
請求項1記載の画像生成装置、請求項9記載の画像生成方法、及び請求項10記載の画像生成用プログラムによれば、入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により取得されたテレビ映像をキャプチャしてキャプチャ画像を生成し、入力されたテレビジョン信号から字幕データを取得し、キャプチャ画像と、取得された字幕データのうちキャプチャ画像に関連するものとを表示部に表示し、表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成するので、より印象深いワンシーン画像を簡単に生成することができる。
【発明を実施するための最良の形態】
【0009】
以下、本発明の実施の形態を図面を用いて詳述する。
【0010】
図1は、本発明の実施の形態に係る画像生成装置が適用される放送システムの構成を概略的に示す図である。
【0011】
図1において、放送システム100は、映像信号、音声信号、及び音声データを文字で表現した字幕信号の3種の信号を混合してデジタルテレビジョンデータとして送信する放送局101と、送信されたデジタルテレビジョンデータを受信する画像生成装置としてのデジタル放送受信テレビ102と、デジタル放送受信テレビ102に接続されたプリンタ103とを備える。
【0012】
デジタル放送受信テレビ102は、プリンタ103に接続されることによって、出力する画像を印刷することができる。
【0013】
図2は、図1におけるデジタル放送受信テレビ102の構成を概略的に示すブロック図である。
【0014】
図2において、デジタル放送受信テレビ102は、テレビジョンデータ受信部201と、チューナ部202と、ユーザインターフェース部203と、復号部204と、分離部205と、デコード部206と、キャプチャ画像生成部207と、キャプチャ画像記憶部208と、字幕データ取得部209と、字幕データ記憶部210と、画像字幕表示処理部211と、合成画像生成部212と、合成画像記憶部213と、合成画像出力部214と、音声出力処理部215と、映像出力処理部216と、スピーカ部217,218と、表示部219と、制御部220とを備える。
【0015】
テレビジョンデータ受信部201は、放送局101から送信されるデジタルテレビジョンデータを受信すると共に受信したデジタルテレビジョンデータをチューナ部202に入力する手段を備え、ユーザインターフェース部203は、ユーザが視聴希望するチャンネルを入力するチャンネル指示入力、テレビ映像をキャプチャするキャプチャ指示入力、合成する字幕を表示する合成用字幕表示指示入力、キャプチャ画像と合成用字幕データを選択する字幕選択指示入力、合成画像を保存する合成画像保存指示入力、合成画像を検索する合成画像検索指示入力、及びプリンタ103から出力させるプリンタ出力指示入力等の指示を入力する指示入力手段を備える。
【0016】
チューナ部202は、チャンネルを選択する手段であり、1キャリアに含まれる複数のチャンネルデータからユーザインターフェース部203で入力されたユーザ視聴希望チャンネルに対応するパケットデータを取り出し、復号部204は、チューナ202によって取り出されたパケットデータを受け取ると共に受け取ったパケットデータを復号化(デスクランブル)し、分離部205は、復号部204によって復号化されたパケットデータから、映像パケットデータ、音声パケットデータ、及び字幕パケットデータのように、パケットデータのコンテンツごとに分離を行う。
【0017】
デコード部206は、分離部205によって分離された映像パケットデータ、音声パケットデータ、及び字幕パケットデータを繋ぎ合わせて、映像データ、音声データ、及び字幕データを復元すると共に映像パケットデータ、音声パケットデータ、及び字幕パケットデータに付加されている時刻情報に基づいて映像データ、音声データ、及び字幕データの同期化を行い、音声出力処理部215は、デコード部206によって復元された音声データを元のアナログ信号に変換して、音声信号として後述するスピーカ部217,218へ出力する手段を備え、映像出力処理部216は、デコード部206によって復元された映像データを元のアナログ信号に変換して、表示部219に表示させる。映像出力処理部216は、また、ユーザインターフェース部203からのテレビ映像のキャプチャ指示があるときは、画像字幕表示処理部211が示すキャプチャ画像と字幕データを表示部219に表示する映像データに重ねる。
【0018】
キャプチャ画像生成部207は、ユーザインターフェース部203からのテレビ映像のキャプチャ指示があるときは、デコード部206から出力される映像データに基づいてキャプチャ画像を生成すると共に、生成されたキャプチャ画像に時刻情報を付加してキャプチャ画像記憶部208に保存し、字幕データ取得部209は、ユーザインターフェース部203からのテレビ映像のキャプチャ指示の有無に関わらず常にデコード部206から出力される字幕データを受け取ると共に、受け取った字幕データに変化があり字幕内容が変わるときは、新しい字幕データに時刻情報を付加して字幕データ記憶部210に保存する。このとき、字幕データに映像中の誰又は何が発したセリフに対応する字幕なのかを示す字幕発生元情報が付加されているときは、字幕発生元情報も共に字幕データ記憶部210に保存し、また、字幕が存在しないとき(無声の場合)は、字幕データ記憶部210に何も保存しない。
【0019】
画像字幕表示処理部211は、ユーザの指示によりキャプチャ画像と字幕データの合成画像データを表示するための処理を行い、ユーザインターフェース部203からのテレビ映像のキャプチャ指示があるときは、キャプチャ画像記憶部208に保存されているキャプチャ画像を映像出力処理部216に出力し、キャプチャ指示と合成用字幕表示指示があるときは、表示中のキャプチャ画像に付加された時刻情報を参照して、その時刻情報又は当該時刻情報から所定時間前若しくは後の時刻を示す時刻情報が付加された字幕データを字幕データ記憶部210から複数選び映像出力処理部216に出力し、合成画像生成部212は、画像字幕表示処理部211によって出力されたキャプチャ画像と字幕データを用いて合成画像データを生成すると共に生成された合成画像データをビットマップ等の汎用的画像フォーマットへ変換する。
【0020】
合成画像出力部213は、プリンタ103等の外部接続機へ合成画像を出力する一般的なインターフェース部であり、ユーザインターフェース部203からの合成画像保存指示があるときは、合成画像生成部212によって生成された合成画像データを合成画像記憶部213に保存し、合成画像データ中に字幕データが含まれているときは、その字幕データを合成画像データのインデックスとして合成画像データと共に保存する。
【0021】
制御部220は、デジタル放送受信テレビ102における全てのブロックに接続され、当該全てのブロックを制御する。
【0022】
図3は、図2における表示部219に表示される画面の一例を示す図である。
【0023】
図3において、ユーザインターフェース部203からのテレビ映像301のキャプチャ指示及び合成用字幕表示指示があるときは、表示部219は、現在表示中のテレビ映像301の上に、キャプチャ画像302と文字選択画面303を重ねて表示する。
【0024】
キャプチャ画像302は、ユーザインターフェース部203からのキャプチャ指示があったときの映像が、男性Aと女性Bが挨拶するシーンであることを示す。
【0025】
キャプチャ画像302に対応する字幕は、その字幕発生元情報が男性Aと女性Bの2種類存在するので、字幕選択画面303は、男性A及び女性Bに対応する字幕を分けて表示しており、キャプチャ指示のあった瞬間の音声に対応する字幕は、夫々字幕304,307、その瞬間の直前の音声に対応する字幕は、夫々字幕305,308、及びその瞬間の直後の音声に対応する字幕は、夫々字幕306,309であることを示している。
【0026】
ユーザは、字幕選択画面303に表示されている字幕の中に所望の字幕がないときは、ポインタ310を操作して字幕をスクロールし、字幕選択画面303に、始めに表示した字幕に対応する時刻から所定時間前又は後の時刻の字幕を表示させる。ここで、所定時間とは100分の1秒刻みで設定可能な任意の時間である。例えば、0.01秒、1秒、1分などである。以下「所定時間」は、全てこれと同様である。
【0027】
ユーザは、また、キャプチャ画像と字幕の合成画像を作成するときは、ポインタ310を操作して所望の字幕311,312をキャプチャ画像302上に配置して、合成画像生成部212に合成画像データを作成させ(図4)、作成された合成画像データをユーザインターフェース部203からの合成画像保存指示によって合成画像記憶部213に保存させる。
【0028】
ユーザは、さらに、キャプチャ画像と字幕の合成画像データを印刷するときは、合成画像生成部212で合成画像データを作成させ、ユーザインターフェース部203からのプリンタ出力指示によって作成された合成画像データを合成画像出力部213から出力させ、プリンタ103に印刷させる。また、ユーザインターフェース部203からの合成画像検索指示があるときは、複数の合成画像データと共に合成画像記憶部213に保存されたインデックスを参照することによって合成画像記憶部213内を検索し、その結果を表示する。
【0029】
図5は、図2のデジタル放送受信テレビ102によって実行される合成画像印刷処理の手順を示すフローチャートである。
【0030】
図5において、テレビジョンデータ受信部201は、放送局101から送信されるデジタルテレビジョンデータを受信し(ステップS501)(テレビジョン信号入力手段)、制御部220が、受信したデジタルテレビジョンデータに基づいてユーザ視聴希望チャンネルの映像を表示部219に表示させ(ステップS502)、ユーザインターフェース部203からのキャプチャ指示があるか否かを判別する(ステップS503)。この判別の結果、キャプチャ指示がないときは、ステップS502の処理に戻り、制御部220は、ユーザ視聴希望チャンネルの映像を表示部219に表示させ続け、キャプチャ指示があるときは、表示中のユーザ視聴希望チャンネルの映像にキャプチャ画像を重ねて表示部219に表示させる(ステップS504)(キャプチャ画像生成手段)。
【0031】
続くステップS505では、制御部220は、ユーザインターフェース部203から合成用字幕表示指示があるか否かを判別し、合成用字幕表示指示がないときは後述するステップS507の処理に進み、合成用字幕表示指示があるときは、表示中のキャプチャ画像がキャプチャされた時刻又は当該時刻から所定時間前若しくは後の時刻の字幕をさらに重ねて表示部219に表示させ(ステップS506)(字幕データ取得手段、画像字幕表示手段)、合成画像生成部212が、表示中のキャプチャ画像と字幕を用いて合成画像データを作成する(ステップS507)(合成画像生成手段)。このとき、ステップS505で字幕表示指示がなかったときは、キャプチャ画像を合成画像データとする。
【0032】
続くステップS508では、制御部220は、ユーザインターフェース部203からの合成画像保存指示があるか否かを判別し、合成画像保存指示があるときは、ステップS507で作成した合成画像データを合成画像記憶部213に保存し(ステップS509)、ユーザインターフェース部203からの印刷指示によって、合成画像を生成して合成画像出力部214からプリンタへ出力し、プリンタは、当該出力された合成画像を印刷する(ステップS510)。
【0033】
ステップS509において、合成画像データに字幕データが含まれているときは、その字幕データを合成画像データのインデックスとして合成画像データと共に合成画像記憶部213に保存する。
【0034】
図5の処理によれば、制御部220は、キャプチャ指示があり(ステップS503でYES)、合成用字幕表示指示があるときは(ステップS505でYES)、表示中のキャプチャ画像に、キャプチャした時刻又は当該時刻から所定時間前若しくは後の時刻の字幕をさらに重ねて表示部219に表示させ(ステップS506)、表示中のキャプチャ画像と字幕を用いて合成画像データを作成する(ステップS507)ので、より印象深い合成画像データを簡単に生成することができる。
【0035】
また、本発明の実施の形態に係る画像生成装置は、デジタル放送受信テレビであったが、アナログ放送受信テレビであってもよい。この場合、図2において、文字データ取得部209及びキャプチャ画像記憶部208を以下のように変更すればよい。
【0036】
文字データ取得部209は、音声認識技術を用いて音声データを字幕データに変換すると共に、アナログ放送受信テレビが備える時計の時刻に基づいて変換された字幕データに変換時刻を付加して保存し、キャプチャ画像記憶部208は、ユーザからのキャプチャ指示があるときは、キャプチャ画像にキャプチャ時刻を付加して保存する。
【0037】
これにより、アナログ放送受信テレビであっても、本発明である画像生成装置を実施可能である。
【0038】
さらに、受信する放送は文字放送であってもよく、本発明の実施の形態に係る画像生成装置は、テレビに限らず、テレビチューナを内蔵するビデオやプリンタであってもよい。
【0039】
上記実施の形態では、放送システム100は、映像信号、音声信号、及び字幕信号の3種の信号を混合してデジタルテレビジョンデータとして放送し、画像生成装置としてのデジタル放送受信テレビ102がこのデジタルテレビジョンデータを受信するが、このデジタルテレビジョンデータに文字放送信号を含め、デジタル放送受信テレビ102がこの文字放送信号を受信し、字幕データ取得部209が該文字放送信号から字幕データを取得するようにしてもよい。
【0040】
また、デジタルテレビジョンデータにデジタル放送信号を含め、デジタル放送受信テレビ102がこのデジタル放送信号を受信し、字幕データ取得部209が該デジタル放送信号のビットストリームから字幕データを取得するようにしてもよい。
【0041】
画像字幕表示処理部211は、字幕データに対応する話者ごとに、字幕データの文字の大きさ、書体及び色の少なくともいずれか1つを変更する処理を実行するようにしてもよい。この結果、表示部219では、テレビ音声の話者ごとに、字幕データの文字の大きさ、書体及び色の少なくともいずれか1つが変更されて表示され、テレビ映像に複数の出演者(話者)が表示されていても、いずれの出演者が話した内容であるかを容易に理解することができる。
【0042】
また、本発明の目的は、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【0043】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0044】
又、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【0045】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0046】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【0047】
【図1】本発明の実施の形態に係る画像生成装置が適用される放送システムの構成を概略的に示す図である。
【図2】図1におけるデジタル放送受信テレビの構成を概略的に示すブロック図である。
【図3】図2における表示部に表示される画面の一例を示す図である。
【図4】図2における表示部に表示される合成画像の一例を示す図である。
【図5】図2のデジタル放送受信テレビによって実行される合成画像印刷処理の手順を示すフローチャートである。
【符号の説明】
【0048】
101 放送局
102 デジタル放送受信テレビ
103 プリンタ
201 テレビジョンデータ受信部
202 チューナ部
203 ユーザインターフェース部
207 キャプチャ画像生成部
209 字幕データ取得部
211 画像字幕表示処理部
212 合成画像生成部
217,218 スピーカ部
219 表示部
220 制御部

【特許請求の範囲】
【請求項1】
テレビジョン信号を入力するテレビジョン信号入力手段と、
前記入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により前記取得されたテレビ映像をキャプチャしてキャプチャ画像を生成するキャプチャ画像生成手段と、
前記入力されたテレビジョン信号から字幕データを取得する字幕データ取得手段と、
前記キャプチャ画像と、前記取得された字幕データのうち前記キャプチャ画像に関連するものとを表示部に表示する画像字幕表示手段と、
前記表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成する合成画像生成手段とを備えることを特徴とする画像生成装置。
【請求項2】
前記入力されたテレビジョン信号からテレビ音声を取得する音声取得手段を備え、前記字幕データ取得手段は、音声認識によって前記取得されたテレビ音声から前記字幕データを取得することを特徴とする請求項1記載の画像生成装置。
【請求項3】
前記テレビジョン信号入力手段は、文字放送信号を入力し、前記字幕データ取得手段は、前記入力された文字放送信号から字幕データを取得することを特徴とする請求項1記載の画像生成装置。
【請求項4】
前記テレビジョン信号入力手段は、デジタル放送信号を入力し、前記字幕データ取得手段は、前記入力されたデジタル放送信号のビットストリームから前記字幕データを取得することを特徴とする請求項1記載の画像生成装置。
【請求項5】
前記画像字幕表示手段は、前記テレビ画像をキャプチャした時刻、又は当該時刻から所定時間前若しくは後の時刻に対応する前記字幕データを表示部に表示することを特徴とする請求項1乃至4のいずれか1項に記載の画像生成装置。
【請求項6】
前記画像字幕表示手段は、前記取得した字幕データに対応する話者ごとに、前記取得した字幕データの文字の大きさ、書体、及び色の少なくともいずれか1つを変えて表示することを特徴とする請求項1乃至5のいずれか1項に記載の画像生成装置。
【請求項7】
前記合成された字幕データを前記合成画像に対応するインデックスとして記憶する合成画像記憶手段と、前記記憶されたインデックスを参照することによって前記合成画像を検索する合成画像検索手段とを備えることを特徴とする請求項1乃至6のいずれか1項に記載の画像生成装置。
【請求項8】
前記合成画像を印刷する印刷手段を備えることを特徴とする請求項1乃至7のいずれか1項に記載の画像生成装置。
【請求項9】
テレビジョン信号を入力するテレビジョン信号入力ステップと、
前記入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により前記取得されたテレビ映像をキャプチャしてキャプチャ画像を生成するキャプチャ画像生成ステップと、
前記入力されたテレビジョン信号から字幕データを取得する字幕データ取得ステップと、
前記キャプチャ画像と、前記取得された字幕データのうち前記キャプチャ画像に関連するものとを表示部に表示する画像字幕表示ステップと、
前記表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成する合成画像生成ステップとを備えることを特徴とする画像生成方法。
【請求項10】
テレビジョン信号を入力するテレビジョン信号入力モジュールと、
前記入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により前記取得されたテレビ映像をキャプチャしてキャプチャ画像を生成するキャプチャ画像生成モジュールと、
前記入力されたテレビジョン信号から字幕データを取得する字幕データ取得モジュールと、
前記キャプチャ画像と、前記取得された字幕データのうち前記キャプチャ画像に関連するものとを表示部に表示する画像字幕表示モジュールと、
前記表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成する合成画像生成モジュールとを備えることを特徴とする画像生成用プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2006−157669(P2006−157669A)
【公開日】平成18年6月15日(2006.6.15)
【国際特許分類】
【出願番号】特願2004−347140(P2004−347140)
【出願日】平成16年11月30日(2004.11.30)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】