表示装置及び表示方法
【課題】映像に含まれるテキストデータを抽出し、抽出したテキストデータと映像とを連携させる技術を提供する。
【解決手段】再生部５０は、テロップのフレーズ又はテキストを検索処理や編集処理に利用するための機能として、テロップ処理部６０を備える。テロップ処理部６０は、フレーズ検索部６２と、テロップ量検索部６４と、テロップ量編集部６６とを備える。フレーズ検索部６２は、記録部３０がデータ記憶部７０に記録したテロップ情報のフレーズをキーとして、記録されている動画の頭出し処理（検索処理）を行う。テロップ量検索部６４は、テロップ情報のうち時系列に関連づけられたテキスト量をキーとして動画の頭出し処理を行う。テロップ量編集部６６は、テキスト量を利用して、ハイライトシーンを集めた動画を生成する。
【解決手段】再生部５０は、テロップのフレーズ又はテキストを検索処理や編集処理に利用するための機能として、テロップ処理部６０を備える。テロップ処理部６０は、フレーズ検索部６２と、テロップ量検索部６４と、テロップ量編集部６６とを備える。フレーズ検索部６２は、記録部３０がデータ記憶部７０に記録したテロップ情報のフレーズをキーとして、記録されている動画の頭出し処理（検索処理）を行う。テロップ量検索部６４は、テロップ情報のうち時系列に関連づけられたテキスト量をキーとして動画の頭出し処理を行う。テロップ量編集部６６は、テキスト量を利用して、ハイライトシーンを集めた動画を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置及び表示方法に係り、例えばテロップ等の文字が含まれる映像を再生する表示装置及び表示方法に関する。
【背景技術】
【０００２】
近年のテレビ番組ではテロップの利用態様が多様化されており、映画の字幕や料理番組のレシピだけに留まらず、バラエティー番組などでの印象に残るフレーズにもテロップが多数表示されるようになっている。
【０００３】
そして従来より、テロップ等の文字情報を映像に含む放送の利用について様々な技術が提案されている。例えば、テレビ放送及び録画済みの映像よりテロップ部分を認識し、テキスト化した情報を保存する技術がある（特許文献１参照）。また、テロップとは異なるが、文字放送の文字情報、特にテレビ番組ガイドの情報を記録した記録媒体（ＩＣカード）を番組を録画した別の記録媒体（ビデオテープ）に関連づけて保存する技術がある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１１１９１０号公報
【特許文献２】特開２００７−３３２９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に開示の技術では、映像からテロップ等の文字情報を抽出して蓄積することで、少ないデータ量によってデータベースを構築することを目的としている。しかしながら、抽出したテキストデータと、映像との連携については考慮されていなかった。また、特許文献２に開示の技術では、別映像として受信するテレテキストなどの文字情報に限定されており、テロップの利用については何ら考慮されていない。さらに録画した番組との連携については非常に限られており、別の技術が求められていた。
【０００６】
本発明の目的は、上記課題に鑑み、映像に含まれるテキストデータを抽出し、抽出したテキストデータと映像とを連携させる技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る装置は、表示装置に関する。この表示装置は、動画像に含まれるテロップのテキストデータを抽出するテキスト抽出手段と、前記抽出したテキストデータと、前記動画像におけるテキストデータの抽出位置とを関連づけて記憶手段に記録する関連処理手段と、前記抽出したテキストデータをもとに前記動画像の検索処理を行う検索処理手段と、を備える。
また、前記テキスト抽出手段は、前記テキストデータに含まれるフレーズを抽出し、前記関連処理手段は、前記フレーズと、前記フレーズが含まれていた前記動画像の位置とを関連づけて記録し、前記検索処理手段は、前記フレーズにもとづいて前記動画像の再生位置を決定してもよい。
また、前記検索処理手段は、ユーザから検索対象のフレーズの指定を受け、指定されたフレーズが含まれる前記動画像の位置を特定し、特定された前記動画像の位置を再生位置として決定してもよい。
また、前記検索処理手段は、ユーザから指定されたフレーズが含まれる位置が複数ある場合、前記フレーズが含まれる位置に対応するサムネイル画像をユーザから指定可能に表示し、ユーザから指定された前記サムネイル画像に対応する位置から前記動画像の再生を行ってもよい。
また、前記検索処理手段は、前記テキストデータの量を時系列で抽出し、前記動画像の位置と対応づけて、前記動画像の再生位置をユーザから指定可能に表示し、ユーザから指定された位置から前記動画像の再生処理を行ってもよい。
また、前記検索処理手段は、前記テキストデータの量を時系列で抽出し、前記テキストデータの量のピーク部分の映像を検索用の画像として生成してもよい。
また、前記動画像を放送波として受信する受信手段と、前記受信した動画像を記録するコンテンツ記憶手段と、を備え、前記関連処理手段は、前記動画像を記録するときに、前記抽出したテキストデータと前記動画像におけるテキストデータの抽出位置とを関連づけて記録してもよい。
本発明の別の態様は表示方法に関する。この表示方法は、動画像に含まれるテロップのテキストデータを抽出するテキスト抽出工程と、前記抽出したテキストデータと、前記動画像におけるテキストデータの抽出位置とを関連づけて記憶手段に記録する関連処理工程と、前記抽出したテキストデータをもとに前記動画像の検索処理を行う検索処理工程と、を備える。
また、前記テキスト抽出工程は、前記テキストデータに含まれるフレーズを抽出し、前記関連処理工程は、前記フレーズと、前記フレーズが含まれていた前記動画像の位置とを関連づけて記録し、前記検索処理工程は、前記フレーズにもとづいて前記動画像の再生位置を決定してもよい。
また、前記検索処理工程は、ユーザから検索対象のフレーズの指定を受け、指定された前記フレーズが含まれる前記動画像の位置を特定し、特定された前記動画像の位置を前記動画像の再生位置として決定してもよい。
また、前記検索処理工程は、ユーザから指定されたフレーズが含まれる位置が複数ある場合、前記フレーズが含まれる位置に対応するサムネイル画像をユーザから指定可能に表示し、ユーザから指定された前記サムネイル画像に対応する位置から前記コンテンツの再生を行ってもよい。
また、前記検索処理工程は、前記テキストデータの量を時系列で抽出し、前記動画像の位置と対応づけて、前記動画像の再生位置をユーザから指定可能に表示し、ユーザから指定された位置から前記動画像の再生処理を行ってもよい。
また、前記検索処理工程は、前記テキストデータの量を時系列で抽出し、前記テキストデータの量のピーク部分の映像を検索用の画像として生成してもよい。
また、前記動画像を放送波として受信する受信工程と、前記受信した前記動画像を記録するコンテンツ記憶工程と、を備え、前記関連処理工程は、前記動画像を記録するときに、前記抽出したテキストデータと前記動画像における前記テキストデータの抽出位置とを関連づけて記録してもよい。
【発明の効果】
【０００８】
本発明によれば、映像に含まれるテキストデータを抽出し、抽出したテキストデータと映像とを連携させる技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る、レコーダの概略構成を示す機能ブロック図である。
【図２】本発明の実施形態に係る、記録部の構成を示す機能ブロック図である。
【図３】本発明の実施形態に係る、タイムスタンプ、番組のコンテンツＩＤ及び抽出したフレーズが関連づけられてデータ記憶部に記録されるデータの内容を示した図である。
【図４】本発明の実施形態に係る、再生部の構成を示す機能ブロック図である。
【図５】本発明の実施形態に係る、検索するフレーズをユーザが入力するモードの処理を説明する図である。
【図６】本発明の実施形態に係る、検索するフレーズをユーザが選択するモードの処理を説明する図である。
【図７】本発明の実施形態に係る、テロップ量にもとづいて検索するときの検索画面例を示した図である。
【図８】本発明の実施形態に係る、テロップ量にもとづくハイライト動画を生成するときの編集設定画面例を示した図である。
【図９】本発明の実施形態に係る、生成されるハイライト動画、その生成に使用したテロップ量及びピーク画像の関係を模式的に示した図である。
【発明を実施するための形態】
【００１０】
次に、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して具体的に説明する。以下の実施形態では、放送等の映像に含まれるテロップ情報を抽出し、テキスト化した情報を保存し、再生時の検索機能に利用する。主要技術の概要は、以下の１）〜４）の通りである。
１）映像データとテキスト化したテロップ情報を関連付け（タグ付け）して保存する。
２）録画データを検索する際にテロップ情報からの検索を実施する。
３）時間軸でテロップ量（テキスト量）をモニタリングしておき、番組のハイライト部分のみを編集・再生する。
４）テロップ量をキーとして再生位置の検索を実施する。
【００１１】
図１は、本実施形態に係るレコーダ１０の概略構成を示す機能ブロック図である。レコーダ１０は、単体の製品として例示するが、テレビに内蔵される形態であってもよい。図示のように、レコーダ１０は、記録再生処理部２０と、主制御部１２と、操作取得部１４と、出力部１６とを備える。
【００１２】
主制御部１２は、レコーダ１０の各構成要素を統括的に制御する。操作取得部１４は、ユーザの操作を受け付ける要素であり、レコーダ１０に設けられユーザの直接の操作を取得したり、コントローラ（ＲＣ）８０からの無線による操作を取得する。操作取得部１４で取得されたユーザからの指示をもとに、また、所定の設定に応じて、主制御部１２は各構成要素を制御する。さらに、出力部１６は、記録再生処理部２０の再生部５０の再生出力を所望の規格、例えばＨＤＭＩ規格やＤＶＩ規格等の信号に変換して表示部９０に出力する。
【００１３】
記録再生処理部２０は、映像の入力ソースとして、チューナ２１と、外部入力部２２と、ディスク部２３と、ソース選択部２４とを備える。チューナ２１は、デジタル放送を受信し復調する一般的なデジタルチューナであって、アンテナ（ＡＴＴ）で受信したデジタル放送波の信号に対して、復調処理やＤｅＭＵＸ処理等を施すことで、デジタル放送波からＴＳを取り出し、さらにＴＳから映像ストリームや音声ストリームを取り出す。また、外部入力部２２は、外部のコンテンツを取得する。さらに、ディスク部２３は、ブルーレイディスク（以下「ＢＤ」という）やＤＶＤ（Digital Versatile Disc）の再生及び記録処理を行うドライブである。また、記録再生処理部２０は、記録部３０と、再生部５０と、内蔵記録媒体としてＨＤＤ（Hard disk drive）やフラッシュ・メモリ等の記録媒体であるデータ記憶部７０を備える。
【００１４】
図２（ａ）は、記録部３０の構成を示す機能ブロック図である。この記録部３０は、ディスク部２３を経由してチューナ２１から取得した映像ストリーム及び音声ストリームを復号して、所望のコンテンツ変換、例えば、サイズや解像度等の変換処理を行った後に、再度符号化処理を施して、データ記憶部７０やディスク部２３の所定の記録媒体に記録する。そのような処理を実現するために、記録部３０は、復号処理部３２及び符号化処理部３４を備えている。このような形態の記録処理を行うレコーダ１０として、例えば、ＤＶＤレコーダがある。なお、復号処理をせずにＴＳをそのまま記録するレコーダ１０としては、ＢＤレコーダがあり、記録部３０は図２（ｂ）に示す構成とすることができる。その場合、所望のＴＳを選定するＴＳ選定部４６を備え、選定したＴＳをそのまま記録すると共に、テロップの解析のための機能として、図２（ａ）と同様に、復号処理部３２と、テロップテキスト化部４０と、テロップタグ処理部４２と、テロップ量計算部４４とを備える。以下では、図２（ａ）の構成をもとに説明する。
【００１５】
記録部３０は、テロップにもとづく検索機能等を実現するためにテロップを認識し記録する構成として、テロップテキスト化部４０と、テロップタグ処理部４２と、テロップ量計算部４４とを備えている。なお、テロップテキスト化部４０が、画像からテロップを認識してテキスト化する技術は、公知の技術（例えば、上記特許文献１の技術）を用いることができる。また、デジタル放送の映像ストリームがＭＰＥＧ規格に基づく場合、映像ストリームは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの３種類のフレームから構成される。Ｉピクチャは基準となるフレームであり、ＰピクチャはＩピクチャから予測されて生成され、さらにＢピクチャはＩピクチャ及びＰピクチャから予測されて生成される。そこで、認識処理の負荷低減の観点から、Ｉピクチャのみをテロップの認識処理対象としてもよい。なお、フレーム中のテロップの領域の特定手法として、例えば、上述の公知の技術を用いることができる。
【００１６】
テロップタグ処理部４２は、テロップテキスト化部４０で抽出したテキストを、そのテキストが含まれていたフレームと関連づける。通常、ＴＳストリーム中には、同期処理の為のタイムスタンプ（ＰＴＳ）及びチャンネルや番組を特定するＩＤ（以下、単に「番組ＩＤ」という）が含まれている。例えば、イベントＩＤは、番組を特定するＩＤとして、ＥＩＴ（Event Information Table）に記載されている。また、チャンネルを特定するＩＤとして、サービスＩＤがある。
【００１７】
そこで、テロップタグ処理部４２は、タイムスタンプ（タイムスタンプをもとに生成した時刻情報）、番組ＩＤ及び抽出したフレーズ（テキスト）を関連づけてデータ記憶部７０に記録する。以下、テロップから抽出されデータ記憶部７０に記録されたフレーズに関する情報を「テロップ情報」と称する。図３は、データ記憶部７０に記録されるテロップ情報の例を示したテーブルである。テロップ情報として、番組ＩＤ、時刻情報、フレーズが含まれる。例えば、テーブルの一番上のテロップ情報は、番組ＩＤ「０Ｘ１２３４」、時刻情報「００：０３：００」、フレーズ「ハワイ、ビーチ」となっている。時刻情報として、録画時間（コンテンツの長さ）に対応した情報が記録されているが、上述ＴＳに含まれるＰＴＳがそのまま記録されてもよく、フレーズが含まれる位置が特定できる対応関係で記録されていれば、どのような態様で記録されていてもよい。また、フレーズは、ある一点の時刻において含まれるフレーズを示してもよいし、例えば１５秒単位の所定時間内に含まれるフレーズであってもよい。なお、コンテンツ及びテロップ情報の記録手段としてデータ記憶部７０について例示しているが、これに限る趣旨ではなく、ディスク部２３であってもよいし、コンテンツとテロップ情報が記録される場所は異なってもよい。
【００１８】
そして、データ記憶部７０に記録されているフレーズを検索のキーとして使用することで、実際の映像において印象に残ったフレーズ等が含まれるテロップ情報をもとに、再生位置検索をすることができる。なお、テロップ領域抽出部３６は、全ての種類のフレームを解析することでテロップ領域を特定してテキスト抽出処理を行っても良いが、小さな処理負荷やスピーディな処理が求められる場合には、特定のフレームより具体的にはＩピクチャのみを処理対象として選択してもよい。
【００１９】
テロップ量計算部４４は、番組単位で、つまり、番組ＩＤ単位で、テロップの量（文字数やフレーズ数）を時系列に算出し、データ記憶部７０に記録する。データ記憶部７０に時系列に記録されているテロップの量を参照することで、番組中においてテロップが多く表示された場面を特定することができる。テロップ量に基づく番組内容の検索例については、図７等で後述する。なお、テロップ情報の記録は、番組の録画時のみに限らず、録画済みの番組に対しても行うことできる。
【００２０】
つぎに、再生機能について、おもに検索処理に着目して説明する。
図４は、再生部５０の概略構成を示す機能ブロック図である。再生部５０は、一般的な再生処理機能として復号処理部５２及び提示処理部５４を備える。復号処理部５２は、映像及び音声について、ＭＰＥＧ規格で符号化された信号を復号する。また、復号処理部５２は、文字放送等については、例えばＢＭＬ言語を用いたマルチメディア符号化規格により符号化された信号を復号する。提示処理部５４は、映像・音声・データの提示処理を行う。提示される画面は、必要に応じて映像信号が表示される画面（プレーン）にデータ放送画面等が複数重ねられて構成される。提示処理部５４は、その構成処理を行い、出力部１６に出力する。
【００２１】
さらに、再生部５０は、テロップのフレーズ又はテキストを検索処理や編集処理に利用するための機能として、テロップ処理部６０を備える。テロップ処理部６０は、フレーズ検索部６２と、テロップ量検索部６４と、テロップ量編集部６６とを備える。
【００２２】
フレーズ検索部６２は、記録部３０がデータ記憶部７０に記録したテロップ情報のフレーズをキーとして、記録されている動画の頭出し処理（検索処理）を行う。テロップ量検索部６４は、テロップ情報のうち時系列に関連づけられたテキスト量をキーとして動画の頭出し処理を行う。テロップ量編集部６６は、テロップに含まれるテキスト量、つまり文字数を利用して、ハイライトシーンを編集して集めた動画を生成する。
【００２３】
図５及び図６の検索画面例をもとにフレーズを用いた頭出し処理について説明する。ここで示す処理は、主にフレーズ検索部６２が行う。図５は、ユーザが検索するフレーズを入力するモードの処理を説明する図を示している。ユーザは、直接又はコントローラ８０を介して操作取得部１４を操作し、メニュー画面等から図５に示す検索画面Ａ１０を表示させる。検索画面Ａ１０は、上段のフレーズ入力領域Ａ２０と、下段の検索結果表示領域Ａ３０から構成されている。
【００２４】
フレーズ入力領域Ａ２０は、番組指定領域Ａ２１、番組名選択領域Ａ２２、検索タイプ指定領域Ａ２３、検索フレーズ入力領域Ａ２４及び検索実行ボタンＡ２５を備えている。ユーザは、番組指定領域Ａ２１において、フレーズを検索する対象として、番組の指定をするか否かを選択する。ここでは、指定する旨を示す「あり」が選択されている。番組の指定ありの場合、番組名選択領域Ａ２２には、録画されているコンテンツがユーザから指定可能に表示される。ここでは番組名「ＡＢＣＤ旅紀行」が選択さている。なお、番組指定領域Ａ２１において「なし」が選択された場合、データ記憶部７０に記録されている番組全体がフレーズ検索の対象となる。ただし、その対象は、テロップの解析がなされたコンテンツに限られる。そして、番組名選択領域Ａ２２は、例えば、「全体」といった表示がなされる。
【００２５】
検索タイプ指定領域Ａ２３は、フレーズの検索方法の指定をユーザから受け付ける。具体的に、ユーザは、「入力」タイプと「選択」タイプのいずれかを選択する。ここでは、「入力」タイプが選択されている。「入力」タイプが選択されている場合、検索フレーズ入力領域Ａ２４が表示され、ユーザは、この検索フレーズ入力領域Ａ２４に所望のフレーズを入力する。そして検索フレーズ入力領域Ａ２４の下に配置されている検索実行ボタンＡ２５を押下すると検索が実行される。ここでは、「ハワイ」が検索対象フレーズとして入力されている。
【００２６】
検索実行ボタンＡ２５の押下により、テロップ処理部６０のフレーズ検索部６２は、データ記憶部７０に記録されているテロップ情報を参照し、入力されたフレーズを検索し、フレーズが存在する場合は、そのフレーズに関連づけられているフレームを特定する。そして検索結果は、検索結果表示領域Ａ３０に表示される。
【００２７】
検索結果表示領域Ａ３０は、時系列軸Ａ３１と、サムネイル画像領域Ａ３２と、選択フレーム表示領域Ａ３３とを備えている。時系列軸Ａ３１は、検索されたフレーズの時系列位置を所定のマークで表示する。ここでは、５カ所の位置が表示されている。サムネイル画像領域Ａ３２は、検索されたフレーズに関連づけられたフレームをサムネイル画像として表示する。このとき、サムネイル画像領域Ａ３２は、時系列軸Ａ３１の表示と対応づけられている。そして、ユーザは、コントローラ８０等を操作することにより、サムネイル画像領域Ａ３２に表示された所望のサムネイル画像を選択することができる。選択されたサムネイル画像及びそのサムネイル画像に対応する時系列位置がハイライトされて表示される。ここでは、３番目のサムネイル画像が選択されている。そして、選択されたサムネイル画像を見やすく拡大した画像が選択フレーム表示領域Ａ３３に表示される。そしてハイライトされているサムネイル画像が選択されると、選択されたサムネイル画像に関連づけられているフレームの位置から、コンテンツの再生が開始され表示部９０に出力される。
【００２８】
つぎに図６をもとに、フレーズを選択するタイプの検索が指定されたときの表示態様について説明する。図５と同様に、検索画面Ａ１０は、上段のフレーズ入力領域Ａ２０と、下段の検索結果表示領域Ａ３０から構成されている。ここでは、検索タイプ指定領域Ａ２３において、「選択」タイプがユーザから指定されている。このとき、フレーズ検索部６２は、データ記憶部７０に記録されているテロップ情報を参照し、抽出されているフレーズを検索フレーズ選択領域Ａ２６に表示する。この表示のときには、例えば、含まれているフレーズの数が多い順に、その数が分かるように表示される。図示では、５種類のフレーズが選択可能に表示されており、例えば、「ハワイ」というフレーズが一番多く２１回抽出されて記録されていることを示している。また、ここでは、２番目の「ホノルル」というフレーズが、検索フレーズとして選択されている。なお、選択可能なフレーズは複数であってもよい。選択後、検索ボタンＡ２５が押下されると、図５と同様に検索結果表示領域Ａ３０に検索結果が表示される。
【００２９】
以上のように、テロップに表示された文字情報を抽出し、抽出元のフレームと関連づけてテロップ情報として記録し、テロップ情報を番組の検索機能として利用することができる。その結果、ユーザにとって印象に残ったフレーズなどからの番組検索を行うことができる。言い換えると、番組名・ジャンル・出演者情報からの検索ではなく、より直感的な検索方法により、所望の場所を検索することができる。また、データ記憶部７０にはテキストデータまたはそれに準じるフォーマットとして記録されるため、必要とされるデータ量は非常に少なく、圧縮された場合、一層小さくでき、コンテンツの記録に影響を及ぼすことはない。
【００３０】
つぎに、テロップ量にもとづく検索機能について説明する。ここで示す処理は、主にテロップ量検索部６４が行う。図７は、テロップ量にもとづく検索をするときの検索画面Ｂ１０を示しており、図示のように、検索画面Ｂ１０は、検索指定領域Ｂ２０と検索結果表示領域Ｂ３０とから構成されている。図５や図６で示した処理と同様に、ユーザは、操作取得部１４を操作し、メニュー画面等から図７に示す検索画面Ｂ１０を表示させる。
【００３１】
つぎに、ユーザは、番組名選択領域Ｂ２２において検索対象となるコンテンツを指定する。このとき、テロップ量検索部６４は、データ記憶部７０に記録されているコンテンツを参照し、検索対象可能なコンテンツをユーザからの指定可能に表示する。そして、ユーザが所望のコンテンツを指定し、検索ボタンＢ２５を押下すると、テロップ量検索部６４は、データ記憶部７０に記録されているテロップ情報をもとに、図示のように検索結果表示領域Ｂ３０にテロップ量を時系列にグラフとして表示する。具体的には、検索結果表示領域Ｂ３０は、テロップ量グラフ表示領域Ｂ３１と、サムネイル画像領域Ｂ３２と、選択フレーム表示領域Ｂ３３とを備えている。
【００３２】
テロップ量グラフ表示領域Ｂ３１は、検索対象となったコンテンツに含まれるテロップ量、つまりテキストの量を時系列にグラフＢ３１ａとして表示する。さらに、テロップ量グラフ表示領域Ｂ３１は、グラフＢ３１ａの下に操作バーＢ３１ｂを備える。この操作バーＢ３１ｂは指示アイコンＢ３１ｃにより選択フレーム表示領域Ｂ３３に表示される位置を示すとともに、指示アイコンＢ３１ｃの位置を移動させることで再生位置を指定することできる。
【００３３】
テロップ量グラフ表示領域Ｂ３１の上には、サムネイル画像領域Ｂ３２が設けられ、さらにその上には、選択フレーム表示領域Ｂ３３が設けられている。サムネイル画像領域Ｂ３２には、テロップ量グラフ表示領域Ｂ３１においてテロップ量がピークを示す部分のサムネイル画像が表示される。ここでは、５カ所のピークが示されており、それに対応して５つのサムネイル画像が示されている。サムネイル画像の数は、固定であってもよいし、ユーザが設定可能としてもよいし、さらに、検出されたピーク数に応じて可変であってもよい。
【００３４】
そして、ユーザが上述のテロップ量グラフ表示領域Ｂ３１に設けられた操作バーＢ３１ｂの指示アイコンＢ３１ｃにより指定した位置の画像が選択フレーム表示領域Ｂ３３に表示される。例えばバラエティー番組のようなコンテンツでは、コンテンツの盛り上がり場面とテロップ量とに相関がある場合がある。そのようなコンテンツの視聴の際に、テロップ量にもとづく検索を行うことで、効果的な頭出し作業を行うことができる。
【００３５】
つぎに、テロップ情報、特にテロップ量を用いたハイライト動画の生成処理につてい説明する。ここで示す処理は、主にテロップ量編集部６６が行う。ハイライト動画を表示する為には、例えば、コントローラ８０にハイライト動画を選択するボタンを設けておく。ユーザがそのボタンを押下した場合に、テロップ量編集部６６は、データ記憶部７０に記録されているコンテンツについて、ハイライト動画を表示する。そしてユーザは、そのハイライト動画を確認して、コントローラ８０で所望のコンテンツを選択し、再生指示を行う。
【００３６】
図８（ａ）及び（ｂ）は、テロップ量にもとづくハイライト動画を生成するときの編集設定画面Ｃ１０を示している。また、図９は、生成されるハイライト動画、その生成に使用したテロップ量及びピーク画像の関係を模式的に示したものであり、動画像の生成時間等の条件は、図８（ｂ）に対応している。なお、ピーク画像とは、テロップ量がピークを示す位置の画像を示すものである。
【００３７】
ユーザは、ハイライト動画生成の設定をするために、操作取得部１４を操作し、メニュー画面等から図８（ａ）及び（ｂ）に示す編集設定画面Ｃ１０を表示させる。編集設定画面Ｃ１０を表示させた後、ユーザは、まず、ハイライト動画対象設定領域Ｃ２１において、ハイライト動画を生成する対象を設定する。図示のように、全てのコンテンツを対象とする「全て」、コンテンツの種類（ジャンル）を指定する「指定」、またはハイライト動画を生成しないことを指定する「なし」のいずれかが選択される。いま、「指定」が選択されており、この条件の場合、所望のジャンルが一覧から選択可能に表示され、図示では、５種類のジャンルが指定可能となっており、「バラエティー」がユーザによって指定されている。
【００３８】
つぎに、ユーザは、動画長指定領域Ｃ２２においてハイライト動画の長さ（時間）の決め方を指定する。ここでは、ハイライト動画の全長又はハイライト動画を構成するピーク画像の長さのいずれかを指定する。
【００３９】
図８（ａ）では、ハイライト動画の全長を決める「全長」を指定するモードが選択されている場合について示されている。ユーザはさらに動画時間指定領域Ｃ２３に所望の時間を入力する。ここでは、ハイライト動画の時間として「２０秒」が入力されている。つづいて、ユーザは、画像数指定領域Ｃ２４に最大の画像数を入力する。ここでは、ピーク画像の最大数として「５」が入力されている。したがって、テロップ量にピークが５以上ある場合、テロップ量が多い５カ所のピークに対応する部分の画像が抽出されハイライト動画となる。図の例では、ハイライト動画が２０秒とされているので、抽出される各画像の長さは４秒となる。条件の入力が終了したら、設定ボタンＣ２６を押下することで、ハイライト動画の生成に関して所望の条件が設定され、テロップ量編集部６６は録画のたびにハイライト画像を生成する。
【００４０】
また、図８（ｂ）では、ピーク画像の数を指定するモードが選択されている場合を示している。また、図９は、生成されるハイライト動画、その生成に使用したテロップ量及びピーク画像の関係を模式的に示している。この場合、ユーザは、画像数指定領域Ｃ２４に最大の画像数を入力し、さらに、各ピーク画像の長さを時間指定領域Ｃ２５に入力する。ここでは、画像数が「５」であり、各ピーク画像の長さがピーク中心の前後３秒の計６秒となっている。したがって、生成されるハイライト動画の長さは３０秒となる。
【００４１】
以上のように、テロップ量にもとづくハイライト動画を生成することで、効果的な検索用の画像を生成することができる。特にテロップ量とコンテンツの盛り上がり箇所に相関があるような場合に、盛り上がり箇所を効果的に抽出したハイライト画像を生成することができ、検索用の画像として使用することができる。
【００４２】
なお、上記では、コンテンツが録画される毎に、自動的に生成される態様について説明したが、ユーザがハイライト動画を作成するコンテンツを指定する態様の処理についても適用することができる。
【００４３】
以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００４４】
１０ レコーダ
１２ 主制御部
１４ 操作取得部
２０ 記録再生処理部
３０ 記録部
３２ 復号処理部
３４ 符号化処理部
４０ テロップテキスト化部
４２ テロップタグ処理部
４４ テロップ量計算部
５０ 再生部
５２ 復号処理部
５４ 提示処理部
６０ テロップ処理部
６２ フレーズ検索部
６４ テロップ量検索部
６６ テロップ量編集部
７０ データ記憶部
【技術分野】
【０００１】
本発明は、表示装置及び表示方法に係り、例えばテロップ等の文字が含まれる映像を再生する表示装置及び表示方法に関する。
【背景技術】
【０００２】
近年のテレビ番組ではテロップの利用態様が多様化されており、映画の字幕や料理番組のレシピだけに留まらず、バラエティー番組などでの印象に残るフレーズにもテロップが多数表示されるようになっている。
【０００３】
そして従来より、テロップ等の文字情報を映像に含む放送の利用について様々な技術が提案されている。例えば、テレビ放送及び録画済みの映像よりテロップ部分を認識し、テキスト化した情報を保存する技術がある（特許文献１参照）。また、テロップとは異なるが、文字放送の文字情報、特にテレビ番組ガイドの情報を記録した記録媒体（ＩＣカード）を番組を録画した別の記録媒体（ビデオテープ）に関連づけて保存する技術がある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１１１９１０号公報
【特許文献２】特開２００７−３３２９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に開示の技術では、映像からテロップ等の文字情報を抽出して蓄積することで、少ないデータ量によってデータベースを構築することを目的としている。しかしながら、抽出したテキストデータと、映像との連携については考慮されていなかった。また、特許文献２に開示の技術では、別映像として受信するテレテキストなどの文字情報に限定されており、テロップの利用については何ら考慮されていない。さらに録画した番組との連携については非常に限られており、別の技術が求められていた。
【０００６】
本発明の目的は、上記課題に鑑み、映像に含まれるテキストデータを抽出し、抽出したテキストデータと映像とを連携させる技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る装置は、表示装置に関する。この表示装置は、動画像に含まれるテロップのテキストデータを抽出するテキスト抽出手段と、前記抽出したテキストデータと、前記動画像におけるテキストデータの抽出位置とを関連づけて記憶手段に記録する関連処理手段と、前記抽出したテキストデータをもとに前記動画像の検索処理を行う検索処理手段と、を備える。
また、前記テキスト抽出手段は、前記テキストデータに含まれるフレーズを抽出し、前記関連処理手段は、前記フレーズと、前記フレーズが含まれていた前記動画像の位置とを関連づけて記録し、前記検索処理手段は、前記フレーズにもとづいて前記動画像の再生位置を決定してもよい。
また、前記検索処理手段は、ユーザから検索対象のフレーズの指定を受け、指定されたフレーズが含まれる前記動画像の位置を特定し、特定された前記動画像の位置を再生位置として決定してもよい。
また、前記検索処理手段は、ユーザから指定されたフレーズが含まれる位置が複数ある場合、前記フレーズが含まれる位置に対応するサムネイル画像をユーザから指定可能に表示し、ユーザから指定された前記サムネイル画像に対応する位置から前記動画像の再生を行ってもよい。
また、前記検索処理手段は、前記テキストデータの量を時系列で抽出し、前記動画像の位置と対応づけて、前記動画像の再生位置をユーザから指定可能に表示し、ユーザから指定された位置から前記動画像の再生処理を行ってもよい。
また、前記検索処理手段は、前記テキストデータの量を時系列で抽出し、前記テキストデータの量のピーク部分の映像を検索用の画像として生成してもよい。
また、前記動画像を放送波として受信する受信手段と、前記受信した動画像を記録するコンテンツ記憶手段と、を備え、前記関連処理手段は、前記動画像を記録するときに、前記抽出したテキストデータと前記動画像におけるテキストデータの抽出位置とを関連づけて記録してもよい。
本発明の別の態様は表示方法に関する。この表示方法は、動画像に含まれるテロップのテキストデータを抽出するテキスト抽出工程と、前記抽出したテキストデータと、前記動画像におけるテキストデータの抽出位置とを関連づけて記憶手段に記録する関連処理工程と、前記抽出したテキストデータをもとに前記動画像の検索処理を行う検索処理工程と、を備える。
また、前記テキスト抽出工程は、前記テキストデータに含まれるフレーズを抽出し、前記関連処理工程は、前記フレーズと、前記フレーズが含まれていた前記動画像の位置とを関連づけて記録し、前記検索処理工程は、前記フレーズにもとづいて前記動画像の再生位置を決定してもよい。
また、前記検索処理工程は、ユーザから検索対象のフレーズの指定を受け、指定された前記フレーズが含まれる前記動画像の位置を特定し、特定された前記動画像の位置を前記動画像の再生位置として決定してもよい。
また、前記検索処理工程は、ユーザから指定されたフレーズが含まれる位置が複数ある場合、前記フレーズが含まれる位置に対応するサムネイル画像をユーザから指定可能に表示し、ユーザから指定された前記サムネイル画像に対応する位置から前記コンテンツの再生を行ってもよい。
また、前記検索処理工程は、前記テキストデータの量を時系列で抽出し、前記動画像の位置と対応づけて、前記動画像の再生位置をユーザから指定可能に表示し、ユーザから指定された位置から前記動画像の再生処理を行ってもよい。
また、前記検索処理工程は、前記テキストデータの量を時系列で抽出し、前記テキストデータの量のピーク部分の映像を検索用の画像として生成してもよい。
また、前記動画像を放送波として受信する受信工程と、前記受信した前記動画像を記録するコンテンツ記憶工程と、を備え、前記関連処理工程は、前記動画像を記録するときに、前記抽出したテキストデータと前記動画像における前記テキストデータの抽出位置とを関連づけて記録してもよい。
【発明の効果】
【０００８】
本発明によれば、映像に含まれるテキストデータを抽出し、抽出したテキストデータと映像とを連携させる技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る、レコーダの概略構成を示す機能ブロック図である。
【図２】本発明の実施形態に係る、記録部の構成を示す機能ブロック図である。
【図３】本発明の実施形態に係る、タイムスタンプ、番組のコンテンツＩＤ及び抽出したフレーズが関連づけられてデータ記憶部に記録されるデータの内容を示した図である。
【図４】本発明の実施形態に係る、再生部の構成を示す機能ブロック図である。
【図５】本発明の実施形態に係る、検索するフレーズをユーザが入力するモードの処理を説明する図である。
【図６】本発明の実施形態に係る、検索するフレーズをユーザが選択するモードの処理を説明する図である。
【図７】本発明の実施形態に係る、テロップ量にもとづいて検索するときの検索画面例を示した図である。
【図８】本発明の実施形態に係る、テロップ量にもとづくハイライト動画を生成するときの編集設定画面例を示した図である。
【図９】本発明の実施形態に係る、生成されるハイライト動画、その生成に使用したテロップ量及びピーク画像の関係を模式的に示した図である。
【発明を実施するための形態】
【００１０】
次に、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して具体的に説明する。以下の実施形態では、放送等の映像に含まれるテロップ情報を抽出し、テキスト化した情報を保存し、再生時の検索機能に利用する。主要技術の概要は、以下の１）〜４）の通りである。
１）映像データとテキスト化したテロップ情報を関連付け（タグ付け）して保存する。
２）録画データを検索する際にテロップ情報からの検索を実施する。
３）時間軸でテロップ量（テキスト量）をモニタリングしておき、番組のハイライト部分のみを編集・再生する。
４）テロップ量をキーとして再生位置の検索を実施する。
【００１１】
図１は、本実施形態に係るレコーダ１０の概略構成を示す機能ブロック図である。レコーダ１０は、単体の製品として例示するが、テレビに内蔵される形態であってもよい。図示のように、レコーダ１０は、記録再生処理部２０と、主制御部１２と、操作取得部１４と、出力部１６とを備える。
【００１２】
主制御部１２は、レコーダ１０の各構成要素を統括的に制御する。操作取得部１４は、ユーザの操作を受け付ける要素であり、レコーダ１０に設けられユーザの直接の操作を取得したり、コントローラ（ＲＣ）８０からの無線による操作を取得する。操作取得部１４で取得されたユーザからの指示をもとに、また、所定の設定に応じて、主制御部１２は各構成要素を制御する。さらに、出力部１６は、記録再生処理部２０の再生部５０の再生出力を所望の規格、例えばＨＤＭＩ規格やＤＶＩ規格等の信号に変換して表示部９０に出力する。
【００１３】
記録再生処理部２０は、映像の入力ソースとして、チューナ２１と、外部入力部２２と、ディスク部２３と、ソース選択部２４とを備える。チューナ２１は、デジタル放送を受信し復調する一般的なデジタルチューナであって、アンテナ（ＡＴＴ）で受信したデジタル放送波の信号に対して、復調処理やＤｅＭＵＸ処理等を施すことで、デジタル放送波からＴＳを取り出し、さらにＴＳから映像ストリームや音声ストリームを取り出す。また、外部入力部２２は、外部のコンテンツを取得する。さらに、ディスク部２３は、ブルーレイディスク（以下「ＢＤ」という）やＤＶＤ（Digital Versatile Disc）の再生及び記録処理を行うドライブである。また、記録再生処理部２０は、記録部３０と、再生部５０と、内蔵記録媒体としてＨＤＤ（Hard disk drive）やフラッシュ・メモリ等の記録媒体であるデータ記憶部７０を備える。
【００１４】
図２（ａ）は、記録部３０の構成を示す機能ブロック図である。この記録部３０は、ディスク部２３を経由してチューナ２１から取得した映像ストリーム及び音声ストリームを復号して、所望のコンテンツ変換、例えば、サイズや解像度等の変換処理を行った後に、再度符号化処理を施して、データ記憶部７０やディスク部２３の所定の記録媒体に記録する。そのような処理を実現するために、記録部３０は、復号処理部３２及び符号化処理部３４を備えている。このような形態の記録処理を行うレコーダ１０として、例えば、ＤＶＤレコーダがある。なお、復号処理をせずにＴＳをそのまま記録するレコーダ１０としては、ＢＤレコーダがあり、記録部３０は図２（ｂ）に示す構成とすることができる。その場合、所望のＴＳを選定するＴＳ選定部４６を備え、選定したＴＳをそのまま記録すると共に、テロップの解析のための機能として、図２（ａ）と同様に、復号処理部３２と、テロップテキスト化部４０と、テロップタグ処理部４２と、テロップ量計算部４４とを備える。以下では、図２（ａ）の構成をもとに説明する。
【００１５】
記録部３０は、テロップにもとづく検索機能等を実現するためにテロップを認識し記録する構成として、テロップテキスト化部４０と、テロップタグ処理部４２と、テロップ量計算部４４とを備えている。なお、テロップテキスト化部４０が、画像からテロップを認識してテキスト化する技術は、公知の技術（例えば、上記特許文献１の技術）を用いることができる。また、デジタル放送の映像ストリームがＭＰＥＧ規格に基づく場合、映像ストリームは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの３種類のフレームから構成される。Ｉピクチャは基準となるフレームであり、ＰピクチャはＩピクチャから予測されて生成され、さらにＢピクチャはＩピクチャ及びＰピクチャから予測されて生成される。そこで、認識処理の負荷低減の観点から、Ｉピクチャのみをテロップの認識処理対象としてもよい。なお、フレーム中のテロップの領域の特定手法として、例えば、上述の公知の技術を用いることができる。
【００１６】
テロップタグ処理部４２は、テロップテキスト化部４０で抽出したテキストを、そのテキストが含まれていたフレームと関連づける。通常、ＴＳストリーム中には、同期処理の為のタイムスタンプ（ＰＴＳ）及びチャンネルや番組を特定するＩＤ（以下、単に「番組ＩＤ」という）が含まれている。例えば、イベントＩＤは、番組を特定するＩＤとして、ＥＩＴ（Event Information Table）に記載されている。また、チャンネルを特定するＩＤとして、サービスＩＤがある。
【００１７】
そこで、テロップタグ処理部４２は、タイムスタンプ（タイムスタンプをもとに生成した時刻情報）、番組ＩＤ及び抽出したフレーズ（テキスト）を関連づけてデータ記憶部７０に記録する。以下、テロップから抽出されデータ記憶部７０に記録されたフレーズに関する情報を「テロップ情報」と称する。図３は、データ記憶部７０に記録されるテロップ情報の例を示したテーブルである。テロップ情報として、番組ＩＤ、時刻情報、フレーズが含まれる。例えば、テーブルの一番上のテロップ情報は、番組ＩＤ「０Ｘ１２３４」、時刻情報「００：０３：００」、フレーズ「ハワイ、ビーチ」となっている。時刻情報として、録画時間（コンテンツの長さ）に対応した情報が記録されているが、上述ＴＳに含まれるＰＴＳがそのまま記録されてもよく、フレーズが含まれる位置が特定できる対応関係で記録されていれば、どのような態様で記録されていてもよい。また、フレーズは、ある一点の時刻において含まれるフレーズを示してもよいし、例えば１５秒単位の所定時間内に含まれるフレーズであってもよい。なお、コンテンツ及びテロップ情報の記録手段としてデータ記憶部７０について例示しているが、これに限る趣旨ではなく、ディスク部２３であってもよいし、コンテンツとテロップ情報が記録される場所は異なってもよい。
【００１８】
そして、データ記憶部７０に記録されているフレーズを検索のキーとして使用することで、実際の映像において印象に残ったフレーズ等が含まれるテロップ情報をもとに、再生位置検索をすることができる。なお、テロップ領域抽出部３６は、全ての種類のフレームを解析することでテロップ領域を特定してテキスト抽出処理を行っても良いが、小さな処理負荷やスピーディな処理が求められる場合には、特定のフレームより具体的にはＩピクチャのみを処理対象として選択してもよい。
【００１９】
テロップ量計算部４４は、番組単位で、つまり、番組ＩＤ単位で、テロップの量（文字数やフレーズ数）を時系列に算出し、データ記憶部７０に記録する。データ記憶部７０に時系列に記録されているテロップの量を参照することで、番組中においてテロップが多く表示された場面を特定することができる。テロップ量に基づく番組内容の検索例については、図７等で後述する。なお、テロップ情報の記録は、番組の録画時のみに限らず、録画済みの番組に対しても行うことできる。
【００２０】
つぎに、再生機能について、おもに検索処理に着目して説明する。
図４は、再生部５０の概略構成を示す機能ブロック図である。再生部５０は、一般的な再生処理機能として復号処理部５２及び提示処理部５４を備える。復号処理部５２は、映像及び音声について、ＭＰＥＧ規格で符号化された信号を復号する。また、復号処理部５２は、文字放送等については、例えばＢＭＬ言語を用いたマルチメディア符号化規格により符号化された信号を復号する。提示処理部５４は、映像・音声・データの提示処理を行う。提示される画面は、必要に応じて映像信号が表示される画面（プレーン）にデータ放送画面等が複数重ねられて構成される。提示処理部５４は、その構成処理を行い、出力部１６に出力する。
【００２１】
さらに、再生部５０は、テロップのフレーズ又はテキストを検索処理や編集処理に利用するための機能として、テロップ処理部６０を備える。テロップ処理部６０は、フレーズ検索部６２と、テロップ量検索部６４と、テロップ量編集部６６とを備える。
【００２２】
フレーズ検索部６２は、記録部３０がデータ記憶部７０に記録したテロップ情報のフレーズをキーとして、記録されている動画の頭出し処理（検索処理）を行う。テロップ量検索部６４は、テロップ情報のうち時系列に関連づけられたテキスト量をキーとして動画の頭出し処理を行う。テロップ量編集部６６は、テロップに含まれるテキスト量、つまり文字数を利用して、ハイライトシーンを編集して集めた動画を生成する。
【００２３】
図５及び図６の検索画面例をもとにフレーズを用いた頭出し処理について説明する。ここで示す処理は、主にフレーズ検索部６２が行う。図５は、ユーザが検索するフレーズを入力するモードの処理を説明する図を示している。ユーザは、直接又はコントローラ８０を介して操作取得部１４を操作し、メニュー画面等から図５に示す検索画面Ａ１０を表示させる。検索画面Ａ１０は、上段のフレーズ入力領域Ａ２０と、下段の検索結果表示領域Ａ３０から構成されている。
【００２４】
フレーズ入力領域Ａ２０は、番組指定領域Ａ２１、番組名選択領域Ａ２２、検索タイプ指定領域Ａ２３、検索フレーズ入力領域Ａ２４及び検索実行ボタンＡ２５を備えている。ユーザは、番組指定領域Ａ２１において、フレーズを検索する対象として、番組の指定をするか否かを選択する。ここでは、指定する旨を示す「あり」が選択されている。番組の指定ありの場合、番組名選択領域Ａ２２には、録画されているコンテンツがユーザから指定可能に表示される。ここでは番組名「ＡＢＣＤ旅紀行」が選択さている。なお、番組指定領域Ａ２１において「なし」が選択された場合、データ記憶部７０に記録されている番組全体がフレーズ検索の対象となる。ただし、その対象は、テロップの解析がなされたコンテンツに限られる。そして、番組名選択領域Ａ２２は、例えば、「全体」といった表示がなされる。
【００２５】
検索タイプ指定領域Ａ２３は、フレーズの検索方法の指定をユーザから受け付ける。具体的に、ユーザは、「入力」タイプと「選択」タイプのいずれかを選択する。ここでは、「入力」タイプが選択されている。「入力」タイプが選択されている場合、検索フレーズ入力領域Ａ２４が表示され、ユーザは、この検索フレーズ入力領域Ａ２４に所望のフレーズを入力する。そして検索フレーズ入力領域Ａ２４の下に配置されている検索実行ボタンＡ２５を押下すると検索が実行される。ここでは、「ハワイ」が検索対象フレーズとして入力されている。
【００２６】
検索実行ボタンＡ２５の押下により、テロップ処理部６０のフレーズ検索部６２は、データ記憶部７０に記録されているテロップ情報を参照し、入力されたフレーズを検索し、フレーズが存在する場合は、そのフレーズに関連づけられているフレームを特定する。そして検索結果は、検索結果表示領域Ａ３０に表示される。
【００２７】
検索結果表示領域Ａ３０は、時系列軸Ａ３１と、サムネイル画像領域Ａ３２と、選択フレーム表示領域Ａ３３とを備えている。時系列軸Ａ３１は、検索されたフレーズの時系列位置を所定のマークで表示する。ここでは、５カ所の位置が表示されている。サムネイル画像領域Ａ３２は、検索されたフレーズに関連づけられたフレームをサムネイル画像として表示する。このとき、サムネイル画像領域Ａ３２は、時系列軸Ａ３１の表示と対応づけられている。そして、ユーザは、コントローラ８０等を操作することにより、サムネイル画像領域Ａ３２に表示された所望のサムネイル画像を選択することができる。選択されたサムネイル画像及びそのサムネイル画像に対応する時系列位置がハイライトされて表示される。ここでは、３番目のサムネイル画像が選択されている。そして、選択されたサムネイル画像を見やすく拡大した画像が選択フレーム表示領域Ａ３３に表示される。そしてハイライトされているサムネイル画像が選択されると、選択されたサムネイル画像に関連づけられているフレームの位置から、コンテンツの再生が開始され表示部９０に出力される。
【００２８】
つぎに図６をもとに、フレーズを選択するタイプの検索が指定されたときの表示態様について説明する。図５と同様に、検索画面Ａ１０は、上段のフレーズ入力領域Ａ２０と、下段の検索結果表示領域Ａ３０から構成されている。ここでは、検索タイプ指定領域Ａ２３において、「選択」タイプがユーザから指定されている。このとき、フレーズ検索部６２は、データ記憶部７０に記録されているテロップ情報を参照し、抽出されているフレーズを検索フレーズ選択領域Ａ２６に表示する。この表示のときには、例えば、含まれているフレーズの数が多い順に、その数が分かるように表示される。図示では、５種類のフレーズが選択可能に表示されており、例えば、「ハワイ」というフレーズが一番多く２１回抽出されて記録されていることを示している。また、ここでは、２番目の「ホノルル」というフレーズが、検索フレーズとして選択されている。なお、選択可能なフレーズは複数であってもよい。選択後、検索ボタンＡ２５が押下されると、図５と同様に検索結果表示領域Ａ３０に検索結果が表示される。
【００２９】
以上のように、テロップに表示された文字情報を抽出し、抽出元のフレームと関連づけてテロップ情報として記録し、テロップ情報を番組の検索機能として利用することができる。その結果、ユーザにとって印象に残ったフレーズなどからの番組検索を行うことができる。言い換えると、番組名・ジャンル・出演者情報からの検索ではなく、より直感的な検索方法により、所望の場所を検索することができる。また、データ記憶部７０にはテキストデータまたはそれに準じるフォーマットとして記録されるため、必要とされるデータ量は非常に少なく、圧縮された場合、一層小さくでき、コンテンツの記録に影響を及ぼすことはない。
【００３０】
つぎに、テロップ量にもとづく検索機能について説明する。ここで示す処理は、主にテロップ量検索部６４が行う。図７は、テロップ量にもとづく検索をするときの検索画面Ｂ１０を示しており、図示のように、検索画面Ｂ１０は、検索指定領域Ｂ２０と検索結果表示領域Ｂ３０とから構成されている。図５や図６で示した処理と同様に、ユーザは、操作取得部１４を操作し、メニュー画面等から図７に示す検索画面Ｂ１０を表示させる。
【００３１】
つぎに、ユーザは、番組名選択領域Ｂ２２において検索対象となるコンテンツを指定する。このとき、テロップ量検索部６４は、データ記憶部７０に記録されているコンテンツを参照し、検索対象可能なコンテンツをユーザからの指定可能に表示する。そして、ユーザが所望のコンテンツを指定し、検索ボタンＢ２５を押下すると、テロップ量検索部６４は、データ記憶部７０に記録されているテロップ情報をもとに、図示のように検索結果表示領域Ｂ３０にテロップ量を時系列にグラフとして表示する。具体的には、検索結果表示領域Ｂ３０は、テロップ量グラフ表示領域Ｂ３１と、サムネイル画像領域Ｂ３２と、選択フレーム表示領域Ｂ３３とを備えている。
【００３２】
テロップ量グラフ表示領域Ｂ３１は、検索対象となったコンテンツに含まれるテロップ量、つまりテキストの量を時系列にグラフＢ３１ａとして表示する。さらに、テロップ量グラフ表示領域Ｂ３１は、グラフＢ３１ａの下に操作バーＢ３１ｂを備える。この操作バーＢ３１ｂは指示アイコンＢ３１ｃにより選択フレーム表示領域Ｂ３３に表示される位置を示すとともに、指示アイコンＢ３１ｃの位置を移動させることで再生位置を指定することできる。
【００３３】
テロップ量グラフ表示領域Ｂ３１の上には、サムネイル画像領域Ｂ３２が設けられ、さらにその上には、選択フレーム表示領域Ｂ３３が設けられている。サムネイル画像領域Ｂ３２には、テロップ量グラフ表示領域Ｂ３１においてテロップ量がピークを示す部分のサムネイル画像が表示される。ここでは、５カ所のピークが示されており、それに対応して５つのサムネイル画像が示されている。サムネイル画像の数は、固定であってもよいし、ユーザが設定可能としてもよいし、さらに、検出されたピーク数に応じて可変であってもよい。
【００３４】
そして、ユーザが上述のテロップ量グラフ表示領域Ｂ３１に設けられた操作バーＢ３１ｂの指示アイコンＢ３１ｃにより指定した位置の画像が選択フレーム表示領域Ｂ３３に表示される。例えばバラエティー番組のようなコンテンツでは、コンテンツの盛り上がり場面とテロップ量とに相関がある場合がある。そのようなコンテンツの視聴の際に、テロップ量にもとづく検索を行うことで、効果的な頭出し作業を行うことができる。
【００３５】
つぎに、テロップ情報、特にテロップ量を用いたハイライト動画の生成処理につてい説明する。ここで示す処理は、主にテロップ量編集部６６が行う。ハイライト動画を表示する為には、例えば、コントローラ８０にハイライト動画を選択するボタンを設けておく。ユーザがそのボタンを押下した場合に、テロップ量編集部６６は、データ記憶部７０に記録されているコンテンツについて、ハイライト動画を表示する。そしてユーザは、そのハイライト動画を確認して、コントローラ８０で所望のコンテンツを選択し、再生指示を行う。
【００３６】
図８（ａ）及び（ｂ）は、テロップ量にもとづくハイライト動画を生成するときの編集設定画面Ｃ１０を示している。また、図９は、生成されるハイライト動画、その生成に使用したテロップ量及びピーク画像の関係を模式的に示したものであり、動画像の生成時間等の条件は、図８（ｂ）に対応している。なお、ピーク画像とは、テロップ量がピークを示す位置の画像を示すものである。
【００３７】
ユーザは、ハイライト動画生成の設定をするために、操作取得部１４を操作し、メニュー画面等から図８（ａ）及び（ｂ）に示す編集設定画面Ｃ１０を表示させる。編集設定画面Ｃ１０を表示させた後、ユーザは、まず、ハイライト動画対象設定領域Ｃ２１において、ハイライト動画を生成する対象を設定する。図示のように、全てのコンテンツを対象とする「全て」、コンテンツの種類（ジャンル）を指定する「指定」、またはハイライト動画を生成しないことを指定する「なし」のいずれかが選択される。いま、「指定」が選択されており、この条件の場合、所望のジャンルが一覧から選択可能に表示され、図示では、５種類のジャンルが指定可能となっており、「バラエティー」がユーザによって指定されている。
【００３８】
つぎに、ユーザは、動画長指定領域Ｃ２２においてハイライト動画の長さ（時間）の決め方を指定する。ここでは、ハイライト動画の全長又はハイライト動画を構成するピーク画像の長さのいずれかを指定する。
【００３９】
図８（ａ）では、ハイライト動画の全長を決める「全長」を指定するモードが選択されている場合について示されている。ユーザはさらに動画時間指定領域Ｃ２３に所望の時間を入力する。ここでは、ハイライト動画の時間として「２０秒」が入力されている。つづいて、ユーザは、画像数指定領域Ｃ２４に最大の画像数を入力する。ここでは、ピーク画像の最大数として「５」が入力されている。したがって、テロップ量にピークが５以上ある場合、テロップ量が多い５カ所のピークに対応する部分の画像が抽出されハイライト動画となる。図の例では、ハイライト動画が２０秒とされているので、抽出される各画像の長さは４秒となる。条件の入力が終了したら、設定ボタンＣ２６を押下することで、ハイライト動画の生成に関して所望の条件が設定され、テロップ量編集部６６は録画のたびにハイライト画像を生成する。
【００４０】
また、図８（ｂ）では、ピーク画像の数を指定するモードが選択されている場合を示している。また、図９は、生成されるハイライト動画、その生成に使用したテロップ量及びピーク画像の関係を模式的に示している。この場合、ユーザは、画像数指定領域Ｃ２４に最大の画像数を入力し、さらに、各ピーク画像の長さを時間指定領域Ｃ２５に入力する。ここでは、画像数が「５」であり、各ピーク画像の長さがピーク中心の前後３秒の計６秒となっている。したがって、生成されるハイライト動画の長さは３０秒となる。
【００４１】
以上のように、テロップ量にもとづくハイライト動画を生成することで、効果的な検索用の画像を生成することができる。特にテロップ量とコンテンツの盛り上がり箇所に相関があるような場合に、盛り上がり箇所を効果的に抽出したハイライト画像を生成することができ、検索用の画像として使用することができる。
【００４２】
なお、上記では、コンテンツが録画される毎に、自動的に生成される態様について説明したが、ユーザがハイライト動画を作成するコンテンツを指定する態様の処理についても適用することができる。
【００４３】
以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００４４】
１０ レコーダ
１２ 主制御部
１４ 操作取得部
２０ 記録再生処理部
３０ 記録部
３２ 復号処理部
３４ 符号化処理部
４０ テロップテキスト化部
４２ テロップタグ処理部
４４ テロップ量計算部
５０ 再生部
５２ 復号処理部
５４ 提示処理部
６０ テロップ処理部
６２ フレーズ検索部
６４ テロップ量検索部
６６ テロップ量編集部
７０ データ記憶部
【特許請求の範囲】
【請求項１】
動画像に含まれるテロップのテキストデータを抽出するテキスト抽出手段と、
前記抽出したテキストデータと、前記動画像におけるテキストデータの抽出位置とを関連づけて記憶手段に記録する関連処理手段と、
前記抽出したテキストデータをもとに前記動画像の検索処理を行う検索処理手段と、
を備えることを特徴とする表示装置。
【請求項２】
前記テキスト抽出手段は、前記テキストデータに含まれるフレーズを抽出し、
前記関連処理手段は、前記フレーズと、前記フレーズが含まれていた前記動画像の位置とを関連づけて記録し、
前記検索処理手段は、前記フレーズにもとづいて前記動画像の再生位置を決定する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記検索処理手段は、ユーザから検索対象のフレーズの指定を受け、指定されたフレーズが含まれる前記動画像の位置を特定し、特定された前記動画像の位置を再生位置として決定することを特徴とする請求項２に記載の表示装置。
【請求項４】
前記検索処理手段は、ユーザから指定されたフレーズが含まれる位置が複数ある場合、前記フレーズが含まれる位置に対応するサムネイル画像をユーザから指定可能に表示し、ユーザから指定された前記サムネイル画像に対応する位置から前記動画像の再生を行うことを特徴とする請求項３に記載の表示装置。
【請求項５】
前記検索処理手段は、前記テキストデータの量を時系列で抽出し、前記動画像の位置と対応づけて、前記動画像の再生位置をユーザから指定可能に表示し、ユーザから指定された位置から前記動画像の再生処理を行うことを特徴とする請求項３または４に記載の表示装置。
【請求項６】
前記検索処理手段は、前記テキストデータの量を時系列で抽出し、前記テキストデータの量のピーク部分の映像を検索用の画像として生成することを特徴とする請求項３から５のいずれかに記載の表示装置。
【請求項７】
前記動画像を放送波として受信する受信手段と、
前記受信した動画像を記録するコンテンツ記憶手段と、
を備え、
前記関連処理手段は、前記動画像を記録するときに、前記抽出したテキストデータと前記動画像におけるテキストデータの抽出位置とを関連づけて記録することを特徴とする請求項１から６のいずれかに記載の表示装置。
【請求項８】
動画像に含まれるテロップのテキストデータを抽出するテキスト抽出工程と、
前記抽出したテキストデータと、前記動画像におけるテキストデータの抽出位置とを関連づけて記憶手段に記録する関連処理工程と、
前記抽出したテキストデータをもとに前記動画像の検索処理を行う検索処理工程と、
を備えることを特徴とする表示方法。
【請求項９】
前記テキスト抽出工程は、前記テキストデータに含まれるフレーズを抽出し、
前記関連処理工程は、前記フレーズと、前記フレーズが含まれていた前記動画像の位置とを関連づけて記録し、
前記検索処理工程は、前記フレーズにもとづいて前記動画像の再生位置を決定する
ことを特徴とする請求項８に記載の表示方法。
【請求項１０】
前記検索処理工程は、ユーザから検索対象のフレーズの指定を受け、指定された前記フレーズが含まれる前記動画像の位置を特定し、特定された前記動画像の位置を前記動画像の再生位置として決定することを特徴とする請求項９に記載の表示方法。
【請求項１１】
前記検索処理工程は、ユーザから指定されたフレーズが含まれる位置が複数ある場合、前記フレーズが含まれる位置に対応するサムネイル画像をユーザから指定可能に表示し、ユーザから指定された前記サムネイル画像に対応する位置から前記コンテンツの再生を行うことを特徴とする請求項１０に記載の表示方法。
【請求項１２】
前記検索処理工程は、前記テキストデータの量を時系列で抽出し、前記動画像の位置と対応づけて、前記動画像の再生位置をユーザから指定可能に表示し、ユーザから指定された位置から前記動画像の再生処理を行うことを特徴とする請求項１０または１１に記載の表示方法。
【請求項１３】
前記検索処理工程は、前記テキストデータの量を時系列で抽出し、前記テキストデータの量のピーク部分の映像を検索用の画像として生成することを特徴とする請求項１０から１２のいずれかに記載の表示方法。
【請求項１４】
前記動画像を放送波として受信する受信工程と、
前記受信した前記動画像を記録するコンテンツ記憶工程と、
を備え、
前記関連処理工程は、前記動画像を記録するときに、前記抽出したテキストデータと前記動画像における前記テキストデータの抽出位置とを関連づけて記録することを特徴とする請求項８から１３のいずれかに記載の表示方法。
【請求項１】
動画像に含まれるテロップのテキストデータを抽出するテキスト抽出手段と、
前記抽出したテキストデータと、前記動画像におけるテキストデータの抽出位置とを関連づけて記憶手段に記録する関連処理手段と、
前記抽出したテキストデータをもとに前記動画像の検索処理を行う検索処理手段と、
を備えることを特徴とする表示装置。
【請求項２】
前記テキスト抽出手段は、前記テキストデータに含まれるフレーズを抽出し、
前記関連処理手段は、前記フレーズと、前記フレーズが含まれていた前記動画像の位置とを関連づけて記録し、
前記検索処理手段は、前記フレーズにもとづいて前記動画像の再生位置を決定する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記検索処理手段は、ユーザから検索対象のフレーズの指定を受け、指定されたフレーズが含まれる前記動画像の位置を特定し、特定された前記動画像の位置を再生位置として決定することを特徴とする請求項２に記載の表示装置。
【請求項４】
前記検索処理手段は、ユーザから指定されたフレーズが含まれる位置が複数ある場合、前記フレーズが含まれる位置に対応するサムネイル画像をユーザから指定可能に表示し、ユーザから指定された前記サムネイル画像に対応する位置から前記動画像の再生を行うことを特徴とする請求項３に記載の表示装置。
【請求項５】
前記検索処理手段は、前記テキストデータの量を時系列で抽出し、前記動画像の位置と対応づけて、前記動画像の再生位置をユーザから指定可能に表示し、ユーザから指定された位置から前記動画像の再生処理を行うことを特徴とする請求項３または４に記載の表示装置。
【請求項６】
前記検索処理手段は、前記テキストデータの量を時系列で抽出し、前記テキストデータの量のピーク部分の映像を検索用の画像として生成することを特徴とする請求項３から５のいずれかに記載の表示装置。
【請求項７】
前記動画像を放送波として受信する受信手段と、
前記受信した動画像を記録するコンテンツ記憶手段と、
を備え、
前記関連処理手段は、前記動画像を記録するときに、前記抽出したテキストデータと前記動画像におけるテキストデータの抽出位置とを関連づけて記録することを特徴とする請求項１から６のいずれかに記載の表示装置。
【請求項８】
動画像に含まれるテロップのテキストデータを抽出するテキスト抽出工程と、
前記抽出したテキストデータと、前記動画像におけるテキストデータの抽出位置とを関連づけて記憶手段に記録する関連処理工程と、
前記抽出したテキストデータをもとに前記動画像の検索処理を行う検索処理工程と、
を備えることを特徴とする表示方法。
【請求項９】
前記テキスト抽出工程は、前記テキストデータに含まれるフレーズを抽出し、
前記関連処理工程は、前記フレーズと、前記フレーズが含まれていた前記動画像の位置とを関連づけて記録し、
前記検索処理工程は、前記フレーズにもとづいて前記動画像の再生位置を決定する
ことを特徴とする請求項８に記載の表示方法。
【請求項１０】
前記検索処理工程は、ユーザから検索対象のフレーズの指定を受け、指定された前記フレーズが含まれる前記動画像の位置を特定し、特定された前記動画像の位置を前記動画像の再生位置として決定することを特徴とする請求項９に記載の表示方法。
【請求項１１】
前記検索処理工程は、ユーザから指定されたフレーズが含まれる位置が複数ある場合、前記フレーズが含まれる位置に対応するサムネイル画像をユーザから指定可能に表示し、ユーザから指定された前記サムネイル画像に対応する位置から前記コンテンツの再生を行うことを特徴とする請求項１０に記載の表示方法。
【請求項１２】
前記検索処理工程は、前記テキストデータの量を時系列で抽出し、前記動画像の位置と対応づけて、前記動画像の再生位置をユーザから指定可能に表示し、ユーザから指定された位置から前記動画像の再生処理を行うことを特徴とする請求項１０または１１に記載の表示方法。
【請求項１３】
前記検索処理工程は、前記テキストデータの量を時系列で抽出し、前記テキストデータの量のピーク部分の映像を検索用の画像として生成することを特徴とする請求項１０から１２のいずれかに記載の表示方法。
【請求項１４】
前記動画像を放送波として受信する受信工程と、
前記受信した前記動画像を記録するコンテンツ記憶工程と、
を備え、
前記関連処理工程は、前記動画像を記録するときに、前記抽出したテキストデータと前記動画像における前記テキストデータの抽出位置とを関連づけて記録することを特徴とする請求項８から１３のいずれかに記載の表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−６５４０５（Ｐ２０１１−６５４０５Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１５３２９（Ｐ２００９−２１５３２９）
【出願日】平成２１年９月１７日（２００９．９．１７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１７日（２００９．９．１７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]