蓄積型放送受信装置および要約映像再生プログラム
【課題】放送番組の要約映像を再生することが可能な蓄積型放送受信装置を提供する。
【解決手段】蓄積型放送受信装置１は、放送番組の映像データから、サンプリングしたフレーム画像ごとに画像特徴量を生成する特徴量生成手段２０と、画像特徴量を記憶する記憶手段３０と、視聴者が選択した映像データの画像特徴量とそれ以外の映像データの要約映像時間分の映像区間の画像特徴量との類似度に基づいて、視聴者が選択した映像データの要約映像となる映像区間を特定する要約映像特定手段６０と、を備えていることを特徴とする。
【解決手段】蓄積型放送受信装置１は、放送番組の映像データから、サンプリングしたフレーム画像ごとに画像特徴量を生成する特徴量生成手段２０と、画像特徴量を記憶する記憶手段３０と、視聴者が選択した映像データの画像特徴量とそれ以外の映像データの要約映像時間分の映像区間の画像特徴量との類似度に基づいて、視聴者が選択した映像データの要約映像となる映像区間を特定する要約映像特定手段６０と、を備えていることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、蓄積した複数の放送番組の映像データから、視聴者が所望する放送番組の要約映像を検索して再生する蓄積型放送受信装置および要約映像再生プログラムに関する。
【背景技術】
【０００２】
近年、ハードディスク等の大容量の記憶装置を備え、放送番組の映像データを蓄積（記憶）し、その蓄積された映像データの中から、視聴者が所望する映像データを検索して再生する蓄積型放送受信装置が普及してきている。
このような蓄積型放送受信装置では、映像データを検索する際に、視聴者が、番組名やその内容を簡単に記述したテキストデータだけではなく、映像を実際に見て選択の判断基準としたいという要望がある。しかし、放送番組の映像データをそのまま再生したのでは、大量の映像データの中から視聴者が所望する映像データを検索するのに時間がかかるという問題がある。
【０００３】
そこで、放送番組とは別に当該放送番組のダイジェスト映像（要約映像）を作成しておき、放送番組とダイジェスト映像とを対応付けて、放送番組を検索する際に、放送番組のダイジェスト映像を再生することで、放送番組の検索の補助を行う技術が開示されている（特許文献１，２参照）。
【０００４】
特許文献１に開示されている技術によれば、送信装置において、予め作成されたダイジェスト映像を、当該ダイジェスト映像と放送番組とを対応付けた番組ガイド情報とともに、放送信号に多重化する。そして、受信装置において、番組ガイド情報を参照して、放送番組に対応するダイジェスト映像を再生することで、ダイジェスト映像による放送番組の検索を可能にしている。
【０００５】
また、特許文献２に開示されている技術によれば、予め作成されたダイジェスト映像を、コンテンツサーバに蓄積しておき、放送番組に対するダイジェスト映像の所在をＵＲＬ（Uniform Resource Locator）で受信装置に通知する。そして、受信装置において、ＵＲＬを放送番組に対応するダイジェスト映像をコンテンツサーバから取得し再生することで、ダイジェスト映像による放送番組の検索を可能にしている。
【０００６】
【特許文献１】特開２００２−３４４８５８号公報
【特許文献２】特開２００４−３０４４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前記した従来の技術によれば、視聴者は、ダイジェスト映像を再生することで、所望の放送番組を、実際に映像を見て検索することが可能になる。
しかし、従来の技術では、放送番組の提供者（放送事業者等）は、予め放送番組を検索するためだけに使用するダイジェスト映像を作成しなければならず、その作成に手間と費用がかかるという問題がある。
【０００８】
また、従来の技術によれば、放送番組の提供者によって、予め放送番組とダイジェスト映像とを対応付けた番組ガイド情報やＵＲＬを作成しておく必要がある。この放送番組とダイジェスト映像との対応付けは、人手を介して行う必要があるため、大量の放送番組にダイジェスト映像を対応付けるには非常に多くの手間がかかるという問題がある。
また、従来の技術によれば、ダイジェスト映像を、放送波や通信回線を介して受信装置に伝送する必要があるため、放送波や通信回線の伝送帯域を圧迫してしまうという問題がある。
【０００９】
本発明は、以上のような課題を解決するためになされたものであり、放送番組の提供者が、放送番組を検索するためだけに使用するダイジェスト映像や、放送番組とダイジェスト映像とを対応付けた番組ガイド情報等を作成することなく、受信装置において、放送番組のダイジェスト映像（要約映像）を再生することが可能な蓄積型放送受信装置および要約映像再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の蓄積型放送受信装置は、放送番組の映像データと前記放送番組の時間情報を含んだ番組情報データとを映像データ記憶手段に記憶し、前記放送番組を再生する蓄積型放送受信装置において、サンプリング手段と、特徴量算出手段と、特徴量記憶手段と、リスト生成手段と、番組映像特徴量抽出手段と、要約映像候補特徴量抽出手段と、類似度算出手段と、要約映像区間特定手段と、要約映像再生手段と、を備える構成とした。
【００１１】
かかる構成において、蓄積型放送受信装置は、サンプリング手段によって、映像データを所定のフレーム間隔でサンプリングする。そして、蓄積型放送受信装置は、特徴量算出手段によって、サンプリングされたフレーム画像ごとに画像特徴量を算出して、映像データと対応付けて特徴量記憶手段に記憶する。これによって、蓄積型放送受信装置は、映像データが時間経過とともに変化する特徴量を抽出することができ、当該特徴量は、映像データを特定するための情報として使用することができる。
【００１２】
また、蓄積型放送受信装置は、リスト生成手段によって、番組情報データを参照することで、映像データ記憶手段に記憶されている映像データのリストを生成する。これによって、視聴者は、リストから放送番組（映像データ）を選択することができる。
そして、蓄積型放送受信装置は、番組映像特徴量抽出手段によって、リストにおいて視聴者が選択した映像データの画像特徴量を、特徴量記憶手段から読み出す。
【００１３】
また、蓄積型放送受信装置は、要約映像候補特徴量抽出手段によって、リストにおいて視聴者が選択した映像データ以外の映像データのうちで、予め定めた要約映像時間分の映像区間の画像特徴量を、特徴量記憶手段から順次読み出す。これによって、要約映像の候補となる映像区間の画像特徴量が、特徴量記憶手段から順次読み出されることになる。
【００１４】
そして、蓄積型放送受信装置は、類似度算出手段によって、番組映像特徴量抽出手段で読み出された画像特徴量と、要約映像候補特徴量抽出手段で順次読み出された画像特徴量との類似度を算出する。これによって、蓄積型放送受信装置は、視聴者が選択した映像データと、要約映像の候補とが、類似しているか否かを判定することが可能になる。
【００１５】
さらに、蓄積型放送受信装置は、要約映像区間特定手段によって、類似度算出手段で算出された類似度に基づいて、視聴者が選択した映像データに最も類似する要約映像時間分の映像区間を特定する。これによって、視聴者が選択した映像データに対応する要約映像が特定されることになる。
そして、蓄積型放送受信装置は、要約映像再生手段によって、要約映像区間特定手段で特定された映像区間の映像データを映像データ記憶手段から読み出して再生する。これによって、視聴者が選択した映像データに対応する要約映像が再生されることになる。
【００１６】
また、請求項２に記載の蓄積型放送受信装置は、請求項１に記載の蓄積型放送受信装置において、放送番組の映像データは、番組情報データが付加された放送番組の実体である第１映像データと、番組情報データが付加されていない第２映像データとで構成され、要約映像候補特徴量抽出手段が、第２映像データに対応する画像特徴量から、要約映像時間分の映像区間の画像特徴量を抽出する構成とした。
【００１７】
かかる構成において、蓄積型放送受信装置は、番組情報データが付加されていない第２映像データ（非放送番組）において、要約映像を検索し、放送番組の宣伝用に放送されたスポット映像を要約映像として特定することができる。
【００１８】
さらに、請求項３に記載の蓄積型放送受信装置は、請求項１に記載の蓄積型放送受信装置において、放送番組の映像データは、番組情報データが付加された放送番組の実体である第１映像データと、番組情報データが付加されていない第２映像データとで構成され、要約映像候補特徴量抽出手段が、第１映像データに対応する画像特徴量において、番組情報データで特定される終了時刻より所定時間遡った時間から、要約映像時間分の映像区間の画像特徴量を抽出する構成とした。
【００１９】
かかる構成において、蓄積型放送受信装置は、番組情報データが付加されている第１映像データ（放送番組）において、放送番組の最後の所定時間分の映像から要約映像を検索し、放送番組の予告として放送されたスポット映像を要約映像として特定することができる。
【００２０】
また、請求項４に記載の要約映像再生プログラムは、放送番組の映像データと前記放送番組の時間情報を含んだ番組情報データとを映像データ記憶手段に記憶し、前記放送番組を再生する蓄積型放送受信装置において、視聴者が選択した放送番組の要約映像を再生するために、コンピュータを、サンプリング手段、特徴量算出手段、リスト生成手段、番組映像特徴量抽出手段、要約映像候補特徴量抽出手段、類似度算出手段、要約映像区間特定手段、要約映像再生手段、として機能させる構成とした。
【００２１】
かかる構成において、要約映像再生プログラムは、サンプリング手段によって、映像データを所定のフレーム間隔でサンプリングする。そして、要約映像再生プログラムは、特徴量算出手段によって、サンプリングされたフレーム画像ごとに画像特徴量を算出して、映像データと対応付けて特徴量記憶手段に記憶する。
また、要約映像再生プログラムは、リスト生成手段によって、番組情報データを参照することで、映像データ記憶手段に記憶されている映像データのリストを生成する。
【００２２】
そして、要約映像再生プログラムは、番組映像特徴量抽出手段によって、リストにおいて視聴者が選択した映像データの画像特徴量を、特徴量記憶手段から読み出す。
また、要約映像再生プログラムは、要約映像候補特徴量抽出手段によって、リストにおいて視聴者が選択した映像データ以外の映像データのうちで、予め定めた要約映像時間分の映像区間の画像特徴量を、特徴量記憶手段から順次読み出す。
そして、要約映像再生プログラムは、類似度算出手段によって、番組映像特徴量抽出手段で読み出された画像特徴量と、要約映像候補特徴量抽出手段で順次読み出された画像特徴量との類似度を算出する。
【００２３】
さらに、要約映像再生プログラムは、要約映像区間特定手段によって、類似度算出手段で算出された類似度に基づいて、視聴者が選択した映像データに最も類似する要約映像時間分の映像区間を特定する。
そして、要約映像再生プログラムは、要約映像再生手段によって、要約映像区間特定手段で特定された映像区間の映像データを映像データ記憶手段から読み出して再生する。
【発明の効果】
【００２４】
請求項１，４に記載の発明によれば、蓄積型放送受信装置は、蓄積された放送番組から所望の放送番組を検索する際に、要約映像を見て検索を行うことができるため、放送番組の映像を順次見て検索を行う場合に比べて、高速に検索を行うことができる。また、本発明によれば、蓄積型放送受信装置において、蓄積されている映像データから要約映像を抽出するため、放送番組の提供者が、放送番組を検索するためだけに使用する要約映像（ダイジェスト映像）や、放送番組と要約映像とを対応付けた番組ガイド情報等を作成する必要がなく、また、提供者側の人手を介さずに要約映像を再生することができる。さらに、本発明によれば、検索を行うためだけに使用する要約映像を、放送波や通信回線を介して配信する必要がないため、放送波や通信回線の伝送帯域を圧迫することがない。
【００２５】
請求項２に記載の発明によれば、蓄積型放送受信装置は、番組情報データが付加されていない非放送番組において、要約映像を検索し、放送番組の宣伝用に放送されたスポット映像を要約映像として特定することができる。このように、本発明は、非放送番組において要約映像を検索するため、放送番組全体から要約映像を検索するのに比べて、高速に要約映像を検索することができる。
【００２６】
請求項３に記載の発明によれば、蓄積型放送受信装置は、番組情報データが付加されている放送番組の最後の所定時間分の映像において、要約映像を検索し、放送番組の予告用に放送されたスポット映像を要約映像として特定することができる。このように、本発明は、放送番組において所定時間の映像区間で要約映像を検索するため、放送番組全体から要約映像を検索するのに比べて、高速に要約映像を検索することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態について図面を参照して説明する。
［本発明の概要］
まず、図１を参照して、本発明の概要について説明する。図１は、番組編成の内容を説明するための模式図である。
図１（ａ）では、２００７年○月○日の１１時００分に、ある放送番組（本放送Ａ）が放送され、１１時５４分に放送番組が終了するタイムテーブルを示している。
また、図１（ｂ）では、２００７年△月△日の１６時００分に、ある放送番組（本放送Ｂ）が放送され、１６時２４分に放送番組が終了するタイムテーブルを示している。
このような放送番組の開始時刻、終了時刻等は、通常、番組情報データ（ＥＰＧ〔電子番組ガイド〕等）として配信される。
【００２８】
一方、番組情報データとして通知されないコマーシャル等の非放送番組も、放送番組（第１映像データ）の間に放送されている。例えば、本放送Ａの後の１１時５４分〜１２時００分、本放送Ｂの後の１６時２４分〜１６時３０分の時間に非放送番組（第２映像データ）が放送されている。
この非放送番組には、放送番組の番組宣伝のために放送番組の内容を要約したスポット映像が含まれている場合がある。例えば、本放送Ａの後に含まれるスポット映像Ｘは、本放送Ｂの要約映像となっている場合がある。また、放送番組には、本放送の最後に予告映像を含んでいる場合もある（図示せず）。
【００２９】
このようなスポット映像は、放送番組の映像データの一部で構成されているものであるため、画像特徴が放送番組の映像データと類似するフレーム画像が含まれている。
そこで、本発明に係る蓄積型放送受信装置は、放送番組（非放送番組を含む）を蓄積し、視聴者が放送番組を検索する際に、放送番組の本放送に類似するスポット映像を、当該放送番組の要約映像として再生する。これによって、視聴者は、要約映像によって、視聴したい放送番組を検索することが可能になる。
【００３０】
［蓄積型放送受信装置の構成］
次に、図２を参照して、本発明の実施形態に係る蓄積型放送受信装置の構成について説明する。図２は、本発明の実施形態に係る蓄積型放送受信装置の構成を示すブロック図である。
【００３１】
蓄積型放送受信装置１は、放送番組の映像データ（音声を含む）を蓄積し、視聴者が当該放送番組を視聴したいときに再生を行う蓄積型の放送受信装置である。ここでは、蓄積型放送受信装置１は、再生した映像データを表示するための表示装置２を外部に接続し、リモコン装置３によって操作されるものとする。
また、蓄積型放送受信装置１は、視聴者が視聴したい放送番組を検索する際に、映像データの要約となる要約映像を再生することで、視聴者の検索を補助する機能を付加している。
以下、蓄積型放送受信装置１の各構成について個々に説明を行う。
【００３２】
図２に示すように、蓄積型放送受信装置１は、受信手段１０と、特徴量生成手段２０と、記憶手段３０と、要約映像特定手段４０と、検索リスト提示手段５０と、映像再生手段６０とを備えている。
【００３３】
受信手段１０は、放送波を介して配信される放送番組（非放送番組を含む）の映像データや、電子番組ガイド（ＥＰＧ：Electric Program Guide）等の番組情報データを受信するものである。この受信手段１０は、受信した映像データや番組情報データを、放送番組ごとにファイルデータ（映像ファイルデータ）として記憶手段３０に書き込む。これによって、映像データは記憶手段３０に蓄積されることになり、いつでも再生を行うことが可能になる。また、リアルタイムで映像データを再生する場合、受信手段１０は、映像データを映像再生手段６０に出力する。なお、受信手段１０は、図示を省略した録画手段を備え、リモコン装置３によって録画が指示された場合のみ、受信した映像データを記憶手段３０に書き込む。あるいは、録画予約時間に達した段階で、映像データを記憶手段３０に書き込む。
【００３４】
また、受信手段１０は、映像データ等を記憶手段３０に書き込んだ後、書き込みが完了した旨を特徴量生成手段２０に通知することとする。
なお、ここでは、受信手段１０は、放送波を介して、放送番組の映像データを受信することとしたが、例えば、通信回線を介して配信される映像データを受信するものであってもよい。
【００３５】
特徴量生成手段２０は、記憶手段３０に記憶されている映像データの特徴量を生成するものである。ここでは、特徴量生成手段２０は、サンプリング手段２１と、特徴量算出手段２２とを備えている。
【００３６】
サンプリング手段２１は、記憶手段３０に記憶されている映像データを所定のフレーム間隔でサンプリングするものである。例えば、サンプリング手段２１は、１０フレーム間隔で映像データのフレーム画像を抽出する。このサンプリング手段２１でサンプリングされたフレーム画像は、サンプリング時刻とともに、特徴量算出手段２２に出力される。
【００３７】
特徴量算出手段２２は、サンプリング手段２１でサンプリングされたフレーム画像ごとに画像特徴量を算出するものである。この画像特徴量は、画像処理の分野で一般的に用いられるものであればよく、例えば、フレーム画像の全画素のＲＧＢまたはＨＳＶの平均値ベクトル、フレーム画像全体の輝度ヒストグラム、フレーム画像をエッジ化したときのエッジ方向ヒストグラム、あるいは、フレーム画像の複雑さを示すフラクタル次元等を、画像特徴量とすることができる。
【００３８】
ここでは、特徴量算出手段２２は、複数の画像特徴量を算出し、画像特徴ベクトルとして、フレーム画像の画像特徴量を表現することとする。すなわち、特徴量算出手段２２は、フレーム画像から、ｍ個の画像特徴量（ｖ１，ｖ２，…，ｖｍ）を算出し、ｍ次元の画像特徴ベクトルＶ＝［ｖ１，ｖ２，…，ｖｍ］を生成することとする。
なお、特徴量算出手段２２は、算出した画像特徴量（画像特徴ベクトルＶ）を、映像データを特定する識別子、サンプリング時刻とともに、記憶手段３０に書き込む。
【００３９】
記憶手段（映像データ記憶手段、特徴量記憶手段）３０は、受信手段１０で受信した映像データと、特徴量生成手段２０で生成される映像データの特徴量（フレーム画像ごとの画像特徴量）とを記憶するものであって、ハードディスク等の一般的な記憶装置である。
この記憶手段３０に記憶されている映像データや画像特徴量は、要約映像特定手段４０、検索リスト提示手段５０および映像再生手段６０によって参照される。
【００４０】
ここで、図３を参照（適宜図２参照）して、記憶手段３０に記憶されるデータ内容について具体的に説明する。図３は、本発明の実施形態に係る蓄積型放送受信装置の記憶手段に記憶されるデータのデータ構造を模式的に示す構造図である。
図３に示すように、記憶手段３０は、記憶領域として、映像ファイルデータ記憶領域３１と、フレーム画像特徴量構造体記憶領域３２とに区分されている。
【００４１】
映像ファイルデータ記憶領域（映像データ記憶手段）３１は、映像ファイル識別子ＩＤと、映像データＤと、番組情報データＰとからなる映像ファイルデータ３１ａを記憶する領域である。この映像ファイルデータ３１ａは、受信手段１０によって書き込まれる。
【００４２】
映像ファイル識別子ＩＤは、当該映像ファイルデータ３１ａを識別するための固有の識別情報であって、例えば、固有の数値、ファイル名等である。
映像データＤは、放送番組の実体であって、映像のデジタルデータである。例えば、この映像データＤは、ＭＰＥＧ−２等で符号化されたデジタル符号化データである。
【００４３】
番組情報データＰは、放送局等から配信される電子番組ガイド（ＥＰＧ）等の放送番組の映像区間（開始時刻、終了時刻等）を示すデータである。なお、この番組情報データＰは、放送番組の本放送の映像区間にのみ付加されるデータであって、コマーシャル映像等の非番組映像区間には付加されていない。本実施形態においては、この非番組映像区間に挿入されているスポット映像を、要約映像として利用することとする。
【００４４】
フレーム画像特徴量構造体記憶領域（特徴量記憶手段）３２は、画像特徴量Ｖと、映像ファイル識別子ＩＤと、サンプリング時刻Ｔとを構造体の要素として有するフレーム画像特徴量構造体３２ａを記憶する領域である。このフレーム画像特徴量構造体３２ａは、特徴量生成手段２０によって書き込まれる。
【００４５】
画像特徴量Ｖは、映像ファイルデータ記憶領域３１に記憶されている映像ファイルデータ３１ａの映像データＤを所定のフレーム間隔でサンプリングしたフレーム画像の特徴量である。ここでは、フレーム画像ごとに、ｍ次元の画像特徴ベクトルＶ＝［ｖ１，ｖ２，…，ｖｍ］が画像特徴量として記憶される。
【００４６】
映像ファイル識別子ＩＤは、当該フレーム画像特徴量構造体３２ａが、どの映像ファイルデータ３１ａの特徴量であるのかを示す識別情報であって、対応する映像ファイルデータ３１ａの映像ファイル識別子ＩＤと同一の識別子を示す。
【００４７】
サンプリング時刻Ｔは、当該フレーム画像特徴量構造体３２ａに対応するフレーム画像が、映像ファイルデータ３１ａのどのサンプリング時刻のフレーム画像であるのかを示す時刻情報である。このサンプリング時刻Ｔは、映像データＤのタイムコード（時：分：秒：フレーム）であってもよいし、映像データＤの先頭フレーム画像から番号付けされたフレーム番号であってもよい。
【００４８】
なお、ここでは、映像ファイルデータ３１ａと、フレーム画像特徴量構造体３２ａとを、記憶手段３０の異なる記憶領域に区分して記憶することとしたが、映像ファイルデータ３１ａと、フレーム画像特徴量構造体３２ａとを別々の記憶手段（映像データ記憶手段、特徴量記憶手段：図示せず）に記憶することとしてもよい。
図２に戻って、蓄積型放送受信装置１の構成について説明を続ける。
【００４９】
要約映像特定手段４０は、後記する検索リスト提示手段５０から、視聴者が選択した放送番組の映像データを特定する識別情報（映像ファイル識別子）を入力し、当該映像データに対する要約映像を記憶手段３０において検索し、その映像区間（要約映像区間）を特定するものである。ここでは、要約映像特定手段４０は、特徴量抽出手段４１と、類似度算出手段４２と、要約映像区間特定手段４３とを備えている。
【００５０】
特徴量抽出手段４１は、視聴者が選択した放送番組の映像データの画像特徴量と、当該映像データ以外の映像データ（非番組映像データ）の予め定めた要約映像分の映像区間の画像特徴量とを抽出するものである。ここでは、特徴量抽出手段４１は、番組映像特徴量抽出手段４１ａと、非番組映像特徴量抽出手段４１ｂとを備えている。
【００５１】
番組映像特徴量抽出手段４１ａは、記憶手段３０に記憶されている画像特徴量から、視聴者が選択した放送番組の映像データに対応する画像特徴量を抽出するものである。ここでは、番組映像特徴量抽出手段４１ａは、図３で説明した映像ファイルデータ３１ａの番組情報データＰを参照して、当該映像区間に対応したフレーム画像特徴量（フレーム画像特徴量構造体３２ａ）を抽出する。そして、番組映像特徴量抽出手段４１ａは、サンプリング時刻Ｔに従って、抽出したフレーム画像特徴量構造体３２ａを時系列に配列することで、視聴者が選択した放送番組の映像データに対応する画像特徴量（番組画像特徴構造体系列）とする。
この番組映像特徴量抽出手段４１ａで抽出された画像特徴量（番組画像特徴構造体系列）は、類似度算出手段４２に出力される。
【００５２】
非番組映像特徴量抽出手段（要約映像候補特徴量抽出手段）４１ｂは、要約映像の候補となる非番組映像データ（第２映像データ）の予め定めた要約映像時間分の映像区間の画像特徴量を抽出するものである。ここでは、非番組映像特徴量抽出手段４１ｂは、非番組映像データとして、図３で説明した映像ファイルデータ３１ａに番組情報データＰが付加されていない非番組映像区間に対応したフレーム画像特徴量（フレーム画像特徴量構造体３２ａ）から、要約映像時間分（例えば、スポット映像として一般的な１５秒分）の画像特徴量を順次抽出する。そして、非番組映像特徴量抽出手段４１ｂは、サンプリング時刻Ｔに従って、抽出したフレーム画像特徴量構造体３２ａを時系列に配列することで、要約映像時間分の映像区間の画像特徴量（要約映像候補特徴構造体系列）とする。
【００５３】
この非番組映像特徴量抽出手段４１ｂで抽出された画像特徴量（要約映像候補特徴構造体系列）は、映像ファイル識別子ＩＤとサンプリング時刻Ｔとともに、類似度算出手段４２に出力される。
【００５４】
類似度算出手段４２は、特徴量抽出手段４１の番組映像特徴量抽出手段４１ａで抽出された視聴者が選択した放送番組の映像データの画像特徴量（番組画像特徴構造体系列）と、順次、非番組映像特徴量抽出手段４１ｂから出力される要約映像時間分の映像区間の画像特徴量（要約映像候補特徴構造体系列）との類似度を算出するものである。
【００５５】
ここでは、類似度算出手段４２は、番組画像特徴構造体系列のフレーム画像ごとの画像特徴量（画像特徴ベクトル）の系列である番組映像特徴ベクトルと、要約映像候補特徴構造体系列のフレーム画像ごとの画像特徴量（画像特徴ベクトル）の系列である要約映像候補特徴ベクトルとの類似度を算出する。
【００５６】
例えば、類似度算出手段４２は、番組映像特徴ベクトルと要約映像候補特徴ベクトルとのそれぞれのベクトルを時系列において平均化した後、ベクトルの内積演算を行い、その演算結果を類似度とする。なお、ベクトルの内積演算に代えて、ベクトル間の距離を求め、その距離が近いものほど値を“０”、遠いものほど値を“１”とするように、距離を“０”〜“１”で正規化することで、類似度を求めることとしてもよい。
【００５７】
また、例えば、類似度算出手段４２は、要約映像候補特徴ベクトルの要素ベクトル（画像特徴ベクトル）ごとに、番組映像特徴ベクトルの要素ベクトル（画像特徴ベクトル）との間で最大となる類似度を求め、要約映像候補特徴ベクトルの要素数で平均化することで、全体の類似度とすることとしてもよい。この要素ベクトル間の類似度についても、ベクトルの内積、ベクトルの距離等を用いることができる。
この類似度算出手段４２で算出された類似度は、映像ファイル識別子とサンプリング時刻とともに、要約映像区間特定手段４３に出力される。
【００５８】
要約映像区間特定手段４３は、類似度算出手段４２で算出された類似度に基づいて、視聴者が選択した放送番組の要約映像となる映像区間を特定するものである。
ここでは、要約映像区間特定手段４３は、類似度算出手段４２で算出された類似度が最大となる非番組画像特徴構造体系列の先頭のサンプリング時刻に対応するフレーム画像を、要約映像区間の開始フレームとする。そして、要約映像区間特定手段４３は、開始フレームから、予め定めた要約映像分のフレーム数（１５秒；４５０フレーム）分経過したフレーム画像を終了フレームとすることで、要約映像区間を特定する。
【００５９】
この要約映像区間を特定する区間情報には、放送番組の映像データを特定する映像ファイル識別子と、開始フレームの時刻と、終了フレームの時刻とが含まれる。なお、終了フレームの時刻の代わりに、要約映像分の時間間隔またはフレーム数を用いてもよい。
この要約映像区間特定手段４３で特定された要約映像区間の区間情報は、検索リスト提示手段５０に出力される。
【００６０】
検索リスト提示手段５０は、当該蓄積型放送受信装置１にどの放送番組が記憶（蓄積）されているのかを示すリストを生成し、表示装置２に出力するものである。ここでは、検索リスト提示手段５０は、リスト生成手段５１と、リスト選択手段５２と、要約映像再生手段５３とを備えている。
【００６１】
リスト生成手段５１は、視聴者からリモコン装置３を介してリスト表示を指示された際に、記憶手段３０に記憶されている映像ファイルデータの番組情報データに基づいて、記憶されている放送番組の番組名、映像区間（開始時刻、終了時刻）、ジャンル等からなるリストを生成するものである。このリスト生成手段５１で生成されたリストは、表示装置２に出力され、表示装置２の表示画面上にリスト画面として表示される。
【００６２】
リスト選択手段５２は、表示装置２に表示されたリストにおいて、視聴者からの選択を受け付けるものである。ここでは、リスト選択手段５２は、リモコン装置３から出力される上下左右ボタン、決定ボタン等の操作ボタンの押下信号を解析することで、リスト内の放送番組を特定する。
ここで、リスト選択手段５２は、操作ボタンによって、選択された放送番組の再生を指示されることで、選択された放送番組の映像データを特定する識別情報（映像ファイル識別子）を映像再生手段６０に出力する。
【００６３】
また、リスト選択手段５２は、操作ボタンによって、選択された放送番組の要約映像の再生を指示されることで、選択された放送番組の映像データを特定する識別情報（映像ファイル識別子）を要約映像再生手段５３に出力する。なお、要約映像の再生の指示は、例えば、リスト画面上に要約映像再生ボタンを表示しておき、リモコン装置３によって、選択されることにより行う。
【００６４】
要約映像再生手段５３は、リスト選択手段５２によって選択され、再生が指示された放送番組の要約映像を再生するものである。
ここでは、要約映像再生手段５３は、リスト選択手段５２から入力された識別情報（映像ファイル識別子）を要約映像特定手段４０に出力する。そして、要約映像再生手段５３は、要約映像特定手段４０から当該映像ファイル識別子に対応した要約映像区間の区間情報を取得し、要約映像区間に対応する映像データを記憶手段３０から読み出し再生する。
【００６５】
映像再生手段６０は、リスト選択手段５２によって選択され、再生が指示された放送番組の映像を再生するものである。ここでは、映像再生手段６０は、リスト選択手段５２から入力された識別情報（映像ファイル識別子）に対応する映像データを記憶手段３０から読み出し再生する。
このように蓄積型放送受信装置１を構成することで、蓄積型放送受信装置１は、視聴者が視聴したい放送番組を検索する際に、放送番組の要約となる要約映像を再生することができる。
【００６６】
以上、蓄積型放送受信装置１の構成について説明したが、蓄積型放送受信装置１は、一般的なコンピュータを前記した各手段として機能させる要約映像提示プログラムによって動作させることができる。
また、ここでは、蓄積型放送受信装置１において、放送番組の要約となる要約映像を、放送番組の本放送の映像区間以外の映像から抽出することとしたが、放送番組の本放送の映像区間から抽出することとしてもよい。この場合、例えば、特徴量抽出手段４１を、図４に示すように、番組映像部分特徴量抽出手段４１ｃを付加した特徴量抽出手段４１Ｂとして、蓄積型放送受信装置１Ｂを構成する。
【００６７】
番組映像部分特徴量抽出手段４１ｃは、視聴者が選択した放送番組の映像データ以外の映像データ（第１映像データ）に対応する画像特徴量において、番組情報データで特定される終了時刻より所定時間遡った時間から、要約映像分の映像区間の画像特徴量を抽出するものである。
この番組映像部分特徴量抽出手段４１ｃは、例えば、映像データ（第１映像データ）の終了時刻５分前から終了時刻までの映像データにおいて、要約映像分（例えば、１５秒分）の画像特徴量を順次抽出する。この順次特徴量を抽出する手法は、図２で説明した非番組映像特徴量抽出手段４１ｂと同様である。
【００６８】
なお、この場合、類似度算出手段４２は、番組映像特徴量抽出手段４１ａで抽出された画像特徴量と、非番組映像特徴量抽出手段４１ｂで抽出された画像特徴量および番組映像部分特徴量抽出手段４１ｃで抽出された画像特徴量との類似度を順次算出する。
【００６９】
このように蓄積型放送受信装置１Ｂを構成することで、蓄積型放送受信装置１Ｂは、放送番組の要約映像を、番組情報データが付加されていない映像データ（非番組映像）と、番組情報データが付加されている映像データ（番組映像）の終了時刻より所定時間遡った映像データとから生成することができる。
【００７０】
［蓄積型放送受信装置の動作］
次に、本発明の実施形態に係る蓄積型放送受信装置の動作について説明する。ここでは、本発明の実施形態に係る蓄積型放送受信装置における放送番組を蓄積する蓄積動作と、要約映像を再生する要約映像再生動作とに分けて説明する。
【００７１】
＜蓄積動作＞
最初に、図５を参照（適宜図２参照）して、本発明の実施形態に係る蓄積型放送受信装置の蓄積動作について説明する。図５は、本発明の実施形態に係る蓄積型放送受信装置の蓄積動作を示すフローチャートである。
まず、蓄積型放送受信装置１は、受信手段１０によって、放送波を介して配信される放送番組の映像データおよび番組情報データを受信し（ステップＳ１）、記憶手段３０に書き込む（ステップＳ２）。
その後、蓄積型放送受信装置１は、特徴量生成手段２０のサンプリング手段２１によって、映像データを所定のフレーム間隔でサンプリングする（ステップＳ３）。
【００７２】
そして、蓄積型放送受信装置１は、特徴量算出手段２２によって、ステップＳ３でサンプリングされたフレーム画像ごとに画像特徴量を算出し（ステップＳ４）、映像データを特定する識別子（映像ファイル識別子）、サンプリング時刻とともに、フレーム画像特徴量構造体を生成する（ステップＳ５）。そして、特徴量算出手段２２は、フレーム画像特徴量構造体を記憶手段３０に書き込む（ステップＳ６）。
以上の動作によって、放送番組の映像データおよび番組情報データと、当該映像データの特徴量とが、記憶手段３０に蓄積されることになる。
【００７３】
＜要約映像再生動作＞
次に、図６を参照（適宜図２参照）して、本発明の実施形態に係る蓄積型放送受信装置の要約映像再生動作について説明する。図６は、本発明の実施形態に係る蓄積型放送受信装置の要約映像再生動作を示すフローチャートである。
【００７４】
まず、蓄積型放送受信装置１は、検索リスト提示手段５０のリスト生成手段５１によって、リモコン装置３を介して、視聴者からリスト表示を指示されることで、記憶手段３０に記憶されている映像ファイルデータの番組情報データに基づいて、放送番組の番組名等からなるリストを生成し、表示装置２に表示する（ステップＳ１１）。
そして、蓄積型放送受信装置１は、リスト選択手段５２によって、リモコン装置３を介して視聴者が選択した放送番組を特定する（ステップＳ１２）。
【００７５】
さらに、蓄積型放送受信装置１は、特徴量抽出手段４１の番組映像特徴量抽出手段４１ａによって、ステップＳ１２で特定された放送番組の番組情報データを参照して、番組情報データが付加されている映像データの映像区間に対応したフレーム画像特徴量構造体（番組映像特徴構造体）から画像特徴量を抽出し、サンプリング時刻に従って時系列に並べた番組映像特徴構造体系列を生成する（ステップＳ１３）。
【００７６】
なお、ここで、視聴者が選択した放送番組の映像データがＮｒｅｆ枚のフレーム画像で構成され、それぞれのフレーム画像の画像特徴量（画像特徴ベクトル）が、Ｖ（１），Ｖ（２），…，Ｖ（Ｎｒｅｆ）である場合に、番組映像特徴構造体系列を、画像特徴量のみに着目した番組映像特徴ベクトルＶｒｅｆ＝［Ｖ（１），Ｖ（２），…，Ｖ（Ｎｒｅｆ）］として表すこととする。
そして、蓄積型放送受信装置１は、時刻（サンプリング時刻）ｔを変数とし、初期化（“０”）しておく（ステップＳ１４）。
【００７７】
そして、蓄積型放送受信装置１は、特徴量抽出手段４１の非番組映像特徴量抽出手段４１ｂによって、番組情報データが付加されていない映像データの映像区間に対応したフレーム画像特徴量構造体（非番組映像特徴構造体）から、時刻ｔを始点として、要約映像の候補となる映像区間分の画像特徴量を抽出し、サンプリング時刻に従って時系列に並べた要約映像候補特徴構造体系列を生成する（ステップＳ１５）。
【００７８】
なお、ここで、非放送番組の映像データがＮｎｐｇ枚のフレーム画像で構成され、それぞれのフレーム画像の画像特徴量（画像特徴ベクトル）が、Ｖ′（１），Ｖ′（２），…，Ｖ′（Ｎｎｐｇ）である場合に、非番組映像特徴構造体系列を、画像特徴量のみに着目した非番組映像特徴ベクトルＶｎｐｇ＝［Ｖ′（１），Ｖ′（２），…，Ｖ′（Ｎｎｐｇ）］として表すこととする。
【００７９】
この場合、ステップＳ１５において、非番組映像特徴量抽出手段４１ｂが生成した、時刻ｔを始点とした要約映像分の要約映像候補特徴構造体系列は、要約映像候補特徴ベクトルＶｓｐｔ＝［Ｖ′（ｔ），Ｖ′（ｔ＋１），…，Ｖ′（ｔ＋Ｌ−１）］として表される。なお、Ｌは、非番組映像特徴構造体から抽出する要約映像候補特徴構造体の数であって、例えば、サンプリング間隔が３０フレーム、要約映像の時間１５秒に相当するフレーム数が４５０フレームであるとすると、Ｌ＝（４５０／３０）＝１５となる。
【００８０】
そして、蓄積型放送受信装置１は、類似度算出手段４２によって、ステップＳ１３で抽出された放送番組の画像特徴量（番組映像特徴構造体系列）と、ステップＳ１５で抽出された要約映像分の画像特徴量（要約映像候補特徴構造体系列）との類似度Ｓ（ｔ）を算出する（ステップＳ１６）。なお、この類似度の算出動作については、後で詳細に説明する。
【００８１】
そして、蓄積型放送受信装置１は、時刻（サンプリング時刻）ｔを“１”加算する（ステップＳ１７）。ここで、要約映像候補特徴構造体系列の抽出が、非番組映像特徴構造体の終端に達した場合、すなわち、“ｔ＋Ｌ−１”が、非放送番組の映像データのフレーム画像の数（Ｎｎｐｇ枚）を超過した場合（ステップＳ１８でＹｅｓ）、蓄積型放送受信装置１は、ステップＳ１９に動作を進める。
【００８２】
一方、要約映像候補特徴構造体系列の抽出が、非番組映像特徴構造体の終端に達していない場合、すなわち、“ｔ＋Ｌ−１”が、非放送番組の映像データのフレーム画像の数（Ｎｎｐｇ枚）以下の場合（ステップＳ１８でＮｏ）、蓄積型放送受信装置１は、ステップＳ１５に戻って動作を継続する。
【００８３】
そして、蓄積型放送受信装置１は、要約映像区間特定手段４３によって、ステップＳ１６で算出された類似度Ｓ（ｔ）が最大となるサンプリング時刻Ｔに対応するフレーム画像を、要約映像区間の開始フレームとし、その開始フレームから、予め定めた要約映像分のフレーム数（１５秒；４５０フレーム）分経過したフレーム画像を終了フレームとすることで、要約映像区間を特定する（ステップＳ１９）。
【００８４】
そして、蓄積型放送受信装置１は、要約映像再生手段５３によって、ステップＳ１９で特定された要約映像区間に対応する映像データを記憶手段３０から読み出し再生する（ステップＳ２０）。
以上の動作によって、蓄積型放送受信装置１は、視聴者がリストから放送番組を選択することで、その選択された放送番組の要約となる要約映像を再生することができる。
【００８５】
［蓄積型放送受信装置の類似度算出動作］
次に、図７および図８を参照して、蓄積型放送受信装置１の類似度算出手段４２が行う類似度算出の動作について説明する。図７は、本発明の実施形態に係る蓄積型放送受信装置の類似度算出手段が行う類似度算出動作の一例を示すフローチャートである。図８は、本発明の実施形態に係る蓄積型放送受信装置の類似度算出手段が行う類似度算出動作の他の例を示すフローチャートである。なお、この図７および図８で説明する動作は、図６で説明したステップＳ１６の動作に相当するものである。
【００８６】
＜類似度算出動作：第１例＞
最初に、図７を参照（適宜図２参照）して、類似度算出手段４２が行う類似度算出動作の第１例について説明する。
まず、類似度算出手段４２は、Ｎｒｅｆ枚のフレーム画像で構成された番組映像特徴構造体系列における番組映像特徴ベクトルＶｒｅｆ＝［Ｖ（１），Ｖ（２），…，Ｖ（Ｎｒｅｆ）］において、各ベクトルの平均となる平均ベクトルＶｒｅｆ＿ａｖｅを算出する（ステップＳ３１）。
【００８７】
また、類似度算出手段４２は、ある時刻ｔにおけるＬ枚のフレーム画像で構成された要約映像候補特徴構造体系列における要約映像候補特徴ベクトルＶｓｐｔ（ｔ）＝［Ｖ′（ｔ），Ｖ′（ｔ＋１），…，Ｖ′（ｔ＋Ｌ−１）］において、各ベクトルの平均となる平均ベクトルＶｓｐｔ＿ａｖｅ（ｔ）を算出する（ステップＳ３２）。
そして、類似度算出手段４２は、ステップＳ３１で算出した平均ベクトルＶｒｅｆ＿ａｖｅと、ステップＳ３２で算出した平均ベクトルＶｓｐｔ＿ａｖｅ（ｔ）とにおいて、ベクトルの内積を類似度Ｓ（ｔ）として求める（ステップＳ３３）。
【００８８】
以上の動作によって、類似度算出手段４２は、番組映像特徴ベクトルの平均ベクトルと、要約映像候補特徴ベクトルの平均ベクトルとから類似度を算出する。
なお、ここでは、ベクトルの内積演算を行うことで、類似度を算出することとしたが、ベクトルの類似を求める手法であれば、ベクトル内積に限定されるものではない。例えば、類似度算出手段４２は、ステップＳ３３において、ベクトル間の距離を求め、その距離が近いものほど値を“０”、遠いものほど値を“１”とするように、距離を“０”〜“１”で正規化することで、類似度を求めることとしてもよい。
【００８９】
＜類似度算出動作：第２例＞
次に、図８を参照（適宜図２参照）して、類似度算出手段４２が行う類似度算出動作の第２例について説明する。
まず、類似度算出手段４２は、ループ回数を示す変数ｉを初期化（“０”）する（ステップＳ４１）。
【００９０】
そして、類似度算出手段４２は、ある時刻ｔにおけるＬ枚のフレーム画像で構成された要約映像候補特徴構造体系列における要約映像候補特徴ベクトルＶｓｐｔ（ｔ）の要素ベクトルＶ′（ｔ），Ｖ′（ｔ＋１），…，Ｖ′（ｔ＋Ｌ−１）のｉ番目の要素ベクトルＶ′（ｔ＋ｉ）と、Ｎｒｅｆ枚のフレーム画像で構成された番組映像特徴構造体系列における番組映像特徴ベクトルＶｒｅｆの要素ベクトルＶ（１），Ｖ（２），…，Ｖ（Ｎｒｅｆ）とのそれぞれのベクトル内積ｓ（ｉ，１）、ｓ（ｉ，２）、…、ｓ（ｉ，Ｎｒｅｆ）を算出し（ステップＳ４２）、その中の最大値ｓｍａｘ（ｉ）を求める（ステップＳ４３）。
【００９１】
そして、類似度算出手段４２は、ループ回数ｉを“１”加算する（ステップＳ４４）。ここで、ループ回数が要約映像候補特徴ベクトルの要素ベクトルの数（Ｌ）に達した場合（ステップＳ４５でＹｅｓ）、類似度算出手段４２は、ステップＳ４６に動作を進める。
一方、ループ回数が要約映像候補特徴ベクトルの要素ベクトルの数（Ｌ）に達していない場合（ステップＳ４５でＮｏ）、類似度算出手段４２は、ステップＳ４２に戻って動作を継続する。
そして、類似度算出手段４２は、ステップＳ４３で順次算出されたベクトル内積の最大値ｓｍａｘ（０）、ｓｍａｘ（１）、…、ｓｍａｘ（Ｌ−１）の平均を類似度Ｓ（ｔ）として求める（ステップＳ４６）。
【００９２】
以上の動作によって、類似度算出手段４２は、番組映像特徴ベクトルの要素ベクトルと、要約映像候補特徴ベクトルの要素ベクトルとで、最も類似する類似度を求め、それらを平均することで、ベクトル全体の類似度を算出する。
なお、ここでは、ベクトルの内積演算を行うことで、類似度を算出することとしたが、ベクトルの類似を求める手法であれば、ベクトル内積に限定されるものではない。例えば、類似度算出手段４２は、ステップＳ４２において、第１例と同様、ベクトル間の距離を求め、その距離が近いものほど値を“０”、遠いものほど値を“１”とするように、距離を“０”〜“１”で正規化することで、類似度を求めることとしてもよい。
【図面の簡単な説明】
【００９３】
【図１】番組編成の内容を説明するための模式図である。
【図２】本発明の実施形態に係る蓄積型放送受信装置の構成を示すブロック図である。
【図３】本発明の実施形態に係る蓄積型放送受信装置の記憶手段に記憶されるデータのデータ構造を模式的に示す構造図である。
【図４】本発明の他の実施形態に係る蓄積型放送受信装置の構成を示すブロック図である。
【図５】本発明の実施形態に係る蓄積型放送受信装置の蓄積動作を示すフローチャートである。
【図６】本発明の実施形態に係る蓄積型放送受信装置の要約映像再生動作を示すフローチャートである。
【図７】本発明の実施形態に係る蓄積型放送受信装置の類似度算出手段が行う類似度算出動作の一例を示すフローチャートである。
【図８】本発明の実施形態に係る蓄積型放送受信装置の類似度算出手段が行う類似度算出動作の他の例を示すフローチャートである。
【符号の説明】
【００９４】
１，１Ｂ 蓄積型放送受信装置
１０ 受信手段
２０ 特徴量生成手段
２１ サンプリング手段
２２ 特徴量算出手段
３０ 記憶手段（映像データ記憶手段、特徴量記憶手段）
４０ 要約映像特定手段
４１ 特徴量抽出手段
４１ａ 番組映像特徴量抽出手段
４１ｂ 非番組映像特徴量抽出手段（要約映像候補特徴量抽出手段）
４１ｃ 番組映像部分特徴量抽出手段（要約映像候補特徴量抽出手段）
４２ 類似度算出手段
４３ 要約映像区間特定手段
５０ 検索リスト提示手段
５１ リスト生成手段
５２ リスト選択手段
５３ 要約映像再生手段
６０ 映像再生手段
【技術分野】
【０００１】
本発明は、蓄積した複数の放送番組の映像データから、視聴者が所望する放送番組の要約映像を検索して再生する蓄積型放送受信装置および要約映像再生プログラムに関する。
【背景技術】
【０００２】
近年、ハードディスク等の大容量の記憶装置を備え、放送番組の映像データを蓄積（記憶）し、その蓄積された映像データの中から、視聴者が所望する映像データを検索して再生する蓄積型放送受信装置が普及してきている。
このような蓄積型放送受信装置では、映像データを検索する際に、視聴者が、番組名やその内容を簡単に記述したテキストデータだけではなく、映像を実際に見て選択の判断基準としたいという要望がある。しかし、放送番組の映像データをそのまま再生したのでは、大量の映像データの中から視聴者が所望する映像データを検索するのに時間がかかるという問題がある。
【０００３】
そこで、放送番組とは別に当該放送番組のダイジェスト映像（要約映像）を作成しておき、放送番組とダイジェスト映像とを対応付けて、放送番組を検索する際に、放送番組のダイジェスト映像を再生することで、放送番組の検索の補助を行う技術が開示されている（特許文献１，２参照）。
【０００４】
特許文献１に開示されている技術によれば、送信装置において、予め作成されたダイジェスト映像を、当該ダイジェスト映像と放送番組とを対応付けた番組ガイド情報とともに、放送信号に多重化する。そして、受信装置において、番組ガイド情報を参照して、放送番組に対応するダイジェスト映像を再生することで、ダイジェスト映像による放送番組の検索を可能にしている。
【０００５】
また、特許文献２に開示されている技術によれば、予め作成されたダイジェスト映像を、コンテンツサーバに蓄積しておき、放送番組に対するダイジェスト映像の所在をＵＲＬ（Uniform Resource Locator）で受信装置に通知する。そして、受信装置において、ＵＲＬを放送番組に対応するダイジェスト映像をコンテンツサーバから取得し再生することで、ダイジェスト映像による放送番組の検索を可能にしている。
【０００６】
【特許文献１】特開２００２−３４４８５８号公報
【特許文献２】特開２００４−３０４４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前記した従来の技術によれば、視聴者は、ダイジェスト映像を再生することで、所望の放送番組を、実際に映像を見て検索することが可能になる。
しかし、従来の技術では、放送番組の提供者（放送事業者等）は、予め放送番組を検索するためだけに使用するダイジェスト映像を作成しなければならず、その作成に手間と費用がかかるという問題がある。
【０００８】
また、従来の技術によれば、放送番組の提供者によって、予め放送番組とダイジェスト映像とを対応付けた番組ガイド情報やＵＲＬを作成しておく必要がある。この放送番組とダイジェスト映像との対応付けは、人手を介して行う必要があるため、大量の放送番組にダイジェスト映像を対応付けるには非常に多くの手間がかかるという問題がある。
また、従来の技術によれば、ダイジェスト映像を、放送波や通信回線を介して受信装置に伝送する必要があるため、放送波や通信回線の伝送帯域を圧迫してしまうという問題がある。
【０００９】
本発明は、以上のような課題を解決するためになされたものであり、放送番組の提供者が、放送番組を検索するためだけに使用するダイジェスト映像や、放送番組とダイジェスト映像とを対応付けた番組ガイド情報等を作成することなく、受信装置において、放送番組のダイジェスト映像（要約映像）を再生することが可能な蓄積型放送受信装置および要約映像再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の蓄積型放送受信装置は、放送番組の映像データと前記放送番組の時間情報を含んだ番組情報データとを映像データ記憶手段に記憶し、前記放送番組を再生する蓄積型放送受信装置において、サンプリング手段と、特徴量算出手段と、特徴量記憶手段と、リスト生成手段と、番組映像特徴量抽出手段と、要約映像候補特徴量抽出手段と、類似度算出手段と、要約映像区間特定手段と、要約映像再生手段と、を備える構成とした。
【００１１】
かかる構成において、蓄積型放送受信装置は、サンプリング手段によって、映像データを所定のフレーム間隔でサンプリングする。そして、蓄積型放送受信装置は、特徴量算出手段によって、サンプリングされたフレーム画像ごとに画像特徴量を算出して、映像データと対応付けて特徴量記憶手段に記憶する。これによって、蓄積型放送受信装置は、映像データが時間経過とともに変化する特徴量を抽出することができ、当該特徴量は、映像データを特定するための情報として使用することができる。
【００１２】
また、蓄積型放送受信装置は、リスト生成手段によって、番組情報データを参照することで、映像データ記憶手段に記憶されている映像データのリストを生成する。これによって、視聴者は、リストから放送番組（映像データ）を選択することができる。
そして、蓄積型放送受信装置は、番組映像特徴量抽出手段によって、リストにおいて視聴者が選択した映像データの画像特徴量を、特徴量記憶手段から読み出す。
【００１３】
また、蓄積型放送受信装置は、要約映像候補特徴量抽出手段によって、リストにおいて視聴者が選択した映像データ以外の映像データのうちで、予め定めた要約映像時間分の映像区間の画像特徴量を、特徴量記憶手段から順次読み出す。これによって、要約映像の候補となる映像区間の画像特徴量が、特徴量記憶手段から順次読み出されることになる。
【００１４】
そして、蓄積型放送受信装置は、類似度算出手段によって、番組映像特徴量抽出手段で読み出された画像特徴量と、要約映像候補特徴量抽出手段で順次読み出された画像特徴量との類似度を算出する。これによって、蓄積型放送受信装置は、視聴者が選択した映像データと、要約映像の候補とが、類似しているか否かを判定することが可能になる。
【００１５】
さらに、蓄積型放送受信装置は、要約映像区間特定手段によって、類似度算出手段で算出された類似度に基づいて、視聴者が選択した映像データに最も類似する要約映像時間分の映像区間を特定する。これによって、視聴者が選択した映像データに対応する要約映像が特定されることになる。
そして、蓄積型放送受信装置は、要約映像再生手段によって、要約映像区間特定手段で特定された映像区間の映像データを映像データ記憶手段から読み出して再生する。これによって、視聴者が選択した映像データに対応する要約映像が再生されることになる。
【００１６】
また、請求項２に記載の蓄積型放送受信装置は、請求項１に記載の蓄積型放送受信装置において、放送番組の映像データは、番組情報データが付加された放送番組の実体である第１映像データと、番組情報データが付加されていない第２映像データとで構成され、要約映像候補特徴量抽出手段が、第２映像データに対応する画像特徴量から、要約映像時間分の映像区間の画像特徴量を抽出する構成とした。
【００１７】
かかる構成において、蓄積型放送受信装置は、番組情報データが付加されていない第２映像データ（非放送番組）において、要約映像を検索し、放送番組の宣伝用に放送されたスポット映像を要約映像として特定することができる。
【００１８】
さらに、請求項３に記載の蓄積型放送受信装置は、請求項１に記載の蓄積型放送受信装置において、放送番組の映像データは、番組情報データが付加された放送番組の実体である第１映像データと、番組情報データが付加されていない第２映像データとで構成され、要約映像候補特徴量抽出手段が、第１映像データに対応する画像特徴量において、番組情報データで特定される終了時刻より所定時間遡った時間から、要約映像時間分の映像区間の画像特徴量を抽出する構成とした。
【００１９】
かかる構成において、蓄積型放送受信装置は、番組情報データが付加されている第１映像データ（放送番組）において、放送番組の最後の所定時間分の映像から要約映像を検索し、放送番組の予告として放送されたスポット映像を要約映像として特定することができる。
【００２０】
また、請求項４に記載の要約映像再生プログラムは、放送番組の映像データと前記放送番組の時間情報を含んだ番組情報データとを映像データ記憶手段に記憶し、前記放送番組を再生する蓄積型放送受信装置において、視聴者が選択した放送番組の要約映像を再生するために、コンピュータを、サンプリング手段、特徴量算出手段、リスト生成手段、番組映像特徴量抽出手段、要約映像候補特徴量抽出手段、類似度算出手段、要約映像区間特定手段、要約映像再生手段、として機能させる構成とした。
【００２１】
かかる構成において、要約映像再生プログラムは、サンプリング手段によって、映像データを所定のフレーム間隔でサンプリングする。そして、要約映像再生プログラムは、特徴量算出手段によって、サンプリングされたフレーム画像ごとに画像特徴量を算出して、映像データと対応付けて特徴量記憶手段に記憶する。
また、要約映像再生プログラムは、リスト生成手段によって、番組情報データを参照することで、映像データ記憶手段に記憶されている映像データのリストを生成する。
【００２２】
そして、要約映像再生プログラムは、番組映像特徴量抽出手段によって、リストにおいて視聴者が選択した映像データの画像特徴量を、特徴量記憶手段から読み出す。
また、要約映像再生プログラムは、要約映像候補特徴量抽出手段によって、リストにおいて視聴者が選択した映像データ以外の映像データのうちで、予め定めた要約映像時間分の映像区間の画像特徴量を、特徴量記憶手段から順次読み出す。
そして、要約映像再生プログラムは、類似度算出手段によって、番組映像特徴量抽出手段で読み出された画像特徴量と、要約映像候補特徴量抽出手段で順次読み出された画像特徴量との類似度を算出する。
【００２３】
さらに、要約映像再生プログラムは、要約映像区間特定手段によって、類似度算出手段で算出された類似度に基づいて、視聴者が選択した映像データに最も類似する要約映像時間分の映像区間を特定する。
そして、要約映像再生プログラムは、要約映像再生手段によって、要約映像区間特定手段で特定された映像区間の映像データを映像データ記憶手段から読み出して再生する。
【発明の効果】
【００２４】
請求項１，４に記載の発明によれば、蓄積型放送受信装置は、蓄積された放送番組から所望の放送番組を検索する際に、要約映像を見て検索を行うことができるため、放送番組の映像を順次見て検索を行う場合に比べて、高速に検索を行うことができる。また、本発明によれば、蓄積型放送受信装置において、蓄積されている映像データから要約映像を抽出するため、放送番組の提供者が、放送番組を検索するためだけに使用する要約映像（ダイジェスト映像）や、放送番組と要約映像とを対応付けた番組ガイド情報等を作成する必要がなく、また、提供者側の人手を介さずに要約映像を再生することができる。さらに、本発明によれば、検索を行うためだけに使用する要約映像を、放送波や通信回線を介して配信する必要がないため、放送波や通信回線の伝送帯域を圧迫することがない。
【００２５】
請求項２に記載の発明によれば、蓄積型放送受信装置は、番組情報データが付加されていない非放送番組において、要約映像を検索し、放送番組の宣伝用に放送されたスポット映像を要約映像として特定することができる。このように、本発明は、非放送番組において要約映像を検索するため、放送番組全体から要約映像を検索するのに比べて、高速に要約映像を検索することができる。
【００２６】
請求項３に記載の発明によれば、蓄積型放送受信装置は、番組情報データが付加されている放送番組の最後の所定時間分の映像において、要約映像を検索し、放送番組の予告用に放送されたスポット映像を要約映像として特定することができる。このように、本発明は、放送番組において所定時間の映像区間で要約映像を検索するため、放送番組全体から要約映像を検索するのに比べて、高速に要約映像を検索することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態について図面を参照して説明する。
［本発明の概要］
まず、図１を参照して、本発明の概要について説明する。図１は、番組編成の内容を説明するための模式図である。
図１（ａ）では、２００７年○月○日の１１時００分に、ある放送番組（本放送Ａ）が放送され、１１時５４分に放送番組が終了するタイムテーブルを示している。
また、図１（ｂ）では、２００７年△月△日の１６時００分に、ある放送番組（本放送Ｂ）が放送され、１６時２４分に放送番組が終了するタイムテーブルを示している。
このような放送番組の開始時刻、終了時刻等は、通常、番組情報データ（ＥＰＧ〔電子番組ガイド〕等）として配信される。
【００２８】
一方、番組情報データとして通知されないコマーシャル等の非放送番組も、放送番組（第１映像データ）の間に放送されている。例えば、本放送Ａの後の１１時５４分〜１２時００分、本放送Ｂの後の１６時２４分〜１６時３０分の時間に非放送番組（第２映像データ）が放送されている。
この非放送番組には、放送番組の番組宣伝のために放送番組の内容を要約したスポット映像が含まれている場合がある。例えば、本放送Ａの後に含まれるスポット映像Ｘは、本放送Ｂの要約映像となっている場合がある。また、放送番組には、本放送の最後に予告映像を含んでいる場合もある（図示せず）。
【００２９】
このようなスポット映像は、放送番組の映像データの一部で構成されているものであるため、画像特徴が放送番組の映像データと類似するフレーム画像が含まれている。
そこで、本発明に係る蓄積型放送受信装置は、放送番組（非放送番組を含む）を蓄積し、視聴者が放送番組を検索する際に、放送番組の本放送に類似するスポット映像を、当該放送番組の要約映像として再生する。これによって、視聴者は、要約映像によって、視聴したい放送番組を検索することが可能になる。
【００３０】
［蓄積型放送受信装置の構成］
次に、図２を参照して、本発明の実施形態に係る蓄積型放送受信装置の構成について説明する。図２は、本発明の実施形態に係る蓄積型放送受信装置の構成を示すブロック図である。
【００３１】
蓄積型放送受信装置１は、放送番組の映像データ（音声を含む）を蓄積し、視聴者が当該放送番組を視聴したいときに再生を行う蓄積型の放送受信装置である。ここでは、蓄積型放送受信装置１は、再生した映像データを表示するための表示装置２を外部に接続し、リモコン装置３によって操作されるものとする。
また、蓄積型放送受信装置１は、視聴者が視聴したい放送番組を検索する際に、映像データの要約となる要約映像を再生することで、視聴者の検索を補助する機能を付加している。
以下、蓄積型放送受信装置１の各構成について個々に説明を行う。
【００３２】
図２に示すように、蓄積型放送受信装置１は、受信手段１０と、特徴量生成手段２０と、記憶手段３０と、要約映像特定手段４０と、検索リスト提示手段５０と、映像再生手段６０とを備えている。
【００３３】
受信手段１０は、放送波を介して配信される放送番組（非放送番組を含む）の映像データや、電子番組ガイド（ＥＰＧ：Electric Program Guide）等の番組情報データを受信するものである。この受信手段１０は、受信した映像データや番組情報データを、放送番組ごとにファイルデータ（映像ファイルデータ）として記憶手段３０に書き込む。これによって、映像データは記憶手段３０に蓄積されることになり、いつでも再生を行うことが可能になる。また、リアルタイムで映像データを再生する場合、受信手段１０は、映像データを映像再生手段６０に出力する。なお、受信手段１０は、図示を省略した録画手段を備え、リモコン装置３によって録画が指示された場合のみ、受信した映像データを記憶手段３０に書き込む。あるいは、録画予約時間に達した段階で、映像データを記憶手段３０に書き込む。
【００３４】
また、受信手段１０は、映像データ等を記憶手段３０に書き込んだ後、書き込みが完了した旨を特徴量生成手段２０に通知することとする。
なお、ここでは、受信手段１０は、放送波を介して、放送番組の映像データを受信することとしたが、例えば、通信回線を介して配信される映像データを受信するものであってもよい。
【００３５】
特徴量生成手段２０は、記憶手段３０に記憶されている映像データの特徴量を生成するものである。ここでは、特徴量生成手段２０は、サンプリング手段２１と、特徴量算出手段２２とを備えている。
【００３６】
サンプリング手段２１は、記憶手段３０に記憶されている映像データを所定のフレーム間隔でサンプリングするものである。例えば、サンプリング手段２１は、１０フレーム間隔で映像データのフレーム画像を抽出する。このサンプリング手段２１でサンプリングされたフレーム画像は、サンプリング時刻とともに、特徴量算出手段２２に出力される。
【００３７】
特徴量算出手段２２は、サンプリング手段２１でサンプリングされたフレーム画像ごとに画像特徴量を算出するものである。この画像特徴量は、画像処理の分野で一般的に用いられるものであればよく、例えば、フレーム画像の全画素のＲＧＢまたはＨＳＶの平均値ベクトル、フレーム画像全体の輝度ヒストグラム、フレーム画像をエッジ化したときのエッジ方向ヒストグラム、あるいは、フレーム画像の複雑さを示すフラクタル次元等を、画像特徴量とすることができる。
【００３８】
ここでは、特徴量算出手段２２は、複数の画像特徴量を算出し、画像特徴ベクトルとして、フレーム画像の画像特徴量を表現することとする。すなわち、特徴量算出手段２２は、フレーム画像から、ｍ個の画像特徴量（ｖ１，ｖ２，…，ｖｍ）を算出し、ｍ次元の画像特徴ベクトルＶ＝［ｖ１，ｖ２，…，ｖｍ］を生成することとする。
なお、特徴量算出手段２２は、算出した画像特徴量（画像特徴ベクトルＶ）を、映像データを特定する識別子、サンプリング時刻とともに、記憶手段３０に書き込む。
【００３９】
記憶手段（映像データ記憶手段、特徴量記憶手段）３０は、受信手段１０で受信した映像データと、特徴量生成手段２０で生成される映像データの特徴量（フレーム画像ごとの画像特徴量）とを記憶するものであって、ハードディスク等の一般的な記憶装置である。
この記憶手段３０に記憶されている映像データや画像特徴量は、要約映像特定手段４０、検索リスト提示手段５０および映像再生手段６０によって参照される。
【００４０】
ここで、図３を参照（適宜図２参照）して、記憶手段３０に記憶されるデータ内容について具体的に説明する。図３は、本発明の実施形態に係る蓄積型放送受信装置の記憶手段に記憶されるデータのデータ構造を模式的に示す構造図である。
図３に示すように、記憶手段３０は、記憶領域として、映像ファイルデータ記憶領域３１と、フレーム画像特徴量構造体記憶領域３２とに区分されている。
【００４１】
映像ファイルデータ記憶領域（映像データ記憶手段）３１は、映像ファイル識別子ＩＤと、映像データＤと、番組情報データＰとからなる映像ファイルデータ３１ａを記憶する領域である。この映像ファイルデータ３１ａは、受信手段１０によって書き込まれる。
【００４２】
映像ファイル識別子ＩＤは、当該映像ファイルデータ３１ａを識別するための固有の識別情報であって、例えば、固有の数値、ファイル名等である。
映像データＤは、放送番組の実体であって、映像のデジタルデータである。例えば、この映像データＤは、ＭＰＥＧ−２等で符号化されたデジタル符号化データである。
【００４３】
番組情報データＰは、放送局等から配信される電子番組ガイド（ＥＰＧ）等の放送番組の映像区間（開始時刻、終了時刻等）を示すデータである。なお、この番組情報データＰは、放送番組の本放送の映像区間にのみ付加されるデータであって、コマーシャル映像等の非番組映像区間には付加されていない。本実施形態においては、この非番組映像区間に挿入されているスポット映像を、要約映像として利用することとする。
【００４４】
フレーム画像特徴量構造体記憶領域（特徴量記憶手段）３２は、画像特徴量Ｖと、映像ファイル識別子ＩＤと、サンプリング時刻Ｔとを構造体の要素として有するフレーム画像特徴量構造体３２ａを記憶する領域である。このフレーム画像特徴量構造体３２ａは、特徴量生成手段２０によって書き込まれる。
【００４５】
画像特徴量Ｖは、映像ファイルデータ記憶領域３１に記憶されている映像ファイルデータ３１ａの映像データＤを所定のフレーム間隔でサンプリングしたフレーム画像の特徴量である。ここでは、フレーム画像ごとに、ｍ次元の画像特徴ベクトルＶ＝［ｖ１，ｖ２，…，ｖｍ］が画像特徴量として記憶される。
【００４６】
映像ファイル識別子ＩＤは、当該フレーム画像特徴量構造体３２ａが、どの映像ファイルデータ３１ａの特徴量であるのかを示す識別情報であって、対応する映像ファイルデータ３１ａの映像ファイル識別子ＩＤと同一の識別子を示す。
【００４７】
サンプリング時刻Ｔは、当該フレーム画像特徴量構造体３２ａに対応するフレーム画像が、映像ファイルデータ３１ａのどのサンプリング時刻のフレーム画像であるのかを示す時刻情報である。このサンプリング時刻Ｔは、映像データＤのタイムコード（時：分：秒：フレーム）であってもよいし、映像データＤの先頭フレーム画像から番号付けされたフレーム番号であってもよい。
【００４８】
なお、ここでは、映像ファイルデータ３１ａと、フレーム画像特徴量構造体３２ａとを、記憶手段３０の異なる記憶領域に区分して記憶することとしたが、映像ファイルデータ３１ａと、フレーム画像特徴量構造体３２ａとを別々の記憶手段（映像データ記憶手段、特徴量記憶手段：図示せず）に記憶することとしてもよい。
図２に戻って、蓄積型放送受信装置１の構成について説明を続ける。
【００４９】
要約映像特定手段４０は、後記する検索リスト提示手段５０から、視聴者が選択した放送番組の映像データを特定する識別情報（映像ファイル識別子）を入力し、当該映像データに対する要約映像を記憶手段３０において検索し、その映像区間（要約映像区間）を特定するものである。ここでは、要約映像特定手段４０は、特徴量抽出手段４１と、類似度算出手段４２と、要約映像区間特定手段４３とを備えている。
【００５０】
特徴量抽出手段４１は、視聴者が選択した放送番組の映像データの画像特徴量と、当該映像データ以外の映像データ（非番組映像データ）の予め定めた要約映像分の映像区間の画像特徴量とを抽出するものである。ここでは、特徴量抽出手段４１は、番組映像特徴量抽出手段４１ａと、非番組映像特徴量抽出手段４１ｂとを備えている。
【００５１】
番組映像特徴量抽出手段４１ａは、記憶手段３０に記憶されている画像特徴量から、視聴者が選択した放送番組の映像データに対応する画像特徴量を抽出するものである。ここでは、番組映像特徴量抽出手段４１ａは、図３で説明した映像ファイルデータ３１ａの番組情報データＰを参照して、当該映像区間に対応したフレーム画像特徴量（フレーム画像特徴量構造体３２ａ）を抽出する。そして、番組映像特徴量抽出手段４１ａは、サンプリング時刻Ｔに従って、抽出したフレーム画像特徴量構造体３２ａを時系列に配列することで、視聴者が選択した放送番組の映像データに対応する画像特徴量（番組画像特徴構造体系列）とする。
この番組映像特徴量抽出手段４１ａで抽出された画像特徴量（番組画像特徴構造体系列）は、類似度算出手段４２に出力される。
【００５２】
非番組映像特徴量抽出手段（要約映像候補特徴量抽出手段）４１ｂは、要約映像の候補となる非番組映像データ（第２映像データ）の予め定めた要約映像時間分の映像区間の画像特徴量を抽出するものである。ここでは、非番組映像特徴量抽出手段４１ｂは、非番組映像データとして、図３で説明した映像ファイルデータ３１ａに番組情報データＰが付加されていない非番組映像区間に対応したフレーム画像特徴量（フレーム画像特徴量構造体３２ａ）から、要約映像時間分（例えば、スポット映像として一般的な１５秒分）の画像特徴量を順次抽出する。そして、非番組映像特徴量抽出手段４１ｂは、サンプリング時刻Ｔに従って、抽出したフレーム画像特徴量構造体３２ａを時系列に配列することで、要約映像時間分の映像区間の画像特徴量（要約映像候補特徴構造体系列）とする。
【００５３】
この非番組映像特徴量抽出手段４１ｂで抽出された画像特徴量（要約映像候補特徴構造体系列）は、映像ファイル識別子ＩＤとサンプリング時刻Ｔとともに、類似度算出手段４２に出力される。
【００５４】
類似度算出手段４２は、特徴量抽出手段４１の番組映像特徴量抽出手段４１ａで抽出された視聴者が選択した放送番組の映像データの画像特徴量（番組画像特徴構造体系列）と、順次、非番組映像特徴量抽出手段４１ｂから出力される要約映像時間分の映像区間の画像特徴量（要約映像候補特徴構造体系列）との類似度を算出するものである。
【００５５】
ここでは、類似度算出手段４２は、番組画像特徴構造体系列のフレーム画像ごとの画像特徴量（画像特徴ベクトル）の系列である番組映像特徴ベクトルと、要約映像候補特徴構造体系列のフレーム画像ごとの画像特徴量（画像特徴ベクトル）の系列である要約映像候補特徴ベクトルとの類似度を算出する。
【００５６】
例えば、類似度算出手段４２は、番組映像特徴ベクトルと要約映像候補特徴ベクトルとのそれぞれのベクトルを時系列において平均化した後、ベクトルの内積演算を行い、その演算結果を類似度とする。なお、ベクトルの内積演算に代えて、ベクトル間の距離を求め、その距離が近いものほど値を“０”、遠いものほど値を“１”とするように、距離を“０”〜“１”で正規化することで、類似度を求めることとしてもよい。
【００５７】
また、例えば、類似度算出手段４２は、要約映像候補特徴ベクトルの要素ベクトル（画像特徴ベクトル）ごとに、番組映像特徴ベクトルの要素ベクトル（画像特徴ベクトル）との間で最大となる類似度を求め、要約映像候補特徴ベクトルの要素数で平均化することで、全体の類似度とすることとしてもよい。この要素ベクトル間の類似度についても、ベクトルの内積、ベクトルの距離等を用いることができる。
この類似度算出手段４２で算出された類似度は、映像ファイル識別子とサンプリング時刻とともに、要約映像区間特定手段４３に出力される。
【００５８】
要約映像区間特定手段４３は、類似度算出手段４２で算出された類似度に基づいて、視聴者が選択した放送番組の要約映像となる映像区間を特定するものである。
ここでは、要約映像区間特定手段４３は、類似度算出手段４２で算出された類似度が最大となる非番組画像特徴構造体系列の先頭のサンプリング時刻に対応するフレーム画像を、要約映像区間の開始フレームとする。そして、要約映像区間特定手段４３は、開始フレームから、予め定めた要約映像分のフレーム数（１５秒；４５０フレーム）分経過したフレーム画像を終了フレームとすることで、要約映像区間を特定する。
【００５９】
この要約映像区間を特定する区間情報には、放送番組の映像データを特定する映像ファイル識別子と、開始フレームの時刻と、終了フレームの時刻とが含まれる。なお、終了フレームの時刻の代わりに、要約映像分の時間間隔またはフレーム数を用いてもよい。
この要約映像区間特定手段４３で特定された要約映像区間の区間情報は、検索リスト提示手段５０に出力される。
【００６０】
検索リスト提示手段５０は、当該蓄積型放送受信装置１にどの放送番組が記憶（蓄積）されているのかを示すリストを生成し、表示装置２に出力するものである。ここでは、検索リスト提示手段５０は、リスト生成手段５１と、リスト選択手段５２と、要約映像再生手段５３とを備えている。
【００６１】
リスト生成手段５１は、視聴者からリモコン装置３を介してリスト表示を指示された際に、記憶手段３０に記憶されている映像ファイルデータの番組情報データに基づいて、記憶されている放送番組の番組名、映像区間（開始時刻、終了時刻）、ジャンル等からなるリストを生成するものである。このリスト生成手段５１で生成されたリストは、表示装置２に出力され、表示装置２の表示画面上にリスト画面として表示される。
【００６２】
リスト選択手段５２は、表示装置２に表示されたリストにおいて、視聴者からの選択を受け付けるものである。ここでは、リスト選択手段５２は、リモコン装置３から出力される上下左右ボタン、決定ボタン等の操作ボタンの押下信号を解析することで、リスト内の放送番組を特定する。
ここで、リスト選択手段５２は、操作ボタンによって、選択された放送番組の再生を指示されることで、選択された放送番組の映像データを特定する識別情報（映像ファイル識別子）を映像再生手段６０に出力する。
【００６３】
また、リスト選択手段５２は、操作ボタンによって、選択された放送番組の要約映像の再生を指示されることで、選択された放送番組の映像データを特定する識別情報（映像ファイル識別子）を要約映像再生手段５３に出力する。なお、要約映像の再生の指示は、例えば、リスト画面上に要約映像再生ボタンを表示しておき、リモコン装置３によって、選択されることにより行う。
【００６４】
要約映像再生手段５３は、リスト選択手段５２によって選択され、再生が指示された放送番組の要約映像を再生するものである。
ここでは、要約映像再生手段５３は、リスト選択手段５２から入力された識別情報（映像ファイル識別子）を要約映像特定手段４０に出力する。そして、要約映像再生手段５３は、要約映像特定手段４０から当該映像ファイル識別子に対応した要約映像区間の区間情報を取得し、要約映像区間に対応する映像データを記憶手段３０から読み出し再生する。
【００６５】
映像再生手段６０は、リスト選択手段５２によって選択され、再生が指示された放送番組の映像を再生するものである。ここでは、映像再生手段６０は、リスト選択手段５２から入力された識別情報（映像ファイル識別子）に対応する映像データを記憶手段３０から読み出し再生する。
このように蓄積型放送受信装置１を構成することで、蓄積型放送受信装置１は、視聴者が視聴したい放送番組を検索する際に、放送番組の要約となる要約映像を再生することができる。
【００６６】
以上、蓄積型放送受信装置１の構成について説明したが、蓄積型放送受信装置１は、一般的なコンピュータを前記した各手段として機能させる要約映像提示プログラムによって動作させることができる。
また、ここでは、蓄積型放送受信装置１において、放送番組の要約となる要約映像を、放送番組の本放送の映像区間以外の映像から抽出することとしたが、放送番組の本放送の映像区間から抽出することとしてもよい。この場合、例えば、特徴量抽出手段４１を、図４に示すように、番組映像部分特徴量抽出手段４１ｃを付加した特徴量抽出手段４１Ｂとして、蓄積型放送受信装置１Ｂを構成する。
【００６７】
番組映像部分特徴量抽出手段４１ｃは、視聴者が選択した放送番組の映像データ以外の映像データ（第１映像データ）に対応する画像特徴量において、番組情報データで特定される終了時刻より所定時間遡った時間から、要約映像分の映像区間の画像特徴量を抽出するものである。
この番組映像部分特徴量抽出手段４１ｃは、例えば、映像データ（第１映像データ）の終了時刻５分前から終了時刻までの映像データにおいて、要約映像分（例えば、１５秒分）の画像特徴量を順次抽出する。この順次特徴量を抽出する手法は、図２で説明した非番組映像特徴量抽出手段４１ｂと同様である。
【００６８】
なお、この場合、類似度算出手段４２は、番組映像特徴量抽出手段４１ａで抽出された画像特徴量と、非番組映像特徴量抽出手段４１ｂで抽出された画像特徴量および番組映像部分特徴量抽出手段４１ｃで抽出された画像特徴量との類似度を順次算出する。
【００６９】
このように蓄積型放送受信装置１Ｂを構成することで、蓄積型放送受信装置１Ｂは、放送番組の要約映像を、番組情報データが付加されていない映像データ（非番組映像）と、番組情報データが付加されている映像データ（番組映像）の終了時刻より所定時間遡った映像データとから生成することができる。
【００７０】
［蓄積型放送受信装置の動作］
次に、本発明の実施形態に係る蓄積型放送受信装置の動作について説明する。ここでは、本発明の実施形態に係る蓄積型放送受信装置における放送番組を蓄積する蓄積動作と、要約映像を再生する要約映像再生動作とに分けて説明する。
【００７１】
＜蓄積動作＞
最初に、図５を参照（適宜図２参照）して、本発明の実施形態に係る蓄積型放送受信装置の蓄積動作について説明する。図５は、本発明の実施形態に係る蓄積型放送受信装置の蓄積動作を示すフローチャートである。
まず、蓄積型放送受信装置１は、受信手段１０によって、放送波を介して配信される放送番組の映像データおよび番組情報データを受信し（ステップＳ１）、記憶手段３０に書き込む（ステップＳ２）。
その後、蓄積型放送受信装置１は、特徴量生成手段２０のサンプリング手段２１によって、映像データを所定のフレーム間隔でサンプリングする（ステップＳ３）。
【００７２】
そして、蓄積型放送受信装置１は、特徴量算出手段２２によって、ステップＳ３でサンプリングされたフレーム画像ごとに画像特徴量を算出し（ステップＳ４）、映像データを特定する識別子（映像ファイル識別子）、サンプリング時刻とともに、フレーム画像特徴量構造体を生成する（ステップＳ５）。そして、特徴量算出手段２２は、フレーム画像特徴量構造体を記憶手段３０に書き込む（ステップＳ６）。
以上の動作によって、放送番組の映像データおよび番組情報データと、当該映像データの特徴量とが、記憶手段３０に蓄積されることになる。
【００７３】
＜要約映像再生動作＞
次に、図６を参照（適宜図２参照）して、本発明の実施形態に係る蓄積型放送受信装置の要約映像再生動作について説明する。図６は、本発明の実施形態に係る蓄積型放送受信装置の要約映像再生動作を示すフローチャートである。
【００７４】
まず、蓄積型放送受信装置１は、検索リスト提示手段５０のリスト生成手段５１によって、リモコン装置３を介して、視聴者からリスト表示を指示されることで、記憶手段３０に記憶されている映像ファイルデータの番組情報データに基づいて、放送番組の番組名等からなるリストを生成し、表示装置２に表示する（ステップＳ１１）。
そして、蓄積型放送受信装置１は、リスト選択手段５２によって、リモコン装置３を介して視聴者が選択した放送番組を特定する（ステップＳ１２）。
【００７５】
さらに、蓄積型放送受信装置１は、特徴量抽出手段４１の番組映像特徴量抽出手段４１ａによって、ステップＳ１２で特定された放送番組の番組情報データを参照して、番組情報データが付加されている映像データの映像区間に対応したフレーム画像特徴量構造体（番組映像特徴構造体）から画像特徴量を抽出し、サンプリング時刻に従って時系列に並べた番組映像特徴構造体系列を生成する（ステップＳ１３）。
【００７６】
なお、ここで、視聴者が選択した放送番組の映像データがＮｒｅｆ枚のフレーム画像で構成され、それぞれのフレーム画像の画像特徴量（画像特徴ベクトル）が、Ｖ（１），Ｖ（２），…，Ｖ（Ｎｒｅｆ）である場合に、番組映像特徴構造体系列を、画像特徴量のみに着目した番組映像特徴ベクトルＶｒｅｆ＝［Ｖ（１），Ｖ（２），…，Ｖ（Ｎｒｅｆ）］として表すこととする。
そして、蓄積型放送受信装置１は、時刻（サンプリング時刻）ｔを変数とし、初期化（“０”）しておく（ステップＳ１４）。
【００７７】
そして、蓄積型放送受信装置１は、特徴量抽出手段４１の非番組映像特徴量抽出手段４１ｂによって、番組情報データが付加されていない映像データの映像区間に対応したフレーム画像特徴量構造体（非番組映像特徴構造体）から、時刻ｔを始点として、要約映像の候補となる映像区間分の画像特徴量を抽出し、サンプリング時刻に従って時系列に並べた要約映像候補特徴構造体系列を生成する（ステップＳ１５）。
【００７８】
なお、ここで、非放送番組の映像データがＮｎｐｇ枚のフレーム画像で構成され、それぞれのフレーム画像の画像特徴量（画像特徴ベクトル）が、Ｖ′（１），Ｖ′（２），…，Ｖ′（Ｎｎｐｇ）である場合に、非番組映像特徴構造体系列を、画像特徴量のみに着目した非番組映像特徴ベクトルＶｎｐｇ＝［Ｖ′（１），Ｖ′（２），…，Ｖ′（Ｎｎｐｇ）］として表すこととする。
【００７９】
この場合、ステップＳ１５において、非番組映像特徴量抽出手段４１ｂが生成した、時刻ｔを始点とした要約映像分の要約映像候補特徴構造体系列は、要約映像候補特徴ベクトルＶｓｐｔ＝［Ｖ′（ｔ），Ｖ′（ｔ＋１），…，Ｖ′（ｔ＋Ｌ−１）］として表される。なお、Ｌは、非番組映像特徴構造体から抽出する要約映像候補特徴構造体の数であって、例えば、サンプリング間隔が３０フレーム、要約映像の時間１５秒に相当するフレーム数が４５０フレームであるとすると、Ｌ＝（４５０／３０）＝１５となる。
【００８０】
そして、蓄積型放送受信装置１は、類似度算出手段４２によって、ステップＳ１３で抽出された放送番組の画像特徴量（番組映像特徴構造体系列）と、ステップＳ１５で抽出された要約映像分の画像特徴量（要約映像候補特徴構造体系列）との類似度Ｓ（ｔ）を算出する（ステップＳ１６）。なお、この類似度の算出動作については、後で詳細に説明する。
【００８１】
そして、蓄積型放送受信装置１は、時刻（サンプリング時刻）ｔを“１”加算する（ステップＳ１７）。ここで、要約映像候補特徴構造体系列の抽出が、非番組映像特徴構造体の終端に達した場合、すなわち、“ｔ＋Ｌ−１”が、非放送番組の映像データのフレーム画像の数（Ｎｎｐｇ枚）を超過した場合（ステップＳ１８でＹｅｓ）、蓄積型放送受信装置１は、ステップＳ１９に動作を進める。
【００８２】
一方、要約映像候補特徴構造体系列の抽出が、非番組映像特徴構造体の終端に達していない場合、すなわち、“ｔ＋Ｌ−１”が、非放送番組の映像データのフレーム画像の数（Ｎｎｐｇ枚）以下の場合（ステップＳ１８でＮｏ）、蓄積型放送受信装置１は、ステップＳ１５に戻って動作を継続する。
【００８３】
そして、蓄積型放送受信装置１は、要約映像区間特定手段４３によって、ステップＳ１６で算出された類似度Ｓ（ｔ）が最大となるサンプリング時刻Ｔに対応するフレーム画像を、要約映像区間の開始フレームとし、その開始フレームから、予め定めた要約映像分のフレーム数（１５秒；４５０フレーム）分経過したフレーム画像を終了フレームとすることで、要約映像区間を特定する（ステップＳ１９）。
【００８４】
そして、蓄積型放送受信装置１は、要約映像再生手段５３によって、ステップＳ１９で特定された要約映像区間に対応する映像データを記憶手段３０から読み出し再生する（ステップＳ２０）。
以上の動作によって、蓄積型放送受信装置１は、視聴者がリストから放送番組を選択することで、その選択された放送番組の要約となる要約映像を再生することができる。
【００８５】
［蓄積型放送受信装置の類似度算出動作］
次に、図７および図８を参照して、蓄積型放送受信装置１の類似度算出手段４２が行う類似度算出の動作について説明する。図７は、本発明の実施形態に係る蓄積型放送受信装置の類似度算出手段が行う類似度算出動作の一例を示すフローチャートである。図８は、本発明の実施形態に係る蓄積型放送受信装置の類似度算出手段が行う類似度算出動作の他の例を示すフローチャートである。なお、この図７および図８で説明する動作は、図６で説明したステップＳ１６の動作に相当するものである。
【００８６】
＜類似度算出動作：第１例＞
最初に、図７を参照（適宜図２参照）して、類似度算出手段４２が行う類似度算出動作の第１例について説明する。
まず、類似度算出手段４２は、Ｎｒｅｆ枚のフレーム画像で構成された番組映像特徴構造体系列における番組映像特徴ベクトルＶｒｅｆ＝［Ｖ（１），Ｖ（２），…，Ｖ（Ｎｒｅｆ）］において、各ベクトルの平均となる平均ベクトルＶｒｅｆ＿ａｖｅを算出する（ステップＳ３１）。
【００８７】
また、類似度算出手段４２は、ある時刻ｔにおけるＬ枚のフレーム画像で構成された要約映像候補特徴構造体系列における要約映像候補特徴ベクトルＶｓｐｔ（ｔ）＝［Ｖ′（ｔ），Ｖ′（ｔ＋１），…，Ｖ′（ｔ＋Ｌ−１）］において、各ベクトルの平均となる平均ベクトルＶｓｐｔ＿ａｖｅ（ｔ）を算出する（ステップＳ３２）。
そして、類似度算出手段４２は、ステップＳ３１で算出した平均ベクトルＶｒｅｆ＿ａｖｅと、ステップＳ３２で算出した平均ベクトルＶｓｐｔ＿ａｖｅ（ｔ）とにおいて、ベクトルの内積を類似度Ｓ（ｔ）として求める（ステップＳ３３）。
【００８８】
以上の動作によって、類似度算出手段４２は、番組映像特徴ベクトルの平均ベクトルと、要約映像候補特徴ベクトルの平均ベクトルとから類似度を算出する。
なお、ここでは、ベクトルの内積演算を行うことで、類似度を算出することとしたが、ベクトルの類似を求める手法であれば、ベクトル内積に限定されるものではない。例えば、類似度算出手段４２は、ステップＳ３３において、ベクトル間の距離を求め、その距離が近いものほど値を“０”、遠いものほど値を“１”とするように、距離を“０”〜“１”で正規化することで、類似度を求めることとしてもよい。
【００８９】
＜類似度算出動作：第２例＞
次に、図８を参照（適宜図２参照）して、類似度算出手段４２が行う類似度算出動作の第２例について説明する。
まず、類似度算出手段４２は、ループ回数を示す変数ｉを初期化（“０”）する（ステップＳ４１）。
【００９０】
そして、類似度算出手段４２は、ある時刻ｔにおけるＬ枚のフレーム画像で構成された要約映像候補特徴構造体系列における要約映像候補特徴ベクトルＶｓｐｔ（ｔ）の要素ベクトルＶ′（ｔ），Ｖ′（ｔ＋１），…，Ｖ′（ｔ＋Ｌ−１）のｉ番目の要素ベクトルＶ′（ｔ＋ｉ）と、Ｎｒｅｆ枚のフレーム画像で構成された番組映像特徴構造体系列における番組映像特徴ベクトルＶｒｅｆの要素ベクトルＶ（１），Ｖ（２），…，Ｖ（Ｎｒｅｆ）とのそれぞれのベクトル内積ｓ（ｉ，１）、ｓ（ｉ，２）、…、ｓ（ｉ，Ｎｒｅｆ）を算出し（ステップＳ４２）、その中の最大値ｓｍａｘ（ｉ）を求める（ステップＳ４３）。
【００９１】
そして、類似度算出手段４２は、ループ回数ｉを“１”加算する（ステップＳ４４）。ここで、ループ回数が要約映像候補特徴ベクトルの要素ベクトルの数（Ｌ）に達した場合（ステップＳ４５でＹｅｓ）、類似度算出手段４２は、ステップＳ４６に動作を進める。
一方、ループ回数が要約映像候補特徴ベクトルの要素ベクトルの数（Ｌ）に達していない場合（ステップＳ４５でＮｏ）、類似度算出手段４２は、ステップＳ４２に戻って動作を継続する。
そして、類似度算出手段４２は、ステップＳ４３で順次算出されたベクトル内積の最大値ｓｍａｘ（０）、ｓｍａｘ（１）、…、ｓｍａｘ（Ｌ−１）の平均を類似度Ｓ（ｔ）として求める（ステップＳ４６）。
【００９２】
以上の動作によって、類似度算出手段４２は、番組映像特徴ベクトルの要素ベクトルと、要約映像候補特徴ベクトルの要素ベクトルとで、最も類似する類似度を求め、それらを平均することで、ベクトル全体の類似度を算出する。
なお、ここでは、ベクトルの内積演算を行うことで、類似度を算出することとしたが、ベクトルの類似を求める手法であれば、ベクトル内積に限定されるものではない。例えば、類似度算出手段４２は、ステップＳ４２において、第１例と同様、ベクトル間の距離を求め、その距離が近いものほど値を“０”、遠いものほど値を“１”とするように、距離を“０”〜“１”で正規化することで、類似度を求めることとしてもよい。
【図面の簡単な説明】
【００９３】
【図１】番組編成の内容を説明するための模式図である。
【図２】本発明の実施形態に係る蓄積型放送受信装置の構成を示すブロック図である。
【図３】本発明の実施形態に係る蓄積型放送受信装置の記憶手段に記憶されるデータのデータ構造を模式的に示す構造図である。
【図４】本発明の他の実施形態に係る蓄積型放送受信装置の構成を示すブロック図である。
【図５】本発明の実施形態に係る蓄積型放送受信装置の蓄積動作を示すフローチャートである。
【図６】本発明の実施形態に係る蓄積型放送受信装置の要約映像再生動作を示すフローチャートである。
【図７】本発明の実施形態に係る蓄積型放送受信装置の類似度算出手段が行う類似度算出動作の一例を示すフローチャートである。
【図８】本発明の実施形態に係る蓄積型放送受信装置の類似度算出手段が行う類似度算出動作の他の例を示すフローチャートである。
【符号の説明】
【００９４】
１，１Ｂ 蓄積型放送受信装置
１０ 受信手段
２０ 特徴量生成手段
２１ サンプリング手段
２２ 特徴量算出手段
３０ 記憶手段（映像データ記憶手段、特徴量記憶手段）
４０ 要約映像特定手段
４１ 特徴量抽出手段
４１ａ 番組映像特徴量抽出手段
４１ｂ 非番組映像特徴量抽出手段（要約映像候補特徴量抽出手段）
４１ｃ 番組映像部分特徴量抽出手段（要約映像候補特徴量抽出手段）
４２ 類似度算出手段
４３ 要約映像区間特定手段
５０ 検索リスト提示手段
５１ リスト生成手段
５２ リスト選択手段
５３ 要約映像再生手段
６０ 映像再生手段
【特許請求の範囲】
【請求項１】
放送番組の映像データと前記放送番組の時間情報を含んだ番組情報データとを映像データ記憶手段に記憶し、前記放送番組を再生する蓄積型放送受信装置において、
前記映像データを所定のフレーム間隔でサンプリングするサンプリング手段と、
このサンプリング手段でサンプリングされたフレーム画像ごとに画像特徴量を算出する特徴量算出手段と、
この特徴量算出手段で算出された画像特徴量を、前記映像データと対応付けて記憶する特徴量記憶手段と、
前記番組情報データに基づいて、前記映像データ記憶手段に記憶されている映像データのリストを生成するリスト生成手段と、
前記リストにおいて視聴者が選択した映像データの画像特徴量を、前記特徴量記憶手段から読み出す番組映像特徴量抽出手段と、
前記リストにおいて視聴者が選択した映像データ以外の映像データのうちで、予め定めた要約映像時間分の映像区間の画像特徴量を、前記特徴量記憶手段から順次読み出す要約映像候補特徴量抽出手段と、
前記番組映像特徴量抽出手段で読み出された画像特徴量と、前記要約映像候補特徴量抽出手段で順次読み出された画像特徴量との類似度を算出する類似度算出手段と、
この類似度算出手段で算出された類似度に基づいて、前記視聴者が選択した映像データに最も類似する要約映像時間分の映像区間を特定する要約映像区間特定手段と、
この要約映像区間特定手段で特定された映像区間の映像データを、前記映像データ記憶手段から読み出して要約映像として再生する要約映像再生手段と、
を備えることを特徴とする蓄積型放送受信装置。
【請求項２】
前記放送番組の映像データは、前記番組情報データが付加された前記放送番組の実体である第１映像データと、前記番組情報データが付加されていない第２映像データとで構成され、
前記要約映像候補特徴量抽出手段は、前記第２映像データに対応する画像特徴量から、前記要約映像時間分の映像区間の画像特徴量を抽出することを特徴とする請求項１に記載の蓄積型放送受信装置。
【請求項３】
前記放送番組の映像データは、前記番組情報データが付加された前記放送番組の実体である第１映像データと、前記番組情報データが付加されていない第２映像データとで構成され、
前記要約映像候補特徴量抽出手段は、前記第１映像データに対応する画像特徴量において、前記番組情報データで特定される終了時刻より所定時間遡った時間から、前記要約映像時間分の映像区間の画像特徴量を抽出することを特徴とする請求項１に記載の蓄積型放送受信装置。
【請求項４】
放送番組の映像データと前記放送番組の時間情報を含んだ番組情報データとを映像データ記憶手段に記憶し、前記放送番組を再生する蓄積型放送受信装置において、視聴者が選択した放送番組の要約映像を再生するために、コンピュータを、
前記映像データを所定のフレーム間隔でサンプリングするサンプリング手段、
このサンプリング手段でサンプリングされたフレーム画像ごとに画像特徴量を算出して、前記映像データと対応付けて特徴量記憶手段に記憶する特徴量算出手段、
前記番組情報データに基づいて、前記映像データ記憶手段に記憶されている映像データのリストを生成するリスト生成手段、
前記リストにおいて視聴者が選択した映像データの画像特徴量を、前記特徴量記憶手段から読み出す番組映像特徴量抽出手段、
前記リストにおいて視聴者が選択した映像データ以外の映像データのうちで、予め定めた要約映像時間分の映像区間の画像特徴量を、前記特徴量記憶手段から順次読み出す要約映像候補特徴量抽出手段、
前記番組映像特徴量抽出手段で読み出された画像特徴量と、前記要約映像候補特徴量抽出手段で順次読み出された画像特徴量との類似度を算出する類似度算出手段、
この類似度算出手段で算出された類似度に基づいて、前記視聴者が選択した映像データに最も類似する要約映像時間分の映像区間を特定する要約映像区間特定手段、
この要約映像区間特定手段で特定された映像区間の映像データを、前記映像データ記憶手段から読み出して要約映像として再生する要約映像再生手段、
として機能させることを特徴とする要約映像再生プログラム。
【請求項１】
放送番組の映像データと前記放送番組の時間情報を含んだ番組情報データとを映像データ記憶手段に記憶し、前記放送番組を再生する蓄積型放送受信装置において、
前記映像データを所定のフレーム間隔でサンプリングするサンプリング手段と、
このサンプリング手段でサンプリングされたフレーム画像ごとに画像特徴量を算出する特徴量算出手段と、
この特徴量算出手段で算出された画像特徴量を、前記映像データと対応付けて記憶する特徴量記憶手段と、
前記番組情報データに基づいて、前記映像データ記憶手段に記憶されている映像データのリストを生成するリスト生成手段と、
前記リストにおいて視聴者が選択した映像データの画像特徴量を、前記特徴量記憶手段から読み出す番組映像特徴量抽出手段と、
前記リストにおいて視聴者が選択した映像データ以外の映像データのうちで、予め定めた要約映像時間分の映像区間の画像特徴量を、前記特徴量記憶手段から順次読み出す要約映像候補特徴量抽出手段と、
前記番組映像特徴量抽出手段で読み出された画像特徴量と、前記要約映像候補特徴量抽出手段で順次読み出された画像特徴量との類似度を算出する類似度算出手段と、
この類似度算出手段で算出された類似度に基づいて、前記視聴者が選択した映像データに最も類似する要約映像時間分の映像区間を特定する要約映像区間特定手段と、
この要約映像区間特定手段で特定された映像区間の映像データを、前記映像データ記憶手段から読み出して要約映像として再生する要約映像再生手段と、
を備えることを特徴とする蓄積型放送受信装置。
【請求項２】
前記放送番組の映像データは、前記番組情報データが付加された前記放送番組の実体である第１映像データと、前記番組情報データが付加されていない第２映像データとで構成され、
前記要約映像候補特徴量抽出手段は、前記第２映像データに対応する画像特徴量から、前記要約映像時間分の映像区間の画像特徴量を抽出することを特徴とする請求項１に記載の蓄積型放送受信装置。
【請求項３】
前記放送番組の映像データは、前記番組情報データが付加された前記放送番組の実体である第１映像データと、前記番組情報データが付加されていない第２映像データとで構成され、
前記要約映像候補特徴量抽出手段は、前記第１映像データに対応する画像特徴量において、前記番組情報データで特定される終了時刻より所定時間遡った時間から、前記要約映像時間分の映像区間の画像特徴量を抽出することを特徴とする請求項１に記載の蓄積型放送受信装置。
【請求項４】
放送番組の映像データと前記放送番組の時間情報を含んだ番組情報データとを映像データ記憶手段に記憶し、前記放送番組を再生する蓄積型放送受信装置において、視聴者が選択した放送番組の要約映像を再生するために、コンピュータを、
前記映像データを所定のフレーム間隔でサンプリングするサンプリング手段、
このサンプリング手段でサンプリングされたフレーム画像ごとに画像特徴量を算出して、前記映像データと対応付けて特徴量記憶手段に記憶する特徴量算出手段、
前記番組情報データに基づいて、前記映像データ記憶手段に記憶されている映像データのリストを生成するリスト生成手段、
前記リストにおいて視聴者が選択した映像データの画像特徴量を、前記特徴量記憶手段から読み出す番組映像特徴量抽出手段、
前記リストにおいて視聴者が選択した映像データ以外の映像データのうちで、予め定めた要約映像時間分の映像区間の画像特徴量を、前記特徴量記憶手段から順次読み出す要約映像候補特徴量抽出手段、
前記番組映像特徴量抽出手段で読み出された画像特徴量と、前記要約映像候補特徴量抽出手段で順次読み出された画像特徴量との類似度を算出する類似度算出手段、
この類似度算出手段で算出された類似度に基づいて、前記視聴者が選択した映像データに最も類似する要約映像時間分の映像区間を特定する要約映像区間特定手段、
この要約映像区間特定手段で特定された映像区間の映像データを、前記映像データ記憶手段から読み出して要約映像として再生する要約映像再生手段、
として機能させることを特徴とする要約映像再生プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−２１７３２（Ｐ２００９−２１７３２Ａ）
【公開日】平成２１年１月２９日（２００９．１．２９）
【国際特許分類】
【出願番号】特願２００７−１８１６７６（Ｐ２００７−１８１６７６）
【出願日】平成１９年７月１１日（２００７．７．１１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２１年１月２９日（２００９．１．２９）
【国際特許分類】
【出願日】平成１９年７月１１日（２００７．７．１１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]