動画記録再生装置
【課題】動画データのハイライト再生において、動画データのカテゴリに応じて、最適なハイライト再生を実施可能とする。
【解決手段】動画データを構成するフレームごとに映像あるいは音声の特徴を保持し(1202)、フレームごとの特徴データに基づき、動画データのカテゴリに対応するアルゴリズムにより動画データのハイライト再生の候補となる候補シーンの抽出とランキング付けとを行い、候補シーンとランキング付けからハイライト再生するシーンを決定する(1203)。
【解決手段】動画データを構成するフレームごとに映像あるいは音声の特徴を保持し(1202)、フレームごとの特徴データに基づき、動画データのカテゴリに対応するアルゴリズムにより動画データのハイライト再生の候補となる候補シーンの抽出とランキング付けとを行い、候補シーンとランキング付けからハイライト再生するシーンを決定する(1203)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画データを記録及び再生する動画記録再生装置に関する。
【背景技術】
【0002】
近年、デジタルテレビ放送による動画データの多チャンネル放送化やネットワークの広帯域化により、多くの動画データを取得あるいは視聴可能となった。また、動画圧縮伸張技術の向上や、それを実現するハードウェア/ソフトウェアの低価格化、及び蓄積メディアの大容量化ならびにその低価格化により、多くの動画データの保存を手軽に行えるようになり、録画及び視聴可能な動画データが増加しつつある。しかしながら、多忙な人にとっては、それら全ての動画データを視聴する時間は無く、結果として視聴可能な動画データが氾濫するといった状況になってきている。そこで、動画データにおける重要なシーンだけを視聴することにより、短時間で内容を理解する仕組みや、本当に視聴したい動画データを探し出せるようにすることが重要となる。
【0003】
このような状況に鑑み、例えば特許文献1及び非特許文献1では、動画データにおける重要なシーンを表示可能な技術が紹介されている。特に、非特許文献1では、動画データからその特徴を生成し、その特徴に基づいて、重要なシーンの抽出及びランキング付けを行い、利用者から指定された割合で重要なシーンのみを再生する技術が紹介されている。これらの技術により、利用者が動画データの内容を短時間で把握することが可能なる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−153139号公報
【非特許文献】
【0005】
【非特許文献1】D.DeMenthon, V.Kobla, and D.Doermann, 天ideo Summarization by Curve Simplification ACM Multimedia 98, Bristol, England, pp.211-218, 1998
【発明の概要】
【発明が解決しようとする課題】
【0006】
以上のように、重要シーンのみの表示(以下の説明及び図面では、ハイライト再生と呼ぶ)により、動画データの内容を短時間で把握するための技術が提案されているが、動画データにおける重要なシーンの定義は、すべての動画データに対して一意ではなく、動画データのカテゴリによって変わる。例えば、動画データがドラマの場合には、長いシーンの重要度が上がり、スポーツの場合には音声のパワーが大きいシーンの重要度が上げるべきである。また、スポーツであっても、音声のパワーが大きくなった位置を含み再生すべきシーンの長さを変えることが望ましい。すなわち、動画データのカテゴリによって、重要シーンの抽出方法及びランキング方法を変える必要があり、このようにしないとすべての動画データに対して、適したハイライト再生を行うことが出来ない。
【0007】
本発明は、これらの課題を解決するものであり、動画データのカテゴリに応じて、最適なハイライト再生を実施することが可能な動画記録再生装置を提供する。
【課題を解決するための手段】
【0008】
上述の課題を解決すべく、本発明の動画記録再生装置は、少なくとも、動画データを入力する動画データ入力手段と、動画データを記憶する記憶手段と、動画データを前記記憶手段に記憶させる録画手段と、動画データの特徴を生成する特徴生成手段と、生成した特徴に基づいて動画データにおけるシーンごとに重要度に応じたランキングづけを行うランキング生成手段と、生成したランキングに基づいて再生シーンを決定する再生シーン決定手段と、決定した再生シーンを再生する再生手段と、再生画像を表示する表示手段と、動画データのカテゴリを取得するカテゴリ取得手段を有し、前記ランキング生成手段が、該取得したカテゴリに基づいて、入力した動画データにおけるシーンのランキング付けを行うように構成する。そして、カテゴリ取得手段によるカテゴリ取得方法を以下のいずれかとする。
【0009】
動画記録再生装置は、さらに放送データ入力手段を有し、前記カテゴリ取得手段は、放送データ入力手段によって放送データを受信し、該放送されているデータから電子番組ガイドを取得して、該電子番組ガイドのデータから動画データのカテゴリを取得する。特に、前記録画手段によって動画データの録画開始時に、該動画データのカテゴリを含む電子番組ガイドのデータが取得されていなかった場合に、前記録画開始をトリガとして、前記放送データ入力手段によって放送データを受信し、前記電子番組ガイドのデータを該放送データから取得する。
【0010】
動画記録再生装置は、さらにネットワークデータ送受信手段を有し、前記カテゴリ取得手段は、ネットワークデータ送受信手段によって、ネットワークを利用して、あらかじめ決められたサーバから前記電子番組ガイドを取得して、該電子番組ガイドのデータから、動画データのカテゴリを取得する。特に、前記録画手段によって動画データの録画開始時に、該動画データのカテゴリを含む電子番組ガイドのデータが取得されていなかった場合に、前記録画開始をトリガとして、前記ネットワークデータ送受信手段によって、ネットワークを利用して、あらかじめ決められたサーバから前記電子番組ガイドのデータを取得する。
【0011】
動画記録再生装置は、さらに利用者がカテゴリを入力するための入力手段を有し、前記カテゴリ取得手段は、該入力手段によって利用者から入力されたカテゴリを取得する。動画記録再生装置は、さらに前記動画データに含まれる音声を認識する音声認識手段を有し、前記カテゴリ取得手段は、該音声認識手段によって、動画データに含まれる音声を認識し、あらかじめ決められたキーワードの出現数をカウントして、該カウント結果を元に前記動画データのカテゴリを決定する。
【0012】
動画記録再生装置は、さらに前記動画データに含まれる字幕を取得する字幕データ取得手段を有し、前記カテゴリ取得手段は、該字幕データ取得手段によって、動画データに含まれる字幕の文字列を取得し、あらかじめ決められたキーワードの出現数をカウントして、該カウント結果を元に前記動画データのカテゴリを決定する。
【発明の効果】
【0013】
すべてのカテゴリの動画データに対して適切にハイライト再生を行うことが出来るので、氾濫しつつある視聴可能な動画データの内容を短時間で適切かつ効率よく把握可能となる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施例に係る動画記録再生装置のハードウェア構成の一例である。
【図2】本発明の実施例1に係る動画記録再生装置の機能ブロック図である。
【図3】本発明の実施例に係る動画記録再生装置のカテゴリ取得部において取得する電子番組ガイドのデータ構造の一例である。
【図4】本発明の実施例に係る動画記録再生装置のカテゴリテーブル生成部で生成するカテゴリテーブルのデータ構造の一例である。
【図5】本発明の実施例に係る動画記録再生装置のランキング生成部において生成するランキングデータのデータ構造の一例である。
【図6】本発明の実施例1に係る動画記録再生装置の録画ブロック201における処理のフローチャートである。
【図7】本発明の実施例に係る動画記録再生装置の特徴生成ブロック202における処理のフローチャートである。
【図8】本発明の実施例に係る動画記録再生装置のランキング生成ブロック203における処理のフローチャートである。
【図9】本発明の実施例に係る動画記録再生装置の再生ブロック204における処理のフローチャートである。
【図10】本発明の実施例に係る再生シーンの決定方法及びデータ処理の推移を説明する図である。
【図11】本発明の実施例に係る再生シーンの再生方法を説明するフローチャートである。
【図12】本発明の実施例に係る本動画記録再生装置における録画から再生までの流れを説明するフローチャートの一例である。
【図13】本発明の実施例2に係る動画記録再生装置の機能ブロック図である。
【図14】本発明の実施例2に係る動画記録再生装置の録画ブロック201における処理のフローチャートである。
【図15】本発明の実施例3に係る動画記録再生装置の機能ブロック図である。
【図16】本発明の実施例3に係る動画記録再生装置の録画ブロック201における処理のフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明にかかる実施例について、図面を参照して説明する。
【実施例1】
【0016】
図1は、本発明の実施例に係る動画記録再生装置のハードウェア構成の一例である。
【0017】
図1に示す通り、本実施例1に係る動画記録再生装置は、中央処理装置101と、入力装置102と、表示装置103と、音声出力装置104と、記憶装置105と、二次記憶装置106を有して構成される。また、ネットワークを介して動画データや電子番組ガイドを取得する場合には、さらに、データ送受信装置108を有して構成される。また、放送データを受信して動画データや電子番組ガイドを取得する場合には、さらに、放送データ入力装置100を有して構成される。そして、各装置は、バス107によって接続され、各装置間で、相互にデータの送受信が可能なように構成されている。
【0018】
中央処理装置101は、マイクロプロセッサを主体に構成されており、記憶装置105や二次記憶装置106に格納されているプログラムを実行する。
【0019】
入力装置102は、例えばリモコン、あるいはキーボードや、マウス等のポインティングデバイスによって実現され、本入力装置102を通して、本動画記録再生装置の利用者が動画の録画及び再生に関する動作設定を行う。また、本入力装置102を通して、利用者が動画データのカテゴリを指定できる。
【0020】
表示装置103は、例えばディスプレイアダプタと液晶パネルやプロジェクタ等によって実現され、本動画再生装置による動画データの再生画像等を表示する。
【0021】
音声出力装置104は、例えばスピーカによって実現され、動画データに含まれる音声を出力する。
【0022】
記憶装置105は、例えばランダムアクセスメモリ(RAM)やリードオンリーメモリ(ROM)等によって実現され、中央処理装置101によって実行されるプログラムや本動画記録再生装置において処理されるデータや動画データ等を格納する。
【0023】
二次記憶装置106は、例えばハードディスクやDVDあるいはCDとそれらのドライブ、あるいはフラッシュメモリ等の不揮発性メモリにより構成され、中央処理装置101によって実行されるプログラムや本動画記録再生装置において処理されるデータや動画データ等を格納する。
【0024】
放送データ入力装置100は、テレビのチューナ等によって実現され、テレビ等によって放送されている動画データを入力可能とする。また、放送データから電子番組ガイドを取得する場合には、当該電子番組ガイドのデータを取得可能とする。
【0025】
ネットワークデータ送受信装置108は、LANカード等のネットワークカードによって実現され、ネットワークでつながれている他の装置からの動画データや電子番組ガイドのデータの入力を可能とする。
【0026】
図2は、本発明の実施例1に係る動画記録再生装置の機能ブロック図である。これらの機能ブロックの一部あるいは全部は、図1で示したハードウェアに加えて、ハードウェアとして実現されてもよいが、中央処理装置101によって実行されるソフトウェアプログラムとして実現されてもよい。なお、以下では、一例として、これらの機能ブロックの全てが中央処理装置101によって実行されるソフトウェアプログラムであるものとして説明する。
【0027】
図2に示す通り、本実施例1に係る動画記録再生装置は、録画ブロック201と、特徴生成ブロック202と、ランキング生成ブロック203と、再生ブロック204から構成される。
【0028】
録画ブロック201は、外部から入力した動画データを録画するブロックであり、録画動画データ入力部211と、録画部212と、記録部213と、カテゴリ取得部214と、カテゴリテーブル生成部215と、カテゴリデータ保持部216を有して構成される。
【0029】
録画動画データ入力部211は、録画部212により起動され、放送データ入力装置100あるいはネットワークデータ送受信装置108から録画対象の動画データを入力する。なお、放送データ入力装置100から動画データを入力する場合には、後述する録画部212の指示に従い、指定されたチャンネルから放送されている動画データを取得し、デジタルデータに変換して記憶装置105に格納する。一方、ネットワークデータ送受信装置108から動画データを入力する場合には、後述する録画部212の指示に従い、指定された装置からネットワーク経由で動画データを取得して記憶装置105に格納する。このとき、動画データを取得する方法としては、既に知られるHTTPあるいはFTP等を使用すればよい。
【0030】
録画部212は、利用者から入力装置102を介して録画の開始が指示された場合に起動し、録画動画データ入力部211を介して放送データ入力装置100あるいはネットワークデータ送受信装置108から動画データを入力して、後述する記録部213により二次記憶装置106に記憶する。このとき、放送データ入力装置100から動画データを入力する場合には、あらかじめ設定されているチャンネルあるいは利用者から指定されたチャンネルを、録画動画データ入力部211を介して放送データ入力装置100に設定し、当該チャンネルの動画データを入力して、記録部213により二次記憶装置106に記憶する。このとき、入力した動画データをMPEG等の方式により圧縮して二次記憶装置106に記憶してもよい。一方、ネットワークデータ送受信装置108から動画データを入力する場合には、あらかじめ設定されているURIあるいは利用者から指定されたURIを、録画動画データ入力部211を介してネットワークデータ送受信装置108に設定し、当該URIの動画データを入力して、記録部213により二次記憶装置106に記憶する。また、入力動画データのカテゴリ(ドラマ、野球、サッカー等の種別)を後述するカテゴリ取得部214により取得し、カテゴリテーブル生成部215によって、二次記憶装置106に記録した録画動画データと対応付けるカテゴリテーブルを生成し、生成したカテゴリテーブルをカテゴリデータ保持部216で保持する。
【0031】
記録部213は、録画部212からの指示により、録画動画データ入力部211からの入力動画データを二次記憶装置106に記憶する。このとき、録画動画データには固有のファイル名を付ける。
【0032】
カテゴリ取得部214は、録画部212からの指示により、録画動画データ入力部211からの入力動画データのカテゴリを取得する。これは、例えば、既に当該動画データに関する情報を含む電子番組ガイドのデータが取得済みの場合には、この電子番組ガイドのデータから当該動画データのカテゴリを取得し、当該電子番組ガイドのデータが取得済みではないばあいには、新たに当該動画データに関する情報を含む電子番組ガイドのデータを取得した上で、この電子番組ガイドのデータから当該動画データのカテゴリを取得する。なお、電子番組ガイドのデータは、放送データ入力装置100あるいはネットワークデータ送受信装置108により、放送データに含まれる電子番組ガイドのデータあるいはネットワーク経由で他のサーバによって提供されている電子番組ガイドのデータを取得して、記憶装置105あるいは二次記憶装置106に記憶されるように構成すればよい。なお、電子番組ガイドのデータの構成については後述する。具体的には、動画データを放送データ入力装置100から入力する場合には、録画を開始した時刻とチャンネルの情報から、当該時刻とチャンネルに対応する電子番組ガイドのデータが記憶装置105あるいは二次記憶装置106に記憶されているか否かを判断し、既に記憶されている場合には、当該電子番組ガイドのデータから録画を開始した時刻とチャンネルの情報をキーにして対応するカテゴリを取得すればよい。
【0033】
一方で、まだ記憶されていない場合には、放送データ入力装置100を介して、あらかじめ決められたチャンネルで放送されている電子番組ガイドのデータを取得するか、ネットワークデータ送受信装置108を介して所定のURIから電子番組ガイドのデータを取得した上で、当該電子番組ガイドのデータから録画を開始した時刻とチャンネルの情報をキーにして対応するカテゴリを取得すればよい。これらは、すなわち、入力動画データに関する情報を含む電子番組ガイドのデータが未取得である場合には、録画開始をトリガとして電子番組ガイドのデータを取得することを意味する。あるいは、本カテゴリ取得部214は、利用者から指定されたカテゴリを入力動画データのカテゴリとしてもよい。また、動画データを、ネットワークデータ送受信装置108を介してネットワークで取得する場合にも、これが放送されているデータの場合には、上述の通り電子番組ガイドのデータや利用者から指定されたカテゴリを入力動画データのカテゴリとしてもよいし、当該動画データのカテゴリが所定のURIあるいは動画データのURIに含まれる場合には、これらのデータを取得してカテゴリとしてもよい。
【0034】
カテゴリテーブル生成部215は、録画部212によって起動され、記録部213により二次記憶装置106に記憶した動画データ、すなわち録画した動画データとそのカテゴリ、すなわちカテゴリ取得部214で取得した入力動画データのカテゴリを関連付けて、後で例示するカテゴリテーブルを生成し、カテゴリデータ保存部216を介して記憶装置105あるいは二次記憶装置106に記憶する。なお、本カテゴリテーブル生成部215及びカテゴリテーブルは、録画終了後いつでもその録画動画データのカテゴリを参照可能とするためのものであり、録画と同時に、あるいは録画終了後に継続して、録画中のあるいは録画した動画データの特徴データ及びランキングを生成する等、録画動画データとそのカテゴリが対応付けられる場合には、カテゴリ取得部214で取得したカテゴリを直接後述するカテゴリデータ保持部216で保持するように構成してもよく、この場合には、必ずしも本カテゴリテーブル生成部215及びカテゴリテーブルは必要ない。また、カテゴリテーブル生成部215は、録画動画データのファイル名とカテゴリデータを格納したファイ名を同一にするなどの方法で録画動画データとそのカテゴリを関連付けてもよい。この場合には、必ずしもカテゴリテーブルは必要ない。
【0035】
カテゴリデータ保持部216は、録画部212からの指示により、カテゴリテーブル生成部215で生成したカテゴリテーブルを記憶装置105あるいは二次記憶装置106に記憶する。なお、上述の通り、録画と同時に、あるいは録画終了後に継続して、録画中のあるいは録画した動画データの特徴データ及びランキングを生成する等、録画動画データとそのカテゴリが対応付けられる場合には、本カテゴリデータ保持部216は、カテゴリ取得部214で取得したカテゴリをそのまま記憶装置105あるいは二次記憶装置106に記憶するように構成してもよい。また、カテゴリテーブル生成部215において、録画動画データのファイル名とカテゴリデータを格納したファイ名を同一にするなどの方法で録画動画データとそのカテゴリを関連付ける場合には、本カテゴリデータ保持部216は、録画動画データのファイル名と同じファイル名でその動画データのカテゴリデータ、すなわち、カテゴリ取得部214で取得したカテゴリのデータを記憶装置105あるいは二次記憶装置106に記憶するように構成してもよい。
【0036】
続いて、特徴データ生成ブロック202について説明する。特徴データ生成ブロック202は、入力動画データあるいは再生対象の動画データの特徴を生成するブロックであり、解析動画データ入力部221と、特徴生成部222と、特徴データ保持部223を有して構成される。
【0037】
解析動画データ入力部221は、ハイライト再生対象の動画データを記憶装置105あるいは二次記憶装置106から入力する。このとき、動画データのファイル名を取得する。なお、本解析動画データ入力部221は、録画開始後、録画終了後、あるいは利用者によって特徴データ及びランキングデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、特徴データ及びランキングデータが作成されていない動画データを発見した場合に起動される。また、本解析動画データ入力部221は、録画が開始された場合に起動されてもよく、この場合には録画部212で入力あるいは録画中の動画データを入力するように構成してもよい。この場合には、録画中の動画データのファイル名を取得する。
【0038】
特徴生成部222は、解析動画データ入力部221において入力した動画データの特徴を生成する。これは、例えば、動画データにおける音声データ及び画像データのそれぞれのフレームについて、音声のパワー及び画像の動き等を生成することによって実現できる。なお、本特徴生成部222は、解析動画データ入力部221が実行された場合に、動画データが入力されるたびに実行される。
【0039】
特徴データ保持部223は、特徴生成部222において生成した特徴データを保持する。これは、例えば特徴生成部222において生成した特徴データを記憶装置105あるいは二次記憶装置106に格納することによって実現できる。このとき、保持する特徴データには、解析動画データ入力部221で取得した録画動画データのファイル名と同じファイル名を付ける。なお、本特徴データ保持部223は、特徴生成部222が実行された場合に、特徴データが生成されるたびに、あるいは1フレーム分の特徴データが生成されるごとに実行されるように構成すればよい。
【0040】
続いて、ランキング生成ブロック203について説明する。ランキング生成ブロック203は、入力動画データあるいは再生対象の動画データにおけるシーンごとに重要度に応じたランキングづけを行うブロックであり、特徴データ入力部231と、カテゴリデータ入力部232と、ランキング生成部233と、ランキングデータ保持部234と、動画データのカテゴリごとのランキング生成部235乃至237を有して構成される。
【0041】
特徴データ入力部231は、特徴データ保持部223において保持された特徴データを入力する。これは、例えば記憶装置105あるいは二次記憶装置106に格納されている特徴データを読み出すことによって実現できる。このとき、特徴データのファイル名を取得する。なお、本特徴データ入力部231は、後述するランキング生成部233が実行された場合に実行されればよい。
【0042】
カテゴリデータ入力部232は、ランキング生成対象の録画動画データのカテゴリデータを取得する。本例の場合、前述の通り録画動画データのファイル名とその特徴データのファイル名は同一にしているため、録画動画データに対するカテゴリデータの取得は、後述の通り、カテゴリデータ保持部216において記憶装置105あるいは二次記憶装置106に保持されたカテゴリテーブルから、特徴データ入力部231で取得した特徴データのファイル名をキーにして、対応するカテゴリデータを取得することによって実現できる。なお、本カテゴリデータ入力部232は、後述するランキング生成部233が実行された場合に実行されればよい。
【0043】
235乃至237は、動画データのカテゴリに応じたランキングデータの生成部であり、特に、一例として、235、236、及び237は、動画データのカテゴリが、それぞれ、相撲、サッカー、及びドラマの場合のランキングデータ生成部を示している。これらのカテゴリに応じたランキング生成部は、後述するランキング生成部233によって、動画データのカテゴリに応じて起動され、特徴データ入力部231で入力した特徴データに基づいて、動画データにおける重要シーンの抽出及び各シーンのランキング付けを行う。なお、それぞれのカテゴリに応じたランキング生成は、例えば、動画データのカテゴリが相撲の場合には、取り組みの字幕が現れた時点からあらかじめ決められた数のシーンの重要度を上げるとともに、音声のパワーが強くなったシーンの重要度を上げ、サッカーの場合には、音声パワーの強くなったシーンの前後数シーンの重要度を上げる、あるいはドラマの場合には、非特許文献1で記載されている方法を用いる等、カテゴリに最適なアルゴリズムを用いるとよい。
【0044】
ランキング生成部233は、カテゴリデータ入力部232で入力した、動画データのカテゴリに応じて、各カテゴリに対応したランキング生成部を起動して、動画データのカテゴリに最適な重要シーンの抽出及び各シーンのランキング付けを行う。なお、本ランキング生成部233は、録画開始後、録画終了後、特徴データ生成終了後、利用者によってランキングデータの作成が指示された場合、再生開始時、あるいは図示しないスケジューラによってランキングデータが作成されていない動画データを発見した場合に起動されるように構成すればよい。
【0045】
ランキングデータ保持部234は、ランキング生成部233において生成したランキングデータを保持する。これは、例えばランキング生成部233において生成したランキングデータを記憶装置105あるいは二次記憶装置106に格納することによって実現できる。なお、本ランキングデータ保持部234は、ランキング生成部233が実行された場合に、ランキングデータが生成されるたびに実行されるように構成すればよい。
【0046】
続いて、再生ブロック204について説明する。再生ブロック204は、再生対象の動画データのハイライト再生を行うブロックであり、ランキングデータ入力部241と、再生動画データ入力部242と、再生シーン決定パラメタ入力部243と、再生シーン決定部244と、再生部245と、表示部246と、音声出力部247を有して構成される。
【0047】
ランキングデータ入力部241は、ランキングデータ保持部234において保持されたランキングデータを入力する。これは、例えば記憶装置105あるいは二次記憶装置106に格納されているランキングデータを読み出すことによって実現できる。なお、本ランキングデータ入力部241は、後述する再生シーン決定部244が実行された場合に起動されるように構成すればよい。
【0048】
再生シーン決定パラメタ入力部243は、利用者から入力装置102を介して、ハイライト再生における再生シーンを決定する際のパラメタを入力する。なお、本パラメタとしては、例えば動画データにおけるハイライト再生での視聴時間等がある。本再生シーン決定パラメタ入力部205は、後述する再生部206においてハイライト再生が実行された時点で実行される。
【0049】
再生シーン決定部244は、再生シーン決定パラメタ入力部243で入力したパラメタ及び、ランキングデータ入力部241で入力したランキングデータを元にハイライト再生における再生シーンを決定する。なお、本再生シーンの決定方法については後述する。本再生シーン決定部244は、再生シーン決定パラメタ入力部243でハイライト再生における再生シーンを決定する際のパラメタが入力された後に実行される。
【0050】
再生動画データ入力部242は、再生対象の動画データを二次記憶装置106から入力する。なお、本再生動画データ入力部242は、後述する再生部245によって再生対象の動画データを取得する際に起動される。
【0051】
再生部245は、再生シーン決定部244で決定した再生シーンの動画データを再生動画データ入力部242により入力して、再生画像を生成して後述する表示部246に表示する。本再生部245は、利用者によって、ハイライト再生が指示された場合に実行される。
【0052】
表示部246は、再生部245において生成された再生画像を表示装置103に表示する。本表示部246は、再生部245が生成した再生画像を1フレームごとに表示装置103に表示する。この場合、本表示部246は、再生部245によって1フレーム分の再生画像が生成されるごとに起動されるように構成すればよい。
【0053】
音声出力部247は、再生部245において生成された再生音声を音声出力装置104に出力する。本音声出力部247は、再生部245が生成した再生音声を1フレームごとに音声出力装置104に出力することによって実現可能である。この場合、本音声出力部247は、再生部245によって1フレーム分の再生音声が生成されるごとに起動されるように構成すればよい。
【0054】
次に、カテゴリ取得部214において取得する電子番組ガイドのデータについて説明する。
【0055】
図3は、本発明の実施例に係る動画記録再生装置のカテゴリ取得部214において取得する電子番組ガイドのデータ構造の一例である。
【0056】
図3において、306乃至309は、放送される番組すなわち動画データであり、それぞれの動画データに対して、少なくとも、その動画データが放送される日にち300と、チャンネル301と、放送開始時刻302と、放送終了時刻あるいは放送時間303と、タイトルと304と、カテゴリ305を含んでいる。したがって、カテゴリ取得部214は、録画を開始した日にちと時刻とチャンネルの情報から、当該動画データに対応する電子番組ガイドのデータが存在するか否かを判断可能となる。また、当該電子番組ガイドのデータから録画を開始した日にちと時刻とチャンネルの情報をキーにして対応するカテゴリを取得することにより、録画対象としている動画データのカテゴリを取得可能となる。なお、本電子番組ガイドのデータにおけるデータ構造は一例であり、例えば、放送される日にちごとに別のファイルとなっていてもよいし、また、放送されるチャンネルごとに別のファイルとなっていてもよく、このような場合にも、日にちと時刻とチャンネルの情報をキーにして、動画データに対応する電子番組ガイドのデータの存在確認及びカテゴリの取得が可能である。
【0057】
次に、カテゴリテーブル生成部215において生成するカテゴリテーブルのデータ構造について説明する。
【0058】
図4は、本発明の実施例に係る動画記録再生装置のカテゴリテーブル生成部215で生成するカテゴリテーブルのデータ構造の一例である。
【0059】
図4において、403乃至406は、録画した動画データであり、それぞれの動画データに対して、少なくとも、録画した動画データのファイル名401と、そのカテゴリ402を含んでいる。したがって、カテゴリデータ入力部232において、録画動画データのファイル名をキーにして、対応するカテゴリデータを取得することによって、録画されている動画データのカテゴリを取得可能となる。なお、本実施例に係る動画記録再生装置では、特徴データ保持部223において、特徴データ生成部222で生成した特徴データのファイル名とその録画動画データのファイル名を同一にしている。そして、特徴データ入力部231では、特徴データとそのファイル名を取得し、ランキング生成部233がこれらを取得する。このため、ランキング生成部233がカテゴリデータ入力部232に特徴データのファイル名を通知することで、カテゴリデータ入力部232は、特徴データのファイル名を元にして、録画されている動画データのカテゴリを取得可能となる。
【0060】
次に、ランキング生成部233において生成するランキングデータのデータ構造について説明する。
【0061】
図5は、本発明の実施例に係る動画記録再生装置のランキング生成部233において生成するランキングデータのデータ構造の一例である。
【0062】
図5において、504乃至508は動画データにおけるシーンであり、501は各シーンにおける重要度すなわちランクである。なお、ここでは、便宜的に数値が小さいほどランクが高いものとしている。502及び503はそれぞれ各シーンの開始位置及び終了位置であり、ここでは便宜的に各シーンの開始時刻(秒)と終了時刻(秒)としている。ランキング生成部223は、動画データのカテゴリに応じたランキング生成部において、動画データにおけるシーンの抽出及びランキング付けを行い、各シーンの開始位置の時刻及び終了位置の時刻を取得して、本データ構造を生成すればよい。なお、各シーンの開始位置の時刻及び終了位置の時刻は、例えば動画データがMPEGストリームであれば、フレームに対応するタイムスタンプを取得することによって取得可能である。本ランキングデータにより、再生シーン決定部244は、各シーンのランクと再生時間を参照し、再生すべきシーンを決定可能となる。
【0063】
次に、各機能ブロックの処理フローを説明する。
【0064】
図6は、本発明の実施例1に係る動画記録再生装置の録画ブロック201における処理のフローチャートである。
【0065】
本録画ブロック201は、利用者から入力装置102を介して録画の開始が指示された場合に、録画部212の指示により動作する。本録画ブロック201は、図6に示すとおり、まず、カテゴリ取得部214が入力動画データのカテゴリを取得する(ステップ601)。次に、カテゴリテーブル生成部215が、録画する入力動画データとそのカテゴリ、すなわちステップ601においてカテゴリ取得部214で取得したカテゴリを関連付けて、カテゴリテーブルを生成して(ステップ602)、カテゴリデータ保持部216でこのカテゴリテーブルを保持する。続いて、録画動画データ入力部211により録画対象の動画データを入力し(ステップ603)、記録部213により、入力した録画対象の動画データを二次記憶装置106に記録する(ステップ604)。このとき、録画動画データには固有のファイル名を付ける。なお、入力した動画データは、MPEG等の方式により圧縮されて二次記憶装置106に記憶されてもよい。
【0066】
図7は、本発明の実施例に係る動画記録再生装置の特徴生成ブロック202における処理のフローチャートである。
【0067】
本特徴生成ブロック202は、録画開始後、録画終了後、あるいは利用者によって特徴データ及びランキングデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、特徴データ及びランキングデータが作成されていない動画データを発見した場合に起動される。本特徴生成ブロック202は、図7に示すとおり、まず、解析動画データ入力部221において、録画済あるいは録画中の動画データを取得する(ステップ701)。このとき、動画データのファイル名を取得する。続いて、特徴生成部222において、ステップ701で入力した動画データの特徴を生成し(ステップ702)、生成した特徴データが特徴データ保持部223において保持される。
【0068】
図8は、本発明の実施例に係る動画記録再生装置のランキング生成ブロック203における処理のフローチャートである。
【0069】
本ランキング生成ブロック203は、ランキング生成部233の指示により、録画開始後、録画終了後、特徴データ生成終了後、利用者によってランキングデータの作成が指示された場合、再生開始時、あるいは図示しないスケジューラによってランキングデータが作成されていない動画データを発見した場合に起動される。本ランキング生成ブロック203は、図8に示すとおり、まず、特徴データ入力部231により特徴データを入力する(ステップ801)。このとき、特徴データのファイル名を取得する。続いて、カテゴリデータ入力部232により、ランキング生成対象の録画動画データのカテゴリデータを取得する(ステップ802)。なお、本例の場合、前述の通り録画動画データのファイル名とその特徴データのファイル名は同一にしているため、録画動画データに対するカテゴリデータの取得は、ステップ801で取得した特徴データのファイル名をキーにして、対応するカテゴリデータを取得ことによって、ランキング生成対象の録画動画データのカテゴリデータを取得可能である。続いて、カテゴリに応じたランキングの生成部を起動して、動画データにおける重要シーンの抽出及び各シーンのランキング付けを行い(ステップ803)、生成したランキングデータがランキングデータ保持部234において保持される。
【0070】
図9は、本発明の実施例に係る動画記録再生装置の再生ブロック204における処理のフローチャートである。
【0071】
本再生ブロック204は、再生部245の指示により、利用者によって、ハイライト再生が指示された場合に実行される。本再生ブロック204は、図9に示すとおり、まず、ランキングデータ入力部241により、ランキングデータを入力し(ステップ901)、再生シーン決定パラメタ入力部243により、ハイライト再生における再生シーンを決定する際のパラメタを入力する(ステップ902)。なお、本パラメタとしては、例えば動画データにおけるハイライト再生での視聴時間等がある。さて、再生ブロック204は、続いて、再生シーン決定部244により、再生シーン決定パラメタ入力部243で入力したパラメタ及び、ランキングデータ入力部241で入力したランキングデータを元にハイライト再生における再生シーンを決定する(ステップ903)。なお、本再生シーンの決定方法については後述する。続いて、再生ブロック204は、再生動画データ入力部242により、各再生シーンの動画データを取得して(ステップ904)、これらのシーンの再生画像を表示部246により表示装置103に表示するとともに、再生音声を音声出力部247により音声出力装置104から出力することにより、各再生シーンを再生する(ステップ905)。なお、各シーンの再生方法については後述する。
【0072】
次に、再生シーン決定部244における再生シーンの決定方法について説明する。
【0073】
再生シーンを決定するために、再生シーン決定部244は、まず、動画データにおいて、現在再生している位置を取得する。これは、現在動画データを再生中の場合には、現在再生している動画データにおけるフレームの時刻を取得することによって実現できる。あるいはこれから動画データを再生しようとしている場合には、動画データにおける最初のフレームの時刻を取得することによって実現できる。なお、動画データにおけるフレームの時刻は、例えば動画データがMPEGストリームであれば、該当フレームに対応するタイムスタンプを取得することによって実現できる。次に、再生シーン決定部244は、再生シーン決定パラメタ入力部243で取得したパラメタと、ランキング生成部233で生成したランキングデータと、先に取得した現在の再生位置から再生シーンを決定する。具体的には、例えば、再生シーン決定パラメタ入力部243で取得するパラメタが視聴時間である場合には、まず、図10(a)に示すとおり、ランキング生成部233で生成したランキングデータに対して、終了位置が現在再生の位置よりも小さいシーンを削除する。なお、図10(a)では、図5で例示したランキングデータに対して、現在の再生位置が50秒であった場合の例を示している。次に、図10(b)に示すとおり、ランクの高いシーン順に各シーンの時間を積算し、再生シーン決定パラメタ入力部243で取得した視聴時間を越えない範囲で再生シーンを列挙する。すなわち、各再生シーンの時間の合計が再生シーン決定パラメタ入力部243で取得した視聴時間を越えないようにランクの高いシーン順に再生シーンを選択していく。
【0074】
なお、図10(b)では、再生シーン決定パラメタ入力部243で取得した視聴時間が150秒であった場合の例を示しており、ランク1のシーン1004(時間5秒)と、ランク2のシーン1005(時間10秒)と、ランク4のシーン1007(時間110秒)の合計3シーン(積算時間125秒)が再生シーンとして選択されたことを示している。このとき、オプションとしてランク5のシーン1008に関しても残りの25秒分にシーンをカットして再生シーンとして選択してもよい。この場合、シーンの初めから25秒分を選択してもよいし、シーンの中心を含み25秒分を選択してもよい。さらに、現在の再生位置がシーンの途中であった場合には、そのシーンの時間を現在の再生位置から終了位置までに補正するとよい。これは、例えば図10の例において、現在の再生位置が105秒であった場合には、ランク2のシーン1005の開始位置が105秒であり、終了位置が110秒として計算すればよい。さて、再生シーン決定部244は、最後に、図10(c)に示すとおり、決定した再生シーンを再生時刻順に並べ替えて、並べ替えられた各再生シーンを最終的な再生シーンとして決定する。
【0075】
次に、再生シーンの再生方法について説明する。
【0076】
図11は、本発明の実施例に係る再生シーンの再生方法を説明するフローチャートである。
【0077】
図11に示すとおり、再生シーンを再生する場合には、まず、動画データにおける現在の再生位置を取得し(ステップ1101)、この現在の再生位置を元に、次の再生シーンの開始位置及び終了位置を取得する(ステップ1102)。これは、再生シーン決定部244で決定した再生シーンのうち、現在の再生位置よりも後で、かつ現在の再生位置に最も近い再生シーンの開始位置及び終了位置を取得することによって実現できる。次に、ステップ1102で取得した次の再生シーンの開始位置へジャンプし(ステップ1103)、当該再生シーンの再生を行う(ステップ1104)。これは、再生シーンにおける再生画像を表示部246を介して表示装置103への表示すること、及び再生シーンにおける再生音声を音声出力部部247を介して音声出力装置104への出力することにより実施される。なお、同再生シーンの再生中、定期的に再生が終了したか否かを判断し(ステップ1105)、再生が終了した場合には動画データの再生を終了する。ここで、再生シーン決定部244で決定した再生シーンをすべて再生し終わった場合あるいは利用者から再生の終了が指示された場合に再生の終了と判断し、それ以外は再生シーンの再生を継続する。さらに、同再生シーンの再生中、定期的に現在の再生位置を取得し(ステップ1106)、当該再生シーンの終了位置に到達したか否かを判断する(ステップ1107)。これは、ステップ1102で取得した再生シーンの終了位置とステップ1106で取得した現在の再生位置とを比較することで判断できる。さて、本ステップ1107における判断の結果、当該再生シーンの終了位置に到達していないと判断した場合には、ステップ1104乃至ステップ1107を繰り返し、当該再生シーンの再生を継続する。一方、ステップ1107における判断の結果、当該再生シーンの終了位置に到達したと判断した場合には、ステップ1101乃至ステップ1107を繰り返すことにより、再生シーン決定部244で決定した再生シーンを順次再生し、再生シーン決定部244で決定したすべての再生シーンを再生し終わると、ステップ1105でそれを認識し、再生を終了する。これにより、各再生シーンにジャンプしつつ再生シーン決定部244で決定した再生シーンのみを順次再生可能となる。
【0078】
最後に、本動画記録再生装置における録画から再生までの全体の流れについて説明する。
【0079】
図12は、本発明の実施例に係る本動画記録再生装置における録画から再生までの流れを説明するフローチャートの一例である。
【0080】
図12に示すとおり、本動画記録再生装置は、利用者から録画が指示されると、録画ブロック201により入力動画データの録画及びそのカテゴリを取得し(ステップ1201)、特徴生成ブロック202により当該入力動画データの特徴データを生成する(ステップ1202)。そして、ランキング生成部ブロック203において、録画ブロック201で取得した入力動画データすなわち録画動画データのカテゴリ取得し、そのカテゴリに応じて、当該動画データにおけるシーンのランキングを行う(ステップ1203)。なお、上記ステップ1201乃至ステップ1203は、それぞれが終了してから順次行われるようにしてもよいし、例えば動画データにおける1フレームごとに順次行われるようにしてもよい。そして、利用者からハイライト再生が指定されると、再生ブロック204において、ステップ1203で作成したランキングデータを元に再生シーンを決定して、この再生シーンのみを再生することにより、ハイライト再生を実現する(ステップ1204)。
【0081】
以上説明した本実施例1に係る動画記録再生装置では、電子番組ガイドのデータを取得してカテゴリを判別するとともに、カテゴリに応じて再生シーンを決定できるので、動画データのカテゴリに応じて、最適なハイライト再生を実施することが可能となる。または、利用者から指定されたカテゴリに基づいて、最適なハイライト再生を実施することが可能となる。
【実施例2】
【0082】
図13は、本発明の実施例2に係る動画記録再生装置の機能ブロック図である。
【0083】
図13に示すとおり、本実施例2に係る動画記録再生装置では、実施例1の動画記録再生装置におけるカテゴリ取得部214の代わりにカテゴリ決定部218を有した構成とする。
【0084】
カテゴリ決定部218は、図示しない音声認識エンジンを備え、入力動画データにおける音声を認識し、あらかじめ登録されているキーワードのうち、出現したキーワードを列挙するとともに、それらをカウントして、キーワードの出現した回数に応じてカテゴリを決定する。例えば、キーワードとして、ストライク、シュート等を登録しておき、ストライクというキーワードをより多く認識及びカウントした場合にはカテゴリを野球と判断し、同様にシュートというキーワードをより多く認識及びカウントした場合にはカテゴリをサッカーと判断する。そして、登録されているキーワードが現れなかった場合には、その他のカテゴリとすることが出来る。また、カテゴリ決定部218は、図示しない字幕取得部を備えるようにしてもよい。この場合、字幕取得部は動画データとともに送られてくる字幕情報を取得し、カテゴリ決定部218は、上記音声認識エンジンを使用した場合と同様に、あらかじめ登録されているキーワードのうち、出現したキーワードを列挙するとともに、それらをカウントして、キーワードの出現した回数に応じてカテゴリを決定する。さらに、カテゴリ決定部218は、図示しない字幕画像認識エンジンを備えるようにしてもよい。この場合、字幕画像認識エンジンは動画データにおける画像上にオーバーレイされている字幕画像を取得するとともに文字認識し、カテゴリ決定部218は、上記音声認識エンジンを使用した場合と同様に、あらかじめ登録されているキーワードのうち、出現したキーワードを列挙するとともに、それらをカウントして、キーワードの出現した回数に応じてカテゴリを決定する。なお、上記音声認識エンジン、字幕取得部、及び字幕画像認識エンジンは、公知の技術を適用可能である。
【0085】
図14は、本発明の実施例2に係る動画記録再生装置の録画ブロック201における処理のフローチャートである。
【0086】
図14に示すとおり、本実施例2に係る動画記録再生装置の録画ブロック201における処理の流れは、実施例1に係る動画記録再生装置の録画ブロック201における処理の流れと異なり、動画データを取得しつつ、当該動画データを元にカテゴリ決定部218において、キーワードをカウントする(ステップ603)。そして、すべての動画データを取得し、キーワードのカウントが終了した時点で、キーワードの出現した回数に応じてカテゴリを決定し(ステップ601’)、動画データを記録(ステップ604)するとともに、決定したカテゴリを元にカテゴリテーブルを生成する(ステップ602)。
【0087】
これにより、本実施例2に係る動画記録再生装置では、電子番組ガイドのデータを取得せずに、カテゴリを決定でき、動画データのカテゴリに応じて、最適なハイライト再生を実施することが可能となる。
【実施例3】
【0088】
図15は、本発明の実施例3に係る動画記録再生装置の機能ブロック図である。
【0089】
図15に示すとおり、本実施例3に係る動画記録再生装置では、実施例1の動画記録再生装置に、カテゴリ判断部217と、実施例2で説明したカテゴリ決定部218を加えた構成とする。
【0090】
カテゴリ判断部217は、カテゴリ取得部214において、入力動画データのカテゴリを取得できなかった場合に、カテゴリ決定部218によりカテゴリを決定し、逆に、カテゴリ取得部214において、入力動画データのカテゴリを取得できた場合には、カテゴリ決定部218によるカテゴリの決定を行わないように、録画部212における動作を制御する。このときの動画記録再生装置の録画ブロック201における処理の流れは、図16に示す通りとなる。
【0091】
図16は、本発明の実施例3に係る動画記録再生装置の録画ブロック201における処理のフローチャートである。
【0092】
図16に示すとおり、本実施例3に係る動画記録再生装置の録画ブロック201では、カテゴリ取得部214において入力動画データのカテゴリを取得(ステップ601)した後、カテゴリ判断部217において当該入力動画データのカテゴリを取得できたか否かを判断することにより、カテゴリを生成すべきか否かを判断する(ステップ1601)。本ステップ1601において、カテゴリ判断部217において当該入力動画データのカテゴリを取得できた場合には、カテゴリを生成する必要は無いと判断し、動画データの取得(ステップ603)及び記録(ステップ604)を行って、カテゴリテーブルを作成(ステップ602)する。一方、上記ステップ1601において、カテゴリ判断部217において当該入力動画データのカテゴリを取得できなかった場合には、カテゴリを生成する必要があると判断し、動画データを取得しつつ、当該動画データを元にカテゴリ決定部218において、キーワードをカウントする(ステップ603)。そして、すべての動画データを取得し、キーワードのカウントが終了した時点で、キーワードの出現した回数に応じてカテゴリを決定し(ステップ601’)、動画データを記録(ステップ604)するとともに、決定したカテゴリを元にカテゴリテーブルを生成する(ステップ602)。
【0093】
これにより、本実施例3に係る動画記録再生装置では、電子番組ガイドのデータから録画対象の動画データのカテゴリを取得できなかった場合でも、カテゴリを決定でき、動画データのカテゴリに応じて、最適なハイライト再生を実施することが可能となる。
【産業上の利用可能性】
【0094】
本発明は、例えば動画データを録画再生可能なハードディスクレコーダやビデオテープレコーダ、あるいはパーソナルコンピュータ等に適用可能である。
【符号の説明】
【0095】
100・・・放送データ入力装置、101・・・中央処理装置、102・・・入力装置、103・・・表示装置、104・・・音声出力装置、105・・・記憶装置、106・・・二次記憶装置、107・・・バス、108・・・データ送受信装置、201・・・録画ブロック、202・・・特徴生成ブロック、203・・・ランキング生成ブロック、204・・・再生ブロック、211・・・録画動画データ入力部、212・・・録画部、213・・・記録部、214・・・カテゴリ取得部、215・・・カテゴリテーブル生成部、216・・・カテゴリデータ保持部、221・・・解析動画データ入力部、222・・・特徴生成部、223・・・特徴データ保持部、231・・・特徴データ入力部、232・・・カテゴリデータ入力部、233・・・ランキング生成部、234・・・ランキングデータ保持部、235・・・野球用ランキング生成部、236・・・サッカー用ランキング生成部、237・・・ドラマ用ランキング生成部、241・・・ランキングデータ入力部、242・・・再生動画データ入力部、243・・・再生シーン決定パラメタ入力部、244・・・再生シーン決定部、245・・・再生部、246・・・表示部、247・・・音声出力部
【技術分野】
【0001】
本発明は、動画データを記録及び再生する動画記録再生装置に関する。
【背景技術】
【0002】
近年、デジタルテレビ放送による動画データの多チャンネル放送化やネットワークの広帯域化により、多くの動画データを取得あるいは視聴可能となった。また、動画圧縮伸張技術の向上や、それを実現するハードウェア/ソフトウェアの低価格化、及び蓄積メディアの大容量化ならびにその低価格化により、多くの動画データの保存を手軽に行えるようになり、録画及び視聴可能な動画データが増加しつつある。しかしながら、多忙な人にとっては、それら全ての動画データを視聴する時間は無く、結果として視聴可能な動画データが氾濫するといった状況になってきている。そこで、動画データにおける重要なシーンだけを視聴することにより、短時間で内容を理解する仕組みや、本当に視聴したい動画データを探し出せるようにすることが重要となる。
【0003】
このような状況に鑑み、例えば特許文献1及び非特許文献1では、動画データにおける重要なシーンを表示可能な技術が紹介されている。特に、非特許文献1では、動画データからその特徴を生成し、その特徴に基づいて、重要なシーンの抽出及びランキング付けを行い、利用者から指定された割合で重要なシーンのみを再生する技術が紹介されている。これらの技術により、利用者が動画データの内容を短時間で把握することが可能なる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−153139号公報
【非特許文献】
【0005】
【非特許文献1】D.DeMenthon, V.Kobla, and D.Doermann, 天ideo Summarization by Curve Simplification ACM Multimedia 98, Bristol, England, pp.211-218, 1998
【発明の概要】
【発明が解決しようとする課題】
【0006】
以上のように、重要シーンのみの表示(以下の説明及び図面では、ハイライト再生と呼ぶ)により、動画データの内容を短時間で把握するための技術が提案されているが、動画データにおける重要なシーンの定義は、すべての動画データに対して一意ではなく、動画データのカテゴリによって変わる。例えば、動画データがドラマの場合には、長いシーンの重要度が上がり、スポーツの場合には音声のパワーが大きいシーンの重要度が上げるべきである。また、スポーツであっても、音声のパワーが大きくなった位置を含み再生すべきシーンの長さを変えることが望ましい。すなわち、動画データのカテゴリによって、重要シーンの抽出方法及びランキング方法を変える必要があり、このようにしないとすべての動画データに対して、適したハイライト再生を行うことが出来ない。
【0007】
本発明は、これらの課題を解決するものであり、動画データのカテゴリに応じて、最適なハイライト再生を実施することが可能な動画記録再生装置を提供する。
【課題を解決するための手段】
【0008】
上述の課題を解決すべく、本発明の動画記録再生装置は、少なくとも、動画データを入力する動画データ入力手段と、動画データを記憶する記憶手段と、動画データを前記記憶手段に記憶させる録画手段と、動画データの特徴を生成する特徴生成手段と、生成した特徴に基づいて動画データにおけるシーンごとに重要度に応じたランキングづけを行うランキング生成手段と、生成したランキングに基づいて再生シーンを決定する再生シーン決定手段と、決定した再生シーンを再生する再生手段と、再生画像を表示する表示手段と、動画データのカテゴリを取得するカテゴリ取得手段を有し、前記ランキング生成手段が、該取得したカテゴリに基づいて、入力した動画データにおけるシーンのランキング付けを行うように構成する。そして、カテゴリ取得手段によるカテゴリ取得方法を以下のいずれかとする。
【0009】
動画記録再生装置は、さらに放送データ入力手段を有し、前記カテゴリ取得手段は、放送データ入力手段によって放送データを受信し、該放送されているデータから電子番組ガイドを取得して、該電子番組ガイドのデータから動画データのカテゴリを取得する。特に、前記録画手段によって動画データの録画開始時に、該動画データのカテゴリを含む電子番組ガイドのデータが取得されていなかった場合に、前記録画開始をトリガとして、前記放送データ入力手段によって放送データを受信し、前記電子番組ガイドのデータを該放送データから取得する。
【0010】
動画記録再生装置は、さらにネットワークデータ送受信手段を有し、前記カテゴリ取得手段は、ネットワークデータ送受信手段によって、ネットワークを利用して、あらかじめ決められたサーバから前記電子番組ガイドを取得して、該電子番組ガイドのデータから、動画データのカテゴリを取得する。特に、前記録画手段によって動画データの録画開始時に、該動画データのカテゴリを含む電子番組ガイドのデータが取得されていなかった場合に、前記録画開始をトリガとして、前記ネットワークデータ送受信手段によって、ネットワークを利用して、あらかじめ決められたサーバから前記電子番組ガイドのデータを取得する。
【0011】
動画記録再生装置は、さらに利用者がカテゴリを入力するための入力手段を有し、前記カテゴリ取得手段は、該入力手段によって利用者から入力されたカテゴリを取得する。動画記録再生装置は、さらに前記動画データに含まれる音声を認識する音声認識手段を有し、前記カテゴリ取得手段は、該音声認識手段によって、動画データに含まれる音声を認識し、あらかじめ決められたキーワードの出現数をカウントして、該カウント結果を元に前記動画データのカテゴリを決定する。
【0012】
動画記録再生装置は、さらに前記動画データに含まれる字幕を取得する字幕データ取得手段を有し、前記カテゴリ取得手段は、該字幕データ取得手段によって、動画データに含まれる字幕の文字列を取得し、あらかじめ決められたキーワードの出現数をカウントして、該カウント結果を元に前記動画データのカテゴリを決定する。
【発明の効果】
【0013】
すべてのカテゴリの動画データに対して適切にハイライト再生を行うことが出来るので、氾濫しつつある視聴可能な動画データの内容を短時間で適切かつ効率よく把握可能となる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施例に係る動画記録再生装置のハードウェア構成の一例である。
【図2】本発明の実施例1に係る動画記録再生装置の機能ブロック図である。
【図3】本発明の実施例に係る動画記録再生装置のカテゴリ取得部において取得する電子番組ガイドのデータ構造の一例である。
【図4】本発明の実施例に係る動画記録再生装置のカテゴリテーブル生成部で生成するカテゴリテーブルのデータ構造の一例である。
【図5】本発明の実施例に係る動画記録再生装置のランキング生成部において生成するランキングデータのデータ構造の一例である。
【図6】本発明の実施例1に係る動画記録再生装置の録画ブロック201における処理のフローチャートである。
【図7】本発明の実施例に係る動画記録再生装置の特徴生成ブロック202における処理のフローチャートである。
【図8】本発明の実施例に係る動画記録再生装置のランキング生成ブロック203における処理のフローチャートである。
【図9】本発明の実施例に係る動画記録再生装置の再生ブロック204における処理のフローチャートである。
【図10】本発明の実施例に係る再生シーンの決定方法及びデータ処理の推移を説明する図である。
【図11】本発明の実施例に係る再生シーンの再生方法を説明するフローチャートである。
【図12】本発明の実施例に係る本動画記録再生装置における録画から再生までの流れを説明するフローチャートの一例である。
【図13】本発明の実施例2に係る動画記録再生装置の機能ブロック図である。
【図14】本発明の実施例2に係る動画記録再生装置の録画ブロック201における処理のフローチャートである。
【図15】本発明の実施例3に係る動画記録再生装置の機能ブロック図である。
【図16】本発明の実施例3に係る動画記録再生装置の録画ブロック201における処理のフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明にかかる実施例について、図面を参照して説明する。
【実施例1】
【0016】
図1は、本発明の実施例に係る動画記録再生装置のハードウェア構成の一例である。
【0017】
図1に示す通り、本実施例1に係る動画記録再生装置は、中央処理装置101と、入力装置102と、表示装置103と、音声出力装置104と、記憶装置105と、二次記憶装置106を有して構成される。また、ネットワークを介して動画データや電子番組ガイドを取得する場合には、さらに、データ送受信装置108を有して構成される。また、放送データを受信して動画データや電子番組ガイドを取得する場合には、さらに、放送データ入力装置100を有して構成される。そして、各装置は、バス107によって接続され、各装置間で、相互にデータの送受信が可能なように構成されている。
【0018】
中央処理装置101は、マイクロプロセッサを主体に構成されており、記憶装置105や二次記憶装置106に格納されているプログラムを実行する。
【0019】
入力装置102は、例えばリモコン、あるいはキーボードや、マウス等のポインティングデバイスによって実現され、本入力装置102を通して、本動画記録再生装置の利用者が動画の録画及び再生に関する動作設定を行う。また、本入力装置102を通して、利用者が動画データのカテゴリを指定できる。
【0020】
表示装置103は、例えばディスプレイアダプタと液晶パネルやプロジェクタ等によって実現され、本動画再生装置による動画データの再生画像等を表示する。
【0021】
音声出力装置104は、例えばスピーカによって実現され、動画データに含まれる音声を出力する。
【0022】
記憶装置105は、例えばランダムアクセスメモリ(RAM)やリードオンリーメモリ(ROM)等によって実現され、中央処理装置101によって実行されるプログラムや本動画記録再生装置において処理されるデータや動画データ等を格納する。
【0023】
二次記憶装置106は、例えばハードディスクやDVDあるいはCDとそれらのドライブ、あるいはフラッシュメモリ等の不揮発性メモリにより構成され、中央処理装置101によって実行されるプログラムや本動画記録再生装置において処理されるデータや動画データ等を格納する。
【0024】
放送データ入力装置100は、テレビのチューナ等によって実現され、テレビ等によって放送されている動画データを入力可能とする。また、放送データから電子番組ガイドを取得する場合には、当該電子番組ガイドのデータを取得可能とする。
【0025】
ネットワークデータ送受信装置108は、LANカード等のネットワークカードによって実現され、ネットワークでつながれている他の装置からの動画データや電子番組ガイドのデータの入力を可能とする。
【0026】
図2は、本発明の実施例1に係る動画記録再生装置の機能ブロック図である。これらの機能ブロックの一部あるいは全部は、図1で示したハードウェアに加えて、ハードウェアとして実現されてもよいが、中央処理装置101によって実行されるソフトウェアプログラムとして実現されてもよい。なお、以下では、一例として、これらの機能ブロックの全てが中央処理装置101によって実行されるソフトウェアプログラムであるものとして説明する。
【0027】
図2に示す通り、本実施例1に係る動画記録再生装置は、録画ブロック201と、特徴生成ブロック202と、ランキング生成ブロック203と、再生ブロック204から構成される。
【0028】
録画ブロック201は、外部から入力した動画データを録画するブロックであり、録画動画データ入力部211と、録画部212と、記録部213と、カテゴリ取得部214と、カテゴリテーブル生成部215と、カテゴリデータ保持部216を有して構成される。
【0029】
録画動画データ入力部211は、録画部212により起動され、放送データ入力装置100あるいはネットワークデータ送受信装置108から録画対象の動画データを入力する。なお、放送データ入力装置100から動画データを入力する場合には、後述する録画部212の指示に従い、指定されたチャンネルから放送されている動画データを取得し、デジタルデータに変換して記憶装置105に格納する。一方、ネットワークデータ送受信装置108から動画データを入力する場合には、後述する録画部212の指示に従い、指定された装置からネットワーク経由で動画データを取得して記憶装置105に格納する。このとき、動画データを取得する方法としては、既に知られるHTTPあるいはFTP等を使用すればよい。
【0030】
録画部212は、利用者から入力装置102を介して録画の開始が指示された場合に起動し、録画動画データ入力部211を介して放送データ入力装置100あるいはネットワークデータ送受信装置108から動画データを入力して、後述する記録部213により二次記憶装置106に記憶する。このとき、放送データ入力装置100から動画データを入力する場合には、あらかじめ設定されているチャンネルあるいは利用者から指定されたチャンネルを、録画動画データ入力部211を介して放送データ入力装置100に設定し、当該チャンネルの動画データを入力して、記録部213により二次記憶装置106に記憶する。このとき、入力した動画データをMPEG等の方式により圧縮して二次記憶装置106に記憶してもよい。一方、ネットワークデータ送受信装置108から動画データを入力する場合には、あらかじめ設定されているURIあるいは利用者から指定されたURIを、録画動画データ入力部211を介してネットワークデータ送受信装置108に設定し、当該URIの動画データを入力して、記録部213により二次記憶装置106に記憶する。また、入力動画データのカテゴリ(ドラマ、野球、サッカー等の種別)を後述するカテゴリ取得部214により取得し、カテゴリテーブル生成部215によって、二次記憶装置106に記録した録画動画データと対応付けるカテゴリテーブルを生成し、生成したカテゴリテーブルをカテゴリデータ保持部216で保持する。
【0031】
記録部213は、録画部212からの指示により、録画動画データ入力部211からの入力動画データを二次記憶装置106に記憶する。このとき、録画動画データには固有のファイル名を付ける。
【0032】
カテゴリ取得部214は、録画部212からの指示により、録画動画データ入力部211からの入力動画データのカテゴリを取得する。これは、例えば、既に当該動画データに関する情報を含む電子番組ガイドのデータが取得済みの場合には、この電子番組ガイドのデータから当該動画データのカテゴリを取得し、当該電子番組ガイドのデータが取得済みではないばあいには、新たに当該動画データに関する情報を含む電子番組ガイドのデータを取得した上で、この電子番組ガイドのデータから当該動画データのカテゴリを取得する。なお、電子番組ガイドのデータは、放送データ入力装置100あるいはネットワークデータ送受信装置108により、放送データに含まれる電子番組ガイドのデータあるいはネットワーク経由で他のサーバによって提供されている電子番組ガイドのデータを取得して、記憶装置105あるいは二次記憶装置106に記憶されるように構成すればよい。なお、電子番組ガイドのデータの構成については後述する。具体的には、動画データを放送データ入力装置100から入力する場合には、録画を開始した時刻とチャンネルの情報から、当該時刻とチャンネルに対応する電子番組ガイドのデータが記憶装置105あるいは二次記憶装置106に記憶されているか否かを判断し、既に記憶されている場合には、当該電子番組ガイドのデータから録画を開始した時刻とチャンネルの情報をキーにして対応するカテゴリを取得すればよい。
【0033】
一方で、まだ記憶されていない場合には、放送データ入力装置100を介して、あらかじめ決められたチャンネルで放送されている電子番組ガイドのデータを取得するか、ネットワークデータ送受信装置108を介して所定のURIから電子番組ガイドのデータを取得した上で、当該電子番組ガイドのデータから録画を開始した時刻とチャンネルの情報をキーにして対応するカテゴリを取得すればよい。これらは、すなわち、入力動画データに関する情報を含む電子番組ガイドのデータが未取得である場合には、録画開始をトリガとして電子番組ガイドのデータを取得することを意味する。あるいは、本カテゴリ取得部214は、利用者から指定されたカテゴリを入力動画データのカテゴリとしてもよい。また、動画データを、ネットワークデータ送受信装置108を介してネットワークで取得する場合にも、これが放送されているデータの場合には、上述の通り電子番組ガイドのデータや利用者から指定されたカテゴリを入力動画データのカテゴリとしてもよいし、当該動画データのカテゴリが所定のURIあるいは動画データのURIに含まれる場合には、これらのデータを取得してカテゴリとしてもよい。
【0034】
カテゴリテーブル生成部215は、録画部212によって起動され、記録部213により二次記憶装置106に記憶した動画データ、すなわち録画した動画データとそのカテゴリ、すなわちカテゴリ取得部214で取得した入力動画データのカテゴリを関連付けて、後で例示するカテゴリテーブルを生成し、カテゴリデータ保存部216を介して記憶装置105あるいは二次記憶装置106に記憶する。なお、本カテゴリテーブル生成部215及びカテゴリテーブルは、録画終了後いつでもその録画動画データのカテゴリを参照可能とするためのものであり、録画と同時に、あるいは録画終了後に継続して、録画中のあるいは録画した動画データの特徴データ及びランキングを生成する等、録画動画データとそのカテゴリが対応付けられる場合には、カテゴリ取得部214で取得したカテゴリを直接後述するカテゴリデータ保持部216で保持するように構成してもよく、この場合には、必ずしも本カテゴリテーブル生成部215及びカテゴリテーブルは必要ない。また、カテゴリテーブル生成部215は、録画動画データのファイル名とカテゴリデータを格納したファイ名を同一にするなどの方法で録画動画データとそのカテゴリを関連付けてもよい。この場合には、必ずしもカテゴリテーブルは必要ない。
【0035】
カテゴリデータ保持部216は、録画部212からの指示により、カテゴリテーブル生成部215で生成したカテゴリテーブルを記憶装置105あるいは二次記憶装置106に記憶する。なお、上述の通り、録画と同時に、あるいは録画終了後に継続して、録画中のあるいは録画した動画データの特徴データ及びランキングを生成する等、録画動画データとそのカテゴリが対応付けられる場合には、本カテゴリデータ保持部216は、カテゴリ取得部214で取得したカテゴリをそのまま記憶装置105あるいは二次記憶装置106に記憶するように構成してもよい。また、カテゴリテーブル生成部215において、録画動画データのファイル名とカテゴリデータを格納したファイ名を同一にするなどの方法で録画動画データとそのカテゴリを関連付ける場合には、本カテゴリデータ保持部216は、録画動画データのファイル名と同じファイル名でその動画データのカテゴリデータ、すなわち、カテゴリ取得部214で取得したカテゴリのデータを記憶装置105あるいは二次記憶装置106に記憶するように構成してもよい。
【0036】
続いて、特徴データ生成ブロック202について説明する。特徴データ生成ブロック202は、入力動画データあるいは再生対象の動画データの特徴を生成するブロックであり、解析動画データ入力部221と、特徴生成部222と、特徴データ保持部223を有して構成される。
【0037】
解析動画データ入力部221は、ハイライト再生対象の動画データを記憶装置105あるいは二次記憶装置106から入力する。このとき、動画データのファイル名を取得する。なお、本解析動画データ入力部221は、録画開始後、録画終了後、あるいは利用者によって特徴データ及びランキングデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、特徴データ及びランキングデータが作成されていない動画データを発見した場合に起動される。また、本解析動画データ入力部221は、録画が開始された場合に起動されてもよく、この場合には録画部212で入力あるいは録画中の動画データを入力するように構成してもよい。この場合には、録画中の動画データのファイル名を取得する。
【0038】
特徴生成部222は、解析動画データ入力部221において入力した動画データの特徴を生成する。これは、例えば、動画データにおける音声データ及び画像データのそれぞれのフレームについて、音声のパワー及び画像の動き等を生成することによって実現できる。なお、本特徴生成部222は、解析動画データ入力部221が実行された場合に、動画データが入力されるたびに実行される。
【0039】
特徴データ保持部223は、特徴生成部222において生成した特徴データを保持する。これは、例えば特徴生成部222において生成した特徴データを記憶装置105あるいは二次記憶装置106に格納することによって実現できる。このとき、保持する特徴データには、解析動画データ入力部221で取得した録画動画データのファイル名と同じファイル名を付ける。なお、本特徴データ保持部223は、特徴生成部222が実行された場合に、特徴データが生成されるたびに、あるいは1フレーム分の特徴データが生成されるごとに実行されるように構成すればよい。
【0040】
続いて、ランキング生成ブロック203について説明する。ランキング生成ブロック203は、入力動画データあるいは再生対象の動画データにおけるシーンごとに重要度に応じたランキングづけを行うブロックであり、特徴データ入力部231と、カテゴリデータ入力部232と、ランキング生成部233と、ランキングデータ保持部234と、動画データのカテゴリごとのランキング生成部235乃至237を有して構成される。
【0041】
特徴データ入力部231は、特徴データ保持部223において保持された特徴データを入力する。これは、例えば記憶装置105あるいは二次記憶装置106に格納されている特徴データを読み出すことによって実現できる。このとき、特徴データのファイル名を取得する。なお、本特徴データ入力部231は、後述するランキング生成部233が実行された場合に実行されればよい。
【0042】
カテゴリデータ入力部232は、ランキング生成対象の録画動画データのカテゴリデータを取得する。本例の場合、前述の通り録画動画データのファイル名とその特徴データのファイル名は同一にしているため、録画動画データに対するカテゴリデータの取得は、後述の通り、カテゴリデータ保持部216において記憶装置105あるいは二次記憶装置106に保持されたカテゴリテーブルから、特徴データ入力部231で取得した特徴データのファイル名をキーにして、対応するカテゴリデータを取得することによって実現できる。なお、本カテゴリデータ入力部232は、後述するランキング生成部233が実行された場合に実行されればよい。
【0043】
235乃至237は、動画データのカテゴリに応じたランキングデータの生成部であり、特に、一例として、235、236、及び237は、動画データのカテゴリが、それぞれ、相撲、サッカー、及びドラマの場合のランキングデータ生成部を示している。これらのカテゴリに応じたランキング生成部は、後述するランキング生成部233によって、動画データのカテゴリに応じて起動され、特徴データ入力部231で入力した特徴データに基づいて、動画データにおける重要シーンの抽出及び各シーンのランキング付けを行う。なお、それぞれのカテゴリに応じたランキング生成は、例えば、動画データのカテゴリが相撲の場合には、取り組みの字幕が現れた時点からあらかじめ決められた数のシーンの重要度を上げるとともに、音声のパワーが強くなったシーンの重要度を上げ、サッカーの場合には、音声パワーの強くなったシーンの前後数シーンの重要度を上げる、あるいはドラマの場合には、非特許文献1で記載されている方法を用いる等、カテゴリに最適なアルゴリズムを用いるとよい。
【0044】
ランキング生成部233は、カテゴリデータ入力部232で入力した、動画データのカテゴリに応じて、各カテゴリに対応したランキング生成部を起動して、動画データのカテゴリに最適な重要シーンの抽出及び各シーンのランキング付けを行う。なお、本ランキング生成部233は、録画開始後、録画終了後、特徴データ生成終了後、利用者によってランキングデータの作成が指示された場合、再生開始時、あるいは図示しないスケジューラによってランキングデータが作成されていない動画データを発見した場合に起動されるように構成すればよい。
【0045】
ランキングデータ保持部234は、ランキング生成部233において生成したランキングデータを保持する。これは、例えばランキング生成部233において生成したランキングデータを記憶装置105あるいは二次記憶装置106に格納することによって実現できる。なお、本ランキングデータ保持部234は、ランキング生成部233が実行された場合に、ランキングデータが生成されるたびに実行されるように構成すればよい。
【0046】
続いて、再生ブロック204について説明する。再生ブロック204は、再生対象の動画データのハイライト再生を行うブロックであり、ランキングデータ入力部241と、再生動画データ入力部242と、再生シーン決定パラメタ入力部243と、再生シーン決定部244と、再生部245と、表示部246と、音声出力部247を有して構成される。
【0047】
ランキングデータ入力部241は、ランキングデータ保持部234において保持されたランキングデータを入力する。これは、例えば記憶装置105あるいは二次記憶装置106に格納されているランキングデータを読み出すことによって実現できる。なお、本ランキングデータ入力部241は、後述する再生シーン決定部244が実行された場合に起動されるように構成すればよい。
【0048】
再生シーン決定パラメタ入力部243は、利用者から入力装置102を介して、ハイライト再生における再生シーンを決定する際のパラメタを入力する。なお、本パラメタとしては、例えば動画データにおけるハイライト再生での視聴時間等がある。本再生シーン決定パラメタ入力部205は、後述する再生部206においてハイライト再生が実行された時点で実行される。
【0049】
再生シーン決定部244は、再生シーン決定パラメタ入力部243で入力したパラメタ及び、ランキングデータ入力部241で入力したランキングデータを元にハイライト再生における再生シーンを決定する。なお、本再生シーンの決定方法については後述する。本再生シーン決定部244は、再生シーン決定パラメタ入力部243でハイライト再生における再生シーンを決定する際のパラメタが入力された後に実行される。
【0050】
再生動画データ入力部242は、再生対象の動画データを二次記憶装置106から入力する。なお、本再生動画データ入力部242は、後述する再生部245によって再生対象の動画データを取得する際に起動される。
【0051】
再生部245は、再生シーン決定部244で決定した再生シーンの動画データを再生動画データ入力部242により入力して、再生画像を生成して後述する表示部246に表示する。本再生部245は、利用者によって、ハイライト再生が指示された場合に実行される。
【0052】
表示部246は、再生部245において生成された再生画像を表示装置103に表示する。本表示部246は、再生部245が生成した再生画像を1フレームごとに表示装置103に表示する。この場合、本表示部246は、再生部245によって1フレーム分の再生画像が生成されるごとに起動されるように構成すればよい。
【0053】
音声出力部247は、再生部245において生成された再生音声を音声出力装置104に出力する。本音声出力部247は、再生部245が生成した再生音声を1フレームごとに音声出力装置104に出力することによって実現可能である。この場合、本音声出力部247は、再生部245によって1フレーム分の再生音声が生成されるごとに起動されるように構成すればよい。
【0054】
次に、カテゴリ取得部214において取得する電子番組ガイドのデータについて説明する。
【0055】
図3は、本発明の実施例に係る動画記録再生装置のカテゴリ取得部214において取得する電子番組ガイドのデータ構造の一例である。
【0056】
図3において、306乃至309は、放送される番組すなわち動画データであり、それぞれの動画データに対して、少なくとも、その動画データが放送される日にち300と、チャンネル301と、放送開始時刻302と、放送終了時刻あるいは放送時間303と、タイトルと304と、カテゴリ305を含んでいる。したがって、カテゴリ取得部214は、録画を開始した日にちと時刻とチャンネルの情報から、当該動画データに対応する電子番組ガイドのデータが存在するか否かを判断可能となる。また、当該電子番組ガイドのデータから録画を開始した日にちと時刻とチャンネルの情報をキーにして対応するカテゴリを取得することにより、録画対象としている動画データのカテゴリを取得可能となる。なお、本電子番組ガイドのデータにおけるデータ構造は一例であり、例えば、放送される日にちごとに別のファイルとなっていてもよいし、また、放送されるチャンネルごとに別のファイルとなっていてもよく、このような場合にも、日にちと時刻とチャンネルの情報をキーにして、動画データに対応する電子番組ガイドのデータの存在確認及びカテゴリの取得が可能である。
【0057】
次に、カテゴリテーブル生成部215において生成するカテゴリテーブルのデータ構造について説明する。
【0058】
図4は、本発明の実施例に係る動画記録再生装置のカテゴリテーブル生成部215で生成するカテゴリテーブルのデータ構造の一例である。
【0059】
図4において、403乃至406は、録画した動画データであり、それぞれの動画データに対して、少なくとも、録画した動画データのファイル名401と、そのカテゴリ402を含んでいる。したがって、カテゴリデータ入力部232において、録画動画データのファイル名をキーにして、対応するカテゴリデータを取得することによって、録画されている動画データのカテゴリを取得可能となる。なお、本実施例に係る動画記録再生装置では、特徴データ保持部223において、特徴データ生成部222で生成した特徴データのファイル名とその録画動画データのファイル名を同一にしている。そして、特徴データ入力部231では、特徴データとそのファイル名を取得し、ランキング生成部233がこれらを取得する。このため、ランキング生成部233がカテゴリデータ入力部232に特徴データのファイル名を通知することで、カテゴリデータ入力部232は、特徴データのファイル名を元にして、録画されている動画データのカテゴリを取得可能となる。
【0060】
次に、ランキング生成部233において生成するランキングデータのデータ構造について説明する。
【0061】
図5は、本発明の実施例に係る動画記録再生装置のランキング生成部233において生成するランキングデータのデータ構造の一例である。
【0062】
図5において、504乃至508は動画データにおけるシーンであり、501は各シーンにおける重要度すなわちランクである。なお、ここでは、便宜的に数値が小さいほどランクが高いものとしている。502及び503はそれぞれ各シーンの開始位置及び終了位置であり、ここでは便宜的に各シーンの開始時刻(秒)と終了時刻(秒)としている。ランキング生成部223は、動画データのカテゴリに応じたランキング生成部において、動画データにおけるシーンの抽出及びランキング付けを行い、各シーンの開始位置の時刻及び終了位置の時刻を取得して、本データ構造を生成すればよい。なお、各シーンの開始位置の時刻及び終了位置の時刻は、例えば動画データがMPEGストリームであれば、フレームに対応するタイムスタンプを取得することによって取得可能である。本ランキングデータにより、再生シーン決定部244は、各シーンのランクと再生時間を参照し、再生すべきシーンを決定可能となる。
【0063】
次に、各機能ブロックの処理フローを説明する。
【0064】
図6は、本発明の実施例1に係る動画記録再生装置の録画ブロック201における処理のフローチャートである。
【0065】
本録画ブロック201は、利用者から入力装置102を介して録画の開始が指示された場合に、録画部212の指示により動作する。本録画ブロック201は、図6に示すとおり、まず、カテゴリ取得部214が入力動画データのカテゴリを取得する(ステップ601)。次に、カテゴリテーブル生成部215が、録画する入力動画データとそのカテゴリ、すなわちステップ601においてカテゴリ取得部214で取得したカテゴリを関連付けて、カテゴリテーブルを生成して(ステップ602)、カテゴリデータ保持部216でこのカテゴリテーブルを保持する。続いて、録画動画データ入力部211により録画対象の動画データを入力し(ステップ603)、記録部213により、入力した録画対象の動画データを二次記憶装置106に記録する(ステップ604)。このとき、録画動画データには固有のファイル名を付ける。なお、入力した動画データは、MPEG等の方式により圧縮されて二次記憶装置106に記憶されてもよい。
【0066】
図7は、本発明の実施例に係る動画記録再生装置の特徴生成ブロック202における処理のフローチャートである。
【0067】
本特徴生成ブロック202は、録画開始後、録画終了後、あるいは利用者によって特徴データ及びランキングデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、特徴データ及びランキングデータが作成されていない動画データを発見した場合に起動される。本特徴生成ブロック202は、図7に示すとおり、まず、解析動画データ入力部221において、録画済あるいは録画中の動画データを取得する(ステップ701)。このとき、動画データのファイル名を取得する。続いて、特徴生成部222において、ステップ701で入力した動画データの特徴を生成し(ステップ702)、生成した特徴データが特徴データ保持部223において保持される。
【0068】
図8は、本発明の実施例に係る動画記録再生装置のランキング生成ブロック203における処理のフローチャートである。
【0069】
本ランキング生成ブロック203は、ランキング生成部233の指示により、録画開始後、録画終了後、特徴データ生成終了後、利用者によってランキングデータの作成が指示された場合、再生開始時、あるいは図示しないスケジューラによってランキングデータが作成されていない動画データを発見した場合に起動される。本ランキング生成ブロック203は、図8に示すとおり、まず、特徴データ入力部231により特徴データを入力する(ステップ801)。このとき、特徴データのファイル名を取得する。続いて、カテゴリデータ入力部232により、ランキング生成対象の録画動画データのカテゴリデータを取得する(ステップ802)。なお、本例の場合、前述の通り録画動画データのファイル名とその特徴データのファイル名は同一にしているため、録画動画データに対するカテゴリデータの取得は、ステップ801で取得した特徴データのファイル名をキーにして、対応するカテゴリデータを取得ことによって、ランキング生成対象の録画動画データのカテゴリデータを取得可能である。続いて、カテゴリに応じたランキングの生成部を起動して、動画データにおける重要シーンの抽出及び各シーンのランキング付けを行い(ステップ803)、生成したランキングデータがランキングデータ保持部234において保持される。
【0070】
図9は、本発明の実施例に係る動画記録再生装置の再生ブロック204における処理のフローチャートである。
【0071】
本再生ブロック204は、再生部245の指示により、利用者によって、ハイライト再生が指示された場合に実行される。本再生ブロック204は、図9に示すとおり、まず、ランキングデータ入力部241により、ランキングデータを入力し(ステップ901)、再生シーン決定パラメタ入力部243により、ハイライト再生における再生シーンを決定する際のパラメタを入力する(ステップ902)。なお、本パラメタとしては、例えば動画データにおけるハイライト再生での視聴時間等がある。さて、再生ブロック204は、続いて、再生シーン決定部244により、再生シーン決定パラメタ入力部243で入力したパラメタ及び、ランキングデータ入力部241で入力したランキングデータを元にハイライト再生における再生シーンを決定する(ステップ903)。なお、本再生シーンの決定方法については後述する。続いて、再生ブロック204は、再生動画データ入力部242により、各再生シーンの動画データを取得して(ステップ904)、これらのシーンの再生画像を表示部246により表示装置103に表示するとともに、再生音声を音声出力部247により音声出力装置104から出力することにより、各再生シーンを再生する(ステップ905)。なお、各シーンの再生方法については後述する。
【0072】
次に、再生シーン決定部244における再生シーンの決定方法について説明する。
【0073】
再生シーンを決定するために、再生シーン決定部244は、まず、動画データにおいて、現在再生している位置を取得する。これは、現在動画データを再生中の場合には、現在再生している動画データにおけるフレームの時刻を取得することによって実現できる。あるいはこれから動画データを再生しようとしている場合には、動画データにおける最初のフレームの時刻を取得することによって実現できる。なお、動画データにおけるフレームの時刻は、例えば動画データがMPEGストリームであれば、該当フレームに対応するタイムスタンプを取得することによって実現できる。次に、再生シーン決定部244は、再生シーン決定パラメタ入力部243で取得したパラメタと、ランキング生成部233で生成したランキングデータと、先に取得した現在の再生位置から再生シーンを決定する。具体的には、例えば、再生シーン決定パラメタ入力部243で取得するパラメタが視聴時間である場合には、まず、図10(a)に示すとおり、ランキング生成部233で生成したランキングデータに対して、終了位置が現在再生の位置よりも小さいシーンを削除する。なお、図10(a)では、図5で例示したランキングデータに対して、現在の再生位置が50秒であった場合の例を示している。次に、図10(b)に示すとおり、ランクの高いシーン順に各シーンの時間を積算し、再生シーン決定パラメタ入力部243で取得した視聴時間を越えない範囲で再生シーンを列挙する。すなわち、各再生シーンの時間の合計が再生シーン決定パラメタ入力部243で取得した視聴時間を越えないようにランクの高いシーン順に再生シーンを選択していく。
【0074】
なお、図10(b)では、再生シーン決定パラメタ入力部243で取得した視聴時間が150秒であった場合の例を示しており、ランク1のシーン1004(時間5秒)と、ランク2のシーン1005(時間10秒)と、ランク4のシーン1007(時間110秒)の合計3シーン(積算時間125秒)が再生シーンとして選択されたことを示している。このとき、オプションとしてランク5のシーン1008に関しても残りの25秒分にシーンをカットして再生シーンとして選択してもよい。この場合、シーンの初めから25秒分を選択してもよいし、シーンの中心を含み25秒分を選択してもよい。さらに、現在の再生位置がシーンの途中であった場合には、そのシーンの時間を現在の再生位置から終了位置までに補正するとよい。これは、例えば図10の例において、現在の再生位置が105秒であった場合には、ランク2のシーン1005の開始位置が105秒であり、終了位置が110秒として計算すればよい。さて、再生シーン決定部244は、最後に、図10(c)に示すとおり、決定した再生シーンを再生時刻順に並べ替えて、並べ替えられた各再生シーンを最終的な再生シーンとして決定する。
【0075】
次に、再生シーンの再生方法について説明する。
【0076】
図11は、本発明の実施例に係る再生シーンの再生方法を説明するフローチャートである。
【0077】
図11に示すとおり、再生シーンを再生する場合には、まず、動画データにおける現在の再生位置を取得し(ステップ1101)、この現在の再生位置を元に、次の再生シーンの開始位置及び終了位置を取得する(ステップ1102)。これは、再生シーン決定部244で決定した再生シーンのうち、現在の再生位置よりも後で、かつ現在の再生位置に最も近い再生シーンの開始位置及び終了位置を取得することによって実現できる。次に、ステップ1102で取得した次の再生シーンの開始位置へジャンプし(ステップ1103)、当該再生シーンの再生を行う(ステップ1104)。これは、再生シーンにおける再生画像を表示部246を介して表示装置103への表示すること、及び再生シーンにおける再生音声を音声出力部部247を介して音声出力装置104への出力することにより実施される。なお、同再生シーンの再生中、定期的に再生が終了したか否かを判断し(ステップ1105)、再生が終了した場合には動画データの再生を終了する。ここで、再生シーン決定部244で決定した再生シーンをすべて再生し終わった場合あるいは利用者から再生の終了が指示された場合に再生の終了と判断し、それ以外は再生シーンの再生を継続する。さらに、同再生シーンの再生中、定期的に現在の再生位置を取得し(ステップ1106)、当該再生シーンの終了位置に到達したか否かを判断する(ステップ1107)。これは、ステップ1102で取得した再生シーンの終了位置とステップ1106で取得した現在の再生位置とを比較することで判断できる。さて、本ステップ1107における判断の結果、当該再生シーンの終了位置に到達していないと判断した場合には、ステップ1104乃至ステップ1107を繰り返し、当該再生シーンの再生を継続する。一方、ステップ1107における判断の結果、当該再生シーンの終了位置に到達したと判断した場合には、ステップ1101乃至ステップ1107を繰り返すことにより、再生シーン決定部244で決定した再生シーンを順次再生し、再生シーン決定部244で決定したすべての再生シーンを再生し終わると、ステップ1105でそれを認識し、再生を終了する。これにより、各再生シーンにジャンプしつつ再生シーン決定部244で決定した再生シーンのみを順次再生可能となる。
【0078】
最後に、本動画記録再生装置における録画から再生までの全体の流れについて説明する。
【0079】
図12は、本発明の実施例に係る本動画記録再生装置における録画から再生までの流れを説明するフローチャートの一例である。
【0080】
図12に示すとおり、本動画記録再生装置は、利用者から録画が指示されると、録画ブロック201により入力動画データの録画及びそのカテゴリを取得し(ステップ1201)、特徴生成ブロック202により当該入力動画データの特徴データを生成する(ステップ1202)。そして、ランキング生成部ブロック203において、録画ブロック201で取得した入力動画データすなわち録画動画データのカテゴリ取得し、そのカテゴリに応じて、当該動画データにおけるシーンのランキングを行う(ステップ1203)。なお、上記ステップ1201乃至ステップ1203は、それぞれが終了してから順次行われるようにしてもよいし、例えば動画データにおける1フレームごとに順次行われるようにしてもよい。そして、利用者からハイライト再生が指定されると、再生ブロック204において、ステップ1203で作成したランキングデータを元に再生シーンを決定して、この再生シーンのみを再生することにより、ハイライト再生を実現する(ステップ1204)。
【0081】
以上説明した本実施例1に係る動画記録再生装置では、電子番組ガイドのデータを取得してカテゴリを判別するとともに、カテゴリに応じて再生シーンを決定できるので、動画データのカテゴリに応じて、最適なハイライト再生を実施することが可能となる。または、利用者から指定されたカテゴリに基づいて、最適なハイライト再生を実施することが可能となる。
【実施例2】
【0082】
図13は、本発明の実施例2に係る動画記録再生装置の機能ブロック図である。
【0083】
図13に示すとおり、本実施例2に係る動画記録再生装置では、実施例1の動画記録再生装置におけるカテゴリ取得部214の代わりにカテゴリ決定部218を有した構成とする。
【0084】
カテゴリ決定部218は、図示しない音声認識エンジンを備え、入力動画データにおける音声を認識し、あらかじめ登録されているキーワードのうち、出現したキーワードを列挙するとともに、それらをカウントして、キーワードの出現した回数に応じてカテゴリを決定する。例えば、キーワードとして、ストライク、シュート等を登録しておき、ストライクというキーワードをより多く認識及びカウントした場合にはカテゴリを野球と判断し、同様にシュートというキーワードをより多く認識及びカウントした場合にはカテゴリをサッカーと判断する。そして、登録されているキーワードが現れなかった場合には、その他のカテゴリとすることが出来る。また、カテゴリ決定部218は、図示しない字幕取得部を備えるようにしてもよい。この場合、字幕取得部は動画データとともに送られてくる字幕情報を取得し、カテゴリ決定部218は、上記音声認識エンジンを使用した場合と同様に、あらかじめ登録されているキーワードのうち、出現したキーワードを列挙するとともに、それらをカウントして、キーワードの出現した回数に応じてカテゴリを決定する。さらに、カテゴリ決定部218は、図示しない字幕画像認識エンジンを備えるようにしてもよい。この場合、字幕画像認識エンジンは動画データにおける画像上にオーバーレイされている字幕画像を取得するとともに文字認識し、カテゴリ決定部218は、上記音声認識エンジンを使用した場合と同様に、あらかじめ登録されているキーワードのうち、出現したキーワードを列挙するとともに、それらをカウントして、キーワードの出現した回数に応じてカテゴリを決定する。なお、上記音声認識エンジン、字幕取得部、及び字幕画像認識エンジンは、公知の技術を適用可能である。
【0085】
図14は、本発明の実施例2に係る動画記録再生装置の録画ブロック201における処理のフローチャートである。
【0086】
図14に示すとおり、本実施例2に係る動画記録再生装置の録画ブロック201における処理の流れは、実施例1に係る動画記録再生装置の録画ブロック201における処理の流れと異なり、動画データを取得しつつ、当該動画データを元にカテゴリ決定部218において、キーワードをカウントする(ステップ603)。そして、すべての動画データを取得し、キーワードのカウントが終了した時点で、キーワードの出現した回数に応じてカテゴリを決定し(ステップ601’)、動画データを記録(ステップ604)するとともに、決定したカテゴリを元にカテゴリテーブルを生成する(ステップ602)。
【0087】
これにより、本実施例2に係る動画記録再生装置では、電子番組ガイドのデータを取得せずに、カテゴリを決定でき、動画データのカテゴリに応じて、最適なハイライト再生を実施することが可能となる。
【実施例3】
【0088】
図15は、本発明の実施例3に係る動画記録再生装置の機能ブロック図である。
【0089】
図15に示すとおり、本実施例3に係る動画記録再生装置では、実施例1の動画記録再生装置に、カテゴリ判断部217と、実施例2で説明したカテゴリ決定部218を加えた構成とする。
【0090】
カテゴリ判断部217は、カテゴリ取得部214において、入力動画データのカテゴリを取得できなかった場合に、カテゴリ決定部218によりカテゴリを決定し、逆に、カテゴリ取得部214において、入力動画データのカテゴリを取得できた場合には、カテゴリ決定部218によるカテゴリの決定を行わないように、録画部212における動作を制御する。このときの動画記録再生装置の録画ブロック201における処理の流れは、図16に示す通りとなる。
【0091】
図16は、本発明の実施例3に係る動画記録再生装置の録画ブロック201における処理のフローチャートである。
【0092】
図16に示すとおり、本実施例3に係る動画記録再生装置の録画ブロック201では、カテゴリ取得部214において入力動画データのカテゴリを取得(ステップ601)した後、カテゴリ判断部217において当該入力動画データのカテゴリを取得できたか否かを判断することにより、カテゴリを生成すべきか否かを判断する(ステップ1601)。本ステップ1601において、カテゴリ判断部217において当該入力動画データのカテゴリを取得できた場合には、カテゴリを生成する必要は無いと判断し、動画データの取得(ステップ603)及び記録(ステップ604)を行って、カテゴリテーブルを作成(ステップ602)する。一方、上記ステップ1601において、カテゴリ判断部217において当該入力動画データのカテゴリを取得できなかった場合には、カテゴリを生成する必要があると判断し、動画データを取得しつつ、当該動画データを元にカテゴリ決定部218において、キーワードをカウントする(ステップ603)。そして、すべての動画データを取得し、キーワードのカウントが終了した時点で、キーワードの出現した回数に応じてカテゴリを決定し(ステップ601’)、動画データを記録(ステップ604)するとともに、決定したカテゴリを元にカテゴリテーブルを生成する(ステップ602)。
【0093】
これにより、本実施例3に係る動画記録再生装置では、電子番組ガイドのデータから録画対象の動画データのカテゴリを取得できなかった場合でも、カテゴリを決定でき、動画データのカテゴリに応じて、最適なハイライト再生を実施することが可能となる。
【産業上の利用可能性】
【0094】
本発明は、例えば動画データを録画再生可能なハードディスクレコーダやビデオテープレコーダ、あるいはパーソナルコンピュータ等に適用可能である。
【符号の説明】
【0095】
100・・・放送データ入力装置、101・・・中央処理装置、102・・・入力装置、103・・・表示装置、104・・・音声出力装置、105・・・記憶装置、106・・・二次記憶装置、107・・・バス、108・・・データ送受信装置、201・・・録画ブロック、202・・・特徴生成ブロック、203・・・ランキング生成ブロック、204・・・再生ブロック、211・・・録画動画データ入力部、212・・・録画部、213・・・記録部、214・・・カテゴリ取得部、215・・・カテゴリテーブル生成部、216・・・カテゴリデータ保持部、221・・・解析動画データ入力部、222・・・特徴生成部、223・・・特徴データ保持部、231・・・特徴データ入力部、232・・・カテゴリデータ入力部、233・・・ランキング生成部、234・・・ランキングデータ保持部、235・・・野球用ランキング生成部、236・・・サッカー用ランキング生成部、237・・・ドラマ用ランキング生成部、241・・・ランキングデータ入力部、242・・・再生動画データ入力部、243・・・再生シーン決定パラメタ入力部、244・・・再生シーン決定部、245・・・再生部、246・・・表示部、247・・・音声出力部
【特許請求の範囲】
【請求項1】
動画データを記憶する記憶手段と、
前記記憶手段に記憶された動画データを構成するフレームごとに映像あるいは音声の特徴を保持する特徴データ保持部と、
前記記憶手段に記憶される動画データのカテゴリを取得するカテゴリ取得手段と、
前記カテゴリ取得手段により取得したカテゴリに対応するアルゴリズムにより、前記特徴データ保持部に保持された動画データの特徴データに基づいて、動画データのハイライト再生の候補となる候補シーンを抽出し、抽出した候補シーンに対して前記候補シーンの重要度を示すランキング付けを行うランキング生成部と、
前記ランキング生成部で生成した動画データの候補シーン及び前記候補シーンのランキングを保持するランキング保持部と、
外部から再生条件の指定を含む動画データのハイライト再生指示を受け、前記再生条件の指定と前記ランキング保持部に保持されている動画データの候補シーン及び前記ランキングとからハイライト再生するシーンを決定する再生シーン決定手段とを有し、
前記再生手段は、前記再生シーン決定手段で決定されたシーンを、ハイライト再生することを特徴とする動画記録再生装置。
【請求項1】
動画データを記憶する記憶手段と、
前記記憶手段に記憶された動画データを構成するフレームごとに映像あるいは音声の特徴を保持する特徴データ保持部と、
前記記憶手段に記憶される動画データのカテゴリを取得するカテゴリ取得手段と、
前記カテゴリ取得手段により取得したカテゴリに対応するアルゴリズムにより、前記特徴データ保持部に保持された動画データの特徴データに基づいて、動画データのハイライト再生の候補となる候補シーンを抽出し、抽出した候補シーンに対して前記候補シーンの重要度を示すランキング付けを行うランキング生成部と、
前記ランキング生成部で生成した動画データの候補シーン及び前記候補シーンのランキングを保持するランキング保持部と、
外部から再生条件の指定を含む動画データのハイライト再生指示を受け、前記再生条件の指定と前記ランキング保持部に保持されている動画データの候補シーン及び前記ランキングとからハイライト再生するシーンを決定する再生シーン決定手段とを有し、
前記再生手段は、前記再生シーン決定手段で決定されたシーンを、ハイライト再生することを特徴とする動画記録再生装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2011−101393(P2011−101393A)
【公開日】平成23年5月19日(2011.5.19)
【国際特許分類】
【出願番号】特願2010−276528(P2010−276528)
【出願日】平成22年12月13日(2010.12.13)
【分割の表示】特願2008−282690(P2008−282690)の分割
【原出願日】平成16年12月24日(2004.12.24)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
【公開日】平成23年5月19日(2011.5.19)
【国際特許分類】
【出願日】平成22年12月13日(2010.12.13)
【分割の表示】特願2008−282690(P2008−282690)の分割
【原出願日】平成16年12月24日(2004.12.24)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
[ Back to top ]