映像解析情報アップロード装置及び映像視聴システム及び方法
【課題】番組の特徴的なシーンなどの時刻を示す所謂特徴場面情報を自動的に作成して配信可能とし、ユーザが前記特徴場面情報を容易に利用できるようにしたシステムを得る。
【解決手段】本実施形態によれば、映像解析部１２が、受信した映像信号を解析することにより、予め定められた特徴を持つ特徴量情報を検出する。特徴場面検出部１３が、前記映像解析部が検出した特徴量情報から、前記映像信号の特徴場面を特定する時刻及び番組名を含む映像特徴場面情報を得る。特徴場面情報送信部１４が、前記映像特徴場面情報を特徴場面記憶・配信装置２０としてのサーバへアップロードする。映像制御装置３０aは、前記特徴場面記憶・配信装置２０から前記映像特徴場面情報をダウンロードすることができる。録画再生装置４０aは、前記映像制御装置３０aにより制御され、前記映像特徴場面情報が指定している番組及びその特徴場面を再生することができる。
【解決手段】本実施形態によれば、映像解析部１２が、受信した映像信号を解析することにより、予め定められた特徴を持つ特徴量情報を検出する。特徴場面検出部１３が、前記映像解析部が検出した特徴量情報から、前記映像信号の特徴場面を特定する時刻及び番組名を含む映像特徴場面情報を得る。特徴場面情報送信部１４が、前記映像特徴場面情報を特徴場面記憶・配信装置２０としてのサーバへアップロードする。映像制御装置３０aは、前記特徴場面記憶・配信装置２０から前記映像特徴場面情報をダウンロードすることができる。録画再生装置４０aは、前記映像制御装置３０aにより制御され、前記映像特徴場面情報が指定している番組及びその特徴場面を再生することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は映像解析情報アップロード装置及び映像視聴システム及び方法に関する。
【背景技術】
【０００２】
放送番組の映像信号を記録媒体に記録する記録再生装置において、前記映像信号を編集する編集処理する機能として種々の機能が従来から存在する。例えば、前記映像信号にチャプタマークを付してチャプタを得るチャプタ生成機能、コマーシャル期間をスキップして再生するスキップ機能がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６１１９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記したチャプタを生成して記録再生装置を有効に利用したいという要望は多いのであるが、実際には、編集機能が利用される割合は少ない。これは、従来の各種編集処理機能は、いずれもユーザが記録再生装置とモニタ画面（例えばテレビジョン受信機の表示器）を目視し、リモートコントローラなどを操作して実施される処理であり、ユーザにとってわずらわしいところに起因している。
【０００５】
また、ユーザが編集する代わりに映像信号から特定の出演者の顔画像を自動認識して検出し、検出したシーンにチャプタを生成する技術も開発されている。この顔認識や音声認識などを用いた特徴点の検出は完成されたものではなく、日々進化している。このため、顔認識や音声認識を行うためのアプリケーションを、一般に市販される記録再生装置やテレビジョン受信装置に組み込むと、新バージョンに変更する場合に困難になる。
【０００６】
そこで本実施形態の目的とするところは、番組の特徴的なシーンなどの時刻を示す所謂特徴場面情報を自動的に作成して配信可能とし、ユーザが前記特徴場面情報を容易に利用できるようにした映像解析情報アップロード装置及び映像視聴システム及び方法を提供するところにある。
【課題を解決するための手段】
【０００７】
実施形態によれば、受信した映像信号を解析することにより、予め定められた特徴を持つ特徴量情報を検出する映像解析部と、前記映像解析部が検出した特徴量情報から、前記映像信号の特徴場面を特定する時刻及び番組名を含む映像特徴場面情報を得る特徴場面検出部と、前記映像特徴場面情報を特徴場面記憶・配信装置としてのサーバへアップロードする特徴場面情報送信部を有する装置を基本とするものである。
【図面の簡単な説明】
【０００８】
【図１】実施形態が適用されたネットワークシステムの一例を示す図である。
【図２】図１に示す特徴場面検出装置１０、特徴場面記憶・配信装置２０及び映像再生制御装置３０の代表的な内部ブロックを示す図である。
【図３】本実施形態で使用された特徴場面情報フォーマットの一例を示す図である。
【図４】本実施形態で使用された特徴場面情報記憶部２３に記憶されたデータのフォーマットの一例を示す図である。
【図５】本実施形態で使用された特徴場面情報が表示部に表示された場合の一例を示す図である。
【図６】本実施形態で使用された特徴場面検出装置の動作を説明するために示したフローチャートである。
【図７】図２に示した特徴場面検出装置をさらに示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、実施の形態について図面を参照して説明する。本実施形態は、映像信号を受信し、受信した映像信号を解析することにより、あらかじめ定められた特徴を持つ場面を検出し、前記映像信号を識別する情報とともに、検出された特徴場面の出現時刻および又はコメントを、特定のサーバにアップロードすることができる。この装置は専用の装置であり、特徴場面の出現時刻をリアルタイムで検出してシーンリストとしてサーバにアップロードすることも可能である。
【００１０】
図１は、一実施形態が適用されたシステム全体を示す。１０a,１０ｂは特徴場面検出装置である。特徴場面検出装置１０a,１０ｂは、例えばパーソナルコンピュータなどで構成され、放送局から送信された放送番組を受信し、受信した放送番組の特徴的な場面を検出する。
【００１１】
特徴的な場面とは、例えば、以下のような場面を指す。
【００１２】
・ニュース番組のニュースごとの先頭
・特定の人物が出演した場面
・スポーツの得点の場面
・音楽番組での歌唱の場面
・バラエティなどの盛りあがった場面
特徴場面検出装置１０a,１０ｂは、それぞれが例えば放送番組を受信する放送チャンネルに毎に用意されたり、複数放送局に応じて用意されたり、複数地域毎に容易されているために、複数が設置される。特徴場面検出装置１０a,１０ｂは、それぞれ特徴場面記憶・配信装置２０とインターネットないしイントラネットで接続され、検出した特徴的な場面の参照用情報をアップロードする。なお「参照用情報」の呼び名は、これに限らず、特徴場面情報、編集用情報、抽出情報、タグ情報、リスト情報、シーン情報など各種の呼び名が可能であるが、この明細書では以後、代表して特徴場面情報と記述している。
【００１３】
特徴場面記憶・配信装置２０は、パーソナルコンピュータによりサーバとして構成され、特徴場面検出装置１０から送られてきた特徴場面情報を記憶する。一方では、特徴場面記憶・配信装置２０は、例えば映像制御装置３０aから、所望の番組が指定されるとともに特徴場面情報の要求があると、当該指定番組に対応する特徴場面情報を映像制御装置３０aに送信する。
【００１４】
映像制御装置３０aを説明したが、図では映像制御装置として、映像制御装置３０ｂ、３０ｃを示している。映像制御装置３０ｂ、３０ｃは、録画再生装置４０ｂ、４０ｃに対応する。
【００１５】
映像制御装置３０aは、スマートフォンや、タブレットパーソナルコンピュータやパーソナルコンピュータそのもので構成され、家庭内に設置される。映像制御装置３０aは、携帯電話機能を備えてもよい。この装置は、特徴場面記憶・配信装置２０に対して番組を指定し当該番組の特徴場面情報を要求し、前記特徴場面記憶・配信装置２０から要求に応じて送られてきた当該番組の特徴場面情報を取得し、次に、取得した当該番組の特徴場面情報をユーザに提示することができる。また、映像制御装置３０aは、録画再生装置４０aと有線ないし無線ＬＡＮにて接続され、提示した特徴場面の１つに対してユーザが再生指示を行った場合、録画再生装置４０aに該当場面からの再生を指示することができる。
【００１６】
録画再生装置４０aは、各家庭に設置され、放送番組の録画および再生機能を持つ。ＨＤＤレコーダや録画機能つきテレビジョン装置、或いはパーソナルコンピュータなどで構成されるが、さらに、映像制御装置３０aの機能を取り込むことも可能である。
【００１７】
上記の説明では映像制御装置３０a、録画再生装置４０aの系統を代表して説明した。図ではさらに映像制御装置として、映像制御装置３０ｂ、３０ｃを示し、録画再生装置として、録画再生装置４０ｂ、４０ｃを示している。映像制御装置３０ｂ、３０ｃは、それぞれ録画再生装置４０ｂ、４０ｃに対応し、それぞれの系統は、映像制御装置３０a、録画再生装置４０aの系統と同様な機能を有する。
【００１８】
上記した本システムは、録画再生装置４０aで録画した放送番組を楽しむ際に、携帯端末として可能な映像制御装置３０aにより番組内に含まれる特徴的な場面を一覧表示することができる。これは、映像制御装置３０aは、所望の番組の特徴場面情報を特徴場面検出装置１０a,１０ｂに要求して容易に取得できるからである。そして、ユーザは、映像制御装置３０aを操作し、特徴的な場面を一覧表示の中から所望の場面を指定すると、録画再生装置４０aは、指定した番組の指定された場面からの映像を再生することができる。
【００１９】
携帯端末としての、映像制御装置３０aはその表示部がタッチ式操作画面として利用されるものであり、ユーザは、特徴場面記憶・配信装置２０へのアクセス操作、及び録画再生装置４０aに対する指令操作は容易に行うことができる。
【００２０】
図２には上記した特徴場面検出装置１０a、特徴場面記憶・配信装置２０、映像制御装置３０a及び録画再生装置４０aの内部のブロックを代表して示している。
【００２１】
特徴場面検出装置１０aは、映像受信部１１、映像解析部１２、映像解析部１３、特徴場面情報送信部１４、映像特徴量記憶部１５、制御部１６を有する。制御部１６は、映像受信部１１、映像解析部１２、映像解析部１３、特徴場面情報送信部１４、映像特徴量記憶部１５を統括して制御している。
【００２２】
映像受信部１１は、チューナ、デコーダなどを有し放送番組信号を受信し、映像信号及び音声信号のデコード処理を行う。映像受信部１１は、放送番組の映像信号及び音声信号を映像解析部１２に送る。
【００２３】
映像解析部１２は、映像信号の中からフレーム或いはフィールド画像を取り出し、特徴量情報を取り出す。また音声信号からも特徴量情報を取り出す。
【００２４】
特徴量情報を取り出すアルゴリズムとしては、取り出す特徴量の検出する特徴場面によって異なる。たとえば、特定の人物が出演した場面を検出するために顔を認識する場合は、まず、静止画像から、例えば文献１（「顔検出に適した共起に基づくJoint Harr-like特徴」，電子情報通信学会論文誌（D），vol. J89-D-II，no. 8，pp. 1791-1801，2006）に記載された方法により顔の位置を検出することができる。そして検出された顔の位置を含む領域に含まれる顔画像から顔の特徴を表す特徴量情報を抽出する。例えば、文献２（湯浅真由美, 武口智行, 小坂谷達夫, 山口修, 「静止画顔認証のための自動顔特徴点検出」, 電子情報通信学会研究報告, PRMU2006-222, pp. 5-10, Feb. 2007.）に記載されている手法を用いることができる。
【００２５】
抽出された特徴量情報は、静止画に該当するタイムコード（相対時刻；例えばプログラムの先頭を０とし、この先頭からの当該静止画までの相対時刻）とともに、映像特徴量記憶部１５に格納される。
【００２６】
映像特徴場面検出部１３では、映像特徴量記憶部１５に記憶された特徴量情報を利用して映像の特徴的な映像特徴場面を決定する。例えば、前述した特定の人物（例えば特定の俳優）の検出の例では、映像特徴量記憶部１５に記憶されている各相対時刻の特徴量情報を順次取り出し、あらかじめ定められた顔の顔特徴量情報を用いて行う。例えば、文献３（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている相互部分空間法を用いてもよい。特定人物が見つかった場合その場面を特徴場面情報とするが、番組では一定時間出演者が登場し続ける場合があるので、特定人物が連続して検出された場合は先頭の場面のみ特徴場面情報とし、その後の場面は棄却するようにしている。特徴量情報となる出演者の顔データは、例えばパラメータとしてデータベース化されていてもよい。また新規なパラメータが、外部から追加登録、或いは削除されるようにしてもよい。
【００２７】
映像特徴量記憶部１５に記憶された特徴量情報すべてに対して特徴場面検出処理が終了した場合、特徴場面情報送信部１４で、特徴場面情報を特徴場面記憶・配信装置２０に送信することができる。
【００２８】
上記の説明では、映像受信部１１、映像解析部１２、映像特徴場面検出部１３、特徴場面情報送信部１４、映像特徴量記憶部１５、及び制御部１６により、１つの番組に対する特徴量情報の抽出、特徴場面情報の検出を行っている如く説明したが、実際には、複数の番組に対する特徴量情報の抽出、特徴場面情報の検出が行われる。そのために、特徴場面検出装置１０a内には、映像受信部、映像解析部、映像特徴場面検出部、特徴場面情報送信部、映像特徴量記憶部及び制御部の複数系統が設けられても良い。複数の系統により、例えば、複数チャンネルを受信しながら複数の番組の特徴量情報の抽出、特徴場面情報の検出が可能となる。
【００２９】
図３には特徴場面検出装置１０aから特徴場面記憶・配信装置２０へ送信される特徴場面情報のフォーマットの一例を示している。特徴場面情報には、以下のような情報が含まれている。
【００３０】
・送信する特徴場面の名称(LISTNAME)、図の例では
リスト名 <LISTNAME>--の出演場面</LISTNAME>
・対象となる番組情報(PROGRAM)、図の例では、
タイトルとして <TITLE>今日のスポーツ</TITLE>
チャンネルとして <CHANNEL>東京１２３</CHANNEL>
開始時刻として <STARTTIME>2011/10/11 20:00:00</STARTTIME>
終了時刻として <ENDTIME>2011/10/11 20:58:00</ENDTIME>
・複数の場面情報<SCENE>、図の例では、
番組開始時刻からの相対時刻の場面として
< SCENE TIME="00:23:45">***1</SCENE>
< SCENE TIME="00:34:13">***2</SCENE>
が示されている。
【００３１】
次に、特徴場面記憶・配信装置２０の構成を説明する。特徴場面記憶・配信装置２０は、特徴場面情報受信部２２、特徴場面情報記憶部２３、特徴場面情報検索部２１、制御部２４を含む。制御部２４は、特徴場面情報受信部２２、特徴場面情報記憶部２３、特徴場面情報検索部２１を統括的に制御する。
【００３２】
特徴場面情報受信部２２は、特徴場面検出装置１０aから送られてきた特徴場面情報を受信し、特徴場面情報記憶部２３に格納する。特徴場面情報記憶部２３は、リレーショナルデータベースで構成され、特徴場面情報を図４に示すフォーマットで記憶する。
【００３３】
図４に示すフォーマットは３つのテーブルからなり、テーブル４０１は番組情報を表し、番組ごとにユニークに付与される「番組ＩＤ」、放送された「チャンネル」、番組の「タイトル」、番組の放送の「開始時刻」「終了時刻」からなる。
【００３４】
テーブル４０２は、１つの番組に対する特定の特徴場面のリストを表し、対応する番組を示す「番組ＩＤ」、テーブル４０２のレコードにユニークに付与される「リストＩＤ」、特徴場面の種類を説明する「リスト名」からなる。
【００３５】
テーブル４０３は、個々の特徴場面を表し、属する特徴場面のリストを示す「リストＩＤ」、特徴場面の番組開始からの時刻を示す「時刻」、その特徴場面の説明を表す「シーン名」からなる。
【００３６】
特徴場面情報検索部２１は、映像制御装置３０aからの指示で、番組情報をキーにして、情報検索場面記憶部２３から該当する特徴場面情報を検索し、映像制御装置３０aに返送する。具体的には、特徴場面情報検索部２１は、映像制御装置３０aから番組情報として、例えばチャンネル名、放送開始時刻、タイトルを受け取り、この番組情報に一致するレコードをテーブル４０１から検索、該当するレコードの「番組ＩＤ」を持つテーブル４０２上のレコードを取り出し、さらに、一致したレコードの「リストＩＤ」を持つテーブル４０３のレコードを取り出す。テーブル４０２の該当レコードの「リスト名」と対応するテーブル４０３のレコードから図３のフォーマットの情報を構成し、映像制御装置３０aに返送する。テーブル４０２のレコード１つにつきこのフォーマットが生成されるため、複数レコードがマッチするときは、同フォーマットを繰り返し使用する。
【００３７】
次に、映像制御装置３０aの構成について説明する。映像制御装置３０aは、特徴場面取得部３１、特徴場面情報表示部３２、特徴場面情報一時記憶部３３、制御部３４、及び操作部３５を有する。
【００３８】
特徴場面取得部３１は、ユーザからの指示に従って映像再生部４０aより再生中の番組の番組情報を取得することができる。また特徴場面取得部３１は、取得した番組情報をキーとして特徴場面記憶・配信装置２０に送信する。これにより、特徴場面記憶・配信装置２０は、先に説明したように、キーに該当する特徴場面情報を検索し、映像制御装置３０aに返送する。特徴場面取得部３１は、特徴場面記憶・配信装置２０から送られてきた特徴場面情報を、先の番組情報と共に特徴場面情報一時記憶部３３に格納する。特徴場面情報表示部３２は、特徴場面情報一時記憶部３３に記憶された特徴場面情報を提示し、特徴場面をユーザに選択できるようにする。
【００３９】
図５は、特徴場面情報表示部３２が画面上に特徴場面のシーンリストを表示した一例を示している。場面の領域５０１には再生中の番組情報が表示される。また領域５０２にその番組に付けられたシーンリスト（特徴場面情報）の一覧が表示される。
【００４０】
図５の例では、領域５０１に、チャンネル名、放送日時、番組のタイトル名が基本的に表示される。この場合、さらにシーンリストの提供者が表示されてもよい。例えば、特徴場面検出装置１０aにおいて、特徴場面を検出するソフトウエアの作成者或いはソフトウエアに対して検出条件を設定する人や会社が提供者として表示される。
【００４１】
ここで、領域５０２のシーンリスト（特徴場面情報）としては、図の例ではリスト１−リスト４が表示されている。これは領域５０１に表示されたタイトルに対して、少なくとも４種類のシーンリストが用意されていることを意味する。
【００４２】
次に、そのうちの１つのリスト（図の例ではシーンリスト１）が選択されると、領域５０３にそのリストに含まれるシーン（特徴場面）が表示される。図の例では、少なくともシーン１−シーン６が設定されていることを示している。
【００４３】
次に、シーンが選択されたとすると、映像再生制御装置３０aは、その選択したシーンの時刻から当該番組が再生されるように、録画再生装置４０に再生指示を行う。録画再生装置４０は、例えばハードディスクドライブを接続されたテレビジョン受信装置、あるいはハードディスクドライブ及び光ディスクドライブを一体化して有する専用の録再装置、或いはパーソナルコンピュータなどである。映像再生制御装置３０aは、録画再生装置４０に対して再生指示を行う場合、無線（電波、赤外線など）、或いは有線、他の屋内ネットワークなどのいずれかを介して行う。録画再生装置４０は、映像再生制御装置３０aからの再生指示情報に基づいて、記録している番組の再生を実施する。この場合、録画再生装置４０は、指定されたシーンの再生開始位置を指定されたシーンの相対時刻の位置から再生を開始する。
【００４４】
なお再生方法は、上記説明した方法に限定されるものではない。例えば、シーン１−６の先頭画面をサムネールとして録画再生装置４０のモニタ（表示部）に表示してもよい。あるいは、シーン１−６の情報が１画面だけでなく、数秒（例えば１０乃至１５秒）程度の再生区間情報として利用され、シーン１−６がダイジェスト版の如く録画再生装置４０のモニタ（表示部）に表示されるようにしても良い。
【００４５】
図６は、特徴場面検出装置１０aの処理の流れを説明する図である。ステップ６０1では、映像解析部１２内の各特徴量抽出モジュール（映像用、音声用のモジュール）の初期化を行う。次に外部からのタイマーの指示により、映像受信部１１にて番組開始時に受信処理を開始する（ステップ６０２）。外部からの受信開始処理については、予約録画として広く用いられているので、ここでは詳しく述べていない。受信処理が開始されると、映像の場合は、フレームごとに静止画像を、音声の場合は一定量（たとえば100ms単位）で、データが発生する。
【００４６】
ステップ６０４において、取得されたデータが画像ならば、ステップ６０５で映像解析部１２内の特徴量抽出モジュールで、取得された静止画像から特徴量情報を抽出し、ステップ６０６でその特徴量情報を映像特徴量記憶部１５に書き込む。また、取得されたデータが音声ならば、映像解析部１２内の音声処理モジュールで特徴量情報を取り出し（ステップ６０７）、その特徴量情報を映像特徴量記憶部１５に書き込む（６０８）。
【００４７】
番組が終了した場合は、外部からのタイマーの指示でステップ６０９に移り、特徴場面検出部１３は、映像特徴量記憶部１５から必要な特徴量情報を順次読だし、特徴場面かどうか判断する（ステップ６１０）。ステップ６１１にて、読みだす特徴量情報がなくなった場合は、判定された特徴場面を図３のフォーマットに整形し、特徴場面記憶・配信装置２０に送信する。
【００４８】
なお、ステップ６０５、６０７における特徴量抽出処理と、ステップ６１０の特徴場面判断処理は、必ずしも１対１ではない。例えば、男性の登場シーンと、女性の登場シーンという２つの特徴場面の抽出処理を考えると、特徴量抽出処理としては、文献２の顔特徴量を用いるが、男性の登場シーンの特徴場面判断処理と女性の登場シーンの特徴場面判断処理は、同じ特徴量を用いることができる。また、歌唱シーンのように、音声から音楽を判定し、テロップから曲名を判定する場合は、音声と映像の２つの特徴量処理モジュールの結果に足して、１つの特徴場面判断処理が動作する。
【００４９】
なお図６のフローチャートでは、Ｓ６０３において番組が終了した場合に特徴量取得を行って特徴場面判断を行っているが、処理はこのフローに限るものではない。例えば、Ｓ６０６及びＳ６０８において音声と画像の特徴量が書き込まれた場合に直ちに、Ｓ６０９及びＳ６１０の処理を実行して特徴場面を判断してもよい。また、図６のフローチャートでは、ステップ６１１にて読みだす特徴量情報がなくなった場合に特徴場面情報を送信するとしているが、特徴場面検出装置１０aは、特徴場面が検出されると当該特徴画面についての特徴画面情報を直ちに特徴場面記憶・配信装置２０に送信してもよい。
【００５０】
即ち特徴場面検出装置１０aは、受信している映像信号についての特徴量を検出し、特徴量が検出されると当該特徴量に基づいて特徴場面を検出し、特徴画面が検出されると当該特徴画面についての情報を随時生成して特徴場面記憶・配信装置２０に送信することにより、受信中の映像信号の特徴画面情報をほぼリアルタイムでアップロードしてもよい。
【００５１】
本実施例では、放送波を受信して特徴場面検出処理を行っているが、映像の入力はこれにとらわれない。たとえば、インターネット経由でビデオオンデマンドの映像でもよい。この場合、番組情報は、放送とは異なり、「タイトル」とビデオオンデマンド（ＶＯＤ）サーバでつけられた映像を識別できる「映像ＩＤ」を用いることも可能である。
【００５２】
特徴場面検出装置１０aの検出処理は、内容によって変えてもよい。例えば、対象となる番組のジャンルがスポーツの場合は盛り上がりシーン検出を、音楽番組の場合は、歌唱シーン検出を動作させることができる。番組のジャンル情報は、デジタル放送波に含まれるＳＩ情報に付与された情報を用いればよい。
【００５３】
また、特徴場面記憶・配信装置２０は、記憶する特徴場面情報は、本実施例の特徴場面検出装置１０a,１０bのみからの情報となっているが、レコーダなどでユーザが付与したチャプタ情報を同様なフォーマットで送信し、同様に記憶し、このチャプタ情報が端末で利用されるときは、ユーザ或いは管理者の手によるものか区別して表示できるようにすることも可能である。
【００５４】
本開示のシステムでは、特徴場面検出装置が独立して外部に存在しており、また、パーソナルコンピュータなど計算能力の高い機器で構成することが可能である。このため、画像パターンの認識などを利用した映像解析のように大量のリソースが必要な特徴場面の検出も容易である。また、特徴場面検出装置の性能改善も容易で、該特徴場面検出装置を改善するだけですべての録画装置での使い勝手が向上する。また高速処理が可能であることから、特徴場面情報を放送番組の受信時に作成し、ほぼリアルタイムで、再生制御装置に提供することができる。このためにユーザは、録画再生装置に放送番組が録画された後、直ぐに特徴場面検出情報を利用可能である。
【００５５】
特徴場面検出装置１０a,１０bは、上記した実施形態に限定されるものではなく、幅ひろく活用できるように工夫されている。
【００５６】
図７は、特徴場面検出装置１０aをさらに詳しく示している。特徴場面情報送信部１４は、送受信部（モデム）を含み、サーバからの情報を受け付けることも可能である。さらに、インターフェース１７、出力部１８を有し、キーボード７１１、表示器７１２を接続することも可能である。また、メモリ７１３、光ディスクドライブ７１４を接続可能であり、記憶媒体から新しいアプリケーション、或いはバージョンアップされたアプリケーションを取り込むことが可能である。
【００５７】
制御部１６は、各種の機能を実現するための制御部を含む。例えばアプリケーション間リブ７２１、表示制御部７２２、アプリケーションの設定条件（パラメータ）編集制御部７２３、配信先情報管理部７３５、特徴場面情報の分類部７３６、入力情報受付部７４０、データベース管理部７４１などである。
【００５８】
アプリケーション管理部７２１は、映像解析、特徴量検出、特徴場面検出のためのアプリケーション、及びその他の各種の機能（アップロード、表示制御など、）を実行するための各種の各種アプリケーションを管理する。アプリケーション格納部は、専用の記憶媒体が設けられてもよいし、先の映像特徴量記憶部１５の記憶媒体の一部の領域が利用されてもよい。
【００５９】
表示制御部７２２は、例えばメニュー表示、アプリケーションをインストールする際の案内表示、外部から入力を与える際のモニタ表示などの制御を行う。
【００６０】
アプリケーションの設定条件（パラメータ）編集制御部７２３は、例えば番組内の特定の人物の顔画像を検索するアプリケーションに対して、検出回数を制限したり、検出インターバルを修正したり、特定の人物が複数設定されていた場合に、その人数を調整したりする場合に利用される。特定のアプリケーションが採用され、起動する範囲を、つまり、ニュース番組、或いはドラマ、或いは歌謡番組などのジャンル別で動作するように限定することも可能である。例えば、人物画像検出用のアプリケーションであれば、ニュース番組に限定して動作させてシーンリストを作成する、あるいは歌謡番組に限定して動作させてシーンリストを作成するなどの対策が可能である。さらにまた、アプリケーションの設定条件（パラメータ）編集制御部７２３は、受信チャンネルの変更、処理する放送番組の制限情報を与えることも可能である。
【００６１】
配信先情報管理部７３５は、例えば特定のサーバ及び又は特定の映像制御装置に向けてサービスを行う場合に利用される。したがって、配信先情報管理部７３５には、配信先のアドレス（サーバ及び又は映像制御装置）と、このアドレスに送信すべき特徴場面情報とを関連つけた情報が格納されている。このことは、逆に、特徴場面情報を送信するサーバ及び又は映像制御装置を制限可能とするものである。
【００６２】
例えば、特徴場面検出装置１０aは放送番組Ａを受信可能であるが、サーバＡＳを利用する遠隔の映像制御装置が制御する録画再生装置は、放送番組Ａを受信できない場合がある。このような場合は、放送番組Ａに関する特徴場面情報を送信しても無駄である。したがって、このような場合は、サーバＡＳ若しくはサーバＡＳを利用する遠隔の映像制御装置のアドレスが送信先として消去されている。また、この機能は、特別な契約を行ったサーバ及び若しくは映像制御装置に対して、契約に基づく特徴場面情報を配信する場合に利用することもできる。この場合、特別な契約を行ったサーバ及び又は映像制御装置のみが、契約に基づく特徴場面情報を受け取れるように、前記契約に基づく特徴場面情報が暗号化されて送信されることが好ましい。この暗号化された契約に基づく特徴場面情報は、契約しているサーバ及び又は映像制御装置が有する暗号解読キーにより、復号されることができる。
【００６３】
特徴場面情報の分類部７３６は、特徴場面情報を例えばジャンル毎に分類して管理している。ジャンルとしては、スポーツ、ニュース、ドラマ、歌謡番組、バラエティー、映画など各種がある。分類を行う場合には、番組情報から取得することも可能であるし、キーボード７１１を介して、この特徴場面検出装置１０aの管理者が分類コードを各特徴場面情報に与えることも可能である。この場合は、図３、図４に示したフォーマットにジャンルの項目が追加される。
【００６４】
入力情報受付部７４０は、特徴場面情報送受信部１４のモデムを介して入力した情報の検出、メモリ７１３、光ディスクドライブ７１４、キーボード７１１などから入力した情報を検出し、全体動作を管理するＣＰＵ（中央演算処理装置：図示せず）に通知する。
【００６５】
データベース管理部７４１は、例えば特徴場面で人物の顔を検出するために顔画像の比較用サンプルを複数格納することができる。またこれらの比較用サンプルは、編集アプリケーションにより、新たなサンプルが追加されたり、古いサンプルが削除されたりすることも可能である。
【００６６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６７】
１０a，１０b・・・特徴場面検出装置、２０・・・特徴場面記憶・配信装置、３０a，３０b、３０c・・・映像制御装置、４０a、４０b、４０c・・・録画再生装置。
【技術分野】
【０００１】
本発明の実施形態は映像解析情報アップロード装置及び映像視聴システム及び方法に関する。
【背景技術】
【０００２】
放送番組の映像信号を記録媒体に記録する記録再生装置において、前記映像信号を編集する編集処理する機能として種々の機能が従来から存在する。例えば、前記映像信号にチャプタマークを付してチャプタを得るチャプタ生成機能、コマーシャル期間をスキップして再生するスキップ機能がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６１１９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記したチャプタを生成して記録再生装置を有効に利用したいという要望は多いのであるが、実際には、編集機能が利用される割合は少ない。これは、従来の各種編集処理機能は、いずれもユーザが記録再生装置とモニタ画面（例えばテレビジョン受信機の表示器）を目視し、リモートコントローラなどを操作して実施される処理であり、ユーザにとってわずらわしいところに起因している。
【０００５】
また、ユーザが編集する代わりに映像信号から特定の出演者の顔画像を自動認識して検出し、検出したシーンにチャプタを生成する技術も開発されている。この顔認識や音声認識などを用いた特徴点の検出は完成されたものではなく、日々進化している。このため、顔認識や音声認識を行うためのアプリケーションを、一般に市販される記録再生装置やテレビジョン受信装置に組み込むと、新バージョンに変更する場合に困難になる。
【０００６】
そこで本実施形態の目的とするところは、番組の特徴的なシーンなどの時刻を示す所謂特徴場面情報を自動的に作成して配信可能とし、ユーザが前記特徴場面情報を容易に利用できるようにした映像解析情報アップロード装置及び映像視聴システム及び方法を提供するところにある。
【課題を解決するための手段】
【０００７】
実施形態によれば、受信した映像信号を解析することにより、予め定められた特徴を持つ特徴量情報を検出する映像解析部と、前記映像解析部が検出した特徴量情報から、前記映像信号の特徴場面を特定する時刻及び番組名を含む映像特徴場面情報を得る特徴場面検出部と、前記映像特徴場面情報を特徴場面記憶・配信装置としてのサーバへアップロードする特徴場面情報送信部を有する装置を基本とするものである。
【図面の簡単な説明】
【０００８】
【図１】実施形態が適用されたネットワークシステムの一例を示す図である。
【図２】図１に示す特徴場面検出装置１０、特徴場面記憶・配信装置２０及び映像再生制御装置３０の代表的な内部ブロックを示す図である。
【図３】本実施形態で使用された特徴場面情報フォーマットの一例を示す図である。
【図４】本実施形態で使用された特徴場面情報記憶部２３に記憶されたデータのフォーマットの一例を示す図である。
【図５】本実施形態で使用された特徴場面情報が表示部に表示された場合の一例を示す図である。
【図６】本実施形態で使用された特徴場面検出装置の動作を説明するために示したフローチャートである。
【図７】図２に示した特徴場面検出装置をさらに示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、実施の形態について図面を参照して説明する。本実施形態は、映像信号を受信し、受信した映像信号を解析することにより、あらかじめ定められた特徴を持つ場面を検出し、前記映像信号を識別する情報とともに、検出された特徴場面の出現時刻および又はコメントを、特定のサーバにアップロードすることができる。この装置は専用の装置であり、特徴場面の出現時刻をリアルタイムで検出してシーンリストとしてサーバにアップロードすることも可能である。
【００１０】
図１は、一実施形態が適用されたシステム全体を示す。１０a,１０ｂは特徴場面検出装置である。特徴場面検出装置１０a,１０ｂは、例えばパーソナルコンピュータなどで構成され、放送局から送信された放送番組を受信し、受信した放送番組の特徴的な場面を検出する。
【００１１】
特徴的な場面とは、例えば、以下のような場面を指す。
【００１２】
・ニュース番組のニュースごとの先頭
・特定の人物が出演した場面
・スポーツの得点の場面
・音楽番組での歌唱の場面
・バラエティなどの盛りあがった場面
特徴場面検出装置１０a,１０ｂは、それぞれが例えば放送番組を受信する放送チャンネルに毎に用意されたり、複数放送局に応じて用意されたり、複数地域毎に容易されているために、複数が設置される。特徴場面検出装置１０a,１０ｂは、それぞれ特徴場面記憶・配信装置２０とインターネットないしイントラネットで接続され、検出した特徴的な場面の参照用情報をアップロードする。なお「参照用情報」の呼び名は、これに限らず、特徴場面情報、編集用情報、抽出情報、タグ情報、リスト情報、シーン情報など各種の呼び名が可能であるが、この明細書では以後、代表して特徴場面情報と記述している。
【００１３】
特徴場面記憶・配信装置２０は、パーソナルコンピュータによりサーバとして構成され、特徴場面検出装置１０から送られてきた特徴場面情報を記憶する。一方では、特徴場面記憶・配信装置２０は、例えば映像制御装置３０aから、所望の番組が指定されるとともに特徴場面情報の要求があると、当該指定番組に対応する特徴場面情報を映像制御装置３０aに送信する。
【００１４】
映像制御装置３０aを説明したが、図では映像制御装置として、映像制御装置３０ｂ、３０ｃを示している。映像制御装置３０ｂ、３０ｃは、録画再生装置４０ｂ、４０ｃに対応する。
【００１５】
映像制御装置３０aは、スマートフォンや、タブレットパーソナルコンピュータやパーソナルコンピュータそのもので構成され、家庭内に設置される。映像制御装置３０aは、携帯電話機能を備えてもよい。この装置は、特徴場面記憶・配信装置２０に対して番組を指定し当該番組の特徴場面情報を要求し、前記特徴場面記憶・配信装置２０から要求に応じて送られてきた当該番組の特徴場面情報を取得し、次に、取得した当該番組の特徴場面情報をユーザに提示することができる。また、映像制御装置３０aは、録画再生装置４０aと有線ないし無線ＬＡＮにて接続され、提示した特徴場面の１つに対してユーザが再生指示を行った場合、録画再生装置４０aに該当場面からの再生を指示することができる。
【００１６】
録画再生装置４０aは、各家庭に設置され、放送番組の録画および再生機能を持つ。ＨＤＤレコーダや録画機能つきテレビジョン装置、或いはパーソナルコンピュータなどで構成されるが、さらに、映像制御装置３０aの機能を取り込むことも可能である。
【００１７】
上記の説明では映像制御装置３０a、録画再生装置４０aの系統を代表して説明した。図ではさらに映像制御装置として、映像制御装置３０ｂ、３０ｃを示し、録画再生装置として、録画再生装置４０ｂ、４０ｃを示している。映像制御装置３０ｂ、３０ｃは、それぞれ録画再生装置４０ｂ、４０ｃに対応し、それぞれの系統は、映像制御装置３０a、録画再生装置４０aの系統と同様な機能を有する。
【００１８】
上記した本システムは、録画再生装置４０aで録画した放送番組を楽しむ際に、携帯端末として可能な映像制御装置３０aにより番組内に含まれる特徴的な場面を一覧表示することができる。これは、映像制御装置３０aは、所望の番組の特徴場面情報を特徴場面検出装置１０a,１０ｂに要求して容易に取得できるからである。そして、ユーザは、映像制御装置３０aを操作し、特徴的な場面を一覧表示の中から所望の場面を指定すると、録画再生装置４０aは、指定した番組の指定された場面からの映像を再生することができる。
【００１９】
携帯端末としての、映像制御装置３０aはその表示部がタッチ式操作画面として利用されるものであり、ユーザは、特徴場面記憶・配信装置２０へのアクセス操作、及び録画再生装置４０aに対する指令操作は容易に行うことができる。
【００２０】
図２には上記した特徴場面検出装置１０a、特徴場面記憶・配信装置２０、映像制御装置３０a及び録画再生装置４０aの内部のブロックを代表して示している。
【００２１】
特徴場面検出装置１０aは、映像受信部１１、映像解析部１２、映像解析部１３、特徴場面情報送信部１４、映像特徴量記憶部１５、制御部１６を有する。制御部１６は、映像受信部１１、映像解析部１２、映像解析部１３、特徴場面情報送信部１４、映像特徴量記憶部１５を統括して制御している。
【００２２】
映像受信部１１は、チューナ、デコーダなどを有し放送番組信号を受信し、映像信号及び音声信号のデコード処理を行う。映像受信部１１は、放送番組の映像信号及び音声信号を映像解析部１２に送る。
【００２３】
映像解析部１２は、映像信号の中からフレーム或いはフィールド画像を取り出し、特徴量情報を取り出す。また音声信号からも特徴量情報を取り出す。
【００２４】
特徴量情報を取り出すアルゴリズムとしては、取り出す特徴量の検出する特徴場面によって異なる。たとえば、特定の人物が出演した場面を検出するために顔を認識する場合は、まず、静止画像から、例えば文献１（「顔検出に適した共起に基づくJoint Harr-like特徴」，電子情報通信学会論文誌（D），vol. J89-D-II，no. 8，pp. 1791-1801，2006）に記載された方法により顔の位置を検出することができる。そして検出された顔の位置を含む領域に含まれる顔画像から顔の特徴を表す特徴量情報を抽出する。例えば、文献２（湯浅真由美, 武口智行, 小坂谷達夫, 山口修, 「静止画顔認証のための自動顔特徴点検出」, 電子情報通信学会研究報告, PRMU2006-222, pp. 5-10, Feb. 2007.）に記載されている手法を用いることができる。
【００２５】
抽出された特徴量情報は、静止画に該当するタイムコード（相対時刻；例えばプログラムの先頭を０とし、この先頭からの当該静止画までの相対時刻）とともに、映像特徴量記憶部１５に格納される。
【００２６】
映像特徴場面検出部１３では、映像特徴量記憶部１５に記憶された特徴量情報を利用して映像の特徴的な映像特徴場面を決定する。例えば、前述した特定の人物（例えば特定の俳優）の検出の例では、映像特徴量記憶部１５に記憶されている各相対時刻の特徴量情報を順次取り出し、あらかじめ定められた顔の顔特徴量情報を用いて行う。例えば、文献３（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている相互部分空間法を用いてもよい。特定人物が見つかった場合その場面を特徴場面情報とするが、番組では一定時間出演者が登場し続ける場合があるので、特定人物が連続して検出された場合は先頭の場面のみ特徴場面情報とし、その後の場面は棄却するようにしている。特徴量情報となる出演者の顔データは、例えばパラメータとしてデータベース化されていてもよい。また新規なパラメータが、外部から追加登録、或いは削除されるようにしてもよい。
【００２７】
映像特徴量記憶部１５に記憶された特徴量情報すべてに対して特徴場面検出処理が終了した場合、特徴場面情報送信部１４で、特徴場面情報を特徴場面記憶・配信装置２０に送信することができる。
【００２８】
上記の説明では、映像受信部１１、映像解析部１２、映像特徴場面検出部１３、特徴場面情報送信部１４、映像特徴量記憶部１５、及び制御部１６により、１つの番組に対する特徴量情報の抽出、特徴場面情報の検出を行っている如く説明したが、実際には、複数の番組に対する特徴量情報の抽出、特徴場面情報の検出が行われる。そのために、特徴場面検出装置１０a内には、映像受信部、映像解析部、映像特徴場面検出部、特徴場面情報送信部、映像特徴量記憶部及び制御部の複数系統が設けられても良い。複数の系統により、例えば、複数チャンネルを受信しながら複数の番組の特徴量情報の抽出、特徴場面情報の検出が可能となる。
【００２９】
図３には特徴場面検出装置１０aから特徴場面記憶・配信装置２０へ送信される特徴場面情報のフォーマットの一例を示している。特徴場面情報には、以下のような情報が含まれている。
【００３０】
・送信する特徴場面の名称(LISTNAME)、図の例では
リスト名 <LISTNAME>--の出演場面</LISTNAME>
・対象となる番組情報(PROGRAM)、図の例では、
タイトルとして <TITLE>今日のスポーツ</TITLE>
チャンネルとして <CHANNEL>東京１２３</CHANNEL>
開始時刻として <STARTTIME>2011/10/11 20:00:00</STARTTIME>
終了時刻として <ENDTIME>2011/10/11 20:58:00</ENDTIME>
・複数の場面情報<SCENE>、図の例では、
番組開始時刻からの相対時刻の場面として
< SCENE TIME="00:23:45">***1</SCENE>
< SCENE TIME="00:34:13">***2</SCENE>
が示されている。
【００３１】
次に、特徴場面記憶・配信装置２０の構成を説明する。特徴場面記憶・配信装置２０は、特徴場面情報受信部２２、特徴場面情報記憶部２３、特徴場面情報検索部２１、制御部２４を含む。制御部２４は、特徴場面情報受信部２２、特徴場面情報記憶部２３、特徴場面情報検索部２１を統括的に制御する。
【００３２】
特徴場面情報受信部２２は、特徴場面検出装置１０aから送られてきた特徴場面情報を受信し、特徴場面情報記憶部２３に格納する。特徴場面情報記憶部２３は、リレーショナルデータベースで構成され、特徴場面情報を図４に示すフォーマットで記憶する。
【００３３】
図４に示すフォーマットは３つのテーブルからなり、テーブル４０１は番組情報を表し、番組ごとにユニークに付与される「番組ＩＤ」、放送された「チャンネル」、番組の「タイトル」、番組の放送の「開始時刻」「終了時刻」からなる。
【００３４】
テーブル４０２は、１つの番組に対する特定の特徴場面のリストを表し、対応する番組を示す「番組ＩＤ」、テーブル４０２のレコードにユニークに付与される「リストＩＤ」、特徴場面の種類を説明する「リスト名」からなる。
【００３５】
テーブル４０３は、個々の特徴場面を表し、属する特徴場面のリストを示す「リストＩＤ」、特徴場面の番組開始からの時刻を示す「時刻」、その特徴場面の説明を表す「シーン名」からなる。
【００３６】
特徴場面情報検索部２１は、映像制御装置３０aからの指示で、番組情報をキーにして、情報検索場面記憶部２３から該当する特徴場面情報を検索し、映像制御装置３０aに返送する。具体的には、特徴場面情報検索部２１は、映像制御装置３０aから番組情報として、例えばチャンネル名、放送開始時刻、タイトルを受け取り、この番組情報に一致するレコードをテーブル４０１から検索、該当するレコードの「番組ＩＤ」を持つテーブル４０２上のレコードを取り出し、さらに、一致したレコードの「リストＩＤ」を持つテーブル４０３のレコードを取り出す。テーブル４０２の該当レコードの「リスト名」と対応するテーブル４０３のレコードから図３のフォーマットの情報を構成し、映像制御装置３０aに返送する。テーブル４０２のレコード１つにつきこのフォーマットが生成されるため、複数レコードがマッチするときは、同フォーマットを繰り返し使用する。
【００３７】
次に、映像制御装置３０aの構成について説明する。映像制御装置３０aは、特徴場面取得部３１、特徴場面情報表示部３２、特徴場面情報一時記憶部３３、制御部３４、及び操作部３５を有する。
【００３８】
特徴場面取得部３１は、ユーザからの指示に従って映像再生部４０aより再生中の番組の番組情報を取得することができる。また特徴場面取得部３１は、取得した番組情報をキーとして特徴場面記憶・配信装置２０に送信する。これにより、特徴場面記憶・配信装置２０は、先に説明したように、キーに該当する特徴場面情報を検索し、映像制御装置３０aに返送する。特徴場面取得部３１は、特徴場面記憶・配信装置２０から送られてきた特徴場面情報を、先の番組情報と共に特徴場面情報一時記憶部３３に格納する。特徴場面情報表示部３２は、特徴場面情報一時記憶部３３に記憶された特徴場面情報を提示し、特徴場面をユーザに選択できるようにする。
【００３９】
図５は、特徴場面情報表示部３２が画面上に特徴場面のシーンリストを表示した一例を示している。場面の領域５０１には再生中の番組情報が表示される。また領域５０２にその番組に付けられたシーンリスト（特徴場面情報）の一覧が表示される。
【００４０】
図５の例では、領域５０１に、チャンネル名、放送日時、番組のタイトル名が基本的に表示される。この場合、さらにシーンリストの提供者が表示されてもよい。例えば、特徴場面検出装置１０aにおいて、特徴場面を検出するソフトウエアの作成者或いはソフトウエアに対して検出条件を設定する人や会社が提供者として表示される。
【００４１】
ここで、領域５０２のシーンリスト（特徴場面情報）としては、図の例ではリスト１−リスト４が表示されている。これは領域５０１に表示されたタイトルに対して、少なくとも４種類のシーンリストが用意されていることを意味する。
【００４２】
次に、そのうちの１つのリスト（図の例ではシーンリスト１）が選択されると、領域５０３にそのリストに含まれるシーン（特徴場面）が表示される。図の例では、少なくともシーン１−シーン６が設定されていることを示している。
【００４３】
次に、シーンが選択されたとすると、映像再生制御装置３０aは、その選択したシーンの時刻から当該番組が再生されるように、録画再生装置４０に再生指示を行う。録画再生装置４０は、例えばハードディスクドライブを接続されたテレビジョン受信装置、あるいはハードディスクドライブ及び光ディスクドライブを一体化して有する専用の録再装置、或いはパーソナルコンピュータなどである。映像再生制御装置３０aは、録画再生装置４０に対して再生指示を行う場合、無線（電波、赤外線など）、或いは有線、他の屋内ネットワークなどのいずれかを介して行う。録画再生装置４０は、映像再生制御装置３０aからの再生指示情報に基づいて、記録している番組の再生を実施する。この場合、録画再生装置４０は、指定されたシーンの再生開始位置を指定されたシーンの相対時刻の位置から再生を開始する。
【００４４】
なお再生方法は、上記説明した方法に限定されるものではない。例えば、シーン１−６の先頭画面をサムネールとして録画再生装置４０のモニタ（表示部）に表示してもよい。あるいは、シーン１−６の情報が１画面だけでなく、数秒（例えば１０乃至１５秒）程度の再生区間情報として利用され、シーン１−６がダイジェスト版の如く録画再生装置４０のモニタ（表示部）に表示されるようにしても良い。
【００４５】
図６は、特徴場面検出装置１０aの処理の流れを説明する図である。ステップ６０1では、映像解析部１２内の各特徴量抽出モジュール（映像用、音声用のモジュール）の初期化を行う。次に外部からのタイマーの指示により、映像受信部１１にて番組開始時に受信処理を開始する（ステップ６０２）。外部からの受信開始処理については、予約録画として広く用いられているので、ここでは詳しく述べていない。受信処理が開始されると、映像の場合は、フレームごとに静止画像を、音声の場合は一定量（たとえば100ms単位）で、データが発生する。
【００４６】
ステップ６０４において、取得されたデータが画像ならば、ステップ６０５で映像解析部１２内の特徴量抽出モジュールで、取得された静止画像から特徴量情報を抽出し、ステップ６０６でその特徴量情報を映像特徴量記憶部１５に書き込む。また、取得されたデータが音声ならば、映像解析部１２内の音声処理モジュールで特徴量情報を取り出し（ステップ６０７）、その特徴量情報を映像特徴量記憶部１５に書き込む（６０８）。
【００４７】
番組が終了した場合は、外部からのタイマーの指示でステップ６０９に移り、特徴場面検出部１３は、映像特徴量記憶部１５から必要な特徴量情報を順次読だし、特徴場面かどうか判断する（ステップ６１０）。ステップ６１１にて、読みだす特徴量情報がなくなった場合は、判定された特徴場面を図３のフォーマットに整形し、特徴場面記憶・配信装置２０に送信する。
【００４８】
なお、ステップ６０５、６０７における特徴量抽出処理と、ステップ６１０の特徴場面判断処理は、必ずしも１対１ではない。例えば、男性の登場シーンと、女性の登場シーンという２つの特徴場面の抽出処理を考えると、特徴量抽出処理としては、文献２の顔特徴量を用いるが、男性の登場シーンの特徴場面判断処理と女性の登場シーンの特徴場面判断処理は、同じ特徴量を用いることができる。また、歌唱シーンのように、音声から音楽を判定し、テロップから曲名を判定する場合は、音声と映像の２つの特徴量処理モジュールの結果に足して、１つの特徴場面判断処理が動作する。
【００４９】
なお図６のフローチャートでは、Ｓ６０３において番組が終了した場合に特徴量取得を行って特徴場面判断を行っているが、処理はこのフローに限るものではない。例えば、Ｓ６０６及びＳ６０８において音声と画像の特徴量が書き込まれた場合に直ちに、Ｓ６０９及びＳ６１０の処理を実行して特徴場面を判断してもよい。また、図６のフローチャートでは、ステップ６１１にて読みだす特徴量情報がなくなった場合に特徴場面情報を送信するとしているが、特徴場面検出装置１０aは、特徴場面が検出されると当該特徴画面についての特徴画面情報を直ちに特徴場面記憶・配信装置２０に送信してもよい。
【００５０】
即ち特徴場面検出装置１０aは、受信している映像信号についての特徴量を検出し、特徴量が検出されると当該特徴量に基づいて特徴場面を検出し、特徴画面が検出されると当該特徴画面についての情報を随時生成して特徴場面記憶・配信装置２０に送信することにより、受信中の映像信号の特徴画面情報をほぼリアルタイムでアップロードしてもよい。
【００５１】
本実施例では、放送波を受信して特徴場面検出処理を行っているが、映像の入力はこれにとらわれない。たとえば、インターネット経由でビデオオンデマンドの映像でもよい。この場合、番組情報は、放送とは異なり、「タイトル」とビデオオンデマンド（ＶＯＤ）サーバでつけられた映像を識別できる「映像ＩＤ」を用いることも可能である。
【００５２】
特徴場面検出装置１０aの検出処理は、内容によって変えてもよい。例えば、対象となる番組のジャンルがスポーツの場合は盛り上がりシーン検出を、音楽番組の場合は、歌唱シーン検出を動作させることができる。番組のジャンル情報は、デジタル放送波に含まれるＳＩ情報に付与された情報を用いればよい。
【００５３】
また、特徴場面記憶・配信装置２０は、記憶する特徴場面情報は、本実施例の特徴場面検出装置１０a,１０bのみからの情報となっているが、レコーダなどでユーザが付与したチャプタ情報を同様なフォーマットで送信し、同様に記憶し、このチャプタ情報が端末で利用されるときは、ユーザ或いは管理者の手によるものか区別して表示できるようにすることも可能である。
【００５４】
本開示のシステムでは、特徴場面検出装置が独立して外部に存在しており、また、パーソナルコンピュータなど計算能力の高い機器で構成することが可能である。このため、画像パターンの認識などを利用した映像解析のように大量のリソースが必要な特徴場面の検出も容易である。また、特徴場面検出装置の性能改善も容易で、該特徴場面検出装置を改善するだけですべての録画装置での使い勝手が向上する。また高速処理が可能であることから、特徴場面情報を放送番組の受信時に作成し、ほぼリアルタイムで、再生制御装置に提供することができる。このためにユーザは、録画再生装置に放送番組が録画された後、直ぐに特徴場面検出情報を利用可能である。
【００５５】
特徴場面検出装置１０a,１０bは、上記した実施形態に限定されるものではなく、幅ひろく活用できるように工夫されている。
【００５６】
図７は、特徴場面検出装置１０aをさらに詳しく示している。特徴場面情報送信部１４は、送受信部（モデム）を含み、サーバからの情報を受け付けることも可能である。さらに、インターフェース１７、出力部１８を有し、キーボード７１１、表示器７１２を接続することも可能である。また、メモリ７１３、光ディスクドライブ７１４を接続可能であり、記憶媒体から新しいアプリケーション、或いはバージョンアップされたアプリケーションを取り込むことが可能である。
【００５７】
制御部１６は、各種の機能を実現するための制御部を含む。例えばアプリケーション間リブ７２１、表示制御部７２２、アプリケーションの設定条件（パラメータ）編集制御部７２３、配信先情報管理部７３５、特徴場面情報の分類部７３６、入力情報受付部７４０、データベース管理部７４１などである。
【００５８】
アプリケーション管理部７２１は、映像解析、特徴量検出、特徴場面検出のためのアプリケーション、及びその他の各種の機能（アップロード、表示制御など、）を実行するための各種の各種アプリケーションを管理する。アプリケーション格納部は、専用の記憶媒体が設けられてもよいし、先の映像特徴量記憶部１５の記憶媒体の一部の領域が利用されてもよい。
【００５９】
表示制御部７２２は、例えばメニュー表示、アプリケーションをインストールする際の案内表示、外部から入力を与える際のモニタ表示などの制御を行う。
【００６０】
アプリケーションの設定条件（パラメータ）編集制御部７２３は、例えば番組内の特定の人物の顔画像を検索するアプリケーションに対して、検出回数を制限したり、検出インターバルを修正したり、特定の人物が複数設定されていた場合に、その人数を調整したりする場合に利用される。特定のアプリケーションが採用され、起動する範囲を、つまり、ニュース番組、或いはドラマ、或いは歌謡番組などのジャンル別で動作するように限定することも可能である。例えば、人物画像検出用のアプリケーションであれば、ニュース番組に限定して動作させてシーンリストを作成する、あるいは歌謡番組に限定して動作させてシーンリストを作成するなどの対策が可能である。さらにまた、アプリケーションの設定条件（パラメータ）編集制御部７２３は、受信チャンネルの変更、処理する放送番組の制限情報を与えることも可能である。
【００６１】
配信先情報管理部７３５は、例えば特定のサーバ及び又は特定の映像制御装置に向けてサービスを行う場合に利用される。したがって、配信先情報管理部７３５には、配信先のアドレス（サーバ及び又は映像制御装置）と、このアドレスに送信すべき特徴場面情報とを関連つけた情報が格納されている。このことは、逆に、特徴場面情報を送信するサーバ及び又は映像制御装置を制限可能とするものである。
【００６２】
例えば、特徴場面検出装置１０aは放送番組Ａを受信可能であるが、サーバＡＳを利用する遠隔の映像制御装置が制御する録画再生装置は、放送番組Ａを受信できない場合がある。このような場合は、放送番組Ａに関する特徴場面情報を送信しても無駄である。したがって、このような場合は、サーバＡＳ若しくはサーバＡＳを利用する遠隔の映像制御装置のアドレスが送信先として消去されている。また、この機能は、特別な契約を行ったサーバ及び若しくは映像制御装置に対して、契約に基づく特徴場面情報を配信する場合に利用することもできる。この場合、特別な契約を行ったサーバ及び又は映像制御装置のみが、契約に基づく特徴場面情報を受け取れるように、前記契約に基づく特徴場面情報が暗号化されて送信されることが好ましい。この暗号化された契約に基づく特徴場面情報は、契約しているサーバ及び又は映像制御装置が有する暗号解読キーにより、復号されることができる。
【００６３】
特徴場面情報の分類部７３６は、特徴場面情報を例えばジャンル毎に分類して管理している。ジャンルとしては、スポーツ、ニュース、ドラマ、歌謡番組、バラエティー、映画など各種がある。分類を行う場合には、番組情報から取得することも可能であるし、キーボード７１１を介して、この特徴場面検出装置１０aの管理者が分類コードを各特徴場面情報に与えることも可能である。この場合は、図３、図４に示したフォーマットにジャンルの項目が追加される。
【００６４】
入力情報受付部７４０は、特徴場面情報送受信部１４のモデムを介して入力した情報の検出、メモリ７１３、光ディスクドライブ７１４、キーボード７１１などから入力した情報を検出し、全体動作を管理するＣＰＵ（中央演算処理装置：図示せず）に通知する。
【００６５】
データベース管理部７４１は、例えば特徴場面で人物の顔を検出するために顔画像の比較用サンプルを複数格納することができる。またこれらの比較用サンプルは、編集アプリケーションにより、新たなサンプルが追加されたり、古いサンプルが削除されたりすることも可能である。
【００６６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６７】
１０a，１０b・・・特徴場面検出装置、２０・・・特徴場面記憶・配信装置、３０a，３０b、３０c・・・映像制御装置、４０a、４０b、４０c・・・録画再生装置。
【特許請求の範囲】
【請求項１】
受信した映像信号を解析することにより、予め定められた特徴を持つ特徴量情報を検出する映像解析部と、
前記映像解析部が検出した特徴量情報から、前記映像信号の特徴場面を特定する時刻及び番組名を含む映像特徴場面情報を生成する特徴場面検出部と、
前記映像特徴場面情報を特徴場面記憶・配信装置としてのサーバへアップロードする特徴場面情報送信部と
を有する映像解析情報アップロード装置。
【請求項２】
映像信号を受信する受信部を更に備え、
前記映像解析部は、前記受信部により受信されている映像信号の夫々から前記特徴量を検出し、
前記特徴場面検出部は、前記映像解析部により前記特徴量が検出された場合に前記映像特徴場面情報を生成し、
前記特徴場面情報送信部は、前記映像特徴場面情報が生成された場合に随時当該映像特徴場面情報をアップロードする、請求項１記載の映像解析情報アップロード装置。
【請求項３】
前記映像解析部は、前記映像信号を解析する条件であるパラメータを含むアプリケーションに基づいて前記映像信号を解析するものであり、
前記パラメータは、制御部の制御に基づいて修正若しくは変更が可能である請求項１記載の映像解析情報アップロード装置。
【請求項４】
前記映像解析部が前記映像信号を解析するために利用するアプリケーションは、制御部の制御に基づいて新たなアプリケーションの追加若しくは旧アプリケーションの削除が可能である請求項１記載の映像解析情報アップロード装置。
【請求項５】
受信した映像信号を解析することにより、予め定められた特徴を持つ特徴量情報を検出する映像解析部と、
前記映像解析部が検出した特徴量情報から、前記映像信号の特徴場面を特定する時刻及び番組名を含む映像特徴場面情報を得る特徴場面検出部と、
前記映像特徴場面情報を特徴場面記憶・配信装置としてのサーバへアップロードする特徴場面情報送信部と、
前記特徴場面記憶・配信装置から前記映像特徴場面情報をダウンロードする映像制御装置と、
前記映像制御装置により制御され、前記映像特徴場面情報が指定している番組及びその特徴場面を再生する録画再生装置を有する映像視聴システム。
【請求項６】
映像解析部により、受信した映像信号を解析することにより、予め定められた特徴を持つ特徴量情報を検出し、
特徴場面検出部により、前記映像解析部が検出した特徴量情報から、前記映像信号の特徴場面を特定する時刻及び番組名を含む映像特徴場面情報を得、
特徴場面情報送信部により、前記映像特徴場面情報を特徴場面記憶・配信装置としてのサーバへアップロードし、
映像制御装置により、前記特徴場面記憶・配信装置から前記映像特徴場面情報をダウンロードし、
録画再生装置を前記映像制御装置により制御し、前記映像特徴場面情報が指定している番組及びその特徴場面を再生する映像視聴方法。
【請求項１】
受信した映像信号を解析することにより、予め定められた特徴を持つ特徴量情報を検出する映像解析部と、
前記映像解析部が検出した特徴量情報から、前記映像信号の特徴場面を特定する時刻及び番組名を含む映像特徴場面情報を生成する特徴場面検出部と、
前記映像特徴場面情報を特徴場面記憶・配信装置としてのサーバへアップロードする特徴場面情報送信部と
を有する映像解析情報アップロード装置。
【請求項２】
映像信号を受信する受信部を更に備え、
前記映像解析部は、前記受信部により受信されている映像信号の夫々から前記特徴量を検出し、
前記特徴場面検出部は、前記映像解析部により前記特徴量が検出された場合に前記映像特徴場面情報を生成し、
前記特徴場面情報送信部は、前記映像特徴場面情報が生成された場合に随時当該映像特徴場面情報をアップロードする、請求項１記載の映像解析情報アップロード装置。
【請求項３】
前記映像解析部は、前記映像信号を解析する条件であるパラメータを含むアプリケーションに基づいて前記映像信号を解析するものであり、
前記パラメータは、制御部の制御に基づいて修正若しくは変更が可能である請求項１記載の映像解析情報アップロード装置。
【請求項４】
前記映像解析部が前記映像信号を解析するために利用するアプリケーションは、制御部の制御に基づいて新たなアプリケーションの追加若しくは旧アプリケーションの削除が可能である請求項１記載の映像解析情報アップロード装置。
【請求項５】
受信した映像信号を解析することにより、予め定められた特徴を持つ特徴量情報を検出する映像解析部と、
前記映像解析部が検出した特徴量情報から、前記映像信号の特徴場面を特定する時刻及び番組名を含む映像特徴場面情報を得る特徴場面検出部と、
前記映像特徴場面情報を特徴場面記憶・配信装置としてのサーバへアップロードする特徴場面情報送信部と、
前記特徴場面記憶・配信装置から前記映像特徴場面情報をダウンロードする映像制御装置と、
前記映像制御装置により制御され、前記映像特徴場面情報が指定している番組及びその特徴場面を再生する録画再生装置を有する映像視聴システム。
【請求項６】
映像解析部により、受信した映像信号を解析することにより、予め定められた特徴を持つ特徴量情報を検出し、
特徴場面検出部により、前記映像解析部が検出した特徴量情報から、前記映像信号の特徴場面を特定する時刻及び番組名を含む映像特徴場面情報を得、
特徴場面情報送信部により、前記映像特徴場面情報を特徴場面記憶・配信装置としてのサーバへアップロードし、
映像制御装置により、前記特徴場面記憶・配信装置から前記映像特徴場面情報をダウンロードし、
録画再生装置を前記映像制御装置により制御し、前記映像特徴場面情報が指定している番組及びその特徴場面を再生する映像視聴方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−９８６４０（Ｐ２０１３−９８６４０Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２３７６１６（Ｐ２０１１−２３７６１６）
【出願日】平成２３年１０月２８日（２０１１．１０．２８）
【特許番号】特許第５１９８６４３号（Ｐ５１９８６４３）
【特許公報発行日】平成２５年５月１５日（２０１３．５．１５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１０月２８日（２０１１．１０．２８）
【特許番号】特許第５１９８６４３号（Ｐ５１９８６４３）
【特許公報発行日】平成２５年５月１５日（２０１３．５．１５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]