番組検索情報生成方法および番組検索情報生成システム
【課題】番組録画時に、番組情報が十分に取得できない状況であっても、キーワードによる番組検索が可能になること。
【解決手段】 マッチング情報データベースと番組検索情報データベースを備えた番組情報公開サーバと、動画及び音声解析部を備え、マッチング情報を受信できる複数の番組録画再生機器から構成され、番組録画再生機器が、録画した番組を番組検索情報データベースから受信したマッチング情報を元に、動画解析部及び音声解析部で解析し、番組検索情報を生成して番組情報公開サーバへ送信し、他の番組録画再生機器は、一度生成された番組検索情報は番組情報公開サーバから受信し、検索情報として利用する。
【解決手段】 マッチング情報データベースと番組検索情報データベースを備えた番組情報公開サーバと、動画及び音声解析部を備え、マッチング情報を受信できる複数の番組録画再生機器から構成され、番組録画再生機器が、録画した番組を番組検索情報データベースから受信したマッチング情報を元に、動画解析部及び音声解析部で解析し、番組検索情報を生成して番組情報公開サーバへ送信し、他の番組録画再生機器は、一度生成された番組検索情報は番組情報公開サーバから受信し、検索情報として利用する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、番組検索情報生成方法および番組検索情報生成システムに関し、特に、動画・音声認識を用いて、録画したコンテンツを解析し、その解析結果の情報を番組検索情報として公開サーバに登録し、番組録画再生機器における録画番組の検索情報として利用するための技術に関するものである。
【背景技術】
【０００２】
従来、テレビジョン放送の番組を番組録画再生機器に録画することは、一般家庭においても行われている。また、近年はデジタル放送が増えたため、番組録画再生機器で録画を行う場合は、放送波から取得した電子番組表にある番組情報を一緒に保存することが多くなった。そのため、録画したデータ再生するときに放送日時や番組タイトル、概要、出演者といった情報の対応関係を認識ができる。これらの情報を利用して、録画機器内にある番組の検索することや、番組タイトルの一覧表示を行って、目的とする録画コンテンツを探すことを可能にした装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４０５２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、これらの番組情報は各放送局から提供されているが、全ての出演者は付加されていないこともある。また、その番組内で放映されている著名な風景や建物、著名な出演者が発するセリフに含まれる固有名詞といった情報も含まれていないことがある。
これらの情報は、番組の動画、音声データ内に含まれているため、録画した動画及び音声データを解析し、前記の著名な風景や建物を検索するための検索データとして抽出しておけば、各放送局から受信した番組情報を補完することができる。
ただし、動画、音声データを解析するのには、非常に長い時間かける必要がある。抽出精度を向上させるには、より精密な解析が必要であるので、より時間がかかる傾向がある。
これらを改善するために、抽出した検索データを番組検索情報公開サーバに登録しておき、別の番組録画再生機器が同じ番組を録画していた場合に、番組検索情報公開サーバにアクセスして情報が登録済みであった場合は、取得して、自身の番組録画再生機器で使用するようにする。この場合、当該録画再生機器では動画、音声データの解析処理を行わなくて済むため、録画したデータに対し検索データを付加することが短時間で可能になる。
【０００５】
本発明の目的は、番組録画再生機器で録画したデータに番組情報が放送局や放送日時しか存在せず、検索可能なキーワードがない場合であっても、番組検索情報公開サーバから取得したマッチング情報を用いて、解析して、検索情報を追加することができることができる番組検索情報生成方法及び番組検索情報生成システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る方法は、建造物、出演者または風景を含む録画データを動画解析または音声解析によって抽出するためのパターンマッチングデータと該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースを備えた番組検索情報サーバと、前記マッチング情報データベースからパターンマッチングデータとキーワードを受信し、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる複数の録画再生機器とを備えたシステムにおける番組検索情報生成方法であって、
前記複数の録画再生機器が、電子番組表から取得した放送局情報、録画開始／終了時刻を含む番組情報に基づき録画を開始し、録画データを録画データ保存部に保存させた後、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されているかを問い合わせ、記憶されている場合には当該付加情報を取得し、この付加情報を録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させるステップと、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されていない場合は、前記番組検索情報サーバから取得したパターンマッチングデータとキーワードにより、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させるステップとを備えることを特徴とする。
前記番組検索情報サーバが、前記複数の録画再生機器のいずれかからの付加情報の問い合わせに対して、該当する番組について複数の録画再生機器での動画解析及び音声解析による付加情報が複数存在した場合は信頼度の高い付加情報として要求元の録画再生機器に返信するステップをさらに備えること特徴とする。
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、前記付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする。
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、前記付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする。
【０００７】
本発明に係るシステムは、建造物、出演者または風景を含む録画データを動画解析または音声解析によって抽出するためのパターンマッチングデータと該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースを備えた番組検索情報サーバと、前記マッチング情報データベースからパターンマッチングデータとキーワードを受信し、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる複数の録画再生機器とを備えたシステムであって、
前記複数の録画再生機器が、電子番組表から取得した放送局情報、録画開始／終了時刻を含む番組情報に基づき録画を開始し、録画データを録画データ保存部に保存させた後、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されているかを問い合わせ、記憶されている場合には当該付加情報を取得し、この付加情報を録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させる手段と、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されていない場合は、前記番組検索情報サーバから取得したパターンマッチングデータとキーワードにより、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる手段とを備えることを特徴とする。
前記番組検索情報サーバが、前記複数の録画再生機器のいずれかからの付加情報の問い合わせに対して、該当する番組について複数の録画再生機器での動画解析及び音声解析による付加情報が複数存在した場合は信頼度の高い付加情報として要求元の録画再生機器に返信する手段をさらに備えること特徴とする。
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、前記付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする。
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、前記付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、次のような効果がある。
番組録画再生機器で録画したデータに番組情報が放送局や放送日時しか存在せず、検索可能なキーワードがない場合であっても、番組検索情報公開サーバから取得したマッチング情報を用いて、解析して、検索情報を追加することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施の形態を示すシステム構成図である。
【図２】番組録画再生機器の機能ブロック図である。
【図３】番組検索情報公開サーバの機能ブロック図である。
【図４】番組録画再生機器内に格納されている番組情報のデータ構成図である。
【図５】番組録画再生機器内に格納されている番組検索情報のデータ構成図である。
【図６】番組検索情報公開サーバ内に格納されている番組検索情報のデータの構成図である。
【図７】番組検索情報公開サーバ内に格納されているマッチング情報のデータの構成図である。
【図８】本発明の一実施における動作を示すシーケンス図である。
【図９】パターンマッチングデータと検索キーの対応関係の一例を示す図である。
【図１０】動画解析及び音声解析の結果、複数のマッチングエンジン識別番号の付加情報が番組情報データベースに付加記録されていた場合に、番組録画再生機器２ａ〜２ｎからその付加情報の提供要求があった場合の処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の動画・音声認識を用いた番組検索情報生成方法と配信システムの一実施の形態について添付図面を参照しながら説明する。
図１は、本発明の実施の形態の一例を示すシステム構成図であり、ここで示すシステムは、番組検索情報公開サーバ１と、この番組検索情報公開サーバ１から動画解析及び音声解析に用いるマッチング情報を受信し、解析結果の情報を送受信する番組録画再生機器２ａ、２ｂ、２ｎと、検索情報や録画データの再生を表示できる表示装置３ａ、３ｂ、３ｎで構成されている。
番組録画再生機器２ａ、２ｂ、２ｎは公衆回線網によるネットワーク４に接続され、このネットワーク４に番組検索情報公開サーバ１が接続されている。
従って、番組録画再生機器２ａ、２ｂ、２ｎは、公衆回線網によるネットワーク４を経由して番組検索情報公開サーバ１とデータの送受信を行うようになっている。
【００１１】
図２は、番組録画再生機器２ａ、２ｂ、２ｎの機能ブロック図である。
図２において、番組録画再生機器２ａ、２ｂ、２ｎは、通信部２０１を備えており、この通信部２０１を用いて公衆回線網のネットワーク４を通じて番組検索情報公開サーバ１と通信を行うことができる。よって、番組検索情報公開サーバ１から通信部２０１を経由して動画解析及び音声解析に用いるマッチング情報を取得する。
ここでマッチング情報とは、著名な建造物や出演者、風景などの録画データを動画解析および音声解析によって抽出するためのパターンマッチングデータのことであり、番組検索情報公開サーバ１には該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースが設けられている。
【００１２】
このパターンマッチング処理では、例えば図９に示すように、例えば著名な出演者の画像特徴データがパターンマッチングデータ９０２として準備されると共に、それに対応する検索キー(キーワード)９０１が対になって準備され、公開サーバ１のマッチング情報データベース３０４に記憶されている。
処理回路２０２にあるメモリ内に、データベース更新プログラム２０３を展開し、また、処理回路２０２にあるＣＰＵを用いて取得したマッチング情報を元に、マッチング情報保存部２０４の更新処理を行い、マッチング情報保存部２０４と差分のあったデータは追加格納される。
【００１３】
また、番組録画再生機器２ａ、２ｂ、２ｎは、チューナー部２０５を備えおり、テレビ放送を受信することが可能である。チューナー部２０５を用いて録画したデータをマッチング情報と同じように、処理回路２０２とデータベース更新プログラム２０３を使用して、録画データ保存部２０６に格納する。また、この時取得できた番組情報を、処理回路２０２とデータベース更新プログラム２０３を使用して、番組情報データベース２０７に格納する。
【００１４】
次にマッチング情報保存部２０４にあるデータ、録画データ保存部２０６にある録画コンテンツを用いて、放送局からの番組情報以外の検索情報を付加するために、動画と音声の解析を行う。すなわち、動画解析部２０８を用いて録画コンテンツを解析して画像データ音声データに分けていく。この分けられた画像データを処理回路２０２のメモリ上に展開する。また、マッチングプログラム２１０を処理回路２０２のメモリ上に展開し、ＣＰＵを用いて画像データが、マッチング情報保存部２０４に格納されているパターンマッチングデータ９０２に一致しているかどうか確認する。一致した場合は、それと対になった検索キー９０１を番組情報データベース２０７の番組情報に番組検索のための付加情報として格納する。同様に、音声の解析を行うために、音声解析部２０９を用いて、出演者の音声データを文字情報に変換する。この文字情報を処理回路２０２のメモリ上に展開する。
【００１５】
また、マッチングプログラム２１０を処理回路２０２のメモリ上に展開し、ＣＰＵを用いてマッチング情報保存部２０４に格納されている情報に一致しているかどうか確認する。一致した場合は、番組情報データベース２０７に一致した番組検索情報を格納する。この付加された番組検索情報は、通信部２０１を経由して、番組検索情報公開サーバ１に送信する。
【００１６】
図３は、番組検索情報公開サーバ１の機能ブロック図である。
番組検索情報公開サーバ１には、定期的にマッチング情報を最新情報へ更新するために、データベース更新プログラム３０３を処理回路３０１上のメモリに展開し、そのプログラム上で最新のマッチング情報を展開し、処理回路３０１のＣＰＵを用いてマッチング情報データベース３０４に格納する。
番組検索情報公開サーバ１は、通信部３０２を備えており、公衆回線網を通じて、番組録画再生機器２ａ、２ｂ、２ｎと通信が行うことができる。番組検索情報公開サーバ１は、格納されたマッチング情報に対して、番組録画再生機器２ａ、２ｂ、２ｎから取得要求があった場合に、通信部３０２を経由して送信する。
また、番組録画再生機器２ａ、２ｂ、２ｎから送信された番組検索情報は、通信部３０２を経由して受信する。受信された番組検索情報は、処理回路３０１のメモリ上に展開されたデータベース更新プログラム３０３をＣＰＵが実行し、番組検索情報データベース３０５のデータと差分を確認し、差分があるデータに関しては番組検索情報データベース３０５へ格納する。
【００１７】
番組録画再生機器２ａ、２ｂ、２ｎから番組検索情報の取得要求があった場合、信頼性プログラム３０６を用いて、要求があった信頼度に基づいた番組検索情報を番組検索情報データベース３０５から取得して送信する。
【００１８】
図４は、番組録画再生機器２ａ、２ｂ、２ｎで録画時に取得する番組情報のデータ構造の一例であり、番組識別番号４０１、放送局４０２、番組開始日時４０３、番組終了日時４０４、番組タイトル４０５、番組概要４０６、録画データ保存場所４０７等から構成されており、これ以外にも、取得可能な情報があれば、保持することが可能である。録画データ保存場所４０７に格納されている情報は、録画再生機器２ａ、２ｂ、２ｎの録画データ保存部２０６と対応付けられており、この情報を用いて録画データを再生することができる。
【００１９】
番組検索情報を取得するためには、マッチングプログラム２１０を動作させる必要があるが、そのためには、録画データ保存場所４０７を用いて、録画データ保存場所４０７に格納されている録画データを取得し、放送局４０２、番組開始日時４０３、番組終了日時４０４をマッチングプログラム２１０に展開することにより可能となる。
【００２０】
図５は、番組録画再生機器２ａ、２ｂ、２ｎが録画コンテンツを元に、処理回路２０２、マッチングプログラム２１０、動画解析部２０８、音声解析部２０９を用いて生成する番組検索情報であり、放送局５０１、日時５０２、検索キー５０３で構成されている。
放送局５０１は、図４の放送局４０２が元になった情報である。また、日時５０２に関しては、番組開始日時４０３、番組終了日時４０４と動画解析部２０８で取得された画像データのフレーム位置を元に算出された時刻情報となっている。検索キー５０３については、番組情報公開サーバ１から取得したもので、マッチング情報が元になっている情報で、図７の検索キー７０１と同じものである。これらの情報は、マッチングプログラム２１０で一致した番組検索情報があった場合に格納される。
【００２１】
また、図５で取得した番組検索情報を、番組検索情報公開サーバ１に送信する場合は、図６のような形式で送信する。
データの構造としては、マッチングエンジン識別番号６０１、放送局５０１、日時５０２、検索キー５０３で構成されている。
マッチングエンジン識別番号は、各番組録画再生機器内で使用されているマッチングプログラム２１０を識別するためのもので、作成元やバージョンの違いによって、マッチングエンジン識別番号が変わる。
【００２２】
図７は、番組検索情報公開サーバ１が備えているマッチング情報データベース３０４内に格納されているマッチング情報のデータ構成図であり、検索キー７０１、検索種別７０２、ジャンル７０３、検索情報７０４、マッチングデータ７０５で構成されている。
検索キー７０１は、検索情報７０４を識別するためのユニークなキーで、図５、図６で使用されている検索キーと同様のものであり、このキーを元に、検索情報７０４、マッチングデータ７０５を取得することができる。
検索種別７０２は、検索の種別情報が含まれていて、画像か音声かの種別がある。この２つの情報を元に、画像の場合は、動画解析時に使用する検索情報、音声の場合は、音声解析時に使用する検索情報と分けることができる。
ジャンル７０３は、検索キーワードを分けるために、どのような種別の検索情報かを知るために、芸能人、風景、店名といったジャンル情報が文字列で含まれている。これらは、実際に録画コンテンツを検索するときに使用する。
【００２３】
検索情報７０４は、文字列で表示したい検索情報が含まれており、検索種別７０２で芸能人だった場合は、芸能人名、風景であった場合は、その場所の名称、店名であった場合は、その店名が含まれている。
パターンマッチング７０５は、マッチングプログラム２１０が一致判定で使用するためのマッチングデータであり、検索種別７０２が画像であった場合は、芸能人の顔画像や、風景画像が保持されている。検索種別７０２が音声であった場合は、文字列が保持されている。これらの情報を使用して、動画や音声データ内に検索対象の情報が含まれているか確かめるマッチング処理を行う。
【００２４】
図８は、番組録画再生機器２ａ、２ｂ、２ｎと番組検索情報公開サーバ１との処理の概要を示すフローチャートである。
番組録画再生機器２ａ、２ｂ、２ｎは、まず、番組検索情報公開サーバ１へマッチング情報の取得の要求を行い。その応答を受け取る(ステップ８０１)。その結果をマッチング情報保存部２０４に格納する（ステップ８０１）。
その後、番組録画再生機器２ａ、２ｂ、２ｎは、番組録画が行われた場合（ステップ８０２）、録画データ保存部２０５へ録画データの保存と、番組情報データベース２０７へ番組情報を保存する（ステップ８０３）。
録画したデータを元に、その録画データの番組付加情報が番組検索情報公開サーバ１に既に存在するかどうか、番組付加情報の取得要求を行う（ステップ８０４）。その時に、要求情報として、信頼度、放送局４０２、放送開始日時４０３、放送終了日時４０４を含めた情報を送信する。
【００２５】
番組検索情報公開サーバ１はこれらの情報を元に、番組検索情報を番組検索情報データベース３０５から取得する。要求された信頼度が低い場合は、番組検索情報データベース３０５にある、放送局６０２が放送局４０２に一致し、日時６０３が、放送開始日時４０３、放送終了日時４０４の範囲内に存在した場合、検索情報を取得し、送信する。
信頼度が高い場合は、複数のマッチングエンジンで一致した場合という条件でのみ、番組検索情報を送信する。例えば、マッチングエンジン識別番号ＡＡＡが存在しており、このマッチングエンジンによって、放送局６０２が放送局４０２に一致し、日時６０３が、放送開始日時４０３、放送終了日時４０４の範囲内にある番組情報検索情報があったとする。これに対して、別のマッチングエンジン識別番号ＢＢＢというマッチングエンジンが存在していて、番組検索情報の解析を行ったところ、マッチングエンジン識別番号ＡＡＡで解析した番組検索情報と同じ、放送局６０２、同じ日時６０３が存在した場合は、一致とみなし、送信する検索情報の対象となる。
【００２６】
番組検索情報公開サーバ１にデータが存在した場合は、取得成功として、要求のあった番組録画再生機器３ａ〜３ｎへ応答を返却し（ステップ８０５）、要求した番組録画再生機器２ａ〜２ｎは、番組情報データベース２０７へ番組検索情報を格納する（ステップ８１０）。
番組検索情報公開サーバ１に期待した番組情報が存在せず、取得失敗した場合（ステップ８０５）、番組録画再生機器２ａ、２ｂ、２ｎは、動画及び、音声の解析処理を行い、番組検索情報を生成する（ステップ８０６）、（ステップ８０７）。このときに生成された番組検索情報を番組検索情報公開サーバ１へ送信する（ステップ８０９）。
送信完了後は、番組情報データベース２０７へ格納する（ステップ８１０）。
また、番組検索情報を受信した番組検索情報公開サーバ１についても、番組検索情報を番組検索情報データベース３０５へ格納する（ステップ８１２）
以上のように、本実施の形態の動画・音声認識を用いた番組検索情報生成方法と配信システムによれば、次の効果がある。
【００２７】
番組録画再生機器２ａ〜２ｎで録画したデータに番組情報が放送局や放送日時しか存在せず、検索するキーワードがない場合であっても、番組検索情報公開サーバ１から取得したマッチング情報を用いて、解析して、検索情報を追加することができる。
番組録画再生機器が一度、検索情報を番組検索情報公開サーバ１へ登録すれば、別の番組録画再生機器２ａ〜２ｎが、同じ放送局で、同じ時間の検索情報を要求すれば、自身で解析せずに、短時間で検索情報を取得することができる。
番組録画再生機器２ａ〜２ｎは、録画されている動画及び、音声の解析から番組検索情報を取得する。この解析に利用するマッチング情報は、番組検索情報公開サーバ１から取得することができ、番組検索情報公開サーバ１側で最新の状態を保つことにより、番組録画再生機器２ａ〜２ｎも定期的にマッチング情報を取得することによって、最新のマッチング情報を入手できる。
【００２８】
番組録画再生機器２ａ〜２ｎで付加できる番組検索情報は、録画されている動画及び、音声情報から取得することができ、取得可能な検索情報は、マッチング情報の情報量で決まる。
番組検索情報公開サーバ１が番組録画再生機器から受け取るマッチングエンジン識別番号は、マッチングプログラム毎によって、ユニークに識別される番号であり、作成元やバージョンによって変わる。別の識別番号であった場合、マッチングプログラムから得られる番組検索情報は、同じ放送局、時間帯、マッチング情報であっても同じ結果になるとは限らない。
【００２９】
番組検索情報公開サーバ１は、番組検索情報の信頼性を向上させるために、同じ放送局、同じ時間帯であっても、マッチングエンジン識別番号が違う場合は、複数の同じ検索情報を保持している。これは、別々のマッチングプログラムから得られた結果が同じであれば、信頼性が高いという判断を行うために用いるもので、番組録画再生機器２ａ〜２ｎから高い信頼度の検索情報の要求があった場合に、使用する。
【００３０】
図１０は、動画解析及び音声解析の結果、複数のマッチングエンジン識別番号の付加情報が番組情報データベースに付加記録されていた場合に、番組録画再生機器２ａ〜２ｎからその付加情報の提供要求があった場合の処理の概要を示すフローチャートである。
公開サーバ１は、番組録画再生機器２ａ〜２ｎから受信した放送局、放送日時を元に番組情報検索データベース３０５を検索する（ステップ１００１）。そして、同一の番組について複数のマッチングエンジン（録画再生機器）から複数のマッチングエンジン識別番号の複数の解析結果である検索キー９０１（付加情報）が登録されていた場合には、この付加情報は信頼性が高いデータであるとして要求元の番組録画再生機器２ａ〜２ｎに返す（ステップ１００３，１００４）。しかし、マッチングエンジン識別番号が１つであった場合、解析したマッチングエンジンの数がすくないので、信頼性が低いデータとして要求元の番組録画再生機器２ａ〜２ｎに返す（ステップ１００２，１００３）。
また、要求されたデータが存在しなかった場合には「データ無し」を返す（ステップ１００６、１００７）。
以上において、番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することも可能である。この場合には、データベース内のデータに信頼性に関する新たな項目を設け、当該付加情報に信頼性が高い場合には「１」を、低い場合には「０」のように記録すれば良い。これにより、より精度が高いと予想されるデータについて、信頼度の高い情報としてフラグ立てすることができる。
また、番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録するようにしても良い。これにより、より確実な情報のみを番組検索情報データベースに記憶し、更に精度を高めることが可能となる。この場合、番組録画再生機器は信頼性の高い付加情報のみ番組検索サーバから返信を受け、信頼性の低い付加情報は受信せずに済むようになる。
なお、上記実施形態において、マッチング情報で説明しているジャンルは、芸能人、風景、店名のみであったが、これ以外のジャンルを同様に追加することが可能である。また、上記実施形態では動画解析及び音声解析の両方の結果を使用する例を示したが、そのいずれかのみ、つまり動画解析または音声解析のみを使用するように構成しても良い。
【００３１】
以上のように、上記実施形態によれば、番組録画再生機器で録画したデータに番組情報が放送局や放送日時しか存在せず、検索可能なキーワードがない場合であっても、番組検索情報公開サーバから取得したマッチング情報を用いて、解析して、検索情報を追加することができる。また、番組録画再生機器が一度、検索情報を番組検索情報公開サーバへ登録すれば、別の番組録画再生機器が、同じ放送局で、同じ時間の検索情報を要求すれば、自身で解析せずに、短時間で検索情報を取得することができる。
【符号の説明】
【００３２】
１ 番組検索情報公開サーバ
２ａ、２ｂ、２ｎ 番組録画再生機器
２１０ マッチングプログラム
４０２ 放送局
４０３ 番組開始日時
４０４ 番組終了日時
７０１ 検索キー
【技術分野】
【０００１】
本発明は、番組検索情報生成方法および番組検索情報生成システムに関し、特に、動画・音声認識を用いて、録画したコンテンツを解析し、その解析結果の情報を番組検索情報として公開サーバに登録し、番組録画再生機器における録画番組の検索情報として利用するための技術に関するものである。
【背景技術】
【０００２】
従来、テレビジョン放送の番組を番組録画再生機器に録画することは、一般家庭においても行われている。また、近年はデジタル放送が増えたため、番組録画再生機器で録画を行う場合は、放送波から取得した電子番組表にある番組情報を一緒に保存することが多くなった。そのため、録画したデータ再生するときに放送日時や番組タイトル、概要、出演者といった情報の対応関係を認識ができる。これらの情報を利用して、録画機器内にある番組の検索することや、番組タイトルの一覧表示を行って、目的とする録画コンテンツを探すことを可能にした装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４０５２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、これらの番組情報は各放送局から提供されているが、全ての出演者は付加されていないこともある。また、その番組内で放映されている著名な風景や建物、著名な出演者が発するセリフに含まれる固有名詞といった情報も含まれていないことがある。
これらの情報は、番組の動画、音声データ内に含まれているため、録画した動画及び音声データを解析し、前記の著名な風景や建物を検索するための検索データとして抽出しておけば、各放送局から受信した番組情報を補完することができる。
ただし、動画、音声データを解析するのには、非常に長い時間かける必要がある。抽出精度を向上させるには、より精密な解析が必要であるので、より時間がかかる傾向がある。
これらを改善するために、抽出した検索データを番組検索情報公開サーバに登録しておき、別の番組録画再生機器が同じ番組を録画していた場合に、番組検索情報公開サーバにアクセスして情報が登録済みであった場合は、取得して、自身の番組録画再生機器で使用するようにする。この場合、当該録画再生機器では動画、音声データの解析処理を行わなくて済むため、録画したデータに対し検索データを付加することが短時間で可能になる。
【０００５】
本発明の目的は、番組録画再生機器で録画したデータに番組情報が放送局や放送日時しか存在せず、検索可能なキーワードがない場合であっても、番組検索情報公開サーバから取得したマッチング情報を用いて、解析して、検索情報を追加することができることができる番組検索情報生成方法及び番組検索情報生成システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る方法は、建造物、出演者または風景を含む録画データを動画解析または音声解析によって抽出するためのパターンマッチングデータと該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースを備えた番組検索情報サーバと、前記マッチング情報データベースからパターンマッチングデータとキーワードを受信し、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる複数の録画再生機器とを備えたシステムにおける番組検索情報生成方法であって、
前記複数の録画再生機器が、電子番組表から取得した放送局情報、録画開始／終了時刻を含む番組情報に基づき録画を開始し、録画データを録画データ保存部に保存させた後、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されているかを問い合わせ、記憶されている場合には当該付加情報を取得し、この付加情報を録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させるステップと、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されていない場合は、前記番組検索情報サーバから取得したパターンマッチングデータとキーワードにより、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させるステップとを備えることを特徴とする。
前記番組検索情報サーバが、前記複数の録画再生機器のいずれかからの付加情報の問い合わせに対して、該当する番組について複数の録画再生機器での動画解析及び音声解析による付加情報が複数存在した場合は信頼度の高い付加情報として要求元の録画再生機器に返信するステップをさらに備えること特徴とする。
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、前記付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする。
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、前記付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする。
【０００７】
本発明に係るシステムは、建造物、出演者または風景を含む録画データを動画解析または音声解析によって抽出するためのパターンマッチングデータと該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースを備えた番組検索情報サーバと、前記マッチング情報データベースからパターンマッチングデータとキーワードを受信し、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる複数の録画再生機器とを備えたシステムであって、
前記複数の録画再生機器が、電子番組表から取得した放送局情報、録画開始／終了時刻を含む番組情報に基づき録画を開始し、録画データを録画データ保存部に保存させた後、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されているかを問い合わせ、記憶されている場合には当該付加情報を取得し、この付加情報を録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させる手段と、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されていない場合は、前記番組検索情報サーバから取得したパターンマッチングデータとキーワードにより、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる手段とを備えることを特徴とする。
前記番組検索情報サーバが、前記複数の録画再生機器のいずれかからの付加情報の問い合わせに対して、該当する番組について複数の録画再生機器での動画解析及び音声解析による付加情報が複数存在した場合は信頼度の高い付加情報として要求元の録画再生機器に返信する手段をさらに備えること特徴とする。
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、前記付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする。
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、前記付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、次のような効果がある。
番組録画再生機器で録画したデータに番組情報が放送局や放送日時しか存在せず、検索可能なキーワードがない場合であっても、番組検索情報公開サーバから取得したマッチング情報を用いて、解析して、検索情報を追加することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施の形態を示すシステム構成図である。
【図２】番組録画再生機器の機能ブロック図である。
【図３】番組検索情報公開サーバの機能ブロック図である。
【図４】番組録画再生機器内に格納されている番組情報のデータ構成図である。
【図５】番組録画再生機器内に格納されている番組検索情報のデータ構成図である。
【図６】番組検索情報公開サーバ内に格納されている番組検索情報のデータの構成図である。
【図７】番組検索情報公開サーバ内に格納されているマッチング情報のデータの構成図である。
【図８】本発明の一実施における動作を示すシーケンス図である。
【図９】パターンマッチングデータと検索キーの対応関係の一例を示す図である。
【図１０】動画解析及び音声解析の結果、複数のマッチングエンジン識別番号の付加情報が番組情報データベースに付加記録されていた場合に、番組録画再生機器２ａ〜２ｎからその付加情報の提供要求があった場合の処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の動画・音声認識を用いた番組検索情報生成方法と配信システムの一実施の形態について添付図面を参照しながら説明する。
図１は、本発明の実施の形態の一例を示すシステム構成図であり、ここで示すシステムは、番組検索情報公開サーバ１と、この番組検索情報公開サーバ１から動画解析及び音声解析に用いるマッチング情報を受信し、解析結果の情報を送受信する番組録画再生機器２ａ、２ｂ、２ｎと、検索情報や録画データの再生を表示できる表示装置３ａ、３ｂ、３ｎで構成されている。
番組録画再生機器２ａ、２ｂ、２ｎは公衆回線網によるネットワーク４に接続され、このネットワーク４に番組検索情報公開サーバ１が接続されている。
従って、番組録画再生機器２ａ、２ｂ、２ｎは、公衆回線網によるネットワーク４を経由して番組検索情報公開サーバ１とデータの送受信を行うようになっている。
【００１１】
図２は、番組録画再生機器２ａ、２ｂ、２ｎの機能ブロック図である。
図２において、番組録画再生機器２ａ、２ｂ、２ｎは、通信部２０１を備えており、この通信部２０１を用いて公衆回線網のネットワーク４を通じて番組検索情報公開サーバ１と通信を行うことができる。よって、番組検索情報公開サーバ１から通信部２０１を経由して動画解析及び音声解析に用いるマッチング情報を取得する。
ここでマッチング情報とは、著名な建造物や出演者、風景などの録画データを動画解析および音声解析によって抽出するためのパターンマッチングデータのことであり、番組検索情報公開サーバ１には該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースが設けられている。
【００１２】
このパターンマッチング処理では、例えば図９に示すように、例えば著名な出演者の画像特徴データがパターンマッチングデータ９０２として準備されると共に、それに対応する検索キー(キーワード)９０１が対になって準備され、公開サーバ１のマッチング情報データベース３０４に記憶されている。
処理回路２０２にあるメモリ内に、データベース更新プログラム２０３を展開し、また、処理回路２０２にあるＣＰＵを用いて取得したマッチング情報を元に、マッチング情報保存部２０４の更新処理を行い、マッチング情報保存部２０４と差分のあったデータは追加格納される。
【００１３】
また、番組録画再生機器２ａ、２ｂ、２ｎは、チューナー部２０５を備えおり、テレビ放送を受信することが可能である。チューナー部２０５を用いて録画したデータをマッチング情報と同じように、処理回路２０２とデータベース更新プログラム２０３を使用して、録画データ保存部２０６に格納する。また、この時取得できた番組情報を、処理回路２０２とデータベース更新プログラム２０３を使用して、番組情報データベース２０７に格納する。
【００１４】
次にマッチング情報保存部２０４にあるデータ、録画データ保存部２０６にある録画コンテンツを用いて、放送局からの番組情報以外の検索情報を付加するために、動画と音声の解析を行う。すなわち、動画解析部２０８を用いて録画コンテンツを解析して画像データ音声データに分けていく。この分けられた画像データを処理回路２０２のメモリ上に展開する。また、マッチングプログラム２１０を処理回路２０２のメモリ上に展開し、ＣＰＵを用いて画像データが、マッチング情報保存部２０４に格納されているパターンマッチングデータ９０２に一致しているかどうか確認する。一致した場合は、それと対になった検索キー９０１を番組情報データベース２０７の番組情報に番組検索のための付加情報として格納する。同様に、音声の解析を行うために、音声解析部２０９を用いて、出演者の音声データを文字情報に変換する。この文字情報を処理回路２０２のメモリ上に展開する。
【００１５】
また、マッチングプログラム２１０を処理回路２０２のメモリ上に展開し、ＣＰＵを用いてマッチング情報保存部２０４に格納されている情報に一致しているかどうか確認する。一致した場合は、番組情報データベース２０７に一致した番組検索情報を格納する。この付加された番組検索情報は、通信部２０１を経由して、番組検索情報公開サーバ１に送信する。
【００１６】
図３は、番組検索情報公開サーバ１の機能ブロック図である。
番組検索情報公開サーバ１には、定期的にマッチング情報を最新情報へ更新するために、データベース更新プログラム３０３を処理回路３０１上のメモリに展開し、そのプログラム上で最新のマッチング情報を展開し、処理回路３０１のＣＰＵを用いてマッチング情報データベース３０４に格納する。
番組検索情報公開サーバ１は、通信部３０２を備えており、公衆回線網を通じて、番組録画再生機器２ａ、２ｂ、２ｎと通信が行うことができる。番組検索情報公開サーバ１は、格納されたマッチング情報に対して、番組録画再生機器２ａ、２ｂ、２ｎから取得要求があった場合に、通信部３０２を経由して送信する。
また、番組録画再生機器２ａ、２ｂ、２ｎから送信された番組検索情報は、通信部３０２を経由して受信する。受信された番組検索情報は、処理回路３０１のメモリ上に展開されたデータベース更新プログラム３０３をＣＰＵが実行し、番組検索情報データベース３０５のデータと差分を確認し、差分があるデータに関しては番組検索情報データベース３０５へ格納する。
【００１７】
番組録画再生機器２ａ、２ｂ、２ｎから番組検索情報の取得要求があった場合、信頼性プログラム３０６を用いて、要求があった信頼度に基づいた番組検索情報を番組検索情報データベース３０５から取得して送信する。
【００１８】
図４は、番組録画再生機器２ａ、２ｂ、２ｎで録画時に取得する番組情報のデータ構造の一例であり、番組識別番号４０１、放送局４０２、番組開始日時４０３、番組終了日時４０４、番組タイトル４０５、番組概要４０６、録画データ保存場所４０７等から構成されており、これ以外にも、取得可能な情報があれば、保持することが可能である。録画データ保存場所４０７に格納されている情報は、録画再生機器２ａ、２ｂ、２ｎの録画データ保存部２０６と対応付けられており、この情報を用いて録画データを再生することができる。
【００１９】
番組検索情報を取得するためには、マッチングプログラム２１０を動作させる必要があるが、そのためには、録画データ保存場所４０７を用いて、録画データ保存場所４０７に格納されている録画データを取得し、放送局４０２、番組開始日時４０３、番組終了日時４０４をマッチングプログラム２１０に展開することにより可能となる。
【００２０】
図５は、番組録画再生機器２ａ、２ｂ、２ｎが録画コンテンツを元に、処理回路２０２、マッチングプログラム２１０、動画解析部２０８、音声解析部２０９を用いて生成する番組検索情報であり、放送局５０１、日時５０２、検索キー５０３で構成されている。
放送局５０１は、図４の放送局４０２が元になった情報である。また、日時５０２に関しては、番組開始日時４０３、番組終了日時４０４と動画解析部２０８で取得された画像データのフレーム位置を元に算出された時刻情報となっている。検索キー５０３については、番組情報公開サーバ１から取得したもので、マッチング情報が元になっている情報で、図７の検索キー７０１と同じものである。これらの情報は、マッチングプログラム２１０で一致した番組検索情報があった場合に格納される。
【００２１】
また、図５で取得した番組検索情報を、番組検索情報公開サーバ１に送信する場合は、図６のような形式で送信する。
データの構造としては、マッチングエンジン識別番号６０１、放送局５０１、日時５０２、検索キー５０３で構成されている。
マッチングエンジン識別番号は、各番組録画再生機器内で使用されているマッチングプログラム２１０を識別するためのもので、作成元やバージョンの違いによって、マッチングエンジン識別番号が変わる。
【００２２】
図７は、番組検索情報公開サーバ１が備えているマッチング情報データベース３０４内に格納されているマッチング情報のデータ構成図であり、検索キー７０１、検索種別７０２、ジャンル７０３、検索情報７０４、マッチングデータ７０５で構成されている。
検索キー７０１は、検索情報７０４を識別するためのユニークなキーで、図５、図６で使用されている検索キーと同様のものであり、このキーを元に、検索情報７０４、マッチングデータ７０５を取得することができる。
検索種別７０２は、検索の種別情報が含まれていて、画像か音声かの種別がある。この２つの情報を元に、画像の場合は、動画解析時に使用する検索情報、音声の場合は、音声解析時に使用する検索情報と分けることができる。
ジャンル７０３は、検索キーワードを分けるために、どのような種別の検索情報かを知るために、芸能人、風景、店名といったジャンル情報が文字列で含まれている。これらは、実際に録画コンテンツを検索するときに使用する。
【００２３】
検索情報７０４は、文字列で表示したい検索情報が含まれており、検索種別７０２で芸能人だった場合は、芸能人名、風景であった場合は、その場所の名称、店名であった場合は、その店名が含まれている。
パターンマッチング７０５は、マッチングプログラム２１０が一致判定で使用するためのマッチングデータであり、検索種別７０２が画像であった場合は、芸能人の顔画像や、風景画像が保持されている。検索種別７０２が音声であった場合は、文字列が保持されている。これらの情報を使用して、動画や音声データ内に検索対象の情報が含まれているか確かめるマッチング処理を行う。
【００２４】
図８は、番組録画再生機器２ａ、２ｂ、２ｎと番組検索情報公開サーバ１との処理の概要を示すフローチャートである。
番組録画再生機器２ａ、２ｂ、２ｎは、まず、番組検索情報公開サーバ１へマッチング情報の取得の要求を行い。その応答を受け取る(ステップ８０１)。その結果をマッチング情報保存部２０４に格納する（ステップ８０１）。
その後、番組録画再生機器２ａ、２ｂ、２ｎは、番組録画が行われた場合（ステップ８０２）、録画データ保存部２０５へ録画データの保存と、番組情報データベース２０７へ番組情報を保存する（ステップ８０３）。
録画したデータを元に、その録画データの番組付加情報が番組検索情報公開サーバ１に既に存在するかどうか、番組付加情報の取得要求を行う（ステップ８０４）。その時に、要求情報として、信頼度、放送局４０２、放送開始日時４０３、放送終了日時４０４を含めた情報を送信する。
【００２５】
番組検索情報公開サーバ１はこれらの情報を元に、番組検索情報を番組検索情報データベース３０５から取得する。要求された信頼度が低い場合は、番組検索情報データベース３０５にある、放送局６０２が放送局４０２に一致し、日時６０３が、放送開始日時４０３、放送終了日時４０４の範囲内に存在した場合、検索情報を取得し、送信する。
信頼度が高い場合は、複数のマッチングエンジンで一致した場合という条件でのみ、番組検索情報を送信する。例えば、マッチングエンジン識別番号ＡＡＡが存在しており、このマッチングエンジンによって、放送局６０２が放送局４０２に一致し、日時６０３が、放送開始日時４０３、放送終了日時４０４の範囲内にある番組情報検索情報があったとする。これに対して、別のマッチングエンジン識別番号ＢＢＢというマッチングエンジンが存在していて、番組検索情報の解析を行ったところ、マッチングエンジン識別番号ＡＡＡで解析した番組検索情報と同じ、放送局６０２、同じ日時６０３が存在した場合は、一致とみなし、送信する検索情報の対象となる。
【００２６】
番組検索情報公開サーバ１にデータが存在した場合は、取得成功として、要求のあった番組録画再生機器３ａ〜３ｎへ応答を返却し（ステップ８０５）、要求した番組録画再生機器２ａ〜２ｎは、番組情報データベース２０７へ番組検索情報を格納する（ステップ８１０）。
番組検索情報公開サーバ１に期待した番組情報が存在せず、取得失敗した場合（ステップ８０５）、番組録画再生機器２ａ、２ｂ、２ｎは、動画及び、音声の解析処理を行い、番組検索情報を生成する（ステップ８０６）、（ステップ８０７）。このときに生成された番組検索情報を番組検索情報公開サーバ１へ送信する（ステップ８０９）。
送信完了後は、番組情報データベース２０７へ格納する（ステップ８１０）。
また、番組検索情報を受信した番組検索情報公開サーバ１についても、番組検索情報を番組検索情報データベース３０５へ格納する（ステップ８１２）
以上のように、本実施の形態の動画・音声認識を用いた番組検索情報生成方法と配信システムによれば、次の効果がある。
【００２７】
番組録画再生機器２ａ〜２ｎで録画したデータに番組情報が放送局や放送日時しか存在せず、検索するキーワードがない場合であっても、番組検索情報公開サーバ１から取得したマッチング情報を用いて、解析して、検索情報を追加することができる。
番組録画再生機器が一度、検索情報を番組検索情報公開サーバ１へ登録すれば、別の番組録画再生機器２ａ〜２ｎが、同じ放送局で、同じ時間の検索情報を要求すれば、自身で解析せずに、短時間で検索情報を取得することができる。
番組録画再生機器２ａ〜２ｎは、録画されている動画及び、音声の解析から番組検索情報を取得する。この解析に利用するマッチング情報は、番組検索情報公開サーバ１から取得することができ、番組検索情報公開サーバ１側で最新の状態を保つことにより、番組録画再生機器２ａ〜２ｎも定期的にマッチング情報を取得することによって、最新のマッチング情報を入手できる。
【００２８】
番組録画再生機器２ａ〜２ｎで付加できる番組検索情報は、録画されている動画及び、音声情報から取得することができ、取得可能な検索情報は、マッチング情報の情報量で決まる。
番組検索情報公開サーバ１が番組録画再生機器から受け取るマッチングエンジン識別番号は、マッチングプログラム毎によって、ユニークに識別される番号であり、作成元やバージョンによって変わる。別の識別番号であった場合、マッチングプログラムから得られる番組検索情報は、同じ放送局、時間帯、マッチング情報であっても同じ結果になるとは限らない。
【００２９】
番組検索情報公開サーバ１は、番組検索情報の信頼性を向上させるために、同じ放送局、同じ時間帯であっても、マッチングエンジン識別番号が違う場合は、複数の同じ検索情報を保持している。これは、別々のマッチングプログラムから得られた結果が同じであれば、信頼性が高いという判断を行うために用いるもので、番組録画再生機器２ａ〜２ｎから高い信頼度の検索情報の要求があった場合に、使用する。
【００３０】
図１０は、動画解析及び音声解析の結果、複数のマッチングエンジン識別番号の付加情報が番組情報データベースに付加記録されていた場合に、番組録画再生機器２ａ〜２ｎからその付加情報の提供要求があった場合の処理の概要を示すフローチャートである。
公開サーバ１は、番組録画再生機器２ａ〜２ｎから受信した放送局、放送日時を元に番組情報検索データベース３０５を検索する（ステップ１００１）。そして、同一の番組について複数のマッチングエンジン（録画再生機器）から複数のマッチングエンジン識別番号の複数の解析結果である検索キー９０１（付加情報）が登録されていた場合には、この付加情報は信頼性が高いデータであるとして要求元の番組録画再生機器２ａ〜２ｎに返す（ステップ１００３，１００４）。しかし、マッチングエンジン識別番号が１つであった場合、解析したマッチングエンジンの数がすくないので、信頼性が低いデータとして要求元の番組録画再生機器２ａ〜２ｎに返す（ステップ１００２，１００３）。
また、要求されたデータが存在しなかった場合には「データ無し」を返す（ステップ１００６、１００７）。
以上において、番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することも可能である。この場合には、データベース内のデータに信頼性に関する新たな項目を設け、当該付加情報に信頼性が高い場合には「１」を、低い場合には「０」のように記録すれば良い。これにより、より精度が高いと予想されるデータについて、信頼度の高い情報としてフラグ立てすることができる。
また、番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録するようにしても良い。これにより、より確実な情報のみを番組検索情報データベースに記憶し、更に精度を高めることが可能となる。この場合、番組録画再生機器は信頼性の高い付加情報のみ番組検索サーバから返信を受け、信頼性の低い付加情報は受信せずに済むようになる。
なお、上記実施形態において、マッチング情報で説明しているジャンルは、芸能人、風景、店名のみであったが、これ以外のジャンルを同様に追加することが可能である。また、上記実施形態では動画解析及び音声解析の両方の結果を使用する例を示したが、そのいずれかのみ、つまり動画解析または音声解析のみを使用するように構成しても良い。
【００３１】
以上のように、上記実施形態によれば、番組録画再生機器で録画したデータに番組情報が放送局や放送日時しか存在せず、検索可能なキーワードがない場合であっても、番組検索情報公開サーバから取得したマッチング情報を用いて、解析して、検索情報を追加することができる。また、番組録画再生機器が一度、検索情報を番組検索情報公開サーバへ登録すれば、別の番組録画再生機器が、同じ放送局で、同じ時間の検索情報を要求すれば、自身で解析せずに、短時間で検索情報を取得することができる。
【符号の説明】
【００３２】
１ 番組検索情報公開サーバ
２ａ、２ｂ、２ｎ 番組録画再生機器
２１０ マッチングプログラム
４０２ 放送局
４０３ 番組開始日時
４０４ 番組終了日時
７０１ 検索キー
【特許請求の範囲】
【請求項１】
建造物、出演者または風景を含む録画データを動画解析または音声解析によって抽出するためのパターンマッチングデータと該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースを備えた番組検索情報サーバと、前記マッチング情報データベースからパターンマッチングデータとキーワードを受信し、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる複数の録画再生機器とを備えたシステムにおける番組検索情報生成方法であって、
前記複数の録画再生機器が、
電子番組表から取得した放送局情報、録画開始／終了時刻を含む番組情報に基づき録画を開始し、録画データを録画データ保存部に保存させた後、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されているかを問い合わせ、記憶されている場合には当該付加情報を取得し、この付加情報を録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させるステップと、
当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されていない場合は、前記番組検索情報サーバから取得したパターンマッチングデータとキーワードにより、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させるステップとを備えることを特徴とする番組検索情報生成方法。
【請求項２】
前記番組検索情報サーバが、前記複数の録画再生機器のいずれかからの付加情報の問い合わせに対して、該当する番組について複数の録画再生機器での動画解析または音声解析による付加情報が複数存在した場合は信頼度の高い付加情報として要求元の録画再生機器に返信するステップをさらに備えること特徴とする請求項１に記載の番組検索情報生成方法。
【請求項３】
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、前記付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする請求項１または２に記載の番組検索情報生成方法。
【請求項４】
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、前記付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする請求項１から３の何れかに記載の番組検索情報生成方法。
【請求項５】
建造物、出演者または風景を含む録画データを動画解析または音声解析によって抽出するためのパターンマッチングデータと該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースを備えた番組検索情報サーバと、前記マッチング情報データベースからパターンマッチングデータとキーワードを受信し、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる複数の録画再生機器とを備えたシステムであって、
前記複数の録画再生機器が、
電子番組表から取得した放送局情報、録画開始／終了時刻を含む番組情報に基づき録画を開始し、録画データを録画データ保存部に保存させた後、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されているかを問い合わせ、記憶されている場合には当該付加情報を取得し、この付加情報を録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させる手段と、
当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されていない場合は、前記番組検索情報サーバから取得したパターンマッチングデータとキーワードにより、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる手段とを備えることを特徴とする番組検索情報生成システム。
【請求項６】
前記番組検索情報サーバが、前記複数の録画再生機器のいずれかからの付加情報の問い合わせに対して、該当する番組について複数の録画再生機器での動画解析または音声解析による付加情報が複数存在した場合は信頼度の高い付加情報として要求元の録画再生機器に返信する手段をさらに備えること特徴とする請求項５に記載の番組検索情報生成システム。
【請求項７】
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、前記付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする請求項５または６に記載の番組検索情報生成方法。
【請求項８】
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、前記付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする請求項５から７の何れかに記載の番組検索情報生成方法。
【請求項１】
建造物、出演者または風景を含む録画データを動画解析または音声解析によって抽出するためのパターンマッチングデータと該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースを備えた番組検索情報サーバと、前記マッチング情報データベースからパターンマッチングデータとキーワードを受信し、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる複数の録画再生機器とを備えたシステムにおける番組検索情報生成方法であって、
前記複数の録画再生機器が、
電子番組表から取得した放送局情報、録画開始／終了時刻を含む番組情報に基づき録画を開始し、録画データを録画データ保存部に保存させた後、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されているかを問い合わせ、記憶されている場合には当該付加情報を取得し、この付加情報を録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させるステップと、
当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されていない場合は、前記番組検索情報サーバから取得したパターンマッチングデータとキーワードにより、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させるステップとを備えることを特徴とする番組検索情報生成方法。
【請求項２】
前記番組検索情報サーバが、前記複数の録画再生機器のいずれかからの付加情報の問い合わせに対して、該当する番組について複数の録画再生機器での動画解析または音声解析による付加情報が複数存在した場合は信頼度の高い付加情報として要求元の録画再生機器に返信するステップをさらに備えること特徴とする請求項１に記載の番組検索情報生成方法。
【請求項３】
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、前記付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする請求項１または２に記載の番組検索情報生成方法。
【請求項４】
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、前記付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする請求項１から３の何れかに記載の番組検索情報生成方法。
【請求項５】
建造物、出演者または風景を含む録画データを動画解析または音声解析によって抽出するためのパターンマッチングデータと該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースを備えた番組検索情報サーバと、前記マッチング情報データベースからパターンマッチングデータとキーワードを受信し、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる複数の録画再生機器とを備えたシステムであって、
前記複数の録画再生機器が、
電子番組表から取得した放送局情報、録画開始／終了時刻を含む番組情報に基づき録画を開始し、録画データを録画データ保存部に保存させた後、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されているかを問い合わせ、記憶されている場合には当該付加情報を取得し、この付加情報を録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させる手段と、
当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されていない場合は、前記番組検索情報サーバから取得したパターンマッチングデータとキーワードにより、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる手段とを備えることを特徴とする番組検索情報生成システム。
【請求項６】
前記番組検索情報サーバが、前記複数の録画再生機器のいずれかからの付加情報の問い合わせに対して、該当する番組について複数の録画再生機器での動画解析または音声解析による付加情報が複数存在した場合は信頼度の高い付加情報として要求元の録画再生機器に返信する手段をさらに備えること特徴とする請求項５に記載の番組検索情報生成システム。
【請求項７】
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、前記付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする請求項５または６に記載の番組検索情報生成方法。
【請求項８】
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、前記付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする請求項５から７の何れかに記載の番組検索情報生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１１４７７０（Ｐ２０１２−１１４７７０Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６３３２８（Ｐ２０１０−２６３３２８）
【出願日】平成２２年１１月２６日（２０１０．１１．２６）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２６日（２０１０．１１．２６）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
[ Back to top ]