広告映像埋込システム
【課題】 広告映像が確実に視聴者に届くように、番組映像に広告映像を埋め込む広告映像埋込システムを提供する。
【解決手段】 広告映像埋込システムは、番組映像登録装置２により番組コンテンツ管理装置４に登録された番組映像を、番組映像処理装置１０において受信し、受信した番組映像の空間変化量等を計算することによって、番組映像から空白の連続領域として図形を検出する。次に、検出された図形の領域と、広告映像登録装置６により広告コンテンツ管理装置８に登録された広告映像から、広告コンテンツ管理装置８により作成された広告内容記述データにより示される広告映像の領域とを比較することにより、広告映像を埋め込む図形と、図形に埋め込まれる広告映像とを対応させた埋込条件を作成する。そして、ユーザ端末１４において、番組コンテンツ管理装置４により提供された番組映像に、番組映像処理装置１０において作成された埋込条件に基づいて、広告コンテンツ管理装置８により提供された広告映像を埋め込むことによって映像を合成し、合成した映像を再生表示する。
【解決手段】 広告映像埋込システムは、番組映像登録装置２により番組コンテンツ管理装置４に登録された番組映像を、番組映像処理装置１０において受信し、受信した番組映像の空間変化量等を計算することによって、番組映像から空白の連続領域として図形を検出する。次に、検出された図形の領域と、広告映像登録装置６により広告コンテンツ管理装置８に登録された広告映像から、広告コンテンツ管理装置８により作成された広告内容記述データにより示される広告映像の領域とを比較することにより、広告映像を埋め込む図形と、図形に埋め込まれる広告映像とを対応させた埋込条件を作成する。そして、ユーザ端末１４において、番組コンテンツ管理装置４により提供された番組映像に、番組映像処理装置１０において作成された埋込条件に基づいて、広告コンテンツ管理装置８により提供された広告映像を埋め込むことによって映像を合成し、合成した映像を再生表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタル形式で提供されるテレビ番組等の番組映像に広告映像を埋め込む広告映像埋込システムに関するものである。
【背景技術】
【０００２】
従来、テレビやビデオの映像コンテンツの提供に伴い宣伝用の映像コンテンツが提供される場合、宣伝用の映像コンテンツは、原則的に、コマーシャルとして時間分離された形式でテレビやビデオの映像コンテンツに挿入され放映されていた。例えば、テレビで番組の映像コンテンツが提供される場合には、番組の映像コンテンツが１５分間放映された後、１５秒や３０秒のコマーシャル（宣伝用の映像コンテンツ）が３分間程度放映され、コマーシャル（宣伝用の映像コンテンツ）の放映が終了した場合に、番組の映像コンテンツの放映が再開されるという形式で宣伝用の映像コンテンツが放映されていた。
【０００３】
なお、ネットワーク等の通信回線を介して配信された映画やアニメーション等の映像コンテンツに、動的に広告コンテンツを挿入する映像コンテンツ提供システムが存在する（特許文献１参照）。この映像コンテンツ提供システムは、広告映像（宣伝用の映像コンテンツ）を映像コンテンツ（映画のコンテンツ等）を改編することのないタイミング等、例えば、シーンが切り替わるタイミングを挿入位置条件として指定すると共に、映画の映像コンテンツ等の流れや視聴者の意識を変えることの無い長さの広告映像を挿入するように、挿入する広告映像の長さを制限する挿入最長時間条件等を設定し、設定された条件に基づいて広告映像を挿入している。
【０００４】
【特許文献１】特開２００１−３５７３００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、近年、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）やハードディスクを備えたビデオデッキが普及しているため、コマーシャルの部分は簡単にスキップすることができるようになり、コマーシャルが視聴者に届きにくくなっている。その一方、近年、地上デジタル放送の普及等により、デジタル化された映像コンテンツが視聴者に提供される場合が多くなっている。
【０００６】
この発明の課題は、広告映像が確実に視聴者に届くように、番組映像に広告映像を埋め込む広告映像埋込システムを提供することである。
【課題を解決するための手段】
【０００７】
請求項１記載の広告映像埋込システムは、番組映像を記憶する番組映像記憶手段と、前記番組映像記憶手段に記憶された番組映像の特徴を示す番組内容記述データを記憶する番組内容記述データ記憶手段と、前記番組映像記憶手段に記憶されている番組映像を、ユーザ端末に提供する番組提供手段とを備える番組コンテンツ管理装置と、広告映像を記憶する広告映像記憶手段と、前記広告映像記憶手段に記憶された広告映像の特徴を示す広告内容記述データを記憶する広告内容記述データ記憶手段と、前記広告映像記憶手段に記憶されている広告映像を、前記ユーザ端末に提供する広告提供手段とを備える広告コンテンツ管理装置と、前記番組映像に画像解析処理を施すことにより、前記広告映像を埋め込む埋込領域を検出する埋込領域検出手段と、前記番組内容記述データ及び前記広告内容記述データから、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成する埋込条件作成手段と、前記埋込条件作成手段により作成された埋込条件を、前記ユーザ端末に提供する埋込条件提供手段とを備える番組映像処理装置とを備えることを特徴とする。
【０００８】
この請求項１記載の広告映像埋込システムによれば、番組映像に画像解析処理を施すことにより番組映像から埋込領域を検出し、番組内容記述データ及び広告内容記述データを参照することにより、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成している。即ち、番組映像の「余白」に該当する部分として検出された埋込領域に、該埋込領域に埋め込む広告映像を示す埋込条件を作成することにより、番組映像を視聴しているユーザの眼に確実に広告映像が触れるようにすることができる。
【０００９】
また、請求項２記載の広告映像埋込システムは、番組映像を記憶する番組映像記憶手段と、前記番組映像記憶手段に記憶された番組映像の特徴を示す番組内容記述データを記憶する番組内容記述データ記憶手段とを備える番組コンテンツ管理装置と、広告映像を記憶する広告映像記憶手段と、前記広告映像記憶手段に記憶された広告映像の特徴を示す広告内容記述データを記憶する広告内容記述データ記憶手段とを備える広告コンテンツ管理装置と、前記番組映像に画像解析処理を施すことにより、前記広告映像を埋め込む埋込領域を検出する埋込領域検出手段と、前記番組内容記述データ及び前記広告内容記述データから、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成する埋込条件作成手段と、前記埋込条件作成手段により作成された埋込条件に基づいて、前記番組映像に前記広告映像を埋め込む映像合成手段と、前記映像合成手段により合成された映像をユーザ端末に送信する映像送信手段とを備える番組映像処理装置とを備えることを特徴とする。
【００１０】
この請求項２記載の広告映像埋込システムによれば、番組映像に画像解析処理を施して埋込領域を検出し、番組内容記述データ及び広告内容記述データを参照することにより、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成している。そして、作成された埋込条件に基づいて番組映像に広告映像を埋め込んで映像を合成し、合成した映像をユーザ端末に送信している。即ち、番組映像の「余白」に該当する部分に広告映像を埋め込んだ映像をユーザ端末に送信しているため、番組を視聴しているユーザに対して確実に広告映像を届けることができ、効率的な宣伝広告を実現することができる。
【００１１】
また、請求項３記載の広告映像埋込システムは、前記埋込領域検出手段が、前記番組映像の空間変化量を計算する空間変化量計算手段と、前記番組映像の雑音を平滑化する雑音平滑化計算手段と、前記番組映像を領域分割し連続領域を図形として検出する連続領域検出手段と、前記連続領域検出手段により検出された図形の面積を計算する図形面積計算手段と、前記図形の中心を計算する図形中心計算手段と、前記図形中心計算手段により計算された図形の中心から、前記番組映像の中心までの距離に従って前記図形を整列させる図形整列手段とを更に備え、前記埋込条件作成手段は、前記図形整列手段により整列させた図形の中から選択された図形を、前記埋込領域として広告映像と対応させることにより埋込条件を作成することを特徴とする。
【００１２】
この請求項３記載の広告映像埋込システムによれば、番組映像に空間変化量の計算、雑音平滑化の計算等の画像解析処理を施し、連続領域として検出された図形を、番組映像の中心からの距離に従って整列させ、整列させた図形の中のから選択された図形を埋込領域として埋込条件を作成している。従って、例えば、番組映像の中心からの距離に従って、所定範囲内に存在する図形を埋込領域として埋込条件を作成できるため、ユーザにより認知される可能性が高い範囲の図形を埋込領域とすることができる。
【００１３】
また、請求項４記載の広告映像埋込システムは、前記埋込条件作成手段が、前記広告内容記述データにより示される広告映像の領域と、前記埋込領域検出手段により検出された埋込領域とを比較することにより、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成することを特徴とする。
【００１４】
この請求項４記載の広告映像埋込システムによれば、検出された埋込領域の領域、例えば、埋込領域の面積、形状等と、広告映像の領域、例えば、広告映像の面積、形状等とを比較することにより埋込条件が作成される。従って、面積や形状が略一致する埋込領域に広告映像を埋め込むことができ、例えば、番組映像を損なうことなく適切に広告映像を埋め込むことができる。
【００１５】
また、請求項５記載の広告映像埋込システムは、前記埋込条件作成手段が、前記番組内容記述データと前記広告内容記述データとの照合を行い、少なくとも番組映像の視聴者層と広告映像のターゲット層とが略一致した場合に、前記番組映像に前記広告映像を埋め込むことを特徴とする。
【００１６】
この請求項５記載の広告映像埋込システムによれば、番組映像の視聴者層と広告映像のターゲット層とが略一致する場合に、その番組映像にその広告映像を埋め込むことを示す埋込条件を作成している。例えば、番組内容記述データにより番組映像の視聴者層として中高年男性が示されている場合には、広告内容記述データにより広告映像のターゲット層として中高年男性や、中年男性等が示されている広告映像を埋め込むようにすることができる。従って、番組映像を視聴しているユーザに適した広告映像を埋め込むことができ、効果的な広告宣伝を実現することができる。
【００１７】
また、請求項６記載の広告映像埋込システムは、前記ユーザ端末が、前記番組映像管理装置から前記番組提供手段を介して提供された番組映像及び前記広告映像管理装置から前記広告提供手段を介して提供された広告映像を記憶する映像記憶手段と、番組映像に広告映像を埋め込むことを許可又は拒否することを示す埋込可否指定を記憶する埋込可否指定記憶手段と、前記埋込可否指定記憶手段に記憶されている埋込可否指定により番組映像に広告映像を埋め込むことが許可されている場合に、前記番組映像処理装置から前記埋込条件提供手段を介して提供された埋込条件に基づいて、前記映像記憶手段に記憶されている前記番組映像に前記広告映像を埋め込む映像合成手段と、前記映像合成手段により前記広告映像が埋め込まれた番組映像を再生表示する映像再生表示手段とを備えることを特徴とする。
【００１８】
この請求項６記載の広告映像埋込システムによれば、ユーザ端末において、番組映像に広告映像を埋め込むことを許可するか拒否するかを指定している。即ち、ユーザにより番組映像への広告映像の埋込が許可された場合にのみ、番組映像に広告映像を埋め込んで映像を合成し再生表示することができる。従って、ユーザの意思に基づいて番組映像に広告映像を埋め込むか否かを指定することができ、ユーザの要望を的確に反映させることができる。
【発明の効果】
【００１９】
この発明によれば、番組映像に画像解析処理を施して埋込領域を検出し、番組内容記述データ及び広告内容記述データを参照することにより、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成している。即ち、番組映像の「余白」に該当する部分として検出された埋込領域に、該埋込領域に埋め込む広告映像を示す埋込条件を作成することにより、番組映像と広告映像とを時間分離してユーザに提供する場合と異なり、番組映像を視聴しているユーザの眼に確実に広告映像が触れるようにすることができる。
【００２０】
また、番組映像に空間変化量の計算、雑音平滑化の計算等の画像解析処理を施し、連続領域として検出された図形を、番組映像の中心からの距離に従って整列させ、整列させた図形の中から選択された図形を埋込領域として埋込条件を作成している。例えば、番組映像の中心からの距離に従って、所定範囲内に存在する図形を埋込領域として埋込条件を作成することができ、ユーザにより認知される可能性が高い範囲の図形を埋込領域とすることができる。従って、番組映像を視聴しているユーザの眼に広告映像が触れた場合に、その広告映像をユーザが適切に認知可能な範囲に広告映像を埋め込むことができ、番組映像を視聴しているユーザに確実に広告映像を届けることができる。そのため、ユーザに対する高い広告宣伝効果を実現することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照してこの発明の実施の形態に係る広告映像埋込システムについて説明する。なお、以下においては、いわゆるＭＰＥＧ−７（Ｍｕｌｔｉｍｅｄｉａ Ｃｏｎｔｅｎｔ Ｄｅｓｃｒｉｐｔｉｏｎ Ｉｎｔｅｒｆａｃｅ：マルチメディアコンテンツの記述インターフェース）により映像コンテンツ（番組映像及び広告映像）が管理されている場合を例として説明する。
【００２２】
図１は、この発明の実施の形態に係る広告映像埋込システムのブロック構成図である。広告映像埋込システムは、図１に示すように、番組映像登録装置２、番組コンテンツ管理装置（番組映像管理装置）４、広告映像登録装置６、広告コンテンツ管理装置（広告映像管理装置）８、番組映像処理装置１０及び映像合成・再生装置（ユーザ端末）１４により構成されている。番組映像登録装置２は、番組コンテンツ管理装置４と、広告映像登録装置６は広告コンテンツ管理装置８とそれぞれ接続されており、番組コンテンツ管理装置４及び広告コンテンツ管理装置８は番組映像処理装置１０と接続されている。また、番組コンテンツ管理装置４、広告コンテンツ管理装置８及び番組映像処理装置１０は、それぞれネットワーク１２を介してユーザ端末１４と接続されている。なお、番組映像登録装置２、番組コンテンツ管理装置４、広告映像登録装置６、広告コンテンツ管理装置８及び番組映像処理装置１０は、例えば、視聴者（ユーザ）に番組映像等を提供する放送局等に設置されており、ユーザ端末１４は、放送局等により提供された番組映像を視聴するユーザが保有している。
【００２３】
番組映像登録装置２は、番組コンテンツ管理装置４に番組映像を登録する装置であり、番組コンテンツ管理装置４は、番組映像登録装置２により登録された番組映像の編集、ユーザへの番組映像の提供等を行う装置である。
【００２４】
広告映像登録装置６は、広告コンテンツ管理装置８に広告映像を登録する装置であり、広告コンテンツ管理装置８は、広告映像登録装置６により登録された広告映像の編集、ユーザへの広告映像の提供等を行う装置である。
【００２５】
番組映像処理装置１０は、番組映像に広告映像を埋め込む際の条件、即ち、番組映像の何れの図形に何れの広告映像を埋め込むか等を示す埋込条件を作成する等の処理を行う装置である。
【００２６】
ユーザ端末１４は、番組コンテンツ管理装置４から提供された番組映像に、番組映像処理装置１０から提供された埋込条件に基づいて、広告コンテンツ管理装置８から提供された広告映像を埋め込むことによって映像を合成し、合成された映像を再生表示する等の処理を行う装置である。
【００２７】
番組コンテンツ管理装置４は、図２に示すように、番組映像データベース（番組映像ＤＢ）２０、番組映像を編集する編集部２２、番組メタデータ（番組内容記述データ）を記憶する番組メタデータ記憶部２４、番組映像及び番組メタデータを提供する提供部２６を備えている。番組映像ＤＢ２０は、番組映像登録装置２と接続されており、番組映像登録装置２により登録された番組映像を記憶する。また、編集部２２は、番組映像ＤＢ２０と接続されており、番組映像ＤＢ２０に登録された番組映像から、番組映像の内容等の特徴を示すデータを抽出し、抽出されたデータに基づいて番組メタデータを作成する。
【００２８】
ここで、メタデータとは、ＭＰＥＧ−７により規定されている内容記述の規格等に従って作成されるデータであり、メタデータとしての内容記述には、大きく分けて高レベルな記述と低レベルな記述の２種類が存在する。例えば、高レベルな記述は、人が映像の内容を理解し記述する注釈等のテキストデータであり、低レベルな記述は、映像の画像信号や音響・音声信号等の特徴量である。高レベルな記述としての注釈は、例えば、番組を示す電子番組表、画像を構成する図形要素の属性及び視聴者層等を示すテキストデータである。電子番組表としては、例えば、「プロ野球リーグ、巨人・中日戦」等、図形要素の属性としては、例えば、車体、道路、看板等、番組の視聴者層としては、例えば、年齢：中高年、性別：男性等である。注釈のテキストデータは、キーボード等により構成される入力部（図示せず）を介して番組コンテンツ管理装置４に入力される。また、低レベルな記述である画像信号として、被写体の色、テクスチャ、形、動き、領域等の画像特徴量が自動的に抽出され、音響・音声信号として、無音、音声、音色、効果音、メロディ等の特徴量が自動的に抽出される。従って、番組映像ＤＢ２０に登録された番組映像から画像信号や音響・音声信号等の特徴量を自動的に抽出すると共に、必要であれば注釈等のテキストデータが入力され、抽出された特徴量及び入力されたテキストデータを含む番組メタデータが編集部２２により作成される。
【００２９】
また、図２に示すように、番組メタデータ記憶部２４は、編集部２２と接続されており、編集部２２により作成された番組メタデータを記憶する。また、提供部２６は、番組映像ＤＢ２０及び番組メタデータ記憶部２４と接続されており、番組映像ＤＢ２０に記憶されている番組映像及び番組メタデータ記憶部２４に記憶されている番組メタデータを、番組映像処理装置１０及びユーザ端末１４に提供する。
【００３０】
広告コンテンツ管理装置８は、図３に示すように、広告映像データベース（広告映像ＤＢ）３０、広告映像を編集する編集部３２、広告メタデータ（広告内容記述データ）を記憶する広告メタデータ記憶部３４、広告映像及び広告メタデータを提供する提供部３６を備えている。広告映像ＤＢ３０は、広告映像登録装置６と接続されており、広告映像登録装置６により登録された広告映像を記憶する。また、編集部３２は、広告映像ＤＢ３０と接続されており、広告映像ＤＢ３０に登録された広告映像から、広告映像の内容等の特徴を示すデータを抽出し、抽出されたデータに基づいて広告メタデータを作成する。なお、広告メタデータは、番組メタデータと同様の処理により作成される。また、広告メタデータの注釈は、例えば、広告映像の主体企業、製品、サービス、広告のターゲット層の説明等のテキストデータである。
【００３１】
また、広告メタデータ記憶部３４は、編集部３２と接続されており、編集部３２により作成された広告メタデータを記憶する。また、提供部３６は、広告映像ＤＢ３０及び番組メタデータ記憶部３４と接続されており、広告メタデータ記憶部３４に記憶されている広告メタデータを番組映像処理装置１０に提供すると共に、広告映像ＤＢ２０に記憶されている広告映像及び広告メタデータ記憶部３４に記憶されている広告メタデータをユーザ端末１４に提供する。
【００３２】
また、番組映像処理装置１０は、図４に示すように、通信制御部４０、空間変化量計算部４２、雑音平滑化計算部４４、連続領域検出部４６、図形面積計算部４８、図形中心計算部５０、図形整列部５２、埋込条件作成部５４、埋込条件提供部５６及びデータ記憶部５８を備えている。この番組映像処理装置１０においては、まず、番組コンテンツ管理装置４及び広告コンテンツ管理装置８との間の通信を制御する通信制御部４０を介して、番組コンテンツ管理装置４から提供される番組映像及び番組メタデータと、広告コンテンツ管理装置８から提供される広告メタデータとが受信される。なお、番組映像及び番組メタデータは、例えば、放映予定が決定した等の時点で番組コンテンツ管理装置４から提供され、通信制御部４０を介して受信された後、データ記憶部５８に記憶される。また、広告メタデータは、例えば、広告映像登録装置６により新たな広告映像が広告コンテンツ管理装置８に登録され、登録された広告映像の広告メタデータが作成される毎に、広告コンテンツ管理装置８から提供され、通信制御部４０を介して受信された後、データ記憶部５８に記憶される。
【００３３】
次に、空間変化量計算部４２により、データ記憶部５８に記憶された番組映像の空間変化量を計算する。なお、以下においては、番組映像を構成する任意の画像（静止画像）に対して空間変化量の計算、雑音平滑化の計算等の画像解析処理を施す場合を例として説明する。
【００３４】
まず、画像の空間変化量は、画像に急激な変化が起こっている位置を示すことから、空間変化量を計算することにより、画像を構成する図形要素の領域の境界（図形要素の輪郭）を検出する。ここで、画像内の全ての画素は色情報を持っているため、空間変化量計算部４２においては、画素の明るさの変化量を微分演算を利用して計算することにより空間変化量を計算する。
【００３５】
しかし、デジタル画像は連続ではなく、厳密には微分演算を行うことができないため、隣接する画素の明るさの差分を示す値、即ち、光の三原色である赤・緑・青、それぞれの成分毎に計算した後に合算した値により微分値の近似値を計算する。隣接する画素の差分は、微分パラメータを用いて画素に重み付けをすることにより計算することができ、計算された差分の値が隣接する画素の微分値の近似値となる。従って、画像上の画素（ｘ、ｙ）における明るさの差分Δ（ｘ、ｙ）を２次微分（ラプラシアン）により計算する。差分Δ（ｘ、ｙ）は、例えば、図５において、ラプラシアン１、ラプラシアン２及びラプラシアン３として示すオペレータ（微分パラメータ）の中から選択されたオペレータをラプラシアンの式に当てはめることより計算することができる。例えば、図５に示すラプラシアン１を用いた場合、「Δ（ｘ、ｙ）＝４・ｆ（ｘ、ｙ）−｛ｆ（ｘ、ｙ−１）+ｆ（ｘ、ｙ+１）+ｆ（ｘ−１）+ｆ（ｘ+１、ｙ）｝」となるラプラシアンの式から、差分の値を計算することができる。
【００３６】
上述のような計算を行うラプラシアンフィルタを画像に適用し、画像を構成する全ての画素について隣接する画素との差分を計算することにより、画像を構成する図形要素の輪郭を検出する。次に、図形要素の輪郭が検出された画像において、「全体が持つ性質から要素の振舞い方が決定される」とするゲシュタルト心理学に基づく群化の効果により、広告映像を埋め込んだ場合に認知されにくい領域を検出する。即ち、人は、その視界の範囲内において、近くのものや似通ったものを１つのものとして認知するため、雑然とした空間にある図形要素は、１つにまとめられてしまい、その空間に埋め込まれた広告映像が目立たなくなることが知られている。従って、例えば、図６に示すラプラシアンフィルタが適用された画像中の破線で囲まれた空間のように、画素の明るさが断続的に変化している雑然とした空間を検出する。なお、ラプラシアンフィルタが適用された画像、例えば、図６に示す画像は、データ記憶部５８に記憶される。
【００３７】
次に、雑音平滑化計算部４４により、空間変化量計算部４２により空間変化量が計算された画像からノイズ（雑音）を除去する。即ち、画像は、独立した正方形の画素が集まることにより構成されているため、不規則に発生した雑音の濃度（輝点の明度と彩度）は、周囲の濃度と急激な差を生じている。従って、ある画素と周囲の画素との濃度差を無くすことにより、雑音を除去（平滑化）することができる。
【００３８】
雑音を平滑化する手法には、ある画素の値を周辺の値の平均値に設定する移動平均法と、ある画素の周辺の画素の値をソートし、その中央値をある画素の値として設定するメディアンフィルタによる手法とが存在する。移動平均法は、画像の全ての画素の値を、周辺の画素が示す値の平均値に変更してしまうため、雑音を除去するだけでなく画像を構成する図形要素の輪郭をぼかしてしまうという欠点を有している。
【００３９】
一方、メディアンフィルタは、図７に示すように、濃度の値が「１０」である画素を中心とし、その画素の周囲の値を、「３，３，３，４，４，５，５，５，１０」とソートする。そして、ソートされた値の中央値、即ち、「４」を「１０」と置き換えることによって、雑音を除去する。従って、画像を構成する全ての画素に対してメディアンフィルタにより雑音を除去する処理を施すことによって、図８に示すように、画像を構成する図形要素の輪郭をぼかすことなく、雑音のみを画像から除去することができる。なお、雑音が平滑化された画像は、データ記憶部５８に記憶される。
【００４０】
次に、連続領域検出部４６において、雑音平滑化計算部４４により雑音が平滑化された画像から連続領域（図形）を検出し、広告映像を埋め込むのに適した領域を検出する。例えば、領域分割符号化の技術を用いて、雑音が平滑化された画像を、例えば、図９に示すように領域分割することによって、図形を検出する。なお、領域分割された画像は、データ記憶部５８に記憶される。また、図形の検出を行う技術は、上述の領域分割符号化の技術に限定されるものではなく、画像から図形を検出することができる技術であれば、どのような技術を用いてもよい。
【００４１】
次に、連続領域検出部４６により検出された図形の面積を、図形面積計算部４８において計算する。即ち、検出された図形の輪郭を積分可能なスプライン多項式を用いて近似し、以下に説明する線積分の公式を用いて検出された図形の面積を計算する。
【００４２】
図１０は、線積分の公式を用いた図形面積の計算処理の一例を説明するための図である。この図１０に示す平面上の曲線に沿った線積分は、まず、この曲線上の点に、ある量が存在していると考える。次に、その量をｚ＝ｆ（ｘ、ｙ）として、ｚ軸方向に持っていく。その時の曲線とｚ＝ｆ（ｘ、ｙ）とが囲むカーテン状の領域の面積が線積分となる。図形面積計算部４８においても、上述の処理と同様の処理により検出された図形の面積を計算する。なお、計算された図形の面積は、データ記憶部５８に記憶される。
【００４３】
次に、図形面積計算部４８により面積が計算された図形の中心、即ち、ｘｙ軸上における図形の中心座標を、図形中心計算部５０において計算する。ここで、例えば、図１１に示す図形の中心を示す座標を計算する場合には、まず、図形に接するΔｘ幅の長方形の面積和で計算された図形の近似面積が、図形の面積の１／２になる位置として、図形中心のｘ座標が求まる。また、ｘ軸とｙ軸とを入れ替えて同様の計算を行うことにより、図形中心のｙ座標も求まる。従って、図形中心計算部５０においても、図１１に示す図形中心を計算する場合と同様の計算を行うことによって、図形の中心座標を計算する。なお、図形中心計算部５０により計算された図形の中心を示す座標は、データ記憶部５８に記憶される。
【００４４】
次に、図形中心計算部５０により計算された図形中心に基づいて、図形整列部５２により図形を整列させる。例えば、図形の中心と、該図形により構成される画像の中心との距離を計算し、画像の中心からの距離が小さい順、即ち、画像の中心に近い順に図形を整列させることによって、連続領域として検出された図形を並び替える。
【００４５】
そして、並び替えた図形の中から、広告映像を埋め込むのに適していない図形を除外する。例えば、番組映像が、図１２に示すような画面幅及び画面縦に表示される場合、視聴者の認知範囲は所定の範囲に限られることが知られているため（仮想都市の認知（http://www.digitalcity.jst.go.jp/research/ninchi/）等参照）、視聴者が図形を認知する範囲から外れている領域、即ち、画像の中心からの距離が所定の値以上となっており、図１２に示す周辺領域に存在する図形を除外する。また、広告映像を埋め込むのに小さ過ぎる図形、例えば、データ記憶部５８に記憶されている広告メタデータにより示される広告映像の領域よりも小さい図形を除外する。また、広告映像を埋め込むのに大き過ぎる図形、例えば、空や地面等がひとまとまりの図形として認識され、画像全体の面積に対して所定の割合以上に広い領域を占めている場合、このように広い領域に広告映像を埋め込むことにより番組映像そのものを損なう虞があるため、このような図形を除外する。そして、除外されなかった図形、即ち、広告映像を埋め込むのに適している図形をデータ記憶部５８に記憶する。
【００４６】
次に、埋込条件作成部５４において、図形整列部５２により整列させた図形の中から、データ記憶部５８に記憶されている番組メタデータ及びデータ記憶部５８に記憶されている広告メタデータを参照して広告映像を埋め込む図形を選択し、選択された図形と、該図形に埋め込まれる広告映像とを対応付けた埋込条件を作成する。即ち、まず、図形の領域（図形の面積、形状、幅、高さ等）と、広告メタデータにより示される広告映像の領域（広告映像の面積、形状、幅、高さ等）とを、整列させた図形の先頭から順に比較していく。次に、比較結果に基づいて、図形に埋め込む広告映像を特定すると共に、特定された広告映像を埋め込む図形を特定する。そして、特定された図形と、該図形に埋め込まれる広告映像として特定された広告映像とを対応付けた埋込条件を作成する。なお、作成された埋込条件は、データ記憶部５８に記憶される。
【００４７】
次に、埋込条件作成部５４により作成された埋込条件を、埋込条件提供部５６を介してユーザ端末１４に提供する。即ち、番組コンテンツ管理装置４からネットワーク１２を介してユーザ端末１４に番組映像及び番組メタデータが提供され、広告コンテンツ管理装置８からネットワーク１２を介してユーザ端末１４に広告映像及び広告メタデータが提供されるのと共に、番組映像処理装置１０の埋込条件作成部５４により作成された埋込条件を、埋込条件提供部５６及びネットワーク１２を介してユーザ端末１４に提供する。
【００４８】
ユーザ端末１４は、図１３に示すように、通信制御部６０、埋込判定部６２、映像合成部６４、再生表示部６６及びデータ記憶部６８を備えている。データ記憶部６８には、予めユーザにより設定された番組映像への広告映像の埋込を許可するか拒否するかを指定した埋込可否指定が記憶されている。
【００４９】
ユーザ端末１４においては、番組コンテンツ管理装置４から提供される番組映像及び番組メタデータ、広告コンテンツ管理装置８から提供される広告映像及び広告メタデータ、番組映像処理装置１０から提供される埋込条件のそれぞれを通信制御部６０を介して受信しデータ記憶部６８に記憶する。次に、埋込判定部６２により、データ記憶部６８に記憶されている埋込可否指定において、番組映像への広告映像の埋込が許可されているか拒否されているかを判定する。
【００５０】
埋込判定部６２により、番組映像への広告映像の埋込が許可されていると判定された場合には、映像合成部６４により、埋込条件に基づいて番組映像に広告映像を埋め込むことにより映像を合成する。即ち、図１４に示すように、埋込条件として対応付けられた図形に広告映像を埋め込むことにより番組映像と広告映像とを合成し、合成された映像をデータ記憶部６８に記憶する。
【００５１】
ここで、例えば、埋込条件として、一つの図形に対して領域が略一致する複数の広告映像が対応付けられている等の場合には、番組メタデータと広告メタデータとのマッチング（照合）を行うことにより、対応付けられている広告映像の中から選択された広告映像を図形に埋め込むようにしてもよい。例えば、番組映像の番組メタデータに含まれる視聴者層として、中高年男性が設定されている場合には、図形に対応付けられた広告映像の広告メタデータに含まれるターゲット層として、中高年男性が設定されている広告映像を選択し図形に埋め込むようにしてもよい。
【００５２】
次に、映像合成部６４により合成されデータ記憶部６８に記憶された映像を、再生表示部６６において再生表示する。なお、埋込判定部６２により、番組映像に広告映像を埋め込むことが拒否されている場合には、広告映像が埋め込まれていない番組映像を再生表示部６６において再生表示する。
【００５３】
この発明の実施の形態に係る広告映像埋込システムによれば、番組映像から検出された連続領域、即ち、番組映像の余白部分として連続領域（図形）を検出し、検出された図形と、該図形に埋め込む広告映像とを対応付ける埋込条件を作成している。従って、番組映像を提供する際に、番組映像を時間で区切ってコマーシャル等の広告映像を挿入する場合と異なり、番組映像を視聴しているユーザに広告映像を確実に届けることができる。
【００５４】
また、この発明の実施の形態に係る広告映像埋込システムによれば、番組映像の中で大き過ぎる図形を、広告映像を埋め込む図形から除外している。従って、番組映像に広告映像を組み込むことにより、番組映像が損なわれることを適切に防止することができる。また、番組映像の中でユーザが図形を認知することができる範囲、即ち、埋め込まれた広告映像をユーザが認知することができる範囲の図形を広告映像を埋め込む図形としている。従って、広告映像がユーザによって的確に認知され、効果的な広告宣伝を実現することができる。
【００５５】
また、この発明の実施の形態に係る広告映像埋込システムによれば、番組メタデータと広告メタデータとのマッチングを行い、番組の視聴者層と広告のターゲット層とが重複している場合に、その広告映像を番組映像に埋め込むことができる。即ち、中高年層の男性を視聴者層とする番組映像には、中高年層の男性をターゲットとする商品の広告映像を埋め込むことができる。従って、番組映像を視聴しているユーザに適した広告映像を埋め込むことができ、宣伝広告の効果を適切に向上させることができる。
【００５６】
また、この発明の実施の形態に係る広告映像埋込システムによれば、ユーザ端末において番組映像に広告映像を埋め込むことを許可するか否かを指定している。即ち、ユーザが番組映像に広告映像を埋め込むことを許可した場合にのみ、番組映像に広告映像が埋め込まれるようにすることができるため、ユーザの要望に応じて広告映像の埋込を行うことができる。
【００５７】
なお、上述の実施の形態に係る広告映像埋込システムにおいては、ユーザ端末において番組映像に広告映像を埋め込むことにより映像を合成しているが、番組映像と広告映像との合成を番組映像処理装置において行うようにしてもよい。即ち、番組映像処理装置において埋込条件を作成し、埋込条件により図形と対応付けられた広告映像を広告コンテンツ管理装置から取得する。そして、取得された広告映像を番組映像に埋め込んで映像を合成し、合成された映像をユーザ端末に提供するようにしてもよい。
【００５８】
また、上述の実施の形態に係る広告映像埋込システムにおいては、番組コンテンツ管理装置、広告コンテンツ管理装置及び番組映像処理装置が放送局等に設置されているが、番組映像処理装置をユーザが保持するようにしてもよい。
【００５９】
また、上述の実施の形態に係る広告映像埋込システムにおいては、積分計算を行うことにより図形の面積や図形の中心を計算しているが、積分計算には時間が掛かるため、簡易な計算方法により図形の面積等を近似計算するようにしてもよい。例えば、図１５に示すような図形について、面積ｓを、ｓｍａｘ＝（ｘ２−ｘ１）×（ｙ２−ｙ１）、ｓｍｉｎ＝（ｘ２−ｘ’１）×（ｙ’２−ｙ’１）、ｓ＝（ｓｍａｘ+ｓｍｉｎ）／２により近似計算するようにしてもよい。また、図１３に示す図形の中心として、重心ｗを、ｗ＝（ｗｘ、ｗｙ）、ｗｘ＝（ｘ１＋ｘ２）／２、ｗｙ＝（ｙ１＋ｙ２）／２により近似計算するようにしてもよい。
【図面の簡単な説明】
【００６０】
【図１】この発明の実施の形態に係る広告映像埋込システムのブロック構成図である。
【図２】この発明の実施の形態に係る番組コンテンツ管理装置のブロック構成図である。
【図３】この発明の実施の形態に係る広告コンテンツ管理装置のブロック構成図である。
【図４】この発明の実施の形態に係る番組映像処理装置のブロック構成図である。
【図５】この発明の実施の形態に係るラプラシアンフィルタのオペレータの一例を示す図である。
【図６】この発明の実施の形態に係るラプラシアンフィルタが適用された画像の一例を示す図である。
【図７】この発明の実施の形態に係るメディアンフィルタの処理を説明するための図である。
【図８】この発明の実施の形態に係るメディアンフィルタが適用された画像の一例を示す図である。
【図９】この発明の実施の形態に係る領域分割の処理を説明するための図である。
【図１０】この発明の実施の形態に係る図形面積の計算処理を説明するための図である。
【図１１】この発明の実施の形態に係る図形中心の計算処理を説明するための図である。
【図１２】この発明の実施の形態に係る画像におけるユーザの認知範囲を説明するための図である。
【図１３】この発明の実施の形態に係るユーザ端末のブロック構成図である。
【図１４】この発明の実施の形態に係る合成映像の一例を示す図である。
【図１５】この発明の実施の形態に係る図形面積及び図形中心の簡易計算を説明するための図である。
【符号の説明】
【００６１】
２・・・番組映像登録装置、４・・・番組コンテンツ管理装置、６・・・広告映像登録装置、８・・・広告コンテンツ管理装置、１０・・・番組映像処理装置、１２・・・ネットワーク、１４・・・映像合成・再生装置（ユーザ端末）、４２・・・空間変化量計算部、４４・・・雑音平滑化計算部、４６・・・連続領域検出部、４８・・・図形面積計算部、５０・・・図形中心計算部、５２・・・図形整列部、５４・・・埋込条件作成部、５６・・・埋込条件提供部。
【技術分野】
【０００１】
この発明は、デジタル形式で提供されるテレビ番組等の番組映像に広告映像を埋め込む広告映像埋込システムに関するものである。
【背景技術】
【０００２】
従来、テレビやビデオの映像コンテンツの提供に伴い宣伝用の映像コンテンツが提供される場合、宣伝用の映像コンテンツは、原則的に、コマーシャルとして時間分離された形式でテレビやビデオの映像コンテンツに挿入され放映されていた。例えば、テレビで番組の映像コンテンツが提供される場合には、番組の映像コンテンツが１５分間放映された後、１５秒や３０秒のコマーシャル（宣伝用の映像コンテンツ）が３分間程度放映され、コマーシャル（宣伝用の映像コンテンツ）の放映が終了した場合に、番組の映像コンテンツの放映が再開されるという形式で宣伝用の映像コンテンツが放映されていた。
【０００３】
なお、ネットワーク等の通信回線を介して配信された映画やアニメーション等の映像コンテンツに、動的に広告コンテンツを挿入する映像コンテンツ提供システムが存在する（特許文献１参照）。この映像コンテンツ提供システムは、広告映像（宣伝用の映像コンテンツ）を映像コンテンツ（映画のコンテンツ等）を改編することのないタイミング等、例えば、シーンが切り替わるタイミングを挿入位置条件として指定すると共に、映画の映像コンテンツ等の流れや視聴者の意識を変えることの無い長さの広告映像を挿入するように、挿入する広告映像の長さを制限する挿入最長時間条件等を設定し、設定された条件に基づいて広告映像を挿入している。
【０００４】
【特許文献１】特開２００１−３５７３００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、近年、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）やハードディスクを備えたビデオデッキが普及しているため、コマーシャルの部分は簡単にスキップすることができるようになり、コマーシャルが視聴者に届きにくくなっている。その一方、近年、地上デジタル放送の普及等により、デジタル化された映像コンテンツが視聴者に提供される場合が多くなっている。
【０００６】
この発明の課題は、広告映像が確実に視聴者に届くように、番組映像に広告映像を埋め込む広告映像埋込システムを提供することである。
【課題を解決するための手段】
【０００７】
請求項１記載の広告映像埋込システムは、番組映像を記憶する番組映像記憶手段と、前記番組映像記憶手段に記憶された番組映像の特徴を示す番組内容記述データを記憶する番組内容記述データ記憶手段と、前記番組映像記憶手段に記憶されている番組映像を、ユーザ端末に提供する番組提供手段とを備える番組コンテンツ管理装置と、広告映像を記憶する広告映像記憶手段と、前記広告映像記憶手段に記憶された広告映像の特徴を示す広告内容記述データを記憶する広告内容記述データ記憶手段と、前記広告映像記憶手段に記憶されている広告映像を、前記ユーザ端末に提供する広告提供手段とを備える広告コンテンツ管理装置と、前記番組映像に画像解析処理を施すことにより、前記広告映像を埋め込む埋込領域を検出する埋込領域検出手段と、前記番組内容記述データ及び前記広告内容記述データから、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成する埋込条件作成手段と、前記埋込条件作成手段により作成された埋込条件を、前記ユーザ端末に提供する埋込条件提供手段とを備える番組映像処理装置とを備えることを特徴とする。
【０００８】
この請求項１記載の広告映像埋込システムによれば、番組映像に画像解析処理を施すことにより番組映像から埋込領域を検出し、番組内容記述データ及び広告内容記述データを参照することにより、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成している。即ち、番組映像の「余白」に該当する部分として検出された埋込領域に、該埋込領域に埋め込む広告映像を示す埋込条件を作成することにより、番組映像を視聴しているユーザの眼に確実に広告映像が触れるようにすることができる。
【０００９】
また、請求項２記載の広告映像埋込システムは、番組映像を記憶する番組映像記憶手段と、前記番組映像記憶手段に記憶された番組映像の特徴を示す番組内容記述データを記憶する番組内容記述データ記憶手段とを備える番組コンテンツ管理装置と、広告映像を記憶する広告映像記憶手段と、前記広告映像記憶手段に記憶された広告映像の特徴を示す広告内容記述データを記憶する広告内容記述データ記憶手段とを備える広告コンテンツ管理装置と、前記番組映像に画像解析処理を施すことにより、前記広告映像を埋め込む埋込領域を検出する埋込領域検出手段と、前記番組内容記述データ及び前記広告内容記述データから、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成する埋込条件作成手段と、前記埋込条件作成手段により作成された埋込条件に基づいて、前記番組映像に前記広告映像を埋め込む映像合成手段と、前記映像合成手段により合成された映像をユーザ端末に送信する映像送信手段とを備える番組映像処理装置とを備えることを特徴とする。
【００１０】
この請求項２記載の広告映像埋込システムによれば、番組映像に画像解析処理を施して埋込領域を検出し、番組内容記述データ及び広告内容記述データを参照することにより、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成している。そして、作成された埋込条件に基づいて番組映像に広告映像を埋め込んで映像を合成し、合成した映像をユーザ端末に送信している。即ち、番組映像の「余白」に該当する部分に広告映像を埋め込んだ映像をユーザ端末に送信しているため、番組を視聴しているユーザに対して確実に広告映像を届けることができ、効率的な宣伝広告を実現することができる。
【００１１】
また、請求項３記載の広告映像埋込システムは、前記埋込領域検出手段が、前記番組映像の空間変化量を計算する空間変化量計算手段と、前記番組映像の雑音を平滑化する雑音平滑化計算手段と、前記番組映像を領域分割し連続領域を図形として検出する連続領域検出手段と、前記連続領域検出手段により検出された図形の面積を計算する図形面積計算手段と、前記図形の中心を計算する図形中心計算手段と、前記図形中心計算手段により計算された図形の中心から、前記番組映像の中心までの距離に従って前記図形を整列させる図形整列手段とを更に備え、前記埋込条件作成手段は、前記図形整列手段により整列させた図形の中から選択された図形を、前記埋込領域として広告映像と対応させることにより埋込条件を作成することを特徴とする。
【００１２】
この請求項３記載の広告映像埋込システムによれば、番組映像に空間変化量の計算、雑音平滑化の計算等の画像解析処理を施し、連続領域として検出された図形を、番組映像の中心からの距離に従って整列させ、整列させた図形の中のから選択された図形を埋込領域として埋込条件を作成している。従って、例えば、番組映像の中心からの距離に従って、所定範囲内に存在する図形を埋込領域として埋込条件を作成できるため、ユーザにより認知される可能性が高い範囲の図形を埋込領域とすることができる。
【００１３】
また、請求項４記載の広告映像埋込システムは、前記埋込条件作成手段が、前記広告内容記述データにより示される広告映像の領域と、前記埋込領域検出手段により検出された埋込領域とを比較することにより、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成することを特徴とする。
【００１４】
この請求項４記載の広告映像埋込システムによれば、検出された埋込領域の領域、例えば、埋込領域の面積、形状等と、広告映像の領域、例えば、広告映像の面積、形状等とを比較することにより埋込条件が作成される。従って、面積や形状が略一致する埋込領域に広告映像を埋め込むことができ、例えば、番組映像を損なうことなく適切に広告映像を埋め込むことができる。
【００１５】
また、請求項５記載の広告映像埋込システムは、前記埋込条件作成手段が、前記番組内容記述データと前記広告内容記述データとの照合を行い、少なくとも番組映像の視聴者層と広告映像のターゲット層とが略一致した場合に、前記番組映像に前記広告映像を埋め込むことを特徴とする。
【００１６】
この請求項５記載の広告映像埋込システムによれば、番組映像の視聴者層と広告映像のターゲット層とが略一致する場合に、その番組映像にその広告映像を埋め込むことを示す埋込条件を作成している。例えば、番組内容記述データにより番組映像の視聴者層として中高年男性が示されている場合には、広告内容記述データにより広告映像のターゲット層として中高年男性や、中年男性等が示されている広告映像を埋め込むようにすることができる。従って、番組映像を視聴しているユーザに適した広告映像を埋め込むことができ、効果的な広告宣伝を実現することができる。
【００１７】
また、請求項６記載の広告映像埋込システムは、前記ユーザ端末が、前記番組映像管理装置から前記番組提供手段を介して提供された番組映像及び前記広告映像管理装置から前記広告提供手段を介して提供された広告映像を記憶する映像記憶手段と、番組映像に広告映像を埋め込むことを許可又は拒否することを示す埋込可否指定を記憶する埋込可否指定記憶手段と、前記埋込可否指定記憶手段に記憶されている埋込可否指定により番組映像に広告映像を埋め込むことが許可されている場合に、前記番組映像処理装置から前記埋込条件提供手段を介して提供された埋込条件に基づいて、前記映像記憶手段に記憶されている前記番組映像に前記広告映像を埋め込む映像合成手段と、前記映像合成手段により前記広告映像が埋め込まれた番組映像を再生表示する映像再生表示手段とを備えることを特徴とする。
【００１８】
この請求項６記載の広告映像埋込システムによれば、ユーザ端末において、番組映像に広告映像を埋め込むことを許可するか拒否するかを指定している。即ち、ユーザにより番組映像への広告映像の埋込が許可された場合にのみ、番組映像に広告映像を埋め込んで映像を合成し再生表示することができる。従って、ユーザの意思に基づいて番組映像に広告映像を埋め込むか否かを指定することができ、ユーザの要望を的確に反映させることができる。
【発明の効果】
【００１９】
この発明によれば、番組映像に画像解析処理を施して埋込領域を検出し、番組内容記述データ及び広告内容記述データを参照することにより、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成している。即ち、番組映像の「余白」に該当する部分として検出された埋込領域に、該埋込領域に埋め込む広告映像を示す埋込条件を作成することにより、番組映像と広告映像とを時間分離してユーザに提供する場合と異なり、番組映像を視聴しているユーザの眼に確実に広告映像が触れるようにすることができる。
【００２０】
また、番組映像に空間変化量の計算、雑音平滑化の計算等の画像解析処理を施し、連続領域として検出された図形を、番組映像の中心からの距離に従って整列させ、整列させた図形の中から選択された図形を埋込領域として埋込条件を作成している。例えば、番組映像の中心からの距離に従って、所定範囲内に存在する図形を埋込領域として埋込条件を作成することができ、ユーザにより認知される可能性が高い範囲の図形を埋込領域とすることができる。従って、番組映像を視聴しているユーザの眼に広告映像が触れた場合に、その広告映像をユーザが適切に認知可能な範囲に広告映像を埋め込むことができ、番組映像を視聴しているユーザに確実に広告映像を届けることができる。そのため、ユーザに対する高い広告宣伝効果を実現することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照してこの発明の実施の形態に係る広告映像埋込システムについて説明する。なお、以下においては、いわゆるＭＰＥＧ−７（Ｍｕｌｔｉｍｅｄｉａ Ｃｏｎｔｅｎｔ Ｄｅｓｃｒｉｐｔｉｏｎ Ｉｎｔｅｒｆａｃｅ：マルチメディアコンテンツの記述インターフェース）により映像コンテンツ（番組映像及び広告映像）が管理されている場合を例として説明する。
【００２２】
図１は、この発明の実施の形態に係る広告映像埋込システムのブロック構成図である。広告映像埋込システムは、図１に示すように、番組映像登録装置２、番組コンテンツ管理装置（番組映像管理装置）４、広告映像登録装置６、広告コンテンツ管理装置（広告映像管理装置）８、番組映像処理装置１０及び映像合成・再生装置（ユーザ端末）１４により構成されている。番組映像登録装置２は、番組コンテンツ管理装置４と、広告映像登録装置６は広告コンテンツ管理装置８とそれぞれ接続されており、番組コンテンツ管理装置４及び広告コンテンツ管理装置８は番組映像処理装置１０と接続されている。また、番組コンテンツ管理装置４、広告コンテンツ管理装置８及び番組映像処理装置１０は、それぞれネットワーク１２を介してユーザ端末１４と接続されている。なお、番組映像登録装置２、番組コンテンツ管理装置４、広告映像登録装置６、広告コンテンツ管理装置８及び番組映像処理装置１０は、例えば、視聴者（ユーザ）に番組映像等を提供する放送局等に設置されており、ユーザ端末１４は、放送局等により提供された番組映像を視聴するユーザが保有している。
【００２３】
番組映像登録装置２は、番組コンテンツ管理装置４に番組映像を登録する装置であり、番組コンテンツ管理装置４は、番組映像登録装置２により登録された番組映像の編集、ユーザへの番組映像の提供等を行う装置である。
【００２４】
広告映像登録装置６は、広告コンテンツ管理装置８に広告映像を登録する装置であり、広告コンテンツ管理装置８は、広告映像登録装置６により登録された広告映像の編集、ユーザへの広告映像の提供等を行う装置である。
【００２５】
番組映像処理装置１０は、番組映像に広告映像を埋め込む際の条件、即ち、番組映像の何れの図形に何れの広告映像を埋め込むか等を示す埋込条件を作成する等の処理を行う装置である。
【００２６】
ユーザ端末１４は、番組コンテンツ管理装置４から提供された番組映像に、番組映像処理装置１０から提供された埋込条件に基づいて、広告コンテンツ管理装置８から提供された広告映像を埋め込むことによって映像を合成し、合成された映像を再生表示する等の処理を行う装置である。
【００２７】
番組コンテンツ管理装置４は、図２に示すように、番組映像データベース（番組映像ＤＢ）２０、番組映像を編集する編集部２２、番組メタデータ（番組内容記述データ）を記憶する番組メタデータ記憶部２４、番組映像及び番組メタデータを提供する提供部２６を備えている。番組映像ＤＢ２０は、番組映像登録装置２と接続されており、番組映像登録装置２により登録された番組映像を記憶する。また、編集部２２は、番組映像ＤＢ２０と接続されており、番組映像ＤＢ２０に登録された番組映像から、番組映像の内容等の特徴を示すデータを抽出し、抽出されたデータに基づいて番組メタデータを作成する。
【００２８】
ここで、メタデータとは、ＭＰＥＧ−７により規定されている内容記述の規格等に従って作成されるデータであり、メタデータとしての内容記述には、大きく分けて高レベルな記述と低レベルな記述の２種類が存在する。例えば、高レベルな記述は、人が映像の内容を理解し記述する注釈等のテキストデータであり、低レベルな記述は、映像の画像信号や音響・音声信号等の特徴量である。高レベルな記述としての注釈は、例えば、番組を示す電子番組表、画像を構成する図形要素の属性及び視聴者層等を示すテキストデータである。電子番組表としては、例えば、「プロ野球リーグ、巨人・中日戦」等、図形要素の属性としては、例えば、車体、道路、看板等、番組の視聴者層としては、例えば、年齢：中高年、性別：男性等である。注釈のテキストデータは、キーボード等により構成される入力部（図示せず）を介して番組コンテンツ管理装置４に入力される。また、低レベルな記述である画像信号として、被写体の色、テクスチャ、形、動き、領域等の画像特徴量が自動的に抽出され、音響・音声信号として、無音、音声、音色、効果音、メロディ等の特徴量が自動的に抽出される。従って、番組映像ＤＢ２０に登録された番組映像から画像信号や音響・音声信号等の特徴量を自動的に抽出すると共に、必要であれば注釈等のテキストデータが入力され、抽出された特徴量及び入力されたテキストデータを含む番組メタデータが編集部２２により作成される。
【００２９】
また、図２に示すように、番組メタデータ記憶部２４は、編集部２２と接続されており、編集部２２により作成された番組メタデータを記憶する。また、提供部２６は、番組映像ＤＢ２０及び番組メタデータ記憶部２４と接続されており、番組映像ＤＢ２０に記憶されている番組映像及び番組メタデータ記憶部２４に記憶されている番組メタデータを、番組映像処理装置１０及びユーザ端末１４に提供する。
【００３０】
広告コンテンツ管理装置８は、図３に示すように、広告映像データベース（広告映像ＤＢ）３０、広告映像を編集する編集部３２、広告メタデータ（広告内容記述データ）を記憶する広告メタデータ記憶部３４、広告映像及び広告メタデータを提供する提供部３６を備えている。広告映像ＤＢ３０は、広告映像登録装置６と接続されており、広告映像登録装置６により登録された広告映像を記憶する。また、編集部３２は、広告映像ＤＢ３０と接続されており、広告映像ＤＢ３０に登録された広告映像から、広告映像の内容等の特徴を示すデータを抽出し、抽出されたデータに基づいて広告メタデータを作成する。なお、広告メタデータは、番組メタデータと同様の処理により作成される。また、広告メタデータの注釈は、例えば、広告映像の主体企業、製品、サービス、広告のターゲット層の説明等のテキストデータである。
【００３１】
また、広告メタデータ記憶部３４は、編集部３２と接続されており、編集部３２により作成された広告メタデータを記憶する。また、提供部３６は、広告映像ＤＢ３０及び番組メタデータ記憶部３４と接続されており、広告メタデータ記憶部３４に記憶されている広告メタデータを番組映像処理装置１０に提供すると共に、広告映像ＤＢ２０に記憶されている広告映像及び広告メタデータ記憶部３４に記憶されている広告メタデータをユーザ端末１４に提供する。
【００３２】
また、番組映像処理装置１０は、図４に示すように、通信制御部４０、空間変化量計算部４２、雑音平滑化計算部４４、連続領域検出部４６、図形面積計算部４８、図形中心計算部５０、図形整列部５２、埋込条件作成部５４、埋込条件提供部５６及びデータ記憶部５８を備えている。この番組映像処理装置１０においては、まず、番組コンテンツ管理装置４及び広告コンテンツ管理装置８との間の通信を制御する通信制御部４０を介して、番組コンテンツ管理装置４から提供される番組映像及び番組メタデータと、広告コンテンツ管理装置８から提供される広告メタデータとが受信される。なお、番組映像及び番組メタデータは、例えば、放映予定が決定した等の時点で番組コンテンツ管理装置４から提供され、通信制御部４０を介して受信された後、データ記憶部５８に記憶される。また、広告メタデータは、例えば、広告映像登録装置６により新たな広告映像が広告コンテンツ管理装置８に登録され、登録された広告映像の広告メタデータが作成される毎に、広告コンテンツ管理装置８から提供され、通信制御部４０を介して受信された後、データ記憶部５８に記憶される。
【００３３】
次に、空間変化量計算部４２により、データ記憶部５８に記憶された番組映像の空間変化量を計算する。なお、以下においては、番組映像を構成する任意の画像（静止画像）に対して空間変化量の計算、雑音平滑化の計算等の画像解析処理を施す場合を例として説明する。
【００３４】
まず、画像の空間変化量は、画像に急激な変化が起こっている位置を示すことから、空間変化量を計算することにより、画像を構成する図形要素の領域の境界（図形要素の輪郭）を検出する。ここで、画像内の全ての画素は色情報を持っているため、空間変化量計算部４２においては、画素の明るさの変化量を微分演算を利用して計算することにより空間変化量を計算する。
【００３５】
しかし、デジタル画像は連続ではなく、厳密には微分演算を行うことができないため、隣接する画素の明るさの差分を示す値、即ち、光の三原色である赤・緑・青、それぞれの成分毎に計算した後に合算した値により微分値の近似値を計算する。隣接する画素の差分は、微分パラメータを用いて画素に重み付けをすることにより計算することができ、計算された差分の値が隣接する画素の微分値の近似値となる。従って、画像上の画素（ｘ、ｙ）における明るさの差分Δ（ｘ、ｙ）を２次微分（ラプラシアン）により計算する。差分Δ（ｘ、ｙ）は、例えば、図５において、ラプラシアン１、ラプラシアン２及びラプラシアン３として示すオペレータ（微分パラメータ）の中から選択されたオペレータをラプラシアンの式に当てはめることより計算することができる。例えば、図５に示すラプラシアン１を用いた場合、「Δ（ｘ、ｙ）＝４・ｆ（ｘ、ｙ）−｛ｆ（ｘ、ｙ−１）+ｆ（ｘ、ｙ+１）+ｆ（ｘ−１）+ｆ（ｘ+１、ｙ）｝」となるラプラシアンの式から、差分の値を計算することができる。
【００３６】
上述のような計算を行うラプラシアンフィルタを画像に適用し、画像を構成する全ての画素について隣接する画素との差分を計算することにより、画像を構成する図形要素の輪郭を検出する。次に、図形要素の輪郭が検出された画像において、「全体が持つ性質から要素の振舞い方が決定される」とするゲシュタルト心理学に基づく群化の効果により、広告映像を埋め込んだ場合に認知されにくい領域を検出する。即ち、人は、その視界の範囲内において、近くのものや似通ったものを１つのものとして認知するため、雑然とした空間にある図形要素は、１つにまとめられてしまい、その空間に埋め込まれた広告映像が目立たなくなることが知られている。従って、例えば、図６に示すラプラシアンフィルタが適用された画像中の破線で囲まれた空間のように、画素の明るさが断続的に変化している雑然とした空間を検出する。なお、ラプラシアンフィルタが適用された画像、例えば、図６に示す画像は、データ記憶部５８に記憶される。
【００３７】
次に、雑音平滑化計算部４４により、空間変化量計算部４２により空間変化量が計算された画像からノイズ（雑音）を除去する。即ち、画像は、独立した正方形の画素が集まることにより構成されているため、不規則に発生した雑音の濃度（輝点の明度と彩度）は、周囲の濃度と急激な差を生じている。従って、ある画素と周囲の画素との濃度差を無くすことにより、雑音を除去（平滑化）することができる。
【００３８】
雑音を平滑化する手法には、ある画素の値を周辺の値の平均値に設定する移動平均法と、ある画素の周辺の画素の値をソートし、その中央値をある画素の値として設定するメディアンフィルタによる手法とが存在する。移動平均法は、画像の全ての画素の値を、周辺の画素が示す値の平均値に変更してしまうため、雑音を除去するだけでなく画像を構成する図形要素の輪郭をぼかしてしまうという欠点を有している。
【００３９】
一方、メディアンフィルタは、図７に示すように、濃度の値が「１０」である画素を中心とし、その画素の周囲の値を、「３，３，３，４，４，５，５，５，１０」とソートする。そして、ソートされた値の中央値、即ち、「４」を「１０」と置き換えることによって、雑音を除去する。従って、画像を構成する全ての画素に対してメディアンフィルタにより雑音を除去する処理を施すことによって、図８に示すように、画像を構成する図形要素の輪郭をぼかすことなく、雑音のみを画像から除去することができる。なお、雑音が平滑化された画像は、データ記憶部５８に記憶される。
【００４０】
次に、連続領域検出部４６において、雑音平滑化計算部４４により雑音が平滑化された画像から連続領域（図形）を検出し、広告映像を埋め込むのに適した領域を検出する。例えば、領域分割符号化の技術を用いて、雑音が平滑化された画像を、例えば、図９に示すように領域分割することによって、図形を検出する。なお、領域分割された画像は、データ記憶部５８に記憶される。また、図形の検出を行う技術は、上述の領域分割符号化の技術に限定されるものではなく、画像から図形を検出することができる技術であれば、どのような技術を用いてもよい。
【００４１】
次に、連続領域検出部４６により検出された図形の面積を、図形面積計算部４８において計算する。即ち、検出された図形の輪郭を積分可能なスプライン多項式を用いて近似し、以下に説明する線積分の公式を用いて検出された図形の面積を計算する。
【００４２】
図１０は、線積分の公式を用いた図形面積の計算処理の一例を説明するための図である。この図１０に示す平面上の曲線に沿った線積分は、まず、この曲線上の点に、ある量が存在していると考える。次に、その量をｚ＝ｆ（ｘ、ｙ）として、ｚ軸方向に持っていく。その時の曲線とｚ＝ｆ（ｘ、ｙ）とが囲むカーテン状の領域の面積が線積分となる。図形面積計算部４８においても、上述の処理と同様の処理により検出された図形の面積を計算する。なお、計算された図形の面積は、データ記憶部５８に記憶される。
【００４３】
次に、図形面積計算部４８により面積が計算された図形の中心、即ち、ｘｙ軸上における図形の中心座標を、図形中心計算部５０において計算する。ここで、例えば、図１１に示す図形の中心を示す座標を計算する場合には、まず、図形に接するΔｘ幅の長方形の面積和で計算された図形の近似面積が、図形の面積の１／２になる位置として、図形中心のｘ座標が求まる。また、ｘ軸とｙ軸とを入れ替えて同様の計算を行うことにより、図形中心のｙ座標も求まる。従って、図形中心計算部５０においても、図１１に示す図形中心を計算する場合と同様の計算を行うことによって、図形の中心座標を計算する。なお、図形中心計算部５０により計算された図形の中心を示す座標は、データ記憶部５８に記憶される。
【００４４】
次に、図形中心計算部５０により計算された図形中心に基づいて、図形整列部５２により図形を整列させる。例えば、図形の中心と、該図形により構成される画像の中心との距離を計算し、画像の中心からの距離が小さい順、即ち、画像の中心に近い順に図形を整列させることによって、連続領域として検出された図形を並び替える。
【００４５】
そして、並び替えた図形の中から、広告映像を埋め込むのに適していない図形を除外する。例えば、番組映像が、図１２に示すような画面幅及び画面縦に表示される場合、視聴者の認知範囲は所定の範囲に限られることが知られているため（仮想都市の認知（http://www.digitalcity.jst.go.jp/research/ninchi/）等参照）、視聴者が図形を認知する範囲から外れている領域、即ち、画像の中心からの距離が所定の値以上となっており、図１２に示す周辺領域に存在する図形を除外する。また、広告映像を埋め込むのに小さ過ぎる図形、例えば、データ記憶部５８に記憶されている広告メタデータにより示される広告映像の領域よりも小さい図形を除外する。また、広告映像を埋め込むのに大き過ぎる図形、例えば、空や地面等がひとまとまりの図形として認識され、画像全体の面積に対して所定の割合以上に広い領域を占めている場合、このように広い領域に広告映像を埋め込むことにより番組映像そのものを損なう虞があるため、このような図形を除外する。そして、除外されなかった図形、即ち、広告映像を埋め込むのに適している図形をデータ記憶部５８に記憶する。
【００４６】
次に、埋込条件作成部５４において、図形整列部５２により整列させた図形の中から、データ記憶部５８に記憶されている番組メタデータ及びデータ記憶部５８に記憶されている広告メタデータを参照して広告映像を埋め込む図形を選択し、選択された図形と、該図形に埋め込まれる広告映像とを対応付けた埋込条件を作成する。即ち、まず、図形の領域（図形の面積、形状、幅、高さ等）と、広告メタデータにより示される広告映像の領域（広告映像の面積、形状、幅、高さ等）とを、整列させた図形の先頭から順に比較していく。次に、比較結果に基づいて、図形に埋め込む広告映像を特定すると共に、特定された広告映像を埋め込む図形を特定する。そして、特定された図形と、該図形に埋め込まれる広告映像として特定された広告映像とを対応付けた埋込条件を作成する。なお、作成された埋込条件は、データ記憶部５８に記憶される。
【００４７】
次に、埋込条件作成部５４により作成された埋込条件を、埋込条件提供部５６を介してユーザ端末１４に提供する。即ち、番組コンテンツ管理装置４からネットワーク１２を介してユーザ端末１４に番組映像及び番組メタデータが提供され、広告コンテンツ管理装置８からネットワーク１２を介してユーザ端末１４に広告映像及び広告メタデータが提供されるのと共に、番組映像処理装置１０の埋込条件作成部５４により作成された埋込条件を、埋込条件提供部５６及びネットワーク１２を介してユーザ端末１４に提供する。
【００４８】
ユーザ端末１４は、図１３に示すように、通信制御部６０、埋込判定部６２、映像合成部６４、再生表示部６６及びデータ記憶部６８を備えている。データ記憶部６８には、予めユーザにより設定された番組映像への広告映像の埋込を許可するか拒否するかを指定した埋込可否指定が記憶されている。
【００４９】
ユーザ端末１４においては、番組コンテンツ管理装置４から提供される番組映像及び番組メタデータ、広告コンテンツ管理装置８から提供される広告映像及び広告メタデータ、番組映像処理装置１０から提供される埋込条件のそれぞれを通信制御部６０を介して受信しデータ記憶部６８に記憶する。次に、埋込判定部６２により、データ記憶部６８に記憶されている埋込可否指定において、番組映像への広告映像の埋込が許可されているか拒否されているかを判定する。
【００５０】
埋込判定部６２により、番組映像への広告映像の埋込が許可されていると判定された場合には、映像合成部６４により、埋込条件に基づいて番組映像に広告映像を埋め込むことにより映像を合成する。即ち、図１４に示すように、埋込条件として対応付けられた図形に広告映像を埋め込むことにより番組映像と広告映像とを合成し、合成された映像をデータ記憶部６８に記憶する。
【００５１】
ここで、例えば、埋込条件として、一つの図形に対して領域が略一致する複数の広告映像が対応付けられている等の場合には、番組メタデータと広告メタデータとのマッチング（照合）を行うことにより、対応付けられている広告映像の中から選択された広告映像を図形に埋め込むようにしてもよい。例えば、番組映像の番組メタデータに含まれる視聴者層として、中高年男性が設定されている場合には、図形に対応付けられた広告映像の広告メタデータに含まれるターゲット層として、中高年男性が設定されている広告映像を選択し図形に埋め込むようにしてもよい。
【００５２】
次に、映像合成部６４により合成されデータ記憶部６８に記憶された映像を、再生表示部６６において再生表示する。なお、埋込判定部６２により、番組映像に広告映像を埋め込むことが拒否されている場合には、広告映像が埋め込まれていない番組映像を再生表示部６６において再生表示する。
【００５３】
この発明の実施の形態に係る広告映像埋込システムによれば、番組映像から検出された連続領域、即ち、番組映像の余白部分として連続領域（図形）を検出し、検出された図形と、該図形に埋め込む広告映像とを対応付ける埋込条件を作成している。従って、番組映像を提供する際に、番組映像を時間で区切ってコマーシャル等の広告映像を挿入する場合と異なり、番組映像を視聴しているユーザに広告映像を確実に届けることができる。
【００５４】
また、この発明の実施の形態に係る広告映像埋込システムによれば、番組映像の中で大き過ぎる図形を、広告映像を埋め込む図形から除外している。従って、番組映像に広告映像を組み込むことにより、番組映像が損なわれることを適切に防止することができる。また、番組映像の中でユーザが図形を認知することができる範囲、即ち、埋め込まれた広告映像をユーザが認知することができる範囲の図形を広告映像を埋め込む図形としている。従って、広告映像がユーザによって的確に認知され、効果的な広告宣伝を実現することができる。
【００５５】
また、この発明の実施の形態に係る広告映像埋込システムによれば、番組メタデータと広告メタデータとのマッチングを行い、番組の視聴者層と広告のターゲット層とが重複している場合に、その広告映像を番組映像に埋め込むことができる。即ち、中高年層の男性を視聴者層とする番組映像には、中高年層の男性をターゲットとする商品の広告映像を埋め込むことができる。従って、番組映像を視聴しているユーザに適した広告映像を埋め込むことができ、宣伝広告の効果を適切に向上させることができる。
【００５６】
また、この発明の実施の形態に係る広告映像埋込システムによれば、ユーザ端末において番組映像に広告映像を埋め込むことを許可するか否かを指定している。即ち、ユーザが番組映像に広告映像を埋め込むことを許可した場合にのみ、番組映像に広告映像が埋め込まれるようにすることができるため、ユーザの要望に応じて広告映像の埋込を行うことができる。
【００５７】
なお、上述の実施の形態に係る広告映像埋込システムにおいては、ユーザ端末において番組映像に広告映像を埋め込むことにより映像を合成しているが、番組映像と広告映像との合成を番組映像処理装置において行うようにしてもよい。即ち、番組映像処理装置において埋込条件を作成し、埋込条件により図形と対応付けられた広告映像を広告コンテンツ管理装置から取得する。そして、取得された広告映像を番組映像に埋め込んで映像を合成し、合成された映像をユーザ端末に提供するようにしてもよい。
【００５８】
また、上述の実施の形態に係る広告映像埋込システムにおいては、番組コンテンツ管理装置、広告コンテンツ管理装置及び番組映像処理装置が放送局等に設置されているが、番組映像処理装置をユーザが保持するようにしてもよい。
【００５９】
また、上述の実施の形態に係る広告映像埋込システムにおいては、積分計算を行うことにより図形の面積や図形の中心を計算しているが、積分計算には時間が掛かるため、簡易な計算方法により図形の面積等を近似計算するようにしてもよい。例えば、図１５に示すような図形について、面積ｓを、ｓｍａｘ＝（ｘ２−ｘ１）×（ｙ２−ｙ１）、ｓｍｉｎ＝（ｘ２−ｘ’１）×（ｙ’２−ｙ’１）、ｓ＝（ｓｍａｘ+ｓｍｉｎ）／２により近似計算するようにしてもよい。また、図１３に示す図形の中心として、重心ｗを、ｗ＝（ｗｘ、ｗｙ）、ｗｘ＝（ｘ１＋ｘ２）／２、ｗｙ＝（ｙ１＋ｙ２）／２により近似計算するようにしてもよい。
【図面の簡単な説明】
【００６０】
【図１】この発明の実施の形態に係る広告映像埋込システムのブロック構成図である。
【図２】この発明の実施の形態に係る番組コンテンツ管理装置のブロック構成図である。
【図３】この発明の実施の形態に係る広告コンテンツ管理装置のブロック構成図である。
【図４】この発明の実施の形態に係る番組映像処理装置のブロック構成図である。
【図５】この発明の実施の形態に係るラプラシアンフィルタのオペレータの一例を示す図である。
【図６】この発明の実施の形態に係るラプラシアンフィルタが適用された画像の一例を示す図である。
【図７】この発明の実施の形態に係るメディアンフィルタの処理を説明するための図である。
【図８】この発明の実施の形態に係るメディアンフィルタが適用された画像の一例を示す図である。
【図９】この発明の実施の形態に係る領域分割の処理を説明するための図である。
【図１０】この発明の実施の形態に係る図形面積の計算処理を説明するための図である。
【図１１】この発明の実施の形態に係る図形中心の計算処理を説明するための図である。
【図１２】この発明の実施の形態に係る画像におけるユーザの認知範囲を説明するための図である。
【図１３】この発明の実施の形態に係るユーザ端末のブロック構成図である。
【図１４】この発明の実施の形態に係る合成映像の一例を示す図である。
【図１５】この発明の実施の形態に係る図形面積及び図形中心の簡易計算を説明するための図である。
【符号の説明】
【００６１】
２・・・番組映像登録装置、４・・・番組コンテンツ管理装置、６・・・広告映像登録装置、８・・・広告コンテンツ管理装置、１０・・・番組映像処理装置、１２・・・ネットワーク、１４・・・映像合成・再生装置（ユーザ端末）、４２・・・空間変化量計算部、４４・・・雑音平滑化計算部、４６・・・連続領域検出部、４８・・・図形面積計算部、５０・・・図形中心計算部、５２・・・図形整列部、５４・・・埋込条件作成部、５６・・・埋込条件提供部。
【特許請求の範囲】
【請求項１】
番組映像を記憶する番組映像記憶手段と、
前記番組映像記憶手段に記憶された番組映像の特徴を示す番組内容記述データを記憶する番組内容記述データ記憶手段と、
前記番組映像記憶手段に記憶されている番組映像を、ユーザ端末に提供する番組提供手段とを備える番組コンテンツ管理装置と、
広告映像を記憶する広告映像記憶手段と、
前記広告映像記憶手段に記憶された広告映像の特徴を示す広告内容記述データを記憶する広告内容記述データ記憶手段と、
前記広告映像記憶手段に記憶されている広告映像を、前記ユーザ端末に提供する広告提供手段とを備える広告コンテンツ管理装置と、
前記番組映像に画像解析処理を施すことにより、前記広告映像を埋め込む埋込領域を検出する埋込領域検出手段と、
前記番組内容記述データ及び前記広告内容記述データから、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成する埋込条件作成手段と、
前記埋込条件作成手段により作成された埋込条件を、前記ユーザ端末に提供する埋込条件提供手段とを備える番組映像処理装置と
を備えることを特徴とする広告映像埋込システム。
【請求項２】
番組映像を記憶する番組映像記憶手段と、
前記番組映像記憶手段に記憶された番組映像の特徴を示す番組内容記述データを記憶する番組内容記述データ記憶手段とを備える番組コンテンツ管理装置と、
広告映像を記憶する広告映像記憶手段と、
前記広告映像記憶手段に記憶された広告映像の特徴を示す広告内容記述データを記憶する広告内容記述データ記憶手段とを備える広告コンテンツ管理装置と、
前記番組映像に画像解析処理を施すことにより、前記広告映像を埋め込む埋込領域を検出する埋込領域検出手段と、
前記番組内容記述データ及び前記広告内容記述データから、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成する埋込条件作成手段と、
前記埋込条件作成手段により作成された埋込条件に基づいて、前記番組映像に前記広告映像を埋め込む映像合成手段と、
前記映像合成手段により合成された映像をユーザ端末に送信する映像送信手段とを備える番組映像処理装置と
を備えることを特徴とする広告映像埋込システム。
【請求項３】
前記埋込領域検出手段は、
前記番組映像の空間変化量を計算する空間変化量計算手段と、
前記番組映像の雑音を平滑化する雑音平滑化計算手段と、
前記番組映像を領域分割し連続領域を図形として検出する連続領域検出手段と、
前記連続領域検出手段により検出された図形の面積を計算する図形面積計算手段と、
前記図形の中心を計算する図形中心計算手段と、
前記図形中心計算手段により計算された図形の中心から、前記番組映像の中心までの距離に従って前記図形を整列させる図形整列手段とを更に備え、
前記埋込条件作成手段は、
前記図形整列手段により整列させた図形の中から選択された図形を、前記埋込領域として広告映像と対応させることにより埋込条件を作成することを特徴とする請求項１又は請求項２記載の広告映像埋込システム。
【請求項４】
前記埋込条件作成手段は、
前記広告内容記述データにより示される広告映像の領域と、前記埋込領域検出手段により検出された埋込領域とを比較することにより、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成することを特徴とする請求項１〜請求項３の何れか一項に記載の広告映像埋込システム。
【請求項５】
前記埋込条件作成手段は、
前記番組内容記述データと前記広告内容記述データとの照合を行い、少なくとも番組映像の視聴者層と広告映像のターゲット層とが略一致した場合に、前記番組映像に前記広告映像を埋め込むことを特徴とする請求項１〜請求項４の何れか一項に記載の広告映像埋込システム。
【請求項６】
前記ユーザ端末は、
前記番組映像管理装置から前記番組提供手段を介して提供された番組映像及び前記広告映像管理装置から前記広告提供手段を介して提供された広告映像を記憶する映像記憶手段と、
番組映像に広告映像を埋め込むことを許可又は拒否することを示す埋込可否指定を記憶する埋込可否指定記憶手段と、
前記埋込可否指定記憶手段に記憶されている埋込可否指定により番組映像に広告映像を埋め込むことが許可されている場合に、
前記番組映像処理装置から前記埋込条件提供手段を介して提供された埋込条件に基づいて、前記映像記憶手段に記憶されている前記番組映像に前記広告映像を埋め込む映像合成手段と、
前記映像合成手段により前記広告映像が埋め込まれた番組映像を再生表示する映像再生表示手段と
を備えることを特徴とする請求項１、請求項３〜請求項５の何れか一項に記載の広告映像埋込システム。
【請求項１】
番組映像を記憶する番組映像記憶手段と、
前記番組映像記憶手段に記憶された番組映像の特徴を示す番組内容記述データを記憶する番組内容記述データ記憶手段と、
前記番組映像記憶手段に記憶されている番組映像を、ユーザ端末に提供する番組提供手段とを備える番組コンテンツ管理装置と、
広告映像を記憶する広告映像記憶手段と、
前記広告映像記憶手段に記憶された広告映像の特徴を示す広告内容記述データを記憶する広告内容記述データ記憶手段と、
前記広告映像記憶手段に記憶されている広告映像を、前記ユーザ端末に提供する広告提供手段とを備える広告コンテンツ管理装置と、
前記番組映像に画像解析処理を施すことにより、前記広告映像を埋め込む埋込領域を検出する埋込領域検出手段と、
前記番組内容記述データ及び前記広告内容記述データから、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成する埋込条件作成手段と、
前記埋込条件作成手段により作成された埋込条件を、前記ユーザ端末に提供する埋込条件提供手段とを備える番組映像処理装置と
を備えることを特徴とする広告映像埋込システム。
【請求項２】
番組映像を記憶する番組映像記憶手段と、
前記番組映像記憶手段に記憶された番組映像の特徴を示す番組内容記述データを記憶する番組内容記述データ記憶手段とを備える番組コンテンツ管理装置と、
広告映像を記憶する広告映像記憶手段と、
前記広告映像記憶手段に記憶された広告映像の特徴を示す広告内容記述データを記憶する広告内容記述データ記憶手段とを備える広告コンテンツ管理装置と、
前記番組映像に画像解析処理を施すことにより、前記広告映像を埋め込む埋込領域を検出する埋込領域検出手段と、
前記番組内容記述データ及び前記広告内容記述データから、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成する埋込条件作成手段と、
前記埋込条件作成手段により作成された埋込条件に基づいて、前記番組映像に前記広告映像を埋め込む映像合成手段と、
前記映像合成手段により合成された映像をユーザ端末に送信する映像送信手段とを備える番組映像処理装置と
を備えることを特徴とする広告映像埋込システム。
【請求項３】
前記埋込領域検出手段は、
前記番組映像の空間変化量を計算する空間変化量計算手段と、
前記番組映像の雑音を平滑化する雑音平滑化計算手段と、
前記番組映像を領域分割し連続領域を図形として検出する連続領域検出手段と、
前記連続領域検出手段により検出された図形の面積を計算する図形面積計算手段と、
前記図形の中心を計算する図形中心計算手段と、
前記図形中心計算手段により計算された図形の中心から、前記番組映像の中心までの距離に従って前記図形を整列させる図形整列手段とを更に備え、
前記埋込条件作成手段は、
前記図形整列手段により整列させた図形の中から選択された図形を、前記埋込領域として広告映像と対応させることにより埋込条件を作成することを特徴とする請求項１又は請求項２記載の広告映像埋込システム。
【請求項４】
前記埋込条件作成手段は、
前記広告内容記述データにより示される広告映像の領域と、前記埋込領域検出手段により検出された埋込領域とを比較することにより、広告映像が埋め込まれる埋込領域と、埋込領域に埋め込まれる広告映像とを対応させた埋込条件を作成することを特徴とする請求項１〜請求項３の何れか一項に記載の広告映像埋込システム。
【請求項５】
前記埋込条件作成手段は、
前記番組内容記述データと前記広告内容記述データとの照合を行い、少なくとも番組映像の視聴者層と広告映像のターゲット層とが略一致した場合に、前記番組映像に前記広告映像を埋め込むことを特徴とする請求項１〜請求項４の何れか一項に記載の広告映像埋込システム。
【請求項６】
前記ユーザ端末は、
前記番組映像管理装置から前記番組提供手段を介して提供された番組映像及び前記広告映像管理装置から前記広告提供手段を介して提供された広告映像を記憶する映像記憶手段と、
番組映像に広告映像を埋め込むことを許可又は拒否することを示す埋込可否指定を記憶する埋込可否指定記憶手段と、
前記埋込可否指定記憶手段に記憶されている埋込可否指定により番組映像に広告映像を埋め込むことが許可されている場合に、
前記番組映像処理装置から前記埋込条件提供手段を介して提供された埋込条件に基づいて、前記映像記憶手段に記憶されている前記番組映像に前記広告映像を埋め込む映像合成手段と、
前記映像合成手段により前記広告映像が埋め込まれた番組映像を再生表示する映像再生表示手段と
を備えることを特徴とする請求項１、請求項３〜請求項５の何れか一項に記載の広告映像埋込システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００６−１４２００（Ｐ２００６−１４２００Ａ）
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願番号】特願２００４−１９１６９４（Ｐ２００４−１９１６９４）
【出願日】平成１６年６月２９日（２００４．６．２９）
【出願人】（０００１５５４６９）株式会社野村総合研究所 (1,067)
【Ｆターム（参考）】
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願日】平成１６年６月２９日（２００４．６．２９）
【出願人】（０００１５５４６９）株式会社野村総合研究所 (1,067)
【Ｆターム（参考）】
[ Back to top ]