ハイパーリンクによってリンクされた注釈データ受信システム、放送システム及び注釈データを含む放送情報を利用する方法
【課題】ハイパーリンクによってテレビ放送にリンクされた情報を受信するシステムおよび方法を提供する。
【解決手段】放送内容は解析され、フレーム内の１つ以上の領域が識別される。情報が関連付けられたフレームを識別するためのタイミング情報を用いて、さらなる情報を領域と関連付けることが可能であり、符号化された様態で送信することが可能である。システムは、ビデオソースおよび符号器を含む。上記符号器は、上記ビデオソースと連絡するトランスポートストリームと、注釈ソースと、上記注釈ソースと連絡する符号化注釈データパケットを生成するデータパケットストリーム生成器と、符号器と、上記符号器および上記データパケットストリーム生成器と連絡するマルチプレクサシステムとを含む。
【解決手段】放送内容は解析され、フレーム内の１つ以上の領域が識別される。情報が関連付けられたフレームを識別するためのタイミング情報を用いて、さらなる情報を領域と関連付けることが可能であり、符号化された様態で送信することが可能である。システムは、ビデオソースおよび符号器を含む。上記符号器は、上記ビデオソースと連絡するトランスポートストリームと、注釈ソースと、上記注釈ソースと連絡する符号化注釈データパケットを生成するデータパケットストリーム生成器と、符号器と、上記符号器および上記データパケットストリーム生成器と連絡するマルチプレクサシステムとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送テレビ、より具体的にはテレビ放送におけるハイパーリンクの分野に関する。
【背景技術】
【０００２】
テレビ信号を介する情報の放送は従来技術において周知である。テレビ放送は一方向性であり、視聴者がテレビディスプレイ上に現れる素材と双方向通信する機会を提供しない。表示された素材に視聴者が遠隔制御を用いて応答することは公知であるが、通常、利用可能な放送のリスト項目から視聴するための番組を選択することに制限される。特に、情報が画面の１つ以上の領域と関連付けられるハイパーリンクテレビ番組を生成することは困難であることが判明した。本発明は、このニーズに応える。
【０００３】
本出願は、「Ｉｎｔｅｒａｃｔｉｖｅ Ｈｙｐｅｒｌｉｎｋｅｄ Ｖｉｄｅｏ Ｓｙｓｔｅｍ」と称される米国仮出願シリアルナンバー第６０／１８５，６６８号（２０００年２月２９日出願）、「Ａ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｈｙｐｅｒｌｉｎｋｉｎｇ ｉｎ ａ Ｔｅｌｅｖｉｓｉｏｎ Ｂｒｏａｄｃａｓｔ」と称されるシリアルナンバー第６０／２２９，２４１号（２０００年８月３０日出願）、および「Ａ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｈｙｐｅｒｌｉｎｋｉｎｇ ｉｎ ａ Ｔｅｌｅｖｉｓｉｏｎ Ｂｒｏａｄｃａｓｔ」と称されるシリアルナンバー第６０／２３３，３４０号（２０００年９月１８日出願）の利益を主張する。これらの仮出願の各々は、参考のため、その全体を本明細書中で援用する。本出願は、「Ａ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＲＡＴＵＳ ＦＯＲ ＨＹＰＥＲＬＩＮＫＩＮＧ ＩＮ Ａ ＴＥＬＥＶＩＳＩＯＮ ＢＲＯＡＤＣＡＳＴ」と称する米国実用特許出願シリアルナンバー第０９／６９４，０７９号（２０００年１０月出願）および米国シリアルナンバー第０９／７１５，９４４号（２０００年１１月１７日出願）に対する優先権を主張する。これらの出願は、本出願の譲渡権を保有する同エンティティに譲渡可能である。
【発明の概要】
【０００４】
本発明は、双方向式で視聴者に提供される情報を用いてテレビ放送素材を強化する方法およびシステムを提供する。
【０００５】
１局面において、本発明はハイパーリンク注釈データシステム（ｈｙｐｅｒｌｉｎｋｅｄ ａｎｎｏｔａｔｉｏｎ ｄａｔａ ｓｙｓｔｅｍ）に関する。このシステムは、同調器、同調器と通信する復調器、復調器と通信するビデオデコーダ、復調器と通信する表示デバイス、注釈データを格納するメモリ、ならびに復調器およびメモリと通信する中央処理ユニットを含む。中央処理ユニットによって実行されると、メモリは表示デバイス上で注釈データの表示を制御するコンピュータプログラムを格納する。１実施形態において、システムは視聴者双方向通信デバイスをさらに含む。コンピュータプログラムは、双方向通信デバイスを活性化する視聴者に応答して、表示デバイス上で注釈データを表示する。１実施形態において、システムは、マスク情報を格納する第２のメモリをさらに含む。マスク情報は、コンピュータプログラムによって用いられ、表示デバイス上の領域を識別する。１実施形態において、マスク情報はマスクタイムスタンプを含む。１実施形態において、マスクタイムスタンプはコンピュータプログラムによって用いられ、ビデオフレームと時間的に関連してマスク情報を表示する。
【０００６】
１実施形態において、システムは、オブジェクト情報を格納する第３のメモリを含む。オブジェクト情報はコンピュータプログラムによって用いられ、ビデオフレーム内のオブジェクトを表示デバイス上に表示する。１実施形態において、オブジェクト情報はオブジェクトタイムスタンプ（ｏｂｊｅｃｔ ｔｉｍｅ ｓｔａｍｐ）を含む。１実施形態において、オブジェクトタイムスタンプは、有効タイムスタンプ（ｅｘｐｉｒａｔｉｏｎ ｔｉｍｅ ｓｔａｍｐ）を含む。この有効タイムスタンプは、コンピュータプログラムによって用いられ、特定の時間の後、オブジェクト情報を削除する。１実施形態において、オブジェクト情報は、ビデオフレームにおけるオブジェクトのオブジェクト数を有するオブジェクトマッピングテーブルおよび対応する第１の識別子、ならびに第１の識別子によって参照されるオブジェクトプロパティテーブル（ｏｂｊｅｃｔ ｐｒｏｐｅｒｔｉｅｓ ｔａｂｌｅ）、注釈データの第１のセットを有するオブジェクトプロパティテーブルを含む。１実施形態において、注釈データの第１のセットは、注釈データフィールド、および注釈データの第２のセットを識別する第２の識別子を含む。１実施形態において、注釈データフィールドは、タイトルデータフィールドであり、第２の識別子はオブジェクトのタイトルを含むストリングを識別する。１実施形態において、注釈データフィールドはメニューフィールドであり、第２の識別子は表示識別子のセットを含むセレクタ（ｓｅｌｅｃｔｏｒ）およびアクション識別子（ａｃｔｉｏｎ ｉｄｅｎｔｉｆｉｅｒ）の対応するセットを参照する。１実施形態において、第１および第２の識別子は、システムによって重複されることはない。１実施形態において、第２の識別子は可変値である。
【０００７】
別の局面において、本発明は、ハイパーリンク注釈データを含む放送情報を用いる方法を特徴とする。この方法は、放送情報を受信、復号、格納および操作するように適合された受信器を用いるステップを含む。この受信器は、中央処理ユニットおよび少なくとも１つのメモリデバイスを有し、受信情報のストリームを受信し、放送情報を復号してマスク情報を回復する。各マスクは、これと関連付けられたマスクタイムスタンプを有し、第１のデータ列におけるマスク情報を少なくとも１つのメモリデバイスに格納し、マスクタイムスタンプを表示されたビデオフレームのタイムスタンプと比較し、マスクタイムスタンプと、表示されたビデオのタイムスタンプとの間の関係に基づいてマスクを表示する。
【０００８】
１実施形態において、この方法は、放送情報を復号してオブジェクト情報を回復することをさらに含む。各オブジェクトは、このオブジェクトと関連付けられたオブジェクトタイムスタンプを有し、第２のデータ列におけるオブジェクト情報を少なくとも１つのメモリデバイスに格納する。１実施形態において、復号は、第１のデータ列上で動作を実行する第１のアクティブスレッドによって実行される。比較は、第１のデータ列上で動作を実行する第二のアクティブスレッドによって実行される。１実施形態において、マスクタイムスタンプと、表示されたビデオフレームのタイムスタンプとを比較するステップは、最も早期のマスクタイムスタンプを最も最近表示されたビデオフレームのタイムスタンプと比較することで開始される。１実施形態において、第１のスレッドは、マスクデータの動作（ｂｅｈａｖｉｏｒ）を調整することができ、第２のスレッドは、オブジェクトデータの動作を調節することができる。
【０００９】
１実施形態において、方法は、まだ表示されていないフレームにマスクタイムスタンプが対応する場合には、以下のステップをさらに含む：（ａ）関連するマスクを画像バッファへと復号するステップ、（ｂ）復号されたマスクが即座に表示されるべきかどうかを確認するためにマスクタイムスタンプを点検するステップ、（ｃ）復号されたマスクが即座に表示されるべき場合、復号されたマスクを表示し、復号されたマスクが後で表示されるべき場合、最後まで計算される時間の間、復号されたマスクが表示されるべき時間に休止し、始動すると即座に復号マスクを表示するステップ。
【００１０】
さらに別の局面において、本発明は、ハイパーリンク注釈データを含む情報を放送する方法に関する。この方法は、マスク情報と関連するマスクタイムスタンプを有するマスク情報を符号化するステップ、およびマスクタイムスタンプに基づいて、ビデオ信号と一時的に関係して表示するために、ビデオ信号と関連して符号化されたマスク情報を伝送するステップを含む。１実施形態において、この方法は、オブジェクト情報と関連付けられたオブジェクトタイムスタンプを有するオブジェクト情報を符号化するステップ、およびオブジェクトタイムスタンプに基づいてビデオ信号一時的に関連して表示するために、ビデオスタンプビデオ信号と関連して、符号化されたオブジェクト情報を伝送するステップとをさらに含む。
【００１１】
本発明の上述のオブジェクトおよび他のオブジェクト、局面、特徴、ならびに利点は、以下の説明および請求項からより明らかになる。
【図面の簡単な説明】
【００１２】
【図１Ａ】図１Ａは、本発明のシステムにより生成されたビデオの連続フレームを示す。
【図１Ｂ】図１Ｂは、本発明のシステムにより生成されたビデオの連続フレームを示す。
【図１Ｃ】図１Ｃは、本発明のシステムにより生成されたビデオの連続フレームを示す。
【図１Ｄ】図１Ｄは、本発明のシステムにより生成されたビデオの連続フレームを示す。
【図２】図２は、本発明による、ハイパーリンクビデオシステムの実施形態のブロック図である。
【図２Ａ】図２Ａは、図２に示されるシステムの実施形態におけるデータフローのブロック図である。
【図２Ｂ】図２Ｂは、マスクパケットセットの図である。
【図２Ｃ】図２Ｃは、最初に符号化されたデータパケットストリームの図である。
【図２Ｄ】図２Ｄは、最後に符号化されたデータパケットストリームの図である。
【図３】図３は、図１に示されるマルチプレクサシステムの実施形態のブロック図である。
【図４】図４は、図２に示されるデジタル受信器の実施形態のブロック図である。
【図５】図５は、注釈データを格納する図２のシステムにより用いられるデータ構造の実施形態の図である。
【図５Ａ】図５Ａは、オブジェクトプロパティテーブルデータ構造およびプログラムマッピングテーブルデータ構造のブロック図である。
【図６】図６は、図２に示されるシステムの実施形態のデータフローの状態図である。
【図７】図７は、本発明の実施形態の図６に示される状態機械内の状態間および状態内での相互作用を示す。
【図８Ａ】図８Ａは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図８Ｂ】図８Ｂは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図８Ｃ】図８Ｃは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図８Ｄ】図８Ｄは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図８Ｅ】図８Ｅは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図８Ｆ】図８Ｆは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図８Ｇ】図８Ｇは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図９Ａ】図９Ａは、本発明の原理による、ビデオ画像の圧縮方法の例示的実施形態を示す。
【図９Ｂ】図９Ｂは、本発明の原理による、ビデオ画像の圧縮方法の例示的実施形態を示す。
【図９Ｃ】図９Ｃは、本発明の原理による、ビデオ画像の圧縮方法の例示的実施形態を示す。
【図９Ｄ】図９Ｄは、本発明の原理による、ビデオ画像の圧縮方法の例示的実施形態を示す。
【図１０Ａ】図１０Ａは、本発明による、数学的形態学の用語で、２次元画像を説明するために用いられる、フレームの例示的領域および例示的マスクを示す。
【図１０Ｂ】図１０Ｂは、本発明の原理による、２次元数学的形態学的解析の例示的合成画像、および単一の合成ピクセルを示す。
【図１１Ａ】図１１Ａは、本発明による、時間を寸法として用いる数学的形態学の用語で２次元画像を説明するために用いられる例示的フレームのシーケンスおよび例示的マスクを示す。
【図１１Ｂ】図１１Ｂは、本発明の原理による、時間を寸法として用いる３次元数学的形態学解析の例示的合成フレームおよび単一の合成ピクセルを示す。
【図１１Ｃ】図１１Ｃは、本発明の１実施形態による、例示的プロセスを示すフローチャートであり、このプロセスによって３次元フラッドフィル（ｆｌｏｏｄｆｉｌｌ）が完成される。
【図１２】図１２は、本発明の原理による、領域の輪郭を生成する数学的形態学解析の例示的応用を示す図である。
【図１３】図１３は、本発明による、運動の表示である連続フレームにわたるヒストグラムの展開を示す図である。
【発明を実施するための形態】
【００１３】
簡単な概観において、本発明は、注釈情報が放送ビデオのフレームに表示され、視聴者のコマンドに基づいて表示されるオブジェクトと関連付けられる方法を提供する。例えば、図１を参照して、商店、価格および入手可能な商品の情報の形式での注釈情報は、テレビ放送において俳優によって着用される特定のシャツ２と関連付けられ得る（図１Ａ）。これを達成するために、シャツ２は、最初にオーサリングシステム（ａｕｔｈｏｒｉｎｇ ｓｙｓｔｅｍ）と呼ばれるシステムの１部を動作する設計者によってシステムに識別される。設計者は、所与のフレーム内のシャツ２を例えば、シャツの色合いによって（図１Ｂ）識別し（３）、システムは、シャツ２の位置のトラックを前および次のフレームに保持する。この設計者は、さらに、シャツ２と関連する注釈データ５になるテキストを生成する。従って、この例において、注釈データはシャツ２が購買され得る商店の名称、シャツ２の価格および入手可能な色を含み得る。システムは、その後、例えば、フレーム内で異なった色で輪郭を描くことによって（４）、シャツ２がこれと関連する注釈データを有することを示す（図１Ｃ）。
【００１４】
システムの伝送部分によって視聴者にショーが放送されるとき、ビデオだけでなく、シャツ２の輪郭を描くマスクおよびシャツ２に伴う注釈データも放送される。視聴者の位置にあるシステムの受信器部分は、このデータを受信し、関連する注釈データを有するオブジェクトの輪郭を描くマスクと一緒にビデオフレームを表示する。この例において、ビデオフレームにおけるシャツ２の輪郭が描かれる。放送されるビデオの視聴者が注釈データを見ることを所望する場合、この視聴者は、ただ、標準遠隔制御ハンドセット上のボタンを制御し、注釈データの表示が所望されることをシステムの受信器部分に通知する。システムは、その後、オブジェクトと一緒に注釈データ５を画面上に表示する（図１Ｄ）。このようにして、通知されたオブジェクトは、追加的情報へのハイパーリンクとして機能する。
【００１５】
図２を参照して、本発明により構成されたハイパーリンクビデオ放送システムは、伝送部分１０、通信チャンネル部分１２および受容部分１４を含む。伝送部分１０は、ビデオソース２０、オーサリングツール２４、データベース格納システム２８および送信器３２を含む。種々の実施形態におけるビデオソース２０は、ビデオカメラ、ビデオディスク、テープまたはカセット、ビデオフィード（ｖｉｄｅｏ ｆｅｅｄ）または当業者に公知の任意の他のソースである。注釈ソースであるオーサリングツール２４は、ビデオソース２０からビデオデータを受信し、後述されるように、これをビデオ設計者が見て操作するように表示する。注釈データは、例えば、ビデオ画像を用いて表示されるべきテキストであり、オブジェクトデータベース２８に格納され、システムの通信チャネル部分１２を介して伝送するために送信器３２に送信される。
【００１６】
送信器３２は、ビデオ符号器３６、データパケットストリーム生成器４０およびマルチプレクサ（ｍｕｘ）４４を含み、通信チャンネル１２を介して伝送するためにビデオ符号器３６およびデータパケットストリーム生成器４０からの信号を組み合わせる。ビデオ符号器３６は、当業者に公知のように輸送ストリームを生成するための、ＭＰＥＧまたはＭＰＥＧ２符号器等の任意の符号器であり得る。データパケットストリーム生成器４０は、後述のように、さらなるデータを符号化する。このデータは、視聴者に伝送されるときビデオデータに伴うべきデータである。データパケットストリーム生成器４０は、符号化されたデータパケットを生成する。ｍｕｘ４４は、アーギュメント輸送ストリームを生成する。
【００１７】
通信チャンネル部分１２は、ケーブル、地上放送インフラストラクチャ、マイクロ波リンクまたは衛星リンク等の伝送媒体だけでなく、受容部分１４によって受信されるまで、ビデオデータを保持する任意の中間格納も含む。このような中間放送格納は、当業者に公知のビデオディスク、テープまたはカセット、メモリあるいは他の記憶デバイスを含み得る。通信チャンネル部分は、複数のサービスオペーレータによって供給されるヘッドエンド送信器５０も含む。
受容部分１４は、テレビディスプレイ５８上に表示するための信号を復号するデジタルセットトップボックス等のデジタル受信器５４を含む。デジタル受信器ハードウェア５４は、当業者に公知の任意のデジタル受信器ハードウェア５４である。
【００１８】
動作中、および図２Ａも参照して、設計者はビデオソース２０からオーサリングツール２４へビデオデータ２２をロードする。ビデオデータ２２は、さらに、例えば、ＭＰＥＧ標準を用いて符号化するために、ビデオソース２０からビデオ符号器３６へ送信される。オーサリングツール２４を用いて、設計者は、ビデオ画像の部分を選択して、画面注釈（ｓｃｒｅｅｎ ａｎｎｏｔａｔｉｏｎ）と関係付ける。例えば、設計者は、ビデオ画像において俳優によって着用されるシャツ２を選択し得、シャツ２の製造業、販売価格および地域の販売店を示す注釈データを割り当てる。逆に、注釈データは、オブジェクトについてのさらなるテキスト情報を含み得る。例えば、ドキュメンタリー番組における注釈データは、画面上の個人についての伝記ふうの情報を有し得る。後述されるように、マスク画像である画像におけるシャツ２の形状およびシャツ２の位置と一緒に、注釈データ５はデータ構造２５、２５‘としてデータベース２８に格納される。
【００１９】
設計者が一度、所与のプログラムをオーサリングすると、オーサリングツールは、オブジェクトは現れ、データ構造は注釈付きプログラムにおいて利用される範囲を決定する。この情報は、本発明のシステムによって用いられ、オブジェクトが視聴者に提供される前に、視聴者のオブジェクトとの双方向通信を可能にするデータが伝送されることを保証する。この情報は、本発明のシステムによっても用いられ、データがプログラムによってもはや必要とされず、後述されるメモリ１２８から消去され得るのはいつかを決定する。
【００２０】
上述のように、この注釈データは、さらに、符号化されたデータパケットストリーム２７に変換するためにデータパケットストリーム生成器４０に送信される。ビデオ符号器３６からの輸送ストリーム２９におけるタイムスタンプデータは、さらに、データパケットストリーム生成器４０への入力信号でもあり、マスクおよび注釈データを画像データと同期化するために用いられる。データパケットストリーム生成器４０は、プログラムの手順を経て（ｓｔｅｐ ｔｈｒｏｕｇｈ）、ビデオの各フレームのタイミング情報を対応するマスクと関連付けることによって同期化を達成する。タイミング情報は、ビデオおよびマスク情報の同期化を可能にする任意の種類の情報であり得る。例えば、タイミング情報は、ＭＰＥＧ符号器、ビデオのＳＭＰＴＥ時間コード標準によって提供されるような時間コード情報、フレームまたはフレームの連続番号、世界の時間等の一意的識別子のようなフレームナンバリング情報によって生成されるようなタイムスタンプ情報であり得る。本発明のこの図示において、タイムスタンプ情報は、例示的実施形態として用いられる。
【００２１】
ビデオ符号器３６からの符号化されたビデオデータは、マルチプレクサ４４におけるデータパケット生成器４０からの符号化されたデータパケットストリーム２７と組合され、その結果生じるアーギュメント輸送システム４６は、マルチプレクサシステム４８への入力である。この例示的実施形態において、マルチプレクサシステム４８は、さらなる輸送ストリーム２９’およびアーギュメント輸送ストリーム（ａｒｇｕｍｅｎｔｅｄ ｔｒａｎｓｐｏｒｔ ｓｔｒｅａｍ）４６’’を受信することが可能である。輸送ストリーム２９’およびアーギュメント輸送ストリーム４６’’は、デジタル符号化されたビデオ、音声、および当業者に公知の他の方法によって生成されたデータストリームを含む。マルチプレクサシステム４８からの出力は格納および／または放送用の通信チャンネル１２に送信される。放送信号は、デジタル受信器５４によって送信され、この受信器によって受信される。デジタル受信器５４は、多重化された信号の符号化されたビデオ部分を表示用のテレビ５８に送信する。デジタル受信器５４は、さらに、ハンドヘルド遠隔制御ユニットを用いて視聴者からのコマンドを受取り、ビデオ画像に伴う任意の注釈を表示する。１実施形態において、デジタル受信器５４は、さらに、代替的ネットワーク接続５６と直接的に通信する（図２）。
【００２２】
代替的実施形態において、オブジェクトデータベース２８からの情報は、インターネット等のネットワーク３１を通じてか、またはデータベース３０に直接的にアクセスするために図２における第２のデータベース３０に転送される。本実施形態において、ヘッドエンド５０は、視聴者によってそのようにリクエストされると、第２のデータベース３０に格納された注釈オブジェクトデータにアクセスする。この構成は、視聴者が後で見るための番組を記録し、記録媒体が注釈データを記録し得ないときか、またはデータが番組中に帯域内で伝送され得ないとき等の場合に有用である。従って、記録された画像がデジタル受信器５４を通じて再生され、視聴者が注釈データをリクエストするとき、デジタル受信器５４は、ネットワーク３１を通じてデータを入手するようにヘッドエンド５０に命令し得る。さらに、ヘッドエンド５０は、デジタル受信器５４の制御のもとで、ネットワーク３１上のデータベース３３か、またはヘッドエンドデータベース５２にデータを書き込むことができる。ヘッドエンド５０によって書き込まれたこのようなデータは、どのオブジェクトが見られているかを示すマーケティングデータであり得るか、またはネットワーク上で表示された品目を注文するために、視聴者によって必要とされる注文情報であり得る。第３の実施形態は、１部の情報は元の放送に含まれ、１部は視聴者によるリクエストに応答して取出される、先行する実施形態の属性を組合せる。
【００２３】
符号化されたデータパケットストリーム２７に関するさらなる詳細において、および図２Ｂ、図２Ｃおよび図２Ｄを参照して、データパケットストリーム生成器４０は、ビデオフレームに対応するマスクデータおよび注釈データの大きさに相違はあるが、一定のデータレートストリームを生成するように設計される。データパケットストリーム生成器４０は、これを、３つのステッププロセスによって達成する。第１のデータパケットストリーム生成器４０は、マルチプレクサ４４に入力され得るパケットレートの許容範囲を決定する。次に、データパケットストリーム生成器４０は、符号化されるプログラムにおける最大のマスクによって満たされるパケットの数を決定する。これは、各マスクパケットセット３９におけるパケットの数を決定する。すなわち、各マスクの輸送のために割当てられるパケットの数である。図２Ｂ、図２Ｃおよび図２Ｄに示される例において、各マスクパケットセット３９に８個のパケットが存在する。この数を用いて、データパケットストリーム生成器４０は、符号化されたデータパケットストリーム２７’の初期バージョンを生成し、パケットの定数を各マスクに割当てる。特定のマスクを保持するために必要とされるパケットの数が定数よりも少ない場合、データパケットストリーム生成器４０は、ヌルパケットの最初に符号化されたデータパケットストリーム２７’をバッファする。ヌルパケットの数は、マスクデータが書き込まれた後に残っているパケットの数に依存する。図２Ｃにおいて、フレーム１０００のマスクデータ４２は、４つのパケットを満たし、これによって５つのパケットがヌルパケットによって満たされるべき４つのパケットが残る。同様に、データ４２’、４２’’、４２’’’は、マスク９９９、マスク９９８、およびマスク９９７に関して、３つ、５つおよび２つのパケットをそれぞれ必要とする。これで、ヌルパケットによって満たされるべきそれぞれ５つ、３つ、および６つのパケットが残る。
【００２４】
最後に、データパケットストリーム生成器４０は、オブジェクトデータを付加することによって、最終的に符号化されたデータパケットストリーム２７’’を生成する。データパケットストリーム生成器４０は、オーサリングツール２４によって提供される情報から、所与のオブジェクトがプログラム内に有する第１の情報（ｏｃｃｕｒｒｅｎｃｅ）を決定することによってこれを行なう。このオブジェクトに対応するデータは、その後、そのオブジェクトの第１の例の前の特定のポイントで開始する最初に符号化されたデータパケットストリーム２７’に挿入される。データパケットストリーム生成器４０は、最初に符号化されたデータパケットストリーム２７’の手順を逆に経て、必要に応じて、ヌルパケットをオブジェクトデータと置き換える。例えば、図２Ｄにおいて、オブジェクト９８は、フレーム１００１に現れることが決定される。これは、オブジェクト９８と関連するすべてのデータがフレーム１００１の前に到着しなければならないことを意味する。オブジェクト９８のデータ４３は、５つのパケットＯ９８Ａ、Ｏ９８Ｂ、Ｏ９８Ｃ、Ｏ９８ＤおよびＯ９８Ｅを満たし、マスクデータ１０００およびマスクデータ９９９に割当てられたパケットのセットに付加される。オブジェクト９７のデータ４３’は、２つのパケットＯ９７ＡおよびＯ９７Ｂを満たし、マスクデータ９９８に割当てられたパケットのセットに付加される。
【００２５】
１実施形態における輸送ストリームからデータを抽出するプロセスを容易にするために、マルチプレクサ４４は、ＭＰＥＧ２標準において基本ストリームを識別するために用いられるように、マスクデータおよびオブジェクトデータを異なったパケット識別子（ＰＩＤ）と関連付ける。この方法で、デジタル受信器５４は、マスクおよびオブジェクトデータを主にそれらのＰＩＤに基づく異なった計算スレッドに送られ得る。これによって、パケットのコンテンツの初期分析を実行する必要を除去する。マスクおよびオブジェクトデータの再組立てにおいて、デジタル受信器５４は適切な数のパケットをストリームから抽出できる。なぜなら、この情報は符号化プロセスの部分としてデータパケットストリーム生成器４０によって提供されるからである。例えば、図２Ｄを参照して、データパケットストリーム生成器４０は、マスク１０００は４つのパケット４２を満たし、オブジェクト９８のデータ４３が５つのパケットを満たすことを指定する。このデータは、パケットのヘッダ３８、３８’、３８’’、３８’’’部分に含まれ、この部分は、各マスクパケットセットの第１のパケットの第１の１６バイトを占める。
【００２６】
図２Ｄにおいてマスクヘッダ３８の拡大された図に示されるように、ヘッダパケットは、マスク情報を搬送するパケットの数に関する情報を含み、特定のマスクと関連する情報、タイムスタンプ情報、可視性ワード情報（ｖｉｓｉｂｉｌｉｔｙ ｗｏｒｄ ｉｎｆｏｒｍａｔｉｏｎ）および一意的識別子（ＵＩＤ）を符号化する。ＵＩＤおよびオブジェクトマッピングテーブルは、図５に関してより詳細に後述される。同様に、各オブジェクトの第１のパケットは、１６バイトヘッダ４５、４５’で始まる。これはデジタル受信器５４がオブジェクトパケット４３、４３’においてデータを抽出、格納および操作することを可能にする情報を含む。さらに、図２Ｄにおいてオブジェクトデータヘッダ４５の拡大された図に示されるように、オブジェクトデータヘッダ情報は、特定のオブジェクト、オブジェクトのデータタイプ、オブジェクトのＵＩＤ、およびオブジェクトデータがプログラムにおいて用いられる最後の例のようなタイムスタンプのような情報を搬送するパケットの数を含む。タイムスタンプのシステムおよびシステムの使用によって用いられるデータ構造のタイプは、図５、図６および図７に関してより詳細に後述される。
【００２７】
図３を参照して、マルチプレクサシステム８’は、図２Ａに示されるマルチプレクサシステムの強化されたバージョンである。マルチプレクサシステム４８’は、複数の輸送２９’およびアーギュメント輸送ストリーム４６、４６’’を電波媒体に渡す単一信号を生成するための入力として用いることができる。例示的マルチプレクサシステム４４’は、３つの輸送ストリームマルチプレクサ６０、６０’、６０’’、３つの変調器６８、６８’、６８’’、３つのアップコンバータ７２、７２’、７２’’およびミキサ７８を含む。マルチプレクサシステム４４’は、輸送ストリームの複数セットをミキサ７８への入力へ変換する３つの重複サブシステム（ｄｕｐｌｉｃａｔｅ ｓｕｂｓｉｙｓｔｅｍ）を含む。各サブシステムは、輸送ストリームのセット（ＴＳ１対ＴＳＮ）、（ＴＳ１’対ＴＳＮ’）、（ＴＳ１’’対ＴＳＮ）を（北米デジタルケーブルシステムの場合の直交振幅変調（ＱＡＭ）または地上放送の場合の８ＶＳＢ等の）デジタル変調器６８、６８’、６８’’への入力信号として用いられるべき単一の輸送ストリーム（ＴＳ、ＴＳ’、ＴＳ’’）に組合せるためのマルチプレクサ６０、６０’、６０’’を含む。１実施形態において、輸送ストリームの各々、例えば、ＴＳ１対ＴＳＮは、テレビ番組を表す。変調器６８、６８’、６８’’の出力信号は、アップコンバータ７２、７２’、７２’’への中間周波数入力信号であり、このアップコンバータは、変調器６８、６８’、６８’’の出力信号を放送のための適切なチャンネル周波数に変換する。これらの変換されたチャンネル周波数は、周波数ミキサ７８への入力周波数であり、この周波数ミキサ７８は、組合された信号を電波媒体上に配置する。
【００２８】
図４を参照して、デジタル受信器５４は、関心の対象である放送チャンネルを入力放送ストリームから選択するための同調器を含み、チャンネル用のビデオおよび注釈データを含む中間周波数（ＩＦ）信号を生成する。ＩＦ信号は、変調器１０４への入力信号であり、ＩＦ信号を復調し、情報を輸送ストリーム（ＴＳ）に抽出する。輸送ストリームは、ＭＰＥＧ復号器等のビデオ復号器１０８への入力信号である。ビデオ復号器１０８は、フレームバッファ１１２において受信されたビデオフレームをバッファする。復号器１０８からの復号されたビデオ１１４および音声１１６の出力信号は、テレビディスプレイ５８への入力信号である。 注釈データは、ビデオ復号器１０８により分離され、処理のためＣＰＵ１２４に伝送される。データはメモリ１２８に格納される。メモリは、注釈データおよび視聴者からの命令を処理するためのコンピュータプログラムも格納する。デジタル受信器５４は、視聴者からの命令を受信し、注釈素材を表示し、注釈データは、１部またはすべてのフレームバッファ１１２をオーバーレイするコンピュータグラフィック画像としてレンダリングされる。復号器１０８は、その後、対応するビデオ信号１１４をテレビディスプレイ５８に伝送する。
【００２９】
ケーブルまたは光ファイバ等、信号を２方向性で搬送し得る媒体によって搬送される放送に関しては、デジタル受信器５４から放送システムのヘッドエンド５０に接続され得る。従来のテレビ放送またはテレビ衛星通信等の１方向性媒体により搬送される放送の代替的実施形態において、電波媒体を用いることなく、デジタル受信器５４から、放送局または別のエンティティと通信する代替的ネットワーク接続５６への接続がなされ得る。電波媒体の一部ではない放送局または別のエンティティと通信するための通信チャンネルは、電話、インターネットまたは類似のコンピュータ接続等であり得る。２方向性電波媒体が利用可能であっても、このような非電波（ｎｏｎ−ｂｒｏａｄｃａｓｔ）通信チャンネルが用いられ得ることが理解されるべきである。このような通信接続は、視聴者の位置から放送局または広告主等別のエンティティに送信されるメッセージを搬送する。このような通信接続は、集合的にバックチャンネル（ｂａｃｋｃｈａｎｎｅｌｓ）と呼ばれる。
【００３０】
バックチャンネル通信は、放送局または広告主にとって価値があり得る情報の収集、および視聴者に放送局、広告主またはその他との双方向通信を可能にすることを含む種々の目的のために用いられ得る。
【００３１】
１実施形態において、デジタル受信器５４は、遠隔制御デバイスを介して視聴者と注釈情報との双方向通信に関するレポートを生成する。バックチャンネルを介して放送局に伝送されるこのレポートは、エラーレポートまたはアクションレポート等の遠隔操作に関するレポートを含み得る。このエラーレポートは、「不法」または未定義のアクションを実行する試み等、視聴者に利用可能な選択の範囲を超えた不適切な遠隔操作の使用に関する情報であり、アクションレポートは、視聴者によって行なわれるアクションを含み、タグが付けられて素材のタイムスタンプを示し、このタイムスタンプは、その後、テレビディスプレイ上で表示される。広告主によって供給された素材が利用可能であるとき、視聴者がそのような素材を取得するアクション、および、例えば、視聴者が取得の試みを取消すポイントを認識することといった、視聴者がその素材を取得することを終了するアクション等の、視聴者のアクションに関するレポートを含む。ある実施形態において、バックチャンネルは、蓄積転送チャンネルであり得る。
【００３２】
認識および伝送され得る情報は、例えば、単位量、大きさ、色、視聴者のクレジット情報および／または個人識別番号（ＰＩＮ）ならびに出荷情報を含む、放送において広告が出された品目（例えば、シャツ）の注文を行なうこと等、視聴者が関与することを所望する取引に関する情報をさらに含む。認識および伝送され得る情報は、例えば、サービスの識別、そのサービスの時間および配達の場所、支払い情報等を含む、ペイパービュー方式の放送を見せてほしいというリクエスト等、サービスに対するリクエストに関する情報をさらに含む。認識および伝送され得る情報は、さらに、国営ラジオ放送（Ｎａｔｉｏｎａｌ Ｐｕｂｌｉｃ Ｒａｄｉｏ）によって提供されるような、政治情報、公共放送情報、および米国特許商標庁の特許および商標データベースのようなデータリポジトリへのアクセスのリクエスト等の非営利的情報に関する情報を含む。
【００３３】
バックチャンネルはさらに、潜在的購買者が在庫切れの品目を選択する場合、および代替的選択を行なう可能性、または視聴者が補充されるまで品目を待つ気があるかどうか、およびどれくらい待つ気があるのかに関して一連の通信が続くような双方向通信にも用いられ得る。双方向通信の他の例示的実施例は、現在の価格、特定の商品またはサービスの入手可能性（２０００年ワールドシリーズの第３試合等の、スタジアムでの特定のスポーツイベントで利用可能な座席の位置等）、および購買の確認の表示である。
【００３４】
視聴者が注釈システムとの双方向通信を開始すると、受信器５４はフラグをセットし得る。このフラグは、視聴者が双方向通信を継続する間中、視聴者との双方向通信を行なうことを必要とするデータを保存する。これは、ビデオディスプレイ上に表示され得る番組素材に関係なく、および双方向通信がなされていない場合にデータが視聴者によって廃棄される時に関係なく行われる。１実施形態において、受信器５４は、視聴者に情報を提供するデータ構造において現れる各データ（単数または複数）構造の「使用中ビット」をセットする。「使用中ビット」は、受信器５４がデータ（単数または複数）構造を廃棄するのを防ぐ。視聴者が双方向通信を終了すると、「使用中ビット」はゼロにリセットされ、データ構造（単数または複数）は、その有効利用期限が切れると廃棄され得る。図５には示されないが、本システムのデータ構造にも、各データ構造の有効タイムスタンプが存在する。プログラムの時間が有効タイムスタンプを一度越えると、システムはこのタイムスタンプによってそのデータ構造を廃棄する。この廃棄プロセスは、ゴミ収集器５３２によって制御される。
【００３５】
注釈システムと双方向通信する経過において、視聴者はカタログを生成し、変更し得る。カタログは、視聴者が購買することを決定し得る品目、および視聴者が取得することを所望する情報の記述を含み得る。視聴者は、１つ以上の放送からカタログに含めるための選択を行ない得る。視聴者は、カタログのコンテンツを変更し得、カタログに品目を付加するとすぐに、または後から商取引を開始し得る。
【００３６】
カタログは、視聴者が見ていた番組についての入力情報を含み得る。最高レベルで、遠隔操作等のデバイスを用いることによって、視聴者はシステムと双方向通信し、関心のある品目、かつ量、価格、型、大きさ、色等、関心のある注文の詳細、および早急な発注またはカタログにおける関心のある品目のリストに選択した品目を単に付加すること等の注文の状況を識別する。
【００３７】
さらなる詳細なレベルで、視聴者は、番組への入力を選択し得、「保存済」または「発注済」等の入力の状況を含むカタログリストへの個別入力をリビューし得る。入力「保存済」は、品目がリスト上に入力されたが発注されていないことを意味する（すなわち、品目に関するデータはロックされている）。「発注済」は、その名称が示すように、リスト上の品目に関する実際の注文がバックチャンネルを介して行なわれたことを示す。視聴者は、依然として詳細な下位レベルでリストに呼び掛け得、（例えば、製造元、型、説明、価格、発注量、色等）の品目の細目を見る。品目が商品でないが、例えば、あるシーンに登場する俳優に関する伝記的な情報等、視聴者の関心の対象となる情報である場合、下位レベルでの照会によりその情報が表示される。１実施形態において、カタログにわたるナビゲーションは遠隔操作によって実行される。
【００３８】
視聴者は、上述のような取引を行なう際に用いるための口座を開設し得る。１実施形態において、視聴者は、自分の名前、配達先、およびクレジットカード番号、またはデビットカード番号等の金融情報等の情報を入力し得る。これは、視聴者が、友人宅またはホテルの部屋の受信器といった、システムにより操作する任意の受信器から発注することを可能にする。別の実施形態において、視聴者は、例えば、放送局によるサービスの供給と関連付けられた契約口座番号等の契約口座番号およびパスワード等の識別子を用い得る。このような状態では、放送局は、視聴者の自宅の住所および他の配達に関する情報ならびに視聴者との取引口座（ｏｐｅｎ ｆｉｎａｎｃｉａｌ ａｃｃｏｕｎｔ）を既に有している。このような例において、視聴者は、パスワードを使用することによって、自分が所望する発注および確認を行なうだけである。さらに別の実施形態において、視聴者は個人用カタログ（ｐｅｒｓｏｎａｌｉｚｅｄ ｃａｔａｌｏｇ）を設け得る。このような状態の例のように、家族構成員には個人用カタログが与えられ得、支出限度まで、および家族の中の経済的責任を負う個人と予め取り決められたルールによって商品およびサービスを注文し得る。
【００３９】
視聴者および放送システムの位置に依存して、バックチャンネルを介して伝達された情報のフォーマットは、（米国で用いられるような）ＱＰＳＫ変調、（欧州で用いられるような）ＤＶＢ変調、または他のフォーマットのうちの１つであり得る。伝送におけるセキュリティの必要性に依存して、バックチャンネルを介して伝送されるメッセージは、任意の暗号法を用いて全体または部分的に暗号化され得る。バックチャンネルを介して通信される情報は、（例えば、一意の識別子またはデジタルサイン等）送り手の認証に関する情報、（例えば、エラー訂正法またはＣＲＣのようなシステム等）通信の統合、取引の否認防止（ｎｏｎ−ｒｅｐｕｄｉａｔｉｏｎ）に関する情報、サービスの拒否の予防に関するシステムおよび方法、および通信のプライバシー、認証、および法的拘束力のある通信の性質に関する他の類似の情報を含み得る。
【００４０】
通信されている情報の種類に依存して、例えば、視聴者の放送素材に対する応答およびペイパービュー素材へのリクエストに関する情報は、放送局に向けられ得る。例えば、シャツの注文等の情報は、広告主に向けられ得る。例えば、第３者によって制御されるデータベースへアクセスするリクエスト等の情報は、第３者に向けられ得る。図５は、注釈データ情報を格納するために本発明において用いられるデータ構造を示す。データ構造は、ビデオフレームにおいて識別されたオブジェクトの位置および／または形状に関する情報および視聴者が識別されたオブジェクトと双方向通信することを可能にする情報を格納する。
【００４１】
特に、図５はビデオのフレーム２００を示す。このフレームは、第１のオブジェクトとしてシャツ２０５の画像、第２のオブジェクトとして帽子２０６の画像、および第３のオブジェクトとして半ズボン２０５を含む。これらのオブジェクトの形状および／または位置を表すために、オーサリングツール２４はマスク２１０を生成する。このマスクは、２次元ピクセルアレイであり、各ピクセルは、ピクセルの色または強度値に関係なく、関連する整数値を有する。マスクは、オブジェクト（または表示の領域）を輪郭表示または強調表示することに、オブジェクト（または領域）が表示されるための視覚上の効果を変更および強化すること、オブジェクトとの固定的関係でグラフィックを配置すること、またはオブジェクトとの固定的関係で数を配置することで種々の方法を包括して位置情報を表す。この例示的実施形態において、システムは各フレームまたはビデオ画像に対して単一のマスク２１０を生成する。共通の構成要素および共通のカメラ遠近法（ｃａｍｅｒａ ｐｅｒｓｐｅｃｔｉｖｅ）を共有するビデオ画像の収集がショットとして定義される。例示的マスク２１０において、４つの識別領域が存在する。すなわち、整数０によって識別される背景領域２１２、整数１によって識別されるシャツ領域２１３、整数２によって識別される帽子領域２１４、および整数３によって識別される半ズボン領域２１５である。当業者は、画像の輪郭の数学的記述等の、表示しているオブジェクトの代替的形態が同様に良好に用いられることを認識する。マスク２１０は、一意的識別子（ＵＩＤ）２１６、タイムスタンプ２１８、および認知の単語（ｖｉｓｉｂｉｌｉｔｙ ｗｏｒｄ）２１９をそのオブジェクトと関連付ける。ＵＩＤ２１６は、特定のマスクと関連付けられたオブジェクトマッピングテーブル２１７を参照する。この同期化プロセスは、図６に関して、より詳細に後述される。認知の単語２１９は、システムによって用いられ、特定のビデオフレームにおいて認知できる、特定のショットにおけるこれらのオブジェクトを識別する。図５には示されないが、システムの他のすべてのデータ構造も、上述のように使用中ビットを含む。
【００４２】
図５に示されるデータ構造の例示的セットは、視聴者が以下のものを含む識別されたオブジェクトとの双方向通信を可能にする。すなわち、オブジェクトマッピングテーブル２１７、オブジェクトプロパティテーブル２２０、２２０’、１次ダイアログテーブル２３０、ダイアログテーブル２５０、２５０’、２５０’’、セレクタ２９０、２９０’、２９０’’、アクション識別子２５７、２５７’、２５７’’、書式シート２４０、およびストリング２３５、２３５’、２３５’’、２３５’’’、２５６、２５６’、２５６’’、２５９、２５９’、２５９’’、２５９’’’、２５９’’’’、２９２、２９２’、２９２’’、２９２’’’である。
【００４３】
オブジェクトマッピングテーブル２１７は、マスク２１０における識別された領域２１２、２１３、２１４、２１５の各々の領域数、および関心の対象となる各領域の対応するＵＩＤ２１６を含む。例えば、オブジェクトマッピングテーブル２１７において、シャツ領域２１３は整数値「１」として格納され、ＵＩＤ０１２３４を関連付ける。ＵＩＤ０１２３４は、オプジェクトプロパティテーブル２２０を示す。オブジェクトマッピングテーブル２１７においても、帽子領域２１４は整数値２として格納され、ＵＩＤ１０３２４を関連付ける。ＵＩＤ１０３２４は、オブジェクトプロパティテーブル２２０’を示す。オブジェクトマッピングテーブルは、整数１で始まる。なぜなら、背景のデフォルト値が０だからである。
【００４４】
通常、オブジェクトプロパティテーブルは、特定のオブジェクトに関する情報についての参照を格納し、視聴者のそのオブジェクトとの双方向通信を容易にする。例えば、オブジェクトプロパティテーブル２２０は、ＵＩＤ５６７８を有するタイトルフィールド２２１、ＵＩＤ９１０１１２を有する価格フィールド２２２、およびＵＩＤ１３１４１５１６を有する１次ダイアログフィールド２２３を含む。第２のオブジェクトプロパティテーブル２２０’は、ＵＩＤ２３２３２３を有するタイトルフィールド２２１’、１次ダイアログフィールド２２３と同じＵＩＤ１３１４１５１６を有する１次ダイアログフィールド２２３’、およびＵＩＤ９１０１１３を有する価格フィールド２２２’を含む。タイトルフィールド２２１のＵＩＤおよびオブジェクトプロパティテーブル２２０の価格フィールド２２２は、それぞれストリング２３５、２３５’を示す。これらのストリングは、「クルーポロシャツ」という名称のシャツおよびその価格「＄１４．９５」についての情報を含む。オブジェクトプロパティテーブル２２０’のタイトルフィールド２２１’は、ストリング２３５’’を示す。このストリングは、「スポーツキャップ」という名称の帽子についての情報を含む。オブジェクトプロパティテーブル２２０’の価格フィールドは、ストリング２３５’’’を示す。当業者は、オーサリングされたビデオの所与のセクションに関して、オーサリングツール２４によって識別されたオブジェクトに対応して、多数のオブジェクトプロパティテーブルが存在することを容易に認識する。
【００４５】
オブジェクトプロパティテーブル２２０の１次ダイアログフィールド２２３のＵＩＤは、１次ダイアログテーブル２３０を示す。ダイアログテーブル２３０は、さらに、第２のオブジェクトプロパティテーブル２２０’の１次ダイアログフィールド２２３’のＵＩＤによって参照される。当業者は、第２のオブジェクトプロパティテーブル２２０’がビデオフレーム２００を含むプログラム内で識別される別のオブジェクトに対応することを容易に認識する。通常、ダイアログテーブル２３０は、視聴者と双方向通信するシステムによって用いられるテキストボックスおよびグラフィックボックスを構造化する。ダイアログテーブル２３０は、モデル表示制御器プログラミングパラダイム（ｍｏｄｅｌ−ｖｉｅｗ−ｃｏｎｔｒｏｌｌｅｒ ｐｒｏｇｒａｍｍｉｎｇ ｐａｒａｄｉｇｍ）でのデータモデルとして機能する。視聴者によって見られる表示は、ＵＩＤ１３５７９を有する書式シートテーブル２４０によって表され、制御器コンポーネントは、デジタル受信器５４上のソフトウェアによって供給される。例示的１次ダイアログテーブル２３０は、視聴者との双方向通信を開始するために用いられる。ダイアログテーブルのさらなる実施例は、特定の品目に関して入手可能な色２５０または大きさ２５０’、視聴者が購買したい品目の数を示すためのボックス、購買２５０’’を確認するためのボックス、および視聴者の購買について視聴者に礼を述べるボックスを含む。当業者は、このリストが網羅的ではないこと、および可能なダイアログテーブルの範囲が広範囲にわたることを認識する。
【００４６】
視聴者の画面上に表示される特定のダイアログテーブルの外観と感触は、書式シートによって制御される。書式シートは、モデル表示制御器プログラミングパラダイム、すなわち当業者に公知のソフトウェア開発パラダイムにおいて表示パラメータを制御する。ダイアログテーブル２３０の書式シートフィールド２３２は、書式シートテーブル２４０を示すＵＩＤ１３５７９を含む。書式シートテーブル２４０は、フォントフィールド２４１、形状フィールド２４２、およびグラフィックフィールド２４３を含む。動作中、これらのフィールドの各々は、適切なデータ構造リソースを示すＵＩＤを有する。フォントフィールド２４１は、フォントオブジェクトを指し、形状フィールド２４２は、異なった書式シートを有し、グラフィックフィールド２４３は画像オブジェクトを指し、これらは後述される。異なった書式シートを有することによって、本システムは、情報の提示を特定のプログラムに合わせることが容易にできる。例えば、人口統計学的に異なった分類の視聴者に対象を絞った２つの番組で１着のシャツの広告をすることを所望する小売業者は、製品情報を１度入力するだけでよい。これらの番組により支援される視聴者の双方向通信は、異なった書式シートが用いられるが、同じデータを参照する。
【００４７】
本実施形態の複数のデータ構造の名称とＵＩＤの対構成は、システムとの適合性の利点を提供する。特に、固定フィールドではなく、名称とＵＩＤの対を用いることによって、データタイプおよびプロトコルは、旧式のデジタル受信器ソフトウェアに影響を与えることなく拡張され得、同じ注釈のテレビ番組を複合的に用いることを可能にする。
【００４８】
本発明のシステムの柔軟性は、ＵＩＤが包括的に一意に定まるというシステムの要求によって強化される。例示的実施形態において、ＵＩＤは、ビットの第１のセットが特定のデータベースライセンスを表し、ビットの第２のセットが特定のデータ構造の構成要素を表す数として定義される。当業者は、これが特定の実施形態であり、ＵＩＤが包括的に一意に定まることを保証するための複数の方法が存在することを認識する。
【００４９】
ＵＩＤの包括的な一意性は、例えば、同じケーブルシステム上で放送する２つの放送網において、それらの放送の番組において識別される品目が区別され得ることが確実であり得るということである。これはさらに、ヘッドエンド受信器５０が特定のオブジェクトに関してネットワーク３１を介して、データベース３０、３３からデータを取出すことができることを意味する。なぜなら、オブジェクトはシステムのすべてのコンポーネントにわたって一意に定まる識別子を有するからである。ＵＩＤの包括的な性質は、異なったオブジェクトが区別できることをシステムが保証し得ることを意味し、さらに、本発明のシステムのユーザは、品目を区別しないという動作がより効率的である場合、品目を区別しないことを選択し得ることを意味する。例えば、複数の番組で同じシャツを販売する販売業者は、適切なオブジェクトデータを１度だけ入力するだけでよく、さらに、その販売業者はＵＩＤおよび参照されたデータを供給業者とともに用い得る。これにより、さらなるデータの入力オーバーヘッドを取除く。
【００５０】
本システムの本実施形態において、ＵＩＤの定義された４つのクラスが存在する。すなわち、空ＵＩＤ、リソースＵＩＤ、非リソースＵＩＤ、および拡張ＵＩＤである。空ＵＩＤは、ＵＩＤが任意のリソースを指さないことを示すシステムによって用いられ得る。リソースＵＩＤは、９つの別個のタイプのリソースを識別し得る。すなわち、オブジェクトマッピングテーブル、オブジェクトプロパティテーブル、ダイアログテーブル、セレクタ、書式シート、画像、フォント、ストリングおよびベクトルである。セレクタデータ構造およびベクトルリソースは後述される。画像リソース参照グラフィックはシステムによって用いられる。非リソースＵＩＤは、４つの種類の値を含む。すなわち、色値、アクション識別子、整数値およびシンボルである。視聴者によって行なわれるアクションの中で、アクション識別子は、「保存／ブックマーク」、「取消し」、「次の品目」、「前の品目」、「発注」および「終了」を含む。シンボルは、一対の名称ＵＩＤ名称を表し得る。システムは、スタック内で名称をルックアップし、関連するＵＩＤを表す。非リソースＵＩＤは、リテラル値を含む。拡張ＵＩＤは、システムがＵＩＤの大きさを増加させるようにするメカニズムを提供する。拡張ＵＩＤは、現在のＵＩＤがより長いＵＩＤの接頭語であることをシステムに示す。
【００５１】
システムが視聴者からの入力を必要とすると、このシステムはセレクタ２９０のデータ構造を用いる。セレクタ２９０のデータ構造は、一対のＵＩＤのテーブルであり、ここで第１のカラムは視聴者に表示されるべき品目のＵＩＤを含み、第２のカラムは各品目と関連付けられたアクションのＵＩＤを含む。デジタル受信器５４におけるソフトウェアがセレクタ２９０のデータ構造に遭遇すると、このソフトウェアは第１のカラムにおいて視聴者の画面上にすべての品目をレンダリングする。通常、選択は視聴者によって行なわれる。これらの品目は、ストリング、画像または非リソースＵＩＤの任意の組合せであり得る。画面上では、視聴者が品目をスクロールアップおよびスクロールダウンすることができる。視聴者が品目の１つを選択した場合、デジタル受信器５４におけるソフトウェアはその品目と関連するアクションを実行する。これらのアクションは、ダイアログボックスをレンダリングし、非リソースアクション識別子を実行するか、または別のセレクタ２９０’のデータ構造をレンダリングすることを含む。セレクタはメニュー１のフィールド２５３、２５３’、２５３’’、２５３’’’により参照される。
【００５２】
動作中、視聴者がオブジェクトを選択し、一連のデータ構造にわたってナビゲートすると、システムは、視聴者に情報を表示するために用いられる各連続データ構造をメモリ１２８におけるスタック上に配置する。例えば、図５に示されるデータ構造により支援される以下の視聴者双方向通信を考察されたい。最初に、視聴者は、オブジェクトマッピングテーブル２１７を介してオブジェクトプロパテイテーブル２２０’にシステムを配置し、オブジェクトプロパティテーブル２２０’をスタック上に配置させて帽子２１４を選択する。以下の議論において、視聴者によって参照される各データ構造がスタック上に配置されることが暗に示される。
【００５３】
次に、システムは、１次ダイアログテーブルを表示する。このダイアログテーブルは、帽子のタイトル２３５’’および価格２３５’’’を含み、ここで、視聴者に提供される情報の様式は書式シート２４０によって制御される。さらに、視聴者への初期の表示は、セレクタ２９０に含まれる情報に基づいてレンダリングされる一連の選択を含む。セレクタ２９０に基づいて、システムは、視聴者にストリング「終了」２５６、「購買」２５６’および「保存」２５６’’によって表される選択を提供し、これらの各々はそれぞれ、ＵＩＤ９９９９、８８８８および７７７７によって表される。アクション識別子の終了２５７’および保存２５７は、ＵＩＤ１０１２および１０２０それぞれによってシステムに照会される。
【００５４】
視聴者が「購買」ストリング２５６’を選択すると、システムはダイアログテーブル２５０、ＵＩＤ１０１１を用い、色のオプションを視聴者に表示する。特に、セレクタ２９０’は、システムを配向し、視聴者にストリング「赤」２９２、「青」２９２’、「緑」２９２’’および「黄」２９２’’’、ＵＩＤ１１１１、２２２２、３３３３、４４４４をそれぞれ表示する。ダイアログテーブル２５０のタイトルは、システムによって種々のシンボル１ ２６６を通じて配置される。オブジェクトプロパティテーブル２２０’がスタック上に配置されると、シンボル１ ２６６はＵＩＤ２００１と関連付けられる。従って、システムがシンボル１ ２６６’に遭遇すると、このシステムは、シンボル１ ２６６を配置するまで、スタックにわたってトレースアップし、次に、システムを配向してＵＩＤ２００１を介してストリング「色選択」２５９を表示する。
【００５５】
視聴者が「青」２２２２ストリング２９２’を選択すると、システムはＵＩＤ５５５５と関連付けられたアクション識別子を実行し、シンボル２、ＵＩＤ２００２を通じて配置されたストリング「大きさ選択」２５９と標識化されたダイアログテーブルを表示する。ＵＩＤ２００４によって配置されたセレクタ２９０’’に基づいて、ワンサイズのみ入手可能であるので、システムはストリング「大」２５９’’、ＵＩＤ１１２２をレンダリングする。視聴者が別の色を選択した場合、帽子は大きさでのみ入手可能であるので、この視聴者は同じダイアログテーブル、ＵＩＤ５５５５に向けられる。視聴者がストリング「大」２５９’’を選択した後、システムは視聴者にダイアログテーブル２５０’’、ＵＩＤ６６６６を提供し、購買を確認する。ダイアログテーブル２５０’’がセレクタ２９０’’、ＵＩＤ２００３を用い、視聴者にストリング「はい」ＵＩＤ１１１３および「いいえ」ＵＩＤ１１１４をそれぞれ提供する。視聴者が「はい」ストリング２５９’’を選択した後、アクション識別子の発注２５７’’、ＵＩＤ１０１３によって向けられ、システムは取引を伝送する。確認依頼に応答して、視聴者が「いいえ」ストリング２５９’’’を選択した場合、システムはアクション識別子の終了２５７’を実行することによって、特定の視聴者双方向通信を終了する。終了動作の一部として、システムは、スタックからオブジェクトプロパティテーブル２２０’を取り除き、次に続くすべてのデータ構造は、視聴者によるシステムとの特定の双方向通信に基づいてスタック上に配置される。同様に、システムによる購買リクエストの実行の後、システムは、データ構造をスタックから取り除く。
【００５６】
アクションが１つ以上の工程を必要とする場合、システムは、ＵＩＤの順序化ＵＩＤのセットであるベクトルリソースを用いる。例えば、視聴者が、自分が見つけた品目の参照を保存することを所望する場合、システムは、２つの動作を実行する必要がある。第１に、システムは、非リソース保存ＵＩＤによって示された実際の保存動作を実行しなければならず、第２に、システムは、視聴者に、品目が保存されたことを示すダイアログボックスを提供しなければならない。従って、保存することができるベクトルＵＩＤは、非リソース保存ＵＩＤおよびダイアログテーブルＵＩＤを含み、ダイアログテーブルＵＩＤは、適切なテキストを参照するダイアログテーブルを示す。
【００５７】
本発明のシステムの特定の利点は、データ構造が操作上効率的および柔軟であるように設計されていることである。例えば、データ構造の分散型の性質は、最小量のデータのみが伝送される必要があることを意味する。例えば、オブジェクトプロパティテーブル２２０、２２０’等の複数のデータ構造の構成要素は、例えば、ダイアログテーブル２３０等の同じデータ構造の構成要素を示し得、このデータ構造の構成要素は、１度伝送されるだけでよい。スタック動作は、データ構造の分散型の性質に呼応する機能を表し、例えば、帽子２１４はそれ自体のセレクタ２９０を有しないが、帽子が表示されたときは、セレクタ２９０は、依然として帽子２１４のために用いられ得る。データ構造の分散型の性質も、データの個別の要素が他のデータ構造に格納された情報を分散することなく、独立して変更され得るという利点も有する。
【００５８】
柔軟性を提供する本発明のシステムの別の局面は、可変データタイプとしてのシンボルをさらに用いることである。スタック上の参照によって供給される値を有することに加えて、シンボルは、初期のオーサリングプロセスの後の特定の時間に供給され得るリソースを参照し得る。例えば、シンボルは、ＤＴＶ放送基盤１２を方向づけ得、放送時間において価格を供給する。これは、例えば、販売業者が特定の伝送ケーブルシステムに依存してオブジェクトに異なった値段をつけることを可能にする。
【００５９】
本発明の分散型データ構造によって提供される柔軟性のさらなる局面は、これが複数の視聴者の相互通信の実例をサポートする点である。例えば、対話表およびその連結の順序付けにおける広い変化は、視聴者の相互通信の構造が適応性があり、作成者によって容易に制御されることを意味する。
【００６０】
このシステムによってサポートされる視聴者の経験が種々にわたっているという別の例は、複数のビデオストリーム間を切替える能力である。この特徴は、複数のプログラムストリーム（各プログラムストリームはビデオ情報、音声情報およびデータ情報から成り得る）から成るＭＰＥＧ２のトランスポートストリームの構造を用いる。ＭＰＥＧ２のトランスポートストリーム内で特定の周波数で１回伝達すると、同時に複数のデジタルテレビプログラムが得られ得る。当業者であれば、ＰＭＴと呼ばれるプログラムマッピング表をストリーム内の各プログラムに関連付けることによってこれが達成されることを理解する。ＰＭＴは、特定のプログラムに対応するストリーム内のパケットのパケット識別子（ＰＩＤ）を識別する。これらのパケットは、各プログラムのビデオパケット、音声パケットおよびデータパケットを含む。
【００６１】
図５Ａを参照すると、オブジェクトの特性表２２０’’が示されている。オブジェクトの特性表２２０’’は、対応するリンクタイプのエントリをＵＩＤフィールド内に有するリンクタイプフィールド２７０、および対応するＰＩＤ２２８を有するｓｔｒｅａｍ＿ｎｕｍ ｆｉｅｌｄ２２７を含む。ビデオストリームの切替をイネーブルにするには、オーサリングツール２４は特定のプログラムストリームのＰＭＴ２２９のＰＩＤに対応するＰＩＤ２２８を選択する。オブジェクトの特性表２２０’’に対応するオブジェクトが選択されると、デジタル受信機５４はリンクタイプフィールド２７０のビデオリンクエントリ２７１を用いて、オブジェクトがビデオリンクオブジェクトであるか否かを判定する。次いで、デジタル受信機５４は、現在のＰＭＴのＰＩＤをＰＭＴ２２９のＰＩＤ２２８と交換する。続いて、デジタル受信機５４は、ＰＭＴ２２９を用いて新しいプログラムに対応するデータを抽出する。特に、ＰＭＴ２２９によって参照されるプログラムは、ＰＩＤ１７によって識別されるビデオストリーム２６０、ＰＩＤ１８およびＰＩＤ１９によって識別される２つの音声ストリーム２６１、２６２、およびＰＩＤ２０によって識別されるプライベートデータストリーム２６３を含む。このように、視聴者は、これらのストリームに関連付けられたオブジェクトを選択することによって、異なるプログラムストリーム間で切替ることが可能である。
【００６２】
図６は、図２に示すシステムの一実施形態のデータフローおよびフロー制御のフロー図５００である。図６は、視聴者がシステムのハードウェアおよびソフトウェアと相互通信する場合に行われる一連の工程を示す。図６において、マスク用のデータのストリーム５０２はマスク復号器５０４において復号される。復号されたマスク情報５０６は、マスク５０８、５０８’、５０８’’などのバッファまたはキュー内に置かれる。マスク情報５０６と同時に、イベントのストリーム５１０（割り込みと考えられ得る）は、イベント５１２、５１２’、５１２’’などのイベントキュー内に置かれ、イベント５１２は１対１の対応でマスク５０８に対応する。マスク５１４と呼ばれるスレッドはマスク５０８上で動作する。マスク５１４のスレッドは、マスクヘッダを探し出し、１つ以上のバッファを組み立て、そしてキュー内のマスク情報を処理して、マスクオーバーレイを生成する。
【００６３】
マスク情報を表示するには、解凍器５２８と呼ばれるスレッドは、例えば、（６４０×４８０）のピクセルの解像度を用いて、ビデオ画面５３０上で表示するのに適切なサイズ（例えば、（３２０×２４０）のピクセルの解像度）で維持されるマスクを復号して拡大する。解凍器５２８のスレッドは、マスク情報にエンコードされたタイムスタンプを調べ、そして現在のビデオフレームのタイムスタンプとこれを比較することによって、マスクオーバーレイの表示とビデオとの同期を取る。マスクオーバーレイフレームがビデオフレームの前にある場合、解凍器のスレッドはビデオタイムスタンプとマスクタイムスタンプとの間の差を表す計算された時間量の間スリープする。この機構により、マスクがビデオオブジェクトにオーバーレイするように現れるように、マスクはビデオとちょうど同期が取られている状態が保たれる。
【００６４】
注釈データの第２のストリーム５１６は、オブジェクト５１８と呼ばれる第２のソフトウェアに提供される。オブジェクトデータストリーム５１６は、オブジェクト５１８のスレッドによって分析および復号される。オブジェクト５１８のスレッドは、各オブジェクトを復号し、これをオブジェクトの階層内に組み込む。オブジェクト５１８のスレッドの出力は、形状およびサイズなどの変化する特徴を有するオブジェクト５１９のストリームである。
【００６５】
モデル５２０と呼ばれるスレッドは、マスク５０８およびオブジェクト５１９を組み合わせて、システムのモデルを形成する。マスク情報は、マスクオーバーレイ内に表される各オブジェクトの一意的なＩＤを含む。一意的なＩＤはモデル内に格納されるオブジェクトに対応する。モデル５２０のスレッドは、これらの一意的なＩＤを用いて、対応する情報の同期を取るかまたは照合する。
【００６６】
モデル５２０のスレッドは、スタック、ハッシュ表およびキューなどのハウスキーピング構造を含み、これらはすべて、ソフトウェア技術の分野の当業者に周知である。例えば、スタックを用いて、再構成され得る状態の一時的な表示を、メモリまたは呼び出され得るメモリ位置内に保持し得る。ハッシュ表を用いて、特定の種類のデータまたはデータへのポインターを格納し得る。キューを用いて、連続するビット、バイトまたはデータなどを格納し得る。モデル５２０はビュー５２６と呼ばれるスレッドと相互通信し、このスレッドは、テレビ画面などの画面５３０上に表示される情報を制御する。ビュー５２６のスレッドはモデル５２０のスレッドに含まれる情報を用いる。モデル５２０のスレッドは、相互通信コンテンツを有するまたは有さない特定の画像を表示するために必要な情報の追跡を保持する。ビュー５２６のスレッドはさらに、マスク５１４のスレッドとも相互通信して、適切な情報が正しい時間に表示画面５３０に利用可能にされることを保証する。
【００６７】
ソフト５２２と呼ばれるスレッドは、状態５２４と呼ばれる状態機械の機能を制御する。状態５２４の詳細を図７を参照してより完全に説明する。状態５２４はスレッドビュー５２６と相互通信する。
【００６８】
ごみコレクタ５３２は、古くなったデータおよび他の情報（例えば、すでに経過した時間に対応する、最後に用いたタイムスタンプを有するデータ）を集めて処分するように設けられる。ごみコレクタ５３２はシステムのメモリを定期的に一掃して、このような不必要なデータおよび情報を排除し、そして新しいデータおよび情報を格納するメモリ空間を回復し得る。このようなごみコレクタソフトウェアはソフトウェア技術分野において公知である。
【００６９】
図７は、状態機械の状態５２４内の状態間の相互通信を示す。状態機械の状態５２４は、作動されると、状態機械の状態５２４をリフレッシュされたスタートアップ状態にし、メモリコンテンツおよびスタックポインタなどのすべての調整可能な値をデフォルト値（必要な場合、ＲＯＭ、ＳＤＲＡＭ、磁気記憶装置、ＣＤ−ＲＯＭまたはメモリのプロテクト領域内に格納され得る）に設定するリセット６０２を含む。システムがリセットされた後、矢印６２０が示すように、その状態機械の状態５２４の状態を相互通信コンテンツアイコン６０４と呼ばれる状態に移行する。図７を参照されたい。
【００７０】
相互通信コンテンツアイコン６０４は、ロゴに類似した視覚画像が、テレビディスプレイ５８の規定された領域内に現れる状態である。視覚画像は「アイコン」と呼ばれる。したがって、アクティブな視覚画像の名が、相互通信コンテンツアイコンである。アイコンは、外観を変更したりまたは視覚効果を変更または強化することができる。相互通信情報が利用可能である場合、視覚効果を用いて、例えば、色を変更し、透明度を変更し、光度を変更し、明滅または点滅させ、または移動するように見せることによって、アイコンが表示される。
【００７１】
システムの視聴者は、手持ち式デバイス上のキーを押すことによって情報があることを示す表示に応答し得る。例えば、一実施形態において、右矢印または左矢印（コンピュータキーボード上の矢印または手持ち式ＴＶのリモートデバイスの音量ボタンに類似する矢印）を押すと、状態機械の状態５２４の状態が相互通信コンテンツアイコン６０４からマスクの強調表示（ＭＨ）６０６に変更する。相互通信コンテンツアイコン６０４からＭＨ６０６への状態の移行は矢印６２２によって示される。
【００７２】
状態ＭＨ６０６において、画像の１つ以上の領域が視聴者に表示されることが可能な素材に対応する場合、例えば、ビデオディスプレイ上に現れる領域の輪郭を描く外周ラインを有させることによって（図１Ｄ参照）、またはその領域またはその領域の一部分の外観を変更することによって、１つのこのような領域を強調表示する。一実施形態において、ある男性が着るシャツが強調表示されるオブジェクトである場合、キーを押すことに応答してシャツの輪郭が視覚的にくっきりと現れるか、キーを押すことに応答してシャツの外観が変化する。キーを繰り返し押したり、または他の矢印キーを押すと、テーブル上にあるワインボトルなどの別のオブジェクトが同様の方法で強調表示される。通常、強調表示されることが可能なオブジェクトは、キーを連続的に押すことによって連続的に強調表示される。
【００７３】
視聴者が所定の時間期間（例えば、１０秒間）どんな行為も行わない場合、状態機械の状態５２４の状態は、矢印６２４が示す相互通信コンテンツアイコン６０４に戻される。あるいは、視聴者が横方向を指す矢印以外のボタン（例えば、リモートコントロール上のナビゲーション矢印の中心に現れることが多い「選択」ボタン）を作動させると、状態は状態ＭＨ６０６から情報ボックス６０８と呼ばれる状態に進む。情報ボックス６０８は、情報がポップアップボックス（すなわち、情報ボックス）内に現れる状態である。ＭＨ６０６から情報ボックス６０８への状態の移行は矢印６２６によって示される。現れる情報は、情報の広告主または宣伝主によって指定され、そして例えば、強調表示されるオブジェクトのブランド名、モデル、価格、地方のベンダーおよび仕様を含み得る。一実施例として、メンズのシャツの場合、情報は、シャツのブランド名、価格、利用可能なサイズの範囲、利用可能な色の例、１つ以上のベンダーに関する情報、特別販売の提供に関する情報、および注文を行う際に連絡するための電話番号または電子メールアドレスに関する情報などを含み得る。このシステムで起こり得る１つの潜在的な問題は、２つの連続したショットにおいて、同じオブジェクト（すなわち、同じＯＰＴを有する領域）は、現れるが、マスクフレームおよびＯＭＴ内で異なる指数を有し得ることである。例えば、２人の人があるビデオ放送のうちで異なる部分を編集して、各自が編集するビデオの部分にビデオ放送が現れる場合、同じオブジェクトに異なる指数を割り当てる場合がある。一つのオブジェクトが異なるショット内で異なる指数によって指定され得る可能性は、ショットが変わった後に、システムが領域上に強調表示を示し続ける（これは、理想的である）場合、問題を提示する。この潜在的な問題を打開するには、システムはオブジェクトのオーバーレイをレンダリングする前に「リバースルックアップ」アルゴリズムを用いる。オブジェクトが視聴者によってまず強調表示されると、このショットのＯＭＴが参照され、強調表示されたオブジェクトのＯＰＴのＵＩＤがメモリ内に格納され、そして強調表示が表示される。各連続したフレームの強調表示をレンダリングする前に、マスクフレームをまずチェックして現在のＯＭＴを探す。次いで、ルックアップが実行され、現在のオブジェクトのＯＰＴ ＵＩＤを用いてＯＭＴが検索される。ＯＰＴ ＵＩＤが見つかった場合、ＯＭＴ内のＯＰＴ ＵＩＤに関連付けられたマスクフレームに対応する参照を有するマスクフレーム内のエリアが強調表示される。このリバースルックアップは、時間切れになるまで、または新しいオブジェクトが選択されるまで続く。
【００７４】
視聴者が行い得る多くの応答が可能であり、これらの応答は、通常、矢印６２８によって示されるように、相互通信コンテンツアイコン６０４の状態に複数のパスを介して戻り得る。応答は、例えば、視聴者が、記載されたアイテムの購入を行ったり、さらなる情報に関して問い合わせたり、またはこのような購入を撤回することなどによって、視聴者が提供される情報に興味を有することを含み得る。
【００７５】
システムが相互通信コンテンツアイコン６０４の状態にある間、視聴者は、バーストボタンを押して、バースト６１０と呼ばれる状態が作動され、相互通信コンテンツアイコン６０４からバースト６１０に移行する（６３０）。バースト６１０の状態において、ビデオディスプレイは、視聴者に提示され得る関連付けられた情報を現在有するオブジェクトすべてを連続して自動的に強調表示する。任意の１つのオブジェクトの強調表示期間は短く、０．０３〜５秒のオーダーであり、これにより、視聴者が短い時間内にどのオブジェクトが提示される関連付けられた情報を有し得るかを評価し得る。好適な強調表示期間は０．１〜０．５秒の範囲内である。バースト６１０の状態はラジオ受信機を走査する走査状態に類似している。ラジオ受信機内で、適切な信号の強度で受信され得る信号は短い時間で連続してチューニングされる。
【００７６】
バースト６１０の状態は、関連付けられた情報を有する種々のオブジェクトが強調表示された後に、相互通信コンテンツアイコン６０４の状態に自動的に戻る（６３２）。システムが相互通信コンテンツアイコン６０４の状態に返った後、上述したように、視聴者は、関連付けられた情報を有する対象のオブジェクトを自由に作動させる。
【００７７】
別の実施形態において、バースト６１０の状態は通信内に埋め込まれた命令によって呼び出され得る。さらに別の実施形態において、バースト６１０の状態は、定期的に呼び出されて視聴者にアクティブであり得る領域を通知し得、または１セットの可視性ビットを有する領域を含む新しいショットが開始する場合に、バースト６１０の状態が呼び出され得る。
【００７８】
相互通信コンテンツアイコンを用いて、視覚の手がかりを視聴者に提供し得る。一実施形態において、画像の１つ以上の領域と共に視聴者に表示される素材がある場合のみ、相互通信コンテンツアイコンは現れる。
【００７９】
一実施形態において、相互通信コンテンツアイコンは、バースト６１０の状態が呼び出された場合にアクティブである。相互通信コンテンツアイコンは、例えば、強化された視覚効果（これは、外見上は各可視領域が仮定する強化された視覚効果に類似している）で相互通信コンテンツアイコン自体を表示することによって、バースト６１０の状態が開始しているという信号の形態を取り得る。異なる実施形態において、強化された視覚効果は、色の変化、光度の変化、アイコン自体の変化、あるいはディスプレイ領域の点滅または明滅などであり得る。
【００８０】
一実施形態において、領域が増えると相互通信コンテンツアイコンが増やされ、このアイコンを、コンパス上の点のように、またはデジタル受信機のリモートコントロールのキーのように形成し得る。増やされた領域は、同時または連続して、強化された視覚効果を用いて表示される。種々の実施形態の例示の実施例を、図８Ａから図８Ｇまで模式的に示す。図８Ａは非アクティブな相互通信コンテンツアイコンを示す。図８Ｂは、視覚的に強化されたアクティブな相互通信コンテンツアイコンを示す。図８Ｃは、バースト状態に入る相互通信コンテンツアイコンを示し、バースト状態において、北（Ｎ）、東（Ｅ）、南（Ｓ）および西（Ｗ）のコンパス位置を指す４つの矢じりが追加される。例えば、増やされた領域は、手持ち式デバイス上のボタンの形状を思い出させる形態で提示され得る。一実施形態において、北（Ｎ）および南（Ｓ）の矢じりはビデオの手持ち式リモート上でチャンネルを変更するボタンに対応し得、東（Ｅ）および西（Ｗ）の矢じりはビデオの手持ち式リモート上で音量を変更するボタンに対応し得、これにより、これらのボタンを押すとバースト状態応答が呼び出されることを視聴者は思い出す。
【００８１】
図８Ｄは、アクティブなバースト状態の相互通信コンテンツアイコンを示し、相互通信コンテンツアイコン自体および北（Ｎ）のコンパス位置を指す矢じりが強化された視聴効果と共に表示されている。図８Ｅは、アクティブなバースト状態の相互通信コンテンツアイコンを示し、相互通信コンテンツアイコン自体および東（Ｅ）のコンパス位置を指す矢じりが強化された視聴効果と共に表示されている。図８Ｆは、アクティブなバースト状態の相互通信コンテンツアイコンを示し、相互通信コンテンツアイコン自体および南（Ｓ）のコンパス位置を指す矢じりが強化された視聴効果と共に表示されている。図８Ｇは、アクティブなバースト状態の相互通信コンテンツアイコンを示し、相互通信コンテンツアイコン自体および西（Ｗ）のコンパス位置を指す矢じりが強化された視聴効果と共に表示されている。
【００８２】
上述したように、テレビ番組および利用可能にされ得る任意の注釈情報を含む、ビデオディスプレイ５８上に現れる情報は、ヘッドエンド５０からデジタル受信機５４に伝達される。ビデオ画像は通常多くの情報を含む。現代の高解像度のテレビのフォーマットにおいて、一つのビデオフレームは１０００本より多いラインを含み得る。各ラインは１０００ピクセルより多いピクセルを含み得る。所定のフォーマットで、２４ビットの整数が、各ピクセルを表示するのに必要である。このような大量の情報を伝達することは相当な負担である。伝達しなければならないデータ量を減らし得る圧縮方法は、テレビ通信技術において有用な役割を果たす。データファイルの圧縮は通常、コンピュータ技術の分野において周知である。しかし、画像圧縮の分野で特に用いられる新しい形態のファイル圧縮を本発明において用いる。
【００８３】
１つの従来の圧縮プロセスは「ランレングス符号化」と呼ばれる。このプロセスにおいて、ビデオラインに連続して現れる各ピクセルまたは同一のピクセルのグループは順番になったペアとして符号化される。このペアは、同一のピクセルがいくつレンダリングされるかを示す第１の数、およびこのような同一のピクセルそれぞれの外観を規定する第２の数を含む。同一のピクセルのランが長い場合、このようなコード化プロセスは伝達される必要があるビットの総数を減らし得る。しかし、病理学の例において、例えば、各ピクセルがその前およびその後のピクセルとは異なり、コード化体系は実際には、ピクセルのシーケンス自体を表すために必要なビット数より多いビットを必要とし得る。
【００８４】
一実施形態において、ランレングス符号化を改良したものは、「セクションランレングス符号化」と呼ばれ、これは、２つ以上の連続したラインが、同じ外観または色について同じランレングスのシーケンスを有するものとしてカテゴリー化され得る場合に得られる。２つ以上のラインはビデオ画像のセクションとして処理される。このようなセクションの一実施例は、背景をモノクロにして見られる人物である。トランスミッタは、セクション内のすべてのラインに有効である色のシーケンスを一つ提供し、次いで、それぞれ連続した色を有するラインごとのピクセル数を符号化することによって、このセクションを符号化する。この方法により、色ごとに長ったらしいビットパターンを必要とする冗長な色情報を繰り返し伝達することが防がれる。
【００８５】
図９Ａは、背景７１０をモノクロ（例えば、青色の背景）にして示される人物７０５の画像７００を示す。図９Ａは、ビデオ画像の圧縮方法のいくつかの実施形態を示す。図９Ａにおいて、人物は皮膚の色を有し、これは領域７２０内に見られる。人物は紫色のシャツ７３０および緑色のパンツ７４０を着用している。符号器および復号器がルックアップテーブルを用いて、コード化された数を全（例えば、２４ビット）表示値に変換する場合、異なる色または外見が小さい値を有する数として符号化され得る。一実施形態として、背景色を、マスクを目的として、無効な視覚効果または透過的な視覚効果として規定し得、これにより、画像の元の視覚外観が改変することなく表示されることが可能になる。
【００８６】
「セクションランレングス符号化」のこの実施形態において、符号器は各行７５２、７５４、７６２、７６４を走査し、そして各ランの色の値および長さを記録する。ランの数およびビデオフレームの第１の行７５２の色のシーケンスは、続く行７５４の色のシーケンスと合致しない場合、第１の行７５２はレングス１のセクションであるように符号化され、続く行７５４は次の続く行と比較される。２つ以上の行が同じ色のシーケンスを含む場合、セクションは同じ色のシーケンスを有する複数の行として符号化され、セクションの第１の行の色およびランレングスを表す一連の順序付けられたペアが続く。図９Ｂに示す３つの行を有する一実施例に関して、第１の行は色およびランレングスのペアの値（ｎ）を含む。残りの２つの行はランレングスのみとして符号化され、セクションの第１の行内で用いられる色は復号器によって用いられて、セクションの後の行を表示するための情報を再生する。一実施形態において、セクションをビデオラインまたは行の全範囲より小さく規定し得る。
【００８７】
図９Ａを参照して説明する一実施例として、例示の行７５２および７５４は、ビデオ走査ラインに対応し、背景７１０、人物の皮膚７２０のセグメント、およびさらなる背景７１０を含む。例示の行７５２および７５４は両方、青色のピクセルのラン、皮膚の色のピクセルおよびさらに青色のピクセルを含む。したがって、行７５２および７５４、ならびに人物の皮膚の色の頭または首の部分を交差する他の隣接する行は、以下のように符号化される。すなわち、数は、ライン７５２、７５４に類似する行が正確には何本セクション（これは、青色の背景の、色−皮膚、色−青色の背景色パターンによって規定されている）内にあるかを示し；第１の行の符号化は、青色の背景色および関連付けられたピクセル計数を示す値、皮膚の色７２０および関連付けられたピクセル計数を示す値、および青色の背景色および別の関連付けられたピクセル計数を示す値を含む。セクション内の残りの行は、青色の背景色のピクセル計数を表す数として、皮膚の色７２０にレンダリングされるピクセル計数を表す数として、そして残りの青色の背景色のピクセルを表す数として符号化される。
【００８８】
別の実施形態において、符号化される必要がある情報を減らすプロセスは、「Ｘランレングス符号化」と呼ばれ、これは識別されたオブジェクト内の情報のみを符号化することを含む。この実施形態において、符号化されるピクセルは、規定されたオブジェクト内、またはオブジェクトの輪郭内に現れるピクセルだけである。トランスミッタ内の符号器は順序付けトリプル（ｏｒｄｅｒｅｄ ｔｒｉｐｌｅ）としてピクセルを表す。順序付けトリプルは、ラインの開始などの既知のピクセルに対してランの開始位置を規定する、値、ランレングスおよびオフセットを含む。受信機において、復号器は、順序付けトリプルを読み出して、符号化された情報によってピクセルをレンダリングすることによって、符号化された情報を回復する。
【００８９】
図９Ａを再度参照すると、例示のライン７５２および７５４はそれぞれ、順序付けトリプルの数としてＸランレングス符号化プロセスで表される。順序付けトリプルの数は、皮膚の色７２０を示す数、いくつのピクセルが皮膚の色７２０にレンダリングされるべきかを示す数、および皮膚の色７２０にレンダリングされたピクセルが位置付けられるべき画像７００の一端部７１２からの距離を示す数である。例示的な一実施例を図９Ｃに示す。
【００９０】
さらに別の実施形態において、セクションランレングス符号化プロセスおよびＸランレングス符号化プロセスの特徴を組み合わせた「Ｘセクションランレングス符号化」と呼ばれるプロセスを用いる。Ｘセクションランレングス符号化プロセスはコード化パラメータとして色値およびランレングスを用いるが、背景の符号化を無視する。この符号化体系の各エントリは、Ｘランレングス符号化と同様、順序付けトリプルの色値、ランレングス値およびオフセット値である。
【００９１】
例示のライン７６２および７６４は、以下に示され得る連続したラインのセクションの一部である。すなわち、例示のライン７６２、７６４は順に、青色の背景７１０ｂのセグメント、紫色のシャツ７３０の腕部分、青色の背景７１０、紫色のシャツ７３０の主部、青色の背景７１０、紫色のシャツ７３０の他方の腕部分、および青色の背景の最後のセグメントである。例示のライン７６２、７６４および同じ色のパターンを有する他の隣接したラインは以下のように符号化される。すなわち、セクション内のライン数を規定する整数；第１のラインは色、ランレングスおよびオフセットを示す３つのトリプルの数として符号化され；そしてセクション内の残りのラインはランレングスおよびオフセットを示す３つの順序付けダブル（ｏｒｄｅｒｅｄ ｄｏｕｂｌｅ）として符号化される。色値はセットのトリプルの数から復号され、そして以後、セクションの残りのラインに用いられる。順序付けダブルまたは順序付けトリプルによって規定されないピクセルは、背景色にレンダリングされる。例示の一実施例を、３つの行を用いて図９Ｄに示す。
【００９２】
さらなる実施形態は、「スーパーランレングス符号化」と呼ばれるプロセスに関する。この実施形態において、ビデオ画像は、ＣＰＵによってセクションを含み得る複数の領域に分解される。ＣＰＵは上述の圧縮プロセスを種々の領域に適用して、セクションごとに最も効率的な圧縮プロセスの符号化を決定する。次いで、ＣＰＵは、各セクションが符号化されるプロセスを示すプリペンディッド（ｐｒｅｐｅｎｄｅｄ）整数または記号を加えて、最も効率的なプロセスの合成としてセクションごとに画像を符号化する。このスーパーランレングス符号化の例示的な一実施例は、画像７００の所定のラインのランレングス符号化、画像７００の他のライン（例えば、７５２、７５４）のＸランレングス符号化、画像７００のさらに他のライン（例えば、７６２、７６４）のＸセクションランレングス符号化などの組み合わせを用いた画像７００の符号化である。
【００９３】
符号化体系の他の実施形態を用いてもよい。用いられ得る一実施形態は、前のラインからこの１本のラインのピクセルのオフセットを計算すること、例えば、続きのライン（例えば、図９Ａに示す人物の首の近位にあるラインなど）に少数のピクセルだけ移行して、背景を表すピクセルを有する移行されたラインのいずれかの端部で任意の規定されていないピクセルを満たすことに関する。このアプローチを、ランレングスおよび行位置情報の両方に適用し得る。この実施形態は、７個以下のピクセルのオフセットを、符号付きの４ビットの値として表して、このように符号化されるラインを規定するために伝達される必要がある情報量を大きく節約し得る利点を提供する。オブジェクトの多くの画像は、ラインからラインへの比較的少なめのオフセットを含み、そしてこのような符号化により、伝達されるデータが著しく減少し得る。
【００９４】
別の実施形態は、輪郭の一端部において開始する順序付けペア（ｏｒｄｅｒｅｄ ｐａｉｒ）として、輪郭の境界内にあるラン値を符号化することを含む。このような符号化体系の他の実施形態は、データ圧縮技術の分野の当業者に明らかである。
【００９５】
本発明の目的を実行するために、画像コンテンツを効率的に表すことに加えて、画像コンテンツの分析を実行する能力が有用である。選択した人物、オブジェクトおよび特徴に注釈が割り当てられ得るように、複数のピクセルを含むテレビ画像を分析して、人物、オブジェクトおよび特徴の有無を決定し得る。人物、オブジェクトおよび特徴の動きも分析され得る。１つ以上の人物、オブジェクトおよび／または特徴に対する画像またはフレーム内のピクセルの割り当ては、このような分析が実行される前に実行される。
【００９６】
分析は、画像を操作して、ぎざぎざまたはでこぼこの端部を有する画像ではなく、滑らかな画像、すなわち、見る人にとって好ましい画像を生成する際に有用である。分析をさらに用いて、ピクセルの規定された厚さを有する輪郭によって回りに線が描かれた画像領域を規定し得る。さらに、数学的関係を用いて領域を規定する能力により、領域が可視性または不可視性であるかを示す可視性ビットを用いて、そして、領域内のすべてのピクセルを特定の色または視覚効果にレンダリングすることを可能にする技術を用いて、このような領域を視覚的に改変することが可能になる。画像は、所定の内容を規定する領域に対して調べられる。例えば、図９Ａにおいて、シャツ領域７３０、頭領域７２０およびパンツ領域７４０が識別されている。
【００９７】
一実施形態において、画像またはフレーム内のピクセルはある領域に属していると分類される。分類は、コンピュータのモニターなどの、デジタル表示デバイス上にデジタルの形態で提示されている画像と相互通信し得る閲覧者の観察に基づき得る。一実施形態において、作成者／注釈者は、マウス、または他のコンピュータポインティングデバイス、タッチ画面またはライトペンなどの入力デバイスを用いて画像領域に印付けし得る。別の実施形態において、ソフトウェアと共に、デジタルコンピュータまたはデジタル信号プロセッサなどの演算デバイスによって、領域を規定し得る。いずれかの実施例において、例えば、複数の領域が相互に接している場合、ある領域に属するものとして分類することが困難であるピクセルがあり得る。
【００９８】
一実施形態において、分類することが困難であるピクセル、またはその分類があいまいであるピクセルを、いくつかの工程を含むプロセスによって分類し得る。まず、ピクセルの分類を排除または中止する。分類解除したピクセルを、分類解除したピクセルの近位にある複数のピクセル（すなわち、近隣ピクセル）をカバーするように延びる分類形状の起点として用いる。このようにカバーされたピクセルを、その分類に関して調べ、そしてあいまいなピクセルを、近隣ピクセルの中で最も大きい表示を有するクラスに割り当てる。一実施形態において、近隣ピクセルはあいまいなピクセルの、次に近い近隣ピクセルを含む。一実施形態において、表示している関係の場合に、規則を適用して割り当てを行う。一実施形態において、規則は、最も重く表されたクラスに属する画像の左上の角にある最も近い隣接ピクセルのクラスなど、ピクセルに対する特定の位置にピクセルのクラスを割り当てるものであり得る。
【００９９】
別の実施形態において、分類することが困難であるピクセル、またはその分類があいまいであるピクセルを、数学的形態学の原理の新しい実現を特徴とするプロセスによって分類し得る。数学的形態学は、数学的観点から画像のピクセルを表し、そして、例えば、デジタルコンピュータまたはデジタル信号プロセッサおよび適切なソフトウェアを用いた、プロパティのアルゴリズム演算および画像の変換を可能にする。数学的形態学の原理を用いて、種々の画像処理アプリケーションを作成し得る。本明細書において、原理のいくつかの非常に簡単な説明を提示する。具体的には、拡張および浸食として公知の方法を記載し、説明する。通常、拡張および浸食を用いて、領域の形状、サイズおよびいくつかの特徴を変更し得る。さらに、数学的形態学の原理を画像処理に適用するいくつかの例示的な例を説明する。
【０１００】
拡張および侵食はピクセルのセット上で動作する基本的な数学的動作である。２次元空間の画像の観点からの一例示的な説明として、領域Ｒの点および２次元形態学的マスクＭのセットを考えられたい。バイナリの数学的形態学の観点から提示する例示の説明を、図１０Ａおよび図１０Ｂに関して与える。図１０Ａにおいて、形態学的マスクＭは、例えば、符号「＋」の形状の５ピクセルアレイの形状を有する。異なる形状の形態学的マスクを、得ようと思う効果に依存して選択し得る。領域Ｒは任意の形状であり得るが、例示を目的として、領域Ｒを図１０Ａに図示する不規則な形状にする。
【０１０１】
形態学的マスクＭは図１０Ａ内の画像にわたって移動する。この動作の結果は、アレイ内に記録され、図１０Ｂに示すフレームとして視覚的に表され得る。例示の形態学的マスクに関して、符号「＋」の垂直線および水平線の交点にあるピクセルを、「テスト」ピクセル、すなわち、適用される動作の結果によって、「点灯される」（例えば、１に設定される）または「消灯される」（例えば、０に設定される）ピクセルとして選択する。
【０１０２】
バイナリ侵食に関して、セット理論の観点から表される数学的規則は、形態学的マスクＭの１つ以上のピクセルと領域Ｒとの交点が、アレイ内に格納されるピクセルの状態、または図１０Ａのテストピクセルの位置に対応する図１０Ｂの位置にプロットされるピクセルの状態を規定するものであり得る。この規則は、形態学的マスクを一度に１ピクセル移動させると、すべての指定のピクセル、すなわち、形態学的マスクＭのピクセルが領域Ｒのピクセルと交差する場合、テストピクセルは点灯され、そして図１０Ｂの対応するピクセルは点灯されたままの状態であることを意味する。マスクの走査を、例えば、画像の各行にわたって左から右、一番上の行から開始して下まで移動させて行い得る。数学的形態学の技術分野における当業者によって理解されるように、画像全体（または、少なくとも対象の領域）をカバーする他の走査経路を用い得る。この動作により、領域が滑らかになることが多く、形態学的マスクのサイズおよび形状に依存して、領域の等高線に沿った突起状の投影が取り除かれることが多い。さらに、形態学的マスクのサイズおよび形状に依存して、画像のサイズを縮小し得る。
【０１０３】
バイナリ拡張は、セット理論の観点から表される数学的規則を有し得る。この数学的規則は、形態学的マスクＭと領域Ｒとの結合が、図１０Ａのテストピクセルの位置に対応する図１０Ｂの位置にプロットされるピクセルの状態を規定する。形態学的マスクＭの所与の位置に関して、ＲのピクセルおよびＭのピクセルを調べて、Ｍ内の点灯された任意のピクセルがＲ内の点灯されたピクセルに対応する場合、テストピクセルが点灯される。この規則はさらに、上述したように、画像にわたって形態学的マスクを、例えば、画像の各行にわたって左から右、そしてここでも、一番上の行から下の行まで走査することによって適用する。この動作は、領域を拡大し、そして小さい穴を埋める傾向を有する場合がある。拡張および侵食の動作は可換的ではなく、これは通常、侵食に次ぐ拡張を適用することを拡張に次ぐ侵食を適用することと比べると、異なる結果が得られることを意味する。
【０１０４】
ちょうど説明したように、侵食および拡張の動作、ならびにこれらの基本的動作に基づいた他の動作を、２次元画像に見られるような空間内に規定されたピクセルのセットに適用し得る。図１１Ａおよび図１１Ｂに示す画像の時間シーケンスのピクセルのセットに対しても、同じ動作を等しく適用し得る。図１１Ａにおいて、時間は第３の次元として見られ得、各画像またはフレームを規定する２次元に対して直交する。図１１Ａは、Ｎ−１、ＮおよびＮ＋１として示される、３つの画像またはフレームを示し、フレームＮ−１が最初に表示され、フレームＮが次に現れ、そして最後にフレームＮ＋１が現れる。各フレームは、ｘ軸およびｙ軸を有するものと考えられ得る。例示的な一実施例において、各フレームは、４８０の水平行×６４０のピクセル（または４８０×６４０の列）を含む。行を上から下に番号付け、そして列を左端から右に進むように番号付けることが普通である。右上の角は行０、列０、すなわち（０、０）である。ｘ軸は、フレームの左側に沿って下へと移動するとｘ値が増加する行を規定し、ｙ軸は、フレームの上端に沿って右へと移動するとｙ値が増加する行ごとの列番号を規定する。次いで、時間軸（これに沿って時間が増加する）を、図１１Ａにおいて左から右へと水平に進むものとして見られる。
【０１０５】
２次元空間における侵食および拡張の動作は、画像またはフレームの平面内で方向付けられた、５ピクセルの符号「＋」などの形態学的マスクを用いた。続く説明に示すように、１次元の符号「＋」は時間軸に沿ってあり、他方は空間軸に沿ってあることを認識するならば、２次元の５ピクセルの符号「＋」を形態学的マスクとして用いる時間次元における動作が理解され得る。他の実施形態において、時間軸に沿ってのみ１次元の形態学的マスクを用い得、または２つの非共線空間方向において次元を有し、そして時間軸に沿って１つの次元を有する、３次元の形態学的マスクを用い得る。
【０１０６】
２次元の５ピクセルの符号「＋」の形態学的マスクの「テスト」ピクセルを、図１１ＡのフレームＮの行ｒ、列ｃ、すなわち位置（ｒ、ｃ）に配置する。符号「＋」の垂直線のピクセルは、フレームＮの行ｒ−１（行ｒの上の行）の列ｃ、そしてフレームＮの行ｒ＋１（行ｒの下の行）の列ｃにある。「テスト」ピクセルの「左」のピクセルは、図１１ＡのフレームＮ−１（フレームＮの前のフレーム）の行ｒ、列ｃにあり、「テスト」ピクセルの「右」のピクセルは、図１１ＡのフレームＮ＋１（フレームＮの次のフレーム）の行ｒ、列ｃにある。したがって、この形態学的マスクを用いた動作は、フレームＮに対応するフレームの行ｒ、列ｃにおいて視覚的に記録された結果を有し、この結果は、対応する位置にあるアレイ内に記録され得る。しかし、この実施例において、演算は、フレームＮ内にある３つのピクセル、フレームＮ−１内にある１つのピクセル、およびフレームＮ＋１内にある１つのピクセルに依存する。図１１Ａは、時間的に連続した画像を表す３つの画像またはフレーム上における５ピクセルの「＋」のマスクの使用を模式的に示し、図１１Ｂは、フレームＮに対応するフレーム内での演算の結果を示す。
【０１０７】
この発明のシステムにおいて、侵食および拡張の新しい形態を適用する。この形態において、一度に１つの領域（領域は「１」とラベル付けされ、非領域は「０」とラベル付けされる）上で作用させて、処理する領域が複数ある場合に、このプロセスを複数回繰り返すのではなく、すべての領域を１回で侵食および拡張する。侵食の場合、入力画像がＲ領域を含む（この領域のピクセルはそれぞれ、１、２、．．．ｒとラベル付けされる）場合には、例えば、形態学的マスク内のセットピクセル下にあるすべてのピクセルが３とラベル付けされる場合に限り、テストピクセルは「３」とラベル付けされる。そうでない場合、テストピクセルに０すなわち「分類無し」が割り当てられる。拡張の場合、入力画像がＲ領域を含む（この領域のピクセルはそれぞれ、１、２、．．．ｒとラベル付けされる）場合には、例えば、ピクセルの中で最も大きい番号を有する領域がラベル３を有するピクセルである場合に限り、テストピクセルは「３」とラベル付けされる。そうでない場合、テストピクセルに０すなわち「分類無し」が割り当てられる。
【０１０８】
２次元フラッドフィル（ｆｌｏｏｄｆｉｌｌ）は、２次元表面の特徴を規定の特徴に変更する当該技術分野において周知の技術である。例えば、２次元フラッドフィルを用いて、画像の結合された領域の視覚効果を変更して、例えば、領域のすべてのピクセルを赤色に変更するなどの、規定された方法で変更し得る。３次元フラッドフィルを用いて、ボリュームのすべての素子を規定の特徴に変更し得る。例えば、ボリュームを用いて、シリアル番号が異なるか、または第３の次元としての時間の表示が異なる一連の連続した２次元画像内に現れる領域を表し得る。
【０１０９】
効率的な新しいアルゴリズムが開発されており、ボリュームの一部である領域を含む画像から開始する関連のある３次元ボリュームにフラッドフィルを実行する。概略すると、本方法は、ボリューム内の２次元表面において素子を選択することを可能にし、この選択した素子を含む領域上に２次元フラッドフィルを実行する。本方法は、第３の次元に沿った方向を選択し、連続的な表面がボリューム内に素子を含むか否かを判定し、そして素子を含む場合には、このような素子を含む領域の２次元フラッドフィルを実行する。本方法は、さらなる素子が見つからなくなるまで繰返し、そしてはじめにフラッドフィルが実行された領域に戻り、そして処理を繰り返しながら、反対の方向で第３の次元に沿って移動する。
【０１１０】
３次元フラッドフィル演算子を用いたアルゴリズムの画像処理技術が開発されており、作成者は不正確に分類された点グループ内の点を選択する。選択した点を、上述したように、分類方法を用いて再度分類し得る。次いで、選択した点と接触したピクセルのグループ全体を、選択した点の分類に再度分類する。前のフレームおよび次のフレーム内の再度分類したピクセルに隣接するピクセルも再度分類し得る。
【０１１１】
一実施形態において、再度分類される３次元ボリュームは、像平面を表す２次元、および時間を表す３次元を含む。この実施形態において、図１１ＡのフレームＮ内のすべてのピクセル（ｒ、ｃ）に関して、これらのピクセルは、フレームＮ内の２次元フラッドフィル動作に起因して、色Ａから色Ｂに変化している。図１１ＡのフレームＮ＋１内のピクセル（ｒ、ｃ）が現在、色Ａを割り当てられている場合、図１１ＡのフレームＮ＋１内のピクセル（ｒ、ｃ）で開始する２次元フラッドフィルが実行され、これにより、フレームＮ＋１内の色Ａを割り当てられたすべての接触ピクセルが変化する。図１１Ａを再度参照すると、フレームＮにおけるこのような処理を開始して、時間次元において後退して、フレームＮ−１に進むことが等しく可能である。一実施形態において、３次元フラッドフィル処理が、フラッドフィル動作の結果、ピクセルが変更を必要とするラベルを有さないフレームにおいて終了する。一実施形態において、時間的にある方向に進む３次元フラッドフィルが終了した後、最初のフレームＮで開始し、そしてプロセスが再度終了するまで、時間的に反対の方向に進めることによって、プロセスは続く。
【０１１２】
図１１Ｃは、本発明の一実施形態による、３次元フラッドフィルが達成される例示的なプロセスを示す流れ図１１５０である。プロセスは、「開始」とラベル付けされたサークル１１５２から開始する。工程１１５４によって示すように、オーサリングツールの演算子などのプロセスを行うエンティティ、あるいは、画像を分析してオブジェクトに対応する１つ以上の領域を画像内から探し出すコンピュータは、３次元フラッドフィルプロセスで満たされるボリュームの境界線を描く複数の連続した２次元セクションを選択する。一実施形態において、３次元ボリュームは第３の次元に対して直交して配置されている２次元のセクションを含み、各２次元セクションは、第１の座標および第２の座標によって識別される位置を含む。例えば、一実施形態において、２次元セクションは画像フレームであり得、第３の次元は、時間、すなわち連続的なフレームを識別するフレーム番号を表し得る。一実施形態において、第１の座標および第２の座標は、ディスプレイ上の画像フレーム内のピクセルの位置を規定する行位置および列位置を表し得る。
【０１１３】
工程１１５６において、プロセス演算子は、２次元セクションのうちの少なくとも１つのセクション内で複数の領域を規定し、各領域は少なくとも１つの位置を含む。これ以後のプロセスにおいて、プロセスは、ソフトウェアで符号化され得るような一連の命令を実行し得るコンピュータなどの機械を用いて実行される。コンピュータは、例えば、機械読み出し可能メモリ内で後に用いる定義に対応する情報を記録し得る。例えば、画像内において、演算子は、背景、およびシャツ２などの対象のオブジェクトを規定し得る。
【０１１４】
工程１１５８において、コンピュータは２次元セクションのうちの１つのセクション内で第１の領域を選択し、この領域はボリューム内に含まれており、このボリュームは選択された記号で満たされている。一実施形態において、記号は、色、強調表示または光度の変化などの、ディスプレイ上にレンダリングされた場合の視覚効果であり得るか、あるいは英数字の文字またはディスプレイ上でレンダリングされ得る記号などであり得る。
【０１１５】
工程１１６０において、ディスプレイを実行するコンピュータは、第１の領域を選択された記号で満たす。２次元の領域を記号で満たすには、ディスプレイ画面の規定された領域を規定された色にするなど、多くの異なる周知のグラフィックルーチンがある。任意のこのような周知の２次元グラフィックルーチンを実現して、２次元のフィリング（ｆｉｌｌｉｎｇ）工程を実行し得る。
【０１１６】
工程１１６２において、コンピュータは、第３の次元に沿って第１の方向で連続的な２次元セクションに移動する。一実施形態において、プロセス演算子は、第１の画像が選択される直前または直後に画像を移動させ、これにより、時間、すなわち画像シーケンスの方向が規定される。
【０１１７】
工程１１６４において、前の２次元セクションの２次元セクション内の満たされた位置に対応する連続的な２次元セクション内の位置がボリュームに属するか否かを判定する。プロセス演算子は、工程１１５６において達成された２次元領域の定義に記録された情報を探索する。
【０１１８】
工程１１６６において、コンピュータは工程１１６４で実行された判定結果に基づいて選択を行う。判定する工程１１６４の結果が肯定である場合、工程１１６８に示すように、コンピュータは、連続的な２次元セクション内に位置を含む領域を選択された記号で満たす。工程１１７０に示すように、コンピュータは、連続的な２次元セクション内の新しく満たされた領域から開始して、判定する工程が否定的な結果を出すまで、移動する工程１１６２、判定する工程１１６４、および満たす工程１１６８（すなわち、直前に挙げた工程）を繰り返す。
【０１１９】
上述の任意の判定する工程１１６４の結果が否定的であると、コンピュータは、工程１１５８で識別された第１の領域（これは、すでに満たされている）に戻って、第１の方向とは反対の方向で第３の次元に沿って移動し、上述したように、判定する工程の結果が否定的になるまで、移動する工程（例えば、工程１１６２に類似するが、反対の方向に進む工程）、判定する工程（例えば、工程１１６４などの工程）および満たす工程（例えば、工程１１６８などの工程）を繰り返す。このシーケンスは工程１１７２において、概略する形態で示されている。工程１１７４において、プロセスは、判定する工程の結果が否定的になると終了する。
【０１２０】
別の用途は、領域の輪郭を生成することを含む。これにより、例えば、領域のエンティティ内を強調表示したり、または領域の輪郭に関連付けられた視覚効果、または２つの効果の所定の組み合わせを変更することによって、領域を強調表示することが可能になる。一実施形態において、ラベル付けされた領域から輪郭を構築する方法を、図１２Ａ〜図１２Ｂに示すように実現する。入力画像１２１８内に輪郭１２１５を有するように輪郭が描かれた領域１２１０を図１２Ａに示す。奇数のピクセルを有する正方形の形態学的マスク１２２０は、そのサイズが所望の輪郭の厚さに比例し、そして領域１２１０上を通過する。入力領域１２１０内のあらゆる位置において、形態学的マスク内に入るピクセルは、それらがすべて同じであるか否かがチェックされる。同じである場合、図１２Ｂの出力画像１２３０内のテストピクセルに「０」が割り当てられる。ピクセルが形態学的マスク内の他のいずれのピクセルとも同じではない場合、形態学的マスクの中央ピクセル下に入るラベルが出力画像１２３０内のテストピクセルに割り当てられる。形態学的マスク１２２０が領域１２１０上を通過すると、結果得られる輪郭１２１５’が出力画像１２３０に生成される。他の実施形態において、偶数のピクセルを有する正方形の形態学的マスク、正方形以外の形状を有する形態学的マスク、および奇数のピクセルを有する正方形の形態学的マスクを用いて、出力画像１２３０内のテストピクセル１２２２に対応するピクセルのように、形態学的マスク内の特定のピクセルを選択し得る。
【０１２１】
当業者が、数学的形態学の原理を用いる際に、別の形態学的マスクおよび別の規則を用いて、上述の用途の実施例を解釈し得、そしてこのような原理に基づいた他の多くの同様の用途を理解することが理解される。
【０１２２】
一連の関連した画像において、または公園のベンチに座っている人物を示す画像のシーケンスなど、上述した１ショットにおいて、１つ以上の選択されたオブジェクトが複数のフレームにおいて続き得る。他の状況、例えば、公園のベンチに座っている人物が知覚した視野に場面が変わる場合など、画像が突然変わる状況において、第１の場面またはショットで識別されたいくつかまたはすべての領域は、第２の場面またはショットにはない場合がある。本発明のシステムおよび方法は、場面が変わった（例えば、新しいショットが開始する）こと、および第１の場面にある１つ以上の領域が第２の場面にないことの両方を判定し得る。
【０１２３】
一実施形態において、システムおよび方法は、ある画像から次の画像に変わったピクセルのヒストグラムを計算し、そして次のインスタンス（すなわち、時間展開）によるヒストグラムの傾斜を所定の傾斜値と比較することによって、場面またはショットが変わったことを判定する。図１３は、連続的なフレームにわたって（すなわち、経時的）ヒストグラムの展開の３つの例示的な実施例を示す。１番上の曲線１３１０は、０からの傾斜の変異が小さく、これは適度な速度の動きを表す。真中の曲線１３２０は、傾斜の変異がやや大きく、これは突然の動きを表す。１番下の曲線１３３０は、傾斜の変異が大きく、これはフレームＦにおけるショットの変化または場面の変化を表す。ヒストグラム評価プロットの傾斜が、１番下の曲線１３３０のように、所定の値を越えた場合、システムはショットの変化が生じたと判定する。
【０１２４】
このシステムの好適な実施形態をデジタル放送テレビの観点から説明してきた。このシステムの別の実施形態を同様に、レガシーのアナログ放送のテレビシステムに組み込むことも可能であることが理解されるべきである。用語「メタデータ」は、本明細書において用いる際、マスク、オブジェクト、注釈情報、データ構造、タイムスタンプまたは他のタイミング情報、および元の改変されていないテレビ放送信号と共に用いられるさらなる情報およびデータをほぼすべて含むことが理解される。アナログの実施形態において、字幕システムによって実行されるように、「垂直帰線消去期間」（ＶＢＩ）内にメタデータを挿入すること、および第２の通信チャンネル（例えば、サブキャリア信号；電磁放送スペクトル内の別のチャンネル周波数；またはインターネットなどのコンピュータネットワークへの接続（但し、これに限定されない））を介してメタデータを送信することの１つ以上によって、メタデータをアナログ放送信号に関連付け得る。この実施形態において、ビデオソース、モジュレータ、チューナーおよび受信機は、アナログ信号をサポートし、メタデータはデジタルであり得る。本明細書に記載するように、アナログ受信機は、ＶＢＩからのメタデータを蓄積し得、メモリ内にメタデータを配置し得、そしてこれを処理し得る。
【０１２５】
本発明を特定の好適な実施形態を参照しながら、特に図示および説明してきたが、当業者であれば、上掲の特許請求の範囲に規定される本発明の意図および範囲から逸脱せずに、本明細書における形態および詳細を種々に変更し得ることを理解するべきである。
【技術分野】
【０００１】
本発明は、放送テレビ、より具体的にはテレビ放送におけるハイパーリンクの分野に関する。
【背景技術】
【０００２】
テレビ信号を介する情報の放送は従来技術において周知である。テレビ放送は一方向性であり、視聴者がテレビディスプレイ上に現れる素材と双方向通信する機会を提供しない。表示された素材に視聴者が遠隔制御を用いて応答することは公知であるが、通常、利用可能な放送のリスト項目から視聴するための番組を選択することに制限される。特に、情報が画面の１つ以上の領域と関連付けられるハイパーリンクテレビ番組を生成することは困難であることが判明した。本発明は、このニーズに応える。
【０００３】
本出願は、「Ｉｎｔｅｒａｃｔｉｖｅ Ｈｙｐｅｒｌｉｎｋｅｄ Ｖｉｄｅｏ Ｓｙｓｔｅｍ」と称される米国仮出願シリアルナンバー第６０／１８５，６６８号（２０００年２月２９日出願）、「Ａ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｈｙｐｅｒｌｉｎｋｉｎｇ ｉｎ ａ Ｔｅｌｅｖｉｓｉｏｎ Ｂｒｏａｄｃａｓｔ」と称されるシリアルナンバー第６０／２２９，２４１号（２０００年８月３０日出願）、および「Ａ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｈｙｐｅｒｌｉｎｋｉｎｇ ｉｎ ａ Ｔｅｌｅｖｉｓｉｏｎ Ｂｒｏａｄｃａｓｔ」と称されるシリアルナンバー第６０／２３３，３４０号（２０００年９月１８日出願）の利益を主張する。これらの仮出願の各々は、参考のため、その全体を本明細書中で援用する。本出願は、「Ａ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＲＡＴＵＳ ＦＯＲ ＨＹＰＥＲＬＩＮＫＩＮＧ ＩＮ Ａ ＴＥＬＥＶＩＳＩＯＮ ＢＲＯＡＤＣＡＳＴ」と称する米国実用特許出願シリアルナンバー第０９／６９４，０７９号（２０００年１０月出願）および米国シリアルナンバー第０９／７１５，９４４号（２０００年１１月１７日出願）に対する優先権を主張する。これらの出願は、本出願の譲渡権を保有する同エンティティに譲渡可能である。
【発明の概要】
【０００４】
本発明は、双方向式で視聴者に提供される情報を用いてテレビ放送素材を強化する方法およびシステムを提供する。
【０００５】
１局面において、本発明はハイパーリンク注釈データシステム（ｈｙｐｅｒｌｉｎｋｅｄ ａｎｎｏｔａｔｉｏｎ ｄａｔａ ｓｙｓｔｅｍ）に関する。このシステムは、同調器、同調器と通信する復調器、復調器と通信するビデオデコーダ、復調器と通信する表示デバイス、注釈データを格納するメモリ、ならびに復調器およびメモリと通信する中央処理ユニットを含む。中央処理ユニットによって実行されると、メモリは表示デバイス上で注釈データの表示を制御するコンピュータプログラムを格納する。１実施形態において、システムは視聴者双方向通信デバイスをさらに含む。コンピュータプログラムは、双方向通信デバイスを活性化する視聴者に応答して、表示デバイス上で注釈データを表示する。１実施形態において、システムは、マスク情報を格納する第２のメモリをさらに含む。マスク情報は、コンピュータプログラムによって用いられ、表示デバイス上の領域を識別する。１実施形態において、マスク情報はマスクタイムスタンプを含む。１実施形態において、マスクタイムスタンプはコンピュータプログラムによって用いられ、ビデオフレームと時間的に関連してマスク情報を表示する。
【０００６】
１実施形態において、システムは、オブジェクト情報を格納する第３のメモリを含む。オブジェクト情報はコンピュータプログラムによって用いられ、ビデオフレーム内のオブジェクトを表示デバイス上に表示する。１実施形態において、オブジェクト情報はオブジェクトタイムスタンプ（ｏｂｊｅｃｔ ｔｉｍｅ ｓｔａｍｐ）を含む。１実施形態において、オブジェクトタイムスタンプは、有効タイムスタンプ（ｅｘｐｉｒａｔｉｏｎ ｔｉｍｅ ｓｔａｍｐ）を含む。この有効タイムスタンプは、コンピュータプログラムによって用いられ、特定の時間の後、オブジェクト情報を削除する。１実施形態において、オブジェクト情報は、ビデオフレームにおけるオブジェクトのオブジェクト数を有するオブジェクトマッピングテーブルおよび対応する第１の識別子、ならびに第１の識別子によって参照されるオブジェクトプロパティテーブル（ｏｂｊｅｃｔ ｐｒｏｐｅｒｔｉｅｓ ｔａｂｌｅ）、注釈データの第１のセットを有するオブジェクトプロパティテーブルを含む。１実施形態において、注釈データの第１のセットは、注釈データフィールド、および注釈データの第２のセットを識別する第２の識別子を含む。１実施形態において、注釈データフィールドは、タイトルデータフィールドであり、第２の識別子はオブジェクトのタイトルを含むストリングを識別する。１実施形態において、注釈データフィールドはメニューフィールドであり、第２の識別子は表示識別子のセットを含むセレクタ（ｓｅｌｅｃｔｏｒ）およびアクション識別子（ａｃｔｉｏｎ ｉｄｅｎｔｉｆｉｅｒ）の対応するセットを参照する。１実施形態において、第１および第２の識別子は、システムによって重複されることはない。１実施形態において、第２の識別子は可変値である。
【０００７】
別の局面において、本発明は、ハイパーリンク注釈データを含む放送情報を用いる方法を特徴とする。この方法は、放送情報を受信、復号、格納および操作するように適合された受信器を用いるステップを含む。この受信器は、中央処理ユニットおよび少なくとも１つのメモリデバイスを有し、受信情報のストリームを受信し、放送情報を復号してマスク情報を回復する。各マスクは、これと関連付けられたマスクタイムスタンプを有し、第１のデータ列におけるマスク情報を少なくとも１つのメモリデバイスに格納し、マスクタイムスタンプを表示されたビデオフレームのタイムスタンプと比較し、マスクタイムスタンプと、表示されたビデオのタイムスタンプとの間の関係に基づいてマスクを表示する。
【０００８】
１実施形態において、この方法は、放送情報を復号してオブジェクト情報を回復することをさらに含む。各オブジェクトは、このオブジェクトと関連付けられたオブジェクトタイムスタンプを有し、第２のデータ列におけるオブジェクト情報を少なくとも１つのメモリデバイスに格納する。１実施形態において、復号は、第１のデータ列上で動作を実行する第１のアクティブスレッドによって実行される。比較は、第１のデータ列上で動作を実行する第二のアクティブスレッドによって実行される。１実施形態において、マスクタイムスタンプと、表示されたビデオフレームのタイムスタンプとを比較するステップは、最も早期のマスクタイムスタンプを最も最近表示されたビデオフレームのタイムスタンプと比較することで開始される。１実施形態において、第１のスレッドは、マスクデータの動作（ｂｅｈａｖｉｏｒ）を調整することができ、第２のスレッドは、オブジェクトデータの動作を調節することができる。
【０００９】
１実施形態において、方法は、まだ表示されていないフレームにマスクタイムスタンプが対応する場合には、以下のステップをさらに含む：（ａ）関連するマスクを画像バッファへと復号するステップ、（ｂ）復号されたマスクが即座に表示されるべきかどうかを確認するためにマスクタイムスタンプを点検するステップ、（ｃ）復号されたマスクが即座に表示されるべき場合、復号されたマスクを表示し、復号されたマスクが後で表示されるべき場合、最後まで計算される時間の間、復号されたマスクが表示されるべき時間に休止し、始動すると即座に復号マスクを表示するステップ。
【００１０】
さらに別の局面において、本発明は、ハイパーリンク注釈データを含む情報を放送する方法に関する。この方法は、マスク情報と関連するマスクタイムスタンプを有するマスク情報を符号化するステップ、およびマスクタイムスタンプに基づいて、ビデオ信号と一時的に関係して表示するために、ビデオ信号と関連して符号化されたマスク情報を伝送するステップを含む。１実施形態において、この方法は、オブジェクト情報と関連付けられたオブジェクトタイムスタンプを有するオブジェクト情報を符号化するステップ、およびオブジェクトタイムスタンプに基づいてビデオ信号一時的に関連して表示するために、ビデオスタンプビデオ信号と関連して、符号化されたオブジェクト情報を伝送するステップとをさらに含む。
【００１１】
本発明の上述のオブジェクトおよび他のオブジェクト、局面、特徴、ならびに利点は、以下の説明および請求項からより明らかになる。
【図面の簡単な説明】
【００１２】
【図１Ａ】図１Ａは、本発明のシステムにより生成されたビデオの連続フレームを示す。
【図１Ｂ】図１Ｂは、本発明のシステムにより生成されたビデオの連続フレームを示す。
【図１Ｃ】図１Ｃは、本発明のシステムにより生成されたビデオの連続フレームを示す。
【図１Ｄ】図１Ｄは、本発明のシステムにより生成されたビデオの連続フレームを示す。
【図２】図２は、本発明による、ハイパーリンクビデオシステムの実施形態のブロック図である。
【図２Ａ】図２Ａは、図２に示されるシステムの実施形態におけるデータフローのブロック図である。
【図２Ｂ】図２Ｂは、マスクパケットセットの図である。
【図２Ｃ】図２Ｃは、最初に符号化されたデータパケットストリームの図である。
【図２Ｄ】図２Ｄは、最後に符号化されたデータパケットストリームの図である。
【図３】図３は、図１に示されるマルチプレクサシステムの実施形態のブロック図である。
【図４】図４は、図２に示されるデジタル受信器の実施形態のブロック図である。
【図５】図５は、注釈データを格納する図２のシステムにより用いられるデータ構造の実施形態の図である。
【図５Ａ】図５Ａは、オブジェクトプロパティテーブルデータ構造およびプログラムマッピングテーブルデータ構造のブロック図である。
【図６】図６は、図２に示されるシステムの実施形態のデータフローの状態図である。
【図７】図７は、本発明の実施形態の図６に示される状態機械内の状態間および状態内での相互作用を示す。
【図８Ａ】図８Ａは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図８Ｂ】図８Ｂは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図８Ｃ】図８Ｃは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図８Ｄ】図８Ｄは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図８Ｅ】図８Ｅは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図８Ｆ】図８Ｆは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図８Ｇ】図８Ｇは、本発明による双方向通信コンテンツアイコンの実施形態の種々の例示的例を模式的に示す。
【図９Ａ】図９Ａは、本発明の原理による、ビデオ画像の圧縮方法の例示的実施形態を示す。
【図９Ｂ】図９Ｂは、本発明の原理による、ビデオ画像の圧縮方法の例示的実施形態を示す。
【図９Ｃ】図９Ｃは、本発明の原理による、ビデオ画像の圧縮方法の例示的実施形態を示す。
【図９Ｄ】図９Ｄは、本発明の原理による、ビデオ画像の圧縮方法の例示的実施形態を示す。
【図１０Ａ】図１０Ａは、本発明による、数学的形態学の用語で、２次元画像を説明するために用いられる、フレームの例示的領域および例示的マスクを示す。
【図１０Ｂ】図１０Ｂは、本発明の原理による、２次元数学的形態学的解析の例示的合成画像、および単一の合成ピクセルを示す。
【図１１Ａ】図１１Ａは、本発明による、時間を寸法として用いる数学的形態学の用語で２次元画像を説明するために用いられる例示的フレームのシーケンスおよび例示的マスクを示す。
【図１１Ｂ】図１１Ｂは、本発明の原理による、時間を寸法として用いる３次元数学的形態学解析の例示的合成フレームおよび単一の合成ピクセルを示す。
【図１１Ｃ】図１１Ｃは、本発明の１実施形態による、例示的プロセスを示すフローチャートであり、このプロセスによって３次元フラッドフィル（ｆｌｏｏｄｆｉｌｌ）が完成される。
【図１２】図１２は、本発明の原理による、領域の輪郭を生成する数学的形態学解析の例示的応用を示す図である。
【図１３】図１３は、本発明による、運動の表示である連続フレームにわたるヒストグラムの展開を示す図である。
【発明を実施するための形態】
【００１３】
簡単な概観において、本発明は、注釈情報が放送ビデオのフレームに表示され、視聴者のコマンドに基づいて表示されるオブジェクトと関連付けられる方法を提供する。例えば、図１を参照して、商店、価格および入手可能な商品の情報の形式での注釈情報は、テレビ放送において俳優によって着用される特定のシャツ２と関連付けられ得る（図１Ａ）。これを達成するために、シャツ２は、最初にオーサリングシステム（ａｕｔｈｏｒｉｎｇ ｓｙｓｔｅｍ）と呼ばれるシステムの１部を動作する設計者によってシステムに識別される。設計者は、所与のフレーム内のシャツ２を例えば、シャツの色合いによって（図１Ｂ）識別し（３）、システムは、シャツ２の位置のトラックを前および次のフレームに保持する。この設計者は、さらに、シャツ２と関連する注釈データ５になるテキストを生成する。従って、この例において、注釈データはシャツ２が購買され得る商店の名称、シャツ２の価格および入手可能な色を含み得る。システムは、その後、例えば、フレーム内で異なった色で輪郭を描くことによって（４）、シャツ２がこれと関連する注釈データを有することを示す（図１Ｃ）。
【００１４】
システムの伝送部分によって視聴者にショーが放送されるとき、ビデオだけでなく、シャツ２の輪郭を描くマスクおよびシャツ２に伴う注釈データも放送される。視聴者の位置にあるシステムの受信器部分は、このデータを受信し、関連する注釈データを有するオブジェクトの輪郭を描くマスクと一緒にビデオフレームを表示する。この例において、ビデオフレームにおけるシャツ２の輪郭が描かれる。放送されるビデオの視聴者が注釈データを見ることを所望する場合、この視聴者は、ただ、標準遠隔制御ハンドセット上のボタンを制御し、注釈データの表示が所望されることをシステムの受信器部分に通知する。システムは、その後、オブジェクトと一緒に注釈データ５を画面上に表示する（図１Ｄ）。このようにして、通知されたオブジェクトは、追加的情報へのハイパーリンクとして機能する。
【００１５】
図２を参照して、本発明により構成されたハイパーリンクビデオ放送システムは、伝送部分１０、通信チャンネル部分１２および受容部分１４を含む。伝送部分１０は、ビデオソース２０、オーサリングツール２４、データベース格納システム２８および送信器３２を含む。種々の実施形態におけるビデオソース２０は、ビデオカメラ、ビデオディスク、テープまたはカセット、ビデオフィード（ｖｉｄｅｏ ｆｅｅｄ）または当業者に公知の任意の他のソースである。注釈ソースであるオーサリングツール２４は、ビデオソース２０からビデオデータを受信し、後述されるように、これをビデオ設計者が見て操作するように表示する。注釈データは、例えば、ビデオ画像を用いて表示されるべきテキストであり、オブジェクトデータベース２８に格納され、システムの通信チャネル部分１２を介して伝送するために送信器３２に送信される。
【００１６】
送信器３２は、ビデオ符号器３６、データパケットストリーム生成器４０およびマルチプレクサ（ｍｕｘ）４４を含み、通信チャンネル１２を介して伝送するためにビデオ符号器３６およびデータパケットストリーム生成器４０からの信号を組み合わせる。ビデオ符号器３６は、当業者に公知のように輸送ストリームを生成するための、ＭＰＥＧまたはＭＰＥＧ２符号器等の任意の符号器であり得る。データパケットストリーム生成器４０は、後述のように、さらなるデータを符号化する。このデータは、視聴者に伝送されるときビデオデータに伴うべきデータである。データパケットストリーム生成器４０は、符号化されたデータパケットを生成する。ｍｕｘ４４は、アーギュメント輸送ストリームを生成する。
【００１７】
通信チャンネル部分１２は、ケーブル、地上放送インフラストラクチャ、マイクロ波リンクまたは衛星リンク等の伝送媒体だけでなく、受容部分１４によって受信されるまで、ビデオデータを保持する任意の中間格納も含む。このような中間放送格納は、当業者に公知のビデオディスク、テープまたはカセット、メモリあるいは他の記憶デバイスを含み得る。通信チャンネル部分は、複数のサービスオペーレータによって供給されるヘッドエンド送信器５０も含む。
受容部分１４は、テレビディスプレイ５８上に表示するための信号を復号するデジタルセットトップボックス等のデジタル受信器５４を含む。デジタル受信器ハードウェア５４は、当業者に公知の任意のデジタル受信器ハードウェア５４である。
【００１８】
動作中、および図２Ａも参照して、設計者はビデオソース２０からオーサリングツール２４へビデオデータ２２をロードする。ビデオデータ２２は、さらに、例えば、ＭＰＥＧ標準を用いて符号化するために、ビデオソース２０からビデオ符号器３６へ送信される。オーサリングツール２４を用いて、設計者は、ビデオ画像の部分を選択して、画面注釈（ｓｃｒｅｅｎ ａｎｎｏｔａｔｉｏｎ）と関係付ける。例えば、設計者は、ビデオ画像において俳優によって着用されるシャツ２を選択し得、シャツ２の製造業、販売価格および地域の販売店を示す注釈データを割り当てる。逆に、注釈データは、オブジェクトについてのさらなるテキスト情報を含み得る。例えば、ドキュメンタリー番組における注釈データは、画面上の個人についての伝記ふうの情報を有し得る。後述されるように、マスク画像である画像におけるシャツ２の形状およびシャツ２の位置と一緒に、注釈データ５はデータ構造２５、２５‘としてデータベース２８に格納される。
【００１９】
設計者が一度、所与のプログラムをオーサリングすると、オーサリングツールは、オブジェクトは現れ、データ構造は注釈付きプログラムにおいて利用される範囲を決定する。この情報は、本発明のシステムによって用いられ、オブジェクトが視聴者に提供される前に、視聴者のオブジェクトとの双方向通信を可能にするデータが伝送されることを保証する。この情報は、本発明のシステムによっても用いられ、データがプログラムによってもはや必要とされず、後述されるメモリ１２８から消去され得るのはいつかを決定する。
【００２０】
上述のように、この注釈データは、さらに、符号化されたデータパケットストリーム２７に変換するためにデータパケットストリーム生成器４０に送信される。ビデオ符号器３６からの輸送ストリーム２９におけるタイムスタンプデータは、さらに、データパケットストリーム生成器４０への入力信号でもあり、マスクおよび注釈データを画像データと同期化するために用いられる。データパケットストリーム生成器４０は、プログラムの手順を経て（ｓｔｅｐ ｔｈｒｏｕｇｈ）、ビデオの各フレームのタイミング情報を対応するマスクと関連付けることによって同期化を達成する。タイミング情報は、ビデオおよびマスク情報の同期化を可能にする任意の種類の情報であり得る。例えば、タイミング情報は、ＭＰＥＧ符号器、ビデオのＳＭＰＴＥ時間コード標準によって提供されるような時間コード情報、フレームまたはフレームの連続番号、世界の時間等の一意的識別子のようなフレームナンバリング情報によって生成されるようなタイムスタンプ情報であり得る。本発明のこの図示において、タイムスタンプ情報は、例示的実施形態として用いられる。
【００２１】
ビデオ符号器３６からの符号化されたビデオデータは、マルチプレクサ４４におけるデータパケット生成器４０からの符号化されたデータパケットストリーム２７と組合され、その結果生じるアーギュメント輸送システム４６は、マルチプレクサシステム４８への入力である。この例示的実施形態において、マルチプレクサシステム４８は、さらなる輸送ストリーム２９’およびアーギュメント輸送ストリーム（ａｒｇｕｍｅｎｔｅｄ ｔｒａｎｓｐｏｒｔ ｓｔｒｅａｍ）４６’’を受信することが可能である。輸送ストリーム２９’およびアーギュメント輸送ストリーム４６’’は、デジタル符号化されたビデオ、音声、および当業者に公知の他の方法によって生成されたデータストリームを含む。マルチプレクサシステム４８からの出力は格納および／または放送用の通信チャンネル１２に送信される。放送信号は、デジタル受信器５４によって送信され、この受信器によって受信される。デジタル受信器５４は、多重化された信号の符号化されたビデオ部分を表示用のテレビ５８に送信する。デジタル受信器５４は、さらに、ハンドヘルド遠隔制御ユニットを用いて視聴者からのコマンドを受取り、ビデオ画像に伴う任意の注釈を表示する。１実施形態において、デジタル受信器５４は、さらに、代替的ネットワーク接続５６と直接的に通信する（図２）。
【００２２】
代替的実施形態において、オブジェクトデータベース２８からの情報は、インターネット等のネットワーク３１を通じてか、またはデータベース３０に直接的にアクセスするために図２における第２のデータベース３０に転送される。本実施形態において、ヘッドエンド５０は、視聴者によってそのようにリクエストされると、第２のデータベース３０に格納された注釈オブジェクトデータにアクセスする。この構成は、視聴者が後で見るための番組を記録し、記録媒体が注釈データを記録し得ないときか、またはデータが番組中に帯域内で伝送され得ないとき等の場合に有用である。従って、記録された画像がデジタル受信器５４を通じて再生され、視聴者が注釈データをリクエストするとき、デジタル受信器５４は、ネットワーク３１を通じてデータを入手するようにヘッドエンド５０に命令し得る。さらに、ヘッドエンド５０は、デジタル受信器５４の制御のもとで、ネットワーク３１上のデータベース３３か、またはヘッドエンドデータベース５２にデータを書き込むことができる。ヘッドエンド５０によって書き込まれたこのようなデータは、どのオブジェクトが見られているかを示すマーケティングデータであり得るか、またはネットワーク上で表示された品目を注文するために、視聴者によって必要とされる注文情報であり得る。第３の実施形態は、１部の情報は元の放送に含まれ、１部は視聴者によるリクエストに応答して取出される、先行する実施形態の属性を組合せる。
【００２３】
符号化されたデータパケットストリーム２７に関するさらなる詳細において、および図２Ｂ、図２Ｃおよび図２Ｄを参照して、データパケットストリーム生成器４０は、ビデオフレームに対応するマスクデータおよび注釈データの大きさに相違はあるが、一定のデータレートストリームを生成するように設計される。データパケットストリーム生成器４０は、これを、３つのステッププロセスによって達成する。第１のデータパケットストリーム生成器４０は、マルチプレクサ４４に入力され得るパケットレートの許容範囲を決定する。次に、データパケットストリーム生成器４０は、符号化されるプログラムにおける最大のマスクによって満たされるパケットの数を決定する。これは、各マスクパケットセット３９におけるパケットの数を決定する。すなわち、各マスクの輸送のために割当てられるパケットの数である。図２Ｂ、図２Ｃおよび図２Ｄに示される例において、各マスクパケットセット３９に８個のパケットが存在する。この数を用いて、データパケットストリーム生成器４０は、符号化されたデータパケットストリーム２７’の初期バージョンを生成し、パケットの定数を各マスクに割当てる。特定のマスクを保持するために必要とされるパケットの数が定数よりも少ない場合、データパケットストリーム生成器４０は、ヌルパケットの最初に符号化されたデータパケットストリーム２７’をバッファする。ヌルパケットの数は、マスクデータが書き込まれた後に残っているパケットの数に依存する。図２Ｃにおいて、フレーム１０００のマスクデータ４２は、４つのパケットを満たし、これによって５つのパケットがヌルパケットによって満たされるべき４つのパケットが残る。同様に、データ４２’、４２’’、４２’’’は、マスク９９９、マスク９９８、およびマスク９９７に関して、３つ、５つおよび２つのパケットをそれぞれ必要とする。これで、ヌルパケットによって満たされるべきそれぞれ５つ、３つ、および６つのパケットが残る。
【００２４】
最後に、データパケットストリーム生成器４０は、オブジェクトデータを付加することによって、最終的に符号化されたデータパケットストリーム２７’’を生成する。データパケットストリーム生成器４０は、オーサリングツール２４によって提供される情報から、所与のオブジェクトがプログラム内に有する第１の情報（ｏｃｃｕｒｒｅｎｃｅ）を決定することによってこれを行なう。このオブジェクトに対応するデータは、その後、そのオブジェクトの第１の例の前の特定のポイントで開始する最初に符号化されたデータパケットストリーム２７’に挿入される。データパケットストリーム生成器４０は、最初に符号化されたデータパケットストリーム２７’の手順を逆に経て、必要に応じて、ヌルパケットをオブジェクトデータと置き換える。例えば、図２Ｄにおいて、オブジェクト９８は、フレーム１００１に現れることが決定される。これは、オブジェクト９８と関連するすべてのデータがフレーム１００１の前に到着しなければならないことを意味する。オブジェクト９８のデータ４３は、５つのパケットＯ９８Ａ、Ｏ９８Ｂ、Ｏ９８Ｃ、Ｏ９８ＤおよびＯ９８Ｅを満たし、マスクデータ１０００およびマスクデータ９９９に割当てられたパケットのセットに付加される。オブジェクト９７のデータ４３’は、２つのパケットＯ９７ＡおよびＯ９７Ｂを満たし、マスクデータ９９８に割当てられたパケットのセットに付加される。
【００２５】
１実施形態における輸送ストリームからデータを抽出するプロセスを容易にするために、マルチプレクサ４４は、ＭＰＥＧ２標準において基本ストリームを識別するために用いられるように、マスクデータおよびオブジェクトデータを異なったパケット識別子（ＰＩＤ）と関連付ける。この方法で、デジタル受信器５４は、マスクおよびオブジェクトデータを主にそれらのＰＩＤに基づく異なった計算スレッドに送られ得る。これによって、パケットのコンテンツの初期分析を実行する必要を除去する。マスクおよびオブジェクトデータの再組立てにおいて、デジタル受信器５４は適切な数のパケットをストリームから抽出できる。なぜなら、この情報は符号化プロセスの部分としてデータパケットストリーム生成器４０によって提供されるからである。例えば、図２Ｄを参照して、データパケットストリーム生成器４０は、マスク１０００は４つのパケット４２を満たし、オブジェクト９８のデータ４３が５つのパケットを満たすことを指定する。このデータは、パケットのヘッダ３８、３８’、３８’’、３８’’’部分に含まれ、この部分は、各マスクパケットセットの第１のパケットの第１の１６バイトを占める。
【００２６】
図２Ｄにおいてマスクヘッダ３８の拡大された図に示されるように、ヘッダパケットは、マスク情報を搬送するパケットの数に関する情報を含み、特定のマスクと関連する情報、タイムスタンプ情報、可視性ワード情報（ｖｉｓｉｂｉｌｉｔｙ ｗｏｒｄ ｉｎｆｏｒｍａｔｉｏｎ）および一意的識別子（ＵＩＤ）を符号化する。ＵＩＤおよびオブジェクトマッピングテーブルは、図５に関してより詳細に後述される。同様に、各オブジェクトの第１のパケットは、１６バイトヘッダ４５、４５’で始まる。これはデジタル受信器５４がオブジェクトパケット４３、４３’においてデータを抽出、格納および操作することを可能にする情報を含む。さらに、図２Ｄにおいてオブジェクトデータヘッダ４５の拡大された図に示されるように、オブジェクトデータヘッダ情報は、特定のオブジェクト、オブジェクトのデータタイプ、オブジェクトのＵＩＤ、およびオブジェクトデータがプログラムにおいて用いられる最後の例のようなタイムスタンプのような情報を搬送するパケットの数を含む。タイムスタンプのシステムおよびシステムの使用によって用いられるデータ構造のタイプは、図５、図６および図７に関してより詳細に後述される。
【００２７】
図３を参照して、マルチプレクサシステム８’は、図２Ａに示されるマルチプレクサシステムの強化されたバージョンである。マルチプレクサシステム４８’は、複数の輸送２９’およびアーギュメント輸送ストリーム４６、４６’’を電波媒体に渡す単一信号を生成するための入力として用いることができる。例示的マルチプレクサシステム４４’は、３つの輸送ストリームマルチプレクサ６０、６０’、６０’’、３つの変調器６８、６８’、６８’’、３つのアップコンバータ７２、７２’、７２’’およびミキサ７８を含む。マルチプレクサシステム４４’は、輸送ストリームの複数セットをミキサ７８への入力へ変換する３つの重複サブシステム（ｄｕｐｌｉｃａｔｅ ｓｕｂｓｉｙｓｔｅｍ）を含む。各サブシステムは、輸送ストリームのセット（ＴＳ１対ＴＳＮ）、（ＴＳ１’対ＴＳＮ’）、（ＴＳ１’’対ＴＳＮ）を（北米デジタルケーブルシステムの場合の直交振幅変調（ＱＡＭ）または地上放送の場合の８ＶＳＢ等の）デジタル変調器６８、６８’、６８’’への入力信号として用いられるべき単一の輸送ストリーム（ＴＳ、ＴＳ’、ＴＳ’’）に組合せるためのマルチプレクサ６０、６０’、６０’’を含む。１実施形態において、輸送ストリームの各々、例えば、ＴＳ１対ＴＳＮは、テレビ番組を表す。変調器６８、６８’、６８’’の出力信号は、アップコンバータ７２、７２’、７２’’への中間周波数入力信号であり、このアップコンバータは、変調器６８、６８’、６８’’の出力信号を放送のための適切なチャンネル周波数に変換する。これらの変換されたチャンネル周波数は、周波数ミキサ７８への入力周波数であり、この周波数ミキサ７８は、組合された信号を電波媒体上に配置する。
【００２８】
図４を参照して、デジタル受信器５４は、関心の対象である放送チャンネルを入力放送ストリームから選択するための同調器を含み、チャンネル用のビデオおよび注釈データを含む中間周波数（ＩＦ）信号を生成する。ＩＦ信号は、変調器１０４への入力信号であり、ＩＦ信号を復調し、情報を輸送ストリーム（ＴＳ）に抽出する。輸送ストリームは、ＭＰＥＧ復号器等のビデオ復号器１０８への入力信号である。ビデオ復号器１０８は、フレームバッファ１１２において受信されたビデオフレームをバッファする。復号器１０８からの復号されたビデオ１１４および音声１１６の出力信号は、テレビディスプレイ５８への入力信号である。 注釈データは、ビデオ復号器１０８により分離され、処理のためＣＰＵ１２４に伝送される。データはメモリ１２８に格納される。メモリは、注釈データおよび視聴者からの命令を処理するためのコンピュータプログラムも格納する。デジタル受信器５４は、視聴者からの命令を受信し、注釈素材を表示し、注釈データは、１部またはすべてのフレームバッファ１１２をオーバーレイするコンピュータグラフィック画像としてレンダリングされる。復号器１０８は、その後、対応するビデオ信号１１４をテレビディスプレイ５８に伝送する。
【００２９】
ケーブルまたは光ファイバ等、信号を２方向性で搬送し得る媒体によって搬送される放送に関しては、デジタル受信器５４から放送システムのヘッドエンド５０に接続され得る。従来のテレビ放送またはテレビ衛星通信等の１方向性媒体により搬送される放送の代替的実施形態において、電波媒体を用いることなく、デジタル受信器５４から、放送局または別のエンティティと通信する代替的ネットワーク接続５６への接続がなされ得る。電波媒体の一部ではない放送局または別のエンティティと通信するための通信チャンネルは、電話、インターネットまたは類似のコンピュータ接続等であり得る。２方向性電波媒体が利用可能であっても、このような非電波（ｎｏｎ−ｂｒｏａｄｃａｓｔ）通信チャンネルが用いられ得ることが理解されるべきである。このような通信接続は、視聴者の位置から放送局または広告主等別のエンティティに送信されるメッセージを搬送する。このような通信接続は、集合的にバックチャンネル（ｂａｃｋｃｈａｎｎｅｌｓ）と呼ばれる。
【００３０】
バックチャンネル通信は、放送局または広告主にとって価値があり得る情報の収集、および視聴者に放送局、広告主またはその他との双方向通信を可能にすることを含む種々の目的のために用いられ得る。
【００３１】
１実施形態において、デジタル受信器５４は、遠隔制御デバイスを介して視聴者と注釈情報との双方向通信に関するレポートを生成する。バックチャンネルを介して放送局に伝送されるこのレポートは、エラーレポートまたはアクションレポート等の遠隔操作に関するレポートを含み得る。このエラーレポートは、「不法」または未定義のアクションを実行する試み等、視聴者に利用可能な選択の範囲を超えた不適切な遠隔操作の使用に関する情報であり、アクションレポートは、視聴者によって行なわれるアクションを含み、タグが付けられて素材のタイムスタンプを示し、このタイムスタンプは、その後、テレビディスプレイ上で表示される。広告主によって供給された素材が利用可能であるとき、視聴者がそのような素材を取得するアクション、および、例えば、視聴者が取得の試みを取消すポイントを認識することといった、視聴者がその素材を取得することを終了するアクション等の、視聴者のアクションに関するレポートを含む。ある実施形態において、バックチャンネルは、蓄積転送チャンネルであり得る。
【００３２】
認識および伝送され得る情報は、例えば、単位量、大きさ、色、視聴者のクレジット情報および／または個人識別番号（ＰＩＮ）ならびに出荷情報を含む、放送において広告が出された品目（例えば、シャツ）の注文を行なうこと等、視聴者が関与することを所望する取引に関する情報をさらに含む。認識および伝送され得る情報は、例えば、サービスの識別、そのサービスの時間および配達の場所、支払い情報等を含む、ペイパービュー方式の放送を見せてほしいというリクエスト等、サービスに対するリクエストに関する情報をさらに含む。認識および伝送され得る情報は、さらに、国営ラジオ放送（Ｎａｔｉｏｎａｌ Ｐｕｂｌｉｃ Ｒａｄｉｏ）によって提供されるような、政治情報、公共放送情報、および米国特許商標庁の特許および商標データベースのようなデータリポジトリへのアクセスのリクエスト等の非営利的情報に関する情報を含む。
【００３３】
バックチャンネルはさらに、潜在的購買者が在庫切れの品目を選択する場合、および代替的選択を行なう可能性、または視聴者が補充されるまで品目を待つ気があるかどうか、およびどれくらい待つ気があるのかに関して一連の通信が続くような双方向通信にも用いられ得る。双方向通信の他の例示的実施例は、現在の価格、特定の商品またはサービスの入手可能性（２０００年ワールドシリーズの第３試合等の、スタジアムでの特定のスポーツイベントで利用可能な座席の位置等）、および購買の確認の表示である。
【００３４】
視聴者が注釈システムとの双方向通信を開始すると、受信器５４はフラグをセットし得る。このフラグは、視聴者が双方向通信を継続する間中、視聴者との双方向通信を行なうことを必要とするデータを保存する。これは、ビデオディスプレイ上に表示され得る番組素材に関係なく、および双方向通信がなされていない場合にデータが視聴者によって廃棄される時に関係なく行われる。１実施形態において、受信器５４は、視聴者に情報を提供するデータ構造において現れる各データ（単数または複数）構造の「使用中ビット」をセットする。「使用中ビット」は、受信器５４がデータ（単数または複数）構造を廃棄するのを防ぐ。視聴者が双方向通信を終了すると、「使用中ビット」はゼロにリセットされ、データ構造（単数または複数）は、その有効利用期限が切れると廃棄され得る。図５には示されないが、本システムのデータ構造にも、各データ構造の有効タイムスタンプが存在する。プログラムの時間が有効タイムスタンプを一度越えると、システムはこのタイムスタンプによってそのデータ構造を廃棄する。この廃棄プロセスは、ゴミ収集器５３２によって制御される。
【００３５】
注釈システムと双方向通信する経過において、視聴者はカタログを生成し、変更し得る。カタログは、視聴者が購買することを決定し得る品目、および視聴者が取得することを所望する情報の記述を含み得る。視聴者は、１つ以上の放送からカタログに含めるための選択を行ない得る。視聴者は、カタログのコンテンツを変更し得、カタログに品目を付加するとすぐに、または後から商取引を開始し得る。
【００３６】
カタログは、視聴者が見ていた番組についての入力情報を含み得る。最高レベルで、遠隔操作等のデバイスを用いることによって、視聴者はシステムと双方向通信し、関心のある品目、かつ量、価格、型、大きさ、色等、関心のある注文の詳細、および早急な発注またはカタログにおける関心のある品目のリストに選択した品目を単に付加すること等の注文の状況を識別する。
【００３７】
さらなる詳細なレベルで、視聴者は、番組への入力を選択し得、「保存済」または「発注済」等の入力の状況を含むカタログリストへの個別入力をリビューし得る。入力「保存済」は、品目がリスト上に入力されたが発注されていないことを意味する（すなわち、品目に関するデータはロックされている）。「発注済」は、その名称が示すように、リスト上の品目に関する実際の注文がバックチャンネルを介して行なわれたことを示す。視聴者は、依然として詳細な下位レベルでリストに呼び掛け得、（例えば、製造元、型、説明、価格、発注量、色等）の品目の細目を見る。品目が商品でないが、例えば、あるシーンに登場する俳優に関する伝記的な情報等、視聴者の関心の対象となる情報である場合、下位レベルでの照会によりその情報が表示される。１実施形態において、カタログにわたるナビゲーションは遠隔操作によって実行される。
【００３８】
視聴者は、上述のような取引を行なう際に用いるための口座を開設し得る。１実施形態において、視聴者は、自分の名前、配達先、およびクレジットカード番号、またはデビットカード番号等の金融情報等の情報を入力し得る。これは、視聴者が、友人宅またはホテルの部屋の受信器といった、システムにより操作する任意の受信器から発注することを可能にする。別の実施形態において、視聴者は、例えば、放送局によるサービスの供給と関連付けられた契約口座番号等の契約口座番号およびパスワード等の識別子を用い得る。このような状態では、放送局は、視聴者の自宅の住所および他の配達に関する情報ならびに視聴者との取引口座（ｏｐｅｎ ｆｉｎａｎｃｉａｌ ａｃｃｏｕｎｔ）を既に有している。このような例において、視聴者は、パスワードを使用することによって、自分が所望する発注および確認を行なうだけである。さらに別の実施形態において、視聴者は個人用カタログ（ｐｅｒｓｏｎａｌｉｚｅｄ ｃａｔａｌｏｇ）を設け得る。このような状態の例のように、家族構成員には個人用カタログが与えられ得、支出限度まで、および家族の中の経済的責任を負う個人と予め取り決められたルールによって商品およびサービスを注文し得る。
【００３９】
視聴者および放送システムの位置に依存して、バックチャンネルを介して伝達された情報のフォーマットは、（米国で用いられるような）ＱＰＳＫ変調、（欧州で用いられるような）ＤＶＢ変調、または他のフォーマットのうちの１つであり得る。伝送におけるセキュリティの必要性に依存して、バックチャンネルを介して伝送されるメッセージは、任意の暗号法を用いて全体または部分的に暗号化され得る。バックチャンネルを介して通信される情報は、（例えば、一意の識別子またはデジタルサイン等）送り手の認証に関する情報、（例えば、エラー訂正法またはＣＲＣのようなシステム等）通信の統合、取引の否認防止（ｎｏｎ−ｒｅｐｕｄｉａｔｉｏｎ）に関する情報、サービスの拒否の予防に関するシステムおよび方法、および通信のプライバシー、認証、および法的拘束力のある通信の性質に関する他の類似の情報を含み得る。
【００４０】
通信されている情報の種類に依存して、例えば、視聴者の放送素材に対する応答およびペイパービュー素材へのリクエストに関する情報は、放送局に向けられ得る。例えば、シャツの注文等の情報は、広告主に向けられ得る。例えば、第３者によって制御されるデータベースへアクセスするリクエスト等の情報は、第３者に向けられ得る。図５は、注釈データ情報を格納するために本発明において用いられるデータ構造を示す。データ構造は、ビデオフレームにおいて識別されたオブジェクトの位置および／または形状に関する情報および視聴者が識別されたオブジェクトと双方向通信することを可能にする情報を格納する。
【００４１】
特に、図５はビデオのフレーム２００を示す。このフレームは、第１のオブジェクトとしてシャツ２０５の画像、第２のオブジェクトとして帽子２０６の画像、および第３のオブジェクトとして半ズボン２０５を含む。これらのオブジェクトの形状および／または位置を表すために、オーサリングツール２４はマスク２１０を生成する。このマスクは、２次元ピクセルアレイであり、各ピクセルは、ピクセルの色または強度値に関係なく、関連する整数値を有する。マスクは、オブジェクト（または表示の領域）を輪郭表示または強調表示することに、オブジェクト（または領域）が表示されるための視覚上の効果を変更および強化すること、オブジェクトとの固定的関係でグラフィックを配置すること、またはオブジェクトとの固定的関係で数を配置することで種々の方法を包括して位置情報を表す。この例示的実施形態において、システムは各フレームまたはビデオ画像に対して単一のマスク２１０を生成する。共通の構成要素および共通のカメラ遠近法（ｃａｍｅｒａ ｐｅｒｓｐｅｃｔｉｖｅ）を共有するビデオ画像の収集がショットとして定義される。例示的マスク２１０において、４つの識別領域が存在する。すなわち、整数０によって識別される背景領域２１２、整数１によって識別されるシャツ領域２１３、整数２によって識別される帽子領域２１４、および整数３によって識別される半ズボン領域２１５である。当業者は、画像の輪郭の数学的記述等の、表示しているオブジェクトの代替的形態が同様に良好に用いられることを認識する。マスク２１０は、一意的識別子（ＵＩＤ）２１６、タイムスタンプ２１８、および認知の単語（ｖｉｓｉｂｉｌｉｔｙ ｗｏｒｄ）２１９をそのオブジェクトと関連付ける。ＵＩＤ２１６は、特定のマスクと関連付けられたオブジェクトマッピングテーブル２１７を参照する。この同期化プロセスは、図６に関して、より詳細に後述される。認知の単語２１９は、システムによって用いられ、特定のビデオフレームにおいて認知できる、特定のショットにおけるこれらのオブジェクトを識別する。図５には示されないが、システムの他のすべてのデータ構造も、上述のように使用中ビットを含む。
【００４２】
図５に示されるデータ構造の例示的セットは、視聴者が以下のものを含む識別されたオブジェクトとの双方向通信を可能にする。すなわち、オブジェクトマッピングテーブル２１７、オブジェクトプロパティテーブル２２０、２２０’、１次ダイアログテーブル２３０、ダイアログテーブル２５０、２５０’、２５０’’、セレクタ２９０、２９０’、２９０’’、アクション識別子２５７、２５７’、２５７’’、書式シート２４０、およびストリング２３５、２３５’、２３５’’、２３５’’’、２５６、２５６’、２５６’’、２５９、２５９’、２５９’’、２５９’’’、２５９’’’’、２９２、２９２’、２９２’’、２９２’’’である。
【００４３】
オブジェクトマッピングテーブル２１７は、マスク２１０における識別された領域２１２、２１３、２１４、２１５の各々の領域数、および関心の対象となる各領域の対応するＵＩＤ２１６を含む。例えば、オブジェクトマッピングテーブル２１７において、シャツ領域２１３は整数値「１」として格納され、ＵＩＤ０１２３４を関連付ける。ＵＩＤ０１２３４は、オプジェクトプロパティテーブル２２０を示す。オブジェクトマッピングテーブル２１７においても、帽子領域２１４は整数値２として格納され、ＵＩＤ１０３２４を関連付ける。ＵＩＤ１０３２４は、オブジェクトプロパティテーブル２２０’を示す。オブジェクトマッピングテーブルは、整数１で始まる。なぜなら、背景のデフォルト値が０だからである。
【００４４】
通常、オブジェクトプロパティテーブルは、特定のオブジェクトに関する情報についての参照を格納し、視聴者のそのオブジェクトとの双方向通信を容易にする。例えば、オブジェクトプロパティテーブル２２０は、ＵＩＤ５６７８を有するタイトルフィールド２２１、ＵＩＤ９１０１１２を有する価格フィールド２２２、およびＵＩＤ１３１４１５１６を有する１次ダイアログフィールド２２３を含む。第２のオブジェクトプロパティテーブル２２０’は、ＵＩＤ２３２３２３を有するタイトルフィールド２２１’、１次ダイアログフィールド２２３と同じＵＩＤ１３１４１５１６を有する１次ダイアログフィールド２２３’、およびＵＩＤ９１０１１３を有する価格フィールド２２２’を含む。タイトルフィールド２２１のＵＩＤおよびオブジェクトプロパティテーブル２２０の価格フィールド２２２は、それぞれストリング２３５、２３５’を示す。これらのストリングは、「クルーポロシャツ」という名称のシャツおよびその価格「＄１４．９５」についての情報を含む。オブジェクトプロパティテーブル２２０’のタイトルフィールド２２１’は、ストリング２３５’’を示す。このストリングは、「スポーツキャップ」という名称の帽子についての情報を含む。オブジェクトプロパティテーブル２２０’の価格フィールドは、ストリング２３５’’’を示す。当業者は、オーサリングされたビデオの所与のセクションに関して、オーサリングツール２４によって識別されたオブジェクトに対応して、多数のオブジェクトプロパティテーブルが存在することを容易に認識する。
【００４５】
オブジェクトプロパティテーブル２２０の１次ダイアログフィールド２２３のＵＩＤは、１次ダイアログテーブル２３０を示す。ダイアログテーブル２３０は、さらに、第２のオブジェクトプロパティテーブル２２０’の１次ダイアログフィールド２２３’のＵＩＤによって参照される。当業者は、第２のオブジェクトプロパティテーブル２２０’がビデオフレーム２００を含むプログラム内で識別される別のオブジェクトに対応することを容易に認識する。通常、ダイアログテーブル２３０は、視聴者と双方向通信するシステムによって用いられるテキストボックスおよびグラフィックボックスを構造化する。ダイアログテーブル２３０は、モデル表示制御器プログラミングパラダイム（ｍｏｄｅｌ−ｖｉｅｗ−ｃｏｎｔｒｏｌｌｅｒ ｐｒｏｇｒａｍｍｉｎｇ ｐａｒａｄｉｇｍ）でのデータモデルとして機能する。視聴者によって見られる表示は、ＵＩＤ１３５７９を有する書式シートテーブル２４０によって表され、制御器コンポーネントは、デジタル受信器５４上のソフトウェアによって供給される。例示的１次ダイアログテーブル２３０は、視聴者との双方向通信を開始するために用いられる。ダイアログテーブルのさらなる実施例は、特定の品目に関して入手可能な色２５０または大きさ２５０’、視聴者が購買したい品目の数を示すためのボックス、購買２５０’’を確認するためのボックス、および視聴者の購買について視聴者に礼を述べるボックスを含む。当業者は、このリストが網羅的ではないこと、および可能なダイアログテーブルの範囲が広範囲にわたることを認識する。
【００４６】
視聴者の画面上に表示される特定のダイアログテーブルの外観と感触は、書式シートによって制御される。書式シートは、モデル表示制御器プログラミングパラダイム、すなわち当業者に公知のソフトウェア開発パラダイムにおいて表示パラメータを制御する。ダイアログテーブル２３０の書式シートフィールド２３２は、書式シートテーブル２４０を示すＵＩＤ１３５７９を含む。書式シートテーブル２４０は、フォントフィールド２４１、形状フィールド２４２、およびグラフィックフィールド２４３を含む。動作中、これらのフィールドの各々は、適切なデータ構造リソースを示すＵＩＤを有する。フォントフィールド２４１は、フォントオブジェクトを指し、形状フィールド２４２は、異なった書式シートを有し、グラフィックフィールド２４３は画像オブジェクトを指し、これらは後述される。異なった書式シートを有することによって、本システムは、情報の提示を特定のプログラムに合わせることが容易にできる。例えば、人口統計学的に異なった分類の視聴者に対象を絞った２つの番組で１着のシャツの広告をすることを所望する小売業者は、製品情報を１度入力するだけでよい。これらの番組により支援される視聴者の双方向通信は、異なった書式シートが用いられるが、同じデータを参照する。
【００４７】
本実施形態の複数のデータ構造の名称とＵＩＤの対構成は、システムとの適合性の利点を提供する。特に、固定フィールドではなく、名称とＵＩＤの対を用いることによって、データタイプおよびプロトコルは、旧式のデジタル受信器ソフトウェアに影響を与えることなく拡張され得、同じ注釈のテレビ番組を複合的に用いることを可能にする。
【００４８】
本発明のシステムの柔軟性は、ＵＩＤが包括的に一意に定まるというシステムの要求によって強化される。例示的実施形態において、ＵＩＤは、ビットの第１のセットが特定のデータベースライセンスを表し、ビットの第２のセットが特定のデータ構造の構成要素を表す数として定義される。当業者は、これが特定の実施形態であり、ＵＩＤが包括的に一意に定まることを保証するための複数の方法が存在することを認識する。
【００４９】
ＵＩＤの包括的な一意性は、例えば、同じケーブルシステム上で放送する２つの放送網において、それらの放送の番組において識別される品目が区別され得ることが確実であり得るということである。これはさらに、ヘッドエンド受信器５０が特定のオブジェクトに関してネットワーク３１を介して、データベース３０、３３からデータを取出すことができることを意味する。なぜなら、オブジェクトはシステムのすべてのコンポーネントにわたって一意に定まる識別子を有するからである。ＵＩＤの包括的な性質は、異なったオブジェクトが区別できることをシステムが保証し得ることを意味し、さらに、本発明のシステムのユーザは、品目を区別しないという動作がより効率的である場合、品目を区別しないことを選択し得ることを意味する。例えば、複数の番組で同じシャツを販売する販売業者は、適切なオブジェクトデータを１度だけ入力するだけでよく、さらに、その販売業者はＵＩＤおよび参照されたデータを供給業者とともに用い得る。これにより、さらなるデータの入力オーバーヘッドを取除く。
【００５０】
本システムの本実施形態において、ＵＩＤの定義された４つのクラスが存在する。すなわち、空ＵＩＤ、リソースＵＩＤ、非リソースＵＩＤ、および拡張ＵＩＤである。空ＵＩＤは、ＵＩＤが任意のリソースを指さないことを示すシステムによって用いられ得る。リソースＵＩＤは、９つの別個のタイプのリソースを識別し得る。すなわち、オブジェクトマッピングテーブル、オブジェクトプロパティテーブル、ダイアログテーブル、セレクタ、書式シート、画像、フォント、ストリングおよびベクトルである。セレクタデータ構造およびベクトルリソースは後述される。画像リソース参照グラフィックはシステムによって用いられる。非リソースＵＩＤは、４つの種類の値を含む。すなわち、色値、アクション識別子、整数値およびシンボルである。視聴者によって行なわれるアクションの中で、アクション識別子は、「保存／ブックマーク」、「取消し」、「次の品目」、「前の品目」、「発注」および「終了」を含む。シンボルは、一対の名称ＵＩＤ名称を表し得る。システムは、スタック内で名称をルックアップし、関連するＵＩＤを表す。非リソースＵＩＤは、リテラル値を含む。拡張ＵＩＤは、システムがＵＩＤの大きさを増加させるようにするメカニズムを提供する。拡張ＵＩＤは、現在のＵＩＤがより長いＵＩＤの接頭語であることをシステムに示す。
【００５１】
システムが視聴者からの入力を必要とすると、このシステムはセレクタ２９０のデータ構造を用いる。セレクタ２９０のデータ構造は、一対のＵＩＤのテーブルであり、ここで第１のカラムは視聴者に表示されるべき品目のＵＩＤを含み、第２のカラムは各品目と関連付けられたアクションのＵＩＤを含む。デジタル受信器５４におけるソフトウェアがセレクタ２９０のデータ構造に遭遇すると、このソフトウェアは第１のカラムにおいて視聴者の画面上にすべての品目をレンダリングする。通常、選択は視聴者によって行なわれる。これらの品目は、ストリング、画像または非リソースＵＩＤの任意の組合せであり得る。画面上では、視聴者が品目をスクロールアップおよびスクロールダウンすることができる。視聴者が品目の１つを選択した場合、デジタル受信器５４におけるソフトウェアはその品目と関連するアクションを実行する。これらのアクションは、ダイアログボックスをレンダリングし、非リソースアクション識別子を実行するか、または別のセレクタ２９０’のデータ構造をレンダリングすることを含む。セレクタはメニュー１のフィールド２５３、２５３’、２５３’’、２５３’’’により参照される。
【００５２】
動作中、視聴者がオブジェクトを選択し、一連のデータ構造にわたってナビゲートすると、システムは、視聴者に情報を表示するために用いられる各連続データ構造をメモリ１２８におけるスタック上に配置する。例えば、図５に示されるデータ構造により支援される以下の視聴者双方向通信を考察されたい。最初に、視聴者は、オブジェクトマッピングテーブル２１７を介してオブジェクトプロパテイテーブル２２０’にシステムを配置し、オブジェクトプロパティテーブル２２０’をスタック上に配置させて帽子２１４を選択する。以下の議論において、視聴者によって参照される各データ構造がスタック上に配置されることが暗に示される。
【００５３】
次に、システムは、１次ダイアログテーブルを表示する。このダイアログテーブルは、帽子のタイトル２３５’’および価格２３５’’’を含み、ここで、視聴者に提供される情報の様式は書式シート２４０によって制御される。さらに、視聴者への初期の表示は、セレクタ２９０に含まれる情報に基づいてレンダリングされる一連の選択を含む。セレクタ２９０に基づいて、システムは、視聴者にストリング「終了」２５６、「購買」２５６’および「保存」２５６’’によって表される選択を提供し、これらの各々はそれぞれ、ＵＩＤ９９９９、８８８８および７７７７によって表される。アクション識別子の終了２５７’および保存２５７は、ＵＩＤ１０１２および１０２０それぞれによってシステムに照会される。
【００５４】
視聴者が「購買」ストリング２５６’を選択すると、システムはダイアログテーブル２５０、ＵＩＤ１０１１を用い、色のオプションを視聴者に表示する。特に、セレクタ２９０’は、システムを配向し、視聴者にストリング「赤」２９２、「青」２９２’、「緑」２９２’’および「黄」２９２’’’、ＵＩＤ１１１１、２２２２、３３３３、４４４４をそれぞれ表示する。ダイアログテーブル２５０のタイトルは、システムによって種々のシンボル１ ２６６を通じて配置される。オブジェクトプロパティテーブル２２０’がスタック上に配置されると、シンボル１ ２６６はＵＩＤ２００１と関連付けられる。従って、システムがシンボル１ ２６６’に遭遇すると、このシステムは、シンボル１ ２６６を配置するまで、スタックにわたってトレースアップし、次に、システムを配向してＵＩＤ２００１を介してストリング「色選択」２５９を表示する。
【００５５】
視聴者が「青」２２２２ストリング２９２’を選択すると、システムはＵＩＤ５５５５と関連付けられたアクション識別子を実行し、シンボル２、ＵＩＤ２００２を通じて配置されたストリング「大きさ選択」２５９と標識化されたダイアログテーブルを表示する。ＵＩＤ２００４によって配置されたセレクタ２９０’’に基づいて、ワンサイズのみ入手可能であるので、システムはストリング「大」２５９’’、ＵＩＤ１１２２をレンダリングする。視聴者が別の色を選択した場合、帽子は大きさでのみ入手可能であるので、この視聴者は同じダイアログテーブル、ＵＩＤ５５５５に向けられる。視聴者がストリング「大」２５９’’を選択した後、システムは視聴者にダイアログテーブル２５０’’、ＵＩＤ６６６６を提供し、購買を確認する。ダイアログテーブル２５０’’がセレクタ２９０’’、ＵＩＤ２００３を用い、視聴者にストリング「はい」ＵＩＤ１１１３および「いいえ」ＵＩＤ１１１４をそれぞれ提供する。視聴者が「はい」ストリング２５９’’を選択した後、アクション識別子の発注２５７’’、ＵＩＤ１０１３によって向けられ、システムは取引を伝送する。確認依頼に応答して、視聴者が「いいえ」ストリング２５９’’’を選択した場合、システムはアクション識別子の終了２５７’を実行することによって、特定の視聴者双方向通信を終了する。終了動作の一部として、システムは、スタックからオブジェクトプロパティテーブル２２０’を取り除き、次に続くすべてのデータ構造は、視聴者によるシステムとの特定の双方向通信に基づいてスタック上に配置される。同様に、システムによる購買リクエストの実行の後、システムは、データ構造をスタックから取り除く。
【００５６】
アクションが１つ以上の工程を必要とする場合、システムは、ＵＩＤの順序化ＵＩＤのセットであるベクトルリソースを用いる。例えば、視聴者が、自分が見つけた品目の参照を保存することを所望する場合、システムは、２つの動作を実行する必要がある。第１に、システムは、非リソース保存ＵＩＤによって示された実際の保存動作を実行しなければならず、第２に、システムは、視聴者に、品目が保存されたことを示すダイアログボックスを提供しなければならない。従って、保存することができるベクトルＵＩＤは、非リソース保存ＵＩＤおよびダイアログテーブルＵＩＤを含み、ダイアログテーブルＵＩＤは、適切なテキストを参照するダイアログテーブルを示す。
【００５７】
本発明のシステムの特定の利点は、データ構造が操作上効率的および柔軟であるように設計されていることである。例えば、データ構造の分散型の性質は、最小量のデータのみが伝送される必要があることを意味する。例えば、オブジェクトプロパティテーブル２２０、２２０’等の複数のデータ構造の構成要素は、例えば、ダイアログテーブル２３０等の同じデータ構造の構成要素を示し得、このデータ構造の構成要素は、１度伝送されるだけでよい。スタック動作は、データ構造の分散型の性質に呼応する機能を表し、例えば、帽子２１４はそれ自体のセレクタ２９０を有しないが、帽子が表示されたときは、セレクタ２９０は、依然として帽子２１４のために用いられ得る。データ構造の分散型の性質も、データの個別の要素が他のデータ構造に格納された情報を分散することなく、独立して変更され得るという利点も有する。
【００５８】
柔軟性を提供する本発明のシステムの別の局面は、可変データタイプとしてのシンボルをさらに用いることである。スタック上の参照によって供給される値を有することに加えて、シンボルは、初期のオーサリングプロセスの後の特定の時間に供給され得るリソースを参照し得る。例えば、シンボルは、ＤＴＶ放送基盤１２を方向づけ得、放送時間において価格を供給する。これは、例えば、販売業者が特定の伝送ケーブルシステムに依存してオブジェクトに異なった値段をつけることを可能にする。
【００５９】
本発明の分散型データ構造によって提供される柔軟性のさらなる局面は、これが複数の視聴者の相互通信の実例をサポートする点である。例えば、対話表およびその連結の順序付けにおける広い変化は、視聴者の相互通信の構造が適応性があり、作成者によって容易に制御されることを意味する。
【００６０】
このシステムによってサポートされる視聴者の経験が種々にわたっているという別の例は、複数のビデオストリーム間を切替える能力である。この特徴は、複数のプログラムストリーム（各プログラムストリームはビデオ情報、音声情報およびデータ情報から成り得る）から成るＭＰＥＧ２のトランスポートストリームの構造を用いる。ＭＰＥＧ２のトランスポートストリーム内で特定の周波数で１回伝達すると、同時に複数のデジタルテレビプログラムが得られ得る。当業者であれば、ＰＭＴと呼ばれるプログラムマッピング表をストリーム内の各プログラムに関連付けることによってこれが達成されることを理解する。ＰＭＴは、特定のプログラムに対応するストリーム内のパケットのパケット識別子（ＰＩＤ）を識別する。これらのパケットは、各プログラムのビデオパケット、音声パケットおよびデータパケットを含む。
【００６１】
図５Ａを参照すると、オブジェクトの特性表２２０’’が示されている。オブジェクトの特性表２２０’’は、対応するリンクタイプのエントリをＵＩＤフィールド内に有するリンクタイプフィールド２７０、および対応するＰＩＤ２２８を有するｓｔｒｅａｍ＿ｎｕｍ ｆｉｅｌｄ２２７を含む。ビデオストリームの切替をイネーブルにするには、オーサリングツール２４は特定のプログラムストリームのＰＭＴ２２９のＰＩＤに対応するＰＩＤ２２８を選択する。オブジェクトの特性表２２０’’に対応するオブジェクトが選択されると、デジタル受信機５４はリンクタイプフィールド２７０のビデオリンクエントリ２７１を用いて、オブジェクトがビデオリンクオブジェクトであるか否かを判定する。次いで、デジタル受信機５４は、現在のＰＭＴのＰＩＤをＰＭＴ２２９のＰＩＤ２２８と交換する。続いて、デジタル受信機５４は、ＰＭＴ２２９を用いて新しいプログラムに対応するデータを抽出する。特に、ＰＭＴ２２９によって参照されるプログラムは、ＰＩＤ１７によって識別されるビデオストリーム２６０、ＰＩＤ１８およびＰＩＤ１９によって識別される２つの音声ストリーム２６１、２６２、およびＰＩＤ２０によって識別されるプライベートデータストリーム２６３を含む。このように、視聴者は、これらのストリームに関連付けられたオブジェクトを選択することによって、異なるプログラムストリーム間で切替ることが可能である。
【００６２】
図６は、図２に示すシステムの一実施形態のデータフローおよびフロー制御のフロー図５００である。図６は、視聴者がシステムのハードウェアおよびソフトウェアと相互通信する場合に行われる一連の工程を示す。図６において、マスク用のデータのストリーム５０２はマスク復号器５０４において復号される。復号されたマスク情報５０６は、マスク５０８、５０８’、５０８’’などのバッファまたはキュー内に置かれる。マスク情報５０６と同時に、イベントのストリーム５１０（割り込みと考えられ得る）は、イベント５１２、５１２’、５１２’’などのイベントキュー内に置かれ、イベント５１２は１対１の対応でマスク５０８に対応する。マスク５１４と呼ばれるスレッドはマスク５０８上で動作する。マスク５１４のスレッドは、マスクヘッダを探し出し、１つ以上のバッファを組み立て、そしてキュー内のマスク情報を処理して、マスクオーバーレイを生成する。
【００６３】
マスク情報を表示するには、解凍器５２８と呼ばれるスレッドは、例えば、（６４０×４８０）のピクセルの解像度を用いて、ビデオ画面５３０上で表示するのに適切なサイズ（例えば、（３２０×２４０）のピクセルの解像度）で維持されるマスクを復号して拡大する。解凍器５２８のスレッドは、マスク情報にエンコードされたタイムスタンプを調べ、そして現在のビデオフレームのタイムスタンプとこれを比較することによって、マスクオーバーレイの表示とビデオとの同期を取る。マスクオーバーレイフレームがビデオフレームの前にある場合、解凍器のスレッドはビデオタイムスタンプとマスクタイムスタンプとの間の差を表す計算された時間量の間スリープする。この機構により、マスクがビデオオブジェクトにオーバーレイするように現れるように、マスクはビデオとちょうど同期が取られている状態が保たれる。
【００６４】
注釈データの第２のストリーム５１６は、オブジェクト５１８と呼ばれる第２のソフトウェアに提供される。オブジェクトデータストリーム５１６は、オブジェクト５１８のスレッドによって分析および復号される。オブジェクト５１８のスレッドは、各オブジェクトを復号し、これをオブジェクトの階層内に組み込む。オブジェクト５１８のスレッドの出力は、形状およびサイズなどの変化する特徴を有するオブジェクト５１９のストリームである。
【００６５】
モデル５２０と呼ばれるスレッドは、マスク５０８およびオブジェクト５１９を組み合わせて、システムのモデルを形成する。マスク情報は、マスクオーバーレイ内に表される各オブジェクトの一意的なＩＤを含む。一意的なＩＤはモデル内に格納されるオブジェクトに対応する。モデル５２０のスレッドは、これらの一意的なＩＤを用いて、対応する情報の同期を取るかまたは照合する。
【００６６】
モデル５２０のスレッドは、スタック、ハッシュ表およびキューなどのハウスキーピング構造を含み、これらはすべて、ソフトウェア技術の分野の当業者に周知である。例えば、スタックを用いて、再構成され得る状態の一時的な表示を、メモリまたは呼び出され得るメモリ位置内に保持し得る。ハッシュ表を用いて、特定の種類のデータまたはデータへのポインターを格納し得る。キューを用いて、連続するビット、バイトまたはデータなどを格納し得る。モデル５２０はビュー５２６と呼ばれるスレッドと相互通信し、このスレッドは、テレビ画面などの画面５３０上に表示される情報を制御する。ビュー５２６のスレッドはモデル５２０のスレッドに含まれる情報を用いる。モデル５２０のスレッドは、相互通信コンテンツを有するまたは有さない特定の画像を表示するために必要な情報の追跡を保持する。ビュー５２６のスレッドはさらに、マスク５１４のスレッドとも相互通信して、適切な情報が正しい時間に表示画面５３０に利用可能にされることを保証する。
【００６７】
ソフト５２２と呼ばれるスレッドは、状態５２４と呼ばれる状態機械の機能を制御する。状態５２４の詳細を図７を参照してより完全に説明する。状態５２４はスレッドビュー５２６と相互通信する。
【００６８】
ごみコレクタ５３２は、古くなったデータおよび他の情報（例えば、すでに経過した時間に対応する、最後に用いたタイムスタンプを有するデータ）を集めて処分するように設けられる。ごみコレクタ５３２はシステムのメモリを定期的に一掃して、このような不必要なデータおよび情報を排除し、そして新しいデータおよび情報を格納するメモリ空間を回復し得る。このようなごみコレクタソフトウェアはソフトウェア技術分野において公知である。
【００６９】
図７は、状態機械の状態５２４内の状態間の相互通信を示す。状態機械の状態５２４は、作動されると、状態機械の状態５２４をリフレッシュされたスタートアップ状態にし、メモリコンテンツおよびスタックポインタなどのすべての調整可能な値をデフォルト値（必要な場合、ＲＯＭ、ＳＤＲＡＭ、磁気記憶装置、ＣＤ−ＲＯＭまたはメモリのプロテクト領域内に格納され得る）に設定するリセット６０２を含む。システムがリセットされた後、矢印６２０が示すように、その状態機械の状態５２４の状態を相互通信コンテンツアイコン６０４と呼ばれる状態に移行する。図７を参照されたい。
【００７０】
相互通信コンテンツアイコン６０４は、ロゴに類似した視覚画像が、テレビディスプレイ５８の規定された領域内に現れる状態である。視覚画像は「アイコン」と呼ばれる。したがって、アクティブな視覚画像の名が、相互通信コンテンツアイコンである。アイコンは、外観を変更したりまたは視覚効果を変更または強化することができる。相互通信情報が利用可能である場合、視覚効果を用いて、例えば、色を変更し、透明度を変更し、光度を変更し、明滅または点滅させ、または移動するように見せることによって、アイコンが表示される。
【００７１】
システムの視聴者は、手持ち式デバイス上のキーを押すことによって情報があることを示す表示に応答し得る。例えば、一実施形態において、右矢印または左矢印（コンピュータキーボード上の矢印または手持ち式ＴＶのリモートデバイスの音量ボタンに類似する矢印）を押すと、状態機械の状態５２４の状態が相互通信コンテンツアイコン６０４からマスクの強調表示（ＭＨ）６０６に変更する。相互通信コンテンツアイコン６０４からＭＨ６０６への状態の移行は矢印６２２によって示される。
【００７２】
状態ＭＨ６０６において、画像の１つ以上の領域が視聴者に表示されることが可能な素材に対応する場合、例えば、ビデオディスプレイ上に現れる領域の輪郭を描く外周ラインを有させることによって（図１Ｄ参照）、またはその領域またはその領域の一部分の外観を変更することによって、１つのこのような領域を強調表示する。一実施形態において、ある男性が着るシャツが強調表示されるオブジェクトである場合、キーを押すことに応答してシャツの輪郭が視覚的にくっきりと現れるか、キーを押すことに応答してシャツの外観が変化する。キーを繰り返し押したり、または他の矢印キーを押すと、テーブル上にあるワインボトルなどの別のオブジェクトが同様の方法で強調表示される。通常、強調表示されることが可能なオブジェクトは、キーを連続的に押すことによって連続的に強調表示される。
【００７３】
視聴者が所定の時間期間（例えば、１０秒間）どんな行為も行わない場合、状態機械の状態５２４の状態は、矢印６２４が示す相互通信コンテンツアイコン６０４に戻される。あるいは、視聴者が横方向を指す矢印以外のボタン（例えば、リモートコントロール上のナビゲーション矢印の中心に現れることが多い「選択」ボタン）を作動させると、状態は状態ＭＨ６０６から情報ボックス６０８と呼ばれる状態に進む。情報ボックス６０８は、情報がポップアップボックス（すなわち、情報ボックス）内に現れる状態である。ＭＨ６０６から情報ボックス６０８への状態の移行は矢印６２６によって示される。現れる情報は、情報の広告主または宣伝主によって指定され、そして例えば、強調表示されるオブジェクトのブランド名、モデル、価格、地方のベンダーおよび仕様を含み得る。一実施例として、メンズのシャツの場合、情報は、シャツのブランド名、価格、利用可能なサイズの範囲、利用可能な色の例、１つ以上のベンダーに関する情報、特別販売の提供に関する情報、および注文を行う際に連絡するための電話番号または電子メールアドレスに関する情報などを含み得る。このシステムで起こり得る１つの潜在的な問題は、２つの連続したショットにおいて、同じオブジェクト（すなわち、同じＯＰＴを有する領域）は、現れるが、マスクフレームおよびＯＭＴ内で異なる指数を有し得ることである。例えば、２人の人があるビデオ放送のうちで異なる部分を編集して、各自が編集するビデオの部分にビデオ放送が現れる場合、同じオブジェクトに異なる指数を割り当てる場合がある。一つのオブジェクトが異なるショット内で異なる指数によって指定され得る可能性は、ショットが変わった後に、システムが領域上に強調表示を示し続ける（これは、理想的である）場合、問題を提示する。この潜在的な問題を打開するには、システムはオブジェクトのオーバーレイをレンダリングする前に「リバースルックアップ」アルゴリズムを用いる。オブジェクトが視聴者によってまず強調表示されると、このショットのＯＭＴが参照され、強調表示されたオブジェクトのＯＰＴのＵＩＤがメモリ内に格納され、そして強調表示が表示される。各連続したフレームの強調表示をレンダリングする前に、マスクフレームをまずチェックして現在のＯＭＴを探す。次いで、ルックアップが実行され、現在のオブジェクトのＯＰＴ ＵＩＤを用いてＯＭＴが検索される。ＯＰＴ ＵＩＤが見つかった場合、ＯＭＴ内のＯＰＴ ＵＩＤに関連付けられたマスクフレームに対応する参照を有するマスクフレーム内のエリアが強調表示される。このリバースルックアップは、時間切れになるまで、または新しいオブジェクトが選択されるまで続く。
【００７４】
視聴者が行い得る多くの応答が可能であり、これらの応答は、通常、矢印６２８によって示されるように、相互通信コンテンツアイコン６０４の状態に複数のパスを介して戻り得る。応答は、例えば、視聴者が、記載されたアイテムの購入を行ったり、さらなる情報に関して問い合わせたり、またはこのような購入を撤回することなどによって、視聴者が提供される情報に興味を有することを含み得る。
【００７５】
システムが相互通信コンテンツアイコン６０４の状態にある間、視聴者は、バーストボタンを押して、バースト６１０と呼ばれる状態が作動され、相互通信コンテンツアイコン６０４からバースト６１０に移行する（６３０）。バースト６１０の状態において、ビデオディスプレイは、視聴者に提示され得る関連付けられた情報を現在有するオブジェクトすべてを連続して自動的に強調表示する。任意の１つのオブジェクトの強調表示期間は短く、０．０３〜５秒のオーダーであり、これにより、視聴者が短い時間内にどのオブジェクトが提示される関連付けられた情報を有し得るかを評価し得る。好適な強調表示期間は０．１〜０．５秒の範囲内である。バースト６１０の状態はラジオ受信機を走査する走査状態に類似している。ラジオ受信機内で、適切な信号の強度で受信され得る信号は短い時間で連続してチューニングされる。
【００７６】
バースト６１０の状態は、関連付けられた情報を有する種々のオブジェクトが強調表示された後に、相互通信コンテンツアイコン６０４の状態に自動的に戻る（６３２）。システムが相互通信コンテンツアイコン６０４の状態に返った後、上述したように、視聴者は、関連付けられた情報を有する対象のオブジェクトを自由に作動させる。
【００７７】
別の実施形態において、バースト６１０の状態は通信内に埋め込まれた命令によって呼び出され得る。さらに別の実施形態において、バースト６１０の状態は、定期的に呼び出されて視聴者にアクティブであり得る領域を通知し得、または１セットの可視性ビットを有する領域を含む新しいショットが開始する場合に、バースト６１０の状態が呼び出され得る。
【００７８】
相互通信コンテンツアイコンを用いて、視覚の手がかりを視聴者に提供し得る。一実施形態において、画像の１つ以上の領域と共に視聴者に表示される素材がある場合のみ、相互通信コンテンツアイコンは現れる。
【００７９】
一実施形態において、相互通信コンテンツアイコンは、バースト６１０の状態が呼び出された場合にアクティブである。相互通信コンテンツアイコンは、例えば、強化された視覚効果（これは、外見上は各可視領域が仮定する強化された視覚効果に類似している）で相互通信コンテンツアイコン自体を表示することによって、バースト６１０の状態が開始しているという信号の形態を取り得る。異なる実施形態において、強化された視覚効果は、色の変化、光度の変化、アイコン自体の変化、あるいはディスプレイ領域の点滅または明滅などであり得る。
【００８０】
一実施形態において、領域が増えると相互通信コンテンツアイコンが増やされ、このアイコンを、コンパス上の点のように、またはデジタル受信機のリモートコントロールのキーのように形成し得る。増やされた領域は、同時または連続して、強化された視覚効果を用いて表示される。種々の実施形態の例示の実施例を、図８Ａから図８Ｇまで模式的に示す。図８Ａは非アクティブな相互通信コンテンツアイコンを示す。図８Ｂは、視覚的に強化されたアクティブな相互通信コンテンツアイコンを示す。図８Ｃは、バースト状態に入る相互通信コンテンツアイコンを示し、バースト状態において、北（Ｎ）、東（Ｅ）、南（Ｓ）および西（Ｗ）のコンパス位置を指す４つの矢じりが追加される。例えば、増やされた領域は、手持ち式デバイス上のボタンの形状を思い出させる形態で提示され得る。一実施形態において、北（Ｎ）および南（Ｓ）の矢じりはビデオの手持ち式リモート上でチャンネルを変更するボタンに対応し得、東（Ｅ）および西（Ｗ）の矢じりはビデオの手持ち式リモート上で音量を変更するボタンに対応し得、これにより、これらのボタンを押すとバースト状態応答が呼び出されることを視聴者は思い出す。
【００８１】
図８Ｄは、アクティブなバースト状態の相互通信コンテンツアイコンを示し、相互通信コンテンツアイコン自体および北（Ｎ）のコンパス位置を指す矢じりが強化された視聴効果と共に表示されている。図８Ｅは、アクティブなバースト状態の相互通信コンテンツアイコンを示し、相互通信コンテンツアイコン自体および東（Ｅ）のコンパス位置を指す矢じりが強化された視聴効果と共に表示されている。図８Ｆは、アクティブなバースト状態の相互通信コンテンツアイコンを示し、相互通信コンテンツアイコン自体および南（Ｓ）のコンパス位置を指す矢じりが強化された視聴効果と共に表示されている。図８Ｇは、アクティブなバースト状態の相互通信コンテンツアイコンを示し、相互通信コンテンツアイコン自体および西（Ｗ）のコンパス位置を指す矢じりが強化された視聴効果と共に表示されている。
【００８２】
上述したように、テレビ番組および利用可能にされ得る任意の注釈情報を含む、ビデオディスプレイ５８上に現れる情報は、ヘッドエンド５０からデジタル受信機５４に伝達される。ビデオ画像は通常多くの情報を含む。現代の高解像度のテレビのフォーマットにおいて、一つのビデオフレームは１０００本より多いラインを含み得る。各ラインは１０００ピクセルより多いピクセルを含み得る。所定のフォーマットで、２４ビットの整数が、各ピクセルを表示するのに必要である。このような大量の情報を伝達することは相当な負担である。伝達しなければならないデータ量を減らし得る圧縮方法は、テレビ通信技術において有用な役割を果たす。データファイルの圧縮は通常、コンピュータ技術の分野において周知である。しかし、画像圧縮の分野で特に用いられる新しい形態のファイル圧縮を本発明において用いる。
【００８３】
１つの従来の圧縮プロセスは「ランレングス符号化」と呼ばれる。このプロセスにおいて、ビデオラインに連続して現れる各ピクセルまたは同一のピクセルのグループは順番になったペアとして符号化される。このペアは、同一のピクセルがいくつレンダリングされるかを示す第１の数、およびこのような同一のピクセルそれぞれの外観を規定する第２の数を含む。同一のピクセルのランが長い場合、このようなコード化プロセスは伝達される必要があるビットの総数を減らし得る。しかし、病理学の例において、例えば、各ピクセルがその前およびその後のピクセルとは異なり、コード化体系は実際には、ピクセルのシーケンス自体を表すために必要なビット数より多いビットを必要とし得る。
【００８４】
一実施形態において、ランレングス符号化を改良したものは、「セクションランレングス符号化」と呼ばれ、これは、２つ以上の連続したラインが、同じ外観または色について同じランレングスのシーケンスを有するものとしてカテゴリー化され得る場合に得られる。２つ以上のラインはビデオ画像のセクションとして処理される。このようなセクションの一実施例は、背景をモノクロにして見られる人物である。トランスミッタは、セクション内のすべてのラインに有効である色のシーケンスを一つ提供し、次いで、それぞれ連続した色を有するラインごとのピクセル数を符号化することによって、このセクションを符号化する。この方法により、色ごとに長ったらしいビットパターンを必要とする冗長な色情報を繰り返し伝達することが防がれる。
【００８５】
図９Ａは、背景７１０をモノクロ（例えば、青色の背景）にして示される人物７０５の画像７００を示す。図９Ａは、ビデオ画像の圧縮方法のいくつかの実施形態を示す。図９Ａにおいて、人物は皮膚の色を有し、これは領域７２０内に見られる。人物は紫色のシャツ７３０および緑色のパンツ７４０を着用している。符号器および復号器がルックアップテーブルを用いて、コード化された数を全（例えば、２４ビット）表示値に変換する場合、異なる色または外見が小さい値を有する数として符号化され得る。一実施形態として、背景色を、マスクを目的として、無効な視覚効果または透過的な視覚効果として規定し得、これにより、画像の元の視覚外観が改変することなく表示されることが可能になる。
【００８６】
「セクションランレングス符号化」のこの実施形態において、符号器は各行７５２、７５４、７６２、７６４を走査し、そして各ランの色の値および長さを記録する。ランの数およびビデオフレームの第１の行７５２の色のシーケンスは、続く行７５４の色のシーケンスと合致しない場合、第１の行７５２はレングス１のセクションであるように符号化され、続く行７５４は次の続く行と比較される。２つ以上の行が同じ色のシーケンスを含む場合、セクションは同じ色のシーケンスを有する複数の行として符号化され、セクションの第１の行の色およびランレングスを表す一連の順序付けられたペアが続く。図９Ｂに示す３つの行を有する一実施例に関して、第１の行は色およびランレングスのペアの値（ｎ）を含む。残りの２つの行はランレングスのみとして符号化され、セクションの第１の行内で用いられる色は復号器によって用いられて、セクションの後の行を表示するための情報を再生する。一実施形態において、セクションをビデオラインまたは行の全範囲より小さく規定し得る。
【００８７】
図９Ａを参照して説明する一実施例として、例示の行７５２および７５４は、ビデオ走査ラインに対応し、背景７１０、人物の皮膚７２０のセグメント、およびさらなる背景７１０を含む。例示の行７５２および７５４は両方、青色のピクセルのラン、皮膚の色のピクセルおよびさらに青色のピクセルを含む。したがって、行７５２および７５４、ならびに人物の皮膚の色の頭または首の部分を交差する他の隣接する行は、以下のように符号化される。すなわち、数は、ライン７５２、７５４に類似する行が正確には何本セクション（これは、青色の背景の、色−皮膚、色−青色の背景色パターンによって規定されている）内にあるかを示し；第１の行の符号化は、青色の背景色および関連付けられたピクセル計数を示す値、皮膚の色７２０および関連付けられたピクセル計数を示す値、および青色の背景色および別の関連付けられたピクセル計数を示す値を含む。セクション内の残りの行は、青色の背景色のピクセル計数を表す数として、皮膚の色７２０にレンダリングされるピクセル計数を表す数として、そして残りの青色の背景色のピクセルを表す数として符号化される。
【００８８】
別の実施形態において、符号化される必要がある情報を減らすプロセスは、「Ｘランレングス符号化」と呼ばれ、これは識別されたオブジェクト内の情報のみを符号化することを含む。この実施形態において、符号化されるピクセルは、規定されたオブジェクト内、またはオブジェクトの輪郭内に現れるピクセルだけである。トランスミッタ内の符号器は順序付けトリプル（ｏｒｄｅｒｅｄ ｔｒｉｐｌｅ）としてピクセルを表す。順序付けトリプルは、ラインの開始などの既知のピクセルに対してランの開始位置を規定する、値、ランレングスおよびオフセットを含む。受信機において、復号器は、順序付けトリプルを読み出して、符号化された情報によってピクセルをレンダリングすることによって、符号化された情報を回復する。
【００８９】
図９Ａを再度参照すると、例示のライン７５２および７５４はそれぞれ、順序付けトリプルの数としてＸランレングス符号化プロセスで表される。順序付けトリプルの数は、皮膚の色７２０を示す数、いくつのピクセルが皮膚の色７２０にレンダリングされるべきかを示す数、および皮膚の色７２０にレンダリングされたピクセルが位置付けられるべき画像７００の一端部７１２からの距離を示す数である。例示的な一実施例を図９Ｃに示す。
【００９０】
さらに別の実施形態において、セクションランレングス符号化プロセスおよびＸランレングス符号化プロセスの特徴を組み合わせた「Ｘセクションランレングス符号化」と呼ばれるプロセスを用いる。Ｘセクションランレングス符号化プロセスはコード化パラメータとして色値およびランレングスを用いるが、背景の符号化を無視する。この符号化体系の各エントリは、Ｘランレングス符号化と同様、順序付けトリプルの色値、ランレングス値およびオフセット値である。
【００９１】
例示のライン７６２および７６４は、以下に示され得る連続したラインのセクションの一部である。すなわち、例示のライン７６２、７６４は順に、青色の背景７１０ｂのセグメント、紫色のシャツ７３０の腕部分、青色の背景７１０、紫色のシャツ７３０の主部、青色の背景７１０、紫色のシャツ７３０の他方の腕部分、および青色の背景の最後のセグメントである。例示のライン７６２、７６４および同じ色のパターンを有する他の隣接したラインは以下のように符号化される。すなわち、セクション内のライン数を規定する整数；第１のラインは色、ランレングスおよびオフセットを示す３つのトリプルの数として符号化され；そしてセクション内の残りのラインはランレングスおよびオフセットを示す３つの順序付けダブル（ｏｒｄｅｒｅｄ ｄｏｕｂｌｅ）として符号化される。色値はセットのトリプルの数から復号され、そして以後、セクションの残りのラインに用いられる。順序付けダブルまたは順序付けトリプルによって規定されないピクセルは、背景色にレンダリングされる。例示の一実施例を、３つの行を用いて図９Ｄに示す。
【００９２】
さらなる実施形態は、「スーパーランレングス符号化」と呼ばれるプロセスに関する。この実施形態において、ビデオ画像は、ＣＰＵによってセクションを含み得る複数の領域に分解される。ＣＰＵは上述の圧縮プロセスを種々の領域に適用して、セクションごとに最も効率的な圧縮プロセスの符号化を決定する。次いで、ＣＰＵは、各セクションが符号化されるプロセスを示すプリペンディッド（ｐｒｅｐｅｎｄｅｄ）整数または記号を加えて、最も効率的なプロセスの合成としてセクションごとに画像を符号化する。このスーパーランレングス符号化の例示的な一実施例は、画像７００の所定のラインのランレングス符号化、画像７００の他のライン（例えば、７５２、７５４）のＸランレングス符号化、画像７００のさらに他のライン（例えば、７６２、７６４）のＸセクションランレングス符号化などの組み合わせを用いた画像７００の符号化である。
【００９３】
符号化体系の他の実施形態を用いてもよい。用いられ得る一実施形態は、前のラインからこの１本のラインのピクセルのオフセットを計算すること、例えば、続きのライン（例えば、図９Ａに示す人物の首の近位にあるラインなど）に少数のピクセルだけ移行して、背景を表すピクセルを有する移行されたラインのいずれかの端部で任意の規定されていないピクセルを満たすことに関する。このアプローチを、ランレングスおよび行位置情報の両方に適用し得る。この実施形態は、７個以下のピクセルのオフセットを、符号付きの４ビットの値として表して、このように符号化されるラインを規定するために伝達される必要がある情報量を大きく節約し得る利点を提供する。オブジェクトの多くの画像は、ラインからラインへの比較的少なめのオフセットを含み、そしてこのような符号化により、伝達されるデータが著しく減少し得る。
【００９４】
別の実施形態は、輪郭の一端部において開始する順序付けペア（ｏｒｄｅｒｅｄ ｐａｉｒ）として、輪郭の境界内にあるラン値を符号化することを含む。このような符号化体系の他の実施形態は、データ圧縮技術の分野の当業者に明らかである。
【００９５】
本発明の目的を実行するために、画像コンテンツを効率的に表すことに加えて、画像コンテンツの分析を実行する能力が有用である。選択した人物、オブジェクトおよび特徴に注釈が割り当てられ得るように、複数のピクセルを含むテレビ画像を分析して、人物、オブジェクトおよび特徴の有無を決定し得る。人物、オブジェクトおよび特徴の動きも分析され得る。１つ以上の人物、オブジェクトおよび／または特徴に対する画像またはフレーム内のピクセルの割り当ては、このような分析が実行される前に実行される。
【００９６】
分析は、画像を操作して、ぎざぎざまたはでこぼこの端部を有する画像ではなく、滑らかな画像、すなわち、見る人にとって好ましい画像を生成する際に有用である。分析をさらに用いて、ピクセルの規定された厚さを有する輪郭によって回りに線が描かれた画像領域を規定し得る。さらに、数学的関係を用いて領域を規定する能力により、領域が可視性または不可視性であるかを示す可視性ビットを用いて、そして、領域内のすべてのピクセルを特定の色または視覚効果にレンダリングすることを可能にする技術を用いて、このような領域を視覚的に改変することが可能になる。画像は、所定の内容を規定する領域に対して調べられる。例えば、図９Ａにおいて、シャツ領域７３０、頭領域７２０およびパンツ領域７４０が識別されている。
【００９７】
一実施形態において、画像またはフレーム内のピクセルはある領域に属していると分類される。分類は、コンピュータのモニターなどの、デジタル表示デバイス上にデジタルの形態で提示されている画像と相互通信し得る閲覧者の観察に基づき得る。一実施形態において、作成者／注釈者は、マウス、または他のコンピュータポインティングデバイス、タッチ画面またはライトペンなどの入力デバイスを用いて画像領域に印付けし得る。別の実施形態において、ソフトウェアと共に、デジタルコンピュータまたはデジタル信号プロセッサなどの演算デバイスによって、領域を規定し得る。いずれかの実施例において、例えば、複数の領域が相互に接している場合、ある領域に属するものとして分類することが困難であるピクセルがあり得る。
【００９８】
一実施形態において、分類することが困難であるピクセル、またはその分類があいまいであるピクセルを、いくつかの工程を含むプロセスによって分類し得る。まず、ピクセルの分類を排除または中止する。分類解除したピクセルを、分類解除したピクセルの近位にある複数のピクセル（すなわち、近隣ピクセル）をカバーするように延びる分類形状の起点として用いる。このようにカバーされたピクセルを、その分類に関して調べ、そしてあいまいなピクセルを、近隣ピクセルの中で最も大きい表示を有するクラスに割り当てる。一実施形態において、近隣ピクセルはあいまいなピクセルの、次に近い近隣ピクセルを含む。一実施形態において、表示している関係の場合に、規則を適用して割り当てを行う。一実施形態において、規則は、最も重く表されたクラスに属する画像の左上の角にある最も近い隣接ピクセルのクラスなど、ピクセルに対する特定の位置にピクセルのクラスを割り当てるものであり得る。
【００９９】
別の実施形態において、分類することが困難であるピクセル、またはその分類があいまいであるピクセルを、数学的形態学の原理の新しい実現を特徴とするプロセスによって分類し得る。数学的形態学は、数学的観点から画像のピクセルを表し、そして、例えば、デジタルコンピュータまたはデジタル信号プロセッサおよび適切なソフトウェアを用いた、プロパティのアルゴリズム演算および画像の変換を可能にする。数学的形態学の原理を用いて、種々の画像処理アプリケーションを作成し得る。本明細書において、原理のいくつかの非常に簡単な説明を提示する。具体的には、拡張および浸食として公知の方法を記載し、説明する。通常、拡張および浸食を用いて、領域の形状、サイズおよびいくつかの特徴を変更し得る。さらに、数学的形態学の原理を画像処理に適用するいくつかの例示的な例を説明する。
【０１００】
拡張および侵食はピクセルのセット上で動作する基本的な数学的動作である。２次元空間の画像の観点からの一例示的な説明として、領域Ｒの点および２次元形態学的マスクＭのセットを考えられたい。バイナリの数学的形態学の観点から提示する例示の説明を、図１０Ａおよび図１０Ｂに関して与える。図１０Ａにおいて、形態学的マスクＭは、例えば、符号「＋」の形状の５ピクセルアレイの形状を有する。異なる形状の形態学的マスクを、得ようと思う効果に依存して選択し得る。領域Ｒは任意の形状であり得るが、例示を目的として、領域Ｒを図１０Ａに図示する不規則な形状にする。
【０１０１】
形態学的マスクＭは図１０Ａ内の画像にわたって移動する。この動作の結果は、アレイ内に記録され、図１０Ｂに示すフレームとして視覚的に表され得る。例示の形態学的マスクに関して、符号「＋」の垂直線および水平線の交点にあるピクセルを、「テスト」ピクセル、すなわち、適用される動作の結果によって、「点灯される」（例えば、１に設定される）または「消灯される」（例えば、０に設定される）ピクセルとして選択する。
【０１０２】
バイナリ侵食に関して、セット理論の観点から表される数学的規則は、形態学的マスクＭの１つ以上のピクセルと領域Ｒとの交点が、アレイ内に格納されるピクセルの状態、または図１０Ａのテストピクセルの位置に対応する図１０Ｂの位置にプロットされるピクセルの状態を規定するものであり得る。この規則は、形態学的マスクを一度に１ピクセル移動させると、すべての指定のピクセル、すなわち、形態学的マスクＭのピクセルが領域Ｒのピクセルと交差する場合、テストピクセルは点灯され、そして図１０Ｂの対応するピクセルは点灯されたままの状態であることを意味する。マスクの走査を、例えば、画像の各行にわたって左から右、一番上の行から開始して下まで移動させて行い得る。数学的形態学の技術分野における当業者によって理解されるように、画像全体（または、少なくとも対象の領域）をカバーする他の走査経路を用い得る。この動作により、領域が滑らかになることが多く、形態学的マスクのサイズおよび形状に依存して、領域の等高線に沿った突起状の投影が取り除かれることが多い。さらに、形態学的マスクのサイズおよび形状に依存して、画像のサイズを縮小し得る。
【０１０３】
バイナリ拡張は、セット理論の観点から表される数学的規則を有し得る。この数学的規則は、形態学的マスクＭと領域Ｒとの結合が、図１０Ａのテストピクセルの位置に対応する図１０Ｂの位置にプロットされるピクセルの状態を規定する。形態学的マスクＭの所与の位置に関して、ＲのピクセルおよびＭのピクセルを調べて、Ｍ内の点灯された任意のピクセルがＲ内の点灯されたピクセルに対応する場合、テストピクセルが点灯される。この規則はさらに、上述したように、画像にわたって形態学的マスクを、例えば、画像の各行にわたって左から右、そしてここでも、一番上の行から下の行まで走査することによって適用する。この動作は、領域を拡大し、そして小さい穴を埋める傾向を有する場合がある。拡張および侵食の動作は可換的ではなく、これは通常、侵食に次ぐ拡張を適用することを拡張に次ぐ侵食を適用することと比べると、異なる結果が得られることを意味する。
【０１０４】
ちょうど説明したように、侵食および拡張の動作、ならびにこれらの基本的動作に基づいた他の動作を、２次元画像に見られるような空間内に規定されたピクセルのセットに適用し得る。図１１Ａおよび図１１Ｂに示す画像の時間シーケンスのピクセルのセットに対しても、同じ動作を等しく適用し得る。図１１Ａにおいて、時間は第３の次元として見られ得、各画像またはフレームを規定する２次元に対して直交する。図１１Ａは、Ｎ−１、ＮおよびＮ＋１として示される、３つの画像またはフレームを示し、フレームＮ−１が最初に表示され、フレームＮが次に現れ、そして最後にフレームＮ＋１が現れる。各フレームは、ｘ軸およびｙ軸を有するものと考えられ得る。例示的な一実施例において、各フレームは、４８０の水平行×６４０のピクセル（または４８０×６４０の列）を含む。行を上から下に番号付け、そして列を左端から右に進むように番号付けることが普通である。右上の角は行０、列０、すなわち（０、０）である。ｘ軸は、フレームの左側に沿って下へと移動するとｘ値が増加する行を規定し、ｙ軸は、フレームの上端に沿って右へと移動するとｙ値が増加する行ごとの列番号を規定する。次いで、時間軸（これに沿って時間が増加する）を、図１１Ａにおいて左から右へと水平に進むものとして見られる。
【０１０５】
２次元空間における侵食および拡張の動作は、画像またはフレームの平面内で方向付けられた、５ピクセルの符号「＋」などの形態学的マスクを用いた。続く説明に示すように、１次元の符号「＋」は時間軸に沿ってあり、他方は空間軸に沿ってあることを認識するならば、２次元の５ピクセルの符号「＋」を形態学的マスクとして用いる時間次元における動作が理解され得る。他の実施形態において、時間軸に沿ってのみ１次元の形態学的マスクを用い得、または２つの非共線空間方向において次元を有し、そして時間軸に沿って１つの次元を有する、３次元の形態学的マスクを用い得る。
【０１０６】
２次元の５ピクセルの符号「＋」の形態学的マスクの「テスト」ピクセルを、図１１ＡのフレームＮの行ｒ、列ｃ、すなわち位置（ｒ、ｃ）に配置する。符号「＋」の垂直線のピクセルは、フレームＮの行ｒ−１（行ｒの上の行）の列ｃ、そしてフレームＮの行ｒ＋１（行ｒの下の行）の列ｃにある。「テスト」ピクセルの「左」のピクセルは、図１１ＡのフレームＮ−１（フレームＮの前のフレーム）の行ｒ、列ｃにあり、「テスト」ピクセルの「右」のピクセルは、図１１ＡのフレームＮ＋１（フレームＮの次のフレーム）の行ｒ、列ｃにある。したがって、この形態学的マスクを用いた動作は、フレームＮに対応するフレームの行ｒ、列ｃにおいて視覚的に記録された結果を有し、この結果は、対応する位置にあるアレイ内に記録され得る。しかし、この実施例において、演算は、フレームＮ内にある３つのピクセル、フレームＮ−１内にある１つのピクセル、およびフレームＮ＋１内にある１つのピクセルに依存する。図１１Ａは、時間的に連続した画像を表す３つの画像またはフレーム上における５ピクセルの「＋」のマスクの使用を模式的に示し、図１１Ｂは、フレームＮに対応するフレーム内での演算の結果を示す。
【０１０７】
この発明のシステムにおいて、侵食および拡張の新しい形態を適用する。この形態において、一度に１つの領域（領域は「１」とラベル付けされ、非領域は「０」とラベル付けされる）上で作用させて、処理する領域が複数ある場合に、このプロセスを複数回繰り返すのではなく、すべての領域を１回で侵食および拡張する。侵食の場合、入力画像がＲ領域を含む（この領域のピクセルはそれぞれ、１、２、．．．ｒとラベル付けされる）場合には、例えば、形態学的マスク内のセットピクセル下にあるすべてのピクセルが３とラベル付けされる場合に限り、テストピクセルは「３」とラベル付けされる。そうでない場合、テストピクセルに０すなわち「分類無し」が割り当てられる。拡張の場合、入力画像がＲ領域を含む（この領域のピクセルはそれぞれ、１、２、．．．ｒとラベル付けされる）場合には、例えば、ピクセルの中で最も大きい番号を有する領域がラベル３を有するピクセルである場合に限り、テストピクセルは「３」とラベル付けされる。そうでない場合、テストピクセルに０すなわち「分類無し」が割り当てられる。
【０１０８】
２次元フラッドフィル（ｆｌｏｏｄｆｉｌｌ）は、２次元表面の特徴を規定の特徴に変更する当該技術分野において周知の技術である。例えば、２次元フラッドフィルを用いて、画像の結合された領域の視覚効果を変更して、例えば、領域のすべてのピクセルを赤色に変更するなどの、規定された方法で変更し得る。３次元フラッドフィルを用いて、ボリュームのすべての素子を規定の特徴に変更し得る。例えば、ボリュームを用いて、シリアル番号が異なるか、または第３の次元としての時間の表示が異なる一連の連続した２次元画像内に現れる領域を表し得る。
【０１０９】
効率的な新しいアルゴリズムが開発されており、ボリュームの一部である領域を含む画像から開始する関連のある３次元ボリュームにフラッドフィルを実行する。概略すると、本方法は、ボリューム内の２次元表面において素子を選択することを可能にし、この選択した素子を含む領域上に２次元フラッドフィルを実行する。本方法は、第３の次元に沿った方向を選択し、連続的な表面がボリューム内に素子を含むか否かを判定し、そして素子を含む場合には、このような素子を含む領域の２次元フラッドフィルを実行する。本方法は、さらなる素子が見つからなくなるまで繰返し、そしてはじめにフラッドフィルが実行された領域に戻り、そして処理を繰り返しながら、反対の方向で第３の次元に沿って移動する。
【０１１０】
３次元フラッドフィル演算子を用いたアルゴリズムの画像処理技術が開発されており、作成者は不正確に分類された点グループ内の点を選択する。選択した点を、上述したように、分類方法を用いて再度分類し得る。次いで、選択した点と接触したピクセルのグループ全体を、選択した点の分類に再度分類する。前のフレームおよび次のフレーム内の再度分類したピクセルに隣接するピクセルも再度分類し得る。
【０１１１】
一実施形態において、再度分類される３次元ボリュームは、像平面を表す２次元、および時間を表す３次元を含む。この実施形態において、図１１ＡのフレームＮ内のすべてのピクセル（ｒ、ｃ）に関して、これらのピクセルは、フレームＮ内の２次元フラッドフィル動作に起因して、色Ａから色Ｂに変化している。図１１ＡのフレームＮ＋１内のピクセル（ｒ、ｃ）が現在、色Ａを割り当てられている場合、図１１ＡのフレームＮ＋１内のピクセル（ｒ、ｃ）で開始する２次元フラッドフィルが実行され、これにより、フレームＮ＋１内の色Ａを割り当てられたすべての接触ピクセルが変化する。図１１Ａを再度参照すると、フレームＮにおけるこのような処理を開始して、時間次元において後退して、フレームＮ−１に進むことが等しく可能である。一実施形態において、３次元フラッドフィル処理が、フラッドフィル動作の結果、ピクセルが変更を必要とするラベルを有さないフレームにおいて終了する。一実施形態において、時間的にある方向に進む３次元フラッドフィルが終了した後、最初のフレームＮで開始し、そしてプロセスが再度終了するまで、時間的に反対の方向に進めることによって、プロセスは続く。
【０１１２】
図１１Ｃは、本発明の一実施形態による、３次元フラッドフィルが達成される例示的なプロセスを示す流れ図１１５０である。プロセスは、「開始」とラベル付けされたサークル１１５２から開始する。工程１１５４によって示すように、オーサリングツールの演算子などのプロセスを行うエンティティ、あるいは、画像を分析してオブジェクトに対応する１つ以上の領域を画像内から探し出すコンピュータは、３次元フラッドフィルプロセスで満たされるボリュームの境界線を描く複数の連続した２次元セクションを選択する。一実施形態において、３次元ボリュームは第３の次元に対して直交して配置されている２次元のセクションを含み、各２次元セクションは、第１の座標および第２の座標によって識別される位置を含む。例えば、一実施形態において、２次元セクションは画像フレームであり得、第３の次元は、時間、すなわち連続的なフレームを識別するフレーム番号を表し得る。一実施形態において、第１の座標および第２の座標は、ディスプレイ上の画像フレーム内のピクセルの位置を規定する行位置および列位置を表し得る。
【０１１３】
工程１１５６において、プロセス演算子は、２次元セクションのうちの少なくとも１つのセクション内で複数の領域を規定し、各領域は少なくとも１つの位置を含む。これ以後のプロセスにおいて、プロセスは、ソフトウェアで符号化され得るような一連の命令を実行し得るコンピュータなどの機械を用いて実行される。コンピュータは、例えば、機械読み出し可能メモリ内で後に用いる定義に対応する情報を記録し得る。例えば、画像内において、演算子は、背景、およびシャツ２などの対象のオブジェクトを規定し得る。
【０１１４】
工程１１５８において、コンピュータは２次元セクションのうちの１つのセクション内で第１の領域を選択し、この領域はボリューム内に含まれており、このボリュームは選択された記号で満たされている。一実施形態において、記号は、色、強調表示または光度の変化などの、ディスプレイ上にレンダリングされた場合の視覚効果であり得るか、あるいは英数字の文字またはディスプレイ上でレンダリングされ得る記号などであり得る。
【０１１５】
工程１１６０において、ディスプレイを実行するコンピュータは、第１の領域を選択された記号で満たす。２次元の領域を記号で満たすには、ディスプレイ画面の規定された領域を規定された色にするなど、多くの異なる周知のグラフィックルーチンがある。任意のこのような周知の２次元グラフィックルーチンを実現して、２次元のフィリング（ｆｉｌｌｉｎｇ）工程を実行し得る。
【０１１６】
工程１１６２において、コンピュータは、第３の次元に沿って第１の方向で連続的な２次元セクションに移動する。一実施形態において、プロセス演算子は、第１の画像が選択される直前または直後に画像を移動させ、これにより、時間、すなわち画像シーケンスの方向が規定される。
【０１１７】
工程１１６４において、前の２次元セクションの２次元セクション内の満たされた位置に対応する連続的な２次元セクション内の位置がボリュームに属するか否かを判定する。プロセス演算子は、工程１１５６において達成された２次元領域の定義に記録された情報を探索する。
【０１１８】
工程１１６６において、コンピュータは工程１１６４で実行された判定結果に基づいて選択を行う。判定する工程１１６４の結果が肯定である場合、工程１１６８に示すように、コンピュータは、連続的な２次元セクション内に位置を含む領域を選択された記号で満たす。工程１１７０に示すように、コンピュータは、連続的な２次元セクション内の新しく満たされた領域から開始して、判定する工程が否定的な結果を出すまで、移動する工程１１６２、判定する工程１１６４、および満たす工程１１６８（すなわち、直前に挙げた工程）を繰り返す。
【０１１９】
上述の任意の判定する工程１１６４の結果が否定的であると、コンピュータは、工程１１５８で識別された第１の領域（これは、すでに満たされている）に戻って、第１の方向とは反対の方向で第３の次元に沿って移動し、上述したように、判定する工程の結果が否定的になるまで、移動する工程（例えば、工程１１６２に類似するが、反対の方向に進む工程）、判定する工程（例えば、工程１１６４などの工程）および満たす工程（例えば、工程１１６８などの工程）を繰り返す。このシーケンスは工程１１７２において、概略する形態で示されている。工程１１７４において、プロセスは、判定する工程の結果が否定的になると終了する。
【０１２０】
別の用途は、領域の輪郭を生成することを含む。これにより、例えば、領域のエンティティ内を強調表示したり、または領域の輪郭に関連付けられた視覚効果、または２つの効果の所定の組み合わせを変更することによって、領域を強調表示することが可能になる。一実施形態において、ラベル付けされた領域から輪郭を構築する方法を、図１２Ａ〜図１２Ｂに示すように実現する。入力画像１２１８内に輪郭１２１５を有するように輪郭が描かれた領域１２１０を図１２Ａに示す。奇数のピクセルを有する正方形の形態学的マスク１２２０は、そのサイズが所望の輪郭の厚さに比例し、そして領域１２１０上を通過する。入力領域１２１０内のあらゆる位置において、形態学的マスク内に入るピクセルは、それらがすべて同じであるか否かがチェックされる。同じである場合、図１２Ｂの出力画像１２３０内のテストピクセルに「０」が割り当てられる。ピクセルが形態学的マスク内の他のいずれのピクセルとも同じではない場合、形態学的マスクの中央ピクセル下に入るラベルが出力画像１２３０内のテストピクセルに割り当てられる。形態学的マスク１２２０が領域１２１０上を通過すると、結果得られる輪郭１２１５’が出力画像１２３０に生成される。他の実施形態において、偶数のピクセルを有する正方形の形態学的マスク、正方形以外の形状を有する形態学的マスク、および奇数のピクセルを有する正方形の形態学的マスクを用いて、出力画像１２３０内のテストピクセル１２２２に対応するピクセルのように、形態学的マスク内の特定のピクセルを選択し得る。
【０１２１】
当業者が、数学的形態学の原理を用いる際に、別の形態学的マスクおよび別の規則を用いて、上述の用途の実施例を解釈し得、そしてこのような原理に基づいた他の多くの同様の用途を理解することが理解される。
【０１２２】
一連の関連した画像において、または公園のベンチに座っている人物を示す画像のシーケンスなど、上述した１ショットにおいて、１つ以上の選択されたオブジェクトが複数のフレームにおいて続き得る。他の状況、例えば、公園のベンチに座っている人物が知覚した視野に場面が変わる場合など、画像が突然変わる状況において、第１の場面またはショットで識別されたいくつかまたはすべての領域は、第２の場面またはショットにはない場合がある。本発明のシステムおよび方法は、場面が変わった（例えば、新しいショットが開始する）こと、および第１の場面にある１つ以上の領域が第２の場面にないことの両方を判定し得る。
【０１２３】
一実施形態において、システムおよび方法は、ある画像から次の画像に変わったピクセルのヒストグラムを計算し、そして次のインスタンス（すなわち、時間展開）によるヒストグラムの傾斜を所定の傾斜値と比較することによって、場面またはショットが変わったことを判定する。図１３は、連続的なフレームにわたって（すなわち、経時的）ヒストグラムの展開の３つの例示的な実施例を示す。１番上の曲線１３１０は、０からの傾斜の変異が小さく、これは適度な速度の動きを表す。真中の曲線１３２０は、傾斜の変異がやや大きく、これは突然の動きを表す。１番下の曲線１３３０は、傾斜の変異が大きく、これはフレームＦにおけるショットの変化または場面の変化を表す。ヒストグラム評価プロットの傾斜が、１番下の曲線１３３０のように、所定の値を越えた場合、システムはショットの変化が生じたと判定する。
【０１２４】
このシステムの好適な実施形態をデジタル放送テレビの観点から説明してきた。このシステムの別の実施形態を同様に、レガシーのアナログ放送のテレビシステムに組み込むことも可能であることが理解されるべきである。用語「メタデータ」は、本明細書において用いる際、マスク、オブジェクト、注釈情報、データ構造、タイムスタンプまたは他のタイミング情報、および元の改変されていないテレビ放送信号と共に用いられるさらなる情報およびデータをほぼすべて含むことが理解される。アナログの実施形態において、字幕システムによって実行されるように、「垂直帰線消去期間」（ＶＢＩ）内にメタデータを挿入すること、および第２の通信チャンネル（例えば、サブキャリア信号；電磁放送スペクトル内の別のチャンネル周波数；またはインターネットなどのコンピュータネットワークへの接続（但し、これに限定されない））を介してメタデータを送信することの１つ以上によって、メタデータをアナログ放送信号に関連付け得る。この実施形態において、ビデオソース、モジュレータ、チューナーおよび受信機は、アナログ信号をサポートし、メタデータはデジタルであり得る。本明細書に記載するように、アナログ受信機は、ＶＢＩからのメタデータを蓄積し得、メモリ内にメタデータを配置し得、そしてこれを処理し得る。
【０１２５】
本発明を特定の好適な実施形態を参照しながら、特に図示および説明してきたが、当業者であれば、上掲の特許請求の範囲に規定される本発明の意図および範囲から逸脱せずに、本明細書における形態および詳細を種々に変更し得ることを理解するべきである。
【特許請求の範囲】
【請求項１】
ハイパーリンクによってリンクされた注釈データ受信システムであって、
複数のマスクデータパケット及び複数のオブジェクトデータパケットとともに符号化された放送信号を受信する受信機において、
各前記マスクデータパケットは、ビデオプログラムの特定のビデオフレームに対応し、前記特定のビデオフレーム内のビデオオブジェクトと関連付けられたグラフィックデータを含み、
前記マスクデータパケットは、前記複数のオブジェクトデータパケットの一つに含まれたオブジェクトマッピングテーブルへの識別子を含み、
前記オブジェクトマッピングテーブルは、ビデオフレーム内の複数のビデオオブジェクトの各々に関連付けられたエントリを含み、
オブジェクトマッピングテーブル内の各エントリは、前記複数のオブジェクトデータパケットの一つ又は複数内に含まれた情報データ構造を参照し、
前記情報データ構造は、対応するビデオオブジェクトに関する情報を含む、前記受信機と、
前記放送信号から前記マスクデータパケット及び前記オブジェクトデータパケットを抽出するビデオ復号器と、
表示装置と、
抽出された前記マスクデータパケット及びオブジェクトデータパケットを格納するメモリと、
前記メモリと通信する中央処理ユニットとを有し、
前記メモリは、
前記複数のビデオオブジェクトの各々が前記特定のビデオフレーム内で見えるのかを判断し、
前記特定のビデオフレーム内で見えると判断された各ビデオオブジェクトに、対応するグラフィックイメージを重ね、
重ねられたグラフィックイメージの一つと関連付けられたユーザの選択を受信し、
前記ユーザの選択へ応答し、前記特定のビデオフレームに対応する前記マスクデータパケットから前記オブジェクトマッピングテーブルの識別子を読み出し、
前記読み出された識別子に基づいて、オブジェクトマッピングテーブルを読み出し、
前記ユーザの選択に関連付けられたビデオオブジェクトに関するエントリを前記オブジェクトマッピングテーブル内で検索し、
前記検索されたエントリ内で参照された情報データ構造を識別し、
前記情報データ構造内の情報を読み出し、
前記表示装置内に前記読み出された情報を表示する、コンピュータプログラムを格納することを特徴とするシステム。
【請求項２】
各前記マスクデータパケットは、前記表示装置上の領域を定める請求項１に記載のシステム。
【請求項３】
各前記マスクデータパケットは、マスクタイムスタンプを有する請求項２に記載のシステム。
【請求項４】
前記マスクタイムスタンプは、前記コンピュータプログラムがグラフィックイメージを対応するビデオフレームと同期して表示するために使われる、請求項３に記載のシステム。
【請求項５】
各前記オブジェクトデータパケットは、オブジェクトタイムスタンプを有する請求項１に記載のシステム。
【請求項６】
前記オブジェクトタイムスタンプは、前記コンピュータプログラムが所定の時間経過後対応するオブジェクトデータパケットを消すために使う期間満了タイムスタンプを含む請求項５に記載のシステム。
【請求項７】
特定の情報データ構造は、注釈データ領域と注釈データセットを参照する第２識別子とを有する請求項１に記載のシステム。
【請求項８】
前記注釈データ領域はタイトルデータ領域であり、前記第２識別子は特定のビデオオブジェクトのタイトルを含むストリングを参照する請求項７に記載のシステム。
【請求項９】
前記注釈データ領域はメニュー領域であり、前記第２識別子は表示識別子セットとそれに対応するアクション識別子セットを含むセレクタを参照する請求項７に記載のシステム。
【請求項１０】
前記ハイパーリンクによってリンクされた注釈データ受信システムにおいて各識別子は、一義的である請求項７に記載のシステム。
【請求項１１】
前記第２識別子は、変数である請求項７に記載のシステム。
【請求項１２】
前記複数のビデオオブジェクトの各々が前記特定のビデオフレーム内で見えるのかの判断は、前記マスクデータパケットとともに含まれた可視性マークに基づく請求項１に記載のシステム。
【請求項１３】
前記放送信号は、デジタル信号である請求項１に記載のシステム。
【請求項１４】
前記放送信号は、アナログ信号である請求項１に記載のシステム。
【請求項１５】
ハイパーリンクによってリンクされた注釈データを含む放送情報を利用する方法であって、
放送情報を受信し、復号し、格納し、操作するように適応された受信機を使う段階において、前記受信機は中央処ユニットと少なくとも１つのメモリ装置を有する前記受信機を使う段階と、
前記受信機によって、複数のマスクデータパケット及び複数のオブジェクトデータパケットとともに符号化された放送信号を受信する段階において、
各前記マスクデータパケットは、ビデオプログラムの特定のビデオフレームに対応し、前記特定のビデオフレーム内のビデオオブジェクトと関連付けられたグラフィックデータを含み、
前記マスクデータパケットは、前記複数のオブジェクトデータパケットの一つに含まれたオブジェクトマッピングテーブルへの識別子を含み、
前記オブジェクトマッピングテーブルは、ビデオフレーム内の複数のビデオオブジェクトの各々に関連付けられたエントリを含み、
オブジェクトマッピングテーブル内の各エントリは、前記複数のオブジェクトデータパケットの一つ又は複数内に含まれた情報データ構造を参照し、
前記情報データ構造は、対応するビデオオブジェクトに関する情報を含む、前記受信する段階と、
前記受信機によって、前記放送信号から前記マスクデータパケット及び前記オブジェクトデータパケットを復号する段階と、
前記復号されたマスクデータパケット及びオブジェクトデータパケットを前記少なくとも１つのメモリ装置に格納する段階と、
前記複数のビデオオブジェクトの各々が前記特定のビデオフレーム内で見えるのかを判断する段階と、
前記特定のビデオフレーム内で見えると判断された各ビデオオブジェクトに、対応するグラフィックイメージを重ねる段階と、
重ねられたグラフィックイメージの一つと関連付けられたユーザの選択を受信する段階と、
前記ユーザの選択へ応答し、前記特定のビデオフレームに対応する前記マスクデータパケットから前記オブジェクトマッピングテーブルの識別子を読み出す段階と、
前記読み出された識別子に基づいて、オブジェクトマッピングテーブルを読み出す段階と、
前記ユーザの選択に関連付けられたビデオオブジェクトに関するエントリを前記オブジェクトマッピングテーブル内で検索する段階と、
前記検索されたエントリ内で参照された情報データ構造を識別する段階と、
前記情報データ構造内の情報を読み出す段階と、
前記表示装置内に前記読み出された情報を表示する段階とを有する方法。
【請求項１６】
前記復号する段階は、第１データキュー上のオペレーションを実行する第１アクティブスレッドによって実行され、前記比較する段階は、前記第１データキュー上のオペレーションを実行する第２アクティブスレッドによって実行される請求項１５に記載の方法。
【請求項１７】
前記第１アクティブスレッドは、マスクデータの作用を変更することが可能であり、前記第２アクティブスレッドは、オブジェクトデータの作用を変更することが可能である請求項１６に記載の方法。
【請求項１８】
各マスクは、マスクタイムスタンプを含み、
前記方法は、
前記マスクタイムスタンプを表示されるビデオフレームのタイムスタンプと比較する段階と、
表示されるビデオフレームのタイムスタンプと前記マスクタイムスタンプとの関係に基づいて、前記マスクを表示する段階とを有し、
前記比較する段階は、最も早いマスクタイムスタンプと最新に表示されたビデオフレームのタイムスタンプとの比較することによって比較を開始する請求項１６に記載の方法。
【請求項１９】
前記マスクタイムスタンプがまだ表示されていないフレームに該当する場合、前記方法は、さらに、
前記関連付けられたグラフィックイメージを符号化し、イメージバッファへ格納する段階と、
前記符号化されたグラフィックイメージがすぐ表示できるのかを判断するために前記マスクタイムスタンプをチェックする段階と、
前記符号化されたグラフィックイメージがすぐ表示できる場合は、前記符号化されたグラフィックイメージを表示する段階と、
前記符号化されたグラフィックイメージが後で表示できる場合は、前記符号化されたグラフィックイメージが表示できるまでの時間の間にスリープし、表示できる時間になるとすぐ前記符号化されたグラフィックイメージを表示する段階とを有する請求項１８に記載の方法。
【請求項２０】
ハイパーリンクによってリンクされた注釈データ放送システムであって、
複数のビデオフレームを含むビデオプログラムを提供するビデオソースと、
前記ビデオソースと通信するビデオ符号器であって、前記ビデオ符号器は複数のマスクデータパケット及び複数のオブジェクトデータパケットを符号化し放送信号を生成し、
各前記マスクデータパケットは、ビデオプログラムの特定のビデオフレームに対応し、前記特定のビデオフレーム内のビデオオブジェクトと関連付けられたグラフィックデータを含み、
前記マスクデータパケットは、前記複数のオブジェクトデータパケットの一つに含まれたオブジェクトマッピングテーブルへの識別子を含み、
前記オブジェクトマッピングテーブルは、ビデオフレーム内の複数のビデオオブジェクトの各々に関連付けられたエントリを含み、
オブジェクトマッピングテーブル内の各エントリは、前記複数のオブジェクトデータパケットの一つ又は複数内に含まれた情報データ構造を参照し、
前記情報データ構造は、対応するビデオオブジェクトに関する情報を含む、前記ビデオ符号器と、
前記放送信号から前記マスクデータパケット及び前記オブジェクトデータパケットを抽出するビデオ復号器と、
前記放送信号を受信機へ伝送する手段とを備え、
前記受信機は、
前記複数のビデオオブジェクトの各々が前記特定のビデオフレーム内で見えるのかを判断し、
前記特定のビデオフレーム内で見えると判断された各ビデオオブジェクトに、対応するグラフィックイメージを重ね、
重ねられたグラフィックイメージの一つと関連付けられたユーザの選択を受信し、
前記ユーザの選択へ応答し、前記特定のビデオフレームに対応する前記マスクデータパケットから前記オブジェクトマッピングテーブルの識別子を読み出し、
前記読み出された識別子に基づいて、オブジェクトマッピングテーブルを読み出し、
前記ユーザの選択に関連付けられたビデオオブジェクトに関するエントリを前記オブジェクトマッピングテーブル内で検索し、
前記検索されたエントリ内で参照された情報データ構造を識別し、
前記情報データ構造内の情報を読み出し、
前記表示装置内に前記読み出された情報を表示するように構成される、放送システム。
【請求項１】
ハイパーリンクによってリンクされた注釈データ受信システムであって、
複数のマスクデータパケット及び複数のオブジェクトデータパケットとともに符号化された放送信号を受信する受信機において、
各前記マスクデータパケットは、ビデオプログラムの特定のビデオフレームに対応し、前記特定のビデオフレーム内のビデオオブジェクトと関連付けられたグラフィックデータを含み、
前記マスクデータパケットは、前記複数のオブジェクトデータパケットの一つに含まれたオブジェクトマッピングテーブルへの識別子を含み、
前記オブジェクトマッピングテーブルは、ビデオフレーム内の複数のビデオオブジェクトの各々に関連付けられたエントリを含み、
オブジェクトマッピングテーブル内の各エントリは、前記複数のオブジェクトデータパケットの一つ又は複数内に含まれた情報データ構造を参照し、
前記情報データ構造は、対応するビデオオブジェクトに関する情報を含む、前記受信機と、
前記放送信号から前記マスクデータパケット及び前記オブジェクトデータパケットを抽出するビデオ復号器と、
表示装置と、
抽出された前記マスクデータパケット及びオブジェクトデータパケットを格納するメモリと、
前記メモリと通信する中央処理ユニットとを有し、
前記メモリは、
前記複数のビデオオブジェクトの各々が前記特定のビデオフレーム内で見えるのかを判断し、
前記特定のビデオフレーム内で見えると判断された各ビデオオブジェクトに、対応するグラフィックイメージを重ね、
重ねられたグラフィックイメージの一つと関連付けられたユーザの選択を受信し、
前記ユーザの選択へ応答し、前記特定のビデオフレームに対応する前記マスクデータパケットから前記オブジェクトマッピングテーブルの識別子を読み出し、
前記読み出された識別子に基づいて、オブジェクトマッピングテーブルを読み出し、
前記ユーザの選択に関連付けられたビデオオブジェクトに関するエントリを前記オブジェクトマッピングテーブル内で検索し、
前記検索されたエントリ内で参照された情報データ構造を識別し、
前記情報データ構造内の情報を読み出し、
前記表示装置内に前記読み出された情報を表示する、コンピュータプログラムを格納することを特徴とするシステム。
【請求項２】
各前記マスクデータパケットは、前記表示装置上の領域を定める請求項１に記載のシステム。
【請求項３】
各前記マスクデータパケットは、マスクタイムスタンプを有する請求項２に記載のシステム。
【請求項４】
前記マスクタイムスタンプは、前記コンピュータプログラムがグラフィックイメージを対応するビデオフレームと同期して表示するために使われる、請求項３に記載のシステム。
【請求項５】
各前記オブジェクトデータパケットは、オブジェクトタイムスタンプを有する請求項１に記載のシステム。
【請求項６】
前記オブジェクトタイムスタンプは、前記コンピュータプログラムが所定の時間経過後対応するオブジェクトデータパケットを消すために使う期間満了タイムスタンプを含む請求項５に記載のシステム。
【請求項７】
特定の情報データ構造は、注釈データ領域と注釈データセットを参照する第２識別子とを有する請求項１に記載のシステム。
【請求項８】
前記注釈データ領域はタイトルデータ領域であり、前記第２識別子は特定のビデオオブジェクトのタイトルを含むストリングを参照する請求項７に記載のシステム。
【請求項９】
前記注釈データ領域はメニュー領域であり、前記第２識別子は表示識別子セットとそれに対応するアクション識別子セットを含むセレクタを参照する請求項７に記載のシステム。
【請求項１０】
前記ハイパーリンクによってリンクされた注釈データ受信システムにおいて各識別子は、一義的である請求項７に記載のシステム。
【請求項１１】
前記第２識別子は、変数である請求項７に記載のシステム。
【請求項１２】
前記複数のビデオオブジェクトの各々が前記特定のビデオフレーム内で見えるのかの判断は、前記マスクデータパケットとともに含まれた可視性マークに基づく請求項１に記載のシステム。
【請求項１３】
前記放送信号は、デジタル信号である請求項１に記載のシステム。
【請求項１４】
前記放送信号は、アナログ信号である請求項１に記載のシステム。
【請求項１５】
ハイパーリンクによってリンクされた注釈データを含む放送情報を利用する方法であって、
放送情報を受信し、復号し、格納し、操作するように適応された受信機を使う段階において、前記受信機は中央処ユニットと少なくとも１つのメモリ装置を有する前記受信機を使う段階と、
前記受信機によって、複数のマスクデータパケット及び複数のオブジェクトデータパケットとともに符号化された放送信号を受信する段階において、
各前記マスクデータパケットは、ビデオプログラムの特定のビデオフレームに対応し、前記特定のビデオフレーム内のビデオオブジェクトと関連付けられたグラフィックデータを含み、
前記マスクデータパケットは、前記複数のオブジェクトデータパケットの一つに含まれたオブジェクトマッピングテーブルへの識別子を含み、
前記オブジェクトマッピングテーブルは、ビデオフレーム内の複数のビデオオブジェクトの各々に関連付けられたエントリを含み、
オブジェクトマッピングテーブル内の各エントリは、前記複数のオブジェクトデータパケットの一つ又は複数内に含まれた情報データ構造を参照し、
前記情報データ構造は、対応するビデオオブジェクトに関する情報を含む、前記受信する段階と、
前記受信機によって、前記放送信号から前記マスクデータパケット及び前記オブジェクトデータパケットを復号する段階と、
前記復号されたマスクデータパケット及びオブジェクトデータパケットを前記少なくとも１つのメモリ装置に格納する段階と、
前記複数のビデオオブジェクトの各々が前記特定のビデオフレーム内で見えるのかを判断する段階と、
前記特定のビデオフレーム内で見えると判断された各ビデオオブジェクトに、対応するグラフィックイメージを重ねる段階と、
重ねられたグラフィックイメージの一つと関連付けられたユーザの選択を受信する段階と、
前記ユーザの選択へ応答し、前記特定のビデオフレームに対応する前記マスクデータパケットから前記オブジェクトマッピングテーブルの識別子を読み出す段階と、
前記読み出された識別子に基づいて、オブジェクトマッピングテーブルを読み出す段階と、
前記ユーザの選択に関連付けられたビデオオブジェクトに関するエントリを前記オブジェクトマッピングテーブル内で検索する段階と、
前記検索されたエントリ内で参照された情報データ構造を識別する段階と、
前記情報データ構造内の情報を読み出す段階と、
前記表示装置内に前記読み出された情報を表示する段階とを有する方法。
【請求項１６】
前記復号する段階は、第１データキュー上のオペレーションを実行する第１アクティブスレッドによって実行され、前記比較する段階は、前記第１データキュー上のオペレーションを実行する第２アクティブスレッドによって実行される請求項１５に記載の方法。
【請求項１７】
前記第１アクティブスレッドは、マスクデータの作用を変更することが可能であり、前記第２アクティブスレッドは、オブジェクトデータの作用を変更することが可能である請求項１６に記載の方法。
【請求項１８】
各マスクは、マスクタイムスタンプを含み、
前記方法は、
前記マスクタイムスタンプを表示されるビデオフレームのタイムスタンプと比較する段階と、
表示されるビデオフレームのタイムスタンプと前記マスクタイムスタンプとの関係に基づいて、前記マスクを表示する段階とを有し、
前記比較する段階は、最も早いマスクタイムスタンプと最新に表示されたビデオフレームのタイムスタンプとの比較することによって比較を開始する請求項１６に記載の方法。
【請求項１９】
前記マスクタイムスタンプがまだ表示されていないフレームに該当する場合、前記方法は、さらに、
前記関連付けられたグラフィックイメージを符号化し、イメージバッファへ格納する段階と、
前記符号化されたグラフィックイメージがすぐ表示できるのかを判断するために前記マスクタイムスタンプをチェックする段階と、
前記符号化されたグラフィックイメージがすぐ表示できる場合は、前記符号化されたグラフィックイメージを表示する段階と、
前記符号化されたグラフィックイメージが後で表示できる場合は、前記符号化されたグラフィックイメージが表示できるまでの時間の間にスリープし、表示できる時間になるとすぐ前記符号化されたグラフィックイメージを表示する段階とを有する請求項１８に記載の方法。
【請求項２０】
ハイパーリンクによってリンクされた注釈データ放送システムであって、
複数のビデオフレームを含むビデオプログラムを提供するビデオソースと、
前記ビデオソースと通信するビデオ符号器であって、前記ビデオ符号器は複数のマスクデータパケット及び複数のオブジェクトデータパケットを符号化し放送信号を生成し、
各前記マスクデータパケットは、ビデオプログラムの特定のビデオフレームに対応し、前記特定のビデオフレーム内のビデオオブジェクトと関連付けられたグラフィックデータを含み、
前記マスクデータパケットは、前記複数のオブジェクトデータパケットの一つに含まれたオブジェクトマッピングテーブルへの識別子を含み、
前記オブジェクトマッピングテーブルは、ビデオフレーム内の複数のビデオオブジェクトの各々に関連付けられたエントリを含み、
オブジェクトマッピングテーブル内の各エントリは、前記複数のオブジェクトデータパケットの一つ又は複数内に含まれた情報データ構造を参照し、
前記情報データ構造は、対応するビデオオブジェクトに関する情報を含む、前記ビデオ符号器と、
前記放送信号から前記マスクデータパケット及び前記オブジェクトデータパケットを抽出するビデオ復号器と、
前記放送信号を受信機へ伝送する手段とを備え、
前記受信機は、
前記複数のビデオオブジェクトの各々が前記特定のビデオフレーム内で見えるのかを判断し、
前記特定のビデオフレーム内で見えると判断された各ビデオオブジェクトに、対応するグラフィックイメージを重ね、
重ねられたグラフィックイメージの一つと関連付けられたユーザの選択を受信し、
前記ユーザの選択へ応答し、前記特定のビデオフレームに対応する前記マスクデータパケットから前記オブジェクトマッピングテーブルの識別子を読み出し、
前記読み出された識別子に基づいて、オブジェクトマッピングテーブルを読み出し、
前記ユーザの選択に関連付けられたビデオオブジェクトに関するエントリを前記オブジェクトマッピングテーブル内で検索し、
前記検索されたエントリ内で参照された情報データ構造を識別し、
前記情報データ構造内の情報を読み出し、
前記表示装置内に前記読み出された情報を表示するように構成される、放送システム。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図１Ｄ】
【図２】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図３】
【図４】
【図５】
【図５Ａ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図８Ｅ】
【図８Ｆ】
【図８Ｇ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１Ｂ】
【図１Ｃ】
【図１Ｄ】
【図２】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図３】
【図４】
【図５】
【図５Ａ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図８Ｅ】
【図８Ｆ】
【図８Ｇ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【公開番号】特開２０１２−７０４００（Ｐ２０１２−７０４００Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１１−２３５９５１（Ｐ２０１１−２３５９５１）
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【分割の表示】特願２００１−５６３５２１（Ｐ２００１−５６３５２１）の分割
【原出願日】平成１３年２月２８日（２００１．２．２８）
【出願人】（５００２７９４７２）ウォッチポイント メディア， インコーポレイテッド (1)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【分割の表示】特願２００１−５６３５２１（Ｐ２００１−５６３５２１）の分割
【原出願日】平成１３年２月２８日（２００１．２．２８）
【出願人】（５００２７９４７２）ウォッチポイント メディア， インコーポレイテッド (1)
【Ｆターム（参考）】
[ Back to top ]