画像合成システム及び画像合成方法
広告などの画像を、運動場などの比較的不変の空間内で生起する動きの映像ストリームと合成するシステム及び方法が提供される。このシステムは背景空間のモデルを利用して、映像ストリームを、それが背景空間内の一定の位置において別の画像を含むように変える。また、このシステムは映像フレームグラバー（１０）及び画像埋め込みシステム（１４）を有する。映像フレームグラバー（１０）は、一度に一枚の映像信号フレームを取り込む。画像埋め込みシステム（１４）は、典型的には、背景空間の複数の表面領域から予め選択された１つの表面領域内の所定の部分がその映像フレーム内に表示されている場合、捕捉された画像をその部分に埋め込む。
【発明の詳細な説明】
画像合成システム及び画像合成方法発明の分野 本発明は一般に、所定の画像と映像信号との合成に関する。
発明の背景 スポーツ競技場には、典型的には、競技が行われる競技エリア、観客が座る観客席エリア、及びこの２つの領域を区分する壁のようなものがある。一般に、この壁の少なくとも一部には、その試合のスポンサーとなっている企業の広告がある。試合がテレビ撮影されている場合、壁上の広告はスポーツ競技場の一部として撮影されることになる。このような広告は、テレビカメラによって撮影されない限り、社会全般に示され得ない。
スポーツ競技場の映像の画面に所定の広告を合成する技術が知られている。このようなシステムの１つでは、オペレータが競技場内の目的の表面領域を画定する。このシステムは、次に目的の表面領域を見つけて自動的に追跡（ロックオン）し、映像ストリームの目的の表面領域に対応する部分に所定の広告を合成する。カメラが対象の表面領域から離れた場合、このシステムは目的の表面領域を見失うことになり、オペレータは使用される表面領域を再び定めなければならない。
上述のシステムはリアルタイムで動作する。リアルタイムではないが同じ動作を行う他のシステムも周知となっている。
映像シーケンスに画像データを合成する他のシステムも知られている。このようなシステムは、映像のシーンとシーンとの間に別の画像を挿入したり、テレビの映像フレームの一定の位置に（テレビ局のロゴのような）イメージデータを重ね合わせたり、特定目的の広告掲示板の“代用”として電子的にイメージデータを挿入したりする。後者においては、カラーキーイング（color keying）等の技術が用いられる。
米国特許第５，２６４，９３３号明細書には、広告画像を元々の映像の一部として加える形で画像を変更する方法が記載されている。オペレータは、捕捉された映像内の広告映像が埋め込まれる場所を選択する。米国特許第５，２６４，９３３号のシステムでも、選択された主たる放映エリアにおいて、よく聞かれる実況放送員の言い回しのような音声信号に応じて、画像を埋め込むことができる。
ＰＣＴ出願ＰＣＴ／ＦＲ９１／００２９６の明細書には、連続した画像における区分け（zone）を変更する手順及び装置が記載されている。この画像には変更不可能な目標区域が示されており、その近傍に登録された記号が表示される。システムはこの登録された記号を捜し、これを用いて区域の位置を定める。次に、予め準備されたイメージがその区域に重畳され得る。登録記号は、目的領域の内部若しくは近傍に配置される、（十字形若しくは他の“グラフィーム”等の）識別の容易な記号である。ＰＣＴ／ＦＲ９１／００２９６のシステムは、粗さの異なる多くの解像度の捕捉イメージを生成し、その識別プロセスにおいてさまざまな解像度を利用する。
本発明の要約 本発明の目的は、広告等の画像を、動きの発生する空間が比較的不変の映像ストリームに合成するシステム及び方法を提供することである。ここでいう空間は、競技場または競技コート、舞台またはスタジオ等であって、典型的にはその位置は、動き（即ち試合またはショウ）が始まる前に選択される。画像が、背景空間内の選択された表面領域に“埋め込まれる”。ここで、“埋め込まれる”という言葉は、選択された表面領域を表示している映像ストリームの一部として、画像が合成されるということを意味している。
詳述すると、本発明は背景空間に関するアプリオリな情報を利用して、映像ストリームを、それが背景空間内の何れかの位置において特定のイメージを含むように変化させる。また本発明のシステム及び方法では、背景空間の像が、それが何れの視点から見た像であっても映像ストリーム内に存在するようになっている。
本発明の好適実施例によれば、システムが、好ましくは映像フレームグラバー及び画像埋め込みシステムを含む。映像フレームグラバーは、一度に一枚の映像フレームを取り込む。画像埋め込みシステムは、典型的には、背景空間の複数の表面領域のうち予め選択された１つの表面領域の所定の部分がその映像フレーム内に表示されている場合、広告画像をその部分に埋め込む。埋め込みの行われる部分の位置を決定すべく、画像埋め込みシステムは、ａ）背景空間の固定的な表面領域の平面図モデル（flat model）及びｂ）平面図モデルの、画像の合成される部分を示す画像マスクを受け取るユニットを有する。モデルを介して、画像埋め込みシステムは、対象の部分がフレーム内に表示されているか否かを識別し、表示されている場合その部位を同定する。
更に、本発明の好適実施例によれば、このシステムは、画像及び予め選択された表面領域を示す画像マスクを形成するデザインワークステーションも含む。
更に、前述の同定処理は、好ましくは、ａ）映像フレームを検査して、固定的な表面領域の特徴を抽出する過程と、ｂ）モデルと抽出された特徴との間での透視画像変換を求める過程とを含む。
更に、上述の検査と抽出の過程には、背景マスク及び前景マスクを生成する過程が含まれる。背景マスクはフレーム内の注目する特徴、背景要素の部位を示し、所望の特徴を抽出するのに利用される。前景マスクは、フレーム内の、変化の起こらない前景要素から形成される。
以上に加えて、本発明の好適実施例によれば、画像埋め込み処理は、ａ）透視画像変換により、画像、画像マスク、さらに所望に応じて混色マスクを変換する過程と、ｂ）変換された画像、画像マスク、及び所望に応じて変換された混色マスクを、映像フレームや前景フレームと合成する過程とを含む。上述の混色マスクは、変換された画像によってカバーされない前景データの部位を示す。
更に、本システムは、好ましくは、フレーム内のさまざまな色を、注目する特徴の色、背景要素の色、及び前景要素を示す色の何れか１つに変換するための参照テーブルを含む。参照テーブルは、好ましくは、使用者が適切な色を指定することによって生成される。指定された色が、注目する特徴及び背景要素を表さなくなった場合（典型的には、ライティングの変化を原因とする）は、使用者は所望の要素を表す新たな色を指定して、参照テーブルを訂正する。
更に、本発明の好適実施例によれば、参照テーブルは、フレーム内の注目する特徴の位置、背景要素の位置、及び前景要素の位置を示すフレームの背景マスク及び前景マスクを生成するのに用いられる。
本発明の実施例によれば、上述の特徴はライン、即ち直線で示される。実施例の１つにおいては、この特徴はハフ変換を用いて抽出される。別の実施例では、特徴の抽出は、各ラインセグメント、即ち各線分の傾きを求めることによって行われる。この場合、まず注目する画素が選択されてその近傍が開かれる。この近傍は分割され、動きの最も激しい領域が選択される。次に選択された領域は拡張され、更に分割される。この過程は必要に応じて反復される。
更に、本発明の好適実施例によれば、このシステムは抽出された特徴を漸近関数（asymptotic function）に投影し、特徴のなかで平行線の透視画像版がいずれかを判定する。
更に、本発明の実施例における背景空間は、ラインが引かれたスポーツ競技場である。このシステムはスボーツ競技場の画像のモデルを有しており、好ましくはモデルにおける矩形のリスト及びそれらの頂点の位置データを有する。このシステムは好ましくは以下のような動作を行う。
ａ）抽出された特徴から２本の垂直ライン及び２本の水平ラインを選択し、それらの交点を求める。
ｂ）モデルにおける各矩形の頂点から特徴の交点に変換する複数の変換マトリクスを生成する。
ｃ）各変換マトリクスによってモデルを変換する。
ｄ）背景マスクの背景要素を用いて、各変換されたモデルと映像フレームとをマッチングさせる。
ｅ）映像フレームの特徴と最もよくマッチする変換マトリクスを１つ選択する。
更に、本発明の実施例によれば、カメラに関するパラメータであるカメラパラメータを利用して、スポーツ競技場の特徴を同定するのに必要なラインの数を減らすことができる。この実施例においては、以下のような動作が行われる。
カメラの位置座標を受け取る、若しくは抽出する。
現時点の変換マトリクスを、位置座標、傾斜、回転、及びズーム量についての各マトリクスの積として表す。
計算された傾斜、回転、及びズーム量の各値を有するカメラを特定し、情報を格納する。
新たなカットの映像が現れる毎に、位置座標を受け取り、マトリクス表現、及びカメラの特定の各処理を反復する。
このようにして、映像ストリーム内の何れのフレームも、前フレームと同様に、或いは特定されたカメラによって撮られた新たなカットの映像の一部として取り扱うことが可能となる。
図面の簡単な説明 第１図は、本発明の好適実施例に基づいて構築され動作する、映像ストリームに画像を埋め込むためのシステムのブロック図である。
第２図は、第１図のシステムの動作を説明するための例として用いられるテニスの試合の模式図である。
第３図は、第１図のシステムの動作の理解に役立つ、テニスコートのモデルを示した図である。
第４Ａ図は、埋め込まれる画像を示した図である。
第４Ｂ図は、第４Ａ図の画像及び第３図のモデルに対する画像領域マスクを示した図である。
第４Ｃ図は、第４Ａ図の画像及び第３図のモデルに対する混色マスクを示した図である。
第５図は、第１図のシステムの一部を形成する画像埋め込みユニットの要素を示した図である。
第６図は、第４Ａ図の画像が埋め込まれる映像フレームの例を示した図である。
第７図は、第６図の映像フレームから生成された背景マスクを示した図である。
第８図は、第５図の画像埋め込みユニットの一部を形成する特徴同定ユニットの動作を示したブロック図である。
第９Ａ図は、特徴抽出方法を示す流れ図である。
第９Ｂ図は、第９Ａ図の方法の理解に役立つ、背景マスクの一部を示す図である。
第９Ｃ図は、第９Ａ図の方法の理解に役立つ、第９Ｂ図の背景マスクのサブセクタのヒストグラムを示した図である。
第１０図は、第５図の画像埋め込みユニットの一部を形成する透視画像同定ユニットの動作を示すブロック図である。
第１１Ａ図は、第７図から抽出された特徴における交点を示した図である。
第１１Ｂ図は、計算上の誤差が原因で異なる点で交わる透視画像の平行線を示した図である。
第１２Ａ図及び第１２Ｂ図は、第１０図の透視画像同定ユニットの動作の理解に役立つ、グノモニック投影を示す図である。
第１２Ｃ図は、第１２Ａ図及び第１２Ｂ図のグノモニック投影に利用できる関数の例を示した図である。
第１３図は、第１０図のユニットの動作を示す詳細なブロック図である。
第１４Ａ図及び第１４Ｂ図は、第１３図のユニットの動作の理解に役立つ図である。
第１５図は、変換マトリクスの使用を説明する図である。
第１６図は、第１３図のユニットの動作の理解に役立ち、各矩形及び幾何学的モデル間のマッチングプロセスの理解に役立つ図である。
第１７図は、第５図の画像埋め込みユニットの変換器及び合成ユニットの動作を示すブロック図である。
第１８図は、第５図の画像埋め込みユニットにおいて使用される参照テーブルを更新するための補正方法を示すブロック図である。
第１９図は、カメラパラメータの模式図である。
第２０図は、第１９図のカメラパラメータが既知、或いは計算可能な場合の変換マトリクス処理を示す流れ図である。
第２１図は、第２０図に示すプロセスにおいて用いられる表を示した図である。
第２２図は、カメラパラメータが既知、或いは計算可能な場合の処理方法を示す流れ図である。
好適実施例の詳細な説明 第１図を参照すると、比較的変化のない背景空間中で生起する動きの映像ストリームと、広告画像等の画像を合成するためのシステムが示されている。この画像は、背景空間の選択された表面領域に埋め込まれる。このシステムについて、第２図に示すテニスの試合の映像を例にとってこれに関連づけて説明する。しかし本発明は、動きの発生する表面領域が、アプリオリに既知となっており、かつ識別可能である全ての状況の下で適用可能であることが理解されよう。
本発明のシステムは、典型的には、（テニスの試合の映像等の）入力映像シーケンスを映像フレームに変換するための映像フレームグラバー１０、映像フレーム内の選択された表面領域に埋め込まれる（広告画像等の）画像をデザインするためのデザインワークステーション１２、映像フレームとデザインされた画像を合成するための画像埋め込みシステム１４、画像埋め込みシステム１４の動作を制御し、またこのシステムへのオペレータ入力を供給するための制御用コンピュータシステム１６、及び放映映像モニタ１８を含む。
制御用コンピュータシステム１６は、典型的には、中央処理ユニット（ＣＰＵ）２０、キーボード２２、マウス２４、ディスク２６、フロッピー等の着脱自在な媒体用ドライブ２７、及びモニタ２８を含む。モニタ２８は、典型的には、ＣＰＵ２０の一部分を構成するグラフィクスアダプタ（graphics adaptor）によって駆動される。典型的には、デザインワークステーション１２も、フロッピー等の着脱自在な媒体用ドライブ２７を含む。
制御用コンピュータシステム１６と画像埋め込みシステム１４とは、典型的にはシステムバス２９を介して接続されている。デザインワークステーションと制御用コンピュータシステム１６とのやり取りは、典型的には着脱自在な媒体を介して行われる。
映像シーケンスは、ビデオテープ、人工衛星やマイクロ波を介する遠距離通信局、または他のタイプの映像通信手段等いかなる映像源から得たものでもよい。
映像シーケンスが人工衛星から受け取ったものである場合は、映像信号のレート（video rate）をシステムの制御下におくことはできない。従って、画像埋め込みシステム１４は、人工衛星の映像信号ストリームのレートの範囲内、典型的にはフレーム当り３０ｍｓの範囲内で動作しなければならない。映像シーケンスがビデオテープから得られたものである場合は、映像信号のレートはシステムの制御下におくことができ、所望の速度で処理することができる。
映像シーケンスは、初めに試合の現場で作られる。第２図に示すように、テニスの試合の場合、典型的にはテニスコート３２上での動きをとらえる２台のテレビカメラ３０が設置される。テレビカメラ３０の位置は固定されているのが普通である。
テニスコート３２はネット３４によって２つの半面に分割されている。各半面は、典型的には白色の複数のラインによって分割された、典型的には第１暗度の緑色の複数の領域３６を有する。テニスコートの外部領域４０は、典型的には第２暗度の緑色である。
実際には、ライン３８は、互いに平行または直交するラインからなる。また、カメラ３０は上方以外のアングルからコート内の動きにズームインするので、カメラに映る画像は透視画像となる。従って、カメラ３０の映像出力では、平行なライン３８は無限遠において一点に集束する形となる。カメラ３０のアングルやズーム量が変化すると、映像出力の透視画像のアングルも変化する。
本発明においては、透視画像のアングルやズーム量の変化に関わらず、背景の選択された表面領域における所望の位置に、文字“ＩＭＡＧＥ”などの画像４２を埋め込む。テニスコートの場合の埋め込み可能な場所は、４本のライン３８で画定されたテニスコート３２の１つの半面内の任意の矩形の内部である。第２図に示すように、画像４２はプレーヤー４４の動きに干渉せず、その画像４２がコート面上に描かれているかの如く表示される。
実際、コート３２の形状及びコート３２内のライン３８の位置は不変であることから、画像埋め込みシステムが、画像が埋め込まれる位置を含む競技空間のモデルを備え、かつ少なくとも視点のアングルとズーム量の同定が可能である場合には、システムによって映像シーケンスに画像を合成し、画像が所望の位置に埋め込まれたように表示することが可能である。これを実行するために、画像埋め込みシステムは、カメラによって撮られたコートの色を追加的に認識する必要がある。この色は、ライティング（日光若しくは人工光）の変化につれて変化し得る。
ここで更に第３図を参照すると、テニスコートの幾何学的モデル５０が示されており、第４Ａ図、第４Ｂ図、及び第４Ｃ図を参照すると、埋め込み画像デザイン機構（implantation designer）が準備するデータが示されている。
埋め込み画像デザイン機構は、デザインワークステーション１２においてその機能を発揮し、典型的にはテニスコート３２の幾何学的モデル（典型的には平面図）を有する。使用できるデザインワークステーション１２の例として挙げられるものに、イスラエル国ＨｅｒｚｌｉａのＳｃｉｔｅｘ Ｃｏｒｐｏｒａｔｉｏｎ Ｌｔｄ．製のＢＬＡＺＥワークステーションがある。モデル５０は、典型的にはコート３２を一定の尺度で縮小したものであって、ライン３８などの画像埋め込みシステム１４によって識別される要素を示すものである。他の競技フィールドには、円若しくは輪郭のはっきりとした曲線が含まれ得る。他の識別可能な要素には、ライン３８の交点５４が含まれる。
埋め込み画像デザイン機構は（第４Ａ図に示すような）埋め込まれる画像４２をデザインし、モデル５０上のどの位置に埋め込むかを定める。いくつかの埋め込み可能な場所が第３図に示されている。次に、埋め込み画像デザイン機構は画像位置選定マスク５６（第４Ｂ図参照）を準備し、モデル５０内の画像４２が埋め込まれる部位を同定する。マスク５６は、モデル５０内の画像４２が埋め込まれる部位が明るく、他の部分は全て暗くなっている。
画像４２は明るい色調の像であり得るので、その像をそのまま埋め込むばかりでなく、色調を薄くして埋め込んでコート３２上の動きの像を著しく損なうことのないようにすることが望ましい場合もある。従って、埋め込み画像デザイン機構は、画像位置選定マスク５６が示す埋め込み位置におけるコートの色と画像４２との合成をどのように行うかを示す混色マスク５８（第４Ｃ図参照）を、所望に応じて備えていてもよい。混色マスク５８には、それが適切なマスクであれば、従来より周知のいかなるマスクを用いることもできる。第４Ｃ図において、混色マスク５８が、それぞれ濃さの異なるコートの色を含むことを示す４つの領域５９を有することが示されている。ここで、各領域５９は、典型的には外側へゆくほど内側の領域と比較して組み込まれたコートの色が薄くなる。
ここで、再び第１図及び第２図を参照されたい。幾何学的モデル５０、画像４２、画像位置選定マスク５６、及び随意に用いられる混色マスク５８から形成される埋め込みデータは典型的にはテニスの試合開始前に準備される。これらのデータは、試合が開始されると、典型的には着脱自在な媒体を介して、入力映像シーケンスに画像を埋め込むための画像埋め込みシステム１４に与えられる。
テレビで生中継される試合の映像シーケンスの殆どは、ローカル局のオペレータが彼らのシステムを入力シーケンスに同期できるようにする初期化シーケンスから始まっている。一般に、このことはテープに録画された映像データにも当てはまる。
本発明においては、初期化する映像データは映像フレームグラバー１０により取り込まれ、初めに制御用コンピュータシステムに与えられる。以下に述べるように、放送局のオペレータは競技場の鮮明な像を有するフレームを選択し、校正用の情報を得るために利用する。校正用情報は、画像埋め込みシステム１４にテニスコート３２及びその特徴（例えばライン３８等）を認識させるのに利用される。以下に述べる実施例においては、背景内の注目する特徴、即ち競技場のラインの色、競技場（コート３２）の色、及び競技場外のグラウンド（コートの外部領域４０）の色を校正用情報が含んでいる。これ以外の受け取られ得る色は、前景の色として定義される。テニスコート以外の他の競技場については、それを定義づけるために必要な特徴がより多いこともあれば、少ないこともあり、従って色の数も多いこともあれば、少ないこともある。
放送局のオペレータは、マウス２４及びキーボード２２を用いて対話式に校正色を定義づける。これを実行するための方法にはさまざまなものがあるが、以下、その１つについて述べる。制御モニタ２８に現在表示されているフレーム上に、４色の層が重畳される。初めに、４色の層は、透明な色である単色からなる。
従って、初めは現フレームが見えている。
オペレータは、３つの特徴、即ちライン３８、競技場の内部領域３６、及び競技場の外部領域４０の１つを示す画素を指定する。オペレータが画素を選択すると、選択された色を有する現フレームの画素に対応する重ね合わされる層における画素は１つの色に変換され、現フレームの対応する画素をカバーする。
また、選択された色は格納される。この処理は残りの３つの領域全てにおいて反復される。選択されない色は全て、第４の変換された色に割り当てられる。
この結果形成された４つの色の層をオペレータが是認した場合は、現フレームから選択された色と変換された色との間の参照テーブル（ＬＵＴ）が生成される。
必要ならば、制御用コンピュータシステム１６は、後に第１８図を参照しつつ説明するＬＵＴ補正サイクルにおいて後で用いるためにオペレータが選択した画素を格納することができる。
制御用コンピュータシステム１６は、ＬＵＴと、それを生成するために用いられる画素とからなるフレームデータを画像埋め込みシステムに供給する。システム１４は上述のフレームデータを利用して、入力映像信号の各フレームにおける所望の特徴を同定する。
ここで、第５図を参照すると、画像埋め込みシステム１４の概要が示されている。また、システム１４の動作の理解に役立つ第６図及び第７図も参照されたい。
システム１４は、典型的には、各入力映像フレームに存在するコート３２の特徴を同定する特徴同定ユニット６０と、作動しているカメラ３０から見たアングルとズーム量を同定し、適切なモデル５０と入力映像フレームとの間の透視画像変換を求める透視画像同定ユニット６２とを含む。システム１４は更に、埋め込みデータをモデルの平面から映像の視点からみた平面に変換する変換器６４と、透視画像の埋め込みデータと現映像フレームと合成して、コート３２に画像４２を埋め込む合成器６６とを含む。
以下に詳細を示すように、特徴同定ユニット６０はＬＵＴを用いて入力フレームの背景マスクを生成する。背景マスクは、注目する背景の特徴となり得るのが映像フレームのどの部分か、またどの部分が前景、即ち後に実施される処理において不変の部分かを示すものである。第６図及び第７図は、それぞれ具体例としての入力フレーム６８及びそれに対応する背景マスク７０を示した図である。
第６図の入力フレームには、コート３２上の２名のプレーヤー４４が含まれている。第７図の背景マスク７０は、４色の各領域を示す。１〜４の数字を付された各領域はそれぞれ、ラインの色の領域、コートの内側の色の領域、コートの外側の色の領域、元の色の領域である。プレーヤー４４の部分は背景色４が付され、白色ライン１の領域等の他の重要な領域の上に覆い被さって見えるようにされる。
ユニット６０（第５図参照）は、背景マスク７０から競技場の特徴を抽出する。テニスコートの場合は、注目すべき特徴はライン３８である。透視画像同定ユニット６２は、抽出された特徴とモデル５０の特徴とを比較して、そこから変換マトリクスを生成する。
変換器６４は、この変換マトリクスを用いて画像埋め込みデータ（即ち、埋め込まれる画像４２、画像位置選定マスク５６、及び混色マスク５８）を入力映像フレームの透視画像に変換する。
最後に、変換された画像位置選定マスク５６及び背景マスク７０を用いて、合成器６６が、画像４２の透視画像バージョンを入力映像フレームの背景部分の所望の位置に埋め込む。従って、プレーヤーがコート３２上の画像４２が埋め込まれる部分を歩く場合、埋め込まれた画像の“上”を歩いているように見えることになる。必要ならば、変換された混色マスク５８を用いて、画像４２と、画像４２が埋め込まれる競技場の色とを混合することもできる。
ここで第８図を参照すると、特徴同定ユニット６０の動作の詳細が示されている。ステップ７２において、ユニット６０はＬＵＴを用いて、入力映像フレームを、多くの色を有するフレームから背景マスク７０と称する４色の画像に変換する。詳述すると、テニスコート３２の場合、ＬＵＴが、ライン３８の色を有する画素に第１値を、コートの内部３６の色を有する画素に第２値を、コートの外部４０の色を有する画素に第３値を、残りの画素に（前景画素値を表す）第４値を与える。このことは第７図に示されている。ＬＵＴは、当該技術分野において周知のさまざまな方法のうちで適当なものを１つを用いて実現され得る。
背景マスク７０は、注目する背景に属する画素を画定するのみならず、ライン３８等の注目する特徴を内部に含んでいる。従って、ステップ７４において、特徴同定ユニット６０は、背景マスク７０を処理して所望の特徴を抽出する。ＬＵＴは、典型的には単一の色値を有する特徴が得られるように設計されているが、必ずしもそのようである必要はない。
テニスの試合を例にとると、上記の抽出を行う過程は、第１値を有する背景マスク７０の画素を検査する過程と、そこからラインの一部分の線分であるラインセグメントを抽出する過程とを含む。例えば、ステップ７４は、背景マスク７０にハフ変換を施すことによって実行され得る。ハフ変換については、Ａｃａｄｅｍｉｃ Ｐｒｅｓｓより１９８２に刊行された、Ｄｉｇｉｔａｌ Ｐｉｃｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ第２版Ｖｏｌ．２（著者は、Ａｚｒｉｅｌ ＲｏｓｅｎｆｅｌｄとＡｖａｎａｓｈ Ｃ． Ｋａｋ）なる本の１２１〜１２６頁に記載されており、ここではこれを参照されたい。
この処理の結果形成されるのは、ラインパラメータのアレイであって、各ラインパラメータは、背景マスク７０におけるラインセグメントのそれぞれを記述するものである。各セグメントに対するラインパラメータには、そのラインを表す直線の方程式の係数が、セグメント内に含まれる画素数を表す加重値とともに含まれている。
以上とは異なる抽出の方法が、第９Ａ図、第９Ｂ図、及び第９Ｃ図に示されており、以下簡潔に説明する。第９Ａ図に概要が示されているように、この方法は、初めに注目する色（この例では白色）を有する背景マスク７０の第１画素６９（第９Ｂ図参照）から始めて、その近傍７５を調べて更に白色の画素がある部位（図面において斜線で示されている）がどこかを判定する。これを行うために、この方法では、近傍７５を所定のサイズのサブセクタ７１〜７４に分割し、各サブセクタ内の白色画素の分布のヒストグラムを生成する。第９Ｃ図に示すのは、第９Ｂ図のサブセクタ７１〜７４に対するヒストグラムである。ここで最大値を示すもの（サブセクタ７３）が、次に探索されるセクタとして選択される。
次のステップにおいて、選択されたサブセクタ７３とその拡張部分とからなる新たな近傍７８が画定される。近傍７８全体は、近傍７５の２倍の長さを有する。この新たな近傍７８は４つのサブセクタ７６に再分割され、前述のプロセスが反復される。
このプロセスは、以下の条件の１つが満たされるまで継続される。即ち、 １．このサブセクタが、直線として画定されるだけの十分な狭さを示すものであること。
２．ヒストグラムにおいて、著しく突出した最大値が存在しないこと。
条件１が満たされた場合は、直線の式の係数が格納され、次にその直線を形成する画素が“元の色”を有するように“着色”されて、探索の対象から除外されるようにする。
特徴抽出プロセスによって、真の特徴と曲がりくねったラインとをともに有する、特徴となり得るもののアレイが生成される。
ここで、第１０図を参照すると、第５図の透視画像同定ユニット６２の動作の概要が示されている。また、ここでは、ユニット６２の動作を理解するのに役立つ第１１Ａ図及び第１１Ｂ図、テニスコート３２の例におけるユニット６２の動作の詳細を示す第１３図、また、第１３図に詳細が示された動作を理解するのに役立つ第１２Ａ図、第１２Ｂ図、第１２Ｃ図、第１４Ａ図、及び第１４Ｂ図も参照されたい。
ステップ８０において、ユニット６２は、アプリオリに与えられた情報を用いて特徴になり得るもののアレイを処理し、求める特徴である見込みが最も高い特徴がいずれかを決定する。ステップ８２において、ユニット６２は結果的に得られた真の特徴の中から最小となる特徴の集合を選択し、それをモデル５０の特徴にマッチングさせる。このプロセスは、マッチングが得られるまで、必要な回数だけ反復される。ステップ８４においては、マッチした特徴を用いて、モデルを入力映像フレームにおける特徴に変換するマトリクスＭを生成する。
テニスコート３２の例の場合は、ステップ８０において、モデル５０のライン３８が２つの方向（垂直方向及び水平方向）と平行であるという事実、及び（入力映像フレーム等の）透視画像においては実際には平行であるライン同士が無限遠点において交差するという事実が利用される。このことは、第１１Ａ図において、実線で示された抽出された全てのラインセグメントの、破線で示された延長部分によって示されている。実際には平行なライン（例えば擬似平行ライン９０）に対応する透視画像のラインは、フレームの外辺部９２から離れた外部にある点９１において交差する。符号９４が付された他の全ての交点は、外辺部９２の内部または境界の近くに形成される。
しかしながら、第１１Ｂ図に示すように、数値化における誤差が原因で、この３本の擬似平行ラインの延長部分が一点で交差しないことがあり得る。
実際に、交点が互いに大きく隔たった３つの点９６となることがあり得る。
本出願人は、透視画像の平行線が無限遠点で交差することから、抽出されたラインを漸近関数に投影することによって隔たった交点を接近させられることに気づいた。従って、本発明の好適実施例によれば、抽出されたラインセグメントは２次元漸近関数に投影される。このような投影の１つは、“グノモニック投影（Gnomonic Projection）”として知られている。これは米国マサチューセッツ州ケンブリッジ（Cambridge）のＭＩＴ Ｐｒｅｓｓから１９８６年に刊行されたＲｏｂｏｔ Ｖｉｓｉｏｎ（著者はＢｅｒｔｈｏｌｄ Ｋｌａｕｓ Ｐａｕｌ Ｈｏｒｎ）なる本の２５８頁、２５９頁、及び２７５頁に記載されており、ここではこれを参照されたい。グノモニック投影の例は、第１２Ａ図及び第１２Ｂ図に示されている。
グノモニック投影においては、ＸＹ平面１０２上の点１００は半球１０４上の点１００′に投影される。ＸＹ平面内のライン１０６は、半球１０４上の大弧（great arc）（即ち、球の大円の一部である弧）１０６′に投影される。原点は南極１０９によって表され、無限遠は赤道１０８によって表される。従って、赤道１０８近傍のクラスタ（cluster）１１０（第１２Ｂ図参照）は、擬似平行線の交点を表し、このクラスタ１１０に重なる点を有する直線は平行線である。
第１２Ｂ図に示すのは、任意の抽出されたラインセグメントのいくつかに対応する複数の大弧１２０ａ〜１２０ｆである。３本の弧１２０ａ〜１２０ｃは、赤道１０８近傍のクラスタ１１０ａを形成する交点１２２を有する。大弧１２０ｄ〜１２０ｆも赤道近傍で交差するが、その交点が形成するのはクラスタ１１０ｂである。全ての大弧は互いに交差するが、他の交点は赤道１０８よりも南極１０９に近い位置に存在する。
ステップ１３０（第１３図参照）において、グノモニック投影を用いて、特徴の抽出プロセス（ステップ７４、第８図参照）で生成されたラインセグメントのアレイから大弧のアレイが生成される。
ステップ１３２において、赤道１０８の周辺の領域が探索されて、交点１２２の全てが検出される。各交点に対しては値Ｖkが与えられる。値Ｖkは、交差するラインセグメントの重み値Ｗi及び交点１２２のＺ座標の関数である。関数Ｖkの一例は、以下の方程式１で与えられる。
ここで、ｆ（Ｚintersection point）は、第１２Ｃ図の曲線１３４に似た曲線で表される何らかの関数であって、この関数では殆どの点に対する値は小さく、赤道近傍の点（Ｚ＝１）のみが１に近い数値をとる。ｆ（Ｚintersection point）
の一例としては、Ｚ5がある。
ステップ１３６において、各交点１２２近傍において、他の交点が探索される。他の交点が検出された場合は、初めの交点と検出された交点とが、クラスタ１１０（第１２Ｂ図参照）として格納される。クラスタ１１０は、ｆ（Ｚintersection point）の値が所定の閾値を上回るものとしても定義される。従って、クラスタ１１０は交点を１つしか含まないものであり得る。第１２Ｂ図において３つのクラスタ１１０ａ〜１１０ｃが示されており、その１つであるクラスタ１１０ｃは交点１２２を１つしか含んでいない。
ひとたび全ての点が探索されると、クラスタ内の点の“重心”を求めることにより、各クラスタ１１０の位置が決定される。クラスタの重みとなるのは、クラスタ内の各点の値Ｖkの合計である。
ステップ１３８において、クラスタのなかから重み値が大きい順に２つのクラスタが選択される。例えば第１２Ｂ図においては、クラスタ１１０ａ及び１１０ｂが選択される。
ステップ１４０において、クラスタの１つは“垂直”ラインを表すものとみなされ、他の１つは“水平”ラインを表すものとみなされる。また、ステップ１４０において、２つの選択されたクラスタのラインに対応するラインセグメントが、それぞれ“垂直”及び“水平”なるマークを付される。
ステップ１４２において、“垂直”ライン及び“水平”ラインが検査され、最も重い垂直ラインが重みの順に２つと、最も重い水平ラインが重みの順に２つ選択される。ここで“最も重い”重さは、Ｗiの値によって決定される。選択された各ラインには符号１４６が付され、第１４Ａ図において第１１Ａ図の各ラインに対応するものとして示されている。ステップ１４４において、符号Ａ、Ｂ、Ｃ、及びＤを付して示された４つの選択されたラインの交点が決定され、かつ格納される。第１４Ａ図に示すように、選択されたラインがフレームの外側で交差してもよい。
ステップ１３０〜１４４は、映像フレーム内の真の特徴を同定する（第１０図のステップ８０参照）のに必要な処理である。ステップ１４４の出力は、後にモデルにマッチングされる特徴である。残りのステップでは、統合された一連の処理として特徴をモデルにマッチングさせ、かつ変換を求める（第１０図のステップ８２及び８４）。
標準的なテニスコートは５本の垂直ラインと４本の水平ラインとを有する。コートの２つの半面のそれぞれを異なるものにすることはできないので、３本の水平ラインのみが重要となる。３本の水平ラインから２本を選択（３つの組み合わせが存在する）し、かつ５本の垂直ラインから２本を選択（１０の組み合わせが存在する）することによって形成され得る矩形の個数は３０である。３０個の矩形は、それぞれ４つの異なる方向を向き得るので総数１２０個の矩形が考えられる。
ステップ１５０において、幾何学的モデル５０における１２０個の矩形の１つの選択が、符号Ａ′、Ｂ′、Ｃ′、及びＤ′を付された４つの頂点（第１４Ｂ図参照）を選択することにより行われる。図示されているように、これは正しくマッチングがとられていない。
ステップ１５２において、モデルの４つの点Ａ′、Ｂ′、Ｃ′、及びＤ′（第１４Ｂ図参照）を映像フレーム内の４つの点Ａ、Ｂ、Ｃ、及びＤ（第１４Ａ図参照）に変換するマトリクスＭが決定される。このマトリクスＭは、第１５図を参照しつつ説明されるように、連続した変換処理の重ね合わせとして表され得るものである。
第１５図には、３つの矩形１８０、１８２、及び１８４が示されている。矩形１８０は、ＸＹ平面内のモデルの矩形ＡＢＣＤであり、矩形１８２は、ＴＳ平面内の頂点（０，１）、（１，１）、（０，０）、及び（１，０）を有する単位正方形であり、また、矩形１８４はＵＶ平面内の透視画像の矩形である。
モデルの矩形１８０から透視画像の矩形１８４への変換Ｍは、２つの変換、即ち矩形１８０を単位正方形１８２に変換する平行移動及び格段縮小マトリクスＴと単位正方形１８２を矩形１８４に変換する透視画像マトリクスＰとを重ね合わせとして表され得る。同次の座標のマトリクスＴは、以下のようなものである。
ここでＳｘ及びＳｙは、それぞれＸ方向及びＹ方向への拡大縮小因子であり、Ｔｘ及びＴｙは、Ｘ軸及びＹ軸の平行移動因子である。Ｓｘ、Ｓｙ、Ｔｘ、及びＴｙは、以下の方程式で決定される。
ここで、（ｘ，ｙ，１）は矩形１８０の４つの頂点の座標であり、（ｓ，ｔ，１）は単位正方形１８２の４つの頂点の座標である。
同次座標におけるマトリクスＰは以下のようなものである。
マトリクスＰの成分は以下の方程式を解くことによって求められる。
ここで、（ｕ，ｖ，ｗ）は、第１５図に示すように、既知の矩形１８４の頂点Ａ、Ｂ、Ｃ、及びＤの座標であり、ｗは常に標準化される。
ａ３３＝１と仮定すると、Ｐは以下のように求められる。
即ち、（ｓ，ｔ，１）＝（０，０，１）から、
（ｓ，ｔ，１）＝（１，０，１）から、
（ｓ，ｔ，１）＝（０，１，１）から、
（ｓ，ｔ，１）＝（１，１，１）から、
更に、方程式７〜９より、未知数ａ１３及びａ２３を含む２つの方程式が以下のように求められる。
ひとたびａ１３及びａ２３が求められれば、残りの成分も方程式７及び８から求められる。
変換マトリクス若しくは写像マトリクスＭは、以下のようなマトリクスＴとＰとの積のマトリクスである。
ステップ１５４において、モデル５０のライン３８は、マッピングマトリクスＭを用いて映像フレーム上に写像される。この結果、変換されたモデルの画素が存在する全ての位置において１の値を有し、他の全ての位置では０の値を有する変形したフレーム１５６（第１６図参照）が得られる。図示したように、点Ａ′、Ｂ′、Ｃ′、及びＤ′は、それぞれ点Ａ、Ｂ、Ｃ、及びＤに一致する。しかし、幾何学的モデルの他の部分はマッチしない。
ステップ１５８において、変形したフレーム１５６は、背景マスク７０（第７図参照）とともに排他的論理和演算（ＸＯＲ）処理される。ＸＯＲステップからの出力０が得られるのは以下の２つの場合である。即ち、ａ）変形したフレーム１５６の画素が値１を有し、映像フレームの画素が競技場のラインの色を有する場合と、ｂ）変形したフレーム１５６が値０を有し、映像フレームの画素が“ライン以外の領域”の色を有する場合である。これ以外の場合には、値１が得られる。
ステップ１６０及びステップ１６１において、値１を有する画素の個数が数えられるが、この値は変換マトリクスＭに関係する。
全てのマトリクスＭが求められた後、ステップ１６２において、重みが最小のマトリクスが選択される。画像間のマッチングが得られない（例えば、映像がコマーシャル映像であったり、テレビカメラ３０が観客を映している場合等）可能性があるので、ステップ１６４において、選択されたマトリクスの重みと閾値とが照合される。閾値を上回っている場合は、ゼロ変換マトリクスが得られる。閾値以下の場合は、選択されたマトリクスは変換マトリクスＭとして画定される。前段階のいずれかにおけるテスト条件に誤りがあった場合にも、ゼロ変換マトリクスが得られる。
ここで第１７図を参照すると、第５図の合成器６６及び変換器６４の動作が示されている。変換器６４は変換マトリクスＭを用いて、画像４２、画像位置選定マスク５６、及び混色マスク５８のそれぞれを、映像フレーム平面内に入るように変形する（ステップ１７０）。この変換器は、変形した画像位置選定マスクと背景マスクとの論理積演算（ＡＮＤ処理を行って、許容マスクを生成することも行う。許容マスクとは、背景画素であって、かつ映像領域内にある画素を示すものをいう。この画素上に画像の埋め込みが行われる。
合成器６６は、混色マスク及び許容マスクに基づき、変形した画像を映像フレームを結合する。各画素（ｘ，ｙ）において実行される演算を式で表すと、典型的は以下のようになる。
ここで、Ｏｕｔｐｕｔ（ｘ，ｙ）は出力されるフレームの画素値であり、ｉｍａｇｅ（ｘ，ｙ）及びｖｉｄｅｏ（ｘ，ｙ）は、それぞれ埋め込まれる画像４２及び映像フレームにおける値であり、ａ（ｘ，ｙ）は、混色マスクにおける値であり、また、Ｐ（ｘ，ｙ）は許容マスクにおける値である。
以上の記述においては、背景マスク７０の生成に用いられたＬＵＴが、試合が行われている間全体に亘って正しく維持されていることが仮定されている。ライティングの変化が生ずる場合（典型的には屋外で行われる試合の場合に生ずる）
、映像シーケンスの色が変化することがあり、この結果、背景マスク７０が背景要素を正しく示すことができなくなる。
そのため、補正プロシジャを周期的に実行することがある。補正プロシジャの詳細は第１８図に示されており、ここではこれを参照されたい。
較正プロセスにおいて、背景における注目すべき特徴（例えば、競技場のライン、コートの内部領域及び外部領域）を示すテストスポット（test spots）が、オペレータによって選択される。このスポットの位置は、その色値とともに保存される。
ひとたび較正映像フレーム用マトリクスが決定されると、テストスポットの位置は、（例えば、マトリクスＭの逆マトリクスを用いて）映像フレーム平面から幾何学的モデル平面へと変換される。その後に較正が必要になったとき、テストスポットは現映像フレームへと変換される。現映像フレーム内の変形したテストスポットが選択され、その近傍が標本化される。各近傍の色特性が（例えばヒストグラムを用いて）計算され、その結果が保存されたスポットの特性と比較される。色に関して著しい変化が生じている場合は、ＬＵＴは補正され、当該スポットが幾何学的モデルに変換されて保存される。
本発明は、テニスの映像に対する上述ような処理のみならず、背景情報が固定的で既知であるような他の状態の映像に対する処理をも包含するものであるということを理解されたい。上述の処理は、以下に記述するようにトラッキングを通して、或いはカメラパラメータの認識を通してさまざまな改変が可能である。
各カメラの位置、回転角、及びズーム量についての情報が（外部より、もしくはシステム内で決定されて）与えられたとき、透視画像マトリクスＰの自由度が小さくなることから、上述の処理の短縮化が可能となる。
詳述すると、透視画像マトリクスＰは、利用されるカメラの位置、回転角、及びズーム量に関する情報を含んでいる。この情報を拡張することもでき、透視画像マトリクスＰ（若しくは、同様に、変換マトリクスＭ）を各カメラパラメータの関数として定義し直すことが可能である。
第１９図に示すのは、カメラ及びそのパラメータである。その位置は、Ｘ、Ｙ、Ｚ座標系１７２の原点からの座標（ｘ，ｙ，ｚ）を有するベクトル１７１により表される。カメラは、それぞれ矢印１７３、１７４、及び１７５で表されるカメラの軸Ｕ、Ｖ、及びＷを中心に仰角を変え、傾斜し、向きを変え、パン撮りする。更に、カメラレンズが矢印１７６で表されるＶ軸に沿ってズーミングすることも可能である。
カメラが仰角を変えず、また、カメラのアスペクト比（即ち、カメラの生成する画像の画素の幅と高さの比）により正方形の画素が画定されるものと仮定すると、透視画像マトリクスＰは、カメラの位置（ｘ，ｙ，ｚ）、傾斜、方位、及びズーム量の関数としてパラメータ表示され得る。カメラはフレーム毎にその位置を変えることはないが、その傾斜、方位、アングルまたはズーム量は変化する。
第２０図、第２１図、及び第２２図は、カメラパラメータを求めて利用する方法を示している。第２０図に示すように、映像フローの中で急激な場面転換が新たに認識されたとき、第１０図に示すような画像画同定プロセス（ステップ１８０）が、新たなカットの第１フレームから実施される。ステップ１８０において、透視画像マトリクスＰの成分ａ（ｉ，ｊ）が生成される。このプロセスは２つの方向に進行する。即ち、 ａ）変換マトリクスＴが決定され、第１３図のステップ１５４から開始される。また、 ｂ）マトリクスＰからカメラの位置座標（ｘ，ｙ，ｚ）が抽出される（ステップ１８４）。これについては、ＭＩＴ Ｐｒｅｓｓから１９９３年に刊行されたＴｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ： Ａ Ｇｅｏｍｅｔｒｉｃ Ｖｉｅｗｐｏｉｎｔ（著者はＯｌｉｖｅｒ Ｆａｕｇｅｒａｓ）なる本の３．４章に記載されており、ここではこれを参照されたい。
ひとたびカメラの位置座標（ｘ，ｙ，ｚ）が抽出されると、以下のように、２つの条件についてのチェック（ステップ１８６及び１８８）が実行される。
ステップ１８６の条件：カメラが方向１７４について仰角を変えること（回動）をしない。成分ａ１３がゼロでないときは、仰角の変化が起こる。
ステップ１８８の条件：カメラのアスペクト比（ＡＲ）が正方形の画素を画定する。（即ち、ＡＲ＝１）
両条件が満たされた場合、Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎに記載のように、マトリクスＰが、以下のマトリクスの積として表し直される。即ち、 ａ）ズーム（ｆ）：カメラの集束面への投射のマトリクス。
ｂ）平行移動：座標系の原点を計算上のカメラの位置（ｘ，ｙ，ｚ）に平行移動するマトリクス。
ｃ）傾斜（α）：軸Ｕに関する角度αの回転のマトリクス。
ｄ）方位（Θ）：軸Ｗに関する角度Θの回転のマトリクス。
ズーム、傾斜、方位、及び平行移動についての各値が与えられると、第１カメラは完全に較正され（ステップ１９２）、そのパラメータが、表１９４（第２１図参照）の所定のカメラの部分に記入される如く登録される。他のカメラについても、以下に述べるように、それが特定された上で表１９４に登録される。
次に、第２２図に示すように、短縮化された計算処理プロセスが、全ての映像フレームについて実行される。初めに、フレームを検査して、α、Θ、及びｆを用いて前フレームとの類似度を求める。類似度は、マッチング係数（即ち、フレーム内の注目する画素のうち、計算されたマトリクスによりモデルにうまく写像できる画素のパーセンテージ）によって評価される。類似度が良好な場合は、計算されたマトリクスを、（第１７図を参照しつつ説明した）埋め込みプロセスに利用することが可能である。マッチング係数が小さい場合は、このフレームは、表１９４に記載されている別のカメラで撮像される。
他のカメラを見つけ出すために、現フレームの検査、及びその中の一本のラインの同定がなされる必要がある。更に、同定されたライン上の点、例えば他のラインとの交点の１つが同定される（ステップ１９８）必要がある。通常、同定されるラインは、“濃度の最も高い（strongest）”ラインである。
ステップ２００において、表１９４に列挙された各カメラに対するマッチング値が、以下のように求められる。
同定されたライン及び点は、幾何学的モデルにおけるライン及び点と連係しており、また、この連係をなさしめる透視画像マトリクスＰは、モデルのライン及び点を特定のライン及び点に変換するものとして求められる。各透視画像マトリクスＰが、現時点のカメラの（既知である）位置座標（ｘ，ｙ，ｚ）、及び（未知の）傾斜α、方位Θ、及びズームｆの関数であることから、結果的に透視画像マトリクスＰは、特定のライン及び点がモデルのライン及び点に適切にマッチすることを仮定すると、計算され得る傾斜、方位、及びズーム量の数値によって求められ得ることになる。
第１０図の方法の如く、変換マトリクスＭは、透視画像マトリクスＰから求められ、幾何学的モデルは、マトリクスＭによってフレームにおける画像の平面に変換される。モデルのラインは、画像におけるラインにマッチングされ、マッチング値が生成される。
モデルにおけるライン及び点を特定されたライン及び点に連係させ、既知のカメラの位置座標及び対応するライン及び点から透視画像マトリクスＰを生成し、結果としてのマッチング値を求めるプロセスは、幾何学的モデル内の各ラインと点との組み合わせに対して繰り返し実施される。整合値が１よりかなり小さな値となり、マッチングが不良であることが示された場合は、上述の特定のライン及び点に対するマッチングプロセスが、その位置座標（ｘ，ｙ，ｚ）が既知である別のカメラに対して実施される。
各カメラに対する計算されたマッチング係数のなかで最大のものが、表１９４（第２１図参照）の符号２０２を付された列に書込まれる。ステップ２０４において、最大の係数２０２に対応するカメラが選択され、係数が所定の閾値より大きい場合は、その透視画像マトリクスＰが第１７図の画像の埋め込みプロセスにおいて利用される。列２０２にける係数の最大値が閾値に及ばない場合は、現フレームを撮像するどのカメラも用いられない。また、第１０図のプロセスを実施した後には、第２０図のカメラ同定プロセスを実施しなければならない。
本発明が上述の特定の実施例に限定されるものでないということが、当業者には理解されよう。本発明の範囲は、次の請求の範囲の項で定められる。
画像合成システム及び画像合成方法発明の分野 本発明は一般に、所定の画像と映像信号との合成に関する。
発明の背景 スポーツ競技場には、典型的には、競技が行われる競技エリア、観客が座る観客席エリア、及びこの２つの領域を区分する壁のようなものがある。一般に、この壁の少なくとも一部には、その試合のスポンサーとなっている企業の広告がある。試合がテレビ撮影されている場合、壁上の広告はスポーツ競技場の一部として撮影されることになる。このような広告は、テレビカメラによって撮影されない限り、社会全般に示され得ない。
スポーツ競技場の映像の画面に所定の広告を合成する技術が知られている。このようなシステムの１つでは、オペレータが競技場内の目的の表面領域を画定する。このシステムは、次に目的の表面領域を見つけて自動的に追跡（ロックオン）し、映像ストリームの目的の表面領域に対応する部分に所定の広告を合成する。カメラが対象の表面領域から離れた場合、このシステムは目的の表面領域を見失うことになり、オペレータは使用される表面領域を再び定めなければならない。
上述のシステムはリアルタイムで動作する。リアルタイムではないが同じ動作を行う他のシステムも周知となっている。
映像シーケンスに画像データを合成する他のシステムも知られている。このようなシステムは、映像のシーンとシーンとの間に別の画像を挿入したり、テレビの映像フレームの一定の位置に（テレビ局のロゴのような）イメージデータを重ね合わせたり、特定目的の広告掲示板の“代用”として電子的にイメージデータを挿入したりする。後者においては、カラーキーイング（color keying）等の技術が用いられる。
米国特許第５，２６４，９３３号明細書には、広告画像を元々の映像の一部として加える形で画像を変更する方法が記載されている。オペレータは、捕捉された映像内の広告映像が埋め込まれる場所を選択する。米国特許第５，２６４，９３３号のシステムでも、選択された主たる放映エリアにおいて、よく聞かれる実況放送員の言い回しのような音声信号に応じて、画像を埋め込むことができる。
ＰＣＴ出願ＰＣＴ／ＦＲ９１／００２９６の明細書には、連続した画像における区分け（zone）を変更する手順及び装置が記載されている。この画像には変更不可能な目標区域が示されており、その近傍に登録された記号が表示される。システムはこの登録された記号を捜し、これを用いて区域の位置を定める。次に、予め準備されたイメージがその区域に重畳され得る。登録記号は、目的領域の内部若しくは近傍に配置される、（十字形若しくは他の“グラフィーム”等の）識別の容易な記号である。ＰＣＴ／ＦＲ９１／００２９６のシステムは、粗さの異なる多くの解像度の捕捉イメージを生成し、その識別プロセスにおいてさまざまな解像度を利用する。
本発明の要約 本発明の目的は、広告等の画像を、動きの発生する空間が比較的不変の映像ストリームに合成するシステム及び方法を提供することである。ここでいう空間は、競技場または競技コート、舞台またはスタジオ等であって、典型的にはその位置は、動き（即ち試合またはショウ）が始まる前に選択される。画像が、背景空間内の選択された表面領域に“埋め込まれる”。ここで、“埋め込まれる”という言葉は、選択された表面領域を表示している映像ストリームの一部として、画像が合成されるということを意味している。
詳述すると、本発明は背景空間に関するアプリオリな情報を利用して、映像ストリームを、それが背景空間内の何れかの位置において特定のイメージを含むように変化させる。また本発明のシステム及び方法では、背景空間の像が、それが何れの視点から見た像であっても映像ストリーム内に存在するようになっている。
本発明の好適実施例によれば、システムが、好ましくは映像フレームグラバー及び画像埋め込みシステムを含む。映像フレームグラバーは、一度に一枚の映像フレームを取り込む。画像埋め込みシステムは、典型的には、背景空間の複数の表面領域のうち予め選択された１つの表面領域の所定の部分がその映像フレーム内に表示されている場合、広告画像をその部分に埋め込む。埋め込みの行われる部分の位置を決定すべく、画像埋め込みシステムは、ａ）背景空間の固定的な表面領域の平面図モデル（flat model）及びｂ）平面図モデルの、画像の合成される部分を示す画像マスクを受け取るユニットを有する。モデルを介して、画像埋め込みシステムは、対象の部分がフレーム内に表示されているか否かを識別し、表示されている場合その部位を同定する。
更に、本発明の好適実施例によれば、このシステムは、画像及び予め選択された表面領域を示す画像マスクを形成するデザインワークステーションも含む。
更に、前述の同定処理は、好ましくは、ａ）映像フレームを検査して、固定的な表面領域の特徴を抽出する過程と、ｂ）モデルと抽出された特徴との間での透視画像変換を求める過程とを含む。
更に、上述の検査と抽出の過程には、背景マスク及び前景マスクを生成する過程が含まれる。背景マスクはフレーム内の注目する特徴、背景要素の部位を示し、所望の特徴を抽出するのに利用される。前景マスクは、フレーム内の、変化の起こらない前景要素から形成される。
以上に加えて、本発明の好適実施例によれば、画像埋め込み処理は、ａ）透視画像変換により、画像、画像マスク、さらに所望に応じて混色マスクを変換する過程と、ｂ）変換された画像、画像マスク、及び所望に応じて変換された混色マスクを、映像フレームや前景フレームと合成する過程とを含む。上述の混色マスクは、変換された画像によってカバーされない前景データの部位を示す。
更に、本システムは、好ましくは、フレーム内のさまざまな色を、注目する特徴の色、背景要素の色、及び前景要素を示す色の何れか１つに変換するための参照テーブルを含む。参照テーブルは、好ましくは、使用者が適切な色を指定することによって生成される。指定された色が、注目する特徴及び背景要素を表さなくなった場合（典型的には、ライティングの変化を原因とする）は、使用者は所望の要素を表す新たな色を指定して、参照テーブルを訂正する。
更に、本発明の好適実施例によれば、参照テーブルは、フレーム内の注目する特徴の位置、背景要素の位置、及び前景要素の位置を示すフレームの背景マスク及び前景マスクを生成するのに用いられる。
本発明の実施例によれば、上述の特徴はライン、即ち直線で示される。実施例の１つにおいては、この特徴はハフ変換を用いて抽出される。別の実施例では、特徴の抽出は、各ラインセグメント、即ち各線分の傾きを求めることによって行われる。この場合、まず注目する画素が選択されてその近傍が開かれる。この近傍は分割され、動きの最も激しい領域が選択される。次に選択された領域は拡張され、更に分割される。この過程は必要に応じて反復される。
更に、本発明の好適実施例によれば、このシステムは抽出された特徴を漸近関数（asymptotic function）に投影し、特徴のなかで平行線の透視画像版がいずれかを判定する。
更に、本発明の実施例における背景空間は、ラインが引かれたスポーツ競技場である。このシステムはスボーツ競技場の画像のモデルを有しており、好ましくはモデルにおける矩形のリスト及びそれらの頂点の位置データを有する。このシステムは好ましくは以下のような動作を行う。
ａ）抽出された特徴から２本の垂直ライン及び２本の水平ラインを選択し、それらの交点を求める。
ｂ）モデルにおける各矩形の頂点から特徴の交点に変換する複数の変換マトリクスを生成する。
ｃ）各変換マトリクスによってモデルを変換する。
ｄ）背景マスクの背景要素を用いて、各変換されたモデルと映像フレームとをマッチングさせる。
ｅ）映像フレームの特徴と最もよくマッチする変換マトリクスを１つ選択する。
更に、本発明の実施例によれば、カメラに関するパラメータであるカメラパラメータを利用して、スポーツ競技場の特徴を同定するのに必要なラインの数を減らすことができる。この実施例においては、以下のような動作が行われる。
カメラの位置座標を受け取る、若しくは抽出する。
現時点の変換マトリクスを、位置座標、傾斜、回転、及びズーム量についての各マトリクスの積として表す。
計算された傾斜、回転、及びズーム量の各値を有するカメラを特定し、情報を格納する。
新たなカットの映像が現れる毎に、位置座標を受け取り、マトリクス表現、及びカメラの特定の各処理を反復する。
このようにして、映像ストリーム内の何れのフレームも、前フレームと同様に、或いは特定されたカメラによって撮られた新たなカットの映像の一部として取り扱うことが可能となる。
図面の簡単な説明 第１図は、本発明の好適実施例に基づいて構築され動作する、映像ストリームに画像を埋め込むためのシステムのブロック図である。
第２図は、第１図のシステムの動作を説明するための例として用いられるテニスの試合の模式図である。
第３図は、第１図のシステムの動作の理解に役立つ、テニスコートのモデルを示した図である。
第４Ａ図は、埋め込まれる画像を示した図である。
第４Ｂ図は、第４Ａ図の画像及び第３図のモデルに対する画像領域マスクを示した図である。
第４Ｃ図は、第４Ａ図の画像及び第３図のモデルに対する混色マスクを示した図である。
第５図は、第１図のシステムの一部を形成する画像埋め込みユニットの要素を示した図である。
第６図は、第４Ａ図の画像が埋め込まれる映像フレームの例を示した図である。
第７図は、第６図の映像フレームから生成された背景マスクを示した図である。
第８図は、第５図の画像埋め込みユニットの一部を形成する特徴同定ユニットの動作を示したブロック図である。
第９Ａ図は、特徴抽出方法を示す流れ図である。
第９Ｂ図は、第９Ａ図の方法の理解に役立つ、背景マスクの一部を示す図である。
第９Ｃ図は、第９Ａ図の方法の理解に役立つ、第９Ｂ図の背景マスクのサブセクタのヒストグラムを示した図である。
第１０図は、第５図の画像埋め込みユニットの一部を形成する透視画像同定ユニットの動作を示すブロック図である。
第１１Ａ図は、第７図から抽出された特徴における交点を示した図である。
第１１Ｂ図は、計算上の誤差が原因で異なる点で交わる透視画像の平行線を示した図である。
第１２Ａ図及び第１２Ｂ図は、第１０図の透視画像同定ユニットの動作の理解に役立つ、グノモニック投影を示す図である。
第１２Ｃ図は、第１２Ａ図及び第１２Ｂ図のグノモニック投影に利用できる関数の例を示した図である。
第１３図は、第１０図のユニットの動作を示す詳細なブロック図である。
第１４Ａ図及び第１４Ｂ図は、第１３図のユニットの動作の理解に役立つ図である。
第１５図は、変換マトリクスの使用を説明する図である。
第１６図は、第１３図のユニットの動作の理解に役立ち、各矩形及び幾何学的モデル間のマッチングプロセスの理解に役立つ図である。
第１７図は、第５図の画像埋め込みユニットの変換器及び合成ユニットの動作を示すブロック図である。
第１８図は、第５図の画像埋め込みユニットにおいて使用される参照テーブルを更新するための補正方法を示すブロック図である。
第１９図は、カメラパラメータの模式図である。
第２０図は、第１９図のカメラパラメータが既知、或いは計算可能な場合の変換マトリクス処理を示す流れ図である。
第２１図は、第２０図に示すプロセスにおいて用いられる表を示した図である。
第２２図は、カメラパラメータが既知、或いは計算可能な場合の処理方法を示す流れ図である。
好適実施例の詳細な説明 第１図を参照すると、比較的変化のない背景空間中で生起する動きの映像ストリームと、広告画像等の画像を合成するためのシステムが示されている。この画像は、背景空間の選択された表面領域に埋め込まれる。このシステムについて、第２図に示すテニスの試合の映像を例にとってこれに関連づけて説明する。しかし本発明は、動きの発生する表面領域が、アプリオリに既知となっており、かつ識別可能である全ての状況の下で適用可能であることが理解されよう。
本発明のシステムは、典型的には、（テニスの試合の映像等の）入力映像シーケンスを映像フレームに変換するための映像フレームグラバー１０、映像フレーム内の選択された表面領域に埋め込まれる（広告画像等の）画像をデザインするためのデザインワークステーション１２、映像フレームとデザインされた画像を合成するための画像埋め込みシステム１４、画像埋め込みシステム１４の動作を制御し、またこのシステムへのオペレータ入力を供給するための制御用コンピュータシステム１６、及び放映映像モニタ１８を含む。
制御用コンピュータシステム１６は、典型的には、中央処理ユニット（ＣＰＵ）２０、キーボード２２、マウス２４、ディスク２６、フロッピー等の着脱自在な媒体用ドライブ２７、及びモニタ２８を含む。モニタ２８は、典型的には、ＣＰＵ２０の一部分を構成するグラフィクスアダプタ（graphics adaptor）によって駆動される。典型的には、デザインワークステーション１２も、フロッピー等の着脱自在な媒体用ドライブ２７を含む。
制御用コンピュータシステム１６と画像埋め込みシステム１４とは、典型的にはシステムバス２９を介して接続されている。デザインワークステーションと制御用コンピュータシステム１６とのやり取りは、典型的には着脱自在な媒体を介して行われる。
映像シーケンスは、ビデオテープ、人工衛星やマイクロ波を介する遠距離通信局、または他のタイプの映像通信手段等いかなる映像源から得たものでもよい。
映像シーケンスが人工衛星から受け取ったものである場合は、映像信号のレート（video rate）をシステムの制御下におくことはできない。従って、画像埋め込みシステム１４は、人工衛星の映像信号ストリームのレートの範囲内、典型的にはフレーム当り３０ｍｓの範囲内で動作しなければならない。映像シーケンスがビデオテープから得られたものである場合は、映像信号のレートはシステムの制御下におくことができ、所望の速度で処理することができる。
映像シーケンスは、初めに試合の現場で作られる。第２図に示すように、テニスの試合の場合、典型的にはテニスコート３２上での動きをとらえる２台のテレビカメラ３０が設置される。テレビカメラ３０の位置は固定されているのが普通である。
テニスコート３２はネット３４によって２つの半面に分割されている。各半面は、典型的には白色の複数のラインによって分割された、典型的には第１暗度の緑色の複数の領域３６を有する。テニスコートの外部領域４０は、典型的には第２暗度の緑色である。
実際には、ライン３８は、互いに平行または直交するラインからなる。また、カメラ３０は上方以外のアングルからコート内の動きにズームインするので、カメラに映る画像は透視画像となる。従って、カメラ３０の映像出力では、平行なライン３８は無限遠において一点に集束する形となる。カメラ３０のアングルやズーム量が変化すると、映像出力の透視画像のアングルも変化する。
本発明においては、透視画像のアングルやズーム量の変化に関わらず、背景の選択された表面領域における所望の位置に、文字“ＩＭＡＧＥ”などの画像４２を埋め込む。テニスコートの場合の埋め込み可能な場所は、４本のライン３８で画定されたテニスコート３２の１つの半面内の任意の矩形の内部である。第２図に示すように、画像４２はプレーヤー４４の動きに干渉せず、その画像４２がコート面上に描かれているかの如く表示される。
実際、コート３２の形状及びコート３２内のライン３８の位置は不変であることから、画像埋め込みシステムが、画像が埋め込まれる位置を含む競技空間のモデルを備え、かつ少なくとも視点のアングルとズーム量の同定が可能である場合には、システムによって映像シーケンスに画像を合成し、画像が所望の位置に埋め込まれたように表示することが可能である。これを実行するために、画像埋め込みシステムは、カメラによって撮られたコートの色を追加的に認識する必要がある。この色は、ライティング（日光若しくは人工光）の変化につれて変化し得る。
ここで更に第３図を参照すると、テニスコートの幾何学的モデル５０が示されており、第４Ａ図、第４Ｂ図、及び第４Ｃ図を参照すると、埋め込み画像デザイン機構（implantation designer）が準備するデータが示されている。
埋め込み画像デザイン機構は、デザインワークステーション１２においてその機能を発揮し、典型的にはテニスコート３２の幾何学的モデル（典型的には平面図）を有する。使用できるデザインワークステーション１２の例として挙げられるものに、イスラエル国ＨｅｒｚｌｉａのＳｃｉｔｅｘ Ｃｏｒｐｏｒａｔｉｏｎ Ｌｔｄ．製のＢＬＡＺＥワークステーションがある。モデル５０は、典型的にはコート３２を一定の尺度で縮小したものであって、ライン３８などの画像埋め込みシステム１４によって識別される要素を示すものである。他の競技フィールドには、円若しくは輪郭のはっきりとした曲線が含まれ得る。他の識別可能な要素には、ライン３８の交点５４が含まれる。
埋め込み画像デザイン機構は（第４Ａ図に示すような）埋め込まれる画像４２をデザインし、モデル５０上のどの位置に埋め込むかを定める。いくつかの埋め込み可能な場所が第３図に示されている。次に、埋め込み画像デザイン機構は画像位置選定マスク５６（第４Ｂ図参照）を準備し、モデル５０内の画像４２が埋め込まれる部位を同定する。マスク５６は、モデル５０内の画像４２が埋め込まれる部位が明るく、他の部分は全て暗くなっている。
画像４２は明るい色調の像であり得るので、その像をそのまま埋め込むばかりでなく、色調を薄くして埋め込んでコート３２上の動きの像を著しく損なうことのないようにすることが望ましい場合もある。従って、埋め込み画像デザイン機構は、画像位置選定マスク５６が示す埋め込み位置におけるコートの色と画像４２との合成をどのように行うかを示す混色マスク５８（第４Ｃ図参照）を、所望に応じて備えていてもよい。混色マスク５８には、それが適切なマスクであれば、従来より周知のいかなるマスクを用いることもできる。第４Ｃ図において、混色マスク５８が、それぞれ濃さの異なるコートの色を含むことを示す４つの領域５９を有することが示されている。ここで、各領域５９は、典型的には外側へゆくほど内側の領域と比較して組み込まれたコートの色が薄くなる。
ここで、再び第１図及び第２図を参照されたい。幾何学的モデル５０、画像４２、画像位置選定マスク５６、及び随意に用いられる混色マスク５８から形成される埋め込みデータは典型的にはテニスの試合開始前に準備される。これらのデータは、試合が開始されると、典型的には着脱自在な媒体を介して、入力映像シーケンスに画像を埋め込むための画像埋め込みシステム１４に与えられる。
テレビで生中継される試合の映像シーケンスの殆どは、ローカル局のオペレータが彼らのシステムを入力シーケンスに同期できるようにする初期化シーケンスから始まっている。一般に、このことはテープに録画された映像データにも当てはまる。
本発明においては、初期化する映像データは映像フレームグラバー１０により取り込まれ、初めに制御用コンピュータシステムに与えられる。以下に述べるように、放送局のオペレータは競技場の鮮明な像を有するフレームを選択し、校正用の情報を得るために利用する。校正用情報は、画像埋め込みシステム１４にテニスコート３２及びその特徴（例えばライン３８等）を認識させるのに利用される。以下に述べる実施例においては、背景内の注目する特徴、即ち競技場のラインの色、競技場（コート３２）の色、及び競技場外のグラウンド（コートの外部領域４０）の色を校正用情報が含んでいる。これ以外の受け取られ得る色は、前景の色として定義される。テニスコート以外の他の競技場については、それを定義づけるために必要な特徴がより多いこともあれば、少ないこともあり、従って色の数も多いこともあれば、少ないこともある。
放送局のオペレータは、マウス２４及びキーボード２２を用いて対話式に校正色を定義づける。これを実行するための方法にはさまざまなものがあるが、以下、その１つについて述べる。制御モニタ２８に現在表示されているフレーム上に、４色の層が重畳される。初めに、４色の層は、透明な色である単色からなる。
従って、初めは現フレームが見えている。
オペレータは、３つの特徴、即ちライン３８、競技場の内部領域３６、及び競技場の外部領域４０の１つを示す画素を指定する。オペレータが画素を選択すると、選択された色を有する現フレームの画素に対応する重ね合わされる層における画素は１つの色に変換され、現フレームの対応する画素をカバーする。
また、選択された色は格納される。この処理は残りの３つの領域全てにおいて反復される。選択されない色は全て、第４の変換された色に割り当てられる。
この結果形成された４つの色の層をオペレータが是認した場合は、現フレームから選択された色と変換された色との間の参照テーブル（ＬＵＴ）が生成される。
必要ならば、制御用コンピュータシステム１６は、後に第１８図を参照しつつ説明するＬＵＴ補正サイクルにおいて後で用いるためにオペレータが選択した画素を格納することができる。
制御用コンピュータシステム１６は、ＬＵＴと、それを生成するために用いられる画素とからなるフレームデータを画像埋め込みシステムに供給する。システム１４は上述のフレームデータを利用して、入力映像信号の各フレームにおける所望の特徴を同定する。
ここで、第５図を参照すると、画像埋め込みシステム１４の概要が示されている。また、システム１４の動作の理解に役立つ第６図及び第７図も参照されたい。
システム１４は、典型的には、各入力映像フレームに存在するコート３２の特徴を同定する特徴同定ユニット６０と、作動しているカメラ３０から見たアングルとズーム量を同定し、適切なモデル５０と入力映像フレームとの間の透視画像変換を求める透視画像同定ユニット６２とを含む。システム１４は更に、埋め込みデータをモデルの平面から映像の視点からみた平面に変換する変換器６４と、透視画像の埋め込みデータと現映像フレームと合成して、コート３２に画像４２を埋め込む合成器６６とを含む。
以下に詳細を示すように、特徴同定ユニット６０はＬＵＴを用いて入力フレームの背景マスクを生成する。背景マスクは、注目する背景の特徴となり得るのが映像フレームのどの部分か、またどの部分が前景、即ち後に実施される処理において不変の部分かを示すものである。第６図及び第７図は、それぞれ具体例としての入力フレーム６８及びそれに対応する背景マスク７０を示した図である。
第６図の入力フレームには、コート３２上の２名のプレーヤー４４が含まれている。第７図の背景マスク７０は、４色の各領域を示す。１〜４の数字を付された各領域はそれぞれ、ラインの色の領域、コートの内側の色の領域、コートの外側の色の領域、元の色の領域である。プレーヤー４４の部分は背景色４が付され、白色ライン１の領域等の他の重要な領域の上に覆い被さって見えるようにされる。
ユニット６０（第５図参照）は、背景マスク７０から競技場の特徴を抽出する。テニスコートの場合は、注目すべき特徴はライン３８である。透視画像同定ユニット６２は、抽出された特徴とモデル５０の特徴とを比較して、そこから変換マトリクスを生成する。
変換器６４は、この変換マトリクスを用いて画像埋め込みデータ（即ち、埋め込まれる画像４２、画像位置選定マスク５６、及び混色マスク５８）を入力映像フレームの透視画像に変換する。
最後に、変換された画像位置選定マスク５６及び背景マスク７０を用いて、合成器６６が、画像４２の透視画像バージョンを入力映像フレームの背景部分の所望の位置に埋め込む。従って、プレーヤーがコート３２上の画像４２が埋め込まれる部分を歩く場合、埋め込まれた画像の“上”を歩いているように見えることになる。必要ならば、変換された混色マスク５８を用いて、画像４２と、画像４２が埋め込まれる競技場の色とを混合することもできる。
ここで第８図を参照すると、特徴同定ユニット６０の動作の詳細が示されている。ステップ７２において、ユニット６０はＬＵＴを用いて、入力映像フレームを、多くの色を有するフレームから背景マスク７０と称する４色の画像に変換する。詳述すると、テニスコート３２の場合、ＬＵＴが、ライン３８の色を有する画素に第１値を、コートの内部３６の色を有する画素に第２値を、コートの外部４０の色を有する画素に第３値を、残りの画素に（前景画素値を表す）第４値を与える。このことは第７図に示されている。ＬＵＴは、当該技術分野において周知のさまざまな方法のうちで適当なものを１つを用いて実現され得る。
背景マスク７０は、注目する背景に属する画素を画定するのみならず、ライン３８等の注目する特徴を内部に含んでいる。従って、ステップ７４において、特徴同定ユニット６０は、背景マスク７０を処理して所望の特徴を抽出する。ＬＵＴは、典型的には単一の色値を有する特徴が得られるように設計されているが、必ずしもそのようである必要はない。
テニスの試合を例にとると、上記の抽出を行う過程は、第１値を有する背景マスク７０の画素を検査する過程と、そこからラインの一部分の線分であるラインセグメントを抽出する過程とを含む。例えば、ステップ７４は、背景マスク７０にハフ変換を施すことによって実行され得る。ハフ変換については、Ａｃａｄｅｍｉｃ Ｐｒｅｓｓより１９８２に刊行された、Ｄｉｇｉｔａｌ Ｐｉｃｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ第２版Ｖｏｌ．２（著者は、Ａｚｒｉｅｌ ＲｏｓｅｎｆｅｌｄとＡｖａｎａｓｈ Ｃ． Ｋａｋ）なる本の１２１〜１２６頁に記載されており、ここではこれを参照されたい。
この処理の結果形成されるのは、ラインパラメータのアレイであって、各ラインパラメータは、背景マスク７０におけるラインセグメントのそれぞれを記述するものである。各セグメントに対するラインパラメータには、そのラインを表す直線の方程式の係数が、セグメント内に含まれる画素数を表す加重値とともに含まれている。
以上とは異なる抽出の方法が、第９Ａ図、第９Ｂ図、及び第９Ｃ図に示されており、以下簡潔に説明する。第９Ａ図に概要が示されているように、この方法は、初めに注目する色（この例では白色）を有する背景マスク７０の第１画素６９（第９Ｂ図参照）から始めて、その近傍７５を調べて更に白色の画素がある部位（図面において斜線で示されている）がどこかを判定する。これを行うために、この方法では、近傍７５を所定のサイズのサブセクタ７１〜７４に分割し、各サブセクタ内の白色画素の分布のヒストグラムを生成する。第９Ｃ図に示すのは、第９Ｂ図のサブセクタ７１〜７４に対するヒストグラムである。ここで最大値を示すもの（サブセクタ７３）が、次に探索されるセクタとして選択される。
次のステップにおいて、選択されたサブセクタ７３とその拡張部分とからなる新たな近傍７８が画定される。近傍７８全体は、近傍７５の２倍の長さを有する。この新たな近傍７８は４つのサブセクタ７６に再分割され、前述のプロセスが反復される。
このプロセスは、以下の条件の１つが満たされるまで継続される。即ち、 １．このサブセクタが、直線として画定されるだけの十分な狭さを示すものであること。
２．ヒストグラムにおいて、著しく突出した最大値が存在しないこと。
条件１が満たされた場合は、直線の式の係数が格納され、次にその直線を形成する画素が“元の色”を有するように“着色”されて、探索の対象から除外されるようにする。
特徴抽出プロセスによって、真の特徴と曲がりくねったラインとをともに有する、特徴となり得るもののアレイが生成される。
ここで、第１０図を参照すると、第５図の透視画像同定ユニット６２の動作の概要が示されている。また、ここでは、ユニット６２の動作を理解するのに役立つ第１１Ａ図及び第１１Ｂ図、テニスコート３２の例におけるユニット６２の動作の詳細を示す第１３図、また、第１３図に詳細が示された動作を理解するのに役立つ第１２Ａ図、第１２Ｂ図、第１２Ｃ図、第１４Ａ図、及び第１４Ｂ図も参照されたい。
ステップ８０において、ユニット６２は、アプリオリに与えられた情報を用いて特徴になり得るもののアレイを処理し、求める特徴である見込みが最も高い特徴がいずれかを決定する。ステップ８２において、ユニット６２は結果的に得られた真の特徴の中から最小となる特徴の集合を選択し、それをモデル５０の特徴にマッチングさせる。このプロセスは、マッチングが得られるまで、必要な回数だけ反復される。ステップ８４においては、マッチした特徴を用いて、モデルを入力映像フレームにおける特徴に変換するマトリクスＭを生成する。
テニスコート３２の例の場合は、ステップ８０において、モデル５０のライン３８が２つの方向（垂直方向及び水平方向）と平行であるという事実、及び（入力映像フレーム等の）透視画像においては実際には平行であるライン同士が無限遠点において交差するという事実が利用される。このことは、第１１Ａ図において、実線で示された抽出された全てのラインセグメントの、破線で示された延長部分によって示されている。実際には平行なライン（例えば擬似平行ライン９０）に対応する透視画像のラインは、フレームの外辺部９２から離れた外部にある点９１において交差する。符号９４が付された他の全ての交点は、外辺部９２の内部または境界の近くに形成される。
しかしながら、第１１Ｂ図に示すように、数値化における誤差が原因で、この３本の擬似平行ラインの延長部分が一点で交差しないことがあり得る。
実際に、交点が互いに大きく隔たった３つの点９６となることがあり得る。
本出願人は、透視画像の平行線が無限遠点で交差することから、抽出されたラインを漸近関数に投影することによって隔たった交点を接近させられることに気づいた。従って、本発明の好適実施例によれば、抽出されたラインセグメントは２次元漸近関数に投影される。このような投影の１つは、“グノモニック投影（Gnomonic Projection）”として知られている。これは米国マサチューセッツ州ケンブリッジ（Cambridge）のＭＩＴ Ｐｒｅｓｓから１９８６年に刊行されたＲｏｂｏｔ Ｖｉｓｉｏｎ（著者はＢｅｒｔｈｏｌｄ Ｋｌａｕｓ Ｐａｕｌ Ｈｏｒｎ）なる本の２５８頁、２５９頁、及び２７５頁に記載されており、ここではこれを参照されたい。グノモニック投影の例は、第１２Ａ図及び第１２Ｂ図に示されている。
グノモニック投影においては、ＸＹ平面１０２上の点１００は半球１０４上の点１００′に投影される。ＸＹ平面内のライン１０６は、半球１０４上の大弧（great arc）（即ち、球の大円の一部である弧）１０６′に投影される。原点は南極１０９によって表され、無限遠は赤道１０８によって表される。従って、赤道１０８近傍のクラスタ（cluster）１１０（第１２Ｂ図参照）は、擬似平行線の交点を表し、このクラスタ１１０に重なる点を有する直線は平行線である。
第１２Ｂ図に示すのは、任意の抽出されたラインセグメントのいくつかに対応する複数の大弧１２０ａ〜１２０ｆである。３本の弧１２０ａ〜１２０ｃは、赤道１０８近傍のクラスタ１１０ａを形成する交点１２２を有する。大弧１２０ｄ〜１２０ｆも赤道近傍で交差するが、その交点が形成するのはクラスタ１１０ｂである。全ての大弧は互いに交差するが、他の交点は赤道１０８よりも南極１０９に近い位置に存在する。
ステップ１３０（第１３図参照）において、グノモニック投影を用いて、特徴の抽出プロセス（ステップ７４、第８図参照）で生成されたラインセグメントのアレイから大弧のアレイが生成される。
ステップ１３２において、赤道１０８の周辺の領域が探索されて、交点１２２の全てが検出される。各交点に対しては値Ｖkが与えられる。値Ｖkは、交差するラインセグメントの重み値Ｗi及び交点１２２のＺ座標の関数である。関数Ｖkの一例は、以下の方程式１で与えられる。
ここで、ｆ（Ｚintersection point）は、第１２Ｃ図の曲線１３４に似た曲線で表される何らかの関数であって、この関数では殆どの点に対する値は小さく、赤道近傍の点（Ｚ＝１）のみが１に近い数値をとる。ｆ（Ｚintersection point）
の一例としては、Ｚ5がある。
ステップ１３６において、各交点１２２近傍において、他の交点が探索される。他の交点が検出された場合は、初めの交点と検出された交点とが、クラスタ１１０（第１２Ｂ図参照）として格納される。クラスタ１１０は、ｆ（Ｚintersection point）の値が所定の閾値を上回るものとしても定義される。従って、クラスタ１１０は交点を１つしか含まないものであり得る。第１２Ｂ図において３つのクラスタ１１０ａ〜１１０ｃが示されており、その１つであるクラスタ１１０ｃは交点１２２を１つしか含んでいない。
ひとたび全ての点が探索されると、クラスタ内の点の“重心”を求めることにより、各クラスタ１１０の位置が決定される。クラスタの重みとなるのは、クラスタ内の各点の値Ｖkの合計である。
ステップ１３８において、クラスタのなかから重み値が大きい順に２つのクラスタが選択される。例えば第１２Ｂ図においては、クラスタ１１０ａ及び１１０ｂが選択される。
ステップ１４０において、クラスタの１つは“垂直”ラインを表すものとみなされ、他の１つは“水平”ラインを表すものとみなされる。また、ステップ１４０において、２つの選択されたクラスタのラインに対応するラインセグメントが、それぞれ“垂直”及び“水平”なるマークを付される。
ステップ１４２において、“垂直”ライン及び“水平”ラインが検査され、最も重い垂直ラインが重みの順に２つと、最も重い水平ラインが重みの順に２つ選択される。ここで“最も重い”重さは、Ｗiの値によって決定される。選択された各ラインには符号１４６が付され、第１４Ａ図において第１１Ａ図の各ラインに対応するものとして示されている。ステップ１４４において、符号Ａ、Ｂ、Ｃ、及びＤを付して示された４つの選択されたラインの交点が決定され、かつ格納される。第１４Ａ図に示すように、選択されたラインがフレームの外側で交差してもよい。
ステップ１３０〜１４４は、映像フレーム内の真の特徴を同定する（第１０図のステップ８０参照）のに必要な処理である。ステップ１４４の出力は、後にモデルにマッチングされる特徴である。残りのステップでは、統合された一連の処理として特徴をモデルにマッチングさせ、かつ変換を求める（第１０図のステップ８２及び８４）。
標準的なテニスコートは５本の垂直ラインと４本の水平ラインとを有する。コートの２つの半面のそれぞれを異なるものにすることはできないので、３本の水平ラインのみが重要となる。３本の水平ラインから２本を選択（３つの組み合わせが存在する）し、かつ５本の垂直ラインから２本を選択（１０の組み合わせが存在する）することによって形成され得る矩形の個数は３０である。３０個の矩形は、それぞれ４つの異なる方向を向き得るので総数１２０個の矩形が考えられる。
ステップ１５０において、幾何学的モデル５０における１２０個の矩形の１つの選択が、符号Ａ′、Ｂ′、Ｃ′、及びＤ′を付された４つの頂点（第１４Ｂ図参照）を選択することにより行われる。図示されているように、これは正しくマッチングがとられていない。
ステップ１５２において、モデルの４つの点Ａ′、Ｂ′、Ｃ′、及びＤ′（第１４Ｂ図参照）を映像フレーム内の４つの点Ａ、Ｂ、Ｃ、及びＤ（第１４Ａ図参照）に変換するマトリクスＭが決定される。このマトリクスＭは、第１５図を参照しつつ説明されるように、連続した変換処理の重ね合わせとして表され得るものである。
第１５図には、３つの矩形１８０、１８２、及び１８４が示されている。矩形１８０は、ＸＹ平面内のモデルの矩形ＡＢＣＤであり、矩形１８２は、ＴＳ平面内の頂点（０，１）、（１，１）、（０，０）、及び（１，０）を有する単位正方形であり、また、矩形１８４はＵＶ平面内の透視画像の矩形である。
モデルの矩形１８０から透視画像の矩形１８４への変換Ｍは、２つの変換、即ち矩形１８０を単位正方形１８２に変換する平行移動及び格段縮小マトリクスＴと単位正方形１８２を矩形１８４に変換する透視画像マトリクスＰとを重ね合わせとして表され得る。同次の座標のマトリクスＴは、以下のようなものである。
ここでＳｘ及びＳｙは、それぞれＸ方向及びＹ方向への拡大縮小因子であり、Ｔｘ及びＴｙは、Ｘ軸及びＹ軸の平行移動因子である。Ｓｘ、Ｓｙ、Ｔｘ、及びＴｙは、以下の方程式で決定される。
ここで、（ｘ，ｙ，１）は矩形１８０の４つの頂点の座標であり、（ｓ，ｔ，１）は単位正方形１８２の４つの頂点の座標である。
同次座標におけるマトリクスＰは以下のようなものである。
マトリクスＰの成分は以下の方程式を解くことによって求められる。
ここで、（ｕ，ｖ，ｗ）は、第１５図に示すように、既知の矩形１８４の頂点Ａ、Ｂ、Ｃ、及びＤの座標であり、ｗは常に標準化される。
ａ３３＝１と仮定すると、Ｐは以下のように求められる。
即ち、（ｓ，ｔ，１）＝（０，０，１）から、
（ｓ，ｔ，１）＝（１，０，１）から、
（ｓ，ｔ，１）＝（０，１，１）から、
（ｓ，ｔ，１）＝（１，１，１）から、
更に、方程式７〜９より、未知数ａ１３及びａ２３を含む２つの方程式が以下のように求められる。
ひとたびａ１３及びａ２３が求められれば、残りの成分も方程式７及び８から求められる。
変換マトリクス若しくは写像マトリクスＭは、以下のようなマトリクスＴとＰとの積のマトリクスである。
ステップ１５４において、モデル５０のライン３８は、マッピングマトリクスＭを用いて映像フレーム上に写像される。この結果、変換されたモデルの画素が存在する全ての位置において１の値を有し、他の全ての位置では０の値を有する変形したフレーム１５６（第１６図参照）が得られる。図示したように、点Ａ′、Ｂ′、Ｃ′、及びＤ′は、それぞれ点Ａ、Ｂ、Ｃ、及びＤに一致する。しかし、幾何学的モデルの他の部分はマッチしない。
ステップ１５８において、変形したフレーム１５６は、背景マスク７０（第７図参照）とともに排他的論理和演算（ＸＯＲ）処理される。ＸＯＲステップからの出力０が得られるのは以下の２つの場合である。即ち、ａ）変形したフレーム１５６の画素が値１を有し、映像フレームの画素が競技場のラインの色を有する場合と、ｂ）変形したフレーム１５６が値０を有し、映像フレームの画素が“ライン以外の領域”の色を有する場合である。これ以外の場合には、値１が得られる。
ステップ１６０及びステップ１６１において、値１を有する画素の個数が数えられるが、この値は変換マトリクスＭに関係する。
全てのマトリクスＭが求められた後、ステップ１６２において、重みが最小のマトリクスが選択される。画像間のマッチングが得られない（例えば、映像がコマーシャル映像であったり、テレビカメラ３０が観客を映している場合等）可能性があるので、ステップ１６４において、選択されたマトリクスの重みと閾値とが照合される。閾値を上回っている場合は、ゼロ変換マトリクスが得られる。閾値以下の場合は、選択されたマトリクスは変換マトリクスＭとして画定される。前段階のいずれかにおけるテスト条件に誤りがあった場合にも、ゼロ変換マトリクスが得られる。
ここで第１７図を参照すると、第５図の合成器６６及び変換器６４の動作が示されている。変換器６４は変換マトリクスＭを用いて、画像４２、画像位置選定マスク５６、及び混色マスク５８のそれぞれを、映像フレーム平面内に入るように変形する（ステップ１７０）。この変換器は、変形した画像位置選定マスクと背景マスクとの論理積演算（ＡＮＤ処理を行って、許容マスクを生成することも行う。許容マスクとは、背景画素であって、かつ映像領域内にある画素を示すものをいう。この画素上に画像の埋め込みが行われる。
合成器６６は、混色マスク及び許容マスクに基づき、変形した画像を映像フレームを結合する。各画素（ｘ，ｙ）において実行される演算を式で表すと、典型的は以下のようになる。
ここで、Ｏｕｔｐｕｔ（ｘ，ｙ）は出力されるフレームの画素値であり、ｉｍａｇｅ（ｘ，ｙ）及びｖｉｄｅｏ（ｘ，ｙ）は、それぞれ埋め込まれる画像４２及び映像フレームにおける値であり、ａ（ｘ，ｙ）は、混色マスクにおける値であり、また、Ｐ（ｘ，ｙ）は許容マスクにおける値である。
以上の記述においては、背景マスク７０の生成に用いられたＬＵＴが、試合が行われている間全体に亘って正しく維持されていることが仮定されている。ライティングの変化が生ずる場合（典型的には屋外で行われる試合の場合に生ずる）
、映像シーケンスの色が変化することがあり、この結果、背景マスク７０が背景要素を正しく示すことができなくなる。
そのため、補正プロシジャを周期的に実行することがある。補正プロシジャの詳細は第１８図に示されており、ここではこれを参照されたい。
較正プロセスにおいて、背景における注目すべき特徴（例えば、競技場のライン、コートの内部領域及び外部領域）を示すテストスポット（test spots）が、オペレータによって選択される。このスポットの位置は、その色値とともに保存される。
ひとたび較正映像フレーム用マトリクスが決定されると、テストスポットの位置は、（例えば、マトリクスＭの逆マトリクスを用いて）映像フレーム平面から幾何学的モデル平面へと変換される。その後に較正が必要になったとき、テストスポットは現映像フレームへと変換される。現映像フレーム内の変形したテストスポットが選択され、その近傍が標本化される。各近傍の色特性が（例えばヒストグラムを用いて）計算され、その結果が保存されたスポットの特性と比較される。色に関して著しい変化が生じている場合は、ＬＵＴは補正され、当該スポットが幾何学的モデルに変換されて保存される。
本発明は、テニスの映像に対する上述ような処理のみならず、背景情報が固定的で既知であるような他の状態の映像に対する処理をも包含するものであるということを理解されたい。上述の処理は、以下に記述するようにトラッキングを通して、或いはカメラパラメータの認識を通してさまざまな改変が可能である。
各カメラの位置、回転角、及びズーム量についての情報が（外部より、もしくはシステム内で決定されて）与えられたとき、透視画像マトリクスＰの自由度が小さくなることから、上述の処理の短縮化が可能となる。
詳述すると、透視画像マトリクスＰは、利用されるカメラの位置、回転角、及びズーム量に関する情報を含んでいる。この情報を拡張することもでき、透視画像マトリクスＰ（若しくは、同様に、変換マトリクスＭ）を各カメラパラメータの関数として定義し直すことが可能である。
第１９図に示すのは、カメラ及びそのパラメータである。その位置は、Ｘ、Ｙ、Ｚ座標系１７２の原点からの座標（ｘ，ｙ，ｚ）を有するベクトル１７１により表される。カメラは、それぞれ矢印１７３、１７４、及び１７５で表されるカメラの軸Ｕ、Ｖ、及びＷを中心に仰角を変え、傾斜し、向きを変え、パン撮りする。更に、カメラレンズが矢印１７６で表されるＶ軸に沿ってズーミングすることも可能である。
カメラが仰角を変えず、また、カメラのアスペクト比（即ち、カメラの生成する画像の画素の幅と高さの比）により正方形の画素が画定されるものと仮定すると、透視画像マトリクスＰは、カメラの位置（ｘ，ｙ，ｚ）、傾斜、方位、及びズーム量の関数としてパラメータ表示され得る。カメラはフレーム毎にその位置を変えることはないが、その傾斜、方位、アングルまたはズーム量は変化する。
第２０図、第２１図、及び第２２図は、カメラパラメータを求めて利用する方法を示している。第２０図に示すように、映像フローの中で急激な場面転換が新たに認識されたとき、第１０図に示すような画像画同定プロセス（ステップ１８０）が、新たなカットの第１フレームから実施される。ステップ１８０において、透視画像マトリクスＰの成分ａ（ｉ，ｊ）が生成される。このプロセスは２つの方向に進行する。即ち、 ａ）変換マトリクスＴが決定され、第１３図のステップ１５４から開始される。また、 ｂ）マトリクスＰからカメラの位置座標（ｘ，ｙ，ｚ）が抽出される（ステップ１８４）。これについては、ＭＩＴ Ｐｒｅｓｓから１９９３年に刊行されたＴｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ： Ａ Ｇｅｏｍｅｔｒｉｃ Ｖｉｅｗｐｏｉｎｔ（著者はＯｌｉｖｅｒ Ｆａｕｇｅｒａｓ）なる本の３．４章に記載されており、ここではこれを参照されたい。
ひとたびカメラの位置座標（ｘ，ｙ，ｚ）が抽出されると、以下のように、２つの条件についてのチェック（ステップ１８６及び１８８）が実行される。
ステップ１８６の条件：カメラが方向１７４について仰角を変えること（回動）をしない。成分ａ１３がゼロでないときは、仰角の変化が起こる。
ステップ１８８の条件：カメラのアスペクト比（ＡＲ）が正方形の画素を画定する。（即ち、ＡＲ＝１）
両条件が満たされた場合、Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎに記載のように、マトリクスＰが、以下のマトリクスの積として表し直される。即ち、 ａ）ズーム（ｆ）：カメラの集束面への投射のマトリクス。
ｂ）平行移動：座標系の原点を計算上のカメラの位置（ｘ，ｙ，ｚ）に平行移動するマトリクス。
ｃ）傾斜（α）：軸Ｕに関する角度αの回転のマトリクス。
ｄ）方位（Θ）：軸Ｗに関する角度Θの回転のマトリクス。
ズーム、傾斜、方位、及び平行移動についての各値が与えられると、第１カメラは完全に較正され（ステップ１９２）、そのパラメータが、表１９４（第２１図参照）の所定のカメラの部分に記入される如く登録される。他のカメラについても、以下に述べるように、それが特定された上で表１９４に登録される。
次に、第２２図に示すように、短縮化された計算処理プロセスが、全ての映像フレームについて実行される。初めに、フレームを検査して、α、Θ、及びｆを用いて前フレームとの類似度を求める。類似度は、マッチング係数（即ち、フレーム内の注目する画素のうち、計算されたマトリクスによりモデルにうまく写像できる画素のパーセンテージ）によって評価される。類似度が良好な場合は、計算されたマトリクスを、（第１７図を参照しつつ説明した）埋め込みプロセスに利用することが可能である。マッチング係数が小さい場合は、このフレームは、表１９４に記載されている別のカメラで撮像される。
他のカメラを見つけ出すために、現フレームの検査、及びその中の一本のラインの同定がなされる必要がある。更に、同定されたライン上の点、例えば他のラインとの交点の１つが同定される（ステップ１９８）必要がある。通常、同定されるラインは、“濃度の最も高い（strongest）”ラインである。
ステップ２００において、表１９４に列挙された各カメラに対するマッチング値が、以下のように求められる。
同定されたライン及び点は、幾何学的モデルにおけるライン及び点と連係しており、また、この連係をなさしめる透視画像マトリクスＰは、モデルのライン及び点を特定のライン及び点に変換するものとして求められる。各透視画像マトリクスＰが、現時点のカメラの（既知である）位置座標（ｘ，ｙ，ｚ）、及び（未知の）傾斜α、方位Θ、及びズームｆの関数であることから、結果的に透視画像マトリクスＰは、特定のライン及び点がモデルのライン及び点に適切にマッチすることを仮定すると、計算され得る傾斜、方位、及びズーム量の数値によって求められ得ることになる。
第１０図の方法の如く、変換マトリクスＭは、透視画像マトリクスＰから求められ、幾何学的モデルは、マトリクスＭによってフレームにおける画像の平面に変換される。モデルのラインは、画像におけるラインにマッチングされ、マッチング値が生成される。
モデルにおけるライン及び点を特定されたライン及び点に連係させ、既知のカメラの位置座標及び対応するライン及び点から透視画像マトリクスＰを生成し、結果としてのマッチング値を求めるプロセスは、幾何学的モデル内の各ラインと点との組み合わせに対して繰り返し実施される。整合値が１よりかなり小さな値となり、マッチングが不良であることが示された場合は、上述の特定のライン及び点に対するマッチングプロセスが、その位置座標（ｘ，ｙ，ｚ）が既知である別のカメラに対して実施される。
各カメラに対する計算されたマッチング係数のなかで最大のものが、表１９４（第２１図参照）の符号２０２を付された列に書込まれる。ステップ２０４において、最大の係数２０２に対応するカメラが選択され、係数が所定の閾値より大きい場合は、その透視画像マトリクスＰが第１７図の画像の埋め込みプロセスにおいて利用される。列２０２にける係数の最大値が閾値に及ばない場合は、現フレームを撮像するどのカメラも用いられない。また、第１０図のプロセスを実施した後には、第２０図のカメラ同定プロセスを実施しなければならない。
本発明が上述の特定の実施例に限定されるものでないということが、当業者には理解されよう。本発明の範囲は、次の請求の範囲の項で定められる。
【特許請求の範囲】
１．固定的な表面領域を有し、少なくとも１台のカメラにより非限定的に走査される背景空間内部において生起する動きの映像ストリームに、別の画像を合成するシステムであって、 一度に一枚の映像フレームを取り込む映像フレームグラバーと、 画像埋め込みシステムとを有し、 前記画像埋め込みシステムが、 ａ）前記固定的な表面領域の平面図モデルと、ｂ）前記モデルの、前記画像が合成される予め選択された部分を示す画像マスクとを受け取る受け取り手段と、 前記平面図モデルを用いて、前記予め選択された部分が前記映像フレーム内に示されているか否かを判定し、かつ示されている場合その位置を求める選択部分同定手段と、 前記選択部分同定手段の出力を用いて、前記予め選択された部分が前記映像フレーム内に示されている場合、前記画像を前記固定的な表面領域の前記予め定められた部分に前記画像を埋め込む埋め込み手段とを有することを特徴とする画像合成システム。
２．前記画像及び前記画像マスクをそれらを用いる前にデザインし、前記受け取り手段と必要に応じて通信するデザインワークステーションを更に有することを特徴とする請求項１に記載のシステム。
３．前記選択部分同定手段が、 前記一枚の映像フレームを検査し、前記固定的な表面領域の特徴を抽出する検査抽出手段と、 前記モデルと抽出された前記特徴との間での透視画像変換を求める変換決定手段とを含むことを特徴とする請求項１に記載のシステム。
４．前記検査抽出手段が、背景マスク及び前記マスクを生成するマスク生成手段と、前記背景マスクを用いて所望の特徴を抽出する抽出処理手段とを含むことを特徴とし、 前記背景マスクが、注目する特徴、背景要素、及び前景要素の部位を示すことを特徴とし、 前記前景マスクが、前記背景マスクにおける前記前景のデータ部分からなることを特徴とし、 前記抽出処理手段が、前記背景マスクの注目する部分の特徴を用いて、前記所望の特徴を抽出することを特徴とする請求項３に記載のシステム。
５．前記マスク生成手段が、前記フレームにおけるさまざまな色を、前記注目する特徴の色、前記背景要素の色、及び前記前景要素の色の３色の内の１色に変換するための参照テーブルを含むことを特徴とする請求項４に記載のシステム。
６．前記マスク生成手段が、 使用者によって指定された複数の色から前記参照テーブルを生成する手段と、 前記複数の色が、前記注目する特徴及び前記背景要素を示さなくなったときに、前記参照テーブルを補正する補正手段とを含むことを特徴とする請求項５に記載のシステム。
７．前記埋め込み手段が、 前記透視画像変換により、前記画像及び前記画像マスクを変換する手段と、 変換された前記画像及び変換された前記画像マスクを、前記１枚のフレームと、前記変換された画像によってカバーされない前景データの部位を示す前記前景マスクとの双方と合成する手段とを含むことを特徴とする請求項４に記載のシステム。
８．前記埋め込み手段が、 前記透視画像変換により、前記画像、前記画像マスク、及び混色マスクを変換する手段と、 変換された前記画像、変換された前記画像マスク、及び変換された前記混色マスクを、前記１枚のフレームと、前記変換された画像によってカバーされない前景データの部位を示す前記前景マスクとの双方と合成する手段とを含むことを特徴とする請求項４に記載のシステム。
９．前記特徴がラインであることを特徴とする請求項４に記載のシステム。
１０．前記検査抽出手段がハフ変換を含むことを特徴とする請求項９に記載のシステム。
１１．前記検査抽出手段が、画素の近傍を調査して継続的に前記近傍を狭めてゆくことにより、前記ラインの各セグメントの傾きを求める手段を含むことを特徴とする請求項９に記載のシステム。
１２．前記変換決定手段が、前記特徴のなかで平行線の透視画像であるものがいずれかを求めるべく、抽出された前記特徴を漸近関数に投影する手段を含むことを特徴とする請求項９に記載のシステム。
１３．前記背景空間がスポーツ競技場であることを特徴とし、 前記変換決定手段が、 前記モデルにおける矩形及びその頂点の位置のリストと、 抽出された前記特徴から２本の垂直ライン及び２本の水平ラインを選択し、それらの交点を求める手段と、 前記モデルにおける各矩形の頂点から前記特徴の前記交点に変換する複数の変換マトリクスを生成する手段と、 各前記変換マトリクスによって前記モデルを変換する手段と、 前記背景マスクの前記背景要素を用いて、各変換された前記モデルと前記一枚の映像フレームとをマッチングさせる手段と、 前記映像フレームの前記特徴と最もよくマッチする前記変換マトリクスを１つ選択する手段とを含むことを特徴とする請求項９に記載のシステム。
１４．前記変換決定手段が、 カメラの組の位置座標を受け取る、若しくは抽出する手段と、 現時点の変換を、カメラの位置座標、傾斜、方位、及びズーム量についての各マトリクスの積として表し、ついで傾斜、方位、及びズーム量の各値を求める手段と、 計算された前記傾斜、方位、及びズーム量の各値を有するカメラを特定し、その情報を格納する手段と、 新たなカットの映像が現れる度に、位置座標の受け取り、マトリクス表現、及びカメラの特定の各処理を反復する手段とを更に含むことを特徴とする請求項１３に記載のシステム。
１５．固定的な表面領域を有し、少なくとも１台のカメラにより非限定的に走査される背景空間内部において生起する動きの映像ストリームに、別の画像を合成する方法であって、 一度に一枚の映像フレームを取り込む過程と、 ａ）前記固定的な表面領域の平面図モデルと、ｂ）前記モデルの、前記画像が合成される予め選択された部分を示す画像マスクとを受け取るモデル及びマスク受け取り過程と、 前記平面図モデルを用いて、前記予め選択された部分が前記映像フレーム内に示されているか否かを判定し、かつ示されている場合その位置を求める選択部分同定過程と、 前記選択部分同定過程の出力を用いて、前記予め選択された部分が前記映像フレーム内に示されている場合、前記画像を前記固定的な表面領域の前記予め定められた部分に前記画像を埋め込む画像埋め込み過程とを有することを特徴とする画像合成方法。
１６．前記画像及び前記画像マスクをそれらを用いる前にデザインし、前記モデル及びマスク受け取り過程の処理を行う手段と必要に応じて通信する過程を更に有することを特徴とする請求項１５に記載の方法。
１７．前記選択部分同定過程が、 前記一枚の映像フレームを検査し、前記固定的な表面領域の特徴を抽出する特徴抽出過程と、 前記モデルと抽出された前記特徴との間での透視画像変換を求める変換決定過程とを含むことを特徴とする請求項１５に記載の方法。
１８．前記特徴抽出過程が、背景マスク及び前記マスクを生成するマスク生成過程と、前記背景マスクを用いて所望の特徴を抽出する抽出処理過程とを含むことを特徴とし、 前記背景マスクが、注目する特徴、背景要素、及び前景要素の部位を示すことを特徴とし、 前記前景マスクが、前記背景マスクにおける前記前景のデータ部分からなることを特徴とし、 前記抽出処理過程において、前記背景マスクの注目する部分の特徴を用いて、前記所望の特徴を抽出することを特徴とする請求項１７に記載の方法。
１９．前記マスク生成過程が、前記フレームにおけるさまざまな色を、前記注目する特徴の色、前記背景要素の色、及び前記前景要素の色の３色の内の１色に、参照テーブルを介して変換する過程を含むことを特徴とする請求項１８に記載の方法。
２０．前記マスク生成過程が、 使用者によって指定された複数の色から前記参照テーブルを生成する過程と、 前記複数の色が、前記注目する特徴及び前記背景要素を示さなくなったときに、前記参照テーブルを補正する過程とを含むことを特徴とする請求項１９に記載の方法。
２１．前記画像埋め込み過程が、 前記透視画像変換により、前記画像及び前記画像マスクを変換する過程と、 変換された前記画像及び変換された前記画像マスクを、前記１枚のフレームと、前記変換された画像によってカバーされない前景データの部位を示す前記前景マスクとの双方と合成する過程とを含むことを特徴とする請求項１８に記載の方法。
２２．前記画像埋め込み過程が、 前記透視画像変換により、前記画像、前記画像マスク、及び混色マスクを変換する過程と、 変換された前記画像、変換された前記画像マスク、及び変換された前記混色マスクを、前記１枚のフレームと、前記変換された画像によってカバーされない前景データの部位を示す前記前景マスクとの双方と合成する過程とを含むことを特徴とする請求項１８に記載の方法。
２３．前記特徴がラインであることを特徴とする請求項１８に記載の方法。
２４．前記特徴抽出過程が、ハフ変換を行う過程を含むことを特徴とする請求項２３に記載の方法。
２５．前記特徴抽出過程が、画素の近傍を調査して継続的に前記近傍を狭めてゆくことにより、前記ラインの各セグメントの傾きを求める過程を含むことを特徴とする請求項２３に記載の方法。
２６．前記変換決定過程が、前記特徴のなかで平行線の透視画像であるものがいずれかを求めるべく、抽出された前記特徴を漸近関数に投影する過程を含むことを特徴とする請求項２３に記載の方法。
２７．前記背景空間がスポーツ競技場であることを特徴とし、 前記変換決定過程が、 前記モデルにおける矩形及びその頂点の位置のリストを作成する過程と、 抽出された前記特徴から２本の垂直ライン及び２本の水平ラインを選択し、それらの交点を求める過程と、 前記モデルにおける各矩形の頂点から前記特徴の前記交点に変換する複数の変換マトリクスを生成する過程と、 各前記変換マトリクスによって前記モデルを変換する過程と、 前記背景マスクの前記背景要素を用いて、各変換された前記モデルと前記一枚の映像フレームとをマッチングさせる過程と、 前記映像フレームの前記特徴と最もよくマッチする前記変換マトリクスを１つ選択する過程とを含むことを特徴とする請求項２３に記載の方法。
２８．前記変換決定過程が、 カメラの組の位置座標を受け取る、若しくは抽出する過程と、 現時点の変換を、カメラの位置座標、傾斜、方位、及びズーム量についての各マトリクスの積として表し、ついで傾斜、方位、及びズーム量の各値を求める過程と、 計算された前記傾斜、方位、及びズーム量の各値を有するカメラを特定し、その情報を格納する過程と、 新たなカットの映像が現れる度に、位置座標の受け取り、マトリクス表現、及びカメラの特定の各処理を反復する過程とを更に含むことを特徴とする請求項２７に記載の方法。
１．固定的な表面領域を有し、少なくとも１台のカメラにより非限定的に走査される背景空間内部において生起する動きの映像ストリームに、別の画像を合成するシステムであって、 一度に一枚の映像フレームを取り込む映像フレームグラバーと、 画像埋め込みシステムとを有し、 前記画像埋め込みシステムが、 ａ）前記固定的な表面領域の平面図モデルと、ｂ）前記モデルの、前記画像が合成される予め選択された部分を示す画像マスクとを受け取る受け取り手段と、 前記平面図モデルを用いて、前記予め選択された部分が前記映像フレーム内に示されているか否かを判定し、かつ示されている場合その位置を求める選択部分同定手段と、 前記選択部分同定手段の出力を用いて、前記予め選択された部分が前記映像フレーム内に示されている場合、前記画像を前記固定的な表面領域の前記予め定められた部分に前記画像を埋め込む埋め込み手段とを有することを特徴とする画像合成システム。
２．前記画像及び前記画像マスクをそれらを用いる前にデザインし、前記受け取り手段と必要に応じて通信するデザインワークステーションを更に有することを特徴とする請求項１に記載のシステム。
３．前記選択部分同定手段が、 前記一枚の映像フレームを検査し、前記固定的な表面領域の特徴を抽出する検査抽出手段と、 前記モデルと抽出された前記特徴との間での透視画像変換を求める変換決定手段とを含むことを特徴とする請求項１に記載のシステム。
４．前記検査抽出手段が、背景マスク及び前記マスクを生成するマスク生成手段と、前記背景マスクを用いて所望の特徴を抽出する抽出処理手段とを含むことを特徴とし、 前記背景マスクが、注目する特徴、背景要素、及び前景要素の部位を示すことを特徴とし、 前記前景マスクが、前記背景マスクにおける前記前景のデータ部分からなることを特徴とし、 前記抽出処理手段が、前記背景マスクの注目する部分の特徴を用いて、前記所望の特徴を抽出することを特徴とする請求項３に記載のシステム。
５．前記マスク生成手段が、前記フレームにおけるさまざまな色を、前記注目する特徴の色、前記背景要素の色、及び前記前景要素の色の３色の内の１色に変換するための参照テーブルを含むことを特徴とする請求項４に記載のシステム。
６．前記マスク生成手段が、 使用者によって指定された複数の色から前記参照テーブルを生成する手段と、 前記複数の色が、前記注目する特徴及び前記背景要素を示さなくなったときに、前記参照テーブルを補正する補正手段とを含むことを特徴とする請求項５に記載のシステム。
７．前記埋め込み手段が、 前記透視画像変換により、前記画像及び前記画像マスクを変換する手段と、 変換された前記画像及び変換された前記画像マスクを、前記１枚のフレームと、前記変換された画像によってカバーされない前景データの部位を示す前記前景マスクとの双方と合成する手段とを含むことを特徴とする請求項４に記載のシステム。
８．前記埋め込み手段が、 前記透視画像変換により、前記画像、前記画像マスク、及び混色マスクを変換する手段と、 変換された前記画像、変換された前記画像マスク、及び変換された前記混色マスクを、前記１枚のフレームと、前記変換された画像によってカバーされない前景データの部位を示す前記前景マスクとの双方と合成する手段とを含むことを特徴とする請求項４に記載のシステム。
９．前記特徴がラインであることを特徴とする請求項４に記載のシステム。
１０．前記検査抽出手段がハフ変換を含むことを特徴とする請求項９に記載のシステム。
１１．前記検査抽出手段が、画素の近傍を調査して継続的に前記近傍を狭めてゆくことにより、前記ラインの各セグメントの傾きを求める手段を含むことを特徴とする請求項９に記載のシステム。
１２．前記変換決定手段が、前記特徴のなかで平行線の透視画像であるものがいずれかを求めるべく、抽出された前記特徴を漸近関数に投影する手段を含むことを特徴とする請求項９に記載のシステム。
１３．前記背景空間がスポーツ競技場であることを特徴とし、 前記変換決定手段が、 前記モデルにおける矩形及びその頂点の位置のリストと、 抽出された前記特徴から２本の垂直ライン及び２本の水平ラインを選択し、それらの交点を求める手段と、 前記モデルにおける各矩形の頂点から前記特徴の前記交点に変換する複数の変換マトリクスを生成する手段と、 各前記変換マトリクスによって前記モデルを変換する手段と、 前記背景マスクの前記背景要素を用いて、各変換された前記モデルと前記一枚の映像フレームとをマッチングさせる手段と、 前記映像フレームの前記特徴と最もよくマッチする前記変換マトリクスを１つ選択する手段とを含むことを特徴とする請求項９に記載のシステム。
１４．前記変換決定手段が、 カメラの組の位置座標を受け取る、若しくは抽出する手段と、 現時点の変換を、カメラの位置座標、傾斜、方位、及びズーム量についての各マトリクスの積として表し、ついで傾斜、方位、及びズーム量の各値を求める手段と、 計算された前記傾斜、方位、及びズーム量の各値を有するカメラを特定し、その情報を格納する手段と、 新たなカットの映像が現れる度に、位置座標の受け取り、マトリクス表現、及びカメラの特定の各処理を反復する手段とを更に含むことを特徴とする請求項１３に記載のシステム。
１５．固定的な表面領域を有し、少なくとも１台のカメラにより非限定的に走査される背景空間内部において生起する動きの映像ストリームに、別の画像を合成する方法であって、 一度に一枚の映像フレームを取り込む過程と、 ａ）前記固定的な表面領域の平面図モデルと、ｂ）前記モデルの、前記画像が合成される予め選択された部分を示す画像マスクとを受け取るモデル及びマスク受け取り過程と、 前記平面図モデルを用いて、前記予め選択された部分が前記映像フレーム内に示されているか否かを判定し、かつ示されている場合その位置を求める選択部分同定過程と、 前記選択部分同定過程の出力を用いて、前記予め選択された部分が前記映像フレーム内に示されている場合、前記画像を前記固定的な表面領域の前記予め定められた部分に前記画像を埋め込む画像埋め込み過程とを有することを特徴とする画像合成方法。
１６．前記画像及び前記画像マスクをそれらを用いる前にデザインし、前記モデル及びマスク受け取り過程の処理を行う手段と必要に応じて通信する過程を更に有することを特徴とする請求項１５に記載の方法。
１７．前記選択部分同定過程が、 前記一枚の映像フレームを検査し、前記固定的な表面領域の特徴を抽出する特徴抽出過程と、 前記モデルと抽出された前記特徴との間での透視画像変換を求める変換決定過程とを含むことを特徴とする請求項１５に記載の方法。
１８．前記特徴抽出過程が、背景マスク及び前記マスクを生成するマスク生成過程と、前記背景マスクを用いて所望の特徴を抽出する抽出処理過程とを含むことを特徴とし、 前記背景マスクが、注目する特徴、背景要素、及び前景要素の部位を示すことを特徴とし、 前記前景マスクが、前記背景マスクにおける前記前景のデータ部分からなることを特徴とし、 前記抽出処理過程において、前記背景マスクの注目する部分の特徴を用いて、前記所望の特徴を抽出することを特徴とする請求項１７に記載の方法。
１９．前記マスク生成過程が、前記フレームにおけるさまざまな色を、前記注目する特徴の色、前記背景要素の色、及び前記前景要素の色の３色の内の１色に、参照テーブルを介して変換する過程を含むことを特徴とする請求項１８に記載の方法。
２０．前記マスク生成過程が、 使用者によって指定された複数の色から前記参照テーブルを生成する過程と、 前記複数の色が、前記注目する特徴及び前記背景要素を示さなくなったときに、前記参照テーブルを補正する過程とを含むことを特徴とする請求項１９に記載の方法。
２１．前記画像埋め込み過程が、 前記透視画像変換により、前記画像及び前記画像マスクを変換する過程と、 変換された前記画像及び変換された前記画像マスクを、前記１枚のフレームと、前記変換された画像によってカバーされない前景データの部位を示す前記前景マスクとの双方と合成する過程とを含むことを特徴とする請求項１８に記載の方法。
２２．前記画像埋め込み過程が、 前記透視画像変換により、前記画像、前記画像マスク、及び混色マスクを変換する過程と、 変換された前記画像、変換された前記画像マスク、及び変換された前記混色マスクを、前記１枚のフレームと、前記変換された画像によってカバーされない前景データの部位を示す前記前景マスクとの双方と合成する過程とを含むことを特徴とする請求項１８に記載の方法。
２３．前記特徴がラインであることを特徴とする請求項１８に記載の方法。
２４．前記特徴抽出過程が、ハフ変換を行う過程を含むことを特徴とする請求項２３に記載の方法。
２５．前記特徴抽出過程が、画素の近傍を調査して継続的に前記近傍を狭めてゆくことにより、前記ラインの各セグメントの傾きを求める過程を含むことを特徴とする請求項２３に記載の方法。
２６．前記変換決定過程が、前記特徴のなかで平行線の透視画像であるものがいずれかを求めるべく、抽出された前記特徴を漸近関数に投影する過程を含むことを特徴とする請求項２３に記載の方法。
２７．前記背景空間がスポーツ競技場であることを特徴とし、 前記変換決定過程が、 前記モデルにおける矩形及びその頂点の位置のリストを作成する過程と、 抽出された前記特徴から２本の垂直ライン及び２本の水平ラインを選択し、それらの交点を求める過程と、 前記モデルにおける各矩形の頂点から前記特徴の前記交点に変換する複数の変換マトリクスを生成する過程と、 各前記変換マトリクスによって前記モデルを変換する過程と、 前記背景マスクの前記背景要素を用いて、各変換された前記モデルと前記一枚の映像フレームとをマッチングさせる過程と、 前記映像フレームの前記特徴と最もよくマッチする前記変換マトリクスを１つ選択する過程とを含むことを特徴とする請求項２３に記載の方法。
２８．前記変換決定過程が、 カメラの組の位置座標を受け取る、若しくは抽出する過程と、 現時点の変換を、カメラの位置座標、傾斜、方位、及びズーム量についての各マトリクスの積として表し、ついで傾斜、方位、及びズーム量の各値を求める過程と、 計算された前記傾斜、方位、及びズーム量の各値を有するカメラを特定し、その情報を格納する過程と、 新たなカットの映像が現れる度に、位置座標の受け取り、マトリクス表現、及びカメラの特定の各処理を反復する過程とを更に含むことを特徴とする請求項２７に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図４】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図９】
【図１０】
【図１１】
【図１１】
【図１２】
【図１２】
【図１２】
【図１３】
【図１４】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図４】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図９】
【図１０】
【図１１】
【図１１】
【図１２】
【図１２】
【図１２】
【図１３】
【図１４】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公表番号】特表平９−５１０３３６
【公表日】平成９年（１９９７）１０月１４日
【国際特許分類】
【出願番号】特願平７−５２４０３８
【出願日】平成７年（１９９５）２月２７日
【国際出願番号】ＰＣＴ／ＵＳ９５／０２４２４
【国際公開番号】ＷＯ９５／２５３９９
【国際公開日】平成７年（１９９５）９月２１日
【出願人】
【氏名又は名称】サイテックス・アメリカ・コーポレイション
【公表日】平成９年（１９９７）１０月１４日
【国際特許分類】
【出願日】平成７年（１９９５）２月２７日
【国際出願番号】ＰＣＴ／ＵＳ９５／０２４２４
【国際公開番号】ＷＯ９５／２５３９９
【国際公開日】平成７年（１９９５）９月２１日
【出願人】
【氏名又は名称】サイテックス・アメリカ・コーポレイション
[ Back to top ]