説明

クロマキープロダクションの方法及び装置

適応的なクロマキーを生成する方法及び装置は、合成シーンの形成の間に前景のオブジェクト情報を考慮することを含む。前景のキーと後景のシーンとの間で関心のある領域の輝度及び色度が合成シーンの形成の間に考慮される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、クロマキーイングに関する。
より詳細には、本発明は、適応型クロマキーの製作に関する。
本出願は、2007年6月29日に提出された“Method and Apparatus for Chroma Key Production”と題された国際特許出願PCT/US2007/015254に対する優先権を主張するものである。
【背景技術】
【0002】
クロマキーは、一般に、後景のシーンに前景のオブジェクトを配置する。クロマキーのパラメータは、前景のシーンのみに基づいて各フィールドについて計算されるので、前景のオブジェクトは、後景のシーンの明暗に対して適応することができない。したがって、周辺光又は人口光の使用が変わる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
実際に、クロマキーのパラメータは、後景のシーンにおける明暗よりも均質化されたスタジオの明暗の条件に基づく。このタイプの明暗のミスマッチにより、自然のクロマキーを生成することができない。
【課題を解決するための手段】
【0004】
本発明の態様は、従来技術の問題点を克服する適応型のクロマキーを提供する。
この態様及び他の態様は、前景のキーを使用して合成シーンについて関心のある領域(AOI)を決定し、決定されたAOIにおける画素の物理的な特性を考慮してクロマキーを生成することを含む、クロマキーを生成する方法により達成される。
【0005】
本発明の別の態様によれば、クロマキーを生成する装置は、前景のキーを使用して合成シーンについて関心のある領域(AOI)を決定し、決定されたAOIにおける画素の物理的な特性を考慮してクロマキーを生成するために構成されるソース選択装置を含む。ソース選択装置は、複数の入力ソース、プロセッサ、プロセッサと通信するスイッチングロジック、並びに、プロセッサ及びスイッチングロジックに接続される適応型のクロマキーサブシステムを含み、前記クロマキーサブシステムは、プロセッサの制御下で動作し、合成シーンについて2以上の入力シーンを選択的に結合する。
【0006】
本発明の他の態様及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかとなるであろう。しかし、図面は例示のために描かれており、本発明の限定する定義として描かれていないため、特許請求の範囲が参照されるべきである。図面は必ずしもスケーリングするために描かれておらず、特に示されない限り、本実施の形態で記載される構造及び手順を概念的に例示することが意図されている。図面では、同じ参照符号は、図面を通して同じコンポーネントを示す。
【図面の簡単な説明】
【0007】
【図1】緑色のバーチャルスタジオセットにおける前景のシーンのグラフィック描写である。
【図2】シーンにおける前景のオブジェクトのグラフィック描写である。
【図3】前景のシーンとの使用が意図される後景のシーンのグラフィック描写である。
【図4】前景のキーのグラフィック描写である。
【図5】前景のシーンと後景のシーンの両者の合成の出力のグラフィック描写である。
【図6】合成シーンにおける関心のある領域(AOI)のグラフィック描写である。
【図7】より明るい後景と前景のオブジェクトの両者をもつ合成シーンのグラフィック描写である。
【図8】より暗い後景と前景のオブジェクトの両者をもつ合成シーンのグラフィック描写である。
【図9】図9aから図9cは、後景のシーンにおける異なる色相が、異なるものの、整合する前景のオブジェクトをどのように形成するかを示すグラフィック描写である。
【図10a】本発明の実現に係る、合成画像の表示のための輝度の決定のフロー図である。
【図10b】本発明の実現に係る、クロマキーのAOIの決定のフロー図である。
【図11】本発明の実現に係る、合成画像の表示のための色度の決定及び適用のフロー図である。
【図12】本発明の適応型クロマキーを実現するために構成されるスイッチャ装置のブロック図である。
【図13】本発明の実現に係る適応型クロマキーサブシステムのブロック図である。
【発明を実施するための最良の形態】
【0008】
一般に、クロマキーにより、前景のオブジェクトを後景のシーンに配置することができる。クロマキーのパラメータは前景のシーンのみに基づいて各フィールドについて計算されるので、前景のオブジェクトは、後景のシーンの明暗(たとえば周囲及び人口)の変化に適応することができない。実際に、クロマキーのパラメータは、後景のシーンにおける明暗ではなく、スタジオの明暗の状態について均質化されることがある。
【0009】
本発明は、後景のシーンからの輝度情報及び色度情報を使用して、クロマキーの適応的な形成を可能にすることで、このクロマキーイング(chroma keying)スキームに対する代替を提供する。
【0010】
図1〜5は、本発明の概念を理解するための幾つかの後景の情報を示す。図1は、(ピクチャにおける人により表される)前景のシーン10、及び緑色のバーチャルスタジオセット12を示す。図2は、バーチャルスタジオセット12がない前景のオブジェクト10を示す。図3は、バーチャルスタジオセット上に表示される後景のシーン14を示す。図4は、後景のシーン上に重ね合わされる前景のシーンの画像を表す前景のキー16を示す。図5は、後景のシーン14と前景のシーン10の組み合わせから得られる合成出力画像の描写である。
【0011】
はじめに、本発明によれば、前景のシーンと後景のシーンとの間の関心のある領域(AOI)に関する判定が行われる(図10aのステップ102)。図10bを参照して、これを行うため、前景のキーは後景のシーンに重ね合わされ(ステップ110)、前景のキーに入る後景のシーンの全ての画素の識別が行われる(ステップ112)。この識別は、AOIを構成する。図6は、このプロセスから得られたAOIのグラフィック描写である。
【0012】
1つの実現によれば、後景のシーンからの情報は、クロマキーを適応的に形成するため、クロマキーロジックにより使用される。これを行うことにおいて、本方法は、クロマキーを形成するため、決定されたAOIにおける画素の1以上の物理的な特性を考慮することを含む。本実施の形態の例では、これらの物理的な特性は、画素の輝度及び色度を含む。
【0013】
図10aは、AOIの輝度を考慮する方法100を示し、図11は、AOIの色度を考慮する方法150を示す。
【0014】
図10aを参照して、はじめに、合成シーンのAOIに関する判定(ステップ102)が行われる。次いで、AOIにおける画素の平均の輝度が計算され(ステップ104)、前景のシーンにおけるサンプルエリアの平均の輝度も計算される(ステップ106)。ひとたびこれらの輝度の計算が行われると、前景のシーンにおける輝度は、AOIにおける輝度にリンクされる(ステップ108)。言い換えると、各フィールドについて、前景のシーンにおける輝度に対するAOIにおける輝度の差(デルタ)を利用する。後景がビデオクリップのような急激な明暗の変化を有する場合、たとえばビデオクリップは、マンハッタンの明るい道路と暗い道路を見せる。前景のオブジェクト(たとえば新たなリーダ又はリポート)は、後景のシーンに適応し、これに応じてその明暗を変える。図7は、明るい前景のオブジェクトを有する明るい後景の例を示し、図8は、暗い前景のオブジェクトを有する暗い後景の例を示す。
【0015】
図11は、色度信号が考慮される方法150の例を示す。AOIの決定102の後、一定のベクトルがAOIにおける全ての画素に適用されるかが決定される(ステップ120)。適用されない場合、前景のシーンは、変化しないままである(ステップ124)。AOIにおける全ての画素に適用される一定のベクトルがある場合、僅かなパーセンテージの同じ一定のベクトルは、結果として得られる前景のシーンに適用される。たとえば、後景のシーンが多色の光ビームが回転するディスコクラブである場合、前景のオブジェクトは、後景のシーンにおける色相の変化に適応する(すなわち、赤の光ビームがAOIに含まれる場合、同様に、やや赤い色が前景のオブジェクトに現れる)。したがって、後景のシーンにおける異なる色相は、異なるものの、整合するオブジェクトを前景において形成することができる。この概念は、図9a〜図9cの例示的な画像において示される。それぞれの図において、色相は異なり、結果的に前景のオブジェクトの色における変化となり、これにより、表示される合成画像全体の全体的な変化となる。図9bは、後景の明暗に付加される(図9b全体をカバーする非常に小さなドットのアレイにより表現される)赤色を帯びた色相の影響、及び前景のオブジェクトへの赤色を帯びた色相の全体的な影響(すなわち、後景との赤色を帯びた色相の整合)を示し、図9cは、後景のシーンにおける(図9c全体をカバーする非常に小さなダッシュのアレイにより表される)緑色を帯びた色相の影響を示す。
【0016】
図12は、本発明に従って動作するためにプログラムされるスイッチャシステム200のブロック図を示す。スイッチャ202は、複数の入力208、プロセッサ204、及びプロセッサと通信するスイッチングロジック206を含む。プロセッサ208は、オンボードメモリ210を含むか、ハードディスクドライブ、コンパクトディスクドライブ、フラッシュメモリ又は他の固体メモリ装置、或いは他のメモリストレージ手段のような外部記憶媒体にリンクされる場合がある。適応クロマキーサブシステム207は、プロセッサ204及びスイッチングロジック206と通信し、本発明の方法を実行し、後景のシーンを有する前記入力208のうちの1つを受け、それを前景のシーンを有する別の入力と選択的に結合し、その出力212で所望の合成シーンを供給する。
【0017】
図13は、本発明の実現に係る適応型クロマキーサブシステム207のブロック図を示す。前景のビデオ250及び前景のキー252は、補間器258により補間される。(第一の色相セレクタ262及び第二の色相セレクタ266を介した)色相の選択及び(第一の抑圧264及び第二の抑圧268を介した)抑圧の後、ビデオ270は、スイッチャ202における次のロジカルサブシステム(たとえば、スイッチングロジック206)に通過される。第二の色相セレクタ266は、前景の情報を出力し、この前景の情報は、後景の変化が適用される(280)前に処理される(チップ&ゲイン278)。後景のビデオ254と後景のキー256は、補間器260により補間され、次いで、AOIが決定される。上述されたように、ひとたびAOIが決定されると、AOIにおける輝度の変化274及び色度の変化276が決定され、前景に与えられる(280)。このステージで、オフセット282がフォアグランドキー信号に加えられ、前景のキー212が出力される。
【0018】
様々な態様、実現及び特徴は、1以上の様々なやり方で実現される。たとえば、様々な態様、実現及び特徴は、たとえば1以上の方法、装置を使用して、方法、プログラム又は他の命令のセットを実行する装置又は処理装置を使用して、プログラム又は命令のセットを含む装置を使用して、及びコンピュータ読取可能な記録媒体を使用して実現される場合がある。
【0019】
装置は、たとえば、ディスクリート又は集積されたハードウェア、ファームウェア及びソフトウェアを含む場合がある。例として、装置は、たとえばマイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを一般に含む処理装置を示すプロセッサを含む場合がある。別の例として、装置は、1以上のプロセッサを実行する命令を有する1以上のコンピュータ読取可能な記録媒体を含む場合がある。
【0020】
コンピュータ読取可能な記録媒体は、たとえば、ハードディスク、コンパクトディスク、ランダムアクセスメモリ(RAM)又はリードオンリメモリ(ROM)のようなソフトウェアキャリア又は他のストレージデバイスを含む場合がある。また、コンピュータ読取可能な記録媒体は、たとえば命令を符号化又は送信するフォーマットされた電磁波を含む場合がある。命令は、たとえば、ハードウェア、ファームウェア、ソフトウェア、又は電磁波である場合がある。命令は、たとえばオペレーティングシステム、個別のアプリケーション、又はこれらの組み合わせで見られる場合がある。プロセッサは、たとえば、プロセスを実行するために構成される装置及びプロセスを実行する命令を有するコンピュータ読取可能な記録媒体を含む装置の両者として特徴付けられる。
【0021】
多数の実現が開示された。それにもかかわらず、様々な変更が行われる場合がある。たとえば、異なる実現のエレメントは、他の実現を生成するために結合、補充、変更又は除去される場合がある。したがって、他の実現は、以下の特許請求の範囲の概念に含まれる。

【特許請求の範囲】
【請求項1】
クロマキーを生成する方法であって、
前景のキーを使用して合成シーンについて関心のある領域(AOI)を決定するステップと、
決定されたAOIにおける画素の物理的な特性を考慮してクロマキーを生成するステップと、
を含むことを特徴とする方法。
【請求項2】
前記決定するステップは、
後景のシーンに前景のキーを重ね合わせるステップと、
前記前景のキーに含まれる前記後景のシーンにおける画素を識別するステップと、
を含む請求項1記載の方法。
【請求項3】
前記生成するステップは、
前記AOIにおける画素の平均の輝度を計算するステップと、
前記前景のシーンにおけるサンプルされた領域の平均の輝度を計算するステップと、
前記前景のシーンにおける輝度を前記AOIにおける輝度に関連付けるステップと、
を更に含む請求項1記載の方法。
【請求項4】
前記生成するステップは、
前記AOIにおける色度信号を考慮するステップを更に含む、
請求項1記載の方法。
【請求項5】
前記考慮するステップは、
一定のベクトルが前記AOIにおける全ての画素に適用されるかを判定するステップと、
一定のベクトルが全ての画素に適用されるとき、僅かな割合の前記一定のベクトルを結果として得られる前景のシーンに適用するステップと、
を更に含む請求項4記載の方法。
【請求項6】
前記考慮するステップは、
一定のベクトルが前記AOIにおける全ての画素に適用されるかを判定するステップと、
一定のベクトルが全ての画素に適用されないとき、結果として得られる前景のシーンに変化を加えないステップと、
を更に含む請求項4記載の方法。
【請求項7】
前記僅かな割合は5〜10%を含む、
請求項5記載の方法。
【請求項8】
クロマキーを生成する装置であって、
前景のキーを使用して合成シーンについて関心のある領域(AOI)を決定する手段と、
決定されたAOIにおける画素の物理的な特性を考慮してクロマキーを生成する手段と、
を有することを特徴とする装置。
【請求項9】
後景のシーンに前景のキーを重ね合わせる手段と、
前記前景のキーに含まれる前記後景のシーンにおける画素を識別する手段と、
を更に有する請求項8記載の装置。
【請求項10】
前記AOIにおける画素の平均の輝度を計算する手段と、
前記前景のシーンにおけるサンプルされた領域の平均の輝度を計算する手段と、
前記前景のシーンにおける輝度を前記AOIにおける輝度に関連付ける手段と、
を更に有する請求項8記載の装置。
【請求項11】
前記生成する手段は、
前記AOIにおける色度信号を考慮する手段を更に有する、
請求項8記載の装置。
【請求項12】
前記考慮する手段は、
一定のベクトルが前記AOIにおける全ての画素に適用されるかを判定する手段と、
一定のベクトルが全ての画素に適用されると判定されたとき、僅かな割合の前記一定のベクトルを結果として得られる前景のシーンに適用する手段と、
を含む請求項11記載の装置。
【請求項13】
前記考慮する手段は、
一定のベクトルが前記AOIにおける全ての画素に適用されるかを判定する手段と、
一定のベクトルが全ての画素に適用されないとき、結果として得られる前景のシーンに変化を加えない手段と、
を含む請求項11記載の装置。
【請求項14】
前記僅かな割合は5〜10%を含む、
請求項11記載の装置。
【請求項15】
クロマキーを生成する装置であって、
前景のキーを使用して合成シーンについて関心のある領域(AOI)を決定し、決定されたAOIにおける画素の物理的な特性を考慮してクロマキーを生成するソース選択装置を有する、
ことを特徴とする装置。
【請求項16】
前記ソース選択装置は、
複数の入力ソースと、
プロセッサと、
前記プロセッサと通信するスイッチングロジックと、
前記プロセッサ及び前記スイッチングロジックに接続される適応型クロマキーサブシステムであって、前記合成シーンについて2以上の入力ソースを選択的に結合するために前記プロセッサの制御下で動作する適応型クロマキーサブシステムと、
を有する請求項15記載の装置。
【請求項17】
前記画素の物理的特性は、輝度信号及び色度信号を含む、
請求項15記載の装置。
【請求項18】
前記ソース選択装置は、前記AOIにおける画素の平均の輝度を計算し、前景のシーンにおけるサンプルされた領域の平均の輝度を計算し、前記前景のシーンにおける輝度を前記AOIにおける輝度に関連付けるリンクデータを供給することで前記クロマキーを生成する、
請求項17記載の装置。
【請求項19】
前記ソース選択装置は、一定のベクトルが前記AOIにおける全ての画素に適用されるかを判定し、一定のベクトルが前記AOIにおける全ての画素に適用されるとき、僅かな割合の前記一定のベクトルを前記合成シーンにおける結果として得られる前景のシーンに適用する、
請求項17記載の装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9a】
image rotate

【図9b】
image rotate

【図9c】
image rotate

【図10a】
image rotate

【図10b】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公表番号】特表2010−532629(P2010−532629A)
【公表日】平成22年10月7日(2010.10.7)
【国際特許分類】
【出願番号】特願2010−514725(P2010−514725)
【出願日】平成19年9月18日(2007.9.18)
【国際出願番号】PCT/US2007/020192
【国際公開番号】WO2009/005511
【国際公開日】平成21年1月8日(2009.1.8)
【出願人】(501263810)トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Thomson Licensing 
【住所又は居所原語表記】1−5, rue Jeanne d’Arc, 92130 ISSY LES MOULINEAUX, France
【Fターム(参考)】