クロマキー装置及び映像合成装置
【課題】画面表示されている前景映像の中から、背景色としたい色が表示されている部分を範囲指定した後、範囲指定結果を即時に実際の合成映像から確認する。
【解決手段】前景映像が供給され、前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段１と、制御手段２と、前景映像を書込むための画像メモリ３とを備える。制御手段２は、画面上で指定された範囲を示す外部からの情報に基づき、画像メモリ３に書き込まれた前景映像のうち、指定された範囲の画素データをサンプリングし、サンプリング結果に基づいて色空間上での背景色の値を求め、求めた背景色の値を示す情報をキー処理手段１に送る。キー処理手段１は、前景映像の各画素のデータをこの背景色の値と比較することによってキー信号を生成する。
【解決手段】前景映像が供給され、前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段１と、制御手段２と、前景映像を書込むための画像メモリ３とを備える。制御手段２は、画面上で指定された範囲を示す外部からの情報に基づき、画像メモリ３に書き込まれた前景映像のうち、指定された範囲の画素データをサンプリングし、サンプリング結果に基づいて色空間上での背景色の値を求め、求めた背景色の値を示す情報をキー処理手段１に送る。キー処理手段１は、前景映像の各画素のデータをこの背景色の値と比較することによってキー信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、前景映像のうち、画面上で範囲指定された部分の色を背景色として別の背景映像に置き換えるためのキー信号を生成するクロマキー装置や、そうしたクロマキー機能を有する映像合成装置に関する。
【背景技術】
【０００２】
映像コンテンツの制作分野では、クロマキー装置を用いて２つの映像信号を合成することが一般に行われている。クロマキー装置は、カラー映像信号の色成分における色相の差を利用して、一方の映像信号（前景映像）のうちの特定の背景色の部分を別の映像信号（背景映像）に置き換えるためのキー信号を生成するものである。
【０００３】
前景映像における背景色は、予め設定されている場合（例えば青色または緑色のスクリーンをバックに人物を撮影して、そのスクリーンの色を背景色と設定している場合）もあるが、操作者が背景色指定用の画面上で任意の背景色を指定可能になっているものもある（例えば特許文献１参照）。
【０００４】
上記特許文献１に記載の背景色指定用画面は、横軸，縦軸にそれぞれクロマ信号Ｃｒ，Ｃｂの値をとった色空間の画面である。したがって、この画面上で背景色を指定することによって直ちに色空間上での背景色の値が確定するので、前景映像の映像信号の各画素のデータをこの背景色の値と比較することにより、前景映像と背景映像との合成比率を示すキー信号を生成する。
【０００５】
しかし、背景色指定用画面としては、実際に画面表示される前景映像そのものを用いることも行われている。これは、図１に例示するように、前景映像７０が表示されている画面に、位置及び大きさを調整可能な枠状のカーソル７１を表示し、前景映像７０のうち背景色としたい色が表示されている部分を、このカーソル７１で囲むようにしたものである。この場合、クロマキー装置は、前景映像７０の映像信号のうち、カーソル７１で指定された範囲の各画素のデータをサンプリングした結果に基づき、どのような色が背景色として指定されたか（色空間上での背景色の値）を判別する必要がある。
【０００６】
図２は、前景映像のうち図１のカーソルで範囲指定された部分の色を背景色として別の背景映像に置き換えるためのキー信号を生成するクロマキー装置の、従来の構成例を示す。前景映像としての映像信号が、キー処理回路８０に供給される。キー処理回路８０は、前景映像からキー信号を生成し、生成したキー信号を前景映像とともに出力するハードウェア回路である。
【０００７】
また、画面表示されている前景映像のうち図１のカーソルで指定された範囲を示す範囲指定情報が、外部の操作パネル等（図示略）から、クロマキー装置全体を制御するＣＰＵ８１に供給される。ＣＰＵ８１は、この情報に基づき、このカーソルで指定された範囲の画素データのサンプリングを指示するコマンドを、制御信号線を介してキー処理回路８０に送る。
【０００８】
キー処理回路８０は、内部を通過する前景映像の映像信号の波形から、ＣＰＵ８１によって指示された範囲の画素データを、数フィールド期間に1画素分ずつ抽出することによってサンプリングする。そして、例えばサンプリングした各データを平均化することにより、色空間上での背景色の値を求める演算を行う。そして、前景映像の映像信号の各画素のデータをこの背景色の値と比較することにより、前景映像と背景映像との合成比率を示すキー信号を生成する。
【０００９】
このキー信号及び前景映像と、背景映像のとしての映像信号とを合成回路（図示略）に供給することにより、前景映像の背景映像とが合成回路で合成される。
【００１０】
【特許文献１】特開平１０−２８５６１１号公報（段落０３６０〜０３６４、図４５）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところで、図２に示した構成のクロマキー装置では、前述のように、キー処理回路８０が、内部を通過する前景映像の映像信号の波形から、数フィールド期間に1画素分ずつを抽出することによってサンプリングを行うので、図１のようなカーソルの内側の画素のデータを全てサンプリングし終えるまでに、数秒の時間を要する。このサンプリング処理の後の背景色の値の演算処理やキー信号の生成処理はリアルタイムに（数フィールド程度の期間内に）行われるが、サンプリング処理に時間を要した結果、キー信号が生成されるのは、カーソルで範囲指定が行われてから数秒後になってしまう。
【００１２】
そのため、操作者は、カーソルでの範囲指定結果が妥当であったか否かを前景映像と背景映像との実際の合成映像から確認できるようになるまでに、数秒待たなければならない。そして、妥当でなかった場合、範囲指定をやり直した後、再び数秒待つという過程が繰り返されることになる。その結果、希望通りの合成映像を得るまでに時間がかかっていた。
【００１３】
本発明は、上述の点に鑑み、前景映像のうち、図１に例示したように画面上で範囲指定された部分の色を背景色として別の背景映像に置き換えるためのキー信号を生成するクロマキー機能において、操作者が、範囲指定を行った後、その範囲指定結果を即時に実際の合成映像で確認できるようにすることを課題とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明に係るクロマキー装置は、
前景映像としての映像信号が供給され、前記前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段と、
制御手段と、
前記前景映像を書き込むための画像メモリと
を備えており、
前記制御手段は、
画面上で指定された範囲を示す情報が外部から供給されたことに基づき、前記画像メモリに書き込まれた前記前景映像のうち、前記指定された範囲の画素データをサンプリングする処理と、
前記サンプリングの結果に基づき、色空間上での背景色の値を求め、求めた背景色の値を示す情報を前記キー処理手段に送る処理と
を行い、
前記キー処理手段は、
前記前景映像の各画素のデータを、前記制御手段から送られた前記情報が示す背景色の値と比較することによって前記キー信号を生成する
ことを特徴とする。
【００１５】
このクロマキー装置は、図２に示した従来のクロマキー装置のように、キー処理手段の内部を通過する前景映像をサンプリングするのではなく、画像メモリに書き込まれた前景映像をサンプリングする。ここで、画像メモリへの１フレーム分の映像データの書き込みは１フレーム期間で完了し、また、画像メモリに書き込まれた映像データ中の複数の画素データは一括してリアルタイムにサンプリングすることができるので、前景映像のうちの指定された範囲の画素データを、リアルタイムに全てサンプリングすることができる。
【００１６】
したがって、画面表示されている前景映像のうち背景色としたい色が表示されている部分を範囲指定する操作を行うことにより、リアルタイムにキー信号を生成させることができる。これにより、操作者は、こうした範囲指定を行った後、その範囲指定結果を即時に前景映像と背景映像との実際の合成映像から確認できるようになる。
【００１７】
次に、本発明に係る映像合成装置は、
前景映像としての映像信号が供給され、前記前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段と、
前記背景映像としての映像信号と、前記前景映像と、前記キー信号とが供給され、前記キー信号を用いて前記前景映像と前記背景映像とを合成する合成手段と
映像表示部と、
前記映像表示部を制御する制御手段と
前記映像表示部に表示する映像データを書き込むための画像メモリと
を備えており、
前記制御手段は、
画面表示されている色の中から背景色としたい色が表示されている部分を範囲指定するための背景色指定用画面の映像データを、前記画像メモリに書き込ませ、前記画像メモリから読み出させて、前記映像表示部に表示させる処理と、
前記画像メモリに書き込まれた前記映像データのうち、前記背景色指定用画面上で指定された範囲の画素データをサンプリングする処理と、
前記サンプリングの結果に基づき、色空間上での背景色の値を求め、求めた背景色の値を示す情報を前記キー処理手段に送る処理と
を行い、
前記キー処理手段は、
前記前景映像の各画素のデータを、前記制御手段から送られた前記情報が示す背景色の値と比較することによって前記キー信号を生成する
ことを特徴とする。
【００１８】
この映像合成装置は、図２に示した従来のクロマキー装置のように、キー処理手段の内部を通過する前景映像をサンプリングするのではなく、画像メモリに書き込まれた映像データをサンプリングするので、指定された範囲の画素データを、リアルタイムに全てサンプリングすることができる。
【００１９】
したがって、背景色指定用画面上で背景色としたい色が表示されている部分を範囲指定する操作を行うことにより、リアルタイムにキー信号を生成させることができる。これにより、操作者は、こうした範囲指定を行った後、その範囲指定結果を即時に前景映像と背景映像との実際の合成映像から確認できるようになる。
【００２０】
また、映像表示部を制御する制御手段が、映像表示部に表示する映像データを書き込むための画像メモリを用いて背景色指定用画面を表示させるので、前景映像以外の映像データを画像メモリに書き込ませることにより、前景映像以外の映像を背景色指定用画面として映像表示部に表示させることも可能になる。
【発明の効果】
【００２１】
本発明に係るクロマキー装置によれば、操作者は、画面表示されている前景映像のうち、背景色としたい色が表示されている部分を範囲指定する操作を行った後、その範囲指定結果を即時に前景映像と背景映像との実際の合成映像から確認できるようになるという効果が得られる。
【００２２】
本発明に係る映像合成装置によれば、操作者は、背景色指定用画面上で背景色としたい色が表示されている部分を範囲指定した後、その範囲指定結果を即時に前景映像と背景映像との実際の合成映像から確認でき、しかも、前景映像以外の映像を背景色指定用画面として映像表示部に表示させることも可能になるという効果が得られる。
【発明を実施するための最良の形態】
【００２３】
〔本発明に係るクロマキー装置の実施の形態〕
以下、本発明の実施の形態を、図面を用いて具体的に説明する。最初に、本発明に係るクロマキー装置の実施の形態について説明する。
【００２４】
図３は、本発明に係るクロマキー装置の一実施形態を示すブロック図である。このクロマキー装置には、キー信号を生成するハードウェア回路であるキー処理回路１と、ＣＰＵ２と、画像メモリ３と、ビデオキャプチャデバイス４とが設けられている。前景映像としての映像信号が、キー処理回路１に供給される。キー処理回路１は、前景映像からキー信号を生成し、生成したキー信号を前景映像とともに出力するハードウェア回路である。
【００２５】
キー処理回路１から出力された前景映像は、ビデオキャプチャデバイス４を介してＣＰＵ２にも送られる。
【００２６】
また、ＣＰＵ２には、外部の操作パネル等（図示略）から、画面上で指定された範囲を示す範囲指定情報（例えば、図１に示したように、画面表示されている前景映像のうち、背景色としたい色が表示されている部分をカーソルで囲む操作によって生成される情報）が供給される。
【００２７】
ＣＰＵ２は、ビデオキャプチャデバイス４から前景映像が供給されると、図４に示すような処理を開始する。この処理では、最初に、供給される前景映像を、画像メモリ３に順次書き込む（ステップＳ１）。続いて、新たな範囲指定情報が供給されるまで待機する（ステップＳ２）。
【００２８】
そして、範囲指定情報が供給されると、画像メモリ３に書き込まれた最新のフレームの前景映像のうち、指定された範囲の画素データを全てサンプリングする（ステップＳ３）。続いて、このサンプリング結果に基づき、色空間上での背景色の値を求める（例えば、サンプリングした各画素データの色空間上での値の平均値を求める）演算を行う（ステップＳ４）。そして、求めた背景色の値を示す情報をキー処理回路１に送って（ステップＳ５）、ステップＳ２に戻る。
【００２９】
キー処理回路１は、この図４の処理のステップＳ５によってＣＰＵ２から情報が送られると、現在のフレームの前景映像の各画素のデータを背景色の値と比較することにより、例えば、背景色の値との差が一定の下限の閾値未満である画像位置では前景映像の比率が０となり、背景色の値との差が一定の上限の閾値以上である画像位置では前景映像の比率が１となり、背景色の値との差がこの下限の閾値以上且つこの上限の閾値未満である画像位置では前景映像の比率が０と１との間の値となる（差の大きさに応じて値が大きくなる）ようなキー信号を生成する。
【００３０】
このキー信号及び前景映像と、背景映像のとしての映像信号とを合成回路（図示略）に供給することにより、前景映像と背景映像とが合成回路で合成される。
【００３１】
このように、このクロマキー装置では、図２に示した従来のクロマキー装置のように、キー処理回路１の内部を通過する前景映像をサンプリングするのではなく、画像メモリ３に書き込まれた前景映像をサンプリングする。ここで、画像メモリ３への１フレーム分の映像データの書き込みは１フレーム期間で完了し、また、画像メモリ３に書き込まれた映像データ中の複数の画素データは一括してリアルタイムに（数フィールド程度の期間内に）サンプリングすることができるので、前景映像のうちの指定された範囲の画素データを、リアルタイムに全てサンプリングすることができる。
【００３２】
また、このサンプリング処理の後の背景色の値の演算処理やキー処理回路１でのキー信号の生成処理もリアルタイムに（数フィールド程度の期間内に）行われるので、画面上で指定された範囲を示す情報が供給されたことに応じて、リアルタイムにキー信号が生成される。
【００３３】
したがって、図１に例示したように画面表示されている前景映像のうち背景色としたい色が表示されている部分を範囲指定する操作を行うことにより、リアルタイムにキー信号を生成させることができる。これにより、操作者は、こうした範囲指定を行った後、その範囲指定結果が妥当であったか否かを、即時に前景映像と背景映像との実際の合成映像から確認できるようになる。
【００３４】
そして、範囲指定結果が妥当でなかった場合にも、合成映像がどのように変化するかをリアルタイムに確認しながら範囲指定のやり直しを行うことができるので、希望通りの合成映像を短時間で得ることができる。
【００３５】
図５は、本発明に係るクロマキー装置の別の一実施形態を示すブロック図であり、図３と共通する部分には同一符号を付している。このクロマキー装置では、ＣＰＵ２と画像メモリ３とビデオキャプチャデバイス４とがＰＣＩバス５で接続されている。
【００３６】
ＣＰＵ２は、図４に示した処理のうちの、画像メモリ３への書き込みを、直接実行する代わりに、ビデオキャプチャデバイス４に実行させる。
【００３７】
図６は、本発明に係るクロマキー装置のさらに別の一実施形態を示すブロック図であり、図３と共通する部分には同一符号を付している。このクロマキー装置では、ＣＰＵ２と画像メモリ３との間にメモリコントローラ６が介在しており、ビデオキャプチャデバイス４からメモリコントローラ６に前景映像が送られる。
【００３８】
ＣＰＵ２は、図４に示した処理のうちの、画像メモリ３への書き込みと、画像メモリ３に書き込まれた画素データのサンプリングとを、直接実行する代わりに、メモリコントローラ６に実行させる。
【００３９】
この図５，図６のクロマキー装置でも、図３のクロマキー装置について述べたのと全く同様な効果が得られる。
【００４０】
〔本発明に係る映像合成装置の実施の形態〕
次に、本発明に係る映像合成装置の実施の形態について説明する。図７は、本発明に係る映像合成装置の一実施形態の外観を示す斜視図である。この映像合成装置１０は、ノート型のパーソナルコンピュータを一回り大きくしたような形状及び大きさをしており、例えば、イベント等が行われる各地の会場に持ち運び、ビデオカメラやパーソナルコンピュータからの映像信号を入力して、そのイベント等の様子を紹介する映像コンテンツを制作するために使用することができる。
【００４１】
映像合成装置１０には、ノート型パーソナルコンピュータのキーボード部分に相当する位置に、入力映像の選択，映像に施す特殊効果の指定（後述するような、前景映像中の背景色の指定を含む）等の各種の操作を行うための操作部１１が設けられている。また、映像合成装置１０には、ノート型パーソナルコンピュータにおけるのと同様にして液晶ディスプレイ１２が設けられている。
【００４２】
図８は、この映像合成装置１０の回路構成を示すブロック図である。映像合成装置１０には、６系統の映像入力部２０と、映像処理部３０と、制御部４０とが設けられている。
【００４３】
映像入力部２０は、コンポジット信号，Ｓ−Ｖｉｄｅｏ信号，ＤＶ信号，ＲＧＢ信号，ＳＤＩ信号等の入力端子（図示略）を有しており、入力した映像信号を、フレームシンクロナイザ＆リサイザ２１により、映像合成装置１０内の基準同期信号と同期をとった後、映像合成装置１０の内部処理における統一画サイズであるＳＸＧＡ（１２８０×１０２４ピクセル）と、サムネイル表示用の画サイズとに変換する。
【００４４】
各映像入力部２０でＳＸＧＡに画サイズ変換された最大６系統の映像信号は、映像処理部３０に送られる。また、映像入力部２０内ではフレームシンクロナイザ＆リサイザ２１とローカルＣＰＵ２２とイーサネットコントローラ（イーサネットは登録商標）２３とがローカルバス２４で接続されており、各映像入力部２０でサムネイル表示用に画サイズ変換された最大６系統の映像信号が、イーサネットコントローラ２３から映像合成装置１０内部のイーサネット２５を介して制御部４０内のイーサネットコントローラ４５に送られる。
【００４５】
映像処理部３０には、クロスポイント部３１と、キー処理回路３２と、合成回路３３と、ローカルＣＰＵ３４と、ＮＴＳＣ／ＰＡＬコンバータ３５とが設けられている。キー処理回路３２と合成回路３３とローカルＣＰＵ３４とは、ローカルバス３６で接続されている。
【００４６】
クロスポイント部３１は、各映像入力部２０から送られる最大６系統の映像信号の中から、キー処理回路３２に前景映像として供給する映像信号と、合成回路３３に背景映像として供給する映像信号（現在表示させる背景映像であるプログラム映像と、次に表示させようとする背景映像であるネクスト映像との最大２系統）とを選択するためのスイッチの集合である。
【００４７】
キー処理回路３２は、前景映像からキー信号を生成し、生成したキー信号を前景映像とともに出力するハードウェア回路である。
【００４８】
キー処理回路３２からは、合成回路３３に前景映像及びキー信号が送られる。また、キー処理回路３２からは、ローカルバス３６を介してローカルＣＰＵ３４にも前景映像が送られる。
【００４９】
合成回路３３は、キー処理回路３２からの前景映像及びキー信号を用いてプログラム映像に前景映像を合成したり（キーイング）、ワイプ等の背景映像の切り替え（トランジション）を行う回路である。
【００５０】
合成回路３３の処理を経たプログラム映像は、ＮＴＳＣ／ＰＡＬコンバータ３５でＮＴＳＣまたはＰＡＬ方式の映像信号にフォーマット変換され、映像合成装置１０の出力端子（図示略）から出力するとともに、制御部４０内のビデオキャプチャデバイス４６に送られる。また、合成回路３３からは、ローカルバス３６を介して、ネクスト映像がそのままプレビュー用にローカルＣＰＵ３４に送られる。
【００５１】
制御部４０には、メインＣＰＵ４１と、グラフィックプロセッサ及びメモリコントローラを搭載したチップセット４２と、画像メモリ４３と、グラフィックコントローラ４４と、イーサネットコントローラ４５と、ビデオキャプチャデバイス４６とが設けられている。チップセット４２とグラフィックコントローラ４４とイーサネットコントローラ４５とビデオキャプチャデバイス４６と映像処理部３０内のローカルＣＰＵ３４とは、ＰＣＩバス４７に接続されている。
【００５２】
画像メモリ４３は、液晶ディスプレイ１２（図７）に表示する映像データを書き込むためのメモリである。
【００５３】
メインＣＰＵ４１は、操作部１１（図７）の操作等に基づき、チップセット４２を介して映像入力部２０内のローカルＣＰＵ２２や映像処理部３０内のローカルＣＰＵ３４にコマンドを送ったり、チップセット４２を制御して画像メモリ４３への書き込みや読み出しを行わせたり、チップセット４２を介してグラフィックコントローラ４４を制御して液晶ディスプレイ１２に各種の画面を表示させる。
【００５４】
次に、この映像合成装置１０におけるキー信号の生成処理について説明する。図９は、制御部４０内のメインＣＰＵ４１が、映像処理部３０内のキー処理回路３２にキー信号を生成させるために実行する処理の一例を示すフローチャートである。
【００５５】
この処理は、操作部１１から、背景色の指定を開始する操作が行われたことを示す信号が供給されたことによってスタートし、最初に、映像処理部３０内のローカルＣＰＵ３４に、キー処理回路３２からの前景映像をＰＣＩバス４７経由でチップセット４２に送信することを要求する（ステップＳ１１）。そして、チップセット４２を制御して、ローカルＣＰＵ３４からの前景映像を用いた背景色指定用画面と、ＮＴＳＣ／ＰＡＬコンバータ３５からビデオキャプチャデバイス４６に送られたプログラム映像と、各映像入力部２０からイーサネットコントローラ４５に送られた映像信号によるサムネイル画像とが一画面に表示される映像データを、画像メモリ４３に書き込ませる（ステップＳ１２）。
【００５６】
そして、チップセット４２を制御して、この映像データを画像メモリ４３から読み出してグラフィックコントローラ４４に送らせるとともに、グラフィックコントローラ４４を制御して、液晶ディスプレイ１２にこの映像データを表示させる（ステップＳ１３）。
【００５７】
図１０は、この映像データによる液晶ディスプレイ１２への背景色指定用画面，プログラム映像及びサムネイル画像の表示例を示す図である。背景色指定用画面５０は、図１に示したのと同様、前景映像が表示されている画面に、位置及び大きさを調整可能な枠状のカーソル５１を表示し、前景映像のうち背景色としたい色が表示されている部分を、このカーソル５１で囲むようにしたものである。背景色指定用画面５０の横には、プログラム映像５２が表示される。背景色指定用画面５０及びプログラム映像５２の下には、映像入力部２０の系統数に対応した６つのサムネイル画像５３が表示される。
【００５８】
図９に示すように、ステップＳ１３を終えると、操作部１１から、この背景色指定用画面上で指定された範囲を示す範囲指定情報（図１０の例では、カーソル５１で囲んだ範囲を確定させる操作が行われることによって生成される情報）が新たに供給されるまで待機する（ステップＳ１４）。
【００５９】
そして、この情報が供給されると、チップセット４２を制御して、画像メモリ４３に書き込まれた映像データのうち、指定された範囲の画素データを全てサンプリングさせる（ステップＳ１５）。続いて、このサンプリング結果に基づき、色空間上での背景色の値を求める（例えば、サンプリングした各画素データの色空間上での値の平均値を求める）演算を行う（ステップＳ１６）。そして、求めた背景色の値を示す情報を、映像処理部３０内のローカルＣＰＵ３４に、キー処理回路３２宛の情報として送る（ステップＳ１７）。
【００６０】
続いて、操作部１１から、背景色の指定を終了する操作が行われたことを示す信号が供給されたか否かを判断する（ステップＳ１８）。ノーであればステップＳ１４に戻る。ステップＳ１８でイエスになると、処理を終了する。
【００６１】
キー処理回路３２は、この図９の処理のステップＳ１７によるメインＣＰＵ４１からの情報がローカルＣＰＵ３４から転送されると、現在のフレームの前景映像の各画素のデータを背景色の値と比較することにより、例えば、背景色の値との差が一定の下限の閾値未満である画像位置では前景映像の比率が０となり、背景色の値との差が一定の上限の閾値以上である画像位置では前景映像の比率が１となり、背景色の値との差がこの下限の閾値以上且つこの上限の閾値未満である画像位置では前景映像の比率が０と１との間の値となる（差の大きさに応じて値が大きくなる）ようなキー信号を生成する。
【００６２】
そして、このキー信号と前景映像とがキー処理回路３２から合成回路３３に送られて、合成回路３３でプログラム映像に前景映像が合成される。その結果、図９の処理のステップＳ１２，Ｓ１３により、液晶ディスプレイ１２にも、前景映像が合成されたプログラム映像が表示される。
【００６３】
このように、この映像合成装置１０では、図２に示した従来のクロマキー装置のように、キー処理回路３２の内部を通過する前景映像をサンプリングするのではなく、画像メモリ４３に書き込まれた前景映像をサンプリングする。ここで、画像メモリ４３への１フレーム分の映像データの書き込みは１フレーム期間で完了し、また、画像メモリ４３に書き込まれた映像データ中の複数の画素データは一括してリアルタイムに（数フィールド程度の期間内に）サンプリングすることができるので、前景映像のうちの指定された範囲の画素データを、リアルタイムに全てサンプリングすることができる。
【００６４】
また、このサンプリング処理の後の背景色の値の演算処理やキー処理回路３２でのキー信号の生成処理もリアルタイムに（数フィールド程度の期間内に）行われるので、背景色指定用画面上で指定された範囲を示す情報が操作部１１から供給されたことに応じて、リアルタイムにキー信号が生成される。
【００６５】
したがって、図１０に例示したような背景色指定用画面上で前景映像のうち背景色としたい色が表示されている部分を範囲指定する操作を行うことにより、リアルタイムにキー信号を生成させることができる。これにより、操作者は、こうした範囲指定を行った後、その範囲指定結果が妥当であったか否かを、即時に前景映像とプログラム映像との実際の合成映像（液晶ディスプレイ１２に前景映像と並列して表示されるプログラム映像）から確認することができる。
【００６６】
そして、範囲指定結果が妥当でなかった場合にも、合成映像がどのように変化するかをリアルタイムに確認しながら範囲指定のやり直しを行うことができるので、希望通りの合成映像を短時間で得ることができる。
【００６７】
ところで、この映像合成装置１０では、液晶ディスプレイ１２の表示を制御するメインＣＰＵ４１が、液晶ディスプレイ１２に表示する映像データを書き込むための画像メモリ４３を用いて背景色指定用画面を表示させるので、前景映像以外の映像データを画像メモリ４３に書き込ませることにより、前景映像以外の映像を背景色指定用画面として液晶ディスプレイ１２に表示させることも可能である。
【００６８】
そこで、メインＣＰＵ４１がキー処理回路３２にキー信号を生成させるために実行する処理の別の例として、カラーパレットの画面を背景色指定用画面として表示させる例について説明する。図１１は、この別の処理例を示すフローチャートであり、図９の処理と同じ内容のステップには同一符号を付している。
【００６９】
この処理では、最初に、図９の処理と同じ内容のステップＳ１１を実行した後、チップセット４２を制御して、複数の色見本を配列した静止画を用いた背景色指定用画面と、ローカルＣＰＵ３４からの前景映像と、ＮＴＳＣ／ＰＡＬコンバータ３５からビデオキャプチャデバイス４６に送られたプログラム映像と、各映像入力部２０からイーサネットコントローラ４５に送られた映像信号によるサムネイル画像とが一画面に表示される映像データを、画像メモリ４３に書き込ませる（ステップＳ２１）。そして、図９の処理と同じ内容のステップＳ１３〜Ｓ１８を実行する。
【００７０】
図１２は、図１１の処理による液晶ディスプレイ１２への背景色指定用画面，前景映像，プログラム映像及びサムネイル画像の表示例を示す図である。背景色指定用画面６０は、複数の色見本をマトリクス状に配列したカラーパレット（図示の都合上、個々の色見本は白地で描いている）に、図１０に示したのと同様、位置及び大きさを調整可能な枠状のカーソル６１を表示し、背景色としたい色見本が表示されている部分を、このカーソル６１で囲むようにしたものである。背景色指定用画面６０の横には、前景映像６２とプログラム映像６３とが表示される。背景色指定用画面６０，前景映像６２及びプログラム映像６３の下には、６つのサムネイル画像６４が表示される。
【００７１】
このカラーパレットのような、複数の色見本が配列された画面を背景色指定用画面として表示させることにより、背景色としたい色が表示されている範囲を指定する操作を、一層容易に行うことが可能になる。
【００７２】
なお、図３，図５または図６に示したクロマキー装置を例えばこの映像合成装置に適用する場合には、映像処理部３０内に画像メモリを設けて、ローカルＣＰＵ３４に図３や図５や図６のＣＰＵ２としての処理を実行させるようにしてもよい。
【００７３】
また、図７の実施形態では本発明に係る映像合成装置を持ち運び可能な形状及び大きさにしているが、本発明に係る映像合成装置は据え置き型の装置として実施してもよい。
【図面の簡単な説明】
【００７４】
【図１】前景映像を用いた背景色指定用画面を例示する図である。
【図２】前景映像のうちの範囲指定された部分の色を背景色として別の背景映像に置き換えるためのキー信号を生成するクロマキー装置の、従来の構成例を示すブロック図である。
【図３】本発明に係るクロマキー装置の一実施形態を示すブロック図である。
【図４】図３のＣＰＵが実行する処理を示すフローチャートである。
【図５】本発明に係るクロマキー装置の別の一実施形態を示すブロック図である。
【図６】本発明に係るクロマキー装置の別の一実施形態を示すブロック図である。
【図７】本発明に係る映像合成装置の一実施形態を示す斜視図である。
【図８】図７の映像合成装置の回路構成を示すブロック図である。
【図９】図８のメインＣＰＵがキー信号生成のために実行する処理の一例を示すフローチャートである。
【図１０】図９の処理による背景色指定用画面等の表示例を示す図である。
【図１１】図８のメインＣＰＵがキー信号生成のために実行する処理の別の例を示すフローチャートである。
【図１２】図１１の処理による背景色指定用画面等の表示例を示す図である。
【符号の説明】
【００７５】
１ キー処理回路、 ２ ＣＰＵ、 ３ 画像メモリ、 ４ ビデオキャプチャデバイス、 ５ ＰＣＩバス、 ６ メモリコントローラ、 １０ 映像合成装置、 １１ 操作部、 １２ 液晶ディスプレイ、 ２０ 映像入力部、 ２１ フレームシンクロナイザ＆リサイザ、 ２２ ローカルＣＰＵ、 ２３ イーサネットコントローラ、 ２４ ローカルバス、 ３０ 映像処理部、 ３１ クロスポイント部、 ３２ キー処理回路、 ３３ 合成回路、 ３４ ローカルＣＰＵ、 ３５ ＮＴＳＣ／ＰＡＬコンバータ、 ３６ ローカルバス、 ４０ 制御部、 ４１ メインＣＰＵ、 ４２ チップセット、 ４３ 画像メモリ、 ４４ グラフィックコントローラ、 ４５ イーサネットコントローラ、 ４６ ビデオキャプチャデバイス、 ４７ ＰＣＩバス
【技術分野】
【０００１】
本発明は、前景映像のうち、画面上で範囲指定された部分の色を背景色として別の背景映像に置き換えるためのキー信号を生成するクロマキー装置や、そうしたクロマキー機能を有する映像合成装置に関する。
【背景技術】
【０００２】
映像コンテンツの制作分野では、クロマキー装置を用いて２つの映像信号を合成することが一般に行われている。クロマキー装置は、カラー映像信号の色成分における色相の差を利用して、一方の映像信号（前景映像）のうちの特定の背景色の部分を別の映像信号（背景映像）に置き換えるためのキー信号を生成するものである。
【０００３】
前景映像における背景色は、予め設定されている場合（例えば青色または緑色のスクリーンをバックに人物を撮影して、そのスクリーンの色を背景色と設定している場合）もあるが、操作者が背景色指定用の画面上で任意の背景色を指定可能になっているものもある（例えば特許文献１参照）。
【０００４】
上記特許文献１に記載の背景色指定用画面は、横軸，縦軸にそれぞれクロマ信号Ｃｒ，Ｃｂの値をとった色空間の画面である。したがって、この画面上で背景色を指定することによって直ちに色空間上での背景色の値が確定するので、前景映像の映像信号の各画素のデータをこの背景色の値と比較することにより、前景映像と背景映像との合成比率を示すキー信号を生成する。
【０００５】
しかし、背景色指定用画面としては、実際に画面表示される前景映像そのものを用いることも行われている。これは、図１に例示するように、前景映像７０が表示されている画面に、位置及び大きさを調整可能な枠状のカーソル７１を表示し、前景映像７０のうち背景色としたい色が表示されている部分を、このカーソル７１で囲むようにしたものである。この場合、クロマキー装置は、前景映像７０の映像信号のうち、カーソル７１で指定された範囲の各画素のデータをサンプリングした結果に基づき、どのような色が背景色として指定されたか（色空間上での背景色の値）を判別する必要がある。
【０００６】
図２は、前景映像のうち図１のカーソルで範囲指定された部分の色を背景色として別の背景映像に置き換えるためのキー信号を生成するクロマキー装置の、従来の構成例を示す。前景映像としての映像信号が、キー処理回路８０に供給される。キー処理回路８０は、前景映像からキー信号を生成し、生成したキー信号を前景映像とともに出力するハードウェア回路である。
【０００７】
また、画面表示されている前景映像のうち図１のカーソルで指定された範囲を示す範囲指定情報が、外部の操作パネル等（図示略）から、クロマキー装置全体を制御するＣＰＵ８１に供給される。ＣＰＵ８１は、この情報に基づき、このカーソルで指定された範囲の画素データのサンプリングを指示するコマンドを、制御信号線を介してキー処理回路８０に送る。
【０００８】
キー処理回路８０は、内部を通過する前景映像の映像信号の波形から、ＣＰＵ８１によって指示された範囲の画素データを、数フィールド期間に1画素分ずつ抽出することによってサンプリングする。そして、例えばサンプリングした各データを平均化することにより、色空間上での背景色の値を求める演算を行う。そして、前景映像の映像信号の各画素のデータをこの背景色の値と比較することにより、前景映像と背景映像との合成比率を示すキー信号を生成する。
【０００９】
このキー信号及び前景映像と、背景映像のとしての映像信号とを合成回路（図示略）に供給することにより、前景映像の背景映像とが合成回路で合成される。
【００１０】
【特許文献１】特開平１０−２８５６１１号公報（段落０３６０〜０３６４、図４５）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところで、図２に示した構成のクロマキー装置では、前述のように、キー処理回路８０が、内部を通過する前景映像の映像信号の波形から、数フィールド期間に1画素分ずつを抽出することによってサンプリングを行うので、図１のようなカーソルの内側の画素のデータを全てサンプリングし終えるまでに、数秒の時間を要する。このサンプリング処理の後の背景色の値の演算処理やキー信号の生成処理はリアルタイムに（数フィールド程度の期間内に）行われるが、サンプリング処理に時間を要した結果、キー信号が生成されるのは、カーソルで範囲指定が行われてから数秒後になってしまう。
【００１２】
そのため、操作者は、カーソルでの範囲指定結果が妥当であったか否かを前景映像と背景映像との実際の合成映像から確認できるようになるまでに、数秒待たなければならない。そして、妥当でなかった場合、範囲指定をやり直した後、再び数秒待つという過程が繰り返されることになる。その結果、希望通りの合成映像を得るまでに時間がかかっていた。
【００１３】
本発明は、上述の点に鑑み、前景映像のうち、図１に例示したように画面上で範囲指定された部分の色を背景色として別の背景映像に置き換えるためのキー信号を生成するクロマキー機能において、操作者が、範囲指定を行った後、その範囲指定結果を即時に実際の合成映像で確認できるようにすることを課題とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明に係るクロマキー装置は、
前景映像としての映像信号が供給され、前記前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段と、
制御手段と、
前記前景映像を書き込むための画像メモリと
を備えており、
前記制御手段は、
画面上で指定された範囲を示す情報が外部から供給されたことに基づき、前記画像メモリに書き込まれた前記前景映像のうち、前記指定された範囲の画素データをサンプリングする処理と、
前記サンプリングの結果に基づき、色空間上での背景色の値を求め、求めた背景色の値を示す情報を前記キー処理手段に送る処理と
を行い、
前記キー処理手段は、
前記前景映像の各画素のデータを、前記制御手段から送られた前記情報が示す背景色の値と比較することによって前記キー信号を生成する
ことを特徴とする。
【００１５】
このクロマキー装置は、図２に示した従来のクロマキー装置のように、キー処理手段の内部を通過する前景映像をサンプリングするのではなく、画像メモリに書き込まれた前景映像をサンプリングする。ここで、画像メモリへの１フレーム分の映像データの書き込みは１フレーム期間で完了し、また、画像メモリに書き込まれた映像データ中の複数の画素データは一括してリアルタイムにサンプリングすることができるので、前景映像のうちの指定された範囲の画素データを、リアルタイムに全てサンプリングすることができる。
【００１６】
したがって、画面表示されている前景映像のうち背景色としたい色が表示されている部分を範囲指定する操作を行うことにより、リアルタイムにキー信号を生成させることができる。これにより、操作者は、こうした範囲指定を行った後、その範囲指定結果を即時に前景映像と背景映像との実際の合成映像から確認できるようになる。
【００１７】
次に、本発明に係る映像合成装置は、
前景映像としての映像信号が供給され、前記前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段と、
前記背景映像としての映像信号と、前記前景映像と、前記キー信号とが供給され、前記キー信号を用いて前記前景映像と前記背景映像とを合成する合成手段と
映像表示部と、
前記映像表示部を制御する制御手段と
前記映像表示部に表示する映像データを書き込むための画像メモリと
を備えており、
前記制御手段は、
画面表示されている色の中から背景色としたい色が表示されている部分を範囲指定するための背景色指定用画面の映像データを、前記画像メモリに書き込ませ、前記画像メモリから読み出させて、前記映像表示部に表示させる処理と、
前記画像メモリに書き込まれた前記映像データのうち、前記背景色指定用画面上で指定された範囲の画素データをサンプリングする処理と、
前記サンプリングの結果に基づき、色空間上での背景色の値を求め、求めた背景色の値を示す情報を前記キー処理手段に送る処理と
を行い、
前記キー処理手段は、
前記前景映像の各画素のデータを、前記制御手段から送られた前記情報が示す背景色の値と比較することによって前記キー信号を生成する
ことを特徴とする。
【００１８】
この映像合成装置は、図２に示した従来のクロマキー装置のように、キー処理手段の内部を通過する前景映像をサンプリングするのではなく、画像メモリに書き込まれた映像データをサンプリングするので、指定された範囲の画素データを、リアルタイムに全てサンプリングすることができる。
【００１９】
したがって、背景色指定用画面上で背景色としたい色が表示されている部分を範囲指定する操作を行うことにより、リアルタイムにキー信号を生成させることができる。これにより、操作者は、こうした範囲指定を行った後、その範囲指定結果を即時に前景映像と背景映像との実際の合成映像から確認できるようになる。
【００２０】
また、映像表示部を制御する制御手段が、映像表示部に表示する映像データを書き込むための画像メモリを用いて背景色指定用画面を表示させるので、前景映像以外の映像データを画像メモリに書き込ませることにより、前景映像以外の映像を背景色指定用画面として映像表示部に表示させることも可能になる。
【発明の効果】
【００２１】
本発明に係るクロマキー装置によれば、操作者は、画面表示されている前景映像のうち、背景色としたい色が表示されている部分を範囲指定する操作を行った後、その範囲指定結果を即時に前景映像と背景映像との実際の合成映像から確認できるようになるという効果が得られる。
【００２２】
本発明に係る映像合成装置によれば、操作者は、背景色指定用画面上で背景色としたい色が表示されている部分を範囲指定した後、その範囲指定結果を即時に前景映像と背景映像との実際の合成映像から確認でき、しかも、前景映像以外の映像を背景色指定用画面として映像表示部に表示させることも可能になるという効果が得られる。
【発明を実施するための最良の形態】
【００２３】
〔本発明に係るクロマキー装置の実施の形態〕
以下、本発明の実施の形態を、図面を用いて具体的に説明する。最初に、本発明に係るクロマキー装置の実施の形態について説明する。
【００２４】
図３は、本発明に係るクロマキー装置の一実施形態を示すブロック図である。このクロマキー装置には、キー信号を生成するハードウェア回路であるキー処理回路１と、ＣＰＵ２と、画像メモリ３と、ビデオキャプチャデバイス４とが設けられている。前景映像としての映像信号が、キー処理回路１に供給される。キー処理回路１は、前景映像からキー信号を生成し、生成したキー信号を前景映像とともに出力するハードウェア回路である。
【００２５】
キー処理回路１から出力された前景映像は、ビデオキャプチャデバイス４を介してＣＰＵ２にも送られる。
【００２６】
また、ＣＰＵ２には、外部の操作パネル等（図示略）から、画面上で指定された範囲を示す範囲指定情報（例えば、図１に示したように、画面表示されている前景映像のうち、背景色としたい色が表示されている部分をカーソルで囲む操作によって生成される情報）が供給される。
【００２７】
ＣＰＵ２は、ビデオキャプチャデバイス４から前景映像が供給されると、図４に示すような処理を開始する。この処理では、最初に、供給される前景映像を、画像メモリ３に順次書き込む（ステップＳ１）。続いて、新たな範囲指定情報が供給されるまで待機する（ステップＳ２）。
【００２８】
そして、範囲指定情報が供給されると、画像メモリ３に書き込まれた最新のフレームの前景映像のうち、指定された範囲の画素データを全てサンプリングする（ステップＳ３）。続いて、このサンプリング結果に基づき、色空間上での背景色の値を求める（例えば、サンプリングした各画素データの色空間上での値の平均値を求める）演算を行う（ステップＳ４）。そして、求めた背景色の値を示す情報をキー処理回路１に送って（ステップＳ５）、ステップＳ２に戻る。
【００２９】
キー処理回路１は、この図４の処理のステップＳ５によってＣＰＵ２から情報が送られると、現在のフレームの前景映像の各画素のデータを背景色の値と比較することにより、例えば、背景色の値との差が一定の下限の閾値未満である画像位置では前景映像の比率が０となり、背景色の値との差が一定の上限の閾値以上である画像位置では前景映像の比率が１となり、背景色の値との差がこの下限の閾値以上且つこの上限の閾値未満である画像位置では前景映像の比率が０と１との間の値となる（差の大きさに応じて値が大きくなる）ようなキー信号を生成する。
【００３０】
このキー信号及び前景映像と、背景映像のとしての映像信号とを合成回路（図示略）に供給することにより、前景映像と背景映像とが合成回路で合成される。
【００３１】
このように、このクロマキー装置では、図２に示した従来のクロマキー装置のように、キー処理回路１の内部を通過する前景映像をサンプリングするのではなく、画像メモリ３に書き込まれた前景映像をサンプリングする。ここで、画像メモリ３への１フレーム分の映像データの書き込みは１フレーム期間で完了し、また、画像メモリ３に書き込まれた映像データ中の複数の画素データは一括してリアルタイムに（数フィールド程度の期間内に）サンプリングすることができるので、前景映像のうちの指定された範囲の画素データを、リアルタイムに全てサンプリングすることができる。
【００３２】
また、このサンプリング処理の後の背景色の値の演算処理やキー処理回路１でのキー信号の生成処理もリアルタイムに（数フィールド程度の期間内に）行われるので、画面上で指定された範囲を示す情報が供給されたことに応じて、リアルタイムにキー信号が生成される。
【００３３】
したがって、図１に例示したように画面表示されている前景映像のうち背景色としたい色が表示されている部分を範囲指定する操作を行うことにより、リアルタイムにキー信号を生成させることができる。これにより、操作者は、こうした範囲指定を行った後、その範囲指定結果が妥当であったか否かを、即時に前景映像と背景映像との実際の合成映像から確認できるようになる。
【００３４】
そして、範囲指定結果が妥当でなかった場合にも、合成映像がどのように変化するかをリアルタイムに確認しながら範囲指定のやり直しを行うことができるので、希望通りの合成映像を短時間で得ることができる。
【００３５】
図５は、本発明に係るクロマキー装置の別の一実施形態を示すブロック図であり、図３と共通する部分には同一符号を付している。このクロマキー装置では、ＣＰＵ２と画像メモリ３とビデオキャプチャデバイス４とがＰＣＩバス５で接続されている。
【００３６】
ＣＰＵ２は、図４に示した処理のうちの、画像メモリ３への書き込みを、直接実行する代わりに、ビデオキャプチャデバイス４に実行させる。
【００３７】
図６は、本発明に係るクロマキー装置のさらに別の一実施形態を示すブロック図であり、図３と共通する部分には同一符号を付している。このクロマキー装置では、ＣＰＵ２と画像メモリ３との間にメモリコントローラ６が介在しており、ビデオキャプチャデバイス４からメモリコントローラ６に前景映像が送られる。
【００３８】
ＣＰＵ２は、図４に示した処理のうちの、画像メモリ３への書き込みと、画像メモリ３に書き込まれた画素データのサンプリングとを、直接実行する代わりに、メモリコントローラ６に実行させる。
【００３９】
この図５，図６のクロマキー装置でも、図３のクロマキー装置について述べたのと全く同様な効果が得られる。
【００４０】
〔本発明に係る映像合成装置の実施の形態〕
次に、本発明に係る映像合成装置の実施の形態について説明する。図７は、本発明に係る映像合成装置の一実施形態の外観を示す斜視図である。この映像合成装置１０は、ノート型のパーソナルコンピュータを一回り大きくしたような形状及び大きさをしており、例えば、イベント等が行われる各地の会場に持ち運び、ビデオカメラやパーソナルコンピュータからの映像信号を入力して、そのイベント等の様子を紹介する映像コンテンツを制作するために使用することができる。
【００４１】
映像合成装置１０には、ノート型パーソナルコンピュータのキーボード部分に相当する位置に、入力映像の選択，映像に施す特殊効果の指定（後述するような、前景映像中の背景色の指定を含む）等の各種の操作を行うための操作部１１が設けられている。また、映像合成装置１０には、ノート型パーソナルコンピュータにおけるのと同様にして液晶ディスプレイ１２が設けられている。
【００４２】
図８は、この映像合成装置１０の回路構成を示すブロック図である。映像合成装置１０には、６系統の映像入力部２０と、映像処理部３０と、制御部４０とが設けられている。
【００４３】
映像入力部２０は、コンポジット信号，Ｓ−Ｖｉｄｅｏ信号，ＤＶ信号，ＲＧＢ信号，ＳＤＩ信号等の入力端子（図示略）を有しており、入力した映像信号を、フレームシンクロナイザ＆リサイザ２１により、映像合成装置１０内の基準同期信号と同期をとった後、映像合成装置１０の内部処理における統一画サイズであるＳＸＧＡ（１２８０×１０２４ピクセル）と、サムネイル表示用の画サイズとに変換する。
【００４４】
各映像入力部２０でＳＸＧＡに画サイズ変換された最大６系統の映像信号は、映像処理部３０に送られる。また、映像入力部２０内ではフレームシンクロナイザ＆リサイザ２１とローカルＣＰＵ２２とイーサネットコントローラ（イーサネットは登録商標）２３とがローカルバス２４で接続されており、各映像入力部２０でサムネイル表示用に画サイズ変換された最大６系統の映像信号が、イーサネットコントローラ２３から映像合成装置１０内部のイーサネット２５を介して制御部４０内のイーサネットコントローラ４５に送られる。
【００４５】
映像処理部３０には、クロスポイント部３１と、キー処理回路３２と、合成回路３３と、ローカルＣＰＵ３４と、ＮＴＳＣ／ＰＡＬコンバータ３５とが設けられている。キー処理回路３２と合成回路３３とローカルＣＰＵ３４とは、ローカルバス３６で接続されている。
【００４６】
クロスポイント部３１は、各映像入力部２０から送られる最大６系統の映像信号の中から、キー処理回路３２に前景映像として供給する映像信号と、合成回路３３に背景映像として供給する映像信号（現在表示させる背景映像であるプログラム映像と、次に表示させようとする背景映像であるネクスト映像との最大２系統）とを選択するためのスイッチの集合である。
【００４７】
キー処理回路３２は、前景映像からキー信号を生成し、生成したキー信号を前景映像とともに出力するハードウェア回路である。
【００４８】
キー処理回路３２からは、合成回路３３に前景映像及びキー信号が送られる。また、キー処理回路３２からは、ローカルバス３６を介してローカルＣＰＵ３４にも前景映像が送られる。
【００４９】
合成回路３３は、キー処理回路３２からの前景映像及びキー信号を用いてプログラム映像に前景映像を合成したり（キーイング）、ワイプ等の背景映像の切り替え（トランジション）を行う回路である。
【００５０】
合成回路３３の処理を経たプログラム映像は、ＮＴＳＣ／ＰＡＬコンバータ３５でＮＴＳＣまたはＰＡＬ方式の映像信号にフォーマット変換され、映像合成装置１０の出力端子（図示略）から出力するとともに、制御部４０内のビデオキャプチャデバイス４６に送られる。また、合成回路３３からは、ローカルバス３６を介して、ネクスト映像がそのままプレビュー用にローカルＣＰＵ３４に送られる。
【００５１】
制御部４０には、メインＣＰＵ４１と、グラフィックプロセッサ及びメモリコントローラを搭載したチップセット４２と、画像メモリ４３と、グラフィックコントローラ４４と、イーサネットコントローラ４５と、ビデオキャプチャデバイス４６とが設けられている。チップセット４２とグラフィックコントローラ４４とイーサネットコントローラ４５とビデオキャプチャデバイス４６と映像処理部３０内のローカルＣＰＵ３４とは、ＰＣＩバス４７に接続されている。
【００５２】
画像メモリ４３は、液晶ディスプレイ１２（図７）に表示する映像データを書き込むためのメモリである。
【００５３】
メインＣＰＵ４１は、操作部１１（図７）の操作等に基づき、チップセット４２を介して映像入力部２０内のローカルＣＰＵ２２や映像処理部３０内のローカルＣＰＵ３４にコマンドを送ったり、チップセット４２を制御して画像メモリ４３への書き込みや読み出しを行わせたり、チップセット４２を介してグラフィックコントローラ４４を制御して液晶ディスプレイ１２に各種の画面を表示させる。
【００５４】
次に、この映像合成装置１０におけるキー信号の生成処理について説明する。図９は、制御部４０内のメインＣＰＵ４１が、映像処理部３０内のキー処理回路３２にキー信号を生成させるために実行する処理の一例を示すフローチャートである。
【００５５】
この処理は、操作部１１から、背景色の指定を開始する操作が行われたことを示す信号が供給されたことによってスタートし、最初に、映像処理部３０内のローカルＣＰＵ３４に、キー処理回路３２からの前景映像をＰＣＩバス４７経由でチップセット４２に送信することを要求する（ステップＳ１１）。そして、チップセット４２を制御して、ローカルＣＰＵ３４からの前景映像を用いた背景色指定用画面と、ＮＴＳＣ／ＰＡＬコンバータ３５からビデオキャプチャデバイス４６に送られたプログラム映像と、各映像入力部２０からイーサネットコントローラ４５に送られた映像信号によるサムネイル画像とが一画面に表示される映像データを、画像メモリ４３に書き込ませる（ステップＳ１２）。
【００５６】
そして、チップセット４２を制御して、この映像データを画像メモリ４３から読み出してグラフィックコントローラ４４に送らせるとともに、グラフィックコントローラ４４を制御して、液晶ディスプレイ１２にこの映像データを表示させる（ステップＳ１３）。
【００５７】
図１０は、この映像データによる液晶ディスプレイ１２への背景色指定用画面，プログラム映像及びサムネイル画像の表示例を示す図である。背景色指定用画面５０は、図１に示したのと同様、前景映像が表示されている画面に、位置及び大きさを調整可能な枠状のカーソル５１を表示し、前景映像のうち背景色としたい色が表示されている部分を、このカーソル５１で囲むようにしたものである。背景色指定用画面５０の横には、プログラム映像５２が表示される。背景色指定用画面５０及びプログラム映像５２の下には、映像入力部２０の系統数に対応した６つのサムネイル画像５３が表示される。
【００５８】
図９に示すように、ステップＳ１３を終えると、操作部１１から、この背景色指定用画面上で指定された範囲を示す範囲指定情報（図１０の例では、カーソル５１で囲んだ範囲を確定させる操作が行われることによって生成される情報）が新たに供給されるまで待機する（ステップＳ１４）。
【００５９】
そして、この情報が供給されると、チップセット４２を制御して、画像メモリ４３に書き込まれた映像データのうち、指定された範囲の画素データを全てサンプリングさせる（ステップＳ１５）。続いて、このサンプリング結果に基づき、色空間上での背景色の値を求める（例えば、サンプリングした各画素データの色空間上での値の平均値を求める）演算を行う（ステップＳ１６）。そして、求めた背景色の値を示す情報を、映像処理部３０内のローカルＣＰＵ３４に、キー処理回路３２宛の情報として送る（ステップＳ１７）。
【００６０】
続いて、操作部１１から、背景色の指定を終了する操作が行われたことを示す信号が供給されたか否かを判断する（ステップＳ１８）。ノーであればステップＳ１４に戻る。ステップＳ１８でイエスになると、処理を終了する。
【００６１】
キー処理回路３２は、この図９の処理のステップＳ１７によるメインＣＰＵ４１からの情報がローカルＣＰＵ３４から転送されると、現在のフレームの前景映像の各画素のデータを背景色の値と比較することにより、例えば、背景色の値との差が一定の下限の閾値未満である画像位置では前景映像の比率が０となり、背景色の値との差が一定の上限の閾値以上である画像位置では前景映像の比率が１となり、背景色の値との差がこの下限の閾値以上且つこの上限の閾値未満である画像位置では前景映像の比率が０と１との間の値となる（差の大きさに応じて値が大きくなる）ようなキー信号を生成する。
【００６２】
そして、このキー信号と前景映像とがキー処理回路３２から合成回路３３に送られて、合成回路３３でプログラム映像に前景映像が合成される。その結果、図９の処理のステップＳ１２，Ｓ１３により、液晶ディスプレイ１２にも、前景映像が合成されたプログラム映像が表示される。
【００６３】
このように、この映像合成装置１０では、図２に示した従来のクロマキー装置のように、キー処理回路３２の内部を通過する前景映像をサンプリングするのではなく、画像メモリ４３に書き込まれた前景映像をサンプリングする。ここで、画像メモリ４３への１フレーム分の映像データの書き込みは１フレーム期間で完了し、また、画像メモリ４３に書き込まれた映像データ中の複数の画素データは一括してリアルタイムに（数フィールド程度の期間内に）サンプリングすることができるので、前景映像のうちの指定された範囲の画素データを、リアルタイムに全てサンプリングすることができる。
【００６４】
また、このサンプリング処理の後の背景色の値の演算処理やキー処理回路３２でのキー信号の生成処理もリアルタイムに（数フィールド程度の期間内に）行われるので、背景色指定用画面上で指定された範囲を示す情報が操作部１１から供給されたことに応じて、リアルタイムにキー信号が生成される。
【００６５】
したがって、図１０に例示したような背景色指定用画面上で前景映像のうち背景色としたい色が表示されている部分を範囲指定する操作を行うことにより、リアルタイムにキー信号を生成させることができる。これにより、操作者は、こうした範囲指定を行った後、その範囲指定結果が妥当であったか否かを、即時に前景映像とプログラム映像との実際の合成映像（液晶ディスプレイ１２に前景映像と並列して表示されるプログラム映像）から確認することができる。
【００６６】
そして、範囲指定結果が妥当でなかった場合にも、合成映像がどのように変化するかをリアルタイムに確認しながら範囲指定のやり直しを行うことができるので、希望通りの合成映像を短時間で得ることができる。
【００６７】
ところで、この映像合成装置１０では、液晶ディスプレイ１２の表示を制御するメインＣＰＵ４１が、液晶ディスプレイ１２に表示する映像データを書き込むための画像メモリ４３を用いて背景色指定用画面を表示させるので、前景映像以外の映像データを画像メモリ４３に書き込ませることにより、前景映像以外の映像を背景色指定用画面として液晶ディスプレイ１２に表示させることも可能である。
【００６８】
そこで、メインＣＰＵ４１がキー処理回路３２にキー信号を生成させるために実行する処理の別の例として、カラーパレットの画面を背景色指定用画面として表示させる例について説明する。図１１は、この別の処理例を示すフローチャートであり、図９の処理と同じ内容のステップには同一符号を付している。
【００６９】
この処理では、最初に、図９の処理と同じ内容のステップＳ１１を実行した後、チップセット４２を制御して、複数の色見本を配列した静止画を用いた背景色指定用画面と、ローカルＣＰＵ３４からの前景映像と、ＮＴＳＣ／ＰＡＬコンバータ３５からビデオキャプチャデバイス４６に送られたプログラム映像と、各映像入力部２０からイーサネットコントローラ４５に送られた映像信号によるサムネイル画像とが一画面に表示される映像データを、画像メモリ４３に書き込ませる（ステップＳ２１）。そして、図９の処理と同じ内容のステップＳ１３〜Ｓ１８を実行する。
【００７０】
図１２は、図１１の処理による液晶ディスプレイ１２への背景色指定用画面，前景映像，プログラム映像及びサムネイル画像の表示例を示す図である。背景色指定用画面６０は、複数の色見本をマトリクス状に配列したカラーパレット（図示の都合上、個々の色見本は白地で描いている）に、図１０に示したのと同様、位置及び大きさを調整可能な枠状のカーソル６１を表示し、背景色としたい色見本が表示されている部分を、このカーソル６１で囲むようにしたものである。背景色指定用画面６０の横には、前景映像６２とプログラム映像６３とが表示される。背景色指定用画面６０，前景映像６２及びプログラム映像６３の下には、６つのサムネイル画像６４が表示される。
【００７１】
このカラーパレットのような、複数の色見本が配列された画面を背景色指定用画面として表示させることにより、背景色としたい色が表示されている範囲を指定する操作を、一層容易に行うことが可能になる。
【００７２】
なお、図３，図５または図６に示したクロマキー装置を例えばこの映像合成装置に適用する場合には、映像処理部３０内に画像メモリを設けて、ローカルＣＰＵ３４に図３や図５や図６のＣＰＵ２としての処理を実行させるようにしてもよい。
【００７３】
また、図７の実施形態では本発明に係る映像合成装置を持ち運び可能な形状及び大きさにしているが、本発明に係る映像合成装置は据え置き型の装置として実施してもよい。
【図面の簡単な説明】
【００７４】
【図１】前景映像を用いた背景色指定用画面を例示する図である。
【図２】前景映像のうちの範囲指定された部分の色を背景色として別の背景映像に置き換えるためのキー信号を生成するクロマキー装置の、従来の構成例を示すブロック図である。
【図３】本発明に係るクロマキー装置の一実施形態を示すブロック図である。
【図４】図３のＣＰＵが実行する処理を示すフローチャートである。
【図５】本発明に係るクロマキー装置の別の一実施形態を示すブロック図である。
【図６】本発明に係るクロマキー装置の別の一実施形態を示すブロック図である。
【図７】本発明に係る映像合成装置の一実施形態を示す斜視図である。
【図８】図７の映像合成装置の回路構成を示すブロック図である。
【図９】図８のメインＣＰＵがキー信号生成のために実行する処理の一例を示すフローチャートである。
【図１０】図９の処理による背景色指定用画面等の表示例を示す図である。
【図１１】図８のメインＣＰＵがキー信号生成のために実行する処理の別の例を示すフローチャートである。
【図１２】図１１の処理による背景色指定用画面等の表示例を示す図である。
【符号の説明】
【００７５】
１ キー処理回路、 ２ ＣＰＵ、 ３ 画像メモリ、 ４ ビデオキャプチャデバイス、 ５ ＰＣＩバス、 ６ メモリコントローラ、 １０ 映像合成装置、 １１ 操作部、 １２ 液晶ディスプレイ、 ２０ 映像入力部、 ２１ フレームシンクロナイザ＆リサイザ、 ２２ ローカルＣＰＵ、 ２３ イーサネットコントローラ、 ２４ ローカルバス、 ３０ 映像処理部、 ３１ クロスポイント部、 ３２ キー処理回路、 ３３ 合成回路、 ３４ ローカルＣＰＵ、 ３５ ＮＴＳＣ／ＰＡＬコンバータ、 ３６ ローカルバス、 ４０ 制御部、 ４１ メインＣＰＵ、 ４２ チップセット、 ４３ 画像メモリ、 ４４ グラフィックコントローラ、 ４５ イーサネットコントローラ、 ４６ ビデオキャプチャデバイス、 ４７ ＰＣＩバス
【特許請求の範囲】
【請求項１】
前景映像としての映像信号が供給され、前記前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段と、
制御手段と、
前記前景映像を書き込むための画像メモリと
を備えており、
前記制御手段は、
画面上で指定された範囲を示す情報が外部から供給されたことに基づき、前記画像メモリに書き込まれた前記前景映像のうち、前記指定された範囲の画素データをサンプリングする処理と、
前記サンプリングの結果に基づき、色空間上での背景色の値を求め、求めた背景色の値を示す情報を前記キー処理手段に送る処理と
を行い、
前記キー処理手段は、
前記前景映像の各画素のデータを、前記制御手段から送られた前記情報が示す背景色の値と比較することによって前記キー信号を生成する
ことを特徴とするクロマキー装置。
【請求項２】
前景映像としての映像信号が供給され、前記前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段と、
前記背景映像としての映像信号と、前記前景映像と、前記キー信号とが供給され、前記キー信号を用いて前記前景映像と前記背景映像とを合成する合成手段と
映像表示部と、
前記映像表示部を制御する制御手段と
前記映像表示部に表示する映像データを書き込むための画像メモリと
を備えており、
前記制御手段は、
画面表示されている色の中から背景色としたい色が表示されている部分を範囲指定するための背景色指定用画面の映像データを、前記画像メモリに書き込ませ、前記画像メモリから読み出させて、前記映像表示部に表示させる処理と、
前記画像メモリに書き込まれた前記映像データのうち、前記背景色指定用画面上で指定された範囲の画素データをサンプリングする処理と、
前記サンプリングの結果に基づき、色空間上での背景色の値を求め、求めた背景色の値を示す情報を前記キー処理手段に送る処理と
を行い、
前記キー処理手段は、
前記前景映像の各画素のデータを、前記制御手段から送られた前記情報が示す背景色の値と比較することによって前記キー信号を生成する
ことを特徴とする映像合成装置。
【請求項３】
請求項２に記載の映像合成装置において、
前記制御手段は、
前記前景映像を、前記背景色指定用画面の映像データとして前記画像メモリに書き込ませる
ことを特徴とする映像合成装置。
【請求項４】
請求項２に記載の映像合成装置において、
前記制御手段は、
複数の色見本を配列した静止画データを生成し、前記静止画データを、前記背景色指定用画面の映像データとして前記画像メモリに書き込ませる
ことを特徴とする映像合成装置。
【請求項１】
前景映像としての映像信号が供給され、前記前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段と、
制御手段と、
前記前景映像を書き込むための画像メモリと
を備えており、
前記制御手段は、
画面上で指定された範囲を示す情報が外部から供給されたことに基づき、前記画像メモリに書き込まれた前記前景映像のうち、前記指定された範囲の画素データをサンプリングする処理と、
前記サンプリングの結果に基づき、色空間上での背景色の値を求め、求めた背景色の値を示す情報を前記キー処理手段に送る処理と
を行い、
前記キー処理手段は、
前記前景映像の各画素のデータを、前記制御手段から送られた前記情報が示す背景色の値と比較することによって前記キー信号を生成する
ことを特徴とするクロマキー装置。
【請求項２】
前景映像としての映像信号が供給され、前記前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段と、
前記背景映像としての映像信号と、前記前景映像と、前記キー信号とが供給され、前記キー信号を用いて前記前景映像と前記背景映像とを合成する合成手段と
映像表示部と、
前記映像表示部を制御する制御手段と
前記映像表示部に表示する映像データを書き込むための画像メモリと
を備えており、
前記制御手段は、
画面表示されている色の中から背景色としたい色が表示されている部分を範囲指定するための背景色指定用画面の映像データを、前記画像メモリに書き込ませ、前記画像メモリから読み出させて、前記映像表示部に表示させる処理と、
前記画像メモリに書き込まれた前記映像データのうち、前記背景色指定用画面上で指定された範囲の画素データをサンプリングする処理と、
前記サンプリングの結果に基づき、色空間上での背景色の値を求め、求めた背景色の値を示す情報を前記キー処理手段に送る処理と
を行い、
前記キー処理手段は、
前記前景映像の各画素のデータを、前記制御手段から送られた前記情報が示す背景色の値と比較することによって前記キー信号を生成する
ことを特徴とする映像合成装置。
【請求項３】
請求項２に記載の映像合成装置において、
前記制御手段は、
前記前景映像を、前記背景色指定用画面の映像データとして前記画像メモリに書き込ませる
ことを特徴とする映像合成装置。
【請求項４】
請求項２に記載の映像合成装置において、
前記制御手段は、
複数の色見本を配列した静止画データを生成し、前記静止画データを、前記背景色指定用画面の映像データとして前記画像メモリに書き込ませる
ことを特徴とする映像合成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−１４１６９８（Ｐ２００８−１４１６９８Ａ）
【公開日】平成２０年６月１９日（２００８．６．１９）
【国際特許分類】
【出願番号】特願２００６−３２８６８２（Ｐ２００６−３２８６８２）
【出願日】平成１８年１２月５日（２００６．１２．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年６月１９日（２００８．６．１９）
【国際特許分類】
【出願日】平成１８年１２月５日（２００６．１２．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]