照明不変の客体追跡方法及びこれを用いた映像編集装置
【課題】 照明不変の客体追跡方法及びこれを用いた映像編集装置を提供する。
【解決手段】 (a)映像で追跡しようとする客体の初期位置を指定する段階と、(b)前記映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行う段階と、(c)前記カラーモデリングの結果に応答して客体追跡のための確率マップを生成する段階と、(d)前記初期の位置及び前記確率マップに基づき前記客体の現在の位置を追跡する段階とを含むことを特徴とする客体追跡方法、及び映像で追跡しようとする客体の初期位置を指定する初期位置指定部と、前記客体及び前記全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部と、前記カラーモデリング結果に応答して、前記客体の追跡のための確率マップを構成する確率マップ構成部と、前記初期位置及び前記確率マップに応答して前記客体の現位置を追跡する客体追跡部とを備える前記追跡方法を用いた映像編集装置 。
【解決手段】 (a)映像で追跡しようとする客体の初期位置を指定する段階と、(b)前記映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行う段階と、(c)前記カラーモデリングの結果に応答して客体追跡のための確率マップを生成する段階と、(d)前記初期の位置及び前記確率マップに基づき前記客体の現在の位置を追跡する段階とを含むことを特徴とする客体追跡方法、及び映像で追跡しようとする客体の初期位置を指定する初期位置指定部と、前記客体及び前記全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部と、前記カラーモデリング結果に応答して、前記客体の追跡のための確率マップを構成する確率マップ構成部と、前記初期位置及び前記確率マップに応答して前記客体の現位置を追跡する客体追跡部とを備える前記追跡方法を用いた映像編集装置 。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は客体追跡方法に係り、特に、照明不変の客体追跡方法及びこれを用いたビデオ映像編集装置に関する。
【0002】
【従来の技術】近年、ほとんどの情報の流通及び流れにマルチメディア的な要素が使われている。このために、デジタルカメラ、画像通信用カメラなどのように、カメラを通じて取得されたビデオ画面を処理するための装置及びソフトウェアが出始めつつある。
【0003】カメラを通じて取得されたビデオ映像を編集するビデオ映像編集システムは、画面で特定人物の顔や製品をモザイク処理する等、様々な映像編集機能を行う。このうち、モザイク機能は、全体画面や固定位置に対して行われることもあれば、本出願人により取得された大韓民国特許公報に記載の「リアルタイム映像モザイクシステム」(特許文献1参照)のように、映像の動きに従いモザイク機能をリアルタイムにて行うこともある。
【0004】一般に、カメラにより撮影された映像は、ほとんど輝度が一様でない所で獲得される。特に、野外撮影の場合、次から次へと変化する自然光の輝度またはスペクトルの変化によって撮影された映像の輝度またはカラーが一様にならない。従って、この場合、輝度またはカラーの変化を考慮しないままモザイク処理を施せば、輝度の変化によって相異なる値を有する映像のピクセル値の変化によりモザイク処理が不正確に行われることがある。このような問題を解決するために、最近、客体の形状情報に基づく追跡アルゴリズムを用いて該当客体をモザイク処理する方法が提案されている。しかし、この方法は、複雑度が高くて高性能の演算装置及びメモリを必要とし、リアルタイム処理が困難であるといった問題をもっている。
【0005】
【特許文献1】大韓民国特許登録番号第10−170698号明細書
【0006】
【発明が解決しようとする課題】本発明が解決しようとする技術的課題は、照明変化に関係なく映像の所望の領域を信頼性良く追跡し、これをリアルタイムにて編集できる映像編集装置を提供するところにある。
【0007】
【課題を解決するための手段】前記課題を達成するために、本発明に係る照明不変の客体追跡方法は、(a)映像で追跡しようとする客体の初期位置を指定する段階と、(b)前記映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行う段階と、(c)前記カラーモデリングの結果に応答して客体追跡のための確率マップを生成する段階と、(d)前記初期の位置及び前記確率マップに基づき前記客体の現在の位置を追跡する段階とを含むことを特徴とする。
【0008】前記課題を達成するために、本発明に係る照明不変の追跡技術を用いた映像編集方法は、(a)編集しようとする映像を受け入れる段階と、(b)前記映像で隣接ピクセルのカラー比を考慮して前記客体を追跡する段階と、(c)前記追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集段階とを含むことを特徴とする。
【0009】前記客体追跡方法は、これを実行する手段としてコンピュータを機能させるためのプログラムの形態で提供可能である。また、当該プログラムは、コンピュータで読取り可能な記録媒体で流通させることができると共に、電気通信媒体を通じて送信することも可能である。
【0010】前記課題を達成するために、本発明に係る照明不変の客体追跡装置は、映像で追跡しようとする客体の初期位置を指定する初期位置指定部と、前記客体及び前記全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部と、前記カラーモデリング結果に応答して、前記客体の追跡のための確率マップを構成する確率マップ構成部と、前記初期位置及び前記確率マップに応答して前記客体の現位置を追跡する客体追跡部とを備えることを特徴とする。
【0011】前記課題を達成するために、本発明に係る照明不変の追跡技術を用いた映像編集装置は、編集しようとする映像を受け入れるデータ入力手段と、前記映像で隣接ピクセルのカラー比を考慮して前記客体を追跡する客体追跡手段と、前記追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集手段とを備えることを特徴とする。
【0012】
【発明の実施の形態】以下、添付した図面に基づき、本発明の望ましい実施の形態について詳細に説明する。
【0013】図1は、本発明の望ましい実施の形態による照明不変の客体追跡方法及びこれを用いた映像編集方法を説明するフローチャートである。図1を参照すれば、先ず、本発明に係る映像編集方法は、映像信号が入力されれば(第100段階)、映像の隣接ピクセルのカラー比を用いた客体追跡(第200段階)を行った後、追跡された客体を編集して(第300段階)ディスプレーする(第400段階)。
【0014】カメラにより撮影された映像は輝度が一様でない所で獲得される場合がほとんどであるため、映像の輝度が一様でない場合が頻繁に起こる。これは、編集しようとする客体の追跡に誤りを生じるため、本発明では、前記のように輝度の変化に影響されないように映像の隣接ピクセルのカラー比を用いた客体追跡を行う。
【0015】映像処理分野において、照明不変の特徴を探そうとする多くの研究があった。そのうち、ブレイン・V.フント(Brain V. Funt),グラハム・D.フィンレイソン(Graham D. Finlayson)共著,「カラーコンスタント、カラーインデクシング(Color Constant Color Indexing)」,アイトリプリー・トランザクションズ・オン・パターン・アナリシス・アンド・マシン・インテリジェンス(IEEE Transactions on Pattern Analysis and Machine Intelligence)(アメリカ合衆国,インスティチュート・オブ・エレクトリカル・アンド・エレクトロニクス・エンジニアーズ・インコーポレイテッド(Institute of Electrical and Electronics Engineers, Inc.),1995年)には、隣接したピクセルのカラー比が空間的に一様でない照明にも変化しないということが開示されている。この論文では、照明が全体的にまたは空間的に変わるとしても、直ぐ隣りに隣接したピクセルの輝度はピクセルが属する表面の反射特徴にのみ依存するため、隣接したピクセルのカラー比が照明の変化に影響されないということを示している。
【0016】図2の(a)ないし(d)は、隣接したピクセルの輝度比の変化を示す図面である。図2を参照すれば、(a)に示された映像のA及びB地点をつなぐ経路に位置した隣接ピクセルは、(b)に示された如き輝度値を有する。この輝度値は、照明が変化する場合、照明の変化に応じてその値が敏感に変わる。しかし、前記ブレイン・V.フント,グラハム・D.フィンレイソン共著論文によれば、前記映像の隣接ピクセル間の輝度またはカラー比は照明が変化しても、(c)に示されたように照明の変化に影響されず、映像がもっている特性をそのまま維持するということが分かる。
【0017】本発明では、このような特性に基づき、下記のように照明不変の客体追跡を行う。図1を参照すれば、本発明に係る客体追跡方法は、まず、編集しようとする映像区間及び追跡しようとする客体の初期位置を指定する(第210段階)。次に、追跡しようとする客体に関するカラー情報をモデリングし(第220段階)、全映像に関するカラー情報をモデリングする(第225段階)。そして、第220段階及び第225段階で行われたカラー情報のモデリング結果及び第210段階で指定された位置情報を考慮して確率マップを構成し(第240段階)、構成された確率マップに基づきカルマンフィルタリングを行う(第260段階)。後述するように、カルマンフィルターは客体の動作を予測するフィルターであって、動きがある客体の追跡に主として使われる。本発明に係る客体追跡方法の各段階別動作の詳細は、次の通りである。
【0018】図3は、図1に示された客体の初期位置指定方法(第210段階)を説明するフローチャートである。図3を参照すれば、まず、客体の初期位置が自動的に指定されるか、あるいはマニュアルで指定されるかを判別する(第2100段階)。判別の結果、客体の初期位置がマニュアルで指定される場合、ユーザはマウスで客体を含む境界ボックスを映像に指定することにより、追跡客体の位置をマニュアルで指定する(第2110段階)。そして、第2100段階における判別の結果、客体の初期位置が自動的に指定される場合、ユーザが所定のデータ貯蔵領域に予め生成しておいた客体データベース目録のうち編集しようとする客体の目録を指定すれば、前記データベースから該当客体のカラーヒストグラムを読み出し(第2120段階)、読み出されたヒストグラムを逆投射することにより客体の初期位置を自動的に指定する(第2130段階)。
【0019】第2130段階で使われたカラーヒストグラムの逆投射アルゴリズムは、映像で客体を検出するのに邪魔となるカラーの影響、すなわち、客体以外の領域で現れたカラーの影響を減らし、対象客体のカラーが最も強く現れる位置を捜し出すのに使われる。これに対する具体的な方法は下記の通りである。
【0020】図4は、図3に示された逆投射方法(第2130段階)を説明するフローチャートである。図4を参照すれば、カラーヒストグラムの逆投射方法は、Drを半径がrであるディスクであるとした時、まず、各ヒストグラムビンjに対して
を計算する(第2131段階)。ここで、Mjはヒストグラムビンjに対して以前のモデルのカラーヒストグラムを表わし、Ijはヒストグラムビンjに対して現映像のカラーヒストグラムを表わす。Rj値は、Mj値でIj値を割った値及び1のうち小さい方の値として定義される。
【0021】次に、全ての位置(x,y)のカラーに該当するRを計算する(第2132段階)。これは b_x, y = R_h (C(x, y)) として表わされる。第2132段階で計算されたb値はディスクDrとコンボルーションされる(第2133段階)。これは、 b = Dr * bとして表わされ、この時、Drの値は
の値を有する。コンボルーションが行われれば、コンボルーション結果bが最大となる座標を探してこれを客体の初期位置として決める(第2134段階)。この時に決められる初期位置は
として表わされる。
【0022】次に、図1に示された追跡客体に関するカラー情報モデリング方法(第220段階)を説明すれば、下記の通りである。
【0023】図5は、図1に示された追跡客体に関するカラー情報モデリング方法(第220段階)を説明するフローチャートである。図5を参照すれば、まず、追跡客体の色相構成を分析し(第2211段階)、分析結果に基づき客体の色相が単色より構成されたか、それとも多色より構成されたかを判別する(第2212段階)。
【0024】この時に使われる式は、下記式1の通りである。
【0025】
【数1】
【0026】ここで、Sは(i,j)組みの総数であり、uRは(i,j)組みに対する赤色(R)値の平均値を、uGは(i,j)組みに対する緑色(G)値の平均値を、uBは(i,j)組みに対する青色(B)値の平均値を各々表わす。そして、Thはスレショルド値であって、前式1の左辺値が右辺のスレショルド値より小さければ単色客体として判別し、それ以上であれば多色客体として判別する。
【0027】判別の結果、客体が多色より構成されたと判別されれば、前記客体のカラー情報はR、G、Bの各チャンネルに対して隣接したピクセルの輝度比を軸とする3次元ヒストグラム
として貯蔵される(第2213段階)。このようにして構成されたカラー比のヒストグラム
を客体追跡に用いれば、照明の変化に影響されずに客体を追跡することができる。
【0028】これに対し、追跡対象の客体が顔の如く単色より構成された場合には、カラー比が客体の主な特徴を表現できなくなる。従って、前記の如きカラー比のヒストグラム
は単色より構成された客体の検出及び追跡に有効でない。従って、本発明では、単色客体に対しては映像の輝度による色相(Hue)、彩度(Saturation)の2次元ガウスモデリングを通じて照明不変の客体のカラーをモデリングして全客体のカラー確率を定義し(第2214段階)、定義された客体のカラー確率に基づき客体のカラーヒストグラムを構成する(第2215段階)。これに関する詳細は、下記の通りである。
【0029】図6の(a)及び(b)は、照明の変化による皮膚色及び彩度の変化を各々示す図面である。ここで、皮膚は単一色相より構成された客体の一例を示す。図6の(a)及び(b)を参照すれば、HSIカラー空間で皮膚の色相は周辺の輝度とは独立的であり、彩度は輝度に対して線形的に低まる特性を有するということが分かる。このような特性は、皮膚のほかに一般的なカラーにも適用可能である。従って、前記特性に基づき、下記式2のように客体、例えば、皮膚のカラー確率を定義することができる。
【0030】
【数2】
【0031】ここで、
は2次元ガウス関数を、nは客体のサイズを、そしてIは映像の平均輝度を各々表わす。このような客体のカラー確率が定義されれば、本発明では、これをヒストグラム
の軸としてカラーヒストグラムを構成する。
【0032】客体のカラー分布に基づき客体を有効に追跡するためには、前述の如き客体に関するカラー分布情報のほかにも、全映像のカラー分布情報も必要である。全映像のカラー分布情報をモデリングする方法は、下記の通りである。
【0033】図7は、図1に示された全映像に関するカラー情報モデリング方法(第225段階)を説明するフローチャートである。図7を参照すれば、まず、全映像のカラー変化を測定し(第2221段階)、測定の結果に基づき照明が白色照明であるか、それともカラー照明であるかを判別する(第2222段階)。
【0034】この時に使われる式は、下記式3の通りである。
【0035】
【数3】
【0036】ここで、Thはスレショルドであって、前式3の左辺の値が右辺のスレショルド値より小さければ白色照明として判別し、左辺の値が右辺のスレショルド値より大きいか同じであればカラー照明として判別する。この時、nは現フレームの映像を、mは以前のフレームの映像を各々意味する。
【0037】第2222段階における判別の結果、照明がカラー照明として判別されれば、直前のフレームで探した客体の領域からカラー分布を新しく抽出してカラー情報を再びモデリングし、全映像に対するカラー分布をヒストグラムとして構成する適応的カラーモデリングを行う(第2230段階)。この時に使われるカラーモデリング方法は、図5でのそれと同一である。そして、照明が白色照明として判別されれば、カラー情報の再モデリング過程を経ず、図5において構成された客体ヒストグラムの軸と同じ軸に対して映像の全体カラー分布をヒストグラム
として構成する(第2223段階)。
【0038】すなわち、全映像のカラー変化の測定の結果、全映像の輝度が変わったり映像の一部の輝度が異なる白色照明が照らされたりする場合には以前に行われたカラー情報モデリングの結果(すなわち、図1の第220段階)がそのまま使われ、波長別に強度が異なるカラー照明が照らされる場合には第2230段階の如きカラー情報が適応的にモデリングされる。
【0039】さらに図1を参照すれば、第240段階では、第210段階で指定された位置情報と、第220段階及び第225段階を経てモデリングされたカラー情報を考慮して確率マップを構成する。この時に構成される確率マップは、下記式4及び5の通りである。
【0040】
【数4】
【0041】
【数5】
【0042】第260段階では、前式4及び5により構成された確率マップによりカルマンフィルタリングを行い、客体を追跡する。
【0043】カルマンフィルターは、下記式6に基づき連続した映像で対象客体の位置及び大きさを追跡し続ける。
【0044】
【数6】
【0045】ここで、は客体の中心座標を意味し、C(i,j)は共分散行列を意味する。客体の中心座標及び共分散行列C(i,j)を構成する各々のパラメータは、
の値を有する。
【0046】第260段階のカルマンフィルタリング段階では、現在計算された客体の位置及び所定のデータ領域に貯蔵されている以前のデータの両方に基づき現在動いている客体の速度を予測し、下記式7の如き共分散行列を更新することにより、客体の急な動きや停止を信頼性良く追跡する。
【0047】
【数7】
【0048】このような一連の客体追跡方法により所定の客体が追跡されれば、追跡された客体にはモザイク処理などの編集機能が行われた後(第300段階)、ディスプレーされる(第400段階)。
【0049】図8は、本発明の望ましい実施の形態による映像編集装置100のブロック図である。図8を参照すれば、本発明に係る映像編集装置100は、編集しようとする映像を受け入れるデータ入力ユニット10、前記映像で隣接ピクセルのカラー比を考慮して客体を追跡する客体追跡ユニット20、及び追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集ユニット30を備える。
【0050】データ入力ユニット10は、アナログ映像信号を受け入れるビデオカメラ11と、取得されたアナログ映像信号を連続的なデジタル映像信号に変換するA/Dコンバーター12とを備える。
【0051】客体追跡ユニット20は、映像で追跡しようとする客体の初期位置を指定する初期位置指定部21、客体及び全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部22、カラーモデリング結果に基づき客体追跡のための確率マップを構成する確率マップ構成部24、確率マップ構成部24の入力を選択するMUX 25、前記初期位置及び前記確率マップに応答して客体の現位置を追跡する客体追跡部26を備える。
【0052】初期位置指定部21は、ユーザが指定した所定の位置を前記客体の初期位置として受け入れる第1の初期位置指定部211、前記客体の目録及び前記客体に対応するカラーモデリングデータを貯蔵する客体データベース212、及びユーザが指定した客体の目録に対応するカラーモデリングデータを客体データベース212から読み出し、読み出されたカラーモデリングデータを逆投射して前記客体の初期位置を自動的に指定する第2の初期位置指定部213を備える。第1の初期位置指定部211は、前述した初期位置のマニュアル指定機能を行い、第2の初期位置指定部213は、初期位置の自動指定機能を行う。
【0053】前記カラーモデリング部22は、客体に関するカラー情報をモデリングする第1のカラーモデリング部221、全映像に関するカラー情報をモデリングする第2のカラーモデリング部222、及び映像の照明に関する変化を考慮して前記客体に関するカラー情報を適応的にモデリングする第3のカラーモデリング部223を備える。
【0054】第1のカラーモデリング部221は、第1または第2の初期位置指定部211または213を通じて編集しようとする客体の初期位置がマニュアルまたは自動的に指定されれば、前記客体の初期領域からカラー情報を抽出し、客体を追跡するのにこれを使用する。第1のカラーモデリング部221は、該当客体が単色より構成されるか、それとも多色より構成されるかを判別し、該当客体が多色より構成された場合には前記客体の情報をR,G,Bの各チャンネルに対して隣接したピクセルのカラー比を軸とする3次元ヒストグラム
として貯蔵する。このようなカラー比のヒストグラム
を使用すれば、照明の変化に影響されずにカラー情報に基づき客体を認識することができる。
【0055】しかしながら、対象客体が顔の如く単色より構成された客体である場合にはカラー比が客体の主な特徴を表現できないため、客体を検出、追跡する上で有効でない。従って、本発明では、単色より構成された客体に対しては映像の輝度による色相、彩度の2次元ガウスモデリングを通じて照明に強く客体のカラーをモデリングする。
【0056】一般に、追跡、検出しようとする対象客体が高精度でないか、それとも回転が激しい場合には、形状情報よりカラー情報を用いた方が時間及び正確度の面で多くの利点を有する。しかし、放送用として製作されたビデオ信号は室内外の激しい照明の変化を含むため、一般的なR,G,Bのカラー空間で対象客体のカラーが激しく変化し、これは、客体の追跡、検出を困難にする。従って、本発明では、このように激しい照明の変化にも強く客体を追跡するために、カラー情報の抽出において、第1のカラーモデリング部221及び第3のカラーモデリング部223で行われた客体のカラーモデリング結果を同時に使用する。
【0057】このために、第3のカラーモデリング部223は、全映像に対するカラー変化を測定し、測定の結果、映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対するカラーモデリングを再び行い、全映像に対するカラー分布をヒストグラムとして構成する。そして、測定の結果、映像が白色照明下で取得されたと判別された場合、第1のカラーモデリング部221で行われた客体のカラーモデリング結果をそのまま使用する。
【0058】客体のカラー分布に基づき客体を有効に追跡するためには、前述の如き客体に関するカラー分布情報のほかにも、全映像のカラー分布情報も必要である。このために、第2のカラーモデリング部222は、現映像の全体カラー分布を客体ヒストグラムの軸と同じ軸に対するヒストグラム
として構成する。
【0059】確率マップ構成部24は、第2のカラーモデリング部222で行われたカラーモデリング結果を受け入れ、選択された客体の位置と、第1または第3のカラーモデリング部221または223で行われたカラーモデリング結果をMUX 25を通じて受け入れる。この時に生成される確率マップは、前式4及び5の通りである。
【0060】一方、客体データベース212は、第1のカラーモデリング部221で生成された照明不変のカラーヒストグラムを貯蔵するが、物体の色相構成に応じてカラー比のヒストグラムや照明によるガウスヒストグラムとして貯蔵する。客体データベース212に貯蔵された客体のカラー分布情報は、ユーザが関心客体を目録で指定すれば、第2の初期位置指定部213で客体の初期位置を自動的に検出するのに使われる。
【0061】客体追跡部26は、メモリ261、速度予測部262及びカルマンフィルター263を備え、客体の現位置を追跡する。
【0062】カルマンフィルター263は、確率マップ構成部24で生成された客体の確率マップCOLOR_MODEL及び客体の初期位置OBJ_POSITIONを受け入れ、前式6に基づき連続的な映像で関心客体の位置及び大きさを追跡し続ける。速度予測部262は、メモリ261を用いて以前の客体の位置を貯蔵しておき、現在計算された客体の位置及び以前のデータの両方に基づき現在動いている客体の速度を予測する。そして、前式7のようにカルマンフィルター263の共分散行列を更新することにより、客体の急な動きや停止を信頼性良く追跡する。
【0063】前述の如き一連の客体追跡方法により所定の客体が追跡されれば、追跡された客体は映像編集ユニット30を通じてモザイク処理などの簡単な編集機能が自動的に行われる。映像編集ユニット30は、さらに様々な編集機能を与えるために、映像編集を行う映像編集部32、及び編集されたビデオ信号をアナログ信号に変換して出力するD/Aコンバーター33に加えて、境界線抽出部31をさらに備える。境界線抽出部31は、映像編集部32に接続されて追跡中の客体の境界線情報を与える。境界線抽出方法は、量子化したカラー映像及びモーション差映像の両方を用いて客体領域を2進化した映像として定義し、境界追跡アルゴリズムを適用して境界線を抽出する。
【0064】本発明に係る映像編集ユニット30には、予め貯蔵しておいた編集機能リスト(図示せず)が備えられており、ユーザが特定の機能を選択すれば、その選択結果に応じて編集アルゴリズムが動作し、編集された結果がD/Aコンバーター33を通じてアナログの形に変換される。映像編集部32で行う編集アルゴリズムは、デジタル映像の各々の一枚に対し、関心客体の位置と大きさまたは境界線情報(または輪郭線情報)に基づき特定領域に特定の色を塗ったり、または特定フィルターを通過させて映像を変換する過程を含む。編集に使用可能なフィルターとしてモザイクフィルター、ブラリングフィルター、反転フィルターなどがある。
【0065】前述した本発明に係る映像編集装置100を実際の映像に適用した場合、その結果は下記の通りである。
【0066】図9は、様々な照明条件下にある合成モンドリアン映像を示す図面であり、図10は、様々な照明条件下で取得された実際の映像の例を示す図面である。
【0067】まず、図9を参照すれば、図9の(a)は、空間的に一定であり、且つ、スペクトル的にも一定である照明下における合成モンドリアン映像を示し、図9の(b)は、空間的には一定であるものの、スペクトル的には一定ではない照明下における合成モンドリアン映像を示す。そして、図9の(c)は、空間的にも一定ではなく、且つ、スペクトル的にも一定ではない照明下における合成モンドリアン映像を示す。
【0068】この場合、図9の(a)、(b)及び(c)の各々に対するR,G,B空間、オッポネントカラー空間、正規化したR,G空間、HSI空間、及びカラー比空間の比較結果は、下記表1ないし3の通りである。
【0069】
【表1】
【0070】
【表2】
【0071】
【表3】
【0072】表1ないし表3から明らかなように、カラー比空間を基準とする時、合成モンドリアン映像は照明の変化に関係なく全てのカラー空間に対して高い平均白分率のマッチング結果を示すということが分かる。これにより、本発明に係る客体追跡方法は、照明不変の特性を有するということが分かる。
【0073】次に、図10を参照すれば、図10の(a)はある映像に対する他の映像の角度が捩じれて見えるスウェインモデル映像の場合を示し、図10の(b)は、類似の照明下で取得された2枚の映像を示す。そして、図10の(c)は、顕著に異なる照明下で取得された2枚の映像を示す。
【0074】この場合、図10の(a)、(b)、(c)の各々に対するR,G,B空間、オッポネントカラー空間、正規化したR,G空間、HSI空間、及びカラー比空間の比較結果は、下記表4ないし表6の通りである。
【0075】
【表4】
【0076】
【表5】
【0077】
【表6】
【0078】表4から明らかなように、映像の角度が捩じれているスウェインモデル映像の場合にも、カラー比空間を基準とする時、全てのカラー空間に対して高い平均白分率のマッチング結果を示すということが分かる。のみならず、表5及び表6から明らかなように、カラー比空間を基準とする時、相異なる条件下にある映像は、照明が類似に変化しようが、または照明が大いに変化しようが、照明の変化に関係なく全てのカラー空間に対して高い平均白分率のマッチング結果を示すということが分かる。これにより、本発明に係る客体追跡方法は、照明不変の特性を有するということが分かる。
【0079】図11は、様々な照明条件下で皮膚色データが収集される一例を示す図面である。図11には、映像が取得された位置と、取得された映像とが各々示されている。図11を参照すれば、同じ事務室の場合であっても、映像が取得される位置に応じて相異なる輝度を有する。この場合、本発明に使われるカラーモデリングを行うために、様々な位置で映像を取得して実験を行った。
【0080】図12は、図11で収集された皮膚色データの一例を示す図面である。図12を参照すれば、図11に示された位置で取得された皮膚色データは、図12のグラフの通りである。
【0081】図13は、図11で収集された映像の全体照明の変化を分析した結果を示す図面である。図13を参照すれば、図11のように収集された映像の全体照明の変化をHSIヒストグラムにて表わせる。
【0082】例えば、取得されたビデオ映像で人の顔を追跡しようとする場合、図11ないし図13に示された方法により収集されて分析されたデータに基づき客体(人の顔)を追跡することができ、その追跡の結果は、下記の通りである。
【0083】図14は、図11ないし図13に示された方法により取得された情報に基づき複数の顔を追跡した結果を示す図面であり、図15は、本発明に係る映像編集装置により特定の顔をモザイク処理した結果を示す図面である。
【0084】図14及び図15を参照すれば、本発明に係る客体追跡方法によれば、様々な照明の変化にも拘わらず、一つまたは複数の特定客体に対する追跡が正確に行え、追跡された客体に対する編集(例えば、モザイク処理等)も正確に行えることが分かる。
【0085】以上、本発明の実施の形態としてビデオデータに対する自動客体追跡及びこれを用いた編集について具体的に例示したが、その他にも放送用撮影装置を始めとして家庭用撮影装置に至るまであらゆる映像装置のための映像編集に適用でき、セキュリティシステム、画像チャット、通信等にも本発明を適用することができる。
【0086】本発明はまた、コンピュータにて読取り可能な記録・伝送媒体によって流通する、コンピュータにて読取り可能なコード(プログラム)として具現可能である。コンピュータにて読取り可能な記録媒体はコンピュータシステムにより読み込まれるデータが貯蔵されるあらゆる種類の記録装置を備える。コンピュータにて読取り可能な記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ貯蔵装置などがあり、またキャリアウェーブ(例えば、インターネットを介して伝送)の形にて具現されるものも含む。また、コンピュータにて読取り可能な記録媒体はネットワークに接続されたコンピュータシステムに分散されて、分散方式によりコンピュータにて読取り可能なコードとして貯蔵されて実行できる。
【0087】
【発明の効果】以上述べたように、本発明に係る照明不変の客体追跡方法及びこれを用いた映像編集装置によれば、リアルタイムまたは録画撮影中に映像編集処理が必要とされる領域が照明の変化が大きい環境下で撮影される場合、照明の変化に関係なく所望の領域を信頼性良く追跡及び編集することができる。よって、客体の追跡及び編集に際して高い正確性を有することができる。
【図面の簡単な説明】
【図1】本発明の望ましい実施の形態による照明不変の客体追跡方法及びこれを用いた映像編集方法を説明するフローチャートである。
【図2】(a)ないし(c)は、隣接したピクセルの輝度比の変化を示す図面である。
【図3】図1に示された客体の初期位置指定方法を説明するフローチャートである。
【図4】図3に示された逆投射方法を説明するフローチャートである。
【図5】図1に示された追跡客体に関するカラー情報モデリング方法を説明するフローチャートである。
【図6】(a)及び(b)は、照明の変化による皮膚色、彩度の変化を各々示す図面である。
【図7】図1に示された全映像に関するカラー情報モデリング方法を説明するフローチャートである。
【図8】本発明の望ましい実施の形態による映像編集装置のブロック図である。
【図9】(a)ないし(c)は、様々な照明条件下にある合成モンドリアン映像を示す図面である。
【図10】(a)ないし(c)は、様々な照明条件下で取得された実際映像の例を示す図面である。
【図11】様々な照明条件下で皮膚色データが収集される一例を示す図面である。
【図12】図11で収集された皮膚色データの一例を示す図面である。
【図13】図11で収集された映像の全体照明の変化を分析した結果を示す図面である。
【図14】図11ないし図13に示された方法により取得された情報に基づき複数の顔を追跡した結果を示す図面である。
【図15】本発明に係る映像編集装置により特定顔をモザイク処理した結果を示す図面である。
<符号の説明>
10 データ入力ユニット
11 ビデオカメラ
12 A/Dコンバーター
20 客体追跡ユニット
21 初期位置指定部
22 カラーモデリング部
24 確率マップ構成部
25 MUX
26 客体追跡部
30 映像編集ユニット
31 境界線抽出部
32 映像編集部
33 D/Aコンバーター
100 映像編集装置
【0001】
【発明の属する技術分野】本発明は客体追跡方法に係り、特に、照明不変の客体追跡方法及びこれを用いたビデオ映像編集装置に関する。
【0002】
【従来の技術】近年、ほとんどの情報の流通及び流れにマルチメディア的な要素が使われている。このために、デジタルカメラ、画像通信用カメラなどのように、カメラを通じて取得されたビデオ画面を処理するための装置及びソフトウェアが出始めつつある。
【0003】カメラを通じて取得されたビデオ映像を編集するビデオ映像編集システムは、画面で特定人物の顔や製品をモザイク処理する等、様々な映像編集機能を行う。このうち、モザイク機能は、全体画面や固定位置に対して行われることもあれば、本出願人により取得された大韓民国特許公報に記載の「リアルタイム映像モザイクシステム」(特許文献1参照)のように、映像の動きに従いモザイク機能をリアルタイムにて行うこともある。
【0004】一般に、カメラにより撮影された映像は、ほとんど輝度が一様でない所で獲得される。特に、野外撮影の場合、次から次へと変化する自然光の輝度またはスペクトルの変化によって撮影された映像の輝度またはカラーが一様にならない。従って、この場合、輝度またはカラーの変化を考慮しないままモザイク処理を施せば、輝度の変化によって相異なる値を有する映像のピクセル値の変化によりモザイク処理が不正確に行われることがある。このような問題を解決するために、最近、客体の形状情報に基づく追跡アルゴリズムを用いて該当客体をモザイク処理する方法が提案されている。しかし、この方法は、複雑度が高くて高性能の演算装置及びメモリを必要とし、リアルタイム処理が困難であるといった問題をもっている。
【0005】
【特許文献1】大韓民国特許登録番号第10−170698号明細書
【0006】
【発明が解決しようとする課題】本発明が解決しようとする技術的課題は、照明変化に関係なく映像の所望の領域を信頼性良く追跡し、これをリアルタイムにて編集できる映像編集装置を提供するところにある。
【0007】
【課題を解決するための手段】前記課題を達成するために、本発明に係る照明不変の客体追跡方法は、(a)映像で追跡しようとする客体の初期位置を指定する段階と、(b)前記映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行う段階と、(c)前記カラーモデリングの結果に応答して客体追跡のための確率マップを生成する段階と、(d)前記初期の位置及び前記確率マップに基づき前記客体の現在の位置を追跡する段階とを含むことを特徴とする。
【0008】前記課題を達成するために、本発明に係る照明不変の追跡技術を用いた映像編集方法は、(a)編集しようとする映像を受け入れる段階と、(b)前記映像で隣接ピクセルのカラー比を考慮して前記客体を追跡する段階と、(c)前記追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集段階とを含むことを特徴とする。
【0009】前記客体追跡方法は、これを実行する手段としてコンピュータを機能させるためのプログラムの形態で提供可能である。また、当該プログラムは、コンピュータで読取り可能な記録媒体で流通させることができると共に、電気通信媒体を通じて送信することも可能である。
【0010】前記課題を達成するために、本発明に係る照明不変の客体追跡装置は、映像で追跡しようとする客体の初期位置を指定する初期位置指定部と、前記客体及び前記全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部と、前記カラーモデリング結果に応答して、前記客体の追跡のための確率マップを構成する確率マップ構成部と、前記初期位置及び前記確率マップに応答して前記客体の現位置を追跡する客体追跡部とを備えることを特徴とする。
【0011】前記課題を達成するために、本発明に係る照明不変の追跡技術を用いた映像編集装置は、編集しようとする映像を受け入れるデータ入力手段と、前記映像で隣接ピクセルのカラー比を考慮して前記客体を追跡する客体追跡手段と、前記追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集手段とを備えることを特徴とする。
【0012】
【発明の実施の形態】以下、添付した図面に基づき、本発明の望ましい実施の形態について詳細に説明する。
【0013】図1は、本発明の望ましい実施の形態による照明不変の客体追跡方法及びこれを用いた映像編集方法を説明するフローチャートである。図1を参照すれば、先ず、本発明に係る映像編集方法は、映像信号が入力されれば(第100段階)、映像の隣接ピクセルのカラー比を用いた客体追跡(第200段階)を行った後、追跡された客体を編集して(第300段階)ディスプレーする(第400段階)。
【0014】カメラにより撮影された映像は輝度が一様でない所で獲得される場合がほとんどであるため、映像の輝度が一様でない場合が頻繁に起こる。これは、編集しようとする客体の追跡に誤りを生じるため、本発明では、前記のように輝度の変化に影響されないように映像の隣接ピクセルのカラー比を用いた客体追跡を行う。
【0015】映像処理分野において、照明不変の特徴を探そうとする多くの研究があった。そのうち、ブレイン・V.フント(Brain V. Funt),グラハム・D.フィンレイソン(Graham D. Finlayson)共著,「カラーコンスタント、カラーインデクシング(Color Constant Color Indexing)」,アイトリプリー・トランザクションズ・オン・パターン・アナリシス・アンド・マシン・インテリジェンス(IEEE Transactions on Pattern Analysis and Machine Intelligence)(アメリカ合衆国,インスティチュート・オブ・エレクトリカル・アンド・エレクトロニクス・エンジニアーズ・インコーポレイテッド(Institute of Electrical and Electronics Engineers, Inc.),1995年)には、隣接したピクセルのカラー比が空間的に一様でない照明にも変化しないということが開示されている。この論文では、照明が全体的にまたは空間的に変わるとしても、直ぐ隣りに隣接したピクセルの輝度はピクセルが属する表面の反射特徴にのみ依存するため、隣接したピクセルのカラー比が照明の変化に影響されないということを示している。
【0016】図2の(a)ないし(d)は、隣接したピクセルの輝度比の変化を示す図面である。図2を参照すれば、(a)に示された映像のA及びB地点をつなぐ経路に位置した隣接ピクセルは、(b)に示された如き輝度値を有する。この輝度値は、照明が変化する場合、照明の変化に応じてその値が敏感に変わる。しかし、前記ブレイン・V.フント,グラハム・D.フィンレイソン共著論文によれば、前記映像の隣接ピクセル間の輝度またはカラー比は照明が変化しても、(c)に示されたように照明の変化に影響されず、映像がもっている特性をそのまま維持するということが分かる。
【0017】本発明では、このような特性に基づき、下記のように照明不変の客体追跡を行う。図1を参照すれば、本発明に係る客体追跡方法は、まず、編集しようとする映像区間及び追跡しようとする客体の初期位置を指定する(第210段階)。次に、追跡しようとする客体に関するカラー情報をモデリングし(第220段階)、全映像に関するカラー情報をモデリングする(第225段階)。そして、第220段階及び第225段階で行われたカラー情報のモデリング結果及び第210段階で指定された位置情報を考慮して確率マップを構成し(第240段階)、構成された確率マップに基づきカルマンフィルタリングを行う(第260段階)。後述するように、カルマンフィルターは客体の動作を予測するフィルターであって、動きがある客体の追跡に主として使われる。本発明に係る客体追跡方法の各段階別動作の詳細は、次の通りである。
【0018】図3は、図1に示された客体の初期位置指定方法(第210段階)を説明するフローチャートである。図3を参照すれば、まず、客体の初期位置が自動的に指定されるか、あるいはマニュアルで指定されるかを判別する(第2100段階)。判別の結果、客体の初期位置がマニュアルで指定される場合、ユーザはマウスで客体を含む境界ボックスを映像に指定することにより、追跡客体の位置をマニュアルで指定する(第2110段階)。そして、第2100段階における判別の結果、客体の初期位置が自動的に指定される場合、ユーザが所定のデータ貯蔵領域に予め生成しておいた客体データベース目録のうち編集しようとする客体の目録を指定すれば、前記データベースから該当客体のカラーヒストグラムを読み出し(第2120段階)、読み出されたヒストグラムを逆投射することにより客体の初期位置を自動的に指定する(第2130段階)。
【0019】第2130段階で使われたカラーヒストグラムの逆投射アルゴリズムは、映像で客体を検出するのに邪魔となるカラーの影響、すなわち、客体以外の領域で現れたカラーの影響を減らし、対象客体のカラーが最も強く現れる位置を捜し出すのに使われる。これに対する具体的な方法は下記の通りである。
【0020】図4は、図3に示された逆投射方法(第2130段階)を説明するフローチャートである。図4を参照すれば、カラーヒストグラムの逆投射方法は、Drを半径がrであるディスクであるとした時、まず、各ヒストグラムビンjに対して
を計算する(第2131段階)。ここで、Mjはヒストグラムビンjに対して以前のモデルのカラーヒストグラムを表わし、Ijはヒストグラムビンjに対して現映像のカラーヒストグラムを表わす。Rj値は、Mj値でIj値を割った値及び1のうち小さい方の値として定義される。
【0021】次に、全ての位置(x,y)のカラーに該当するRを計算する(第2132段階)。これは b_x, y = R_h (C(x, y)) として表わされる。第2132段階で計算されたb値はディスクDrとコンボルーションされる(第2133段階)。これは、 b = Dr * bとして表わされ、この時、Drの値は
の値を有する。コンボルーションが行われれば、コンボルーション結果bが最大となる座標を探してこれを客体の初期位置として決める(第2134段階)。この時に決められる初期位置は
として表わされる。
【0022】次に、図1に示された追跡客体に関するカラー情報モデリング方法(第220段階)を説明すれば、下記の通りである。
【0023】図5は、図1に示された追跡客体に関するカラー情報モデリング方法(第220段階)を説明するフローチャートである。図5を参照すれば、まず、追跡客体の色相構成を分析し(第2211段階)、分析結果に基づき客体の色相が単色より構成されたか、それとも多色より構成されたかを判別する(第2212段階)。
【0024】この時に使われる式は、下記式1の通りである。
【0025】
【数1】
【0026】ここで、Sは(i,j)組みの総数であり、uRは(i,j)組みに対する赤色(R)値の平均値を、uGは(i,j)組みに対する緑色(G)値の平均値を、uBは(i,j)組みに対する青色(B)値の平均値を各々表わす。そして、Thはスレショルド値であって、前式1の左辺値が右辺のスレショルド値より小さければ単色客体として判別し、それ以上であれば多色客体として判別する。
【0027】判別の結果、客体が多色より構成されたと判別されれば、前記客体のカラー情報はR、G、Bの各チャンネルに対して隣接したピクセルの輝度比を軸とする3次元ヒストグラム
として貯蔵される(第2213段階)。このようにして構成されたカラー比のヒストグラム
を客体追跡に用いれば、照明の変化に影響されずに客体を追跡することができる。
【0028】これに対し、追跡対象の客体が顔の如く単色より構成された場合には、カラー比が客体の主な特徴を表現できなくなる。従って、前記の如きカラー比のヒストグラム
は単色より構成された客体の検出及び追跡に有効でない。従って、本発明では、単色客体に対しては映像の輝度による色相(Hue)、彩度(Saturation)の2次元ガウスモデリングを通じて照明不変の客体のカラーをモデリングして全客体のカラー確率を定義し(第2214段階)、定義された客体のカラー確率に基づき客体のカラーヒストグラムを構成する(第2215段階)。これに関する詳細は、下記の通りである。
【0029】図6の(a)及び(b)は、照明の変化による皮膚色及び彩度の変化を各々示す図面である。ここで、皮膚は単一色相より構成された客体の一例を示す。図6の(a)及び(b)を参照すれば、HSIカラー空間で皮膚の色相は周辺の輝度とは独立的であり、彩度は輝度に対して線形的に低まる特性を有するということが分かる。このような特性は、皮膚のほかに一般的なカラーにも適用可能である。従って、前記特性に基づき、下記式2のように客体、例えば、皮膚のカラー確率を定義することができる。
【0030】
【数2】
【0031】ここで、
は2次元ガウス関数を、nは客体のサイズを、そしてIは映像の平均輝度を各々表わす。このような客体のカラー確率が定義されれば、本発明では、これをヒストグラム
の軸としてカラーヒストグラムを構成する。
【0032】客体のカラー分布に基づき客体を有効に追跡するためには、前述の如き客体に関するカラー分布情報のほかにも、全映像のカラー分布情報も必要である。全映像のカラー分布情報をモデリングする方法は、下記の通りである。
【0033】図7は、図1に示された全映像に関するカラー情報モデリング方法(第225段階)を説明するフローチャートである。図7を参照すれば、まず、全映像のカラー変化を測定し(第2221段階)、測定の結果に基づき照明が白色照明であるか、それともカラー照明であるかを判別する(第2222段階)。
【0034】この時に使われる式は、下記式3の通りである。
【0035】
【数3】
【0036】ここで、Thはスレショルドであって、前式3の左辺の値が右辺のスレショルド値より小さければ白色照明として判別し、左辺の値が右辺のスレショルド値より大きいか同じであればカラー照明として判別する。この時、nは現フレームの映像を、mは以前のフレームの映像を各々意味する。
【0037】第2222段階における判別の結果、照明がカラー照明として判別されれば、直前のフレームで探した客体の領域からカラー分布を新しく抽出してカラー情報を再びモデリングし、全映像に対するカラー分布をヒストグラムとして構成する適応的カラーモデリングを行う(第2230段階)。この時に使われるカラーモデリング方法は、図5でのそれと同一である。そして、照明が白色照明として判別されれば、カラー情報の再モデリング過程を経ず、図5において構成された客体ヒストグラムの軸と同じ軸に対して映像の全体カラー分布をヒストグラム
として構成する(第2223段階)。
【0038】すなわち、全映像のカラー変化の測定の結果、全映像の輝度が変わったり映像の一部の輝度が異なる白色照明が照らされたりする場合には以前に行われたカラー情報モデリングの結果(すなわち、図1の第220段階)がそのまま使われ、波長別に強度が異なるカラー照明が照らされる場合には第2230段階の如きカラー情報が適応的にモデリングされる。
【0039】さらに図1を参照すれば、第240段階では、第210段階で指定された位置情報と、第220段階及び第225段階を経てモデリングされたカラー情報を考慮して確率マップを構成する。この時に構成される確率マップは、下記式4及び5の通りである。
【0040】
【数4】
【0041】
【数5】
【0042】第260段階では、前式4及び5により構成された確率マップによりカルマンフィルタリングを行い、客体を追跡する。
【0043】カルマンフィルターは、下記式6に基づき連続した映像で対象客体の位置及び大きさを追跡し続ける。
【0044】
【数6】
【0045】ここで、は客体の中心座標を意味し、C(i,j)は共分散行列を意味する。客体の中心座標及び共分散行列C(i,j)を構成する各々のパラメータは、
の値を有する。
【0046】第260段階のカルマンフィルタリング段階では、現在計算された客体の位置及び所定のデータ領域に貯蔵されている以前のデータの両方に基づき現在動いている客体の速度を予測し、下記式7の如き共分散行列を更新することにより、客体の急な動きや停止を信頼性良く追跡する。
【0047】
【数7】
【0048】このような一連の客体追跡方法により所定の客体が追跡されれば、追跡された客体にはモザイク処理などの編集機能が行われた後(第300段階)、ディスプレーされる(第400段階)。
【0049】図8は、本発明の望ましい実施の形態による映像編集装置100のブロック図である。図8を参照すれば、本発明に係る映像編集装置100は、編集しようとする映像を受け入れるデータ入力ユニット10、前記映像で隣接ピクセルのカラー比を考慮して客体を追跡する客体追跡ユニット20、及び追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集ユニット30を備える。
【0050】データ入力ユニット10は、アナログ映像信号を受け入れるビデオカメラ11と、取得されたアナログ映像信号を連続的なデジタル映像信号に変換するA/Dコンバーター12とを備える。
【0051】客体追跡ユニット20は、映像で追跡しようとする客体の初期位置を指定する初期位置指定部21、客体及び全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部22、カラーモデリング結果に基づき客体追跡のための確率マップを構成する確率マップ構成部24、確率マップ構成部24の入力を選択するMUX 25、前記初期位置及び前記確率マップに応答して客体の現位置を追跡する客体追跡部26を備える。
【0052】初期位置指定部21は、ユーザが指定した所定の位置を前記客体の初期位置として受け入れる第1の初期位置指定部211、前記客体の目録及び前記客体に対応するカラーモデリングデータを貯蔵する客体データベース212、及びユーザが指定した客体の目録に対応するカラーモデリングデータを客体データベース212から読み出し、読み出されたカラーモデリングデータを逆投射して前記客体の初期位置を自動的に指定する第2の初期位置指定部213を備える。第1の初期位置指定部211は、前述した初期位置のマニュアル指定機能を行い、第2の初期位置指定部213は、初期位置の自動指定機能を行う。
【0053】前記カラーモデリング部22は、客体に関するカラー情報をモデリングする第1のカラーモデリング部221、全映像に関するカラー情報をモデリングする第2のカラーモデリング部222、及び映像の照明に関する変化を考慮して前記客体に関するカラー情報を適応的にモデリングする第3のカラーモデリング部223を備える。
【0054】第1のカラーモデリング部221は、第1または第2の初期位置指定部211または213を通じて編集しようとする客体の初期位置がマニュアルまたは自動的に指定されれば、前記客体の初期領域からカラー情報を抽出し、客体を追跡するのにこれを使用する。第1のカラーモデリング部221は、該当客体が単色より構成されるか、それとも多色より構成されるかを判別し、該当客体が多色より構成された場合には前記客体の情報をR,G,Bの各チャンネルに対して隣接したピクセルのカラー比を軸とする3次元ヒストグラム
として貯蔵する。このようなカラー比のヒストグラム
を使用すれば、照明の変化に影響されずにカラー情報に基づき客体を認識することができる。
【0055】しかしながら、対象客体が顔の如く単色より構成された客体である場合にはカラー比が客体の主な特徴を表現できないため、客体を検出、追跡する上で有効でない。従って、本発明では、単色より構成された客体に対しては映像の輝度による色相、彩度の2次元ガウスモデリングを通じて照明に強く客体のカラーをモデリングする。
【0056】一般に、追跡、検出しようとする対象客体が高精度でないか、それとも回転が激しい場合には、形状情報よりカラー情報を用いた方が時間及び正確度の面で多くの利点を有する。しかし、放送用として製作されたビデオ信号は室内外の激しい照明の変化を含むため、一般的なR,G,Bのカラー空間で対象客体のカラーが激しく変化し、これは、客体の追跡、検出を困難にする。従って、本発明では、このように激しい照明の変化にも強く客体を追跡するために、カラー情報の抽出において、第1のカラーモデリング部221及び第3のカラーモデリング部223で行われた客体のカラーモデリング結果を同時に使用する。
【0057】このために、第3のカラーモデリング部223は、全映像に対するカラー変化を測定し、測定の結果、映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対するカラーモデリングを再び行い、全映像に対するカラー分布をヒストグラムとして構成する。そして、測定の結果、映像が白色照明下で取得されたと判別された場合、第1のカラーモデリング部221で行われた客体のカラーモデリング結果をそのまま使用する。
【0058】客体のカラー分布に基づき客体を有効に追跡するためには、前述の如き客体に関するカラー分布情報のほかにも、全映像のカラー分布情報も必要である。このために、第2のカラーモデリング部222は、現映像の全体カラー分布を客体ヒストグラムの軸と同じ軸に対するヒストグラム
として構成する。
【0059】確率マップ構成部24は、第2のカラーモデリング部222で行われたカラーモデリング結果を受け入れ、選択された客体の位置と、第1または第3のカラーモデリング部221または223で行われたカラーモデリング結果をMUX 25を通じて受け入れる。この時に生成される確率マップは、前式4及び5の通りである。
【0060】一方、客体データベース212は、第1のカラーモデリング部221で生成された照明不変のカラーヒストグラムを貯蔵するが、物体の色相構成に応じてカラー比のヒストグラムや照明によるガウスヒストグラムとして貯蔵する。客体データベース212に貯蔵された客体のカラー分布情報は、ユーザが関心客体を目録で指定すれば、第2の初期位置指定部213で客体の初期位置を自動的に検出するのに使われる。
【0061】客体追跡部26は、メモリ261、速度予測部262及びカルマンフィルター263を備え、客体の現位置を追跡する。
【0062】カルマンフィルター263は、確率マップ構成部24で生成された客体の確率マップCOLOR_MODEL及び客体の初期位置OBJ_POSITIONを受け入れ、前式6に基づき連続的な映像で関心客体の位置及び大きさを追跡し続ける。速度予測部262は、メモリ261を用いて以前の客体の位置を貯蔵しておき、現在計算された客体の位置及び以前のデータの両方に基づき現在動いている客体の速度を予測する。そして、前式7のようにカルマンフィルター263の共分散行列を更新することにより、客体の急な動きや停止を信頼性良く追跡する。
【0063】前述の如き一連の客体追跡方法により所定の客体が追跡されれば、追跡された客体は映像編集ユニット30を通じてモザイク処理などの簡単な編集機能が自動的に行われる。映像編集ユニット30は、さらに様々な編集機能を与えるために、映像編集を行う映像編集部32、及び編集されたビデオ信号をアナログ信号に変換して出力するD/Aコンバーター33に加えて、境界線抽出部31をさらに備える。境界線抽出部31は、映像編集部32に接続されて追跡中の客体の境界線情報を与える。境界線抽出方法は、量子化したカラー映像及びモーション差映像の両方を用いて客体領域を2進化した映像として定義し、境界追跡アルゴリズムを適用して境界線を抽出する。
【0064】本発明に係る映像編集ユニット30には、予め貯蔵しておいた編集機能リスト(図示せず)が備えられており、ユーザが特定の機能を選択すれば、その選択結果に応じて編集アルゴリズムが動作し、編集された結果がD/Aコンバーター33を通じてアナログの形に変換される。映像編集部32で行う編集アルゴリズムは、デジタル映像の各々の一枚に対し、関心客体の位置と大きさまたは境界線情報(または輪郭線情報)に基づき特定領域に特定の色を塗ったり、または特定フィルターを通過させて映像を変換する過程を含む。編集に使用可能なフィルターとしてモザイクフィルター、ブラリングフィルター、反転フィルターなどがある。
【0065】前述した本発明に係る映像編集装置100を実際の映像に適用した場合、その結果は下記の通りである。
【0066】図9は、様々な照明条件下にある合成モンドリアン映像を示す図面であり、図10は、様々な照明条件下で取得された実際の映像の例を示す図面である。
【0067】まず、図9を参照すれば、図9の(a)は、空間的に一定であり、且つ、スペクトル的にも一定である照明下における合成モンドリアン映像を示し、図9の(b)は、空間的には一定であるものの、スペクトル的には一定ではない照明下における合成モンドリアン映像を示す。そして、図9の(c)は、空間的にも一定ではなく、且つ、スペクトル的にも一定ではない照明下における合成モンドリアン映像を示す。
【0068】この場合、図9の(a)、(b)及び(c)の各々に対するR,G,B空間、オッポネントカラー空間、正規化したR,G空間、HSI空間、及びカラー比空間の比較結果は、下記表1ないし3の通りである。
【0069】
【表1】
【0070】
【表2】
【0071】
【表3】
【0072】表1ないし表3から明らかなように、カラー比空間を基準とする時、合成モンドリアン映像は照明の変化に関係なく全てのカラー空間に対して高い平均白分率のマッチング結果を示すということが分かる。これにより、本発明に係る客体追跡方法は、照明不変の特性を有するということが分かる。
【0073】次に、図10を参照すれば、図10の(a)はある映像に対する他の映像の角度が捩じれて見えるスウェインモデル映像の場合を示し、図10の(b)は、類似の照明下で取得された2枚の映像を示す。そして、図10の(c)は、顕著に異なる照明下で取得された2枚の映像を示す。
【0074】この場合、図10の(a)、(b)、(c)の各々に対するR,G,B空間、オッポネントカラー空間、正規化したR,G空間、HSI空間、及びカラー比空間の比較結果は、下記表4ないし表6の通りである。
【0075】
【表4】
【0076】
【表5】
【0077】
【表6】
【0078】表4から明らかなように、映像の角度が捩じれているスウェインモデル映像の場合にも、カラー比空間を基準とする時、全てのカラー空間に対して高い平均白分率のマッチング結果を示すということが分かる。のみならず、表5及び表6から明らかなように、カラー比空間を基準とする時、相異なる条件下にある映像は、照明が類似に変化しようが、または照明が大いに変化しようが、照明の変化に関係なく全てのカラー空間に対して高い平均白分率のマッチング結果を示すということが分かる。これにより、本発明に係る客体追跡方法は、照明不変の特性を有するということが分かる。
【0079】図11は、様々な照明条件下で皮膚色データが収集される一例を示す図面である。図11には、映像が取得された位置と、取得された映像とが各々示されている。図11を参照すれば、同じ事務室の場合であっても、映像が取得される位置に応じて相異なる輝度を有する。この場合、本発明に使われるカラーモデリングを行うために、様々な位置で映像を取得して実験を行った。
【0080】図12は、図11で収集された皮膚色データの一例を示す図面である。図12を参照すれば、図11に示された位置で取得された皮膚色データは、図12のグラフの通りである。
【0081】図13は、図11で収集された映像の全体照明の変化を分析した結果を示す図面である。図13を参照すれば、図11のように収集された映像の全体照明の変化をHSIヒストグラムにて表わせる。
【0082】例えば、取得されたビデオ映像で人の顔を追跡しようとする場合、図11ないし図13に示された方法により収集されて分析されたデータに基づき客体(人の顔)を追跡することができ、その追跡の結果は、下記の通りである。
【0083】図14は、図11ないし図13に示された方法により取得された情報に基づき複数の顔を追跡した結果を示す図面であり、図15は、本発明に係る映像編集装置により特定の顔をモザイク処理した結果を示す図面である。
【0084】図14及び図15を参照すれば、本発明に係る客体追跡方法によれば、様々な照明の変化にも拘わらず、一つまたは複数の特定客体に対する追跡が正確に行え、追跡された客体に対する編集(例えば、モザイク処理等)も正確に行えることが分かる。
【0085】以上、本発明の実施の形態としてビデオデータに対する自動客体追跡及びこれを用いた編集について具体的に例示したが、その他にも放送用撮影装置を始めとして家庭用撮影装置に至るまであらゆる映像装置のための映像編集に適用でき、セキュリティシステム、画像チャット、通信等にも本発明を適用することができる。
【0086】本発明はまた、コンピュータにて読取り可能な記録・伝送媒体によって流通する、コンピュータにて読取り可能なコード(プログラム)として具現可能である。コンピュータにて読取り可能な記録媒体はコンピュータシステムにより読み込まれるデータが貯蔵されるあらゆる種類の記録装置を備える。コンピュータにて読取り可能な記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ貯蔵装置などがあり、またキャリアウェーブ(例えば、インターネットを介して伝送)の形にて具現されるものも含む。また、コンピュータにて読取り可能な記録媒体はネットワークに接続されたコンピュータシステムに分散されて、分散方式によりコンピュータにて読取り可能なコードとして貯蔵されて実行できる。
【0087】
【発明の効果】以上述べたように、本発明に係る照明不変の客体追跡方法及びこれを用いた映像編集装置によれば、リアルタイムまたは録画撮影中に映像編集処理が必要とされる領域が照明の変化が大きい環境下で撮影される場合、照明の変化に関係なく所望の領域を信頼性良く追跡及び編集することができる。よって、客体の追跡及び編集に際して高い正確性を有することができる。
【図面の簡単な説明】
【図1】本発明の望ましい実施の形態による照明不変の客体追跡方法及びこれを用いた映像編集方法を説明するフローチャートである。
【図2】(a)ないし(c)は、隣接したピクセルの輝度比の変化を示す図面である。
【図3】図1に示された客体の初期位置指定方法を説明するフローチャートである。
【図4】図3に示された逆投射方法を説明するフローチャートである。
【図5】図1に示された追跡客体に関するカラー情報モデリング方法を説明するフローチャートである。
【図6】(a)及び(b)は、照明の変化による皮膚色、彩度の変化を各々示す図面である。
【図7】図1に示された全映像に関するカラー情報モデリング方法を説明するフローチャートである。
【図8】本発明の望ましい実施の形態による映像編集装置のブロック図である。
【図9】(a)ないし(c)は、様々な照明条件下にある合成モンドリアン映像を示す図面である。
【図10】(a)ないし(c)は、様々な照明条件下で取得された実際映像の例を示す図面である。
【図11】様々な照明条件下で皮膚色データが収集される一例を示す図面である。
【図12】図11で収集された皮膚色データの一例を示す図面である。
【図13】図11で収集された映像の全体照明の変化を分析した結果を示す図面である。
【図14】図11ないし図13に示された方法により取得された情報に基づき複数の顔を追跡した結果を示す図面である。
【図15】本発明に係る映像編集装置により特定顔をモザイク処理した結果を示す図面である。
<符号の説明>
10 データ入力ユニット
11 ビデオカメラ
12 A/Dコンバーター
20 客体追跡ユニット
21 初期位置指定部
22 カラーモデリング部
24 確率マップ構成部
25 MUX
26 客体追跡部
30 映像編集ユニット
31 境界線抽出部
32 映像編集部
33 D/Aコンバーター
100 映像編集装置
【特許請求の範囲】
【請求項1】 (a)映像で追跡しようとする客体の初期位置を指定する段階と、(b)前記映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行う段階と、(c)前記カラーモデリングの結果に応答して客体追跡のための確率マップを生成する段階と、(d)前記初期の位置及び前記確率マップに基づき前記客体の現在の位置を追跡する段階とを含むことを特徴とする客体追跡方法。
【請求項2】 前記(a)段階は、(a−1)前記客体の初期位置指定方法を判別する段階と、(a−2)前記(a−1)段階における判別の結果、前記客体の初期位置指定方法がマニュアル指定方法である場合、ユーザが前記客体の初期位置を直接的に入力する段階と、(a−3)前記(a−1)段階における判別の結果、前記客体の初期位置指定方法が自動指定方法である場合、各客体のカラーヒストグラムが貯蔵されたデータ貯蔵手段からカラーヒストグラムを読み出す段階と、(a−4)前記読み出されたカラーヒストグラムを逆投射して前記客体の初期位置を自動的に指定する段階とを含むことを特徴とする請求項1に記載の客体追跡方法。
【請求項3】 Drを半径がrであるディスクとした時、前記(a−4)段階は、(a−4−1)前記ヒストグラムの各ビンに対し、以前のモデルに対するカラーヒストグラムで現映像のカラーヒストグラムを割った値及び1値のうち小さい値を出力する段階と、(a−4−2)前記(a−4−1)段階の演算を前記映像の全ての位置座標に対して行う段階と、(a−4−3)前記(a−4−2)段階で行われた演算結果及び前記Drをコンボルーションする段階と、(a−4−4)前記(a−4−3)段階で行われたコンボルーション結果が最大値を有する座標を検索し、前記座標を前記客体の初期位置として指定する段階とを含み、前記Drは前記映像の(x,y)座標に対して
の値を有することを特徴とする客体追跡方法。
【請求項4】 前記(b)段階は、(b−1)前記カラー比を考慮して前記客体に関するカラー情報モデリングを行う段階と、(b−2)前記カラー比を考慮して前記全映像に関するカラー情報モデリングを行う段階とを含むことを特徴とする請求項1に記載の客体追跡方法。
【請求項5】 前記(b−1)段階は、(b−1−1)前記客体の色相構成を分析する段階と、(b−1−2)前記(b−1−1)段階における分析の結果、前記客体が複数の色相より構成された場合、前記映像のカラーを構成する赤色(R)、緑色(G)、青色(B)の各チャンネルに対し、隣接したピクセルの輝度比を軸とする前記客体の3次元ヒストグラムを構成する段階と、(b−1−3)前記(b−1−1)段階における分析の結果、前記客体が単一色相より構成された場合、前記映像の色相、彩度に対する2次元ガウスモデリングを行い、客体のカラー確率を定義する段階と、(b−1−4)前記(b−1−3)段階で定義された前記客体のカラー確率を軸として前記客体のカラーヒストグラムを構成する段階とを含むことを特徴とする請求項4に記載の客体追跡方法。
【請求項6】 前記(b−1−1)段階は、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味し、Sは(i,j)組みの総数、uRは前記(i,j)組みに対する赤色(R)値の平均値、uGは前記(i,j)組みに対する緑色(G)値の平均値、uBは前記(i,j)組みに対する青色(B)値の平均値を各々意味する時、
を計算し、前記計算の結果が所定のスレショルド値より小さい場合に前記客体が単一色相より構成されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像が複数の色相より構成されたと判別することを特徴とする請求項5に記載の客体追跡方法。
【請求項7】 前記(b−1−3)段階で計算される前記客体のカラー確率は、
であり、
である時、
であることを特徴とする請求項5に記載の客体追跡方法。
【請求項8】 前記(b−2)段階は、(b−2−1)前記全映像に対するカラー変化を測定する段階と、(b−2−2)前記(b−2−1)段階における測定の結果、前記映像が白色照明下で取得されたと判別された場合、前記(b−1)段階で行われた前記客体のカラー情報モデリング結果の変化無しに前記全映像に対するカラー分布をヒストグラムとして構成する段階と、(b−2−3)前記(b−2−1)段階における測定の結果、前記映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対して前記(b−1)段階を再び行い、前記全映像に対するカラー分布をヒストグラムとして構成する段階とを含むことを特徴とする請求項4に記載の客体追跡方法。
【請求項9】 前記(b−2−1)段階は、nは現フレームの映像を意味し、mは以前のフレームの映像を意味し、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記映像が白色照明下で取得されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像がカラー照明下で取得されたと判別することを特徴とする請求項8に記載の客体追跡方法。
【請求項10】 前記客体のカラーモデリング結果が
であり、前記全映像のカラーモデリング結果が
である時、前記確率マップは
であることを特徴とする請求項4に記載の客体追跡方法。
【請求項11】 前記(d)段階は、(d−1)前記客体の以前の位置を貯蔵する段階と、(d−2)前記初期の位置及び前記確率マップに基づき連続した映像のうち対象客体の現在の位置及び大きさを追跡するカルマンフィルタリングを行う段階と、(d−3)前記客体の前記以前の位置及び前記現在の位置に基づきカルマンフィルタの共分散行列を更新する段階とを含むことを特徴とする請求項1に記載の客体追跡方法。
【請求項12】 (a)編集しようとする映像を受け入れる段階と、(b)前記映像で隣接ピクセルのカラー比を考慮して客体を追跡する段階と、(c)前記追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集段階とを含むことを特徴とする映像編集方法。
【請求項13】 前記(b)段階は、(b−1)映像で追跡しようとする客体の初期位置を指定する段階と、(b−2)前記客体に関するカラー情報をモデリングする段階と、(b−3)前記全映像に関するカラー情報をモデリングする段階と、(b−4)前記客体の位置情報及び前記(b−2)及び(b−3)段階でモデリングされた前記カラー情報を考慮した確率マップを生成する段階と、(b−5)前記客体の初期位置及び前記確率マップに基づきカルマンフィルタリングを行う段階とを含むことを特徴とする請求項12に記載の映像編集方法。
【請求項14】 前記(b−1)段階は、(b−1−1)前記客体の初期位置指定方法を判別する段階と、(b−1−2)前記(b−1−1)段階における判別の結果、前記客体の初期位置指定方法がマニュアル指定方法である場合、ユーザが前記客体の初期位置を直接的に入力する段階と、(b−1−3)前記(b−1−1)段階における判別の結果、前記客体の初期位置指定方法が自動指定方法である場合、各客体のカラーヒストグラムが貯蔵されたデータ貯蔵手段からカラーヒストグラムを読み出し、読み出されたカラーヒストグラムを逆投射して前記客体の初期位置を自動的に指定する段階とを含むことを特徴とする請求項13に記載の映像編集方法。
【請求項15】 Drを半径がrであるディスクとした時、前記(b−1−4)段階は、(b−1−3−1)前記ヒストグラムの各ビンに対し、以前のモデルに対するカラーヒストグラムで現映像のカラーヒストグラムを割った値及び1のうち小さい値を出力する段階と、(b−1−3−2)前記(b−1−3−1)段階の演算を前記映像の全ての位置座標に対して行う段階と、(b−1−3−3)前記(b−1−3−2)段階で行われた演算結果及び前記Drをコンボルーションする段階と、(b−1−3−4)前記(b−1−3−3)段階で行われたコンボルーション結果が最大値を有する座標を検索し、前記座標を前記客体の初期位置として指定する段階とを含み、前記Drは、前記映像の(x,y)座標に対して
の値を有することを特徴とする請求項14に記載の映像編集方法。
【請求項16】 前記(b−2)段階は、(b−2−1)前記客体の色相構成を分析する段階と、(b−2−2)前記(b−2−1)段階における分析の結果、前記客体が複数の色相より構成された場合、前記映像のカラーを構成する赤色(R)、緑色(G)、青色(B)の各チャンネルに対し、隣接したピクセルの輝度比を軸とする前記客体の3次元ヒストグラムを構成する段階と、(b−2−3)前記(b−2−1)段階における分析の結果、前記客体が単一色相より構成された場合、前記映像の色相、彩度に対する2次元ガウスモデリングを行い、客体のカラー確率を定義する段階と、(b−2−4)前記(b−2−3)段階で定義された前記客体のカラー確率を軸として前記客体のカラーヒストグラムを構成する段階とを含むことを特徴とする請求項13に記載の映像編集方法。
【請求項17】 前記(b−2−1)段階は、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味し、Sは(i,j)組みの総数、uRは前記(i,j)組みに対する赤色(R)値の平均値、uGは前記(i,j)組みに対する緑色(G)値の平均値、uBは前記(i,j)組みに対する青色(B)値の平均値を各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記客体が単一色相より構成されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像が複数の色相より構成されたと判別することを特徴とする請求項16に記載の映像編集方法。
【請求項18】 前記(b−2−3)段階で計算される前記確率は、
であり、
である時、
であることを特徴とする請求項16に記載の映像編集方法。
【請求項19】 前記(b−3)段階は、(b−3−1)前記全映像に対するカラー変化を測定する段階と、(b−3−2)前記(b−3−1)段階における測定の結果、前記映像が白色照明下で取得されたと判別された場合、前記(b−2)段階で行われた前記客体のカラー情報モデリング結果の変化無しに前記全映像に対するカラー分布をヒストグラムとして構成する段階と、(b−3−3)前記(b−3−1)段階における測定の結果、前記映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対して前記(b−2)段階を再び行い、前記全映像に対するカラー分布をヒストグラムとして構成する段階とを含むことを特徴とする請求項13に記載の映像編集方法。
【請求項20】 前記(b−3−1)段階は、nは現フレームの映像を意味し、mは以前のフレームの映像を意味し、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記映像が白色照明下で取得されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像がカラー照明下で取得されたと判別することを特徴とする請求項19に記載の映像編集方法。
【請求項21】 前記客体のカラーモデリング結果が
であり、前記全映像のカラーモデリング結果が
である時、前記確率マップは
であることを特徴とする請求項13に記載の映像編集方法。
【請求項22】 請求項1または12のうち何れか一項に記載の方法をコンピュータにて実行するためのプログラムを記録したコンピュータにて読取り可能な記録媒体。
【請求項23】 映像で追跡しようとする客体の初期位置を指定する初期位置指定部と、前記客体及び前記全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部と、前記カラーモデリング結果に応答して、前記客体の追跡のための確率マップを構成する確率マップ構成部と、前記初期位置及び前記確率マップに応答して前記客体の現位置を追跡する客体追跡部とを備えることを特徴とする客体追跡装置。
【請求項24】 前記初期位置指定部は、ユーザが指定した所定の位置を前記客体の初期位置として受け入れる第1の初期位置指定部と、前記客体の目録及び前記客体に対応するカラーモデリングデータを貯蔵する客体データベースと、ユーザが指定した客体の目録に対応するカラーモデリングデータを前記客体データベースから読み出し、読み出された前記カラーモデリングデータを逆投射して前記客体の初期位置を自動的に指定する第2の初期位置指定部とを備えることを特徴とする請求項23に記載の客体追跡装置。
【請求項25】 前記カラーモデリング部は、前記客体に関するカラー情報をモデリングする第1のカラーモデリング部と、前記全映像に関するカラー情報をモデリングする第2のカラーモデリング部と、前記映像の照明に関する変化を考慮して前記客体に関するカラー情報を適応的にモデリングする第3のカラーモデリング部とを備えることを特徴とする請求項23に記載の客体追跡装置。
【請求項26】 前記第1のカラーモデリング部は、前記客体の色相構成を分析し、前記客体が複数の色相より構成された場合、前記映像のカラーを構成する赤色(R)、緑色(G)、青色(B)の各チャンネルに対し、隣接したピクセルの輝度比を軸とする前記客体の3次元ヒストグラムを構成し、前記客体が単一色相より構成された場合、前記映像の色相、彩度に対する2次元ガウスモデリングを行い、客体のカラー確率を定義し、前記客体のカラーヒストグラムを構成することを特徴とする請求項25に記載の客体追跡装置。
【請求項27】 前記第1のカラーモデリング部は、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味し、Sは(i,j)組みの総数、uRは前記(i,j)組みに対する赤色(R)値の平均値、uGは前記(i,j)組みに対する緑色(G)値の平均値、uBは前記(i,j)組みに対する青色(B)値の平均値を各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記客体が単一色相より構成されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像が複数の色相より構成されたと判別することを特徴とする請求項26に記載の客体追跡装置。
【請求項28】 前記第1のカラーモデリング部で2次元ガウスモデリングを通じて求められる前記客体のカラー確率は、
で、
である時、
であることを特徴とする請求項26に記載の客体追跡装置。
【請求項29】 前記第3のカラーモデリング部は、前記全映像に対するカラー変化を測定し、前記測定の結果、前記映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対するカラーモデリングを再び行い、前記全映像に対するカラー分布をヒストグラムとして構成することを特徴とする請求項25に記載の客体追跡装置。
【請求項30】 前記第3のカラーモデリング部は、nが現フレームの映像を意味し、mが以前のフレームの映像を意味し、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記映像が白色照明下で取得されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像がカラー照明下で取得されたと判別することを特徴とする請求項29に記載の客体追跡装置。
【請求項31】 前記確率マップ構成部で構成される前記確率マップは、前記客体のカラーモデリング結果が
であり、前記全映像のカラーモデリング結果が
である時、
であることを特徴とする請求項23に記載の客体追跡装置。
【請求項32】 前記客体追跡部は、前記客体の以前の位置を貯蔵するメモリと、前記初期の位置及び前記確率マップに基づき連続した映像のうち対象客体の現在の位置及び大きさを追跡するカルマンフィルタと、前記客体の前記以前の位置及び前記現在の位置に基づき前記カルマンフィルタの共分散行列を更新する速度予測部とを備えることを特徴とする請求項23に記載の客体追跡装置。
【請求項33】 編集しようとする映像を受け入れるデータ入力手段と、前記映像で隣接ピクセルの輝度比を考慮して前記客体を追跡する客体追跡手段と、前記追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集手段とを備えることを特徴とする映像編集装置。
【請求項34】 前記客体追跡手段は、映像で追跡しようとする客体の初期位置を指定する初期位置指定部と、前記客体及び前記全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部と、前記カラーモデリング結果に応答して、前記客体の追跡のための確率マップを構成する確率マップ構成部と、前記初期位置及び前記確率マップに応答して前記客体の現位置を追跡するカルマンフィルターとを備えることを特徴とする請求項33に記載の映像編集装置。
【請求項35】 前記客体追跡手段は、前記客体の目録及び前記客体に対応するカラーモデリングデータを貯蔵するデータ貯蔵部をさらに備えることを特徴とする請求項34に記載の映像編集装置。
【請求項36】 前記初期位置指定部は、ユーザが指定した所定の位置を前記客体の初期位置として受け入れることを特徴とする請求項34に記載の映像編集装置。
【請求項37】 前記初期位置指定部は、ユーザが指定した客体目録に対応するカラーモデリングデータを前記データ貯蔵部から読み出し、読み出された前記カラーモデリングデータを逆投射して前記客体の初期位置を自動的に指定することを特徴とする請求項35に記載の映像編集装置。
【請求項38】 前記カラーモデリング部は、前記客体に関するカラー情報をモデリングする第1のカラーモデリング部と、前記全映像に関するカラー情報をモデリングする第2のカラーモデリング部とを備えることを特徴とする請求項34に記載の映像編集装置。
【請求項39】 前記第1のカラーモデリング部は、前記客体の色相構成を分析し、前記客体が複数の色相より構成された場合、前記映像のカラーを構成する赤色(R)、緑色(G)、青色(B)の各チャンネルに対し、隣接したピクセルの輝度比を軸とする前記客体の3次元ヒストグラムを構成し、前記客体が単一色相より構成された場合、前記映像の色相、彩度に対する2次元ガウスモデリングを行い、客体のカラー確率を定義し、前記客体のカラーヒストグラムを構成することを特徴とする請求項38に記載の映像編集装置。
【請求項40】 前記第2のカラーモデリング部は、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味し、Sは(i,j)組みの総数、uRは前記(i,j)組みに対する赤色(R)値の平均値、uGは前記(i,j)組みに対する緑色(G)値の平均値、uBは前記(i,j)組みに対する青色(B)値の平均値を各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記客体が単一色相より構成されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像が複数の色相より構成されたと判別することを特徴とする請求項38に記載の映像編集装置。
【請求項41】 前記第1のカラーモデリング部で前記2次元ガウスモデリングを通じて求められる前記客体のカラー確率は、
で、
である時、
であることを特徴とする請求項39に記載の映像編集装置。
【請求項42】 前記カラーモデリング部は、前記全映像に対するカラー変化を測定し、前記測定の結果、前記映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対するカラーモデリングを再び行い、前記全映像に対するカラー分布をヒストグラムとして構成する第3のカラーモデリング部をさらに備えることを特徴とする請求項34に記載の映像編集装置。
【請求項43】 前記第3のカラーモデリング部は、nが現フレームの映像を意味し、mが以前のフレームの映像を意味し、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記映像が白色照明下で取得されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像がカラー照明下で取得されたと判別することを特徴とする請求項42に記載の映像編集装置。
【請求項44】 前記確率マップ構成部で構成される前記確率マップは、前記客体のカラーモデリング結果が
であり、前記全映像のカラーモデリング結果が
である時
であることを特徴とする請求項34に記載の映像編集装置。
【請求項45】 前記映像編集手段は、前記追跡手段を通じて追跡された前記客体の境界線情報を抽出する境界線抽出部と、前記抽出された境界線情報と、前記客体の位置及び大きさ情報を受け入れて前記客体に対して少なくとも一つ以上の映像フィルタリングを行う映像編集部とを備えることを特徴とする請求項33に記載の映像編集装置。
【請求項46】 前記映像編集部は、モザイクフィルター、ブラリングフィルター及び反転フィルターのうち少なくとも何れか一つのフィルターを備えることを特徴とする請求項45に記載の映像編集装置。
【請求項1】 (a)映像で追跡しようとする客体の初期位置を指定する段階と、(b)前記映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行う段階と、(c)前記カラーモデリングの結果に応答して客体追跡のための確率マップを生成する段階と、(d)前記初期の位置及び前記確率マップに基づき前記客体の現在の位置を追跡する段階とを含むことを特徴とする客体追跡方法。
【請求項2】 前記(a)段階は、(a−1)前記客体の初期位置指定方法を判別する段階と、(a−2)前記(a−1)段階における判別の結果、前記客体の初期位置指定方法がマニュアル指定方法である場合、ユーザが前記客体の初期位置を直接的に入力する段階と、(a−3)前記(a−1)段階における判別の結果、前記客体の初期位置指定方法が自動指定方法である場合、各客体のカラーヒストグラムが貯蔵されたデータ貯蔵手段からカラーヒストグラムを読み出す段階と、(a−4)前記読み出されたカラーヒストグラムを逆投射して前記客体の初期位置を自動的に指定する段階とを含むことを特徴とする請求項1に記載の客体追跡方法。
【請求項3】 Drを半径がrであるディスクとした時、前記(a−4)段階は、(a−4−1)前記ヒストグラムの各ビンに対し、以前のモデルに対するカラーヒストグラムで現映像のカラーヒストグラムを割った値及び1値のうち小さい値を出力する段階と、(a−4−2)前記(a−4−1)段階の演算を前記映像の全ての位置座標に対して行う段階と、(a−4−3)前記(a−4−2)段階で行われた演算結果及び前記Drをコンボルーションする段階と、(a−4−4)前記(a−4−3)段階で行われたコンボルーション結果が最大値を有する座標を検索し、前記座標を前記客体の初期位置として指定する段階とを含み、前記Drは前記映像の(x,y)座標に対して
の値を有することを特徴とする客体追跡方法。
【請求項4】 前記(b)段階は、(b−1)前記カラー比を考慮して前記客体に関するカラー情報モデリングを行う段階と、(b−2)前記カラー比を考慮して前記全映像に関するカラー情報モデリングを行う段階とを含むことを特徴とする請求項1に記載の客体追跡方法。
【請求項5】 前記(b−1)段階は、(b−1−1)前記客体の色相構成を分析する段階と、(b−1−2)前記(b−1−1)段階における分析の結果、前記客体が複数の色相より構成された場合、前記映像のカラーを構成する赤色(R)、緑色(G)、青色(B)の各チャンネルに対し、隣接したピクセルの輝度比を軸とする前記客体の3次元ヒストグラムを構成する段階と、(b−1−3)前記(b−1−1)段階における分析の結果、前記客体が単一色相より構成された場合、前記映像の色相、彩度に対する2次元ガウスモデリングを行い、客体のカラー確率を定義する段階と、(b−1−4)前記(b−1−3)段階で定義された前記客体のカラー確率を軸として前記客体のカラーヒストグラムを構成する段階とを含むことを特徴とする請求項4に記載の客体追跡方法。
【請求項6】 前記(b−1−1)段階は、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味し、Sは(i,j)組みの総数、uRは前記(i,j)組みに対する赤色(R)値の平均値、uGは前記(i,j)組みに対する緑色(G)値の平均値、uBは前記(i,j)組みに対する青色(B)値の平均値を各々意味する時、
を計算し、前記計算の結果が所定のスレショルド値より小さい場合に前記客体が単一色相より構成されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像が複数の色相より構成されたと判別することを特徴とする請求項5に記載の客体追跡方法。
【請求項7】 前記(b−1−3)段階で計算される前記客体のカラー確率は、
であり、
である時、
であることを特徴とする請求項5に記載の客体追跡方法。
【請求項8】 前記(b−2)段階は、(b−2−1)前記全映像に対するカラー変化を測定する段階と、(b−2−2)前記(b−2−1)段階における測定の結果、前記映像が白色照明下で取得されたと判別された場合、前記(b−1)段階で行われた前記客体のカラー情報モデリング結果の変化無しに前記全映像に対するカラー分布をヒストグラムとして構成する段階と、(b−2−3)前記(b−2−1)段階における測定の結果、前記映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対して前記(b−1)段階を再び行い、前記全映像に対するカラー分布をヒストグラムとして構成する段階とを含むことを特徴とする請求項4に記載の客体追跡方法。
【請求項9】 前記(b−2−1)段階は、nは現フレームの映像を意味し、mは以前のフレームの映像を意味し、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記映像が白色照明下で取得されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像がカラー照明下で取得されたと判別することを特徴とする請求項8に記載の客体追跡方法。
【請求項10】 前記客体のカラーモデリング結果が
であり、前記全映像のカラーモデリング結果が
である時、前記確率マップは
であることを特徴とする請求項4に記載の客体追跡方法。
【請求項11】 前記(d)段階は、(d−1)前記客体の以前の位置を貯蔵する段階と、(d−2)前記初期の位置及び前記確率マップに基づき連続した映像のうち対象客体の現在の位置及び大きさを追跡するカルマンフィルタリングを行う段階と、(d−3)前記客体の前記以前の位置及び前記現在の位置に基づきカルマンフィルタの共分散行列を更新する段階とを含むことを特徴とする請求項1に記載の客体追跡方法。
【請求項12】 (a)編集しようとする映像を受け入れる段階と、(b)前記映像で隣接ピクセルのカラー比を考慮して客体を追跡する段階と、(c)前記追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集段階とを含むことを特徴とする映像編集方法。
【請求項13】 前記(b)段階は、(b−1)映像で追跡しようとする客体の初期位置を指定する段階と、(b−2)前記客体に関するカラー情報をモデリングする段階と、(b−3)前記全映像に関するカラー情報をモデリングする段階と、(b−4)前記客体の位置情報及び前記(b−2)及び(b−3)段階でモデリングされた前記カラー情報を考慮した確率マップを生成する段階と、(b−5)前記客体の初期位置及び前記確率マップに基づきカルマンフィルタリングを行う段階とを含むことを特徴とする請求項12に記載の映像編集方法。
【請求項14】 前記(b−1)段階は、(b−1−1)前記客体の初期位置指定方法を判別する段階と、(b−1−2)前記(b−1−1)段階における判別の結果、前記客体の初期位置指定方法がマニュアル指定方法である場合、ユーザが前記客体の初期位置を直接的に入力する段階と、(b−1−3)前記(b−1−1)段階における判別の結果、前記客体の初期位置指定方法が自動指定方法である場合、各客体のカラーヒストグラムが貯蔵されたデータ貯蔵手段からカラーヒストグラムを読み出し、読み出されたカラーヒストグラムを逆投射して前記客体の初期位置を自動的に指定する段階とを含むことを特徴とする請求項13に記載の映像編集方法。
【請求項15】 Drを半径がrであるディスクとした時、前記(b−1−4)段階は、(b−1−3−1)前記ヒストグラムの各ビンに対し、以前のモデルに対するカラーヒストグラムで現映像のカラーヒストグラムを割った値及び1のうち小さい値を出力する段階と、(b−1−3−2)前記(b−1−3−1)段階の演算を前記映像の全ての位置座標に対して行う段階と、(b−1−3−3)前記(b−1−3−2)段階で行われた演算結果及び前記Drをコンボルーションする段階と、(b−1−3−4)前記(b−1−3−3)段階で行われたコンボルーション結果が最大値を有する座標を検索し、前記座標を前記客体の初期位置として指定する段階とを含み、前記Drは、前記映像の(x,y)座標に対して
の値を有することを特徴とする請求項14に記載の映像編集方法。
【請求項16】 前記(b−2)段階は、(b−2−1)前記客体の色相構成を分析する段階と、(b−2−2)前記(b−2−1)段階における分析の結果、前記客体が複数の色相より構成された場合、前記映像のカラーを構成する赤色(R)、緑色(G)、青色(B)の各チャンネルに対し、隣接したピクセルの輝度比を軸とする前記客体の3次元ヒストグラムを構成する段階と、(b−2−3)前記(b−2−1)段階における分析の結果、前記客体が単一色相より構成された場合、前記映像の色相、彩度に対する2次元ガウスモデリングを行い、客体のカラー確率を定義する段階と、(b−2−4)前記(b−2−3)段階で定義された前記客体のカラー確率を軸として前記客体のカラーヒストグラムを構成する段階とを含むことを特徴とする請求項13に記載の映像編集方法。
【請求項17】 前記(b−2−1)段階は、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味し、Sは(i,j)組みの総数、uRは前記(i,j)組みに対する赤色(R)値の平均値、uGは前記(i,j)組みに対する緑色(G)値の平均値、uBは前記(i,j)組みに対する青色(B)値の平均値を各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記客体が単一色相より構成されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像が複数の色相より構成されたと判別することを特徴とする請求項16に記載の映像編集方法。
【請求項18】 前記(b−2−3)段階で計算される前記確率は、
であり、
である時、
であることを特徴とする請求項16に記載の映像編集方法。
【請求項19】 前記(b−3)段階は、(b−3−1)前記全映像に対するカラー変化を測定する段階と、(b−3−2)前記(b−3−1)段階における測定の結果、前記映像が白色照明下で取得されたと判別された場合、前記(b−2)段階で行われた前記客体のカラー情報モデリング結果の変化無しに前記全映像に対するカラー分布をヒストグラムとして構成する段階と、(b−3−3)前記(b−3−1)段階における測定の結果、前記映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対して前記(b−2)段階を再び行い、前記全映像に対するカラー分布をヒストグラムとして構成する段階とを含むことを特徴とする請求項13に記載の映像編集方法。
【請求項20】 前記(b−3−1)段階は、nは現フレームの映像を意味し、mは以前のフレームの映像を意味し、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記映像が白色照明下で取得されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像がカラー照明下で取得されたと判別することを特徴とする請求項19に記載の映像編集方法。
【請求項21】 前記客体のカラーモデリング結果が
であり、前記全映像のカラーモデリング結果が
である時、前記確率マップは
であることを特徴とする請求項13に記載の映像編集方法。
【請求項22】 請求項1または12のうち何れか一項に記載の方法をコンピュータにて実行するためのプログラムを記録したコンピュータにて読取り可能な記録媒体。
【請求項23】 映像で追跡しようとする客体の初期位置を指定する初期位置指定部と、前記客体及び前記全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部と、前記カラーモデリング結果に応答して、前記客体の追跡のための確率マップを構成する確率マップ構成部と、前記初期位置及び前記確率マップに応答して前記客体の現位置を追跡する客体追跡部とを備えることを特徴とする客体追跡装置。
【請求項24】 前記初期位置指定部は、ユーザが指定した所定の位置を前記客体の初期位置として受け入れる第1の初期位置指定部と、前記客体の目録及び前記客体に対応するカラーモデリングデータを貯蔵する客体データベースと、ユーザが指定した客体の目録に対応するカラーモデリングデータを前記客体データベースから読み出し、読み出された前記カラーモデリングデータを逆投射して前記客体の初期位置を自動的に指定する第2の初期位置指定部とを備えることを特徴とする請求項23に記載の客体追跡装置。
【請求項25】 前記カラーモデリング部は、前記客体に関するカラー情報をモデリングする第1のカラーモデリング部と、前記全映像に関するカラー情報をモデリングする第2のカラーモデリング部と、前記映像の照明に関する変化を考慮して前記客体に関するカラー情報を適応的にモデリングする第3のカラーモデリング部とを備えることを特徴とする請求項23に記載の客体追跡装置。
【請求項26】 前記第1のカラーモデリング部は、前記客体の色相構成を分析し、前記客体が複数の色相より構成された場合、前記映像のカラーを構成する赤色(R)、緑色(G)、青色(B)の各チャンネルに対し、隣接したピクセルの輝度比を軸とする前記客体の3次元ヒストグラムを構成し、前記客体が単一色相より構成された場合、前記映像の色相、彩度に対する2次元ガウスモデリングを行い、客体のカラー確率を定義し、前記客体のカラーヒストグラムを構成することを特徴とする請求項25に記載の客体追跡装置。
【請求項27】 前記第1のカラーモデリング部は、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味し、Sは(i,j)組みの総数、uRは前記(i,j)組みに対する赤色(R)値の平均値、uGは前記(i,j)組みに対する緑色(G)値の平均値、uBは前記(i,j)組みに対する青色(B)値の平均値を各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記客体が単一色相より構成されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像が複数の色相より構成されたと判別することを特徴とする請求項26に記載の客体追跡装置。
【請求項28】 前記第1のカラーモデリング部で2次元ガウスモデリングを通じて求められる前記客体のカラー確率は、
で、
である時、
であることを特徴とする請求項26に記載の客体追跡装置。
【請求項29】 前記第3のカラーモデリング部は、前記全映像に対するカラー変化を測定し、前記測定の結果、前記映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対するカラーモデリングを再び行い、前記全映像に対するカラー分布をヒストグラムとして構成することを特徴とする請求項25に記載の客体追跡装置。
【請求項30】 前記第3のカラーモデリング部は、nが現フレームの映像を意味し、mが以前のフレームの映像を意味し、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記映像が白色照明下で取得されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像がカラー照明下で取得されたと判別することを特徴とする請求項29に記載の客体追跡装置。
【請求項31】 前記確率マップ構成部で構成される前記確率マップは、前記客体のカラーモデリング結果が
であり、前記全映像のカラーモデリング結果が
である時、
であることを特徴とする請求項23に記載の客体追跡装置。
【請求項32】 前記客体追跡部は、前記客体の以前の位置を貯蔵するメモリと、前記初期の位置及び前記確率マップに基づき連続した映像のうち対象客体の現在の位置及び大きさを追跡するカルマンフィルタと、前記客体の前記以前の位置及び前記現在の位置に基づき前記カルマンフィルタの共分散行列を更新する速度予測部とを備えることを特徴とする請求項23に記載の客体追跡装置。
【請求項33】 編集しようとする映像を受け入れるデータ入力手段と、前記映像で隣接ピクセルの輝度比を考慮して前記客体を追跡する客体追跡手段と、前記追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集手段とを備えることを特徴とする映像編集装置。
【請求項34】 前記客体追跡手段は、映像で追跡しようとする客体の初期位置を指定する初期位置指定部と、前記客体及び前記全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部と、前記カラーモデリング結果に応答して、前記客体の追跡のための確率マップを構成する確率マップ構成部と、前記初期位置及び前記確率マップに応答して前記客体の現位置を追跡するカルマンフィルターとを備えることを特徴とする請求項33に記載の映像編集装置。
【請求項35】 前記客体追跡手段は、前記客体の目録及び前記客体に対応するカラーモデリングデータを貯蔵するデータ貯蔵部をさらに備えることを特徴とする請求項34に記載の映像編集装置。
【請求項36】 前記初期位置指定部は、ユーザが指定した所定の位置を前記客体の初期位置として受け入れることを特徴とする請求項34に記載の映像編集装置。
【請求項37】 前記初期位置指定部は、ユーザが指定した客体目録に対応するカラーモデリングデータを前記データ貯蔵部から読み出し、読み出された前記カラーモデリングデータを逆投射して前記客体の初期位置を自動的に指定することを特徴とする請求項35に記載の映像編集装置。
【請求項38】 前記カラーモデリング部は、前記客体に関するカラー情報をモデリングする第1のカラーモデリング部と、前記全映像に関するカラー情報をモデリングする第2のカラーモデリング部とを備えることを特徴とする請求項34に記載の映像編集装置。
【請求項39】 前記第1のカラーモデリング部は、前記客体の色相構成を分析し、前記客体が複数の色相より構成された場合、前記映像のカラーを構成する赤色(R)、緑色(G)、青色(B)の各チャンネルに対し、隣接したピクセルの輝度比を軸とする前記客体の3次元ヒストグラムを構成し、前記客体が単一色相より構成された場合、前記映像の色相、彩度に対する2次元ガウスモデリングを行い、客体のカラー確率を定義し、前記客体のカラーヒストグラムを構成することを特徴とする請求項38に記載の映像編集装置。
【請求項40】 前記第2のカラーモデリング部は、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味し、Sは(i,j)組みの総数、uRは前記(i,j)組みに対する赤色(R)値の平均値、uGは前記(i,j)組みに対する緑色(G)値の平均値、uBは前記(i,j)組みに対する青色(B)値の平均値を各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記客体が単一色相より構成されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像が複数の色相より構成されたと判別することを特徴とする請求項38に記載の映像編集装置。
【請求項41】 前記第1のカラーモデリング部で前記2次元ガウスモデリングを通じて求められる前記客体のカラー確率は、
で、
である時、
であることを特徴とする請求項39に記載の映像編集装置。
【請求項42】 前記カラーモデリング部は、前記全映像に対するカラー変化を測定し、前記測定の結果、前記映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対するカラーモデリングを再び行い、前記全映像に対するカラー分布をヒストグラムとして構成する第3のカラーモデリング部をさらに備えることを特徴とする請求項34に記載の映像編集装置。
【請求項43】 前記第3のカラーモデリング部は、nが現フレームの映像を意味し、mが以前のフレームの映像を意味し、R,G,Bが前記映像のカラーを構成する赤色、緑色、青色データを各々意味する時、
を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記映像が白色照明下で取得されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像がカラー照明下で取得されたと判別することを特徴とする請求項42に記載の映像編集装置。
【請求項44】 前記確率マップ構成部で構成される前記確率マップは、前記客体のカラーモデリング結果が
であり、前記全映像のカラーモデリング結果が
である時
であることを特徴とする請求項34に記載の映像編集装置。
【請求項45】 前記映像編集手段は、前記追跡手段を通じて追跡された前記客体の境界線情報を抽出する境界線抽出部と、前記抽出された境界線情報と、前記客体の位置及び大きさ情報を受け入れて前記客体に対して少なくとも一つ以上の映像フィルタリングを行う映像編集部とを備えることを特徴とする請求項33に記載の映像編集装置。
【請求項46】 前記映像編集部は、モザイクフィルター、ブラリングフィルター及び反転フィルターのうち少なくとも何れか一つのフィルターを備えることを特徴とする請求項45に記載の映像編集装置。
【図2】
【図13】
【図1】
【図4】
【図8】
【図9】
【図3】
【図5】
【図6】
【図7】
【図10】
【図12】
【図11】
【図14】
【図15】
【図13】
【図1】
【図4】
【図8】
【図9】
【図3】
【図5】
【図6】
【図7】
【図10】
【図12】
【図11】
【図14】
【図15】
【公開番号】特開2003−203240(P2003−203240A)
【公開日】平成15年7月18日(2003.7.18)
【国際特許分類】
【出願番号】特願2002−321741(P2002−321741)
【出願日】平成14年11月5日(2002.11.5)
【出願人】(390019839)三星電子株式会社 (8,520)
【Fターム(参考)】
【公開日】平成15年7月18日(2003.7.18)
【国際特許分類】
【出願日】平成14年11月5日(2002.11.5)
【出願人】(390019839)三星電子株式会社 (8,520)
【Fターム(参考)】
[ Back to top ]