モード間の関心領域ビデオオブジェクトセグメンテーション
開示は、ビデオシーケンスからの関心領域（ＲＯＩ）ビデオオブジェクトの自動セグメンテーションのための技術に関する。ＲＯＩオブジェクトセグメンテーションは、ビューアにとって関心あるものであり得るビデオシーケンスの選択された前景オブジェクト、すなわち「前傾」オブジェクトが、ビデオシーケンスの非ＲＯＩオブジェクト、すなわち「背景」範囲から抽出されることを可能にする。ＲＯＩオブジェクトの例は、人の顔または頭、および人体の肩の範囲である。開示された技術は、ＲＯＩ特徴検出と、領域セグメンテーションと、背景減算とを組み合わせる混成技術を含む。ＲＯＩ検出は、移動前景領域とビデオシーケンス内のこれまでのビデオフレームの前景領域とに対応するフレームの組み合わされた前景領域を使用する。このようにして、開示された技術は、正確な前景オブジェクト生成と、ビデオシーケンスからの前景オブジェクトの低複雑性の抽出とを提供することができる。ＲＯＩオブジェクトセグメンテーションシステムは、本明細書で説明される技術を実施することができる。加えて、ＲＯＩオブジェクトセグメンテーションは、ビデオ電話アプリケーションおよびビデオ監視アプリケーションなど、ビデオシーケンスを利用する幅広いマルチメディアアプリケーションで有用であり得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ビデオオブジェクト（video object）セグメンテーションに関し、より詳細には、マルチメディアアプリケーションのためのビデオシーケンスからの関心領域（ＲＯＩ）ビデオオブジェクトの自動セグメンテーションのための技術に関する。
【背景技術】
【０００２】
自動関心領域（ＲＯＩ）ビデオオブジェクトセグメンテーションは、ビデオシーケンスを利用する幅広いマルチメディアアプリケーションにとって有用であり得る。ＲＯＩオブジェクトは、ビデオフレーム内の「前景」オブジェクトと呼ばれる場合があり、非ＲＯＩ範囲は、ビデオフレーム内の「背景」範囲と呼ばれる場合がある。ＲＯＩオブジェクトセグメンテーションは、ビューアにとって関心あるものであり得るビデオシーケンスの選択された前景オブジェクトがビデオシーケンスの背景から抽出されることを可能にする。マルチメディアアプリケーションは、その場合、ビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトを優先的に利用することができる。ＲＯＩオブジェクトの典型的な例は、人の顔または頭、および人体の肩の範囲である。
【０００３】
例えば、ビデオ監視アプリケーションでは、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、顔のデータベースシステム内へのインプットであり得る。顔のデータベースシステムは、データベース内に記憶された目標顔オブジェクトに正確に整合させるために、セグメンテーションされたＲＯＩオブジェクト（例えば、人の顔）を使用することができる。警察は、監視ビデオシーケンスから容疑者を識別するために、ＲＯＩオブジェクトセグメンテーションのこの応用例を利用することができる。
【０００４】
もう１つの例として、ビデオ電話（ＶＴ）アプリケーションでは、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、ビデオシーケンス符号器内へのインプットであり得る。ビデオシーケンス符号器は、受信者への伝送のために、より高い品質を用いてＲＯＩを符号化する目的で、より多くのリソースをセグメンテーションされたＲＯＩオブジェクトに割り当てることが可能である。ＶＴアプリケーションは、テレビ会議などのアプリケーションをサポートするために、ユーザがビデオおよび音声の情報を共有することを可能にする。ＶＴシステムでは、ユーザはビデオ情報を送ることおよび受信すること、単にビデオ情報を受信すること、または単にビデオ情報を送ることが可能である。受信者は、一般に、送信者から送信された形式で受信されたビデオ情報を閲覧する。セグメンテーションされたＲＯＩオブジェクトの優先的な符号化により、受信者は、ビデオシーケンスの非ＲＯＩ範囲よりも、より明確にＲＯＩオブジェクトを閲覧することが可能である。
【０００５】
その他の例は、人物が、生放送もしくは事前記録されたニュース放送または娯楽放送など、情報ビデオを提示するビデオ放送アプリケーションを含む。かかるアプリケーションでは、取材記者またはトークショーの司会者など、司会者の顔に対応するＲＯＩオブジェクトを優先的に符号化することが所望される可能性がある。
【０００６】
自動ＲＯＩオブジェクトセグメンテーションは、一般に、動作（motion）分析、動作セグメンテーション、および領域セグメンテーションに重点を置く。１つの事例では、統計的なモデルベースのオブジェクトセグメンテーションアルゴリズムは、ＲＯＩオブジェクトをブラブベースの統計的な領域モデルと形状モデルとに切り離す（abstracts）。したがって、ＲＯＩオブジェクトセグメンテーション問題は、モデル検出およびトラッキング問題に変換され得る。もう１つの事例では、前景オブジェクトは、ステレオカメラセットアップからの２つのビューの間の不整合推定に基づいて、ビデオフレームから抽出されることが可能である。別の事例は、領域ベースのセグメンテーション手法および特徴ベースのセグメンテーション手法の両方を含むＲＯＩオブジェクトセグメンテーションアルゴリズムを提案する。アルゴリズムは、動作、色、およびテクスチャの特徴に関して同種のオブジェクト領域を表すために領域記述子を使用して、ビデオシーケンスの全域でそれらの領域記述子を追跡する。
【発明の開示】
【発明の概要】
【０００７】
本開示は、ビデオシーケンスからの関心領域（ＲＯＩ）ビデオオブジェクトの自動セグメンテーションのための技術に関する。ＲＯＩオブジェクトセグメンテーションは、ビデオシーケンスの非ＲＯＩ、すなわち「背景」範囲から、ビデオシーケンスの選択されたＲＯＩ、すなわち「前景」オブジェクトが抽出されることを可能にする。ＲＯＩオブジェクトの例は、人の顔または頭、および人体の肩の範囲である。開示された技術は、ＲＯＩ特徴検出と、領域セグメンテーションと、背景減算とを組み合わせる混成技術を含む。このようにして、開示された技術は、正確な前景オブジェクトの生成と、ビデオシーケンスからの前景オブジェクトの低複雑性の抽出とを提供することができる。
【０００８】
開示された技術はまた、対称位置特性および形状特性など、顔の特徴の固有の属性に基づいて、ビデオシーケンスのビデオフレーム内で検出された顔の特徴の検証のための技術も含む。加えて、開示された技術は、ビデオシーケンスのビデオフレーム内の複数の個々の顔に関して検出された顔の特徴の分離のための技術を含む。本明細書で説明されるように、複数の顔の分離技術は、計算処理上の複雑性を指数関数的なものから多項式的なものに低減する最大整合方式問題（maximum matching scheme problem）にマップされ得る。このようにして、これらの技術は、ビデオシーケンスのフレーム内の各顔に関して正確な特徴検出を提供する。
【０００９】
ＲＯＩオブジェクトセグメンテーションシステムは、例えば、本明細書で説明される技術を実施することができる。ＲＯＩオブジェクトセグメンテーションシステムは、モード内セグメンテーションとモード間セグメンテーションとをサポートする。モード内セグメンテーションは、ＲＯＩオブジェクト動作情報を使用せずに、ビデオシーケンス内のその他のフレームから独立してビデオシーケンスのフレームを処理する。モード間セグメンテーションは、現在のフレームとビデオシーケンスのこれまでのフレームまたは後続のフレームとの間の動作を表示するＲＯＩオブジェクトに関する動作情報に基づいて、ビデオ気シーケンスのフレームを処理する。ＲＯＩオブジェクトセグメンテーションシステムは、１つまたは複数のセグメンテーションモード決定係数に基づいて、受信されたフレームに対して、モード内セグメンテーションを実行するか、またはモード間セグメンテーションを実行するかを決定することができる。
【００１０】
開示された技術は、フレーム全体内の候補領域のセットから、ＲＯＩオブジェクト形状内に配置されたビデオフレームの定義された領域を自動的に選択することによって、モード内セグメンテーションの間の前景オブジェクトの生成のための技術をさらに含む。開示された技術はまた、背景モデル形成と減算とに基づいて、モード間セグメンテーションの間、前景オブジェクト内の移動領域を検出するための技術も含む。移動前景領域を首尾よく検出することは、モード間セグメンテーションの間、ＲＯＩ特徴検出の性能速度を改善する可能性がある。
【００１１】
一実施形態では、開示は、ビデオシーケンスのビデオフレームを受信することと、ビデオシーケンス内の異なるビデオフレームに対する移動を表す、ビデオフレームの移動前景領域を識別することと、移動前景領域と異なるビデオフレームの前景領域とに対応する、ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出することと、検出されたＲＯＩ特徴に基づいて、ビデオフレーム内のＲＯＩオブジェクトの形状を概算することとを備える方法を提供する。
【００１２】
もう１つの実施形態では、開示は、プログラム可能プロセッサに、ビデオシーケンスのビデオフレームを受信させ、ビデオシーケンス内の異なるビデオフレームに対する移動を表す、ビデオフレームの移動前景領域を識別させ、移動前景領域と異なるビデオフレームの前景領域とに対応する、ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出させ、検出されたＲＯＩ特徴に基づいて、ビデオフレーム内のＲＯＩオブジェクトの形状を概算させる命令を備えるコンピュータ可読媒体を提供する。
【００１３】
追加の実施形態では、開示は、ビデオシーケンス内のビデオフレームを受信し、ビデオシーケンス内の異なるビデオフレームに対する移動を表す、ビデオフレームの移動前景領域を識別し、移動前景領域と異なるビデオフレームの前景領域とに対応する、ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出し、検出されたＲＯＩ特徴に基づいて、ビデオフレーム内のＲＯＩオブジェクトの形状を概算するようにプログラムされたプロセッサを備えるシステムを提供する。
【００１４】
本明細書で説明される技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。ソフトウェアで実施される場合、技術は、単一のプロセッサまたはプロセッサの任意の組合せを含めて、プログラム可能プロセッサによって実行された場合、本明細書で開示される方法の１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読媒体によって一部実施され得る。
【００１５】
１つまたは複数の実施形態の詳細は、添付の図面および下の説明で記載される。その他の特徴機能、オブジェクト、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになるであろう。
【詳細な説明】
【００１６】
図１は、ビデオシーケンスからのＲＯＩビデオオブジェクトの自動セグメンテーションのための技術を実施する関心領域（ＲＯＩ）オブジェクトセグメンテーションシステム１４を例示するブロック図である。ＲＯＩオブジェクトセグメンテーションは、ビデオ電話（ＶＴ）アプリケーションおよびビデオ監視アプリケーションなど、ビデオシーケンスを利用する幅広いマルチメディアアプリケーションで有用であり得る。
【００１７】
例えば、ビデオ監視アプリケーションでは、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、顔のデータベースシステム内へのインプットであり得る。顔のデータベースシステムは、データベース内に記憶された目標顔オブジェクトに正確に整合させるために、セグメンテーションされたＲＯＩオブジェクト（例えば、人の顔）を使用することができる。
【００１８】
もう１つの例として、ＶＴアプリケーションでは、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、ビデオシーケンス符号器内へのインプットであり得る。ビデオシーケンス符号器は、受信者への伝送のために、より高い品質を用いてＲＯＩを符号化する目的で、セグメンテーションされたＲＯＩオブジェクトにより多くのリソースを割り当てることが可能である。
【００１９】
その他の例は、人物が、生放送もしくは事前記録されたニュース放送または娯楽放送など、情報ビデオを提示するビデオ放送アプリケーションを含む。かかるアプリケーションでは、取材記者またはトークショーの司会者など、司会者の顔に対応するＲＯＩオブジェクトを優先的に符号化することが所望される可能性がある。
【００２０】
図１で示されるように、システム１４は、ビデオ源１２からビデオシーケンスを受信する。ビデオ源１２は、カメラなど、ビデオシーケンスを取得するビデオ捕捉装置、または事前記録されたビデオシーケンスを記憶するビデオアーカイブ（archive）であり得る。システム１４は、受信されたビデオシーケンスからＲＯＩオブジェクトを自動的にセグメンテーションする。ＲＯＩオブジェクトセグメンテーションシステム１４は、ＲＯＩオブジェクトセグメンテーション処理の間に、ビデオ源１２から取得されたビデオシーケンスのビデオフレームをビデオメモリ１６内に記憶する。ビデオシーケンスの各フレームが処理された後、システム１４は、セグメンテーションされたビデオフレームの出力画像をマルチメディアアプリケーション１８に送る。
【００２１】
例えば、ＲＯＩオブジェクトは、人の顔または頭、および人体の肩の範囲を備え得る。ＲＯＩオブジェクトは、ビデオフレーム内の「前景」オブジェクトと呼ばれる場合があり、非ＲＯＩ範囲は、ビデオフレーム内の「背景」範囲と呼ばれる場合がある。ＲＯＩオブジェクトセグメンテーションシステム１４は、マルチメディアアプリケーション１８のユーザにとって関心あるものであり得るビデオシーケンス内のフレームの１つまたは複数の選択された前景オブジェクトをビデオシーケンスの背景範囲から抽出する。マルチメディアアプリケーション１８は、ビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトを優先的に利用することができる。一実施形態では、マルチメディアアプリケーション１８は、顔のデータベースシステムを組み込んだビデオ監視アプリケーションを備え得る。もう１つの実施形態では、マルチメディアアプリケーション１８は、ＲＯＩ動作可能にされたビデオ符号器・復号器（ＣＯＤＥＣ）を組み込んだ、ビデオ電話（ＶＴ）アプリケーションを備え得る。
【００２２】
マルチメディアアプリケーション１８が、ビデオ監視アプリケーションを備える実施形態では、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、顔のデータベースシステム内へのインプットであり得る。この場合、ビデオ源１２は、監視カメラからの事前記録されたビデオシーケンスを記憶するビデオアーカイブであり得る。顔のデータベースシステムは、データベース内に記憶された目標顔オブジェクトに正確に整合させるために、セグメンテーションされたＲＯＩオブジェクト（例えば、人の顔）を使用することができる。警察は、監視ビデオシーケンスから容疑者を識別するために、顔のデータベースシステムを有するＲＯＩオブジェクトセグメンテーションシステム１４を利用することができる。
【００２３】
マルチメディアアプリケーション１８がＶＴアプリケーションを備える実施形態では、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、ＲＯＩ動作可能にされたビデオ符号器内へのインプットであり得る。ＶＴアプリケーションは、テレビ会議などのアプリケーションをサポートするために、ユーザがビデオおよび音声の情報を共有することを可能にする。ＶＴシステムでは、ユーザはビデオ情報を送ることおよび受信すること、単にビデオ情報を受信すること、または単にビデオ情報を送ることが可能である。この場合、ビデオ源１２は、カメラなど、ビデオシーケンスを取得するビデオ捕捉装置であり得る。例えば、ビデオ源１２は、もう１つの通信装置とビデオ電話に参加することが可能な通信装置内に含まれたビデオカメラを備え得る。
【００２４】
ＲＯＩ動作可能にされたビデオ符号器は、有線または無線の通信をサポートするために適切な送信電子工学、受信電信工学、モデム電信工学、および処理電子工学をさらに含む通信装置内に常駐し得る。例えば、ＲＯＩ動作可能にされたビデオ符号器は、その他の端末と通信するために装備された無線移動体端末内または有線端末内に常駐し得る。無線移動体端末の例は、移動体無線電話、移動体パーソナルデジタルアシスタント（ＰＤＡ）、移動体コンピュータ、または無線通信能力とビデオ符号化能力および／または復号化能力とを備えたその他の移動体装置を含む。例えば、ＲＯＩ動作可能にされたビデオ符号器は、ＶＴアプリケーションで使用される、いわゆる、カメラ電話内またはビデオ電話内に常駐し得る。有線端末の例は、デスクトップコンピュータ、ビデオ電話、ネットワーク装置、セットトップボックス、インタラクティブテレビなどを含む。
【００２５】
ＲＯＩ動作可能にされたビデオ符号器は、ＲＯＩオブジェクトセグメンテーションシステム１４から受信された出力画像内に含まれた、セグメンテーションされたＲＯＩオブジェクトを優先的に符号化することができる。例えば、ＲＯＩ動作可能にされたビデオ符号器は、追加のコーディングビットをビデオフレームのＲＯＩオブジェクトに割り当て、減じられた数のコーディングビットをビデオフレームの非ＲＯＩ領域に割り当てることができる。移動体アプリケーションでは、特に、ビデオフレームを符号化するために利用可能な符号化ビットの量は、少なく、かつ無線チャネル条件に従って変化する可能性がある。したがって、ＲＯＩオブジェクトへのコーディングビットの優先的な割当ては、適用可能なビットレート要件に効率的に準拠すると同時に、ＲＯＩオブジェクトの視覚的品質を改善するのに役立つ可能性がある。したがって、ＲＯＩオブジェクトの優先的な符号化により、受信者は、ビデオシーケンスの非ＲＯＩ領域よりも、より明確にＲＯＩオブジェクトを閲覧することが可能である。符号化されたビデオフレームは、次いで、有線または無線の通信チャネル上でもう１つの通信装置に送信されることが可能である。
【００２６】
上で説明されたように、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスからのＲＯＩビデオオブジェクトの自動セグメンテーションのための技術を実施することが可能である。開示された技術は、ビデオシーケンスのビデオフレーム内のＲＯＩ特徴（すなわち、顔面および顔の特徴）を検出することと、ビデオフレームを複数の候補領域にセグメンテーションすることと、ビデオフレームおよびビデオシーケンスのこれまでのビデオフレームに基づいて、背景（非ＲＯＩ）減算を実行することとを組み合わせる混成技術を含む。このようにして、開示された技術は、正確な前景（ＲＯＩ）オブジェクトの生成と、ビデオシーケンス内のフレームからの前景オブジェクトの低複雑性の抽出とを提供することができる。
【００２７】
開示された技術はまた、対称位置特性および形状特性など、顔の特徴の固有の属性に基づいて、ビデオシーケンスのビデオフレーム内で検出された顔の特徴の検証のための技術も含む。加えて、開示された技術は、ビデオシーケンスのビデオフレーム内の複数の個々の顔に関して検出された顔の特徴の分離のための技術を含む。本明細書で説明されるように、複数の顔の分離技術は、計算処理上の複雑性を指数関数的なものから多項式的なものに低減する最大整合方式問題にマップされ得る。このようにして、これらの技術は、低減された処理要件により、ビデオシーケンスのフレーム内の各顔に関して正確な特徴検出を提供する。
【００２８】
ＲＯＩオブジェクトセグメンテーションシステム１４は、セグメンテーションの複数の（例えば、２つの）モード、すなわち、モード内とモード間とをサポートする。モード内セグメンテーションは、ビデオシーケンス内のその他のフレームから独立してビデオシーケンスのフレームを処理する。この場合、ＲＯＩオブジェクト動作情報は使用されない。モード内セグメンテーションは、第１の、高複雑性のセグメンテーションモードである。モード間セグメンテーションは、これまでのフレーム情報または後続のフレーム情報に基づいて、ビデオシーケンスのフレームを処理し、一般に、より低い複雑性のセグメンテーションモードである、第２の、低複雑性のセグメンテーションモードである。モード間セグメンテーションは、現在のフレームとビデオシーケンスの１つまたは複数のこれまでのフレームまたは後続のフレームの間のＲＯＩオブジェクトに関する動作情報を使用する。したがって、モード間セグメンテーションは、比較的低複雑性のセグメンテーションモードである。
【００２９】
ＲＯＩオブジェクトセグメンテーションシステム１４は、１つまたは複数のセグメンテーションモード決定係数に基づいて、受信されたフレームに対して、モード内セグメンテーションを実行するか、またはモード間セグメンテーションを実行するかについて決定することができる。ビデオフレームに関する動作情報の参照を伴わないビデオフレームからのＲＯＩオブジェクトのセグメンテーション、すなわち、モード内セグメンテーションは、高複雑性のセグメンテーションモードが選択された場合に応用される。ビデオフレームおよびビデオシーケンスの異なるビデオフレームに関する動作情報に基づくビデオフレームからのＲＯＩオブジェクトのセグメンテーションは、低複雑性のセグメンテーションモードが選択された場合に応用される。
【００３０】
開示された技術は、フレーム全体の候補領域のセットから、ＲＯＩオブジェクト形状内に配置されたビデオフレームの定義された領域を自動的に選択することによって、モード内セグメンテーションの間の前景オブジェクトの生成のための技術をさらに含む。開示された技術はまた、背景モデル形成と減算とに基づいて、モード間セグメンテーションの間、前景オブジェクト内の移動領域を検出するための技術も含む。移動前景領域を首尾よく検出することは、モード間セグメンテーションの間、ＲＯＩ特徴検出の性能速度を改善する可能性がある。背景モデル形成および減算技術は、雑音と移動背景領域とに関して頑強である。技術はまた、計算処理上集中的な動作推定演算（computationally intensive motion estimation operations）を用いる移動オブジェクトセグメンテーション手法よりも、実質的により効率的である。
【００３１】
モード内セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、まず、ビデオフレーム内の顔面を検出し、次いで、人の目および口など、顔面内の顔の特徴を検出する。システム１４は、次いで、擬似の顔の特徴検出を除去するために、人の顔の特徴の幾何学的属性と形状特性とに基づいて特徴検証を実行する。その後、システム１４は、フレームが２つ以上の人の顔を含むかどうかを判断して、検出された顔の特徴を個々の顔に関するグループに分離する。顔の特徴の幾何学的位置およびＲＯＩ幾何モデルに基づいて、ＲＯＩオブジェクトが概算される。例えば、ＲＯＩ幾何モデルは、人の頭および肩の幾何学モデルを備え得る。
【００３２】
システム１４は、候補領域のセットを生成するためにビデオフレームに対して領域増大（region growing）を実行する。システム１４は、次いで、フレーム全体向けの候補領域のセットから、結果として生じるＲＯＩオブジェクト形状内に配置された領域を選択することによって前景オブジェクトを生成する。システム１４は、次いで、２個以上の前景オブジェクトが存在するかどうかを判断して、出力画像向けの組み合わされた前景オブジェクトを形成するために、複数の前景オブジェクトを一緒に併合する。複数の前景オブジェクトを併合すると、適用可能である場合、システム１４は、例えば、監視アプリケーションでの個人識別検出またはＶＴアプリケーションでの優先的な符号化のために、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る。
【００３３】
モード間セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスの連続するビデオフレームの時間的相関性を活かすために、背景モデル形成および減算技術を使用する。このようにして、本明細書で説明される技術は、拡張された効率を提供する。システム１４は、現在のフレームとこれまでのフレームの間のＲＯＩオブジェクト内の移動画素を前景画素として分類する。システム１４は、次いで、前景画素に基づいて、移動前景領域を生成する。システム１４は、次いで、移動前景領域内のＲＯＩ特徴と、これまでのフレーム内の顔面および顔の特徴位置とを検出することができる。このようにして、システム１４は、ビデオシーケンスの各フレームのための領域セグメンテーションを実行することの計算処理上の複雑性を低減する。システム１４は、次いで、出力画像に移動前景領域をこれまでのフレームの前景オブジェクトと併合し、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る。
【００３４】
ＲＯＩオブジェクトセグメンテーションシステム１４は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。例えば、ＲＯＩオブジェクトセグメンテーションシステム１４の様々な態様は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、マイクロプロセッサ、特定アプリケーション向け集積回路（ＡＳＩＣ）、フィールドプログラム可能な論理アレイ（ＦＰＧＡ）、または任意のその他の等価の集積論理回路または離散的論理回路、ならびにかかる成分の任意の組合せの範囲内で実施され得る。用語「プロセッサ」は、一般に、単独でまたはその他の論理回路との組合せで、前述の論理回路のいずれかを指す場合があり、かかるプロセッサの１つまたは複数を指す場合がある。ソフトウェアで実施された場合、ＲＯＩオブジェクトセグメンテーションシステム１４に帰される機能性は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能でプログラム可能な読取り専用メモリ（electrically erasable programmable read-only memory）（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気媒体、光媒体など、コンピュータ可読媒体上の命令として実施され得る。命令は、本開示で説明される機能性の１つまたは複数の態様をサポートするために実行される。
【００３５】
図２Ａおよび２Ｂは、ビデオシーケンスのビデオフレーム２２内のＲＯＩオブジェクト２４および非ＲＯＩ領域２５の定義を例示するブロック図である。図２Ｂの例では、ＲＯＩオブジェクトは頭および肩のＲＯＩオブジェクト２４として示される。その他の実施形態では、ＲＯＩオブジェクトは、長方形のＲＯＩオブジェクトまたは曲線的なもしくは不規則な形状を有する可能性がある非長方形のＲＯＩオブジェクトを備え得る。ＲＯＩオブジェクト２４は、ビデオフレーム２２内に提示された人物の顔２６を含む。非ＲＯＩ領域２５、すなわち、背景は、図２Ｂで影によって強調表示される。
【００３６】
ＲＯＩオブジェクト２４は、図１からのＲＯＩオブジェクトセグメンテーションシステム１４によってビデオシーケンスから自動的にセグメンテーションされることが可能である。ＶＴアプリケーションの場合、通信装置は、ＲＯＩ動作可能にされた符号器を用いてＲＯＩオブジェクト２４を優先的に符号化することができる。その場合、ＲＯＩオブジェクト２４は、テレビ会議の参加者の顔２６を含む、ビデオフレーム２２の部分を包括し得る。その他の例は、ストリーミングビデオ（例えば、情報ビデオまたはニュース放送もしくは娯楽放送）内の情報を提示する人物の顔を優先的に符号化することを含む。ＲＯＩオブジェクト２４のサイズ、形状、および位置は、固定され得、または調整可能であり得、様々な方法で定義、説明または調整され得る。
【００３７】
ＲＯＩオブジェクト２４は、ビデオの送信者が、人物の顔２６など、送信されたビデオフレーム２２内の個々のオブジェクトを強調することを可能にする。逆に、ＲＯＩオブジェクト２４は、ビデオの受信者が、受信されたビデオフレーム２２内の所望されるオブジェクトをより明確に閲覧することを可能にする。いずれの場合も、ＲＯＩオブジェクト２４内の顔２６は、ビデオフレーム２２の背景領域など、非ＲＯＩ領域２５に対してより高い画像品質で符号化される。このようにして、ユーザは顔の表情、唇の動き、目の動きなどをより明確に閲覧することができる。いくつかの実施形態では、ＲＯＩオブジェクトはまた、追加のコーディングビットだけでなく、拡張された擬似検出および耐障害性（resiliency）も用いて符号化されることも可能である。
【００３８】
図３は、ビデオシーケンスのＲＯＩオブジェクト内に提示されたオブジェクトに関するオブジェクト移動／回転と、形状変形の変化を例示する。特に、図３のフレーム０および１内に描写された人物の頭は、その位置をかなり変える。図３の例では、人物の頭は、フレーム０に対してフレーム１内で傾いている。図４は、ビデオシーケンスのＲＯＩオブジェクト内の人物に関する顔の表情の変化を例示する。特に、フレーム０および１内に描写された人物の口は、かなり閉じた位置から大きく開いた位置に変化する。したがって、図３および４は、ビデオシーケンスのＲＯＩオブジェクトの大量の移動の事例を表す。
【００３９】
図５Ａは、図１からのＲＯＩオブジェクトセグメンテーションシステム１４の例示的な動作を示す流れ図である。ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスからのＲＯＩオブジェクトの自動的セグメンテーションのための技術を実施する。上で説明されたように、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスを処理するために、モード内セグメンテーションおよびモード間セグメンテーションの両方をサポートする。
【００４０】
ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２からビデオシーケンスの第１のフレームを受信する（３０）。ＲＯＩオブジェクトセグメンテーションシステム１４は、受信されたフレームに対してモード内セグメンテーションを実行する（３２）。モード内セグメンテーションは、ビデオシーケンス内のその他のフレームから独立してビデオシーケンスの現在のフレームを処理する。モード内セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ＲＯＩオブジェクト移動情報を使用しない。モード内セグメンテーションを実行する間、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスの受信されたフレームをビデオメモリ１６内に記憶する。ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る（３４）。
【００４１】
ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２からビデオシーケンスの次のフレームを受信する（３６）。システム１４は、次いで、受信されたフレームに対して、モード内セグメンテーションを実行するか、またはモード間セグメンテーションを実行するかを判断するために、モード決定を行う（３７）。モード決定は、１つまたは複数のセグメンテーションモード決定係数に基づくことが可能である。例えば、システム１４は、受信されたフレームの計算処理上の複雑性、受信されたフレームのためのセグメンテーションの所望される品質、受信されたフレームとこれまでのフレームの間の類似性の量、受信されたフレームとこれまでのフレームの間の移動活動の量、これまでのフレームのために使用されたセグメンテーションモード、および最後のモード内処理以来、セグメンテーションされたフレームの数など、セグメンテーションモード決定係数に基づいて、どのセグメンテーションモードが受信されたフレームに対して実行されるかを決定することができる。その他の実施形態では、セグメンテーションモード決定は、追加のセグメンテーションモード決定計係数に基づくことが可能である。
【００４２】
システム１４がモード内セグメンテーションを実行しないことを決定する場合（３７の「いいえ」ブランチ）、ＲＯＩオブジェクトセグメンテーションシステム１４は、これまでのフレームに基づいて、受信されたフレームに対してモード間セグメンテーションを実行する（３８）。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスのこれまでのフレームから（例えば、ビデオメモリ１６から）動作情報を取り出して、動作情報を現在のフレームとこれまでのフレームの間のＲＯＩオブジェクトのために使用する。モード間セグメンテーションを実行する間、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスの受信されたフレームをビデオメモリ１６内に記憶する。ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る（４０）。
【００４３】
ＲＯＩオブジェクトセグメンテーションシステム１４は、引き続きビデオ源１２からビデオシーケンスのフレームを受信する。システム１４がモード間セグメンテーションを実行することを決定した場合（３７の「はい」ブランチ）、ＲＯＩセグメンテーションシステム１４は、受信されたフレームに対してモード内セグメンテーションを再び実行する（３２）。したがって、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２から受信されたビデオシーケンスのフレームのいくつかに対してモード内セグメンテーションを実行して、ビデオシーケンスのその他のフレームに対してモード間セグメンテーションを実行する。
【００４４】
図５Ｂは、図５Ａからのセグメンテーションモード決定（ステップ３７）をより詳細に例示する流れ図である。ＲＯＩオブジェクトセグメンテーションシステム１４は、１つまたは複数のセグメンテーションモード決定係数に基づいてセグメンテーションモード決定を行うことができる。システム１４は、受信されたフレームに対して実行するためのセグメンテーションのモードを決定するために、図５で例示されたステップの１つまたは複数を実行することができる。いくつかの実施形態では、システム１４は、ステップを個々に実行すること、または任意の順序でステップの１つまたは複数を組み合わせることが可能である。その他の実施形態では、ＲＯＩオブジェクトセグメンテーションシステム１４は、受信されたフレームに対してモード内セグメンテーションを実行するか、またはモード間セグメンテーションを実行するかを決定する場合、追加のセグメンテーションモード決定係数を考慮することができる。
【００４５】
システム１４は、受信されたフレームの計算処理上の複雑性を決定することができる（４６）。例えば、システム１４は、受信されたフレーム内に含まれたＲＯＩ特徴候補の数を決定するために受信されたフレームを調査することができる。フレームが大量のＲＯＩ特徴を含む場合、受信されたフレームは、モード間セグメンテーション処理がフレームからＲＯＩオブジェクトを正確にセグメンテーションするにはあまりにも複雑すぎる可能性がある。したがって、システム１４は、高複雑性のビデオフレームを処理するために計算処理上の複雑性が所定のレベルより高い場合、モード内セグメンテーションを実行することを決定することができる。システム１４はまた、最終利用者からセグメンテーションの所望される品質を決定することもできる（４８）。例えば、ＲＯＩセグメンテーションシステム１４を実施するビデオ通信装置の最終利用者が、受信されたビデオフレームに関して所定のレベルより高い品質のセグメンテーションを要求する場合、システム１４は、受信されたフレームに対してモード内セグメンテーションを実行することができる。逆に、最終利用者が受信されたビデオフレームに関して所定のレベル未満の品質のセグメンテーションを要求する場合、システム１４は、受信されたフレームに対してモード間セグメンテーションを実行することができる。
【００４６】
加えて、システム１４は、受信されたフレームとこれまでのフレームの間の類似性の量を決定することが可能である（５０）。例えば、システム１４は、２個のフレームのカラーヒストグラム間の類似性の量が所定のレベルより高いかどうかを判断するために、受信されたフレームをこれまでのフレームと比較することができる。２個のフレーム間の大きな色変化は、シーンの変化を表示する可能性がある。この場合、システム１４は、受信されたフレーム内の潜在的な新しいＲＯＩオブジェクトをセグメンテーションするために、モード内セグメンテーションを実行することができる。カラーヒストグラムが２個のフレーム間で依然として実質的に類似する場合、システム１４はモード間セグメンテーションを実行することができる。
【００４７】
システム１４は、受信されたフレームとこれまでのフレームの間の動作活動の量を決定することが可能である（５２）。例えば、システム１４は、フレーム内のＲＯＩオブジェクトの位置の間の移動量が所定のレベルより高いかどうかを判断するために、受信されたフレームをこれまでのフレームと比較することができる。ＲＯＩオブジェクトが、２個のフレーム内の実質的に異なる領域または位置を占有する場合、システム１４は、モード内セグメンテーションを実行することができる。ＲＯＩオブジェクトが、２個のフレーム内の実質的に同じ領域または位置を占有する場合、システム１４はモード間セグメンテーションを実行することができる。
【００４８】
上のステップで、ビデオシーケンスのＲＯＩセグメンテーション処理は、任意の順序でビデオシーケンスのビデオフレームに対して実行される任意の数のモード内セグメンテーションと任意の数のモード間セグメンテーションとを含み得る。例えば、モード内セグメンテーションは０として表されることが可能であり、モード間セグメンテーションは１として表されることが可能である。例示的なビデオシーケンスセグメンテーションにおいて、フレームのセットのモード内セグメンテーション（０）およびモード間セグメンテーション状態（１）は、００１１０１１１１０として表されることが可能である。この場合、セグメンテーションモード決定は、受信されたフレームの属性、または受信されたフレームとこれまでのフレームの間の属性に単に基づく。
【００４９】
システム１４はまた、これまでのフレームをセグメンテーションするために使用されたセグメンテーションモードに基づいて、受信されたフレームに対してどのセグメンテーションモードが実行されるかを判断することも可能である。システム１４は、これまでのフレームがモード内処理によってセグメンテーションされたかどうかを判断することができる（５４）。これまでのフレームがモード内処理によってセグメンテーションされた場合、システム１４は、受信されたフレームをモード間処理によってセグメンテーションすることを決定することができる。このステップでは、ビデオシーケンスのＲＯＩセグメンテーション処理は、モード間セグメンテーションが常にモード内セグメンテーションに続くように、ビデオシーケンスのビデオフレームに対して実行される任意の数のモード内セグメンテーションと任意の数のモード間セグメンテーションとを含み得る。例示的なビデオシーケンスセグメンテーションにおいて、フレームのセットのモード内（０）およびモード間状態（１）は、０１１０１１１１０１として表されることが可能である。この場合、セグメンテーションモード決定は、これまでのフレームのセグメンテーションモードに単に基づく。
【００５０】
さらに、システム１４は、最後のモード内セグメンテーションされたフレーム以来、セグメンテーションされたフレームの数を決定することが可能である（５６）。例えば、システム１４は、Ｎ個のフレームごとになど、周期ベースでモード内セグメンテーションを実行することを決定することができる。場合によっては、第Ｎ番目のフレームは、第１０番目のフレームを備える可能性がある。その他の実施形態では、Ｎは１０個のフレーム以上または以下であり得る。このステップでは、ビデオシーケンスのＲＯＩセグメンテーション処理は、モード内セグメンテーションが周期的に実行されるように、ビデオシーケンスのビデオフレームに対して実行される任意の数のモード内セグメンテーションと任意の数のモード間セグメンテーションとを含み得る。例示的なビデオシーケンスセグメンテーションにおいて、フレームのセットのモード内（０）およびモード間状態（１）は、０１１１０１１１０１として表されることが可能である。この場合、セグメンテーションモード決定は、第４番目のフレームごとにモード内セグメンテーションを実行することに基づく。
【００５１】
図６は、ビデオ源１２から受信されたビデオシーケンスのフレームに対してモード内セグメンテーションを実行する場合のＲＯＩオブジェクトセグメンテーションシステム１４を例示するブロック図である。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスのその他のフレームから独立して、かつ動作情報なしに、ビデオシーケンスのフレームを処理する。図７〜１３は、モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステム１４によって実施される技術の例示的な結果を示すスクリーンショットである。
【００５２】
図６内に例示された実施形態では、ビデオシーケンス１２は、クロミナンス（chrominance）ブルーチャネル（Ｃｂ）６０と、クロミナンスレッドチャネル（Ｃｒ）６１と、輝度（luminance）チャネル（Ｙ）６２とを含む。ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２から受信されたビデオシーケンスのビデオフレームから、人の頭および肩の範囲など、ＲＯＩオブジェクトを自動的にセグメンテーションするための技術を実施する。開示された技術は、モード内セグメンテーションの間、特徴ベースおよびモデルベースの検出を領域セグメンテーションと組み合わせる混成技術を含む。
【００５３】
ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２のクロミナンスブルーチャネル６０とクロミナンスレッドチャネル６１とから受信されたブルーチャネルとレッドチャネルのクロミナンス値に基づいて、ビデオフレーム内の皮膚色領域を検出する顔面検出器６４を含む。顔面検出器６４は、次いで、検出された皮膚色領域の画素を顔の画素として分類する。このようにして、顔面検出器６４は、受信されたフレーム内の顔の画素でない画素を除去することによって顔面を取得することができる。顔面が取得された後で、顔面検出器６４は、目および口の領域など、顔の特徴による顔面内の雑音およびホール（holes）を除外するために膨張および侵食の数学的な形態的演算（morphological operations）を使用する。図７は、標準「母と娘」ビデオテストシーケンスのフレームに関する迅速な顔面検出の例を示す。
【００５４】
一般に、顔面検出器６４は、ＹＣｂＣｒ色空間内に狭くかつ一貫して分布されたクロミナンス値のある種のセットの存在によって、ビデオフレーム内の皮膚色領域を識別することが可能な皮膚色マップを使用する。皮膚色マップは、異なる種類の皮膚色に対して頑強である。人類の皮膚色は、主に皮膚の黒さと白さによって異なって認識される。すなわち、皮膚色は、ＣｒまたはＣｂではなく、Ｙによって支配される色の明るさの違いによって特徴づけられる。したがって、効果のある皮膚色マップは、受信されたフレームのＣｒおよびＣｂの成分だけに基づいて実現され得る。顔面検出器６４は、受信されたビデオフレーム内の皮膚色領域を検出するために、Ｃｒ∈［１３３，１７３］およびＣｂ∈［７７，１２７］の範囲の有するＣｂＣｒ皮膚色マップを利用することが可能である。Ｃｒ範囲およびＣｂ範囲は、限定的なものと考えるべきではなく、顔面検出器６４は、異なるＣｒ範囲およびＣｂ範囲を有する皮膚色マップを利用することが可能である。
【００５５】
場合によっては、顔面検出器６４は、人の顔を排他的に取得することができない可能性がある。図７で例示されたように、フレーム内の母と娘の衣類の領域は、皮膚の色調マップによって定義されるものに類似した色調を有するようである。したがって、顔面検出器６４は、衣類の領域を誤って顔面の一部として選択する可能性がある。本明細書で説明される迅速な顔面検出ステップは、フレーム内の顔でない一部の領域を除外するが、正確な顔の領域を取得および検証するためにさらなる処理が必要とされる可能性がある。
【００５６】
システム１４は、顔面内の顔の特徴候補を検出する目検出器６６および口検出器６７と、目および口の候補から顔の特徴を選択する特徴検証モジュール６８とを含む。顔フィルタは、一般に、顔の領域の楕円形状、および顔の特徴の中の全体的な空間的関係制約など、人の顔およびそれらの特徴の一般知識に基づいて構築される。したがって、これらの顔の特徴の位置を突き止めることは、ビデオフレーム内のおよその顔の位置を導出する際に有用である。
【００５７】
目検出器６６は、顔面検出器６４によって取得された顔面内の目の特徴候補を検出する。目検出器６６は、２つの考察に基づいて目の特徴候補を検出する。第１に、目の周りのクロミナンス成分は、通常、高いＣｂ値と低いＣｒ値とを含む。したがって、目検出器６６は、下で提示される方程式（１）に基づいてフレームのクロミナンス目マップを構築することができる。
【数１】
【００５８】
クロミナンス目マップが取得されると、目検出器６６は、目の候補に関して目マップ内の最も明るい領域の位置を突き止めるために、しきい値を目マップ内の各画素のクロミナンス（Ｃ）目マップ値に応用することができる。目検出器６６は、次いで、実質的に近接した最も明るい領域を単一の目の候補に併合するために、形態的演算を応用する。図８Ａは「母と娘」ビデオテストシーケンスのフレームのクロミナンス目マップ内の目の検出の例を示す。
【００５９】
第２に、目は、通常、輝度成分内に黒い画素および明るい画素の両方を含む。したがって、目の領域の回りの輝度成分内のより明るい画素とより暗い画素とを強調するために、グレースケール形態的演算が使用され得る。目検出器６６は、下で提示される方程式（２）に基づいてフレームの輝度目マップを構築することができる。
【数２】
【００６０】
輝度目マップが取得されると、目検出器６６は、目の候補に関して目マップ内の最も明るい領域の位置を突き止めるために、しきい値を目マップ内の各画素の輝度（Ｌ）目マップ値に応用することができる。目検出器６６は、次いで、実質的に近接した最も明るい領域を単一の目の候補に併合するために、形態的演算を応用する。図８Ｂは、「母と娘」ビデオテストシーケンスのフレームの輝度目マップ内の目の検出の例を示す。
【００６１】
目検出器６６は、顔面内の最終的な目の候補を見つけるために、（図８Ａで示された）クロミナンス目マップ内で検出された目の候補を、（図８Ｂで示された）輝度目マップ内で検出された目の候補と組み合わせる。しかし、場合によっては、最終的な目の候補は、依然として不正確な目の候補を含む場合がある。これらの異質の目の候補は、後に特徴検証処理の間に除外され得る。
【００６２】
口検出器６７は、顔面検出器６４によって取得された顔面内の口の特徴候補を検出する。一般に、口領域の色は、その他の顔の領域よりも、より強い赤色成分と、より弱い青色成分とを含む。したがって、口領域では、クロミナンス成分Ｃｒはクロミナンス成分Ｃｂよりも多いはずである。しかし、口領域は、Ｃｒ／Ｃｂ特徴内で比較的低い反応を有するが、Ｃｒ２特徴内で比較的高い反応を有する。口検出器６７は、下で提示される方程式（３）および（４）に基づいてフレームの口マップを構築することができる。
【数３】
【数４】
【００６３】
口マップが取得されると、口検出器６７は、口の候補に関して口マップ内の最も明るい領域の位置を突き止めるために、しきい値を口マップ内の各画素の口（Ｍ）値に応用することができる。口検出器６７は、次いで、実質的に近接した最も明るい領域を単一の口の候補に併合するために、形態的演算を応用する。図９は、「母と娘」ビデオテストシーケンスのフレームの口マップ内の口の検出の例を示す。
【００６４】
特徴検証モジュール６８は、目および口の候補から正確な顔の特徴を選択するために、目検出器６６と口検出器６７とによって顔面内で検出された顔の特徴候補を検証する。特徴検出モジュール６８は、頑強なＲＯＩ特徴検出処理を確実にする。上で説明された目および口のマップ処理は、目および口の領域を分類する際に効果があるが、いくつかの誤った分類は、依然として、擬似の顔の特徴検出という結果をもたらす可能性がある。特徴検証モジュール６８は、顔面内で顔の特徴候補を検証して、任意の擬似の顔の特徴検出を除去するために、３つの検証ステップを実行する。
【００６５】
第１に、顔の形態学の点から、顔の特徴は、一般に、領域内の高輝度コントラストによって特徴づけられる「くぼみ」領域、すなわち、陥凹領域内に配置されることが観察される。したがって、特徴検出モジュール６８は、グレースケール近接・膨張（grayscale-close and dilation）形態的演算を実行することによって、くぼみ領域を識別する。特徴検証モジュール６８は、次いで、フレーム内の顔の特徴候補の位置をフレーム内のくぼみ領域の位置と比較する。顔の特徴候補が、検出されたくぼみ領域の範囲に少なくとも一部重複しない場合、特徴検証モジュール６８は、その顔の特徴候補を考慮から除外することになる。したがって、顔の特徴候補を保持するために、特徴検証モジュール６８は、特徴と識別されたくぼみ領域のうちの１つとの相関性を要求する。図１０Ａは、「母と娘」ビデオシーケンスのフレーム内で識別されたくぼみ領域を例示する。
【００６６】
第２に、特徴検証モジュール６８は、フレーム内の対称位置および形状特徴など、目の対の固有の属性に基づいて目の特徴候補を検証する。図１０Ｂは、それぞれの重心Ｏ１およびＯ２を有する目の対の固有の属性を例示する。例えば、２つの目は、｜ＡＯ１｜＝｜ＡＯ２｜であるように、顔の主軸Ａに関して対称であり、両目は類似範囲を有し、両目は、軸ＯＡに対して投影することによって比較され得る類似の形状を有する。２つの目はまた、それぞれのＰＣＡ（主成分分析）軸、すなわち、ＰＣＡ１およびＰＣＡ２に関しても対称である。加えて、眉は、通常、２つの目の上に検出され得る。
【００６７】
特徴検証モジュール６８は、顔面内の目の特徴候補を検証するために、重みづけされた得点システム（score system）を利用することができる。この場合、特徴検出モジュール６８は、目の対の属性に基づいていくつかの基準をチェックして、基準の各々に関して得点を提供する。例えば、特徴検証モジュール６８は、目の重心位置がくぼみ領域内部にあるかどうかを判断する。次に、特徴検証モジュール６８は、目の重心の位置と検出された虹彩とが実質的に近接しているかどうかを判断する。虹彩の位置は、目の中の輝度値を横軸と縦軸とに投影して、累算された最低総輝度値に対応するポイントを識別することによって発見され得る。特徴検証モジュール６８は、次いで、眉が目の上に発見されるかどうかを判断する。次に、特徴検証モジュール６８は、目のＰＣＡ軸が合理的な方向の範囲内にあるかどうかを判断するが、これは典型的な人の目の対の経験的な特徴から判断され得る。特徴検証モジュール６８は、次いで、目が合理的な距離内に目の対を有するかどうかを判断するが、これも経験的な特徴から判断され得る。次に、特徴検証モジュール６８は、軸ＯＡに従って、目の対が対称的なＰＣＡ軸を有するかどうかを判断する。特徴検証モジュール６８は、次いで、軸ＯＡに従って、目の対が対称的形状を有するかどうかを判断する。
【００６８】
特徴検証モジュール６８は、候補から正確な顔の特徴を選択して、ビデオフレームの顔の特徴マップを構築するために、上で説明された各基準からの得点を累算する。様々な個々の基準に関して決定された得点は、等しく重みづけされることが可能であり、またはその他の基準に対して１つまたは複数の基準を強調するために、異なって重みづけされることも可能である。特徴検証モジュール６８は、事前設定されたしきい値未満の累積得点を有するそれらの顔の特徴候補として擬似検出を識別する。特徴検証モジュール６８は、次いで、それらの誤って検出された顔の特徴候補を除外する。
【００６９】
第３に、特徴検証モジュール６８は、顔の特徴マップ内の２つの目の候補および１つの口の候補のあらゆる可能な組合せから目と口の三角形を検証する。特徴検証モジュール６８は、まず、目と口の三角形の幾何学的形状と方向性とを精査して、合理的でない目と口の三角形をさらなる考察から除外する。合理的でないと見なされる目と口の三角形は、典型的な人に関して経験的に決定された目と口の三角形形状の範囲に実質的に整合しないそれらのものである。図１０Ｃは、「母と娘」ビデオシーケンスのフレームの顔の特徴マップ内の２つの可能な目と口の三角形（破線）を例示する。特徴検証モジュール６８は、次いで、目と口の三角形範囲の傾斜特性を検証するためにテンプレートを使用する。人の顔は３次元（３Ｄ）オブジェクトであるため、顔の領域の全体にわたる輝度は不均等になりがちである。正規の目と口の三角形範囲は、顎など、その他の顔の範囲よりも傾斜情報をより複雑にする鼻を含むべきである。目と口の三角形範囲から利用可能なより識別可能な傾斜情報を使用して、特徴検証モジュール６８は、ビデオフレーム内の顔に関して正確な目および口の候補を選択することができる。
【００７０】
システム１４はまた、特徴検証モジュール６８によって選択された顔の特徴をフレーム内の個々の顔に関するグループに分離する複数の顔分離モジュール７０も含む。ビデオフレーム内に２つ以上の顔を含む母と娘シーケンスなどのビデオシーケンスでは、複数の顔分離モジュール７０は、目および口の候補のセットを異なる顔に対応するグループに分離する。このタスクの困難は三重である。第１に、ビデオフレーム内に含まれる顔の総数は知られていない。第２に、いくつかの顔の特徴は、ビデオフレーム内で検出されていない可能性がある。第３に、すべての潜在的な顔の特徴グループの組合せの網羅的なチェックは、指数関数的な計算処理上の複雑性を有する。問題を、目を口と対にするタスクに簡素化することによって、元の問題は多項式的な計算処理上の複雑性を有するグラフ理論問題にマップされ得る。結果として生じる、計算処理上の複雑性の抑圧は、限定された電力および処理リソースを有する移動体アプリケーション、ならびに高速の、場合によっては、リアルタイムの結果を要求するその他のアプリケーションを含めて、多くのアプリケーションにとって非常に望ましい可能性がある。
【００７１】
グラフ理論を応用して、複数の顔分離モジュール７０は、頂点セットＶ＝｛口｝＋｛目の対｝と輪郭線セットＥ＝｛（ｖｉ，ｖｊ）｝とを有する偶グラフ（bipartite graph）Ｇ＝（Ｖ，Ｅ）を考慮し、ｖｉおよびｖｊは異なるセットに属し、ノードｖｉおよびｖｊの間の距離は合理的な範囲内である。整合するＳが、Ｓ内の２つの輪郭線が同じ頂点に付随するものまたは直接的に連結された頂点でないように、Ｅのサブセットとして定義された場合、問題は最大整合方式問題になる。このように、元の最大整合方式問題定義では、整合に対する制約は、Ｓ内の２つの輪郭線が同じ頂点に付随しないことだけを要求するため、複数の顔分離処理は元の最大整合方式問題の可変要素である。
【００７２】
複数の顔分離問題を元の最大整合方式問題に変換する可能性を観察することは重要である。（ｖｉ，ｖｋ）∈Ｅ，（ｖｊ，ｖｋ）∈Ｅであるが
【数５】
【００７３】
であるようにｖｋが存在する、輪郭線セットＥ’＝｛（ｖｉ，ｖｊ）｝が輪郭線セットをＥからＥ∪Ｅ’に拡張した後で定義された場合、結果として生じる整合がＥ∪Ｅ’の代わりにＥのサブセットでなければならないように、追加の制約が含まれなければならない点を除いて、問題は元の最大整合方式問題になる。したがって、複数の顔分離モジュール７０は、多項式時間の複雑性における複数の顔分離問題を解決することができる。
【００７４】
システム１４は、ＲＯＩオブジェクト幾何モデルに基づいて、ビデオフレーム内の各顔に関してＲＯＩオブジェクト形状を概算するオブジェクト形状概算モジュール７２を含む。例えば、ＲＯＩオブジェクト形状は、人の頭および肩の幾何モデルに基づいて、フレーム内で概算され得る。特徴検証モジュール６８が顔に関して正確な目と口の三角形を取得した後で、オブジェクト形状概算モジュール７２は、目と口の三角形のノード間の幾何学的関係に基づいて、ＲＯＩオブジェクト形状（例えば、頭および肩のモデル）を構築することができる。
【００７５】
モード内セグメンテーションの間の性能を加速するために、オブジェクト形状概算モジュール７２は、人の頭および肩のオブジェクト形状など、ＲＯＩオブジェクト形状を概算するために簡単な長方形モデルを使用することが可能である。ビデオフレーム内に２つ以上の顔を含むビデオシーケンスの場合、複数の顔分離モジュール７０が目および口の候補を異なる顔に関するグループに分離した後、オブジェクト形状概算モジュール７２は、個別の目と口の三角形に基づいて顔の各々に関してＲＯＩオブジェクト形状を概算する。例えば、オブジェクト形状概算モジュール７２は、ビデオフレーム内に含まれた各顔に関して頭および肩のオブジェクト形状を概算することができる。図１１は、「母と娘」ビデオテストシーケンスのフレーム内で各顔に関して定義された頭および肩のオブジェクト形状を例示する。
【００７６】
ＲＯＩオブジェクトセグメンテーションシステム１４はまた、フレーム全体に対してスプリット・併合（split-and-merge）領域増大を実行する領域セグメンテーションモジュール７４も含む。領域セグメンテーションモジュール７４は、元のフレームを複数の同種の候補領域に分割する。スプリット・併合領域増大を実行する場合、領域セグメンテーションモジュール７４は、ビデオフレーム内の隣り合う画素間の関係を、類似するクラスと異なるクラスとに分類する。領域類似性は、領域内の平均画素輝度値に基づいて決定され得る。領域セグメンテーションモジュール７４は、次いで、連結された類似する画素を小さな領域にクラスタ化して、最低数の候補領域を形成するために、それらの領域を併合し続ける。図１２は、ビデオフレームが当初１１９５個の領域に分割され、次いで、２２個の候補領域が生成されるまで領域が併合される領域増大処理を例示する。
【００７７】
システム１４は、フレーム全体内の候補領域から、概算されたＲＯＩオブジェクト形状内に配置されたフレームの領域を自動的に選択するオブジェクト生成モジュール７６をさらに含む。選択された領域は前景領域と見なされることが可能であり、選択されなかった領域は、背景領域と見なされることが可能である。オブジェクト生成モジュール７６は、次いで、前景領域に基づいて前景オブジェクトを生成する。
【００７８】
オブジェクト生成モジュール７６は、オブジェクト形状概算モジュール７２によって概算されたＲＯＩオブジェクト形状内に配置された、領域セグメンテーションモジュール７４によって生成された候補領域のセットだけから領域を選択する。上で説明されたように、ＲＯＩオブジェクト形状は、ＲＯＩオブジェクト（例えば、顔）を含む長方形範囲を備えることが可能であり、ＲＯＩオブジェクト形状のサイズは、顔に関して選択された目と口の三角形に基づいて推定され得る。このようにして、さらなる処理は、ビデオフレーム全体内での代わりにＲＯＩオブジェクト形状内で行われ得る。
【００７９】
オブジェクト生成モジュール７６は、領域セグメンテーションモジュール７４によって生成されたビデオフレーム内の候補領域の各々を調査して、領域がＲＯＩオブジェクト形状内に配置されるかどうかを判断する。オブジェクト生成モジュール７６は、ＲＯＩオブジェクト形状内の総画素の事前定義された割合（例えば、６０％）を超える総画素を有する領域を前景領域と見なすことができる。オブジェクト生成モジュール７６は、次いで、ＲＯＩオブジェクト形状内の総画素の事前定義された割合未満の総画素を有するビデオフレーム内の残りの領域を背景領域と見なすことができる。このようにして、オブジェクト生成モジュール７６は、ビデオフレーム内の前景領域から前景オブジェクトを生成する。
【００８０】
最後に、システム１４は、フレーム内の複数の前景オブジェクトを最終的な出力画像に併合するオブジェクトフュージング（fusing）モジュール７８を含む。２個以上の前景オブジェクトを含むビデオシーケンスの場合、オブジェクトフュージングモジュール７８は、出力画像を形成するために前景オブジェクトを併合する。図１３は、ビデオフレーム内の顔の各々に関する前景オブジェクトの生成と、２個の前景オブジェクトを併合することによる出力画像の生成とを例示する。ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る。
【００８１】
図１４は、モード内セグメンテーションを実行するＲＯＩオブジェクトセグメンテーションシステム１４の動作を例示する流れ図である。動作は、本明細書で、図７で例示されたＲＯＩオブジェクトセグメンテーションシステム１４を参照して説明される。ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２からビデオシーケンスのフレームを受信する（８０）。モード内セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスのその他のフレームから独立して、かつ動作情報なしに、ビデオシーケンスの受信されたフレームを処理する。
【００８２】
顔面検出器６４は、ビデオフレーム内で識別された皮膚色領域に基づいて、受信されたフレーム内の顔面を検出する（８２）。顔面検出器６４は、次いで、識別された皮膚色領域の画素を顔の画素として分類する。このようにして、顔面検出器６４は、受信されたフレーム内の顔の画素ではない画素を除去することによって顔面を取得することができる。
【００８３】
目検出器６６および口検出器６７は、次いで、顔面内の顔の特徴候補を検出する（８４）。目検出器６６は、顔面内の画素のクロミナンス値と輝度値とに基づいて、目の特徴候補を検出することができる。装着検出器６７は、顔面内の画素のクロミナンス値に基づいて、口の特徴候補を検出することができる。特徴検証モジュール６８は、正確な顔の特徴を選択するために、目検出器６６と口検出器６７とによって検出された顔の特徴候補の検証を実行する。
【００８４】
ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、受信されたビデオフレームが２つ以上の顔を含むか否かを判断する（８７）。ビデオフレームが２つ以上の顔を含む場合、複数の顔分離モジュール７０は、特徴検証モジュール６８によって選択された顔の特徴をフレーム内に含まれた個々の顔に関するグループに分離する（８８）。オブジェクト形状概算モジュール７２は、次いで、特徴検証モジュール６８によって選択された顔の特徴によって定義されたＲＯＩオブジェクト幾何モデルに基づいて、ビデオフレーム内の各顔に関してＲＯＩオブジェクト形状を概算する（９０）。例えば、頭および肩のオブジェクト形状は、正確な目と口の三角形の位置に基づいて、フレーム内の各顔に関して概算され得る。
【００８５】
領域セグメンテーションモジュール７４は、フレーム全体に対してスプリット・併合領域増大を実行する（９２）。領域セグメンテーションモジュール７４は、元のフレームを複数の同種の候補領域に分割する。オブジェクト生成モジュール７６は、次いで、フレーム全体内の候補領域から、概算されたＲＯＩオブジェクト形状内に配置されたフレームの領域を選択する。選択された領域は前景領域と見なされることが可能であり、選択されなかった領域は背景領域と見なされることが可能である。オブジェクト生成モジュール７６は、次いで、前景領域に基づいて前景オブジェクトを生成する（９４）。
【００８６】
ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオフレームが２個以上の前景オブジェクトを含むかどうかを判断する（９５）。ビデオフレームが２個以上の前景オブジェクトを含む場合、オブジェクトフュージングモジュール７８は、フレーム内の前景オブジェクトを最終的な出力画像に併合する（９６）。ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る（９８）。
【００８７】
図１５は、ビデオ源１２から受信されたビデオシーケンスのフレームに対してモード間セグメンテーションを実行する場合のＲＯＩオブジェクトセグメンテーションシステム１４を例示するブロック図である。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、現在のフレームとビデオメモリ１６内に記憶されたこれまでのフレームまたは後続のフレームの間のＲＯＩオブジェクトに関する動作情報に基づいてビデオシーケンスのフレームを処理する。図１６および１７は、モード間セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステム１４によって実施された技術の例示的な結果を示すスクリーンショットである。いくつかの実施形態では、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスのフレームのいくつかに対して、図６〜１４で説明されたように、モード内セグメンテーションを実行し、１つまたは複数のセグメンテーションモード決定係数に基づいて、ビデオシーケンスのその他のフレームに対して、下で説明されるように、モード間セグメンテーションを実行することができる。
【００８８】
上で説明されたように、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２から受信されたビデオシーケンスのビデオフレームから、人の頭および肩の範囲など、ＲＯＩオブジェクトを自動的にセグメンテーションするための技術を実施する。ＲＯＩオブジェクトセグメンテーションシステム１４は、ＲＯＩオブジェクトに関する動作情報に基づいて、モード間セグメンテーションを実行する。開示された技術は、背景モデル形成と減算とに基づいて、前景オブジェクト内の移動領域を検出するための技術を含む。移動前景領域を首尾よく検出することは、モード間セグメンテーションの間、ＲＯＩ特徴検出の性能速度を改善する可能性がある。
【００８９】
図１５で例示された実施形態では、ビデオ源１２は、この場合も、クロミナンスブルーチャネル（Ｃｂ）１００と、クロミナンスレッドチャネル（Ｃｒ）１０１と、輝度チャネル（Ｙ）１０２とを含む。ＲＯＩオブジェクトセグメンテーションシステム１４は、図１５で例示されたように、モード間セグメンテーションを実行する場合、背景減算モジュール１１２をさらに含む。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４はまた、図６で例示されたモード内セグメンテーションを実行する場合に使用される成分も含む。例えば、ＲＯＩオブジェクトセグメンテーションシステム１４は、図６からの顔面検出器６４と、目検出器６８と、口検出器６７とを備える、ＲＯＩ特徴検出器１０４を含む。加えて、ＲＯＩオブジェクトセグメンテーションモジュール１４は、図６で対応する成分に類似した方法で動作することが可能な、特徴検証モジュール１０６、複数の顔分離モジュール１０８、オブジェクト形状概算モジュール１１０、領域セグメンテーションモジュール１１４、オブジェクト生成モジュール１１６、およびオブジェクトフュージングモジュール１１８も含む。
【００９０】
背景減算モジュール１１２は、モード間セグメンテーションをサポートするために、ＲＯＩ特徴検出器１０４および領域セグメンテーションモジュール１１４と相互作用する。背景減算モジュール１１２を用いて、システム１４は、ビデオシーケンス内の異なるビデオフレームに対する移動を表す、ビデオフレームの移動前景領域を識別する。特に、移動前景領域を識別するために、背景減算モジュール１１２は、ビデオフレームのＲＯＩオブジェクト内の画素の第１の位置を異なるビデオフレーム（例えば、ビデオシーケンス内のこれまでのフレーム）内の画素の第２の位置と比較する。
【００９１】
背景減算モジュール１１２は、次いで、第２の位置から移動していない画素を背景画素として分類して、第２の位置から移動した画素を前景画素として分類する。移動前景領域は、識別された前景画素に基づいて識別される。システム１４は、次いで、移動前景領域と異なる（例えば、これまでの）ビデオフレーム内でこれまで識別された前景領域とに対応するビデオフレームの組み合わされた前景領域内のＲＯＩ特徴を検出する。検出されたＲＯＩ特徴に基づいて、形状概算モジュール１１０は、ビデオフレーム内のＲＯＩオブジェクトの形状を概算する。
【００９２】
背景減算モジュール１１２は、ビデオシーケンスの連続するビデオフレームの時間的相関性を活かす。背景減算モジュール１１２は、ビデオ源１２から受信されたビデオシーケンスのＲＯＩオブジェクト内の画素の画素単位の分類処理を行う。このようにして、背景減算モジュール１１２は、現在のフレームとビデオメモリ１６から取り出されたビデオシーケンスのこれまでのフレームまたは後続のフレームの間の動作情報に基づいて、現在のフレームのどの画素が背景画素であるかを判断する。すなわち、背景減算モジュール１１２は、前景オブジェクトの移動領域を迅速かつ効率的に発見するために、モード間動作で利用可能な追加の情報を使用する。この場合も、背景減算モジュール１１２は、それらのこれまでの位置から移動していない、現在のフレームのそれらの画素を背景画素として分類する。背景減算モジュール１１２は、次いで、それらのこれまでの位置から移動したそれらの画素を前景画素として分類する。このように、背景減算モジュール１１２は、より効率的であり、かつより低い複雑性を有する。
【００９３】
背景減算モジュール１１２は、１つまたは複数の利点を提供することが可能である。例えば、顔面の探索空間は、画像全体から、移動前景領域に加えて組み合わされた前景領域と見なされ得る、これまでのフレームからの顔面領域に低減され得る。加えて、顔の特徴は、移動前景領域内にあるかまたはこれまでのフレームと同じ位置内にあることになる。もう１つの可能な利点として、連結された移動前景領域は、同種の領域として処理されることが可能である。
【００９４】
図１６は、「母と娘」ビデオシーケンスのフレーム間の画素動作に基づく、前景画素分類の例を示す。図１６で、フレーム８から１０までの前景オブジェクトの移動はやや小さいため、背景減算モジュール１１２は、頭の画素の部分だけを前景画素として分類し、一方、体の画素は初めの１０個のフレームの間、静的である。
【００９５】
画素単位の分類処理を実行するために、背景減算モジュール１１２は背景モデルを応用する。特に、背景減算モジュール１１２は、画素輝度（例えば、Ｋ＝５）をモデル形成するために、Ｋガウス分布の混合を適合させ、各ガウスは、それにより観察された背景を説明する周波数に従って重みづけされる。したがって、前景領域内の一定の画素が時間ｔの時点で輝度Ｘｔを有する確率は、
【数６】
【００９６】
として推定され、ｗｉ，ｔは、正規化された重みμｉであり、σｉは第ｉ番目の分布の平均値かつ標準偏移である。
【００９７】
各画素変化の混合モデルのパラメータとして、背景減算モジュール１１２は、混合のどのガウスが背景処理によって生み出される可能性が最も高いかを判断する。発見的情報に基づいて、背景減算モジュール１１２は、最もサポートする証拠と最小の分散とを有するガウス分布を選択する。Ｋ分布がｗ／σの値に基づいて順序づけられるのはこの理由からである。モデルのこの順序づけは、効果的に順序づけられたリストであり、最も可能性のある背景分布は上にとどまり、可能性の低い過渡背景分布は下に引き付けられる。背景減算モジュール１１２は、下に提示された方程式（６）に基づいて、最も可能性のある分布モデルを発見することができる。
【数７】
【００９８】
しきい値Ｔは、背景に与えられたわずかな総重みである。
【００９９】
次いで、背景減算モジュール１１２は、整合が発見されるまで、既存のＫガウス分布に対して新しい画素をチェックする。背景減算モジュール１１２は、分布の平均値と新しい画素値の間の距離が、分布の２．５平均偏移内である場合、整合を発見する。Ｋ分布のいずれも現在の画素値と整合しない場合、ｗ／σの最も小さい値を有する、可能性が最も低い分布は、平均値として現在の新しい画素値と、当初の高い分散と、低い先行重みとを有する新しい分布と取り替えられる。一般に、新しい画素値は、Ｋガウス分布の混合モデルの主な成分のうちの１つによって常に表されることが可能である。この整合された分布がＢ背景分布のうちの１つである場合、新しい画素は背景として印される。そうでない場合、画素は前景として印される。
【０１００】
混合モデルをアダプティブに維持するために、背景減算モジュール１１２は、新しい画素値を用いてモデルパラメータを連続的に更新する。整合されたガウス分布の場合、背景減算モジュール１１２は、この新しい画素値Ｘｉを用いて時間ｔですべてのパラメータを更新する。加えて、背景減算モジュール１１２は、先行重みを、
【数８】
【０１０１】
として更新し、平均値と分散とは、
【数９】
【数１０】
【０１０２】
として更新され、αは学習レート制御適合速度であり、１／αは変化を決定する時間定数を定義し、ρは、学習レートαによって基準化された現在の画素に関連する確率性である。したがって、ρは、
【数１１】
【０１０３】
によって表されることが可能である。整合されない分布の場合、平均値μｔと分散σｔとは、依然として変化せず、一方、背景減算モジュール１１２は先行重みを、
【数１２】
【０１０４】
として更新する。
【０１０５】
この更新方法の１つの利点は、背景減算モジュール１１２が、オブジェクトが背景の一部になることを可能にする場合、元の背景モデルが破棄されないことである。すなわち、元の背景分布は、可能性が最も低い分散になり、新しい色が観察されるまで混合の形で残る。したがって、この静的オブジェクトが偶然再び移動する場合、背景減算モジュール１１２は、これまでの背景分布をモデルに迅速に再度組み込むことになる。
【０１０６】
背景減算モジュール１１２が移動画素を前景画素として分類すると、領域セグメンテーションモジュール１１４は、ビデオフレームの移動前景領域を生み出すために、前景画素に対してスプリット・併合領域増大を実行することが可能である。このようにして、分類された前景画素は、領域増大手法から取得された領域を併合するために、かつそれにより前景領域を形成するために使用される。特に、スプリット・併合増大技術を用いた背景減算の結果として生じた移動前景領域をフュージングすることによって、前景オブジェクトの移動領域が取得され得る。
【０１０７】
前景画素を検出して、移動前景領域を生み出すことは、モード間セグメンテーション処理の頑強さを高めて、ＲＯＩ特徴検出の性能を加速する可能性がある。ＲＯＩ特徴に関する探索は、移動前景領域とこれまでのフレームの顔面によって形成された前景領域とを含めて、組み合わされた前景領域に限定され得る。図１７は、「母と娘」ビデオシーケンスのビデオフレームの背景範囲から抽出された移動前景領域を例示する。
【０１０８】
ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、モード間セグメンテーション処理を完了するために、上で説明されたモード内セグメンテーションを実行するために使用されたのと実質的に類似の技術を使用することが可能である。例えば、ＲＯＩ特徴検出器１００は、移動前景領域によって形成された組み合わされた前景領域内の顔面および顔の特徴と、これまでのフレーム内の顔面および顔の特徴の位置とを検出する。このようにして、背景減算モジュール１１２は、ビデオフレーム全体内でＲＯＩ特徴検出を実行することの計算処理上の複雑性を低減する。オブジェクトフュージングモジュール１１８は、次いで、出力画像を形成するために前景オブジェクトを併合する。ＲＯＩオブジェクトセグメンテーションモジュール１４は、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る。
【０１０９】
例示された実施形態では、新しい顔または新しい顔の特徴はビデオシーケンスの間に導入されない。したがって、ＲＯＩオブジェクトセグメンテーションシステム１４は、ＲＯＩ特徴検出器１０４とオブジェクト形状概算モジュール１１０の間で拡張する破線によって表示されるように、モード間セグメンテーションを実行する場合、特徴検証モジュール１０８と、複数の顔分離モジュール１０８とを省略することができる。特に、これまでのフレーム内のオブジェクトがかなりの移動を提示しないことを意味する、検出された顔の特徴がこれまでのフレーム内の特徴に近接して配置される場合、現在のフレームのオブジェクトは、特徴検証モジュール１０６および複数の顔分離モジュール１０８の機能を応用する必要なしに、オブジェクト形状概算モジュール１１０とオブジェクト生成モジュール１１６とを使用して迅速に生成され得る。
【０１１０】
その他の点では、新しい顔または新しい顔の特徴が導入される場合、処理全体が応用される。すなわち、特徴検証モジュール１０６と、複数の顔分離モジュール１０８と、オブジェクト形状概算モジュール１１０と、オブジェクト生成モジュール１１６とが応用される。オブジェクト生成モジュール１１６では、連結された移動前景領域は同種の領域として処理される。オブジェクトフュージングモジュール１１８は、出力画像を形成するために、前景オブジェクトを併合する。ＲＯＩオブジェクトセグメンテーションシステム１４は、セグメンテーションされたフレームのビデオをマルチメディアアプリケーション１８に送る。
【０１１１】
顔面および顔の特徴検出器１００は、モード間セグメンテーションの間、ビデオフレーム内の追加のＲＯＩ特徴を検出することが可能である。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、新たに検出された顔の特徴を検証するために、特徴検証モジュール１０６を使用することができる。加えて、システム１４は、ビデオフレーム内に含まれた新しい顔に関して、複数の顔分離モジュール１０８と、その後に続く、オブジェクト形状概算モジュール１１０と、オブジェクト生成モジュール１１６とを使用することができる。
【０１１２】
図１８は、モード間セグメンテーションを実行するＲＯＩオブジェクトセグメンテーションシステム１４の動作を例示する流れ図である。動作は、本明細書で、図１５で例示されたＲＯＩオブジェクトセグメンテーションシステム１４を参照して説明され、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２からビデオシーケンスのフレームを受信して、ビデオメモリ１６からビデオシーケンスのこれまでのフレームを取り出す（１２０）。モード間セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、現在のフレームとビデオシーケンスのこれまでのフレームの間のＲＯＩオブジェクトに関する動作情報に基づいてビデオシーケンスのフレームを処理する。いくつかの実施形態では、ＲＯＩオブジェクトセグメンテーションシステム１４は、あるいはまたは加えて、後続のビデオフレームに関するＲＯＩオブジェクト動作を表示する動作情報を使用する。
【０１１３】
背景減算モジュール１１２は、これまでのフレームと現在のフレームの間のＲＯＩオブジェクト内の移動画素を前景画素として分類するために、受信されたビデオフレームに対して背景減算を実行する（１２２）。背景減算モジュール１１２は、現在のフレームのどの画素がこれまでのフレーム内のそれらのこれまでの位置から移動したかを決定するために、画素単位の分類処理を行う。背景減算モジュール１１２が移動画素を前景画素として分類すると、領域セグメンテーションモジュール１１４は、ビデオフレームの移動前景領域を生み出すために、前景画素に対してスプリット・併合領域増大を実行することができる（１２４）。
【０１１４】
ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、モード間セグメンテーション処理を完了するために、上で説明されたモード内セグメンテーションを実行するために使用されたのと実質的に類似の技術を使用することが可能である。ＲＯＩ特徴検出器１０４は、移動前景領域およびこれまでのフレームからの顔面位置の両方を含む領域内、すなわち、組み合わされた前景領域内の顔面を検出する（１２６）。さらに、ＲＯＩ特徴検出器１０４は、移動前景領域を含めて、組み合わされた前景領域内の顔の特徴（例えば、目および口の候補）を検出し、これまでのフレーム内で顔の特徴位置を検出する（１２８）。
【０１１５】
ＲＯＩ特徴検出器１０４によって検出された顔の特徴がこれまでのフレーム内で検出された顔の特徴に近接して配置される（１３０）場合、これまでのフレーム内のオブジェクトはかなりの移動を提示しない。この場合、現在のフレームのオブジェクトは、特徴検証モジュール１０６（１３２）および複数の顔分離モジュール１０８（１３４）の機能を省略すると同時に、オブジェクト形状概算モジュール１１０（１３６）とオブジェクト生成モジュール１１６（１３８）とを使用することによって迅速に生成され得る。
【０１１６】
その他の点では、ＲＯＩ特徴検出器１０４によって検出された顔の特徴が、これまでのフレーム内で検出された顔の特徴に近接して配置されない場合、これまでのフレーム内のオブジェクトはかなり移動した。この場合、処理全体が応用される。特に、特徴検証モジュール１０６は検出された特徴を検証して（１３２）、複数の顔分離モジュール１０８は顔の分離を実行する（１３４）。次いで、オブジェクト形状概算モジュール１１０（１３６）と、その後に続くオブジェクト生成モジュール１１６（１３８）とが応用される。オブジェクト生成モジュール１１６で、連結された移動前景領域は、オブジェクトを生成する（１３８）ために同種の領域として処理される。オブジェクトフュージングモジュール１１８は、次いで、出力画像を形成するために前景オブジェクトを併合する（１４０）。ＲＯＩオブジェクトセグメンテーションシステム１４は、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る（１４２）。
【０１１７】
本明細書で説明された技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。ソフトウェアで実施される場合、技術は、実行された場合、上で説明された方法の１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読媒体によって一部実施され得る。この場合、コンピュータ可読媒体は、同時ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気データ記憶媒体または光データ記憶媒体など、ランダムアクセスメモリ（ＲＡＭ）を備え得る。
【０１１８】
プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定アプリケーション向け集積回路（ＡＳＩＣ）、フィールドプログラム可能論理アレイ（ＦＰＧＡ）、または等価の集積論理回路または離散的論理回路のその他の組合せによって実施され得るプログラム可能プロセッサによって実施されることが可能である。いくつかの実施形態では、本明細書で説明される機能性は、自動オブジェクトセグメンテーションのために構成された専用のソフトウェアモジュール内もしくはハードウェア装置内で提供されること、または自動オブジェクトセグメンテーションシステム内に組み込まれることが可能である。
【０１１９】
この開示では、ビデオシーケンスからのＲＯＩオブジェクトの自動セグメンテーションのための様々な技術が説明された。ＲＯＩオブジェクトセグメンテーションシステムは、ＶＴアプリケーション、ビデオストリーミングアプリケーション、またはビデオ監視用となど、マルチメディアアプリケーションでの使用のために正確にセグメンテーションされたＲＯＩオブジェクトを提供する目的で、開示された技術のうちの１つまたは複数を個々にまたは組み合わせて実施することが可能である。
【０１２０】
開示された技術は、ＲＯＩ特徴検出と、領域セグメンテーションと、背景減算とを含む混成技術を含む。開示された技術は、モード内およびモード間のオブジェクトセグメンテーションを含み得る。モード間セグメンテーションは、ＲＯＩオブジェクトセグメンテーションシステムの実行を加速するために、通常の計算処理上集中的な動作推定演算の代わりに、背景モデル形成と減算とを使用することによって、ビデオシーケンスの連続するビデオフレームの時間的相関性を活かす。開示された技術はまた、ＲＯＩオブジェクトセグメンテーションシステムによるモード内セグメンテーションの性能を加速するために、顔の特徴検証、複数の顔分離、およびＲＯＩオブジェクトセグメンテーションも含む。これらのおよびその他の実施形態は、特許請求の範囲の範囲内である。
【図面の簡単な説明】
【０１２１】
【図１】ビデオシーケンスからのＲＯＩビデオオブジェクトの自動セグメンテーションのための技術を実施する関心領域（ＲＯＩ）オブジェクトセグメンテーションシステムを例示するブロック図。
【図２Ａ】ビデオシーケンスのビデオフレーム内のＲＯＩオブジェクトおよび非ＲＯＩオブジェクトの定義を例示するブロック図。
【図２Ｂ】ビデオシーケンスのビデオフレーム内のＲＯＩオブジェクトおよび非ＲＯＩオブジェクトの定義を例示するブロック図。
【図３】ビデオシーケンスのＲＯＩオブジェクト内に提示されるオブジェクトに関してオブジェクト移動／回転、および形状変形の変化を例示する図。
【図４】ビデオシーケンスのＲＯＩオブジェクト内の人物に関して顔の表情の変更を例示する図。
【図５Ａ】図１からのＲＯＩオブジェクトセグメンテーションシステムの例示的な動作を示す流れ図。
【図５Ｂ】図５Ａからのセグメンテーションモード決定をより詳細に例示する流れ図。
【図６】ビデオ源から受信されたビデオシーケンスのフレームに関してモード内セグメンテーションを実行する場合のＲＯＩオブジェクトセグメンテーションシステムを例示するブロック図。
【図７】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図８Ａ】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図８Ｂ】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図９】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１０Ａ】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１０Ｂ】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１０Ｃ】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１１】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１２】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１３】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１４】モード内セグメンテーションを実行するＲＯＩオブジェクトセグメンテーションシステムの動作を例示する流れ図。
【図１５】ビデオ源から受信されたビデオシーケンスのフレームに対してモード間セグメンテーションを実行する場合のＲＯＩオブジェクトセグメンテーションシステムを例示するブロック図。
【図１６】モード間セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１７】モード間セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１８】モード間セグメンテーションを実行するＲＯＩオブジェクトセグメンテーションシステムの動作を例示する流れ図。
【技術分野】
【０００１】
本開示は、ビデオオブジェクト（video object）セグメンテーションに関し、より詳細には、マルチメディアアプリケーションのためのビデオシーケンスからの関心領域（ＲＯＩ）ビデオオブジェクトの自動セグメンテーションのための技術に関する。
【背景技術】
【０００２】
自動関心領域（ＲＯＩ）ビデオオブジェクトセグメンテーションは、ビデオシーケンスを利用する幅広いマルチメディアアプリケーションにとって有用であり得る。ＲＯＩオブジェクトは、ビデオフレーム内の「前景」オブジェクトと呼ばれる場合があり、非ＲＯＩ範囲は、ビデオフレーム内の「背景」範囲と呼ばれる場合がある。ＲＯＩオブジェクトセグメンテーションは、ビューアにとって関心あるものであり得るビデオシーケンスの選択された前景オブジェクトがビデオシーケンスの背景から抽出されることを可能にする。マルチメディアアプリケーションは、その場合、ビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトを優先的に利用することができる。ＲＯＩオブジェクトの典型的な例は、人の顔または頭、および人体の肩の範囲である。
【０００３】
例えば、ビデオ監視アプリケーションでは、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、顔のデータベースシステム内へのインプットであり得る。顔のデータベースシステムは、データベース内に記憶された目標顔オブジェクトに正確に整合させるために、セグメンテーションされたＲＯＩオブジェクト（例えば、人の顔）を使用することができる。警察は、監視ビデオシーケンスから容疑者を識別するために、ＲＯＩオブジェクトセグメンテーションのこの応用例を利用することができる。
【０００４】
もう１つの例として、ビデオ電話（ＶＴ）アプリケーションでは、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、ビデオシーケンス符号器内へのインプットであり得る。ビデオシーケンス符号器は、受信者への伝送のために、より高い品質を用いてＲＯＩを符号化する目的で、より多くのリソースをセグメンテーションされたＲＯＩオブジェクトに割り当てることが可能である。ＶＴアプリケーションは、テレビ会議などのアプリケーションをサポートするために、ユーザがビデオおよび音声の情報を共有することを可能にする。ＶＴシステムでは、ユーザはビデオ情報を送ることおよび受信すること、単にビデオ情報を受信すること、または単にビデオ情報を送ることが可能である。受信者は、一般に、送信者から送信された形式で受信されたビデオ情報を閲覧する。セグメンテーションされたＲＯＩオブジェクトの優先的な符号化により、受信者は、ビデオシーケンスの非ＲＯＩ範囲よりも、より明確にＲＯＩオブジェクトを閲覧することが可能である。
【０００５】
その他の例は、人物が、生放送もしくは事前記録されたニュース放送または娯楽放送など、情報ビデオを提示するビデオ放送アプリケーションを含む。かかるアプリケーションでは、取材記者またはトークショーの司会者など、司会者の顔に対応するＲＯＩオブジェクトを優先的に符号化することが所望される可能性がある。
【０００６】
自動ＲＯＩオブジェクトセグメンテーションは、一般に、動作（motion）分析、動作セグメンテーション、および領域セグメンテーションに重点を置く。１つの事例では、統計的なモデルベースのオブジェクトセグメンテーションアルゴリズムは、ＲＯＩオブジェクトをブラブベースの統計的な領域モデルと形状モデルとに切り離す（abstracts）。したがって、ＲＯＩオブジェクトセグメンテーション問題は、モデル検出およびトラッキング問題に変換され得る。もう１つの事例では、前景オブジェクトは、ステレオカメラセットアップからの２つのビューの間の不整合推定に基づいて、ビデオフレームから抽出されることが可能である。別の事例は、領域ベースのセグメンテーション手法および特徴ベースのセグメンテーション手法の両方を含むＲＯＩオブジェクトセグメンテーションアルゴリズムを提案する。アルゴリズムは、動作、色、およびテクスチャの特徴に関して同種のオブジェクト領域を表すために領域記述子を使用して、ビデオシーケンスの全域でそれらの領域記述子を追跡する。
【発明の開示】
【発明の概要】
【０００７】
本開示は、ビデオシーケンスからの関心領域（ＲＯＩ）ビデオオブジェクトの自動セグメンテーションのための技術に関する。ＲＯＩオブジェクトセグメンテーションは、ビデオシーケンスの非ＲＯＩ、すなわち「背景」範囲から、ビデオシーケンスの選択されたＲＯＩ、すなわち「前景」オブジェクトが抽出されることを可能にする。ＲＯＩオブジェクトの例は、人の顔または頭、および人体の肩の範囲である。開示された技術は、ＲＯＩ特徴検出と、領域セグメンテーションと、背景減算とを組み合わせる混成技術を含む。このようにして、開示された技術は、正確な前景オブジェクトの生成と、ビデオシーケンスからの前景オブジェクトの低複雑性の抽出とを提供することができる。
【０００８】
開示された技術はまた、対称位置特性および形状特性など、顔の特徴の固有の属性に基づいて、ビデオシーケンスのビデオフレーム内で検出された顔の特徴の検証のための技術も含む。加えて、開示された技術は、ビデオシーケンスのビデオフレーム内の複数の個々の顔に関して検出された顔の特徴の分離のための技術を含む。本明細書で説明されるように、複数の顔の分離技術は、計算処理上の複雑性を指数関数的なものから多項式的なものに低減する最大整合方式問題（maximum matching scheme problem）にマップされ得る。このようにして、これらの技術は、ビデオシーケンスのフレーム内の各顔に関して正確な特徴検出を提供する。
【０００９】
ＲＯＩオブジェクトセグメンテーションシステムは、例えば、本明細書で説明される技術を実施することができる。ＲＯＩオブジェクトセグメンテーションシステムは、モード内セグメンテーションとモード間セグメンテーションとをサポートする。モード内セグメンテーションは、ＲＯＩオブジェクト動作情報を使用せずに、ビデオシーケンス内のその他のフレームから独立してビデオシーケンスのフレームを処理する。モード間セグメンテーションは、現在のフレームとビデオシーケンスのこれまでのフレームまたは後続のフレームとの間の動作を表示するＲＯＩオブジェクトに関する動作情報に基づいて、ビデオ気シーケンスのフレームを処理する。ＲＯＩオブジェクトセグメンテーションシステムは、１つまたは複数のセグメンテーションモード決定係数に基づいて、受信されたフレームに対して、モード内セグメンテーションを実行するか、またはモード間セグメンテーションを実行するかを決定することができる。
【００１０】
開示された技術は、フレーム全体内の候補領域のセットから、ＲＯＩオブジェクト形状内に配置されたビデオフレームの定義された領域を自動的に選択することによって、モード内セグメンテーションの間の前景オブジェクトの生成のための技術をさらに含む。開示された技術はまた、背景モデル形成と減算とに基づいて、モード間セグメンテーションの間、前景オブジェクト内の移動領域を検出するための技術も含む。移動前景領域を首尾よく検出することは、モード間セグメンテーションの間、ＲＯＩ特徴検出の性能速度を改善する可能性がある。
【００１１】
一実施形態では、開示は、ビデオシーケンスのビデオフレームを受信することと、ビデオシーケンス内の異なるビデオフレームに対する移動を表す、ビデオフレームの移動前景領域を識別することと、移動前景領域と異なるビデオフレームの前景領域とに対応する、ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出することと、検出されたＲＯＩ特徴に基づいて、ビデオフレーム内のＲＯＩオブジェクトの形状を概算することとを備える方法を提供する。
【００１２】
もう１つの実施形態では、開示は、プログラム可能プロセッサに、ビデオシーケンスのビデオフレームを受信させ、ビデオシーケンス内の異なるビデオフレームに対する移動を表す、ビデオフレームの移動前景領域を識別させ、移動前景領域と異なるビデオフレームの前景領域とに対応する、ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出させ、検出されたＲＯＩ特徴に基づいて、ビデオフレーム内のＲＯＩオブジェクトの形状を概算させる命令を備えるコンピュータ可読媒体を提供する。
【００１３】
追加の実施形態では、開示は、ビデオシーケンス内のビデオフレームを受信し、ビデオシーケンス内の異なるビデオフレームに対する移動を表す、ビデオフレームの移動前景領域を識別し、移動前景領域と異なるビデオフレームの前景領域とに対応する、ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出し、検出されたＲＯＩ特徴に基づいて、ビデオフレーム内のＲＯＩオブジェクトの形状を概算するようにプログラムされたプロセッサを備えるシステムを提供する。
【００１４】
本明細書で説明される技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。ソフトウェアで実施される場合、技術は、単一のプロセッサまたはプロセッサの任意の組合せを含めて、プログラム可能プロセッサによって実行された場合、本明細書で開示される方法の１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読媒体によって一部実施され得る。
【００１５】
１つまたは複数の実施形態の詳細は、添付の図面および下の説明で記載される。その他の特徴機能、オブジェクト、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになるであろう。
【詳細な説明】
【００１６】
図１は、ビデオシーケンスからのＲＯＩビデオオブジェクトの自動セグメンテーションのための技術を実施する関心領域（ＲＯＩ）オブジェクトセグメンテーションシステム１４を例示するブロック図である。ＲＯＩオブジェクトセグメンテーションは、ビデオ電話（ＶＴ）アプリケーションおよびビデオ監視アプリケーションなど、ビデオシーケンスを利用する幅広いマルチメディアアプリケーションで有用であり得る。
【００１７】
例えば、ビデオ監視アプリケーションでは、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、顔のデータベースシステム内へのインプットであり得る。顔のデータベースシステムは、データベース内に記憶された目標顔オブジェクトに正確に整合させるために、セグメンテーションされたＲＯＩオブジェクト（例えば、人の顔）を使用することができる。
【００１８】
もう１つの例として、ＶＴアプリケーションでは、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、ビデオシーケンス符号器内へのインプットであり得る。ビデオシーケンス符号器は、受信者への伝送のために、より高い品質を用いてＲＯＩを符号化する目的で、セグメンテーションされたＲＯＩオブジェクトにより多くのリソースを割り当てることが可能である。
【００１９】
その他の例は、人物が、生放送もしくは事前記録されたニュース放送または娯楽放送など、情報ビデオを提示するビデオ放送アプリケーションを含む。かかるアプリケーションでは、取材記者またはトークショーの司会者など、司会者の顔に対応するＲＯＩオブジェクトを優先的に符号化することが所望される可能性がある。
【００２０】
図１で示されるように、システム１４は、ビデオ源１２からビデオシーケンスを受信する。ビデオ源１２は、カメラなど、ビデオシーケンスを取得するビデオ捕捉装置、または事前記録されたビデオシーケンスを記憶するビデオアーカイブ（archive）であり得る。システム１４は、受信されたビデオシーケンスからＲＯＩオブジェクトを自動的にセグメンテーションする。ＲＯＩオブジェクトセグメンテーションシステム１４は、ＲＯＩオブジェクトセグメンテーション処理の間に、ビデオ源１２から取得されたビデオシーケンスのビデオフレームをビデオメモリ１６内に記憶する。ビデオシーケンスの各フレームが処理された後、システム１４は、セグメンテーションされたビデオフレームの出力画像をマルチメディアアプリケーション１８に送る。
【００２１】
例えば、ＲＯＩオブジェクトは、人の顔または頭、および人体の肩の範囲を備え得る。ＲＯＩオブジェクトは、ビデオフレーム内の「前景」オブジェクトと呼ばれる場合があり、非ＲＯＩ範囲は、ビデオフレーム内の「背景」範囲と呼ばれる場合がある。ＲＯＩオブジェクトセグメンテーションシステム１４は、マルチメディアアプリケーション１８のユーザにとって関心あるものであり得るビデオシーケンス内のフレームの１つまたは複数の選択された前景オブジェクトをビデオシーケンスの背景範囲から抽出する。マルチメディアアプリケーション１８は、ビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトを優先的に利用することができる。一実施形態では、マルチメディアアプリケーション１８は、顔のデータベースシステムを組み込んだビデオ監視アプリケーションを備え得る。もう１つの実施形態では、マルチメディアアプリケーション１８は、ＲＯＩ動作可能にされたビデオ符号器・復号器（ＣＯＤＥＣ）を組み込んだ、ビデオ電話（ＶＴ）アプリケーションを備え得る。
【００２２】
マルチメディアアプリケーション１８が、ビデオ監視アプリケーションを備える実施形態では、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、顔のデータベースシステム内へのインプットであり得る。この場合、ビデオ源１２は、監視カメラからの事前記録されたビデオシーケンスを記憶するビデオアーカイブであり得る。顔のデータベースシステムは、データベース内に記憶された目標顔オブジェクトに正確に整合させるために、セグメンテーションされたＲＯＩオブジェクト（例えば、人の顔）を使用することができる。警察は、監視ビデオシーケンスから容疑者を識別するために、顔のデータベースシステムを有するＲＯＩオブジェクトセグメンテーションシステム１４を利用することができる。
【００２３】
マルチメディアアプリケーション１８がＶＴアプリケーションを備える実施形態では、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、ＲＯＩ動作可能にされたビデオ符号器内へのインプットであり得る。ＶＴアプリケーションは、テレビ会議などのアプリケーションをサポートするために、ユーザがビデオおよび音声の情報を共有することを可能にする。ＶＴシステムでは、ユーザはビデオ情報を送ることおよび受信すること、単にビデオ情報を受信すること、または単にビデオ情報を送ることが可能である。この場合、ビデオ源１２は、カメラなど、ビデオシーケンスを取得するビデオ捕捉装置であり得る。例えば、ビデオ源１２は、もう１つの通信装置とビデオ電話に参加することが可能な通信装置内に含まれたビデオカメラを備え得る。
【００２４】
ＲＯＩ動作可能にされたビデオ符号器は、有線または無線の通信をサポートするために適切な送信電子工学、受信電信工学、モデム電信工学、および処理電子工学をさらに含む通信装置内に常駐し得る。例えば、ＲＯＩ動作可能にされたビデオ符号器は、その他の端末と通信するために装備された無線移動体端末内または有線端末内に常駐し得る。無線移動体端末の例は、移動体無線電話、移動体パーソナルデジタルアシスタント（ＰＤＡ）、移動体コンピュータ、または無線通信能力とビデオ符号化能力および／または復号化能力とを備えたその他の移動体装置を含む。例えば、ＲＯＩ動作可能にされたビデオ符号器は、ＶＴアプリケーションで使用される、いわゆる、カメラ電話内またはビデオ電話内に常駐し得る。有線端末の例は、デスクトップコンピュータ、ビデオ電話、ネットワーク装置、セットトップボックス、インタラクティブテレビなどを含む。
【００２５】
ＲＯＩ動作可能にされたビデオ符号器は、ＲＯＩオブジェクトセグメンテーションシステム１４から受信された出力画像内に含まれた、セグメンテーションされたＲＯＩオブジェクトを優先的に符号化することができる。例えば、ＲＯＩ動作可能にされたビデオ符号器は、追加のコーディングビットをビデオフレームのＲＯＩオブジェクトに割り当て、減じられた数のコーディングビットをビデオフレームの非ＲＯＩ領域に割り当てることができる。移動体アプリケーションでは、特に、ビデオフレームを符号化するために利用可能な符号化ビットの量は、少なく、かつ無線チャネル条件に従って変化する可能性がある。したがって、ＲＯＩオブジェクトへのコーディングビットの優先的な割当ては、適用可能なビットレート要件に効率的に準拠すると同時に、ＲＯＩオブジェクトの視覚的品質を改善するのに役立つ可能性がある。したがって、ＲＯＩオブジェクトの優先的な符号化により、受信者は、ビデオシーケンスの非ＲＯＩ領域よりも、より明確にＲＯＩオブジェクトを閲覧することが可能である。符号化されたビデオフレームは、次いで、有線または無線の通信チャネル上でもう１つの通信装置に送信されることが可能である。
【００２６】
上で説明されたように、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスからのＲＯＩビデオオブジェクトの自動セグメンテーションのための技術を実施することが可能である。開示された技術は、ビデオシーケンスのビデオフレーム内のＲＯＩ特徴（すなわち、顔面および顔の特徴）を検出することと、ビデオフレームを複数の候補領域にセグメンテーションすることと、ビデオフレームおよびビデオシーケンスのこれまでのビデオフレームに基づいて、背景（非ＲＯＩ）減算を実行することとを組み合わせる混成技術を含む。このようにして、開示された技術は、正確な前景（ＲＯＩ）オブジェクトの生成と、ビデオシーケンス内のフレームからの前景オブジェクトの低複雑性の抽出とを提供することができる。
【００２７】
開示された技術はまた、対称位置特性および形状特性など、顔の特徴の固有の属性に基づいて、ビデオシーケンスのビデオフレーム内で検出された顔の特徴の検証のための技術も含む。加えて、開示された技術は、ビデオシーケンスのビデオフレーム内の複数の個々の顔に関して検出された顔の特徴の分離のための技術を含む。本明細書で説明されるように、複数の顔の分離技術は、計算処理上の複雑性を指数関数的なものから多項式的なものに低減する最大整合方式問題にマップされ得る。このようにして、これらの技術は、低減された処理要件により、ビデオシーケンスのフレーム内の各顔に関して正確な特徴検出を提供する。
【００２８】
ＲＯＩオブジェクトセグメンテーションシステム１４は、セグメンテーションの複数の（例えば、２つの）モード、すなわち、モード内とモード間とをサポートする。モード内セグメンテーションは、ビデオシーケンス内のその他のフレームから独立してビデオシーケンスのフレームを処理する。この場合、ＲＯＩオブジェクト動作情報は使用されない。モード内セグメンテーションは、第１の、高複雑性のセグメンテーションモードである。モード間セグメンテーションは、これまでのフレーム情報または後続のフレーム情報に基づいて、ビデオシーケンスのフレームを処理し、一般に、より低い複雑性のセグメンテーションモードである、第２の、低複雑性のセグメンテーションモードである。モード間セグメンテーションは、現在のフレームとビデオシーケンスの１つまたは複数のこれまでのフレームまたは後続のフレームの間のＲＯＩオブジェクトに関する動作情報を使用する。したがって、モード間セグメンテーションは、比較的低複雑性のセグメンテーションモードである。
【００２９】
ＲＯＩオブジェクトセグメンテーションシステム１４は、１つまたは複数のセグメンテーションモード決定係数に基づいて、受信されたフレームに対して、モード内セグメンテーションを実行するか、またはモード間セグメンテーションを実行するかについて決定することができる。ビデオフレームに関する動作情報の参照を伴わないビデオフレームからのＲＯＩオブジェクトのセグメンテーション、すなわち、モード内セグメンテーションは、高複雑性のセグメンテーションモードが選択された場合に応用される。ビデオフレームおよびビデオシーケンスの異なるビデオフレームに関する動作情報に基づくビデオフレームからのＲＯＩオブジェクトのセグメンテーションは、低複雑性のセグメンテーションモードが選択された場合に応用される。
【００３０】
開示された技術は、フレーム全体の候補領域のセットから、ＲＯＩオブジェクト形状内に配置されたビデオフレームの定義された領域を自動的に選択することによって、モード内セグメンテーションの間の前景オブジェクトの生成のための技術をさらに含む。開示された技術はまた、背景モデル形成と減算とに基づいて、モード間セグメンテーションの間、前景オブジェクト内の移動領域を検出するための技術も含む。移動前景領域を首尾よく検出することは、モード間セグメンテーションの間、ＲＯＩ特徴検出の性能速度を改善する可能性がある。背景モデル形成および減算技術は、雑音と移動背景領域とに関して頑強である。技術はまた、計算処理上集中的な動作推定演算（computationally intensive motion estimation operations）を用いる移動オブジェクトセグメンテーション手法よりも、実質的により効率的である。
【００３１】
モード内セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、まず、ビデオフレーム内の顔面を検出し、次いで、人の目および口など、顔面内の顔の特徴を検出する。システム１４は、次いで、擬似の顔の特徴検出を除去するために、人の顔の特徴の幾何学的属性と形状特性とに基づいて特徴検証を実行する。その後、システム１４は、フレームが２つ以上の人の顔を含むかどうかを判断して、検出された顔の特徴を個々の顔に関するグループに分離する。顔の特徴の幾何学的位置およびＲＯＩ幾何モデルに基づいて、ＲＯＩオブジェクトが概算される。例えば、ＲＯＩ幾何モデルは、人の頭および肩の幾何学モデルを備え得る。
【００３２】
システム１４は、候補領域のセットを生成するためにビデオフレームに対して領域増大（region growing）を実行する。システム１４は、次いで、フレーム全体向けの候補領域のセットから、結果として生じるＲＯＩオブジェクト形状内に配置された領域を選択することによって前景オブジェクトを生成する。システム１４は、次いで、２個以上の前景オブジェクトが存在するかどうかを判断して、出力画像向けの組み合わされた前景オブジェクトを形成するために、複数の前景オブジェクトを一緒に併合する。複数の前景オブジェクトを併合すると、適用可能である場合、システム１４は、例えば、監視アプリケーションでの個人識別検出またはＶＴアプリケーションでの優先的な符号化のために、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る。
【００３３】
モード間セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスの連続するビデオフレームの時間的相関性を活かすために、背景モデル形成および減算技術を使用する。このようにして、本明細書で説明される技術は、拡張された効率を提供する。システム１４は、現在のフレームとこれまでのフレームの間のＲＯＩオブジェクト内の移動画素を前景画素として分類する。システム１４は、次いで、前景画素に基づいて、移動前景領域を生成する。システム１４は、次いで、移動前景領域内のＲＯＩ特徴と、これまでのフレーム内の顔面および顔の特徴位置とを検出することができる。このようにして、システム１４は、ビデオシーケンスの各フレームのための領域セグメンテーションを実行することの計算処理上の複雑性を低減する。システム１４は、次いで、出力画像に移動前景領域をこれまでのフレームの前景オブジェクトと併合し、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る。
【００３４】
ＲＯＩオブジェクトセグメンテーションシステム１４は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。例えば、ＲＯＩオブジェクトセグメンテーションシステム１４の様々な態様は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、マイクロプロセッサ、特定アプリケーション向け集積回路（ＡＳＩＣ）、フィールドプログラム可能な論理アレイ（ＦＰＧＡ）、または任意のその他の等価の集積論理回路または離散的論理回路、ならびにかかる成分の任意の組合せの範囲内で実施され得る。用語「プロセッサ」は、一般に、単独でまたはその他の論理回路との組合せで、前述の論理回路のいずれかを指す場合があり、かかるプロセッサの１つまたは複数を指す場合がある。ソフトウェアで実施された場合、ＲＯＩオブジェクトセグメンテーションシステム１４に帰される機能性は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能でプログラム可能な読取り専用メモリ（electrically erasable programmable read-only memory）（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気媒体、光媒体など、コンピュータ可読媒体上の命令として実施され得る。命令は、本開示で説明される機能性の１つまたは複数の態様をサポートするために実行される。
【００３５】
図２Ａおよび２Ｂは、ビデオシーケンスのビデオフレーム２２内のＲＯＩオブジェクト２４および非ＲＯＩ領域２５の定義を例示するブロック図である。図２Ｂの例では、ＲＯＩオブジェクトは頭および肩のＲＯＩオブジェクト２４として示される。その他の実施形態では、ＲＯＩオブジェクトは、長方形のＲＯＩオブジェクトまたは曲線的なもしくは不規則な形状を有する可能性がある非長方形のＲＯＩオブジェクトを備え得る。ＲＯＩオブジェクト２４は、ビデオフレーム２２内に提示された人物の顔２６を含む。非ＲＯＩ領域２５、すなわち、背景は、図２Ｂで影によって強調表示される。
【００３６】
ＲＯＩオブジェクト２４は、図１からのＲＯＩオブジェクトセグメンテーションシステム１４によってビデオシーケンスから自動的にセグメンテーションされることが可能である。ＶＴアプリケーションの場合、通信装置は、ＲＯＩ動作可能にされた符号器を用いてＲＯＩオブジェクト２４を優先的に符号化することができる。その場合、ＲＯＩオブジェクト２４は、テレビ会議の参加者の顔２６を含む、ビデオフレーム２２の部分を包括し得る。その他の例は、ストリーミングビデオ（例えば、情報ビデオまたはニュース放送もしくは娯楽放送）内の情報を提示する人物の顔を優先的に符号化することを含む。ＲＯＩオブジェクト２４のサイズ、形状、および位置は、固定され得、または調整可能であり得、様々な方法で定義、説明または調整され得る。
【００３７】
ＲＯＩオブジェクト２４は、ビデオの送信者が、人物の顔２６など、送信されたビデオフレーム２２内の個々のオブジェクトを強調することを可能にする。逆に、ＲＯＩオブジェクト２４は、ビデオの受信者が、受信されたビデオフレーム２２内の所望されるオブジェクトをより明確に閲覧することを可能にする。いずれの場合も、ＲＯＩオブジェクト２４内の顔２６は、ビデオフレーム２２の背景領域など、非ＲＯＩ領域２５に対してより高い画像品質で符号化される。このようにして、ユーザは顔の表情、唇の動き、目の動きなどをより明確に閲覧することができる。いくつかの実施形態では、ＲＯＩオブジェクトはまた、追加のコーディングビットだけでなく、拡張された擬似検出および耐障害性（resiliency）も用いて符号化されることも可能である。
【００３８】
図３は、ビデオシーケンスのＲＯＩオブジェクト内に提示されたオブジェクトに関するオブジェクト移動／回転と、形状変形の変化を例示する。特に、図３のフレーム０および１内に描写された人物の頭は、その位置をかなり変える。図３の例では、人物の頭は、フレーム０に対してフレーム１内で傾いている。図４は、ビデオシーケンスのＲＯＩオブジェクト内の人物に関する顔の表情の変化を例示する。特に、フレーム０および１内に描写された人物の口は、かなり閉じた位置から大きく開いた位置に変化する。したがって、図３および４は、ビデオシーケンスのＲＯＩオブジェクトの大量の移動の事例を表す。
【００３９】
図５Ａは、図１からのＲＯＩオブジェクトセグメンテーションシステム１４の例示的な動作を示す流れ図である。ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスからのＲＯＩオブジェクトの自動的セグメンテーションのための技術を実施する。上で説明されたように、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスを処理するために、モード内セグメンテーションおよびモード間セグメンテーションの両方をサポートする。
【００４０】
ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２からビデオシーケンスの第１のフレームを受信する（３０）。ＲＯＩオブジェクトセグメンテーションシステム１４は、受信されたフレームに対してモード内セグメンテーションを実行する（３２）。モード内セグメンテーションは、ビデオシーケンス内のその他のフレームから独立してビデオシーケンスの現在のフレームを処理する。モード内セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ＲＯＩオブジェクト移動情報を使用しない。モード内セグメンテーションを実行する間、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスの受信されたフレームをビデオメモリ１６内に記憶する。ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る（３４）。
【００４１】
ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２からビデオシーケンスの次のフレームを受信する（３６）。システム１４は、次いで、受信されたフレームに対して、モード内セグメンテーションを実行するか、またはモード間セグメンテーションを実行するかを判断するために、モード決定を行う（３７）。モード決定は、１つまたは複数のセグメンテーションモード決定係数に基づくことが可能である。例えば、システム１４は、受信されたフレームの計算処理上の複雑性、受信されたフレームのためのセグメンテーションの所望される品質、受信されたフレームとこれまでのフレームの間の類似性の量、受信されたフレームとこれまでのフレームの間の移動活動の量、これまでのフレームのために使用されたセグメンテーションモード、および最後のモード内処理以来、セグメンテーションされたフレームの数など、セグメンテーションモード決定係数に基づいて、どのセグメンテーションモードが受信されたフレームに対して実行されるかを決定することができる。その他の実施形態では、セグメンテーションモード決定は、追加のセグメンテーションモード決定計係数に基づくことが可能である。
【００４２】
システム１４がモード内セグメンテーションを実行しないことを決定する場合（３７の「いいえ」ブランチ）、ＲＯＩオブジェクトセグメンテーションシステム１４は、これまでのフレームに基づいて、受信されたフレームに対してモード間セグメンテーションを実行する（３８）。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスのこれまでのフレームから（例えば、ビデオメモリ１６から）動作情報を取り出して、動作情報を現在のフレームとこれまでのフレームの間のＲＯＩオブジェクトのために使用する。モード間セグメンテーションを実行する間、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスの受信されたフレームをビデオメモリ１６内に記憶する。ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る（４０）。
【００４３】
ＲＯＩオブジェクトセグメンテーションシステム１４は、引き続きビデオ源１２からビデオシーケンスのフレームを受信する。システム１４がモード間セグメンテーションを実行することを決定した場合（３７の「はい」ブランチ）、ＲＯＩセグメンテーションシステム１４は、受信されたフレームに対してモード内セグメンテーションを再び実行する（３２）。したがって、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２から受信されたビデオシーケンスのフレームのいくつかに対してモード内セグメンテーションを実行して、ビデオシーケンスのその他のフレームに対してモード間セグメンテーションを実行する。
【００４４】
図５Ｂは、図５Ａからのセグメンテーションモード決定（ステップ３７）をより詳細に例示する流れ図である。ＲＯＩオブジェクトセグメンテーションシステム１４は、１つまたは複数のセグメンテーションモード決定係数に基づいてセグメンテーションモード決定を行うことができる。システム１４は、受信されたフレームに対して実行するためのセグメンテーションのモードを決定するために、図５で例示されたステップの１つまたは複数を実行することができる。いくつかの実施形態では、システム１４は、ステップを個々に実行すること、または任意の順序でステップの１つまたは複数を組み合わせることが可能である。その他の実施形態では、ＲＯＩオブジェクトセグメンテーションシステム１４は、受信されたフレームに対してモード内セグメンテーションを実行するか、またはモード間セグメンテーションを実行するかを決定する場合、追加のセグメンテーションモード決定係数を考慮することができる。
【００４５】
システム１４は、受信されたフレームの計算処理上の複雑性を決定することができる（４６）。例えば、システム１４は、受信されたフレーム内に含まれたＲＯＩ特徴候補の数を決定するために受信されたフレームを調査することができる。フレームが大量のＲＯＩ特徴を含む場合、受信されたフレームは、モード間セグメンテーション処理がフレームからＲＯＩオブジェクトを正確にセグメンテーションするにはあまりにも複雑すぎる可能性がある。したがって、システム１４は、高複雑性のビデオフレームを処理するために計算処理上の複雑性が所定のレベルより高い場合、モード内セグメンテーションを実行することを決定することができる。システム１４はまた、最終利用者からセグメンテーションの所望される品質を決定することもできる（４８）。例えば、ＲＯＩセグメンテーションシステム１４を実施するビデオ通信装置の最終利用者が、受信されたビデオフレームに関して所定のレベルより高い品質のセグメンテーションを要求する場合、システム１４は、受信されたフレームに対してモード内セグメンテーションを実行することができる。逆に、最終利用者が受信されたビデオフレームに関して所定のレベル未満の品質のセグメンテーションを要求する場合、システム１４は、受信されたフレームに対してモード間セグメンテーションを実行することができる。
【００４６】
加えて、システム１４は、受信されたフレームとこれまでのフレームの間の類似性の量を決定することが可能である（５０）。例えば、システム１４は、２個のフレームのカラーヒストグラム間の類似性の量が所定のレベルより高いかどうかを判断するために、受信されたフレームをこれまでのフレームと比較することができる。２個のフレーム間の大きな色変化は、シーンの変化を表示する可能性がある。この場合、システム１４は、受信されたフレーム内の潜在的な新しいＲＯＩオブジェクトをセグメンテーションするために、モード内セグメンテーションを実行することができる。カラーヒストグラムが２個のフレーム間で依然として実質的に類似する場合、システム１４はモード間セグメンテーションを実行することができる。
【００４７】
システム１４は、受信されたフレームとこれまでのフレームの間の動作活動の量を決定することが可能である（５２）。例えば、システム１４は、フレーム内のＲＯＩオブジェクトの位置の間の移動量が所定のレベルより高いかどうかを判断するために、受信されたフレームをこれまでのフレームと比較することができる。ＲＯＩオブジェクトが、２個のフレーム内の実質的に異なる領域または位置を占有する場合、システム１４は、モード内セグメンテーションを実行することができる。ＲＯＩオブジェクトが、２個のフレーム内の実質的に同じ領域または位置を占有する場合、システム１４はモード間セグメンテーションを実行することができる。
【００４８】
上のステップで、ビデオシーケンスのＲＯＩセグメンテーション処理は、任意の順序でビデオシーケンスのビデオフレームに対して実行される任意の数のモード内セグメンテーションと任意の数のモード間セグメンテーションとを含み得る。例えば、モード内セグメンテーションは０として表されることが可能であり、モード間セグメンテーションは１として表されることが可能である。例示的なビデオシーケンスセグメンテーションにおいて、フレームのセットのモード内セグメンテーション（０）およびモード間セグメンテーション状態（１）は、００１１０１１１１０として表されることが可能である。この場合、セグメンテーションモード決定は、受信されたフレームの属性、または受信されたフレームとこれまでのフレームの間の属性に単に基づく。
【００４９】
システム１４はまた、これまでのフレームをセグメンテーションするために使用されたセグメンテーションモードに基づいて、受信されたフレームに対してどのセグメンテーションモードが実行されるかを判断することも可能である。システム１４は、これまでのフレームがモード内処理によってセグメンテーションされたかどうかを判断することができる（５４）。これまでのフレームがモード内処理によってセグメンテーションされた場合、システム１４は、受信されたフレームをモード間処理によってセグメンテーションすることを決定することができる。このステップでは、ビデオシーケンスのＲＯＩセグメンテーション処理は、モード間セグメンテーションが常にモード内セグメンテーションに続くように、ビデオシーケンスのビデオフレームに対して実行される任意の数のモード内セグメンテーションと任意の数のモード間セグメンテーションとを含み得る。例示的なビデオシーケンスセグメンテーションにおいて、フレームのセットのモード内（０）およびモード間状態（１）は、０１１０１１１１０１として表されることが可能である。この場合、セグメンテーションモード決定は、これまでのフレームのセグメンテーションモードに単に基づく。
【００５０】
さらに、システム１４は、最後のモード内セグメンテーションされたフレーム以来、セグメンテーションされたフレームの数を決定することが可能である（５６）。例えば、システム１４は、Ｎ個のフレームごとになど、周期ベースでモード内セグメンテーションを実行することを決定することができる。場合によっては、第Ｎ番目のフレームは、第１０番目のフレームを備える可能性がある。その他の実施形態では、Ｎは１０個のフレーム以上または以下であり得る。このステップでは、ビデオシーケンスのＲＯＩセグメンテーション処理は、モード内セグメンテーションが周期的に実行されるように、ビデオシーケンスのビデオフレームに対して実行される任意の数のモード内セグメンテーションと任意の数のモード間セグメンテーションとを含み得る。例示的なビデオシーケンスセグメンテーションにおいて、フレームのセットのモード内（０）およびモード間状態（１）は、０１１１０１１１０１として表されることが可能である。この場合、セグメンテーションモード決定は、第４番目のフレームごとにモード内セグメンテーションを実行することに基づく。
【００５１】
図６は、ビデオ源１２から受信されたビデオシーケンスのフレームに対してモード内セグメンテーションを実行する場合のＲＯＩオブジェクトセグメンテーションシステム１４を例示するブロック図である。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスのその他のフレームから独立して、かつ動作情報なしに、ビデオシーケンスのフレームを処理する。図７〜１３は、モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステム１４によって実施される技術の例示的な結果を示すスクリーンショットである。
【００５２】
図６内に例示された実施形態では、ビデオシーケンス１２は、クロミナンス（chrominance）ブルーチャネル（Ｃｂ）６０と、クロミナンスレッドチャネル（Ｃｒ）６１と、輝度（luminance）チャネル（Ｙ）６２とを含む。ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２から受信されたビデオシーケンスのビデオフレームから、人の頭および肩の範囲など、ＲＯＩオブジェクトを自動的にセグメンテーションするための技術を実施する。開示された技術は、モード内セグメンテーションの間、特徴ベースおよびモデルベースの検出を領域セグメンテーションと組み合わせる混成技術を含む。
【００５３】
ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２のクロミナンスブルーチャネル６０とクロミナンスレッドチャネル６１とから受信されたブルーチャネルとレッドチャネルのクロミナンス値に基づいて、ビデオフレーム内の皮膚色領域を検出する顔面検出器６４を含む。顔面検出器６４は、次いで、検出された皮膚色領域の画素を顔の画素として分類する。このようにして、顔面検出器６４は、受信されたフレーム内の顔の画素でない画素を除去することによって顔面を取得することができる。顔面が取得された後で、顔面検出器６４は、目および口の領域など、顔の特徴による顔面内の雑音およびホール（holes）を除外するために膨張および侵食の数学的な形態的演算（morphological operations）を使用する。図７は、標準「母と娘」ビデオテストシーケンスのフレームに関する迅速な顔面検出の例を示す。
【００５４】
一般に、顔面検出器６４は、ＹＣｂＣｒ色空間内に狭くかつ一貫して分布されたクロミナンス値のある種のセットの存在によって、ビデオフレーム内の皮膚色領域を識別することが可能な皮膚色マップを使用する。皮膚色マップは、異なる種類の皮膚色に対して頑強である。人類の皮膚色は、主に皮膚の黒さと白さによって異なって認識される。すなわち、皮膚色は、ＣｒまたはＣｂではなく、Ｙによって支配される色の明るさの違いによって特徴づけられる。したがって、効果のある皮膚色マップは、受信されたフレームのＣｒおよびＣｂの成分だけに基づいて実現され得る。顔面検出器６４は、受信されたビデオフレーム内の皮膚色領域を検出するために、Ｃｒ∈［１３３，１７３］およびＣｂ∈［７７，１２７］の範囲の有するＣｂＣｒ皮膚色マップを利用することが可能である。Ｃｒ範囲およびＣｂ範囲は、限定的なものと考えるべきではなく、顔面検出器６４は、異なるＣｒ範囲およびＣｂ範囲を有する皮膚色マップを利用することが可能である。
【００５５】
場合によっては、顔面検出器６４は、人の顔を排他的に取得することができない可能性がある。図７で例示されたように、フレーム内の母と娘の衣類の領域は、皮膚の色調マップによって定義されるものに類似した色調を有するようである。したがって、顔面検出器６４は、衣類の領域を誤って顔面の一部として選択する可能性がある。本明細書で説明される迅速な顔面検出ステップは、フレーム内の顔でない一部の領域を除外するが、正確な顔の領域を取得および検証するためにさらなる処理が必要とされる可能性がある。
【００５６】
システム１４は、顔面内の顔の特徴候補を検出する目検出器６６および口検出器６７と、目および口の候補から顔の特徴を選択する特徴検証モジュール６８とを含む。顔フィルタは、一般に、顔の領域の楕円形状、および顔の特徴の中の全体的な空間的関係制約など、人の顔およびそれらの特徴の一般知識に基づいて構築される。したがって、これらの顔の特徴の位置を突き止めることは、ビデオフレーム内のおよその顔の位置を導出する際に有用である。
【００５７】
目検出器６６は、顔面検出器６４によって取得された顔面内の目の特徴候補を検出する。目検出器６６は、２つの考察に基づいて目の特徴候補を検出する。第１に、目の周りのクロミナンス成分は、通常、高いＣｂ値と低いＣｒ値とを含む。したがって、目検出器６６は、下で提示される方程式（１）に基づいてフレームのクロミナンス目マップを構築することができる。
【数１】
【００５８】
クロミナンス目マップが取得されると、目検出器６６は、目の候補に関して目マップ内の最も明るい領域の位置を突き止めるために、しきい値を目マップ内の各画素のクロミナンス（Ｃ）目マップ値に応用することができる。目検出器６６は、次いで、実質的に近接した最も明るい領域を単一の目の候補に併合するために、形態的演算を応用する。図８Ａは「母と娘」ビデオテストシーケンスのフレームのクロミナンス目マップ内の目の検出の例を示す。
【００５９】
第２に、目は、通常、輝度成分内に黒い画素および明るい画素の両方を含む。したがって、目の領域の回りの輝度成分内のより明るい画素とより暗い画素とを強調するために、グレースケール形態的演算が使用され得る。目検出器６６は、下で提示される方程式（２）に基づいてフレームの輝度目マップを構築することができる。
【数２】
【００６０】
輝度目マップが取得されると、目検出器６６は、目の候補に関して目マップ内の最も明るい領域の位置を突き止めるために、しきい値を目マップ内の各画素の輝度（Ｌ）目マップ値に応用することができる。目検出器６６は、次いで、実質的に近接した最も明るい領域を単一の目の候補に併合するために、形態的演算を応用する。図８Ｂは、「母と娘」ビデオテストシーケンスのフレームの輝度目マップ内の目の検出の例を示す。
【００６１】
目検出器６６は、顔面内の最終的な目の候補を見つけるために、（図８Ａで示された）クロミナンス目マップ内で検出された目の候補を、（図８Ｂで示された）輝度目マップ内で検出された目の候補と組み合わせる。しかし、場合によっては、最終的な目の候補は、依然として不正確な目の候補を含む場合がある。これらの異質の目の候補は、後に特徴検証処理の間に除外され得る。
【００６２】
口検出器６７は、顔面検出器６４によって取得された顔面内の口の特徴候補を検出する。一般に、口領域の色は、その他の顔の領域よりも、より強い赤色成分と、より弱い青色成分とを含む。したがって、口領域では、クロミナンス成分Ｃｒはクロミナンス成分Ｃｂよりも多いはずである。しかし、口領域は、Ｃｒ／Ｃｂ特徴内で比較的低い反応を有するが、Ｃｒ２特徴内で比較的高い反応を有する。口検出器６７は、下で提示される方程式（３）および（４）に基づいてフレームの口マップを構築することができる。
【数３】
【数４】
【００６３】
口マップが取得されると、口検出器６７は、口の候補に関して口マップ内の最も明るい領域の位置を突き止めるために、しきい値を口マップ内の各画素の口（Ｍ）値に応用することができる。口検出器６７は、次いで、実質的に近接した最も明るい領域を単一の口の候補に併合するために、形態的演算を応用する。図９は、「母と娘」ビデオテストシーケンスのフレームの口マップ内の口の検出の例を示す。
【００６４】
特徴検証モジュール６８は、目および口の候補から正確な顔の特徴を選択するために、目検出器６６と口検出器６７とによって顔面内で検出された顔の特徴候補を検証する。特徴検出モジュール６８は、頑強なＲＯＩ特徴検出処理を確実にする。上で説明された目および口のマップ処理は、目および口の領域を分類する際に効果があるが、いくつかの誤った分類は、依然として、擬似の顔の特徴検出という結果をもたらす可能性がある。特徴検証モジュール６８は、顔面内で顔の特徴候補を検証して、任意の擬似の顔の特徴検出を除去するために、３つの検証ステップを実行する。
【００６５】
第１に、顔の形態学の点から、顔の特徴は、一般に、領域内の高輝度コントラストによって特徴づけられる「くぼみ」領域、すなわち、陥凹領域内に配置されることが観察される。したがって、特徴検出モジュール６８は、グレースケール近接・膨張（grayscale-close and dilation）形態的演算を実行することによって、くぼみ領域を識別する。特徴検証モジュール６８は、次いで、フレーム内の顔の特徴候補の位置をフレーム内のくぼみ領域の位置と比較する。顔の特徴候補が、検出されたくぼみ領域の範囲に少なくとも一部重複しない場合、特徴検証モジュール６８は、その顔の特徴候補を考慮から除外することになる。したがって、顔の特徴候補を保持するために、特徴検証モジュール６８は、特徴と識別されたくぼみ領域のうちの１つとの相関性を要求する。図１０Ａは、「母と娘」ビデオシーケンスのフレーム内で識別されたくぼみ領域を例示する。
【００６６】
第２に、特徴検証モジュール６８は、フレーム内の対称位置および形状特徴など、目の対の固有の属性に基づいて目の特徴候補を検証する。図１０Ｂは、それぞれの重心Ｏ１およびＯ２を有する目の対の固有の属性を例示する。例えば、２つの目は、｜ＡＯ１｜＝｜ＡＯ２｜であるように、顔の主軸Ａに関して対称であり、両目は類似範囲を有し、両目は、軸ＯＡに対して投影することによって比較され得る類似の形状を有する。２つの目はまた、それぞれのＰＣＡ（主成分分析）軸、すなわち、ＰＣＡ１およびＰＣＡ２に関しても対称である。加えて、眉は、通常、２つの目の上に検出され得る。
【００６７】
特徴検証モジュール６８は、顔面内の目の特徴候補を検証するために、重みづけされた得点システム（score system）を利用することができる。この場合、特徴検出モジュール６８は、目の対の属性に基づいていくつかの基準をチェックして、基準の各々に関して得点を提供する。例えば、特徴検証モジュール６８は、目の重心位置がくぼみ領域内部にあるかどうかを判断する。次に、特徴検証モジュール６８は、目の重心の位置と検出された虹彩とが実質的に近接しているかどうかを判断する。虹彩の位置は、目の中の輝度値を横軸と縦軸とに投影して、累算された最低総輝度値に対応するポイントを識別することによって発見され得る。特徴検証モジュール６８は、次いで、眉が目の上に発見されるかどうかを判断する。次に、特徴検証モジュール６８は、目のＰＣＡ軸が合理的な方向の範囲内にあるかどうかを判断するが、これは典型的な人の目の対の経験的な特徴から判断され得る。特徴検証モジュール６８は、次いで、目が合理的な距離内に目の対を有するかどうかを判断するが、これも経験的な特徴から判断され得る。次に、特徴検証モジュール６８は、軸ＯＡに従って、目の対が対称的なＰＣＡ軸を有するかどうかを判断する。特徴検証モジュール６８は、次いで、軸ＯＡに従って、目の対が対称的形状を有するかどうかを判断する。
【００６８】
特徴検証モジュール６８は、候補から正確な顔の特徴を選択して、ビデオフレームの顔の特徴マップを構築するために、上で説明された各基準からの得点を累算する。様々な個々の基準に関して決定された得点は、等しく重みづけされることが可能であり、またはその他の基準に対して１つまたは複数の基準を強調するために、異なって重みづけされることも可能である。特徴検証モジュール６８は、事前設定されたしきい値未満の累積得点を有するそれらの顔の特徴候補として擬似検出を識別する。特徴検証モジュール６８は、次いで、それらの誤って検出された顔の特徴候補を除外する。
【００６９】
第３に、特徴検証モジュール６８は、顔の特徴マップ内の２つの目の候補および１つの口の候補のあらゆる可能な組合せから目と口の三角形を検証する。特徴検証モジュール６８は、まず、目と口の三角形の幾何学的形状と方向性とを精査して、合理的でない目と口の三角形をさらなる考察から除外する。合理的でないと見なされる目と口の三角形は、典型的な人に関して経験的に決定された目と口の三角形形状の範囲に実質的に整合しないそれらのものである。図１０Ｃは、「母と娘」ビデオシーケンスのフレームの顔の特徴マップ内の２つの可能な目と口の三角形（破線）を例示する。特徴検証モジュール６８は、次いで、目と口の三角形範囲の傾斜特性を検証するためにテンプレートを使用する。人の顔は３次元（３Ｄ）オブジェクトであるため、顔の領域の全体にわたる輝度は不均等になりがちである。正規の目と口の三角形範囲は、顎など、その他の顔の範囲よりも傾斜情報をより複雑にする鼻を含むべきである。目と口の三角形範囲から利用可能なより識別可能な傾斜情報を使用して、特徴検証モジュール６８は、ビデオフレーム内の顔に関して正確な目および口の候補を選択することができる。
【００７０】
システム１４はまた、特徴検証モジュール６８によって選択された顔の特徴をフレーム内の個々の顔に関するグループに分離する複数の顔分離モジュール７０も含む。ビデオフレーム内に２つ以上の顔を含む母と娘シーケンスなどのビデオシーケンスでは、複数の顔分離モジュール７０は、目および口の候補のセットを異なる顔に対応するグループに分離する。このタスクの困難は三重である。第１に、ビデオフレーム内に含まれる顔の総数は知られていない。第２に、いくつかの顔の特徴は、ビデオフレーム内で検出されていない可能性がある。第３に、すべての潜在的な顔の特徴グループの組合せの網羅的なチェックは、指数関数的な計算処理上の複雑性を有する。問題を、目を口と対にするタスクに簡素化することによって、元の問題は多項式的な計算処理上の複雑性を有するグラフ理論問題にマップされ得る。結果として生じる、計算処理上の複雑性の抑圧は、限定された電力および処理リソースを有する移動体アプリケーション、ならびに高速の、場合によっては、リアルタイムの結果を要求するその他のアプリケーションを含めて、多くのアプリケーションにとって非常に望ましい可能性がある。
【００７１】
グラフ理論を応用して、複数の顔分離モジュール７０は、頂点セットＶ＝｛口｝＋｛目の対｝と輪郭線セットＥ＝｛（ｖｉ，ｖｊ）｝とを有する偶グラフ（bipartite graph）Ｇ＝（Ｖ，Ｅ）を考慮し、ｖｉおよびｖｊは異なるセットに属し、ノードｖｉおよびｖｊの間の距離は合理的な範囲内である。整合するＳが、Ｓ内の２つの輪郭線が同じ頂点に付随するものまたは直接的に連結された頂点でないように、Ｅのサブセットとして定義された場合、問題は最大整合方式問題になる。このように、元の最大整合方式問題定義では、整合に対する制約は、Ｓ内の２つの輪郭線が同じ頂点に付随しないことだけを要求するため、複数の顔分離処理は元の最大整合方式問題の可変要素である。
【００７２】
複数の顔分離問題を元の最大整合方式問題に変換する可能性を観察することは重要である。（ｖｉ，ｖｋ）∈Ｅ，（ｖｊ，ｖｋ）∈Ｅであるが
【数５】
【００７３】
であるようにｖｋが存在する、輪郭線セットＥ’＝｛（ｖｉ，ｖｊ）｝が輪郭線セットをＥからＥ∪Ｅ’に拡張した後で定義された場合、結果として生じる整合がＥ∪Ｅ’の代わりにＥのサブセットでなければならないように、追加の制約が含まれなければならない点を除いて、問題は元の最大整合方式問題になる。したがって、複数の顔分離モジュール７０は、多項式時間の複雑性における複数の顔分離問題を解決することができる。
【００７４】
システム１４は、ＲＯＩオブジェクト幾何モデルに基づいて、ビデオフレーム内の各顔に関してＲＯＩオブジェクト形状を概算するオブジェクト形状概算モジュール７２を含む。例えば、ＲＯＩオブジェクト形状は、人の頭および肩の幾何モデルに基づいて、フレーム内で概算され得る。特徴検証モジュール６８が顔に関して正確な目と口の三角形を取得した後で、オブジェクト形状概算モジュール７２は、目と口の三角形のノード間の幾何学的関係に基づいて、ＲＯＩオブジェクト形状（例えば、頭および肩のモデル）を構築することができる。
【００７５】
モード内セグメンテーションの間の性能を加速するために、オブジェクト形状概算モジュール７２は、人の頭および肩のオブジェクト形状など、ＲＯＩオブジェクト形状を概算するために簡単な長方形モデルを使用することが可能である。ビデオフレーム内に２つ以上の顔を含むビデオシーケンスの場合、複数の顔分離モジュール７０が目および口の候補を異なる顔に関するグループに分離した後、オブジェクト形状概算モジュール７２は、個別の目と口の三角形に基づいて顔の各々に関してＲＯＩオブジェクト形状を概算する。例えば、オブジェクト形状概算モジュール７２は、ビデオフレーム内に含まれた各顔に関して頭および肩のオブジェクト形状を概算することができる。図１１は、「母と娘」ビデオテストシーケンスのフレーム内で各顔に関して定義された頭および肩のオブジェクト形状を例示する。
【００７６】
ＲＯＩオブジェクトセグメンテーションシステム１４はまた、フレーム全体に対してスプリット・併合（split-and-merge）領域増大を実行する領域セグメンテーションモジュール７４も含む。領域セグメンテーションモジュール７４は、元のフレームを複数の同種の候補領域に分割する。スプリット・併合領域増大を実行する場合、領域セグメンテーションモジュール７４は、ビデオフレーム内の隣り合う画素間の関係を、類似するクラスと異なるクラスとに分類する。領域類似性は、領域内の平均画素輝度値に基づいて決定され得る。領域セグメンテーションモジュール７４は、次いで、連結された類似する画素を小さな領域にクラスタ化して、最低数の候補領域を形成するために、それらの領域を併合し続ける。図１２は、ビデオフレームが当初１１９５個の領域に分割され、次いで、２２個の候補領域が生成されるまで領域が併合される領域増大処理を例示する。
【００７７】
システム１４は、フレーム全体内の候補領域から、概算されたＲＯＩオブジェクト形状内に配置されたフレームの領域を自動的に選択するオブジェクト生成モジュール７６をさらに含む。選択された領域は前景領域と見なされることが可能であり、選択されなかった領域は、背景領域と見なされることが可能である。オブジェクト生成モジュール７６は、次いで、前景領域に基づいて前景オブジェクトを生成する。
【００７８】
オブジェクト生成モジュール７６は、オブジェクト形状概算モジュール７２によって概算されたＲＯＩオブジェクト形状内に配置された、領域セグメンテーションモジュール７４によって生成された候補領域のセットだけから領域を選択する。上で説明されたように、ＲＯＩオブジェクト形状は、ＲＯＩオブジェクト（例えば、顔）を含む長方形範囲を備えることが可能であり、ＲＯＩオブジェクト形状のサイズは、顔に関して選択された目と口の三角形に基づいて推定され得る。このようにして、さらなる処理は、ビデオフレーム全体内での代わりにＲＯＩオブジェクト形状内で行われ得る。
【００７９】
オブジェクト生成モジュール７６は、領域セグメンテーションモジュール７４によって生成されたビデオフレーム内の候補領域の各々を調査して、領域がＲＯＩオブジェクト形状内に配置されるかどうかを判断する。オブジェクト生成モジュール７６は、ＲＯＩオブジェクト形状内の総画素の事前定義された割合（例えば、６０％）を超える総画素を有する領域を前景領域と見なすことができる。オブジェクト生成モジュール７６は、次いで、ＲＯＩオブジェクト形状内の総画素の事前定義された割合未満の総画素を有するビデオフレーム内の残りの領域を背景領域と見なすことができる。このようにして、オブジェクト生成モジュール７６は、ビデオフレーム内の前景領域から前景オブジェクトを生成する。
【００８０】
最後に、システム１４は、フレーム内の複数の前景オブジェクトを最終的な出力画像に併合するオブジェクトフュージング（fusing）モジュール７８を含む。２個以上の前景オブジェクトを含むビデオシーケンスの場合、オブジェクトフュージングモジュール７８は、出力画像を形成するために前景オブジェクトを併合する。図１３は、ビデオフレーム内の顔の各々に関する前景オブジェクトの生成と、２個の前景オブジェクトを併合することによる出力画像の生成とを例示する。ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る。
【００８１】
図１４は、モード内セグメンテーションを実行するＲＯＩオブジェクトセグメンテーションシステム１４の動作を例示する流れ図である。動作は、本明細書で、図７で例示されたＲＯＩオブジェクトセグメンテーションシステム１４を参照して説明される。ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２からビデオシーケンスのフレームを受信する（８０）。モード内セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスのその他のフレームから独立して、かつ動作情報なしに、ビデオシーケンスの受信されたフレームを処理する。
【００８２】
顔面検出器６４は、ビデオフレーム内で識別された皮膚色領域に基づいて、受信されたフレーム内の顔面を検出する（８２）。顔面検出器６４は、次いで、識別された皮膚色領域の画素を顔の画素として分類する。このようにして、顔面検出器６４は、受信されたフレーム内の顔の画素ではない画素を除去することによって顔面を取得することができる。
【００８３】
目検出器６６および口検出器６７は、次いで、顔面内の顔の特徴候補を検出する（８４）。目検出器６６は、顔面内の画素のクロミナンス値と輝度値とに基づいて、目の特徴候補を検出することができる。装着検出器６７は、顔面内の画素のクロミナンス値に基づいて、口の特徴候補を検出することができる。特徴検証モジュール６８は、正確な顔の特徴を選択するために、目検出器６６と口検出器６７とによって検出された顔の特徴候補の検証を実行する。
【００８４】
ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、受信されたビデオフレームが２つ以上の顔を含むか否かを判断する（８７）。ビデオフレームが２つ以上の顔を含む場合、複数の顔分離モジュール７０は、特徴検証モジュール６８によって選択された顔の特徴をフレーム内に含まれた個々の顔に関するグループに分離する（８８）。オブジェクト形状概算モジュール７２は、次いで、特徴検証モジュール６８によって選択された顔の特徴によって定義されたＲＯＩオブジェクト幾何モデルに基づいて、ビデオフレーム内の各顔に関してＲＯＩオブジェクト形状を概算する（９０）。例えば、頭および肩のオブジェクト形状は、正確な目と口の三角形の位置に基づいて、フレーム内の各顔に関して概算され得る。
【００８５】
領域セグメンテーションモジュール７４は、フレーム全体に対してスプリット・併合領域増大を実行する（９２）。領域セグメンテーションモジュール７４は、元のフレームを複数の同種の候補領域に分割する。オブジェクト生成モジュール７６は、次いで、フレーム全体内の候補領域から、概算されたＲＯＩオブジェクト形状内に配置されたフレームの領域を選択する。選択された領域は前景領域と見なされることが可能であり、選択されなかった領域は背景領域と見なされることが可能である。オブジェクト生成モジュール７６は、次いで、前景領域に基づいて前景オブジェクトを生成する（９４）。
【００８６】
ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオフレームが２個以上の前景オブジェクトを含むかどうかを判断する（９５）。ビデオフレームが２個以上の前景オブジェクトを含む場合、オブジェクトフュージングモジュール７８は、フレーム内の前景オブジェクトを最終的な出力画像に併合する（９６）。ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る（９８）。
【００８７】
図１５は、ビデオ源１２から受信されたビデオシーケンスのフレームに対してモード間セグメンテーションを実行する場合のＲＯＩオブジェクトセグメンテーションシステム１４を例示するブロック図である。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、現在のフレームとビデオメモリ１６内に記憶されたこれまでのフレームまたは後続のフレームの間のＲＯＩオブジェクトに関する動作情報に基づいてビデオシーケンスのフレームを処理する。図１６および１７は、モード間セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステム１４によって実施された技術の例示的な結果を示すスクリーンショットである。いくつかの実施形態では、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスのフレームのいくつかに対して、図６〜１４で説明されたように、モード内セグメンテーションを実行し、１つまたは複数のセグメンテーションモード決定係数に基づいて、ビデオシーケンスのその他のフレームに対して、下で説明されるように、モード間セグメンテーションを実行することができる。
【００８８】
上で説明されたように、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２から受信されたビデオシーケンスのビデオフレームから、人の頭および肩の範囲など、ＲＯＩオブジェクトを自動的にセグメンテーションするための技術を実施する。ＲＯＩオブジェクトセグメンテーションシステム１４は、ＲＯＩオブジェクトに関する動作情報に基づいて、モード間セグメンテーションを実行する。開示された技術は、背景モデル形成と減算とに基づいて、前景オブジェクト内の移動領域を検出するための技術を含む。移動前景領域を首尾よく検出することは、モード間セグメンテーションの間、ＲＯＩ特徴検出の性能速度を改善する可能性がある。
【００８９】
図１５で例示された実施形態では、ビデオ源１２は、この場合も、クロミナンスブルーチャネル（Ｃｂ）１００と、クロミナンスレッドチャネル（Ｃｒ）１０１と、輝度チャネル（Ｙ）１０２とを含む。ＲＯＩオブジェクトセグメンテーションシステム１４は、図１５で例示されたように、モード間セグメンテーションを実行する場合、背景減算モジュール１１２をさらに含む。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４はまた、図６で例示されたモード内セグメンテーションを実行する場合に使用される成分も含む。例えば、ＲＯＩオブジェクトセグメンテーションシステム１４は、図６からの顔面検出器６４と、目検出器６８と、口検出器６７とを備える、ＲＯＩ特徴検出器１０４を含む。加えて、ＲＯＩオブジェクトセグメンテーションモジュール１４は、図６で対応する成分に類似した方法で動作することが可能な、特徴検証モジュール１０６、複数の顔分離モジュール１０８、オブジェクト形状概算モジュール１１０、領域セグメンテーションモジュール１１４、オブジェクト生成モジュール１１６、およびオブジェクトフュージングモジュール１１８も含む。
【００９０】
背景減算モジュール１１２は、モード間セグメンテーションをサポートするために、ＲＯＩ特徴検出器１０４および領域セグメンテーションモジュール１１４と相互作用する。背景減算モジュール１１２を用いて、システム１４は、ビデオシーケンス内の異なるビデオフレームに対する移動を表す、ビデオフレームの移動前景領域を識別する。特に、移動前景領域を識別するために、背景減算モジュール１１２は、ビデオフレームのＲＯＩオブジェクト内の画素の第１の位置を異なるビデオフレーム（例えば、ビデオシーケンス内のこれまでのフレーム）内の画素の第２の位置と比較する。
【００９１】
背景減算モジュール１１２は、次いで、第２の位置から移動していない画素を背景画素として分類して、第２の位置から移動した画素を前景画素として分類する。移動前景領域は、識別された前景画素に基づいて識別される。システム１４は、次いで、移動前景領域と異なる（例えば、これまでの）ビデオフレーム内でこれまで識別された前景領域とに対応するビデオフレームの組み合わされた前景領域内のＲＯＩ特徴を検出する。検出されたＲＯＩ特徴に基づいて、形状概算モジュール１１０は、ビデオフレーム内のＲＯＩオブジェクトの形状を概算する。
【００９２】
背景減算モジュール１１２は、ビデオシーケンスの連続するビデオフレームの時間的相関性を活かす。背景減算モジュール１１２は、ビデオ源１２から受信されたビデオシーケンスのＲＯＩオブジェクト内の画素の画素単位の分類処理を行う。このようにして、背景減算モジュール１１２は、現在のフレームとビデオメモリ１６から取り出されたビデオシーケンスのこれまでのフレームまたは後続のフレームの間の動作情報に基づいて、現在のフレームのどの画素が背景画素であるかを判断する。すなわち、背景減算モジュール１１２は、前景オブジェクトの移動領域を迅速かつ効率的に発見するために、モード間動作で利用可能な追加の情報を使用する。この場合も、背景減算モジュール１１２は、それらのこれまでの位置から移動していない、現在のフレームのそれらの画素を背景画素として分類する。背景減算モジュール１１２は、次いで、それらのこれまでの位置から移動したそれらの画素を前景画素として分類する。このように、背景減算モジュール１１２は、より効率的であり、かつより低い複雑性を有する。
【００９３】
背景減算モジュール１１２は、１つまたは複数の利点を提供することが可能である。例えば、顔面の探索空間は、画像全体から、移動前景領域に加えて組み合わされた前景領域と見なされ得る、これまでのフレームからの顔面領域に低減され得る。加えて、顔の特徴は、移動前景領域内にあるかまたはこれまでのフレームと同じ位置内にあることになる。もう１つの可能な利点として、連結された移動前景領域は、同種の領域として処理されることが可能である。
【００９４】
図１６は、「母と娘」ビデオシーケンスのフレーム間の画素動作に基づく、前景画素分類の例を示す。図１６で、フレーム８から１０までの前景オブジェクトの移動はやや小さいため、背景減算モジュール１１２は、頭の画素の部分だけを前景画素として分類し、一方、体の画素は初めの１０個のフレームの間、静的である。
【００９５】
画素単位の分類処理を実行するために、背景減算モジュール１１２は背景モデルを応用する。特に、背景減算モジュール１１２は、画素輝度（例えば、Ｋ＝５）をモデル形成するために、Ｋガウス分布の混合を適合させ、各ガウスは、それにより観察された背景を説明する周波数に従って重みづけされる。したがって、前景領域内の一定の画素が時間ｔの時点で輝度Ｘｔを有する確率は、
【数６】
【００９６】
として推定され、ｗｉ，ｔは、正規化された重みμｉであり、σｉは第ｉ番目の分布の平均値かつ標準偏移である。
【００９７】
各画素変化の混合モデルのパラメータとして、背景減算モジュール１１２は、混合のどのガウスが背景処理によって生み出される可能性が最も高いかを判断する。発見的情報に基づいて、背景減算モジュール１１２は、最もサポートする証拠と最小の分散とを有するガウス分布を選択する。Ｋ分布がｗ／σの値に基づいて順序づけられるのはこの理由からである。モデルのこの順序づけは、効果的に順序づけられたリストであり、最も可能性のある背景分布は上にとどまり、可能性の低い過渡背景分布は下に引き付けられる。背景減算モジュール１１２は、下に提示された方程式（６）に基づいて、最も可能性のある分布モデルを発見することができる。
【数７】
【００９８】
しきい値Ｔは、背景に与えられたわずかな総重みである。
【００９９】
次いで、背景減算モジュール１１２は、整合が発見されるまで、既存のＫガウス分布に対して新しい画素をチェックする。背景減算モジュール１１２は、分布の平均値と新しい画素値の間の距離が、分布の２．５平均偏移内である場合、整合を発見する。Ｋ分布のいずれも現在の画素値と整合しない場合、ｗ／σの最も小さい値を有する、可能性が最も低い分布は、平均値として現在の新しい画素値と、当初の高い分散と、低い先行重みとを有する新しい分布と取り替えられる。一般に、新しい画素値は、Ｋガウス分布の混合モデルの主な成分のうちの１つによって常に表されることが可能である。この整合された分布がＢ背景分布のうちの１つである場合、新しい画素は背景として印される。そうでない場合、画素は前景として印される。
【０１００】
混合モデルをアダプティブに維持するために、背景減算モジュール１１２は、新しい画素値を用いてモデルパラメータを連続的に更新する。整合されたガウス分布の場合、背景減算モジュール１１２は、この新しい画素値Ｘｉを用いて時間ｔですべてのパラメータを更新する。加えて、背景減算モジュール１１２は、先行重みを、
【数８】
【０１０１】
として更新し、平均値と分散とは、
【数９】
【数１０】
【０１０２】
として更新され、αは学習レート制御適合速度であり、１／αは変化を決定する時間定数を定義し、ρは、学習レートαによって基準化された現在の画素に関連する確率性である。したがって、ρは、
【数１１】
【０１０３】
によって表されることが可能である。整合されない分布の場合、平均値μｔと分散σｔとは、依然として変化せず、一方、背景減算モジュール１１２は先行重みを、
【数１２】
【０１０４】
として更新する。
【０１０５】
この更新方法の１つの利点は、背景減算モジュール１１２が、オブジェクトが背景の一部になることを可能にする場合、元の背景モデルが破棄されないことである。すなわち、元の背景分布は、可能性が最も低い分散になり、新しい色が観察されるまで混合の形で残る。したがって、この静的オブジェクトが偶然再び移動する場合、背景減算モジュール１１２は、これまでの背景分布をモデルに迅速に再度組み込むことになる。
【０１０６】
背景減算モジュール１１２が移動画素を前景画素として分類すると、領域セグメンテーションモジュール１１４は、ビデオフレームの移動前景領域を生み出すために、前景画素に対してスプリット・併合領域増大を実行することが可能である。このようにして、分類された前景画素は、領域増大手法から取得された領域を併合するために、かつそれにより前景領域を形成するために使用される。特に、スプリット・併合増大技術を用いた背景減算の結果として生じた移動前景領域をフュージングすることによって、前景オブジェクトの移動領域が取得され得る。
【０１０７】
前景画素を検出して、移動前景領域を生み出すことは、モード間セグメンテーション処理の頑強さを高めて、ＲＯＩ特徴検出の性能を加速する可能性がある。ＲＯＩ特徴に関する探索は、移動前景領域とこれまでのフレームの顔面によって形成された前景領域とを含めて、組み合わされた前景領域に限定され得る。図１７は、「母と娘」ビデオシーケンスのビデオフレームの背景範囲から抽出された移動前景領域を例示する。
【０１０８】
ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、モード間セグメンテーション処理を完了するために、上で説明されたモード内セグメンテーションを実行するために使用されたのと実質的に類似の技術を使用することが可能である。例えば、ＲＯＩ特徴検出器１００は、移動前景領域によって形成された組み合わされた前景領域内の顔面および顔の特徴と、これまでのフレーム内の顔面および顔の特徴の位置とを検出する。このようにして、背景減算モジュール１１２は、ビデオフレーム全体内でＲＯＩ特徴検出を実行することの計算処理上の複雑性を低減する。オブジェクトフュージングモジュール１１８は、次いで、出力画像を形成するために前景オブジェクトを併合する。ＲＯＩオブジェクトセグメンテーションモジュール１４は、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る。
【０１０９】
例示された実施形態では、新しい顔または新しい顔の特徴はビデオシーケンスの間に導入されない。したがって、ＲＯＩオブジェクトセグメンテーションシステム１４は、ＲＯＩ特徴検出器１０４とオブジェクト形状概算モジュール１１０の間で拡張する破線によって表示されるように、モード間セグメンテーションを実行する場合、特徴検証モジュール１０８と、複数の顔分離モジュール１０８とを省略することができる。特に、これまでのフレーム内のオブジェクトがかなりの移動を提示しないことを意味する、検出された顔の特徴がこれまでのフレーム内の特徴に近接して配置される場合、現在のフレームのオブジェクトは、特徴検証モジュール１０６および複数の顔分離モジュール１０８の機能を応用する必要なしに、オブジェクト形状概算モジュール１１０とオブジェクト生成モジュール１１６とを使用して迅速に生成され得る。
【０１１０】
その他の点では、新しい顔または新しい顔の特徴が導入される場合、処理全体が応用される。すなわち、特徴検証モジュール１０６と、複数の顔分離モジュール１０８と、オブジェクト形状概算モジュール１１０と、オブジェクト生成モジュール１１６とが応用される。オブジェクト生成モジュール１１６では、連結された移動前景領域は同種の領域として処理される。オブジェクトフュージングモジュール１１８は、出力画像を形成するために、前景オブジェクトを併合する。ＲＯＩオブジェクトセグメンテーションシステム１４は、セグメンテーションされたフレームのビデオをマルチメディアアプリケーション１８に送る。
【０１１１】
顔面および顔の特徴検出器１００は、モード間セグメンテーションの間、ビデオフレーム内の追加のＲＯＩ特徴を検出することが可能である。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、新たに検出された顔の特徴を検証するために、特徴検証モジュール１０６を使用することができる。加えて、システム１４は、ビデオフレーム内に含まれた新しい顔に関して、複数の顔分離モジュール１０８と、その後に続く、オブジェクト形状概算モジュール１１０と、オブジェクト生成モジュール１１６とを使用することができる。
【０１１２】
図１８は、モード間セグメンテーションを実行するＲＯＩオブジェクトセグメンテーションシステム１４の動作を例示する流れ図である。動作は、本明細書で、図１５で例示されたＲＯＩオブジェクトセグメンテーションシステム１４を参照して説明され、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２からビデオシーケンスのフレームを受信して、ビデオメモリ１６からビデオシーケンスのこれまでのフレームを取り出す（１２０）。モード間セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、現在のフレームとビデオシーケンスのこれまでのフレームの間のＲＯＩオブジェクトに関する動作情報に基づいてビデオシーケンスのフレームを処理する。いくつかの実施形態では、ＲＯＩオブジェクトセグメンテーションシステム１４は、あるいはまたは加えて、後続のビデオフレームに関するＲＯＩオブジェクト動作を表示する動作情報を使用する。
【０１１３】
背景減算モジュール１１２は、これまでのフレームと現在のフレームの間のＲＯＩオブジェクト内の移動画素を前景画素として分類するために、受信されたビデオフレームに対して背景減算を実行する（１２２）。背景減算モジュール１１２は、現在のフレームのどの画素がこれまでのフレーム内のそれらのこれまでの位置から移動したかを決定するために、画素単位の分類処理を行う。背景減算モジュール１１２が移動画素を前景画素として分類すると、領域セグメンテーションモジュール１１４は、ビデオフレームの移動前景領域を生み出すために、前景画素に対してスプリット・併合領域増大を実行することができる（１２４）。
【０１１４】
ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、モード間セグメンテーション処理を完了するために、上で説明されたモード内セグメンテーションを実行するために使用されたのと実質的に類似の技術を使用することが可能である。ＲＯＩ特徴検出器１０４は、移動前景領域およびこれまでのフレームからの顔面位置の両方を含む領域内、すなわち、組み合わされた前景領域内の顔面を検出する（１２６）。さらに、ＲＯＩ特徴検出器１０４は、移動前景領域を含めて、組み合わされた前景領域内の顔の特徴（例えば、目および口の候補）を検出し、これまでのフレーム内で顔の特徴位置を検出する（１２８）。
【０１１５】
ＲＯＩ特徴検出器１０４によって検出された顔の特徴がこれまでのフレーム内で検出された顔の特徴に近接して配置される（１３０）場合、これまでのフレーム内のオブジェクトはかなりの移動を提示しない。この場合、現在のフレームのオブジェクトは、特徴検証モジュール１０６（１３２）および複数の顔分離モジュール１０８（１３４）の機能を省略すると同時に、オブジェクト形状概算モジュール１１０（１３６）とオブジェクト生成モジュール１１６（１３８）とを使用することによって迅速に生成され得る。
【０１１６】
その他の点では、ＲＯＩ特徴検出器１０４によって検出された顔の特徴が、これまでのフレーム内で検出された顔の特徴に近接して配置されない場合、これまでのフレーム内のオブジェクトはかなり移動した。この場合、処理全体が応用される。特に、特徴検証モジュール１０６は検出された特徴を検証して（１３２）、複数の顔分離モジュール１０８は顔の分離を実行する（１３４）。次いで、オブジェクト形状概算モジュール１１０（１３６）と、その後に続くオブジェクト生成モジュール１１６（１３８）とが応用される。オブジェクト生成モジュール１１６で、連結された移動前景領域は、オブジェクトを生成する（１３８）ために同種の領域として処理される。オブジェクトフュージングモジュール１１８は、次いで、出力画像を形成するために前景オブジェクトを併合する（１４０）。ＲＯＩオブジェクトセグメンテーションシステム１４は、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る（１４２）。
【０１１７】
本明細書で説明された技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。ソフトウェアで実施される場合、技術は、実行された場合、上で説明された方法の１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読媒体によって一部実施され得る。この場合、コンピュータ可読媒体は、同時ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気データ記憶媒体または光データ記憶媒体など、ランダムアクセスメモリ（ＲＡＭ）を備え得る。
【０１１８】
プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定アプリケーション向け集積回路（ＡＳＩＣ）、フィールドプログラム可能論理アレイ（ＦＰＧＡ）、または等価の集積論理回路または離散的論理回路のその他の組合せによって実施され得るプログラム可能プロセッサによって実施されることが可能である。いくつかの実施形態では、本明細書で説明される機能性は、自動オブジェクトセグメンテーションのために構成された専用のソフトウェアモジュール内もしくはハードウェア装置内で提供されること、または自動オブジェクトセグメンテーションシステム内に組み込まれることが可能である。
【０１１９】
この開示では、ビデオシーケンスからのＲＯＩオブジェクトの自動セグメンテーションのための様々な技術が説明された。ＲＯＩオブジェクトセグメンテーションシステムは、ＶＴアプリケーション、ビデオストリーミングアプリケーション、またはビデオ監視用となど、マルチメディアアプリケーションでの使用のために正確にセグメンテーションされたＲＯＩオブジェクトを提供する目的で、開示された技術のうちの１つまたは複数を個々にまたは組み合わせて実施することが可能である。
【０１２０】
開示された技術は、ＲＯＩ特徴検出と、領域セグメンテーションと、背景減算とを含む混成技術を含む。開示された技術は、モード内およびモード間のオブジェクトセグメンテーションを含み得る。モード間セグメンテーションは、ＲＯＩオブジェクトセグメンテーションシステムの実行を加速するために、通常の計算処理上集中的な動作推定演算の代わりに、背景モデル形成と減算とを使用することによって、ビデオシーケンスの連続するビデオフレームの時間的相関性を活かす。開示された技術はまた、ＲＯＩオブジェクトセグメンテーションシステムによるモード内セグメンテーションの性能を加速するために、顔の特徴検証、複数の顔分離、およびＲＯＩオブジェクトセグメンテーションも含む。これらのおよびその他の実施形態は、特許請求の範囲の範囲内である。
【図面の簡単な説明】
【０１２１】
【図１】ビデオシーケンスからのＲＯＩビデオオブジェクトの自動セグメンテーションのための技術を実施する関心領域（ＲＯＩ）オブジェクトセグメンテーションシステムを例示するブロック図。
【図２Ａ】ビデオシーケンスのビデオフレーム内のＲＯＩオブジェクトおよび非ＲＯＩオブジェクトの定義を例示するブロック図。
【図２Ｂ】ビデオシーケンスのビデオフレーム内のＲＯＩオブジェクトおよび非ＲＯＩオブジェクトの定義を例示するブロック図。
【図３】ビデオシーケンスのＲＯＩオブジェクト内に提示されるオブジェクトに関してオブジェクト移動／回転、および形状変形の変化を例示する図。
【図４】ビデオシーケンスのＲＯＩオブジェクト内の人物に関して顔の表情の変更を例示する図。
【図５Ａ】図１からのＲＯＩオブジェクトセグメンテーションシステムの例示的な動作を示す流れ図。
【図５Ｂ】図５Ａからのセグメンテーションモード決定をより詳細に例示する流れ図。
【図６】ビデオ源から受信されたビデオシーケンスのフレームに関してモード内セグメンテーションを実行する場合のＲＯＩオブジェクトセグメンテーションシステムを例示するブロック図。
【図７】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図８Ａ】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図８Ｂ】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図９】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１０Ａ】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１０Ｂ】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１０Ｃ】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１１】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１２】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１３】モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１４】モード内セグメンテーションを実行するＲＯＩオブジェクトセグメンテーションシステムの動作を例示する流れ図。
【図１５】ビデオ源から受信されたビデオシーケンスのフレームに対してモード間セグメンテーションを実行する場合のＲＯＩオブジェクトセグメンテーションシステムを例示するブロック図。
【図１６】モード間セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１７】モード間セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。
【図１８】モード間セグメンテーションを実行するＲＯＩオブジェクトセグメンテーションシステムの動作を例示する流れ図。
【特許請求の範囲】
【請求項１】
ビデオシーケンスのビデオフレームを受信することと、
前記ビデオシーケンス内の異なるビデオフレームに対する移動を表す、前記ビデオフレームの移動前景領域を識別することと、
前記移動前景領域と前記異なるビデオフレームの前景領域とに対応する前記ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出することと、
前記検出されたＲＯＩ特徴に基づいて、前記ビデオフレーム内のＲＯＩオブジェクトの形状を概算することと
を備える方法。
【請求項２】
前記ビデオフレーム内の前記検出されたＲＯＩ特徴が、前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記ＲＯＩオブジェクトに関して正確なＲＯＩ特徴を選択するために、前記検出されたＲＯＩ特徴を検証することをさらに備える、請求項１に記載の方法。
【請求項３】
前記ＲＯＩオブジェクトを識別する出力画像を生成することと、前記ビデオフレームの非ＲＯＩ領域に対して前記ＲＯＩオブジェクトを優先的に符号化することとをさらに備える、請求項１に記載の方法。
【請求項４】
前記異なるビデオフレームが前記ビデオシーケンス内のこれまでのビデオフレームである、請求項１に記載の方法。
【請求項５】
移動前景領域を識別することが、
前記ビデオフレームの前記ＲＯＩオブジェクト内の画素の第１の位置を前記異なるビデオフレーム内の前記画素の第２の位置と比較することと、
前記第２の位置から移動していない画素を背景画素として分類することと、
前記第２の位置から移動した画素を前景画素として分類することと、
前記前景画素に基づいて前記移動前景領域を識別することと
を備える、請求項１に記載の方法。
【請求項６】
移動前景領域を識別することが、前記ビデオシーケンスの前記ビデオフレームと前記異なるビデオフレームの間の動作情報に基づいて、どの領域が背景領域であるかを決定するために、前記ビデオフレーム内の背景減算処理を実行することを備える、請求項１に記載の方法。
【請求項７】
ＲＯＩ特徴を検出することが、
前記ビデオフレーム内の皮膚色領域のクロミナンス値に基づいて、前記組み合わされた前景領域内の顔面を検出することと、
前記検出された顔面内の画素のクロミナンス値および輝度値の両方に基づいて、前記組み合わされた前景領域内の目の特徴を検出することと、
前記検出された顔面内の画素のクロミナンス値に基づいて、前記組み合わされた前景領域内の口の特徴を検出することと
を備える、請求項１に記載の方法。
【請求項８】
前記検出されたＲＯＩ特徴が、前記組み合わされた前景領域内で検出された顔の特徴候補を備え、前記方法が、前記ＲＯＩオブジェクトに関して正確な顔の特徴を選択して、顔の特徴候補の前記セットから擬似の顔の特徴を除去するために、前記検出された顔の特徴候補を検証することをさらに備える、請求項１に記載の方法。
【請求項９】
前記組み合わされた前景領域が２個以上のＲＯＩオブジェクトを含み、前記方法が、前記ビデオフレーム内の前記検出されたＲＯＩ特徴が、前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記検出されたＲＯＩ特徴を前記個々のＲＯＩオブジェクトに関するグループに分離することと、最大整合方式問題を前記移動前景領域内の前記検出されたＲＯＩ特徴に応用することをさらに備える、請求項１に記載の方法。
【請求項１０】
プログラム可能プロセッサに、
ビデオシーケンスのビデオフレームを受信させ、
前記ビデオシーケンス内の異なるビデオフレームに対する移動を表す、前記ビデオフレームの移動前景領域を識別させ、
前記移動前景領域と前記異なるビデオフレーム内の前景領域とに対応する前記ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出させ、
前記検出されたＲＯＩ特徴に基づいて、前記ビデオフレーム内のＲＯＩオブジェクトの形状を概算させる
命令を備えるコンピュータ可読媒体。
【請求項１１】
前記ビデオフレーム内の前記検出されたＲＯＩ特徴の位置が、前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記プログラム可能プロセッサに、前記ＲＯＩオブジェクトに関して正確なＲＯＩ特徴を選択するために、前記検出されたＲＯＩ特徴を検証させる命令をさらに備える、請求項１０に記載のコンピュータ可読媒体。
【請求項１２】
前記命令が、前記プロセッサに前記ＲＯＩオブジェクトを識別する出力画像を生成させ、前記ビデオフレームの非ＲＯＩ領域に対して前記ＲＯＩオブジェクトを優先的に符号化する、請求項１０に記載のコンピュータ可読媒体。
【請求項１３】
前記異なるビデオフレームが前記ビデオシーケンス内のこれまでのビデオフレームである、請求項１０に記載のコンピュータ可読媒体。
【請求項１４】
前記命令がプロセッサに、
前記ビデオフレームの前記ＲＯＩオブジェクト内の画素の第１の位置を前記異なるビデオフレーム内の前記画素の第２の位置と比較させ、
前記第２の位置から移動していない画素を背景画素として分類させ、
前記第２の位置から移動した画素を前景画素として分類させ、
前記前景画素に基づいて、前記移動前景領域を識別させる
請求項１０に記載のコンピュータ可読媒体。
【請求項１５】
前記命令が、前記ビデオフレームと前記ビデオシーケンスの前記異なるビデオフレームの間の動作情報に基づいて、どの領域が背景領域であるかを決定し、背景減算処理に基づいて前記移動前景領域を識別するために、プロセッサに前記ビデオフレーム内で前記背景減算処理を実行させる、請求項１０に記載のコンピュータ可読媒体。
【請求項１６】
ＲＯＩ特徴の検出のために、前記命令がプロセッサに、
前記ビデオフレーム内の皮膚色領域のクロミナンス値に基づいて、前記組み合わされた前景領域内の顔面を検出させ、
前記検出された顔面内の画素のクロミナンス値および輝度値に基づいて、前記組み合わされた前景領域内の目の特徴を検出させ、
前記検出された顔面の画素のクロミナンス値に基づいて、前記組み合わされた前景領域内の口の特徴を検出させる
請求項１０に記載のコンピュータ可読媒体。
【請求項１７】
前記検出されたＲＯＩ特徴が、前記組み合わされた前景領域内で検出された顔の特徴候補を備え、前記命令が、前記ＲＯＩオブジェクトに関して正確な顔の特徴を選択して、顔の特徴候補の前記セットから擬似の顔の特徴を除去するために、プロセッサに前記検出された顔の特徴候補を検証させる、請求項１０に記載のコンピュータ可読媒体。
【請求項１８】
前記組み合わされた前景領域が２個以上のＲＯＩオブジェクトを含み、前記方法が、前記ビデオフレーム内の前記検出されたＲＯＩ特徴の位置が前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記検出されたＲＯＩ特徴を前記個々のＲＯＩオブジェクトに関するグループに分離することと、最大整合方式問題を前記移動前景領域内の前記検出されたＲＯＩ特徴に応用することとをさらに備える、請求項１０に記載のコンピュータ可読媒体。
【請求項１９】
ビデオシーケンス内のビデオフレームを受信し、
前記ビデオシーケンス内の異なるビデオフレームに対する移動を表す、前記ビデオフレームの移動前景領域を識別し、
前記移動前景領域と前記異なるビデオフレームの前景領域とに対応する前記ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出し、
前記検出されたＲＯＩ特徴に基づいて、前記ビデオフレーム内のＲＯＩオブジェクトの形状を概算する
ようにプログラムされたプロセッサを備えるシステム。
【請求項２０】
前記プロセッサが、前記ビデオフレーム内の前記検出されたＲＯＩ特徴の位置が、前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記ＲＯＩオブジェクトに関して正確なＲＯＩ特徴を選択するために、前記検出されたＲＯＩ特徴を検証する、請求項１９に記載のシステム。
【請求項２１】
前記プロセッサが、前記ＲＯＩオブジェクトを識別する出力画像を生成して、前記ビデオフレームの非ＲＯＩ領域に対して前記ＲＯＩオブジェクトを優先的に符号化する、請求項１９に記載のシステム。
【請求項２２】
前記異なるビデオフレームが前記ビデオシーケンス内のこれまでのビデオフレームである、請求項１９に記載のシステム。
【請求項２３】
前記プロセッサが、
前記ビデオフレームの前記ＲＯＩオブジェクト内の画素の第１の位置を前記異なるビデオフレーム内の前記画素の第２の位置と比較し、
前記第２の位置から移動していない画素を背景画素として分類し、
前記第２の位置から移動した画素を前景画素として分類し、
前記前景画素に基づいて、前記移動前景領域を識別する
請求項１９に記載のシステム。
【請求項２４】
前記プロセッサが、前記ビデオフレームと前記ビデオシーケンス内の前記異なるビデオフレームの間の動作情報に基づいて、どの領域が背景領域かを決定して、背景減算処理に基づいて、前記移動前景領域を識別するために、前記ビデオフレーム内で背景減算処理を実行する、請求項１９に記載のシステム。
【請求項２５】
ＲＯＩ特徴の検出のために、プロセッサが、
前記ビデオフレーム内の皮膚色領域のクロミナンス値に基づいて、前記組み合わされた前景領域内の顔面を検出し、
前記検出された顔面内の画素のクロミナンス値および輝度値の両方に基づいて、前記組み合わされた前景領域内の目の特徴を検出し、
前記検出された顔面内の画素のクロミナンス値に基づいて、前記組み合わされた前景領域内の口の特徴を検出する
請求項１９に記載のシステム。
【請求項２６】
前記検出されたＲＯＩ特徴が、前記組み合わされた前景領域内で検出された顔の特徴候補を備え、前記プロセッサが、前記ＲＯＩオブジェクトに関して正確な顔の特徴を選択して、顔の特徴候補の前記セットから擬似の顔の特徴を除去するために、前記検出された顔の特徴候補を検証する、請求項１９に記載のシステム。
【請求項２７】
前記組み合わされた前景領域が２個以上のＲＯＩオブジェクトを含み、前記プロセッサが、前記ビデオフレーム内の前記検出されたＲＯＩ特徴が前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記検出されたＲＯＩ特徴を前記個々のＲＯＩオブジェクトに関するグループに分離して、最大整合方式問題を前記移動前景領域内の前記検出されたＲＯＩ特徴に応用する、請求項１９に記載のシステム。
【請求項１】
ビデオシーケンスのビデオフレームを受信することと、
前記ビデオシーケンス内の異なるビデオフレームに対する移動を表す、前記ビデオフレームの移動前景領域を識別することと、
前記移動前景領域と前記異なるビデオフレームの前景領域とに対応する前記ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出することと、
前記検出されたＲＯＩ特徴に基づいて、前記ビデオフレーム内のＲＯＩオブジェクトの形状を概算することと
を備える方法。
【請求項２】
前記ビデオフレーム内の前記検出されたＲＯＩ特徴が、前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記ＲＯＩオブジェクトに関して正確なＲＯＩ特徴を選択するために、前記検出されたＲＯＩ特徴を検証することをさらに備える、請求項１に記載の方法。
【請求項３】
前記ＲＯＩオブジェクトを識別する出力画像を生成することと、前記ビデオフレームの非ＲＯＩ領域に対して前記ＲＯＩオブジェクトを優先的に符号化することとをさらに備える、請求項１に記載の方法。
【請求項４】
前記異なるビデオフレームが前記ビデオシーケンス内のこれまでのビデオフレームである、請求項１に記載の方法。
【請求項５】
移動前景領域を識別することが、
前記ビデオフレームの前記ＲＯＩオブジェクト内の画素の第１の位置を前記異なるビデオフレーム内の前記画素の第２の位置と比較することと、
前記第２の位置から移動していない画素を背景画素として分類することと、
前記第２の位置から移動した画素を前景画素として分類することと、
前記前景画素に基づいて前記移動前景領域を識別することと
を備える、請求項１に記載の方法。
【請求項６】
移動前景領域を識別することが、前記ビデオシーケンスの前記ビデオフレームと前記異なるビデオフレームの間の動作情報に基づいて、どの領域が背景領域であるかを決定するために、前記ビデオフレーム内の背景減算処理を実行することを備える、請求項１に記載の方法。
【請求項７】
ＲＯＩ特徴を検出することが、
前記ビデオフレーム内の皮膚色領域のクロミナンス値に基づいて、前記組み合わされた前景領域内の顔面を検出することと、
前記検出された顔面内の画素のクロミナンス値および輝度値の両方に基づいて、前記組み合わされた前景領域内の目の特徴を検出することと、
前記検出された顔面内の画素のクロミナンス値に基づいて、前記組み合わされた前景領域内の口の特徴を検出することと
を備える、請求項１に記載の方法。
【請求項８】
前記検出されたＲＯＩ特徴が、前記組み合わされた前景領域内で検出された顔の特徴候補を備え、前記方法が、前記ＲＯＩオブジェクトに関して正確な顔の特徴を選択して、顔の特徴候補の前記セットから擬似の顔の特徴を除去するために、前記検出された顔の特徴候補を検証することをさらに備える、請求項１に記載の方法。
【請求項９】
前記組み合わされた前景領域が２個以上のＲＯＩオブジェクトを含み、前記方法が、前記ビデオフレーム内の前記検出されたＲＯＩ特徴が、前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記検出されたＲＯＩ特徴を前記個々のＲＯＩオブジェクトに関するグループに分離することと、最大整合方式問題を前記移動前景領域内の前記検出されたＲＯＩ特徴に応用することをさらに備える、請求項１に記載の方法。
【請求項１０】
プログラム可能プロセッサに、
ビデオシーケンスのビデオフレームを受信させ、
前記ビデオシーケンス内の異なるビデオフレームに対する移動を表す、前記ビデオフレームの移動前景領域を識別させ、
前記移動前景領域と前記異なるビデオフレーム内の前景領域とに対応する前記ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出させ、
前記検出されたＲＯＩ特徴に基づいて、前記ビデオフレーム内のＲＯＩオブジェクトの形状を概算させる
命令を備えるコンピュータ可読媒体。
【請求項１１】
前記ビデオフレーム内の前記検出されたＲＯＩ特徴の位置が、前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記プログラム可能プロセッサに、前記ＲＯＩオブジェクトに関して正確なＲＯＩ特徴を選択するために、前記検出されたＲＯＩ特徴を検証させる命令をさらに備える、請求項１０に記載のコンピュータ可読媒体。
【請求項１２】
前記命令が、前記プロセッサに前記ＲＯＩオブジェクトを識別する出力画像を生成させ、前記ビデオフレームの非ＲＯＩ領域に対して前記ＲＯＩオブジェクトを優先的に符号化する、請求項１０に記載のコンピュータ可読媒体。
【請求項１３】
前記異なるビデオフレームが前記ビデオシーケンス内のこれまでのビデオフレームである、請求項１０に記載のコンピュータ可読媒体。
【請求項１４】
前記命令がプロセッサに、
前記ビデオフレームの前記ＲＯＩオブジェクト内の画素の第１の位置を前記異なるビデオフレーム内の前記画素の第２の位置と比較させ、
前記第２の位置から移動していない画素を背景画素として分類させ、
前記第２の位置から移動した画素を前景画素として分類させ、
前記前景画素に基づいて、前記移動前景領域を識別させる
請求項１０に記載のコンピュータ可読媒体。
【請求項１５】
前記命令が、前記ビデオフレームと前記ビデオシーケンスの前記異なるビデオフレームの間の動作情報に基づいて、どの領域が背景領域であるかを決定し、背景減算処理に基づいて前記移動前景領域を識別するために、プロセッサに前記ビデオフレーム内で前記背景減算処理を実行させる、請求項１０に記載のコンピュータ可読媒体。
【請求項１６】
ＲＯＩ特徴の検出のために、前記命令がプロセッサに、
前記ビデオフレーム内の皮膚色領域のクロミナンス値に基づいて、前記組み合わされた前景領域内の顔面を検出させ、
前記検出された顔面内の画素のクロミナンス値および輝度値に基づいて、前記組み合わされた前景領域内の目の特徴を検出させ、
前記検出された顔面の画素のクロミナンス値に基づいて、前記組み合わされた前景領域内の口の特徴を検出させる
請求項１０に記載のコンピュータ可読媒体。
【請求項１７】
前記検出されたＲＯＩ特徴が、前記組み合わされた前景領域内で検出された顔の特徴候補を備え、前記命令が、前記ＲＯＩオブジェクトに関して正確な顔の特徴を選択して、顔の特徴候補の前記セットから擬似の顔の特徴を除去するために、プロセッサに前記検出された顔の特徴候補を検証させる、請求項１０に記載のコンピュータ可読媒体。
【請求項１８】
前記組み合わされた前景領域が２個以上のＲＯＩオブジェクトを含み、前記方法が、前記ビデオフレーム内の前記検出されたＲＯＩ特徴の位置が前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記検出されたＲＯＩ特徴を前記個々のＲＯＩオブジェクトに関するグループに分離することと、最大整合方式問題を前記移動前景領域内の前記検出されたＲＯＩ特徴に応用することとをさらに備える、請求項１０に記載のコンピュータ可読媒体。
【請求項１９】
ビデオシーケンス内のビデオフレームを受信し、
前記ビデオシーケンス内の異なるビデオフレームに対する移動を表す、前記ビデオフレームの移動前景領域を識別し、
前記移動前景領域と前記異なるビデオフレームの前景領域とに対応する前記ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出し、
前記検出されたＲＯＩ特徴に基づいて、前記ビデオフレーム内のＲＯＩオブジェクトの形状を概算する
ようにプログラムされたプロセッサを備えるシステム。
【請求項２０】
前記プロセッサが、前記ビデオフレーム内の前記検出されたＲＯＩ特徴の位置が、前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記ＲＯＩオブジェクトに関して正確なＲＯＩ特徴を選択するために、前記検出されたＲＯＩ特徴を検証する、請求項１９に記載のシステム。
【請求項２１】
前記プロセッサが、前記ＲＯＩオブジェクトを識別する出力画像を生成して、前記ビデオフレームの非ＲＯＩ領域に対して前記ＲＯＩオブジェクトを優先的に符号化する、請求項１９に記載のシステム。
【請求項２２】
前記異なるビデオフレームが前記ビデオシーケンス内のこれまでのビデオフレームである、請求項１９に記載のシステム。
【請求項２３】
前記プロセッサが、
前記ビデオフレームの前記ＲＯＩオブジェクト内の画素の第１の位置を前記異なるビデオフレーム内の前記画素の第２の位置と比較し、
前記第２の位置から移動していない画素を背景画素として分類し、
前記第２の位置から移動した画素を前景画素として分類し、
前記前景画素に基づいて、前記移動前景領域を識別する
請求項１９に記載のシステム。
【請求項２４】
前記プロセッサが、前記ビデオフレームと前記ビデオシーケンス内の前記異なるビデオフレームの間の動作情報に基づいて、どの領域が背景領域かを決定して、背景減算処理に基づいて、前記移動前景領域を識別するために、前記ビデオフレーム内で背景減算処理を実行する、請求項１９に記載のシステム。
【請求項２５】
ＲＯＩ特徴の検出のために、プロセッサが、
前記ビデオフレーム内の皮膚色領域のクロミナンス値に基づいて、前記組み合わされた前景領域内の顔面を検出し、
前記検出された顔面内の画素のクロミナンス値および輝度値の両方に基づいて、前記組み合わされた前景領域内の目の特徴を検出し、
前記検出された顔面内の画素のクロミナンス値に基づいて、前記組み合わされた前景領域内の口の特徴を検出する
請求項１９に記載のシステム。
【請求項２６】
前記検出されたＲＯＩ特徴が、前記組み合わされた前景領域内で検出された顔の特徴候補を備え、前記プロセッサが、前記ＲＯＩオブジェクトに関して正確な顔の特徴を選択して、顔の特徴候補の前記セットから擬似の顔の特徴を除去するために、前記検出された顔の特徴候補を検証する、請求項１９に記載のシステム。
【請求項２７】
前記組み合わされた前景領域が２個以上のＲＯＩオブジェクトを含み、前記プロセッサが、前記ビデオフレーム内の前記検出されたＲＯＩ特徴が前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記検出されたＲＯＩ特徴を前記個々のＲＯＩオブジェクトに関するグループに分離して、最大整合方式問題を前記移動前景領域内の前記検出されたＲＯＩ特徴に応用する、請求項１９に記載のシステム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公表番号】特表２００９−５２６２９２（Ｐ２００９−５２６２９２Ａ）
【公表日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００８−５５３５５２（Ｐ２００８−５５３５５２）
【出願日】平成１９年２月７日（２００７．２．７）
【国際出願番号】ＰＣＴ／ＵＳ２００７／０６１８０２
【国際公開番号】ＷＯ２００７／０９２９０４
【国際公開日】平成１９年８月１６日（２００７．８．１６）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
【公表日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成１９年２月７日（２００７．２．７）
【国際出願番号】ＰＣＴ／ＵＳ２００７／０６１８０２
【国際公開番号】ＷＯ２００７／０９２９０４
【国際公開日】平成１９年８月１６日（２００７．８．１６）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
[ Back to top ]