ビデオテレフォニーに関する関心領域処理
【課題】ビデオテレフォニーに関する関心領域処理
【解決手段】
本開示は、ビデオテレフォニー（ＶＴ）用途に関する関心領域（ＲＯＩ）処理技術に関するものである。前記開示された技術により、受信者デバイスは、送信者デバイスによって送信された映像情報、すなわちファーエンド映像情報、に関するＲＯＩ情報を定義する。前記受信者デバイスは、前記ＲＯＩ情報を前記送信者デバイスに送信する。前記受信者デバイスによって送信された前記ＲＯＩ情報を用いて、前記送信者デバイスは、映像シーン内のＲＯＩに優先的符号化を適用する。この方法により、前記受信者デバイスは、前記送信者デバイスによるファーエンド映像情報のＲＯＩ符号化を遠隔制御することができる。
【解決手段】
本開示は、ビデオテレフォニー（ＶＴ）用途に関する関心領域（ＲＯＩ）処理技術に関するものである。前記開示された技術により、受信者デバイスは、送信者デバイスによって送信された映像情報、すなわちファーエンド映像情報、に関するＲＯＩ情報を定義する。前記受信者デバイスは、前記ＲＯＩ情報を前記送信者デバイスに送信する。前記受信者デバイスによって送信された前記ＲＯＩ情報を用いて、前記送信者デバイスは、映像シーン内のＲＯＩに優先的符号化を適用する。この方法により、前記受信者デバイスは、前記送信者デバイスによるファーエンド映像情報のＲＯＩ符号化を遠隔制御することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、米国仮特許出願番号６０／６６０，２００（出願日：２００５年３月９日）、及び"REGION-OF-INTEREST EXTRACTION FOR VIDEO TELEPHONY"（ビデオテレフォニーに関する関心領域抽出）という題名を有する係属中の米国特許出願番号１１／１８２，４３２（出願日：２００５年７月１５日）の利益を主張するものである。
【０００２】
本開示は、デジタル映像の符号化及び復号に関するものである。本発明は、より具体的には、ビデオテレフォニー（ＶＴ）用途に関する関心領域（ＲＯＩ）の処理技術に関するものである。
【背景技術】
【０００３】
デジタル映像シーケンスを符号化するための幾つかの異なる映像符号化基準が確立されている。例えば、ムービング・ピクチャー・エキスパーツ・グループ（ＭＰＥＧ）は、ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４を含む幾つかの基準を策定している。その他の例は、国際電気通信連合（ＩＴＵ）Ｈ．２６３基準、新規のＩＴＵ Ｈ．２６４基準を含む。これらの映像符号化基準は、一般的は、データを圧縮して符号化することによって映像シーケンスの向上された送信効率をサポートする。
【０００４】
ビデオテレフォニー（ＶＴ）は、テレビ会議等の用途をサポートするためにユーザーが映像及び音声情報を共有することを可能にする。典型的ビデオテレフォニー基準は、セッション開始プロトコル（ＳＩＰ）、ＩＴＵ Ｈ．３２３基準、及びＩＴＵ Ｈ．３２４基準によって定義されるビデオテレフォニー基準を含む。ＶＴシステムにおいては、ユーザーは、映像情報を送受信する、映像情報を受信するだけである、又は映像情報を送信するだけである。受信者は、一般的には、送信者から送信された形の受信映像情報を観る。
【０００５】
映像情報の選択された部分の優先的符号化が提案されている。例えば、送信者は、受信者に送信するためにより高い品質で符号化すべき関心領域（ＲＯＩ）を指定することができる。送信者は、遠隔の受信者に対してＲＯＩを強調するのを望むことができる。ＲＯＩの典型例は人間の顔であるが、送信者は、映像シーン内のその他のオブジェクトに注意を集中するのを望むことができる。ＲＯＩを優先的に符号化することにより、受信者は、非ＲＯＩ領域よりも鮮明にＲＯＩを観ることができる。
【発明の開示】
【課題を解決するための手段】
【０００６】
本開示は、ビデオテレフォニー（ＶＴ）に関する関心領域（ＲＯＩ）処理技術に関するものである。開示された技術により、ローカル受信者デバイスは、遠隔送信者デバイスによって符号化及び送信された映像、すなわちファーエンド映像、に関するＲＯＩ情報を定義する。前記ローカル受信者デバイスは、前記ＲＯＩ情報を前記遠隔送信者デバイスに送信する。前記送信者デバイスは、前記受信者デバイスによって送信された前記ＲＯＩ情報を用いて、映像シーン内のＲＯＩに対して優先的符号化、例えばより高質な符号化又はエラー保護、を適用する。この方法により、受信者デバイスは、送信者デバイスによって符号化されたファーエンド映像のＲＯＩ符号化を遠隔で制御することができる。
【０００７】
受信者は、ファーエンド映像を受信することに加えて、映像、すなわちニアエンド映像を送信するために装備することもできる。従って、ＶＴ通信に参加するデバイスは、映像情報の送信者及び受信者の両方として対称的に行動することができる。各デバイスは、受信者として行動し、送信者としての遠隔デバイスによって符号化された映像に関するファーエンドＲＯＩ情報を定義することができる。さらに、各デバイスは、送信者として行動し、受信者としての他方のデバイスに送信される映像情報に関するニアエンドＲＯＩ情報を定義することができる。送信者デバイス又は受信者デバイスは、ＲＯＩ映像符号化の遠隔制御をサポートするために他のデバイスによって提供されるＲＯＩ情報を処理することができるという意味で「ＲＯＩ認識」と呼ぶことができる。
【０００８】
ファーエンドＲＯＩ情報は、受信者が受信された映像シーン内のオブジェクト又は領域をより鮮明に観るために送信者デバイスによる遠隔ＲＯＩ符号化を制御することを可能にする。ニアエンドＲＯＩ情報は、送信者が送信された映像シーン内のオブジェクト又は領域を強調するためにローカルＲＯＩ符号化を制御することを可能にする。従って、送信者によるＲＯＩの優先的符号化は、受信者又は送信者によって生成されたＲＯＩ情報に基づくことができる。さらに、受信者デバイスは、エラー隠蔽技術、デブロッキング技術又はデリンギング技術、等のより高質の後処理を適用することによって、ＲＯＩ情報に基づいてＲＯＩを優先的に復号することができる。
【０００９】
本開示は、ＲＯＩ処理を容易にするために、ＲＯＩの選択、ＲＯＩマッピング、ＲＯＩ抽出、ＲＯＩシグナリング、ＲＯＩ追跡、及び送信者デバイスによるＲＯＩ符号化の遠隔制御を可能にするための受信者デバイスのアクセス認証に関する技術をさらに企図している。ＲＯＩの選択は、予め定義されたＲＯＩパターン、口頭又はテキストによるＲＯＩ記述（ｄｅｓｃｒｉｐｔｉｏｎ）、又はユーザーによるＲＯＩ描写に依存することができる。ＲＯＩマッピングは、選択されたＲＯＩパターンをＲＯＩマップに変換することを含み、前記ＲＯＩマップは、映像符号器によって用いるのに適したマクロブロック（ＭＢ）マップの形態をとることができる。
【００１０】
ＲＯＩシグナリングは、受信者デバイスから送信者デバイスへのＲＯＩ情報のインバンド又はアウトオブバウンドシグナリングを含むことができる。ＲＯＩ追跡は、ＲＯＩの動きに応じたＲＯＩマップの動的調整を含む。アクセス認証は、ＲＯＩの遠隔制御を目的として、及びローカルユーザーと遠隔ユーザーとの間における又は複数の遠隔ユーザー間におけるＲＯＩ制御の対立の解決策として、アクセス権及びアクセスレベルを受信者デバイスに与えることを含むことができる。
【００１１】
ＲＯＩ抽出は、ユーザーによる関心領域（ＲＯＩ）の記述を処理して前記記述に基づいて前記ＲＯＩを指定する情報を生成することを含む。ニアエンド映像は、前記ＲＯＩを指定する前記情報に基づいて符号化することで前記ニアエンド映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させることができる。前記ユーザーによる記述は、テキスト、図形、又は音声に基づくことができる。抽出モジュールは、前記ＲＯＩ情報を前記ユーザーによる記述から生成するための適切な処理を適用する。前記抽出モジュールは、映像通信デバイスとともにローカルで常駐すること、又はＲＯＩ抽出用に構成された個別の中間サーバー内に常駐することができる。
【００１２】
一実施形態においては、本開示は、ローカルデバイスによって符号化されて遠隔デバイスによって受信されたニアエンド映像内における関心領域（ＲＯＩ）を指定する情報を前記遠隔デバイスから受信することと、前記ＲＯＩに基づいて前記ニアエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させること、とを具備する方法を提供する。
【００１３】
他の実施形態においては、本開示は、遠隔映像通信デバイスに送信されたニアエンド映像内における関心領域（ＲＯＩ）を指定する情報を前記遠隔映像通信デバイスから受信する関心領域（ＲＯＩ）エンジンと、前記ニアエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる映像符号器と、を具備する映像符号化デバイスを提供する。
【００１４】
追加の実施形態においては、本開示は、遠隔デバイスによって送信されてローカルデバイスによって受信されたファーエンド映像内における関心領域（ＲＯＩ）を指定する情報を生成することと、前記ＲＯＩに基づいて前記ファーエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる際に使用するために前記情報を前記遠隔デバイスに送信すること、とを具備する方法を提供する。
【００１５】
さらなる実施形態においては、本開示は、遠隔デバイスから受信されたファーエンド映像内における関心領域（ＲＯＩ）を指定する情報を生成する関心領域（ＲＯＩ）エンジンと、前記ファーエンド映像を前記ＲＯＩに基づいて符号化して前記ファーエンド映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる際に前記遠隔デバイスによって用いるために前記ＲＯＩを指定する情報を前記符号化されたニアエンド映像とともに送信する映像符号器と、を具備する映像符号化デバイスを提供する。
【００１６】
他の実施形態においては、本開示は、ローカルデバイスによって生成されたニアエンド映像内における関心領域（ＲＯＩ）の記述をユーザーから受信することと、前記記述に基づいて前記ＲＯＩを指定する情報を生成することと、前記ＲＯＩを指定する前記情報に基づいて前記ニアエンド映像を符号化して前記ニアエンド映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させること、とを具備する方法を提供する。
【００１７】
追加の実施形態においては、本開示は、映像符号化デバイスであって、前記デバイスによって符号化されたニアエンド映像内における関心領域（ＲＯＩ）の記述を受信し、前記記述に基づいて前記ＲＯＩを指定する情報を生成する関心領域（ＲＯＩ）エンジンと、前記ニアエンド映像を符号化して前記映像の非ROIエリアに対する前記ＲＯＩの画質を向上させる映像符号器と、を具備する映像符号化デバイス、を提供する。
【００１８】
さらなる実施形態においては、本開示は、ニアエンド映像を符号化する第１の映像通信デバイスと、前記第１の映像通信デバイスから前記ニアエンド映像を受信する第２の映像通信デバイスであって、前記第１の映像通信デバイスによって生成された前記ニアエンド映像内における関心領域（ＲＯＩ）に関するユーザーの記述を生成する第２の映像通信デバイスと、前記第１及び第２の映像通信デバイスと構造的に別個であり、前記記述に基づいて前記ＲＯＩを指定する情報を生成する中間サーバーと、を具備し、前記第１の映像通信デバイスは、前記ＲＯＩを指定する前記情報に基づいて前記ニアエンド映像を符号化して前記ニアエンド映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる、映像符号化システムを提供する。
【００１９】
本明細書において説明される技術は、ハードウェア内、ソフトウェア内、ファームウェア内、又はその組合せ内において実装することができる。ソフトウェア内に実装された場合は、前記技術は、実行されたときに本明細書において説明される方法のうちの１つ以上を実行する命令を含むプログラムコードを具備するコンピュータ読み取り可能媒体によって一部を実現させることができる。
【００２０】
１つ以上の実施形態の詳細が、添付図面及び以下の説明において示されている。該説明及び図面から、及び請求項からその他の特長、目的、及び利点が明確になるであろう。
【発明を実施するための最良の形態】
【００２１】
図１は、ＲＯＩ認識映像符号器−復号器（ＣＯＤＥＣ）を組み入れた映像符号化及び復号システム１０を示すブロック図である。図１に示されるように、システム１０は、第１の映像通信デバイス１２と、第２の映像通信デバイス１４と、を含む。通信デバイス１２、１４は、送信チャネル１６によって接続される。送信チャネル１６は、有線又は無線の媒体であることができる。システム１０は、ビデオテレフォニーに関する映像通信デバイス１２、１４の間における双方向映像送信をサポートする。デバイス１２、１４は、実質的に対称的に動作することができる。しかしながら、幾つかの実施形態においては、一方又は両方の映像通信デバイス１２、１４は、ＲＯＩ認識映像ストリーミングをサポートするために１方向通信のみに関して構成することができる。
【００２２】
双方向性の用途に関しては、相互符号化、復号、多重化（ＭＵＸ）及び逆多重化（ＤＥＭＵＸ）コンポーネントをチャネル１６の反対側の端部に備えることができる。図１の例においては、映像通信デバイス１２は、ＭＵＸ／ＤＥＭＵＸコンポーネント１８と、ＲＯＩ認識映像ＣＯＤＥＣ２０と、音声ＣＯＤＥＣ２２と、を含む。同様に、映像通信デバイス１４は、ＭＵＸ／ＤＥＭＵＸコンポーネント２６と、ＲＯＩ認識映像ＣＯＤＥＣ２８と、音声ＣＯＤＥＣ３０と、を含む。各ＣＯＤＥＣ２０、２８は、他の映像通信デバイス１２、１４から遠隔で、又は自己の映像通信デバイスからローカルで提供されるＲＯＩ情報を処理することができるという意味で「ＲＯＩ認識」である。
【００２３】
映像通信デバイス１２、１４は、映像ストリーミング、ビデオテレフォニー、又は両方のために備えられた無線移動端末又は有線端末として実装することができる。この目的のために、映像通信デバイス１２、１４は、無線通信をサポートするための適切な送信機、受信機、モデム、及び処理用電子装置をさらに含むことができる。無線移動端末の例は、無線通信能力及び映像符号化及び／又は復号能力を備えた移動無線電話、モバイルパーソナルデジタルアシスタント（ＰＤＡ）、モバイルコンピュータ、又はその他のモバイルデバイスを含む。有線端末の例は、デスクトップコンピュータ、ビデオ電話、ネットワーク機器、セットトップボックス、双方向型テレビ、等、を含む。どちらの映像通信デバイス１２、１４も、映像情報を送信するように、映像情報を受信するように、又は映像情報を送受信するように構成することができる。
ビデオテレフォニー用途に関しては、一般的には、デバイス１２が映像送信能力及び映像受信能力の両方をサポートするのが望ましい。しかしながら、ストリーミング映像用途も企図されている。ビデオテレフォニー、特に無線通信によるモバイルビデオテレフォニーにおいては、帯域幅が重要な懸念事項である。従って、追加の符号化ビットをＲＯＩに選択的に割り当てること、又はその他の優先的符号化ステップは、全体的な符号化効率を維持しながら映像の一部分の画質を向上させることができる。優先的符号化に関しては、追加のビットをＲＯＩに割り当てることができ、その一方で減らされた数のビットを非ＲＯＩ領域、例えば映像シーン内の背景、に割り当てることができる。
【００２４】
一般的には、システム１０は、ビデオテレフォニー（ＶＴ）用途に関する関心領域（ＲＯＩ）を処理するための技術を採用する。しかしながら、前記技術は、上述されるように、映像ストリーミング用途に対しても応用可能である。例示することを目的として、各映像通信デバイス１２、１４は、映像情報の送信者及び受信者の両方として動作し、それによってＶＴセッションへの完全な参加者として動作することができると仮定される。映像通信デバイス１２から映像通信デバイス１４に送信される映像情報に関しては、映像通信デバイス１２が送信者デバイスであり、映像通信デバイス１４が受信者デバイスである。逆に、映像通信デバイス１４から映像通信デバイス１２に送信される映像情報に関しては、映像通信デバイス１２が受信者デバイスであり、映像通信デバイス１４が送信者デバイスである。ローカル映像通信デバイス１２、１４によって符号化及び送信される映像情報について論じるときには、前記映像情報は、「ニアエンド」映像と呼ばれる。遠隔映像通信デバイス１２、１４によって符号化される及び遠隔映像通信デバイス１２、１４から受信される映像情報について論じるときには、前記映像情報は、「ファーエンド」映像と呼ばれる。
【００２５】
開示される技術により、映像通信デバイス１２又は１４は、受信者デバイスとして動作時には、送信者デバイスから受信されるファーエンド映像情報に関するＲＯＩ情報を定義する。繰り返しになるが、送信者デバイスから受信される映像情報は、通信チャネルの遠端部に位置する他方の（送信者）デバイスから受信されるという意味で「ファーエンド」映像情報と呼ばれる。同様に、送信者デバイスから受信される映像情報に関して定義されたＲＯＩ情報は、「ファーエンド」ＲＯＩ情報と呼ばれる。ファーエンドＲＯＩは、一般的には、ファーエンド映像の受信者にとっても最も関心のあるファーエンド映像内の領域を指す。受信者デバイスは、ファーエンド映像情報を復号し、復号されたファーエンド映像を表示デバイスを介してユーザーに提示する。ユーザーは、ファーエンド映像によって提示された映像シーン内のＲＯＩを選択する。
【００２６】
受信者デバイスは、ユーザーによって選択されたＲＯＩに基づいてファーエンドＲＯＩ情報を生成し、該ファーエンドＲＯＩ情報を送信者デバイスに送信する。ファーエンドＲＯＩ情報は、ＲＯＩ内に常駐するＲＯＩマクロブロック（ＭＢ）に基づいてＲＯＩを定義するＲＯＩマクロブロック（ＭＢ）マップの形態をとることができる。ＲＯＩ ＭＢマップは、ＲＯＩに含まれているＭＢ（１）及びＲＯＩから除外されているＭＢ（０）を簡単に識別するために、ＲＯＩ内のＭＢに１のフラグを付け、ＲＯＩ外のＭＢに０のフラグを付けることができる。ＭＢは、フレームの一部を形成する映像ブロックである。ＭＢの大きさは、１６×１６画素であることができる。しかしながら、その他のＭＢの大きさも可能である。従って、ＭＢは、限定することなしに、ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４、ＩＴＵ Ｈ．２６３、ＩＴＵ Ｈ．２６４、又はその他の基準、等の特定の映像符号化基準内において定義されるマクロブロックを含むあらゆる映像ブロックを指すことができる。
【００２７】
送信者デバイスは、受信者デバイスによって送信されたファーエンドＲＯＩ情報を用いることによって、映像シーン内の対応するＲＯＩに対して優先的符号化を適用する。特に、ＲＯＩに対して追加の符号化ビットを割り当てて減らされた数のビットを非ＲＯＩ領域に割り当て、それによってＲＯＩの画質を向上させることができる。この方法により、受信者デバイスは、送信者デバイスによるファーエンド映像情報のＲＯＩ符号化を遠隔制御することができる。優先的符号化は、例えばＲＯＩエリア内における優先的ビット割当て又は優先的量子化によって、映像シーンの非ＲＯＩエリアに対してよりも高い品質の符号化をＲＯＩエリアに対して適用する。優先的に符号化されたＲＯＩは、受信者デバイスのユーザーがオブジェクト又は領域をより鮮明に観るのを可能にする。例えば、受信者デバイスのユーザーは、顔又はその他の何らかのオブジェクトを映像シーンの背景領域よりも鮮明に観るのを希望することができる。
【００２８】
映像通信デバイス１２又は１４は、送信者デバイスとして動作時には、送信者デバイスによって送信される映像情報に関するＲＯＩ情報を定義することもできる。繰り返しになるが、送信者デバイスにおいて生成される映像情報は、通信チャネルの近端部において生成されるという意味で「ニアエンド」映像と呼ばれる。送信者デバイスによって生成されたＲＯＩ情報は、「ニアエンド」ＲＯＩ情報と呼ばれる。ニアエンドＲＯＩは、一般的には、送信者が受信者に対して強調することを希望するニアエンド映像の領域を指す。従って、ＲＯＩは、受信者デバイスユーザーの場合はファーエンドＲＯＩ情報として、送信者デバイスユーザーの場合はニアエンドＲＯＩ情報として指定することができる。送信者デバイスは、表示デバイスを通じてユーザーにニアエンド映像を提示する。送信者デバイスと関連するユーザーは、ニアエンド映像によって提示された映像シーン内のＲＯＩを選択する。送信者デバイスは、ニアエンド映像内のＲＯＩが例えば非ＲＯＩエリアよりも高い品質の符号化を用いて優先的に符号化されるようにするために、ユーザーによって選択されたＲＯＩを用いてニアエンド映像を符号化する。
【００２９】
送信者デバイスにおいてローカルユーザーによって選択されたニアエンドＲＯＩは、送信者デバイスのユーザーが映像シーン内の領域又はオブジェクトを強調し、それによって前記領域又はオブジェクトに受信者デバイスユーザーの注意を向けさせることを可能にする。顕著なことに、送信者デバイスユーザーによって選択されたニアエンドＲＯＩは、受信者デバイスに送信する必要がない。その代わりに、送信者デバイスは、ニアエンド映像が受信者デバイスに送信される前に、選択されたニアエンドＲＯＩ情報を用いてニアエンド映像をローカルで符号化する。しかしながら、幾つかの実施形態においては、送信者デバイスは、優先的復号技術、例えばエラー隠蔽等のより高い品質のエラー補正又はデブロッキング及びデリンギングフィルタ等の後処理、の適用を可能にするためにＲＯＩ情報を受信者デバイスに送信することができる。
【００３０】
ＲＯＩ情報が送信者デバイス及び受信者デバイスの両方によって提供される場合は、送信者デバイスは、ニアエンド映像を符号化するために、受信者デバイスからの受信されたファーエンドＲＯＩ情報又はローカルで生成されたニアエンドＲＯＩ情報を適用する。送信者デバイス及び受信者デバイスによって提供されたニアエンドＲＯＩの選択とファーエンドＲＯＩの選択との間においてＲＯＩの対立が生じることがある。該対立は、本開示の別の箇所において説明されるように、解決、例えば、ローカルユーザーによる能動的解決又は指定されたアクセス権及びアクセスレベルに従った解決、等を要求する。いずれの場合においても、送信者デバイスは、送信者デバイスによってローカルで又は受信者デバイスによって遠隔で提供されたニアエンドＲＯＩ情報に基づいて優先的にＲＯＩを符号化する。
【００３１】
本開示は、ＲＯＩ処理を容易にするために、ＲＯＩ選択、ＲＯＩマッピング、ＲＯＩシグナリング、ＲＯＩ追跡、及び送信者デバイスによるＲＯＩ符号化の遠隔制御を許可するための受信者デバイスのアクセス認証に関する技術をさらに企図している。説明されるように、受信者デバイス又は送信者デバイスによって適用される異なるＲＯＩ選択技術は、予め定義されたＲＯＩパターンの選択、口頭又はテキストによるＲＯＩの記述、又はユーザーによるＲＯＩ描画を含むことができる。受信者デバイスにおいては、ＲＯＩマッピングは、選択されたファーエンド又はニアエンドＲＯＩパターンをＲＯＩマップに変換することを含むことができ、前記ＲＯＩマップは、マクロブロック（ＭＢ）マップの形態をとることができる。ＲＯＩシグナリングは、受信者デバイスから送信者デバイスへのファーエンドＲＯＩ情報のインバンド又はアウトオブバンドのシグナリングを含むことができる。ＲＯＩ追跡は、ＲＯＩの動きに応じて、受信者デバイスによって生成されたファーエンドＲＯＩマップ、又は送信者自体によって生成されたローカルニアエンドＲＯＩの動的調整を含む。アクセス認証は、遠隔のファーエンドＲＯＩ制御を目的として、及び受信者デバイスと送信者デバイスとの間におけるＲＯＩの制御の対立の解決策として、アクセス権及びアクセスレベルを受信者デバイスに与えることを含むことができる。
【００３２】
システム１０は、セッション開始プロトコル（ＳＩＰ）、ＩＴＵ Ｈ．３２３基準、ＩＴＵ Ｈ．３２４基準、又はその他の基準に従ったビデオテレフォニーをサポートすることができる。各映像ＣＯＤＥＣ２０、２８は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ Ｈ．２６３、又はＩＴＵ Ｈ．２６４、等の映像圧縮基準に従って符号化された映像データを生成する。図１においてさらに示されるように、映像ＣＯＤＥＣ２０、２８は、各々の音声ＣＯＤＥＣ２２、３０と統合することができ、データストリームの音声部分と映像部分を取り扱うための該当するＭＵＸ／ＤＥＭＵＸコンポーネント１８、２６を含む。ＭＵＸ−ＤＥＭＵＸ装置１８、２６は、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はその他のプロトコル、例えばユーザーデータグラムプロトコル（ＵＤＰ）、に準拠することができる。
【００３３】
図２は、無線通信デバイス３８と関連するディスプレイ３６上に提示された映像シーン３４内におけるＲＯＩ３２の定義を示す図である。図２の例においては、ＲＯＩ３２は、映像シーン３４において提示された人の顔３９を含む長方形の領域であるが、該ＲＯＩは、改良された又は向上された符号化が希望される画像又はオブジェクトを含むことが可能である。ＶＴ用途においては、映像シーン３４において提示される人は、典型的には、受信者デバイスとして動作している無線通信デバイス３８のユーザーとのテレビ会議の当事者である遠隔送信者デバイスのユーザーになる。ＲＯＩ３２は、遠隔送信者デバイスから送信された映像シーン内におけるＲＯＩを定義するという点でファーエンドＲＯＩを構成する。本開示により、ファーエンドＲＯＩ３２は、ＲＯＩ内における映像シーンのエリアの優先的符号化を指定するために送信者デバイスに送信される。この方法により、受信者デバイス３８のローカルユーザーは、ファーエンドＲＯＩ３２の画質を遠隔で制御することができる。後述されるように、ファーエンドＲＯＩ３２の大きさ、形状及び位置は、固定又は調整可能であり、様々な方法で定義、記述又は調整することができる。
【００３４】
ＲＯＩ３２は、受信者デバイスユーザーが映像シーン３４内の人の顔３９、等の個々のオブジェクトをより鮮明に観ることを可能にする。ＲＯＩ３２内の顔３９は、映像シーン３４の背景領域、等の非ＲＯＩエリアよりも高い画質で符号化される。この方法により、ユーザーは、顔の表情、唇の動き、目の動き、等をより鮮明に観ることができる。しかしながら、ＲＯＩ３２は、代替として、顔以外のオブジェクトを指定するために用いることができる。概して、ＶＴ用途におけるＲＯＩは非常に主観的であることが可能であり、ユーザーごとに異なる可能性がある。希望されるＲＯＩも、ＶＴがどのように用いられるかに依存する。幾つかの事例においては、ＶＴは、テレビ会議とは対照的に、オブジェクトを観るため及び評価するために用いることができる。
【００３５】
例えば、夫は、ギフトショップ又は空港で購入したい贈り物を見せるためにＶＴ用途を用いることができる。夫は、タイムリーな形で及び対話形式で自分の妻からセカンドオピニオンを得るのを希望することができる。このようにすることで、夫は、飛行機がまさに出発しようとしているときに直ちに決定をすることができる。この場合は、ＲＯＩは、夫が検討中である贈り物を網羅する領域である。妻（又は夫）がＲＯＩを選択するのを可能にすることによって、特定のＲＯＩに関してより良い符号化又はより良い品質のサービスを達成させ、それによって妻が贈り物をより鮮明に観ることを可能にすることができる。
【００３６】
他の例として、２人以上の技師が、黒板上での様々な方程式又は線図のプレゼンテーション及び解説が関わるＶＴ呼を行うことができる。この場合は、遠隔ユーザーは、例えば方程式の詳細をより鮮明に見るために黒板の一部分をより高い画質で観るのを望むことができる。その目的のため、遠隔ユーザーは、方程式を包含するＲＯＩを選択する。さらに、技師が黒板に追記するのに応じて、遠隔ユーザーは、黒板に新たに追記された主題を追跡するためにＲＯＩを移動させるのを望むことができる。遠隔ユーザーがＲＯＩを指定できることは、技術的な討論における情報交換を大幅に向上させることができる。
【００３７】
本明細書において説明されるＲＯＩ技術は、ＲＯＩの映像の品質を向上させるだけでなく、２人のユーザー間における映像での対話も向上させることができる。一般的には、従来のＶＴ用途は、単に２つの１方向の映像送信を結合させるだけであり、対話は声で行われる。従来のＶＴ用途においては、典型的には、映像側での対話は存在しない。受信者デバイスがＴＶ呼中に送信者デバイスから受信される映像コンテンツに対する少なくとも制限された制御を有するのを可能にすることは、増大した映像対話を可能にする。
【００３８】
この方法により、ＶＴ用途は、受信者デバイスユーザーがＲＯＩを選択し、例えばより多くの符号化ビットの割当て、より強力なエラー保護、例えばＭＢ内リフレッシュメント、によってＲＯＩの優先的な処理、例えばより高質の符号化、を行うために送信者デバイスにＲＯＩ情報を送り返すことができるように設計することが可能である。実際上は、ファーエンドＲＯＩを指定することによって、受信者デバイスユーザーは、送信者デバイス符号器を遠隔制御することができる。さらに、このファーエンドＲＯＩ情報は、より良い後処理、例えばエラー隠蔽、デブロッキング又はデリンギングのためにファーエンド映像を受信するデバイス内のＲＯＩ認識映像復号器によって用いることができる。符号化された映像の受信者による映像符号器の遠隔制御は、遠隔カメラのパン、チルト、ズーム又は焦点を単に制御するのとは異なる。対照的に、遠隔ＲＯＩ処理のおかげで、ユーザーは、特定の１つの領域又は複数の領域に適用される符号化の質に影響を与えることができる。しかしながら、幾つかの実施形態においては、遠隔カメラ制御は、遠隔映像符号器制御と組み合わせて提供することができる。
【００３９】
図３は、ＲＯＩ認識ＣＯＤＥＣを組み入れた映像通信デバイス１２を示したブロック図である。図３は、図１の映像通信デバイス１２を描いているが、映像通信デバイス１４は、同様に構築することができる。繰り返しになるが、映像通信デバイス１２又は１４は、受信者デバイス、送信者デバイス、及び好ましいことに受信者デバイスと送信者デバイスの両方として機能することができる。図３に示されるように、映像通信デバイス１２は、ＲＯＩ認識ＣＯＤＥＣ２０と、映像キャプチャデバイス４０と、ユーザーインタフェース４２と、を含む。図１３ではチャネル１６が示されているが、例示を容易にするためにＭＵＸ−ＤＥＭＵＸ及び音声コンポーネントは省略されている。映像キャプチャデバイス４０は、映像通信デバイス１２と統合した又は動作可能な形で結合されたビデオカメラであることができる。例えば、幾つかの実施形態においては、映像キャプチャデバイス４０は、携帯電話と統合していわゆるビデオカメラフォンを構成することができる。この方法により、映像キャプチャデバイス４０は、モバイルＴＶ用途をサポートすることができる。
【００４０】
ユーザーインタフェース４２は、映像通信デバイス１２と統合または動作可能な形で結合させることができる表示デバイス、例えば、液晶ディスプレイ（ＬＣＤ）、プラズマ画面、プロジェクタディスプレイ、又はその他の表示装置、を含むことができる。表示デバイスは、映像通信デバイス１２のユーザーに映像画像を提示する。映像画像は、映像キャプチャデバイス４０によってローカルで得られたニアエンド映像、及び送信者デバイスから遠隔送信されたファーエンド映像を含む。さらに、ユーザーインタフェース４２は、映像通信デバイス１２のユーザーによる情報入力のためのハードキー、ソフトキー、様々なポインティング装置、スタイラス、等を含む様々なユーザー入力媒体のうちのいずれかを含むことができる。幾つかの実施形態においては、表示デバイス及びユーザーインタフェース４２のユーザー入力媒体は、携帯電話と一体化することができる。映像通信デバイス１２のユーザーは、ファーエンド映像、及びオプションとしてのニアエンド映像を観るためにユーザーインタフェース４２に依存する。さらに、ユーザーは、ファーエンドＲＯＩ、及びオプションとしてのニアエンドＲＯＩの定義又は選択に関する情報を入力するためにユーザーインタフェース４２に依存する。
【００４１】
図３においてさらに示されるように、ＲＯＩ認識ＣＯＤＥＣ２０は、ＲＯＩエンジン４４と、ＲＯＩ認識映像符号器４６と、ＲＯＩ認識映像復号器４８と、を含む。ＲＯＩ認識映像符号器４６は、遠隔の受信者デバイスに送信するために映像キャプチャデバイス４０から得られたニアエンド映像（「ニアエンド映像」）を符号化する。繰り返しになるが、「ニアエンド」という表現は、映像通信デバイス１４等の遠隔映像通信デバイスから受信された「ファーエンド」映像とは対照的に、映像通信デバイス１２内においてローカルで生成される映像を指定する。図３の例において、ＲＯＩ認識映像符号器４６は、ニアエンドＲＯＩを優先的に符号化するために遠隔受信機（「遠隔ニアエンドＲＯＩ」）から得られたニアエンドＲＯＩ情報を使用する。遠隔受信機は、遠隔映像通信デバイス１４と関連するユーザーである。
【００４２】
遠隔ユーザーの観点からは、遠隔ニアエンドＲＯＩは、遠隔ニアエンドＲＯＩは、遠隔デバイス１４によって送信されるときには遠隔ファーエンドＲＯＩであり、受信されるときにはデバイス１２のローカルユーザーの観点からは遠隔ニアエンドＲＯＩと呼ばれる。すなわち、送信者又は受信者としてのデバイス１２、１４の観点は、映像及びＲＯＩがニアエンド映像又はファーエンド映像のいずれに適用可能であるとみなされるかを決定する。繰り返しになるが、遠隔デバイス１４における映像符号化を遠隔制御するローカルデバイス１２のユーザーは、ファーエンドＲＯＩを指定する。しかしながら、遠隔デバイス１４のユーザーは、ファーエンドＲＯＩを受信するが、ローカルデバイス１４によって符号化されているニアエンド映像に関係するため遠隔ニアエンドＲＯＩとみなされる。一般的には、本開示において用いられるラベルの目的上、観点が重要である。
【００４３】
オプションとして、ＲＯＩ認識映像符号器４６は、映像通信デバイス１４のローカルユーザーから得られたニアエンドＲＯＩ情報（「ローカルニアエンドＲＯＩ」）を用いることができる。ローカルニアエンドＲＯＩは、符号化されたニアエンド映像の送信者によって生成されるため送信者駆動ＲＯＩと呼ばれることもある。ローカルニアエンドＲＯＩ情報は、ローカル符号器４６によって用いられ、典型的には、遠隔デバイス１４内の映像復号器が送信者デバイス１２のユーザーによって指定されたニアエンドＲＯＩに対して優先的復号を適用するように設計されていないかぎり、他方の映像通信デバイス１４に送信されない。遠隔ニアエンドＲＯＩは、符号化されたニアエンド映像の遠隔受信者によって生成されるため、受信者駆動ＲＯＩと呼ぶこともできる。遠隔ニアエンドＲＯＩは、映像通信デバイス１２によって生成された映像の受信者がＲＯＩ認識符号器４６によるＲＯＩ符号化を制御することを許可し、ローカルニアエンドＲＯＩは、映像通信デバイス１２によって生成された映像の送信者がＲＯＩ認識符号器４６によるＲＯＩ符号化を制御することを許可する。幾つかの場合においては、後述されるように、遠隔及びローカルＲＯＩの定義が対立して対立の解決が要求されることがある。
【００４４】
ローカル及び遠隔ニアエンドＲＯＩ情報は、ニアエンドＲＯＩマクロブロック（ＭＢ）マップ（「ニアエンドＲＯＩ ＭＢマップ」）としてＲＯＩ認識符号器４６に提供することができる。ニアエンドＲＯＩ ＭＢマップは、受信者ニアエンドＲＯＩ又は送信者ニアエンドＲＯＩのどちらかに常駐する特定のＭＢを識別する。ＲＯＩ認識符号器４６は、例えば遠隔映像通信デバイス１４において遠隔ユーザーによって観られたときのＲＯＩの画質を向上させるために、ニアエンド映像内のＲＯＩをより高い品質の符号化、より強力なエラー保護、又はその両方によって優先的に処理する。ＲＯＩに関するより良いエラー保護は、無線テレフォニー用途においては特に望ましい。結果的に得られる符号化されたニアエンド映像（「符号化されたニアエンド映像」）は、遠隔デバイス１４に送信される。
【００４５】
説明されるように、ＲＯＩ認識映像符号器４６は、遠隔映像通信デバイス１４から受信されたファーエンド映像に関して映像通信デバイス１２のローカルユーザーによって生成されているファーエンドＲＯＩ情報（「ファーエンドＲＯＩ」）も送信する。ファーエンドＲＯＩは、遠隔映像通信デバイス１４によって符号化された映像に関する受信者駆動ＲＯＩとして機能する。実際上、映像通信デバイス１２によって送信されたファーエンドＲＯＩ情報は、ＲＯＩ認識復号器４８によって受信された遠隔ニアエンドＲＯＩがＲＯＩ認識映像符号器４６を制御するために映像通信デバイス１２によって用いられるのとまったく同じように、遠隔映像通信デバイス１４によって生成されたファーエンド映像の符号器の少なくとも部分的な制御を許可する。この方法により、各映像通信デバイス１２、１４は、他方のデバイスによって生成されたファーエンド映像におけるＲＯＩ符号化に影響を与えることができる。
【００４６】
映像通信デバイス１２によって送信されたファーエンドＲＯＩ情報は、インバンド又はアウトオブバンドシグナリング情報として送信することができる。インバンドシグナリングの場合は、ファーエンドＲＯＩ情報は、遠隔映像通信デバイス１４に送信される符号化されたニアエンド映像ビットストリーム内に埋め込むことができる。例えば、ＭＰＥＧ４ビットストリームフォーマットにおいては、ビットストリームを記述する情報を埋め込むために用いることができる“ユーザー＿データ”と呼ばれるフィールドが存在する。“ユーザー＿データ”フィールド、又はその他のビットストリームフォーマットにおける同様のフィールドは、ビットストリームコンプライアンスに違反せずにファーエンドＲＯＩ情報を埋め込むために用いることができる。代替として、ＲＯＩ情報は、暗号法等のいわゆるデータ隠蔽技術によって映像ビットストリーム内に埋め込むことができる。
【００４７】
ＲＯＩ認識映像復号器４８は、ユーザー＿データフィールド又は遠隔デバイスから着信したファーエンド映像内のその他の場所においてＲＯＩ情報を求めるように構成される。アウトオブバンドシグナリングの場合は、ＩＴＵ Ｈ．２４５又はＳＩＰ、等のシグナリングプロトコルを用いてファーエンドＲＯＩ情報を伝達することができる。いずれの場合においても、ファーエンドＲＯＩ情報は、ＲＯＩ ＭＢマップ又はファーエンドＲＯＩの位置及び／又は大きさを定義する物理的座標の形態をとることができる。復号器４８がファーエンド映像ビットストリームをいったん受信した時点で、復号器４８は、遠隔送信者デバイスと同意されたフォーマットに基づいてＲＯＩ情報を検索し、遠隔ニアエンドＲＯＩを映像符号器５６に提供する前にニアエンドＲＯＩ制御に関するアクセス許可を得るためにＲＯＩ情報をアクセス認証モジュール５８に渡す。
【００４８】
ファーエンド映像内においてＲＯＩを優先的に符号化するために遠隔映像符号器を制御することに加えて、ファーエンドＲＯＩ情報は、ファーエンド映像のＲＯＩ内におけるＭＢを優先的に復号するためにローカル映像復号器に適用することができる。例えば、図３においてさらに示されるように、遠隔符号器に送信するためにＲＯＩマッパー５４によって生成される同じファーエンドＲＯＩ ＭＢを、ＲＯＩ認識映像復号器４８に提供することが可能である。ＲＯＩ認識映像復号器４８は、遠隔映像通信デバイス１４から受信されたファーエンド映像内のＭＢを優先的に復号するためにＲＯＩ ＭＢマップを使用する。例えば、ＲＯＩ認識映像復号器４８は、非ＲＯＩ ＭＢに対するよりも優れた後処理をＲＯＩ ＭＢに対して適用することができる。追加で、又は代替で、ＲＯＩ認識映像復号器４８は、非ＲＯＩ ＭＢに対するよりも強固なエラー隠蔽技術をＲＯＩ ＭＢに対して適用することができる。この方法により、ＲＯＩ認識映像復号器４８は、ローカルユーザーによって生成されたファーエンドＲＯＩ情報に依存して、向上された画質を得るために着信ファーエンド映像のＲＯＩ部分を優先的に復号する。
【００４９】
ＲＯＩ認識映像復号器４８は、遠隔映像通信デバイス、例えば図１の映像通信デバイス１４からの着信ファーエンド映像を受信する。ＲＯＩ認識映像復号器４８は、ファーエンド映像を復号し、復号された映像を表示デバイス上においてローカルユーザーに提示するためにユーザーインタフェース４２に提供する。さらに、上述されるように、ＲＯＩ認識映像復号器４８は、遠隔ニアエンドＲＯＩ情報（「遠隔ニアエンドＲＯＩ」）を遠隔映像通信デバイス１４から受信する。ＲＯＩ認識映像復号器４８によって受信されるニアエンドＲＯＩ情報は、映像通信デバイス１２によって送信された映像内においてＲＯＩを指定するために遠隔映像通信デバイス１４のユーザーによって生成される。上述されるように、ＲＯＩ認識映像復号器４８によって受信された遠隔ニアエンドＲＯＩ情報は、映像通信デバイス１２によって生成されたニアエンド映像内のＲＯＩを優先的に符号化するようにＲＯＩ認識映像符号器４６を遠隔制御するために用いられる。遠隔ニアエンドＲＯＩは、上述されるように、インバンド又はアウトオブバンドシグナリング技術によって送信される。
【００５０】
図３をさらに参照し、ＲＯＩ認識映像符号器４６及びＲＯＩ認識映像復号器４８は、ＲＯＩエンジン４４と相互に作用する。ＲＯＩエンジン４４は、映像キャプチャデバイス４０からのニアエンド映像ビットストリームの符号化及び送信のためにローカル及び遠隔ニアエンドＲＯＩ情報を処理する。さらに、ＲＯＩエンジン４４は、符号化及び遠隔映像通信デバイス１４への送信のためにユーザーインタフェース４２を介して提供されたファーエンドＲＯＩ情報を処理する。ＲＯＩエンジン４４は、ＲＯＩコントローラ５２と、ＲＯＩマッパー５４と、ＲＯＩ追跡モジュール５６と、認証モジュール５８と、を含む。幾つかの実施形態においては、ＲＯＩ追跡モジュール５６及び認証モジュール５８は、オプションであることができる。
【００５１】
ＲＯＩ認識映像符号器４６、ＲＯＩ認識映像復号器４８、ＲＯＩコントローラ５２、ＲＯＩマッパー５４、ＲＯＩ追跡モジュール５６及び認証モジュール５８は、個別の機能モジュールとして又は各モジュールに属する機能を包含するモノリシックモジュールとして、様々な方法で形成することができる。いずれの場合においても、ＲＯＩエンジン４４、映像符号器４６及び映像復号器４８を含むＲＯＩ認識ＣＯＤＥＣ２０の様々なコンポーネントは、ハードウェア、ソフトウェア、ファームウェア、又はその組合せ内において実現させることができる。例えば、該コンポーネントは、１つ以上のマイクロプロセッサ又はデジタル信号プロセッサ（ＤＳＰ）、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はその他の同等の集積回路又は個別論理回路において実行するソフトウェアプロセスとして動作することができる。ソフトウェア内に実装する場合は、これらの技術は、部分的には、プロセッサ又はＤＳＰにおいて実行された時に上述される方法のうちの１つ以上を実施する命令を含むプログラムコードを具備するコンピュータ読み取り可能媒体によって実現させることができる。
【００５２】
動作上は、映像通信デバイス１２のユーザーは、ユーザーインタフェース４２と関連づけられた表示デバイス上で観るために、映像キャプチャデバイス４０によって生成されたニアエンド映像又はＲＯＩ認識映像復号器４８によって復号されたファーエンド映像のいずれかを選択する。幾つかの実施形態においては、ピクチャインピクチャ（ＰＩＰ）機能は、ユーザーがニアエンド映像とファーエンド映像を同時に観ることを許可することができる。ＲＯＩの定義を目的としてニアエンド映像又はファーエンド映像を観るために、ユーザーは、ユーザーインタフェース４２を操作してＲＯＩ定義モードを呼び出すことができる。デフォルト時は、映像通信デバイス１２は、ＲＯＩを考慮せずに映像の符号化及び復号を処理することができる。ユーザーは、ＲＯＩ定義モードに入ることによって、映像通信デバイス１２のＲＯＩ認識符号化及び復号の側面を起動させる。代替として、ＲＯＩ認識符号化及び復号は、デフォルトモードであることができる。
【００５３】
ファーエンド映像が提示された時点で、ユーザーは、以下においてさらに詳細に説明される様々な技術のうちのいずれかを用いてファーエンド映像内のＲＯＩを指示する。ファーエンドＲＯＩは、映像シーン内において、ユーザーにとって関心がありより高い画質が希望される領域又はオブジェクトを強調する。ユーザーインタフェース４２は、ユーザーによる入力に基づいてファーエンドＲＯＩ指示を生成する。ＲＯＩ情報は、映像通信デバイス１４への送信のためのファーエンドＲＯＩ情報を生成するためにＲＯＩエンジン４４によってさらに処理することができる。
【００５４】
ユーザーは、代替として、ＲＯＩの定義に関して映像キャプチャデバイス４０から得られたニアエンド映像を選択することができる。ニアエンド映像が提示された時点で、ユーザーは、オプションとして、ファーエンド映像におけるＲＯＩ指示に関して用いられるのとの同様の又は同一の技術を用いてニアエンド映像内のＲＯＩを指示することができる。ニアエンドＲＯＩ又はファーエンドＲＯＩは、最初はＶＴ呼開始時に又はＶＴ呼の進行中のいずれかの時点において指定することができる。幾つかの実施形態においては、最初のＲＯＩは、ローカルユーザー又は遠隔ユーザーによって更新すること、又はＲＯＩ追跡モジュール５６によって自動的に更新することができる。ＲＯＩが自動的に更新される場合は、ユーザーがＲＯＩ情報を入力し続ける必要がない。代わりに、ＲＯＩは、ユーザーがＲＯＩを変更又は中止するまでユーザーによる最初の入力に基づいて維持される。
【００５５】
ユーザーインタフェース４２は、ユーザーによって提供された指示に基づいてローカルニアエンドＲＯＩ指示を生成する。ニアエンドＲＯＩ指示は、ファーエンドＲＯＩ指示と同様に、ＲＯＩエンジン４４によってさらに処理することができる。ニアエンドＲＯＩ指示は、映像シーン内において、ユーザーが遠隔ユーザーに対して強調することを希望する領域又はオブジェクトを例えば向上された画質によって強調する。ローカルユーザーは、ユーザーインタフェース４２を介して予め定義されたＲＯＩパターンを選択するか又はＲＯＩパターンを描くことによってニアエンドＲＯＩ又はファーエンドＲＯＩを選択することができる。ＲＯＩパターンを描くことは、スタイラスを用いて自由に描くこと、又はデフォルト時のＲＯＩパターンの大きさ又は位置を変えることを含むことができる。
【００５６】
図３の例においては、ユーザーインタフェース４２は、提供された場合は、ローカルニアエンドＲＯＩ指示及びファーエンドＲＯＩ指示の両方を、ＲＯＩエンジン４４内のＲＯＩコントローラ５２に提供する。さらに、ＲＯＩコントローラ５２は、認証モジュール５８を介して遠隔ニアエンドＲＯＩをＲＯＩ認識映像復号器４８から受信する。特に、ＲＯＩ認識映像復号器４８は、遠隔ニアエンドＲＯＩ情報の存在を、受信されたファーエンド映像ストリーム内において、又はアウトオブバンドシグナリングを介して検出し、遠隔ニアエンドＲＯＩ情報を認証モジュール５８に提供する。ローカルニアエンドＲＯＩ及び遠隔ＲＯＩの指示は、各々のニアエンド映像又はファーエンド映像の映像フレーム内の座標に基づいて表すことができる。ＲＯＩの座標は、映像フレーム内のｘ−ｙ座標であることができる。しかしながら、ｘ−ｙ座標は、説明されるように、符号器４６又は復号器４８によって使用するためのＲＯＩ ＭＢマップを生成するために処理される。
【００５７】
ＲＯＩコントローラ５４は、ローカルニアエンドＲＯＩ、遠隔ニアエンドＲＯＩ及びファーエンドＲＯＩを処理し、これらのＲＯＩをＲＯＩマッパー５４に適用する。ＲＯＩマッパー５４は、各々のＲＯＩ座標をマクロブロック（ＭＢ）マップに変換する。より具体的には、ＲＯＩマッパー５４は、ローカルユーザーによって指示されたファーエンドＲＯＩに対応するファーエンド映像内のＭＢを指定するファーエンドＭＢマップを生成する。さらに、ＲＯＩマッパー５４は、ローカルニアエンドＲＯＩ、遠隔ニアエンドＲＯＩ、又は両方の組合せのいずれかに対応するニアエンド映像内のＭＢを指定するニアエンドＲＯＩ ＭＢマップを生成する。
【００５８】
予め定義されたＲＯＩパターンに関しては、ＲＯＩマッピングは直接的である。各予め定義されたＲＯＩパターンは、同じく予め定義された指定のＭＢマッピングを有することができる。しかしながら、描かれた、位置又は大きさが変更されたＲＯＩパターンに関しては、ＲＯＩマッパー５４は、ユーザーによって指定されたＲＯＩパターンの座標に最も一致するＭＢ境界を選択する。例えば、指定されたＲＯＩがＭＢ内を横切る場合は、ＲＯＩマッパー５４は、該当するＭＢの外縁又は内縁のいずれかにＲＯＩ境界を設定する。換言すると、ＲＯＩマッパー５４は、ＲＯＩ内に完全に入っているＭＢのみをＲＯＩ ＭＢマップに含めるように又はＲＯＩ内に一部分が入っているＭＢも含めるように構成することができる。いずれの場合においても、ＲＯＩは、指定されたＲＯＩに最も近似する一組の全ＭＢを含む。繰り返しになるが、映像符号器４６又は映像復号器４８は、ＭＢレベルで動作し、一般的には、ＭＢマップへのＲＯＩの変換を要求する。個々のＭＢをＲＯＩ内に含めるか又はＲＯＩから除外するか指定することによって、ＲＯＩ ＭＢマップは、不規則な、すなわち長方形でない形状を有するＲＯＩの定義を可能にする。
【００５９】
ＲＯＩ認識映像符号器４６は、ファーエンドＲＯＩ ＭＢマップを符号化されたニアエンド映像内において又はアウトオブバンドシグナリングによって遠隔映像通信デバイス１４に送信する。ニアエンドＲＯＩMBマップは、遠隔映像通信デバイス１４には送信されない。代わりに、ニアエンドＲＯＩ ＭＢマップは、ニアエンド映像内の指定されたＭＢを遠隔映像通信デバイス１４に送信する前により高い品質の符号化又はより強力なエラー保護によって優先的に符号化するためにＲＯＩ認識映像符号器４６によって用いられる。従って、ＲＯＩ認識映像符号器４６は、ファーエンドＲＯＩ情報に加えて、優先的に符号化されたＲＯＩを有する符号化されたニアエンド映像を遠隔映像通信デバイス１４に送信する。
【００６０】
ＲＯＩ追跡モジュール５６は、ニアエンド映像のＲＯＩ領域の変化を追跡する。このＶＴアプリケーションが例えばモバイル映像通信デバイス内に常駐する場合は、ユーザーは、随時移動することができ、その結果前回に指定されたＲＯＩに対するユーザーの位置が変化する。さらに、ユーザーの位置が安定しているときでも、ＲＯＩ内のその他のオブジェクトは、ＲＯＩ領域から出ることができる。例えば、湖上のボートは、波の動きに応じて上下左右に動く可能性がある。移動が生じたときにユーザーがＲＯＩを再定義する必要がないようにするために、ＲＯＩ追跡モジュール５６は、ＲＯＩ領域内のオブジェクトを自動的に追跡するために提供することができる。
【００６１】
図３の例においては、ＲＯＩ追跡モジュール５６は、ＲＯＩ認識映像符号器４６によって生成された符号化されたニアエンド映像から動き情報を受け取る。動き情報は、符号化されたニアエンド映像内のＭＢに関する動きベクトルの形態をとることができ、ＲＯＩマッパー５４によるＲＯＩ ＭＢマップの定義の閉ループ制御を可能にする。動き情報に基づき、ＲＯＩ追跡モジュール５６は、ニアエンドＲＯＩ ＭＢマップの増分的位置調整を生成し、該調整をＲＯＩマッパー５４に提供する。位置調整は、ＭＢがＲＯＩに含められるか又はＲＯＩから除外されるかの状態の変化の形であることができる。
【００６２】
ＲＯＩ ＭＢマップ内におけるＭＢの状態は、動き情報がＲＯＩの実質的な移動を示す場合は変化させることができる。典型的には、ＭＢに関する状態変化は、ＲＯＩの外境界において生じる。位置調整に応じて、ＲＯＩマッパー５４は、ニアエンドＲＯＩ ＭＢマップによって指定されたＲＯＩをシフトさせ、ＲＯＩ位置が符号化されたニアエンド映像内での動きにフレームごとに適応するようにする。ＲＯＩ追跡モジュール５６及びＲＯＩマッパー５４は、互いに協力し、映像シーン内において動きが検出されるのに応じて自動的にＲＯＩの位置を調整する。この方法により、ＲＯＩエンジン４４は、ＲＯＩ内において移動中のオブジェクトを追跡するようにＲＯＩを調整する。
【００６３】
認証モジュール５８は、個々のユーザーの権利及び複数のユーザー間における権利の優先度を含む遠隔ユーザーのＲＯＩ権利を解決するために機能する。ＲＯＩ認識映像復号器４８が遠隔ニアエンドＲＯＩを遠隔映像通信デバイス１４から受信すると、ＲＯＩ認識映像復号器４８は、遠隔ニアエンドＲＯＩをＲＯＩエンジン４４に提供する。しかしながら、幾つかの事例においては、遠隔ユーザーによって指定された遠隔ニアエンドＲＯＩは、ローカルユーザーによって指定されたローカルニアエンドＲＯＩと対立する可能性がある。例えば、ローカルユーザー及び遠隔ユーザーは、映像シーン内において重なるＲＯＩ又は完全に異なるＲＯＩを指定することができる。この場合は、ＲＯＩの対立を解決するために認証モジュール５８を提供することができる。
【００６４】
認証モジュール５８は、幾つかの実施形態においては、いずれのニアエンドＲＯＩ情報（ローカル又は遠隔）を所定の時点において使用すべきであるかを調整するためのいわゆる「マスター−スレーブ」メカニズムを適用することができる。特に、送信者が受信者駆動ＲＯＩ情報を受信する前には、送信者はニアエンドＲＯＩマスターであり、自己のニアエンドＲＯＩの制御を有する。換言すると、遠隔ニアエンドＲＯＩが映像通信デバイス１２において受信される前には、ローカルユーザーがニアエンドＲＯＩの制御を有する。このため、遠隔ユーザーはニアエンドＲＯＩ「スレーブ」であり、マスター、すなわちローカルユーザーがニアエンドＲＯＩを制御するためのアクセス権を与えないかぎりニアエンドＲＯＩの制御を有さない。
【００６５】
ローカルユーザーが遠隔ユーザーにアクセス権を与えた時点で、ローカルユーザーはもはや自己のニアエンドＲＯＩを制御しない。代わりに、映像通信デバイス１４と関連する遠隔ユーザーは、映像通信デバイス１２によって生成されたニアエンド映像に関するニアエンドＲＯＩの制御を得て、ニアエンドＲＯＩのマスターになる。遠隔ユーザーは、ローカルユーザーがアクセス特権を明示で取り消すか又は遠隔ユーザーによるアクセスをその他の方法で拒否するまで、又は遠隔ユーザーがＲＯＩの選択を中止するまで制御を保持することができ、前記取り消すか拒否した場合は、マスターＲＯＩ制御は、ローカルユーザーに戻ることができる。
【００６６】
ＲＯＩ認識映像復号器４８が、存在する場合に、符号化されたファーエンド映像を受信した時点で、ＲＯＩ認識映像復号器４８は、送信者と合意されたフォーマットに基づいて映像ビットストリームから遠隔ニアエンドＲＯＩ情報を検索する。繰り返しになるが、ニアエンドＲＯＩ情報は、符号化されたファーエンド映像内に埋め込むこと又はアウトオブバンドシグナリングによって送信することができる。いずれの場合も、ＲＯＩ認識映像復号器４８は、ＲＯＩコントローラ５２及びＲＯＩマッパー５４を介して、遠隔ニアエンドＲＯＩがＲＯＩ認識映像符号器４６に送信される前にアクセス許可を得るために遠隔ニアエンドＲＯＩを認証モジュール５８に渡す。認証モジュール５８は、符号化プロセスがローカルユーザーによる認証のないユーザーによって制御できないように特定のユーザーにアクセス権を限定する。
【００６７】
認証モジュール５８は、１人以上の遠隔ユーザー間においてアクセス権及びアクセスレベルを与える及び管理するように構成することができる。例えば、ローカルユーザーは、選択された遠隔ユーザーにアクセス権を与えることができる。従って、ローカルユーザーは、いくつかの遠隔ユーザーがニアエンドＲＯＩを制御するのを許可し、その他の遠隔ユーザーがニアエンドＲＯＩを制御するのを禁止することができる。さらに、ローカルユーザーは、相対的なアクセスレベル、又は優先権を遠隔ユーザーに割り当てることができる。この方法により、ローカルユーザーは、複数の遠隔ユーザーがＲＯＩ制御を同時に要求した場合にニアエンドＲＯＩを制御する上で幾つかの遠隔ユーザーがその他の遠隔ユーザーに対する優先権を有することができるように、遠隔ユーザー間でのアクセスレベル階層を指定することができる。例えば、複数の遠隔ユーザーは、複数の当事者によるテレビ会議中にＲＯＩ制御を同時に要求することができる。このような場合は、ＲＯＩ制御は、典型的には、１人のユーザー、すなわちローカルユーザーに対して、又はローカルユーザーによって制御が与えられている場合は遠隔ユーザーのうちの選択された１人の遠隔ユーザーに対して排他的に与えられる。
【００６８】
幾つかの実施形態においては、認証モジュール５８は、ローカル映像通信デバイス１２がＲＯＩ認識映像処理を可能にする能力を有するかどうかを決定するための資源モニタリングを行う責任を有することも可能である。ローカルデバイスが所定の時点において遠隔ＲＯＩ制御をサポートする上で又は特定の型のＲＯＩ要求に応える上で十分な処理資源を有していない場合は、認証モジュール５８は、遠隔ＲＯＩ制御アクセス権を取り消すか又はＲＯＩ要求を拒否する。一例として、通信チャネルによって課された帯域幅に関する制限、又はローカルな処理負荷は、遠隔ＲＯＩ制御が拒否されることになる可能性がある。他の例として、該制限は、予めコンフィギュレーションされたＲＯＩパターンの使用を許可することができるが、描かれた又は記述されたＲＯＩパターンの使用は許可できない場合がある。認証モジュール５８は、遠隔デバイスに送信するために発信される符号化されたニアエンド映像内に状態メッセージを埋め込むことによってＲＯＩ決定を遠隔デバイスに通知することができる。
【００６９】
さらに、個々の遠隔ユーザーには、遠隔ユーザーがニアエンドＲＯＩを制御することができる度合いを制御するための異なるアクセスレベルを与えることができる。例えば、遠隔ユーザーは、ローカルユーザーの承認を得ることを条件として一組の予め定義されたＲＯＩパターンを選択すること、特定のＲＯＩ位置又は大きさ、又はＲＯＩを指定することに制限することができる。このため、認証モジュール５８は、遠隔ユーザーによるニアエンドＲＯＩの制御を自動的に解決すること又はローカルユーザーとの対話によってニアエンドＲＯＩ制御の能動的な承認について交渉することができる。例えば、遠隔ユーザーがニアエンドＲＯＩを制御するためのアクセスを要求したときには、認証モジュール５８は、遠隔ユーザーによるＲＯＩ制御の承認を要求するための問い合わせをユーザーインタフェース４２を介してローカルユーザーに行うことができる。
【００７０】
認証モジュール５８は、様々な方法のうちのいずれかの方法で遠隔ユーザーに関するアクセスレベルを追跡することができる。上述されるように、ローカルユーザーは、遠隔ユーザーからのニアエンドＲＯＩ制御要求を能動的に承認すること、及び遠隔ユーザーに与えられたアクセスレベルを能動的に制御することができる。代替として、ローカルユーザーは、アクセス権又はアクセスレベルを含む遠隔ユーザー関連情報を格納するアドレスブックを映像通信デバイス１２のメモリ内に維持することができる。アドレスブックは、遠隔ユーザー及び関連するアクセスレベルのリストを有するデータベースの形態をとることができる。遠隔ユーザーがニアエンドＲＯＩ制御を要求時には、認証モジュール５８は、該当するアクセス権情報をアドレスブックから検索し、ローカルユーザー、遠隔ユーザー、及び可能なことに数人の遠隔ユーザーとの間におけるＲＯＩ制御を解決するための認証プロセスを自動的に適用する。遠隔ユーザーがアドレスブックに記載されていない場合は、ローカルユーザーは、遠隔ユーザーを適用可能なアクセス権とともにアドレスブックに追加するのを選択することができる。
【００７１】
幾つかの場合においては、ローカルユーザーは、アドレスブック内の特定の遠隔ユーザーに関して指定されたデフォルトアクセスレベルをオーバーライドすることができる。例えば、認証モジュール５８は、ローカルユーザーがＶＴ呼の進行中に異なる遠隔ユーザー間でのＲＯＩ制御優先順位を能動的に再設定すること又はローカルユーザーとして排他的にニアエンドＲＯＩの制御を再取得するために介入することを許可することができる。アドレスブックを維持する際又はＲＯＩ制御要求を能動的に管理する際におけるローカルユーザーと認証モジュール５８との間における対話は、図３においてはアクセス制御情報によって表されている。
【００７２】
遠隔ユーザーに関する自動化された又は能動的なニアエンドＲＯＩ制御承認が行われた時点で、認証モジュール５８は、ＲＯＩマッパー５４による処理及びマッピングのために遠隔ニアエンドＲＯＩをＲＯＩコントローラ５２に渡す。代替として、ＲＯＩコントローラ５２は、遠隔ニアエンドＲＯＩが提供されないか又はローカルユーザーが遠隔ユーザーを排除してニアエンドＲＯＩを制御することを選択している場合には、ローカルユーザーによってユーザーインタフェース４２を介して提供されたローカルニアエンドＲＯＩを処理する。
【００７３】
認証モジュール５８は、ローカルユーザーと遠隔ユーザーとの間におけるＲＯＩの対立を解決するために機能する。デフォルト時には、認証モジュール５８は、ローカルユーザーがニアエンドＲＯＩ制御を有するマスター−スレーブ概念を適用する。最高レベルのアクセス権が遠隔ユーザーに与えられた時点で、遠隔ユーザーは、映像通信デバイス１２のＲＯＩ認識映像符号器４６からニアエンドＲＯＩ選択に関する全制御を得る。その他の場合は、ローカルユーザーは、遠隔ユーザーによって行われたあらゆるニアエンドＲＯＩ選択をオーバーライドするニアエンドＲＯＩ制御を有する。
【００７４】
遠隔ユーザーに対してアクセス権を与えることができる場合でも、遠隔ユーザーのアクセス権は通常はローカルユーザーのアクセス権よりも低いレベルであるため、ニアエンドＲＯＩ制御においてはローカルユーザーが優先される。従って、ローカルユーザーがニアエンドＲＯＩを指定することを選択した場合は、遠隔ユーザーによって行われたいずれのニアエンドＲＯＩ選択も無視されることになる。他方、ローカルユーザーがニアエンドＲＯＩを指定しない場合は、遠隔ユーザーに割り当てられたアクセス権のレベルが有効であり、遠隔ユーザーは、ニアエンドＲＯＩを制御することができる。しかしながら、上述されるように、ローカルユーザーは、デフォルトのマスターとスレーブの関係をオーバーライドして最高レベルのアクセス権をローカルユーザーに与えることを依然として選択することができる。
【００７５】
図４は、ＲＯＩ認識ＣＯＤＥＣを有し、ＲＯＩ抽出モジュール６０をさらに組み入れた他の映像通信デバイス１２’を示したブロック図である。図４の映像通信デバイス１２’は、図３の映像通信デバイス１２とほぼ同一である。しかしながら、映像通信デバイス１２’は、ユーザーからの入力に基づいてローカルニアエンドＲＯＩ及びファーエンドＲＯＩを形成するためのＲＯＩ抽出モジュール６０をさらに含む。予めコンフィギュレーションされたＲＯＩパターンの選択を単純に処理するか又はユーザーがデフォルトのＲＯＩを描くこと、又は位置又は大きさを変更することを許可することに加えて、ＲＯＩ抽出モジュール６０は、ローカルユーザーが口頭又はテキストによるＲＯＩの記述によってＲＯＩを指定することを許可する。特に、ＲＯＩ抽出モジュール６０は、ローカルユーザーによって提供されたＲＯＩ記述に基づいてローカルニアエンドＲＯＩ又はファーエンドＲＯＩを生成する。
【００７６】
ＲＯＩ記述例は、「顔」、「動いているオブジェクト」、「唇」、「人間」、「背景」、等の言葉をテキスト又は口頭で入力することを含む。これらのオブジェクトの優先的符号化が非常に望ましいことがある。例えば、唇又は顔の優先的符号化は、顔の表情、口の動き、等をより良く表すことができる。テキストによる入力は、ユーザーインタフェース４２によって提示されたメニューから入力又は選択することができる。口頭による入力は、映像通信デバイス１２’と関連するマイクに話すことによって提供することができる。各場合において、ローカルユーザーは、ＲＯＩを選択または描く代わりにＲＯＩを「記述」する。ＲＯＩ抽出モジュール６０は、該当するニアエンド又はファーエンド映像シーン内における一組の座標に記述を変換する。口頭によるＲＯＩの記述が用いられる場合は、ユーザーインタフェース４２又はＲＯＩ抽出モジュール６０は、従来の音声認識能力を組み入れることができる。特に、ＲＯＩ抽出モジュール６０は、１つ以上の認識された言葉に基づいてＲＯＩを指定する情報を生成することができる。
【００７７】
ＲＯＩ抽出モジュール６０は、希望されるＲＯＩを検出するように構成された従来の予符号化処理アルゴリズムの適用によって自動的にＲＯＩ座標を選択する。特に、ＲＯＩ抽出モジュール６０は、映像ＲＯＩ処理における当業者に知られている従来の技術に従って顔の検出、特徴の抽出、オブジェクトの分割、又は追跡に関するアルゴリズムを適用することができる。例えば、ＲＯＩ抽出モジュール６０は、映像入力データの画素のルーメン値又は彩度値に基づくＲＯＩの識別に依存する従来の技術を適用することができる。
【００７８】
従来の顔検出方式は、典型的には、顔の画素と顔以外の画素を識別するための指標として皮膚の色を用いることを含む。従来の顔検出方式の例は、Ｃ．−Ｗ．リン、Ｙ．−Ｊ．チャン及びＹ．−Ｃ．チェン著の"A low-complexity face-assisted coding scheme for low bit-rate video telephony"（低ビットレートビデオテレフォニーに関する低複雑さの顔に基づく方式）、IEICE Trans. Inf. & Syst., vol. E86-D, no. 1, Jan. 2003, pp. 101-108において、及びＤ．チャイ及びＫ．Ｎ．ナン著の"Face segmentation using skin-color map in videophone applications"（ビデオフォン用途における皮膚の色マップを用いた顔の分割）、IEEE Trans. On Circuits and Systems for Video Technology, vol. 9, no. 4, Jun. 1999, pp. 551-564において説明されている。
【００７９】
ローカルユーザーが「顔」に基づいてＲＯＩを記述時には、ＲＯＩ抽出モジュール６０は、ニアエンド映像又はファーエンド映像を適宜解析して自動的に顔を識別し、ＲＯＩとしての識別された顔と関連する座標を指定する。次に、ＲＯＩ抽出モジュール６０は、ＲＯＩマッパー５４による処理及びマッピングのためにＲＯＩコントローラ５２に座標を渡す。顕著なことに、ＲＯＩ抽出モジュール６０は、ローカルニアエンドＲＯＩ記述又はファーエンドＲＯＩ記述を適宜処理し、該記述を該当する抽出アルゴリズムにマッピングし、該当する予め符号化されたニアエンド映像又は復号されたファーエンド映像を自動的に解析して該当するＲＯＩを自動的に抽出する。
【００８０】
ＲＯＩ抽出モジュール６０は、自動的なＲＯＩ検出をサポートするため、ニアエンド映像を映像キャプチャデバイス４０から、ファーエンド映像をＲＯＩ認識映像復号器４８から受信する。ＲＯＩ検出モジュール６０は、ユーザーインタフェース４２からのローカルニアエンドＲＯＩ記述又はファーエンドＲＯＩ記述、及び自動化検出アルゴリズムを用いて、ＲＯＩコントローラ５２に適用するためのローカルニアエンドＲＯＩ及びファーエンドＲＯＩを適宜生成する。各場合において、ＲＯＩ抽出モジュール６０は、ローカルニアエンドＲＯＩ記述又はファーエンドＲＯＩ記述を、該当する記述に最も適合する座標に変換する。この場合は、ユーザーがＲＯＩを描く必要がない。さらに、ユーザーは、一組の予め定義されたＲＯＩパターンに制限されない。代わりに、ＲＯＩコントローラ５２は、ニアエンド映像内においてＲＯＩ記述に合致する該当領域を能動的に検出する。
【００８１】
ＲＯＩマッパー５４は、映像フレーム内の該当するマクロブロック（ＭＢ）にＲＯＩ座標をマッピングし、ニアエンド又はファーエンドＲＯＩ ＭＢマップを生成する。実際上は、ＲＯＩマッパー５４は、ＲＯＩコントローラ５２からのＲＯＩ座標を、映像符号器４６が理解できるフォーマットに変換する。特に、映像符号器４６は、ＭＢレベルで、すなわち各ＭＢごとに、符号化を処理するように装備される。その目的のため、ＲＯＩマッパー５４は、ニアエンド又はファーエンド映像に関するＲＯＩ ＭＢマップを生成する。ＲＯＩ ＭＢマップは、指定されたＲＯＩ内にあるＭＢを識別し、このため映像符号器４６はこれらのＭＢに対して優先的符号化を適用することができる。
【００８２】
ＲＯＩ記述を処理することに加えて、ＲＯＩ抽出モジュール６０は、ローカルユーザーによって一組の予め定義されたパターンから選択されたＲＯＩパターン、又はローカルユーザーによって描かれた、又は位置又は大きさが変更されたＲＯＩパターンを処理するために装備される。従って、映像通信デバイス１２’は、図３の映像通信デバイス１２に関する説明と実質的に同じようにＲＯＩ情報を生成するが、ローカルユーザーによってテキストで又は口頭で入力されたＲＯＩ記述を処理するためにＲＯＩ抽出モジュール６０をさらに組み入れることができる。ＲＯＩ抽出モジュール６０は、ローカルユーザーによって使いやすい点で望ましい。しかしながら、幾つかの映像通信デバイスは、ＲＯＩ抽出モジュール６０をサポートする上で不十分な処理力を有している場合がある。従って、ＲＯＩ抽出モジュール６０は、本開示による映像通信デバイスの望ましいがオプションのコンポーネントであることを表す。
【００８３】
幾つかの実施形態においては、ＲＯＩ抽出モジュール６０は、ローカルユーザーによってだけでなく遠隔ユーザーによっても生成されるＲＯＩ記述を処理することができる。この方法により、抽出機能は、幾つかのデバイスにおいてはローカルではなく遠隔で実施することが可能である。例えば、特定の映像通信デバイス１４は、デバイス１４のユーザーによって提供されたＲＯＩ記述に関するＲＯＩ抽出をサポートする上で不十分なローカル資源又は能力を有している場合がある。しかしながら、他の映像通信デバイス１２は、ＲＯＩ抽出に関してより良い装備をすることができる。この場合は、ローカルＲＯＩ抽出をオフロードするか又は遠隔映像通信デバイスに分散できるようにすることが企図されている。
【００８４】
遠隔抽出をサポートするため、ＲＯＩの記述は、様々な方法で遠隔デバイスに提供することができる。例えば、遠隔デバイスに送信される音声ストリーム内に口頭による記述を含めることができる。テキストによるＲＯＩの記述は、予め定義されたＲＯＩパターン又は描かれたＲＯＩパターンと同様に、例えば該情報を符号化された映像ストリーム内に埋め込むことによって遠隔デバイスに送信することができる。従って、１つのデバイスから他のデバイスに送信されるＲＯＩ情報は、予め処理されたＲＯＩ ＭＢマップの形態、又は、遠隔符号器に適用前に遠隔デバイスにおいて処理することを要求する指示又は記述を含むＲＯＩのその他の指示又は記述の形態をとることができる。
【００８５】
図５は、中間抽出サーバー６１を介した分散型ＲＯＩ抽出を示すブロック図である。図５に示されるように、映像通信デバイス１２、１４は、ＲＯＩを抽出できるように十分な情報を中間抽出サーバー６１に提供することができる。例えば、各デバイス１２、１４は、各々のローカルニアエンドＲＯＩ記述、ファーエンドＲＯＩ記述、符号化された又は生のニアエンド映像、及び符号化されたファーエンド映像を提供することができる。ニアエンドデバイスから符号化されたファーエンド映像を提供することの代替として、ＲＯＩ抽出サーバー６１は、ファーエンドデバイスから直接ファーエンド映像を受信することができる。抽出サーバー６１は、この情報を用いて、ファーエンドＲＯＩ及びローカルニアエンドＲＯＩのうちの１つ又は両方を生成し、各々のデバイス１２、１４に提供する。抽出サーバー６１は、通信ネットワーク内のあらゆる場所に配置されたサーバーであることができ、有線媒体、無線媒体、又は両方の組合せによってデバイス１２、１４に結合させることができる。抽出サーバー６１は、映像通信デバイス１２、１４から遠隔に配置すること又はデバイス１２、１４のうちの１つと並置することができる。しかしながら、多くの場合は、抽出サーバー６１は、遠隔サーバーであることができる。一般的には、抽出サーバー６１は、映像通信デバイス１２、１４とは構造的に異なる。
【００８６】
抽出サーバー６１は、抽出モジュール６０とほとんど同じように機能するが、遠隔の分散された形で動作することができ、このためＲＯＩ抽出はデバイス１２、１４内においてローカルで行う必要がない。この方法により、より大きい処理力を有することができる異なるデバイスにＲＯＩ抽出処理コストを分散させることができる。ＲＯＩ抽出モジュール６０と同様に、抽出サーバー６１は、ユーザーによる口頭、テキスト又は図形での記述、等の異なる型のＲＯＩ記述を処理することができる。その目的のため、ＲＯＩ抽出サーバー６１は、これらの記述を処理するために音声認識能力、等の適切な能力を組み入れることができる。さらに、ＲＯＩ抽出サーバー６１は、映像の解析とＲＯＩの抽出を可能にする映像復号能力、及び映像を再符号化するための及び希望される場合はＲＯＩ情報を埋め込むための符号化能力を備えることができる。
【００８７】
図６は、複数のビデオテレフォニーセッションに関する分散型ＲＯＩ抽出を示すブロック図である。図６の例においては、ＲＯＩ抽出サーバー６１は、複数の映像通信デバイス１２Ａ乃至１４Ａ、１２Ｂ乃至１４Ｂ、１２Ｃ乃至１４Ｄ、乃至１２Ｎ乃至１４Ｎの間におけるＶＴセッションに関するＲＯＩ抽出を処理するために動作する。この方法により、ＲＯＩ抽出サーバー６１は、所定の通信ネットワークにおいて実施中の様々なＶＴセッションをサポートするために複数のＲＯＩ抽出タスクを並行して実施する。
【００８８】
図７Ａ乃至７Ｄは、ローカル又は遠隔ユーザーによる選択のための予め定義されたＲＯＩパターンを示す図である。図７Ａ乃至７ＤのＲＯＩパターンは、例示することが目的であり、制限するものであるとはみなすべきでない。図７Ａは、無線通信デバイス３８と関連づけられたディスプレイ３６において提示された映像シーン３４内のＲＯＩ６２を示す。ＲＯＩ６２は、映像シーン３４内の実質的な中心に置かれた基本的な長方形である。長方形ＲＯＩ６２の長辺は、映像シーン３４内において縦方向に延びている。多くの場合においては、ＲＯＩ６２は、人間の顔、すなわちＶＴ呼に参加している遠隔ユーザーの顔をキャプチャする上で有効である。
【００８９】
図７Ｂは、映像シーン３４内において横方向に延びる長辺を有する長方形の形をした他のＲＯＩ６４を示す。ＲＯＩ６４は、映像シーン３４内の実質的な中心に置かれており、車両、ボート、製品、プレゼンテーション、等のオブジェクトをキャプチャする上で有効になる。
【００９０】
図７Ｃは、ＶＴ呼に参加している遠隔ユーザーの顔及び肩をキャプチャするように設計された形状を有する他のＲＯＩ６６を示す。代替として、ＲＯＩ６６は、例えば１方向の映像ストリーミング用途において、ニュース放送を行っている特派員、集会の司会者、又は会議の講演者の顔と肩をキャプチャすることができる。いずれの場合においても、予め定義されたＲＯＩ６６は、人間のＶＴ参加者又はプレゼンターに焦点を合わせ、その人の肉体的特徴に関する優先的符号化を達成させる。
【００９１】
図７Ｄは、映像シーン３４内において並置されている二重の組のＲＯＩ６８、７０を示す。図５Ｄの例においては、ＲＯＩ６８、７０は、並んで座っているか又は立っている２人の人の顔をキャプチャする上で有効である。この方法により、顔の表情及び動きに関するより高い画質をサポートするために２人の参加者の顔を優先的に符号化することができる。
【００９２】
図７Ａ乃至７Ｄに描かれた予め定義されたＲＯＩパターンは、例示することを目的とするものである。代替の位置又は形状を有するその他の予め定義されたＲＯＩパターンを提供することができる。例えば、幾つかのＲＯＩパターンは、これらのパターンをＭＢ境界にマッピングできることを条件として丸い又は不規則な形状を有することができる。
【００９３】
幾つかの実施形態においては、ユーザーは、選択されたＲＯＩパターンの大きさ又は位置を変更するのを許可されることができる。大きさ及び位置を変更するために従来のカーソル及びコーナードラッグ手法を用いることができる。さらに、ＲＯＩの大きさの縮尺の再設定を、コーナードラッグによって又は縮尺率を明示で指定することによって達成させることができる。当然のことであるが、ＲＯＩが大きくなるのに従い、帯域幅上の制限に起因して優先的符号化度が低下される。従って、幾つかの場合においては、映像通信デバイス１２内において最大のＲＯＩの大きさを強制することができる。
【００９４】
図８は、送信者デバイスにおけるニアエンド映像内での優先的ＲＯＩ符号化を制御するために受信者デバイスにおいてファーエンドＲＯＩ情報を生成することを示す流れ図である。図８において描かれたプロセスは、図４の映像通信デバイス１２’の図３の映像通信デバイス１２内に実装することができる。動作上は、映像通信デバイス１２内のＲＯＩ認識映像復号器４８は、映像通信デバイス１４、等の遠隔送信者デバイスからのファーエンド映像を復号する（７２）（図１）。ファーエンド映像を復号した時点で、受信者デバイス１２のユーザーインタフェース４２は、ローカルユーザーによって観るためにファーエンド映像を表示する（７４）。
【００９５】
ローカルユーザーがＲＯＩの選択を要求しない場合は（７６）、何の行動もとられず、ファーエンド映像の次のフレームが復号される（７２）。しかしながら、ＲＯＩの選択が要求された場合は（７６）、ユーザーインタフェース４２は、ローカルユーザーからのファーエンドＲＯＩ情報を受け入れる（７８）。ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、協力し合ってファーエンドＲＯＩ ＭＢマップを生成する（８０）。ＲＯＩ認識符号器４６は、符号化されたニアエンド映像内にファーエンドＲＯＩＭＢマップを埋め込み、それによってファーエンド映像を符号化する遠隔送信者デバイス１４にファーエンドＲＯＩマップを送信する（８２）。ファーエンドＲＯＩ ＭＢマップは、遠隔映像通信デバイス１４と関連づけられた符号器が映像通信デバイス１２に送信されるファーエンド映像の該当するＲＯＩ内のＭＢに優先的符号化を適用するように指定する。
【００９６】
図９は、送信者デバイスにおけるニアエンド映像内での優先的ＲＯＩ符号化のために受信者デバイスからのニアエンドＲＯＩ情報を処理することを、ＲＯＩ追跡と組み合わせて示した流れ図である。図９の例においては、ユーザーインタフェース４２は、映像キャプチャデバイス４０によって生成されたニアエンド映像ストリームを受信し、ニアエンド映像をローカルデバイスに提示する（８４）。ローカルユーザー及び遠隔ユーザーのいずれもがニアエンドＲＯＩの選択を要求しない場合は（８６）、各映像フレーム内の全ＭＢは通常どおりに、すなわちＲＯＩ内のＭＢの優先的符号化を行わずに、符号化される。符号化されたニアエンド映像は、遠隔受信者デバイス１４に送信される（８９）。
【００９７】
しかしながら、ニアエンドＲＯＩの選択がローカルユーザー又は遠隔ユーザーによって要求された場合は（８６）、ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、該当するニアエンドＲＯＩ情報を処理してニアエンドＲＯＩ ＭＢマップを生成する（９０）。ニアエンドＲＯＩがローカルユーザー及び遠隔ユーザーの両方によって指定された場合は、認証モジュール５８は、対立を解決してＲＯＩのうちの１つを優先させるために介入することができる。ニアエンドＲＯＩ ＭＢマップが受信された時点で（９０）、ＲＯＩ認識映像符号器４６は、より高い品質の符号化、より強力なエラー保護又はその両方を適用することによってＲＯＩ内のＭＢを優先的に符号化する（９２）。
【００９８】
追跡モジュール５６は、ＲＯＩ認識映像符号器４６によって生成された動き情報をモニタリングすることによってニアエンド映像内のＲＯＩの位置を追跡する（９４）。ＲＯＩのシフトが検出されない場合は（９６）は、ニアエンド映像内のＲＯＩ ＭＢを符号化するために既存のＲＯＩマップが適用され、符号化されたニアエンド映像が遠隔受信者デバイスに送信される（１０２）。ＲＯＩのシフトが検出された場合は（９６）、映像追跡モジュール５６は、ニアエンド映像を符号化する前に動き情報に基づいてＲＯＩ ＭＢマップを調整する（９８）。
【００９９】
図１０は、送信者デバイスにおけるニアエンド映像内での優先的ＲＯＩ符号化に関する受信者デバイスからのＲＯＩ情報の処理を、ユーザー認証と組み合わせて示した流れ図である。図１０は、遠隔ユーザーがニアエンドＲＯＩを制御するのを許可する際における図３又は図４の認証モジュール５８の動作を示し、説明を簡単にするために、ローカルニアエンドＲＯＩが指定されていないと仮定する。図１０に示されるように、映像通信デバイス１２内の映像キャプチャデバイス４０によって生成されたニアエンド映像ストリームに関して、認証モジュール５８は、遠隔ニアエンドＲＯＩが映像通信デバイス１４の遠隔ユーザーによって要求されているかどうか（１０６）を決定する。
【０１００】
遠隔ニアエンドＲＯＩが要求されておらず（１０６）、さらにローカルニアエンドＲＯＩが指定されない場合は、ニアエンド映像内の全ＭＢが通常どおりに符号化される（１１０）。しかしながら、遠隔ニアエンドＲＯＩが要求された場合は（１０６）、認証モジュール５８は、ニアエンドＲＯＩを要求した遠隔ユーザーが認証されるかどうかを次に決定する（１０８）。特に、認証モジュール５８は、映像通信デバイス１２内においてローカルで格納されているアドレスブックを参照することによって遠隔ユーザーのアクセス権を自動的に決定することができる。代替として、認証モジュール５８は、遠隔ユーザーによるニアエンドＲＯＩ制御に関するアクセス権の承認又は拒否を得るためにユーザーインタフェース４２を介して能動的にローカルユーザーに問い合わせることができる。
【０１０１】
遠隔ユーザーが認証されない場合は（１０８）、ニアエンド映像内の全ＭＢが通常どおりに符号化される（１１０）。しかしながら、遠隔ユーザーが認証される場合は（１０８）、遠隔ユーザーにニアエンドＲＯＩ制御が与えられる。この場合は、ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、遠隔ユーザーからのニアエンドＲＯＩ情報を処理し、ニアエンドＭＢマップを生成する（１１２）。ＲＯＩ認識符号器４６は、ニアエンドＭＢマップを用いて、ニアエンドＭＢマップによって識別されたＭＢを優先的に符号化する（１１４）。次に、映像通信デバイス１２は、符号化されたニアエンド映像を遠隔映像通信デバイス１４に送信する（１１６）。
【０１０２】
図１１は、予め定義されたＲＯＩパターンの選択を示す流れ図である。ＲＯＩ認識映像復号器４８が遠隔映像通信デバイス１４から受信されたファーエンド映像をいったん復号した時点で（１１８）、ファーエンド映像がユーザーインタフェース４２を介してローカルユーザーに表示される（１２０）。ローカルユーザーがＲＯＩの選択を要求した場合は（１２２）、ユーザーインタフェース４２は、図７Ａ乃至７Ｄにおいて示されるＲＯＩパターン等の予め定義されたＲＯＩパターンのメニューを表示する（１２４）。代替として、ユーザーは、ＲＯＩの記述を提供すること、又はＲＯＩパターンを描くこと、位置又は大きさを変更することができる。しかしながら、図１１の例においては、動作は、予め定義されたＲＯＩパターンの提示に焦点を合わせる。予め定義されたＲＯＩパターンがローカルユーザーによって選択された時点で（１２６）、ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、選択されたパターンに基づいてＲＯＩMBマップを定義する（１２８）。ＲＯＩ認識映像符号器４６は、符号化されたニアエンド映像内にＲＯＩ ＭＢマップを埋め込み、ファーエンド映像内のＲＯＩの優先的符号化の際に用いるためにＲＯＩ ＭＢマップを遠隔映像通信デバイス１４に送信する（１３０）。
【０１０３】
図１２は、ＲＯＩテンプレート１３２の拡大及び縮小による表示された映像シーン３４内におけるＲＯＩパターンの定義を示す図である。図１２は、図２に実質的に対応するが、ユーザーによって大きさを変更することができるＲＯＩテンプレート１３２の提示を示す。図１２の例においては、ＲＯＩテンプレート１３２は、ＲＯＩテンプレートの角のうちの１つをコーナードラッグして該ＲＯＩテンプレートを拡大及び縮小させることによって大きさを変更することができる。コーナードラッグしてＲＯＩテンプレート１３２を拡大させることの結果は、拡大されたＲＯＩテンプレート１３４によって表される。コーナードラッグの結果、ＲＯＩテンプレート１３２の大きさが大きくなるか又は小さくなるが、相対的な長さと幅の比の縮尺は維持する。しかしながら、幾つかの実施形態においては、ユーザーが長さと幅の比の縮尺を変更する一方でＲＯＩテンプレートの大きさを大きくするか又は小さくするためにＲＯＩテンプレート１３２の側部をドラッグすることを許可することも可能である。ドラッグは、タッチ画面、又は映像通信デバイス１２のユーザーインタフェース４２と関連づけられた他のポインティング装置と組み合わせてスタイラスを用いて達成させることができる。その他のポインティング装置は、ジョイスティック、タッチパッド、スクロールホイール、トラックボール、等を含むことができる。
【０１０４】
図１３は、ＲＯＩテンプレート１３２をドラッグすることによる表示された映像シーン内でのＲＯＩパターンの定義を示した図である。特に、図１３は、ＲＯＩテンプレート１３２を映像シーン３４内の他の位置１３５にドラッグすることによるＲＯＩテンプレート１３２の位置変更を示す。ドラッグは、スタイラスとタッチ画面又はユーザーインタフェース４２と関連づけられた他のポインティング装置によって達成させることができる。
【０１０５】
図１４は、タッチ画面上でスタイラス１３８を用いてＲＯＩパターン１３６を描くことによる表示された映像シーン内でのＲＯＩパターンの定義を示した図である。図１４の例においては、ＲＯＩパターン１３６は、自由な描画によって生成される。ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、互いに協力し、描かれたＲＯＩパターンと関連する座標を、ＲＯＩパターン１３６内にほぼ入っている映像シーン３４内のＭＢを識別するＭＢマップに変換する。図１２、１３、及び１４に示されるＲＯＩパターンの定義は、ニアエンド映像又はファーエンド映像内のＲＯＩに関して適用することができる。
【０１０６】
図１５は、動的に追跡される指定されたＲＯＩオブジェクトを有するドロップダウンメニュー１４０を用いることによる表示された映像シーン内でのＲＯＩパターンの定義を示した図である。図１５において示されるように、ユーザーインタフェース４２は、「顔」、「唇」、「背景」、及び「動き」、等のＲＯＩの記述を提示するドロップダウンメニュー１４０を提示する。ローカルユーザーは、ドロップダウンメニュー内のエントリのうちの１つを希望されるＲＯＩの記述として選択する。前記選択に応じて、ＲＯＩ抽出モジュール６０（図４）は、ニアエンド映像又はファーエンド映像を適宜解析して記述に対応するＲＯＩパターンを検出する。ドロップダウンメニュー１４０の代替として、ユーザーは、ユーザーインタフェース４２を介してテキストを入力すること、又は口頭でマイク内にテキストを言うことができる。各場合において、皮膚の色調の検出、オブジェクトの分割、等の従来の特徴検出アルゴリズムを用いて、選択されたＲＯＩが該当するＲＯＩパターンとマッチングされる。ＲＯＩパターンが選択された時点で、ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、該当するＲＯＩ ＭＢマップを生成する。図１５のプロセスは、各ＲＯＩの記述を対象となる特定の映像シーン内のＲＯＩパターンと動的にマッチングしなければならないという意味で「動的」であると呼ばれる。
【０１０７】
図１６は、図７Ａ乃至７Ｄに示されるように、予め定義されたＲＯＩパターンにマッピングされた指定されたＲＯＩオブジェクトを有するドロップダウンメニュー１４２を用いることによる表示された映像シーン内でのＲＯＩパターンの定義を示した図である。図１６に示されるように、ユーザーインタフェース４２は、「単一の顔」、「二重の顔」、「頭／肩」、及び「オブジェクト」、等のＲＯＩ記述を提示するドロップダウンメニュー１４２を提示する。ローカルユーザーは、ドロップダウンメニュー内のエントリのうちの１つを希望されるＲＯＩパターンとして選択する。前記選択に応じて、ＲＯＩコントローラ５２は、選択されたＲＯＩパターンを、例えば図７Ａ乃至７Ｄにおいて描かれているような対応する予め定義されたＲＯＩパターンとマッチングさせる。従って、図１５に示されるＲＯＩの記述とは異なり、静的ＲＯＩパターンは、映像解析を要求しない。代わりに、ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、ドロップダウンメニュー１４２内の選択項目に対応する予めコンフィギュレーションされたＲＯＩ ＭＢマップを生成する。繰り返しになるが、ドロップダウンメニュー１４２の代替として、ユーザーは、ユーザーインタフェース４２を介してテキストを入力すること、又は口頭でマイク内にテキストを言うことができる。図１５のプロセスは、各ＲＯＩパターンが予め定義されたＲＯＩパターン及びＭＢマップに対応するという意味で「静的」であると呼ばれる。
【０１０８】
図１７は、ＲＯＩ記述インタフェースを用いることによる表示された映像シーン内でのＲＯＩパターンの定義を示した流れ図である。図１７に示されるプロセスは、図１５のドロップダウンメニュー、又はその他の入力媒体とともに用いることができる。図１７に示されるように、ＲＯＩ認識映像復号器４８は、遠隔送信者デバイス１４から受信されたファーエンド映像を復号する（１４４）。次に、ユーザーインタフェース４２は、ファーエンド映像をローカルユーザーに表示する（１４６）。ローカルユーザーがファーエンド映像に関するＲＯＩの選択を要求しない場合は（１４８）、遠隔映像通信デバイス１４にはＲＯＩ情報が送信されない。しかしながら、ＲＯＩの選択が要求された場合は（１４８）、ユーザーインタフェース４２は、図１７のドロップダウンメニュー１４０、等のＲＯＩ記述インタフェースを提示する（１５０）。
【０１０９】
ローカルユーザーＲＯＩ記述を受信した時点で（１５２）、ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、前記記述に基づいてＲＯＩパターンを選択し（１５４）、選択されたＲＯＩパターンに基づいてＲＯＩ ＭＢマップを定義する（１５６）。繰り返しになるが、選択されたＲＯＩパターンは、従来の検出技術を用いてファーエンド映像を解析し、ＲＯＩ記述をファーエンド映像内の特定のＭＢにマッチングさせることによって決定することができる。ファーエンドＲＯＩ ＭＢマップが生成された時点で、ＲＯＩ認識映像符号器１２は、ファーエンドＲＯＩ ＭＢマップを符号化されたニアエンド映像内に埋め込み、ファーエンドＲＯＩの優先的符号化のために遠隔映像通信デバイス１４に送信する。
【０１１０】
図１８は、送信者デバイスと受信者デバイス１２、１４との間におけるＲＯＩの対立の解決を示した流れ図である。特に、図１８は、ローカルユーザーによって指定されたニアエンドＲＯＩと遠隔ユーザーによって指定されたニアエンドＲＯＩの対立を解決する上での認証モジュール５８（図３又は図４）の動作を示す。送信者デバイスにおいてニアエンド映像が生成された時点で（１６０）、認証モジュール５８は、ニアエンドＲＯＩがローカルユーザー又は遠隔ユーザーによって要求されているかどうかを決定する（１６２）。要求されていない場合は、ＲＯＩの優先的符号化が行われずに通常どおりに全ＭＢが符号化され（１６４）、その結果得られた符号化された映像が受信者映像通信デバイス１４に送信される（１６６）。
【０１１１】
ニアエンドＲＯＩが要求される場合は（１６２）、認証モジュール５８は、ローカルユーザーによって指定されたニアエンドＲＯＩと遠隔ユーザーによって指定されたＲＯＩとの間において対立が存在するかどうかを決定する（１６８）。遠隔ニアエンドＲＯＩが指定されない場合、又はローカルニアエンドＲＯＩと遠隔ニアエンドＲＯＩが対立しない場合は、認証は、選択されたニアエンドＲＯＩを処理のためにＲＯＩコントローラ５２に渡すことができる。
【０１１２】
ローカルニアエンドＲＯＩが存在せず、遠隔ニアエンドＲＯＩが選択されている場合は、認証モジュール５８は、遠隔ニアエンドＲＯＩを適用するのを許可することができる。代替として、幾つかの実施形態においては、認証モジュール５８は、ローカルユーザーとの対話によって又はアドレスブックに記録されているアクセスレベルによって遠隔ユーザーに与えられた明示のアクセスが存在する場合のみに遠隔ニアエンドＲＯＩを適用するのを許可することができる。ＲＯＩの対立が存在しない場合は、ＲＯＩマッパー５４は、適用可能なニアエンドＲＯＩに基づいてニアエンドＭＢマップを生成してＲＯＩ認識映像符号器４６に適用する。ＲＯＩ認識映像符号器４６は、ニアエンド映像のＲＯＩ内のＭＢを優先的に符号化する（１７２）。
【０１１３】
ローカルニアエンドＲＯＩと遠隔ニアエンドＲＯＩとの間において対立が存在する場合は（１６８）、認証モジュール５８は、例えば映像通信デバイス１２内にローカルで格納されているアドレスブックにおいてアクセスレベルが既に割り当てられているかどうかを決定する（１７４）。アクセスレベルが割り当てられている場合は（１７４）、認証モジュール５８は、アクセスレベルに従ってＲＯＩの対立を解決する（１７６）。例えば、遠隔ユーザーに関する格納されたアクセスレベルは、ローカルユーザーに関するＲＯＩ制御を遠隔ユーザーに与えるべきであることを示すことができる。アクセスレベルが割り当てられていない場合は（１７４）、認証モジュール５８は、遠隔ＲＯＩ制御の承認をローカルユーザーに求める（１７８）。特に、認証モジュール５８は、遠隔ユーザーによるニアエンドＲＯＩ制御の承認を要求するためにユーザーインタフェース４２を介して問い合わせを提示することができる。
【０１１４】
ローカルユーザーによって承認が与えられた場合は、認証モジュール５８は、遠隔ニアエンドＲＯＩを処理のためにＲＯＩコントローラ５２に渡す。承認が与えられない場合は、ＲＯＩコントローラ５２は、ローカルニアエンドＲＯＩを処理する。いずれの場合においても、ＲＯＩ認識映像符号器４６は、選択されたＲＯＩを用いて、ニアエンド映像においてＲＯＩ内にあるＭＢを優先的に符号化し、符号化されたニアエンド映像を遠隔受信者デバイス１４に送信する（１６６）。幾つかの場合においては、認証モジュール５８は、ローカルユーザーと遠隔ユーザーとの間だけでなく、可能なことに幾つかの遠隔ユーザーとの間におけるＲＯＩの対立を解決することができる。ローカルユーザーは、ニアエンドＲＯＩを制御するためのアクセス権を遠隔ユーザーの１人に能動的に与えるか、又は様々な遠隔ユーザーのＲＯＩ制御権の優先順位を設定する相対的アクセスレベルを割り当てることができる。典型的には、ＲＯＩを制御するためのアクセス権は、１人のユーザー、例えばローカルユーザー又は遠隔ユーザーのうちの１人に対して排他的に与えられる。
【０１１５】
図１９は、ファーエンド映像内のＲＯＩマクロブロックの優先的復号を示す流れ図である。図１９に示されるように、ファーエンド映像を遠隔送信者デバイス１４から受信した時点で（１８０）、ローカル受信者デバイス１２内のＲＯＩ認識映像復号器４８は、ファーエンドＲＯＩがローカルユーザーによって指定されているかどうかを決定する（１８２）。指定されていない場合は、ＲＯＩ認識映像復号器４８は、ファーエンド映像内の全ＭＢを通常どおりに符号化する（１８４）。しかしながら、ファーエンドＲＯＩ情報がローカルユーザーによって指定された場合は、ＲＯＩ認識映像復号器４８は、受信されたファーエンド映像内のＲＯＩ ＭＢを優先的に復号する（１８６）。ＲＯＩ ＭＢは、非ＲＯＩＭＢに対して適用される内挿方程式及びエラー隠蔽技術よりも高い品質の内挿方程式又はより強固なエラー隠蔽技術を適用することによって優先的に復号することができる。優先的復号は、より高い品質のデブロッキング又はデリンギングフィルタ等の優先的な後処理を含むことができる。
【０１１６】
本明細書において説明される技術は、ハードウェア内、ソフトウェア内、ファームウェア内、又はその組合せ内において実装することができる。ソフトウェア内に実装される場合は、前記技術は、実行されたときに上述される方法のうちの１つ以上を実行する命令を含むプログラムコードを具備するコンピュータ読み取り可能媒体によって一部を実現することができる。この場合は、コンピュータ読み取り可能媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）等のランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気式又は光学式データ記憶媒体、等を具備することができる。
【０１１７】
プログラムコードは、１つ以上のプロセッサ、例えば１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はその他の同等の集積回路又は個別論理回路、等であることができる。幾つかの実施形態においては、本明細書において説明される機能は、符号化及び復号のために構成される専用ソフトウェアモジュール又はハードウェア装置内において提供すること、又は結合された映像符号器−復号器（ＣＯＤＥＣ）内に組み入れることができる。
【０１１８】
様々な実施形態が説明されている。これらの及びその他の実施形態は、上記の請求項の適用範囲内である。
【図面の簡単な説明】
【０１１９】
【図１】ＲＯＩ認識映像符号器−復号器（ＣＯＤＥＣ）を組み入れた映像符号化及び復号システムを示したブロック図である。
【図２】無線通信デバイスと関連するディスプレイ上において提示された映像シーン内におけるＲＯＩの定義を示した図である。
【図３】ＲＯＩ認識ＣＯＤＥＣを組み入れた通信デバイスを示すブロック図である。
【図４】ＲＯＩ認識ＣＯＤＥＣを有し、ＲＯＩ抽出モジュールをさらに組み入れた他の通信デバイスを示すブロック図である。
【図５】中間抽出サーバーを介しての分散型ＲＯＩ抽出を示すブロック図である。
【図６】複数のビデオテレフォニーセッションに関する分散型ＲＯＩ抽出を示すブロック図である。
【図７Ａ】ユーザーによる選択のための予め定義されたＲＯＩパターンを示した図である。
【図７Ｂ】ユーザーによる選択のための予め定義されたＲＯＩパターンを示した図である。
【図７Ｃ】ユーザーによる選択のための予め定義されたＲＯＩパターンを示した図である。
【図７Ｄ】ユーザーによる選択のための予め定義されたＲＯＩパターンを示した図である。
【図８】遠隔送信者デバイスにおけるニアエンド映像の優先的ＲＯＩ符号化を制御するための受信者デバイスにおけるＲＯＩ情報の生成を示した流れ図である。
【図９】送信者デバイスにおけるニアエンド映像の優先的ＲＯＩ符号化に関する受信者デバイスからのＲＯＩ情報の処理を、ＲＯＩ追跡と組み合わせて示した流れ図である。
【図１０】送信者デバイスにおけるニアエンド映像の優先的ＲＯＩ符号化に関する受信者デバイスからのＲＯＩ情報の処理を、ユーザー認証と組み合わせて示した流れ図である。
【図１１】予め定義されたＲＯＩパターンの選択を示した流れ図である。
【図１２】ＲＯＩテンプレートの拡大及び縮小による表示された映像シーン内におけるＲＯＩパターンの定義を示した図である。
【図１３】ＲＯＩテンプレートのドラッグによる表示された映像シーン内におけるＲＯＩパターンの定義を示した図である。
【図１４】タッチ画面上においてスタイラスを用いてＲＯＩエリアを描くことによる表示された映像シーン内におけるＲＯＩパターンの定義を示した図である。
【図１５】動的に抽出及び追跡される指定のＲＯＩオブジェクトを有するドロップダウンメニューを用いることによる表示された映像シーン内におけるＲＯＩパターンの定義を示した図である。
【図１６】図７Ａ乃至７Ｄに示されるように、予め定義されたＲＯＩパターンにマッピングされた指定のＲＯＩオブジェクトを有するドロップダウンメニューを用いることによる表示された映像シーン内におけるＲＯＩパターンの定義を示した図である。
【図１７】ＲＯＩ記述インタフェースを用いることによる表示された映像シーン内におけるＲＯＩパターンの定義を示した流れ図である。
【図１８】送信者デバイスと受信者デバイスとの間におけるＲＯＩの対立の解決を示した流れ図である。
【図１９】ファーエンド映像内におけるＲＯＩマクロブロックの優先的復号を示した流れ図である。
【技術分野】
【０００１】
本発明は、米国仮特許出願番号６０／６６０，２００（出願日：２００５年３月９日）、及び"REGION-OF-INTEREST EXTRACTION FOR VIDEO TELEPHONY"（ビデオテレフォニーに関する関心領域抽出）という題名を有する係属中の米国特許出願番号１１／１８２，４３２（出願日：２００５年７月１５日）の利益を主張するものである。
【０００２】
本開示は、デジタル映像の符号化及び復号に関するものである。本発明は、より具体的には、ビデオテレフォニー（ＶＴ）用途に関する関心領域（ＲＯＩ）の処理技術に関するものである。
【背景技術】
【０００３】
デジタル映像シーケンスを符号化するための幾つかの異なる映像符号化基準が確立されている。例えば、ムービング・ピクチャー・エキスパーツ・グループ（ＭＰＥＧ）は、ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４を含む幾つかの基準を策定している。その他の例は、国際電気通信連合（ＩＴＵ）Ｈ．２６３基準、新規のＩＴＵ Ｈ．２６４基準を含む。これらの映像符号化基準は、一般的は、データを圧縮して符号化することによって映像シーケンスの向上された送信効率をサポートする。
【０００４】
ビデオテレフォニー（ＶＴ）は、テレビ会議等の用途をサポートするためにユーザーが映像及び音声情報を共有することを可能にする。典型的ビデオテレフォニー基準は、セッション開始プロトコル（ＳＩＰ）、ＩＴＵ Ｈ．３２３基準、及びＩＴＵ Ｈ．３２４基準によって定義されるビデオテレフォニー基準を含む。ＶＴシステムにおいては、ユーザーは、映像情報を送受信する、映像情報を受信するだけである、又は映像情報を送信するだけである。受信者は、一般的には、送信者から送信された形の受信映像情報を観る。
【０００５】
映像情報の選択された部分の優先的符号化が提案されている。例えば、送信者は、受信者に送信するためにより高い品質で符号化すべき関心領域（ＲＯＩ）を指定することができる。送信者は、遠隔の受信者に対してＲＯＩを強調するのを望むことができる。ＲＯＩの典型例は人間の顔であるが、送信者は、映像シーン内のその他のオブジェクトに注意を集中するのを望むことができる。ＲＯＩを優先的に符号化することにより、受信者は、非ＲＯＩ領域よりも鮮明にＲＯＩを観ることができる。
【発明の開示】
【課題を解決するための手段】
【０００６】
本開示は、ビデオテレフォニー（ＶＴ）に関する関心領域（ＲＯＩ）処理技術に関するものである。開示された技術により、ローカル受信者デバイスは、遠隔送信者デバイスによって符号化及び送信された映像、すなわちファーエンド映像、に関するＲＯＩ情報を定義する。前記ローカル受信者デバイスは、前記ＲＯＩ情報を前記遠隔送信者デバイスに送信する。前記送信者デバイスは、前記受信者デバイスによって送信された前記ＲＯＩ情報を用いて、映像シーン内のＲＯＩに対して優先的符号化、例えばより高質な符号化又はエラー保護、を適用する。この方法により、受信者デバイスは、送信者デバイスによって符号化されたファーエンド映像のＲＯＩ符号化を遠隔で制御することができる。
【０００７】
受信者は、ファーエンド映像を受信することに加えて、映像、すなわちニアエンド映像を送信するために装備することもできる。従って、ＶＴ通信に参加するデバイスは、映像情報の送信者及び受信者の両方として対称的に行動することができる。各デバイスは、受信者として行動し、送信者としての遠隔デバイスによって符号化された映像に関するファーエンドＲＯＩ情報を定義することができる。さらに、各デバイスは、送信者として行動し、受信者としての他方のデバイスに送信される映像情報に関するニアエンドＲＯＩ情報を定義することができる。送信者デバイス又は受信者デバイスは、ＲＯＩ映像符号化の遠隔制御をサポートするために他のデバイスによって提供されるＲＯＩ情報を処理することができるという意味で「ＲＯＩ認識」と呼ぶことができる。
【０００８】
ファーエンドＲＯＩ情報は、受信者が受信された映像シーン内のオブジェクト又は領域をより鮮明に観るために送信者デバイスによる遠隔ＲＯＩ符号化を制御することを可能にする。ニアエンドＲＯＩ情報は、送信者が送信された映像シーン内のオブジェクト又は領域を強調するためにローカルＲＯＩ符号化を制御することを可能にする。従って、送信者によるＲＯＩの優先的符号化は、受信者又は送信者によって生成されたＲＯＩ情報に基づくことができる。さらに、受信者デバイスは、エラー隠蔽技術、デブロッキング技術又はデリンギング技術、等のより高質の後処理を適用することによって、ＲＯＩ情報に基づいてＲＯＩを優先的に復号することができる。
【０００９】
本開示は、ＲＯＩ処理を容易にするために、ＲＯＩの選択、ＲＯＩマッピング、ＲＯＩ抽出、ＲＯＩシグナリング、ＲＯＩ追跡、及び送信者デバイスによるＲＯＩ符号化の遠隔制御を可能にするための受信者デバイスのアクセス認証に関する技術をさらに企図している。ＲＯＩの選択は、予め定義されたＲＯＩパターン、口頭又はテキストによるＲＯＩ記述（ｄｅｓｃｒｉｐｔｉｏｎ）、又はユーザーによるＲＯＩ描写に依存することができる。ＲＯＩマッピングは、選択されたＲＯＩパターンをＲＯＩマップに変換することを含み、前記ＲＯＩマップは、映像符号器によって用いるのに適したマクロブロック（ＭＢ）マップの形態をとることができる。
【００１０】
ＲＯＩシグナリングは、受信者デバイスから送信者デバイスへのＲＯＩ情報のインバンド又はアウトオブバウンドシグナリングを含むことができる。ＲＯＩ追跡は、ＲＯＩの動きに応じたＲＯＩマップの動的調整を含む。アクセス認証は、ＲＯＩの遠隔制御を目的として、及びローカルユーザーと遠隔ユーザーとの間における又は複数の遠隔ユーザー間におけるＲＯＩ制御の対立の解決策として、アクセス権及びアクセスレベルを受信者デバイスに与えることを含むことができる。
【００１１】
ＲＯＩ抽出は、ユーザーによる関心領域（ＲＯＩ）の記述を処理して前記記述に基づいて前記ＲＯＩを指定する情報を生成することを含む。ニアエンド映像は、前記ＲＯＩを指定する前記情報に基づいて符号化することで前記ニアエンド映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させることができる。前記ユーザーによる記述は、テキスト、図形、又は音声に基づくことができる。抽出モジュールは、前記ＲＯＩ情報を前記ユーザーによる記述から生成するための適切な処理を適用する。前記抽出モジュールは、映像通信デバイスとともにローカルで常駐すること、又はＲＯＩ抽出用に構成された個別の中間サーバー内に常駐することができる。
【００１２】
一実施形態においては、本開示は、ローカルデバイスによって符号化されて遠隔デバイスによって受信されたニアエンド映像内における関心領域（ＲＯＩ）を指定する情報を前記遠隔デバイスから受信することと、前記ＲＯＩに基づいて前記ニアエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させること、とを具備する方法を提供する。
【００１３】
他の実施形態においては、本開示は、遠隔映像通信デバイスに送信されたニアエンド映像内における関心領域（ＲＯＩ）を指定する情報を前記遠隔映像通信デバイスから受信する関心領域（ＲＯＩ）エンジンと、前記ニアエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる映像符号器と、を具備する映像符号化デバイスを提供する。
【００１４】
追加の実施形態においては、本開示は、遠隔デバイスによって送信されてローカルデバイスによって受信されたファーエンド映像内における関心領域（ＲＯＩ）を指定する情報を生成することと、前記ＲＯＩに基づいて前記ファーエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる際に使用するために前記情報を前記遠隔デバイスに送信すること、とを具備する方法を提供する。
【００１５】
さらなる実施形態においては、本開示は、遠隔デバイスから受信されたファーエンド映像内における関心領域（ＲＯＩ）を指定する情報を生成する関心領域（ＲＯＩ）エンジンと、前記ファーエンド映像を前記ＲＯＩに基づいて符号化して前記ファーエンド映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる際に前記遠隔デバイスによって用いるために前記ＲＯＩを指定する情報を前記符号化されたニアエンド映像とともに送信する映像符号器と、を具備する映像符号化デバイスを提供する。
【００１６】
他の実施形態においては、本開示は、ローカルデバイスによって生成されたニアエンド映像内における関心領域（ＲＯＩ）の記述をユーザーから受信することと、前記記述に基づいて前記ＲＯＩを指定する情報を生成することと、前記ＲＯＩを指定する前記情報に基づいて前記ニアエンド映像を符号化して前記ニアエンド映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させること、とを具備する方法を提供する。
【００１７】
追加の実施形態においては、本開示は、映像符号化デバイスであって、前記デバイスによって符号化されたニアエンド映像内における関心領域（ＲＯＩ）の記述を受信し、前記記述に基づいて前記ＲＯＩを指定する情報を生成する関心領域（ＲＯＩ）エンジンと、前記ニアエンド映像を符号化して前記映像の非ROIエリアに対する前記ＲＯＩの画質を向上させる映像符号器と、を具備する映像符号化デバイス、を提供する。
【００１８】
さらなる実施形態においては、本開示は、ニアエンド映像を符号化する第１の映像通信デバイスと、前記第１の映像通信デバイスから前記ニアエンド映像を受信する第２の映像通信デバイスであって、前記第１の映像通信デバイスによって生成された前記ニアエンド映像内における関心領域（ＲＯＩ）に関するユーザーの記述を生成する第２の映像通信デバイスと、前記第１及び第２の映像通信デバイスと構造的に別個であり、前記記述に基づいて前記ＲＯＩを指定する情報を生成する中間サーバーと、を具備し、前記第１の映像通信デバイスは、前記ＲＯＩを指定する前記情報に基づいて前記ニアエンド映像を符号化して前記ニアエンド映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる、映像符号化システムを提供する。
【００１９】
本明細書において説明される技術は、ハードウェア内、ソフトウェア内、ファームウェア内、又はその組合せ内において実装することができる。ソフトウェア内に実装された場合は、前記技術は、実行されたときに本明細書において説明される方法のうちの１つ以上を実行する命令を含むプログラムコードを具備するコンピュータ読み取り可能媒体によって一部を実現させることができる。
【００２０】
１つ以上の実施形態の詳細が、添付図面及び以下の説明において示されている。該説明及び図面から、及び請求項からその他の特長、目的、及び利点が明確になるであろう。
【発明を実施するための最良の形態】
【００２１】
図１は、ＲＯＩ認識映像符号器−復号器（ＣＯＤＥＣ）を組み入れた映像符号化及び復号システム１０を示すブロック図である。図１に示されるように、システム１０は、第１の映像通信デバイス１２と、第２の映像通信デバイス１４と、を含む。通信デバイス１２、１４は、送信チャネル１６によって接続される。送信チャネル１６は、有線又は無線の媒体であることができる。システム１０は、ビデオテレフォニーに関する映像通信デバイス１２、１４の間における双方向映像送信をサポートする。デバイス１２、１４は、実質的に対称的に動作することができる。しかしながら、幾つかの実施形態においては、一方又は両方の映像通信デバイス１２、１４は、ＲＯＩ認識映像ストリーミングをサポートするために１方向通信のみに関して構成することができる。
【００２２】
双方向性の用途に関しては、相互符号化、復号、多重化（ＭＵＸ）及び逆多重化（ＤＥＭＵＸ）コンポーネントをチャネル１６の反対側の端部に備えることができる。図１の例においては、映像通信デバイス１２は、ＭＵＸ／ＤＥＭＵＸコンポーネント１８と、ＲＯＩ認識映像ＣＯＤＥＣ２０と、音声ＣＯＤＥＣ２２と、を含む。同様に、映像通信デバイス１４は、ＭＵＸ／ＤＥＭＵＸコンポーネント２６と、ＲＯＩ認識映像ＣＯＤＥＣ２８と、音声ＣＯＤＥＣ３０と、を含む。各ＣＯＤＥＣ２０、２８は、他の映像通信デバイス１２、１４から遠隔で、又は自己の映像通信デバイスからローカルで提供されるＲＯＩ情報を処理することができるという意味で「ＲＯＩ認識」である。
【００２３】
映像通信デバイス１２、１４は、映像ストリーミング、ビデオテレフォニー、又は両方のために備えられた無線移動端末又は有線端末として実装することができる。この目的のために、映像通信デバイス１２、１４は、無線通信をサポートするための適切な送信機、受信機、モデム、及び処理用電子装置をさらに含むことができる。無線移動端末の例は、無線通信能力及び映像符号化及び／又は復号能力を備えた移動無線電話、モバイルパーソナルデジタルアシスタント（ＰＤＡ）、モバイルコンピュータ、又はその他のモバイルデバイスを含む。有線端末の例は、デスクトップコンピュータ、ビデオ電話、ネットワーク機器、セットトップボックス、双方向型テレビ、等、を含む。どちらの映像通信デバイス１２、１４も、映像情報を送信するように、映像情報を受信するように、又は映像情報を送受信するように構成することができる。
ビデオテレフォニー用途に関しては、一般的には、デバイス１２が映像送信能力及び映像受信能力の両方をサポートするのが望ましい。しかしながら、ストリーミング映像用途も企図されている。ビデオテレフォニー、特に無線通信によるモバイルビデオテレフォニーにおいては、帯域幅が重要な懸念事項である。従って、追加の符号化ビットをＲＯＩに選択的に割り当てること、又はその他の優先的符号化ステップは、全体的な符号化効率を維持しながら映像の一部分の画質を向上させることができる。優先的符号化に関しては、追加のビットをＲＯＩに割り当てることができ、その一方で減らされた数のビットを非ＲＯＩ領域、例えば映像シーン内の背景、に割り当てることができる。
【００２４】
一般的には、システム１０は、ビデオテレフォニー（ＶＴ）用途に関する関心領域（ＲＯＩ）を処理するための技術を採用する。しかしながら、前記技術は、上述されるように、映像ストリーミング用途に対しても応用可能である。例示することを目的として、各映像通信デバイス１２、１４は、映像情報の送信者及び受信者の両方として動作し、それによってＶＴセッションへの完全な参加者として動作することができると仮定される。映像通信デバイス１２から映像通信デバイス１４に送信される映像情報に関しては、映像通信デバイス１２が送信者デバイスであり、映像通信デバイス１４が受信者デバイスである。逆に、映像通信デバイス１４から映像通信デバイス１２に送信される映像情報に関しては、映像通信デバイス１２が受信者デバイスであり、映像通信デバイス１４が送信者デバイスである。ローカル映像通信デバイス１２、１４によって符号化及び送信される映像情報について論じるときには、前記映像情報は、「ニアエンド」映像と呼ばれる。遠隔映像通信デバイス１２、１４によって符号化される及び遠隔映像通信デバイス１２、１４から受信される映像情報について論じるときには、前記映像情報は、「ファーエンド」映像と呼ばれる。
【００２５】
開示される技術により、映像通信デバイス１２又は１４は、受信者デバイスとして動作時には、送信者デバイスから受信されるファーエンド映像情報に関するＲＯＩ情報を定義する。繰り返しになるが、送信者デバイスから受信される映像情報は、通信チャネルの遠端部に位置する他方の（送信者）デバイスから受信されるという意味で「ファーエンド」映像情報と呼ばれる。同様に、送信者デバイスから受信される映像情報に関して定義されたＲＯＩ情報は、「ファーエンド」ＲＯＩ情報と呼ばれる。ファーエンドＲＯＩは、一般的には、ファーエンド映像の受信者にとっても最も関心のあるファーエンド映像内の領域を指す。受信者デバイスは、ファーエンド映像情報を復号し、復号されたファーエンド映像を表示デバイスを介してユーザーに提示する。ユーザーは、ファーエンド映像によって提示された映像シーン内のＲＯＩを選択する。
【００２６】
受信者デバイスは、ユーザーによって選択されたＲＯＩに基づいてファーエンドＲＯＩ情報を生成し、該ファーエンドＲＯＩ情報を送信者デバイスに送信する。ファーエンドＲＯＩ情報は、ＲＯＩ内に常駐するＲＯＩマクロブロック（ＭＢ）に基づいてＲＯＩを定義するＲＯＩマクロブロック（ＭＢ）マップの形態をとることができる。ＲＯＩ ＭＢマップは、ＲＯＩに含まれているＭＢ（１）及びＲＯＩから除外されているＭＢ（０）を簡単に識別するために、ＲＯＩ内のＭＢに１のフラグを付け、ＲＯＩ外のＭＢに０のフラグを付けることができる。ＭＢは、フレームの一部を形成する映像ブロックである。ＭＢの大きさは、１６×１６画素であることができる。しかしながら、その他のＭＢの大きさも可能である。従って、ＭＢは、限定することなしに、ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４、ＩＴＵ Ｈ．２６３、ＩＴＵ Ｈ．２６４、又はその他の基準、等の特定の映像符号化基準内において定義されるマクロブロックを含むあらゆる映像ブロックを指すことができる。
【００２７】
送信者デバイスは、受信者デバイスによって送信されたファーエンドＲＯＩ情報を用いることによって、映像シーン内の対応するＲＯＩに対して優先的符号化を適用する。特に、ＲＯＩに対して追加の符号化ビットを割り当てて減らされた数のビットを非ＲＯＩ領域に割り当て、それによってＲＯＩの画質を向上させることができる。この方法により、受信者デバイスは、送信者デバイスによるファーエンド映像情報のＲＯＩ符号化を遠隔制御することができる。優先的符号化は、例えばＲＯＩエリア内における優先的ビット割当て又は優先的量子化によって、映像シーンの非ＲＯＩエリアに対してよりも高い品質の符号化をＲＯＩエリアに対して適用する。優先的に符号化されたＲＯＩは、受信者デバイスのユーザーがオブジェクト又は領域をより鮮明に観るのを可能にする。例えば、受信者デバイスのユーザーは、顔又はその他の何らかのオブジェクトを映像シーンの背景領域よりも鮮明に観るのを希望することができる。
【００２８】
映像通信デバイス１２又は１４は、送信者デバイスとして動作時には、送信者デバイスによって送信される映像情報に関するＲＯＩ情報を定義することもできる。繰り返しになるが、送信者デバイスにおいて生成される映像情報は、通信チャネルの近端部において生成されるという意味で「ニアエンド」映像と呼ばれる。送信者デバイスによって生成されたＲＯＩ情報は、「ニアエンド」ＲＯＩ情報と呼ばれる。ニアエンドＲＯＩは、一般的には、送信者が受信者に対して強調することを希望するニアエンド映像の領域を指す。従って、ＲＯＩは、受信者デバイスユーザーの場合はファーエンドＲＯＩ情報として、送信者デバイスユーザーの場合はニアエンドＲＯＩ情報として指定することができる。送信者デバイスは、表示デバイスを通じてユーザーにニアエンド映像を提示する。送信者デバイスと関連するユーザーは、ニアエンド映像によって提示された映像シーン内のＲＯＩを選択する。送信者デバイスは、ニアエンド映像内のＲＯＩが例えば非ＲＯＩエリアよりも高い品質の符号化を用いて優先的に符号化されるようにするために、ユーザーによって選択されたＲＯＩを用いてニアエンド映像を符号化する。
【００２９】
送信者デバイスにおいてローカルユーザーによって選択されたニアエンドＲＯＩは、送信者デバイスのユーザーが映像シーン内の領域又はオブジェクトを強調し、それによって前記領域又はオブジェクトに受信者デバイスユーザーの注意を向けさせることを可能にする。顕著なことに、送信者デバイスユーザーによって選択されたニアエンドＲＯＩは、受信者デバイスに送信する必要がない。その代わりに、送信者デバイスは、ニアエンド映像が受信者デバイスに送信される前に、選択されたニアエンドＲＯＩ情報を用いてニアエンド映像をローカルで符号化する。しかしながら、幾つかの実施形態においては、送信者デバイスは、優先的復号技術、例えばエラー隠蔽等のより高い品質のエラー補正又はデブロッキング及びデリンギングフィルタ等の後処理、の適用を可能にするためにＲＯＩ情報を受信者デバイスに送信することができる。
【００３０】
ＲＯＩ情報が送信者デバイス及び受信者デバイスの両方によって提供される場合は、送信者デバイスは、ニアエンド映像を符号化するために、受信者デバイスからの受信されたファーエンドＲＯＩ情報又はローカルで生成されたニアエンドＲＯＩ情報を適用する。送信者デバイス及び受信者デバイスによって提供されたニアエンドＲＯＩの選択とファーエンドＲＯＩの選択との間においてＲＯＩの対立が生じることがある。該対立は、本開示の別の箇所において説明されるように、解決、例えば、ローカルユーザーによる能動的解決又は指定されたアクセス権及びアクセスレベルに従った解決、等を要求する。いずれの場合においても、送信者デバイスは、送信者デバイスによってローカルで又は受信者デバイスによって遠隔で提供されたニアエンドＲＯＩ情報に基づいて優先的にＲＯＩを符号化する。
【００３１】
本開示は、ＲＯＩ処理を容易にするために、ＲＯＩ選択、ＲＯＩマッピング、ＲＯＩシグナリング、ＲＯＩ追跡、及び送信者デバイスによるＲＯＩ符号化の遠隔制御を許可するための受信者デバイスのアクセス認証に関する技術をさらに企図している。説明されるように、受信者デバイス又は送信者デバイスによって適用される異なるＲＯＩ選択技術は、予め定義されたＲＯＩパターンの選択、口頭又はテキストによるＲＯＩの記述、又はユーザーによるＲＯＩ描画を含むことができる。受信者デバイスにおいては、ＲＯＩマッピングは、選択されたファーエンド又はニアエンドＲＯＩパターンをＲＯＩマップに変換することを含むことができ、前記ＲＯＩマップは、マクロブロック（ＭＢ）マップの形態をとることができる。ＲＯＩシグナリングは、受信者デバイスから送信者デバイスへのファーエンドＲＯＩ情報のインバンド又はアウトオブバンドのシグナリングを含むことができる。ＲＯＩ追跡は、ＲＯＩの動きに応じて、受信者デバイスによって生成されたファーエンドＲＯＩマップ、又は送信者自体によって生成されたローカルニアエンドＲＯＩの動的調整を含む。アクセス認証は、遠隔のファーエンドＲＯＩ制御を目的として、及び受信者デバイスと送信者デバイスとの間におけるＲＯＩの制御の対立の解決策として、アクセス権及びアクセスレベルを受信者デバイスに与えることを含むことができる。
【００３２】
システム１０は、セッション開始プロトコル（ＳＩＰ）、ＩＴＵ Ｈ．３２３基準、ＩＴＵ Ｈ．３２４基準、又はその他の基準に従ったビデオテレフォニーをサポートすることができる。各映像ＣＯＤＥＣ２０、２８は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ Ｈ．２６３、又はＩＴＵ Ｈ．２６４、等の映像圧縮基準に従って符号化された映像データを生成する。図１においてさらに示されるように、映像ＣＯＤＥＣ２０、２８は、各々の音声ＣＯＤＥＣ２２、３０と統合することができ、データストリームの音声部分と映像部分を取り扱うための該当するＭＵＸ／ＤＥＭＵＸコンポーネント１８、２６を含む。ＭＵＸ−ＤＥＭＵＸ装置１８、２６は、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はその他のプロトコル、例えばユーザーデータグラムプロトコル（ＵＤＰ）、に準拠することができる。
【００３３】
図２は、無線通信デバイス３８と関連するディスプレイ３６上に提示された映像シーン３４内におけるＲＯＩ３２の定義を示す図である。図２の例においては、ＲＯＩ３２は、映像シーン３４において提示された人の顔３９を含む長方形の領域であるが、該ＲＯＩは、改良された又は向上された符号化が希望される画像又はオブジェクトを含むことが可能である。ＶＴ用途においては、映像シーン３４において提示される人は、典型的には、受信者デバイスとして動作している無線通信デバイス３８のユーザーとのテレビ会議の当事者である遠隔送信者デバイスのユーザーになる。ＲＯＩ３２は、遠隔送信者デバイスから送信された映像シーン内におけるＲＯＩを定義するという点でファーエンドＲＯＩを構成する。本開示により、ファーエンドＲＯＩ３２は、ＲＯＩ内における映像シーンのエリアの優先的符号化を指定するために送信者デバイスに送信される。この方法により、受信者デバイス３８のローカルユーザーは、ファーエンドＲＯＩ３２の画質を遠隔で制御することができる。後述されるように、ファーエンドＲＯＩ３２の大きさ、形状及び位置は、固定又は調整可能であり、様々な方法で定義、記述又は調整することができる。
【００３４】
ＲＯＩ３２は、受信者デバイスユーザーが映像シーン３４内の人の顔３９、等の個々のオブジェクトをより鮮明に観ることを可能にする。ＲＯＩ３２内の顔３９は、映像シーン３４の背景領域、等の非ＲＯＩエリアよりも高い画質で符号化される。この方法により、ユーザーは、顔の表情、唇の動き、目の動き、等をより鮮明に観ることができる。しかしながら、ＲＯＩ３２は、代替として、顔以外のオブジェクトを指定するために用いることができる。概して、ＶＴ用途におけるＲＯＩは非常に主観的であることが可能であり、ユーザーごとに異なる可能性がある。希望されるＲＯＩも、ＶＴがどのように用いられるかに依存する。幾つかの事例においては、ＶＴは、テレビ会議とは対照的に、オブジェクトを観るため及び評価するために用いることができる。
【００３５】
例えば、夫は、ギフトショップ又は空港で購入したい贈り物を見せるためにＶＴ用途を用いることができる。夫は、タイムリーな形で及び対話形式で自分の妻からセカンドオピニオンを得るのを希望することができる。このようにすることで、夫は、飛行機がまさに出発しようとしているときに直ちに決定をすることができる。この場合は、ＲＯＩは、夫が検討中である贈り物を網羅する領域である。妻（又は夫）がＲＯＩを選択するのを可能にすることによって、特定のＲＯＩに関してより良い符号化又はより良い品質のサービスを達成させ、それによって妻が贈り物をより鮮明に観ることを可能にすることができる。
【００３６】
他の例として、２人以上の技師が、黒板上での様々な方程式又は線図のプレゼンテーション及び解説が関わるＶＴ呼を行うことができる。この場合は、遠隔ユーザーは、例えば方程式の詳細をより鮮明に見るために黒板の一部分をより高い画質で観るのを望むことができる。その目的のため、遠隔ユーザーは、方程式を包含するＲＯＩを選択する。さらに、技師が黒板に追記するのに応じて、遠隔ユーザーは、黒板に新たに追記された主題を追跡するためにＲＯＩを移動させるのを望むことができる。遠隔ユーザーがＲＯＩを指定できることは、技術的な討論における情報交換を大幅に向上させることができる。
【００３７】
本明細書において説明されるＲＯＩ技術は、ＲＯＩの映像の品質を向上させるだけでなく、２人のユーザー間における映像での対話も向上させることができる。一般的には、従来のＶＴ用途は、単に２つの１方向の映像送信を結合させるだけであり、対話は声で行われる。従来のＶＴ用途においては、典型的には、映像側での対話は存在しない。受信者デバイスがＴＶ呼中に送信者デバイスから受信される映像コンテンツに対する少なくとも制限された制御を有するのを可能にすることは、増大した映像対話を可能にする。
【００３８】
この方法により、ＶＴ用途は、受信者デバイスユーザーがＲＯＩを選択し、例えばより多くの符号化ビットの割当て、より強力なエラー保護、例えばＭＢ内リフレッシュメント、によってＲＯＩの優先的な処理、例えばより高質の符号化、を行うために送信者デバイスにＲＯＩ情報を送り返すことができるように設計することが可能である。実際上は、ファーエンドＲＯＩを指定することによって、受信者デバイスユーザーは、送信者デバイス符号器を遠隔制御することができる。さらに、このファーエンドＲＯＩ情報は、より良い後処理、例えばエラー隠蔽、デブロッキング又はデリンギングのためにファーエンド映像を受信するデバイス内のＲＯＩ認識映像復号器によって用いることができる。符号化された映像の受信者による映像符号器の遠隔制御は、遠隔カメラのパン、チルト、ズーム又は焦点を単に制御するのとは異なる。対照的に、遠隔ＲＯＩ処理のおかげで、ユーザーは、特定の１つの領域又は複数の領域に適用される符号化の質に影響を与えることができる。しかしながら、幾つかの実施形態においては、遠隔カメラ制御は、遠隔映像符号器制御と組み合わせて提供することができる。
【００３９】
図３は、ＲＯＩ認識ＣＯＤＥＣを組み入れた映像通信デバイス１２を示したブロック図である。図３は、図１の映像通信デバイス１２を描いているが、映像通信デバイス１４は、同様に構築することができる。繰り返しになるが、映像通信デバイス１２又は１４は、受信者デバイス、送信者デバイス、及び好ましいことに受信者デバイスと送信者デバイスの両方として機能することができる。図３に示されるように、映像通信デバイス１２は、ＲＯＩ認識ＣＯＤＥＣ２０と、映像キャプチャデバイス４０と、ユーザーインタフェース４２と、を含む。図１３ではチャネル１６が示されているが、例示を容易にするためにＭＵＸ−ＤＥＭＵＸ及び音声コンポーネントは省略されている。映像キャプチャデバイス４０は、映像通信デバイス１２と統合した又は動作可能な形で結合されたビデオカメラであることができる。例えば、幾つかの実施形態においては、映像キャプチャデバイス４０は、携帯電話と統合していわゆるビデオカメラフォンを構成することができる。この方法により、映像キャプチャデバイス４０は、モバイルＴＶ用途をサポートすることができる。
【００４０】
ユーザーインタフェース４２は、映像通信デバイス１２と統合または動作可能な形で結合させることができる表示デバイス、例えば、液晶ディスプレイ（ＬＣＤ）、プラズマ画面、プロジェクタディスプレイ、又はその他の表示装置、を含むことができる。表示デバイスは、映像通信デバイス１２のユーザーに映像画像を提示する。映像画像は、映像キャプチャデバイス４０によってローカルで得られたニアエンド映像、及び送信者デバイスから遠隔送信されたファーエンド映像を含む。さらに、ユーザーインタフェース４２は、映像通信デバイス１２のユーザーによる情報入力のためのハードキー、ソフトキー、様々なポインティング装置、スタイラス、等を含む様々なユーザー入力媒体のうちのいずれかを含むことができる。幾つかの実施形態においては、表示デバイス及びユーザーインタフェース４２のユーザー入力媒体は、携帯電話と一体化することができる。映像通信デバイス１２のユーザーは、ファーエンド映像、及びオプションとしてのニアエンド映像を観るためにユーザーインタフェース４２に依存する。さらに、ユーザーは、ファーエンドＲＯＩ、及びオプションとしてのニアエンドＲＯＩの定義又は選択に関する情報を入力するためにユーザーインタフェース４２に依存する。
【００４１】
図３においてさらに示されるように、ＲＯＩ認識ＣＯＤＥＣ２０は、ＲＯＩエンジン４４と、ＲＯＩ認識映像符号器４６と、ＲＯＩ認識映像復号器４８と、を含む。ＲＯＩ認識映像符号器４６は、遠隔の受信者デバイスに送信するために映像キャプチャデバイス４０から得られたニアエンド映像（「ニアエンド映像」）を符号化する。繰り返しになるが、「ニアエンド」という表現は、映像通信デバイス１４等の遠隔映像通信デバイスから受信された「ファーエンド」映像とは対照的に、映像通信デバイス１２内においてローカルで生成される映像を指定する。図３の例において、ＲＯＩ認識映像符号器４６は、ニアエンドＲＯＩを優先的に符号化するために遠隔受信機（「遠隔ニアエンドＲＯＩ」）から得られたニアエンドＲＯＩ情報を使用する。遠隔受信機は、遠隔映像通信デバイス１４と関連するユーザーである。
【００４２】
遠隔ユーザーの観点からは、遠隔ニアエンドＲＯＩは、遠隔ニアエンドＲＯＩは、遠隔デバイス１４によって送信されるときには遠隔ファーエンドＲＯＩであり、受信されるときにはデバイス１２のローカルユーザーの観点からは遠隔ニアエンドＲＯＩと呼ばれる。すなわち、送信者又は受信者としてのデバイス１２、１４の観点は、映像及びＲＯＩがニアエンド映像又はファーエンド映像のいずれに適用可能であるとみなされるかを決定する。繰り返しになるが、遠隔デバイス１４における映像符号化を遠隔制御するローカルデバイス１２のユーザーは、ファーエンドＲＯＩを指定する。しかしながら、遠隔デバイス１４のユーザーは、ファーエンドＲＯＩを受信するが、ローカルデバイス１４によって符号化されているニアエンド映像に関係するため遠隔ニアエンドＲＯＩとみなされる。一般的には、本開示において用いられるラベルの目的上、観点が重要である。
【００４３】
オプションとして、ＲＯＩ認識映像符号器４６は、映像通信デバイス１４のローカルユーザーから得られたニアエンドＲＯＩ情報（「ローカルニアエンドＲＯＩ」）を用いることができる。ローカルニアエンドＲＯＩは、符号化されたニアエンド映像の送信者によって生成されるため送信者駆動ＲＯＩと呼ばれることもある。ローカルニアエンドＲＯＩ情報は、ローカル符号器４６によって用いられ、典型的には、遠隔デバイス１４内の映像復号器が送信者デバイス１２のユーザーによって指定されたニアエンドＲＯＩに対して優先的復号を適用するように設計されていないかぎり、他方の映像通信デバイス１４に送信されない。遠隔ニアエンドＲＯＩは、符号化されたニアエンド映像の遠隔受信者によって生成されるため、受信者駆動ＲＯＩと呼ぶこともできる。遠隔ニアエンドＲＯＩは、映像通信デバイス１２によって生成された映像の受信者がＲＯＩ認識符号器４６によるＲＯＩ符号化を制御することを許可し、ローカルニアエンドＲＯＩは、映像通信デバイス１２によって生成された映像の送信者がＲＯＩ認識符号器４６によるＲＯＩ符号化を制御することを許可する。幾つかの場合においては、後述されるように、遠隔及びローカルＲＯＩの定義が対立して対立の解決が要求されることがある。
【００４４】
ローカル及び遠隔ニアエンドＲＯＩ情報は、ニアエンドＲＯＩマクロブロック（ＭＢ）マップ（「ニアエンドＲＯＩ ＭＢマップ」）としてＲＯＩ認識符号器４６に提供することができる。ニアエンドＲＯＩ ＭＢマップは、受信者ニアエンドＲＯＩ又は送信者ニアエンドＲＯＩのどちらかに常駐する特定のＭＢを識別する。ＲＯＩ認識符号器４６は、例えば遠隔映像通信デバイス１４において遠隔ユーザーによって観られたときのＲＯＩの画質を向上させるために、ニアエンド映像内のＲＯＩをより高い品質の符号化、より強力なエラー保護、又はその両方によって優先的に処理する。ＲＯＩに関するより良いエラー保護は、無線テレフォニー用途においては特に望ましい。結果的に得られる符号化されたニアエンド映像（「符号化されたニアエンド映像」）は、遠隔デバイス１４に送信される。
【００４５】
説明されるように、ＲＯＩ認識映像符号器４６は、遠隔映像通信デバイス１４から受信されたファーエンド映像に関して映像通信デバイス１２のローカルユーザーによって生成されているファーエンドＲＯＩ情報（「ファーエンドＲＯＩ」）も送信する。ファーエンドＲＯＩは、遠隔映像通信デバイス１４によって符号化された映像に関する受信者駆動ＲＯＩとして機能する。実際上、映像通信デバイス１２によって送信されたファーエンドＲＯＩ情報は、ＲＯＩ認識復号器４８によって受信された遠隔ニアエンドＲＯＩがＲＯＩ認識映像符号器４６を制御するために映像通信デバイス１２によって用いられるのとまったく同じように、遠隔映像通信デバイス１４によって生成されたファーエンド映像の符号器の少なくとも部分的な制御を許可する。この方法により、各映像通信デバイス１２、１４は、他方のデバイスによって生成されたファーエンド映像におけるＲＯＩ符号化に影響を与えることができる。
【００４６】
映像通信デバイス１２によって送信されたファーエンドＲＯＩ情報は、インバンド又はアウトオブバンドシグナリング情報として送信することができる。インバンドシグナリングの場合は、ファーエンドＲＯＩ情報は、遠隔映像通信デバイス１４に送信される符号化されたニアエンド映像ビットストリーム内に埋め込むことができる。例えば、ＭＰＥＧ４ビットストリームフォーマットにおいては、ビットストリームを記述する情報を埋め込むために用いることができる“ユーザー＿データ”と呼ばれるフィールドが存在する。“ユーザー＿データ”フィールド、又はその他のビットストリームフォーマットにおける同様のフィールドは、ビットストリームコンプライアンスに違反せずにファーエンドＲＯＩ情報を埋め込むために用いることができる。代替として、ＲＯＩ情報は、暗号法等のいわゆるデータ隠蔽技術によって映像ビットストリーム内に埋め込むことができる。
【００４７】
ＲＯＩ認識映像復号器４８は、ユーザー＿データフィールド又は遠隔デバイスから着信したファーエンド映像内のその他の場所においてＲＯＩ情報を求めるように構成される。アウトオブバンドシグナリングの場合は、ＩＴＵ Ｈ．２４５又はＳＩＰ、等のシグナリングプロトコルを用いてファーエンドＲＯＩ情報を伝達することができる。いずれの場合においても、ファーエンドＲＯＩ情報は、ＲＯＩ ＭＢマップ又はファーエンドＲＯＩの位置及び／又は大きさを定義する物理的座標の形態をとることができる。復号器４８がファーエンド映像ビットストリームをいったん受信した時点で、復号器４８は、遠隔送信者デバイスと同意されたフォーマットに基づいてＲＯＩ情報を検索し、遠隔ニアエンドＲＯＩを映像符号器５６に提供する前にニアエンドＲＯＩ制御に関するアクセス許可を得るためにＲＯＩ情報をアクセス認証モジュール５８に渡す。
【００４８】
ファーエンド映像内においてＲＯＩを優先的に符号化するために遠隔映像符号器を制御することに加えて、ファーエンドＲＯＩ情報は、ファーエンド映像のＲＯＩ内におけるＭＢを優先的に復号するためにローカル映像復号器に適用することができる。例えば、図３においてさらに示されるように、遠隔符号器に送信するためにＲＯＩマッパー５４によって生成される同じファーエンドＲＯＩ ＭＢを、ＲＯＩ認識映像復号器４８に提供することが可能である。ＲＯＩ認識映像復号器４８は、遠隔映像通信デバイス１４から受信されたファーエンド映像内のＭＢを優先的に復号するためにＲＯＩ ＭＢマップを使用する。例えば、ＲＯＩ認識映像復号器４８は、非ＲＯＩ ＭＢに対するよりも優れた後処理をＲＯＩ ＭＢに対して適用することができる。追加で、又は代替で、ＲＯＩ認識映像復号器４８は、非ＲＯＩ ＭＢに対するよりも強固なエラー隠蔽技術をＲＯＩ ＭＢに対して適用することができる。この方法により、ＲＯＩ認識映像復号器４８は、ローカルユーザーによって生成されたファーエンドＲＯＩ情報に依存して、向上された画質を得るために着信ファーエンド映像のＲＯＩ部分を優先的に復号する。
【００４９】
ＲＯＩ認識映像復号器４８は、遠隔映像通信デバイス、例えば図１の映像通信デバイス１４からの着信ファーエンド映像を受信する。ＲＯＩ認識映像復号器４８は、ファーエンド映像を復号し、復号された映像を表示デバイス上においてローカルユーザーに提示するためにユーザーインタフェース４２に提供する。さらに、上述されるように、ＲＯＩ認識映像復号器４８は、遠隔ニアエンドＲＯＩ情報（「遠隔ニアエンドＲＯＩ」）を遠隔映像通信デバイス１４から受信する。ＲＯＩ認識映像復号器４８によって受信されるニアエンドＲＯＩ情報は、映像通信デバイス１２によって送信された映像内においてＲＯＩを指定するために遠隔映像通信デバイス１４のユーザーによって生成される。上述されるように、ＲＯＩ認識映像復号器４８によって受信された遠隔ニアエンドＲＯＩ情報は、映像通信デバイス１２によって生成されたニアエンド映像内のＲＯＩを優先的に符号化するようにＲＯＩ認識映像符号器４６を遠隔制御するために用いられる。遠隔ニアエンドＲＯＩは、上述されるように、インバンド又はアウトオブバンドシグナリング技術によって送信される。
【００５０】
図３をさらに参照し、ＲＯＩ認識映像符号器４６及びＲＯＩ認識映像復号器４８は、ＲＯＩエンジン４４と相互に作用する。ＲＯＩエンジン４４は、映像キャプチャデバイス４０からのニアエンド映像ビットストリームの符号化及び送信のためにローカル及び遠隔ニアエンドＲＯＩ情報を処理する。さらに、ＲＯＩエンジン４４は、符号化及び遠隔映像通信デバイス１４への送信のためにユーザーインタフェース４２を介して提供されたファーエンドＲＯＩ情報を処理する。ＲＯＩエンジン４４は、ＲＯＩコントローラ５２と、ＲＯＩマッパー５４と、ＲＯＩ追跡モジュール５６と、認証モジュール５８と、を含む。幾つかの実施形態においては、ＲＯＩ追跡モジュール５６及び認証モジュール５８は、オプションであることができる。
【００５１】
ＲＯＩ認識映像符号器４６、ＲＯＩ認識映像復号器４８、ＲＯＩコントローラ５２、ＲＯＩマッパー５４、ＲＯＩ追跡モジュール５６及び認証モジュール５８は、個別の機能モジュールとして又は各モジュールに属する機能を包含するモノリシックモジュールとして、様々な方法で形成することができる。いずれの場合においても、ＲＯＩエンジン４４、映像符号器４６及び映像復号器４８を含むＲＯＩ認識ＣＯＤＥＣ２０の様々なコンポーネントは、ハードウェア、ソフトウェア、ファームウェア、又はその組合せ内において実現させることができる。例えば、該コンポーネントは、１つ以上のマイクロプロセッサ又はデジタル信号プロセッサ（ＤＳＰ）、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はその他の同等の集積回路又は個別論理回路において実行するソフトウェアプロセスとして動作することができる。ソフトウェア内に実装する場合は、これらの技術は、部分的には、プロセッサ又はＤＳＰにおいて実行された時に上述される方法のうちの１つ以上を実施する命令を含むプログラムコードを具備するコンピュータ読み取り可能媒体によって実現させることができる。
【００５２】
動作上は、映像通信デバイス１２のユーザーは、ユーザーインタフェース４２と関連づけられた表示デバイス上で観るために、映像キャプチャデバイス４０によって生成されたニアエンド映像又はＲＯＩ認識映像復号器４８によって復号されたファーエンド映像のいずれかを選択する。幾つかの実施形態においては、ピクチャインピクチャ（ＰＩＰ）機能は、ユーザーがニアエンド映像とファーエンド映像を同時に観ることを許可することができる。ＲＯＩの定義を目的としてニアエンド映像又はファーエンド映像を観るために、ユーザーは、ユーザーインタフェース４２を操作してＲＯＩ定義モードを呼び出すことができる。デフォルト時は、映像通信デバイス１２は、ＲＯＩを考慮せずに映像の符号化及び復号を処理することができる。ユーザーは、ＲＯＩ定義モードに入ることによって、映像通信デバイス１２のＲＯＩ認識符号化及び復号の側面を起動させる。代替として、ＲＯＩ認識符号化及び復号は、デフォルトモードであることができる。
【００５３】
ファーエンド映像が提示された時点で、ユーザーは、以下においてさらに詳細に説明される様々な技術のうちのいずれかを用いてファーエンド映像内のＲＯＩを指示する。ファーエンドＲＯＩは、映像シーン内において、ユーザーにとって関心がありより高い画質が希望される領域又はオブジェクトを強調する。ユーザーインタフェース４２は、ユーザーによる入力に基づいてファーエンドＲＯＩ指示を生成する。ＲＯＩ情報は、映像通信デバイス１４への送信のためのファーエンドＲＯＩ情報を生成するためにＲＯＩエンジン４４によってさらに処理することができる。
【００５４】
ユーザーは、代替として、ＲＯＩの定義に関して映像キャプチャデバイス４０から得られたニアエンド映像を選択することができる。ニアエンド映像が提示された時点で、ユーザーは、オプションとして、ファーエンド映像におけるＲＯＩ指示に関して用いられるのとの同様の又は同一の技術を用いてニアエンド映像内のＲＯＩを指示することができる。ニアエンドＲＯＩ又はファーエンドＲＯＩは、最初はＶＴ呼開始時に又はＶＴ呼の進行中のいずれかの時点において指定することができる。幾つかの実施形態においては、最初のＲＯＩは、ローカルユーザー又は遠隔ユーザーによって更新すること、又はＲＯＩ追跡モジュール５６によって自動的に更新することができる。ＲＯＩが自動的に更新される場合は、ユーザーがＲＯＩ情報を入力し続ける必要がない。代わりに、ＲＯＩは、ユーザーがＲＯＩを変更又は中止するまでユーザーによる最初の入力に基づいて維持される。
【００５５】
ユーザーインタフェース４２は、ユーザーによって提供された指示に基づいてローカルニアエンドＲＯＩ指示を生成する。ニアエンドＲＯＩ指示は、ファーエンドＲＯＩ指示と同様に、ＲＯＩエンジン４４によってさらに処理することができる。ニアエンドＲＯＩ指示は、映像シーン内において、ユーザーが遠隔ユーザーに対して強調することを希望する領域又はオブジェクトを例えば向上された画質によって強調する。ローカルユーザーは、ユーザーインタフェース４２を介して予め定義されたＲＯＩパターンを選択するか又はＲＯＩパターンを描くことによってニアエンドＲＯＩ又はファーエンドＲＯＩを選択することができる。ＲＯＩパターンを描くことは、スタイラスを用いて自由に描くこと、又はデフォルト時のＲＯＩパターンの大きさ又は位置を変えることを含むことができる。
【００５６】
図３の例においては、ユーザーインタフェース４２は、提供された場合は、ローカルニアエンドＲＯＩ指示及びファーエンドＲＯＩ指示の両方を、ＲＯＩエンジン４４内のＲＯＩコントローラ５２に提供する。さらに、ＲＯＩコントローラ５２は、認証モジュール５８を介して遠隔ニアエンドＲＯＩをＲＯＩ認識映像復号器４８から受信する。特に、ＲＯＩ認識映像復号器４８は、遠隔ニアエンドＲＯＩ情報の存在を、受信されたファーエンド映像ストリーム内において、又はアウトオブバンドシグナリングを介して検出し、遠隔ニアエンドＲＯＩ情報を認証モジュール５８に提供する。ローカルニアエンドＲＯＩ及び遠隔ＲＯＩの指示は、各々のニアエンド映像又はファーエンド映像の映像フレーム内の座標に基づいて表すことができる。ＲＯＩの座標は、映像フレーム内のｘ−ｙ座標であることができる。しかしながら、ｘ−ｙ座標は、説明されるように、符号器４６又は復号器４８によって使用するためのＲＯＩ ＭＢマップを生成するために処理される。
【００５７】
ＲＯＩコントローラ５４は、ローカルニアエンドＲＯＩ、遠隔ニアエンドＲＯＩ及びファーエンドＲＯＩを処理し、これらのＲＯＩをＲＯＩマッパー５４に適用する。ＲＯＩマッパー５４は、各々のＲＯＩ座標をマクロブロック（ＭＢ）マップに変換する。より具体的には、ＲＯＩマッパー５４は、ローカルユーザーによって指示されたファーエンドＲＯＩに対応するファーエンド映像内のＭＢを指定するファーエンドＭＢマップを生成する。さらに、ＲＯＩマッパー５４は、ローカルニアエンドＲＯＩ、遠隔ニアエンドＲＯＩ、又は両方の組合せのいずれかに対応するニアエンド映像内のＭＢを指定するニアエンドＲＯＩ ＭＢマップを生成する。
【００５８】
予め定義されたＲＯＩパターンに関しては、ＲＯＩマッピングは直接的である。各予め定義されたＲＯＩパターンは、同じく予め定義された指定のＭＢマッピングを有することができる。しかしながら、描かれた、位置又は大きさが変更されたＲＯＩパターンに関しては、ＲＯＩマッパー５４は、ユーザーによって指定されたＲＯＩパターンの座標に最も一致するＭＢ境界を選択する。例えば、指定されたＲＯＩがＭＢ内を横切る場合は、ＲＯＩマッパー５４は、該当するＭＢの外縁又は内縁のいずれかにＲＯＩ境界を設定する。換言すると、ＲＯＩマッパー５４は、ＲＯＩ内に完全に入っているＭＢのみをＲＯＩ ＭＢマップに含めるように又はＲＯＩ内に一部分が入っているＭＢも含めるように構成することができる。いずれの場合においても、ＲＯＩは、指定されたＲＯＩに最も近似する一組の全ＭＢを含む。繰り返しになるが、映像符号器４６又は映像復号器４８は、ＭＢレベルで動作し、一般的には、ＭＢマップへのＲＯＩの変換を要求する。個々のＭＢをＲＯＩ内に含めるか又はＲＯＩから除外するか指定することによって、ＲＯＩ ＭＢマップは、不規則な、すなわち長方形でない形状を有するＲＯＩの定義を可能にする。
【００５９】
ＲＯＩ認識映像符号器４６は、ファーエンドＲＯＩ ＭＢマップを符号化されたニアエンド映像内において又はアウトオブバンドシグナリングによって遠隔映像通信デバイス１４に送信する。ニアエンドＲＯＩMBマップは、遠隔映像通信デバイス１４には送信されない。代わりに、ニアエンドＲＯＩ ＭＢマップは、ニアエンド映像内の指定されたＭＢを遠隔映像通信デバイス１４に送信する前により高い品質の符号化又はより強力なエラー保護によって優先的に符号化するためにＲＯＩ認識映像符号器４６によって用いられる。従って、ＲＯＩ認識映像符号器４６は、ファーエンドＲＯＩ情報に加えて、優先的に符号化されたＲＯＩを有する符号化されたニアエンド映像を遠隔映像通信デバイス１４に送信する。
【００６０】
ＲＯＩ追跡モジュール５６は、ニアエンド映像のＲＯＩ領域の変化を追跡する。このＶＴアプリケーションが例えばモバイル映像通信デバイス内に常駐する場合は、ユーザーは、随時移動することができ、その結果前回に指定されたＲＯＩに対するユーザーの位置が変化する。さらに、ユーザーの位置が安定しているときでも、ＲＯＩ内のその他のオブジェクトは、ＲＯＩ領域から出ることができる。例えば、湖上のボートは、波の動きに応じて上下左右に動く可能性がある。移動が生じたときにユーザーがＲＯＩを再定義する必要がないようにするために、ＲＯＩ追跡モジュール５６は、ＲＯＩ領域内のオブジェクトを自動的に追跡するために提供することができる。
【００６１】
図３の例においては、ＲＯＩ追跡モジュール５６は、ＲＯＩ認識映像符号器４６によって生成された符号化されたニアエンド映像から動き情報を受け取る。動き情報は、符号化されたニアエンド映像内のＭＢに関する動きベクトルの形態をとることができ、ＲＯＩマッパー５４によるＲＯＩ ＭＢマップの定義の閉ループ制御を可能にする。動き情報に基づき、ＲＯＩ追跡モジュール５６は、ニアエンドＲＯＩ ＭＢマップの増分的位置調整を生成し、該調整をＲＯＩマッパー５４に提供する。位置調整は、ＭＢがＲＯＩに含められるか又はＲＯＩから除外されるかの状態の変化の形であることができる。
【００６２】
ＲＯＩ ＭＢマップ内におけるＭＢの状態は、動き情報がＲＯＩの実質的な移動を示す場合は変化させることができる。典型的には、ＭＢに関する状態変化は、ＲＯＩの外境界において生じる。位置調整に応じて、ＲＯＩマッパー５４は、ニアエンドＲＯＩ ＭＢマップによって指定されたＲＯＩをシフトさせ、ＲＯＩ位置が符号化されたニアエンド映像内での動きにフレームごとに適応するようにする。ＲＯＩ追跡モジュール５６及びＲＯＩマッパー５４は、互いに協力し、映像シーン内において動きが検出されるのに応じて自動的にＲＯＩの位置を調整する。この方法により、ＲＯＩエンジン４４は、ＲＯＩ内において移動中のオブジェクトを追跡するようにＲＯＩを調整する。
【００６３】
認証モジュール５８は、個々のユーザーの権利及び複数のユーザー間における権利の優先度を含む遠隔ユーザーのＲＯＩ権利を解決するために機能する。ＲＯＩ認識映像復号器４８が遠隔ニアエンドＲＯＩを遠隔映像通信デバイス１４から受信すると、ＲＯＩ認識映像復号器４８は、遠隔ニアエンドＲＯＩをＲＯＩエンジン４４に提供する。しかしながら、幾つかの事例においては、遠隔ユーザーによって指定された遠隔ニアエンドＲＯＩは、ローカルユーザーによって指定されたローカルニアエンドＲＯＩと対立する可能性がある。例えば、ローカルユーザー及び遠隔ユーザーは、映像シーン内において重なるＲＯＩ又は完全に異なるＲＯＩを指定することができる。この場合は、ＲＯＩの対立を解決するために認証モジュール５８を提供することができる。
【００６４】
認証モジュール５８は、幾つかの実施形態においては、いずれのニアエンドＲＯＩ情報（ローカル又は遠隔）を所定の時点において使用すべきであるかを調整するためのいわゆる「マスター−スレーブ」メカニズムを適用することができる。特に、送信者が受信者駆動ＲＯＩ情報を受信する前には、送信者はニアエンドＲＯＩマスターであり、自己のニアエンドＲＯＩの制御を有する。換言すると、遠隔ニアエンドＲＯＩが映像通信デバイス１２において受信される前には、ローカルユーザーがニアエンドＲＯＩの制御を有する。このため、遠隔ユーザーはニアエンドＲＯＩ「スレーブ」であり、マスター、すなわちローカルユーザーがニアエンドＲＯＩを制御するためのアクセス権を与えないかぎりニアエンドＲＯＩの制御を有さない。
【００６５】
ローカルユーザーが遠隔ユーザーにアクセス権を与えた時点で、ローカルユーザーはもはや自己のニアエンドＲＯＩを制御しない。代わりに、映像通信デバイス１４と関連する遠隔ユーザーは、映像通信デバイス１２によって生成されたニアエンド映像に関するニアエンドＲＯＩの制御を得て、ニアエンドＲＯＩのマスターになる。遠隔ユーザーは、ローカルユーザーがアクセス特権を明示で取り消すか又は遠隔ユーザーによるアクセスをその他の方法で拒否するまで、又は遠隔ユーザーがＲＯＩの選択を中止するまで制御を保持することができ、前記取り消すか拒否した場合は、マスターＲＯＩ制御は、ローカルユーザーに戻ることができる。
【００６６】
ＲＯＩ認識映像復号器４８が、存在する場合に、符号化されたファーエンド映像を受信した時点で、ＲＯＩ認識映像復号器４８は、送信者と合意されたフォーマットに基づいて映像ビットストリームから遠隔ニアエンドＲＯＩ情報を検索する。繰り返しになるが、ニアエンドＲＯＩ情報は、符号化されたファーエンド映像内に埋め込むこと又はアウトオブバンドシグナリングによって送信することができる。いずれの場合も、ＲＯＩ認識映像復号器４８は、ＲＯＩコントローラ５２及びＲＯＩマッパー５４を介して、遠隔ニアエンドＲＯＩがＲＯＩ認識映像符号器４６に送信される前にアクセス許可を得るために遠隔ニアエンドＲＯＩを認証モジュール５８に渡す。認証モジュール５８は、符号化プロセスがローカルユーザーによる認証のないユーザーによって制御できないように特定のユーザーにアクセス権を限定する。
【００６７】
認証モジュール５８は、１人以上の遠隔ユーザー間においてアクセス権及びアクセスレベルを与える及び管理するように構成することができる。例えば、ローカルユーザーは、選択された遠隔ユーザーにアクセス権を与えることができる。従って、ローカルユーザーは、いくつかの遠隔ユーザーがニアエンドＲＯＩを制御するのを許可し、その他の遠隔ユーザーがニアエンドＲＯＩを制御するのを禁止することができる。さらに、ローカルユーザーは、相対的なアクセスレベル、又は優先権を遠隔ユーザーに割り当てることができる。この方法により、ローカルユーザーは、複数の遠隔ユーザーがＲＯＩ制御を同時に要求した場合にニアエンドＲＯＩを制御する上で幾つかの遠隔ユーザーがその他の遠隔ユーザーに対する優先権を有することができるように、遠隔ユーザー間でのアクセスレベル階層を指定することができる。例えば、複数の遠隔ユーザーは、複数の当事者によるテレビ会議中にＲＯＩ制御を同時に要求することができる。このような場合は、ＲＯＩ制御は、典型的には、１人のユーザー、すなわちローカルユーザーに対して、又はローカルユーザーによって制御が与えられている場合は遠隔ユーザーのうちの選択された１人の遠隔ユーザーに対して排他的に与えられる。
【００６８】
幾つかの実施形態においては、認証モジュール５８は、ローカル映像通信デバイス１２がＲＯＩ認識映像処理を可能にする能力を有するかどうかを決定するための資源モニタリングを行う責任を有することも可能である。ローカルデバイスが所定の時点において遠隔ＲＯＩ制御をサポートする上で又は特定の型のＲＯＩ要求に応える上で十分な処理資源を有していない場合は、認証モジュール５８は、遠隔ＲＯＩ制御アクセス権を取り消すか又はＲＯＩ要求を拒否する。一例として、通信チャネルによって課された帯域幅に関する制限、又はローカルな処理負荷は、遠隔ＲＯＩ制御が拒否されることになる可能性がある。他の例として、該制限は、予めコンフィギュレーションされたＲＯＩパターンの使用を許可することができるが、描かれた又は記述されたＲＯＩパターンの使用は許可できない場合がある。認証モジュール５８は、遠隔デバイスに送信するために発信される符号化されたニアエンド映像内に状態メッセージを埋め込むことによってＲＯＩ決定を遠隔デバイスに通知することができる。
【００６９】
さらに、個々の遠隔ユーザーには、遠隔ユーザーがニアエンドＲＯＩを制御することができる度合いを制御するための異なるアクセスレベルを与えることができる。例えば、遠隔ユーザーは、ローカルユーザーの承認を得ることを条件として一組の予め定義されたＲＯＩパターンを選択すること、特定のＲＯＩ位置又は大きさ、又はＲＯＩを指定することに制限することができる。このため、認証モジュール５８は、遠隔ユーザーによるニアエンドＲＯＩの制御を自動的に解決すること又はローカルユーザーとの対話によってニアエンドＲＯＩ制御の能動的な承認について交渉することができる。例えば、遠隔ユーザーがニアエンドＲＯＩを制御するためのアクセスを要求したときには、認証モジュール５８は、遠隔ユーザーによるＲＯＩ制御の承認を要求するための問い合わせをユーザーインタフェース４２を介してローカルユーザーに行うことができる。
【００７０】
認証モジュール５８は、様々な方法のうちのいずれかの方法で遠隔ユーザーに関するアクセスレベルを追跡することができる。上述されるように、ローカルユーザーは、遠隔ユーザーからのニアエンドＲＯＩ制御要求を能動的に承認すること、及び遠隔ユーザーに与えられたアクセスレベルを能動的に制御することができる。代替として、ローカルユーザーは、アクセス権又はアクセスレベルを含む遠隔ユーザー関連情報を格納するアドレスブックを映像通信デバイス１２のメモリ内に維持することができる。アドレスブックは、遠隔ユーザー及び関連するアクセスレベルのリストを有するデータベースの形態をとることができる。遠隔ユーザーがニアエンドＲＯＩ制御を要求時には、認証モジュール５８は、該当するアクセス権情報をアドレスブックから検索し、ローカルユーザー、遠隔ユーザー、及び可能なことに数人の遠隔ユーザーとの間におけるＲＯＩ制御を解決するための認証プロセスを自動的に適用する。遠隔ユーザーがアドレスブックに記載されていない場合は、ローカルユーザーは、遠隔ユーザーを適用可能なアクセス権とともにアドレスブックに追加するのを選択することができる。
【００７１】
幾つかの場合においては、ローカルユーザーは、アドレスブック内の特定の遠隔ユーザーに関して指定されたデフォルトアクセスレベルをオーバーライドすることができる。例えば、認証モジュール５８は、ローカルユーザーがＶＴ呼の進行中に異なる遠隔ユーザー間でのＲＯＩ制御優先順位を能動的に再設定すること又はローカルユーザーとして排他的にニアエンドＲＯＩの制御を再取得するために介入することを許可することができる。アドレスブックを維持する際又はＲＯＩ制御要求を能動的に管理する際におけるローカルユーザーと認証モジュール５８との間における対話は、図３においてはアクセス制御情報によって表されている。
【００７２】
遠隔ユーザーに関する自動化された又は能動的なニアエンドＲＯＩ制御承認が行われた時点で、認証モジュール５８は、ＲＯＩマッパー５４による処理及びマッピングのために遠隔ニアエンドＲＯＩをＲＯＩコントローラ５２に渡す。代替として、ＲＯＩコントローラ５２は、遠隔ニアエンドＲＯＩが提供されないか又はローカルユーザーが遠隔ユーザーを排除してニアエンドＲＯＩを制御することを選択している場合には、ローカルユーザーによってユーザーインタフェース４２を介して提供されたローカルニアエンドＲＯＩを処理する。
【００７３】
認証モジュール５８は、ローカルユーザーと遠隔ユーザーとの間におけるＲＯＩの対立を解決するために機能する。デフォルト時には、認証モジュール５８は、ローカルユーザーがニアエンドＲＯＩ制御を有するマスター−スレーブ概念を適用する。最高レベルのアクセス権が遠隔ユーザーに与えられた時点で、遠隔ユーザーは、映像通信デバイス１２のＲＯＩ認識映像符号器４６からニアエンドＲＯＩ選択に関する全制御を得る。その他の場合は、ローカルユーザーは、遠隔ユーザーによって行われたあらゆるニアエンドＲＯＩ選択をオーバーライドするニアエンドＲＯＩ制御を有する。
【００７４】
遠隔ユーザーに対してアクセス権を与えることができる場合でも、遠隔ユーザーのアクセス権は通常はローカルユーザーのアクセス権よりも低いレベルであるため、ニアエンドＲＯＩ制御においてはローカルユーザーが優先される。従って、ローカルユーザーがニアエンドＲＯＩを指定することを選択した場合は、遠隔ユーザーによって行われたいずれのニアエンドＲＯＩ選択も無視されることになる。他方、ローカルユーザーがニアエンドＲＯＩを指定しない場合は、遠隔ユーザーに割り当てられたアクセス権のレベルが有効であり、遠隔ユーザーは、ニアエンドＲＯＩを制御することができる。しかしながら、上述されるように、ローカルユーザーは、デフォルトのマスターとスレーブの関係をオーバーライドして最高レベルのアクセス権をローカルユーザーに与えることを依然として選択することができる。
【００７５】
図４は、ＲＯＩ認識ＣＯＤＥＣを有し、ＲＯＩ抽出モジュール６０をさらに組み入れた他の映像通信デバイス１２’を示したブロック図である。図４の映像通信デバイス１２’は、図３の映像通信デバイス１２とほぼ同一である。しかしながら、映像通信デバイス１２’は、ユーザーからの入力に基づいてローカルニアエンドＲＯＩ及びファーエンドＲＯＩを形成するためのＲＯＩ抽出モジュール６０をさらに含む。予めコンフィギュレーションされたＲＯＩパターンの選択を単純に処理するか又はユーザーがデフォルトのＲＯＩを描くこと、又は位置又は大きさを変更することを許可することに加えて、ＲＯＩ抽出モジュール６０は、ローカルユーザーが口頭又はテキストによるＲＯＩの記述によってＲＯＩを指定することを許可する。特に、ＲＯＩ抽出モジュール６０は、ローカルユーザーによって提供されたＲＯＩ記述に基づいてローカルニアエンドＲＯＩ又はファーエンドＲＯＩを生成する。
【００７６】
ＲＯＩ記述例は、「顔」、「動いているオブジェクト」、「唇」、「人間」、「背景」、等の言葉をテキスト又は口頭で入力することを含む。これらのオブジェクトの優先的符号化が非常に望ましいことがある。例えば、唇又は顔の優先的符号化は、顔の表情、口の動き、等をより良く表すことができる。テキストによる入力は、ユーザーインタフェース４２によって提示されたメニューから入力又は選択することができる。口頭による入力は、映像通信デバイス１２’と関連するマイクに話すことによって提供することができる。各場合において、ローカルユーザーは、ＲＯＩを選択または描く代わりにＲＯＩを「記述」する。ＲＯＩ抽出モジュール６０は、該当するニアエンド又はファーエンド映像シーン内における一組の座標に記述を変換する。口頭によるＲＯＩの記述が用いられる場合は、ユーザーインタフェース４２又はＲＯＩ抽出モジュール６０は、従来の音声認識能力を組み入れることができる。特に、ＲＯＩ抽出モジュール６０は、１つ以上の認識された言葉に基づいてＲＯＩを指定する情報を生成することができる。
【００７７】
ＲＯＩ抽出モジュール６０は、希望されるＲＯＩを検出するように構成された従来の予符号化処理アルゴリズムの適用によって自動的にＲＯＩ座標を選択する。特に、ＲＯＩ抽出モジュール６０は、映像ＲＯＩ処理における当業者に知られている従来の技術に従って顔の検出、特徴の抽出、オブジェクトの分割、又は追跡に関するアルゴリズムを適用することができる。例えば、ＲＯＩ抽出モジュール６０は、映像入力データの画素のルーメン値又は彩度値に基づくＲＯＩの識別に依存する従来の技術を適用することができる。
【００７８】
従来の顔検出方式は、典型的には、顔の画素と顔以外の画素を識別するための指標として皮膚の色を用いることを含む。従来の顔検出方式の例は、Ｃ．−Ｗ．リン、Ｙ．−Ｊ．チャン及びＹ．−Ｃ．チェン著の"A low-complexity face-assisted coding scheme for low bit-rate video telephony"（低ビットレートビデオテレフォニーに関する低複雑さの顔に基づく方式）、IEICE Trans. Inf. & Syst., vol. E86-D, no. 1, Jan. 2003, pp. 101-108において、及びＤ．チャイ及びＫ．Ｎ．ナン著の"Face segmentation using skin-color map in videophone applications"（ビデオフォン用途における皮膚の色マップを用いた顔の分割）、IEEE Trans. On Circuits and Systems for Video Technology, vol. 9, no. 4, Jun. 1999, pp. 551-564において説明されている。
【００７９】
ローカルユーザーが「顔」に基づいてＲＯＩを記述時には、ＲＯＩ抽出モジュール６０は、ニアエンド映像又はファーエンド映像を適宜解析して自動的に顔を識別し、ＲＯＩとしての識別された顔と関連する座標を指定する。次に、ＲＯＩ抽出モジュール６０は、ＲＯＩマッパー５４による処理及びマッピングのためにＲＯＩコントローラ５２に座標を渡す。顕著なことに、ＲＯＩ抽出モジュール６０は、ローカルニアエンドＲＯＩ記述又はファーエンドＲＯＩ記述を適宜処理し、該記述を該当する抽出アルゴリズムにマッピングし、該当する予め符号化されたニアエンド映像又は復号されたファーエンド映像を自動的に解析して該当するＲＯＩを自動的に抽出する。
【００８０】
ＲＯＩ抽出モジュール６０は、自動的なＲＯＩ検出をサポートするため、ニアエンド映像を映像キャプチャデバイス４０から、ファーエンド映像をＲＯＩ認識映像復号器４８から受信する。ＲＯＩ検出モジュール６０は、ユーザーインタフェース４２からのローカルニアエンドＲＯＩ記述又はファーエンドＲＯＩ記述、及び自動化検出アルゴリズムを用いて、ＲＯＩコントローラ５２に適用するためのローカルニアエンドＲＯＩ及びファーエンドＲＯＩを適宜生成する。各場合において、ＲＯＩ抽出モジュール６０は、ローカルニアエンドＲＯＩ記述又はファーエンドＲＯＩ記述を、該当する記述に最も適合する座標に変換する。この場合は、ユーザーがＲＯＩを描く必要がない。さらに、ユーザーは、一組の予め定義されたＲＯＩパターンに制限されない。代わりに、ＲＯＩコントローラ５２は、ニアエンド映像内においてＲＯＩ記述に合致する該当領域を能動的に検出する。
【００８１】
ＲＯＩマッパー５４は、映像フレーム内の該当するマクロブロック（ＭＢ）にＲＯＩ座標をマッピングし、ニアエンド又はファーエンドＲＯＩ ＭＢマップを生成する。実際上は、ＲＯＩマッパー５４は、ＲＯＩコントローラ５２からのＲＯＩ座標を、映像符号器４６が理解できるフォーマットに変換する。特に、映像符号器４６は、ＭＢレベルで、すなわち各ＭＢごとに、符号化を処理するように装備される。その目的のため、ＲＯＩマッパー５４は、ニアエンド又はファーエンド映像に関するＲＯＩ ＭＢマップを生成する。ＲＯＩ ＭＢマップは、指定されたＲＯＩ内にあるＭＢを識別し、このため映像符号器４６はこれらのＭＢに対して優先的符号化を適用することができる。
【００８２】
ＲＯＩ記述を処理することに加えて、ＲＯＩ抽出モジュール６０は、ローカルユーザーによって一組の予め定義されたパターンから選択されたＲＯＩパターン、又はローカルユーザーによって描かれた、又は位置又は大きさが変更されたＲＯＩパターンを処理するために装備される。従って、映像通信デバイス１２’は、図３の映像通信デバイス１２に関する説明と実質的に同じようにＲＯＩ情報を生成するが、ローカルユーザーによってテキストで又は口頭で入力されたＲＯＩ記述を処理するためにＲＯＩ抽出モジュール６０をさらに組み入れることができる。ＲＯＩ抽出モジュール６０は、ローカルユーザーによって使いやすい点で望ましい。しかしながら、幾つかの映像通信デバイスは、ＲＯＩ抽出モジュール６０をサポートする上で不十分な処理力を有している場合がある。従って、ＲＯＩ抽出モジュール６０は、本開示による映像通信デバイスの望ましいがオプションのコンポーネントであることを表す。
【００８３】
幾つかの実施形態においては、ＲＯＩ抽出モジュール６０は、ローカルユーザーによってだけでなく遠隔ユーザーによっても生成されるＲＯＩ記述を処理することができる。この方法により、抽出機能は、幾つかのデバイスにおいてはローカルではなく遠隔で実施することが可能である。例えば、特定の映像通信デバイス１４は、デバイス１４のユーザーによって提供されたＲＯＩ記述に関するＲＯＩ抽出をサポートする上で不十分なローカル資源又は能力を有している場合がある。しかしながら、他の映像通信デバイス１２は、ＲＯＩ抽出に関してより良い装備をすることができる。この場合は、ローカルＲＯＩ抽出をオフロードするか又は遠隔映像通信デバイスに分散できるようにすることが企図されている。
【００８４】
遠隔抽出をサポートするため、ＲＯＩの記述は、様々な方法で遠隔デバイスに提供することができる。例えば、遠隔デバイスに送信される音声ストリーム内に口頭による記述を含めることができる。テキストによるＲＯＩの記述は、予め定義されたＲＯＩパターン又は描かれたＲＯＩパターンと同様に、例えば該情報を符号化された映像ストリーム内に埋め込むことによって遠隔デバイスに送信することができる。従って、１つのデバイスから他のデバイスに送信されるＲＯＩ情報は、予め処理されたＲＯＩ ＭＢマップの形態、又は、遠隔符号器に適用前に遠隔デバイスにおいて処理することを要求する指示又は記述を含むＲＯＩのその他の指示又は記述の形態をとることができる。
【００８５】
図５は、中間抽出サーバー６１を介した分散型ＲＯＩ抽出を示すブロック図である。図５に示されるように、映像通信デバイス１２、１４は、ＲＯＩを抽出できるように十分な情報を中間抽出サーバー６１に提供することができる。例えば、各デバイス１２、１４は、各々のローカルニアエンドＲＯＩ記述、ファーエンドＲＯＩ記述、符号化された又は生のニアエンド映像、及び符号化されたファーエンド映像を提供することができる。ニアエンドデバイスから符号化されたファーエンド映像を提供することの代替として、ＲＯＩ抽出サーバー６１は、ファーエンドデバイスから直接ファーエンド映像を受信することができる。抽出サーバー６１は、この情報を用いて、ファーエンドＲＯＩ及びローカルニアエンドＲＯＩのうちの１つ又は両方を生成し、各々のデバイス１２、１４に提供する。抽出サーバー６１は、通信ネットワーク内のあらゆる場所に配置されたサーバーであることができ、有線媒体、無線媒体、又は両方の組合せによってデバイス１２、１４に結合させることができる。抽出サーバー６１は、映像通信デバイス１２、１４から遠隔に配置すること又はデバイス１２、１４のうちの１つと並置することができる。しかしながら、多くの場合は、抽出サーバー６１は、遠隔サーバーであることができる。一般的には、抽出サーバー６１は、映像通信デバイス１２、１４とは構造的に異なる。
【００８６】
抽出サーバー６１は、抽出モジュール６０とほとんど同じように機能するが、遠隔の分散された形で動作することができ、このためＲＯＩ抽出はデバイス１２、１４内においてローカルで行う必要がない。この方法により、より大きい処理力を有することができる異なるデバイスにＲＯＩ抽出処理コストを分散させることができる。ＲＯＩ抽出モジュール６０と同様に、抽出サーバー６１は、ユーザーによる口頭、テキスト又は図形での記述、等の異なる型のＲＯＩ記述を処理することができる。その目的のため、ＲＯＩ抽出サーバー６１は、これらの記述を処理するために音声認識能力、等の適切な能力を組み入れることができる。さらに、ＲＯＩ抽出サーバー６１は、映像の解析とＲＯＩの抽出を可能にする映像復号能力、及び映像を再符号化するための及び希望される場合はＲＯＩ情報を埋め込むための符号化能力を備えることができる。
【００８７】
図６は、複数のビデオテレフォニーセッションに関する分散型ＲＯＩ抽出を示すブロック図である。図６の例においては、ＲＯＩ抽出サーバー６１は、複数の映像通信デバイス１２Ａ乃至１４Ａ、１２Ｂ乃至１４Ｂ、１２Ｃ乃至１４Ｄ、乃至１２Ｎ乃至１４Ｎの間におけるＶＴセッションに関するＲＯＩ抽出を処理するために動作する。この方法により、ＲＯＩ抽出サーバー６１は、所定の通信ネットワークにおいて実施中の様々なＶＴセッションをサポートするために複数のＲＯＩ抽出タスクを並行して実施する。
【００８８】
図７Ａ乃至７Ｄは、ローカル又は遠隔ユーザーによる選択のための予め定義されたＲＯＩパターンを示す図である。図７Ａ乃至７ＤのＲＯＩパターンは、例示することが目的であり、制限するものであるとはみなすべきでない。図７Ａは、無線通信デバイス３８と関連づけられたディスプレイ３６において提示された映像シーン３４内のＲＯＩ６２を示す。ＲＯＩ６２は、映像シーン３４内の実質的な中心に置かれた基本的な長方形である。長方形ＲＯＩ６２の長辺は、映像シーン３４内において縦方向に延びている。多くの場合においては、ＲＯＩ６２は、人間の顔、すなわちＶＴ呼に参加している遠隔ユーザーの顔をキャプチャする上で有効である。
【００８９】
図７Ｂは、映像シーン３４内において横方向に延びる長辺を有する長方形の形をした他のＲＯＩ６４を示す。ＲＯＩ６４は、映像シーン３４内の実質的な中心に置かれており、車両、ボート、製品、プレゼンテーション、等のオブジェクトをキャプチャする上で有効になる。
【００９０】
図７Ｃは、ＶＴ呼に参加している遠隔ユーザーの顔及び肩をキャプチャするように設計された形状を有する他のＲＯＩ６６を示す。代替として、ＲＯＩ６６は、例えば１方向の映像ストリーミング用途において、ニュース放送を行っている特派員、集会の司会者、又は会議の講演者の顔と肩をキャプチャすることができる。いずれの場合においても、予め定義されたＲＯＩ６６は、人間のＶＴ参加者又はプレゼンターに焦点を合わせ、その人の肉体的特徴に関する優先的符号化を達成させる。
【００９１】
図７Ｄは、映像シーン３４内において並置されている二重の組のＲＯＩ６８、７０を示す。図５Ｄの例においては、ＲＯＩ６８、７０は、並んで座っているか又は立っている２人の人の顔をキャプチャする上で有効である。この方法により、顔の表情及び動きに関するより高い画質をサポートするために２人の参加者の顔を優先的に符号化することができる。
【００９２】
図７Ａ乃至７Ｄに描かれた予め定義されたＲＯＩパターンは、例示することを目的とするものである。代替の位置又は形状を有するその他の予め定義されたＲＯＩパターンを提供することができる。例えば、幾つかのＲＯＩパターンは、これらのパターンをＭＢ境界にマッピングできることを条件として丸い又は不規則な形状を有することができる。
【００９３】
幾つかの実施形態においては、ユーザーは、選択されたＲＯＩパターンの大きさ又は位置を変更するのを許可されることができる。大きさ及び位置を変更するために従来のカーソル及びコーナードラッグ手法を用いることができる。さらに、ＲＯＩの大きさの縮尺の再設定を、コーナードラッグによって又は縮尺率を明示で指定することによって達成させることができる。当然のことであるが、ＲＯＩが大きくなるのに従い、帯域幅上の制限に起因して優先的符号化度が低下される。従って、幾つかの場合においては、映像通信デバイス１２内において最大のＲＯＩの大きさを強制することができる。
【００９４】
図８は、送信者デバイスにおけるニアエンド映像内での優先的ＲＯＩ符号化を制御するために受信者デバイスにおいてファーエンドＲＯＩ情報を生成することを示す流れ図である。図８において描かれたプロセスは、図４の映像通信デバイス１２’の図３の映像通信デバイス１２内に実装することができる。動作上は、映像通信デバイス１２内のＲＯＩ認識映像復号器４８は、映像通信デバイス１４、等の遠隔送信者デバイスからのファーエンド映像を復号する（７２）（図１）。ファーエンド映像を復号した時点で、受信者デバイス１２のユーザーインタフェース４２は、ローカルユーザーによって観るためにファーエンド映像を表示する（７４）。
【００９５】
ローカルユーザーがＲＯＩの選択を要求しない場合は（７６）、何の行動もとられず、ファーエンド映像の次のフレームが復号される（７２）。しかしながら、ＲＯＩの選択が要求された場合は（７６）、ユーザーインタフェース４２は、ローカルユーザーからのファーエンドＲＯＩ情報を受け入れる（７８）。ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、協力し合ってファーエンドＲＯＩ ＭＢマップを生成する（８０）。ＲＯＩ認識符号器４６は、符号化されたニアエンド映像内にファーエンドＲＯＩＭＢマップを埋め込み、それによってファーエンド映像を符号化する遠隔送信者デバイス１４にファーエンドＲＯＩマップを送信する（８２）。ファーエンドＲＯＩ ＭＢマップは、遠隔映像通信デバイス１４と関連づけられた符号器が映像通信デバイス１２に送信されるファーエンド映像の該当するＲＯＩ内のＭＢに優先的符号化を適用するように指定する。
【００９６】
図９は、送信者デバイスにおけるニアエンド映像内での優先的ＲＯＩ符号化のために受信者デバイスからのニアエンドＲＯＩ情報を処理することを、ＲＯＩ追跡と組み合わせて示した流れ図である。図９の例においては、ユーザーインタフェース４２は、映像キャプチャデバイス４０によって生成されたニアエンド映像ストリームを受信し、ニアエンド映像をローカルデバイスに提示する（８４）。ローカルユーザー及び遠隔ユーザーのいずれもがニアエンドＲＯＩの選択を要求しない場合は（８６）、各映像フレーム内の全ＭＢは通常どおりに、すなわちＲＯＩ内のＭＢの優先的符号化を行わずに、符号化される。符号化されたニアエンド映像は、遠隔受信者デバイス１４に送信される（８９）。
【００９７】
しかしながら、ニアエンドＲＯＩの選択がローカルユーザー又は遠隔ユーザーによって要求された場合は（８６）、ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、該当するニアエンドＲＯＩ情報を処理してニアエンドＲＯＩ ＭＢマップを生成する（９０）。ニアエンドＲＯＩがローカルユーザー及び遠隔ユーザーの両方によって指定された場合は、認証モジュール５８は、対立を解決してＲＯＩのうちの１つを優先させるために介入することができる。ニアエンドＲＯＩ ＭＢマップが受信された時点で（９０）、ＲＯＩ認識映像符号器４６は、より高い品質の符号化、より強力なエラー保護又はその両方を適用することによってＲＯＩ内のＭＢを優先的に符号化する（９２）。
【００９８】
追跡モジュール５６は、ＲＯＩ認識映像符号器４６によって生成された動き情報をモニタリングすることによってニアエンド映像内のＲＯＩの位置を追跡する（９４）。ＲＯＩのシフトが検出されない場合は（９６）は、ニアエンド映像内のＲＯＩ ＭＢを符号化するために既存のＲＯＩマップが適用され、符号化されたニアエンド映像が遠隔受信者デバイスに送信される（１０２）。ＲＯＩのシフトが検出された場合は（９６）、映像追跡モジュール５６は、ニアエンド映像を符号化する前に動き情報に基づいてＲＯＩ ＭＢマップを調整する（９８）。
【００９９】
図１０は、送信者デバイスにおけるニアエンド映像内での優先的ＲＯＩ符号化に関する受信者デバイスからのＲＯＩ情報の処理を、ユーザー認証と組み合わせて示した流れ図である。図１０は、遠隔ユーザーがニアエンドＲＯＩを制御するのを許可する際における図３又は図４の認証モジュール５８の動作を示し、説明を簡単にするために、ローカルニアエンドＲＯＩが指定されていないと仮定する。図１０に示されるように、映像通信デバイス１２内の映像キャプチャデバイス４０によって生成されたニアエンド映像ストリームに関して、認証モジュール５８は、遠隔ニアエンドＲＯＩが映像通信デバイス１４の遠隔ユーザーによって要求されているかどうか（１０６）を決定する。
【０１００】
遠隔ニアエンドＲＯＩが要求されておらず（１０６）、さらにローカルニアエンドＲＯＩが指定されない場合は、ニアエンド映像内の全ＭＢが通常どおりに符号化される（１１０）。しかしながら、遠隔ニアエンドＲＯＩが要求された場合は（１０６）、認証モジュール５８は、ニアエンドＲＯＩを要求した遠隔ユーザーが認証されるかどうかを次に決定する（１０８）。特に、認証モジュール５８は、映像通信デバイス１２内においてローカルで格納されているアドレスブックを参照することによって遠隔ユーザーのアクセス権を自動的に決定することができる。代替として、認証モジュール５８は、遠隔ユーザーによるニアエンドＲＯＩ制御に関するアクセス権の承認又は拒否を得るためにユーザーインタフェース４２を介して能動的にローカルユーザーに問い合わせることができる。
【０１０１】
遠隔ユーザーが認証されない場合は（１０８）、ニアエンド映像内の全ＭＢが通常どおりに符号化される（１１０）。しかしながら、遠隔ユーザーが認証される場合は（１０８）、遠隔ユーザーにニアエンドＲＯＩ制御が与えられる。この場合は、ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、遠隔ユーザーからのニアエンドＲＯＩ情報を処理し、ニアエンドＭＢマップを生成する（１１２）。ＲＯＩ認識符号器４６は、ニアエンドＭＢマップを用いて、ニアエンドＭＢマップによって識別されたＭＢを優先的に符号化する（１１４）。次に、映像通信デバイス１２は、符号化されたニアエンド映像を遠隔映像通信デバイス１４に送信する（１１６）。
【０１０２】
図１１は、予め定義されたＲＯＩパターンの選択を示す流れ図である。ＲＯＩ認識映像復号器４８が遠隔映像通信デバイス１４から受信されたファーエンド映像をいったん復号した時点で（１１８）、ファーエンド映像がユーザーインタフェース４２を介してローカルユーザーに表示される（１２０）。ローカルユーザーがＲＯＩの選択を要求した場合は（１２２）、ユーザーインタフェース４２は、図７Ａ乃至７Ｄにおいて示されるＲＯＩパターン等の予め定義されたＲＯＩパターンのメニューを表示する（１２４）。代替として、ユーザーは、ＲＯＩの記述を提供すること、又はＲＯＩパターンを描くこと、位置又は大きさを変更することができる。しかしながら、図１１の例においては、動作は、予め定義されたＲＯＩパターンの提示に焦点を合わせる。予め定義されたＲＯＩパターンがローカルユーザーによって選択された時点で（１２６）、ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、選択されたパターンに基づいてＲＯＩMBマップを定義する（１２８）。ＲＯＩ認識映像符号器４６は、符号化されたニアエンド映像内にＲＯＩ ＭＢマップを埋め込み、ファーエンド映像内のＲＯＩの優先的符号化の際に用いるためにＲＯＩ ＭＢマップを遠隔映像通信デバイス１４に送信する（１３０）。
【０１０３】
図１２は、ＲＯＩテンプレート１３２の拡大及び縮小による表示された映像シーン３４内におけるＲＯＩパターンの定義を示す図である。図１２は、図２に実質的に対応するが、ユーザーによって大きさを変更することができるＲＯＩテンプレート１３２の提示を示す。図１２の例においては、ＲＯＩテンプレート１３２は、ＲＯＩテンプレートの角のうちの１つをコーナードラッグして該ＲＯＩテンプレートを拡大及び縮小させることによって大きさを変更することができる。コーナードラッグしてＲＯＩテンプレート１３２を拡大させることの結果は、拡大されたＲＯＩテンプレート１３４によって表される。コーナードラッグの結果、ＲＯＩテンプレート１３２の大きさが大きくなるか又は小さくなるが、相対的な長さと幅の比の縮尺は維持する。しかしながら、幾つかの実施形態においては、ユーザーが長さと幅の比の縮尺を変更する一方でＲＯＩテンプレートの大きさを大きくするか又は小さくするためにＲＯＩテンプレート１３２の側部をドラッグすることを許可することも可能である。ドラッグは、タッチ画面、又は映像通信デバイス１２のユーザーインタフェース４２と関連づけられた他のポインティング装置と組み合わせてスタイラスを用いて達成させることができる。その他のポインティング装置は、ジョイスティック、タッチパッド、スクロールホイール、トラックボール、等を含むことができる。
【０１０４】
図１３は、ＲＯＩテンプレート１３２をドラッグすることによる表示された映像シーン内でのＲＯＩパターンの定義を示した図である。特に、図１３は、ＲＯＩテンプレート１３２を映像シーン３４内の他の位置１３５にドラッグすることによるＲＯＩテンプレート１３２の位置変更を示す。ドラッグは、スタイラスとタッチ画面又はユーザーインタフェース４２と関連づけられた他のポインティング装置によって達成させることができる。
【０１０５】
図１４は、タッチ画面上でスタイラス１３８を用いてＲＯＩパターン１３６を描くことによる表示された映像シーン内でのＲＯＩパターンの定義を示した図である。図１４の例においては、ＲＯＩパターン１３６は、自由な描画によって生成される。ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、互いに協力し、描かれたＲＯＩパターンと関連する座標を、ＲＯＩパターン１３６内にほぼ入っている映像シーン３４内のＭＢを識別するＭＢマップに変換する。図１２、１３、及び１４に示されるＲＯＩパターンの定義は、ニアエンド映像又はファーエンド映像内のＲＯＩに関して適用することができる。
【０１０６】
図１５は、動的に追跡される指定されたＲＯＩオブジェクトを有するドロップダウンメニュー１４０を用いることによる表示された映像シーン内でのＲＯＩパターンの定義を示した図である。図１５において示されるように、ユーザーインタフェース４２は、「顔」、「唇」、「背景」、及び「動き」、等のＲＯＩの記述を提示するドロップダウンメニュー１４０を提示する。ローカルユーザーは、ドロップダウンメニュー内のエントリのうちの１つを希望されるＲＯＩの記述として選択する。前記選択に応じて、ＲＯＩ抽出モジュール６０（図４）は、ニアエンド映像又はファーエンド映像を適宜解析して記述に対応するＲＯＩパターンを検出する。ドロップダウンメニュー１４０の代替として、ユーザーは、ユーザーインタフェース４２を介してテキストを入力すること、又は口頭でマイク内にテキストを言うことができる。各場合において、皮膚の色調の検出、オブジェクトの分割、等の従来の特徴検出アルゴリズムを用いて、選択されたＲＯＩが該当するＲＯＩパターンとマッチングされる。ＲＯＩパターンが選択された時点で、ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、該当するＲＯＩ ＭＢマップを生成する。図１５のプロセスは、各ＲＯＩの記述を対象となる特定の映像シーン内のＲＯＩパターンと動的にマッチングしなければならないという意味で「動的」であると呼ばれる。
【０１０７】
図１６は、図７Ａ乃至７Ｄに示されるように、予め定義されたＲＯＩパターンにマッピングされた指定されたＲＯＩオブジェクトを有するドロップダウンメニュー１４２を用いることによる表示された映像シーン内でのＲＯＩパターンの定義を示した図である。図１６に示されるように、ユーザーインタフェース４２は、「単一の顔」、「二重の顔」、「頭／肩」、及び「オブジェクト」、等のＲＯＩ記述を提示するドロップダウンメニュー１４２を提示する。ローカルユーザーは、ドロップダウンメニュー内のエントリのうちの１つを希望されるＲＯＩパターンとして選択する。前記選択に応じて、ＲＯＩコントローラ５２は、選択されたＲＯＩパターンを、例えば図７Ａ乃至７Ｄにおいて描かれているような対応する予め定義されたＲＯＩパターンとマッチングさせる。従って、図１５に示されるＲＯＩの記述とは異なり、静的ＲＯＩパターンは、映像解析を要求しない。代わりに、ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、ドロップダウンメニュー１４２内の選択項目に対応する予めコンフィギュレーションされたＲＯＩ ＭＢマップを生成する。繰り返しになるが、ドロップダウンメニュー１４２の代替として、ユーザーは、ユーザーインタフェース４２を介してテキストを入力すること、又は口頭でマイク内にテキストを言うことができる。図１５のプロセスは、各ＲＯＩパターンが予め定義されたＲＯＩパターン及びＭＢマップに対応するという意味で「静的」であると呼ばれる。
【０１０８】
図１７は、ＲＯＩ記述インタフェースを用いることによる表示された映像シーン内でのＲＯＩパターンの定義を示した流れ図である。図１７に示されるプロセスは、図１５のドロップダウンメニュー、又はその他の入力媒体とともに用いることができる。図１７に示されるように、ＲＯＩ認識映像復号器４８は、遠隔送信者デバイス１４から受信されたファーエンド映像を復号する（１４４）。次に、ユーザーインタフェース４２は、ファーエンド映像をローカルユーザーに表示する（１４６）。ローカルユーザーがファーエンド映像に関するＲＯＩの選択を要求しない場合は（１４８）、遠隔映像通信デバイス１４にはＲＯＩ情報が送信されない。しかしながら、ＲＯＩの選択が要求された場合は（１４８）、ユーザーインタフェース４２は、図１７のドロップダウンメニュー１４０、等のＲＯＩ記述インタフェースを提示する（１５０）。
【０１０９】
ローカルユーザーＲＯＩ記述を受信した時点で（１５２）、ＲＯＩコントローラ５２及びＲＯＩマッパー５４は、前記記述に基づいてＲＯＩパターンを選択し（１５４）、選択されたＲＯＩパターンに基づいてＲＯＩ ＭＢマップを定義する（１５６）。繰り返しになるが、選択されたＲＯＩパターンは、従来の検出技術を用いてファーエンド映像を解析し、ＲＯＩ記述をファーエンド映像内の特定のＭＢにマッチングさせることによって決定することができる。ファーエンドＲＯＩ ＭＢマップが生成された時点で、ＲＯＩ認識映像符号器１２は、ファーエンドＲＯＩ ＭＢマップを符号化されたニアエンド映像内に埋め込み、ファーエンドＲＯＩの優先的符号化のために遠隔映像通信デバイス１４に送信する。
【０１１０】
図１８は、送信者デバイスと受信者デバイス１２、１４との間におけるＲＯＩの対立の解決を示した流れ図である。特に、図１８は、ローカルユーザーによって指定されたニアエンドＲＯＩと遠隔ユーザーによって指定されたニアエンドＲＯＩの対立を解決する上での認証モジュール５８（図３又は図４）の動作を示す。送信者デバイスにおいてニアエンド映像が生成された時点で（１６０）、認証モジュール５８は、ニアエンドＲＯＩがローカルユーザー又は遠隔ユーザーによって要求されているかどうかを決定する（１６２）。要求されていない場合は、ＲＯＩの優先的符号化が行われずに通常どおりに全ＭＢが符号化され（１６４）、その結果得られた符号化された映像が受信者映像通信デバイス１４に送信される（１６６）。
【０１１１】
ニアエンドＲＯＩが要求される場合は（１６２）、認証モジュール５８は、ローカルユーザーによって指定されたニアエンドＲＯＩと遠隔ユーザーによって指定されたＲＯＩとの間において対立が存在するかどうかを決定する（１６８）。遠隔ニアエンドＲＯＩが指定されない場合、又はローカルニアエンドＲＯＩと遠隔ニアエンドＲＯＩが対立しない場合は、認証は、選択されたニアエンドＲＯＩを処理のためにＲＯＩコントローラ５２に渡すことができる。
【０１１２】
ローカルニアエンドＲＯＩが存在せず、遠隔ニアエンドＲＯＩが選択されている場合は、認証モジュール５８は、遠隔ニアエンドＲＯＩを適用するのを許可することができる。代替として、幾つかの実施形態においては、認証モジュール５８は、ローカルユーザーとの対話によって又はアドレスブックに記録されているアクセスレベルによって遠隔ユーザーに与えられた明示のアクセスが存在する場合のみに遠隔ニアエンドＲＯＩを適用するのを許可することができる。ＲＯＩの対立が存在しない場合は、ＲＯＩマッパー５４は、適用可能なニアエンドＲＯＩに基づいてニアエンドＭＢマップを生成してＲＯＩ認識映像符号器４６に適用する。ＲＯＩ認識映像符号器４６は、ニアエンド映像のＲＯＩ内のＭＢを優先的に符号化する（１７２）。
【０１１３】
ローカルニアエンドＲＯＩと遠隔ニアエンドＲＯＩとの間において対立が存在する場合は（１６８）、認証モジュール５８は、例えば映像通信デバイス１２内にローカルで格納されているアドレスブックにおいてアクセスレベルが既に割り当てられているかどうかを決定する（１７４）。アクセスレベルが割り当てられている場合は（１７４）、認証モジュール５８は、アクセスレベルに従ってＲＯＩの対立を解決する（１７６）。例えば、遠隔ユーザーに関する格納されたアクセスレベルは、ローカルユーザーに関するＲＯＩ制御を遠隔ユーザーに与えるべきであることを示すことができる。アクセスレベルが割り当てられていない場合は（１７４）、認証モジュール５８は、遠隔ＲＯＩ制御の承認をローカルユーザーに求める（１７８）。特に、認証モジュール５８は、遠隔ユーザーによるニアエンドＲＯＩ制御の承認を要求するためにユーザーインタフェース４２を介して問い合わせを提示することができる。
【０１１４】
ローカルユーザーによって承認が与えられた場合は、認証モジュール５８は、遠隔ニアエンドＲＯＩを処理のためにＲＯＩコントローラ５２に渡す。承認が与えられない場合は、ＲＯＩコントローラ５２は、ローカルニアエンドＲＯＩを処理する。いずれの場合においても、ＲＯＩ認識映像符号器４６は、選択されたＲＯＩを用いて、ニアエンド映像においてＲＯＩ内にあるＭＢを優先的に符号化し、符号化されたニアエンド映像を遠隔受信者デバイス１４に送信する（１６６）。幾つかの場合においては、認証モジュール５８は、ローカルユーザーと遠隔ユーザーとの間だけでなく、可能なことに幾つかの遠隔ユーザーとの間におけるＲＯＩの対立を解決することができる。ローカルユーザーは、ニアエンドＲＯＩを制御するためのアクセス権を遠隔ユーザーの１人に能動的に与えるか、又は様々な遠隔ユーザーのＲＯＩ制御権の優先順位を設定する相対的アクセスレベルを割り当てることができる。典型的には、ＲＯＩを制御するためのアクセス権は、１人のユーザー、例えばローカルユーザー又は遠隔ユーザーのうちの１人に対して排他的に与えられる。
【０１１５】
図１９は、ファーエンド映像内のＲＯＩマクロブロックの優先的復号を示す流れ図である。図１９に示されるように、ファーエンド映像を遠隔送信者デバイス１４から受信した時点で（１８０）、ローカル受信者デバイス１２内のＲＯＩ認識映像復号器４８は、ファーエンドＲＯＩがローカルユーザーによって指定されているかどうかを決定する（１８２）。指定されていない場合は、ＲＯＩ認識映像復号器４８は、ファーエンド映像内の全ＭＢを通常どおりに符号化する（１８４）。しかしながら、ファーエンドＲＯＩ情報がローカルユーザーによって指定された場合は、ＲＯＩ認識映像復号器４８は、受信されたファーエンド映像内のＲＯＩ ＭＢを優先的に復号する（１８６）。ＲＯＩ ＭＢは、非ＲＯＩＭＢに対して適用される内挿方程式及びエラー隠蔽技術よりも高い品質の内挿方程式又はより強固なエラー隠蔽技術を適用することによって優先的に復号することができる。優先的復号は、より高い品質のデブロッキング又はデリンギングフィルタ等の優先的な後処理を含むことができる。
【０１１６】
本明細書において説明される技術は、ハードウェア内、ソフトウェア内、ファームウェア内、又はその組合せ内において実装することができる。ソフトウェア内に実装される場合は、前記技術は、実行されたときに上述される方法のうちの１つ以上を実行する命令を含むプログラムコードを具備するコンピュータ読み取り可能媒体によって一部を実現することができる。この場合は、コンピュータ読み取り可能媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）等のランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気式又は光学式データ記憶媒体、等を具備することができる。
【０１１７】
プログラムコードは、１つ以上のプロセッサ、例えば１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はその他の同等の集積回路又は個別論理回路、等であることができる。幾つかの実施形態においては、本明細書において説明される機能は、符号化及び復号のために構成される専用ソフトウェアモジュール又はハードウェア装置内において提供すること、又は結合された映像符号器−復号器（ＣＯＤＥＣ）内に組み入れることができる。
【０１１８】
様々な実施形態が説明されている。これらの及びその他の実施形態は、上記の請求項の適用範囲内である。
【図面の簡単な説明】
【０１１９】
【図１】ＲＯＩ認識映像符号器−復号器（ＣＯＤＥＣ）を組み入れた映像符号化及び復号システムを示したブロック図である。
【図２】無線通信デバイスと関連するディスプレイ上において提示された映像シーン内におけるＲＯＩの定義を示した図である。
【図３】ＲＯＩ認識ＣＯＤＥＣを組み入れた通信デバイスを示すブロック図である。
【図４】ＲＯＩ認識ＣＯＤＥＣを有し、ＲＯＩ抽出モジュールをさらに組み入れた他の通信デバイスを示すブロック図である。
【図５】中間抽出サーバーを介しての分散型ＲＯＩ抽出を示すブロック図である。
【図６】複数のビデオテレフォニーセッションに関する分散型ＲＯＩ抽出を示すブロック図である。
【図７Ａ】ユーザーによる選択のための予め定義されたＲＯＩパターンを示した図である。
【図７Ｂ】ユーザーによる選択のための予め定義されたＲＯＩパターンを示した図である。
【図７Ｃ】ユーザーによる選択のための予め定義されたＲＯＩパターンを示した図である。
【図７Ｄ】ユーザーによる選択のための予め定義されたＲＯＩパターンを示した図である。
【図８】遠隔送信者デバイスにおけるニアエンド映像の優先的ＲＯＩ符号化を制御するための受信者デバイスにおけるＲＯＩ情報の生成を示した流れ図である。
【図９】送信者デバイスにおけるニアエンド映像の優先的ＲＯＩ符号化に関する受信者デバイスからのＲＯＩ情報の処理を、ＲＯＩ追跡と組み合わせて示した流れ図である。
【図１０】送信者デバイスにおけるニアエンド映像の優先的ＲＯＩ符号化に関する受信者デバイスからのＲＯＩ情報の処理を、ユーザー認証と組み合わせて示した流れ図である。
【図１１】予め定義されたＲＯＩパターンの選択を示した流れ図である。
【図１２】ＲＯＩテンプレートの拡大及び縮小による表示された映像シーン内におけるＲＯＩパターンの定義を示した図である。
【図１３】ＲＯＩテンプレートのドラッグによる表示された映像シーン内におけるＲＯＩパターンの定義を示した図である。
【図１４】タッチ画面上においてスタイラスを用いてＲＯＩエリアを描くことによる表示された映像シーン内におけるＲＯＩパターンの定義を示した図である。
【図１５】動的に抽出及び追跡される指定のＲＯＩオブジェクトを有するドロップダウンメニューを用いることによる表示された映像シーン内におけるＲＯＩパターンの定義を示した図である。
【図１６】図７Ａ乃至７Ｄに示されるように、予め定義されたＲＯＩパターンにマッピングされた指定のＲＯＩオブジェクトを有するドロップダウンメニューを用いることによる表示された映像シーン内におけるＲＯＩパターンの定義を示した図である。
【図１７】ＲＯＩ記述インタフェースを用いることによる表示された映像シーン内におけるＲＯＩパターンの定義を示した流れ図である。
【図１８】送信者デバイスと受信者デバイスとの間におけるＲＯＩの対立の解決を示した流れ図である。
【図１９】ファーエンド映像内におけるＲＯＩマクロブロックの優先的復号を示した流れ図である。
【特許請求の範囲】
【請求項１】
ローカルデバイスによって符号化されて遠隔デバイスによって受信されたニアエンド映像内において関心領域（ＲＯＩ）を指定する情報を前記遠隔デバイスから受信することと、
前記ＲＯＩに基づいて前記ニアエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させること、とを具備する、方法。
【請求項２】
前記符号化されたニアエンド映像を前記遠隔デバイスに送信することと、前記遠隔デバイスによって符号化されたファーエンド映像を前記ローカルデバイスにおいて受信すること、とをさらに具備する請求項１に記載の方法。
【請求項３】
前記ＲＯＩを指定する前記情報を前記遠隔デバイスから受信された符号化されたファーエンド映像とともに受信することをさらに具備し、前記ＲＯＩを指定する前記情報は、前記符号化されたファーエンド映像内に埋め込まれる請求項１に記載の方法。
【請求項４】
前記ＲＯＩを指定する前記情報をアウトオブバンドシグナリングによって前記遠隔デバイスから受信することをさらに具備する請求項１に記載の方法。
【請求項５】
前記遠隔デバイスによって符号化されたファーエンド映像を前記ローカルデバイスにおいて受信することと、
前記符号化されたファーエンド映像内においてＲＯＩを指定する情報を生成することと、
前記ＲＯＩ情報を前記符号化されたニアエンド映像とともに前記遠隔デバイスに送信すること、とをさらに具備する請求項１に記載の方法。
【請求項６】
前記遠隔デバイスによって符号化されたファーエンド映像を前記ローカルデバイスにおいて受信することと、
前記遠隔デバイスから受信された前記符号化されたファーエンド映像を復号して前記ファーエンド映像の非ＲＯＩエリアに対する前記ファーエンド映像内の前記ＲＯＩの画質を向上させること、とをさらに具備する請求項１に記載の方法。
【請求項７】
前記符号化されたファーエンド映像を復号することは、前記ファーエンド映像の非ＲＯＩエリアに対してよりも高い品質の後処理又はエラー隠蔽技術を前記ファーエンド映像内の前記ＲＯＩに対して適用することを含む請求項６に記載の方法。
【請求項８】
前記ＲＯＩを指定する前記情報に基づいて前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを生成することをさらに具備する請求項１に記載の方法。
【請求項９】
前記ニアエンド映像を符号化することは、前記ニアエンド映像の非ＲＯＩエリアに対してよりも高い品質の符号化又はエラー保護技術を前記ＲＯＩに対して適用することを含む請求項１に記載の方法。
【請求項１０】
前記ＲＯＩに基づいて前記ニアエンド映像を符号化する前に前記遠隔デバイスと関連する遠隔ユーザーを認証することをさらに具備する請求項１に記載の方法。
【請求項１１】
認証することは、前記遠隔ユーザーが前記ＲＯＩに基づいて前記ニアエンド映像の符号化を制御する権限を付与されているかどうかを決定することを含む請求項１０に記載の方法。
【請求項１２】
認証することは、前記遠隔ユーザーが前記ＲＯＩに基づいて前記ニアエンド映像の符号化を制御する権限の付与を前記ローカルデバイスと関連するローカルユーザーに求めることを含む請求項１０に記載の方法。
【請求項１３】
遠隔デバイスから情報を受信することは、前記ニアエンド映像内において複数のＲＯＩを指定する複数の遠隔デバイスから情報を受信することを含み、前記方法は、前記各々のＲＯＩに基づいて前記ニアエンド映像の符号化を制御するために前記遠隔デバイスと関連する遠隔ユーザーのうちの１人を選択するために前記遠隔ユーザーを認証することをさらに具備する請求項１に記載の方法。
【請求項１４】
前記符号化されたニアエンド映像と関連する動き情報をモニタリングすることと、
前記動き情報に基づいて前記ＲＯＩを調整することと、
前記調整されたＲＯＩに基づいて前記ニアエンド映像を符号化すること、とをさらに具備する請求項１に記載の方法。
【請求項１５】
前記ＲＯＩを指定する前記情報に基づいて前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを生成することをさらに具備し、前記ＲＯＩを調整することは、前記動き情報に基づいてＭＢが前記ＲＯＩ内に含められているか又は前記ＲＯＩから除外されているとしてＭＢの状態を修正することを含む請求項１４に記載の方法。
【請求項１６】
ＲＯＩを指定する前記情報は、テキスト又は口頭による情報を含み、前記方法は、前記テキスト又は口頭による情報に基づいて前記ＲＯＩを定義することをさらに具備する請求項１に記載の方法。
【請求項１７】
前記ＲＯＩを定義することは、前記ローカルデバイス及び前記遠隔デバイスのうちの少なくとも１つと通信する中間サーバーにおいて前記ＲＯＩを定義することを含む請求項１６に記載の方法。
【請求項１８】
遠隔映像通信デバイスに送信されたニアエンド映像内において関心領域（ＲＯＩ）を指定する情報を前記遠隔デバイスから受信する関心領域（ＲＯＩ）エンジンと、
前記ニアエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる映像符号器と、を具備する、映像符号化デバイス。
【請求項１９】
前記映像符号器は、前記符号化されたニアエンド映像を前記遠隔デバイスに送信し、前記デバイスは、前記遠隔デバイスによって符号化されたファーエンド映像を受信する映像復号器をさらに具備する請求項１８に記載のデバイス。
【請求項２０】
前記映像復号器は、前記ＲＯＩを指定する前記情報を前記遠隔デバイスから受信された符号化されたファーエンド映像とともに受信し、前記ＲＯＩを指定する前記情報は、前記遠隔デバイスから受信される前記符号化されたファーエンド映像内に埋め込まれる請求項１９に記載のデバイス。
【請求項２１】
前記遠隔デバイスによって符号化されたファーエンド映像を受信する映像復号器をさらに具備し、前記映像復号器は、前記ＲＯＩを指定する前記情報をアウトオブバンドシグナリングによって前記遠隔デバイスから受信する請求項１８に記載のデバイス。
【請求項２２】
前記ＲＯＩエンジンは、前記符号化されたファーエンド映像内においてＲＯＩを指定する情報を生成し、前記映像符号器は、前記ＲＯＩ情報を前記符号化されたニアエンド映像とともに前記遠隔デバイスに送信する請求項２１に記載のデバイス。
【請求項２３】
前記遠隔デバイスから受信された前記符号化されたファーエンド映像を復号して前記ファーエンド映像の非ＲＯＩエリアに対する前記ファーエンド映像内の前記ＲＯＩの前記画質を向上させることをさらに具備する請求項１８に記載のデバイス。
【請求項２４】
前記映像復号器は、前記ファーエンド映像の非ＲＯＩエリアに対してよりも高い品質の後処理又はエラー隠蔽技術を前記ファーエンド映像内の前記ＲＯＩに対して適用する請求項２３に記載のデバイス。
【請求項２５】
前記ＲＯＩを指定する前記情報に基づいて前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを生成するＲＯＩマッパーモジュールと、前記ＲＯＩマッパーモジュールに適用するために前記ＲＯＩを指定する前記情報を処理するＲＯＩコントローラと、をさらに具備する請求項１８に記載のデバイス。
【請求項２６】
前記映像符号器は、前記ニアエンド映像の非ＲＯＩエリアに対してよりも高い品質の符号化又はエラー保護技術を前記ニアエンド映像内の前記ＲＯＩに対して適用する請求項１８に記載のデバイス。
【請求項２７】
前記ＲＯＩに基づいて前記ニアエンド映像が符号化される前に前記遠隔デバイスと関連する遠隔ユーザーを認証する認証モジュールをさらに具備し、前記認証モジュールは、前記遠隔ユーザーが前記ＲＯＩに基づいて前記ニアエンド映像の符号化を制御する権限を付与されているかどうかを決定する請求項１８に記載のデバイス。
【請求項２８】
前記認証モジュールは、前記遠隔ユーザーが前記ＲＯＩに基づいて前記ニアエンド映像の符号化を制御する権限の付与を前記デバイスと関連するローカルユーザーに求める請求項２７に記載のデバイス。
【請求項２９】
遠隔デバイスから受信された前記情報は、前記ニアエンド映像内において複数のＲＯＩを指定する複数の遠隔デバイスからの情報を含み、前記システムは、前記各々のＲＯＩに基づいて前記ニアエンド映像の符号化を制御するために前記遠隔デバイスと関連する遠隔ユーザーのうちの１人を選択するために前記遠隔ユーザーを認証する認証モジュールをさらに具備する請求項１８に記載のデバイス。
【請求項３０】
前記ニアエンド映像と関連する動き情報をモニタリングし、前記動き情報に基づいて前記ＲＯＩを調整する追跡モジュールをさらに具備し、前記符号器は、前記調整されたＲＯＩに基づいて前記ニアエンド映像を符号化する請求項１８に記載のデバイス。
【請求項３１】
前記ＲＯＩを指定する前記情報に基づいて前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを生成するＲＯＩマッパーモジュールをさらに具備し、前記追跡モジュールによる前記ＲＯＩの調整は、前記動き情報に基づいてＭＢが前記ＲＯＩに含められているか又は前記ＲＯＩから除外されているとしてＭＢの状態を修正することを含む請求項３０に記載のデバイス。
【請求項３２】
ＲＯＩを指定する前記情報は、テキスト又は口頭による情報を含み、前記システムは、前記テキスト又は口頭による情報に基づいて前記ＲＯＩを定義する抽出モジュールをさらに具備する請求項１８に記載のデバイス。
【請求項３３】
ＲＯＩを指定する前記情報は、テキスト又は口頭による情報を含み、前記システムは、前記映像通信デバイス及び前記遠隔映像通信デバイスから遠隔に配置されて前記テキスト又は口頭による情報に基づいて前記ＲＯＩを定義する中間抽出サーバーをさらに具備する請求項１８に記載のデバイス。
【請求項３４】
ローカルデバイスによって符号化されて遠隔デバイスによって受信されたニアエンド映像内において関心領域（ＲＯＩ）を指定する情報を前記遠隔デバイスから受信すること、及び前記ニアエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させることをプロセッサに行わせる命令を具備するコンピュータ読み取り可能媒体。
【請求項３５】
前記命令は、前記符号化されたニアエンド映像を前記遠隔デバイスに送信すること、及び前記遠隔デバイスによって符号化されたファーエンド映像を前記ローカルデバイスにおいて受信することを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項３６】
前記命令は、前記ＲＯＩを指定する前記情報を前記遠隔デバイスから受信された符号化されたファーエンド映像とともに受信することを前記プロセッサに行わせ、前記ＲＯＩを指定する前記情報は、前記符号化されたファーエンド映像内に埋め込まれる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項３７】
前記命令は、前記ＲＯＩを指定する前記情報をアウトオブバンドシグナリングによって前記遠隔デバイスから受信することを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項３８】
前記命令は、前記遠隔デバイスから受信された符号化されたファーエンド映像内においてＲＯＩを指定する情報を生成すること、及び前記ＲＯＩ情報を前記符号化されたニアエンド映像とともに前記遠隔デバイスに送信することを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体
【請求項３９】
前記命令は、前記遠隔デバイスから受信された前記符号化されたファーエンド映像を復号して前記ファーエンド映像の非ＲＯＩエリアに対する前記ファーエンド映像内の前記ＲＯＩの画質を向上させることを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項４０】
前記命令は、前記符号化されたファーエンド映像の非ＲＯＩエリアに対してよりも高い品質の後処理又はエラー隠蔽技術を前記ファーエンド映像内の前記ＲＯＩに対して適用することによって前記ファーエンド映像を復号することを前記プロセッサに行わせる請求項３９に記載のコンピュータ読み取り可能媒体。
【請求項４１】
前記ＲＯＩを指定する前記情報は、前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを含む請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項４２】
前記命令は、前記ニアエンド映像の非ＲＯＩエリアに対してよりも高い品質の符号化又はエラー隠蔽技術を前記ニアエンド映像内の前記ＲＯＩに対して適用することによって前記ニアエンド映像を符号化することを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項４３】
前記命令は、前記ＲＯＩに基づいて前記ニアエンド映像を符号化する前に前記遠隔ユーザーが前記ＲＯＩに基づいて前記ニアエンド映像の符号化を制御する権限を付与されているかどうかを決定することを前記プロセッサに行わせ、前記命令は、前記遠隔ユーザーが前記ＲＯＩに基づいて前記ニアエンド映像の符号化を制御する権限の付与を前記ローカルデバイスと関連するローカルユーザーに求めることを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項４４】
前記情報は、前記ニアエンド映像内において複数のＲＯＩを指定する複数の遠隔デバイスから受信され、前記命令は、前記各々のＲＯＩに基づいて前記ニアエンド映像の符号化を制御するために前記遠隔デバイスと関連する遠隔ユーザーのうちの１人を選択するために前記遠隔ユーザーを認証することを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項４５】
前記命令は、前記符号化されたニアエンド映像と関連する動き情報をモニタリングすること、前記動き情報に基づいて前記ＲＯＩを調整すること、及び前記調整されたＲＯＩに基づいて前記ニアエンド映像を符号化することを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項４６】
前記ＲＯＩを指定する前記情報は、前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを含み、前記命令は、前記動き情報に基づいてＭＢが前記ＲＯＩ内に含められているか又は前記ＲＯＩから除外されているとしてＭＢの状態を修正することを含む前記ＲＯＩの調整を前記プロセッサに行わせる、請求項４５に記載のコンピュータ読み取り可能媒体。
【請求項４７】
遠隔デバイスによって送信されてローカルデバイスによって受信されるファーエンド映像内において関心領域（ＲＯＩ）を指定する情報を生成することと、
前記ＲＯＩに基づいて前記ファーエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる際に用いるために前記情報を前記遠隔デバイスに送信すること、とを具備する、方法。
【請求項４８】
前記ＲＯＩを指定する前記情報は、前記ローカルデバイスによって符号化されて前記遠隔デバイスに送信されるニアエンド映像内に埋め込まれる請求項４７に記載の方法。
【請求項４９】
前記ＲＯＩを指定する前記情報は、アウトオブバンドシグナリングによって前記遠隔デバイスから受信される請求項４７に記載の方法。
【請求項５０】
前記ＲＯＩを指定する前記情報は、前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを含む請求項４７に記載の方法。
【請求項５１】
遠隔デバイスから受信されたファーエンド映像内において関心領域（ＲＯＩ）を指定する情報を生成する関心領域（ＲＯＩ）エンジンと、
前記ＲＯＩに基づいて前記ファーエンド映像を符号化して前記ファーエンド映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる際に前記遠隔デバイスによって用いるためにニアエンド映像を符号化して前記ＲＯＩを指定する情報を前記符号化されたニアエンド映像とともに送信する映像符号器と、を具備する、映像符号化デバイス。
【請求項５２】
前記ＲＯＩを指定する前記情報は、前記遠隔デバイスに送信される前記ニアエンド映像内に埋め込まれる請求項５１に記載のデバイス。
【請求項５３】
前記ＲＯＩを指定する前記情報は、アウトオブバンドシグナリングによって前記遠隔デバイスに送信される請求項５１に記載のデバイス。
【請求項５４】
前記ＲＯＩを指定する前記情報は、前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを含む請求項５１に記載のデバイス。
【請求項１】
ローカルデバイスによって符号化されて遠隔デバイスによって受信されたニアエンド映像内において関心領域（ＲＯＩ）を指定する情報を前記遠隔デバイスから受信することと、
前記ＲＯＩに基づいて前記ニアエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させること、とを具備する、方法。
【請求項２】
前記符号化されたニアエンド映像を前記遠隔デバイスに送信することと、前記遠隔デバイスによって符号化されたファーエンド映像を前記ローカルデバイスにおいて受信すること、とをさらに具備する請求項１に記載の方法。
【請求項３】
前記ＲＯＩを指定する前記情報を前記遠隔デバイスから受信された符号化されたファーエンド映像とともに受信することをさらに具備し、前記ＲＯＩを指定する前記情報は、前記符号化されたファーエンド映像内に埋め込まれる請求項１に記載の方法。
【請求項４】
前記ＲＯＩを指定する前記情報をアウトオブバンドシグナリングによって前記遠隔デバイスから受信することをさらに具備する請求項１に記載の方法。
【請求項５】
前記遠隔デバイスによって符号化されたファーエンド映像を前記ローカルデバイスにおいて受信することと、
前記符号化されたファーエンド映像内においてＲＯＩを指定する情報を生成することと、
前記ＲＯＩ情報を前記符号化されたニアエンド映像とともに前記遠隔デバイスに送信すること、とをさらに具備する請求項１に記載の方法。
【請求項６】
前記遠隔デバイスによって符号化されたファーエンド映像を前記ローカルデバイスにおいて受信することと、
前記遠隔デバイスから受信された前記符号化されたファーエンド映像を復号して前記ファーエンド映像の非ＲＯＩエリアに対する前記ファーエンド映像内の前記ＲＯＩの画質を向上させること、とをさらに具備する請求項１に記載の方法。
【請求項７】
前記符号化されたファーエンド映像を復号することは、前記ファーエンド映像の非ＲＯＩエリアに対してよりも高い品質の後処理又はエラー隠蔽技術を前記ファーエンド映像内の前記ＲＯＩに対して適用することを含む請求項６に記載の方法。
【請求項８】
前記ＲＯＩを指定する前記情報に基づいて前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを生成することをさらに具備する請求項１に記載の方法。
【請求項９】
前記ニアエンド映像を符号化することは、前記ニアエンド映像の非ＲＯＩエリアに対してよりも高い品質の符号化又はエラー保護技術を前記ＲＯＩに対して適用することを含む請求項１に記載の方法。
【請求項１０】
前記ＲＯＩに基づいて前記ニアエンド映像を符号化する前に前記遠隔デバイスと関連する遠隔ユーザーを認証することをさらに具備する請求項１に記載の方法。
【請求項１１】
認証することは、前記遠隔ユーザーが前記ＲＯＩに基づいて前記ニアエンド映像の符号化を制御する権限を付与されているかどうかを決定することを含む請求項１０に記載の方法。
【請求項１２】
認証することは、前記遠隔ユーザーが前記ＲＯＩに基づいて前記ニアエンド映像の符号化を制御する権限の付与を前記ローカルデバイスと関連するローカルユーザーに求めることを含む請求項１０に記載の方法。
【請求項１３】
遠隔デバイスから情報を受信することは、前記ニアエンド映像内において複数のＲＯＩを指定する複数の遠隔デバイスから情報を受信することを含み、前記方法は、前記各々のＲＯＩに基づいて前記ニアエンド映像の符号化を制御するために前記遠隔デバイスと関連する遠隔ユーザーのうちの１人を選択するために前記遠隔ユーザーを認証することをさらに具備する請求項１に記載の方法。
【請求項１４】
前記符号化されたニアエンド映像と関連する動き情報をモニタリングすることと、
前記動き情報に基づいて前記ＲＯＩを調整することと、
前記調整されたＲＯＩに基づいて前記ニアエンド映像を符号化すること、とをさらに具備する請求項１に記載の方法。
【請求項１５】
前記ＲＯＩを指定する前記情報に基づいて前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを生成することをさらに具備し、前記ＲＯＩを調整することは、前記動き情報に基づいてＭＢが前記ＲＯＩ内に含められているか又は前記ＲＯＩから除外されているとしてＭＢの状態を修正することを含む請求項１４に記載の方法。
【請求項１６】
ＲＯＩを指定する前記情報は、テキスト又は口頭による情報を含み、前記方法は、前記テキスト又は口頭による情報に基づいて前記ＲＯＩを定義することをさらに具備する請求項１に記載の方法。
【請求項１７】
前記ＲＯＩを定義することは、前記ローカルデバイス及び前記遠隔デバイスのうちの少なくとも１つと通信する中間サーバーにおいて前記ＲＯＩを定義することを含む請求項１６に記載の方法。
【請求項１８】
遠隔映像通信デバイスに送信されたニアエンド映像内において関心領域（ＲＯＩ）を指定する情報を前記遠隔デバイスから受信する関心領域（ＲＯＩ）エンジンと、
前記ニアエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる映像符号器と、を具備する、映像符号化デバイス。
【請求項１９】
前記映像符号器は、前記符号化されたニアエンド映像を前記遠隔デバイスに送信し、前記デバイスは、前記遠隔デバイスによって符号化されたファーエンド映像を受信する映像復号器をさらに具備する請求項１８に記載のデバイス。
【請求項２０】
前記映像復号器は、前記ＲＯＩを指定する前記情報を前記遠隔デバイスから受信された符号化されたファーエンド映像とともに受信し、前記ＲＯＩを指定する前記情報は、前記遠隔デバイスから受信される前記符号化されたファーエンド映像内に埋め込まれる請求項１９に記載のデバイス。
【請求項２１】
前記遠隔デバイスによって符号化されたファーエンド映像を受信する映像復号器をさらに具備し、前記映像復号器は、前記ＲＯＩを指定する前記情報をアウトオブバンドシグナリングによって前記遠隔デバイスから受信する請求項１８に記載のデバイス。
【請求項２２】
前記ＲＯＩエンジンは、前記符号化されたファーエンド映像内においてＲＯＩを指定する情報を生成し、前記映像符号器は、前記ＲＯＩ情報を前記符号化されたニアエンド映像とともに前記遠隔デバイスに送信する請求項２１に記載のデバイス。
【請求項２３】
前記遠隔デバイスから受信された前記符号化されたファーエンド映像を復号して前記ファーエンド映像の非ＲＯＩエリアに対する前記ファーエンド映像内の前記ＲＯＩの前記画質を向上させることをさらに具備する請求項１８に記載のデバイス。
【請求項２４】
前記映像復号器は、前記ファーエンド映像の非ＲＯＩエリアに対してよりも高い品質の後処理又はエラー隠蔽技術を前記ファーエンド映像内の前記ＲＯＩに対して適用する請求項２３に記載のデバイス。
【請求項２５】
前記ＲＯＩを指定する前記情報に基づいて前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを生成するＲＯＩマッパーモジュールと、前記ＲＯＩマッパーモジュールに適用するために前記ＲＯＩを指定する前記情報を処理するＲＯＩコントローラと、をさらに具備する請求項１８に記載のデバイス。
【請求項２６】
前記映像符号器は、前記ニアエンド映像の非ＲＯＩエリアに対してよりも高い品質の符号化又はエラー保護技術を前記ニアエンド映像内の前記ＲＯＩに対して適用する請求項１８に記載のデバイス。
【請求項２７】
前記ＲＯＩに基づいて前記ニアエンド映像が符号化される前に前記遠隔デバイスと関連する遠隔ユーザーを認証する認証モジュールをさらに具備し、前記認証モジュールは、前記遠隔ユーザーが前記ＲＯＩに基づいて前記ニアエンド映像の符号化を制御する権限を付与されているかどうかを決定する請求項１８に記載のデバイス。
【請求項２８】
前記認証モジュールは、前記遠隔ユーザーが前記ＲＯＩに基づいて前記ニアエンド映像の符号化を制御する権限の付与を前記デバイスと関連するローカルユーザーに求める請求項２７に記載のデバイス。
【請求項２９】
遠隔デバイスから受信された前記情報は、前記ニアエンド映像内において複数のＲＯＩを指定する複数の遠隔デバイスからの情報を含み、前記システムは、前記各々のＲＯＩに基づいて前記ニアエンド映像の符号化を制御するために前記遠隔デバイスと関連する遠隔ユーザーのうちの１人を選択するために前記遠隔ユーザーを認証する認証モジュールをさらに具備する請求項１８に記載のデバイス。
【請求項３０】
前記ニアエンド映像と関連する動き情報をモニタリングし、前記動き情報に基づいて前記ＲＯＩを調整する追跡モジュールをさらに具備し、前記符号器は、前記調整されたＲＯＩに基づいて前記ニアエンド映像を符号化する請求項１８に記載のデバイス。
【請求項３１】
前記ＲＯＩを指定する前記情報に基づいて前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを生成するＲＯＩマッパーモジュールをさらに具備し、前記追跡モジュールによる前記ＲＯＩの調整は、前記動き情報に基づいてＭＢが前記ＲＯＩに含められているか又は前記ＲＯＩから除外されているとしてＭＢの状態を修正することを含む請求項３０に記載のデバイス。
【請求項３２】
ＲＯＩを指定する前記情報は、テキスト又は口頭による情報を含み、前記システムは、前記テキスト又は口頭による情報に基づいて前記ＲＯＩを定義する抽出モジュールをさらに具備する請求項１８に記載のデバイス。
【請求項３３】
ＲＯＩを指定する前記情報は、テキスト又は口頭による情報を含み、前記システムは、前記映像通信デバイス及び前記遠隔映像通信デバイスから遠隔に配置されて前記テキスト又は口頭による情報に基づいて前記ＲＯＩを定義する中間抽出サーバーをさらに具備する請求項１８に記載のデバイス。
【請求項３４】
ローカルデバイスによって符号化されて遠隔デバイスによって受信されたニアエンド映像内において関心領域（ＲＯＩ）を指定する情報を前記遠隔デバイスから受信すること、及び前記ニアエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させることをプロセッサに行わせる命令を具備するコンピュータ読み取り可能媒体。
【請求項３５】
前記命令は、前記符号化されたニアエンド映像を前記遠隔デバイスに送信すること、及び前記遠隔デバイスによって符号化されたファーエンド映像を前記ローカルデバイスにおいて受信することを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項３６】
前記命令は、前記ＲＯＩを指定する前記情報を前記遠隔デバイスから受信された符号化されたファーエンド映像とともに受信することを前記プロセッサに行わせ、前記ＲＯＩを指定する前記情報は、前記符号化されたファーエンド映像内に埋め込まれる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項３７】
前記命令は、前記ＲＯＩを指定する前記情報をアウトオブバンドシグナリングによって前記遠隔デバイスから受信することを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項３８】
前記命令は、前記遠隔デバイスから受信された符号化されたファーエンド映像内においてＲＯＩを指定する情報を生成すること、及び前記ＲＯＩ情報を前記符号化されたニアエンド映像とともに前記遠隔デバイスに送信することを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体
【請求項３９】
前記命令は、前記遠隔デバイスから受信された前記符号化されたファーエンド映像を復号して前記ファーエンド映像の非ＲＯＩエリアに対する前記ファーエンド映像内の前記ＲＯＩの画質を向上させることを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項４０】
前記命令は、前記符号化されたファーエンド映像の非ＲＯＩエリアに対してよりも高い品質の後処理又はエラー隠蔽技術を前記ファーエンド映像内の前記ＲＯＩに対して適用することによって前記ファーエンド映像を復号することを前記プロセッサに行わせる請求項３９に記載のコンピュータ読み取り可能媒体。
【請求項４１】
前記ＲＯＩを指定する前記情報は、前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを含む請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項４２】
前記命令は、前記ニアエンド映像の非ＲＯＩエリアに対してよりも高い品質の符号化又はエラー隠蔽技術を前記ニアエンド映像内の前記ＲＯＩに対して適用することによって前記ニアエンド映像を符号化することを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項４３】
前記命令は、前記ＲＯＩに基づいて前記ニアエンド映像を符号化する前に前記遠隔ユーザーが前記ＲＯＩに基づいて前記ニアエンド映像の符号化を制御する権限を付与されているかどうかを決定することを前記プロセッサに行わせ、前記命令は、前記遠隔ユーザーが前記ＲＯＩに基づいて前記ニアエンド映像の符号化を制御する権限の付与を前記ローカルデバイスと関連するローカルユーザーに求めることを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項４４】
前記情報は、前記ニアエンド映像内において複数のＲＯＩを指定する複数の遠隔デバイスから受信され、前記命令は、前記各々のＲＯＩに基づいて前記ニアエンド映像の符号化を制御するために前記遠隔デバイスと関連する遠隔ユーザーのうちの１人を選択するために前記遠隔ユーザーを認証することを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項４５】
前記命令は、前記符号化されたニアエンド映像と関連する動き情報をモニタリングすること、前記動き情報に基づいて前記ＲＯＩを調整すること、及び前記調整されたＲＯＩに基づいて前記ニアエンド映像を符号化することを前記プロセッサに行わせる請求項３４に記載のコンピュータ読み取り可能媒体。
【請求項４６】
前記ＲＯＩを指定する前記情報は、前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを含み、前記命令は、前記動き情報に基づいてＭＢが前記ＲＯＩ内に含められているか又は前記ＲＯＩから除外されているとしてＭＢの状態を修正することを含む前記ＲＯＩの調整を前記プロセッサに行わせる、請求項４５に記載のコンピュータ読み取り可能媒体。
【請求項４７】
遠隔デバイスによって送信されてローカルデバイスによって受信されるファーエンド映像内において関心領域（ＲＯＩ）を指定する情報を生成することと、
前記ＲＯＩに基づいて前記ファーエンド映像を符号化して前記映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる際に用いるために前記情報を前記遠隔デバイスに送信すること、とを具備する、方法。
【請求項４８】
前記ＲＯＩを指定する前記情報は、前記ローカルデバイスによって符号化されて前記遠隔デバイスに送信されるニアエンド映像内に埋め込まれる請求項４７に記載の方法。
【請求項４９】
前記ＲＯＩを指定する前記情報は、アウトオブバンドシグナリングによって前記遠隔デバイスから受信される請求項４７に記載の方法。
【請求項５０】
前記ＲＯＩを指定する前記情報は、前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを含む請求項４７に記載の方法。
【請求項５１】
遠隔デバイスから受信されたファーエンド映像内において関心領域（ＲＯＩ）を指定する情報を生成する関心領域（ＲＯＩ）エンジンと、
前記ＲＯＩに基づいて前記ファーエンド映像を符号化して前記ファーエンド映像の非ＲＯＩエリアに対する前記ＲＯＩの画質を向上させる際に前記遠隔デバイスによって用いるためにニアエンド映像を符号化して前記ＲＯＩを指定する情報を前記符号化されたニアエンド映像とともに送信する映像符号器と、を具備する、映像符号化デバイス。
【請求項５２】
前記ＲＯＩを指定する前記情報は、前記遠隔デバイスに送信される前記ニアエンド映像内に埋め込まれる請求項５１に記載のデバイス。
【請求項５３】
前記ＲＯＩを指定する前記情報は、アウトオブバンドシグナリングによって前記遠隔デバイスに送信される請求項５１に記載のデバイス。
【請求項５４】
前記ＲＯＩを指定する前記情報は、前記ＲＯＩ内にあるマクロブロック（ＭＢ）を識別するマクロブロック（ＭＢ）マップを含む請求項５１に記載のデバイス。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公表番号】特表２００８−５３３８３８（Ｐ２００８−５３３８３８Ａ）
【公表日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願番号】特願２００８−５００９２９（Ｐ２００８−５００９２９）
【出願日】平成１８年３月８日（２００６．３．８）
【国際出願番号】ＰＣＴ／ＵＳ２００６／００８４５８
【国際公開番号】ＷＯ２００６／１１５５９１
【国際公開日】平成１８年１１月２日（２００６．１１．２）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
【公表日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願日】平成１８年３月８日（２００６．３．８）
【国際出願番号】ＰＣＴ／ＵＳ２００６／００８４５８
【国際公開番号】ＷＯ２００６／１１５５９１
【国際公開日】平成１８年１１月２日（２００６．１１．２）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
[ Back to top ]