遷移効果のためのマルチメディアコード化技術
【課題】遷移効果、すなわち、マルチメディアシーケンスの現在のシーンから遷移するために使用される視覚ビデオ効果を、エンコードおよびデコードするための技術を提供する。
【解決手段】エンコーディングデバイスは、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出し、そして、エンコードされたマルチメディアシーケンスに関係付けられた遷移効果を識別するために、エンコードされたマルチメディアシーケンスの一部として、情報をデコーダに送出する。情報は、遷移効果をシミュレートまたは再生成することができるように、デコーダによって使用されるメタデータを含んでいてもよい。次に、デコーダは、情報に応答して、遷移効果をシミュレートする。
【解決手段】エンコーディングデバイスは、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出し、そして、エンコードされたマルチメディアシーケンスに関係付けられた遷移効果を識別するために、エンコードされたマルチメディアシーケンスの一部として、情報をデコーダに送出する。情報は、遷移効果をシミュレートまたは再生成することができるように、デコーダによって使用されるメタデータを含んでいてもよい。次に、デコーダは、情報に応答して、遷移効果をシミュレートする。
【発明の詳細な説明】
【関連出願】
【0001】
米国法第35部第119条に基づく優先権の主張
本出願は、2005年9月27日に出願された仮出願第60/721,417号に対する優先権を主張し、これは、本出願譲受人に譲渡され、ここで参照により明示的に組み込まれている。
【技術分野】
【0002】
本開示はデジタルマルチメディアエンコーディングおよびデコーディングに関連し、さらに詳細には、マルチメディアシーケンスに関係付けられた遷移効果をエンコードおよびデコードするための技術に関連する。
【背景技術】
【0003】
多くの異なるビデオエンコーディング標準規格が、デジタルマルチメディアシーケンスをコード化するために確立されてきた。例えば、Moving Picture Experts Group(MPEG)は、MPEG−1、MPEG−2、およびMPEG−4を含む多くの標準規格を開発してきた。他の例は、国際電気通信連合(ITU)のH.263標準規格、および新興のITU H.264標準規格を含み、ITU H.264標準規格は、MPEG−4のパート10においても“アドバンストオーディオコード化”と題されて、公表されている。これらのビデオコード化標準規格は、一般的に、圧縮された方法でデータをコード化することにより、マルチメディアシーケンスの改善された送信効率をサポートする。圧縮は、マルチメディアフレームの効率的な送信のために、送信される必要のある全体のデータ量を減少させる。ビデオコード化は、ワイヤードおよびワイヤレス送信媒体の両方を通しての、ビデオストリーミング、ビデオキャムコーダ、ビデオテレフォニー(VT)、およびビデオ放送適用を含む、数多くの状況で使用されている。
【0004】
MPEG−4、ITU H.263、およびITU H.264標準規格は、特に、時間的またはインターフレーム相関として呼ばれる、連続的マルチメディアフレームの間の類似性を利用するビデオコード化技術をサポートして、インターフレーム圧縮を提供する。インターフレーム圧縮技術は、マルチメディアフレームのピクセルベースの表現を、動き表現に変換することによって、フレームにわたるデータ冗長性を活用する。インターフレーム技術を使用してコード化されたフレームは、P(“予測”)フレームまたはB(“双方向”)フレームとして呼ばれることが多い。I(“イントラ”)フレームとして一般的に呼ばれるいくつかのフレームは、空間圧縮を使用してコード化され、これは、非予測フレームである。さらに、いくつかのフレームは、イントラコード化されたブロックと、インターコード化されたブロックとの両方の組み合わせを含んでいてもよい。
【0005】
ビデオコード化において、特に、インターフレーム圧縮が使用されるときに、遷移効果は課題を提示することがある。遷移効果は、マルチメディアシーケンスの現在のシーンから遷移するために使用される視覚ビデオ効果を指す。遷移効果は、フェード効果、ディゾルブ効果、スライド効果、ブレーク効果、フリップ効果、および、現在のシーンから遷移していくのに使用される、他の広範囲のタイプの視覚効果を含む。第1のシーンを第2のシーンへとフェードまたはディゾルブさせることによるなどして、第1のシーンから第2のシーンに変化させるのに遷移効果を使用することが多い。しかしながら、そのマルチメディアシーケンスの終了を表すために、シーケンスの最後のシーンを空シーンにフェードまたはディゾルブさせることによるなどして、遷移効果を他の状況で使用してもよい。
【発明の概要】
【0006】
本開示は、遷移効果をエンコードおよびデコードするための技術に向けられている。技術は、コード化マルチメディアシーケンスにおけるデータ圧縮を改善し、および/または、遷移効果の視覚品質を改善する。開示する技術にしたがうと、エンコーディングデバイスは、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出し、そして、遷移効果を識別するために、エンコードされたマルチメディアシーケンスの一部として情報をデコーダに送出する。
【0007】
デコーダは、マルチメディアシーケンスに関係付けられた遷移効果を識別する情報を受け取る。遷移効果を識別する情報は、遷移効果をシミュレートまたは再生成することができるように、デコーダによって使用されるメタデータを含んでいてもよい。エンコードされたマルチメディアシーケンスは、次に、遷移効果をシミュレートするための情報に応答してデコードされる。また、異なる遷移効果のシミュレーションを容易にするために送られてもよい特定の情報の多くの例を説明する。いくつかのケースでは、遷移効果を識別する情報は、何らかのタイプの遷移効果のシミュレーションを単にトリガしてもよく、遷移効果はオリジナルビデオシーケンスにおけるものと必ずしも同一である必要はない。他のケースでは、遷移効果を識別する情報が、デコーダに対する特定のタイプの効果を識別してもよい。
【0008】
いくつかの実施形態において、本開示の技術は、デコーダにおける、エンコーダ支援された遷移効果シミュレーションを可能にするために、フレームレート上位変換(FRUC)として呼ばれることが多い技術と同様の補間技術を実現してもよい。このケースでは、コード化マルチメディアシーケンスにおけるデータ圧縮を改善させるために、および/または、遷移効果の視覚品質を改善させるために、遷移効果のフレームに対する、従来の予測ベースの、または空間ベースのコード化の代わりに、FRUCのような技術を遷移効果に対して使用してもよい。
【0009】
いくつかの実施形態では、本開示は、エンコードされたマルチメディアシーケンスの一部として情報を受け取ることと、エンコードされたマルチメディアシーケンスをデコードすることとを含む方法を提供し、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別し、エンコードされたマルチメディアシーケンスをデコードすることは、情報に応答して遷移効果をシミュレートすることを含む。
【0010】
いくつかの実施形態では、本開示は、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出することと、エンコードされたマルチメディアシーケンスの一部として、遷移効果を識別するための情報を発生させることとを含む方法を提供する。
【0011】
いくつかの実施形態では、本開示は、エンコードされたマルチメディアシーケンスの一部として情報を受け取るように構成された受信機と、情報に応答して遷移効果をシミュレートするデコーダとを具備する装置を提供し、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別する。
【0012】
いくつかの実施形態では、本開示は、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出する検出器と、エンコードされたビデオシーケンスの一部として、遷移効果を識別するための情報を発生させるエンコーダとを具備する装置を提供する。
【0013】
いくつかの実施形態では、本開示は、エンコードされたマルチメディアシーケンスの一部として情報を受け取り、エンコードされたマルチメディアシーケンスをデコードするように構成されたプロセッサを提供し、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別し、エンコードされたマルチメディアシーケンスをデコードすることは、情報に応答して遷移効果をシミュレートすることを含む。
【0014】
いくつかの実施形態では、本開示は、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出し、そしてエンコードされたマルチメディアシーケンスに関係付けられた遷移効果を識別するために、エンコードされたマルチメディアシーケンスの一部として情報をデコーダに対して発生させるように構成されたプロセッサを提供する。
【0015】
いくつかの実施形態では、本開示は、エンコードされたマルチメディアシーケンスの一部として情報を受け取る手段と、遷移効果を識別する情報に応答して、マルチメディアシーケンスにおいて遷移効果をシミュレートするデコーディング手段とを具備する装置を提供し、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別する。
【0016】
いくつかの実施形態では、本開示は、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出する遷移効果検出手段と、マルチメディアシーケンスに関係付けられた遷移効果を識別するための情報を発生させるエンコーディング手段とを具備する装置を提供する。
【0017】
ここで説明する技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにおいて実現されてもよい。ソフトウェアにおいて実現された場合、ソフトウェアは、デジタルシグナルプロセッサ(DSP)または他のタイプのプロセッサにおいて実行されてもよい。技術を実行するソフトウェアは、最初に、コンピュータ読取可能媒体のような機械読取可能媒体中に記憶されてもよく、プロセッサまたは他の機械中にロードされ、実行されて、ここで説明する遷移効果のビデオエンコードまたはデコードを可能にしてもよい。
【0018】
したがって、本開示はまた、実行時に、機械に、エンコードされたマルチメディアシーケンスの一部として情報を受け取らせ、エンコードされたマルチメディアシーケンスをデコードさせる命令を含む機械読取可能媒体を企図しており、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別し、エンコードされたマルチメディアシーケンスをデコードすることは、情報に応答して遷移効果をシミュレートすることを含む。
【0019】
また、本開示は、実行時に、機械に、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出させ、遷移効果を識別するために、エンコードされたマルチメディアシーケンスの一部として情報を発生させる命令を含む機械読取可能媒体を企図している。
【0020】
添付の図面および以下の詳細な説明において、1つ以上の実施形態の詳細を述べる。詳細な説明、添付の図面、および添付の特許請求の範囲から、他の特徴、目的、および利点が明らかになるだろう。
【図面の簡単な説明】
【0021】
【図1】図1は、本開示にしたがった、遷移効果エンコーディングおよびデコーディング技術を実現してもよい、ビデオエンコーディングおよびデコーディングシステムを図示するブロック図である。
【図2】図2は、本開示にしたがった、遷移効果エンコーディング技術を図示するフロー図である。
【図3】図3は、本開示にしたがった、遷移効果デコーディング技術を図示するフロー図である。
【図4】図4は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図5】図5は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図6】図6は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図7】図7は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図8】図8は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図9】図9は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図10】図10は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図11】図11は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図12】図12は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図13】図13は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図14】図14は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図15】図15は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図16】図16は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図17】図17は、本開示にしたがって、遷移効果エンコーディングおよびデコーディング技術を実現してもよい、例示的なビデオエンコーディングおよびデコーディングシステムを図示する別のブロック図である。
【詳細な説明】
【0022】
本開示は、遷移効果をエンコードおよびデコードするための技術に向けられている。遷移効果は、マルチメディアシーケンスの現在のシーンから遷移するために使用される視覚ビデオ効果を指す。遷移効果の例は、いくつかのものを挙げると、フェード効果、ワイプ効果、ディゾルブ効果、スライド効果、ブレーク効果、およびフリップ効果を含む。第1のシーンを第2のシーンへとフェードまたはディゾルブさせることによるなどして、第1のシーンから第2のシーンに変化させるのに遷移効果を使用することが多い。しかしながら、そのマルチメディアシーケンスの終了を表すために、シーケンスの最後のシーンを空シーンにフェードまたはディゾルブさせることによるなどして、遷移効果を他の状況で使用してもよい。
【0023】
開示する技術にしたがうと、エンコーディングデバイスは、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出する。この遷移効果の検出は、従来のショット境界検出アルゴリズム、または、マルチメディアシーケンスにおける遷移効果を検出するための、他の任意の信頼可能な方法に基づいていてもよい。代わりに、エンコーディングデバイスは、ソースビットストリーム中の、遷移効果の存在を示す信号または命令を検出してもよい。エンコーディングデバイスは、次に、従来型でない方法で、遷移効果をエンコードするための情報を発生させる。
【0024】
デコーダは、フレームレート上位変換(FRUC)のために、2つのコード化フレームの間に1つ以上のフレームを補間するために従来使用された技術と同様の技術のような補間技術を使用して、遷移効果をシミュレートしてもよい。エンコーディングデバイスは、エンコードされたマルチメディアシーケンスの一部として、エンコードされたマルチメディアシーケンスにおける遷移効果を識別するための遷移効果情報を送出する。いくつかの実施形態では、遷移効果情報は、遷移効果を発生させるためにデコーダによって使用することができるメタデータを含んでいてもよい。このケースでは、遷移効果情報は、オリジナルビデオソースビットストリームにおける遷移効果に近似する遷移効果を発生させる際にデコーダを支援してもよい。代わりに、遷移効果情報は、遷移効果の存在を単に合図してもよい。このケースでは、デコーダは、遷移効果情報に応答して、独立して遷移効果を発生させてもよいが、これは、オリジナルビデオシーケンスにおけるオリジナル遷移効果と必ずしも同一でなくてもよい。
【0025】
図1は、本開示にしたがった、遷移効果エンコーディングおよびデコーディング技術を実現してもよい、ビデオエンコーディングおよびデコーディングシステム10を図示するブロック図である。示したように、システム10は、ビデオエンコーダデバイス12およびビデオデコーダデバイス14を含む。通信チャネル15を通して、ビデオエンコーダデバイス12からビデオデコーダデバイス14に対して、エンコードされたマルチメディアシーケンスを送出してもよい。この目的で、ビデオエンコーダデバイス12およびビデオデコーダデバイス14は、このような通信を容易にするために、送信機23および受信機27をそれぞれ含み、通信は、ワイヤードまたはワイヤレス通信であってもよい。
【0026】
ビデオエンコーダデバイス12は、例えば、ワイヤレス加入者デバイスに対して1つ以上のビデオチャネルを放送するのに使用される放送ネットワーク構成部品の一部を形成していてもよい。このケースでは、ビデオエンコーダデバイス12は、いくつかのビデオデコーダ(すなわち、放送サービスの多くの加入者)に対して、エンコードされたデータを送出してもよい。しかしながら、簡潔さのために、図1には単一のビデオデコーダデバイス14を図示している。ビデオエンコーダデバイス12およびビデオデコーダデバイス14は、1つ以上のプロセッサ、デジタルシグナルプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラム可能ゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、または、これらの任意の組み合わせとして実現されてもよい。図示したデバイス12およびデバイス14の構成部品は、1つ以上のエンコーダまたはデコーダに含まれてもよく、これらはともに、エンコーダ/デコーダ(CODEC)の一部として統合されていてもよい。しかしながら、送信機23および受信機27は、エンコーダ、デコーダ、またはCODECとは異なる構成部品上に形成されていてもよい。
【0027】
上記のように、ビデオエンコーダデバイス12は、例えば、1つ以上のビデオデータチャネルを放送するのに使用される放送ネットワーク構成部品の一部を形成していてもよい。このような構成部品の例は、ワイヤレス基地局、またはエンコード化ビデオデータを放送するのに使用される任意のインフラストラクチャノードを含む。他方、ビデオデコーダデバイス14は、エンコードされたビデオを受信するユーザデバイスを含んでもよい。例として、ビデオデコーダデバイス14は、デジタルテレビジョン、ワイヤレス通信デバイス、ポータブルデジタルアシスタント(PDA)、ラップトップコンピュータもしくはデスクトップコンピュータ、“iPod(登録商標)”として販売されているもののようなデジタル音楽およびビデオデバイス、または、セルラ、衛星、もしくは地上波ベースの無線電話機のような無線電話機の一部として実現されてもよい。システム10において図示した構成部品は、ここで説明する技術の実現に最も適用可能なものであるが、エンコーダデバイス12およびデコーダデバイス14は、望ましい場合、他の多くの構成部品を含んでもよい。さらに、本開示の技術は、システム10のようなシステムにおける使用や、放送システムにおける使用に必ずしも限定されるわけではない。エンコードおよび/またはデコードすべきマルチメディアシーケンスにおいて遷移効果が使用されている、任意のビデオコード化環境において、技術の適用を見つけてもよい。
【0028】
図1に示したように、ビデオエンコーダデバイス12は、例えば、メモリロケーションからマルチメディアシーケンス5を受け取る。簡潔さのために図1には図示していないが、メモリは、エンコーダデバイス12の一部であってもよく、または、ビデオエンコーダデバイス12にマルチメディアシーケンスを提供する外部メモリであってもよい。マルチメディアシーケンス5は、コード化され、放送として送出されることになる、ライブリアルタイムの、ビデオ、またはビデオおよびオーディオのシーケンスを含んでもよく、あるいは、コード化され、放送として、またはオンデマンドで送出されることになる、予め記録され、記憶されたビデオ、またはビデオおよびオーディオシーケンスを含んでもよい。
【0029】
いずれのケースでも、ビデオエンコーダデバイス12は、マルチメディアシーケンス5のエンコーディングを容易にし、そして、マルチメディアシーケンス5内で遷移効果が生じるときに、このようなエンコーディングを改善するために、本開示の技術を実現する。ビデオエンコーダデバイス12は、シーケンス5に関係付けられた遷移効果の検出を実行する、遷移効果検出器20を含む。例えば、遷移効果検出器20は、マルチメディアシーケンス5をサンプリングして、フェード効果、ワイプ効果、ディゾルブ効果、スライド効果、ブレーク効果、フリップ効果、または、現在のシーンから遷移するのに使用される、他の広範囲のタイプの視覚効果を生成する1組のフレームのような、遷移効果の1つ以上の目印を探してもよい。一例として、遷移効果検出器20は、1つ以上のいわゆるショット境界検出アルゴリズム、または、マルチメディアシーケンスに関係付けられた遷移効果を検出するための、他の任意の信頼可能な方法を実現してもよい。このようにして、遷移効果検出器20は、マルチメディアシーケンス5内の遷移効果の存在を識別する。
【0030】
遷移効果は、ビデオコード化における課題を提示することがある。特に、遷移効果は、高度に効率的な予測ベースのビデオコード化を可能にする、相関的シーンの動きを示さないのが通常である。さらに、遷移効果は、シーン変化において使用されることが多く、シーン変化においては、視聴者の知覚は、高レベルの信号雑音に対してそれほど敏感ではない。予測ベースの技術を使用して、標準的な方法で遷移効果をエンコードするのに従来のエンコーダを使用するとき、圧縮のレベルは非常に制限されており、ビデオ品質は劣悪であるおそれがある。さらに、一般的に、視聴者の知覚は、遷移効果では、マルチメディアシーケンスの完全な動き部分における程、高レベルの信号雑音に対して敏感ではないという限りにおける品質的見地からすると、このような遷移効果の非効率的な標準式コード化は、不必要であるかもしれない。言い換えると、一般的に、シーンが変化するとき、ユーザは何の主観的品質低下をも認識することなく、より高い雑音レベルを許容することができる。
【0031】
これらの、および他の理由のため、本開示の技術は、マルチメディアシーケンスの、他の非遷移部分に対するものとは異なるコード化方法を遷移効果に対して提供する。特に、ビデオエンコーダデバイス12は、標準エンコーディングモジュール16と、遷移効果エンコーディングモジュール18との両方を含み、これらは、1つのエンコーダまたは複数のエンコーダ中に形成されてもよい。標準エンコーディングモジュール16は、マルチメディアシーケンス5のフレームをコード化するために、動き推定および動き補償のような、標準予測ベースのエンコーディング技術を適用する。標準エンコーディングモジュール16はまた、いくつかのフレームに対しては、空間推定およびイントラ予測のような非動きコード化技術を適用する。標準予測ベースの技術にしたがうと、標準エンコーディングモジュール16はまた、エントロピーエンコーディング、スキャニング、量子化、変換、および、おそらくはデブロックフィルタリングのための、さまざまなユニットを含んでもよい。通常(非遷移)フレームに関して、これらのユニットを適用して、このようなフレームの標準予測ベースのエンコーディングを容易にしてもよい。しかしながら、遷移効果であるとして識別される任意のフレームに対しては、遷移効果エンコーディングモジュール18が、異なった、非標準のエンコーディング技術を実行する。
【0032】
特に、遷移効果を含むフレームに対して、遷移効果エンコーダ18は、遷移効果をシミュレートするために、ビデオデコーダデバイス14によって使用できる情報を発生させる。デコーダデバイス14は、この情報を使用して、効果のフレームを個別にデコードするというよりはむしろ、効果のフレームを再構成することによって、遷移効果をシミュレートする。この情報は、FRUC技術に対するものと同様な方法で、デコーダデバイス14によって使用することができるメタデータを含んでいてもよい。例えば、遷移効果を含む特定のフレームに対して、メタデータが効果のタイプを識別して、ビデオデコーダデバイス14において、そのタイプの効果をシミュレートできるようにしてもよい。より単純なケースでは、メタデータは、効果のタイプに関係なく、遷移効果の存在を単に識別してもよく、このケースでは、ビデオデコーダデバイス14は、オリジナルの効果とは必ずしも同一でなくてもよい遷移効果をシミュレートしてもよい。しかしながら、より複雑なケースでは、メタデータは、効果の期間、遷移効果のフレームに関係付けられたおそらくは1つ以上の幾何的マップ、または、ビデオデコーダデバイス14における効果のシミュレーションを支援するための他のデータを識別するための情報を含んでもよい。しかしながら、ほとんどのケースでは、遷移効果をシミュレートするのに使用される幾何的マップは、デコーダ側に記憶され、またはデコーダ側で発生させることができ、効果のタイプの表示と、効果に関係付けられた期間とに基づいて、適用することができる。開示する技術にしたがうと、遷移効果に対するフル予測フレームをエンコードし、送り、そしてデコードする必要を回避でき、エンコーダおよびデコーダにおける処理オーバーヘッドの無駄をなくし、ワイヤレス通信チャネル上の帯域幅の無駄をなくすことができる。
【0033】
ビデオデコーダデバイス14は、標準デコーディングモジュール22と、遷移効果デコーディングモジュール24との両方を含み、これらは、1つのデコーダまたは複数のデコーダ中に形成されていてもよい。標準デコーディングモジュール22は、標準予測ベースの動き技術または非予測ベースの空間技術によってエンコードされた何らかのフレームを取り扱う。この目的で、標準デコーディングモジュール22は、動き補償器と、空間補償器とを含んでもよい。標準デコーディングモジュール22はまた、エントロピーデコーディング、逆スキャニング、逆量子化、逆変換、および、おそらくはデブロックフィルタリングのための、ユニットを含んでもよい。簡潔さのために、図1にはこれらの標準構成部品を図示していない。エンコードされたビデオシーケンスは、ワイヤレスチャネルであってもよい通信チャネル15を通して、エンコーディングデバイス12の送信機23から、デコーディングデバイス14の受信機27に送信される。
【0034】
遷移効果デコーディングモジュール24は、ビデオエンコーダデバイス12から送られた情報に基づいて、遷移効果のデコーディングを取り扱う。遷移効果をデコードするために送られた情報は、標準技術を使用してこのような効果をコード化するためにそうでなければ必要とされるものよりも、はるかに少ないかもしれない。本質的に、ビデオエンコーダデバイス12は、遷移効果を識別する情報と、おそらくは、効果についての他の情報とを発生させ、効果についての他の情報は、遷移効果に関係付けられた期間、遷移効果のタイプ、遷移効果に関係付けられた開始および終了シーンのようなものである。この情報は、受信機27を通してデコーディングデバイス14により受け取られ、遷移効果デコーディングモジュール24は、この情報に応答して、ビデオデコーダデバイス14において効果をシミュレートする。例えば、開始および終了シーン、効果のタイプの表示、ならびに、効果の期間が与えられたとすると、標準技術を使用してこのような効果をコード化するためにそうでなければ必要とされる、より大量のコード化情報を必要とすることなく、遷移効果デコーディングモジュール24によって、この効果のシミュレーションを再生成することができる。
【0035】
図2は、本開示にしたがった、エンコーディング技術を図示するフロー図である。図2に示したように、ビデオエンコーダデバイス12は、コード化すべきマルチメディアシーケンス5を受け取る(ステップ31)。遷移効果検出器20は、ショット境界検出アルゴリズム、または、マルチメディアシーケンスに関係付けられた遷移効果を検出するための、他の任意の信頼可能な方法を実現することによるなどして、マルチメディアシーケンス5の何らかの所定の部分が遷移効果を含むか否かを検出する(ステップ32)。遷移効果検出器20が、何の遷移効果も識別しない場合(ステップ32のいいえの分岐)、標準エンコーディングモジュール16がマルチメディアシーケンス5全体のエンコーディングのために呼び出される。このケースでは、標準エンコーディングモジュール16は、マルチメディアシーケンス5上に、標準予測ベースの動きエンコーディングまたは非予測ベースの空間エンコーディングを実行する。
【0036】
しかしながら、遷移効果検出器20がマルチメディアシーケンス5に関係付けられた遷移効果を識別する場合、マルチメディアシーケンス5の遷移効果部分のために、遷移効果エンコーディングモジュール18が呼び出される。このケースでは、遷移効果エンコーディングモジュール18は、遷移効果のための遷移効果情報を発生させ(ステップ34)、これは、遷移効果をシミュレートするためにビデオデコーダデバイス14によって使用することができる。このような情報は、補間の際に有用な情報や、遷移効果の存在、位置、およびタイミングの表示や、または、おそらくは、デコーダにおいて遷移効果を発生させる必要があることを示す単なるフラグであってもよい。いずれのケースでも、標準エンコーディングモジュール16は、マルチメディアシーケンス5の非遷移の部分に、標準予測ベースの動きエンコーディング、および標準非予測ベースの空間エンコーディングを依然として実行する(ステップ35)。
【0037】
図3は、本開示にしたがった、デコーディング技術を図示するフロー図である。図3に示したように、ビデオデコーダデバイス14の受信機27は、例えば、エンコーディングデバイス12の送信機23から、通信チャネル15を通して、エンコードされたマルチメディアシーケンスを受け取る(ステップ51)。受け取られたマルチメディアシーケンスが、遷移効果の存在を識別する遷移効果情報を含んでいない場合、マルチメディアシーケンス全体のデコーディングのために、標準デコーディングモジュール22が呼び出される。このケースでは、標準デコーディングモジュール22は、標準予測ベースの動きデコーディング、および非予測ベースの空間デコーディングを実行する。
【0038】
しかしながら、受け取られたマルチメディアシーケンスが、遷移効果の存在を識別する遷移効果情報を含む場合、受け取られたマルチメディアシーケンスの遷移効果部分のために、遷移効果デコーディングモジュール24が呼び出される。このケースでは、遷移効果デコーディングモジュール24は、遷移効果情報に応答して、遷移効果をシミュレートする(ステップ53)。繰り返すと、遷移効果デコーディングモジュール24によるこのシミュレーションは、FRUC技術を、またはエンコーダ支援されたFRUC技術をサポートするのに使用される補間技術に類似していてもよく、FRUC技術では、望ましい効果をシミュレートするようにフレームが生成される。受け取られたマルチメディアシーケンスの非遷移の部分に対して、標準デコーディングモジュール22は、標準予測ベースの、または非予測ベースのデコーディングを依然として実行する(ステップ55)。
【0039】
図4−16は、本開示の技術にしたがってコード化されてもよい、それぞれの遷移効果内のフレームの1つずつを図示する概念図である。図4−16に図示した異なる例示的なシナリオを使用して、異なるタイプの遷移効果情報またはメタデータを説明する。異なるタイプの遷移効果情報またはメタデータは、遷移効果をコード化するのに使用でき、そして、デコーダにおけるそれぞれの効果の良好なシミュレーションを可能にする。繰り返すと、いくつかの単純なケースでは、メタデータは、効果のタイプに関係なく、遷移効果の存在を単に識別してもよく、このケースでは、ビデオデコーダデバイス14は、オリジナルの効果と必ずしも同一でなくてもよい遷移効果をシミュレートしてもよい。しかしながら、より複雑なケースでは、メタデータは、効果のタイプ、効果の期間、効果の開始および終了フレームを識別するための情報を含んでいてもよく、ならびに、おそらくはビデオデコーダデバイス14における効果のシミュレーションを支援するための、他のデータを含んでもよい。これらのケースでは、遷移効果のシミュレーションを支援するために、デコーダによってこの情報を使用してもよい。
【0040】
図4は、このケースではクロスフェードである、フェード効果の1つのフレーム62を図示する概念図である。このケースでは、期間Pにわたって、シーンAがシーンBへとフェードしている。フェード効果は、このケースでは、シーンBが空シーンからフェードインする“フェードイン”と、このケースでは、シーンAが空シーンへとフェードアウトする“フェードアウト”とを含んでいてもよい。図4は、“クロスフェード”を図示し、ここではシーンAがシーンBへとフェードしている。技術的に、フェードイン、フェードアウト、およびクロスフェードのケースを取り扱う際の違いはないだろう。フェードインおよびフェードアウトは、クロスフェードと同一であるとしてみなされてもよいが、シーンAまたはBは、フェードイン、または、フェードアウトに対する空白シーンであるとして単にみなされる。
【0041】
いずれのケースでも、図4のフレーム62において図示したクロスフェードのようなフェード効果に対して、ゼロの動きベクトルとともに、重み付け双方向動き補償を使用することができる。このケースでは、遷移効果をコード化するために、デコーディングデバイス14によって使用される情報は、フェード効果として効果を識別してもよく、効果のための期間を規定してもよい。シーンAの1つのコピーと、シーンBの1つのコピーとがまた、遷移効果情報に含まれてもよい。しかしながら、シーンAとBとの間を拡張する、間にあるフレームに対する少なくともいくつかの情報は、省略してもよい。
【0042】
ビデオエンコーダデバイス12から受け取った比較的制限された情報が与えられると、ビデオデコーダデバイス14は、フェード効果をシミュレートすることができる。特に、遷移効果デコーディングモジュール24は、シーンAのコピー、シーンBのコピー、および、シーンAからシーンBへのフェード遷移に関係付けられた期間に基づいて、1組の遷移フレームを再構成することができる。このケースでは、遷移効果デコーディングモジュール24は、ゼロ値の動きベクトルを使用して、マルチメディアフレームの重み付け双方向再構成を実行することができる。シーンAおよびシーンBに対する重み付けは、1組の遷移フレームを生成するための期間にわたって、互いに変化させることができ、デコーディングプロセスの間に、遷移効果デコーディングモジュール24によりアクセスされる1つ以上のルックアップテーブル(LUT)に記憶させてもよい。フェード効果の期間は、多数のインデックスを規定してもよく、この多数のインデックスをLUTに適用して、効果の連続的フレームのそれぞれに対して使用される重み付けを選択することができる。しかしながら、重要なことは、この再構成を容易にするために、送られる必要のある情報は、フェード効果のタイプの表示、シーンAおよびシーンBのコピー、ならびに、期間である。遷移効果デコーディングモジュール24により単独で、その期間にわたってのフレームの再構成を実行することができる。この方法で、ビデオコード化スキームにおいて遷移効果を伝えるのに必要とされる情報を、かなり減少させることができる。
【0043】
図5は、このケースではディゾルブ効果である、フェード効果の1つのフレーム64を図示する概念図である。ディゾルブ効果において、期間Pにわたって、シーンAがシーンBへとディゾルブしている。ディゾルブ効果はまた、このケースでは、シーンBが空シーンからディゾルブインする“ディゾルブイン”と、このケースでは、シーンAが空シーンへとディゾルブアウトする“ディゾルブアウト”とを含んでもよい。図5は、“クロスディゾルブ”を図示し、このケースでは、シーンAがシーンBへとディゾルブしている。ディゾルブイン、およびディゾルブアウトは、クロスディゾルブと同一であるとしてみなされてもよいが、シーンAまたはBは、ディゾルブイン、または、ディゾルブアウトに対する空白シーンであるとして単にみなされる。
【0044】
いずれのケースでも、図5のフレーム64において図示したようなディゾルブ効果に対して、2つのオプションが可能である。1つのケースでは、ゼロの動きベクトルとともに、双方向動きを規定するために、遷移効果デコーディングモジュール24において、幾何的マップを予め規定してもよい。マップは、遷移効果の連続的フレームのそれぞれに対して、どのピクセルがシーンAから取られ、どのピクセルがシーンBから取られるのかを規定する。ディゾルブにおいて使用されるマップの数は、遷移効果に関係付けられた期間により規定されてもよい。遷移効果に対して予め規定されたマップを、1つ以上のルックアップテーブル(LUT)に記憶させてもよく、このLUTは、遷移効果デコーディングモジュール24からアクセス可能である。効果の期間は、インデックスを規定してもよく、インデックスをLUTに適用して、効果の連続的フレームのそれぞれに対して使用する予め規定されたマップを選択することができる。
【0045】
しかしながら、別のケースにおいて、幾何的マップは、ビデオデコーダデバイス14においてランダム方式で発生させてもよい。他のディゾルブの例と同様に、このケースでは、遷移効果情報が、シーンAおよびB、ディゾルブ効果、ならびに、期間を識別してもよい。遷移効果デコーディングモジュール24は、次に、ランダム数発生に基づいて、1組のディゾルブマップを発生させることができる。このケースはディゾルブ効果になるが、ディゾルブする特定のピクセルは、ビデオデコーダデバイス14においてランダムに選択されてもよい。したがって、任意の後続するディゾルブ効果は、ランダム方式で互いに異なるだろう。
【0046】
図6−8は、それぞれ、ボックス効果、スライド効果、およびカーブ効果を図示する概念図である。図6のフレーム65において示したボックス効果では、シーンB68は、拡張しているボックス中でシーンA66から現れる。図7のフレーム75において示したスライド効果では、シーンB78は、スライド方式でシーンA76から現れる。図8のフレーム85において示したカーブ効果では、シーンB88は、シーンにわたって拡張する1組のカーブ領域中でシーンA86から現れる。図4および5の効果と同様に、図6−8の効果もまた、シーンAに対する、またはシーンBに対する空白シーンとともに使用できる。いずれのケースでも、この効果をコード化するのに使用される情報は、遷移効果のタイプをボックス効果として識別してもよく、そして、期間を規定してもよい。シーンAおよびシーンBのコピーを使用して、シミュレーションを生成してもよい。
【0047】
特に、遷移効果デコーディングモジュール24は、それぞれのタイプの遷移効果に対して、予め規定されたマップにしたがって、図6−8の遷移効果をシミュレートすることができる。シーンA、シーンB、遷移効果のタイプ、および効果に関係付けられた期間があるとすると、遷移効果デコーディングモジュール24は、1つ以上のLUT中に記憶されていてもよい1組の予め規定されたマップを選択してもよい。選択されたマップは、遷移効果をシミュレートするために、遷移シーケンスにわたって、連続的フレームのそれぞれの幾何を規定することができる。言い換えると、遷移効果デコーディングモジュール24は、どのピクセル(または、ピクセルのブロック)がシーンAから取られ、どのピクセル(または、ピクセルのブロック)がシーンBから取られるのかを規定するマップを、各フレームに対して使用して、連続的フレームのそれぞれの双方向性再構成を実行することができる。各ピクセル(または、ピクセルのブロック)に対する動きベクトルは、それぞれのピクセルまたはブロックに対してゼロであるだろう。LUTは、それぞれのタイプの遷移効果に対して予め規定されていてもよく、期間が短い場合、例えば、LUTにおける1つ以上のマップをスキップするなど、変換の期間に基づいて、LUTからの選択を行うことができる。
【0048】
さらに他の例では、本開示で説明する効果のうちのいずれかに対する幾何的マップを、エンコーディングデバイス12において発生させることができ、そして、デコーディングデバイス14に対して送ることができる。言い換えると、それぞれの効果に対して幾何的マップを発生させることにより、または、エンコーディングデバイス12において発生されて、遷移効果情報の一部としてデコーディングデバイス14に送られたマップを適用することにより、デコーディングデバイス14において、効果をシミュレートすることができる。エンコーディングデバイス12による幾何的マップの発生は、デコーディングデバイス14の複雑さを減少させることができ、一般的に、特に放送のシナリオでは、デコーディングデバイス14は、エンコーディングデバイス12よりも、算術的複雑さに対する能力が少ない。他方、デコーディングデバイス14による幾何的マップの発生は、このことが、遷移効果の効率的コード化のために転送する必要がある情報量を減少させるという限りにおいて、別の利点を達成する。このケースでは、デコーダにおける効果のシミュレーションが、遷移効果を効率的にコード化するためにエンコーディングデバイス12とデコーディングデバイス14との間で転送される情報を減少させることができ、これは、特に情報がワイヤレスで転送されるときに非常に有用である。
【0049】
図9は、ドアオープン効果を図示する、別の概念図である。図9のフレーム95において、シーンB98はドアが開くにつれて、シーンA96を除去しつつ現れる。他の効果と同様に、図9のドアオープン効果もまた、シーンAに対する、またはシーンBに対する空白シーンとともに使用できる。いずれのケースでも、この効果をコード化するのに使用される情報は、遷移効果のタイプをドアオープン効果として識別してもよく、そして、期間を規定してもよい。シーンAおよびシーンBのコピーを使用して、シミュレーションを生成してもよい。
【0050】
このケースでは、遷移シーケンスのフレームが、順方向予測部分と逆方向予測部分とにセグメント化される。順方向予測部分は、逆方向予測部分とは異なってデコードされる。1組の幾何的マップは、遷移の期間にわたって、シーンの順方向予測された部分と、シーンの逆方向予測された部分とのそれぞれを規定することができる。現れつつあるシーンBに関係付けられた動きベクトルはゼロである一方、シーンAの開きつつあるドアに関係付けられた動きベクトルは、この効果を生成するために平滑化され、スケーリングされてもよい。したがって、フルシーンAが開きつつあるドアに含まれるように、シーンA96に対する開きつつあるドアは平滑化され、スケーリングされながらも、ドアオープン効果を生成するように調整される。他の例と同様に、スケーリングおよび平滑化係数と、効果に関係付けられた何らかの幾何的マップとを、例えば、遷移効果デコーディングモジュール24中の1つ以上のLUTとして、ビデオデコーダ12中に予め記憶させることができる。
【0051】
その結果として、シーンAに関係付けられた動きベクトルの平滑化およびスケーリングを、ビデオデコーダデバイス14における、遷移効果デコーディングモジュール24によって実行することができ、これによって、エンコードされたデータ中の複雑な動き情報を送る必要がなくなる。エンコーディングデバイス12の遷移効果エンコーディングモジュール18は、単に、ドアオープン効果および期間を識別し、シーンAおよびシーンBのコピーを送る。次に、デコーディングデバイス14の遷移効果デコーディングモジュール24は、ゼロの動きベクトルによるシーンB98に対する現れつつある領域の差動デコーディングと、動きベクトルの平滑化およびスケーリングを使用するシーンA96の開きつつあるドアの差動デコーディングとを使用して、この効果をシミュレートできる。さらなる効率化のために、シーンAおよびBを、空間的に圧縮してもよい。
【0052】
図10−12は、本開示の技術にしたがって、シミュレートされてもよい、異なるブレーク効果を図示する。図10のフレーム105では、シーンA106がシーンB108へとシャッターする。図11のフレーム115では、シーンA116がバー状にブレークして空シーン119を露出させ、シーンB118が変則的な方法で現われて、最終的にシーンBを再構成する。図12のフレーム125では、シーンA126が断片へとブレークして空シーン129を露出させ、次にシーンB128が断片として現われて一緒になってシーンBを形成する。
【0053】
図10−12の例はまた、遷移効果のタイプ、期間、ならびに、開始シーンA、および終了シーンBの内容を識別する、遷移効果情報に基づいて、デコーダデバイス14によってシミュレートされてもよい。このケースでは、フレームは、順方向予測部分と逆方向予測部分とにセグメント化され、それぞれのブレーク遷移効果を遂行するために、順方向部分と逆方向部分との両方において、スケーリングおよび回転が実行される。
【0054】
図13は、例示的なフリップ効果のフレーム135を示す。このケースでは、シーンA136は回転するにつれてそのサイズを減少させ、最終的にシーンBへとフリップし(示していない)、シーンBは、フルシーンを達成する、遷移の連続的フレームを通して拡大する。この例において、背景139は空であるとして示した。図10−12の例と同様に、図13の効果をシミュレートするために、フレームは、順方向予測部分と逆方向予測部分とにセグメント化される。しかしながら、このケースでは、それぞれのブレーク遷移効果を遂行するために、順方向部分と逆方向部分との両方において、スケーリングおよび回転が実行される。効果のタイプ、期間、ならびに、開始シーンA、および終了シーンBの内容を識別する、遷移効果情報に基づいて、デコーダデバイス14によって効果をシミュレートすることができる。効果のスケーリング、回転、および幾何を、例えば、1つ以上のLUT中に予め記憶し、そして、効果に対して識別された期間に基づいて、効果の連続的シーン毎に対して選択することができる。
【0055】
図14は、フレーム145映画フィルム効果を図示し、ここでシーンA146は、シーンBがムーブインするにつれてムーブアウトする。動きは平行移動である。このケースでは、動きベクトルは画一的な方法で規定され、境界線の両側は、異なる予測方向を使用する。他の遷移効果と同様に、遷移効果のタイプ、期間、ならびに、シーンAおよびシーンBの内容を規定する情報に基づいて、ビデオデコーダデバイス14によって、この効果をシミュレートすることができる。したがって、シーケンスの遷移部分のフレーム毎に対する、標準予測ベースのエンコーディングおよびデコーディングを回避することができ、遷移効果デコーダモジュール24は、そうでなければ必要とされることになるよりも、より少ない情報に基づいてこの効果をシミュレートすることができる。
【0056】
図15は、2つの遷移効果の組合せを含むフレーム155を図示する。このケースでは、効果は、図8に示したカーブ効果と、図4に示したクロスフェード効果との組み合わせである。図15の効果がこれらの2つの異なる効果の組み合わせであると仮定すると、遷移効果デコーダモジュール24は、カーブ効果とクロスフェード効果とに対して使用される技術を組み合わせることにより、この効果をシミュレートすることができる。このケースでは、遷移効果デコーダモジュール24により、ゼロ値の動きベクトルを使用して、遷移効果に関係付けられたマルチメディアフレームの重み付け双方向再構成を実行することができ、予測重み付けが、カーブ効果の予め規定されたマップにしたがって規定される。
【0057】
図16のフレーム165に図示したリップル効果のような、いくつかの複雑な効果は、簡単な効果の組合せとして識別するにはあまりにも複雑すぎるかもしれない。このケースでは、物理的ワープ、クロスフェード、および他のランダムな動きが導入されて、デコーダデバイス14において効果をシミュレートする。ランダムおよび/または非線形歪みを使用して、このような複雑な遷移効果をシミュレートしてもよい。これらの複雑なケースでは、ブロック毎のあらゆる詳細を送出する代わりに、クロスディゾルブにおいて新しいシーンに更新されているブロックの比、および、白色雑音中の高輝度ピクセルの比のような、統計的数が送られてもよい。このような情報が与えられると、複雑なリップルのような効果がシミュレートされてもよい。
【0058】
しかしながら、いくつかのケースでは、特にコンテンツを変更できる場合、リップル効果のような複雑な効果を、クロスフェードのような、より簡潔な遷移効果に置き換えることが望ましいだろう。このケースでは、エンコーダデバイス12は遷移の存在を単に識別してもよく、デコーダデバイス14がオリジナルシーケンスにおけるものと必ずしも同一でない遷移効果をシミュレートしてもよい。このケースでは、視聴者は遷移を依然として見るだろうが、複雑な遷移効果を伝えるために必要とされる、コストのかかるエンコーディングおよびデコーディングを回避することにより、複雑さをかなり減少させることができる。
【0059】
デコーダにおいて遷移効果シミュレーションのために重み付け動き補償を実行するときに、遷移効果の期間中、フレームにわたって、重み付けを平滑化してもよい。所定の効果に対する動きベクトル上で平滑化が実行されるとき、このような平滑化は、必ずしも直に隣接した隣り合うものに限定されないが、全体のセグメントの、または、平滑化される部分の平滑化を含んでいてもよい。平滑化はまた、平行移動の動きに限定されておらず、例えば、スケーリングおよび回転を含んでいてもよい。すべての平滑化、重み付け、フィルタリングおよびこれらに類することは、デコーダにおいて所定の遷移効果に対して予め規定されていてもよい。
【0060】
図17は、本開示にしたがった、遷移効果エンコーディングおよびデコーディング技術を実現してもよい、例示的なビデオエンコーディングおよびデコーディングシステムを図示する別のブロック図である。示したように、システム170は、エンコーディング手段172と、デコーディング手段174とを含む。エンコーディング手段172はエンコーダを備えていてもよく、デコーディング手段はデコーダを備えていてもよい。エンコーディング手段172は、例えば、メモリロケーションから、マルチメディアシーケンス171を受け取る。簡潔さのために、図17には示していないが、メモリは、エンコーディング手段172の一部であってもよく、または、エンコーディング手段172にマルチメディアシーケンスを提供する外部メモリであってもよい。
【0061】
エンコーディング手段172は、マルチメディアシーケンス171のエンコーディングを容易にし、そして、マルチメディアシーケンス171の一部において遷移効果が見つかったとき、このようなエンコーディングを改善させるために本開示の技術を実現する。エンコーディング手段172は、遷移効果検出手段177を含み、これはマルチメディアシーケンス171に関係付けられた遷移効果の検出を実行する。検出手段177は、検出器を含んでもよい。システム170において、マルチメディアシーケンス171の、他の非遷移部分に対するものとは異なるコード化方法を遷移効果に対して使用する。
【0062】
エンコーディング手段172は、標準エンコーディング手段176と、遷移効果エンコーディング手段178との両方を含み、これらは、第1および第2エンコーディング手段として呼ばれてもよい。標準エンコーディング手段176と、遷移効果エンコーディング手段178は、別々のエンコーダを構成してもよく、または、共通エンコーダ中で実現されていてもよい。標準エンコーディング手段176は、マルチメディアシーケンス171のフレームをコード化するために、動き推定および動き補償のような標準予測ベースのエンコーディング技術を適用する。標準エンコーディング手段176はまた、いくつかのフレームに対しては、空間推定およびイントラ予測のような非動きコード化技術も適用してもよい。他方、遷移効果エンコーディング手段178は、ここで説明したような非標準エンコーディングを実行する。特に、遷移効果エンコーディング手段178は、遷移効果のシミュレーションを容易にするためにデコーディング手段174によって使用されてもよい、メタデータをコード化する。エンコードされたビデオシーケンスは、送信手段183と受信手段185とによって、通信チャネル175を通して、エンコーディング手段172とデコーディング手段174との間で転送される。送信手段183は送信機を備えてもよく、受信手段185は受信機を備えてもよい。代わりに、送信手段183と受信手段185は、情報の送信および受信の両方が可能なトランシーバを含んでもよい。
【0063】
デコーディング手段174は、標準デコーディング手段182と、遷移効果デコーディング手段184とを含み、これらは、第1および第2デコーディング手段として呼ばれてもよい。標準デコーディング手段182と、遷移効果デコーディング手段184は、別々のデコーダを構成してもよく、または、共通デコーダ中で実現されてもよい。標準デコーディング手段182は、動き補償デコーディングや、任意のイントラコード化フレームのイントラデコーディングのような、標準デコーディング技術を実行する。しかしながら、遷移効果デコーディング手段184は、ここで説明したように、このような効果に対して送出されたメタデータに基づいて、任意の遷移効果を本質的にシミュレートする、非標準技術を実行する。
【0064】
異なる遷移効果のシミュレーションを容易にするために、送ることができる情報の多くの例を説明してきた。一般的に、本開示の技術は、デコーダにおける、エンコーダ支援された遷移効果シミュレーションを可能にするために、何らかのフレームレート上位変換(FRUC)技術に対して使用されたものと同様の補間技術を実現してもよい。このケースでは、コード化されたマルチメディアシーケンスにおけるデータ圧縮を改善するために、および/または、遷移効果の視覚品質を改善するために、遷移効果に対して、従来の予測ベースのコード化の代わりに、FRUCのような技術を使用してもよい。開始および終了シーン(および、おそらくはいくつかの中間シーン)がデコーダに送られ、デコーダは他のフレームを補間して、遷移効果を生成する。
【0065】
いずれのケースでも、ここで説明した技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにおいて実現されてもよい。ソフトウェアにおいて実現される場合、実行されるときに、上で説明した技術のうちの1つ以上を実行する命令を含むプログラムコードを備えるコンピュータ読取可能媒体(または他の機械読取可能媒体)によって、技術を部分的に具現化してもよい。このケースでは、コンピュータ読取可能媒体は、同期ダイナミックランダムアクセスメモリ(SDRAM)のようなランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気的消去可能プログラム可能リードオンリーメモリ(EEPROM)、FLASHメモリ、磁気もしくは光学データ記憶媒体、および、これらに類する物を含んでいてもよい。
【0066】
1つ以上のデジタルシグナルプロセッサ(DSP)、汎用マイクロプロセッサ、特定用途集積回路(ASIC)、フィールドプログラム可能論理回路(FPGA)、または他の均等な集積もしくはディスクリート論理回路のような1つ以上のプロセッサ、あるいは他の機械によって、命令を実行してもよい。命令を実行する機械は、一般的に装置を含んでもよい。いくつかの実施形態では、エンコーディングおよびデコーディングのために構成された、または、組み合わされたビデオエンコーダ−デコーダ(CODEC)に組み込まれた、専用ソフトウェアモジュールまたはハードウェアユニット内に、ここで説明した機能を提供してもよい。
【0067】
さまざまな実施形態を説明してきた。それにもかかわらず、特許請求の範囲を逸脱することなく、説明した技術に対するさまざまな変更を行ってもよい。例えば、アフィン動きを使用して、いくつかのタイプの変換効果にしたがったシミュレーションにおけるマップおよびピクセル値を規定してもよい。アフィン動きは、6つの自由度を可能にし、変換、圧縮または伸張をコード化できる。また、アクセラレーション動きも使用して、シミュレーションを規定してもよい。さらに、エンコーダまたはデコーダ中のルックアップテーブル(LUT)ではなく、数式を適用することにより、本開示の技術を採用してもよい。これらのおよび他の実施形態は、特許請求の範囲を逸脱しない。
【関連出願】
【0001】
米国法第35部第119条に基づく優先権の主張
本出願は、2005年9月27日に出願された仮出願第60/721,417号に対する優先権を主張し、これは、本出願譲受人に譲渡され、ここで参照により明示的に組み込まれている。
【技術分野】
【0002】
本開示はデジタルマルチメディアエンコーディングおよびデコーディングに関連し、さらに詳細には、マルチメディアシーケンスに関係付けられた遷移効果をエンコードおよびデコードするための技術に関連する。
【背景技術】
【0003】
多くの異なるビデオエンコーディング標準規格が、デジタルマルチメディアシーケンスをコード化するために確立されてきた。例えば、Moving Picture Experts Group(MPEG)は、MPEG−1、MPEG−2、およびMPEG−4を含む多くの標準規格を開発してきた。他の例は、国際電気通信連合(ITU)のH.263標準規格、および新興のITU H.264標準規格を含み、ITU H.264標準規格は、MPEG−4のパート10においても“アドバンストオーディオコード化”と題されて、公表されている。これらのビデオコード化標準規格は、一般的に、圧縮された方法でデータをコード化することにより、マルチメディアシーケンスの改善された送信効率をサポートする。圧縮は、マルチメディアフレームの効率的な送信のために、送信される必要のある全体のデータ量を減少させる。ビデオコード化は、ワイヤードおよびワイヤレス送信媒体の両方を通しての、ビデオストリーミング、ビデオキャムコーダ、ビデオテレフォニー(VT)、およびビデオ放送適用を含む、数多くの状況で使用されている。
【0004】
MPEG−4、ITU H.263、およびITU H.264標準規格は、特に、時間的またはインターフレーム相関として呼ばれる、連続的マルチメディアフレームの間の類似性を利用するビデオコード化技術をサポートして、インターフレーム圧縮を提供する。インターフレーム圧縮技術は、マルチメディアフレームのピクセルベースの表現を、動き表現に変換することによって、フレームにわたるデータ冗長性を活用する。インターフレーム技術を使用してコード化されたフレームは、P(“予測”)フレームまたはB(“双方向”)フレームとして呼ばれることが多い。I(“イントラ”)フレームとして一般的に呼ばれるいくつかのフレームは、空間圧縮を使用してコード化され、これは、非予測フレームである。さらに、いくつかのフレームは、イントラコード化されたブロックと、インターコード化されたブロックとの両方の組み合わせを含んでいてもよい。
【0005】
ビデオコード化において、特に、インターフレーム圧縮が使用されるときに、遷移効果は課題を提示することがある。遷移効果は、マルチメディアシーケンスの現在のシーンから遷移するために使用される視覚ビデオ効果を指す。遷移効果は、フェード効果、ディゾルブ効果、スライド効果、ブレーク効果、フリップ効果、および、現在のシーンから遷移していくのに使用される、他の広範囲のタイプの視覚効果を含む。第1のシーンを第2のシーンへとフェードまたはディゾルブさせることによるなどして、第1のシーンから第2のシーンに変化させるのに遷移効果を使用することが多い。しかしながら、そのマルチメディアシーケンスの終了を表すために、シーケンスの最後のシーンを空シーンにフェードまたはディゾルブさせることによるなどして、遷移効果を他の状況で使用してもよい。
【発明の概要】
【0006】
本開示は、遷移効果をエンコードおよびデコードするための技術に向けられている。技術は、コード化マルチメディアシーケンスにおけるデータ圧縮を改善し、および/または、遷移効果の視覚品質を改善する。開示する技術にしたがうと、エンコーディングデバイスは、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出し、そして、遷移効果を識別するために、エンコードされたマルチメディアシーケンスの一部として情報をデコーダに送出する。
【0007】
デコーダは、マルチメディアシーケンスに関係付けられた遷移効果を識別する情報を受け取る。遷移効果を識別する情報は、遷移効果をシミュレートまたは再生成することができるように、デコーダによって使用されるメタデータを含んでいてもよい。エンコードされたマルチメディアシーケンスは、次に、遷移効果をシミュレートするための情報に応答してデコードされる。また、異なる遷移効果のシミュレーションを容易にするために送られてもよい特定の情報の多くの例を説明する。いくつかのケースでは、遷移効果を識別する情報は、何らかのタイプの遷移効果のシミュレーションを単にトリガしてもよく、遷移効果はオリジナルビデオシーケンスにおけるものと必ずしも同一である必要はない。他のケースでは、遷移効果を識別する情報が、デコーダに対する特定のタイプの効果を識別してもよい。
【0008】
いくつかの実施形態において、本開示の技術は、デコーダにおける、エンコーダ支援された遷移効果シミュレーションを可能にするために、フレームレート上位変換(FRUC)として呼ばれることが多い技術と同様の補間技術を実現してもよい。このケースでは、コード化マルチメディアシーケンスにおけるデータ圧縮を改善させるために、および/または、遷移効果の視覚品質を改善させるために、遷移効果のフレームに対する、従来の予測ベースの、または空間ベースのコード化の代わりに、FRUCのような技術を遷移効果に対して使用してもよい。
【0009】
いくつかの実施形態では、本開示は、エンコードされたマルチメディアシーケンスの一部として情報を受け取ることと、エンコードされたマルチメディアシーケンスをデコードすることとを含む方法を提供し、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別し、エンコードされたマルチメディアシーケンスをデコードすることは、情報に応答して遷移効果をシミュレートすることを含む。
【0010】
いくつかの実施形態では、本開示は、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出することと、エンコードされたマルチメディアシーケンスの一部として、遷移効果を識別するための情報を発生させることとを含む方法を提供する。
【0011】
いくつかの実施形態では、本開示は、エンコードされたマルチメディアシーケンスの一部として情報を受け取るように構成された受信機と、情報に応答して遷移効果をシミュレートするデコーダとを具備する装置を提供し、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別する。
【0012】
いくつかの実施形態では、本開示は、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出する検出器と、エンコードされたビデオシーケンスの一部として、遷移効果を識別するための情報を発生させるエンコーダとを具備する装置を提供する。
【0013】
いくつかの実施形態では、本開示は、エンコードされたマルチメディアシーケンスの一部として情報を受け取り、エンコードされたマルチメディアシーケンスをデコードするように構成されたプロセッサを提供し、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別し、エンコードされたマルチメディアシーケンスをデコードすることは、情報に応答して遷移効果をシミュレートすることを含む。
【0014】
いくつかの実施形態では、本開示は、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出し、そしてエンコードされたマルチメディアシーケンスに関係付けられた遷移効果を識別するために、エンコードされたマルチメディアシーケンスの一部として情報をデコーダに対して発生させるように構成されたプロセッサを提供する。
【0015】
いくつかの実施形態では、本開示は、エンコードされたマルチメディアシーケンスの一部として情報を受け取る手段と、遷移効果を識別する情報に応答して、マルチメディアシーケンスにおいて遷移効果をシミュレートするデコーディング手段とを具備する装置を提供し、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別する。
【0016】
いくつかの実施形態では、本開示は、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出する遷移効果検出手段と、マルチメディアシーケンスに関係付けられた遷移効果を識別するための情報を発生させるエンコーディング手段とを具備する装置を提供する。
【0017】
ここで説明する技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにおいて実現されてもよい。ソフトウェアにおいて実現された場合、ソフトウェアは、デジタルシグナルプロセッサ(DSP)または他のタイプのプロセッサにおいて実行されてもよい。技術を実行するソフトウェアは、最初に、コンピュータ読取可能媒体のような機械読取可能媒体中に記憶されてもよく、プロセッサまたは他の機械中にロードされ、実行されて、ここで説明する遷移効果のビデオエンコードまたはデコードを可能にしてもよい。
【0018】
したがって、本開示はまた、実行時に、機械に、エンコードされたマルチメディアシーケンスの一部として情報を受け取らせ、エンコードされたマルチメディアシーケンスをデコードさせる命令を含む機械読取可能媒体を企図しており、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別し、エンコードされたマルチメディアシーケンスをデコードすることは、情報に応答して遷移効果をシミュレートすることを含む。
【0019】
また、本開示は、実行時に、機械に、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出させ、遷移効果を識別するために、エンコードされたマルチメディアシーケンスの一部として情報を発生させる命令を含む機械読取可能媒体を企図している。
【0020】
添付の図面および以下の詳細な説明において、1つ以上の実施形態の詳細を述べる。詳細な説明、添付の図面、および添付の特許請求の範囲から、他の特徴、目的、および利点が明らかになるだろう。
【図面の簡単な説明】
【0021】
【図1】図1は、本開示にしたがった、遷移効果エンコーディングおよびデコーディング技術を実現してもよい、ビデオエンコーディングおよびデコーディングシステムを図示するブロック図である。
【図2】図2は、本開示にしたがった、遷移効果エンコーディング技術を図示するフロー図である。
【図3】図3は、本開示にしたがった、遷移効果デコーディング技術を図示するフロー図である。
【図4】図4は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図5】図5は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図6】図6は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図7】図7は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図8】図8は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図9】図9は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図10】図10は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図11】図11は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図12】図12は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図13】図13は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図14】図14は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図15】図15は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図16】図16は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。
【図17】図17は、本開示にしたがって、遷移効果エンコーディングおよびデコーディング技術を実現してもよい、例示的なビデオエンコーディングおよびデコーディングシステムを図示する別のブロック図である。
【詳細な説明】
【0022】
本開示は、遷移効果をエンコードおよびデコードするための技術に向けられている。遷移効果は、マルチメディアシーケンスの現在のシーンから遷移するために使用される視覚ビデオ効果を指す。遷移効果の例は、いくつかのものを挙げると、フェード効果、ワイプ効果、ディゾルブ効果、スライド効果、ブレーク効果、およびフリップ効果を含む。第1のシーンを第2のシーンへとフェードまたはディゾルブさせることによるなどして、第1のシーンから第2のシーンに変化させるのに遷移効果を使用することが多い。しかしながら、そのマルチメディアシーケンスの終了を表すために、シーケンスの最後のシーンを空シーンにフェードまたはディゾルブさせることによるなどして、遷移効果を他の状況で使用してもよい。
【0023】
開示する技術にしたがうと、エンコーディングデバイスは、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出する。この遷移効果の検出は、従来のショット境界検出アルゴリズム、または、マルチメディアシーケンスにおける遷移効果を検出するための、他の任意の信頼可能な方法に基づいていてもよい。代わりに、エンコーディングデバイスは、ソースビットストリーム中の、遷移効果の存在を示す信号または命令を検出してもよい。エンコーディングデバイスは、次に、従来型でない方法で、遷移効果をエンコードするための情報を発生させる。
【0024】
デコーダは、フレームレート上位変換(FRUC)のために、2つのコード化フレームの間に1つ以上のフレームを補間するために従来使用された技術と同様の技術のような補間技術を使用して、遷移効果をシミュレートしてもよい。エンコーディングデバイスは、エンコードされたマルチメディアシーケンスの一部として、エンコードされたマルチメディアシーケンスにおける遷移効果を識別するための遷移効果情報を送出する。いくつかの実施形態では、遷移効果情報は、遷移効果を発生させるためにデコーダによって使用することができるメタデータを含んでいてもよい。このケースでは、遷移効果情報は、オリジナルビデオソースビットストリームにおける遷移効果に近似する遷移効果を発生させる際にデコーダを支援してもよい。代わりに、遷移効果情報は、遷移効果の存在を単に合図してもよい。このケースでは、デコーダは、遷移効果情報に応答して、独立して遷移効果を発生させてもよいが、これは、オリジナルビデオシーケンスにおけるオリジナル遷移効果と必ずしも同一でなくてもよい。
【0025】
図1は、本開示にしたがった、遷移効果エンコーディングおよびデコーディング技術を実現してもよい、ビデオエンコーディングおよびデコーディングシステム10を図示するブロック図である。示したように、システム10は、ビデオエンコーダデバイス12およびビデオデコーダデバイス14を含む。通信チャネル15を通して、ビデオエンコーダデバイス12からビデオデコーダデバイス14に対して、エンコードされたマルチメディアシーケンスを送出してもよい。この目的で、ビデオエンコーダデバイス12およびビデオデコーダデバイス14は、このような通信を容易にするために、送信機23および受信機27をそれぞれ含み、通信は、ワイヤードまたはワイヤレス通信であってもよい。
【0026】
ビデオエンコーダデバイス12は、例えば、ワイヤレス加入者デバイスに対して1つ以上のビデオチャネルを放送するのに使用される放送ネットワーク構成部品の一部を形成していてもよい。このケースでは、ビデオエンコーダデバイス12は、いくつかのビデオデコーダ(すなわち、放送サービスの多くの加入者)に対して、エンコードされたデータを送出してもよい。しかしながら、簡潔さのために、図1には単一のビデオデコーダデバイス14を図示している。ビデオエンコーダデバイス12およびビデオデコーダデバイス14は、1つ以上のプロセッサ、デジタルシグナルプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラム可能ゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、または、これらの任意の組み合わせとして実現されてもよい。図示したデバイス12およびデバイス14の構成部品は、1つ以上のエンコーダまたはデコーダに含まれてもよく、これらはともに、エンコーダ/デコーダ(CODEC)の一部として統合されていてもよい。しかしながら、送信機23および受信機27は、エンコーダ、デコーダ、またはCODECとは異なる構成部品上に形成されていてもよい。
【0027】
上記のように、ビデオエンコーダデバイス12は、例えば、1つ以上のビデオデータチャネルを放送するのに使用される放送ネットワーク構成部品の一部を形成していてもよい。このような構成部品の例は、ワイヤレス基地局、またはエンコード化ビデオデータを放送するのに使用される任意のインフラストラクチャノードを含む。他方、ビデオデコーダデバイス14は、エンコードされたビデオを受信するユーザデバイスを含んでもよい。例として、ビデオデコーダデバイス14は、デジタルテレビジョン、ワイヤレス通信デバイス、ポータブルデジタルアシスタント(PDA)、ラップトップコンピュータもしくはデスクトップコンピュータ、“iPod(登録商標)”として販売されているもののようなデジタル音楽およびビデオデバイス、または、セルラ、衛星、もしくは地上波ベースの無線電話機のような無線電話機の一部として実現されてもよい。システム10において図示した構成部品は、ここで説明する技術の実現に最も適用可能なものであるが、エンコーダデバイス12およびデコーダデバイス14は、望ましい場合、他の多くの構成部品を含んでもよい。さらに、本開示の技術は、システム10のようなシステムにおける使用や、放送システムにおける使用に必ずしも限定されるわけではない。エンコードおよび/またはデコードすべきマルチメディアシーケンスにおいて遷移効果が使用されている、任意のビデオコード化環境において、技術の適用を見つけてもよい。
【0028】
図1に示したように、ビデオエンコーダデバイス12は、例えば、メモリロケーションからマルチメディアシーケンス5を受け取る。簡潔さのために図1には図示していないが、メモリは、エンコーダデバイス12の一部であってもよく、または、ビデオエンコーダデバイス12にマルチメディアシーケンスを提供する外部メモリであってもよい。マルチメディアシーケンス5は、コード化され、放送として送出されることになる、ライブリアルタイムの、ビデオ、またはビデオおよびオーディオのシーケンスを含んでもよく、あるいは、コード化され、放送として、またはオンデマンドで送出されることになる、予め記録され、記憶されたビデオ、またはビデオおよびオーディオシーケンスを含んでもよい。
【0029】
いずれのケースでも、ビデオエンコーダデバイス12は、マルチメディアシーケンス5のエンコーディングを容易にし、そして、マルチメディアシーケンス5内で遷移効果が生じるときに、このようなエンコーディングを改善するために、本開示の技術を実現する。ビデオエンコーダデバイス12は、シーケンス5に関係付けられた遷移効果の検出を実行する、遷移効果検出器20を含む。例えば、遷移効果検出器20は、マルチメディアシーケンス5をサンプリングして、フェード効果、ワイプ効果、ディゾルブ効果、スライド効果、ブレーク効果、フリップ効果、または、現在のシーンから遷移するのに使用される、他の広範囲のタイプの視覚効果を生成する1組のフレームのような、遷移効果の1つ以上の目印を探してもよい。一例として、遷移効果検出器20は、1つ以上のいわゆるショット境界検出アルゴリズム、または、マルチメディアシーケンスに関係付けられた遷移効果を検出するための、他の任意の信頼可能な方法を実現してもよい。このようにして、遷移効果検出器20は、マルチメディアシーケンス5内の遷移効果の存在を識別する。
【0030】
遷移効果は、ビデオコード化における課題を提示することがある。特に、遷移効果は、高度に効率的な予測ベースのビデオコード化を可能にする、相関的シーンの動きを示さないのが通常である。さらに、遷移効果は、シーン変化において使用されることが多く、シーン変化においては、視聴者の知覚は、高レベルの信号雑音に対してそれほど敏感ではない。予測ベースの技術を使用して、標準的な方法で遷移効果をエンコードするのに従来のエンコーダを使用するとき、圧縮のレベルは非常に制限されており、ビデオ品質は劣悪であるおそれがある。さらに、一般的に、視聴者の知覚は、遷移効果では、マルチメディアシーケンスの完全な動き部分における程、高レベルの信号雑音に対して敏感ではないという限りにおける品質的見地からすると、このような遷移効果の非効率的な標準式コード化は、不必要であるかもしれない。言い換えると、一般的に、シーンが変化するとき、ユーザは何の主観的品質低下をも認識することなく、より高い雑音レベルを許容することができる。
【0031】
これらの、および他の理由のため、本開示の技術は、マルチメディアシーケンスの、他の非遷移部分に対するものとは異なるコード化方法を遷移効果に対して提供する。特に、ビデオエンコーダデバイス12は、標準エンコーディングモジュール16と、遷移効果エンコーディングモジュール18との両方を含み、これらは、1つのエンコーダまたは複数のエンコーダ中に形成されてもよい。標準エンコーディングモジュール16は、マルチメディアシーケンス5のフレームをコード化するために、動き推定および動き補償のような、標準予測ベースのエンコーディング技術を適用する。標準エンコーディングモジュール16はまた、いくつかのフレームに対しては、空間推定およびイントラ予測のような非動きコード化技術を適用する。標準予測ベースの技術にしたがうと、標準エンコーディングモジュール16はまた、エントロピーエンコーディング、スキャニング、量子化、変換、および、おそらくはデブロックフィルタリングのための、さまざまなユニットを含んでもよい。通常(非遷移)フレームに関して、これらのユニットを適用して、このようなフレームの標準予測ベースのエンコーディングを容易にしてもよい。しかしながら、遷移効果であるとして識別される任意のフレームに対しては、遷移効果エンコーディングモジュール18が、異なった、非標準のエンコーディング技術を実行する。
【0032】
特に、遷移効果を含むフレームに対して、遷移効果エンコーダ18は、遷移効果をシミュレートするために、ビデオデコーダデバイス14によって使用できる情報を発生させる。デコーダデバイス14は、この情報を使用して、効果のフレームを個別にデコードするというよりはむしろ、効果のフレームを再構成することによって、遷移効果をシミュレートする。この情報は、FRUC技術に対するものと同様な方法で、デコーダデバイス14によって使用することができるメタデータを含んでいてもよい。例えば、遷移効果を含む特定のフレームに対して、メタデータが効果のタイプを識別して、ビデオデコーダデバイス14において、そのタイプの効果をシミュレートできるようにしてもよい。より単純なケースでは、メタデータは、効果のタイプに関係なく、遷移効果の存在を単に識別してもよく、このケースでは、ビデオデコーダデバイス14は、オリジナルの効果とは必ずしも同一でなくてもよい遷移効果をシミュレートしてもよい。しかしながら、より複雑なケースでは、メタデータは、効果の期間、遷移効果のフレームに関係付けられたおそらくは1つ以上の幾何的マップ、または、ビデオデコーダデバイス14における効果のシミュレーションを支援するための他のデータを識別するための情報を含んでもよい。しかしながら、ほとんどのケースでは、遷移効果をシミュレートするのに使用される幾何的マップは、デコーダ側に記憶され、またはデコーダ側で発生させることができ、効果のタイプの表示と、効果に関係付けられた期間とに基づいて、適用することができる。開示する技術にしたがうと、遷移効果に対するフル予測フレームをエンコードし、送り、そしてデコードする必要を回避でき、エンコーダおよびデコーダにおける処理オーバーヘッドの無駄をなくし、ワイヤレス通信チャネル上の帯域幅の無駄をなくすことができる。
【0033】
ビデオデコーダデバイス14は、標準デコーディングモジュール22と、遷移効果デコーディングモジュール24との両方を含み、これらは、1つのデコーダまたは複数のデコーダ中に形成されていてもよい。標準デコーディングモジュール22は、標準予測ベースの動き技術または非予測ベースの空間技術によってエンコードされた何らかのフレームを取り扱う。この目的で、標準デコーディングモジュール22は、動き補償器と、空間補償器とを含んでもよい。標準デコーディングモジュール22はまた、エントロピーデコーディング、逆スキャニング、逆量子化、逆変換、および、おそらくはデブロックフィルタリングのための、ユニットを含んでもよい。簡潔さのために、図1にはこれらの標準構成部品を図示していない。エンコードされたビデオシーケンスは、ワイヤレスチャネルであってもよい通信チャネル15を通して、エンコーディングデバイス12の送信機23から、デコーディングデバイス14の受信機27に送信される。
【0034】
遷移効果デコーディングモジュール24は、ビデオエンコーダデバイス12から送られた情報に基づいて、遷移効果のデコーディングを取り扱う。遷移効果をデコードするために送られた情報は、標準技術を使用してこのような効果をコード化するためにそうでなければ必要とされるものよりも、はるかに少ないかもしれない。本質的に、ビデオエンコーダデバイス12は、遷移効果を識別する情報と、おそらくは、効果についての他の情報とを発生させ、効果についての他の情報は、遷移効果に関係付けられた期間、遷移効果のタイプ、遷移効果に関係付けられた開始および終了シーンのようなものである。この情報は、受信機27を通してデコーディングデバイス14により受け取られ、遷移効果デコーディングモジュール24は、この情報に応答して、ビデオデコーダデバイス14において効果をシミュレートする。例えば、開始および終了シーン、効果のタイプの表示、ならびに、効果の期間が与えられたとすると、標準技術を使用してこのような効果をコード化するためにそうでなければ必要とされる、より大量のコード化情報を必要とすることなく、遷移効果デコーディングモジュール24によって、この効果のシミュレーションを再生成することができる。
【0035】
図2は、本開示にしたがった、エンコーディング技術を図示するフロー図である。図2に示したように、ビデオエンコーダデバイス12は、コード化すべきマルチメディアシーケンス5を受け取る(ステップ31)。遷移効果検出器20は、ショット境界検出アルゴリズム、または、マルチメディアシーケンスに関係付けられた遷移効果を検出するための、他の任意の信頼可能な方法を実現することによるなどして、マルチメディアシーケンス5の何らかの所定の部分が遷移効果を含むか否かを検出する(ステップ32)。遷移効果検出器20が、何の遷移効果も識別しない場合(ステップ32のいいえの分岐)、標準エンコーディングモジュール16がマルチメディアシーケンス5全体のエンコーディングのために呼び出される。このケースでは、標準エンコーディングモジュール16は、マルチメディアシーケンス5上に、標準予測ベースの動きエンコーディングまたは非予測ベースの空間エンコーディングを実行する。
【0036】
しかしながら、遷移効果検出器20がマルチメディアシーケンス5に関係付けられた遷移効果を識別する場合、マルチメディアシーケンス5の遷移効果部分のために、遷移効果エンコーディングモジュール18が呼び出される。このケースでは、遷移効果エンコーディングモジュール18は、遷移効果のための遷移効果情報を発生させ(ステップ34)、これは、遷移効果をシミュレートするためにビデオデコーダデバイス14によって使用することができる。このような情報は、補間の際に有用な情報や、遷移効果の存在、位置、およびタイミングの表示や、または、おそらくは、デコーダにおいて遷移効果を発生させる必要があることを示す単なるフラグであってもよい。いずれのケースでも、標準エンコーディングモジュール16は、マルチメディアシーケンス5の非遷移の部分に、標準予測ベースの動きエンコーディング、および標準非予測ベースの空間エンコーディングを依然として実行する(ステップ35)。
【0037】
図3は、本開示にしたがった、デコーディング技術を図示するフロー図である。図3に示したように、ビデオデコーダデバイス14の受信機27は、例えば、エンコーディングデバイス12の送信機23から、通信チャネル15を通して、エンコードされたマルチメディアシーケンスを受け取る(ステップ51)。受け取られたマルチメディアシーケンスが、遷移効果の存在を識別する遷移効果情報を含んでいない場合、マルチメディアシーケンス全体のデコーディングのために、標準デコーディングモジュール22が呼び出される。このケースでは、標準デコーディングモジュール22は、標準予測ベースの動きデコーディング、および非予測ベースの空間デコーディングを実行する。
【0038】
しかしながら、受け取られたマルチメディアシーケンスが、遷移効果の存在を識別する遷移効果情報を含む場合、受け取られたマルチメディアシーケンスの遷移効果部分のために、遷移効果デコーディングモジュール24が呼び出される。このケースでは、遷移効果デコーディングモジュール24は、遷移効果情報に応答して、遷移効果をシミュレートする(ステップ53)。繰り返すと、遷移効果デコーディングモジュール24によるこのシミュレーションは、FRUC技術を、またはエンコーダ支援されたFRUC技術をサポートするのに使用される補間技術に類似していてもよく、FRUC技術では、望ましい効果をシミュレートするようにフレームが生成される。受け取られたマルチメディアシーケンスの非遷移の部分に対して、標準デコーディングモジュール22は、標準予測ベースの、または非予測ベースのデコーディングを依然として実行する(ステップ55)。
【0039】
図4−16は、本開示の技術にしたがってコード化されてもよい、それぞれの遷移効果内のフレームの1つずつを図示する概念図である。図4−16に図示した異なる例示的なシナリオを使用して、異なるタイプの遷移効果情報またはメタデータを説明する。異なるタイプの遷移効果情報またはメタデータは、遷移効果をコード化するのに使用でき、そして、デコーダにおけるそれぞれの効果の良好なシミュレーションを可能にする。繰り返すと、いくつかの単純なケースでは、メタデータは、効果のタイプに関係なく、遷移効果の存在を単に識別してもよく、このケースでは、ビデオデコーダデバイス14は、オリジナルの効果と必ずしも同一でなくてもよい遷移効果をシミュレートしてもよい。しかしながら、より複雑なケースでは、メタデータは、効果のタイプ、効果の期間、効果の開始および終了フレームを識別するための情報を含んでいてもよく、ならびに、おそらくはビデオデコーダデバイス14における効果のシミュレーションを支援するための、他のデータを含んでもよい。これらのケースでは、遷移効果のシミュレーションを支援するために、デコーダによってこの情報を使用してもよい。
【0040】
図4は、このケースではクロスフェードである、フェード効果の1つのフレーム62を図示する概念図である。このケースでは、期間Pにわたって、シーンAがシーンBへとフェードしている。フェード効果は、このケースでは、シーンBが空シーンからフェードインする“フェードイン”と、このケースでは、シーンAが空シーンへとフェードアウトする“フェードアウト”とを含んでいてもよい。図4は、“クロスフェード”を図示し、ここではシーンAがシーンBへとフェードしている。技術的に、フェードイン、フェードアウト、およびクロスフェードのケースを取り扱う際の違いはないだろう。フェードインおよびフェードアウトは、クロスフェードと同一であるとしてみなされてもよいが、シーンAまたはBは、フェードイン、または、フェードアウトに対する空白シーンであるとして単にみなされる。
【0041】
いずれのケースでも、図4のフレーム62において図示したクロスフェードのようなフェード効果に対して、ゼロの動きベクトルとともに、重み付け双方向動き補償を使用することができる。このケースでは、遷移効果をコード化するために、デコーディングデバイス14によって使用される情報は、フェード効果として効果を識別してもよく、効果のための期間を規定してもよい。シーンAの1つのコピーと、シーンBの1つのコピーとがまた、遷移効果情報に含まれてもよい。しかしながら、シーンAとBとの間を拡張する、間にあるフレームに対する少なくともいくつかの情報は、省略してもよい。
【0042】
ビデオエンコーダデバイス12から受け取った比較的制限された情報が与えられると、ビデオデコーダデバイス14は、フェード効果をシミュレートすることができる。特に、遷移効果デコーディングモジュール24は、シーンAのコピー、シーンBのコピー、および、シーンAからシーンBへのフェード遷移に関係付けられた期間に基づいて、1組の遷移フレームを再構成することができる。このケースでは、遷移効果デコーディングモジュール24は、ゼロ値の動きベクトルを使用して、マルチメディアフレームの重み付け双方向再構成を実行することができる。シーンAおよびシーンBに対する重み付けは、1組の遷移フレームを生成するための期間にわたって、互いに変化させることができ、デコーディングプロセスの間に、遷移効果デコーディングモジュール24によりアクセスされる1つ以上のルックアップテーブル(LUT)に記憶させてもよい。フェード効果の期間は、多数のインデックスを規定してもよく、この多数のインデックスをLUTに適用して、効果の連続的フレームのそれぞれに対して使用される重み付けを選択することができる。しかしながら、重要なことは、この再構成を容易にするために、送られる必要のある情報は、フェード効果のタイプの表示、シーンAおよびシーンBのコピー、ならびに、期間である。遷移効果デコーディングモジュール24により単独で、その期間にわたってのフレームの再構成を実行することができる。この方法で、ビデオコード化スキームにおいて遷移効果を伝えるのに必要とされる情報を、かなり減少させることができる。
【0043】
図5は、このケースではディゾルブ効果である、フェード効果の1つのフレーム64を図示する概念図である。ディゾルブ効果において、期間Pにわたって、シーンAがシーンBへとディゾルブしている。ディゾルブ効果はまた、このケースでは、シーンBが空シーンからディゾルブインする“ディゾルブイン”と、このケースでは、シーンAが空シーンへとディゾルブアウトする“ディゾルブアウト”とを含んでもよい。図5は、“クロスディゾルブ”を図示し、このケースでは、シーンAがシーンBへとディゾルブしている。ディゾルブイン、およびディゾルブアウトは、クロスディゾルブと同一であるとしてみなされてもよいが、シーンAまたはBは、ディゾルブイン、または、ディゾルブアウトに対する空白シーンであるとして単にみなされる。
【0044】
いずれのケースでも、図5のフレーム64において図示したようなディゾルブ効果に対して、2つのオプションが可能である。1つのケースでは、ゼロの動きベクトルとともに、双方向動きを規定するために、遷移効果デコーディングモジュール24において、幾何的マップを予め規定してもよい。マップは、遷移効果の連続的フレームのそれぞれに対して、どのピクセルがシーンAから取られ、どのピクセルがシーンBから取られるのかを規定する。ディゾルブにおいて使用されるマップの数は、遷移効果に関係付けられた期間により規定されてもよい。遷移効果に対して予め規定されたマップを、1つ以上のルックアップテーブル(LUT)に記憶させてもよく、このLUTは、遷移効果デコーディングモジュール24からアクセス可能である。効果の期間は、インデックスを規定してもよく、インデックスをLUTに適用して、効果の連続的フレームのそれぞれに対して使用する予め規定されたマップを選択することができる。
【0045】
しかしながら、別のケースにおいて、幾何的マップは、ビデオデコーダデバイス14においてランダム方式で発生させてもよい。他のディゾルブの例と同様に、このケースでは、遷移効果情報が、シーンAおよびB、ディゾルブ効果、ならびに、期間を識別してもよい。遷移効果デコーディングモジュール24は、次に、ランダム数発生に基づいて、1組のディゾルブマップを発生させることができる。このケースはディゾルブ効果になるが、ディゾルブする特定のピクセルは、ビデオデコーダデバイス14においてランダムに選択されてもよい。したがって、任意の後続するディゾルブ効果は、ランダム方式で互いに異なるだろう。
【0046】
図6−8は、それぞれ、ボックス効果、スライド効果、およびカーブ効果を図示する概念図である。図6のフレーム65において示したボックス効果では、シーンB68は、拡張しているボックス中でシーンA66から現れる。図7のフレーム75において示したスライド効果では、シーンB78は、スライド方式でシーンA76から現れる。図8のフレーム85において示したカーブ効果では、シーンB88は、シーンにわたって拡張する1組のカーブ領域中でシーンA86から現れる。図4および5の効果と同様に、図6−8の効果もまた、シーンAに対する、またはシーンBに対する空白シーンとともに使用できる。いずれのケースでも、この効果をコード化するのに使用される情報は、遷移効果のタイプをボックス効果として識別してもよく、そして、期間を規定してもよい。シーンAおよびシーンBのコピーを使用して、シミュレーションを生成してもよい。
【0047】
特に、遷移効果デコーディングモジュール24は、それぞれのタイプの遷移効果に対して、予め規定されたマップにしたがって、図6−8の遷移効果をシミュレートすることができる。シーンA、シーンB、遷移効果のタイプ、および効果に関係付けられた期間があるとすると、遷移効果デコーディングモジュール24は、1つ以上のLUT中に記憶されていてもよい1組の予め規定されたマップを選択してもよい。選択されたマップは、遷移効果をシミュレートするために、遷移シーケンスにわたって、連続的フレームのそれぞれの幾何を規定することができる。言い換えると、遷移効果デコーディングモジュール24は、どのピクセル(または、ピクセルのブロック)がシーンAから取られ、どのピクセル(または、ピクセルのブロック)がシーンBから取られるのかを規定するマップを、各フレームに対して使用して、連続的フレームのそれぞれの双方向性再構成を実行することができる。各ピクセル(または、ピクセルのブロック)に対する動きベクトルは、それぞれのピクセルまたはブロックに対してゼロであるだろう。LUTは、それぞれのタイプの遷移効果に対して予め規定されていてもよく、期間が短い場合、例えば、LUTにおける1つ以上のマップをスキップするなど、変換の期間に基づいて、LUTからの選択を行うことができる。
【0048】
さらに他の例では、本開示で説明する効果のうちのいずれかに対する幾何的マップを、エンコーディングデバイス12において発生させることができ、そして、デコーディングデバイス14に対して送ることができる。言い換えると、それぞれの効果に対して幾何的マップを発生させることにより、または、エンコーディングデバイス12において発生されて、遷移効果情報の一部としてデコーディングデバイス14に送られたマップを適用することにより、デコーディングデバイス14において、効果をシミュレートすることができる。エンコーディングデバイス12による幾何的マップの発生は、デコーディングデバイス14の複雑さを減少させることができ、一般的に、特に放送のシナリオでは、デコーディングデバイス14は、エンコーディングデバイス12よりも、算術的複雑さに対する能力が少ない。他方、デコーディングデバイス14による幾何的マップの発生は、このことが、遷移効果の効率的コード化のために転送する必要がある情報量を減少させるという限りにおいて、別の利点を達成する。このケースでは、デコーダにおける効果のシミュレーションが、遷移効果を効率的にコード化するためにエンコーディングデバイス12とデコーディングデバイス14との間で転送される情報を減少させることができ、これは、特に情報がワイヤレスで転送されるときに非常に有用である。
【0049】
図9は、ドアオープン効果を図示する、別の概念図である。図9のフレーム95において、シーンB98はドアが開くにつれて、シーンA96を除去しつつ現れる。他の効果と同様に、図9のドアオープン効果もまた、シーンAに対する、またはシーンBに対する空白シーンとともに使用できる。いずれのケースでも、この効果をコード化するのに使用される情報は、遷移効果のタイプをドアオープン効果として識別してもよく、そして、期間を規定してもよい。シーンAおよびシーンBのコピーを使用して、シミュレーションを生成してもよい。
【0050】
このケースでは、遷移シーケンスのフレームが、順方向予測部分と逆方向予測部分とにセグメント化される。順方向予測部分は、逆方向予測部分とは異なってデコードされる。1組の幾何的マップは、遷移の期間にわたって、シーンの順方向予測された部分と、シーンの逆方向予測された部分とのそれぞれを規定することができる。現れつつあるシーンBに関係付けられた動きベクトルはゼロである一方、シーンAの開きつつあるドアに関係付けられた動きベクトルは、この効果を生成するために平滑化され、スケーリングされてもよい。したがって、フルシーンAが開きつつあるドアに含まれるように、シーンA96に対する開きつつあるドアは平滑化され、スケーリングされながらも、ドアオープン効果を生成するように調整される。他の例と同様に、スケーリングおよび平滑化係数と、効果に関係付けられた何らかの幾何的マップとを、例えば、遷移効果デコーディングモジュール24中の1つ以上のLUTとして、ビデオデコーダ12中に予め記憶させることができる。
【0051】
その結果として、シーンAに関係付けられた動きベクトルの平滑化およびスケーリングを、ビデオデコーダデバイス14における、遷移効果デコーディングモジュール24によって実行することができ、これによって、エンコードされたデータ中の複雑な動き情報を送る必要がなくなる。エンコーディングデバイス12の遷移効果エンコーディングモジュール18は、単に、ドアオープン効果および期間を識別し、シーンAおよびシーンBのコピーを送る。次に、デコーディングデバイス14の遷移効果デコーディングモジュール24は、ゼロの動きベクトルによるシーンB98に対する現れつつある領域の差動デコーディングと、動きベクトルの平滑化およびスケーリングを使用するシーンA96の開きつつあるドアの差動デコーディングとを使用して、この効果をシミュレートできる。さらなる効率化のために、シーンAおよびBを、空間的に圧縮してもよい。
【0052】
図10−12は、本開示の技術にしたがって、シミュレートされてもよい、異なるブレーク効果を図示する。図10のフレーム105では、シーンA106がシーンB108へとシャッターする。図11のフレーム115では、シーンA116がバー状にブレークして空シーン119を露出させ、シーンB118が変則的な方法で現われて、最終的にシーンBを再構成する。図12のフレーム125では、シーンA126が断片へとブレークして空シーン129を露出させ、次にシーンB128が断片として現われて一緒になってシーンBを形成する。
【0053】
図10−12の例はまた、遷移効果のタイプ、期間、ならびに、開始シーンA、および終了シーンBの内容を識別する、遷移効果情報に基づいて、デコーダデバイス14によってシミュレートされてもよい。このケースでは、フレームは、順方向予測部分と逆方向予測部分とにセグメント化され、それぞれのブレーク遷移効果を遂行するために、順方向部分と逆方向部分との両方において、スケーリングおよび回転が実行される。
【0054】
図13は、例示的なフリップ効果のフレーム135を示す。このケースでは、シーンA136は回転するにつれてそのサイズを減少させ、最終的にシーンBへとフリップし(示していない)、シーンBは、フルシーンを達成する、遷移の連続的フレームを通して拡大する。この例において、背景139は空であるとして示した。図10−12の例と同様に、図13の効果をシミュレートするために、フレームは、順方向予測部分と逆方向予測部分とにセグメント化される。しかしながら、このケースでは、それぞれのブレーク遷移効果を遂行するために、順方向部分と逆方向部分との両方において、スケーリングおよび回転が実行される。効果のタイプ、期間、ならびに、開始シーンA、および終了シーンBの内容を識別する、遷移効果情報に基づいて、デコーダデバイス14によって効果をシミュレートすることができる。効果のスケーリング、回転、および幾何を、例えば、1つ以上のLUT中に予め記憶し、そして、効果に対して識別された期間に基づいて、効果の連続的シーン毎に対して選択することができる。
【0055】
図14は、フレーム145映画フィルム効果を図示し、ここでシーンA146は、シーンBがムーブインするにつれてムーブアウトする。動きは平行移動である。このケースでは、動きベクトルは画一的な方法で規定され、境界線の両側は、異なる予測方向を使用する。他の遷移効果と同様に、遷移効果のタイプ、期間、ならびに、シーンAおよびシーンBの内容を規定する情報に基づいて、ビデオデコーダデバイス14によって、この効果をシミュレートすることができる。したがって、シーケンスの遷移部分のフレーム毎に対する、標準予測ベースのエンコーディングおよびデコーディングを回避することができ、遷移効果デコーダモジュール24は、そうでなければ必要とされることになるよりも、より少ない情報に基づいてこの効果をシミュレートすることができる。
【0056】
図15は、2つの遷移効果の組合せを含むフレーム155を図示する。このケースでは、効果は、図8に示したカーブ効果と、図4に示したクロスフェード効果との組み合わせである。図15の効果がこれらの2つの異なる効果の組み合わせであると仮定すると、遷移効果デコーダモジュール24は、カーブ効果とクロスフェード効果とに対して使用される技術を組み合わせることにより、この効果をシミュレートすることができる。このケースでは、遷移効果デコーダモジュール24により、ゼロ値の動きベクトルを使用して、遷移効果に関係付けられたマルチメディアフレームの重み付け双方向再構成を実行することができ、予測重み付けが、カーブ効果の予め規定されたマップにしたがって規定される。
【0057】
図16のフレーム165に図示したリップル効果のような、いくつかの複雑な効果は、簡単な効果の組合せとして識別するにはあまりにも複雑すぎるかもしれない。このケースでは、物理的ワープ、クロスフェード、および他のランダムな動きが導入されて、デコーダデバイス14において効果をシミュレートする。ランダムおよび/または非線形歪みを使用して、このような複雑な遷移効果をシミュレートしてもよい。これらの複雑なケースでは、ブロック毎のあらゆる詳細を送出する代わりに、クロスディゾルブにおいて新しいシーンに更新されているブロックの比、および、白色雑音中の高輝度ピクセルの比のような、統計的数が送られてもよい。このような情報が与えられると、複雑なリップルのような効果がシミュレートされてもよい。
【0058】
しかしながら、いくつかのケースでは、特にコンテンツを変更できる場合、リップル効果のような複雑な効果を、クロスフェードのような、より簡潔な遷移効果に置き換えることが望ましいだろう。このケースでは、エンコーダデバイス12は遷移の存在を単に識別してもよく、デコーダデバイス14がオリジナルシーケンスにおけるものと必ずしも同一でない遷移効果をシミュレートしてもよい。このケースでは、視聴者は遷移を依然として見るだろうが、複雑な遷移効果を伝えるために必要とされる、コストのかかるエンコーディングおよびデコーディングを回避することにより、複雑さをかなり減少させることができる。
【0059】
デコーダにおいて遷移効果シミュレーションのために重み付け動き補償を実行するときに、遷移効果の期間中、フレームにわたって、重み付けを平滑化してもよい。所定の効果に対する動きベクトル上で平滑化が実行されるとき、このような平滑化は、必ずしも直に隣接した隣り合うものに限定されないが、全体のセグメントの、または、平滑化される部分の平滑化を含んでいてもよい。平滑化はまた、平行移動の動きに限定されておらず、例えば、スケーリングおよび回転を含んでいてもよい。すべての平滑化、重み付け、フィルタリングおよびこれらに類することは、デコーダにおいて所定の遷移効果に対して予め規定されていてもよい。
【0060】
図17は、本開示にしたがった、遷移効果エンコーディングおよびデコーディング技術を実現してもよい、例示的なビデオエンコーディングおよびデコーディングシステムを図示する別のブロック図である。示したように、システム170は、エンコーディング手段172と、デコーディング手段174とを含む。エンコーディング手段172はエンコーダを備えていてもよく、デコーディング手段はデコーダを備えていてもよい。エンコーディング手段172は、例えば、メモリロケーションから、マルチメディアシーケンス171を受け取る。簡潔さのために、図17には示していないが、メモリは、エンコーディング手段172の一部であってもよく、または、エンコーディング手段172にマルチメディアシーケンスを提供する外部メモリであってもよい。
【0061】
エンコーディング手段172は、マルチメディアシーケンス171のエンコーディングを容易にし、そして、マルチメディアシーケンス171の一部において遷移効果が見つかったとき、このようなエンコーディングを改善させるために本開示の技術を実現する。エンコーディング手段172は、遷移効果検出手段177を含み、これはマルチメディアシーケンス171に関係付けられた遷移効果の検出を実行する。検出手段177は、検出器を含んでもよい。システム170において、マルチメディアシーケンス171の、他の非遷移部分に対するものとは異なるコード化方法を遷移効果に対して使用する。
【0062】
エンコーディング手段172は、標準エンコーディング手段176と、遷移効果エンコーディング手段178との両方を含み、これらは、第1および第2エンコーディング手段として呼ばれてもよい。標準エンコーディング手段176と、遷移効果エンコーディング手段178は、別々のエンコーダを構成してもよく、または、共通エンコーダ中で実現されていてもよい。標準エンコーディング手段176は、マルチメディアシーケンス171のフレームをコード化するために、動き推定および動き補償のような標準予測ベースのエンコーディング技術を適用する。標準エンコーディング手段176はまた、いくつかのフレームに対しては、空間推定およびイントラ予測のような非動きコード化技術も適用してもよい。他方、遷移効果エンコーディング手段178は、ここで説明したような非標準エンコーディングを実行する。特に、遷移効果エンコーディング手段178は、遷移効果のシミュレーションを容易にするためにデコーディング手段174によって使用されてもよい、メタデータをコード化する。エンコードされたビデオシーケンスは、送信手段183と受信手段185とによって、通信チャネル175を通して、エンコーディング手段172とデコーディング手段174との間で転送される。送信手段183は送信機を備えてもよく、受信手段185は受信機を備えてもよい。代わりに、送信手段183と受信手段185は、情報の送信および受信の両方が可能なトランシーバを含んでもよい。
【0063】
デコーディング手段174は、標準デコーディング手段182と、遷移効果デコーディング手段184とを含み、これらは、第1および第2デコーディング手段として呼ばれてもよい。標準デコーディング手段182と、遷移効果デコーディング手段184は、別々のデコーダを構成してもよく、または、共通デコーダ中で実現されてもよい。標準デコーディング手段182は、動き補償デコーディングや、任意のイントラコード化フレームのイントラデコーディングのような、標準デコーディング技術を実行する。しかしながら、遷移効果デコーディング手段184は、ここで説明したように、このような効果に対して送出されたメタデータに基づいて、任意の遷移効果を本質的にシミュレートする、非標準技術を実行する。
【0064】
異なる遷移効果のシミュレーションを容易にするために、送ることができる情報の多くの例を説明してきた。一般的に、本開示の技術は、デコーダにおける、エンコーダ支援された遷移効果シミュレーションを可能にするために、何らかのフレームレート上位変換(FRUC)技術に対して使用されたものと同様の補間技術を実現してもよい。このケースでは、コード化されたマルチメディアシーケンスにおけるデータ圧縮を改善するために、および/または、遷移効果の視覚品質を改善するために、遷移効果に対して、従来の予測ベースのコード化の代わりに、FRUCのような技術を使用してもよい。開始および終了シーン(および、おそらくはいくつかの中間シーン)がデコーダに送られ、デコーダは他のフレームを補間して、遷移効果を生成する。
【0065】
いずれのケースでも、ここで説明した技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにおいて実現されてもよい。ソフトウェアにおいて実現される場合、実行されるときに、上で説明した技術のうちの1つ以上を実行する命令を含むプログラムコードを備えるコンピュータ読取可能媒体(または他の機械読取可能媒体)によって、技術を部分的に具現化してもよい。このケースでは、コンピュータ読取可能媒体は、同期ダイナミックランダムアクセスメモリ(SDRAM)のようなランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気的消去可能プログラム可能リードオンリーメモリ(EEPROM)、FLASHメモリ、磁気もしくは光学データ記憶媒体、および、これらに類する物を含んでいてもよい。
【0066】
1つ以上のデジタルシグナルプロセッサ(DSP)、汎用マイクロプロセッサ、特定用途集積回路(ASIC)、フィールドプログラム可能論理回路(FPGA)、または他の均等な集積もしくはディスクリート論理回路のような1つ以上のプロセッサ、あるいは他の機械によって、命令を実行してもよい。命令を実行する機械は、一般的に装置を含んでもよい。いくつかの実施形態では、エンコーディングおよびデコーディングのために構成された、または、組み合わされたビデオエンコーダ−デコーダ(CODEC)に組み込まれた、専用ソフトウェアモジュールまたはハードウェアユニット内に、ここで説明した機能を提供してもよい。
【0067】
さまざまな実施形態を説明してきた。それにもかかわらず、特許請求の範囲を逸脱することなく、説明した技術に対するさまざまな変更を行ってもよい。例えば、アフィン動きを使用して、いくつかのタイプの変換効果にしたがったシミュレーションにおけるマップおよびピクセル値を規定してもよい。アフィン動きは、6つの自由度を可能にし、変換、圧縮または伸張をコード化できる。また、アクセラレーション動きも使用して、シミュレーションを規定してもよい。さらに、エンコーダまたはデコーダ中のルックアップテーブル(LUT)ではなく、数式を適用することにより、本開示の技術を採用してもよい。これらのおよび他の実施形態は、特許請求の範囲を逸脱しない。
【特許請求の範囲】
【請求項1】
エンコードされたマルチメディアシーケンスの一部として情報を受け取ることと、
前記エンコードされたマルチメディアシーケンスをデコードすることと
を含み、
前記情報は、前記マルチメディアシーケンスに関係付けられた遷移効果を識別し、
前記エンコードされたマルチメディアシーケンスをデコードすることは、前記情報に応答して、遷移効果をシミュレートすることを含む方法。
【請求項2】
前記情報は、遷移効果のタイプを識別し、方法は、前記遷移効果のタイプに基づいて、前記遷移効果をシミュレートすることをさらに含む、請求項1記載の方法。
【請求項3】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間とを識別し、前記遷移効果をシミュレートすることは、前記期間にわたって、前記遷移効果のタイプをシミュレートすることを含む、請求項1記載の方法。
【請求項4】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを識別し、前記遷移効果をシミュレートすることは、1つ以上の幾何的マップを発生させることを含む、請求項1記載の方法。
【請求項5】
前記1つ以上の幾何的マップを、1つ以上のルックアップテーブルから発生させる、請求項4記載の方法。
【請求項6】
前記情報は、前記遷移効果をフェード効果として識別し、前記遷移効果をシミュレートすることは、ゼロ値の動きベクトルを使用して、前記フェード効果に関係付けられたマルチメディアフレームの重み付け双方向性再構成を実行することを含む、請求項1記載の方法。
【請求項7】
前記情報は、前記遷移効果をディゾルブ効果として識別し、前記遷移効果をシミュレートすることは、前記ディゾルブ効果をランダムに発生させることを含む、請求項1記載の方法。
【請求項8】
前記情報は、前記遷移効果を、第1のシーン上に第2のシーンが現れる効果として識別し、
前記遷移効果をシミュレートすることは、予め規定されたマップにしたがって、前記遷移効果に関係付けられたマルチメディアフレームの双方向性再構成を実行することを含み、前記遷移効果では、ゼロ値の動きベクトルを使用して、前記第1のシーン上に第2のシーンが現れる、請求項1記載の方法。
【請求項9】
前記遷移効果をシミュレートすることは、
遷移シーケンスの少なくとも1つのフレームを、順方向予測部分と、逆方向予測部分とにセグメント化することと、
前記順方向予測部分を、前記逆方向予測部分とは異なってデコードすることと
を含む、請求項1記載の方法。
【請求項10】
前記遷移効果をシミュレートすることは、前記遷移効果の予め規定されたマップにしたがって、前記遷移効果に関係付けられたマルチメディアフレームの重み付け双方向性再構成を実行することを含む、請求項1記載の方法。
【請求項11】
マルチメディアシーケンスのエンコーディングの間に、前記マルチメディアシーケンスに関係付けられた遷移効果を検出することと、
エンコードされたマルチメディアシーケンスの一部として前記遷移効果を識別するための情報を発生させることと
を含む方法。
【請求項12】
前記情報は、遷移効果のタイプの識別子を含む、請求項11記載の方法。
【請求項13】
前記情報は、遷移効果のタイプの識別子と、前記遷移効果に関係付けられた期間とを含む、請求項11記載の方法。
【請求項14】
前記情報は、遷移効果のタイプの識別子と、前記遷移効果に関係付けられた1つ以上の幾何的マップとを含む、請求項11記載の方法。
【請求項15】
前記エンコードされたマルチメディアシーケンスの一部として前記情報をデコーダに送出することをさらに含む、請求項11記載の方法。
【請求項16】
前記情報は、遷移効果のタイプの識別子と、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを含む、請求項11記載の方法。
【請求項17】
エンコードされたマルチメディアシーケンスの一部として情報を受け取る受信機と、 前記情報に応答して、遷移効果をシミュレートするデコーダと
を具備し、
前記情報は、前記マルチメディアシーケンスに関係付けられた遷移効果を識別する装置。
【請求項18】
前記デコーダは、前記遷移効果をシミュレートする、遷移効果デコーディングモジュールと、前記エンコードされたマルチメディアシーケンスの非遷移部分をデコードする、標準デコーディングモジュールとを含む、請求項17記載の装置。
【請求項19】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを識別し、前記デコーダは、前記期間にわたって、前記識別されたタイプの遷移効果をシミュレートする、請求項17記載の装置。
【請求項20】
前記デコーダは、前記遷移効果に関係付けられた1つ以上の幾何的マップを発生させ、前記1つ以上の幾何的マップを使用して、前記遷移効果をシミュレートする、請求項17記載の装置。
【請求項21】
前記デコーダは、前記1つ以上の幾何を、1つ以上のルックアップテーブルから発生させる、請求項20記載の装置。
【請求項22】
前記デコーダは、
遷移シーケンスのフレームを、順方向予測部分と、逆方向予測部分とにセグメント化することと、
前記順方向予測部分を、前記逆方向予測部分とは異なってデコードすることと
によって、前記遷移効果をシミュレートする、請求項17記載の装置。
【請求項23】
マルチメディアシーケンスのエンコーディングの間に、前記マルチメディアシーケンスに関係付けられた遷移効果を検出する検出器と、
エンコードされたビデオシーケンスの一部として前記遷移効果を識別するための情報を発生させるエンコーダと
を具備する装置。
【請求項24】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを識別する、請求項23記載の装置。
【請求項25】
前記エンコーダは、前記遷移効果を識別するための情報を発生させる、第1のエンコーディングモジュールと、予測コード化技術を使用して、前記マルチメディアシーケンスの非遷移部分をエンコードする、第2のエンコーディングモジュールとを備える、請求項23記載の装置。
【請求項26】
実行時に、機械に、
エンコードされたマルチメディアシーケンスの一部として情報を受け取らせ、
前記エンコードされたマルチメディアシーケンスをデコードさせる
命令を含む機械読取可能媒体であって、
前記情報は、前記マルチメディアシーケンスに関係付けられた遷移効果を識別し、
前記エンコードされたマルチメディアシーケンスをデコードすることは、前記情報に応答して、遷移効果をシミュレートすることを含む機械読取可能媒体。
【請求項27】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを識別し、前記遷移効果をシミュレートすることは、1つ以上の幾何的マップを発生させることを含む、請求項26記載の機械読取可能媒体。
【請求項28】
前記命令は、
遷移シーケンスのフレームを、順方向予測部分と、逆方向予測部分とにセグメント化することと、
前記順方向予測部分を、前記逆方向予測部分とは異なってデコードすることと
によって、前記遷移効果をシミュレートさせる、請求項26記載の機械読取可能媒体。
【請求項29】
実行時に、機械に、
マルチメディアシーケンスのエンコーディングの間に、前記マルチメディアシーケンスに関係付けられた遷移効果を検出させ、
エンコードされたマルチメディアシーケンスの一部として前記遷移効果を識別するための情報を発生させる
命令を含む機械読取可能媒体。
【請求項30】
エンコードされたマルチメディアシーケンスの一部として情報を受け取り、
前記エンコードされたマルチメディアシーケンスをデコードする
ように構成されたプロセッサであって、
前記情報は、前記マルチメディアシーケンスに関係付けられた遷移効果を識別し、
前記エンコードされたマルチメディアシーケンスをデコードすることは、前記情報に応答して、遷移効果をシミュレートすることを含むプロセッサ。
【請求項31】
マルチメディアシーケンスのエンコーディングの間に、前記マルチメディアシーケンスに関係付けられた遷移効果を検出し、
前記エンコードされたマルチメディアシーケンスの一部としてエンコードされたマルチメディアシーケンスに関係付けられた前記遷移効果を識別するための情報をデコーダに対して発生させる
ように構成されたプロセッサ。
【請求項32】
前記情報は、遷移効果のタイプの識別子と、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを含む、請求項31記載のプロセッサ。
【請求項33】
前記情報は、前記遷移効果をシミュレートするためにデコーダによって使用されることになる、1つ以上の幾何的マップを含む、請求項31記載のプロセッサ。
【請求項34】
エンコードされたマルチメディアシーケンスの一部として情報を受け取る手段と、
遷移効果を識別する前記情報に応答して、マルチメディアシーケンスにおいて前記遷移効果をシミュレートするデコーディング手段と
を具備し、
前記情報は、前記マルチメディアシーケンスに関係付けられた遷移効果を識別する装置。
【請求項35】
前記デコーディング手段は、遷移効果デコーディング手段を備え、前記装置は、前記マルチメディアシーケンスの非遷移部分をデコードする、標準デコーディング手段をさらに備える、請求項34記載の装置。
【請求項36】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを識別し、前記デコーディング手段は、前記情報を使用して、前記期間にわたって、前記識別されたタイプの遷移効果をシミュレートする、請求項34記載の装置。
【請求項37】
前記デコーディング手段は、前記遷移効果に関係付けられた1つ以上の幾何的マップを発生させ、前記1つ以上の幾何的マップを使用して、前記遷移効果をシミュレートする、請求項34記載の装置。
【請求項38】
前記デコーディング手段は、
遷移シーケンスのフレームを、順方向予測部分と、逆方向予測部分とにセグメント化することと、
前記順方向予測部分を、前記逆方向予測部分とは異なってデコードすることと
によって、前記遷移効果をシミュレートする、請求項34記載の装置。
【請求項39】
マルチメディアシーケンスのエンコーディングの間に、前記マルチメディアシーケンスに関係付けられた遷移効果を検出する遷移効果検出手段と、
前記マルチメディアシーケンスに関係付けられた前記遷移効果を識別するための情報を発生させるエンコーディング手段と
を具備する装置。
【請求項40】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを識別する、請求項39記載の装置。
【請求項41】
前記エンコーディング手段は、遷移効果エンコーディング手段を備え、前記装置は、予測コード化技術を使用して、前記マルチメディアシーケンスの非遷移部分をエンコードする、標準エンコーディング手段をさらに備える、請求項39記載の装置。
【請求項1】
エンコードされたマルチメディアシーケンスの一部として情報を受け取ることと、
前記エンコードされたマルチメディアシーケンスをデコードすることと
を含み、
前記情報は、前記マルチメディアシーケンスに関係付けられた遷移効果を識別し、
前記エンコードされたマルチメディアシーケンスをデコードすることは、前記情報に応答して、遷移効果をシミュレートすることを含む方法。
【請求項2】
前記情報は、遷移効果のタイプを識別し、方法は、前記遷移効果のタイプに基づいて、前記遷移効果をシミュレートすることをさらに含む、請求項1記載の方法。
【請求項3】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間とを識別し、前記遷移効果をシミュレートすることは、前記期間にわたって、前記遷移効果のタイプをシミュレートすることを含む、請求項1記載の方法。
【請求項4】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを識別し、前記遷移効果をシミュレートすることは、1つ以上の幾何的マップを発生させることを含む、請求項1記載の方法。
【請求項5】
前記1つ以上の幾何的マップを、1つ以上のルックアップテーブルから発生させる、請求項4記載の方法。
【請求項6】
前記情報は、前記遷移効果をフェード効果として識別し、前記遷移効果をシミュレートすることは、ゼロ値の動きベクトルを使用して、前記フェード効果に関係付けられたマルチメディアフレームの重み付け双方向性再構成を実行することを含む、請求項1記載の方法。
【請求項7】
前記情報は、前記遷移効果をディゾルブ効果として識別し、前記遷移効果をシミュレートすることは、前記ディゾルブ効果をランダムに発生させることを含む、請求項1記載の方法。
【請求項8】
前記情報は、前記遷移効果を、第1のシーン上に第2のシーンが現れる効果として識別し、
前記遷移効果をシミュレートすることは、予め規定されたマップにしたがって、前記遷移効果に関係付けられたマルチメディアフレームの双方向性再構成を実行することを含み、前記遷移効果では、ゼロ値の動きベクトルを使用して、前記第1のシーン上に第2のシーンが現れる、請求項1記載の方法。
【請求項9】
前記遷移効果をシミュレートすることは、
遷移シーケンスの少なくとも1つのフレームを、順方向予測部分と、逆方向予測部分とにセグメント化することと、
前記順方向予測部分を、前記逆方向予測部分とは異なってデコードすることと
を含む、請求項1記載の方法。
【請求項10】
前記遷移効果をシミュレートすることは、前記遷移効果の予め規定されたマップにしたがって、前記遷移効果に関係付けられたマルチメディアフレームの重み付け双方向性再構成を実行することを含む、請求項1記載の方法。
【請求項11】
マルチメディアシーケンスのエンコーディングの間に、前記マルチメディアシーケンスに関係付けられた遷移効果を検出することと、
エンコードされたマルチメディアシーケンスの一部として前記遷移効果を識別するための情報を発生させることと
を含む方法。
【請求項12】
前記情報は、遷移効果のタイプの識別子を含む、請求項11記載の方法。
【請求項13】
前記情報は、遷移効果のタイプの識別子と、前記遷移効果に関係付けられた期間とを含む、請求項11記載の方法。
【請求項14】
前記情報は、遷移効果のタイプの識別子と、前記遷移効果に関係付けられた1つ以上の幾何的マップとを含む、請求項11記載の方法。
【請求項15】
前記エンコードされたマルチメディアシーケンスの一部として前記情報をデコーダに送出することをさらに含む、請求項11記載の方法。
【請求項16】
前記情報は、遷移効果のタイプの識別子と、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを含む、請求項11記載の方法。
【請求項17】
エンコードされたマルチメディアシーケンスの一部として情報を受け取る受信機と、 前記情報に応答して、遷移効果をシミュレートするデコーダと
を具備し、
前記情報は、前記マルチメディアシーケンスに関係付けられた遷移効果を識別する装置。
【請求項18】
前記デコーダは、前記遷移効果をシミュレートする、遷移効果デコーディングモジュールと、前記エンコードされたマルチメディアシーケンスの非遷移部分をデコードする、標準デコーディングモジュールとを含む、請求項17記載の装置。
【請求項19】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを識別し、前記デコーダは、前記期間にわたって、前記識別されたタイプの遷移効果をシミュレートする、請求項17記載の装置。
【請求項20】
前記デコーダは、前記遷移効果に関係付けられた1つ以上の幾何的マップを発生させ、前記1つ以上の幾何的マップを使用して、前記遷移効果をシミュレートする、請求項17記載の装置。
【請求項21】
前記デコーダは、前記1つ以上の幾何を、1つ以上のルックアップテーブルから発生させる、請求項20記載の装置。
【請求項22】
前記デコーダは、
遷移シーケンスのフレームを、順方向予測部分と、逆方向予測部分とにセグメント化することと、
前記順方向予測部分を、前記逆方向予測部分とは異なってデコードすることと
によって、前記遷移効果をシミュレートする、請求項17記載の装置。
【請求項23】
マルチメディアシーケンスのエンコーディングの間に、前記マルチメディアシーケンスに関係付けられた遷移効果を検出する検出器と、
エンコードされたビデオシーケンスの一部として前記遷移効果を識別するための情報を発生させるエンコーダと
を具備する装置。
【請求項24】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを識別する、請求項23記載の装置。
【請求項25】
前記エンコーダは、前記遷移効果を識別するための情報を発生させる、第1のエンコーディングモジュールと、予測コード化技術を使用して、前記マルチメディアシーケンスの非遷移部分をエンコードする、第2のエンコーディングモジュールとを備える、請求項23記載の装置。
【請求項26】
実行時に、機械に、
エンコードされたマルチメディアシーケンスの一部として情報を受け取らせ、
前記エンコードされたマルチメディアシーケンスをデコードさせる
命令を含む機械読取可能媒体であって、
前記情報は、前記マルチメディアシーケンスに関係付けられた遷移効果を識別し、
前記エンコードされたマルチメディアシーケンスをデコードすることは、前記情報に応答して、遷移効果をシミュレートすることを含む機械読取可能媒体。
【請求項27】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを識別し、前記遷移効果をシミュレートすることは、1つ以上の幾何的マップを発生させることを含む、請求項26記載の機械読取可能媒体。
【請求項28】
前記命令は、
遷移シーケンスのフレームを、順方向予測部分と、逆方向予測部分とにセグメント化することと、
前記順方向予測部分を、前記逆方向予測部分とは異なってデコードすることと
によって、前記遷移効果をシミュレートさせる、請求項26記載の機械読取可能媒体。
【請求項29】
実行時に、機械に、
マルチメディアシーケンスのエンコーディングの間に、前記マルチメディアシーケンスに関係付けられた遷移効果を検出させ、
エンコードされたマルチメディアシーケンスの一部として前記遷移効果を識別するための情報を発生させる
命令を含む機械読取可能媒体。
【請求項30】
エンコードされたマルチメディアシーケンスの一部として情報を受け取り、
前記エンコードされたマルチメディアシーケンスをデコードする
ように構成されたプロセッサであって、
前記情報は、前記マルチメディアシーケンスに関係付けられた遷移効果を識別し、
前記エンコードされたマルチメディアシーケンスをデコードすることは、前記情報に応答して、遷移効果をシミュレートすることを含むプロセッサ。
【請求項31】
マルチメディアシーケンスのエンコーディングの間に、前記マルチメディアシーケンスに関係付けられた遷移効果を検出し、
前記エンコードされたマルチメディアシーケンスの一部としてエンコードされたマルチメディアシーケンスに関係付けられた前記遷移効果を識別するための情報をデコーダに対して発生させる
ように構成されたプロセッサ。
【請求項32】
前記情報は、遷移効果のタイプの識別子と、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを含む、請求項31記載のプロセッサ。
【請求項33】
前記情報は、前記遷移効果をシミュレートするためにデコーダによって使用されることになる、1つ以上の幾何的マップを含む、請求項31記載のプロセッサ。
【請求項34】
エンコードされたマルチメディアシーケンスの一部として情報を受け取る手段と、
遷移効果を識別する前記情報に応答して、マルチメディアシーケンスにおいて前記遷移効果をシミュレートするデコーディング手段と
を具備し、
前記情報は、前記マルチメディアシーケンスに関係付けられた遷移効果を識別する装置。
【請求項35】
前記デコーディング手段は、遷移効果デコーディング手段を備え、前記装置は、前記マルチメディアシーケンスの非遷移部分をデコードする、標準デコーディング手段をさらに備える、請求項34記載の装置。
【請求項36】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを識別し、前記デコーディング手段は、前記情報を使用して、前記期間にわたって、前記識別されたタイプの遷移効果をシミュレートする、請求項34記載の装置。
【請求項37】
前記デコーディング手段は、前記遷移効果に関係付けられた1つ以上の幾何的マップを発生させ、前記1つ以上の幾何的マップを使用して、前記遷移効果をシミュレートする、請求項34記載の装置。
【請求項38】
前記デコーディング手段は、
遷移シーケンスのフレームを、順方向予測部分と、逆方向予測部分とにセグメント化することと、
前記順方向予測部分を、前記逆方向予測部分とは異なってデコードすることと
によって、前記遷移効果をシミュレートする、請求項34記載の装置。
【請求項39】
マルチメディアシーケンスのエンコーディングの間に、前記マルチメディアシーケンスに関係付けられた遷移効果を検出する遷移効果検出手段と、
前記マルチメディアシーケンスに関係付けられた前記遷移効果を識別するための情報を発生させるエンコーディング手段と
を具備する装置。
【請求項40】
前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間と、前記遷移効果に関係付けられた開始および終了シーンとを識別する、請求項39記載の装置。
【請求項41】
前記エンコーディング手段は、遷移効果エンコーディング手段を備え、前記装置は、予測コード化技術を使用して、前記マルチメディアシーケンスの非遷移部分をエンコードする、標準エンコーディング手段をさらに備える、請求項39記載の装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2013−17186(P2013−17186A)
【公開日】平成25年1月24日(2013.1.24)
【国際特許分類】
【外国語出願】
【出願番号】特願2012−158976(P2012−158976)
【出願日】平成24年7月17日(2012.7.17)
【分割の表示】特願2008−533621(P2008−533621)の分割
【原出願日】平成18年9月27日(2006.9.27)
【出願人】(595020643)クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】QUALCOMM INCORPORATED
【Fターム(参考)】
【公開日】平成25年1月24日(2013.1.24)
【国際特許分類】
【出願番号】特願2012−158976(P2012−158976)
【出願日】平成24年7月17日(2012.7.17)
【分割の表示】特願2008−533621(P2008−533621)の分割
【原出願日】平成18年9月27日(2006.9.27)
【出願人】(595020643)クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】QUALCOMM INCORPORATED
【Fターム(参考)】
[ Back to top ]