スケーラブルビデオコーディング方法及びそのコーディング方法を利用するコーデック
【課題】ＧＯＰ単位を区分するキーピクチャーの伝送にエラーが生じても画像品質の低下を最小限に抑える。
【解決手段】上位階層のキーピクチャーに順次に番号を付与しつつエンコーディングすることで、上位階層の現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失を検出する。また、下位基本階層の伝送が保証される場合、キーピクチャー損失時に下位階層の情報を利用してエラーを隠してデコーディングしうる。これにより、キーピクチャーナンバリングを通じてキーピクチャーの損失有無を見つけ出して損失によるエラーに効果的に対処し、下位基本階層の伝送が保証される場合、上位階層のキーピクチャー損失時に下位階層の対応ピクチャーのデコーディングされた画像情報を利用することによって、誤った参照によって発生するエラーを隠すことによって、画像品質の低下を最小化しうる。
【解決手段】上位階層のキーピクチャーに順次に番号を付与しつつエンコーディングすることで、上位階層の現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失を検出する。また、下位基本階層の伝送が保証される場合、キーピクチャー損失時に下位階層の情報を利用してエラーを隠してデコーディングしうる。これにより、キーピクチャーナンバリングを通じてキーピクチャーの損失有無を見つけ出して損失によるエラーに効果的に対処し、下位基本階層の伝送が保証される場合、上位階層のキーピクチャー損失時に下位階層の対応ピクチャーのデコーディングされた画像情報を利用することによって、誤った参照によって発生するエラーを隠すことによって、画像品質の低下を最小化しうる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：ＳＶＣ）方法に係り、さらに詳細には、キーピクチャーに番号を付与してデコーディング時にキーピクチャーの損失を検出することによってエラーを隠せるスケーラブルビデオコーディング方法及びそのコーディング方法を利用したコーデックに関する。
【背景技術】
【０００２】
図１は、ＪＳＶＣ（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）におけるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）構造とキーピクチャーとを示す図面であり、図２は、Ｐピクチャーが失われたとき、エラーの伝播を示す図面である。図２の（ａ）は、エラー伝播途中にＩピクチャーがある場合であり、（ｂ）は、エラー伝播途中にＩピクチャーがない場合を表す。
【０００３】
図１を参照すれば、ＪＳＶＣでＧＯＰ単位を区分する最後の位置のピクチャーをキーピクチャーという。前記キーピクチャーの間隔、すなわち、ＧＯＰサイズは、固定的か可変的であるが、時間的スケーラビリティが使われれば、前記キーピクチャーの間隔は、可変的である。
【０００４】
ＪＳＶＣでは、キーピクチャーがＩやＰピクチャーでコーディングされるが、キーピクチャーがＰピクチャーでコーディングされる場合には、キーピクチャー間に閉ループコーディングを行う。閉ループは、図２の例のように、Ｐピクチャーが連続的に以前Ｐピクチャーを参照して予測しつつ、コーディングがなされる構造を意味する。このように、Ｐピクチャーが閉ループでコーディングされている場合、伝送線路上にエラーによってＰピクチャーが損失される。
【０００５】
図２の（ａ）は、Ｐ１ピクチャーとＰ１１ピクチャーとが伝送過程で損失された場合に、エラーが伝播される様相を示す。損失したＰ１ピクチャーを参照して、予測デコーディングを行うＰ２ピクチャーは、損失したＰ１ピクチャーの代わりに、Ｐ１ピクチャー以前にデコーディングされたＩ０ピクチャーを参照して予測デコーディングを行うので、Ｐ２ピクチャーは、エラーを含み、その後にＰピクチャーにＩ８ピクチャーが伝送されるまで続けてエラーが伝播される。そして、Ｐ１１ピクチャーを参照して予測デコーディングを行うＰ１２ピクチャーは、損失したＰ１１ピクチャーの代わりに、Ｐ１１ピクチャー以前にデコーディングされたＰ１０ピクチャーを参照して予測デコーディングを行うので、Ｐ１２ピクチャーは、エラーを含み、その後にＰピクチャーにＩ１６ピクチャーが伝送されるまで続けてエラーが伝播される。
【０００６】
図２の（ｂ）は、図２の（ａ）とは異なり、途中にＩピクチャーがなく、続けてＰピクチャーのみでエンコーディングされている場合に、Ｐ１ピクチャーの損失時にエラーが伝播される様相を示す。損失したＰ１ピクチャーを参照して予測デコーディングを行うＰ２ピクチャーは、損失したＰ１ピクチャーの代わりに、Ｐ１ピクチャー以前にデコーディングされたＩ０ピクチャーを参照して予測デコーディングを行うので、エラーを含み、その後にＰピクチャーは、持続的にエラーを含む。
【０００７】
図３は、２個の階層構造を有する典型的なＪＳＶＣのコーディングの例を示す。下位階層（ｋ−１ ｌａｙｅｒ）は、１５Ｈｚのフレーム率を有し、ＧＯＰサイズが２である画像であり、上位階層（ｋ ｌａｙｅｒ）は、３０Ｈｚのフレーム率を有し、ＧＯＰサイズが４である画像を示す。
【０００８】
図３の下位階層では、Ｂ１ピクチャーをドロップさせることによって７.５Ｈｚのフレーム率を支援し、上位階層では、Ｂ２ピクチャーをドロップさせることによって１５Ｈｚのフレーム率を支援し、Ｂ２ピクチャーとＢ１ピクチャーとをドロップさせることによって７.５Ｈｚのフレーム率を支援しうる。
【０００９】
図４は、図３の全階層で７.５Ｈｚのフレーム率を支援する構造を示す図面であって、図３の下位階層でＢ１ピクチャーがドロップされ、上位階層でＢ２、Ｂ１ピクチャーがドロップされて、全階層で７.５Ｈｚのフレーム率を支援する。この場合、全階層でキーピクチャーのみが余り、キーピクチャー間の閉ループでコーディングされていることを確認しうる。
【００１０】
図５は、図４の上位階層で一つのＰピクチャーが伝送過程で損失された場合、エラー伝播を示す図面である。
【００１１】
図２の例と同様に、次のＰピクチャーをデコーディングするとき、損失される直前のＰピクチャーを参照してエラーが発生し、このエラーは、Ｉピクチャーが出るまで伝播される。もし、最後のピクチャーもＰピクチャーである場合、エラーは、続けて伝播される。
【００１２】
したがって、前記のような例でエラーが発生したことを認識し、効果的な措置を行わねばならない（もし、下位階層が基本階層である場合には、ＪＳＶＣでは、既存の動画コーディング国際標準であるＨ.２６４を利用してコーディングするため、特別の措置を行われない。）。しかし、現在ＪＳＶＣでは、ピクチャーバッファにリスト資料構造を利用してデコーディングされたピクチャーを保存する。したがって、一つのＰピクチャーをデコーディングする時には、リスト資料構造内でピクチャーがＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｆ Ｃｏｕｎｔｅｒ）情報を利用してデコーディングするＰピクチャーのＰＯＣを中心に整列され、リスト資料構造内での位置情報を利用して、特定のデコーディングされたピクチャーを参照してデコーディングを行う。このような構造は、前の例のように、一つのピクチャーが損失された場合、次のＰピクチャーがデコーディングされるとき、ピクチャーリスト内に存在する他のピクチャーを参照するので、デコーディングは可能になるが、誤った参照から予測を行ってエラーが発生し、このようなエラーは、続けて伝播されるという問題点がある。
【００１３】
図６は、図３のＢピクチャーを含む上位階層で一つのＰピクチャーが伝送過程で損失された場合、Ｐピクチャーでのエラー発生及び伝播を示す。
【００１４】
この場合には、損失されたＰピクチャーが属しているＧＯＰ内で、Ｂピクチャーは、デコーディングされたピクチャーバッファに時間的に先行するｌｉｓｔ０リストと時間的に後行するｌｉｓｔ１を有するが、ｌｉｓｔ１に存在せねばならないＰピクチャーが損失されたので、リストが空いていてデコーディング時にエラーが発生する。もし、かかるエラーを無視し、次のＧＯＰに超えた場合、図５のように、Ｐピクチャーは、誤った参照を有し、また同じＧＯＰ内のＢピクチャーも、誤った参照を有しつつ、エラーが発生したＰピクチャーの影響を受けるため、エラーが伝播され、次の連続しているＧＯＰでも、エラーが伝播される。したがって、エラーが発生したことを認識し、効果的な措置を行わねばならない。
【００１５】
しかし、ＪＳＶＣは、全ピクチャーに対してディスプレイ順序によって番号を付与するシステムを使用しているため、キーピクチャーのドロップ（または損失）を検出し難くて、キーピクチャーの損失によるエラーに効果的に対処できない。
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本発明は、前記問題点を解決するために提案されたものであって、Ｐピクチャーが閉ループ構造を有するＪＳＶＣでキーピクチャーをナンバリングすることによって、キーピクチャーの損失有無を見つけ出し、損失した場合に、エラーに効果的に対処可能にするコーディング方法及びその方法を利用したコーデックを提供することを目的とする。
【００１７】
本発明の他の目的及び長所は、下記の説明によって理解され、本発明の実施例によってさらに明確に分かる。また、本発明の目的及び長所は、特許請求の範囲に表した手段及びその組合わせによって実現されるということが容易に分かる。
【課題を解決するための手段】
【００１８】
前記目的を達成するための本発明の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループエンコーディングを行うスケーラブルビデオエンコーディング方法であって、入力されるピクチャーがキーピクチャーであるか否かを確認するステップと、前記ピクチャーがキーピクチャーである場合、前記キーピクチャーに順次に番号を付与するステップと、を含むことを特徴とする。
【００１９】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループデコーディングを行うスケーラブルビデオデコーディング方法であって、入力される現在ピクチャーがキーピクチャーであるか否かを判断するステップと、前記現在ピクチャーがキーピクチャーである場合、前記現在キーピクチャーからキーピクチャー番号を読み込むステップと、前記現在キーピクチャーのピクチャー番号と前記現在キーピクチャー以前に入力された過去キーピクチャーのピクチャー番号との差分値から、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失有無を検出するステップと、を含むことを特徴とする。
【００２０】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループデコーディングを行うスケーラブルビデオデコーディング方法であって、上位階層の入力される現在キーピクチャーと前記現在キーピクチャー以前に入力された過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記上位階層の現在キーピクチャーをマクロブロック単位でモード類型を判断するステップと、前記マクロブロックがインターモードである場合、前記上位階層の現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像から前記上位階層の現在キーピクチャーのマクロブロックに該当する領域を探索するステップと、前記探索された領域のデータをコピーして前記現在キーピクチャーのマクロブロックに付加してデータを復旧するステップと、を含むことを特徴とする。
【００２１】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーディング方法であって、キーピクチャーに順次に番号を付与しつつ、エンコーディングするステップと、前記番号エンコーディングされて入力される現在キーピクチャーと前記現在キーピクチャー以前に番号エンコーディングされて入力された過去キーピクチャーとのキーピクチャー番号の差分値から、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失を検出するステップと、を含むことを特徴とする。
【００２２】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーディング方法であって、上位階層のキーピクチャーに順次に番号を付与しつつ、エンコーディングするステップと、前記番号エンコーディングされて入力される上位階層の現在キーピクチャーと前記現在キーピクチャー以前に番号エンコーディングされて入力された過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記上位階層の現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像のデータを利用して、前記上位階層の現在キーピクチャーをデコーディングするステップと、を含むことを特徴とする。
【００２３】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループエンコーディングを行うスケーラブルビデオエンコーダであって、入力されるピクチャーがキーピクチャーであるか否かを確認するキーピクチャー確認部と、前記ピクチャーがキーピクチャーである場合、前記キーピクチャーに順次に番号を付与するキーピクチャー番号付与部と、を備えることを特徴とする。
【００２４】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループデコーディングを行うスケーラブルビデオデコーダであって、入力される現在ピクチャーがキーピクチャーであるか否かを判断するキーピクチャー判断部と、前記現在ピクチャーがキーピクチャーである場合、前記現在キーピクチャーからキーピクチャーの番号を読み込むキーピクチャー番号検索部と、前記現在キーピクチャーのピクチャー番号と前記現在キーピクチャー以前に入力された過去キーピクチャーのピクチャー番号との差分値から、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失有無を検出するエラー検出部と、を備えることを特徴とする。
【００２５】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループデコーディングを行うスケーラブルビデオデコーダであって、上位階層の現在入力されるキーピクチャーと過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記上位階層の現在キーピクチャーのマクロブロック単位でモード類型を判断するモード判断部と、前記マクロブロックがインターモードである場合、前記上位階層の現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像から前記上位階層の現在キーピクチャーのマクロブロックに該当する領域を探索する領域探索部と、前記探索された領域のデータをコピーして前記現在キーピクチャーのマクロブロックに付加してデータを復旧するデータ復旧部と、を備えることを特徴とする。
【００２６】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーデックであって、キーピクチャーに順次に番号を付与しつつ、エンコーディングするエンコーダと、前記番号エンコーディングされて入力される現在キーピクチャーと前記現在キーピクチャー以前に番号エンコーディングされて入力された過去キーピクチャーのキーピクチャー番号との差分値から、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失を検出するデコーダと、を備えることを特徴とする。
【００２７】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーデックであって、上位階層のキーピクチャーに順次に番号を付与しつつ、エンコーディングするエンコーダと、前記番号エンコーディングされて入力される上位階層の現在キーピクチャーと前記現在キーピクチャー以前に番号エンコーディングされて入力された過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記上位階層の現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像のデータを利用して、前記上位階層の現在キーピクチャーをデコーディングするデコーダと、を備えることを特徴とする。
【００２８】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーディング方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することを特徴とする。
【発明の効果】
【００２９】
本発明は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループエンコーディングを行うＪＳＶＣで、キーピクチャーに順次に番号を付与するエンコーディングによって、デコーディング時にキーピクチャーの損失有無を見つけ出して損失によるエラーに効果的に対処可能にする。
【００３０】
本発明は、多階層構造のビデオストリームであって、下位基本階層の伝送が保証される場合、上位階層のキーピクチャーの損失時に、下位階層の対応ピクチャーのデコーディングされた画像情報を利用することによって、誤った参照によって発生するエラーを隠すことによって、画像品質の低下を最小化しうる。
【００３１】
そして、本発明は、システム特性上エラー発生が稀薄な場合、エラー検出及びエラー隠匿のためのキーピクチャー番号付与のための追加ビットの使用如何を選択することによってビット量を低減することもある。
【００３２】
また、本発明のキーピクチャーナンバリングによるコーディング方法は、ＡＧＳ使用の場合、７.５Ｈｚ以下のフレーム率を支援せねばならないことによって、キーピクチャーのドロップが発生する場合に適用しうるので、エラー検出及びエラー隠匿を効果的に行える。
【図面の簡単な説明】
【００３３】
【図１】ＪＳＶＣにおけるＧＯＰ構造及びキーピクチャーを示す図面である。
【図２】Ｐピクチャーが喪失された時にエラーの伝播を示す図面である。
【図３】２個の階層構造を有するＪＳＶＣコーディングの一例を示す図面である。
【図４】図３の全階層で７.５Ｈｚのフレーム率を支援する構造を示す図面である。
【図５】図４の上位階層で一つのＰピクチャーが伝送過程で損失された場合、エラー伝播を示す図面である。
【図６】図３の上位階層で一つのＰピクチャーが伝送過程で損失された場合、エラー伝播を示す図面である。
【図７】本発明の一実施例によるキーピクチャーのナンバリングを有するエンコーディング方法を説明するフローチャートである。
【図８】本発明の一実施例によるキーピクチャーにナンバリングした場合、Ｐピクチャー損失有無を見つけ出す方法の概念図である。
【図９】本発明の一実施例によるキーピクチャーにナンバリングした場合、デコーディングする方法を説明するフローチャートである。
【図１０】図５の上位階層がキーピクチャーにナンバリングされたとき、一つのＰピクチャーが伝送過程で損失された場合、本発明の一実施例によるエラー伝播の例を示す図面である。
【図１１】図１０のように、キーピクチャーのナンバリングを通じてＰピクチャーの損失を見つけ出した場合、本発明の一実施例による下位階層の情報を利用してエラーが伝播されることを遮断する方法を示す概念図である。
【図１２】本発明の一実施例による上位階層で以前のＰピクチャーの損失を見つけ出した場合に、下位階層の情報を利用する方法を説明するフローチャートである。
【図１３】“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”に‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’を追加して、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’値が‘１’である場合にのみキーピクチャーナンバリングが行われる場合、本発明の一実施例によるデコーディング方法を説明するフローチャートである。
【図１４】ＡＧＳコーディング結果、サブＧＯＰモードが基本階層で［８,２,２，２］と選択されてコーディングされた状況及び‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’コーディングの一例を示す図面である。
【図１５】図１４の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’が５であるピクチャーをドロップさせて１５Ｈｚのフレーム率を有する様子を示す一実施例の図面図である。
【図１６】図１４の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’が４以上であるピクチャーをドロップさせて７.５Ｈｚのフレーム率を有する様子を示す一実施例の図面である。
【図１７】図１４の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’が３以上であるピクチャーをドロップさせて３.７５Ｈｚのフレーム率を支援せねばならないとき、キーピクチャーのドロップによるエラーの様子を示す一実施例の図面である。
【図１８】実際フットボールＣＩＦ ３.７５Ｈｚ画像で誤った参照によって割れたデコーディング結果（０〜７ピクチャー）を示す一実施例の図面である。
【図１９】図１７の上位階層のキーピクチャーにナンバリングされた場合、キーピクチャーの損失を見つけ出した時に、本発明の一実施例による基本階層の情報を利用する様子を示す図面である。
【図２０】実際フットボールＣＩＦ ３.７５Ｈｚの画像でエラーを隠してデコーディングした結果を示す一実施例の図面である。
【図２１】本発明の一実施例による‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’と‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’とを３ビットを利用してコーディングした場合に、キーピクチャーナンバリングされたビデオのデコーディング方法を説明するフローチャートである。
【図２２】本発明の一実施例によるキーピクチャーナンバリングを適用してエンコーディングを行うエンコーダを示す概略図である。
【図２３】本発明の一実施例によるキーピクチャーの番号からキーピクチャーの損失を検出してエラーを隠してデコーディングを行うデコーダを示す概略図である。
【図２４】本発明の一実施例によるキーピクチャーナンバリングとエラーを隠すコーデックとを表す概略図である。
【発明を実施するための形態】
【００３４】
以下、本発明の望ましい実施例が、添付された図面を参照して説明される。図面のうち、同じ構成要素については、たとえ他の図面上に表示されたとしても、可能な限り同じ参照番号及び符号で表しているのに留意せねばならない。下記の本発明に関する説明において、関連した公知の機能または構成についての具体的な説明は、本発明の要旨を必要以上にあいまいにすると判断される場合には、その詳細な説明を省略する。
【００３５】
図７は、本発明の一実施例によるピクチャーエンコーディング時キーピクチャーをナンバリングしてエンコーディングする方法を示すフローチャートである。
【００３６】
ピクチャーが入力されれば、入力されるピクチャーがＧＯＰ単位を区分する最後のピクチャーであるキーピクチャーであるか否かを確認する（Ｓ７１０）。もし、キーピクチャーであれば、キーピクチャーに順次にｎビットを使用して循環し、番号を付与する（Ｓ７２０）。前記番号付与は、ｎビットに対して２ｎモジュールで演算によって０から（２ｎ−１）まで循環し、順次に増加する番号をキーピクチャーに付与しうる。多層構造でエンコーディングされる場合には、上位階層のキーピクチャーにのみキーピクチャー番号を付与する。エンコーディングを完了する（Ｓ７３０）。
【００３７】
もし、キーピクチャーではなければ、ピクチャーモード類型によって番号を付与せずにエンコーディングを行う（Ｓ７３０）。
【００３８】
実際キーピクチャーのナンバリングをＪＳＶＣに適用しうる一例として、“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文にキーピクチャーのナンバリングをエンコーディングする３ビットの‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’構文を追加して変更しうる。構文は、次の通りである。
【００３９】
【表１】
【００４０】
【表２】
【００４１】
‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’は、スライスタイプが上位階層のＰピクチャーやＩピクチャーである時にコーディングされる。それで、キーピクチャーが損失されたとき、後述するように、下位階層の情報を利用してエラーを隠せるようにする。ＪＳＶＣで基本階層は、既存の動画国際標準であるＨ.２６４を利用するので、上位階層のスライスヘッダである“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文に‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’構文を追加する。
【００４２】
図８は、本発明の一実施例によるキーピクチャーのナンバリングを通じたＰピクチャーの損失有無を見つけ出す方法の概念図である。３番Ｐピクチャーが損失された場合に、４番Ｐピクチャーは、前のＰピクチャーの番号が２であることが分かり、３番Ｐピクチャーが損失されたことを認知しうる。すなわち、現在入力される現在キーピクチャーのキーピクチャー番号と以前に入力された過去キーピクチャーのキーピクチャー番号との差分値が１または−（２ｎ−１）でなければ、キーピクチャー損失と判断する。前記差分値は、エンコーディング時にｎビットで０から２ｎ−１まで順次に番号が付与されたので、現在キーピクチャーと過去キーピクチャーとのキーピクチャー間にキーピクチャーの損失がなければ、０から２ｎ−１の範囲内では、キーピクチャー番号の差分値は１となり、２ｎ−１の番号を有するキーピクチャーに続く次のキーピクチャーの番号は、０となるので、０番のキーピクチャーでの差分値は、−（２ｎ−１）となる。
【００４３】
図９は、前記のように、キーピクチャーに順次にｎビットを使用して循環し、順次にナンバリングした場合、本発明の一実施例によるデコーディング方法を説明するフローチャートである。
【００４４】
エンコーダにピクチャー（またはスライス）が入力されれば、前記入力される現在ピクチャーがＧＯＰを区分する最後のピクチャーであるキーピクチャーであるか否かを判断する（Ｓ９１０）。
【００４５】
もし、キーピクチャーであれば、キーピクチャーにｎビットでエンコーディングされたキーピクチャー番号を読み込む（Ｓ９２０）。もし、キーピクチャーではなければ、前記現在ピクチャーのモードによってデコーディングを行う（Ｓ９５０）。
【００４６】
前記現在キーピクチャーのキーピクチャー番号と直前に入力された過去キーピクチャーのキーピクチャー番号とを差分し（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ−ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）、その差分値が１または−（２ｎ−１）であるか否かを判断する（Ｓ９３０）。一例として、キーピクチャー番号が３ビットを利用してエンコーディングされた場合には、現在キーピクチャーのキーピクチャー番号と過去キーピクチャーのキーピクチャー番号との差分値が１または−７であるか否かを判断する。
【００４７】
もし、前記差分値が１または−（２ｎ−１）であれば、前記現在ピクチャーのマクロブロック別にモードによってデコーディングを行って完了する（Ｓ９５０）。
【００４８】
もし、前記差分値が１または−（２ｎ−１）ではなければ、前記現在キーピクチャーと前記過去キーピクチャーとの間にキーピクチャーが損失されたと認知し、キーピクチャーの損失情報をエラー処理部（エラー隠匿部）に伝達してエラーを処理する（Ｓ９４０）。デコーディングを完了する（Ｓ９５０）。
【００４９】
図１０は、図５の上位階層がキーピクチャーナンバリングされたとき、一つのＰピクチャーが伝送過程で損失された場合、エラー伝播の例を示す図面である。
【００５０】
上位階層でキーピクチャーがナンバリングされており、伝送過程で３番Ｐピクチャーが損失された場合、次の４番Ｐピクチャーは、以前のキーピクチャーのナンバーが２番であるので、キーピクチャーの差分値が２となるため、Ｐピクチャーが損失されたということを認知する。
【００５１】
以下では、前述したように、キーピクチャーのナンバリングを利用してエラーを認知した場合に、発生したエラーに対処するための効果的な具現例として、ＳＶＣのためのエラー隠匿方法を説明する。
【００５２】
図１１は、図１０のように、キーピクチャーのナンバリングを通じてＰピクチャーの損失が分かった場合に、下位階層の情報を利用してエラーが伝播されることを遮断する方法を示す概念図である。
【００５３】
多層構造を有するスケーラブルビデオコーディングで、上位階層のＰピクチャー損失時に下位階層の情報を利用しうる場合、下位階層の情報を利用してＰピクチャー損失によるエラーを処理しうる。上位階層のマクロブロックがインターモード（ピクチャー間の相関関係を利用して予測エンコーディングを行ったモード）でエンコーディングされたブロックに対しては、参照が損失されたため、下位階層のデコーディングされた画像をそのまま使用し、イントラモード（ピクチャー内の相関関係を利用してコーディングを行ったモード）でエンコーディングされたブロックに対しては、既存のデコーディング方法でコーディングする。これにより、現在Ｐピクチャー以後のＰピクチャーにエラー伝播を最小化しうる。
【００５４】
図１２は、上位階層で以前Ｐピクチャーの損失が分かった場合に、下位階層の情報を利用する方法を説明する本発明の一実施例のフローチャートである。
【００５５】
キーピクチャーが入力されれば、入力される現在キーピクチャーと前記現在キーピクチャー以前に入力された過去キーピクチャーとのキーピクチャー番号差分値を通じて、前記現在キーピクチャーと前記過去キーピクチャーとの間にＰピクチャーが損失されたか否かを確認する（Ｓ１２１０）。
【００５６】
キーピクチャーが損失されなかったならば、前記現在キーピクチャーのマクロブロック別にモード類型によってデコーディングを行う（Ｓ１２７０）。キーピクチャーが損失されたならば、前記現在キーピクチャーをマクロブロック単位でインターモードかイントラモードかモード類型を判断する（Ｓ１２２０）。
【００５７】
前記現在キーピクチャーのマクロブロックがインターモードではなければ、現在モードによってデコーディングを行う（Ｓ１２７０）。前記現在キーピクチャーのマクロブロックがインターモードである場合、前記現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像から前記現在キーピクチャーのマクロブロックに該当する領域を探索する（Ｓ１２３０）。
【００５８】
領域探索後、前記上位階層と前記下位階層との空間的解像度を比較して同一であるか否かを判断する（Ｓ１２４０）。
【００５９】
前記上位階層と前記下位階層との空間的解像度が同一であれば、前記下位階層の探索された領域の画像データをそのままコピーして、現在デコーディングする上位階層ピクチャーのマクロブロックに付加してデータを復旧する（Ｓ１２６０）。
【００６０】
もし、前記上位階層と前記下位階層との空間的解像度が同一でなければ、前記下位階層の探索された領域を上位階層と同じサイズにアップサンプリングする（Ｓ１２５０）。
【００６１】
次いで、前記アップサンプリングされた領域の画像データをコピーして現在デコーディングする上位階層キーピクチャーのマクロブロックに付加してデータを復旧する（Ｓ１２６０）。
【００６２】
一方、ネットワーク特性上キーピクチャー損失によるエラーの発生確率が低い場合には、エラー隠匿方法の使用が不必要であることもある。この場合には、キーピクチャーナンバリングを選択的に使用して特定ビット量を減らすことが望ましい。すなわち、キーピクチャーの損失を予想してエラー隠匿を処理する必要性がある場合にのみ、キーピクチャーナンバリング時に“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”に‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’を追加して具現しうる。“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”の構文は、次の通りである。
【００６３】
【表３】
【００６４】
【表４】
【００６５】
【表５】
【００６６】
また、“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文でキーピクチャーのナンバリングを‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が１である場合にのみ行えるように、次のように変更しうる。
【００６７】
【表６】
【００６８】
【表７】
【００６９】
図１３は、“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”に‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’を追加して、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’値が‘１’である場合にのみキーピクチャーナンバリングが行われた場合、本発明の一実施例によるデコーディング方法を説明するフローチャートである。
【００７０】
前記実施例は、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’と‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’とを３ビットを利用してコーディングした場合である。
ピクチャーが入力されれば、ピクチャー（またはスライス）のタイプがキーピクチャーであり、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が１であるか否かを判断する（Ｓ１３１０）。
【００７１】
前記‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が０であるか、またはピクチャータイプがキーピクチャーではなければ、所定のモードによってデコーディングを行い、デコーディングを終了する（Ｓ１３５０）。
【００７２】
もし、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が１であり、またピクチャータイプがキーピクチャーであれば、キーピクチャーにｎビットでコーディングされたキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）を読み込む（Ｓ１３２０）。
【００７３】
次いで、現在キーピクチャーのキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）と前記現在キーピクチャー以前に入力された過去キーピクチャーのキーピクチャー番号（ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）との差分値が１または−７であるか否かを判断する（Ｓ１３３０）。
【００７４】
前記差分値が１または−７であれば、所定のモードによってデコーディングを行い、デコーディングを終了する（Ｓ１３５０）。もし、前記差分値が１または−７ではなければ、前記現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失によるエラーを認知し、エラー情報を伝達してエラーを処理する（Ｓ１３４０）。デコーディングを終了する（Ｓ１３５０）。
【００７５】
以下では、キーピクチャーナンバリングを利用してエラーに対処するための効果的な具現の一例であって、本発明のコーディング方法をＡＧＳ（Ａｄａｐｔｉｖｅ ＧＯＰ Ｓｔｒｕｃｔｕｒｅ）に使用する方法を説明する。現在ＭＰＥＧ−４ ＪＳＶＣ ＪＳＶＭ ３.０のエンコーダイシュとして採用されたＡＧＳコーディング方法は、時間軸上に７.５Ｈｚ未満の時間的スケーラビリティを支援しない。
【００７６】
図１４は、ＡＧＳコーディングの一例であって、基本階層は、１５Ｈｚのフレーム率を有し、１６サイズのＧＯＰを単位でＡＧＳコーディングしてｓｕｂ−ＧＯＰモードが［８,２,２,２,２］と選択され、上位強化階層では、基本階層のｓｕｂ−ＧＯＰモードによって［１６,４,４,４］にコーディングされた状況と時間的スケーラビリティを提供するための情報である‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’のコーディングされた値を示している。
【００７７】
前記例は、時間的スケーラビリティは、高い‘ｔｅｍｐｏｒａ＿ｌｅｖｅｌ’値を有するピクチャーエキストラクターで順次に除去し、それぞれ１／２の時間的解像度を有するように設計されている。参考として、基本階層では、既存の動画国際標準であるＨ.２６４であるため、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’を有することができず、ＮＡＬユニットヘッダの‘ｎａｌ＿ｒｅｆ＿ｉｄｃ’情報を利用して、いかなる画像にも参照されないピクチャーをエキストラクターでドロップさせることによって、１／２の時間的解像度まで有させうる。
【００７８】
図１５は、図１４の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’値が５であるピクチャーをエキストラクターでドロップさせて１５Ｈｚのフレーム率を有する画像の一実施例を示す。
【００７９】
図１６は、図１５の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’値が４以上であるピクチャーをエキストラクターでドロップさせて７.５Ｈｚのフレーム率を有する画像の一実施例を示す。
【００８０】
図１７は、伝送線路上の制約によって、予想外に７.５Ｈｚ未満（３.７５Ｈｚまたは１.８７５Ｈｚなど）の時間的スケーラビリティが要求された場合に、一例として３.７５Ｈｚのフレーム率を提供するために、図１６の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’値が３以上である２番目及び４番目のＧＯＰのキーピクチャーを共にドロップさせた一実施例を示す。すなわち、図１７は、図１３で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’が３以上であるピクチャーをドロップさせて３.７５Ｈｚのフレーム率を有しようとするとき、キーピクチャーのドロップによるエラーの様子を示す一実施例の図面である。
【００８１】
エキストラクターは、ｖｉｓｕａｌ ｂｉｔｓｔｒｅａｍの内部構文に関係なく、ＮＡＬユニットヘッダの情報のみを有して処理するため、キーピクチャーも共にドロップされる。また、キーピクチャーがドロップされたが、デコーダでは、キーピクチャーのドロップ事実を分からなくて誤った参照を利用してデコーディングするので、エラーの発生を防止できない。
【００８２】
図１８は、実際フットボールＣＩＦ ３.７５Ｈｚの画像で誤った参照による割れたデコーディング結果（０〜７ピクチャー）を示す一実施例の図面である。
【００８３】
図１９は、図１７でキーピクチャーのナンバリングによって上位階層のキーピクチャー損失を見つけ出した時に、下位基本階層の情報を利用してエラーに対処する様子を示す一実施例の図面である。
【００８４】
すなわち、ＡＧＳ使用の場合にも、前記のように要求されるフレーム率によってキーピクチャーのドロップが発生することによって、発生するエラーをキーピクチャーのナンバリングを使用して解決しうる。図１９を参照すれば、キーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）が２であるキーピクチャーが損失された場合、キーピクチャー番号が３であるキーピクチャーは、以前のキーピクチャーのキーピクチャー番号が１であるため、参照せねばならないキーピクチャーが損失されたという事実を認識し、エラー隠匿の一方法であって、インターマクロブロックに対して下位基本階層の、デコーディングされて再構成された画像から前記上位階層のインターマクロブロックのような領域に該当する部分のデータをそのまま持ち込んで、現在デコーディングする前記上位階層のインターマクロブロックに満たす。
【００８５】
このような方法を通じて、図１８に対応するフットボールＣＩＦ ３.７５Ｈｚのシーケンスをデコーディングした結果が、図２０に示されている。図２０で、基本階層からデータを持ち込んでエラーを隠匿した結果を確認しうる。
【００８６】
前記方法を利用してＪＳＶＣの一実施例として“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”構文と“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文とを変更しうる。ＡＧＳで低い時間的スケーラビリティを支援するとき（７.５Ｈｚ未満）、キーピクチャーの損失があるので、ＡＧＳをコーディングする時には、ＡＧＳ使用有無についての情報である‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’を“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”に追加して具現しうる。“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”の構文は、次の通りである。
【００８７】
【表８】
【００８８】
【表９】
【００８９】
【表１０】
【００９０】
“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文で、キーピクチャーのナンバリングを‘ｕｓｅ＿ａｇｓ＿ｆｌａｇが１である場合にのみ行えるように、次のように変更しうる。
【００９１】
【表１１】
【００９２】
【表１２】
【００９３】
図２１は、‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’と‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’とを３ビットを利用してコーディングした場合に、本発明の一実施例によってデコーディングする方法を示すフローチャートである。ピクチャーが入力されれば、‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’が１であり、ピクチャー（またはスライス）のタイプがキーピクチャーであるか否かを判断する（Ｓ２１１０）。
【００９４】
‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’が０であるか、またはピクチャータイプがキーピクチャーではなければ、ピクチャーのマクロブロックモードによってデコーディングを行って完了する（Ｓ２１６０）。
【００９５】
‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’が１であるか、またはピクチャータイプがキーピクチャーであれば、キーピクチャーにｎビットにコーディングされたキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）を読み込む（Ｓ２１２０）。
【００９６】
直前キーピクチャーのキーピクチャー番号（ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）と現在キーピクチャーのキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）との差分値（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ−ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）が１または−７であるか否かを判断する（Ｓ２１３０）。
【００９７】
前記差分値が１または−７ではなければ、前記現在キーピクチャーと直前の過去キーピクチャーとの間にキーピクチャーの損失があることを認知し、エラーに対する処理を行う（Ｓ２１４０）。
【００９８】
エラー隠匿と共に、現在キーピクチャーのデコーディングを終了する（Ｓ２１５０）。
【００９９】
キーピクチャーナンバリングを利用してエラーを認知した場合、発生したエラーを対処するための効果的な具現の一実施例として、エラー隠匿方法とＡＧＳとを共に処理するために、構文を次のようにＪＳＶＣ“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”でエラー隠匿ビットとＡＧＳ使用ビットとを共有して使用しうる。方法は、構文にエラー隠匿情報ビットである‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’を追加し、ＡＧＳを使用する場合には、無条件１に設定して、低いフレーム率（７.５Ｈｚ未満）を支援するように具現しうる。“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”の構文は、次の通りである。
【０１００】
【表１３】
【０１０１】
【表１４】
【０１０２】
【表１５】
【０１０３】
“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文でキーピクチャーのナンバリングを‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が１である場合にのみ行えるように、次のように変更しうる。
【０１０４】
【表１６】
【０１０５】
【表１７】
【０１０６】
‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’と‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’とを３ビットを利用してコーディングした場合に、本発明の一実施例によるデコーディング方法は、図１３の通りである。
【０１０７】
図２２は、本発明の一実施例によるキーピクチャーナンバリングを含むエンコーディング方法が具現されるエンコーダの概略図を示す。
【０１０８】
図２２を参照すれば、キーピクチャーナンバリングを含むエンコーディングを行うエンコーダ２２００は、キーピクチャー確認部２２１０及びキーピクチャー番号付与部２２５０を備える。
【０１０９】
キーピクチャー確認部２２１０は、入力される現在ピクチャーが以前ピクチャーを参照するＧＯＰを区分する最後のピクチャーであるキーピクチャーであるか否かを確認する。
【０１１０】
キーピクチャー番号付与部２２５０は、入力される現在ピクチャーがキーピクチャーと確認されれば、ｎビットを使用して２ｎモジュールで演算によって０から２ｎ−１まで順次にキーピクチャー番号を付与する。前記キーピクチャー番号付与部２２５０は、エラー隠匿を要求しつつ、キーピクチャーの場合にのみまたはＡＧＳを使用しつつキーピクチャーの場合にのみ、ｎビットで順次にキーピクチャー番号を付与することもある。
【０１１１】
キーピクチャーに番号を付与してエンコーディングを行うことによって、デコーディング時にキーピクチャー間に連続的に参照しつつデコーディングを行う場合、キーピクチャー間の番号差分値からキーピクチャーの損失を把握して、エラー隠匿などのエラー処理を行える。これにより、誤った参照によるエラー伝播による画像品質の低下を最小化しうる。
【０１１２】
図２３は、本発明の一実施例によるキーピクチャーナンバリングを含むエンコーディングされたビデオのデコーディング方法が具現されるデコーダの概略図を示す。
【０１１３】
図２３を参照すれば、キーピクチャーナンバリングされたビデオをデコーディングするデコーダ２３００は、キーピクチャー判断部２３１０、キーピクチャー番号検索部２３３０、エラー検出部２３５０及びエラー隠匿部２３７０を備える。
【０１１４】
キーピクチャー判断部２３１０は、現在入力されるピクチャーが以前ピクチャーを参照するＧＯＰを区分する最後のピクチャーであるキーピクチャーであるか否かを判断する。
【０１１５】
キーピクチャー番号検索部２３３０は、前記キーピクチャー判断部２３１０で現在ピクチャーがキーピクチャーと判断された場合、現在キーピクチャーにエンコーディングされたキーピクチャー番号を読み込む。
【０１１６】
エラー検出部２３５０は、差分値比較部２３５１及びエラー情報伝達部２３５２を備える。前記エラー検出部２３５０は、現在キーピクチャーのキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）と以前に入力された過去キーピクチャーのキーピクチャー番号（ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）との差分値を前記差分値比較部２３５１で比較して、その値が１または−（２ｎ−１）であるか否かを判断する。前記差分値が１または−（２ｎ−１）ではない場合、前記エラー情報伝達部２３５２は、現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失があることを認知し、このようなエラー情報をエラー処理及び／またはエラー隠匿部に伝達する。エラー処理及び／またはエラー隠匿部は、前記エラー情報を受信して、設定された方法によってエラーを処理してエラー伝播を最小化する。
【０１１７】
エラー隠匿部２３７０は、多階層構造を有するスケーラブルビデオコーディングが行われて、上位階層が下位階層の情報を利用できる場合に適用される本発明の一実施例によるエラー隠匿方法を行う。
【０１１８】
前記エラー隠匿部２３７０は、モード判断部２３７１、領域探索部２３７２、解像度比較部２３７３、アップサンプリング部２３７４及びデータ復旧部２３７５を備える。
【０１１９】
エラー検出部によって上位階層の現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失があると認知された場合、現在キーピクチャーの参照キーピクチャーが損失されたので、過去キーピクチャーを参照してデコーディングを行うことによって、エラーが伝播されることを防止せねばならない。
【０１２０】
モード判断部２３７１は、前記のように上位階層のキーピクチャー損失によるエラーが検出された場合、現在キーピクチャーをマクロブロック別にインターモードかイントラモードかモードを判断する。
【０１２１】
領域探索部２３７２は、判断対象マクロブロックがインターモードと判断された場合、
現在キーピクチャーと時間的に対応する下位階層のピクチャーを選択し、前記対応する下位階層ピクチャーのデコーディングされた画像で前記上位階層の現在キーピクチャーのマクロブロックに該当する領域を探索する。
【０１２２】
解像度比較部２３７３は、前記下位階層ピクチャーで現在キーピクチャーのマクロブロックに該当する領域が探索された後、前記上位階層と下位階層との空間的解像度が同一であるか否かを比較する。
【０１２３】
データ復旧部２３７５は、二階層の空間的解像度が同一である場合、下位階層ピクチャーの探索された領域のデコーディングされた画像データをコピーして、上位階層の現在キーピクチャーの該当マクロブロック領域に付加することによってデコーディングを行う。もし、二階層の空間的解像度が同一ではない場合、アップサンプリング部２３７４で前記下位階層ピクチャーの探索された領域を上位階層の解像度と同じサイズにアップサンプリングし、アップサンプリングされた領域のデコーディングされた画像データをコピーして、上位階層の現在キーピクチャーの該当マクロブロック領域に付加することによってデコーディングを行う。
【０１２４】
前記のように下位階層の時間的に対応するピクチャーの画像情報を上位階層のデコーディングに適用するエラー隠匿方法によってデコーディングを行うことによって、損失されたキーピクチャーの代わりに、損失されたキーピクチャー以前のキーピクチャーを参照することによって、発生するエラーを隠匿しうる。
【０１２５】
図２４は、本発明の一実施例によるコーディングを行うコーデックの概略図を示す。
【０１２６】
図２４を参照すれば、前記コーデック２４００は、エンコーダ２４１０とデコーダ２４５０とに大別される。
【０１２７】
エンコーダ２４１０は、ＧＯＰ単位を区分するキーピクチャーに順次に番号を付与してエンコーディングした後、デコーダに伝送する。
【０１２８】
デコーダ２４５０は、キーピクチャーを伝送されてキーピクチャー間にキーピクチャー損失有無を検出し、キーピクチャーが損失された上位階層に対して下位階層が存在して下位階層の画像情報を利用できる場合、これにより、エラーを隠してピクチャーを復号化するデコーディングを行う。
【０１２９】
前記エンコーダ２４１０は、キーピクチャー確認部２４１１及びキーピクチャー番号付与部２４１２を備える。
【０１３０】
キーピクチャー確認部２４１０は、入力される現在ピクチャーがキーピクチャーであるか否かを確認する。キーピクチャー番号付与部２２５０は、入力される現在ピクチャーがキーピクチャーと確認されれば、ｎビットを使用して２ｎモジュールで演算によって０から２ｎ−１まで順次にキーピクチャー番号を付与する。前記キーピクチャー番号付与部２２５０は、エラー隠匿を要求しつつキーピクチャーである場合にのみまたはＡＧＳを使用しつつキーピクチャーである場合にのみ、ｎビットで順次にキーピクチャー番号を付与することもある。
【０１３１】
前記デコーダ２４５０は、キーピクチャー判断部２４５１、キーピクチャー番号検索部２４５２、エラー検出部２４５３及びエラー隠匿部２４５５を備える。
【０１３２】
キーピクチャー判断部２４５１は、現在入力されるピクチャーがキーピクチャーであるか否かを判断する。キーピクチャー番号検索部２４５２は、前記キーピクチャー判断部２４５１で現在ピクチャーがキーピクチャーと判断された場合、現在キーピクチャーにエンコーディングされたキーピクチャー番号を読み込む。
【０１３３】
エラー検出部２４５３は、現在キーピクチャーのキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）と以前に入力された過去キーピクチャーのキーピクチャー番号（ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）との差分値を差分値比較部（図示せず）で比較して、その値が１または−（２ｎ−１）であるか否かを判断する。前記差分値が１または−（２ｎ−１）ではない場合、エラー情報伝達部（図示せず）は、現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失があることを認知し、このようなエラー情報をエラー処理及び／またはエラー隠匿部に伝達する。エラー処理及び／またはエラー隠匿部は、前記エラー情報を受信して設定された方法によって、エラーを処理してエラー伝播を最小化する。
【０１３４】
エラー隠匿部２４５４は、多階層構造を有するスケーラブルビデオコーディングが行われて上位階層が下位階層の情報を利用できる場合、適用される本発明の一実施例によるエラー隠匿方法を行い、モード判断部２４５５、領域探索部２４５６、解像度比較部２４５７、アップサンプリング部２４５８及びデータ復旧部２４５９を備える。
【０１３５】
モード判断部２４５５は、上位階層のキーピクチャー損失によるエラーが検出された場合、現在キーピクチャーをマクロブロック別にインターモードかイントラモードかモードを判断する。
【０１３６】
領域探索部２４５６は、対象マクロブロックがインターモードと判断された場合、現在キーピクチャーと時間的に対応する下位階層のピクチャーを選択し、前記対応する下位階層ピクチャーのデコーディングされた画像で前記上位階層の現在キーピクチャーのマクロブロックに該当する領域を探索する。
【０１３７】
解像度比較部２４５７は、前記下位階層ピクチャーで現在キーピクチャーのマクロブロックに該当する領域が探索された後、前記上位階層と下位階層との空間的解像度が同一であるか否かを比較する。
【０１３８】
データ復旧部２４５９は、二階層の空間的解像度が同じである場合、下位階層ピクチャーの探索された領域のデコーディングされた画像データをコピーして、上位階層の現在キーピクチャーの該当マクロブロック領域に付加することによってデコーディングを行う。もし、二階層の空間的解像度が同一ではない場合、アップサンプリング部２４５８で前記下位階層ピクチャーの探索された領域を上位階層の解像度と同じサイズにアップサンプリングし、アップサンプリングされた領域のデコーディングされた画像データをコピーして上位階層の現在キーピクチャーの該当マクロブロック領域に付加することによってデコーディングを行う。
【０１３９】
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータ可読コードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置があり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存され、かつ実行される。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論される。
【０１４０】
以上、本発明について望ましい実施例を中心に説明した。ここで、特定の用語が使われたが、これは、単に本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。
【０１４１】
したがって、当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということが分かる。したがって、開示された実施例は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【技術分野】
【０００１】
本発明は、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：ＳＶＣ）方法に係り、さらに詳細には、キーピクチャーに番号を付与してデコーディング時にキーピクチャーの損失を検出することによってエラーを隠せるスケーラブルビデオコーディング方法及びそのコーディング方法を利用したコーデックに関する。
【背景技術】
【０００２】
図１は、ＪＳＶＣ（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）におけるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）構造とキーピクチャーとを示す図面であり、図２は、Ｐピクチャーが失われたとき、エラーの伝播を示す図面である。図２の（ａ）は、エラー伝播途中にＩピクチャーがある場合であり、（ｂ）は、エラー伝播途中にＩピクチャーがない場合を表す。
【０００３】
図１を参照すれば、ＪＳＶＣでＧＯＰ単位を区分する最後の位置のピクチャーをキーピクチャーという。前記キーピクチャーの間隔、すなわち、ＧＯＰサイズは、固定的か可変的であるが、時間的スケーラビリティが使われれば、前記キーピクチャーの間隔は、可変的である。
【０００４】
ＪＳＶＣでは、キーピクチャーがＩやＰピクチャーでコーディングされるが、キーピクチャーがＰピクチャーでコーディングされる場合には、キーピクチャー間に閉ループコーディングを行う。閉ループは、図２の例のように、Ｐピクチャーが連続的に以前Ｐピクチャーを参照して予測しつつ、コーディングがなされる構造を意味する。このように、Ｐピクチャーが閉ループでコーディングされている場合、伝送線路上にエラーによってＰピクチャーが損失される。
【０００５】
図２の（ａ）は、Ｐ１ピクチャーとＰ１１ピクチャーとが伝送過程で損失された場合に、エラーが伝播される様相を示す。損失したＰ１ピクチャーを参照して、予測デコーディングを行うＰ２ピクチャーは、損失したＰ１ピクチャーの代わりに、Ｐ１ピクチャー以前にデコーディングされたＩ０ピクチャーを参照して予測デコーディングを行うので、Ｐ２ピクチャーは、エラーを含み、その後にＰピクチャーにＩ８ピクチャーが伝送されるまで続けてエラーが伝播される。そして、Ｐ１１ピクチャーを参照して予測デコーディングを行うＰ１２ピクチャーは、損失したＰ１１ピクチャーの代わりに、Ｐ１１ピクチャー以前にデコーディングされたＰ１０ピクチャーを参照して予測デコーディングを行うので、Ｐ１２ピクチャーは、エラーを含み、その後にＰピクチャーにＩ１６ピクチャーが伝送されるまで続けてエラーが伝播される。
【０００６】
図２の（ｂ）は、図２の（ａ）とは異なり、途中にＩピクチャーがなく、続けてＰピクチャーのみでエンコーディングされている場合に、Ｐ１ピクチャーの損失時にエラーが伝播される様相を示す。損失したＰ１ピクチャーを参照して予測デコーディングを行うＰ２ピクチャーは、損失したＰ１ピクチャーの代わりに、Ｐ１ピクチャー以前にデコーディングされたＩ０ピクチャーを参照して予測デコーディングを行うので、エラーを含み、その後にＰピクチャーは、持続的にエラーを含む。
【０００７】
図３は、２個の階層構造を有する典型的なＪＳＶＣのコーディングの例を示す。下位階層（ｋ−１ ｌａｙｅｒ）は、１５Ｈｚのフレーム率を有し、ＧＯＰサイズが２である画像であり、上位階層（ｋ ｌａｙｅｒ）は、３０Ｈｚのフレーム率を有し、ＧＯＰサイズが４である画像を示す。
【０００８】
図３の下位階層では、Ｂ１ピクチャーをドロップさせることによって７.５Ｈｚのフレーム率を支援し、上位階層では、Ｂ２ピクチャーをドロップさせることによって１５Ｈｚのフレーム率を支援し、Ｂ２ピクチャーとＢ１ピクチャーとをドロップさせることによって７.５Ｈｚのフレーム率を支援しうる。
【０００９】
図４は、図３の全階層で７.５Ｈｚのフレーム率を支援する構造を示す図面であって、図３の下位階層でＢ１ピクチャーがドロップされ、上位階層でＢ２、Ｂ１ピクチャーがドロップされて、全階層で７.５Ｈｚのフレーム率を支援する。この場合、全階層でキーピクチャーのみが余り、キーピクチャー間の閉ループでコーディングされていることを確認しうる。
【００１０】
図５は、図４の上位階層で一つのＰピクチャーが伝送過程で損失された場合、エラー伝播を示す図面である。
【００１１】
図２の例と同様に、次のＰピクチャーをデコーディングするとき、損失される直前のＰピクチャーを参照してエラーが発生し、このエラーは、Ｉピクチャーが出るまで伝播される。もし、最後のピクチャーもＰピクチャーである場合、エラーは、続けて伝播される。
【００１２】
したがって、前記のような例でエラーが発生したことを認識し、効果的な措置を行わねばならない（もし、下位階層が基本階層である場合には、ＪＳＶＣでは、既存の動画コーディング国際標準であるＨ.２６４を利用してコーディングするため、特別の措置を行われない。）。しかし、現在ＪＳＶＣでは、ピクチャーバッファにリスト資料構造を利用してデコーディングされたピクチャーを保存する。したがって、一つのＰピクチャーをデコーディングする時には、リスト資料構造内でピクチャーがＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｆ Ｃｏｕｎｔｅｒ）情報を利用してデコーディングするＰピクチャーのＰＯＣを中心に整列され、リスト資料構造内での位置情報を利用して、特定のデコーディングされたピクチャーを参照してデコーディングを行う。このような構造は、前の例のように、一つのピクチャーが損失された場合、次のＰピクチャーがデコーディングされるとき、ピクチャーリスト内に存在する他のピクチャーを参照するので、デコーディングは可能になるが、誤った参照から予測を行ってエラーが発生し、このようなエラーは、続けて伝播されるという問題点がある。
【００１３】
図６は、図３のＢピクチャーを含む上位階層で一つのＰピクチャーが伝送過程で損失された場合、Ｐピクチャーでのエラー発生及び伝播を示す。
【００１４】
この場合には、損失されたＰピクチャーが属しているＧＯＰ内で、Ｂピクチャーは、デコーディングされたピクチャーバッファに時間的に先行するｌｉｓｔ０リストと時間的に後行するｌｉｓｔ１を有するが、ｌｉｓｔ１に存在せねばならないＰピクチャーが損失されたので、リストが空いていてデコーディング時にエラーが発生する。もし、かかるエラーを無視し、次のＧＯＰに超えた場合、図５のように、Ｐピクチャーは、誤った参照を有し、また同じＧＯＰ内のＢピクチャーも、誤った参照を有しつつ、エラーが発生したＰピクチャーの影響を受けるため、エラーが伝播され、次の連続しているＧＯＰでも、エラーが伝播される。したがって、エラーが発生したことを認識し、効果的な措置を行わねばならない。
【００１５】
しかし、ＪＳＶＣは、全ピクチャーに対してディスプレイ順序によって番号を付与するシステムを使用しているため、キーピクチャーのドロップ（または損失）を検出し難くて、キーピクチャーの損失によるエラーに効果的に対処できない。
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本発明は、前記問題点を解決するために提案されたものであって、Ｐピクチャーが閉ループ構造を有するＪＳＶＣでキーピクチャーをナンバリングすることによって、キーピクチャーの損失有無を見つけ出し、損失した場合に、エラーに効果的に対処可能にするコーディング方法及びその方法を利用したコーデックを提供することを目的とする。
【００１７】
本発明の他の目的及び長所は、下記の説明によって理解され、本発明の実施例によってさらに明確に分かる。また、本発明の目的及び長所は、特許請求の範囲に表した手段及びその組合わせによって実現されるということが容易に分かる。
【課題を解決するための手段】
【００１８】
前記目的を達成するための本発明の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループエンコーディングを行うスケーラブルビデオエンコーディング方法であって、入力されるピクチャーがキーピクチャーであるか否かを確認するステップと、前記ピクチャーがキーピクチャーである場合、前記キーピクチャーに順次に番号を付与するステップと、を含むことを特徴とする。
【００１９】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループデコーディングを行うスケーラブルビデオデコーディング方法であって、入力される現在ピクチャーがキーピクチャーであるか否かを判断するステップと、前記現在ピクチャーがキーピクチャーである場合、前記現在キーピクチャーからキーピクチャー番号を読み込むステップと、前記現在キーピクチャーのピクチャー番号と前記現在キーピクチャー以前に入力された過去キーピクチャーのピクチャー番号との差分値から、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失有無を検出するステップと、を含むことを特徴とする。
【００２０】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループデコーディングを行うスケーラブルビデオデコーディング方法であって、上位階層の入力される現在キーピクチャーと前記現在キーピクチャー以前に入力された過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記上位階層の現在キーピクチャーをマクロブロック単位でモード類型を判断するステップと、前記マクロブロックがインターモードである場合、前記上位階層の現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像から前記上位階層の現在キーピクチャーのマクロブロックに該当する領域を探索するステップと、前記探索された領域のデータをコピーして前記現在キーピクチャーのマクロブロックに付加してデータを復旧するステップと、を含むことを特徴とする。
【００２１】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーディング方法であって、キーピクチャーに順次に番号を付与しつつ、エンコーディングするステップと、前記番号エンコーディングされて入力される現在キーピクチャーと前記現在キーピクチャー以前に番号エンコーディングされて入力された過去キーピクチャーとのキーピクチャー番号の差分値から、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失を検出するステップと、を含むことを特徴とする。
【００２２】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーディング方法であって、上位階層のキーピクチャーに順次に番号を付与しつつ、エンコーディングするステップと、前記番号エンコーディングされて入力される上位階層の現在キーピクチャーと前記現在キーピクチャー以前に番号エンコーディングされて入力された過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記上位階層の現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像のデータを利用して、前記上位階層の現在キーピクチャーをデコーディングするステップと、を含むことを特徴とする。
【００２３】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループエンコーディングを行うスケーラブルビデオエンコーダであって、入力されるピクチャーがキーピクチャーであるか否かを確認するキーピクチャー確認部と、前記ピクチャーがキーピクチャーである場合、前記キーピクチャーに順次に番号を付与するキーピクチャー番号付与部と、を備えることを特徴とする。
【００２４】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループデコーディングを行うスケーラブルビデオデコーダであって、入力される現在ピクチャーがキーピクチャーであるか否かを判断するキーピクチャー判断部と、前記現在ピクチャーがキーピクチャーである場合、前記現在キーピクチャーからキーピクチャーの番号を読み込むキーピクチャー番号検索部と、前記現在キーピクチャーのピクチャー番号と前記現在キーピクチャー以前に入力された過去キーピクチャーのピクチャー番号との差分値から、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失有無を検出するエラー検出部と、を備えることを特徴とする。
【００２５】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループデコーディングを行うスケーラブルビデオデコーダであって、上位階層の現在入力されるキーピクチャーと過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記上位階層の現在キーピクチャーのマクロブロック単位でモード類型を判断するモード判断部と、前記マクロブロックがインターモードである場合、前記上位階層の現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像から前記上位階層の現在キーピクチャーのマクロブロックに該当する領域を探索する領域探索部と、前記探索された領域のデータをコピーして前記現在キーピクチャーのマクロブロックに付加してデータを復旧するデータ復旧部と、を備えることを特徴とする。
【００２６】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーデックであって、キーピクチャーに順次に番号を付与しつつ、エンコーディングするエンコーダと、前記番号エンコーディングされて入力される現在キーピクチャーと前記現在キーピクチャー以前に番号エンコーディングされて入力された過去キーピクチャーのキーピクチャー番号との差分値から、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失を検出するデコーダと、を備えることを特徴とする。
【００２７】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーデックであって、上位階層のキーピクチャーに順次に番号を付与しつつ、エンコーディングするエンコーダと、前記番号エンコーディングされて入力される上位階層の現在キーピクチャーと前記現在キーピクチャー以前に番号エンコーディングされて入力された過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記上位階層の現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像のデータを利用して、前記上位階層の現在キーピクチャーをデコーディングするデコーダと、を備えることを特徴とする。
【００２８】
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーディング方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することを特徴とする。
【発明の効果】
【００２９】
本発明は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループエンコーディングを行うＪＳＶＣで、キーピクチャーに順次に番号を付与するエンコーディングによって、デコーディング時にキーピクチャーの損失有無を見つけ出して損失によるエラーに効果的に対処可能にする。
【００３０】
本発明は、多階層構造のビデオストリームであって、下位基本階層の伝送が保証される場合、上位階層のキーピクチャーの損失時に、下位階層の対応ピクチャーのデコーディングされた画像情報を利用することによって、誤った参照によって発生するエラーを隠すことによって、画像品質の低下を最小化しうる。
【００３１】
そして、本発明は、システム特性上エラー発生が稀薄な場合、エラー検出及びエラー隠匿のためのキーピクチャー番号付与のための追加ビットの使用如何を選択することによってビット量を低減することもある。
【００３２】
また、本発明のキーピクチャーナンバリングによるコーディング方法は、ＡＧＳ使用の場合、７.５Ｈｚ以下のフレーム率を支援せねばならないことによって、キーピクチャーのドロップが発生する場合に適用しうるので、エラー検出及びエラー隠匿を効果的に行える。
【図面の簡単な説明】
【００３３】
【図１】ＪＳＶＣにおけるＧＯＰ構造及びキーピクチャーを示す図面である。
【図２】Ｐピクチャーが喪失された時にエラーの伝播を示す図面である。
【図３】２個の階層構造を有するＪＳＶＣコーディングの一例を示す図面である。
【図４】図３の全階層で７.５Ｈｚのフレーム率を支援する構造を示す図面である。
【図５】図４の上位階層で一つのＰピクチャーが伝送過程で損失された場合、エラー伝播を示す図面である。
【図６】図３の上位階層で一つのＰピクチャーが伝送過程で損失された場合、エラー伝播を示す図面である。
【図７】本発明の一実施例によるキーピクチャーのナンバリングを有するエンコーディング方法を説明するフローチャートである。
【図８】本発明の一実施例によるキーピクチャーにナンバリングした場合、Ｐピクチャー損失有無を見つけ出す方法の概念図である。
【図９】本発明の一実施例によるキーピクチャーにナンバリングした場合、デコーディングする方法を説明するフローチャートである。
【図１０】図５の上位階層がキーピクチャーにナンバリングされたとき、一つのＰピクチャーが伝送過程で損失された場合、本発明の一実施例によるエラー伝播の例を示す図面である。
【図１１】図１０のように、キーピクチャーのナンバリングを通じてＰピクチャーの損失を見つけ出した場合、本発明の一実施例による下位階層の情報を利用してエラーが伝播されることを遮断する方法を示す概念図である。
【図１２】本発明の一実施例による上位階層で以前のＰピクチャーの損失を見つけ出した場合に、下位階層の情報を利用する方法を説明するフローチャートである。
【図１３】“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”に‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’を追加して、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’値が‘１’である場合にのみキーピクチャーナンバリングが行われる場合、本発明の一実施例によるデコーディング方法を説明するフローチャートである。
【図１４】ＡＧＳコーディング結果、サブＧＯＰモードが基本階層で［８,２,２，２］と選択されてコーディングされた状況及び‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’コーディングの一例を示す図面である。
【図１５】図１４の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’が５であるピクチャーをドロップさせて１５Ｈｚのフレーム率を有する様子を示す一実施例の図面図である。
【図１６】図１４の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’が４以上であるピクチャーをドロップさせて７.５Ｈｚのフレーム率を有する様子を示す一実施例の図面である。
【図１７】図１４の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’が３以上であるピクチャーをドロップさせて３.７５Ｈｚのフレーム率を支援せねばならないとき、キーピクチャーのドロップによるエラーの様子を示す一実施例の図面である。
【図１８】実際フットボールＣＩＦ ３.７５Ｈｚ画像で誤った参照によって割れたデコーディング結果（０〜７ピクチャー）を示す一実施例の図面である。
【図１９】図１７の上位階層のキーピクチャーにナンバリングされた場合、キーピクチャーの損失を見つけ出した時に、本発明の一実施例による基本階層の情報を利用する様子を示す図面である。
【図２０】実際フットボールＣＩＦ ３.７５Ｈｚの画像でエラーを隠してデコーディングした結果を示す一実施例の図面である。
【図２１】本発明の一実施例による‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’と‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’とを３ビットを利用してコーディングした場合に、キーピクチャーナンバリングされたビデオのデコーディング方法を説明するフローチャートである。
【図２２】本発明の一実施例によるキーピクチャーナンバリングを適用してエンコーディングを行うエンコーダを示す概略図である。
【図２３】本発明の一実施例によるキーピクチャーの番号からキーピクチャーの損失を検出してエラーを隠してデコーディングを行うデコーダを示す概略図である。
【図２４】本発明の一実施例によるキーピクチャーナンバリングとエラーを隠すコーデックとを表す概略図である。
【発明を実施するための形態】
【００３４】
以下、本発明の望ましい実施例が、添付された図面を参照して説明される。図面のうち、同じ構成要素については、たとえ他の図面上に表示されたとしても、可能な限り同じ参照番号及び符号で表しているのに留意せねばならない。下記の本発明に関する説明において、関連した公知の機能または構成についての具体的な説明は、本発明の要旨を必要以上にあいまいにすると判断される場合には、その詳細な説明を省略する。
【００３５】
図７は、本発明の一実施例によるピクチャーエンコーディング時キーピクチャーをナンバリングしてエンコーディングする方法を示すフローチャートである。
【００３６】
ピクチャーが入力されれば、入力されるピクチャーがＧＯＰ単位を区分する最後のピクチャーであるキーピクチャーであるか否かを確認する（Ｓ７１０）。もし、キーピクチャーであれば、キーピクチャーに順次にｎビットを使用して循環し、番号を付与する（Ｓ７２０）。前記番号付与は、ｎビットに対して２ｎモジュールで演算によって０から（２ｎ−１）まで循環し、順次に増加する番号をキーピクチャーに付与しうる。多層構造でエンコーディングされる場合には、上位階層のキーピクチャーにのみキーピクチャー番号を付与する。エンコーディングを完了する（Ｓ７３０）。
【００３７】
もし、キーピクチャーではなければ、ピクチャーモード類型によって番号を付与せずにエンコーディングを行う（Ｓ７３０）。
【００３８】
実際キーピクチャーのナンバリングをＪＳＶＣに適用しうる一例として、“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文にキーピクチャーのナンバリングをエンコーディングする３ビットの‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’構文を追加して変更しうる。構文は、次の通りである。
【００３９】
【表１】
【００４０】
【表２】
【００４１】
‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’は、スライスタイプが上位階層のＰピクチャーやＩピクチャーである時にコーディングされる。それで、キーピクチャーが損失されたとき、後述するように、下位階層の情報を利用してエラーを隠せるようにする。ＪＳＶＣで基本階層は、既存の動画国際標準であるＨ.２６４を利用するので、上位階層のスライスヘッダである“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文に‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’構文を追加する。
【００４２】
図８は、本発明の一実施例によるキーピクチャーのナンバリングを通じたＰピクチャーの損失有無を見つけ出す方法の概念図である。３番Ｐピクチャーが損失された場合に、４番Ｐピクチャーは、前のＰピクチャーの番号が２であることが分かり、３番Ｐピクチャーが損失されたことを認知しうる。すなわち、現在入力される現在キーピクチャーのキーピクチャー番号と以前に入力された過去キーピクチャーのキーピクチャー番号との差分値が１または−（２ｎ−１）でなければ、キーピクチャー損失と判断する。前記差分値は、エンコーディング時にｎビットで０から２ｎ−１まで順次に番号が付与されたので、現在キーピクチャーと過去キーピクチャーとのキーピクチャー間にキーピクチャーの損失がなければ、０から２ｎ−１の範囲内では、キーピクチャー番号の差分値は１となり、２ｎ−１の番号を有するキーピクチャーに続く次のキーピクチャーの番号は、０となるので、０番のキーピクチャーでの差分値は、−（２ｎ−１）となる。
【００４３】
図９は、前記のように、キーピクチャーに順次にｎビットを使用して循環し、順次にナンバリングした場合、本発明の一実施例によるデコーディング方法を説明するフローチャートである。
【００４４】
エンコーダにピクチャー（またはスライス）が入力されれば、前記入力される現在ピクチャーがＧＯＰを区分する最後のピクチャーであるキーピクチャーであるか否かを判断する（Ｓ９１０）。
【００４５】
もし、キーピクチャーであれば、キーピクチャーにｎビットでエンコーディングされたキーピクチャー番号を読み込む（Ｓ９２０）。もし、キーピクチャーではなければ、前記現在ピクチャーのモードによってデコーディングを行う（Ｓ９５０）。
【００４６】
前記現在キーピクチャーのキーピクチャー番号と直前に入力された過去キーピクチャーのキーピクチャー番号とを差分し（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ−ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）、その差分値が１または−（２ｎ−１）であるか否かを判断する（Ｓ９３０）。一例として、キーピクチャー番号が３ビットを利用してエンコーディングされた場合には、現在キーピクチャーのキーピクチャー番号と過去キーピクチャーのキーピクチャー番号との差分値が１または−７であるか否かを判断する。
【００４７】
もし、前記差分値が１または−（２ｎ−１）であれば、前記現在ピクチャーのマクロブロック別にモードによってデコーディングを行って完了する（Ｓ９５０）。
【００４８】
もし、前記差分値が１または−（２ｎ−１）ではなければ、前記現在キーピクチャーと前記過去キーピクチャーとの間にキーピクチャーが損失されたと認知し、キーピクチャーの損失情報をエラー処理部（エラー隠匿部）に伝達してエラーを処理する（Ｓ９４０）。デコーディングを完了する（Ｓ９５０）。
【００４９】
図１０は、図５の上位階層がキーピクチャーナンバリングされたとき、一つのＰピクチャーが伝送過程で損失された場合、エラー伝播の例を示す図面である。
【００５０】
上位階層でキーピクチャーがナンバリングされており、伝送過程で３番Ｐピクチャーが損失された場合、次の４番Ｐピクチャーは、以前のキーピクチャーのナンバーが２番であるので、キーピクチャーの差分値が２となるため、Ｐピクチャーが損失されたということを認知する。
【００５１】
以下では、前述したように、キーピクチャーのナンバリングを利用してエラーを認知した場合に、発生したエラーに対処するための効果的な具現例として、ＳＶＣのためのエラー隠匿方法を説明する。
【００５２】
図１１は、図１０のように、キーピクチャーのナンバリングを通じてＰピクチャーの損失が分かった場合に、下位階層の情報を利用してエラーが伝播されることを遮断する方法を示す概念図である。
【００５３】
多層構造を有するスケーラブルビデオコーディングで、上位階層のＰピクチャー損失時に下位階層の情報を利用しうる場合、下位階層の情報を利用してＰピクチャー損失によるエラーを処理しうる。上位階層のマクロブロックがインターモード（ピクチャー間の相関関係を利用して予測エンコーディングを行ったモード）でエンコーディングされたブロックに対しては、参照が損失されたため、下位階層のデコーディングされた画像をそのまま使用し、イントラモード（ピクチャー内の相関関係を利用してコーディングを行ったモード）でエンコーディングされたブロックに対しては、既存のデコーディング方法でコーディングする。これにより、現在Ｐピクチャー以後のＰピクチャーにエラー伝播を最小化しうる。
【００５４】
図１２は、上位階層で以前Ｐピクチャーの損失が分かった場合に、下位階層の情報を利用する方法を説明する本発明の一実施例のフローチャートである。
【００５５】
キーピクチャーが入力されれば、入力される現在キーピクチャーと前記現在キーピクチャー以前に入力された過去キーピクチャーとのキーピクチャー番号差分値を通じて、前記現在キーピクチャーと前記過去キーピクチャーとの間にＰピクチャーが損失されたか否かを確認する（Ｓ１２１０）。
【００５６】
キーピクチャーが損失されなかったならば、前記現在キーピクチャーのマクロブロック別にモード類型によってデコーディングを行う（Ｓ１２７０）。キーピクチャーが損失されたならば、前記現在キーピクチャーをマクロブロック単位でインターモードかイントラモードかモード類型を判断する（Ｓ１２２０）。
【００５７】
前記現在キーピクチャーのマクロブロックがインターモードではなければ、現在モードによってデコーディングを行う（Ｓ１２７０）。前記現在キーピクチャーのマクロブロックがインターモードである場合、前記現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像から前記現在キーピクチャーのマクロブロックに該当する領域を探索する（Ｓ１２３０）。
【００５８】
領域探索後、前記上位階層と前記下位階層との空間的解像度を比較して同一であるか否かを判断する（Ｓ１２４０）。
【００５９】
前記上位階層と前記下位階層との空間的解像度が同一であれば、前記下位階層の探索された領域の画像データをそのままコピーして、現在デコーディングする上位階層ピクチャーのマクロブロックに付加してデータを復旧する（Ｓ１２６０）。
【００６０】
もし、前記上位階層と前記下位階層との空間的解像度が同一でなければ、前記下位階層の探索された領域を上位階層と同じサイズにアップサンプリングする（Ｓ１２５０）。
【００６１】
次いで、前記アップサンプリングされた領域の画像データをコピーして現在デコーディングする上位階層キーピクチャーのマクロブロックに付加してデータを復旧する（Ｓ１２６０）。
【００６２】
一方、ネットワーク特性上キーピクチャー損失によるエラーの発生確率が低い場合には、エラー隠匿方法の使用が不必要であることもある。この場合には、キーピクチャーナンバリングを選択的に使用して特定ビット量を減らすことが望ましい。すなわち、キーピクチャーの損失を予想してエラー隠匿を処理する必要性がある場合にのみ、キーピクチャーナンバリング時に“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”に‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’を追加して具現しうる。“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”の構文は、次の通りである。
【００６３】
【表３】
【００６４】
【表４】
【００６５】
【表５】
【００６６】
また、“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文でキーピクチャーのナンバリングを‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が１である場合にのみ行えるように、次のように変更しうる。
【００６７】
【表６】
【００６８】
【表７】
【００６９】
図１３は、“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”に‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’を追加して、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’値が‘１’である場合にのみキーピクチャーナンバリングが行われた場合、本発明の一実施例によるデコーディング方法を説明するフローチャートである。
【００７０】
前記実施例は、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’と‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’とを３ビットを利用してコーディングした場合である。
ピクチャーが入力されれば、ピクチャー（またはスライス）のタイプがキーピクチャーであり、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が１であるか否かを判断する（Ｓ１３１０）。
【００７１】
前記‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が０であるか、またはピクチャータイプがキーピクチャーではなければ、所定のモードによってデコーディングを行い、デコーディングを終了する（Ｓ１３５０）。
【００７２】
もし、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が１であり、またピクチャータイプがキーピクチャーであれば、キーピクチャーにｎビットでコーディングされたキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）を読み込む（Ｓ１３２０）。
【００７３】
次いで、現在キーピクチャーのキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）と前記現在キーピクチャー以前に入力された過去キーピクチャーのキーピクチャー番号（ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）との差分値が１または−７であるか否かを判断する（Ｓ１３３０）。
【００７４】
前記差分値が１または−７であれば、所定のモードによってデコーディングを行い、デコーディングを終了する（Ｓ１３５０）。もし、前記差分値が１または−７ではなければ、前記現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失によるエラーを認知し、エラー情報を伝達してエラーを処理する（Ｓ１３４０）。デコーディングを終了する（Ｓ１３５０）。
【００７５】
以下では、キーピクチャーナンバリングを利用してエラーに対処するための効果的な具現の一例であって、本発明のコーディング方法をＡＧＳ（Ａｄａｐｔｉｖｅ ＧＯＰ Ｓｔｒｕｃｔｕｒｅ）に使用する方法を説明する。現在ＭＰＥＧ−４ ＪＳＶＣ ＪＳＶＭ ３.０のエンコーダイシュとして採用されたＡＧＳコーディング方法は、時間軸上に７.５Ｈｚ未満の時間的スケーラビリティを支援しない。
【００７６】
図１４は、ＡＧＳコーディングの一例であって、基本階層は、１５Ｈｚのフレーム率を有し、１６サイズのＧＯＰを単位でＡＧＳコーディングしてｓｕｂ−ＧＯＰモードが［８,２,２,２,２］と選択され、上位強化階層では、基本階層のｓｕｂ−ＧＯＰモードによって［１６,４,４,４］にコーディングされた状況と時間的スケーラビリティを提供するための情報である‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’のコーディングされた値を示している。
【００７７】
前記例は、時間的スケーラビリティは、高い‘ｔｅｍｐｏｒａ＿ｌｅｖｅｌ’値を有するピクチャーエキストラクターで順次に除去し、それぞれ１／２の時間的解像度を有するように設計されている。参考として、基本階層では、既存の動画国際標準であるＨ.２６４であるため、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’を有することができず、ＮＡＬユニットヘッダの‘ｎａｌ＿ｒｅｆ＿ｉｄｃ’情報を利用して、いかなる画像にも参照されないピクチャーをエキストラクターでドロップさせることによって、１／２の時間的解像度まで有させうる。
【００７８】
図１５は、図１４の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’値が５であるピクチャーをエキストラクターでドロップさせて１５Ｈｚのフレーム率を有する画像の一実施例を示す。
【００７９】
図１６は、図１５の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’値が４以上であるピクチャーをエキストラクターでドロップさせて７.５Ｈｚのフレーム率を有する画像の一実施例を示す。
【００８０】
図１７は、伝送線路上の制約によって、予想外に７.５Ｈｚ未満（３.７５Ｈｚまたは１.８７５Ｈｚなど）の時間的スケーラビリティが要求された場合に、一例として３.７５Ｈｚのフレーム率を提供するために、図１６の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’値が３以上である２番目及び４番目のＧＯＰのキーピクチャーを共にドロップさせた一実施例を示す。すなわち、図１７は、図１３で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’が３以上であるピクチャーをドロップさせて３.７５Ｈｚのフレーム率を有しようとするとき、キーピクチャーのドロップによるエラーの様子を示す一実施例の図面である。
【００８１】
エキストラクターは、ｖｉｓｕａｌ ｂｉｔｓｔｒｅａｍの内部構文に関係なく、ＮＡＬユニットヘッダの情報のみを有して処理するため、キーピクチャーも共にドロップされる。また、キーピクチャーがドロップされたが、デコーダでは、キーピクチャーのドロップ事実を分からなくて誤った参照を利用してデコーディングするので、エラーの発生を防止できない。
【００８２】
図１８は、実際フットボールＣＩＦ ３.７５Ｈｚの画像で誤った参照による割れたデコーディング結果（０〜７ピクチャー）を示す一実施例の図面である。
【００８３】
図１９は、図１７でキーピクチャーのナンバリングによって上位階層のキーピクチャー損失を見つけ出した時に、下位基本階層の情報を利用してエラーに対処する様子を示す一実施例の図面である。
【００８４】
すなわち、ＡＧＳ使用の場合にも、前記のように要求されるフレーム率によってキーピクチャーのドロップが発生することによって、発生するエラーをキーピクチャーのナンバリングを使用して解決しうる。図１９を参照すれば、キーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）が２であるキーピクチャーが損失された場合、キーピクチャー番号が３であるキーピクチャーは、以前のキーピクチャーのキーピクチャー番号が１であるため、参照せねばならないキーピクチャーが損失されたという事実を認識し、エラー隠匿の一方法であって、インターマクロブロックに対して下位基本階層の、デコーディングされて再構成された画像から前記上位階層のインターマクロブロックのような領域に該当する部分のデータをそのまま持ち込んで、現在デコーディングする前記上位階層のインターマクロブロックに満たす。
【００８５】
このような方法を通じて、図１８に対応するフットボールＣＩＦ ３.７５Ｈｚのシーケンスをデコーディングした結果が、図２０に示されている。図２０で、基本階層からデータを持ち込んでエラーを隠匿した結果を確認しうる。
【００８６】
前記方法を利用してＪＳＶＣの一実施例として“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”構文と“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文とを変更しうる。ＡＧＳで低い時間的スケーラビリティを支援するとき（７.５Ｈｚ未満）、キーピクチャーの損失があるので、ＡＧＳをコーディングする時には、ＡＧＳ使用有無についての情報である‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’を“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”に追加して具現しうる。“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”の構文は、次の通りである。
【００８７】
【表８】
【００８８】
【表９】
【００８９】
【表１０】
【００９０】
“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文で、キーピクチャーのナンバリングを‘ｕｓｅ＿ａｇｓ＿ｆｌａｇが１である場合にのみ行えるように、次のように変更しうる。
【００９１】
【表１１】
【００９２】
【表１２】
【００９３】
図２１は、‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’と‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’とを３ビットを利用してコーディングした場合に、本発明の一実施例によってデコーディングする方法を示すフローチャートである。ピクチャーが入力されれば、‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’が１であり、ピクチャー（またはスライス）のタイプがキーピクチャーであるか否かを判断する（Ｓ２１１０）。
【００９４】
‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’が０であるか、またはピクチャータイプがキーピクチャーではなければ、ピクチャーのマクロブロックモードによってデコーディングを行って完了する（Ｓ２１６０）。
【００９５】
‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’が１であるか、またはピクチャータイプがキーピクチャーであれば、キーピクチャーにｎビットにコーディングされたキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）を読み込む（Ｓ２１２０）。
【００９６】
直前キーピクチャーのキーピクチャー番号（ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）と現在キーピクチャーのキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）との差分値（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ−ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）が１または−７であるか否かを判断する（Ｓ２１３０）。
【００９７】
前記差分値が１または−７ではなければ、前記現在キーピクチャーと直前の過去キーピクチャーとの間にキーピクチャーの損失があることを認知し、エラーに対する処理を行う（Ｓ２１４０）。
【００９８】
エラー隠匿と共に、現在キーピクチャーのデコーディングを終了する（Ｓ２１５０）。
【００９９】
キーピクチャーナンバリングを利用してエラーを認知した場合、発生したエラーを対処するための効果的な具現の一実施例として、エラー隠匿方法とＡＧＳとを共に処理するために、構文を次のようにＪＳＶＣ“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”でエラー隠匿ビットとＡＧＳ使用ビットとを共有して使用しうる。方法は、構文にエラー隠匿情報ビットである‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’を追加し、ＡＧＳを使用する場合には、無条件１に設定して、低いフレーム率（７.５Ｈｚ未満）を支援するように具現しうる。“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”の構文は、次の通りである。
【０１００】
【表１３】
【０１０１】
【表１４】
【０１０２】
【表１５】
【０１０３】
“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文でキーピクチャーのナンバリングを‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が１である場合にのみ行えるように、次のように変更しうる。
【０１０４】
【表１６】
【０１０５】
【表１７】
【０１０６】
‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’と‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’とを３ビットを利用してコーディングした場合に、本発明の一実施例によるデコーディング方法は、図１３の通りである。
【０１０７】
図２２は、本発明の一実施例によるキーピクチャーナンバリングを含むエンコーディング方法が具現されるエンコーダの概略図を示す。
【０１０８】
図２２を参照すれば、キーピクチャーナンバリングを含むエンコーディングを行うエンコーダ２２００は、キーピクチャー確認部２２１０及びキーピクチャー番号付与部２２５０を備える。
【０１０９】
キーピクチャー確認部２２１０は、入力される現在ピクチャーが以前ピクチャーを参照するＧＯＰを区分する最後のピクチャーであるキーピクチャーであるか否かを確認する。
【０１１０】
キーピクチャー番号付与部２２５０は、入力される現在ピクチャーがキーピクチャーと確認されれば、ｎビットを使用して２ｎモジュールで演算によって０から２ｎ−１まで順次にキーピクチャー番号を付与する。前記キーピクチャー番号付与部２２５０は、エラー隠匿を要求しつつ、キーピクチャーの場合にのみまたはＡＧＳを使用しつつキーピクチャーの場合にのみ、ｎビットで順次にキーピクチャー番号を付与することもある。
【０１１１】
キーピクチャーに番号を付与してエンコーディングを行うことによって、デコーディング時にキーピクチャー間に連続的に参照しつつデコーディングを行う場合、キーピクチャー間の番号差分値からキーピクチャーの損失を把握して、エラー隠匿などのエラー処理を行える。これにより、誤った参照によるエラー伝播による画像品質の低下を最小化しうる。
【０１１２】
図２３は、本発明の一実施例によるキーピクチャーナンバリングを含むエンコーディングされたビデオのデコーディング方法が具現されるデコーダの概略図を示す。
【０１１３】
図２３を参照すれば、キーピクチャーナンバリングされたビデオをデコーディングするデコーダ２３００は、キーピクチャー判断部２３１０、キーピクチャー番号検索部２３３０、エラー検出部２３５０及びエラー隠匿部２３７０を備える。
【０１１４】
キーピクチャー判断部２３１０は、現在入力されるピクチャーが以前ピクチャーを参照するＧＯＰを区分する最後のピクチャーであるキーピクチャーであるか否かを判断する。
【０１１５】
キーピクチャー番号検索部２３３０は、前記キーピクチャー判断部２３１０で現在ピクチャーがキーピクチャーと判断された場合、現在キーピクチャーにエンコーディングされたキーピクチャー番号を読み込む。
【０１１６】
エラー検出部２３５０は、差分値比較部２３５１及びエラー情報伝達部２３５２を備える。前記エラー検出部２３５０は、現在キーピクチャーのキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）と以前に入力された過去キーピクチャーのキーピクチャー番号（ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）との差分値を前記差分値比較部２３５１で比較して、その値が１または−（２ｎ−１）であるか否かを判断する。前記差分値が１または−（２ｎ−１）ではない場合、前記エラー情報伝達部２３５２は、現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失があることを認知し、このようなエラー情報をエラー処理及び／またはエラー隠匿部に伝達する。エラー処理及び／またはエラー隠匿部は、前記エラー情報を受信して、設定された方法によってエラーを処理してエラー伝播を最小化する。
【０１１７】
エラー隠匿部２３７０は、多階層構造を有するスケーラブルビデオコーディングが行われて、上位階層が下位階層の情報を利用できる場合に適用される本発明の一実施例によるエラー隠匿方法を行う。
【０１１８】
前記エラー隠匿部２３７０は、モード判断部２３７１、領域探索部２３７２、解像度比較部２３７３、アップサンプリング部２３７４及びデータ復旧部２３７５を備える。
【０１１９】
エラー検出部によって上位階層の現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失があると認知された場合、現在キーピクチャーの参照キーピクチャーが損失されたので、過去キーピクチャーを参照してデコーディングを行うことによって、エラーが伝播されることを防止せねばならない。
【０１２０】
モード判断部２３７１は、前記のように上位階層のキーピクチャー損失によるエラーが検出された場合、現在キーピクチャーをマクロブロック別にインターモードかイントラモードかモードを判断する。
【０１２１】
領域探索部２３７２は、判断対象マクロブロックがインターモードと判断された場合、
現在キーピクチャーと時間的に対応する下位階層のピクチャーを選択し、前記対応する下位階層ピクチャーのデコーディングされた画像で前記上位階層の現在キーピクチャーのマクロブロックに該当する領域を探索する。
【０１２２】
解像度比較部２３７３は、前記下位階層ピクチャーで現在キーピクチャーのマクロブロックに該当する領域が探索された後、前記上位階層と下位階層との空間的解像度が同一であるか否かを比較する。
【０１２３】
データ復旧部２３７５は、二階層の空間的解像度が同一である場合、下位階層ピクチャーの探索された領域のデコーディングされた画像データをコピーして、上位階層の現在キーピクチャーの該当マクロブロック領域に付加することによってデコーディングを行う。もし、二階層の空間的解像度が同一ではない場合、アップサンプリング部２３７４で前記下位階層ピクチャーの探索された領域を上位階層の解像度と同じサイズにアップサンプリングし、アップサンプリングされた領域のデコーディングされた画像データをコピーして、上位階層の現在キーピクチャーの該当マクロブロック領域に付加することによってデコーディングを行う。
【０１２４】
前記のように下位階層の時間的に対応するピクチャーの画像情報を上位階層のデコーディングに適用するエラー隠匿方法によってデコーディングを行うことによって、損失されたキーピクチャーの代わりに、損失されたキーピクチャー以前のキーピクチャーを参照することによって、発生するエラーを隠匿しうる。
【０１２５】
図２４は、本発明の一実施例によるコーディングを行うコーデックの概略図を示す。
【０１２６】
図２４を参照すれば、前記コーデック２４００は、エンコーダ２４１０とデコーダ２４５０とに大別される。
【０１２７】
エンコーダ２４１０は、ＧＯＰ単位を区分するキーピクチャーに順次に番号を付与してエンコーディングした後、デコーダに伝送する。
【０１２８】
デコーダ２４５０は、キーピクチャーを伝送されてキーピクチャー間にキーピクチャー損失有無を検出し、キーピクチャーが損失された上位階層に対して下位階層が存在して下位階層の画像情報を利用できる場合、これにより、エラーを隠してピクチャーを復号化するデコーディングを行う。
【０１２９】
前記エンコーダ２４１０は、キーピクチャー確認部２４１１及びキーピクチャー番号付与部２４１２を備える。
【０１３０】
キーピクチャー確認部２４１０は、入力される現在ピクチャーがキーピクチャーであるか否かを確認する。キーピクチャー番号付与部２２５０は、入力される現在ピクチャーがキーピクチャーと確認されれば、ｎビットを使用して２ｎモジュールで演算によって０から２ｎ−１まで順次にキーピクチャー番号を付与する。前記キーピクチャー番号付与部２２５０は、エラー隠匿を要求しつつキーピクチャーである場合にのみまたはＡＧＳを使用しつつキーピクチャーである場合にのみ、ｎビットで順次にキーピクチャー番号を付与することもある。
【０１３１】
前記デコーダ２４５０は、キーピクチャー判断部２４５１、キーピクチャー番号検索部２４５２、エラー検出部２４５３及びエラー隠匿部２４５５を備える。
【０１３２】
キーピクチャー判断部２４５１は、現在入力されるピクチャーがキーピクチャーであるか否かを判断する。キーピクチャー番号検索部２４５２は、前記キーピクチャー判断部２４５１で現在ピクチャーがキーピクチャーと判断された場合、現在キーピクチャーにエンコーディングされたキーピクチャー番号を読み込む。
【０１３３】
エラー検出部２４５３は、現在キーピクチャーのキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）と以前に入力された過去キーピクチャーのキーピクチャー番号（ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）との差分値を差分値比較部（図示せず）で比較して、その値が１または−（２ｎ−１）であるか否かを判断する。前記差分値が１または−（２ｎ−１）ではない場合、エラー情報伝達部（図示せず）は、現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失があることを認知し、このようなエラー情報をエラー処理及び／またはエラー隠匿部に伝達する。エラー処理及び／またはエラー隠匿部は、前記エラー情報を受信して設定された方法によって、エラーを処理してエラー伝播を最小化する。
【０１３４】
エラー隠匿部２４５４は、多階層構造を有するスケーラブルビデオコーディングが行われて上位階層が下位階層の情報を利用できる場合、適用される本発明の一実施例によるエラー隠匿方法を行い、モード判断部２４５５、領域探索部２４５６、解像度比較部２４５７、アップサンプリング部２４５８及びデータ復旧部２４５９を備える。
【０１３５】
モード判断部２４５５は、上位階層のキーピクチャー損失によるエラーが検出された場合、現在キーピクチャーをマクロブロック別にインターモードかイントラモードかモードを判断する。
【０１３６】
領域探索部２４５６は、対象マクロブロックがインターモードと判断された場合、現在キーピクチャーと時間的に対応する下位階層のピクチャーを選択し、前記対応する下位階層ピクチャーのデコーディングされた画像で前記上位階層の現在キーピクチャーのマクロブロックに該当する領域を探索する。
【０１３７】
解像度比較部２４５７は、前記下位階層ピクチャーで現在キーピクチャーのマクロブロックに該当する領域が探索された後、前記上位階層と下位階層との空間的解像度が同一であるか否かを比較する。
【０１３８】
データ復旧部２４５９は、二階層の空間的解像度が同じである場合、下位階層ピクチャーの探索された領域のデコーディングされた画像データをコピーして、上位階層の現在キーピクチャーの該当マクロブロック領域に付加することによってデコーディングを行う。もし、二階層の空間的解像度が同一ではない場合、アップサンプリング部２４５８で前記下位階層ピクチャーの探索された領域を上位階層の解像度と同じサイズにアップサンプリングし、アップサンプリングされた領域のデコーディングされた画像データをコピーして上位階層の現在キーピクチャーの該当マクロブロック領域に付加することによってデコーディングを行う。
【０１３９】
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータ可読コードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置があり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存され、かつ実行される。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論される。
【０１４０】
以上、本発明について望ましい実施例を中心に説明した。ここで、特定の用語が使われたが、これは、単に本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。
【０１４１】
したがって、当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということが分かる。したがって、開示された実施例は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【特許請求の範囲】
【請求項１】
ＧＯＰを区分する少なくとも一部のキーピクチャーに対して以前キーピクチャーを参照して同一レイヤーに属する他のピクチャーに対する予測を行うスケーラブルビデオエンコーディング方法において、
入力されるピクチャーがキーピクチャーであるか否かを確認するステップと、
キーピクチャーにだけ番号を付与し、キーピクチャー以外には番号を付与しないように、前記ピクチャーがキーピクチャーである場合、前記キーピクチャーに付与されるキーピクチャー番号は隣り合うキーピクチャーに割り当てられた番号と異に付与されるステップと、を含むスケーラブルビデオエンコーディング方法。
【請求項２】
前記キーピクチャー確認ステップは、
時間的レベルが０であるピクチャーをキーピクチャーと判断するステップを含むことを特徴とする請求項１に記載のスケーラブルビデオエンコーディング方法。
【請求項３】
前記キーピクチャー番号付与ステップは、
前記キーピクチャーにｎビットを使用して２nモジュールで演算によって循環し、順次にキーピクチャー番号を付与するステップを含み、前記ｎは、正の整数であることを特徴とする請求項１に記載のスケーラブルビデオエンコーディング方法。
【請求項４】
ＧＯＰを区分する少なくとも一部のキーピクチャーに対して以前キーピクチャーを参照して同一レイヤーに属する他のピクチャーに対する予測を行うスケーラブルビデオエンコーダにおいて、
入力されるピクチャーがキーピクチャーであるか否かを確認するキーピクチャー確認部と、
前記ピクチャーがキーピクチャーである場合、前記キーピクチャーに付与されるキーピクチャー番号は隣り合うキーピクチャーに割り当てられた番号と異に付与されるキーピクチャー番号付与部と、を備えるスケーラブルビデオエンコーダ。
【請求項５】
前記キーピクチャー確認部は、
時間的レベルが０であるピクチャーをキーピクチャーと判断することを特徴とする請求項４に記載のスケーラブルビデオエンコーダ。
【請求項６】
前記キーピクチャー番号付与部は、
前記キーピクチャーにｎビットを使用して２nモジュールで演算によって循環して順次にキーピクチャー番号を付与し、前記ｎは、正の整数であることを特徴とする請求項４に記載のスケーラブルビデオエンコーダ。
【請求項１】
ＧＯＰを区分する少なくとも一部のキーピクチャーに対して以前キーピクチャーを参照して同一レイヤーに属する他のピクチャーに対する予測を行うスケーラブルビデオエンコーディング方法において、
入力されるピクチャーがキーピクチャーであるか否かを確認するステップと、
キーピクチャーにだけ番号を付与し、キーピクチャー以外には番号を付与しないように、前記ピクチャーがキーピクチャーである場合、前記キーピクチャーに付与されるキーピクチャー番号は隣り合うキーピクチャーに割り当てられた番号と異に付与されるステップと、を含むスケーラブルビデオエンコーディング方法。
【請求項２】
前記キーピクチャー確認ステップは、
時間的レベルが０であるピクチャーをキーピクチャーと判断するステップを含むことを特徴とする請求項１に記載のスケーラブルビデオエンコーディング方法。
【請求項３】
前記キーピクチャー番号付与ステップは、
前記キーピクチャーにｎビットを使用して２nモジュールで演算によって循環し、順次にキーピクチャー番号を付与するステップを含み、前記ｎは、正の整数であることを特徴とする請求項１に記載のスケーラブルビデオエンコーディング方法。
【請求項４】
ＧＯＰを区分する少なくとも一部のキーピクチャーに対して以前キーピクチャーを参照して同一レイヤーに属する他のピクチャーに対する予測を行うスケーラブルビデオエンコーダにおいて、
入力されるピクチャーがキーピクチャーであるか否かを確認するキーピクチャー確認部と、
前記ピクチャーがキーピクチャーである場合、前記キーピクチャーに付与されるキーピクチャー番号は隣り合うキーピクチャーに割り当てられた番号と異に付与されるキーピクチャー番号付与部と、を備えるスケーラブルビデオエンコーダ。
【請求項５】
前記キーピクチャー確認部は、
時間的レベルが０であるピクチャーをキーピクチャーと判断することを特徴とする請求項４に記載のスケーラブルビデオエンコーダ。
【請求項６】
前記キーピクチャー番号付与部は、
前記キーピクチャーにｎビットを使用して２nモジュールで演算によって循環して順次にキーピクチャー番号を付与し、前記ｎは、正の整数であることを特徴とする請求項４に記載のスケーラブルビデオエンコーダ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−１８２８１９（Ｐ２０１２−１８２８１９Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１２−１０１５２４（Ｐ２０１２−１０１５２４）
【出願日】平成２４年４月２６日（２０１２．４．２６）
【分割の表示】特願２００８−５３５４４４（Ｐ２００８−５３５４４４）の分割
【原出願日】平成１８年１０月１０日（２００６．１０．１０）
【出願人】（５９６１８００７６）韓國電子通信研究院 (733)
【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ
【住所又は居所原語表記】１６１ Ｋａｊｏｎｇ−ｄｏｎｇ， Ｙｕｓｏｎｇ−ｇｕ， Ｔａｅｊｏｎ ｋｏｒｅａ
【出願人】（５０３１６５２５５）キュンヒ ユニバーシティ (3)
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２４年４月２６日（２０１２．４．２６）
【分割の表示】特願２００８−５３５４４４（Ｐ２００８−５３５４４４）の分割
【原出願日】平成１８年１０月１０日（２００６．１０．１０）
【出願人】（５９６１８００７６）韓國電子通信研究院 (733)
【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ
【住所又は居所原語表記】１６１ Ｋａｊｏｎｇ−ｄｏｎｇ， Ｙｕｓｏｎｇ−ｇｕ， Ｔａｅｊｏｎ ｋｏｒｅａ
【出願人】（５０３１６５２５５）キュンヒ ユニバーシティ (3)
【Ｆターム（参考）】
[ Back to top ]