画像分割を用いた画像処理方法及び装置
【課題】多数のプロセッサを用いて画像信号の圧縮及び復元を行うにあたって、伝送路誤りによる画質劣化を最小限に抑えると共に圧縮効率をさらに高めることができる、画像分割を用いた画像処理方法及び装置を提供する。
【解決手段】本発明の一実施形態に係る画像分割を用いた画像処理方法は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分するステップ、一定個数のサブブロック内においてそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ、及び前記多数のマクロブロックを前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するステップを含む。
【解決手段】本発明の一実施形態に係る画像分割を用いた画像処理方法は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分するステップ、一定個数のサブブロック内においてそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ、及び前記多数のマクロブロックを前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するステップを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像分割を用いた画像処理方法及び装置に関し、より詳しくは、マルチプロセッサを用いて高解像度の画像を並列に処理するために画像フレームを分割する技術に関する。
【背景技術】
【０００２】
携帯電話、ＰＭＰ、ＰＤＡなどのモバイル機器における画面解像度が次第に増加しつつあり、最近は、スマートフォンとタブレットＰＣの登場によって、モバイル機器においても高画質な動画像サービスの提供が可能となった。デジタルテレビが普及するにつれて、画面解像度は、１９２０×１０８０以上、即ち、フルＨＤ級の家庭用テレビが一般化し、これにより、フレームレートが増大している。さらには、画面の横方向に４Ｋまたは８Ｋの解像度（例えば、７６８０×４３２０）を有するＵＨＤＴＶ（Ｕｌｔｒａ ＨＤＴＶ）が次世代のテレビとして注目されている。
【０００３】
ディスプレイ装置の解像度増加と共に、画像の圧縮効率を高めることができる画像圧縮技術が開発されて使用されている。なお、画像の圧縮及び復元のための演算量は、画面サイズが大きくなるほど、また、フレームレートが増加するほど、増加するようになる。
【０００４】
また、多くの演算量を処理しながら消費電力を低減するための対策の一つとして、１チップに複数のＣＰＵを搭載したマルチコアプロセッサ（Ｍｕｌｔｉｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）が開発され、コンピュータやノートＰＣなどに広く使用され、スマートフォンとタブレットＰＣにも速やかに適用されている。
【０００５】
一般に、従来の画像圧縮方式では、画像データを効率よく圧縮するため、元の画像を一定大きさの複数のブロックに分けて処理し、１ブロックには、画面上で隣接したピクセルが含まれるようになる。一例として、Ｈ．２６４／ＡＶＣ規格の場合、マクロブロックを単位として画像を分割処理するが、マクロブロックは、１つの１６×１６サイズの輝度（Ｌｕｍｉｎａｎｃｅ）サンプルブロックと、２つのクロミナンス（Ｃｈｒｏｍｉｎａｎｃｅ）サンプルブロックからなる（クロミナンスサンプルの大きさは、入力画像のフォーマットに応じて変化する）。図１は、従来技術によって画像を１６×１６サイズのマクロブロックに分ける方法を示す図である。このように、全画面が均一な大きさのマクロブロックに分割され、マクロブロックを単位としてエンコーディング（ｅｎｃｏｄｉｎｇ、符号化）又はデコーディング（ｄｅｃｏｄｉｎｇ、復号化）の過程を行うようになる。
【０００６】
また、従来の画像圧縮規格では、伝送路誤りによる復号化画像の劣化を防止するため、元の画像を複数のスライスに分割して符号化する方法を使用することにより、あるスライスで発生した誤りが他のスライスへ伝播しないようにする。例えば、図２ａに示されるように、ＭＰＥＧ−４規格では、ラスタースキャン順で複数のマクロブロックを一纏まりとしてスライスを構成する方法が使用されている。Ｈ．２６４／ＡＶＣ規格では、図２ｂに示されるように、スキャン順と関係なく任意の順でスライスを構成する方法、図２ｃに示されるように、連続したマクロブロックを交替に互いに異なるスライスグループに割り当てる方法、図２ｄに示されるように、任意の四角形状の領域に属するマクロブロックを互いに異なるスライスグループに割り当てる方法などの種々の方法を使用してスライスを構成することができる。
【０００７】
なお、上述のスライス又はスライスグループへの画像分割方法は、画像の伝送及び復号化時における誤りの影響を低減するために使用することができ、また、画像の符号化又は復号化の過程を多数のプロセッサを用いて行うために使用することもできる。図３は、１つの画像を複数のスライスに分割し、これらを複数の画像符号化プロセッサで同時に符号化した後、１本のビットストリームとして結合する方法を示す図である。
【０００８】
しかし、上述のような従来の方法では、隣接したスライスの圧縮情報を用いることができないため、１画面全体を単一のスライスとして符号化する場合に比べて圧縮効率が低下するという短所があり、伝送路誤りが生じると、復号化画像の連続した一定領域において画質劣化が生じるという問題点が必然的に発生する。また、図２ｃに示す方法又はこれと類似した方法で、連続したマクロブロックを互いに異なるスライスグループに割り当てる場合は、誤りによる画質劣化を画面全体に分散させることはできるが、圧縮効率がさらに低下するという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記のような問題点を解決するために案出されたものであって、本発明の目的は、多数のプロセッサを用いて画像信号の圧縮及び復元を行うにあたって、伝送路誤りによる画質劣化を最小限に抑えると共に圧縮効率をさらに高めることができる、画像分割を用いた画像処理方法及び装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記のような目的を達成するための本発明の一実施形態に係る画像分割を用いた画像処理方法は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分するステップ、一定個数のサブブロック内においてそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ、及び前記多数のマクロブロックを前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するステップを含む。
【００１１】
また、多数の画像符号化プロセッサを用いて前記多数のスライスを並列に符号化するステップ、及び前記符号化したデータを結合してビットストリームを生成するステップをさらに含むことができる。
【００１２】
本発明の他の実施形態に係る画像分割を用いた画像処理方法は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分するステップ、前記多数のサブブロックにおけるそれぞれのピクセルの平均値を計算するステップ、及び前記平均値を有するピクセルで１つの平均値スライスを構成するステップを含む。
【００１３】
また、一定個数のサブブロック内においてそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ、及び前記多数のマクロブロックを前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するが、前記多数のスライスのそれぞれに含まれたピクセルと、前記平均値スライスに含まれたピクセルとの差値を計算して前記多数のスライスを前記差値から構成するステップをさらに含むことができる。
【００１４】
さらに、多数の画像符号化プロセッサを用いて、前記平均値スライスと、前記差値から構成された多数のスライスとを並列に符号化するステップ、及び前記符号化したデータを結合してビットストリームを生成するステップをさらに含むことができる。
前記符号化ステップにおいて、それぞれのスライスを構成するピクセルのサブブロック内の位置に関する情報をスライスヘッダに書き込むことができる。
【００１５】
本発明の一実施形態に係る画像分割を用いた画像処理装置は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分し、一定個数のサブブロック内においてそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成し、前記多数のマクロブロックを前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成する画像分割部、前記多数のスライスを並列に符号化するための多数の画像符号化プロセッサを含むマルチプロセッサ、及び前記符号化したデータを結合してビットストリームを生成するデータ結合部を備える。
【００１６】
前記画像分割部は、前記多数のサブブロックにおけるそれぞれのピクセルの平均値を計算し、前記平均値を有するピクセルで１つの平均値スライスをさらに構成することができ、前記多数のスライスのそれぞれに含まれたピクセルと前記平均値スライスに含まれたピクセルとの差値を計算して前記多数のスライスを前記差値から構成することができる。
前記多数の画像符号化プロセッサは、前記平均値スライスと前記差値から構成された多数のスライスとを並列に符号化することができる。
【発明の効果】
【００１７】
本発明によれば、隣接したピクセルがそれぞれ互いに異なるスライスに含まれるように画像を分割して符号化及び復号化処理を行うことにより、データ伝送過程で、一部のスライスに誤りが生じる場合でも、誤りによる画質劣化を画面全体に分散させるようにし、誤りなく伝送された周辺ピクセルによって、画質の劣化が目立つのを著しく低減することができる。
また、同数のスライスを、従来の技術で分割する場合に比べて、圧縮効率が向上する効果が得られる。
さらに、多数のスライスのうち１つのみを複合化する場合でも、縮小した全画像を得ることができ、さらに、空間的スケーラビリティ（Ｓｐａｔｉａｌ Ｓｃａｌａｂｉｌｉｔｙ）が効率よく得られる効果がある。
【図面の簡単な説明】
【００１８】
【図１】従来技術による画像分割方法を示す図である。
【図２ａ】元の画像を多数のスライスに分割する種々の方法を示す図である。
【図２ｂ】元の画像を多数のスライスに分割する種々の方法を示す図である。
【図２ｃ】元の画像を多数のスライスに分割する種々の方法を示す図である。
【図２ｄ】元の画像を多数のスライスに分割する種々の方法を示す図である。
【図３】多数のプロセッサを用いた画像符号化方法を示す図である。
【図４】本発明の一実施形態に係る画像分割を用いた画像処理方法を示すフローチャートである。
【図５】図４の実施形態に係る画像分割方法を詳細に説明するための図である。
【図６】本発明の他の実施形態に係る画像分割を用いた画像処理方法を示すフローチャートである。
【図７】本発明の一実施形態に係る画像分割を用いた画像処理装置の構成図である。
【発明を実施するための形態】
【００１９】
上述の目的、特徴及び長所について添付の図面に基づいて詳述する。これにより、本発明の属する技術分野で通常の知識を有する者であれば、本発明の技術的思想を容易に実施できる。なお、本発明を説明するにおいて、関連した公知の技術に対する具体的な説明が本発明の要旨を無駄に乱すおそれがあると判断される場合は、その詳細な説明は、省略する。
以下、添付の図面を参照して、本発明の好適な実施形態を詳細に説明する。
【００２０】
図４は、本発明の一実施形態に係る画像分割を用いた画像処理方法を示すフローチャートであり、図５は、図４の実施形態に係る画像分割方法を詳細に説明するための図である。
【００２１】
図４及び図５に示されるように、本発明の一実施形態に係る画像分割を用いた画像処理方法は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分するステップ（Ｓ４０１）、一定個数のサブブロック内でそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ（Ｓ４０３）、及び多数のマクロブロックをサンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するステップ（Ｓ４０５）を含む。また、多数の画像符号化プロセッサを用いて多数のスライスを並列に符号化するステップ（Ｓ４０７）、及び符号化したデータを結合してビットストリームを生成するステップ（Ｓ４０９）をさらに含むことができる。
【００２２】
本実施形態において、１つのマイクブロックは、１６×１６ピクセルサイズを有すると仮定する。但し、このようなマクロブロックの大きさは、画像のフォーマットや解像度などに応じて変化することは言うまでも無い。
【００２３】
ステップＳ４０１において、元の画像のＭ×Ｎピクセルが１つのサブブロックを構成するように画像を分割する。本実施形態において、Ｍ＝Ｎ＝２であり、図５のように１つのサブピクセル内で隣接した４つのピクセル位置をそれぞれａ、ｂ、ｃ、ｄと表示した。
【００２４】
ステップＳ４０３において、１６×１６個のサブブロック内でそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成する。即ち、横方向にＭ：１、縦方向にＮ：１のサンプリングを行うと、Ｍ＝Ｎ＝２の条件から、横、縦方向にピクセルが１ピクセル置きに選択され、それぞれのサブブロック内の隣接したａ、ｂ、ｃ、ｄの位置にあるピクセルがそれぞれ分離され、互いに異なるマクロブロックで構成される。このような方法で、ａ位置にあるピクセルを集めてマクロブロックａ０、ａ１、・・・を構成し、同様に、ｂ、ｃ、ｄの位置にあるピクセルを集めてマクロブロックｂ０、ｂ１、・・・、ｃ０、ｃ１、・・・、ｄ０、ｄ１、・・・を構成する。
【００２５】
ステップＳ４０５において、互いに同じ位置にあるピクセルから構成された多数のマクロブロックでスライスを構成する。即ち、マクロブロックａ０、ａ１、・・・を集めてスライスＡを構成し、同様にしてスライスＢ、Ｃ及びＤをそれぞれ構成する。
【００２６】
次いで、ステップＳ４０７において、多数の画像符号化プロセッサを用いてスライスＡ、Ｂ、Ｃ及びＤを並列に同時に符号化し、ステップＳ４０９で符号化したデータを結合して１本のビットストリームを生成する。それぞれのスライスは、順の制約を受けることなく、結合して伝送されることができる。
【００２７】
このとき、ビットストリームの正確な復号化が可能となるように、符号化過程で各スライスに含まれたピクセルがサブブロック内のある位置に相当するピクセルであるかに関する情報をスライスヘッダに書き込むことができる。又は、ＭとＮの値を予め定義し、かつスライス伝送順を予め定義することで、スライスヘッダに必要な情報を取り除くこともできる。以後の復号化過程では、上述のように書き込まれた情報又は予め定義された順に従ってそれぞれのスライスに含まれたピクセルが画面上の正しい位置にディスプレイできるように各スライスの復号化結果を組み換えることができる。
【００２８】
なお、本発明によれば、１本のビットストリームで空間的スケーラビリティを効果的に支援することができる。即ち、上述の実施形態によれば、それぞれのスライスが画像に関する空間的情報を等しく有するようになり、スライスＡ、Ｂ、Ｃ、Ｄのうちいずれか１つのみを複合化しても、縮小した全画面を得ることができる。
【００２９】
図６は、本発明の他の実施形態に係る画像分割を用いた画像処理方法を示すフローチャートである。
【００３０】
図６に示されるように、本発明の他の実施形態に係る画像処理方法は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分するステップ（Ｓ６０１）、多数のサブブロックにおけるそれぞれのピクセルの平均値を計算するステップ（Ｓ６０３）、計算された平均値を有するピクセルで１つの平均値スライスを構成するステップ（Ｓ６０５）、一定個数のサブブロック内でそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ（Ｓ６０７）、及び多数のマクロブロックをサンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するが、多数のスライスのそれぞれに含まれたピクセルと平均値スライスに含まれたピクセルとの差値を計算して多数のスライスを差値から構成するステップ（Ｓ６０９）を含む。また、多数の画像符号化プロセッサを用いて平均値スライスと差値から構成された多数のスライスとを並列に符号化するステップ（Ｓ６１１）、及び符号化したデータを結合してビットストリームを生成するステップ（Ｓ６１３）をさらに含むことができる。
【００３１】
本実施形態は、図４及び図５の実施形態において空間的スケーラビリティをさらに発展させて応用したものであって、図５に示されるようなそれぞれのサブブロックに含まれたピクセルの平均値を有するピクセルからなる別の平均値スライスを生成し、残りのスライスは、符号化効率を高めるために平均値スライスに含まれたピクセルとの差値から構成することができる。この場合、復号化過程において平均値スライスのみを複合化して小サイズの解凍画像を得ることができ、残りのスライスをさらに複合化することで、元の画像と同じサイズの画像を得ることが可能となる。
【００３２】
図７は、本発明の一実施形態に係る画像分割を用いた画像処理装置を示す構成図である。
【００３３】
図７に示されるように、本発明の一実施形態に係る画像分割を用いた画像処理装置は、画像分割部７０１、マルチプロセッサ７０３及びデータ結合部７０５を備えている。画像分割部７０１は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分し、一定個数のサブブロック内でそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成し、多数のマクロブロックをサンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成することができる。
【００３４】
また、画像分割部７０１は、多数のサブブロックにおけるそれぞれのピクセルの平均値を計算し、計算された平均値を有するピクセルで１つの平均値スライスをさらに構成することができ、この場合、多数のスライスのそれぞれに含まれたピクセルと平均値スライスに含まれたピクセルとの差値を計算して多数のスライスを計算された差値から構成することもできる。
【００３５】
マルチプロセッサ７０３は、多数のスライスを同時に並列に符号化するための多数の画像符号化プロセッサＰ＿Ａ、Ｐ＿Ｂ、・・・、Ｐ＿Ｘを含む。多数の画像符号化プロセッサＰ＿Ａ、Ｐ＿Ｂ、・・・、Ｐ＿Ｘは、符号化時に、それぞれのスライスを構成するピクセルのサブブロック内の位置に関する情報をスライスヘッダに書き込むことができる。このようなマルチプロセッサ７０３は、その具現例として、１チップに多数のコアを搭載し、互いに異なる演算を並列に行うことができるマルチコアプロセッサが挙げられる。
【００３６】
データ結合部７０５は、並列に符号化したデータを結合して１本のビットストリームを生成する。なお、並列データの結合順は、画像の規格などによって決められた順で結合し、又は、任意の順で行うことができる。
【００３７】
各構成のより詳細な機能及びその効果は、図４乃至図６に関する説明と同様である。
【００３８】
以上、本発明の技術思想を前述の好適な実施形態によって具体的に説明してきたが、前述の実施形態は、説明のためのもので、本発明を制限するものではない。また、本発明の技術分野における当業者であれば、本発明の技術思想の範囲内で種々に変更して実施することができる。
【技術分野】
【０００１】
本発明は、画像分割を用いた画像処理方法及び装置に関し、より詳しくは、マルチプロセッサを用いて高解像度の画像を並列に処理するために画像フレームを分割する技術に関する。
【背景技術】
【０００２】
携帯電話、ＰＭＰ、ＰＤＡなどのモバイル機器における画面解像度が次第に増加しつつあり、最近は、スマートフォンとタブレットＰＣの登場によって、モバイル機器においても高画質な動画像サービスの提供が可能となった。デジタルテレビが普及するにつれて、画面解像度は、１９２０×１０８０以上、即ち、フルＨＤ級の家庭用テレビが一般化し、これにより、フレームレートが増大している。さらには、画面の横方向に４Ｋまたは８Ｋの解像度（例えば、７６８０×４３２０）を有するＵＨＤＴＶ（Ｕｌｔｒａ ＨＤＴＶ）が次世代のテレビとして注目されている。
【０００３】
ディスプレイ装置の解像度増加と共に、画像の圧縮効率を高めることができる画像圧縮技術が開発されて使用されている。なお、画像の圧縮及び復元のための演算量は、画面サイズが大きくなるほど、また、フレームレートが増加するほど、増加するようになる。
【０００４】
また、多くの演算量を処理しながら消費電力を低減するための対策の一つとして、１チップに複数のＣＰＵを搭載したマルチコアプロセッサ（Ｍｕｌｔｉｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）が開発され、コンピュータやノートＰＣなどに広く使用され、スマートフォンとタブレットＰＣにも速やかに適用されている。
【０００５】
一般に、従来の画像圧縮方式では、画像データを効率よく圧縮するため、元の画像を一定大きさの複数のブロックに分けて処理し、１ブロックには、画面上で隣接したピクセルが含まれるようになる。一例として、Ｈ．２６４／ＡＶＣ規格の場合、マクロブロックを単位として画像を分割処理するが、マクロブロックは、１つの１６×１６サイズの輝度（Ｌｕｍｉｎａｎｃｅ）サンプルブロックと、２つのクロミナンス（Ｃｈｒｏｍｉｎａｎｃｅ）サンプルブロックからなる（クロミナンスサンプルの大きさは、入力画像のフォーマットに応じて変化する）。図１は、従来技術によって画像を１６×１６サイズのマクロブロックに分ける方法を示す図である。このように、全画面が均一な大きさのマクロブロックに分割され、マクロブロックを単位としてエンコーディング（ｅｎｃｏｄｉｎｇ、符号化）又はデコーディング（ｄｅｃｏｄｉｎｇ、復号化）の過程を行うようになる。
【０００６】
また、従来の画像圧縮規格では、伝送路誤りによる復号化画像の劣化を防止するため、元の画像を複数のスライスに分割して符号化する方法を使用することにより、あるスライスで発生した誤りが他のスライスへ伝播しないようにする。例えば、図２ａに示されるように、ＭＰＥＧ−４規格では、ラスタースキャン順で複数のマクロブロックを一纏まりとしてスライスを構成する方法が使用されている。Ｈ．２６４／ＡＶＣ規格では、図２ｂに示されるように、スキャン順と関係なく任意の順でスライスを構成する方法、図２ｃに示されるように、連続したマクロブロックを交替に互いに異なるスライスグループに割り当てる方法、図２ｄに示されるように、任意の四角形状の領域に属するマクロブロックを互いに異なるスライスグループに割り当てる方法などの種々の方法を使用してスライスを構成することができる。
【０００７】
なお、上述のスライス又はスライスグループへの画像分割方法は、画像の伝送及び復号化時における誤りの影響を低減するために使用することができ、また、画像の符号化又は復号化の過程を多数のプロセッサを用いて行うために使用することもできる。図３は、１つの画像を複数のスライスに分割し、これらを複数の画像符号化プロセッサで同時に符号化した後、１本のビットストリームとして結合する方法を示す図である。
【０００８】
しかし、上述のような従来の方法では、隣接したスライスの圧縮情報を用いることができないため、１画面全体を単一のスライスとして符号化する場合に比べて圧縮効率が低下するという短所があり、伝送路誤りが生じると、復号化画像の連続した一定領域において画質劣化が生じるという問題点が必然的に発生する。また、図２ｃに示す方法又はこれと類似した方法で、連続したマクロブロックを互いに異なるスライスグループに割り当てる場合は、誤りによる画質劣化を画面全体に分散させることはできるが、圧縮効率がさらに低下するという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記のような問題点を解決するために案出されたものであって、本発明の目的は、多数のプロセッサを用いて画像信号の圧縮及び復元を行うにあたって、伝送路誤りによる画質劣化を最小限に抑えると共に圧縮効率をさらに高めることができる、画像分割を用いた画像処理方法及び装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記のような目的を達成するための本発明の一実施形態に係る画像分割を用いた画像処理方法は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分するステップ、一定個数のサブブロック内においてそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ、及び前記多数のマクロブロックを前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するステップを含む。
【００１１】
また、多数の画像符号化プロセッサを用いて前記多数のスライスを並列に符号化するステップ、及び前記符号化したデータを結合してビットストリームを生成するステップをさらに含むことができる。
【００１２】
本発明の他の実施形態に係る画像分割を用いた画像処理方法は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分するステップ、前記多数のサブブロックにおけるそれぞれのピクセルの平均値を計算するステップ、及び前記平均値を有するピクセルで１つの平均値スライスを構成するステップを含む。
【００１３】
また、一定個数のサブブロック内においてそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ、及び前記多数のマクロブロックを前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するが、前記多数のスライスのそれぞれに含まれたピクセルと、前記平均値スライスに含まれたピクセルとの差値を計算して前記多数のスライスを前記差値から構成するステップをさらに含むことができる。
【００１４】
さらに、多数の画像符号化プロセッサを用いて、前記平均値スライスと、前記差値から構成された多数のスライスとを並列に符号化するステップ、及び前記符号化したデータを結合してビットストリームを生成するステップをさらに含むことができる。
前記符号化ステップにおいて、それぞれのスライスを構成するピクセルのサブブロック内の位置に関する情報をスライスヘッダに書き込むことができる。
【００１５】
本発明の一実施形態に係る画像分割を用いた画像処理装置は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分し、一定個数のサブブロック内においてそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成し、前記多数のマクロブロックを前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成する画像分割部、前記多数のスライスを並列に符号化するための多数の画像符号化プロセッサを含むマルチプロセッサ、及び前記符号化したデータを結合してビットストリームを生成するデータ結合部を備える。
【００１６】
前記画像分割部は、前記多数のサブブロックにおけるそれぞれのピクセルの平均値を計算し、前記平均値を有するピクセルで１つの平均値スライスをさらに構成することができ、前記多数のスライスのそれぞれに含まれたピクセルと前記平均値スライスに含まれたピクセルとの差値を計算して前記多数のスライスを前記差値から構成することができる。
前記多数の画像符号化プロセッサは、前記平均値スライスと前記差値から構成された多数のスライスとを並列に符号化することができる。
【発明の効果】
【００１７】
本発明によれば、隣接したピクセルがそれぞれ互いに異なるスライスに含まれるように画像を分割して符号化及び復号化処理を行うことにより、データ伝送過程で、一部のスライスに誤りが生じる場合でも、誤りによる画質劣化を画面全体に分散させるようにし、誤りなく伝送された周辺ピクセルによって、画質の劣化が目立つのを著しく低減することができる。
また、同数のスライスを、従来の技術で分割する場合に比べて、圧縮効率が向上する効果が得られる。
さらに、多数のスライスのうち１つのみを複合化する場合でも、縮小した全画像を得ることができ、さらに、空間的スケーラビリティ（Ｓｐａｔｉａｌ Ｓｃａｌａｂｉｌｉｔｙ）が効率よく得られる効果がある。
【図面の簡単な説明】
【００１８】
【図１】従来技術による画像分割方法を示す図である。
【図２ａ】元の画像を多数のスライスに分割する種々の方法を示す図である。
【図２ｂ】元の画像を多数のスライスに分割する種々の方法を示す図である。
【図２ｃ】元の画像を多数のスライスに分割する種々の方法を示す図である。
【図２ｄ】元の画像を多数のスライスに分割する種々の方法を示す図である。
【図３】多数のプロセッサを用いた画像符号化方法を示す図である。
【図４】本発明の一実施形態に係る画像分割を用いた画像処理方法を示すフローチャートである。
【図５】図４の実施形態に係る画像分割方法を詳細に説明するための図である。
【図６】本発明の他の実施形態に係る画像分割を用いた画像処理方法を示すフローチャートである。
【図７】本発明の一実施形態に係る画像分割を用いた画像処理装置の構成図である。
【発明を実施するための形態】
【００１９】
上述の目的、特徴及び長所について添付の図面に基づいて詳述する。これにより、本発明の属する技術分野で通常の知識を有する者であれば、本発明の技術的思想を容易に実施できる。なお、本発明を説明するにおいて、関連した公知の技術に対する具体的な説明が本発明の要旨を無駄に乱すおそれがあると判断される場合は、その詳細な説明は、省略する。
以下、添付の図面を参照して、本発明の好適な実施形態を詳細に説明する。
【００２０】
図４は、本発明の一実施形態に係る画像分割を用いた画像処理方法を示すフローチャートであり、図５は、図４の実施形態に係る画像分割方法を詳細に説明するための図である。
【００２１】
図４及び図５に示されるように、本発明の一実施形態に係る画像分割を用いた画像処理方法は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分するステップ（Ｓ４０１）、一定個数のサブブロック内でそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ（Ｓ４０３）、及び多数のマクロブロックをサンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するステップ（Ｓ４０５）を含む。また、多数の画像符号化プロセッサを用いて多数のスライスを並列に符号化するステップ（Ｓ４０７）、及び符号化したデータを結合してビットストリームを生成するステップ（Ｓ４０９）をさらに含むことができる。
【００２２】
本実施形態において、１つのマイクブロックは、１６×１６ピクセルサイズを有すると仮定する。但し、このようなマクロブロックの大きさは、画像のフォーマットや解像度などに応じて変化することは言うまでも無い。
【００２３】
ステップＳ４０１において、元の画像のＭ×Ｎピクセルが１つのサブブロックを構成するように画像を分割する。本実施形態において、Ｍ＝Ｎ＝２であり、図５のように１つのサブピクセル内で隣接した４つのピクセル位置をそれぞれａ、ｂ、ｃ、ｄと表示した。
【００２４】
ステップＳ４０３において、１６×１６個のサブブロック内でそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成する。即ち、横方向にＭ：１、縦方向にＮ：１のサンプリングを行うと、Ｍ＝Ｎ＝２の条件から、横、縦方向にピクセルが１ピクセル置きに選択され、それぞれのサブブロック内の隣接したａ、ｂ、ｃ、ｄの位置にあるピクセルがそれぞれ分離され、互いに異なるマクロブロックで構成される。このような方法で、ａ位置にあるピクセルを集めてマクロブロックａ０、ａ１、・・・を構成し、同様に、ｂ、ｃ、ｄの位置にあるピクセルを集めてマクロブロックｂ０、ｂ１、・・・、ｃ０、ｃ１、・・・、ｄ０、ｄ１、・・・を構成する。
【００２５】
ステップＳ４０５において、互いに同じ位置にあるピクセルから構成された多数のマクロブロックでスライスを構成する。即ち、マクロブロックａ０、ａ１、・・・を集めてスライスＡを構成し、同様にしてスライスＢ、Ｃ及びＤをそれぞれ構成する。
【００２６】
次いで、ステップＳ４０７において、多数の画像符号化プロセッサを用いてスライスＡ、Ｂ、Ｃ及びＤを並列に同時に符号化し、ステップＳ４０９で符号化したデータを結合して１本のビットストリームを生成する。それぞれのスライスは、順の制約を受けることなく、結合して伝送されることができる。
【００２７】
このとき、ビットストリームの正確な復号化が可能となるように、符号化過程で各スライスに含まれたピクセルがサブブロック内のある位置に相当するピクセルであるかに関する情報をスライスヘッダに書き込むことができる。又は、ＭとＮの値を予め定義し、かつスライス伝送順を予め定義することで、スライスヘッダに必要な情報を取り除くこともできる。以後の復号化過程では、上述のように書き込まれた情報又は予め定義された順に従ってそれぞれのスライスに含まれたピクセルが画面上の正しい位置にディスプレイできるように各スライスの復号化結果を組み換えることができる。
【００２８】
なお、本発明によれば、１本のビットストリームで空間的スケーラビリティを効果的に支援することができる。即ち、上述の実施形態によれば、それぞれのスライスが画像に関する空間的情報を等しく有するようになり、スライスＡ、Ｂ、Ｃ、Ｄのうちいずれか１つのみを複合化しても、縮小した全画面を得ることができる。
【００２９】
図６は、本発明の他の実施形態に係る画像分割を用いた画像処理方法を示すフローチャートである。
【００３０】
図６に示されるように、本発明の他の実施形態に係る画像処理方法は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分するステップ（Ｓ６０１）、多数のサブブロックにおけるそれぞれのピクセルの平均値を計算するステップ（Ｓ６０３）、計算された平均値を有するピクセルで１つの平均値スライスを構成するステップ（Ｓ６０５）、一定個数のサブブロック内でそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ（Ｓ６０７）、及び多数のマクロブロックをサンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するが、多数のスライスのそれぞれに含まれたピクセルと平均値スライスに含まれたピクセルとの差値を計算して多数のスライスを差値から構成するステップ（Ｓ６０９）を含む。また、多数の画像符号化プロセッサを用いて平均値スライスと差値から構成された多数のスライスとを並列に符号化するステップ（Ｓ６１１）、及び符号化したデータを結合してビットストリームを生成するステップ（Ｓ６１３）をさらに含むことができる。
【００３１】
本実施形態は、図４及び図５の実施形態において空間的スケーラビリティをさらに発展させて応用したものであって、図５に示されるようなそれぞれのサブブロックに含まれたピクセルの平均値を有するピクセルからなる別の平均値スライスを生成し、残りのスライスは、符号化効率を高めるために平均値スライスに含まれたピクセルとの差値から構成することができる。この場合、復号化過程において平均値スライスのみを複合化して小サイズの解凍画像を得ることができ、残りのスライスをさらに複合化することで、元の画像と同じサイズの画像を得ることが可能となる。
【００３２】
図７は、本発明の一実施形態に係る画像分割を用いた画像処理装置を示す構成図である。
【００３３】
図７に示されるように、本発明の一実施形態に係る画像分割を用いた画像処理装置は、画像分割部７０１、マルチプロセッサ７０３及びデータ結合部７０５を備えている。画像分割部７０１は、画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分し、一定個数のサブブロック内でそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成し、多数のマクロブロックをサンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成することができる。
【００３４】
また、画像分割部７０１は、多数のサブブロックにおけるそれぞれのピクセルの平均値を計算し、計算された平均値を有するピクセルで１つの平均値スライスをさらに構成することができ、この場合、多数のスライスのそれぞれに含まれたピクセルと平均値スライスに含まれたピクセルとの差値を計算して多数のスライスを計算された差値から構成することもできる。
【００３５】
マルチプロセッサ７０３は、多数のスライスを同時に並列に符号化するための多数の画像符号化プロセッサＰ＿Ａ、Ｐ＿Ｂ、・・・、Ｐ＿Ｘを含む。多数の画像符号化プロセッサＰ＿Ａ、Ｐ＿Ｂ、・・・、Ｐ＿Ｘは、符号化時に、それぞれのスライスを構成するピクセルのサブブロック内の位置に関する情報をスライスヘッダに書き込むことができる。このようなマルチプロセッサ７０３は、その具現例として、１チップに多数のコアを搭載し、互いに異なる演算を並列に行うことができるマルチコアプロセッサが挙げられる。
【００３６】
データ結合部７０５は、並列に符号化したデータを結合して１本のビットストリームを生成する。なお、並列データの結合順は、画像の規格などによって決められた順で結合し、又は、任意の順で行うことができる。
【００３７】
各構成のより詳細な機能及びその効果は、図４乃至図６に関する説明と同様である。
【００３８】
以上、本発明の技術思想を前述の好適な実施形態によって具体的に説明してきたが、前述の実施形態は、説明のためのもので、本発明を制限するものではない。また、本発明の技術分野における当業者であれば、本発明の技術思想の範囲内で種々に変更して実施することができる。
【特許請求の範囲】
【請求項１】
画像フレームを、一定のピクセルサイズを有する多数のサブブロックに区分するステップ；
一定個数のサブブロック内において、それぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ；及び
前記多数のマクロブロックを、前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するステップ；
を含む、画像分割を用いた画像処理方法。
【請求項２】
多数の画像符号化プロセッサを用いて前記多数のスライスを並列に符号化するステップ；及び
前記符号化したデータを結合してビットストリームを生成するステップ；
をさらに含むことを特徴とする請求項１に記載の画像分割を用いた画像処理方法。
【請求項３】
前記符号化ステップにおいて、それぞれのスライスを構成するピクセルのサブブロック内の位置に関する情報をスライスヘッダに書き込むことを特徴とする請求項１または２に記載の画像分割を用いた画像処理方法。
【請求項４】
画像フレームを、一定のピクセルサイズを有する多数のサブブロックに区分するステップ；
前記多数のサブブロックにおけるそれぞれのピクセルの平均値を計算するステップ；
前記平均値を有するピクセルで１つの平均値スライスを構成するステップ； 及び
前記平均値スライスを符号化してビットストリームを生成するステップ
を含む、画像分割を用いた画像処理方法。
【請求項５】
一定個数のサブブロック内において、それぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ；及び
前記多数のマクロブロックを前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するが、前記多数のスライスのそれぞれに含まれたピクセルと前記平均値スライスに含まれたピクセルとの差値を計算して前記多数のスライスを前記差値から構成するステップ；
をさらに含むことを特徴とする請求項４に記載の画像分割を用いた画像処理方法。
【請求項６】
多数の画像符号化プロセッサを用いて、前記平均値スライスと、前記差値から構成された多数のスライスとを並列に符号化するステップ；及び
前記符号化したデータを結合してビットストリームを生成するステップ；
をさらに含むことを特徴とする請求項５に記載の画像分割を用いた画像処理方法。
【請求項７】
画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分すし、一定個数のサブブロック内においてそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成し、前記多数のマクロブロックを前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成する画像分割部；
前記多数のスライスを並列に符号化するための多数の画像符号化プロセッサを含むマルチプロセッサ；及び
前記符号化したデータを結合してビットストリームを生成するデータ結合部；
を備える、画像分割を用いた画像処理装置。
【請求項８】
前記画像分割部は、前記多数のサブブロックにおけるそれぞれのピクセルの平均値を計算し、前記平均値を有するピクセルで１つの平均値スライスをさらに構成することを特徴とする請求項７に記載の画像分割を用いた画像処理装置。
【請求項９】
前記画像分割部は、前記多数のスライスのそれぞれに含まれたピクセルと前記平均値スライスに含まれたピクセルとの差値を計算して前記多数のスライスを前記差値から構成することを特徴とする請求項８に記載の画像分割を用いた画像処理装置。
【請求項１】
画像フレームを、一定のピクセルサイズを有する多数のサブブロックに区分するステップ；
一定個数のサブブロック内において、それぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ；及び
前記多数のマクロブロックを、前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するステップ；
を含む、画像分割を用いた画像処理方法。
【請求項２】
多数の画像符号化プロセッサを用いて前記多数のスライスを並列に符号化するステップ；及び
前記符号化したデータを結合してビットストリームを生成するステップ；
をさらに含むことを特徴とする請求項１に記載の画像分割を用いた画像処理方法。
【請求項３】
前記符号化ステップにおいて、それぞれのスライスを構成するピクセルのサブブロック内の位置に関する情報をスライスヘッダに書き込むことを特徴とする請求項１または２に記載の画像分割を用いた画像処理方法。
【請求項４】
画像フレームを、一定のピクセルサイズを有する多数のサブブロックに区分するステップ；
前記多数のサブブロックにおけるそれぞれのピクセルの平均値を計算するステップ；
前記平均値を有するピクセルで１つの平均値スライスを構成するステップ； 及び
前記平均値スライスを符号化してビットストリームを生成するステップ
を含む、画像分割を用いた画像処理方法。
【請求項５】
一定個数のサブブロック内において、それぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成するステップ；及び
前記多数のマクロブロックを前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成するが、前記多数のスライスのそれぞれに含まれたピクセルと前記平均値スライスに含まれたピクセルとの差値を計算して前記多数のスライスを前記差値から構成するステップ；
をさらに含むことを特徴とする請求項４に記載の画像分割を用いた画像処理方法。
【請求項６】
多数の画像符号化プロセッサを用いて、前記平均値スライスと、前記差値から構成された多数のスライスとを並列に符号化するステップ；及び
前記符号化したデータを結合してビットストリームを生成するステップ；
をさらに含むことを特徴とする請求項５に記載の画像分割を用いた画像処理方法。
【請求項７】
画像フレームを一定のピクセルサイズを有する多数のサブブロックに区分すし、一定個数のサブブロック内においてそれぞれ同じ位置にあるピクセルをサンプリングして多数のマクロブロックを構成し、前記多数のマクロブロックを前記サンプリングされたピクセルのサブブロック内の位置に応じて区分して多数のスライスを構成する画像分割部；
前記多数のスライスを並列に符号化するための多数の画像符号化プロセッサを含むマルチプロセッサ；及び
前記符号化したデータを結合してビットストリームを生成するデータ結合部；
を備える、画像分割を用いた画像処理装置。
【請求項８】
前記画像分割部は、前記多数のサブブロックにおけるそれぞれのピクセルの平均値を計算し、前記平均値を有するピクセルで１つの平均値スライスをさらに構成することを特徴とする請求項７に記載の画像分割を用いた画像処理装置。
【請求項９】
前記画像分割部は、前記多数のスライスのそれぞれに含まれたピクセルと前記平均値スライスに含まれたピクセルとの差値を計算して前記多数のスライスを前記差値から構成することを特徴とする請求項８に記載の画像分割を用いた画像処理装置。
【図１】
【図２ａ】
【図２ｂ】
【図２ｃ】
【図２ｄ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２ａ】
【図２ｂ】
【図２ｃ】
【図２ｄ】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−９０３３０（Ｐ２０１３−９０３３０Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１２−２２０６７６（Ｐ２０１２−２２０６７６）
【出願日】平成２４年１０月２日（２０１２．１０．２）
【出願人】（５９６１８００７６）韓國電子通信研究院 (733)
【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ
【住所又は居所原語表記】１６１ Ｋａｊｏｎｇ−ｄｏｎｇ， Ｙｕｓｏｎｇ−ｇｕ， Ｔａｅｊｏｎ ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２４年１０月２日（２０１２．１０．２）
【出願人】（５９６１８００７６）韓國電子通信研究院 (733)
【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ
【住所又は居所原語表記】１６１ Ｋａｊｏｎｇ−ｄｏｎｇ， Ｙｕｓｏｎｇ−ｇｕ， Ｔａｅｊｏｎ ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]