符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム
【課題】画像入力から画像出力までの処理遅延を短くすることを課題とする。
【解決手段】この画像処理システムは、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割して振り分けられた複数の符号化部により、画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する。また、画像処理システムは、符号化データ内の画像ブロックの並び順または復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割して複数の復号化部に振り分け、振り分けられた複数の復号化部により、画像ブロックの並び順または表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、表示装置への出力順に画像データを出力する。
【解決手段】この画像処理システムは、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割して振り分けられた複数の符号化部により、画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する。また、画像処理システムは、符号化データ内の画像ブロックの並び順または復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割して複数の復号化部に振り分け、振り分けられた複数の復号化部により、画像ブロックの並び順または表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、表示装置への出力順に画像データを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力された入力画像を複数領域に分割して、分割した複数領域の画像を符号化して符号化データを生成する複数の符号化部を備え、前記入力画像の画面順と符号化データ内の画面順が等しくなる符号化装置、符号化方法、符号化プログラムおよび符号化された符号化データを受信して、受信した符号化データを復号化して元の画像データを生成する複数の復号化部を備え、前記符号化データ内の画面順と出力画像の画面順が等しくなる復号化装置、復号化方法、復号化プログラムに関する。
【背景技術】
【０００２】
従来より、動画像を複数領域に分割して圧縮符号化するという技術がある（特開平１０−２３４０４３号公報）。例えば、図１４や図１５などのように、画面を４つの領域に分割(1/4画面)して、それぞれを１の時間で符号化可能な符号化装置で並列に符号化すると、１画面でも１の時間で処理が可能なことになる（分割しない場合は、４倍の性能の符号化装置が必要）。
【０００３】
ここで、図１４を例にして、従来から一般的に用いられている図１６に示した符号化装置と図１７に示した復号化装置を用いて、分割された画像データが符号化されて送信され、当該符号化データを復号化して元の画像データを得るまでの処理を具体的に説明する。符号化装置（エンコーダ）は、画像が入力されると、図１８に示すように、入力された画像を４つの領域に分割する。そして、符号化装置は、分割した４つの領域それぞれを、別々の符号化部（処理能力は同じ）で符号化し、全ての画像ブロックについて符号化が完了すると、当該符号化データを復号化装置に送信する。
【０００４】
そして、復号化装置（デコーダ）は、符号化装置より受け付けた符号化データを、符号化装置と同様、処理能力が同じ４つの復号化部を用いて復号化する。ここで、符号化装置と復号化装置とは、両方とも４つの符号化または復号化処理部を備えているため、復号化装置は、符号化装置により分割された領域と同じように、符号化データを４並列で実行することとなる。そして、復号化装置は、受け付けた符号化データの全てを復号化すると、復号化して得られた画像データをモニタや他の装置などに出力する。
【０００５】
【特許文献１】特開平１０−２３４０４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した従来の技術は、符号化（エンコード）遅延や復号化（デコード）遅延を短くすることができないという課題があった。
【０００７】
具体的には、符号化装置は、入力された画像を分割したとしても、画像内の画像ブロックが全て符号化した後でしか、符号化データを復号化装置に送信することができず、同様に、復号化装置は、受信した符号化データを並列して処理を行うことができても、全ての符号化データを復号化した後でしか、復号化して得られる画像データを出力することができない。
【０００８】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像入力から画像出力までの処理遅延を短くすることが可能である符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
また、本発明に係る符号化装置は、入力された入力画像を複数領域に分割して、分割した複数領域の画像を符号化して符号化データを生成する複数の符号化部を備え、前記入力画像の画面順と符号化データ内の画面順が等しくなる符号化装置であって、前記入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割する画像分割手段と、前記画像分割手段により分割された画像が振り分けられた複数の符号化部により、前記画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する符号化データ出力手段と、を備えたことを特徴とする。
【００１０】
また、本発明に係る復号化装置は、符号化された符号化データを受信して、受信した符号化データを復号化して元の画像データを生成する複数の復号化部を備え、前記符号化データ内の画面順と出力画像の画面順が等しくなる復号化装置であって、前記符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分ける画像分割手段と、前記画像分割手段により分割された画像が振り分けられた複数の復号化部により、前記画像ブロックの並び順または前記表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、前記表示装置への出力順に画像データを出力する画像データ出力手段と、を備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割し、分割された画像が振り分けられた複数の符号化部により、画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力するので、符号化の処理遅延（画像入力から符号化データ出力までの遅延）を短くすることが可能である。
【００１２】
また、本発明によれば、符号化データ内の画像ブロックの並び順または復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分け、分割された画像が振り分けられた複数の復号化部により、画像ブロックの並び順または表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、表示装置への出力順に画像データを出力するので、復号化の処理遅延（符号化データ入力から画像出力までの遅延）を短くすることが可能である。
【発明を実施するための最良の形態】
【００１３】
以下に添付図面を参照して、この発明に係る符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラムの実施例を詳細に説明する。なお、以下では、本実施例に係る符号化装置と復号化装置とから構成される画像処理システムの概要および特徴、画像処理システムの構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。
【実施例１】
【００１４】
［用語の説明］
まず、図１９〜図２１を用いて、本実施例で用いる用語について説明する。本実施例で用いる「画像ブロック」とは、MPEG-2やH.264などの符号化方法により決まる符号化装置（エンコーダ）や復号化装置（デコーダ）の処理単位であり、図１９に示すように、画面全体を構成している映像全体を示す画像に対して、画像の構成要素の最小単位である画素をブロック状に集めたものを示す。なお、図１９では画像ブロックは４画素×４画素で構成されているが、画像ブロックと画素の関係はこの構成に限定されず、MPEG-2やH.264などの符号化方法における処理単位により決まる。また、本実施例で用いる「ロウ」とは、図１９に示すように、上記した画像ブロックを帯状に集めたものを指す。なお、図１９は、画像ブロックとロウとを説明するための図である。
【００１５】
そして、本実施例で用いる「画像ブロックの並び順」とは、図２０に示すように、画面全体を構成している映像全体を示す画像に対して、符号化データ内における画像ブロックの順序を示すものである。また、本実施例で用いる「スキャン順」とは、ビデオカメラなどの画像を入力する入力装置やモニタなどの画像を出力する表示装置の走査順を示し、一般的なものとしては、図２１に示すように、左から右へ行った後に、右端で次のラインの左へ折り返す順序となる。さらに、入力装置から符号化装置への画像データの入力順、復号化装置から表示装置への画像データの出力順は、一般的にはスキャン順と等しい。なお、図２０は、画像ブロックの並び順を説明するための図であり、図２１は、スキャン順を説明するための図である。
【００１６】
［画像処理システムの概要および特徴］
次に、図１を用いて、実施例１に係る画像処理システムの概要および特徴を説明する。図１は、実施例１に係る画像処理システムの概要と特徴を説明するための図である。
【００１７】
この画像処理システムは、入力された入力画像を複数領域に分割して、分割した複数領域の画像を符号化して符号化データを生成する複数の符号化部を備え、入力画像の画面順と符号化データ内の画面順が等しくなる符号化装置（エンコーダ）と、符号化された符号化データを受信して、受信した符号化データを復号化して元の画像データを生成する複数の復号化部を備え、符号化データ内の画面順と出力画像の画面順が等しくなる復号化装置（デコーダ）とから構成される。
【００１８】
なお、本実施例では、説明上、処理性能が同じ４つの符号化部（部分領域符号化部１〜４）で符号化して符号化データを生成する符号化装置と、処理性能が同じ４つの復号化部（部分領域復号化部１〜４）で復号化して元の画像データを生成する復号化装置とから構成される画像処理システムについて説明するが、処理部の数や性能の違いなどをこれに限定するものではない。また、本システムは、MPEG-2やH.264など様々な符号化方法に適用することができる。
【００１９】
このような構成において、画像処理システムは、上記したように、入力された入力画像を複数領域に分割して、分割した複数領域の画像を４つの符号化部で符号化して符号化データを生成して送信し、符号化された符号化データを受信して、受信した符号化データを４つの復号化部で復号化して元の画像データを生成することを概要とするものであり、特に、画像入力から画像出力までの処理遅延を短くすることが可能であることに主たる特徴がある。
【００２０】
この主たる特徴について具体的に説明すると、この画像処理システムの符号化装置は、図１に示すように、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の符号化部に振り分ける。具体的に例を挙げると、符号化装置は、図１の（ａ）に示した入力画像内の画像ブロックの並び順で４つに分割し、部分領域１については部分領域符号化部１に振り分け、部分領域２については部分領域符号化部２に振り分け、部分領域３については部分領域符号化部３に振り分け、部分領域４については部分領域符号化部４に振り分ける。つまり、符号化装置は、入力画像内の画像ブロック「０、１、８、９、１６、１７、２４、２５」については部分領域符号化部１に振り分け、入力画像内の画像ブロック「２、３、１０、１１、１８、１９、２６、２７」については部分領域符号化部２に振り分け、入力画像内の画像ブロック「４、５、１２、１３、２０、２１、２８、２９」については部分領域符号化部３に振り分け、入力画像内の画像ブロック「６、７、１４、１５、２２、２３、３０、３１」については部分領域符号化部４に振り分ける。
【００２１】
そして、符号化装置は、分割された画像が振り分けられた複数の符号化部により、画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する。上記した例で具体的に説明すると、符号化装置の各符号化部は、入力された画像ブロックを順に符号化していく。つまり、部分領域符号化部１は、入力画像内の画像ブロック「０、１、８、９、１６、１７、２４、２５」の順に符号化する。部分領域符号化部２は、入力画像内の画像ブロック「２、３、１０、１１、１８、１９、２６、２７」を順に符号化する。同様に、部分領域符号化部３は、入力画像内の画像ブロック「４、５、１２、１３、２０、２１、２８、２９」を順に符号化し、部分領域符号化部４は、入力画像内の画像ブロック「６、７、１４、１５、２２、２３、３０、３１」を順に符号化する。それぞれの部分領域符号化部は独立して並列に動作する。
【００２２】
そして、符号化装置は、各符号化部により、分割した画像ブロックの並び順である「０〜７」の画像ブロックが符号化されると、画像ブロック「８」以降が符号化されるのを待たずに、画像ブロック「０〜７」の符号化データを復号化装置に送信する。このように、符号化装置は、分割した画像ブロックの並び順である「０〜７」、「８〜１５」、「１６〜２３」、「２４〜３１」の各並びが符号化される度に、符号化された並びの符号化データを復号化装置に送信する。
【００２３】
その後、復号化装置は、符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分ける。上記した例で具体的に説明すると、復号化装置は、入力画像の画像ブロック「０〜７」の符号化データを符号化装置より受信した場合に、画像ブロック「０、１」を部分領域復号化部１に振り分け、画像ブロック「２、３」を部分領域復号化部２に振り分け、画像ブロック「４、５」を部分領域復号化部３に振り分け、画像ブロック「６、７」を部分領域復号化部４に振り分ける。このように、復号化装置は、符号化装置より受信した符号化データを画像ブロックの並び順または復号化して得られた元の画像データを出力する表示装置への出力順で分割し、分割した画像を４つの復号化部に振り分ける。
【００２４】
そして、復号化装置は、分割された画像が振り分けられた複数の復号化部により、画像ブロックの並び順または前記表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、当該復号化したデータをモニタなどに表示出力する。上記した例で具体的に説明すると、復号化装置は、符号化装置より受信した画像ブロックの並び順である画像ブロック「０〜７」の符号化データを復号化すると、当該復号化したデータを連結して、モニタなどに表示出力する。つまり、復号化装置は、分割した画像ブロックの並び順である「０〜７」、「８〜１５」、「１６〜２３」、「２４〜３１」の各並びの符号化データを符号化装置から受信し、それぞれの並びの符号化データを復号化する度に、画像データを格納し、表示装置への出力順に画像データを出力する。
【００２５】
このように、実施例１に係る画像処理システムは、入力された画像を全て符号化するのを待たずに、符号化装置により分割された入力画像内の画像ブロックの並び順で符号化される度に、符号化データを復号化装置に送信し、また、復号化装置により受信された画像ブロックの並び順または表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、表示装置への出力順に画像データを出力することができる結果、上記した主たる特徴のごとく、画像入力から画像出力までの処理遅延を短くすることが可能である。
【００２６】
［画像処理システムの構成］
次に、図２と図３とを用いて、図１に示した画像処理システムの構成を説明する。図２は、実施例１に係る画像処理システムの符号化装置の構成を示すブロック図であり、図３は、実施例１に係る画像処理システムの復号化装置の構成を示すブロック図である。
【００２７】
（符号化装置の構成）
図２に示すように、この符号化装置１０は、入力画像バッファ１１と、入力画像制御部１２と、部分領域符号化部１〜４と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５とから構成される。
【００２８】
入力画像バッファ１１は、入力された画像データを記憶する。具体的には、入力画像バッファ１１は、後述する入力画像制御部１２に接続され、ビデオカメラなどの画像入力装置から入力された画像データを記憶する。
【００２９】
入力画像制御部１２は、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の符号化部に振り分ける。具体的に例を挙げると、入力画像制御部１２は、入力画像バッファ１１に記憶される画像データに対して、当該画像データ内の画像ブロックの並び順で分割し、分割した画像データそれぞれを後述する部分領域符号化部１〜４に振り分ける。例えば、図１の（ａ）に示したような画像データ「０、１、２、３、４、５、６、７」が入力されたとき、入力画像制御部１２は、入力画像内の部分領域１内の「０、１」については部分領域符号化部１に振り分け、部分領域２内の「２、３」については部分領域符号化部２に振り分け、部分領域３内の「４、５」については部分領域符号化部３に振り分け、部分領域４内の「６、７」については部分領域符号化部４に振り分ける。同様に、画像データ「８、９、１０、１１、１２、１３、１４、１５」が入力されたとき、「８、９」については部分領域符号化部１に、「１０、１１」については部分領域符号化部２に、「１２、１３」については部分領域符号化部３に、「１４、１５」については部分領域符号化部４に振り分ける。画像データ「１６、１７、１８、１９、２０、２１、２２、２３」、「２４、２５、２６、２７、２８、２９、３０、３１」も同様に振り分ける。
【００３０】
部分領域符号化部１〜４は、入力画像制御部１２により入力された部分領域の画像データに対して符号化する。具体的に例を挙げれば、部分領域符号化部１〜４は、入力画像制御部１２により入力された入力画像の部分領域の画像データに対して、必要に応じて参照画像制御部／画像バッファ１３に格納される参照画像を読み出して符号化し、符号化したデータから順に部分画像領域符号化データバッファ１４に格納する。上記した例で説明すると、部分領域符号化部１は、入力画像制御部１２により入力された「０、１、８、９、１６、１７、２４、２５」について、まず、画像ブロック「０」を符号化して部分画像領域符号化データバッファ１４に格納し、次に、画像ブロック「１」を符号化して部分画像領域符号化データバッファ１４に格納する。さらに部分領域符号化部１〜４は、必要に応じてそれぞれの部分領域符号化部が符号化したデータを元に部分領域参照画像を作成し、参照画像制御部／画像バッファ１３に格納する。このように、部分領域符号化部１は、入力画像制御部１２により入力された「０、１、８、９、１６、１７、２４、２５」に対して、画像ブロック「０」から順に符号化していく。なお、部分領域符号化部２〜３についても、部分領域符号化部１と並列して符号化処理を行って、入力された画像ブロックを順に符号化して部分画像領域符号化データバッファ１４に格納していくので、ここでは、その詳細な説明は省略する。
【００３１】
参照画像制御部／画像バッファ１３は、部分領域符号化部１〜４の符号化処理に用いられる参照画像を保持および制御する。具体的に例を挙げれば、参照画像制御部／画像バッファ１３は、部分領域符号化部１〜４から参照画像の取得要求を受信した場合に、当該取得要求に対応する参照画像を、保持する参照画像の中から取得して、要求元の部分領域符号化部に提供する。さらに参照画像制御部／画像バッファ１３は、部分領域符号化部１〜４にて作成された部分参照画像データを後の符号化で参照されうる参照画像として保持する。
【００３２】
部分画像領域符号化データバッファ１４は、符号化された符号化データを記憶する。具体的に例を挙げれば、部分画像領域符号化データバッファ１４は、後述する符号化データ連結制御部１５に接続され、部分領域符号化部１〜４から出力された符号化された符号化データを受け付けて保持する。
【００３３】
符号化データ連結制御部１５は、入力画像制御部１２により分割された画像が振り分けられた部分領域符号化部１〜４により、画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する。具体的に例を挙げると、符号化データ連結制御部１５は、入力画像制御部１２により分割された画像ブロックの並び順である「０〜７」の画像ブロックが符号化された符号化データが部分画像領域符号化データバッファ１４に格納された場合に、画像ブロック「８」以降が符号化されるのを待たずに、当該画像ブロック「０〜７」の符号化データを部分画像領域符号化データバッファ１４から取得し、取得した画像ブロック「０〜７」の符号化データを連結して復号化装置３０に送信する。このように、符号化データ連結制御部１５は、分割した画像ブロックの並び順である「０〜７」、「８〜１５」、「１６〜２３」、「２４〜３１」の各並びが符号化される度に、符号化された並びの符号化データを連結して復号化装置３０に送信する。
【００３４】
（復号化装置の構成）
図３に示すように、この復号化装置３０は、符号化データ分割制御部３１と、部分領域復号化部１〜４と、参照画像制御部／画像バッファ３２と、出力部分画像バッファ３３と、出力画像制御部３４とから構成される。
【００３５】
符号化データ分割制御部３１は、符号化装置１０より受信した符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を部分領域復号化部１〜４に振り分ける。上記した例で具体的に説明すると、符号化データ分割制御部３１は、図１の（ａ）に示す入力画像の画像ブロック「０〜７」の符号化データを符号化装置１０より受信した場合に、画像ブロック「０、１」を部分領域復号化部１に振り分け、画像ブロック「２、３」を部分領域復号化部２に振り分け、画像ブロック「４、５」を部分領域復号化部３に振り分け、画像ブロック「６、７」を部分領域復号化部４に振り分ける。また、符号化データ分割制御部３１は、図１の（ａ）に示す入力画像の画像ブロック「８〜１５」の符号化データを符号化装置１０より受信した場合にも同様に、画像ブロック「８、９」を部分領域復号化部１に振り分け、画像ブロック「１０、１１」を部分領域復号化部２に振り分け、画像ブロック「１２、１３」を部分領域復号化部３に振り分け、画像ブロック「１４、１５」を部分領域復号化部４に振り分ける。なお、この例では、符号化される際の分割と復号化する際の分割とが同じになった場合を例にしているが、符号化データ分割制御部３１による分割は符号化される際の分割と必ずしも同じになるとは限らない。
【００３６】
部分領域復号化部１〜４は、符号化データ分割制御部３１により入力された符号化データを復号化する。具体的に例を挙げれば、部分領域復号化部１〜４は、符号化データ分割制御部３１により入力された符号化データに対して、必要に応じて参照画像制御部／画像バッファ３２に格納される参照画像を読み出して復号化し、復号化した部分領域画像データから順に出力部分画像バッファ３３に格納する。上記した例で説明すると、部分領域復号化部１は、符号化データ分割制御部３１により入力された「０、１、８、９、１６、１７、２４、２５」について、まず、画像ブロック「０」を復号化して出力部分画像バッファ３３に格納し、次に、画像ブロック「１」を復号化して出力部分画像バッファ３３に格納する。このように、部分領域符号化部１は、符号化データ分割制御部３１により入力された「０、１、８、９、１６、１７、２４、２５」に対して、画像ブロック「０」から順に復号化していく。なお、部分領域復号化部２〜４についても、部分領域復号化部１と並列して復号化処理を実施し、入力された画像ブロックを順に復号化して出力部分画像バッファ３３に格納していくので、ここでは、その詳細な説明は省略する。また、部分領域復号化部１〜４は、必要に応じてそれぞれの部分領域復号化部が復号化した部分領域画像データを参照画像制御部／画像バッファ３２に格納する。
【００３７】
参照画像制御部／画像バッファ３２は、部分領域復号化部１〜４の復号化処理に用いられる参照画像を保持および制御する。具体的に例を挙げれば、参照画像制御部／画像バッファ３２は、部分領域復号化部１〜４から参照画像の取得要求を受信した場合に、当該取得要求に対応する参照画像を、保持する参照画像の中から取得して、要求元の部分領域復号化部に提供する。さらに参照画像制御部／画像バッファ３２は、部分領域復号化部１〜４にて復号化された部分領域画像を後の復号化で参照されうる参照画像として保持する。
【００３８】
出力部分画像バッファ３３は、復号化された部分領域画像データを記憶する。具体的に例を挙げれば、出力部分画像バッファ３３は、後述する出力画像制御部３４に接続され、部分領域復号化部１〜４から復号化された画像データを受け付けて保持する。
【００３９】
出力画像制御部３４は、部分領域復号化部１〜４により復号化され出力部分画像バッファ３３に格納された画像データが出力可能な量であることを判断し、表示装置への出力順（表示装置のスキャン順）に画像データを出力する。上記した例で具体的に説明すると、出力画像制御部３４は、符号化装置より受信した画像ブロックの並び順である画像ブロック「０〜７」が部分領域復号化部１〜４により復号化されて出力部分画像バッファ３３に格納されると、復号化されて得られた元の画像データである画像ブロック「０〜７」を出力部分画像バッファ３３から取得し、モニタなどに表示出力する。つまり、出力画像制御部３４は、分割された画像ブロックの並び順である「０〜７」、「８〜１５」、「１６〜２３」、「２４〜３１」の各並びが復号化される度に、当該復号化されて得られた元の画像データを出力する。
【００４０】
［画像処理システムによる処理］
次に、図４と図５を用いて、画像処理システムによる処理を説明する。図４は、実施例１に係る画像処理システムの符号化装置における符号化処理の流れを示すフローチャートであり、図５は、実施例１に係る画像処理システムの復号化装置における復号化処理の流れを示すフローチャートである。
【００４１】
（符号化処理の流れ）
図４に示すように、画像が入力されると（ステップＳ１０１肯定）、符号化装置１０は、入力された入力画像の画像ブロックの並び順で分割する（ステップＳ１０２）。具体的に例を挙げると、符号化装置１０は、部分領域符号化部１〜４を備え、画像ブロックの１ロウ分を遅延許容範囲とした場合、入力された入力画像の１ロウ分をそれぞれ４分割する。
【００４２】
そして、符号化装置１０は、分割した画像ブロックを順次符号化する（ステップＳ１０３）。具体的に例を挙げると、符号化装置１０は、４分割した領域それぞれの画像ブロックを部分領域符号化部１〜４に入力して、部分領域符号化部１〜４を並列に実行して画像ブロックを符号化し、得られた符号化データを部分画像領域符号化データバッファ１４に格納する。さらに部分領域符号化部１〜４は、必要に応じてそれぞれの部分領域符号化部が符号化したデータを元に部分領域参照画像データを作成し、参照画像制御部／画像バッファ１３に格納する。
【００４３】
その後、符号化装置１０は、復号化装置３０に送信可能な範囲の画像ブロックが符号化完了しているか否かを判定する（ステップＳ１０４）。具体的に例を挙げると、符号化装置１０は、１ロウ分以上の符号化データが部分画像領域符号化データバッファ１４に格納されているか否かを判定する。上記した例では、符号化装置１０は、入力された入力画像の画像ブロックの並びである「０〜７」、「８〜１５」、「１６〜２３」、「２４〜３１」の符号化データが部分画像領域符号化データバッファ１４に格納されているか否かを判定する。
【００４４】
そして、復号化装置３０に送信可能な範囲の画像ブロックが符号化完了していると判定した場合（ステップＳ１０４肯定）、符号化装置１０は、送信可能な範囲の画像ブロックを連結して復号化装置３０に送信する（ステップＳ１０５）。具体的に例を挙げると、符号化装置１０は、１ロウ分以上の符号化データが部分画像領域符号化データバッファ１４に格納されている場合、部分画像領域符号化データバッファ１４から１ロウ分の符号化データを取得して連結し、連結した符号化データを復号化装置３０に送信する。上記した例では、符号化装置１０は、入力された入力画像の画像ブロックの並びである画像ブロック「０〜７」の符号化データが部分画像領域符号化データバッファ１４に格納されている場合、部分画像領域符号化データバッファ１４から画像ブロック「０〜７」の符号化データを取得して連結し、連結した符号化データを復号化装置３０に送信する。
【００４５】
一方、復号化装置３０に送信可能な範囲の画像ブロックが符号化完了していないと判定した場合（ステップＳ１０４否定）、符号化装置１０は、ステップＳ１０３に戻り、送信可能な範囲の画像ブロックが符号化完了するまで繰り返す。
【００４６】
そして、符号化装置１０は、入力画像の全ての画像ブロックについて送信を完了すると（ステップＳ１０６肯定）、符号化処理を終了し、入力画像の全ての画像ブロックについて送信が完了していないと（ステップＳ１０６否定）、ステップＳ１０３以降の処理を繰り返す。
【００４７】
（復号化処理の流れ）
図５に示すように、符号化装置１０から送信された符号化データを受信すると（ステップＳ２０１肯定）、復号化装置３０は、符号化データ内の画像ブロックの並び順または復号化して得られた画像データを出力する表示装置への出力順で分割し、分割した画像を複数の復号化部に振り分ける（ステップＳ２０２）。
【００４８】
具体的に例を挙げると、復号化装置３０は、部分領域復号化部１〜４を備え、１ロウ分を遅延許容範囲とした符号化データ「画像ブロック（０〜７）」を受信した場合、画像ブロック「０、１」を部分領域復号化部１に振り分け、画像ブロック「２、３」を部分領域復号化部２に振り分け、画像ブロック「４、５」を部分領域復号化部３に振り分け、画像ブロック「６、７」を部分領域復号化部４に振り分ける。その後、符号化データ「画像ブロック（８〜１５）」を受信した場合、画像ブロック「８、９」を部分領域復号化部１に振り分け、画像ブロック「１０、１１」を部分領域復号化部２に振り分け、画像ブロック「１２、１３」を部分領域復号化部３に振り分け、画像ブロック「１４、１５」を部分領域復号化部４に振り分ける。このように、復号化装置３０は、受信した符号化データを順次分割して、部分領域復号化部１〜４に振り分ける。
【００４９】
すると、復号化装置３０は、受信した符号化データを順次復号化する（ステップＳ２０３）。上記した例で具体的に説明すると、復号化装置３０は、部分領域復号化部１を用いて画像ブロック「０、１、８、９・・・」を順次復号化して出力部分画像バッファ３３に格納するのに並行して、部分領域復号化部２を用いて画像ブロック「２、３、１０、１１・・・」を順次復号化して出力部分画像バッファ３３に格納し、部分領域復号化部３を用いて画像ブロック「４、５、１２、１３・・・」を順次復号化して出力部分画像バッファ３３に格納し、部分領域復号化部４を用いて画像ブロック「６、７、１４、１５・・・」を順次復号化して出力部分画像バッファ３３に格納する。さらに、部分領域復号化部１〜４は、必要に応じてそれぞれの部分領域復号化部が復号化した部分領域画像データを参照画像制御部／画像バッファ３２に格納する。
【００５０】
その後、復号化装置３０は、モニタなどに送信可能な範囲の画像ブロックが復号化完了しているか否かを判定する（ステップＳ２０４）。具体的に例を挙げると、復号化装置３０は、１ロウ分以上の画像データが出力部分画像バッファ３３に格納されているか否かを判定する。上記した例では、復号化装置３０は、符号化データ内の画像ブロックの並びである「０〜７」、「８〜１５」、「１６〜２３」、「２４〜３１」の画像データが出力部分画像バッファ３３に格納されているか否かを判定する。
【００５１】
そして、送信可能な範囲の画像ブロックが復号化完了していると判定した場合（ステップＳ２０４肯定）、復号化装置３０は、送信可能な範囲の画像データを出力する（ステップＳ２０５）。具体的に例を挙げると、復号化装置３０は、復号化装置３０は、1ロウ分以上の画像データが出力部分画像バッファ３３に格納されている場合、１ロウ分の画像データを出力部分画像バッファ３３から取得して、モニタなどに出力する。上記した例では、復号化装置３０は、受信した符号化データ内の画像ブロックの並び順である画像ブロック「０〜７」の画像データが出力部分画像バッファ３３に格納されている場合、出力部分画像バッファ３３から「０〜７」の画像データを取得し、モニタなどに出力する。
【００５２】
一方、送信可能な範囲の画像ブロックが復号化完了していないと判定した場合（ステップＳ２０４否定）、復号化装置３０は、ステップＳ２０２に戻り、送信可能な範囲の画像ブロックが復号化完了するまで待機する。
【００５３】
そして、復号化装置３０は、受信した全ての符号化データについて出力を完了すると（ステップＳ２０６肯定）、符号化処理を終了し、受信した全ての符号化データについて出力が完了していないと（ステップＳ２０６否定）、ステップＳ２０２以降の処理を繰り返す。
【００５４】
［実施例１による効果］
このように、実施例１によれば、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割し、分割された画像が振り分けられた部分領域符号化部１〜４により、画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力するので、画像入力から符号化データ出力までの出力時間を短くすることが可能である。
【００５５】
また、実施例１によれば、符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分け、分割された画像が振り分けられた部分領域復号化部１〜４により、画像ブロックの並び順または表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、表示装置への出力順に画像データを出力するので、符号化データ入力から画像出力までの出力時間を短くすることが可能である。
【００５６】
また、上記した符号化装置１０と復号化装置３０とを用いた画像処理システムを用いることにより、どちらの装置も用いない場合やどちらか一方を用いた場合に比べて、画像入力から画像出力までの処理遅延を短くすることが可能である。
【実施例２】
【００５７】
ところで、実施例１では、符号化装置は、入力画像を４分割する場合について説明したが、本発明はこれに限定されるものではなく、様々な分割形式を用いることができる。なお、分割された画像が複数の符号化部に振り分けられて符号化され、符号化されたデータが復号化装置に出力されるまでの処理は、実施例１と同様であるので、ここでは、詳細な説明は省略し、どのように入力画像が分割されるかを説明する。
【００５８】
そこで、実施例２では、入力画像を様々な形式で分割する例について説明する。例えば、符号化装置は、６つの部分領域符号化部を備え、画像ブロックの１ロウ分の遅延を許容する場合、図６に示すように、入力画像内の画像ブロックの並び順で６分割し、６分割した画像を６つの部分領域符号化部に振り分けることもできる。なお、図６は、入力画像を６分割にした場合の例を示す図である。
【００５９】
また、符号化装置は、図７に示すように、２ロウ単位で分割することもできる。この場合、画像処理システムは、画像入力〜符号化〜復号化〜画像出力に関して、図７に示した「１〜３」の領域が３並列に処理が行われるとすると、２ロウ分の遅延が発生することとなる。なお、図７は、２ロウ単位で入力画像を分割した場合の例を示す図である。
【００６０】
また、符号化装置は、図６や図７に示したように、必ずしも矩形に分割する必要はない。例えば、図８に示すように、矩形以外の形式で分割することもできる。この場合、図８に示した「１〜３」の領域が３並列に符号化処理が行われるとすると、１ロウ分の遅延が発生することとなる。なお、図８は、矩形以外の分割形式の例を示す図である。
【００６１】
また、符号化装置は、図９に示すように、入力画像内の画像ブロック単位で領域を分割することもできる。この場合、図９に示した「１〜３」の領域が３並列に符号化処理が行われるとすると、３画像ブロック（１／２ロウ）分の遅延が発生することとなる。なお、図９は、画像ブロック単位の分割形式の例を示す図である。
【００６２】
このように、いずれの形式で分割したとしても、１画面全ての符号化が完了するまで待たずに、分割された並び順が符号化される度に送信することができる結果、１画面分の遅延ではなくロウ単位またはブロック単位の遅延で済むことができ、画像入力から画像出力までの処理遅延を短くすることが可能である。
【実施例３】
【００６３】
ところで、実施例１と２では、符号化装置は、入力画像を均等に分割して、それぞれを部分領域符号化部に均等に振り分ける場合について説明したが、本発明はこれに限定されるものではなく、処理性能の高い部分領域符号化部に関しては、領域を多く振り分けるように分割することもできる。
【００６４】
そこで、実施例３では、図１０と図１１とを用いて、処理性能の高い部分領域符号化部に関しては、領域を多く振り分けるように分割する符号化装置について説明する。図１０は、実施例３に係る符号化装置の構成を示す図であり、図１１は、分割された入力画像の例を示す図である。
【００６５】
図１０に示すように、この符号化装置１０は、入力画像バッファ１１と、入力画像制御部１２と、部分領域符号化部１〜３と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５とから構成される。
【００６６】
このうち、入力画像バッファ１１と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５とは、実施例１の図２で説明した入力画像バッファ１１と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５と同様の機能を有するので、詳細な説明は省略する。
【００６７】
ここでは、実施例１とは異なる機能を有する入力画像制御部１２と、部分領域符号化部１〜３とについて説明する。
【００６８】
部分領域符号化部１〜３は、実施例１と同様、入力画像制御部１２により入力された画像データを符号化する。具体的に例を挙げれば、部分領域符号化部１〜３は、入力画像制御部１２により入力された入力画像の部分領域の画像データに対して、参照画像制御部／画像バッファ１３に格納される参照画像を読み出して符号化し、符号化したデータから順に部分画像領域符号化データバッファ１４に格納する。さらに部分領域符号化部１〜３は、必要に応じてそれぞれの部分領域符号化部が符号化したデータを元に部分領域参照画像データを作成し、参照画像制御部／画像バッファ１３に格納する。ここで、実施例１と異なる点は、部分領域符号化部２は、部分領域符号化部１や部分領域符号化部３と比較して、２倍の処理性能を備えている。つまり、つまり、部分領域符号化部１や部分領域符号化部３が画像ブロック１つを符号化する同じ時間で、部分領域符号化部２は、画像ブロック２つを符号化することができる。
【００６９】
入力画像制御部１２は、部分領域符号化部１〜３の処理性能に応じて、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で分割し、分割した画像を部分領域符号化部１〜３に振り分ける。上記した例で具体的に説明すると、部分領域符号化部２が部分領域符号化部１や部分領域符号化部３と比較して２倍の処理性能を備えていることを根拠に、入力画像制御部１２は、図１１に示すように、部分領域符号化部２の処理画像ブロック数が部分領域符号化部１や部分領域符号化部３の処理画像ブロック数の２倍になるように、入力画像内の画像ブロックの並び順で分割する。そして、入力画像制御部１２は、図１１に示した部分領域１を部分領域符号化部１に振り分け、部分領域１の２倍の領域である部分領域２を部分領域符号化部２に振り分け、部分領域１と同じ処理ブロック数である部分領域３を部分領域符号化部３に振り分ける。
【００７０】
このように、実施例３に係る符号化装置は、部分領域符号化部１〜３の処理性能に応じて、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で分割し、分割した画像を部分領域符号化部１〜３に振り分けるので、部分領域符号化部１〜３の処理性能に応じて分割した領域を割り振ることができ、各符号化部において待機などの無駄な処理が実行されることを防止することができる結果、入力画像を符号化する符号化処理において無駄な処理を削減することが可能である。
【００７１】
例えば、図１０のような符号化装置が、部分領域符号化部１〜３の処理性能を無視して、入力画像内の画像ブロックの並び順で均等に分割し、分割した画像を部分領域符号化部１〜３に振り分けた場合、部分領域符号化部１〜３が並列で実行されていることより、常に部分領域符号化部２が処理をしていない時間が発生し、その結果、画像入力から画像出力までの処理遅延が長くなる。ところが、本装置は、部分領域符号化部１〜３の処理性能に応じて、入力画像内の画像ブロックの並び順で分割し、分割した画像を部分領域符号化部１〜３に振り分け、入力画像を符号化する符号化処理において無駄な処理を削減することができる結果、システム全体としても画像入力から画像出力までの処理遅延を短くすることが可能である。
【実施例４】
【００７２】
ところで、本発明は、符号化装置が備える複数の符号化部の符号化手法が異なる符号化部であっても、実施例１と同様の処理を実施することができる。そこで、実施例４では、図１２と図１３とを用いて、符号化装置が備える複数の符号化部の一つが画面内符号化であるイントラ専用の符号化部である符号化装置について説明する。図１２は、実施例４に係る符号化装置の構成を示す図であり、図１３は、イントラ領域を振り分ける例を示す図である。
【００７３】
図１２に示すように、この符号化装置１０は、入力画像バッファ１１と、入力画像制御部１２と、部分領域符号化部１〜４と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５とから構成される。
【００７４】
このうち、入力画像バッファ１１と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５とは、実施例１の図２で説明した入力画像バッファ１１と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５と同様の機能を有するので、詳細な説明は省略する。
【００７５】
ここでは、実施例１とは異なる符号化手法を有する入力画像制御部１２と、部分領域符号化部１〜４とについて説明する。
【００７６】
部分領域符号化部１〜４は、実施例１と同様、入力画像制御部１２により入力された画像データを符号化する。具体的に例を挙げれば、部分領域符号化部１〜４は、入力画像制御部１２により入力された入力画像の部分領域の画像データに対して、参照画像制御部／画像バッファ１３に格納される参照画像を読み出して符号化し、符号化したデータから順に部分画像領域符号化データバッファ１４に格納する。ここで、実施例１と異なる点は、部分領域符号化部１は、イントラ専用の符号化部であり、参照画像を読み出すことなく、受け付けた画像データから符号化データを生成する。
【００７７】
入力画像制御部１２は、入力画像内の画像ブロックの並び順で分割し、分割した画像のうちイントラ領域が遷移するように部分領域符号化部１〜４に振り分ける。具体的に例を挙げて説明すると、入力画像制御部１２は、図１３に示すように、時刻ｔの入力画像に対して、入力画像を４分割した一番左端をイントラ処理の対象領域とした場合、一番左端を部分領域符号化部１（イントラ用）に振り分け、部分領域符号化部２、部分領域符号化部３、部分領域符号化部４に対しては、その他の領域を順に振り分ける。その後、入力画像制御部１２は、図１３に示すように、時刻ｔ＋１の入力画像（時刻ｔの画像の次に入力された画像）に対しては、入力画像を４分割した左から２番目をイントラ処理の対象領域とし、左から２番目を部分領域符号化部１（イントラ用）に振り分け、一番左端を部分領域符号化部２、右から２番目を部分領域符号化部３、一番右を部分領域符号化部４に対して振り分ける。
【００７８】
このように、入力画像内の画像ブロックの並び順で分割し、分割した画像のうちイントラ領域が遷移するように部分領域符号化部１〜４に振り分けるので、イントラ領域が必要な入力画像を符号化する場合であっても、画像入力から画像出力までの処理遅延を短くすることが可能である。
【実施例５】
【００７９】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）復号化装置のバリエーション、（２）処理性能に応じた分割形式、（３）部分領域符号化部または部分領域復号化部への振り分け手法、（４）システム構成等、（５）プログラムにそれぞれ区分けして異なる実施例を説明する。
【００８０】
（１）復号化装置のバリエーション
例えば、実施例１〜４では、符号化装置の様々なバリエーションについて説明したが、復号化装置についても、実施例１〜４を同様に適用することができる。具体的には、実施例２で説明した分割形式については、符号化装置から受信した符号化データを分割する場合に適用することができる。
【００８１】
また、実施例３で説明した処理性能が２倍の符号化部に２倍の領域を割り振る手法については、処理性能が２倍の復号化部を備えた復号化装置に適用し、符号化装置から受信した符号化データを割り振る場合に、実施例３と同様に、２倍の領域を割り振るようにすればよい。また、実施例４で説明したイントラ領域を遷移するように割り当てる手法については、イントラ領域専用の復号化部を備えた復号化装置に適用し、符号化装置から受信した符号化データを割り振る場合に、実施例４と同様に、イントラ領域が遷移するように割り振ればよい。
【００８２】
（２）処理性能に応じた分割形式
また、実施例３では、処理性能が２倍の符号化部を備えた符号化装置の例について説明したが、この処理性能はあくまで例であり、これに限定されるものではない。例えば、処理性能が３倍の符号化部を備えた符号化装置の場合、他の符号化部に割り当てる領域の３倍の領域を処理性能が３倍の符号化部に割り当てるように、入力画像を分割すればよい。なお、これは、上記した復号化装置においても同様に適用することができる。
【００８３】
（３）部分領域符号化部または部分領域復号化部への振り分け手法
これまでの説明は、画像ブロックの部分領域符号化部への振り分けが前もって決めてある場合について説明したが、本発明はこれに限定されるものではなく、画像ブロックが入力される毎に振り分け先となる部分領域符号化部を決めてもよい。たとえば、それぞれの部分領域符号化部の処理時間は常に一定とは限らないので、前もって振り分け先を決めずに、画像ブロックを入力したときに、空いている部分領域符号化部に動的に振り分けてもよい。また、たとえば、符号化手法が異なる複数の部分領域符号化部がある場合、前もって振り分け先を決めずに、入力した画像ブロックのデータから符号化手法を決め、対応する部分領域符号化部に動的に振り分けてもよい。
【００８４】
また、これまでの説明は、画像ブロックの部分領域復号化部への振り分けが前もって決めてある場合について説明したが、本発明はこれに限定されるものではなく、符号化データが入力される毎に振り分け先となる部分領域復号化部を決めてもよい。たとえば、それぞれの部分領域復号化部の処理時間は常に一定とは限らないので、前もって振り分け先を決めずに、符号化データを入力したときに、空いている部分領域復号化部に動的に振り分けてもよい。また、たとえば、復号化手法が異なる複数の部分領域復号化部がある場合、前もって振り分け先を決めずに、入力した符号化データから復号化手法を判断し、対応する部分領域復号化部に動的に振り分けてもよい。
【００８５】
（４）システム構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理（例えば、画像入力処理など）の全部または一部を手動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００８６】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、入力画像制御部を分割部と振分部とに分割するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００８７】
（５）プログラム
なお、本実施例で説明した画像処理方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【００８８】
以上のように、本発明に係る符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラムは、入力された入力画像を複数領域に分割して、分割した複数領域の画像を複数の符号化部で符号化して符号化データを生成し、また、符号化された符号化データを受信して、受信した符号化データを複数の復号化部で復号化して元の画像データを生成することに有用であり、特に画像入力から画像出力までの処理遅延を短くすることに適する。
【図面の簡単な説明】
【００８９】
【図１】実施例１に係る画像処理システムの概要と特徴を説明するための図である。
【図２】実施例１に係る画像処理システムの符号化装置の構成を示すブロック図である。
【図３】実施例１に係る画像処理システムの復号化装置の構成を示すブロック図である。
【図４】実施例１に係る画像処理システムの符号化装置における符号化処理の流れを示すフローチャートである。
【図５】実施例１に係る画像処理システムの復号化装置における復号化処理の流れを示すフローチャートである。
【図６】入力画像を６分割にした場合の例を示す図である。
【図７】２ロウ単位で入力画像を分割にした場合の例を示す図である。
【図８】矩形以外の分割形式の例を示す図である。
【図９】画像ブロック単位の分割形式の例を示す図である。
【図１０】実施例３に係る符号化装置の構成を示す図である。
【図１１】分割された入力画像の例を示す図である。
【図１２】実施例４に係る符号化装置の構成を示す図である。
【図１３】イントラ領域を振り分ける例を示す図である。
【図１４】従来技術における入力画像の分割例を示す図である。
【図１５】従来技術における入力画像の分割例を示す図である。
【図１６】従来技術に係る符号化装置の構成例を示す図である。
【図１７】従来技術に係る復号化装置の構成例を示す図である。
【図１８】従来技術に係る符号化装置と復号化装置とから構成される画像処理システムの処理の流れを示す図である。
【図１９】画像ブロックとロウとを説明するための図である。
【図２０】画像ブロックの並び順を説明するための図である。
【図２１】スキャン順を説明するための図である。
【符号の説明】
【００９０】
１０ 符号化装置
１１ 入力画像バッファ
１２ 入力画像制御部
１３ 参照画像制御部／画像バッファ
１４ 部分画像領域符号化データバッファ
１５ 符号化データ連結制御部
３０ 復号化装置
３１ 符号化データ分割制御部
３２ 参照画像制御部／画像バッファ
３３ 出力部分画像バッファ
３４ 出力画像制御部
【技術分野】
【０００１】
この発明は、入力された入力画像を複数領域に分割して、分割した複数領域の画像を符号化して符号化データを生成する複数の符号化部を備え、前記入力画像の画面順と符号化データ内の画面順が等しくなる符号化装置、符号化方法、符号化プログラムおよび符号化された符号化データを受信して、受信した符号化データを復号化して元の画像データを生成する複数の復号化部を備え、前記符号化データ内の画面順と出力画像の画面順が等しくなる復号化装置、復号化方法、復号化プログラムに関する。
【背景技術】
【０００２】
従来より、動画像を複数領域に分割して圧縮符号化するという技術がある（特開平１０−２３４０４３号公報）。例えば、図１４や図１５などのように、画面を４つの領域に分割(1/4画面)して、それぞれを１の時間で符号化可能な符号化装置で並列に符号化すると、１画面でも１の時間で処理が可能なことになる（分割しない場合は、４倍の性能の符号化装置が必要）。
【０００３】
ここで、図１４を例にして、従来から一般的に用いられている図１６に示した符号化装置と図１７に示した復号化装置を用いて、分割された画像データが符号化されて送信され、当該符号化データを復号化して元の画像データを得るまでの処理を具体的に説明する。符号化装置（エンコーダ）は、画像が入力されると、図１８に示すように、入力された画像を４つの領域に分割する。そして、符号化装置は、分割した４つの領域それぞれを、別々の符号化部（処理能力は同じ）で符号化し、全ての画像ブロックについて符号化が完了すると、当該符号化データを復号化装置に送信する。
【０００４】
そして、復号化装置（デコーダ）は、符号化装置より受け付けた符号化データを、符号化装置と同様、処理能力が同じ４つの復号化部を用いて復号化する。ここで、符号化装置と復号化装置とは、両方とも４つの符号化または復号化処理部を備えているため、復号化装置は、符号化装置により分割された領域と同じように、符号化データを４並列で実行することとなる。そして、復号化装置は、受け付けた符号化データの全てを復号化すると、復号化して得られた画像データをモニタや他の装置などに出力する。
【０００５】
【特許文献１】特開平１０−２３４０４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した従来の技術は、符号化（エンコード）遅延や復号化（デコード）遅延を短くすることができないという課題があった。
【０００７】
具体的には、符号化装置は、入力された画像を分割したとしても、画像内の画像ブロックが全て符号化した後でしか、符号化データを復号化装置に送信することができず、同様に、復号化装置は、受信した符号化データを並列して処理を行うことができても、全ての符号化データを復号化した後でしか、復号化して得られる画像データを出力することができない。
【０００８】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像入力から画像出力までの処理遅延を短くすることが可能である符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
また、本発明に係る符号化装置は、入力された入力画像を複数領域に分割して、分割した複数領域の画像を符号化して符号化データを生成する複数の符号化部を備え、前記入力画像の画面順と符号化データ内の画面順が等しくなる符号化装置であって、前記入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割する画像分割手段と、前記画像分割手段により分割された画像が振り分けられた複数の符号化部により、前記画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する符号化データ出力手段と、を備えたことを特徴とする。
【００１０】
また、本発明に係る復号化装置は、符号化された符号化データを受信して、受信した符号化データを復号化して元の画像データを生成する複数の復号化部を備え、前記符号化データ内の画面順と出力画像の画面順が等しくなる復号化装置であって、前記符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分ける画像分割手段と、前記画像分割手段により分割された画像が振り分けられた複数の復号化部により、前記画像ブロックの並び順または前記表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、前記表示装置への出力順に画像データを出力する画像データ出力手段と、を備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割し、分割された画像が振り分けられた複数の符号化部により、画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力するので、符号化の処理遅延（画像入力から符号化データ出力までの遅延）を短くすることが可能である。
【００１２】
また、本発明によれば、符号化データ内の画像ブロックの並び順または復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分け、分割された画像が振り分けられた複数の復号化部により、画像ブロックの並び順または表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、表示装置への出力順に画像データを出力するので、復号化の処理遅延（符号化データ入力から画像出力までの遅延）を短くすることが可能である。
【発明を実施するための最良の形態】
【００１３】
以下に添付図面を参照して、この発明に係る符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラムの実施例を詳細に説明する。なお、以下では、本実施例に係る符号化装置と復号化装置とから構成される画像処理システムの概要および特徴、画像処理システムの構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。
【実施例１】
【００１４】
［用語の説明］
まず、図１９〜図２１を用いて、本実施例で用いる用語について説明する。本実施例で用いる「画像ブロック」とは、MPEG-2やH.264などの符号化方法により決まる符号化装置（エンコーダ）や復号化装置（デコーダ）の処理単位であり、図１９に示すように、画面全体を構成している映像全体を示す画像に対して、画像の構成要素の最小単位である画素をブロック状に集めたものを示す。なお、図１９では画像ブロックは４画素×４画素で構成されているが、画像ブロックと画素の関係はこの構成に限定されず、MPEG-2やH.264などの符号化方法における処理単位により決まる。また、本実施例で用いる「ロウ」とは、図１９に示すように、上記した画像ブロックを帯状に集めたものを指す。なお、図１９は、画像ブロックとロウとを説明するための図である。
【００１５】
そして、本実施例で用いる「画像ブロックの並び順」とは、図２０に示すように、画面全体を構成している映像全体を示す画像に対して、符号化データ内における画像ブロックの順序を示すものである。また、本実施例で用いる「スキャン順」とは、ビデオカメラなどの画像を入力する入力装置やモニタなどの画像を出力する表示装置の走査順を示し、一般的なものとしては、図２１に示すように、左から右へ行った後に、右端で次のラインの左へ折り返す順序となる。さらに、入力装置から符号化装置への画像データの入力順、復号化装置から表示装置への画像データの出力順は、一般的にはスキャン順と等しい。なお、図２０は、画像ブロックの並び順を説明するための図であり、図２１は、スキャン順を説明するための図である。
【００１６】
［画像処理システムの概要および特徴］
次に、図１を用いて、実施例１に係る画像処理システムの概要および特徴を説明する。図１は、実施例１に係る画像処理システムの概要と特徴を説明するための図である。
【００１７】
この画像処理システムは、入力された入力画像を複数領域に分割して、分割した複数領域の画像を符号化して符号化データを生成する複数の符号化部を備え、入力画像の画面順と符号化データ内の画面順が等しくなる符号化装置（エンコーダ）と、符号化された符号化データを受信して、受信した符号化データを復号化して元の画像データを生成する複数の復号化部を備え、符号化データ内の画面順と出力画像の画面順が等しくなる復号化装置（デコーダ）とから構成される。
【００１８】
なお、本実施例では、説明上、処理性能が同じ４つの符号化部（部分領域符号化部１〜４）で符号化して符号化データを生成する符号化装置と、処理性能が同じ４つの復号化部（部分領域復号化部１〜４）で復号化して元の画像データを生成する復号化装置とから構成される画像処理システムについて説明するが、処理部の数や性能の違いなどをこれに限定するものではない。また、本システムは、MPEG-2やH.264など様々な符号化方法に適用することができる。
【００１９】
このような構成において、画像処理システムは、上記したように、入力された入力画像を複数領域に分割して、分割した複数領域の画像を４つの符号化部で符号化して符号化データを生成して送信し、符号化された符号化データを受信して、受信した符号化データを４つの復号化部で復号化して元の画像データを生成することを概要とするものであり、特に、画像入力から画像出力までの処理遅延を短くすることが可能であることに主たる特徴がある。
【００２０】
この主たる特徴について具体的に説明すると、この画像処理システムの符号化装置は、図１に示すように、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の符号化部に振り分ける。具体的に例を挙げると、符号化装置は、図１の（ａ）に示した入力画像内の画像ブロックの並び順で４つに分割し、部分領域１については部分領域符号化部１に振り分け、部分領域２については部分領域符号化部２に振り分け、部分領域３については部分領域符号化部３に振り分け、部分領域４については部分領域符号化部４に振り分ける。つまり、符号化装置は、入力画像内の画像ブロック「０、１、８、９、１６、１７、２４、２５」については部分領域符号化部１に振り分け、入力画像内の画像ブロック「２、３、１０、１１、１８、１９、２６、２７」については部分領域符号化部２に振り分け、入力画像内の画像ブロック「４、５、１２、１３、２０、２１、２８、２９」については部分領域符号化部３に振り分け、入力画像内の画像ブロック「６、７、１４、１５、２２、２３、３０、３１」については部分領域符号化部４に振り分ける。
【００２１】
そして、符号化装置は、分割された画像が振り分けられた複数の符号化部により、画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する。上記した例で具体的に説明すると、符号化装置の各符号化部は、入力された画像ブロックを順に符号化していく。つまり、部分領域符号化部１は、入力画像内の画像ブロック「０、１、８、９、１６、１７、２４、２５」の順に符号化する。部分領域符号化部２は、入力画像内の画像ブロック「２、３、１０、１１、１８、１９、２６、２７」を順に符号化する。同様に、部分領域符号化部３は、入力画像内の画像ブロック「４、５、１２、１３、２０、２１、２８、２９」を順に符号化し、部分領域符号化部４は、入力画像内の画像ブロック「６、７、１４、１５、２２、２３、３０、３１」を順に符号化する。それぞれの部分領域符号化部は独立して並列に動作する。
【００２２】
そして、符号化装置は、各符号化部により、分割した画像ブロックの並び順である「０〜７」の画像ブロックが符号化されると、画像ブロック「８」以降が符号化されるのを待たずに、画像ブロック「０〜７」の符号化データを復号化装置に送信する。このように、符号化装置は、分割した画像ブロックの並び順である「０〜７」、「８〜１５」、「１６〜２３」、「２４〜３１」の各並びが符号化される度に、符号化された並びの符号化データを復号化装置に送信する。
【００２３】
その後、復号化装置は、符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分ける。上記した例で具体的に説明すると、復号化装置は、入力画像の画像ブロック「０〜７」の符号化データを符号化装置より受信した場合に、画像ブロック「０、１」を部分領域復号化部１に振り分け、画像ブロック「２、３」を部分領域復号化部２に振り分け、画像ブロック「４、５」を部分領域復号化部３に振り分け、画像ブロック「６、７」を部分領域復号化部４に振り分ける。このように、復号化装置は、符号化装置より受信した符号化データを画像ブロックの並び順または復号化して得られた元の画像データを出力する表示装置への出力順で分割し、分割した画像を４つの復号化部に振り分ける。
【００２４】
そして、復号化装置は、分割された画像が振り分けられた複数の復号化部により、画像ブロックの並び順または前記表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、当該復号化したデータをモニタなどに表示出力する。上記した例で具体的に説明すると、復号化装置は、符号化装置より受信した画像ブロックの並び順である画像ブロック「０〜７」の符号化データを復号化すると、当該復号化したデータを連結して、モニタなどに表示出力する。つまり、復号化装置は、分割した画像ブロックの並び順である「０〜７」、「８〜１５」、「１６〜２３」、「２４〜３１」の各並びの符号化データを符号化装置から受信し、それぞれの並びの符号化データを復号化する度に、画像データを格納し、表示装置への出力順に画像データを出力する。
【００２５】
このように、実施例１に係る画像処理システムは、入力された画像を全て符号化するのを待たずに、符号化装置により分割された入力画像内の画像ブロックの並び順で符号化される度に、符号化データを復号化装置に送信し、また、復号化装置により受信された画像ブロックの並び順または表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、表示装置への出力順に画像データを出力することができる結果、上記した主たる特徴のごとく、画像入力から画像出力までの処理遅延を短くすることが可能である。
【００２６】
［画像処理システムの構成］
次に、図２と図３とを用いて、図１に示した画像処理システムの構成を説明する。図２は、実施例１に係る画像処理システムの符号化装置の構成を示すブロック図であり、図３は、実施例１に係る画像処理システムの復号化装置の構成を示すブロック図である。
【００２７】
（符号化装置の構成）
図２に示すように、この符号化装置１０は、入力画像バッファ１１と、入力画像制御部１２と、部分領域符号化部１〜４と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５とから構成される。
【００２８】
入力画像バッファ１１は、入力された画像データを記憶する。具体的には、入力画像バッファ１１は、後述する入力画像制御部１２に接続され、ビデオカメラなどの画像入力装置から入力された画像データを記憶する。
【００２９】
入力画像制御部１２は、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の符号化部に振り分ける。具体的に例を挙げると、入力画像制御部１２は、入力画像バッファ１１に記憶される画像データに対して、当該画像データ内の画像ブロックの並び順で分割し、分割した画像データそれぞれを後述する部分領域符号化部１〜４に振り分ける。例えば、図１の（ａ）に示したような画像データ「０、１、２、３、４、５、６、７」が入力されたとき、入力画像制御部１２は、入力画像内の部分領域１内の「０、１」については部分領域符号化部１に振り分け、部分領域２内の「２、３」については部分領域符号化部２に振り分け、部分領域３内の「４、５」については部分領域符号化部３に振り分け、部分領域４内の「６、７」については部分領域符号化部４に振り分ける。同様に、画像データ「８、９、１０、１１、１２、１３、１４、１５」が入力されたとき、「８、９」については部分領域符号化部１に、「１０、１１」については部分領域符号化部２に、「１２、１３」については部分領域符号化部３に、「１４、１５」については部分領域符号化部４に振り分ける。画像データ「１６、１７、１８、１９、２０、２１、２２、２３」、「２４、２５、２６、２７、２８、２９、３０、３１」も同様に振り分ける。
【００３０】
部分領域符号化部１〜４は、入力画像制御部１２により入力された部分領域の画像データに対して符号化する。具体的に例を挙げれば、部分領域符号化部１〜４は、入力画像制御部１２により入力された入力画像の部分領域の画像データに対して、必要に応じて参照画像制御部／画像バッファ１３に格納される参照画像を読み出して符号化し、符号化したデータから順に部分画像領域符号化データバッファ１４に格納する。上記した例で説明すると、部分領域符号化部１は、入力画像制御部１２により入力された「０、１、８、９、１６、１７、２４、２５」について、まず、画像ブロック「０」を符号化して部分画像領域符号化データバッファ１４に格納し、次に、画像ブロック「１」を符号化して部分画像領域符号化データバッファ１４に格納する。さらに部分領域符号化部１〜４は、必要に応じてそれぞれの部分領域符号化部が符号化したデータを元に部分領域参照画像を作成し、参照画像制御部／画像バッファ１３に格納する。このように、部分領域符号化部１は、入力画像制御部１２により入力された「０、１、８、９、１６、１７、２４、２５」に対して、画像ブロック「０」から順に符号化していく。なお、部分領域符号化部２〜３についても、部分領域符号化部１と並列して符号化処理を行って、入力された画像ブロックを順に符号化して部分画像領域符号化データバッファ１４に格納していくので、ここでは、その詳細な説明は省略する。
【００３１】
参照画像制御部／画像バッファ１３は、部分領域符号化部１〜４の符号化処理に用いられる参照画像を保持および制御する。具体的に例を挙げれば、参照画像制御部／画像バッファ１３は、部分領域符号化部１〜４から参照画像の取得要求を受信した場合に、当該取得要求に対応する参照画像を、保持する参照画像の中から取得して、要求元の部分領域符号化部に提供する。さらに参照画像制御部／画像バッファ１３は、部分領域符号化部１〜４にて作成された部分参照画像データを後の符号化で参照されうる参照画像として保持する。
【００３２】
部分画像領域符号化データバッファ１４は、符号化された符号化データを記憶する。具体的に例を挙げれば、部分画像領域符号化データバッファ１４は、後述する符号化データ連結制御部１５に接続され、部分領域符号化部１〜４から出力された符号化された符号化データを受け付けて保持する。
【００３３】
符号化データ連結制御部１５は、入力画像制御部１２により分割された画像が振り分けられた部分領域符号化部１〜４により、画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する。具体的に例を挙げると、符号化データ連結制御部１５は、入力画像制御部１２により分割された画像ブロックの並び順である「０〜７」の画像ブロックが符号化された符号化データが部分画像領域符号化データバッファ１４に格納された場合に、画像ブロック「８」以降が符号化されるのを待たずに、当該画像ブロック「０〜７」の符号化データを部分画像領域符号化データバッファ１４から取得し、取得した画像ブロック「０〜７」の符号化データを連結して復号化装置３０に送信する。このように、符号化データ連結制御部１５は、分割した画像ブロックの並び順である「０〜７」、「８〜１５」、「１６〜２３」、「２４〜３１」の各並びが符号化される度に、符号化された並びの符号化データを連結して復号化装置３０に送信する。
【００３４】
（復号化装置の構成）
図３に示すように、この復号化装置３０は、符号化データ分割制御部３１と、部分領域復号化部１〜４と、参照画像制御部／画像バッファ３２と、出力部分画像バッファ３３と、出力画像制御部３４とから構成される。
【００３５】
符号化データ分割制御部３１は、符号化装置１０より受信した符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を部分領域復号化部１〜４に振り分ける。上記した例で具体的に説明すると、符号化データ分割制御部３１は、図１の（ａ）に示す入力画像の画像ブロック「０〜７」の符号化データを符号化装置１０より受信した場合に、画像ブロック「０、１」を部分領域復号化部１に振り分け、画像ブロック「２、３」を部分領域復号化部２に振り分け、画像ブロック「４、５」を部分領域復号化部３に振り分け、画像ブロック「６、７」を部分領域復号化部４に振り分ける。また、符号化データ分割制御部３１は、図１の（ａ）に示す入力画像の画像ブロック「８〜１５」の符号化データを符号化装置１０より受信した場合にも同様に、画像ブロック「８、９」を部分領域復号化部１に振り分け、画像ブロック「１０、１１」を部分領域復号化部２に振り分け、画像ブロック「１２、１３」を部分領域復号化部３に振り分け、画像ブロック「１４、１５」を部分領域復号化部４に振り分ける。なお、この例では、符号化される際の分割と復号化する際の分割とが同じになった場合を例にしているが、符号化データ分割制御部３１による分割は符号化される際の分割と必ずしも同じになるとは限らない。
【００３６】
部分領域復号化部１〜４は、符号化データ分割制御部３１により入力された符号化データを復号化する。具体的に例を挙げれば、部分領域復号化部１〜４は、符号化データ分割制御部３１により入力された符号化データに対して、必要に応じて参照画像制御部／画像バッファ３２に格納される参照画像を読み出して復号化し、復号化した部分領域画像データから順に出力部分画像バッファ３３に格納する。上記した例で説明すると、部分領域復号化部１は、符号化データ分割制御部３１により入力された「０、１、８、９、１６、１７、２４、２５」について、まず、画像ブロック「０」を復号化して出力部分画像バッファ３３に格納し、次に、画像ブロック「１」を復号化して出力部分画像バッファ３３に格納する。このように、部分領域符号化部１は、符号化データ分割制御部３１により入力された「０、１、８、９、１６、１７、２４、２５」に対して、画像ブロック「０」から順に復号化していく。なお、部分領域復号化部２〜４についても、部分領域復号化部１と並列して復号化処理を実施し、入力された画像ブロックを順に復号化して出力部分画像バッファ３３に格納していくので、ここでは、その詳細な説明は省略する。また、部分領域復号化部１〜４は、必要に応じてそれぞれの部分領域復号化部が復号化した部分領域画像データを参照画像制御部／画像バッファ３２に格納する。
【００３７】
参照画像制御部／画像バッファ３２は、部分領域復号化部１〜４の復号化処理に用いられる参照画像を保持および制御する。具体的に例を挙げれば、参照画像制御部／画像バッファ３２は、部分領域復号化部１〜４から参照画像の取得要求を受信した場合に、当該取得要求に対応する参照画像を、保持する参照画像の中から取得して、要求元の部分領域復号化部に提供する。さらに参照画像制御部／画像バッファ３２は、部分領域復号化部１〜４にて復号化された部分領域画像を後の復号化で参照されうる参照画像として保持する。
【００３８】
出力部分画像バッファ３３は、復号化された部分領域画像データを記憶する。具体的に例を挙げれば、出力部分画像バッファ３３は、後述する出力画像制御部３４に接続され、部分領域復号化部１〜４から復号化された画像データを受け付けて保持する。
【００３９】
出力画像制御部３４は、部分領域復号化部１〜４により復号化され出力部分画像バッファ３３に格納された画像データが出力可能な量であることを判断し、表示装置への出力順（表示装置のスキャン順）に画像データを出力する。上記した例で具体的に説明すると、出力画像制御部３４は、符号化装置より受信した画像ブロックの並び順である画像ブロック「０〜７」が部分領域復号化部１〜４により復号化されて出力部分画像バッファ３３に格納されると、復号化されて得られた元の画像データである画像ブロック「０〜７」を出力部分画像バッファ３３から取得し、モニタなどに表示出力する。つまり、出力画像制御部３４は、分割された画像ブロックの並び順である「０〜７」、「８〜１５」、「１６〜２３」、「２４〜３１」の各並びが復号化される度に、当該復号化されて得られた元の画像データを出力する。
【００４０】
［画像処理システムによる処理］
次に、図４と図５を用いて、画像処理システムによる処理を説明する。図４は、実施例１に係る画像処理システムの符号化装置における符号化処理の流れを示すフローチャートであり、図５は、実施例１に係る画像処理システムの復号化装置における復号化処理の流れを示すフローチャートである。
【００４１】
（符号化処理の流れ）
図４に示すように、画像が入力されると（ステップＳ１０１肯定）、符号化装置１０は、入力された入力画像の画像ブロックの並び順で分割する（ステップＳ１０２）。具体的に例を挙げると、符号化装置１０は、部分領域符号化部１〜４を備え、画像ブロックの１ロウ分を遅延許容範囲とした場合、入力された入力画像の１ロウ分をそれぞれ４分割する。
【００４２】
そして、符号化装置１０は、分割した画像ブロックを順次符号化する（ステップＳ１０３）。具体的に例を挙げると、符号化装置１０は、４分割した領域それぞれの画像ブロックを部分領域符号化部１〜４に入力して、部分領域符号化部１〜４を並列に実行して画像ブロックを符号化し、得られた符号化データを部分画像領域符号化データバッファ１４に格納する。さらに部分領域符号化部１〜４は、必要に応じてそれぞれの部分領域符号化部が符号化したデータを元に部分領域参照画像データを作成し、参照画像制御部／画像バッファ１３に格納する。
【００４３】
その後、符号化装置１０は、復号化装置３０に送信可能な範囲の画像ブロックが符号化完了しているか否かを判定する（ステップＳ１０４）。具体的に例を挙げると、符号化装置１０は、１ロウ分以上の符号化データが部分画像領域符号化データバッファ１４に格納されているか否かを判定する。上記した例では、符号化装置１０は、入力された入力画像の画像ブロックの並びである「０〜７」、「８〜１５」、「１６〜２３」、「２４〜３１」の符号化データが部分画像領域符号化データバッファ１４に格納されているか否かを判定する。
【００４４】
そして、復号化装置３０に送信可能な範囲の画像ブロックが符号化完了していると判定した場合（ステップＳ１０４肯定）、符号化装置１０は、送信可能な範囲の画像ブロックを連結して復号化装置３０に送信する（ステップＳ１０５）。具体的に例を挙げると、符号化装置１０は、１ロウ分以上の符号化データが部分画像領域符号化データバッファ１４に格納されている場合、部分画像領域符号化データバッファ１４から１ロウ分の符号化データを取得して連結し、連結した符号化データを復号化装置３０に送信する。上記した例では、符号化装置１０は、入力された入力画像の画像ブロックの並びである画像ブロック「０〜７」の符号化データが部分画像領域符号化データバッファ１４に格納されている場合、部分画像領域符号化データバッファ１４から画像ブロック「０〜７」の符号化データを取得して連結し、連結した符号化データを復号化装置３０に送信する。
【００４５】
一方、復号化装置３０に送信可能な範囲の画像ブロックが符号化完了していないと判定した場合（ステップＳ１０４否定）、符号化装置１０は、ステップＳ１０３に戻り、送信可能な範囲の画像ブロックが符号化完了するまで繰り返す。
【００４６】
そして、符号化装置１０は、入力画像の全ての画像ブロックについて送信を完了すると（ステップＳ１０６肯定）、符号化処理を終了し、入力画像の全ての画像ブロックについて送信が完了していないと（ステップＳ１０６否定）、ステップＳ１０３以降の処理を繰り返す。
【００４７】
（復号化処理の流れ）
図５に示すように、符号化装置１０から送信された符号化データを受信すると（ステップＳ２０１肯定）、復号化装置３０は、符号化データ内の画像ブロックの並び順または復号化して得られた画像データを出力する表示装置への出力順で分割し、分割した画像を複数の復号化部に振り分ける（ステップＳ２０２）。
【００４８】
具体的に例を挙げると、復号化装置３０は、部分領域復号化部１〜４を備え、１ロウ分を遅延許容範囲とした符号化データ「画像ブロック（０〜７）」を受信した場合、画像ブロック「０、１」を部分領域復号化部１に振り分け、画像ブロック「２、３」を部分領域復号化部２に振り分け、画像ブロック「４、５」を部分領域復号化部３に振り分け、画像ブロック「６、７」を部分領域復号化部４に振り分ける。その後、符号化データ「画像ブロック（８〜１５）」を受信した場合、画像ブロック「８、９」を部分領域復号化部１に振り分け、画像ブロック「１０、１１」を部分領域復号化部２に振り分け、画像ブロック「１２、１３」を部分領域復号化部３に振り分け、画像ブロック「１４、１５」を部分領域復号化部４に振り分ける。このように、復号化装置３０は、受信した符号化データを順次分割して、部分領域復号化部１〜４に振り分ける。
【００４９】
すると、復号化装置３０は、受信した符号化データを順次復号化する（ステップＳ２０３）。上記した例で具体的に説明すると、復号化装置３０は、部分領域復号化部１を用いて画像ブロック「０、１、８、９・・・」を順次復号化して出力部分画像バッファ３３に格納するのに並行して、部分領域復号化部２を用いて画像ブロック「２、３、１０、１１・・・」を順次復号化して出力部分画像バッファ３３に格納し、部分領域復号化部３を用いて画像ブロック「４、５、１２、１３・・・」を順次復号化して出力部分画像バッファ３３に格納し、部分領域復号化部４を用いて画像ブロック「６、７、１４、１５・・・」を順次復号化して出力部分画像バッファ３３に格納する。さらに、部分領域復号化部１〜４は、必要に応じてそれぞれの部分領域復号化部が復号化した部分領域画像データを参照画像制御部／画像バッファ３２に格納する。
【００５０】
その後、復号化装置３０は、モニタなどに送信可能な範囲の画像ブロックが復号化完了しているか否かを判定する（ステップＳ２０４）。具体的に例を挙げると、復号化装置３０は、１ロウ分以上の画像データが出力部分画像バッファ３３に格納されているか否かを判定する。上記した例では、復号化装置３０は、符号化データ内の画像ブロックの並びである「０〜７」、「８〜１５」、「１６〜２３」、「２４〜３１」の画像データが出力部分画像バッファ３３に格納されているか否かを判定する。
【００５１】
そして、送信可能な範囲の画像ブロックが復号化完了していると判定した場合（ステップＳ２０４肯定）、復号化装置３０は、送信可能な範囲の画像データを出力する（ステップＳ２０５）。具体的に例を挙げると、復号化装置３０は、復号化装置３０は、1ロウ分以上の画像データが出力部分画像バッファ３３に格納されている場合、１ロウ分の画像データを出力部分画像バッファ３３から取得して、モニタなどに出力する。上記した例では、復号化装置３０は、受信した符号化データ内の画像ブロックの並び順である画像ブロック「０〜７」の画像データが出力部分画像バッファ３３に格納されている場合、出力部分画像バッファ３３から「０〜７」の画像データを取得し、モニタなどに出力する。
【００５２】
一方、送信可能な範囲の画像ブロックが復号化完了していないと判定した場合（ステップＳ２０４否定）、復号化装置３０は、ステップＳ２０２に戻り、送信可能な範囲の画像ブロックが復号化完了するまで待機する。
【００５３】
そして、復号化装置３０は、受信した全ての符号化データについて出力を完了すると（ステップＳ２０６肯定）、符号化処理を終了し、受信した全ての符号化データについて出力が完了していないと（ステップＳ２０６否定）、ステップＳ２０２以降の処理を繰り返す。
【００５４】
［実施例１による効果］
このように、実施例１によれば、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割し、分割された画像が振り分けられた部分領域符号化部１〜４により、画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力するので、画像入力から符号化データ出力までの出力時間を短くすることが可能である。
【００５５】
また、実施例１によれば、符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分け、分割された画像が振り分けられた部分領域復号化部１〜４により、画像ブロックの並び順または表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、表示装置への出力順に画像データを出力するので、符号化データ入力から画像出力までの出力時間を短くすることが可能である。
【００５６】
また、上記した符号化装置１０と復号化装置３０とを用いた画像処理システムを用いることにより、どちらの装置も用いない場合やどちらか一方を用いた場合に比べて、画像入力から画像出力までの処理遅延を短くすることが可能である。
【実施例２】
【００５７】
ところで、実施例１では、符号化装置は、入力画像を４分割する場合について説明したが、本発明はこれに限定されるものではなく、様々な分割形式を用いることができる。なお、分割された画像が複数の符号化部に振り分けられて符号化され、符号化されたデータが復号化装置に出力されるまでの処理は、実施例１と同様であるので、ここでは、詳細な説明は省略し、どのように入力画像が分割されるかを説明する。
【００５８】
そこで、実施例２では、入力画像を様々な形式で分割する例について説明する。例えば、符号化装置は、６つの部分領域符号化部を備え、画像ブロックの１ロウ分の遅延を許容する場合、図６に示すように、入力画像内の画像ブロックの並び順で６分割し、６分割した画像を６つの部分領域符号化部に振り分けることもできる。なお、図６は、入力画像を６分割にした場合の例を示す図である。
【００５９】
また、符号化装置は、図７に示すように、２ロウ単位で分割することもできる。この場合、画像処理システムは、画像入力〜符号化〜復号化〜画像出力に関して、図７に示した「１〜３」の領域が３並列に処理が行われるとすると、２ロウ分の遅延が発生することとなる。なお、図７は、２ロウ単位で入力画像を分割した場合の例を示す図である。
【００６０】
また、符号化装置は、図６や図７に示したように、必ずしも矩形に分割する必要はない。例えば、図８に示すように、矩形以外の形式で分割することもできる。この場合、図８に示した「１〜３」の領域が３並列に符号化処理が行われるとすると、１ロウ分の遅延が発生することとなる。なお、図８は、矩形以外の分割形式の例を示す図である。
【００６１】
また、符号化装置は、図９に示すように、入力画像内の画像ブロック単位で領域を分割することもできる。この場合、図９に示した「１〜３」の領域が３並列に符号化処理が行われるとすると、３画像ブロック（１／２ロウ）分の遅延が発生することとなる。なお、図９は、画像ブロック単位の分割形式の例を示す図である。
【００６２】
このように、いずれの形式で分割したとしても、１画面全ての符号化が完了するまで待たずに、分割された並び順が符号化される度に送信することができる結果、１画面分の遅延ではなくロウ単位またはブロック単位の遅延で済むことができ、画像入力から画像出力までの処理遅延を短くすることが可能である。
【実施例３】
【００６３】
ところで、実施例１と２では、符号化装置は、入力画像を均等に分割して、それぞれを部分領域符号化部に均等に振り分ける場合について説明したが、本発明はこれに限定されるものではなく、処理性能の高い部分領域符号化部に関しては、領域を多く振り分けるように分割することもできる。
【００６４】
そこで、実施例３では、図１０と図１１とを用いて、処理性能の高い部分領域符号化部に関しては、領域を多く振り分けるように分割する符号化装置について説明する。図１０は、実施例３に係る符号化装置の構成を示す図であり、図１１は、分割された入力画像の例を示す図である。
【００６５】
図１０に示すように、この符号化装置１０は、入力画像バッファ１１と、入力画像制御部１２と、部分領域符号化部１〜３と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５とから構成される。
【００６６】
このうち、入力画像バッファ１１と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５とは、実施例１の図２で説明した入力画像バッファ１１と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５と同様の機能を有するので、詳細な説明は省略する。
【００６７】
ここでは、実施例１とは異なる機能を有する入力画像制御部１２と、部分領域符号化部１〜３とについて説明する。
【００６８】
部分領域符号化部１〜３は、実施例１と同様、入力画像制御部１２により入力された画像データを符号化する。具体的に例を挙げれば、部分領域符号化部１〜３は、入力画像制御部１２により入力された入力画像の部分領域の画像データに対して、参照画像制御部／画像バッファ１３に格納される参照画像を読み出して符号化し、符号化したデータから順に部分画像領域符号化データバッファ１４に格納する。さらに部分領域符号化部１〜３は、必要に応じてそれぞれの部分領域符号化部が符号化したデータを元に部分領域参照画像データを作成し、参照画像制御部／画像バッファ１３に格納する。ここで、実施例１と異なる点は、部分領域符号化部２は、部分領域符号化部１や部分領域符号化部３と比較して、２倍の処理性能を備えている。つまり、つまり、部分領域符号化部１や部分領域符号化部３が画像ブロック１つを符号化する同じ時間で、部分領域符号化部２は、画像ブロック２つを符号化することができる。
【００６９】
入力画像制御部１２は、部分領域符号化部１〜３の処理性能に応じて、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で分割し、分割した画像を部分領域符号化部１〜３に振り分ける。上記した例で具体的に説明すると、部分領域符号化部２が部分領域符号化部１や部分領域符号化部３と比較して２倍の処理性能を備えていることを根拠に、入力画像制御部１２は、図１１に示すように、部分領域符号化部２の処理画像ブロック数が部分領域符号化部１や部分領域符号化部３の処理画像ブロック数の２倍になるように、入力画像内の画像ブロックの並び順で分割する。そして、入力画像制御部１２は、図１１に示した部分領域１を部分領域符号化部１に振り分け、部分領域１の２倍の領域である部分領域２を部分領域符号化部２に振り分け、部分領域１と同じ処理ブロック数である部分領域３を部分領域符号化部３に振り分ける。
【００７０】
このように、実施例３に係る符号化装置は、部分領域符号化部１〜３の処理性能に応じて、入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で分割し、分割した画像を部分領域符号化部１〜３に振り分けるので、部分領域符号化部１〜３の処理性能に応じて分割した領域を割り振ることができ、各符号化部において待機などの無駄な処理が実行されることを防止することができる結果、入力画像を符号化する符号化処理において無駄な処理を削減することが可能である。
【００７１】
例えば、図１０のような符号化装置が、部分領域符号化部１〜３の処理性能を無視して、入力画像内の画像ブロックの並び順で均等に分割し、分割した画像を部分領域符号化部１〜３に振り分けた場合、部分領域符号化部１〜３が並列で実行されていることより、常に部分領域符号化部２が処理をしていない時間が発生し、その結果、画像入力から画像出力までの処理遅延が長くなる。ところが、本装置は、部分領域符号化部１〜３の処理性能に応じて、入力画像内の画像ブロックの並び順で分割し、分割した画像を部分領域符号化部１〜３に振り分け、入力画像を符号化する符号化処理において無駄な処理を削減することができる結果、システム全体としても画像入力から画像出力までの処理遅延を短くすることが可能である。
【実施例４】
【００７２】
ところで、本発明は、符号化装置が備える複数の符号化部の符号化手法が異なる符号化部であっても、実施例１と同様の処理を実施することができる。そこで、実施例４では、図１２と図１３とを用いて、符号化装置が備える複数の符号化部の一つが画面内符号化であるイントラ専用の符号化部である符号化装置について説明する。図１２は、実施例４に係る符号化装置の構成を示す図であり、図１３は、イントラ領域を振り分ける例を示す図である。
【００７３】
図１２に示すように、この符号化装置１０は、入力画像バッファ１１と、入力画像制御部１２と、部分領域符号化部１〜４と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５とから構成される。
【００７４】
このうち、入力画像バッファ１１と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５とは、実施例１の図２で説明した入力画像バッファ１１と、参照画像制御部／画像バッファ１３と、部分画像領域符号化データバッファ１４と、符号化データ連結制御部１５と同様の機能を有するので、詳細な説明は省略する。
【００７５】
ここでは、実施例１とは異なる符号化手法を有する入力画像制御部１２と、部分領域符号化部１〜４とについて説明する。
【００７６】
部分領域符号化部１〜４は、実施例１と同様、入力画像制御部１２により入力された画像データを符号化する。具体的に例を挙げれば、部分領域符号化部１〜４は、入力画像制御部１２により入力された入力画像の部分領域の画像データに対して、参照画像制御部／画像バッファ１３に格納される参照画像を読み出して符号化し、符号化したデータから順に部分画像領域符号化データバッファ１４に格納する。ここで、実施例１と異なる点は、部分領域符号化部１は、イントラ専用の符号化部であり、参照画像を読み出すことなく、受け付けた画像データから符号化データを生成する。
【００７７】
入力画像制御部１２は、入力画像内の画像ブロックの並び順で分割し、分割した画像のうちイントラ領域が遷移するように部分領域符号化部１〜４に振り分ける。具体的に例を挙げて説明すると、入力画像制御部１２は、図１３に示すように、時刻ｔの入力画像に対して、入力画像を４分割した一番左端をイントラ処理の対象領域とした場合、一番左端を部分領域符号化部１（イントラ用）に振り分け、部分領域符号化部２、部分領域符号化部３、部分領域符号化部４に対しては、その他の領域を順に振り分ける。その後、入力画像制御部１２は、図１３に示すように、時刻ｔ＋１の入力画像（時刻ｔの画像の次に入力された画像）に対しては、入力画像を４分割した左から２番目をイントラ処理の対象領域とし、左から２番目を部分領域符号化部１（イントラ用）に振り分け、一番左端を部分領域符号化部２、右から２番目を部分領域符号化部３、一番右を部分領域符号化部４に対して振り分ける。
【００７８】
このように、入力画像内の画像ブロックの並び順で分割し、分割した画像のうちイントラ領域が遷移するように部分領域符号化部１〜４に振り分けるので、イントラ領域が必要な入力画像を符号化する場合であっても、画像入力から画像出力までの処理遅延を短くすることが可能である。
【実施例５】
【００７９】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）復号化装置のバリエーション、（２）処理性能に応じた分割形式、（３）部分領域符号化部または部分領域復号化部への振り分け手法、（４）システム構成等、（５）プログラムにそれぞれ区分けして異なる実施例を説明する。
【００８０】
（１）復号化装置のバリエーション
例えば、実施例１〜４では、符号化装置の様々なバリエーションについて説明したが、復号化装置についても、実施例１〜４を同様に適用することができる。具体的には、実施例２で説明した分割形式については、符号化装置から受信した符号化データを分割する場合に適用することができる。
【００８１】
また、実施例３で説明した処理性能が２倍の符号化部に２倍の領域を割り振る手法については、処理性能が２倍の復号化部を備えた復号化装置に適用し、符号化装置から受信した符号化データを割り振る場合に、実施例３と同様に、２倍の領域を割り振るようにすればよい。また、実施例４で説明したイントラ領域を遷移するように割り当てる手法については、イントラ領域専用の復号化部を備えた復号化装置に適用し、符号化装置から受信した符号化データを割り振る場合に、実施例４と同様に、イントラ領域が遷移するように割り振ればよい。
【００８２】
（２）処理性能に応じた分割形式
また、実施例３では、処理性能が２倍の符号化部を備えた符号化装置の例について説明したが、この処理性能はあくまで例であり、これに限定されるものではない。例えば、処理性能が３倍の符号化部を備えた符号化装置の場合、他の符号化部に割り当てる領域の３倍の領域を処理性能が３倍の符号化部に割り当てるように、入力画像を分割すればよい。なお、これは、上記した復号化装置においても同様に適用することができる。
【００８３】
（３）部分領域符号化部または部分領域復号化部への振り分け手法
これまでの説明は、画像ブロックの部分領域符号化部への振り分けが前もって決めてある場合について説明したが、本発明はこれに限定されるものではなく、画像ブロックが入力される毎に振り分け先となる部分領域符号化部を決めてもよい。たとえば、それぞれの部分領域符号化部の処理時間は常に一定とは限らないので、前もって振り分け先を決めずに、画像ブロックを入力したときに、空いている部分領域符号化部に動的に振り分けてもよい。また、たとえば、符号化手法が異なる複数の部分領域符号化部がある場合、前もって振り分け先を決めずに、入力した画像ブロックのデータから符号化手法を決め、対応する部分領域符号化部に動的に振り分けてもよい。
【００８４】
また、これまでの説明は、画像ブロックの部分領域復号化部への振り分けが前もって決めてある場合について説明したが、本発明はこれに限定されるものではなく、符号化データが入力される毎に振り分け先となる部分領域復号化部を決めてもよい。たとえば、それぞれの部分領域復号化部の処理時間は常に一定とは限らないので、前もって振り分け先を決めずに、符号化データを入力したときに、空いている部分領域復号化部に動的に振り分けてもよい。また、たとえば、復号化手法が異なる複数の部分領域復号化部がある場合、前もって振り分け先を決めずに、入力した符号化データから復号化手法を判断し、対応する部分領域復号化部に動的に振り分けてもよい。
【００８５】
（４）システム構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理（例えば、画像入力処理など）の全部または一部を手動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００８６】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、入力画像制御部を分割部と振分部とに分割するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００８７】
（５）プログラム
なお、本実施例で説明した画像処理方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【００８８】
以上のように、本発明に係る符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラムは、入力された入力画像を複数領域に分割して、分割した複数領域の画像を複数の符号化部で符号化して符号化データを生成し、また、符号化された符号化データを受信して、受信した符号化データを複数の復号化部で復号化して元の画像データを生成することに有用であり、特に画像入力から画像出力までの処理遅延を短くすることに適する。
【図面の簡単な説明】
【００８９】
【図１】実施例１に係る画像処理システムの概要と特徴を説明するための図である。
【図２】実施例１に係る画像処理システムの符号化装置の構成を示すブロック図である。
【図３】実施例１に係る画像処理システムの復号化装置の構成を示すブロック図である。
【図４】実施例１に係る画像処理システムの符号化装置における符号化処理の流れを示すフローチャートである。
【図５】実施例１に係る画像処理システムの復号化装置における復号化処理の流れを示すフローチャートである。
【図６】入力画像を６分割にした場合の例を示す図である。
【図７】２ロウ単位で入力画像を分割にした場合の例を示す図である。
【図８】矩形以外の分割形式の例を示す図である。
【図９】画像ブロック単位の分割形式の例を示す図である。
【図１０】実施例３に係る符号化装置の構成を示す図である。
【図１１】分割された入力画像の例を示す図である。
【図１２】実施例４に係る符号化装置の構成を示す図である。
【図１３】イントラ領域を振り分ける例を示す図である。
【図１４】従来技術における入力画像の分割例を示す図である。
【図１５】従来技術における入力画像の分割例を示す図である。
【図１６】従来技術に係る符号化装置の構成例を示す図である。
【図１７】従来技術に係る復号化装置の構成例を示す図である。
【図１８】従来技術に係る符号化装置と復号化装置とから構成される画像処理システムの処理の流れを示す図である。
【図１９】画像ブロックとロウとを説明するための図である。
【図２０】画像ブロックの並び順を説明するための図である。
【図２１】スキャン順を説明するための図である。
【符号の説明】
【００９０】
１０ 符号化装置
１１ 入力画像バッファ
１２ 入力画像制御部
１３ 参照画像制御部／画像バッファ
１４ 部分画像領域符号化データバッファ
１５ 符号化データ連結制御部
３０ 復号化装置
３１ 符号化データ分割制御部
３２ 参照画像制御部／画像バッファ
３３ 出力部分画像バッファ
３４ 出力画像制御部
【特許請求の範囲】
【請求項１】
入力された入力画像を複数領域に分割して、分割した複数領域の画像を符号化して符号化データを生成する複数の符号化部を備え、前記入力画像の画面順と符号化データ内の画面順が等しくなる符号化装置であって、
前記入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割する画像分割手段と、
前記画像分割手段により分割された画像が振り分けられた複数の符号化部により、前記画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する符号化データ出力手段と、
を備えたことを特徴とする符号化装置。
【請求項２】
前記複数の符号化部は、前記符号化データを生成する処理性能が異なる符号化部であって、
前記画像分割手段は、前記複数の符号化部の処理性能に応じて、前記入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で分割し、分割した画像を複数の符号化部に振り分けることを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記複数の符号化部は、前記符号化データを生成する符号化手法が異なる符号化部であって、
前記画像分割手段は、前記入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で分割し、分割した画像を符号化手法が異なる複数の符号化部に振り分けることを特徴とする請求項１に記載の符号化装置。
【請求項４】
前記画像分割手段は、分割した画像の振り分け先を動的に決めて振り分けることを特徴とする請求項１〜３のいずれか一つに記載の符号化装置。
【請求項５】
符号化された符号化データを受信して、受信した符号化データを復号化して元の画像データを生成する複数の復号化部を備え、前記符号化データ内の画面順と出力画像の画面順が等しくなる復号化装置であって、
前記符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分ける画像分割手段と、
前記画像分割手段により分割された画像が振り分けられた複数の復号化部により、前記画像ブロックの並び順または前記表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、前記表示装置への出力順に画像データを出力する画像データ出力手段と、
を備えたことを特徴とする復号化装置。
【請求項６】
前記複数の復号化部は、前記符号化データを復号化する処理性能が異なる復号化部であって、
前記画像分割手段は、前記複数の復号化部の処理性能に応じて、前記符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で分割し、分割した画像を複数の部分復号化部に振り分けることを特徴とする請求項５に記載の復号化装置。
【請求項７】
前記複数の復号化部は、前記画像データを生成する復号化手法が異なる復号化部であって、
前記画像分割手段は、前記符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で分割し、分割した画像を復号化手法が異なる複数の復号化部に振り分けることを特徴とする請求項５に記載の復号化装置。
【請求項８】
前記画像分割手段は、分割した画像の振り分け先を動的に決めて振り分けることを特徴とする請求項５〜７のいずれか一つに記載の復号化装置。
【請求項９】
入力された入力画像を複数領域に分割して、分割した複数領域の画像を符号化して符号化データを生成する複数の符号化部を備え、前記入力画像の画面順と符号化データ内の画面順が等しくなる符号化装置に適した符号化方法であって、
前記入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割する画像分割工程と、
前記画像分割工程により分割された画像が振り分けられた複数の符号化部により、前記画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する符号化データ出力工程と、
を含んだことを特徴とする符号化方法。
【請求項１０】
入力された入力画像を複数領域に分割して、分割した複数領域の画像を符号化して符号化データを生成する複数の符号化部を備え、前記入力画像の画面順と符号化データ内の画面順が等しくなる符号化装置としてのコンピュータに実行させる符号化プログラムであって、
前記入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割する画像分割手順と、
前記画像分割手順により分割された画像が振り分けられた複数の符号化部により、前記画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する符号化データ出力手順と、
をコンピュータに実行させることを特徴とする符号化プログラム。
【請求項１１】
符号化された符号化データを受信して、受信した符号化データを復号化して元の画像データを生成する複数の復号化部を備え、前記符号化データ内の画面順と出力画像の画面順が等しくなる復号化装置に適した復号化方法であって、
前記符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分ける画像分割工程と、
前記画像分割工程により分割された画像が振り分けられた複数の復号化部により、前記画像ブロックの並び順または前記表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、前記表示装置への出力順に画像データを出力する画像データ出力工程と、
を含んだことを特徴とする復号化方法。
【請求項１２】
符号化された符号化データを受信して、受信した符号化データを復号化して元の画像データを生成する複数の復号化部を備え、前記符号化データ内の画面順と出力画像の画面順が等しくなる復号化装置としてのコンピュータに実行させる復号化プログラムであって、
前記符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分ける画像分割手順と、
前記画像分割手順により分割された画像が振り分けられた複数の復号化部により、前記画像ブロックの並び順または前記表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、前記表示装置への出力順に画像データを出力する画像データ出力手順と、
をコンピュータに実行させることを特徴とする復号化プログラム。
【請求項１】
入力された入力画像を複数領域に分割して、分割した複数領域の画像を符号化して符号化データを生成する複数の符号化部を備え、前記入力画像の画面順と符号化データ内の画面順が等しくなる符号化装置であって、
前記入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割する画像分割手段と、
前記画像分割手段により分割された画像が振り分けられた複数の符号化部により、前記画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する符号化データ出力手段と、
を備えたことを特徴とする符号化装置。
【請求項２】
前記複数の符号化部は、前記符号化データを生成する処理性能が異なる符号化部であって、
前記画像分割手段は、前記複数の符号化部の処理性能に応じて、前記入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で分割し、分割した画像を複数の符号化部に振り分けることを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記複数の符号化部は、前記符号化データを生成する符号化手法が異なる符号化部であって、
前記画像分割手段は、前記入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で分割し、分割した画像を符号化手法が異なる複数の符号化部に振り分けることを特徴とする請求項１に記載の符号化装置。
【請求項４】
前記画像分割手段は、分割した画像の振り分け先を動的に決めて振り分けることを特徴とする請求項１〜３のいずれか一つに記載の符号化装置。
【請求項５】
符号化された符号化データを受信して、受信した符号化データを復号化して元の画像データを生成する複数の復号化部を備え、前記符号化データ内の画面順と出力画像の画面順が等しくなる復号化装置であって、
前記符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分ける画像分割手段と、
前記画像分割手段により分割された画像が振り分けられた複数の復号化部により、前記画像ブロックの並び順または前記表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、前記表示装置への出力順に画像データを出力する画像データ出力手段と、
を備えたことを特徴とする復号化装置。
【請求項６】
前記複数の復号化部は、前記符号化データを復号化する処理性能が異なる復号化部であって、
前記画像分割手段は、前記複数の復号化部の処理性能に応じて、前記符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で分割し、分割した画像を複数の部分復号化部に振り分けることを特徴とする請求項５に記載の復号化装置。
【請求項７】
前記複数の復号化部は、前記画像データを生成する復号化手法が異なる復号化部であって、
前記画像分割手段は、前記符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で分割し、分割した画像を復号化手法が異なる複数の復号化部に振り分けることを特徴とする請求項５に記載の復号化装置。
【請求項８】
前記画像分割手段は、分割した画像の振り分け先を動的に決めて振り分けることを特徴とする請求項５〜７のいずれか一つに記載の復号化装置。
【請求項９】
入力された入力画像を複数領域に分割して、分割した複数領域の画像を符号化して符号化データを生成する複数の符号化部を備え、前記入力画像の画面順と符号化データ内の画面順が等しくなる符号化装置に適した符号化方法であって、
前記入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割する画像分割工程と、
前記画像分割工程により分割された画像が振り分けられた複数の符号化部により、前記画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する符号化データ出力工程と、
を含んだことを特徴とする符号化方法。
【請求項１０】
入力された入力画像を複数領域に分割して、分割した複数領域の画像を符号化して符号化データを生成する複数の符号化部を備え、前記入力画像の画面順と符号化データ内の画面順が等しくなる符号化装置としてのコンピュータに実行させる符号化プログラムであって、
前記入力画像における画像データの入力順または符号化データ内の画像ブロックの並び順で、目標とする符号化の遅延時間に対応した画像領域を複数に分割する画像分割手順と、
前記画像分割手順により分割された画像が振り分けられた複数の符号化部により、前記画像ブロックの並び順の符号化データが生成される度に、当該生成された並び順の符号化データを連結して出力する符号化データ出力手順と、
をコンピュータに実行させることを特徴とする符号化プログラム。
【請求項１１】
符号化された符号化データを受信して、受信した符号化データを復号化して元の画像データを生成する複数の復号化部を備え、前記符号化データ内の画面順と出力画像の画面順が等しくなる復号化装置に適した復号化方法であって、
前記符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分ける画像分割工程と、
前記画像分割工程により分割された画像が振り分けられた複数の復号化部により、前記画像ブロックの並び順または前記表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、前記表示装置への出力順に画像データを出力する画像データ出力工程と、
を含んだことを特徴とする復号化方法。
【請求項１２】
符号化された符号化データを受信して、受信した符号化データを復号化して元の画像データを生成する複数の復号化部を備え、前記符号化データ内の画面順と出力画像の画面順が等しくなる復号化装置としてのコンピュータに実行させる復号化プログラムであって、
前記符号化データ内の画像ブロックの並び順または前記復号化して得られた元の画像データを出力する表示装置への出力順で、目標とする復号化の遅延時間に対応した画像領域を複数に分割し、分割した画像を複数の復号化部に振り分ける画像分割手順と、
前記画像分割手順により分割された画像が振り分けられた複数の復号化部により、前記画像ブロックの並び順または前記表示装置への出力順の符号化データが復号化される度に、当該復号化された画像データを格納し、前記表示装置への出力順に画像データを出力する画像データ出力手順と、
をコンピュータに実行させることを特徴とする復号化プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−２４６５３９（Ｐ２００９−２４６５３９Ａ）
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願番号】特願２００８−８８５７３（Ｐ２００８−８８５７３）
【出願日】平成２０年３月２８日（２００８．３．２８）
【出願人】（５００４８９５０９）アイベックステクノロジー株式会社 (9)
【Ｆターム（参考）】
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願日】平成２０年３月２８日（２００８．３．２８）
【出願人】（５００４８９５０９）アイベックステクノロジー株式会社 (9)
【Ｆターム（参考）】
[ Back to top ]