画像音声信号処理装置及びそれを用いた電子機器
【課題】 ＭＰＥＧ−４ ＡＶＣの符号化／復号処理のような、大量のデータ処理量が要求される画像処理に対して、高性能で、高効率な画像処理が行える信号処理装置及びそれを用いた電子機器を提供する。
【解決手段】 信号処理装置は、命令並列プロセッサ１００、第１データ並列プロセッサ１０１、第２データ並列プロセッサ１０２、及び、専用ハードウェアである動き検出ユニット１０３とデブロックフィルタ処理ユニット１０４と可変長符号化／復号処理ユニット１０５とを備える。この構成により、処理量の多い画像圧縮伸張アルゴリズムの信号処理において、ソフトウェアとハードウェアで負荷が分散され高い処理能力と柔軟性を実現した信号処理装置、及びそれを用いた電子機器を提供出来る。
【解決手段】 信号処理装置は、命令並列プロセッサ１００、第１データ並列プロセッサ１０１、第２データ並列プロセッサ１０２、及び、専用ハードウェアである動き検出ユニット１０３とデブロックフィルタ処理ユニット１０４と可変長符号化／復号処理ユニット１０５とを備える。この構成により、処理量の多い画像圧縮伸張アルゴリズムの信号処理において、ソフトウェアとハードウェアで負荷が分散され高い処理能力と柔軟性を実現した信号処理装置、及びそれを用いた電子機器を提供出来る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ及び画像の圧縮伸張処理を、並列プロセッサと専用ハードウェアを用いて高速に行う、画像音声信号処理装置及びそれを用いた電子機器に関するものである。
【背景技術】
【０００２】
近年の動画像を扱う画像処理装置及び画像表示装置の高性能化、小型化の動きに呼応して、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ Ｏｒｇａｎｉｚａｔｉｏｎ）とＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ
Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ
Ｓｅｃｔｏｒ）は、共同で次世代の圧縮伸張技術として、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を規格化策定中である。ＭＰＥＧ−４ ＡＶＣは、４×４画素の整数変換、最大９方向のイントラ予測、７種類のサブマクロブロックタイプ、マクロブロックあたり最大１６本の動きベクトル、マルチフレーム参照、ループ内のデブロックフィルタ、算術符号などの新しい技術を導入することによって、画像の高圧縮率を実現し、既に実用化されているＭＰＥＧ−２方式の５０％に圧縮された符号量を目指している。
【０００３】
しかし、新たに導入された符号化ツールは、符号化効率を重視したアルゴリズムを採用しているために、その処理量が多く、組み込みシステムへの実装が困難になっている。
【０００４】
これまでの符号化方式の圧縮伸張を行う画像音声信号処理装置には、プロセッサによる並列処理と専用ハードウェアによる構成とが用いられてきた。
【０００５】
プロセッサによる並列処理手法を使った高速化信号処理の例として、特許文献１がある。この特許文献１に示される例は、制御の流れが１つで、処理されるデータの流れが複数である、ＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ ｓｔｒｅａｍ Ｍｕｌｔｉｐｌｅ Ｄａｔａ ｓｔｒｅａｍ）型の並列データ処理装置と、制御の流れもデータの流れも複数である、ＭＩＭＤ（Ｍｕｌｔｉｐｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ ｓｔｒｅａｍ
Ｍｕｌｔｉｐｌｅ Ｄａｔａ ｓｔｒｅａｍ）型の並列データ処理装置とを組み合わせた、並列処理装置である。
【０００６】
図１６は、特許文献１の図１から引用した、従来のＳＩＭＤ型並列データ処理装置９０２とＭＩＭＤ型並列データ処理装置９０３とを組み合わせた信号処理装置のブロック図である。
【０００７】
この信号処理装置は、装置全体を制御するシステム制御部９０１、ＳＩＭＤ型並列データ処理装置９０２、ＭＩＭＤ型並列データ処理装置９０３、共有メモリバス９０４、及び共有メモリ９０５を備える。
【０００８】
システム制御部９０１は、アプリケーションプログラムの実行制御を行う。
【０００９】
ＳＩＭＤ型並列データ処理装置９０２は、全体制御部９１０と、演算器９１１〜９１４とそれぞれのローカルメモリ９１５〜９１８とを有している。一つの演算器と一つのローカルメモリは、一つのプロセッサを構成している。全体制御部９１０は、プログラムを実行し、演算器９１１〜９１４のすべてに同一の命令を発行する。演算器９１１〜９１４は、発行された同一の命令の下で、各々のローカルメモリ９１５〜９１８に格納されている
データを処理する。
【００１０】
ＭＩＭＤ型並列データ処理装置９０３は、全体制御部９２０と、制御部９２１〜９２４と、演算器９２５〜９２８と、ローカルメモリ９２９〜９３２とを有している。一つの制御部と一つの演算器と一つのローカルメモリは、一つのプロセッサを構成している。制御部９２１〜９２４の各々において別々のプログラムが実行され、演算器９２５〜９２８の各々に別々の命令が発効され、ローカルメモリ９２９〜９３２の各々に格納されているデータを処理する。全体制御部９２０は、ＭＩＭＤ型並列データ処理装置９０３の全体の同期や監視のための制御を行う。
【００１１】
以上のような並列データ処理装置においては、対象となる処理が単純で、かつ、データ処理が大量なものをＳＩＭＤ型並列データ処理装置９０２で処理し、対象となる処理が複雑で、かつ、データ処理が少量なものをＭＩＭＤ型並列データ処理装置９０３で処理していた。
【００１２】
一方、対象となる処理に対して最適な演算器を専用ハードウェアで構成することによって、演算性能を改善した高速化手法も用いられている。その例として、特許文献２は、画像処理の可変長符号／復号処理を専用ハードウェア化することにより、処理の高速化を実現した技術を開示している。
【００１３】
図１７は、特許文献２の図１から引用した、従来のＳＩＭＤ型並列データ処理装置と専用ハードウェアとを組み合わせた画像処理装置１００１のブロック図である。
【００１４】
この画像処理装置１００１は、外部のビデオデータバス１００８を介して、外部のビデオ入力装置１００９と、ビデオ出力装置１０１０と、外部メモリ１０１１とに接続されている。画像処理装置１００１は、命令メモリ１００２、プロセッサ１００３、ＳＩＭＤ型演算手段１００４、ＶＬＣ（可変長符号化）処理手段１００５、外部データインターフェース１００６、及び、内部データバス１００７を備える。ＶＬＣ処理手段１００５は、専用ハードウェアにより構成されている。
【００１５】
プロセッサ１００３は、スカラー演算やビット操作演算、比較分岐命令を行うと共に、命令メモリ１００２に保持されている命令をデコードし、ＳＩＭＤ型演算手段１００４と、ＶＬＣ処理手段１００５と、外部データインターフェース１００６と、ビデオ入力装置１００９と、ビデオ出力装置１０１０とを制御する。
【００１６】
ビデオ入力装置１００９は、外部からのビデオ信号を入力し、ビデオ出力装置１０１０は外部にビデオデータを出力する。
【００１７】
ビデオ入力装置１００９から入力された画像データは、外部メモリ１０１１に転送され、次のステップで、ＳＩＭＤ演算手段１００４で行う処理に応じて、外部データインターフェース１００６に転送される。ＳＩＭＤ演算手段１００４では、動き補償、ＤＣＴ、量子化の各処理が行われ、変換係数データを得る。次のステップで、ＶＬＣ変換手段１００５において、変換係数データは、可変長符号化され、ビットストリームデータが生成される。
【００１８】
ＳＩＭＤ演算手段１００４は、８並列のパイプライン演算器で構成されているため、ＤＣＴなどの定型処理を効率よく処理することができる。
【００１９】
上述した特許文献１に代表される、ＳＩＭＤ型データ並列処理装置とＭＩＭＤ型並列データ処理装置を組み合わせた信号処理装置は、様々な符号化アルゴリズムに対する柔軟性
を持っている。したがって、並列度を増すことによって、画像処理に十分対応できていた。これは、従来の動き検出処理が、最大１６×１６ペルで最小８×８ペルのマクロブロックサイズに対するものであったことによる。
【００２０】
しかし、ＭＰＥＧ−４ ＡＶＣでは、最小のサブマクロブロックサイズが４×４ペルになっているため、従来の信号処理装置では、１６並列以上の演算器を用意しても、演算器の処理効率が向上しない。
【００２１】
また、ＭＰＥＧ−４ ＡＶＣの算術符号化／復号処理では、周辺のマクロブロックのコンテキストによって発生確率を変更しながら処理するために、１ビットづつ符号化しなければならず、並列処理ができない。つまり、従来の信号処理装置では、ＭＩＭＤ型並列データ処理装置の並列度を増加させても、ＭＰＥＧ−４ ＡＶＣでの処理性能は改善されない。
【００２２】
ＭＰＥＧ−４ ＡＶＣのデブロックフィルタにおいても、４×４ペルのサブマクロブロック単位でフィルタパラメータを計算し、その結果に基づいてフィルタ処理を行う。ＳＩＭＤ型演算装置を使えば、フィルタ処理を並列処理することが可能であるが、判定処理の際に演算器を有効に活用できない。
【００２３】
また、上述した特許文献２に代表される、ＳＩＭＤ型データ並列処理装置と専用ハードウェアとを組み合わせた信号処理装置では、高い処理性能を要求する算術符号化／復号処理に対しては、専用ハードウェアを採用することによって処理性能が改善されるが、最も処理量の多い動き検出をＳＩＭＤ型並列データ処理装置で処理するには、以下の問題がある。
【００２４】
ＭＰＥＧ−４ ＡＶＣでは、１／４画素精度の動き補償が導入され、ハーフペルの画素生成に６タップフィルタ処理を行わなければならない。更に、４×４ペルのサブマクロブロックブロックサイズが導入されたために、１マクロブロックあたり最大１６本の動きベクトルの設定が可能である。小さなサブマクロブロックサイズで、１／４画素精度の探索を行い、マクロブロック当たり最大１６本の動きベクトルを計算する動き検出の処理は、その処理量が飛躍的に増加している。
【００２５】
このような動き検出処理をＳＩＭＤ型データ並列処理装置で処理させようとすると、演算器の並列度を高め、動作周波数を高く設定しなければならない。そのような能力を持ったＳＩＭＤ型並列データ装置は、デコード処理においては、その能力に余剰が発生してしまい、装置全体を効率的に利用できない。
【００２６】
さらに、ＳＩＭＤ型並列データ処理装置の並列度を高めて処理性能を改善しようとしても、ブロックサイズが４×４ペルであるために、１６並列以上にはできない。
【先行技術文献】
【特許文献】
【００２７】
【特許文献１】国際公開第９１／１７５０７号
【特許文献２】特開２００１−３０９３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【００２８】
そこで本発明は、ＭＰＥＧ−４ ＡＶＣの符号化／復号処理のような、大量のデータ処理量が要求される画像処理に対して、高性能で、高効率な画像処理が行える信号処理装置及びそれを用いた電子機器を提供することを目的とする。
【課題を解決するための手段】
【００２９】
第１の発明に係る画像音声信号処理装置は、第１データバスと、前記第１データバスに接続され、前記第１データバスを介して共有される第１共有メモリと、前記第１データバスとは独立分離した状態に設けられる第２データバスと、前記第２データバスに接続され、前記第２データバスを介して共有される第２共有メモリと、前記第１データバスと前記第２データバスとを仲介し、前記第１データバスと前記第２データバスとを間接的に接続するブリッジユニットと、音声オーディオの圧縮処理を行い、前記第２データバスに接続される命令並列プロセッサと、前記第１データバスに接続されるが前記第２データバスには直接接続されず、かつ前記命令並列プロセッサとともに同時並行して画像圧縮処理を行うデータ並列プロセッサ及び専用ハードウェアとを備え、命令並列プロセッサ、データ並列プロセッサ及び前記専用ハードウェアのそれぞれは、同時並行して圧縮処理を実行する。
【００３０】
第２の発明に係る画像音声信号処理装置は、第１データバスと、前記第１データバスに接続され、前記第１データバスを介して共有される第１共有メモリと、前記第１データバスとは独立分離した状態に設けられる第２データバスと、前記第２データバスに接続され、前記第２データバスを介して共有される第２共有メモリと、前記第１データバスと前記第２データバスとを仲介し、前記第１データバスと前記第２データバスとを間接的に接続するブリッジユニットと、音声オーディオの伸長処理を行い、前記第２データバスに接続される命令並列プロセッサと、前記第１データバスに接続されるが前記第２データバスには直接接続されず、かつ前記命令並列プロセッサとともに同時並行して画像伸長処理を行うデータ並列プロセッサ及び専用ハードウェアとを備え、命令並列プロセッサ、データ並列プロセッサ及び前記専用ハードウェアのそれぞれは、同時並行して伸長処理を実行する。
【００３１】
第３の発明に係る画像音声信号処理装置は、命令並列プロセッサと、データ並列プロセッサと、専用ハードウェアとは、それぞれのローカルメモリを有し、データ並列プロセッサのローカルメモリと専用ハードウェアのそれぞれのローカルメモリは第１データバスに接続され、命令並列プロセッサのローカルメモリは第２データバスに接続され、ブリッジユニットは、第１データバスと第２データバスとに互いに独立した状態で接続される各メモリ間のデータ転送を仲介する。
【００３２】
第４の発明に係る画像音声信号処理装置は、ローカルメモリを有する入出力インターフェイスをさらに備え、入出力インターフェイスのローカルメモリは第１のデータバスに接続される。
【００３３】
第５の発明に係る画像音声信号処理装置は、命令並列プロセッサは、入出力インターフェイスによる入出力処理を制御する。
【発明の効果】
【００３４】
本発明によれば、ＭＰＥＧ−４ ＡＶＣの符号化／復号処理のような、大量のデータ処理量が要求される画像処理に対して、高性能で、高効率な画像処理が行える信号処理装置及びそれを用いた電子機器を提供すること出来る。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１の実施の形態における信号処理装置のブロック図
【図２】本発明の第２の実施の形態における信号処理装置のブロック図
【図３】本発明の第３の実施の形態におけるビデオエンコーダのブロック図
【図４】ＣＡＢＡＣ算術符号化処理ユニットのブロック図
【図５】符号化対象ブロックと隣接ブロックの配置図
【図６】１／４画素精度の動き補償を説明する図
【図７】本発明の第３の実施の形態におけるデブロックフィルタのブロック図
【図８】デブロックフィルタの処理順序を説明する図
【図９】本発明の第３の実施の形態と他の方式におけるエンコード処理量の比較を説明する図
【図１０】本発明の第４の実施の形態におけるビデオエデコーダのブロック図
【図１１】本発明の第５の実施の形態におけるオーディオエンコーダのブロック図
【図１２】本発明の第５の実施の形態におけるオーディオデコーダのブロック図
【図１３】本発明の第６の実施の形態におけるＡＶ再生システムのブロック図
【図１４】本発明の第７の実施の形態におけるＡＶ記録システムのブロック図
【図１５】本発明の第８の実施の形態におけるＡＶ記録／再生システムのブロック図
【図１６】従来のＳＩＭＤ型並列データ処理装置とＭＩＭＤ型並列データ処理装置とを組み合わせた信号処理装置のブロック図
【図１７】従来のＳＩＭＤ型並列データ処理装置と専用ハードウェアとを組み合わせた画像処理装置のブロック図
【発明を実施するための形態】
【００３６】
第１の構成による信号処理装置は、命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアとを備え、命令並列プロセッサは、音声オーディオの圧縮伸長処理、及び、画像の圧縮伸長処理のうちの非定型でかつ比較的軽い処理を行い、データ並列プロセッサは、画像の圧縮伸張処理のうちの定型でかつ比較的重い処理を行い、複数の専用ハードウェアは、画像の圧縮伸張処理のうちの比較的重い処理を行う。
【００３７】
この構成によれば、命令並列のプロセッサとデータ並列のプロセッサと専用ハードウェアとからなる構成で信号処理装置を形成し、命令並列プロセッサで、音声・オーディオの圧縮伸張処理と画像処理のうち非定型処理を行い、データ並列プロセッサで画像処理のうち定型処理を行い、専用ハードウェアで動き検出、可変長符合化、デブロックフィルタ処理などの処理を行うことが出来る。したがって、処理量の多い画像圧縮伸張アルゴリズムの信号処理に対して、ソフトウェアとハードウェアで負荷が分散され、高い処理能力と柔軟性を持った信号処理装置を実現することが出来る。
【００３８】
第２の構成による信号処理装置は、請求項１記載の信号処理装置であって、第１命令バスと、第１データバスと、第１共有メモリと、入出力インターフェースとを、さらに備え、命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアと、入出力インターフェースとは、それぞれのローカルメモリを有し、第１命令バスには、命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアとが接続され、第１命令バスを介して、命令並列プロセッサが、データ並列プロセッサ、及び、複数の専用ハードウェアを制御するための命令が通信され、第１データバスには、命令並列プロセッサのローカルメモリと、データ並列プロセッサのそれぞれのローカルメモリと、複数の専用ハードウェアのそれぞれのローカルメモリと、第１共有メモリと、入出力インターフェースのローカルメモリとが接続され、これらのメモリの間でのデータ転送が行われる。
【００３９】
この構成によれば、第１の構成による信号処理装置が有する特徴に加えて、さらに、命令バスとデータバスを分離することによって、バスのトラフィックを分散し、処理性能を向上させることが出来る。
【００４０】
第３の構成による信号処理装置は、第１、第２の構成による信号処理装置であって、第２データバスと、第２共有メモリと、第１データバスと第２データバスとを接続するブリッジユニットとを、さらに備え、第１データバスには、データ並列プロセッサのそれぞれ
のローカルメモリと、複数の専用ハードウェアのそれぞれのローカルメモリと、第１共有メモリと、入出力インターフェースのローカルメモリとが接続され、これらのメモリの間でのデータ転送が行われ、第２データバスには、命令並列プロセッサのローカルメモリと、第２共有メモリとが接続され、これらのメモリの間でのデータ転送が行われ、ブリッジユニットを介して、第１データバスに接続された各メモリと、第２データバスに接続された各メモリとの間のデータ転送が行われる。
【００４１】
この構成によれば、データ処理プロセッサのローカルメモリと、専用ハードウェアの専用メモリと、共有メモリとを第１データバスで接続し、命令並列プロセッサのローカルメモリと共有メモリとを第２データバスで接続する。これにより、大容量のデータを扱う画像処理のデータ転送が第１データバス中心に行われ、オーディオ処理を行う命令並列プロセッサが接続される第２データバスとの負荷分散が実現出来る。
【００４２】
第４の構成による信号処理装置は、第１から第３の構成による信号処理装置であって、制御プロセッサをさらに備え、命令並列プロセッサは、制御プロセッサを経由して、データ並列プロセッサと、複数の専用ハードウェアとを制御する。
【００４３】
この構成によれば、命令並列プロセッサは、制御プロセッサを経由してデータ並列プロセッサ及び専用ハードウェアを制御することが出来るので、命令並列プロセッサと制御プロセッサの負荷が分散され、より高い処理性能を実現することが出来る。
【００４４】
第５の構成による信号処理装置は、第１から第４の構成による信号処理装置であって、第２命令バスをさらに備え、第１命令バスには、命令並列プロセッサと、制御プロセッサと、複数の専用ハードウェアのうちの一部のハードウェアが接続され、第２命令バスには、制御プロセッサと、データ並列プロセッサと、複数の専用ハードウェアのうちの第１命令バスに接続されていない、他の専用ハードウェアが接続され、命令並列プロセッサは、複数の専用ハードウェアのうちの、第１命令バスに接続されている一部のハードウェアを制御し、また、制御プロセッサを経由して、データ並列プロセッサと、複数の専用ハードウェアのうちの第１命令バスに接続されていない、他の専用ハードウェアとを制御する。
【００４５】
この構成によれば、命令並列プロセッサは、第１命令バスを介して、制御プロセッサと、一部の専用ハードウェアのみを制御すればよく、定型的な処理を行うデータ並列プロセッサと専用ハードウェアは、第２命令バスを介して、制御プロセッサによって制御されるため、命令バスにおける命令の輻輳を回避でき、効率良く信号処理を行うことが出来る。
【００４６】
第６の構成による信号処理装置では、データ並列プロセッサの並列度は、圧縮伸長処理する画像サイズによって定められる。
【００４７】
この構成によれば、圧縮伸張の対象となる画像のサイズによって、データ並列プロセッサの並列度を変更するので、同一のプロセッサアーキテクチャでありながら、多様な画像サイズに対応出来る信号処理装置を提供出来る。
【００４８】
第７の構成による信号処理装置では、データ並列プロセッサの並列度は、信号処理装置に供給される電源電圧や、動作周波数によって定められる。
【００４９】
この構成によれば、ＬＳＩに共有される電源電圧や動作周波数によって、データ並列プロセッサの並列度を変更出来る。データ並列プロセッサの並列度を増大させることによって、動作周波数を下げ、信号処理装置の消費電力を低減することが出来るので、モバイル端末などの電子機器への応用が特に有効となる。
【００５０】
第８の構成による信号処理装置では、専用ハードウェアが行う処理は、可変長符号化処理、可変長復号処理、ビデオ入出力処理、動き検出処理、動き補償処理、ＤＣＴ（離散コサイン変換）処理、逆ＤＣＴ処理、量子化処理、逆量子化処理、及び、デブロックフィルタ処理の少なくとも一つを含む。
【００５１】
この構成によれば、圧縮伸張処理の中で、動き検出、可変長符号／復号、デブロックフィルタなどの処理量の多いモジュールを専用ハードウェアで処理することにより、命令並列プロセッサ及びデータ並列プロセッサの動作周波数の増大を抑制することが出来る。
【００５２】
第９の構成による信号処理装置では、複数の専用ハードウェアのうちの、第１命令バスに接続される一部のハードウェアが行う処理は、可変長符号化処理、及び／又は、可変長復号処理である。
【００５３】
この構成によれば、可変長符号化処理、及び／又は、可変長復号処理を行う専用ハードウェアを、命令並列プロセッサによって、直接、かつ、頻繁に制御出来る。したがって、可変長符号化処理、及び／又は、可変長復号処理を繊細に、かつ多様に制御出来る。
【００５４】
第１０の構成による電子機器は、第１から第９の構成による信号処理装置を用いた電子機器であって、信号処理装置は、音声オーディオの圧縮処理、音声オーディオの伸長処理、画像圧縮処理、及び、画像伸長処理の、少なくとも一つの処理を行う。
【００５５】
この構成によれば、請求項１から９記載の信号処理装置が有する特徴を生かした、電子機器を提供出来る。
【００５６】
第１１の構成による電子機器は、第１から第９の構成による信号処理装置と、再生機構を有する再生装置と、復調・エラー訂正部と、メモリと、複数のＤ／Ａ変換器とを備え、再生装置は、変調された符号化信号を記録媒体から再生し、復調・エラー訂正部は、再生装置が再生した変調された符号化信号を復調して、エラー訂正を行い、符号化データとして出力し、信号処理装置は、復調・エラー訂正部が出力した符号化データをデコードして、ビデオデータ及びオーディオデータとして出力し、メモリは、デコード処理前、処理中、及び／又は、処理後のデータを格納し、複数のＤ／Ａ変換器は、信号処理装置が出力したビデオデータ及びオーディオデータをＤ／Ａ変換して、アナログのビデオ出力及びアナログのオーディオ出力を出力する。
【００５７】
この構成によれば、符号化データを高速に、効率よくデコードでき、消費電力が小さい再生電子機器を実現出来る。
【００５８】
第１２の構成による電子機器は、第１から第９の構成による信号処理装置と、複数のＡ／Ｄ変換器と、メモリと、エラー訂正・変調部と、記録機構を有する記録装置とを備え、複数のＡ／Ｄ変換器は、入力されたアナログのビデオ入力及びアナログのオーディオ入力をＡ／Ｄ変換して、ビデオデータ及びオーディオデータを出力し、信号処理装置は、複数のＡ／Ｄ変換器が出力したビデオデータ及びオーディオデータをエンコードして、符号化データを出力し、メモリは、エンコード処理前、処理中、及び／又は、処理後のデータを格納し、エラー訂正・変調部は、信号処理装置がエンコードした符号化データに、エラー訂正符号を付加して、変調し、符号化信号として出力し、記録装置は、エラー訂正・変調部が出力した符号化信号を、記録媒体に記録する。
【００５９】
この構成によれば、ＡＶ信号を、高速に効率よくエンコードでき、消費電力が小さい記録電子機器を実現出来る。
【００６０】
第１３の構成による電子機器は、第１１の構成による電子機器と第１２の構成による電子機器とを一体的に構成される。
【００６１】
この構成によれば、ＡＶ信号を、高速に効率よくエンコード／デコードでき、消費電力が小さい、記録機能と再生機能とを一体化した電子機器を実現出来る。
【００６２】
次に、図面を参照しながら、本発明の実施の形態を説明する。
【００６３】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における信号処理装置のブロック図である。本形態の信号処理装置は、ローカルメモリ１１０を有する命令並列プロセッサ１００、ローカルメモリ１１１を有する第１データ並列プロセッサ１０１、ローカルメモリ１１２を有する第２データ並列プロセッサ１０２、ローカルメモリ１１３を有する動き検出ユニット１０３、ローカルメモリ１１４を有するデブロックフィルタ処理ユニット１０４、ローカルメモリ１１５を有する可変長符号化／復号処理ユニット１０５、ローカルメモリ１１６を有する入出力インターフェース１０６、第１共有メモリ１２１、第１命令バス１３０、及び、第１データバス１３２を備え、第１命令バス１３０には、各プロセッサ１００〜１０２と各ユニット１１２〜１１６とが接続され、第１データバス１３２には、ローカルメモリ１１０〜１１６と、第１共有メモリ１２１と、入出力インターフェース１０６とが接続されている。可変長符号化／復号処理ユニット１０５は、さらに、外部装置に対してビットストリーム入出力１３５を有しており、入出力インターフェース１０６は、外部装置に対してオーディオ入出力１３６とビデオ入出力１３７を有している。
【００６４】
第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２とに採用されているＳＩＭＤ型プロセッサには、８個の処理要素が含まれており、１個の命令で８個のデータ流を並列に処理することが出来る。
【００６５】
動き検出ユニット１０３と、デブロックフィルタ処理ユニット１０４と、可変長符号化／復号処理ユニット１０５と、入出力インターフェース１０６とは、それぞれ専用のハードウェアである。
【００６６】
次に、本形態の動作の概略を、画像の符号化処理を例として、説明する。
【００６７】
外部から入力されたビデオ信号は、Ａ／Ｄ変換された後、入出力インターフェース１０６より、第１データバス１３２を経由して、第１共有メモリ１２１に格納される。
【００６８】
動き検出ユニット１０３は、第１共有メモリ１２１に格納されている前フレームの画像データと、現フレームの画像データを基に、動きベクトルを算出する。
【００６９】
第１データ並列プロセッサ１０１は、第１共有メモリ１２１に格納されている前フレームの画像データと、動き検出ユニット１０３が算出した動きベクトルを基に、動き補償処理を行って、予測画像データを算出する。また、この予測画像データに対する現フレームの画像データの差分画像データを算出する。
【００７０】
第２データ並列プロセッサ１０２は、差分画像データをＤＣＴ変換処理し、さらに、得られたＤＣＴ係数を量子化処理する。また、第２データ並列プロセッサ１０２は、量子化ＤＣＴ係数を逆量子化し、さらに、逆ＤＣＴ変換処理して、差分画像データを算出し、第１データ並列プロセッサ１０１が処理した予測画像データとから、再構築画像データを算出する。
【００７１】
本形態の信号処理装置では、第１データ並列プロセッサ１０１が、動き補償処理の画素値計算を行っている間に、第２データ並列プロセッサ１０２が、ＤＣＴ変換処理を行う。このように、２つのデータ並列プロセッサの稼働率を維持して、それぞれに別々の処理をさせることができ、演算性能の改善を図っている。
【００７２】
デブロックフィルタ処理ユニット１０４は、再構築画像データに対して、デブロックフィルタ処理をして、ブロックノイズを除去し、第１共有メモリ１２１に格納する。
【００７３】
可変長符号化／復号処理ユニット１０５は、量子化ＤＣＴ係数と動きベクトルとを、算術符号を用いた可変長符号化処理し、ビットストリームとして出力する。
【００７４】
命令並列プロセッサ１００は、上述した各種の処理の全体的な制御を、第１命令バス１３０を介して行う。また、命令並列プロセッサ１００は、予測画像の生成を、イントラ予測符号化で行うか、あるいは、インター予測符号化で行うかの符号化モードの判定を行う。
【００７５】
各プロセッサと各ユニットと間のデータ転送は、第１データバス１３２を介して行われる。
【００７６】
このように、画像圧縮・伸長処理のうち逐次的な処理を命令並列プロセッサ１００が行い、画像圧縮・伸長処理のうち定型的な処理を第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２とが行い、さらに、動き検出処理、デブロックフィルタ処理、及び、可変長符号化処理といった重い処理を専用ハードウェアで行うことにより、高効率な画像処理を実現出来る。
【００７７】
本形態における、第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２との処理対象の分担区分は、一例であって、その他の区分でも良い。あるいは、プロセッサの性能によっては、第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２の処理を一つのデータ並列プロセッサで行っても良い。
【００７８】
さらに、第１データ並列プロセッサ１０１が行っている動き補償処理は、動き検出ユニット１０３が行っても良い。
【００７９】
（第２の実施の形態）
図２は、本発明の第２の実施の形態における信号処理装置のブロック図である。図２において、図１と同様の構成要素については、同一の符号を付すことにより、説明を省略する。
【００８０】
本形態の信号処理装置は、第１の実施の形態の信号処理装置に比べ、制御プロセッサ１０７、第２共有メモリ１２２、第２命令バス１３１、第２データバス１３３、及び、第１データバス１３２と第２データバス１３３とを接続するブリッジユニット１２０とを、さらに備える。
【００８１】
第１命令バス１３０には、命令並列プロセッサ１００と、制御プロセッサ１０７と、可変長符号化／復号処理ユニット１０５とが接続されている。第２命令バスには、制御プロセッサ１０７、第１データ並列プロセッサ１０１、第２データ並列プロセッサ１０２、動き検出ユニット１０３、及び、デブロックフィルタ処理ユニット１０４とが接続されている。
【００８２】
第１データバスには、ローカルメモリ１１１〜１１５、第１共有メモリ１２１、入出力
インターフェース１０６、及び、ブリッジユニット１２０とが接続されている。第２データバスには、ローカルメモリ１１０と第２共有メモリ１２２とブリッジユニット１２０とが接続されている。
【００８３】
本形態の信号処理装置は、第１の実施の形態に比べ、データの並列処理をさらに強固にしたものである。すなわち、本形態において導入された制御プロセッサ１０７は、命令並列プロセッサ１００からの命令を受けて、第１データ並列プロセッサ１０１、第２データ並列プロセッサ１０２、動き検出ユニット１０３、及び、デブロックフィルタ処理ユニット１０４とを、第２命令バス１３１を介して制御する。その結果、本形態の信号処理装置は、各データ並列プロセッサ及び専用ハードウェアでの並列処理がより迅速に行えるように構成されている。
【００８４】
さらに、本形態の第２共有メモリ１２２は、命令並列プロセッサ１００に関係するデータと、第１データバス１３２に接続されている各構成要素が扱うデータのうち、比較的アクセス頻度が低いデータとを格納する。この構成により、第１共有メモリ１２１の負荷が軽減され、信号処理装置全体の処理効率が改善される。
【００８５】
本形態の動作は、以下に述べる第３の実施の形態において、詳述する。
【００８６】
（第３の実施の形態）
図３は、本発明の第３の実施の形態におけるビデオエンコーダのブロック図である。
【００８７】
本形態のビデオエンコーダは、ＭＰＥＧ−４ ＡＶＣに対応出来るエンコーダであり、各構成要素には、ＭＰＥＧ−４ ＡＶＣに対応するビデオエンコーダの各機能を的確に表現した名前が付されている。
【００８８】
図３に示した本形態のビデオエンコーダは、第２の実施の形態の信号処理装置によって構成されている。そこで、まず、図３の構成要素と、図２の構成要素との対応関係を示す。
【００８９】
符号化制御部３０１とモード切替部３０３の処理は、図２の命令並列プロセッサ１００が行う。
【００９０】
動き補償部３１２と差分検出部３０２の処理は、図２の第１データ並列プロセッサ１０１が行う。
【００９１】
４×４ＤＣＴ変換部３０４、量子化部３０５、逆量子化部３０６、逆４×４ＤＣＴ変換部３０７、及び、再構築部３０９の処理は、図２の第２データ並列プロセッサ１０２が行う。
【００９２】
可変長符号化部３０８は、図２の可変長符号化／復号処理ユニット１０５に相当し、デブロックフィルタ３１０は、図２のデブロックフィルタ処理ユニット１０４に相当し、フレームメモリ３１１は、図２の第１共有メモリ１２１に相当し、動き検出部３１３は、図２の動き検出ユニット１０３に相当する。
【００９３】
次に、ＭＰＥＧ−４ ＡＶＣの主要な信号処理を、本形態の各部の動作を参照して、説明する。
【００９４】
まず、図３を参照して、エンコード処理を説明する。ビデオ入力３１４は、イントラ符号化の場合、４×４ＤＣＴ変換部３０４において離散コサイン変換（直交変換）されＤＣ
Ｔ係数が求められる。次に、量子化部３０５においてＤＣＴ係数が量子化される。
【００９５】
ＭＰＥＧ−２やＨ．２６３などの既存の符号化規格では、８×８ブロックサイズに対して、実数精度のＤＣＴが採用されており、ＤＣＴ精度を規定しなければミスマッチが発生した。しかし、ＭＰＥＧ−４ ＡＶＣでは、４×４ブロックサイズに対して、整数精度のＤＣＴ変換が適用されており、この結果、ＤＣＴ精度に起因するミスマッチが発生しなくなった。
【００９６】
量子化されたＤＣＴ係数は、可変長符号部３０８において、算術符号化器を使ってエントロピー符号化される。その詳細は、後述する。
【００９７】
次に、可変長符号化／復号処理について説明する。
【００９８】
ＭＰＥＧ−４ ＡＶＣの概要は、非特許文献１「ＭＰＥＧ−４ ＡＶＣ｜Ｈ．２６４の概要と標準化動向」（鈴木輝明；情報処理学会、オーディオビジュアル複合情報処理３８―１３、６９〜７３頁、２００２年１１月）で説明されている。以下では、非特許文献１に基づいて説明する。
【００９９】
マクロブロックの個数、動きベクトルの差分、変換係数などのシンタックス要素の可変長符号化では、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ；コンテキスト適応可変長符号化）と、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応２進算術符号化）という２種類のエントロピー符号化方式が使い分けられる。
【０１００】
ここでは、メインプロファイルで用いられるＣＡＢＡＣという算術符号化方式について説明する。算術符号は、長さ「１」の線分を、符号化しようとするシンボルの出現確率に従って分割し、その分割された線分と符号化しようとするシンボルとが１対１に対応することから、その線分について符号化するものである。その線分を代表する２進数が符号となるため、線分の区間が広い、すなわち符号化しようとするシンボルの出現確率が高いほど、そのシンボルは短い２進数で表現でき、その結果圧縮率が高くなる。そこで、対象ブロックの符号化を行う場合に、周辺ブロックのコンテキストに応じて出現確率を操作して、圧縮率が高くなるように制御される。
【０１０１】
図４は、ＣＡＢＡＣ算術符号化処理ユニットのブロック図である。これは、非特許文献１の図７から引用したものである。図４に示すＣＡＢＡＣ算術符号化処理ユニットは、コンテキストモデリング部４０１と、バイナリ化部４０２と、適応２進算術符号化処理部４０５とを備え、適応２進算術符号化処理部４０５は、出現確立予測部４０３、及び、符号化部４０４とを有する。
【０１０２】
コンテキスト・モデリングは、各シンボルを符号化する際の確率モデルである。各シンタックス要素には、コンテキストが定義されており、このコンテキストに応じて確率テーブルを切り替えて算術符号を行う。
【０１０３】
図５は、符号化対象ブロックと隣接ブロックの配置図である。図５において、符号化対象ブロックＣ４０８を符号化する際、隣接ブロックＡ４０６と隣接ブロックＢ４０７の状態に応じて、符号化対象ブロックＣ４０８のコンテキストが決定される。
【０１０４】
以上のような算術符号処理において、可変長符号化された符号のデコード処理は、出現確率情報をデコーダで解釈し、その情報に基づいて再構成するという逐次処理である。ま
た、出現確率の操作は、テーブルによって行われることから、これらの符号化処理と復号処理を、ＶＬＩＷ（極長命令語）対応の命令並列プロセッサ（上述した第２の実施の形態では、図２に示す命令並列プロセッサ１００に相当）や、ＳＩＭＤ型のデータ並列プロセッサ（同じく、第１データ並列プロセッサ１０１、あるいは、第２データ並列プロセッサ１０２に相当）で行ったのでは、処理性能は、改善されない。むしろ、これらの処理は、専用ハードウェア（同じく、可変長符号化／復号処理ユニット１０５に相当）を用いて処理することによって、命令並列プロセッサとデータ並列プロセッサの負荷分散ができ、その結果、動作周波数が低減され、処理装置の周波数バランスを良好にすることが出来る。これが、本実施の形態において、図３に示す可変長符号化部３０８を、図２に示す専用ハードウェアである可変長符号化／復号処理ユニット１０５によって、処理している理由である。
【０１０５】
図３において、量子化部３０５によって量子化されたＤＣＴ係数は、逆量子化部３０６において逆量子化された後、逆４×４ＤＣＴ変換部３０７において、逆ＤＣＴ変換され、再構築部３０９において、画像が再構築される。再構築された画像は、デブロックフィルタ３１０によって、デブロックフィルタ処理が施され、４×４画素境界で画素値が書き換えられる。デブロックフィルタ処理については、後述する。
【０１０６】
次に、図３の動き補償部３１２において行う１／４画素精度の動き補償処理について、図６を参照して、説明する。図６は、１／４画素精度の動き補償を説明する図である。
【０１０７】
動き補償とは、参照する画像から予測画像を構成する場合に、動きベクトルの情報を用いて、符号化しようとする画像により近い予測画像を構成しようとするものである。予測誤差が少ないほど、符号量が小さくなるため、ＭＰＥＧ−４ ＡＶＣでは１／４画素精度の動き補償が採用されている。動きベクトルは、ブロック単位での平行移動を表す２つのパラメータ（水平方向の移動距離と垂直方向の移動距離）から構成される。
【０１０８】
動きベクトルが指し示した参照画像の予測画像は、下記の方法によって求められる。
【０１０９】
図６において、画素Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎ、Ｐ、Ｑ、Ｒ、Ｓ、Ｔ、Ｕは、それぞれ整数位置の画素であり、画素ａａ、ｂｂ、ｃｃ、ｄｄ、ｅｅ、ｆｆ、ｇｇ、ｈｈ、及び、画素ｂ、ｈ、ｊ、ｍ、ｓは、それぞれ１／２精度の画素であり、画素ａ、ｃ、ｄ、ｅ、ｆ、ｇ、ｉ、ｋ、ｎ、ｐ、ｑ、ｒは、それぞれ１／４精度の画素である。
【０１１０】
これらの画素の画素値を求める手順について説明する。まず、１／２精度の画素ｂは、以下のように求められる。画素ｂの水平方向の近傍の画素Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊを変数として、（数１）で定義される６タップフィルタを用いて、中間データｂ１が生成される。
【０１１１】
【数１】
【０１１２】
次に、この中間データｂ１を、（数２）によって、丸め処理と正規化の後、０〜２５５にクリップ処理して、画素ｂが求まる。
【０１１３】
【数２】
【０１１４】
ここに、Ｃｌｉｐ（Ｘ）は、カッコ内の変数Ｘを０から２５５の範囲にクリップする関数である。すなわち、変数Ｘが０未満であれば、ｂ＝０とし、変数Ｘが０から２５５の範囲であれば、ｂ＝Ｘとし、変数Ｘが２５６以上であれば、ｂ＝２５５とする。
【０１１５】
同様に、１／２精度の画素ｈは、次のように求められる。画素ｈの垂直方向の近傍の画素Ａ、Ｃ、Ｇ、Ｍ、Ｒ、Ｔを変数として、（数３）で定義される６タップフィルタを用いて、中間データｈ１が生成される。
【０１１６】
【数３】
【０１１７】
この中間データｈ１を、（数４）によって、丸め処理と正規化の後、０〜２５５にクリップ処理して、画素ｈが求まる。
【０１１８】
【数４】
【０１１９】
１／４精度の画素ａ、ｃ、ｄ、ｆ、ｉ、ｋ、ｎ、ｑ、は、（数５）に示すように、それぞれの近傍の２画素を用いて、丸め付き平均により求められる。
【０１２０】
【数５】
【０１２１】
１／４精度の画素ｅ、ｇ、ｐ、ｒは、同様に、（数６）に示すように、それぞれの近傍の２画素を用いて、丸め付き平均により求められる。
【０１２２】
【数６】
【０１２３】
以上のような予測画像の生成において、動きベクトルはサブマクロブロック毎に設定することが可能である。最も小さなサブマクロブロックである４×４の場合においては、整数位置の画素から実数位置の１６箇所の画素を６タップフィルタを使って内挿しなければならない。画素の内挿では画素間にデータの依存関係がないため並列に処理が可能である。従って、本実施の形態に示すように、ＳＩＭＤ型データ並列プロセッサを使うと、効率よくフィルタ処理が出来る。
【０１２４】
次に、デブロックフィルタ処理について説明する。
【０１２５】
ＭＰＥＧ−４ ＡＶＣでは、４×４画素単位でＤＣＴ処理を行うために、ブロックの境界にブロック歪みが発生する。デブロックフィルタ処理は、ブロックの境界にフィルタをかけて歪みを平滑化するものである。画像の４×４境界に施すフィルタ処理は、Ｂｏｕｎｄａｒｙ Ｓｔｒｅｎｇｔｈ（ＢＳ）という境界の強度の値に応じて、フィルタの強度がブロック境界毎に最も適した値に調整される、適応的なフィルタ処理である。すなわち、境界の強度ＢＳは、その境界にフィルタをかけるかどうかの判定と、フィルタをかける際の画素値変動の最大値を定義するために用いられる。
【０１２６】
図７は、本発明の第３の実施の形態におけるデブロックフィルタ３１０のブロック図である。本形態のデブロックフィルタ３１０は、ＢＳ条件判定処理部６０２、メモリ６０３、制御部６０４、及び、フィルタ処理部６０５を備え、フィルタ処理部６０５は、メモリ６０６とフィルタ６０７〜６０９を有する。
【０１２７】
図７に示すデブロックフィルタ３１０において、ＢＳ条件判定処理部６０２は、境界の強度ＢＳを計算し、その結果を判定して、制御パラメータ６１３をフィルタ処理部６０５に渡す。フィルタ処理部６０５は、制御パラメータ６１３に応じてフィルタ処理を行う。
【０１２８】
デブロックフィルタ３１０の処理を、図８を参照して、説明する。
【０１２９】
図８は、本発明の第３の実施の形態におけるデブロックフィルタ３１０の処理順序を示す。フィルタ処理は、図８に示すように、境界［１］〜［４］に対する水平フィルタ処理が行われ、続いて、境界［５］〜［８］に対する垂直フィルタ処理が行われる。
【０１３０】
境界の強度 ＢＳ＝４ の時のフィルタ処理について説明する。４×４のサブマクロブロックの境界［１］における最初のフィルタ処理では、境界［１］を挟んだ画素ｐ３、ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２、ｑ３の８画素を入力として、画素ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２の６画素を、画素Ｐ２、Ｐ１、Ｐ０、Ｑ０、Ｑ１、Ｑ２に書き換える。
【０１３１】
画素Ｐ２、Ｐ１、Ｐ０は、（数７）の条件式によってフィルタ処理の式を切り換え、（数８）と（数９）とによって求められる。
【０１３２】
【数７】
【０１３３】
（数７）の条件が満たされる場合は、画素Ｐ０、Ｐ１、Ｐ２を（数８）から求める。
【０１３４】
【数８】
【０１３５】
（数７）の条件が満たされない場合は、画素Ｐ０、Ｐ１、Ｐ２を（数９）から求める。
【０１３６】
【数９】
【０１３７】
また、画素Ｑ０、Ｑ１、Ｑ２は、（数１０）の条件式によってフィルタ処理の式を切り換え、（数１１）と（数１２）とによって求められる。
【０１３８】
【数１０】
【０１３９】
（数１０）の条件が満たされる場合は、画素Ｑ０、Ｑ１、Ｑ２を（数１１）から求める。
【０１４０】
【数１１】
【０１４１】
（数１０）の条件が満たされない場合は、画素Ｑ０、Ｑ１、Ｑ２を（数１２）から求める。
【０１４２】
【数１２】
【０１４３】
以上のように、量子化パラメータと画素値によって適応的にフィルタ処理を切り換える場合、ＳＩＭＤ型データ並列プロセッサによるデータ処理装置では、ＢＳ条件判定を並列
に処理できないために、並列設置された演算器が有効に活用できない。それに代わって、図７に示したように、デブロックフィルタ処理を、ＢＳ条件判定処理部６０２とフィルタ処理部６０５とからなる専用ハードウェアで実行すれば、ＢＳ計算処理とフィルタ処理を別々に演算することができ、ＢＳ条件の判定処理が高速化され、フィルタ処理が並列処理出来る。その結果、デブロックフィルタ処理を、効率よく行うことが出来る。さらに、フィルタ処理部は、輝度Ｙと色差ＵＶにデータの依存がないため、並列動作が可能であり、演算器を導入すると更に処理サイクル数の削減が可能である。これが、本実施の形態において、図３に示すデブロックフィルタ３１０を、図２に示す専用ハードウェアであるデブロックフィルタ処理ユニット１０４によって、処理している理由である。
【０１４４】
図３に示す本形態のビデオエンコーダにおいて、デブロックフィルタ３１０によりデブロックフィルタ処理された画像は、出力画像として用いられるだけでなく、そのフレーム以降の参照画像として参照されるため、フレームメモリ３１１に保存しておく。
【０１４５】
次に、図３に示すビデオエンコーダを、本形態の信号処理装置で実現した場合の所要処理量と、他の方式によって構成した場合の所要処理量とを比較する。
【０１４６】
図９は、本発明の第３の実施の形態と他の方式におけるエンコード処理量の比較を示す図である。
【０１４７】
図９において、方式１は、１クロックサイクルあたり１命令を発行出来るプロセッサを用いて、図３に示すビデオエンコーダを構成し、全てソフト処理した場合である。方式２は、ＭＩＭＤ型並列データ処理装置とＳＩＭＤ型並列データ処理装置を組み合わせて、図３に示すビデオエンコーダを構成し、全てソフト処理した場合である。方式３は、ＳＩＭＤ型並列データ処理装置とＶＬＣの専用ハードウェアを用いて、図３に示すビデオエンコーダを構成した場合である。方式４は、ＶＬＩＷ型並列データ処理装置とＳＩＭＤ型並列データ処理装置と専用ハードウェアを用いて、図３に示すビデオエンコーダを構成した場合であり、本実施の形態に相当する。すなわち、方式４のＶＬＩＷ型並列データ処理装置は、本形態の図２に示す、命令並列プロセッサ１００に相当し、ＳＩＭＤ型並列データ処理装置は、同じく、第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２に相当し、専用ハードウェアは、同じく、動き検出ユニット１０３と、デブロックフィルタ処理ユニット１０４と、可変長符号化／復号処理ユニット１０５に、相当する。
【０１４８】
エンコード処理において、処理量が多いのは、動き検出と動き補償と可変長符号化とデブロックフィルタである。これらの処理量の具体的な数値を各方式について比較すると、以下のようになる。
【０１４９】
方式１においては、動き検出処理が「３０４８」メガサイクル、可変長符号化処理が「１０００」メガサイクル、デブロックフィルタ処理が「３２１」メガサイクル、動き補償処理が「３１４」メガサイクル、その他の処理が「２１７」メガサイクルである。全処理量は、「４９００」メガサイクルである。
【０１５０】
方式２においては、動き検出処理が「３８１」メガサイクル、可変長符号化処理が「３３３」メガサイクル、デブロックフィルタ処理が「１０７」メガサイクル、動き補償処理が「３９」メガサイクル、その他の処理が「５２」メガサイクルである。全処理量は、「９００」メガサイクルである。
【０１５１】
方式３においては、動き検出処理が「３８１」メガサイクル、可変長符号化処理が「６７」メガサイクル、デブロックフィルタ処理が「８０」メガサイクル、動き補償処理が「３９」メガサイクル、その他の処理が「３０」メガサイクルである。全処理量は、「６０
７」メガサイクルである。
【０１５２】
方式４においては、動き検出処理が「２０３」メガサイクル、可変長符号化処理が「６７」メガサイクル、デブロックフィルタ処理が「２１」メガサイクル、動き補償処理が「２１」メガサイクル、その他の処理が「２９」メガサイクルである。全処理量は、「３５２」メガサイクルである。
【０１５３】
動き検出処理は、対象マクロブロックと参照マクロブロックの画素値の差分絶対値和が最も少ないポジション（動きベクトル）を選択する処理である。ＭＰＥＧ−４ ＡＶＣの場合、４×４のサブマクロブロック単位で動きベクトルを設定することが可能である。従って、１６画素の差分絶対値和の計算が並列に処理出来る。方式２及び方式３では、この動き検出の処理を、８並列のＳＩＭＤ型並列データ処理装置で処理させたものであり、方式１に比べ大幅な高速化が実現している。方式４は、１６並列で差分絶対値和の計算が可能な専用ハードウェアで、動き検出を処理しているため、ＳＩＭＤ型並列データ処理装置よりも更に高速な処理が実現している。
【０１５４】
動き補償処理は、動きベクトルが指し示した参照画像を、１／４画素精度で求める処理である。この処理においても、４×４サブマクロブロック単位で処理が行われるため、並列処理が可能である。動き検出処理と同様に、方式２と方式３は、８並列のＳＩＭＤ型並列データ処理装置で、方式４は、専用ハードウェアで動き補償処理を行っており、大幅な高速化を達成している。
【０１５５】
可変長符号化処理は、ＣＡＢＡＣと呼ばれる算術符号処理で、周辺ブロックのコンテキストに応じて対象ブロックの発生確率を変化させて復号を行う逐次処理である。方式２では、可変長符号化の処理を、４命令発行可能なＭＩＭＤ型並列データ処理装置を用いて行うことを想定しているが、方式１の１命令発行のプロセッサに比べて、最大でも１／３の処理量である。方式３と方式４は、専用ハードウェアでＶＬＣ処理を行うもので、判定処理やテーブル検索が高速に行われるため、方式１に比べて、１／１５に高速化が可能である。
【０１５６】
デブロックフィルタ処理は、方式２がＭＩＭＤ型並列データ処理装置による並列処理で、方式３がＳＩＭＤ型並列データ処理装置による並列処理である。ＭＩＭＤ型では、フィルタ処理の性能が、ＳＩＭＤ型では、ＢＳ判定処理の性能が改善されないため、１／３〜１／４の高速化しか得られない。一方、方式４は、デブロックフィルタ処理を専用ハードウェアで実行するもので、ＢＳ判定処理とフィルタ処理を分割し、パイプライン動作させることによって、方式１に比べ、１／１５の高速化が可能である。
【０１５７】
以上、明らかなように、本形態のように、動き検出処理と動き補償処理と可変長符号化処理とデブロックフィルタ処理とを、専用ハードウェアで構成することによって、大幅な高速化が可能である。
【０１５８】
（第４の実施の形態）
図１０は、本発明の第４の実施の形態におけるビデオデコーダのブロック図である。
【０１５９】
本形態のビデオデコーダは、ＭＰＥＧ−４ ＡＶＣに対応出来るデコーダであり、各構成要素には、ＭＰＥＧ−４ ＡＶＣに対応するビデオデコーダの各機能を的確に表現した名前が付されている。
【０１６０】
図１０に示した本形態のビデオデコーダは、第２の実施の形態の信号処理装置によって構成されている。そこで、まず、図１０の構成要素と、図２の構成要素との対応関係を示
す。
【０１６１】
復号制御部３３１の処理は、図２の命令並列プロセッサ１００が行う。
【０１６２】
動きベクトル復号部３３６と動き補償部３３７の処理は、図２の第１データ並列プロセッサ１０１が行う。
【０１６３】
逆量子化部３３３、逆４×４ＤＣＴ変換部３３４、及び、再構築部３３５の処理は、図２の第２データ並列プロセッサ１０２が行う。
【０１６４】
可変長復号部３３２は、図２の可変長符号化／復号処理ユニット１０５に相当し、デブロックフィルタ３３８は、図２のデブロックフィルタ処理ユニット１０４に相当し、フレームメモリ３３９は、図２の第１共有メモリ１２１に相当する。
【０１６５】
本形態のビデオデコーダの動作の概略を説明する。
【０１６６】
可変長復号部３３２に、算術符号で符号化された符号化ビデオ入力３４１が入力され、復号されて、量子化ＤＣＴ係数と動きベクトルの差分が求められる。得られた量子化ＤＣＴ係数は、逆量子化部３３３において逆量子化され、さらに、逆４×４ＤＣＴ変換部３３４において逆ＤＣＴ変換されて、差分画像データが得られる。
【０１６７】
一方、可変長復号部３３２で得られた動きベクトルの差分から、動きベクトル復号部３３６において、動きベクトルが求められ、動き補償部３３７において、フレームメモリ３３９に格納されている参照画像と動きベクトルとから、予測画像が求められる。
【０１６８】
再構築部３３５において、前述の差分画像データと予測画像から、新しい画像が再構築されて、ビデオ出力３４２として出力される。出力されたビデオ出力３４２は、同時に、デブロックフィルタ３３８においてデブロックフィルタ処理された後、フレームメモリ３３９に格納される。
【０１６９】
逆量子化部３３３や逆４×４ＤＣＴ変換部３３４の制御は、復号制御部３３１が行う。
【０１７０】
デブロックフィルタ処理をはじめ、逆量子化処理、逆ＤＣＴ変換処理は、上述した第３の実施の形態の場合と同様であり、ここでは説明を省略する。
【０１７１】
本形態においても、可変長復号処理とデブロックフィルタ処理とを、専用ハードウェアで処理することによって、大幅な高速化が実現出来ている。
【０１７２】
また、上述した説明は、本形態のビデオエデコーダを、図２に示す本発明の第２の実施の形態の信号処理装置で実現する例を取り上げたが、本形態のビデオエデコーダは、本発明の第１の実施の形態の信号処理装置を用いて実現することも出来る。また、各プロセッサが分担する処理対象は、適宜変更することも出来る。
【０１７３】
（第５の実施の形態）
図１１は、本発明の第５の実施の形態におけるオーディオエンコーダのブロック図であり、図１２は、同じく、本発明の第５の実施の形態におけるオーディオデコーダのブロック図である。
【０１７４】
図１１に示すオーディオエンコーダにおいては、オーディオ入力３５３は、圧縮部３５１において、サンプリング及び量子化を含む圧縮処理が行われ、符号化部３５２において
、符号化が行われ、符号化オーディオ出力３５４として、出力される。
【０１７５】
図１２に示すオーディオデコーダにおいては、符号化オーディオ入力３６３は、復号部３６１において、復号が行われ、伸長部３６２において、逆量子化され伸長処理が行われる。
【０１７６】
オーディオのエンコーディング及びデコーディングは、ＭＰＥＧ−４ ＡＶＣのビデオのエンコーディングやデコーディングに比べて、必要な処理量が少ないために、いずれのプロセッサを用いても処理出来る。
【０１７７】
本形態のオーディオエンコーダとオーディオデコーダとを、第１の実施の形態の信号処理装置で実現する場合には、図１１に示す圧縮部３５１と符号化部３５２の処理と、図１２に示す復号部３６１と伸長部３６２の処理とは、図１に示す命令並列プロセッサ１００によってお行う。これらの処理は、十分な余裕を持って実行出来る。
【０１７８】
（第６の実施の形態）
図１３は、本発明の第６の実施の形態におけるＡＶ再生システムのブロック図である。
【０１７９】
本形態のＡＶ再生システムは、再生装置８０１、復調／エラー訂正部８０２、ＡＶデコーダ部８０３、メモリ８０４、Ｄ／Ａ変換器８０５、８０７を備え、ＡＶデコーダ部８０３は、ビデオデコーダ８０３Ａとオーディオデコーダ８０３Ｂを有する。
【０１８０】
ビデオデコーダ８０３Ａは、図１０に示した、本発明の第４の実施の形態のビデオデコーダであり、本発明の第１の実施の形態の信号処理装置、あるいは、第２の実施の形態の信号処理装置を用いて実現出来る。
【０１８１】
オーディオデコーダ８０３Ｂは、図１２に示した、本発明の第５の実施の形態のオーディオデコーダである。第５の実施の形態において述べたように、第５の実施の形態のオーディオデコーダの処理は、画像データの処理に比べれば、必要な処理量が少ないために、ビデオデコーダ８０３Ａに適用される第１の実施の形態の信号処理装置、あるいは、第２の実施の形態の信号処理装置の命令並列プロセッサ１００（図１、あるいは、図２）によって、並列に処理することが可能であり、別のプロセッサを用意する必要はない。従って、ＡＶデコーダ部８０３は、第１の実施の形態における一つの信号処理装置、あるいは、第２の実施の形態における一つの信号処理装置によって構成することが出来る。
【０１８２】
再生装置８０１は、符号化ＡＶ信号を記録したメディアを再生して、再生信号を出力する。この再生装置８０１は、ＭＰＥＧ−４ ＡＶＣ規格の符号化ＡＶ信号を記録したメディアを再生出来るものであれば、ＤＶＤビデオ再生機、ＨＤ（ハードディスク）ビデオ再生機、など、いずれの再生機でも良い。
【０１８３】
復調／エラー訂正部８０２は、再生装置８０１が再生した信号を復調し、エラー訂正を行って、ＡＶデコーダ部８０３に出力する。
【０１８４】
ＡＶデコーダ部８０３のビデオデコーダ８０３Ａは、符号化ビデオ信号をデコードして、出力し、Ｄ／Ａ変換器８０５において、アナログ信号に変換して、ビデオ出力８０６として出力する。
【０１８５】
ＡＶデコーダ部８０３のオーディオデコーダ８０３Ｂは、符号化オーディオ信号をデコードして、出力し、Ｄ／Ａ変換器８０７において、アナログ信号に変換して、オーディオ出力８０８として出力する。
【０１８６】
メモリ８０４は、デコード前、デコード中、及び／又は、デコード後のＡＶ信号とその他のデータとを保存する。
【０１８７】
なお、本形態のＡＶ再生システムにおいて、復調／エラー訂正部８０２の機能の一部、または全部を、再生装置８０１に持たせてもよい。
【０１８８】
本形態のＡＶ再生システムは、ＣＡＴＶ、インターネット、あるいは、衛星通信などから、送られてくる、ＭＥＰＧ−４ ＡＶＣ仕様のＡＶ信号を受信して、復調、デコードすることにも利用出来る。この場合には、受信した信号を復調／エラー訂正部８０２に入力して、上述したプロセスでデコードすることが出来る。さらに、ビデオ出力をディスプレイに表示すれば、ディジタルテレビとしても応用出来る。
【０１８９】
（第７の実施の形態）
図１４は、本発明の第７の実施の形態におけるＡＶ記録システムのブロック図である。
【０１９０】
本形態のＡＶ記録システムは、ＡＶエンコーダ部８２５、エラー訂正符号付与／変調部８２７、記録装置８２８、メモリ８２６、及び、Ａ／Ｄ変換器８２２、８２４を備え、ＡＶエンコーダ部８２５は、ビデオエンコーダ８２５Ａとオーディオエンコーダ８２５Ｂを有する。
【０１９１】
ビデオエンコーダ８２５Ａは、図３に示した、本発明の第３の実施の形態のビデオエンコーダであり、本発明の第１の実施の形態の信号処理装置、あるいは、第２の実施の形態の信号処理装置でを用いて実現出来る。
【０１９２】
オーディオエンコーダ８２５Ｂは、図１１に示した、本発明の第５の実施の形態のオーディオエンコーダである。第５の実施の形態において述べたように、第５の実施の形態のオーディオエンコーダの処理は、画像データの処理に比べれば、必要な処理量が少ないために、ビデオエンコーダ８２５Ａに適用される第１の実施の形態の信号処理装置、あるいは、第２の実施の形態の信号処理装置の命令並列プロセッサ１００（図１、あるいは、図２）によって、並列に処理することが可能であり、別のプロセッサを用意する必要はない。従って、ＡＶエンコーダ部８２５は、第１の実施の形態における一つの信号処理装置、あるいは、第２の実施の形態における一つの信号処理装置によって構成することが出来る。
【０１９３】
本形態のＡＶ記録システムの動作の概略を説明する。
【０１９４】
ビデオ入力８２１は、Ａ／Ｄ変換器８２２でＡ／Ｄ変換され、オーディオ入力８２３は、Ａ／Ｄ変換器８２４でＡ／Ｄ変換され、それぞれ、ＡＶエンコーダ部８２５に出力される。
【０１９５】
ＡＶエンコーダ部８２５のビデオエンコーダ８２５Ａは、入力されたビデオ信号を、ＭＰＥＧ−４ ＡＶＣの仕様に従って、エンコードして、符号化ビデオビットストリームとして出力する。同様に、オーディオエンコーダ８２５Ｂは、入力されたオーディオ信号を、ＭＰＥＧ−４ ＡＶＣの仕様に従って、エンコードして、符号化オーディオビットストリームとして出力する。
【０１９６】
エラー訂正／変調部８２７は、ＡＶエンコーダ部８２５が出力した符号化ビデオビットストリームと符号化オーディオビットストリームとに、エラー訂正符号を付与した後、変調し記録装置に出力する。
【０１９７】
記録装置８２８は、変調されたＡＶ信号を記録媒体に記録する。記録媒体は、ＤＶＤなどの光メディア、ＨＤ（ハードディスク）などの磁気記録媒体、半導体メモリなどである。
【０１９８】
メモリ８２６は、ＡＶエンコーダ部８２５でのエンコード前、エンコード中、及び／又は、エンコード後のＡＶ信号とその他のデータとを保存する。
【０１９９】
なお、本形態のＡＶ記録システムにおいて、エラー訂正／変調部８２７の機能の一部、または全部を、記録装置８２８に含めることも出来る。
【０２００】
本形態のＡＶ記録システムは、入力にビデオカメラを接続して、その信号をＭＰＥＧ−４ ＡＶＣ仕様でエンコードして記録する、ビデオカメラシステムとして利用することも出来る。
【０２０１】
（第８の実施の形態）
図１５は、本発明の第８の実施の形態におけるＡＶ記録／再生システムのブロック図である。本形態のＡＶ記録／再生システムは、制御部８４０、記録／再生装置８４１、変復調／エラー処理部８４２、ＡＶエンコーダ／デコーダ部８４３、ＡＶインターフェース８４５、及び、メモリ８４４を備え、ＡＶエンコーダ／デコーダ部８４３は、ビデオエンコーダ／デコーダ８４３Ａとオーディオエンコーダ／デコーダ８４３Ｂを有し、ＡＶインターフェース８４５は、ビデオの入出力とオーディオの入出力を行う。
【０２０２】
ＡＶエンコーダ／デコーダ部８４３は、機能的には、本発明の第３の実施の形態のビデオエンコーダと、第４の実施の形態のビデオデコーダと、第５の実施の形態のオーディオエンコーダとオーディオデコーダの、それぞれの機能と同等の機能を有しており、第１の実施の形態における一つの信号処理装置、又は、第２の実施の形態における一つの信号処理装置によって構築されている。それぞれの動作については、すでに述べたので、ここでは説明を省略する。
【０２０３】
記録再生装置８４１は、変調されたＭＰＥＧ−４ ＡＶＣ規格のＡＶ信号を、記録／再生するもので、記録媒体は、ＤＶＤなどの光メディア、ＨＤ（ハードディスク）などの磁気記録媒体、半導体メモリなどである。使用する記録媒体によって、異なる記録／再生機構を有している。
【０２０４】
変復調／エラー処理部８４２は、記録時には、ＡＶエンコーダ／デコーダ部８４３のエンコードしたビデオビットストリームとオーディオビットストリームとに、エラー訂正符号を付与して変調し、記録／再生装置８４１に送出する。変復調／エラー処理部８４２は、再生時には、記録／再生装置８４１が再生したＡＶ信号を復調して、エラー訂正を施した後、ビデオビットストリームとオーディオビットストリームとを、ＡＶエンコーダ／デコーダ部８４３に、送出する。
【０２０５】
ＡＶインターフェース８４５は、再生時には、ＡＶエンコーダ／デコーダ部８４３がデコードしたビデオ信号とオーディオ信号とを， それぞれＤ／Ａ変換して、ビデオ出力８４６とオーディオ出力８４８を出力する。ＡＶインターフェース８４５は、記録時には、ビデオ入力８４７とオーディオ入力８４９とを、それぞれＡ／Ｄ変換して、ＡＶエンコーダ／デコーダ部８４３に送出する。
【０２０６】
メモリ８４４は、ＡＶエンコーダ／デコーダ部８４３でのエンコード前、エンコード中、及び／又は、エンコード後のＡＶ信号、並びに、デコード前、デコード中、及び／又は
、デコード後のＡＶ信号と、その他のデータとを保存する。
【０２０７】
制御部８４０は、記録／再生装置８４１、変復調／エラー処理部８４２、ＡＶエンコーダ／でコーダ部８４３、及び、ＡＶインターフェース８４５を制御して、それぞれの記録時と、再生時の機能の切り替えと、データ転送の制御を行う。
【０２０８】
なお、本形態のＡＶ記録／再生システムにおいて、変復調／エラー処理部８４２の機能の一部、または全部を、記録／再生装置８４１に含めることも出来る。
【０２０９】
以上、詳細に述べたように、本発明の信号処理装置及びそれを用いた電子機器は、今後、ＭＰＥＧ−４ ＡＶＣの符号化規格が適用される様々な電子機器への応用が期待される。このような電子機器への応用は、現在ＭＰＥＧ−２で行われているＤＶＤシステムや、ビデオカメラのシステム、携帯電話におけるテレビ電話システムなど家庭内の据え置き端末から電池駆動のモバイル端末までの広い範囲に渡る。
【０２１０】
それらのシステムでは、ＭＰＥＧ−４ ＡＶＣ規格を実現するＬＳＩに対して要求される性能が、システムの応用の仕方によって異なる。据え置きのシステムでは、大きな画像サイズを扱うために処理性能が重要であり、一方、携帯端末ではバッテリ寿命を長くするために低消費電力が重要となる。本発明の信号処理装置及びそれを用いた電子機器は、そのいずれにも応用可能である。すなわち、命令並列プロセッサとデータ並列プロセッサと専用ハードウェアを組み合わせることにより、処理性能の向上と消費電力の低減を可能としている。
【０２１１】
本発明の信号処理装置は、複数のＳＩＭＤ型プロセッサ（図１の例では、第１データ並列プロセッサ１０１と第２のデータ並列プロセッサ１０２）で構成されている。１個のＳＩＭＤ型プロセッサには、８個の処理要素が含まれており、一つの命令で８種類のデータ流を並列に処理することが出来る。これらのＳＩＭＤ型プロセッサの搭載数を信号処理装置の利用目的に応じて変更することにより、ＬＳＩのアーキテクチャ変更することなしに様々な要求性能に対応することが出来る。
【０２１２】
例えば、低消費電力が求められる携帯端末向けの信号処理装置では、ＳＩＭＤ型プロセッサを２つ搭載することにより、並列度を１６にすることができ、低電圧動作及び動作周波数低減が可能である。
【０２１３】
また、１６並列で使用するのではなく、８個の処理要素からなるＳＩＭＤ型プロセッサを２組使い別の処理をさせることも可能である。
【０２１４】
第一のＳＩＭＤ型プロセッサが動き補償の画素値計算をしている間に、第二のＳＩＭＤ型プロセッサがＤＣＴ処理を行うといったように、全体の処理を分担して、並列処理することによって、処理要素の稼働率を維持したまま、複数の処理が出来る。この結果、演算性能の大幅な改善が可能となる。
【０２１５】
上記の実施の形態では、ＭＰＥＧ−４ ＡＶＣ規格に則った応用について述べたが、本発明は、この応用のみに限定されるものではない。本発明の趣旨は、命令並列プロセッサとデータ並列プロセッサと専用ハードウェアを組み合わせることにより、処理性能の向上と消費電力の低減を実現することにあるのであって、本発明の趣旨を逸脱しない限り、種々の適用が可能である。
【産業上の利用可能性】
【０２１６】
本発明に係る信号処理装置は、例えば、オーディオ及び画像の圧縮伸張処理を、並列プ
ロセッサと専用ハードウェアを用いて高速に行う分野あるいはその関連分野等において利用できる。
【符号の説明】
【０２１７】
１００ 命令並列プロセッサ
１０１ 第１データ並列プロセッサ
１０２ 第２データ並列プロセッサ
１０３ 動き検出ユニット
１０４ デブロックフィルタ処理ユニット
１０５ 可変長符号化／復号処理ユニット
１０６ 入出力インターフェース
１１０〜１１６ ローカルメモリ
１２０ ブリッジユニット
１２１ 第１共有メモリ
１２２ 第２共有メモリ
１３０ 第１命令バス
１３１ 第２命令バス
１３２ 第１データバス
１３３ 第２データバス
３０１ 符号化制御部
３０２ 差分検出部
３０３ モード切替部
３０４ ４×４ＤＣＴ変換部
３０５ 量子化部
３０６ 逆量子化部
３０７ 逆４×４ＤＣＴ変換部
３０８ 可変長符号部
３０９ 再構築部
３１０、３３８ デブロックフィルタ
３１１、３３９ フレームメモリ
３１２ 動き補償部
３１３ 動き検出部
３１６ 動きベクトル
３１７ 予測画像
３１８ イントラモード
３１９ インターモード
３３１ 復号制御部
３３２ 可変長復号部
３３３ 逆量子化部
３３４ 逆４×４ＤＣＴ変換部
３３５ 再構築部
３３６ 動きベクトル復号部
３３７ 動き補償部
３５１ 圧縮部
３５２ 符号化部
３６１ 復号部
３６２ 伸長部
４０１ コンテキストモデリング部
４０２ バイナリ化部
４０３ 出現確立予測部
４０４ 符号化部
４０５ 適応２進算術符号化処理部
４０６ 隣接ブロックＡ
４０７ 隣接ブロックＢ
４０８ 符号化対象ブロックＣ
６０２ ＢＳ条件判定処理部
６０３、６０６、８０４、８２６、８４４ メモリ
６０４ 制御部
６０５ フィルタ処理部
６０７〜６０９ フィルタ
８０１ 再生装置
８０２ 復調／エラー訂正部
８０３ ＡＶデコーダ部
８０３Ａ ビデオデコーダ
８０３Ｂ オーディオデコーダ
８０５、８０７ Ｄ／Ａ変換器
８２２、８２４ Ａ／Ｄ変換器
８２５ ＡＶエンコーダ部
８２５Ａ ビデオエンコーダ
８２５Ｂ オーディオエンコーダ
８２７ エラー訂正符号付与／変調部
８２８ 記録装置
８４０ 制御部
８４１ 記録／再生装置
８４２ 変復調／エラー処理部
８４３ ＡＶエンコーダ／でコーダ部
８４３Ａ ビデオエンコーダ／デコーダ
８４３Ｂ オーディオエンコーダ／デコーダ
８４５ ＡＶインターフェース
９０１ システム制御部
９０２ ＳＩＭＤ型並列データ処理装置
９０３ ＭＩＭＤ型並列データ処理装置
９０４ 共有メモリバス
９０５ 共有メモリ
９１０、９２０ 全体制御部
９１１〜９１４、９２５〜９２８ 演算器
９１５〜９１８、９２９〜９３２ ローカルメモリ
９２１〜９２４ 制御部
１００１ 画像処理装置
１００２ 命令メモリ
１００３ プロセッサ
１００４ ＳＩＭＤ型演算手段
１００５ ＶＬＣ（可変長符号化）処理手段
１００６ 外部データインターフェース
１００７ 内部データバス
１００８ ビデオデータバス
１００９ ビデオ入力装置
１０１０ ビデオ出力装置
１０１１ 外部メモリ
【技術分野】
【０００１】
本発明は、オーディオ及び画像の圧縮伸張処理を、並列プロセッサと専用ハードウェアを用いて高速に行う、画像音声信号処理装置及びそれを用いた電子機器に関するものである。
【背景技術】
【０００２】
近年の動画像を扱う画像処理装置及び画像表示装置の高性能化、小型化の動きに呼応して、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ Ｏｒｇａｎｉｚａｔｉｏｎ）とＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ
Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ
Ｓｅｃｔｏｒ）は、共同で次世代の圧縮伸張技術として、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を規格化策定中である。ＭＰＥＧ−４ ＡＶＣは、４×４画素の整数変換、最大９方向のイントラ予測、７種類のサブマクロブロックタイプ、マクロブロックあたり最大１６本の動きベクトル、マルチフレーム参照、ループ内のデブロックフィルタ、算術符号などの新しい技術を導入することによって、画像の高圧縮率を実現し、既に実用化されているＭＰＥＧ−２方式の５０％に圧縮された符号量を目指している。
【０００３】
しかし、新たに導入された符号化ツールは、符号化効率を重視したアルゴリズムを採用しているために、その処理量が多く、組み込みシステムへの実装が困難になっている。
【０００４】
これまでの符号化方式の圧縮伸張を行う画像音声信号処理装置には、プロセッサによる並列処理と専用ハードウェアによる構成とが用いられてきた。
【０００５】
プロセッサによる並列処理手法を使った高速化信号処理の例として、特許文献１がある。この特許文献１に示される例は、制御の流れが１つで、処理されるデータの流れが複数である、ＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ ｓｔｒｅａｍ Ｍｕｌｔｉｐｌｅ Ｄａｔａ ｓｔｒｅａｍ）型の並列データ処理装置と、制御の流れもデータの流れも複数である、ＭＩＭＤ（Ｍｕｌｔｉｐｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ ｓｔｒｅａｍ
Ｍｕｌｔｉｐｌｅ Ｄａｔａ ｓｔｒｅａｍ）型の並列データ処理装置とを組み合わせた、並列処理装置である。
【０００６】
図１６は、特許文献１の図１から引用した、従来のＳＩＭＤ型並列データ処理装置９０２とＭＩＭＤ型並列データ処理装置９０３とを組み合わせた信号処理装置のブロック図である。
【０００７】
この信号処理装置は、装置全体を制御するシステム制御部９０１、ＳＩＭＤ型並列データ処理装置９０２、ＭＩＭＤ型並列データ処理装置９０３、共有メモリバス９０４、及び共有メモリ９０５を備える。
【０００８】
システム制御部９０１は、アプリケーションプログラムの実行制御を行う。
【０００９】
ＳＩＭＤ型並列データ処理装置９０２は、全体制御部９１０と、演算器９１１〜９１４とそれぞれのローカルメモリ９１５〜９１８とを有している。一つの演算器と一つのローカルメモリは、一つのプロセッサを構成している。全体制御部９１０は、プログラムを実行し、演算器９１１〜９１４のすべてに同一の命令を発行する。演算器９１１〜９１４は、発行された同一の命令の下で、各々のローカルメモリ９１５〜９１８に格納されている
データを処理する。
【００１０】
ＭＩＭＤ型並列データ処理装置９０３は、全体制御部９２０と、制御部９２１〜９２４と、演算器９２５〜９２８と、ローカルメモリ９２９〜９３２とを有している。一つの制御部と一つの演算器と一つのローカルメモリは、一つのプロセッサを構成している。制御部９２１〜９２４の各々において別々のプログラムが実行され、演算器９２５〜９２８の各々に別々の命令が発効され、ローカルメモリ９２９〜９３２の各々に格納されているデータを処理する。全体制御部９２０は、ＭＩＭＤ型並列データ処理装置９０３の全体の同期や監視のための制御を行う。
【００１１】
以上のような並列データ処理装置においては、対象となる処理が単純で、かつ、データ処理が大量なものをＳＩＭＤ型並列データ処理装置９０２で処理し、対象となる処理が複雑で、かつ、データ処理が少量なものをＭＩＭＤ型並列データ処理装置９０３で処理していた。
【００１２】
一方、対象となる処理に対して最適な演算器を専用ハードウェアで構成することによって、演算性能を改善した高速化手法も用いられている。その例として、特許文献２は、画像処理の可変長符号／復号処理を専用ハードウェア化することにより、処理の高速化を実現した技術を開示している。
【００１３】
図１７は、特許文献２の図１から引用した、従来のＳＩＭＤ型並列データ処理装置と専用ハードウェアとを組み合わせた画像処理装置１００１のブロック図である。
【００１４】
この画像処理装置１００１は、外部のビデオデータバス１００８を介して、外部のビデオ入力装置１００９と、ビデオ出力装置１０１０と、外部メモリ１０１１とに接続されている。画像処理装置１００１は、命令メモリ１００２、プロセッサ１００３、ＳＩＭＤ型演算手段１００４、ＶＬＣ（可変長符号化）処理手段１００５、外部データインターフェース１００６、及び、内部データバス１００７を備える。ＶＬＣ処理手段１００５は、専用ハードウェアにより構成されている。
【００１５】
プロセッサ１００３は、スカラー演算やビット操作演算、比較分岐命令を行うと共に、命令メモリ１００２に保持されている命令をデコードし、ＳＩＭＤ型演算手段１００４と、ＶＬＣ処理手段１００５と、外部データインターフェース１００６と、ビデオ入力装置１００９と、ビデオ出力装置１０１０とを制御する。
【００１６】
ビデオ入力装置１００９は、外部からのビデオ信号を入力し、ビデオ出力装置１０１０は外部にビデオデータを出力する。
【００１７】
ビデオ入力装置１００９から入力された画像データは、外部メモリ１０１１に転送され、次のステップで、ＳＩＭＤ演算手段１００４で行う処理に応じて、外部データインターフェース１００６に転送される。ＳＩＭＤ演算手段１００４では、動き補償、ＤＣＴ、量子化の各処理が行われ、変換係数データを得る。次のステップで、ＶＬＣ変換手段１００５において、変換係数データは、可変長符号化され、ビットストリームデータが生成される。
【００１８】
ＳＩＭＤ演算手段１００４は、８並列のパイプライン演算器で構成されているため、ＤＣＴなどの定型処理を効率よく処理することができる。
【００１９】
上述した特許文献１に代表される、ＳＩＭＤ型データ並列処理装置とＭＩＭＤ型並列データ処理装置を組み合わせた信号処理装置は、様々な符号化アルゴリズムに対する柔軟性
を持っている。したがって、並列度を増すことによって、画像処理に十分対応できていた。これは、従来の動き検出処理が、最大１６×１６ペルで最小８×８ペルのマクロブロックサイズに対するものであったことによる。
【００２０】
しかし、ＭＰＥＧ−４ ＡＶＣでは、最小のサブマクロブロックサイズが４×４ペルになっているため、従来の信号処理装置では、１６並列以上の演算器を用意しても、演算器の処理効率が向上しない。
【００２１】
また、ＭＰＥＧ−４ ＡＶＣの算術符号化／復号処理では、周辺のマクロブロックのコンテキストによって発生確率を変更しながら処理するために、１ビットづつ符号化しなければならず、並列処理ができない。つまり、従来の信号処理装置では、ＭＩＭＤ型並列データ処理装置の並列度を増加させても、ＭＰＥＧ−４ ＡＶＣでの処理性能は改善されない。
【００２２】
ＭＰＥＧ−４ ＡＶＣのデブロックフィルタにおいても、４×４ペルのサブマクロブロック単位でフィルタパラメータを計算し、その結果に基づいてフィルタ処理を行う。ＳＩＭＤ型演算装置を使えば、フィルタ処理を並列処理することが可能であるが、判定処理の際に演算器を有効に活用できない。
【００２３】
また、上述した特許文献２に代表される、ＳＩＭＤ型データ並列処理装置と専用ハードウェアとを組み合わせた信号処理装置では、高い処理性能を要求する算術符号化／復号処理に対しては、専用ハードウェアを採用することによって処理性能が改善されるが、最も処理量の多い動き検出をＳＩＭＤ型並列データ処理装置で処理するには、以下の問題がある。
【００２４】
ＭＰＥＧ−４ ＡＶＣでは、１／４画素精度の動き補償が導入され、ハーフペルの画素生成に６タップフィルタ処理を行わなければならない。更に、４×４ペルのサブマクロブロックブロックサイズが導入されたために、１マクロブロックあたり最大１６本の動きベクトルの設定が可能である。小さなサブマクロブロックサイズで、１／４画素精度の探索を行い、マクロブロック当たり最大１６本の動きベクトルを計算する動き検出の処理は、その処理量が飛躍的に増加している。
【００２５】
このような動き検出処理をＳＩＭＤ型データ並列処理装置で処理させようとすると、演算器の並列度を高め、動作周波数を高く設定しなければならない。そのような能力を持ったＳＩＭＤ型並列データ装置は、デコード処理においては、その能力に余剰が発生してしまい、装置全体を効率的に利用できない。
【００２６】
さらに、ＳＩＭＤ型並列データ処理装置の並列度を高めて処理性能を改善しようとしても、ブロックサイズが４×４ペルであるために、１６並列以上にはできない。
【先行技術文献】
【特許文献】
【００２７】
【特許文献１】国際公開第９１／１７５０７号
【特許文献２】特開２００１−３０９３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【００２８】
そこで本発明は、ＭＰＥＧ−４ ＡＶＣの符号化／復号処理のような、大量のデータ処理量が要求される画像処理に対して、高性能で、高効率な画像処理が行える信号処理装置及びそれを用いた電子機器を提供することを目的とする。
【課題を解決するための手段】
【００２９】
第１の発明に係る画像音声信号処理装置は、第１データバスと、前記第１データバスに接続され、前記第１データバスを介して共有される第１共有メモリと、前記第１データバスとは独立分離した状態に設けられる第２データバスと、前記第２データバスに接続され、前記第２データバスを介して共有される第２共有メモリと、前記第１データバスと前記第２データバスとを仲介し、前記第１データバスと前記第２データバスとを間接的に接続するブリッジユニットと、音声オーディオの圧縮処理を行い、前記第２データバスに接続される命令並列プロセッサと、前記第１データバスに接続されるが前記第２データバスには直接接続されず、かつ前記命令並列プロセッサとともに同時並行して画像圧縮処理を行うデータ並列プロセッサ及び専用ハードウェアとを備え、命令並列プロセッサ、データ並列プロセッサ及び前記専用ハードウェアのそれぞれは、同時並行して圧縮処理を実行する。
【００３０】
第２の発明に係る画像音声信号処理装置は、第１データバスと、前記第１データバスに接続され、前記第１データバスを介して共有される第１共有メモリと、前記第１データバスとは独立分離した状態に設けられる第２データバスと、前記第２データバスに接続され、前記第２データバスを介して共有される第２共有メモリと、前記第１データバスと前記第２データバスとを仲介し、前記第１データバスと前記第２データバスとを間接的に接続するブリッジユニットと、音声オーディオの伸長処理を行い、前記第２データバスに接続される命令並列プロセッサと、前記第１データバスに接続されるが前記第２データバスには直接接続されず、かつ前記命令並列プロセッサとともに同時並行して画像伸長処理を行うデータ並列プロセッサ及び専用ハードウェアとを備え、命令並列プロセッサ、データ並列プロセッサ及び前記専用ハードウェアのそれぞれは、同時並行して伸長処理を実行する。
【００３１】
第３の発明に係る画像音声信号処理装置は、命令並列プロセッサと、データ並列プロセッサと、専用ハードウェアとは、それぞれのローカルメモリを有し、データ並列プロセッサのローカルメモリと専用ハードウェアのそれぞれのローカルメモリは第１データバスに接続され、命令並列プロセッサのローカルメモリは第２データバスに接続され、ブリッジユニットは、第１データバスと第２データバスとに互いに独立した状態で接続される各メモリ間のデータ転送を仲介する。
【００３２】
第４の発明に係る画像音声信号処理装置は、ローカルメモリを有する入出力インターフェイスをさらに備え、入出力インターフェイスのローカルメモリは第１のデータバスに接続される。
【００３３】
第５の発明に係る画像音声信号処理装置は、命令並列プロセッサは、入出力インターフェイスによる入出力処理を制御する。
【発明の効果】
【００３４】
本発明によれば、ＭＰＥＧ−４ ＡＶＣの符号化／復号処理のような、大量のデータ処理量が要求される画像処理に対して、高性能で、高効率な画像処理が行える信号処理装置及びそれを用いた電子機器を提供すること出来る。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１の実施の形態における信号処理装置のブロック図
【図２】本発明の第２の実施の形態における信号処理装置のブロック図
【図３】本発明の第３の実施の形態におけるビデオエンコーダのブロック図
【図４】ＣＡＢＡＣ算術符号化処理ユニットのブロック図
【図５】符号化対象ブロックと隣接ブロックの配置図
【図６】１／４画素精度の動き補償を説明する図
【図７】本発明の第３の実施の形態におけるデブロックフィルタのブロック図
【図８】デブロックフィルタの処理順序を説明する図
【図９】本発明の第３の実施の形態と他の方式におけるエンコード処理量の比較を説明する図
【図１０】本発明の第４の実施の形態におけるビデオエデコーダのブロック図
【図１１】本発明の第５の実施の形態におけるオーディオエンコーダのブロック図
【図１２】本発明の第５の実施の形態におけるオーディオデコーダのブロック図
【図１３】本発明の第６の実施の形態におけるＡＶ再生システムのブロック図
【図１４】本発明の第７の実施の形態におけるＡＶ記録システムのブロック図
【図１５】本発明の第８の実施の形態におけるＡＶ記録／再生システムのブロック図
【図１６】従来のＳＩＭＤ型並列データ処理装置とＭＩＭＤ型並列データ処理装置とを組み合わせた信号処理装置のブロック図
【図１７】従来のＳＩＭＤ型並列データ処理装置と専用ハードウェアとを組み合わせた画像処理装置のブロック図
【発明を実施するための形態】
【００３６】
第１の構成による信号処理装置は、命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアとを備え、命令並列プロセッサは、音声オーディオの圧縮伸長処理、及び、画像の圧縮伸長処理のうちの非定型でかつ比較的軽い処理を行い、データ並列プロセッサは、画像の圧縮伸張処理のうちの定型でかつ比較的重い処理を行い、複数の専用ハードウェアは、画像の圧縮伸張処理のうちの比較的重い処理を行う。
【００３７】
この構成によれば、命令並列のプロセッサとデータ並列のプロセッサと専用ハードウェアとからなる構成で信号処理装置を形成し、命令並列プロセッサで、音声・オーディオの圧縮伸張処理と画像処理のうち非定型処理を行い、データ並列プロセッサで画像処理のうち定型処理を行い、専用ハードウェアで動き検出、可変長符合化、デブロックフィルタ処理などの処理を行うことが出来る。したがって、処理量の多い画像圧縮伸張アルゴリズムの信号処理に対して、ソフトウェアとハードウェアで負荷が分散され、高い処理能力と柔軟性を持った信号処理装置を実現することが出来る。
【００３８】
第２の構成による信号処理装置は、請求項１記載の信号処理装置であって、第１命令バスと、第１データバスと、第１共有メモリと、入出力インターフェースとを、さらに備え、命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアと、入出力インターフェースとは、それぞれのローカルメモリを有し、第１命令バスには、命令並列プロセッサと、データ並列プロセッサと、複数の専用ハードウェアとが接続され、第１命令バスを介して、命令並列プロセッサが、データ並列プロセッサ、及び、複数の専用ハードウェアを制御するための命令が通信され、第１データバスには、命令並列プロセッサのローカルメモリと、データ並列プロセッサのそれぞれのローカルメモリと、複数の専用ハードウェアのそれぞれのローカルメモリと、第１共有メモリと、入出力インターフェースのローカルメモリとが接続され、これらのメモリの間でのデータ転送が行われる。
【００３９】
この構成によれば、第１の構成による信号処理装置が有する特徴に加えて、さらに、命令バスとデータバスを分離することによって、バスのトラフィックを分散し、処理性能を向上させることが出来る。
【００４０】
第３の構成による信号処理装置は、第１、第２の構成による信号処理装置であって、第２データバスと、第２共有メモリと、第１データバスと第２データバスとを接続するブリッジユニットとを、さらに備え、第１データバスには、データ並列プロセッサのそれぞれ
のローカルメモリと、複数の専用ハードウェアのそれぞれのローカルメモリと、第１共有メモリと、入出力インターフェースのローカルメモリとが接続され、これらのメモリの間でのデータ転送が行われ、第２データバスには、命令並列プロセッサのローカルメモリと、第２共有メモリとが接続され、これらのメモリの間でのデータ転送が行われ、ブリッジユニットを介して、第１データバスに接続された各メモリと、第２データバスに接続された各メモリとの間のデータ転送が行われる。
【００４１】
この構成によれば、データ処理プロセッサのローカルメモリと、専用ハードウェアの専用メモリと、共有メモリとを第１データバスで接続し、命令並列プロセッサのローカルメモリと共有メモリとを第２データバスで接続する。これにより、大容量のデータを扱う画像処理のデータ転送が第１データバス中心に行われ、オーディオ処理を行う命令並列プロセッサが接続される第２データバスとの負荷分散が実現出来る。
【００４２】
第４の構成による信号処理装置は、第１から第３の構成による信号処理装置であって、制御プロセッサをさらに備え、命令並列プロセッサは、制御プロセッサを経由して、データ並列プロセッサと、複数の専用ハードウェアとを制御する。
【００４３】
この構成によれば、命令並列プロセッサは、制御プロセッサを経由してデータ並列プロセッサ及び専用ハードウェアを制御することが出来るので、命令並列プロセッサと制御プロセッサの負荷が分散され、より高い処理性能を実現することが出来る。
【００４４】
第５の構成による信号処理装置は、第１から第４の構成による信号処理装置であって、第２命令バスをさらに備え、第１命令バスには、命令並列プロセッサと、制御プロセッサと、複数の専用ハードウェアのうちの一部のハードウェアが接続され、第２命令バスには、制御プロセッサと、データ並列プロセッサと、複数の専用ハードウェアのうちの第１命令バスに接続されていない、他の専用ハードウェアが接続され、命令並列プロセッサは、複数の専用ハードウェアのうちの、第１命令バスに接続されている一部のハードウェアを制御し、また、制御プロセッサを経由して、データ並列プロセッサと、複数の専用ハードウェアのうちの第１命令バスに接続されていない、他の専用ハードウェアとを制御する。
【００４５】
この構成によれば、命令並列プロセッサは、第１命令バスを介して、制御プロセッサと、一部の専用ハードウェアのみを制御すればよく、定型的な処理を行うデータ並列プロセッサと専用ハードウェアは、第２命令バスを介して、制御プロセッサによって制御されるため、命令バスにおける命令の輻輳を回避でき、効率良く信号処理を行うことが出来る。
【００４６】
第６の構成による信号処理装置では、データ並列プロセッサの並列度は、圧縮伸長処理する画像サイズによって定められる。
【００４７】
この構成によれば、圧縮伸張の対象となる画像のサイズによって、データ並列プロセッサの並列度を変更するので、同一のプロセッサアーキテクチャでありながら、多様な画像サイズに対応出来る信号処理装置を提供出来る。
【００４８】
第７の構成による信号処理装置では、データ並列プロセッサの並列度は、信号処理装置に供給される電源電圧や、動作周波数によって定められる。
【００４９】
この構成によれば、ＬＳＩに共有される電源電圧や動作周波数によって、データ並列プロセッサの並列度を変更出来る。データ並列プロセッサの並列度を増大させることによって、動作周波数を下げ、信号処理装置の消費電力を低減することが出来るので、モバイル端末などの電子機器への応用が特に有効となる。
【００５０】
第８の構成による信号処理装置では、専用ハードウェアが行う処理は、可変長符号化処理、可変長復号処理、ビデオ入出力処理、動き検出処理、動き補償処理、ＤＣＴ（離散コサイン変換）処理、逆ＤＣＴ処理、量子化処理、逆量子化処理、及び、デブロックフィルタ処理の少なくとも一つを含む。
【００５１】
この構成によれば、圧縮伸張処理の中で、動き検出、可変長符号／復号、デブロックフィルタなどの処理量の多いモジュールを専用ハードウェアで処理することにより、命令並列プロセッサ及びデータ並列プロセッサの動作周波数の増大を抑制することが出来る。
【００５２】
第９の構成による信号処理装置では、複数の専用ハードウェアのうちの、第１命令バスに接続される一部のハードウェアが行う処理は、可変長符号化処理、及び／又は、可変長復号処理である。
【００５３】
この構成によれば、可変長符号化処理、及び／又は、可変長復号処理を行う専用ハードウェアを、命令並列プロセッサによって、直接、かつ、頻繁に制御出来る。したがって、可変長符号化処理、及び／又は、可変長復号処理を繊細に、かつ多様に制御出来る。
【００５４】
第１０の構成による電子機器は、第１から第９の構成による信号処理装置を用いた電子機器であって、信号処理装置は、音声オーディオの圧縮処理、音声オーディオの伸長処理、画像圧縮処理、及び、画像伸長処理の、少なくとも一つの処理を行う。
【００５５】
この構成によれば、請求項１から９記載の信号処理装置が有する特徴を生かした、電子機器を提供出来る。
【００５６】
第１１の構成による電子機器は、第１から第９の構成による信号処理装置と、再生機構を有する再生装置と、復調・エラー訂正部と、メモリと、複数のＤ／Ａ変換器とを備え、再生装置は、変調された符号化信号を記録媒体から再生し、復調・エラー訂正部は、再生装置が再生した変調された符号化信号を復調して、エラー訂正を行い、符号化データとして出力し、信号処理装置は、復調・エラー訂正部が出力した符号化データをデコードして、ビデオデータ及びオーディオデータとして出力し、メモリは、デコード処理前、処理中、及び／又は、処理後のデータを格納し、複数のＤ／Ａ変換器は、信号処理装置が出力したビデオデータ及びオーディオデータをＤ／Ａ変換して、アナログのビデオ出力及びアナログのオーディオ出力を出力する。
【００５７】
この構成によれば、符号化データを高速に、効率よくデコードでき、消費電力が小さい再生電子機器を実現出来る。
【００５８】
第１２の構成による電子機器は、第１から第９の構成による信号処理装置と、複数のＡ／Ｄ変換器と、メモリと、エラー訂正・変調部と、記録機構を有する記録装置とを備え、複数のＡ／Ｄ変換器は、入力されたアナログのビデオ入力及びアナログのオーディオ入力をＡ／Ｄ変換して、ビデオデータ及びオーディオデータを出力し、信号処理装置は、複数のＡ／Ｄ変換器が出力したビデオデータ及びオーディオデータをエンコードして、符号化データを出力し、メモリは、エンコード処理前、処理中、及び／又は、処理後のデータを格納し、エラー訂正・変調部は、信号処理装置がエンコードした符号化データに、エラー訂正符号を付加して、変調し、符号化信号として出力し、記録装置は、エラー訂正・変調部が出力した符号化信号を、記録媒体に記録する。
【００５９】
この構成によれば、ＡＶ信号を、高速に効率よくエンコードでき、消費電力が小さい記録電子機器を実現出来る。
【００６０】
第１３の構成による電子機器は、第１１の構成による電子機器と第１２の構成による電子機器とを一体的に構成される。
【００６１】
この構成によれば、ＡＶ信号を、高速に効率よくエンコード／デコードでき、消費電力が小さい、記録機能と再生機能とを一体化した電子機器を実現出来る。
【００６２】
次に、図面を参照しながら、本発明の実施の形態を説明する。
【００６３】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における信号処理装置のブロック図である。本形態の信号処理装置は、ローカルメモリ１１０を有する命令並列プロセッサ１００、ローカルメモリ１１１を有する第１データ並列プロセッサ１０１、ローカルメモリ１１２を有する第２データ並列プロセッサ１０２、ローカルメモリ１１３を有する動き検出ユニット１０３、ローカルメモリ１１４を有するデブロックフィルタ処理ユニット１０４、ローカルメモリ１１５を有する可変長符号化／復号処理ユニット１０５、ローカルメモリ１１６を有する入出力インターフェース１０６、第１共有メモリ１２１、第１命令バス１３０、及び、第１データバス１３２を備え、第１命令バス１３０には、各プロセッサ１００〜１０２と各ユニット１１２〜１１６とが接続され、第１データバス１３２には、ローカルメモリ１１０〜１１６と、第１共有メモリ１２１と、入出力インターフェース１０６とが接続されている。可変長符号化／復号処理ユニット１０５は、さらに、外部装置に対してビットストリーム入出力１３５を有しており、入出力インターフェース１０６は、外部装置に対してオーディオ入出力１３６とビデオ入出力１３７を有している。
【００６４】
第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２とに採用されているＳＩＭＤ型プロセッサには、８個の処理要素が含まれており、１個の命令で８個のデータ流を並列に処理することが出来る。
【００６５】
動き検出ユニット１０３と、デブロックフィルタ処理ユニット１０４と、可変長符号化／復号処理ユニット１０５と、入出力インターフェース１０６とは、それぞれ専用のハードウェアである。
【００６６】
次に、本形態の動作の概略を、画像の符号化処理を例として、説明する。
【００６７】
外部から入力されたビデオ信号は、Ａ／Ｄ変換された後、入出力インターフェース１０６より、第１データバス１３２を経由して、第１共有メモリ１２１に格納される。
【００６８】
動き検出ユニット１０３は、第１共有メモリ１２１に格納されている前フレームの画像データと、現フレームの画像データを基に、動きベクトルを算出する。
【００６９】
第１データ並列プロセッサ１０１は、第１共有メモリ１２１に格納されている前フレームの画像データと、動き検出ユニット１０３が算出した動きベクトルを基に、動き補償処理を行って、予測画像データを算出する。また、この予測画像データに対する現フレームの画像データの差分画像データを算出する。
【００７０】
第２データ並列プロセッサ１０２は、差分画像データをＤＣＴ変換処理し、さらに、得られたＤＣＴ係数を量子化処理する。また、第２データ並列プロセッサ１０２は、量子化ＤＣＴ係数を逆量子化し、さらに、逆ＤＣＴ変換処理して、差分画像データを算出し、第１データ並列プロセッサ１０１が処理した予測画像データとから、再構築画像データを算出する。
【００７１】
本形態の信号処理装置では、第１データ並列プロセッサ１０１が、動き補償処理の画素値計算を行っている間に、第２データ並列プロセッサ１０２が、ＤＣＴ変換処理を行う。このように、２つのデータ並列プロセッサの稼働率を維持して、それぞれに別々の処理をさせることができ、演算性能の改善を図っている。
【００７２】
デブロックフィルタ処理ユニット１０４は、再構築画像データに対して、デブロックフィルタ処理をして、ブロックノイズを除去し、第１共有メモリ１２１に格納する。
【００７３】
可変長符号化／復号処理ユニット１０５は、量子化ＤＣＴ係数と動きベクトルとを、算術符号を用いた可変長符号化処理し、ビットストリームとして出力する。
【００７４】
命令並列プロセッサ１００は、上述した各種の処理の全体的な制御を、第１命令バス１３０を介して行う。また、命令並列プロセッサ１００は、予測画像の生成を、イントラ予測符号化で行うか、あるいは、インター予測符号化で行うかの符号化モードの判定を行う。
【００７５】
各プロセッサと各ユニットと間のデータ転送は、第１データバス１３２を介して行われる。
【００７６】
このように、画像圧縮・伸長処理のうち逐次的な処理を命令並列プロセッサ１００が行い、画像圧縮・伸長処理のうち定型的な処理を第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２とが行い、さらに、動き検出処理、デブロックフィルタ処理、及び、可変長符号化処理といった重い処理を専用ハードウェアで行うことにより、高効率な画像処理を実現出来る。
【００７７】
本形態における、第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２との処理対象の分担区分は、一例であって、その他の区分でも良い。あるいは、プロセッサの性能によっては、第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２の処理を一つのデータ並列プロセッサで行っても良い。
【００７８】
さらに、第１データ並列プロセッサ１０１が行っている動き補償処理は、動き検出ユニット１０３が行っても良い。
【００７９】
（第２の実施の形態）
図２は、本発明の第２の実施の形態における信号処理装置のブロック図である。図２において、図１と同様の構成要素については、同一の符号を付すことにより、説明を省略する。
【００８０】
本形態の信号処理装置は、第１の実施の形態の信号処理装置に比べ、制御プロセッサ１０７、第２共有メモリ１２２、第２命令バス１３１、第２データバス１３３、及び、第１データバス１３２と第２データバス１３３とを接続するブリッジユニット１２０とを、さらに備える。
【００８１】
第１命令バス１３０には、命令並列プロセッサ１００と、制御プロセッサ１０７と、可変長符号化／復号処理ユニット１０５とが接続されている。第２命令バスには、制御プロセッサ１０７、第１データ並列プロセッサ１０１、第２データ並列プロセッサ１０２、動き検出ユニット１０３、及び、デブロックフィルタ処理ユニット１０４とが接続されている。
【００８２】
第１データバスには、ローカルメモリ１１１〜１１５、第１共有メモリ１２１、入出力
インターフェース１０６、及び、ブリッジユニット１２０とが接続されている。第２データバスには、ローカルメモリ１１０と第２共有メモリ１２２とブリッジユニット１２０とが接続されている。
【００８３】
本形態の信号処理装置は、第１の実施の形態に比べ、データの並列処理をさらに強固にしたものである。すなわち、本形態において導入された制御プロセッサ１０７は、命令並列プロセッサ１００からの命令を受けて、第１データ並列プロセッサ１０１、第２データ並列プロセッサ１０２、動き検出ユニット１０３、及び、デブロックフィルタ処理ユニット１０４とを、第２命令バス１３１を介して制御する。その結果、本形態の信号処理装置は、各データ並列プロセッサ及び専用ハードウェアでの並列処理がより迅速に行えるように構成されている。
【００８４】
さらに、本形態の第２共有メモリ１２２は、命令並列プロセッサ１００に関係するデータと、第１データバス１３２に接続されている各構成要素が扱うデータのうち、比較的アクセス頻度が低いデータとを格納する。この構成により、第１共有メモリ１２１の負荷が軽減され、信号処理装置全体の処理効率が改善される。
【００８５】
本形態の動作は、以下に述べる第３の実施の形態において、詳述する。
【００８６】
（第３の実施の形態）
図３は、本発明の第３の実施の形態におけるビデオエンコーダのブロック図である。
【００８７】
本形態のビデオエンコーダは、ＭＰＥＧ−４ ＡＶＣに対応出来るエンコーダであり、各構成要素には、ＭＰＥＧ−４ ＡＶＣに対応するビデオエンコーダの各機能を的確に表現した名前が付されている。
【００８８】
図３に示した本形態のビデオエンコーダは、第２の実施の形態の信号処理装置によって構成されている。そこで、まず、図３の構成要素と、図２の構成要素との対応関係を示す。
【００８９】
符号化制御部３０１とモード切替部３０３の処理は、図２の命令並列プロセッサ１００が行う。
【００９０】
動き補償部３１２と差分検出部３０２の処理は、図２の第１データ並列プロセッサ１０１が行う。
【００９１】
４×４ＤＣＴ変換部３０４、量子化部３０５、逆量子化部３０６、逆４×４ＤＣＴ変換部３０７、及び、再構築部３０９の処理は、図２の第２データ並列プロセッサ１０２が行う。
【００９２】
可変長符号化部３０８は、図２の可変長符号化／復号処理ユニット１０５に相当し、デブロックフィルタ３１０は、図２のデブロックフィルタ処理ユニット１０４に相当し、フレームメモリ３１１は、図２の第１共有メモリ１２１に相当し、動き検出部３１３は、図２の動き検出ユニット１０３に相当する。
【００９３】
次に、ＭＰＥＧ−４ ＡＶＣの主要な信号処理を、本形態の各部の動作を参照して、説明する。
【００９４】
まず、図３を参照して、エンコード処理を説明する。ビデオ入力３１４は、イントラ符号化の場合、４×４ＤＣＴ変換部３０４において離散コサイン変換（直交変換）されＤＣ
Ｔ係数が求められる。次に、量子化部３０５においてＤＣＴ係数が量子化される。
【００９５】
ＭＰＥＧ−２やＨ．２６３などの既存の符号化規格では、８×８ブロックサイズに対して、実数精度のＤＣＴが採用されており、ＤＣＴ精度を規定しなければミスマッチが発生した。しかし、ＭＰＥＧ−４ ＡＶＣでは、４×４ブロックサイズに対して、整数精度のＤＣＴ変換が適用されており、この結果、ＤＣＴ精度に起因するミスマッチが発生しなくなった。
【００９６】
量子化されたＤＣＴ係数は、可変長符号部３０８において、算術符号化器を使ってエントロピー符号化される。その詳細は、後述する。
【００９７】
次に、可変長符号化／復号処理について説明する。
【００９８】
ＭＰＥＧ−４ ＡＶＣの概要は、非特許文献１「ＭＰＥＧ−４ ＡＶＣ｜Ｈ．２６４の概要と標準化動向」（鈴木輝明；情報処理学会、オーディオビジュアル複合情報処理３８―１３、６９〜７３頁、２００２年１１月）で説明されている。以下では、非特許文献１に基づいて説明する。
【００９９】
マクロブロックの個数、動きベクトルの差分、変換係数などのシンタックス要素の可変長符号化では、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ；コンテキスト適応可変長符号化）と、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応２進算術符号化）という２種類のエントロピー符号化方式が使い分けられる。
【０１００】
ここでは、メインプロファイルで用いられるＣＡＢＡＣという算術符号化方式について説明する。算術符号は、長さ「１」の線分を、符号化しようとするシンボルの出現確率に従って分割し、その分割された線分と符号化しようとするシンボルとが１対１に対応することから、その線分について符号化するものである。その線分を代表する２進数が符号となるため、線分の区間が広い、すなわち符号化しようとするシンボルの出現確率が高いほど、そのシンボルは短い２進数で表現でき、その結果圧縮率が高くなる。そこで、対象ブロックの符号化を行う場合に、周辺ブロックのコンテキストに応じて出現確率を操作して、圧縮率が高くなるように制御される。
【０１０１】
図４は、ＣＡＢＡＣ算術符号化処理ユニットのブロック図である。これは、非特許文献１の図７から引用したものである。図４に示すＣＡＢＡＣ算術符号化処理ユニットは、コンテキストモデリング部４０１と、バイナリ化部４０２と、適応２進算術符号化処理部４０５とを備え、適応２進算術符号化処理部４０５は、出現確立予測部４０３、及び、符号化部４０４とを有する。
【０１０２】
コンテキスト・モデリングは、各シンボルを符号化する際の確率モデルである。各シンタックス要素には、コンテキストが定義されており、このコンテキストに応じて確率テーブルを切り替えて算術符号を行う。
【０１０３】
図５は、符号化対象ブロックと隣接ブロックの配置図である。図５において、符号化対象ブロックＣ４０８を符号化する際、隣接ブロックＡ４０６と隣接ブロックＢ４０７の状態に応じて、符号化対象ブロックＣ４０８のコンテキストが決定される。
【０１０４】
以上のような算術符号処理において、可変長符号化された符号のデコード処理は、出現確率情報をデコーダで解釈し、その情報に基づいて再構成するという逐次処理である。ま
た、出現確率の操作は、テーブルによって行われることから、これらの符号化処理と復号処理を、ＶＬＩＷ（極長命令語）対応の命令並列プロセッサ（上述した第２の実施の形態では、図２に示す命令並列プロセッサ１００に相当）や、ＳＩＭＤ型のデータ並列プロセッサ（同じく、第１データ並列プロセッサ１０１、あるいは、第２データ並列プロセッサ１０２に相当）で行ったのでは、処理性能は、改善されない。むしろ、これらの処理は、専用ハードウェア（同じく、可変長符号化／復号処理ユニット１０５に相当）を用いて処理することによって、命令並列プロセッサとデータ並列プロセッサの負荷分散ができ、その結果、動作周波数が低減され、処理装置の周波数バランスを良好にすることが出来る。これが、本実施の形態において、図３に示す可変長符号化部３０８を、図２に示す専用ハードウェアである可変長符号化／復号処理ユニット１０５によって、処理している理由である。
【０１０５】
図３において、量子化部３０５によって量子化されたＤＣＴ係数は、逆量子化部３０６において逆量子化された後、逆４×４ＤＣＴ変換部３０７において、逆ＤＣＴ変換され、再構築部３０９において、画像が再構築される。再構築された画像は、デブロックフィルタ３１０によって、デブロックフィルタ処理が施され、４×４画素境界で画素値が書き換えられる。デブロックフィルタ処理については、後述する。
【０１０６】
次に、図３の動き補償部３１２において行う１／４画素精度の動き補償処理について、図６を参照して、説明する。図６は、１／４画素精度の動き補償を説明する図である。
【０１０７】
動き補償とは、参照する画像から予測画像を構成する場合に、動きベクトルの情報を用いて、符号化しようとする画像により近い予測画像を構成しようとするものである。予測誤差が少ないほど、符号量が小さくなるため、ＭＰＥＧ−４ ＡＶＣでは１／４画素精度の動き補償が採用されている。動きベクトルは、ブロック単位での平行移動を表す２つのパラメータ（水平方向の移動距離と垂直方向の移動距離）から構成される。
【０１０８】
動きベクトルが指し示した参照画像の予測画像は、下記の方法によって求められる。
【０１０９】
図６において、画素Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎ、Ｐ、Ｑ、Ｒ、Ｓ、Ｔ、Ｕは、それぞれ整数位置の画素であり、画素ａａ、ｂｂ、ｃｃ、ｄｄ、ｅｅ、ｆｆ、ｇｇ、ｈｈ、及び、画素ｂ、ｈ、ｊ、ｍ、ｓは、それぞれ１／２精度の画素であり、画素ａ、ｃ、ｄ、ｅ、ｆ、ｇ、ｉ、ｋ、ｎ、ｐ、ｑ、ｒは、それぞれ１／４精度の画素である。
【０１１０】
これらの画素の画素値を求める手順について説明する。まず、１／２精度の画素ｂは、以下のように求められる。画素ｂの水平方向の近傍の画素Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊを変数として、（数１）で定義される６タップフィルタを用いて、中間データｂ１が生成される。
【０１１１】
【数１】
【０１１２】
次に、この中間データｂ１を、（数２）によって、丸め処理と正規化の後、０〜２５５にクリップ処理して、画素ｂが求まる。
【０１１３】
【数２】
【０１１４】
ここに、Ｃｌｉｐ（Ｘ）は、カッコ内の変数Ｘを０から２５５の範囲にクリップする関数である。すなわち、変数Ｘが０未満であれば、ｂ＝０とし、変数Ｘが０から２５５の範囲であれば、ｂ＝Ｘとし、変数Ｘが２５６以上であれば、ｂ＝２５５とする。
【０１１５】
同様に、１／２精度の画素ｈは、次のように求められる。画素ｈの垂直方向の近傍の画素Ａ、Ｃ、Ｇ、Ｍ、Ｒ、Ｔを変数として、（数３）で定義される６タップフィルタを用いて、中間データｈ１が生成される。
【０１１６】
【数３】
【０１１７】
この中間データｈ１を、（数４）によって、丸め処理と正規化の後、０〜２５５にクリップ処理して、画素ｈが求まる。
【０１１８】
【数４】
【０１１９】
１／４精度の画素ａ、ｃ、ｄ、ｆ、ｉ、ｋ、ｎ、ｑ、は、（数５）に示すように、それぞれの近傍の２画素を用いて、丸め付き平均により求められる。
【０１２０】
【数５】
【０１２１】
１／４精度の画素ｅ、ｇ、ｐ、ｒは、同様に、（数６）に示すように、それぞれの近傍の２画素を用いて、丸め付き平均により求められる。
【０１２２】
【数６】
【０１２３】
以上のような予測画像の生成において、動きベクトルはサブマクロブロック毎に設定することが可能である。最も小さなサブマクロブロックである４×４の場合においては、整数位置の画素から実数位置の１６箇所の画素を６タップフィルタを使って内挿しなければならない。画素の内挿では画素間にデータの依存関係がないため並列に処理が可能である。従って、本実施の形態に示すように、ＳＩＭＤ型データ並列プロセッサを使うと、効率よくフィルタ処理が出来る。
【０１２４】
次に、デブロックフィルタ処理について説明する。
【０１２５】
ＭＰＥＧ−４ ＡＶＣでは、４×４画素単位でＤＣＴ処理を行うために、ブロックの境界にブロック歪みが発生する。デブロックフィルタ処理は、ブロックの境界にフィルタをかけて歪みを平滑化するものである。画像の４×４境界に施すフィルタ処理は、Ｂｏｕｎｄａｒｙ Ｓｔｒｅｎｇｔｈ（ＢＳ）という境界の強度の値に応じて、フィルタの強度がブロック境界毎に最も適した値に調整される、適応的なフィルタ処理である。すなわち、境界の強度ＢＳは、その境界にフィルタをかけるかどうかの判定と、フィルタをかける際の画素値変動の最大値を定義するために用いられる。
【０１２６】
図７は、本発明の第３の実施の形態におけるデブロックフィルタ３１０のブロック図である。本形態のデブロックフィルタ３１０は、ＢＳ条件判定処理部６０２、メモリ６０３、制御部６０４、及び、フィルタ処理部６０５を備え、フィルタ処理部６０５は、メモリ６０６とフィルタ６０７〜６０９を有する。
【０１２７】
図７に示すデブロックフィルタ３１０において、ＢＳ条件判定処理部６０２は、境界の強度ＢＳを計算し、その結果を判定して、制御パラメータ６１３をフィルタ処理部６０５に渡す。フィルタ処理部６０５は、制御パラメータ６１３に応じてフィルタ処理を行う。
【０１２８】
デブロックフィルタ３１０の処理を、図８を参照して、説明する。
【０１２９】
図８は、本発明の第３の実施の形態におけるデブロックフィルタ３１０の処理順序を示す。フィルタ処理は、図８に示すように、境界［１］〜［４］に対する水平フィルタ処理が行われ、続いて、境界［５］〜［８］に対する垂直フィルタ処理が行われる。
【０１３０】
境界の強度 ＢＳ＝４ の時のフィルタ処理について説明する。４×４のサブマクロブロックの境界［１］における最初のフィルタ処理では、境界［１］を挟んだ画素ｐ３、ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２、ｑ３の８画素を入力として、画素ｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２の６画素を、画素Ｐ２、Ｐ１、Ｐ０、Ｑ０、Ｑ１、Ｑ２に書き換える。
【０１３１】
画素Ｐ２、Ｐ１、Ｐ０は、（数７）の条件式によってフィルタ処理の式を切り換え、（数８）と（数９）とによって求められる。
【０１３２】
【数７】
【０１３３】
（数７）の条件が満たされる場合は、画素Ｐ０、Ｐ１、Ｐ２を（数８）から求める。
【０１３４】
【数８】
【０１３５】
（数７）の条件が満たされない場合は、画素Ｐ０、Ｐ１、Ｐ２を（数９）から求める。
【０１３６】
【数９】
【０１３７】
また、画素Ｑ０、Ｑ１、Ｑ２は、（数１０）の条件式によってフィルタ処理の式を切り換え、（数１１）と（数１２）とによって求められる。
【０１３８】
【数１０】
【０１３９】
（数１０）の条件が満たされる場合は、画素Ｑ０、Ｑ１、Ｑ２を（数１１）から求める。
【０１４０】
【数１１】
【０１４１】
（数１０）の条件が満たされない場合は、画素Ｑ０、Ｑ１、Ｑ２を（数１２）から求める。
【０１４２】
【数１２】
【０１４３】
以上のように、量子化パラメータと画素値によって適応的にフィルタ処理を切り換える場合、ＳＩＭＤ型データ並列プロセッサによるデータ処理装置では、ＢＳ条件判定を並列
に処理できないために、並列設置された演算器が有効に活用できない。それに代わって、図７に示したように、デブロックフィルタ処理を、ＢＳ条件判定処理部６０２とフィルタ処理部６０５とからなる専用ハードウェアで実行すれば、ＢＳ計算処理とフィルタ処理を別々に演算することができ、ＢＳ条件の判定処理が高速化され、フィルタ処理が並列処理出来る。その結果、デブロックフィルタ処理を、効率よく行うことが出来る。さらに、フィルタ処理部は、輝度Ｙと色差ＵＶにデータの依存がないため、並列動作が可能であり、演算器を導入すると更に処理サイクル数の削減が可能である。これが、本実施の形態において、図３に示すデブロックフィルタ３１０を、図２に示す専用ハードウェアであるデブロックフィルタ処理ユニット１０４によって、処理している理由である。
【０１４４】
図３に示す本形態のビデオエンコーダにおいて、デブロックフィルタ３１０によりデブロックフィルタ処理された画像は、出力画像として用いられるだけでなく、そのフレーム以降の参照画像として参照されるため、フレームメモリ３１１に保存しておく。
【０１４５】
次に、図３に示すビデオエンコーダを、本形態の信号処理装置で実現した場合の所要処理量と、他の方式によって構成した場合の所要処理量とを比較する。
【０１４６】
図９は、本発明の第３の実施の形態と他の方式におけるエンコード処理量の比較を示す図である。
【０１４７】
図９において、方式１は、１クロックサイクルあたり１命令を発行出来るプロセッサを用いて、図３に示すビデオエンコーダを構成し、全てソフト処理した場合である。方式２は、ＭＩＭＤ型並列データ処理装置とＳＩＭＤ型並列データ処理装置を組み合わせて、図３に示すビデオエンコーダを構成し、全てソフト処理した場合である。方式３は、ＳＩＭＤ型並列データ処理装置とＶＬＣの専用ハードウェアを用いて、図３に示すビデオエンコーダを構成した場合である。方式４は、ＶＬＩＷ型並列データ処理装置とＳＩＭＤ型並列データ処理装置と専用ハードウェアを用いて、図３に示すビデオエンコーダを構成した場合であり、本実施の形態に相当する。すなわち、方式４のＶＬＩＷ型並列データ処理装置は、本形態の図２に示す、命令並列プロセッサ１００に相当し、ＳＩＭＤ型並列データ処理装置は、同じく、第１データ並列プロセッサ１０１と第２データ並列プロセッサ１０２に相当し、専用ハードウェアは、同じく、動き検出ユニット１０３と、デブロックフィルタ処理ユニット１０４と、可変長符号化／復号処理ユニット１０５に、相当する。
【０１４８】
エンコード処理において、処理量が多いのは、動き検出と動き補償と可変長符号化とデブロックフィルタである。これらの処理量の具体的な数値を各方式について比較すると、以下のようになる。
【０１４９】
方式１においては、動き検出処理が「３０４８」メガサイクル、可変長符号化処理が「１０００」メガサイクル、デブロックフィルタ処理が「３２１」メガサイクル、動き補償処理が「３１４」メガサイクル、その他の処理が「２１７」メガサイクルである。全処理量は、「４９００」メガサイクルである。
【０１５０】
方式２においては、動き検出処理が「３８１」メガサイクル、可変長符号化処理が「３３３」メガサイクル、デブロックフィルタ処理が「１０７」メガサイクル、動き補償処理が「３９」メガサイクル、その他の処理が「５２」メガサイクルである。全処理量は、「９００」メガサイクルである。
【０１５１】
方式３においては、動き検出処理が「３８１」メガサイクル、可変長符号化処理が「６７」メガサイクル、デブロックフィルタ処理が「８０」メガサイクル、動き補償処理が「３９」メガサイクル、その他の処理が「３０」メガサイクルである。全処理量は、「６０
７」メガサイクルである。
【０１５２】
方式４においては、動き検出処理が「２０３」メガサイクル、可変長符号化処理が「６７」メガサイクル、デブロックフィルタ処理が「２１」メガサイクル、動き補償処理が「２１」メガサイクル、その他の処理が「２９」メガサイクルである。全処理量は、「３５２」メガサイクルである。
【０１５３】
動き検出処理は、対象マクロブロックと参照マクロブロックの画素値の差分絶対値和が最も少ないポジション（動きベクトル）を選択する処理である。ＭＰＥＧ−４ ＡＶＣの場合、４×４のサブマクロブロック単位で動きベクトルを設定することが可能である。従って、１６画素の差分絶対値和の計算が並列に処理出来る。方式２及び方式３では、この動き検出の処理を、８並列のＳＩＭＤ型並列データ処理装置で処理させたものであり、方式１に比べ大幅な高速化が実現している。方式４は、１６並列で差分絶対値和の計算が可能な専用ハードウェアで、動き検出を処理しているため、ＳＩＭＤ型並列データ処理装置よりも更に高速な処理が実現している。
【０１５４】
動き補償処理は、動きベクトルが指し示した参照画像を、１／４画素精度で求める処理である。この処理においても、４×４サブマクロブロック単位で処理が行われるため、並列処理が可能である。動き検出処理と同様に、方式２と方式３は、８並列のＳＩＭＤ型並列データ処理装置で、方式４は、専用ハードウェアで動き補償処理を行っており、大幅な高速化を達成している。
【０１５５】
可変長符号化処理は、ＣＡＢＡＣと呼ばれる算術符号処理で、周辺ブロックのコンテキストに応じて対象ブロックの発生確率を変化させて復号を行う逐次処理である。方式２では、可変長符号化の処理を、４命令発行可能なＭＩＭＤ型並列データ処理装置を用いて行うことを想定しているが、方式１の１命令発行のプロセッサに比べて、最大でも１／３の処理量である。方式３と方式４は、専用ハードウェアでＶＬＣ処理を行うもので、判定処理やテーブル検索が高速に行われるため、方式１に比べて、１／１５に高速化が可能である。
【０１５６】
デブロックフィルタ処理は、方式２がＭＩＭＤ型並列データ処理装置による並列処理で、方式３がＳＩＭＤ型並列データ処理装置による並列処理である。ＭＩＭＤ型では、フィルタ処理の性能が、ＳＩＭＤ型では、ＢＳ判定処理の性能が改善されないため、１／３〜１／４の高速化しか得られない。一方、方式４は、デブロックフィルタ処理を専用ハードウェアで実行するもので、ＢＳ判定処理とフィルタ処理を分割し、パイプライン動作させることによって、方式１に比べ、１／１５の高速化が可能である。
【０１５７】
以上、明らかなように、本形態のように、動き検出処理と動き補償処理と可変長符号化処理とデブロックフィルタ処理とを、専用ハードウェアで構成することによって、大幅な高速化が可能である。
【０１５８】
（第４の実施の形態）
図１０は、本発明の第４の実施の形態におけるビデオデコーダのブロック図である。
【０１５９】
本形態のビデオデコーダは、ＭＰＥＧ−４ ＡＶＣに対応出来るデコーダであり、各構成要素には、ＭＰＥＧ−４ ＡＶＣに対応するビデオデコーダの各機能を的確に表現した名前が付されている。
【０１６０】
図１０に示した本形態のビデオデコーダは、第２の実施の形態の信号処理装置によって構成されている。そこで、まず、図１０の構成要素と、図２の構成要素との対応関係を示
す。
【０１６１】
復号制御部３３１の処理は、図２の命令並列プロセッサ１００が行う。
【０１６２】
動きベクトル復号部３３６と動き補償部３３７の処理は、図２の第１データ並列プロセッサ１０１が行う。
【０１６３】
逆量子化部３３３、逆４×４ＤＣＴ変換部３３４、及び、再構築部３３５の処理は、図２の第２データ並列プロセッサ１０２が行う。
【０１６４】
可変長復号部３３２は、図２の可変長符号化／復号処理ユニット１０５に相当し、デブロックフィルタ３３８は、図２のデブロックフィルタ処理ユニット１０４に相当し、フレームメモリ３３９は、図２の第１共有メモリ１２１に相当する。
【０１６５】
本形態のビデオデコーダの動作の概略を説明する。
【０１６６】
可変長復号部３３２に、算術符号で符号化された符号化ビデオ入力３４１が入力され、復号されて、量子化ＤＣＴ係数と動きベクトルの差分が求められる。得られた量子化ＤＣＴ係数は、逆量子化部３３３において逆量子化され、さらに、逆４×４ＤＣＴ変換部３３４において逆ＤＣＴ変換されて、差分画像データが得られる。
【０１６７】
一方、可変長復号部３３２で得られた動きベクトルの差分から、動きベクトル復号部３３６において、動きベクトルが求められ、動き補償部３３７において、フレームメモリ３３９に格納されている参照画像と動きベクトルとから、予測画像が求められる。
【０１６８】
再構築部３３５において、前述の差分画像データと予測画像から、新しい画像が再構築されて、ビデオ出力３４２として出力される。出力されたビデオ出力３４２は、同時に、デブロックフィルタ３３８においてデブロックフィルタ処理された後、フレームメモリ３３９に格納される。
【０１６９】
逆量子化部３３３や逆４×４ＤＣＴ変換部３３４の制御は、復号制御部３３１が行う。
【０１７０】
デブロックフィルタ処理をはじめ、逆量子化処理、逆ＤＣＴ変換処理は、上述した第３の実施の形態の場合と同様であり、ここでは説明を省略する。
【０１７１】
本形態においても、可変長復号処理とデブロックフィルタ処理とを、専用ハードウェアで処理することによって、大幅な高速化が実現出来ている。
【０１７２】
また、上述した説明は、本形態のビデオエデコーダを、図２に示す本発明の第２の実施の形態の信号処理装置で実現する例を取り上げたが、本形態のビデオエデコーダは、本発明の第１の実施の形態の信号処理装置を用いて実現することも出来る。また、各プロセッサが分担する処理対象は、適宜変更することも出来る。
【０１７３】
（第５の実施の形態）
図１１は、本発明の第５の実施の形態におけるオーディオエンコーダのブロック図であり、図１２は、同じく、本発明の第５の実施の形態におけるオーディオデコーダのブロック図である。
【０１７４】
図１１に示すオーディオエンコーダにおいては、オーディオ入力３５３は、圧縮部３５１において、サンプリング及び量子化を含む圧縮処理が行われ、符号化部３５２において
、符号化が行われ、符号化オーディオ出力３５４として、出力される。
【０１７５】
図１２に示すオーディオデコーダにおいては、符号化オーディオ入力３６３は、復号部３６１において、復号が行われ、伸長部３６２において、逆量子化され伸長処理が行われる。
【０１７６】
オーディオのエンコーディング及びデコーディングは、ＭＰＥＧ−４ ＡＶＣのビデオのエンコーディングやデコーディングに比べて、必要な処理量が少ないために、いずれのプロセッサを用いても処理出来る。
【０１７７】
本形態のオーディオエンコーダとオーディオデコーダとを、第１の実施の形態の信号処理装置で実現する場合には、図１１に示す圧縮部３５１と符号化部３５２の処理と、図１２に示す復号部３６１と伸長部３６２の処理とは、図１に示す命令並列プロセッサ１００によってお行う。これらの処理は、十分な余裕を持って実行出来る。
【０１７８】
（第６の実施の形態）
図１３は、本発明の第６の実施の形態におけるＡＶ再生システムのブロック図である。
【０１７９】
本形態のＡＶ再生システムは、再生装置８０１、復調／エラー訂正部８０２、ＡＶデコーダ部８０３、メモリ８０４、Ｄ／Ａ変換器８０５、８０７を備え、ＡＶデコーダ部８０３は、ビデオデコーダ８０３Ａとオーディオデコーダ８０３Ｂを有する。
【０１８０】
ビデオデコーダ８０３Ａは、図１０に示した、本発明の第４の実施の形態のビデオデコーダであり、本発明の第１の実施の形態の信号処理装置、あるいは、第２の実施の形態の信号処理装置を用いて実現出来る。
【０１８１】
オーディオデコーダ８０３Ｂは、図１２に示した、本発明の第５の実施の形態のオーディオデコーダである。第５の実施の形態において述べたように、第５の実施の形態のオーディオデコーダの処理は、画像データの処理に比べれば、必要な処理量が少ないために、ビデオデコーダ８０３Ａに適用される第１の実施の形態の信号処理装置、あるいは、第２の実施の形態の信号処理装置の命令並列プロセッサ１００（図１、あるいは、図２）によって、並列に処理することが可能であり、別のプロセッサを用意する必要はない。従って、ＡＶデコーダ部８０３は、第１の実施の形態における一つの信号処理装置、あるいは、第２の実施の形態における一つの信号処理装置によって構成することが出来る。
【０１８２】
再生装置８０１は、符号化ＡＶ信号を記録したメディアを再生して、再生信号を出力する。この再生装置８０１は、ＭＰＥＧ−４ ＡＶＣ規格の符号化ＡＶ信号を記録したメディアを再生出来るものであれば、ＤＶＤビデオ再生機、ＨＤ（ハードディスク）ビデオ再生機、など、いずれの再生機でも良い。
【０１８３】
復調／エラー訂正部８０２は、再生装置８０１が再生した信号を復調し、エラー訂正を行って、ＡＶデコーダ部８０３に出力する。
【０１８４】
ＡＶデコーダ部８０３のビデオデコーダ８０３Ａは、符号化ビデオ信号をデコードして、出力し、Ｄ／Ａ変換器８０５において、アナログ信号に変換して、ビデオ出力８０６として出力する。
【０１８５】
ＡＶデコーダ部８０３のオーディオデコーダ８０３Ｂは、符号化オーディオ信号をデコードして、出力し、Ｄ／Ａ変換器８０７において、アナログ信号に変換して、オーディオ出力８０８として出力する。
【０１８６】
メモリ８０４は、デコード前、デコード中、及び／又は、デコード後のＡＶ信号とその他のデータとを保存する。
【０１８７】
なお、本形態のＡＶ再生システムにおいて、復調／エラー訂正部８０２の機能の一部、または全部を、再生装置８０１に持たせてもよい。
【０１８８】
本形態のＡＶ再生システムは、ＣＡＴＶ、インターネット、あるいは、衛星通信などから、送られてくる、ＭＥＰＧ−４ ＡＶＣ仕様のＡＶ信号を受信して、復調、デコードすることにも利用出来る。この場合には、受信した信号を復調／エラー訂正部８０２に入力して、上述したプロセスでデコードすることが出来る。さらに、ビデオ出力をディスプレイに表示すれば、ディジタルテレビとしても応用出来る。
【０１８９】
（第７の実施の形態）
図１４は、本発明の第７の実施の形態におけるＡＶ記録システムのブロック図である。
【０１９０】
本形態のＡＶ記録システムは、ＡＶエンコーダ部８２５、エラー訂正符号付与／変調部８２７、記録装置８２８、メモリ８２６、及び、Ａ／Ｄ変換器８２２、８２４を備え、ＡＶエンコーダ部８２５は、ビデオエンコーダ８２５Ａとオーディオエンコーダ８２５Ｂを有する。
【０１９１】
ビデオエンコーダ８２５Ａは、図３に示した、本発明の第３の実施の形態のビデオエンコーダであり、本発明の第１の実施の形態の信号処理装置、あるいは、第２の実施の形態の信号処理装置でを用いて実現出来る。
【０１９２】
オーディオエンコーダ８２５Ｂは、図１１に示した、本発明の第５の実施の形態のオーディオエンコーダである。第５の実施の形態において述べたように、第５の実施の形態のオーディオエンコーダの処理は、画像データの処理に比べれば、必要な処理量が少ないために、ビデオエンコーダ８２５Ａに適用される第１の実施の形態の信号処理装置、あるいは、第２の実施の形態の信号処理装置の命令並列プロセッサ１００（図１、あるいは、図２）によって、並列に処理することが可能であり、別のプロセッサを用意する必要はない。従って、ＡＶエンコーダ部８２５は、第１の実施の形態における一つの信号処理装置、あるいは、第２の実施の形態における一つの信号処理装置によって構成することが出来る。
【０１９３】
本形態のＡＶ記録システムの動作の概略を説明する。
【０１９４】
ビデオ入力８２１は、Ａ／Ｄ変換器８２２でＡ／Ｄ変換され、オーディオ入力８２３は、Ａ／Ｄ変換器８２４でＡ／Ｄ変換され、それぞれ、ＡＶエンコーダ部８２５に出力される。
【０１９５】
ＡＶエンコーダ部８２５のビデオエンコーダ８２５Ａは、入力されたビデオ信号を、ＭＰＥＧ−４ ＡＶＣの仕様に従って、エンコードして、符号化ビデオビットストリームとして出力する。同様に、オーディオエンコーダ８２５Ｂは、入力されたオーディオ信号を、ＭＰＥＧ−４ ＡＶＣの仕様に従って、エンコードして、符号化オーディオビットストリームとして出力する。
【０１９６】
エラー訂正／変調部８２７は、ＡＶエンコーダ部８２５が出力した符号化ビデオビットストリームと符号化オーディオビットストリームとに、エラー訂正符号を付与した後、変調し記録装置に出力する。
【０１９７】
記録装置８２８は、変調されたＡＶ信号を記録媒体に記録する。記録媒体は、ＤＶＤなどの光メディア、ＨＤ（ハードディスク）などの磁気記録媒体、半導体メモリなどである。
【０１９８】
メモリ８２６は、ＡＶエンコーダ部８２５でのエンコード前、エンコード中、及び／又は、エンコード後のＡＶ信号とその他のデータとを保存する。
【０１９９】
なお、本形態のＡＶ記録システムにおいて、エラー訂正／変調部８２７の機能の一部、または全部を、記録装置８２８に含めることも出来る。
【０２００】
本形態のＡＶ記録システムは、入力にビデオカメラを接続して、その信号をＭＰＥＧ−４ ＡＶＣ仕様でエンコードして記録する、ビデオカメラシステムとして利用することも出来る。
【０２０１】
（第８の実施の形態）
図１５は、本発明の第８の実施の形態におけるＡＶ記録／再生システムのブロック図である。本形態のＡＶ記録／再生システムは、制御部８４０、記録／再生装置８４１、変復調／エラー処理部８４２、ＡＶエンコーダ／デコーダ部８４３、ＡＶインターフェース８４５、及び、メモリ８４４を備え、ＡＶエンコーダ／デコーダ部８４３は、ビデオエンコーダ／デコーダ８４３Ａとオーディオエンコーダ／デコーダ８４３Ｂを有し、ＡＶインターフェース８４５は、ビデオの入出力とオーディオの入出力を行う。
【０２０２】
ＡＶエンコーダ／デコーダ部８４３は、機能的には、本発明の第３の実施の形態のビデオエンコーダと、第４の実施の形態のビデオデコーダと、第５の実施の形態のオーディオエンコーダとオーディオデコーダの、それぞれの機能と同等の機能を有しており、第１の実施の形態における一つの信号処理装置、又は、第２の実施の形態における一つの信号処理装置によって構築されている。それぞれの動作については、すでに述べたので、ここでは説明を省略する。
【０２０３】
記録再生装置８４１は、変調されたＭＰＥＧ−４ ＡＶＣ規格のＡＶ信号を、記録／再生するもので、記録媒体は、ＤＶＤなどの光メディア、ＨＤ（ハードディスク）などの磁気記録媒体、半導体メモリなどである。使用する記録媒体によって、異なる記録／再生機構を有している。
【０２０４】
変復調／エラー処理部８４２は、記録時には、ＡＶエンコーダ／デコーダ部８４３のエンコードしたビデオビットストリームとオーディオビットストリームとに、エラー訂正符号を付与して変調し、記録／再生装置８４１に送出する。変復調／エラー処理部８４２は、再生時には、記録／再生装置８４１が再生したＡＶ信号を復調して、エラー訂正を施した後、ビデオビットストリームとオーディオビットストリームとを、ＡＶエンコーダ／デコーダ部８４３に、送出する。
【０２０５】
ＡＶインターフェース８４５は、再生時には、ＡＶエンコーダ／デコーダ部８４３がデコードしたビデオ信号とオーディオ信号とを， それぞれＤ／Ａ変換して、ビデオ出力８４６とオーディオ出力８４８を出力する。ＡＶインターフェース８４５は、記録時には、ビデオ入力８４７とオーディオ入力８４９とを、それぞれＡ／Ｄ変換して、ＡＶエンコーダ／デコーダ部８４３に送出する。
【０２０６】
メモリ８４４は、ＡＶエンコーダ／デコーダ部８４３でのエンコード前、エンコード中、及び／又は、エンコード後のＡＶ信号、並びに、デコード前、デコード中、及び／又は
、デコード後のＡＶ信号と、その他のデータとを保存する。
【０２０７】
制御部８４０は、記録／再生装置８４１、変復調／エラー処理部８４２、ＡＶエンコーダ／でコーダ部８４３、及び、ＡＶインターフェース８４５を制御して、それぞれの記録時と、再生時の機能の切り替えと、データ転送の制御を行う。
【０２０８】
なお、本形態のＡＶ記録／再生システムにおいて、変復調／エラー処理部８４２の機能の一部、または全部を、記録／再生装置８４１に含めることも出来る。
【０２０９】
以上、詳細に述べたように、本発明の信号処理装置及びそれを用いた電子機器は、今後、ＭＰＥＧ−４ ＡＶＣの符号化規格が適用される様々な電子機器への応用が期待される。このような電子機器への応用は、現在ＭＰＥＧ−２で行われているＤＶＤシステムや、ビデオカメラのシステム、携帯電話におけるテレビ電話システムなど家庭内の据え置き端末から電池駆動のモバイル端末までの広い範囲に渡る。
【０２１０】
それらのシステムでは、ＭＰＥＧ−４ ＡＶＣ規格を実現するＬＳＩに対して要求される性能が、システムの応用の仕方によって異なる。据え置きのシステムでは、大きな画像サイズを扱うために処理性能が重要であり、一方、携帯端末ではバッテリ寿命を長くするために低消費電力が重要となる。本発明の信号処理装置及びそれを用いた電子機器は、そのいずれにも応用可能である。すなわち、命令並列プロセッサとデータ並列プロセッサと専用ハードウェアを組み合わせることにより、処理性能の向上と消費電力の低減を可能としている。
【０２１１】
本発明の信号処理装置は、複数のＳＩＭＤ型プロセッサ（図１の例では、第１データ並列プロセッサ１０１と第２のデータ並列プロセッサ１０２）で構成されている。１個のＳＩＭＤ型プロセッサには、８個の処理要素が含まれており、一つの命令で８種類のデータ流を並列に処理することが出来る。これらのＳＩＭＤ型プロセッサの搭載数を信号処理装置の利用目的に応じて変更することにより、ＬＳＩのアーキテクチャ変更することなしに様々な要求性能に対応することが出来る。
【０２１２】
例えば、低消費電力が求められる携帯端末向けの信号処理装置では、ＳＩＭＤ型プロセッサを２つ搭載することにより、並列度を１６にすることができ、低電圧動作及び動作周波数低減が可能である。
【０２１３】
また、１６並列で使用するのではなく、８個の処理要素からなるＳＩＭＤ型プロセッサを２組使い別の処理をさせることも可能である。
【０２１４】
第一のＳＩＭＤ型プロセッサが動き補償の画素値計算をしている間に、第二のＳＩＭＤ型プロセッサがＤＣＴ処理を行うといったように、全体の処理を分担して、並列処理することによって、処理要素の稼働率を維持したまま、複数の処理が出来る。この結果、演算性能の大幅な改善が可能となる。
【０２１５】
上記の実施の形態では、ＭＰＥＧ−４ ＡＶＣ規格に則った応用について述べたが、本発明は、この応用のみに限定されるものではない。本発明の趣旨は、命令並列プロセッサとデータ並列プロセッサと専用ハードウェアを組み合わせることにより、処理性能の向上と消費電力の低減を実現することにあるのであって、本発明の趣旨を逸脱しない限り、種々の適用が可能である。
【産業上の利用可能性】
【０２１６】
本発明に係る信号処理装置は、例えば、オーディオ及び画像の圧縮伸張処理を、並列プ
ロセッサと専用ハードウェアを用いて高速に行う分野あるいはその関連分野等において利用できる。
【符号の説明】
【０２１７】
１００ 命令並列プロセッサ
１０１ 第１データ並列プロセッサ
１０２ 第２データ並列プロセッサ
１０３ 動き検出ユニット
１０４ デブロックフィルタ処理ユニット
１０５ 可変長符号化／復号処理ユニット
１０６ 入出力インターフェース
１１０〜１１６ ローカルメモリ
１２０ ブリッジユニット
１２１ 第１共有メモリ
１２２ 第２共有メモリ
１３０ 第１命令バス
１３１ 第２命令バス
１３２ 第１データバス
１３３ 第２データバス
３０１ 符号化制御部
３０２ 差分検出部
３０３ モード切替部
３０４ ４×４ＤＣＴ変換部
３０５ 量子化部
３０６ 逆量子化部
３０７ 逆４×４ＤＣＴ変換部
３０８ 可変長符号部
３０９ 再構築部
３１０、３３８ デブロックフィルタ
３１１、３３９ フレームメモリ
３１２ 動き補償部
３１３ 動き検出部
３１６ 動きベクトル
３１７ 予測画像
３１８ イントラモード
３１９ インターモード
３３１ 復号制御部
３３２ 可変長復号部
３３３ 逆量子化部
３３４ 逆４×４ＤＣＴ変換部
３３５ 再構築部
３３６ 動きベクトル復号部
３３７ 動き補償部
３５１ 圧縮部
３５２ 符号化部
３６１ 復号部
３６２ 伸長部
４０１ コンテキストモデリング部
４０２ バイナリ化部
４０３ 出現確立予測部
４０４ 符号化部
４０５ 適応２進算術符号化処理部
４０６ 隣接ブロックＡ
４０７ 隣接ブロックＢ
４０８ 符号化対象ブロックＣ
６０２ ＢＳ条件判定処理部
６０３、６０６、８０４、８２６、８４４ メモリ
６０４ 制御部
６０５ フィルタ処理部
６０７〜６０９ フィルタ
８０１ 再生装置
８０２ 復調／エラー訂正部
８０３ ＡＶデコーダ部
８０３Ａ ビデオデコーダ
８０３Ｂ オーディオデコーダ
８０５、８０７ Ｄ／Ａ変換器
８２２、８２４ Ａ／Ｄ変換器
８２５ ＡＶエンコーダ部
８２５Ａ ビデオエンコーダ
８２５Ｂ オーディオエンコーダ
８２７ エラー訂正符号付与／変調部
８２８ 記録装置
８４０ 制御部
８４１ 記録／再生装置
８４２ 変復調／エラー処理部
８４３ ＡＶエンコーダ／でコーダ部
８４３Ａ ビデオエンコーダ／デコーダ
８４３Ｂ オーディオエンコーダ／デコーダ
８４５ ＡＶインターフェース
９０１ システム制御部
９０２ ＳＩＭＤ型並列データ処理装置
９０３ ＭＩＭＤ型並列データ処理装置
９０４ 共有メモリバス
９０５ 共有メモリ
９１０、９２０ 全体制御部
９１１〜９１４、９２５〜９２８ 演算器
９１５〜９１８、９２９〜９３２ ローカルメモリ
９２１〜９２４ 制御部
１００１ 画像処理装置
１００２ 命令メモリ
１００３ プロセッサ
１００４ ＳＩＭＤ型演算手段
１００５ ＶＬＣ（可変長符号化）処理手段
１００６ 外部データインターフェース
１００７ 内部データバス
１００８ ビデオデータバス
１００９ ビデオ入力装置
１０１０ ビデオ出力装置
１０１１ 外部メモリ
【特許請求の範囲】
【請求項１】
第１データバスと、
前記第１データバスに接続され、前記第１データバスを介して共有される第１共有メモリと、
前記第１データバスとは独立分離した状態に設けられる第２データバスと、
前記第２データバスに接続され、前記第２データバスを介して共有される第２共有メモリと、
前記第１データバスと前記第２データバスとを仲介し、前記第１データバスと前記第２データバスとを間接的に接続するブリッジユニットと、
音声オーディオの圧縮処理を行い、前記第２データバスに接続される命令並列プロセッサと、
前記第１データバスに接続されるが前記第２データバスには直接接続されず、かつ前記命令並列プロセッサとともに同時並行して画像圧縮処理を行うデータ並列プロセッサ及び専用ハードウェアとを備え、
前記命令並列プロセッサ、前記データ並列プロセッサ及び前記専用ハードウェアのそれぞれは、同時並行して圧縮処理を実行することを特徴とする画像音声信号処理装置。
【請求項２】
第１データバスと、
前記第１データバスに接続され、前記第１データバスを介して共有される第１共有メモリと、
前記第１データバスとは独立分離した状態に設けられる第２データバスと、
前記第２データバスに接続され、前記第２データバスを介して共有される第２共有メモリと、
前記第１データバスと前記第２データバスとを仲介し、前記第１データバスと前記第２データバスとを間接的に接続するブリッジユニットと、
音声オーディオの伸長処理を行い、前記第２データバスに接続される命令並列プロセッサと、
前記第１データバスに接続されるが前記第２データバスには直接接続されず、かつ前記命令並列プロセッサとともに同時並行して画像伸長処理を行うデータ並列プロセッサ及び専用ハードウェアとを備え、
前記命令並列プロセッサ、前記データ並列プロセッサ及び前記専用ハードウェアのそれぞれは、同時並行して伸長処理を実行することを特徴とする画像音声信号処理装置。
【請求項３】
前記データ並列プロセッサは第１のローカルメモリを有し、
前記専用ハードウェアは第２のローカルメモリを有し、
前記命令並列プロセッサは第３のローカルメモリを有し、
前記第１のローカルメモリと前記第２のローカルメモリは前記第１データバスに接続され、
前記第３のローカルメモリは前記第２データバスに接続され、
前記ブリッジユニットは、前記第１データバスと前記第２データバスとに互いに独立した状態で接続される第１、第２ローカルメモリと第３のローカルメモリ間のデータ転送を仲介する請求項１または２記載の画像音声信号処理装置。
【請求項４】
ローカルメモリを有する入出力インターフェイスをさらに備え、
前記入出力インターフェイスの前記ローカルメモリは前記第１データバスに接続される請求項１から３のいずれかに記載の画像音声信号処理装置。
【請求項５】
前記命令並列プロセッサは、前記入出力インターフェイスによる入出力処理を制御する請求項４記載の画像音声信号処理装置。
【請求項６】
請求項１から５のいずれかの画像音声信号処理装置を有する電子機器。
【請求項１】
第１データバスと、
前記第１データバスに接続され、前記第１データバスを介して共有される第１共有メモリと、
前記第１データバスとは独立分離した状態に設けられる第２データバスと、
前記第２データバスに接続され、前記第２データバスを介して共有される第２共有メモリと、
前記第１データバスと前記第２データバスとを仲介し、前記第１データバスと前記第２データバスとを間接的に接続するブリッジユニットと、
音声オーディオの圧縮処理を行い、前記第２データバスに接続される命令並列プロセッサと、
前記第１データバスに接続されるが前記第２データバスには直接接続されず、かつ前記命令並列プロセッサとともに同時並行して画像圧縮処理を行うデータ並列プロセッサ及び専用ハードウェアとを備え、
前記命令並列プロセッサ、前記データ並列プロセッサ及び前記専用ハードウェアのそれぞれは、同時並行して圧縮処理を実行することを特徴とする画像音声信号処理装置。
【請求項２】
第１データバスと、
前記第１データバスに接続され、前記第１データバスを介して共有される第１共有メモリと、
前記第１データバスとは独立分離した状態に設けられる第２データバスと、
前記第２データバスに接続され、前記第２データバスを介して共有される第２共有メモリと、
前記第１データバスと前記第２データバスとを仲介し、前記第１データバスと前記第２データバスとを間接的に接続するブリッジユニットと、
音声オーディオの伸長処理を行い、前記第２データバスに接続される命令並列プロセッサと、
前記第１データバスに接続されるが前記第２データバスには直接接続されず、かつ前記命令並列プロセッサとともに同時並行して画像伸長処理を行うデータ並列プロセッサ及び専用ハードウェアとを備え、
前記命令並列プロセッサ、前記データ並列プロセッサ及び前記専用ハードウェアのそれぞれは、同時並行して伸長処理を実行することを特徴とする画像音声信号処理装置。
【請求項３】
前記データ並列プロセッサは第１のローカルメモリを有し、
前記専用ハードウェアは第２のローカルメモリを有し、
前記命令並列プロセッサは第３のローカルメモリを有し、
前記第１のローカルメモリと前記第２のローカルメモリは前記第１データバスに接続され、
前記第３のローカルメモリは前記第２データバスに接続され、
前記ブリッジユニットは、前記第１データバスと前記第２データバスとに互いに独立した状態で接続される第１、第２ローカルメモリと第３のローカルメモリ間のデータ転送を仲介する請求項１または２記載の画像音声信号処理装置。
【請求項４】
ローカルメモリを有する入出力インターフェイスをさらに備え、
前記入出力インターフェイスの前記ローカルメモリは前記第１データバスに接続される請求項１から３のいずれかに記載の画像音声信号処理装置。
【請求項５】
前記命令並列プロセッサは、前記入出力インターフェイスによる入出力処理を制御する請求項４記載の画像音声信号処理装置。
【請求項６】
請求項１から５のいずれかの画像音声信号処理装置を有する電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−８４３１１（Ｐ２０１３−８４３１１Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１３−１８１６１（Ｐ２０１３−１８１６１）
【出願日】平成２５年２月１日（２０１３．２．１）
【分割の表示】特願２００９−２７１７４３（Ｐ２００９−２７１７４３）の分割
【原出願日】平成１５年８月２１日（２００３．８．２１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２５年２月１日（２０１３．２．１）
【分割の表示】特願２００９−２７１７４３（Ｐ２００９−２７１７４３）の分割
【原出願日】平成１５年８月２１日（２００３．８．２１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]