画像圧縮回路、画像圧縮解凍回路及び圧縮方法
【課題】画質劣化を抑制しつつ十分にデータ量を削減する。
【解決手段】画像圧縮回路は、非圧縮の映像信号に対して色差信号のサブサンプリング処理を行うサブサンプリング処理部と、前記非圧縮の映像信号に対して少なくとも色差信号のビット深度削減処理を行うビット深度削減処理部と、前記非圧縮の映像信号の色差信号の空間周波数が所定の閾値を超えているか否かを判定する空間周波数判定部と、前記空間周波数判定部の判定結果に基づいて、前記サブサンプリング処理及びビット深度削減処理の一方を選択して前記非圧縮の映像信号を圧縮させて圧縮映像信号を出力する選択処理部とを具備する。
【解決手段】画像圧縮回路は、非圧縮の映像信号に対して色差信号のサブサンプリング処理を行うサブサンプリング処理部と、前記非圧縮の映像信号に対して少なくとも色差信号のビット深度削減処理を行うビット深度削減処理部と、前記非圧縮の映像信号の色差信号の空間周波数が所定の閾値を超えているか否かを判定する空間周波数判定部と、前記空間周波数判定部の判定結果に基づいて、前記サブサンプリング処理及びビット深度削減処理の一方を選択して前記非圧縮の映像信号を圧縮させて圧縮映像信号を出力する選択処理部とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は、画像圧縮回路、画像圧縮解凍回路及び圧縮方法に関する。
【背景技術】
【０００２】
従来、テレビジョン受信機においては、種々の映像入力に対応するものがある。例えば、テレビジョン受信機は、Ｄ端子（Ｄ１〜Ｄ５端子）、コンポーネント端子、Ｓ端子、ＲＣＡ端子、コンポジット映像信号端子及びＨＤＭＩ（High-Definition Multimedia Interface）端子等を備えたものがあり、これらの各端子に入力される種々の映像信号フォーマットの映像信号を処理することができる。
【０００３】
また、テレビジョン受信機は、４：２：０フォーマットや４：２：２の映像信号だけでなく、ＨＤＭＩ端子に入力される４：４：４フォーマットの映像信号やゲーム機からＤ端子を介して入力される４：４：４フォーマットの映像信号も処理可能である。
【０００４】
テレビジョン受信機においては、入力された映像信号に対する処理を行うために、映像信号をメモリに記憶させる。この場合に、メモリ容量の削減、メモリバンド幅の低減等の理由から、入力された４：４：４フォーマットの映像信号に対して色差信号のサブサンプリング処理やビット深度削減処理を行うことがある。
【０００５】
色差信号のサブサンプリング処理やビット深度削減処理は、輝度に比べて色に対する人間の視感度が低いことを利用して、視覚的な劣化を抑制しながら、データ量の削減を可能にするものである。映像信号に対する処理時には、記憶時に圧縮された映像信号を読み出して、アップサンプリング処理及びビット深度拡張処理を行うことで、圧縮前の映像信号を復元する。一般的には、サブサンプリング処理とビット深度削減処理とは、画像毎に切換えていずれか一方が用いられる。
【０００６】
しかしながら、サブサンプリング処理及びビット深度削減処理によって、色にじみや階調割れ等の画質劣化が生じることがあるという問題があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２７０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、画質劣化を抑制しつつ十分にデータ量を削減することができる画像圧縮回路、画像圧縮解凍回路及び圧縮方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様の画像圧縮回路は、非圧縮の映像信号に対して色差信号のサブサンプリング処理を行うサブサンプリング処理部と、前記非圧縮の映像信号に対して少なくとも色差信号のビット深度削減処理を行うビット深度削減処理部と、前記非圧縮の映像信号の色差信号の空間周波数が所定の閾値を超えているか否かを判定する空間周波数判定部と、前記空間周波数判定部の判定結果に基づいて、前記サブサンプリング処理及びビット深度削減処理の一方を選択して前記非圧縮の映像信号を圧縮させて圧縮映像信号を出力する選択処理部とを具備する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像圧縮解凍回路を示すブロック図。
【図２】色差サブサンプリング処理を示す説明図。
【図３】ビット深度削減処理を示す説明図。
【図４】圧縮処理による影響を説明するための説明図。
【図５】図１中の圧縮処理部１７の具体的な構成を示すブロック図。
【図６】図１中の解凍処理部１８の具体的な構成を示すブロック図。
【図７】圧縮処理を示すフローチャート。
【図８】解凍処理を示すフローチャート。
【図９】圧縮処理及び解凍処理によって生成される画像を説明するための説明図。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の一実施形態に係る画像圧縮解凍回路を示すブロック図である。本実施の形態はデジタルテレビジョン受信機に採用される例について説明するが、画像信号のメモリへの記憶又は画像信号に対する画像処理を行う全ての画像処理装置に適用可能である。
【００１２】
先ず、図２乃至図４の説明図を参照して本実施の形態における圧縮処理について説明する。図２は色差サブサンプリング処理及びアップサンプリング処理を示す説明図であり、図３はビット深度削減処理及びビット深度拡張処理を示す説明図である。
【００１３】
図２（ａ）はソース画像の隣接する２画素の構成を示している。ソース画像の１画素のデータは輝度信号Ｙと色差信号Ｕ，Ｖによって構成される。図２（ａ）では、１画素目が輝度信号Ｙ０、色差信号Ｕ０，Ｖ０によって構成され、２画素目が輝度信号Ｙ１、色差信号Ｕ１，Ｖ１によって構成される例を示している。図２（ａ）は４：４：４フォーマットの画像を示している。
【００１４】
色差サブサンプリング処理では、色差信号Ｕ，Ｖをサブサンプリングする。例えば、水平方向に輝度信号の１／２のサブサンプリングを行うことにより、例えば図２（ｂ）に示す４：２：２フォーマットの画像が得られる。例えば、輝度信号Ｙ、色差信号Ｕ，Ｖのビット数がいずれも１０ビットであるものとすると、４：４：４フォーマットの画像の２画素分のビット数が６０ビットであるのに対し、４：２：２フォーマットの画像の２画素分のビット数を４０ビットに低減することができる。
【００１５】
色差アップサンプリング処理では、サブサンプリングした色差信号をアップサンプリングして、元の４：４：４フォーマットの画像に戻す。図２（ｃ）はアップサンプリングにより得られる２画素分の信号を示している。
【００１６】
図３（ａ）はソース画像の１画素の色差信号のビット構成を示している。なお、ソース画像の信号Ｙ，Ｕ，Ｖはいずれも同一ビット数で構成され、図３（ａ）の例は各信号のビット数が１０ビットの例を示している。ビット深度削減処理では、輝度信号及び色差信号について、ビット深度を削減する。例えば、輝度信号及び色差信号の１０ビットのうちの下位５ビットを削減する。図３（ｂ）はビット深度削減処理後のビット構成を示している。
【００１７】
ビット深度拡張処理では、ビット深度削減した輝度信号及び色差信号を拡張して元の１０ビットに戻す。図３（ｃ）の例では、ビット深度拡張によって、下位５ビットに上位５ビットと同じ値を設定することを示している。
【００１８】
図４は圧縮処理による影響を説明するための説明図である。図４（ａ）はカラーのソース画像を示し、図４（ｂ），（ｃ）は色差サブサンプリング処理による影響を示し、図４（ｄ）はビット深度削減処理による影響を示し、図４（ｅ）は本実施の形態における圧縮処理を示している。
【００１９】
図４（ａ）のソース画像は上側には色が水平方向に滑らかに変化する画像と、下側に異なる色の縦線が交互に現れる画像とによって構成されている。図４（ｂ）は図４（ａ）のソース画像に対して色差サブサンプリング処理による圧縮を行った後アップサンプリング処理によって元に戻した画像を示している。図４（ｃ）は図４（ｂ）の一部を拡大して示している。図４（ｃ）に示すように、境界部分Ｎ１，Ｎ２（斜線部）では元の２色以外の色が現れて、色にじみが生じている。
【００２０】
図４（ｄ）は図４（ａ）のソース画像に対してビット深度削減処理による圧縮を行った後ビット深度拡張処理によって元に戻した画像を示している。図４（ｄ）に示すように、上側の画像は明るさの変化が滑らかでなく、段階的に変化しており、階調割れが生じていることが分かる。
【００２１】
色差サブサンプリング処理において水平方向のサブサンプリングを行った場合には、アップサンプリング処理後の画像は、図２（ｃ）に示すように、２画素に渡り同一の色差信号になってしまうことから、水平方向の色が変化する部分で色にじみが生じる。一方、サブサンプリング処理を行っても、色差信号のビット数は変化しないことから、再現できる色数に変化はない。このため、色差アップサンプリング処理後の上側の画像については、滑らかなグラデーションが得られている。つまり、色差サブサンプリング処理を行った場合でも、色が滑らかに変化するグラデーションを十分に表現することが可能である。
【００２２】
一方、ビット深度削減処理を行うと、下位ビット分が削除されるので、変化が滑らかでなくなり、グラデーションは段階的となり階調割れが生じる。しかし、各画素の色差信号は、ソース画像の色差信号の情報を含んでおり、色の変化は１画素毎であるので、色の境界においても色にじみは生じない。即ち、ビット深度削減処理を行った場合でも、色にじみが生じることなく色の境界を表現することができる。
【００２３】
そこで、本実施の形態においては、異なる色の縦線が交互に現れる画像のように、水平方向の空間周波数が比較的高い絵柄部分については、ビット深度削減処理による圧縮を行い、水平方向の空間周波数が比較的低い絵柄部分については、色差サブサンプリング処理による圧縮を行うことで、圧縮に伴う画像劣化を抑制するようになっている。
【００２４】
図４（ｅ）はこのように水平方向の空間周波数が比較的高いか低いかによって圧縮方法を切換えて圧縮した画像を、元の画像に復元した場合の画像を示している。図４（ｅ）の画像は、図４（ａ）に示すソース画像と同様に、上側の画像部分のグラデーションは滑らかであり、下側の画像部分には色にじみが生じていない。
【００２５】
（回路構成）
デジタルテレビジョン用のＳｏＣ（システムオンチップ）１１には、ＨＤＭＩ端子Ｉ１及びＤ端子Ｉ２が設けられている。ＨＤＭＩ端子Ｉ１には、例えばデジタルビデオレコーダ等からのデジタル映像信号が入力され、Ｄ端子Ｉ２にはゲーム機等からアナログ映像信号が入力される。これらの映像信号としては４：４：４フォーマットの映像信号を採用可能である。ＨＤＭＩレシーバ１２はＨＤＭＩ端子Ｉ１を介して入力された映像信号を受信して切換器１５に出力する。Ｄ端子Ｉ２を介して入力された映像信号はＡ／Ｄ変換器１３に与えられる。Ａ／Ｄ変換器１３は入力された映像信号をデジタル映像信号に変換して切換器１５に出力する。ＣＰＵ１４は、ＳｏＣ１１の各部を制御すると共に、ＣＰＵ１４において発生した４：４：４フォーマットの映像信号を切換器１５に出力する。
【００２６】
切換器１５は、ＨＤＭＩレシーバ１２、Ａ／Ｄ変換器１３及びＣＰＵ１４から入力された映像信号を選択して、圧縮解凍処理部１６に供給する。圧縮解凍処理部１６は、圧縮処理されていない映像信号を画像処理部２０に供給すると共に図示しない表示部に出力することができる。画像処理部２０は入力された映像信号に対して所定の画像信号処理を施して圧縮解凍処理部１６に出力する。
【００２７】
圧縮解凍処理部１６は、圧縮処理部１７及び解凍処理部１８を有しており、圧縮処理されていない映像信号（非圧縮映像信号）を圧縮処理することができると共に、圧縮処理された映像信号（圧縮映像信号）を解凍処理することができる。圧縮処理部１７は、画像メモリ１９に対して圧縮映像信号を出力し、解凍処理部１８は画像メモリ１９から圧縮映像信号を読み出して解凍処理することができる。画像メモリ１９は圧縮解凍処理部１６から供給された圧縮映像信号を記憶することができる。
【００２８】
図５は図１中の圧縮処理部１７の具体的な構成を示すブロック図であり、図６は図１中の解凍処理部１８の具体的な構成を示すブロック図である。
【００２９】
圧縮処理部１７には、切換器１５からの映像信号又は画像処理部２０からの映像信号が入力される。これらの映像信号は、例えば、４：４：４フォーマットの非圧縮映像信号である。圧縮処理部１７の色差信号サブサンプリング処理部２２は、入力された映像信号の色差信号をサブサンプリング処理して出力する。例えば、色差信号サブサンプリング処理部２２は、色差信号に対して水平方向に輝度信号の１／２のサブサンプリングを行うことにより、入力された４：４：４フォーマットの映像信号を４：２：２フォーマットの映像信号に変換する。なお、色差信号サブサンプリング処理部２２は、色差信号に対して水平方向に輝度信号の１／４のサブサンプリングを行うことにより、入力された４：４：４フォーマットの映像信号を４：１：１フォーマットの映像信号に変換してもよい。
【００３０】
輝度・色差信号ビット深度削減処理部２３は、入力された輝度信号及び色差信号のビット深度を削減して出力する。なお、輝度・色差信号ビット深度削減処理部２３は、色差信号のみについてビット深度削減処理を行ってもよい。
【００３１】
本実施の形態においては、４：４：４フォーマットの非圧縮映像信号は、色差信号周波数帯域判定部２１に供給される。色差信号周波数帯域判定部２１は、入力された映像信号の色差信号について、水平空間周波数が所定の閾値よりも高いか否かを判定し、判定結果を選択信号として出力する。例えば、色差信号周波数帯域判定部２１は、ハイパスフィルタによって構成することができ、ハイパスフィルタによって所定の水平空間周波数以上の周波数帯域の信号を検出して、検出結果を閾値と比較することで、ハイレベル又はローレベルの選択信号を出力する。
【００３２】
例えば、色差信号周波数帯域判定部２１は１画素毎に色差信号の水平方向の空間周波数が所定の閾値よりも高いか否かの判定結果を求めて選択信号として選択・フラグ付加処理部２４に出力するようになっている。
【００３３】
選択・フラグ付加処理部２４には、色差信号サブサンプリング処理部２２からの圧縮映像信号及び輝度・色差信号ビット深度削減処理部２３からの圧縮映像信号が入力される。選択・フラグ付加処理部２４は、色差信号周波数帯域判定部２１からの選択信号に基づいて、入力される２つの圧縮映像信号の一方を選択して圧縮映像信号を出力すると共に、選択結果を示すフラグを圧縮映像信号に付加する。
【００３４】
選択・フラグ付加処理部２４は、色差信号の水平方向空間周波数が所定の閾値以下であることを示す選択信号が入力されると、色差信号サブサンプリング処理部２２からの圧縮映像信号を選択して出力すると共に、その選択結果を示すフラグを付加する。また、選択・フラグ付加処理部２４は、色差信号の水平方向空間周波数が所定の閾値よりも高いことを示す選択信号が入力されると、輝度・色差信号ビット深度削減処理部２３からの圧縮映像信号を選択して出力すると共に、その選択結果を示すフラグを付加する。
【００３５】
選択・フラグ付加処理部２４は、圧縮映像信号の圧縮の単位（サブサンプリングの処理単位）に対応した画素数毎に選択を行って、選択した圧縮映像信号を画像メモリ１９に出力する。例えば、選択・フラグ付加処理部２４は、色差信号サブサンプリング処理部２２によって４：２：２の圧縮映像信号が生成された場合には、２画素単位で選択を行い、色差信号サブサンプリング処理部２２によって４：１：１の圧縮映像信号が生成された場合には、４画素単位で選択を行う。
【００３６】
なお、色差信号周波数帯域判定部２１は、サブサンプリング処理の処理単位で空間周波数の判定を行ってもよく、また、所定の画素領域毎、或いは１フレーム毎に、空間周波数の判定を行ってもよい。また、選択・フラグ付加処理部２４は、色差信号周波数帯域判定部２１の判定単位でサブサンプリング処理とビット深度削減処理との選択を行うようにしてもよい。
【００３７】
このように本実施の形態においては、１画面の画像中にサブサンプリング処理による圧縮画像部分とビット深度削減処理による圧縮画像部分とが混在するが、便宜上、圧縮処理部１７からの圧縮映像信号は４：２：２フォーマット又は４：１：１フォーマットの映像信号として説明する。
【００３８】
図６において、解凍処理部１８には、画像メモリ１９からの圧縮映像信号が入力される。この映像信号は、例えば、４：２：２フォーマットの圧縮映像信号である。解凍処理部１８の色差信号アップサンプリング処理部３２は、入力された映像信号の色差信号をアップサンプリング処理して出力する。例えば、色差信号アップサンプリング処理部３２は、色差信号に対して水平方向に２倍のアップサンプリングを行うことにより、入力された４：２：２フォーマットの映像信号を４：４：４フォーマットの映像信号に変換する。また、色差信号アップサンプリング処理部３２は、４：１：１フォーマットの映像信号が入力された場合には、色差信号に対して水平方向に４倍のアップサンプリング処理を行って４：４：４フォーマットの映像信号を得る。
【００３９】
輝度・色差信号ビット深度拡張処理部３３は、入力された輝度信号及び色差信号のビット深度を拡張して出力する。例えば、輝度・色差信号ビット深度拡張処理部３３は、輝度・色差信号ビット深度削減処理部２３によるビット深度削減処理に対応したビット深度拡張処理を行うことで、輝度信号及び色差信号のビット深度を圧縮前の元のビット深度に戻す。
【００４０】
本実施の形態においては、４：２：２フォーマット又は４：１：１フォーマットの圧縮映像信号は、フラグ判定部３１に供給される。フラグ判定部３１は、入力された映像信号からフラグを検出して、検出したフラグによって、色差信号サブサンプリング処理による圧縮処理が行われているかビット深度削減処理による圧縮処理が行われているかを判定し、判定結果を選択信号として選択処理部３４に出力する。フラグは、例えば圧縮処理単位毎に挿入されており、フラグ判定部３１は、フラグを検出して圧縮処理単位毎に選択信号を出力する。
【００４１】
選択処理部３４には、色差信号アップサンプリング処理部３２からの非圧縮映像信号及び輝度・色差信号ビット深度拡張処理部３３からの非圧縮映像信号が入力される。選択処理部３４は、フラグ判定部３１からの選択信号に基づいて、入力される２つの非圧縮映像信号の一方を選択して出力する。即ち、選択処理部３４は、フラグによって、色差信号サブサンプリング処理が行われたことが示された画像部分については、色差信号アップサンプリング処理部３２の出力を選択し、輝度・色差信号ビット深度削減処理が行われたことが示された画像部分については、輝度・色差信号ビット深度削減処理処理部３３の出力を選択する。
【００４２】
こうして、選択処理部３４からは、圧縮処理に応じて解凍処理が行われた非圧縮映像信号が出力される。選択処理部３４は選択した非圧縮映像信号を画像処理部２０や表示部に出力する。
【００４３】
次に、このように構成された実施の形態の動作について図７乃至図９を参照して説明する。図７は圧縮処理を示すフローチャートであり、図８は解凍処理を示すフローチャートである。また、図９は圧縮処理及び解凍処理によって生成される画像を説明するための説明図である。
【００４４】
いま、切換器１５を介して入力された映像信号又は画像処理部２０によって画像処理された映像信号を画像メモリ１９に記憶させるものとする。この場合には、圧縮解凍処理部１６は、これらの４：４：４フォーマットの非圧縮映像信号を圧縮処理して画像メモリ１９に書き込む。
【００４５】
いま、非圧縮映像信号が図９（ａ）に示すデータ配列を有するものとする。１画素は１０ビットの輝度信号Ｙと各１０ビットずつの色差信号Ｕ，Ｖによって構成されており、図９（ａ）では隣接する４画素の輝度信号及び色差信号が配列されていることを示している。即ち、１画素目は、輝度信号Ｙ０及び色差信号Ｕ０，Ｖ０によって構成され、２画素目は、輝度信号Ｙ１及び色差信号Ｕ１，Ｖ１によって構成され、３画素目は、輝度信号Ｙ２及び色差信号Ｕ２，Ｖ２によって構成され、４画素目は、輝度信号Ｙ３及び色差信号Ｕ３，Ｖ３によって構成されている。
【００４６】
非圧縮映像信号は圧縮処理部１７の色差信号周波数帯域判定部２１に入力される。色差信号周波数帯域判定部２１は、画素毎に色差信号の水平空間周波数を検出する（ステップＳ１）。色差信号周波数帯域判定部２１は、検出した水平空間周波数が所定の閾値以下であるか否かを判定する（ステップＳ２）。例えば、図９（ａ）に示す１画素目において色差信号の水平空間周波数が閾値以下と判定された場合には、色差信号周波数帯域判定部２１は、色差信号サブサンプリング処理を選択するための選択信号を選択・フラグ付加処理部２４に出力する。
【００４７】
一方、非圧縮映像信号は圧縮処理部１７の色差信号サブサンプリング処理部２２及び輝度・色差信号ビット深度削減処理部２３にも与えられており、色差信号サブサンプリング処理部２２は、入力された４：４：４フォーマットの映像信号を水平方向にサブサンプリング処理する（ステップＳ３）。例えば、図９（ｂ）に示すように、色差信号サブサンプリング処理部２２は、色差信号を水平方向に輝度信号の１／２にサブサンプリングする。
【００４８】
これにより、圧縮映像信号の１画素目は、１０ビットの輝度信号Ｙ０及び色差信号Ｕ０によって構成され、２画素目は、１０ビットの輝度信号Ｙ１及び色差信号Ｖ０によって構成される。
【００４９】
選択・フラグ付加処理部２４は、これらの輝度信号及び色差信号を画素順Ｙ０，Ｕ０，Ｙ１，Ｖ０で配列すると共に、圧縮方式としてサブサンプリング処理が行われたことを示す１ビットフラグｆ０を付加する（ステップＳ５）。
【００５０】
次に、色差信号周波数帯域判定部２１によって、３画素目の水平空間周波数が所定の閾値よりも高いものと判定されるものとする。この場合には、色差信号周波数帯域判定部２１は、ビット深度削減処理を選択するための選択信号を選択・フラグ付加処理部２４に出力する。
【００５１】
輝度・色差信号ビット深度削減処理部２３は、入力された４：４：４フォーマットの映像信号に対してビット深度の削減処理を行う（ステップＳ４）。例えば、図９（ｂ）に示すように、輝度・色差信号ビット深度削減処理部２３は、色差信号Ｕ，Ｖについてビット数を１／２に削減する。
【００５２】
これにより、圧縮映像信号の３画素目は、１０ビットの輝度信号Ｙ２と各５ビットの色差信号Ｕ２，Ｖ２によって構成され、４画素目は、１０ビットの輝度信号Ｙ３と各５ビットの色差信号Ｕ３，Ｖ３によって構成される。
【００５３】
選択・フラグ付加処理部２４は、これらの輝度信号及び色差信号を画素順Ｙ２，Ｕ２，Ｖ２，Ｙ３，Ｕ３，Ｖ３で配列すると共に、圧縮方式としてビット深度削減処理が行われたことを示す１ビットフラグｆ２を付加する（ステップＳ５）。
【００５４】
こうして、図９（ａ）に示す４：４：４フォーマットの非圧縮映像信号は、例えば図９（ｂ）に示す４：２：２フォーマットの圧縮映像信号に変換された後、画像メモリ１９に供給されて記憶される。
【００５５】
次に、画像メモリ１９に記憶されている圧縮映像信号を表示のため又は画像処理のために読み出すものとする。この場合には、解凍処理部１８は、記憶されている４：２：２フォーマットの非圧縮映像信号を解凍処理して、元の４：４：４フォーマットの映像信号に戻す。
【００５６】
いま、図９（ｂ）に示すデータ配列の圧縮映像信号を図９（ｃ）に示す４：４：４フォーマットの非圧縮映像信号に戻すものとする。圧縮映像信号は解凍処理部１８のフラグ判定部３１に入力される。フラグ判定部３１は、圧縮映像信号の配列中のフラグを検出する（ステップＳ１１）。フラグ判定部３１は、フラグの検出結果により、圧縮映像信号の２画素毎の圧縮処理がサブサンプリング処理であるかビット深度削減処理であるかを判定し、判定結果に基づく選択信号を選択処理部３４に出力する（ステップＳ１２）。
【００５７】
例えば、図９（ｂ）に示す１，２画素目においては、フラグｆ０によって色差信号サブサンプリング処理が行われていることが示されており、フラグ判定部３１は、色差信号アップサンプリング処理を選択するための選択信号を選択処理部３４に出力する。
【００５８】
圧縮映像信号は、解凍処理部１８の色差信号アップサンプリング処理部３２及び輝度・色差信号ビット深度拡張処理部３３にも与えられており、色差信号アップサンプリング処理部３２は、入力された４：２：２フォーマットの映像信号を水平方向にアップサンプリング処理する（ステップＳ１３）。例えば、図９（ｂ），（ｃ）に示すように、色差信号アップサンプリング処理部３２は、色差信号を水平方向に２倍にアップサンプリングする。
【００５９】
これにより、非圧縮映像信号の１画素目は、１０ビットの輝度信号Ｙ０及び各１０ビットの色差信号Ｕ０，Ｖ０によって構成され、２画素目は、１０ビットの輝度信号Ｙ１及び各１０ビットの色差信号Ｕ０，Ｖ０によって構成される。選択処理部３４は、これらの輝度信号及び色差信号を画素順Ｙ０，Ｕ０，Ｖ０，Ｙ１，Ｕ０，Ｖ０で配列して出力する（ステップＳ１５）。なお、２画素目については、アップサンプリング処理時に他の画素値を用いたフィルタ処理を行うことで、Ｙ１，Ｕ１’，Ｖ１’を得ることも可能である。
【００６０】
１，２画素目の画素については、色差信号サブサンプリング処理が行われているが、１，２画素目の水平方向の空間周波数は比較的低いことから、図４（ｅ）に示すように、色にじみは発生しにくく、明るさの変化に伴うグラデーションを良好に再現することができる。
【００６１】
次に、フラグ判定部３１によって、３，４画素目の圧縮処理がビット深度削減処理であることが検出されるものとする。この場合には、フラグ判定部３１は、ビット深度拡張処理を選択するための選択信号を選択処理部３４に出力する。
【００６２】
輝度・色差信号ビット深度拡張処理部３３は、入力された圧縮映像信号に対してビット深度の拡張処理を行っている（ステップＳ１４）。例えば、図９（ｂ），（ｃ）に示すように、輝度・色差信号ビット深度拡張処理部３３は、色差信号Ｕ，Ｖについてビット数を２倍に拡張する。
【００６３】
これにより、非圧縮映像信号の３画素目は、１０ビットの輝度信号Ｙ２と各１０ビットの色差信号Ｕ２，Ｖ２によって構成され、４画素目は、１０ビットの輝度信号Ｙ３と各１０ビットの色差信号Ｕ３，Ｖ３によって構成される。選択処理部３４は、これらの輝度信号及び色差信号を画素順Ｙ２，Ｕ２，Ｖ２，Ｙ３，Ｕ３，Ｖ３で配列して出力する。
【００６４】
こうして、図９（ｂ）に示す４：２：２フォーマットの圧縮映像信号は、例えば図９（ｃ）に示す４：４：４フォーマットの非圧縮映像信号に変換された後、画像処理部２０等に供給される。
【００６５】
３，４画素目の画素については水平方向の空間周波数は比較的高いが、これらの画素には、色差信号のビット削減処理が行われていることから、図４（ｅ）に示すように、明るさに変化に対応した良好なグラデーションを再現可能であると共に、色にじみの発生を抑制することができる。
【００６６】
このように本実施の形態においては、色差信号の水平方向空間周波数を検出し、水平空間周波数が低い領域では、色差信号サブサンプリング処理による圧縮を行い、水平空間周波数が高い領域では、色差信号ビット深度削減処理による圧縮を行う。これにより、復元画像において、色にじみの発生を抑制しつつ、良好なグラデーション表現を可能にしている。また、圧縮方式の切替は、圧縮処理の単位毎に行っており、画像に対応したきめ細かな圧縮制御を行うことができ、データ量を削減しながら十分な画質を維持することが可能である。また、圧縮映像信号に圧縮方式を示すフラグを挿入していることから、圧縮方式を予め決めておく必要が無く、絵柄に応じた最適な圧縮方式を選択し、且つその圧縮方式に対応した解凍処理によって、元の画像を復元することができる。
【００６７】
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６８】
１６…圧縮解凍処理部、１７…圧縮処理部、１８…解凍処理部、１９…画像メモリ、２０…画像処理部。
【技術分野】
【０００１】
本発明の実施の形態は、画像圧縮回路、画像圧縮解凍回路及び圧縮方法に関する。
【背景技術】
【０００２】
従来、テレビジョン受信機においては、種々の映像入力に対応するものがある。例えば、テレビジョン受信機は、Ｄ端子（Ｄ１〜Ｄ５端子）、コンポーネント端子、Ｓ端子、ＲＣＡ端子、コンポジット映像信号端子及びＨＤＭＩ（High-Definition Multimedia Interface）端子等を備えたものがあり、これらの各端子に入力される種々の映像信号フォーマットの映像信号を処理することができる。
【０００３】
また、テレビジョン受信機は、４：２：０フォーマットや４：２：２の映像信号だけでなく、ＨＤＭＩ端子に入力される４：４：４フォーマットの映像信号やゲーム機からＤ端子を介して入力される４：４：４フォーマットの映像信号も処理可能である。
【０００４】
テレビジョン受信機においては、入力された映像信号に対する処理を行うために、映像信号をメモリに記憶させる。この場合に、メモリ容量の削減、メモリバンド幅の低減等の理由から、入力された４：４：４フォーマットの映像信号に対して色差信号のサブサンプリング処理やビット深度削減処理を行うことがある。
【０００５】
色差信号のサブサンプリング処理やビット深度削減処理は、輝度に比べて色に対する人間の視感度が低いことを利用して、視覚的な劣化を抑制しながら、データ量の削減を可能にするものである。映像信号に対する処理時には、記憶時に圧縮された映像信号を読み出して、アップサンプリング処理及びビット深度拡張処理を行うことで、圧縮前の映像信号を復元する。一般的には、サブサンプリング処理とビット深度削減処理とは、画像毎に切換えていずれか一方が用いられる。
【０００６】
しかしながら、サブサンプリング処理及びビット深度削減処理によって、色にじみや階調割れ等の画質劣化が生じることがあるという問題があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２７０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、画質劣化を抑制しつつ十分にデータ量を削減することができる画像圧縮回路、画像圧縮解凍回路及び圧縮方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様の画像圧縮回路は、非圧縮の映像信号に対して色差信号のサブサンプリング処理を行うサブサンプリング処理部と、前記非圧縮の映像信号に対して少なくとも色差信号のビット深度削減処理を行うビット深度削減処理部と、前記非圧縮の映像信号の色差信号の空間周波数が所定の閾値を超えているか否かを判定する空間周波数判定部と、前記空間周波数判定部の判定結果に基づいて、前記サブサンプリング処理及びビット深度削減処理の一方を選択して前記非圧縮の映像信号を圧縮させて圧縮映像信号を出力する選択処理部とを具備する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像圧縮解凍回路を示すブロック図。
【図２】色差サブサンプリング処理を示す説明図。
【図３】ビット深度削減処理を示す説明図。
【図４】圧縮処理による影響を説明するための説明図。
【図５】図１中の圧縮処理部１７の具体的な構成を示すブロック図。
【図６】図１中の解凍処理部１８の具体的な構成を示すブロック図。
【図７】圧縮処理を示すフローチャート。
【図８】解凍処理を示すフローチャート。
【図９】圧縮処理及び解凍処理によって生成される画像を説明するための説明図。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の一実施形態に係る画像圧縮解凍回路を示すブロック図である。本実施の形態はデジタルテレビジョン受信機に採用される例について説明するが、画像信号のメモリへの記憶又は画像信号に対する画像処理を行う全ての画像処理装置に適用可能である。
【００１２】
先ず、図２乃至図４の説明図を参照して本実施の形態における圧縮処理について説明する。図２は色差サブサンプリング処理及びアップサンプリング処理を示す説明図であり、図３はビット深度削減処理及びビット深度拡張処理を示す説明図である。
【００１３】
図２（ａ）はソース画像の隣接する２画素の構成を示している。ソース画像の１画素のデータは輝度信号Ｙと色差信号Ｕ，Ｖによって構成される。図２（ａ）では、１画素目が輝度信号Ｙ０、色差信号Ｕ０，Ｖ０によって構成され、２画素目が輝度信号Ｙ１、色差信号Ｕ１，Ｖ１によって構成される例を示している。図２（ａ）は４：４：４フォーマットの画像を示している。
【００１４】
色差サブサンプリング処理では、色差信号Ｕ，Ｖをサブサンプリングする。例えば、水平方向に輝度信号の１／２のサブサンプリングを行うことにより、例えば図２（ｂ）に示す４：２：２フォーマットの画像が得られる。例えば、輝度信号Ｙ、色差信号Ｕ，Ｖのビット数がいずれも１０ビットであるものとすると、４：４：４フォーマットの画像の２画素分のビット数が６０ビットであるのに対し、４：２：２フォーマットの画像の２画素分のビット数を４０ビットに低減することができる。
【００１５】
色差アップサンプリング処理では、サブサンプリングした色差信号をアップサンプリングして、元の４：４：４フォーマットの画像に戻す。図２（ｃ）はアップサンプリングにより得られる２画素分の信号を示している。
【００１６】
図３（ａ）はソース画像の１画素の色差信号のビット構成を示している。なお、ソース画像の信号Ｙ，Ｕ，Ｖはいずれも同一ビット数で構成され、図３（ａ）の例は各信号のビット数が１０ビットの例を示している。ビット深度削減処理では、輝度信号及び色差信号について、ビット深度を削減する。例えば、輝度信号及び色差信号の１０ビットのうちの下位５ビットを削減する。図３（ｂ）はビット深度削減処理後のビット構成を示している。
【００１７】
ビット深度拡張処理では、ビット深度削減した輝度信号及び色差信号を拡張して元の１０ビットに戻す。図３（ｃ）の例では、ビット深度拡張によって、下位５ビットに上位５ビットと同じ値を設定することを示している。
【００１８】
図４は圧縮処理による影響を説明するための説明図である。図４（ａ）はカラーのソース画像を示し、図４（ｂ），（ｃ）は色差サブサンプリング処理による影響を示し、図４（ｄ）はビット深度削減処理による影響を示し、図４（ｅ）は本実施の形態における圧縮処理を示している。
【００１９】
図４（ａ）のソース画像は上側には色が水平方向に滑らかに変化する画像と、下側に異なる色の縦線が交互に現れる画像とによって構成されている。図４（ｂ）は図４（ａ）のソース画像に対して色差サブサンプリング処理による圧縮を行った後アップサンプリング処理によって元に戻した画像を示している。図４（ｃ）は図４（ｂ）の一部を拡大して示している。図４（ｃ）に示すように、境界部分Ｎ１，Ｎ２（斜線部）では元の２色以外の色が現れて、色にじみが生じている。
【００２０】
図４（ｄ）は図４（ａ）のソース画像に対してビット深度削減処理による圧縮を行った後ビット深度拡張処理によって元に戻した画像を示している。図４（ｄ）に示すように、上側の画像は明るさの変化が滑らかでなく、段階的に変化しており、階調割れが生じていることが分かる。
【００２１】
色差サブサンプリング処理において水平方向のサブサンプリングを行った場合には、アップサンプリング処理後の画像は、図２（ｃ）に示すように、２画素に渡り同一の色差信号になってしまうことから、水平方向の色が変化する部分で色にじみが生じる。一方、サブサンプリング処理を行っても、色差信号のビット数は変化しないことから、再現できる色数に変化はない。このため、色差アップサンプリング処理後の上側の画像については、滑らかなグラデーションが得られている。つまり、色差サブサンプリング処理を行った場合でも、色が滑らかに変化するグラデーションを十分に表現することが可能である。
【００２２】
一方、ビット深度削減処理を行うと、下位ビット分が削除されるので、変化が滑らかでなくなり、グラデーションは段階的となり階調割れが生じる。しかし、各画素の色差信号は、ソース画像の色差信号の情報を含んでおり、色の変化は１画素毎であるので、色の境界においても色にじみは生じない。即ち、ビット深度削減処理を行った場合でも、色にじみが生じることなく色の境界を表現することができる。
【００２３】
そこで、本実施の形態においては、異なる色の縦線が交互に現れる画像のように、水平方向の空間周波数が比較的高い絵柄部分については、ビット深度削減処理による圧縮を行い、水平方向の空間周波数が比較的低い絵柄部分については、色差サブサンプリング処理による圧縮を行うことで、圧縮に伴う画像劣化を抑制するようになっている。
【００２４】
図４（ｅ）はこのように水平方向の空間周波数が比較的高いか低いかによって圧縮方法を切換えて圧縮した画像を、元の画像に復元した場合の画像を示している。図４（ｅ）の画像は、図４（ａ）に示すソース画像と同様に、上側の画像部分のグラデーションは滑らかであり、下側の画像部分には色にじみが生じていない。
【００２５】
（回路構成）
デジタルテレビジョン用のＳｏＣ（システムオンチップ）１１には、ＨＤＭＩ端子Ｉ１及びＤ端子Ｉ２が設けられている。ＨＤＭＩ端子Ｉ１には、例えばデジタルビデオレコーダ等からのデジタル映像信号が入力され、Ｄ端子Ｉ２にはゲーム機等からアナログ映像信号が入力される。これらの映像信号としては４：４：４フォーマットの映像信号を採用可能である。ＨＤＭＩレシーバ１２はＨＤＭＩ端子Ｉ１を介して入力された映像信号を受信して切換器１５に出力する。Ｄ端子Ｉ２を介して入力された映像信号はＡ／Ｄ変換器１３に与えられる。Ａ／Ｄ変換器１３は入力された映像信号をデジタル映像信号に変換して切換器１５に出力する。ＣＰＵ１４は、ＳｏＣ１１の各部を制御すると共に、ＣＰＵ１４において発生した４：４：４フォーマットの映像信号を切換器１５に出力する。
【００２６】
切換器１５は、ＨＤＭＩレシーバ１２、Ａ／Ｄ変換器１３及びＣＰＵ１４から入力された映像信号を選択して、圧縮解凍処理部１６に供給する。圧縮解凍処理部１６は、圧縮処理されていない映像信号を画像処理部２０に供給すると共に図示しない表示部に出力することができる。画像処理部２０は入力された映像信号に対して所定の画像信号処理を施して圧縮解凍処理部１６に出力する。
【００２７】
圧縮解凍処理部１６は、圧縮処理部１７及び解凍処理部１８を有しており、圧縮処理されていない映像信号（非圧縮映像信号）を圧縮処理することができると共に、圧縮処理された映像信号（圧縮映像信号）を解凍処理することができる。圧縮処理部１７は、画像メモリ１９に対して圧縮映像信号を出力し、解凍処理部１８は画像メモリ１９から圧縮映像信号を読み出して解凍処理することができる。画像メモリ１９は圧縮解凍処理部１６から供給された圧縮映像信号を記憶することができる。
【００２８】
図５は図１中の圧縮処理部１７の具体的な構成を示すブロック図であり、図６は図１中の解凍処理部１８の具体的な構成を示すブロック図である。
【００２９】
圧縮処理部１７には、切換器１５からの映像信号又は画像処理部２０からの映像信号が入力される。これらの映像信号は、例えば、４：４：４フォーマットの非圧縮映像信号である。圧縮処理部１７の色差信号サブサンプリング処理部２２は、入力された映像信号の色差信号をサブサンプリング処理して出力する。例えば、色差信号サブサンプリング処理部２２は、色差信号に対して水平方向に輝度信号の１／２のサブサンプリングを行うことにより、入力された４：４：４フォーマットの映像信号を４：２：２フォーマットの映像信号に変換する。なお、色差信号サブサンプリング処理部２２は、色差信号に対して水平方向に輝度信号の１／４のサブサンプリングを行うことにより、入力された４：４：４フォーマットの映像信号を４：１：１フォーマットの映像信号に変換してもよい。
【００３０】
輝度・色差信号ビット深度削減処理部２３は、入力された輝度信号及び色差信号のビット深度を削減して出力する。なお、輝度・色差信号ビット深度削減処理部２３は、色差信号のみについてビット深度削減処理を行ってもよい。
【００３１】
本実施の形態においては、４：４：４フォーマットの非圧縮映像信号は、色差信号周波数帯域判定部２１に供給される。色差信号周波数帯域判定部２１は、入力された映像信号の色差信号について、水平空間周波数が所定の閾値よりも高いか否かを判定し、判定結果を選択信号として出力する。例えば、色差信号周波数帯域判定部２１は、ハイパスフィルタによって構成することができ、ハイパスフィルタによって所定の水平空間周波数以上の周波数帯域の信号を検出して、検出結果を閾値と比較することで、ハイレベル又はローレベルの選択信号を出力する。
【００３２】
例えば、色差信号周波数帯域判定部２１は１画素毎に色差信号の水平方向の空間周波数が所定の閾値よりも高いか否かの判定結果を求めて選択信号として選択・フラグ付加処理部２４に出力するようになっている。
【００３３】
選択・フラグ付加処理部２４には、色差信号サブサンプリング処理部２２からの圧縮映像信号及び輝度・色差信号ビット深度削減処理部２３からの圧縮映像信号が入力される。選択・フラグ付加処理部２４は、色差信号周波数帯域判定部２１からの選択信号に基づいて、入力される２つの圧縮映像信号の一方を選択して圧縮映像信号を出力すると共に、選択結果を示すフラグを圧縮映像信号に付加する。
【００３４】
選択・フラグ付加処理部２４は、色差信号の水平方向空間周波数が所定の閾値以下であることを示す選択信号が入力されると、色差信号サブサンプリング処理部２２からの圧縮映像信号を選択して出力すると共に、その選択結果を示すフラグを付加する。また、選択・フラグ付加処理部２４は、色差信号の水平方向空間周波数が所定の閾値よりも高いことを示す選択信号が入力されると、輝度・色差信号ビット深度削減処理部２３からの圧縮映像信号を選択して出力すると共に、その選択結果を示すフラグを付加する。
【００３５】
選択・フラグ付加処理部２４は、圧縮映像信号の圧縮の単位（サブサンプリングの処理単位）に対応した画素数毎に選択を行って、選択した圧縮映像信号を画像メモリ１９に出力する。例えば、選択・フラグ付加処理部２４は、色差信号サブサンプリング処理部２２によって４：２：２の圧縮映像信号が生成された場合には、２画素単位で選択を行い、色差信号サブサンプリング処理部２２によって４：１：１の圧縮映像信号が生成された場合には、４画素単位で選択を行う。
【００３６】
なお、色差信号周波数帯域判定部２１は、サブサンプリング処理の処理単位で空間周波数の判定を行ってもよく、また、所定の画素領域毎、或いは１フレーム毎に、空間周波数の判定を行ってもよい。また、選択・フラグ付加処理部２４は、色差信号周波数帯域判定部２１の判定単位でサブサンプリング処理とビット深度削減処理との選択を行うようにしてもよい。
【００３７】
このように本実施の形態においては、１画面の画像中にサブサンプリング処理による圧縮画像部分とビット深度削減処理による圧縮画像部分とが混在するが、便宜上、圧縮処理部１７からの圧縮映像信号は４：２：２フォーマット又は４：１：１フォーマットの映像信号として説明する。
【００３８】
図６において、解凍処理部１８には、画像メモリ１９からの圧縮映像信号が入力される。この映像信号は、例えば、４：２：２フォーマットの圧縮映像信号である。解凍処理部１８の色差信号アップサンプリング処理部３２は、入力された映像信号の色差信号をアップサンプリング処理して出力する。例えば、色差信号アップサンプリング処理部３２は、色差信号に対して水平方向に２倍のアップサンプリングを行うことにより、入力された４：２：２フォーマットの映像信号を４：４：４フォーマットの映像信号に変換する。また、色差信号アップサンプリング処理部３２は、４：１：１フォーマットの映像信号が入力された場合には、色差信号に対して水平方向に４倍のアップサンプリング処理を行って４：４：４フォーマットの映像信号を得る。
【００３９】
輝度・色差信号ビット深度拡張処理部３３は、入力された輝度信号及び色差信号のビット深度を拡張して出力する。例えば、輝度・色差信号ビット深度拡張処理部３３は、輝度・色差信号ビット深度削減処理部２３によるビット深度削減処理に対応したビット深度拡張処理を行うことで、輝度信号及び色差信号のビット深度を圧縮前の元のビット深度に戻す。
【００４０】
本実施の形態においては、４：２：２フォーマット又は４：１：１フォーマットの圧縮映像信号は、フラグ判定部３１に供給される。フラグ判定部３１は、入力された映像信号からフラグを検出して、検出したフラグによって、色差信号サブサンプリング処理による圧縮処理が行われているかビット深度削減処理による圧縮処理が行われているかを判定し、判定結果を選択信号として選択処理部３４に出力する。フラグは、例えば圧縮処理単位毎に挿入されており、フラグ判定部３１は、フラグを検出して圧縮処理単位毎に選択信号を出力する。
【００４１】
選択処理部３４には、色差信号アップサンプリング処理部３２からの非圧縮映像信号及び輝度・色差信号ビット深度拡張処理部３３からの非圧縮映像信号が入力される。選択処理部３４は、フラグ判定部３１からの選択信号に基づいて、入力される２つの非圧縮映像信号の一方を選択して出力する。即ち、選択処理部３４は、フラグによって、色差信号サブサンプリング処理が行われたことが示された画像部分については、色差信号アップサンプリング処理部３２の出力を選択し、輝度・色差信号ビット深度削減処理が行われたことが示された画像部分については、輝度・色差信号ビット深度削減処理処理部３３の出力を選択する。
【００４２】
こうして、選択処理部３４からは、圧縮処理に応じて解凍処理が行われた非圧縮映像信号が出力される。選択処理部３４は選択した非圧縮映像信号を画像処理部２０や表示部に出力する。
【００４３】
次に、このように構成された実施の形態の動作について図７乃至図９を参照して説明する。図７は圧縮処理を示すフローチャートであり、図８は解凍処理を示すフローチャートである。また、図９は圧縮処理及び解凍処理によって生成される画像を説明するための説明図である。
【００４４】
いま、切換器１５を介して入力された映像信号又は画像処理部２０によって画像処理された映像信号を画像メモリ１９に記憶させるものとする。この場合には、圧縮解凍処理部１６は、これらの４：４：４フォーマットの非圧縮映像信号を圧縮処理して画像メモリ１９に書き込む。
【００４５】
いま、非圧縮映像信号が図９（ａ）に示すデータ配列を有するものとする。１画素は１０ビットの輝度信号Ｙと各１０ビットずつの色差信号Ｕ，Ｖによって構成されており、図９（ａ）では隣接する４画素の輝度信号及び色差信号が配列されていることを示している。即ち、１画素目は、輝度信号Ｙ０及び色差信号Ｕ０，Ｖ０によって構成され、２画素目は、輝度信号Ｙ１及び色差信号Ｕ１，Ｖ１によって構成され、３画素目は、輝度信号Ｙ２及び色差信号Ｕ２，Ｖ２によって構成され、４画素目は、輝度信号Ｙ３及び色差信号Ｕ３，Ｖ３によって構成されている。
【００４６】
非圧縮映像信号は圧縮処理部１７の色差信号周波数帯域判定部２１に入力される。色差信号周波数帯域判定部２１は、画素毎に色差信号の水平空間周波数を検出する（ステップＳ１）。色差信号周波数帯域判定部２１は、検出した水平空間周波数が所定の閾値以下であるか否かを判定する（ステップＳ２）。例えば、図９（ａ）に示す１画素目において色差信号の水平空間周波数が閾値以下と判定された場合には、色差信号周波数帯域判定部２１は、色差信号サブサンプリング処理を選択するための選択信号を選択・フラグ付加処理部２４に出力する。
【００４７】
一方、非圧縮映像信号は圧縮処理部１７の色差信号サブサンプリング処理部２２及び輝度・色差信号ビット深度削減処理部２３にも与えられており、色差信号サブサンプリング処理部２２は、入力された４：４：４フォーマットの映像信号を水平方向にサブサンプリング処理する（ステップＳ３）。例えば、図９（ｂ）に示すように、色差信号サブサンプリング処理部２２は、色差信号を水平方向に輝度信号の１／２にサブサンプリングする。
【００４８】
これにより、圧縮映像信号の１画素目は、１０ビットの輝度信号Ｙ０及び色差信号Ｕ０によって構成され、２画素目は、１０ビットの輝度信号Ｙ１及び色差信号Ｖ０によって構成される。
【００４９】
選択・フラグ付加処理部２４は、これらの輝度信号及び色差信号を画素順Ｙ０，Ｕ０，Ｙ１，Ｖ０で配列すると共に、圧縮方式としてサブサンプリング処理が行われたことを示す１ビットフラグｆ０を付加する（ステップＳ５）。
【００５０】
次に、色差信号周波数帯域判定部２１によって、３画素目の水平空間周波数が所定の閾値よりも高いものと判定されるものとする。この場合には、色差信号周波数帯域判定部２１は、ビット深度削減処理を選択するための選択信号を選択・フラグ付加処理部２４に出力する。
【００５１】
輝度・色差信号ビット深度削減処理部２３は、入力された４：４：４フォーマットの映像信号に対してビット深度の削減処理を行う（ステップＳ４）。例えば、図９（ｂ）に示すように、輝度・色差信号ビット深度削減処理部２３は、色差信号Ｕ，Ｖについてビット数を１／２に削減する。
【００５２】
これにより、圧縮映像信号の３画素目は、１０ビットの輝度信号Ｙ２と各５ビットの色差信号Ｕ２，Ｖ２によって構成され、４画素目は、１０ビットの輝度信号Ｙ３と各５ビットの色差信号Ｕ３，Ｖ３によって構成される。
【００５３】
選択・フラグ付加処理部２４は、これらの輝度信号及び色差信号を画素順Ｙ２，Ｕ２，Ｖ２，Ｙ３，Ｕ３，Ｖ３で配列すると共に、圧縮方式としてビット深度削減処理が行われたことを示す１ビットフラグｆ２を付加する（ステップＳ５）。
【００５４】
こうして、図９（ａ）に示す４：４：４フォーマットの非圧縮映像信号は、例えば図９（ｂ）に示す４：２：２フォーマットの圧縮映像信号に変換された後、画像メモリ１９に供給されて記憶される。
【００５５】
次に、画像メモリ１９に記憶されている圧縮映像信号を表示のため又は画像処理のために読み出すものとする。この場合には、解凍処理部１８は、記憶されている４：２：２フォーマットの非圧縮映像信号を解凍処理して、元の４：４：４フォーマットの映像信号に戻す。
【００５６】
いま、図９（ｂ）に示すデータ配列の圧縮映像信号を図９（ｃ）に示す４：４：４フォーマットの非圧縮映像信号に戻すものとする。圧縮映像信号は解凍処理部１８のフラグ判定部３１に入力される。フラグ判定部３１は、圧縮映像信号の配列中のフラグを検出する（ステップＳ１１）。フラグ判定部３１は、フラグの検出結果により、圧縮映像信号の２画素毎の圧縮処理がサブサンプリング処理であるかビット深度削減処理であるかを判定し、判定結果に基づく選択信号を選択処理部３４に出力する（ステップＳ１２）。
【００５７】
例えば、図９（ｂ）に示す１，２画素目においては、フラグｆ０によって色差信号サブサンプリング処理が行われていることが示されており、フラグ判定部３１は、色差信号アップサンプリング処理を選択するための選択信号を選択処理部３４に出力する。
【００５８】
圧縮映像信号は、解凍処理部１８の色差信号アップサンプリング処理部３２及び輝度・色差信号ビット深度拡張処理部３３にも与えられており、色差信号アップサンプリング処理部３２は、入力された４：２：２フォーマットの映像信号を水平方向にアップサンプリング処理する（ステップＳ１３）。例えば、図９（ｂ），（ｃ）に示すように、色差信号アップサンプリング処理部３２は、色差信号を水平方向に２倍にアップサンプリングする。
【００５９】
これにより、非圧縮映像信号の１画素目は、１０ビットの輝度信号Ｙ０及び各１０ビットの色差信号Ｕ０，Ｖ０によって構成され、２画素目は、１０ビットの輝度信号Ｙ１及び各１０ビットの色差信号Ｕ０，Ｖ０によって構成される。選択処理部３４は、これらの輝度信号及び色差信号を画素順Ｙ０，Ｕ０，Ｖ０，Ｙ１，Ｕ０，Ｖ０で配列して出力する（ステップＳ１５）。なお、２画素目については、アップサンプリング処理時に他の画素値を用いたフィルタ処理を行うことで、Ｙ１，Ｕ１’，Ｖ１’を得ることも可能である。
【００６０】
１，２画素目の画素については、色差信号サブサンプリング処理が行われているが、１，２画素目の水平方向の空間周波数は比較的低いことから、図４（ｅ）に示すように、色にじみは発生しにくく、明るさの変化に伴うグラデーションを良好に再現することができる。
【００６１】
次に、フラグ判定部３１によって、３，４画素目の圧縮処理がビット深度削減処理であることが検出されるものとする。この場合には、フラグ判定部３１は、ビット深度拡張処理を選択するための選択信号を選択処理部３４に出力する。
【００６２】
輝度・色差信号ビット深度拡張処理部３３は、入力された圧縮映像信号に対してビット深度の拡張処理を行っている（ステップＳ１４）。例えば、図９（ｂ），（ｃ）に示すように、輝度・色差信号ビット深度拡張処理部３３は、色差信号Ｕ，Ｖについてビット数を２倍に拡張する。
【００６３】
これにより、非圧縮映像信号の３画素目は、１０ビットの輝度信号Ｙ２と各１０ビットの色差信号Ｕ２，Ｖ２によって構成され、４画素目は、１０ビットの輝度信号Ｙ３と各１０ビットの色差信号Ｕ３，Ｖ３によって構成される。選択処理部３４は、これらの輝度信号及び色差信号を画素順Ｙ２，Ｕ２，Ｖ２，Ｙ３，Ｕ３，Ｖ３で配列して出力する。
【００６４】
こうして、図９（ｂ）に示す４：２：２フォーマットの圧縮映像信号は、例えば図９（ｃ）に示す４：４：４フォーマットの非圧縮映像信号に変換された後、画像処理部２０等に供給される。
【００６５】
３，４画素目の画素については水平方向の空間周波数は比較的高いが、これらの画素には、色差信号のビット削減処理が行われていることから、図４（ｅ）に示すように、明るさに変化に対応した良好なグラデーションを再現可能であると共に、色にじみの発生を抑制することができる。
【００６６】
このように本実施の形態においては、色差信号の水平方向空間周波数を検出し、水平空間周波数が低い領域では、色差信号サブサンプリング処理による圧縮を行い、水平空間周波数が高い領域では、色差信号ビット深度削減処理による圧縮を行う。これにより、復元画像において、色にじみの発生を抑制しつつ、良好なグラデーション表現を可能にしている。また、圧縮方式の切替は、圧縮処理の単位毎に行っており、画像に対応したきめ細かな圧縮制御を行うことができ、データ量を削減しながら十分な画質を維持することが可能である。また、圧縮映像信号に圧縮方式を示すフラグを挿入していることから、圧縮方式を予め決めておく必要が無く、絵柄に応じた最適な圧縮方式を選択し、且つその圧縮方式に対応した解凍処理によって、元の画像を復元することができる。
【００６７】
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６８】
１６…圧縮解凍処理部、１７…圧縮処理部、１８…解凍処理部、１９…画像メモリ、２０…画像処理部。
【特許請求の範囲】
【請求項１】
非圧縮の映像信号に対して色差信号のサブサンプリング処理を行うサブサンプリング処理部と、
前記非圧縮の映像信号に対して少なくとも色差信号のビット深度削減処理を行うビット深度削減処理部と、
前記非圧縮の映像信号の色差信号の空間周波数が所定の閾値を超えているか否かを判定する空間周波数判定部と、
前記空間周波数判定部の判定結果に基づいて、前記サブサンプリング処理及びビット深度削減処理の一方を選択して前記非圧縮の映像信号を圧縮させて圧縮映像信号を出力する選択処理部と
を具備したことを特徴とする画像圧縮回路。
【請求項２】
前記選択処理部から出力される前記圧縮映像信号に前記判定結果の情報を付加する情報付加部
を具備したことを特徴とする請求項１に記載の画像圧縮回路。
【請求項３】
前記空間周波数判定部は、少なくとも前記サブサンプリング処理の処理単位毎に前記空間周波数が所定の閾値を超えているか否かを判定し、
前記選択処理部は、前記サブサンプリング処理の処理単位毎に、前記サブサンプリング処理及びビット深度削減処理の一方を選択して前記非圧縮の映像信号を圧縮する
ことを特徴とする請求項１又は２に記載の画像圧縮回路。
【請求項４】
前記選択処理部は、
前記非圧縮の映像信号が４：４：４フォーマットの映像信号で、前記圧縮映像信号が４：２：２フォーマットの映像信号の場合には、２画素単位で前記選択を行い、
前記非圧縮の映像信号が４：４：４フォーマットの映像信号で、前記圧縮映像信号が４：１：１フォーマットの映像信号の場合には、４画素単位で前記選択を行う
ことを特徴とする請求項３に記載の画像圧縮回路。
【請求項５】
前記非圧縮の映像信号は、４：４：４フォーマットの映像信号であり、
前記圧縮映像信号は、４：２：２フォーマット又は４：１：１フォーマットの映像信号であり、
前記空間周波数判定部は、前記非圧縮の映像信号の色差信号の水平方向の空間周波数が所定の閾値を超えているか否かを判定する
ことを特徴とする請求項１乃至４のいずれか１つに記載の画像圧縮回路。
【請求項６】
非圧縮の映像信号に対して色差信号のサブサンプリング処理を行うサブサンプリング処理部と、前記非圧縮の映像信号に対して少なくとも色差信号のビット深度削減処理を行うビット深度削減処理部と、前記非圧縮の映像信号の色差信号の空間周波数が所定の閾値を超えているか否かを判定する空間周波数判定部と、前記空間周波数判定部の判定結果に基づいて、前記サブサンプリング処理及びビット深度削減処理の一方を選択して前記非圧縮の映像信号を圧縮させて圧縮映像信号を出力する選択処理部と、前記選択処理部から出力される前記圧縮映像信号に前記判定結果の情報を付加する情報付加部とを備えた画像圧縮処理部と、
前記圧縮映像信号を記憶する画像メモリと、
前記画像メモリから読み出した前記圧縮映像信号に対して色差信号のアップサンプリング処理を行うアップサンプリング処理部と、前記画像メモリから読み出した前記圧縮映像信号に対して色差信号のビット深度拡張処理を行うビット深度拡張処理部と、前記画像メモリから読み出した前記圧縮映像信号に付加されている前記判定結果の情報に基づいて前記アップサンプリング処理部の出力と前記ビット深度拡張処理部の出力とを選択して圧縮前の映像信号を出力する選択出力部とを備えた画像解凍処理部と
を具備したことを特徴とする画像圧縮解凍回路。
【請求項７】
非圧縮の映像信号の色差信号の空間周波数が所定の閾値を超えているか否かを判定して判定結果を得、
前記判定結果に基づいて、前記非圧縮の映像信号に対して色差信号のサブサンプリング処理を行うか又は前記非圧縮の映像信号に対して少なくとも色差信号のビット深度削減処理を行って、前記非圧縮の映像信号を圧縮した圧縮映像信号を出力する
ことを特徴とする画像圧縮方法。
【請求項１】
非圧縮の映像信号に対して色差信号のサブサンプリング処理を行うサブサンプリング処理部と、
前記非圧縮の映像信号に対して少なくとも色差信号のビット深度削減処理を行うビット深度削減処理部と、
前記非圧縮の映像信号の色差信号の空間周波数が所定の閾値を超えているか否かを判定する空間周波数判定部と、
前記空間周波数判定部の判定結果に基づいて、前記サブサンプリング処理及びビット深度削減処理の一方を選択して前記非圧縮の映像信号を圧縮させて圧縮映像信号を出力する選択処理部と
を具備したことを特徴とする画像圧縮回路。
【請求項２】
前記選択処理部から出力される前記圧縮映像信号に前記判定結果の情報を付加する情報付加部
を具備したことを特徴とする請求項１に記載の画像圧縮回路。
【請求項３】
前記空間周波数判定部は、少なくとも前記サブサンプリング処理の処理単位毎に前記空間周波数が所定の閾値を超えているか否かを判定し、
前記選択処理部は、前記サブサンプリング処理の処理単位毎に、前記サブサンプリング処理及びビット深度削減処理の一方を選択して前記非圧縮の映像信号を圧縮する
ことを特徴とする請求項１又は２に記載の画像圧縮回路。
【請求項４】
前記選択処理部は、
前記非圧縮の映像信号が４：４：４フォーマットの映像信号で、前記圧縮映像信号が４：２：２フォーマットの映像信号の場合には、２画素単位で前記選択を行い、
前記非圧縮の映像信号が４：４：４フォーマットの映像信号で、前記圧縮映像信号が４：１：１フォーマットの映像信号の場合には、４画素単位で前記選択を行う
ことを特徴とする請求項３に記載の画像圧縮回路。
【請求項５】
前記非圧縮の映像信号は、４：４：４フォーマットの映像信号であり、
前記圧縮映像信号は、４：２：２フォーマット又は４：１：１フォーマットの映像信号であり、
前記空間周波数判定部は、前記非圧縮の映像信号の色差信号の水平方向の空間周波数が所定の閾値を超えているか否かを判定する
ことを特徴とする請求項１乃至４のいずれか１つに記載の画像圧縮回路。
【請求項６】
非圧縮の映像信号に対して色差信号のサブサンプリング処理を行うサブサンプリング処理部と、前記非圧縮の映像信号に対して少なくとも色差信号のビット深度削減処理を行うビット深度削減処理部と、前記非圧縮の映像信号の色差信号の空間周波数が所定の閾値を超えているか否かを判定する空間周波数判定部と、前記空間周波数判定部の判定結果に基づいて、前記サブサンプリング処理及びビット深度削減処理の一方を選択して前記非圧縮の映像信号を圧縮させて圧縮映像信号を出力する選択処理部と、前記選択処理部から出力される前記圧縮映像信号に前記判定結果の情報を付加する情報付加部とを備えた画像圧縮処理部と、
前記圧縮映像信号を記憶する画像メモリと、
前記画像メモリから読み出した前記圧縮映像信号に対して色差信号のアップサンプリング処理を行うアップサンプリング処理部と、前記画像メモリから読み出した前記圧縮映像信号に対して色差信号のビット深度拡張処理を行うビット深度拡張処理部と、前記画像メモリから読み出した前記圧縮映像信号に付加されている前記判定結果の情報に基づいて前記アップサンプリング処理部の出力と前記ビット深度拡張処理部の出力とを選択して圧縮前の映像信号を出力する選択出力部とを備えた画像解凍処理部と
を具備したことを特徴とする画像圧縮解凍回路。
【請求項７】
非圧縮の映像信号の色差信号の空間周波数が所定の閾値を超えているか否かを判定して判定結果を得、
前記判定結果に基づいて、前記非圧縮の映像信号に対して色差信号のサブサンプリング処理を行うか又は前記非圧縮の映像信号に対して少なくとも色差信号のビット深度削減処理を行って、前記非圧縮の映像信号を圧縮した圧縮映像信号を出力する
ことを特徴とする画像圧縮方法。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図４】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図４】
【公開番号】特開２０１３−２１５６３（Ｐ２０１３−２１５６３Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５４１９４（Ｐ２０１１−１５４１９４）
【出願日】平成２３年７月１２日（２０１１．７．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１２日（２０１１．７．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]