画像符号化装置および画像符号化方法
【課題】暗部の色ノイズを効果的に抑制しながらもブロックノイズの発生を極力避けることが可能な画像符号化装置を提供する。
【解決手段】本発明に係る画像符号化装置は、画像データを符号化する画像符号化装置であって、前記画像データを出力する撮像手段と、前記撮像手段への入射光量が所定量より少ないか否かを判定する光量判定手段と、前記撮像手段への入射光量が所定量より少ないと判定された場合、前記画像データの色差成分である色差データについての量子化幅が所定の量子化幅より大きくなるように、前記色差データについての量子化幅を調整する色差量子化幅調整手段と、前記符号化の一部として、調整された前記量子化幅を用いて前記色差データを量子化することによって前記画像データを符号化する色差量子化手段とを備える。
【解決手段】本発明に係る画像符号化装置は、画像データを符号化する画像符号化装置であって、前記画像データを出力する撮像手段と、前記撮像手段への入射光量が所定量より少ないか否かを判定する光量判定手段と、前記撮像手段への入射光量が所定量より少ないと判定された場合、前記画像データの色差成分である色差データについての量子化幅が所定の量子化幅より大きくなるように、前記色差データについての量子化幅を調整する色差量子化幅調整手段と、前記符号化の一部として、調整された前記量子化幅を用いて前記色差データを量子化することによって前記画像データを符号化する色差量子化手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを符号化する画像符号化装置および画像符号化方法に関し、特に、暗部の色ノイズを効果的に抑制する画像符号化装置および画像符号化方法に関する。
【背景技術】
【０００２】
ＣＣＤ（ Ｃ ｈ ａ ｒ ｇ ｅ Ｃ ｏ ｕ ｐ ｌ ｅ ｄ Ｄ ｅ ｖ ｉ ｃ ｅ ｓ ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を備えたデジタルビデオカメラやデジタルスチルカメラなどによって夜景や暗い室内を撮影する場合、通常は撮像素子への入射光量が少ないため、受光感度を上げようと光増幅処理が機能する。しかし、光増幅処理が機能すると本来の撮像対象の光成分以外にランダムな光ノイズまで増幅してしまう。特に、暗くて輝度レベルの低い領域では、本来存在しないはずの点状の色ノイズが発生しやすく視覚的に目立った画質劣化となる。
【０００３】
このような低照度の環境下の撮影で発生した暗部ノイズを抑制し、画像を符号化する装置が提案されている。例えば、撮像側における符号化前の信号処理として、カメラの絞り値や利得値をもとに、入力された画像信号の周波数特性やガンマ特性を制御し、入力された画像の情報量を低減することでノイズを抑制する装置がある（例えば、特許文献１）。
【０００４】
また、符号化側におけるノイズ抑制処理として、周波数分解された入力画像の周波数変換係数（特に色差成分の高域変換係数）を撮像感度などの撮像条件に基づいて低減することでノイズを抑制する装置がある（例えば、特許文献２）。
【０００５】
また、マクロブロックといったブロック単位で画像を符号化する装置の中には、マクロブロック単位で入力された画像の特性（例えば画像のノイズ情報）に基づいて、そのブロックの空間特性に合わせた複数の量子化マトリックスからノイズを抑制する最適な量子化マトリックスを選択し、選択した量子化マトリックスを用いて画像を符号化する装置もある（例えば、特許文献３）。
【特許文献１】特開２００５−２６０６４０号公報
【特許文献２】特開２００２−３１４９９９号公報
【特許文献３】特開２００６−１０９４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前記特許文献１に開示される従来技術によると、カメラの絞り値や利得値を撮像条件として有効に使い、入力される画像情報量を符号化前に事前に低減することでノイズを抑制することができる。しかしながら、符号化前にノイズ抑制処理を施すと、ノイズだけでなく本来の入力画像成分の情報も抑制してしまい、画像の精細度が低下してしまう。また、符号化用の信号処理回路の前段にノイズ抑制用の信号処理回路を設ける必要が生じる。
【０００７】
他方、前記特許文献２または特許文献３に開示される従来技術によると、符号化前にノイズ抑制処理を施すことなく符号化側で入力画像のノイズを低減することができる。しかしながら、変換係数削減の程度や量子化マトリックスの選択によっては新たなノイズが発生するという課題がある。例えば、入力された画像信号に非常に多くのノイズが重畳されている場合、量子化制御のみでノイズを抑制しようとすると、画像データの変換係数の多くを削除するか、量子化幅が非常に大きくなる量子化マトリックスを優先的に選択することになる。しかしながら、ブロック単位で符号化する画像符号化方式（例えば、ＪＰＥＧ、ＭＰＥＧ−２やＭＰＥＧ−４など）では、あまり圧縮率を高くするとブロック単位で輝度や色情報が均一化されてしまい、タイル状のブロックノイズが発生してしまう。
【０００８】
本発明は、前記の問題を解決するものであって、暗部の色ノイズを効果的に抑制しながらもブロックノイズの発生を極力避けることが可能な画像符号化装置および画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、本発明に係る画像符号化装置は、画像データを符号化する画像符号化装置であって、前記画像データを出力する撮像手段と、前記撮像手段への入射光量が所定量より少ないか否かを判定する光量判定手段と、前記撮像手段への入射光量が所定量より少ないと判定された場合、前記画像データの色差成分である色差データについての量子化幅が所定の量子化幅より大きくなるように、前記色差データについての量子化幅を調整する色差量子化幅調整手段と、前記符号化の一部として、調整された前記量子化幅を用いて前記色差データを量子化することによって前記画像データを符号化する色差量子化手段とを備える。これによって、撮像手段への入射光量が所定量より少ないと判定された場合のみ輝度データと独立して色差データについての量子化幅が大きくなるように調整されるので、過度に量子化幅が大きくなることを避けることができる結果、暗部の色ノイズを効果的に抑制しながらもブロックノイズの発生を極力避けることが可能となる。
【００１０】
ここで、前記画像符号化装置は、さらに、前記色差データについての量子化幅が調整された場合、前記色差データについてのデブロックフィルタ強度が所定のデブロックフィルタ強度より強くなるように、前記色差データについてのデブロックフィルタ強度を調整する色差デブロック強度調整手段と、前記符号化の一部として、調整された前記デブロックフィルタ強度を用いて前記色差データについてデブロック処理を実行する色差デブロック手段とを備えてもよい。これによって、色差データについての量子化幅が調整された場合は輝度データと独立して色差データについてのデブロックフィルタ強度が強くなるように調整されるので、ブロックノイズを効果的に抑制することが可能となる。
【００１１】
また、前記色差量子化幅調整手段は、高域の周波数成分が低減または削減されるように、前記色差データについての量子化マトリックス値を調整し、前記色差量子化手段は、調整された前記量子化マトリックス値を用いて前記色差データを量子化してもよい。これによって、高域の周波数成分が低減または削減されるように前記色差データについての量子化マトリックス値が調整され、色差データについての量子化幅が大きくなる。
【００１２】
また、前記光量判定手段は、前記入射光量の制御に使用される絞りの値が所定値より小さい場合、あるいはおよび受光した光を増幅する利得の利得増幅値が所定値よりも大きい場合、前記入射光量が所定量より少ないと判定してもよい。これによって、絞りの値が所定値より小さい、あるいはおよび受光した光を増幅する利得の利得増幅値が所定値よりも大きいことを検知するだけで、入射光量が所定量より少ないと判定することが可能となる。
【００１３】
また、前記光量判定手段は、前記入射光量の輝度信号の大きさが所定値より小さい場合、前記入射光量が所定量より少ないと判定してもよい。これによって、輝度信号の大きさが所定値より小さいことを検知するだけで、入射光量が所定量より少ないと判定することが可能となる。
【００１４】
なお、前記色差量子化幅調整手段は、前記画像データの輝度成分である輝度データと連動するときに比べて大きくなるように、前記色差データについての量子化幅を調整してもよい。
【００１５】
なお、前記色差デブロック強度調整手段は、前記輝度データと連動するときに比べて強くなるように、前記色差データについてのデブロックフィルタ強度を調整してもよい。
【００１６】
なお、前記画像符号化装置は、Ｈ．２６４画像符号化方式に準拠していてもよい。
【００１７】
なお、本発明は、このような画像符号化装置として実現することができるだけでなく、このような画像符号化装置が備える特徴的な手段をステップとする画像符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００１８】
以上の説明から明らかなように、本発明に係る画像符号化装置によれば、撮像系で発生した暗部のノイズ、特に色ノイズを符号化側で効果的に抑制することができ、また、このとき符号化側で発生しやすいブロックノイズをも同時に低減することができる。
【００１９】
しかも、本発明に係る画像符号化装置は、輝度データと独立して色差データについての量子化幅を調整することができるので、輝度（輪郭）は保持したいが色ノイズは抑制したいという場合に特に効果的である。すなわち、暗部では輝度の変化によるノイズは目立たないので色ノイズだけを抑制することが効果的な場合があり、このような場合に本発明の実用的価値は極めて高いということができる。
【発明を実施するための最良の形態】
【００２０】
以下に、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００２１】
図１は、本発明の実施の形態における画像符号化装置１の概観図である。
【００２２】
ここでは、ＣＣＤやＣＭＯＳなどの撮像素子を備えたデジタルビデオカメラを例示している。このデジタルビデオカメラによって夜景や暗い室内を撮影する場合は、撮像素子への入射光量が少ないため、受光感度を上げようと光増幅処理が機能するようになっている。撮影された画像は、デジタルビデオカメラと着脱可能な記録部１８にファイル化して記録することができる。
【００２３】
図２は、本発明の実施の形態における画像符号化装置１の構成を示すブロック図である。
【００２４】
この画像符号化装置１は、Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）画像符号化方式に準拠した装置であって、撮像部１１と、光量判定部１２と、量子化・デブロック（ＤＢ）調整部１３と、差分器１４と、離散直交変換部（ＤＣＴ）１５と、量子化部（Ｑ）１６と、可変長符号化部（ＶＬＣ）１７と、記録部１８と、逆量子化部（ＩＱ）１９と、逆離散直交変換部（ＩＤＣＴ）２０と、加算器２１と、デブロック部（ＤＢ）２２と、フレームメモリ２３と、動き予測部２４とを備えている。本発明の特徴的な構成部分は、撮像部１１、光量判定部１２、量子化・デブロック調整部１３、量子化部１６、逆量子化部１９、およびデブロック部２２である。それ以外の構成部分１４から２４は、一般的な画像符号化装置のものと同様である。
【００２５】
まず、一般的な構成部分１４から２４について説明する。
【００２６】
撮像部１１から出力されたデジタル画像信号（以下「画像データ」という）はブロック単位に処理される。例えば、連続するピクチャからなる動画像の各ピクチャは、４：２：０フォーマットのピクチャである場合、図３に示されるように、１個の輝度信号（Ｙ信号３５）と２個の色差信号（Ｃｂ信号３６、Ｃｒ信号３７）とで構成される。色差信号の画像サイズは、縦横とも輝度信号の１／２となる。また、動画像の各ピクチャは、マクロブロックと呼ばれるブロックに分割され、マクロブロック単位で符号化される。マクロブロックは、図４に示されるように、１６×１６画素の１個のＹ信号ブロック４１と、Ｙ信号ブロック４１と空間的に一致する８×８画素のＣｂ信号ブロック４２およびＣｒ信号ブロック４３とで構成される。分割されたマクロブロックは差分器１４に入力される。
【００２７】
ここで、フレーム内予測符号化されたピクチャの画像データは、差分器１４によってここでは図示していないイントラ予測された予測データと差分され離散直交変換部１５に供給され、離散直交変換部１５によって各周波数成分の係数である直交変換係数に分解される。具体的には、離散直交変換部１５は、図５に示されるように、２４個の４×４画素ブロック（５１−０から５１−１５、５２−０から５２−３、５３−０から５３―３）にマクロブロックを分割し、それぞれについて直交変換を行う。分解された直交変換係数は、量子化・デブロック調整部１３によって調整された量子化情報（後述する）に基づいて量子化部１６によって量子化される。量子化された直交変換係数は、可変長符号化部１７によって冗長度が圧縮され、デジタルストリームとして記録部１８に記録される。記録部１８は、光ディスク、メモリカード、ハードディスク、テープなどである。
【００２８】
なお、量子化された直交変換係数は、逆量子化部１９、逆離散直交変換部２０のローカル復号化ループへ供給され、デブロック部２２でデブロック処理されフレームメモリ２３に一旦記録される。フレームメモリ２３に一旦記録されたフレーム内予測画像は動き予測の参照用画像として利用される。なお、図示していないが、Ｈ．２６４符号化におけるフレーム内予測符号化では、直交変換されるブロックサイズ単位でフレーム内の周辺ブロック画素から予測された予測画素とブロック内対象画素との差分データがとられ、イントラ予測の予測データとして差分器１４および加算器２１へ供給される。
【００２９】
一方、フレーム間予測符号化されるピクチャの画像データは、動き予測部２４によって動き補償予測されたピクチャの画像データとの間で差分器１４によって差分される。この差分データは、前記と同様に離散直交変換部１５、量子化部１６、可変長符号化部１７を経て記録部１８に記録される。量子化された差分データは、逆量子化部１９によって逆量子化され、逆離散直交変換部２０によって元の差分データに復号される。復号された差分データは、そのピクチャの動き補償ピクチャデータと加算器２１によって加算され、再生画像データとして出力される。
【００３０】
加算器２１から出力された再生画像データはデブロック部２２に入力される。デブロック部２２は、量子化・デブロック調整部１３によって調整されたデブロック情報（後述する）に基づいてデブロック処理を実行する。デブロック処理が施された再生画像データはフレームメモリ２３へストアされる。
【００３１】
動き予測部２４は、次に符号化すべき対象画像データと符号化済再生画像データをストアしたフレームメモリ２３の再生画像データ（参照画像データ）との間で動き予測（動きベクトルを検出）する。そして、動き予測された参照画像データと対象画像データとの間で差分をとり、動き補償画像データを生成する。
【００３２】
次に、本発明の特徴的な構成部分である撮像部１１、光量判定部１２、量子化・デブロック調整部１３、量子化１６、逆量子化１９、およびデブロック部２２を詳しく説明する。
【００３３】
撮像部１１は、本発明に係る撮像手段の一例であって、具体的には、レンズ、絞り、ＣＣＤまたはＣＭＯＳ等の撮像素子、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）、自動利得制御部、アナログデジタルコンバータ、ホワイトバランス、ガンマ補正などからなる撮像系である。撮像部１１は、入射された光を光電変換して光信号を得、その光信号をデジタルの画像データに変換する。この画像データは、１個の輝度信号と２個の色差信号とで構成されるものとして説明する。輝度信号は画像データの輝度成分であり、以下では「輝度データ」という。色差信号は画像データの色差成分であり、以下では「色差データ」という。本発明は、撮像素子への入射光量を判定し、その判定結果に基づいて量子化処理とデブロック処理を実行する点に特徴がある。撮像素子への入射光量は、前記の光信号、画像データ、または輝度データの大きさに基づいて推定することもできるが、以下に説明するように、絞り値情報または利得値情報に基づいて推定することもできる。
【００３４】
図６は、入射光量と撮像系の絞り値情報および光増幅の利得値との関係を説明するための図である。
【００３５】
絞り値情報とは、光量制御に使用される絞りの値、具体的には、レンズから撮像素子に入射される光量を制御する絞りの値である。この図に示されるように、絞り値が大きいほど撮像素子への入射光量は少なくなり、逆に、絞り値が小さいほど撮像素子への入射光量は多くなる。従って、自動絞り調整を機能させた場合は、明るい場所に比べて暗い場所では入射光量を多くする必要があるため、絞り値は小さく設定される。また、図６は、自動利得制御部の利得値（利得値情報）が大きいほど撮像素子への入射光量が少なくなるため利得を上げて光を増幅していることを示している。撮像部１１は、絞り値情報または利得値情報のように、撮像素子への入射光量を推定する際の判定材料となる情報（以下「光量情報」という）を光量判定部１２に供給する。
【００３６】
光量判定部１２は、本発明に係る光量判定手段の一例であって、撮像部１１から供給された光量情報に基づいて撮像素子への入射光量が所定量（閾値）より少ないか否かを判定する。例えば、絞り値が所定値より小さい場合、利得値が所定値より大きい場合、または絞り値が所定値よりも小さく且つ利得値が所定値よりも大きい場合は、撮像素子への入射光量が所定量より少ないと判定する。入射光量が所定量より少ない場合は、暗い場所で撮影されていて色ノイズが発生しやすい撮影条件であると推定することができる。入射光量の判定基準となる閾値（所定量）は、事前に設定しておく必要がある。すなわち、色ノイズが目立って発生しやすい光量情報を事前に調べておき、その光量情報を判定基準（閾値）として設定しておく。閾値の数は特に限定されるものではない。例えば、色ノイズが発生する確率や色ノイズの大きさによって複数の閾値を設定しておいてもよい。
【００３７】
量子化・デブロック調整部１３は、光量判定部１２の判定結果に基づいて量子化情報および逆量子化情報を調整し、調整した量子化情報および逆量子化情報を量子化部１６および逆量子化部１９に供給する。量子化情報および逆量子化情報（以下、一括して単に「量子化情報」という）とは、例えば輝度および色差に関する量子化パラメータ（ＱＰ）である。この量子化パラメータから量子化ステップ（量子化幅）が導出される。導出された量子化幅によって輝度や色差の直交変換係数が除算されて量子値となる（量子化）。また、逆にこの量子化値に量子化幅を乗算することで直交変換係数に戻す（逆量子化）。また、量子化・デブロック調整部１３は、光量判定部１２の判定結果に基づいてデブロック情報を調整し、調整したデブロック情報をデブロック部２２に供給する。デブロック情報とは、例えばデブロックフィルタの平滑度の強度のオフセット値である。さらに、量子化・デブロック調整部１３は、可変長符号化部１７の符号量を監視し、可変長符号化部１７の符号量が所定の符号量になるように量子化情報を調整する。量子化・デブロック調整部１３によって調整された量子化情報等は、可変長符号化部１７によって冗長度が圧縮され、デジタルストリームとして記録部１８に記録される。
【００３８】
図７は、本発明の実施の形態における量子化・デブロック調整部１３の詳細構成を示すブロック図である。この量子化・デブロック調整部１３は、本発明の核となる構成部分であって、輝度量子化幅調整部３１と、色差量子化幅調整部３２と、輝度デブロック強度調整部３３と、色差デブロック強度調整部３４とからなる。
【００３９】
輝度量子化幅調整部３１は、可変長符号化部１７から符号量情報を得、その符号量情報に基づいて、輝度データについての量子化情報を調整する。具体的には、可変長符号化部１７の符号量が所定の設定符号量に合うように、量子化歪みを最小にする量子化情報を設定する。そして、調整した量子化情報を量子化部１６および逆量子化部１９に供給するとともに、色差量子化幅調整部３２および輝度デブロック強度調整部３３に供給する。
【００４０】
色差量子化幅調整部３２は、光量判定部１２から判定結果を得るとともに、輝度量子化幅調整部３１から量子化情報を得る。そして、光量判定部１２から得た判定結果に基づいて輝度量子化幅調整部３１から得た量子化情報を調整することによって、色差データについての量子化情報を得る。例えば、入射光量が所定量より少ない旨の判定結果を得た場合は、暗い場所で撮影されていて色ノイズが発生しやすい撮影条件であると推定して、通常より粗く量子化されるように量子化情報を調整する。逆に、入射光量が所定量より多い旨の判定結果を得た場合は、明るい場所で撮影されていて色ノイズが発生しにくい撮影条件である（通常の撮影条件である）と推定して、量子化情報は調整しない。色差量子化幅調整部３２から出力された量子化情報は、量子化部１６、逆量子化部１９、色差デブロック強度調整部３４に供給される。
【００４１】
Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）画像符号化方式では、従来の符号化方式（ＭＰＥＧ−２やＭＰＥＧ−４）と異なり、色差データについて量子化制御が可能である。すなわち、従来の符号化方式では、輝度データと独立に色差データについて量子化制御の設定をすることができなかった。Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）画像符号化方式では、輝度データについての量子化情報に連動する（付加する）形式ではあるが、色差量子化パラメータのオフセットとしてある範囲で輝度データと独立に色差データについて量子化制御の設定をすることが可能である。
【００４２】
具体的には、オフセット値Ｃｈｒｏｍａ＿ｑｐ＿ｉｎｄｅｘ＿ｏｆｆｓｅｔとして−１２から＋１２の値を設定することができる。オフセット値Ｃｈｒｏｍａ＿ｑｐ＿ｉｎｄｅｘ＿ｏｆｆｓｅｔとして負の値を設定すれば、結果的に色差データについての量子化幅を小さくすることができる。例えば−６を設定すれば、色差データについての量子化幅を設定前の量子化幅の半分にすることができる。すなわち、量子化部１６は、色差データについての量子化幅を決定する際の量子化マトリックス参照を行うとき、オフセット値Ｃｈｒｏｍａ＿ｑｐ＿ｉｎｄｅｘ＿ｏｆｆｓｅｔを調整値として用いる。
【００４３】
また、Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）画像符号化方式では、色差データについての量子化マトリックスも輝度データの量子化マトリックスと独立に設定することが可能である。前記の説明では、色差量子化幅調整部３２は、量子化幅のオフセット値Ｃｈｒｏｍａ＿ｑｐ＿ｉｎｄｅｘ＿ｏｆｆｓｅｔを調整することとしているが、高域の周波数成分が低減または削減されるように、色差データについての量子化マトリックス値を調整してもよい（図８参照）。この場合、量子化部１６は、調整された量子化マトリックス値を用いて色差データを量子化するのはもちろんである。なお、量子化マトリックス値を調整すると結果的に量子化幅を調整することになるので、以下では、量子化マトリックス値を調整することと量子化幅を調整することを特に区別することなく「量子化幅を調整する」という場合がある。
【００４４】
輝度デブロック強度調整部３３は、輝度量子化幅調整部３１によって調整された量子化情報に基づいて、輝度データについてのデブロック情報を算出する。そして、算出したデブロック情報をデブロック部２２に供給する。
【００４５】
色差デブロック強度調整部３４は、色差量子化幅調整部３２から色差データについての量子化情報を得る。そして、色差量子化幅調整部３２から得た色差データについての量子化情報に基づいて色差データについてのデブロック情報を調整し、色差データについてのデブロック情報を得る。例えば、色差量子化幅調整部３２によって色差データについての量子化情報が調整されている場合は、通常より粗く量子化されることになる。従って、この場合はブロックノイズが発生しやすい状況であると推定して、デブロックフィルタ強度が強くなるように調整する。逆に、色差量子化幅調整部３２によって色差データについての量子化情報が調整されていない場合は、通常通り量子化されることになる。従って、この場合はブロックノイズが発生しにくい状況であると推定して、デブロック情報は調整しない。色差デブロック強度調整部３４から出力されたデブロック情報は、デブロック部２２に供給される。
【００４６】
Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）画像符号化方式では、従来の符号化方式（ＭＰＥＧ−２やＭＰＥＧ−４）と異なり、デブロックフィルタをローカルデコード側に設定する構成になっている。デブロックフィルタの強度は、量子化幅の大きさに応じて大きくなるとともに、スライス単位でオフセットとして設定可能である。すなわち、色差データについての量子化幅のオフセットとともにデブロックフィルタの強度のオフセットを変化させることによって、デブロックフィルタの強度を調整することができる。
【００４７】
例えば、図９はマクロブロック１６画素×１６ライン内の各ブロック（水平４画素×垂直４ライン）におけるブロック境界とブロック内画素（水平、垂直）の位置を示している。このときブロック間に段差（ブロックノイズ）が生じるような符号化条件（イントラブロックかどうか、ブロックが直交変換係数をもつかどうか、参照フレームが同じかどうか、各ブロックの量子化パラメータの値など）およびブロック境界を挟む画素間の差分絶対値などを見て、ブロックノイズを抑制するデブロック処理のフィルタ強度（平滑度）が決定される。
【００４８】
デブロック処理に関する上記符号化条件や上記ブロック境界を挟む画素間の差分絶対値は符号化時に自ずと決まるが、ユーザがデブロックのフィルタ強度を調整することもできる。それがオフセット値である。それはビットストリーム中のスライス・ヘッダに含まれるｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２とｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２という２つのパラメータで設定される。この２つのパラメータに設定された値は、上記符号化条件、特にブロックの量子化パラメータ値（量子化幅）に関係したｉｎｄｅｘＡとｉｎｄｅｘＢと呼ばれるデブロック処理する際の閾値α、βに関係し、デブロック処理のフィルタ強度を左右する。
【００４９】
図１０は、本発明の実施の形態における画像符号化装置１の動作を示すフローチャートである。以下、図１０を用いて、本画像符号化装置１が暗部の色ノイズを効果的に抑制しながら、このとき発生しやすいブロックノイズを同時に低減する動作について説明する。
【００５０】
まず、撮像部１１から光量情報を抽出する（ステップＳ１０１）。光量情報としては、既に説明した通り、絞り値情報を採用することができる。その他、受光した光を増幅する自動利得制御の調整値、光電変換された信号の大きさ、デジタル画像データに変換された輝度信号の大きさなどを光量情報として採用することも可能である。
【００５１】
ステップＳ１０１において抽出された光量情報は光量判定部１２に供給される。光量判定部１２は、供給された光量情報に基づいて、入射光量が閾値より少ないかどうかを判定する（ステップＳ１０２）。そして、入射光量が所定の閾値よりも小さいと判定した場合は（Ｙｅｓ）、撮像した映像が暗いものと推定して、色差量子化マトリックス値を調整する（ステップ１０３）。逆に、入射光量が閾値より少なくないと判定した場合は（Ｎｏ）、撮像した映像が暗くないものと推定して、通常通り輝度と連動した色差量子化および逆量子化処理を実行する（ステップ１０４）。
【００５２】
ステップ１０３では、量子化・デブロック調整部１３は、色差データについての量子化マトリックス値を調整する。この場合、ステップＳ１０２の判定結果に基づいて、撮像した映像が暗く色ノイズが発生しやすい条件であると予測する。そのため、スライス単位で色差量子化マトリックス値を粗く（大きく）することによって、色差データの周波数成分（とりわけ高域の周波数成分）を削減するように量子化マトリックス値を調整する。
【００５３】
ステップ１０５では、通常の量子化幅（すなわち、輝度と連動した色差の量子化幅）に比べて、色差の量子化幅のオフセット値を大きくする方向へ調整する。ステップ１０３とステップ１０５は、どちらか一方のみを実行してもよいし、両方を実行してもよい。それはステップＳ１０２で抽出された光量に依存する。例えば、ステップＳ１０２において光量が非常に少ないと判定された場合は、暗部色ノイズの発生は顕著であると推定することができるため、ステップ１０３とステップ１０５の両方を実行するのが好ましい。この場合、ステップＳ１０２では複数段階の閾値を設けておく。
【００５４】
ステップ１０３およびまたはステップ１０５において調整された色差データについての量子化情報は量子化部１６および逆量子化部１９に供給される。量子化部１６および逆量子化部１９は、調整された色差データについての量子化情報に基づいて量子化および逆量子化処理を実行する（ステップＳ１０６）。
【００５５】
ステップＳ１０６において逆量子化された色差データはデブロック部２２へ供給される。量子化・デブロック調整部１３は、ステップＳ１０３およびステップＳ１０５において調整された色差データについての量子化情報を用いて量子化および逆量子化され、再構成された色差データのデブロック強度を調整する（ステップＳ１０７）。なお、ステップＳ１０４で輝度と連動した色差量子化・逆量子化され再構成された色差ブロックについては通常通りの色差デブロック処理が実行される（ステップＳ１０９）。
【００５６】
なお、ステップＳ１０７では、色差データについてのブロックノイズをより強く抑制するため、量子化・デブロック調整部１３は、デブロックフィルタの強度のオフセット値を大きく調整する。ステップＳ１０７において調整された色差データについてのデブロックフィルタの強度はデブロック部２２に供給される。デブロック部２２は、ステップＳ１０７において調整されたデブロックフィルタの強度に基づいて色差データについてのデブロック処理を実行する（ステップＳ１０８）。ステップＳ１０８またはステップＳ１０９においてデブロック処理された色差データはフレームメモリ２３に供給され（ステップ１１０）、色差データの一連の色ノイズ低減処理が完了する。
【００５７】
以上の説明から明らかなように、本発明の実施の形態における画像符号化装置によれば、撮像系で発生した暗部のノイズ、特に色ノイズを符号化側で効果的に抑制することができ、また、このとき符号化側で発生しやすいブロックノイズをも同時に低減することができる。
【００５８】
しかも、本発明の実施の形態における画像符号化装置は、輝度データと独立して色差データについての量子化幅を調整することができるので、輝度（輪郭）は保持したいが色ノイズは抑制したいという場合に特に効果的である。すなわち、暗部では輝度の変化によるノイズは目立たないので色ノイズだけを抑制することが効果的な場合があり、このような場合に本発明の実用的価値は極めて高いということができる。
【産業上の利用可能性】
【００５９】
本発明の画像符号化装置および画像符号化方法は、暗部ノイズ、特に暗部に生じた撮像系による色ノイズを効果的に抑制することができる。具体的には、動画像データを撮像記録するデジタルビデオカメラやデジタルカメラ等に適している。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態における画像符号化装置の概観図
【図２】本発明の実施の形態における画像符号化装置の構成を示すブロック図
【図３】４：２：０フォーマットの１ピクチャの映像信号を説明するための図
【図４】４：２：０フォーマットの１マクロブロックの映像信号を説明するための図
【図５】４：２：０フォーマットの１マクロブロックの直交変換ブロックを説明するための図
【図６】入射光量と撮像系の絞り値情報との関係を説明するための図
【図７】本発明の実施の形態における量子化・デブロック調整部の詳細構成を示すブロック図
【図８】量子化マトリックスを説明するための図
【図９】Ｂｓ値の決定手法を説明するための図
【図１０】本発明の実施の形態における画像符号化装置の動作を示すフローチャート
【符号の説明】
【００６１】
１１ 撮像部
１２ 光量判定部
１３ 量子化・デブロック調整部
１４ 差分器
１５ 離散直交変換部（ＤＣＴ）
１６ 量子化部（Ｑ）
１７ 可変長符号化部（ＶＬＣ）
１８ 記録部
１９ 逆量子化部（ＩＱ）
２０ 逆離散直交変換部（ＩＤＣＴ）
２１ 加算器
２２ デブロック部（ＤＢ）
２３ フレームメモリ
２４ 動き予測部
３１ 輝度量子化幅調整部
３２ 色差量子化幅調整部
３３ 輝度デブロック強度調整部
３４ 色差デブロック強度調整部
【技術分野】
【０００１】
本発明は、画像データを符号化する画像符号化装置および画像符号化方法に関し、特に、暗部の色ノイズを効果的に抑制する画像符号化装置および画像符号化方法に関する。
【背景技術】
【０００２】
ＣＣＤ（ Ｃ ｈ ａ ｒ ｇ ｅ Ｃ ｏ ｕ ｐ ｌ ｅ ｄ Ｄ ｅ ｖ ｉ ｃ ｅ ｓ ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を備えたデジタルビデオカメラやデジタルスチルカメラなどによって夜景や暗い室内を撮影する場合、通常は撮像素子への入射光量が少ないため、受光感度を上げようと光増幅処理が機能する。しかし、光増幅処理が機能すると本来の撮像対象の光成分以外にランダムな光ノイズまで増幅してしまう。特に、暗くて輝度レベルの低い領域では、本来存在しないはずの点状の色ノイズが発生しやすく視覚的に目立った画質劣化となる。
【０００３】
このような低照度の環境下の撮影で発生した暗部ノイズを抑制し、画像を符号化する装置が提案されている。例えば、撮像側における符号化前の信号処理として、カメラの絞り値や利得値をもとに、入力された画像信号の周波数特性やガンマ特性を制御し、入力された画像の情報量を低減することでノイズを抑制する装置がある（例えば、特許文献１）。
【０００４】
また、符号化側におけるノイズ抑制処理として、周波数分解された入力画像の周波数変換係数（特に色差成分の高域変換係数）を撮像感度などの撮像条件に基づいて低減することでノイズを抑制する装置がある（例えば、特許文献２）。
【０００５】
また、マクロブロックといったブロック単位で画像を符号化する装置の中には、マクロブロック単位で入力された画像の特性（例えば画像のノイズ情報）に基づいて、そのブロックの空間特性に合わせた複数の量子化マトリックスからノイズを抑制する最適な量子化マトリックスを選択し、選択した量子化マトリックスを用いて画像を符号化する装置もある（例えば、特許文献３）。
【特許文献１】特開２００５−２６０６４０号公報
【特許文献２】特開２００２−３１４９９９号公報
【特許文献３】特開２００６−１０９４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前記特許文献１に開示される従来技術によると、カメラの絞り値や利得値を撮像条件として有効に使い、入力される画像情報量を符号化前に事前に低減することでノイズを抑制することができる。しかしながら、符号化前にノイズ抑制処理を施すと、ノイズだけでなく本来の入力画像成分の情報も抑制してしまい、画像の精細度が低下してしまう。また、符号化用の信号処理回路の前段にノイズ抑制用の信号処理回路を設ける必要が生じる。
【０００７】
他方、前記特許文献２または特許文献３に開示される従来技術によると、符号化前にノイズ抑制処理を施すことなく符号化側で入力画像のノイズを低減することができる。しかしながら、変換係数削減の程度や量子化マトリックスの選択によっては新たなノイズが発生するという課題がある。例えば、入力された画像信号に非常に多くのノイズが重畳されている場合、量子化制御のみでノイズを抑制しようとすると、画像データの変換係数の多くを削除するか、量子化幅が非常に大きくなる量子化マトリックスを優先的に選択することになる。しかしながら、ブロック単位で符号化する画像符号化方式（例えば、ＪＰＥＧ、ＭＰＥＧ−２やＭＰＥＧ−４など）では、あまり圧縮率を高くするとブロック単位で輝度や色情報が均一化されてしまい、タイル状のブロックノイズが発生してしまう。
【０００８】
本発明は、前記の問題を解決するものであって、暗部の色ノイズを効果的に抑制しながらもブロックノイズの発生を極力避けることが可能な画像符号化装置および画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、本発明に係る画像符号化装置は、画像データを符号化する画像符号化装置であって、前記画像データを出力する撮像手段と、前記撮像手段への入射光量が所定量より少ないか否かを判定する光量判定手段と、前記撮像手段への入射光量が所定量より少ないと判定された場合、前記画像データの色差成分である色差データについての量子化幅が所定の量子化幅より大きくなるように、前記色差データについての量子化幅を調整する色差量子化幅調整手段と、前記符号化の一部として、調整された前記量子化幅を用いて前記色差データを量子化することによって前記画像データを符号化する色差量子化手段とを備える。これによって、撮像手段への入射光量が所定量より少ないと判定された場合のみ輝度データと独立して色差データについての量子化幅が大きくなるように調整されるので、過度に量子化幅が大きくなることを避けることができる結果、暗部の色ノイズを効果的に抑制しながらもブロックノイズの発生を極力避けることが可能となる。
【００１０】
ここで、前記画像符号化装置は、さらに、前記色差データについての量子化幅が調整された場合、前記色差データについてのデブロックフィルタ強度が所定のデブロックフィルタ強度より強くなるように、前記色差データについてのデブロックフィルタ強度を調整する色差デブロック強度調整手段と、前記符号化の一部として、調整された前記デブロックフィルタ強度を用いて前記色差データについてデブロック処理を実行する色差デブロック手段とを備えてもよい。これによって、色差データについての量子化幅が調整された場合は輝度データと独立して色差データについてのデブロックフィルタ強度が強くなるように調整されるので、ブロックノイズを効果的に抑制することが可能となる。
【００１１】
また、前記色差量子化幅調整手段は、高域の周波数成分が低減または削減されるように、前記色差データについての量子化マトリックス値を調整し、前記色差量子化手段は、調整された前記量子化マトリックス値を用いて前記色差データを量子化してもよい。これによって、高域の周波数成分が低減または削減されるように前記色差データについての量子化マトリックス値が調整され、色差データについての量子化幅が大きくなる。
【００１２】
また、前記光量判定手段は、前記入射光量の制御に使用される絞りの値が所定値より小さい場合、あるいはおよび受光した光を増幅する利得の利得増幅値が所定値よりも大きい場合、前記入射光量が所定量より少ないと判定してもよい。これによって、絞りの値が所定値より小さい、あるいはおよび受光した光を増幅する利得の利得増幅値が所定値よりも大きいことを検知するだけで、入射光量が所定量より少ないと判定することが可能となる。
【００１３】
また、前記光量判定手段は、前記入射光量の輝度信号の大きさが所定値より小さい場合、前記入射光量が所定量より少ないと判定してもよい。これによって、輝度信号の大きさが所定値より小さいことを検知するだけで、入射光量が所定量より少ないと判定することが可能となる。
【００１４】
なお、前記色差量子化幅調整手段は、前記画像データの輝度成分である輝度データと連動するときに比べて大きくなるように、前記色差データについての量子化幅を調整してもよい。
【００１５】
なお、前記色差デブロック強度調整手段は、前記輝度データと連動するときに比べて強くなるように、前記色差データについてのデブロックフィルタ強度を調整してもよい。
【００１６】
なお、前記画像符号化装置は、Ｈ．２６４画像符号化方式に準拠していてもよい。
【００１７】
なお、本発明は、このような画像符号化装置として実現することができるだけでなく、このような画像符号化装置が備える特徴的な手段をステップとする画像符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００１８】
以上の説明から明らかなように、本発明に係る画像符号化装置によれば、撮像系で発生した暗部のノイズ、特に色ノイズを符号化側で効果的に抑制することができ、また、このとき符号化側で発生しやすいブロックノイズをも同時に低減することができる。
【００１９】
しかも、本発明に係る画像符号化装置は、輝度データと独立して色差データについての量子化幅を調整することができるので、輝度（輪郭）は保持したいが色ノイズは抑制したいという場合に特に効果的である。すなわち、暗部では輝度の変化によるノイズは目立たないので色ノイズだけを抑制することが効果的な場合があり、このような場合に本発明の実用的価値は極めて高いということができる。
【発明を実施するための最良の形態】
【００２０】
以下に、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００２１】
図１は、本発明の実施の形態における画像符号化装置１の概観図である。
【００２２】
ここでは、ＣＣＤやＣＭＯＳなどの撮像素子を備えたデジタルビデオカメラを例示している。このデジタルビデオカメラによって夜景や暗い室内を撮影する場合は、撮像素子への入射光量が少ないため、受光感度を上げようと光増幅処理が機能するようになっている。撮影された画像は、デジタルビデオカメラと着脱可能な記録部１８にファイル化して記録することができる。
【００２３】
図２は、本発明の実施の形態における画像符号化装置１の構成を示すブロック図である。
【００２４】
この画像符号化装置１は、Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）画像符号化方式に準拠した装置であって、撮像部１１と、光量判定部１２と、量子化・デブロック（ＤＢ）調整部１３と、差分器１４と、離散直交変換部（ＤＣＴ）１５と、量子化部（Ｑ）１６と、可変長符号化部（ＶＬＣ）１７と、記録部１８と、逆量子化部（ＩＱ）１９と、逆離散直交変換部（ＩＤＣＴ）２０と、加算器２１と、デブロック部（ＤＢ）２２と、フレームメモリ２３と、動き予測部２４とを備えている。本発明の特徴的な構成部分は、撮像部１１、光量判定部１２、量子化・デブロック調整部１３、量子化部１６、逆量子化部１９、およびデブロック部２２である。それ以外の構成部分１４から２４は、一般的な画像符号化装置のものと同様である。
【００２５】
まず、一般的な構成部分１４から２４について説明する。
【００２６】
撮像部１１から出力されたデジタル画像信号（以下「画像データ」という）はブロック単位に処理される。例えば、連続するピクチャからなる動画像の各ピクチャは、４：２：０フォーマットのピクチャである場合、図３に示されるように、１個の輝度信号（Ｙ信号３５）と２個の色差信号（Ｃｂ信号３６、Ｃｒ信号３７）とで構成される。色差信号の画像サイズは、縦横とも輝度信号の１／２となる。また、動画像の各ピクチャは、マクロブロックと呼ばれるブロックに分割され、マクロブロック単位で符号化される。マクロブロックは、図４に示されるように、１６×１６画素の１個のＹ信号ブロック４１と、Ｙ信号ブロック４１と空間的に一致する８×８画素のＣｂ信号ブロック４２およびＣｒ信号ブロック４３とで構成される。分割されたマクロブロックは差分器１４に入力される。
【００２７】
ここで、フレーム内予測符号化されたピクチャの画像データは、差分器１４によってここでは図示していないイントラ予測された予測データと差分され離散直交変換部１５に供給され、離散直交変換部１５によって各周波数成分の係数である直交変換係数に分解される。具体的には、離散直交変換部１５は、図５に示されるように、２４個の４×４画素ブロック（５１−０から５１−１５、５２−０から５２−３、５３−０から５３―３）にマクロブロックを分割し、それぞれについて直交変換を行う。分解された直交変換係数は、量子化・デブロック調整部１３によって調整された量子化情報（後述する）に基づいて量子化部１６によって量子化される。量子化された直交変換係数は、可変長符号化部１７によって冗長度が圧縮され、デジタルストリームとして記録部１８に記録される。記録部１８は、光ディスク、メモリカード、ハードディスク、テープなどである。
【００２８】
なお、量子化された直交変換係数は、逆量子化部１９、逆離散直交変換部２０のローカル復号化ループへ供給され、デブロック部２２でデブロック処理されフレームメモリ２３に一旦記録される。フレームメモリ２３に一旦記録されたフレーム内予測画像は動き予測の参照用画像として利用される。なお、図示していないが、Ｈ．２６４符号化におけるフレーム内予測符号化では、直交変換されるブロックサイズ単位でフレーム内の周辺ブロック画素から予測された予測画素とブロック内対象画素との差分データがとられ、イントラ予測の予測データとして差分器１４および加算器２１へ供給される。
【００２９】
一方、フレーム間予測符号化されるピクチャの画像データは、動き予測部２４によって動き補償予測されたピクチャの画像データとの間で差分器１４によって差分される。この差分データは、前記と同様に離散直交変換部１５、量子化部１６、可変長符号化部１７を経て記録部１８に記録される。量子化された差分データは、逆量子化部１９によって逆量子化され、逆離散直交変換部２０によって元の差分データに復号される。復号された差分データは、そのピクチャの動き補償ピクチャデータと加算器２１によって加算され、再生画像データとして出力される。
【００３０】
加算器２１から出力された再生画像データはデブロック部２２に入力される。デブロック部２２は、量子化・デブロック調整部１３によって調整されたデブロック情報（後述する）に基づいてデブロック処理を実行する。デブロック処理が施された再生画像データはフレームメモリ２３へストアされる。
【００３１】
動き予測部２４は、次に符号化すべき対象画像データと符号化済再生画像データをストアしたフレームメモリ２３の再生画像データ（参照画像データ）との間で動き予測（動きベクトルを検出）する。そして、動き予測された参照画像データと対象画像データとの間で差分をとり、動き補償画像データを生成する。
【００３２】
次に、本発明の特徴的な構成部分である撮像部１１、光量判定部１２、量子化・デブロック調整部１３、量子化１６、逆量子化１９、およびデブロック部２２を詳しく説明する。
【００３３】
撮像部１１は、本発明に係る撮像手段の一例であって、具体的には、レンズ、絞り、ＣＣＤまたはＣＭＯＳ等の撮像素子、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）、自動利得制御部、アナログデジタルコンバータ、ホワイトバランス、ガンマ補正などからなる撮像系である。撮像部１１は、入射された光を光電変換して光信号を得、その光信号をデジタルの画像データに変換する。この画像データは、１個の輝度信号と２個の色差信号とで構成されるものとして説明する。輝度信号は画像データの輝度成分であり、以下では「輝度データ」という。色差信号は画像データの色差成分であり、以下では「色差データ」という。本発明は、撮像素子への入射光量を判定し、その判定結果に基づいて量子化処理とデブロック処理を実行する点に特徴がある。撮像素子への入射光量は、前記の光信号、画像データ、または輝度データの大きさに基づいて推定することもできるが、以下に説明するように、絞り値情報または利得値情報に基づいて推定することもできる。
【００３４】
図６は、入射光量と撮像系の絞り値情報および光増幅の利得値との関係を説明するための図である。
【００３５】
絞り値情報とは、光量制御に使用される絞りの値、具体的には、レンズから撮像素子に入射される光量を制御する絞りの値である。この図に示されるように、絞り値が大きいほど撮像素子への入射光量は少なくなり、逆に、絞り値が小さいほど撮像素子への入射光量は多くなる。従って、自動絞り調整を機能させた場合は、明るい場所に比べて暗い場所では入射光量を多くする必要があるため、絞り値は小さく設定される。また、図６は、自動利得制御部の利得値（利得値情報）が大きいほど撮像素子への入射光量が少なくなるため利得を上げて光を増幅していることを示している。撮像部１１は、絞り値情報または利得値情報のように、撮像素子への入射光量を推定する際の判定材料となる情報（以下「光量情報」という）を光量判定部１２に供給する。
【００３６】
光量判定部１２は、本発明に係る光量判定手段の一例であって、撮像部１１から供給された光量情報に基づいて撮像素子への入射光量が所定量（閾値）より少ないか否かを判定する。例えば、絞り値が所定値より小さい場合、利得値が所定値より大きい場合、または絞り値が所定値よりも小さく且つ利得値が所定値よりも大きい場合は、撮像素子への入射光量が所定量より少ないと判定する。入射光量が所定量より少ない場合は、暗い場所で撮影されていて色ノイズが発生しやすい撮影条件であると推定することができる。入射光量の判定基準となる閾値（所定量）は、事前に設定しておく必要がある。すなわち、色ノイズが目立って発生しやすい光量情報を事前に調べておき、その光量情報を判定基準（閾値）として設定しておく。閾値の数は特に限定されるものではない。例えば、色ノイズが発生する確率や色ノイズの大きさによって複数の閾値を設定しておいてもよい。
【００３７】
量子化・デブロック調整部１３は、光量判定部１２の判定結果に基づいて量子化情報および逆量子化情報を調整し、調整した量子化情報および逆量子化情報を量子化部１６および逆量子化部１９に供給する。量子化情報および逆量子化情報（以下、一括して単に「量子化情報」という）とは、例えば輝度および色差に関する量子化パラメータ（ＱＰ）である。この量子化パラメータから量子化ステップ（量子化幅）が導出される。導出された量子化幅によって輝度や色差の直交変換係数が除算されて量子値となる（量子化）。また、逆にこの量子化値に量子化幅を乗算することで直交変換係数に戻す（逆量子化）。また、量子化・デブロック調整部１３は、光量判定部１２の判定結果に基づいてデブロック情報を調整し、調整したデブロック情報をデブロック部２２に供給する。デブロック情報とは、例えばデブロックフィルタの平滑度の強度のオフセット値である。さらに、量子化・デブロック調整部１３は、可変長符号化部１７の符号量を監視し、可変長符号化部１７の符号量が所定の符号量になるように量子化情報を調整する。量子化・デブロック調整部１３によって調整された量子化情報等は、可変長符号化部１７によって冗長度が圧縮され、デジタルストリームとして記録部１８に記録される。
【００３８】
図７は、本発明の実施の形態における量子化・デブロック調整部１３の詳細構成を示すブロック図である。この量子化・デブロック調整部１３は、本発明の核となる構成部分であって、輝度量子化幅調整部３１と、色差量子化幅調整部３２と、輝度デブロック強度調整部３３と、色差デブロック強度調整部３４とからなる。
【００３９】
輝度量子化幅調整部３１は、可変長符号化部１７から符号量情報を得、その符号量情報に基づいて、輝度データについての量子化情報を調整する。具体的には、可変長符号化部１７の符号量が所定の設定符号量に合うように、量子化歪みを最小にする量子化情報を設定する。そして、調整した量子化情報を量子化部１６および逆量子化部１９に供給するとともに、色差量子化幅調整部３２および輝度デブロック強度調整部３３に供給する。
【００４０】
色差量子化幅調整部３２は、光量判定部１２から判定結果を得るとともに、輝度量子化幅調整部３１から量子化情報を得る。そして、光量判定部１２から得た判定結果に基づいて輝度量子化幅調整部３１から得た量子化情報を調整することによって、色差データについての量子化情報を得る。例えば、入射光量が所定量より少ない旨の判定結果を得た場合は、暗い場所で撮影されていて色ノイズが発生しやすい撮影条件であると推定して、通常より粗く量子化されるように量子化情報を調整する。逆に、入射光量が所定量より多い旨の判定結果を得た場合は、明るい場所で撮影されていて色ノイズが発生しにくい撮影条件である（通常の撮影条件である）と推定して、量子化情報は調整しない。色差量子化幅調整部３２から出力された量子化情報は、量子化部１６、逆量子化部１９、色差デブロック強度調整部３４に供給される。
【００４１】
Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）画像符号化方式では、従来の符号化方式（ＭＰＥＧ−２やＭＰＥＧ−４）と異なり、色差データについて量子化制御が可能である。すなわち、従来の符号化方式では、輝度データと独立に色差データについて量子化制御の設定をすることができなかった。Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）画像符号化方式では、輝度データについての量子化情報に連動する（付加する）形式ではあるが、色差量子化パラメータのオフセットとしてある範囲で輝度データと独立に色差データについて量子化制御の設定をすることが可能である。
【００４２】
具体的には、オフセット値Ｃｈｒｏｍａ＿ｑｐ＿ｉｎｄｅｘ＿ｏｆｆｓｅｔとして−１２から＋１２の値を設定することができる。オフセット値Ｃｈｒｏｍａ＿ｑｐ＿ｉｎｄｅｘ＿ｏｆｆｓｅｔとして負の値を設定すれば、結果的に色差データについての量子化幅を小さくすることができる。例えば−６を設定すれば、色差データについての量子化幅を設定前の量子化幅の半分にすることができる。すなわち、量子化部１６は、色差データについての量子化幅を決定する際の量子化マトリックス参照を行うとき、オフセット値Ｃｈｒｏｍａ＿ｑｐ＿ｉｎｄｅｘ＿ｏｆｆｓｅｔを調整値として用いる。
【００４３】
また、Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）画像符号化方式では、色差データについての量子化マトリックスも輝度データの量子化マトリックスと独立に設定することが可能である。前記の説明では、色差量子化幅調整部３２は、量子化幅のオフセット値Ｃｈｒｏｍａ＿ｑｐ＿ｉｎｄｅｘ＿ｏｆｆｓｅｔを調整することとしているが、高域の周波数成分が低減または削減されるように、色差データについての量子化マトリックス値を調整してもよい（図８参照）。この場合、量子化部１６は、調整された量子化マトリックス値を用いて色差データを量子化するのはもちろんである。なお、量子化マトリックス値を調整すると結果的に量子化幅を調整することになるので、以下では、量子化マトリックス値を調整することと量子化幅を調整することを特に区別することなく「量子化幅を調整する」という場合がある。
【００４４】
輝度デブロック強度調整部３３は、輝度量子化幅調整部３１によって調整された量子化情報に基づいて、輝度データについてのデブロック情報を算出する。そして、算出したデブロック情報をデブロック部２２に供給する。
【００４５】
色差デブロック強度調整部３４は、色差量子化幅調整部３２から色差データについての量子化情報を得る。そして、色差量子化幅調整部３２から得た色差データについての量子化情報に基づいて色差データについてのデブロック情報を調整し、色差データについてのデブロック情報を得る。例えば、色差量子化幅調整部３２によって色差データについての量子化情報が調整されている場合は、通常より粗く量子化されることになる。従って、この場合はブロックノイズが発生しやすい状況であると推定して、デブロックフィルタ強度が強くなるように調整する。逆に、色差量子化幅調整部３２によって色差データについての量子化情報が調整されていない場合は、通常通り量子化されることになる。従って、この場合はブロックノイズが発生しにくい状況であると推定して、デブロック情報は調整しない。色差デブロック強度調整部３４から出力されたデブロック情報は、デブロック部２２に供給される。
【００４６】
Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）画像符号化方式では、従来の符号化方式（ＭＰＥＧ−２やＭＰＥＧ−４）と異なり、デブロックフィルタをローカルデコード側に設定する構成になっている。デブロックフィルタの強度は、量子化幅の大きさに応じて大きくなるとともに、スライス単位でオフセットとして設定可能である。すなわち、色差データについての量子化幅のオフセットとともにデブロックフィルタの強度のオフセットを変化させることによって、デブロックフィルタの強度を調整することができる。
【００４７】
例えば、図９はマクロブロック１６画素×１６ライン内の各ブロック（水平４画素×垂直４ライン）におけるブロック境界とブロック内画素（水平、垂直）の位置を示している。このときブロック間に段差（ブロックノイズ）が生じるような符号化条件（イントラブロックかどうか、ブロックが直交変換係数をもつかどうか、参照フレームが同じかどうか、各ブロックの量子化パラメータの値など）およびブロック境界を挟む画素間の差分絶対値などを見て、ブロックノイズを抑制するデブロック処理のフィルタ強度（平滑度）が決定される。
【００４８】
デブロック処理に関する上記符号化条件や上記ブロック境界を挟む画素間の差分絶対値は符号化時に自ずと決まるが、ユーザがデブロックのフィルタ強度を調整することもできる。それがオフセット値である。それはビットストリーム中のスライス・ヘッダに含まれるｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２とｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２という２つのパラメータで設定される。この２つのパラメータに設定された値は、上記符号化条件、特にブロックの量子化パラメータ値（量子化幅）に関係したｉｎｄｅｘＡとｉｎｄｅｘＢと呼ばれるデブロック処理する際の閾値α、βに関係し、デブロック処理のフィルタ強度を左右する。
【００４９】
図１０は、本発明の実施の形態における画像符号化装置１の動作を示すフローチャートである。以下、図１０を用いて、本画像符号化装置１が暗部の色ノイズを効果的に抑制しながら、このとき発生しやすいブロックノイズを同時に低減する動作について説明する。
【００５０】
まず、撮像部１１から光量情報を抽出する（ステップＳ１０１）。光量情報としては、既に説明した通り、絞り値情報を採用することができる。その他、受光した光を増幅する自動利得制御の調整値、光電変換された信号の大きさ、デジタル画像データに変換された輝度信号の大きさなどを光量情報として採用することも可能である。
【００５１】
ステップＳ１０１において抽出された光量情報は光量判定部１２に供給される。光量判定部１２は、供給された光量情報に基づいて、入射光量が閾値より少ないかどうかを判定する（ステップＳ１０２）。そして、入射光量が所定の閾値よりも小さいと判定した場合は（Ｙｅｓ）、撮像した映像が暗いものと推定して、色差量子化マトリックス値を調整する（ステップ１０３）。逆に、入射光量が閾値より少なくないと判定した場合は（Ｎｏ）、撮像した映像が暗くないものと推定して、通常通り輝度と連動した色差量子化および逆量子化処理を実行する（ステップ１０４）。
【００５２】
ステップ１０３では、量子化・デブロック調整部１３は、色差データについての量子化マトリックス値を調整する。この場合、ステップＳ１０２の判定結果に基づいて、撮像した映像が暗く色ノイズが発生しやすい条件であると予測する。そのため、スライス単位で色差量子化マトリックス値を粗く（大きく）することによって、色差データの周波数成分（とりわけ高域の周波数成分）を削減するように量子化マトリックス値を調整する。
【００５３】
ステップ１０５では、通常の量子化幅（すなわち、輝度と連動した色差の量子化幅）に比べて、色差の量子化幅のオフセット値を大きくする方向へ調整する。ステップ１０３とステップ１０５は、どちらか一方のみを実行してもよいし、両方を実行してもよい。それはステップＳ１０２で抽出された光量に依存する。例えば、ステップＳ１０２において光量が非常に少ないと判定された場合は、暗部色ノイズの発生は顕著であると推定することができるため、ステップ１０３とステップ１０５の両方を実行するのが好ましい。この場合、ステップＳ１０２では複数段階の閾値を設けておく。
【００５４】
ステップ１０３およびまたはステップ１０５において調整された色差データについての量子化情報は量子化部１６および逆量子化部１９に供給される。量子化部１６および逆量子化部１９は、調整された色差データについての量子化情報に基づいて量子化および逆量子化処理を実行する（ステップＳ１０６）。
【００５５】
ステップＳ１０６において逆量子化された色差データはデブロック部２２へ供給される。量子化・デブロック調整部１３は、ステップＳ１０３およびステップＳ１０５において調整された色差データについての量子化情報を用いて量子化および逆量子化され、再構成された色差データのデブロック強度を調整する（ステップＳ１０７）。なお、ステップＳ１０４で輝度と連動した色差量子化・逆量子化され再構成された色差ブロックについては通常通りの色差デブロック処理が実行される（ステップＳ１０９）。
【００５６】
なお、ステップＳ１０７では、色差データについてのブロックノイズをより強く抑制するため、量子化・デブロック調整部１３は、デブロックフィルタの強度のオフセット値を大きく調整する。ステップＳ１０７において調整された色差データについてのデブロックフィルタの強度はデブロック部２２に供給される。デブロック部２２は、ステップＳ１０７において調整されたデブロックフィルタの強度に基づいて色差データについてのデブロック処理を実行する（ステップＳ１０８）。ステップＳ１０８またはステップＳ１０９においてデブロック処理された色差データはフレームメモリ２３に供給され（ステップ１１０）、色差データの一連の色ノイズ低減処理が完了する。
【００５７】
以上の説明から明らかなように、本発明の実施の形態における画像符号化装置によれば、撮像系で発生した暗部のノイズ、特に色ノイズを符号化側で効果的に抑制することができ、また、このとき符号化側で発生しやすいブロックノイズをも同時に低減することができる。
【００５８】
しかも、本発明の実施の形態における画像符号化装置は、輝度データと独立して色差データについての量子化幅を調整することができるので、輝度（輪郭）は保持したいが色ノイズは抑制したいという場合に特に効果的である。すなわち、暗部では輝度の変化によるノイズは目立たないので色ノイズだけを抑制することが効果的な場合があり、このような場合に本発明の実用的価値は極めて高いということができる。
【産業上の利用可能性】
【００５９】
本発明の画像符号化装置および画像符号化方法は、暗部ノイズ、特に暗部に生じた撮像系による色ノイズを効果的に抑制することができる。具体的には、動画像データを撮像記録するデジタルビデオカメラやデジタルカメラ等に適している。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態における画像符号化装置の概観図
【図２】本発明の実施の形態における画像符号化装置の構成を示すブロック図
【図３】４：２：０フォーマットの１ピクチャの映像信号を説明するための図
【図４】４：２：０フォーマットの１マクロブロックの映像信号を説明するための図
【図５】４：２：０フォーマットの１マクロブロックの直交変換ブロックを説明するための図
【図６】入射光量と撮像系の絞り値情報との関係を説明するための図
【図７】本発明の実施の形態における量子化・デブロック調整部の詳細構成を示すブロック図
【図８】量子化マトリックスを説明するための図
【図９】Ｂｓ値の決定手法を説明するための図
【図１０】本発明の実施の形態における画像符号化装置の動作を示すフローチャート
【符号の説明】
【００６１】
１１ 撮像部
１２ 光量判定部
１３ 量子化・デブロック調整部
１４ 差分器
１５ 離散直交変換部（ＤＣＴ）
１６ 量子化部（Ｑ）
１７ 可変長符号化部（ＶＬＣ）
１８ 記録部
１９ 逆量子化部（ＩＱ）
２０ 逆離散直交変換部（ＩＤＣＴ）
２１ 加算器
２２ デブロック部（ＤＢ）
２３ フレームメモリ
２４ 動き予測部
３１ 輝度量子化幅調整部
３２ 色差量子化幅調整部
３３ 輝度デブロック強度調整部
３４ 色差デブロック強度調整部
【特許請求の範囲】
【請求項１】
画像データを符号化する画像符号化装置であって、
前記画像データを出力する撮像手段と、
前記撮像手段への入射光量が所定量より少ないか否かを判定する光量判定手段と、
前記撮像手段への入射光量が所定量より少ないと判定された場合、前記画像データの色差成分である色差データについての量子化幅が所定の量子化幅より大きくなるように、前記色差データについての量子化幅を調整する色差量子化幅調整手段と、
前記符号化の一部として、調整された前記量子化幅を用いて前記色差データを量子化する色差量子化手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
前記画像符号化装置は、さらに、
前記色差データについての量子化幅が調整された場合、前記色差データについてのデブロックフィルタ強度が所定のデブロックフィルタ強度より強くなるように、前記色差データについてのデブロックフィルタ強度を調整する色差デブロック強度調整手段と、
前記符号化の一部として、調整された前記デブロックフィルタ強度を用いて前記色差データについてデブロック処理を実行する色差デブロック手段と
を備えることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記色差量子化幅調整手段は、高域の周波数成分が低減または削減されるように、前記色差データについての量子化マトリックス値を調整し、
前記色差量子化手段は、調整された前記量子化マトリックス値を用いて前記色差データを量子化する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記光量判定手段は、前記入射光量の制御に使用される絞りの値が所定値より小さい場合、あるいはおよび受光した光を増幅する利得の利得増幅値が所定値よりも大きい場合、前記入射光量が所定量より少ないと判定する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項５】
前記光量判定手段は、前記入射光量の輝度信号の大きさが所定値より小さい場合、前記入射光量が所定量より少ないと判定する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項６】
前記色差量子化幅調整手段は、前記画像データの輝度成分である輝度データと連動するときに比べて大きくなるように、前記色差データについての量子化幅を調整する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項７】
前記色差デブロック強度調整手段は、前記輝度データと連動するときに比べて強くなるように、前記色差データについてのデブロックフィルタ強度を調整する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項８】
前記画像符号化装置は、Ｈ．２６４画像符号化方式に準拠している
ことを特徴とする請求項１記載の画像符号化装置。
【請求項９】
画像データを符号化する画像符号化方法であって、
前記画像データを撮像手段が出力する撮像ステップと、
前記撮像手段への入射光量が所定量より少ないか否かを判定する光量判定ステップと、
前記撮像手段への入射光量が所定量より少ないと判定された場合、前記画像データの色差成分である色差データについての量子化幅が所定の量子化幅より大きくなるように、前記色差データについての量子化幅を調整する色差量子化幅調整ステップと、
前記符号化の一部として、調整された前記量子化幅を用いて前記色差データを量子化することによって前記画像データを符号化する色差量子化ステップと
を含むことを特徴とする画像符号化方法。
【請求項１０】
前記画像符号化方法は、さらに、
前記色差データについての量子化幅が調整された場合、前記色差データについてのデブロックフィルタ強度が所定のデブロックフィルタ強度より強くなるように、前記色差データについてのデブロックフィルタ強度を調整する色差デブロック強度調整ステップと、
前記符号化の一部として、調整された前記デブロックフィルタ強度を用いて前記色差データについてデブロック処理を実行する色差デブロックステップと
を含むことを特徴とする請求項９記載の画像符号化方法。
【請求項１１】
画像データを符号化するためのプログラムであって、
前記画像データを撮像手段が出力する撮像ステップと、
前記撮像手段への入射光量が所定量より少ないか否かを判定する光量判定ステップと、
前記撮像手段への入射光量が所定量より少ないと判定された場合、前記画像データの色差成分である色差データについての量子化幅が所定の量子化幅より大きくなるように、前記色差データについての量子化幅を調整する色差量子化幅調整ステップと、
前記符号化の一部として、調整された前記量子化幅を用いて前記色差データを量子化することによって前記画像データを符号化する色差量子化ステップと
をコンピュータに実行させるためのプログラム。
【請求項１２】
前記プログラムは、さらに、
前記色差データについての量子化幅が調整された場合、前記色差データについてのデブロックフィルタ強度が所定のデブロックフィルタ強度より強くなるように、前記色差データについてのデブロックフィルタ強度を調整する色差デブロック強度調整ステップと、
前記符号化の一部として、調整された前記デブロックフィルタ強度を用いて前記色差データについてデブロック処理を実行する色差デブロックステップと
をコンピュータに実行させる請求項１１記載のプログラム。
【請求項１】
画像データを符号化する画像符号化装置であって、
前記画像データを出力する撮像手段と、
前記撮像手段への入射光量が所定量より少ないか否かを判定する光量判定手段と、
前記撮像手段への入射光量が所定量より少ないと判定された場合、前記画像データの色差成分である色差データについての量子化幅が所定の量子化幅より大きくなるように、前記色差データについての量子化幅を調整する色差量子化幅調整手段と、
前記符号化の一部として、調整された前記量子化幅を用いて前記色差データを量子化する色差量子化手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
前記画像符号化装置は、さらに、
前記色差データについての量子化幅が調整された場合、前記色差データについてのデブロックフィルタ強度が所定のデブロックフィルタ強度より強くなるように、前記色差データについてのデブロックフィルタ強度を調整する色差デブロック強度調整手段と、
前記符号化の一部として、調整された前記デブロックフィルタ強度を用いて前記色差データについてデブロック処理を実行する色差デブロック手段と
を備えることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記色差量子化幅調整手段は、高域の周波数成分が低減または削減されるように、前記色差データについての量子化マトリックス値を調整し、
前記色差量子化手段は、調整された前記量子化マトリックス値を用いて前記色差データを量子化する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記光量判定手段は、前記入射光量の制御に使用される絞りの値が所定値より小さい場合、あるいはおよび受光した光を増幅する利得の利得増幅値が所定値よりも大きい場合、前記入射光量が所定量より少ないと判定する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項５】
前記光量判定手段は、前記入射光量の輝度信号の大きさが所定値より小さい場合、前記入射光量が所定量より少ないと判定する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項６】
前記色差量子化幅調整手段は、前記画像データの輝度成分である輝度データと連動するときに比べて大きくなるように、前記色差データについての量子化幅を調整する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項７】
前記色差デブロック強度調整手段は、前記輝度データと連動するときに比べて強くなるように、前記色差データについてのデブロックフィルタ強度を調整する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項８】
前記画像符号化装置は、Ｈ．２６４画像符号化方式に準拠している
ことを特徴とする請求項１記載の画像符号化装置。
【請求項９】
画像データを符号化する画像符号化方法であって、
前記画像データを撮像手段が出力する撮像ステップと、
前記撮像手段への入射光量が所定量より少ないか否かを判定する光量判定ステップと、
前記撮像手段への入射光量が所定量より少ないと判定された場合、前記画像データの色差成分である色差データについての量子化幅が所定の量子化幅より大きくなるように、前記色差データについての量子化幅を調整する色差量子化幅調整ステップと、
前記符号化の一部として、調整された前記量子化幅を用いて前記色差データを量子化することによって前記画像データを符号化する色差量子化ステップと
を含むことを特徴とする画像符号化方法。
【請求項１０】
前記画像符号化方法は、さらに、
前記色差データについての量子化幅が調整された場合、前記色差データについてのデブロックフィルタ強度が所定のデブロックフィルタ強度より強くなるように、前記色差データについてのデブロックフィルタ強度を調整する色差デブロック強度調整ステップと、
前記符号化の一部として、調整された前記デブロックフィルタ強度を用いて前記色差データについてデブロック処理を実行する色差デブロックステップと
を含むことを特徴とする請求項９記載の画像符号化方法。
【請求項１１】
画像データを符号化するためのプログラムであって、
前記画像データを撮像手段が出力する撮像ステップと、
前記撮像手段への入射光量が所定量より少ないか否かを判定する光量判定ステップと、
前記撮像手段への入射光量が所定量より少ないと判定された場合、前記画像データの色差成分である色差データについての量子化幅が所定の量子化幅より大きくなるように、前記色差データについての量子化幅を調整する色差量子化幅調整ステップと、
前記符号化の一部として、調整された前記量子化幅を用いて前記色差データを量子化することによって前記画像データを符号化する色差量子化ステップと
をコンピュータに実行させるためのプログラム。
【請求項１２】
前記プログラムは、さらに、
前記色差データについての量子化幅が調整された場合、前記色差データについてのデブロックフィルタ強度が所定のデブロックフィルタ強度より強くなるように、前記色差データについてのデブロックフィルタ強度を調整する色差デブロック強度調整ステップと、
前記符号化の一部として、調整された前記デブロックフィルタ強度を用いて前記色差データについてデブロック処理を実行する色差デブロックステップと
をコンピュータに実行させる請求項１１記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−４９２０（Ｐ２００９−４９２０Ａ）
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願番号】特願２００７−１６１９１３（Ｐ２００７−１６１９１３）
【出願日】平成１９年６月１９日（２００７．６．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願日】平成１９年６月１９日（２００７．６．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]