撮像装置、信号処理回路、信号処理装置、信号処理方法及びコンピュータプログラム
【課題】回路規模を大きくすることなく、適切な量子化精度再生を行う。
【解決手段】アナログ・デジタル変換部から出力されたデジタル信号を用いて量子化精度の再生を行う場合に、まず、アナログ・デジタル変換部から出力された映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得る。そして、注目する画素からの変化量が所定の閾値の範囲内にある場合には周囲の画素の値に対してフィルタ演算を行い、注目する画素からの変化量が所定の閾値の範囲外である場合には注目する画素の値に対してフィルタ演算を行うことで、アナログ・デジタル変換部の量子化精度以下の高精度成分を含む出力信号を生成する。そして、出力信号から高精度成分を分離し、分離した高精度成分をアナログ・デジタル変換部からの出力信号に付加する。
【解決手段】アナログ・デジタル変換部から出力されたデジタル信号を用いて量子化精度の再生を行う場合に、まず、アナログ・デジタル変換部から出力された映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得る。そして、注目する画素からの変化量が所定の閾値の範囲内にある場合には周囲の画素の値に対してフィルタ演算を行い、注目する画素からの変化量が所定の閾値の範囲外である場合には注目する画素の値に対してフィルタ演算を行うことで、アナログ・デジタル変換部の量子化精度以下の高精度成分を含む出力信号を生成する。そして、出力信号から高精度成分を分離し、分離した高精度成分をアナログ・デジタル変換部からの出力信号に付加する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、信号処理回路、信号処理装置、信号処理方法及びコンピュータプログラムに関し、特にデジタル出力された映像信号から、原信号が有する量子化精度以下の情報を再生するものに適用される技術に関する。
【背景技術】
【０００２】
アナログ信号をデジタル信号に変換する場合、デジタル信号の情報量は、サンプリング周波数と量子化ビット数とで決定される。サンプリング周波数は、ナイキストの定理により表現できる最大の周波数を決定し、量子化ビット数は、振幅方向の精度を決定する。すなわち、量子化ビット数は、デジタル信号の最小の変化量を決定する。量子化ビット数により決定された最小の変化量が表現する信号に対して大きすぎる場合は、いわゆる量子化歪が人間に知覚されてしまう。
【０００３】
このため、量子化歪みを目立たせないように、予めアナログ／デジタル変換器（以下、Ａ／Ｄ変換器と称する）に入力するアナログ信号のダイナミックレンジを、Ａ／Ｄ変換器のダイナミックレンジに適合させることが行われる。ところがこのような処理が行われると、原信号が有する量子化精度以下の情報が消失してしまうという問題があった。
【０００４】
図７（ａ）には、Ａ／Ｄ変換器に入力されるアナログ信号の波形の例を示してあり、図７（ｂ）には、Ａ／Ｄ変換器に入力されたアナログ信号のダイナミックレンジを、Ａ／Ｄ変換器のダイナミックレンジに合わせこんだ場合の信号波形の例を示してある。この例では、Ａ／Ｄ変換器の量子化ビット数を８ビットとしてある。図７（ｂ）に示した例では、図中に矢印で示した８ビットの範囲を越える高精度部分の情報は、Ａ／Ｄ変換器を通ることにより消失してしまうことが示されている。
【０００５】
また、ビデオカメラ等におけるデジタル信号処理の段階で、デジタル信号の最小の変化量が、表現する信号に対して大きくなりすぎてしまう現象が発生してしまうことがある。例えば、暗い場所で撮影を行う場合等に大幅なゲイン調整が行われた場合には、原信号の最下位ビットデータが上位ビットに持ち上げられることになる。その結果、表現される映像における階調感が不足してしまうという問題があった。モニタのガンマ特性に合わせて、３色の原色信号のガンマ特性を補正するガンマ補正においても、同様の問題が起こりうる。
【０００６】
このような問題があるなかで、出力信号において階調を滑らかに表現するには、量子化ビット数を多く取ることが有効な手段となる。しかし、Ａ／Ｄ変換器の性能は一般に限られており、量子化ビット数を任意に増加させることは非常に難しい。また、製造原価の観点から量子化ビット数の大きいＡ／Ｄ変換器を用いることができない場合もある。
【０００７】
Ａ／Ｄ変換器における量子化ビット数を増やすことなく、これらの問題を解決する手法としては、例えば、Ａ／Ｄ変換器からの出力信号の最下位ビットの方向にビット数を拡張し、拡張した部分にランダムノイズを挿入する手法がある。また他には、Ａ／Ｄ変換器に入力される原信号の情報を保持したまま、Ａ／Ｄ変換後のデジタル信号から、原信号の量子化精度以下の高精度成分を再生する手法も採られている。
【０００８】
図８には、原信号の量子化精度以下の高精度成分を再生する場合の回路構成例を示してある。量子化精度以下の高精度成分を再生する回路のことを、以降、量子化精度再生回路と称する。この回路は、例えばビデオカメラ等に適用されるものであり、Ａ／Ｄ変換された原信号或いはゲインが大幅に調整されたデジタル信号において、最下位ビットが持ち上げられたために起こる階調不足を補正するために、ｎビットの原信号から最下位ビット以下の高精度成分ｍビットを生成し、量子化ビット数をｎ＋ｍビットとする処理を行う。
【０００９】
量子化精度再生回路は、例えばローパスフィルタ２０１と、高精度成分分離部２０２と、高精度成分付加部２０３で構成される。ローパスフィルタ２０１は、量子化精度以下の信号成分（高精度成分）を含むｎ′＋ｍビット長のデジタル信号を生成する。図９に、ｍ＝１とした場合のローパスフィルタ２０１の出力例を示してある。図９に示した例では、原信号をデジタル化して得たデジタル信号の信号長ｎが、８ビットであるものとしてある。
【００１０】
ローパスフィルタ２０１では、２つのデジタル信号の平均値を算出することにより、原信号の量子化精度以下のビット情報を含む信号を出力する。図９（ａ）−１及び図９（ａ）−２は、処理対象となる２つのデジタル信号を示している。それぞれ８ビットのデジタル信号であるが、加算処理が行われることにより、図９（ｂ）に示したように９ビットの出力信号となる。つまり、ローパスフィルタ２０１を通すことにより、ｎ（８）＋ｍ（１）ビット＝９ビット長の信号が生成される。
【００１１】
図９において垂直方向に引かれた破線は、小数点の位置を示しており、図９（ｂ）に示した信号に対して除算処理を行うことで、信号は図９（ｃ）に示されたように桁が調整される。そして、図９（ｃ）において小数点以下として算出された部分（１ビット）が高精度成分となる。図８の高精度成分分離部２０２は、図９（ｃ）及び（ｄ）に示したように、ローパスフィルタ２０１からの出力信号から、高精度成分のｍビットを分離する処理を行う。そして、高精度成分付加部２０３は、高精度成分分離部２０２で分離されたｍビットを、原信号であるｎビットのデジタル信号の下位ビットに付加する処理を行う。
【００１２】
つまり、図１０（ａ）に示したようなｎビットの原信号において、量子化精度以下の信号は破線で示されたように削除されてしまっているが、ローパスフィルタ２０１を通すことにより図１０（ｂ）に示されたような、量子化精度以下の信号を含む信号が生成される。そして、高精度成分分離部２０２によって、図１０（ｃ）に示されたように高精度成分ｍビットが分離され、高精度成分付加部２０３によって、図１０（ｄ）に示されたように、図１０（ａ）に示した元のｎビットの信号に、図１０（ｃ）で分離されたｍビットの信号が付加された信号が生成される。このような処理を行うことによって、Ａ／Ｄ変換部での量子化ビット数を増やすことなく高精度成分を再生することができるようになる。
【００１３】
ところが、上述した手法では、特にエッジやノイズなどの高周波成分による影響を大きく受けてしまうという問題があった。また、量子化精度再生の効果を高めようとすると画質が破綻してしまうという問題があった。これらの問題を解決するため、高精度成分を検出して、検出された高精度成分の量に応じて高精度成分の再生効果を調整する手法が採られている。
【００１４】
特許文献１には、高精度成分を検出して、検出された高精度成分の量に応じて高精度成分の再生効果を調整することについての開示がある。
【特許文献１】特開２００６−２２２４７９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上述した量子化精度再生回路の構成例を、図１１に示してある。図１１に示された量子化精度再生回路には、図８に示した回路と同様に、Ａ／Ｄ変換器でデジタル信号に変換されてゲイン調整が行われた映像信号が入力される。
【００１６】
図１１に示した量子化精度再生回路は、ローパスフィルタ２０１、高精度成分分離部２０２、高精度成分付加部２０３、高周波検出部２０４、高周波成分調整出力部２０５で構成される。ローパスフィルタ２０１は、入力されたｎビットの原信号から、ｎ＋ｍビット長のデジタル信号を生成する。高精度成分分離部２０２は、ローパスフィルタ２０１から出力されたｎ′＋ｍビットの信号から、高精度成分であるｍビットの信号を分離する。高精度成分付加部２０３では、入力されたｎビットの原信号にｍビットの高精度成分信号を付加してｎ＋ｍビット長のデジタル信号を出力する。
【００１７】
ここまで説明した構成は、図８に示した量子化精度再生回路図と同一であるが、図１１に示した量子化精度回路は、ｎビットの原信号に含まれる高周波成分を検出する高周波検出部２０４と、高周波検出部２０４の検出結果に応じて量子化精度の再生効果を調整する高周波成分調整出力部２０５を有することを特徴とする。
【００１８】
高周波検出部２０４は、原信号に含まれる高周波成分を検出し、検出した高周波成分の大きさに応じた出力値を出力する。高周波成分調整出力部２０５は、高周波検出部２０４の出力値の大きさに応じたゲイン関数を生成し、生成したゲイン関数を用いて原信号と高精度成分が付与された量子化精度再生信号とのアルファブレンドを行う。或いは、原信号から生成した高精度成分に、高周波検出部２０４の検出結果に応じて生成されたゲインをかけ、この値を高精度成分付加部２０３から出力されたｎ＋ｍビット長の量子化精度再生信号に加算する。このような処理を行うことで、原信号の特性を限りなく残したまま量子化精度を再生することができる。
【００１９】
このような量子化精度再生回路では、高周波の検出精度が非常に重要となる。また、量子化精度の再生効果を高周波成分の検出結果に応じて適切に制御することも重要となる。これらの処理が適切に行われない場合には、生成した量子化精度再生信号の周波数特性が、原信号より劣化してしまうためである。この現象は、再生ビット数が多いほど顕著になる傾向がある。また、付加する再生ビット数が多くなる場合には、エッジなどの値が大きく変化する高周波部分の波形に、リンギングのような現象が生じてしまうことが確認されている。
【００２０】
ところが、このような現象を防ぐために、エッジやノイズ、絵柄等の様々な高周波成分をより精度良く検出する仕組みや、量子化精度再生効果の適切な制御を実現しようとすると、処理が非常に複雑になり、回路規模が大きくなってしまうという問題があった。例えば、ＪＰＥＧ（Joint Photographic Experts Group）などの処理で知られるＤＣＴ（離散コサイン変換）などは非常に有用であるものの、処理としては複雑であり、非常に大きな回路規模となってしまう。
【００２１】
本発明はかかる点に鑑みてなされたものであり、回路規模を大きくすることなく、適切な量子化精度再生を行うことを目的とする。
【課題を解決するための手段】
【００２２】
本発明は、撮像部と、撮像部で得た映像信号をデジタル信号に変換するアナログ・デジタル変換部を備えた撮像装置において量子化精度の再生を行う場合に、まず、アナログ・デジタル変換部から出力された映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得るようにした。そして、注目する画素からの変化量が所定の閾値の範囲内にある場合には周囲の画素の値に対してフィルタ演算を行い、注目する画素からの変化量が所定の閾値の範囲外である場合には注目する画素の値に対してフィルタ演算を行うことで、アナログ・デジタル変換部の量子化精度以下の高精度成分を含む出力信号を生成するようにした。そして、出力信号から高精度成分を分離し、分離した高精度成分をアナログ・デジタル変換部からの出力信号に付加するようにしたものである。
【００２３】
上述したフィルタ処理を行うことにより、高周波成分の影響を除去することが可能となり、また、アナログ・デジタル変換部出力の量子化精度以下の高精度成分を再生することができるようになる。
【発明の効果】
【００２４】
本発明によると、高周波検出部や高周波成分調整出力部などを追加で持つ必要がなくなるため、高周波成分の影響を除去しつつ、アナログ・デジタル変換部の量子化精度以下の高精度成分を再生することができるようになる。これにより、回路規模を最小限に抑えることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の一実施の形態を、図１〜図５を参照して説明する。図１は、本実施の形態における撮像装置を適用したビデオカメラの基本的な構成例のブロック図を示す。図１に示すビデオカメラは、イメージセンサ１，２，３と、ビデオアンプ４，５，６と、Ａ／Ｄ変換器７，８，９と、映像信号処理部１６と、マイクロコンピュータ１７と、操作部１８とを有する。映像信号処理部１６は、補正回路１０と、ゲイン調整回路１１と、量子化精度再生回路１２と、輝度調整回路１３と、ガンマ補正回路１４と、出力信号生成回路１５とで構成してある。
【００２６】
図１に示すビデオカメラにおいて、被写体の光学像は図示せぬレンズ等の光学系を介して、イメージセンサ１，２，３の受光部に入射され、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の色ごとに光電変換される。本例では、赤色用、緑色用及び青色用の３個のイメージセンサを備えているが、４色分のイメージセンサを備えていてもよく、この例に限るものではない。
【００２７】
イメージセンサ１，２，３は、被写体像から光電変換により映像信号を構成する各原色信号を各々生成し、それら３色の原色信号（Ｒ信号，Ｇ信号，Ｂ信号）をそれぞれビデオアンプ４，５，６に供給する。なお、上記映像信号は、動画及び静止画のいずれも適用可能である。
【００２８】
ビデオアンプ４，５，６は利得調整手段であり、一例としてＡＧＣ（Automatic Gain Control）回路などを適用することができる。ビデオアンプ４，５，６は、原色信号のゲインを調整し、そのゲインが調整された原色信号をそれぞれＡ／Ｄ変換器７，８，９に供給する。Ａ／Ｄ変換器７，８，９は、入力されたアナログ信号をデジタル信号に変換し、映像信号処理部１６に供給する。
【００２９】
本例では、映像信号処理部１６を、補正回路１０、ゲイン調整回路１１、量子化精度再生回路１２、輝度調整回路１３、ガンマ補正回路１４、出力信号生成回路１５から構成している。まず、上記ビデオアンプ４，５，６、Ａ／Ｄ変換器７，８，９によって適切なレベルに調節され、量子化されたＲ，Ｇ，Ｂの原色信号は、映像信号処理部１６の補正回路１０に入力される。
【００３０】
補正回路１０は、入力された３色の原色信号に対して補間処理、それに伴うフィルタ処理、シェーディング処理などの信号処理を行い、ゲイン調整回路１１に供給する。
【００３１】
ゲイン調整回路１１は、補正回路１０から入力される３色の原色信号のゲインを適切なレベルに調整して、ノイズ低減回路１２に供給する。
【００３２】
量子化精度再生回路１２は、ゲイン調整回路１１から入力される３色の原色信号に含まれる高周波成分の影響を排除しつつ、量子化精度を再生した信号を生成する。量子化精度再生回路１２の詳細説明については、後述する。
【００３３】
輝度調整回路１３は、映像信号を規定の範囲内に収めるために、量子化精度再生回路１２より入力される信号から輝度信号を抽出し、その輝度信号の高輝度域の振幅特性を抑えることによりイメージセンサ出力のダイナミックレンジを圧縮し、ガンマ補正回路１４へ供給する。
【００３４】
ガンマ補正回路１４は、輝度調整回路１３から入力される３色の原色信号の各々について、ＣＲＴ（Cathode Ray Tube）や液晶表示パネルなどのモニタ（受像機）のガンマ特性に合わせて補正を行い、ガンマ補正した各原色信号を出力信号生成回路１５に供給する。
【００３５】
出力信号生成回路１５は、ガンマ補正回路１４から入力される３色の原色信号を最終的な映像信号出力形式に変換し、外部へ出力する。一例として、出力信号生成回路１５は、ＮＴＳＣ（National Television System Committee）方式又はＰＡＬ（Phase Alternating Line）方式等の信号規格に沿うように、３色の原色信号を色差信号に変換し、図示せぬサブキャリア信号を用いて変調するエンコーダ回路としての機能を有する。さらに、出力すべき映像信号がアナログ信号である場合には、上記エンコーダ回路が出力した量子化された色差信号をアナログ信号に変換するＤ／Ａ変換器を備えた構成とする。
【００３６】
マイクロコンピュータ１７は、制御部の一例であり、映像信号処理部１６を構成する各回路を制御する。また、図示せぬレンズ等の光学系、ビデオアンプ４，５，６等の各部の動作を制御する。操作部１８は、ビデオカメラに配設されたボタンキーや当該ビデオカメラに搭載されたモニタの画面に表示されるアイコンに割り当てられたソフトキー等からなり、操作に応じた操作信号が図示せぬインターフェースを介してマイクロコンピュータ１７に入力される。マイクロコンピュータ１７は、利用者が操作部１８を操作して入力した操作信号、もしくは予め規定された設定等に基づいて、内蔵のＲＯＭ（Read Only Memory）等の不揮発性記憶部に記録されているコンピュータプログラムに従い、所定の演算及び各回路に対する制御を行う。
【００３７】
さらに、マイクロコンピュータ１７には、必要に応じて、図示せぬドライブ回路が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてマイクロコンピュータ１７に内蔵されるＲＡＭ等にインストールされるようにしてもよい。
【００３８】
上述のように構成されるビデオカメラにおいて、被写体像がイメージセンサ１，２，３で光電変換されて赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の原色信号が生成され、次いで、ビデオアンプ４，５，６とＡ／Ｄ変換器７，８，９によって適切なレベルのアナログ信号に調節され、量子化されてデジタル信号に変換される。量子化された各原色信号は補正回路１０、ゲイン調整回路１１によって適切な補正及びゲイン調整処理がなされた後、量子化精度再生回路１２に入力される。量子化精度再生回路１２に入力された信号は、高周波成分の影響が排除され、量子化精度が再生された上で、量子化精度再生信号として輝度調整回路１３に入力される。そして、輝度調整回路１３で適切な輝度圧縮処理がなされた後、ガンマ補正回路１４に入力され、ガンマ補正された各原色信号が出力信号生成回路１５によって最終的な映像信号出力形式に変換されて出力される。
【００３９】
次に、図１の構成中の量子化精度再生回路１２の構成例を、図２に示す。図２に示した量子化精度再生回路は、エッジ保持平滑化フィルタ１２１と、高精度成分分離部１２３と、高精度成分付加部１２４とで構成される。本例では、エッジ保持平滑化フィルタ１２１として、εフィルタを用いている。εフィルタは、信号における突発的大振幅変化成分を維持しながら、信号に加えられたランダム雑音などの小振幅信号を平滑化する特性を持つ。本例のエッジ保持平滑化フィルタ１２１は、フィルタ演算に使用する画素値のうち、注目画素値を基準とした場合の変化量が閾値以内である場合にはその画素値をフィルタ演算の対象とし、注目画素値からの変化量が閾値より上である場合には、注目画素値をフィルタ演算の対象として代用するものである。そして、このようにして求められた演算対象の画素値に対してフィルタ演算を行うことにより、量子化精度以下の高精度成分を含む信号を生成する。図３及び図４に、エッジ保持平滑化フィルタ１２１のフィルタ処理例を示してある。
【００４０】
本例では、フィルタの中心に位置する注目画素及び、その周辺に位置する４つの画素（合計５画素）に対してフィルタ処理を行うようにしてあり、図３（ａ）及び図４（ａ）において、フィルタ処理を行う各画素を点Ｐ０〜Ｐ５として示してある。また、図中にＴｈとして示した上下方向の矢印は、閾値の範囲を示している。なお、フィルタ処理の対象とする画素の個数は、５つに限定されるものではなく、任意の値に設定が可能であるものとする。
【００４１】
図３（ａ）においては画素Ｐ２を注目画素に設定してあり、注目画素Ｐ２と、その周辺に位置する画素Ｐ０，Ｐ１，Ｐ３，Ｐ４とが、フィルタ処理の対象となっている様子が示されている。画素Ｐ０とＰ１は、注目画素Ｐ２からの変化量が閾値Ｔｈの範囲内に収まっているため、画素Ｐ０とＰ１の値がそのままフィルタ演算の対象となる。これに対して画素Ｐ３とＰ４は、注目画素Ｐ２からの変化量が閾値Ｔｈの範囲を超えているため、注目画素Ｐ２がフィルタ演算の対象となる。図３（ｂ）には、フィルタ演算対象画素値の分布を示してあり、それぞれの画素値をＦ０〜Ｆ４として示してある。
【００４２】
図３（ａ）における画素値Ｐ０とＰ１は、注目画素値Ｐ２からの変化量が閾値Ｔｈの範囲内であるため、画素値Ｐ０，Ｐ１の値がそのままＦ０，Ｆ１として出力されている。画素値Ｐ３とＰ４は、注目画素値Ｐ２からの変化量が閾値Ｔｈの範囲を超えているため、注目画素値Ｐ２の値が使用され、画素値Ｆ３（＝Ｐ２），Ｆ４（＝Ｐ２）として出力されている。
【００４３】
図４（ａ）には、注目画素値がＰ２からＰ３に移動した場合の処理例について示してある。注目画素値がＰ３に設定されると、閾値Ｔｈも注目画素値Ｐ３を中心に設定されなおされる。注目画素値をＰ３とした場合は、周囲の画素のうち、画素Ｐ１とＰ４，Ｐ５が注目画素Ｐ３との変化量が閾値の範囲内にあるのに対し、画素Ｐ２との変化量が閾値の範囲外となる。このため、図４（ｂ）に示すように、注目画素Ｐ３との変化量が閾値Ｔｈの範囲内にある画素値Ｆ１，Ｆ４，Ｆ５は、それぞれ図４（ａ）における画素値Ｐ１，Ｐ４，Ｐ５の値をそのまま引継ぎ、画素値Ｆ２は、注目画素Ｐ３の値を代用している。
【００４４】
図５に、エッジ保持平滑化フィルタ１２１の処理例をフローチャートとして示してある。図５において、まず、注目画素の周囲画素の画素値における、注目画素の画素値からの変化量が抽出される（ステップＳ１）。そして、その変化量が閾値Ｔｈの範囲内であるか否かの判断がされる（ステップＳ２）。変化量が閾値Ｔｈの範囲内である場合には、周囲画素の画素値に対してフィルタ演算が行われ（ステップＳ３）、変化量が閾値Ｔｈを越える場合には、注目画素の画素値に対してフィルタ演算が行われる（ステップＳ４）。なお、フィルタ演算は、演算対象の画素値を決定する処理がフィルタのタップ数分繰り返された後に、最後に行うようにしてある。
【００４５】
このような処理が行われることにより、例えば図３（ａ）における画素値Ｐ２からＰ３への比較的大きな変化は維持されつつ、注目画素値を中心に設けられた閾値を基準とした比較的小さな振幅（高周波成分）が平滑化される。そして、この平滑化された信号を基に量子化精度以下の高精度成分が再生される。ここで生成される高精度成分を含む信号は、ランダムノイズ等に比べて、原信号との相関性が高いものとなる。
【００４６】
図２に戻って説明を続けると、エッジ保持平滑化フィルタ１２１に入力されたａビットのデジタル信号は、エッジ保持平滑化フィルタ１２１にて上述したような処理が行われることにより、ｂビットの高精度成分を含むａ′＋ｂビット長の信号として出力される。この信号は高精度成分分離部１２３に入力されて、高精度成分であるｂビットが分離され、高精度成分付加部１２４によって、原信号であるａビットの最下位ビット以下に、高精度成分分離部１２３で分離されたｂビットの信号が付加される。これにより、量子化精度を再生した信号を得ることができる。なお、高精度成分分離部１２３で分離するビット数は、任意のビット数に設定可能であるものとする。
【００４７】
このように構成することで、高周波成分の影響を排除しながら同時に量子化精度の再生も行えるようになるため、回路の規模を最小限に抑えることができるようになる。
【００４８】
また、εフィルタを用いることで高周波成分の影響を除去できるため、より適切な量子化精度再生を行うことができるようになる。
【００４９】
また、εフィルタでは信号における突発的大振幅変化成分が維持されるため、特にエッジやインパルス等の振幅に大きな変化がある部分においても、原信号との相関性の高い高精度成分を生成できるようになる。
【００５０】
なお、上述した実施の形態では、エッジ保持平滑型フィルタとしてεフィルタを用いた場合を例に上げて説明したが、エッジ保持平滑型フィルタと呼ばれるフィルタであれば、ガウシアンフィルタやボックスフィルタ等のバイラテラルフィルタや、他のフィルタを用いるようにしてもよい。
【００５１】
また、上述した実施の形態では、量子化精度再生回路を、撮像部及びアナログ・デジタル変換部を持つビデオカメラに適用した場合について説明したが、アナログ信号又はデジタル信号を入力して上述した信号処理（量子化精度再生処理）を行う信号処理装置や、上方処理装置等にも適用することが可能である。
【００５２】
情報処理装置としては、コンピュータや印刷装置、ゲーム装置、携帯情報端末（携帯型のコンピュータ、携帯電話機、携帯型ゲーム機、電子書籍等）、画像再生装置（光ディスク装置、ホームサーバ等）、モニタ、テレビジョン受像機、オーディオ信号再生装置等の装置が考えられる。
【００５３】
図６には、情報処理装置３１０に量子化精度再生回路３０４を搭載した例を示してある。図６に示した情報処理装置３１０は、送信装置３０１やメディア３０２から送信される放送信号や通信データを受信する外部インターフェース部３０６と、信号処理部３０５と、量子化精度再生回路３０４と、表示部３０３とを備える。なお、図６に示した例では情報処理装置３１０が表示部３０３を有する構成としたが、表示部を備えない情報処理装置に適用するようにしてもよい。
【図面の簡単な説明】
【００５４】
【図１】本発明の一実施の形態によるビデオカメラの内部構成例を示すブロック図である。
【図２】本発明の一実施の形態による量子化精度再生回路の構成例を示すブロック図である。
【図３】本発明の一実施の形態によるエッジ保持平滑化フィルタのフィルタ処理例を示す特性図である。
【図４】本発明の一実施の形態によるエッジ保持平滑化フィルタのフィルタ処理例を示す特性図である。
【図５】本発明の一実施の形態によるエッジ保持平滑化フィルタのフィルタ処理例を示すフローチャートである。
【図６】本発明の他の形態による情報処理装置の構成例を示す説明図である。
【図７】従来のＡ／Ｄ変換器での高周波成分消失の例を示す特性図であり、（ａ）はＡ／Ｄ変換器入力前の特性であり、（ｂ）はＡ／Ｄ変換器からの出力時の特性である。
【図８】従来の量子化精度再生回路の構成例を示すブロック図である。
【図９】従来の量子化精度再生処理を示す説明図である。
【図１０】従来の量子化精度再生処理を示す説明図である。
【図１１】従来の量子化精度再生回路の構成例を示すブロック図である。
【符号の説明】
【００５５】
１，２，３…イメージセンサ、４，５，６…ビデオアンプ、７，８，９…Ａ／Ｄ変換器、１０…補正回路、１１…ゲイン調整回路、１２…量子化精度再生回路、１３…輝度調整回路、１４…ガンマ補正回路、１５…出力信号生成回路、１６…映像信号処理部、１７…マイクロコンピュータ、１８…操作部、１２１…エッジ保持平滑化フィルタ、１２３…高精度成分分離部、１２４…高精度成分付加部
【技術分野】
【０００１】
本発明は、撮像装置、信号処理回路、信号処理装置、信号処理方法及びコンピュータプログラムに関し、特にデジタル出力された映像信号から、原信号が有する量子化精度以下の情報を再生するものに適用される技術に関する。
【背景技術】
【０００２】
アナログ信号をデジタル信号に変換する場合、デジタル信号の情報量は、サンプリング周波数と量子化ビット数とで決定される。サンプリング周波数は、ナイキストの定理により表現できる最大の周波数を決定し、量子化ビット数は、振幅方向の精度を決定する。すなわち、量子化ビット数は、デジタル信号の最小の変化量を決定する。量子化ビット数により決定された最小の変化量が表現する信号に対して大きすぎる場合は、いわゆる量子化歪が人間に知覚されてしまう。
【０００３】
このため、量子化歪みを目立たせないように、予めアナログ／デジタル変換器（以下、Ａ／Ｄ変換器と称する）に入力するアナログ信号のダイナミックレンジを、Ａ／Ｄ変換器のダイナミックレンジに適合させることが行われる。ところがこのような処理が行われると、原信号が有する量子化精度以下の情報が消失してしまうという問題があった。
【０００４】
図７（ａ）には、Ａ／Ｄ変換器に入力されるアナログ信号の波形の例を示してあり、図７（ｂ）には、Ａ／Ｄ変換器に入力されたアナログ信号のダイナミックレンジを、Ａ／Ｄ変換器のダイナミックレンジに合わせこんだ場合の信号波形の例を示してある。この例では、Ａ／Ｄ変換器の量子化ビット数を８ビットとしてある。図７（ｂ）に示した例では、図中に矢印で示した８ビットの範囲を越える高精度部分の情報は、Ａ／Ｄ変換器を通ることにより消失してしまうことが示されている。
【０００５】
また、ビデオカメラ等におけるデジタル信号処理の段階で、デジタル信号の最小の変化量が、表現する信号に対して大きくなりすぎてしまう現象が発生してしまうことがある。例えば、暗い場所で撮影を行う場合等に大幅なゲイン調整が行われた場合には、原信号の最下位ビットデータが上位ビットに持ち上げられることになる。その結果、表現される映像における階調感が不足してしまうという問題があった。モニタのガンマ特性に合わせて、３色の原色信号のガンマ特性を補正するガンマ補正においても、同様の問題が起こりうる。
【０００６】
このような問題があるなかで、出力信号において階調を滑らかに表現するには、量子化ビット数を多く取ることが有効な手段となる。しかし、Ａ／Ｄ変換器の性能は一般に限られており、量子化ビット数を任意に増加させることは非常に難しい。また、製造原価の観点から量子化ビット数の大きいＡ／Ｄ変換器を用いることができない場合もある。
【０００７】
Ａ／Ｄ変換器における量子化ビット数を増やすことなく、これらの問題を解決する手法としては、例えば、Ａ／Ｄ変換器からの出力信号の最下位ビットの方向にビット数を拡張し、拡張した部分にランダムノイズを挿入する手法がある。また他には、Ａ／Ｄ変換器に入力される原信号の情報を保持したまま、Ａ／Ｄ変換後のデジタル信号から、原信号の量子化精度以下の高精度成分を再生する手法も採られている。
【０００８】
図８には、原信号の量子化精度以下の高精度成分を再生する場合の回路構成例を示してある。量子化精度以下の高精度成分を再生する回路のことを、以降、量子化精度再生回路と称する。この回路は、例えばビデオカメラ等に適用されるものであり、Ａ／Ｄ変換された原信号或いはゲインが大幅に調整されたデジタル信号において、最下位ビットが持ち上げられたために起こる階調不足を補正するために、ｎビットの原信号から最下位ビット以下の高精度成分ｍビットを生成し、量子化ビット数をｎ＋ｍビットとする処理を行う。
【０００９】
量子化精度再生回路は、例えばローパスフィルタ２０１と、高精度成分分離部２０２と、高精度成分付加部２０３で構成される。ローパスフィルタ２０１は、量子化精度以下の信号成分（高精度成分）を含むｎ′＋ｍビット長のデジタル信号を生成する。図９に、ｍ＝１とした場合のローパスフィルタ２０１の出力例を示してある。図９に示した例では、原信号をデジタル化して得たデジタル信号の信号長ｎが、８ビットであるものとしてある。
【００１０】
ローパスフィルタ２０１では、２つのデジタル信号の平均値を算出することにより、原信号の量子化精度以下のビット情報を含む信号を出力する。図９（ａ）−１及び図９（ａ）−２は、処理対象となる２つのデジタル信号を示している。それぞれ８ビットのデジタル信号であるが、加算処理が行われることにより、図９（ｂ）に示したように９ビットの出力信号となる。つまり、ローパスフィルタ２０１を通すことにより、ｎ（８）＋ｍ（１）ビット＝９ビット長の信号が生成される。
【００１１】
図９において垂直方向に引かれた破線は、小数点の位置を示しており、図９（ｂ）に示した信号に対して除算処理を行うことで、信号は図９（ｃ）に示されたように桁が調整される。そして、図９（ｃ）において小数点以下として算出された部分（１ビット）が高精度成分となる。図８の高精度成分分離部２０２は、図９（ｃ）及び（ｄ）に示したように、ローパスフィルタ２０１からの出力信号から、高精度成分のｍビットを分離する処理を行う。そして、高精度成分付加部２０３は、高精度成分分離部２０２で分離されたｍビットを、原信号であるｎビットのデジタル信号の下位ビットに付加する処理を行う。
【００１２】
つまり、図１０（ａ）に示したようなｎビットの原信号において、量子化精度以下の信号は破線で示されたように削除されてしまっているが、ローパスフィルタ２０１を通すことにより図１０（ｂ）に示されたような、量子化精度以下の信号を含む信号が生成される。そして、高精度成分分離部２０２によって、図１０（ｃ）に示されたように高精度成分ｍビットが分離され、高精度成分付加部２０３によって、図１０（ｄ）に示されたように、図１０（ａ）に示した元のｎビットの信号に、図１０（ｃ）で分離されたｍビットの信号が付加された信号が生成される。このような処理を行うことによって、Ａ／Ｄ変換部での量子化ビット数を増やすことなく高精度成分を再生することができるようになる。
【００１３】
ところが、上述した手法では、特にエッジやノイズなどの高周波成分による影響を大きく受けてしまうという問題があった。また、量子化精度再生の効果を高めようとすると画質が破綻してしまうという問題があった。これらの問題を解決するため、高精度成分を検出して、検出された高精度成分の量に応じて高精度成分の再生効果を調整する手法が採られている。
【００１４】
特許文献１には、高精度成分を検出して、検出された高精度成分の量に応じて高精度成分の再生効果を調整することについての開示がある。
【特許文献１】特開２００６−２２２４７９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上述した量子化精度再生回路の構成例を、図１１に示してある。図１１に示された量子化精度再生回路には、図８に示した回路と同様に、Ａ／Ｄ変換器でデジタル信号に変換されてゲイン調整が行われた映像信号が入力される。
【００１６】
図１１に示した量子化精度再生回路は、ローパスフィルタ２０１、高精度成分分離部２０２、高精度成分付加部２０３、高周波検出部２０４、高周波成分調整出力部２０５で構成される。ローパスフィルタ２０１は、入力されたｎビットの原信号から、ｎ＋ｍビット長のデジタル信号を生成する。高精度成分分離部２０２は、ローパスフィルタ２０１から出力されたｎ′＋ｍビットの信号から、高精度成分であるｍビットの信号を分離する。高精度成分付加部２０３では、入力されたｎビットの原信号にｍビットの高精度成分信号を付加してｎ＋ｍビット長のデジタル信号を出力する。
【００１７】
ここまで説明した構成は、図８に示した量子化精度再生回路図と同一であるが、図１１に示した量子化精度回路は、ｎビットの原信号に含まれる高周波成分を検出する高周波検出部２０４と、高周波検出部２０４の検出結果に応じて量子化精度の再生効果を調整する高周波成分調整出力部２０５を有することを特徴とする。
【００１８】
高周波検出部２０４は、原信号に含まれる高周波成分を検出し、検出した高周波成分の大きさに応じた出力値を出力する。高周波成分調整出力部２０５は、高周波検出部２０４の出力値の大きさに応じたゲイン関数を生成し、生成したゲイン関数を用いて原信号と高精度成分が付与された量子化精度再生信号とのアルファブレンドを行う。或いは、原信号から生成した高精度成分に、高周波検出部２０４の検出結果に応じて生成されたゲインをかけ、この値を高精度成分付加部２０３から出力されたｎ＋ｍビット長の量子化精度再生信号に加算する。このような処理を行うことで、原信号の特性を限りなく残したまま量子化精度を再生することができる。
【００１９】
このような量子化精度再生回路では、高周波の検出精度が非常に重要となる。また、量子化精度の再生効果を高周波成分の検出結果に応じて適切に制御することも重要となる。これらの処理が適切に行われない場合には、生成した量子化精度再生信号の周波数特性が、原信号より劣化してしまうためである。この現象は、再生ビット数が多いほど顕著になる傾向がある。また、付加する再生ビット数が多くなる場合には、エッジなどの値が大きく変化する高周波部分の波形に、リンギングのような現象が生じてしまうことが確認されている。
【００２０】
ところが、このような現象を防ぐために、エッジやノイズ、絵柄等の様々な高周波成分をより精度良く検出する仕組みや、量子化精度再生効果の適切な制御を実現しようとすると、処理が非常に複雑になり、回路規模が大きくなってしまうという問題があった。例えば、ＪＰＥＧ（Joint Photographic Experts Group）などの処理で知られるＤＣＴ（離散コサイン変換）などは非常に有用であるものの、処理としては複雑であり、非常に大きな回路規模となってしまう。
【００２１】
本発明はかかる点に鑑みてなされたものであり、回路規模を大きくすることなく、適切な量子化精度再生を行うことを目的とする。
【課題を解決するための手段】
【００２２】
本発明は、撮像部と、撮像部で得た映像信号をデジタル信号に変換するアナログ・デジタル変換部を備えた撮像装置において量子化精度の再生を行う場合に、まず、アナログ・デジタル変換部から出力された映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得るようにした。そして、注目する画素からの変化量が所定の閾値の範囲内にある場合には周囲の画素の値に対してフィルタ演算を行い、注目する画素からの変化量が所定の閾値の範囲外である場合には注目する画素の値に対してフィルタ演算を行うことで、アナログ・デジタル変換部の量子化精度以下の高精度成分を含む出力信号を生成するようにした。そして、出力信号から高精度成分を分離し、分離した高精度成分をアナログ・デジタル変換部からの出力信号に付加するようにしたものである。
【００２３】
上述したフィルタ処理を行うことにより、高周波成分の影響を除去することが可能となり、また、アナログ・デジタル変換部出力の量子化精度以下の高精度成分を再生することができるようになる。
【発明の効果】
【００２４】
本発明によると、高周波検出部や高周波成分調整出力部などを追加で持つ必要がなくなるため、高周波成分の影響を除去しつつ、アナログ・デジタル変換部の量子化精度以下の高精度成分を再生することができるようになる。これにより、回路規模を最小限に抑えることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の一実施の形態を、図１〜図５を参照して説明する。図１は、本実施の形態における撮像装置を適用したビデオカメラの基本的な構成例のブロック図を示す。図１に示すビデオカメラは、イメージセンサ１，２，３と、ビデオアンプ４，５，６と、Ａ／Ｄ変換器７，８，９と、映像信号処理部１６と、マイクロコンピュータ１７と、操作部１８とを有する。映像信号処理部１６は、補正回路１０と、ゲイン調整回路１１と、量子化精度再生回路１２と、輝度調整回路１３と、ガンマ補正回路１４と、出力信号生成回路１５とで構成してある。
【００２６】
図１に示すビデオカメラにおいて、被写体の光学像は図示せぬレンズ等の光学系を介して、イメージセンサ１，２，３の受光部に入射され、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の色ごとに光電変換される。本例では、赤色用、緑色用及び青色用の３個のイメージセンサを備えているが、４色分のイメージセンサを備えていてもよく、この例に限るものではない。
【００２７】
イメージセンサ１，２，３は、被写体像から光電変換により映像信号を構成する各原色信号を各々生成し、それら３色の原色信号（Ｒ信号，Ｇ信号，Ｂ信号）をそれぞれビデオアンプ４，５，６に供給する。なお、上記映像信号は、動画及び静止画のいずれも適用可能である。
【００２８】
ビデオアンプ４，５，６は利得調整手段であり、一例としてＡＧＣ（Automatic Gain Control）回路などを適用することができる。ビデオアンプ４，５，６は、原色信号のゲインを調整し、そのゲインが調整された原色信号をそれぞれＡ／Ｄ変換器７，８，９に供給する。Ａ／Ｄ変換器７，８，９は、入力されたアナログ信号をデジタル信号に変換し、映像信号処理部１６に供給する。
【００２９】
本例では、映像信号処理部１６を、補正回路１０、ゲイン調整回路１１、量子化精度再生回路１２、輝度調整回路１３、ガンマ補正回路１４、出力信号生成回路１５から構成している。まず、上記ビデオアンプ４，５，６、Ａ／Ｄ変換器７，８，９によって適切なレベルに調節され、量子化されたＲ，Ｇ，Ｂの原色信号は、映像信号処理部１６の補正回路１０に入力される。
【００３０】
補正回路１０は、入力された３色の原色信号に対して補間処理、それに伴うフィルタ処理、シェーディング処理などの信号処理を行い、ゲイン調整回路１１に供給する。
【００３１】
ゲイン調整回路１１は、補正回路１０から入力される３色の原色信号のゲインを適切なレベルに調整して、ノイズ低減回路１２に供給する。
【００３２】
量子化精度再生回路１２は、ゲイン調整回路１１から入力される３色の原色信号に含まれる高周波成分の影響を排除しつつ、量子化精度を再生した信号を生成する。量子化精度再生回路１２の詳細説明については、後述する。
【００３３】
輝度調整回路１３は、映像信号を規定の範囲内に収めるために、量子化精度再生回路１２より入力される信号から輝度信号を抽出し、その輝度信号の高輝度域の振幅特性を抑えることによりイメージセンサ出力のダイナミックレンジを圧縮し、ガンマ補正回路１４へ供給する。
【００３４】
ガンマ補正回路１４は、輝度調整回路１３から入力される３色の原色信号の各々について、ＣＲＴ（Cathode Ray Tube）や液晶表示パネルなどのモニタ（受像機）のガンマ特性に合わせて補正を行い、ガンマ補正した各原色信号を出力信号生成回路１５に供給する。
【００３５】
出力信号生成回路１５は、ガンマ補正回路１４から入力される３色の原色信号を最終的な映像信号出力形式に変換し、外部へ出力する。一例として、出力信号生成回路１５は、ＮＴＳＣ（National Television System Committee）方式又はＰＡＬ（Phase Alternating Line）方式等の信号規格に沿うように、３色の原色信号を色差信号に変換し、図示せぬサブキャリア信号を用いて変調するエンコーダ回路としての機能を有する。さらに、出力すべき映像信号がアナログ信号である場合には、上記エンコーダ回路が出力した量子化された色差信号をアナログ信号に変換するＤ／Ａ変換器を備えた構成とする。
【００３６】
マイクロコンピュータ１７は、制御部の一例であり、映像信号処理部１６を構成する各回路を制御する。また、図示せぬレンズ等の光学系、ビデオアンプ４，５，６等の各部の動作を制御する。操作部１８は、ビデオカメラに配設されたボタンキーや当該ビデオカメラに搭載されたモニタの画面に表示されるアイコンに割り当てられたソフトキー等からなり、操作に応じた操作信号が図示せぬインターフェースを介してマイクロコンピュータ１７に入力される。マイクロコンピュータ１７は、利用者が操作部１８を操作して入力した操作信号、もしくは予め規定された設定等に基づいて、内蔵のＲＯＭ（Read Only Memory）等の不揮発性記憶部に記録されているコンピュータプログラムに従い、所定の演算及び各回路に対する制御を行う。
【００３７】
さらに、マイクロコンピュータ１７には、必要に応じて、図示せぬドライブ回路が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてマイクロコンピュータ１７に内蔵されるＲＡＭ等にインストールされるようにしてもよい。
【００３８】
上述のように構成されるビデオカメラにおいて、被写体像がイメージセンサ１，２，３で光電変換されて赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の原色信号が生成され、次いで、ビデオアンプ４，５，６とＡ／Ｄ変換器７，８，９によって適切なレベルのアナログ信号に調節され、量子化されてデジタル信号に変換される。量子化された各原色信号は補正回路１０、ゲイン調整回路１１によって適切な補正及びゲイン調整処理がなされた後、量子化精度再生回路１２に入力される。量子化精度再生回路１２に入力された信号は、高周波成分の影響が排除され、量子化精度が再生された上で、量子化精度再生信号として輝度調整回路１３に入力される。そして、輝度調整回路１３で適切な輝度圧縮処理がなされた後、ガンマ補正回路１４に入力され、ガンマ補正された各原色信号が出力信号生成回路１５によって最終的な映像信号出力形式に変換されて出力される。
【００３９】
次に、図１の構成中の量子化精度再生回路１２の構成例を、図２に示す。図２に示した量子化精度再生回路は、エッジ保持平滑化フィルタ１２１と、高精度成分分離部１２３と、高精度成分付加部１２４とで構成される。本例では、エッジ保持平滑化フィルタ１２１として、εフィルタを用いている。εフィルタは、信号における突発的大振幅変化成分を維持しながら、信号に加えられたランダム雑音などの小振幅信号を平滑化する特性を持つ。本例のエッジ保持平滑化フィルタ１２１は、フィルタ演算に使用する画素値のうち、注目画素値を基準とした場合の変化量が閾値以内である場合にはその画素値をフィルタ演算の対象とし、注目画素値からの変化量が閾値より上である場合には、注目画素値をフィルタ演算の対象として代用するものである。そして、このようにして求められた演算対象の画素値に対してフィルタ演算を行うことにより、量子化精度以下の高精度成分を含む信号を生成する。図３及び図４に、エッジ保持平滑化フィルタ１２１のフィルタ処理例を示してある。
【００４０】
本例では、フィルタの中心に位置する注目画素及び、その周辺に位置する４つの画素（合計５画素）に対してフィルタ処理を行うようにしてあり、図３（ａ）及び図４（ａ）において、フィルタ処理を行う各画素を点Ｐ０〜Ｐ５として示してある。また、図中にＴｈとして示した上下方向の矢印は、閾値の範囲を示している。なお、フィルタ処理の対象とする画素の個数は、５つに限定されるものではなく、任意の値に設定が可能であるものとする。
【００４１】
図３（ａ）においては画素Ｐ２を注目画素に設定してあり、注目画素Ｐ２と、その周辺に位置する画素Ｐ０，Ｐ１，Ｐ３，Ｐ４とが、フィルタ処理の対象となっている様子が示されている。画素Ｐ０とＰ１は、注目画素Ｐ２からの変化量が閾値Ｔｈの範囲内に収まっているため、画素Ｐ０とＰ１の値がそのままフィルタ演算の対象となる。これに対して画素Ｐ３とＰ４は、注目画素Ｐ２からの変化量が閾値Ｔｈの範囲を超えているため、注目画素Ｐ２がフィルタ演算の対象となる。図３（ｂ）には、フィルタ演算対象画素値の分布を示してあり、それぞれの画素値をＦ０〜Ｆ４として示してある。
【００４２】
図３（ａ）における画素値Ｐ０とＰ１は、注目画素値Ｐ２からの変化量が閾値Ｔｈの範囲内であるため、画素値Ｐ０，Ｐ１の値がそのままＦ０，Ｆ１として出力されている。画素値Ｐ３とＰ４は、注目画素値Ｐ２からの変化量が閾値Ｔｈの範囲を超えているため、注目画素値Ｐ２の値が使用され、画素値Ｆ３（＝Ｐ２），Ｆ４（＝Ｐ２）として出力されている。
【００４３】
図４（ａ）には、注目画素値がＰ２からＰ３に移動した場合の処理例について示してある。注目画素値がＰ３に設定されると、閾値Ｔｈも注目画素値Ｐ３を中心に設定されなおされる。注目画素値をＰ３とした場合は、周囲の画素のうち、画素Ｐ１とＰ４，Ｐ５が注目画素Ｐ３との変化量が閾値の範囲内にあるのに対し、画素Ｐ２との変化量が閾値の範囲外となる。このため、図４（ｂ）に示すように、注目画素Ｐ３との変化量が閾値Ｔｈの範囲内にある画素値Ｆ１，Ｆ４，Ｆ５は、それぞれ図４（ａ）における画素値Ｐ１，Ｐ４，Ｐ５の値をそのまま引継ぎ、画素値Ｆ２は、注目画素Ｐ３の値を代用している。
【００４４】
図５に、エッジ保持平滑化フィルタ１２１の処理例をフローチャートとして示してある。図５において、まず、注目画素の周囲画素の画素値における、注目画素の画素値からの変化量が抽出される（ステップＳ１）。そして、その変化量が閾値Ｔｈの範囲内であるか否かの判断がされる（ステップＳ２）。変化量が閾値Ｔｈの範囲内である場合には、周囲画素の画素値に対してフィルタ演算が行われ（ステップＳ３）、変化量が閾値Ｔｈを越える場合には、注目画素の画素値に対してフィルタ演算が行われる（ステップＳ４）。なお、フィルタ演算は、演算対象の画素値を決定する処理がフィルタのタップ数分繰り返された後に、最後に行うようにしてある。
【００４５】
このような処理が行われることにより、例えば図３（ａ）における画素値Ｐ２からＰ３への比較的大きな変化は維持されつつ、注目画素値を中心に設けられた閾値を基準とした比較的小さな振幅（高周波成分）が平滑化される。そして、この平滑化された信号を基に量子化精度以下の高精度成分が再生される。ここで生成される高精度成分を含む信号は、ランダムノイズ等に比べて、原信号との相関性が高いものとなる。
【００４６】
図２に戻って説明を続けると、エッジ保持平滑化フィルタ１２１に入力されたａビットのデジタル信号は、エッジ保持平滑化フィルタ１２１にて上述したような処理が行われることにより、ｂビットの高精度成分を含むａ′＋ｂビット長の信号として出力される。この信号は高精度成分分離部１２３に入力されて、高精度成分であるｂビットが分離され、高精度成分付加部１２４によって、原信号であるａビットの最下位ビット以下に、高精度成分分離部１２３で分離されたｂビットの信号が付加される。これにより、量子化精度を再生した信号を得ることができる。なお、高精度成分分離部１２３で分離するビット数は、任意のビット数に設定可能であるものとする。
【００４７】
このように構成することで、高周波成分の影響を排除しながら同時に量子化精度の再生も行えるようになるため、回路の規模を最小限に抑えることができるようになる。
【００４８】
また、εフィルタを用いることで高周波成分の影響を除去できるため、より適切な量子化精度再生を行うことができるようになる。
【００４９】
また、εフィルタでは信号における突発的大振幅変化成分が維持されるため、特にエッジやインパルス等の振幅に大きな変化がある部分においても、原信号との相関性の高い高精度成分を生成できるようになる。
【００５０】
なお、上述した実施の形態では、エッジ保持平滑型フィルタとしてεフィルタを用いた場合を例に上げて説明したが、エッジ保持平滑型フィルタと呼ばれるフィルタであれば、ガウシアンフィルタやボックスフィルタ等のバイラテラルフィルタや、他のフィルタを用いるようにしてもよい。
【００５１】
また、上述した実施の形態では、量子化精度再生回路を、撮像部及びアナログ・デジタル変換部を持つビデオカメラに適用した場合について説明したが、アナログ信号又はデジタル信号を入力して上述した信号処理（量子化精度再生処理）を行う信号処理装置や、上方処理装置等にも適用することが可能である。
【００５２】
情報処理装置としては、コンピュータや印刷装置、ゲーム装置、携帯情報端末（携帯型のコンピュータ、携帯電話機、携帯型ゲーム機、電子書籍等）、画像再生装置（光ディスク装置、ホームサーバ等）、モニタ、テレビジョン受像機、オーディオ信号再生装置等の装置が考えられる。
【００５３】
図６には、情報処理装置３１０に量子化精度再生回路３０４を搭載した例を示してある。図６に示した情報処理装置３１０は、送信装置３０１やメディア３０２から送信される放送信号や通信データを受信する外部インターフェース部３０６と、信号処理部３０５と、量子化精度再生回路３０４と、表示部３０３とを備える。なお、図６に示した例では情報処理装置３１０が表示部３０３を有する構成としたが、表示部を備えない情報処理装置に適用するようにしてもよい。
【図面の簡単な説明】
【００５４】
【図１】本発明の一実施の形態によるビデオカメラの内部構成例を示すブロック図である。
【図２】本発明の一実施の形態による量子化精度再生回路の構成例を示すブロック図である。
【図３】本発明の一実施の形態によるエッジ保持平滑化フィルタのフィルタ処理例を示す特性図である。
【図４】本発明の一実施の形態によるエッジ保持平滑化フィルタのフィルタ処理例を示す特性図である。
【図５】本発明の一実施の形態によるエッジ保持平滑化フィルタのフィルタ処理例を示すフローチャートである。
【図６】本発明の他の形態による情報処理装置の構成例を示す説明図である。
【図７】従来のＡ／Ｄ変換器での高周波成分消失の例を示す特性図であり、（ａ）はＡ／Ｄ変換器入力前の特性であり、（ｂ）はＡ／Ｄ変換器からの出力時の特性である。
【図８】従来の量子化精度再生回路の構成例を示すブロック図である。
【図９】従来の量子化精度再生処理を示す説明図である。
【図１０】従来の量子化精度再生処理を示す説明図である。
【図１１】従来の量子化精度再生回路の構成例を示すブロック図である。
【符号の説明】
【００５５】
１，２，３…イメージセンサ、４，５，６…ビデオアンプ、７，８，９…Ａ／Ｄ変換器、１０…補正回路、１１…ゲイン調整回路、１２…量子化精度再生回路、１３…輝度調整回路、１４…ガンマ補正回路、１５…出力信号生成回路、１６…映像信号処理部、１７…マイクロコンピュータ、１８…操作部、１２１…エッジ保持平滑化フィルタ、１２３…高精度成分分離部、１２４…高精度成分付加部
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部で得た映像信号をデジタル信号に変換するアナログ・デジタル変換部を備えた撮像装置において、
前記アナログ・デジタル変換部から出力された前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、前記注目する画素からの変化量が所定の閾値の範囲内にある場合には前記周囲の画素の値に対してフィルタ演算を行い、前記注目する画素からの変化量が所定の閾値の範囲外である場合には前記注目する画素の値に対してフィルタ演算を行うことで、前記アナログ・デジタル変換部の量子化精度以下の高精度成分を含む出力信号を生成するエッジ保持平滑化フィルタと、
前記エッジ保持平滑化フィルタからの出力信号から、前記高精度成分を分離する高精度成分分離部と、
前記アナログ・デジタル変換部からの出力信号に、前記高精度成分分離部で分離された前記高精度成分を付加して出力する高精度成分付加部とを備えたことを特徴とする
撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記エッジ保持平滑化フィルタは、εフィルタであることを特徴とする
撮像装置。
【請求項３】
請求項１記載の撮像装置において、
前記エッジ保持平滑化フィルタは、バイラテラルフィルタであることを特徴とする
撮像装置。
【請求項４】
請求項１記載の撮像装置において、
前記高精度成分付加部は、前記高精度成分分離部で分離された高精度成分を、前記アナログ・デジタル変換部から出力された映像信号の最下位ビット以下に付加することを特徴とする
撮像装置。
【請求項５】
請求項１記載の撮像装置において、
前記高精度成分分離部は、前記エッジ保持平滑化フィルタからの出力信号から、予め定められた所定ビット数の高精度成分を分離することを特徴とする
撮像装置。
【請求項６】
入力されたデジタル信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、前前記注目する画素からの変化量が所定の閾値の範囲内にある場合には前記周囲の画素の値に対してフィルタ演算を行い、前前記注目する画素からの変化量が所定の閾値の範囲外である場合には前記注目する画素の値に対してフィルタ演算を行うことで、前記入力されたデジタル信号の量子化精度以下の高精度成分を含む出力信号を生成するエッジ保持平滑化フィルタと、
前記エッジ保持平滑化フィルタからの出力信号から、前記高精度成分を分離する高精度成分分離部と、
前記入力されたデジタル信号に、前記高精度成分分離部で分離された前記高精度成分を付加して出力する高精度成分付加部とを備えたことを特徴とする
信号処理回路。
【請求項７】
入力されたデジタル信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、前前記注目する画素からの変化量が所定の閾値の範囲内にある場合には前記周囲の画素の値に対してフィルタ演算を行い、前前記注目する画素からの変化量が所定の閾値の範囲外である場合には前記注目する画素の値に対してフィルタ演算を行うことで、前記入力されたデジタル信号の量子化精度以下の高精度成分を含む出力信号を生成するエッジ保持平滑化フィルタと、
前記エッジ保持平滑化フィルタからの出力信号から、前記高精度成分を分離する高精度成分分離部と、
前記入力されたデジタル信号に、前記高精度成分分離部で分離された前記高精度成分を付加して出力する高精度成分付加部とを備えたことを特徴とする
信号処理装置。
【請求項８】
入力されたデジタル信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、前前記注目する画素からの変化量が所定の閾値の範囲内にある場合には前記周囲の画素の値に対してフィルタ演算を行い、前前記注目する画素からの変化量が所定の閾値の範囲外である場合には前記注目する画素の値に対してフィルタ演算を行うことで、前記デジタル信号の量子化精度以下の高精度成分を含む出力信号を生成する手順と、
前記高精度成分を含む出力信号から前記高精度成分を分離する手順と、
前記デジタル信号に、前記分離された高精度成分を付加して出力する手順とを備えたことを特徴とする
信号処理方法。
【請求項９】
入力されたデジタル信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、前前記注目する画素からの変化量が所定の閾値の範囲内にある場合には前記周囲の画素の値に対してフィルタ演算を行い、前前記注目する画素からの変化量が所定の閾値の範囲外である場合には前記注目する画素の値に対してフィルタ演算を行うことで、前記デジタル信号に変換時の量子化精度以下の高精度成分を含む出力信号を生成する処理と、
前記高精度成分を含む出力信号から前記高精度成分を分離する処理と、
前記入力されたデジタル信号に、前記分離された高精度成分を付加して出力する処理とをコンピュータに実行させる
コンピュータプログラム。
【請求項１】
撮像部と、
前記撮像部で得た映像信号をデジタル信号に変換するアナログ・デジタル変換部を備えた撮像装置において、
前記アナログ・デジタル変換部から出力された前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、前記注目する画素からの変化量が所定の閾値の範囲内にある場合には前記周囲の画素の値に対してフィルタ演算を行い、前記注目する画素からの変化量が所定の閾値の範囲外である場合には前記注目する画素の値に対してフィルタ演算を行うことで、前記アナログ・デジタル変換部の量子化精度以下の高精度成分を含む出力信号を生成するエッジ保持平滑化フィルタと、
前記エッジ保持平滑化フィルタからの出力信号から、前記高精度成分を分離する高精度成分分離部と、
前記アナログ・デジタル変換部からの出力信号に、前記高精度成分分離部で分離された前記高精度成分を付加して出力する高精度成分付加部とを備えたことを特徴とする
撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記エッジ保持平滑化フィルタは、εフィルタであることを特徴とする
撮像装置。
【請求項３】
請求項１記載の撮像装置において、
前記エッジ保持平滑化フィルタは、バイラテラルフィルタであることを特徴とする
撮像装置。
【請求項４】
請求項１記載の撮像装置において、
前記高精度成分付加部は、前記高精度成分分離部で分離された高精度成分を、前記アナログ・デジタル変換部から出力された映像信号の最下位ビット以下に付加することを特徴とする
撮像装置。
【請求項５】
請求項１記載の撮像装置において、
前記高精度成分分離部は、前記エッジ保持平滑化フィルタからの出力信号から、予め定められた所定ビット数の高精度成分を分離することを特徴とする
撮像装置。
【請求項６】
入力されたデジタル信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、前前記注目する画素からの変化量が所定の閾値の範囲内にある場合には前記周囲の画素の値に対してフィルタ演算を行い、前前記注目する画素からの変化量が所定の閾値の範囲外である場合には前記注目する画素の値に対してフィルタ演算を行うことで、前記入力されたデジタル信号の量子化精度以下の高精度成分を含む出力信号を生成するエッジ保持平滑化フィルタと、
前記エッジ保持平滑化フィルタからの出力信号から、前記高精度成分を分離する高精度成分分離部と、
前記入力されたデジタル信号に、前記高精度成分分離部で分離された前記高精度成分を付加して出力する高精度成分付加部とを備えたことを特徴とする
信号処理回路。
【請求項７】
入力されたデジタル信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、前前記注目する画素からの変化量が所定の閾値の範囲内にある場合には前記周囲の画素の値に対してフィルタ演算を行い、前前記注目する画素からの変化量が所定の閾値の範囲外である場合には前記注目する画素の値に対してフィルタ演算を行うことで、前記入力されたデジタル信号の量子化精度以下の高精度成分を含む出力信号を生成するエッジ保持平滑化フィルタと、
前記エッジ保持平滑化フィルタからの出力信号から、前記高精度成分を分離する高精度成分分離部と、
前記入力されたデジタル信号に、前記高精度成分分離部で分離された前記高精度成分を付加して出力する高精度成分付加部とを備えたことを特徴とする
信号処理装置。
【請求項８】
入力されたデジタル信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、前前記注目する画素からの変化量が所定の閾値の範囲内にある場合には前記周囲の画素の値に対してフィルタ演算を行い、前前記注目する画素からの変化量が所定の閾値の範囲外である場合には前記注目する画素の値に対してフィルタ演算を行うことで、前記デジタル信号の量子化精度以下の高精度成分を含む出力信号を生成する手順と、
前記高精度成分を含む出力信号から前記高精度成分を分離する手順と、
前記デジタル信号に、前記分離された高精度成分を付加して出力する手順とを備えたことを特徴とする
信号処理方法。
【請求項９】
入力されたデジタル信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、前前記注目する画素からの変化量が所定の閾値の範囲内にある場合には前記周囲の画素の値に対してフィルタ演算を行い、前前記注目する画素からの変化量が所定の閾値の範囲外である場合には前記注目する画素の値に対してフィルタ演算を行うことで、前記デジタル信号に変換時の量子化精度以下の高精度成分を含む出力信号を生成する処理と、
前記高精度成分を含む出力信号から前記高精度成分を分離する処理と、
前記入力されたデジタル信号に、前記分離された高精度成分を付加して出力する処理とをコンピュータに実行させる
コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−２５８８３６（Ｐ２００８−２５８８３６Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００７−９７５９４（Ｐ２００７−９７５９４）
【出願日】平成１９年４月３日（２００７．４．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１９年４月３日（２００７．４．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]