撮像装置、高周波成分検出回路、高周波成分検出方法及びコンピュータプログラム
【課題】高周波成分の検出及びその検出に基づいた処理が、画質劣化なく良好に行えるようにする。
【解決手段】映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、輝度値順に配列する並び換えが行われた画素の、中央になる画素を注目する画素の出力画素とするメディアンフィルタ２４，２５，２６を用いて、そのメディアンフィルタの出力から映像の高周波成分の有無を検出するようにした。
【解決手段】映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、輝度値順に配列する並び換えが行われた画素の、中央になる画素を注目する画素の出力画素とするメディアンフィルタ２４，２５，２６を用いて、そのメディアンフィルタの出力から映像の高周波成分の有無を検出するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、高周波成分検出回路、高周波成分検出方法及びコンピュータプログラムに関し、特に映像信号に含まれる高周波成分を検出して、ノイズ低減などの処理を行うものに適用される技術に関する。
【背景技術】
【０００２】
従来、映像信号に含まれるノイズを除去する場合に、映像信号に含まれる高周波成分を検出して、その高周波成分が検出された部分については、ノイズ除去をしないで、高周波成分を保存するようにしてある。このように高周波成分を保存することで、映像のエッジ部分などが保存され、ノイズ除去による画質低下を防止することができる。
【０００３】
図８は、従来のこの種のノイズ低減回路構成の一例を示した図である。この例では、３つの原色信号Ｒ（赤信号），Ｇ（緑信号），Ｂ（青信号）を、高域フィルタ９８に供給して、高域成分だけを抽出する。そして、高域フィルタ９８で抽出された高域成分を、ノイズ低減回路９９に供給し、高域成分であると検出された部分については、ノイズ低減処理を行わないようにしたり、或いは、ノイズ低減効果を低く抑えるなどの処理を行う。高域フィルタ９８としては、例えば、所定の高域の周波数以上の信号成分だけを通過させる、いわゆるハイパスフィルタが適用可能である。
【０００４】
このように高周波成分の検出に基づいて、ノイズ低減処理状態を制御することで、映像のエッジ部分などの高周波信号成分が、ノイズ除去で失われるのを防ぐことができる。
【０００５】
特許文献１には、輝度レベルに応じたノイズ低減処理を行うことについての記載がある。
【特許文献１】特開２００３−２４２５０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した高周波信号成分の検出に基づいて、ノイズ低減処理を行うようにすると、ノイズ成分が高周波検出結果に影響を及ぼし、結果として正しい高周波成分の検出結果が得られないことがある。特に、ノイズレベルが大きい場合などは、絵柄の高周波を検出しているのか、ノイズ自体を検出しているのかわからなくなってしまう。
【０００７】
ところで、ノイズ成分の１つとしてインパルス成分があるが、そのインパルス成分などを効果的に除去するフィルタとしてメディアンフィルタが知られている。特許文献１にもメディアンフィルタを使用して、映像信号に含まれる不要な成分を直接除去する構成について記載されている。
【０００８】
ところが、メディアンフィルタはインパルス成分と同時に高周波成分の特性も変化させる恐れがある。特に、エッジ部分ではエッジシフトと呼ばれる現象が起こり、エッジの滑らかさが失われるなどの大きな問題を引き起こす。そのため、映像信号そのものに直接メディアンフィルタをかけることは画質的に問題がある。
【０００９】
本発明は斯かる点に鑑みてなされたものであり、高周波成分の検出及びその検出に基づいた処理が、画質劣化なく良好に行えるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、映像信号から高周波成分を検出する場合に、映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、輝度値順に配列する並び換えが行われた画素の、中央になる画素を注目する画素の出力画素とするメディアンフィルタを用いて、そのメディアンフィルタの出力から映像の高周波成分の有無を検出するようにしたものである。
【００１１】
このようにしたことで、高周波成分を検出するための信号を得るために、メディアンフィルタが使用されて、メディアンフィルタでインパルス成分が除去された信号から、高周波成分の検出が行われるようになる。
【発明の効果】
【００１２】
本発明によれば、高周波成分を検出するための信号を得るためにメディアンフィルタが使用されて、メディアンフィルタでインパルス成分が除去された信号から、高周波成分の検出が行われ、ノイズなどのインパルス成分の影響を排除した正確な高周波成分検出が行える。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の第１の実施の形態について、図１〜図５を参照しながら説明する。
【００１４】
図１は、本実施の形態における撮像装置を適用したビデオカメラの基本的な構成例のブロック図を示す。図１に示すビデオカメラにおいて、ＣＣＤ(Charge Coupled Device)等を用いた撮像素子により構成される３個のイメージセンサ１，２，３の前面には、図示せぬレンズで捕らえた光学像を赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の３つの原色画像に分解するフィルタが装着されている。被写体の光学像は図示せぬレンズ等の光学系を介して、イメージセンサ１，２，３の受光部に入射され、赤色、緑色、青色の各色ごとに光電変換される。本例では、赤色用、緑色用及び青色用の３個のイメージセンサを備えているが、４色分のイメージセンサを備えていてもよく、この例に限るものではない。
【００１５】
イメージセンサ１，２，３は、被写体像から光電変換により映像信号を構成する各原色信号を各々生成し、それら３色の原色信号（Ｒ信号，Ｇ信号，Ｂ信号）をそれぞれビデオアンプ４，５，６に供給する。なお、上記映像信号は、動画及び静止画のいずれも適用可能である。
【００１６】
ビデオアンプ４，５，６は利得調整手段であり、一例としてＡＧＣ（Automatic Gain Control）回路などを適用することができる。ビデオアンプ４，５，６は、原色信号のゲインを調整し、そのゲインが調整された原色信号をそれぞれＡ／Ｄ変換器７，８，９に供給する。Ａ／Ｄ変換器７，８，９は、入力されたアナログ信号をデジタル信号に変換し、映像信号処理部１６に供給する。
【００１７】
本例では、映像信号処理部１６を、補正回路１０、ゲイン調整回路１１、ノイズ低減回路１２、輝度調整回路１３、ガンマ補正回路１４、出力信号生成回路１５から構成している。まず、上記ビデオアンプ４，５，６、Ａ／Ｄ変換器７，８，９によって適切なレベルに調節され、量子化されたＲ，Ｇ，Ｂの原色信号は、映像信号処理部１６の補正回路１０に入力される。
【００１８】
補正回路１０は、入力された３色の原色信号に対して補間処理、それに伴うフィルタ処理、シェーディング処理などの信号処理を行い、ゲイン調整回路１１に供給する。
【００１９】
ゲイン調整回路１１は、補正回路１０から入力される３色の原色信号のゲインを適切なレベルに調整して、ノイズ低減回路１２に供給する。
【００２０】
ノイズ低減回路１２は、ゲイン調整回路１１から入力される３色の原色信号に含まれるノイズを低減し、そのノイズ低減された出力信号を、輝度調整回路１３に供給する。本例のノイズ低減回路１２の詳細説明については、後述する。
【００２１】
輝度調整回路１３は、映像信号を規定の範囲内に収めるために、ノイズ低減回路１２より入力される各原色信号から輝度信号を抽出し、その輝度信号の高輝度域の振幅特性を抑えることによりイメージセンサ出力のダイナミックレンジを圧縮し、ガンマ補正回路１４へ供給する。
【００２２】
ガンマ補正回路１４は、輝度調整回路１３から入力される３色の原色信号の各々について、ＣＲＴ（Cathode Ray Tube）や液晶表示パネルなどのモニタ（受像機）のガンマ特性に合わせて補正を行い、ガンマ補正した各原色信号を出力信号生成回路１５に供給する。
【００２３】
出力信号生成回路１５は、ガンマ補正回路１４から入力される３色の原色信号を最終的な映像信号出力形式に変換し、外部へ出力する。一例として、出力信号生成回路１５は、ＮＴＳＣ（National Television System Committee）又はＰＡＬ（Phase Alternating Line）等の信号規格に沿うように、３色の原色信号を色差信号に変換し、図示せぬサブキャリア信号を用いて変調するエンコーダ回路としての機能を有する。さらに、出力すべき映像信号がアナログ信号である場合には、上記エンコーダ回路が出力した量子化された色差信号をアナログ信号に変換するＤ／Ａ変換器を備えた構成とする。
【００２４】
マイクロコンピュータ１７は、制御部の一例であり、映像信号処理部１６を構成する各回路を制御する。また、図示せぬレンズ等の光学系、ビデオアンプ４，５，６等の各部の動作を制御する。操作部１８は、ビデオカメラに配設されたボタンキーや当該ビデオカメラに搭載されたモニタの画面に表示されるアイコンに割り当てられたソフトキー等からなり、操作に応じた操作信号が図示せぬインターフェースを介してマイクロコンピュータ１７に入力される。マイクロコンピュータ１７は、利用者が操作部１８を操作して入力した操作信号、もしくは予め規定された設定等に基づいて、内蔵のＲＯＭ（Read Only Memory）等の不揮発性記憶部に記録されているコンピュータプログラムに従い、所定の演算及び各回路に対する制御を行う。
【００２５】
さらに、マイクロコンピュータ１７には、必要に応じて、図示せぬドライブ回路が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてマイクロコンピュータ１７に内蔵されるＲＡＭ等にインストールされるようにしてもよい。
【００２６】
上述のように構成されるビデオカメラにおいて、被写体像がイメージセンサ１，２，３で光電変換されて赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の原色信号が生成され、次いで、ビデオアンプ４，５，６とＡ／Ｄ変換器７，８，９によって適切なレベルのアナログ信号に調節され、量子化されてデジタル信号に変換される。量子化された各原色信号は補正回路１０、ゲイン調整回路１１によって適切な補正及びゲイン調整処理がなされた後、ノイズ低減回路１２に入力される。ノイズ低減回路１２に入力された各原色信号は、予め指定された演算処理で、主としてインパルス成分の検出及び除去を行ってノイズ低減を行い、ノイズ低減された信号が輝度調整回路１３に入力される。そして、輝度調整回路１３で適切な輝度圧縮処理がなされた後、ガンマ補正回路１４に入力され、ガンマ補正された各原色信号が出力信号生成回路１５によって最終的な映像信号出力形式に変換されて出力される。
【００２７】
次に、図１の構成中のノイズ低減回路１２の構成例を、図２に示す。ノイズ低減回路１２への各原色の入力信号は、それぞれ別のノイズ低減回路２１，２２，２３に供給する。各ノイズ低減回路２１，２２，２３でのノイズ低減処理は、高域検出回路２７，２８，２９の出力により制御される。
【００２８】
また、ノイズ低減回路１２は、３つのメディアンフィルタ２４，２５，２６を備えて、ノイズ低減回路１２への各原色の入力信号を、それぞれ別のメディアンフィルタ２４，２５，２６に供給して、メディアンフィルタ処理する構成としてある。メディアンフィルタとは、入力信号を並び替え、その中間に位置する値を新たなデータとして出力するものであり、ここでは、３×３画素の合計９画素のメディアンフィルタ処理を行う。そして、各メディアンフィルタ２４，２５，２６の出力を、高域検出回路２７，２８，２９に供給し、それぞれの高域検出回路２７，２８，２９で、メディアンフィルタ出力から所定周波数以上の高域成分を検出する。高域検出回路２７，２８，２９での高域成分の検出処理としては、例えばハイパスフィルタを使用する。
【００２９】
高域検出回路２７，２８，２９で検出した映像信号の高域成分は、各色ごとのノイズ低減回路２１，２２，２３に供給する。本例の場合には、高域検出回路２７，２８，２９で高域成分が検出された部分については、ノイズ低減回路２１，２２，２３でのノイズ低減処理を行わず、その他の部分についてだけノイズ低減処理を行う。或いは、高域成分が検出された部分については、ノイズ低減回路２１，２２，２３でのノイズ低減処理を、制限された状態で行い、比較的弱いノイズ低減処理だけを行うようにしてもよい。
【００３０】
図３は、各メディアンフィルタ２４，２５，２６の動作例を示した図である。図３（ａ）に示すように、ノイズ低減処理を行う画素である注目画素Ｐ０を設定すると、その注目画素Ｐ０に隣接する周囲の８つの画素Ｐ１〜Ｐ８と、注目画素Ｐ０の９個の画素を取出す。各画素に示された値は、それぞれの画素の輝度値である。このように９個の画素を取出すと、図３（ｂ）に示すように、その取出された９個の画素を、輝度値順に並び替える。そして、その輝度値順に配列された中から、中央の位置の画素Ｐ９の輝度値を取出し、図３（ｃ）に示すように、その中央の位置の画素Ｐ９の輝度値を、注目画素Ｐ０のフィルタ処理された出力値Ｐoutとする。
【００３１】
このようにメディアンフィルタ処理を行うことで、映像信号に含まれるインパルス成分が除去される。そして、そのインパルス成分が除去された信号から高周波成分を検出することで、映像そのものの高周波成分だけを良好に検出することができ、検出される高周波成分に、ノイズ成分であるインパルス成分が混入することがなくなる。そして、そのようにして行われた高周波成分の検出に基づいて、ノイズ低減処理の制御を行うことで、インパルス成分が含まれた区間に、ノイズ低減処理の制限が加わることがなく、良好なノイズ低減処理を行うことが可能となり、ノイズ低減性能を向上させることができる。また、本例のメディアンフィルタ処理は、ノイズ低減処理を制御する信号を得るための処理であり、最終的に出力される映像信号にはメディアンフィルタ処理が施されないので、メディアンフィルタ処理が持つエッジシフトなどの問題についても回避することができる。
【００３２】
ところで、メディアンフィルタにはいくつかの欠点がある。一つはインパルス成分を除去できるものの、それが絵柄かノイズか区別がつかないということ、また、インパルス成分以外の高周波にも大きな影響を及ぼす可能性があること、などである。
【００３３】
これらの問題を解決する対策を施したメディアンフィルタを、上述した図２の各メディアンフィルタ２４，２５，２６として使用してもよい。以下、そのような対策を施したメディアンフィルタ（以下このフィルタをインパルス検出型メディアンフィルタと称する）について説明する。
【００３４】
図４は、この場合のインパルス検出型メディアンフィルタの動作原理を示したものである。各メディアンフィルタが９画素を扱う回路であるとすると、そのメディアンフィルタに入力した９画素の輝度値は、輝度値順に並び替えられる。その並び替えられた結果を示したものが図４である。並び替え前に中央に存在していた画素を、注目画素Ｐ１１とし、中央の位置に並び替えられた画素を、メディアン値の画素Ｐ１３とし、メディアン値の画素Ｐ１３から見て、並び替えられた注目画素Ｐ１１が位置する側（小さい側又は大きい側）の所定配列位置（ここでは端から２番目）の画素の輝度値を、比較画素Ｐ１２とする。この例では、注目画素Ｐ１１が左端に並び替えられた例を示してあるが、どの位置に並び替えられるか（又は並び替えがないか）は、輝度により異なる。
【００３５】
そして、並び替えられた注目画素Ｐ１１の輝度値と、比較画素Ｐ１２の輝度値とを比較し、さらに、注目画素Ｐ１１の輝度値と比較画素Ｐ１２の輝度値との差分（距離）と、比較画素Ｐ１２の輝度値とメディアン値の画素Ｐ１３の輝度値との差分（距離）を比較して、メディアン値がインパルス成分であるか否か判定するようにしてある。
即ち、注目画素Ｐ１１の並び替え後の位置(順番)と、比較画素Ｐ１２との距離と、メディアン値Ｐ１３との距離を使用して、インパルス成分を検出するようにしてある。
【００３６】
次に、本例のインパルス検出型メディアンフィルタでの処理例を、図５のフローチャートを参照して説明する。まず、注目画素の輝度値とメディアン値との大小を比較する（ステップＳ１１）。ここで、注目画素の輝度値がメディアン値より小さいか否か判断する（ステップＳ１２）。ここで、小さい場合には、注目画素と、値が小さい方の比較値との大小を比較する（ステップＳ１３）。この比較で、注目画素が比較画素より小さいか否か判断し（ステップＳ１４）、小さい場合には、比較画素の画素値と注目画素の画素値との差分（距離）と、比較画素の画素値とメディアン値としての画素値との差分（距離）とを計算し（ステップＳ１５）、比較画素の画素値と注目画素の画素値との差分の方が大きいか否か判断する（ステップＳ１６）。
【００３７】
この判断で、比較画素の画素値と注目画素の画素値との差分の方が大きいと判断した場合には、注目画素の輝度値を、メディアン値に置換え（ステップＳ１７）、その置換えられた輝度値を注目画素の輝度値として出力させる（ステップＳ１９）。このようにステップＳ１６で、比較画素の画素値と注目画素の画素値との差分の方が大きいと判断した状態が、インパルス成分を検出した状態に相当し、そのインパルス成分を検出した状態の場合に、ステップＳ１７でメディアン値への置換えが行われる。
【００３８】
そして、ステップＳ１４で、注目画素が比較画素より小さくない場合と、ステップＳ１６で、比較画素の画素値と注目画素の画素値との差分の方が大きくない場合には、インパルス成分でないと判断して、注目画素の画素値をそのままとして（ステップＳ１８）、ステップＳ１９でそのままの画素値を出力させる。
【００３９】
また、ステップＳ１２で、注目画素の輝度値がメディアン値より小さくないと判断した場合には、注目画素と、値が大きい方の比較値との大小を比較する（ステップＳ２１）。この比較で、注目画素が比較画素より大きいか否か判断し（ステップＳ２２）、大きい場合には、比較画素の画素値と注目画素の画素値との差分（距離）と、比較画素の画素値とメディアン値としての画素値との差分（距離）とを計算し（ステップＳ２３）、比較画素の画素値と注目画素の画素値との差分の方が大きいか否か判断する（ステップＳ２４）。
【００４０】
この判断で、比較画素の画素値と注目画素の画素値との差分の方が大きいと判断した場合には、注目画素の輝度値を、メディアン値に置換え（ステップＳ２５）、その置換えられた輝度値を注目画素の輝度値として出力させる（ステップＳ１９）。このようにステップＳ２４で、比較画素の画素値と注目画素の画素値との差分の方が大きいと判断した状態が、インパルス成分を検出した状態に相当し、そのインパルス成分を検出した状態の場合に、ステップＳ２５でメディアン値への置換えが行われる。
【００４１】
そして、ステップＳ２２で、注目画素が比較画素より大きくない場合と、ステップＳ２４で、比較画素の画素値と注目画素の画素値との差分の方が大きくない場合には、インパルス成分でないと判断して、注目画素の画素値をそのままとして（ステップＳ２６）、ステップＳ１９でそのままの画素値を出力させる。
【００４２】
このように、注目画素がインパルスであるかどうかを判別するために、注目画素の並び替え後の位置(順番)と、比較対象画素との距離(差分)と、メディアン値との距離(差分)とを用いて判別することで、正確なインパルス成分の判別ができる。通常、注目画素がインパルス成分であった場合、これと同じかそれ以上に大きなインパルス成分が９画素内に存在することは稀である。逆に、似たような画素が存在する場合、それがノイズであるのか絵柄であるのかを判別することは非常に難しい。そこで、インパルス成分であるという判別基準に、注目画素が最小或いは最大であることという観点で制限を加えるようにしてある。但し、これだけでは比較的似たような画素が多い平坦な部分や細い直線などでは置き換えが起こってしまう可能性がある。そこで、図５のフローチャートに示したように、更に、比較対象画素と注目画素との差分値が、比較対象画素とメディアン値との差分よりも大きいかどうかを判断するようにしてある。これにより、比較的平坦な部分に存在するインパルス成分についても検出することが可能となる。
【００４３】
なお、もしも３×３の９画素内で２つまでのインパルス成分を除去したい、といった場合には注目画素に対する制約を、最小値とその隣接画素或いは最大値とその隣接画素までに緩めることで対応可能である。また、比較対象画素を、図４の例よりも更にメディアン値に近い画素から選択することでも同様に条件がゆるくなる。更に、ノイズによる影響を極力排除する、という目的では比較対象画素を数画素の平均などから求める、といった手法を適用することも考えられる。
【００４４】
このように、図５のフローチャートに示した処理を行うインパルス検出型メディアンフィルタを、図２のノイズ低減回路が備える各メディアンフィルタ２４，２５，２６として使用することで、メディアンフィルタでインパルス成分だけを確実に除去でき、後段の回路での高周波成分の検出がより良好に行えるようになる。
【００４５】
次に、本発明の第２の実施の形態について、図６及び図７を参照しながら説明する。また、本実施の形態で説明する図６及び図７において、第１の実施の形態で説明した図１，図２に対応する部分には同一符号を付す。
【００４６】
本実施の形態においても、第１の実施の形態と同様にビデオカメラに適用したものであり、ビデオカメラの全体構成については既に説明した図１と同様に構成する。そして、本実施の形態においては、図１のノイズ低減回路１２を、図６に示すように構成し、その他の部分は図１の構成と同様に構成する。
【００４７】
本例のノイズ低減回路は、映像信号の高域成分を検出するためのメディアンフィルタに、閾値処理を組み合わせ、あるレベル以下のインパルス成分のみをインパルス検出型メディアンフィルタで除去し、それ以外については原信号を選択して、その選択された信号から高域成分を検出して、ノイズ除去を制御する構成としたものである。図６は、本例のノイズ低減回路の構成を示したものである。図６の構成について説明すると、ノイズ低減回路１２への各原色の入力信号は、それぞれ別のノイズ低減回路２１，２２，２３に供給する。各ノイズ低減回路２１，２２，２３でのノイズ低減処理は、高域検出回路２７，２８，２９の出力により制御される。
【００４８】
また、ノイズ低減回路１２は、３つのメディアンフィルタ２４，２５，２６を備えて、ノイズ低減回路１２への各原色の入力信号を、それぞれ別のメディアンフィルタ２４，２５，２６に供給して、メディアンフィルタ処理する。ここでのメディアンフィルタは、入力信号を並び替え、その中間に位置する値を新たなデータとして出力するものの他に、図５のフローチャートで説明したインパルス検出型のメディアンフィルタを使用してもよい。
【００４９】
そして、各メディアンフィルタ２４，２５，２６の出力を、閾値処理を行う比較・選択回路３１，３２，３３に供給する。比較・選択回路３１，３２，３３では、閾値設定回路４４で設定された閾値を利用して、各原色ごとに個別に原信号とメディアンフィルタ出力とを比較して、差分が閾値以上か否かで、いずれかを選択して、出力するようにしてある。即ち、比較・選択回路３１，３２，３３では、インパルス検出型メディアンフィルタ２４，２５，２６で生成された信号と原信号との差分を比較し、差分が設定された閾値以上の場合は原信号を出力し、閾値以下の場合はメディアンフィルタ結果を出力する。
【００５０】
そして、比較・選択回路３１，３２，３３の出力を、高域検出回路２７，２８，２９に供給し、それぞれの高域検出回路２７，２８，２９で、メディアンフィルタ出力から所定周波数以上の高域成分を検出する。
【００５１】
そして、高域検出回路２７，２８，２９で検出した映像信号の高域成分を、各色ごとのノイズ低減回路２１，２２，２３に供給し、高域検出回路２７，２８，２９で高域成分が検出された部分について、ノイズ低減回路２１，２２，２３でのノイズ低減処理の制御を行う。例えば、高域成分が検出された部分については、ノイズ低減処理を行わず、その他の部分についてだけノイズ低減処理を行う。或いは、高域成分が検出された部分については、ノイズ低減回路２１，２２，２３でのノイズ低減処理を、制限された状態で行い、比較的弱いノイズ低減処理だけを行うようにしてもよい。
【００５２】
なお、比較・選択回路３１，３２，３３での切替え処理時には、単純な切替えでは逆にノイズを発生することも考えられるので、それぞれの間を差分の大きさで滑らかに切り替える、いわゆるαブレンド処理を行うようにしてもよい。αブレンド処理を行う場合の具体的な処理例を示すと、例えば次の数１式による条件が適用可能である。数１式において、Ｄinは入力信号を示し、Ｄoutは出力信号を示し、閾値をＴhとしてあり、この例では閾値として、画素値（輝度値）３２を設定した例としてある。
【００５３】
〔数１〕
（Ｄin−Ｄout）＞Ｔh
（（Ｄin−Ｄout）−Ｔh）×Ｄin＋（３２−（（Ｄin−Ｄout）−Ｔh））×Ｄout
３２＞Ｄin
【００５４】
このように処理することで、メディアンフィルタと閾値処理を組み合わせて、精度の高い高周波成分の検出処理が可能になり、その良好に検出された高周波成分を利用して、良好なノイズ除去処理が可能になる。
【００５５】
ところでイメージセンサの画素サイズは益々小さくなっているが、この際に、光の揺らぎによって生じる光ショットノイズというものがノイズ成分の大部分を占めるようになってきている。これは入射する光の量に応じて増加するもので、明るいところほど目立つ。そこで、このようなノイズにも対応できるように、閾値処理を入力信号に応じて変化させるようにしてもよい。これにより、暗部での再現性を損なうことなく、明部での光ショットノイズを効果的に除去することが可能となる。このときの閾値処理例として以下のようなものをあげる。
【００５６】
【数２】
【００５７】
数２式において、Ｔhは閾値、Ｔmaxは閾値の最大値、Ｓcpuは閾値変化量の傾き、Ｔcpuは入力が０のときの閾値、Dataが入力データである。この閾値可変処理を示したのが、図７のグラフである。光ショットノイズ特性aに対して閾値変化特性ｂが近似されていることがわかる。これ以外にも、光ショットノイズを模した曲線で近似するなどの処理も適用可能である。
【００５８】
以上説明したように、本発明の第１及び第２の実施の形態によると、インパルス成分を除去した高周波成分のみを正確に検出することが可能になり、その検出に基づいた良好なノイズ除去ができる。また、第２の実施の形態で説明したように、閾値処理を組み合わせることで、コントラストのある絵柄などに含まれるインパルス成分には影響を与えずに、ノイズとしてのインパルス成分だけを除去した結果から高周波成分を検出することが可能になり、より良好なノイズ除去が可能になる。さらに、閾値を入力信号に応じて変化させることで、光ショットノイズなどのレベル依存なインパルス性ノイズに対応することも可能になる。
【００５９】
なお、ここまで説明したノイズ除去回路１２での処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するコンピュータプログラムを、マイクロコンピュータ１７に内蔵のＲＯＭ等の記憶部に格納する。
【００６０】
上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（演算処理装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００６１】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００６２】
また、上述した実施の形態において、本発明による撮像装置をビデオカメラに適用した例を説明したが、これに限らず、例えば、デジタルスチルカメラ、カラーイメージスキャナ、又はそれらと同等の機能を有するその他の装置等であってもよく、様々な装置に広く適用可能である。
【００６３】
さらに、上述した実施の形態では、撮像装置に組み込まれたノイズ低減回路内の高周波検出回路にメディアンフィルタを組み込む構成としたが、その他の装置などに適用される映像信号の高周波検出回路を、同様の構成としてもよい。
【図面の簡単な説明】
【００６４】
【図１】本発明の第１の実施の形態に係るビデオカメラの構成例を示すブロック図である。
【図２】図１に示したビデオカメラのノイズ低減回路の例を示す構成図である。
【図３】本発明の第１の実施の形態に係るメディアンフィルタでの処理状態を示す説明図である。
【図４】本発明の第１の実施の形態に係るメディアンフィルタでのインパルス成分の除去の処理状態を示す説明図である。
【図５】本発明の第１の実施の形態によるインパルス成分の検出処理例を示すフローチャートである。
【図６】本発明の第２の実施の形態に係るノイズ低減回路の例を示す構成図である。
【図７】図６例での閾値変化例と光ショットノイズとの関係を示した特性図である。
【図８】従来のノイズ低減処理例を示す構成図である。
【符号の説明】
【００６５】
１，２，３…イメージセンサ、１２…ノイズ低減回路、１３…輝度調整回路、１４…ガンマ補正回路、１７…マイクロコンピュータ、１８…操作部、２１，２２，２３…ノイズ低減回路、２４，２５，２６…メディアンフィルタ、２７，２８，２９…高域検出回路、３０…閾値処理回路、３１，３２，３３…比較・選択回路
【技術分野】
【０００１】
本発明は、撮像装置、高周波成分検出回路、高周波成分検出方法及びコンピュータプログラムに関し、特に映像信号に含まれる高周波成分を検出して、ノイズ低減などの処理を行うものに適用される技術に関する。
【背景技術】
【０００２】
従来、映像信号に含まれるノイズを除去する場合に、映像信号に含まれる高周波成分を検出して、その高周波成分が検出された部分については、ノイズ除去をしないで、高周波成分を保存するようにしてある。このように高周波成分を保存することで、映像のエッジ部分などが保存され、ノイズ除去による画質低下を防止することができる。
【０００３】
図８は、従来のこの種のノイズ低減回路構成の一例を示した図である。この例では、３つの原色信号Ｒ（赤信号），Ｇ（緑信号），Ｂ（青信号）を、高域フィルタ９８に供給して、高域成分だけを抽出する。そして、高域フィルタ９８で抽出された高域成分を、ノイズ低減回路９９に供給し、高域成分であると検出された部分については、ノイズ低減処理を行わないようにしたり、或いは、ノイズ低減効果を低く抑えるなどの処理を行う。高域フィルタ９８としては、例えば、所定の高域の周波数以上の信号成分だけを通過させる、いわゆるハイパスフィルタが適用可能である。
【０００４】
このように高周波成分の検出に基づいて、ノイズ低減処理状態を制御することで、映像のエッジ部分などの高周波信号成分が、ノイズ除去で失われるのを防ぐことができる。
【０００５】
特許文献１には、輝度レベルに応じたノイズ低減処理を行うことについての記載がある。
【特許文献１】特開２００３−２４２５０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した高周波信号成分の検出に基づいて、ノイズ低減処理を行うようにすると、ノイズ成分が高周波検出結果に影響を及ぼし、結果として正しい高周波成分の検出結果が得られないことがある。特に、ノイズレベルが大きい場合などは、絵柄の高周波を検出しているのか、ノイズ自体を検出しているのかわからなくなってしまう。
【０００７】
ところで、ノイズ成分の１つとしてインパルス成分があるが、そのインパルス成分などを効果的に除去するフィルタとしてメディアンフィルタが知られている。特許文献１にもメディアンフィルタを使用して、映像信号に含まれる不要な成分を直接除去する構成について記載されている。
【０００８】
ところが、メディアンフィルタはインパルス成分と同時に高周波成分の特性も変化させる恐れがある。特に、エッジ部分ではエッジシフトと呼ばれる現象が起こり、エッジの滑らかさが失われるなどの大きな問題を引き起こす。そのため、映像信号そのものに直接メディアンフィルタをかけることは画質的に問題がある。
【０００９】
本発明は斯かる点に鑑みてなされたものであり、高周波成分の検出及びその検出に基づいた処理が、画質劣化なく良好に行えるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、映像信号から高周波成分を検出する場合に、映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、輝度値順に配列する並び換えが行われた画素の、中央になる画素を注目する画素の出力画素とするメディアンフィルタを用いて、そのメディアンフィルタの出力から映像の高周波成分の有無を検出するようにしたものである。
【００１１】
このようにしたことで、高周波成分を検出するための信号を得るために、メディアンフィルタが使用されて、メディアンフィルタでインパルス成分が除去された信号から、高周波成分の検出が行われるようになる。
【発明の効果】
【００１２】
本発明によれば、高周波成分を検出するための信号を得るためにメディアンフィルタが使用されて、メディアンフィルタでインパルス成分が除去された信号から、高周波成分の検出が行われ、ノイズなどのインパルス成分の影響を排除した正確な高周波成分検出が行える。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の第１の実施の形態について、図１〜図５を参照しながら説明する。
【００１４】
図１は、本実施の形態における撮像装置を適用したビデオカメラの基本的な構成例のブロック図を示す。図１に示すビデオカメラにおいて、ＣＣＤ(Charge Coupled Device)等を用いた撮像素子により構成される３個のイメージセンサ１，２，３の前面には、図示せぬレンズで捕らえた光学像を赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の３つの原色画像に分解するフィルタが装着されている。被写体の光学像は図示せぬレンズ等の光学系を介して、イメージセンサ１，２，３の受光部に入射され、赤色、緑色、青色の各色ごとに光電変換される。本例では、赤色用、緑色用及び青色用の３個のイメージセンサを備えているが、４色分のイメージセンサを備えていてもよく、この例に限るものではない。
【００１５】
イメージセンサ１，２，３は、被写体像から光電変換により映像信号を構成する各原色信号を各々生成し、それら３色の原色信号（Ｒ信号，Ｇ信号，Ｂ信号）をそれぞれビデオアンプ４，５，６に供給する。なお、上記映像信号は、動画及び静止画のいずれも適用可能である。
【００１６】
ビデオアンプ４，５，６は利得調整手段であり、一例としてＡＧＣ（Automatic Gain Control）回路などを適用することができる。ビデオアンプ４，５，６は、原色信号のゲインを調整し、そのゲインが調整された原色信号をそれぞれＡ／Ｄ変換器７，８，９に供給する。Ａ／Ｄ変換器７，８，９は、入力されたアナログ信号をデジタル信号に変換し、映像信号処理部１６に供給する。
【００１７】
本例では、映像信号処理部１６を、補正回路１０、ゲイン調整回路１１、ノイズ低減回路１２、輝度調整回路１３、ガンマ補正回路１４、出力信号生成回路１５から構成している。まず、上記ビデオアンプ４，５，６、Ａ／Ｄ変換器７，８，９によって適切なレベルに調節され、量子化されたＲ，Ｇ，Ｂの原色信号は、映像信号処理部１６の補正回路１０に入力される。
【００１８】
補正回路１０は、入力された３色の原色信号に対して補間処理、それに伴うフィルタ処理、シェーディング処理などの信号処理を行い、ゲイン調整回路１１に供給する。
【００１９】
ゲイン調整回路１１は、補正回路１０から入力される３色の原色信号のゲインを適切なレベルに調整して、ノイズ低減回路１２に供給する。
【００２０】
ノイズ低減回路１２は、ゲイン調整回路１１から入力される３色の原色信号に含まれるノイズを低減し、そのノイズ低減された出力信号を、輝度調整回路１３に供給する。本例のノイズ低減回路１２の詳細説明については、後述する。
【００２１】
輝度調整回路１３は、映像信号を規定の範囲内に収めるために、ノイズ低減回路１２より入力される各原色信号から輝度信号を抽出し、その輝度信号の高輝度域の振幅特性を抑えることによりイメージセンサ出力のダイナミックレンジを圧縮し、ガンマ補正回路１４へ供給する。
【００２２】
ガンマ補正回路１４は、輝度調整回路１３から入力される３色の原色信号の各々について、ＣＲＴ（Cathode Ray Tube）や液晶表示パネルなどのモニタ（受像機）のガンマ特性に合わせて補正を行い、ガンマ補正した各原色信号を出力信号生成回路１５に供給する。
【００２３】
出力信号生成回路１５は、ガンマ補正回路１４から入力される３色の原色信号を最終的な映像信号出力形式に変換し、外部へ出力する。一例として、出力信号生成回路１５は、ＮＴＳＣ（National Television System Committee）又はＰＡＬ（Phase Alternating Line）等の信号規格に沿うように、３色の原色信号を色差信号に変換し、図示せぬサブキャリア信号を用いて変調するエンコーダ回路としての機能を有する。さらに、出力すべき映像信号がアナログ信号である場合には、上記エンコーダ回路が出力した量子化された色差信号をアナログ信号に変換するＤ／Ａ変換器を備えた構成とする。
【００２４】
マイクロコンピュータ１７は、制御部の一例であり、映像信号処理部１６を構成する各回路を制御する。また、図示せぬレンズ等の光学系、ビデオアンプ４，５，６等の各部の動作を制御する。操作部１８は、ビデオカメラに配設されたボタンキーや当該ビデオカメラに搭載されたモニタの画面に表示されるアイコンに割り当てられたソフトキー等からなり、操作に応じた操作信号が図示せぬインターフェースを介してマイクロコンピュータ１７に入力される。マイクロコンピュータ１７は、利用者が操作部１８を操作して入力した操作信号、もしくは予め規定された設定等に基づいて、内蔵のＲＯＭ（Read Only Memory）等の不揮発性記憶部に記録されているコンピュータプログラムに従い、所定の演算及び各回路に対する制御を行う。
【００２５】
さらに、マイクロコンピュータ１７には、必要に応じて、図示せぬドライブ回路が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてマイクロコンピュータ１７に内蔵されるＲＡＭ等にインストールされるようにしてもよい。
【００２６】
上述のように構成されるビデオカメラにおいて、被写体像がイメージセンサ１，２，３で光電変換されて赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の原色信号が生成され、次いで、ビデオアンプ４，５，６とＡ／Ｄ変換器７，８，９によって適切なレベルのアナログ信号に調節され、量子化されてデジタル信号に変換される。量子化された各原色信号は補正回路１０、ゲイン調整回路１１によって適切な補正及びゲイン調整処理がなされた後、ノイズ低減回路１２に入力される。ノイズ低減回路１２に入力された各原色信号は、予め指定された演算処理で、主としてインパルス成分の検出及び除去を行ってノイズ低減を行い、ノイズ低減された信号が輝度調整回路１３に入力される。そして、輝度調整回路１３で適切な輝度圧縮処理がなされた後、ガンマ補正回路１４に入力され、ガンマ補正された各原色信号が出力信号生成回路１５によって最終的な映像信号出力形式に変換されて出力される。
【００２７】
次に、図１の構成中のノイズ低減回路１２の構成例を、図２に示す。ノイズ低減回路１２への各原色の入力信号は、それぞれ別のノイズ低減回路２１，２２，２３に供給する。各ノイズ低減回路２１，２２，２３でのノイズ低減処理は、高域検出回路２７，２８，２９の出力により制御される。
【００２８】
また、ノイズ低減回路１２は、３つのメディアンフィルタ２４，２５，２６を備えて、ノイズ低減回路１２への各原色の入力信号を、それぞれ別のメディアンフィルタ２４，２５，２６に供給して、メディアンフィルタ処理する構成としてある。メディアンフィルタとは、入力信号を並び替え、その中間に位置する値を新たなデータとして出力するものであり、ここでは、３×３画素の合計９画素のメディアンフィルタ処理を行う。そして、各メディアンフィルタ２４，２５，２６の出力を、高域検出回路２７，２８，２９に供給し、それぞれの高域検出回路２７，２８，２９で、メディアンフィルタ出力から所定周波数以上の高域成分を検出する。高域検出回路２７，２８，２９での高域成分の検出処理としては、例えばハイパスフィルタを使用する。
【００２９】
高域検出回路２７，２８，２９で検出した映像信号の高域成分は、各色ごとのノイズ低減回路２１，２２，２３に供給する。本例の場合には、高域検出回路２７，２８，２９で高域成分が検出された部分については、ノイズ低減回路２１，２２，２３でのノイズ低減処理を行わず、その他の部分についてだけノイズ低減処理を行う。或いは、高域成分が検出された部分については、ノイズ低減回路２１，２２，２３でのノイズ低減処理を、制限された状態で行い、比較的弱いノイズ低減処理だけを行うようにしてもよい。
【００３０】
図３は、各メディアンフィルタ２４，２５，２６の動作例を示した図である。図３（ａ）に示すように、ノイズ低減処理を行う画素である注目画素Ｐ０を設定すると、その注目画素Ｐ０に隣接する周囲の８つの画素Ｐ１〜Ｐ８と、注目画素Ｐ０の９個の画素を取出す。各画素に示された値は、それぞれの画素の輝度値である。このように９個の画素を取出すと、図３（ｂ）に示すように、その取出された９個の画素を、輝度値順に並び替える。そして、その輝度値順に配列された中から、中央の位置の画素Ｐ９の輝度値を取出し、図３（ｃ）に示すように、その中央の位置の画素Ｐ９の輝度値を、注目画素Ｐ０のフィルタ処理された出力値Ｐoutとする。
【００３１】
このようにメディアンフィルタ処理を行うことで、映像信号に含まれるインパルス成分が除去される。そして、そのインパルス成分が除去された信号から高周波成分を検出することで、映像そのものの高周波成分だけを良好に検出することができ、検出される高周波成分に、ノイズ成分であるインパルス成分が混入することがなくなる。そして、そのようにして行われた高周波成分の検出に基づいて、ノイズ低減処理の制御を行うことで、インパルス成分が含まれた区間に、ノイズ低減処理の制限が加わることがなく、良好なノイズ低減処理を行うことが可能となり、ノイズ低減性能を向上させることができる。また、本例のメディアンフィルタ処理は、ノイズ低減処理を制御する信号を得るための処理であり、最終的に出力される映像信号にはメディアンフィルタ処理が施されないので、メディアンフィルタ処理が持つエッジシフトなどの問題についても回避することができる。
【００３２】
ところで、メディアンフィルタにはいくつかの欠点がある。一つはインパルス成分を除去できるものの、それが絵柄かノイズか区別がつかないということ、また、インパルス成分以外の高周波にも大きな影響を及ぼす可能性があること、などである。
【００３３】
これらの問題を解決する対策を施したメディアンフィルタを、上述した図２の各メディアンフィルタ２４，２５，２６として使用してもよい。以下、そのような対策を施したメディアンフィルタ（以下このフィルタをインパルス検出型メディアンフィルタと称する）について説明する。
【００３４】
図４は、この場合のインパルス検出型メディアンフィルタの動作原理を示したものである。各メディアンフィルタが９画素を扱う回路であるとすると、そのメディアンフィルタに入力した９画素の輝度値は、輝度値順に並び替えられる。その並び替えられた結果を示したものが図４である。並び替え前に中央に存在していた画素を、注目画素Ｐ１１とし、中央の位置に並び替えられた画素を、メディアン値の画素Ｐ１３とし、メディアン値の画素Ｐ１３から見て、並び替えられた注目画素Ｐ１１が位置する側（小さい側又は大きい側）の所定配列位置（ここでは端から２番目）の画素の輝度値を、比較画素Ｐ１２とする。この例では、注目画素Ｐ１１が左端に並び替えられた例を示してあるが、どの位置に並び替えられるか（又は並び替えがないか）は、輝度により異なる。
【００３５】
そして、並び替えられた注目画素Ｐ１１の輝度値と、比較画素Ｐ１２の輝度値とを比較し、さらに、注目画素Ｐ１１の輝度値と比較画素Ｐ１２の輝度値との差分（距離）と、比較画素Ｐ１２の輝度値とメディアン値の画素Ｐ１３の輝度値との差分（距離）を比較して、メディアン値がインパルス成分であるか否か判定するようにしてある。
即ち、注目画素Ｐ１１の並び替え後の位置(順番)と、比較画素Ｐ１２との距離と、メディアン値Ｐ１３との距離を使用して、インパルス成分を検出するようにしてある。
【００３６】
次に、本例のインパルス検出型メディアンフィルタでの処理例を、図５のフローチャートを参照して説明する。まず、注目画素の輝度値とメディアン値との大小を比較する（ステップＳ１１）。ここで、注目画素の輝度値がメディアン値より小さいか否か判断する（ステップＳ１２）。ここで、小さい場合には、注目画素と、値が小さい方の比較値との大小を比較する（ステップＳ１３）。この比較で、注目画素が比較画素より小さいか否か判断し（ステップＳ１４）、小さい場合には、比較画素の画素値と注目画素の画素値との差分（距離）と、比較画素の画素値とメディアン値としての画素値との差分（距離）とを計算し（ステップＳ１５）、比較画素の画素値と注目画素の画素値との差分の方が大きいか否か判断する（ステップＳ１６）。
【００３７】
この判断で、比較画素の画素値と注目画素の画素値との差分の方が大きいと判断した場合には、注目画素の輝度値を、メディアン値に置換え（ステップＳ１７）、その置換えられた輝度値を注目画素の輝度値として出力させる（ステップＳ１９）。このようにステップＳ１６で、比較画素の画素値と注目画素の画素値との差分の方が大きいと判断した状態が、インパルス成分を検出した状態に相当し、そのインパルス成分を検出した状態の場合に、ステップＳ１７でメディアン値への置換えが行われる。
【００３８】
そして、ステップＳ１４で、注目画素が比較画素より小さくない場合と、ステップＳ１６で、比較画素の画素値と注目画素の画素値との差分の方が大きくない場合には、インパルス成分でないと判断して、注目画素の画素値をそのままとして（ステップＳ１８）、ステップＳ１９でそのままの画素値を出力させる。
【００３９】
また、ステップＳ１２で、注目画素の輝度値がメディアン値より小さくないと判断した場合には、注目画素と、値が大きい方の比較値との大小を比較する（ステップＳ２１）。この比較で、注目画素が比較画素より大きいか否か判断し（ステップＳ２２）、大きい場合には、比較画素の画素値と注目画素の画素値との差分（距離）と、比較画素の画素値とメディアン値としての画素値との差分（距離）とを計算し（ステップＳ２３）、比較画素の画素値と注目画素の画素値との差分の方が大きいか否か判断する（ステップＳ２４）。
【００４０】
この判断で、比較画素の画素値と注目画素の画素値との差分の方が大きいと判断した場合には、注目画素の輝度値を、メディアン値に置換え（ステップＳ２５）、その置換えられた輝度値を注目画素の輝度値として出力させる（ステップＳ１９）。このようにステップＳ２４で、比較画素の画素値と注目画素の画素値との差分の方が大きいと判断した状態が、インパルス成分を検出した状態に相当し、そのインパルス成分を検出した状態の場合に、ステップＳ２５でメディアン値への置換えが行われる。
【００４１】
そして、ステップＳ２２で、注目画素が比較画素より大きくない場合と、ステップＳ２４で、比較画素の画素値と注目画素の画素値との差分の方が大きくない場合には、インパルス成分でないと判断して、注目画素の画素値をそのままとして（ステップＳ２６）、ステップＳ１９でそのままの画素値を出力させる。
【００４２】
このように、注目画素がインパルスであるかどうかを判別するために、注目画素の並び替え後の位置(順番)と、比較対象画素との距離(差分)と、メディアン値との距離(差分)とを用いて判別することで、正確なインパルス成分の判別ができる。通常、注目画素がインパルス成分であった場合、これと同じかそれ以上に大きなインパルス成分が９画素内に存在することは稀である。逆に、似たような画素が存在する場合、それがノイズであるのか絵柄であるのかを判別することは非常に難しい。そこで、インパルス成分であるという判別基準に、注目画素が最小或いは最大であることという観点で制限を加えるようにしてある。但し、これだけでは比較的似たような画素が多い平坦な部分や細い直線などでは置き換えが起こってしまう可能性がある。そこで、図５のフローチャートに示したように、更に、比較対象画素と注目画素との差分値が、比較対象画素とメディアン値との差分よりも大きいかどうかを判断するようにしてある。これにより、比較的平坦な部分に存在するインパルス成分についても検出することが可能となる。
【００４３】
なお、もしも３×３の９画素内で２つまでのインパルス成分を除去したい、といった場合には注目画素に対する制約を、最小値とその隣接画素或いは最大値とその隣接画素までに緩めることで対応可能である。また、比較対象画素を、図４の例よりも更にメディアン値に近い画素から選択することでも同様に条件がゆるくなる。更に、ノイズによる影響を極力排除する、という目的では比較対象画素を数画素の平均などから求める、といった手法を適用することも考えられる。
【００４４】
このように、図５のフローチャートに示した処理を行うインパルス検出型メディアンフィルタを、図２のノイズ低減回路が備える各メディアンフィルタ２４，２５，２６として使用することで、メディアンフィルタでインパルス成分だけを確実に除去でき、後段の回路での高周波成分の検出がより良好に行えるようになる。
【００４５】
次に、本発明の第２の実施の形態について、図６及び図７を参照しながら説明する。また、本実施の形態で説明する図６及び図７において、第１の実施の形態で説明した図１，図２に対応する部分には同一符号を付す。
【００４６】
本実施の形態においても、第１の実施の形態と同様にビデオカメラに適用したものであり、ビデオカメラの全体構成については既に説明した図１と同様に構成する。そして、本実施の形態においては、図１のノイズ低減回路１２を、図６に示すように構成し、その他の部分は図１の構成と同様に構成する。
【００４７】
本例のノイズ低減回路は、映像信号の高域成分を検出するためのメディアンフィルタに、閾値処理を組み合わせ、あるレベル以下のインパルス成分のみをインパルス検出型メディアンフィルタで除去し、それ以外については原信号を選択して、その選択された信号から高域成分を検出して、ノイズ除去を制御する構成としたものである。図６は、本例のノイズ低減回路の構成を示したものである。図６の構成について説明すると、ノイズ低減回路１２への各原色の入力信号は、それぞれ別のノイズ低減回路２１，２２，２３に供給する。各ノイズ低減回路２１，２２，２３でのノイズ低減処理は、高域検出回路２７，２８，２９の出力により制御される。
【００４８】
また、ノイズ低減回路１２は、３つのメディアンフィルタ２４，２５，２６を備えて、ノイズ低減回路１２への各原色の入力信号を、それぞれ別のメディアンフィルタ２４，２５，２６に供給して、メディアンフィルタ処理する。ここでのメディアンフィルタは、入力信号を並び替え、その中間に位置する値を新たなデータとして出力するものの他に、図５のフローチャートで説明したインパルス検出型のメディアンフィルタを使用してもよい。
【００４９】
そして、各メディアンフィルタ２４，２５，２６の出力を、閾値処理を行う比較・選択回路３１，３２，３３に供給する。比較・選択回路３１，３２，３３では、閾値設定回路４４で設定された閾値を利用して、各原色ごとに個別に原信号とメディアンフィルタ出力とを比較して、差分が閾値以上か否かで、いずれかを選択して、出力するようにしてある。即ち、比較・選択回路３１，３２，３３では、インパルス検出型メディアンフィルタ２４，２５，２６で生成された信号と原信号との差分を比較し、差分が設定された閾値以上の場合は原信号を出力し、閾値以下の場合はメディアンフィルタ結果を出力する。
【００５０】
そして、比較・選択回路３１，３２，３３の出力を、高域検出回路２７，２８，２９に供給し、それぞれの高域検出回路２７，２８，２９で、メディアンフィルタ出力から所定周波数以上の高域成分を検出する。
【００５１】
そして、高域検出回路２７，２８，２９で検出した映像信号の高域成分を、各色ごとのノイズ低減回路２１，２２，２３に供給し、高域検出回路２７，２８，２９で高域成分が検出された部分について、ノイズ低減回路２１，２２，２３でのノイズ低減処理の制御を行う。例えば、高域成分が検出された部分については、ノイズ低減処理を行わず、その他の部分についてだけノイズ低減処理を行う。或いは、高域成分が検出された部分については、ノイズ低減回路２１，２２，２３でのノイズ低減処理を、制限された状態で行い、比較的弱いノイズ低減処理だけを行うようにしてもよい。
【００５２】
なお、比較・選択回路３１，３２，３３での切替え処理時には、単純な切替えでは逆にノイズを発生することも考えられるので、それぞれの間を差分の大きさで滑らかに切り替える、いわゆるαブレンド処理を行うようにしてもよい。αブレンド処理を行う場合の具体的な処理例を示すと、例えば次の数１式による条件が適用可能である。数１式において、Ｄinは入力信号を示し、Ｄoutは出力信号を示し、閾値をＴhとしてあり、この例では閾値として、画素値（輝度値）３２を設定した例としてある。
【００５３】
〔数１〕
（Ｄin−Ｄout）＞Ｔh
（（Ｄin−Ｄout）−Ｔh）×Ｄin＋（３２−（（Ｄin−Ｄout）−Ｔh））×Ｄout
３２＞Ｄin
【００５４】
このように処理することで、メディアンフィルタと閾値処理を組み合わせて、精度の高い高周波成分の検出処理が可能になり、その良好に検出された高周波成分を利用して、良好なノイズ除去処理が可能になる。
【００５５】
ところでイメージセンサの画素サイズは益々小さくなっているが、この際に、光の揺らぎによって生じる光ショットノイズというものがノイズ成分の大部分を占めるようになってきている。これは入射する光の量に応じて増加するもので、明るいところほど目立つ。そこで、このようなノイズにも対応できるように、閾値処理を入力信号に応じて変化させるようにしてもよい。これにより、暗部での再現性を損なうことなく、明部での光ショットノイズを効果的に除去することが可能となる。このときの閾値処理例として以下のようなものをあげる。
【００５６】
【数２】
【００５７】
数２式において、Ｔhは閾値、Ｔmaxは閾値の最大値、Ｓcpuは閾値変化量の傾き、Ｔcpuは入力が０のときの閾値、Dataが入力データである。この閾値可変処理を示したのが、図７のグラフである。光ショットノイズ特性aに対して閾値変化特性ｂが近似されていることがわかる。これ以外にも、光ショットノイズを模した曲線で近似するなどの処理も適用可能である。
【００５８】
以上説明したように、本発明の第１及び第２の実施の形態によると、インパルス成分を除去した高周波成分のみを正確に検出することが可能になり、その検出に基づいた良好なノイズ除去ができる。また、第２の実施の形態で説明したように、閾値処理を組み合わせることで、コントラストのある絵柄などに含まれるインパルス成分には影響を与えずに、ノイズとしてのインパルス成分だけを除去した結果から高周波成分を検出することが可能になり、より良好なノイズ除去が可能になる。さらに、閾値を入力信号に応じて変化させることで、光ショットノイズなどのレベル依存なインパルス性ノイズに対応することも可能になる。
【００５９】
なお、ここまで説明したノイズ除去回路１２での処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するコンピュータプログラムを、マイクロコンピュータ１７に内蔵のＲＯＭ等の記憶部に格納する。
【００６０】
上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（演算処理装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００６１】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００６２】
また、上述した実施の形態において、本発明による撮像装置をビデオカメラに適用した例を説明したが、これに限らず、例えば、デジタルスチルカメラ、カラーイメージスキャナ、又はそれらと同等の機能を有するその他の装置等であってもよく、様々な装置に広く適用可能である。
【００６３】
さらに、上述した実施の形態では、撮像装置に組み込まれたノイズ低減回路内の高周波検出回路にメディアンフィルタを組み込む構成としたが、その他の装置などに適用される映像信号の高周波検出回路を、同様の構成としてもよい。
【図面の簡単な説明】
【００６４】
【図１】本発明の第１の実施の形態に係るビデオカメラの構成例を示すブロック図である。
【図２】図１に示したビデオカメラのノイズ低減回路の例を示す構成図である。
【図３】本発明の第１の実施の形態に係るメディアンフィルタでの処理状態を示す説明図である。
【図４】本発明の第１の実施の形態に係るメディアンフィルタでのインパルス成分の除去の処理状態を示す説明図である。
【図５】本発明の第１の実施の形態によるインパルス成分の検出処理例を示すフローチャートである。
【図６】本発明の第２の実施の形態に係るノイズ低減回路の例を示す構成図である。
【図７】図６例での閾値変化例と光ショットノイズとの関係を示した特性図である。
【図８】従来のノイズ低減処理例を示す構成図である。
【符号の説明】
【００６５】
１，２，３…イメージセンサ、１２…ノイズ低減回路、１３…輝度調整回路、１４…ガンマ補正回路、１７…マイクロコンピュータ、１８…操作部、２１，２２，２３…ノイズ低減回路、２４，２５，２６…メディアンフィルタ、２７，２８，２９…高域検出回路、３０…閾値処理回路、３１，３２，３３…比較・選択回路
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部で撮像して出力される映像信号のノイズ低減処理を行う映像処理部とを備えた撮像装置において、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素を、前記注目する画素の出力画素とするフィルタと、
前記フィルタの出力に基づいて映像の高周波成分の有無を検出する高周波成分検出回路と、
前記高周波成分検出回路が出力する映像の高周波成分の検出状況に応じて、各画素のノイズ低減処理状態を設定するノイズ低減回路とを備えたことを特徴とする
撮像装置。
【請求項２】
請求項１記載の撮像装置において、
さらに、前記フィルタは、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素以外の所定順序の画素を比較画素に設定し、
前記注目する画素の輝度値と、前記比較画素の輝度値との比較で、インパルス成分の検出に相当する所定の関係になる場合に、前記注目する画素の輝度値を、前記中央になる画素の輝度値に置換えて出力し、前記所定の関係でない場合に、前記注目する画素の輝度値をそのまま出力することを特徴とする
撮像装置。
【請求項３】
請求項１記載の撮像装置において、
さらに、前記高周波成分検出回路は、
前記フィルタが出力する輝度値と、前記注目画素の元の輝度値の差分を閾値と比較し、差分が設定された閾値以上の場合には、前記元の輝度値を選択し、前記閾値未満の場合には、前記フィルタが出力する輝度値を選択する選択部を備えたことを特徴とする
撮像装置。
【請求項４】
請求項３記載の撮像装置において、
前記閾値を元の輝度値に応じて可変設定したことを特徴とする
撮像装置。
【請求項５】
映像信号に含まれる高周波成分を検出する高周波成分検出回路において、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素を、前記注目する画素の出力画素とするフィルタと、
前記フィルタの出力に基づいて映像の高周波成分の有無を検出する検出回路とを備えたことを特徴とする
高周波成分検出回路。
【請求項６】
請求項５記載の高周波成分検出回路において、
さらに、前記フィルタは、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素以外の所定順序の画素を比較画素に設定し、
前記注目する画素の輝度値と、前記比較画素の輝度値との比較で、インパルス成分の検出に相当する所定の関係になる場合に、前記注目する画素の輝度値を、前記中央になる画素の輝度値に置換えて出力し、前記所定の関係でない場合に、前記注目する画素の輝度値をそのまま出力することを特徴とする
高周波成分検出回路。
【請求項７】
請求項５記載の高周波成分検出回路において、
さらに、前記検出回路は、
前記フィルタが出力する輝度値と、前記注目画素の元の輝度値の差分を閾値と比較し、差分が設定された閾値以上の場合には、前記元の輝度値を選択し、前記閾値未満の場合には、前記フィルタが出力する輝度値を選択する選択部を備えたことを特徴とする
高周波成分検出回路。
【請求項８】
請求項７記載の高周波成分検出回路において、
前記閾値を元の輝度値に応じて可変設定したことを特徴とする
高周波成分検出回路。
【請求項９】
映像信号に含まれる高周波成分を検出する高周波成分検出方法において、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素を、前記注目する画素の出力画素とし、
前記出力画素から映像の高周波成分の有無を検出することを特徴とする
高周波成分検出方法。
【請求項１０】
映像信号に含まれる高周波成分を検出する処理を実行するプログラムにおいて、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素を、前記注目する画素の出力画素とし、
前記出力画素から映像の高周波成分の有無を検出することを特徴とする
コンピュータプログラム。
【請求項１】
撮像部と、
前記撮像部で撮像して出力される映像信号のノイズ低減処理を行う映像処理部とを備えた撮像装置において、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素を、前記注目する画素の出力画素とするフィルタと、
前記フィルタの出力に基づいて映像の高周波成分の有無を検出する高周波成分検出回路と、
前記高周波成分検出回路が出力する映像の高周波成分の検出状況に応じて、各画素のノイズ低減処理状態を設定するノイズ低減回路とを備えたことを特徴とする
撮像装置。
【請求項２】
請求項１記載の撮像装置において、
さらに、前記フィルタは、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素以外の所定順序の画素を比較画素に設定し、
前記注目する画素の輝度値と、前記比較画素の輝度値との比較で、インパルス成分の検出に相当する所定の関係になる場合に、前記注目する画素の輝度値を、前記中央になる画素の輝度値に置換えて出力し、前記所定の関係でない場合に、前記注目する画素の輝度値をそのまま出力することを特徴とする
撮像装置。
【請求項３】
請求項１記載の撮像装置において、
さらに、前記高周波成分検出回路は、
前記フィルタが出力する輝度値と、前記注目画素の元の輝度値の差分を閾値と比較し、差分が設定された閾値以上の場合には、前記元の輝度値を選択し、前記閾値未満の場合には、前記フィルタが出力する輝度値を選択する選択部を備えたことを特徴とする
撮像装置。
【請求項４】
請求項３記載の撮像装置において、
前記閾値を元の輝度値に応じて可変設定したことを特徴とする
撮像装置。
【請求項５】
映像信号に含まれる高周波成分を検出する高周波成分検出回路において、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素を、前記注目する画素の出力画素とするフィルタと、
前記フィルタの出力に基づいて映像の高周波成分の有無を検出する検出回路とを備えたことを特徴とする
高周波成分検出回路。
【請求項６】
請求項５記載の高周波成分検出回路において、
さらに、前記フィルタは、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素以外の所定順序の画素を比較画素に設定し、
前記注目する画素の輝度値と、前記比較画素の輝度値との比較で、インパルス成分の検出に相当する所定の関係になる場合に、前記注目する画素の輝度値を、前記中央になる画素の輝度値に置換えて出力し、前記所定の関係でない場合に、前記注目する画素の輝度値をそのまま出力することを特徴とする
高周波成分検出回路。
【請求項７】
請求項５記載の高周波成分検出回路において、
さらに、前記検出回路は、
前記フィルタが出力する輝度値と、前記注目画素の元の輝度値の差分を閾値と比較し、差分が設定された閾値以上の場合には、前記元の輝度値を選択し、前記閾値未満の場合には、前記フィルタが出力する輝度値を選択する選択部を備えたことを特徴とする
高周波成分検出回路。
【請求項８】
請求項７記載の高周波成分検出回路において、
前記閾値を元の輝度値に応じて可変設定したことを特徴とする
高周波成分検出回路。
【請求項９】
映像信号に含まれる高周波成分を検出する高周波成分検出方法において、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素を、前記注目する画素の出力画素とし、
前記出力画素から映像の高周波成分の有無を検出することを特徴とする
高周波成分検出方法。
【請求項１０】
映像信号に含まれる高周波成分を検出する処理を実行するプログラムにおいて、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素を、前記注目する画素の出力画素とし、
前記出力画素から映像の高周波成分の有無を検出することを特徴とする
コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−２７４５３２（Ｐ２００７−２７４５３２Ａ）
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願番号】特願２００６−９９６４４（Ｐ２００６−９９６４４）
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]