ノイズ抑圧装置、ノイズ抑圧方法、ノイズ抑圧プログラムおよび撮像装置
【課題】画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないようにする。
【解決手段】分離手段により、高域側の信号と低域側の信号とに分離し、低域側の信号に対しては、平滑化手段により平滑化処理を行う。高域側の信号に対しては、高域信号処理手段により、いわゆるコアリング処理と、リミッタ処理とを行う。平滑化手段により平滑化処理された低域側の信号と高域信号処理手段によりコアリング処理及びリミッタ処理がされた高域側の信号とを加算手段により加算して出力する。
【解決手段】分離手段により、高域側の信号と低域側の信号とに分離し、低域側の信号に対しては、平滑化手段により平滑化処理を行う。高域側の信号に対しては、高域信号処理手段により、いわゆるコアリング処理と、リミッタ処理とを行う。平滑化手段により平滑化処理された低域側の信号と高域信号処理手段によりコアリング処理及びリミッタ処理がされた高域側の信号とを加算手段により加算して出力する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、画像スキャナ装置などの画像処理装置において入力された画像データについてノイズを抑圧(低減)するために用いられる装置、方法、プログラム、及び、これらが適用された撮像装置に関する。
【背景技術】
【0002】
画像信号のノイズを抑圧する方法としては、様々な方法が提案され利用されている。その内、最も単純なものとしてLPF(Low Pass Filter)を利用するものがある。しかし、LPFは高周波成分を抑圧するため、そのまま利用するとノイズ抑圧だけでなく絵柄のエッジ部を劣化させ、画像全体がぼやけてしまうといった問題がある。
【0003】
これに対して、特許文献1に開示されている非線形フィルタの1つであるε(イプシロン)フィルタを利用した方法は、絵柄のエッジ部を保持しながらノイズ抑圧を行うことができる。これはノイズ信号の多くは高周波で小振幅であるという性質を利用している。すなわち、図13の一般的な画像データのイメージに示すように、画像データには、高周波で小振幅のノイズ信号(図13において「ノイズ有り」と示した部分)が含まれる。しかし、ノイズ信号は、図13において、「絵柄のエッジ部」として示した部分のように、大振幅の信号ではない。
【0004】
そこで、図13において点線で上下方向に範囲を示したように、画像の絵柄の振幅よりも小さい閾値幅を設定し、注目している画素(注目画素)と周辺画素との信号レベルの差分がその閾値幅より大きい場合は絵柄による差分と判断し、画像信号の平滑化は行わないようにし、一方、注目画素と周辺画素との信号レベルの差分が、その閾値幅よりも小さければノイズで生じる差分と判断して、閾値幅内の画素で平均をとることにより平滑化を行うようにする。
【0005】
すなわち、図14Aに示すように、今、中央に位置する画素を注目画素Tとし、この注目画素Tを基準にして、当該注目画素Tの前後の画素が、予め決められた閾値幅の範囲内に存在するか否かを考える。図14Aにおいて、注目画素Tを基準に、予め決められた閾値幅を点線で示すと、注目画素Tの前後の3つずつの画素は、全て予め決められた閾値幅の範囲内に位置している。
【0006】
このような場合には、注目画素Tは周辺の画素から平均化されたレベルに置き換えられ、各画素を同様に処理することで全ての画像について平滑化が実行され、図14Bに示すように、各画素は、ノイズ成分が除去するようにされて平滑化される。これにより、画像信号により形成される画像の絵柄には影響を及ぼすことなく、ノイズ成分を除去して滑らかな画像を再生することができるようにされる。
【0007】
なお、上述した特許文献1は、以下に示す通りである。
【特許文献1】特開2005−311455号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
ところが、上述したεフィルタを用いたノイズ抑圧方法の場合、低照度時に画像信号がゲインアップされ、絵柄成分とノイズ成分の大きさが近づいてくると、εフィルタの閾値のレベルによっては画像中にポツポツと周りに比べレベルが突出した点(孤立点)が生じてくる。
【0009】
例えば、図15の画像データのイメージに示すように、注目画素Tにインパルス状に振幅の大きなノイズがのっているとき、注目画素Tの信号レベルと周辺画素の信号レベルとの差がεフィルタの閾値を超えてしまうので、その画素は平均化が全くされずスルーされる。一方、周辺画素は閾値内のノイズがのっておりεフィルタによって平均化されるので、平均化されなかった画素が孤立点として目立ってしまう。
【0010】
すなわち、図16Aに示すように、注目画素Tがインパルス状に振幅の大きなノイズがのるなどして信号レベルが高いものである場合に、当該注目画素Tを基準にして、予め決められた閾値幅を点線で示すと、当該閾値幅を有する範囲には、注目画素T以外の画素は全く存在していない。
【0011】
したがって、図16Aにおける注目画素Tについては、平滑化されることなくスルーされ、他の画素が注目画素となった場合には、予め決められた閾値幅の範囲内に他の画素が存在し平滑化は行われるので、図16Bに示すように、図16Aにおける注目画素Tが孤立点として目に付いてしまうことになる。
【0012】
そこで、このような孤立点を避けるために、εフィルタの閾値を大きくとるようにすることが考えられる。しかし、この場合には、絵柄の振幅が閾値より小さくなってしまうため、絵柄のエッジ部は劣化し画像がぼやけてしまう可能性が高くなる。
【0013】
つまり、低照度時で絵柄の信号に比べてノイズ成分が比較的大きな画像信号に対して、単純なεフィルタでノイズ低減を図ろうとすると、閾値が小さくて孤立点を生じるか、閾値が大きくてエッジ部が劣化してぼやけるかのどちらかになってしまう。
【0014】
また、低照度時は、被写体の素材感を表す高周波成分の振幅はノイズ成分の振幅より小さく、絵柄のエッジ部の振幅とノイズの振幅との大きさが近くなってくる。そのため,εフィルタなどを利用したノイズ抑圧を行うと、平坦部は画像本来の素材感が潰されてしまい、自然な起伏感が除去されて、いわゆる「のっぺり」とした感じの画像になってしまう場合がある。また、絵柄のエッジ部はノイズで壊され「ぎざぎざ」とした感じの画像になる場合がある。すなわち、εフィルタを用いた場合、ノイズは抑圧できるが、画像としては多少不自然になってしまう場合があると考えられる。
【0015】
以上の点に鑑み、この発明の第1の目的は、例え低照度で画像信号の絵柄成分とノイズ成分の大きさが近いときであっても、処理対象の画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないようにノイズ抑圧(低減)を行えるようにすることを目的とする。さらに、この発明の第2の目的は、ノイズ抑圧(低減)を行うようにした場合であっても、当該ノイズ抑圧された画像信号による画像が不自然にならないようにすることを目的とする。
【課題を解決するための手段】
【0016】
上記課題を解決するため、請求項1に記載の発明のノイズ低減装置は、
画像信号の供給を受けて、高域側の信号(高周波成分)と低域側の信号(低周波成分)とに分離する分離手段と、
前記分離手段で分離された前記低域側の信号に対して、平滑化処理を施す平滑化手段と、
前記分離手段で分離された前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を0(零)にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理手段と、
前記平滑化手段で処理された低域側の信号と、前記高域信号処理手段で処理された高域側の信号とを加算処理する加算手段と
を備えることを特徴とする。
【0017】
この請求項1に記載の発明のノイズ低減装置によれば、分離手段により、高域側の信号と低域側の信号とに分離され、低域側の信号は平滑化手段により平滑化処理される。具体的に平滑化手段においては、画素毎に、予め決められる閾値幅の範囲内の近隣の画素については平均化処理に用い、画素毎に、予め決められる閾値幅の範囲外の画素については平均化処理に用いないようにして、画像信号を平滑化する処理を行うことにより、ノイズ成分が低減するようにされる。
【0018】
また、高域側の信号は高域信号処理手段により、いわゆるコアリング処理と、リミッタ処理とが行われ、高域側の信号に含まれるインパルス状の高振幅のノイズ成分と低振幅のノイズ成分とが除去するようにされる。そして、平滑化手段により平滑化処理された低域側の信号と高域信号処理手段によりコアリング処理及びリミッタ処理がされた高域側の信号とが、加算手段により加算されて出力するようにされる。
【0019】
これにより、低域側の信号に存在するノイズ成分と高域側の信号に存在するインパルス状の高振幅のノイズ成分及び低振幅のノイズ成分とを効果的に抑圧(低減)させ、例え、低照度で画像信号の絵柄成分とノイズ成分の大きさが近いときであっても、画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないように、画像信号に含まれるノイズの抑圧を効果的に行うことができるようにされる。
【0020】
また、請求項2に記載の発明のノイズ低減装置は、請求項1に記載のノイズ低減装置であって、
前記高域信号処理手段においては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できることを特徴とする。
【0021】
この請求項2に記載の発明のノイズ低減装置によれば、高域側の信号の内、コアリング処理の対象にもならず、リミッタ処理の対象にもならない中振幅の信号については、利得の調整ができるようにされる。
【0022】
これにより、画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないように、画像信号に含まれるノイズの抑圧を効果的に行うことができるようにされると共に、画像信号が形成する画像のもともとの素材感を強調したり、画像信号が有する素材感を薄く広く残すようにしたり、そのまま残すようにしたりすることもできるようにされる。
【0023】
また、請求項3に記載の発明のノイズ低減装置は、請求項1に記載のノイズ低減装置であって、
前記高域信号処理手段においては、高振幅制限用閾値以上の大振幅の信号の振幅を0(零)にする高振幅制限処理を行うことを特徴とする。
【0024】
この請求項3に記載の発明のノイズ低減装置によれば、高域側の信号の内の大振幅の信号については、その振幅が0(零)になるようにされる。これにより、高域側の信号に存在する必要以上に高レベル(高振幅)の不要成分については、リミッタ処理されるだけでなく、完全に除去するようにされるので、より良好にノイズ低減を行うことができるようにされる。
【0025】
また、請求項4に記載の発明のノイズ低減装置は、請求項1に記載のノイズ低減装置であって、
前記加算手段から出力された画像信号に対して、ランダム信号を付加するランダム信号付加手段を備えることを特徴とする。
【0026】
この請求項4に記載の発明のノイズ低減装置によれば、平滑化手段と高域信号処理手段とによりノイズが低減するようにされた画像信号に対して、ランダム信号付加手段によりランダム信号が付加するようにされる。
【0027】
これにより、ノイズ抑圧(低減)がなされた画像信号による画像が、平坦部においては起伏感が無くなり、エッジ部においては、「ぎざぎざ」とした感じが残り、不自然な画像となることを防止して、ノイズ抑圧処理がなされた画像信号による画像をできるだけ自然なものとなるようにすることができるようにされる。つまり、ノイズ抑圧処理を施しても、見た目に自然な印象を受ける画像を形成するように画像信号を調整することができる。
【発明の効果】
【0028】
この発明によれば、低照度時において、絵柄成分とノイズ成分の大きさが近いときでも、孤立点を生じないようにするノイズ抑圧(ノイズ低減)処理を実現することができる。
【0029】
また、低照度時にεフィルタなどを利用したノイズ抑圧を行っても、ノイズ抑圧処理された画像信号に対してランダム信号を付加することにより、平坦部の「のっぺり」した感じや、エッジ部の「ぎざぎざ」した感じを目立たなくし、自然な画像を再生することができる。
【発明を実施するための最良の形態】
【0030】
以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。なお、この発明は、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話端末などの携帯電子機器に搭載されるカメラモジュール、イメージリーダ、スキャナなどの種々の画像処理装置に適用可能なものである。
【0031】
しかし、以下に説明する実施の形態においては説明を簡単にするため、動画像データの撮影が可能なデジタルビデオカメラ(撮像装置)に適用した場合を例にして説明する。また、以下に説明する撮像装置は、動画像と共に、音声についても取り込んで記録するなどすることができるものであるが、以下の実施の形態においては、説明を簡単にするため、音声信号の処理系についての説明は省略する。
【0032】
[撮像装置の構成例について]
図1は、この発明による装置、方法、プログラムの一実施の形態が適用された、この実施の形態の撮像装置100を説明するためのブロック図である。図1に示すように、この実施の形態の撮像装置は、画像信号の処理系として、レンズ部101、撮像素子部102、A/D変換器103、検波処理部104、ノイズ抑圧処理部105、カメラ信号処理部106、表示処理部107、表示部108を備えると共に、制御部110、キー操作部121、外部インターフェース(以下、外部I/Fと略称する。)122、外部入出力端子123、記録再生処理部124、記録媒体125を備えたものである。
【0033】
制御部110は、この実施の形態の撮像装置100の各部を制御するものであり、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、RAM(Random Access Memory)123、EEPROM(Electrically Erasable and Programmable ROM)114が、CPUバス115を通じて接続されて構成されたマイクロコンピュータである。
【0034】
ここで、CPU111は、後述もするROM112に記憶保持されているプログラムを読み出して実行し、各部に供給する制御信号を形成して各部に供給したり、各部からの信号を受け付けて、これを処理したりするなど、制御の主体となるものである。ROM112は、上述もしたように、CPU111によって実行されるプログラムや処理に必要になる各種のデータ等が予め記録されたものである。
【0035】
RAM113は、各種の処理の途中結果を一時記憶するなど、いわゆる作業領域として用いられるものである。EEPROM114は、いわゆる不揮発性メモリであり、例えば、各種の設定パラメータ、機能追加のために新たに提供されたプログラム等のこの実施の形態の撮像装置100の電源が落とされても保持しておくべき種々の情報を記憶保持するものである。
【0036】
また、キー操作部121は、例えば、録画スタンバイキー、録画開始キー、録画停止キー、望遠機能の調整キー、その他の各種の調整キーやファンクションキーなどを備え、ユーザーからの操作入力を受け付けて、当該操作入力を電気信号に変換し、これを制御部110に供給することができるものである。これにより、制御部110は、キー操作部121を通じて供給を受けたユーザーからの指示入力に応じて、この撮像装置100の各部を制御し、ユーザーの意図する処理を行うことができるようにされる。
【0037】
外部I/F122及び入出力端子123は、例えば、IEEE(Institute of Electrical and Electronics Engineers,Inc)1394規格やUSB(Universal Serial Bus)規格等に合致したものである。これら外部I/F122及び入出力端子123に対しては、同じ規格のインターフェースを備える例えばパーソナルコンピュータやPVR(Personal Video Recorder)等の外部機器を接続することができるようにされる。
【0038】
記録再生処理部124は、制御部110の制御に応じて、これに供給された画像データを記録媒体125に記録したり、また、記録媒体125に記録されている画像データを読み出して、制御部110を通じて表示処理部107に供給して再生するようにしたりするなどのことができるものである。
【0039】
また、記録媒体125は、この実施の形態の撮像装置100においての主記録媒体であり、例えば、内蔵された半導体メモリ、半導体メモリが用いられ着脱可能とされたメモリカード、内蔵された小型のハードディスク、着脱可能とされた光ディスクなどのディスク記録媒体、着脱可能とされた磁気テープなどである。この実施の形態の撮像装置100において、記録媒体125は、例えば、内蔵された小型のハードディスクである。
【0040】
なお、記録媒体125に記録される画像データは、所定のデータ圧縮方式により圧縮処理されて記録され、また、記録媒体125から読み出された画像データは、当該所定のデータ圧縮方式に従って伸張処理されるが、データの圧縮処理や伸張処理は、図示しない圧縮/伸張処理部において行うようにされる。また、このような、画像データの圧縮/伸張機能を、記録再生処理部124に設けるようにすることも可能である。
【0041】
そして、この実施の形態の撮像装置100においては、画像信号の処理系を通じて、撮影することにより取り込んだ被写体の画像を表示部108の表示素子の表示画面に表示して確認しながら撮影を行い、撮影することにより得た画像信号(動画像信号)を記録媒体125に記録する記録機能と、記録媒体125に記録されている画像信号を読み出して、これを表示部108の表示素子の表示画面に表示するようにしたり、あるいは、外部I/F122及び入出力端子123を通じて外部機器に供給したりする再生機能とを有するものである。
【0042】
[記録機能(撮影機能)および再生機能について]
まず、この実施の形態の撮像装置100の記録機能について説明する。図1に示すように、画像信号の処理系を構成する、レンズ部101、撮像素子部102、A/D変換器103、検波処理部104、ノイズ抑圧処理部105、カメラ信号処理部106、表示処理部107、表示部108のそれぞれは、共通のCPUバス115を通じて接続されている。
【0043】
そして、画像信号の処理系を構成する各処理部間のデータのやり取りは、基本的には、共通のCPUバス115を通じて行われる。ただし、CPUバス115を経由せず、処理部間で直接データをやり取りする場合もある。処理部同士でCPUバス115を経由せずに直接接続しデータの転送を行う場合は、それをひとつの処理部と見做すこともできる。
【0044】
そして、キー操作部121を通じて、動画像の撮影を行うことが指示されると、制御部110が各部を制御して動画像の撮影処理を開始する。この場合、レンズ部101を通じて撮像素子部102の固体撮像素子の結像面に結像された被写体の画像は、順次に当該固体撮像素子により電気信号(アナログ動画像信号)に変換されてA/D変換器103に供給される。ここで撮像素子部102に設けられている固体撮像素子は、例えばCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどである。
【0045】
そして、A/D変換器103に供給されたアナログ動画像信号は、ここでデジタル動画像信号(デジタルRaw動画像データ)に変換され、検波処理部104に供給される。なお、デジタルRaw動画像データは、現像処理されていないままのデジタル動画像データを意味し、撮像素子部2からのアナログ動画像信号がデジタル信号に変換された状態の画像信号である。
【0046】
検波処理部104は、これに供給されたRaw動画像データに基づいて、露出調整処理のためのパラメータやホワイトバランス調整処理のためのパラメータなど、後段で行う種々の画像処理のための現像パラメータの集まり(現像パラメータ群)Pmを生成し、この生成した現像パラメータ群を制御部110を通じてカメラ信号処理部106に供給すると共に、Raw動画像データは、ノイズ抑圧処理部105に供給する。
【0047】
ノイズ抑圧処理部105においては、詳しくは後述するが、これに供給された画像信号であるRaw動画像データを高域側の信号と低域側の信号とに分離し、そのそれぞれの信号に対して、適切なノイズ抑圧処理を施し後に加算処理して全帯域のRaw動画像データを復元して、これをカメラ信号処理部106に供給する。
【0048】
カメラ信号処理部106では、露出調整処理、ホワイトバランス調整処理、画素毎にRGBデータ(3原色データ)を形成するデモザイク処理(同時化処理)、ガンマ(γ)補正処理、輝度信号(Y)と色差信号(C)への変換処理(Y/C変換処理)、解像度変換処理などを行って、輝度信号および色差信号(以下、YC信号と略称する)を形成する。
【0049】
カメラ信号処理部106で形成されたYC信号は、表示処理部107に供給され、ここで表示部108に供給する形式の動画像信号に変換されて表示部108に供給される。これにより表示部108の表示素子の表示画面には、撮影するようにされた被写体の動画像が表示するようにされる。
【0050】
同時に、カメラ信号処理部106で形成されたYC信号は、例えば図示しない圧縮/伸張処理部において、圧縮処理された後、記録再生処理部124に供給される。記録再生処理部124は、これに供給された画像データを、自機に搭載されている記録媒体125に読み出し可能なように記録する。
【0051】
なお、表示部108は、例えば、LCD(Liquid Crystal Display)、有機ELパネル(Organic Electroluminescence Panel)、CRT(Cathode Ray Tube)などの表示素子を備え、上述したように、表示処理部からの動画像信号の供給を受けて、これに応じた動画像を自己の表示素子の表示画面に表示することができるものである。
【0052】
このように、この実施の形態の撮像装置100は、表示部108に搭載されている表示素子の表示画面に表示される被写体の動画像を確認しながら撮影を行い、撮影することにより得た動画像データを記録媒体125に記録することができるものである。
【0053】
そして、キー操作部121を通じて、記録媒体125に記録された動画像データを再生することの指示入力を受け付けると、制御部110は、記録再生処理部124を制御し、再生するように指示された動画像データを読み出し、例えば図示しない圧縮/伸張処理部に供給する。そして、当該圧縮/伸張処理部において伸張処理することにより、データ圧縮前の元の動画像データを復元し、これを制御部110を通じて表示処理部107に供給する。
【0054】
そして、表示処理部107においては、伸張処理されて復元された動画像データを、表示部108に供給する形式の動画像信号に変換して表示部108に供給する。これにより表示部108の表示素子の表示画面には、記録媒体125から読み出された動画像データに応じた動画像が表示するようにされる。
【0055】
また、同時に、圧縮されたままの動画像データは、あるいは、図示しない圧縮/伸張処理部において伸張処理されて、データ圧縮前の元の動画像データに復元された動画像データは、外部I/F122及び入出力端子123を通じて、これに接続された外部機器に供給し、当該外部機器において利用するようにすることもできるようにされる。
【0056】
このように、この実施の形態の撮像装置100は、撮影することにより得た動画像データに対してノイズ抑圧処理を施して記録媒体125に記録したり、また、記録媒体125に記録した動画像データを再生して利用したりすることができるものである。
【0057】
[ノイズ抑圧処理部105の構成と動作について]
次に、この実施の形態の撮像装置100のノイズ抑圧処理部105の構成と動作について説明する。図2は、ノイズ抑圧処理部105を説明するためのブロック図である。図2に示すように、ノイズ抑圧処理部105は、ディレイライン1051と、分離手段を構成する減算回路1052及びLPF(Low Pass Filter)1053と、高周波信号処理手段としてのコアリング・リミッタ部1054と、平滑化手段としてのεフィルタ1055と、加算手段としての加算回路1056とからなるものである。
【0058】
ディレイライン1051には、検波処理部104からのRaw動画像データが供給される。そして、ディレイライン1051は、いわゆるラインバッファであり、Raw動画像データを遅延させるようにすることによって、空間的に2次元のRaw動画像データを形成して出力する。この実施の形態の撮像装置100のノイズ抑圧処理部105においては、水平方向に3画素分、垂直方向に3画素分の範囲を処理単位となるようにしている。
【0059】
そして、ディレイライン1051からの2次元のRaw動画像データは、減算回路1052とLPF1053とに供給される。LPF1053は、これに供給された2次元のRaw動画像データから低域側の信号(Raw動画像データの低周波成分)を抽出し、これを減算回路1052とεフィルタ1055とに供給する。
【0060】
なお、ノイズ低減処理部105のLPF1053においては、図2に行列式で示した係数を用いることによって低域側の信号のみを通過させるようにしている。この例の場合には、上述もしたように、3画素×3画素の範囲を処理単位としているために、図2に示したように3行3列の係数を用いているが、これに限るものではない。この他の種々の係数を用いることが可能であり、図2に示した例以外の係数を用いた場合であっても、孤立点を生じさせないようにノイズ抑圧をすることは可能である。
【0061】
減算回路1052には、上述もしたように、ディレイライン1051からの2次元のRaw動画像データが供給されており、当該Raw動画像データから、LPF1053からのRaw動画像データの低域側の信号を減算することにより、Raw動画像データの高域側の信号(Raw動画像データの高周波成分)を抽出し、これをコアリング・リミッタ部1054に供給する。
【0062】
コアリング・リミッタ部1054では、減算回路1052からのRaw動画像データの高域側の信号に対して、微小振幅信号を0(零)にするコアリング処理と、設定した閾値以上の振幅の信号を閾値で制限をかけるリミッタ処理とを行い、処理後の高域側の信号を加算回路1056に供給する。
【0063】
一方、εフィルタ1055は、これに供給されたLPF1053からのRaw動画像データの低域側の信号に対して平滑化処理を行い、処理後の低域側の信号を加算回路1056に供給する。εフィルタ1055で行われる平滑化処理は、図13、図14を用いて説明したように、絵柄の振幅よりも小さい閾値幅を設定し、当該閾値幅内の近隣の画素間で平均化を行うことにより、小振幅のノイズ成分を除去するものである。
【0064】
最後にεフィルタ1055で処理された低域側の信号(低域成分)とコアリング・リミッタ部1054で処理された高域側の信号(高域成分)とが、加算回路1056で加算され、全帯域のRaw動画像データとされて、カメラ信号処理部106に供給するようにされる。
【0065】
そして、この実施の形態のノイズ抑圧処理部105においては、LPF1053を通して高周波成分が取り除かれた低域側の信号には、図15、図16を用いて説明したようなインパルス状の大振幅ノイズは含まれていないため、低照度時の画像信号であっても低域成分にεフィルタを通した結果に孤立点が生じることは無く、しかも低振幅のノイズについては、図13、図14を用いて説明したように、適切に除去することができる。
【0066】
ただし、インパルス状の大振幅ノイズは高域側の信号に含まれる。このため、εフィルタ1055を通した低域側の信号に高域側の信号をそのまま加算すると、孤立点が生じてしまう。そこで、それを防ぐために、高域側の信号に含まれるインパルス状の大振幅ノイズは、リミッタ処理で抑圧するようにする。さらに、高域側の信号には微小振幅の高周波ノイズが含まれているため、これをコアリング処理でつぶすようにする。
【0067】
図3は、コアリング・リミッタ部1054で行われるリミッタ処理を説明するための図である。また、図4は、コアリング・リミッタ部1054で行われるコアリング処理を説明するための図である。
【0068】
リミッタ処理は、図3Aに示すように、予め決められた閾値範囲外の高レベル(高振幅)の画素データが存在する場合に、図3Bにおいて矢印で示すように、予め決められた閾値範囲外の画素データを閾値範囲内のデータとなるように信号レベルを抑圧(制限)することにより、インパルス状の大振幅のノイズの影響を排除するものである。
【0069】
また、コアリング処理は、図4Aに示すように、予め決められた比較的に狭い閾値範囲内の画素データには、微小振幅の高周波ノイズが含まれているものと判断し、図4Bにおいて矢印で示すように、その画素データの信号レベルを0(零)にして、高周波で小振幅のノイズの影響を排除するものである。
【0070】
コアリング・リミッタ部1054で行われる高域側の信号処理について、図5を用いてさらに詳細に説明する。図5は、コアリング・リミッタ部1054において行われる高域側の信号に対する処理を説明するための図である。図5において、横軸はコアリング・リミッタ部1054への入力信号レベルを、また、縦軸はコアリング・リミッタ部1054からの出力信号レベルを意味している。
【0071】
そして、図5において、例えば直線で示すような入力画像データ(高域側の信号)Nがコアリング・リミッタ部1054に供給されると、図3を用いて説明したようにリミッタ処理される。このリミッタ処理により、図5においては、リミッタ用閾値LT以上の入力信号が、リミッタ用閾値LTにまで抑圧するようにされる。これにより、インパルス状の大振幅のノイズ信号については、リミッタ処理により抑圧するようにされる。
【0072】
さらに、入力画像データ(高域側の信号)Nは、コアリング・リミッタ部1054において、図4を用いて説明したようにコアリング処理される。このコアリング処理により、図5においては、コアリング用閾値CT以下の入力信号のレベルが0(零)に抑圧するようにされる。これにより、小振幅のノイズ信号については、コアリング処理により抑圧するようにされる。
【0073】
さらに、この実施の形態のノイズ抑圧処理部105のコアリング・リミッタ部1054においては、高域側の信号の中間の振幅の信号に対してはゲイン(利得)をかけられるようにする。すなわち、図5において、コアリング用閾値CTからリミッタ用閾値LTまでの中間の振幅の信号に対しては、抑圧の変化の度合い(高域信号処理後の画像データの傾き)を調整できるようにしている。この調整は、後述もするように制御部110からの制御に応じて行うことが可能である。
【0074】
そして、図5において、コアリング用閾値CTからリミッタ用閾値LTに至るまでのグラフの傾きを値「1」より大きくすると中間の振幅の信号が強調され、傾きを値「1」より小さくすると中間の振幅の信号が減衰される。また、傾きを緩やかにすれば、コアリング範囲以外の画像データの素材感を薄く広く残すことができるようにされる。
【0075】
この場合、中間の振幅の信号に対してかけるゲイン(利得)は、処理対象の画像の特性、例えば、「画像が撮影された照度」などに応じて調整すればよい。例えば、低照度時の画像であればノイズが多いので傾きを緩やかにしてノイズ成分を抑圧し、照度が高いときの画像であればノイズが少ないので傾きを緩やかにしないといったように制御される。この制御は、検波処理部104における検波処理の結果に基づいて、制御部110がノイズ抑圧処理部105のコアリング・リミッタ部1054を制御することになる。
【0076】
このように、高域側の信号の内、リミッタ処理やコアリング処理の対象とならない中間の振幅(中振幅)の信号についても、適切にゲイン調整することにより、当該画像データによる画像の素材感を調整することができる。
【0077】
さらに、この実施の形態のコアリング・リミッタ部1054においては、図5において、予め決められる高振幅制限用閾値HT以上の高振幅の信号については、その信号レベル(振幅)を0(零)に抑圧する高振幅制限処理(入力信号の高レベル成分の制限処理)を行うようにする。
【0078】
高レベルの信号成分は、リミッタ処理によりリミッタ用閾値LTまで抑圧(制限)されるものの、もともと不要なほど高レベルの信号であってもレベル制限されて残ってしまう。そこで、予め決められる高振幅制限用閾値HTよりも高レベルの入力信号については、そのレベルを0(零)にすることによって、不必要に高レベルの信号を除去し、このような高レベルの信号が画像に及ぼす影響を抑圧することができる。
【0079】
この場合においても、高振幅の信号の内、制限するようにする高振幅の信号に対してゲインの調整をできるようにしておくことによって、画像の強エッジ部を調整することができる。すなわち、図5に示すように、高振幅制限用閾値HTからリミッタ用閾値LTまでのグラフの傾きを制御することにより、画像がもともと有する強エッジ部を調整することができる。
【0080】
このように、この実施の形態の撮像装置100のノイズ抑圧処理部105においては、処理対象のRaw動画像データを低域側の信号と高域側の信号とに分割し、低域側の信号については、εフィルタ1055を用いて平滑化することにより低振幅のノイズ信号を抑圧する。また、高域側の信号については、コアリング処理により低振幅のノイズ信号を抑圧すると共に、リミッタ処理によりインパルス状の高振幅のノイズ成分を抑圧する。
【0081】
そして、上述のように、ノイズ信号を抑圧するようにした、低域側の信号と高域側の信号とを加算処理することにより、全帯域に渡って、低振幅のノイズ信号及び高振幅のノイズ信号を抑圧した高品位の画像データを形成することができるようにされる。
【0082】
さらに、コアリング・リミッタ部1054の機能として、高域側の信号の内、コアリング処理の対象となる低レベル(低振幅)の信号とリミッタ処理の対象となる高レベル(高振幅)の信号と以外の中間レベル(中振幅)の信号については、ゲイン調整(傾き調整)することによって、画像がもともと有する素材感を調整することができる。
【0083】
具体的には、図5を用いて説明したように、中振幅の信号についての調整される信号レベルの傾きを急にすれば(ゲインを大きくすれば)、中振幅の入力信号は大きく出力するようにされるので、中振幅の信号による画像の素材感を強調することができる。また、図5を用いて説明したように、中振幅の信号についての調整される信号レベルの傾きを緩やかにすれば(ゲインを小さくすれば)、中振幅の入力信号についても制限されることになり、中振幅の信号による画像の素材感を薄く広く残すことができるようにされる。また、図5を用いて説明したように、中振幅の信号についての調整される信号レベルの傾きを値「1」すれば、中振幅の信号による画像の素材感はそのままとすることができるようにされる。
【0084】
さらに、コアリング・リミッタ部1054の機能として、高域側の信号の内、高振幅制限用閾値以上の高レベル(高振幅)の信号については、その信号レベルを0(零)にするように高振幅制限処理を行うことにより、例えば不自然なほど高レベルの入力信号は、その信号レベルが0(零)となるようにされ、画像に与える影響を除去することができる。
【0085】
なお、高振幅制限処理を行う場合にも、ゲイン調整をも行うようにすることによって、画像の中振幅の信号のゲインを調整するようにした場合と同様に、画像の強エッジ部を調整することができる。
【0086】
また、図2に示したノイズ抑圧処理部105において、減算回路1052及び加算回路1056においては、それぞれが同期する低域側の信号と高域側の信号との間で、減算や加算などの演算処理が行うようにされることは言うまでも無い。
【0087】
また、εフィルタ1055で用いる閾値、コアリング・リミッタ部1054で用いるコアリング用閾値CT、リミッタ用閾値LT、高振幅制限用閾値HTなどの各閾値は、例えば、検波処理部104においての検波処理の結果に基づいて、制御部110が適切な値を適応的に設定するようにすることができるようにされる。例えば、予め複数の閾値の候補を用意しておき、検波処理部104においての検波処理の結果に基づいて、制御部110が適切な値を選択するようにするなどのことが可能である。また、予め決められた閾値を固定的に用いるようにすることも可能である。
【0088】
[ノイズ抑圧処理部の他の位置への配置について]
図1に示した撮像装置100においては、ノイズ抑圧処理部105は、検波処理部104とカメラ信号処理部106との間に設けて、当該ノイズ抑圧処理部105において、Raw動画像データに対してノイズの抑圧処理を行うようにした。しかし、これに限るものではない。この他にも、ノイズ抑圧処理部は、種々の位置に設けるようにすることができる。
【0089】
図6は、ノイズ抑圧処理部を設ける位置について説明するための図であり、図7は、ノイズ抑圧処理部を設ける位置に応じて、処理対象の画像データが異なることを説明するための図である。
【0090】
図1に示した撮像装置100の場合には、上述もしたように、ノイズ抑圧処理部105は、検波処理部104とカメラ信号処理部106との間に設けられているので、処理対象の画像データは、Raw動画像データということになる。Raw動画像データは、上述もしたように、撮像素子部102からの信号がデジタル化されたものであるので、撮像素子部102で用いられているカラーフィルタに応じて、例えば、図7Aに示すようないわゆるベイヤ(Bayer)配列とされたものである。
【0091】
このため、図2に示したノイズ抑圧処理部105においては、1画素おきに存在する同じ色の色信号を水平方向3画素×垂直方向3画素を処理単位として、ノイズ抑圧処理を行うようにする。すなわち、図1、図2に示したノイズ抑圧処理部105においては、飛び飛びに存在するR信号、G信号、B信号のそれぞれごとに、ノイズ抑圧処理が行うようにされる。
【0092】
また、図6Aに示すように、ノイズ抑圧処理部105をカメラ信号処理部106と表示処理部107とに間に設けるようにすることもできる。上述もしたように、カメラ信号処理部106は、YC信号を形成して出力する。すなわち、図6Aに示したノイズ抑圧処理部105には、図7Bに示すような画素毎のYCbCr信号(輝度信号Y,青の色差信号Cb、赤の色差信号Crからなる信号)が供給するようにされるので、図1〜図5を用いて説明した実施の形態の場合と同様にノイズ抑圧処理を行うものとすれば、水平方向3画素×垂直方向3画素のYCbCr信号を処理単位として、ノイズ抑圧処理を行うようにすればよい。入力される画像データがYC信号であるが、これを処理する構成は、図2に示した構成と変わることは無い。
【0093】
また、図6Bに示すように、カメラ信号処理部106を、例えば、露出調整、ホワイトバランス調整、デモザイク処理(同時化処理)までを行うカメラ信号処理部1と、例えば、ガンマ(γ)補正、Y/C変換、解像度変換等を行うカメラ信号処理部2とに分離し、これらカメラ信号処理部1とカメラ信号処理部2との間に、ノイズ抑圧処理部105を設けるようにすることもできる。
【0094】
そして、カメラ信号処理部1からは、デモザイク処理後のRGB信号が出力される。したがって、図6Bに示したノイズ抑圧処理部105には、図7Cに示すような画素毎のRGB信号が供給するようにされるので、図1〜図5を用いて説明した実施の形態の場合と同様にノイズ抑圧処理を行うものとすれば、水平方向3画素×垂直方向3画素のRGB信号を処理単位として、ノイズ抑圧処理を行うようにすればよい。入力される画像データがRGB信号であるが、これを処理する構成は、図2に示した構成と変わることは無い。
【0095】
このように、カメラ信号処理部106の後ろにノイズ抑圧処理部105を配置して、YC信号をノイズ抑圧処理部105への入力信号とする形態も可能であるし,カメラ信号処理の途中にノイズ抑圧部105を配置し、カメラ信号処理の中間データ(例えばRGBデータ)をノイズ抑圧処理部105への入力信号とする形態も可能である。
【0096】
すなわち、ノイズ抑圧処理部105は、撮像装置の種々の位置に設けるようにすることができる。そして、ノイズ抑圧処理部105は、どの位置に設けられた場合であっても、供給された画像データについて、低域側の信号と高域側の信号とに分離し、低域側の信号についてはεフィルタで平滑化し、高域側の信号についてはコアリング処理とリミッタ処理とを行い、処理後の低域側の信号と高域側の信号とを加算することにより、ノイズを抑制した高品位の画像データを形成することができる。
【0097】
また、高域側の信号を処理する場合、コアリング・リミッタ部1054において、中振幅の信号のゲインを調整したり、高振幅制限処理を行ったりすることによって、より適切にノイズ成分を除去し、より高品位な画像データを形成することもできるようにされる。
【0098】
[ノイズ抑圧処理部105の他の構成例について]
図2を用いて説明したノイズ抑圧処理部105は、LPF1053と減算回路1052とを用いて、低域側の信号と高域側の信号とに分離するようにしたが、これに限るものではない。HPF(High Pass Filter)を用いて低域側の信号と高域側の信号に分離するようにすることもできる。
【0099】
図8は、HPFを用いて、低域側の信号と高域側の信号に分離する構成のノイズ抑圧処理部105を説明するためのブロック図である。図8に示すように、この例のノイズ抑圧処理部105は、図2に示したノイズ抑圧処理部105の減算回路1052とLPF1053とに替えて、HPF1057と減算回路1058とを設けるようにした点を除けば、図2に示したノイズ抑圧処理部105と同様に構成されたものである。このこのため、図8に示したノイズ抑圧回路において、図2に示したノイズ抑圧回路と同様に構成される部分については、同じ参照符号を付し、その部分の詳細な説明については省略する。
【0100】
そして、図8に示すノイズ抑圧処理部105の場合には、ディレイライン1051からのRaw動画像データは、HPF1057と、減算回路1058とに供給される。HPF1057は、これに供給されたRaw動画像データから高域側の信号(高域成分)を抽出し、これをコアリング・リミッタ部1054と減算回路1058とに供給する。
【0101】
減算回路1058には、上述もしたように、ディレイライン1051からのRaw動画像データが供給されており、当該Raw動画像データからHPF1057からの高域側の信号が減算されることにより、低域側の信号が抽出され、これがεフィルタ1055に供給される。このように、LPFではなくHPFで高域側の信号を生成し、ディレイラインの出力信号からHPFから出力された高域側の信号を減算することで、低域側の信号を生成することも可能である。
【0102】
コアリング・リミッタ部1054、εフィルタ1055、加算回路1056の各部における処理は、図2を用いて説明したノイズ抑圧処理部105における対応する各部と同様の処理が行われる。
【0103】
このように、LPF(Low Pass Filter)に替えて、HPF(High Pass Filter)を用いるようにしても、画像データについて、低域側の信号と高域側の信号とに分離し、低域側の信号にはεフィルタを、高域側の信号にはコアリング処理及びリミッタ処理を、それぞれ施すようにすることができる。
【0104】
[ノイズ抑圧による画像の不自然さに対する対応について]
低照度時にεフィルタなどを利用したノイズ抑圧を行うようにすると、平坦部は画像が有する元々の素材感が潰され、絵柄のエッジ部はノイズで潰されて「ぎざぎざ」になり、再生される画像に不自然さが表れてしまう場合がある。このような画像の不自然さを解消するために、ノイズ抑圧後に適度な振幅のランダム信号を付加して、再生される画像が自然な画像に見えるようにする。
【0105】
このようにするのは、完全に「のっぺり」した絵柄よりも、ランダム信号がある程度のった絵柄のほうが見た目には気持ちが良く、絵柄のエッジ部の「ぎざぎざ」をランダム信号でマスクすると、人間の目には、隠れたところを予測して補間するという性質があるので、自然な絵柄のエッジを実現することができるためである。
【0106】
このように、以下に説明する撮像装置においては、ノイズ低減処理後の画像データに対して、ランダム信号を付加するようにしたものである。図9は、ノイズ低減処理後の画像データに対して、ランダム信号を付加することができるようにされた撮像装置100Aを説明するためのブロック図である。
【0107】
図9に示した撮像装置100Aは、カメラ信号処理部106と表示処理部107との間にランダム信号付加部109が設けられた点を除けば、図1に示した撮像装置100と同様に構成されたものである。このため、図9に示す撮像装置100Aにおいて、図1に示した撮像装置100と同様に構成される部分には、同じ参照符号を付し、その詳細な説明については省略する。
【0108】
そして、図9に示した撮像装置100Aにおいては、検波処理部104からのRaw動画像データについては、図2に示した構成を有するノイズ抑圧処理部105においてノイズ抑圧処理がなされた後、カメラ信号処理部106において所定の信号処理がなされ、YC信号が形成されて、これがランダム信号付加部109に供給される。
【0109】
ランダム信号付加部109では、これに供給されたYC信号に対して、適切なレベルでランダム信号を付加することにより、εフィルタなどを通じてノイズ抑圧された画像データによる画像において、起伏感がそがれることにより生じる平坦部の「のっぺり」とした感じや、ノイズで壊されることにより生じるエッジ部の「ぎざぎざ」した感じを低減させるようにしている。
【0110】
図10は、図9に示した撮像装置100Aのランダム信号付加部109の構成例を説明するためのブロック図である。図10に示すように、ランダム信号付加部109は、乱数発生器1091と、ハイパスフィルタ1092と、乗算回路109と、加算回路1094とを備えたものである。
【0111】
乱数発生器1091は、例えばM系列の乱数を発生させるものである。乱数発生器1091からの出力信号はHPF1092に供給され、ここで低周波成分が取り除かれた後に乗算回路1093に供給される。なお、HPF1092によって、低周波成分を取り除くのは、低周波成分を含むランダム信号よりは、低周波成分を含まないランダム信号をYC信号に付加した方が、見た目には違和感が無く、心地よいと感じる場合が多いためである。
【0112】
そして、HPF1092からのランダム信号に対しては、画像の明るさ(照度)や他の画像の特性に応じたゲインを乗じて、適切な信号レベルにした後に、加算回路1094において、カメラ信号処理部106からのYC信号に対して加算する。なお、乗算回路1093におけるゲインであるが、これは、検波処理部103においての検波結果に基づいて、制御部110が適切なゲインを設定し、ランダム信号付加部109の乗算回路1093を制御するようにしている。
【0113】
このように、ノイズ抑圧処理後の画像データに対して、適切な信号レベルのランダム信号を加算することにより、ノイズ抑制処理により生じた平坦部の「のっぺり」感や絵柄のエッジ部(輪郭部など)における「ぎざぎざ」感を抑制し、自然な感じを受ける画像を得るようにすることができる。
【0114】
なお、ランダム信号付加部109の配置位置であるが、ノイズ抑圧処理部105の最後に位置させるようにしてもよいし、カメラ信号処理部106の内部に設けるようにしてもよい。また、図9に示したように、カメラ信号処理部106の後段に設けるようにしてもよい。前提として、ノイズ抑圧処理部105よりも後に位置させるようにする必要がある。
【0115】
また、γ補正処理・Y/C変換処理の後ろにランダム信号付加部109を配置するようにすれば、輝度によらず一定の振幅のランダム信号を付加することが容易であるし、また、輝度信号Yのみにランダム信号を付加するといったことも容易である。もちろん、輝度信号Yだけにランダム信号付加だけでなく,輝度信号Yと色差信号Cとで別々のランダム信号を付加するようにしてもよい。
【0116】
また、この例のランダム信号付加部109においては、図10を用いて説明したように、乱数発生器1091の出力信号についてHPF1092により低域成分を除去するようにしたが、HPF1092を用いなくても、自然な画像を実現する効果はある。また、上述もしたように、乱数発生器1091の出力信号にゲインをかけられるようにしてランダム信号の振幅を任意に設定できるようにしておき、取り込まれた画像の明るさ(照度)に応じてゲインを制御することにより、より自然な画像を生成することができる。
【0117】
なお、図9に示した撮像装置100Aの場合にも、ノイズ低減処理部105は、図6を用いて説明したように、種々の位置に設けることが可能である。そして、ノイズ信号付加部109は、上述もしたように、ノイズ抑圧処理部105よりも後段であって、γ補正処理やY/C変換処理が行われる処理部の後段に設けるようにすればよい。
【0118】
[ノイズ抑圧処理及びランダム信号の付加処理のまとめ]
次に、図9に示したこの例の撮像装置100Aにおけるノイズ抑圧処理とランダム信号の付加処理について、図11のフローチャートを参照しながらまとめる。図11は、図9に示した撮像装置100Aにおいて行われるノイズ抑圧処理からランダム信号の付加処理までの処理について説明するためのフローチャートである。この図11に示す処理は、撮像装置100Aに電源が投入され、撮影スタンバイ状態にされた場合に、制御部110の制御により、主にノイズ抑圧処理部105及びランダム信号付加部109において行われ、撮影中も実行するようにされる処理である。
【0119】
すなわち、撮像装置100Aに電源が投入され、撮影スタンバイ状態にされると、制御部110は、撮像装置100Aの各部を制御し、被写体の動画像を取り込んで、いつでも記録媒体125に記録を開始できる準備を整えるようにする。この場合、ノイズ抑圧処理105においては、供給される画像データを低域側の信号と高域側の信号とに分離する処理を開始させる(ステップS101)。
【0120】
そして、分離された低域側の信号と高域側の信号とのそれぞれに対して、ノイズの抑圧処理を行うようにする(ステップS102)。具体的には、分離された低域側の信号に対しては、εフィルタ1055を用いて平滑化処理を行うようにし(ステップS1021)、分離された高域側の信号に対しては、コアリング・リミッタ部1054を用いてコアリング処理とリミッタ処理とを行うようにする(ステップS1022)。
【0121】
なお、ステップS1022の高域側の信号に対する処理においては、図5を用いて説明したように、高域側の信号の内、コアリング処理やリミッタ処理の対象とならない中間の振幅の信号のゲインを調整したり、さらには、高振幅制限用閾値HTを設定し、高振幅制限用閾値HT以上の高振幅の信号レベルを0(零)にする高振幅制限処理を行うようにしたりすることも行われる。もちろん、高振幅制限処理を行う場合にもゲイン調整を行うことも可能である。
【0122】
このようにして、ステップS102の処理により、低域側の信号と高域側の信号とのそれぞれに対して、そのそれぞれに応じて適切なノイズ抑圧処理がなされ、ノイズが適切に低減するようにされた低域側の信号と高域側の信号とが形成される。
【0123】
そして、εフィルタ1055から出力される平滑化処理後の低域側の信号とコアリング・リミッタ部1054から出力されるコアリング処理及びリミッタ処理後の高域側の信号とは、加算回路1056で加算されて全帯域の信号に戻され(ステップS103)、カメラ信号処理部106に供給される。
【0124】
そして、カメラ信号処理部105において、例えば、γ補正等の必要なカメラ信号処理が行われてYC信号が形成され(ステップS104)、これがランダムノイズ付加部109に供給されて、ランダムノイズが付加される(ステップS105)。すなわち、ノイズ信号付加部109では、上述もしたように、ランダム信号が発生され、このランダム信号はHPFで低域成分が除去された後に、制御部110からの制御に応じて適切にゲイン調整されて、YC信号に加算される。
【0125】
この後、例えば、撮影スタンバイ状態や撮影状態から、通常の停止状態(撮影スタンバイ状態でも撮影状態でもなく、撮像装置100Aにおいて何の処理も行われておらず停止した状態)になり、当該処理を終了する状態になったか否かを判断する(ステップS106)。
【0126】
ステップS106の判断処理において、終了する状態になっていないと判断したときには、ステップS102からの処理を繰り返し、ノイズ抑圧処理及びランダム信号の付加処理を続行する。ステップS106の判断処理において、当該処理を終了する状態になったと判断したときには、この図11に示す処理を終了し、ノイズ抑圧処理及びランダム信号の付加処理を終了する。
【0127】
なお、図11に示した処理において、ステップS105のステップを削除することにより、図1に示した撮像装置100において行われるノイズ抑圧処理に対応したフローチャートになる。
【0128】
[その他]
なお、上述した実施の形態においては、この発明を撮像装置に適用した場合を例にして説明したが、これに限るものではない。例えば、図2、図8に示した構成のノイズ抑圧処理回路をIC(Integrated Circuit)化し、ノイズ抑圧処理ICとして種々の画像処理装置に搭載するようにすることができる。また、図10に示したランダム信号付加部についてもIC化して、ノイズ抑圧処理ICと共に、種々の画像処理装置に搭載することもできる。
【0129】
また、検波処理部やカメラ信号処理部などの従来からの処理回路と共に、ノイズ抑圧処理部やランダム信号付加部の機能をも備えたICやLSI(Large Scale Integrated Circuit)を形成して種々の画像処理装置に搭載することができる。
【0130】
なお、画像処理装置としては、上述もしたが、デジタルビデオカメラやデジタルスチルカメラなどの撮像装置、イメージリーダやスキャナなどと呼ばれる画像読み取り装置、また、Raw画像データ、RGBデータ、YCデータなどの種々の状態の画像データの供給を受けてこれを処理することが可能なパーソナルコンピュータなどの画像処理装置など、画像データを取り込んで処理する種々の画像処理装置にこの発明を適用することができる。
【0131】
また、図11に示したフローチャートにしたがって、画像信号の供給を受けて、高域側の信号と低域側の信号とに分離する分離ステップと、分離ステップにおいて分離した低域側の信号に対して、平滑化処理を施す平滑化ステップと、分離ステップにおいて分離した高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を0(零)にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値に制限するリミッタ処理とを行う高域信号処理ステップと、平滑化ステップにおいて処理した低域側の信号と、高域信号処理ステップにおいて処理した高域側の信号とを加算処理する加算ステップとを実行するプログラムを形成し、これを例えばパーソナルコンピュータなどの画像処理装置のコンピュータが実行できるようにすることによって、この発明を容易に種々の画像処理装置に適用することができる。
【0132】
もちろん、高域信号処理ステップにおいては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できるようにしたり、高振幅制限用閾値以上の大振幅の信号の振幅を0(零)にする高振幅制限処理を行うようにしたりすることができるし、また、前記加算ステップにおいて加算処理されて形成された画像信号に対して、ランダム信号を付加するランダム信号付加ステップをさらに設けるようにすることももちろん可能である。
【0133】
すなわち、少なくとも、図1、図6、図9において、二重線で示したノイズ抑圧処理部105、ランダム信号付加部109の機能は、例えば、制御部110のCPUなどのコンピュータによって実行されるプログラム(ソフトウェア)として実現することができる。
【0134】
このようなプログラムは、インターネットなどのネットワークを介して提供することも可能であるし、CD(Compact Disc)、DVD(Digital Versatile Disc)、メモリカードなどの種々の記録媒体に記録して提供することも可能である。
【0135】
また、上述した実施の形態においては、コアリング・リミッタ部1054においては、図5を用いて説明したように、中間の振幅の信号のゲイン調整と、高振幅制限用閾値HT以上の高振幅の信号については、その信号レベル(振幅)を0(零)に抑圧する高振幅制限処理とを行うものとして説明したが、いずれか一方だけを行うようにしてもよい。
【0136】
また、処理対象の画像の性質に応じて、中間の振幅の信号のゲイン調整と高振幅制限処理との両方を行わないようにすることもできる。すなわち、中間の振幅の信号のゲイン調整と高振幅制限処理とは、処理対象の画像の性質、例えば明るさなどに応じて実行するか否かを制御するようにしてもよい。
【0137】
また、上述した実施の形態において、ノイズ抑圧処理部105においては、これに供給された画像信号から分離された低域側の信号に対しては、εフィルタ1055を用いて平滑化するようにしたが、εフィルタの他、εフィルタの改良フィルタや他の平滑化フィルタを用いるようにしてもちろんよい。
【0138】
すなわち、低域側の信号の平滑化処理は、予め決められる閾値幅の範囲内の近隣の画素については平均化処理に用い、予め決められる閾値幅の範囲外の画素については平均化処理に用いないようにして、画像信号を平滑化処理する種々のフィルタを用いることが可能である。
【0139】
また、上述した実施の形態においては、ノイズ抑圧処理の処理対象の信号がRaw動画像データの場合には、例えば、図7Aに示したような、用いられているカラーフィルタに応じて、飛び飛びに存在するR信号、G信号、B信号のそれぞれごとに、ノイズ抑圧処理を行うものとして説明した。しかし、用いられるカラーフィルタは、図7Aに示したものに限るものではない。
【0140】
図7Aに示した以外のカラーフィルタが用いられている場合にもこの発明を適用できることは言うまでもない。種々のカラーフィルタが用いられる場合にも、基本的には、R信号、G信号、B信号のそれぞれごとに、ノイズ抑圧処理を行うようにすればよい。また、場合によっては、特定の色信号だけをノイズ抑圧処理の対象とすることも可能である。
【0141】
また、上述した実施の形態においては、処理対象の信号がYCデータの場合には、例えば、図7Bに示したように、画素毎のYCbCr信号を用いるようにしたが、これに限るものではない。YCデータ(YCbCr信号)のフォーマットには、種々のものが存在する。図12は、YCデータ(YCbCr信号)のフォーマットの他の例を説明するための図である。
【0142】
カメラ信号処理部106から出力されるYCデータは、例えば、図12Aに示すように、4画素×4画素の範囲を処理単位とした場合に、水平方向の画素毎にY信号が出力され、Cb信号とCr信号とが1画素おきに出力するようにされる場合(Y:Cb:Crが4:2:2で出力される場合)や、図12Bに示すように、4画素×4画素の範囲を処理単位とした場合に、水平方向の画素毎にY信号が出力され、Cb信号とCr信号とのそれぞれは各処理単位の最初の水平方向の各画素においてのみ出力するようにされる場合(Y:Cb:Crが4:1:1で出力される場合)等がある。すなわち、Y:Cb:Crが4:1:1で出力される場合は、Cb信号とCr信号とは、水平方向の4画素に1回の割合(3画素おき)に出力するようにされるものである。
【0143】
このような、図12A、Bに示したようなYCデータが処理対象である場合にも、この発明を適用することができる。この場合には、図12A、Bのいずれの場合にも、各画素には、Y信号(輝度信号)が存在するので、画素毎のY信号だけを処理対象とするようにしたり、あるいは、飛び飛びに存在するYCbCr信号だけを処理対象とするようにしたりすることが可能である。
【0144】
なお、Y信号だけを処理対象とする場合には、Y信号は各画素に存在するので、処理単位の大きさも例えば、3画素×3画素や4画素×4画素などのように任意に設定できる。また、YCbCr信号を処理単位にする場合には、図12A、図12Bの場合、Cb信号、Cr信号は、水平方向には飛び飛びにしか存在しないので、水平方向の出現頻度等に応じて、処理単位を設定するようにすればよい。
【0145】
例えば、処理対象のYCデータが、図12Aに示したY:Cb:Crが4:2:2の場合には、処理単位を3画素(垂直方向)×5画素(水平方向)のようにすればよい。また、設定される処理単位に応じて、LPF1053等のフィルタ係数も調整するようにすればよい。このように、処理対象の信号がYCデータである場合にも、そのYCデータのフォーマットに応じて、適切にノイズの抑圧処理を行うことができる。また、Cb信号だけをノイズ抑圧処理の対象としたり、Cr信号だけをノイズ抑圧処理の対象としたりすることもできることは言うまでもない。
【0146】
このように、この発明は、ノイズ抑圧処理の対象となる信号が、Raw動画像データであっても、いわゆるYCデータであっても、またRGBデータであっても、そのフォーマットに応じて適切にノイズ抑圧処理を行うようにすることができる。
【図面の簡単な説明】
【0147】
【図1】この発明の一実施の形態が適用された撮像装置の構成例を説明するためのブロック図である。
【図2】図1に示したノイズ抑圧処理部105を説明するためのブロック図である。
【図3】コアリング・リミッタ部1054で行われるリミッタ処理を説明するための図である。
【図4】コアリング・リミッタ部1054で行われるコアリング処理を説明するための図である。
【図5】コアリング・リミッタ部1054において行われる高域側の信号に対する処理を説明するための図である。
【図6】ノイズ抑圧処理部を設ける位置について説明するための図である。
【図7】ノイズ抑圧処理部を設ける位置に応じて、処理対象の画像データが異なることを説明するための図である。
【図8】HPFを用いて、低域側の信号と高域側の信号に分離する構成のノイズ抑圧処理部105を説明するためのブロック図である。
【図9】撮像装置100Aを説明するためのブロック図である。
【図10】図9に示した撮像装置100Aのランダム信号付加部109の構成例を説明するためのブロック図である。
【図11】図9に示した撮像装置100Aにおいて行われるノイズ抑圧処理からランダム信号の付加処理までの処理について説明するためのフローチャートである。
【図12】カメラ信号処理部から出力されるYCbCr信号のフォーマットを説明するための図である。
【図13】一般的な画像データのイメージを示す図である。
【図14】一般的な画像データをεフィルタで処理した場合を説明するための図である。
【図15】インパルス状の高レベルのノイズを含む画像データのイメージを示す図である。
【図16】インパルス上の高レベルのノイズを含む画像データをεフィルタで処理した場合を説明するための図である。
【符号の説明】
【0148】
100…撮像装置、100A…撮像装置、101…レンズ部、102…撮像素子部、103…A/D変換器、104…検波処理部、105…ノイズ抑圧処理部、106…カメラ信号処理部、107…表示処理部、108…表示部、109…ノイズ信号付加部、110…制御部、121…キー操作部、122…外部I/F、123…外部入出力端子、124…記録再生処理部、125…記録媒体、1051…ディレイライン、1052…減算回路、1053…LPF、1054…コアリング・リミッタ部、1055…εフィルタ、1056…加算回路、1057…HPF、1058…減算回路、1091…乱数発生器、1092…HPF、1093…乗算回路、1094…加算回路
【技術分野】
【0001】
この発明は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、画像スキャナ装置などの画像処理装置において入力された画像データについてノイズを抑圧(低減)するために用いられる装置、方法、プログラム、及び、これらが適用された撮像装置に関する。
【背景技術】
【0002】
画像信号のノイズを抑圧する方法としては、様々な方法が提案され利用されている。その内、最も単純なものとしてLPF(Low Pass Filter)を利用するものがある。しかし、LPFは高周波成分を抑圧するため、そのまま利用するとノイズ抑圧だけでなく絵柄のエッジ部を劣化させ、画像全体がぼやけてしまうといった問題がある。
【0003】
これに対して、特許文献1に開示されている非線形フィルタの1つであるε(イプシロン)フィルタを利用した方法は、絵柄のエッジ部を保持しながらノイズ抑圧を行うことができる。これはノイズ信号の多くは高周波で小振幅であるという性質を利用している。すなわち、図13の一般的な画像データのイメージに示すように、画像データには、高周波で小振幅のノイズ信号(図13において「ノイズ有り」と示した部分)が含まれる。しかし、ノイズ信号は、図13において、「絵柄のエッジ部」として示した部分のように、大振幅の信号ではない。
【0004】
そこで、図13において点線で上下方向に範囲を示したように、画像の絵柄の振幅よりも小さい閾値幅を設定し、注目している画素(注目画素)と周辺画素との信号レベルの差分がその閾値幅より大きい場合は絵柄による差分と判断し、画像信号の平滑化は行わないようにし、一方、注目画素と周辺画素との信号レベルの差分が、その閾値幅よりも小さければノイズで生じる差分と判断して、閾値幅内の画素で平均をとることにより平滑化を行うようにする。
【0005】
すなわち、図14Aに示すように、今、中央に位置する画素を注目画素Tとし、この注目画素Tを基準にして、当該注目画素Tの前後の画素が、予め決められた閾値幅の範囲内に存在するか否かを考える。図14Aにおいて、注目画素Tを基準に、予め決められた閾値幅を点線で示すと、注目画素Tの前後の3つずつの画素は、全て予め決められた閾値幅の範囲内に位置している。
【0006】
このような場合には、注目画素Tは周辺の画素から平均化されたレベルに置き換えられ、各画素を同様に処理することで全ての画像について平滑化が実行され、図14Bに示すように、各画素は、ノイズ成分が除去するようにされて平滑化される。これにより、画像信号により形成される画像の絵柄には影響を及ぼすことなく、ノイズ成分を除去して滑らかな画像を再生することができるようにされる。
【0007】
なお、上述した特許文献1は、以下に示す通りである。
【特許文献1】特開2005−311455号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
ところが、上述したεフィルタを用いたノイズ抑圧方法の場合、低照度時に画像信号がゲインアップされ、絵柄成分とノイズ成分の大きさが近づいてくると、εフィルタの閾値のレベルによっては画像中にポツポツと周りに比べレベルが突出した点(孤立点)が生じてくる。
【0009】
例えば、図15の画像データのイメージに示すように、注目画素Tにインパルス状に振幅の大きなノイズがのっているとき、注目画素Tの信号レベルと周辺画素の信号レベルとの差がεフィルタの閾値を超えてしまうので、その画素は平均化が全くされずスルーされる。一方、周辺画素は閾値内のノイズがのっておりεフィルタによって平均化されるので、平均化されなかった画素が孤立点として目立ってしまう。
【0010】
すなわち、図16Aに示すように、注目画素Tがインパルス状に振幅の大きなノイズがのるなどして信号レベルが高いものである場合に、当該注目画素Tを基準にして、予め決められた閾値幅を点線で示すと、当該閾値幅を有する範囲には、注目画素T以外の画素は全く存在していない。
【0011】
したがって、図16Aにおける注目画素Tについては、平滑化されることなくスルーされ、他の画素が注目画素となった場合には、予め決められた閾値幅の範囲内に他の画素が存在し平滑化は行われるので、図16Bに示すように、図16Aにおける注目画素Tが孤立点として目に付いてしまうことになる。
【0012】
そこで、このような孤立点を避けるために、εフィルタの閾値を大きくとるようにすることが考えられる。しかし、この場合には、絵柄の振幅が閾値より小さくなってしまうため、絵柄のエッジ部は劣化し画像がぼやけてしまう可能性が高くなる。
【0013】
つまり、低照度時で絵柄の信号に比べてノイズ成分が比較的大きな画像信号に対して、単純なεフィルタでノイズ低減を図ろうとすると、閾値が小さくて孤立点を生じるか、閾値が大きくてエッジ部が劣化してぼやけるかのどちらかになってしまう。
【0014】
また、低照度時は、被写体の素材感を表す高周波成分の振幅はノイズ成分の振幅より小さく、絵柄のエッジ部の振幅とノイズの振幅との大きさが近くなってくる。そのため,εフィルタなどを利用したノイズ抑圧を行うと、平坦部は画像本来の素材感が潰されてしまい、自然な起伏感が除去されて、いわゆる「のっぺり」とした感じの画像になってしまう場合がある。また、絵柄のエッジ部はノイズで壊され「ぎざぎざ」とした感じの画像になる場合がある。すなわち、εフィルタを用いた場合、ノイズは抑圧できるが、画像としては多少不自然になってしまう場合があると考えられる。
【0015】
以上の点に鑑み、この発明の第1の目的は、例え低照度で画像信号の絵柄成分とノイズ成分の大きさが近いときであっても、処理対象の画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないようにノイズ抑圧(低減)を行えるようにすることを目的とする。さらに、この発明の第2の目的は、ノイズ抑圧(低減)を行うようにした場合であっても、当該ノイズ抑圧された画像信号による画像が不自然にならないようにすることを目的とする。
【課題を解決するための手段】
【0016】
上記課題を解決するため、請求項1に記載の発明のノイズ低減装置は、
画像信号の供給を受けて、高域側の信号(高周波成分)と低域側の信号(低周波成分)とに分離する分離手段と、
前記分離手段で分離された前記低域側の信号に対して、平滑化処理を施す平滑化手段と、
前記分離手段で分離された前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を0(零)にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理手段と、
前記平滑化手段で処理された低域側の信号と、前記高域信号処理手段で処理された高域側の信号とを加算処理する加算手段と
を備えることを特徴とする。
【0017】
この請求項1に記載の発明のノイズ低減装置によれば、分離手段により、高域側の信号と低域側の信号とに分離され、低域側の信号は平滑化手段により平滑化処理される。具体的に平滑化手段においては、画素毎に、予め決められる閾値幅の範囲内の近隣の画素については平均化処理に用い、画素毎に、予め決められる閾値幅の範囲外の画素については平均化処理に用いないようにして、画像信号を平滑化する処理を行うことにより、ノイズ成分が低減するようにされる。
【0018】
また、高域側の信号は高域信号処理手段により、いわゆるコアリング処理と、リミッタ処理とが行われ、高域側の信号に含まれるインパルス状の高振幅のノイズ成分と低振幅のノイズ成分とが除去するようにされる。そして、平滑化手段により平滑化処理された低域側の信号と高域信号処理手段によりコアリング処理及びリミッタ処理がされた高域側の信号とが、加算手段により加算されて出力するようにされる。
【0019】
これにより、低域側の信号に存在するノイズ成分と高域側の信号に存在するインパルス状の高振幅のノイズ成分及び低振幅のノイズ成分とを効果的に抑圧(低減)させ、例え、低照度で画像信号の絵柄成分とノイズ成分の大きさが近いときであっても、画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないように、画像信号に含まれるノイズの抑圧を効果的に行うことができるようにされる。
【0020】
また、請求項2に記載の発明のノイズ低減装置は、請求項1に記載のノイズ低減装置であって、
前記高域信号処理手段においては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できることを特徴とする。
【0021】
この請求項2に記載の発明のノイズ低減装置によれば、高域側の信号の内、コアリング処理の対象にもならず、リミッタ処理の対象にもならない中振幅の信号については、利得の調整ができるようにされる。
【0022】
これにより、画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないように、画像信号に含まれるノイズの抑圧を効果的に行うことができるようにされると共に、画像信号が形成する画像のもともとの素材感を強調したり、画像信号が有する素材感を薄く広く残すようにしたり、そのまま残すようにしたりすることもできるようにされる。
【0023】
また、請求項3に記載の発明のノイズ低減装置は、請求項1に記載のノイズ低減装置であって、
前記高域信号処理手段においては、高振幅制限用閾値以上の大振幅の信号の振幅を0(零)にする高振幅制限処理を行うことを特徴とする。
【0024】
この請求項3に記載の発明のノイズ低減装置によれば、高域側の信号の内の大振幅の信号については、その振幅が0(零)になるようにされる。これにより、高域側の信号に存在する必要以上に高レベル(高振幅)の不要成分については、リミッタ処理されるだけでなく、完全に除去するようにされるので、より良好にノイズ低減を行うことができるようにされる。
【0025】
また、請求項4に記載の発明のノイズ低減装置は、請求項1に記載のノイズ低減装置であって、
前記加算手段から出力された画像信号に対して、ランダム信号を付加するランダム信号付加手段を備えることを特徴とする。
【0026】
この請求項4に記載の発明のノイズ低減装置によれば、平滑化手段と高域信号処理手段とによりノイズが低減するようにされた画像信号に対して、ランダム信号付加手段によりランダム信号が付加するようにされる。
【0027】
これにより、ノイズ抑圧(低減)がなされた画像信号による画像が、平坦部においては起伏感が無くなり、エッジ部においては、「ぎざぎざ」とした感じが残り、不自然な画像となることを防止して、ノイズ抑圧処理がなされた画像信号による画像をできるだけ自然なものとなるようにすることができるようにされる。つまり、ノイズ抑圧処理を施しても、見た目に自然な印象を受ける画像を形成するように画像信号を調整することができる。
【発明の効果】
【0028】
この発明によれば、低照度時において、絵柄成分とノイズ成分の大きさが近いときでも、孤立点を生じないようにするノイズ抑圧(ノイズ低減)処理を実現することができる。
【0029】
また、低照度時にεフィルタなどを利用したノイズ抑圧を行っても、ノイズ抑圧処理された画像信号に対してランダム信号を付加することにより、平坦部の「のっぺり」した感じや、エッジ部の「ぎざぎざ」した感じを目立たなくし、自然な画像を再生することができる。
【発明を実施するための最良の形態】
【0030】
以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。なお、この発明は、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話端末などの携帯電子機器に搭載されるカメラモジュール、イメージリーダ、スキャナなどの種々の画像処理装置に適用可能なものである。
【0031】
しかし、以下に説明する実施の形態においては説明を簡単にするため、動画像データの撮影が可能なデジタルビデオカメラ(撮像装置)に適用した場合を例にして説明する。また、以下に説明する撮像装置は、動画像と共に、音声についても取り込んで記録するなどすることができるものであるが、以下の実施の形態においては、説明を簡単にするため、音声信号の処理系についての説明は省略する。
【0032】
[撮像装置の構成例について]
図1は、この発明による装置、方法、プログラムの一実施の形態が適用された、この実施の形態の撮像装置100を説明するためのブロック図である。図1に示すように、この実施の形態の撮像装置は、画像信号の処理系として、レンズ部101、撮像素子部102、A/D変換器103、検波処理部104、ノイズ抑圧処理部105、カメラ信号処理部106、表示処理部107、表示部108を備えると共に、制御部110、キー操作部121、外部インターフェース(以下、外部I/Fと略称する。)122、外部入出力端子123、記録再生処理部124、記録媒体125を備えたものである。
【0033】
制御部110は、この実施の形態の撮像装置100の各部を制御するものであり、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、RAM(Random Access Memory)123、EEPROM(Electrically Erasable and Programmable ROM)114が、CPUバス115を通じて接続されて構成されたマイクロコンピュータである。
【0034】
ここで、CPU111は、後述もするROM112に記憶保持されているプログラムを読み出して実行し、各部に供給する制御信号を形成して各部に供給したり、各部からの信号を受け付けて、これを処理したりするなど、制御の主体となるものである。ROM112は、上述もしたように、CPU111によって実行されるプログラムや処理に必要になる各種のデータ等が予め記録されたものである。
【0035】
RAM113は、各種の処理の途中結果を一時記憶するなど、いわゆる作業領域として用いられるものである。EEPROM114は、いわゆる不揮発性メモリであり、例えば、各種の設定パラメータ、機能追加のために新たに提供されたプログラム等のこの実施の形態の撮像装置100の電源が落とされても保持しておくべき種々の情報を記憶保持するものである。
【0036】
また、キー操作部121は、例えば、録画スタンバイキー、録画開始キー、録画停止キー、望遠機能の調整キー、その他の各種の調整キーやファンクションキーなどを備え、ユーザーからの操作入力を受け付けて、当該操作入力を電気信号に変換し、これを制御部110に供給することができるものである。これにより、制御部110は、キー操作部121を通じて供給を受けたユーザーからの指示入力に応じて、この撮像装置100の各部を制御し、ユーザーの意図する処理を行うことができるようにされる。
【0037】
外部I/F122及び入出力端子123は、例えば、IEEE(Institute of Electrical and Electronics Engineers,Inc)1394規格やUSB(Universal Serial Bus)規格等に合致したものである。これら外部I/F122及び入出力端子123に対しては、同じ規格のインターフェースを備える例えばパーソナルコンピュータやPVR(Personal Video Recorder)等の外部機器を接続することができるようにされる。
【0038】
記録再生処理部124は、制御部110の制御に応じて、これに供給された画像データを記録媒体125に記録したり、また、記録媒体125に記録されている画像データを読み出して、制御部110を通じて表示処理部107に供給して再生するようにしたりするなどのことができるものである。
【0039】
また、記録媒体125は、この実施の形態の撮像装置100においての主記録媒体であり、例えば、内蔵された半導体メモリ、半導体メモリが用いられ着脱可能とされたメモリカード、内蔵された小型のハードディスク、着脱可能とされた光ディスクなどのディスク記録媒体、着脱可能とされた磁気テープなどである。この実施の形態の撮像装置100において、記録媒体125は、例えば、内蔵された小型のハードディスクである。
【0040】
なお、記録媒体125に記録される画像データは、所定のデータ圧縮方式により圧縮処理されて記録され、また、記録媒体125から読み出された画像データは、当該所定のデータ圧縮方式に従って伸張処理されるが、データの圧縮処理や伸張処理は、図示しない圧縮/伸張処理部において行うようにされる。また、このような、画像データの圧縮/伸張機能を、記録再生処理部124に設けるようにすることも可能である。
【0041】
そして、この実施の形態の撮像装置100においては、画像信号の処理系を通じて、撮影することにより取り込んだ被写体の画像を表示部108の表示素子の表示画面に表示して確認しながら撮影を行い、撮影することにより得た画像信号(動画像信号)を記録媒体125に記録する記録機能と、記録媒体125に記録されている画像信号を読み出して、これを表示部108の表示素子の表示画面に表示するようにしたり、あるいは、外部I/F122及び入出力端子123を通じて外部機器に供給したりする再生機能とを有するものである。
【0042】
[記録機能(撮影機能)および再生機能について]
まず、この実施の形態の撮像装置100の記録機能について説明する。図1に示すように、画像信号の処理系を構成する、レンズ部101、撮像素子部102、A/D変換器103、検波処理部104、ノイズ抑圧処理部105、カメラ信号処理部106、表示処理部107、表示部108のそれぞれは、共通のCPUバス115を通じて接続されている。
【0043】
そして、画像信号の処理系を構成する各処理部間のデータのやり取りは、基本的には、共通のCPUバス115を通じて行われる。ただし、CPUバス115を経由せず、処理部間で直接データをやり取りする場合もある。処理部同士でCPUバス115を経由せずに直接接続しデータの転送を行う場合は、それをひとつの処理部と見做すこともできる。
【0044】
そして、キー操作部121を通じて、動画像の撮影を行うことが指示されると、制御部110が各部を制御して動画像の撮影処理を開始する。この場合、レンズ部101を通じて撮像素子部102の固体撮像素子の結像面に結像された被写体の画像は、順次に当該固体撮像素子により電気信号(アナログ動画像信号)に変換されてA/D変換器103に供給される。ここで撮像素子部102に設けられている固体撮像素子は、例えばCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどである。
【0045】
そして、A/D変換器103に供給されたアナログ動画像信号は、ここでデジタル動画像信号(デジタルRaw動画像データ)に変換され、検波処理部104に供給される。なお、デジタルRaw動画像データは、現像処理されていないままのデジタル動画像データを意味し、撮像素子部2からのアナログ動画像信号がデジタル信号に変換された状態の画像信号である。
【0046】
検波処理部104は、これに供給されたRaw動画像データに基づいて、露出調整処理のためのパラメータやホワイトバランス調整処理のためのパラメータなど、後段で行う種々の画像処理のための現像パラメータの集まり(現像パラメータ群)Pmを生成し、この生成した現像パラメータ群を制御部110を通じてカメラ信号処理部106に供給すると共に、Raw動画像データは、ノイズ抑圧処理部105に供給する。
【0047】
ノイズ抑圧処理部105においては、詳しくは後述するが、これに供給された画像信号であるRaw動画像データを高域側の信号と低域側の信号とに分離し、そのそれぞれの信号に対して、適切なノイズ抑圧処理を施し後に加算処理して全帯域のRaw動画像データを復元して、これをカメラ信号処理部106に供給する。
【0048】
カメラ信号処理部106では、露出調整処理、ホワイトバランス調整処理、画素毎にRGBデータ(3原色データ)を形成するデモザイク処理(同時化処理)、ガンマ(γ)補正処理、輝度信号(Y)と色差信号(C)への変換処理(Y/C変換処理)、解像度変換処理などを行って、輝度信号および色差信号(以下、YC信号と略称する)を形成する。
【0049】
カメラ信号処理部106で形成されたYC信号は、表示処理部107に供給され、ここで表示部108に供給する形式の動画像信号に変換されて表示部108に供給される。これにより表示部108の表示素子の表示画面には、撮影するようにされた被写体の動画像が表示するようにされる。
【0050】
同時に、カメラ信号処理部106で形成されたYC信号は、例えば図示しない圧縮/伸張処理部において、圧縮処理された後、記録再生処理部124に供給される。記録再生処理部124は、これに供給された画像データを、自機に搭載されている記録媒体125に読み出し可能なように記録する。
【0051】
なお、表示部108は、例えば、LCD(Liquid Crystal Display)、有機ELパネル(Organic Electroluminescence Panel)、CRT(Cathode Ray Tube)などの表示素子を備え、上述したように、表示処理部からの動画像信号の供給を受けて、これに応じた動画像を自己の表示素子の表示画面に表示することができるものである。
【0052】
このように、この実施の形態の撮像装置100は、表示部108に搭載されている表示素子の表示画面に表示される被写体の動画像を確認しながら撮影を行い、撮影することにより得た動画像データを記録媒体125に記録することができるものである。
【0053】
そして、キー操作部121を通じて、記録媒体125に記録された動画像データを再生することの指示入力を受け付けると、制御部110は、記録再生処理部124を制御し、再生するように指示された動画像データを読み出し、例えば図示しない圧縮/伸張処理部に供給する。そして、当該圧縮/伸張処理部において伸張処理することにより、データ圧縮前の元の動画像データを復元し、これを制御部110を通じて表示処理部107に供給する。
【0054】
そして、表示処理部107においては、伸張処理されて復元された動画像データを、表示部108に供給する形式の動画像信号に変換して表示部108に供給する。これにより表示部108の表示素子の表示画面には、記録媒体125から読み出された動画像データに応じた動画像が表示するようにされる。
【0055】
また、同時に、圧縮されたままの動画像データは、あるいは、図示しない圧縮/伸張処理部において伸張処理されて、データ圧縮前の元の動画像データに復元された動画像データは、外部I/F122及び入出力端子123を通じて、これに接続された外部機器に供給し、当該外部機器において利用するようにすることもできるようにされる。
【0056】
このように、この実施の形態の撮像装置100は、撮影することにより得た動画像データに対してノイズ抑圧処理を施して記録媒体125に記録したり、また、記録媒体125に記録した動画像データを再生して利用したりすることができるものである。
【0057】
[ノイズ抑圧処理部105の構成と動作について]
次に、この実施の形態の撮像装置100のノイズ抑圧処理部105の構成と動作について説明する。図2は、ノイズ抑圧処理部105を説明するためのブロック図である。図2に示すように、ノイズ抑圧処理部105は、ディレイライン1051と、分離手段を構成する減算回路1052及びLPF(Low Pass Filter)1053と、高周波信号処理手段としてのコアリング・リミッタ部1054と、平滑化手段としてのεフィルタ1055と、加算手段としての加算回路1056とからなるものである。
【0058】
ディレイライン1051には、検波処理部104からのRaw動画像データが供給される。そして、ディレイライン1051は、いわゆるラインバッファであり、Raw動画像データを遅延させるようにすることによって、空間的に2次元のRaw動画像データを形成して出力する。この実施の形態の撮像装置100のノイズ抑圧処理部105においては、水平方向に3画素分、垂直方向に3画素分の範囲を処理単位となるようにしている。
【0059】
そして、ディレイライン1051からの2次元のRaw動画像データは、減算回路1052とLPF1053とに供給される。LPF1053は、これに供給された2次元のRaw動画像データから低域側の信号(Raw動画像データの低周波成分)を抽出し、これを減算回路1052とεフィルタ1055とに供給する。
【0060】
なお、ノイズ低減処理部105のLPF1053においては、図2に行列式で示した係数を用いることによって低域側の信号のみを通過させるようにしている。この例の場合には、上述もしたように、3画素×3画素の範囲を処理単位としているために、図2に示したように3行3列の係数を用いているが、これに限るものではない。この他の種々の係数を用いることが可能であり、図2に示した例以外の係数を用いた場合であっても、孤立点を生じさせないようにノイズ抑圧をすることは可能である。
【0061】
減算回路1052には、上述もしたように、ディレイライン1051からの2次元のRaw動画像データが供給されており、当該Raw動画像データから、LPF1053からのRaw動画像データの低域側の信号を減算することにより、Raw動画像データの高域側の信号(Raw動画像データの高周波成分)を抽出し、これをコアリング・リミッタ部1054に供給する。
【0062】
コアリング・リミッタ部1054では、減算回路1052からのRaw動画像データの高域側の信号に対して、微小振幅信号を0(零)にするコアリング処理と、設定した閾値以上の振幅の信号を閾値で制限をかけるリミッタ処理とを行い、処理後の高域側の信号を加算回路1056に供給する。
【0063】
一方、εフィルタ1055は、これに供給されたLPF1053からのRaw動画像データの低域側の信号に対して平滑化処理を行い、処理後の低域側の信号を加算回路1056に供給する。εフィルタ1055で行われる平滑化処理は、図13、図14を用いて説明したように、絵柄の振幅よりも小さい閾値幅を設定し、当該閾値幅内の近隣の画素間で平均化を行うことにより、小振幅のノイズ成分を除去するものである。
【0064】
最後にεフィルタ1055で処理された低域側の信号(低域成分)とコアリング・リミッタ部1054で処理された高域側の信号(高域成分)とが、加算回路1056で加算され、全帯域のRaw動画像データとされて、カメラ信号処理部106に供給するようにされる。
【0065】
そして、この実施の形態のノイズ抑圧処理部105においては、LPF1053を通して高周波成分が取り除かれた低域側の信号には、図15、図16を用いて説明したようなインパルス状の大振幅ノイズは含まれていないため、低照度時の画像信号であっても低域成分にεフィルタを通した結果に孤立点が生じることは無く、しかも低振幅のノイズについては、図13、図14を用いて説明したように、適切に除去することができる。
【0066】
ただし、インパルス状の大振幅ノイズは高域側の信号に含まれる。このため、εフィルタ1055を通した低域側の信号に高域側の信号をそのまま加算すると、孤立点が生じてしまう。そこで、それを防ぐために、高域側の信号に含まれるインパルス状の大振幅ノイズは、リミッタ処理で抑圧するようにする。さらに、高域側の信号には微小振幅の高周波ノイズが含まれているため、これをコアリング処理でつぶすようにする。
【0067】
図3は、コアリング・リミッタ部1054で行われるリミッタ処理を説明するための図である。また、図4は、コアリング・リミッタ部1054で行われるコアリング処理を説明するための図である。
【0068】
リミッタ処理は、図3Aに示すように、予め決められた閾値範囲外の高レベル(高振幅)の画素データが存在する場合に、図3Bにおいて矢印で示すように、予め決められた閾値範囲外の画素データを閾値範囲内のデータとなるように信号レベルを抑圧(制限)することにより、インパルス状の大振幅のノイズの影響を排除するものである。
【0069】
また、コアリング処理は、図4Aに示すように、予め決められた比較的に狭い閾値範囲内の画素データには、微小振幅の高周波ノイズが含まれているものと判断し、図4Bにおいて矢印で示すように、その画素データの信号レベルを0(零)にして、高周波で小振幅のノイズの影響を排除するものである。
【0070】
コアリング・リミッタ部1054で行われる高域側の信号処理について、図5を用いてさらに詳細に説明する。図5は、コアリング・リミッタ部1054において行われる高域側の信号に対する処理を説明するための図である。図5において、横軸はコアリング・リミッタ部1054への入力信号レベルを、また、縦軸はコアリング・リミッタ部1054からの出力信号レベルを意味している。
【0071】
そして、図5において、例えば直線で示すような入力画像データ(高域側の信号)Nがコアリング・リミッタ部1054に供給されると、図3を用いて説明したようにリミッタ処理される。このリミッタ処理により、図5においては、リミッタ用閾値LT以上の入力信号が、リミッタ用閾値LTにまで抑圧するようにされる。これにより、インパルス状の大振幅のノイズ信号については、リミッタ処理により抑圧するようにされる。
【0072】
さらに、入力画像データ(高域側の信号)Nは、コアリング・リミッタ部1054において、図4を用いて説明したようにコアリング処理される。このコアリング処理により、図5においては、コアリング用閾値CT以下の入力信号のレベルが0(零)に抑圧するようにされる。これにより、小振幅のノイズ信号については、コアリング処理により抑圧するようにされる。
【0073】
さらに、この実施の形態のノイズ抑圧処理部105のコアリング・リミッタ部1054においては、高域側の信号の中間の振幅の信号に対してはゲイン(利得)をかけられるようにする。すなわち、図5において、コアリング用閾値CTからリミッタ用閾値LTまでの中間の振幅の信号に対しては、抑圧の変化の度合い(高域信号処理後の画像データの傾き)を調整できるようにしている。この調整は、後述もするように制御部110からの制御に応じて行うことが可能である。
【0074】
そして、図5において、コアリング用閾値CTからリミッタ用閾値LTに至るまでのグラフの傾きを値「1」より大きくすると中間の振幅の信号が強調され、傾きを値「1」より小さくすると中間の振幅の信号が減衰される。また、傾きを緩やかにすれば、コアリング範囲以外の画像データの素材感を薄く広く残すことができるようにされる。
【0075】
この場合、中間の振幅の信号に対してかけるゲイン(利得)は、処理対象の画像の特性、例えば、「画像が撮影された照度」などに応じて調整すればよい。例えば、低照度時の画像であればノイズが多いので傾きを緩やかにしてノイズ成分を抑圧し、照度が高いときの画像であればノイズが少ないので傾きを緩やかにしないといったように制御される。この制御は、検波処理部104における検波処理の結果に基づいて、制御部110がノイズ抑圧処理部105のコアリング・リミッタ部1054を制御することになる。
【0076】
このように、高域側の信号の内、リミッタ処理やコアリング処理の対象とならない中間の振幅(中振幅)の信号についても、適切にゲイン調整することにより、当該画像データによる画像の素材感を調整することができる。
【0077】
さらに、この実施の形態のコアリング・リミッタ部1054においては、図5において、予め決められる高振幅制限用閾値HT以上の高振幅の信号については、その信号レベル(振幅)を0(零)に抑圧する高振幅制限処理(入力信号の高レベル成分の制限処理)を行うようにする。
【0078】
高レベルの信号成分は、リミッタ処理によりリミッタ用閾値LTまで抑圧(制限)されるものの、もともと不要なほど高レベルの信号であってもレベル制限されて残ってしまう。そこで、予め決められる高振幅制限用閾値HTよりも高レベルの入力信号については、そのレベルを0(零)にすることによって、不必要に高レベルの信号を除去し、このような高レベルの信号が画像に及ぼす影響を抑圧することができる。
【0079】
この場合においても、高振幅の信号の内、制限するようにする高振幅の信号に対してゲインの調整をできるようにしておくことによって、画像の強エッジ部を調整することができる。すなわち、図5に示すように、高振幅制限用閾値HTからリミッタ用閾値LTまでのグラフの傾きを制御することにより、画像がもともと有する強エッジ部を調整することができる。
【0080】
このように、この実施の形態の撮像装置100のノイズ抑圧処理部105においては、処理対象のRaw動画像データを低域側の信号と高域側の信号とに分割し、低域側の信号については、εフィルタ1055を用いて平滑化することにより低振幅のノイズ信号を抑圧する。また、高域側の信号については、コアリング処理により低振幅のノイズ信号を抑圧すると共に、リミッタ処理によりインパルス状の高振幅のノイズ成分を抑圧する。
【0081】
そして、上述のように、ノイズ信号を抑圧するようにした、低域側の信号と高域側の信号とを加算処理することにより、全帯域に渡って、低振幅のノイズ信号及び高振幅のノイズ信号を抑圧した高品位の画像データを形成することができるようにされる。
【0082】
さらに、コアリング・リミッタ部1054の機能として、高域側の信号の内、コアリング処理の対象となる低レベル(低振幅)の信号とリミッタ処理の対象となる高レベル(高振幅)の信号と以外の中間レベル(中振幅)の信号については、ゲイン調整(傾き調整)することによって、画像がもともと有する素材感を調整することができる。
【0083】
具体的には、図5を用いて説明したように、中振幅の信号についての調整される信号レベルの傾きを急にすれば(ゲインを大きくすれば)、中振幅の入力信号は大きく出力するようにされるので、中振幅の信号による画像の素材感を強調することができる。また、図5を用いて説明したように、中振幅の信号についての調整される信号レベルの傾きを緩やかにすれば(ゲインを小さくすれば)、中振幅の入力信号についても制限されることになり、中振幅の信号による画像の素材感を薄く広く残すことができるようにされる。また、図5を用いて説明したように、中振幅の信号についての調整される信号レベルの傾きを値「1」すれば、中振幅の信号による画像の素材感はそのままとすることができるようにされる。
【0084】
さらに、コアリング・リミッタ部1054の機能として、高域側の信号の内、高振幅制限用閾値以上の高レベル(高振幅)の信号については、その信号レベルを0(零)にするように高振幅制限処理を行うことにより、例えば不自然なほど高レベルの入力信号は、その信号レベルが0(零)となるようにされ、画像に与える影響を除去することができる。
【0085】
なお、高振幅制限処理を行う場合にも、ゲイン調整をも行うようにすることによって、画像の中振幅の信号のゲインを調整するようにした場合と同様に、画像の強エッジ部を調整することができる。
【0086】
また、図2に示したノイズ抑圧処理部105において、減算回路1052及び加算回路1056においては、それぞれが同期する低域側の信号と高域側の信号との間で、減算や加算などの演算処理が行うようにされることは言うまでも無い。
【0087】
また、εフィルタ1055で用いる閾値、コアリング・リミッタ部1054で用いるコアリング用閾値CT、リミッタ用閾値LT、高振幅制限用閾値HTなどの各閾値は、例えば、検波処理部104においての検波処理の結果に基づいて、制御部110が適切な値を適応的に設定するようにすることができるようにされる。例えば、予め複数の閾値の候補を用意しておき、検波処理部104においての検波処理の結果に基づいて、制御部110が適切な値を選択するようにするなどのことが可能である。また、予め決められた閾値を固定的に用いるようにすることも可能である。
【0088】
[ノイズ抑圧処理部の他の位置への配置について]
図1に示した撮像装置100においては、ノイズ抑圧処理部105は、検波処理部104とカメラ信号処理部106との間に設けて、当該ノイズ抑圧処理部105において、Raw動画像データに対してノイズの抑圧処理を行うようにした。しかし、これに限るものではない。この他にも、ノイズ抑圧処理部は、種々の位置に設けるようにすることができる。
【0089】
図6は、ノイズ抑圧処理部を設ける位置について説明するための図であり、図7は、ノイズ抑圧処理部を設ける位置に応じて、処理対象の画像データが異なることを説明するための図である。
【0090】
図1に示した撮像装置100の場合には、上述もしたように、ノイズ抑圧処理部105は、検波処理部104とカメラ信号処理部106との間に設けられているので、処理対象の画像データは、Raw動画像データということになる。Raw動画像データは、上述もしたように、撮像素子部102からの信号がデジタル化されたものであるので、撮像素子部102で用いられているカラーフィルタに応じて、例えば、図7Aに示すようないわゆるベイヤ(Bayer)配列とされたものである。
【0091】
このため、図2に示したノイズ抑圧処理部105においては、1画素おきに存在する同じ色の色信号を水平方向3画素×垂直方向3画素を処理単位として、ノイズ抑圧処理を行うようにする。すなわち、図1、図2に示したノイズ抑圧処理部105においては、飛び飛びに存在するR信号、G信号、B信号のそれぞれごとに、ノイズ抑圧処理が行うようにされる。
【0092】
また、図6Aに示すように、ノイズ抑圧処理部105をカメラ信号処理部106と表示処理部107とに間に設けるようにすることもできる。上述もしたように、カメラ信号処理部106は、YC信号を形成して出力する。すなわち、図6Aに示したノイズ抑圧処理部105には、図7Bに示すような画素毎のYCbCr信号(輝度信号Y,青の色差信号Cb、赤の色差信号Crからなる信号)が供給するようにされるので、図1〜図5を用いて説明した実施の形態の場合と同様にノイズ抑圧処理を行うものとすれば、水平方向3画素×垂直方向3画素のYCbCr信号を処理単位として、ノイズ抑圧処理を行うようにすればよい。入力される画像データがYC信号であるが、これを処理する構成は、図2に示した構成と変わることは無い。
【0093】
また、図6Bに示すように、カメラ信号処理部106を、例えば、露出調整、ホワイトバランス調整、デモザイク処理(同時化処理)までを行うカメラ信号処理部1と、例えば、ガンマ(γ)補正、Y/C変換、解像度変換等を行うカメラ信号処理部2とに分離し、これらカメラ信号処理部1とカメラ信号処理部2との間に、ノイズ抑圧処理部105を設けるようにすることもできる。
【0094】
そして、カメラ信号処理部1からは、デモザイク処理後のRGB信号が出力される。したがって、図6Bに示したノイズ抑圧処理部105には、図7Cに示すような画素毎のRGB信号が供給するようにされるので、図1〜図5を用いて説明した実施の形態の場合と同様にノイズ抑圧処理を行うものとすれば、水平方向3画素×垂直方向3画素のRGB信号を処理単位として、ノイズ抑圧処理を行うようにすればよい。入力される画像データがRGB信号であるが、これを処理する構成は、図2に示した構成と変わることは無い。
【0095】
このように、カメラ信号処理部106の後ろにノイズ抑圧処理部105を配置して、YC信号をノイズ抑圧処理部105への入力信号とする形態も可能であるし,カメラ信号処理の途中にノイズ抑圧部105を配置し、カメラ信号処理の中間データ(例えばRGBデータ)をノイズ抑圧処理部105への入力信号とする形態も可能である。
【0096】
すなわち、ノイズ抑圧処理部105は、撮像装置の種々の位置に設けるようにすることができる。そして、ノイズ抑圧処理部105は、どの位置に設けられた場合であっても、供給された画像データについて、低域側の信号と高域側の信号とに分離し、低域側の信号についてはεフィルタで平滑化し、高域側の信号についてはコアリング処理とリミッタ処理とを行い、処理後の低域側の信号と高域側の信号とを加算することにより、ノイズを抑制した高品位の画像データを形成することができる。
【0097】
また、高域側の信号を処理する場合、コアリング・リミッタ部1054において、中振幅の信号のゲインを調整したり、高振幅制限処理を行ったりすることによって、より適切にノイズ成分を除去し、より高品位な画像データを形成することもできるようにされる。
【0098】
[ノイズ抑圧処理部105の他の構成例について]
図2を用いて説明したノイズ抑圧処理部105は、LPF1053と減算回路1052とを用いて、低域側の信号と高域側の信号とに分離するようにしたが、これに限るものではない。HPF(High Pass Filter)を用いて低域側の信号と高域側の信号に分離するようにすることもできる。
【0099】
図8は、HPFを用いて、低域側の信号と高域側の信号に分離する構成のノイズ抑圧処理部105を説明するためのブロック図である。図8に示すように、この例のノイズ抑圧処理部105は、図2に示したノイズ抑圧処理部105の減算回路1052とLPF1053とに替えて、HPF1057と減算回路1058とを設けるようにした点を除けば、図2に示したノイズ抑圧処理部105と同様に構成されたものである。このこのため、図8に示したノイズ抑圧回路において、図2に示したノイズ抑圧回路と同様に構成される部分については、同じ参照符号を付し、その部分の詳細な説明については省略する。
【0100】
そして、図8に示すノイズ抑圧処理部105の場合には、ディレイライン1051からのRaw動画像データは、HPF1057と、減算回路1058とに供給される。HPF1057は、これに供給されたRaw動画像データから高域側の信号(高域成分)を抽出し、これをコアリング・リミッタ部1054と減算回路1058とに供給する。
【0101】
減算回路1058には、上述もしたように、ディレイライン1051からのRaw動画像データが供給されており、当該Raw動画像データからHPF1057からの高域側の信号が減算されることにより、低域側の信号が抽出され、これがεフィルタ1055に供給される。このように、LPFではなくHPFで高域側の信号を生成し、ディレイラインの出力信号からHPFから出力された高域側の信号を減算することで、低域側の信号を生成することも可能である。
【0102】
コアリング・リミッタ部1054、εフィルタ1055、加算回路1056の各部における処理は、図2を用いて説明したノイズ抑圧処理部105における対応する各部と同様の処理が行われる。
【0103】
このように、LPF(Low Pass Filter)に替えて、HPF(High Pass Filter)を用いるようにしても、画像データについて、低域側の信号と高域側の信号とに分離し、低域側の信号にはεフィルタを、高域側の信号にはコアリング処理及びリミッタ処理を、それぞれ施すようにすることができる。
【0104】
[ノイズ抑圧による画像の不自然さに対する対応について]
低照度時にεフィルタなどを利用したノイズ抑圧を行うようにすると、平坦部は画像が有する元々の素材感が潰され、絵柄のエッジ部はノイズで潰されて「ぎざぎざ」になり、再生される画像に不自然さが表れてしまう場合がある。このような画像の不自然さを解消するために、ノイズ抑圧後に適度な振幅のランダム信号を付加して、再生される画像が自然な画像に見えるようにする。
【0105】
このようにするのは、完全に「のっぺり」した絵柄よりも、ランダム信号がある程度のった絵柄のほうが見た目には気持ちが良く、絵柄のエッジ部の「ぎざぎざ」をランダム信号でマスクすると、人間の目には、隠れたところを予測して補間するという性質があるので、自然な絵柄のエッジを実現することができるためである。
【0106】
このように、以下に説明する撮像装置においては、ノイズ低減処理後の画像データに対して、ランダム信号を付加するようにしたものである。図9は、ノイズ低減処理後の画像データに対して、ランダム信号を付加することができるようにされた撮像装置100Aを説明するためのブロック図である。
【0107】
図9に示した撮像装置100Aは、カメラ信号処理部106と表示処理部107との間にランダム信号付加部109が設けられた点を除けば、図1に示した撮像装置100と同様に構成されたものである。このため、図9に示す撮像装置100Aにおいて、図1に示した撮像装置100と同様に構成される部分には、同じ参照符号を付し、その詳細な説明については省略する。
【0108】
そして、図9に示した撮像装置100Aにおいては、検波処理部104からのRaw動画像データについては、図2に示した構成を有するノイズ抑圧処理部105においてノイズ抑圧処理がなされた後、カメラ信号処理部106において所定の信号処理がなされ、YC信号が形成されて、これがランダム信号付加部109に供給される。
【0109】
ランダム信号付加部109では、これに供給されたYC信号に対して、適切なレベルでランダム信号を付加することにより、εフィルタなどを通じてノイズ抑圧された画像データによる画像において、起伏感がそがれることにより生じる平坦部の「のっぺり」とした感じや、ノイズで壊されることにより生じるエッジ部の「ぎざぎざ」した感じを低減させるようにしている。
【0110】
図10は、図9に示した撮像装置100Aのランダム信号付加部109の構成例を説明するためのブロック図である。図10に示すように、ランダム信号付加部109は、乱数発生器1091と、ハイパスフィルタ1092と、乗算回路109と、加算回路1094とを備えたものである。
【0111】
乱数発生器1091は、例えばM系列の乱数を発生させるものである。乱数発生器1091からの出力信号はHPF1092に供給され、ここで低周波成分が取り除かれた後に乗算回路1093に供給される。なお、HPF1092によって、低周波成分を取り除くのは、低周波成分を含むランダム信号よりは、低周波成分を含まないランダム信号をYC信号に付加した方が、見た目には違和感が無く、心地よいと感じる場合が多いためである。
【0112】
そして、HPF1092からのランダム信号に対しては、画像の明るさ(照度)や他の画像の特性に応じたゲインを乗じて、適切な信号レベルにした後に、加算回路1094において、カメラ信号処理部106からのYC信号に対して加算する。なお、乗算回路1093におけるゲインであるが、これは、検波処理部103においての検波結果に基づいて、制御部110が適切なゲインを設定し、ランダム信号付加部109の乗算回路1093を制御するようにしている。
【0113】
このように、ノイズ抑圧処理後の画像データに対して、適切な信号レベルのランダム信号を加算することにより、ノイズ抑制処理により生じた平坦部の「のっぺり」感や絵柄のエッジ部(輪郭部など)における「ぎざぎざ」感を抑制し、自然な感じを受ける画像を得るようにすることができる。
【0114】
なお、ランダム信号付加部109の配置位置であるが、ノイズ抑圧処理部105の最後に位置させるようにしてもよいし、カメラ信号処理部106の内部に設けるようにしてもよい。また、図9に示したように、カメラ信号処理部106の後段に設けるようにしてもよい。前提として、ノイズ抑圧処理部105よりも後に位置させるようにする必要がある。
【0115】
また、γ補正処理・Y/C変換処理の後ろにランダム信号付加部109を配置するようにすれば、輝度によらず一定の振幅のランダム信号を付加することが容易であるし、また、輝度信号Yのみにランダム信号を付加するといったことも容易である。もちろん、輝度信号Yだけにランダム信号付加だけでなく,輝度信号Yと色差信号Cとで別々のランダム信号を付加するようにしてもよい。
【0116】
また、この例のランダム信号付加部109においては、図10を用いて説明したように、乱数発生器1091の出力信号についてHPF1092により低域成分を除去するようにしたが、HPF1092を用いなくても、自然な画像を実現する効果はある。また、上述もしたように、乱数発生器1091の出力信号にゲインをかけられるようにしてランダム信号の振幅を任意に設定できるようにしておき、取り込まれた画像の明るさ(照度)に応じてゲインを制御することにより、より自然な画像を生成することができる。
【0117】
なお、図9に示した撮像装置100Aの場合にも、ノイズ低減処理部105は、図6を用いて説明したように、種々の位置に設けることが可能である。そして、ノイズ信号付加部109は、上述もしたように、ノイズ抑圧処理部105よりも後段であって、γ補正処理やY/C変換処理が行われる処理部の後段に設けるようにすればよい。
【0118】
[ノイズ抑圧処理及びランダム信号の付加処理のまとめ]
次に、図9に示したこの例の撮像装置100Aにおけるノイズ抑圧処理とランダム信号の付加処理について、図11のフローチャートを参照しながらまとめる。図11は、図9に示した撮像装置100Aにおいて行われるノイズ抑圧処理からランダム信号の付加処理までの処理について説明するためのフローチャートである。この図11に示す処理は、撮像装置100Aに電源が投入され、撮影スタンバイ状態にされた場合に、制御部110の制御により、主にノイズ抑圧処理部105及びランダム信号付加部109において行われ、撮影中も実行するようにされる処理である。
【0119】
すなわち、撮像装置100Aに電源が投入され、撮影スタンバイ状態にされると、制御部110は、撮像装置100Aの各部を制御し、被写体の動画像を取り込んで、いつでも記録媒体125に記録を開始できる準備を整えるようにする。この場合、ノイズ抑圧処理105においては、供給される画像データを低域側の信号と高域側の信号とに分離する処理を開始させる(ステップS101)。
【0120】
そして、分離された低域側の信号と高域側の信号とのそれぞれに対して、ノイズの抑圧処理を行うようにする(ステップS102)。具体的には、分離された低域側の信号に対しては、εフィルタ1055を用いて平滑化処理を行うようにし(ステップS1021)、分離された高域側の信号に対しては、コアリング・リミッタ部1054を用いてコアリング処理とリミッタ処理とを行うようにする(ステップS1022)。
【0121】
なお、ステップS1022の高域側の信号に対する処理においては、図5を用いて説明したように、高域側の信号の内、コアリング処理やリミッタ処理の対象とならない中間の振幅の信号のゲインを調整したり、さらには、高振幅制限用閾値HTを設定し、高振幅制限用閾値HT以上の高振幅の信号レベルを0(零)にする高振幅制限処理を行うようにしたりすることも行われる。もちろん、高振幅制限処理を行う場合にもゲイン調整を行うことも可能である。
【0122】
このようにして、ステップS102の処理により、低域側の信号と高域側の信号とのそれぞれに対して、そのそれぞれに応じて適切なノイズ抑圧処理がなされ、ノイズが適切に低減するようにされた低域側の信号と高域側の信号とが形成される。
【0123】
そして、εフィルタ1055から出力される平滑化処理後の低域側の信号とコアリング・リミッタ部1054から出力されるコアリング処理及びリミッタ処理後の高域側の信号とは、加算回路1056で加算されて全帯域の信号に戻され(ステップS103)、カメラ信号処理部106に供給される。
【0124】
そして、カメラ信号処理部105において、例えば、γ補正等の必要なカメラ信号処理が行われてYC信号が形成され(ステップS104)、これがランダムノイズ付加部109に供給されて、ランダムノイズが付加される(ステップS105)。すなわち、ノイズ信号付加部109では、上述もしたように、ランダム信号が発生され、このランダム信号はHPFで低域成分が除去された後に、制御部110からの制御に応じて適切にゲイン調整されて、YC信号に加算される。
【0125】
この後、例えば、撮影スタンバイ状態や撮影状態から、通常の停止状態(撮影スタンバイ状態でも撮影状態でもなく、撮像装置100Aにおいて何の処理も行われておらず停止した状態)になり、当該処理を終了する状態になったか否かを判断する(ステップS106)。
【0126】
ステップS106の判断処理において、終了する状態になっていないと判断したときには、ステップS102からの処理を繰り返し、ノイズ抑圧処理及びランダム信号の付加処理を続行する。ステップS106の判断処理において、当該処理を終了する状態になったと判断したときには、この図11に示す処理を終了し、ノイズ抑圧処理及びランダム信号の付加処理を終了する。
【0127】
なお、図11に示した処理において、ステップS105のステップを削除することにより、図1に示した撮像装置100において行われるノイズ抑圧処理に対応したフローチャートになる。
【0128】
[その他]
なお、上述した実施の形態においては、この発明を撮像装置に適用した場合を例にして説明したが、これに限るものではない。例えば、図2、図8に示した構成のノイズ抑圧処理回路をIC(Integrated Circuit)化し、ノイズ抑圧処理ICとして種々の画像処理装置に搭載するようにすることができる。また、図10に示したランダム信号付加部についてもIC化して、ノイズ抑圧処理ICと共に、種々の画像処理装置に搭載することもできる。
【0129】
また、検波処理部やカメラ信号処理部などの従来からの処理回路と共に、ノイズ抑圧処理部やランダム信号付加部の機能をも備えたICやLSI(Large Scale Integrated Circuit)を形成して種々の画像処理装置に搭載することができる。
【0130】
なお、画像処理装置としては、上述もしたが、デジタルビデオカメラやデジタルスチルカメラなどの撮像装置、イメージリーダやスキャナなどと呼ばれる画像読み取り装置、また、Raw画像データ、RGBデータ、YCデータなどの種々の状態の画像データの供給を受けてこれを処理することが可能なパーソナルコンピュータなどの画像処理装置など、画像データを取り込んで処理する種々の画像処理装置にこの発明を適用することができる。
【0131】
また、図11に示したフローチャートにしたがって、画像信号の供給を受けて、高域側の信号と低域側の信号とに分離する分離ステップと、分離ステップにおいて分離した低域側の信号に対して、平滑化処理を施す平滑化ステップと、分離ステップにおいて分離した高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を0(零)にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値に制限するリミッタ処理とを行う高域信号処理ステップと、平滑化ステップにおいて処理した低域側の信号と、高域信号処理ステップにおいて処理した高域側の信号とを加算処理する加算ステップとを実行するプログラムを形成し、これを例えばパーソナルコンピュータなどの画像処理装置のコンピュータが実行できるようにすることによって、この発明を容易に種々の画像処理装置に適用することができる。
【0132】
もちろん、高域信号処理ステップにおいては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できるようにしたり、高振幅制限用閾値以上の大振幅の信号の振幅を0(零)にする高振幅制限処理を行うようにしたりすることができるし、また、前記加算ステップにおいて加算処理されて形成された画像信号に対して、ランダム信号を付加するランダム信号付加ステップをさらに設けるようにすることももちろん可能である。
【0133】
すなわち、少なくとも、図1、図6、図9において、二重線で示したノイズ抑圧処理部105、ランダム信号付加部109の機能は、例えば、制御部110のCPUなどのコンピュータによって実行されるプログラム(ソフトウェア)として実現することができる。
【0134】
このようなプログラムは、インターネットなどのネットワークを介して提供することも可能であるし、CD(Compact Disc)、DVD(Digital Versatile Disc)、メモリカードなどの種々の記録媒体に記録して提供することも可能である。
【0135】
また、上述した実施の形態においては、コアリング・リミッタ部1054においては、図5を用いて説明したように、中間の振幅の信号のゲイン調整と、高振幅制限用閾値HT以上の高振幅の信号については、その信号レベル(振幅)を0(零)に抑圧する高振幅制限処理とを行うものとして説明したが、いずれか一方だけを行うようにしてもよい。
【0136】
また、処理対象の画像の性質に応じて、中間の振幅の信号のゲイン調整と高振幅制限処理との両方を行わないようにすることもできる。すなわち、中間の振幅の信号のゲイン調整と高振幅制限処理とは、処理対象の画像の性質、例えば明るさなどに応じて実行するか否かを制御するようにしてもよい。
【0137】
また、上述した実施の形態において、ノイズ抑圧処理部105においては、これに供給された画像信号から分離された低域側の信号に対しては、εフィルタ1055を用いて平滑化するようにしたが、εフィルタの他、εフィルタの改良フィルタや他の平滑化フィルタを用いるようにしてもちろんよい。
【0138】
すなわち、低域側の信号の平滑化処理は、予め決められる閾値幅の範囲内の近隣の画素については平均化処理に用い、予め決められる閾値幅の範囲外の画素については平均化処理に用いないようにして、画像信号を平滑化処理する種々のフィルタを用いることが可能である。
【0139】
また、上述した実施の形態においては、ノイズ抑圧処理の処理対象の信号がRaw動画像データの場合には、例えば、図7Aに示したような、用いられているカラーフィルタに応じて、飛び飛びに存在するR信号、G信号、B信号のそれぞれごとに、ノイズ抑圧処理を行うものとして説明した。しかし、用いられるカラーフィルタは、図7Aに示したものに限るものではない。
【0140】
図7Aに示した以外のカラーフィルタが用いられている場合にもこの発明を適用できることは言うまでもない。種々のカラーフィルタが用いられる場合にも、基本的には、R信号、G信号、B信号のそれぞれごとに、ノイズ抑圧処理を行うようにすればよい。また、場合によっては、特定の色信号だけをノイズ抑圧処理の対象とすることも可能である。
【0141】
また、上述した実施の形態においては、処理対象の信号がYCデータの場合には、例えば、図7Bに示したように、画素毎のYCbCr信号を用いるようにしたが、これに限るものではない。YCデータ(YCbCr信号)のフォーマットには、種々のものが存在する。図12は、YCデータ(YCbCr信号)のフォーマットの他の例を説明するための図である。
【0142】
カメラ信号処理部106から出力されるYCデータは、例えば、図12Aに示すように、4画素×4画素の範囲を処理単位とした場合に、水平方向の画素毎にY信号が出力され、Cb信号とCr信号とが1画素おきに出力するようにされる場合(Y:Cb:Crが4:2:2で出力される場合)や、図12Bに示すように、4画素×4画素の範囲を処理単位とした場合に、水平方向の画素毎にY信号が出力され、Cb信号とCr信号とのそれぞれは各処理単位の最初の水平方向の各画素においてのみ出力するようにされる場合(Y:Cb:Crが4:1:1で出力される場合)等がある。すなわち、Y:Cb:Crが4:1:1で出力される場合は、Cb信号とCr信号とは、水平方向の4画素に1回の割合(3画素おき)に出力するようにされるものである。
【0143】
このような、図12A、Bに示したようなYCデータが処理対象である場合にも、この発明を適用することができる。この場合には、図12A、Bのいずれの場合にも、各画素には、Y信号(輝度信号)が存在するので、画素毎のY信号だけを処理対象とするようにしたり、あるいは、飛び飛びに存在するYCbCr信号だけを処理対象とするようにしたりすることが可能である。
【0144】
なお、Y信号だけを処理対象とする場合には、Y信号は各画素に存在するので、処理単位の大きさも例えば、3画素×3画素や4画素×4画素などのように任意に設定できる。また、YCbCr信号を処理単位にする場合には、図12A、図12Bの場合、Cb信号、Cr信号は、水平方向には飛び飛びにしか存在しないので、水平方向の出現頻度等に応じて、処理単位を設定するようにすればよい。
【0145】
例えば、処理対象のYCデータが、図12Aに示したY:Cb:Crが4:2:2の場合には、処理単位を3画素(垂直方向)×5画素(水平方向)のようにすればよい。また、設定される処理単位に応じて、LPF1053等のフィルタ係数も調整するようにすればよい。このように、処理対象の信号がYCデータである場合にも、そのYCデータのフォーマットに応じて、適切にノイズの抑圧処理を行うことができる。また、Cb信号だけをノイズ抑圧処理の対象としたり、Cr信号だけをノイズ抑圧処理の対象としたりすることもできることは言うまでもない。
【0146】
このように、この発明は、ノイズ抑圧処理の対象となる信号が、Raw動画像データであっても、いわゆるYCデータであっても、またRGBデータであっても、そのフォーマットに応じて適切にノイズ抑圧処理を行うようにすることができる。
【図面の簡単な説明】
【0147】
【図1】この発明の一実施の形態が適用された撮像装置の構成例を説明するためのブロック図である。
【図2】図1に示したノイズ抑圧処理部105を説明するためのブロック図である。
【図3】コアリング・リミッタ部1054で行われるリミッタ処理を説明するための図である。
【図4】コアリング・リミッタ部1054で行われるコアリング処理を説明するための図である。
【図5】コアリング・リミッタ部1054において行われる高域側の信号に対する処理を説明するための図である。
【図6】ノイズ抑圧処理部を設ける位置について説明するための図である。
【図7】ノイズ抑圧処理部を設ける位置に応じて、処理対象の画像データが異なることを説明するための図である。
【図8】HPFを用いて、低域側の信号と高域側の信号に分離する構成のノイズ抑圧処理部105を説明するためのブロック図である。
【図9】撮像装置100Aを説明するためのブロック図である。
【図10】図9に示した撮像装置100Aのランダム信号付加部109の構成例を説明するためのブロック図である。
【図11】図9に示した撮像装置100Aにおいて行われるノイズ抑圧処理からランダム信号の付加処理までの処理について説明するためのフローチャートである。
【図12】カメラ信号処理部から出力されるYCbCr信号のフォーマットを説明するための図である。
【図13】一般的な画像データのイメージを示す図である。
【図14】一般的な画像データをεフィルタで処理した場合を説明するための図である。
【図15】インパルス状の高レベルのノイズを含む画像データのイメージを示す図である。
【図16】インパルス上の高レベルのノイズを含む画像データをεフィルタで処理した場合を説明するための図である。
【符号の説明】
【0148】
100…撮像装置、100A…撮像装置、101…レンズ部、102…撮像素子部、103…A/D変換器、104…検波処理部、105…ノイズ抑圧処理部、106…カメラ信号処理部、107…表示処理部、108…表示部、109…ノイズ信号付加部、110…制御部、121…キー操作部、122…外部I/F、123…外部入出力端子、124…記録再生処理部、125…記録媒体、1051…ディレイライン、1052…減算回路、1053…LPF、1054…コアリング・リミッタ部、1055…εフィルタ、1056…加算回路、1057…HPF、1058…減算回路、1091…乱数発生器、1092…HPF、1093…乗算回路、1094…加算回路
【特許請求の範囲】
【請求項1】
画像信号の供給を受けて、高域側の信号(高周波成分)と低域側の信号(低周波成分)とに分離する分離手段と、
前記分離手段で分離された前記低域側の信号に対して、平滑化処理を施す平滑化手段と、
前記分離手段で分離された前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を0(零)にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理手段と、
前記平滑化手段で処理された低域側の信号と、前記高域信号処理手段で処理された高域側の信号とを加算処理する加算手段と
を備えることを特徴とするノイズ抑圧装置。
【請求項2】
請求項1に記載のノイズ抑圧装置であって、
前記高域信号処理手段においては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できることを特徴とするノイズ抑圧装置。
【請求項3】
請求項1に記載のノイズ抑圧装置であって、
前記高域信号処理手段においては、高振幅制限用閾値以上の大振幅の信号の振幅を0(零)にする高振幅制限処理を行うことを特徴とするノイズ抑圧装置。
【請求項4】
請求項1に記載のノイズ抑圧装置であって、
前記加算手段から出力された画像信号に対して、ランダム信号を付加するランダム信号付加手段を備えることを特徴とするノイズ抑圧装置。
【請求項5】
画像信号の供給を受けて、高域側の信号(高周波成分)と低域側の信号(低周波成分)とに分離する分離工程と、
前記分離工程において分離した前記低域側の信号に対して、平滑化処理を施す平滑化工程と、
前記分離工程において分離した前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を0(零)にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理工程と、
前記平滑化工程において処理した低域側の信号と、前記高域信号処理工程において処理した高域側の信号とを加算処理する加算工程と
を有することを特徴とするノイズ抑圧方法。
【請求項6】
請求項5に記載のノイズ抑圧方法であって、
前記高域信号処理工程においては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できることを特徴とするノイズ抑圧方法。
【請求項7】
請求項5に記載のノイズ抑圧方法であって、
前記高域信号処理工程においては、高振幅制限用閾値以上の大振幅の信号の振幅を0(零)にする高振幅制限処理を行うことを特徴とするノイズ抑圧方法。
【請求項8】
請求項5に記載のノイズ抑圧方法であって、
前記加算工程において加算処理されて形成された画像信号に対して、ランダム信号を付加するランダム信号付加工程を有することを特徴とするノイズ抑圧方法。
【請求項9】
画像信号を処理する画像信号処理装置に搭載されたコンピュータが実行するノイズ抑圧プログラムであって、
画像信号の供給を受けて、高域側の信号(高周波成分)と低域側の信号(低周波成分)とに分離する分離ステップと、
前記分離ステップにおいて分離した前記低域側の信号に対して、平滑化処理を施す平滑化ステップと、
前記分離ステップにおいて分離した前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を0(零)にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理ステップと、
前記平滑化ステップにおいて処理した低域側の信号と、前記高域信号処理ステップにおいて処理した高域側の信号とを加算処理する加算ステップと
を前記画像処理装置の前記コンピュータが実行することを特徴とするノイズ抑圧プログラム。
【請求項10】
請求項9に記載のノイズ抑圧プログラムであって、
前記高域信号処理ステップにおいては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できることを特徴とするノイズ抑圧プログラム。
【請求項11】
請求項9に記載のノイズ抑圧プログラムであって、
前記高域信号処理ステップにおいては、高振幅制限用閾値以上の大振幅の信号の振幅を0(零)にする高振幅制限処理を行うことを特徴とするノイズ抑圧プログラム。
【請求項12】
請求項9に記載のノイズ抑圧プログラムであって、
前記加算ステップにおいて加算処理されて形成された画像信号に対して、ランダム信号を付加するランダム信号付加ステップを有することを特徴とするノイズ抑圧プログラム。
【請求項13】
被写体の画像を撮像し、画像信号に変換する撮像手段と、
前記撮像素子から出力される前記画像信号の供給を受けて、高域側の信号(高周波成分)と低域側の信号(低周波成分)とに分離する分離手段と、
前記分離手段で分離された前記低域側の信号に対して、平滑化処理を施す平滑化手段と、
前記分離手段で分離された前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を0(零)にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理手段と、
前記平滑化手段で処理された低域側の信号と、前記高域信号処理手段で処理された高域側の信号とを加算処理する加算手段と
を備えることを特徴とする撮像装置。
【請求項14】
請求項13に記載の撮像装置であって、
前記高域信号処理手段においては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できることを特徴とする撮像装置。
【請求項15】
請求項13に記載の撮像装置であって、
前記高域信号処理手段においては、高振幅制限用閾値以上の大振幅の信号の振幅を0(零)にする高振幅制限処理を行うことを特徴とする撮像装置。
【請求項16】
請求項13に記載の撮像装置であって、
前記加算手段から出力された画像信号に対して、ランダム信号を付加するランダム信号付加手段を備えることを特徴とする撮像装置。
【請求項1】
画像信号の供給を受けて、高域側の信号(高周波成分)と低域側の信号(低周波成分)とに分離する分離手段と、
前記分離手段で分離された前記低域側の信号に対して、平滑化処理を施す平滑化手段と、
前記分離手段で分離された前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を0(零)にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理手段と、
前記平滑化手段で処理された低域側の信号と、前記高域信号処理手段で処理された高域側の信号とを加算処理する加算手段と
を備えることを特徴とするノイズ抑圧装置。
【請求項2】
請求項1に記載のノイズ抑圧装置であって、
前記高域信号処理手段においては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できることを特徴とするノイズ抑圧装置。
【請求項3】
請求項1に記載のノイズ抑圧装置であって、
前記高域信号処理手段においては、高振幅制限用閾値以上の大振幅の信号の振幅を0(零)にする高振幅制限処理を行うことを特徴とするノイズ抑圧装置。
【請求項4】
請求項1に記載のノイズ抑圧装置であって、
前記加算手段から出力された画像信号に対して、ランダム信号を付加するランダム信号付加手段を備えることを特徴とするノイズ抑圧装置。
【請求項5】
画像信号の供給を受けて、高域側の信号(高周波成分)と低域側の信号(低周波成分)とに分離する分離工程と、
前記分離工程において分離した前記低域側の信号に対して、平滑化処理を施す平滑化工程と、
前記分離工程において分離した前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を0(零)にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理工程と、
前記平滑化工程において処理した低域側の信号と、前記高域信号処理工程において処理した高域側の信号とを加算処理する加算工程と
を有することを特徴とするノイズ抑圧方法。
【請求項6】
請求項5に記載のノイズ抑圧方法であって、
前記高域信号処理工程においては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できることを特徴とするノイズ抑圧方法。
【請求項7】
請求項5に記載のノイズ抑圧方法であって、
前記高域信号処理工程においては、高振幅制限用閾値以上の大振幅の信号の振幅を0(零)にする高振幅制限処理を行うことを特徴とするノイズ抑圧方法。
【請求項8】
請求項5に記載のノイズ抑圧方法であって、
前記加算工程において加算処理されて形成された画像信号に対して、ランダム信号を付加するランダム信号付加工程を有することを特徴とするノイズ抑圧方法。
【請求項9】
画像信号を処理する画像信号処理装置に搭載されたコンピュータが実行するノイズ抑圧プログラムであって、
画像信号の供給を受けて、高域側の信号(高周波成分)と低域側の信号(低周波成分)とに分離する分離ステップと、
前記分離ステップにおいて分離した前記低域側の信号に対して、平滑化処理を施す平滑化ステップと、
前記分離ステップにおいて分離した前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を0(零)にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理ステップと、
前記平滑化ステップにおいて処理した低域側の信号と、前記高域信号処理ステップにおいて処理した高域側の信号とを加算処理する加算ステップと
を前記画像処理装置の前記コンピュータが実行することを特徴とするノイズ抑圧プログラム。
【請求項10】
請求項9に記載のノイズ抑圧プログラムであって、
前記高域信号処理ステップにおいては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できることを特徴とするノイズ抑圧プログラム。
【請求項11】
請求項9に記載のノイズ抑圧プログラムであって、
前記高域信号処理ステップにおいては、高振幅制限用閾値以上の大振幅の信号の振幅を0(零)にする高振幅制限処理を行うことを特徴とするノイズ抑圧プログラム。
【請求項12】
請求項9に記載のノイズ抑圧プログラムであって、
前記加算ステップにおいて加算処理されて形成された画像信号に対して、ランダム信号を付加するランダム信号付加ステップを有することを特徴とするノイズ抑圧プログラム。
【請求項13】
被写体の画像を撮像し、画像信号に変換する撮像手段と、
前記撮像素子から出力される前記画像信号の供給を受けて、高域側の信号(高周波成分)と低域側の信号(低周波成分)とに分離する分離手段と、
前記分離手段で分離された前記低域側の信号に対して、平滑化処理を施す平滑化手段と、
前記分離手段で分離された前記高域側の信号に対して、コアリング用閾値以下の微小振幅の信号の振幅を0(零)にするコアリング処理と、リミッタ用閾値以上の振幅の信号を前記リミッタ用閾値以下に制限するリミッタ処理とを行う高域信号処理手段と、
前記平滑化手段で処理された低域側の信号と、前記高域信号処理手段で処理された高域側の信号とを加算処理する加算手段と
を備えることを特徴とする撮像装置。
【請求項14】
請求項13に記載の撮像装置であって、
前記高域信号処理手段においては、前記コアリング用閾値から前記リミッタ用閾値までの中間振幅の信号の利得を調整できることを特徴とする撮像装置。
【請求項15】
請求項13に記載の撮像装置であって、
前記高域信号処理手段においては、高振幅制限用閾値以上の大振幅の信号の振幅を0(零)にする高振幅制限処理を行うことを特徴とする撮像装置。
【請求項16】
請求項13に記載の撮像装置であって、
前記加算手段から出力された画像信号に対して、ランダム信号を付加するランダム信号付加手段を備えることを特徴とする撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2009−94751(P2009−94751A)
【公開日】平成21年4月30日(2009.4.30)
【国際特許分類】
【出願番号】特願2007−262875(P2007−262875)
【出願日】平成19年10月9日(2007.10.9)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成21年4月30日(2009.4.30)
【国際特許分類】
【出願日】平成19年10月9日(2007.10.9)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]