信号処理装置、信号処理方法、およびプログラム
【課題】インパルス応答が畳み込まれたデータ信号の補償精度を向上することが可能な信号処理装置、信号処理方法、およびプログラムを提供する。
【解決手段】データ信号をフィルタリングする第1のローパスフィルタと、インパルス応答を第2のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第1のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と、を備える信号処理装置。
【解決手段】データ信号をフィルタリングする第1のローパスフィルタと、インパルス応答を第2のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第1のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と、を備える信号処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、信号処理装置、信号処理方法、およびプログラムに関する。
【背景技術】
【0002】
近日、CCDやCMOSなどの撮像素子を用い、撮像レンズにより撮像素子の受光面上に結像された被写体の光学像を撮像する撮像装置が普及している。このような撮像装置により得られる画像は、受光面上の受光画素数や撮像レンズの解像力に応じた解像度を有する。
【0003】
このため、撮像装置により得られる画像の解像度を向上するためには、受光画素の数を増大させることや、撮像レンズの解像力を高めることが効果的である。例えば、受光面上の受光画素の密度を高くすると共に、撮像レンズを通して受光面上に投影される点像が1つの受光画素の範囲内に収まるように撮像レンズの解像力を高めることにより、撮像装置により得られる画像の解像度を向上することが可能である。
【0004】
ここで、撮像素子を構成する受光画素の密度を高めることは近年の技術向上により比較的容易である。一方、撮像レンズの解像力を高めるためには、撮像レンズを構成する各レンズの形状誤差や組立誤差などを低減することが有効であるが、加工、組立および調整制度などの製作精度をさらに高めることの困難性は高い。
【0005】
また、解像度を高める他のアプローチとして、特許文献1には、撮像装置の撮像により得られた画像を点像分布関数(PSF:Point Spread Function)に基づいて信号処理することにより解像度を高める方法が記載されている。
【0006】
また、特許文献2には、入力画像の周波数成分を帯域分割フィルタにより帯域分割し、入力画像の低周波成分に対してのみ点像分布関数の逆関数を畳み込むことにより、畳み込みの演算負荷を複製する画像処理方法が記載されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2009−141742号公報
【特許文献2】特開2007−72558号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、特許文献2に記載の画像処理方法では、帯域分割フィルタの影響で、復元力および解像度が十分に向上されないという問題があった。
【0009】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、点像分布関数などのインパルス応答が畳み込まれたデータ信号の補償精度を向上することが可能な、新規かつ改良された信号処理装置、信号処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明のある観点によれば、データ信号をフィルタリングする第1のローパスフィルタと、インパルス応答を第2のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第1のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と、を備える信号処理装置が提供される。
【0011】
前記第1のローパスフィルタと前記第2のローパスフィルタは同一特性を有してもよい。
【0012】
前記信号処理装置は、前記畳み込み部による畳み込み結果と前記データ信号を加算する加算部をさらに備えてもよい。
【0013】
前記データ信号は画像信号であり、前記信号処理装置は、前記畳み込み部によるある領域に関する畳み込み結果を、前記領域のエッジ情報に基づいて調整する調整部をさらに備え、前記加算部は、前記調整部による調整結果と前記データ信号を加算してもよい。
【0014】
前記調整部は、前記エッジ情報に基づき、前記領域のエッジ成分が弱いほどゲインが高くなるように前記領域に関する畳み込み結果を調整してもよい。
【0015】
前記調整部は、前記データ信号における前記領域のエッジ情報、または前記畳み込み結果における前記領域のエッジ情報に基づいて前記領域に関する畳み込み結果を調整してもよい。
【0016】
また、上記課題を解決するために、本発明の別の観点によれば、データ信号を第1のローパスフィルタによりフィルタリングするステップと、インパルス応答を第2のローパスフィルタによりフィルタリングするステップと、前記第2のローパスフィルタにより得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを設計するステップと、前記第1のローパスフィルタにより得られた前記データ信号の低域成分に前記補償フィルタを畳み込むステップと、を含む信号処理方法が提供される。
【0017】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、データ信号をフィルタリングする第1のローパスフィルタと、インパルス応答を第2のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第1のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と、を備える信号処理装置として機能させるための、プログラムが提供される。
【発明の効果】
【0018】
以上説明したように本発明によれば、点像分布関数などのインパルス応答が畳み込まれたデータ信号の補償精度を向上することが可能である。
【図面の簡単な説明】
【0019】
【図1】本発明の実施形態による画像処理装置の構成を示した説明図である。
【図2】ベイヤー配列型のCMOS撮像素子の受光面における画素配列を示した説明図である。
【図3】ベイヤー配列画像の周波数帯域の概念を示した説明図である。
【図4】比較例による信号処理部の構成を示した機能ブロック図である。
【図5】比較例による信号処理部の動作を示したフローチャートである。
【図6】比較例による信号処理部において設計される逆フィルタの2次元周波数応答のY軸断面を示した説明図である。
【図7】比較例による信号処理部によって復元された画像の2次元周波数応答のY軸の断面を示した説明図である。
【図8】入力画像の2次元周波数応答のY軸断面を示した説明図である。
【図9】比較例による画像処理方法による図8に示した入力画像の復元結果の2次元周波数応答のY軸断面を示した説明図である。
【図10】本発明の第1の実施形態による信号処理部の構成を示した機能ブロック図である。
【図11】第1の実施形態により設計される逆フィルタの2次元周波数応答のY軸面を示した説明図である。
【図12】本発明の第1の実施形態による動作を示したフローチャートである。
【図13】第2の実施形態による信号処理部の構成を示した説明図である。
【図14】エッジ情報の算出に利用する画素位置を示した説明図である。
【図15】エッジ情報とゲインの関係を示した説明図である。
【図16】本発明の第2の実施形態による動作を示したフローチャートである。
【図17】本発明の第2の実施形態によって復元された画像の2次元周波数応答のY軸の断面を示した説明図である。
【発明を実施するための形態】
【0020】
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0021】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0022】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.画像処理装置の基本構成
2.比較例による画像処理
3.本発明の第1の実施形態
3−1.第1の実施形態による信号処理部の構成
3−2.第1の実施形態による動作
4.本発明の第2の実施形態
4−1.第2の実施形態による信号処理部の構成
4−2.第2の実施形態による動作
5.まとめ
【0023】
<1.画像処理装置の基本構成>
本発明は、一例として「3.第1の実施形態」および「4.第2の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態による画像処理装置(信号処理装置)は、
A.データ信号をフィルタリングする第1のローパスフィルタ(220B)と、
B.インパルス応答を第2のローパスフィルタ(220B)でフィルタリングして得られるインパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第1のローパスフィルタにより得られたデータ信号の低域成分に畳み込む畳み込み部(240)と、
を備える。
【0024】
以下では、まず、このような各実施形態において共通する基本構成について図1〜図3を参照して説明する。
【0025】
図1は、本発明の実施形態による画像処理装置1の構成を示した説明図である。図1に示したように、本発明の実施形態による画像処理装置1は、撮像光学系10と、アイリス2と、CMOS撮像素子14と、S/H_AGC16と、A/D変換部18と、AE検波ブロック24と、マイクロコンピュータ26と、アイリスドライバ28と、を備える。なお、本発明の実施形態による画像処理装置1は、撮像装置、携帯機器、車載機器および医療機器などの多様な機器に適用可能である。
【0026】
撮像光学系10は、複数の撮像レンズからなり、アイリス12を介して被写体の光学像をCMOS撮像素子14の受光面に結像させる。
【0027】
CMOS(Complementary Metal Oxide Semiconductor)撮像素子14は、受光面に結像された被写体の光学像を電気信号に変換する。なお、CMOS撮像素子14は撮像素子の一例に過ぎず、画像処理装置1は、CMOS撮像素子14に代えて例えばCCD(Charge Coupled Device)撮像素子を備えてもよい。
【0028】
S/H_AGC16は、CMOS撮像素子14からの出力に対してサンプルホールド(S/H)およびAGC(Automatic Gain Control)を施し、A/D変換部18は、S/H_AGC16からの出力をデジタル形式に変換する。A/D変換部18からのデジタル信号は、信号処理部20およびAE検波ブロック24に供給される。
【0029】
信号処理部20は、A/D変換部18からのデジタル出力に対して各種の信号処理を施し、出力端子22を介して後段回路に処理後の信号を出力する。例えば、信号処理部20は、詳細については各実施形態として後述するように、デジタル出力として入力される入力画像の解像度を向上させるための信号処理を行う。
【0030】
AE(Auto Exposure)検波ブロック24は、A/D変換部18から入力されるデジタル信号を検波する。マイクロコンピュータ26は、AE検波ブロック24から供給される検波値に基づき、アイリス12の開度を制御するための制御信号をアイリスドライバ28に供給する。アイリスドライバ28は、マイクロコンピュータ26から供給される制御信号に従ってアイリス12を駆動する。
【0031】
(ベイヤー配列)
上述したCMOS撮像素子14は、ベイヤー配列に従って画素が配列されている。以下、図2を参照してベイヤー配列について説明する。
【0032】
図2は、ベイヤー配列型のCMOS撮像素子14の受光面における画素配列を示した説明図である。図2に示したように、ベイヤー配列においては、水平方向に沿った第1ライン(最上段のライン)にはB成分を検知する画素とG成分を検知する画素が交互に配置され、第2ラインにはG成分を検知する画素とR成分を検知する画素とが交互に配置される。以下、垂直方向Vには同様の画素配列を有する複数のラインが配置され、各画素において光電変換が行われることにより、CMOS撮像素子14からカラー画像が出力される。
【0033】
図3は、ベイヤー配列を有する画像の周波数帯域の概念を示した説明図である。図3に示したように、ベイヤー配列を有する画像は、サンプリングの観点から、G成分の帯域がR、B成分の帯域の2倍に相当する。
【0034】
<2.比較例による画像復元処理>
以上、本発明の実施形態による画像処理装置の基本構成を説明した。続いて、図4〜図9を参照し、比較例による画像復元処理を説明する。
【0035】
図4は、比較例による信号処理部80の構成を示した機能ブロック図である。図4に示したように、比較例による信号処理部80は、PSFテーブル82と、逆フィルタ設計部84と、畳み込み部86と、加算部88と、を有する。
【0036】
PSFテーブル82は、RGB成分ごと、および画素ごとに定義される点像分布関数P(z)を保持する。点像分布関数は画面内で非一様な分布であるが、近隣画素との差分は必ずしも大きくないので、ある範囲内のブロックで点像分布関数を一様に近似することも可能である。なお、点像分布関数は、例えば特開2009−141742号公報に記載の方法により取得される。または、光学設計値の点像分布関数を用いてもよい。
【0037】
逆フィルタ設計部84は、RGB成分ごと、および画素ごとに、点像分布関数P(z)に対する逆フィルタK(z)を設計する。例えば、逆フィルタ設計部84は、特開2009−141742号公報に記載の方法や、ウィナーフィルタに基づき入力画像との平均二乗誤差を最小とする方法により逆フィルタK(z)を設計する。
【0038】
具体的には、逆フィルタ設計部84は、以下の数式1に従って逆フィルタの周波数応答K(w)を算出し、逆フィルタの周波数応答K(ω)を逆フーリエ変換することにより逆フィルタK(w)を設計することができる。なお、数式1においてP(w)はPSFの周波数応答を示し、N(w)はノイズ成分の周波数応答を示す。
【0039】
【数1】
【0040】
畳み込み部86は、ベイヤー配列の入力画像X(z)のR成分、G成分、B成分の各々に対し、逆フィルタ設計部84により算出されたR成分向けの逆フィルタKr(z)、G成分向けの逆フィルタKg(z)、およびB成分向けの逆フィルタKb(z)の各々を畳み込む。このような畳み込み部86による演算を以下の数式2に示す。なお、数式2においてXr(z)は入力画像のR成分を示し、Xg(z)は入力画像のG成分を示し、Xb(z)は入力画像のB成分を示す。
【0041】
【数2】
【0042】
加算部88は、数式3に示すように畳み込み部86により得られた畳み込み結果Y(z)をRGB成分ごとに入力画像に加算する。なお、数式3においてOr(z)は出力画像のR成分を示し、Og(z)は出力画像のG成分を示し、Ob(z)は出力画像のB成分を示す。
【0043】
【数3】
【0044】
以上、比較例による信号処理部80の構成を説明した。続いて、図5を参照し、比較例による信号処理部80の動作を説明する。
【0045】
‐ステップS94
まず、図5に示したように、逆フィルタ設計部84が、RGB成分ごと、および画素ごとに、例えば数式1に示したように点像分布関数P(z)に対する逆フィルタK(z)を設計する。
【0046】
‐ステップS96
その後、畳み込み部86は、ベイヤー配列の入力画像X(z)のR成分、G成分、B成分の各々に対し、逆フィルタ設計部84により算出されたR成分向けの逆フィルタKr(z)、G成分向けの逆フィルタKg(z)、およびB成分向けの逆フィルタKb(z)の各々を畳み込む(S96)。
【0047】
‐ステップS98
そして、加算部88は、畳み込み部86により得られた畳み込み結果Y(z)を例えば数式3に示したようにRGB成分ごとに入力画像に加算し、出力画像O(z)を出力する。
【0048】
図6は、このような比較例による信号処理部80において設計される逆フィルタの2次元周波数応答のY軸断面を示した説明図である。図7は、比較例による信号処理部80によって復元された画像の2次元周波数応答のY軸の断面を示した説明図である。なお、図面においてはR成分を実線で示し、B成分を破線で示し、G成分を細線で示す。
【0049】
(本発明の実施形態に至る経緯)
図6に示したように、比較例によるG成分およびB成分の逆フィルタでは、ナイキスト周波数を1としたときの0.5以上の周波数も10dB以上持ち上げられる。しかし、撮像レンズを通過した高域の周波数成分のほとんどは、画像成分でなくノイズ成分である。このため、比較例による復元方法では、画像の解像度だけでなく、ノイズ成分も増幅してしまうという問題が生じる。
【0050】
また、図2に示したベイヤー配列型の画像に対して比較例による復元方法を適用すると、G成分がRB成分に対して2倍の帯域を有するので、色つきが生じる。具体的には、図7に示したように、G成分とB成分は高域まで復元されるが、R成分は0.4程度の周波数から急激に減少しているので、この復元結果の画像では赤色の色つきが生じる。
【0051】
一方、入力画像の周波数成分を帯域分割フィルタにより帯域分割し、入力画像の低周波成分に対してのみ点像分布関数の逆関数を畳み込む画像処理方法も考えられる。以下、図8および図9を参照し、当該画像処理方法について説明する。
【0052】
図8は、ある入力画像の2次元周波数応答のY軸断面を示した説明図である。図9は、比較例による画像処理方法による図8に示した入力画像の復元結果の2次元周波数応答のY軸断面を示した説明図である。図9に示したように、当該画像処理方法によれば、図7に示した2次元周波数応答と比較して各色とも0.3程度から落ちているので色つきの問題は解消される。しかし、低域成分が十分に持ち上がっていないので、復元効果が弱いという問題がある。
【0053】
本発明の実施形態は、上記事情を一着眼点にしてなされたものであり、本発明の実施形態によれば、色つきおよび解像力などの観点から、撮像光学系10により得られる画像の品質を向上することが可能である。以下、このような本発明の各実施形態について詳細に説明する。
【0054】
<3.本発明の第1の実施形態>
[3−1.第1の実施形態による信号処理部の構成]
図10は、本発明の第1の実施形態による信号処理部20−1の構成を示した機能ブロック図である。図10に示したように、第1の実施形態による信号処理部20−1は、PSFテーブル210と、ローパスフィルタ220Aおよび220Bと、逆フィルタ設計部230と、畳み込み部240と、を有する。
【0055】
PSFテーブル210は、RGB成分ごと、および画素ごとに定義される点像分布関数P(z)を保持する。点像分布関数は画面内で非一様な分布であるが、近隣画素との差分は必ずしも大きくないので、ある範囲内のブロックで点像分布関数を一様に近似することも可能である。なお、点像分布関数は、例えば特開2009−141742号公報に記載の方法により取得される。または、光学設計値の点像分布関数を用いてもよい。
【0056】
ローパスフィルタ220Aは、数式4に示すように、各色の点像分布関数P(z)をフィルタリングして各色の点像分布関数P(z)の低域成分Pa(Z)を算出する。なお、数式4においてLar(z)はR成分に対するローパスフィルタ220Aを示し、Lag(z)はG成分に対するローパスフィルタ220Aを示し、Lab(z)はB成分に対するローパスフィルタ220Aを示す。
【0057】
【数4】
【0058】
逆フィルタ設計部230は、RGB成分ごと、および画素ごとに、ローパスフィルタ220Aによりフィルタリングされた点像分布関数Pa(Z)に対して逆特性を有する逆フィルタKa(z)を設計する。例えば、逆フィルタ設計部230は、特開2009−141742号公報に記載の方法や、ウィナーフィルタに基づき入力画像との平均二乗誤差を最小とする方法により逆フィルタKa(z)を設計する。
【0059】
具体的には、逆フィルタ設計部230は、以下の数式5に従って逆フィルタの周波数応答Ka(w)を算出し、逆フィルタの周波数応答Ka(ω)を逆フーリエ変換することにより逆フィルタKa(z)を設計することができる。なお、数式5においてPa(w)はフィルタリング後の点像分布関数の周波数応答を示し、N(w)はノイズ成分の周波数応答を示す。また、数式5においては記載を省略しているが、逆フィルタ設計部230は、RGB成分ごと、および画素ごとに逆フィルタKr(z)、Kg(z)、Kb(z)を算出する。また、逆フィルタは、厳密に点像分布関数Pa(Z)の逆特性である必要はなく、点像分布関数Pa(Z)による信号劣化の少なくとも一部を補償する補償フィルタであればよい。
【0060】
【数5】
【0061】
ローパスフィルタ220Bは、数式6に示すように、ベイヤー配列の入力画像X(z)のR成分、G成分、B成分の各々をフィルタリングしてXar(z)、Xag(z)、Xab(z)を算出する。なお、ローパスフィルタ220Bは、ローパスフィルタ220Aと同一の周波数特性を有してもよい。
【0062】
【0063】
畳み込み部240は、ローパスフィルタ220Bによるフィルタリング後の入力画像Xar(z)、Xag(z)、Xab(z)の各々に対し、逆フィルタ設計部230により設計された逆フィルタKar(z)、Kag(z)、Kab(z)の各々を畳み込む。このような畳み込み部240による演算を以下の数式7に示す。
【0064】
【数7】
【0065】
ここで、図11を参照し、本発明の第1の実施形態による効果を説明する。
【0066】
図11は、第1の実施形態により設計される逆フィルタの2次元周波数応答のY軸面を示した説明図である。図11に示したように、第1の実施形態により設計される逆フィルタは、図6に示した比較例による逆フィルタと比較してRGB成分ごとの特性差が少ないので、色つきの問題が解消される。また、第1の実施形態により設計される逆フィルタは、図6に示した比較例による逆フィルタと同様に、低域の復元は10dB以上の持ち上げを保っている。一方、第1の実施形態により設計される逆フィルタは、ローパスフィルタ220によるフィルタリングにより高域成分に対する周波数応答が弱くなっているので、ノイズ成分の増幅量を抑制することが可能である。
【0067】
[3−2.第1の実施形態による動作]
以上、本発明の第1の実施形態による信号処理部20−1の構成を説明した。続いて、図12を参照し、本発明の第1の実施形態による動作を説明する。
【0068】
図12は、本発明の第1の実施形態による動作を示したフローチャートである。図12に示したように、まず、ローパスフィルタ220Aが数式4に示したように各色の点像分布関数P(z)をフィルタリングして各色のPa(Z)を算出する(S310)。
【0069】
続いて、逆フィルタ設計部230は、RGB成分ごと、および画素ごとに、ローパスフィルタ220Aによりフィルタリングされた点像分布関数Pa(Z)に対して逆特性を有する逆フィルタKa(z)を設計する(S320)。
【0070】
また、ローパスフィルタ220Bは、数式6に示したように、ベイヤー配列の入力画像X(z)のR成分、G成分、B成分の各々をフィルタリングしてXar(z)、Xag(z)、Xab(z)を算出する(S330)。
【0071】
その後、畳み込み部240が、ローパスフィルタ220Bによるフィルタリング後の入力画像Xar(z)、Xag(z)、Xab(z)の各々に対し、逆フィルタ設計部230により設計された逆フィルタKar(z)、Kag(z)、Kab(z)の各々を畳み込む(S340)。これにより、出力画像Ya(z)が得られる。
【0072】
<4.本発明の第2の実施形態>
以上、本発明の第1の実施形態を説明した。続いて、図13〜図17を参照し、本発明の第2の実施形態を説明する。
【0073】
[4−1.第2の実施形態による信号処理部の構成]
図13は、第2の実施形態による信号処理部20−2の構成を示した説明図である。図13に示したように、第2の実施形態による信号処理部20−2は、PSFテーブル210と、ローパスフィルタ220Aおよび220Bと、逆フィルタ設計部230’と、畳み込み部240と、調整部250と、加算部260と、を有する。PSFテーブル210と、ローパスフィルタ220Aおよび220Bについては、第1の実施形態で説明したので、詳細な説明を省略する。
【0074】
逆フィルタ設計部230’は、RGB成分ごと、および画素ごとに、ローパスフィルタ220Aによりフィルタリングされた点像分布関数Pa(Z)に対して逆特性を有する逆フィルタKa(z)を設計する。
【0075】
具体的には、逆フィルタ設計部230’は、以下の数式8に従って逆フィルタの周波数応答Ka(w)を算出し、逆フィルタの周波数応答Ka(ω)を逆フーリエ変換することにより逆フィルタKa(z)を設計することができる。なお、数式8においてPa(w)はフィルタリング後の点像分布関数の周波数応答を示し、P*a(w)はPa(w)の複素共役を示し、N(w)はノイズ成分の周波数応答を示す。また、数式8においては記載を省略しているが、逆フィルタ設計部230’は、RGB成分ごと、および画素ごとに逆フィルタKr(z)、Kg(z)、Kb(z)を算出する。
【0076】
【数8】
【0077】
畳み込み部240は、ローパスフィルタ220Bによるフィルタリング後の入力画像Xar(z)、Xag(z)、Xab(z)の各々に対し、逆フィルタ設計部230’により設計された逆フィルタKar(z)、Kag(z)、Kab(z)の各々を畳み込む。このような畳み込み部240による演算を以下の数式9に示す。
【0078】
【数9】
【0079】
調整部250は、畳み込み部240によるある対象画素の畳み込み結果Ya(z)を、対象画素付近のエッジ情報に基づいて調整する。具体的には、調整部250は、まず数式10に示す対象画素付近のエッジ情報Diffを算出する。なお、数式10における画素A、B、C、およびDの対象画素Pに対する位置は図14に示した通りである。調整部250は、入力画像における対象画素付近のエッジ情報Diffを算出してもよいし、畳み込み部240による畳み込み結果における対象画素付近のエッジ情報Diffを算出してもよい。
【0080】
【数10】
【0081】
そして、調整部250は、エッジ情報Diffに応じてゲインGを算出する。例えば、調整部250は、エッジ情報DiffとゲインGの図15に示した関係に従ってゲインGを算出してもよい。図15に示した関係によれば、エッジ情報Diffが閾値以下である場合はゲインGとして1.00を算出され、エッジ情報Diffが閾値以上になるとゲインGが段階的に減少する。
【0082】
さらに、調整部250は、数式11に示すように、畳み込み部240による畳み込み結果Ya(z)を、算出したゲインGに従って調整する。
【0083】
【数11】
【0084】
ここで、エッジ情報Diffは、対象画素P付近のエッジ成分が強いほど大きな値になるので、対象画素Pに関するゲインGは、対象画素P付近のエッジ成分が強いほど小さな値になる。このため、エッジ領域を強調し過ぎて出力画像が不自然になってしまうことを防止することが可能である。
【0085】
加算部260は、数式12に示すように、調整部250による調整結果Za(z)を、入力画像X(z)に加算して出力画像O(z)を得る。
【0086】
【数12】
【0087】
[4−2.第2の実施形態による動作]
以上、本発明の第2の実施形態による信号処理部20−2の構成を説明した。続いて、図16を参照し、本発明の第2の実施形態による動作を説明する。
【0088】
図16は、本発明の第2の実施形態による動作を示したフローチャートである。図16に示したように、まず、ローパスフィルタ220Aが数式4に示したように各色の点像分布関数P(z)をフィルタリングして各色のPa(Z)を算出する(S310)。
【0089】
続いて、逆フィルタ設計部230’は、RGB成分ごと、および画素ごとに、ローパスフィルタ220Aによりフィルタリングされた点像分布関数Pa(Z)に対して逆特性を有する逆フィルタKa(z)を設計する(S320)。
【0090】
また、ローパスフィルタ220Bは、数式6に示したように、ベイヤー配列の入力画像X(z)のR成分、G成分、B成分の各々をフィルタリングしてXar(z)、Xag(z)、Xab(z)を算出する(S330)。
【0091】
その後、畳み込み部240が、ローパスフィルタ220Bによるフィルタリング後の入力画像Xar(z)、Xag(z)、Xab(z)の各々に対し、逆フィルタ設計部230’により設計された逆フィルタKar(z)、Kag(z)、Kab(z)の各々を畳み込む(S340)。
【0092】
続いて、調整部250が、畳み込み部240によるある対象画素の畳み込み結果Ya(z)を、対象画素付近のエッジ情報に基づいて調整する(S350)。そして、加算部260が、調整部250による調整結果Za(z)を、入力画像X(z)に加算して出力画像O(z)を得る。
【0093】
ここで、図17を参照し、本発明の第2の実施形態による効果を説明する。
【0094】
図17は、本発明の第2の実施形態によって復元された画像の2次元周波数応答のY軸の断面を示した説明図である。図17に示したように、本発明の第2の実施形態によれば、図9に示した比較例による画像処理方法に比べ、0.4程度までの低域を十分に復元することが可能である。また、本発明の第2の実施形態によれば、図17に示したように、各色とも0.4程度から落ちているので色つきの問題は解消され、かつ、高域は−10dB以上落とされるので高域のノイズ成分は増幅されない。また、調整部250によるエッジ情報に基づく調整により、白黒のエッジ部分に起きる画素が黒色に沈む現象も改善することが可能である。
【0095】
<5.まとめ>
以上説明したように、本発明の実施形態によれば、RGB成分ごとの特性差が抑制された逆フィルタを設計できるので、出力画像の色つきの問題が解消される。また、本発明の実施形態によれば、高域のノイズ成分の増幅を回避しつつ、比較例による画像処理方法に比べ、0.4程度までの低域を十分に復元することが可能である。
【0096】
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0097】
例えば、上記では点像分布関数が畳み込まれた入力画像を補償する画像処理装置を説明したが、本発明はかかる例に限定されない。点像分布関数はインパルス応答の一例に過ぎず、入力画像はデータ信号の一例に過ぎず、画像処理装置はインパルス応答が畳み込まれたデータ信号を補償する信号処理装置の一例に過ぎない。本発明は、インパルス応答が畳み込まれたデータ信号を補償する信号処理装置全般に適用可能である。
【0098】
また、本明細書の信号処理部20の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、信号処理部20の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。また、画像処理装置1に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した信号処理部20の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【0099】
1 画像処理装置
10 撮像光学系
20 信号処理部
210 PSFテーブル
220 ローパスフィルタ
230、230’ 逆フィルタ設計部
240 畳み込み部
250 調整部
260 加算部
【技術分野】
【0001】
本発明は、信号処理装置、信号処理方法、およびプログラムに関する。
【背景技術】
【0002】
近日、CCDやCMOSなどの撮像素子を用い、撮像レンズにより撮像素子の受光面上に結像された被写体の光学像を撮像する撮像装置が普及している。このような撮像装置により得られる画像は、受光面上の受光画素数や撮像レンズの解像力に応じた解像度を有する。
【0003】
このため、撮像装置により得られる画像の解像度を向上するためには、受光画素の数を増大させることや、撮像レンズの解像力を高めることが効果的である。例えば、受光面上の受光画素の密度を高くすると共に、撮像レンズを通して受光面上に投影される点像が1つの受光画素の範囲内に収まるように撮像レンズの解像力を高めることにより、撮像装置により得られる画像の解像度を向上することが可能である。
【0004】
ここで、撮像素子を構成する受光画素の密度を高めることは近年の技術向上により比較的容易である。一方、撮像レンズの解像力を高めるためには、撮像レンズを構成する各レンズの形状誤差や組立誤差などを低減することが有効であるが、加工、組立および調整制度などの製作精度をさらに高めることの困難性は高い。
【0005】
また、解像度を高める他のアプローチとして、特許文献1には、撮像装置の撮像により得られた画像を点像分布関数(PSF:Point Spread Function)に基づいて信号処理することにより解像度を高める方法が記載されている。
【0006】
また、特許文献2には、入力画像の周波数成分を帯域分割フィルタにより帯域分割し、入力画像の低周波成分に対してのみ点像分布関数の逆関数を畳み込むことにより、畳み込みの演算負荷を複製する画像処理方法が記載されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2009−141742号公報
【特許文献2】特開2007−72558号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、特許文献2に記載の画像処理方法では、帯域分割フィルタの影響で、復元力および解像度が十分に向上されないという問題があった。
【0009】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、点像分布関数などのインパルス応答が畳み込まれたデータ信号の補償精度を向上することが可能な、新規かつ改良された信号処理装置、信号処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明のある観点によれば、データ信号をフィルタリングする第1のローパスフィルタと、インパルス応答を第2のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第1のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と、を備える信号処理装置が提供される。
【0011】
前記第1のローパスフィルタと前記第2のローパスフィルタは同一特性を有してもよい。
【0012】
前記信号処理装置は、前記畳み込み部による畳み込み結果と前記データ信号を加算する加算部をさらに備えてもよい。
【0013】
前記データ信号は画像信号であり、前記信号処理装置は、前記畳み込み部によるある領域に関する畳み込み結果を、前記領域のエッジ情報に基づいて調整する調整部をさらに備え、前記加算部は、前記調整部による調整結果と前記データ信号を加算してもよい。
【0014】
前記調整部は、前記エッジ情報に基づき、前記領域のエッジ成分が弱いほどゲインが高くなるように前記領域に関する畳み込み結果を調整してもよい。
【0015】
前記調整部は、前記データ信号における前記領域のエッジ情報、または前記畳み込み結果における前記領域のエッジ情報に基づいて前記領域に関する畳み込み結果を調整してもよい。
【0016】
また、上記課題を解決するために、本発明の別の観点によれば、データ信号を第1のローパスフィルタによりフィルタリングするステップと、インパルス応答を第2のローパスフィルタによりフィルタリングするステップと、前記第2のローパスフィルタにより得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを設計するステップと、前記第1のローパスフィルタにより得られた前記データ信号の低域成分に前記補償フィルタを畳み込むステップと、を含む信号処理方法が提供される。
【0017】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、データ信号をフィルタリングする第1のローパスフィルタと、インパルス応答を第2のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第1のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と、を備える信号処理装置として機能させるための、プログラムが提供される。
【発明の効果】
【0018】
以上説明したように本発明によれば、点像分布関数などのインパルス応答が畳み込まれたデータ信号の補償精度を向上することが可能である。
【図面の簡単な説明】
【0019】
【図1】本発明の実施形態による画像処理装置の構成を示した説明図である。
【図2】ベイヤー配列型のCMOS撮像素子の受光面における画素配列を示した説明図である。
【図3】ベイヤー配列画像の周波数帯域の概念を示した説明図である。
【図4】比較例による信号処理部の構成を示した機能ブロック図である。
【図5】比較例による信号処理部の動作を示したフローチャートである。
【図6】比較例による信号処理部において設計される逆フィルタの2次元周波数応答のY軸断面を示した説明図である。
【図7】比較例による信号処理部によって復元された画像の2次元周波数応答のY軸の断面を示した説明図である。
【図8】入力画像の2次元周波数応答のY軸断面を示した説明図である。
【図9】比較例による画像処理方法による図8に示した入力画像の復元結果の2次元周波数応答のY軸断面を示した説明図である。
【図10】本発明の第1の実施形態による信号処理部の構成を示した機能ブロック図である。
【図11】第1の実施形態により設計される逆フィルタの2次元周波数応答のY軸面を示した説明図である。
【図12】本発明の第1の実施形態による動作を示したフローチャートである。
【図13】第2の実施形態による信号処理部の構成を示した説明図である。
【図14】エッジ情報の算出に利用する画素位置を示した説明図である。
【図15】エッジ情報とゲインの関係を示した説明図である。
【図16】本発明の第2の実施形態による動作を示したフローチャートである。
【図17】本発明の第2の実施形態によって復元された画像の2次元周波数応答のY軸の断面を示した説明図である。
【発明を実施するための形態】
【0020】
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0021】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0022】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.画像処理装置の基本構成
2.比較例による画像処理
3.本発明の第1の実施形態
3−1.第1の実施形態による信号処理部の構成
3−2.第1の実施形態による動作
4.本発明の第2の実施形態
4−1.第2の実施形態による信号処理部の構成
4−2.第2の実施形態による動作
5.まとめ
【0023】
<1.画像処理装置の基本構成>
本発明は、一例として「3.第1の実施形態」および「4.第2の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態による画像処理装置(信号処理装置)は、
A.データ信号をフィルタリングする第1のローパスフィルタ(220B)と、
B.インパルス応答を第2のローパスフィルタ(220B)でフィルタリングして得られるインパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第1のローパスフィルタにより得られたデータ信号の低域成分に畳み込む畳み込み部(240)と、
を備える。
【0024】
以下では、まず、このような各実施形態において共通する基本構成について図1〜図3を参照して説明する。
【0025】
図1は、本発明の実施形態による画像処理装置1の構成を示した説明図である。図1に示したように、本発明の実施形態による画像処理装置1は、撮像光学系10と、アイリス2と、CMOS撮像素子14と、S/H_AGC16と、A/D変換部18と、AE検波ブロック24と、マイクロコンピュータ26と、アイリスドライバ28と、を備える。なお、本発明の実施形態による画像処理装置1は、撮像装置、携帯機器、車載機器および医療機器などの多様な機器に適用可能である。
【0026】
撮像光学系10は、複数の撮像レンズからなり、アイリス12を介して被写体の光学像をCMOS撮像素子14の受光面に結像させる。
【0027】
CMOS(Complementary Metal Oxide Semiconductor)撮像素子14は、受光面に結像された被写体の光学像を電気信号に変換する。なお、CMOS撮像素子14は撮像素子の一例に過ぎず、画像処理装置1は、CMOS撮像素子14に代えて例えばCCD(Charge Coupled Device)撮像素子を備えてもよい。
【0028】
S/H_AGC16は、CMOS撮像素子14からの出力に対してサンプルホールド(S/H)およびAGC(Automatic Gain Control)を施し、A/D変換部18は、S/H_AGC16からの出力をデジタル形式に変換する。A/D変換部18からのデジタル信号は、信号処理部20およびAE検波ブロック24に供給される。
【0029】
信号処理部20は、A/D変換部18からのデジタル出力に対して各種の信号処理を施し、出力端子22を介して後段回路に処理後の信号を出力する。例えば、信号処理部20は、詳細については各実施形態として後述するように、デジタル出力として入力される入力画像の解像度を向上させるための信号処理を行う。
【0030】
AE(Auto Exposure)検波ブロック24は、A/D変換部18から入力されるデジタル信号を検波する。マイクロコンピュータ26は、AE検波ブロック24から供給される検波値に基づき、アイリス12の開度を制御するための制御信号をアイリスドライバ28に供給する。アイリスドライバ28は、マイクロコンピュータ26から供給される制御信号に従ってアイリス12を駆動する。
【0031】
(ベイヤー配列)
上述したCMOS撮像素子14は、ベイヤー配列に従って画素が配列されている。以下、図2を参照してベイヤー配列について説明する。
【0032】
図2は、ベイヤー配列型のCMOS撮像素子14の受光面における画素配列を示した説明図である。図2に示したように、ベイヤー配列においては、水平方向に沿った第1ライン(最上段のライン)にはB成分を検知する画素とG成分を検知する画素が交互に配置され、第2ラインにはG成分を検知する画素とR成分を検知する画素とが交互に配置される。以下、垂直方向Vには同様の画素配列を有する複数のラインが配置され、各画素において光電変換が行われることにより、CMOS撮像素子14からカラー画像が出力される。
【0033】
図3は、ベイヤー配列を有する画像の周波数帯域の概念を示した説明図である。図3に示したように、ベイヤー配列を有する画像は、サンプリングの観点から、G成分の帯域がR、B成分の帯域の2倍に相当する。
【0034】
<2.比較例による画像復元処理>
以上、本発明の実施形態による画像処理装置の基本構成を説明した。続いて、図4〜図9を参照し、比較例による画像復元処理を説明する。
【0035】
図4は、比較例による信号処理部80の構成を示した機能ブロック図である。図4に示したように、比較例による信号処理部80は、PSFテーブル82と、逆フィルタ設計部84と、畳み込み部86と、加算部88と、を有する。
【0036】
PSFテーブル82は、RGB成分ごと、および画素ごとに定義される点像分布関数P(z)を保持する。点像分布関数は画面内で非一様な分布であるが、近隣画素との差分は必ずしも大きくないので、ある範囲内のブロックで点像分布関数を一様に近似することも可能である。なお、点像分布関数は、例えば特開2009−141742号公報に記載の方法により取得される。または、光学設計値の点像分布関数を用いてもよい。
【0037】
逆フィルタ設計部84は、RGB成分ごと、および画素ごとに、点像分布関数P(z)に対する逆フィルタK(z)を設計する。例えば、逆フィルタ設計部84は、特開2009−141742号公報に記載の方法や、ウィナーフィルタに基づき入力画像との平均二乗誤差を最小とする方法により逆フィルタK(z)を設計する。
【0038】
具体的には、逆フィルタ設計部84は、以下の数式1に従って逆フィルタの周波数応答K(w)を算出し、逆フィルタの周波数応答K(ω)を逆フーリエ変換することにより逆フィルタK(w)を設計することができる。なお、数式1においてP(w)はPSFの周波数応答を示し、N(w)はノイズ成分の周波数応答を示す。
【0039】
【数1】
【0040】
畳み込み部86は、ベイヤー配列の入力画像X(z)のR成分、G成分、B成分の各々に対し、逆フィルタ設計部84により算出されたR成分向けの逆フィルタKr(z)、G成分向けの逆フィルタKg(z)、およびB成分向けの逆フィルタKb(z)の各々を畳み込む。このような畳み込み部86による演算を以下の数式2に示す。なお、数式2においてXr(z)は入力画像のR成分を示し、Xg(z)は入力画像のG成分を示し、Xb(z)は入力画像のB成分を示す。
【0041】
【数2】
【0042】
加算部88は、数式3に示すように畳み込み部86により得られた畳み込み結果Y(z)をRGB成分ごとに入力画像に加算する。なお、数式3においてOr(z)は出力画像のR成分を示し、Og(z)は出力画像のG成分を示し、Ob(z)は出力画像のB成分を示す。
【0043】
【数3】
【0044】
以上、比較例による信号処理部80の構成を説明した。続いて、図5を参照し、比較例による信号処理部80の動作を説明する。
【0045】
‐ステップS94
まず、図5に示したように、逆フィルタ設計部84が、RGB成分ごと、および画素ごとに、例えば数式1に示したように点像分布関数P(z)に対する逆フィルタK(z)を設計する。
【0046】
‐ステップS96
その後、畳み込み部86は、ベイヤー配列の入力画像X(z)のR成分、G成分、B成分の各々に対し、逆フィルタ設計部84により算出されたR成分向けの逆フィルタKr(z)、G成分向けの逆フィルタKg(z)、およびB成分向けの逆フィルタKb(z)の各々を畳み込む(S96)。
【0047】
‐ステップS98
そして、加算部88は、畳み込み部86により得られた畳み込み結果Y(z)を例えば数式3に示したようにRGB成分ごとに入力画像に加算し、出力画像O(z)を出力する。
【0048】
図6は、このような比較例による信号処理部80において設計される逆フィルタの2次元周波数応答のY軸断面を示した説明図である。図7は、比較例による信号処理部80によって復元された画像の2次元周波数応答のY軸の断面を示した説明図である。なお、図面においてはR成分を実線で示し、B成分を破線で示し、G成分を細線で示す。
【0049】
(本発明の実施形態に至る経緯)
図6に示したように、比較例によるG成分およびB成分の逆フィルタでは、ナイキスト周波数を1としたときの0.5以上の周波数も10dB以上持ち上げられる。しかし、撮像レンズを通過した高域の周波数成分のほとんどは、画像成分でなくノイズ成分である。このため、比較例による復元方法では、画像の解像度だけでなく、ノイズ成分も増幅してしまうという問題が生じる。
【0050】
また、図2に示したベイヤー配列型の画像に対して比較例による復元方法を適用すると、G成分がRB成分に対して2倍の帯域を有するので、色つきが生じる。具体的には、図7に示したように、G成分とB成分は高域まで復元されるが、R成分は0.4程度の周波数から急激に減少しているので、この復元結果の画像では赤色の色つきが生じる。
【0051】
一方、入力画像の周波数成分を帯域分割フィルタにより帯域分割し、入力画像の低周波成分に対してのみ点像分布関数の逆関数を畳み込む画像処理方法も考えられる。以下、図8および図9を参照し、当該画像処理方法について説明する。
【0052】
図8は、ある入力画像の2次元周波数応答のY軸断面を示した説明図である。図9は、比較例による画像処理方法による図8に示した入力画像の復元結果の2次元周波数応答のY軸断面を示した説明図である。図9に示したように、当該画像処理方法によれば、図7に示した2次元周波数応答と比較して各色とも0.3程度から落ちているので色つきの問題は解消される。しかし、低域成分が十分に持ち上がっていないので、復元効果が弱いという問題がある。
【0053】
本発明の実施形態は、上記事情を一着眼点にしてなされたものであり、本発明の実施形態によれば、色つきおよび解像力などの観点から、撮像光学系10により得られる画像の品質を向上することが可能である。以下、このような本発明の各実施形態について詳細に説明する。
【0054】
<3.本発明の第1の実施形態>
[3−1.第1の実施形態による信号処理部の構成]
図10は、本発明の第1の実施形態による信号処理部20−1の構成を示した機能ブロック図である。図10に示したように、第1の実施形態による信号処理部20−1は、PSFテーブル210と、ローパスフィルタ220Aおよび220Bと、逆フィルタ設計部230と、畳み込み部240と、を有する。
【0055】
PSFテーブル210は、RGB成分ごと、および画素ごとに定義される点像分布関数P(z)を保持する。点像分布関数は画面内で非一様な分布であるが、近隣画素との差分は必ずしも大きくないので、ある範囲内のブロックで点像分布関数を一様に近似することも可能である。なお、点像分布関数は、例えば特開2009−141742号公報に記載の方法により取得される。または、光学設計値の点像分布関数を用いてもよい。
【0056】
ローパスフィルタ220Aは、数式4に示すように、各色の点像分布関数P(z)をフィルタリングして各色の点像分布関数P(z)の低域成分Pa(Z)を算出する。なお、数式4においてLar(z)はR成分に対するローパスフィルタ220Aを示し、Lag(z)はG成分に対するローパスフィルタ220Aを示し、Lab(z)はB成分に対するローパスフィルタ220Aを示す。
【0057】
【数4】
【0058】
逆フィルタ設計部230は、RGB成分ごと、および画素ごとに、ローパスフィルタ220Aによりフィルタリングされた点像分布関数Pa(Z)に対して逆特性を有する逆フィルタKa(z)を設計する。例えば、逆フィルタ設計部230は、特開2009−141742号公報に記載の方法や、ウィナーフィルタに基づき入力画像との平均二乗誤差を最小とする方法により逆フィルタKa(z)を設計する。
【0059】
具体的には、逆フィルタ設計部230は、以下の数式5に従って逆フィルタの周波数応答Ka(w)を算出し、逆フィルタの周波数応答Ka(ω)を逆フーリエ変換することにより逆フィルタKa(z)を設計することができる。なお、数式5においてPa(w)はフィルタリング後の点像分布関数の周波数応答を示し、N(w)はノイズ成分の周波数応答を示す。また、数式5においては記載を省略しているが、逆フィルタ設計部230は、RGB成分ごと、および画素ごとに逆フィルタKr(z)、Kg(z)、Kb(z)を算出する。また、逆フィルタは、厳密に点像分布関数Pa(Z)の逆特性である必要はなく、点像分布関数Pa(Z)による信号劣化の少なくとも一部を補償する補償フィルタであればよい。
【0060】
【数5】
【0061】
ローパスフィルタ220Bは、数式6に示すように、ベイヤー配列の入力画像X(z)のR成分、G成分、B成分の各々をフィルタリングしてXar(z)、Xag(z)、Xab(z)を算出する。なお、ローパスフィルタ220Bは、ローパスフィルタ220Aと同一の周波数特性を有してもよい。
【0062】
【0063】
畳み込み部240は、ローパスフィルタ220Bによるフィルタリング後の入力画像Xar(z)、Xag(z)、Xab(z)の各々に対し、逆フィルタ設計部230により設計された逆フィルタKar(z)、Kag(z)、Kab(z)の各々を畳み込む。このような畳み込み部240による演算を以下の数式7に示す。
【0064】
【数7】
【0065】
ここで、図11を参照し、本発明の第1の実施形態による効果を説明する。
【0066】
図11は、第1の実施形態により設計される逆フィルタの2次元周波数応答のY軸面を示した説明図である。図11に示したように、第1の実施形態により設計される逆フィルタは、図6に示した比較例による逆フィルタと比較してRGB成分ごとの特性差が少ないので、色つきの問題が解消される。また、第1の実施形態により設計される逆フィルタは、図6に示した比較例による逆フィルタと同様に、低域の復元は10dB以上の持ち上げを保っている。一方、第1の実施形態により設計される逆フィルタは、ローパスフィルタ220によるフィルタリングにより高域成分に対する周波数応答が弱くなっているので、ノイズ成分の増幅量を抑制することが可能である。
【0067】
[3−2.第1の実施形態による動作]
以上、本発明の第1の実施形態による信号処理部20−1の構成を説明した。続いて、図12を参照し、本発明の第1の実施形態による動作を説明する。
【0068】
図12は、本発明の第1の実施形態による動作を示したフローチャートである。図12に示したように、まず、ローパスフィルタ220Aが数式4に示したように各色の点像分布関数P(z)をフィルタリングして各色のPa(Z)を算出する(S310)。
【0069】
続いて、逆フィルタ設計部230は、RGB成分ごと、および画素ごとに、ローパスフィルタ220Aによりフィルタリングされた点像分布関数Pa(Z)に対して逆特性を有する逆フィルタKa(z)を設計する(S320)。
【0070】
また、ローパスフィルタ220Bは、数式6に示したように、ベイヤー配列の入力画像X(z)のR成分、G成分、B成分の各々をフィルタリングしてXar(z)、Xag(z)、Xab(z)を算出する(S330)。
【0071】
その後、畳み込み部240が、ローパスフィルタ220Bによるフィルタリング後の入力画像Xar(z)、Xag(z)、Xab(z)の各々に対し、逆フィルタ設計部230により設計された逆フィルタKar(z)、Kag(z)、Kab(z)の各々を畳み込む(S340)。これにより、出力画像Ya(z)が得られる。
【0072】
<4.本発明の第2の実施形態>
以上、本発明の第1の実施形態を説明した。続いて、図13〜図17を参照し、本発明の第2の実施形態を説明する。
【0073】
[4−1.第2の実施形態による信号処理部の構成]
図13は、第2の実施形態による信号処理部20−2の構成を示した説明図である。図13に示したように、第2の実施形態による信号処理部20−2は、PSFテーブル210と、ローパスフィルタ220Aおよび220Bと、逆フィルタ設計部230’と、畳み込み部240と、調整部250と、加算部260と、を有する。PSFテーブル210と、ローパスフィルタ220Aおよび220Bについては、第1の実施形態で説明したので、詳細な説明を省略する。
【0074】
逆フィルタ設計部230’は、RGB成分ごと、および画素ごとに、ローパスフィルタ220Aによりフィルタリングされた点像分布関数Pa(Z)に対して逆特性を有する逆フィルタKa(z)を設計する。
【0075】
具体的には、逆フィルタ設計部230’は、以下の数式8に従って逆フィルタの周波数応答Ka(w)を算出し、逆フィルタの周波数応答Ka(ω)を逆フーリエ変換することにより逆フィルタKa(z)を設計することができる。なお、数式8においてPa(w)はフィルタリング後の点像分布関数の周波数応答を示し、P*a(w)はPa(w)の複素共役を示し、N(w)はノイズ成分の周波数応答を示す。また、数式8においては記載を省略しているが、逆フィルタ設計部230’は、RGB成分ごと、および画素ごとに逆フィルタKr(z)、Kg(z)、Kb(z)を算出する。
【0076】
【数8】
【0077】
畳み込み部240は、ローパスフィルタ220Bによるフィルタリング後の入力画像Xar(z)、Xag(z)、Xab(z)の各々に対し、逆フィルタ設計部230’により設計された逆フィルタKar(z)、Kag(z)、Kab(z)の各々を畳み込む。このような畳み込み部240による演算を以下の数式9に示す。
【0078】
【数9】
【0079】
調整部250は、畳み込み部240によるある対象画素の畳み込み結果Ya(z)を、対象画素付近のエッジ情報に基づいて調整する。具体的には、調整部250は、まず数式10に示す対象画素付近のエッジ情報Diffを算出する。なお、数式10における画素A、B、C、およびDの対象画素Pに対する位置は図14に示した通りである。調整部250は、入力画像における対象画素付近のエッジ情報Diffを算出してもよいし、畳み込み部240による畳み込み結果における対象画素付近のエッジ情報Diffを算出してもよい。
【0080】
【数10】
【0081】
そして、調整部250は、エッジ情報Diffに応じてゲインGを算出する。例えば、調整部250は、エッジ情報DiffとゲインGの図15に示した関係に従ってゲインGを算出してもよい。図15に示した関係によれば、エッジ情報Diffが閾値以下である場合はゲインGとして1.00を算出され、エッジ情報Diffが閾値以上になるとゲインGが段階的に減少する。
【0082】
さらに、調整部250は、数式11に示すように、畳み込み部240による畳み込み結果Ya(z)を、算出したゲインGに従って調整する。
【0083】
【数11】
【0084】
ここで、エッジ情報Diffは、対象画素P付近のエッジ成分が強いほど大きな値になるので、対象画素Pに関するゲインGは、対象画素P付近のエッジ成分が強いほど小さな値になる。このため、エッジ領域を強調し過ぎて出力画像が不自然になってしまうことを防止することが可能である。
【0085】
加算部260は、数式12に示すように、調整部250による調整結果Za(z)を、入力画像X(z)に加算して出力画像O(z)を得る。
【0086】
【数12】
【0087】
[4−2.第2の実施形態による動作]
以上、本発明の第2の実施形態による信号処理部20−2の構成を説明した。続いて、図16を参照し、本発明の第2の実施形態による動作を説明する。
【0088】
図16は、本発明の第2の実施形態による動作を示したフローチャートである。図16に示したように、まず、ローパスフィルタ220Aが数式4に示したように各色の点像分布関数P(z)をフィルタリングして各色のPa(Z)を算出する(S310)。
【0089】
続いて、逆フィルタ設計部230’は、RGB成分ごと、および画素ごとに、ローパスフィルタ220Aによりフィルタリングされた点像分布関数Pa(Z)に対して逆特性を有する逆フィルタKa(z)を設計する(S320)。
【0090】
また、ローパスフィルタ220Bは、数式6に示したように、ベイヤー配列の入力画像X(z)のR成分、G成分、B成分の各々をフィルタリングしてXar(z)、Xag(z)、Xab(z)を算出する(S330)。
【0091】
その後、畳み込み部240が、ローパスフィルタ220Bによるフィルタリング後の入力画像Xar(z)、Xag(z)、Xab(z)の各々に対し、逆フィルタ設計部230’により設計された逆フィルタKar(z)、Kag(z)、Kab(z)の各々を畳み込む(S340)。
【0092】
続いて、調整部250が、畳み込み部240によるある対象画素の畳み込み結果Ya(z)を、対象画素付近のエッジ情報に基づいて調整する(S350)。そして、加算部260が、調整部250による調整結果Za(z)を、入力画像X(z)に加算して出力画像O(z)を得る。
【0093】
ここで、図17を参照し、本発明の第2の実施形態による効果を説明する。
【0094】
図17は、本発明の第2の実施形態によって復元された画像の2次元周波数応答のY軸の断面を示した説明図である。図17に示したように、本発明の第2の実施形態によれば、図9に示した比較例による画像処理方法に比べ、0.4程度までの低域を十分に復元することが可能である。また、本発明の第2の実施形態によれば、図17に示したように、各色とも0.4程度から落ちているので色つきの問題は解消され、かつ、高域は−10dB以上落とされるので高域のノイズ成分は増幅されない。また、調整部250によるエッジ情報に基づく調整により、白黒のエッジ部分に起きる画素が黒色に沈む現象も改善することが可能である。
【0095】
<5.まとめ>
以上説明したように、本発明の実施形態によれば、RGB成分ごとの特性差が抑制された逆フィルタを設計できるので、出力画像の色つきの問題が解消される。また、本発明の実施形態によれば、高域のノイズ成分の増幅を回避しつつ、比較例による画像処理方法に比べ、0.4程度までの低域を十分に復元することが可能である。
【0096】
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0097】
例えば、上記では点像分布関数が畳み込まれた入力画像を補償する画像処理装置を説明したが、本発明はかかる例に限定されない。点像分布関数はインパルス応答の一例に過ぎず、入力画像はデータ信号の一例に過ぎず、画像処理装置はインパルス応答が畳み込まれたデータ信号を補償する信号処理装置の一例に過ぎない。本発明は、インパルス応答が畳み込まれたデータ信号を補償する信号処理装置全般に適用可能である。
【0098】
また、本明細書の信号処理部20の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、信号処理部20の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。また、画像処理装置1に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した信号処理部20の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【0099】
1 画像処理装置
10 撮像光学系
20 信号処理部
210 PSFテーブル
220 ローパスフィルタ
230、230’ 逆フィルタ設計部
240 畳み込み部
250 調整部
260 加算部
【特許請求の範囲】
【請求項1】
データ信号をフィルタリングする第1のローパスフィルタと;
インパルス応答を第2のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第1のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と;
を備える、信号処理装置。
【請求項2】
前記第1のローパスフィルタと前記第2のローパスフィルタは同一特性を有する、請求項1に記載の信号処理装置。
【請求項3】
前記信号処理装置は、
前記畳み込み部による畳み込み結果と前記データ信号を加算する加算部をさらに備える、請求項2に記載の信号処理装置。
【請求項4】
前記データ信号は画像信号であり、
前記信号処理装置は、
前記畳み込み部によるある領域に関する畳み込み結果を、前記領域のエッジ情報に基づいて調整する調整部をさらに備え、
前記加算部は、前記調整部による調整結果と前記データ信号を加算する、請求項3に記載の信号処理装置。
【請求項5】
前記調整部は、前記エッジ情報に基づき、前記領域のエッジ成分が弱いほどゲインが高くなるように前記領域に関する畳み込み結果を調整する、請求項4に記載の信号処理装置。
【請求項6】
前記調整部は、前記データ信号における前記領域のエッジ情報、または前記畳み込み結果における前記領域のエッジ情報に基づいて前記領域に関する畳み込み結果を調整する、請求項5に記載の信号処理装置。
【請求項7】
前記データ信号は、撮像光学系により撮像された画像信号であり、
前記インパルス応答は、前記撮像光学系の点像分布関数である、請求項6に記載の信号処理装置。
【請求項8】
データ信号を第1のローパスフィルタによりフィルタリングするステップと;
インパルス応答を第2のローパスフィルタによりフィルタリングするステップと;
前記第2のローパスフィルタにより得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを設計するステップと;
前記第1のローパスフィルタにより得られた前記データ信号の低域成分に前記補償フィルタを畳み込むステップと;
を含む、信号処理方法。
【請求項9】
コンピュータを、
データ信号をフィルタリングする第1のローパスフィルタと;
インパルス応答を第2のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第1のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と;
を備える、信号処理装置として機能させるための、プログラム。
【請求項1】
データ信号をフィルタリングする第1のローパスフィルタと;
インパルス応答を第2のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第1のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と;
を備える、信号処理装置。
【請求項2】
前記第1のローパスフィルタと前記第2のローパスフィルタは同一特性を有する、請求項1に記載の信号処理装置。
【請求項3】
前記信号処理装置は、
前記畳み込み部による畳み込み結果と前記データ信号を加算する加算部をさらに備える、請求項2に記載の信号処理装置。
【請求項4】
前記データ信号は画像信号であり、
前記信号処理装置は、
前記畳み込み部によるある領域に関する畳み込み結果を、前記領域のエッジ情報に基づいて調整する調整部をさらに備え、
前記加算部は、前記調整部による調整結果と前記データ信号を加算する、請求項3に記載の信号処理装置。
【請求項5】
前記調整部は、前記エッジ情報に基づき、前記領域のエッジ成分が弱いほどゲインが高くなるように前記領域に関する畳み込み結果を調整する、請求項4に記載の信号処理装置。
【請求項6】
前記調整部は、前記データ信号における前記領域のエッジ情報、または前記畳み込み結果における前記領域のエッジ情報に基づいて前記領域に関する畳み込み結果を調整する、請求項5に記載の信号処理装置。
【請求項7】
前記データ信号は、撮像光学系により撮像された画像信号であり、
前記インパルス応答は、前記撮像光学系の点像分布関数である、請求項6に記載の信号処理装置。
【請求項8】
データ信号を第1のローパスフィルタによりフィルタリングするステップと;
インパルス応答を第2のローパスフィルタによりフィルタリングするステップと;
前記第2のローパスフィルタにより得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを設計するステップと;
前記第1のローパスフィルタにより得られた前記データ信号の低域成分に前記補償フィルタを畳み込むステップと;
を含む、信号処理方法。
【請求項9】
コンピュータを、
データ信号をフィルタリングする第1のローパスフィルタと;
インパルス応答を第2のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第1のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と;
を備える、信号処理装置として機能させるための、プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2012−141725(P2012−141725A)
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願番号】特願2010−293307(P2010−293307)
【出願日】平成22年12月28日(2010.12.28)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願日】平成22年12月28日(2010.12.28)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]