画像処理装置及び画像処理方法
【課題】レンズ特性により画像劣化が画面内位置で異なる場合にも、各位置の劣化状態に応じて最適に復元処理を行うとともに、演算量を大幅に低減すること。
【解決手段】分散値テーブルは、画面内の各格子点でのPSF係数の分散値を格納し、PSF係数テーブルは、分散値とPSF係数の対応関係を格納する。これらの値は、画面水平方向と画面垂直方向の成分に分けて格納する。分散値算出部は、分散値テーブルを参照して処理対象画素での分散値を求め、PSF係数算出部は、PSF係数テーブルを参照して処理対象画素のPSF係数を出力する。水平及び垂直コンボリューション処理部は、水平及び垂直方向のPSF係数を用いて水平及び垂直方向の畳み込み演算を行い、劣化画像を復元する。
【解決手段】分散値テーブルは、画面内の各格子点でのPSF係数の分散値を格納し、PSF係数テーブルは、分散値とPSF係数の対応関係を格納する。これらの値は、画面水平方向と画面垂直方向の成分に分けて格納する。分散値算出部は、分散値テーブルを参照して処理対象画素での分散値を求め、PSF係数算出部は、PSF係数テーブルを参照して処理対象画素のPSF係数を出力する。水平及び垂直コンボリューション処理部は、水平及び垂直方向のPSF係数を用いて水平及び垂直方向の畳み込み演算を行い、劣化画像を復元する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラで撮影した画像のレンズ特性により生じた劣化を復元する画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
従来から、劣化した画像を復元する画像復元技術として、一般化逆フィルタを用いる方法及び、Richardson-Lucy法(以下、RL法と称す)等がある。両方法とも、劣化過程が既知であるとして、劣化過程により劣化させたものと入力画像の二乗誤差が最小となるように、求めたい復元画像を決定する。
【0003】
一般化逆フィルタは、二乗誤差が最小となる条件を解いた結果、逆行列を計算することになる。そのままでは計算困難なことも多いので、離散フーリエ変換を施し周波数空間上で計算を行い、再び実空間に戻す。これは、周波数空間上では逆行列演算が除算となることによる。RL法は、反復法により初期解から徐々に真の解へ収束させていくことにより、二乗誤差が最小となる復元画像を得る。いずれも望ましい復元結果を得るためには大規模な行列演算または繰り返しの反復演算を必要とし、計算量が増大する。
【0004】
これに関し特許文献1には、劣化画像を復元する際の処理量を低減することを目的に、劣化画像中の局所領域に対応するフィルタ係数を用いて局所領域毎に演算する方法が提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−61541号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1の技術によれば、劣化画像に対し復元処理のための演算回数を少なくし、また1画面の中で必要な部分のみを局所的に復元処理することができる。しかしながら、従来技術では画像劣化は画面内で一様に発生することを前提にしており、例えばレンズ特性により画像劣化の状態が画面内で異なる場合には、画面全体に渡り好適な復元処理を行うことはできなかった。また、画面全体に劣化が発生している画像に対しては、局所的な復元処理を繰り返すことになり、結局のところ、演算量の増大が避けられないことになる。
【0007】
本発明は上記課題を鑑み、レンズ特性により画像劣化が画面内位置で異なる場合にも、各位置の劣化状態に応じて最適に復元処理を行うとともに、画面全体を対象に演算量を大幅に低減する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、劣化画像を復元処理する画像処理装置において、劣化画像をフィルタリング処理して復元処理対象画素ごとに点像分布フィルタ係数(以下、PSF係数と称す)を求めるフィルタリング処理部と、該フィルタリング処理部で求めたPSF係数を用いて畳み込み演算を行うことで劣化画像から復元画像を得る劣化画像復元処理部を備え、前記フィルタリング処理部は、処理画面を所定サイズの格子で区切り各格子点位置での点像広がり関数の分散値を格納した分散値テーブルと、該分散値テーブルを参照して復元処理対象画素位置での分散値を補間法により求める分散値算出部と、分散値とPSF係数の対応関係を格納したPSF係数テーブルと、該PSF係数テーブルを参照して復元処理対象画素の分散値に対応するPSF係数を出力するPSF係数算出部を有する。
【0009】
さらに、前記フィルタリング処理部の有する前記分散値テーブルと前記PSF係数テーブルには、前記分散値と前記PSF係数の値を画面水平方向と画面垂直方向の成分に分けて格納し、前記PSF係数算出部は、復元処理対象画素に対するPSF係数を水平方向成分と垂直方向成分に分けて出力するものであって、前記劣化画像復元処理部は、水平方向のPSF係数を用いて水平方向の畳み込み演算を行う水平コンボリューション処理部と、垂直方向のPSF係数を用いて垂直方向の畳み込み演算を行う垂直コンボリューション処理部を有する。
【発明の効果】
【0010】
本発明によれば、レンズ特性により画像劣化が画面内位置で異なる場合にも、各位置の劣化状態に応じて最適に復元処理を行うとともに、画面全体を対象に演算量を大幅に低減する効果がある。
【図面の簡単な説明】
【0011】
【図1】本発明の実施例1における画像処理装置の構成図。
【図2】分散値テーブル22h,22vに格納するデータの算出方法を示すフローチャート。
【図3】分散値算出部21h,21vにおけるターゲット画素の分散値算出方法を示す図。
【図4】PSF係数テーブル24h,24vからターゲット画素に対応するPSF係数を選定する方法を示す図。
【図5】PSF係数を用いたコンボリューション処理部27v,27hでの畳み込み演算処理方法を示す図。
【図6】本実施例による画像復元処理の効果を示すイメージ図の一例。
【図7】ターゲット画素の劣化分散値を算出する際の画面内格子の設定方法を示す図。
【図8】実施例2における画像処理装置2の構成図。
【図9】表示画面レイアウトとPSF係数の設定を示す図。
【図10】実施例3における入力画像の歪みの補正方法を説明する図。
【図11】実施例4における画像処理装置の構成図。
【図12】実施例5における画像処理装置の構成図。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図面を用いて説明する。
【実施例1】
【0013】
図1は、本発明の実施例1における画像処理装置の構成図である。画像処理装置1は、被写体を撮像するカメラ部10、カメラ部10からの劣化画像を復元処理する劣化画像処理部20、復元画像を表示処理する画像表示処理部30、ディスプレイ等の表示部40を備える。このようなシステムの適用例としては、監視カメラ装置、ムービー装置などがある。
【0014】
カメラ部10は、レンズ部11と、レンズ部11を介して入力された画像データを取り込む撮像部12を有する。
【0015】
劣化画像処理部20は、フィルタリング処理回路20aと劣化画像復元処理回路20bを備える。フィルタリング処理回路20aには、撮像部12から入力するターゲット画素の水平方向の劣化分散値を求める水平分散値算出部21h、画面内代表点(格子点)における水平方向の劣化分散値を格納した水平座標分散値テーブル22h、ターゲット画素の水平方向の点像分布フィルタ係数であるPSF(Point Spread Function)係数を求める水平PSF係数算出部23h、水平方向の劣化分散値とPSF係数との関係を格納した水平PSF係数テーブル24hを有する。
【0016】
同様に、撮像部12から入力するターゲット画素の垂直方向の劣化分散値を求める垂直分散値算出部21v、画面内代表点(格子点)における垂直方向の劣化分散値を格納した垂直座標分散値テーブル22v、ターゲット画素の垂直方向の点像分布フィルタ係数であるPSF係数を求める垂直PSF係数算出部23v、垂直方向の劣化分散値とPSF係数との関係を格納した垂直PSF係数テーブル24vを有する。
【0017】
劣化画像復元処理回路20bには、垂直PSF係数算出部23vで選択された垂直方向PSF係数と撮像部12からの画像データを入力し、垂直方向に対し畳み込み演算を行う垂直コンボリューション処理部27v、水平PSF係数算出部23hで選択された水平方向PSFと垂直コンボリューション処理部27vからの画像データを入力し、水平方向に対し畳み込み演算を行う水平コンボリューション処理部27h、水平コンボリューション処理部27hより出力された垂直及び水平方向の畳み込み処理済み画像に対し、演算を行うアルゴリズム処理部29を有する。
【0018】
画像表示処理部30は、アルゴリズム処理部29より出力された復元画像を表示部40で表示可能な形式に変換し、表示部40は画像表示処理部30からの出力画像を表示する。
【0019】
次に、本実施例の画像処理装置1の動作の概要を説明する。
被写体をカメラ部10で取り込んだ画像データは、劣化画像処理部20の水平分散値算出部21h及び垂直分散値算出部21vに入力される。水平分散値算出部21h及び垂直分散値算出部21vは、それぞれ水平座標分散値テーブル22h及び垂直座標分散値テーブル22vを参照し、入力画像データのターゲット画素の座標位置に隣接する近傍4隅の格子点におけるテーブルデータ(水平方向、垂直方向の劣化分散値)を選択する。そして、選択した4隅のテーブルデータを用いて補間処理を行うことでターゲット画素の劣化分散値を水平、垂直方向に求める。求めたターゲット画素の劣化分散値は、水平PSF係数算出部23h及び垂直PSF係数算出部23vに入力される。水平PSF係数算出部23h及び垂直PSF係数算出部23vでは、それぞれ水平PSF係数テーブル24h及び垂直PSF係数テーブル24vを参照し、各々の分散値に対応するPSF係数を選択する。
【0020】
垂直コンボリューション処理部27v、水平コンボリューション処理部27hでは、選択された水平、垂直PSF係数を用いて、カメラ部10からの入力画像データに対し、順に畳み込み演算を実行する。さらにアルゴリズム処理部29でアルゴリズムに従った演算処理を行うことで、入力画像データに対し画素単位での最適な劣化復元画像を得る。垂直コンボリューション処理部27v、水平コンボリューション処理部27h及びアルゴリズム処理部29による劣化復元処理方法は、前記したRichardson-Lucy(RL法)アルゴリズムを採用する。
【0021】
RL法アルゴリズムの演算式を(1)式に示す。(1)式においてカメラからの劣化画像をG(x,y)、原画像(復元画像)の推定画像をFk(x,y)、原画像から劣化画像に係る点像分布フィルタ係数(PSF係数)をS(i,j)とした時に、(1)式を繰り返すことで原画像が復元される。
【0022】
【数1】
【0023】
(1)式において、S(i,j)及びS(−i,−j)部は水平PSF係数算出部23h及び垂直PSF係数算出部23vで算出される。Fk(x,y)*S(i,j)の演算部分は、垂直コンボリューション処理部27v及び水平コンボリューション処理部27hで演算し、その他の演算部分はアルゴリズム処理部29で演算する。前記Fk(x,y)*S(i,j)の初回コンボリューション処理において推定画像Fk(x,y)部分は劣化画像G(x,y)を用いる。
【0024】
本実施例では、画面全体を所定間隔の格子状に区切り、任意の位置の劣化復元ターゲット画素に対し近傍4隅の格子点の劣化分散値からターゲット画素の劣化分散値を求め、この分散値を入力としてPSF係数テーブルから対応するフィルタ係数を選択し、これを用いて劣化復元処理を行う。この処理を画面内全画素に対して実施することで、レンズの特性により画面位置毎に劣化状態が異なる場合であっても、画面全体に渡り最適な復元画像を得るものである。
【0025】
また劣化復元のための処理量を軽減するため、劣化分散値を代表点である格子点のみでテーブルに保持し、PSF係数を直交する2軸方向(水平、垂直方向)成分のみでテーブルに格納する。入力される劣化画像の座標位置を基に最適なPSF係数を選択し、該PSF係数を用いて2軸方向の畳み込み演算を行うことで、処理量を大幅に低減するものである。
【0026】
すなわち本実施例の画像復元処理法では、次の手法を取り入れたことに特徴がある。
(イ)画面内の各位置における劣化状態(PSF係数)を求め、劣化画像の復元処理に使用する。
(ロ)画面内の劣化状態は代表となる格子点のデータを予め求めてテーブル(分散値テーブル)に格納し、各画素位置でのデータは格子点のデータから補間して求める。
(ハ)テーブルには各格子点での分散値を格納し、分散値を介してPSFテーブルからPSF係数を読み出す。
(ニ)コンボリューション演算はターゲット画素に対して直交する2軸方向のみで行う。
以下、これらの各手法について詳細に説明する。
【0027】
図2は、水平座標分散値テーブル22h及び垂直座標分散値テーブル22vに格納するテーブルデータの算出方法を示すフローチャートである。まず、使用するカメラで評価用被写体となるランダムチャートを撮影する(S101)。ランダムチャートとは周波数帯域が低域から高域まで幅広い特性を備えたチャートを意味し、規則性のないランダムなノイズの影響を受けずにレンズ特性による画面内劣化分布(点像分布特性)を正確に取得することが可能である。次に、画面内を複数個の画素を含むように任意の間隔の格子で区切り、撮影したランダムチャートを高速フーリエ変換(FFT)して各格子点座標での周波数特性を求める(S102)。格子点毎に求めた周波数特性から、水平方向及び垂直方向のPSF(Point Spread Function)係数を導出する(S103)。
【0028】
次に導出したPSF係数を正規分布に近似化し、水平方向及び垂直方向の分散値σを算出する(S104)。算出した分散値σを前記任意に設定した格子点の劣化分散値として、前記水平座標分散値テーブル22h、垂直座標分散値テーブル22vに格納する(S105)。従って、前記水平座標分散値テーブル22h及び垂直座標分散値テーブル22vに格納する各分散値の数は、画面内を区切る際の格子のサイズに依存し、格子点数に比例することになる。
【0029】
なお、劣化分散値の算出手法としては、パーソナルコンピュータ(PC)を用いたソフトウェアによるポスト処理、ハードウェア化による処理のいずれの手法でも実施できる。
【0030】
図3は、水平劣化分散値算出部21h及び垂直劣化分散値算出部21vにおけるターゲット画素の分散値算出方法を示す図である。水平及び垂直方向ともにテーブル分散値の補間方法は同じであり、以下水平方向について説明する。
【0031】
図3(a)において、ターゲット画素(M)の座標位置を(m,n)とする。水平座標分散値テーブル22hから、ターゲット画素(M)を取り囲む近傍4隅の格子点の分散値を選出する。ここではターゲット画素(M)に対し4隅の格子点の水平方向の距離をdとした場合、右下格子点基準座標(i,j)とすると、左上格子点は(i−d、j−d)、右上格子点は(i、j−d)、左下格子点は(i−d、j)を各々選出したものとする。上記4隅の座標の劣化分散値から、ターゲット画素の劣化分散値を補間法により求める。ここでは計算の容易な線形補間手法を例に説明する。
【0032】
図3(b)は、水平方向の一次元線形補間方法を示す。距離dは2つの格子点(ここではa1、a2とする)間の距離、距離xは基準格子(ここではa1とする)からターゲット画素(ここではanとする)までの距離を示す。線形補間により求められるターゲット画素の分散値を(2)式に示す。
【0033】
【数2】
【0034】
(2)式では、基準となる分散値(ここではa1)に、2点間の分散値差分(a2−a1)にa1〜an間の距離xとa1〜a2間の距離dの比(x/d)を乗算した値を加算してターゲット画素anの分散値を求めることができる。
【0035】
図4は、水平PSF係数テーブル24h及び垂直PSF係数テーブル24vからターゲット画素に対応するPSF係数を選定する方法を示す図である。水平及び垂直方向ともに同じ手法であり、ここでは水平方向を例に説明する。水平PSF係数テーブル24h及び垂直PSF係数テーブル24vには、レンズ特性による劣化強度に比例して劣化の復元に必要なPSF係数を格納している。
【0036】
図4(a)は、水平分散値算出部21hより出力される分散値をアドレスとして水平PSF係数テーブル24hから水平方向のPSF係数を選定する動作を示す。図4(a)では、分散値の低い値から高い値に向けて対応するPSF係数の例(ここでは9項の数列)を示している。分散値が高いほど点像分布特性が広がる(すなわち画像のボケが大きくなる)PSF係数を選定するようになっている。
【0037】
図4(b)と図4(c)は、典型的なPSF係数の強度と点像広がりの特性図である。(b)は分散値が比較的小さい例を示し、分散値0.77に対しPSF係数Aを選定した場合である。この場合、点像広がり(ボケ具合)が比較的小さいため中心に強い強度を示し、周囲への広がりの少ない特性となる。一方(c)は分散値が比較的大きい例を示し、分散値0.99に対しPSF係数Bを選定した場合である。この場合、点像広がり(ボケ具合)が比較的大きいため中心の強度が低く、周囲への広がりの多い特性となる。
【0038】
図5は、選定されたPSF係数を用いて、垂直コンボリューション処理部27vと水平コンボリューション処理部27hでの畳み込み演算処理方法を示す図である。ここではPSFサイズは5x5とし、PSFの特性がターゲット画素に対し点対称であることから対称領域での繰返し演算を省略している。
【0039】
図5(a)は一般的なコンボリューション(畳み込み演算)処理の場合で、2次元処理に必要な乗算回路数を示す。この場合、ターゲット画素の演算に必要な周囲画素はターゲット画素を含め3x3=9画素となる。従って演算には9個の乗算回路を必要とする。
【0040】
図5(b)は本実施例によるコンボリューション処理の場合で、直交する2軸方向のみの演算とし必要な乗算回路数が減少することを示す。まず垂直方向については、ターゲット画素(Row3)の演算に必要な周囲画素はターゲット画素を含む3画素(Row1、Row2及びRow3)となる。よって、これらの3画素を用いて垂直方向(Row方向)の畳み込み演算処理を行い、その処理結果を用いて水平方向(Col方向)の処理を行う。水平方向についてもターゲット画素(Col3)の演算に必要な周囲画素はターゲット画素を含む3画素(Col1、Col2及びCol3)となる。従って本実施例によるコンボリューション処理方法では、垂直方向と水平方向に合わせて6個の乗算回路で対応できることになり、一般的な2次元処理に比べ約2/3の回路規模で実現することができる。
【0041】
上記演算ではターゲット画素に対して斜め方向の演算を省略しているが、隣接画素間では点像分布特性(PSF特性)がほとんど変わらないため、一般的な2次元演算処理とほぼ等価な精度性能を得ることができる。
【0042】
以上述べた各処理手段は、LSI(Large Scale Integration)やFPGA(Field-Programmable Gate Array)などを用いたハードウェア処理とともに、一般的なパーソナルコンピュータ(PC)上でソフトウェア処理により実現できる。
【0043】
図6は、本実施例による画像復元処理の効果を示すイメージ図の一例である。カメラ部10のレンズ部11として広角レンズを採用した際に、レンズ特性により撮影画像が劣化した場合を示したものである。(a)は劣化した原画像、(b)(c)は従来法による復元処理画像、(d)は本実施例による復元処理画像を示す。一般に広角レンズを用いて取得した撮影画像では、図6(a)に示すように画面の中央部での劣化は少ないが、中心から離れるほどレンズ部11の収差特性により劣化は大きくなり、画面の周辺ではボケ具合が大きくなる。
【0044】
図6(b)(c)は、図6(a)の劣化画像に対し従来法により面内一様に同じPSF係数を用いて劣化復元処理を実施した場合のイメージ図である。図6(b)は、画面の中央部の劣化(ボケ具合)に合わせてPSF係数を設定した際の復元処理結果である。この場合、画面中央部は最適なPSF係数での処理となるため鮮明な高画質を得ることができるが、画面周辺部に対しては前記設定したPSF係数では過小となるためボケ感の残った画像となる。
【0045】
一方図6(c)は、画面の周辺部の劣化(ボケ具合)に合わせてPSF係数を設定した際の復元処理結果である。この場合、画面周辺部は最適なPSF係数での処理となるため鮮明な高画質を得ることができるが、画面中央部に対しては前記設定したPSF係数は過大となるためリンギング、シュートなどの過補正による弊害を伴った画像となる。
【0046】
図6(d)は、本実施例による画素毎に最適なPSF係数を用いて劣化復元処理を実施した際のイメージ図である。すなわち、予め取得した各格子点の劣化状態(分散値)を用いて画素毎の分散値を補間法により求め、求めた分散値より画素毎にPSF係数を選定している。そのため図6(b)や図6(c)での不具合を解決し、画面全体に渡り鮮明で高画質な画像を得ることが可能である。
【0047】
図7は、ターゲット画素の劣化分散値を算出する際の画面内格子の設定方法を示す図である。
図7(a)は、画面内を間隔が均一な格子で区切る場合である。この設定は、画面内で劣化量が均一、あるいは画面内座標位置に対して劣化量(ボケ量)が直線的に変化する場合に好適であり、全ての格子間隔を均一としても補間誤差はほぼ発生しない。しかし、補間処理では2つの格子点の劣化分散値を使い、近似的にターゲット画素の劣化分散値を求めるため、画面内で劣化量が非直線的に変化すると真の劣化分散値との間で誤差が生じる場合がある。特に演算が容易な直線補間法では誤差が大きくなる可能性がある。そこで、画面内の劣化量の分布に応じて格子の間隔を可変にすることで補間誤差を極力抑えるようにする。
【0048】
図7(b)は、画面中央部の劣化量の変化(勾配)は小さく、周辺部になるほど劣化量の変化(勾配)が大きい場合に好適な格子間隔の設定例を示す。この場合、画面中央部では格子間隔を広げ、周辺部では格子間隔を狭くするようにする。中央部では隣接する2つの格子点の劣化分散値は近い値となっているため直線補間をしても近似誤差はほとんど発生しない。一方周辺部では、僅かな座標の違いに対して劣化分散値が大きく異なるため(勾配が大)、格子間隔をできる限り狭くして隣接する2つの格子の劣化分散値の差を小さくすることで、補間処理による近似誤差を小さくするようにした。
【0049】
図7(c)は、画面中央部の劣化量の変化が大きく、周辺部になるほど劣化量の変化が小さい場合に好適な格子間隔の設定例を示す。この場合、画面中央部では格子間隔を狭く、周辺部では格子間隔を広くするようにする。この場合の動作は、前記図7(b)の場合と逆の状態となる。このように、画像の劣化状態に応じて劣化分散値の取得位置(格子点)をずらすことで、水平座標分散値テーブル22h及び垂直座標分散値テーブル22vの保持データ量を増やすことなく、最適な劣化復元処理を実現することができる。
【実施例2】
【0050】
第2の実施例は、劣化した画像を復元するだけでなく、特定の画像部分に対しては意図的に画像を劣化させ、視認不可能とする機能を付加したものである。このような実施例の適用例としては、webコンテンツなどにおいてプライバシーを保護するため、定型書式の特定部分の画像を劣化させる場合に有効である。
【0051】
図8は、実施例2における画像処理装置2の構成図である。本実施例では、前記実施例1(図1)の構成に対しセレクタ回路50を設け、アルゴリズム処理部29からの出力画像データ51と水平コンボリューション処理部27hからの出力画像データ52とをセレクタ回路50で選択し、画像表示処理部30に出力するようにしたものである。すなわち、入力画像を劣化させる場合には、水平コンボリューション処理部27hによる畳み込み演算処理結果52を直接画像表示処理部30に出力するようセレクタ回路50を制御する。その際、水平コンボリューション処理部27hで使用するPSF係数には後述するように点像広がり(ボケ具合)が大きくなるような係数を選択する。すなわち、中心の強度が低く周囲への広がりの多い特性のPSF係数で畳み込み演算処理を行うことで、処理結果は画像ボケを大きくし、入力画像データで視認できていた画像を視認不可能とするものである。
【0052】
図9は、表示画面レイアウトとPSF係数の設定を示す図である。
図9(a)は表示画面の全体レイアウトを示し、領域81は劣化画像を復元して表示させる部分であり、領域82は逆に意図的に画像を劣化させて表示させる部分である。領域82を設けることで、表示するコンテンツの一部に人物写真などプライバシー保護を必要とする情報が含まれる場合、許可された関係者以外の第3者が視認できないようにすることができる。定型書式の場合、画面の座標指定においてプライバシー保護を必要とする領域82を判別できる。この領域82に限定して意図的に画像を劣化する処理を施し、他の領域81については劣化した画像の復元処理を施すようにする。
【0053】
図9(b)は劣化処理対象格子位置を示す。前記した画像劣化表示領域82を取り囲むように、劣化処理対象格子点90(黒丸で示す)を設定する。そして水平座標分散値テーブル22hには、劣化処理対象格子点90に対する劣化分散値として同一の特殊な値(例えば1.00)を設定する。画像劣化表示領域82においてターゲット画素の分散値を求めるとき、水平座標分散値テーブル22hに格納されている劣化処理対象格子点90の分散値を用いて補間する。その際、劣化処理対象格子点90に対する分散値は全て特殊な値(1.00)であり、画像劣化表示領域82内のターゲット画素の分散値はいずれも1.00となる。
【0054】
図9(c)はターゲット画素の分散値からPSF係数を選定する方法を示す。ここでは、水平方向のPSF係数の選定を説明する。水平座標分散値テーブル22hを参照して特殊な値の分散値1.00が入力された場合、前記水平PSFテーブル24hの最終アドレス(1.00)が対応する。この最終アドレスには、通常の劣化復元用のPSF係数とは異なる意図的に劣化させるPSF係数を格納している。すなわち、前記図4(c)に示したような、もしくはそれ以上に点像広がり(ボケ具合)が大きくなるようなPSF係数を選定させる。このようなPSF係数で畳み込み演算処理を行う結果、画像ボケが大きくなり、画像劣化表示領域82の画像を視認不可能とすることができる。
【0055】
なお、上記により意図的に劣化させた画像を復元するには、前記実施例1で説明した動作を行えばよい。すなわち、劣化画像を劣化画像処理部20に入力し、水平コンボリューション処理部27hによる畳み込み演算結果をアルゴリズム処理部29で処理し、アルゴリズム処理部29からの出力画像データ51を画像表示処理部30に出力するようセレクタ回路50を制御する。これによりシステム全体の動作は前記(1)式に示したRL法アルゴリズムによる処理となり、意図的に劣化させた画像の復元がなされる。
【0056】
従って、情報提供者が指定領域の画像を視認不可能な状態で送信する場合には、セレクタ回路50を水平コンボリューション処理部27hからの出力画像データ52を選択するように制御し、情報受信者が劣化画像を視認できるように復元する場合には、セレクタ回路50をアルゴリズム処理部29からの出力画像データ51を選択するよう制御すればよい。これにより、プライバシー情報などが伝送途中で第3者により視認されることを防止することができる。
【実施例3】
【0057】
第3の実施例は、劣化した画像を復元するだけでなく、入力画像の歪みを補正する機能を付加したものである。
【0058】
図10は、実施例3における入力画像の歪みの補正方法を説明する図であり、歪補正のために前記実施例1(図4)におけるPSF係数の導出方法を応用している。
図10(a)は歪み画像を示し、カメラ部10に搭載したレンズ部11の特性により撮影した画像にボケとともに歪みが発生している状態を示す。ここでは、画面中央部に対し周辺部に向かうほど、ボケ量及び樽型歪みが大きくなる状態を示す。このボケ量と樽型歪みを補正する方法として、劣化画像復元のアルゴリズムを応用する。
【0059】
まず、実施例1における劣化画像復元時のPSF係数導出計算式を(3)式に示す。
【0060】
【数3】
【0061】
(3)式はガウス分布による正規化でのPSF係数導出計算式であり、kは正規化係数、ΔxはPSF中心座標からの距離、σは分散値を各々示す。
【0062】
図10(c)は(3)式によるPSF分布イメージを示す。レンズ部11の特性による点像の広がりを表わしているが、PSF係数分布の重心座標は正規分布の中心座標と一致している。すなわち(3)式は、レンズ部11の特性によるボケ量を反映しボケ改善が可能であるが、歪み特性は含まれていない。
【0063】
歪み特性の導入による歪みの補正は、PSF係数分布の重心を移動操作することで実現する。この操作は、PSF係数算出部にて行う。(3)式を変形し、PSF係数分布の重心移動を考慮したPSF係数導出計算式を(4)式に示す。
【0064】
【数4】
【0065】
(4)式では水平、垂直方向各々についてのPSF係数導出計算式を示し、km、knは正規化係数、Δx、ΔyはPSF中心座標、i、jは分布の重心、σm、σnは分散値を各々示す。(4)式では、歪み量に合わせて分布の重心i、jを付加し、これに伴いPSF係数分布の重心を正規分布の中心からずらすことで歪み補正を可能にしている。
【0066】
図10(d)は(4)式によるPSF分布イメージを示す。前記図10(c)と比較すると、PSF係数分布重心は水平方向にiだけ、垂直方向にjだけずれている。
【0067】
図10(b)は、図10(a)の画像に対し図10(d)のPSF係数を用いて劣化復元処理を施した結果の画像イメージ図である。レンズ部11の特性によるボケの改善に加え、歪み補正についても効果のあることを示している。
【実施例4】
【0068】
第4の実施例は、画像処理装置において復元処理した画像を表示するだけでなく、復元処理後の画像データをデータ蓄積装置に保存する機能を有するものである。このようなシステムの例として、監視記録装置などが挙げられる。
【0069】
図11は、実施例4における画像処理装置の構成図である。画像処理装置4は、劣化復元画像を表示する表示部40とともに、処理画像データを保存するデータ蓄積装置65を設けている。データ蓄積装置65は例えばハードディスク装置(HDD装置)であり、さらに、表示用と保存用の画像データを生成する画像処理部61、CPU62、システムバス63、データ蓄積制御部64を追加している。他の構成は実施例1(図1)と同様である。
【0070】
実施例1と同様、カメラ部10からの撮影画像は、劣化画像処理部20にて劣化復元処理がなされる。そして劣化復元画像は、画像処理部61において表示可能な形式に変換後、表示部40で表示される。また画像処理部61は、劣化復元画像をCPU62のシステムバス63にも出力する。システムバス63に接続されたデータ蓄積制御部64は、劣化復元画像をHDDなどのデータ蓄積装置65に保存可能なデータ形式へ変換し、データ蓄積装置65に保存する。このようにして、劣化画像処理部20で劣化復元処理された画像は表示部40での表示とデータ蓄積装置65での保存を独立に、もしくは同時に実現することが可能である。
【0071】
さらに、データ蓄積装置65に保存されている画像データを読み出して、劣化画像処理部20で劣化復元処理を行うこと、また劣化復元された画像を表示部40で表示しデータ蓄積装置65に再び保存することも可能である。従って、カメラ部10が搭載されていないシステムにおいても、データ蓄積装置65に保存されている画像データを用いて、劣化画像処理部20での劣化復元処理が実行できる。
【実施例5】
【0072】
第5の実施例は、画像処理装置において復元処理した画像を表示、保存するだけでなく、復元処理後の画像データをネットワークによりシステム間でデータ伝送する機能を有するものである。このようなシステムの例として、カメラ付携帯電話などが挙げられる。
【0073】
図12は、実施例5における画像処理装置の構成図である。画像処理装置5は、劣化復元画像を表示する表示部40、処理画像データを保存するデータ蓄積装置65とともに、処理画像データを送受信するために有線網伝送制御部71、有線データ送受信部72、無線網伝送制御部73、無線データ送受信部74を設けている。他の構成は実施例1(図1)または実施例4(図11)と同様である。
【0074】
カメラ部10からの撮影画像、もしくはデータ蓄積装置65に保存された画像データを劣化画像処理部20で劣化復元処理を実施する。劣化復元画像は、表示部40で表示、もしくはデータ蓄積装置65で保存する。さらに劣化復元画像を、システムバス63を介して有線網伝送制御部71に送り、有線データ送受信部72より有線ネットワーク網を使い他のシステムに伝送する。有線ネットワーク網を用いたシステム例として、民生用に普及しているストレージ装置(ハードディスクレコーダ装置)などがある。あるいは劣化復元画像を、システムバス63を介して無線網伝送制御部73に送り、無線データ送受信部74より無線ネットワーク網を使い他のシステムに伝送する。無線ネットワーク網を用いたシステム例として携帯電話などがある。カメラ付携帯電話であれば、カメラで撮影した画像データを携帯電話内部で劣化復元処理を実施し、劣化復元後の画像データを携帯電話の無線伝送機能を利用して他のシステムに伝送することが可能になる。
【産業上の利用可能性】
【0075】
以上のように、本発明はカメラで撮影した画像データに対し、カメラに搭載されたレンズの収差特性などに起因する画像ボケや歪みなどの劣化を復元し、もしくはセキュリティ用途に意図的に劣化させるものである。従って本発明は、実施例1及び実施例4に示した監視カメラ装置、監視記録装置、ムービー装置、実施例2に示した画像配信システム、実施例5に示したストレージ装置、携帯電話など、様々な用途への適用が可能である。あるいは、画像処理装置の機能を各実施例で示した劣化画像処理部20に限定したでものであっても良いことは言うまでもない。
【符号の説明】
【0076】
1,2,4,5…画像処理装置、
10…カメラ部、
11…レンズ部、
12…撮像部、
20…劣化画像処理部、
20a…フィルタリング処理回路、
20b…劣化画像復元処理回路、
21h…水平分散値算出部、
21v…垂直分散値算出部、
22h…水平座標分散値テーブル、
22v…垂直座標分散値テーブル、
23h…水平PSF係数算出部、
23v…垂直PSF係数算出部、
24h…水平PSF係数テーブル、
24v…垂直PSF係数テーブル、
27h…水平コンボリューション処理部、
27v…垂直コンボリューション処理部、
29…アルゴリズム処理部、
30…画像表示処理部、
40…表示部、
50…セレクタ回路、
61…画像処理部、
62…CPU、
63…システムバス、
64…データ蓄積制御部、
65…データ蓄積装置、
71…有線網伝送制御部、
72…有線データ送受信部、
73…無線網伝送制御部、
74…無線データ送受信部、
81…劣化画像を復元する領域、
82…意図的に画像を劣化させる領域、
90…劣化処理対象格子点。
【技術分野】
【0001】
本発明は、カメラで撮影した画像のレンズ特性により生じた劣化を復元する画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
従来から、劣化した画像を復元する画像復元技術として、一般化逆フィルタを用いる方法及び、Richardson-Lucy法(以下、RL法と称す)等がある。両方法とも、劣化過程が既知であるとして、劣化過程により劣化させたものと入力画像の二乗誤差が最小となるように、求めたい復元画像を決定する。
【0003】
一般化逆フィルタは、二乗誤差が最小となる条件を解いた結果、逆行列を計算することになる。そのままでは計算困難なことも多いので、離散フーリエ変換を施し周波数空間上で計算を行い、再び実空間に戻す。これは、周波数空間上では逆行列演算が除算となることによる。RL法は、反復法により初期解から徐々に真の解へ収束させていくことにより、二乗誤差が最小となる復元画像を得る。いずれも望ましい復元結果を得るためには大規模な行列演算または繰り返しの反復演算を必要とし、計算量が増大する。
【0004】
これに関し特許文献1には、劣化画像を復元する際の処理量を低減することを目的に、劣化画像中の局所領域に対応するフィルタ係数を用いて局所領域毎に演算する方法が提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−61541号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1の技術によれば、劣化画像に対し復元処理のための演算回数を少なくし、また1画面の中で必要な部分のみを局所的に復元処理することができる。しかしながら、従来技術では画像劣化は画面内で一様に発生することを前提にしており、例えばレンズ特性により画像劣化の状態が画面内で異なる場合には、画面全体に渡り好適な復元処理を行うことはできなかった。また、画面全体に劣化が発生している画像に対しては、局所的な復元処理を繰り返すことになり、結局のところ、演算量の増大が避けられないことになる。
【0007】
本発明は上記課題を鑑み、レンズ特性により画像劣化が画面内位置で異なる場合にも、各位置の劣化状態に応じて最適に復元処理を行うとともに、画面全体を対象に演算量を大幅に低減する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、劣化画像を復元処理する画像処理装置において、劣化画像をフィルタリング処理して復元処理対象画素ごとに点像分布フィルタ係数(以下、PSF係数と称す)を求めるフィルタリング処理部と、該フィルタリング処理部で求めたPSF係数を用いて畳み込み演算を行うことで劣化画像から復元画像を得る劣化画像復元処理部を備え、前記フィルタリング処理部は、処理画面を所定サイズの格子で区切り各格子点位置での点像広がり関数の分散値を格納した分散値テーブルと、該分散値テーブルを参照して復元処理対象画素位置での分散値を補間法により求める分散値算出部と、分散値とPSF係数の対応関係を格納したPSF係数テーブルと、該PSF係数テーブルを参照して復元処理対象画素の分散値に対応するPSF係数を出力するPSF係数算出部を有する。
【0009】
さらに、前記フィルタリング処理部の有する前記分散値テーブルと前記PSF係数テーブルには、前記分散値と前記PSF係数の値を画面水平方向と画面垂直方向の成分に分けて格納し、前記PSF係数算出部は、復元処理対象画素に対するPSF係数を水平方向成分と垂直方向成分に分けて出力するものであって、前記劣化画像復元処理部は、水平方向のPSF係数を用いて水平方向の畳み込み演算を行う水平コンボリューション処理部と、垂直方向のPSF係数を用いて垂直方向の畳み込み演算を行う垂直コンボリューション処理部を有する。
【発明の効果】
【0010】
本発明によれば、レンズ特性により画像劣化が画面内位置で異なる場合にも、各位置の劣化状態に応じて最適に復元処理を行うとともに、画面全体を対象に演算量を大幅に低減する効果がある。
【図面の簡単な説明】
【0011】
【図1】本発明の実施例1における画像処理装置の構成図。
【図2】分散値テーブル22h,22vに格納するデータの算出方法を示すフローチャート。
【図3】分散値算出部21h,21vにおけるターゲット画素の分散値算出方法を示す図。
【図4】PSF係数テーブル24h,24vからターゲット画素に対応するPSF係数を選定する方法を示す図。
【図5】PSF係数を用いたコンボリューション処理部27v,27hでの畳み込み演算処理方法を示す図。
【図6】本実施例による画像復元処理の効果を示すイメージ図の一例。
【図7】ターゲット画素の劣化分散値を算出する際の画面内格子の設定方法を示す図。
【図8】実施例2における画像処理装置2の構成図。
【図9】表示画面レイアウトとPSF係数の設定を示す図。
【図10】実施例3における入力画像の歪みの補正方法を説明する図。
【図11】実施例4における画像処理装置の構成図。
【図12】実施例5における画像処理装置の構成図。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図面を用いて説明する。
【実施例1】
【0013】
図1は、本発明の実施例1における画像処理装置の構成図である。画像処理装置1は、被写体を撮像するカメラ部10、カメラ部10からの劣化画像を復元処理する劣化画像処理部20、復元画像を表示処理する画像表示処理部30、ディスプレイ等の表示部40を備える。このようなシステムの適用例としては、監視カメラ装置、ムービー装置などがある。
【0014】
カメラ部10は、レンズ部11と、レンズ部11を介して入力された画像データを取り込む撮像部12を有する。
【0015】
劣化画像処理部20は、フィルタリング処理回路20aと劣化画像復元処理回路20bを備える。フィルタリング処理回路20aには、撮像部12から入力するターゲット画素の水平方向の劣化分散値を求める水平分散値算出部21h、画面内代表点(格子点)における水平方向の劣化分散値を格納した水平座標分散値テーブル22h、ターゲット画素の水平方向の点像分布フィルタ係数であるPSF(Point Spread Function)係数を求める水平PSF係数算出部23h、水平方向の劣化分散値とPSF係数との関係を格納した水平PSF係数テーブル24hを有する。
【0016】
同様に、撮像部12から入力するターゲット画素の垂直方向の劣化分散値を求める垂直分散値算出部21v、画面内代表点(格子点)における垂直方向の劣化分散値を格納した垂直座標分散値テーブル22v、ターゲット画素の垂直方向の点像分布フィルタ係数であるPSF係数を求める垂直PSF係数算出部23v、垂直方向の劣化分散値とPSF係数との関係を格納した垂直PSF係数テーブル24vを有する。
【0017】
劣化画像復元処理回路20bには、垂直PSF係数算出部23vで選択された垂直方向PSF係数と撮像部12からの画像データを入力し、垂直方向に対し畳み込み演算を行う垂直コンボリューション処理部27v、水平PSF係数算出部23hで選択された水平方向PSFと垂直コンボリューション処理部27vからの画像データを入力し、水平方向に対し畳み込み演算を行う水平コンボリューション処理部27h、水平コンボリューション処理部27hより出力された垂直及び水平方向の畳み込み処理済み画像に対し、演算を行うアルゴリズム処理部29を有する。
【0018】
画像表示処理部30は、アルゴリズム処理部29より出力された復元画像を表示部40で表示可能な形式に変換し、表示部40は画像表示処理部30からの出力画像を表示する。
【0019】
次に、本実施例の画像処理装置1の動作の概要を説明する。
被写体をカメラ部10で取り込んだ画像データは、劣化画像処理部20の水平分散値算出部21h及び垂直分散値算出部21vに入力される。水平分散値算出部21h及び垂直分散値算出部21vは、それぞれ水平座標分散値テーブル22h及び垂直座標分散値テーブル22vを参照し、入力画像データのターゲット画素の座標位置に隣接する近傍4隅の格子点におけるテーブルデータ(水平方向、垂直方向の劣化分散値)を選択する。そして、選択した4隅のテーブルデータを用いて補間処理を行うことでターゲット画素の劣化分散値を水平、垂直方向に求める。求めたターゲット画素の劣化分散値は、水平PSF係数算出部23h及び垂直PSF係数算出部23vに入力される。水平PSF係数算出部23h及び垂直PSF係数算出部23vでは、それぞれ水平PSF係数テーブル24h及び垂直PSF係数テーブル24vを参照し、各々の分散値に対応するPSF係数を選択する。
【0020】
垂直コンボリューション処理部27v、水平コンボリューション処理部27hでは、選択された水平、垂直PSF係数を用いて、カメラ部10からの入力画像データに対し、順に畳み込み演算を実行する。さらにアルゴリズム処理部29でアルゴリズムに従った演算処理を行うことで、入力画像データに対し画素単位での最適な劣化復元画像を得る。垂直コンボリューション処理部27v、水平コンボリューション処理部27h及びアルゴリズム処理部29による劣化復元処理方法は、前記したRichardson-Lucy(RL法)アルゴリズムを採用する。
【0021】
RL法アルゴリズムの演算式を(1)式に示す。(1)式においてカメラからの劣化画像をG(x,y)、原画像(復元画像)の推定画像をFk(x,y)、原画像から劣化画像に係る点像分布フィルタ係数(PSF係数)をS(i,j)とした時に、(1)式を繰り返すことで原画像が復元される。
【0022】
【数1】
【0023】
(1)式において、S(i,j)及びS(−i,−j)部は水平PSF係数算出部23h及び垂直PSF係数算出部23vで算出される。Fk(x,y)*S(i,j)の演算部分は、垂直コンボリューション処理部27v及び水平コンボリューション処理部27hで演算し、その他の演算部分はアルゴリズム処理部29で演算する。前記Fk(x,y)*S(i,j)の初回コンボリューション処理において推定画像Fk(x,y)部分は劣化画像G(x,y)を用いる。
【0024】
本実施例では、画面全体を所定間隔の格子状に区切り、任意の位置の劣化復元ターゲット画素に対し近傍4隅の格子点の劣化分散値からターゲット画素の劣化分散値を求め、この分散値を入力としてPSF係数テーブルから対応するフィルタ係数を選択し、これを用いて劣化復元処理を行う。この処理を画面内全画素に対して実施することで、レンズの特性により画面位置毎に劣化状態が異なる場合であっても、画面全体に渡り最適な復元画像を得るものである。
【0025】
また劣化復元のための処理量を軽減するため、劣化分散値を代表点である格子点のみでテーブルに保持し、PSF係数を直交する2軸方向(水平、垂直方向)成分のみでテーブルに格納する。入力される劣化画像の座標位置を基に最適なPSF係数を選択し、該PSF係数を用いて2軸方向の畳み込み演算を行うことで、処理量を大幅に低減するものである。
【0026】
すなわち本実施例の画像復元処理法では、次の手法を取り入れたことに特徴がある。
(イ)画面内の各位置における劣化状態(PSF係数)を求め、劣化画像の復元処理に使用する。
(ロ)画面内の劣化状態は代表となる格子点のデータを予め求めてテーブル(分散値テーブル)に格納し、各画素位置でのデータは格子点のデータから補間して求める。
(ハ)テーブルには各格子点での分散値を格納し、分散値を介してPSFテーブルからPSF係数を読み出す。
(ニ)コンボリューション演算はターゲット画素に対して直交する2軸方向のみで行う。
以下、これらの各手法について詳細に説明する。
【0027】
図2は、水平座標分散値テーブル22h及び垂直座標分散値テーブル22vに格納するテーブルデータの算出方法を示すフローチャートである。まず、使用するカメラで評価用被写体となるランダムチャートを撮影する(S101)。ランダムチャートとは周波数帯域が低域から高域まで幅広い特性を備えたチャートを意味し、規則性のないランダムなノイズの影響を受けずにレンズ特性による画面内劣化分布(点像分布特性)を正確に取得することが可能である。次に、画面内を複数個の画素を含むように任意の間隔の格子で区切り、撮影したランダムチャートを高速フーリエ変換(FFT)して各格子点座標での周波数特性を求める(S102)。格子点毎に求めた周波数特性から、水平方向及び垂直方向のPSF(Point Spread Function)係数を導出する(S103)。
【0028】
次に導出したPSF係数を正規分布に近似化し、水平方向及び垂直方向の分散値σを算出する(S104)。算出した分散値σを前記任意に設定した格子点の劣化分散値として、前記水平座標分散値テーブル22h、垂直座標分散値テーブル22vに格納する(S105)。従って、前記水平座標分散値テーブル22h及び垂直座標分散値テーブル22vに格納する各分散値の数は、画面内を区切る際の格子のサイズに依存し、格子点数に比例することになる。
【0029】
なお、劣化分散値の算出手法としては、パーソナルコンピュータ(PC)を用いたソフトウェアによるポスト処理、ハードウェア化による処理のいずれの手法でも実施できる。
【0030】
図3は、水平劣化分散値算出部21h及び垂直劣化分散値算出部21vにおけるターゲット画素の分散値算出方法を示す図である。水平及び垂直方向ともにテーブル分散値の補間方法は同じであり、以下水平方向について説明する。
【0031】
図3(a)において、ターゲット画素(M)の座標位置を(m,n)とする。水平座標分散値テーブル22hから、ターゲット画素(M)を取り囲む近傍4隅の格子点の分散値を選出する。ここではターゲット画素(M)に対し4隅の格子点の水平方向の距離をdとした場合、右下格子点基準座標(i,j)とすると、左上格子点は(i−d、j−d)、右上格子点は(i、j−d)、左下格子点は(i−d、j)を各々選出したものとする。上記4隅の座標の劣化分散値から、ターゲット画素の劣化分散値を補間法により求める。ここでは計算の容易な線形補間手法を例に説明する。
【0032】
図3(b)は、水平方向の一次元線形補間方法を示す。距離dは2つの格子点(ここではa1、a2とする)間の距離、距離xは基準格子(ここではa1とする)からターゲット画素(ここではanとする)までの距離を示す。線形補間により求められるターゲット画素の分散値を(2)式に示す。
【0033】
【数2】
【0034】
(2)式では、基準となる分散値(ここではa1)に、2点間の分散値差分(a2−a1)にa1〜an間の距離xとa1〜a2間の距離dの比(x/d)を乗算した値を加算してターゲット画素anの分散値を求めることができる。
【0035】
図4は、水平PSF係数テーブル24h及び垂直PSF係数テーブル24vからターゲット画素に対応するPSF係数を選定する方法を示す図である。水平及び垂直方向ともに同じ手法であり、ここでは水平方向を例に説明する。水平PSF係数テーブル24h及び垂直PSF係数テーブル24vには、レンズ特性による劣化強度に比例して劣化の復元に必要なPSF係数を格納している。
【0036】
図4(a)は、水平分散値算出部21hより出力される分散値をアドレスとして水平PSF係数テーブル24hから水平方向のPSF係数を選定する動作を示す。図4(a)では、分散値の低い値から高い値に向けて対応するPSF係数の例(ここでは9項の数列)を示している。分散値が高いほど点像分布特性が広がる(すなわち画像のボケが大きくなる)PSF係数を選定するようになっている。
【0037】
図4(b)と図4(c)は、典型的なPSF係数の強度と点像広がりの特性図である。(b)は分散値が比較的小さい例を示し、分散値0.77に対しPSF係数Aを選定した場合である。この場合、点像広がり(ボケ具合)が比較的小さいため中心に強い強度を示し、周囲への広がりの少ない特性となる。一方(c)は分散値が比較的大きい例を示し、分散値0.99に対しPSF係数Bを選定した場合である。この場合、点像広がり(ボケ具合)が比較的大きいため中心の強度が低く、周囲への広がりの多い特性となる。
【0038】
図5は、選定されたPSF係数を用いて、垂直コンボリューション処理部27vと水平コンボリューション処理部27hでの畳み込み演算処理方法を示す図である。ここではPSFサイズは5x5とし、PSFの特性がターゲット画素に対し点対称であることから対称領域での繰返し演算を省略している。
【0039】
図5(a)は一般的なコンボリューション(畳み込み演算)処理の場合で、2次元処理に必要な乗算回路数を示す。この場合、ターゲット画素の演算に必要な周囲画素はターゲット画素を含め3x3=9画素となる。従って演算には9個の乗算回路を必要とする。
【0040】
図5(b)は本実施例によるコンボリューション処理の場合で、直交する2軸方向のみの演算とし必要な乗算回路数が減少することを示す。まず垂直方向については、ターゲット画素(Row3)の演算に必要な周囲画素はターゲット画素を含む3画素(Row1、Row2及びRow3)となる。よって、これらの3画素を用いて垂直方向(Row方向)の畳み込み演算処理を行い、その処理結果を用いて水平方向(Col方向)の処理を行う。水平方向についてもターゲット画素(Col3)の演算に必要な周囲画素はターゲット画素を含む3画素(Col1、Col2及びCol3)となる。従って本実施例によるコンボリューション処理方法では、垂直方向と水平方向に合わせて6個の乗算回路で対応できることになり、一般的な2次元処理に比べ約2/3の回路規模で実現することができる。
【0041】
上記演算ではターゲット画素に対して斜め方向の演算を省略しているが、隣接画素間では点像分布特性(PSF特性)がほとんど変わらないため、一般的な2次元演算処理とほぼ等価な精度性能を得ることができる。
【0042】
以上述べた各処理手段は、LSI(Large Scale Integration)やFPGA(Field-Programmable Gate Array)などを用いたハードウェア処理とともに、一般的なパーソナルコンピュータ(PC)上でソフトウェア処理により実現できる。
【0043】
図6は、本実施例による画像復元処理の効果を示すイメージ図の一例である。カメラ部10のレンズ部11として広角レンズを採用した際に、レンズ特性により撮影画像が劣化した場合を示したものである。(a)は劣化した原画像、(b)(c)は従来法による復元処理画像、(d)は本実施例による復元処理画像を示す。一般に広角レンズを用いて取得した撮影画像では、図6(a)に示すように画面の中央部での劣化は少ないが、中心から離れるほどレンズ部11の収差特性により劣化は大きくなり、画面の周辺ではボケ具合が大きくなる。
【0044】
図6(b)(c)は、図6(a)の劣化画像に対し従来法により面内一様に同じPSF係数を用いて劣化復元処理を実施した場合のイメージ図である。図6(b)は、画面の中央部の劣化(ボケ具合)に合わせてPSF係数を設定した際の復元処理結果である。この場合、画面中央部は最適なPSF係数での処理となるため鮮明な高画質を得ることができるが、画面周辺部に対しては前記設定したPSF係数では過小となるためボケ感の残った画像となる。
【0045】
一方図6(c)は、画面の周辺部の劣化(ボケ具合)に合わせてPSF係数を設定した際の復元処理結果である。この場合、画面周辺部は最適なPSF係数での処理となるため鮮明な高画質を得ることができるが、画面中央部に対しては前記設定したPSF係数は過大となるためリンギング、シュートなどの過補正による弊害を伴った画像となる。
【0046】
図6(d)は、本実施例による画素毎に最適なPSF係数を用いて劣化復元処理を実施した際のイメージ図である。すなわち、予め取得した各格子点の劣化状態(分散値)を用いて画素毎の分散値を補間法により求め、求めた分散値より画素毎にPSF係数を選定している。そのため図6(b)や図6(c)での不具合を解決し、画面全体に渡り鮮明で高画質な画像を得ることが可能である。
【0047】
図7は、ターゲット画素の劣化分散値を算出する際の画面内格子の設定方法を示す図である。
図7(a)は、画面内を間隔が均一な格子で区切る場合である。この設定は、画面内で劣化量が均一、あるいは画面内座標位置に対して劣化量(ボケ量)が直線的に変化する場合に好適であり、全ての格子間隔を均一としても補間誤差はほぼ発生しない。しかし、補間処理では2つの格子点の劣化分散値を使い、近似的にターゲット画素の劣化分散値を求めるため、画面内で劣化量が非直線的に変化すると真の劣化分散値との間で誤差が生じる場合がある。特に演算が容易な直線補間法では誤差が大きくなる可能性がある。そこで、画面内の劣化量の分布に応じて格子の間隔を可変にすることで補間誤差を極力抑えるようにする。
【0048】
図7(b)は、画面中央部の劣化量の変化(勾配)は小さく、周辺部になるほど劣化量の変化(勾配)が大きい場合に好適な格子間隔の設定例を示す。この場合、画面中央部では格子間隔を広げ、周辺部では格子間隔を狭くするようにする。中央部では隣接する2つの格子点の劣化分散値は近い値となっているため直線補間をしても近似誤差はほとんど発生しない。一方周辺部では、僅かな座標の違いに対して劣化分散値が大きく異なるため(勾配が大)、格子間隔をできる限り狭くして隣接する2つの格子の劣化分散値の差を小さくすることで、補間処理による近似誤差を小さくするようにした。
【0049】
図7(c)は、画面中央部の劣化量の変化が大きく、周辺部になるほど劣化量の変化が小さい場合に好適な格子間隔の設定例を示す。この場合、画面中央部では格子間隔を狭く、周辺部では格子間隔を広くするようにする。この場合の動作は、前記図7(b)の場合と逆の状態となる。このように、画像の劣化状態に応じて劣化分散値の取得位置(格子点)をずらすことで、水平座標分散値テーブル22h及び垂直座標分散値テーブル22vの保持データ量を増やすことなく、最適な劣化復元処理を実現することができる。
【実施例2】
【0050】
第2の実施例は、劣化した画像を復元するだけでなく、特定の画像部分に対しては意図的に画像を劣化させ、視認不可能とする機能を付加したものである。このような実施例の適用例としては、webコンテンツなどにおいてプライバシーを保護するため、定型書式の特定部分の画像を劣化させる場合に有効である。
【0051】
図8は、実施例2における画像処理装置2の構成図である。本実施例では、前記実施例1(図1)の構成に対しセレクタ回路50を設け、アルゴリズム処理部29からの出力画像データ51と水平コンボリューション処理部27hからの出力画像データ52とをセレクタ回路50で選択し、画像表示処理部30に出力するようにしたものである。すなわち、入力画像を劣化させる場合には、水平コンボリューション処理部27hによる畳み込み演算処理結果52を直接画像表示処理部30に出力するようセレクタ回路50を制御する。その際、水平コンボリューション処理部27hで使用するPSF係数には後述するように点像広がり(ボケ具合)が大きくなるような係数を選択する。すなわち、中心の強度が低く周囲への広がりの多い特性のPSF係数で畳み込み演算処理を行うことで、処理結果は画像ボケを大きくし、入力画像データで視認できていた画像を視認不可能とするものである。
【0052】
図9は、表示画面レイアウトとPSF係数の設定を示す図である。
図9(a)は表示画面の全体レイアウトを示し、領域81は劣化画像を復元して表示させる部分であり、領域82は逆に意図的に画像を劣化させて表示させる部分である。領域82を設けることで、表示するコンテンツの一部に人物写真などプライバシー保護を必要とする情報が含まれる場合、許可された関係者以外の第3者が視認できないようにすることができる。定型書式の場合、画面の座標指定においてプライバシー保護を必要とする領域82を判別できる。この領域82に限定して意図的に画像を劣化する処理を施し、他の領域81については劣化した画像の復元処理を施すようにする。
【0053】
図9(b)は劣化処理対象格子位置を示す。前記した画像劣化表示領域82を取り囲むように、劣化処理対象格子点90(黒丸で示す)を設定する。そして水平座標分散値テーブル22hには、劣化処理対象格子点90に対する劣化分散値として同一の特殊な値(例えば1.00)を設定する。画像劣化表示領域82においてターゲット画素の分散値を求めるとき、水平座標分散値テーブル22hに格納されている劣化処理対象格子点90の分散値を用いて補間する。その際、劣化処理対象格子点90に対する分散値は全て特殊な値(1.00)であり、画像劣化表示領域82内のターゲット画素の分散値はいずれも1.00となる。
【0054】
図9(c)はターゲット画素の分散値からPSF係数を選定する方法を示す。ここでは、水平方向のPSF係数の選定を説明する。水平座標分散値テーブル22hを参照して特殊な値の分散値1.00が入力された場合、前記水平PSFテーブル24hの最終アドレス(1.00)が対応する。この最終アドレスには、通常の劣化復元用のPSF係数とは異なる意図的に劣化させるPSF係数を格納している。すなわち、前記図4(c)に示したような、もしくはそれ以上に点像広がり(ボケ具合)が大きくなるようなPSF係数を選定させる。このようなPSF係数で畳み込み演算処理を行う結果、画像ボケが大きくなり、画像劣化表示領域82の画像を視認不可能とすることができる。
【0055】
なお、上記により意図的に劣化させた画像を復元するには、前記実施例1で説明した動作を行えばよい。すなわち、劣化画像を劣化画像処理部20に入力し、水平コンボリューション処理部27hによる畳み込み演算結果をアルゴリズム処理部29で処理し、アルゴリズム処理部29からの出力画像データ51を画像表示処理部30に出力するようセレクタ回路50を制御する。これによりシステム全体の動作は前記(1)式に示したRL法アルゴリズムによる処理となり、意図的に劣化させた画像の復元がなされる。
【0056】
従って、情報提供者が指定領域の画像を視認不可能な状態で送信する場合には、セレクタ回路50を水平コンボリューション処理部27hからの出力画像データ52を選択するように制御し、情報受信者が劣化画像を視認できるように復元する場合には、セレクタ回路50をアルゴリズム処理部29からの出力画像データ51を選択するよう制御すればよい。これにより、プライバシー情報などが伝送途中で第3者により視認されることを防止することができる。
【実施例3】
【0057】
第3の実施例は、劣化した画像を復元するだけでなく、入力画像の歪みを補正する機能を付加したものである。
【0058】
図10は、実施例3における入力画像の歪みの補正方法を説明する図であり、歪補正のために前記実施例1(図4)におけるPSF係数の導出方法を応用している。
図10(a)は歪み画像を示し、カメラ部10に搭載したレンズ部11の特性により撮影した画像にボケとともに歪みが発生している状態を示す。ここでは、画面中央部に対し周辺部に向かうほど、ボケ量及び樽型歪みが大きくなる状態を示す。このボケ量と樽型歪みを補正する方法として、劣化画像復元のアルゴリズムを応用する。
【0059】
まず、実施例1における劣化画像復元時のPSF係数導出計算式を(3)式に示す。
【0060】
【数3】
【0061】
(3)式はガウス分布による正規化でのPSF係数導出計算式であり、kは正規化係数、ΔxはPSF中心座標からの距離、σは分散値を各々示す。
【0062】
図10(c)は(3)式によるPSF分布イメージを示す。レンズ部11の特性による点像の広がりを表わしているが、PSF係数分布の重心座標は正規分布の中心座標と一致している。すなわち(3)式は、レンズ部11の特性によるボケ量を反映しボケ改善が可能であるが、歪み特性は含まれていない。
【0063】
歪み特性の導入による歪みの補正は、PSF係数分布の重心を移動操作することで実現する。この操作は、PSF係数算出部にて行う。(3)式を変形し、PSF係数分布の重心移動を考慮したPSF係数導出計算式を(4)式に示す。
【0064】
【数4】
【0065】
(4)式では水平、垂直方向各々についてのPSF係数導出計算式を示し、km、knは正規化係数、Δx、ΔyはPSF中心座標、i、jは分布の重心、σm、σnは分散値を各々示す。(4)式では、歪み量に合わせて分布の重心i、jを付加し、これに伴いPSF係数分布の重心を正規分布の中心からずらすことで歪み補正を可能にしている。
【0066】
図10(d)は(4)式によるPSF分布イメージを示す。前記図10(c)と比較すると、PSF係数分布重心は水平方向にiだけ、垂直方向にjだけずれている。
【0067】
図10(b)は、図10(a)の画像に対し図10(d)のPSF係数を用いて劣化復元処理を施した結果の画像イメージ図である。レンズ部11の特性によるボケの改善に加え、歪み補正についても効果のあることを示している。
【実施例4】
【0068】
第4の実施例は、画像処理装置において復元処理した画像を表示するだけでなく、復元処理後の画像データをデータ蓄積装置に保存する機能を有するものである。このようなシステムの例として、監視記録装置などが挙げられる。
【0069】
図11は、実施例4における画像処理装置の構成図である。画像処理装置4は、劣化復元画像を表示する表示部40とともに、処理画像データを保存するデータ蓄積装置65を設けている。データ蓄積装置65は例えばハードディスク装置(HDD装置)であり、さらに、表示用と保存用の画像データを生成する画像処理部61、CPU62、システムバス63、データ蓄積制御部64を追加している。他の構成は実施例1(図1)と同様である。
【0070】
実施例1と同様、カメラ部10からの撮影画像は、劣化画像処理部20にて劣化復元処理がなされる。そして劣化復元画像は、画像処理部61において表示可能な形式に変換後、表示部40で表示される。また画像処理部61は、劣化復元画像をCPU62のシステムバス63にも出力する。システムバス63に接続されたデータ蓄積制御部64は、劣化復元画像をHDDなどのデータ蓄積装置65に保存可能なデータ形式へ変換し、データ蓄積装置65に保存する。このようにして、劣化画像処理部20で劣化復元処理された画像は表示部40での表示とデータ蓄積装置65での保存を独立に、もしくは同時に実現することが可能である。
【0071】
さらに、データ蓄積装置65に保存されている画像データを読み出して、劣化画像処理部20で劣化復元処理を行うこと、また劣化復元された画像を表示部40で表示しデータ蓄積装置65に再び保存することも可能である。従って、カメラ部10が搭載されていないシステムにおいても、データ蓄積装置65に保存されている画像データを用いて、劣化画像処理部20での劣化復元処理が実行できる。
【実施例5】
【0072】
第5の実施例は、画像処理装置において復元処理した画像を表示、保存するだけでなく、復元処理後の画像データをネットワークによりシステム間でデータ伝送する機能を有するものである。このようなシステムの例として、カメラ付携帯電話などが挙げられる。
【0073】
図12は、実施例5における画像処理装置の構成図である。画像処理装置5は、劣化復元画像を表示する表示部40、処理画像データを保存するデータ蓄積装置65とともに、処理画像データを送受信するために有線網伝送制御部71、有線データ送受信部72、無線網伝送制御部73、無線データ送受信部74を設けている。他の構成は実施例1(図1)または実施例4(図11)と同様である。
【0074】
カメラ部10からの撮影画像、もしくはデータ蓄積装置65に保存された画像データを劣化画像処理部20で劣化復元処理を実施する。劣化復元画像は、表示部40で表示、もしくはデータ蓄積装置65で保存する。さらに劣化復元画像を、システムバス63を介して有線網伝送制御部71に送り、有線データ送受信部72より有線ネットワーク網を使い他のシステムに伝送する。有線ネットワーク網を用いたシステム例として、民生用に普及しているストレージ装置(ハードディスクレコーダ装置)などがある。あるいは劣化復元画像を、システムバス63を介して無線網伝送制御部73に送り、無線データ送受信部74より無線ネットワーク網を使い他のシステムに伝送する。無線ネットワーク網を用いたシステム例として携帯電話などがある。カメラ付携帯電話であれば、カメラで撮影した画像データを携帯電話内部で劣化復元処理を実施し、劣化復元後の画像データを携帯電話の無線伝送機能を利用して他のシステムに伝送することが可能になる。
【産業上の利用可能性】
【0075】
以上のように、本発明はカメラで撮影した画像データに対し、カメラに搭載されたレンズの収差特性などに起因する画像ボケや歪みなどの劣化を復元し、もしくはセキュリティ用途に意図的に劣化させるものである。従って本発明は、実施例1及び実施例4に示した監視カメラ装置、監視記録装置、ムービー装置、実施例2に示した画像配信システム、実施例5に示したストレージ装置、携帯電話など、様々な用途への適用が可能である。あるいは、画像処理装置の機能を各実施例で示した劣化画像処理部20に限定したでものであっても良いことは言うまでもない。
【符号の説明】
【0076】
1,2,4,5…画像処理装置、
10…カメラ部、
11…レンズ部、
12…撮像部、
20…劣化画像処理部、
20a…フィルタリング処理回路、
20b…劣化画像復元処理回路、
21h…水平分散値算出部、
21v…垂直分散値算出部、
22h…水平座標分散値テーブル、
22v…垂直座標分散値テーブル、
23h…水平PSF係数算出部、
23v…垂直PSF係数算出部、
24h…水平PSF係数テーブル、
24v…垂直PSF係数テーブル、
27h…水平コンボリューション処理部、
27v…垂直コンボリューション処理部、
29…アルゴリズム処理部、
30…画像表示処理部、
40…表示部、
50…セレクタ回路、
61…画像処理部、
62…CPU、
63…システムバス、
64…データ蓄積制御部、
65…データ蓄積装置、
71…有線網伝送制御部、
72…有線データ送受信部、
73…無線網伝送制御部、
74…無線データ送受信部、
81…劣化画像を復元する領域、
82…意図的に画像を劣化させる領域、
90…劣化処理対象格子点。
【特許請求の範囲】
【請求項1】
劣化画像を復元処理する画像処理装置において、
劣化画像をフィルタリング処理して復元処理対象画素ごとに点像分布フィルタ係数(以下、PSF係数と称す)を求めるフィルタリング処理部と、
該フィルタリング処理部で求めたPSF係数を用いて畳み込み演算を行うことで劣化画像から復元画像を得る劣化画像復元処理部を備え、
前記フィルタリング処理部は、
処理画面を所定サイズの格子で区切り各格子点位置での点像広がり関数の分散値を格納した分散値テーブルと、
該分散値テーブルを参照して復元処理対象画素位置での分散値を補間法により求める分散値算出部と、
分散値とPSF係数の対応関係を格納したPSF係数テーブルと、
該PSF係数テーブルを参照して復元処理対象画素の分散値に対応するPSF係数を出力するPSF係数算出部を有することを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記フィルタリング処理部の有する前記分散値テーブルと前記PSF係数テーブルには、前記分散値と前記PSF係数の値を画面水平方向と画面垂直方向の成分に分けて格納し、前記PSF係数算出部は、復元処理対象画素に対するPSF係数を水平方向成分と垂直方向成分に分けて出力するものであって、
前記劣化画像復元処理部は、水平方向のPSF係数を用いて水平方向の畳み込み演算を行う水平コンボリューション処理部と、垂直方向のPSF係数を用いて垂直方向の畳み込み演算を行う垂直コンボリューション処理部を有することを特徴とする画像処理装置。
【請求項3】
請求項1または2に記載の画像処理装置において、
前記分散値テーブルに格納する分散値は、入力画像を撮影したカメラでランダムチャートを撮影し、撮影データをフーリエ変換して前記格子点ごとの点像広がり関数を求め、これを正規分布で近似したときの分散値であることを特徴とする画像処理装置。
【請求項4】
請求項1または2に記載の画像処理装置において、
前記分散値算出部は前記分散値テーブルを参照し、前記復元処理対象画素を囲む近傍4隅の格子点の分散値を読出し、線形補間処理により復元処理対象画素の分散値を求めることを特徴とする画像処理装置。
【請求項5】
請求項1または2に記載の画像処理装置において、
当該装置の出力画像として、前記劣化画像復元処理部からの復元画像と、該劣化画像復元処理部における畳み込み演算後の劣化画像のいずれを出力するかを選択するセレクタ回路を有し、
該セレクタ回路により劣化画像を選択するときは、前記分散値テーブルにおいて劣化画像を出力する領域の格子点の分散値に特定値を設定するとともに、前記PSF係数テーブルにおいて分散値が特定値の場合に点像広がりの大きい特定のPSF係数を対応させたことを特徴とする画像処理装置。
【請求項6】
請求項1または2に記載の画像処理装置において、
前記PSF係数算出部は、前記PSF係数テーブルを参照して取得したPSF係数を正規化し、その正規分布の中心座標をカメラのレンズの歪み量に相当する分だけ移動することでPSF係数を修正し、
前記劣化画像復元処理部は、修正されたPSF係数を用いて畳み込み演算を行うことで復元画像を得ることを特徴とする画像処理装置。
【請求項7】
劣化画像を復元処理する画像処理方法において、
劣化画像をフィルタリング処理して復元処理対象画素ごとに点像分布フィルタ係数(以下、PSF係数と称す)を求めるフィルタリング処理ステップと、
該フィルタリング処理ステップで求めたPSF係数を用いて畳み込み演算を行うことで劣化画像から復元画像を得る劣化画像復元処理ステップを備え、
前記フィルタリング処理ステップは、
予め、処理画面を所定サイズの格子で区切り各格子点位置での点像広がり関数の分散値を格納した分散値テーブルを作成するステップと、
予め、分散値とPSF係数の対応関係を格納したPSF係数テーブルを作成するステップと、
前記分散値テーブルを参照して復元処理対象画素位置での分散値を補間法により求める分散値算出ステップと、
前記PSF係数テーブルを参照して復元処理対象画素の分散値に対応するPSF係数を出力するPSF係数算出ステップを有することを特徴とする画像処理方法。
【請求項8】
請求項7に記載の画像処理方法において、
前記分散値テーブルと前記PSF係数テーブルを作成するステップでは、前記分散値と前記PSF係数の値を画面水平方向と画面垂直方向の成分に分けて格納し、
前記PSF係数算出ステップでは、復元処理対象画素に対するPSF係数を水平方向成分と垂直方向成分に分けて出力し、
前記劣化画像復元処理ステップでは、水平方向のPSF係数を用いて水平方向の畳み込み演算を行う水平コンボリューション処理ステップと、垂直方向のPSF係数を用いて垂直方向の畳み込み演算を行う垂直コンボリューション処理ステップを有することを特徴とする画像処理方法。
【請求項9】
請求項7または8に記載の画像処理方法において、
前記分散値テーブルを作成するステップでは、入力画像を撮影したカメラでランダムチャートを撮影し、撮影データをフーリエ変換して前記格子点ごとの点像広がり関数を求め、これを正規分布で近似したときの分散値を格納することを特徴とする画像処理方法。
【請求項10】
請求項7または8に記載の画像処理装置において、
前記分散値算出ステップでは、前記分散値テーブルを参照し、前記復元処理対象画素を囲む近傍4隅の格子点の分散値を読出し、線形補間処理により復元処理対象画素の分散値を求めることを特徴とする画像処理方法。
【請求項1】
劣化画像を復元処理する画像処理装置において、
劣化画像をフィルタリング処理して復元処理対象画素ごとに点像分布フィルタ係数(以下、PSF係数と称す)を求めるフィルタリング処理部と、
該フィルタリング処理部で求めたPSF係数を用いて畳み込み演算を行うことで劣化画像から復元画像を得る劣化画像復元処理部を備え、
前記フィルタリング処理部は、
処理画面を所定サイズの格子で区切り各格子点位置での点像広がり関数の分散値を格納した分散値テーブルと、
該分散値テーブルを参照して復元処理対象画素位置での分散値を補間法により求める分散値算出部と、
分散値とPSF係数の対応関係を格納したPSF係数テーブルと、
該PSF係数テーブルを参照して復元処理対象画素の分散値に対応するPSF係数を出力するPSF係数算出部を有することを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記フィルタリング処理部の有する前記分散値テーブルと前記PSF係数テーブルには、前記分散値と前記PSF係数の値を画面水平方向と画面垂直方向の成分に分けて格納し、前記PSF係数算出部は、復元処理対象画素に対するPSF係数を水平方向成分と垂直方向成分に分けて出力するものであって、
前記劣化画像復元処理部は、水平方向のPSF係数を用いて水平方向の畳み込み演算を行う水平コンボリューション処理部と、垂直方向のPSF係数を用いて垂直方向の畳み込み演算を行う垂直コンボリューション処理部を有することを特徴とする画像処理装置。
【請求項3】
請求項1または2に記載の画像処理装置において、
前記分散値テーブルに格納する分散値は、入力画像を撮影したカメラでランダムチャートを撮影し、撮影データをフーリエ変換して前記格子点ごとの点像広がり関数を求め、これを正規分布で近似したときの分散値であることを特徴とする画像処理装置。
【請求項4】
請求項1または2に記載の画像処理装置において、
前記分散値算出部は前記分散値テーブルを参照し、前記復元処理対象画素を囲む近傍4隅の格子点の分散値を読出し、線形補間処理により復元処理対象画素の分散値を求めることを特徴とする画像処理装置。
【請求項5】
請求項1または2に記載の画像処理装置において、
当該装置の出力画像として、前記劣化画像復元処理部からの復元画像と、該劣化画像復元処理部における畳み込み演算後の劣化画像のいずれを出力するかを選択するセレクタ回路を有し、
該セレクタ回路により劣化画像を選択するときは、前記分散値テーブルにおいて劣化画像を出力する領域の格子点の分散値に特定値を設定するとともに、前記PSF係数テーブルにおいて分散値が特定値の場合に点像広がりの大きい特定のPSF係数を対応させたことを特徴とする画像処理装置。
【請求項6】
請求項1または2に記載の画像処理装置において、
前記PSF係数算出部は、前記PSF係数テーブルを参照して取得したPSF係数を正規化し、その正規分布の中心座標をカメラのレンズの歪み量に相当する分だけ移動することでPSF係数を修正し、
前記劣化画像復元処理部は、修正されたPSF係数を用いて畳み込み演算を行うことで復元画像を得ることを特徴とする画像処理装置。
【請求項7】
劣化画像を復元処理する画像処理方法において、
劣化画像をフィルタリング処理して復元処理対象画素ごとに点像分布フィルタ係数(以下、PSF係数と称す)を求めるフィルタリング処理ステップと、
該フィルタリング処理ステップで求めたPSF係数を用いて畳み込み演算を行うことで劣化画像から復元画像を得る劣化画像復元処理ステップを備え、
前記フィルタリング処理ステップは、
予め、処理画面を所定サイズの格子で区切り各格子点位置での点像広がり関数の分散値を格納した分散値テーブルを作成するステップと、
予め、分散値とPSF係数の対応関係を格納したPSF係数テーブルを作成するステップと、
前記分散値テーブルを参照して復元処理対象画素位置での分散値を補間法により求める分散値算出ステップと、
前記PSF係数テーブルを参照して復元処理対象画素の分散値に対応するPSF係数を出力するPSF係数算出ステップを有することを特徴とする画像処理方法。
【請求項8】
請求項7に記載の画像処理方法において、
前記分散値テーブルと前記PSF係数テーブルを作成するステップでは、前記分散値と前記PSF係数の値を画面水平方向と画面垂直方向の成分に分けて格納し、
前記PSF係数算出ステップでは、復元処理対象画素に対するPSF係数を水平方向成分と垂直方向成分に分けて出力し、
前記劣化画像復元処理ステップでは、水平方向のPSF係数を用いて水平方向の畳み込み演算を行う水平コンボリューション処理ステップと、垂直方向のPSF係数を用いて垂直方向の畳み込み演算を行う垂直コンボリューション処理ステップを有することを特徴とする画像処理方法。
【請求項9】
請求項7または8に記載の画像処理方法において、
前記分散値テーブルを作成するステップでは、入力画像を撮影したカメラでランダムチャートを撮影し、撮影データをフーリエ変換して前記格子点ごとの点像広がり関数を求め、これを正規分布で近似したときの分散値を格納することを特徴とする画像処理方法。
【請求項10】
請求項7または8に記載の画像処理装置において、
前記分散値算出ステップでは、前記分散値テーブルを参照し、前記復元処理対象画素を囲む近傍4隅の格子点の分散値を読出し、線形補間処理により復元処理対象画素の分散値を求めることを特徴とする画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2013−25473(P2013−25473A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−158034(P2011−158034)
【出願日】平成23年7月19日(2011.7.19)
【出願人】(000233136)株式会社日立アドバンストデジタル (76)
【Fターム(参考)】
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願日】平成23年7月19日(2011.7.19)
【出願人】(000233136)株式会社日立アドバンストデジタル (76)
【Fターム(参考)】
[ Back to top ]