画像処理装置及びその制御方法、プログラム
【課題】 畳み込み演算にかかる演算量を低減しつつ、画像の高域成分に対してもぼけ補正が行う。
【解決手段】 入力画像を複数の帯域に分割して帯域分割画像を生成する。生成した複数の帯域の各帯域についての帯域分割画像に対して、ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する。生成した複数の各帯域についての画像を帯域合成する。
【解決手段】 入力画像を複数の帯域に分割して帯域分割画像を生成する。生成した複数の帯域の各帯域についての帯域分割画像に対して、ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する。生成した複数の各帯域についての画像を帯域合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のぼけ補正を行う補正処理を実行する画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラ等の撮像装置では、被写体からの光をレンズ等で構成される撮像光学系によってＣＣＤやＣＭＯＳ等の撮像素子に導く。撮像素子は撮像光学系を通った光を電気信号に変換する。この電気信号に対し、ＡＤ変換やデモザイキング等の、電気信号を画像化するために必要な処理を施すことで、撮影画像を得ることができる。撮影画像の画質は、撮像光学系の影響を受ける。
【０００３】
例えば、高性能なレンズを使用した場合は、ぼけの小さい、くっきりとした画像を得ることができる。逆に、安価な性能の低いレンズを使用した場合に得られる画像はぼけている。星空を撮影した場合、ぼけが小さいレンズを用いて撮影した画像は、星の一つ一つがくっきりとした点のようになる。逆に、ぼけが大きいレンズを用いて撮影した画像は、星が一点ではなくある程度の広がりをもってぼけている。また、人物を撮影した場合には、ぼけの小さいレンズを用いると、髪の毛の一本一本まで細やかに記録された画像を得ることができる。逆に、ぼけの大きいレンズでは髪の毛の一本一本がぼやけて撮影されるため、精細感に欠けた画像が得られてしまう。
【０００４】
撮像光学系に起因する画像のぼけを補正する方法としては、撮影画像に画像処理を施すことで、撮像光学系に起因する画像のぼけを補正する方法が知られている。この方法では、予め撮像光学系のぼけの特性をぼけ特性データとしてデータ化しておき、このぼけ特性データに基づいて画像のぼけを補正する。
【０００５】
撮像光学系のぼけ特性をデータ化する方法として、例えば、点像分布関数（ＰＳＦ）によって、ぼけ特性を表す方法がある。ＰＳＦは被写体の一点がどの様にぼけるかを表すものである。例えば、暗黒下で体積が非常に小さい発光体を撮影した場合のセンサ面上での光の２次元的分布が、かかる撮像光学系のＰＳＦにあたる。ぼけの小さい理想的な撮像光学系ではＰＳＦはほぼ一点であり、ぼけの大きい撮像光学系ではＰＳＦは一点ではなく、ある程度の広がりを持っている。実際に撮像光学系のＰＳＦを特性データとして取得する際には、必ずしも点光源のような被写体を撮影する必要はない。例えば、白黒のエッジを有するチャートを撮影し、撮影画像からチャートに対応した計算方法によってＰＳＦを計算する方法等が知られている。また、撮像光学系の設計データから計算によってＰＳＦを得ることも可能である。
【０００６】
ＰＳＦで表される特性データ（ＰＳＦデータ）を用いてぼけを補正する方法では、逆フィルタによる方法が良く知られている。具体的な逆フィルタの構成方法を数式を用いて説明する。ぼけのない理想的な撮像光学系を用いて撮影した撮影画像をｆ（ｘ，ｙ）とする。ｘ，ｙは画像の二次元上の位置を示す符号であり、ｆ（ｘ，ｙ）は位置ｘ，ｙでの画素値を表している。一方で、ぼけのある撮像光学系で撮影した撮影画像をｇ（ｘ，ｙ）とする。また、ぼけのある撮像光学系のＰＳＦをｈ（ｘ、ｙ）で表す。するとｆ，ｇ，ｈには次の関係が成り立つ。
【０００７】
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
尚、＊は畳み込み演算を意味している。ぼけを補正することは、ぼけのある撮像光学系で撮影した画像ｇ（ｘ，ｙ）とかかる撮像光学系のＰＳＦであるｈ（ｘ，ｙ）から、ぼけのない撮像光学系で取得したｆ（ｘ，ｙ）を推定することと言い換えることもできる。また、これをフーリエ変換して空間周波数面での表示形式に変換すると、以下の式のように周波数毎の積の形式になる。
【０００８】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
Ｈ（ｕ，ｖ）はＰＳＦをフーリエ変換したものであり、光学伝達関数（ＯＴＦ）と呼ばれている。ｕ（ｕ，ｖ），ｖ（ｕ，ｖ）は２次元周波数面での座標、即ち、周波数を示す。Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換であり、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換である。
【０００９】
撮影されたぼけのある画像から、ぼけのない画像を得るためには、以下のように両辺をＨで除算すればよい。
【００１０】
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、ぼけのない画像ｆ（ｘ，ｙ）が回復像として得られる。
【００１１】
ここで、Ｈ-1を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対する畳み込み演算を行うことで同様にぼけのない画像が得られる。
【００１２】
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を逆フィルタと呼ぶ。実際にはＨ（ｕ，ｖ）が０になる周波数（ｕ，ｖ）では０での除算が発生するため、逆フィルタＲ（ｘ，ｙ）は多少の変形がなされる。また、通常、ＯＴＦは高周波ほど値が小さくなるため、その逆数である逆フィルタは高周波ほど値が大きくなる。従って、逆フィルタを用いて、ぼけのある撮影画像に畳み込み演算処理を行うと、撮影画像の高周波成分が強調される。しかし、実際の画像ではノイズも含まれており、ノイズは一般的に高周波であるため、逆フィルタではノイズを強調してしまう。このため、Ｒ（ｘ，ｙ）を式変形し、逆フィルタほど高周波を強調しない特性を持たせる方法が知られている。ノイズを考慮して高周波をあまり強調しないフィルタとしてウィナーフィルタが有名である。
【００１３】
以上のように現実的には、撮影画像にノイズが混入したり、ＯＴＦが０になる周波数がある場合等の理想条件との乖離により、ぼけを充分に取り除くことはできないが、上記処理により画像のぼけを低減することができる。以降では、逆フィルタやウィナーフィルタ等のぼけ補正で用いるフィルタをまとめて回復フィルタと呼ぶ。前述したように、回復フィルタは撮像光学系のＰＳＦを用いて計算することに特徴がある。
【００１４】
回復フィルタは、ぼけが大きいほどタップ数（フィルタサイズ）が大きくなる傾向がある。そのため、大きなぼけを補正する場合、回復フィルタのタップ数が大きくなり、フィルタリングに要する回路規模が増大してコストが増えるという問題がある。
【００１５】
特許文献１によれば、画像を低域成分と高域成分に帯域分割し、低域成分にのみ回復フィルタを畳み込み演算して高域成分と帯域合成する。高域成分には畳み込み演算を行わないため演算量を削減することができる。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００７−７２５５８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、特許文献１の方法では画像の高域成分に対してぼけ補正がなされないため、細かなテクスチャなど画像の高域成分はぼけたままである。
【００１８】
本発明は上記の課題を解決するためになされたものであり、撮像光学系に起因する画像のぼけを低減することを目的とする。
【課題を解決するための手段】
【００１９】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
画像のぼけ補正を行う補正処理を実行する画像処理装置であって、
入力画像を複数の帯域に分割して帯域分割画像を生成する画像帯域分割手段と、
前記画像帯域分割手段が生成した前記複数の帯域の各帯域についての帯域分割画像に対して、前記ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する畳み込み演算手段と、
前記畳み込み演算手段によって生成した前記複数の各帯域についての画像を帯域合成する帯域合成手段と
を備える。
【発明の効果】
【００２０】
本発明によれば、畳み込み演算にかかる演算量を低減しつつ、画像の高域成分に対してもぼけ補正が行うことができる。
【図面の簡単な説明】
【００２１】
【図１】実施形態１の画像処理装置の構成を示す図である。
【図２】実施形態１の信号処理部の詳細構成を示す図である。
【図３】実施形態１の信号処理部の部分詳細構成を示す図である。
【図４】実施形態１の畳み込み演算部の詳細構成を示す図である。
【図５】実施形態２の信号処理部の部分詳細構成を示す図である。
【図６】実施形態１及び２の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００２３】
＜実施形態１＞
＜画像処理装置の全体構成＞
図１は実施形態１の画像処理装置の構成を示す図である。
【００２４】
撮像部１０１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及びセンサ（ＣＭＯＳやＣＣＤ等）等の撮像光学系から構成され、被写体の光量を検知する。
【００２５】
Ａ／Ｄ変換部１０２は、被写体の光量をデジタル値に変換する。信号処理部１０３は、デジタル値にホワイトバランス処理、ガンマ処理、ノイズ低減処理等の画像処理を行い、デジタル画像を生成する。Ｄ／Ａ変換部１０４は、デジタル画像に対しアナログ変換を行う。エンコーダ部１０５は、デジタル画像をＪＰＥＧやＭＰＥＧ等のファイルフォーマットに変換する処理を行う。
【００２６】
メディアインターフェース１０６は、ＰＣ（パーソナルコンピュータ）、その他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続するためのインターフェースである。
【００２７】
ＣＰＵ１０７は、画像処理装置の各構成要素の処理全てに関わり、ＲＯＭ１０８やＲＡＭ１０９に記憶された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０８とＲＡＭ１０９は、その処理に必要なプログラム、データ、作業領域等をＣＰＵ１０７に提供する。
【００２８】
撮像系制御部１１０は、フォーカスを合わせる、シャッターを開く、絞りを調節する等の、ＣＰＵ１０７から指示された撮像系の制御を行う。操作部１１１は、ボタンやモードダイヤル等が該当し、これらを介して入力されたユーザ指示を受信する。キャラクタージェネレーション部１１２は、文字やグラフィック等の画像を生成する。
【００２９】
表示部１１３は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部１１２やＤ／Ａ変換部１０４から受信した撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザ指示を操作部１１１の入力として扱うことも可能である。
【００３０】
尚、画像処理装置の構成要素は上記以外にも存在するが、本件発明の主眼ではないので、説明を省略する。
【００３１】
また、本発明の構成要素は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用しても良い。本件発明の目的は、前述の実施形態の機能を実現するプログラムをシステムのコンピュータ（またはＣＰＵまたはＭＰＵ）が実行しても達成される。この場合、プログラム自体が前述した実施形態の機能を実現することになり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。
【００３２】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のデータ保存部、ＲＯＭなどを用いることができる。また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。さらに、プログラムの指示内容をシステムの機能拡張ボードに備わるＣＰＵなどが実行し、その処理で前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３３】
本発明のぼけ補正処理は、信号処理部１０３において実行されることが好適である。信号処理部１０３の詳細図を図２に示す。図２の信号処理部１０３では、入力のデジタル画像に対して、画質向上のための一連の処理が行われる。例えば、ノイズ低減、ホワイトバランス制御（ホワイトバランス制御部２０２）、ぼけ補正、色再現性を向上させるための色変換（色変換部２０３）、ガンマ補正等である。特に、ぼけ補正は、信号処理部１０３のぼけ補正部２０１によって実行され、画質向上を目的として行われる各種の処理の中の一つとして実施されることが好適である。
【００３４】
＜演算量削減の原理＞
画像回復は画像に対して回復フィルタを畳み込む演算でなされる。画像をＩ（ｉ，ｊ）、回復フィルタをｆ（ｉ，ｊ）、回復後の画像をｒ（ｉ，ｊ）とすると、
【００３５】
【数１】
【００３６】
と表すことができる。
【００３７】
ここで、（１）式を式変形して、（２ａ）〜（２ｄ）式の４つの式を得る。
【００３８】
【数２】
【００３９】
ここで、
【００４０】
【数３】
【００４１】
である。説明の簡単のためＮを偶数として以降の議論を進める。ここで、（２ａ）〜（２ｂ）式は複雑であるため、次式で定義される省略記号を用いる。
【００４２】
【数４】
【００４３】
すると、（２）式は、
【００４４】
【数５】
【００４５】
と行列を用いて表すことができる。
【００４６】
さて、ウェーブレット変換を次式のように定義する。
【００４７】
【数６】
【００４８】
ここで（６）式の左辺は帯域分割された帯域分割画像である。（６）式の変換によりＬＬは画像Ｉ（ｉ，ｊ）の縦の低周波成分と横の低周波成分に応じた画像となる。同様に、ＬＨ，ＨＬ，ＨＨはそれぞれ画像Ｉ（ｉ，ｊ）の縦の低周波成分と横の高周波成分、縦の高周波成分と横の低周波成分、縦の高周波成分と横の高周波成分、に応じた画像である。
【００４９】
ＬＬ〜ＨＨの各成分の画像は帯域分割によりサイズが縦横半分になる。（６）式中の４ｘ４の行列をＴとおく。すなわち、
【００５０】
【数７】
【００５１】
である。行列Ｔがウェーブレット変換を行う役割を持つ。（５）式の両辺にＴをかけ、単位行列であるＴ-1Ｔを挿入すると、
【００５２】
【数８】
【００５３】
を得る。ここで、（８）式の左辺は、ぼけ補正がなされた画像（以降、回復画像）をウェーブレット変換したものであるから、
【００５４】
【数９】
【００５５】
と表すことができる。ここで、ｒLL、ｒLH、ｒHL、ｒHHは回復後の画像のウェーブレット変換である。
【００５６】
（８）式の右辺も同様に、
【００５７】
【数１０】
【００５８】
と表すことができる。ここで、ＩLL、ＩLH、ＩHL、ＩHHは入力画像のウェーブレット変換である。
さらに、
【００５９】
【数１１】
【００６０】
と定義すると、（１）式の畳み込み演算は、（８）,（９）,（１０）,（１１）式を用いて、
【００６１】
【数１２】
【００６２】
と表すことができる。
【００６３】
さて、（１）式を変形して（１２）式にした。（１）式では一回の畳み込み演算となり、（１２）式では１６回の畳み込み演算になっている。さらに、入力画像サイズは帯域分割により縦横約半分になっている。また、後述するように（４）,（１１）式で定義されるフィルタのサイズも縦横約半分となる。畳み込み演算の乗算回数は、画像サイズ（面積）、フィルタサイズ（面積）、畳み込み演算の回数におおよそ比例する。そのため、（１）式を（１２）式のように変形することで乗算回数はおおよそ（１/４）×（１/４）×１６＝１で変わらない。このままでは、式が複雑になっただけでメリットが少ない。以下に明らかになるが、（１２）式を詳細に計算すると演算量自体が削減できることが示される。
【００６４】
本発明では、（１１）式で定義される左辺の１６個のフィルタを子フィルタと呼ぶ。これは、（１１）式の左辺が、複数の帯域の分割前の入力画像についての回復フィルタｆ（ｉ，ｊ）から生成されていることからである。
【００６５】
子フィルタは（４）、（７）、（１１）式によって計算することができる。具体的な計算例は後述するが、すべての子フィルタは以下の形式により表すことができる。
【００６６】
【数１３】
【００６７】
（１３）式において、ＩＤ１，ＩＤ２は、ＬＬ，ＬＨ，ＨＬ，ＨＨのいずれかを表す。ｗID1-ID2は、３×３の２次元帯域分割フィルタであり、子フィルタ１６個のそれぞれに対応して１６個存在する。また、↓は２次元の間引き処理を表す。例えば、
【００６８】
【数１４】
【００６９】
のように、縦横一つおきに間引く処理である。この間引き処理によってサイズが縦横約半分になる。すると、（１３）式から、子フィルタは回復フィルタに帯域分割フィルタをかけた後、縦横約半分に間引くことにより得られる。すると、子フィルタの大きさは回復フィルタのおおよそ縦横半分になる。帯域分割フィルタｗID1-ID2は、（４）,（７）,（１１）式によって計算することができる。計算の過程から帯域分割フィルタは、画像を帯域分割する変換行列に応じて計算されるという特徴をもち、回復フィルタには依存しないという特徴をもつ。（７）式の変換行列に対応する帯域分割フィルタを下記に表す。
【００７０】
【数１５ａ】
【００７１】
【数１５ｂ】
【００７２】
【数１５ｃ】
【００７３】
【数１５ｄ】
【００７４】
【数１５ｅ】
【００７５】
【数１５ｆ】
【００７６】
【数１５ｇ】
【００７７】
【数１５ｈ】
【００７８】
【数１５ｉ】
【００７９】
【数１５ｊ】
【００８０】
【数１５ｋ】
【００８１】
【数１５ｌ】
【００８２】
【数１５ｍ】
【００８３】
【数１５ｎ】
【００８４】
【数１５ｏ】
【００８５】
【数１５ｐ】
【００８６】
式（１５ａ）から、ｗLL-LLは縦横方向ともにローパスフィルタになっている。式（１５ｂ）から、ｗLL-LHは縦方向にはローパス、横方向にはバンドパスフィルタとなっている。式（１５ｃ）から、ｗLL-HLは縦方向にはバンドパスフィルタ、横方向にはローパスフィルタである。式（１５ｄ）から、ｗLL-HHは縦横方向ともにバンドパスフィルタである。ＩＤ１＝ＬＬの場合以外の帯域分割フィルタｗID1-ID2も同様に、縦か横方向にローパス・バンドパス・ハイパスのいずれかの特性を有するという特徴がある。そのため、（１３）式から、子フィルタは回復フィルタの特定の帯域の特性から作られていることが分かる。本発明では、（１３）式により回復フィルタを帯域分割していると言える。
【００８７】
以上の方法で得られた帯域分割フィルタｗID1-ID2には、次の特徴がある。すなわち、
【００８８】
【数１６】
【００８９】
帯域分割フィルタｗID1-ID2が（１６）式の対称性を持つことから、（１３）式を用いて子フィルタの対称性が次式のように決まる。
【００９０】
【数１７】
【００９１】
（１７）式はどのような回復フィルタであっても成立する恒等式である。さらには、回復フィルタに限らずとも、２次元のフィルタであれば（１２）式の形式で畳み込みを表現したときに、常に成り立つ関係式である。次に、（１７）式で表される子フィルタの対称性を利用して、畳み込みにかかる演算量を削減する。まず、（１２）式を畳み込み演算の記号＊を用いて表して次式を得る。
【００９２】
【数１８】
【００９３】
次に、子フィルタの直交成分を次のように置き換える。
【００９４】
【数１９】
【００９５】
（１８）式を（１９）式を用いて式変形すると、
【００９６】
【数２０】
【００９７】
（２０）式を得る。（２０）式をみると、同じ畳み込み演算を行っている箇所が複数見られる。例えば、回復画像のＬＬ成分ｒLLを計算する（２０ａ）式の第２項と、rLHを計算する（２０ｂ）式の第一項は同じ畳み込み演算を行っている。（２０）式では、独立した畳み込み演算は１０項であり、残り６項の畳み込み演算は重複している。同じ畳み込み演算の項は１回だけ計算すれば良いので、畳み込み演算の回数は１０回となる。先に述べたように、畳み込み演算にかかる乗算の回数はおよそ、フィルタのサイズ（面積）、画像のサイズ（面積）、畳み込み回数に比例する。
【００９８】
然るに、（２０）式では、フィルタサイズは縦横約半分、画像サイズも縦横約半分、畳み込み回数は１０回であるから、乗算回数は（１/４）×（１/４）×１０で０.６２５となる。つまり、（１）式の畳み込み演算を変形して（２０）式を得たわけであるが、（２０）式のようにすることで乗算回数が４割近く削減できることを本願発明者は発見した。これは何らかの近似を行ってかかる結果を得たわけでなく、あくまで式変形であるから（２０）式の計算結果は（１）式の計算結果に一致する。つまり、畳み込みの結果は同じで演算量だけ削減することができるのである。この計算結果は、畳み込み演算の対象として画像、回復フィルタに限らず２次元の配列二つについて成立する。このことは、画像、回復フィルタ特有の前提を用いずに、（１）式から（２０）式を導いたことから言うまでもないことである。また、子フィルタの生成方法は（１１）式で表されるが、帯域分割の方法として（７）式で定義されるウェーブレット変換以外を用いても、それに応じて（１１）式を計算すれば良い。そのため、本発明では帯域分割の方法を（７）式に限るものではない。
【００９９】
＜画像処理装置の各部の構成＞
図３の信号処理部１０３の部分詳細構成を示すブロック図、及び図６のフローチャートを用いて、ぼけ補正部２０１の構成と動作を説明する。
【０１００】
ステップＳ６０１において、画像帯域分割部３０１が、ホワイトバランス制御部２０２から入力画像を帯域分割して帯域分割画像を生成し、畳み込み演算部３０２に出力する。ステップＳ６０２において、フィルタ帯域分割部３０３が、ＲＯＭ１０８から回復フィルタを読み出し、フィルタ帯域分割により子フィルタデータを生成して畳み込み演算部３０２に出力する。ステップＳ６０３において、畳み込み演算部３０２が、帯域分割画像と子フィルタデータの畳み込み演算を行い、帯域分割された回復画像を生成して帯域合成部３０４へ出力する。ステップＳ６０４において、帯域合成部３０４が、帯域分割された回復画像を帯域合成して色変換部２０３に出力する。
【０１０１】
画像帯域分割部３０１では、入力画像に対して（６）式の演算により、帯域分割した画像ＩLL，ＩLH，ＩHL，ＩHHを畳み込み演算部３０２に出力する。また、フィルタ帯域分割部３０３では、（１３）,（１９）式の演算を行う。これにより、
ｆLL-LL’、ｆLL-LH’、ｆHL-HL’、ｆHH-HH’、ｆLL-LH、ｆLL-HL、ｆLL-HH’、ｆLH-HL、ｆLH-HH、ｆHL-HH、からなる１０個の子フィルタデータを生成する。そして、フィルタ帯域分割部３０３は、これらの子フィルタデータを、畳み込み演算部３０２に出力する。
【０１０２】
畳み込み演算部３０２では、（２０）式の演算を行う。図４に畳み込み演算部３０２の構成を示す。＊で示されたブロックは畳み込み演算を表す。ブロック図中の下段６つの畳み込み演算の結果は、補正後の帯域分割画像を計算するために２回ずつ使われていることが分かる。このことにより、本来１６回の畳み込み演算が必要なところを、１６回中６回の演算を共通化させることで、合計１０回の畳み込み演算で代用できる。つまり、複数のフィルタデータの一部は、複数の帯域の帯域分割画像のうち、２つ以上の帯域分割画像に対する畳み込み演算に使用される。
【０１０３】
以上の動作により、ぼけ補正に必要な畳み込み演算の計算量を減らすことができ、しかも単純に畳み込み演算を行った結果と同様の演算結果を得ることができる。
【０１０４】
また、ぼけ補正では、画像の位置に応じて、ぼけの度合いが異なるため、画像の位置に応じて本手法を適用する必要があることは言うまでもない。また、画像の端等では畳み込み演算に必要な画素が存在しない場合が考えられるが、その際はダミーの画素値を用いる等の工夫がある。
【０１０５】
また、図６に示すフローチャートをプログラムとしてＰＣで実行しても、畳み込み演算にかかる計算量を減らすことができることは言うまでもない。
【０１０６】
＜回復フィルタ、変換行列からの子フィルタを計算する手順＞
子フィルタは、（４），（７），（１１）式によって計算することができる。その計算過程は複雑であるため、ここではｆLL-LLを例にとり計算過程を示す。他の子フィルタについても同様にして決定される。
【０１０７】
（１１）式を計算すると
【０１０８】
【数２１】
【０１０９】
が得られる。ここで省略されているインデックスを書き出して次式を得る。
【０１１０】
【数２２】
【０１１１】
ここでｉ，ｊ，α，βは、（１２）式中の畳み込み演算に関わる指標である。今、知りたいのは、ｆLL-LLの中身なので、ｉ−α＝ｉ’、ｊ−β＝ｊ’と定義する。すると、
【０１１２】
【数２３】
【０１１３】
を得る。上式から子フィルタｆLL-LLは、回復フィルタｆの各要素の加重平均であることが分かる。また、上式右辺のインデックスｉ’，ｊ’には常に２倍されている。そこで、前述した間引き演算↓を用いて上式を変形すると
【０１１４】
【数２４】
【０１１５】
を得る。上式は、回復フィルタｆ（ｉ，ｊ）に（１５ａ）式のローパスフィルタをかけた後に間引き処理を行ったものがｆLL-LLに等しいことを示す。同様にして、他の子フィルタも計算によって求めることができる。また、同様の計算過程により（７）式で定義されるウェーブレット変換行列Ｔ以外でも子フィルタを計算によって求めることができる。
【０１１６】
以上説明したように、実施形態１によれば、画像を低帯域と高帯域に帯域分割し、各帯域画像についてのフィルタの畳み込み演算の一部の演算を帯域間で共通化する。これにより、低帯域及び高帯域について画像回復を実現するとともに、その演算量を低減することができる。
【０１１７】
＜実施形態２＞
実施形態１では、子フィルタデータを生成する構成としているが、これに限定されない。実施形態２として、例えば、子フィルタデータを予め計算しておいて、ＲＯＭ１０８に記憶しておき、これを利用して畳み込み演算を実行するようにしても良い。
【０１１８】
実施形態２のぼけ補正部を図５に示す。予め計算された子フィルタデータはＲＯＭ１０８に記憶し、畳み込み演算部５０２はＲＯＭ１０８から子フィルタデータを読み出し、この子フィルタデータを用いて画像帯域分割部５０１からの帯域分割画像に対して（２０）式で表される畳み込み演算を行う。
【０１１９】
図６の処理においては、特に、ステップＳ６０２において、畳み込み演算部３０２が、ＲＯＭ１０８から子フィルタデータを読み出す。そして、ステップＳ６０３において、畳み込み演算部３０２が、帯域分割画像と子フィルタデータの畳み込み演算を行い、帯域分割された画像を計算して帯域合成部３０４へ出力することになる。
【０１２０】
以上説明したように、実施形態２によれば、実施形態１で説明する効果に加えて、ＲＯＭ１０８に予め子フィルタデータを記憶しておくことで、子フィルタデータ生成に必要な計算時間を短縮することができる。
【０１２１】
＜実施形態３＞
すでに述べている通り、本発明は、（７）式以外の変換行列に対しても成立する。その例として実施形態３では次式の変換行列を用いた実施形態を示す。
【０１２２】
【数２５】
【０１２３】
計算の手順は実施形態１と同様なのでｆLL-LLだけ計算例とその結果を示す。
【０１２４】
（２４）式に対応して次式が導かれる。
【０１２５】
【数２６】
【０１２６】
上式での実施形態１との違いは、回復フィルタｆの各係数に付与する重みである。上式では回復フィルタに
【０１２７】
【数２７】
【０１２８】
で示されるローパスフィルタをかけた後に間引き演算を行ったものが（２５）式の変換行列に対応する子フィルタｆLL-LLであることを示している。
【０１２９】
以上説明したように、様々な変換行列についても、実施形態１と同様の効果を得ることができる。
【０１３０】
尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像のぼけ補正を行う補正処理を実行する画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラ等の撮像装置では、被写体からの光をレンズ等で構成される撮像光学系によってＣＣＤやＣＭＯＳ等の撮像素子に導く。撮像素子は撮像光学系を通った光を電気信号に変換する。この電気信号に対し、ＡＤ変換やデモザイキング等の、電気信号を画像化するために必要な処理を施すことで、撮影画像を得ることができる。撮影画像の画質は、撮像光学系の影響を受ける。
【０００３】
例えば、高性能なレンズを使用した場合は、ぼけの小さい、くっきりとした画像を得ることができる。逆に、安価な性能の低いレンズを使用した場合に得られる画像はぼけている。星空を撮影した場合、ぼけが小さいレンズを用いて撮影した画像は、星の一つ一つがくっきりとした点のようになる。逆に、ぼけが大きいレンズを用いて撮影した画像は、星が一点ではなくある程度の広がりをもってぼけている。また、人物を撮影した場合には、ぼけの小さいレンズを用いると、髪の毛の一本一本まで細やかに記録された画像を得ることができる。逆に、ぼけの大きいレンズでは髪の毛の一本一本がぼやけて撮影されるため、精細感に欠けた画像が得られてしまう。
【０００４】
撮像光学系に起因する画像のぼけを補正する方法としては、撮影画像に画像処理を施すことで、撮像光学系に起因する画像のぼけを補正する方法が知られている。この方法では、予め撮像光学系のぼけの特性をぼけ特性データとしてデータ化しておき、このぼけ特性データに基づいて画像のぼけを補正する。
【０００５】
撮像光学系のぼけ特性をデータ化する方法として、例えば、点像分布関数（ＰＳＦ）によって、ぼけ特性を表す方法がある。ＰＳＦは被写体の一点がどの様にぼけるかを表すものである。例えば、暗黒下で体積が非常に小さい発光体を撮影した場合のセンサ面上での光の２次元的分布が、かかる撮像光学系のＰＳＦにあたる。ぼけの小さい理想的な撮像光学系ではＰＳＦはほぼ一点であり、ぼけの大きい撮像光学系ではＰＳＦは一点ではなく、ある程度の広がりを持っている。実際に撮像光学系のＰＳＦを特性データとして取得する際には、必ずしも点光源のような被写体を撮影する必要はない。例えば、白黒のエッジを有するチャートを撮影し、撮影画像からチャートに対応した計算方法によってＰＳＦを計算する方法等が知られている。また、撮像光学系の設計データから計算によってＰＳＦを得ることも可能である。
【０００６】
ＰＳＦで表される特性データ（ＰＳＦデータ）を用いてぼけを補正する方法では、逆フィルタによる方法が良く知られている。具体的な逆フィルタの構成方法を数式を用いて説明する。ぼけのない理想的な撮像光学系を用いて撮影した撮影画像をｆ（ｘ，ｙ）とする。ｘ，ｙは画像の二次元上の位置を示す符号であり、ｆ（ｘ，ｙ）は位置ｘ，ｙでの画素値を表している。一方で、ぼけのある撮像光学系で撮影した撮影画像をｇ（ｘ，ｙ）とする。また、ぼけのある撮像光学系のＰＳＦをｈ（ｘ、ｙ）で表す。するとｆ，ｇ，ｈには次の関係が成り立つ。
【０００７】
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
尚、＊は畳み込み演算を意味している。ぼけを補正することは、ぼけのある撮像光学系で撮影した画像ｇ（ｘ，ｙ）とかかる撮像光学系のＰＳＦであるｈ（ｘ，ｙ）から、ぼけのない撮像光学系で取得したｆ（ｘ，ｙ）を推定することと言い換えることもできる。また、これをフーリエ変換して空間周波数面での表示形式に変換すると、以下の式のように周波数毎の積の形式になる。
【０００８】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
Ｈ（ｕ，ｖ）はＰＳＦをフーリエ変換したものであり、光学伝達関数（ＯＴＦ）と呼ばれている。ｕ（ｕ，ｖ），ｖ（ｕ，ｖ）は２次元周波数面での座標、即ち、周波数を示す。Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換であり、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換である。
【０００９】
撮影されたぼけのある画像から、ぼけのない画像を得るためには、以下のように両辺をＨで除算すればよい。
【００１０】
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、ぼけのない画像ｆ（ｘ，ｙ）が回復像として得られる。
【００１１】
ここで、Ｈ-1を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対する畳み込み演算を行うことで同様にぼけのない画像が得られる。
【００１２】
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を逆フィルタと呼ぶ。実際にはＨ（ｕ，ｖ）が０になる周波数（ｕ，ｖ）では０での除算が発生するため、逆フィルタＲ（ｘ，ｙ）は多少の変形がなされる。また、通常、ＯＴＦは高周波ほど値が小さくなるため、その逆数である逆フィルタは高周波ほど値が大きくなる。従って、逆フィルタを用いて、ぼけのある撮影画像に畳み込み演算処理を行うと、撮影画像の高周波成分が強調される。しかし、実際の画像ではノイズも含まれており、ノイズは一般的に高周波であるため、逆フィルタではノイズを強調してしまう。このため、Ｒ（ｘ，ｙ）を式変形し、逆フィルタほど高周波を強調しない特性を持たせる方法が知られている。ノイズを考慮して高周波をあまり強調しないフィルタとしてウィナーフィルタが有名である。
【００１３】
以上のように現実的には、撮影画像にノイズが混入したり、ＯＴＦが０になる周波数がある場合等の理想条件との乖離により、ぼけを充分に取り除くことはできないが、上記処理により画像のぼけを低減することができる。以降では、逆フィルタやウィナーフィルタ等のぼけ補正で用いるフィルタをまとめて回復フィルタと呼ぶ。前述したように、回復フィルタは撮像光学系のＰＳＦを用いて計算することに特徴がある。
【００１４】
回復フィルタは、ぼけが大きいほどタップ数（フィルタサイズ）が大きくなる傾向がある。そのため、大きなぼけを補正する場合、回復フィルタのタップ数が大きくなり、フィルタリングに要する回路規模が増大してコストが増えるという問題がある。
【００１５】
特許文献１によれば、画像を低域成分と高域成分に帯域分割し、低域成分にのみ回復フィルタを畳み込み演算して高域成分と帯域合成する。高域成分には畳み込み演算を行わないため演算量を削減することができる。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００７−７２５５８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、特許文献１の方法では画像の高域成分に対してぼけ補正がなされないため、細かなテクスチャなど画像の高域成分はぼけたままである。
【００１８】
本発明は上記の課題を解決するためになされたものであり、撮像光学系に起因する画像のぼけを低減することを目的とする。
【課題を解決するための手段】
【００１９】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
画像のぼけ補正を行う補正処理を実行する画像処理装置であって、
入力画像を複数の帯域に分割して帯域分割画像を生成する画像帯域分割手段と、
前記画像帯域分割手段が生成した前記複数の帯域の各帯域についての帯域分割画像に対して、前記ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する畳み込み演算手段と、
前記畳み込み演算手段によって生成した前記複数の各帯域についての画像を帯域合成する帯域合成手段と
を備える。
【発明の効果】
【００２０】
本発明によれば、畳み込み演算にかかる演算量を低減しつつ、画像の高域成分に対してもぼけ補正が行うことができる。
【図面の簡単な説明】
【００２１】
【図１】実施形態１の画像処理装置の構成を示す図である。
【図２】実施形態１の信号処理部の詳細構成を示す図である。
【図３】実施形態１の信号処理部の部分詳細構成を示す図である。
【図４】実施形態１の畳み込み演算部の詳細構成を示す図である。
【図５】実施形態２の信号処理部の部分詳細構成を示す図である。
【図６】実施形態１及び２の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００２３】
＜実施形態１＞
＜画像処理装置の全体構成＞
図１は実施形態１の画像処理装置の構成を示す図である。
【００２４】
撮像部１０１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及びセンサ（ＣＭＯＳやＣＣＤ等）等の撮像光学系から構成され、被写体の光量を検知する。
【００２５】
Ａ／Ｄ変換部１０２は、被写体の光量をデジタル値に変換する。信号処理部１０３は、デジタル値にホワイトバランス処理、ガンマ処理、ノイズ低減処理等の画像処理を行い、デジタル画像を生成する。Ｄ／Ａ変換部１０４は、デジタル画像に対しアナログ変換を行う。エンコーダ部１０５は、デジタル画像をＪＰＥＧやＭＰＥＧ等のファイルフォーマットに変換する処理を行う。
【００２６】
メディアインターフェース１０６は、ＰＣ（パーソナルコンピュータ）、その他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続するためのインターフェースである。
【００２７】
ＣＰＵ１０７は、画像処理装置の各構成要素の処理全てに関わり、ＲＯＭ１０８やＲＡＭ１０９に記憶された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０８とＲＡＭ１０９は、その処理に必要なプログラム、データ、作業領域等をＣＰＵ１０７に提供する。
【００２８】
撮像系制御部１１０は、フォーカスを合わせる、シャッターを開く、絞りを調節する等の、ＣＰＵ１０７から指示された撮像系の制御を行う。操作部１１１は、ボタンやモードダイヤル等が該当し、これらを介して入力されたユーザ指示を受信する。キャラクタージェネレーション部１１２は、文字やグラフィック等の画像を生成する。
【００２９】
表示部１１３は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部１１２やＤ／Ａ変換部１０４から受信した撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザ指示を操作部１１１の入力として扱うことも可能である。
【００３０】
尚、画像処理装置の構成要素は上記以外にも存在するが、本件発明の主眼ではないので、説明を省略する。
【００３１】
また、本発明の構成要素は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用しても良い。本件発明の目的は、前述の実施形態の機能を実現するプログラムをシステムのコンピュータ（またはＣＰＵまたはＭＰＵ）が実行しても達成される。この場合、プログラム自体が前述した実施形態の機能を実現することになり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。
【００３２】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のデータ保存部、ＲＯＭなどを用いることができる。また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。さらに、プログラムの指示内容をシステムの機能拡張ボードに備わるＣＰＵなどが実行し、その処理で前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３３】
本発明のぼけ補正処理は、信号処理部１０３において実行されることが好適である。信号処理部１０３の詳細図を図２に示す。図２の信号処理部１０３では、入力のデジタル画像に対して、画質向上のための一連の処理が行われる。例えば、ノイズ低減、ホワイトバランス制御（ホワイトバランス制御部２０２）、ぼけ補正、色再現性を向上させるための色変換（色変換部２０３）、ガンマ補正等である。特に、ぼけ補正は、信号処理部１０３のぼけ補正部２０１によって実行され、画質向上を目的として行われる各種の処理の中の一つとして実施されることが好適である。
【００３４】
＜演算量削減の原理＞
画像回復は画像に対して回復フィルタを畳み込む演算でなされる。画像をＩ（ｉ，ｊ）、回復フィルタをｆ（ｉ，ｊ）、回復後の画像をｒ（ｉ，ｊ）とすると、
【００３５】
【数１】
【００３６】
と表すことができる。
【００３７】
ここで、（１）式を式変形して、（２ａ）〜（２ｄ）式の４つの式を得る。
【００３８】
【数２】
【００３９】
ここで、
【００４０】
【数３】
【００４１】
である。説明の簡単のためＮを偶数として以降の議論を進める。ここで、（２ａ）〜（２ｂ）式は複雑であるため、次式で定義される省略記号を用いる。
【００４２】
【数４】
【００４３】
すると、（２）式は、
【００４４】
【数５】
【００４５】
と行列を用いて表すことができる。
【００４６】
さて、ウェーブレット変換を次式のように定義する。
【００４７】
【数６】
【００４８】
ここで（６）式の左辺は帯域分割された帯域分割画像である。（６）式の変換によりＬＬは画像Ｉ（ｉ，ｊ）の縦の低周波成分と横の低周波成分に応じた画像となる。同様に、ＬＨ，ＨＬ，ＨＨはそれぞれ画像Ｉ（ｉ，ｊ）の縦の低周波成分と横の高周波成分、縦の高周波成分と横の低周波成分、縦の高周波成分と横の高周波成分、に応じた画像である。
【００４９】
ＬＬ〜ＨＨの各成分の画像は帯域分割によりサイズが縦横半分になる。（６）式中の４ｘ４の行列をＴとおく。すなわち、
【００５０】
【数７】
【００５１】
である。行列Ｔがウェーブレット変換を行う役割を持つ。（５）式の両辺にＴをかけ、単位行列であるＴ-1Ｔを挿入すると、
【００５２】
【数８】
【００５３】
を得る。ここで、（８）式の左辺は、ぼけ補正がなされた画像（以降、回復画像）をウェーブレット変換したものであるから、
【００５４】
【数９】
【００５５】
と表すことができる。ここで、ｒLL、ｒLH、ｒHL、ｒHHは回復後の画像のウェーブレット変換である。
【００５６】
（８）式の右辺も同様に、
【００５７】
【数１０】
【００５８】
と表すことができる。ここで、ＩLL、ＩLH、ＩHL、ＩHHは入力画像のウェーブレット変換である。
さらに、
【００５９】
【数１１】
【００６０】
と定義すると、（１）式の畳み込み演算は、（８）,（９）,（１０）,（１１）式を用いて、
【００６１】
【数１２】
【００６２】
と表すことができる。
【００６３】
さて、（１）式を変形して（１２）式にした。（１）式では一回の畳み込み演算となり、（１２）式では１６回の畳み込み演算になっている。さらに、入力画像サイズは帯域分割により縦横約半分になっている。また、後述するように（４）,（１１）式で定義されるフィルタのサイズも縦横約半分となる。畳み込み演算の乗算回数は、画像サイズ（面積）、フィルタサイズ（面積）、畳み込み演算の回数におおよそ比例する。そのため、（１）式を（１２）式のように変形することで乗算回数はおおよそ（１/４）×（１/４）×１６＝１で変わらない。このままでは、式が複雑になっただけでメリットが少ない。以下に明らかになるが、（１２）式を詳細に計算すると演算量自体が削減できることが示される。
【００６４】
本発明では、（１１）式で定義される左辺の１６個のフィルタを子フィルタと呼ぶ。これは、（１１）式の左辺が、複数の帯域の分割前の入力画像についての回復フィルタｆ（ｉ，ｊ）から生成されていることからである。
【００６５】
子フィルタは（４）、（７）、（１１）式によって計算することができる。具体的な計算例は後述するが、すべての子フィルタは以下の形式により表すことができる。
【００６６】
【数１３】
【００６７】
（１３）式において、ＩＤ１，ＩＤ２は、ＬＬ，ＬＨ，ＨＬ，ＨＨのいずれかを表す。ｗID1-ID2は、３×３の２次元帯域分割フィルタであり、子フィルタ１６個のそれぞれに対応して１６個存在する。また、↓は２次元の間引き処理を表す。例えば、
【００６８】
【数１４】
【００６９】
のように、縦横一つおきに間引く処理である。この間引き処理によってサイズが縦横約半分になる。すると、（１３）式から、子フィルタは回復フィルタに帯域分割フィルタをかけた後、縦横約半分に間引くことにより得られる。すると、子フィルタの大きさは回復フィルタのおおよそ縦横半分になる。帯域分割フィルタｗID1-ID2は、（４）,（７）,（１１）式によって計算することができる。計算の過程から帯域分割フィルタは、画像を帯域分割する変換行列に応じて計算されるという特徴をもち、回復フィルタには依存しないという特徴をもつ。（７）式の変換行列に対応する帯域分割フィルタを下記に表す。
【００７０】
【数１５ａ】
【００７１】
【数１５ｂ】
【００７２】
【数１５ｃ】
【００７３】
【数１５ｄ】
【００７４】
【数１５ｅ】
【００７５】
【数１５ｆ】
【００７６】
【数１５ｇ】
【００７７】
【数１５ｈ】
【００７８】
【数１５ｉ】
【００７９】
【数１５ｊ】
【００８０】
【数１５ｋ】
【００８１】
【数１５ｌ】
【００８２】
【数１５ｍ】
【００８３】
【数１５ｎ】
【００８４】
【数１５ｏ】
【００８５】
【数１５ｐ】
【００８６】
式（１５ａ）から、ｗLL-LLは縦横方向ともにローパスフィルタになっている。式（１５ｂ）から、ｗLL-LHは縦方向にはローパス、横方向にはバンドパスフィルタとなっている。式（１５ｃ）から、ｗLL-HLは縦方向にはバンドパスフィルタ、横方向にはローパスフィルタである。式（１５ｄ）から、ｗLL-HHは縦横方向ともにバンドパスフィルタである。ＩＤ１＝ＬＬの場合以外の帯域分割フィルタｗID1-ID2も同様に、縦か横方向にローパス・バンドパス・ハイパスのいずれかの特性を有するという特徴がある。そのため、（１３）式から、子フィルタは回復フィルタの特定の帯域の特性から作られていることが分かる。本発明では、（１３）式により回復フィルタを帯域分割していると言える。
【００８７】
以上の方法で得られた帯域分割フィルタｗID1-ID2には、次の特徴がある。すなわち、
【００８８】
【数１６】
【００８９】
帯域分割フィルタｗID1-ID2が（１６）式の対称性を持つことから、（１３）式を用いて子フィルタの対称性が次式のように決まる。
【００９０】
【数１７】
【００９１】
（１７）式はどのような回復フィルタであっても成立する恒等式である。さらには、回復フィルタに限らずとも、２次元のフィルタであれば（１２）式の形式で畳み込みを表現したときに、常に成り立つ関係式である。次に、（１７）式で表される子フィルタの対称性を利用して、畳み込みにかかる演算量を削減する。まず、（１２）式を畳み込み演算の記号＊を用いて表して次式を得る。
【００９２】
【数１８】
【００９３】
次に、子フィルタの直交成分を次のように置き換える。
【００９４】
【数１９】
【００９５】
（１８）式を（１９）式を用いて式変形すると、
【００９６】
【数２０】
【００９７】
（２０）式を得る。（２０）式をみると、同じ畳み込み演算を行っている箇所が複数見られる。例えば、回復画像のＬＬ成分ｒLLを計算する（２０ａ）式の第２項と、rLHを計算する（２０ｂ）式の第一項は同じ畳み込み演算を行っている。（２０）式では、独立した畳み込み演算は１０項であり、残り６項の畳み込み演算は重複している。同じ畳み込み演算の項は１回だけ計算すれば良いので、畳み込み演算の回数は１０回となる。先に述べたように、畳み込み演算にかかる乗算の回数はおよそ、フィルタのサイズ（面積）、画像のサイズ（面積）、畳み込み回数に比例する。
【００９８】
然るに、（２０）式では、フィルタサイズは縦横約半分、画像サイズも縦横約半分、畳み込み回数は１０回であるから、乗算回数は（１/４）×（１/４）×１０で０.６２５となる。つまり、（１）式の畳み込み演算を変形して（２０）式を得たわけであるが、（２０）式のようにすることで乗算回数が４割近く削減できることを本願発明者は発見した。これは何らかの近似を行ってかかる結果を得たわけでなく、あくまで式変形であるから（２０）式の計算結果は（１）式の計算結果に一致する。つまり、畳み込みの結果は同じで演算量だけ削減することができるのである。この計算結果は、畳み込み演算の対象として画像、回復フィルタに限らず２次元の配列二つについて成立する。このことは、画像、回復フィルタ特有の前提を用いずに、（１）式から（２０）式を導いたことから言うまでもないことである。また、子フィルタの生成方法は（１１）式で表されるが、帯域分割の方法として（７）式で定義されるウェーブレット変換以外を用いても、それに応じて（１１）式を計算すれば良い。そのため、本発明では帯域分割の方法を（７）式に限るものではない。
【００９９】
＜画像処理装置の各部の構成＞
図３の信号処理部１０３の部分詳細構成を示すブロック図、及び図６のフローチャートを用いて、ぼけ補正部２０１の構成と動作を説明する。
【０１００】
ステップＳ６０１において、画像帯域分割部３０１が、ホワイトバランス制御部２０２から入力画像を帯域分割して帯域分割画像を生成し、畳み込み演算部３０２に出力する。ステップＳ６０２において、フィルタ帯域分割部３０３が、ＲＯＭ１０８から回復フィルタを読み出し、フィルタ帯域分割により子フィルタデータを生成して畳み込み演算部３０２に出力する。ステップＳ６０３において、畳み込み演算部３０２が、帯域分割画像と子フィルタデータの畳み込み演算を行い、帯域分割された回復画像を生成して帯域合成部３０４へ出力する。ステップＳ６０４において、帯域合成部３０４が、帯域分割された回復画像を帯域合成して色変換部２０３に出力する。
【０１０１】
画像帯域分割部３０１では、入力画像に対して（６）式の演算により、帯域分割した画像ＩLL，ＩLH，ＩHL，ＩHHを畳み込み演算部３０２に出力する。また、フィルタ帯域分割部３０３では、（１３）,（１９）式の演算を行う。これにより、
ｆLL-LL’、ｆLL-LH’、ｆHL-HL’、ｆHH-HH’、ｆLL-LH、ｆLL-HL、ｆLL-HH’、ｆLH-HL、ｆLH-HH、ｆHL-HH、からなる１０個の子フィルタデータを生成する。そして、フィルタ帯域分割部３０３は、これらの子フィルタデータを、畳み込み演算部３０２に出力する。
【０１０２】
畳み込み演算部３０２では、（２０）式の演算を行う。図４に畳み込み演算部３０２の構成を示す。＊で示されたブロックは畳み込み演算を表す。ブロック図中の下段６つの畳み込み演算の結果は、補正後の帯域分割画像を計算するために２回ずつ使われていることが分かる。このことにより、本来１６回の畳み込み演算が必要なところを、１６回中６回の演算を共通化させることで、合計１０回の畳み込み演算で代用できる。つまり、複数のフィルタデータの一部は、複数の帯域の帯域分割画像のうち、２つ以上の帯域分割画像に対する畳み込み演算に使用される。
【０１０３】
以上の動作により、ぼけ補正に必要な畳み込み演算の計算量を減らすことができ、しかも単純に畳み込み演算を行った結果と同様の演算結果を得ることができる。
【０１０４】
また、ぼけ補正では、画像の位置に応じて、ぼけの度合いが異なるため、画像の位置に応じて本手法を適用する必要があることは言うまでもない。また、画像の端等では畳み込み演算に必要な画素が存在しない場合が考えられるが、その際はダミーの画素値を用いる等の工夫がある。
【０１０５】
また、図６に示すフローチャートをプログラムとしてＰＣで実行しても、畳み込み演算にかかる計算量を減らすことができることは言うまでもない。
【０１０６】
＜回復フィルタ、変換行列からの子フィルタを計算する手順＞
子フィルタは、（４），（７），（１１）式によって計算することができる。その計算過程は複雑であるため、ここではｆLL-LLを例にとり計算過程を示す。他の子フィルタについても同様にして決定される。
【０１０７】
（１１）式を計算すると
【０１０８】
【数２１】
【０１０９】
が得られる。ここで省略されているインデックスを書き出して次式を得る。
【０１１０】
【数２２】
【０１１１】
ここでｉ，ｊ，α，βは、（１２）式中の畳み込み演算に関わる指標である。今、知りたいのは、ｆLL-LLの中身なので、ｉ−α＝ｉ’、ｊ−β＝ｊ’と定義する。すると、
【０１１２】
【数２３】
【０１１３】
を得る。上式から子フィルタｆLL-LLは、回復フィルタｆの各要素の加重平均であることが分かる。また、上式右辺のインデックスｉ’，ｊ’には常に２倍されている。そこで、前述した間引き演算↓を用いて上式を変形すると
【０１１４】
【数２４】
【０１１５】
を得る。上式は、回復フィルタｆ（ｉ，ｊ）に（１５ａ）式のローパスフィルタをかけた後に間引き処理を行ったものがｆLL-LLに等しいことを示す。同様にして、他の子フィルタも計算によって求めることができる。また、同様の計算過程により（７）式で定義されるウェーブレット変換行列Ｔ以外でも子フィルタを計算によって求めることができる。
【０１１６】
以上説明したように、実施形態１によれば、画像を低帯域と高帯域に帯域分割し、各帯域画像についてのフィルタの畳み込み演算の一部の演算を帯域間で共通化する。これにより、低帯域及び高帯域について画像回復を実現するとともに、その演算量を低減することができる。
【０１１７】
＜実施形態２＞
実施形態１では、子フィルタデータを生成する構成としているが、これに限定されない。実施形態２として、例えば、子フィルタデータを予め計算しておいて、ＲＯＭ１０８に記憶しておき、これを利用して畳み込み演算を実行するようにしても良い。
【０１１８】
実施形態２のぼけ補正部を図５に示す。予め計算された子フィルタデータはＲＯＭ１０８に記憶し、畳み込み演算部５０２はＲＯＭ１０８から子フィルタデータを読み出し、この子フィルタデータを用いて画像帯域分割部５０１からの帯域分割画像に対して（２０）式で表される畳み込み演算を行う。
【０１１９】
図６の処理においては、特に、ステップＳ６０２において、畳み込み演算部３０２が、ＲＯＭ１０８から子フィルタデータを読み出す。そして、ステップＳ６０３において、畳み込み演算部３０２が、帯域分割画像と子フィルタデータの畳み込み演算を行い、帯域分割された画像を計算して帯域合成部３０４へ出力することになる。
【０１２０】
以上説明したように、実施形態２によれば、実施形態１で説明する効果に加えて、ＲＯＭ１０８に予め子フィルタデータを記憶しておくことで、子フィルタデータ生成に必要な計算時間を短縮することができる。
【０１２１】
＜実施形態３＞
すでに述べている通り、本発明は、（７）式以外の変換行列に対しても成立する。その例として実施形態３では次式の変換行列を用いた実施形態を示す。
【０１２２】
【数２５】
【０１２３】
計算の手順は実施形態１と同様なのでｆLL-LLだけ計算例とその結果を示す。
【０１２４】
（２４）式に対応して次式が導かれる。
【０１２５】
【数２６】
【０１２６】
上式での実施形態１との違いは、回復フィルタｆの各係数に付与する重みである。上式では回復フィルタに
【０１２７】
【数２７】
【０１２８】
で示されるローパスフィルタをかけた後に間引き演算を行ったものが（２５）式の変換行列に対応する子フィルタｆLL-LLであることを示している。
【０１２９】
以上説明したように、様々な変換行列についても、実施形態１と同様の効果を得ることができる。
【０１３０】
尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
画像のぼけ補正を行う補正処理を実行する画像処理装置であって、
入力画像を複数の帯域に分割して帯域分割画像を生成する画像帯域分割手段と、
前記画像帯域分割手段が生成した前記複数の帯域の各帯域についての帯域分割画像に対して、前記ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する畳み込み演算手段と、
前記畳み込み演算手段によって生成した前記複数の各帯域についての画像を帯域合成する帯域合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数の帯域の分割前の入力画像についてのぼけ補正を行うためのフィルタから、前記複数の帯域の各帯域に対するフィルタに分割することで、前記複数のフィルタを生成するフィルタ帯域分割手段を更に備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の帯域の分割前の入力画像についてのぼけ補正を行うためのフィルタから、前記複数の帯域の各帯域に対するフィルタに分割することで生成した前記複数のフィルタを記憶する記憶手段を更に備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数のフィルタは、撮像光学系によるぼけ補正を行うためのフィルタである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像帯域分割手段は、ウェーブレット変換によって、前記入力画像を前記複数の帯域に分割する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記フィルタ帯域分割手段が生成する前記複数のフィルタのそれぞれは、前記複数の帯域の分割前の入力画像についてのぼけ補正を行うためのフィルタのサイズよりも小さい
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記畳み込み演算手段において、前記フィルタ帯域分割手段が生成する前記複数のフィルタの一部は、前記画像帯域分割手段が生成する複数の帯域の帯域分割画像のうち、２つ以上の帯域分割画像に対する畳み込み演算に使用される
ことを特徴とする請求項２に記載の画像処理装置。
【請求項８】
画像のぼけ補正を行う補正処理を実行する画像処理装置の制御方法であって、
入力画像を複数の帯域に分割して帯域分割画像を生成する画像帯域分割工程と、
前記画像帯域分割工程が生成した前記複数の帯域の各帯域についての帯域分割画像に対して、前記ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する畳み込み演算工程と、
前記畳み込み演算工程によって生成した前記複数の各帯域についての画像を帯域合成する帯域合成工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
画像のぼけ補正を行う補正処理をコンピュータに実行させるためのプログラムであって、
前記コンピュータを、
入力画像を複数の帯域に分割して帯域分割画像を生成する画像帯域分割手段と、
前記画像帯域分割手段が生成した前記複数の帯域の各帯域についての帯域分割画像に対して、前記ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する畳み込み演算手段と、
前記畳み込み演算手段によって生成した前記複数の各帯域についての画像を帯域合成する帯域合成手段と
して機能させることを特徴とするプログラム。
【請求項１】
画像のぼけ補正を行う補正処理を実行する画像処理装置であって、
入力画像を複数の帯域に分割して帯域分割画像を生成する画像帯域分割手段と、
前記画像帯域分割手段が生成した前記複数の帯域の各帯域についての帯域分割画像に対して、前記ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する畳み込み演算手段と、
前記畳み込み演算手段によって生成した前記複数の各帯域についての画像を帯域合成する帯域合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数の帯域の分割前の入力画像についてのぼけ補正を行うためのフィルタから、前記複数の帯域の各帯域に対するフィルタに分割することで、前記複数のフィルタを生成するフィルタ帯域分割手段を更に備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の帯域の分割前の入力画像についてのぼけ補正を行うためのフィルタから、前記複数の帯域の各帯域に対するフィルタに分割することで生成した前記複数のフィルタを記憶する記憶手段を更に備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数のフィルタは、撮像光学系によるぼけ補正を行うためのフィルタである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像帯域分割手段は、ウェーブレット変換によって、前記入力画像を前記複数の帯域に分割する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記フィルタ帯域分割手段が生成する前記複数のフィルタのそれぞれは、前記複数の帯域の分割前の入力画像についてのぼけ補正を行うためのフィルタのサイズよりも小さい
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記畳み込み演算手段において、前記フィルタ帯域分割手段が生成する前記複数のフィルタの一部は、前記画像帯域分割手段が生成する複数の帯域の帯域分割画像のうち、２つ以上の帯域分割画像に対する畳み込み演算に使用される
ことを特徴とする請求項２に記載の画像処理装置。
【請求項８】
画像のぼけ補正を行う補正処理を実行する画像処理装置の制御方法であって、
入力画像を複数の帯域に分割して帯域分割画像を生成する画像帯域分割工程と、
前記画像帯域分割工程が生成した前記複数の帯域の各帯域についての帯域分割画像に対して、前記ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する畳み込み演算工程と、
前記畳み込み演算工程によって生成した前記複数の各帯域についての画像を帯域合成する帯域合成工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
画像のぼけ補正を行う補正処理をコンピュータに実行させるためのプログラムであって、
前記コンピュータを、
入力画像を複数の帯域に分割して帯域分割画像を生成する画像帯域分割手段と、
前記画像帯域分割手段が生成した前記複数の帯域の各帯域についての帯域分割画像に対して、前記ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する畳み込み演算手段と、
前記畳み込み演算手段によって生成した前記複数の各帯域についての画像を帯域合成する帯域合成手段と
して機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１２８５２９（Ｐ２０１２−１２８５２９Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７７４２３（Ｐ２０１０−２７７４２３）
【出願日】平成２２年１２月１３日（２０１０．１２．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１３日（２０１０．１２．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]