説明

画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム

【課題】画像の各構成画素の像高等に応じた最適なぼけ補正処理を実行する装置、方法を提供する。
【解決手段】画像のぼけ補正処理を実行する画像信号補正部を有し、画像信号補正部は、基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高に応じたブレンド係数を適用してブレンドし、ブレンド処理によって生成したフィルタを適用してぼけ補正を実行する。例えば、ぼけ補正対象画素の画素位置が、画像中心から遠く像高が大きくなるに従って、座標位置対応ハイパスフィルタのブレンド率を減少させたブレンドを実行する。あるいは、さらに、像高に応じた強度調整を行った強度調整ぼけ補正フィルタを生成してぼけ補正を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、および画像処理方法、情報記録媒体、並びにプログラムに関する。特に、画像のぼけ補正を実行する画像処理装置、および画像処理方法、情報記録媒体、並びにプログラムに関する。
【背景技術】
【0002】
デジタルカメラ等の撮像装置において撮影される画像には、例えば、フォーカスずれや、レンズの収差、さらに、撮像素子であるCCDやCMOS等で発生するノイズなどに起因して、ノイズやぼけが発生する。
特に、安価なレンズを用いたカメラでは、像高(光学中心からの距離)が大きくなるほど、レンズの収差に起因した画像のぼけが大きくなる。
【0003】
このような様々な要因に基づく画像のノイズやぼけの補正処理について開示した従来技術として、例えば、特許文献1(特開2006−246080号公報)、特許文献2(特開2009−159603号公報)、特許文献3(特開2010−081263号公報)などがある。
【0004】
特許文献1(特開2006−246080号公報)は、撮影画像の領域単位で異なる先鋭化パラメータを用いた補正処理構成を開示している。具体的には、像高(光学中心からの距離)が大きくなるほど、先鋭化パラメータを強くして画像補正を行う構成である。
しかし、この特許文献1の処理は、像高に応じて高周波成分の強度を強める処理を施すのみであり、例えば倍率色収差やぼけの周波数特性の変化等については考慮しておらず、適切な補正が実行されない場合が発生するという問題がある
【0005】
また、特許文献2(特開2009−159603号公報)は、レンズの固体差や製造誤差によって変化するぼけに対応するため、それぞれのレンズ特性に応じたフィルタを選択してぼけ補正処理を実行する構成を開示している。
しかし、上述の像高依存型のぼけのように像高に応じてぼけ方が連続的に変化するぼけに対して、この補正処理を適用しようとすると、ぼけ補正用のフィルタの種類が膨大な数になるという問題が発生する。
【0006】
さらに、特許文献3(特開2010−081263号公報)は、像高によって偏りの発生するぼけ方を示すいわゆる片ぼけに対して、像高ごとに重心位置をずらしたフィルタを適用することで、像高に応じた適切な補正を実行する構成を開示している。
具体的には、フィルタの重心位置の補正によって片ぼけに対応した補正を行うものである。しかし、重心位置の補正に主眼をおいており、補正強度の制御については示されておらず、ぼけの強い部分や弱い部分に対応した個別の処理が実行されず、適切な補正がなされない場合が発生する。
【0007】
さらに、撮像素子に付属するフィルタとしてRGBの各色に加え、全波長透過型のW(White)画素を備えたRGBW配列を持つフィルタを備えた撮像装置の撮影画像に対する補正処理について、特許文献4(特開2011−55038号公報)に記載がある。
【0008】
W(White)画素を備えたRGBW配列を持つフィルタを利用した場合、W画素が波長領域の広い可視光を透過するため、被写体の色によってぼけ方が異なる。
上記特許文献4の処理は、被写体色に依存しない一律な補正を行う構成であり、被写体の色によって異なるぼけ方に対して十分な補正効果が得られない場合が発生するという問題がある。
【0009】
また、上述した上記従来技術の構成の多くは、例えば、畳み込み演算によるフィルタリングに基づく画素値補正を行うものであるが、様々な補正を行うために、このフィルタリングを行うためのフィルタを多数、格納するため容量の大きなメモリを必要とするなど、小型かつ低コストのカメラに実装するには問題がある。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2006−246080号公報
【特許文献2】特開2009−159603号公報
【特許文献3】特開2010−081263号公報
【特許文献4】特開2011−055038号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
本開示は、例えば上記問題点に鑑みてなされたものであり、画像のぼけ補正を行う構成において、特に像高に応じた適切な補正を実現する画像処理装置、および画像処理方法、情報記録媒体、並びにプログラムを提供することを目的とする。
また、本開示の一実施例では、様々な態様のぼけに応じたぼけ補正フィルタを、基本的なフィルタに基づいて適宜算出して利用する構成とすることで、予めメモリに格納するフィルタの数を削減可能とした画像処理装置、および画像処理方法、情報記録媒体、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
本開示の第1の側面は、
画像のぼけ補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタを、前記ぼけ補正対象画素の像高に応じて決定するブレンド係数を適用してブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行するぼけ補正処理部を有する画像処理装置にある。
【0013】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記基本フィルタと、前記座標位置対応ハイパスフィルタを、前記ぼけ補正対象画素の像高とフォーカス位置情報に応じて決定するブレンド係数を適用してブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行する。
【0014】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記ブレンド処理において、ぼけ補正対象画素の画素位置が、画像中心から遠く、像高が大きくなるに従って、前記座標位置対応ハイパスフィルタのブレンド率を減少させたブレンド処理を実行する。
【0015】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、予めメモリに保持されたx方向調整用ハイパスフィルタ(HPF_x)と、y方向調整用ハイパスフィルタ(HPF_y)と、画角中央位置[(x,y)=(0,0)]に対応する中心フィルタ(HPF_center)を、ぼけ補正対象画素の画素位置に応じてブレンドすることで、前記座標位置対応ハイパスフィルタを生成する。
【0016】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、さらに、前記座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高に応じてエンハンス強度調整を実行して強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正処理を行う。
【0017】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記座標位置対応ハイパスフィルタを、直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じた強度調整パラメータを適用した調整処理を行い、調整処理を行った交流成分と前記直流成分の再合成により、前記強度調整フィルタを生成する。
【0018】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高と、フォーカス位置情報に応じた強度調整パラメータを適用したエンハンス強度調整を実行して前記強度調整フィルタを生成する。
【0019】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、さらに、画像のエッジ情報を検出するエッジ検出部と、画像信号補正結果を出力するブレンド処理部を有し、前記ブレンド処理部は、前記エッジ検出部の出力するエッジ情報と、前記ぼけ補正処理部におけるぼけ補正処理によって生成したぼけ補正済み信号と、ぼけ補正処理を実行する前のぼけ補正前信号、を入力して、前記エッジ情報に応じて決定するブレンド比率に応じて、前記ぼけ補正済み信号と前記ぼけ補正前信号とのブレンド処理を実行して出力信号を生成する。
【0020】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、RGB画素とW(ホワイト)画素からなるRGBW配列を有する撮像素子の出力信号に対するぼけ補正処理を実行する構成であり、W画素信号に対するぼけ補正処理に際して、補正対象のW画素信号を含む局所領域の色比率を反映した色比率反映ぼけ補正フィルタを生成し、該色比率反映フィルタを適用したぼけ補正処理を実行する。
【0021】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記撮像素子の出力信号に含まれるW画素信号を利用した補間処理により、全画素対応のW画素信号を持つ補間画像を生成し、生成した補間画像を構成するW画素各々について前記色比率反映ぼけ補正フィルタを生成し、該色比率反映フィルタを適用したぼけ補正処理を実行する。
【0022】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記局所領域のRGB各色の低周波成分を算出し、算出したRGB各色の低周波成分の値の比率を前記局所領域の色比率とする。
【0023】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記局所領域のRGBの各色比率に応じて決定するブレンド比率に応じて、予めメモリに保持されたR対応ぼけ補正フィルタと、G対応ぼけ補正フィルタと、B対応ぼけ補正フィルタとをブレンドして前記色比率反映ぼけ補正フィルタを生成する。
【0024】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、ぼけ補正対象画素を含む複数画素からなる局所領域に飽和画素が含まれるか否かを検出する飽和検出部を有し、前記ぼけ補正処理部は、前記飽和検出部からの検出情報を入力し、前記局所領域に飽和画素が含まれる場合には、前記ぼけ補正対象画素のぼけ補正を実行せず、飽和画素が含まれない場合にのみ、前記ぼけ補正対象画素のぼけ補正を実行する。
【0025】
さらに、本開示の第2の側面は、
画像のぼけ補正を実行する画像信号補正部を有し、
前記画像信号補正部は、
ぼけ補正用フィルタを直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じて算出する強度調整パラメータを適用した強度調整を行い、強度調整交流成分と前記直流成分の再合成により、強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正を実行する画像処理装置にある。
【0026】
さらに、本開示の第3の側面は、
画像処理装置において画像のぼけ補正処理を実行する画像処理方法であり、
画像信号補正部が、
ぼけ補正対象画素の像高に応じて決定するブレンド比率に応じて、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタとをブレンドするブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行する画像処理方法にある。
【0027】
さらに、本開示の第4の側面は、
画像処理装置において画像のぼけ補正処理を実行する画像処理方法であり、
画像信号補正部が、
ぼけ補正用フィルタを直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じて算出する強度調整パラメータを適用した強度調整を行い、強度調整交流成分と前記直流成分の再合成により、強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正を実行する画像処理方法にある。
【0028】
さらに、本開示の第5の側面は、
画像処理装置において画像のぼけ補正処理を実行させるプログラムであり、
画像信号補正部に、
ぼけ補正対象画素の像高に応じて決定するブレンド比率に応じて、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタとをブレンドするブレンド処理を実行させ、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行させるプログラムにある。
【0029】
さらに、本開示の第6の側面は、
画像処理装置において画像のぼけ補正処理を実行させるプログラムを記録した記録媒体であり、
画像信号補正部に、
ぼけ補正対象画素の像高に応じて決定するブレンド比率に応じて、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタとをブレンドするブレンド処理を実行させ、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行させるプログラムを記録した記録媒体にある。
【0030】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0031】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【0032】
本開示の一実施例の構成によれば、画像の各構成画素の像高等に応じた最適なぼけ補正処理を実行する装置、方法が実現される。
具体的には、画像のぼけ補正処理を実行する画像信号補正部を有し、画像信号補正部は、基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高に応じたブレンド係数を適用してブレンドし、ブレンド処理によって生成したフィルタを適用してぼけ補正を実行する。例えば、ぼけ補正対象画素の画素位置が、画像中心から遠く像高が大きくなるに従って、座標位置対応ハイパスフィルタのブレンド率を減少させたブレンドを実行する。あるいは、さらに、像高に応じた強度調整を行った強度調整ぼけ補正フィルタを生成してぼけ補正を行う。
これらの処理により、画像の各構成画素の像高等に応じた最適なぼけ補正処理が実現される。
【図面の簡単な説明】
【0033】
【図1】像高に応じて発生するぼけの態様について説明する図である。
【図2】ウィナーフィルタによるぼけ補正処理の一例について説明する図である。
【図3】本開示の画像処理装置の構成例について説明する図である。
【図4】本開示の画像処理装置の構成例について説明する図である。
【図5】画像信号補正部の実行する処理の全体シーケンスを説明するフローチャートを示す図である。
【図6】飽和画素が含まれる画素領域に対するぼけ補正と偽色発生について説明する図である。
【図7】ぼけ補正対象画素の周囲に飽和画素が含まれる場合、補正対象画素のぼけ補正を行わない設定とする処理について説明する図である。
【図8】平坦度(weightFlat)について説明する図である。
【図9】フィルタ生成処理の詳細シーケンスについて説明するフローチャートを示す図である。
【図10】座標位置対応ハイパスフィルタ(HPF_dist)を生成するシーケンスについて説明するフローチャートを示す図である。
【図11】座標位置対応ハイパスフィルタ(HPF_dist)を生成するために適用するハイパスフィルタの例について説明する図である。
【図12】フィルタのエンハンス特性を示す図である。
【図13】(a)レンズMTF特性、(b)ウィナー(Wiener)フィルタ特性、(c)ブレンド係数αの設定例について説明する図である。
【図14】エンハンス強度調整したぼけ補正フィルタ(Ffinal)を生成する処理について説明する図である。
【図15】エンハンス強度調整したぼけ補正フィルタ(Ffinal)を生成する処理について説明する図である。
【図16】フィルタのエンハンス特性を示す図である。
【図17】(a)レンズMTF特性、(b)ウィナー(Wiener)フィルタ特性、(c)エンハンス強度調整パラメータβの設定例について説明する図である。
【図18】RGBWフィルタにおける各色の分光強度特性を示す図である。
【図19】RGBW各色のMTF特性を示す図である。
【図20】RGBW画像のRGB画像への変換処理について説明する図である。
【図21】画像処理装置の一実施例について説明する図である。
【図22】画像処理装置の一実施例について説明する図である。
【図23】画像信号補正部の実行する処理の全体シーケンスを説明するフローチャートを示す図である。
【図24】低周波成分mR,mG,mBを算出する低周波成分算出フィルタの構成例について説明する図である。
【図25】低周波成分mR,mG,mBを算出する低周波成分算出フィルタの構成例について説明する図である。
【図26】低周波成分mR,mG,mBを算出する低周波成分算出フィルタの構成例について説明する図である。
【図27】低周波成分mR,mG,mBを算出する低周波成分算出フィルタの構成例について説明する図である。
【図28】W対応ぼけ補正フィルタの算出処理例について説明する図である。
【図29】低周波成分mWを算出する低周波成分算出フィルタ、ノイズ信号を除去したW信号Wnを算出するフィルタの例について説明する図である。
【図30】局所領域におけるWとGの画素値比率の対応関係例について説明する図である。
【発明を実施するための形態】
【0034】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、情報記録媒体、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.撮影画像に発生するぼけの特性と、ぼけ補正に適用可能なフィルタの概要について
2.(実施例1)画像処理装置の構成例について
3.実施例1に係る画像処理装置のぼけ補正処理の詳細について
4.(実施例2)色比率を考慮したぼけ補正を実行する画像処理装置の構成例について
5.実施例2に係る画像処理装置のぼけ補正処理の詳細について
6.本開示の構成のまとめ
【0035】
[1.撮影画像に発生するぼけの特性と、ぼけ補正に適用可能なフィルタの概要について]
本開示の画像処理装置の具体的な説明の前に、撮影画像に発生するぼけの特性と、ぼけ補正に適用可能な基本的なフィルタの概要について説明する。
【0036】
前述したように、デジタルカメラ等の撮像装置によって撮影された画像には、レンズ特性やCCD、CMOS等の撮像素子の特性に応じたぼけが発生する。
特に、安価なレンズを用いたカメラでは、像高(光学中心からの距離)が大きくなるほど、レンズの収差に起因した画像のぼけが大きくなる。
【0037】
像高に応じて発生するぼけの態様について、図1を参照して説明する。
図1は、矩形の白領域と黒領域が交互に設定されたチェッカーパターンの撮影画像を示している。
図1に示すように、画像の中心領域は、ぼけが小さい。すなわち、光学中心に近い(像高が小さい)ほど、ぼけが小さい。
一方、光学中心からの距離が大きくなるほど、すなわち像高が大きくなるほど、ぼけが大きくなる。
このように、カメラによる撮影画像に発生するぼけは、カメラのレンズの光学中心に近い画像領域の中心部ほど小さく、レンズの光学中心から遠い画像の周辺領域ほど大きくなる傾向がある。
【0038】
次に、画像のぼけ補正に利用されるフィルタの一例としてウィナー(Wiener)フィルタについて簡単に説明する。
(1)ぼけのない理想画像(原画像)、
(2)ぼけのある撮影画像、
(3)撮影画像に対するフィルタの適用処理によって復元される復元画像、
これらの3つの画像を想定する。
ここで、
(1)ぼけのない理想画像(原画像)と、
(3)撮影画像に対するフィルタの適用処理によって復元される復元画像、
これらの2つの画像の二乗誤差を最小とするフィルタが、最小二乗フィルタ、またはウィナー(Wiener)フィルタと呼ばれる。
【0039】
f(x,y)を、ぼけのない理想画像(原画像)、
g(x,y)を、ぼけを含む撮影画像、
h(x,y)を、レンズ収差や手ぶれによる劣化関数、
n(x,y)を、ノイズ成分、
とする。
(x,y)は各画像の画素位置であり、f(x,y)〜n(x,y)は各画像の座標位置(x,y)の画素値を示す場合もある。
ここで、レンズ収差や手ぶれによる劣化関数h(x,y)が、固定値であると仮定すると、以下の(式1)の関係が成り立つ。
【0040】
【数1】

・・・・(式1)
【0041】
上記式の両辺をフーリエ変換すると、
G(u,v)=H(u,v)×F(u,v)+N(u,v)・・・・(式2)
となる。
ここで、G(u,v),H(u,v),F(u,v),N(u,v)はそれぞれg(x,y),h(x,y),f(x,y),n(x,y)のフーリエ変換を表す。
この式からレンズ収差や手ぶれによる劣化関数に零点がなく、ノイズ成分が既知であるとき、F(u,v)は、以下の(式3)から求めることが可能である。
【0042】
【数2】

・・・・(式3)
【0043】
しかしながら、一般にノイズ成分は未知であるため、上記(式3)を厳密に解くことはできない。そこで、理想画像(F)と、ぼけの補正された復元画像(F')の誤差を最小とする以下の(式4)のウィナー(Wiener)フィルタK(u,v)を用いてぼけ補正が行われる。
【0044】
【数3】

・・・・(式4)
ただし、上記(式4)において、
(Sn(u,v)/Sf(u,v)):理想画像(原画像)Fと、ノイズNとのパワースペクトル密度(Γ)を示す。
(Γ=Sn(u,v)/Sf(u,v))
【0045】
以下に示す(式5)のとおり、このフィルタを逆フーリエ変換したものk(x,y)と、観測画像を実空間で畳み込むことで、ぼけ補正のされた画像f'(x,y)を得ることができる。
【0046】
【数4】

・・・・(式5)
【0047】
上記(式5)に従ったウィナーフィルタによるぼけ補正処理の一例を図2に示す。
図2には、
(a)撮影画像G
(b)ウィナーフィルタK
これらを示している。
【0048】
(a)撮影画像は、W(White)画素を含むRGBW画素からなるRAW画像である。
ここで、補正対象画素は図2(a)に示す7×7画素の中心のW画素である。
(b)に示すウィナーフィルタKは、7×7画素に含まれる複数のW画素各々に対する乗算係数を示したものである。7×7画素に含まれるW画素の画素値に各係数を乗算して加算する畳み込み演算を実行して、中心のW画素の補正画素値を算出する。
【0049】
なお、図2に示す例はRGBW構成の画像のW画素に対する処理例を示しているが、R,G,Bの各画素に対しても同様のフィルタ処理が行われる。
またRGBW構成ではなくRGB構成の画像に対しても同様のウィナーフィルタ適用処理によるぼけ補正が行われる。
【0050】
[2.(実施例1)画像処理装置の構成例について]
図3、図4を参照して、本開示の画像処理装置の構成例について説明する。
図3は、本開示の画像処理装置の一実施例である撮像装置100の構成例を示す図である。撮像装置100は、光学レンズ105、撮像素子(イメージセンサ)110、信号処理部120、メモリ130、制御部140を有する。なお、撮像装置は画像処理装置の一態様である。
【0051】
なお、本開示の画像処理装置には、例えばPCなどの装置も含まれる。PC等の画像処理装置は、図3に示す撮像装置100の光学レンズ105、撮像素子110を持たず、その他の構成要素から構成され、撮像素子100の取得データの入力部、または記憶部を持つ構成となる。
【0052】
以下では、図3に示す撮像装置100を本開示の画像処理装置の代表例として説明する。なお、図3に示す撮像装置100は、例えばスチルカメラ、ビデオカメラなどである。
【0053】
図3に示す撮像装置100の撮像素子(イメージセンサ)110は、RGB配列からなるベイヤ配列を持つカラーフィルタを備えた構成である。
まず、RGB配列からなる撮像素子110を利用した構成と処理について説明する。
後段で、RGBW配列を持つ撮像素子を利用した構成と処理例について説明する。
【0054】
図3に示す撮像装置100の撮像素子(イメージセンサ)110は、RGB配列181を持つ。すなわち、
赤色近傍の波長を透過する赤(R)、
緑色近傍の波長を透過する緑(G)、
青色近傍の波長を透過する青(B)、
これら3種類の分光特性を持つフィルタを備えた撮像素子である。
【0055】
このRGB配列181を持つ撮像素子110は、光学レンズ105を介してRGBいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子110によってRGB3種類の分光から成るモザイク画像が得られる。
【0056】
撮像素子(イメージセンサ)110の出力信号は信号処理部120の画像信号補正部200に入力される。
画像信号補正部200は、例えば像高(光学中心からの距離)やフォーカス位置に応じて変化するぼけ方を考慮したぼけ補正処理を実行する。この画像信号補正部200の構成と処理の詳細については後述する。
【0057】
画像信号補正部200においてぼけ補正のなされたRGB画像はRGB信号処理部250に出力される。
画像信号補正部200の出力は、撮像素子110からの出力と同様、ベイヤ配列を持つデータである。
【0058】
RGB信号処理部250は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像183を生成する。生成したカラー画像183はメモリ130に記録される。
【0059】
制御部140は、これら一連の処理の制御を実行する。例えば、一連の処理を実行させるプログラムがメモリ130に格納されており、制御部140は、メモリ130から読み出したプログラムを実行して一連の処理を制御する。
なお、メモリ130は、例えば磁気ディスク、光ディスク、フラッシュメモリ等の各種記録媒体によって構成可能である。
【0060】
画像信号補正部200の詳細構成について図4を参照して説明する。
画像信号補正部200は、図4に示すように、ラインメモリ201、像高算出部202、飽和検出部203、ぼけ補正処理部210、エッジ検出部221、ブレンド処理部230を有する。
ブレンド処理部230は、加重加算処理部235を有する。
【0061】
撮像素子110から出力された各画素対応の画素値信号は一旦、ラインメモリ201に蓄えられる。
また、各画素の画素値に対応付けられた各画素の座標位置を示すxyアドレスが像高算出部202に出力される。
ラインメモリ201は撮像素子の水平7ライン分のラインメモリを有する。ラインメモリ201からは7つの水平ライン分のデータを並列に順次出力する。出力先は、ぼけ補正処理部210、エッジ検出部221、飽和検出部203である。これらの各処理部に対して、RGB配列181の撮像データが7ライン単位で出力される。
【0062】
エッジ検出部221は、ラインメモリ201からの出力信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成してブレンド処理部230に出力する。
具体的には、例えば、処理対象画素(7×7画素の中心画素)を中心として7×7画素の画素情報から算出される平坦度(weightFlat)を算出してブレンド処理部230に出力する。
なお、この平坦度(weightFlat)算出処理は、本出願人の先の出願である特開2011−55038号公報に記載の処理と同様の処理として実行可能である。
【0063】
ぼけ補正処理部210は、ラインメモリ201からの入力信号(Rin,Gin,Bin)を検証して、画像ぼけを削減する処理を行い、その処理結果として得られるぼけ補正信号(Rd,Gd,Bd)を算出してブレンド処理部230に出力する。
【0064】
ブレンド処理部230は、ラインメモリ201からの出力信号中のRGB信号(Rin,Gin,Bin)と、エッジ検出部221から出力されるエッジ情報、およびぼけ補正処理部210から出力されるぼけ補正信号(Rd,Gd,Bd)を入力する。
ブレンド処理部230は、これらの情報を利用して、エッジを考慮したぼけ補正のなされた出力信号RGBを生成してRGB信号処理部250に出力する。
【0065】
ブレンド処理部230は、加重加算処理部235を有し、加重加算処理部235は、エッジ検出部221で算出した処理対象画素のエッジ情報、すなわち、処理対象画素(7×7画素の中心画素)を中心として7×7画素の画素情報から算出される平坦度(weightFlat)に応じて、ぼけ補正処理部210から出力されるぼけ補正信号(Rd,Gd,Bd)の加重平均処理を実行して、RGB配列181のRGB各画素値を算出する。具体的には、以下の式に従ってRGB画素値を決定する。
R=(weightFlat)×(Rd)+(1−weightFlat)×Rin
G=(weightFlat)×(Gd)+(1−weightFlat)×Gin
B=(weightFlat)×(Bd)+(1−weightFlat)×Bin
この式の算出結果として得られるR、G、BをRGB信号処理部250に出力する。
【0066】
RGB信号処理部250は、一般的なカメラや画像処理装置が持つRGB配列(ベイヤ配列)信号に対する信号処理部と同様である。RGB信号処理部250は、ブレンド処理部230から出力されるRGB配列(ベイヤ配列)信号に対する信号処理を実行してカラー画像183(図3参照)を生成する。RGB信号処理部250は、具体的には、例えばホワイトバランス調整処理、デモザイク処理、シェーディング処理、RGBカラーマトリクス処理、γ補正処理などを実行してカラー画像183を生成する。
【0067】
図5に画像信号補正部200の実行する処理の全体シーケンスを説明するフローチャートを示す。
まず、ステップS101において、像高等に応じたぼけ補正フィルタを生成する。この処理は、ぼけ補正処理部210において実行される。
ぼけ補正処理部210は、像高算出部202から、ぼけ補正対象画素のxyアドレスに基づいて算出された像高(画像中心(=光学中心)からの距離)情報を入力して、像高等に応じたぼけ補正フィルタを生成する。
なお、この具体的な処理については後述する。
【0068】
次に、ステップS102において、ぼけ補正対象画素が飽和しているか否かが判定される。
具体的には、図4に示す飽和検出部203において、ぼけ補正対象画素の飽和検出が実行され、この検出情報がぼけ補正処理部210に入力される。
補正対象画素が飽和している場合、ぼけ補正を実行すると偽色が発生する可能性がある。これは、ぼけ補正処理には、ぼけ補正対象となる画素の周囲の画素の画素値を参照して、補正対象画素の画素値を設定する処理を含むからである。
【0069】
例えば、図6(a)に示す画像の画素領域271aはハイライト画素、すなわち飽和画素が含まれる画素領域である。
このような飽和画素を含む画素領域271aに対して、ぼけ補正処理を施すと、図6(b)の画素領域271bに示すようにぼけは減少するが、本来の被写体の色と異なる色が設定される偽色が発生する。
このような偽色発生を防止するため、図7に示すように、ぼけ補正対象画素の周囲、例えば補正対象画素を中心とする7×7画素に飽和画素が含まれる場合、補正対象画素のぼけ補正を行わない設定とする。
【0070】
このように、ぼけ補正処理部210は、飽和検出部203における飽和画素(ハイライト)領域の検出情報に応じて、飽和画素領域は、ぼけ補正処理なし信号に置き換える処理を行う。
飽和検出部203は、例えば、ぼけ処理対象画素を中心とした7×7画素領域の画素に対して、予め既定したしきい値を超えてないか判断する。7×7画素領域の1画素でもしきい値を超えていれば、飽和検出情報をぼけ補正処理部210に出力する。
ぼけ補正処理部210は、7×7画素領域の1画素でもしきい値を超えていれば、偽色が発生する可能性が高いため、補正処理なし信号に置き換える処理を行う。
【0071】
この処理は、図5に示すフローのステップS102の判定がYesと判定された場合の処理に対応し、この場合は、ステップS103,S104を実行せず、ステップS105に進む。
すなわち、処理対象画素(7×7画素の中心画素)に対するぼけ補正処理は実行しない。
【0072】
ぼけ処理対象画素を中心とした7×7画素領域の画素のいすれも、予め既定したしきい値を超えず、飽和検出がなされなかった場合は、ステップS102の判定はNoとなり、ステップS103においてフィルタを適用したぼけ補正処理を実行する。
このぼけ補正処理は、図4に示すぼけ補正処理部210において実行する処理であり、ステップS101において生成した像高等に応じて生成されたぼけ補正フィルタを適用してぼけ補正処理が行われる。
【0073】
次に、ステップS104においてエッジ検出処理が実行される。
この処理は、図4に示すエッジ検出部221において実行される。エッジ検出部221は、ラインメモリ201からの出力信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成する。
具体的には、前述したように、例えば、処理対象画素(7×7画素の中心画素)を中心として7×7画素の画素情報から算出される平坦度(weightFlat)を算出してブレンド処理部230に出力する。
【0074】
平坦度(weightFlat)は、図8に示すように、0〜1の範囲の値を持ち、
1に近いほど、平坦度が低い(テクスチャが多い)
0に近いほど、平坦度が高い(テクスチャが少ない)
このような画像状態を示す、平坦度の指標値である。
【0075】
図8に示すように、予め設定した2つの閾値(Limit0,Limit1)を用いて、平坦度(weightFlat)を以下のように算出する。
0≦(ratioFlat)<Limit0であれば、
平坦度(weightFlat)=0
Limit0≦(ratioFlat)<Limit1であれば、
平坦度(weightFlat)=0〜1
Limit1≦(ratioFlat)であれば、
平坦度(weightFlat)=1
とする。
【0076】
エッジ検出部221は、例えば、上記の平坦度(weightFlat)情報をエッジ情報として、ブレンド処理部230に出力する。
なお、前述したように、この平坦度(weightFlat)算出処理は、本出願人の先の出願である特開2011−55038号公報に記載の処理と同様の処理として実行可能であり、詳細は、特開2011−55038号公報を参照されたい。
【0077】
次に、ステップS105において、ブレンド処理が実行される。
この処理は、図4に示すブレンド処理部230の実行する処理である。ブレンド処理部230は、ラインメモリ201からの出力信号中のRGB信号(Rin,Gin,Bin)と、エッジ検出部221から出力されるエッジ情報、およびぼけ補正処理部210から出力されるぼけ補正信号(Rd,Gd,Bd)を入力する。
ブレンド処理部230は、これらの情報を利用して、エッジを考慮したぼけ補正のなされた出力信号RGBを生成してRGB信号処理部250に出力する。
【0078】
ブレンド処理部230は、加重加算処理部235を有し、加重加算処理部235は、エッジ検出部221で算出した処理対象画素のエッジ情報、すなわち、処理対象画素(7×7画素の中心画素)を中心として7×7画素の画素情報から算出される平坦度(weightFlat)に応じて、ぼけ補正処理部210から出力されるぼけ補正信号(Rd,Gd,Bd)の加重平均処理を実行して、RGB配列181のRGB各画素値を算出する。具体的には、以下の式に従ってRGB画素値を決定する。
R=(weightFlat)×(Rd)+(1−weightFlat)×Rin
G=(weightFlat)×(Gd)+(1−weightFlat)×Gin
B=(weightFlat)×(Bd)+(1−weightFlat)×Bin
この式の算出結果として得られるR、G、BをRGB信号処理部250に出力する。
【0079】
ブレンド処理部230の加重加算処理部235は、具体的には、例えば、エッジ検出部221で算出した処理対象画素のエッジ情報により、エッジ強度が大であると判定した画素位置ではぼけ補正信号のブレンド比率を高くし、エッジ強度が小であると判定した画素位置ではぼけ補正なし信号のブレンド比率を高く設定したブレンド処理を行う。
エッジの近傍においては高周波成分の復元されたシャープな信号であることが望ましいが、平坦部においては、元々高周波成分が含まれていないため、ノイズの抑制された信号であることが望ましいからである。
【0080】
ただし、前述したように、所定単位の画素領域、例えばぼけ補正処理対象となる画素を中心とした7×7画素領域に飽和画素が検出された場合、その画素については、ぼけ補正は実行されないので、撮像素子110からの入力画素値Rin,Gin,Binがそのまま、出力される。
【0081】
最後に、ステップS106において、すべての入力画素についての処理が完了したか否かを判定し、未処理画素が存在する場合は、未処理画素について、ステップS101からステップS105の処理を繰り返し実行する。
ステップS106において、すべての入力画素についての処理が完了したと判定した場合に、画像信号補正部200の処理が終了する。
【0082】
[3.実施例1に係る画像処理装置のぼけ補正処理の詳細について]
次に、図4に示す画像信号補正部200において実行するぼけ補正処理の具体例について説明する。
図4に示す画像信号補正部200のぼけ補正処理部210は、ラインメモリ201からの入力信号(Rin,Gin,Bin)を検証して、画像ぼけを削減する処理を行い、その処理結果として得られるぼけ補正信号(Rd,Gd,Bd)を算出してブレンド処理部230に出力する。
【0083】
ぼけ補正処理部210は、図5に示すフローのステップS101において、ぼけ補正対象画素の像高等に応じたぼけ補正フィルタを生成し、生成したフィルタを適用してステップS103においてぼけ補正処理を実行する。
【0084】
図5のステップS101におけるフィルタ生成処理の詳細シーケンスを説明するフローチャートを図9に示す。
図9に示すフローチャートに従ってぼけ補正フィルタの生成処理の詳細について説明する。
【0085】
まず、ステップS121において、ぼけ補正対象画素のxyアドレス、すなわち座標(x,y)に応じたハイパスフィルタ、すなわち座標位置対応ハイパスフィルタ(HPF_dist)を生成する。
【0086】
ぼけ補正処理部210は、図4に示す像高算出部202から、補正対象画素の座標(x,y)と像高(画像中心からの距離)を入力して、座標位置対応ハイパスフィルタ(HPF_dist)を生成する。
この処理について、図10を参照して説明する。
【0087】
図10には、座標位置対応ハイパスフィルタ(HPF_dist)の生成処理シーケンスを説明するフローチャートと、このフィルタ生成に適用するパラメータ等各を説明する図を示している。
【0088】
まず、ぼけ補正処理部210は、図10に示すフローのステップS131において、ぼけ補正対象画素の座標(x,y)に応じて、
(1)x方向調整用ハイパスフィルタ(HPF_x)と、
(2)y方向調整用ハイパスフィルタ(HPF_y)を
ブレンドする処理を実行して、
(3)座標位置反映フィルタ(HPF_xy)
を生成する。
【0089】
なお、
(1)x方向調整用ハイパスフィルタ(HPF_x)、
(2)y方向調整用ハイパスフィルタ(HPF_y)、
画像処理装置内のメモリに保持されたフィルタであり、ぼけ補正処理部210がメモリから取得するフィルタである。
これらのフィルタの具体例について、図11を参照して説明する。
【0090】
図11には、以下の3つのハイパスフィルタを示している。
(A)重心を変化させないハイパスフィルタ(HPF_center)
(B)重心をx方向(水平方向)へ変化させるx方向調整用ハイパスフィルタ(HPF_x)
(C)重心をy方向(垂直方向)へ変化させるy方向調整用ハイパスフィルタ(HPF_y)
【0091】
図10に示すフローのステップS131では、
図11に示す(B)x方向調整用ハイパスフィルタ(HPF_x)と、(C)y方向調整用ハイパスフィルタ(HPF_y)を、ぼけ補正対象画素の座標(x,y)に応じて、ブレンドする処理を実行して、
座標位置反映フィルタ(HPF_xy)
を生成する。
【0092】
具体的には、以下の式に従って、座標位置反映フィルタ(HPF_xy)
を生成する。
HPF_xy=(x×HPF_x+y×HPF_y)/(x+y)
【0093】
図10のステップS131では、このようにして、ぼけ補正対象画素の座標(x,y)に応じて、座標位置反映フィルタ(HPF_xy)を生成する。
【0094】
次にステップS132において、ぼけ補正対象画素の座標(x,y)と、画角中央位置[(x,y)=(0,0)]との距離(r)に基づいて、
(1)座標位置反映フィルタ(HPF_xy)と、
(2)画角中央位置[(x,y)=(0,0)]に対応する中心フィルタ(HPF_center)
をブレンドして、
(3)座標位置対応ハイパスフィルタ(HPF_dist)
を生成する。
【0095】
(1)座標位置反映フィルタ(HPF_xy)は、ステップS131において算出したフィルタである。
(2)画角中央位置[(x,y)=(0,0)]に対応する中心フィルタ(HPF_center)は、図11(A)に示すフィルタであり、画像処理装置内のメモリに保持されたフィルタであり、ぼけ補正処理部210がメモリから取得するフィルタである。
【0096】
なお、図10の(a)パラメータ説明に示すように、
ぼけ補正対象画素の座標を(x,y)としたとき、
画像中心(0,0)からの距離rが像高として算出される。
また画角端(xmzx,ymax)までの像高最大値をrmaxとする。
【0097】
ぼけ補正処理部210は、この設定の下で、
座標位置対応ハイパスフィルタ(HPF_dist)を以下の式に従って算出する。
HPF_dist=[(HPF_xy×r)+(HPF_center×(rmax−r))]/rmax
ぼけ補正処理部210は、ステップS132において、上記の処理に従って、座標位置対応ハイパスフィルタ(HPF_dist)を算出する。
【0098】
この図10のフローのステップS131〜S132の処理が、図9に示すフローのステップS121における処理であり、
これらの処理によって、座標位置対応ハイパスフィルタ(HPF_dist)が生成される。
【0099】
次に、図9に示すフローのステップS122において、
(1)基本フィルタ(default filter)と、
(2)座標位置対応ハイパスフィルタ(HPF_dist)を、
像高(r)と、フォーカス位置情報(focus)に応じて決定されるブレンド係数α(focus,r)に応じて、ブレンドし、
(3)座標位置対応基本フィルタ(Fbase)、
を生成する。
【0100】
(1)基本フィルタ(default filter)は、画像処理装置内のメモリに保持されたフィルタであり、ぼけ補正処理部210がメモリから取得するフィルタである。
具体的には、先に図2を参照して説明した最小二乗フィルタ、またはウィナー(Wiener)フィルタと呼ばれるフィルタが適用可能である。
【0101】
画像処理装置は、例えばウィナーフィルタ等のぼけ補正フィルタを基本フィルタ(default filter)としてメモリに保持しており、
図9に示すフローチャートのステップS122において、この基本フィルタ(default filter)と、ステップS121において生成した座標位置対応ハイパスフィルタ(HPF_dist)をブレンドして、座標位置対応基本フィルタ(Fbase)を生成する。
【0102】
座標位置対応基本フィルタ(Fbase)は、像高(r)と、フォーカス位置情報(focus)に応じて決定されるブレンド係数αに基づいて、以下の式で算出する。
Fbase=(1.0−α)×(default filter)+α(HPF_dist)
【0103】
さらに、ステップ123において、ステップS122で生成した座標位置対応基本フィルタ(Fbase)に対して、像高とフォーカス位置に応じた強度調整パラメータβ(focus,r)を適用して、エンハンス強度調整した、実際のぼけ補正に適用するぼけ補正フィルタ(Ffinal)を生成する。
このステップS123で生成したぼけ補正フィルタ(Ffinal)が、処理対象画素(x,y)の画素に対する実際のぼけ補正処理に適用されるフィルタとなる。
【0104】
まず、ステップS122において実行する処理、すなわち、
(1)基本フィルタ(default filter)と、
(2)座標位置対応ハイパスフィルタ(HPF_dist)を、
像高(r)と、フォーカス位置情報(focus)に応じて決定されるブレンド係数α(focus,r)に応じて、ブレンドし、
(3)座標位置対応基本フィルタ(Fbase)、
を生成する。
この処理について図12他を参照して説明する。
【0105】
(1)基本フィルタ(default filter)と、
(2)座標位置対応ハイパスフィルタ(HPF_dist)との、
像高(r)と、フォーカス位置情報(focus)に応じて決定されるブレンド係数αに基づくブレンド処理は、フィルタ周波数特性の調整(チューニング)処理に相当する処理である。
【0106】
すなわち、像高(r)と、フォーカス位置情報(focus)に応じて決定されるブレンド係数αに基づいて、フィルタの周波数特性を変更する処理として行われる。
図12に示すグラフは、フィルタのエンハンス特性を示す図であり、横軸に空間周波数、縦軸に、フィルタ適用後の画素値出力に相当する強度(Magnitude)を示している。
上述したブレンド処理に適用するブレンド係数:αの様々な設定(α=−0.5〜1.5)において生成されるフィルタのエンハンス特性を示している。
【0107】
前述したように、座標位置対応基本フィルタ(Fbase)は、像高(r)と、フォーカス位置情報(focus)に応じて決定されるブレンド係数αに基づいて、以下の式で算出する。
Fbase=(1.0−α)×(default filter)+α(HPF_dist)
【0108】
上記式において、
ブレンド係数:α=0とした場合、
Fbase=(default filter)
であり、
図12に示すα=0.0に示す特性を持つラインのフィルタとなる。
【0109】
また、上記式において、
ブレンド係数:α=1.0とした場合、
Fbase=(HPF_dist)
であり、
図12に示すα=1.0に示す特性を持つラインのフィルタとなる。
【0110】
すなわち、αを様々な値に変更することで、図12に示す例えば、
α=−0.5〜1.5の各周波数特性を持つフィルタを生成することができる。
このように、図9に示すフローのステップS122で実行する座標位置対応基本フィルタ(Fbase)の生成は、
(1)基本フィルタ(default filter)と、
(2)座標位置対応ハイパスフィルタ(HPF_dist)との、
ブレンドによるフィルタ周波数特性の調整(チューニング)処理に相当する処理として実行される。
【0111】
なお、ブレンド係数αは、像高(r)と、フォーカス位置情報(focus)に応じて決定される。
ブレンド係数αの設定例について、図13を参照して説明する。
【0112】
図13には、以下の各図を示している。
(a)レンズMTF特性
(b)ウィナー(Wiener)フィルタ特性
(c)ブレンド係数αの設定例
【0113】
図13(a)に示すように、一般に、像高が大きく(画像中心からの距離が大になる)につれて、MTF特性は劣化する。特に高周波領域はノイズに埋もれる領域となるため、図13(b)に示すように、ウィナー(Wiener)フィルタのエンハンス特性は低周波領域側へシフトする。
そのため、図13(c)に示すように、像高が大きく(画像中心からの距離が大になる)につれて、ハイパスフィルタのブレンド率を減少させる。すなわち、ブレンド係数αを小さくすることが好ましい。
フォーカスずれに関しても同様のことが言える。すなわち、フォーカスずれが大になるほど、ブレンド係数αを小さくする。
【0114】
なお、フォーカスずれは、画像処理装置(カメラ)固有の値であり、各フォーカス位置に対応して発生するずれ量が各カメラにおける固有値となる。従ってフォーカスずれ量は、フォーカス位置情報から算出可能であり、ぼけ補正部210は図3に示す制御部140からフォーカス位置情報(図4参照)を受領して、予め設定された算出式にしたがってフォーカスずれ量を算出し、フォーカスずれ量と、像高算出部202から取得する像高rを用いてブレンド係数α(focus,r)を算出する。
【0115】
ぼけ補正処理部210は、このように、図9に示すフローのステップS122において、
(1)基本フィルタ(default filter)と、
(2)座標位置対応ハイパスフィルタ(HPF_dist)を、
像高(r)と、フォーカス位置情報(focus)に応じて決定されるブレンド係数α(focus,r)に応じて、ブレンドし、
(3)座標位置対応基本フィルタ(Fbase)、
を生成する。
【0116】
次に、ステップS123の処理、すなわち、
ステップS122で生成した座標位置対応基本フィルタ(Fbase)に対して、像高とフォーカス位置に応じた強度調整パラメータβ(focus,r)を適用して、エンハンス強度調整したぼけ補正フィルタ(Ffinal)を生成する処理について説明する。
【0117】
ステップS123の処理は、
(a)図14に示す帯域分離処理と交流成分に対するエンハンス強度の乗算、
(b)図15に示す再合成処理、
これらの処理によって行われる。
【0118】
まず、図14に示す帯域分離処理について説明する。
図14に示す座標位置対応基本フィルタ(Fbase)は、図9に示すフローのステップS122の処理において生成されたフィルタである。
まず、この座標位置対応基本フィルタ(Fbase)を直流成分と交流成分に帯域分離して、2つのフィルタに分離する。
直流成分は、7×7画素のフィルタの中央のみが係数=1.0、その他の画素の係数はすべて0に設定されたフィルタである。
交流成分は、座標位置対応基本フィルタ(Fbase)の係数から直流成分の係数を減算した係数を持つフィルタである。
【0119】
さらに、交流成分に対して、エンハンス強度(=強度調整パラメータβ)を乗算する。
この交流成分とエンハンス強度との乗算結果と、直流成分を加算する再合成処理によって、図15に示す最終的なぼけ補正に適用するぼけ補正フィルタ(Ffinal)を生成する。
エンハンス強度が強度調整パラメータβに相当する。
図14、図15に示す例では、
エンハンス強度調整パラメータβ=1.5の例を示している。
【0120】
図14に示す帯域分離処理によって生成された交流成分のフィルタ係数にエンハンス強度調整パラメータβ=1.5を乗算し、乗算結果と直流性分の各対応係数を加算する合成処理によって、エンハンス強度調整のなされた最終的な図15に示す係数を持つぼけ補正フィルタ(Ffinal)を生成する。
【0121】
エンハンス強度調整パラメータβの設定と、フィルタの特性の変化について、図16を参照して説明する。
図16は、先に図12を参照して説明したと同様の、フィルタのエンハンス特性を示す図であり、横軸に空間周波数、縦軸に、フィルタ適用後の画素値出力に相当する強度(Magnitude)を示している。
【0122】
座標位置対応基本フィルタ(Fbase)のエンハンス特性が、例えば図に示す点線で示す特性を持つとする。
この特性を持つ座標位置対応基本フィルタ(Fbase)に対して、図14、図15を参照して説明した、
(s1)直流成分と交流成分との帯域分離と、
(s2)エンハンス強度調整パラメータβ=1.5を適用した交流性分に対する乗算と、
(s3)交流成分に対する乗算結果と直流成分の加算処理による再合成処理、
これら(s1)〜(s3)の処理の結果として、図16の実線で示す特性を持つ
ぼけ補正フィルタ(Ffinal)
を生成することができる。
【0123】
図16に示す例は、
エンハンス強度調整パラメータβ=1.5
の例であるが、
βの値を変化させることで、様々な設定を持つぼけ補正フィルタ(Ffinal)を生成することができる。
【0124】
なお、エンハンス強度調整パラメータβは、先に説明したブレンド係数αと同様、像高(r)と、フォーカス位置情報(focus)に応じて決定される。
エンハンス強度調整パラメータβの設定例について、図17を参照して説明する。
【0125】
図17には、以下の各図を示している。
(a)レンズMTF特性
(b)ウィナー(Wiener)フィルタ特性
(c)エンハンス強度調整パラメータβの設定例
【0126】
図17(a)に示すように、一般に、像高が大きく(画像中心からの距離が大になる)につれて、MTF特性は劣化する。そのため、図17(b)に示すように、ウィナー(Wiener)フィルタのエンハンス強度も大きくなる。
そのため、図17(c)に示すように、像高が大きく(画像中心からの距離が大になる)につれて、エンハンス強度調整パラメータβを大きくすることが好ましい。
フォーカスずれに関しても同様のことが言える。すなわち、フォーカスずれが大になるほど、エンハンス強度調整パラメータβを大きくする。
【0127】
なお、前述したようにフォーカスずれは、画像処理装置(カメラ)固有の値であり、各フォーカス位置に対応して発生するずれ量が各カメラにおける固有値となる。従ってフォーカスずれ量は、フォーカス位置情報から算出可能であり、ぼけ補正部210は図3に示す制御部140からフォーカス位置情報(図4参照)を受領して、予め設定された算出式にしたがってフォーカスずれ量を算出し、フォーカスずれ量と、像高算出部202から取得する像高rを用いてエンハンス強度調整パラメータβ(focus,r)を算出する。
【0128】
ぼけ補正処理部210は、このように、図9に示すフローのステップS123において、
ステップS122で生成した座標位置対応基本フィルタ(Fbase)に対して、像高とフォーカス位置に応じた強度調整パラメータβ(focus,r)を適用して、エンハンス強度調整したぼけ補正フィルタ(Ffinal)を生成する。
【0129】
この図9に示すフローのステップS123において生成したぼけ補正フィルタ(Ffinal)が、図4に示す画像信号補正部200の全体処理シーケンスとして説明した図5に示全体処理フローのステップS101において生成するぼけ補正フィルタである。
このぼけ補正フィルタは、像高、フォーカス位置に応じたフィルタであり、各補正画素位置、各フォーカス位置に応じて、逐次生成されるフィルタである。
図5に示すフローのステップS101で生成したぼけ補正フィルタ(Ffinal)がステップS103において適用されて、各画素のぼけ補正処理が実行される。
なお、このフィルタ適用処理は、先に図2を参照して説明した処理と同様の処理である。
図2に示す(b)ウィナーフィルタの代わりに、上述の処理によって生成したぼけ補正フィルタ(Ffinal)が適用される。
【0130】
すなわち、補正対象画素を中心とした所定単位の画素領域(例えば7×7画素)の画素領域の画素に対して、上述の処理によって生成したぼけ補正フィルタ(Ffinal)の係数を乗算して加算する畳み込み演算を実行して、中心画素の補正画素値を算出する。
なお、前述したように、図5のフローに示すステップS102において飽和検出がなされた場合は、ぼけ補正処理は省略される。
補正対象画素を中心とした所定単位の画素領域(例えば7×7画素)の画素領域に飽和画素が検出されない場合に、上述の処理によって生成したぼけ補正フィルタ(Ffinal)を適用した画素値補正によるぼけ補正処理が実行される。
【0131】
上述したように、本実施例において生成するぼけ補正フィルタ(Ffinal)は、補正対象の画素位置、具体的には像高と、フォーカス位置を考慮して係数調整がなされたフィルタとなる。すなわち、像高とフォーカス位置に応じて周波数特性、強度特性を調整したフィルタにより、各画素位置、フォーカス位置に応じた最適なぼけ補正が可能となる。
【0132】
なお、上述の実施例では、図5に示すフローのステップS101において生成するぼけ補正フィルタを、図8、図9に示すフローに従って最終的に生成されるぼけ補正フィルタ(Ffinal)とし、このぼけ補正フィルタ(Ffinal)を、図5に示すステップS103において適用して各画素のぼけ補正処理が実行する処理として説明した。
【0133】
しかし、例えば、図9に示すフローのステップS123を省略し、ステップS122において、ブレンド係数α(focus,r)に基づいて生成した座標位置対応基本フィルタ(Fbase)を最終的なぼけ補正フィルタとして適用してもよい。
【0134】
あるいは、図9に示すフローのステップS121やステップS122を省略し、ステップS123の処理のみによってぼけ補正フィルタを生成してもよい。すなわち、予メモリに保持した基本フィルタ(default filter)に対して、図9に示すフローのステップ123の処理、すなわち、図14と図15を参照して説明した帯域分離処理とエンハンス強度調整パラメータβ(focus,r)を適用した交流成分の強度調整と、再合成処理を実行して生成したフィルタをぼけ補正に適用してもよい。
【0135】
また、上記実施例では、像高(r)と、フォーカス位置情報(focus)を適用してブレンド係数αや、エンハンス強度調整パラメータβを決定する構成例を説明したが、ブレンド係数αや、エンハンス強度調整パラメータβは、像高のみに依存して決定する構成としてもよい。あるいはフォーカス位置情報(focus)のみに依存して決定する構成としてもよい。さらに、その他のパラメータ、例えばズーム位置などを考慮して決定する構成としてもよい。
【0136】
[4.(実施例2)色比率を考慮したぼけ補正を実行する画像処理装置の構成例について]
上述した実施例において、撮像素子はRGB配列を持つ構成であった。昨今、RGBに加え、RGBを含む可視光を透過するW(ホワイト)を加えたRGBW配列を持つフィルタを備えた撮像素子が多く利用されている。
【0137】
前述したように、このようなW(White)画素を備えたRGBW配列を持つフィルタを利用した場合、W画素が波長領域の広い可視光を透過するため、被写体の色によってぼけ方が異なる。
本出願人が先に出願した前述の特許文献4(特開2011−055038号公報)においても、RGBW画素配列を持つ撮影画像に対するぼけ補正処理構成を開示しているが、この先行出願において開示した処理は、W(White)画素に対するぼけ補正において、色比率を考慮せずに補正を行う構成であり、色比率に応じて異なるぼけ方を生じるW画素に対して十分な補正効果が得られない場合がある。
以下では、このような問題を解決した実施例について説明する。
【0138】
図18はRGBWフィルタにおける各色の分光強度特性を示す図である。
R(赤)は、600nm付近の赤色に相当する波長光を効率的に透過させる。
G(緑)は、530nm付近の緑色に相当する波長光を効率的に透過させる。
B(青)は、430nm付近の青色に相当する波長光を効率的に透過させる。
これらRGBフィルタに対して、
W(白)は、RGB各波長光をすべて透過させる。
【0139】
図19は、RGBW各色のMTF特性を示す図である。横軸に空間周波数、縦軸にMTFを示している。なお、入射光は白色を仮定している。
MTFが高いほど、ぼけが少なく、MTFが低下するほど、ぼけ度合いが大きくなる。
例えば緑(G)は、他の各色RGに対して、広い空間周波数に渡ってMTFが高い値であり、ぼけが少ない。これは、入射光にG(緑)成分が多い場合にはぼけが少なくなり、R(赤)やB(青)が多い場合にはぼけが大きくなることを意味している。
【0140】
ベイヤ配列のRGB配列を利用した構成の場合、RGB各色のMTF特性に応じたフィルタを利用することで、RGB個別の特性に応じたにぼけ補正が可能である。すなわち、R,G,Bの各画素に対するぼけ補正に、R用,G用、B用の各ぼけ補正フィルタを適用すればRGB各々のMTF特性に対応して適切な補正が可能となる。
【0141】
しかし、W(White)の場合、Wのフィルタを介して入力される波長光は、被写体の色に応じて異なることになる。結果として、被写体と光源の色に応じてMTF特性も変化し、被写体と光源の色に応じてぼけ方も異なる。従って、1つのフィルタを適用しても、適切な補正を行うことは困難となる。
なお、図19に示すW(White)のMTF特性は入射光が白色光の場合の一例にすぎず、W(White)のMTF特性は被写体の色に応じて、大きく変化してしまう。
【0142】
以下、この問題を解決するため、色比率を考慮したぼけ補正を実行する構成例について説明する。
以下において説明する画像処理装置(撮像装置)は、RGBW配列を持つフィルタを利用した撮像素子からの入力信号に対する処理を実行する。
画像処理装置は、ぼけ補正処理に加え、RGBW画像をRGB画像に変換する処理を実行する。
【0143】
まず、図20を参照してRGBW画像のRGB画像への変換処理について説明する。
本実施例の画像処理装置は、RGB各色の波長光を選択的に透過するRGBフィルタに加え、RGB各波長光をすべて透過するホワイト(W:White)を含むRGBW型のカラーフィルタを持つ撮像素子(イメージセンサ)の取得データに対する処理を行う。
【0144】
具体的には、図20(1)に示すような、ホワイト(W:White)を含む例えばRGBW型のカラーフィルタを持つ撮像素子の取得データを、図20(2)に示すRGB配列(ベイヤ配列)に変換する処理を実行する。さらに、この変換処理に際して、ぼけや偽色の発生を低下させるための処理を併せて実行する。
【0145】
具体的には、RGBW配列からRGBベイヤ配列への変換処理において、以下の5つの変換や補正処理を実行する。
W画素位置をG画素に変換(G画素値を推定)する=(GonW)
G画素位置をR画素に変換(R画素値を推定)する=(RonG)
G画素位置をB画素に変換(B画素値を推定)する=(BonG)
R画素位置をR画素に変換(R画素値を補正)する=(RonR)
B画素位置にB画素に変換(B画素値を補正)する=(BonB)
【0146】
上記の各変換処理は、RGBW配列におけるRGBW各画素をRGB配列におけるRGB画素に変換するための画素値推定または補正処理として行われる。これらの処理を実行することで、図20(1)に示すRGBWのカラー配列から図20(2)に示すRGBベイヤ配列を生成する。
【0147】
以下、このようなカラー配列の変換処理をリモザイク処理と呼ぶ。
以下の実施例では、ホワイト(W)を持つRGBW型カラー配列をRGB型カラー配列(ベイヤ配列)に変換するリモザイク処理を実行し、かつ、このリモザイク処理に際して、ぼけの発生や偽色の発生を低減させる処理を実行する構成について説明する。
【0148】
図21は、本実施例の画像処理装置の一実施例である撮像装置300の構成例を示す図である。撮像装置300は、光学レンズ3105、撮像素子(イメージセンサ)310、信号処理部320、メモリ330、制御部340を有する。これらの基本構成は先に、図3を参照して説明した構成と同様である。
【0149】
なお、撮像装置は画像処理装置の一態様である。本開示の画像処理装置には、例えばPCなどの装置も含まれる。PC等の画像処理装置は、図21に示す撮像装置300の光学レンズ305、撮像素子310を持たず、その他の構成要素から構成され、撮像素子300の取得データの入力部、または記憶部を持つ構成となる。
【0150】
図21に示す撮像装置300は、先に説明した図3に示す撮像装置100と異なり、撮像素子(イメージセンサ)310は、RGBW配列からなるフィルタを備えた構成である。すなわち、
赤色近傍の波長を透過する赤(R)、
緑色近傍の波長を透過する緑(G)、
青色近傍の波長を透過する青(B)、
これらに加え、
とRGBのすべてを透過するホワイト(W)、
これら4種類の分光特性を持つフィルタを備えた撮像素子である。
【0151】
このRGBW配列381を持つ撮像素子310は、光学レンズ305を介してRGBWいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子310によってRGBW4種類の分光から成るモザイク画像が得られる。
【0152】
撮像素子(イメージセンサ)310の出力信号は信号処理部320の画像信号補正部400に入力される。
画像信号補正部400は、先の実施例と同様、例えば像高(光学中心からの距離)やフォーカス位置に応じて変化するぼけ方を考慮し、さらに、色比率を考慮したぼけ補正を実行する。
画像信号補正部400は、さらに、RGBW配列381からRGB配列382への変換処理を実行する。具体的には、先に図20を参照して説明した以下の変換処理を行う。
W画素位置をG画素に変換(G画素値を推定)する=(GonW)
G画素位置をR画素に変換(R画素値を推定)する=(RonG)
G画素位置をB画素に変換(B画素値を推定)する=(BonG)
R画素位置をR画素に変換(R画素値を補正)する=(RonR)
B画素位置にB画素に変換(B画素値を補正)する=(BonB)
これら5つの変換や補正処理を実行する。
この変換/補正処理に際して、偽色やぼけを抑制するための処理を併せて実行する。
【0153】
画像信号補正部400においてぼけ補正とデータ変換のなされたRGB画像382はRGB信号処理部450に出力される。
RGB信号処理部450は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像383を生成する。生成したカラー画像383はメモリ330に記録される。
【0154】
制御部340は、これら一連の処理の制御を実行する。例えば、一連の処理を実行させるプログラムがメモリ330に格納されており、制御部340は、メモリ330から読み出したプログラムを実行して一連の処理を制御する。
なお、メモリ330は、例えば磁気ディスク、光ディスク、フラッシュメモリ等の各種記録媒体によって構成可能である。
【0155】
画像信号補正部400の詳細構成について図22を参照して説明する。
画像信号補正部400は、図22に示すように、ラインメモリ401、像高算出部402、飽和検出部403、ぼけ補正処理部410、エッジ検出部421、色相関リモザイク処理部(データ変換部)430を有する。
色相関リモザイク処理部(データ変換部)430は、W位置G補間パラメータ算出部431、G位置RB補間パラメータ算出部432、R位置R補間パラメータ算出部433、B位置B補間パラメータ算出部434、加重加算部435を有する。
【0156】
撮像素子310から出力された各画素対応の画素値信号は一旦、ラインメモリ401に蓄えられる。
また、各画素の画素値に対応付けられた各画素の座標位置を示すxyアドレスが像高算出部402に出力される。
ラインメモリ401は撮像素子の水平7ライン分のラインメモリを有する。ラインメモリ401からは7つの水平ライン分のデータを並列に順次出力する。出力先は、ぼけ補正処理部410、エッジ検出部421、飽和検出部403である。これらの各処理部に対して、RGBW配列381の撮像データが7ライン単位で出力される。
【0157】
なお、エッジ検出部421、ぼけ補正処理部410は、RGBW配列381の撮像データ中、ホワイト(W)信号に対する処理を実行する。
また、色相関リモザイク処理部430は、RGBW配列381の撮像データ中、RGBWすべての信号を利用した処理を実行する。
【0158】
エッジ検出部421は、ラインメモリ401からの出力信号に含まれる離散的なホワイト(W)信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成して色相関リモザイク処理部430に出力する。
具体的には、例えば、処理対象画素(7×7画素の中心画素)を中心として7×7画素の画素情報から算出される平坦度(weightFlat)を算出して色相関リモザイク処理部430に出力する。
なお、この平坦度(weightFlat)算出処理は、本出願人の先の出願である特開2011−55038号公報に記載の処理と同様の処理として実行可能である。
【0159】
ぼけ補正処理部410は、まず、ラインメモリ401からの出力信号に含まれるホワイト(W)画素を適用し、RGB画素位置にW画素を補間処理により設定し、全画素にW画素を設定した補間画像を生成する。さらに、全画素にW画素を設定した画像の各W画素に対するぼけ補正処理を実行して、全画素のぼけ補正W信号、すなわち、ぼけ補正W信号(Wd)を生成して色相関リモザイク処理部430に出力する。
【0160】
なお、ぼけ補正処理部410は、少なくとも色比率を考慮したぼけ補正を実行する。
さらに、先に説明した実施例と同様、例えば像高(光学中心からの距離)やフォーカス位置に応じて変化するぼけ方を考慮し、さらに、色比率を考慮したぼけ補正を実行する構成としてもよい。
【0161】
色相関リモザイク処理部430は、ラインメモリ401からの出力信号中のRGBW信号と、エッジ検出部421から出力されるエッジ情報、およびぼけ補正処理部410から出力される全画素対応のぼけ補正W信号(Wd)を入力する。
色相関リモザイク処理部430は、これらの情報を利用して、RGBWのカラー配列からRGB配列382への変換処理を実行する。
【0162】
具体的には、先に図20を参照して説明したように、
W画素位置をG画素に変換(G画素値を推定)する=(GonW)
G画素位置をR画素に変換(R画素値を推定)する=(RonG)
G画素位置をB画素に変換(B画素値を推定)する=(BonG)
R画素位置をR画素に変換(R画素値を補正)する=(RonR)
B画素位置にB画素に変換(B画素値を補正)する=(BonB)
これら5つの変換や補正処理を実行する。
【0163】
W位置G補間パラメータ算出部431は、RGBW配列381のW画素位置に設定するG画素値の算出に適用する補間パラメータを算出する。ラインメモリ401からの入力信号中のW信号とB信号、ぼけ補正処理部410から入力するぼけ補正W信号(Wd)を用いて、上記の(GonW)の処理に適用する補間パラメータを算出する。
G位置RB補間パラメータ算出部432は、RGBW配列381のG画素位置に設定するR画素値またはB画素値の算出に適用する補間パラメータを算出する。ラインメモリ401からの入力信号中のW信号とB信号、ぼけ補正処理部410から入力するぼけ補正W信号(Wd)を用いて、上記の(RonG)、(BonG)の処理に適用するパラメータを算出する。
【0164】
R位置R補間パラメータ算出部433は、RGBW配列381のR画素位置に設定する補正R画素値の算出に適用する補間パラメータを算出する。ラインメモリ401からの入力信号中のW信号とB信号、ぼけ補正処理部410から入力するぼけ補正W信号(Wd)を用いて、上記の(RonR)の処理に適用するパラメータを算出する。
B位置B補間パラメータ算出部434は、RGBW配列381のB画素位置に設定する補正B画素値の算出に適用する補間パラメータを算出する。ラインメモリ401からの入力信号中のW信号とB信号、ぼけ補正処理部410から入力するぼけ補正W信号(Wd)を用いて、上記の(BonB)の処理に適用するパラメータを算出する。
【0165】
加重加算処理部435は、各補間パラメータ算出部431〜434の算出した補間パラメータを入力し、さらに、エッジ検出部421から入力するエッジ情報を適用して、RGB配列(ベイヤ配列)382を構成する各画素のRGB信号値を算出する。
なお、色相関リモザイク処理部(データ変換部)430の実行するRGBW配列からRGB配列へのデータ変換処理は、基本的に本出願人の先行出願である特開2011−55038号公報に記載された処理を利用可能である。このデータ変換処理の詳細については、特開2011−55038号公報を参照されたい。
このようにして、加重加算処理部435の算出したGr,Rr,Brから構成されるRGB配列(ベイヤ配列)382を生成して、RGB信号処理部450に提供する。
【0166】
RGB信号処理部450は、一般的なカメラや画像処理装置が持つRGB配列(ベイヤ配列)信号に対する信号処理部と同様である。RGB信号処理部450は、加重平均部435から出力されるRGB配列(ベイヤ配列)382に対する信号処理を実行してカラー画像383(図20参照)を生成する。RGB信号処理部450は、具体的には、例えばホワイトバランス調整処理、デモザイク処理、シェーディング処理、RGBカラーマトリクス処理、γ補正処理などを実行してカラー画像383を生成する。
【0167】
[5.実施例2に係る画像処理装置のぼけ補正処理の詳細について]
次に、実施例2に係る画像処理装置のぼけ補正処理の詳細について説明する。
図23に画像信号補正部400の実行する処理の全体シーケンスを説明するフローチャートを示す。
なお、図23に示すフローチャートの各ステップの処理の主な処理主体は以下の通りである。
ステップS301〜S305の処理は、主としてぼけ補正処理部410の実行する処理である。
ステップS306の処理は、エッジ検出部421の実行する処理である。
ステップS307の処理は、色相関リモザイク処理部(データ変換部)430の実行する処理である。
【0168】
また、ぼけ補正処理部410の実行するステップS301〜S305の処理と、エッジ検出部421の実行するステップS305の処理は、前述したようにRGBW配列の画像データに含まれるW画素を利用して実行される。
【0169】
各ステップの処理の詳細について説明する。
まず、ステップS301において、ぼけ補正処理部410は、ぼけ補正対象となる1つのW画素を中心とした所定の局所領域の色比率を算出する。
【0170】
なお、ぼけ補正処理部410は、先の実施例と同様、ぼけ補正処理対象となる画素を中心とした所定の画素領域(=局所領域)、例えば7×7画素の矩形画素領域を入力して処理を行う。
7×7画素領域の中心画素がW画素である場合は、そのW画素に対するぼけ補正処理を行うことになる。
7×7画素領域の中心画素がW画素でない場合は、その中心位置に対して周囲のW画素の画素値に基づいて設定した補間W画素値に対するぼけ補正処理を行う。
すなわち、ステップS301の前処理として、ぼけ補正処理部410は、ラインメモリ401からの出力信号に含まれるホワイト(W)画素を適用し、W画素以外のRGB画素位置にW画素を補間処理により設定し、全画素W画素の画像データを生成する。この全画素W画素の画像データから、順次1つずつW画素を選択してぼけ補正処理を実行する。
【0171】
ステップS301において、ぼけ補正処理部410は、ぼけ補正対象となるW画素を中心とした7×7画素領域の色比率(R(赤)比率、G(緑)比率、B(青)比率)を以下の式によって算出する。
R比率=mR/(mG+mR+mB)
G比率=mG/(mG+mR+mB)
B比率=mB/(mG+mR+mB)
ただし、
mRは、局所領域(例えば7×7画素領域)におけるR信号の低周波成分
mGは、局所領域(例えば7×7画素領域)におけるG信号の低周波成分
mBは、局所領域(例えば7×7画素領域)におけるB信号の低周波成分
である。
【0172】
なお、上記式に従ってR(赤)比率、G(緑)比率、B(青)比率を算出する場合、
局所領域(例えば7×7画素領域)におけるR,G,B各信号の低周波成分mR,mG,mBを算出することが必要となる。
これらの各色対応の低周波成分を算出するために、例えば図24〜図27に示す低周波成分算出フィルタを適用した処理を行う。
【0173】
図24〜図27に示すRGB各色対応の低周波成分算出フィルタは、ぼけ補正対象となるW画素(補間されたW画素も含む)を中心とした7×7画素の撮像素子310からの出力画像データに対するフィルタ処理に適用するフィルタである。補間処理によって全画素W画素とした補間画像ではなく、撮像素子310からの出力画像データに対して適用してR,G,B各信号の低周波成分mR,mG,mBを算出する。
【0174】
低周波成分算出フィルタは、7×7画素の構成に応じて異なる設定となる。
図24〜図27には、以下の7×7画素の各構成に応じて選択適用する以下の3つのフィルタをそれぞれ示している。
G信号の低周波成分(mG)算出フィルタ、
R信号の低周波成分(mR)算出フィルタ、
B信号の低周波成分(mB)算出フィルタ、
【0175】
図24は、ぼけ補正対象となるW画素(補間されたW画素も含む)を中心とした7×7画素の撮像素子310からの出力画像データが、以下の設定の場合のR,G,B各信号の低周波成分mR,mG,mBを算出する低周波成分算出フィルタの構成を示している。
(a)中心画素Wの左がG画素、右がB画素の場合に適用する低周波成分算出フィルタ(mR算出フィルタ511、mG算出フィルタ512、mB算出フィルタ513)
(b)中心画素Wの左がG画素、右がR画素の場合に適用する低周波成分算出フィルタ(mR算出フィルタ514、mG算出フィルタ515、mB算出フィルタ516)
【0176】
各フィルタに示す数値(係数)は、低周波成分算出対象となる色(RまたはGまたはB)の設定位置にのみ設定されている。これらの各係数値と撮像素子から入力する7×7画素の各対応画素位置の画素値と乗算し、乗算値を加算して各フィルタの下部に示す値(32,25,など)で除算して、低周波成分の算出が行われる。
【0177】
図25は、ぼけ補正対象となるW画素(補間されたW画素も含む)を中心とした7×7画素の撮像素子310からの出力画像データが、以下の設定の場合のR,G,B各信号の低周波成分mR,mG,mBを算出する低周波成分算出フィルタの構成を示している。
(c)中心画素Wの右がG画素、上がB画素の場合に適用する低周波成分算出フィルタ(mR算出フィルタ521、mG算出フィルタ522、mB算出フィルタ523)
(d)中心画素Wの右がG画素、上がR画素の場合に適用する低周波成分算出フィルタ(mR算出フィルタ524、mG算出フィルタ525、mB算出フィルタ526)
【0178】
図26は、ぼけ補正対象となるW画素(補間されたW画素も含む)を中心とした7×7画素の撮像素子310からの出力画像データが、以下の設定の場合のR,G,B各信号の低周波成分mR,mG,mBを算出する低周波成分算出フィルタの構成を示している。
(e)中心画素Gの左上〜右下斜めラインにR画素がある場合に適用する低周波成分算出フィルタ(mR算出フィルタ541、mG算出フィルタ542、mB算出フィルタ543)
(f)中心画素Gの左上〜右下斜めラインにB画素がある場合に適用する低周波成分算出フィルタ(mR算出フィルタ544、mG算出フィルタ545、mB算出フィルタ546)
【0179】
この図26に示す例は、撮像素子から入力する7×7画素の中心画素がW画素ではない例である。なお、この場合、ぼけ補正処理は、前述した全画素W画素に設定した補間画像に対して行われることになる。
【0180】
図27は、ぼけ補正対象となるW画素(補間されたW画素も含む)を中心とした7×7画素の撮像素子310からの出力画像データが、以下の設定の場合のR,G,B各信号の低周波成分mR,mG,mBを算出する低周波成分算出フィルタの構成を示している。
(g)中心画素にR画素がある場合に適用する低周波成分算出フィルタ(mR算出フィルタ551、mG算出フィルタ552、mB算出フィルタ553)
(h)中心画素にB画素がある場合に適用する低周波成分算出フィルタ(mR算出フィルタ561、mG算出フィルタ562、mB算出フィルタ563)
【0181】
この図27に示す例も、撮像素子から入力する7×7画素の中心画素がW画素ではない例である。なお、この場合、ぼけ補正処理は、前述した全画素W画素に設定した補間画像に対して行われることになる。
【0182】
ステップS301において、ぼけ補正処理部410は、ぼけ補正対象となるW画素を中心とした7×7画素領域の画素パターンに応じて、図24〜図27に示す低周波成分算出フィルタを選択適用して、局所領域(例えば7×7画素領域)におけるRGB各信号の低周波成分mR,mG,mBを算出する。
さらに、これらの各色の低周波成分を利用して、ぼけ補正対象となる7×7画素領域の中心のW画素(補間画素の場合も含む)に対応する色比率(R(赤)比率、G(緑)比率、B(青)比率)を以下の式に従って算出する。
R比率=mR/(mG+mR+mB)
G比率=mG/(mG+mR+mB)
B比率=mB/(mG+mR+mB)
【0183】
次に、ぼけ補正処理部410は、ステップS302において、ステップS301で算出した色比率を適用して、色比率に応じたぼけ補正フィルタを生成する。
この処理について、図28を参照して説明する。
【0184】
図28に示す式は、色比率に応じたぼけ補正フィルタの生成式である。
R対応ぼけ補正フィルタ、
G対応ぼけ補正フィルタ、
B対応ぼけ補正フィルタ、
これらの3つのぼけ補正フィルタは、画像処理装置のメモリに予め記憶された各色対応のぼけ補正フィルタである。
これらは、例えば先に図19を参照して説明した各色のMTF特性に応じて各色対応のぼけ補正に最適な処理を実行可能としたフィルタである。
【0185】
本実施例のぼけ補正処理では、W(White)画素に対して適用するぼけ補正フィルタをこれらRGB対応のぼけ補正フィルタと、ステップS301において算出した色比率、すなわち、R(赤)比率、G(緑)比率、B(青)比率、これらの各色比率を適用して算出する。
【0186】
具体的には、図28に示すように、W対応ぼけ補正フィルタ(Wdeblur)を以下の式に従って、算出する。
deblur
=(mR/(mG+mR+mB))/Rdeblur
+(mG/(mG+mR+mB))/Gdeblur
+(mB/(mG+mR+mB))/Bdeblur
なお、
deblur:R対応ぼけ補正フィルタ
deblur:G対応ぼけ補正フィルタ
deblur:B対応ぼけ補正フィルタ
mR/(mG+mR+mB):R(赤)比率
mG/(mG+mR+mB):G(緑)比率
mB/(mG+mR+mB):B(青)比率
である。
【0187】
このように、補正対象とするW画素を中心とした所定の画素領域(本例では7×7画素)の色比率に応じて各色対応のぼけ補正フィルタをブレンドして、W(White)画素に適用するぼけ補正フィルタを生成する。
【0188】
図22に示すぼけ補正処理部410は、このステップS302において生成した色比率を反映したW(White)画素対応のぼけ補正フィルタを適用して、補間処理によって生成した全画素W画素の画像データに対するぼけ補正処理を行い、全画素対応ぼけ補正W信号(Wd)を生成して生成した全画素対応ぼけ補正W信号(Wd)を色相関リモザイク処理部(データ変換部)430に出力することができる。
【0189】
さらに、ぼけ補正処理部410は、このステップS302において生成した色比率を反映したW(White)画素対応のぼけ補正フィルタに対して、前述した実施例と同様、像高等を考慮したフィルタ生成処理を実行し、色比率のみならず、像高等を反映したW(White)画素対応のぼけ補正フィルタを生成し、これを適用して、補間処理によって生成した全画素W画素の画像データに対するぼけ補正処理を行うことが可能である。
以下では、この処理例について説明する。
【0190】
ぼけ補正処理部410は、ステップS303において、ステップS302で生成した色比率を反映したW(White)画素対応のぼけ補正フィルタをベースとして、前述した実施例と同様、像高等を考慮したフィルタ生成処理を実行する。
【0191】
ステップS303の処理は、先の実施例において説明した図5のフローに示すステップS101の処理と同様の処理である。
すなわち、図9、図10に示すフローに従った処理として実行される。
ステップS302において生成した色比率反映ぼけ補正フィルタは、図9のフローのステップS122において適用する基本フィルタ(default filter)として利用される。
【0192】
具体的には、以下の手順に従って、最終的なぼけ補正フィルタ(Ffinal)を生成する。
まず、図9に示すフローのステップS121において、補正対象画素の画素位置から算出する像高に応じたハイパスフィルタ(HPF_dist)を生成する。
この像高に応じたハイパスフィルタ(HPF_dist)は、先に図10に示すフローのステップS131〜S132の処理によって生成する。
【0193】
次に、図9に示すフローのステップS122において、
(1)基本フィルタ(default filter)と、
(2)座標位置対応ハイパスフィルタ(HPF_dist)を、
像高(r)と、フォーカス位置情報(focus)に応じて決定されるブレンド係数α(focus,r)に応じて、ブレンドし、
(3)座標位置対応基本フィルタ(Fbase)、
を生成する。
【0194】
(1)基本フィルタ(default filter)は、図23に示すフローのステップS302において生成した色比率反映ぼけ補正フィルタである。
図9に示すフローチャートのステップS122において、この色比率反映ぼけ補正フィルタ(default filter)と、ステップS121において生成した座標位置対応ハイパスフィルタ(HPF_dist)をブレンドして、座標位置対応基本フィルタ(Fbase)を生成する。
【0195】
座標位置対応基本フィルタ(Fbase)は、像高(r)と、フォーカス位置情報(focus)に応じて決定されるブレンド係数αに基づいて、以下の式で算出する。
Fbase=(1.0−α)×(default filter)+α(HPF_dist)
なお、上記式において、
default filter=色比率反映ぼけ補正フィルタである。
【0196】
なお、ブレンド係数αは、先の実施例で説明したように、像高(r)と、フォーカス位置情報(focus)に応じて決定される。
先に図13を参照して説明したように、一般に、像高が大きく(画像中心からの距離が大になる)につれて、MTF特性は劣化する。特に高周波領域はノイズに埋もれる領域となるため、図13(b)に示すように、ウィナー(Wiener)フィルタのエンハンス特性は低周波領域側へシフトする。
そのため、図13(c)に示すように、像高が大きく(画像中心からの距離が大になる)につれて、ハイパスフィルタのブレンド率を減少させる。すなわち、ブレンド係数αを小さくすることが好ましい。
フォーカスずれに関しても同様のことが言える。すなわち、フォーカスずれが大になるほど、ブレンド係数αを小さくする。
【0197】
なお、フォーカスずれは、画像処理装置(カメラ)固有の値であり、各フォーカス位置に対応して発生するずれ量が各カメラにおける固有値となる。従ってフォーカスずれ量は、フォーカス位置情報から算出可能であり、ぼけ補正部410は図21に示す制御部340からフォーカス位置情報(図22参照)を受領して、予め設定された算出式にしたがってフォーカスずれ量を算出し、フォーカスずれ量と、像高算出部402から取得する像高rを用いてブレンド係数α(focus,r)を算出する。
【0198】
さらに、図9のフローのステップ123において、ステップS122で生成した座標位置対応基本フィルタ(Fbase)に対して、像高とフォーカス位置に応じた強度調整パラメータβ(focus,r)を適用して、エンハンス強度調整した、実際のぼけ補正に適用するぼけ補正フィルタ(Ffinal)を生成する。
このステップS123で生成したぼけ補正フィルタ(Ffinal)が、処理対象画素(x,y)の画素に対する実際のぼけ補正処理に適用されるフィルタとなる。
【0199】
なお、ステップS123における像高とフォーカス位置に応じた強度調整パラメータβ(focus,r)を適用した処理は、先に、図14〜図17を参照して説明した処理と同様の処理である。
すなわち、座標位置対応基本フィルタ(Fbase)を直流成分と交流成分に帯域分離して、2つのフィルタに分離し、交流成分に対して、エンハンス強度(エンハンス強度調整パラメータβ)を乗算し、乗算結果と直流性分の各対応係数を加算する合成処理によって、エンハンス強度調整のなされた最終的なぼけ補正フィルタ(Ffinal)を生成する。
【0200】
なお、エンハンス強度調整パラメータβは、先に説明したブレンド係数αと同様、像高(r)と、フォーカス位置情報(focus)に応じて決定される。先に図17を参照して説明したように、像高が大きく(画像中心からの距離が大になる)につれて、エンハンス強度調整パラメータβを大きくし、フォーカスずれが大になるほど、エンハンス強度調整パラメータβを大きくする。
【0201】
ぼけ補正処理部410は、このように、図23に示すフローのステップS302で生成した色比率対応のぼけ補正フィルタを、図9に示すフローのステップS122に示す基本フィルタ(default filter)として、図9に示すフローに従った処理を実行して最終的なぼけ補正フィルタ(Ffinal)を生成する。
【0202】
この最終的なぼけ補正フィルタ(Ffinal)が、図23に示すフローのステップS303において生成するぼけ補正フィルタである。
【0203】
ステップS304では、ぼけ補正対象画素が飽和しているか否かが判定される。
具体的には、図22に示す飽和検出部403において、ぼけ補正対象画素の飽和検出が実行され、この検出情報がぼけ補正処理部410に入力される。
補正対象画素が飽和している場合、ぼけ補正を実行すると偽色が発生する可能性がある。これは、先の実施例において図6、図7を参照して説明したように、ぼけ補正処理には、ぼけ補正対象となる画素の周囲の画素の画素値を参照して、補正対象画素の画素値を設定する処理を含むからである。
【0204】
このような偽色発生を防止するため、図7に示すように、ぼけ補正対象画素の周囲、例えば補正対象画素を中心とする7×7画素に飽和画素が含まれる場合、補正対象画素のぼけ補正を行わない設定とする。
【0205】
このように、図22に示すぼけ補正処理部410は、飽和検出部403における飽和画素(ハイライト)領域の検出情報に応じて、飽和画素領域は、ぼけ補正処理なし信号に置き換える処理を行う。
飽和検出部403の実行する飽和画素(ハイライト)は、例えば、ぼけ処理対象画素を中心とした7×7画素領域の画素に対して、予め既定したしきい値を超えてないか判断する。ぼけ補正処理部410は、7×7画素領域の1画素でもしきい値を超えていれば、偽色が発生する可能性が高いため、補正処理なし信号に置き換える処理を行う。
この処理は、図23に示すフローのステップS304の判定がYesと判定された場合の処理に対応し、この場合は、ステップS305,S306を実行せず、ステップS307に進む。
すなわち、処理対象画素(7×7画素の中心画素)に対するぼけ補正処理は実行しない。
【0206】
ぼけ処理対象画素を中心とした7×7画素領域の画素のいすれも、予め既定したしきい値を超えず、飽和検出がなされなかった場合は、ステップS304の判定はNoとなり、ステップS305においてフィルタを適用したぼけ補正処理を実行する。
このぼけ補正処理は、図22に示すぼけ補正処理部410において実行する処理であり、ステップS303において生成した色比率や像高等に応じて生成されたぼけ補正フィルタを適用してぼけ補正処理が行われる。
【0207】
次に、ステップS306においてエッジ検出処理が実行される。
この処理は、図22に示すエッジ検出部421において実行される。エッジ検出部421は、ラインメモリ401からの出力信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成する。
具体的には、例えば、処理対象画素(7×7画素の中心画素)を中心として7×7画素の画素情報から算出される平坦度(weightFlat)を算出して色相関リモザイク処理部(データ変換部)430に出力する。
【0208】
平坦度(weightFlat)については、先に図8を参照して説明したように、0〜1の範囲の値を持ち、
1に近いほど、平坦度が低い(テクスチャが多い)
0に近いほど、平坦度が高い(テクスチャが少ない)
このような画像状態を示す、平坦度の指標値である。
【0209】
図8に示すように、予め設定した2つの閾値(Limit0,Limit1)を用いて、平坦度(weightFlat)を以下のように算出する。
0≦(ratioFlat)<Limit0であれば、
平坦度(weightFlat)=0
Limit0≦(ratioFlat)<Limit1であれば、
平坦度(weightFlat)=0〜1
Limit1≦(ratioFlat)であれば、
平坦度(weightFlat)=1
とする。
【0210】
エッジ検出部421は、例えば、上記の平坦度(weightFlat)情報をエッジ情報として、色相関リモザイク処理部430に出力する。
なお、前述したように、この平坦度(weightFlat)算出処理は、本出願人の先の出願である特開2011−55038号公報に記載の処理と同様の処理として実行可能であり、詳細は、特開2011−55038号公報を参照されたい。
【0211】
次に、ステップS307において色相関リモザイク処理を実行する。
この色相関リモザイク処理は、図22の色相関リモザイク処理部(データ変換処理部)430の実行する処理である。
色相関リモザイク処理部430は、RGBWのカラー配列からRGB配列への変換処理を実行する。
【0212】
具体的には、先に図20を参照して説明したように、
W画素位置をG画素に変換(G画素値を推定)する=(GonW)
G画素位置をR画素に変換(R画素値を推定)する=(RonG)
G画素位置をB画素に変換(B画素値を推定)する=(BonG)
R画素位置をR画素に変換(R画素値を補正)する=(RonR)
B画素位置にB画素に変換(B画素値を補正)する=(BonB)
これら5つの変換や補正処理を実行する。
【0213】
色相関リモザイク処理部430は、RGBW配列において輝度の主成分であるW信号と、色成分であるG,R,B信号に正の相関があることを仮定して、RGBW配列の各画素に設定すべきRGBいずれかの目的の画素値を推定する。
【0214】
図22に示すように、色相関リモザイク処理部430は、W位置G補間パラメータ算出部431、G位置RB補間パラメータ算出部432、R位置R補間パラメータ算出部433、B位置B補間パラメータ算出部434、加重加算部435を有する。
【0215】
最初に、RGBW配列のW画素位置をRGB配列のG画素に変換(G画素値を推定)するための補間パラメータ算出部であるW位置G補間パラメータ算出部431の処理について説明する。
【0216】
W位置G補間パラメータ算出部431は、RGBW配列のW画素位置に設定するG画素値の算出に適用する補間パラメータを算出する。前述の(GonW)の処理に適用する補間パラメータである。
具体的には、ラインメモリ401からの入力信号中のWin信号とGin信号、ぼけ補正処理部203から入力するぼけ補正W信号(Wd)を用いて、
ぼけ補正ありG信号:Gd、
ぼけ補正なしG信号:Gl、
これらの各信号値を算出する。
これらの信号値は、RGBW配列のW画素位置をRGB配列のG画素として設定するためのG画素値算出に適用する補間パラメータ(GonW補間パラメータ)である。
【0217】
なお、色相関リモザイク処理部430においても、7×7の画素領域を処理単位として、処理を行う。W位置G補間パラメータ算出部431は、まず、処理単位の7×7画素領域におけるW信号とG信号の比率を求める。
具体的には、G画素への変換対象となるW画素を中心画素として持つ7×7画素領域を処理単位として、W信号とG信号の低周波成分mWおよびmGを算出する。
具体的には、例えば図27を参照して説明したと同様の低周波成分を算出するフィルタを適用して算出することができる。図29(1)に低周波成分mWを算出するmW算出フィルタ601の一例を示す。
【0218】
7×7画素の入力信号の変換対象画素のW画素位置を中心とする7×7画素中のW画素値に、mW算出フィルタ601の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をW信号の低周波成分mWとして算出する。図29(1)に示すフィルタの係数は一例であり、その他の係数を利用した構成でもよい。
【0219】
算出したmWとmGの比率が画像内の局所領域において保たれると仮定する。この仮定に従うと、局所領域におけるWとGの画素値比率の対応関係は図30に示すグラフのような対応関係となる。図30のグラフは横軸がW画素値、縦軸がG画素値である。画像の特定の狭い局所領域では、このW画素値とG画素値の比率は一定であるとすると、図30に示す直線のような比例関係にあると仮定できる。
【0220】
この仮定に従い、ぼけ補正処理部410から出力される変換対象画素位置のぼけ補正ホワイト(W)信号(=Wd)を用いて、
ぼけ補正ありG信号:Gd、
を算出する。以下の式に従って算出する。
Gd=(mG/mW)×Wd
この信号[Gd]は、高周波成分を含むG信号である。
なお、ここでは、W画素値とG画素値の比率が一定であることを仮定した推定手法を例示したが、W画素値とG画素値の相関を利用した他の推定手法を用いても良い。
【0221】
前述したように、W位置G補間パラメータ算出部431は、RGBW配列のW画素位置に設定するG画素値の算出に適用する補間パラメータとして、
ぼけ補正ありG信号:Gd、
ぼけ補正なしG信号:Gl、
これらの各信号値を算出する。加重加算処理部435が変換対象画素のエッジ情報に応じて、これら2つの信号、Gd、Glのブレンド処理をして最終的なG画素値を決定する。
【0222】
ぼけ補正なしG信号Glの算出処理について説明する。ぼけ補正なしG信号Glの算出に際しては、
まず、例えば図29(2)に示す平滑化フィルタとしてのWn算出フィルタ602を用いてノイズ信号を除去したW信号Wnを算出する。
7×7画素の入力信号501の変換対象画素502のW画素位置を中心とする9画素中のW画素値に、Wn算出フィルタ602の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をW信号のノイズ除去ホワイト(W)信号Wnを算出する。図29(2)に示すフィルタ係数は一例であり、その他の係数を利用した構成でもよい。また、9画素より広い領域を利用した構成としてもよい。また、演算コスト削減のため、ラインメモリ401から入力するW信号をそのまま利用する構成でも良い。
【0223】
このノイズ除去W信号[Wn]と前述のW信号とG信号の低周波成分mWおよびmGを適用して、
ぼけ補正なしG信号:Gl、
を算出する。以下の式に従って算出する。
Gl=(mG/mW)×Wn
この信号[Gl]は、ぼけ補正信号Wdを適用したものではなく、高周波成分を強調していないG信号に相当する。
なお、ここでは、W画素値とG画素値の比率が一定であることを仮定した推定手法を例示したが、W画素値とG画素値の相関を利用した他の推定手法を用いても良い。
【0224】
加重加算処理部435は、変換対象画素のエッジ情報に応じて、これら2つの信号、Gd、Glのブレンド処理をして最終的なG画素値を決定する。具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正ありG信号:Gdの比率を高め、平坦部では、ぼけ補正なしG信号:Glの比率を高めたブレンド処理を実行して最終的なG画素値を決定する。
【0225】
G位置RB補間パラメータ算出部432は、
G画素位置をR画素に変換(R画素値を推定)する=(RonG)
G画素位置をB画素に変換(B画素値を推定)する=(BonG)
これらの処理に適用する補間パラメータを算出する。
【0226】
具体的には、
ぼけ補正ありR信号:Rd、
ぼけ補正なしR信号:Rl、
ぼけ補正ありB信号:Bd、
ぼけ補正なしB信号:Bl、
これらの各信号値を算出する。
これらの信号値は、RGBW配列のG画素位置をRGB配列のR画素またはB画素として設定するためのR画素値またはB画素値算出に適用する補間パラメータ(RonG補間パラメータ、BonG補間パラメータ)である。
【0227】
これらの各信号の算出処理は、前述のW位置G補間パラメータ算出部431の処理と同様、
各信号の低周波成分mW,mR,mBを算出し、さらに、ぼけ補正処理部410から出力される変換対象画素位置のぼけ補正ホワイト(W)信号(=Wd)を用いて、以下の各値を算出する処理として行われる。
ぼけ補正ありR信号:Rd、
ぼけ補正ありB信号:Bd、
ぼけ補正なしR信号:Rl、
ぼけ補正なしB信号:Bl、
を算出する。
【0228】
以下の式に従って算出する。
Rd=(mR/mW)×Wd
Bd=(mB/mW)×Wd
これらの信号[Rd],[Bd]は、高周波成分を含む信号である。
Rl=(mR/mW)×Wn
Bl=(mB/mW)×Wn
これらの信号[Rl]、[Bl]は、ぼけ補正信号Wdを適用したものではなく、高周波成分を強調していない信号に相当する。
【0229】
なお、ここでは、W画素値とR画素値またはB画素値の比率が一定であることを仮定した推定手法を例示したが、W画素値とR画素値またはB画素値の相関を利用した他の推定手法を用いても良い。
【0230】
次に、RGBW配列のR画素位置をRGB配列のR画素に変換(R画素値を補正)するための補間パラメータ算出部であるR位置R補間パラメータ算出部433と、B位置B補間パラメータ算出部434の処理について説明する。
【0231】
RGBW配列のR画素位置は、RGB配列(ベイヤ配列)のR画素位置に対応し、そのままのR信号を使用することができる。
同様に、RGBW配列のB画素位置は、RGB配列(ベイヤ配列)のB画素位置に対応し、そのままのB信号を使用することができる。
しかしながら、この情報は光学レンズの収差の影響により高周波信号が失われている場合がある。このような場合、G画素位置に設定するR信号、B信号とは特性が異なる場合が発生する可能性がある。
【0232】
このような特性の差異の発生を防止するため、R位置R補間パラメータ算出部433では、入力信号に含まれるW信号とR信号を用いて、R信号の補正のためのパラメータを算出する。具体的には、
ぼけ補正ありR信号:Rd、
ぼけ補正なしR信号:Rl、
これらの各信号値を算出する。
これらの信号値は、RGBW配列のR画素位置をRGB配列の補正されたR画素として設定するためのR画素値補正処理に適用する補間パラメータ(RonR補間パラメータ)である。
【0233】
R位置R補間パラメータ算出部433は、先に説明した他の補間パラメータ算出部と同様、まず、
W信号の低周波成分mW、
R信号の低周波成分mR、
これらの各低周波成分と、
W信号のノイズ除去ホワイト(W)信号Wn
これらを算出する。
【0234】
さらに、これらを用いて、
ぼけ補正ありR信号:Rd、
ぼけ補正なしR信号:Rl、
これらを、以下の式に従って算出する。
Rd=(mR/mW)×Wd
Rl=(mR/mW)×Wn
なお、ここでは、W画素値とR画素値の比率が一定であることを仮定した推定手法を例示したが、W画素値とR画素値の相関を利用した他の推定手法を用いても良い。
【0235】
B位置B補間パラメータ算出部434は、先に説明した他の補間パラメータ算出部と同様、まず、
W信号の低周波成分mW、
B信号の低周波成分mB、
これらの各低周波成分と、
W信号のノイズ除去ホワイト(W)信号Wn
これらを算出する。
【0236】
さらに、これらを用いて、
ぼけ補正ありB信号:Bd、
ぼけ補正なしB信号:Bl、
これらを、以下の式に従って算出する。
Bd=(mB/mW)×Wd
Bl=(mB/mW)×Wn
なお、ここでは、W画素値とB画素値の比率が一定であることを仮定した推定手法を例示したが、W画素値とB画素値の相関を利用した他の推定手法を用いても良い。
【0237】
以上のように、W位置G補間パラメータ算出部431、G位置RB補間パラメータ算出部432、R位置R補間パラメータ算出部433、B位置B補間パラメータ算出部434の各々は、
ぼけ補正ありG,R,B信号:Gd、Rd、Bd、
ぼけ補正なしG,R,B信号:Gl、Rl、Bl、
これらの信号を算出する。
【0238】
次に、加重加算部435の処理について説明する。
加重加算処理部435は、エッジ検出部421から入力するエッジ情報を適用して、
ぼけ補正あり信号:Gd,Rd,Bd、
ぼけ補正なし信号:Gl,Rl,Bl、
これらの各信号の加重平均値:Gr,Rr,Brを算出する。加重加算処理部435の算出したGr,Rr,Brは、図21に示すRGB配列(ベイヤ配列)382を構成する各画素のRGB信号値に対応する。
【0239】
W位置G補間パラメータ算出部431、G位置RB補間パラメータ算出部432、R位置R補間パラメータ算出部433、B位置B補間パラメータ算出部434の各々において、算出したGd,Rd,Bdは、ぼけ補正処理部410が、ぼけ補正処理を行ったW信号として生成したぼけ補正W信号(Wd)を用いて算出されており、高周波信号成分を含むと同時にノイズも増幅された信号となっている。
一方、Gl,Rl,Blはぼけ補正処理を行っていないW信号から算出された信号であり、高周波信号成分は含まないがノイズも少ない信号となっている。
【0240】
加重加算処理部435は、変換対象画素のエッジ情報に応じて、
ぼけ補正あり信号:Gd,Rd,Bd、
ぼけ補正なし信号:Gl,Rl,Bl、
これらの信号のブレンド比率を決定して、ブレンド処理をして最終的なG,R,B画素値を決定する。具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正あり信号:Gd,Rd,Bdの比率を高め、平坦部では、ぼけ補正なし信号:Gl,Rl,Bl比率を高めたブレンド処理を実行して最終的なG,R,B画素値を決定する。
【0241】
エッジの近傍においては高周波成分の復元されたシャープな信号であることが望ましいが、平坦部においては、元々高周波成分が含まれていないため、ノイズの抑制された信号であることが望ましいからである。
【0242】
そのため、加重加算処理部435は、ぼけ補正の行われた信号Gd,Rd,Bdとぼけ補正の行われていない信号Gl,Rl,Blを、以下の式に示す通り、エッジ検出部421で算出した処理対象画素のエッジ情報、すなわち平坦度(weightFlat)に応じて加重平均処理を実行して、RGB配列382に設定する画素値Gr、Rr、BRを算出する。
【0243】
Gr=(weightFlat)×(Gd)+(1−weightFlat)×Gl
Br=(weightFlat)×(Bd)+(1−weightFlat)×Bl
Rr=(weightFlat)×(Rd)+(1−weightFlat)×Rl
この式の算出結果として得られるGr、Br、RrをRGB配列382の信号として設定しRGB信号処理部450に出力する。この処理により、ノイズの増幅を抑えながら、高解像度の信号Gr,Rr,Brを得ることができる。
【0244】
ただし、前述したように、所定単位の画素領域、例えばぼけ補正処理対象となる画素を中心とした7×7画素領域に飽和画素が検出された場合、その画素については、ぼけ補正は実行されないので、ぼけ補正なし信号Rl,Gl,Blが出力される。
【0245】
最後に、ステップS308において、すべての入力画素についての処理が完了したか否かを判定し、未処理画素が存在する場合は、未処理画素について、ステップS301からステップS307の処理を繰り返し実行する。
ステップS308において、すべての入力画素についての処理が完了したと判定した場合に、画像信号補正部400の処理が終了する。
【0246】
加重加算処理部435の生成したGr,Rr,Brから構成されるRGB配列(ベイヤ配列)382は、図21、図22に示すようにRGB信号処理部450に提供される。
なお、前述したように、色相関リモザイク処理部(データ変換部)430の実行するRGBW配列からRGB配列へのデータ変換処理は、基本的に本出願人の先行出願である特開2011−55038号公報に記載された処理を利用可能である。このデータ変換処理の詳細については、特開2011−55038号公報を参照されたい。
【0247】
RGB信号処理部450は、一般的なカメラや画像処理装置が持つRGB配列(ベイヤ配列)信号に対する信号処理部と同様である。RGB信号処理部450は、加重平均部435から出力されるRGB配列(ベイヤ配列)382に対する信号処理を実行してカラー画像383(図21参照)を生成する。RGB信号処理部450は、具体的には、例えばホワイトバランス調整処理、デモザイク処理、シェーディング処理、RGBカラーマトリクス処理、γ補正処理などを実行してカラー画像383を生成する。
【0248】
なお、上述した実施例では、図20(1)に示すRGBW配列に対する処理例として説明したが、本開示の処理は、このカラー配列に限らず、色信号に比べて高いサンプリングレートを持つW画素を含む様々なカラー配列を持つフィルタを備えた撮像素子の撮像データに対して適用可能である。
【0249】
また、上述の実施例では、図22に示すフローのステップS305におけるぼけ補正処理に適用するぼけ補正フィルタを図22に示すフローのステップS302で生成した色比率反映フィルタをベースとして、さらにステップS303において像高等を反映させて変更したフィルタとした例を説明した。
【0250】
しかし、例えば、図22に示すフローのステップS305におけるぼけ補正処理に適用するぼけ補正フィルタは、図22に示すフローのステップS302で生成した色比率反映フィルタとしてもよい。すなわち、ステップS303の処理を省略した構成としてもよい。
【0251】
また、ステップS302、S303の両ステップを実行する場合においても、先に説明した実施例1と同様、例えばステップS303のフィルタ生成処理の詳細フローである図9に示すフローのステップS123を省略し、ステップS122において、ブレンド係数α(focus,r)に基づいて生成した座標位置対応基本フィルタ(Fbas)を最終的なぼけ補正フィルタとして適用してもよい。
【0252】
あるいは、図9に示すフローのステップS121やステップS122を省略し、ステップS123の処理のみによってぼけ補正フィルタを生成してもよい。すなわち、ステップS302において生成した色比率反映フィルタを基本フィルタ(default filter)として、図9に示すフローのステップ123の処理、すなわち、図14と図15を参照して説明した帯域分離処理とエンハンス強度調整パラメータβ(focus,r)を適用した考慮郵政分の強度調整と、再合成処理を実行して生成したフィルタをぼけ補正に適用してもよい。
【0253】
また、上記実施例では、像高(r)と、フォーカス位置情報(focus)を適用してブレンド係数αや、エンハンス強度調整パラメータβを決定する構成例を説明したが、ブレンド係数αや、エンハンス強度調整パラメータβは、像高のみに依存して決定する構成としてもよい。あるいはフォーカス位置情報(focus)のみに依存して決定する構成としてもよい。さらに、その他のパラメータ、例えばズーム位置などを考慮して決定する構成としてもよい。
【0254】
[6.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0255】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 画像のぼけ補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタを、前記ぼけ補正対象画素の像高に応じて決定するブレンド係数を適用してブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行するぼけ補正処理部を有する画像処理装置。
【0256】
(2)前記ぼけ補正処理部は、前記基本フィルタと、前記座標位置対応ハイパスフィルタを、前記ぼけ補正対象画素の像高とフォーカス位置情報に応じて決定するブレンド係数を適用してブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行する前記(1)に記載の画像処理装置。
(3)前記ぼけ補正処理部は、前記ブレンド処理において、ぼけ補正対象画素の画素位置が、画像中心から遠く、像高が大きくなるに従って、前記座標位置対応ハイパスフィルタのブレンド率を減少させたブレンド処理を実行する前記(1)または(2)に記載の画像処理装置。
【0257】
(4)前記ぼけ補正処理部は、予めメモリに保持されたx方向調整用ハイパスフィルタ(HPF_x)と、y方向調整用ハイパスフィルタ(HPF_y)と、画角中央位置[(x,y)=(0,0)]に対応する中心フィルタ(HPF_center)を、ぼけ補正対象画素の画素位置に応じてブレンドすることで、前記座標位置対応ハイパスフィルタを生成する前記(1)〜(3)いずれかに記載の画像処理装置。
(5)前記ぼけ補正処理部は、さらに、前記座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高に応じてエンハンス強度調整を実行して強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正処理を行う前記(1)〜(4)いずれかに記載の画像処理装置。
【0258】
(6)前記ぼけ補正処理部は、前記座標位置対応ハイパスフィルタを、直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じた強度調整パラメータを適用した調整処理を行い、調整処理を行った交流成分と前記直流成分の再合成により、前記強度調整フィルタを生成する前記(1)〜(5)いずれかに記載の画像処理装置。
(7)前記ぼけ補正処理部は、前記座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高と、フォーカス位置情報に応じた強度調整パラメータを適用したエンハンス強度調整を実行して前記強度調整フィルタを生成する前記(1)〜(6)いずれかに記載の画像処理装置。
【0259】
(8)前記画像信号補正部は、さらに、画像のエッジ情報を検出するエッジ検出部と、画像信号補正結果を出力するブレンド処理部を有し、前記ブレンド処理部は、前記エッジ検出部の出力するエッジ情報と、前記ぼけ補正処理部におけるぼけ補正処理によって生成したぼけ補正済み信号と、ぼけ補正処理を実行する前のぼけ補正前信号、を入力して、前記エッジ情報に応じて決定するブレンド比率に応じて、前記ぼけ補正済み信号と前記ぼけ補正前信号とのブレンド処理を実行して出力信号を生成する前記(1)〜(7)いずれかに記載の画像処理装置。
(9)前記画像信号補正部は、RGB画素とW(ホワイト)画素からなるRGBW配列を有する撮像素子の出力信号に対するぼけ補正処理を実行する構成であり、W画素信号に対するぼけ補正処理に際して、補正対象のW画素信号を含む局所領域の色比率を反映した色比率反映ぼけ補正フィルタを生成し、該色比率反映フィルタを適用したぼけ補正処理を実行する前記(1)〜(8)いずれかに記載の画像処理装置。
【0260】
(10)前記ぼけ補正処理部は、前記撮像素子の出力信号に含まれるW画素信号を利用した補間処理により、全画素対応のW画素信号を持つ補間画像を生成し、生成した補間画像を構成するW画素各々について前記色比率反映ぼけ補正フィルタを生成し、該色比率反映フィルタを適用したぼけ補正処理を実行する前記(1)〜(9)いずれかに記載の画像処理装置。
(11)前記ぼけ補正処理部は、前記局所領域のRGB各色の低周波成分を算出し、算出したRGB各色の低周波成分の値の比率を前記局所領域の色比率とする前記(1)〜(10)いずれかに記載の画像処理装置。
【0261】
(12)前記ぼけ補正処理部は、前記局所領域のRGBの各色比率に応じて決定するブレンド比率に応じて、予めメモリに保持されたR対応ぼけ補正フィルタと、G対応ぼけ補正フィルタと、B対応ぼけ補正フィルタとをブレンドして前記色比率反映ぼけ補正フィルタを生成する前記(1)〜(11)いずれかに記載の画像処理装置。
(13)前記画像信号補正部は、ぼけ補正対象画素を含む複数画素からなる局所領域に飽和画素が含まれるか否かを検出する飽和検出部を有し、前記ぼけ補正処理部は、前記飽和検出部からの検出情報を入力し、前記局所領域に飽和画素が含まれる場合には、前記ぼけ補正対象画素のぼけ補正を実行せず、飽和画素が含まれない場合にのみ、前記ぼけ補正対象画素のぼけ補正を実行する前記(1)〜(12)いずれかに記載の画像処理装置。
【0262】
(14)画像のぼけ補正を実行する画像信号補正部を有し、前記画像信号補正部は、ぼけ補正用フィルタを直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じて算出する強度調整パラメータを適用した強度調整を行い、強度調整交流成分と前記直流成分の再合成により、強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正を実行する画像処理装置。
【0263】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【0264】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0265】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0266】
以上、説明したように、本開示の一実施例の構成によれば、画像の各構成画素の像高等に応じた最適なぼけ補正処理を実行する装置、方法が実現される。
具体的には、画像のぼけ補正処理を実行する画像信号補正部を有し、画像信号補正部は、基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高に応じたブレンド係数を適用してブレンドし、ブレンド処理によって生成したフィルタを適用してぼけ補正を実行する。例えば、ぼけ補正対象画素の画素位置が、画像中心から遠く像高が大きくなるに従って、座標位置対応ハイパスフィルタのブレンド率を減少させたブレンドを実行する。あるいは、さらに、像高に応じた強度調整を行った強度調整ぼけ補正フィルタを生成してぼけ補正を行う。
これらの処理により、画像の各構成画素の像高等に応じた最適なぼけ補正処理が実現される。
【符号の説明】
【0267】
100 撮像装置
105 光学レンズ
110 撮像素子(イメージセンサ)
120 信号処理部
130 メモリ
140 制御部
181 RGB配列
183 カラー画像
200 画像信号補正部
201 ラインメモリ
202 像高算出部
203 飽和検出部
210 ぼけ補正処理部
221 エッジ検出部
230 ブレンド処理部
235 加重加算部
250 RGB信号処理部
300 撮像装置
305 光学レンズ
310 撮像素子(イメージセンサ)
320 信号処理部
330 メモリ
340 制御部
381 RGBW配列
382 RGB配列
383 カラー画像
400 画像信号補正部
401 ラインメモリ
402 像高算出部
403 飽和検出部
410 ぼけ補正処理部
421 エッジ検出部
430 色相関リモザイク処理部
431 W位置G補間パラメータ算出部
432 G位置RB補間パラメータ算出部
433 R位置R補間パラメータ算出部
434 B位置B補間パラメータ算出部
435 加重加算部
450 RGB信号処理部

【特許請求の範囲】
【請求項1】
画像のぼけ補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタを、前記ぼけ補正対象画素の像高に応じて決定するブレンド係数を適用してブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行するぼけ補正処理部を有する画像処理装置。
【請求項2】
前記ぼけ補正処理部は、
前記基本フィルタと、前記座標位置対応ハイパスフィルタを、前記ぼけ補正対象画素の像高とフォーカス位置情報に応じて決定するブレンド係数を適用してブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行する請求項1に記載の画像処理装置。
【請求項3】
前記ぼけ補正処理部は、
前記ブレンド処理において、ぼけ補正対象画素の画素位置が、画像中心から遠く、像高が大きくなるに従って、前記座標位置対応ハイパスフィルタのブレンド率を減少させたブレンド処理を実行する請求項1に記載の画像処理装置。
【請求項4】
前記ぼけ補正処理部は、
予めメモリに保持されたx方向調整用ハイパスフィルタ(HPF_x)と、y方向調整用ハイパスフィルタ(HPF_y)と、画角中央位置[(x,y)=(0,0)]に対応する中心フィルタ(HPF_center)を、ぼけ補正対象画素の画素位置に応じてブレンドすることで、前記座標位置対応ハイパスフィルタを生成する請求項1に記載の画像処理装置。
【請求項5】
前記ぼけ補正処理部は、
さらに、前記座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高に応じてエンハンス強度調整を実行して強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正処理を行う請求項1に記載の画像処理装置。
【請求項6】
前記ぼけ補正処理部は、
前記座標位置対応ハイパスフィルタを、直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じた強度調整パラメータを適用した調整処理を行い、調整処理を行った交流成分と前記直流成分の再合成により、前記強度調整フィルタを生成する請求項5に記載の画像処理装置。
【請求項7】
前記ぼけ補正処理部は、
前記座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高と、フォーカス位置情報に応じた強度調整パラメータを適用したエンハンス強度調整を実行して前記強度調整フィルタを生成する請求項5に記載の画像処理装置。
【請求項8】
前記画像信号補正部は、さらに、
画像のエッジ情報を検出するエッジ検出部と、
画像信号補正結果を出力するブレンド処理部を有し、
前記ブレンド処理部は、
前記エッジ検出部の出力するエッジ情報と、
前記ぼけ補正処理部におけるぼけ補正処理によって生成したぼけ補正済み信号と、
ぼけ補正処理を実行する前のぼけ補正前信号、
を入力して、
前記エッジ情報に応じて決定するブレンド比率に応じて、前記ぼけ補正済み信号と前記ぼけ補正前信号とのブレンド処理を実行して出力信号を生成する請求項1に記載の画像処理装置。
【請求項9】
前記画像信号補正部は、
RGB画素とW(ホワイト)画素からなるRGBW配列を有する撮像素子の出力信号に対するぼけ補正処理を実行する構成であり、
W画素信号に対するぼけ補正処理に際して、補正対象のW画素信号を含む局所領域の色比率を反映した色比率反映ぼけ補正フィルタを生成し、該色比率反映フィルタを適用したぼけ補正処理を実行する請求項1に記載の画像処理装置。
【請求項10】
前記ぼけ補正処理部は、
前記撮像素子の出力信号に含まれるW画素信号を利用した補間処理により、全画素対応のW画素信号を持つ補間画像を生成し、生成した補間画像を構成するW画素各々について前記色比率反映ぼけ補正フィルタを生成し、該色比率反映フィルタを適用したぼけ補正処理を実行する請求項9に記載の画像処理装置。
【請求項11】
前記ぼけ補正処理部は、
前記局所領域のRGB各色の低周波成分を算出し、算出したRGB各色の低周波成分の値の比率を前記局所領域の色比率とする請求項9に記載の画像処理装置。
【請求項12】
前記ぼけ補正処理部は、
前記局所領域のRGBの各色比率に応じて決定するブレンド比率に応じて、予めメモリに保持されたR対応ぼけ補正フィルタと、G対応ぼけ補正フィルタと、B対応ぼけ補正フィルタとをブレンドして前記色比率反映ぼけ補正フィルタを生成する請求項9に記載の画像処理装置。
【請求項13】
前記画像信号補正部は、
ぼけ補正対象画素を含む複数画素からなる局所領域に飽和画素が含まれるか否かを検出する飽和検出部を有し、
前記ぼけ補正処理部は、
前記飽和検出部からの検出情報を入力し、前記局所領域に飽和画素が含まれる場合には、前記ぼけ補正対象画素のぼけ補正を実行せず、飽和画素が含まれない場合にのみ、前記ぼけ補正対象画素のぼけ補正を実行する請求項1に記載の画像処理装置。
【請求項14】
画像のぼけ補正を実行する画像信号補正部を有し、
前記画像信号補正部は、
ぼけ補正用フィルタを直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じて算出する強度調整パラメータを適用した強度調整を行い、強度調整交流成分と前記直流成分の再合成により、強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正を実行する画像処理装置。
【請求項15】
画像処理装置において画像のぼけ補正処理を実行する画像処理方法であり、
画像信号補正部が、
ぼけ補正対象画素の像高に応じて決定するブレンド比率に応じて、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタとをブレンドするブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行する画像処理方法。
【請求項16】
画像処理装置において画像のぼけ補正処理を実行する画像処理方法であり、
画像信号補正部が、
ぼけ補正用フィルタを直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じて算出する強度調整パラメータを適用した強度調整を行い、強度調整交流成分と前記直流成分の再合成により、強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正を実行する画像処理方法。
【請求項17】
画像処理装置において画像のぼけ補正処理を実行させるプログラムであり、
画像信号補正部に、
ぼけ補正対象画素の像高に応じて決定するブレンド比率に応じて、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタとをブレンドするブレンド処理を実行させ、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行させるプログラム。
【請求項18】
画像処理装置において画像のぼけ補正処理を実行させるプログラムを記録した記録媒体であり、
画像信号補正部に、
ぼけ補正対象画素の像高に応じて決定するブレンド比率に応じて、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタとをブレンドするブレンド処理を実行させ、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行させるプログラムを記録した記録媒体。

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図12】
image rotate

【図13】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図28】
image rotate

【図30】
image rotate

【図1】
image rotate

【図2】
image rotate

【図6】
image rotate

【図11】
image rotate

【図14】
image rotate

【図15】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図29】
image rotate


【公開番号】特開2013−55622(P2013−55622A)
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2011−194417(P2011−194417)
【出願日】平成23年9月6日(2011.9.6)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】