画像処理装置、および画像処理方法、並びにプログラム
【課題】様々な設定の画素配列を持つ画像に対して、高精度な欠陥検出および補正を実現可能とした装置、方法を提供する。
【解決手段】注目画素を含む画素領域に対して複数の異なる手法を適用して複数の勾配検出情報を取得する。さらに、複数の勾配検出情報の重み付き加算に基づいて最小勾配方向を検出する。さらに、検出した最小勾配方向にある注目画素と同一色の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する。さらに、欠陥の検出された注目画素に対して、方向判定処理において検出した方向にある参照画素の画素値を適用して補正画素値を算出する。
【解決手段】注目画素を含む画素領域に対して複数の異なる手法を適用して複数の勾配検出情報を取得する。さらに、複数の勾配検出情報の重み付き加算に基づいて最小勾配方向を検出する。さらに、検出した最小勾配方向にある注目画素と同一色の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する。さらに、欠陥の検出された注目画素に対して、方向判定処理において検出した方向にある参照画素の画素値を適用して補正画素値を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像の補正処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置に利用される撮像素子には、例えばＲＧＢ配列からなるカラーフィルタが装着され、各画素に特定の波長光を入射する構成となっている。
具体的には、例えばベイヤ（Ｂａｙｅｒ）配列を持つカラーフィルタが多く利用されている。
【０００３】
ベイヤ配列の撮像画像は、撮像素子の各画素にＲＧＢいずれかの色に対応する画素値のみが設定されたいわゆるモザイク画像となる。カメラの信号処理部は、このモザイク画像に対して画素値補間などの様々な信号処理を施して各画素にＲＧＢの全画素値を設定するデモザイク処理等を行い、カラー画像を生成して出力する。
【０００４】
このベイヤ配列に従ったカラーフィルタを備えた撮像画像に対する信号処理については、すでに多くの検討がなされ、ある程度、技術的に確立されていると言える。しかし、ベイヤ配列と異なる配列を持つ画像に対する信号処理については、まだ十分な検討がなされていないというのが現状である。
【０００５】
なお、例えば、撮像素子に付属するフィルタとしてＲＧＢの各色に加え、全波長透過型のＷ（Ｗｈｉｔｅ）画素を備えたＲＧＢＷ配列を持つフィルタを備えた撮像装置の撮影画像に対する補正処理について、特許文献１（特開２０１１−５５０３８号公報）などに記載がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−０５５０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示は、例えば上記問題点に鑑みてなされたものであり、例えばベイヤ（Ｂａｙｅｒ）配列と異なる配列を持つカラーフィルタを備えた撮像素子によって撮影された画像に対する画像補正処理を実行する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本開示の第１の側面は、
画像の補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行し、
前記方向判定処理は、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用して実行する画像処理装置にある。
【０００９】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記方向判定処理において、高周波テクスチャ対応の画素値勾配情報と、低周波テクスチャ対応の画素値勾配情報と、輝度信号対応の画素値勾配情報と、を算出し、これらの３種類の勾配情報の重み付き加算結果に基づいて、最小の画素値勾配を有する方向を検出する。
【００１０】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記高周波テクスチャ対応の画素値勾配情報を、隣接画素の画素値差分を適用して算出し、前記低周波テクスチャ対応の画素値勾配情報を、非隣接画素の画素値差分を適用して算出する。
【００１１】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、ＲＧＢ各画素を含む画素領域単位でＲＧＢ各画素の画素値に基づいて輝度信号を算出し、算出した領域単位の輝度信号を適用して前記輝度信号対応の画素値勾配情報を算出する。
【００１２】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記３種類の勾配情報の重み付き加算処理において設定する重みを出力画像の解像度に応じて変更する処理を実行し、出力画像が高解像度の場合は、高周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定し、出力画像が低解像度の場合は、低周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定する。
【００１３】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記３種類の勾配情報の重み付き加算処理において設定する重みを処理対象画像である入力画像の周波数帯に応じて変更する処理を実行し、入力画像が高周波数領域を多く含む場合は、高周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定し、入力画像が低周波数領域を多く含む場合は、低周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定する。
【００１４】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、ＲＧＢ各色が２×２の４画素単位で配列された画像、またはＲＧＢＷ各色が２×２の４画素単位で配列された画像の画素値補正を実行する。
【００１５】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記欠陥検出処理において、欠陥検出対象となる注目画素と同一色の画素を参照画素として前記最小勾配方向から選択し、注目画素と選択画素の異なる組み合わせに基づいて算出した複数のラプラシアンと予め既定した閾値との比較を実行して比較結果に基づいて前記注目画素が欠陥画素であるか否かの判定を行う。
【００１６】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、欠陥検出対象となる注目画素と同一色の画素を参照画素として前記最小勾配方向から４画素選択し、注目画素と２つの選択画素の異なる組み合わせに基づいて算出した３つのラプラシアンと予め既定した閾値との比較を実行し、３つのラプラシアンの全てが前記しきい値より大きい場合に前記注目画素が欠陥画素であると判定する。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記欠陥検出処理において、欠陥検出対象となる注目画素と同一色の画素が、既定の参照領域内において前記最小勾配方向から４つ選択できない場合、前記最小勾配方向にある注目画素と異なる色の異色画素位置に、該異色画素位置の周囲の注目画素と同一色画素の画素値に基づく画素補間を実行し、該画素補間によって生成した補間画素を参照画素として設定する。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記欠陥補正処理において、前記参照画素の画素値の重み付き加算により前記注目画素の補正画素値を算出する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記欠陥補正処理において、前記注目画素を中心とした両側各々にある２つの参照画素間の画素値勾配を算出し、画素値勾配の小さい方向の２画素の画素値の重み付き加算によって前記注目画素の補正画素値を算出する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記欠陥補正処理において実行した補正処理がハイライト誤補正であるか否かを判定するハイライト誤補正判定処理を実行し、ハイライト誤補正であると判定した場合は、補正前の原画素値を出力し、ハイライト誤補正でないと判定した場合は、補正画素値を出力する。
【００２１】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像信号補正部が、注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行し、
前記方向判定処理においては、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用した方向判定処理を実行する画像処理方法にある。
【００２２】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像信号補正部に、注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行させ、
前記方向判定処理は、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用した方向判定処理を実行させるプログラムにある。
【００２３】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２４】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２５】
本開示の一実施例の構成によれば、様々な設定の画素配列を持つ画像に対して、高精度な欠陥検出および補正を実現可能とした装置、方法を提供する。
具体的には、注目画素を含む画素領域に対して複数の異なる手法を適用して複数の勾配検出情報を取得する。さらに、複数の勾配検出情報の重み付き加算に基づいて最小勾配方向を検出する。さらに、検出した最小勾配方向にある注目画素と同一色の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する。さらに、欠陥の検出された注目画素に対して、方向判定処理において検出した方向にある参照画素の画素値を適用して補正画素値を算出する。
本処理により、様々な設定の画素配列を持つ画像に対して、高精度な欠陥検出および補正を実現可能とした装置、方法が実現される。
【図面の簡単な説明】
【００２６】
【図１】撮像素子の構成例について説明する図である。
【図２】画像処理装置の構成例について説明する図である。
【図３】本開示の画像処理装置の実行する処理について説明するフローチャートを示す図である。
【図４】本開示の画像処理装置の実行する処理について説明するフローチャートを示す図である。
【図５】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図６】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図７】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図８】本開示の画像処理装置の実行するグラジエント重み付き平均値算出処理について説明する図である。
【図９】本開示の画像処理装置の実行するグラジエント重み付き平均値算出処理における重み決定処理例について説明する図である。
【図１０】本開示の画像処理装置の実行するグラジエント重み付き平均値算出処理における重み決定処理例について説明する図である。
【図１１】本開示の画像処理装置の実行するグラジエント重み付き平均値算出処理における重み決定処理例について説明する図である。
【図１２】本開示の画像処理装置の実行するグラジエント算出処理について説明する図である。
【図１３】本開示の画像処理装置の実行するグラジエント算出処理について説明する図である。
【図１４】本開示の画像処理装置の実行するグラジエント算出処理について説明する図である。
【図１５】本開示の画像処理装置の実行するグラジエント算出処理について説明する図である。
【図１６】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１７】本開示の画像処理装置の実行する欠陥検出処理について説明する図である。
【図１８】本開示の画像処理装置の実行する画素補間処理について説明する図である。
【図１９】本開示の画像処理装置の実行する画素補間処理について説明する図である。
【図２０】本開示の画像処理装置の実行する画素補間処理について説明する図である。
【図２１】本開示の画像処理装置の実行する画素補間処理について説明する図である。
【図２２】本開示の画像処理装置の実行するラプラシアン計算処理について説明する図である。
【図２３】本開示の画像処理装置の実行するラプラシアン比較処理について説明する図である。
【図２４】本開示の画像処理装置の実行する欠陥補正処理について説明する図である。
【図２５】本開示の画像処理装置の実行する欠陥補正処理について説明する図である。
【図２６】本開示の画像処理装置の実行する欠陥補正処理の変形例について説明する図である。
【図２７】本開示の画像処理装置の実行するハイライト誤補正検出を伴う処理例について説明する図である。
【図２８】本開示の画像処理装置の実行するハイライト誤補正検出を伴う処理例について説明する図である。
【図２９】本開示の画像処理装置の実行するハイライト誤補正検出を伴う処理例について説明する図である。
【図３０】本開示の画像処理装置の実行するハイライト誤補正検出を伴う処理例について説明する図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮像素子の構成例について
２．画像処理装置の構成例について
３．画像処理の具体例について
４．方向判定処理について
５．方向判定処理の変形例について
６．欠陥検出処理について
７．欠陥補正処理について
８．欠陥補正処理の変形列について
９．ハイライト誤補正判定を伴う処理例について
１０．本開示の構成のまとめ
【００２８】
［１．撮像素子の構成例について］
図１を参照して撮像素子の構成例について説明する。図１には、以下の３つの撮像素子の構成例を示している。
（１）ベイヤ（Ｂａｙｅｒ）配列
（２）４分割ベイヤ型ＲＧＢ配列
（３）ＲＧＢＷ型配列
【００２９】
（１）ベイヤ（Ｂａｙｅｒ）配列は多くのカメラにおいて採用されている配列であり、このベイヤ配列を持つカラーフィルタを持つ撮像画像に対する信号処理はほぼ確立している。
しかし、（２）４分割ベイヤ型ＲＧＢ配列や、（３）ＲＧＢＷ型配列については、まだ、これらのフィルタを備えた撮像素子によって撮影された画像に対する信号処理について十分な検討がなされているとは言えないというのが現状である。
なお、（２）４分割ベイヤ型ＲＧＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
【００３０】
以下、この（２）４分割ベイヤ型ＲＧＢ配列を持つカラーフィルタを備えた撮像素子によって撮影される画像に対する信号処理を実行する画像処理装置について説明する。
【００３１】
［２．画像処理装置の構成例について］
図２に、本開示の画像処理装置の一構成例である撮像装置１００の構成例を示す。
撮像装置１００は、図２に示すように、光学レンズ１０５、撮像素子（イメージセンサ）１１０、画像処理部１２０、メモリ１３０、制御部１４０を有する。
【００３２】
なお、図２に示す撮像装置１００は本開示の画像処理装置の一例であり、本開示の画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図２に示す撮像装置１００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成され、撮像素子１００の取得データの入力部、または記憶部を持つ構成となる。
【００３３】
以下では、図２に示す撮像装置１００を本開示の画像処理装置の代表例として説明する。なお、図２に示す撮像装置１００は、例えばスチルカメラ、ビデオカメラなどである。
【００３４】
図２に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列からなるカラーフィルタを備えた構成である。
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これら３種類の分光特性を持つフィルタを備えた撮像素子である。
先に説明したように、４分割ベイヤ型ＲＧＢ配列は、図１（１）に示すベイヤ配列の１つの画素を４つの画素として設定した配列に相当する。
【００３５】
この４分割ベイヤ型ＲＧＢ配列１８１を持つ撮像素子１１０は、光学レンズ１０５を介してＲＧＢいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１０によってＲＧＢ３種類の分光から成るモザイク画像が得られる。
【００３６】
撮像素子（イメージセンサ）１１０の出力信号は画像処理部１２０の画像信号補正部２００に入力される。
画像信号補正部２００は、４分割ベイヤ型ＲＧＢ配列１８１を持つ画像の補正処理、例えば欠陥画素の補正を行う。
【００３７】
画像信号補正部２００における補正画像が信号処理部２５０に入力される。信号処理部２５０は、既存のカメラにおける信号処理部と同様の処理、例えばＷＢ（ホワイトバランス）調整、各画素にＲＧＢ各画素値を設定するデモザイク処理等を実行してカラー画像１８３を生成して出力する。カラー画像１８３はメモリ１３０に格納される。
【００３８】
なお、光学レンズ１０５、撮像素子１１０、画像処理部１２０には制御部１４０からの制御信号が入力され、撮影処理制御、信号処理制御が実行される。制御部１４０は、例えばメモリ１３０に格納されたプログラムに従い、例えば図示しない入力部からのユーザ入力に応じて画像撮影他、各種の処理を実行する。
【００３９】
［３．画像処理の具体例について］
次に、図２の画像処理部１２０の画像信号補正部２００において実行する処理について、図３以下を参照して説明する。
図３（ａ）は、画像信号補正部２００において実行する処理を示す信号処理全体シーケンスである。
まずステップＳ１０１において撮像素子１１０から入力した撮像画像から処理対象画素（注目画素）を１つ選択し、注目画素近傍の画素領域（例えばＮ×Ｎ画素）を参照して画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定を行う。
すなわち、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が最小となる方向を方向判定結果として生成する。
【００４０】
画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が最小となる方向とは、エッジ方向に相当し、画素値の変化の少ない方向である。一方、エッジ方向に垂直な方向は、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が大きくなり、画素値の変化が大きい方向である。
【００４１】
なお、例えば注目画素に対する処理を行う場合、図３に示すように、注目画素３０１を中心としたＮ×Ｎ画素の画素領域３００を参照して処理を行う。図３に示す例は、Ｎ＝１１とした例である。
【００４２】
次に、ステップＳ１０２において、注目画素が欠陥画素であるか否かを判定し、欠陥が含まれる場合は、ステップＳ１０３で欠陥補正を行う。
以下、これらの各処理についての詳細を順次説明する。
【００４３】
［４．方向判定処理について］
まず、図３のフローのステップＳ１０１における画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定処理について説明する。
【００４４】
方向判定処理の詳細フローを図４に示す。
図４に示すように、方向判定処理は、注目画素３０１を中心としたＮ×Ｎ画素の画素領域３００を入力して注目画素３０１対応の画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定結果を順次出力する処理として実行される。
【００４５】
具体的には、まず、
ステップＳ１２１の高周波テクスチャのグラジエント算出、
ステップＳ１２２の低周波テクスチャのグラジエント算出、
ステップＳ１２３の輝度信号のグラジエント算出、
これら３態様のグラジエント算出を実行する。
さらに、ステップＳ１２４において、
これらの３つのグラジエント算出結果に対して、重み付き平均値を算出、これに基づいてステップＳ１２５で方向判定結果を出力する。
以下、これらの各処理の具体例について説明する。
【００４６】
図５は、ステップＳ１２１の高周波テクスチャのグラジエント算出処理例を示す図である。
注目画素３０１を中心としたＮ×Ｎ画素の画素領域３００において、図５に示すように、注目画素３０１に隣接または近傍のＧ画素の画素値を利用して以下の各方向のグラジエントを算出する。
水平方向のグラジエント：ｇｒａｄＨ
垂直方向のグラジエント：ｇｒａｄＶ
右上方向のグラジエント：ｇｒａｄＡ
右下方向のグラジエント：ｇｒａｄＤ
を算出する。
具体的には、以下に示す（式１）に従って高周波テクスチャのグラジエントを算出する。
【００４７】
【数１】
・・・・・（式１）
【００４８】
なお、Ｇｘ，ｙは、座標位置（ｘ，ｙ）のＧ画素値を意味する。
Ｎは、各方向のグラジエントの個数である。
【００４９】
図６は、ステップＳ１２２の低周波テクスチャのグラジエント算出処理例を示す図である。
注目画素３０１を中心としたＮ×Ｎ画素の画素領域３００において、図６に示すように、注目画素３０１に隣接または近傍のＧ画素の画素値を利用して以下の各方向のグラジエントを算出する。
水平方向のグラジエント：ｇｒａｄＨ
垂直方向のグラジエント：ｇｒａｄＶ
右上方向のグラジエント：ｇｒａｄＡ
右下方向のグラジエント：ｇｒａｄＤ
を算出する。
具体的には、以下に示す（式２）に従って低周波テクスチャのグラジエントを算出する。
【００５０】
【数２】
・・・・・（式２）
【００５１】
なお、Ｇｘ，ｙは、座標位置（ｘ，ｙ）のＧ画素値を意味する。
Ｎは、各方向のグラジエントの個数である。
【００５２】
図７は、ステップＳ１２３の輝度信号のグラジエント算出処理例を示す図である。
注目画素３０１を中心としたＮ×Ｎ画素の画素領域３００において、図７に示すように、
まず、２×２画素領域単位のＲＧＧＢの４画素を加算平均して輝度信号を算出する。
輝度＝（Ｒ＋Ｇ＋Ｇ＋Ｂ）／４
である。
【００５３】
次に、これらの加算平均値を利用して、以下の各方向のグラジエントを算出する。
水平方向のグラジエント：ｇｒａｄＨ
垂直方向のグラジエント：ｇｒａｄＶ
右上方向のグラジエント：ｇｒａｄＡ
右下方向のグラジエント：ｇｒａｄＤ
を算出する。
具体的には、以下に示す（式３）に従って低周波テクスチャのグラジエントを算出する。
【００５４】
【数３】
・・・・・（式３）
【００５５】
なお、Ｌｘ，ｙは、上記の輝度算出式、
輝度＝（Ｒ＋Ｇ＋Ｇ＋Ｂ）／４
によって算出した輝度である。
Ｎは、各方向のグラジエントの個数である。
【００５６】
次に、ステップＳ１２４の処理について、図８を参照して説明する。
ステップＳ１２４では、
ステップＳ１２１で算出した高周波テクスチャのグラジェント、
ステップＳ１２２で算出した低周波テクスチャのグラジエント、
ステップＳ１２３で算出した輝度信号のグラジエント、
これら３つのグラジエント算出結果に対して、重み付き平均値を算出する。
【００５７】
図８に示す例は、水平方向のグラジエントの重み付き平均値ｇＨの算出処理例を示している。
３種類それぞれの方法で求めたグラジエントを任意の重みで重み付き平均をとる。
ステップＳ１２１で算出した高周波テクスチャのグラジェント：ｇｒａｄＨｈ、
ステップＳ１２２で算出した低周波テクスチャのグラジエント：ｇｒａｄＨｌ、
ステップＳ１２３で算出した輝度信号のグラジエント：ｇｒａｄＨｉ、
これらに対して、重みｗｈ，ｗｌ，ｗｉを乗算して加算した結果を重み付き平均値ｇＨとして算出する。
【００５８】
すなわち、
ｇＨ＝ｗｈ×ｇｒａｄＨｈ＋ｗｌ×ｇｒａｄＨｌ＋ｗｉ×ｇｒａｄＨｉ
上記式に従って、グラジエントの重み付き平均値ｇＨを算出する。
【００５９】
なお、図８に示す例は、水平方向のグラジエントの重み付き平均値ｇＨの算出処理例であるが、垂直方向、右上方向、右下方向についても同様に各方向のグラジエントの重み付き平均値ｇＶ，ｇＡ，ｇＤを算出する。
【００６０】
なお、重みｗｈ，ｗｌ，ｗｉの各々は、以下のグラジエントに対する重みである。
重みｗｈは、ステップＳ１２１で算出した高周波テクスチャのグラジェントに対する重み、
重みｗｌは、ステップＳ１２２で算出した低周波テクスチャのグラジエントに対する重み、
重みｗｉは、ステップＳ１２３で算出した輝度信号のグラジエントに対する重み、
これらの各重みである。
【００６１】
この重みは、予め設定した値、例えば１：１：１の重みなどの固定値を適用してもよいが、画像特徴に応じた重みを設定する構成としてもよい。
画像特徴に応じた重み設定の例について、図９〜図１１を参照して説明する。
【００６２】
まず、図９を参照して出力画像の解像度に応じた重み設定例について説明する。
図９には、
（ａ）出力画像がフル解像度の場合の重み設定例、
（ｂ）出力画像が１／２解像度の場合の重み設定例、
これら２つの解像度に応じた重み設定例を示している。
【００６３】
フル解像度とは、撮像素子の解像度、すなわち撮像素子の画素構成に応じた画像を出力する場合である。
１／２解像度は、撮像素子の同色４画素ブロックの４つの画素値の加算平均を行って１つの画素値を設定して総画素数を１／４とした画像であり縦横の画素数をそれぞれ１／２とした画像である。
【００６４】
（ａ）出力画像がフル解像度の場合の重みは、例えば以下の設定とする。
高周波テクスチャのグラジェントに対する重み：ｗｈ＝０．６
低周波テクスチャのグラジェントに対する重み：ｗｌ＝０．１
輝度信号のグラジエントに対する重み：ｗｉ＝０．３
このような設定とする。
【００６５】
一方、
（ｂ）出力画像が１／２解像度の場合の重みは、例えば以下の設定とする。
高周波テクスチャのグラジェントに対する重み：ｗｈ＝０．１
低周波テクスチャのグラジェントに対する重み：ｗｌ＝０．６
輝度信号のグラジエントに対する重み：ｗｉ＝０．３
このような設定とする。
【００６６】
このようにフル解像度の場合は、高周波のグラジエントの重みを他の重みより大きく設定する。
一方、出力解像度を低下させている場合は、低周波のグラジエントの重みの比重を高めるようにする。
このような重み設定とすることで、出力画像に適したグラジエント方向判定が実現される。
【００６７】
次に、図１０を参照して、処理対象となる入力画像の周波数帯に応じて重みを設定する処理例について説明する。
以下に説明する例は、例えばテクスチャの多い画像、すなわち高周波領域の多い画像、あるいは画像領域に対しては高周波のグラジエントの重みを他の重みより大きく設定する。一方、画素値変化の少ない平面的な画像に対しては、低周波のグラジエントの重みを他の重みより大きく設定する処理例である。
【００６８】
画像が高周波領域の多い画像であるか、低周波領域の多い画像であるかを判別する手法としては様々な手法が適用可能であるが、以下ではその一例としてフーリエ変換を用いた例について説明する。
図１０には、入力画像の周波数帯に応じた重みを設定する処理を行う場合の処理シーケンスと具体的な処理例を示している。
まず、入力画像に対して、ステップＳ１５１において２次元フーリエ変換を実行する。
【００６９】
フーリエ変換について図１１を参照して説明する。
入力画像に対してフーリエ変換を行うと、画像配列と同じ２次元配列のフーリエ係数Ｆが算出される。
すなわち画像の画素数が横Ｗ、縦ＨであるＷ×Ｈの画像のフーリエ変換を行うと、Ｗ×Ｈの構成画素数に応じたＷ×Ｈ個のフーリエ係数Ｆ（ｕ，ｖ）が算出される。
フーリエ係数Ｆ（ｕ，ｖ）は、以下に示す式に従って算出される。
【００７０】
【数４】
【００７１】
上記式に従って算出されるフーリエ係数Ｆ（ｕ，ｖ）は、図１１下段に示すように中央に低周波のパワー（振幅）を含み、周辺に高周波のパワーを格納したものとなる。
【００７２】
図１０に示すステップＳ１５１では、このように入力画像、すなわち撮像素子の出力画像に対するフーリエ変換によりフーリエ係数を算出する。なお、フーリエ変換は予め設定した周期Ｎまで算出する。
次に、図１０に示すステップＳ１５２において、算出したフーリエ係数に応じて重み、すなわち、
高周波テクスチャのグラジェントに対する重み：ｗｈ、
低周波テクスチャのグラジェントに対する重み：ｗｌ、
輝度信号のグラジエントに対する重み：ｗｉ、
これらの重みｗｈ，ｗｌ，ｗｉを決定する。
【００７３】
図１０（２）に示すように、算出したフーリエ係数から、周波数帯域の大きさに応じて各重みを決定する。
フーリエ係数Ｆ（ｕ，ｖ）の座標軸を図１０（２）に示すようにｕ，ｖとして設定し、予め３つの矩形領域を設定する。
【００７４】
すなわち、
（ａ）ｕ＞Ｔ１、かつｖ＞Ｔ１の外側領域：Ａ
（ｂ）Ｔ１≧ｕ＞Ｔ２、かつＴ１≧ｖ＞Ｔ２の領域：Ｂ
（ｃ）Ｔ２≧―ｕ、かつＴ２≧ｖの］中心領域：Ｃ
これらの領域を設定する。
領域Ａは高周波領域、
領域Ｃは低周波領域、
領域Ｂは、中間の周波数領域に対応する。
【００７５】
ステップＳ１５１におけるフーリエ変換において算出したフーリエ係数Ｆ（ｕ，ｖ）の各々は、上記（ａ）〜（ｃ）のいずれに含まれることになる。
ステップＳ１５２においては、例えば、以下のような設定で、各重みを決定する。
【００７６】
領域Ａ（高周波）のフーリエ係数の和を、
高周波テクスチャのグラジェントに対する重み：ｗｈとする。
領域Ｂ（中周波）のフーリエ係数の和を、
輝度信号のグラジエントに対する重み：ｗｉとする。
領域Ｃ（低周波）のフーリエ係数の和を、
低周波テクスチャのグラジェントに対する重み：ｗｌとする。
【００７７】
このような処理を実行することで、画像の周波数帯に応じた重みが設定され、グラジエントの方向判定を画像の特徴に応じた最適な処理として実行することが可能となる。なお、上記の処理は、画像単位で実行する構成も可能であり、画像の所定領域単位で実行する構成としてもよい。
【００７８】
図４に示すステップＳ１２４では、このように、
ステップＳ１２１で算出した高周波テクスチャのグラジェント、
ステップＳ１２２で算出した低周波テクスチャのグラジエント、
ステップＳ１２３で算出した輝度信号のグラジエント、
これら３つのグラジエント算出結果に対して、重み付き平均値を算出する。
【００７９】
すなわち、
ｇＨ＝ｗｈ×ｇｒａｄＨｈ＋ｗｌ×ｇｒａｄＨｌ＋ｗｉ×ｇｒａｄＨｉ
上記式に従って、グラジエントの重み付き平均値ｇＨを算出する。
【００８０】
次に、図４に示すステップＳ１２５における方向判定処理について説明する。
ステップＳ１２５では、ステップＳ１２４において算出した以下の各値、すなわち、
水平方向のグラジエントの重み付き平均値ｇＨ、
垂直方向のグラジエントの重み付き平均値ｇＶ、
右上方向のグラジエントの重み付き平均値ｇＡ、
右下方向のグラジエントの重み付き平均値ｇＤ、
これらの４つの値を比較し、最小値を持つ方向を方向判定結果の方向とする。
【００８１】
前述したように、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が最小となる方向とは、エッジ方向に相当し、画素値の変化の少ない方向である。一方、エッジ方向に垂直な方向は、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が大きくなり、画素値の変化が大きい方向である。
【００８２】
例えば、撮像素子から出力される画像中に誤った画素値の設定された欠陥画素（エラー画素）が含まれ、欠陥画素を補正する場合に、周囲の画素から選択した参照画素の画素値を利用して補正画素値を算出する処理が実行される。
参照画素の選択においては、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が最小となる方向にある画素を選択することで、より自然な画素値補正が可能となる。これは、急激な画素値変化のある方向の画素の画素値を利用することで発生する不自然な画素値設定が防止されるためである。
【００８３】
ステップＳ１２５において得られる方向判定結果は、このような処理のために利用される。
なお、この方向判定結果の利用処理例については、後段で説明する。
【００８４】
このように本開示の方向判定処理では、複数種類のグラジエントを使って重み付き平均を行う。複数種類の異なるグラジエントを組み合わせることで、例えば色々な周波数のテクスチャに対応できるというメリットがある。
【００８５】
特に、図１（２）に示すような４分割ベイヤ型ＲＧＢ配列は、同色画素のサンプリング間隔が等間隔ではないので、位相によって取得できるテクスチャの周波数が偏るという問題がある。
本開示の構成では、高周波テクスチャと低周波テクスチャの両方とも取得し、これらを組み合わせて、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定処理を実行する。この手法を適用することで精度の高い方向判定が可能となる。
また、輝度信号を用いることで、等間隔にサンプリングされた信号からのグラジエントを取得することも可能となる。
【００８６】
本開示の画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定処理では、このように、
（ａ）高周波テクスチャのグラジエント、
（ｂ）低周波テクスチャのグラジエント、
（ｃ）輝度信号のグラジエント、
これら３種類の異なるグラジエントを算出して、これらを組み合わせて画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定を行う。
この処理により、例えば画素配列の偏り等に起因する誤った画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定の発生を抑制した精度の高い方向判定が実現される。
【００８７】
なお、従来から、画像のテクスチャ方向を判定し、判定された方向に沿った画素信号を用いて、欠陥の検出・補正を行う手法が提案されており、テクスチャの方向判定には、輝度信号を用いる手法と、ベイヤ配列のＧ画素など市松状に最も密に配置された画素を用いる手法が知られている。後者の手法の方がより高周波なテクスチャの方向も判別できるため、広く利用されている。
【００８８】
しかし、図１（２）に示すような４分割ベイヤ型ＲＧＢ配列では、Ｇ画素が市松状に配置されていないため、取得できるテクスチャの周波数がベイヤ配列に比べて偏る。そのため同じテクスチャであっても、画像位置によって方向判定結果が異なるなど、方向判定の精度が落ちる可能性がある。また、一定間隔にサンプリングされた画素を用いてグラジエントを算出していたため、ある特定の周波数のテクスチャ方向が、うまく判別できないことがあった。
上述した本開示の手法では、これらの問題を解決し、精度の高い方向判定が可能となる。
【００８９】
［５．方向判定処理の変形例について］
次に、方向判定処理の変形例について説明する。
（方向判定処理の変形例１）
図１２に方向判定処理の変形例１の処理例を示す。
図１２には、
高周波テクスチャのグラジエントの算出処理例、
低周波テクスチャのグラジエントの算出処理例、
これらを示している。
【００９０】
注目画素を中心としたＮ×Ｎ画素の画素領域３００において、図１２に示すように、注目画素３０１に隣接または近傍のＧ，Ｒ，Ｂ画素の画素値を利用して以下の各方向のグラジエントを算出する。
水平方向のグラジエント：ｇｒａｄＨ
垂直方向のグラジエント：ｇｒａｄＶ
右上方向のグラジエント：ｇｒａｄＡ
右下方向のグラジエント：ｇｒａｄＤ
を算出する。
【００９１】
本処理例は、高周波、低周波テクスチャのグラジエントを取得する際に、Ｇ画素以外にもＲ画素やＢ画素も利用する処理例である。
具体的には、以下に示す（式４）に従って高周波テクスチャのグラジエントを算出する。
【００９２】
【数５】
・・・・・（式４）
【００９３】
また、以下に示す（式５）に従って低周波テクスチャのグラジエントを算出する。
【００９４】
【数６】
・・・・・（式５）
【００９５】
（方向判定処理の変形例２）
図１３に方向判定処理の変形例２の処理例を示す。
図１３には、
方向判定結果をリモザイク処理に用いる例、
方向判定結果をデモザイク処理に用いる例、
これらを示している。
このように方向判定結果は欠陥画素の補正のみならず、方向判定結果を用いる様々な処理に適用できる。
【００９６】
なお、リモザイク処理とは、撮像素子から出力された各画素に設定されたＲＧＢ配列を変更して異なる画素配列を生成する処理である。
具体的には、例えば撮像素子からの出力が、図１（２）に示す４分割ベイヤ型ＲＧＢ配列である場合、この配列を図１に示すベイヤ配列に変更する処理である。
例えば、図２に示す撮像装置１００の画像処理部１２０内の信号処理部２５０は図１（１）に示すベイヤ配列の画像信号に対する信号処理を行う構成としたものが一般的である。従って、撮像素子１１０からの出力がベイヤ配列と異なる画素配列である場合は、その画素配列をベイヤ配列に変更するリモザイク処理を実行して信号処理部２５０に入力することで、信号処理部２５０は、既存の一般的な信号処理部の構成とすることが可能となる。
【００９７】
デモザイク処理は、各画素にＲＧＢの全画素値を設定する処理である。すなわち、図２の構成では、カラー画像１８３に相当する画像を生成することに相当する。
【００９８】
リモザイク処理と、デモザイク処理は、いずれも、ある注目画素位置（補間画素位置）にＲＧＢのいずれかの画素値を設定するために、補間画素位置に対する設定色と同一の色の画素を周囲から参照画素として選択し、選択した参照画素の画素値を適用して注目画素位置の画素値を決定する画素値補間処理を行う。
この補間処理において、画素値勾配（グラジエント）の小さい方向を参照画素の選択方向として設定することで、より自然な補間画素値を算出することが可能となる。
【００９９】
図１３に示す各フローに従った実施理例は、このようなリモザイク処理や、デモザイク処理における参照画素の方向を決定するための情報として画素値勾配（グラジエント）の方向判定結果を利用する実施例である。
【０１００】
（方向判定処理の変形例３）
図１４に方向判定処理の変形例３の処理例を示す。
図１４に示す例は、先に、図４を参照して説明した方向判定処理のステップＳ１２１〜Ｓ１２３に加え、ステップＳ１３１として、４画素加算平均のグラジエント算出処理を追加したものである。
【０１０１】
具体的には図１５に示すように、ＲＧＢ同一色の４画素ブロック単位で画素値の加算平均を算出し、この加算平均からグラジエントを算出する。
【０１０２】
すなわち、図１５に示す４画素ブロック単位で４画素の画素値の加算平均値を持つ１つの画素を設定し、総画素数を１／４の画素に設定した画像を適用して、水平、垂直、右上、右下各方向のグラジエントを算出する。
なお、これらのグラジエント算出方法は、先に図７を参照して説明した輝度信号のグラジエント算出処理と同様であり、前述の（式３）において、輝度の代わりに画素値（＝４画素の加算平均値）を設定することで算出する。
【０１０３】
図１４のステップＳ１２４では、
ステップＳ１２１で算出した高周波テクスチャのグラジェント、
ステップＳ１２２で算出した低周波テクスチャのグラジエント、
ステップＳ１２３で算出した輝度信号のグラジエント、
ステップＳ１３１で算出した４画素加算平均のグラジエント、
これら４つのグラジエント算出結果に対して、重み付き平均値を算出する。
このように、重み付き平均値の算出処理対象とするグラジエントの種類を増加、あるいは減少させた様々な設定が可能である。
【０１０４】
（方向判定処理の変形例４）
上述した処理例では、先に図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列に対する処理例として説明したが、その他の配列、例えば、図１（１）に示すベイヤ配列、図１（３）に示すＷＲＧＢ配列、あるいは図１６に示すような４分割ＷＲＧＢ型配列など、さまざまな配列の画素データに対しても上記の本開示の処理が適用可能である。
【０１０５】
［６．欠陥検出処理について］
次に、図３のフローのステップＳ１０２における欠陥検出処理について説明する。
ステップＳ１０２の処理は、注目画素が欠陥画素であるか否かを判定する処理であり、欠陥が含まれる場合は、ステップＳ１０３で欠陥補正を行う。
【０１０６】
図１７に欠陥検出処理の詳細フローを示す。
注目画素５０１を中心としたＮ×Ｎ画素領域５００を入力し、さらに、図３のフローのステップＳ１０１において検出した方向情報、すなわち、
を入力する。
【０１０７】
欠陥検出処理では、まず、
ステップＳ２０１の水平方向画素補間、
ステップＳ２０２の垂直方向画素補間、
ステップＳ２０３の右上方向画素補間、
ステップＳ２０４の右下方向画素補間、
これらのいずれかの処理を選択的に実行する。
【０１０８】
すなわち、図３のフローのステップＳ１０１における方向判定結果として得られたグラジエントの最小となる方向に対応する方向を選択して画素補間を行う。
例えばグラジエントの最小となる方向が水平方向である場合は、ステップＳ２０１の水平方向画素補間を実行する。
【０１０９】
画素補間処理の具体例について図１８以下を参照して説明する。
図１８は、注目画素をＲ画素とした処理例を示している。
図１８には、
水平方向の補間処理例（Ｓ２０１に対応）と、
右下方向の補間処理例（Ｓ２０４に対応）を示している。
【０１１０】
各方向から同一色の画素を選択してこれらを参照画素とした補間処理を実行する。
ただし、図１８に示すように、方向に応じて参照画素の数が変化してしまう。
図１８に示す水平方向の補間処理例では、中央の注目画素であるＲ画素と同一色のＲ画素が水平方向に注目画素自身も含めて６画素あり、これらの６画素を参照画素として取得可能である。
【０１１１】
しかし、図１８に示す右下方向の補間処理例では、中央の注目画素であるＲ画素と同一色のＲ画素が右下方向に注目画素自身も含めて３画素しかなく、これらの３画素のみしか参照画素として利用できない。
このような参照方向によって参照可能な画素数が変化してしまう。特に注目画素が、Ｒ画素またはＢ画素の場合、参照方向に応じた参照画素数の減少が顕著になる。
【０１１２】
このように、ある参照方向において、予め設定したしきい値未満の参照画素しか得られない場合は、図１９に示すように、参照方向に対して垂直方向にある同一色の画素を選択し、この選択画素の画素値に基づいて、参照方向に補間画素値を設定する補間処理を実行する。この補間画素を参照画素に設定して参照画素を増加させた後、これらの参照画素に基づいて、注目画素の画素値設定としての補間処理を実行する。
【０１１３】
先に図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列のような、サンプリング間隔が一定でない配列では、方向によって画素数が少ない場合があるので、このような補間によって補って参照画素を増加させる。この処理によって、参照画素数を増加させることが可能となり、より精度の高い補正画素値の算出が可能となる。
【０１１４】
このように、参照方向に参照画素が少ない場合は、その参照方向に補間画素を設定することで、全ての方向、ＲＧＢ全ての色で同じ参照画素の数を設定することが可能となる。
この処理によって、注目画素に対する補正画素値を設定する処理において、より精度の高い補正が可能となるばかりでなく、全方向、全色で同じ処理を行えるので、同じ補正回路で処理が可能となり、装置に備える回路規模を削減することも可能となる。
【０１１５】
図１９を参照して説明した処理は、参照方向に対して垂直方向にある同一色の画素を選択し、この選択画素の画素値に基づいて、参照方向に補間画素値を設定する補間処理例であった。
参照方向に補間画素値を設定する処理としては、このような、参照方向に対して垂直方向にある画素に限定することなく、補間画素位置の任意の方向にある周囲の同一色画素を適用してもよい。
この処理例について図２０、図２１を参照して説明する。
【０１１６】
図２０も図１９と同様、右下方向に参照画素を設定する場合の処理例をしめしている。
注目画素５０１は、中央間Ｒ画素であり、右下方向に参照画素としてのＲ画素を設定する処理例である。
図に示す参照画素補間位置５２１にＲ画素を設定する場合の処理について説明する。
なお、図２０には、画像の水平方向をＸ、垂直方向をＹとして（ｘ，ｙ）＝（１，１）〜（１１，１１）の画像を示している。
注目画素５０１は、座標位置（ｘ，ｙ）＝（６，６）のＲ画素である。
参照画素補間位置５２１は、座標位置（８，８）のＢ画素の位置である。
【０１１７】
この座標位置（８，８）のＢ画素の位置にＲ画素を補間する。
本例では、参照方向（本例では右下方向）の垂直方向のみならず、すべての方向から同一色画素を選択する。具体的には、例えば参照画素補間位置５２１から予め設定した距離内にある予め設定した数の同一色画素を選択する。
図２０に示す例は、参照画素補間位置５２１の周囲にある５つのＲ画素を補間画素値の算出に適用する画素として選択する処理例を示している。図に示す太線枠で囲まれたＲ画素である。具体的には以下のＲ画素である。
（１）座標位置（ｘ，ｙ）＝（６，７）のＲ画素、
（２）座標位置（ｘ，ｙ）＝（９，７）のＲ画素、
（３）座標位置（ｘ，ｙ）＝（６，１０）のＲ画素、
（４）座標位置（ｘ，ｙ）＝（９，１０）のＲ画素、
（５）座標位置（ｘ，ｙ）＝（１０，１０）のＲ画素、
これら５つのＲ画素の画素値の加算平均を算出して参照画素補間位置５２１のＲ画素の補間画素値として設定する。
【０１１８】
すなわち、参照画素補間位置５２１のＲ画素の補間画素値Ｒａは、以下の式に従って算出する。
【０１１９】
【数７】
【０１２０】
図２１を参照して補間処理に適用する画素数を３とした場合の具体的な補間画素値算出処理例について説明する。
図２１に示す例は、参照画素補間位置５２１の周囲にある３つのＲ画素を補間画素値算出に適用する画素として選択する処理例を示している。図に示す太線枠で囲まれたＲ画素である。具体的には以下のＲ画素である。
（１）座標位置（ｘ，ｙ）＝（６，７）のＲ画素、
（２）座標位置（ｘ，ｙ）＝（９，７）のＲ画素、
（３）座標位置（ｘ，ｙ）＝（９，１０）のＲ画素、
これら３つのＲ画素の画素値の加算平均を算出して参照画素補間位置５２１のＲ画素の補間画素値として設定する。
【０１２１】
すなわち、参照画素補間位置５２１のＲ画素の補間画素値Ｒａは、以下の式に従って算出する。
【０１２２】
【数８】
【０１２３】
このように、参照方向に参照画素を補間する処理としては、
図１９を参照して説明した参照方向に垂直な方向にある注目画素と同一色の画素を適用する処理、
図２０〜図２１を参照して説明した参照方向の補間画素位置の周囲にある注目画素と同一色の画素を適用する処理、
これらの処理のいずれかが適用可能である。
【０１２４】
次に、図１７のフローのステップＳ２０５のラプラシアン計算処理について、図２２を参照して説明する。
図２２（ａ）に示すように、前述した補間処理において抽出した注目画素５０１を含む同色の５画素を選択する。
【０１２５】
さらに、これらの５画素を用いて、図２２（ｂ）に示すように画素位置順に一列に並べ、注目画素５０１を含む画素の３種類の組み合わせ配列を設定する。すなわち、
（ｂ１）注目画素５０１を右端に設定した３画素配列、
（ｂ２）注目画素５０１を中央に設定した３画素配列、
（ｂ３）注目画素５０１を左端に設定した３画素配列、
これらの３つの配列を設定する。
【０１２６】
これら（ｂ１）〜（ｂ３）の３つの３画素配列の各々に基づいて、Ｌ１，Ｌ２，Ｌ３の３種類のラプラシアンを算出する。すなわち、
（Ｌ１）上記（ｂ１）の３画素配列に基づくラプラシアンＬ１、
（Ｌ２）上記（ｂ２）の３画素配列に基づくラプラシアンＬ２、
（Ｌ３）上記（ｂ３）の３画素配列に基づくラプラシアンＬ３、
これらのラプラシアンを算出する。
【０１２７】
なお、ラプラシアンは、以下の（式６）に従って算出する。
すなわち、３画素配列の各画素の画素位置を、左からｉ−１，ｉ，ｉ＋１とし、各画素位置の画素値をＧｉ−１、Ｇｉ、Ｇｉ＋１としたときのラプラシアンＬｉは以下の（式６）に従って算出する。
Ｌｉ＝Ｇｉ−１＋Ｇｉ＋１−２Ｇｉ
・・・・・（式６）
【０１２８】
次に、図１７のフローのステップＳ２０６のラプラシアン比較、欠陥検出処理について、図２３を参照して説明する。
図２３に示すように、欠陥検出は、ステップＳ２０５で算出したラプラシアンの比較によって行う。
【０１２９】
具体的には、
Ｌ１＞τ、かつ、
Ｌ２＞τ、かつ、
Ｌ３＞τ、
この時、注目画素は欠陥画素であると判定する。
なお、τは予め設定したしきい値である。
【０１３０】
例えば、
図２３（ａ）に示す２つの例は、
Ｌ１＞τ、かつ、
Ｌ２＞τ、かつ、
Ｌ３＞τ、
これらの条件を満たしており、注目画素５０１が欠陥画素であると判定される例である。
【０１３１】
一方、図２３（ｂ）に示す２つの例は、
Ｌ１＞τ、かつ、
Ｌ２＞τ、かつ、
Ｌ３＞τ、
これらの条件を満たしておらず、注目画素５０１が欠陥画素でないと判定される例である。
【０１３２】
［７．欠陥補正処理について］
次に、図３のフローのステップＳ１０３における欠陥補正処理について説明する。
図２４、図２５を参照して補正処理の詳細について説明する。
【０１３３】
図２４に示すように、補正処理には、欠陥検出に用いた注目画素５０１を含む同一色の５画素を適用する。この５画素は、図３のフローのステップＳ１０１における方向判定処理において、画素値勾配（グラジエント）の小さい方向に並ぶ５画素である。すなわち、図１８〜図２２を参照して説明した注目画素と、参照画素を含む５画素である。その一部は、図１９を参照して説明した補間処理によって生成した画素である場合もある。
【０１３４】
図２４に示すように注目画素５０１を含む画素値勾配（グラジエント）の小さい方向に並ぶ５画素を利用して、まず、ステップＳ３０１において、参照画素間グラジエントを算出する。
この参照画素間グラジエントは、注目画素５０１の両サイドの２画素間の画素値勾配（グラジエント）である。
図２４に示す、
参照画素５１１と参照画素５１２の画素値勾配（グラジエント）ｇ１と、
参照画素５１３と参照画素５１４の画素値勾配（グラジエント）ｇ２、
これらを算出する。
【０１３５】
さらに、ステップＳ３０２において、この参照画素間グラジエントを適用して補正値、すなわち注目画素５０１の補正画素値を算出する。
【０１３６】
図２５を参照して、ステップＳ３０１の参照画素間グラジエント算出処理と、ステップＳ３０２の補正画素値算出処理の具体例について説明する。
【０１３７】
図２５（ａ）に示すように、ステップＳ３０１における参照画素間グラジエント算出処理は、それぞれ、注目画素を挟む両サイド各々の２つの参照画素間の画素値勾配（グラジエント）でを算出する処理である。
【０１３８】
図２５（ａ）に示す例はＲ画素の処理例を示している。Ｒ１〜Ｒ５は各画素の画素値である。
ステップＳ３０１における参照画素間グラジエント算出処理は、以下の式によって算出する。
ｇ１＝｜Ｒ１−Ｒ２｜
ｇ２＝｜Ｒ４−Ｒ５｜
ステップＳ３０１では、これらの２つの参照画素間グラジエントを算出する。
【０１３９】
次に、ステップＳ３０２の処理、すなわち補正画素値算出処理について、図２５（ｂ）を参照して説明する。
補正画素値をＲ３'とする。
補正画素値Ｒ３'は、以下の式に従って算出する。
ｇ１≦ｇ２のとき、
Ｒ３'＝α×Ｒ１＋（１−α）×Ｒ２
ｇ１＞ｇ２のとき、
Ｒ３'＝β×Ｒ４＋（１−β）×Ｒ５
ただし、α、βは、０以上１以下の予め設定したパラメータである。
【０１４０】
これらの処理によって、欠陥画素として判定された注目画素５０１の補正画素値を算出し、この補正画素値を注目画素の画素値として設定する。
これらの処理は、例えば図２に示す撮像装置１００の画像処理部１２０内の画像信号補正部２００において実行される。
補正画素値の設定された補正画像は、信号処理部２５０に出力され、信号処理部２５０において、既存のカメラにおける信号処理部と同様の処理、例えばＷＢ（ホワイトバランス）調整、各画素にＲＧＢ各画素値を設定するデモザイク処理等が実行されカラー画像１８３を生成して出力する。
【０１４１】
上述したように、本開示の処理では、処理対象画素である注目画素を含む画素値勾配（グラジエント）の小さい方向に並ぶ複数の画素を利用して、注目画素が欠陥画素であるか否かの判定を行う際に、その方向上にある同色画素を補間によって補い、予め既定した数以上の参照画素を設定する。
さらに、欠陥画素であると判定された注目画素に対する補正処理に際しても、必要に応じて実行された補間処理によって設定された規定数以上の参照画素の画素値を利用した補正処理を実行する。
【０１４２】
このように、本開示の処理では、参照画素の画素数を所定の数以上に設定した処理を実行することで、検出・補正精度を向上させている。また、全ての方向、ＲＧＢ全ての色で同じ画素数が用意できるので、全方向、全色で同じアルゴリズムに従った処理を実行することが可能となり、同一の処理回路を利用した処理が可能となり、回路規模削減も可能となる。また、画素配列に起因した補正の優劣、すなわち、補正の得意な方向や不得意な方向の差を低減することができる。特にサンプリング間隔の広い画素で効果を発揮する。
【０１４３】
［８．欠陥補正処理の変形列について］
上述した処理例では、先に図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列に対する処理例として説明したが、上述した欠陥の検出、補正処理についても、先の方向判定処理と同様、その他の配列、例えば、図１（１）に示すベイヤ配列、図１（３）に示すＷＲＧＢ配列、あるいは図２６に示すような４分割ＷＲＧＢ型配列など、さまざまな配列の画素データに対しても上記の本開示の処理が適用可能である。
【０１４４】
また。上述の実施例では、欠陥検出処理に際して画素補間を行う処理例として説明したが、欠陥検出時には画素補間を実行せず、補正処理に際して画素補間を行う構成としてもよい。また、方向判定の際に画素補間を行う構成としてもよい。
【０１４５】
［９．ハイライト誤補正判定を伴う処理例について］
次に、ハイライト誤補正判定を伴う処理例について図２７以下を参照して説明する。
例えば星空等を撮影すると、星は暗闇の中に明るい点として撮影される。カメラによる撮影画像では、低輝度画素の中に点々と高輝度画素が設定される状態となり、このような高輝度画素を欠陥画素であると判定してしまう場合がある。欠陥画素として認定されると、本来の星を示す画素が周囲の画素と同様の画素値、すなわち低輝度画素に補正されてしまう。このような誤補正はハイライト誤補正と呼ばれる。
【０１４６】
以下、欠陥画素の補正として実行された補正がハイライト誤補正でないかについて検証し、ハイライト誤補正であると判定した場合には、補正前の画素値を出力する実施例について説明する。
【０１４７】
図２７に本実施例の処理シーケンスを説明するフローチャートを示す。
図２７に示すフローに従った処理は、図２の画像処理部１２０の画像信号補正部２００において実行する処理である。
まずステップＳ４０１において撮像素子１１０から入力した撮像画像から処理対象画素（注目画素）を１つ選択し、注目画素近傍の画素領域（例えばＮ×Ｎ画素）を参照して画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定を行う。
入力画像は、例えば図２７に示す画像６００であり、注目画素６０１を中心としたＮ×Ｎの画像である。
【０１４８】
ステップＳ４０１の方向判定処理は、先に説明した図３のフローのステップＳ１０１の方向判定処理と同様の処理である。すなわち、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が最小となる方向を方向判定結果として生成する。
画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が最小となる方向とは、エッジ方向に相当し、画素値の変化の少ない方向である。一方、エッジ方向に垂直な方向は、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が大きくなり、画素値の変化が大きい方向である。
【０１４９】
なお、例えば注目画素に対する処理を行う場合、図２７に示すように、注目画素６０１を中心としたＮ×Ｎ画素の画素領域６００を参照して処理を行う。図２７に示す例は、Ｎ＝１１とした例である。
【０１５０】
次に、ステップＳ４０２において、注目画素が欠陥画素であるか否かを判定する欠陥検出処理を実行する。
このステップＳ４０２の欠陥検出処理は、先に説明した図３のフローのステップＳ１０２の欠陥検出処理と同様の処理である。すなわち、先に図１７〜図２３を参照して説明したラプラシアンの算出による欠陥検出を実行する。
【０１５１】
次のステップＳ４０３は、注目画素が欠陥画素であるか否かの結果に応じた分木ステップである。
欠陥画素でないと判定した場合は、補正処理を実行することなく、ステップＳ４０７に進み、補正前の原画素値を出力する。
一方、欠陥画素であると判定した場合は、ステップＳ４０４に進み、補正処理を実行する。
【０１５２】
ステップＳ４０４の補正処理は、先に説明した図３のフローのステップＳ１０３の欠陥検出処理と同様の処理である。すなわち、先に図２４〜図２５を参照して説明した画素値補正処理を実行する。
【０１５３】
次に、ステップＳ４０５に進み、ステップＳ４０４で実行した補正処理がハイライト誤補正でないかの判定処理を行う。
ステップＳ４０５〜Ｓ４０８では、テップＳ４０４で実行した補正処理がハイライト誤補正でないかの判定結果に応じて以下のように注目画素の出力画素値を決定して出力する。
【０１５４】
すなわち、
ステップＳ４０４で実行した補正処理がハイライト誤補正でないと判定した場合は、ステップＳ４０８に進み、補正画素値を出力する。
ステップＳ４０４で実行した補正処理がハイライト誤補正であると判定した場合は、ステップＳ４０７に進み、補正前の原画素値を出力する。
このハイライト誤補正判定処理と出力画素値の決定処理の詳細について、図２８〜図３０を参照して説明する。
【０１５５】
図２８は、ハイライト誤補正判定処理と出力画素決定処理の詳細処理を説明する図である。
ハイライト誤補正判定処理においては、
処理対象となる注目画素の補正画素値６１１と、
処理対象となる注目画素の補正前の原画素値６１２と、
処理対象となる注目画素の近傍領域（例えば注目画素を中心とするＮ×Ｎ画素領域）情報６１３、
これらを入力する。
【０１５６】
まず、ステップＳ５０１において、注目画素の近傍領域情報６１３に対するホワイトバランス算出を実行する。
この処理について図２９を参照して説明する。
【０１５７】
図２９には注目画素６０１を中心として近傍領域情報としてのＮ×Ｎ画素の画素領域６００を示している。
この画素領域６００のホワイトバランスを算出する。
ホワイトバランスは、近傍がぞ領域６００におけるＲ，Ｇ，Ｂ各々の画素値平均：ａｖｅＲ，ａｖｅＧ，ａｖｅＢを算出し、これら平均値の比として算出する。
具体的には、以下の式に従ってホワイトバランスを算出する。
【０１５８】
【数９】
【０１５９】
図２８のステップＳ５０１では、上記式に従って、注目画素の近傍領域におけるホワイトバランスを算出する。
次に、ステップＳ５０２において、異色画素平均値を算出する。異色画素平均値とは、ハイライト誤補正判定対象としての注目画素の色と異なる色の平均値である。
異色画素平均値：Ｐは図３０に示すように、例えば以下の式に従って算出する。
【０１６０】
【数１０】
【０１６１】
上記式は、注目画素がＧ画素の場合の異色画素平均値Ｐの算出例である。図３０に示すように注目画素６０１の周囲の８画素から、異色画素Ｂ１，Ｂ２とＲ１，Ｒ２を選択して、これらと、先に算出したホワイトバランス値（ａｖｅＧ／ａｖｅＲ）、（ａｖｅＧ／ａｖｅＢ）を適用して異色画素平均値Ｐを算出する。
【０１６２】
なお、上記式は、注目画素がＧ画素の場合の算出例であるが、その他のＢ，Ｒ画素の場合には、それぞれ注目画素の周囲から、注目画素の異なる色の画素を選択してそそれぞれの画素値を各色単位で加算して、ホワイトバランス調整を行って異色画素平均値Ｐを算出する。
【０１６３】
次に、ステップＳ５０３において、図２７のステップＳ４０４で実行した欠陥補正が、ハイライト誤補正でないかを判定し、判定結果に応じて出力画素を補正画素値とするか原画素値とするかを決定する。
この出力画素選択理は、図３０に示すように、以下の式に従って実行する。
【０１６４】
【数１１】
【０１６５】
上記式において、
Ｇｏｒｇ：注目画素の原画素値、
Ｇｃｏｒ：注目画素の補正画素値、
Ｐ：移植画素平均値、
である。
【０１６６】
すなわち、補正前と補正後で異色画素平均値Ｐに近い方を出力する。
補正後の補正画素値と異色画素平均値Ｐとの差分が、補正前の原画素値と異色画素平均値Ｐとの差分以上になっている場合は、ハイライト誤補正であると判定し、原画素値を出力する処理を行う。
補正後の補正画素値と異色画素平均値Ｐとの差分が、補正前の原画素値と異色画素平均値Ｐとの差分未満である場合は、ハイライト誤補正ではない正しい補正が行われたと判定し、補正画素値を出力する処理を行う。
【０１６７】
図２７のフローのステップＳ４０５〜Ｓ４０８の処理は、図２８〜図３０を参照して説明した処理として実行される。
この処理によって、ハイライト誤補正がなされた場合に、元の画素値に戻して出力することが可能となる。
【０１６８】
［１０．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１６９】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 画像の補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行し、
前記方向判定処理は、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用して実行する画像処理装置。
【０１７０】
（２）前記画像信号補正部は、前記方向判定処理において、高周波テクスチャ対応の画素値勾配情報と、低周波テクスチャ対応の画素値勾配情報と、輝度信号対応の画素値勾配情報と、を算出し、これらの３種類の勾配情報の重み付き加算結果に基づいて、最小の画素値勾配を有する方向を検出する前記（１）に記載の画像処理装置。
（３）前記画像信号補正部は、前記高周波テクスチャ対応の画素値勾配情報を、隣接画素の画素値差分を適用して算出し、前記低周波テクスチャ対応の画素値勾配情報を、非隣接画素の画素値差分を適用して算出する前記（２）に記載の画像処理装置。
（４）前記画像信号補正部は、ＲＧＢ各画素を含む画素領域単位でＲＧＢ各画素の画素値に基づいて輝度信号を算出し、算出した領域単位の輝度信号を適用して前記輝度信号対応の画素値勾配情報を算出する前記（２）または（３）に記載の画像処理装置。
【０１７１】
（５）前記画像信号補正部は、前記３種類の勾配情報の重み付き加算処理において設定する重みを出力画像の解像度に応じて変更する処理を実行し、出力画像が高解像度の場合は、高周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定し、出力画像が低解像度の場合は、低周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定する前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記画像信号補正部は、前記３種類の勾配情報の重み付き加算処理において設定する重みを処理対象画像である入力画像の周波数帯に応じて変更する処理を実行し、入力画像が高周波数領域を多く含む場合は、高周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定し、入力画像が低周波数領域を多く含む場合は、低周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１７２】
（７）前記画像信号補正部は、ＲＧＢ各色が２×２の４画素単位で配列された画像、またはＲＧＢＷ各色が２×２の４画素単位で配列された画像の画素値補正を実行する前記（１）〜（６）いずれかに記載の画像処理装置。
（８）前記画像信号補正部は、前記欠陥検出処理において、欠陥検出対象となる注目画素と同一色の画素を参照画素として前記最小勾配方向から選択し、注目画素と選択画素の異なる組み合わせに基づいて算出した複数のラプラシアンと予め既定した閾値との比較を実行して比較結果に基づいて前記注目画素が欠陥画素であるか否かの判定を行う前記（１）〜（７）いずれかに記載の画像処理装置。
【０１７３】
（９）前記画像信号補正部は、欠陥検出対象となる注目画素と同一色の画素を参照画素として前記最小勾配方向から４画素選択し、注目画素と２つの選択画素の異なる組み合わせに基づいて算出した３つのラプラシアンと予め既定した閾値との比較を実行し、３つのラプラシアンの全てが前記しきい値より大きい場合に前記注目画素が欠陥画素であると判定する前記（８）に記載の画像処理装置。
（１０）前記画像信号補正部は、前記欠陥検出処理において、欠陥検出対象となる注目画素と同一色の画素が、既定の参照領域内において前記最小勾配方向から４つ選択できない場合、前記最小勾配方向にある注目画素と異なる色の異色画素位置に、該異色画素位置の周囲の注目画素と同一色画素の画素値に基づく画素補間を実行し、該画素補間によって生成した補間画素を参照画素として設定する前記（８）または（９）に記載の画像処理装置。
【０１７４】
（１１）前記画像信号補正部は、前記欠陥補正処理において、前記参照画素の画素値の重み付き加算により前記注目画素の補正画素値を算出する前記（８）〜（１０）いずれかに記載の画像処理装置。
（１２）前記画像信号補正部は、前記欠陥補正処理において、前記注目画素を中心とした両側各々にある２つの参照画素間の画素値勾配を算出し、画素値勾配の小さい方向の２画素の画素値の重み付き加算によって前記注目画素の補正画素値を算出する前記（８）〜（１１）いずれかに記載の画像処理装置。
（１３）前記画像信号補正部は、前記欠陥補正処理において実行した補正処理がハイライト誤補正であるか否かを判定するハイライト誤補正判定処理を実行し、ハイライト誤補正であると判定した場合は、補正前の原画素値を出力し、ハイライト誤補正でないと判定した場合は、補正画素値を出力する前記（１）〜（１２）いずれかに記載の画像処理装置。
【０１７５】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【０１７６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１７７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１７８】
以上、説明したように、本開示の一実施例の構成によれば、様々な設定の画素配列を持つ画像に対して、高精度な欠陥検出および補正を実現可能とした装置、方法を提供する。
具体的には、注目画素を含む画素領域に対して複数の異なる手法を適用して複数の勾配検出情報を取得する。さらに、複数の勾配検出情報の重み付き加算に基づいて最小勾配方向を検出する。さらに、検出した最小勾配方向にある注目画素と同一色の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する。さらに、欠陥の検出された注目画素に対して、方向判定処理において検出した方向にある参照画素の画素値を適用して補正画素値を算出する。
本処理により、様々な設定の画素配列を持つ画像に対して、高精度な欠陥検出および補正を実現可能とした装置、方法が実現される。
【符号の説明】
【０１７９】
１００ 撮像装置
１０５ 光学レンズ
１１０ 撮像素子（イメージセンサ）
１２０ 画像処理部
１３０ メモリ
１４０ 制御部
１８１ ４分割ベイヤ型ＲＧＢ配列
１８３ カラー画像
２００ 画像信号補正部
２５０ 信号処理部
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像の補正処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置に利用される撮像素子には、例えばＲＧＢ配列からなるカラーフィルタが装着され、各画素に特定の波長光を入射する構成となっている。
具体的には、例えばベイヤ（Ｂａｙｅｒ）配列を持つカラーフィルタが多く利用されている。
【０００３】
ベイヤ配列の撮像画像は、撮像素子の各画素にＲＧＢいずれかの色に対応する画素値のみが設定されたいわゆるモザイク画像となる。カメラの信号処理部は、このモザイク画像に対して画素値補間などの様々な信号処理を施して各画素にＲＧＢの全画素値を設定するデモザイク処理等を行い、カラー画像を生成して出力する。
【０００４】
このベイヤ配列に従ったカラーフィルタを備えた撮像画像に対する信号処理については、すでに多くの検討がなされ、ある程度、技術的に確立されていると言える。しかし、ベイヤ配列と異なる配列を持つ画像に対する信号処理については、まだ十分な検討がなされていないというのが現状である。
【０００５】
なお、例えば、撮像素子に付属するフィルタとしてＲＧＢの各色に加え、全波長透過型のＷ（Ｗｈｉｔｅ）画素を備えたＲＧＢＷ配列を持つフィルタを備えた撮像装置の撮影画像に対する補正処理について、特許文献１（特開２０１１−５５０３８号公報）などに記載がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−０５５０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示は、例えば上記問題点に鑑みてなされたものであり、例えばベイヤ（Ｂａｙｅｒ）配列と異なる配列を持つカラーフィルタを備えた撮像素子によって撮影された画像に対する画像補正処理を実行する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本開示の第１の側面は、
画像の補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行し、
前記方向判定処理は、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用して実行する画像処理装置にある。
【０００９】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記方向判定処理において、高周波テクスチャ対応の画素値勾配情報と、低周波テクスチャ対応の画素値勾配情報と、輝度信号対応の画素値勾配情報と、を算出し、これらの３種類の勾配情報の重み付き加算結果に基づいて、最小の画素値勾配を有する方向を検出する。
【００１０】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記高周波テクスチャ対応の画素値勾配情報を、隣接画素の画素値差分を適用して算出し、前記低周波テクスチャ対応の画素値勾配情報を、非隣接画素の画素値差分を適用して算出する。
【００１１】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、ＲＧＢ各画素を含む画素領域単位でＲＧＢ各画素の画素値に基づいて輝度信号を算出し、算出した領域単位の輝度信号を適用して前記輝度信号対応の画素値勾配情報を算出する。
【００１２】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記３種類の勾配情報の重み付き加算処理において設定する重みを出力画像の解像度に応じて変更する処理を実行し、出力画像が高解像度の場合は、高周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定し、出力画像が低解像度の場合は、低周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定する。
【００１３】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記３種類の勾配情報の重み付き加算処理において設定する重みを処理対象画像である入力画像の周波数帯に応じて変更する処理を実行し、入力画像が高周波数領域を多く含む場合は、高周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定し、入力画像が低周波数領域を多く含む場合は、低周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定する。
【００１４】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、ＲＧＢ各色が２×２の４画素単位で配列された画像、またはＲＧＢＷ各色が２×２の４画素単位で配列された画像の画素値補正を実行する。
【００１５】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記欠陥検出処理において、欠陥検出対象となる注目画素と同一色の画素を参照画素として前記最小勾配方向から選択し、注目画素と選択画素の異なる組み合わせに基づいて算出した複数のラプラシアンと予め既定した閾値との比較を実行して比較結果に基づいて前記注目画素が欠陥画素であるか否かの判定を行う。
【００１６】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、欠陥検出対象となる注目画素と同一色の画素を参照画素として前記最小勾配方向から４画素選択し、注目画素と２つの選択画素の異なる組み合わせに基づいて算出した３つのラプラシアンと予め既定した閾値との比較を実行し、３つのラプラシアンの全てが前記しきい値より大きい場合に前記注目画素が欠陥画素であると判定する。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記欠陥検出処理において、欠陥検出対象となる注目画素と同一色の画素が、既定の参照領域内において前記最小勾配方向から４つ選択できない場合、前記最小勾配方向にある注目画素と異なる色の異色画素位置に、該異色画素位置の周囲の注目画素と同一色画素の画素値に基づく画素補間を実行し、該画素補間によって生成した補間画素を参照画素として設定する。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記欠陥補正処理において、前記参照画素の画素値の重み付き加算により前記注目画素の補正画素値を算出する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記欠陥補正処理において、前記注目画素を中心とした両側各々にある２つの参照画素間の画素値勾配を算出し、画素値勾配の小さい方向の２画素の画素値の重み付き加算によって前記注目画素の補正画素値を算出する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記欠陥補正処理において実行した補正処理がハイライト誤補正であるか否かを判定するハイライト誤補正判定処理を実行し、ハイライト誤補正であると判定した場合は、補正前の原画素値を出力し、ハイライト誤補正でないと判定した場合は、補正画素値を出力する。
【００２１】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像信号補正部が、注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行し、
前記方向判定処理においては、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用した方向判定処理を実行する画像処理方法にある。
【００２２】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像信号補正部に、注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行させ、
前記方向判定処理は、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用した方向判定処理を実行させるプログラムにある。
【００２３】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２４】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２５】
本開示の一実施例の構成によれば、様々な設定の画素配列を持つ画像に対して、高精度な欠陥検出および補正を実現可能とした装置、方法を提供する。
具体的には、注目画素を含む画素領域に対して複数の異なる手法を適用して複数の勾配検出情報を取得する。さらに、複数の勾配検出情報の重み付き加算に基づいて最小勾配方向を検出する。さらに、検出した最小勾配方向にある注目画素と同一色の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する。さらに、欠陥の検出された注目画素に対して、方向判定処理において検出した方向にある参照画素の画素値を適用して補正画素値を算出する。
本処理により、様々な設定の画素配列を持つ画像に対して、高精度な欠陥検出および補正を実現可能とした装置、方法が実現される。
【図面の簡単な説明】
【００２６】
【図１】撮像素子の構成例について説明する図である。
【図２】画像処理装置の構成例について説明する図である。
【図３】本開示の画像処理装置の実行する処理について説明するフローチャートを示す図である。
【図４】本開示の画像処理装置の実行する処理について説明するフローチャートを示す図である。
【図５】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図６】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図７】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図８】本開示の画像処理装置の実行するグラジエント重み付き平均値算出処理について説明する図である。
【図９】本開示の画像処理装置の実行するグラジエント重み付き平均値算出処理における重み決定処理例について説明する図である。
【図１０】本開示の画像処理装置の実行するグラジエント重み付き平均値算出処理における重み決定処理例について説明する図である。
【図１１】本開示の画像処理装置の実行するグラジエント重み付き平均値算出処理における重み決定処理例について説明する図である。
【図１２】本開示の画像処理装置の実行するグラジエント算出処理について説明する図である。
【図１３】本開示の画像処理装置の実行するグラジエント算出処理について説明する図である。
【図１４】本開示の画像処理装置の実行するグラジエント算出処理について説明する図である。
【図１５】本開示の画像処理装置の実行するグラジエント算出処理について説明する図である。
【図１６】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１７】本開示の画像処理装置の実行する欠陥検出処理について説明する図である。
【図１８】本開示の画像処理装置の実行する画素補間処理について説明する図である。
【図１９】本開示の画像処理装置の実行する画素補間処理について説明する図である。
【図２０】本開示の画像処理装置の実行する画素補間処理について説明する図である。
【図２１】本開示の画像処理装置の実行する画素補間処理について説明する図である。
【図２２】本開示の画像処理装置の実行するラプラシアン計算処理について説明する図である。
【図２３】本開示の画像処理装置の実行するラプラシアン比較処理について説明する図である。
【図２４】本開示の画像処理装置の実行する欠陥補正処理について説明する図である。
【図２５】本開示の画像処理装置の実行する欠陥補正処理について説明する図である。
【図２６】本開示の画像処理装置の実行する欠陥補正処理の変形例について説明する図である。
【図２７】本開示の画像処理装置の実行するハイライト誤補正検出を伴う処理例について説明する図である。
【図２８】本開示の画像処理装置の実行するハイライト誤補正検出を伴う処理例について説明する図である。
【図２９】本開示の画像処理装置の実行するハイライト誤補正検出を伴う処理例について説明する図である。
【図３０】本開示の画像処理装置の実行するハイライト誤補正検出を伴う処理例について説明する図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮像素子の構成例について
２．画像処理装置の構成例について
３．画像処理の具体例について
４．方向判定処理について
５．方向判定処理の変形例について
６．欠陥検出処理について
７．欠陥補正処理について
８．欠陥補正処理の変形列について
９．ハイライト誤補正判定を伴う処理例について
１０．本開示の構成のまとめ
【００２８】
［１．撮像素子の構成例について］
図１を参照して撮像素子の構成例について説明する。図１には、以下の３つの撮像素子の構成例を示している。
（１）ベイヤ（Ｂａｙｅｒ）配列
（２）４分割ベイヤ型ＲＧＢ配列
（３）ＲＧＢＷ型配列
【００２９】
（１）ベイヤ（Ｂａｙｅｒ）配列は多くのカメラにおいて採用されている配列であり、このベイヤ配列を持つカラーフィルタを持つ撮像画像に対する信号処理はほぼ確立している。
しかし、（２）４分割ベイヤ型ＲＧＢ配列や、（３）ＲＧＢＷ型配列については、まだ、これらのフィルタを備えた撮像素子によって撮影された画像に対する信号処理について十分な検討がなされているとは言えないというのが現状である。
なお、（２）４分割ベイヤ型ＲＧＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
【００３０】
以下、この（２）４分割ベイヤ型ＲＧＢ配列を持つカラーフィルタを備えた撮像素子によって撮影される画像に対する信号処理を実行する画像処理装置について説明する。
【００３１】
［２．画像処理装置の構成例について］
図２に、本開示の画像処理装置の一構成例である撮像装置１００の構成例を示す。
撮像装置１００は、図２に示すように、光学レンズ１０５、撮像素子（イメージセンサ）１１０、画像処理部１２０、メモリ１３０、制御部１４０を有する。
【００３２】
なお、図２に示す撮像装置１００は本開示の画像処理装置の一例であり、本開示の画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図２に示す撮像装置１００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成され、撮像素子１００の取得データの入力部、または記憶部を持つ構成となる。
【００３３】
以下では、図２に示す撮像装置１００を本開示の画像処理装置の代表例として説明する。なお、図２に示す撮像装置１００は、例えばスチルカメラ、ビデオカメラなどである。
【００３４】
図２に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列からなるカラーフィルタを備えた構成である。
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これら３種類の分光特性を持つフィルタを備えた撮像素子である。
先に説明したように、４分割ベイヤ型ＲＧＢ配列は、図１（１）に示すベイヤ配列の１つの画素を４つの画素として設定した配列に相当する。
【００３５】
この４分割ベイヤ型ＲＧＢ配列１８１を持つ撮像素子１１０は、光学レンズ１０５を介してＲＧＢいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１０によってＲＧＢ３種類の分光から成るモザイク画像が得られる。
【００３６】
撮像素子（イメージセンサ）１１０の出力信号は画像処理部１２０の画像信号補正部２００に入力される。
画像信号補正部２００は、４分割ベイヤ型ＲＧＢ配列１８１を持つ画像の補正処理、例えば欠陥画素の補正を行う。
【００３７】
画像信号補正部２００における補正画像が信号処理部２５０に入力される。信号処理部２５０は、既存のカメラにおける信号処理部と同様の処理、例えばＷＢ（ホワイトバランス）調整、各画素にＲＧＢ各画素値を設定するデモザイク処理等を実行してカラー画像１８３を生成して出力する。カラー画像１８３はメモリ１３０に格納される。
【００３８】
なお、光学レンズ１０５、撮像素子１１０、画像処理部１２０には制御部１４０からの制御信号が入力され、撮影処理制御、信号処理制御が実行される。制御部１４０は、例えばメモリ１３０に格納されたプログラムに従い、例えば図示しない入力部からのユーザ入力に応じて画像撮影他、各種の処理を実行する。
【００３９】
［３．画像処理の具体例について］
次に、図２の画像処理部１２０の画像信号補正部２００において実行する処理について、図３以下を参照して説明する。
図３（ａ）は、画像信号補正部２００において実行する処理を示す信号処理全体シーケンスである。
まずステップＳ１０１において撮像素子１１０から入力した撮像画像から処理対象画素（注目画素）を１つ選択し、注目画素近傍の画素領域（例えばＮ×Ｎ画素）を参照して画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定を行う。
すなわち、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が最小となる方向を方向判定結果として生成する。
【００４０】
画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が最小となる方向とは、エッジ方向に相当し、画素値の変化の少ない方向である。一方、エッジ方向に垂直な方向は、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が大きくなり、画素値の変化が大きい方向である。
【００４１】
なお、例えば注目画素に対する処理を行う場合、図３に示すように、注目画素３０１を中心としたＮ×Ｎ画素の画素領域３００を参照して処理を行う。図３に示す例は、Ｎ＝１１とした例である。
【００４２】
次に、ステップＳ１０２において、注目画素が欠陥画素であるか否かを判定し、欠陥が含まれる場合は、ステップＳ１０３で欠陥補正を行う。
以下、これらの各処理についての詳細を順次説明する。
【００４３】
［４．方向判定処理について］
まず、図３のフローのステップＳ１０１における画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定処理について説明する。
【００４４】
方向判定処理の詳細フローを図４に示す。
図４に示すように、方向判定処理は、注目画素３０１を中心としたＮ×Ｎ画素の画素領域３００を入力して注目画素３０１対応の画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定結果を順次出力する処理として実行される。
【００４５】
具体的には、まず、
ステップＳ１２１の高周波テクスチャのグラジエント算出、
ステップＳ１２２の低周波テクスチャのグラジエント算出、
ステップＳ１２３の輝度信号のグラジエント算出、
これら３態様のグラジエント算出を実行する。
さらに、ステップＳ１２４において、
これらの３つのグラジエント算出結果に対して、重み付き平均値を算出、これに基づいてステップＳ１２５で方向判定結果を出力する。
以下、これらの各処理の具体例について説明する。
【００４６】
図５は、ステップＳ１２１の高周波テクスチャのグラジエント算出処理例を示す図である。
注目画素３０１を中心としたＮ×Ｎ画素の画素領域３００において、図５に示すように、注目画素３０１に隣接または近傍のＧ画素の画素値を利用して以下の各方向のグラジエントを算出する。
水平方向のグラジエント：ｇｒａｄＨ
垂直方向のグラジエント：ｇｒａｄＶ
右上方向のグラジエント：ｇｒａｄＡ
右下方向のグラジエント：ｇｒａｄＤ
を算出する。
具体的には、以下に示す（式１）に従って高周波テクスチャのグラジエントを算出する。
【００４７】
【数１】
・・・・・（式１）
【００４８】
なお、Ｇｘ，ｙは、座標位置（ｘ，ｙ）のＧ画素値を意味する。
Ｎは、各方向のグラジエントの個数である。
【００４９】
図６は、ステップＳ１２２の低周波テクスチャのグラジエント算出処理例を示す図である。
注目画素３０１を中心としたＮ×Ｎ画素の画素領域３００において、図６に示すように、注目画素３０１に隣接または近傍のＧ画素の画素値を利用して以下の各方向のグラジエントを算出する。
水平方向のグラジエント：ｇｒａｄＨ
垂直方向のグラジエント：ｇｒａｄＶ
右上方向のグラジエント：ｇｒａｄＡ
右下方向のグラジエント：ｇｒａｄＤ
を算出する。
具体的には、以下に示す（式２）に従って低周波テクスチャのグラジエントを算出する。
【００５０】
【数２】
・・・・・（式２）
【００５１】
なお、Ｇｘ，ｙは、座標位置（ｘ，ｙ）のＧ画素値を意味する。
Ｎは、各方向のグラジエントの個数である。
【００５２】
図７は、ステップＳ１２３の輝度信号のグラジエント算出処理例を示す図である。
注目画素３０１を中心としたＮ×Ｎ画素の画素領域３００において、図７に示すように、
まず、２×２画素領域単位のＲＧＧＢの４画素を加算平均して輝度信号を算出する。
輝度＝（Ｒ＋Ｇ＋Ｇ＋Ｂ）／４
である。
【００５３】
次に、これらの加算平均値を利用して、以下の各方向のグラジエントを算出する。
水平方向のグラジエント：ｇｒａｄＨ
垂直方向のグラジエント：ｇｒａｄＶ
右上方向のグラジエント：ｇｒａｄＡ
右下方向のグラジエント：ｇｒａｄＤ
を算出する。
具体的には、以下に示す（式３）に従って低周波テクスチャのグラジエントを算出する。
【００５４】
【数３】
・・・・・（式３）
【００５５】
なお、Ｌｘ，ｙは、上記の輝度算出式、
輝度＝（Ｒ＋Ｇ＋Ｇ＋Ｂ）／４
によって算出した輝度である。
Ｎは、各方向のグラジエントの個数である。
【００５６】
次に、ステップＳ１２４の処理について、図８を参照して説明する。
ステップＳ１２４では、
ステップＳ１２１で算出した高周波テクスチャのグラジェント、
ステップＳ１２２で算出した低周波テクスチャのグラジエント、
ステップＳ１２３で算出した輝度信号のグラジエント、
これら３つのグラジエント算出結果に対して、重み付き平均値を算出する。
【００５７】
図８に示す例は、水平方向のグラジエントの重み付き平均値ｇＨの算出処理例を示している。
３種類それぞれの方法で求めたグラジエントを任意の重みで重み付き平均をとる。
ステップＳ１２１で算出した高周波テクスチャのグラジェント：ｇｒａｄＨｈ、
ステップＳ１２２で算出した低周波テクスチャのグラジエント：ｇｒａｄＨｌ、
ステップＳ１２３で算出した輝度信号のグラジエント：ｇｒａｄＨｉ、
これらに対して、重みｗｈ，ｗｌ，ｗｉを乗算して加算した結果を重み付き平均値ｇＨとして算出する。
【００５８】
すなわち、
ｇＨ＝ｗｈ×ｇｒａｄＨｈ＋ｗｌ×ｇｒａｄＨｌ＋ｗｉ×ｇｒａｄＨｉ
上記式に従って、グラジエントの重み付き平均値ｇＨを算出する。
【００５９】
なお、図８に示す例は、水平方向のグラジエントの重み付き平均値ｇＨの算出処理例であるが、垂直方向、右上方向、右下方向についても同様に各方向のグラジエントの重み付き平均値ｇＶ，ｇＡ，ｇＤを算出する。
【００６０】
なお、重みｗｈ，ｗｌ，ｗｉの各々は、以下のグラジエントに対する重みである。
重みｗｈは、ステップＳ１２１で算出した高周波テクスチャのグラジェントに対する重み、
重みｗｌは、ステップＳ１２２で算出した低周波テクスチャのグラジエントに対する重み、
重みｗｉは、ステップＳ１２３で算出した輝度信号のグラジエントに対する重み、
これらの各重みである。
【００６１】
この重みは、予め設定した値、例えば１：１：１の重みなどの固定値を適用してもよいが、画像特徴に応じた重みを設定する構成としてもよい。
画像特徴に応じた重み設定の例について、図９〜図１１を参照して説明する。
【００６２】
まず、図９を参照して出力画像の解像度に応じた重み設定例について説明する。
図９には、
（ａ）出力画像がフル解像度の場合の重み設定例、
（ｂ）出力画像が１／２解像度の場合の重み設定例、
これら２つの解像度に応じた重み設定例を示している。
【００６３】
フル解像度とは、撮像素子の解像度、すなわち撮像素子の画素構成に応じた画像を出力する場合である。
１／２解像度は、撮像素子の同色４画素ブロックの４つの画素値の加算平均を行って１つの画素値を設定して総画素数を１／４とした画像であり縦横の画素数をそれぞれ１／２とした画像である。
【００６４】
（ａ）出力画像がフル解像度の場合の重みは、例えば以下の設定とする。
高周波テクスチャのグラジェントに対する重み：ｗｈ＝０．６
低周波テクスチャのグラジェントに対する重み：ｗｌ＝０．１
輝度信号のグラジエントに対する重み：ｗｉ＝０．３
このような設定とする。
【００６５】
一方、
（ｂ）出力画像が１／２解像度の場合の重みは、例えば以下の設定とする。
高周波テクスチャのグラジェントに対する重み：ｗｈ＝０．１
低周波テクスチャのグラジェントに対する重み：ｗｌ＝０．６
輝度信号のグラジエントに対する重み：ｗｉ＝０．３
このような設定とする。
【００６６】
このようにフル解像度の場合は、高周波のグラジエントの重みを他の重みより大きく設定する。
一方、出力解像度を低下させている場合は、低周波のグラジエントの重みの比重を高めるようにする。
このような重み設定とすることで、出力画像に適したグラジエント方向判定が実現される。
【００６７】
次に、図１０を参照して、処理対象となる入力画像の周波数帯に応じて重みを設定する処理例について説明する。
以下に説明する例は、例えばテクスチャの多い画像、すなわち高周波領域の多い画像、あるいは画像領域に対しては高周波のグラジエントの重みを他の重みより大きく設定する。一方、画素値変化の少ない平面的な画像に対しては、低周波のグラジエントの重みを他の重みより大きく設定する処理例である。
【００６８】
画像が高周波領域の多い画像であるか、低周波領域の多い画像であるかを判別する手法としては様々な手法が適用可能であるが、以下ではその一例としてフーリエ変換を用いた例について説明する。
図１０には、入力画像の周波数帯に応じた重みを設定する処理を行う場合の処理シーケンスと具体的な処理例を示している。
まず、入力画像に対して、ステップＳ１５１において２次元フーリエ変換を実行する。
【００６９】
フーリエ変換について図１１を参照して説明する。
入力画像に対してフーリエ変換を行うと、画像配列と同じ２次元配列のフーリエ係数Ｆが算出される。
すなわち画像の画素数が横Ｗ、縦ＨであるＷ×Ｈの画像のフーリエ変換を行うと、Ｗ×Ｈの構成画素数に応じたＷ×Ｈ個のフーリエ係数Ｆ（ｕ，ｖ）が算出される。
フーリエ係数Ｆ（ｕ，ｖ）は、以下に示す式に従って算出される。
【００７０】
【数４】
【００７１】
上記式に従って算出されるフーリエ係数Ｆ（ｕ，ｖ）は、図１１下段に示すように中央に低周波のパワー（振幅）を含み、周辺に高周波のパワーを格納したものとなる。
【００７２】
図１０に示すステップＳ１５１では、このように入力画像、すなわち撮像素子の出力画像に対するフーリエ変換によりフーリエ係数を算出する。なお、フーリエ変換は予め設定した周期Ｎまで算出する。
次に、図１０に示すステップＳ１５２において、算出したフーリエ係数に応じて重み、すなわち、
高周波テクスチャのグラジェントに対する重み：ｗｈ、
低周波テクスチャのグラジェントに対する重み：ｗｌ、
輝度信号のグラジエントに対する重み：ｗｉ、
これらの重みｗｈ，ｗｌ，ｗｉを決定する。
【００７３】
図１０（２）に示すように、算出したフーリエ係数から、周波数帯域の大きさに応じて各重みを決定する。
フーリエ係数Ｆ（ｕ，ｖ）の座標軸を図１０（２）に示すようにｕ，ｖとして設定し、予め３つの矩形領域を設定する。
【００７４】
すなわち、
（ａ）ｕ＞Ｔ１、かつｖ＞Ｔ１の外側領域：Ａ
（ｂ）Ｔ１≧ｕ＞Ｔ２、かつＴ１≧ｖ＞Ｔ２の領域：Ｂ
（ｃ）Ｔ２≧―ｕ、かつＴ２≧ｖの］中心領域：Ｃ
これらの領域を設定する。
領域Ａは高周波領域、
領域Ｃは低周波領域、
領域Ｂは、中間の周波数領域に対応する。
【００７５】
ステップＳ１５１におけるフーリエ変換において算出したフーリエ係数Ｆ（ｕ，ｖ）の各々は、上記（ａ）〜（ｃ）のいずれに含まれることになる。
ステップＳ１５２においては、例えば、以下のような設定で、各重みを決定する。
【００７６】
領域Ａ（高周波）のフーリエ係数の和を、
高周波テクスチャのグラジェントに対する重み：ｗｈとする。
領域Ｂ（中周波）のフーリエ係数の和を、
輝度信号のグラジエントに対する重み：ｗｉとする。
領域Ｃ（低周波）のフーリエ係数の和を、
低周波テクスチャのグラジェントに対する重み：ｗｌとする。
【００７７】
このような処理を実行することで、画像の周波数帯に応じた重みが設定され、グラジエントの方向判定を画像の特徴に応じた最適な処理として実行することが可能となる。なお、上記の処理は、画像単位で実行する構成も可能であり、画像の所定領域単位で実行する構成としてもよい。
【００７８】
図４に示すステップＳ１２４では、このように、
ステップＳ１２１で算出した高周波テクスチャのグラジェント、
ステップＳ１２２で算出した低周波テクスチャのグラジエント、
ステップＳ１２３で算出した輝度信号のグラジエント、
これら３つのグラジエント算出結果に対して、重み付き平均値を算出する。
【００７９】
すなわち、
ｇＨ＝ｗｈ×ｇｒａｄＨｈ＋ｗｌ×ｇｒａｄＨｌ＋ｗｉ×ｇｒａｄＨｉ
上記式に従って、グラジエントの重み付き平均値ｇＨを算出する。
【００８０】
次に、図４に示すステップＳ１２５における方向判定処理について説明する。
ステップＳ１２５では、ステップＳ１２４において算出した以下の各値、すなわち、
水平方向のグラジエントの重み付き平均値ｇＨ、
垂直方向のグラジエントの重み付き平均値ｇＶ、
右上方向のグラジエントの重み付き平均値ｇＡ、
右下方向のグラジエントの重み付き平均値ｇＤ、
これらの４つの値を比較し、最小値を持つ方向を方向判定結果の方向とする。
【００８１】
前述したように、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が最小となる方向とは、エッジ方向に相当し、画素値の変化の少ない方向である。一方、エッジ方向に垂直な方向は、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が大きくなり、画素値の変化が大きい方向である。
【００８２】
例えば、撮像素子から出力される画像中に誤った画素値の設定された欠陥画素（エラー画素）が含まれ、欠陥画素を補正する場合に、周囲の画素から選択した参照画素の画素値を利用して補正画素値を算出する処理が実行される。
参照画素の選択においては、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が最小となる方向にある画素を選択することで、より自然な画素値補正が可能となる。これは、急激な画素値変化のある方向の画素の画素値を利用することで発生する不自然な画素値設定が防止されるためである。
【００８３】
ステップＳ１２５において得られる方向判定結果は、このような処理のために利用される。
なお、この方向判定結果の利用処理例については、後段で説明する。
【００８４】
このように本開示の方向判定処理では、複数種類のグラジエントを使って重み付き平均を行う。複数種類の異なるグラジエントを組み合わせることで、例えば色々な周波数のテクスチャに対応できるというメリットがある。
【００８５】
特に、図１（２）に示すような４分割ベイヤ型ＲＧＢ配列は、同色画素のサンプリング間隔が等間隔ではないので、位相によって取得できるテクスチャの周波数が偏るという問題がある。
本開示の構成では、高周波テクスチャと低周波テクスチャの両方とも取得し、これらを組み合わせて、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定処理を実行する。この手法を適用することで精度の高い方向判定が可能となる。
また、輝度信号を用いることで、等間隔にサンプリングされた信号からのグラジエントを取得することも可能となる。
【００８６】
本開示の画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定処理では、このように、
（ａ）高周波テクスチャのグラジエント、
（ｂ）低周波テクスチャのグラジエント、
（ｃ）輝度信号のグラジエント、
これら３種類の異なるグラジエントを算出して、これらを組み合わせて画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定を行う。
この処理により、例えば画素配列の偏り等に起因する誤った画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定の発生を抑制した精度の高い方向判定が実現される。
【００８７】
なお、従来から、画像のテクスチャ方向を判定し、判定された方向に沿った画素信号を用いて、欠陥の検出・補正を行う手法が提案されており、テクスチャの方向判定には、輝度信号を用いる手法と、ベイヤ配列のＧ画素など市松状に最も密に配置された画素を用いる手法が知られている。後者の手法の方がより高周波なテクスチャの方向も判別できるため、広く利用されている。
【００８８】
しかし、図１（２）に示すような４分割ベイヤ型ＲＧＢ配列では、Ｇ画素が市松状に配置されていないため、取得できるテクスチャの周波数がベイヤ配列に比べて偏る。そのため同じテクスチャであっても、画像位置によって方向判定結果が異なるなど、方向判定の精度が落ちる可能性がある。また、一定間隔にサンプリングされた画素を用いてグラジエントを算出していたため、ある特定の周波数のテクスチャ方向が、うまく判別できないことがあった。
上述した本開示の手法では、これらの問題を解決し、精度の高い方向判定が可能となる。
【００８９】
［５．方向判定処理の変形例について］
次に、方向判定処理の変形例について説明する。
（方向判定処理の変形例１）
図１２に方向判定処理の変形例１の処理例を示す。
図１２には、
高周波テクスチャのグラジエントの算出処理例、
低周波テクスチャのグラジエントの算出処理例、
これらを示している。
【００９０】
注目画素を中心としたＮ×Ｎ画素の画素領域３００において、図１２に示すように、注目画素３０１に隣接または近傍のＧ，Ｒ，Ｂ画素の画素値を利用して以下の各方向のグラジエントを算出する。
水平方向のグラジエント：ｇｒａｄＨ
垂直方向のグラジエント：ｇｒａｄＶ
右上方向のグラジエント：ｇｒａｄＡ
右下方向のグラジエント：ｇｒａｄＤ
を算出する。
【００９１】
本処理例は、高周波、低周波テクスチャのグラジエントを取得する際に、Ｇ画素以外にもＲ画素やＢ画素も利用する処理例である。
具体的には、以下に示す（式４）に従って高周波テクスチャのグラジエントを算出する。
【００９２】
【数５】
・・・・・（式４）
【００９３】
また、以下に示す（式５）に従って低周波テクスチャのグラジエントを算出する。
【００９４】
【数６】
・・・・・（式５）
【００９５】
（方向判定処理の変形例２）
図１３に方向判定処理の変形例２の処理例を示す。
図１３には、
方向判定結果をリモザイク処理に用いる例、
方向判定結果をデモザイク処理に用いる例、
これらを示している。
このように方向判定結果は欠陥画素の補正のみならず、方向判定結果を用いる様々な処理に適用できる。
【００９６】
なお、リモザイク処理とは、撮像素子から出力された各画素に設定されたＲＧＢ配列を変更して異なる画素配列を生成する処理である。
具体的には、例えば撮像素子からの出力が、図１（２）に示す４分割ベイヤ型ＲＧＢ配列である場合、この配列を図１に示すベイヤ配列に変更する処理である。
例えば、図２に示す撮像装置１００の画像処理部１２０内の信号処理部２５０は図１（１）に示すベイヤ配列の画像信号に対する信号処理を行う構成としたものが一般的である。従って、撮像素子１１０からの出力がベイヤ配列と異なる画素配列である場合は、その画素配列をベイヤ配列に変更するリモザイク処理を実行して信号処理部２５０に入力することで、信号処理部２５０は、既存の一般的な信号処理部の構成とすることが可能となる。
【００９７】
デモザイク処理は、各画素にＲＧＢの全画素値を設定する処理である。すなわち、図２の構成では、カラー画像１８３に相当する画像を生成することに相当する。
【００９８】
リモザイク処理と、デモザイク処理は、いずれも、ある注目画素位置（補間画素位置）にＲＧＢのいずれかの画素値を設定するために、補間画素位置に対する設定色と同一の色の画素を周囲から参照画素として選択し、選択した参照画素の画素値を適用して注目画素位置の画素値を決定する画素値補間処理を行う。
この補間処理において、画素値勾配（グラジエント）の小さい方向を参照画素の選択方向として設定することで、より自然な補間画素値を算出することが可能となる。
【００９９】
図１３に示す各フローに従った実施理例は、このようなリモザイク処理や、デモザイク処理における参照画素の方向を決定するための情報として画素値勾配（グラジエント）の方向判定結果を利用する実施例である。
【０１００】
（方向判定処理の変形例３）
図１４に方向判定処理の変形例３の処理例を示す。
図１４に示す例は、先に、図４を参照して説明した方向判定処理のステップＳ１２１〜Ｓ１２３に加え、ステップＳ１３１として、４画素加算平均のグラジエント算出処理を追加したものである。
【０１０１】
具体的には図１５に示すように、ＲＧＢ同一色の４画素ブロック単位で画素値の加算平均を算出し、この加算平均からグラジエントを算出する。
【０１０２】
すなわち、図１５に示す４画素ブロック単位で４画素の画素値の加算平均値を持つ１つの画素を設定し、総画素数を１／４の画素に設定した画像を適用して、水平、垂直、右上、右下各方向のグラジエントを算出する。
なお、これらのグラジエント算出方法は、先に図７を参照して説明した輝度信号のグラジエント算出処理と同様であり、前述の（式３）において、輝度の代わりに画素値（＝４画素の加算平均値）を設定することで算出する。
【０１０３】
図１４のステップＳ１２４では、
ステップＳ１２１で算出した高周波テクスチャのグラジェント、
ステップＳ１２２で算出した低周波テクスチャのグラジエント、
ステップＳ１２３で算出した輝度信号のグラジエント、
ステップＳ１３１で算出した４画素加算平均のグラジエント、
これら４つのグラジエント算出結果に対して、重み付き平均値を算出する。
このように、重み付き平均値の算出処理対象とするグラジエントの種類を増加、あるいは減少させた様々な設定が可能である。
【０１０４】
（方向判定処理の変形例４）
上述した処理例では、先に図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列に対する処理例として説明したが、その他の配列、例えば、図１（１）に示すベイヤ配列、図１（３）に示すＷＲＧＢ配列、あるいは図１６に示すような４分割ＷＲＧＢ型配列など、さまざまな配列の画素データに対しても上記の本開示の処理が適用可能である。
【０１０５】
［６．欠陥検出処理について］
次に、図３のフローのステップＳ１０２における欠陥検出処理について説明する。
ステップＳ１０２の処理は、注目画素が欠陥画素であるか否かを判定する処理であり、欠陥が含まれる場合は、ステップＳ１０３で欠陥補正を行う。
【０１０６】
図１７に欠陥検出処理の詳細フローを示す。
注目画素５０１を中心としたＮ×Ｎ画素領域５００を入力し、さらに、図３のフローのステップＳ１０１において検出した方向情報、すなわち、
を入力する。
【０１０７】
欠陥検出処理では、まず、
ステップＳ２０１の水平方向画素補間、
ステップＳ２０２の垂直方向画素補間、
ステップＳ２０３の右上方向画素補間、
ステップＳ２０４の右下方向画素補間、
これらのいずれかの処理を選択的に実行する。
【０１０８】
すなわち、図３のフローのステップＳ１０１における方向判定結果として得られたグラジエントの最小となる方向に対応する方向を選択して画素補間を行う。
例えばグラジエントの最小となる方向が水平方向である場合は、ステップＳ２０１の水平方向画素補間を実行する。
【０１０９】
画素補間処理の具体例について図１８以下を参照して説明する。
図１８は、注目画素をＲ画素とした処理例を示している。
図１８には、
水平方向の補間処理例（Ｓ２０１に対応）と、
右下方向の補間処理例（Ｓ２０４に対応）を示している。
【０１１０】
各方向から同一色の画素を選択してこれらを参照画素とした補間処理を実行する。
ただし、図１８に示すように、方向に応じて参照画素の数が変化してしまう。
図１８に示す水平方向の補間処理例では、中央の注目画素であるＲ画素と同一色のＲ画素が水平方向に注目画素自身も含めて６画素あり、これらの６画素を参照画素として取得可能である。
【０１１１】
しかし、図１８に示す右下方向の補間処理例では、中央の注目画素であるＲ画素と同一色のＲ画素が右下方向に注目画素自身も含めて３画素しかなく、これらの３画素のみしか参照画素として利用できない。
このような参照方向によって参照可能な画素数が変化してしまう。特に注目画素が、Ｒ画素またはＢ画素の場合、参照方向に応じた参照画素数の減少が顕著になる。
【０１１２】
このように、ある参照方向において、予め設定したしきい値未満の参照画素しか得られない場合は、図１９に示すように、参照方向に対して垂直方向にある同一色の画素を選択し、この選択画素の画素値に基づいて、参照方向に補間画素値を設定する補間処理を実行する。この補間画素を参照画素に設定して参照画素を増加させた後、これらの参照画素に基づいて、注目画素の画素値設定としての補間処理を実行する。
【０１１３】
先に図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列のような、サンプリング間隔が一定でない配列では、方向によって画素数が少ない場合があるので、このような補間によって補って参照画素を増加させる。この処理によって、参照画素数を増加させることが可能となり、より精度の高い補正画素値の算出が可能となる。
【０１１４】
このように、参照方向に参照画素が少ない場合は、その参照方向に補間画素を設定することで、全ての方向、ＲＧＢ全ての色で同じ参照画素の数を設定することが可能となる。
この処理によって、注目画素に対する補正画素値を設定する処理において、より精度の高い補正が可能となるばかりでなく、全方向、全色で同じ処理を行えるので、同じ補正回路で処理が可能となり、装置に備える回路規模を削減することも可能となる。
【０１１５】
図１９を参照して説明した処理は、参照方向に対して垂直方向にある同一色の画素を選択し、この選択画素の画素値に基づいて、参照方向に補間画素値を設定する補間処理例であった。
参照方向に補間画素値を設定する処理としては、このような、参照方向に対して垂直方向にある画素に限定することなく、補間画素位置の任意の方向にある周囲の同一色画素を適用してもよい。
この処理例について図２０、図２１を参照して説明する。
【０１１６】
図２０も図１９と同様、右下方向に参照画素を設定する場合の処理例をしめしている。
注目画素５０１は、中央間Ｒ画素であり、右下方向に参照画素としてのＲ画素を設定する処理例である。
図に示す参照画素補間位置５２１にＲ画素を設定する場合の処理について説明する。
なお、図２０には、画像の水平方向をＸ、垂直方向をＹとして（ｘ，ｙ）＝（１，１）〜（１１，１１）の画像を示している。
注目画素５０１は、座標位置（ｘ，ｙ）＝（６，６）のＲ画素である。
参照画素補間位置５２１は、座標位置（８，８）のＢ画素の位置である。
【０１１７】
この座標位置（８，８）のＢ画素の位置にＲ画素を補間する。
本例では、参照方向（本例では右下方向）の垂直方向のみならず、すべての方向から同一色画素を選択する。具体的には、例えば参照画素補間位置５２１から予め設定した距離内にある予め設定した数の同一色画素を選択する。
図２０に示す例は、参照画素補間位置５２１の周囲にある５つのＲ画素を補間画素値の算出に適用する画素として選択する処理例を示している。図に示す太線枠で囲まれたＲ画素である。具体的には以下のＲ画素である。
（１）座標位置（ｘ，ｙ）＝（６，７）のＲ画素、
（２）座標位置（ｘ，ｙ）＝（９，７）のＲ画素、
（３）座標位置（ｘ，ｙ）＝（６，１０）のＲ画素、
（４）座標位置（ｘ，ｙ）＝（９，１０）のＲ画素、
（５）座標位置（ｘ，ｙ）＝（１０，１０）のＲ画素、
これら５つのＲ画素の画素値の加算平均を算出して参照画素補間位置５２１のＲ画素の補間画素値として設定する。
【０１１８】
すなわち、参照画素補間位置５２１のＲ画素の補間画素値Ｒａは、以下の式に従って算出する。
【０１１９】
【数７】
【０１２０】
図２１を参照して補間処理に適用する画素数を３とした場合の具体的な補間画素値算出処理例について説明する。
図２１に示す例は、参照画素補間位置５２１の周囲にある３つのＲ画素を補間画素値算出に適用する画素として選択する処理例を示している。図に示す太線枠で囲まれたＲ画素である。具体的には以下のＲ画素である。
（１）座標位置（ｘ，ｙ）＝（６，７）のＲ画素、
（２）座標位置（ｘ，ｙ）＝（９，７）のＲ画素、
（３）座標位置（ｘ，ｙ）＝（９，１０）のＲ画素、
これら３つのＲ画素の画素値の加算平均を算出して参照画素補間位置５２１のＲ画素の補間画素値として設定する。
【０１２１】
すなわち、参照画素補間位置５２１のＲ画素の補間画素値Ｒａは、以下の式に従って算出する。
【０１２２】
【数８】
【０１２３】
このように、参照方向に参照画素を補間する処理としては、
図１９を参照して説明した参照方向に垂直な方向にある注目画素と同一色の画素を適用する処理、
図２０〜図２１を参照して説明した参照方向の補間画素位置の周囲にある注目画素と同一色の画素を適用する処理、
これらの処理のいずれかが適用可能である。
【０１２４】
次に、図１７のフローのステップＳ２０５のラプラシアン計算処理について、図２２を参照して説明する。
図２２（ａ）に示すように、前述した補間処理において抽出した注目画素５０１を含む同色の５画素を選択する。
【０１２５】
さらに、これらの５画素を用いて、図２２（ｂ）に示すように画素位置順に一列に並べ、注目画素５０１を含む画素の３種類の組み合わせ配列を設定する。すなわち、
（ｂ１）注目画素５０１を右端に設定した３画素配列、
（ｂ２）注目画素５０１を中央に設定した３画素配列、
（ｂ３）注目画素５０１を左端に設定した３画素配列、
これらの３つの配列を設定する。
【０１２６】
これら（ｂ１）〜（ｂ３）の３つの３画素配列の各々に基づいて、Ｌ１，Ｌ２，Ｌ３の３種類のラプラシアンを算出する。すなわち、
（Ｌ１）上記（ｂ１）の３画素配列に基づくラプラシアンＬ１、
（Ｌ２）上記（ｂ２）の３画素配列に基づくラプラシアンＬ２、
（Ｌ３）上記（ｂ３）の３画素配列に基づくラプラシアンＬ３、
これらのラプラシアンを算出する。
【０１２７】
なお、ラプラシアンは、以下の（式６）に従って算出する。
すなわち、３画素配列の各画素の画素位置を、左からｉ−１，ｉ，ｉ＋１とし、各画素位置の画素値をＧｉ−１、Ｇｉ、Ｇｉ＋１としたときのラプラシアンＬｉは以下の（式６）に従って算出する。
Ｌｉ＝Ｇｉ−１＋Ｇｉ＋１−２Ｇｉ
・・・・・（式６）
【０１２８】
次に、図１７のフローのステップＳ２０６のラプラシアン比較、欠陥検出処理について、図２３を参照して説明する。
図２３に示すように、欠陥検出は、ステップＳ２０５で算出したラプラシアンの比較によって行う。
【０１２９】
具体的には、
Ｌ１＞τ、かつ、
Ｌ２＞τ、かつ、
Ｌ３＞τ、
この時、注目画素は欠陥画素であると判定する。
なお、τは予め設定したしきい値である。
【０１３０】
例えば、
図２３（ａ）に示す２つの例は、
Ｌ１＞τ、かつ、
Ｌ２＞τ、かつ、
Ｌ３＞τ、
これらの条件を満たしており、注目画素５０１が欠陥画素であると判定される例である。
【０１３１】
一方、図２３（ｂ）に示す２つの例は、
Ｌ１＞τ、かつ、
Ｌ２＞τ、かつ、
Ｌ３＞τ、
これらの条件を満たしておらず、注目画素５０１が欠陥画素でないと判定される例である。
【０１３２】
［７．欠陥補正処理について］
次に、図３のフローのステップＳ１０３における欠陥補正処理について説明する。
図２４、図２５を参照して補正処理の詳細について説明する。
【０１３３】
図２４に示すように、補正処理には、欠陥検出に用いた注目画素５０１を含む同一色の５画素を適用する。この５画素は、図３のフローのステップＳ１０１における方向判定処理において、画素値勾配（グラジエント）の小さい方向に並ぶ５画素である。すなわち、図１８〜図２２を参照して説明した注目画素と、参照画素を含む５画素である。その一部は、図１９を参照して説明した補間処理によって生成した画素である場合もある。
【０１３４】
図２４に示すように注目画素５０１を含む画素値勾配（グラジエント）の小さい方向に並ぶ５画素を利用して、まず、ステップＳ３０１において、参照画素間グラジエントを算出する。
この参照画素間グラジエントは、注目画素５０１の両サイドの２画素間の画素値勾配（グラジエント）である。
図２４に示す、
参照画素５１１と参照画素５１２の画素値勾配（グラジエント）ｇ１と、
参照画素５１３と参照画素５１４の画素値勾配（グラジエント）ｇ２、
これらを算出する。
【０１３５】
さらに、ステップＳ３０２において、この参照画素間グラジエントを適用して補正値、すなわち注目画素５０１の補正画素値を算出する。
【０１３６】
図２５を参照して、ステップＳ３０１の参照画素間グラジエント算出処理と、ステップＳ３０２の補正画素値算出処理の具体例について説明する。
【０１３７】
図２５（ａ）に示すように、ステップＳ３０１における参照画素間グラジエント算出処理は、それぞれ、注目画素を挟む両サイド各々の２つの参照画素間の画素値勾配（グラジエント）でを算出する処理である。
【０１３８】
図２５（ａ）に示す例はＲ画素の処理例を示している。Ｒ１〜Ｒ５は各画素の画素値である。
ステップＳ３０１における参照画素間グラジエント算出処理は、以下の式によって算出する。
ｇ１＝｜Ｒ１−Ｒ２｜
ｇ２＝｜Ｒ４−Ｒ５｜
ステップＳ３０１では、これらの２つの参照画素間グラジエントを算出する。
【０１３９】
次に、ステップＳ３０２の処理、すなわち補正画素値算出処理について、図２５（ｂ）を参照して説明する。
補正画素値をＲ３'とする。
補正画素値Ｒ３'は、以下の式に従って算出する。
ｇ１≦ｇ２のとき、
Ｒ３'＝α×Ｒ１＋（１−α）×Ｒ２
ｇ１＞ｇ２のとき、
Ｒ３'＝β×Ｒ４＋（１−β）×Ｒ５
ただし、α、βは、０以上１以下の予め設定したパラメータである。
【０１４０】
これらの処理によって、欠陥画素として判定された注目画素５０１の補正画素値を算出し、この補正画素値を注目画素の画素値として設定する。
これらの処理は、例えば図２に示す撮像装置１００の画像処理部１２０内の画像信号補正部２００において実行される。
補正画素値の設定された補正画像は、信号処理部２５０に出力され、信号処理部２５０において、既存のカメラにおける信号処理部と同様の処理、例えばＷＢ（ホワイトバランス）調整、各画素にＲＧＢ各画素値を設定するデモザイク処理等が実行されカラー画像１８３を生成して出力する。
【０１４１】
上述したように、本開示の処理では、処理対象画素である注目画素を含む画素値勾配（グラジエント）の小さい方向に並ぶ複数の画素を利用して、注目画素が欠陥画素であるか否かの判定を行う際に、その方向上にある同色画素を補間によって補い、予め既定した数以上の参照画素を設定する。
さらに、欠陥画素であると判定された注目画素に対する補正処理に際しても、必要に応じて実行された補間処理によって設定された規定数以上の参照画素の画素値を利用した補正処理を実行する。
【０１４２】
このように、本開示の処理では、参照画素の画素数を所定の数以上に設定した処理を実行することで、検出・補正精度を向上させている。また、全ての方向、ＲＧＢ全ての色で同じ画素数が用意できるので、全方向、全色で同じアルゴリズムに従った処理を実行することが可能となり、同一の処理回路を利用した処理が可能となり、回路規模削減も可能となる。また、画素配列に起因した補正の優劣、すなわち、補正の得意な方向や不得意な方向の差を低減することができる。特にサンプリング間隔の広い画素で効果を発揮する。
【０１４３】
［８．欠陥補正処理の変形列について］
上述した処理例では、先に図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列に対する処理例として説明したが、上述した欠陥の検出、補正処理についても、先の方向判定処理と同様、その他の配列、例えば、図１（１）に示すベイヤ配列、図１（３）に示すＷＲＧＢ配列、あるいは図２６に示すような４分割ＷＲＧＢ型配列など、さまざまな配列の画素データに対しても上記の本開示の処理が適用可能である。
【０１４４】
また。上述の実施例では、欠陥検出処理に際して画素補間を行う処理例として説明したが、欠陥検出時には画素補間を実行せず、補正処理に際して画素補間を行う構成としてもよい。また、方向判定の際に画素補間を行う構成としてもよい。
【０１４５】
［９．ハイライト誤補正判定を伴う処理例について］
次に、ハイライト誤補正判定を伴う処理例について図２７以下を参照して説明する。
例えば星空等を撮影すると、星は暗闇の中に明るい点として撮影される。カメラによる撮影画像では、低輝度画素の中に点々と高輝度画素が設定される状態となり、このような高輝度画素を欠陥画素であると判定してしまう場合がある。欠陥画素として認定されると、本来の星を示す画素が周囲の画素と同様の画素値、すなわち低輝度画素に補正されてしまう。このような誤補正はハイライト誤補正と呼ばれる。
【０１４６】
以下、欠陥画素の補正として実行された補正がハイライト誤補正でないかについて検証し、ハイライト誤補正であると判定した場合には、補正前の画素値を出力する実施例について説明する。
【０１４７】
図２７に本実施例の処理シーケンスを説明するフローチャートを示す。
図２７に示すフローに従った処理は、図２の画像処理部１２０の画像信号補正部２００において実行する処理である。
まずステップＳ４０１において撮像素子１１０から入力した撮像画像から処理対象画素（注目画素）を１つ選択し、注目画素近傍の画素領域（例えばＮ×Ｎ画素）を参照して画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））の方向判定を行う。
入力画像は、例えば図２７に示す画像６００であり、注目画素６０１を中心としたＮ×Ｎの画像である。
【０１４８】
ステップＳ４０１の方向判定処理は、先に説明した図３のフローのステップＳ１０１の方向判定処理と同様の処理である。すなわち、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が最小となる方向を方向判定結果として生成する。
画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が最小となる方向とは、エッジ方向に相当し、画素値の変化の少ない方向である。一方、エッジ方向に垂直な方向は、画素値勾配（グラジエント（Ｇｒａｄｉｅｎｔ））が大きくなり、画素値の変化が大きい方向である。
【０１４９】
なお、例えば注目画素に対する処理を行う場合、図２７に示すように、注目画素６０１を中心としたＮ×Ｎ画素の画素領域６００を参照して処理を行う。図２７に示す例は、Ｎ＝１１とした例である。
【０１５０】
次に、ステップＳ４０２において、注目画素が欠陥画素であるか否かを判定する欠陥検出処理を実行する。
このステップＳ４０２の欠陥検出処理は、先に説明した図３のフローのステップＳ１０２の欠陥検出処理と同様の処理である。すなわち、先に図１７〜図２３を参照して説明したラプラシアンの算出による欠陥検出を実行する。
【０１５１】
次のステップＳ４０３は、注目画素が欠陥画素であるか否かの結果に応じた分木ステップである。
欠陥画素でないと判定した場合は、補正処理を実行することなく、ステップＳ４０７に進み、補正前の原画素値を出力する。
一方、欠陥画素であると判定した場合は、ステップＳ４０４に進み、補正処理を実行する。
【０１５２】
ステップＳ４０４の補正処理は、先に説明した図３のフローのステップＳ１０３の欠陥検出処理と同様の処理である。すなわち、先に図２４〜図２５を参照して説明した画素値補正処理を実行する。
【０１５３】
次に、ステップＳ４０５に進み、ステップＳ４０４で実行した補正処理がハイライト誤補正でないかの判定処理を行う。
ステップＳ４０５〜Ｓ４０８では、テップＳ４０４で実行した補正処理がハイライト誤補正でないかの判定結果に応じて以下のように注目画素の出力画素値を決定して出力する。
【０１５４】
すなわち、
ステップＳ４０４で実行した補正処理がハイライト誤補正でないと判定した場合は、ステップＳ４０８に進み、補正画素値を出力する。
ステップＳ４０４で実行した補正処理がハイライト誤補正であると判定した場合は、ステップＳ４０７に進み、補正前の原画素値を出力する。
このハイライト誤補正判定処理と出力画素値の決定処理の詳細について、図２８〜図３０を参照して説明する。
【０１５５】
図２８は、ハイライト誤補正判定処理と出力画素決定処理の詳細処理を説明する図である。
ハイライト誤補正判定処理においては、
処理対象となる注目画素の補正画素値６１１と、
処理対象となる注目画素の補正前の原画素値６１２と、
処理対象となる注目画素の近傍領域（例えば注目画素を中心とするＮ×Ｎ画素領域）情報６１３、
これらを入力する。
【０１５６】
まず、ステップＳ５０１において、注目画素の近傍領域情報６１３に対するホワイトバランス算出を実行する。
この処理について図２９を参照して説明する。
【０１５７】
図２９には注目画素６０１を中心として近傍領域情報としてのＮ×Ｎ画素の画素領域６００を示している。
この画素領域６００のホワイトバランスを算出する。
ホワイトバランスは、近傍がぞ領域６００におけるＲ，Ｇ，Ｂ各々の画素値平均：ａｖｅＲ，ａｖｅＧ，ａｖｅＢを算出し、これら平均値の比として算出する。
具体的には、以下の式に従ってホワイトバランスを算出する。
【０１５８】
【数９】
【０１５９】
図２８のステップＳ５０１では、上記式に従って、注目画素の近傍領域におけるホワイトバランスを算出する。
次に、ステップＳ５０２において、異色画素平均値を算出する。異色画素平均値とは、ハイライト誤補正判定対象としての注目画素の色と異なる色の平均値である。
異色画素平均値：Ｐは図３０に示すように、例えば以下の式に従って算出する。
【０１６０】
【数１０】
【０１６１】
上記式は、注目画素がＧ画素の場合の異色画素平均値Ｐの算出例である。図３０に示すように注目画素６０１の周囲の８画素から、異色画素Ｂ１，Ｂ２とＲ１，Ｒ２を選択して、これらと、先に算出したホワイトバランス値（ａｖｅＧ／ａｖｅＲ）、（ａｖｅＧ／ａｖｅＢ）を適用して異色画素平均値Ｐを算出する。
【０１６２】
なお、上記式は、注目画素がＧ画素の場合の算出例であるが、その他のＢ，Ｒ画素の場合には、それぞれ注目画素の周囲から、注目画素の異なる色の画素を選択してそそれぞれの画素値を各色単位で加算して、ホワイトバランス調整を行って異色画素平均値Ｐを算出する。
【０１６３】
次に、ステップＳ５０３において、図２７のステップＳ４０４で実行した欠陥補正が、ハイライト誤補正でないかを判定し、判定結果に応じて出力画素を補正画素値とするか原画素値とするかを決定する。
この出力画素選択理は、図３０に示すように、以下の式に従って実行する。
【０１６４】
【数１１】
【０１６５】
上記式において、
Ｇｏｒｇ：注目画素の原画素値、
Ｇｃｏｒ：注目画素の補正画素値、
Ｐ：移植画素平均値、
である。
【０１６６】
すなわち、補正前と補正後で異色画素平均値Ｐに近い方を出力する。
補正後の補正画素値と異色画素平均値Ｐとの差分が、補正前の原画素値と異色画素平均値Ｐとの差分以上になっている場合は、ハイライト誤補正であると判定し、原画素値を出力する処理を行う。
補正後の補正画素値と異色画素平均値Ｐとの差分が、補正前の原画素値と異色画素平均値Ｐとの差分未満である場合は、ハイライト誤補正ではない正しい補正が行われたと判定し、補正画素値を出力する処理を行う。
【０１６７】
図２７のフローのステップＳ４０５〜Ｓ４０８の処理は、図２８〜図３０を参照して説明した処理として実行される。
この処理によって、ハイライト誤補正がなされた場合に、元の画素値に戻して出力することが可能となる。
【０１６８】
［１０．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１６９】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 画像の補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行し、
前記方向判定処理は、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用して実行する画像処理装置。
【０１７０】
（２）前記画像信号補正部は、前記方向判定処理において、高周波テクスチャ対応の画素値勾配情報と、低周波テクスチャ対応の画素値勾配情報と、輝度信号対応の画素値勾配情報と、を算出し、これらの３種類の勾配情報の重み付き加算結果に基づいて、最小の画素値勾配を有する方向を検出する前記（１）に記載の画像処理装置。
（３）前記画像信号補正部は、前記高周波テクスチャ対応の画素値勾配情報を、隣接画素の画素値差分を適用して算出し、前記低周波テクスチャ対応の画素値勾配情報を、非隣接画素の画素値差分を適用して算出する前記（２）に記載の画像処理装置。
（４）前記画像信号補正部は、ＲＧＢ各画素を含む画素領域単位でＲＧＢ各画素の画素値に基づいて輝度信号を算出し、算出した領域単位の輝度信号を適用して前記輝度信号対応の画素値勾配情報を算出する前記（２）または（３）に記載の画像処理装置。
【０１７１】
（５）前記画像信号補正部は、前記３種類の勾配情報の重み付き加算処理において設定する重みを出力画像の解像度に応じて変更する処理を実行し、出力画像が高解像度の場合は、高周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定し、出力画像が低解像度の場合は、低周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定する前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記画像信号補正部は、前記３種類の勾配情報の重み付き加算処理において設定する重みを処理対象画像である入力画像の周波数帯に応じて変更する処理を実行し、入力画像が高周波数領域を多く含む場合は、高周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定し、入力画像が低周波数領域を多く含む場合は、低周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１７２】
（７）前記画像信号補正部は、ＲＧＢ各色が２×２の４画素単位で配列された画像、またはＲＧＢＷ各色が２×２の４画素単位で配列された画像の画素値補正を実行する前記（１）〜（６）いずれかに記載の画像処理装置。
（８）前記画像信号補正部は、前記欠陥検出処理において、欠陥検出対象となる注目画素と同一色の画素を参照画素として前記最小勾配方向から選択し、注目画素と選択画素の異なる組み合わせに基づいて算出した複数のラプラシアンと予め既定した閾値との比較を実行して比較結果に基づいて前記注目画素が欠陥画素であるか否かの判定を行う前記（１）〜（７）いずれかに記載の画像処理装置。
【０１７３】
（９）前記画像信号補正部は、欠陥検出対象となる注目画素と同一色の画素を参照画素として前記最小勾配方向から４画素選択し、注目画素と２つの選択画素の異なる組み合わせに基づいて算出した３つのラプラシアンと予め既定した閾値との比較を実行し、３つのラプラシアンの全てが前記しきい値より大きい場合に前記注目画素が欠陥画素であると判定する前記（８）に記載の画像処理装置。
（１０）前記画像信号補正部は、前記欠陥検出処理において、欠陥検出対象となる注目画素と同一色の画素が、既定の参照領域内において前記最小勾配方向から４つ選択できない場合、前記最小勾配方向にある注目画素と異なる色の異色画素位置に、該異色画素位置の周囲の注目画素と同一色画素の画素値に基づく画素補間を実行し、該画素補間によって生成した補間画素を参照画素として設定する前記（８）または（９）に記載の画像処理装置。
【０１７４】
（１１）前記画像信号補正部は、前記欠陥補正処理において、前記参照画素の画素値の重み付き加算により前記注目画素の補正画素値を算出する前記（８）〜（１０）いずれかに記載の画像処理装置。
（１２）前記画像信号補正部は、前記欠陥補正処理において、前記注目画素を中心とした両側各々にある２つの参照画素間の画素値勾配を算出し、画素値勾配の小さい方向の２画素の画素値の重み付き加算によって前記注目画素の補正画素値を算出する前記（８）〜（１１）いずれかに記載の画像処理装置。
（１３）前記画像信号補正部は、前記欠陥補正処理において実行した補正処理がハイライト誤補正であるか否かを判定するハイライト誤補正判定処理を実行し、ハイライト誤補正であると判定した場合は、補正前の原画素値を出力し、ハイライト誤補正でないと判定した場合は、補正画素値を出力する前記（１）〜（１２）いずれかに記載の画像処理装置。
【０１７５】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【０１７６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１７７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１７８】
以上、説明したように、本開示の一実施例の構成によれば、様々な設定の画素配列を持つ画像に対して、高精度な欠陥検出および補正を実現可能とした装置、方法を提供する。
具体的には、注目画素を含む画素領域に対して複数の異なる手法を適用して複数の勾配検出情報を取得する。さらに、複数の勾配検出情報の重み付き加算に基づいて最小勾配方向を検出する。さらに、検出した最小勾配方向にある注目画素と同一色の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する。さらに、欠陥の検出された注目画素に対して、方向判定処理において検出した方向にある参照画素の画素値を適用して補正画素値を算出する。
本処理により、様々な設定の画素配列を持つ画像に対して、高精度な欠陥検出および補正を実現可能とした装置、方法が実現される。
【符号の説明】
【０１７９】
１００ 撮像装置
１０５ 光学レンズ
１１０ 撮像素子（イメージセンサ）
１２０ 画像処理部
１３０ メモリ
１４０ 制御部
１８１ ４分割ベイヤ型ＲＧＢ配列
１８３ カラー画像
２００ 画像信号補正部
２５０ 信号処理部
【特許請求の範囲】
【請求項１】
画像の補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行し、
前記方向判定処理は、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用して実行する画像処理装置。
【請求項２】
前記画像信号補正部は、
前記方向判定処理において、
高周波テクスチャ対応の画素値勾配情報と、
低周波テクスチャ対応の画素値勾配情報と、
輝度信号対応の画素値勾配情報と、
を算出し、これらの３種類の勾配情報の重み付き加算結果に基づいて、最小の画素値勾配を有する方向を検出する請求項１に記載の画像処理装置。
【請求項３】
前記画像信号補正部は、
前記高周波テクスチャ対応の画素値勾配情報を、隣接画素の画素値差分を適用して算出し、
前記低周波テクスチャ対応の画素値勾配情報を、非隣接画素の画素値差分を適用して算出する請求項２に記載の画像処理装置。
【請求項４】
前記画像信号補正部は、
ＲＧＢ各画素を含む画素領域単位でＲＧＢ各画素の画素値に基づいて輝度信号を算出し、算出した領域単位の輝度信号を適用して前記輝度信号対応の画素値勾配情報を算出する請求項２に記載の画像処理装置。
【請求項５】
前記画像信号補正部は、
前記３種類の勾配情報の重み付き加算処理において設定する重みを出力画像の解像度に応じて変更する処理を実行し、
出力画像が高解像度の場合は、高周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定し、
出力画像が低解像度の場合は、低周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定する請求項１に記載の画像処理装置。
【請求項６】
前記画像信号補正部は、
前記３種類の勾配情報の重み付き加算処理において設定する重みを処理対象画像である入力画像の周波数帯に応じて変更する処理を実行し、
入力画像が高周波数領域を多く含む場合は、高周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定し、
入力画像が低周波数領域を多く含む場合は、低周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定する請求項１に記載の画像処理装置。
【請求項７】
前記画像信号補正部は、
ＲＧＢ各色が２×２の４画素単位で配列された画像、またはＲＧＢＷ各色が２×２の４画素単位で配列された画像の画素値補正を実行する請求項１に記載の画像処理装置。
【請求項８】
前記画像信号補正部は、
前記欠陥検出処理において、
欠陥検出対象となる注目画素と同一色の画素を参照画素として前記最小勾配方向から選択し、注目画素と選択画素の異なる組み合わせに基づいて算出した複数のラプラシアンと予め既定した閾値との比較を実行して比較結果に基づいて前記注目画素が欠陥画素であるか否かの判定を行う請求項１に記載の画像処理装置。
【請求項９】
前記画像信号補正部は、
欠陥検出対象となる注目画素と同一色の画素を参照画素として前記最小勾配方向から４画素選択し、注目画素と２つの選択画素の異なる組み合わせに基づいて算出した３つのラプラシアンと予め既定した閾値との比較を実行し、３つのラプラシアンの全てが前記しきい値より大きい場合に前記注目画素が欠陥画素であると判定する請求項８に記載の画像処理装置。
【請求項１０】
前記画像信号補正部は、
前記欠陥検出処理において、
欠陥検出対象となる注目画素と同一色の画素が、既定の参照領域内において前記最小勾配方向から４つ選択できない場合、
前記最小勾配方向にある注目画素と異なる色の異色画素位置に、該異色画素位置の周囲の注目画素と同一色画素の画素値に基づく画素補間を実行し、該画素補間によって生成した補間画素を参照画素として設定する請求項８に記載の画像処理装置。
【請求項１１】
前記画像信号補正部は、
前記欠陥補正処理において、
前記参照画素の画素値の重み付き加算により前記注目画素の補正画素値を算出する請求項８に記載の画像処理装置。
【請求項１２】
前記画像信号補正部は、
前記欠陥補正処理において、
前記注目画素を中心とした両側各々にある２つの参照画素間の画素値勾配を算出し、画素値勾配の小さい方向の２画素の画素値の重み付き加算によって前記注目画素の補正画素値を算出する請求項８に記載の画像処理装置。
【請求項１３】
前記画像信号補正部は、
前記欠陥補正処理において実行した補正処理がハイライト誤補正であるか否かを判定するハイライト誤補正判定処理を実行し、
ハイライト誤補正であると判定した場合は、補正前の原画素値を出力し、
ハイライト誤補正でないと判定した場合は、補正画素値を出力する請求項１に記載の画像処理装置。
【請求項１４】
画像処理装置において実行する画像処理方法であり、
画像信号補正部が、注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行し、
前記方向判定処理においては、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用した方向判定処理を実行する画像処理方法。
【請求項１５】
画像処理装置において画像処理を実行させるプログラムであり、
画像信号補正部に、注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行させ、
前記方向判定処理は、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用した方向判定処理を実行させるプログラム。
【請求項１】
画像の補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行し、
前記方向判定処理は、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用して実行する画像処理装置。
【請求項２】
前記画像信号補正部は、
前記方向判定処理において、
高周波テクスチャ対応の画素値勾配情報と、
低周波テクスチャ対応の画素値勾配情報と、
輝度信号対応の画素値勾配情報と、
を算出し、これらの３種類の勾配情報の重み付き加算結果に基づいて、最小の画素値勾配を有する方向を検出する請求項１に記載の画像処理装置。
【請求項３】
前記画像信号補正部は、
前記高周波テクスチャ対応の画素値勾配情報を、隣接画素の画素値差分を適用して算出し、
前記低周波テクスチャ対応の画素値勾配情報を、非隣接画素の画素値差分を適用して算出する請求項２に記載の画像処理装置。
【請求項４】
前記画像信号補正部は、
ＲＧＢ各画素を含む画素領域単位でＲＧＢ各画素の画素値に基づいて輝度信号を算出し、算出した領域単位の輝度信号を適用して前記輝度信号対応の画素値勾配情報を算出する請求項２に記載の画像処理装置。
【請求項５】
前記画像信号補正部は、
前記３種類の勾配情報の重み付き加算処理において設定する重みを出力画像の解像度に応じて変更する処理を実行し、
出力画像が高解像度の場合は、高周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定し、
出力画像が低解像度の場合は、低周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定する請求項１に記載の画像処理装置。
【請求項６】
前記画像信号補正部は、
前記３種類の勾配情報の重み付き加算処理において設定する重みを処理対象画像である入力画像の周波数帯に応じて変更する処理を実行し、
入力画像が高周波数領域を多く含む場合は、高周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定し、
入力画像が低周波数領域を多く含む場合は、低周波テクスチャ対応の画素値勾配情報に対する重みを他の勾配情報に優先して高く設定する請求項１に記載の画像処理装置。
【請求項７】
前記画像信号補正部は、
ＲＧＢ各色が２×２の４画素単位で配列された画像、またはＲＧＢＷ各色が２×２の４画素単位で配列された画像の画素値補正を実行する請求項１に記載の画像処理装置。
【請求項８】
前記画像信号補正部は、
前記欠陥検出処理において、
欠陥検出対象となる注目画素と同一色の画素を参照画素として前記最小勾配方向から選択し、注目画素と選択画素の異なる組み合わせに基づいて算出した複数のラプラシアンと予め既定した閾値との比較を実行して比較結果に基づいて前記注目画素が欠陥画素であるか否かの判定を行う請求項１に記載の画像処理装置。
【請求項９】
前記画像信号補正部は、
欠陥検出対象となる注目画素と同一色の画素を参照画素として前記最小勾配方向から４画素選択し、注目画素と２つの選択画素の異なる組み合わせに基づいて算出した３つのラプラシアンと予め既定した閾値との比較を実行し、３つのラプラシアンの全てが前記しきい値より大きい場合に前記注目画素が欠陥画素であると判定する請求項８に記載の画像処理装置。
【請求項１０】
前記画像信号補正部は、
前記欠陥検出処理において、
欠陥検出対象となる注目画素と同一色の画素が、既定の参照領域内において前記最小勾配方向から４つ選択できない場合、
前記最小勾配方向にある注目画素と異なる色の異色画素位置に、該異色画素位置の周囲の注目画素と同一色画素の画素値に基づく画素補間を実行し、該画素補間によって生成した補間画素を参照画素として設定する請求項８に記載の画像処理装置。
【請求項１１】
前記画像信号補正部は、
前記欠陥補正処理において、
前記参照画素の画素値の重み付き加算により前記注目画素の補正画素値を算出する請求項８に記載の画像処理装置。
【請求項１２】
前記画像信号補正部は、
前記欠陥補正処理において、
前記注目画素を中心とした両側各々にある２つの参照画素間の画素値勾配を算出し、画素値勾配の小さい方向の２画素の画素値の重み付き加算によって前記注目画素の補正画素値を算出する請求項８に記載の画像処理装置。
【請求項１３】
前記画像信号補正部は、
前記欠陥補正処理において実行した補正処理がハイライト誤補正であるか否かを判定するハイライト誤補正判定処理を実行し、
ハイライト誤補正であると判定した場合は、補正前の原画素値を出力し、
ハイライト誤補正でないと判定した場合は、補正画素値を出力する請求項１に記載の画像処理装置。
【請求項１４】
画像処理装置において実行する画像処理方法であり、
画像信号補正部が、注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行し、
前記方向判定処理においては、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用した方向判定処理を実行する画像処理方法。
【請求項１５】
画像処理装置において画像処理を実行させるプログラムであり、
画像信号補正部に、注目画素を含む画素領域における画素値勾配方向として、最小の画素値勾配を有する方向を検出する方向判定処理と、
前記注目画素に対して、前記方向判定処理において検出した最小勾配方向の参照画素の画素値に基づくラプラシアンを算出して、注目画素の欠陥の有無を判定する欠陥検出処理と、
前記欠陥検出処理において欠陥の検出された注目画素に対して、前記方向判定処理において検出した方向にある参照画素の画素値を適用した補正画素値の算出を実行する欠陥補正処理を実行させ、
前記方向判定処理は、複数の異なる勾配検出処理によって算出した複数の勾配情報の重み付き加算結果を適用した方向判定処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１３−６６１５７（Ｐ２０１３−６６１５７Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１２−７０５３７（Ｐ２０１２−７０５３７）
【出願日】平成２４年３月２７日（２０１２．３．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２４年３月２７日（２０１２．３．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]