画像処理装置、カメラおよび画像処理プログラム
【課題】良好に異物影を検出できる画像処理装置を提供する。
【解決手段】画像処理装置は、検出された異物影１００を補正する補正部を備える。補正部は、異物影１００の周りを枠１２０で囲む枠形成部と、異物影内の補正対象画素１００Ａを選択し、その画素を通る直線ｘ上の枠と交差する位置にある第一画素１１１及び第二画素１１２を選択し、直線ｙ上の枠と交差する位置にある第三画素１１３及び第四画素１１４を選択する画素選択部と、第一画素と第二画素の輝度を用いた線形補完により補正対象画素の位置における第一補完輝度Ｙ_ｘを求め、第三画素と第四画素の輝度を用いた線形補完により第二補完輝度Ｙ_ｙを求め、第一補完輝度及び第二補完輝度について、補正対象画素が、枠のどちらかの直線に近づくにつれて重みが小さくなる加重平均により、第一補完輝度と第二補完輝度との平均補完輝度Ｙ_ａｖｅを求める補完輝度算出部と、を備える。
【解決手段】画像処理装置は、検出された異物影１００を補正する補正部を備える。補正部は、異物影１００の周りを枠１２０で囲む枠形成部と、異物影内の補正対象画素１００Ａを選択し、その画素を通る直線ｘ上の枠と交差する位置にある第一画素１１１及び第二画素１１２を選択し、直線ｙ上の枠と交差する位置にある第三画素１１３及び第四画素１１４を選択する画素選択部と、第一画素と第二画素の輝度を用いた線形補完により補正対象画素の位置における第一補完輝度Ｙ_ｘを求め、第三画素と第四画素の輝度を用いた線形補完により第二補完輝度Ｙ_ｙを求め、第一補完輝度及び第二補完輝度について、補正対象画素が、枠のどちらかの直線に近づくにつれて重みが小さくなる加重平均により、第一補完輝度と第二補完輝度との平均補完輝度Ｙ_ａｖｅを求める補完輝度算出部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、カメラ、および画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置では撮像光路上にあり撮像素子の近傍に配置された光学フィルタ等の光学部材に異物が付着すると、付着した異物により生じた異物影が撮像画像に現れ、その部分が画像欠陥となる。特にレンズ交換式の撮像装置では、レンズ交換時に塵や埃などの異物が内部に侵入しやすく、画像欠陥を生じやすい。このような問題を解決するため、光学部材に付着した異物影情報としての基準画像を撮影し、基準画像から異物影位置等の情報を得て通常撮影された撮像画像に写り込んだ異物影を検出し、画像欠陥を補正する画像処理装置が知られている。また、１枚の画像から異物影を検出し、その画像欠陥部を補正する方法も提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、影部分の光の透過率からの検出では、誤検出した場合に異物影かどうかの判別ができない。また、異物影の補正をするために、多くの画素情報を必要とするため、演算に時間がかかる。さらに、補正部分の画像によって補正痕が残る場合がある。
本発明の課題は、良好に異物影を検出できる画像処理装置、カメラ及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００５】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
請求項１に記載の発明は、処理対象画像における異物影（１００）を検出する異物影検出部（６０）と、前記異物影検出部（６０）により検出された異物影（１００）を補正する補正部（７０）と、を備え、前記補正部（７０）は、前記異物影（１００）の周りを、互いに平行な第一直線（１０１）及び第二直線（１０２）と、第一直線（１０１）及び第二直線（１０２）と直交する、互いに平行な第三直線（１０３）及び第四直線（１０４）とで形成された枠（１２０）で囲む枠形成部（７１）と、前記異物影（１００）の内部に位置する補正対象画素（１００Ａ）を選択し、前記補正対象画素（１００Ａ）を通り且つ前記第三直線（１０３）及び前記第四直線（１０４）と平行な第五直線（ｘ）上であって、前記第一直線（１０１）と交差する位置にある第一画素（１１１）と、前記第二直線（１０２）と交差する位置にある第二画素（１１２）と、を選択し、前記補正対象画素（１００Ａ）を通り且つ前記第一直線（１０１）及び前記第二直線（１０２）と平行な第六直線（ｙ）上であって、前記第三直線（１０３）と交差する位置にある第三画素（１１３）と、第四直線（１０４）と交差する位置にある第四画素（１１４）と、を選択する画素選択部（７２）と、前記第一画素（１１１）と前記第二画素（１１２）の輝度を用いた線形補完により、前記補正対象画素（１００Ａ）の位置における第一補完輝度（Ｙ_ｘ）を求め、前記第三画素（１１３）と前記第四画素（１１４）の輝度を用いた線形補完により、前記補正対象画素（１００Ａ）の位置における第二補完輝度（Ｙ_ｙ）を求め、前記第一補完輝度（Ｙ_ｘ）について、前記補正対象画素（１００Ａ）が、前記第三直線（１０３）と前記第四直線（１０４）との間の中央部にあるとき重みが強く、どちらかの直線に近づくにつれて重みが小さくなり、前記第二補完輝度（Ｙ_ｙ）について、前記補正対象画素（１００Ａ）が、前記第一直線（１０１）と前記第二直線（１０２）との間において中央部にあるとき重みが強く、どちらかの直線に近づくにつれて重みが小さくなる加重平均により、前記第一補完輝度（Ｙ_ｘ）と前記第二補完輝度（Ｙ_ｙ）との平均補完輝度（Ｙ_ａｖｅ）を求める補完輝度算出部（７３）と、を備え、前記補正部（７０）は、求めた前記平均補完輝度（Ｙ_ａｖｅ）を用いて、前記補正対象画素（１００Ａ）の輝度を補正する補正処理を、前記異物影（１００）の画素全体について行うこと、を特徴とする画像処理装置（５０）である。
請求項２に記載の発明は、請求項１に記載の画像処理装置（５０）であって、前記平均補完輝度（Ｙ_ａｖｅ）算出部（７３）は、前記加重平均を、補正対象画素（１００Ａ）から、第一画素（１１１）と第二画素（１１２）とのうちの近い方までの第一距離（ｘ）を、第一画素（１１１）と第二画素（１１２）との距離に対する割合で示し、第三画素（１１３）と第四画素（１１４）とのうちの近い方までの第二距離（ｙ）を、第三画素（１１３）と第四画素（１１４）との距離に対する割合で示したときに、平均補完輝度（Ｙ_ａｖｅ）は、第一補完輝度（Ｙ_ｘ）に第二距離（ｙ）を乗じたものと、第二補完輝度（Ｙ_ｙ）（Ｙ_ｙ）に第一距離（ｘ）を乗じて求めること、を特徴とする画像処理装置（５０）である。
請求項３に記載の発明は、請求項１または２に記載の画像処理装置（５０）であって、
前記補完輝度算出部（７３）は、前記第一補完輝度（Ｙ_ｘ）、及び前記第二補完輝度（Ｙ_ｙ）を求める際に用いる、前記第一画素（１１１）、前記第二画素（１１２）、前記第三画素（１１３）及び前記第四画素（１１４）の輝度として、それぞれが位置する前記枠（１２０）上における両隣の画素を含む複数の画素の平均輝度を用いること、を特徴とする画像処理装置（５０）である。
請求項４に記載の発明は、請求項３に記載の画像処理装置（５０）であって、前記補正部（７０）は、前記補正対象画素（１００Ａ）を囲む複数の画素の輝度を平均して求めた二次的輝度と前記平均補完輝度（Ｙ_ａｖｅ）との比を計算し、該比に応じて、補正対象画素（１００Ａ）の輝度を補正すること、を特徴とする画像処理装置（５０）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の画像処理装置（５０）であって、前記処理対象画像が、赤、緑及び青のカラーフィルタ（１３ａ）を通して撮像素子（１６）により撮影され、非線形補正された画像の場合、前記補正処理を、赤、緑及び青のそれぞれの画像についてについて行うこと、を特徴とする画像処理装置（５０）である。
請求項６に記載の発明は、請求項１から５のいずれか１項に記載の画像処理装置（５０）を備えるカメラ（１）である。
請求項７に記載の発明は、請求項１から６のいずれか１項に記載の画像処理装置（５０）の機能をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【０００６】
本発明によれば、良好に異物影を検出できる画像処理装置、カメラおよび画像処理プログラムを提供できる。
【図面の簡単な説明】
【０００７】
【図１】レンズ交換式のカメラの構成を示す図である。
【図２】カメラと画像処理装置を構成するパーソナルコンピュータ（ＰＣ）および周辺装置を示すブロック図である。
【図３】撮像素子を説明する図である。
【図４】異物影検出・補正処理を行う画像処理装置の機能ブロック図である。
【図５】画像処理装置における異物影検出部の機能ブロック図である。
【図６】ＨＳＶ変換処理の六角錐モデルを表す概念図である。
【図７】補正部の機能ブロック図である。
【図８】異物影の補正方法を説明する図である。
【図９】画像処理装置における異物影検出・補正処理のフローチャートである。
【図１０】画像処理装置における補正処理のフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面等を参照して、本発明の第１実施形態について説明する。
図１は、レンズ交換式のカメラ１の構成を示す図である。図２は、カメラ１と画像処理装置を構成するパーソナルコンピュータ（ＰＣ）３０および周辺装置を示すブロック図である。
カメラ１は、被写体像を電気信号に変換した画像データとして出力する電子スチルカメラである。
【０００９】
カメラ１は、カメラ本体２と、カメラ本体２に対して着脱可能な撮像レンズ３とにより構成されている。撮像レンズ３は、複数の光学レンズ群（図１においては１枚のレンズで示す）から成る結像光学系３Ｌを備えている。
【００１０】
カメラ１は、結像光学系３Ｌ（撮像レンズ３）とカメラ本体２とを備える。
カメラ本体２は、シャッター１１、光学フィルタ１２、撮像素子１３、画像処理部１４、操作部１５、表示部１６、メモリカード用インターフェース部１７、外部インターフェース部１８、電源１９、制御部２０等を備えている。
【００１１】
シャッター１１は、結像光学系３Ｌから撮像素子１３へ向かう撮影光を遮蔽および通過させることによって、露光時間を調整する。
光学フィルタ１２は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。なお、符号４は、この光学フィルタ１２の表面に付着した塵や埃などの異物を示す。このような撮影光の光路上にあって撮影光を透過する光学フィルタ１２に異物４が付着していると、撮像素子１３によって取得される画像データのなかに、異物４の影響を受けた画素が含まれる場合がある。
【００１２】
撮像素子１３は、ＣＣＤやＣＭＯＳ等の光電変換素子であって、複数の画素から構成される矩形形状の撮像領域を有している。図３は撮像素子１３の説明図であり、撮像素子１３の受光面には、それぞれの画素に対応して赤色（Ｒ）フィルタ１３Ｒ、緑色（Ｇ）のフィルタ１３Ｇ、青色（Ｂ）フィルタ１３Ｂを備えるカラーフィルタ１３ａが、いわゆるベイヤ(Bayer)配列に基づいて配置されている。
そして、撮像素子１３は、その結像面に結像された像を電気信号に変換し、被写体像に対応する画像信号（撮像信号）を出力する。撮像素子１３から出力された画像信号は、所定のアナログ信号処理の後、Ａ／Ｄ変換されて画像処理部１４に入力される。
【００１３】
画像処理部１４は、撮像素子１３から入力された画像データに対して、補完，階調変換や輪郭強調などの画像処理を行う。補完処理としては、撮像素子１３から出力された未処理画像を、人の目で見た印象に近い画像に補完するガンマ処理等が含まれる。
そして、本実施形態のカメラ１では、撮像素子１３において、画像処理部１４に供給される画像データはＲＧＢ表色系で示される。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。
なお、撮像素子１３を構成する１つの光電変換素子を画素と言うが、この画素に対応した画像データの１単位も画素と言う。また、画像も複数の画素から構成される概念である。画像処理が完了した画像データは、補完処理が完了し、各画素にはＲＧＢのすべての色成分の色情報が存在するものとする。
【００１４】
操作部１５は、撮影者が撮影タイミング等を決定する信号を入力するレリーズボタンや、モード切り換え用の選択ボタン等を備えている。そして、操作部１５は、それらの操作情報を制御部に入力する。
表示部１６は、ＬＣＤ等によって構成され、カメラ１における各種設定メニュー、撮像素子１３による撮像画像やメモリカードに格納された画像データに基づく再生画像を表示する。
【００１５】
メモリカード用インターフェース部１７は、メモリカード（カード状のリムーバブルメモリ）４０とのインターフェースをとる。
外部インターフェース部１８は、所定のケーブルや無線伝送路を介してＰＣ３０等の外部装置とのインターフェースをとる。
電源１９は、カメラ１の各機能部に電力を供給する。
【００１６】
制御部２０は、カメラ１における各機能部を統括制御する。すなわち、制御部２０は、操作部１５におけるレリーズスイッチから撮影指示信号が入力されると、シャッター１１を駆動制御して露光動作等の撮影動作を制御する。また、制御部２０は、撮像素子１３で取得されて画像処理部１４で画像処理が行われて入力された画像データを、メモリカード用インターフェース部１７に着脱可能に取り付けられたメモリカード４０等に記憶させ、保存する。さらに、制御部２０は、メモリカード４０等に記憶された画像データを呼び出し、表示部１６に表示させる。
【００１７】
上記のように構成されたカメラ１は、撮影時において制御部２０によって制御されて、下記のように作用する。
操作者によって操作部１５のレリーズボタンが押圧操作されると、シャッター１１を所定時間開放する。撮像素子１３は、結像光学系３Ｌにより撮像領域に結像された光学像に対応する画像信号を生成する。撮像素子１３によって生成された画像信号は、画像データとして画像処理部１４に入力され、画像処理部１４によってガンマ処理等の画像処理が施される。そして、画像処理部１４で画像処理された画像データに基づいて表示部１６に撮影画像を表示すると共に、その画像データに必要に応じてＪＰＥＧ等による圧縮処理を施してメモリカード用インターフェース部１７に装着されたメモリカード４０に記憶・保存する。また、外部インターフェース部１８を介して接続された後述するＰＣ３０に、画像データを送出する。
【００１８】
また、メモリカード４０に記憶・保存され、または、外部インターフェース部１８を介してＰＣ３０に送出される画像データは、たとえば、Ｅｘｉｆファイルに記録される。Ｅｘｉｆファイルには、絞り値、カメラ名，カメラメーカー名，シャッター速度および露光補正等の露出条件、撮影時刻などの付加情報が共に記録される。
【００１９】
パーソナルコンピュータ（ＰＣ）３０は、図示しないが、ＣＰＵ、メモリ、ハードディスク、メモリカード４０とのインターフェースをとるメモリカード用インターフェース部、ケーブルや無線伝送路を介してカメラ１等の外部装置とのインターフェースをとる外部インターフェース部等を備えている。また、ＰＣ３０には、モニタ３１やプリンタ３２等が接続されており、ＣＤ−ＲＯＭ３３に記録された異物影検出・補正処理に係るアプリケーションプログラムが予めインストールされている。
【００２０】
つぎに、図４〜図６を参照して、撮影された対象画像データにおける異物影を検出して補正する処理（異物影検出・補正処理）について説明する。
図４は、異物影検出・補正処理を行う画像処理装置５０の機能ブロック図である。図５は、画像処理装置５０における異物影検出部６０の機能ブロック図である。図６は、ＨＳＶ変換処理の六角錐モデルを表す概念図である。
【００２１】
異物影検出・補正処理は、メモリカード３０を介して提供された、または、カメラ１の外部インターフェース部１８から伝送された画像処理完了後の画像データに対して、ＰＣ３０によって行われる。前述したように、ＰＣ３０には、異物影検出・補正処理のアプリケーションプログラムがインストールされており、ＰＣ３０はこのプログラムを実行することによって、異物影検出・補正処理を行う画像処理装置として機能する。
【００２２】
ＰＣ３０とプログラムとによって機能する画像処理装置５０は、図４に示すように、対象画像データが入力される入力部５２と、異物影領域を検出する異物影検出部６０と、異物影検出部６０によって検出された異物影情報に基づいてその異物影を補正する補正部７０と、補正画像データが出力された出力部５３と、を備えている。
【００２３】
１．異物影検出部
異物影検出部６０は、機能ブロック図である図５に示すように、連結領域判定部６１と、対象領域抽出部６２と、輝度判定部６３と、色相判定部６４と、彩度判定部６５と、顔判定部６６と、落込み割合判定部６７と、を備えている。
【００２４】
異物影は、たとえば光学フィルタ１２の前面に付着した異物４（図１参照）による異物影を撮影することで生ずるものである。以下、このような異物４（図１参照）による異物影によって生じた異物影領域を例として説明する。
【００２５】
１−１ 連結領域判定部
連結領域判定部６１は、対象画像における各画素の明るさ（たとえば輝度）情報から、異物影の可能性のある領域を抽出する部分である。連結領域判定部６１による異物影の検出は、まず、対象画像データを逆ガンマ補正して、得られたＲＧＢによる各画素の画像データをＨＳＶ変換して色相平面、彩度平面を求め、ＲＧＢから輝度平面を求め、さらにその輝度勾配を求めて行う。
【００２６】
（逆ガンマ補正）
連結領域判定部６１は、まず、輝度情報算出に使用する画像のＲＧＢ情報を非線形な状態から線形に戻すために逆ガンマ補正を行う。ＲＡＷ画像の場合は、さまざまな補正処理を加える前のｄｅＢａｙｅｒ配列のカラーフィルタ１３ａ（図３）を通過した直後の画像を用いることで線形なＲＧＢ情報を得ることができる。ＪＰＥＧ画像の場合は、すでにガンマ補正されているので、線形のＲＧＢ情報を得るために、次のようにして逆ガンマ補正をかける。
Ｒ’＝（Ｒ）γ
Ｇ’＝（Ｇ）γ
Ｂ’＝（Ｂ）γ
例えば、γ＝２．２という値で逆ガンマ補正を行う。γテーブルを参照してリニアに変換してもよい。
【００２７】
（ＨＳＶ変換）
連結領域判定部６１は、逆ガンマ補正された画像を構成する各画素について、ＨＳＶ変換処理を行う。
図６は、ＨＳＶ変換の六角錐モデルの概念図である。明度値Ｖの座標軸は六角錐の中心軸で表され、彩度Ｓの座標軸は六角錐の中心軸に直交する軸で表され、色相Ｈは六角錐の中心軸を回転する回転角で表される。
明度値Ｖ（Ｖａｌｕｅ）、色相値Ｈ（Ｈｕｅ）および彩度値Ｓ（Ｓａｔｕｒａｔｉｏｎ）の各画素の要素は、ＲＧＢ画像データにおける各画素のＲＧＢ要素から、以下の数式（１）〜（１０）を用いて変換される。
【００２８】
Ｖｍａｘ＝ｍａｘ｛Ｒ，Ｇ，Ｂ｝・・・（１）
Ｖｍｉｎ＝ｍｉｎ｛Ｒ，Ｇ，Ｂ｝・・・（２）
として、
Ｖ＝ Ｖｍａｘ ・・・（３）
Ｓ＝（Ｖｍａｘ−Ｖｍｉｎ）／Ｖｍａｘ ・・・（４）
Ｈ＝（π／３）（ｂ−ｇ） （Ｒ＝Ｖｍａｘのとき） ・・・（５）
Ｈ＝（π／３）（２＋ｒ−ｂ） （Ｇ＝Ｖｍａｘのとき） ・・・（６）
Ｈ＝（π／３）（４＋ｇ−ｒ） （Ｂ＝Ｖｍａｘのとき） ・・・（７）
【００２９】
ただし、
ｒ＝（Ｖｍａｘ−Ｒ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（８）
ｇ＝（Ｖｍａｘ−Ｇ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（９）
ｂ＝（Ｖｍａｘ−Ｂ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（１０）
なお、式（５）〜（７）で変換された結果、Ｈ＜０の時には、Ｈに２πを加える。また、Ｖｍａｘ＝０の時は、Ｓ＝０，Ｈ＝不定となる。
【００３０】
（輝度情報取得）
輝度情報（Ｙ）は、逆ガンマ補正したリニアＲＧＢ値から算出され、人間の見た目と近い輝度情報を得るためには次のような算式が使用される。
Ｙ＝（０．２９９＊Ｒ’＋０．５８９＊Ｇ’＋０．１１４＊Ｂ’）／２５５・・（１１）
このようにして得られた輝度平面Yに対して、縦方向、横方向の微分フィルタをかけ、それぞれの差分を以下の式（１２）
【数１】
で求めてから画素の勾配（ｇｒａｄ）を以下の式（１３）で計算する。
【数２】
【００３１】
輝度勾配平面では、異物影の周縁部では高い画素値を示し、空などの一様な平面では低い画素値を示す。つまり、エッジ部分では高い画素値を示し、これによって異物影のエッジ部分を検出できる。
【００３２】
(連結画素領域抽出）
また、連結領域判定部６１は、所定の閾値を設定して、輝度勾配平面を２値画像に変換する。すなわち、閾値より高い輝度勾配値を有する画素を「１」、閾値より低い輝度勾配値を有する画素を「０」と置換する。本実施形態では、閾値を０．３とする。
そして、連結領域判定部６１は、このようにして得られた２値画像から、「１」の画素が連結した領域（連結画素領域）を抽出する。連結画素領域とは、たとえば、矩形の画素の４辺の内の少なくとも１辺で連続した（４近傍の）画素領域とする。この連結画素領域が、異物影による異物影の可能性のある領域である。
【００３３】
１−２ 対象領域抽出部
対象領域抽出部６２は、連結領域判定部６１によって抽出された連結画素領域の中から、異物影のサイズ（大小）に基づいて異物影部の可能性のある領域を抽出する。
ここで、対象領域抽出部６２は、連結画素領域から異物影部の可能性のある領域を抽出する際において、異物影を生じさせる異物影の大きさを基準とする。
【００３４】
まず、異物影の大きさ判定の基準となる方法について説明する。
ここでは、一般的な異物のサイズである最小１００μｍ×１００μｍ〜最大４００μｍ×４００μｍの異物によって投影される異物影を検出対象とするように画素数によって規定された閾値を基準とし、連結画素領域の大きさがこの閾値内に含まれるものが補正対象となり得る異物影であるとして異物影部の可能性のある領域と判定し、選択する。
【００３５】
１−３ 輝度判定部
輝度判定部６３は、先の連結領域判定部６１において説明したＨＳＶ変換によって求められた輝度値Ｙと画像平面に対応する輝度平面とを用い、連結画素領域における内外の輝度を比較する。ここで、異物影は、内部の輝度が周辺の輝度に比較して低く、輝度比は1よりとても小さい。このため、１より小さい所定の閾値を設定し、連結画素領域の輝度比がこの閾値より小さいに場合にのみ、補正対象となり得る異物影であるとして異物影部の可能性のある領域と判定し、選択する。
【００３６】
１−４ 色相判定部
色相判定部６４は、先の連結領域判定部６１において説明したＨＳＶ変換によって、各画素の色相値Ｈを求めて画像平面に対応する色相平面を生成する。色相判定部６４は、色相値Ｈと色相平面とを用い、連結画素領域における内外の色相を比較する。ここで、異物影は、輝度には大きく影響するものの色相にはほとんど影響を与えず、連結画素領域の内外における色相比はほとんど１に近い。このため、１に近い所定の範囲を設定し、色相比がこの範囲内にある場合にのみ、補正対象とすべき異物影であるとして異物影部の可能性のある領域と判定し、選択する。
【００３７】
１−５ 彩度判定部
彩度判定部６５は、先の連結領域判定部６１において説明したＨＳＶ変換によって、各画素の彩度値Ｓを求めて画像平面に対応する彩度平面を生成する。彩度判定部６５は、彩度値Ｓと彩度平面とを用い、連結画素領域における内外の彩度を比較する。
【００３８】
このような彩度比による判定を行う理由は、以下の通りである。
異物部分では、異物周辺の輝度より異物内部の輝度が低く、輝度比は１よりとても小さい。そして、異物影は色相情報にほとんど影響を与えないので、異物内外で色相比はほとんど１に近い。しかし、画像によっては輝度比が１より小さく、色相比がほとんど１に近いような被写体が存在し、この２つの条件だけでは誤検出を起こしてしまうからである。
【００３９】
そこで、異物内外の彩度比を判定に組み込む。一般的に異物は影であり、黒っぽい点像として画像に写り込む。したがって、異物部分の彩度値は周辺部に比べて低くなり、異物内外の彩度比は１よりも小さくなる。反対に、異物ではない被写体部分での彩度比は１より大きくなる箇所も存在する。この特徴を使って判別することで、抽出してきたエリアが異物であるか、被写体であるかを区別することができ、誤検出を排除して異物の検出精度を高めることが出来る。
【００４０】
この彩度判定における彩度の算出には、本実施形態において上で説明した、ＨＳＶ変換式中の彩度の式（４）では、Ｖｍａｘとの比を取っているため、画像中の暗い部分で低彩度とならないことがあり、すなわち、異物部分でも周辺との彩度比を計算したときに、1よりも大きな値となってしまうことがある。例えば、Ｒ＝１２、Ｇ＝７、Ｂ＝３という暗いピクセルがあり、この彩度を上式（４）で求めると、
（１２−３）／１２＝０．７５
となり、最大値１の彩度に対して０．７５とかなり高い値となってしまう。
【００４１】
異物の判別条件として彩度比が１以下であることを用いると、濃い異物が検出されないという問題が生じてしまう。彩度比が1以上を許してしまうと、誤検出が発生してしまう。この問題を解決するために、本実施形態では、彩度判定部においては、上式（４）の代わりに、彩度Ｓを修正彩度Ｓとして以下の式（１４）により求める。
【００４２】
【数３】
上述した、Ｒ＝１２、Ｇ＝７、Ｂ＝３という暗いピクセルについて、この修正彩度Ｓで計算してみると、最大値１の彩度に対して０．０３となり、暗い部分で彩度が低い値で算出される。
この修正彩度Sを用いることで、画像全体の暗い部分の彩度を人間の感覚にそった値で算出でき、異物検出パラメータの彩度比パラメータも範囲を限定することで誤検出を排除することができる。
【００４３】
１−６ 顔判定部
ここまでの対策でも誤検出が発生する場合があり、とくに人の顔にあるホクロ等で誤検出しやすい。人の顔での誤検出は他の誤検出よりも画像の見栄えへの影響が大きく、誤検出部を補正した場合には大きく印象が変わってしまう可能性がある。したがって本実施形態では、顔判定部６６を備え、異物影の可能性のある箇所が人の顔にあるか否かを判定する。
【００４４】
顔判定部６６は、異物影を検出する対象となっている画像中における顔領域を、周知の方法で検出する。そして、顔判定部６６に至るまでの連結領域判定部６１から彩度判定部６５までにおいて異物影と判定された部分が、顔領域に位置するかどうかを判定する。
【００４５】
１−７ 落込み割合判定部
次に、顔判定部６６において顔と判定された領域内に、異物影と判定された部分が存在する場合、それらについて、上記連結領域判定部６１において逆ガンマ補正して得られたリニアＲＧＢ情報を調べる。
【００４６】
異物影と判定された部分が異物影であれば、各リニアＲＧＢ情報に対して等しい比率で影響を与える。例えば、異物影の場合、異物周辺部のＲＧＢに対してそれぞれ約２０％のゲインの落ち込みが発生する。しかし、異物影でない、例えばホクロの領域では、周辺部に対する落ち込みが、ＲＧＢそれぞれに対して均等でない。この特徴より、顔部分にある異物影候補が、実際に異物影であるのかどうか、誤検出を見分けることができる。
【００４７】
２．補正部
図７は、補正部７０の機能ブロック図である。図８は、処理対象画像中における異物影１００を示す図であり、補正方法を説明する図である。
補正部７０は、上述の異物影検出部６０により異物影と判定された影の補正を行う。図７に示すように補正部７０は、枠形成部７１、画素選択部７２及び補完輝度算出部７３、を備える。
【００４８】
２−１ 枠形成部
枠形成部７１は、異物影検出部６０により異物影と判定された部分（異物影１００）の周りを、図８で示すように、互いに平行な第一直線１０１及び第二直線１０２と、第一直線１０１及び第二直線１０２と直交する、互いに平行な第三直線１０３及び第四直線１０４とで形成された枠１２０で囲む。
【００４９】
２−２ 画素選択部
画素選択部７２は、異物影１００の内部に位置する補正対象画素１００Ａを選択する。
そして、画素選択部７２は、第三直線１０３及び第四直線１０４と平行で、且つ補正対象画素１００Ａを通る直線ｘ上における、第一直線１０１と交差する位置にある第一画素１１１と、第二直線１０２と交差する位置にある第二画素１１２と、を選択する。
【００５０】
画素選択部７２は、更に、第一直線１０１及び第二直線１０２と平行で、且つ補正対象画素１００Ａを通る直線ｙ上における、第三直線１０３と交差する位置にある第三画素１１３と、第四直線１０４と交差する位置にある第四画素１１４と、を選択する。
【００５１】
２−３ 補完輝度算出部
補完輝度算出部７３は、第一画素１１１について、その輝度をＡとして補正対象画素１００Ａとの距離をｘ１とする。第二画素１１２について、その輝度をＢとして補正対象画素１００Ａとの距離をｘ２とする。第三画素１１３について、その輝度をＣとして補正対象画素１００Ａとの距離をｙ１とする。第四画素１１４について、その輝度をＤとして補正対象画素１００Ａと距離をｙ２とする。
【００５２】
そして、第一画素１１１、第二画素１１２、第三画素１１３及び第四画素１１４の輝度Ａ、Ｂ、Ｃ、Ｄを、それぞれ隣接した２画素を含めた３画素での平均値として算出する。この３画素で平均した輝度値を、それぞれ第一平均輝度Ａ’、第二平均輝度Ｂ’、第三平均輝度Ｃ’、第四平均輝度Ｄ’とする。
【００５３】
補完輝度算出部７３は、第一平均輝度Ａ’と第二平均輝度Ｂ’とを用いた線形補完により、ｘ方向の補正対象画素１００Ａの位置における第一補完輝度Ｙ＿ｘを、また、第三平均輝度Ｃ’と第四平均輝度Ｄ’とを用いた線形補完により、ｙ向の補正対象画素１００Ａの位置における第二補完輝度Ｙ＿ｙを、以下の式（１５）により求める。
【数４】
【００５４】
ここで、例えば、第一画素１１１、第二画素１１２、第三画素１１３及び第四画素１１４がノイズ等で一画素だけ特異的に明るかったり暗かったりした場合、その画素を基に、以下に説明する補完輝度を求めると、補正対象画素１００Ａにおける補完後の輝度が、その画素の輝度値を計算に用いるラインに沿って全て他の画素に対して異常な輝度を示すことになる。しかし、本実施形態によると、このように、Ａ、Ｂ、Ｃ、Ｄを、それぞれ隣接した２画素を含めた３画素での平均値として算出する。この３画素で平均した輝度値を、それぞれ第一平均輝度Ａ’、第二平均輝度Ｂ’、第三平均輝度Ｃ’、第四平均輝度Ｄ’としているので、そのような、他の画素に対して異常な輝度を示す現象が緩和される。
【００５５】
ついで、このように、ｘ方向とｙ方向の線形補間から求めたＹ＿ｘとＹ＿ｙを使って補正対象画素１００Ａの最終的な補間値を求める。
このとき、補正対象画素１００Ａの位置によってＹ＿ｘとＹ＿ｙのブレンド比率（平均をとる際の重み付けの割合）を変更する。なお、以下のＥとＦについては、比率で求めてもピクセル数で求めても良い。
【数５】
【数６】
そして第一補完輝度と第二補完輝度とを平均した平均補完輝度Ｙ＿ａｖｅを、以下の式（１８）により求める。
【００５６】
【数７】
【００５７】
次いで、補正部７０は、式（１８）の平均補完輝度Ｙ＿ａｖｅと補正対象画素１００Ａのオリジナル輝度ｏｒｉ＿Ｙの比を計算して、その処理を異物影１００全体に行うことで、ゲインマップＹ＿ｇｍａｐ［ｉ、ｊ］を作成することができる。
【００５８】
しかし、このまま補正してしまうと、補正部分の画像が平坦な感じになり、オリジナル画像の自然さが消えてしまう。そこで、ゲインを計算する補正対象画素１００Ａのオリジナル輝度ｏｒｉ＿Ｙの値を、その補正対象画素１００Ａとその周辺８画素の平均値である二次的オリジナル輝度で、以下の式（１９）を用いて置き換える。
【数８】
この平均値である二次的オリジナル輝度でゲインマップを式（２０）により作成し、オリジナル画像の輝度を補正することで、元から存在する画像のノイズ感の再現が可能となる。
【００５９】
ＲＡＷ画像の場合は輝度、ＪＰＥＧ画像の場合はリニアでないオリジナルのＲＧＢ各面で上述のゲインマップを計算する。
ＪＰＥＧ画像に対しては、求めたＲＧＢ各面のゲインマップを使って異物影１００の補正を行う。オリジナル画像のＲＧＢ各成分をそれぞれｏｒｉ＿ｒ、ｏｒｉ＿ｇ、ｏｒｉ＿ｂ、ＲＧＢ各面のゲインマップをそれぞれｆｉｎａｌ＿ｒｇｍａｐ、ｆｉｎａｌ＿ｇｇｍａｐ、ｆｉｎａｌ＿ｂｇｍａｐ、とすると補正後のＲＧＢは次の式（２１）のように算出される。
【数９】
【００６０】
こうして得られた、ｆｉｎａｌ＿Ｒ、ｆｉｎａｌ＿Ｇ、ｆｉｎａｌ＿Ｂは異物影１００を補正したものであり、これらを一枚のＪＰＥＧ画像として出力する。ＲＡＷ画像に対しては上で求めた輝度のゲインマップを使ってリニアＲＧＢ各面を補正することができる。リニアＲＧＢ各成分をそれぞれｏｒｉ＿ｒ、ｏｒｉ＿ｇ、ｏｒｉ＿ｂ、輝度のゲインマップをｆｉｎａｌ＿ｙｇｍａｐ、とすると補正後のＲＧＢは次の式（２２）のように算出される。
【数１０】
【００６１】
つぎに、図９、図１０に示すフローチャートに従って、画像処理装置５０における異物影検出・補正処理の流れを説明する。また、図９、図１０及び以下の説明中、ステップを「Ｓ」とも略記する。
【００６２】
画像処理装置５０は、メモリカード４０を介して、または、カメラ１の外部インターフェース部１８を介して入力された補正対象画像データを読み込む（Ｓ０１）。
【００６３】
読み込んだ対象画像データの、ＲＧＢデータをそれぞれ逆ガンマ補正する（Ｓ０２）。
そして逆ガンマ補正したＲＧＢより式（１１）を用いて輝度Ｙを求め、輝度平面Ｙに平均化フィルタをかけてノイズ処理を行う（Ｓ０３）。
【００６４】
その後、Ｙの勾配（Ｙｇｒａｄ）を計算する（Ｓ０４）。
輝度勾配Ｙｇｒａｄが閾値以上の領域を抽出する（Ｓ０５）。
【００６５】
続いて、連結領域判定部６１により連結画素領域を抽出する（Ｓ０６）。
さらに、抽出された連結画素領域の大きさ判定を行う（Ｓ０７）。
【００６６】
次いで、輝度判定部６３によって、連結画素領域における内外の輝度比に基づいて異物影部の可能性のある領域に該当するか否かを判定する（Ｓ０８）。
さらに、色相判定部６４によって、連結画素領域における内外の色相比に基づいて異物影部の可能性のある領域に該当するか否かを判定し（Ｓ０９）、次に彩度判定を行う（Ｓ１０）。
【００６７】
顔判定部６６によって、異物影の可能性のある領域が、顔領域にあるかどうかを判断する（Ｓ１１）。
顔と検出された位置である場合、リニアＲＧＢ情報を調べる。ここで、リニアＲＧＢの落ち込みが等しい場合、異物影の可能性のある領域と判断する（Ｓ１２）。
【００６８】
そして、異物情報を保存し（Ｓ１３）、上記ステップ全てにおいて異物影部の可能性のある領域と判定されたもの(異物影１００）について補正部７０により異物影１００の補正を行う（Ｓ１４）。
【００６９】
図１０はＳ１４の補正部７０による異物影１００の補正を示すフローチャートである。
まず、補正部７０の枠形成部７１は、異物影１００の周りに枠１２０を形成する（Ｓ２１）。
次いで、画素選択部７２は、異物影１００の内部に位置する補正対象画素１００Ａを選択する（Ｓ２２）。
そして、異物影１００の内部の補正対象画素１００Ａ、直線ｘ上における、第一直線１０１と交差する位置にある第一画素１１１、第二直線１０２と交差する位置にある第二画素１１２、直線ｙ上における、第三直線１０３と交差する位置にある第三画素１１３、第四直線１０４と交差する位置にある第四画素１１４、を選択する（Ｓ２３）。
【００７０】
第一画素１１１、第二画素１１２、第三画素１１３及び第四画素１１４の輝度Ａ、Ｂ、Ｃ、Ｄを、それぞれ隣接した２画素を含めた３画素で平均し、第一平均輝度Ａ’、第二平均輝度Ｂ’、第三平均輝度Ｃ’、第四平均輝度Ｄ’を求める（Ｓ２４）。
第一平均輝度Ａ’、第二平均輝度Ｂ’、第三平均輝度Ｃ’、第四平均輝度Ｄを用いた線形補完を用いて第一補完輝度Ｙ＿ｘ、第二補完輝度Ｙ＿ｙを式（１５）により求める（Ｓ２５）。
【００７１】
ｘ方向とｙ方向の線形補間から求めたＹ＿ｘとＹ＿ｙを使って、補正対象画素１００Ａの位置によってＹ＿ｘとＹ＿ｙのブレンド比率を変更して、補正対象画素１００Ａの最終的な補間値を求める（Ｓ２６）。
【００７２】
補正対象画素１００Ａのオリジナル輝度ｏｒｉ＿Ｙの値を、その補正対象画素１００Ａとその周辺８画素の平均値である二次的オリジナル輝度で、式（１９）を用いて置き換える（Ｓ２７）。
【００７３】
ＲＡＷ画像の場合は輝度、ＪＰＥＧ画像の場合はリニアでないオリジナルのＲＧＢ各面で上述のゲインマップを計算する（Ｓ２８）。
ＪＰＥＧ画像に対しては、求めたＲＧＢ各面のゲインマップを使って異物影１００の補正を行う（Ｓ２９）。
【００７４】
以上、本実施形態によると、以下の効果を有する。
（１）例えば、異物影のゲインマップを求める際に、周囲の多数の画素の輝度を計算する場合、演算が複雑であり、演算負荷がかかり、演算時間が長くなる。さらに、異物影周辺部の複数画素を参照するため、異物影付近に被写体などがある場合は正しいゲインマップを作成できないという問題がある。
しかし、本実施形態によると、異物影の一画素の輝度のゲインの変更量を、異物影の外側の４つの画素の輝度を基に演算する。したがって、演算が容易であり、演算負荷の軽減及び演算時間の短縮が可能となる。
【００７５】
（２）そして、この場合、異物影の外側の画素において、ノイズ等の影響で他の画素と比べて非常に明るい、又は暗いといった画素があった場合、その画素の影響により、画素の輝度値を補完の計算に用いるライン全体が、明るくなる可能性がある。これをそのままで補正すると、特に、外枠に用いる部分の境界で、ライン状の補正痕を生じる。
しかし、本実施形態によると、エッジに行くにしたがって、そのエッジ方向の計算に用いるものの影響を少なくしている、したがって、エッジでラインが形成されることがない。
さらに、枠部の計算を３つ平均にしているので、より滑らかになる。
【００７６】
（３）さらに、エッジ近傍でなくとも、例えば、第一画素１１１、第二画素１１２、第三画素１１３及び第四画素１１４がノイズ等で一画素だけ特異的に明るかったり暗かったりした場合、その画素を基に、補完輝度を求めると、補正対象画素１００Ａにおける補完後の輝度が、その画素の輝度値を計算に用いるラインに沿って全て他の画素となじまないことになる。しかし、本実施形態によると、隣接する３画素の平均をとっているので、画素がノイズ等で一画素だけ特異的に明るかったり暗かったりした場合も、その画素を計算に用いるラインが、他の部分に対して異常な輝度を示す現象が緩和される。
【００７７】
（４）また、本実施形態では、ＪＰＥＧ画像等の場合は、非線形補正前のオリジナルのＲＧＢ各面でゲインマップを作成して補正するので、非線形なＲＧＢ画像でも補正痕なく異物影を補正できる。
【００７８】
（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
【００７９】
（１）上記実施形態で補完輝度算出部７３は、第一画素１１１について、補正対象画素１００Ａとの距離をｘ１とし、第二画素１１２について、補正対象画素１００Ａとの距離をｘ２とした。第三画素１１３について、補正対象画素１００Ａとの距離をｙ１とし、第四画素１１４について、その輝度をＤとして補正対象画素１００Ａと距離をｙ２とした。
しかし、補正対象画素１００Ａと第一画素１１１と第二画素１１２とのうちの近いほうとの距離をｘとし、補正対象画素１００Ａと第一画素１１１と第二画素１１２とのうちの遠い方との距離を１−ｘとして表すこともできる（補正対象画素１００Ａが、第一画素１１１と第二画素１１２との中間のときはどちらでもよい）。
この場合、式（１６），（１７），（１８）は、
Ｅ＝ｘ，Ｆ＝ｙ・・・・・・・・・・・・・・・・・・・・（１６’）
Ｇ＝ｘ／ｘ+ｙ，Ｈ＝ｙ／ｘ+ｙ・・・・・・・・・・・・・（１７’）
Ｙ_ave＝Ｙ_ｘ×ｙ／（ｘ+ｙ）+Ｙ_ｙ×ｘ／（ｘ+ｙ）・・・・（１８’）
と表すことが出来る。
【００８０】
（２）上記実施形態では、電子スチルカメラであるカメラ１で撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナー等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。
【００８１】
（３）上記実施の形態では、電子スチルカメラであるカメラ１で撮影した画像データをＰＣ（パソコン）３１で処理して異物の影響を除去する例を説明したが、この内容に限定するものではない。電子カメラ１にそのようなプログラムを備えてもよい。また、プリンタや投影装置などにそのようなプログラムを備えてもよい。すなわち、画像データを扱うあらゆる装置に、本発明は適用することができる。
【００８２】
（４）ＰＣ３１で実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体に限らず、インターネットなどのデータ信号を通じて提供することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【００８３】
１：カメラ、１２：光学フィルタ、１３：撮像素子、１３ａ：カラーフィルタ、１７：メモリカード用インターフェース部、１８：外部インターフェース部、３０：パーソナルコンピュータ（ＰＣ）、３３：ＣＤ−ＲＯＭ、４０：メモリカード、５０：画像処理装置、６０：異物影検出部、６１：連結領域判定部、６２：対象領域抽出部、６３：輝度判定部、６４：色相判定部、６５：彩度判定部、６６：顔判定部、６７:落込み割合判定部、７０：補正部、７１：枠形成部、７２：画素選択部、７３：補完輝度算出部、１００：異物影、１００Ａ：補正対象画素
【技術分野】
【０００１】
本発明は、画像処理装置、カメラ、および画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置では撮像光路上にあり撮像素子の近傍に配置された光学フィルタ等の光学部材に異物が付着すると、付着した異物により生じた異物影が撮像画像に現れ、その部分が画像欠陥となる。特にレンズ交換式の撮像装置では、レンズ交換時に塵や埃などの異物が内部に侵入しやすく、画像欠陥を生じやすい。このような問題を解決するため、光学部材に付着した異物影情報としての基準画像を撮影し、基準画像から異物影位置等の情報を得て通常撮影された撮像画像に写り込んだ異物影を検出し、画像欠陥を補正する画像処理装置が知られている。また、１枚の画像から異物影を検出し、その画像欠陥部を補正する方法も提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、影部分の光の透過率からの検出では、誤検出した場合に異物影かどうかの判別ができない。また、異物影の補正をするために、多くの画素情報を必要とするため、演算に時間がかかる。さらに、補正部分の画像によって補正痕が残る場合がある。
本発明の課題は、良好に異物影を検出できる画像処理装置、カメラ及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００５】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
請求項１に記載の発明は、処理対象画像における異物影（１００）を検出する異物影検出部（６０）と、前記異物影検出部（６０）により検出された異物影（１００）を補正する補正部（７０）と、を備え、前記補正部（７０）は、前記異物影（１００）の周りを、互いに平行な第一直線（１０１）及び第二直線（１０２）と、第一直線（１０１）及び第二直線（１０２）と直交する、互いに平行な第三直線（１０３）及び第四直線（１０４）とで形成された枠（１２０）で囲む枠形成部（７１）と、前記異物影（１００）の内部に位置する補正対象画素（１００Ａ）を選択し、前記補正対象画素（１００Ａ）を通り且つ前記第三直線（１０３）及び前記第四直線（１０４）と平行な第五直線（ｘ）上であって、前記第一直線（１０１）と交差する位置にある第一画素（１１１）と、前記第二直線（１０２）と交差する位置にある第二画素（１１２）と、を選択し、前記補正対象画素（１００Ａ）を通り且つ前記第一直線（１０１）及び前記第二直線（１０２）と平行な第六直線（ｙ）上であって、前記第三直線（１０３）と交差する位置にある第三画素（１１３）と、第四直線（１０４）と交差する位置にある第四画素（１１４）と、を選択する画素選択部（７２）と、前記第一画素（１１１）と前記第二画素（１１２）の輝度を用いた線形補完により、前記補正対象画素（１００Ａ）の位置における第一補完輝度（Ｙ_ｘ）を求め、前記第三画素（１１３）と前記第四画素（１１４）の輝度を用いた線形補完により、前記補正対象画素（１００Ａ）の位置における第二補完輝度（Ｙ_ｙ）を求め、前記第一補完輝度（Ｙ_ｘ）について、前記補正対象画素（１００Ａ）が、前記第三直線（１０３）と前記第四直線（１０４）との間の中央部にあるとき重みが強く、どちらかの直線に近づくにつれて重みが小さくなり、前記第二補完輝度（Ｙ_ｙ）について、前記補正対象画素（１００Ａ）が、前記第一直線（１０１）と前記第二直線（１０２）との間において中央部にあるとき重みが強く、どちらかの直線に近づくにつれて重みが小さくなる加重平均により、前記第一補完輝度（Ｙ_ｘ）と前記第二補完輝度（Ｙ_ｙ）との平均補完輝度（Ｙ_ａｖｅ）を求める補完輝度算出部（７３）と、を備え、前記補正部（７０）は、求めた前記平均補完輝度（Ｙ_ａｖｅ）を用いて、前記補正対象画素（１００Ａ）の輝度を補正する補正処理を、前記異物影（１００）の画素全体について行うこと、を特徴とする画像処理装置（５０）である。
請求項２に記載の発明は、請求項１に記載の画像処理装置（５０）であって、前記平均補完輝度（Ｙ_ａｖｅ）算出部（７３）は、前記加重平均を、補正対象画素（１００Ａ）から、第一画素（１１１）と第二画素（１１２）とのうちの近い方までの第一距離（ｘ）を、第一画素（１１１）と第二画素（１１２）との距離に対する割合で示し、第三画素（１１３）と第四画素（１１４）とのうちの近い方までの第二距離（ｙ）を、第三画素（１１３）と第四画素（１１４）との距離に対する割合で示したときに、平均補完輝度（Ｙ_ａｖｅ）は、第一補完輝度（Ｙ_ｘ）に第二距離（ｙ）を乗じたものと、第二補完輝度（Ｙ_ｙ）（Ｙ_ｙ）に第一距離（ｘ）を乗じて求めること、を特徴とする画像処理装置（５０）である。
請求項３に記載の発明は、請求項１または２に記載の画像処理装置（５０）であって、
前記補完輝度算出部（７３）は、前記第一補完輝度（Ｙ_ｘ）、及び前記第二補完輝度（Ｙ_ｙ）を求める際に用いる、前記第一画素（１１１）、前記第二画素（１１２）、前記第三画素（１１３）及び前記第四画素（１１４）の輝度として、それぞれが位置する前記枠（１２０）上における両隣の画素を含む複数の画素の平均輝度を用いること、を特徴とする画像処理装置（５０）である。
請求項４に記載の発明は、請求項３に記載の画像処理装置（５０）であって、前記補正部（７０）は、前記補正対象画素（１００Ａ）を囲む複数の画素の輝度を平均して求めた二次的輝度と前記平均補完輝度（Ｙ_ａｖｅ）との比を計算し、該比に応じて、補正対象画素（１００Ａ）の輝度を補正すること、を特徴とする画像処理装置（５０）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の画像処理装置（５０）であって、前記処理対象画像が、赤、緑及び青のカラーフィルタ（１３ａ）を通して撮像素子（１６）により撮影され、非線形補正された画像の場合、前記補正処理を、赤、緑及び青のそれぞれの画像についてについて行うこと、を特徴とする画像処理装置（５０）である。
請求項６に記載の発明は、請求項１から５のいずれか１項に記載の画像処理装置（５０）を備えるカメラ（１）である。
請求項７に記載の発明は、請求項１から６のいずれか１項に記載の画像処理装置（５０）の機能をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【０００６】
本発明によれば、良好に異物影を検出できる画像処理装置、カメラおよび画像処理プログラムを提供できる。
【図面の簡単な説明】
【０００７】
【図１】レンズ交換式のカメラの構成を示す図である。
【図２】カメラと画像処理装置を構成するパーソナルコンピュータ（ＰＣ）および周辺装置を示すブロック図である。
【図３】撮像素子を説明する図である。
【図４】異物影検出・補正処理を行う画像処理装置の機能ブロック図である。
【図５】画像処理装置における異物影検出部の機能ブロック図である。
【図６】ＨＳＶ変換処理の六角錐モデルを表す概念図である。
【図７】補正部の機能ブロック図である。
【図８】異物影の補正方法を説明する図である。
【図９】画像処理装置における異物影検出・補正処理のフローチャートである。
【図１０】画像処理装置における補正処理のフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面等を参照して、本発明の第１実施形態について説明する。
図１は、レンズ交換式のカメラ１の構成を示す図である。図２は、カメラ１と画像処理装置を構成するパーソナルコンピュータ（ＰＣ）３０および周辺装置を示すブロック図である。
カメラ１は、被写体像を電気信号に変換した画像データとして出力する電子スチルカメラである。
【０００９】
カメラ１は、カメラ本体２と、カメラ本体２に対して着脱可能な撮像レンズ３とにより構成されている。撮像レンズ３は、複数の光学レンズ群（図１においては１枚のレンズで示す）から成る結像光学系３Ｌを備えている。
【００１０】
カメラ１は、結像光学系３Ｌ（撮像レンズ３）とカメラ本体２とを備える。
カメラ本体２は、シャッター１１、光学フィルタ１２、撮像素子１３、画像処理部１４、操作部１５、表示部１６、メモリカード用インターフェース部１７、外部インターフェース部１８、電源１９、制御部２０等を備えている。
【００１１】
シャッター１１は、結像光学系３Ｌから撮像素子１３へ向かう撮影光を遮蔽および通過させることによって、露光時間を調整する。
光学フィルタ１２は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。なお、符号４は、この光学フィルタ１２の表面に付着した塵や埃などの異物を示す。このような撮影光の光路上にあって撮影光を透過する光学フィルタ１２に異物４が付着していると、撮像素子１３によって取得される画像データのなかに、異物４の影響を受けた画素が含まれる場合がある。
【００１２】
撮像素子１３は、ＣＣＤやＣＭＯＳ等の光電変換素子であって、複数の画素から構成される矩形形状の撮像領域を有している。図３は撮像素子１３の説明図であり、撮像素子１３の受光面には、それぞれの画素に対応して赤色（Ｒ）フィルタ１３Ｒ、緑色（Ｇ）のフィルタ１３Ｇ、青色（Ｂ）フィルタ１３Ｂを備えるカラーフィルタ１３ａが、いわゆるベイヤ(Bayer)配列に基づいて配置されている。
そして、撮像素子１３は、その結像面に結像された像を電気信号に変換し、被写体像に対応する画像信号（撮像信号）を出力する。撮像素子１３から出力された画像信号は、所定のアナログ信号処理の後、Ａ／Ｄ変換されて画像処理部１４に入力される。
【００１３】
画像処理部１４は、撮像素子１３から入力された画像データに対して、補完，階調変換や輪郭強調などの画像処理を行う。補完処理としては、撮像素子１３から出力された未処理画像を、人の目で見た印象に近い画像に補完するガンマ処理等が含まれる。
そして、本実施形態のカメラ１では、撮像素子１３において、画像処理部１４に供給される画像データはＲＧＢ表色系で示される。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。
なお、撮像素子１３を構成する１つの光電変換素子を画素と言うが、この画素に対応した画像データの１単位も画素と言う。また、画像も複数の画素から構成される概念である。画像処理が完了した画像データは、補完処理が完了し、各画素にはＲＧＢのすべての色成分の色情報が存在するものとする。
【００１４】
操作部１５は、撮影者が撮影タイミング等を決定する信号を入力するレリーズボタンや、モード切り換え用の選択ボタン等を備えている。そして、操作部１５は、それらの操作情報を制御部に入力する。
表示部１６は、ＬＣＤ等によって構成され、カメラ１における各種設定メニュー、撮像素子１３による撮像画像やメモリカードに格納された画像データに基づく再生画像を表示する。
【００１５】
メモリカード用インターフェース部１７は、メモリカード（カード状のリムーバブルメモリ）４０とのインターフェースをとる。
外部インターフェース部１８は、所定のケーブルや無線伝送路を介してＰＣ３０等の外部装置とのインターフェースをとる。
電源１９は、カメラ１の各機能部に電力を供給する。
【００１６】
制御部２０は、カメラ１における各機能部を統括制御する。すなわち、制御部２０は、操作部１５におけるレリーズスイッチから撮影指示信号が入力されると、シャッター１１を駆動制御して露光動作等の撮影動作を制御する。また、制御部２０は、撮像素子１３で取得されて画像処理部１４で画像処理が行われて入力された画像データを、メモリカード用インターフェース部１７に着脱可能に取り付けられたメモリカード４０等に記憶させ、保存する。さらに、制御部２０は、メモリカード４０等に記憶された画像データを呼び出し、表示部１６に表示させる。
【００１７】
上記のように構成されたカメラ１は、撮影時において制御部２０によって制御されて、下記のように作用する。
操作者によって操作部１５のレリーズボタンが押圧操作されると、シャッター１１を所定時間開放する。撮像素子１３は、結像光学系３Ｌにより撮像領域に結像された光学像に対応する画像信号を生成する。撮像素子１３によって生成された画像信号は、画像データとして画像処理部１４に入力され、画像処理部１４によってガンマ処理等の画像処理が施される。そして、画像処理部１４で画像処理された画像データに基づいて表示部１６に撮影画像を表示すると共に、その画像データに必要に応じてＪＰＥＧ等による圧縮処理を施してメモリカード用インターフェース部１７に装着されたメモリカード４０に記憶・保存する。また、外部インターフェース部１８を介して接続された後述するＰＣ３０に、画像データを送出する。
【００１８】
また、メモリカード４０に記憶・保存され、または、外部インターフェース部１８を介してＰＣ３０に送出される画像データは、たとえば、Ｅｘｉｆファイルに記録される。Ｅｘｉｆファイルには、絞り値、カメラ名，カメラメーカー名，シャッター速度および露光補正等の露出条件、撮影時刻などの付加情報が共に記録される。
【００１９】
パーソナルコンピュータ（ＰＣ）３０は、図示しないが、ＣＰＵ、メモリ、ハードディスク、メモリカード４０とのインターフェースをとるメモリカード用インターフェース部、ケーブルや無線伝送路を介してカメラ１等の外部装置とのインターフェースをとる外部インターフェース部等を備えている。また、ＰＣ３０には、モニタ３１やプリンタ３２等が接続されており、ＣＤ−ＲＯＭ３３に記録された異物影検出・補正処理に係るアプリケーションプログラムが予めインストールされている。
【００２０】
つぎに、図４〜図６を参照して、撮影された対象画像データにおける異物影を検出して補正する処理（異物影検出・補正処理）について説明する。
図４は、異物影検出・補正処理を行う画像処理装置５０の機能ブロック図である。図５は、画像処理装置５０における異物影検出部６０の機能ブロック図である。図６は、ＨＳＶ変換処理の六角錐モデルを表す概念図である。
【００２１】
異物影検出・補正処理は、メモリカード３０を介して提供された、または、カメラ１の外部インターフェース部１８から伝送された画像処理完了後の画像データに対して、ＰＣ３０によって行われる。前述したように、ＰＣ３０には、異物影検出・補正処理のアプリケーションプログラムがインストールされており、ＰＣ３０はこのプログラムを実行することによって、異物影検出・補正処理を行う画像処理装置として機能する。
【００２２】
ＰＣ３０とプログラムとによって機能する画像処理装置５０は、図４に示すように、対象画像データが入力される入力部５２と、異物影領域を検出する異物影検出部６０と、異物影検出部６０によって検出された異物影情報に基づいてその異物影を補正する補正部７０と、補正画像データが出力された出力部５３と、を備えている。
【００２３】
１．異物影検出部
異物影検出部６０は、機能ブロック図である図５に示すように、連結領域判定部６１と、対象領域抽出部６２と、輝度判定部６３と、色相判定部６４と、彩度判定部６５と、顔判定部６６と、落込み割合判定部６７と、を備えている。
【００２４】
異物影は、たとえば光学フィルタ１２の前面に付着した異物４（図１参照）による異物影を撮影することで生ずるものである。以下、このような異物４（図１参照）による異物影によって生じた異物影領域を例として説明する。
【００２５】
１−１ 連結領域判定部
連結領域判定部６１は、対象画像における各画素の明るさ（たとえば輝度）情報から、異物影の可能性のある領域を抽出する部分である。連結領域判定部６１による異物影の検出は、まず、対象画像データを逆ガンマ補正して、得られたＲＧＢによる各画素の画像データをＨＳＶ変換して色相平面、彩度平面を求め、ＲＧＢから輝度平面を求め、さらにその輝度勾配を求めて行う。
【００２６】
（逆ガンマ補正）
連結領域判定部６１は、まず、輝度情報算出に使用する画像のＲＧＢ情報を非線形な状態から線形に戻すために逆ガンマ補正を行う。ＲＡＷ画像の場合は、さまざまな補正処理を加える前のｄｅＢａｙｅｒ配列のカラーフィルタ１３ａ（図３）を通過した直後の画像を用いることで線形なＲＧＢ情報を得ることができる。ＪＰＥＧ画像の場合は、すでにガンマ補正されているので、線形のＲＧＢ情報を得るために、次のようにして逆ガンマ補正をかける。
Ｒ’＝（Ｒ）γ
Ｇ’＝（Ｇ）γ
Ｂ’＝（Ｂ）γ
例えば、γ＝２．２という値で逆ガンマ補正を行う。γテーブルを参照してリニアに変換してもよい。
【００２７】
（ＨＳＶ変換）
連結領域判定部６１は、逆ガンマ補正された画像を構成する各画素について、ＨＳＶ変換処理を行う。
図６は、ＨＳＶ変換の六角錐モデルの概念図である。明度値Ｖの座標軸は六角錐の中心軸で表され、彩度Ｓの座標軸は六角錐の中心軸に直交する軸で表され、色相Ｈは六角錐の中心軸を回転する回転角で表される。
明度値Ｖ（Ｖａｌｕｅ）、色相値Ｈ（Ｈｕｅ）および彩度値Ｓ（Ｓａｔｕｒａｔｉｏｎ）の各画素の要素は、ＲＧＢ画像データにおける各画素のＲＧＢ要素から、以下の数式（１）〜（１０）を用いて変換される。
【００２８】
Ｖｍａｘ＝ｍａｘ｛Ｒ，Ｇ，Ｂ｝・・・（１）
Ｖｍｉｎ＝ｍｉｎ｛Ｒ，Ｇ，Ｂ｝・・・（２）
として、
Ｖ＝ Ｖｍａｘ ・・・（３）
Ｓ＝（Ｖｍａｘ−Ｖｍｉｎ）／Ｖｍａｘ ・・・（４）
Ｈ＝（π／３）（ｂ−ｇ） （Ｒ＝Ｖｍａｘのとき） ・・・（５）
Ｈ＝（π／３）（２＋ｒ−ｂ） （Ｇ＝Ｖｍａｘのとき） ・・・（６）
Ｈ＝（π／３）（４＋ｇ−ｒ） （Ｂ＝Ｖｍａｘのとき） ・・・（７）
【００２９】
ただし、
ｒ＝（Ｖｍａｘ−Ｒ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（８）
ｇ＝（Ｖｍａｘ−Ｇ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（９）
ｂ＝（Ｖｍａｘ−Ｂ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（１０）
なお、式（５）〜（７）で変換された結果、Ｈ＜０の時には、Ｈに２πを加える。また、Ｖｍａｘ＝０の時は、Ｓ＝０，Ｈ＝不定となる。
【００３０】
（輝度情報取得）
輝度情報（Ｙ）は、逆ガンマ補正したリニアＲＧＢ値から算出され、人間の見た目と近い輝度情報を得るためには次のような算式が使用される。
Ｙ＝（０．２９９＊Ｒ’＋０．５８９＊Ｇ’＋０．１１４＊Ｂ’）／２５５・・（１１）
このようにして得られた輝度平面Yに対して、縦方向、横方向の微分フィルタをかけ、それぞれの差分を以下の式（１２）
【数１】
で求めてから画素の勾配（ｇｒａｄ）を以下の式（１３）で計算する。
【数２】
【００３１】
輝度勾配平面では、異物影の周縁部では高い画素値を示し、空などの一様な平面では低い画素値を示す。つまり、エッジ部分では高い画素値を示し、これによって異物影のエッジ部分を検出できる。
【００３２】
(連結画素領域抽出）
また、連結領域判定部６１は、所定の閾値を設定して、輝度勾配平面を２値画像に変換する。すなわち、閾値より高い輝度勾配値を有する画素を「１」、閾値より低い輝度勾配値を有する画素を「０」と置換する。本実施形態では、閾値を０．３とする。
そして、連結領域判定部６１は、このようにして得られた２値画像から、「１」の画素が連結した領域（連結画素領域）を抽出する。連結画素領域とは、たとえば、矩形の画素の４辺の内の少なくとも１辺で連続した（４近傍の）画素領域とする。この連結画素領域が、異物影による異物影の可能性のある領域である。
【００３３】
１−２ 対象領域抽出部
対象領域抽出部６２は、連結領域判定部６１によって抽出された連結画素領域の中から、異物影のサイズ（大小）に基づいて異物影部の可能性のある領域を抽出する。
ここで、対象領域抽出部６２は、連結画素領域から異物影部の可能性のある領域を抽出する際において、異物影を生じさせる異物影の大きさを基準とする。
【００３４】
まず、異物影の大きさ判定の基準となる方法について説明する。
ここでは、一般的な異物のサイズである最小１００μｍ×１００μｍ〜最大４００μｍ×４００μｍの異物によって投影される異物影を検出対象とするように画素数によって規定された閾値を基準とし、連結画素領域の大きさがこの閾値内に含まれるものが補正対象となり得る異物影であるとして異物影部の可能性のある領域と判定し、選択する。
【００３５】
１−３ 輝度判定部
輝度判定部６３は、先の連結領域判定部６１において説明したＨＳＶ変換によって求められた輝度値Ｙと画像平面に対応する輝度平面とを用い、連結画素領域における内外の輝度を比較する。ここで、異物影は、内部の輝度が周辺の輝度に比較して低く、輝度比は1よりとても小さい。このため、１より小さい所定の閾値を設定し、連結画素領域の輝度比がこの閾値より小さいに場合にのみ、補正対象となり得る異物影であるとして異物影部の可能性のある領域と判定し、選択する。
【００３６】
１−４ 色相判定部
色相判定部６４は、先の連結領域判定部６１において説明したＨＳＶ変換によって、各画素の色相値Ｈを求めて画像平面に対応する色相平面を生成する。色相判定部６４は、色相値Ｈと色相平面とを用い、連結画素領域における内外の色相を比較する。ここで、異物影は、輝度には大きく影響するものの色相にはほとんど影響を与えず、連結画素領域の内外における色相比はほとんど１に近い。このため、１に近い所定の範囲を設定し、色相比がこの範囲内にある場合にのみ、補正対象とすべき異物影であるとして異物影部の可能性のある領域と判定し、選択する。
【００３７】
１−５ 彩度判定部
彩度判定部６５は、先の連結領域判定部６１において説明したＨＳＶ変換によって、各画素の彩度値Ｓを求めて画像平面に対応する彩度平面を生成する。彩度判定部６５は、彩度値Ｓと彩度平面とを用い、連結画素領域における内外の彩度を比較する。
【００３８】
このような彩度比による判定を行う理由は、以下の通りである。
異物部分では、異物周辺の輝度より異物内部の輝度が低く、輝度比は１よりとても小さい。そして、異物影は色相情報にほとんど影響を与えないので、異物内外で色相比はほとんど１に近い。しかし、画像によっては輝度比が１より小さく、色相比がほとんど１に近いような被写体が存在し、この２つの条件だけでは誤検出を起こしてしまうからである。
【００３９】
そこで、異物内外の彩度比を判定に組み込む。一般的に異物は影であり、黒っぽい点像として画像に写り込む。したがって、異物部分の彩度値は周辺部に比べて低くなり、異物内外の彩度比は１よりも小さくなる。反対に、異物ではない被写体部分での彩度比は１より大きくなる箇所も存在する。この特徴を使って判別することで、抽出してきたエリアが異物であるか、被写体であるかを区別することができ、誤検出を排除して異物の検出精度を高めることが出来る。
【００４０】
この彩度判定における彩度の算出には、本実施形態において上で説明した、ＨＳＶ変換式中の彩度の式（４）では、Ｖｍａｘとの比を取っているため、画像中の暗い部分で低彩度とならないことがあり、すなわち、異物部分でも周辺との彩度比を計算したときに、1よりも大きな値となってしまうことがある。例えば、Ｒ＝１２、Ｇ＝７、Ｂ＝３という暗いピクセルがあり、この彩度を上式（４）で求めると、
（１２−３）／１２＝０．７５
となり、最大値１の彩度に対して０．７５とかなり高い値となってしまう。
【００４１】
異物の判別条件として彩度比が１以下であることを用いると、濃い異物が検出されないという問題が生じてしまう。彩度比が1以上を許してしまうと、誤検出が発生してしまう。この問題を解決するために、本実施形態では、彩度判定部においては、上式（４）の代わりに、彩度Ｓを修正彩度Ｓとして以下の式（１４）により求める。
【００４２】
【数３】
上述した、Ｒ＝１２、Ｇ＝７、Ｂ＝３という暗いピクセルについて、この修正彩度Ｓで計算してみると、最大値１の彩度に対して０．０３となり、暗い部分で彩度が低い値で算出される。
この修正彩度Sを用いることで、画像全体の暗い部分の彩度を人間の感覚にそった値で算出でき、異物検出パラメータの彩度比パラメータも範囲を限定することで誤検出を排除することができる。
【００４３】
１−６ 顔判定部
ここまでの対策でも誤検出が発生する場合があり、とくに人の顔にあるホクロ等で誤検出しやすい。人の顔での誤検出は他の誤検出よりも画像の見栄えへの影響が大きく、誤検出部を補正した場合には大きく印象が変わってしまう可能性がある。したがって本実施形態では、顔判定部６６を備え、異物影の可能性のある箇所が人の顔にあるか否かを判定する。
【００４４】
顔判定部６６は、異物影を検出する対象となっている画像中における顔領域を、周知の方法で検出する。そして、顔判定部６６に至るまでの連結領域判定部６１から彩度判定部６５までにおいて異物影と判定された部分が、顔領域に位置するかどうかを判定する。
【００４５】
１−７ 落込み割合判定部
次に、顔判定部６６において顔と判定された領域内に、異物影と判定された部分が存在する場合、それらについて、上記連結領域判定部６１において逆ガンマ補正して得られたリニアＲＧＢ情報を調べる。
【００４６】
異物影と判定された部分が異物影であれば、各リニアＲＧＢ情報に対して等しい比率で影響を与える。例えば、異物影の場合、異物周辺部のＲＧＢに対してそれぞれ約２０％のゲインの落ち込みが発生する。しかし、異物影でない、例えばホクロの領域では、周辺部に対する落ち込みが、ＲＧＢそれぞれに対して均等でない。この特徴より、顔部分にある異物影候補が、実際に異物影であるのかどうか、誤検出を見分けることができる。
【００４７】
２．補正部
図７は、補正部７０の機能ブロック図である。図８は、処理対象画像中における異物影１００を示す図であり、補正方法を説明する図である。
補正部７０は、上述の異物影検出部６０により異物影と判定された影の補正を行う。図７に示すように補正部７０は、枠形成部７１、画素選択部７２及び補完輝度算出部７３、を備える。
【００４８】
２−１ 枠形成部
枠形成部７１は、異物影検出部６０により異物影と判定された部分（異物影１００）の周りを、図８で示すように、互いに平行な第一直線１０１及び第二直線１０２と、第一直線１０１及び第二直線１０２と直交する、互いに平行な第三直線１０３及び第四直線１０４とで形成された枠１２０で囲む。
【００４９】
２−２ 画素選択部
画素選択部７２は、異物影１００の内部に位置する補正対象画素１００Ａを選択する。
そして、画素選択部７２は、第三直線１０３及び第四直線１０４と平行で、且つ補正対象画素１００Ａを通る直線ｘ上における、第一直線１０１と交差する位置にある第一画素１１１と、第二直線１０２と交差する位置にある第二画素１１２と、を選択する。
【００５０】
画素選択部７２は、更に、第一直線１０１及び第二直線１０２と平行で、且つ補正対象画素１００Ａを通る直線ｙ上における、第三直線１０３と交差する位置にある第三画素１１３と、第四直線１０４と交差する位置にある第四画素１１４と、を選択する。
【００５１】
２−３ 補完輝度算出部
補完輝度算出部７３は、第一画素１１１について、その輝度をＡとして補正対象画素１００Ａとの距離をｘ１とする。第二画素１１２について、その輝度をＢとして補正対象画素１００Ａとの距離をｘ２とする。第三画素１１３について、その輝度をＣとして補正対象画素１００Ａとの距離をｙ１とする。第四画素１１４について、その輝度をＤとして補正対象画素１００Ａと距離をｙ２とする。
【００５２】
そして、第一画素１１１、第二画素１１２、第三画素１１３及び第四画素１１４の輝度Ａ、Ｂ、Ｃ、Ｄを、それぞれ隣接した２画素を含めた３画素での平均値として算出する。この３画素で平均した輝度値を、それぞれ第一平均輝度Ａ’、第二平均輝度Ｂ’、第三平均輝度Ｃ’、第四平均輝度Ｄ’とする。
【００５３】
補完輝度算出部７３は、第一平均輝度Ａ’と第二平均輝度Ｂ’とを用いた線形補完により、ｘ方向の補正対象画素１００Ａの位置における第一補完輝度Ｙ＿ｘを、また、第三平均輝度Ｃ’と第四平均輝度Ｄ’とを用いた線形補完により、ｙ向の補正対象画素１００Ａの位置における第二補完輝度Ｙ＿ｙを、以下の式（１５）により求める。
【数４】
【００５４】
ここで、例えば、第一画素１１１、第二画素１１２、第三画素１１３及び第四画素１１４がノイズ等で一画素だけ特異的に明るかったり暗かったりした場合、その画素を基に、以下に説明する補完輝度を求めると、補正対象画素１００Ａにおける補完後の輝度が、その画素の輝度値を計算に用いるラインに沿って全て他の画素に対して異常な輝度を示すことになる。しかし、本実施形態によると、このように、Ａ、Ｂ、Ｃ、Ｄを、それぞれ隣接した２画素を含めた３画素での平均値として算出する。この３画素で平均した輝度値を、それぞれ第一平均輝度Ａ’、第二平均輝度Ｂ’、第三平均輝度Ｃ’、第四平均輝度Ｄ’としているので、そのような、他の画素に対して異常な輝度を示す現象が緩和される。
【００５５】
ついで、このように、ｘ方向とｙ方向の線形補間から求めたＹ＿ｘとＹ＿ｙを使って補正対象画素１００Ａの最終的な補間値を求める。
このとき、補正対象画素１００Ａの位置によってＹ＿ｘとＹ＿ｙのブレンド比率（平均をとる際の重み付けの割合）を変更する。なお、以下のＥとＦについては、比率で求めてもピクセル数で求めても良い。
【数５】
【数６】
そして第一補完輝度と第二補完輝度とを平均した平均補完輝度Ｙ＿ａｖｅを、以下の式（１８）により求める。
【００５６】
【数７】
【００５７】
次いで、補正部７０は、式（１８）の平均補完輝度Ｙ＿ａｖｅと補正対象画素１００Ａのオリジナル輝度ｏｒｉ＿Ｙの比を計算して、その処理を異物影１００全体に行うことで、ゲインマップＹ＿ｇｍａｐ［ｉ、ｊ］を作成することができる。
【００５８】
しかし、このまま補正してしまうと、補正部分の画像が平坦な感じになり、オリジナル画像の自然さが消えてしまう。そこで、ゲインを計算する補正対象画素１００Ａのオリジナル輝度ｏｒｉ＿Ｙの値を、その補正対象画素１００Ａとその周辺８画素の平均値である二次的オリジナル輝度で、以下の式（１９）を用いて置き換える。
【数８】
この平均値である二次的オリジナル輝度でゲインマップを式（２０）により作成し、オリジナル画像の輝度を補正することで、元から存在する画像のノイズ感の再現が可能となる。
【００５９】
ＲＡＷ画像の場合は輝度、ＪＰＥＧ画像の場合はリニアでないオリジナルのＲＧＢ各面で上述のゲインマップを計算する。
ＪＰＥＧ画像に対しては、求めたＲＧＢ各面のゲインマップを使って異物影１００の補正を行う。オリジナル画像のＲＧＢ各成分をそれぞれｏｒｉ＿ｒ、ｏｒｉ＿ｇ、ｏｒｉ＿ｂ、ＲＧＢ各面のゲインマップをそれぞれｆｉｎａｌ＿ｒｇｍａｐ、ｆｉｎａｌ＿ｇｇｍａｐ、ｆｉｎａｌ＿ｂｇｍａｐ、とすると補正後のＲＧＢは次の式（２１）のように算出される。
【数９】
【００６０】
こうして得られた、ｆｉｎａｌ＿Ｒ、ｆｉｎａｌ＿Ｇ、ｆｉｎａｌ＿Ｂは異物影１００を補正したものであり、これらを一枚のＪＰＥＧ画像として出力する。ＲＡＷ画像に対しては上で求めた輝度のゲインマップを使ってリニアＲＧＢ各面を補正することができる。リニアＲＧＢ各成分をそれぞれｏｒｉ＿ｒ、ｏｒｉ＿ｇ、ｏｒｉ＿ｂ、輝度のゲインマップをｆｉｎａｌ＿ｙｇｍａｐ、とすると補正後のＲＧＢは次の式（２２）のように算出される。
【数１０】
【００６１】
つぎに、図９、図１０に示すフローチャートに従って、画像処理装置５０における異物影検出・補正処理の流れを説明する。また、図９、図１０及び以下の説明中、ステップを「Ｓ」とも略記する。
【００６２】
画像処理装置５０は、メモリカード４０を介して、または、カメラ１の外部インターフェース部１８を介して入力された補正対象画像データを読み込む（Ｓ０１）。
【００６３】
読み込んだ対象画像データの、ＲＧＢデータをそれぞれ逆ガンマ補正する（Ｓ０２）。
そして逆ガンマ補正したＲＧＢより式（１１）を用いて輝度Ｙを求め、輝度平面Ｙに平均化フィルタをかけてノイズ処理を行う（Ｓ０３）。
【００６４】
その後、Ｙの勾配（Ｙｇｒａｄ）を計算する（Ｓ０４）。
輝度勾配Ｙｇｒａｄが閾値以上の領域を抽出する（Ｓ０５）。
【００６５】
続いて、連結領域判定部６１により連結画素領域を抽出する（Ｓ０６）。
さらに、抽出された連結画素領域の大きさ判定を行う（Ｓ０７）。
【００６６】
次いで、輝度判定部６３によって、連結画素領域における内外の輝度比に基づいて異物影部の可能性のある領域に該当するか否かを判定する（Ｓ０８）。
さらに、色相判定部６４によって、連結画素領域における内外の色相比に基づいて異物影部の可能性のある領域に該当するか否かを判定し（Ｓ０９）、次に彩度判定を行う（Ｓ１０）。
【００６７】
顔判定部６６によって、異物影の可能性のある領域が、顔領域にあるかどうかを判断する（Ｓ１１）。
顔と検出された位置である場合、リニアＲＧＢ情報を調べる。ここで、リニアＲＧＢの落ち込みが等しい場合、異物影の可能性のある領域と判断する（Ｓ１２）。
【００６８】
そして、異物情報を保存し（Ｓ１３）、上記ステップ全てにおいて異物影部の可能性のある領域と判定されたもの(異物影１００）について補正部７０により異物影１００の補正を行う（Ｓ１４）。
【００６９】
図１０はＳ１４の補正部７０による異物影１００の補正を示すフローチャートである。
まず、補正部７０の枠形成部７１は、異物影１００の周りに枠１２０を形成する（Ｓ２１）。
次いで、画素選択部７２は、異物影１００の内部に位置する補正対象画素１００Ａを選択する（Ｓ２２）。
そして、異物影１００の内部の補正対象画素１００Ａ、直線ｘ上における、第一直線１０１と交差する位置にある第一画素１１１、第二直線１０２と交差する位置にある第二画素１１２、直線ｙ上における、第三直線１０３と交差する位置にある第三画素１１３、第四直線１０４と交差する位置にある第四画素１１４、を選択する（Ｓ２３）。
【００７０】
第一画素１１１、第二画素１１２、第三画素１１３及び第四画素１１４の輝度Ａ、Ｂ、Ｃ、Ｄを、それぞれ隣接した２画素を含めた３画素で平均し、第一平均輝度Ａ’、第二平均輝度Ｂ’、第三平均輝度Ｃ’、第四平均輝度Ｄ’を求める（Ｓ２４）。
第一平均輝度Ａ’、第二平均輝度Ｂ’、第三平均輝度Ｃ’、第四平均輝度Ｄを用いた線形補完を用いて第一補完輝度Ｙ＿ｘ、第二補完輝度Ｙ＿ｙを式（１５）により求める（Ｓ２５）。
【００７１】
ｘ方向とｙ方向の線形補間から求めたＹ＿ｘとＹ＿ｙを使って、補正対象画素１００Ａの位置によってＹ＿ｘとＹ＿ｙのブレンド比率を変更して、補正対象画素１００Ａの最終的な補間値を求める（Ｓ２６）。
【００７２】
補正対象画素１００Ａのオリジナル輝度ｏｒｉ＿Ｙの値を、その補正対象画素１００Ａとその周辺８画素の平均値である二次的オリジナル輝度で、式（１９）を用いて置き換える（Ｓ２７）。
【００７３】
ＲＡＷ画像の場合は輝度、ＪＰＥＧ画像の場合はリニアでないオリジナルのＲＧＢ各面で上述のゲインマップを計算する（Ｓ２８）。
ＪＰＥＧ画像に対しては、求めたＲＧＢ各面のゲインマップを使って異物影１００の補正を行う（Ｓ２９）。
【００７４】
以上、本実施形態によると、以下の効果を有する。
（１）例えば、異物影のゲインマップを求める際に、周囲の多数の画素の輝度を計算する場合、演算が複雑であり、演算負荷がかかり、演算時間が長くなる。さらに、異物影周辺部の複数画素を参照するため、異物影付近に被写体などがある場合は正しいゲインマップを作成できないという問題がある。
しかし、本実施形態によると、異物影の一画素の輝度のゲインの変更量を、異物影の外側の４つの画素の輝度を基に演算する。したがって、演算が容易であり、演算負荷の軽減及び演算時間の短縮が可能となる。
【００７５】
（２）そして、この場合、異物影の外側の画素において、ノイズ等の影響で他の画素と比べて非常に明るい、又は暗いといった画素があった場合、その画素の影響により、画素の輝度値を補完の計算に用いるライン全体が、明るくなる可能性がある。これをそのままで補正すると、特に、外枠に用いる部分の境界で、ライン状の補正痕を生じる。
しかし、本実施形態によると、エッジに行くにしたがって、そのエッジ方向の計算に用いるものの影響を少なくしている、したがって、エッジでラインが形成されることがない。
さらに、枠部の計算を３つ平均にしているので、より滑らかになる。
【００７６】
（３）さらに、エッジ近傍でなくとも、例えば、第一画素１１１、第二画素１１２、第三画素１１３及び第四画素１１４がノイズ等で一画素だけ特異的に明るかったり暗かったりした場合、その画素を基に、補完輝度を求めると、補正対象画素１００Ａにおける補完後の輝度が、その画素の輝度値を計算に用いるラインに沿って全て他の画素となじまないことになる。しかし、本実施形態によると、隣接する３画素の平均をとっているので、画素がノイズ等で一画素だけ特異的に明るかったり暗かったりした場合も、その画素を計算に用いるラインが、他の部分に対して異常な輝度を示す現象が緩和される。
【００７７】
（４）また、本実施形態では、ＪＰＥＧ画像等の場合は、非線形補正前のオリジナルのＲＧＢ各面でゲインマップを作成して補正するので、非線形なＲＧＢ画像でも補正痕なく異物影を補正できる。
【００７８】
（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
【００７９】
（１）上記実施形態で補完輝度算出部７３は、第一画素１１１について、補正対象画素１００Ａとの距離をｘ１とし、第二画素１１２について、補正対象画素１００Ａとの距離をｘ２とした。第三画素１１３について、補正対象画素１００Ａとの距離をｙ１とし、第四画素１１４について、その輝度をＤとして補正対象画素１００Ａと距離をｙ２とした。
しかし、補正対象画素１００Ａと第一画素１１１と第二画素１１２とのうちの近いほうとの距離をｘとし、補正対象画素１００Ａと第一画素１１１と第二画素１１２とのうちの遠い方との距離を１−ｘとして表すこともできる（補正対象画素１００Ａが、第一画素１１１と第二画素１１２との中間のときはどちらでもよい）。
この場合、式（１６），（１７），（１８）は、
Ｅ＝ｘ，Ｆ＝ｙ・・・・・・・・・・・・・・・・・・・・（１６’）
Ｇ＝ｘ／ｘ+ｙ，Ｈ＝ｙ／ｘ+ｙ・・・・・・・・・・・・・（１７’）
Ｙ_ave＝Ｙ_ｘ×ｙ／（ｘ+ｙ）+Ｙ_ｙ×ｘ／（ｘ+ｙ）・・・・（１８’）
と表すことが出来る。
【００８０】
（２）上記実施形態では、電子スチルカメラであるカメラ１で撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナー等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。
【００８１】
（３）上記実施の形態では、電子スチルカメラであるカメラ１で撮影した画像データをＰＣ（パソコン）３１で処理して異物の影響を除去する例を説明したが、この内容に限定するものではない。電子カメラ１にそのようなプログラムを備えてもよい。また、プリンタや投影装置などにそのようなプログラムを備えてもよい。すなわち、画像データを扱うあらゆる装置に、本発明は適用することができる。
【００８２】
（４）ＰＣ３１で実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体に限らず、インターネットなどのデータ信号を通じて提供することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【００８３】
１：カメラ、１２：光学フィルタ、１３：撮像素子、１３ａ：カラーフィルタ、１７：メモリカード用インターフェース部、１８：外部インターフェース部、３０：パーソナルコンピュータ（ＰＣ）、３３：ＣＤ−ＲＯＭ、４０：メモリカード、５０：画像処理装置、６０：異物影検出部、６１：連結領域判定部、６２：対象領域抽出部、６３：輝度判定部、６４：色相判定部、６５：彩度判定部、６６：顔判定部、６７:落込み割合判定部、７０：補正部、７１：枠形成部、７２：画素選択部、７３：補完輝度算出部、１００：異物影、１００Ａ：補正対象画素
【特許請求の範囲】
【請求項１】
処理対象画像における異物影を検出する異物影検出部と、
前記異物影検出部により検出された異物影を補正する補正部と、を備え、
前記補正部は、
前記異物影の周りを、互いに平行な第一直線及び第二直線と、第一直線及び第二直線と直交する、互いに平行な第三直線及び第四直線とで形成された枠で囲む枠形成部と、
前記異物影の内部に位置する補正対象画素を選択し、
前記補正対象画素を通り且つ前記第三直線及び前記第四直線と平行な第五直線上であって、前記第一直線と交差する位置にある第一画素と、前記第二直線と交差する位置にある第二画素と、を選択し、
前記補正対象画素を通り且つ前記第一直線及び前記第二直線と平行な第六直線上であって、前記第三直線と交差する位置にある第三画素と、第四直線と交差する位置にある第四画素と、を選択する画素選択部と、
前記第一画素と前記第二画素の輝度を用いた線形補完により、前記補正対象画素の位置における第一補完輝度を求め、
前記第三画素と前記第四画素の輝度を用いた線形補完により、前記補正対象画素の位置における第二補完輝度を求め、
前記第一補完輝度について、前記補正対象画素が、前記第三直線と前記第四直線との間の中央部にあるとき重みが強く、どちらかの直線に近づくにつれて重みが小さくなり、前記第二補完輝度について、前記補正対象画素が、前記第一直線と前記第二直線との間において中央部にあるとき重みが強く、どちらかの直線に近づくにつれて重みが小さくなる加重平均により、前記第一補完輝度と前記第二補完輝度との平均補完輝度を求める補完輝度算出部と、を備え、
前記補正部は、求めた前記平均補完輝度を用いて、前記補正対象画素の輝度を補正する補正処理を、前記異物影の画素全体について行うこと、
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記平均補完輝度算出部は、前記加重平均を、
補正対象画素から、第一画素と第二画素とのうちの近い方までの第一距離を、第一画素と第二画素との距離に対する割合で示し、
第三画素と第四画素とのうちの近い方までの第二距離を、第三画素と第四画素との距離に対する割合で示したときに、
平均補完輝度は、第一補完輝度に第二距離を乗じたものと、第二補完輝度に第一距離を乗じて求めること、
を特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記補完輝度算出部は、
前記第一補完輝度、及び前記第二補完輝度を求める際に用いる、前記第一画素、前記第二画素、前記第三画素及び前記第四画素の輝度として、それぞれが位置する前記枠（１２０）上における両隣の画素を含む複数の画素の平均輝度を用いること、
を特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記補正部は、
前記補正対象画素を囲む複数の画素の輝度を平均して求めた二次的輝度と前記平均補完輝度との比を計算し、該比に応じて、補正対象画素の輝度を補正すること、
を特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置であって、
前記処理対象画像が、赤、緑及び青のカラーフィルタを通して撮像素子により撮影され、非線形補正された画像の場合、
前記補正処理を、赤、緑及び青のそれぞれの画像についてについて行うこと、
を特徴とする画像処理装置。
【請求項６】
請求項１から５のいずれか１項に記載の画像処理装置を備えるカメラ。
【請求項７】
請求項１から６のいずれか１項に記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。
【請求項１】
処理対象画像における異物影を検出する異物影検出部と、
前記異物影検出部により検出された異物影を補正する補正部と、を備え、
前記補正部は、
前記異物影の周りを、互いに平行な第一直線及び第二直線と、第一直線及び第二直線と直交する、互いに平行な第三直線及び第四直線とで形成された枠で囲む枠形成部と、
前記異物影の内部に位置する補正対象画素を選択し、
前記補正対象画素を通り且つ前記第三直線及び前記第四直線と平行な第五直線上であって、前記第一直線と交差する位置にある第一画素と、前記第二直線と交差する位置にある第二画素と、を選択し、
前記補正対象画素を通り且つ前記第一直線及び前記第二直線と平行な第六直線上であって、前記第三直線と交差する位置にある第三画素と、第四直線と交差する位置にある第四画素と、を選択する画素選択部と、
前記第一画素と前記第二画素の輝度を用いた線形補完により、前記補正対象画素の位置における第一補完輝度を求め、
前記第三画素と前記第四画素の輝度を用いた線形補完により、前記補正対象画素の位置における第二補完輝度を求め、
前記第一補完輝度について、前記補正対象画素が、前記第三直線と前記第四直線との間の中央部にあるとき重みが強く、どちらかの直線に近づくにつれて重みが小さくなり、前記第二補完輝度について、前記補正対象画素が、前記第一直線と前記第二直線との間において中央部にあるとき重みが強く、どちらかの直線に近づくにつれて重みが小さくなる加重平均により、前記第一補完輝度と前記第二補完輝度との平均補完輝度を求める補完輝度算出部と、を備え、
前記補正部は、求めた前記平均補完輝度を用いて、前記補正対象画素の輝度を補正する補正処理を、前記異物影の画素全体について行うこと、
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記平均補完輝度算出部は、前記加重平均を、
補正対象画素から、第一画素と第二画素とのうちの近い方までの第一距離を、第一画素と第二画素との距離に対する割合で示し、
第三画素と第四画素とのうちの近い方までの第二距離を、第三画素と第四画素との距離に対する割合で示したときに、
平均補完輝度は、第一補完輝度に第二距離を乗じたものと、第二補完輝度に第一距離を乗じて求めること、
を特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記補完輝度算出部は、
前記第一補完輝度、及び前記第二補完輝度を求める際に用いる、前記第一画素、前記第二画素、前記第三画素及び前記第四画素の輝度として、それぞれが位置する前記枠（１２０）上における両隣の画素を含む複数の画素の平均輝度を用いること、
を特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記補正部は、
前記補正対象画素を囲む複数の画素の輝度を平均して求めた二次的輝度と前記平均補完輝度との比を計算し、該比に応じて、補正対象画素の輝度を補正すること、
を特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置であって、
前記処理対象画像が、赤、緑及び青のカラーフィルタを通して撮像素子により撮影され、非線形補正された画像の場合、
前記補正処理を、赤、緑及び青のそれぞれの画像についてについて行うこと、
を特徴とする画像処理装置。
【請求項６】
請求項１から５のいずれか１項に記載の画像処理装置を備えるカメラ。
【請求項７】
請求項１から６のいずれか１項に記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１２０８９（Ｐ２０１３−１２０８９Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４４９９１（Ｐ２０１１−１４４９９１）
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]