画像処理装置及び画像処理プログラム
【課題】より容易に撮影画像中の異物影を検出可能な画像処理装置及び画像処理プログラムを提供する。
【解決手段】本発明の画像処理装置５０は、補正対象の第一撮影画像Ｇ１の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像Ｇ２を選択する第二撮影画像選択部５５と、前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部６０と、前記異物影情報取得部６０により取得された、前記第二撮影画像Ｇ２における該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量をもとに、前記第一撮影画像Ｇ１を補正する補正部５６と、を備えること、を特徴とする。
【解決手段】本発明の画像処理装置５０は、補正対象の第一撮影画像Ｇ１の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像Ｇ２を選択する第二撮影画像選択部５５と、前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部６０と、前記異物影情報取得部６０により取得された、前記第二撮影画像Ｇ２における該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量をもとに、前記第一撮影画像Ｇ１を補正する補正部５６と、を備えること、を特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
電子カメラ等により撮像を行う際、光学フィルタ等に異物が付着していると、異物影が撮像画像に写り込む場合がある。このように画像に写り込んだ異物影を補正するものとして、異物影の写り込んだ基準画像から異物位置の座標等の情報を得て、その情報に基づいて通常撮影された撮影画像に写り込んだ異物影を補正する画像処理装置が知られている。
また、補正対象の画像における異物影による透過率の変化（各画素における輝度情報の変化）から異物影を検出し、異物影を削除する補正を行う技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては、異物影が写り込んだ基準画像を撮影する必要がある。また、撮影画像と基準画像とにおいて、異物影の座標が異なる場合もある。
【０００５】
本発明の課題は、より容易に撮影画像中の異物影を検出可能な画像処理装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
請求項１に記載の発明は、補正対象の第一撮影画像（Ｇ１）の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像（Ｇ２）を選択する第二撮影画像選択部（５５）と、前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部（６０）と、前記異物影情報取得部（６０）により取得された、前記第二撮影画像（Ｇ２）における該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量をもとに、前記第一撮影画像（Ｇ１）を補正する補正部（５６）と、を備えること、を特徴とする画像処理装置（５０）である。
請求項２に記載の発明は、補正対象の第一撮影画像（Ｇ１）の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像（Ｇ２）を選択する第二撮影画像選択部（５５）と、前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部（６０）と、前記異物影候補を異物影として採用し、前記異物影情報取得部（６０）により取得された前記異物影候補の前記座標を、前記第一撮影画像（Ｇ１）に表示する表示部（５２）と、を備えること、を特徴とする画像処理装置（５０）である。
請求項３に記載の発明は、請求項１または２に記載の画像処理装置（５０）であって、前記第二撮影画像選択部（５５）は、前記第一撮影画像（Ｇ１）の撮影条件に近い撮影条件で撮影された画像を前記第二撮影画像（Ｇ２）として選択すること、を特徴とする画像処理装置（５０）である。
請求項４に記載の発明は、請求項３に記載の画像処理装置（５０）であって、前記撮影条件は、前記第一撮影画像（Ｇ１）を撮影したカメラ本体と同一のカメラ本体であることと、絞り値、撮影距離、レンズ、焦点距離、及び撮影時間のうちの少なくとも１つが同一であることと、を含むこと、を特徴とする画像処理装置（５０）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の画像処理装置（５０）であって、前記第二撮影画像（Ｇ２）における前記異物影候補の周辺輝度の標準偏差が閾値以上の場合、前記異物影候補を前記異物影として採用しないこと、を特徴とする画像処理装置（５０）である。
請求項６に記載の発明は、請求項１から５のいずれか１項に記載の画像処理装置（５０）であって、前記第一撮影画像（Ｇ１）における前記異物影候補に対応する座標の位置を含む一定範囲の標準偏差が閾値以下の場合には、前記異物影候補を前記異物影として採用しないこと、を特徴とする画像処理装置（５０）である。
請求項７に記載の発明は、請求項１から６のいずれか１項に記載の画像処理装置（５０）であって、前記第二撮影画像選択部（５５）が選択した第二撮影画像（Ｇ２）が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像（Ｇ２）から選択された場合、該異物影候補を含む一定範囲の輝度と、前記第一撮影画像（Ｇ１）における前記座標の位置に対応する部分を含む一定範囲の輝度と、が最も近い第二撮影画像（Ｇ２）の異物影候補を、異物影として採用すること、を特徴とする画像処理装置（５０）である。
請求項８に記載の発明は、請求項１から６のいずれか１項に記載の画像処理装置（５０）であって、前記第二撮影画像選択部（５５）が選択した第二撮影画像（Ｇ２）が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像（Ｇ２）から選択された場合、該異物影候補を含む一定範囲の色相と、前記第一撮影画像（Ｇ１）における前記座標の位置に対応する部分を含む一定範囲の色相と、が最も近い第二撮影画像（Ｇ２）の異物影候補を、異物影として採用すること、を特徴とする画像処理装置（５０）である。
請求項９に記載の発明は、請求項１から８のいずれか１項に記載の画像処理装置（５０）の機能をコンピュータに実行させるための画像処理プログラムである。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
【発明の効果】
【０００７】
本発明によれば、より容易に撮影画像中の異物影を検出可能な画像処理装置及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態におけるレンズ交換式のカメラの構成を示す図である。
【図２】カメラと画像処理装置を構成するパーソナルコンピュータおよび周辺装置を示すブロック図である。
【図３】異物影情報取得・画像の補正処理を行う画像処理装置の機能ブロック図である。
【図４】画像処理装置における異物影情報取得部の機能ブロック図である。
【図５】異物影情報取得のフローチャートである。
【図６】画像の補正処理のフローチャートである。
【図７】第一撮影画像を示す図である。
【図８】第二撮影画像を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面等を参照して、本発明の実施形態について説明する。
図１は、レンズ交換式のカメラ１の構成を示す図である。図２は、カメラ１と画像処理装置を構成するパーソナルコンピュータ（ＰＣ）３０及び周辺装置を示すブロック図である。
カメラ１は、被写体像を電気信号に変換した画像データとして出力する電子スチルカメラである。本実施形態は、カメラ１が撮影した画像データを、画像処理装置として機能するＰＣ３０が取得して後述する異物影の検出及び補正処理を行うものである。
【００１０】
カメラ１は、カメラボディ２と、カメラボディ２に対して着脱可能な撮像レンズ３とにより構成されている。撮像レンズ３は、複数の光学レンズ群（図１においては１枚のレンズで示す）を有する結像光学系３Ｌを備えている。
【００１１】
カメラボディ２は、シャッタ１１、光学フィルタ１２、撮像素子１３、画像処理部１４、操作部１５、表示部１６、メモリカード用インターフェース（以下、「メモリカードＩＦ」と記す）１７、外部インターフェース（以下、「外部ＩＦ」と記す）１８、電源１９、制御部２０等を備えている。
【００１２】
シャッタ１１は、結像光学系３Ｌから撮像素子１３へ向かう撮影光を遮蔽及び通過させることによって、露光時間を調整する。
光学フィルタ１２は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。なお、図１中の符号４は、この光学フィルタ１２の表面に付着した塵や埃などの異物を示す。このような撮影光の光路上にあって撮影光を透過する光学フィルタ１２に異物４が付着していると、撮像素子１３によって取得される画像データのなかに、異物影の影響を受けた画素が含まれる場合がある。
【００１３】
撮像素子１３は、ＣＣＤやＣＭＯＳ等の光電変換素子であって、複数の画素から構成される矩形形状の撮像領域を有している。そして、撮像素子１３は、その結像面に結像された像を電気信号に変換し、被写体像に対応する画像信号（撮像信号）を出力する。撮像素子１３から出力された画像信号は、所定のアナログ信号処理の後、Ａ／Ｄ変換されて画像処理部１４に入力される。
【００１４】
画像処理部１４は、撮像素子１３から入力された画像データに対して、補間，階調変換や輪郭強調などの画像処理を行う。
操作部１５は、撮影者が撮影タイミング等を決定する信号を入力するレリーズボタンや、モード切り換え用の選択ボタン等を備えている。そして、操作部１５は、それらの操作情報を制御部に入力する。
【００１５】
表示部１６は、ＬＣＤ等によって構成され、カメラ１における各種設定メニュー、撮像素子１３による撮像画像やメモリカードに格納された画像データに基づく再生画像を表示する。
【００１６】
メモリカード用ＩＦ１７は、メモリカード（カード状のリムーバブルメモリ）４０とのインターフェースとなる。
外部ＩＦ１８は、所定のケーブルや無線伝送路を介してＰＣ３０等の外部装置とのインターフェースとなる。
電源１９は、カメラ１の各機能部に電力を供給する。
【００１７】
制御部２０は、カメラ１における各機能部を統括制御する。すなわち、制御部２０は、操作部１５におけるレリーズスイッチから撮影指示信号が入力されると、シャッタ１１を駆動制御して露光動作等の撮影動作を制御する。また、制御部２０は、撮像素子１３で取得されて画像処理部１４で画像処理が行われて入力された画像データを、メモリカード用ＩＦ１７に着脱可能に取り付けられたメモリカード４０等に記憶させ、保存する。さらに、制御部２０は、メモリカード４０等に記憶された画像データを呼び出し、表示部１６に表示させる。
【００１８】
上記のように構成されたカメラ１は、撮影時において制御部２０によって制御されて、下記のように作用する。
操作者によって操作部１５のレリーズボタンが押圧操作されると、シャッタ１１を所定時間開放する。撮像素子１３は、結像光学系３Ｌにより撮像領域に結像された光学像に対応する画像信号を生成する。撮像素子１３によって生成された画像信号は、画像データとして画像処理部１４に入力され、画像処理部１４によって所定の画像処理が施される。そして、画像処理部１４で画像処理された画像データに基づいて表示部１６に撮影画像を表示すると共に、その画像データに必要に応じてＪＰＥＧやＲＡＷ等による圧縮処理を施してメモリカード用ＩＦ１７に装着されたメモリカード４０に記憶・保存する。また、外部ＩＦ１８を介して接続された後述するＰＣ３０に、画像データを送出する。
【００１９】
ここで、メモリカード４０に記憶・保存され、又は、外部ＩＦ１８を介してＰＣ３０に送出される画像データは、例えば、Ｅｘｉｆ（ＥＸｃｈａｎｇｅ Ｉｍａｇｅ Ｆｉｌｅ ｆｏｒｍａｔ）ファイルに記録される。Ｅｘｉｆファイルには、カメラボディ２の種類、カメラメーカー名、撮像画素情報、絞り値（Ｆ値）や焦点、シャッタスピード及び露光補正等の露出条件、撮影時刻、撮影距離などの付加情報が共に記録される。
【００２０】
パーソナルコンピュータ（ＰＣ）３０は、図示しないが、ＣＰＵ、メモリ、ハードディスク、メモリカード４０とのインターフェースとなるメモリカード用ＩＦ、ケーブルや無線伝送路を介してカメラ１等の外部装置とのインターフェースとなる外部ＩＦ等を備えている。また、ＰＣ３０には、プリンタ３２やＰＣ操作部としてマウス３４が接続されている。
【００２１】
さらに、ＰＣ３０に接続のＣＤ−ＲＯＭ３３には、異物影検出及び検出された異物の情報に基づいて画像を補正処理するアプリケーションプログラムが予めインストールされている。
【００２２】
つぎに、選択された第一撮影画像をもとに選択された第二画像中における異物影情報を取得し、その検出した異物影情報に基づいて第一撮影画像を補正する処理（異物影情報取得・補正処理）について説明する。
【００２３】
前述したように、ＰＣ３０には、異物影情報取得及び画像補正処理のアプリケーションプログラムがインストールされており、ＰＣ３０は、このプログラムを実行することによって、異物影情報取得及び画像の補正処理を行う画像処理装置５０として機能する。
【００２４】
図３は、異物影情報取得・補正処理を行う画像処理装置５０の機能ブロック図である。図４は、画像処理装置５０における異物影情報取得部６０の機能ブロック図である。
【００２５】
画像処理装置５０は、メモリカード３０を介して提供された、又は、カメラ１の外部インターフェース１８から伝送された画像データを保存する保存領域５１と、保存領域５１に保存された撮影画像を表示するモニタ５２と、その表示を制御する表示制御部５３とを備えている。
【００２６】
また、画像処理装置５０は、保存領域５１に保存された撮影画像データから、異物影候補を選択し、異物影候補の座標及び異物影候補の部分の輝度低下量を取得する異物影情報取得部６０と、マウス３４等を介して補正対象となる画像を選択可能な第一撮影画像選択部５４と、選択された第一撮影画像をもとに、保存領域５１から第二撮影画像を選択する第二撮影画像選択部５５と、第二撮影画像における、異物影情報取得部６０によって検出された異物影情報に基づいて、第一撮影画像中の対応部分を補正する補正部５６と、を備えている。
【００２７】
異物影情報取得部６０は、図４に示すように、連結領域判定部６１と、対象領域抽出部６２と、輝度判定部６３とを備えている。
【００２８】
次に、異物影情報取得処理及び補正処理について説明する。
（異物影情報取得）
画像処理装置５０の保存領域５１に、メモリカード４０を介して、又は、カメラ１の外部インターフェース１８を介して撮影画像が入力される。そうすると、画像処理装置５０の異物影情報取得部６０は、保存領域５１に入力された撮影画像から異物影情報取得を行う。
ここで、異物影情報とは、異物影が存在する位置の座標及び異物影の部分の輝度低下量（ゲインマップ）等である。
この異物影情報取得は、保存領域に画像が転送された時点で自動的に行ってもよく、また、操作者の操作によって開始するものであってもよい。
【００２９】
図５は、異物影情報取得部６０における異物影情報取得処理画の流れを説明するフローチャートである。図５及び以下の説明中、ステップを「Ｓ」とも略記する。
まず、ステップＳ５１で連結領域判定部６１は、画像を形成するＲＧＢによる各画素の画像データの輝度平面を求め、その明度平面に対して逆ガンマ補正をかけ、入出力の関係を線形に戻す。そして、逆ガンマ補正後の輝度平面から、輝度勾配平面を生成する。
輝度勾配平面では、異物影の周縁部では高い画素値を示し、空などの一様な平面では低い画素値を示す。つまり、エッジ部分では高い画素値を示し、これによって異物影のエッジ部分を検出できる。
【００３０】
次に、連結領域判定部６１は、所定の閾値を設定して、輝度勾配平面を２値画像に変換する。すなわち、閾値より高い輝度勾配値を有する画素を「１」、閾値より低い輝度勾配値を有する画素を「０」と置換する。
そして、ステップＳ５２において、連結領域判定部６１は、このようにして得られた２値画像から、「１」の画素が連結した領域（連結画素領域）を抽出する。連結画素領域とは、例えば、矩形の画素の４辺の内の少なくとも１辺で連続した（４近傍の）画素領域とする。この連結画素領域が、異物影の可能性のある領域である。
【００３１】
ステップＳ５３において、対象領域抽出部６２は、連結領域判定部６１によって抽出された連結画素領域の中から、異物影のサイズ（大小）に基づいて補正候補領域を抽出する。この対象領域抽出部６２における異物影の大きさの判別は、画素数によって規定する。
ここで、対象領域抽出部６２は、連結画素領域から補正候補領域を抽出する際において、異物影の絶対的な大きさを基準とする。ここでは、一般的な異物のサイズと異物影のサイズがほぼ等しいものとして、最小１００μｍ×１００μｍ〜最大４００μｍ×４００μｍの大きさを検出対象とする。
【００３２】
そして、対象領域抽出部６２では、上記異物影の画素数によって表される面積を閾値として、連結領域判定部６１において２値画像から抽出された連結画素領域の大きさ（画素数）がこの閾値内に含まれるものを選択する。
【００３３】
さらにステップＳ５４において輝度判定部６３は、先の連結領域判定部６１において説明したＨＳＶ変換によって求められた輝度値Ｖ（Ｖａｌｕｅ）と画像平面に対応する輝度平面とを用い、連結画素領域における内外の輝度を比較する。ここで、異物影は、内部の輝度が周辺の輝度に比較して低く、輝度比（内部の輝度／周辺の輝度）は１よりとても小さい。このため、輝度比が小さい所定の閾値を設定し、連結画像領域の輝度比がこの閾値より小さいに場合にのみ、異物影として判定する。
【００３４】
ここで、異物影の周囲の一定範囲の輝度の標準偏差が閾値以上の場合、異物影として採用しない。これは、検出された異物影の周囲の輝度の標準偏差が大きいときは、テクスチャー上の影のために、実際の異物影であることの信頼性が低いからである。
【００３５】
そして、ステップＳ５５において、異物影情報取得部６０は、異物影の輝度低下量と異物位置情報（座標）を取得し、それぞれの撮影画像に関連付けて保存領域５１に保存するする。
【００３６】
（補正対象画像選択）
図６は異物影除去動作を示すフローチャートである。
ステップＳ６１においてＰＣの表示制御部５３は、操作者によるＰＣ操作部３４の操作に基づいて保存領域５１に保存された撮影画像を、モニタ５２に撮影画像を表示させる。
この際、ＰＣ制御部は、撮影画像を多数の画像を一覧表示するために縮小されたサムネイム画像の形で表示してもよく、また、一枚の画像を順次選択するようにしても良い。
【００３７】
ステップＳ６２において、操作者のＰＣ操作部の操作を介して、第一画像選択部５４は、モニタ５２に表示された撮影画像のうちの、異物影の除去を希望する第一の撮影画像Ｇ１を選択する。
図７は、選択された画像の一例としての第一撮影画像Ｇ１を示す。図７の第一撮影画像Ｇ１において、木々の部分に異物影４Ａが存在する。このような異物影は、例えば光学フィルタ１２の前面に付着した異物（異物４）（図１参照）により生じている。しかし、本実施形態の第一撮影画像Ｇ１は、異物影４Ａの輝度勾配と、木々の輝度勾配が重なってしまい、輝度勾配により異物影を検出する手法では、異物影を検出することが困難となっている。
【００３８】
（第二画像選択）
ステップＳ６３において、第一の撮影画像Ｇ１が選択されると、第二撮影画像選択部５５は、保存領域に保存されている複数の撮影画像のうち、第一撮影画像Ｇ１と撮影条件が同一又は略同一である第二撮影画像Ｇ２を検索して選択する。
【００３９】
この場合、撮影条件の同一性の判断は、第一撮影画像Ｇ１のＥｘｉｆ情報と第二撮影画像Ｇ２のＥｘｉｆ情報とを基に行う。
具体的には、Ｅｘｉｆ情報における、カメラボディ（カメラ種類）２、絞り値（Ｆ値）、焦点距離、撮影時刻、レンズ、撮影距離等が同一であることが判断基準である。
これらの撮影条件のうち、カメラボディ２が同一であることとは本実施形態において必須とする。本実施形態は、同一のカメラボディ２で撮影した場合に、異なる撮影画像であっても、カメラボディ２内に配置されている光学フィルタ１２に付着した異物は、同じ位置に影として移り込む現象を利用して異物影を補正するものであるからである。
【００４０】
その他の撮影条件は、少なくとも１つ以上、特に、絞り値が一致することが好ましく、焦点距離、撮影時間等も同一であることがより好ましい。全ての条件が一致することがさらに好ましい。
第二撮影画像選択部５２により選択される第二撮影画像Ｇ２は、選択条件に応じて、１以上又は複数選択される。なお、１枚も選択されなかった場合は、モニタ５２に、選択枚数ゼロ等の警告表示が出るようにしてもよい。
図８は、第二撮影画像選択部５２により第二撮影画像Ｇ２が複数選択された場合の２つの画像Ｇ２（１）及びＧ２（２）を示す図である。
ここで、Ｇ２（１）に関しては、空の部分に異物影４Ａａが有り、また、山のエッジからも遠いために異物影の検出が容易である。画像Ｇ２（２）に関しても空（色は濃いが検出可能）の部分に異物影４Ａｂがあり検出可能である。
【００４１】
（第二画像から第一撮影画像に適用される異物影情報取得）
ステップＳ６４において、第二撮影画像Ｇ２が選択されると、画像処理装置５０は、第二撮影画像の異物影情報（異物影の位置の座標、及び輝度低下量（ゲインマップ））を読み出す。
【００４２】
（表示）
ステップＳ６５において、第二撮影画像Ｇ２のそれぞれにおいて検出された異物影の位置を、第一撮影画像における異物影位置として、第一撮影画像が表示されているモニタ画面に重ねて表示する。
すなわち、１枚目の第二撮影画像に異物影Ａ１が検出され、２枚目の第二撮影画像における同じ位置にＡ２、異なる位置にＢの異物影が検出され、３枚目の第二撮影画像における、Ａ１と同じ位置にＡ３、Ａ１とＢと異なる位置に異物影Ｃが検出された場合は、モニタ画面上の第一画像に、位置Ａ、Ｂ，Ｃが表示される。
【００４３】
（補正）
ステップＳ６６において操作者は、操作部を介して、モニタ画面に表示されている位置Ａ，Ｂ，Ｃのうち、補正を希望する部分を選択する。処理開始を選択すると、選択した部分の補正が行われる。
なお、ここで、表示や選択をすることなく、第一撮影画像を選択すると、選択された第二画像から自動的に補正が行われても良い。
【００４４】
ここで、複数の第二撮影画像の同一位置に異物影が検出されている場合
１）複数の第二撮影画像のそれぞれにおける異物影を含む一定範囲の輝度を、第一撮影画像におけるその座標の位置に対応する部分を含む一定範囲の輝度と比較する。そして、該第一撮影画像における対応部分の周囲の輝度と最も近い輝度を有する第二撮影画像の異物影を、異物影として採用する。それは異物影の周囲の輝度が近いと、該異物影によるゲインの低下量が同等になると考えられるからである。
【００４５】
２）また、１）の替わりに、複数の第二撮影画像のそれぞれにおける異物影を含む一定範囲の色相を、第一撮影画像におけるその座標の位置に対応する部分を含む一定範囲の色相とを比較する。そして、該第一撮影画像における対応部分の周囲の色相と最も近い色相を有する第二撮影画像の異物影を、異物影として採用してもよい。これも異物影の周囲の色相が近いと、該異物影によるゲインの低下量が同等になると考えられるからである。
３）さらに、１）、２）の替わりに、これらの両方を参照するようにしても良い。
４）さらに、複数の第二撮影画像における同一位置の輝度低下量を平均しても良い。
【００４６】
補正部５６は、上述のように選択された第二撮影画像Ｇ２中に写り込んだ異物影情報としてのゲインマップと異物位置情報（座標）を用いて第一撮影画像を補正して異物影の輝度を低減又は削除する補正を行う。
【００４７】
すなわち、補正部５６は、第一撮影画像Ｇ１中について、第二撮影画像Ｇ２から取得したゲインマップを用い、第一撮影画像Ｇ１の輝度に、輝度信号の逆数を掛け算して、ゲイン補正を行う。これにより、第一撮影画像Ｇ１中に出現する異物影等の異物による輝度の変化を低減もしくは除去する画像補正を行う。
【００４８】
以上、本実施形態によると、第一撮影画像において、異物影の特定が困難な位置に、第二撮影画像において異物影が検出できた場合に、第一撮影画像においても同じ位置に異物影が存在する推測し、第二撮影画像の異物影情報に基づいて第一撮影画像を補正することが可能となる。そして、これによって、複数の撮影画像の異物影の検出結果を用いることにより、異物影の検出しにくい画像における異物影の補正が可能となる。
【００４９】
（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
【００５０】
（１）上記実施形態において、保存領域５１に撮影画像が入力された時点で、入力された全ての撮影画像について異物影情報取得を行う形態について説明した。しかし、本発明はこれに限定されない。例えば、第一撮影画像が選択され、それに基づいて第二撮影画像が選択された後、選択された第二撮影画像について異物影情報を取得するものであってもよい。
この変形形態によると、選択された第二撮影画像についてのみ異物影情報が取得されるので、全体として処理量が減少する。一方、本実施形態の場合は、予め、全ての撮影画像について異物影情報が取得されているので、第二撮影画像が選択された後の処理時間が減少する。
【００５１】
（２）上記実施形態では、電子スチルカメラであるカメラ１によって撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナ等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。
【００５２】
（３）上記実施の形態では、電子スチルカメラであるカメラ１で撮影した画像データをＰＣ（パソコン）３０で処理して異物の影響を除去する例を説明したが、この内容に限定するものではない。カメラ１にそのようなプログラムを備えてもよい。その場合、カメラ１の液晶画面での欠陥位置の特定は、タッチパネル方式や、カメラ背面に設けられた十字キー等で行ってもよい。
また、プリンタや投影装置などにそのようなプログラムを備えてもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。
【００５３】
（４）ＰＣ３０で実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体に限らず、インターネットなどのデータ信号を通じて提供することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【００５４】
１：カメラ、２：カメラボディー、１２：光学フィルタ、１３：撮像素子、１７：メモリカード用ＩＦ、１８：外部ＩＦ、３０：パーソナルコンピュータ（ＰＣ）、３３：ＣＤ−ＲＯＭ、３４：マウス、５１：保存領域、５２：モニタ、５３：常時制御部、５４：第一撮影画像選択部、５５：第二撮影画像選択部、５６：補正部、６０：異物影情報取得部
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
電子カメラ等により撮像を行う際、光学フィルタ等に異物が付着していると、異物影が撮像画像に写り込む場合がある。このように画像に写り込んだ異物影を補正するものとして、異物影の写り込んだ基準画像から異物位置の座標等の情報を得て、その情報に基づいて通常撮影された撮影画像に写り込んだ異物影を補正する画像処理装置が知られている。
また、補正対象の画像における異物影による透過率の変化（各画素における輝度情報の変化）から異物影を検出し、異物影を削除する補正を行う技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては、異物影が写り込んだ基準画像を撮影する必要がある。また、撮影画像と基準画像とにおいて、異物影の座標が異なる場合もある。
【０００５】
本発明の課題は、より容易に撮影画像中の異物影を検出可能な画像処理装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
請求項１に記載の発明は、補正対象の第一撮影画像（Ｇ１）の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像（Ｇ２）を選択する第二撮影画像選択部（５５）と、前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部（６０）と、前記異物影情報取得部（６０）により取得された、前記第二撮影画像（Ｇ２）における該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量をもとに、前記第一撮影画像（Ｇ１）を補正する補正部（５６）と、を備えること、を特徴とする画像処理装置（５０）である。
請求項２に記載の発明は、補正対象の第一撮影画像（Ｇ１）の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像（Ｇ２）を選択する第二撮影画像選択部（５５）と、前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部（６０）と、前記異物影候補を異物影として採用し、前記異物影情報取得部（６０）により取得された前記異物影候補の前記座標を、前記第一撮影画像（Ｇ１）に表示する表示部（５２）と、を備えること、を特徴とする画像処理装置（５０）である。
請求項３に記載の発明は、請求項１または２に記載の画像処理装置（５０）であって、前記第二撮影画像選択部（５５）は、前記第一撮影画像（Ｇ１）の撮影条件に近い撮影条件で撮影された画像を前記第二撮影画像（Ｇ２）として選択すること、を特徴とする画像処理装置（５０）である。
請求項４に記載の発明は、請求項３に記載の画像処理装置（５０）であって、前記撮影条件は、前記第一撮影画像（Ｇ１）を撮影したカメラ本体と同一のカメラ本体であることと、絞り値、撮影距離、レンズ、焦点距離、及び撮影時間のうちの少なくとも１つが同一であることと、を含むこと、を特徴とする画像処理装置（５０）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の画像処理装置（５０）であって、前記第二撮影画像（Ｇ２）における前記異物影候補の周辺輝度の標準偏差が閾値以上の場合、前記異物影候補を前記異物影として採用しないこと、を特徴とする画像処理装置（５０）である。
請求項６に記載の発明は、請求項１から５のいずれか１項に記載の画像処理装置（５０）であって、前記第一撮影画像（Ｇ１）における前記異物影候補に対応する座標の位置を含む一定範囲の標準偏差が閾値以下の場合には、前記異物影候補を前記異物影として採用しないこと、を特徴とする画像処理装置（５０）である。
請求項７に記載の発明は、請求項１から６のいずれか１項に記載の画像処理装置（５０）であって、前記第二撮影画像選択部（５５）が選択した第二撮影画像（Ｇ２）が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像（Ｇ２）から選択された場合、該異物影候補を含む一定範囲の輝度と、前記第一撮影画像（Ｇ１）における前記座標の位置に対応する部分を含む一定範囲の輝度と、が最も近い第二撮影画像（Ｇ２）の異物影候補を、異物影として採用すること、を特徴とする画像処理装置（５０）である。
請求項８に記載の発明は、請求項１から６のいずれか１項に記載の画像処理装置（５０）であって、前記第二撮影画像選択部（５５）が選択した第二撮影画像（Ｇ２）が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像（Ｇ２）から選択された場合、該異物影候補を含む一定範囲の色相と、前記第一撮影画像（Ｇ１）における前記座標の位置に対応する部分を含む一定範囲の色相と、が最も近い第二撮影画像（Ｇ２）の異物影候補を、異物影として採用すること、を特徴とする画像処理装置（５０）である。
請求項９に記載の発明は、請求項１から８のいずれか１項に記載の画像処理装置（５０）の機能をコンピュータに実行させるための画像処理プログラムである。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
【発明の効果】
【０００７】
本発明によれば、より容易に撮影画像中の異物影を検出可能な画像処理装置及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態におけるレンズ交換式のカメラの構成を示す図である。
【図２】カメラと画像処理装置を構成するパーソナルコンピュータおよび周辺装置を示すブロック図である。
【図３】異物影情報取得・画像の補正処理を行う画像処理装置の機能ブロック図である。
【図４】画像処理装置における異物影情報取得部の機能ブロック図である。
【図５】異物影情報取得のフローチャートである。
【図６】画像の補正処理のフローチャートである。
【図７】第一撮影画像を示す図である。
【図８】第二撮影画像を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面等を参照して、本発明の実施形態について説明する。
図１は、レンズ交換式のカメラ１の構成を示す図である。図２は、カメラ１と画像処理装置を構成するパーソナルコンピュータ（ＰＣ）３０及び周辺装置を示すブロック図である。
カメラ１は、被写体像を電気信号に変換した画像データとして出力する電子スチルカメラである。本実施形態は、カメラ１が撮影した画像データを、画像処理装置として機能するＰＣ３０が取得して後述する異物影の検出及び補正処理を行うものである。
【００１０】
カメラ１は、カメラボディ２と、カメラボディ２に対して着脱可能な撮像レンズ３とにより構成されている。撮像レンズ３は、複数の光学レンズ群（図１においては１枚のレンズで示す）を有する結像光学系３Ｌを備えている。
【００１１】
カメラボディ２は、シャッタ１１、光学フィルタ１２、撮像素子１３、画像処理部１４、操作部１５、表示部１６、メモリカード用インターフェース（以下、「メモリカードＩＦ」と記す）１７、外部インターフェース（以下、「外部ＩＦ」と記す）１８、電源１９、制御部２０等を備えている。
【００１２】
シャッタ１１は、結像光学系３Ｌから撮像素子１３へ向かう撮影光を遮蔽及び通過させることによって、露光時間を調整する。
光学フィルタ１２は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。なお、図１中の符号４は、この光学フィルタ１２の表面に付着した塵や埃などの異物を示す。このような撮影光の光路上にあって撮影光を透過する光学フィルタ１２に異物４が付着していると、撮像素子１３によって取得される画像データのなかに、異物影の影響を受けた画素が含まれる場合がある。
【００１３】
撮像素子１３は、ＣＣＤやＣＭＯＳ等の光電変換素子であって、複数の画素から構成される矩形形状の撮像領域を有している。そして、撮像素子１３は、その結像面に結像された像を電気信号に変換し、被写体像に対応する画像信号（撮像信号）を出力する。撮像素子１３から出力された画像信号は、所定のアナログ信号処理の後、Ａ／Ｄ変換されて画像処理部１４に入力される。
【００１４】
画像処理部１４は、撮像素子１３から入力された画像データに対して、補間，階調変換や輪郭強調などの画像処理を行う。
操作部１５は、撮影者が撮影タイミング等を決定する信号を入力するレリーズボタンや、モード切り換え用の選択ボタン等を備えている。そして、操作部１５は、それらの操作情報を制御部に入力する。
【００１５】
表示部１６は、ＬＣＤ等によって構成され、カメラ１における各種設定メニュー、撮像素子１３による撮像画像やメモリカードに格納された画像データに基づく再生画像を表示する。
【００１６】
メモリカード用ＩＦ１７は、メモリカード（カード状のリムーバブルメモリ）４０とのインターフェースとなる。
外部ＩＦ１８は、所定のケーブルや無線伝送路を介してＰＣ３０等の外部装置とのインターフェースとなる。
電源１９は、カメラ１の各機能部に電力を供給する。
【００１７】
制御部２０は、カメラ１における各機能部を統括制御する。すなわち、制御部２０は、操作部１５におけるレリーズスイッチから撮影指示信号が入力されると、シャッタ１１を駆動制御して露光動作等の撮影動作を制御する。また、制御部２０は、撮像素子１３で取得されて画像処理部１４で画像処理が行われて入力された画像データを、メモリカード用ＩＦ１７に着脱可能に取り付けられたメモリカード４０等に記憶させ、保存する。さらに、制御部２０は、メモリカード４０等に記憶された画像データを呼び出し、表示部１６に表示させる。
【００１８】
上記のように構成されたカメラ１は、撮影時において制御部２０によって制御されて、下記のように作用する。
操作者によって操作部１５のレリーズボタンが押圧操作されると、シャッタ１１を所定時間開放する。撮像素子１３は、結像光学系３Ｌにより撮像領域に結像された光学像に対応する画像信号を生成する。撮像素子１３によって生成された画像信号は、画像データとして画像処理部１４に入力され、画像処理部１４によって所定の画像処理が施される。そして、画像処理部１４で画像処理された画像データに基づいて表示部１６に撮影画像を表示すると共に、その画像データに必要に応じてＪＰＥＧやＲＡＷ等による圧縮処理を施してメモリカード用ＩＦ１７に装着されたメモリカード４０に記憶・保存する。また、外部ＩＦ１８を介して接続された後述するＰＣ３０に、画像データを送出する。
【００１９】
ここで、メモリカード４０に記憶・保存され、又は、外部ＩＦ１８を介してＰＣ３０に送出される画像データは、例えば、Ｅｘｉｆ（ＥＸｃｈａｎｇｅ Ｉｍａｇｅ Ｆｉｌｅ ｆｏｒｍａｔ）ファイルに記録される。Ｅｘｉｆファイルには、カメラボディ２の種類、カメラメーカー名、撮像画素情報、絞り値（Ｆ値）や焦点、シャッタスピード及び露光補正等の露出条件、撮影時刻、撮影距離などの付加情報が共に記録される。
【００２０】
パーソナルコンピュータ（ＰＣ）３０は、図示しないが、ＣＰＵ、メモリ、ハードディスク、メモリカード４０とのインターフェースとなるメモリカード用ＩＦ、ケーブルや無線伝送路を介してカメラ１等の外部装置とのインターフェースとなる外部ＩＦ等を備えている。また、ＰＣ３０には、プリンタ３２やＰＣ操作部としてマウス３４が接続されている。
【００２１】
さらに、ＰＣ３０に接続のＣＤ−ＲＯＭ３３には、異物影検出及び検出された異物の情報に基づいて画像を補正処理するアプリケーションプログラムが予めインストールされている。
【００２２】
つぎに、選択された第一撮影画像をもとに選択された第二画像中における異物影情報を取得し、その検出した異物影情報に基づいて第一撮影画像を補正する処理（異物影情報取得・補正処理）について説明する。
【００２３】
前述したように、ＰＣ３０には、異物影情報取得及び画像補正処理のアプリケーションプログラムがインストールされており、ＰＣ３０は、このプログラムを実行することによって、異物影情報取得及び画像の補正処理を行う画像処理装置５０として機能する。
【００２４】
図３は、異物影情報取得・補正処理を行う画像処理装置５０の機能ブロック図である。図４は、画像処理装置５０における異物影情報取得部６０の機能ブロック図である。
【００２５】
画像処理装置５０は、メモリカード３０を介して提供された、又は、カメラ１の外部インターフェース１８から伝送された画像データを保存する保存領域５１と、保存領域５１に保存された撮影画像を表示するモニタ５２と、その表示を制御する表示制御部５３とを備えている。
【００２６】
また、画像処理装置５０は、保存領域５１に保存された撮影画像データから、異物影候補を選択し、異物影候補の座標及び異物影候補の部分の輝度低下量を取得する異物影情報取得部６０と、マウス３４等を介して補正対象となる画像を選択可能な第一撮影画像選択部５４と、選択された第一撮影画像をもとに、保存領域５１から第二撮影画像を選択する第二撮影画像選択部５５と、第二撮影画像における、異物影情報取得部６０によって検出された異物影情報に基づいて、第一撮影画像中の対応部分を補正する補正部５６と、を備えている。
【００２７】
異物影情報取得部６０は、図４に示すように、連結領域判定部６１と、対象領域抽出部６２と、輝度判定部６３とを備えている。
【００２８】
次に、異物影情報取得処理及び補正処理について説明する。
（異物影情報取得）
画像処理装置５０の保存領域５１に、メモリカード４０を介して、又は、カメラ１の外部インターフェース１８を介して撮影画像が入力される。そうすると、画像処理装置５０の異物影情報取得部６０は、保存領域５１に入力された撮影画像から異物影情報取得を行う。
ここで、異物影情報とは、異物影が存在する位置の座標及び異物影の部分の輝度低下量（ゲインマップ）等である。
この異物影情報取得は、保存領域に画像が転送された時点で自動的に行ってもよく、また、操作者の操作によって開始するものであってもよい。
【００２９】
図５は、異物影情報取得部６０における異物影情報取得処理画の流れを説明するフローチャートである。図５及び以下の説明中、ステップを「Ｓ」とも略記する。
まず、ステップＳ５１で連結領域判定部６１は、画像を形成するＲＧＢによる各画素の画像データの輝度平面を求め、その明度平面に対して逆ガンマ補正をかけ、入出力の関係を線形に戻す。そして、逆ガンマ補正後の輝度平面から、輝度勾配平面を生成する。
輝度勾配平面では、異物影の周縁部では高い画素値を示し、空などの一様な平面では低い画素値を示す。つまり、エッジ部分では高い画素値を示し、これによって異物影のエッジ部分を検出できる。
【００３０】
次に、連結領域判定部６１は、所定の閾値を設定して、輝度勾配平面を２値画像に変換する。すなわち、閾値より高い輝度勾配値を有する画素を「１」、閾値より低い輝度勾配値を有する画素を「０」と置換する。
そして、ステップＳ５２において、連結領域判定部６１は、このようにして得られた２値画像から、「１」の画素が連結した領域（連結画素領域）を抽出する。連結画素領域とは、例えば、矩形の画素の４辺の内の少なくとも１辺で連続した（４近傍の）画素領域とする。この連結画素領域が、異物影の可能性のある領域である。
【００３１】
ステップＳ５３において、対象領域抽出部６２は、連結領域判定部６１によって抽出された連結画素領域の中から、異物影のサイズ（大小）に基づいて補正候補領域を抽出する。この対象領域抽出部６２における異物影の大きさの判別は、画素数によって規定する。
ここで、対象領域抽出部６２は、連結画素領域から補正候補領域を抽出する際において、異物影の絶対的な大きさを基準とする。ここでは、一般的な異物のサイズと異物影のサイズがほぼ等しいものとして、最小１００μｍ×１００μｍ〜最大４００μｍ×４００μｍの大きさを検出対象とする。
【００３２】
そして、対象領域抽出部６２では、上記異物影の画素数によって表される面積を閾値として、連結領域判定部６１において２値画像から抽出された連結画素領域の大きさ（画素数）がこの閾値内に含まれるものを選択する。
【００３３】
さらにステップＳ５４において輝度判定部６３は、先の連結領域判定部６１において説明したＨＳＶ変換によって求められた輝度値Ｖ（Ｖａｌｕｅ）と画像平面に対応する輝度平面とを用い、連結画素領域における内外の輝度を比較する。ここで、異物影は、内部の輝度が周辺の輝度に比較して低く、輝度比（内部の輝度／周辺の輝度）は１よりとても小さい。このため、輝度比が小さい所定の閾値を設定し、連結画像領域の輝度比がこの閾値より小さいに場合にのみ、異物影として判定する。
【００３４】
ここで、異物影の周囲の一定範囲の輝度の標準偏差が閾値以上の場合、異物影として採用しない。これは、検出された異物影の周囲の輝度の標準偏差が大きいときは、テクスチャー上の影のために、実際の異物影であることの信頼性が低いからである。
【００３５】
そして、ステップＳ５５において、異物影情報取得部６０は、異物影の輝度低下量と異物位置情報（座標）を取得し、それぞれの撮影画像に関連付けて保存領域５１に保存するする。
【００３６】
（補正対象画像選択）
図６は異物影除去動作を示すフローチャートである。
ステップＳ６１においてＰＣの表示制御部５３は、操作者によるＰＣ操作部３４の操作に基づいて保存領域５１に保存された撮影画像を、モニタ５２に撮影画像を表示させる。
この際、ＰＣ制御部は、撮影画像を多数の画像を一覧表示するために縮小されたサムネイム画像の形で表示してもよく、また、一枚の画像を順次選択するようにしても良い。
【００３７】
ステップＳ６２において、操作者のＰＣ操作部の操作を介して、第一画像選択部５４は、モニタ５２に表示された撮影画像のうちの、異物影の除去を希望する第一の撮影画像Ｇ１を選択する。
図７は、選択された画像の一例としての第一撮影画像Ｇ１を示す。図７の第一撮影画像Ｇ１において、木々の部分に異物影４Ａが存在する。このような異物影は、例えば光学フィルタ１２の前面に付着した異物（異物４）（図１参照）により生じている。しかし、本実施形態の第一撮影画像Ｇ１は、異物影４Ａの輝度勾配と、木々の輝度勾配が重なってしまい、輝度勾配により異物影を検出する手法では、異物影を検出することが困難となっている。
【００３８】
（第二画像選択）
ステップＳ６３において、第一の撮影画像Ｇ１が選択されると、第二撮影画像選択部５５は、保存領域に保存されている複数の撮影画像のうち、第一撮影画像Ｇ１と撮影条件が同一又は略同一である第二撮影画像Ｇ２を検索して選択する。
【００３９】
この場合、撮影条件の同一性の判断は、第一撮影画像Ｇ１のＥｘｉｆ情報と第二撮影画像Ｇ２のＥｘｉｆ情報とを基に行う。
具体的には、Ｅｘｉｆ情報における、カメラボディ（カメラ種類）２、絞り値（Ｆ値）、焦点距離、撮影時刻、レンズ、撮影距離等が同一であることが判断基準である。
これらの撮影条件のうち、カメラボディ２が同一であることとは本実施形態において必須とする。本実施形態は、同一のカメラボディ２で撮影した場合に、異なる撮影画像であっても、カメラボディ２内に配置されている光学フィルタ１２に付着した異物は、同じ位置に影として移り込む現象を利用して異物影を補正するものであるからである。
【００４０】
その他の撮影条件は、少なくとも１つ以上、特に、絞り値が一致することが好ましく、焦点距離、撮影時間等も同一であることがより好ましい。全ての条件が一致することがさらに好ましい。
第二撮影画像選択部５２により選択される第二撮影画像Ｇ２は、選択条件に応じて、１以上又は複数選択される。なお、１枚も選択されなかった場合は、モニタ５２に、選択枚数ゼロ等の警告表示が出るようにしてもよい。
図８は、第二撮影画像選択部５２により第二撮影画像Ｇ２が複数選択された場合の２つの画像Ｇ２（１）及びＧ２（２）を示す図である。
ここで、Ｇ２（１）に関しては、空の部分に異物影４Ａａが有り、また、山のエッジからも遠いために異物影の検出が容易である。画像Ｇ２（２）に関しても空（色は濃いが検出可能）の部分に異物影４Ａｂがあり検出可能である。
【００４１】
（第二画像から第一撮影画像に適用される異物影情報取得）
ステップＳ６４において、第二撮影画像Ｇ２が選択されると、画像処理装置５０は、第二撮影画像の異物影情報（異物影の位置の座標、及び輝度低下量（ゲインマップ））を読み出す。
【００４２】
（表示）
ステップＳ６５において、第二撮影画像Ｇ２のそれぞれにおいて検出された異物影の位置を、第一撮影画像における異物影位置として、第一撮影画像が表示されているモニタ画面に重ねて表示する。
すなわち、１枚目の第二撮影画像に異物影Ａ１が検出され、２枚目の第二撮影画像における同じ位置にＡ２、異なる位置にＢの異物影が検出され、３枚目の第二撮影画像における、Ａ１と同じ位置にＡ３、Ａ１とＢと異なる位置に異物影Ｃが検出された場合は、モニタ画面上の第一画像に、位置Ａ、Ｂ，Ｃが表示される。
【００４３】
（補正）
ステップＳ６６において操作者は、操作部を介して、モニタ画面に表示されている位置Ａ，Ｂ，Ｃのうち、補正を希望する部分を選択する。処理開始を選択すると、選択した部分の補正が行われる。
なお、ここで、表示や選択をすることなく、第一撮影画像を選択すると、選択された第二画像から自動的に補正が行われても良い。
【００４４】
ここで、複数の第二撮影画像の同一位置に異物影が検出されている場合
１）複数の第二撮影画像のそれぞれにおける異物影を含む一定範囲の輝度を、第一撮影画像におけるその座標の位置に対応する部分を含む一定範囲の輝度と比較する。そして、該第一撮影画像における対応部分の周囲の輝度と最も近い輝度を有する第二撮影画像の異物影を、異物影として採用する。それは異物影の周囲の輝度が近いと、該異物影によるゲインの低下量が同等になると考えられるからである。
【００４５】
２）また、１）の替わりに、複数の第二撮影画像のそれぞれにおける異物影を含む一定範囲の色相を、第一撮影画像におけるその座標の位置に対応する部分を含む一定範囲の色相とを比較する。そして、該第一撮影画像における対応部分の周囲の色相と最も近い色相を有する第二撮影画像の異物影を、異物影として採用してもよい。これも異物影の周囲の色相が近いと、該異物影によるゲインの低下量が同等になると考えられるからである。
３）さらに、１）、２）の替わりに、これらの両方を参照するようにしても良い。
４）さらに、複数の第二撮影画像における同一位置の輝度低下量を平均しても良い。
【００４６】
補正部５６は、上述のように選択された第二撮影画像Ｇ２中に写り込んだ異物影情報としてのゲインマップと異物位置情報（座標）を用いて第一撮影画像を補正して異物影の輝度を低減又は削除する補正を行う。
【００４７】
すなわち、補正部５６は、第一撮影画像Ｇ１中について、第二撮影画像Ｇ２から取得したゲインマップを用い、第一撮影画像Ｇ１の輝度に、輝度信号の逆数を掛け算して、ゲイン補正を行う。これにより、第一撮影画像Ｇ１中に出現する異物影等の異物による輝度の変化を低減もしくは除去する画像補正を行う。
【００４８】
以上、本実施形態によると、第一撮影画像において、異物影の特定が困難な位置に、第二撮影画像において異物影が検出できた場合に、第一撮影画像においても同じ位置に異物影が存在する推測し、第二撮影画像の異物影情報に基づいて第一撮影画像を補正することが可能となる。そして、これによって、複数の撮影画像の異物影の検出結果を用いることにより、異物影の検出しにくい画像における異物影の補正が可能となる。
【００４９】
（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
【００５０】
（１）上記実施形態において、保存領域５１に撮影画像が入力された時点で、入力された全ての撮影画像について異物影情報取得を行う形態について説明した。しかし、本発明はこれに限定されない。例えば、第一撮影画像が選択され、それに基づいて第二撮影画像が選択された後、選択された第二撮影画像について異物影情報を取得するものであってもよい。
この変形形態によると、選択された第二撮影画像についてのみ異物影情報が取得されるので、全体として処理量が減少する。一方、本実施形態の場合は、予め、全ての撮影画像について異物影情報が取得されているので、第二撮影画像が選択された後の処理時間が減少する。
【００５１】
（２）上記実施形態では、電子スチルカメラであるカメラ１によって撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナ等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。
【００５２】
（３）上記実施の形態では、電子スチルカメラであるカメラ１で撮影した画像データをＰＣ（パソコン）３０で処理して異物の影響を除去する例を説明したが、この内容に限定するものではない。カメラ１にそのようなプログラムを備えてもよい。その場合、カメラ１の液晶画面での欠陥位置の特定は、タッチパネル方式や、カメラ背面に設けられた十字キー等で行ってもよい。
また、プリンタや投影装置などにそのようなプログラムを備えてもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。
【００５３】
（４）ＰＣ３０で実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体に限らず、インターネットなどのデータ信号を通じて提供することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【００５４】
１：カメラ、２：カメラボディー、１２：光学フィルタ、１３：撮像素子、１７：メモリカード用ＩＦ、１８：外部ＩＦ、３０：パーソナルコンピュータ（ＰＣ）、３３：ＣＤ−ＲＯＭ、３４：マウス、５１：保存領域、５２：モニタ、５３：常時制御部、５４：第一撮影画像選択部、５５：第二撮影画像選択部、５６：補正部、６０：異物影情報取得部
【特許請求の範囲】
【請求項１】
補正対象の第一撮影画像の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像を選択する第二撮影画像選択部と、
前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部と、
前記異物影情報取得部により取得された、前記第二撮影画像における該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量をもとに、前記第一撮影画像を補正する補正部と、を備えること、
を特徴とする画像処理装置。
【請求項２】
補正対象の第一撮影画像の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像を選択する第二撮影画像選択部と、
前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部と、
前記異物影候補を異物影として採用し、前記異物影情報取得部により取得された前記異物影候補の前記座標を、前記第一撮影画像に表示する表示部と、を備えること、
を特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記第二撮影画像選択部は、前記第一撮影画像の撮影条件に近い撮影条件で撮影された画像を前記第二撮影画像として選択すること、
を特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記撮影条件は、前記第一撮影画像を撮影したカメラ本体と同一のカメラ本体であることと、絞り値、撮影距離、レンズ、焦点距離、及び撮影時間のうちの少なくとも１つが同一であること、を含むこと、
を特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置であって、
前記第二撮影画像における前記異物影候補の周辺輝度の標準偏差が閾値以上の場合、前記異物影候補を前記異物影として採用しないこと、
を特徴とする画像処理装置。
【請求項６】
請求項１から５のいずれか１項に記載の画像処理装置であって、
前記第一撮影画像における前記異物影候補に対応する座標の位置を含む一定範囲の標準偏差が閾値以下の場合には、前記異物影候補を前記異物影として採用しないこと、
を特徴とする画像処理装置。
【請求項７】
請求項１から６のいずれか１項に記載の画像処理装置であって、
前記第二撮影画像選択部が選択した第二撮影画像が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像から選択された場合、
該異物影候補を含む一定範囲の輝度と、前記第一撮影画像における前記座標の位置に対応する部分を含む一定範囲の輝度と、が最も近い第二撮影画像の異物影候補を、異物影として採用すること、
を特徴とする画像処理装置。
【請求項８】
請求項１から６のいずれか１項に記載の画像処理装置であって、
前記第二撮影画像選択部が選択した第二撮影画像が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像から選択された場合、
該異物影候補を含む一定範囲の色相と、前記第一撮影画像における前記座標の位置に対応する部分を含む一定範囲の色相と、が最も近い第二撮影画像の異物影候補を、異物影として採用すること、
を特徴とする画像処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。
【請求項１】
補正対象の第一撮影画像の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像を選択する第二撮影画像選択部と、
前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部と、
前記異物影情報取得部により取得された、前記第二撮影画像における該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量をもとに、前記第一撮影画像を補正する補正部と、を備えること、
を特徴とする画像処理装置。
【請求項２】
補正対象の第一撮影画像の撮影条件をもとに、保存されている撮影画像から、異物影情報取得用の第二撮影画像を選択する第二撮影画像選択部と、
前記撮影画像に写り込んでいる影の中から異物影の可能性がある異物影候補を抽出し、それぞれの撮影画像に対して、該異物影候補が存在する位置の座標及び該異物影候補の部分の輝度低下量を取得する異物影情報取得部と、
前記異物影候補を異物影として採用し、前記異物影情報取得部により取得された前記異物影候補の前記座標を、前記第一撮影画像に表示する表示部と、を備えること、
を特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記第二撮影画像選択部は、前記第一撮影画像の撮影条件に近い撮影条件で撮影された画像を前記第二撮影画像として選択すること、
を特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記撮影条件は、前記第一撮影画像を撮影したカメラ本体と同一のカメラ本体であることと、絞り値、撮影距離、レンズ、焦点距離、及び撮影時間のうちの少なくとも１つが同一であること、を含むこと、
を特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置であって、
前記第二撮影画像における前記異物影候補の周辺輝度の標準偏差が閾値以上の場合、前記異物影候補を前記異物影として採用しないこと、
を特徴とする画像処理装置。
【請求項６】
請求項１から５のいずれか１項に記載の画像処理装置であって、
前記第一撮影画像における前記異物影候補に対応する座標の位置を含む一定範囲の標準偏差が閾値以下の場合には、前記異物影候補を前記異物影として採用しないこと、
を特徴とする画像処理装置。
【請求項７】
請求項１から６のいずれか１項に記載の画像処理装置であって、
前記第二撮影画像選択部が選択した第二撮影画像が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像から選択された場合、
該異物影候補を含む一定範囲の輝度と、前記第一撮影画像における前記座標の位置に対応する部分を含む一定範囲の輝度と、が最も近い第二撮影画像の異物影候補を、異物影として採用すること、
を特徴とする画像処理装置。
【請求項８】
請求項１から６のいずれか１項に記載の画像処理装置であって、
前記第二撮影画像選択部が選択した第二撮影画像が複数存在し、同一の座標の位置に存在する異物影候補が複数の前記第二撮影画像から選択された場合、
該異物影候補を含む一定範囲の色相と、前記第一撮影画像における前記座標の位置に対応する部分を含む一定範囲の色相と、が最も近い第二撮影画像の異物影候補を、異物影として採用すること、
を特徴とする画像処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２１３０７５（Ｐ２０１２−２１３０７５Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７８１１７（Ｐ２０１１−７８１１７）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]