画像処理装置及び画像処理プログラム
【課題】より容易に撮影画像中の異物を検出可能な画像処理装置及び画像処理プログラムを提供する。
【解決手段】画像処理装置は、第一の撮影画像中における特定位置を選択可能な位置選択部３４と、前記第一の撮影画像中において、前記位置選択部３４により選択された位置を含む一定の範囲を決定する範囲決定部６１と、前記第一の撮影画像と異なる第二の撮影画像を選択する画像選択部６２と、前記第二の撮影画像中における、前記第一の撮影画像の前記一定の範囲に対応する対応範囲から、前記第二の撮影画像中に移りこんだ異物影情報を取得する異物影情報取得部６３と、を備える。
【解決手段】画像処理装置は、第一の撮影画像中における特定位置を選択可能な位置選択部３４と、前記第一の撮影画像中において、前記位置選択部３４により選択された位置を含む一定の範囲を決定する範囲決定部６１と、前記第一の撮影画像と異なる第二の撮影画像を選択する画像選択部６２と、前記第二の撮影画像中における、前記第一の撮影画像の前記一定の範囲に対応する対応範囲から、前記第二の撮影画像中に移りこんだ異物影情報を取得する異物影情報取得部６３と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
電子カメラ等により撮像を行う際、光学フィルタ等に異物が付着していると、異物の影が撮像画像に写り込む場合がある。このように画像に写り込んだ異物影等による画像欠損部位を補正するものとして、異物影の写り込んだ基準画像から異物位置の座標等の情報を得て、その情報に基づいて通常撮影された撮影画像に写り込んだ異物影による画像欠損を補正する画像処理装置が知られている。
また、補正対象の画像における異物影による透過率の変化（各画素における輝度情報の変化）から異物を検出し、異物影を削除する補正を行う技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては、異物の写り込んだ基準画像を撮影する必要がある。また、撮影画像と基準画像とにおいて、異物位置の座標等が異なる場合もある。
【０００５】
本発明の課題は、より容易に撮影画像中の異物を検出可能な画像処理装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００７】
請求項１に記載の発明は、第一の撮影画像（Ｇ１）中における特定位置を選択可能な位置選択部（３４）と、前記第一の撮影画像（Ｇ１）中において、前記位置選択部（３４）により選択された位置を含む一定の範囲（Ｅ１）を決定する範囲決定部（６１）と、前記第一の撮影画像（Ｇ１）と異なる第二の撮影画像（Ｇ２）を選択する画像選択部（６２）と、前記第二の撮影画像（Ｇ２）中における、前記第一の撮影画像（Ｇ１）の前記一定の範囲（Ｅ１）に対応する対応範囲（Ｅ２）から、前記第二の撮影画像（Ｇ２）中に移りこんだ異物影情報を取得する異物影情報取得部（６３）と、を備えること、を特徴とする画像処理装置（５０）である。
請求項２に記載の発明は、請求項１に記載の画像処理装置（５０）であって、前記画像選択部（６２）は、前記第二の撮影画像（Ｇ２）として、前記第一の撮影画像（Ｇ１）の撮影条件に近い撮影条件で撮影された画像を選択すること、を特徴とする画像処理装置（５０）である。
請求項３に記載の発明は、請求項２に記載の画像処理装置（５０）であって、前記撮影条件は、前記第一の撮影画像（Ｇ１）を撮影したカメラ本体と同一のカメラ本体であることと、絞り値、撮影距離、レンズ、焦点距離、及び撮影時間のうちの少なくとも１つが同一であることと、を含むこと、を特徴とする画像処理装置（５０）である。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の画像処理装置（５０）であって、前記異物影情報取得部（６３）は、輝度情報を用いて異物影情報を取得すること、を特徴とする画像処理装置（５０）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の画像処理装置（５０）であって、前記画像選択部（６２）は、前記第二の撮影画像（Ｇ２）として、前記第一の撮影画像（Ｇ１）と同じファイル型式にした場合に、前記対応範囲（Ｅ２）内に前記異物影情報を有し、かつ、前記対応範囲（Ｅ２）周辺の輝度が第一の撮影画像（Ｇ１）と同一又はもっとも近い画像を選択すること、を特徴とする画像処理装置（５０）である。
請求項６に記載の発明は、請求項１から４のいずれか１項に記載の画像処理装置（５０）であって、前記画像選択部（６２）は、前記第二の撮影画像（Ｇ２）として、前記第一の撮影画像（Ｇ１）と同じファイル型式にした場合に、前記対応範囲（Ｅ２）内に前記異物影情報を有し、かつ、前記範囲周辺の色相が第一の撮影象画像と同一又はもっとも近い画像を選択すること、を特徴とする画像処理装置（５０）である。
請求項７に記載の発明は、請求項１から６のいずれか１項に記載の画像処理装置（５０）であって、前記画像選択部（６２）は、前記第二の撮影画像（Ｇ２）として、前記対応範囲（Ｅ２）内に前記異物影情報を有し、かつ、前記対応範囲（Ｅ２）周辺の輝度の標準偏差が最も小さい画像を選択すること、を特徴とする画像処理装置（５０）である。
請求項８に記載の発明は、請求項１から７のいずれか１項に記載の画像処理装置（５０）であって、前記画像選択部（６２）は、前記第二の撮影画像（Ｇ２）における、前記対応範囲（Ｅ２）の平均した輝度のプロファイルから、前記第一の撮影画像（Ｇ１）を補正するためのデータを作成すること、を特徴とする画像処理装置（５０）である。
請求項９に記載の発明は、請求項１から８のいずれか１項に記載の画像処理装置（５０）であって、前記画像選択部（６２）は、前記第一の撮影画像（Ｇ１）以外の撮影画像から、シャッタスピードの異なるものを前記第二の撮影画像（Ｇ２）として選択すること、を特徴とする画像処理装置（５０）である。
請求項１０に記載の発明は、請求項１から９のいずれか１項に記載の画像処理装置（５０）であって、画像の補正部（５１）を備えること、を特徴とする画像処理装置（５０）である。
請求項１１に記載の発明は、請求項１から１０のいずれか１項に記載の画像処理装置（５０）の機能をコンピュータ（３０）に実行させること、を特徴とする画像処理プログラムである。
【発明の効果】
【０００８】
本発明によれば、より容易に撮影画像中の異物を検出可能な画像処理装置及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態におけるレンズ交換式のカメラの構成を示す図である。
【図２】カメラと画像処理装置を構成するパーソナルコンピュータ及び周辺装置を示すブロック図である。
【図３】画像欠損補正処理を行う画像処理装置の機能ブロック図である。
【図４】画像処理装置における欠損判定部の機能ブロック図である。
【図５】画像処理装置による異物影情報検出及び画像の補正処理の流れを説明するフローチャートである。
【図６】モニタ上に表示された第一の撮影画像の一例である。
【図７】（ａ）、（ｂ）共に、第二の撮影画像の例である。
【発明を実施するための形態】
【００１０】
以下、図面等を参照して、本発明の実施形態について説明する。
図１は、レンズ交換式のカメラ１の構成を示す図である。図２は、カメラ１と画像処理装置を構成するパーソナルコンピュータ（ＰＣ）３０及び周辺装置を示すブロック図である。
カメラ１は、被写体像を電気信号に変換した画像データとして出力する電子スチルカメラである。本実施形態は、カメラ１が撮影した画像データを、画像処理装置として機能するＰＣ３０が取得して後述する異物影の検出及び補正処理を行うものである。
【００１１】
カメラ１は、カメラボディ２と、カメラボディ２に対して着脱可能な撮像レンズ３とにより構成されている。撮像レンズ３は、複数の光学レンズ群（図１においては１枚のレンズで示す）を有する結像光学系３Ｌを備えている。
【００１２】
カメラボディ２は、シャッタ１１、光学フィルタ１２、撮像素子１３、画像処理部１４、操作部１５、表示部１６、メモリカード用インターフェース（以下、「メモリカードＩＦ」と記す）１７、外部インターフェース（以下、「外部ＩＦ」と記す）１８、電源１９、制御部２０等を備えている。
【００１３】
シャッタ１１は、結像光学系３Ｌから撮像素子１３へ向かう撮影光を遮蔽及び通過させることによって、露光時間を調整する。
光学フィルタ１２は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。なお、図１中の符号４は、この光学フィルタ１２の表面に付着した塵や埃などの異物を示す。このような撮影光の光路上にあって撮影光を透過する光学フィルタ１２に異物４が付着していると、撮像素子１３によって取得される画像データのなかに、異物影の影響を受けた画素が含まれる場合がある。
【００１４】
撮像素子１３は、ＣＣＤやＣＭＯＳ等の光電変換素子であって、複数の画素から構成される矩形形状の撮像領域を有している。そして、撮像素子１３は、その結像面に結像された像を電気信号に変換し、被写体像に対応する画像信号（撮像信号）を出力する。撮像素子１３から出力された画像信号は、所定のアナログ信号処理の後、Ａ／Ｄ変換されて画像処理部１４に入力される。
【００１５】
画像処理部１４は、撮像素子１３から入力された画像データに対して、補間，階調変換や輪郭強調などの画像処理を行う。
操作部１５は、撮影者が撮影タイミング等を決定する信号を入力するレリーズボタンや、モード切り換え用の選択ボタン等を備えている。そして、操作部１５は、それらの操作情報を制御部に入力する。
【００１６】
表示部１６は、ＬＣＤ等によって構成され、カメラ１における各種設定メニュー、撮像素子１３による撮像画像やメモリカードに格納された画像データに基づく再生画像を表示する。
【００１７】
メモリカード用ＩＦ１７は、メモリカード（カード状のリムーバブルメモリ）４０とのインターフェースをとなる。
外部ＩＦ１８は、所定のケーブルや無線伝送路を介してＰＣ３０等の外部装置とのインターフェースとなる。
電源１９は、カメラ１の各機能部に電力を供給する。
【００１８】
制御部２０は、カメラ１における各機能部を統括制御する。すなわち、制御部２０は、操作部１５におけるレリーズスイッチから撮影指示信号が入力されると、シャッタ１１を駆動制御して露光動作等の撮影動作を制御する。また、制御部２０は、撮像素子１３で取得されて画像処理部１４で画像処理が行われて入力された画像データを、メモリカード用ＩＦ１７に着脱可能に取り付けられたメモリカード４０等に記憶させ、保存する。さらに、制御部２０は、メモリカード４０等に記憶された画像データを呼び出し、表示部１６に表示させる。
【００１９】
上記のように構成されたカメラ１は、撮影時において制御部２０によって制御されて、下記のように作用する。
操作者によって操作部１５のレリーズボタンが押圧操作されると、シャッタ１１を所定時間開放する。撮像素子１３は、結像光学系３Ｌにより撮像領域に結像された光学像に対応する画像信号を生成する。撮像素子１３によって生成された画像信号は、画像データとして画像処理部１４に入力され、画像処理部１４によって所定の画像処理が施される。そして、画像処理部１４で画像処理された画像データに基づいて表示部１６に撮影画像を表示すると共に、その画像データに必要に応じてＪＰＥＧやＲＡＷ等による圧縮処理を施してメモリカード用ＩＦ１７に装着されたメモリカード４０に記憶・保存する。また、外部ＩＦ１８を介して接続された後述するＰＣ３０に、画像データを送出する。
【００２０】
ここで、メモリカード４０に記憶・保存され、又は、外部ＩＦ１８を介してＰＣ３０に送出される画像データは、例えば、Ｅｘｉｆ（ＥＸｃｈａｎｇｅ Ｉｍａｇｅ Ｆｉｌｅ ｆｏｒｍａｔ）ファイルに記録される。Ｅｘｉｆファイルには、カメラボディ２の種類、カメラメーカー名、撮像画素情報、絞り値（Ｆ値）や焦点、シャッタスピード及び露光補正等の露出条件、撮影時刻、撮影距離などの付加情報が共に記録される。
【００２１】
パーソナルコンピュータ（ＰＣ）３０は、図示しないが、ＣＰＵ、メモリ、ハードディスク、メモリカード４０とのインターフェースとなるメモリカード用ＩＦ、ケーブルや無線伝送路を介してカメラ１等の外部装置とのインターフェースとなる外部ＩＦ等を備えている。また、ＰＣ３０には、画像表示部としてのモニタ３１やプリンタ３２等が接続されていると共に、モニタ３１に表示された撮影画像中における異物影等の異物が写り込んだ特定位置をユーザが任意選択的に指し示す選択部としてのマウス３４が接続されている。
【００２２】
さらに、ＰＣ３０に接続のＣＤ−ＲＯＭ３３には、異物影等の異物検出及び検出された異物の情報に基づいて画像を補正処理するアプリケーションプログラムが予めインストールされている。
【００２３】
つぎに、撮影された第一の撮影画像中における異物影等による異物影情報を検出し、その検出した異物影情報に基づいて第一の撮影画像を補正する処理（異物影情報検出・補正処理）について説明する。
【００２４】
異物影情報検出・補正処理は、メモリカード３０を介して提供された、又は、カメラ１の外部インターフェース１８から伝送された画像処理完了後の画像データに対して、ＰＣ３０によって行われる。
前述したように、ＰＣ３０には、異物影情報検出及び画像補正処理のアプリケーションプログラムがインストールされており、ＰＣ３０は、このプログラムを実行することによって、異物影情報検出及び画像の補正処理を行う画像処理装置５０として機能する。
【００２５】
図３は、異物影情報検出・補正処理を行う画像処理装置５０の機能ブロック図である。図４は、画像処理装置５０における異物影検出部６０の機能ブロック図である。
ＰＣ３０とプログラムとによって機能する画像処理装置５０は、図３に示すように、異物影情報を検出する異物影検出部６０と、異物影検出部６０によって検出された異物影情報に基づいて、その異物による異物影を補正する補正部５１と、を備えている。
異物影検出部６０は、図４に示すように、範囲決定部６１と、画像選択部６２と、異物影情報取得部６３と、を備えている。そして、異物影情報取得部６３はさらに、連結領域判定部６４と、対象領域抽出部６５と、輝度判定部６６とを備えている。
【００２６】
図５は、画像処理装置５０における異物影情報検出及び画像の補正処理の流れを説明するフローチャートである。図５のフローチャートに従って、画像処理装置５０における異物影情報検出及び画像の補正処理の流れを説明する。図５及び以下の説明中、ステップを「Ｓ」とも略記する。
【００２７】
まず、画像処理装置５０を含むＰＣ３０は、ステップＳ０１において、メモリカード４０を介して、又は、カメラ１の外部インターフェース１８を介して入力された第一（対象）の撮影画像Ｇ１のデータを読み込む。
【００２８】
ステップＳ０２では、読み込んだ第一の撮影画像Ｇ１をモニタ３１上に表示する。図６は、モニタ３１上に表示された第一の撮影画像Ｇ１の一例を示す。図６の第一の撮影画像Ｇ１において、木々に囲まれた部分に異物影４Ａがある。このような異物影は、例えば光学フィルタ１２の前面に付着した異物（異物４）（図１参照）により生じている。
【００２９】
ここで、ユーザは異物影部分を認識することが可能であるが、異物影４Ａの輝度勾配と木々の輝度勾配とが重なり、輝度勾配から異物影４Ａ情報を検出することは困難な可能性がある。
【００３０】
そこで、まず、ステップＳ０３において、モニタ３１上に表示された第一の撮影画像Ｇ１の、異物影４Ａの位置をユーザがマウス３４によりクリックすると、範囲決定部６１は、マウス３４によるクリック位置を中心にして異物影及びその周辺を含めた所定の大きさの検出範囲Ｅを決定する。
ここで、この検出範囲Ｅは、予め規定されていてもよく、また、ユーザがマウス３４を移動させて任意の大きさを設定できるようにしてもよい。
【００３１】
ステップＳ０４で画像選択部６２は、記憶部３５のデータベース３６に保存されている複数の第二の撮影画像のうち、第一の撮影画像Ｇ１と撮影条件が同一又は略同一である第二の撮影画像Ｇ２を検索し選択する。
【００３２】
この場合、撮影条件の同一性の判断は、第一の撮影画像Ｇ１及び第二の撮影画像Ｇ２のＥｘｉｆ情報に代表される撮影情報を基に行う。
具体的には、Ｅｘｉｆ情報等の撮影情報における、カメラボディ（カメラ種類）２、絞り値（Ｆ値）、焦点距離、撮影時刻、レンズ、撮影距離等が同一であることが判断基準である。
これらの撮影条件のうち、カメラボディ２が同一であることとは本実施形態において必須とする。本実施形態は、同一のカメラボディ２で撮影した場合に、異なる撮影画像であっても、カメラボディ２内に配置されている光学フィルタ１２に付着した異物は、同じ位置に影として移り込む現象を利用して異物影を補正するものであるからである。
【００３３】
その他の撮影条件は、少なくとも１つ以上、特に、絞り値が一致することが好ましく、撮影距離、焦点距離、撮影時間等も同一であることがより好ましい。全ての条件が一致することがさらに好ましい。
画像選択部６２により選択される第二の撮影画像Ｇ２は、選択条件に応じて、１以上又は複数選択される。なお、１枚も選択されなかった場合は、モニタ３１に、選択枚数ゼロ等の警告表示が出るようにしてもよい。
図７は、画像選択部６２により第二の撮影画像Ｇ２が複数選択された場合の２つの画像Ｇ２（１）及びＧ２（２）を示す図である。
【００３４】
次に、ステップＳ０５で異物影情報取得部６３は、選択された複数の第二の撮影画像Ｇ２中の、第一の撮影画像Ｇ１中の所定の検出範囲Ｅに対応する対応範囲Ｅ２を特定する。
【００３５】
ステップＳ０６で連結領域判定部６４は、対応範囲Ｅ２内の画像を形成するＲＧＢによる各画素の画像データより輝度平面を求め、輝度平面に対して逆ガンマ補正をかけ、入出力の関係を線形に戻す。そして、逆ガンマ補正後の輝度平面から、輝度勾配平面を生成する。
輝度勾配平面では、異物影の周縁部では高い画素値を示し、空などの一様な平面では低い画素値を示す。つまり、エッジ部分では高い画素値を示し、これによって異物影のエッジ部分を検出できる。
【００３６】
次に、連結領域判定部６４は、所定の閾値を設定して、輝度勾配平面を２値画像に変換する。すなわち、閾値より高い輝度勾配値を有する画素を「１」、閾値より低い明度勾配値を有する画素を「０」と置換する。
そして、ステップＳ０７において、連結領域判定部６４は、このようにして得られた２値画像から、「１」の画素が連結した領域（連結画素領域）を抽出する。連結画素領域とは、例えば、矩形の画素の４辺の内の少なくとも１辺で連続した（４近傍の）画素領域とする。この連結画素領域が、異物影の可能性のある領域である。
【００３７】
ステップＳ０８において、対象領域抽出部６５は、連結領域判定部６４によって抽出された連結画素領域の中から、異物影のサイズ（大小）に基づいて補正候補領域を抽出する。この対象領域抽出部６５における異物影の大きさの判別は、画素数によって規定する。
ここで、対象領域抽出部６５は、連結画素領域から補正候補領域を抽出する際において、異物影の絶対的な大きさを基準とする。ここでは、一般的な異物のサイズと異物影のサイズがほぼ等しいものとして、最小１００μｍ×１００μｍ〜最大４００μｍ×４００μｍの大きさを検出対象とする。
【００３８】
そして、対象領域抽出部６５では、上記異物影の画素数によって表される面積を閾値として、連結領域判定部６４において２値画像から抽出された連結画素領域の大きさ（画素数）がこの閾値内に含まれるものを、補正対象となり得る異物影候補と判定し、選択する。
【００３９】
さらにステップＳ９において輝度判定部６６は、先の連結領域判定部６４において説明した輝度値と画像平面に対応する輝度平面とを用い、連結画素領域における内外の輝度を比較する。ここで、ゴミ影は、内部の輝度が周辺の輝度に比較して低く、輝度比（内部の輝度／周辺の輝度）は１よりとても小さい。このため、輝度比が小さい所定の閾値を設定し、連結画像領域の輝度比がこの閾値より小さいに場合にのみ、異物影であると判定し、選択する。
【００４０】
そしてステップＳ１１において、異物影情報取得部６３は、異物影であると判定された影を有する第二の撮影画像Ｇ２の範囲Ｅ２における、ゲインマップと異物位置情報（座標）を取得する。
【００４１】
ここで、異物影が存在すると検出された画像が複数である場合、それらの複数の第二の撮影画像Ｇ２中における、範囲Ｅ２の輝度の標準偏差をそれぞれ演算する。そして、第二の撮影画像Ｇ２のなかで、範囲Ｅ２の標準偏差の分散が所定閾値以下となる撮影画像を選択する。
【００４２】
分散が所定閾値以下ということは、範囲Ｅ２が平坦な画像、すなわち輝度のばらつきが少ない画像であり、異物影の判断が容易であるからである。
なお、本実施形態では分散が所定値以下であることを用いるが、エッジが少ない画像、ヒストグラムが均一な画像であることを利用してもよい。
【００４３】
なお、本実施形態では、輝度の分散が少ないことを画像枚数の絞込みに利用するが、本発明はこれに限定されない。例えば、画像枚数を絞りこまずに、複数画像のゲインマップを平均することによりゲインマップと異物位置情報（座標）を得てもよい。
また、第一の撮影画像Ｇ１の検出範囲Ｅとの輝度が最も近い画像を選択してもよい。
さらに、第一の撮影画像Ｇ１の検出範囲Ｅとの色相が最も近い画像を選択してもよい。
また、撮影条件が最も近いものの画像を選択してもよい。
さらに、シャッタ速度が違うものを選択してもよい。シャッタ速度が異なるということは、シーンが違う可能性が高く、異なる被写体を撮影している可能性が高いため、両方に付着している異物であれば、より異物影である可能性が高いからである。
また、上述の各条件（輝度、色相、標準偏差）に重み付けを行って、総合的に判断して第二の撮影画像Ｇ２を選択してもよい。
【００４４】
次に、ステップＳ１１において、補正部５１は、上述のように選択された第二の撮影画像Ｇ２中に写り込んだ異物影情報としてのゲインマップと異物位置情報（座標）を用いて第一の撮影画像を補正して異物影の輝度を低減又は削除する補正を行う。
【００４５】
すなわち、補正部５１は、第一の撮影画像Ｇ１中の所定の検出範囲Ｅについて、第二の撮影画像Ｇ２中の所定の検出範囲Ｅから取得したゲインマップを用い、第一の撮影画像Ｇ１の所定の検出範囲Ｅの輝度に、輝度信号の逆数を掛け算して、ゲイン補正を行う。これにより、第一の撮影画像Ｇ１中の所定の検出範囲Ｅに出現する異物影等の異物による輝度の変化を低減もしくは除去する画像補正を行う。
【００４６】
ここで、画像補正が行われた第一の撮影画像Ｇ１をモニタ３１上に再び表示させて、ユーザにおいて再度、異物影情報検出及び画像の補正処理を行なうか否かを選択させることも可能である。
【００４７】
以上、本実施形態の画像処理装置５０は、撮影画像中に異物影等の異物が写りこんでいる特定位置を任意に選択可能な選択部（マウス）３４と、選択された位置を含む一定の範囲を決定する範囲決定部６１と、撮影画像と異なる第二の撮影画像を選択する画像選択部６２と、を備えている。これにより、通常撮影の前に、異物影等の異物の写り込んだ基準画像を撮影するといった面倒な手数は不要であり、例えば、モニタ３１に表示された検出対象となる第一の撮影画像を視て、異物影等が写り込んだ特定位置をマウス３４によりクリック（選択）するという簡単な操作を行うだけで、異物検出機能を実行することができる。
【００４８】
画像処理装置５０における異物影情報取得部６３は、画像選択部６２に選択された撮影条件の近い第二の撮影画像中における、範囲決定部６１により決定された範囲Ｅから、第二の撮影画像中に写り込んだ異物影情報を取得する。これにより、第一の撮影画像中の欠陥となる異物影情報を高い精度で検出することができる。また、検出された異物影情報に基づいて撮影画像中における欠陥を適正に補正することができる。
【００４９】
（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
【００５０】
（１）上記実施形態では、電子スチルカメラであるカメラ１によって撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナ等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。
【００５１】
（２）上記実施の形態では、電子スチルカメラであるカメラ１で撮影した画像データをＰＣ（パソコン）３０で処理して異物の影響を除去する例を説明したが、この内容に限定するものではない。カメラ１にそのようなプログラムを備えてもよい。その場合、カメラ１の液晶画面での欠陥位置の特定は、タッチパネル方式や、カメラ背面に設けられた十字キー等で行ってもよい。
また、プリンタや投影装置などにそのようなプログラムを備えてもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。
【００５２】
（３）ＰＣ３０で実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体に限らず、インターネットなどのデータ信号を通じて提供することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【００５３】
１：カメラ、２：カメラボディ、１２：光学フィルタ、１３：撮像素子、１７：メモリカード用ＩＦ、１８：外部ＩＦ、３０：パーソナルコンピュータ（ＰＣ）、３３：ＣＤ−ＲＯＭ、３４：マウス（選択部）、３６：メモリカード、５０：画像処理装置、５１：補正部、６０：異物影情報検出部、６１：範囲決定部、６２：画像選択部、６３：異物影情報取得部、Ｇ１：第一の撮影画像、Ｇ２：第二の撮影画像、Ｅ：検出範囲
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
電子カメラ等により撮像を行う際、光学フィルタ等に異物が付着していると、異物の影が撮像画像に写り込む場合がある。このように画像に写り込んだ異物影等による画像欠損部位を補正するものとして、異物影の写り込んだ基準画像から異物位置の座標等の情報を得て、その情報に基づいて通常撮影された撮影画像に写り込んだ異物影による画像欠損を補正する画像処理装置が知られている。
また、補正対象の画像における異物影による透過率の変化（各画素における輝度情報の変化）から異物を検出し、異物影を削除する補正を行う技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては、異物の写り込んだ基準画像を撮影する必要がある。また、撮影画像と基準画像とにおいて、異物位置の座標等が異なる場合もある。
【０００５】
本発明の課題は、より容易に撮影画像中の異物を検出可能な画像処理装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００７】
請求項１に記載の発明は、第一の撮影画像（Ｇ１）中における特定位置を選択可能な位置選択部（３４）と、前記第一の撮影画像（Ｇ１）中において、前記位置選択部（３４）により選択された位置を含む一定の範囲（Ｅ１）を決定する範囲決定部（６１）と、前記第一の撮影画像（Ｇ１）と異なる第二の撮影画像（Ｇ２）を選択する画像選択部（６２）と、前記第二の撮影画像（Ｇ２）中における、前記第一の撮影画像（Ｇ１）の前記一定の範囲（Ｅ１）に対応する対応範囲（Ｅ２）から、前記第二の撮影画像（Ｇ２）中に移りこんだ異物影情報を取得する異物影情報取得部（６３）と、を備えること、を特徴とする画像処理装置（５０）である。
請求項２に記載の発明は、請求項１に記載の画像処理装置（５０）であって、前記画像選択部（６２）は、前記第二の撮影画像（Ｇ２）として、前記第一の撮影画像（Ｇ１）の撮影条件に近い撮影条件で撮影された画像を選択すること、を特徴とする画像処理装置（５０）である。
請求項３に記載の発明は、請求項２に記載の画像処理装置（５０）であって、前記撮影条件は、前記第一の撮影画像（Ｇ１）を撮影したカメラ本体と同一のカメラ本体であることと、絞り値、撮影距離、レンズ、焦点距離、及び撮影時間のうちの少なくとも１つが同一であることと、を含むこと、を特徴とする画像処理装置（５０）である。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の画像処理装置（５０）であって、前記異物影情報取得部（６３）は、輝度情報を用いて異物影情報を取得すること、を特徴とする画像処理装置（５０）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の画像処理装置（５０）であって、前記画像選択部（６２）は、前記第二の撮影画像（Ｇ２）として、前記第一の撮影画像（Ｇ１）と同じファイル型式にした場合に、前記対応範囲（Ｅ２）内に前記異物影情報を有し、かつ、前記対応範囲（Ｅ２）周辺の輝度が第一の撮影画像（Ｇ１）と同一又はもっとも近い画像を選択すること、を特徴とする画像処理装置（５０）である。
請求項６に記載の発明は、請求項１から４のいずれか１項に記載の画像処理装置（５０）であって、前記画像選択部（６２）は、前記第二の撮影画像（Ｇ２）として、前記第一の撮影画像（Ｇ１）と同じファイル型式にした場合に、前記対応範囲（Ｅ２）内に前記異物影情報を有し、かつ、前記範囲周辺の色相が第一の撮影象画像と同一又はもっとも近い画像を選択すること、を特徴とする画像処理装置（５０）である。
請求項７に記載の発明は、請求項１から６のいずれか１項に記載の画像処理装置（５０）であって、前記画像選択部（６２）は、前記第二の撮影画像（Ｇ２）として、前記対応範囲（Ｅ２）内に前記異物影情報を有し、かつ、前記対応範囲（Ｅ２）周辺の輝度の標準偏差が最も小さい画像を選択すること、を特徴とする画像処理装置（５０）である。
請求項８に記載の発明は、請求項１から７のいずれか１項に記載の画像処理装置（５０）であって、前記画像選択部（６２）は、前記第二の撮影画像（Ｇ２）における、前記対応範囲（Ｅ２）の平均した輝度のプロファイルから、前記第一の撮影画像（Ｇ１）を補正するためのデータを作成すること、を特徴とする画像処理装置（５０）である。
請求項９に記載の発明は、請求項１から８のいずれか１項に記載の画像処理装置（５０）であって、前記画像選択部（６２）は、前記第一の撮影画像（Ｇ１）以外の撮影画像から、シャッタスピードの異なるものを前記第二の撮影画像（Ｇ２）として選択すること、を特徴とする画像処理装置（５０）である。
請求項１０に記載の発明は、請求項１から９のいずれか１項に記載の画像処理装置（５０）であって、画像の補正部（５１）を備えること、を特徴とする画像処理装置（５０）である。
請求項１１に記載の発明は、請求項１から１０のいずれか１項に記載の画像処理装置（５０）の機能をコンピュータ（３０）に実行させること、を特徴とする画像処理プログラムである。
【発明の効果】
【０００８】
本発明によれば、より容易に撮影画像中の異物を検出可能な画像処理装置及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態におけるレンズ交換式のカメラの構成を示す図である。
【図２】カメラと画像処理装置を構成するパーソナルコンピュータ及び周辺装置を示すブロック図である。
【図３】画像欠損補正処理を行う画像処理装置の機能ブロック図である。
【図４】画像処理装置における欠損判定部の機能ブロック図である。
【図５】画像処理装置による異物影情報検出及び画像の補正処理の流れを説明するフローチャートである。
【図６】モニタ上に表示された第一の撮影画像の一例である。
【図７】（ａ）、（ｂ）共に、第二の撮影画像の例である。
【発明を実施するための形態】
【００１０】
以下、図面等を参照して、本発明の実施形態について説明する。
図１は、レンズ交換式のカメラ１の構成を示す図である。図２は、カメラ１と画像処理装置を構成するパーソナルコンピュータ（ＰＣ）３０及び周辺装置を示すブロック図である。
カメラ１は、被写体像を電気信号に変換した画像データとして出力する電子スチルカメラである。本実施形態は、カメラ１が撮影した画像データを、画像処理装置として機能するＰＣ３０が取得して後述する異物影の検出及び補正処理を行うものである。
【００１１】
カメラ１は、カメラボディ２と、カメラボディ２に対して着脱可能な撮像レンズ３とにより構成されている。撮像レンズ３は、複数の光学レンズ群（図１においては１枚のレンズで示す）を有する結像光学系３Ｌを備えている。
【００１２】
カメラボディ２は、シャッタ１１、光学フィルタ１２、撮像素子１３、画像処理部１４、操作部１５、表示部１６、メモリカード用インターフェース（以下、「メモリカードＩＦ」と記す）１７、外部インターフェース（以下、「外部ＩＦ」と記す）１８、電源１９、制御部２０等を備えている。
【００１３】
シャッタ１１は、結像光学系３Ｌから撮像素子１３へ向かう撮影光を遮蔽及び通過させることによって、露光時間を調整する。
光学フィルタ１２は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。なお、図１中の符号４は、この光学フィルタ１２の表面に付着した塵や埃などの異物を示す。このような撮影光の光路上にあって撮影光を透過する光学フィルタ１２に異物４が付着していると、撮像素子１３によって取得される画像データのなかに、異物影の影響を受けた画素が含まれる場合がある。
【００１４】
撮像素子１３は、ＣＣＤやＣＭＯＳ等の光電変換素子であって、複数の画素から構成される矩形形状の撮像領域を有している。そして、撮像素子１３は、その結像面に結像された像を電気信号に変換し、被写体像に対応する画像信号（撮像信号）を出力する。撮像素子１３から出力された画像信号は、所定のアナログ信号処理の後、Ａ／Ｄ変換されて画像処理部１４に入力される。
【００１５】
画像処理部１４は、撮像素子１３から入力された画像データに対して、補間，階調変換や輪郭強調などの画像処理を行う。
操作部１５は、撮影者が撮影タイミング等を決定する信号を入力するレリーズボタンや、モード切り換え用の選択ボタン等を備えている。そして、操作部１５は、それらの操作情報を制御部に入力する。
【００１６】
表示部１６は、ＬＣＤ等によって構成され、カメラ１における各種設定メニュー、撮像素子１３による撮像画像やメモリカードに格納された画像データに基づく再生画像を表示する。
【００１７】
メモリカード用ＩＦ１７は、メモリカード（カード状のリムーバブルメモリ）４０とのインターフェースをとなる。
外部ＩＦ１８は、所定のケーブルや無線伝送路を介してＰＣ３０等の外部装置とのインターフェースとなる。
電源１９は、カメラ１の各機能部に電力を供給する。
【００１８】
制御部２０は、カメラ１における各機能部を統括制御する。すなわち、制御部２０は、操作部１５におけるレリーズスイッチから撮影指示信号が入力されると、シャッタ１１を駆動制御して露光動作等の撮影動作を制御する。また、制御部２０は、撮像素子１３で取得されて画像処理部１４で画像処理が行われて入力された画像データを、メモリカード用ＩＦ１７に着脱可能に取り付けられたメモリカード４０等に記憶させ、保存する。さらに、制御部２０は、メモリカード４０等に記憶された画像データを呼び出し、表示部１６に表示させる。
【００１９】
上記のように構成されたカメラ１は、撮影時において制御部２０によって制御されて、下記のように作用する。
操作者によって操作部１５のレリーズボタンが押圧操作されると、シャッタ１１を所定時間開放する。撮像素子１３は、結像光学系３Ｌにより撮像領域に結像された光学像に対応する画像信号を生成する。撮像素子１３によって生成された画像信号は、画像データとして画像処理部１４に入力され、画像処理部１４によって所定の画像処理が施される。そして、画像処理部１４で画像処理された画像データに基づいて表示部１６に撮影画像を表示すると共に、その画像データに必要に応じてＪＰＥＧやＲＡＷ等による圧縮処理を施してメモリカード用ＩＦ１７に装着されたメモリカード４０に記憶・保存する。また、外部ＩＦ１８を介して接続された後述するＰＣ３０に、画像データを送出する。
【００２０】
ここで、メモリカード４０に記憶・保存され、又は、外部ＩＦ１８を介してＰＣ３０に送出される画像データは、例えば、Ｅｘｉｆ（ＥＸｃｈａｎｇｅ Ｉｍａｇｅ Ｆｉｌｅ ｆｏｒｍａｔ）ファイルに記録される。Ｅｘｉｆファイルには、カメラボディ２の種類、カメラメーカー名、撮像画素情報、絞り値（Ｆ値）や焦点、シャッタスピード及び露光補正等の露出条件、撮影時刻、撮影距離などの付加情報が共に記録される。
【００２１】
パーソナルコンピュータ（ＰＣ）３０は、図示しないが、ＣＰＵ、メモリ、ハードディスク、メモリカード４０とのインターフェースとなるメモリカード用ＩＦ、ケーブルや無線伝送路を介してカメラ１等の外部装置とのインターフェースとなる外部ＩＦ等を備えている。また、ＰＣ３０には、画像表示部としてのモニタ３１やプリンタ３２等が接続されていると共に、モニタ３１に表示された撮影画像中における異物影等の異物が写り込んだ特定位置をユーザが任意選択的に指し示す選択部としてのマウス３４が接続されている。
【００２２】
さらに、ＰＣ３０に接続のＣＤ−ＲＯＭ３３には、異物影等の異物検出及び検出された異物の情報に基づいて画像を補正処理するアプリケーションプログラムが予めインストールされている。
【００２３】
つぎに、撮影された第一の撮影画像中における異物影等による異物影情報を検出し、その検出した異物影情報に基づいて第一の撮影画像を補正する処理（異物影情報検出・補正処理）について説明する。
【００２４】
異物影情報検出・補正処理は、メモリカード３０を介して提供された、又は、カメラ１の外部インターフェース１８から伝送された画像処理完了後の画像データに対して、ＰＣ３０によって行われる。
前述したように、ＰＣ３０には、異物影情報検出及び画像補正処理のアプリケーションプログラムがインストールされており、ＰＣ３０は、このプログラムを実行することによって、異物影情報検出及び画像の補正処理を行う画像処理装置５０として機能する。
【００２５】
図３は、異物影情報検出・補正処理を行う画像処理装置５０の機能ブロック図である。図４は、画像処理装置５０における異物影検出部６０の機能ブロック図である。
ＰＣ３０とプログラムとによって機能する画像処理装置５０は、図３に示すように、異物影情報を検出する異物影検出部６０と、異物影検出部６０によって検出された異物影情報に基づいて、その異物による異物影を補正する補正部５１と、を備えている。
異物影検出部６０は、図４に示すように、範囲決定部６１と、画像選択部６２と、異物影情報取得部６３と、を備えている。そして、異物影情報取得部６３はさらに、連結領域判定部６４と、対象領域抽出部６５と、輝度判定部６６とを備えている。
【００２６】
図５は、画像処理装置５０における異物影情報検出及び画像の補正処理の流れを説明するフローチャートである。図５のフローチャートに従って、画像処理装置５０における異物影情報検出及び画像の補正処理の流れを説明する。図５及び以下の説明中、ステップを「Ｓ」とも略記する。
【００２７】
まず、画像処理装置５０を含むＰＣ３０は、ステップＳ０１において、メモリカード４０を介して、又は、カメラ１の外部インターフェース１８を介して入力された第一（対象）の撮影画像Ｇ１のデータを読み込む。
【００２８】
ステップＳ０２では、読み込んだ第一の撮影画像Ｇ１をモニタ３１上に表示する。図６は、モニタ３１上に表示された第一の撮影画像Ｇ１の一例を示す。図６の第一の撮影画像Ｇ１において、木々に囲まれた部分に異物影４Ａがある。このような異物影は、例えば光学フィルタ１２の前面に付着した異物（異物４）（図１参照）により生じている。
【００２９】
ここで、ユーザは異物影部分を認識することが可能であるが、異物影４Ａの輝度勾配と木々の輝度勾配とが重なり、輝度勾配から異物影４Ａ情報を検出することは困難な可能性がある。
【００３０】
そこで、まず、ステップＳ０３において、モニタ３１上に表示された第一の撮影画像Ｇ１の、異物影４Ａの位置をユーザがマウス３４によりクリックすると、範囲決定部６１は、マウス３４によるクリック位置を中心にして異物影及びその周辺を含めた所定の大きさの検出範囲Ｅを決定する。
ここで、この検出範囲Ｅは、予め規定されていてもよく、また、ユーザがマウス３４を移動させて任意の大きさを設定できるようにしてもよい。
【００３１】
ステップＳ０４で画像選択部６２は、記憶部３５のデータベース３６に保存されている複数の第二の撮影画像のうち、第一の撮影画像Ｇ１と撮影条件が同一又は略同一である第二の撮影画像Ｇ２を検索し選択する。
【００３２】
この場合、撮影条件の同一性の判断は、第一の撮影画像Ｇ１及び第二の撮影画像Ｇ２のＥｘｉｆ情報に代表される撮影情報を基に行う。
具体的には、Ｅｘｉｆ情報等の撮影情報における、カメラボディ（カメラ種類）２、絞り値（Ｆ値）、焦点距離、撮影時刻、レンズ、撮影距離等が同一であることが判断基準である。
これらの撮影条件のうち、カメラボディ２が同一であることとは本実施形態において必須とする。本実施形態は、同一のカメラボディ２で撮影した場合に、異なる撮影画像であっても、カメラボディ２内に配置されている光学フィルタ１２に付着した異物は、同じ位置に影として移り込む現象を利用して異物影を補正するものであるからである。
【００３３】
その他の撮影条件は、少なくとも１つ以上、特に、絞り値が一致することが好ましく、撮影距離、焦点距離、撮影時間等も同一であることがより好ましい。全ての条件が一致することがさらに好ましい。
画像選択部６２により選択される第二の撮影画像Ｇ２は、選択条件に応じて、１以上又は複数選択される。なお、１枚も選択されなかった場合は、モニタ３１に、選択枚数ゼロ等の警告表示が出るようにしてもよい。
図７は、画像選択部６２により第二の撮影画像Ｇ２が複数選択された場合の２つの画像Ｇ２（１）及びＧ２（２）を示す図である。
【００３４】
次に、ステップＳ０５で異物影情報取得部６３は、選択された複数の第二の撮影画像Ｇ２中の、第一の撮影画像Ｇ１中の所定の検出範囲Ｅに対応する対応範囲Ｅ２を特定する。
【００３５】
ステップＳ０６で連結領域判定部６４は、対応範囲Ｅ２内の画像を形成するＲＧＢによる各画素の画像データより輝度平面を求め、輝度平面に対して逆ガンマ補正をかけ、入出力の関係を線形に戻す。そして、逆ガンマ補正後の輝度平面から、輝度勾配平面を生成する。
輝度勾配平面では、異物影の周縁部では高い画素値を示し、空などの一様な平面では低い画素値を示す。つまり、エッジ部分では高い画素値を示し、これによって異物影のエッジ部分を検出できる。
【００３６】
次に、連結領域判定部６４は、所定の閾値を設定して、輝度勾配平面を２値画像に変換する。すなわち、閾値より高い輝度勾配値を有する画素を「１」、閾値より低い明度勾配値を有する画素を「０」と置換する。
そして、ステップＳ０７において、連結領域判定部６４は、このようにして得られた２値画像から、「１」の画素が連結した領域（連結画素領域）を抽出する。連結画素領域とは、例えば、矩形の画素の４辺の内の少なくとも１辺で連続した（４近傍の）画素領域とする。この連結画素領域が、異物影の可能性のある領域である。
【００３７】
ステップＳ０８において、対象領域抽出部６５は、連結領域判定部６４によって抽出された連結画素領域の中から、異物影のサイズ（大小）に基づいて補正候補領域を抽出する。この対象領域抽出部６５における異物影の大きさの判別は、画素数によって規定する。
ここで、対象領域抽出部６５は、連結画素領域から補正候補領域を抽出する際において、異物影の絶対的な大きさを基準とする。ここでは、一般的な異物のサイズと異物影のサイズがほぼ等しいものとして、最小１００μｍ×１００μｍ〜最大４００μｍ×４００μｍの大きさを検出対象とする。
【００３８】
そして、対象領域抽出部６５では、上記異物影の画素数によって表される面積を閾値として、連結領域判定部６４において２値画像から抽出された連結画素領域の大きさ（画素数）がこの閾値内に含まれるものを、補正対象となり得る異物影候補と判定し、選択する。
【００３９】
さらにステップＳ９において輝度判定部６６は、先の連結領域判定部６４において説明した輝度値と画像平面に対応する輝度平面とを用い、連結画素領域における内外の輝度を比較する。ここで、ゴミ影は、内部の輝度が周辺の輝度に比較して低く、輝度比（内部の輝度／周辺の輝度）は１よりとても小さい。このため、輝度比が小さい所定の閾値を設定し、連結画像領域の輝度比がこの閾値より小さいに場合にのみ、異物影であると判定し、選択する。
【００４０】
そしてステップＳ１１において、異物影情報取得部６３は、異物影であると判定された影を有する第二の撮影画像Ｇ２の範囲Ｅ２における、ゲインマップと異物位置情報（座標）を取得する。
【００４１】
ここで、異物影が存在すると検出された画像が複数である場合、それらの複数の第二の撮影画像Ｇ２中における、範囲Ｅ２の輝度の標準偏差をそれぞれ演算する。そして、第二の撮影画像Ｇ２のなかで、範囲Ｅ２の標準偏差の分散が所定閾値以下となる撮影画像を選択する。
【００４２】
分散が所定閾値以下ということは、範囲Ｅ２が平坦な画像、すなわち輝度のばらつきが少ない画像であり、異物影の判断が容易であるからである。
なお、本実施形態では分散が所定値以下であることを用いるが、エッジが少ない画像、ヒストグラムが均一な画像であることを利用してもよい。
【００４３】
なお、本実施形態では、輝度の分散が少ないことを画像枚数の絞込みに利用するが、本発明はこれに限定されない。例えば、画像枚数を絞りこまずに、複数画像のゲインマップを平均することによりゲインマップと異物位置情報（座標）を得てもよい。
また、第一の撮影画像Ｇ１の検出範囲Ｅとの輝度が最も近い画像を選択してもよい。
さらに、第一の撮影画像Ｇ１の検出範囲Ｅとの色相が最も近い画像を選択してもよい。
また、撮影条件が最も近いものの画像を選択してもよい。
さらに、シャッタ速度が違うものを選択してもよい。シャッタ速度が異なるということは、シーンが違う可能性が高く、異なる被写体を撮影している可能性が高いため、両方に付着している異物であれば、より異物影である可能性が高いからである。
また、上述の各条件（輝度、色相、標準偏差）に重み付けを行って、総合的に判断して第二の撮影画像Ｇ２を選択してもよい。
【００４４】
次に、ステップＳ１１において、補正部５１は、上述のように選択された第二の撮影画像Ｇ２中に写り込んだ異物影情報としてのゲインマップと異物位置情報（座標）を用いて第一の撮影画像を補正して異物影の輝度を低減又は削除する補正を行う。
【００４５】
すなわち、補正部５１は、第一の撮影画像Ｇ１中の所定の検出範囲Ｅについて、第二の撮影画像Ｇ２中の所定の検出範囲Ｅから取得したゲインマップを用い、第一の撮影画像Ｇ１の所定の検出範囲Ｅの輝度に、輝度信号の逆数を掛け算して、ゲイン補正を行う。これにより、第一の撮影画像Ｇ１中の所定の検出範囲Ｅに出現する異物影等の異物による輝度の変化を低減もしくは除去する画像補正を行う。
【００４６】
ここで、画像補正が行われた第一の撮影画像Ｇ１をモニタ３１上に再び表示させて、ユーザにおいて再度、異物影情報検出及び画像の補正処理を行なうか否かを選択させることも可能である。
【００４７】
以上、本実施形態の画像処理装置５０は、撮影画像中に異物影等の異物が写りこんでいる特定位置を任意に選択可能な選択部（マウス）３４と、選択された位置を含む一定の範囲を決定する範囲決定部６１と、撮影画像と異なる第二の撮影画像を選択する画像選択部６２と、を備えている。これにより、通常撮影の前に、異物影等の異物の写り込んだ基準画像を撮影するといった面倒な手数は不要であり、例えば、モニタ３１に表示された検出対象となる第一の撮影画像を視て、異物影等が写り込んだ特定位置をマウス３４によりクリック（選択）するという簡単な操作を行うだけで、異物検出機能を実行することができる。
【００４８】
画像処理装置５０における異物影情報取得部６３は、画像選択部６２に選択された撮影条件の近い第二の撮影画像中における、範囲決定部６１により決定された範囲Ｅから、第二の撮影画像中に写り込んだ異物影情報を取得する。これにより、第一の撮影画像中の欠陥となる異物影情報を高い精度で検出することができる。また、検出された異物影情報に基づいて撮影画像中における欠陥を適正に補正することができる。
【００４９】
（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
【００５０】
（１）上記実施形態では、電子スチルカメラであるカメラ１によって撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナ等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。
【００５１】
（２）上記実施の形態では、電子スチルカメラであるカメラ１で撮影した画像データをＰＣ（パソコン）３０で処理して異物の影響を除去する例を説明したが、この内容に限定するものではない。カメラ１にそのようなプログラムを備えてもよい。その場合、カメラ１の液晶画面での欠陥位置の特定は、タッチパネル方式や、カメラ背面に設けられた十字キー等で行ってもよい。
また、プリンタや投影装置などにそのようなプログラムを備えてもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。
【００５２】
（３）ＰＣ３０で実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体に限らず、インターネットなどのデータ信号を通じて提供することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【００５３】
１：カメラ、２：カメラボディ、１２：光学フィルタ、１３：撮像素子、１７：メモリカード用ＩＦ、１８：外部ＩＦ、３０：パーソナルコンピュータ（ＰＣ）、３３：ＣＤ−ＲＯＭ、３４：マウス（選択部）、３６：メモリカード、５０：画像処理装置、５１：補正部、６０：異物影情報検出部、６１：範囲決定部、６２：画像選択部、６３：異物影情報取得部、Ｇ１：第一の撮影画像、Ｇ２：第二の撮影画像、Ｅ：検出範囲
【特許請求の範囲】
【請求項１】
第一の撮影画像中における特定位置を選択可能な位置選択部と、
前記第一の撮影画像中において、前記位置選択部により選択された位置を含む一定の範囲を決定する範囲決定部と、
前記第一の撮影画像と異なる第二の撮影画像を選択する画像選択部と、
前記第二の撮影画像中における、前記第一の撮影画像の前記一定の範囲に対応する対応範囲から、前記第二の撮影画像中に移りこんだ異物影情報を取得する異物影情報取得部と、を備えること、
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記画像選択部は、前記第二の撮影画像として、前記第一の撮影画像の撮影条件に近い撮影条件で撮影された画像を選択すること、
を特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記撮影条件は、前記第一の撮影画像を撮影したカメラ本体と同一のカメラ本体であることと、絞り値、撮影距離、レンズ、焦点距離、及び撮影時間のうちの少なくとも１つが同一であること、を含むこと、
を特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれか１項に記載の画像処理装置であって、
前記異物影情報取得部は、輝度情報を用いて異物影情報を取得すること、
を特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置であって、
前記画像選択部は、前記第二の撮影画像として、前記第一の撮影画像と同じファイル型式にした場合に、前記対応範囲内に前記異物影情報を有し、かつ、前記対応範囲周辺の輝度が第一の撮影画像と同一又はもっとも近い画像を選択すること、
を特徴とする画像処理装置。
【請求項６】
請求項１から４のいずれか１項に記載の画像処理装置であって、
前記画像選択部は、前記第二の撮影画像として、前記第一の撮影画像と同じファイル型式にした場合に、前記対応範囲内に前記異物影情報を有し、かつ、前記範囲周辺の色相が第一の撮影象画像と同一又はもっとも近い画像を選択すること、
を特徴とする画像処理装置。
【請求項７】
請求項１から６のいずれか１項に記載の画像処理装置であって、
前記画像選択部は、前記第二の撮影画像として、前記対応範囲内に前記異物影情報を有し、かつ、前記対応範囲周辺の輝度の標準偏差が最も小さい画像を選択すること、
を特徴とする画像処理装置。
【請求項８】
請求項１から７のいずれか１項に記載の画像処理装置であって、
前記画像選択部は、前記第二の撮影画像における、前記対応範囲の平均した輝度のプロファイルから、前記第一の撮影画像を補正するためのデータを作成すること、
を特徴とする画像処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像処理装置であって、
前記画像選択部は、前記第一の撮影画像以外の撮影画像から、シャッタスピードの異なるものを前記第二の撮影画像として選択すること、
を特徴とする画像処理装置。
【請求項１０】
請求項１から９のいずれか１項に記載の画像処理装置であって、
画像の補正部を備えること、
を特徴とする画像処理装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像処理装置の機能をコンピュータに実行させること、
を特徴とする画像処理プログラム。
【請求項１】
第一の撮影画像中における特定位置を選択可能な位置選択部と、
前記第一の撮影画像中において、前記位置選択部により選択された位置を含む一定の範囲を決定する範囲決定部と、
前記第一の撮影画像と異なる第二の撮影画像を選択する画像選択部と、
前記第二の撮影画像中における、前記第一の撮影画像の前記一定の範囲に対応する対応範囲から、前記第二の撮影画像中に移りこんだ異物影情報を取得する異物影情報取得部と、を備えること、
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記画像選択部は、前記第二の撮影画像として、前記第一の撮影画像の撮影条件に近い撮影条件で撮影された画像を選択すること、
を特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記撮影条件は、前記第一の撮影画像を撮影したカメラ本体と同一のカメラ本体であることと、絞り値、撮影距離、レンズ、焦点距離、及び撮影時間のうちの少なくとも１つが同一であること、を含むこと、
を特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれか１項に記載の画像処理装置であって、
前記異物影情報取得部は、輝度情報を用いて異物影情報を取得すること、
を特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置であって、
前記画像選択部は、前記第二の撮影画像として、前記第一の撮影画像と同じファイル型式にした場合に、前記対応範囲内に前記異物影情報を有し、かつ、前記対応範囲周辺の輝度が第一の撮影画像と同一又はもっとも近い画像を選択すること、
を特徴とする画像処理装置。
【請求項６】
請求項１から４のいずれか１項に記載の画像処理装置であって、
前記画像選択部は、前記第二の撮影画像として、前記第一の撮影画像と同じファイル型式にした場合に、前記対応範囲内に前記異物影情報を有し、かつ、前記範囲周辺の色相が第一の撮影象画像と同一又はもっとも近い画像を選択すること、
を特徴とする画像処理装置。
【請求項７】
請求項１から６のいずれか１項に記載の画像処理装置であって、
前記画像選択部は、前記第二の撮影画像として、前記対応範囲内に前記異物影情報を有し、かつ、前記対応範囲周辺の輝度の標準偏差が最も小さい画像を選択すること、
を特徴とする画像処理装置。
【請求項８】
請求項１から７のいずれか１項に記載の画像処理装置であって、
前記画像選択部は、前記第二の撮影画像における、前記対応範囲の平均した輝度のプロファイルから、前記第一の撮影画像を補正するためのデータを作成すること、
を特徴とする画像処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像処理装置であって、
前記画像選択部は、前記第一の撮影画像以外の撮影画像から、シャッタスピードの異なるものを前記第二の撮影画像として選択すること、
を特徴とする画像処理装置。
【請求項１０】
請求項１から９のいずれか１項に記載の画像処理装置であって、
画像の補正部を備えること、
を特徴とする画像処理装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像処理装置の機能をコンピュータに実行させること、
を特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２２２５０９（Ｐ２０１２−２２２５０９Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８４５７３（Ｐ２０１１−８４５７３）
【出願日】平成２３年４月６日（２０１１．４．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月６日（２０１１．４．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]