画像処理装置、画像処理プログラムおよび撮像装置
【課題】画像に写り込んだゴミ影を効率よく正確に抽出する画像処理装置を提供する。
【解決手段】画像内の各部分における明るさを示す第１の明るさ値と、各部分の周辺における明るさを示す第２の明るさ値とを算出する明るさ算出部と、各部分における色相を示す第１の色相値と、各部分の周辺における色相を示す第２の色相値とを算出する色相値算出部と、第１の明るさ値と第２の明るさ値との差が予め定められた閾値以上であり、かつ、第１の色相値と第２の色相値との差が予め定められた閾値以上でない各部分からなる領域を抽出する領域抽出部と、を備えることを特徴とする画像処理装置である。
【解決手段】画像内の各部分における明るさを示す第１の明るさ値と、各部分の周辺における明るさを示す第２の明るさ値とを算出する明るさ算出部と、各部分における色相を示す第１の色相値と、各部分の周辺における色相を示す第２の色相値とを算出する色相値算出部と、第１の明るさ値と第２の明るさ値との差が予め定められた閾値以上であり、かつ、第１の色相値と第２の色相値との差が予め定められた閾値以上でない各部分からなる領域を抽出する領域抽出部と、を備えることを特徴とする画像処理装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像に含まれるゴミ影の領域を抽出する画像処理装置、画像処理プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
電子カメラなどの撮像装置によって撮像を行なう際、撮像素子の近傍に配置された光学フィルタ等の光学部材における撮像光路上にゴミが付着していると、付着したゴミにより生じた影が撮像画像に写り込む場合がある。特にレンズ交換式の撮像装置では、レンズ交換時などに塵や埃などのゴミがカメラボディ内に侵入して付着する場合がある。例えば特許文献１に示される技術では、このように画像に写り込んだゴミ影を検出して補正を行なうために、一様面においてゴミ影の写り込んだ基準画像を予め撮像してゴミ位置の座標を算出する。そして、補正対象の撮像画像における基準画像のゴミ位置に対応する位置について、ゴミ影を削除する補正を行なう。また、特許文献１には、補正対象の画像に含まれる各画素の輝度情報の変化に基づいてゴミ影を抽出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術により基準画像に基づいてゴミ影の補正を行なう場合には、基準画像と補正対象の画像との複数画像に対して処理を行うため、処理が複雑になり相当の撮像装置の処理性能や処理時間が必要となる。一方、補正対象の画像に含まれる各画素の輝度情報の変化に基づいてゴミ影を抽出する場合では、被写体の色合いによる輝度の変化を誤ってゴミ影として抽出してしまう場合があった。ここで、画像に写り込んだゴミを抽出する場合には、より少ない処理で効率良く行なうとともに、ゴミ影の誤検出を低減させることが望ましい。
【０００５】
本発明は、このような状況に鑑みてなされたもので、画像に写り込んだゴミ影を効率良く正確に抽出する画像処理装置、画像処理プログラムおよび撮像装置を提供する。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は、画像内の各部分における明るさを示す第１の明るさ値と、各部分の周辺における明るさを示す第２の明るさ値とを算出する明るさ算出部と、各部分における色相を示す第１の色相値と、各部分の周辺における色相を示す第２の色相値とを算出する色相値算出部と、第１の明るさ値と第２の明るさ値との差が予め定められた閾値以上であり、かつ、第１の色相値と第２の色相値との差が予め定められた閾値以上でない部分からなる領域を抽出する領域抽出部と、を備えることを特徴とする画像処理装置である。
【０００７】
また、本発明は、画像に含まれる画素に対して、画素の明るさ値と、画素の周辺の部分の明るさ値との差を示す変化量を算出する変化量算出部を備え、領域抽出部は、変化量算出部によって算出された変化量が予め定められた閾値以上であることをさらに条件として、条件を満たす領域を抽出することを特徴とする。
【０００８】
また、本発明は、上述の領域抽出部が、抽出した領域に含まれる画素の画素数が、予め定められた画素数の範囲内であるか否かを判定し、範囲内であると判定したことをさらに条件として、条件を満たす領域を抽出することを特徴とする。
【０００９】
また、本発明は、上述の領域抽出部が、抽出した領域の周辺の領域の明るさ値が予め定められた閾値以上であることをさらに条件として、条件を満たす領域を抽出することを特徴とする。
【００１０】
また、本発明は、上述の領域抽出部が、抽出した領域の周辺の領域の明るさの変化量が予め定められた閾値以下であることをさらに条件として、条件を満たす領域を抽出することを特徴とする。
【００１１】
また、本発明は、上述の領域抽出部が、抽出した領域の明るさ値と領域の周辺の領域の明るさ値との比が予め定められた閾値以下であることをさらに条件として、条件を満たす領域を抽出することを特徴とする。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、画像に写り込んだゴミ影を効率良く正確に抽出する画像処理装置、画像処理プログラムおよび撮像装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による撮像装置の構成例を示す図である。
【図２】本発明の一実施形態による撮像装置の構成例を示すブロック図である。
【図３】本発明の一実施形態によるコントラスト調整の概念を示すブロック図である。
【図４】本発明の一実施形態による撮像装置の動作例を示すフローチャートである。
【図５】本発明の一実施形態によりゴミ影が検出される画像データの例を示す図である。
【図６】本発明の一実施形態による画像処理装置の構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による撮像装置１００の構成を示す図である。撮像装置１００は、レンズ交換式の電子カメラであり、複数の光学レンズ群であるレンズ１０２を有する光学系１０１を備える。光学系１０１が設置されるカメラボディ１０３は、シャッター１０６、光学フィルタ１０５などの光学部材や撮像素子１０４を備えている。撮像素子４は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、光学系１０１を介して露光され自身の結像面に結像された像を電気信号に変換し、変換した電気信号である画像信号を出力する。出力された画像信号は画像データに変換され、カメラボディ１０３に備えられるモニター１０８に表示される。モニター１０８は、例えばＬＣＤ（Liquid Crystal Display）などの液晶ディスプレイである。
【００１５】
ここで、光学系１０１はカメラボディ１０３に対して着脱可能であり、着脱時にカメラボディ１０３の内部にゴミが侵入し、撮像光路上にゴミが付着する場合がある。図には、光学フィルタ１０５に付着したゴミ１０７を示している。このようなゴミ１０７は、光学系１０１を介して入射する光を遮って、撮像素子１０４に結像される像に影を形成する。これにより、撮像装置１００により生成される画像データにはゴミ影が写り込むこととなる。本実施形態における撮像装置１００は、画像データに写り込んだこのようなゴミ影を検出して削除する補正を行なう。
【００１６】
図２は、本実施形態による撮像装置１００の構成を示すブロック図である。撮像装置１００は、自身の記憶領域に予め記憶されたプログラムに基づいて各部の動作を制御するマイコンやＣＰＵ（Central Processing Unit）を有し、入力部１１０と、撮像部１１１と、画像記憶部１１２と、明るさ算出部１１３と、色相値算出部１１４と、変化量算出部１１５と、領域抽出部１１６と、ゴミ補正部１１７と、コントラスト調整部１１８と、表示部１１９とを備えている。
【００１７】
入力部１１０は、ユーザからの操作情報の入力を受け付ける。入力部１１０には、例えば、主に撮像時のシャッタースピードを調整する情報の入力を受け付けるコマンドダイヤル、主に撮像時の絞り値を調整する情報の入力を受け付けるサブコマンドダイヤル、撮像して記憶された画像を再生する要求入力を受け付ける再生ボタン、撮像して記憶された画像を削除する要求入力を受け付ける削除ボタン、表示部１１９に表示されるメニュー項目を選択する決定ボタンなどが含まれる。
【００１８】
撮像部１１１は、定められた制御手順により光学系１０１を駆動させ、撮像素子１０４から出力される画像信号に基づいて画像データを生成することにより、画像を撮像する。ここでは、撮像部１１１が生成する画像データは、各画素の色がＲＧＢ表色系によって表された情報である。
画像記憶部１１２には、撮像部１１１によって生成された画像データが記憶される。
【００１９】
明るさ算出部１１３は、画像記憶部１１２に記憶された画像データに含まれる定められた領域内における明るさの度合いを示す第１の明るさ値と、その領域の周辺における明るさの度合いを示す第２の明るさ値とを算出する。ここで、領域の周辺とは、例えば定められた領域の画素から周辺の５ピクセル以内の画素などである。ここでは、明るさ算出部１１３は、画像データに含まれる画素のＲＧＢ値に基づいて、明るさの度合いを示す輝度情報（Ｙ）を算出する。ここで、明るさ算出部１１３は、ＲＧＢ値に基づいて以下式（１）により輝度情報を算出する。
【００２０】
【数１】
【００２１】
上記式（１）により、明るさ算出部１１３は、画像記憶部１１２に記憶された画像データに含まれる各画素について輝度情報を算出し、画像データに対応する輝度平面を生成する。ここでは、明るさ算出部１１３は、画素の明るさの度合いを示す情報として輝度情報を算出する例を説明するが、例えば明度などを算出して適用しても良い。
【００２２】
色相値算出部１１４は、定められた領域内における色相を示す第１の色相値と、その領域の周辺における色相を示す第２の色相値とを算出する。色相値算出部１１４は、画像データに含まれる画素のＲＧＢ値に基づいて、色相値（Ｈｕｅ）を算出する。ここでは、色相値算出部１１４は、画像データに含まれる画素のＲＧＢ値をＨＳＶ表色系に変換することにより、色相値を算出する。ＨＳＶ表色系は、Ｈ（Ｈｕｅ：色相）、Ｓ（ｓａｔｕｒａｔｉｏｎ：彩度）、Ｖ（Ｖａｌｕｅ：明度）により色を表すモデルである。色相値算出部１１４は、以下式（２）により色相値（Ｈ）を算出する。
【００２３】
【数２】
【００２４】
ここで、Ｈ＜０の場合はＨに２πを加え、Ｖｍａｘ＝０の場合は、Ｓ＝０、Ｈ＝不定となる。上記式（２）により、色相値算出部１１４は、画像記憶部１１２に記憶された画像データに含まれる各画素について色相値を算出する。
変化量算出部１１５は、画像データに含まれる画素毎に、画素の明るさ値（輝度情報）と、画素の周辺における明るさ値（輝度情報）との差を示す変化量を算出することにより、画像データにおける明るさのバラツキを取得する。ここでは、変化量算出部１１５は、明るさ算出部１１３によって算出された輝度平面について、定められた区画毎にマトリックスを生成し、そのマトリックスの中心を注目画素とした標準偏差（Ｙｓｔｄ）を算出することにより、明るさのバラツキを取得する。ここで、定められた区画とは、例えば、５行５列の画素のマトリックスである。変化量算出部１１５は、以下式（３）により標準偏差を算出する。
【００２５】
【数３】
【００２６】
ここで、ｎはマトリックスの要素数、ｘｉはマトリックスの要素の値、バー（￣）が付されたｘは処理対象のマトリックスに含まれる全要素の平均値である。変化量算出部１１５は、明るさ算出部１１３によって算出された輝度平面のそれぞれの画素について標準偏差を算出し、標準偏差平面を生成する。標準偏差平面における標準偏差の値は、輝度のバラツキが大きい領域では相対的に高い値を示し、バラツキが少ない部分では相対的に低い値となる。これにより、Ｙｓｔｄは、ゴミ影の影響により輝度が変化している領域では高い値を示し、空などの一様平面では低い値を示す。この例では、変化量算出部１１５が算出するマトリックスの大きさを５行５列としたが、マトリックスの大きさは適当な任意の大きさを適用して良い。例えば、これよりも大きな領域のマトリックスを処理対象とした場合には、平均化効果などにより、輝度情報に含まれるノイズを排除した標準偏差平面を得ることとなる。ここでは、標準偏差を求めることにより画像データの明るさのバラツキを算出する例を示したが、標準偏差を二乗して得られる分散を用いても良い。
【００２７】
領域抽出部１１６は、処理対象の画像データからゴミ影が写り込んでいる可能性が高い領域を抽出する。ここで、領域抽出部１１６の記憶領域には、ゴミ影の領域を抽出するために定められた複数の条件が予め記憶されている。領域抽出部１１６は、定められた条件に基づいてゴミ影が写り込んでいる可能性が高い領域を絞り込んでいき、全ての条件を満たす領域を、ゴミ影が写り込んだ領域であると判定する。
【００２８】
まず、領域抽出部１１６は、変化量算出部１１５によって算出された変化量が予め定められた閾値以上であることを条件として、画像データから条件を満たす領域を抽出する。ここで、領域抽出部１１６は、変化量算出部１１５によって生成された標準偏差平面に含まれる画素の標準偏差と、予め定められた標準偏差の閾値とを比較する。領域抽出部１１６は、標準偏差平面に含まれる画素の標準偏差が定められた閾値以上である場合には、その画素の値を１とし、標準偏差平面に含まれる画素の標準偏差が定められた閾値未満である場合には、その画素の値を０として二値画像を生成する。すなわち、二値画像においては、周辺画素との輝度の変化量が大きく標準偏差が閾値以上である領域の画素を１とし、周辺画素との輝度の変化量が小さく標準偏差が閾値未満である領域の画素を０とする。領域抽出部１１６は、生成した二値画像から、画素の値が１である領域を抽出する。領域抽出部１１６は、抽出した領域がゴミ影であるか否かについて定められた条件に基づいて、以下の条件判定処理を行う。ここで、領域抽出部１１６は、隣接しない複数の画素群の領域を抽出した場合には、抽出したそれぞれの領域について、以下の条件判定処理を行う。
【００２９】
また、領域抽出部１１６は、撮像装置１００の撮像光路上に付着したゴミにより形成されるゴミ影は、その画像の輝度に影響を与える一方、色相に変化を与えないという特性を用いて、抽出した領域がゴミ影であるか否かを判定する。すなわち、領域抽出部１１６は、明るさ算出部１１３によって生成された輝度平面を参照し、抽出領域における画素の輝度と抽出領域周辺における画素の輝度との差が予め定められた閾値以上であり、かつ、抽出領域の画素について色相値算出部１１４によって算出された色相値と、抽出領域の周辺の画素について色相値算出部１１４によって算出された色相値との差が予め定められた閾値以上でないことを条件として、抽出した領域が条件を満たすか否かを判定する。領域抽出部１１６は、抽出した領域がこの条件を満たす場合、その領域がゴミ影であると判定する。抽出した領域がこの条件を満たさない場合、その領域がゴミ影でないと判定する。ここでは、抽出領域における画素の輝度が、抽出領域周辺における画素の輝度よりも小さいことをさらに条件とすることができる。抽出領域または抽出領域周辺の画素について、複数の画素を処理対象とする場合には、それぞれの領域に含まれる画素の値の平均値によって比較することができる。
【００３０】
また、領域抽出部１１６は、抽出領域の大きさによって、抽出領域がゴミ影であるか否かを判定する。例えば、抽出領域に含まれる画素の画素数と、ゴミ影として定められた画素数の範囲の下限値とを比較して、下限値未満である場合は、その領域はゴミ影でないと判定する。抽出領域が小さすぎる場合は、ノイズによりその領域の標準偏差が閾値以上であると判定されたと考えられるためである。一方、抽出領域に含まれる画素の画素数と、ゴミ影として定められた画素数の範囲の上限値とを比較して、上限値以上である場合にも、その領域はゴミ影でないと判定する。抽出領域が大きすぎる場合は、被写体が存在することによりその領域の標準偏差が閾値以上であると判定されたと考えられるためである。このように、領域抽出部１１６は、抽出した領域に含まれる画素の画素数が、予め定められた画素数の範囲内であるか否かを判定し、範囲内であると判定したことをさらに条件として、条件を満たす領域をゴミ影であると判定し、抽出する。
【００３１】
また、領域抽出部１１６は、抽出した領域の周辺の領域の明るさ値（輝度情報）が予め定められた閾値以上であることをさらに条件として判定処理を行う。領域抽出部１１６は、抽出領域の周辺の領域の輝度情報と、予め定められた閾値とを比較して、輝度情報が閾値以上である場合にその領域をゴミ影であると判定し、輝度情報が閾値以上でない場合にその領域をゴミ影でないと判定する。
【００３２】
また、領域抽出部１１６は、抽出した領域の周辺の領域の明るさの変化量が予め定められた閾値以下であることをさらに条件として判定処理を行う。領域抽出部１１６は、変化量算出部１１５によって生成された標準偏差平面を参照して、標準偏差が閾値以下である場合にその領域をゴミ影であると判定し、標準偏差が閾値以下でない場合にその領域をゴミ影でないと判定する。
【００３３】
また、領域抽出部１１６は、抽出した領域の明るさ値とその領域の周辺の領域の明るさ値との比が予め定められた閾値以下であることをさらに条件として判定処理を行う。領域抽出部１１６は、明るさ算出部１１３によって生成された輝度平面を参照して、抽出領域の輝度とその周辺の領域の輝度との比を算出し、算出した比が閾値以下である場合にその領域をゴミ影であると判定し、比が閾値以下でない場合にその領域をゴミ影でないと判定する。
【００３４】
また、領域抽出部１１６は、上述の条件判定処理を行い、抽出領域をゴミ影であると判定した場合には、画像データにおける抽出領域の中心座標を算出する。例えば、領域抽出部１１６は、表示部１１９に表示された画像データにおいて、算出した中心座標の箇所に、定められた大きさの矩形状の枠を表示させる。ユーザは、表示された枠を視認することにより、ゴミ影として判定された領域を確認することができる。
【００３５】
ゴミ補正部１１７は、領域抽出部１１６によって抽出された領域に写り込んだゴミ影を削除するゴミ補正処理を行う。ここで、上述のように、ゴミ影が写り込んだ抽出領域は、周辺の領域と比較して色相に変化がなく、輝度に変化が存在する。そこで、ゴミ補正部１１７は、例えば、抽出領域の画素の輝度を、周辺の画素の輝度と同程度になるように増加させることより、抽出領域のゴミ影を削除する。
【００３６】
コントラスト調整部１１８は、画像データのコントラストを際立たせる処理を行う。例えば、ゴミ影が薄く、ゴミ影の領域の画素と周辺の画素との輝度の差が、人間の目によっては確認することが困難である程度に小さい場合には、ユーザはゴミ影の存在を確認しづらい。そこで、コントラスト調整部１１８は、画像データにおけるゴミ影の領域とその周辺の領域のコントラストを強くすることで薄いゴミ影を強調し、表示部１１９に表示させる。これにより、ユーザはゴミ影を視認しやすくなる。例えば、図３は、領域抽出部１１６によって抽出された抽出領域のヒストグラムとトーンカーブの例を示す図である。図３（ａ）において、Ｙ１は輝度の最小値、Ｙ２は輝度の最大値、ＹｍｉｄはＹ１とＹ２との中間値を示す。ここで、コントラスト調整部１１８は、Ｙ１とＹ２との間の輝度値を０−１の値に再分布する。これにより、図３（ｂ）に示すように、トーンカーブの傾きが１／（Ｙ２−Ｙ１）となる。ここで、コントラスト調整部１１８はユーザから入力される操作情報に応じて、Ｙ１とＹ２との間の間隔を変換させることで、コントラストを調整することができる。
表示部１１９は、画像データを表示するディスプレイであり、図１におけるモニター１０８である。
【００３７】
次に、図４のフローチャートを参照して、撮像装置１００によってゴミ影が写り込んだ領域を抽出する動作例を説明する。ここでは、撮像部１１１によって画像が撮像されて画像データが生成され、画像記憶部１１２に記憶されている。入力部１１０は、ユーザからゴミ検出を行ないたい画像データの選択を受付けると、選択された画像データが画像記憶部１１２から読み出され表示部１１９に表示される。ここで、ユーザから入力される操作情報に応じて、例えば画像再生モードが「ゴミ検出結果表示モード」に変更されると、撮像装置１００は、画像データからのゴミ検出処理を開始する。まず、色相値算出部１１４は、画像データのＨＳＶ変換を行なって色相値（Ｈｕｅ）を算出する（ステップＳ１）。明るさ算出部１１３は、画像データのＲＧＢ値に基づいて輝度情報（Ｙ）を算出し、輝度平面を生成する（ステップＳ２）。変化量算出部１１５は、ステップＳ２において明るさ算出部１１３が算出した輝度平面における各画素の輝度情報についての標準偏差を算出し、標準偏差平面を生成する（ステップＳ３）。
【００３８】
領域抽出部１１６は、生成した標準偏差平面において標準偏差（Ｙｓｔｄ）が閾値以上である領域を抽出する（ステップＳ４）。そして、領域抽出部１１６は、抽出した領域に含まれる画素数が、定められた範囲内であるか否かを判定する（ステップＳ５）。ここで、領域抽出部１１６は、抽出した領域に含まれる画素数が定められた範囲内でないと判定すれば、（ステップＳ５：ＮＯ）処理を終了する一方、領域抽出部１１６は、抽出した領域に含まれる画素数が定められた範囲内であると判定すれば、ステップＳ６に進む。
【００３９】
また、領域抽出部１１６は、ステップＳ４において抽出した領域内の輝度値と、領域の周辺の輝度値との差が定められた閾値以上であり、かつ、領域内の色相値と領域の周辺の色相値との差が定められた閾値以上でないか否かを判定する（ステップＳ６）。領域抽出部１１６は、領域内の輝度値と、領域の周辺の輝度値との差が定められた閾値以上でないか、あるいは領域内の色相値と領域の周辺の色相値との差が定められた閾値以上であると判定すると（ステップＳ６：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、ステップＳ４において抽出した領域内の輝度値と、領域の周辺の輝度値との差が定められた閾値以上であり、かつ、領域内の色相値と領域の周辺の色相値との差が定められた閾値以上でないと判定すると、ステップＳ７に進む。
【００４０】
そして、領域抽出部１１６は、ステップＳ３において生成した輝度平面を参照して、ステップＳ４において抽出した領域の周辺の輝度情報が、定められた閾値以上であるか否かを判定する（ステップＳ７）。領域抽出部１１６が、ステップＳ４において抽出した領域の周辺の輝度情報は、定められた閾値以上でないと判定すると（ステップＳ７：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、抽出した領域の周辺の明るさ値は、定められた閾値以上であると判定すると（ステップＳ７：ＹＥＳ）、ステップＳ８に進む。
【００４１】
次に、領域抽出部１１６は、領域周辺の標準偏差が閾値以内であるか否かを判定する（ステップＳ８）。領域抽出部１１６が、領域周辺の標準偏差は閾値以内でないと判定すると（ステップＳ８：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、領域周辺の標準偏差は閾値以内であると判定すると（ステップＳ８：ＹＥＳ）、ステップＳ９に進む。また、領域抽出部１１６は、領域周辺の輝度比が閾値以内であるか否かを判定する（ステップＳ９）。領域抽出部１１６が、領域周辺の輝度比は閾値以内でないと判定すると（ステップＳ９：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、領域周辺の輝度比は閾値以内であると判定すると（ステップＳ９：ＹＥＳ）、ステップＳ１０に進む。領域抽出部１１６は、抽出した領域にはゴミ影が写り込んでいると判定し、抽出した領域の座標値を算出して出力する（ステップＳ１０）。
【００４２】
領域抽出部１１６は、表示部１１９に表示された画像データのうち、ゴミ影として判定した抽出領域に矩形状の枠を表示させる。ここで、領域抽出部１１６が複数の領域をゴミ影の領域として抽出した場合には、複数の枠を表示させる。これにより、ユーザは検出されたゴミ影の量を視認できるため、検出されたゴミの量に応じて光学部材の清掃のタイミングを図ることができる。また、入力部１１０に、ユーザから抽出領域が選択されたことを示す情報が入力されると、コントラスト調整部１１８は、選択された抽出領域のコントラストを強調して表示部１１９に表示させる。これにより、ユーザは、抽出されたゴミ影が薄い場合にも視認しやすくなる。また、入力部１１０に、ユーザからゴミ補正を行なう要求を示す操作情報が入力されると、ゴミ補正部１１７は、選択された抽出領域のゴミ補正処理を行う。
【００４３】
図５は、本実施形態におけるゴミ影領域の抽出処理の対象となる画像データの例を示す図である。ここでは、符号ａに示す画像を補正対象の画像データであるとして、画像データにおける符号ｂに示す領域からゴミ影の領域が抽出される概念を示している。符号ｃは、符号ｂの領域について明るさ算出部１１３によって輝度が算出された例を示す。符号ｄは、符号ｂの領域について色相値算出部１１４によって色相値が算出された例を示す。符号ｅは、変化量算出部１１５によって標準偏差が算出された例を示す。符号ｆは、変化量算出部１１５によって算出された標準偏差に基づく二値画像を示す。これらの情報に基づいて、領域抽出部１１６によって条件判定処理が行われ、符号ｇに示すようなゴミ影が抽出される。
【００４４】
ここでは、撮像装置１００によってゴミ影の抽出処理と補正処理とを行なう例を説明したが、撮像装置１００とは異なるコンピュータ装置がこれらの処理を行う構成としても良い。図６は、このような構成による撮像装置２００と画像処理装置３００とを示すブロック図である。撮像装置２００は、被写体を撮像して画像データを生成する電子カメラである。画像処理装置３００は、撮像装置２００が生成した画像データについてのゴミ影の抽出処理と補正処理とを行なうコンピュータ装置であり、入力部３１０と、画像記憶部３１２と、明るさ算出部３１３と、色相値算出部３１４と、変化量算出部３１５と、領域抽出部３１６と、ゴミ補正部３１７と、コントラスト調整部３１８と、表示部３１９とを備えている。
【００４５】
画像処理装置３００が備える各部は、上述の撮像装置１００が備える同名の各部と同様の構成である。ただし、入力部３１０は、キーボードやマウスなどのデバイスである。画像記憶部３１２には、撮像装置２００によって撮像され生成された画像データが記憶される。表示部３１９は、液晶ディスプレイなどのデバイスである。
【００４６】
なお、本実施形態におけるゴミ影の抽出処理は、画像データを圧縮（例えば、１／４）して、圧縮後の画像データに対して行なうようにしても良い。また、画像データを領域分割（例えば、８×１６）して、分割した領域のそれぞれについてゴミ影の抽出処理を行うようにしても良い。これにより、処理対象の画像データ量を減らし、より負荷を低くして処理を行うことができる。
【００４７】
以上説明したように、本実施形態によれば、撮像装置１００内の撮像光路上に付着したゴミにより形成されるゴミ影は、その画像の輝度に影響を与える一方、色相に変化を与えないという特性を用いることで、画像に写り込んだゴミ影を効率よく正確に抽出することが可能となる。
【００４８】
なお、画像記憶部１１２（画像記憶部３１２）は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＲ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
【００４９】
なお、明るさ算出部１１３（明るさ算出部３１３）、色相値算出部１１４（色相値算出部３１４）、変化量算出部１１５（変化量算出部３１５）、領域抽出部１１６（領域抽出部３１６）、ゴミ補正部１１７（ゴミ補正部３１７）、コントラスト調整部１１８（コントラスト調整部３１８）は専用のハードウェアにより実現されるものであってもよく、または、メモリおよびＣＰＵ（中央演算装置）により構成され、各処理部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００５０】
また、各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各部により実行される処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００５１】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【００５２】
１００…撮像装置、１１１…撮像部、１１３…明るさ算出部、１１４…色相値算出部、１１５…変化量算出部、１１６…領域抽出部、３００…画像処理装置、３１３…明るさ算出部、３１４…色相値算出部、３１５…変化量算出部、３１６…領域抽出部
【技術分野】
【０００１】
本発明は、撮像された画像に含まれるゴミ影の領域を抽出する画像処理装置、画像処理プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
電子カメラなどの撮像装置によって撮像を行なう際、撮像素子の近傍に配置された光学フィルタ等の光学部材における撮像光路上にゴミが付着していると、付着したゴミにより生じた影が撮像画像に写り込む場合がある。特にレンズ交換式の撮像装置では、レンズ交換時などに塵や埃などのゴミがカメラボディ内に侵入して付着する場合がある。例えば特許文献１に示される技術では、このように画像に写り込んだゴミ影を検出して補正を行なうために、一様面においてゴミ影の写り込んだ基準画像を予め撮像してゴミ位置の座標を算出する。そして、補正対象の撮像画像における基準画像のゴミ位置に対応する位置について、ゴミ影を削除する補正を行なう。また、特許文献１には、補正対象の画像に含まれる各画素の輝度情報の変化に基づいてゴミ影を抽出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術により基準画像に基づいてゴミ影の補正を行なう場合には、基準画像と補正対象の画像との複数画像に対して処理を行うため、処理が複雑になり相当の撮像装置の処理性能や処理時間が必要となる。一方、補正対象の画像に含まれる各画素の輝度情報の変化に基づいてゴミ影を抽出する場合では、被写体の色合いによる輝度の変化を誤ってゴミ影として抽出してしまう場合があった。ここで、画像に写り込んだゴミを抽出する場合には、より少ない処理で効率良く行なうとともに、ゴミ影の誤検出を低減させることが望ましい。
【０００５】
本発明は、このような状況に鑑みてなされたもので、画像に写り込んだゴミ影を効率良く正確に抽出する画像処理装置、画像処理プログラムおよび撮像装置を提供する。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は、画像内の各部分における明るさを示す第１の明るさ値と、各部分の周辺における明るさを示す第２の明るさ値とを算出する明るさ算出部と、各部分における色相を示す第１の色相値と、各部分の周辺における色相を示す第２の色相値とを算出する色相値算出部と、第１の明るさ値と第２の明るさ値との差が予め定められた閾値以上であり、かつ、第１の色相値と第２の色相値との差が予め定められた閾値以上でない部分からなる領域を抽出する領域抽出部と、を備えることを特徴とする画像処理装置である。
【０００７】
また、本発明は、画像に含まれる画素に対して、画素の明るさ値と、画素の周辺の部分の明るさ値との差を示す変化量を算出する変化量算出部を備え、領域抽出部は、変化量算出部によって算出された変化量が予め定められた閾値以上であることをさらに条件として、条件を満たす領域を抽出することを特徴とする。
【０００８】
また、本発明は、上述の領域抽出部が、抽出した領域に含まれる画素の画素数が、予め定められた画素数の範囲内であるか否かを判定し、範囲内であると判定したことをさらに条件として、条件を満たす領域を抽出することを特徴とする。
【０００９】
また、本発明は、上述の領域抽出部が、抽出した領域の周辺の領域の明るさ値が予め定められた閾値以上であることをさらに条件として、条件を満たす領域を抽出することを特徴とする。
【００１０】
また、本発明は、上述の領域抽出部が、抽出した領域の周辺の領域の明るさの変化量が予め定められた閾値以下であることをさらに条件として、条件を満たす領域を抽出することを特徴とする。
【００１１】
また、本発明は、上述の領域抽出部が、抽出した領域の明るさ値と領域の周辺の領域の明るさ値との比が予め定められた閾値以下であることをさらに条件として、条件を満たす領域を抽出することを特徴とする。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、画像に写り込んだゴミ影を効率良く正確に抽出する画像処理装置、画像処理プログラムおよび撮像装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による撮像装置の構成例を示す図である。
【図２】本発明の一実施形態による撮像装置の構成例を示すブロック図である。
【図３】本発明の一実施形態によるコントラスト調整の概念を示すブロック図である。
【図４】本発明の一実施形態による撮像装置の動作例を示すフローチャートである。
【図５】本発明の一実施形態によりゴミ影が検出される画像データの例を示す図である。
【図６】本発明の一実施形態による画像処理装置の構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による撮像装置１００の構成を示す図である。撮像装置１００は、レンズ交換式の電子カメラであり、複数の光学レンズ群であるレンズ１０２を有する光学系１０１を備える。光学系１０１が設置されるカメラボディ１０３は、シャッター１０６、光学フィルタ１０５などの光学部材や撮像素子１０４を備えている。撮像素子４は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、光学系１０１を介して露光され自身の結像面に結像された像を電気信号に変換し、変換した電気信号である画像信号を出力する。出力された画像信号は画像データに変換され、カメラボディ１０３に備えられるモニター１０８に表示される。モニター１０８は、例えばＬＣＤ（Liquid Crystal Display）などの液晶ディスプレイである。
【００１５】
ここで、光学系１０１はカメラボディ１０３に対して着脱可能であり、着脱時にカメラボディ１０３の内部にゴミが侵入し、撮像光路上にゴミが付着する場合がある。図には、光学フィルタ１０５に付着したゴミ１０７を示している。このようなゴミ１０７は、光学系１０１を介して入射する光を遮って、撮像素子１０４に結像される像に影を形成する。これにより、撮像装置１００により生成される画像データにはゴミ影が写り込むこととなる。本実施形態における撮像装置１００は、画像データに写り込んだこのようなゴミ影を検出して削除する補正を行なう。
【００１６】
図２は、本実施形態による撮像装置１００の構成を示すブロック図である。撮像装置１００は、自身の記憶領域に予め記憶されたプログラムに基づいて各部の動作を制御するマイコンやＣＰＵ（Central Processing Unit）を有し、入力部１１０と、撮像部１１１と、画像記憶部１１２と、明るさ算出部１１３と、色相値算出部１１４と、変化量算出部１１５と、領域抽出部１１６と、ゴミ補正部１１７と、コントラスト調整部１１８と、表示部１１９とを備えている。
【００１７】
入力部１１０は、ユーザからの操作情報の入力を受け付ける。入力部１１０には、例えば、主に撮像時のシャッタースピードを調整する情報の入力を受け付けるコマンドダイヤル、主に撮像時の絞り値を調整する情報の入力を受け付けるサブコマンドダイヤル、撮像して記憶された画像を再生する要求入力を受け付ける再生ボタン、撮像して記憶された画像を削除する要求入力を受け付ける削除ボタン、表示部１１９に表示されるメニュー項目を選択する決定ボタンなどが含まれる。
【００１８】
撮像部１１１は、定められた制御手順により光学系１０１を駆動させ、撮像素子１０４から出力される画像信号に基づいて画像データを生成することにより、画像を撮像する。ここでは、撮像部１１１が生成する画像データは、各画素の色がＲＧＢ表色系によって表された情報である。
画像記憶部１１２には、撮像部１１１によって生成された画像データが記憶される。
【００１９】
明るさ算出部１１３は、画像記憶部１１２に記憶された画像データに含まれる定められた領域内における明るさの度合いを示す第１の明るさ値と、その領域の周辺における明るさの度合いを示す第２の明るさ値とを算出する。ここで、領域の周辺とは、例えば定められた領域の画素から周辺の５ピクセル以内の画素などである。ここでは、明るさ算出部１１３は、画像データに含まれる画素のＲＧＢ値に基づいて、明るさの度合いを示す輝度情報（Ｙ）を算出する。ここで、明るさ算出部１１３は、ＲＧＢ値に基づいて以下式（１）により輝度情報を算出する。
【００２０】
【数１】
【００２１】
上記式（１）により、明るさ算出部１１３は、画像記憶部１１２に記憶された画像データに含まれる各画素について輝度情報を算出し、画像データに対応する輝度平面を生成する。ここでは、明るさ算出部１１３は、画素の明るさの度合いを示す情報として輝度情報を算出する例を説明するが、例えば明度などを算出して適用しても良い。
【００２２】
色相値算出部１１４は、定められた領域内における色相を示す第１の色相値と、その領域の周辺における色相を示す第２の色相値とを算出する。色相値算出部１１４は、画像データに含まれる画素のＲＧＢ値に基づいて、色相値（Ｈｕｅ）を算出する。ここでは、色相値算出部１１４は、画像データに含まれる画素のＲＧＢ値をＨＳＶ表色系に変換することにより、色相値を算出する。ＨＳＶ表色系は、Ｈ（Ｈｕｅ：色相）、Ｓ（ｓａｔｕｒａｔｉｏｎ：彩度）、Ｖ（Ｖａｌｕｅ：明度）により色を表すモデルである。色相値算出部１１４は、以下式（２）により色相値（Ｈ）を算出する。
【００２３】
【数２】
【００２４】
ここで、Ｈ＜０の場合はＨに２πを加え、Ｖｍａｘ＝０の場合は、Ｓ＝０、Ｈ＝不定となる。上記式（２）により、色相値算出部１１４は、画像記憶部１１２に記憶された画像データに含まれる各画素について色相値を算出する。
変化量算出部１１５は、画像データに含まれる画素毎に、画素の明るさ値（輝度情報）と、画素の周辺における明るさ値（輝度情報）との差を示す変化量を算出することにより、画像データにおける明るさのバラツキを取得する。ここでは、変化量算出部１１５は、明るさ算出部１１３によって算出された輝度平面について、定められた区画毎にマトリックスを生成し、そのマトリックスの中心を注目画素とした標準偏差（Ｙｓｔｄ）を算出することにより、明るさのバラツキを取得する。ここで、定められた区画とは、例えば、５行５列の画素のマトリックスである。変化量算出部１１５は、以下式（３）により標準偏差を算出する。
【００２５】
【数３】
【００２６】
ここで、ｎはマトリックスの要素数、ｘｉはマトリックスの要素の値、バー（￣）が付されたｘは処理対象のマトリックスに含まれる全要素の平均値である。変化量算出部１１５は、明るさ算出部１１３によって算出された輝度平面のそれぞれの画素について標準偏差を算出し、標準偏差平面を生成する。標準偏差平面における標準偏差の値は、輝度のバラツキが大きい領域では相対的に高い値を示し、バラツキが少ない部分では相対的に低い値となる。これにより、Ｙｓｔｄは、ゴミ影の影響により輝度が変化している領域では高い値を示し、空などの一様平面では低い値を示す。この例では、変化量算出部１１５が算出するマトリックスの大きさを５行５列としたが、マトリックスの大きさは適当な任意の大きさを適用して良い。例えば、これよりも大きな領域のマトリックスを処理対象とした場合には、平均化効果などにより、輝度情報に含まれるノイズを排除した標準偏差平面を得ることとなる。ここでは、標準偏差を求めることにより画像データの明るさのバラツキを算出する例を示したが、標準偏差を二乗して得られる分散を用いても良い。
【００２７】
領域抽出部１１６は、処理対象の画像データからゴミ影が写り込んでいる可能性が高い領域を抽出する。ここで、領域抽出部１１６の記憶領域には、ゴミ影の領域を抽出するために定められた複数の条件が予め記憶されている。領域抽出部１１６は、定められた条件に基づいてゴミ影が写り込んでいる可能性が高い領域を絞り込んでいき、全ての条件を満たす領域を、ゴミ影が写り込んだ領域であると判定する。
【００２８】
まず、領域抽出部１１６は、変化量算出部１１５によって算出された変化量が予め定められた閾値以上であることを条件として、画像データから条件を満たす領域を抽出する。ここで、領域抽出部１１６は、変化量算出部１１５によって生成された標準偏差平面に含まれる画素の標準偏差と、予め定められた標準偏差の閾値とを比較する。領域抽出部１１６は、標準偏差平面に含まれる画素の標準偏差が定められた閾値以上である場合には、その画素の値を１とし、標準偏差平面に含まれる画素の標準偏差が定められた閾値未満である場合には、その画素の値を０として二値画像を生成する。すなわち、二値画像においては、周辺画素との輝度の変化量が大きく標準偏差が閾値以上である領域の画素を１とし、周辺画素との輝度の変化量が小さく標準偏差が閾値未満である領域の画素を０とする。領域抽出部１１６は、生成した二値画像から、画素の値が１である領域を抽出する。領域抽出部１１６は、抽出した領域がゴミ影であるか否かについて定められた条件に基づいて、以下の条件判定処理を行う。ここで、領域抽出部１１６は、隣接しない複数の画素群の領域を抽出した場合には、抽出したそれぞれの領域について、以下の条件判定処理を行う。
【００２９】
また、領域抽出部１１６は、撮像装置１００の撮像光路上に付着したゴミにより形成されるゴミ影は、その画像の輝度に影響を与える一方、色相に変化を与えないという特性を用いて、抽出した領域がゴミ影であるか否かを判定する。すなわち、領域抽出部１１６は、明るさ算出部１１３によって生成された輝度平面を参照し、抽出領域における画素の輝度と抽出領域周辺における画素の輝度との差が予め定められた閾値以上であり、かつ、抽出領域の画素について色相値算出部１１４によって算出された色相値と、抽出領域の周辺の画素について色相値算出部１１４によって算出された色相値との差が予め定められた閾値以上でないことを条件として、抽出した領域が条件を満たすか否かを判定する。領域抽出部１１６は、抽出した領域がこの条件を満たす場合、その領域がゴミ影であると判定する。抽出した領域がこの条件を満たさない場合、その領域がゴミ影でないと判定する。ここでは、抽出領域における画素の輝度が、抽出領域周辺における画素の輝度よりも小さいことをさらに条件とすることができる。抽出領域または抽出領域周辺の画素について、複数の画素を処理対象とする場合には、それぞれの領域に含まれる画素の値の平均値によって比較することができる。
【００３０】
また、領域抽出部１１６は、抽出領域の大きさによって、抽出領域がゴミ影であるか否かを判定する。例えば、抽出領域に含まれる画素の画素数と、ゴミ影として定められた画素数の範囲の下限値とを比較して、下限値未満である場合は、その領域はゴミ影でないと判定する。抽出領域が小さすぎる場合は、ノイズによりその領域の標準偏差が閾値以上であると判定されたと考えられるためである。一方、抽出領域に含まれる画素の画素数と、ゴミ影として定められた画素数の範囲の上限値とを比較して、上限値以上である場合にも、その領域はゴミ影でないと判定する。抽出領域が大きすぎる場合は、被写体が存在することによりその領域の標準偏差が閾値以上であると判定されたと考えられるためである。このように、領域抽出部１１６は、抽出した領域に含まれる画素の画素数が、予め定められた画素数の範囲内であるか否かを判定し、範囲内であると判定したことをさらに条件として、条件を満たす領域をゴミ影であると判定し、抽出する。
【００３１】
また、領域抽出部１１６は、抽出した領域の周辺の領域の明るさ値（輝度情報）が予め定められた閾値以上であることをさらに条件として判定処理を行う。領域抽出部１１６は、抽出領域の周辺の領域の輝度情報と、予め定められた閾値とを比較して、輝度情報が閾値以上である場合にその領域をゴミ影であると判定し、輝度情報が閾値以上でない場合にその領域をゴミ影でないと判定する。
【００３２】
また、領域抽出部１１６は、抽出した領域の周辺の領域の明るさの変化量が予め定められた閾値以下であることをさらに条件として判定処理を行う。領域抽出部１１６は、変化量算出部１１５によって生成された標準偏差平面を参照して、標準偏差が閾値以下である場合にその領域をゴミ影であると判定し、標準偏差が閾値以下でない場合にその領域をゴミ影でないと判定する。
【００３３】
また、領域抽出部１１６は、抽出した領域の明るさ値とその領域の周辺の領域の明るさ値との比が予め定められた閾値以下であることをさらに条件として判定処理を行う。領域抽出部１１６は、明るさ算出部１１３によって生成された輝度平面を参照して、抽出領域の輝度とその周辺の領域の輝度との比を算出し、算出した比が閾値以下である場合にその領域をゴミ影であると判定し、比が閾値以下でない場合にその領域をゴミ影でないと判定する。
【００３４】
また、領域抽出部１１６は、上述の条件判定処理を行い、抽出領域をゴミ影であると判定した場合には、画像データにおける抽出領域の中心座標を算出する。例えば、領域抽出部１１６は、表示部１１９に表示された画像データにおいて、算出した中心座標の箇所に、定められた大きさの矩形状の枠を表示させる。ユーザは、表示された枠を視認することにより、ゴミ影として判定された領域を確認することができる。
【００３５】
ゴミ補正部１１７は、領域抽出部１１６によって抽出された領域に写り込んだゴミ影を削除するゴミ補正処理を行う。ここで、上述のように、ゴミ影が写り込んだ抽出領域は、周辺の領域と比較して色相に変化がなく、輝度に変化が存在する。そこで、ゴミ補正部１１７は、例えば、抽出領域の画素の輝度を、周辺の画素の輝度と同程度になるように増加させることより、抽出領域のゴミ影を削除する。
【００３６】
コントラスト調整部１１８は、画像データのコントラストを際立たせる処理を行う。例えば、ゴミ影が薄く、ゴミ影の領域の画素と周辺の画素との輝度の差が、人間の目によっては確認することが困難である程度に小さい場合には、ユーザはゴミ影の存在を確認しづらい。そこで、コントラスト調整部１１８は、画像データにおけるゴミ影の領域とその周辺の領域のコントラストを強くすることで薄いゴミ影を強調し、表示部１１９に表示させる。これにより、ユーザはゴミ影を視認しやすくなる。例えば、図３は、領域抽出部１１６によって抽出された抽出領域のヒストグラムとトーンカーブの例を示す図である。図３（ａ）において、Ｙ１は輝度の最小値、Ｙ２は輝度の最大値、ＹｍｉｄはＹ１とＹ２との中間値を示す。ここで、コントラスト調整部１１８は、Ｙ１とＹ２との間の輝度値を０−１の値に再分布する。これにより、図３（ｂ）に示すように、トーンカーブの傾きが１／（Ｙ２−Ｙ１）となる。ここで、コントラスト調整部１１８はユーザから入力される操作情報に応じて、Ｙ１とＹ２との間の間隔を変換させることで、コントラストを調整することができる。
表示部１１９は、画像データを表示するディスプレイであり、図１におけるモニター１０８である。
【００３７】
次に、図４のフローチャートを参照して、撮像装置１００によってゴミ影が写り込んだ領域を抽出する動作例を説明する。ここでは、撮像部１１１によって画像が撮像されて画像データが生成され、画像記憶部１１２に記憶されている。入力部１１０は、ユーザからゴミ検出を行ないたい画像データの選択を受付けると、選択された画像データが画像記憶部１１２から読み出され表示部１１９に表示される。ここで、ユーザから入力される操作情報に応じて、例えば画像再生モードが「ゴミ検出結果表示モード」に変更されると、撮像装置１００は、画像データからのゴミ検出処理を開始する。まず、色相値算出部１１４は、画像データのＨＳＶ変換を行なって色相値（Ｈｕｅ）を算出する（ステップＳ１）。明るさ算出部１１３は、画像データのＲＧＢ値に基づいて輝度情報（Ｙ）を算出し、輝度平面を生成する（ステップＳ２）。変化量算出部１１５は、ステップＳ２において明るさ算出部１１３が算出した輝度平面における各画素の輝度情報についての標準偏差を算出し、標準偏差平面を生成する（ステップＳ３）。
【００３８】
領域抽出部１１６は、生成した標準偏差平面において標準偏差（Ｙｓｔｄ）が閾値以上である領域を抽出する（ステップＳ４）。そして、領域抽出部１１６は、抽出した領域に含まれる画素数が、定められた範囲内であるか否かを判定する（ステップＳ５）。ここで、領域抽出部１１６は、抽出した領域に含まれる画素数が定められた範囲内でないと判定すれば、（ステップＳ５：ＮＯ）処理を終了する一方、領域抽出部１１６は、抽出した領域に含まれる画素数が定められた範囲内であると判定すれば、ステップＳ６に進む。
【００３９】
また、領域抽出部１１６は、ステップＳ４において抽出した領域内の輝度値と、領域の周辺の輝度値との差が定められた閾値以上であり、かつ、領域内の色相値と領域の周辺の色相値との差が定められた閾値以上でないか否かを判定する（ステップＳ６）。領域抽出部１１６は、領域内の輝度値と、領域の周辺の輝度値との差が定められた閾値以上でないか、あるいは領域内の色相値と領域の周辺の色相値との差が定められた閾値以上であると判定すると（ステップＳ６：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、ステップＳ４において抽出した領域内の輝度値と、領域の周辺の輝度値との差が定められた閾値以上であり、かつ、領域内の色相値と領域の周辺の色相値との差が定められた閾値以上でないと判定すると、ステップＳ７に進む。
【００４０】
そして、領域抽出部１１６は、ステップＳ３において生成した輝度平面を参照して、ステップＳ４において抽出した領域の周辺の輝度情報が、定められた閾値以上であるか否かを判定する（ステップＳ７）。領域抽出部１１６が、ステップＳ４において抽出した領域の周辺の輝度情報は、定められた閾値以上でないと判定すると（ステップＳ７：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、抽出した領域の周辺の明るさ値は、定められた閾値以上であると判定すると（ステップＳ７：ＹＥＳ）、ステップＳ８に進む。
【００４１】
次に、領域抽出部１１６は、領域周辺の標準偏差が閾値以内であるか否かを判定する（ステップＳ８）。領域抽出部１１６が、領域周辺の標準偏差は閾値以内でないと判定すると（ステップＳ８：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、領域周辺の標準偏差は閾値以内であると判定すると（ステップＳ８：ＹＥＳ）、ステップＳ９に進む。また、領域抽出部１１６は、領域周辺の輝度比が閾値以内であるか否かを判定する（ステップＳ９）。領域抽出部１１６が、領域周辺の輝度比は閾値以内でないと判定すると（ステップＳ９：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、領域周辺の輝度比は閾値以内であると判定すると（ステップＳ９：ＹＥＳ）、ステップＳ１０に進む。領域抽出部１１６は、抽出した領域にはゴミ影が写り込んでいると判定し、抽出した領域の座標値を算出して出力する（ステップＳ１０）。
【００４２】
領域抽出部１１６は、表示部１１９に表示された画像データのうち、ゴミ影として判定した抽出領域に矩形状の枠を表示させる。ここで、領域抽出部１１６が複数の領域をゴミ影の領域として抽出した場合には、複数の枠を表示させる。これにより、ユーザは検出されたゴミ影の量を視認できるため、検出されたゴミの量に応じて光学部材の清掃のタイミングを図ることができる。また、入力部１１０に、ユーザから抽出領域が選択されたことを示す情報が入力されると、コントラスト調整部１１８は、選択された抽出領域のコントラストを強調して表示部１１９に表示させる。これにより、ユーザは、抽出されたゴミ影が薄い場合にも視認しやすくなる。また、入力部１１０に、ユーザからゴミ補正を行なう要求を示す操作情報が入力されると、ゴミ補正部１１７は、選択された抽出領域のゴミ補正処理を行う。
【００４３】
図５は、本実施形態におけるゴミ影領域の抽出処理の対象となる画像データの例を示す図である。ここでは、符号ａに示す画像を補正対象の画像データであるとして、画像データにおける符号ｂに示す領域からゴミ影の領域が抽出される概念を示している。符号ｃは、符号ｂの領域について明るさ算出部１１３によって輝度が算出された例を示す。符号ｄは、符号ｂの領域について色相値算出部１１４によって色相値が算出された例を示す。符号ｅは、変化量算出部１１５によって標準偏差が算出された例を示す。符号ｆは、変化量算出部１１５によって算出された標準偏差に基づく二値画像を示す。これらの情報に基づいて、領域抽出部１１６によって条件判定処理が行われ、符号ｇに示すようなゴミ影が抽出される。
【００４４】
ここでは、撮像装置１００によってゴミ影の抽出処理と補正処理とを行なう例を説明したが、撮像装置１００とは異なるコンピュータ装置がこれらの処理を行う構成としても良い。図６は、このような構成による撮像装置２００と画像処理装置３００とを示すブロック図である。撮像装置２００は、被写体を撮像して画像データを生成する電子カメラである。画像処理装置３００は、撮像装置２００が生成した画像データについてのゴミ影の抽出処理と補正処理とを行なうコンピュータ装置であり、入力部３１０と、画像記憶部３１２と、明るさ算出部３１３と、色相値算出部３１４と、変化量算出部３１５と、領域抽出部３１６と、ゴミ補正部３１７と、コントラスト調整部３１８と、表示部３１９とを備えている。
【００４５】
画像処理装置３００が備える各部は、上述の撮像装置１００が備える同名の各部と同様の構成である。ただし、入力部３１０は、キーボードやマウスなどのデバイスである。画像記憶部３１２には、撮像装置２００によって撮像され生成された画像データが記憶される。表示部３１９は、液晶ディスプレイなどのデバイスである。
【００４６】
なお、本実施形態におけるゴミ影の抽出処理は、画像データを圧縮（例えば、１／４）して、圧縮後の画像データに対して行なうようにしても良い。また、画像データを領域分割（例えば、８×１６）して、分割した領域のそれぞれについてゴミ影の抽出処理を行うようにしても良い。これにより、処理対象の画像データ量を減らし、より負荷を低くして処理を行うことができる。
【００４７】
以上説明したように、本実施形態によれば、撮像装置１００内の撮像光路上に付着したゴミにより形成されるゴミ影は、その画像の輝度に影響を与える一方、色相に変化を与えないという特性を用いることで、画像に写り込んだゴミ影を効率よく正確に抽出することが可能となる。
【００４８】
なお、画像記憶部１１２（画像記憶部３１２）は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＲ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
【００４９】
なお、明るさ算出部１１３（明るさ算出部３１３）、色相値算出部１１４（色相値算出部３１４）、変化量算出部１１５（変化量算出部３１５）、領域抽出部１１６（領域抽出部３１６）、ゴミ補正部１１７（ゴミ補正部３１７）、コントラスト調整部１１８（コントラスト調整部３１８）は専用のハードウェアにより実現されるものであってもよく、または、メモリおよびＣＰＵ（中央演算装置）により構成され、各処理部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００５０】
また、各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各部により実行される処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００５１】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【００５２】
１００…撮像装置、１１１…撮像部、１１３…明るさ算出部、１１４…色相値算出部、１１５…変化量算出部、１１６…領域抽出部、３００…画像処理装置、３１３…明るさ算出部、３１４…色相値算出部、３１５…変化量算出部、３１６…領域抽出部
【特許請求の範囲】
【請求項１】
画像内の各部分における明るさを示す第１の明るさ値と、前記各部分の周辺における明るさを示す第２の明るさ値とを算出する明るさ算出部と、
前記各部分における色相を示す第１の色相値と、前記各部分の周辺における色相を示す第２の色相値とを算出する色相値算出部と、
前記第１の明るさ値と前記第２の明るさ値との差が予め定められた閾値以上であり、かつ、前記第１の色相値と前記第２の色相値との差が予め定められた閾値以上でない前記部分からなる領域を抽出する領域抽出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像に含まれる画素に対して、当該画素の明るさ値と、当該画素の周辺の部分の明るさ値との差を示す変化量を算出する変化量算出部を備え、
前記領域抽出部は、前記変化量算出部によって算出された前記変化量が予め定められた閾値以上であることをさらに条件として、当該条件を満たす前記領域を抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域抽出部は、抽出した前記領域に含まれる画素の画素数が、予め定められた画素数の範囲内であるか否かを判定し、当該範囲内であると判定したことをさらに条件として、当該条件を満たす前記領域を抽出する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記領域抽出部は、抽出した前記領域の周辺の領域の明るさ値が予め定められた閾値以上であることをさらに条件として、当該条件を満たす前記領域を抽出する
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記領域抽出部は、抽出した前記領域の周辺の領域の明るさの変化量が予め定められた閾値以下であることをさらに条件として、当該条件を満たす前記領域を抽出する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記領域抽出部は、抽出した前記領域の明るさ値と当該領域の周辺の領域の明るさ値との比が予め定められた閾値以下であることをさらに条件として、当該条件を満たす前記領域を抽出する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項７】
コンピュータに、
画像内の各部分における明るさを示す第１の明るさ値と、前記各部分の周辺における明るさを示す第２の明るさ値とを算出するステップと、
前記領域内における色相を示す第１の色相値と、前記領域の周辺における色相を示す第２の色相値とを算出するステップと、
前記第１の明るさ値と前記第２の明るさ値との差が予め定められた閾値以上であり、かつ、前記第１の色相値と前記第２の色相値との差が予め定められた閾値以上でない前記各部分からなる領域を抽出するステップと、
を実行させる画像処理プログラム。
【請求項８】
画像を撮像する撮像部と、
前記撮像部によって撮像された前記画像内の各部分における明るさを示す第１の明るさ値と、前記各部分の周辺における明るさを示す第２の明るさ値とを算出する明るさ算出部と、
前記各部分における色相を示す第１の色相値と、前記各部分の周辺における色相を示す第２の色相値とを算出する色相値算出部と、
前記第１の明るさ値と前記第２の明るさ値との差が予め定められた閾値以上であり、かつ、前記第１の色相値と前記第２の色相値との差が予め定められた閾値以上でない前記各部分からなる領域を抽出する領域抽出部と、
を備えることを特徴とする撮像装置。
【請求項１】
画像内の各部分における明るさを示す第１の明るさ値と、前記各部分の周辺における明るさを示す第２の明るさ値とを算出する明るさ算出部と、
前記各部分における色相を示す第１の色相値と、前記各部分の周辺における色相を示す第２の色相値とを算出する色相値算出部と、
前記第１の明るさ値と前記第２の明るさ値との差が予め定められた閾値以上であり、かつ、前記第１の色相値と前記第２の色相値との差が予め定められた閾値以上でない前記部分からなる領域を抽出する領域抽出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像に含まれる画素に対して、当該画素の明るさ値と、当該画素の周辺の部分の明るさ値との差を示す変化量を算出する変化量算出部を備え、
前記領域抽出部は、前記変化量算出部によって算出された前記変化量が予め定められた閾値以上であることをさらに条件として、当該条件を満たす前記領域を抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域抽出部は、抽出した前記領域に含まれる画素の画素数が、予め定められた画素数の範囲内であるか否かを判定し、当該範囲内であると判定したことをさらに条件として、当該条件を満たす前記領域を抽出する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記領域抽出部は、抽出した前記領域の周辺の領域の明るさ値が予め定められた閾値以上であることをさらに条件として、当該条件を満たす前記領域を抽出する
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記領域抽出部は、抽出した前記領域の周辺の領域の明るさの変化量が予め定められた閾値以下であることをさらに条件として、当該条件を満たす前記領域を抽出する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記領域抽出部は、抽出した前記領域の明るさ値と当該領域の周辺の領域の明るさ値との比が予め定められた閾値以下であることをさらに条件として、当該条件を満たす前記領域を抽出する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項７】
コンピュータに、
画像内の各部分における明るさを示す第１の明るさ値と、前記各部分の周辺における明るさを示す第２の明るさ値とを算出するステップと、
前記領域内における色相を示す第１の色相値と、前記領域の周辺における色相を示す第２の色相値とを算出するステップと、
前記第１の明るさ値と前記第２の明るさ値との差が予め定められた閾値以上であり、かつ、前記第１の色相値と前記第２の色相値との差が予め定められた閾値以上でない前記各部分からなる領域を抽出するステップと、
を実行させる画像処理プログラム。
【請求項８】
画像を撮像する撮像部と、
前記撮像部によって撮像された前記画像内の各部分における明るさを示す第１の明るさ値と、前記各部分の周辺における明るさを示す第２の明るさ値とを算出する明るさ算出部と、
前記各部分における色相を示す第１の色相値と、前記各部分の周辺における色相を示す第２の色相値とを算出する色相値算出部と、
前記第１の明るさ値と前記第２の明るさ値との差が予め定められた閾値以上であり、かつ、前記第１の色相値と前記第２の色相値との差が予め定められた閾値以上でない前記各部分からなる領域を抽出する領域抽出部と、
を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図６】
【図５】
【図２】
【図３】
【図４】
【図６】
【図５】
【公開番号】特開２０１２−１５１８７７（Ｐ２０１２−１５１８７７Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１２−５１６７２（Ｐ２０１２−５１６７２）
【出願日】平成２４年３月８日（２０１２．３．８）
【分割の表示】特願２００９−１７０３６７（Ｐ２００９−１７０３６７）の分割
【原出願日】平成２１年７月２１日（２００９．７．２１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２４年３月８日（２０１２．３．８）
【分割の表示】特願２００９−１７０３６７（Ｐ２００９−１７０３６７）の分割
【原出願日】平成２１年７月２１日（２００９．７．２１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]