画像処理装置、画像処理プログラムおよび撮像装置
【課題】画像に写り込んだゴミ影を効率よく正確に抽出する画像処理装置を提供する。
【解決手段】画像処理装置が、画像情報に基づいて画像内での輝度勾配を算出する輝度勾配算出部と、輝度勾配算出部により算出された輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、候補領域の周辺における色相を示す第２の色相値とを算出する色相値算出部と、候補領域の中から、第１の色相値と第２の色相値との差が予め定められた閾値以下の領域を抽出する領域抽出部とを備える。
【解決手段】画像処理装置が、画像情報に基づいて画像内での輝度勾配を算出する輝度勾配算出部と、輝度勾配算出部により算出された輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、候補領域の周辺における色相を示す第２の色相値とを算出する色相値算出部と、候補領域の中から、第１の色相値と第２の色相値との差が予め定められた閾値以下の領域を抽出する領域抽出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像に含まれるゴミ影の領域を抽出する画像処理装置、画像処理プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
電子カメラなどの撮像装置によって撮像を行なう際、撮像素子の近傍に配置された光学フィルタ等の光学部材における撮像光路上にゴミが付着していると、付着したゴミにより生じた影が撮像画像に写り込む場合がある。特にレンズ交換式の撮像装置では、レンズ交換時などに塵や埃などのゴミがカメラボディ内に侵入して付着する場合がある。例えば特許文献１に示される技術では、このように画像に写り込んだゴミ影を抽出して補正を行なうために、一様面においてゴミ影の写り込んだ基準画像を予め撮像してゴミ位置の座標を算出する。そして、補正対象の撮像画像における基準画像のゴミ位置に対応する位置について、ゴミ影を削除する補正を行なう。また、特許文献１には、補正対象の画像に含まれる各画素の輝度の変化に基づいてゴミ影を抽出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術により基準画像に基づいてゴミ影の補正を行なう場合には、基準画像と補正対象の画像との複数画像に対して処理を行うため、複雑な処理の処理負荷に相当する撮像装置の処理性能や処理時間が必要となる。一方、補正対象の画像に含まれる各画素の輝度の変化に基づいてゴミ影を抽出する場合、例えば被写体の色合いによる輝度の変化を誤ってゴミ影として抽出してしまうことがあった。ここで、画像に写り込んだゴミ影を抽出する場合には、より少ない処理負荷で効率良く行なうとともに、ゴミ影の誤検出を低減させることが望ましい。
【０００５】
本発明は、このような状況に鑑みてなされたもので、画像に写り込んだゴミ影を、より少ない処理負荷で正確に抽出する画像処理装置、画像処理プログラムおよび撮像装置を提供する。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は、画像情報に基づいて画像内での輝度勾配を算出する輝度勾配算出部と、輝度勾配算出部により算出された輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、候補領域の周辺における色相を示す第２の色相値とを算出する色相値算出部と、候補領域の中から、第１の色相値と第２の色相値との差が予め定められた閾値以下の領域を抽出する領域抽出部とを備えることを特徴とする画像処理装置である。
【０００７】
また、本発明は、上述の輝度勾配算出部が、逆ガンマ補正された画像情報に基づいて輝度勾配を算出することを特徴とする。
【０００８】
また、本発明は、上述の領域抽出部が、候補領域の大きさが予め定められた閾値以上であるか否かの判定を行い、判定結果に基づいて領域を抽出することを特徴とする。
【０００９】
また、本発明は、上述の画像処理装置が画像内での明るさの度合いを算出する明るさ算出部を備え、領域抽出部は、候補領域の周辺の領域の明るさ値が予め定められた閾値以上であるか否かの判定と、候補領域の周辺の明るさ値の変化量が予め定められた閾値以下であるか否かの判定と、候補領域の明るさ値と候補領域の周辺の領域の明るさ値との比が予め定められた閾値以下であるか否かの判定との少なくとも一つに基づいて領域を抽出することを特徴とする。
【００１０】
また、本発明は、コンピュータに、画像情報に基づいて画像内での輝度勾配を算出するステップと、算出された輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、候補領域の周辺における色相を示す第２の色相値とを算出するステップと、候補領域の中から、第１の色相値と第２の色相値との差が予め定められた閾値以下の領域を抽出するステップとを実行させる画像処理プログラムである。
【００１１】
また、本発明は、画像を撮像して画像情報を生成する撮像部と、画像情報に基づいて画像内での輝度勾配を算出する輝度勾配算出部と、輝度勾配算出部により算出された輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、候補領域の周辺における色相を示す第２の色相値とを算出する色相値算出部と、候補領域の中から、第１の色相値と第２の色相値との差が予め定められた閾値以下の領域を抽出する領域抽出部とを備えることを特徴とする撮像装置である。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、画像に写り込んだゴミ影を、より少ない処理負荷で正確に抽出する画像処理装置、画像処理プログラムおよび撮像装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による撮像装置の構成例を示す図である。
【図２】本発明の一実施形態による撮像装置の構成例を示すブロック図である。
【図３】本発明の一実施形態による撮像装置の動作例を示すフローチャートである。
【図４】本発明の一実施形態による画像処理装置の構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による撮像装置１００の構成を示す図である。撮像装置１００は、レンズ交換式の電子カメラであり、複数の光学レンズ群であるレンズ１０２を有する光学系１０１を備える。光学系１０１が設置されるカメラボディ１０３は、シャッター１０６、光学フィルタ１０５などの光学部材や撮像素子１０４を備えている。撮像素子４は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、光学系１０１を介して露光され自身の結像面に結像された像を電気信号に変換し、変換した電気信号である画像信号を出力する。出力された画像信号は画像データに変換され、カメラボディ１０３に備えられるモニター１０８に表示される。モニター１０８は、例えばＬＣＤ（Liquid Crystal Display）などの液晶ディスプレイである。
【００１５】
ここで、光学系１０１はカメラボディ１０３に対して着脱可能である。この図には、光学フィルタ１０５に付着したゴミ１０７を示している。このようなゴミ１０７は、光学系１０１を介して入射する光を遮って、撮像素子１０４に結像される像に影を形成する。これにより、撮像装置１００により生成される画像データにはゴミ影が写り込むこととなる。本実施形態における撮像装置１００は、画像データに写り込んだこのようなゴミ影を検出して削除する補正を行なう。
【００１６】
図２は、本実施形態による撮像装置１００の構成を示すブロック図である。撮像装置１００は、自身の記憶領域に予め記憶されたプログラムに基づいて各部の動作を制御するマイコンやＣＰＵ（Central Processing Unit）を有し、入力部１１０と、撮像部１１１と、画像記憶部１１２と、明るさ算出部１１３と、輝度勾配算出部１１４と、色相値算出部１１５と、領域抽出部１１６と、ゴミ補正部１１７と、表示部１１８とを備えている。
【００１７】
入力部１１０は、ユーザからの操作情報の入力を受け付ける。入力部１１０は、例えば、押下されることで定められた情報が入力されるボタン等である。あるいは、表示部１１８等のディスプレイを兼ねるタッチパネルを適用するようにしても良い。
撮像部１１１は、定められた制御手順により光学系１０１を駆動させ、撮像素子１０４から出力される画像信号に基づいて画像データを生成する。ここでは、撮像部１１１が生成する画像データは、各画素の色をＲＧＢ表色系によって表し、ガンマ補正を行なった情報である。ガンマ補正は、画像データにおける色の情報と、当該画像データを出力するディスプレイやプリンタなどの出力装置に応じたガンマ値との関係によって生じる色の誤差を補正する処理である。ここで、撮像素子１０４から出力される画像信号に基づいて画像データを生成すると、上述のような誤差により、出力される際に画像中の暗部がつぶれたように見える場合がある。このようなガンマ補正により誤差を補正して、撮像素子１０４から出力された画像信号に忠実な色合いによる画像を表示することが可能である。
【００１８】
画像記憶部１１２には、撮像部１１１によって生成された画像データが記憶される。
明るさ算出部１１３は、画像内での明るさの度合いを算出する。ここでは、明るさ算出部１１３は、画像データに含まれる画素のＲＧＢ値に基づいて、明るさの度合いを示す明るさ値である輝度（Ｙ）を画素毎に算出する。ここで、明るさ算出部１１３は、ＲＧＢ値に基づいて以下式（１）により輝度を算出する。
【００１９】
【数１】
【００２０】
上記式（１）により、明るさ算出部１１３は、画像記憶部１１２に記憶された画像データに含まれる各画素について輝度を算出し、画像データに対応する輝度平面を生成する。ここでは、明るさ算出部１１３は、画素の明るさの度合いを示す情報として輝度を算出する例を説明するが、例えば明度などを算出して適用しても良い。
【００２１】
輝度勾配算出部１１４は、画像情報の逆ガンマ補正を行い、逆ガンマ補正された画像情報に基づいて輝度勾配を算出する。上述のように、撮像部１１１によって生成され画像記憶部１１２に記憶された画像データはガンマ補正後の情報である。このようなガンマ補正は出力処理のために行われるため、ガンマ補正により補正された値は他の処理にとって誤差となる。そこで、輝度勾配算出部１１４は、画像データのガンマ補正前の輝度を算出する逆ガンマ補正を行なう。輝度勾配算出部１１４は、まず、以下式（２）によって、逆ガンマ補正を行なった輝度Ｙ’を算出する。ここで、γは撮像部１１１によって行なわれたガンマ補正における補正係数であるガンマ値を示す。
【００２２】
【数２】
【００２３】
また、輝度勾配算出部１１４は、画像データに含まれる各画素に基づいて上記式（２）によって算出したＹ’の輝度平面に対して微分フィルタをかけ、画素（ｆ（ｉ、ｊ））毎に横方向（例えば、右）に隣り合う画素との差分（Δｘｆ（ｉ、ｊ））と、縦方向（例えば、下）に隣り合う画素との差分（Δｙｆ（ｉ、ｊ））とを算出する。輝度勾配算出部１１４は、算出した差分に基づいて、以下式（３）により、輝度平面における輝度Ｙ’の勾配を示す値である輝度勾配（Ｙｇｒａｄ）を算出する。
【００２４】
【数３】
【００２５】
ここで、輝度勾配算出部１１４は、輝度平面の画素毎に輝度勾配を算出して輝度勾配平面を生成する。輝度勾配平面における輝度勾配は、被写体やゴミ影の存在により輝度の変化量が多い部分では相対的に高い値を示し、空などの一様平面では相対的に低い値を示す。
【００２６】
色相値算出部１１５は、輝度勾配算出部１１４により算出された輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、候補領域の周辺における色相を示す第２の色相値とを算出する。ここで、領域の周辺とは、例えば定められた領域の画素から周辺の５ピクセル以内の画素などである。ここでは、輝度勾配算出部１１４によって算出された輝度勾配に基づいて、後述する領域抽出部１１６が抽出した候補領域を処理対象とする。色相値算出部１１５は、色相値算出部１１５は、画像データに含まれる画素のＲＧＢ値に基づいて、色相値（Ｈｕｅ）を算出する。ここでは、色相値算出部１１５は、画像データに含まれる画素のＲＧＢ値をＨＳＶ表色系に変換することにより、色相値を算出する。ＨＳＶ表色系は、Ｈ（Ｈｕｅ：色相）、Ｓ（ｓａｔｕｒａｔｉｏｎ：彩度）、Ｖ（Ｖａｌｕｅ：明度）により色を表すモデルである。色相値算出部１１５は、以下式（４）により色相値（Ｈ）を算出する。
【００２７】
【数４】
【００２８】
ここで、Ｈ＜０の場合はＨに２πを加え、Ｖｍａｘ＝０の場合は、Ｓ＝０、Ｈ＝不定となる。
領域抽出部１１６は、処理対象の画像データからゴミ影が写り込んでいる領域を抽出する。ここで、領域抽出部１１６の記憶領域には、ゴミ影の領域を抽出するために定められた複数の条件が予め記憶されている。領域抽出部１１６は、定められた条件に基づいてゴミ影が写り込んでいる可能性が高い候補領域を絞り込んでいき、全ての条件を満たす候補領域を、ゴミ影が写り込んだ領域であると判定する。
【００２９】
まず、領域抽出部１１６は、輝度勾配算出部１１４により算出された輝度勾配に基づいて候補領域を定める。ここでは、領域抽出部１１６は、輝度勾配算出部１１４により生成された輝度勾配平面における輝度勾配が閾値以上であることを条件として候補領域を抽出する。例えば、領域抽出部１１６は、エッジ部分であるか否かを判定する輝度勾配の閾値を予め記憶し、輝度勾配平面におけるそれぞれの画素の輝度勾配の値と閾値とを比較する。領域抽出部１１６は、輝度勾配が閾値以上であると判定すれば１とし、閾値未満であると判定すれば０として二値画像を生成する。領域抽出部１１６は、生成した二値画像から、画素の値が１である領域を候補領域として抽出する。領域抽出部１１６は、抽出した候補領域がゴミ影であるか否かを判定するために予め定められた条件に基づいて、以下の条件判定処理を行う。ここで、領域抽出部１１６は、隣接しない複数の画素群の領域を候補領域として抽出した場合には、抽出したそれぞれの候補領域について、以下の条件判定処理を行う。
【００３０】
まず、領域抽出部１１６は、条件判定処理として、候補領域の大きさが予め定められた閾値以上であるか否かの判定を行う。ここで、領域抽出部１１６には、ゴミ影として定められた画素数の下限値と上限値とが予め記憶される。領域抽出部１１６は、候補領域に含まれる画素の画素数と、ゴミ影として定められた画素数の範囲の下限値とを比較して、下限値未満である場合は、その候補領域はゴミ影でないと判定する。なぜなら、候補領域が小さすぎる場合は、ノイズによりその候補領域の輝度勾配が閾値以上であると判定されたと考えられるためである。一方、候補領域に含まれる画素の画素数と、ゴミ影として定められた画素数の範囲の上限値とを比較して、上限値以上である場合にも、その候補領域はゴミ影でないと判定する。なぜなら、候補領域が大きすぎる場合は、被写体が存在することによりその候補領域の輝度勾配が閾値以上であると判定されたと考えられるためである。
【００３１】
また、領域抽出部１１６は、撮像装置１００の撮像光路上に付着したゴミにより形成されるゴミ影は、その画素の輝度に影響を与える一方、色相に変化を与えないという特性を用いて、候補領域がゴミ影であるか否かを判定する。すなわち、領域抽出部１１６は、候補領域に含まれる画素について明るさ算出部１１３によって算出された輝度と候補領域周辺における画素の輝度との差が予め定められた閾値以上であり、かつ、候補領域に含まれる画素について色相値算出部１１５によって算出された色相値と、候補領域周辺における画素について算出された色相値との差が予め定められた閾値以下であることを条件として、抽出した候補領域が条件を満たすか否かを判定する。領域抽出部１１６は、抽出した候補領域がこの条件を満たす場合、その候補領域がゴミ影であると判定する。抽出した候補領域がこの条件を満たさない場合、その候補領域はゴミ影でないと判定する。ここでは、候補領域における画素の輝度が、候補領域周辺における画素の輝度よりも小さいことをさらに条件とすることができる。候補領域または候補領域周辺の画素について、複数の画素を処理対象とする場合には、それぞれの候補領域に含まれる画素の値の平均値によって比較することができる。
【００３２】
また、領域抽出部１１６は、候補領域の周辺の領域の明るさ値が予め定められた閾値以上であることをさらに条件として条件判定処理を行う。ここでは、領域抽出部１１６は、候補領域の周辺の領域の輝度と、予め定められた輝度の閾値とを比較して、輝度が閾値以上である場合にその候補領域をゴミ影であると判定し、輝度が閾値未満である場合にその領域をゴミ影でないと判定する。
【００３３】
また、領域抽出部１１６は、抽出した候補領域の周辺の領域の明るさ値の変化量が予め定められた閾値以下であることをさらに条件として条件判定処理を行う。ここでは、領域抽出部１１６は、輝度勾配算出部１１４によって生成された輝度勾配平面を参照して、輝度勾配が閾値以下である場合にその候補領域をゴミ影であると判定し、輝度勾配が閾値以下でない場合にその候補領域をゴミ影でないと判定する。
【００３４】
また、領域抽出部１１６は、抽出した候補領域の明るさ値とその周辺の領域の明るさ値との比が予め定められた閾値以下であることをさらに条件として条件判定処理を行う。例えば、領域抽出部１１６は、明るさ算出部１１３によって生成された輝度平面を参照して、候補領域の輝度とその周辺の領域の輝度との比を算出し、算出した比が閾値以下である場合にその候補領域をゴミ影であると判定し、算出した比が閾値以下でない場合にその候補領域をゴミ影でないと判定する。
【００３５】
また、領域抽出部１１６は、上述の条件判定処理を行い、候補領域をゴミ影であると判定した場合には、画像データにおける候補領域の中心座標を算出する。また、領域抽出部１１６は、表示部１１８に表示された画像データにおいて、算出した中心座標の箇所に、例えば定められた大きさの矩形状の枠を表示させる。ユーザは、表示された枠を視認することにより、ゴミ影として判定された領域を確認することができる。
【００３６】
ゴミ補正部１１７は、領域抽出部１１６によって抽出されたゴミ影の領域に写り込んだゴミ影を削除するゴミ補正処理を行う。ここで、上述のように、ゴミ影が写り込んだ領域は、周辺の領域と比較して色相に変化がなく、輝度に変化が存在する。そこで、ゴミ補正部１１７は、例えば、ゴミ影の領域の画素の輝度を、周辺の画素の輝度と同程度になるように増加させることより、ゴミ影の領域のゴミ影を削除する。
表示部１１８は、画像データを表示するディスプレイであり、図１におけるモニター１０８である。
【００３７】
次に、図３のフローチャートを参照して、撮像装置１００が画像データからゴミ影が写り込んだ領域を抽出する動作例を説明する。ここでは、撮像部１１１によって画像が撮像されて画像データが生成され、画像記憶部１１２に記憶されている。入力部１１０が、ユーザからゴミ影の検出を行ないたい画像データの選択の入力を受付けると、選択された画像データが画像記憶部１１２から読み出され表示部１１８に表示される。ここで、ユーザから入力される操作情報に応じて、例えば画像再生モードが「ゴミ検出結果表示モード」に変更されると、撮像装置１００は、画像データからのゴミ影検出処理を開始する。まず、色相値算出部１１５は、画像データのＨＳＶ変換を行なって色相値（Ｈｕｅ）を算出する（ステップＳ１）。明るさ算出部１１３は、画像データのＲＧＢ値に基づいて輝度（Ｙ）を算出し、輝度平面を生成する（ステップＳ２）。輝度勾配算出部１１４は、画像データの逆ガンマ補正を行い、逆ガンマ補正された輝度（Ｙ’）に基づく輝度勾配平面を生成する（ステップＳ３）。
【００３８】
領域抽出部１１６は、生成した輝度勾配平面において輝度勾配（Ｙｇｒａｄ）が閾値以上である領域を抽出する（ステップＳ４）。そして、領域抽出部１１６は、抽出した領域に含まれる画素数が、定められた範囲内であるか否かを判定する（ステップＳ５）。ここで、領域抽出部１１６は、抽出した領域に含まれる画素数が定められた範囲内でないと判定すれば（ステップＳ５：ＮＯ）、処理を終了する。一方、領域抽出部１１６は、抽出した領域に含まれる画素数が定められた範囲内であると判定すれば（ステップＳ５：ＹＥＳ）、ステップＳ６に進む。
【００３９】
次に、領域抽出部１１６は、ステップＳ４において抽出した候補領域内の輝度と、候補領域の周辺領域の輝度との差が定められた閾値以上であり、かつ、候補領域内の色相値と周辺領域の色相値との差が定められた閾値未満であるか否かを判定する（ステップＳ６）。領域抽出部１１６は、候補領域内の輝度と、周辺領域の輝度との差が定められた閾値未満であるか、あるいは候補領域内の色相値と周辺領域の色相値との差が定められた閾値以上であると判定すると（ステップＳ６：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、ステップＳ４において抽出した候補領域内の輝度と、周辺領域の輝度との差が定められた閾値以上であり、かつ、候補領域内の色相値と周辺領域の色相値との差が定められた閾値未満であると判定すると、ステップＳ７に進む。
【００４０】
そして、領域抽出部１１６は、ステップＳ４において抽出した候補領域の周辺の領域の輝度が、定められた閾値以上であるか否かを判定する（ステップＳ７）。領域抽出部１１６は、周辺領域の輝度が定められた閾値未満であると判定すると（ステップＳ７：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、抽出した周辺領域の輝度は、定められた閾値以上であると判定すると（ステップＳ７：ＹＥＳ）、ステップＳ８に進む。
【００４１】
次に、領域抽出部１１６は、周辺領域の輝度勾配が閾値以下であるか否かを判定する（ステップＳ８）。領域抽出部１１６が、周辺領域の輝度勾配は閾値以下でないと判定すると（ステップＳ８：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、周辺領域の輝度勾配は閾値以下であると判定すると（ステップＳ８：ＹＥＳ）、ステップＳ９に進む。また、領域抽出部１１６は、候補領域と周辺領域との輝度比が閾値以下であるか否かを判定する（ステップＳ９）。領域抽出部１１６が、候補領域と周辺領域との輝度比は閾値以下でないと判定すると（ステップＳ９：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、候補領域と周辺領域との輝度比は閾値以下であると判定すると（ステップＳ９：ＹＥＳ）、ステップＳ１０に進む。領域抽出部１１６は、候補領域をゴミ影が写り込んでいる領域であると判定し、抽出したゴミ影の領域の座標値を算出して出力する（ステップＳ１０）。
【００４２】
そして、領域抽出部１１６は、表示部１１８に表示された画像データのうち、算出したゴミ影の領域の座標値を中心として、矩形状の枠を表示させる。ここで、領域抽出部１１６が複数の領域をゴミ影の領域として抽出した場合には、複数の枠を表示させる。これにより、ユーザは検出されたゴミ影の個数を視認できるため、例えば検出されたゴミ影の個数に応じて光学部材の清掃のタイミングを図ることができる。入力部１１０にユーザからゴミ補正を行なう要求を示す操作情報が入力されると、ゴミ補正部１１７は、抽出されたゴミ影の領域のゴミ補正処理を行う。
【００４３】
ここで、撮像装置１００は、例えば、領域抽出部１１６によってゴミ領域として表示された矩形状の枠内の画像を拡大して、表示部１１８に表示させるようにしても良い。これにより、ゴミ影が小さい場合にもユーザにとって視認しやすくなる。また、撮像装置１００は、ユーザからの操作情報の入力に応じて、例えばゴミ領域とその周辺のコントラストを強調して表示部１１８に表示させるようにしても良い。このようにすれば、ゴミ影の領域の画素と周辺の画素との輝度の差が、人間の目によっては確認することが困難である程度に小さく、ゴミ影が薄い場合にも、ユーザにとって視認しやすくなる。
【００４４】
なお、本実施形態では、領域抽出部１１６が候補領域からゴミ影の領域を判定する複数の条件を説明したが、必ずしも上述の全ての条件を満たす領域のみをゴミ影として抽出しなくとも良く、例えばゴミ影を抽出する対象の画像や要求される検出精度などに応じて、任意の条件を適用してゴミ影の抽出処理を行って良い。
【００４５】
また、領域抽出部１１６が、輝度勾配算出部１１４によって算出された輝度勾配に基づくエッジ部分を候補領域として抽出する際、例えば円形のゴミ影を抽出する場合にはゴミ影のエッジ部分のみが候補領域として抽出され、エッジの内側が候補領域としては認識されず、中心部に穴が形成されたドーナツ状の候補領域が抽出される場合があると考えられる。そこで、領域抽出部１１６は、輝度勾配に基づいて抽出された候補領域を膨張させた後に収縮させる処理（クロージング）を行い、候補領域の穴を埋める処理を行うようにしても良い。また、候補領域を収縮した後に膨張させる処理（オープニング）を行なって、ノイズ等による小さな連結成分を除去するようにしても良い。
【００４６】
ここでは、撮像装置１００によってゴミ影の抽出処理と補正処理とを行なう例を説明したが、撮像装置１００とは異なるコンピュータ装置がこれらの処理を行う構成としても良い。図４は、このような構成による撮像装置２００と画像処理装置３００とを示すブロック図である。撮像装置２００は、被写体を撮像して画像データを生成する電子カメラである。画像処理装置３００は、撮像装置２００が生成した画像データについてのゴミ影の抽出処理と補正処理とを行なうコンピュータ装置であり、入力部３１０と、画像記憶部３１２と、明るさ算出部３１３と、輝度勾配算出部３１４と、色相値算出部３１５と、領域抽出部３１６と、ゴミ補正部３１７と、表示部３１８とを備えている。
【００４７】
画像処理装置３００が備える各部は、上述の撮像装置１００が備える同名の各部と同様の構成である。ただし、入力部３１０は、キーボードやマウスなどのデバイスである。画像記憶部３１２には、撮像装置２００によって撮像され生成された画像データが記憶される。表示部３１８は、液晶ディスプレイなどのデバイスである。
【００４８】
なお、本実施形態におけるゴミ影の抽出処理は、画像データを圧縮（例えば、１／４）して、圧縮後の画像データに対して行なうようにしても良い。また、画像データを領域分割（例えば、８×１６）して、分割した領域のそれぞれについてゴミ影の抽出処理を行うようにしても良い。これにより、処理対象の画像データ量を減らし、より負荷を低くして処理を行うことができる。
【００４９】
以上説明したように、本実施形態によれば、撮像装置内の撮像光路上に付着したゴミにより形成されるゴミ影は、その画像の輝度に影響を与える一方、色相に変化を与えないという特性を用いることで、画像に写り込んだゴミ影を効率よく正確に抽出することが可能となる。
【００５０】
なお、画像記憶部１１２（画像記憶部３１２）は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＲ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
【００５１】
なお、明るさ算出部１１３（明るさ算出部３１３）、輝度勾配算出部１１４（輝度勾配算出部３１４）、色相値算出部１１５（色相値算出部３１５）、領域抽出部１１６（領域抽出部３１６）、ゴミ補正部１１７（ゴミ補正部３１７）は専用のハードウェアにより実現されるものであってもよく、または、メモリおよびＣＰＵ（中央演算装置）により構成され、各処理部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００５２】
また、各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各部により実行される処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００５３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【００５４】
１００…撮像装置、１１１…撮像部、１１４…輝度勾配算出部、１１５…色相値算出部、１１６…領域抽出部、３００…画像処理装置、３１３…明るさ算出部、３１４…輝度勾配算出部、３１５…色相値算出部、３１６…領域抽出部
【技術分野】
【０００１】
本発明は、撮像された画像に含まれるゴミ影の領域を抽出する画像処理装置、画像処理プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
電子カメラなどの撮像装置によって撮像を行なう際、撮像素子の近傍に配置された光学フィルタ等の光学部材における撮像光路上にゴミが付着していると、付着したゴミにより生じた影が撮像画像に写り込む場合がある。特にレンズ交換式の撮像装置では、レンズ交換時などに塵や埃などのゴミがカメラボディ内に侵入して付着する場合がある。例えば特許文献１に示される技術では、このように画像に写り込んだゴミ影を抽出して補正を行なうために、一様面においてゴミ影の写り込んだ基準画像を予め撮像してゴミ位置の座標を算出する。そして、補正対象の撮像画像における基準画像のゴミ位置に対応する位置について、ゴミ影を削除する補正を行なう。また、特許文献１には、補正対象の画像に含まれる各画素の輝度の変化に基づいてゴミ影を抽出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術により基準画像に基づいてゴミ影の補正を行なう場合には、基準画像と補正対象の画像との複数画像に対して処理を行うため、複雑な処理の処理負荷に相当する撮像装置の処理性能や処理時間が必要となる。一方、補正対象の画像に含まれる各画素の輝度の変化に基づいてゴミ影を抽出する場合、例えば被写体の色合いによる輝度の変化を誤ってゴミ影として抽出してしまうことがあった。ここで、画像に写り込んだゴミ影を抽出する場合には、より少ない処理負荷で効率良く行なうとともに、ゴミ影の誤検出を低減させることが望ましい。
【０００５】
本発明は、このような状況に鑑みてなされたもので、画像に写り込んだゴミ影を、より少ない処理負荷で正確に抽出する画像処理装置、画像処理プログラムおよび撮像装置を提供する。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は、画像情報に基づいて画像内での輝度勾配を算出する輝度勾配算出部と、輝度勾配算出部により算出された輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、候補領域の周辺における色相を示す第２の色相値とを算出する色相値算出部と、候補領域の中から、第１の色相値と第２の色相値との差が予め定められた閾値以下の領域を抽出する領域抽出部とを備えることを特徴とする画像処理装置である。
【０００７】
また、本発明は、上述の輝度勾配算出部が、逆ガンマ補正された画像情報に基づいて輝度勾配を算出することを特徴とする。
【０００８】
また、本発明は、上述の領域抽出部が、候補領域の大きさが予め定められた閾値以上であるか否かの判定を行い、判定結果に基づいて領域を抽出することを特徴とする。
【０００９】
また、本発明は、上述の画像処理装置が画像内での明るさの度合いを算出する明るさ算出部を備え、領域抽出部は、候補領域の周辺の領域の明るさ値が予め定められた閾値以上であるか否かの判定と、候補領域の周辺の明るさ値の変化量が予め定められた閾値以下であるか否かの判定と、候補領域の明るさ値と候補領域の周辺の領域の明るさ値との比が予め定められた閾値以下であるか否かの判定との少なくとも一つに基づいて領域を抽出することを特徴とする。
【００１０】
また、本発明は、コンピュータに、画像情報に基づいて画像内での輝度勾配を算出するステップと、算出された輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、候補領域の周辺における色相を示す第２の色相値とを算出するステップと、候補領域の中から、第１の色相値と第２の色相値との差が予め定められた閾値以下の領域を抽出するステップとを実行させる画像処理プログラムである。
【００１１】
また、本発明は、画像を撮像して画像情報を生成する撮像部と、画像情報に基づいて画像内での輝度勾配を算出する輝度勾配算出部と、輝度勾配算出部により算出された輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、候補領域の周辺における色相を示す第２の色相値とを算出する色相値算出部と、候補領域の中から、第１の色相値と第２の色相値との差が予め定められた閾値以下の領域を抽出する領域抽出部とを備えることを特徴とする撮像装置である。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、画像に写り込んだゴミ影を、より少ない処理負荷で正確に抽出する画像処理装置、画像処理プログラムおよび撮像装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による撮像装置の構成例を示す図である。
【図２】本発明の一実施形態による撮像装置の構成例を示すブロック図である。
【図３】本発明の一実施形態による撮像装置の動作例を示すフローチャートである。
【図４】本発明の一実施形態による画像処理装置の構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による撮像装置１００の構成を示す図である。撮像装置１００は、レンズ交換式の電子カメラであり、複数の光学レンズ群であるレンズ１０２を有する光学系１０１を備える。光学系１０１が設置されるカメラボディ１０３は、シャッター１０６、光学フィルタ１０５などの光学部材や撮像素子１０４を備えている。撮像素子４は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、光学系１０１を介して露光され自身の結像面に結像された像を電気信号に変換し、変換した電気信号である画像信号を出力する。出力された画像信号は画像データに変換され、カメラボディ１０３に備えられるモニター１０８に表示される。モニター１０８は、例えばＬＣＤ（Liquid Crystal Display）などの液晶ディスプレイである。
【００１５】
ここで、光学系１０１はカメラボディ１０３に対して着脱可能である。この図には、光学フィルタ１０５に付着したゴミ１０７を示している。このようなゴミ１０７は、光学系１０１を介して入射する光を遮って、撮像素子１０４に結像される像に影を形成する。これにより、撮像装置１００により生成される画像データにはゴミ影が写り込むこととなる。本実施形態における撮像装置１００は、画像データに写り込んだこのようなゴミ影を検出して削除する補正を行なう。
【００１６】
図２は、本実施形態による撮像装置１００の構成を示すブロック図である。撮像装置１００は、自身の記憶領域に予め記憶されたプログラムに基づいて各部の動作を制御するマイコンやＣＰＵ（Central Processing Unit）を有し、入力部１１０と、撮像部１１１と、画像記憶部１１２と、明るさ算出部１１３と、輝度勾配算出部１１４と、色相値算出部１１５と、領域抽出部１１６と、ゴミ補正部１１７と、表示部１１８とを備えている。
【００１７】
入力部１１０は、ユーザからの操作情報の入力を受け付ける。入力部１１０は、例えば、押下されることで定められた情報が入力されるボタン等である。あるいは、表示部１１８等のディスプレイを兼ねるタッチパネルを適用するようにしても良い。
撮像部１１１は、定められた制御手順により光学系１０１を駆動させ、撮像素子１０４から出力される画像信号に基づいて画像データを生成する。ここでは、撮像部１１１が生成する画像データは、各画素の色をＲＧＢ表色系によって表し、ガンマ補正を行なった情報である。ガンマ補正は、画像データにおける色の情報と、当該画像データを出力するディスプレイやプリンタなどの出力装置に応じたガンマ値との関係によって生じる色の誤差を補正する処理である。ここで、撮像素子１０４から出力される画像信号に基づいて画像データを生成すると、上述のような誤差により、出力される際に画像中の暗部がつぶれたように見える場合がある。このようなガンマ補正により誤差を補正して、撮像素子１０４から出力された画像信号に忠実な色合いによる画像を表示することが可能である。
【００１８】
画像記憶部１１２には、撮像部１１１によって生成された画像データが記憶される。
明るさ算出部１１３は、画像内での明るさの度合いを算出する。ここでは、明るさ算出部１１３は、画像データに含まれる画素のＲＧＢ値に基づいて、明るさの度合いを示す明るさ値である輝度（Ｙ）を画素毎に算出する。ここで、明るさ算出部１１３は、ＲＧＢ値に基づいて以下式（１）により輝度を算出する。
【００１９】
【数１】
【００２０】
上記式（１）により、明るさ算出部１１３は、画像記憶部１１２に記憶された画像データに含まれる各画素について輝度を算出し、画像データに対応する輝度平面を生成する。ここでは、明るさ算出部１１３は、画素の明るさの度合いを示す情報として輝度を算出する例を説明するが、例えば明度などを算出して適用しても良い。
【００２１】
輝度勾配算出部１１４は、画像情報の逆ガンマ補正を行い、逆ガンマ補正された画像情報に基づいて輝度勾配を算出する。上述のように、撮像部１１１によって生成され画像記憶部１１２に記憶された画像データはガンマ補正後の情報である。このようなガンマ補正は出力処理のために行われるため、ガンマ補正により補正された値は他の処理にとって誤差となる。そこで、輝度勾配算出部１１４は、画像データのガンマ補正前の輝度を算出する逆ガンマ補正を行なう。輝度勾配算出部１１４は、まず、以下式（２）によって、逆ガンマ補正を行なった輝度Ｙ’を算出する。ここで、γは撮像部１１１によって行なわれたガンマ補正における補正係数であるガンマ値を示す。
【００２２】
【数２】
【００２３】
また、輝度勾配算出部１１４は、画像データに含まれる各画素に基づいて上記式（２）によって算出したＹ’の輝度平面に対して微分フィルタをかけ、画素（ｆ（ｉ、ｊ））毎に横方向（例えば、右）に隣り合う画素との差分（Δｘｆ（ｉ、ｊ））と、縦方向（例えば、下）に隣り合う画素との差分（Δｙｆ（ｉ、ｊ））とを算出する。輝度勾配算出部１１４は、算出した差分に基づいて、以下式（３）により、輝度平面における輝度Ｙ’の勾配を示す値である輝度勾配（Ｙｇｒａｄ）を算出する。
【００２４】
【数３】
【００２５】
ここで、輝度勾配算出部１１４は、輝度平面の画素毎に輝度勾配を算出して輝度勾配平面を生成する。輝度勾配平面における輝度勾配は、被写体やゴミ影の存在により輝度の変化量が多い部分では相対的に高い値を示し、空などの一様平面では相対的に低い値を示す。
【００２６】
色相値算出部１１５は、輝度勾配算出部１１４により算出された輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、候補領域の周辺における色相を示す第２の色相値とを算出する。ここで、領域の周辺とは、例えば定められた領域の画素から周辺の５ピクセル以内の画素などである。ここでは、輝度勾配算出部１１４によって算出された輝度勾配に基づいて、後述する領域抽出部１１６が抽出した候補領域を処理対象とする。色相値算出部１１５は、色相値算出部１１５は、画像データに含まれる画素のＲＧＢ値に基づいて、色相値（Ｈｕｅ）を算出する。ここでは、色相値算出部１１５は、画像データに含まれる画素のＲＧＢ値をＨＳＶ表色系に変換することにより、色相値を算出する。ＨＳＶ表色系は、Ｈ（Ｈｕｅ：色相）、Ｓ（ｓａｔｕｒａｔｉｏｎ：彩度）、Ｖ（Ｖａｌｕｅ：明度）により色を表すモデルである。色相値算出部１１５は、以下式（４）により色相値（Ｈ）を算出する。
【００２７】
【数４】
【００２８】
ここで、Ｈ＜０の場合はＨに２πを加え、Ｖｍａｘ＝０の場合は、Ｓ＝０、Ｈ＝不定となる。
領域抽出部１１６は、処理対象の画像データからゴミ影が写り込んでいる領域を抽出する。ここで、領域抽出部１１６の記憶領域には、ゴミ影の領域を抽出するために定められた複数の条件が予め記憶されている。領域抽出部１１６は、定められた条件に基づいてゴミ影が写り込んでいる可能性が高い候補領域を絞り込んでいき、全ての条件を満たす候補領域を、ゴミ影が写り込んだ領域であると判定する。
【００２９】
まず、領域抽出部１１６は、輝度勾配算出部１１４により算出された輝度勾配に基づいて候補領域を定める。ここでは、領域抽出部１１６は、輝度勾配算出部１１４により生成された輝度勾配平面における輝度勾配が閾値以上であることを条件として候補領域を抽出する。例えば、領域抽出部１１６は、エッジ部分であるか否かを判定する輝度勾配の閾値を予め記憶し、輝度勾配平面におけるそれぞれの画素の輝度勾配の値と閾値とを比較する。領域抽出部１１６は、輝度勾配が閾値以上であると判定すれば１とし、閾値未満であると判定すれば０として二値画像を生成する。領域抽出部１１６は、生成した二値画像から、画素の値が１である領域を候補領域として抽出する。領域抽出部１１６は、抽出した候補領域がゴミ影であるか否かを判定するために予め定められた条件に基づいて、以下の条件判定処理を行う。ここで、領域抽出部１１６は、隣接しない複数の画素群の領域を候補領域として抽出した場合には、抽出したそれぞれの候補領域について、以下の条件判定処理を行う。
【００３０】
まず、領域抽出部１１６は、条件判定処理として、候補領域の大きさが予め定められた閾値以上であるか否かの判定を行う。ここで、領域抽出部１１６には、ゴミ影として定められた画素数の下限値と上限値とが予め記憶される。領域抽出部１１６は、候補領域に含まれる画素の画素数と、ゴミ影として定められた画素数の範囲の下限値とを比較して、下限値未満である場合は、その候補領域はゴミ影でないと判定する。なぜなら、候補領域が小さすぎる場合は、ノイズによりその候補領域の輝度勾配が閾値以上であると判定されたと考えられるためである。一方、候補領域に含まれる画素の画素数と、ゴミ影として定められた画素数の範囲の上限値とを比較して、上限値以上である場合にも、その候補領域はゴミ影でないと判定する。なぜなら、候補領域が大きすぎる場合は、被写体が存在することによりその候補領域の輝度勾配が閾値以上であると判定されたと考えられるためである。
【００３１】
また、領域抽出部１１６は、撮像装置１００の撮像光路上に付着したゴミにより形成されるゴミ影は、その画素の輝度に影響を与える一方、色相に変化を与えないという特性を用いて、候補領域がゴミ影であるか否かを判定する。すなわち、領域抽出部１１６は、候補領域に含まれる画素について明るさ算出部１１３によって算出された輝度と候補領域周辺における画素の輝度との差が予め定められた閾値以上であり、かつ、候補領域に含まれる画素について色相値算出部１１５によって算出された色相値と、候補領域周辺における画素について算出された色相値との差が予め定められた閾値以下であることを条件として、抽出した候補領域が条件を満たすか否かを判定する。領域抽出部１１６は、抽出した候補領域がこの条件を満たす場合、その候補領域がゴミ影であると判定する。抽出した候補領域がこの条件を満たさない場合、その候補領域はゴミ影でないと判定する。ここでは、候補領域における画素の輝度が、候補領域周辺における画素の輝度よりも小さいことをさらに条件とすることができる。候補領域または候補領域周辺の画素について、複数の画素を処理対象とする場合には、それぞれの候補領域に含まれる画素の値の平均値によって比較することができる。
【００３２】
また、領域抽出部１１６は、候補領域の周辺の領域の明るさ値が予め定められた閾値以上であることをさらに条件として条件判定処理を行う。ここでは、領域抽出部１１６は、候補領域の周辺の領域の輝度と、予め定められた輝度の閾値とを比較して、輝度が閾値以上である場合にその候補領域をゴミ影であると判定し、輝度が閾値未満である場合にその領域をゴミ影でないと判定する。
【００３３】
また、領域抽出部１１６は、抽出した候補領域の周辺の領域の明るさ値の変化量が予め定められた閾値以下であることをさらに条件として条件判定処理を行う。ここでは、領域抽出部１１６は、輝度勾配算出部１１４によって生成された輝度勾配平面を参照して、輝度勾配が閾値以下である場合にその候補領域をゴミ影であると判定し、輝度勾配が閾値以下でない場合にその候補領域をゴミ影でないと判定する。
【００３４】
また、領域抽出部１１６は、抽出した候補領域の明るさ値とその周辺の領域の明るさ値との比が予め定められた閾値以下であることをさらに条件として条件判定処理を行う。例えば、領域抽出部１１６は、明るさ算出部１１３によって生成された輝度平面を参照して、候補領域の輝度とその周辺の領域の輝度との比を算出し、算出した比が閾値以下である場合にその候補領域をゴミ影であると判定し、算出した比が閾値以下でない場合にその候補領域をゴミ影でないと判定する。
【００３５】
また、領域抽出部１１６は、上述の条件判定処理を行い、候補領域をゴミ影であると判定した場合には、画像データにおける候補領域の中心座標を算出する。また、領域抽出部１１６は、表示部１１８に表示された画像データにおいて、算出した中心座標の箇所に、例えば定められた大きさの矩形状の枠を表示させる。ユーザは、表示された枠を視認することにより、ゴミ影として判定された領域を確認することができる。
【００３６】
ゴミ補正部１１７は、領域抽出部１１６によって抽出されたゴミ影の領域に写り込んだゴミ影を削除するゴミ補正処理を行う。ここで、上述のように、ゴミ影が写り込んだ領域は、周辺の領域と比較して色相に変化がなく、輝度に変化が存在する。そこで、ゴミ補正部１１７は、例えば、ゴミ影の領域の画素の輝度を、周辺の画素の輝度と同程度になるように増加させることより、ゴミ影の領域のゴミ影を削除する。
表示部１１８は、画像データを表示するディスプレイであり、図１におけるモニター１０８である。
【００３７】
次に、図３のフローチャートを参照して、撮像装置１００が画像データからゴミ影が写り込んだ領域を抽出する動作例を説明する。ここでは、撮像部１１１によって画像が撮像されて画像データが生成され、画像記憶部１１２に記憶されている。入力部１１０が、ユーザからゴミ影の検出を行ないたい画像データの選択の入力を受付けると、選択された画像データが画像記憶部１１２から読み出され表示部１１８に表示される。ここで、ユーザから入力される操作情報に応じて、例えば画像再生モードが「ゴミ検出結果表示モード」に変更されると、撮像装置１００は、画像データからのゴミ影検出処理を開始する。まず、色相値算出部１１５は、画像データのＨＳＶ変換を行なって色相値（Ｈｕｅ）を算出する（ステップＳ１）。明るさ算出部１１３は、画像データのＲＧＢ値に基づいて輝度（Ｙ）を算出し、輝度平面を生成する（ステップＳ２）。輝度勾配算出部１１４は、画像データの逆ガンマ補正を行い、逆ガンマ補正された輝度（Ｙ’）に基づく輝度勾配平面を生成する（ステップＳ３）。
【００３８】
領域抽出部１１６は、生成した輝度勾配平面において輝度勾配（Ｙｇｒａｄ）が閾値以上である領域を抽出する（ステップＳ４）。そして、領域抽出部１１６は、抽出した領域に含まれる画素数が、定められた範囲内であるか否かを判定する（ステップＳ５）。ここで、領域抽出部１１６は、抽出した領域に含まれる画素数が定められた範囲内でないと判定すれば（ステップＳ５：ＮＯ）、処理を終了する。一方、領域抽出部１１６は、抽出した領域に含まれる画素数が定められた範囲内であると判定すれば（ステップＳ５：ＹＥＳ）、ステップＳ６に進む。
【００３９】
次に、領域抽出部１１６は、ステップＳ４において抽出した候補領域内の輝度と、候補領域の周辺領域の輝度との差が定められた閾値以上であり、かつ、候補領域内の色相値と周辺領域の色相値との差が定められた閾値未満であるか否かを判定する（ステップＳ６）。領域抽出部１１６は、候補領域内の輝度と、周辺領域の輝度との差が定められた閾値未満であるか、あるいは候補領域内の色相値と周辺領域の色相値との差が定められた閾値以上であると判定すると（ステップＳ６：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、ステップＳ４において抽出した候補領域内の輝度と、周辺領域の輝度との差が定められた閾値以上であり、かつ、候補領域内の色相値と周辺領域の色相値との差が定められた閾値未満であると判定すると、ステップＳ７に進む。
【００４０】
そして、領域抽出部１１６は、ステップＳ４において抽出した候補領域の周辺の領域の輝度が、定められた閾値以上であるか否かを判定する（ステップＳ７）。領域抽出部１１６は、周辺領域の輝度が定められた閾値未満であると判定すると（ステップＳ７：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、抽出した周辺領域の輝度は、定められた閾値以上であると判定すると（ステップＳ７：ＹＥＳ）、ステップＳ８に進む。
【００４１】
次に、領域抽出部１１６は、周辺領域の輝度勾配が閾値以下であるか否かを判定する（ステップＳ８）。領域抽出部１１６が、周辺領域の輝度勾配は閾値以下でないと判定すると（ステップＳ８：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、周辺領域の輝度勾配は閾値以下であると判定すると（ステップＳ８：ＹＥＳ）、ステップＳ９に進む。また、領域抽出部１１６は、候補領域と周辺領域との輝度比が閾値以下であるか否かを判定する（ステップＳ９）。領域抽出部１１６が、候補領域と周辺領域との輝度比は閾値以下でないと判定すると（ステップＳ９：ＮＯ）、処理を終了する。一方、領域抽出部１１６が、候補領域と周辺領域との輝度比は閾値以下であると判定すると（ステップＳ９：ＹＥＳ）、ステップＳ１０に進む。領域抽出部１１６は、候補領域をゴミ影が写り込んでいる領域であると判定し、抽出したゴミ影の領域の座標値を算出して出力する（ステップＳ１０）。
【００４２】
そして、領域抽出部１１６は、表示部１１８に表示された画像データのうち、算出したゴミ影の領域の座標値を中心として、矩形状の枠を表示させる。ここで、領域抽出部１１６が複数の領域をゴミ影の領域として抽出した場合には、複数の枠を表示させる。これにより、ユーザは検出されたゴミ影の個数を視認できるため、例えば検出されたゴミ影の個数に応じて光学部材の清掃のタイミングを図ることができる。入力部１１０にユーザからゴミ補正を行なう要求を示す操作情報が入力されると、ゴミ補正部１１７は、抽出されたゴミ影の領域のゴミ補正処理を行う。
【００４３】
ここで、撮像装置１００は、例えば、領域抽出部１１６によってゴミ領域として表示された矩形状の枠内の画像を拡大して、表示部１１８に表示させるようにしても良い。これにより、ゴミ影が小さい場合にもユーザにとって視認しやすくなる。また、撮像装置１００は、ユーザからの操作情報の入力に応じて、例えばゴミ領域とその周辺のコントラストを強調して表示部１１８に表示させるようにしても良い。このようにすれば、ゴミ影の領域の画素と周辺の画素との輝度の差が、人間の目によっては確認することが困難である程度に小さく、ゴミ影が薄い場合にも、ユーザにとって視認しやすくなる。
【００４４】
なお、本実施形態では、領域抽出部１１６が候補領域からゴミ影の領域を判定する複数の条件を説明したが、必ずしも上述の全ての条件を満たす領域のみをゴミ影として抽出しなくとも良く、例えばゴミ影を抽出する対象の画像や要求される検出精度などに応じて、任意の条件を適用してゴミ影の抽出処理を行って良い。
【００４５】
また、領域抽出部１１６が、輝度勾配算出部１１４によって算出された輝度勾配に基づくエッジ部分を候補領域として抽出する際、例えば円形のゴミ影を抽出する場合にはゴミ影のエッジ部分のみが候補領域として抽出され、エッジの内側が候補領域としては認識されず、中心部に穴が形成されたドーナツ状の候補領域が抽出される場合があると考えられる。そこで、領域抽出部１１６は、輝度勾配に基づいて抽出された候補領域を膨張させた後に収縮させる処理（クロージング）を行い、候補領域の穴を埋める処理を行うようにしても良い。また、候補領域を収縮した後に膨張させる処理（オープニング）を行なって、ノイズ等による小さな連結成分を除去するようにしても良い。
【００４６】
ここでは、撮像装置１００によってゴミ影の抽出処理と補正処理とを行なう例を説明したが、撮像装置１００とは異なるコンピュータ装置がこれらの処理を行う構成としても良い。図４は、このような構成による撮像装置２００と画像処理装置３００とを示すブロック図である。撮像装置２００は、被写体を撮像して画像データを生成する電子カメラである。画像処理装置３００は、撮像装置２００が生成した画像データについてのゴミ影の抽出処理と補正処理とを行なうコンピュータ装置であり、入力部３１０と、画像記憶部３１２と、明るさ算出部３１３と、輝度勾配算出部３１４と、色相値算出部３１５と、領域抽出部３１６と、ゴミ補正部３１７と、表示部３１８とを備えている。
【００４７】
画像処理装置３００が備える各部は、上述の撮像装置１００が備える同名の各部と同様の構成である。ただし、入力部３１０は、キーボードやマウスなどのデバイスである。画像記憶部３１２には、撮像装置２００によって撮像され生成された画像データが記憶される。表示部３１８は、液晶ディスプレイなどのデバイスである。
【００４８】
なお、本実施形態におけるゴミ影の抽出処理は、画像データを圧縮（例えば、１／４）して、圧縮後の画像データに対して行なうようにしても良い。また、画像データを領域分割（例えば、８×１６）して、分割した領域のそれぞれについてゴミ影の抽出処理を行うようにしても良い。これにより、処理対象の画像データ量を減らし、より負荷を低くして処理を行うことができる。
【００４９】
以上説明したように、本実施形態によれば、撮像装置内の撮像光路上に付着したゴミにより形成されるゴミ影は、その画像の輝度に影響を与える一方、色相に変化を与えないという特性を用いることで、画像に写り込んだゴミ影を効率よく正確に抽出することが可能となる。
【００５０】
なお、画像記憶部１１２（画像記憶部３１２）は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＲ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
【００５１】
なお、明るさ算出部１１３（明るさ算出部３１３）、輝度勾配算出部１１４（輝度勾配算出部３１４）、色相値算出部１１５（色相値算出部３１５）、領域抽出部１１６（領域抽出部３１６）、ゴミ補正部１１７（ゴミ補正部３１７）は専用のハードウェアにより実現されるものであってもよく、または、メモリおよびＣＰＵ（中央演算装置）により構成され、各処理部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００５２】
また、各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各部により実行される処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００５３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【００５４】
１００…撮像装置、１１１…撮像部、１１４…輝度勾配算出部、１１５…色相値算出部、１１６…領域抽出部、３００…画像処理装置、３１３…明るさ算出部、３１４…輝度勾配算出部、３１５…色相値算出部、３１６…領域抽出部
【特許請求の範囲】
【請求項１】
画像情報に基づいて画像内での輝度勾配を算出する輝度勾配算出部と、
前記輝度勾配算出部により算出された前記輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、前記候補領域の周辺における色相を示す第２の色相値とを算出する色相値算出部と、
前記候補領域の中から、前記第１の色相値と前記第２の色相値との差が予め定められた閾値以下の領域を抽出する領域抽出部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記輝度勾配算出部は、逆ガンマ補正された前記画像情報に基づいて前記輝度勾配を算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域抽出部は、前記候補領域の大きさが予め定められた閾値以上であるか否かの判定を行い、当該判定結果に基づいて前記領域を抽出する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像内での明るさの度合いを算出する明るさ算出部を備え、
前記領域抽出部は、前記候補領域の周辺の領域の明るさ値が予め定められた閾値以上であるか否かの判定と、前記候補領域の周辺の明るさ値の変化量が予め定められた閾値以下であるか否かの判定と、前記候補領域の明るさ値と当該候補領域の周辺の領域の明るさ値との比が予め定められた閾値以下であるか否かの判定との少なくも一つに基づいて前記領域を抽出する
ことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
コンピュータに、
画像情報に基づいて画像内での輝度勾配を算出するステップと、
算出された前記輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、前記候補領域の周辺における色相を示す第２の色相値とを算出するステップと、
前記候補領域の中から、前記第１の色相値と前記第２の色相値との差が予め定められた閾値以下の領域を抽出するステップと
を実行させる画像処理プログラム。
【請求項６】
画像を撮像して画像情報を生成する撮像部と、
前記画像情報に基づいて前記画像内での輝度勾配を算出する輝度勾配算出部と、
前記輝度勾配算出部により算出された前記輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、前記候補領域の周辺における色相を示す第２の色相値とを算出する色相値算出部と、
前記候補領域の中から、前記第１の色相値と前記第２の色相値との差が予め定められた閾値以下の領域を抽出する領域抽出部と
を備えることを特徴とする撮像装置。
【請求項１】
画像情報に基づいて画像内での輝度勾配を算出する輝度勾配算出部と、
前記輝度勾配算出部により算出された前記輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、前記候補領域の周辺における色相を示す第２の色相値とを算出する色相値算出部と、
前記候補領域の中から、前記第１の色相値と前記第２の色相値との差が予め定められた閾値以下の領域を抽出する領域抽出部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記輝度勾配算出部は、逆ガンマ補正された前記画像情報に基づいて前記輝度勾配を算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域抽出部は、前記候補領域の大きさが予め定められた閾値以上であるか否かの判定を行い、当該判定結果に基づいて前記領域を抽出する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像内での明るさの度合いを算出する明るさ算出部を備え、
前記領域抽出部は、前記候補領域の周辺の領域の明るさ値が予め定められた閾値以上であるか否かの判定と、前記候補領域の周辺の明るさ値の変化量が予め定められた閾値以下であるか否かの判定と、前記候補領域の明るさ値と当該候補領域の周辺の領域の明るさ値との比が予め定められた閾値以下であるか否かの判定との少なくも一つに基づいて前記領域を抽出する
ことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
コンピュータに、
画像情報に基づいて画像内での輝度勾配を算出するステップと、
算出された前記輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、前記候補領域の周辺における色相を示す第２の色相値とを算出するステップと、
前記候補領域の中から、前記第１の色相値と前記第２の色相値との差が予め定められた閾値以下の領域を抽出するステップと
を実行させる画像処理プログラム。
【請求項６】
画像を撮像して画像情報を生成する撮像部と、
前記画像情報に基づいて前記画像内での輝度勾配を算出する輝度勾配算出部と、
前記輝度勾配算出部により算出された前記輝度勾配に基づいて定められる候補領域の内側における色相を示す第１の色相値と、前記候補領域の周辺における色相を示す第２の色相値とを算出する色相値算出部と、
前記候補領域の中から、前記第１の色相値と前記第２の色相値との差が予め定められた閾値以下の領域を抽出する領域抽出部と
を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−２９７１０（Ｐ２０１１−２９７１０Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７０３６８（Ｐ２００９−１７０３６８）
【出願日】平成２１年７月２１日（２００９．７．２１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２１日（２００９．７．２１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]