画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置
【課題】撮像光学系とイメージセンサ間に付着した付着物による影響を受けた画像上の領域内の各画素の色調を補正できる画像処理装置を提供する。
【解決手段】画像処理装置６は、イメージセンサ３により生成された、撮像光学系２によりイメージセンサ３上に結像された基準物体の像の基準画像において、撮像光学系２とイメージセンサ３との間において撮像光学系２により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶する記憶部６４と、撮像光学系２によりイメージセンサ３上に結像された物体の像の画像におけるその少なくとも一つの画素の色成分ごとに、対応する補正係数を乗じることにより補正画像を生成する補正部６５とを有する。
【解決手段】画像処理装置６は、イメージセンサ３により生成された、撮像光学系２によりイメージセンサ３上に結像された基準物体の像の基準画像において、撮像光学系２とイメージセンサ３との間において撮像光学系２により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶する記憶部６４と、撮像光学系２によりイメージセンサ３上に結像された物体の像の画像におけるその少なくとも一つの画素の色成分ごとに、対応する補正係数を乗じることにより補正画像を生成する補正部６５とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、撮像光学系とイメージセンサ間における付着物による画像への影響を補正する画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置に関する。
【背景技術】
【０００２】
従来より、Charge Coupled Device(CCD)センサまたはComplementary Metal Oxide Semiconductor(CMOS)センサなどの固体撮像素子を用いた撮像装置が普及している。このような撮像装置では、固体撮像素子に物体の像を結像する撮像光学系と固体撮像素子の間で光路内にゴミが付着すると、そのゴミにより光束の一部が遮られる。そのため、画像の一部の領域に含まれる画素の輝度が低下する。特に、ゴミが固体撮像素子の表面から離れたところに付着した場合、ゴミによって光束が遮られる固体撮像素子上の範囲がゴミのサイズよりも広くなるので、画像上で輝度が低下する領域も広くなる。そこで、付着したゴミの影響を除去する技術が提案されている（例えば、特許文献１及び２を参照）。
【０００３】
例えば、特許文献１に開示された画像処理装置は、基準画像の各画素において、着目画素の値とその着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出することにより透過率信号を生成する。そして画像処理装置は、この透過率信号に基づいて、画像全体の透過率マップを作成し、その透過率マップを使用して補正対象画像を補正する。
また、特許文献２に開示された画像読み取り装置の制御方法は、画像読み取り装置に備える白基準領域を副走査方向に複数のブロックに分割する。その制御方法は、個別のブロック内で読み取った個々の読み取り画素の読み取り出力値の平均値を算出して比較対照することにより、ゴミを読み取ったブロックを特定する。そしてその制御方法は、ゴミを読み取ったブロックを除外した残存のブロックより白色基準を生成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２２２３１号公報
【特許文献２】特開２０００−２７０１５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２に開示された技術のように、撮像装置がゴミによる影響を受けた領域の情報を用いなければ、本来その領域に写っている像の情報も無くなってしまうので好ましくない。
一方、特許文献１に開示された技術を用いることにより、撮像装置は、光路内に付着したゴミによる、画像上の一部の画素の輝度の低下を補償することができる。しかし、固体撮像素子を用いた撮像装置のうち、カラー画像を生成する撮像装置も広く利用されている。カラー画像を生成する撮像装置において光路内にゴミが付着すると、そのゴミの波長に応じた透過率特性、撮像光学系の色収差あるいはゴミの端部での回折などにより、ゴミにより光束の一部が遮られた画素において、色成分ごとにゴミの影響が異なることがある。また、画像上でゴミの影響を受ける範囲が色成分ごとに異なることがある。そのため、撮像装置がゴミによる影響を受けた領域内の画素の輝度値のみを補正しても、その領域に写っている像本来の色調は再現されず、その結果、補正された画像におけるその領域に不自然なアーティファクトが生じてしまうおそれがあった。
【０００６】
そこで、本明細書は、撮像光学系とイメージセンサ間に付着した付着物による影響を受けた画像上の領域内の各画素の色調を補正可能な画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの実施形態によれば、画像処理装置が提供される。この画像処理装置は、イメージセンサにより生成された、撮像光学系によりそのイメージセンサ上に結像された基準物体の像の基準画像において、撮像光学系とイメージセンサとの間において撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとのその影響を打ち消す補正係数を記憶する記憶部と、撮像光学系によりイメージセンサ上に結像された物体の像の画像における上記の少なくとも一つの画素の色成分ごとに、対応する補正係数を乗じることにより補正画像を生成する補正部とを有する。
【０００８】
また他の実施形態によれば、撮像装置が提供される。この撮像装置は、光路を規定する撮像光学系と、撮像光学系により結像された物体の像の画像を生成するイメージセンサと、イメージセンサにより生成された基準物体の像の基準画像において、撮像光学系とイメージセンサとの間において光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとのその影響を打ち消す補正係数を記憶する記憶部と、撮像光学系によりイメージセンサ上に結像された物体の像の画像における上記の少なくとも一つの画素の色成分ごとに、対応する補正係数を乗じることにより補正画像を生成する補正部とを有する。
【０００９】
また他の実施形態によれば、画像処理方法が提供される。この画像処理方法は、イメージセンサから撮像光学系によりそのイメージセンサ上に結像された物体の像の画像を取得し、イメージセンサにより生成された、撮像光学系によりそのイメージセンサ上に結像された基準物体の像の基準画像において、撮像光学系とイメージセンサとの間において撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとのその影響を打ち消す補正係数を記憶部から読み出し、画像における上記の少なくとも一つの画素の色成分ごとに、対応する補正係数を乗じることにより補正画像を生成することを含む。
【００１０】
さらに他の実施形態によれば、コンピュータに画像処理を実行させる画像処理用コンピュータプログラムが提供される。このコンピュータプログラムは、イメージセンサにより生成された、撮像光学系によりそのイメージセンサ上に結像された基準物体の像の基準画像において、撮像光学系とイメージセンサとの間において撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとのその影響を打ち消す補正係数を記憶部から読み出し、イメージセンサから撮像光学系によりそのイメージセンサ上に結像された物体の像の画像における上記の少なくとも一つの画素の色成分ごとに、対応する補正係数を乗じることにより補正画像を生成することをコンピュータに実行させる命令を有する。
【００１１】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１２】
本明細書に開示された画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置は、撮像光学系と固体撮像素子間に付着したゴミによる影響を受けた画像上の領域内の各画素の色調を補正できる。
【図面の簡単な説明】
【００１３】
【図１】一つの実施形態による画像処理装置を搭載した撮像装置の概略構成図である。
【図２】付着物が光路内に存在する場合の画像の一例を示す図である。
【図３】制御部の概略構成図である。
【図４】基準画像上の一つのラインのプロファイル及び補正領域内の各画素の基準値の一例を示す図である。
【図５】基準画像上の一つのラインのプロファイル及び補正領域内の各画素の基準値の他の一例を示す図である。
【図６】水平方向の１ラインの補正係数の一例を示す図である。
【図７】補正係数算出処理の動作フローチャートを示す。
【図８】画像補正処理の動作フローチャートを示す。
【図９】（ａ）は、原画像の一例を示す図であり、（ｂ）は、（ａ）に示された原画像に対応する補正画像の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、一つの実施形態による、画像処理装置について説明する。
この画像処理装置は、撮像装置が白色の壁など、明るさ及び色調がほぼ一様な物体を撮影して得られた基準画像に基づいて、付着物による影響を受けた領域を補正領域として特定する。そしてこの画像処理装置は、基準画像に基づいて、補正領域内に含まれる画素の色成分ごとに、色成分値に対する付着物による影響を打ち消すような補正係数を求める。そしてこの画像処理装置は、撮像装置が撮影する度に、その撮影により得られた画像上の補正領域内の各画素の色成分ごとに、対応する補正係数を乗じることで、その画像を補正する。
【００１５】
図１は、一つの実施形態による画像処理装置を搭載した撮像装置の概略構成図である。撮像装置１は、撮像光学系２と、イメージセンサ３と、メモリ４と、ユーザインターフェース５と、制御部６とを有する。なお、撮像装置１は、例えば、デジタルカメラ、カメラ付携帯電話、監視カメラあるいはテレビ電話用カメラ若しくはWebカメラの何れかとすることができる。さらに撮像装置１は、撮像装置１を通信ネットワークまたは他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。
【００１６】
撮像光学系２は、イメージセンサ３上に物体の像を結像する。そのために、撮像光学系２は、例えば、少なくとも1枚のレンズと、開口絞りとを有する。また撮像光学系２は、画像上でモアレなどによる擬似像が発生することを防止するためのローパスフィルタを有していてもよい。なお、開口絞りは、シャッター絞りと一体的に形成されていてもよい。さらに撮像光学系２は、単焦点レンズであってもよく、あるいは、ズームレンズであってもよい。また撮像光学系２は、撮像装置１に対して取り外し自在であってもよい。そして撮像光学系２は、イメージセンサ３に集光される光束が通る光路２ａを規定する。
【００１７】
イメージセンサ３は、撮像光学系２により結像された像が写った画像を生成する。そのために、イメージセンサ３は、２次元状に配列された固体撮像素子、例えば、CCDイメージセンサまたはCMOSイメージセンサを有する。イメージセンサ３により生成される画像の画素数は、例えば、30万、100万、200万、800万あるいは1200万若しくは1800万とすることができる。またイメージセンサ３により生成される画像はカラー画像であり、本実施形態では、画素ごとに赤色(R)、緑色(G)及び青色(B)の３色の成分を持つ。各色成分は、例えば、0〜255の何れかの値をとり、色成分値が大きいほど、その色の輝度が高い。
イメージセンサ３は、生成した画像を制御部６へ出力する。
【００１８】
メモリ４は、例えば、読み書き可能な不揮発性の半導体メモリを有する。そしてメモリ４は、制御部６から受け取った画像及びその画像が撮影された際の撮影条件を記憶する。またメモリ４は、撮像装置１に対して取り外し自在であってもよい。
【００１９】
ユーザインターフェース５は、シャッタースイッチなど、１以上の操作スイッチ及び液晶ディスプレイなどの表示装置を有する。そしてユーザインターフェース５は、操作スイッチの操作に応じた信号を制御部６へ出力する。そのため、ユーザは、ユーザインターフェース５を操作することにより、所定の物体に焦点を合わせるよう撮像光学系２の少なくとも一部を光軸に沿って移動させたり、撮像装置１に撮影を行わせることができる。またユーザは、シャッター速度、絞りなどの撮影条件または画像サイズを設定できる。さらにユーザは、メモリ４に記憶されている画像を消去したり、図示しない通信インターフェース回路を介して接続された他の機器へ、メモリ４に記憶されている画像を出力させることができる。
さらに、撮像装置１に対して設定されるモードには、通常の撮影を行う撮影モードと、撮影された画像の各画素の色成分に対する補正係数を設定するためのメンテナンスモードとが含まれる。そしてユーザインターフェース５を介した所定の操作が行われることにより、撮像装置１は、撮影モードとメンテナンスモードの何れかに設定される。
【００２０】
制御部６は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部６は、撮像装置１の各部と信号線を介して接続されており、撮像装置１全体を制御する。例えば、制御部６は、ユーザインターフェース５からシャッタースイッチが押下されたことを示す信号を受け取ると、設定された撮影条件で撮影を行い、イメージセンサ３から画像を受け取る。
【００２１】
撮像光学系２とイメージセンサ３の間において、光路２ａ内にゴミなどの付着物が存在すると、画像上の一部の画素に入射する光束の一部がその付着物により遮られることがある。なお、撮像光学系２とイメージセンサ３の間に付着した付着物には、撮像光学系２が有するレンズ、ローパスフィルタなどの光学素子の何れかに付着した付着物、及びイメージセンサ３の表面に付着した付着物も含まれる。
図２は、そのような付着物が光路内に存在する場合の画像の一例を示す図である。画像２００の略中央部の領域２１０は、付着物による影響を受けている。図２に示されるように、領域２１０内の輝度は、領域２１０の周囲の領域の輝度よりも低下している。また、領域２１０内の色調も、その周囲の領域の色調と異なっている。
【００２２】
そこで制御部６は、画像処理装置の一例として、光路内に付着した付着物による影響を受けた画素について、色成分ごとに補正する。
図３は、画像処理装置としての機能に関する制御部６の概略構成図である。制御部６は、補正領域決定部６１と、基準値計算部６２と、補正係数算出部６３と、補正係数記憶部６４と、補正部６５とを有する。
補正領域決定部６１、基準値計算部６２、補正係数算出部６３、補正係数記憶部６４及び補正部６５は、それぞれ別個の回路として形成される。あるいは補正領域決定部６１、基準値計算部６２、補正係数算出部６３、補正係数記憶部６４及び補正部６５は、その各部に対応する回路が集積された一つの集積回路として制御部６に実装されてもよい。さらに、補正領域決定部６１、基準値計算部６２、補正係数算出部６３及び補正部６５は、制御部６が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。また、補正係数記憶部６４は、制御部６が有する読み書き可能な不揮発性の半導体メモリであってもよい。さらにまた、補正領域決定部６１、基準値計算部６２、補正係数算出部６３、補正係数記憶部６４及び補正部６５は、制御部６とは独立した回路として撮像装置１に実装されてもよい。
制御部６は、撮像装置１がメンテナンスモードに設定されている場合、イメージセンサ３から受け取った基準画像に基づいて、付着物による影響を受けた領域内の各画素の色成分ごとの補正係数を求め、その補正係数を補正係数記憶部６４に記憶する。また制御部６は、撮像装置１が撮影モードに設定されている場合、補正係数記憶部６４に記憶されている補正係数を用いて、イメージセンサ３から受け取った画像を補正する。
【００２３】
補正領域決定部６１は、撮像装置１がメンテナンスモードに設定されている場合において取得された基準画像上で、撮像光学系２とイメージセンサ３との間に付着したゴミなどの付着物による影響が生じる領域を補正領域として求める。
ここで、基準画像は、撮像装置１がメンテナンスモードに設定されている場合においてイメージセンサ３から出力される画像である。基準画像は、例えば、白板、白い壁など、全体の明度及び色調が一様な基準物体が画像全体に写るように撮影された画像であることが好ましい。なお、制御部６は、撮像装置１がメンテナンスモードに設定されている場合においてイメージセンサ３から受け取った複数の画像を対応する画素ごとの色成分ごとに平均化することにより基準画像を作成してもよい。あるいは、制御部６は、イメージセンサ３上の像がボケるように撮像光学系２の焦点位置を調節することにより、ボケた像が撮影された画像を基準画像としてもよい。これにより、物体上の各点の情報が基準画像上の広い範囲において互いに重畳するように分布するので、基準画像全体が一様となる。
【００２４】
補正領域決定部６１は、例えば、基準画像をユーザインターフェース５が有する表示装置へ表示させ、ユーザが基準画像を見て補正領域の外縁の座標をユーザインターフェース５を介して入力することにより、補正領域を設定する。
あるいは、補正領域決定部６１は、基準画像を解析することにより、周囲の領域に含まれる画素が持つ輝度分布と異なる輝度分布を持つ領域を検出し、その検出した領域を補正領域としてもよい。この場合、補正領域決定部６１は、例えば、基準画像の各画素について色成分値をHSV系の値に変換することにより、基準画像の各画素の輝度値を求める。そして例えば、補正領域決定部６１は、基準画像を複数のブロックに分割する。そして補正領域決定部６１は、ブロックごとに各画素の輝度値の平均値を算出する。そして補正領域決定部６１は、着目するブロックに含まれる各画素の輝度値とその着目ブロックの輝度値の平均値との差の絶対値が、着目ブロックに対して定められた閾値よりも大きい画素を抽出し、抽出された画素の集合を補正領域としてもよい。なお閾値は、例えば、付着物による影響が無い撮像装置を用いて撮影された基準画像における各ブロックごとの輝度平均値と、そのブロック内の最大輝度値または最小輝度値との差の絶対値に設定される。
【００２５】
さらに、付着物による影響を受けた領域とその他の領域の境界では、近傍画素間での輝度変化、すなわち１次微分値が他の部分における近傍画素間の輝度変化よりも大きい。そこで、補正領域決定部６１は、基準画像を水平方向または垂直方向に１ラインずつ、着目ラインに設定する。そして補正領域決定部６１は、着目ラインの一端から他端まで、例えばラプラシアンフィルタを用いて近傍画素間の２次微分処理を順次行うことにより、その２次微分値の絶対値が最初に所定の閾値よりも大きくなる第１の点を検出する。補正領域決定部６１は、着目するラインを逆方向に走査して、近傍画素間の２次微分処理を順次行うことにより、その２次微分値の絶対値が最初に所定の閾値よりも大きくなる第２の点を検出する。そして補正領域決定部６１は、その２点間の領域を補正領域としてもよい。この場合、所定の閾値は、例えば、付着物が存在していない撮像光学系２を用いて撮影された基準画像に基づいて算出された２次微分値の最大値に設定される。
さらに、補正領域決定部６１は、色成分ごとに上記の処理を行って、色成分ごとに補正領域を求めてもよい。
補正領域を表す情報は、例えば、補正領域を囲む外接四角形の対角線上の二つのコーナーの座標を含む。また補正領域を表す情報は、補正領域の重心の座標と、その重心を中心とする補正領域の外接円の半径を含んでもよい。そして補正領域決定部６１は、補正領域を表す情報を制御部６へ渡す。
【００２６】
基準値計算部６２は、制御部６から受け取った補正領域を表す情報及び基準画像に基づいて、補正領域内に含まれる各画素の色成分ごとに、付着物による影響が無い場合の色成分値の推定値である基準値を求める。
基準値を求めるために、基準値計算部６２は、例えば、補正領域の上端から下端まで順に、水平方向に１ラインずつ、基準画像の各色成分のプロファイルを求める。そして基準値計算部６２は、色成分ごとに、各ライン上で補正領域の一端に近接する１以上の画素と、補正領域の他端に近接する１以上の画素とを抽出する。そして基準値計算部６２は、例えば、抽出された画素を通る線形近似関数を求める。基準値計算部６２は、その線形近似関数に補正領域内の画素の座標を入力することにより得られる色成分値を、その画素の基準値とする。
あるいは、基準値計算部６２は、補正領域に含まれていない複数の画素の色成分値及びその画素の座標値に基づいて、基準画像の着目するラインの色成分ごとのプロファイルを近似する２次以上の多項式によって表される高次曲線を求めてもよい。なお、基準値計算部６２は、最小二乗法を用いてその高次曲線を求めることができる。基準値計算部６２は、着目する色成分に関する高次曲線に補正領域内の画素の座標を入力することによって求められる色成分値を、その画素の着目する色成分についての基準値とする。
【００２７】
なお、基準値計算部６２は、補正領域の左端から右端まで順に、垂直方向に１ラインずつ、基準画像の各色成分のプロファイルを求めてもよい。そして基準値計算部６２は、色成分ごとに、そのプロファイルに従って、上記のように線形近似関数または高次の近似曲線を求めることにより、補正領域内の各画素の基準値を求めてもよい。
【００２８】
図４は、基準画像における水平方向の１ラインのプロファイル及び補正領域内の各画素の色成分ごとの基準値の一例を示す図である。図４において、横軸は水平方向座標を表し、縦軸は色成分値を表す。グラフ４００〜４０２は、それぞれ、基準画像における水平方向の１ラインの赤色成分、緑色成分及び青色成分のプロファイルを表す。また領域４１０は、補正領域を表す。この例では、補正領域４１０内の各色成分値はその近傍領域の色成分値よりも低下している。
これに対し、直線４２０は、補正領域４１０の両端近傍に位置する複数の画素の赤色成分値に基づいて求められた、補正領域４１０内の画素の赤色成分の基準値を表す線形近似関数である。同様に、直線４２１、４２２は、それぞれ、補正領域４１０の両端近傍に位置する複数の画素の緑色成分値及び青色成分値に基づいて求められた、補正領域４１０内の画素の緑色成分及び青色成分の基準値を表す線形近似関数である。
【００２９】
図５は、基準画像における水平方向の１ラインのプロファイル及び補正領域内の各画素の基準値の他の一例を示す図である。図５において、横軸は水平方向座標を表し、縦軸は色成分値を表す。各点の集合により表されるプロファイル５００は、基準画像における水平方向の１ラインの赤色成分のプロファイルを表す。プロファイル５００に示されるように、基準画像の端部に近づくにつれて色成分値は低下する。これは、例えば、撮像光学系２により集光される、イメージセンサ３の周辺付近での光量が、イメージセンサ３の中心付近の光量よりも少ないことによる。
領域５１０は、補正領域を表す。また曲線５２０は、補正領域５１０以外の画素の色成分値に基づいて求められた、プロファイル５００の４次多項式による近似曲線である。図５に示されるように、プロファイル５００が曲線となっている場合でも、基準値計算部６２は、高次近似曲線によって補正領域５１０内の画素の色成分値を推定することで、付着物による影響が無い場合の補正領域５１０内の各画素の色成分値を正確に推定できる。
【００３０】
基準値計算部６２は、補正領域内の各画素の色成分ごとの基準値を制御部６へ戻す。
【００３１】
補正係数算出部６３は、撮影モードにおいて撮影された画像における補正領域内の各画素の色成分を補正するための補正係数を算出する。
そのために、補正係数算出部６３は、基準画像及び補正領域を表す情報と、補正領域内の各画素に対する色成分ごとの基準値を制御部６から受け取る。そして補正係数算出部６３は、補正領域内の各画素について、色成分ごとに次式に従って補正係数を求める。
【数１】
なお、Ca(x,y)は、水平座標x、垂直座標yの画素についての色成分a(a∈R,G,B)の補正係数を表す。またSa(x,y)は、水平座標x、垂直座標yの画素についての色成分aの基準値を表す。そしてBa(x,y)は、基準画像における水平座標x、垂直座標yの画素についての色成分aの値を表す。
補正係数算出部６３は、補正領域を表す情報及び補正領域内の各画素について求めた色成分ごとの補正係数を補正係数記憶部６４に記憶させる。
【００３２】
図６は、水平方向の１ラインの補正係数の一例を示す図である。図６において、横軸は水平方向座標を表し、縦軸は補正係数を表す。グラフ６００〜６０２は、それぞれ、水平方向の１ラインの赤色成分、緑色成分及び青色成分の補正係数を表す。図６に示されるように、各色成分に対する補正係数は、付着物による色成分ごとの影響に応じて別個の値を持つことができる。
【００３３】
補正係数記憶部６４は、補正係数算出部６３から受け取った補正領域を表す情報及び補正領域内の各画素について求めた色成分ごとの補正係数を記憶する。また補正係数記憶部６４は、補正部６５からの読み出し要求に応じて、記憶している補正領域を表す情報及び補正係数を補正部６５へ出力する。
【００３４】
補正部６５は、撮影モードにおいて取得された画像である原画像の補正領域に含まれる各画素に対してのみ、色成分ごとに補正係数記憶部６４に記憶されている補正係数を用いて補正する。具体的には、補正部６５は、着目画素に対して色成分ごとに次式に従って補正処理を実行する。
【数２】
なお、Ca(x,y)は、水平座標x、垂直座標yの画素についての色成分a(a∈R,G,B)の補正係数を表す。またIa(x,y)は、原画像の水平座標x、垂直座標yの画素についての色成分aの値を表す。そしてPa(x,y)は、補正された画像における水平座標x、垂直座標yの画素についての色成分aの値を表す。
補正部６５が補正画像を作成すると、制御部６は、その補正画像をメモリ４に記憶させる。
【００３５】
なお、制御部６は、補正画像から表示用の縮小画像を作成し、その縮小画像を補正画像とともにメモリ４に記憶させてもよい。あるいは、制御部６は、補正画像をメモリ４に記憶させる前に、縮小画像をユーザインターフェース５の表示装置に表示させてもよい。この場合、ユーザインターフェース５を介してユーザがその補正画像を保存する操作を行った場合に限り、制御部６はその補正画像をメモリ４に記憶させてもよい。
なお、縮小画像は、例えば、ユーザインターフェース５が有する表示装置の画素数と等しい画素数を有する画像であり、補正画像から所定のサンプリングピッチで画素を間引くことにより作成される。
また、制御部６は、補正画像に対して、コントラスト変換、エッジ強調などの画像強調処理を行ってもよい。そして制御部６は、画像強調処理が行われた補正画像をメモリ４に記憶させてもよい。
【００３６】
図７は、制御部６により実行される、補正係数算出処理の動作フローチャートを示す。なお、この補正係数算出処理は、ユーザインターフェース５を介した操作により、撮像装置１がメンテナンスモードに設定されている場合に実行される。
制御部６は、撮像装置１がメンテナンスモードに設定されている場合に撮影された画像をイメージセンサ３から取得し、その画像を基準画像とする（ステップＳ１０１）。そして制御部６は、基準画像を補正領域決定部６１へ渡す。
【００３７】
補正領域決定部６１は基準画像上で補正領域を設定する（ステップＳ１０２）。そして補正領域決定部６１は、補正領域を表す情報を制御部６へ戻す。
制御部６は補正領域が有るか否か判定する（ステップＳ１０３）。補正領域が無い場合（ステップＳ１０３−Ｎｏ）、制御部６は、補正係数を設定せずに補正係数算出処理を終了する。
一方、補正領域が有る場合（ステップＳ１０３−Ｙｅｓ）、制御部６は基準画像及び補正領域を表す情報を基準値計算部６２へ渡す。そして基準値計算部６２は、補正領域内の各画素について色成分ごとの基準値を算出する（ステップＳ１０４）。そして基準値計算部６２は、各画素の色成分ごとの基準値を制御部６に戻す。そして制御部６は、基準画像、補正領域を表す情報及び補正領域内の各画素の色成分ごとの基準値を補正係数算出部６３へ渡す。
【００３８】
補正係数算出部６３は、補正領域内の各画素について色成分ごとに、基準値Sa(x,y)と基準画像のその画素の色成分値Ba(x,y)との比(Sa(x,y)/Ba(x,y))を補正係数Ca(x,y)として算出する（ステップＳ１０５）。そして補正係数算出部６３は、補正領域内の各画素の色成分ごとの補正係数Ca(x,y)及び補正領域を表す情報を補正係数記憶部６４に記憶させる（ステップＳ１０６）。
その後、制御部６は、補正係数算出処理を終了する。
【００３９】
図８は、制御部６により実行される、画像補正処理の動作フローチャートを示す。なお、この画像補正処理は、ユーザインターフェース５を介した操作により撮像装置１が撮影モードに設定されている場合において、制御部６がイメージセンサ３から画像を受け取る度に実行される。
制御部６は、イメージセンサ３から原画像を取得する（ステップＳ２０１）。そして制御部６は、その原画像を補正部６５へ渡す。
補正部６５は、補正係数記憶部６４から補正領域を表す情報及び補正領域内の各画素の色成分ごとの補正係数を読み込む（ステップＳ２０２）。そして補正部６５は、原画像の補正領域内の各画素について色成分ごとに、対応する補正係数を乗じることにより補正画像を算出する（ステップＳ２０３）。
制御部６は、補正画像をメモリ４に記憶させる（ステップＳ２０４）。
その後、制御部６は、画像補正処理を終了する。なお、制御部６は、ステップＳ２０１の処理とステップＳ２０２の処理の実行順序を入れ替えてもよい。
【００４０】
図９（ａ）は、原画像の一例を示す図であり、図９（ｂ）は、図９（ａ）に示された原画像に対応する補正画像の一例を示す図である。図９（ａ）に示された原画像９００の中央付近には、付着物による影響を受けた領域９０１が存在する。そして領域９０１内の輝度は、領域９０１の周囲の輝度よりも低下している。また、領域９０１内の色調も、領域９０１の周囲の色調と異なっている。この領域９０１が補正領域として設定される。
一方、図９（ｂ）に示された補正画像９１０では、領域９０１の輝度もその周囲の輝度と同程度になっており、かつ、領域９０１内の色調もその周囲の色調と同様となっている。
【００４１】
以上に説明してきたように、この画像処理装置は、撮像装置が有する撮像光学系とイメージセンサ間の光路内に付着物が存在しても、その付着物による画像上での輝度変化及び色調変化を補正することができる。
【００４２】
なお、本発明は上記の実施形態に限定されるものではない。例えば、制御部は、基準画像から所定のピッチで画素を間引いて縮小基準画像を作成してもよい。そして補正領域決定部は、その縮小基準画像に基づいて補正領域を決定してもよい。また、基準値算出部及び補正係数算出部は、それぞれ、縮小基準画像における補正領域内の各画素の色成分ごとの基準値及び補正係数を算出してもよい。これにより、補正係数記憶部のメモリ容量は、基準画像そのものに基づいて補正係数が決定される場合における補正係数記憶部のメモリ容量よりも少なくてよい。
この場合、補正部は、原画像上の着目画素と対応する縮小基準画像上の画素が存在しない場合、その着目画素の補正係数を、その着目画素周囲の縮小基準画像上の画素に対する補正係数を用いて線形補間または３次スプライン補間することにより算出する。
また、補正係数記憶部は、画像に含まれる全ての画素についての補正係数を記憶してもよい。この場合、補正領域以外の画素についての補正係数は、全ての色成分について'1'となる。そして補正部は、原画像に含まれる全ての画素について各色成分値に対応する補正係数を乗じる。これにより、補正部は、原画像の各画素について補正領域に含まれるか否かの判定を行わなくてよい。
【００４３】
また、他の実施形態によれば、画像処理装置は、撮像装置とは別個に設けられてもよい。例えば、画像処理装置は、撮像装置と通信ネットワークを介して接続可能な他のコンピュータあるいはサーバに実装されていてもよい。この場合、撮像装置は、基準画像を、撮像装置の識別コードとともに通信ネットワークを介して画像処理装置へ転送する。そして画像処理装置は、補正領域及び補正領域内の各画素の色成分ごとの補正係数を、撮像装置の識別コードとともに記憶する。そして撮像装置は、撮影モードにおいて生成した画像を、撮像装置の識別コードとともに通信ネットワークを介して画像処理装置へ転送する。画像処理装置は、受信した識別コードに応じた補正係数を用いて、受信した画像に対して画像補正処理を実行する。
【００４４】
また、図７に示された補正係数算出処理をプロセッサに実行させるコンピュータプログラムは、記録媒体に記録された形で提供されてもよい。同様に、図８に示された画像補正処理をプロセッサに実行させるコンピュータプログラムは、記録媒体に記録された形で提供されてもよい。
【００４５】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００４６】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
イメージセンサにより生成された、撮像光学系により該イメージセンサ上に結像された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶する記憶部と、
前記撮像光学系により前記イメージセンサ上に結像された物体の像の画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する補正部と、
を有する画像処理装置。
（付記２）
前記記憶部は、前記少なくとも一つの画素を含む領域を表す情報と、該領域に含まれる画素の色成分ごとの前記補正係数を記憶し、
前記補正部は、前記領域に含まれる画素についてのみ、当該画素の色成分ごとに、対応する前記補正係数を乗じる、付記１に記載の画像処理装置。
（付記３）
前記基準画像から前記領域を検出する補正領域決定部と、
色成分ごとに、前記基準画像の前記領域以外に含まれる画素の色成分値を用いて、前記付着物による影響が無い場合の前記領域内の各画素の当該色成分の推定値を算出する基準値計算部と、
前記領域内の各画素について、色成分ごとに前記基準画像の当該画素の色成分に対する当該色成分の前記推定値の比を算出し、当該比を当該色成分についての前記補正係数として前記記憶部に記憶させる補正係数算出部と、
をさらに有する付記２に記載の画像処理装置。
（付記４）
光路を規定する撮像光学系と、
前記撮像光学系により結像された物体の像の画像を生成するイメージセンサと、
前記イメージセンサにより生成された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶する記憶部と、
前記撮像光学系により前記イメージセンサ上に結像された物体の像の画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する補正部と、
を有する撮像装置。
（付記５）
イメージセンサから撮像光学系により該イメージセンサ上に結像された物体の像の画像を取得し、
前記イメージセンサにより生成された、前記撮像光学系により該イメージセンサ上に結像された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶部から読み出し、
前記画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する、
ことを含む画像処理方法。
（付記６）
イメージセンサにより生成された、撮像光学系により該イメージセンサ上に結像された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶部から読み出し、
前記イメージセンサから前記撮像光学系により該イメージセンサ上に結像された物体の像の画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する、
ことをコンピュータに実行させる画像処理用コンピュータプログラム。
【符号の説明】
【００４７】
１ 撮像装置
２ 撮像光学系
３ イメージセンサ
４ メモリ
５ ユーザインターフェース
６ 制御部
６１ 補正領域決定部
６２ 基準値計算部
６３ 補正係数算出部
６４ 補正係数記憶部
６５ 補正部
【技術分野】
【０００１】
本発明は、例えば、撮像光学系とイメージセンサ間における付着物による画像への影響を補正する画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置に関する。
【背景技術】
【０００２】
従来より、Charge Coupled Device(CCD)センサまたはComplementary Metal Oxide Semiconductor(CMOS)センサなどの固体撮像素子を用いた撮像装置が普及している。このような撮像装置では、固体撮像素子に物体の像を結像する撮像光学系と固体撮像素子の間で光路内にゴミが付着すると、そのゴミにより光束の一部が遮られる。そのため、画像の一部の領域に含まれる画素の輝度が低下する。特に、ゴミが固体撮像素子の表面から離れたところに付着した場合、ゴミによって光束が遮られる固体撮像素子上の範囲がゴミのサイズよりも広くなるので、画像上で輝度が低下する領域も広くなる。そこで、付着したゴミの影響を除去する技術が提案されている（例えば、特許文献１及び２を参照）。
【０００３】
例えば、特許文献１に開示された画像処理装置は、基準画像の各画素において、着目画素の値とその着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出することにより透過率信号を生成する。そして画像処理装置は、この透過率信号に基づいて、画像全体の透過率マップを作成し、その透過率マップを使用して補正対象画像を補正する。
また、特許文献２に開示された画像読み取り装置の制御方法は、画像読み取り装置に備える白基準領域を副走査方向に複数のブロックに分割する。その制御方法は、個別のブロック内で読み取った個々の読み取り画素の読み取り出力値の平均値を算出して比較対照することにより、ゴミを読み取ったブロックを特定する。そしてその制御方法は、ゴミを読み取ったブロックを除外した残存のブロックより白色基準を生成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２２２３１号公報
【特許文献２】特開２０００−２７０１５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２に開示された技術のように、撮像装置がゴミによる影響を受けた領域の情報を用いなければ、本来その領域に写っている像の情報も無くなってしまうので好ましくない。
一方、特許文献１に開示された技術を用いることにより、撮像装置は、光路内に付着したゴミによる、画像上の一部の画素の輝度の低下を補償することができる。しかし、固体撮像素子を用いた撮像装置のうち、カラー画像を生成する撮像装置も広く利用されている。カラー画像を生成する撮像装置において光路内にゴミが付着すると、そのゴミの波長に応じた透過率特性、撮像光学系の色収差あるいはゴミの端部での回折などにより、ゴミにより光束の一部が遮られた画素において、色成分ごとにゴミの影響が異なることがある。また、画像上でゴミの影響を受ける範囲が色成分ごとに異なることがある。そのため、撮像装置がゴミによる影響を受けた領域内の画素の輝度値のみを補正しても、その領域に写っている像本来の色調は再現されず、その結果、補正された画像におけるその領域に不自然なアーティファクトが生じてしまうおそれがあった。
【０００６】
そこで、本明細書は、撮像光学系とイメージセンサ間に付着した付着物による影響を受けた画像上の領域内の各画素の色調を補正可能な画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの実施形態によれば、画像処理装置が提供される。この画像処理装置は、イメージセンサにより生成された、撮像光学系によりそのイメージセンサ上に結像された基準物体の像の基準画像において、撮像光学系とイメージセンサとの間において撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとのその影響を打ち消す補正係数を記憶する記憶部と、撮像光学系によりイメージセンサ上に結像された物体の像の画像における上記の少なくとも一つの画素の色成分ごとに、対応する補正係数を乗じることにより補正画像を生成する補正部とを有する。
【０００８】
また他の実施形態によれば、撮像装置が提供される。この撮像装置は、光路を規定する撮像光学系と、撮像光学系により結像された物体の像の画像を生成するイメージセンサと、イメージセンサにより生成された基準物体の像の基準画像において、撮像光学系とイメージセンサとの間において光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとのその影響を打ち消す補正係数を記憶する記憶部と、撮像光学系によりイメージセンサ上に結像された物体の像の画像における上記の少なくとも一つの画素の色成分ごとに、対応する補正係数を乗じることにより補正画像を生成する補正部とを有する。
【０００９】
また他の実施形態によれば、画像処理方法が提供される。この画像処理方法は、イメージセンサから撮像光学系によりそのイメージセンサ上に結像された物体の像の画像を取得し、イメージセンサにより生成された、撮像光学系によりそのイメージセンサ上に結像された基準物体の像の基準画像において、撮像光学系とイメージセンサとの間において撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとのその影響を打ち消す補正係数を記憶部から読み出し、画像における上記の少なくとも一つの画素の色成分ごとに、対応する補正係数を乗じることにより補正画像を生成することを含む。
【００１０】
さらに他の実施形態によれば、コンピュータに画像処理を実行させる画像処理用コンピュータプログラムが提供される。このコンピュータプログラムは、イメージセンサにより生成された、撮像光学系によりそのイメージセンサ上に結像された基準物体の像の基準画像において、撮像光学系とイメージセンサとの間において撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとのその影響を打ち消す補正係数を記憶部から読み出し、イメージセンサから撮像光学系によりそのイメージセンサ上に結像された物体の像の画像における上記の少なくとも一つの画素の色成分ごとに、対応する補正係数を乗じることにより補正画像を生成することをコンピュータに実行させる命令を有する。
【００１１】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１２】
本明細書に開示された画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置は、撮像光学系と固体撮像素子間に付着したゴミによる影響を受けた画像上の領域内の各画素の色調を補正できる。
【図面の簡単な説明】
【００１３】
【図１】一つの実施形態による画像処理装置を搭載した撮像装置の概略構成図である。
【図２】付着物が光路内に存在する場合の画像の一例を示す図である。
【図３】制御部の概略構成図である。
【図４】基準画像上の一つのラインのプロファイル及び補正領域内の各画素の基準値の一例を示す図である。
【図５】基準画像上の一つのラインのプロファイル及び補正領域内の各画素の基準値の他の一例を示す図である。
【図６】水平方向の１ラインの補正係数の一例を示す図である。
【図７】補正係数算出処理の動作フローチャートを示す。
【図８】画像補正処理の動作フローチャートを示す。
【図９】（ａ）は、原画像の一例を示す図であり、（ｂ）は、（ａ）に示された原画像に対応する補正画像の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、一つの実施形態による、画像処理装置について説明する。
この画像処理装置は、撮像装置が白色の壁など、明るさ及び色調がほぼ一様な物体を撮影して得られた基準画像に基づいて、付着物による影響を受けた領域を補正領域として特定する。そしてこの画像処理装置は、基準画像に基づいて、補正領域内に含まれる画素の色成分ごとに、色成分値に対する付着物による影響を打ち消すような補正係数を求める。そしてこの画像処理装置は、撮像装置が撮影する度に、その撮影により得られた画像上の補正領域内の各画素の色成分ごとに、対応する補正係数を乗じることで、その画像を補正する。
【００１５】
図１は、一つの実施形態による画像処理装置を搭載した撮像装置の概略構成図である。撮像装置１は、撮像光学系２と、イメージセンサ３と、メモリ４と、ユーザインターフェース５と、制御部６とを有する。なお、撮像装置１は、例えば、デジタルカメラ、カメラ付携帯電話、監視カメラあるいはテレビ電話用カメラ若しくはWebカメラの何れかとすることができる。さらに撮像装置１は、撮像装置１を通信ネットワークまたは他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。
【００１６】
撮像光学系２は、イメージセンサ３上に物体の像を結像する。そのために、撮像光学系２は、例えば、少なくとも1枚のレンズと、開口絞りとを有する。また撮像光学系２は、画像上でモアレなどによる擬似像が発生することを防止するためのローパスフィルタを有していてもよい。なお、開口絞りは、シャッター絞りと一体的に形成されていてもよい。さらに撮像光学系２は、単焦点レンズであってもよく、あるいは、ズームレンズであってもよい。また撮像光学系２は、撮像装置１に対して取り外し自在であってもよい。そして撮像光学系２は、イメージセンサ３に集光される光束が通る光路２ａを規定する。
【００１７】
イメージセンサ３は、撮像光学系２により結像された像が写った画像を生成する。そのために、イメージセンサ３は、２次元状に配列された固体撮像素子、例えば、CCDイメージセンサまたはCMOSイメージセンサを有する。イメージセンサ３により生成される画像の画素数は、例えば、30万、100万、200万、800万あるいは1200万若しくは1800万とすることができる。またイメージセンサ３により生成される画像はカラー画像であり、本実施形態では、画素ごとに赤色(R)、緑色(G)及び青色(B)の３色の成分を持つ。各色成分は、例えば、0〜255の何れかの値をとり、色成分値が大きいほど、その色の輝度が高い。
イメージセンサ３は、生成した画像を制御部６へ出力する。
【００１８】
メモリ４は、例えば、読み書き可能な不揮発性の半導体メモリを有する。そしてメモリ４は、制御部６から受け取った画像及びその画像が撮影された際の撮影条件を記憶する。またメモリ４は、撮像装置１に対して取り外し自在であってもよい。
【００１９】
ユーザインターフェース５は、シャッタースイッチなど、１以上の操作スイッチ及び液晶ディスプレイなどの表示装置を有する。そしてユーザインターフェース５は、操作スイッチの操作に応じた信号を制御部６へ出力する。そのため、ユーザは、ユーザインターフェース５を操作することにより、所定の物体に焦点を合わせるよう撮像光学系２の少なくとも一部を光軸に沿って移動させたり、撮像装置１に撮影を行わせることができる。またユーザは、シャッター速度、絞りなどの撮影条件または画像サイズを設定できる。さらにユーザは、メモリ４に記憶されている画像を消去したり、図示しない通信インターフェース回路を介して接続された他の機器へ、メモリ４に記憶されている画像を出力させることができる。
さらに、撮像装置１に対して設定されるモードには、通常の撮影を行う撮影モードと、撮影された画像の各画素の色成分に対する補正係数を設定するためのメンテナンスモードとが含まれる。そしてユーザインターフェース５を介した所定の操作が行われることにより、撮像装置１は、撮影モードとメンテナンスモードの何れかに設定される。
【００２０】
制御部６は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部６は、撮像装置１の各部と信号線を介して接続されており、撮像装置１全体を制御する。例えば、制御部６は、ユーザインターフェース５からシャッタースイッチが押下されたことを示す信号を受け取ると、設定された撮影条件で撮影を行い、イメージセンサ３から画像を受け取る。
【００２１】
撮像光学系２とイメージセンサ３の間において、光路２ａ内にゴミなどの付着物が存在すると、画像上の一部の画素に入射する光束の一部がその付着物により遮られることがある。なお、撮像光学系２とイメージセンサ３の間に付着した付着物には、撮像光学系２が有するレンズ、ローパスフィルタなどの光学素子の何れかに付着した付着物、及びイメージセンサ３の表面に付着した付着物も含まれる。
図２は、そのような付着物が光路内に存在する場合の画像の一例を示す図である。画像２００の略中央部の領域２１０は、付着物による影響を受けている。図２に示されるように、領域２１０内の輝度は、領域２１０の周囲の領域の輝度よりも低下している。また、領域２１０内の色調も、その周囲の領域の色調と異なっている。
【００２２】
そこで制御部６は、画像処理装置の一例として、光路内に付着した付着物による影響を受けた画素について、色成分ごとに補正する。
図３は、画像処理装置としての機能に関する制御部６の概略構成図である。制御部６は、補正領域決定部６１と、基準値計算部６２と、補正係数算出部６３と、補正係数記憶部６４と、補正部６５とを有する。
補正領域決定部６１、基準値計算部６２、補正係数算出部６３、補正係数記憶部６４及び補正部６５は、それぞれ別個の回路として形成される。あるいは補正領域決定部６１、基準値計算部６２、補正係数算出部６３、補正係数記憶部６４及び補正部６５は、その各部に対応する回路が集積された一つの集積回路として制御部６に実装されてもよい。さらに、補正領域決定部６１、基準値計算部６２、補正係数算出部６３及び補正部６５は、制御部６が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。また、補正係数記憶部６４は、制御部６が有する読み書き可能な不揮発性の半導体メモリであってもよい。さらにまた、補正領域決定部６１、基準値計算部６２、補正係数算出部６３、補正係数記憶部６４及び補正部６５は、制御部６とは独立した回路として撮像装置１に実装されてもよい。
制御部６は、撮像装置１がメンテナンスモードに設定されている場合、イメージセンサ３から受け取った基準画像に基づいて、付着物による影響を受けた領域内の各画素の色成分ごとの補正係数を求め、その補正係数を補正係数記憶部６４に記憶する。また制御部６は、撮像装置１が撮影モードに設定されている場合、補正係数記憶部６４に記憶されている補正係数を用いて、イメージセンサ３から受け取った画像を補正する。
【００２３】
補正領域決定部６１は、撮像装置１がメンテナンスモードに設定されている場合において取得された基準画像上で、撮像光学系２とイメージセンサ３との間に付着したゴミなどの付着物による影響が生じる領域を補正領域として求める。
ここで、基準画像は、撮像装置１がメンテナンスモードに設定されている場合においてイメージセンサ３から出力される画像である。基準画像は、例えば、白板、白い壁など、全体の明度及び色調が一様な基準物体が画像全体に写るように撮影された画像であることが好ましい。なお、制御部６は、撮像装置１がメンテナンスモードに設定されている場合においてイメージセンサ３から受け取った複数の画像を対応する画素ごとの色成分ごとに平均化することにより基準画像を作成してもよい。あるいは、制御部６は、イメージセンサ３上の像がボケるように撮像光学系２の焦点位置を調節することにより、ボケた像が撮影された画像を基準画像としてもよい。これにより、物体上の各点の情報が基準画像上の広い範囲において互いに重畳するように分布するので、基準画像全体が一様となる。
【００２４】
補正領域決定部６１は、例えば、基準画像をユーザインターフェース５が有する表示装置へ表示させ、ユーザが基準画像を見て補正領域の外縁の座標をユーザインターフェース５を介して入力することにより、補正領域を設定する。
あるいは、補正領域決定部６１は、基準画像を解析することにより、周囲の領域に含まれる画素が持つ輝度分布と異なる輝度分布を持つ領域を検出し、その検出した領域を補正領域としてもよい。この場合、補正領域決定部６１は、例えば、基準画像の各画素について色成分値をHSV系の値に変換することにより、基準画像の各画素の輝度値を求める。そして例えば、補正領域決定部６１は、基準画像を複数のブロックに分割する。そして補正領域決定部６１は、ブロックごとに各画素の輝度値の平均値を算出する。そして補正領域決定部６１は、着目するブロックに含まれる各画素の輝度値とその着目ブロックの輝度値の平均値との差の絶対値が、着目ブロックに対して定められた閾値よりも大きい画素を抽出し、抽出された画素の集合を補正領域としてもよい。なお閾値は、例えば、付着物による影響が無い撮像装置を用いて撮影された基準画像における各ブロックごとの輝度平均値と、そのブロック内の最大輝度値または最小輝度値との差の絶対値に設定される。
【００２５】
さらに、付着物による影響を受けた領域とその他の領域の境界では、近傍画素間での輝度変化、すなわち１次微分値が他の部分における近傍画素間の輝度変化よりも大きい。そこで、補正領域決定部６１は、基準画像を水平方向または垂直方向に１ラインずつ、着目ラインに設定する。そして補正領域決定部６１は、着目ラインの一端から他端まで、例えばラプラシアンフィルタを用いて近傍画素間の２次微分処理を順次行うことにより、その２次微分値の絶対値が最初に所定の閾値よりも大きくなる第１の点を検出する。補正領域決定部６１は、着目するラインを逆方向に走査して、近傍画素間の２次微分処理を順次行うことにより、その２次微分値の絶対値が最初に所定の閾値よりも大きくなる第２の点を検出する。そして補正領域決定部６１は、その２点間の領域を補正領域としてもよい。この場合、所定の閾値は、例えば、付着物が存在していない撮像光学系２を用いて撮影された基準画像に基づいて算出された２次微分値の最大値に設定される。
さらに、補正領域決定部６１は、色成分ごとに上記の処理を行って、色成分ごとに補正領域を求めてもよい。
補正領域を表す情報は、例えば、補正領域を囲む外接四角形の対角線上の二つのコーナーの座標を含む。また補正領域を表す情報は、補正領域の重心の座標と、その重心を中心とする補正領域の外接円の半径を含んでもよい。そして補正領域決定部６１は、補正領域を表す情報を制御部６へ渡す。
【００２６】
基準値計算部６２は、制御部６から受け取った補正領域を表す情報及び基準画像に基づいて、補正領域内に含まれる各画素の色成分ごとに、付着物による影響が無い場合の色成分値の推定値である基準値を求める。
基準値を求めるために、基準値計算部６２は、例えば、補正領域の上端から下端まで順に、水平方向に１ラインずつ、基準画像の各色成分のプロファイルを求める。そして基準値計算部６２は、色成分ごとに、各ライン上で補正領域の一端に近接する１以上の画素と、補正領域の他端に近接する１以上の画素とを抽出する。そして基準値計算部６２は、例えば、抽出された画素を通る線形近似関数を求める。基準値計算部６２は、その線形近似関数に補正領域内の画素の座標を入力することにより得られる色成分値を、その画素の基準値とする。
あるいは、基準値計算部６２は、補正領域に含まれていない複数の画素の色成分値及びその画素の座標値に基づいて、基準画像の着目するラインの色成分ごとのプロファイルを近似する２次以上の多項式によって表される高次曲線を求めてもよい。なお、基準値計算部６２は、最小二乗法を用いてその高次曲線を求めることができる。基準値計算部６２は、着目する色成分に関する高次曲線に補正領域内の画素の座標を入力することによって求められる色成分値を、その画素の着目する色成分についての基準値とする。
【００２７】
なお、基準値計算部６２は、補正領域の左端から右端まで順に、垂直方向に１ラインずつ、基準画像の各色成分のプロファイルを求めてもよい。そして基準値計算部６２は、色成分ごとに、そのプロファイルに従って、上記のように線形近似関数または高次の近似曲線を求めることにより、補正領域内の各画素の基準値を求めてもよい。
【００２８】
図４は、基準画像における水平方向の１ラインのプロファイル及び補正領域内の各画素の色成分ごとの基準値の一例を示す図である。図４において、横軸は水平方向座標を表し、縦軸は色成分値を表す。グラフ４００〜４０２は、それぞれ、基準画像における水平方向の１ラインの赤色成分、緑色成分及び青色成分のプロファイルを表す。また領域４１０は、補正領域を表す。この例では、補正領域４１０内の各色成分値はその近傍領域の色成分値よりも低下している。
これに対し、直線４２０は、補正領域４１０の両端近傍に位置する複数の画素の赤色成分値に基づいて求められた、補正領域４１０内の画素の赤色成分の基準値を表す線形近似関数である。同様に、直線４２１、４２２は、それぞれ、補正領域４１０の両端近傍に位置する複数の画素の緑色成分値及び青色成分値に基づいて求められた、補正領域４１０内の画素の緑色成分及び青色成分の基準値を表す線形近似関数である。
【００２９】
図５は、基準画像における水平方向の１ラインのプロファイル及び補正領域内の各画素の基準値の他の一例を示す図である。図５において、横軸は水平方向座標を表し、縦軸は色成分値を表す。各点の集合により表されるプロファイル５００は、基準画像における水平方向の１ラインの赤色成分のプロファイルを表す。プロファイル５００に示されるように、基準画像の端部に近づくにつれて色成分値は低下する。これは、例えば、撮像光学系２により集光される、イメージセンサ３の周辺付近での光量が、イメージセンサ３の中心付近の光量よりも少ないことによる。
領域５１０は、補正領域を表す。また曲線５２０は、補正領域５１０以外の画素の色成分値に基づいて求められた、プロファイル５００の４次多項式による近似曲線である。図５に示されるように、プロファイル５００が曲線となっている場合でも、基準値計算部６２は、高次近似曲線によって補正領域５１０内の画素の色成分値を推定することで、付着物による影響が無い場合の補正領域５１０内の各画素の色成分値を正確に推定できる。
【００３０】
基準値計算部６２は、補正領域内の各画素の色成分ごとの基準値を制御部６へ戻す。
【００３１】
補正係数算出部６３は、撮影モードにおいて撮影された画像における補正領域内の各画素の色成分を補正するための補正係数を算出する。
そのために、補正係数算出部６３は、基準画像及び補正領域を表す情報と、補正領域内の各画素に対する色成分ごとの基準値を制御部６から受け取る。そして補正係数算出部６３は、補正領域内の各画素について、色成分ごとに次式に従って補正係数を求める。
【数１】
なお、Ca(x,y)は、水平座標x、垂直座標yの画素についての色成分a(a∈R,G,B)の補正係数を表す。またSa(x,y)は、水平座標x、垂直座標yの画素についての色成分aの基準値を表す。そしてBa(x,y)は、基準画像における水平座標x、垂直座標yの画素についての色成分aの値を表す。
補正係数算出部６３は、補正領域を表す情報及び補正領域内の各画素について求めた色成分ごとの補正係数を補正係数記憶部６４に記憶させる。
【００３２】
図６は、水平方向の１ラインの補正係数の一例を示す図である。図６において、横軸は水平方向座標を表し、縦軸は補正係数を表す。グラフ６００〜６０２は、それぞれ、水平方向の１ラインの赤色成分、緑色成分及び青色成分の補正係数を表す。図６に示されるように、各色成分に対する補正係数は、付着物による色成分ごとの影響に応じて別個の値を持つことができる。
【００３３】
補正係数記憶部６４は、補正係数算出部６３から受け取った補正領域を表す情報及び補正領域内の各画素について求めた色成分ごとの補正係数を記憶する。また補正係数記憶部６４は、補正部６５からの読み出し要求に応じて、記憶している補正領域を表す情報及び補正係数を補正部６５へ出力する。
【００３４】
補正部６５は、撮影モードにおいて取得された画像である原画像の補正領域に含まれる各画素に対してのみ、色成分ごとに補正係数記憶部６４に記憶されている補正係数を用いて補正する。具体的には、補正部６５は、着目画素に対して色成分ごとに次式に従って補正処理を実行する。
【数２】
なお、Ca(x,y)は、水平座標x、垂直座標yの画素についての色成分a(a∈R,G,B)の補正係数を表す。またIa(x,y)は、原画像の水平座標x、垂直座標yの画素についての色成分aの値を表す。そしてPa(x,y)は、補正された画像における水平座標x、垂直座標yの画素についての色成分aの値を表す。
補正部６５が補正画像を作成すると、制御部６は、その補正画像をメモリ４に記憶させる。
【００３５】
なお、制御部６は、補正画像から表示用の縮小画像を作成し、その縮小画像を補正画像とともにメモリ４に記憶させてもよい。あるいは、制御部６は、補正画像をメモリ４に記憶させる前に、縮小画像をユーザインターフェース５の表示装置に表示させてもよい。この場合、ユーザインターフェース５を介してユーザがその補正画像を保存する操作を行った場合に限り、制御部６はその補正画像をメモリ４に記憶させてもよい。
なお、縮小画像は、例えば、ユーザインターフェース５が有する表示装置の画素数と等しい画素数を有する画像であり、補正画像から所定のサンプリングピッチで画素を間引くことにより作成される。
また、制御部６は、補正画像に対して、コントラスト変換、エッジ強調などの画像強調処理を行ってもよい。そして制御部６は、画像強調処理が行われた補正画像をメモリ４に記憶させてもよい。
【００３６】
図７は、制御部６により実行される、補正係数算出処理の動作フローチャートを示す。なお、この補正係数算出処理は、ユーザインターフェース５を介した操作により、撮像装置１がメンテナンスモードに設定されている場合に実行される。
制御部６は、撮像装置１がメンテナンスモードに設定されている場合に撮影された画像をイメージセンサ３から取得し、その画像を基準画像とする（ステップＳ１０１）。そして制御部６は、基準画像を補正領域決定部６１へ渡す。
【００３７】
補正領域決定部６１は基準画像上で補正領域を設定する（ステップＳ１０２）。そして補正領域決定部６１は、補正領域を表す情報を制御部６へ戻す。
制御部６は補正領域が有るか否か判定する（ステップＳ１０３）。補正領域が無い場合（ステップＳ１０３−Ｎｏ）、制御部６は、補正係数を設定せずに補正係数算出処理を終了する。
一方、補正領域が有る場合（ステップＳ１０３−Ｙｅｓ）、制御部６は基準画像及び補正領域を表す情報を基準値計算部６２へ渡す。そして基準値計算部６２は、補正領域内の各画素について色成分ごとの基準値を算出する（ステップＳ１０４）。そして基準値計算部６２は、各画素の色成分ごとの基準値を制御部６に戻す。そして制御部６は、基準画像、補正領域を表す情報及び補正領域内の各画素の色成分ごとの基準値を補正係数算出部６３へ渡す。
【００３８】
補正係数算出部６３は、補正領域内の各画素について色成分ごとに、基準値Sa(x,y)と基準画像のその画素の色成分値Ba(x,y)との比(Sa(x,y)/Ba(x,y))を補正係数Ca(x,y)として算出する（ステップＳ１０５）。そして補正係数算出部６３は、補正領域内の各画素の色成分ごとの補正係数Ca(x,y)及び補正領域を表す情報を補正係数記憶部６４に記憶させる（ステップＳ１０６）。
その後、制御部６は、補正係数算出処理を終了する。
【００３９】
図８は、制御部６により実行される、画像補正処理の動作フローチャートを示す。なお、この画像補正処理は、ユーザインターフェース５を介した操作により撮像装置１が撮影モードに設定されている場合において、制御部６がイメージセンサ３から画像を受け取る度に実行される。
制御部６は、イメージセンサ３から原画像を取得する（ステップＳ２０１）。そして制御部６は、その原画像を補正部６５へ渡す。
補正部６５は、補正係数記憶部６４から補正領域を表す情報及び補正領域内の各画素の色成分ごとの補正係数を読み込む（ステップＳ２０２）。そして補正部６５は、原画像の補正領域内の各画素について色成分ごとに、対応する補正係数を乗じることにより補正画像を算出する（ステップＳ２０３）。
制御部６は、補正画像をメモリ４に記憶させる（ステップＳ２０４）。
その後、制御部６は、画像補正処理を終了する。なお、制御部６は、ステップＳ２０１の処理とステップＳ２０２の処理の実行順序を入れ替えてもよい。
【００４０】
図９（ａ）は、原画像の一例を示す図であり、図９（ｂ）は、図９（ａ）に示された原画像に対応する補正画像の一例を示す図である。図９（ａ）に示された原画像９００の中央付近には、付着物による影響を受けた領域９０１が存在する。そして領域９０１内の輝度は、領域９０１の周囲の輝度よりも低下している。また、領域９０１内の色調も、領域９０１の周囲の色調と異なっている。この領域９０１が補正領域として設定される。
一方、図９（ｂ）に示された補正画像９１０では、領域９０１の輝度もその周囲の輝度と同程度になっており、かつ、領域９０１内の色調もその周囲の色調と同様となっている。
【００４１】
以上に説明してきたように、この画像処理装置は、撮像装置が有する撮像光学系とイメージセンサ間の光路内に付着物が存在しても、その付着物による画像上での輝度変化及び色調変化を補正することができる。
【００４２】
なお、本発明は上記の実施形態に限定されるものではない。例えば、制御部は、基準画像から所定のピッチで画素を間引いて縮小基準画像を作成してもよい。そして補正領域決定部は、その縮小基準画像に基づいて補正領域を決定してもよい。また、基準値算出部及び補正係数算出部は、それぞれ、縮小基準画像における補正領域内の各画素の色成分ごとの基準値及び補正係数を算出してもよい。これにより、補正係数記憶部のメモリ容量は、基準画像そのものに基づいて補正係数が決定される場合における補正係数記憶部のメモリ容量よりも少なくてよい。
この場合、補正部は、原画像上の着目画素と対応する縮小基準画像上の画素が存在しない場合、その着目画素の補正係数を、その着目画素周囲の縮小基準画像上の画素に対する補正係数を用いて線形補間または３次スプライン補間することにより算出する。
また、補正係数記憶部は、画像に含まれる全ての画素についての補正係数を記憶してもよい。この場合、補正領域以外の画素についての補正係数は、全ての色成分について'1'となる。そして補正部は、原画像に含まれる全ての画素について各色成分値に対応する補正係数を乗じる。これにより、補正部は、原画像の各画素について補正領域に含まれるか否かの判定を行わなくてよい。
【００４３】
また、他の実施形態によれば、画像処理装置は、撮像装置とは別個に設けられてもよい。例えば、画像処理装置は、撮像装置と通信ネットワークを介して接続可能な他のコンピュータあるいはサーバに実装されていてもよい。この場合、撮像装置は、基準画像を、撮像装置の識別コードとともに通信ネットワークを介して画像処理装置へ転送する。そして画像処理装置は、補正領域及び補正領域内の各画素の色成分ごとの補正係数を、撮像装置の識別コードとともに記憶する。そして撮像装置は、撮影モードにおいて生成した画像を、撮像装置の識別コードとともに通信ネットワークを介して画像処理装置へ転送する。画像処理装置は、受信した識別コードに応じた補正係数を用いて、受信した画像に対して画像補正処理を実行する。
【００４４】
また、図７に示された補正係数算出処理をプロセッサに実行させるコンピュータプログラムは、記録媒体に記録された形で提供されてもよい。同様に、図８に示された画像補正処理をプロセッサに実行させるコンピュータプログラムは、記録媒体に記録された形で提供されてもよい。
【００４５】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００４６】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
イメージセンサにより生成された、撮像光学系により該イメージセンサ上に結像された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶する記憶部と、
前記撮像光学系により前記イメージセンサ上に結像された物体の像の画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する補正部と、
を有する画像処理装置。
（付記２）
前記記憶部は、前記少なくとも一つの画素を含む領域を表す情報と、該領域に含まれる画素の色成分ごとの前記補正係数を記憶し、
前記補正部は、前記領域に含まれる画素についてのみ、当該画素の色成分ごとに、対応する前記補正係数を乗じる、付記１に記載の画像処理装置。
（付記３）
前記基準画像から前記領域を検出する補正領域決定部と、
色成分ごとに、前記基準画像の前記領域以外に含まれる画素の色成分値を用いて、前記付着物による影響が無い場合の前記領域内の各画素の当該色成分の推定値を算出する基準値計算部と、
前記領域内の各画素について、色成分ごとに前記基準画像の当該画素の色成分に対する当該色成分の前記推定値の比を算出し、当該比を当該色成分についての前記補正係数として前記記憶部に記憶させる補正係数算出部と、
をさらに有する付記２に記載の画像処理装置。
（付記４）
光路を規定する撮像光学系と、
前記撮像光学系により結像された物体の像の画像を生成するイメージセンサと、
前記イメージセンサにより生成された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶する記憶部と、
前記撮像光学系により前記イメージセンサ上に結像された物体の像の画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する補正部と、
を有する撮像装置。
（付記５）
イメージセンサから撮像光学系により該イメージセンサ上に結像された物体の像の画像を取得し、
前記イメージセンサにより生成された、前記撮像光学系により該イメージセンサ上に結像された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶部から読み出し、
前記画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する、
ことを含む画像処理方法。
（付記６）
イメージセンサにより生成された、撮像光学系により該イメージセンサ上に結像された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶部から読み出し、
前記イメージセンサから前記撮像光学系により該イメージセンサ上に結像された物体の像の画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する、
ことをコンピュータに実行させる画像処理用コンピュータプログラム。
【符号の説明】
【００４７】
１ 撮像装置
２ 撮像光学系
３ イメージセンサ
４ メモリ
５ ユーザインターフェース
６ 制御部
６１ 補正領域決定部
６２ 基準値計算部
６３ 補正係数算出部
６４ 補正係数記憶部
６５ 補正部
【特許請求の範囲】
【請求項１】
イメージセンサにより生成された、撮像光学系により該イメージセンサ上に結像された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶する記憶部と、
前記撮像光学系により前記イメージセンサ上に結像された物体の像の画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する補正部と、
を有する画像処理装置。
【請求項２】
前記記憶部は、前記少なくとも一つの画素を含む領域を表す情報と、該領域に含まれる画素の色成分ごとの前記補正係数を記憶し、
前記補正部は、前記領域に含まれる画素についてのみ、当該画素の色成分ごとに、対応する前記補正係数を乗じる、請求項１に記載の画像処理装置。
【請求項３】
光路を規定する撮像光学系と、
前記撮像光学系により結像された物体の像の画像を生成するイメージセンサと、
前記イメージセンサにより生成された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶する記憶部と、
前記撮像光学系により前記イメージセンサ上に結像された物体の像の画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する補正部と、
を有する撮像装置。
【請求項４】
イメージセンサから撮像光学系により該イメージセンサ上に結像された物体の像の画像を取得し、
前記イメージセンサにより生成された、前記撮像光学系により該イメージセンサ上に結像された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶部から読み出し、
前記画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する、
ことを含む画像処理方法。
【請求項５】
イメージセンサにより生成された、撮像光学系により該イメージセンサ上に結像された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶部から読み出し、
前記イメージセンサから前記撮像光学系により該イメージセンサ上に結像された物体の像の画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する、
ことをコンピュータに実行させる画像処理用コンピュータプログラム。
【請求項１】
イメージセンサにより生成された、撮像光学系により該イメージセンサ上に結像された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶する記憶部と、
前記撮像光学系により前記イメージセンサ上に結像された物体の像の画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する補正部と、
を有する画像処理装置。
【請求項２】
前記記憶部は、前記少なくとも一つの画素を含む領域を表す情報と、該領域に含まれる画素の色成分ごとの前記補正係数を記憶し、
前記補正部は、前記領域に含まれる画素についてのみ、当該画素の色成分ごとに、対応する前記補正係数を乗じる、請求項１に記載の画像処理装置。
【請求項３】
光路を規定する撮像光学系と、
前記撮像光学系により結像された物体の像の画像を生成するイメージセンサと、
前記イメージセンサにより生成された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶する記憶部と、
前記撮像光学系により前記イメージセンサ上に結像された物体の像の画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する補正部と、
を有する撮像装置。
【請求項４】
イメージセンサから撮像光学系により該イメージセンサ上に結像された物体の像の画像を取得し、
前記イメージセンサにより生成された、前記撮像光学系により該イメージセンサ上に結像された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶部から読み出し、
前記画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する、
ことを含む画像処理方法。
【請求項５】
イメージセンサにより生成された、撮像光学系により該イメージセンサ上に結像された基準物体の像の基準画像において、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される少なくとも一つの画素の色成分ごとの当該影響を打ち消す補正係数を記憶部から読み出し、
前記イメージセンサから前記撮像光学系により該イメージセンサ上に結像された物体の像の画像における前記少なくとも一つの画素の色成分ごとに、対応する前記補正係数を乗じることにより補正画像を生成する、
ことをコンピュータに実行させる画像処理用コンピュータプログラム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図９】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図９】
【公開番号】特開２０１１−２３４１７２（Ｐ２０１１−２３４１７２Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０３２５２（Ｐ２０１０−１０３２５２）
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]