画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
【課題】任意の焦点位置でのリフォーカス画像を生成するための画像信号に欠陥画素補正を行うことができる画像処理装置を提供すること。
【解決手段】撮影レンズの瞳分割領域に対応した被写体光の進行方向の情報が得られる撮像光学系を用いて撮像素子から取得される画像信号に適用される画像処理装置であって、リフォーカス画像を生成する焦点位置を設定する手段と、撮像素子の欠陥画素の画像信号を他の画素の画像信号を用いて補正する手段とを備え、設定された焦点位置と被写体光の進行方向の情報に基づいて、欠陥画素の画像信号の補正に使用する他の画素を決定する。
【解決手段】撮影レンズの瞳分割領域に対応した被写体光の進行方向の情報が得られる撮像光学系を用いて撮像素子から取得される画像信号に適用される画像処理装置であって、リフォーカス画像を生成する焦点位置を設定する手段と、撮像素子の欠陥画素の画像信号を他の画素の画像信号を用いて補正する手段とを備え、設定された焦点位置と被写体光の進行方向の情報に基づいて、欠陥画素の画像信号の補正に使用する他の画素を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロレンズアレイを有する撮像素子用いた撮像装置で使用される画像処理装置に関し、特に欠陥画素の補正処置を行なう画像処理装置およびそれを有する撮像装置に関する。
【背景技術】
【０００２】
近年、光の強度分布に加えて、光の進行方向の情報も含むようにして取得した撮像データから、ユーザが指定した任意の焦点位置における画像を再構築できる機能を有するカメラが提案されている。例えば、非特許文献１では、「Light Field Photography」と呼ばれる手法を用いて上記機能を実現するライトフィールドカメラが提案されている。非特許文献１では、撮影レンズと撮像素子の間にマイクロレンズアレイを配置し、撮影レンズの異なる瞳領域を通過した光が各マイクロレンズに収束するように構成された光学系を用いている。そして、１つのマイクロレンズに対して複数の画素からなる画素ブロックが割り当てられており、マイクロレンズに収束した光は対応するブロック内の異なる画素によって入射方向別に光電変換される。こうして取得した画像信号から、仮想の像面（リフォーカス面）で結像して各マイクロレンズに入射した光線に対応する画像信号を集めてくることで、任意の焦点位置における画像を再構築できる。
【０００３】
ところで、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの固体撮像素子では、半導体基板上に存在する局所的な結晶欠陥などにより欠陥画素が発生することがある。こういった欠陥画素からは正しい光電変換出力が得られないため、欠陥画素の撮像信号を補正する必要がある。
【０００４】
従来、欠陥画素の撮像信号を補正する方法としては、欠陥画素の画素値を、欠陥画素に隣接する画素の画素値と置き換える方法や、欠陥画素に隣接する複数の画素の画素値の平均値と置き換える方法などがある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に記載されているようなライトフィールドカメラでは、リフォーカス面で結像した複数の光線は複数の画素に別々に受光されている。さらに、リフォーカス面の位置がマイクロレンズアレイの位置から離れるほど、前記複数の光線はより離れた位置にある画素にそれぞれ受光されている。
【０００７】
そのため、従来のように欠陥画素の画素値を光電変換素子上で隣接する画素の画素値を使って補正する方法では、必ずしも好適な補正ができないという問題があった。
【０００８】
そこで本発明の目的は、光の進行方向の情報を含むようにして取得した撮像信号に対して、常に適切な欠陥画素の補正処理を施すことが可能な画像処理装置を提供することである。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、本発明の画像処理装置は、撮影レンズの瞳分割領域に対応した被写体光の進行方向の情報が得られる撮像光学系を用いて撮像素子から取得される画像信号に適用される画像処理装置であって、撮像素子から取得される画像信号を用いて被写体の画像を再構築する仮想像面の位置を設定する仮想像面位置設定手段と、撮像素子の欠陥画素の画像信号を撮像素子の他の画素の画像信号を用いて補正する補正手段とを備え、補正手段は、仮想像面位置設定手段によって設定された仮想像面の位置と被写体光の進行方向情報に基づいて、欠陥画素の画像信号の補正に使用する他の画素を決定する。
【発明の効果】
【００１０】
本発明によれば、リフォーカス画像を生成するための撮像画像に対して適切な欠陥画素補正を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置全体のブロック図。
【図２】本発明の実施形態に係る撮像素子の画素配列とマイクロレンズアレイの構成の概念図。
【図３】本発明の実施形態に係る撮影レンズ、マイクロレンズアレイ、画素配列の構成の概念図。
【図４】撮影レンズの瞳分割領域、マイクロレンズおよび画素配列の対応関係を示す図。
【図５】リフォーカス面上のある画素を通過する光束と、撮影レンズの瞳分割領域およびマイクロレンズとの位置関係を示す図。
【図６】本発明の実施形態に係る撮像装置の画像処理部のブロック図。
【図７】本発明の実施形態に係る欠陥補正動作のフローチャートを示す図。
【図８】撮影レンズの瞳分割領域から出射されてマイクロレンズに入射する光束とリフォーカス面上の通過位置との関係を示す図。
【図９】撮影レンズの各分割瞳領域から出射された後、マイクロレンズアレイを通過して撮像素子の各画素に入射する光束の概念図。
【図１０】欠陥画素とその補正用画素として選択される画素の例を示す図。
【図１１】画素配列内の位置に応じた重み付け係数の例を示す図。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１３】
図１は本発明の実施形態に係る撮像装置全体のブロック図である。図において、１０１は撮影レンズであり、撮影レンズ１０１を通過した被写体光は撮影レンズ１０１の焦点位置の近傍に像を形成する。１０２はマイクロレンズアレイであり、複数のマイクロレンズ１１３で構成され、撮影レンズとともに撮像光学系を構成する。マイクロレンズアレイ１０２は撮影レンズ１０１の焦点位置近傍に配置される。撮影レンズ１０１の異なる瞳領域を通過した光はマイクロレンズアレイ１０２に入射して瞳分割領域ごとに分離して出射される。１０３は撮像素子であり、マイクロレンズアレイ１０２によって分離して出射された光が入射する。撮像素子１０３は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いて構成され、マイクロレンズアレイ１０２の焦点位置付近に配置される。
【００１４】
１０４はアナログフロントエンド（ＡＦＥ）であり、撮像素子１０３からの画像信号に対して基準レベルの調整（クランプ処理）やアナログデジタル変換処理等を行う。１０５はデジタルフロントエンド（ＤＦＥ）であり、ＡＦＥ１０４から出力されたデジタル画像信号に対して、微小な基準レベルのずれ等のデジタル補正処理を行なう。１０６は画像処理部であり、ＤＦＥ１０５からのデジタル画像信号に対して所定の画像処理を施し、画像データを生成、出力する。記憶部１０７は欠陥画素情報（座標等）等を保持しておくための不揮発性メモリで構成されている。１０８は制御部であり、撮像装置全体を統括的に制御し、周知のＣＰＵなどを内蔵し、図示しないメモリに記憶されたプログラムをロードして実行することにより各部の動作および各種処理の実行を制御する。１０９は操作部であり、デジタルカメラにある操作部材の操作を電気的に受け付ける構成を有する。ユーザーは操作部１０９を使ってリフォーカス画像を生成するための任意のリフォーカス(仮想像)面位置を設定できるようになっている（仮想像面位置設定手段）。なお、このリフォーカス面位置の設定は、制御部１０８がカメラパラメータ等を用いて自動で設定するようにしてもよい
１１０は画像等を表示するための表示部である。１１１はメモリカードやハードディスクなどの記録媒体である。１１２はタイミング発生回路（ＴＧ）であり、撮像素子１０３を駆動するための各種タイミング信号を生成する。
【００１５】
なお、本実施例の画像処理部１０６は、図６に示すように欠陥補正部６０１と再構築部６０２を有している。欠陥補正部６０１は撮像データの欠陥画素の補正処理を行う。本発明はこの欠陥補正部に特徴を有しており、この詳細については後述する。また、図６の再構築部６０２では「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いた演算処理を行うことにより、撮像データから、設定した焦点位置（リフォーカス面）に画像を再構築するようになっている。なお、この再構築部６０２の詳細についても後述する。
【００１６】
次に、本実施例の撮像装置に含まれる撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成について説明する。
【００１７】
図２は、撮像素子１０３とマイクロレンズアレイ１０２の構成を説明するための概念図である。同図は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚの方向から観察した場合の両者の配置関係を示す概念図である。複数の画素２０１（以下、単に画素と記す）に対して１つのマイクロレンズ１１３が対応するように配置されている。1つのマイクロレンズ後方にある複数の画素２０１をまとめて画素配列２００と定義する。なお、本実施例では画素配列２００は、画素２０１が５行５列に計２５個が配列されたものとする。
【００１８】
図３は、撮影レンズ１０１から出射された光束が１つのマイクロレンズ１１３を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直な方向から観察した場合の概念図である。撮影レンズの各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１１３を通過した被写体光は、後方の対応する画素ｐ１〜ｐ５それぞれの受光面に結像する。即ち、異なる瞳分割領域ｐ１〜ｐ５から射出された光束は、一つのマイクロレンズ１１３を通過して異なる画素で光電変換されることにより、被写体光の進行方向の情報を有することになる。
【００１９】
図４（ａ）は撮影レンズの開口を光軸Ｚの方向から見たときの概念図である。図４（ｂ）は１つのマイクロレンズ１１３とその後方に配置された画素配列２００を光軸Ｚの方向から見たときの概念図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ下にある画素配列に含まれる画素と同数の領域に分割した場合、１つの画素には撮影レンズの１つの瞳分割領域からの光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１１３のＦナンバーがほぼ一致しているものとする。
【００２０】
図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は、光軸Ｚの方向から見て点対称となる。したがって、撮影レンズ１０１の瞳分割領域ａ１１から出射した光は、マイクロレンズ１１３の後方にある画素配列２００に含まれる画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ１１３を通過する光も、そのマイクロレンズ後方にある画素配列２００の中の画素ｐ１１に結像する。
【００２１】
次に、上記撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３からなる撮像系によって取得された撮像信号に対して、任意に設定した仮想像面（リフォーカス面）における画像の再構築処理について説明する。再構築処理は、図６に示す再構築部６０２において、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いて作成された制御プログラムに基づいて制御部１０８の制御の下で行なわれる。
【００２２】
図５は、任意に設定したリフォーカス面上のある画素を通過する光束が、撮影レンズ１０１のどの瞳分割領域から出射され、どのマイクロレンズ１１３へ入射するかを光軸Ｚに対して垂直な方向から見た場合の概念図である。同図において、撮影レンズ面上の瞳分割領域の位置の座標を（ｕ，ｖ）、リフォーカス面上の画素位置の座標を（ｘ，ｙ）、マイクロレンズのマイクロレンズアレイ面上の位置の座標を（ｘ’，ｙ’）とする。また、撮影レンズ面からマイクロレンズアレイ面までの距離をＦ、撮影レンズ面からリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザが任意に設定できる（α≠０）。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、それに垂直なｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光束は、マイクロレンズアレイ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（１）のように表すことができる。
【数１】
【００２３】
そして、この光束が受光される画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（２）のようになる。
【数２】
【００２４】
式（１）において、リフォーカス係数αはユーザによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光束の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２００から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。この出力をすべての瞳分割領域について取得し、取得した画素出力を式（２）に従って合計（積分）することでＥ（ｘ，ｙ）が算出できる。
なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば（離散値）、式（２）の積分は単純加算（Σ）により計算することができる。
【００２５】
以上のようにして式（２）の演算処理を行うことで、任意の焦点位置における画像を再構築することができる。
【００２６】
次に、本発明の特徴である欠陥補正部６０１における欠陥補正動作について説明する。本動作は、システムに記憶されたプログラムに従った制御部１０８による制御の下で実行される。
【００２７】
図７は、欠陥補正部６０１における欠陥補正動作のフローチャートを示す図である。欠陥補正部６０１は、撮像素子１０３の各画素から得られた画像信号について、画素が欠陥画素であるかどうかを判定しながら、欠陥画素である場合に素の画像信号を補正する。なお、欠陥補正部６０１に入力される画像信号は、予めメモリに記憶されている欠陥画素の座標情報などにより欠陥画素からの画像信号か正常画素からの画像信号かの区別がなされているものとする。
【００２８】
ステップＳ７０１では、操作部１０９などを介して設定された仮想像面の位置に基づいてリフォーカス係数αを取得する。
【００２９】
ステップＳ７０２では、入力された撮像データの中の画素が欠陥画素か正常画素かを判定する。画素が欠陥画素であれば、ステップＳ７０３へ移行し、正常画素であれば、ステップＳ７０６へ移行する。
【００３０】
ステップＳ７０３では、欠陥画素と判定された画素の補正値を作成するために、補正値生成に使用する画素の選択を行う。まず、欠陥画素がリフォーカス面上のどの座標での画像の再構築に使用されるかを求める。そして、求めたリフォーカス面上の座標での画像の再構築に使用される別の画素の座標を算出し、それらの画素から補正値の生成に使用する画素を選択する。
【００３１】
ステップＳ７０４ではＳ７０３で選択された補正値生成用画素からの画像信号を使用して欠陥画素を補正するための補正値を作成する。本実施例では、補正値生成用画素の算術平均を補正値とする。しかし、これに限らず、選択された補正値生成用画素の画素配列２００内の位置に応じて、図１１に示すような重み付け係数を用いた加重平均値を補正値にしてもよい。なお、図１１は、図４（ｂ）に示す画素配列２００に対応する重み付け係数の例である。図４（ｂ）において撮影レンズの有効な瞳領域以外の領域に対応する画素配列２００内の画素（例えば、ｐ１１、ｐ１５、ｐ５１、ｐ５５）の重み付け係数を小さく設定すれば、補正値生成の際にノイズの影響を少なくすることが可能となる。
【００３２】
ステップＳ７０５では、欠陥画素の出力をＳ７０４で算出した補正値に置き換えることで補正を行う。
【００３３】
ステップＳ７０６では、すべての画素についてＳ７０２〜７０５の処理を行なったかどうかを判定する。すべての画素について行なっていない場合は、Ｓ７０２に戻り、次の画素が欠陥画素かどうかを判定する。最終画素である場合は、欠陥補正動作を終了する。
次に、ステップＳ７０３における補正値を作成するために使用する画素の選択方法について詳しく述べる。
【００３４】
ここでは、マイクロレンズアレイ上の座標（ｘｋ’，ｙｋ’）にあるマイクロレンズに対応する画素配列２００に含まれる画素のうち、撮影レンズの瞳分割領域（ｕｋ，ｐｋ）に対応する画素が欠陥画素であるものとして説明する。
【００３５】
撮影レンズ面の瞳分割領域（ｕｋ，ｐｋ）から出射され、マイクロレンズアレイ面上の座標（ｘｋ’，ｙｋ’）にあるマイクロレンズに入射して欠陥画素に結像される光束が通過する仮想像面上の位置を（ｘｋ、ｙｋ）とする。まず、この座標（ｘｋ、ｙｋ）を算出する。
【００３６】
図８は、撮影レンズ面の瞳分割領域（ｕｋ，ｐｋ）から出射され、マイクロレンズアレイ面上の座標（ｘｋ’，ｙｋ’）にあるマイクロレンズに入射する光束が、リフォーカス面上のどの座標を通過するかを説明するための概念図である。同図でも図５と同様に、ｕ、ｘ、ｘ’の方向のみを示し、それに垂直なｖ、ｙ、ｙ’については省略する。
【００３７】
図８からわかるように、リフォーカス面上の光束が通過する座標（ｘｋ、ｙｋ）は式（３）のように表すことができる。
【数３】
【００３８】
したがって、式（３）に示すリフォーカス面上の同じ位置（ｘｋ，ｙｋ）を通過する各光束を受光する画素が、画像の再構築の際に欠陥画素とともに積分される画素である。これらの画素出力をＬ（ｘ’，ｙ’，ｕ，ｖ，）と表すと、Ｌ（ｘ’，ｙ’，ｕ，ｖ，）は式（１)を用いて式（４）のように表すことができる。
【数４】
【００３９】
ここで、（ｕ，ｖ）は欠陥画素に入射する瞳分割領域（ｕｋ，ｖｋ）以外の瞳分割領域の代表座標である。すなわち、式（２）の積分を単純加算により計算することとする。
【００４０】
例えば、欠陥画素とともに画像の再構築に使用される画素のうち、撮像素子上で欠陥画素に近い位置にある上下左右４画素の平均値から補正値を作成する。この場合、式（４）の（ｕ，ｖ）に対して、（ｕｋ＋ｄ，ｖｋ）、（ｕｋ−ｄ，ｖｋ）、（ｕｋ，ｖｋ＋ｄ）、（ｕｋ，ｖｋ−ｄ）のそれぞれを代入して得られる４つの画素出力から補正値を算出すればよい。
【００４１】
なお、ｄは撮影レンズの隣接する瞳分割領域の代表座標同士の間隔である。ここで、撮影レンズ１０１からマイクロレンズアレイ１０２までの距離をＦ、マイクロレンズアレイから撮像素子１０３までの距離をｆ、撮像素子の画素ピッチをｓとし、撮影レンズとマイクロレンズのＦナンバーが等しい場合、ｄは式（５）のようにすればよい。
【数５】
【００４２】
ところで、リフォーカス面をマイクロレンズアレイ面上に設定した場合、即ちα＝１の場合は、式(３)は演算不可能となる。この場合、撮影レンズの像はマイクロレンズにより対応する画素配列上に結像されるので、画素配列上で欠陥画素の隣接画素を補正値の計算方法に従って補正用画素として選ぶことが可能である。
【００４３】
上記の方法によって選択される補正値作成用の画素の例を図９および図１０に示す。
【００４４】
図９は、撮影レンズ１０１の各分割瞳領域から出射された光束が、マイクロレンズアレイ１０２を通過して撮像素子１０３の各画素に入射する様子を示す概念図である。図１０は、撮像素子１０３とマイクロレンズアレイ１０２を光軸の方向から見たときの概念図である。
【００４５】
図９（ａ）は、リフォーカス面をマイクロレンズアレイと同じ位置に設定した場合（α＝１）の光束を示す。この場合、リフォーカス面上の座標（ｘ，ｙ）における再構築画像の画素信号を生成するために使用する画素は、図１０（ａ）に画素Ａ、Ｂ、Ｃで示した画素となる。マイクロレンズアレイ上にリフォーカス面を設定した場合には、ある座標の再構築に使用される画素はすべて同じ画素配列内の画素となる。図１０において画素Ｂが欠陥画素であった場合、欠陥画素Ｂの補正値作成用の画素は欠陥画素Ｂに隣接する４つの画素Ｃとなる。そして、欠陥画素Ｂの出力を４つの画素Ｃの平均値で置き換えることで補正する。
【００４６】
他方、リフォーカス面をマイクロレンズアレイよりも撮影レンズ側に設定した場合（０＜α＜１）の光束は、図９（ｂ）に示すようになる。この場合、リフォーカス面上の座標（ｘ，ｙ）における再構築画像の画素信号を生成するために使用する画素は、例えば、図１０（ｂ）に画素Ａ、Ｂ、Ｃで示すような離れた位置にある画素となる。ここで、画素Ｂが欠陥画素であった場合、欠陥画素Ｂの補正値作成用に使用する画素は、画像の再構築に使用する画素のうち、欠陥画素Ｂに近い４つの画素Ｃとなる。そして、欠陥画素Ｂの出力を４つの画素Ｃの平均値で置き換えることで補正する。
【００４７】
図９および図１０に示すように、同じ位置の欠陥画素の補正であっても、設定した仮想像面の位置によって欠陥画素を補正するために使用する画素が異なってくる。本件発明はこのような状況に対応して、適切な欠陥画素の補正を行なうことを可能とする。
【００４８】
また、上記欠陥補正処理は再構築部６０２の中で行う構成にしてもよい。つまり、再構築部６０２で式（２）に示す再構築処理を順次行い、画像の再構築に使用される画素の中に欠陥があった場合に、式（４）で表される画素値から補正値を作成するようにすればよい。
【００４９】
以上説明したように、本実施例では、まず、欠陥画素がリフォーカス面上のどの座標の再構築に使用されるかを求める。そして、求めたリフォーカス面上の座標での画像の再構築に使用される他の画素の座標を算出し、算出された座標の画素の出力値から補正値を作成する。こうすることで、リフォーカス画像を再構築するための撮像画像に対して、欠陥画素の補正を適切に行なうことが可能となる。
【００５０】
なお、システム制御部１０８の制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。また、上述した実施例では撮像装置を例に本件発明を説明したが、本件発明はＰＣ等の処理装置において記録媒体などから提供される画像信号の処理に適応できることも明らかである。
【００５１】
前述した本発明の実施形態における撮像装置を構成する各手段、並びに欠陥画素補正の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００５２】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５３】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図７に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００５４】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００５５】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００５６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【００５７】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００５８】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００５９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６０】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【００６１】
なお、上記実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【技術分野】
【０００１】
本発明は、マイクロレンズアレイを有する撮像素子用いた撮像装置で使用される画像処理装置に関し、特に欠陥画素の補正処置を行なう画像処理装置およびそれを有する撮像装置に関する。
【背景技術】
【０００２】
近年、光の強度分布に加えて、光の進行方向の情報も含むようにして取得した撮像データから、ユーザが指定した任意の焦点位置における画像を再構築できる機能を有するカメラが提案されている。例えば、非特許文献１では、「Light Field Photography」と呼ばれる手法を用いて上記機能を実現するライトフィールドカメラが提案されている。非特許文献１では、撮影レンズと撮像素子の間にマイクロレンズアレイを配置し、撮影レンズの異なる瞳領域を通過した光が各マイクロレンズに収束するように構成された光学系を用いている。そして、１つのマイクロレンズに対して複数の画素からなる画素ブロックが割り当てられており、マイクロレンズに収束した光は対応するブロック内の異なる画素によって入射方向別に光電変換される。こうして取得した画像信号から、仮想の像面（リフォーカス面）で結像して各マイクロレンズに入射した光線に対応する画像信号を集めてくることで、任意の焦点位置における画像を再構築できる。
【０００３】
ところで、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの固体撮像素子では、半導体基板上に存在する局所的な結晶欠陥などにより欠陥画素が発生することがある。こういった欠陥画素からは正しい光電変換出力が得られないため、欠陥画素の撮像信号を補正する必要がある。
【０００４】
従来、欠陥画素の撮像信号を補正する方法としては、欠陥画素の画素値を、欠陥画素に隣接する画素の画素値と置き換える方法や、欠陥画素に隣接する複数の画素の画素値の平均値と置き換える方法などがある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に記載されているようなライトフィールドカメラでは、リフォーカス面で結像した複数の光線は複数の画素に別々に受光されている。さらに、リフォーカス面の位置がマイクロレンズアレイの位置から離れるほど、前記複数の光線はより離れた位置にある画素にそれぞれ受光されている。
【０００７】
そのため、従来のように欠陥画素の画素値を光電変換素子上で隣接する画素の画素値を使って補正する方法では、必ずしも好適な補正ができないという問題があった。
【０００８】
そこで本発明の目的は、光の進行方向の情報を含むようにして取得した撮像信号に対して、常に適切な欠陥画素の補正処理を施すことが可能な画像処理装置を提供することである。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、本発明の画像処理装置は、撮影レンズの瞳分割領域に対応した被写体光の進行方向の情報が得られる撮像光学系を用いて撮像素子から取得される画像信号に適用される画像処理装置であって、撮像素子から取得される画像信号を用いて被写体の画像を再構築する仮想像面の位置を設定する仮想像面位置設定手段と、撮像素子の欠陥画素の画像信号を撮像素子の他の画素の画像信号を用いて補正する補正手段とを備え、補正手段は、仮想像面位置設定手段によって設定された仮想像面の位置と被写体光の進行方向情報に基づいて、欠陥画素の画像信号の補正に使用する他の画素を決定する。
【発明の効果】
【００１０】
本発明によれば、リフォーカス画像を生成するための撮像画像に対して適切な欠陥画素補正を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置全体のブロック図。
【図２】本発明の実施形態に係る撮像素子の画素配列とマイクロレンズアレイの構成の概念図。
【図３】本発明の実施形態に係る撮影レンズ、マイクロレンズアレイ、画素配列の構成の概念図。
【図４】撮影レンズの瞳分割領域、マイクロレンズおよび画素配列の対応関係を示す図。
【図５】リフォーカス面上のある画素を通過する光束と、撮影レンズの瞳分割領域およびマイクロレンズとの位置関係を示す図。
【図６】本発明の実施形態に係る撮像装置の画像処理部のブロック図。
【図７】本発明の実施形態に係る欠陥補正動作のフローチャートを示す図。
【図８】撮影レンズの瞳分割領域から出射されてマイクロレンズに入射する光束とリフォーカス面上の通過位置との関係を示す図。
【図９】撮影レンズの各分割瞳領域から出射された後、マイクロレンズアレイを通過して撮像素子の各画素に入射する光束の概念図。
【図１０】欠陥画素とその補正用画素として選択される画素の例を示す図。
【図１１】画素配列内の位置に応じた重み付け係数の例を示す図。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１３】
図１は本発明の実施形態に係る撮像装置全体のブロック図である。図において、１０１は撮影レンズであり、撮影レンズ１０１を通過した被写体光は撮影レンズ１０１の焦点位置の近傍に像を形成する。１０２はマイクロレンズアレイであり、複数のマイクロレンズ１１３で構成され、撮影レンズとともに撮像光学系を構成する。マイクロレンズアレイ１０２は撮影レンズ１０１の焦点位置近傍に配置される。撮影レンズ１０１の異なる瞳領域を通過した光はマイクロレンズアレイ１０２に入射して瞳分割領域ごとに分離して出射される。１０３は撮像素子であり、マイクロレンズアレイ１０２によって分離して出射された光が入射する。撮像素子１０３は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いて構成され、マイクロレンズアレイ１０２の焦点位置付近に配置される。
【００１４】
１０４はアナログフロントエンド（ＡＦＥ）であり、撮像素子１０３からの画像信号に対して基準レベルの調整（クランプ処理）やアナログデジタル変換処理等を行う。１０５はデジタルフロントエンド（ＤＦＥ）であり、ＡＦＥ１０４から出力されたデジタル画像信号に対して、微小な基準レベルのずれ等のデジタル補正処理を行なう。１０６は画像処理部であり、ＤＦＥ１０５からのデジタル画像信号に対して所定の画像処理を施し、画像データを生成、出力する。記憶部１０７は欠陥画素情報（座標等）等を保持しておくための不揮発性メモリで構成されている。１０８は制御部であり、撮像装置全体を統括的に制御し、周知のＣＰＵなどを内蔵し、図示しないメモリに記憶されたプログラムをロードして実行することにより各部の動作および各種処理の実行を制御する。１０９は操作部であり、デジタルカメラにある操作部材の操作を電気的に受け付ける構成を有する。ユーザーは操作部１０９を使ってリフォーカス画像を生成するための任意のリフォーカス(仮想像)面位置を設定できるようになっている（仮想像面位置設定手段）。なお、このリフォーカス面位置の設定は、制御部１０８がカメラパラメータ等を用いて自動で設定するようにしてもよい
１１０は画像等を表示するための表示部である。１１１はメモリカードやハードディスクなどの記録媒体である。１１２はタイミング発生回路（ＴＧ）であり、撮像素子１０３を駆動するための各種タイミング信号を生成する。
【００１５】
なお、本実施例の画像処理部１０６は、図６に示すように欠陥補正部６０１と再構築部６０２を有している。欠陥補正部６０１は撮像データの欠陥画素の補正処理を行う。本発明はこの欠陥補正部に特徴を有しており、この詳細については後述する。また、図６の再構築部６０２では「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いた演算処理を行うことにより、撮像データから、設定した焦点位置（リフォーカス面）に画像を再構築するようになっている。なお、この再構築部６０２の詳細についても後述する。
【００１６】
次に、本実施例の撮像装置に含まれる撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成について説明する。
【００１７】
図２は、撮像素子１０３とマイクロレンズアレイ１０２の構成を説明するための概念図である。同図は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚの方向から観察した場合の両者の配置関係を示す概念図である。複数の画素２０１（以下、単に画素と記す）に対して１つのマイクロレンズ１１３が対応するように配置されている。1つのマイクロレンズ後方にある複数の画素２０１をまとめて画素配列２００と定義する。なお、本実施例では画素配列２００は、画素２０１が５行５列に計２５個が配列されたものとする。
【００１８】
図３は、撮影レンズ１０１から出射された光束が１つのマイクロレンズ１１３を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直な方向から観察した場合の概念図である。撮影レンズの各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１１３を通過した被写体光は、後方の対応する画素ｐ１〜ｐ５それぞれの受光面に結像する。即ち、異なる瞳分割領域ｐ１〜ｐ５から射出された光束は、一つのマイクロレンズ１１３を通過して異なる画素で光電変換されることにより、被写体光の進行方向の情報を有することになる。
【００１９】
図４（ａ）は撮影レンズの開口を光軸Ｚの方向から見たときの概念図である。図４（ｂ）は１つのマイクロレンズ１１３とその後方に配置された画素配列２００を光軸Ｚの方向から見たときの概念図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ下にある画素配列に含まれる画素と同数の領域に分割した場合、１つの画素には撮影レンズの１つの瞳分割領域からの光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１１３のＦナンバーがほぼ一致しているものとする。
【００２０】
図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は、光軸Ｚの方向から見て点対称となる。したがって、撮影レンズ１０１の瞳分割領域ａ１１から出射した光は、マイクロレンズ１１３の後方にある画素配列２００に含まれる画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ１１３を通過する光も、そのマイクロレンズ後方にある画素配列２００の中の画素ｐ１１に結像する。
【００２１】
次に、上記撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３からなる撮像系によって取得された撮像信号に対して、任意に設定した仮想像面（リフォーカス面）における画像の再構築処理について説明する。再構築処理は、図６に示す再構築部６０２において、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いて作成された制御プログラムに基づいて制御部１０８の制御の下で行なわれる。
【００２２】
図５は、任意に設定したリフォーカス面上のある画素を通過する光束が、撮影レンズ１０１のどの瞳分割領域から出射され、どのマイクロレンズ１１３へ入射するかを光軸Ｚに対して垂直な方向から見た場合の概念図である。同図において、撮影レンズ面上の瞳分割領域の位置の座標を（ｕ，ｖ）、リフォーカス面上の画素位置の座標を（ｘ，ｙ）、マイクロレンズのマイクロレンズアレイ面上の位置の座標を（ｘ’，ｙ’）とする。また、撮影レンズ面からマイクロレンズアレイ面までの距離をＦ、撮影レンズ面からリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザが任意に設定できる（α≠０）。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、それに垂直なｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光束は、マイクロレンズアレイ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（１）のように表すことができる。
【数１】
【００２３】
そして、この光束が受光される画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（２）のようになる。
【数２】
【００２４】
式（１）において、リフォーカス係数αはユーザによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光束の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２００から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。この出力をすべての瞳分割領域について取得し、取得した画素出力を式（２）に従って合計（積分）することでＥ（ｘ，ｙ）が算出できる。
なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば（離散値）、式（２）の積分は単純加算（Σ）により計算することができる。
【００２５】
以上のようにして式（２）の演算処理を行うことで、任意の焦点位置における画像を再構築することができる。
【００２６】
次に、本発明の特徴である欠陥補正部６０１における欠陥補正動作について説明する。本動作は、システムに記憶されたプログラムに従った制御部１０８による制御の下で実行される。
【００２７】
図７は、欠陥補正部６０１における欠陥補正動作のフローチャートを示す図である。欠陥補正部６０１は、撮像素子１０３の各画素から得られた画像信号について、画素が欠陥画素であるかどうかを判定しながら、欠陥画素である場合に素の画像信号を補正する。なお、欠陥補正部６０１に入力される画像信号は、予めメモリに記憶されている欠陥画素の座標情報などにより欠陥画素からの画像信号か正常画素からの画像信号かの区別がなされているものとする。
【００２８】
ステップＳ７０１では、操作部１０９などを介して設定された仮想像面の位置に基づいてリフォーカス係数αを取得する。
【００２９】
ステップＳ７０２では、入力された撮像データの中の画素が欠陥画素か正常画素かを判定する。画素が欠陥画素であれば、ステップＳ７０３へ移行し、正常画素であれば、ステップＳ７０６へ移行する。
【００３０】
ステップＳ７０３では、欠陥画素と判定された画素の補正値を作成するために、補正値生成に使用する画素の選択を行う。まず、欠陥画素がリフォーカス面上のどの座標での画像の再構築に使用されるかを求める。そして、求めたリフォーカス面上の座標での画像の再構築に使用される別の画素の座標を算出し、それらの画素から補正値の生成に使用する画素を選択する。
【００３１】
ステップＳ７０４ではＳ７０３で選択された補正値生成用画素からの画像信号を使用して欠陥画素を補正するための補正値を作成する。本実施例では、補正値生成用画素の算術平均を補正値とする。しかし、これに限らず、選択された補正値生成用画素の画素配列２００内の位置に応じて、図１１に示すような重み付け係数を用いた加重平均値を補正値にしてもよい。なお、図１１は、図４（ｂ）に示す画素配列２００に対応する重み付け係数の例である。図４（ｂ）において撮影レンズの有効な瞳領域以外の領域に対応する画素配列２００内の画素（例えば、ｐ１１、ｐ１５、ｐ５１、ｐ５５）の重み付け係数を小さく設定すれば、補正値生成の際にノイズの影響を少なくすることが可能となる。
【００３２】
ステップＳ７０５では、欠陥画素の出力をＳ７０４で算出した補正値に置き換えることで補正を行う。
【００３３】
ステップＳ７０６では、すべての画素についてＳ７０２〜７０５の処理を行なったかどうかを判定する。すべての画素について行なっていない場合は、Ｓ７０２に戻り、次の画素が欠陥画素かどうかを判定する。最終画素である場合は、欠陥補正動作を終了する。
次に、ステップＳ７０３における補正値を作成するために使用する画素の選択方法について詳しく述べる。
【００３４】
ここでは、マイクロレンズアレイ上の座標（ｘｋ’，ｙｋ’）にあるマイクロレンズに対応する画素配列２００に含まれる画素のうち、撮影レンズの瞳分割領域（ｕｋ，ｐｋ）に対応する画素が欠陥画素であるものとして説明する。
【００３５】
撮影レンズ面の瞳分割領域（ｕｋ，ｐｋ）から出射され、マイクロレンズアレイ面上の座標（ｘｋ’，ｙｋ’）にあるマイクロレンズに入射して欠陥画素に結像される光束が通過する仮想像面上の位置を（ｘｋ、ｙｋ）とする。まず、この座標（ｘｋ、ｙｋ）を算出する。
【００３６】
図８は、撮影レンズ面の瞳分割領域（ｕｋ，ｐｋ）から出射され、マイクロレンズアレイ面上の座標（ｘｋ’，ｙｋ’）にあるマイクロレンズに入射する光束が、リフォーカス面上のどの座標を通過するかを説明するための概念図である。同図でも図５と同様に、ｕ、ｘ、ｘ’の方向のみを示し、それに垂直なｖ、ｙ、ｙ’については省略する。
【００３７】
図８からわかるように、リフォーカス面上の光束が通過する座標（ｘｋ、ｙｋ）は式（３）のように表すことができる。
【数３】
【００３８】
したがって、式（３）に示すリフォーカス面上の同じ位置（ｘｋ，ｙｋ）を通過する各光束を受光する画素が、画像の再構築の際に欠陥画素とともに積分される画素である。これらの画素出力をＬ（ｘ’，ｙ’，ｕ，ｖ，）と表すと、Ｌ（ｘ’，ｙ’，ｕ，ｖ，）は式（１)を用いて式（４）のように表すことができる。
【数４】
【００３９】
ここで、（ｕ，ｖ）は欠陥画素に入射する瞳分割領域（ｕｋ，ｖｋ）以外の瞳分割領域の代表座標である。すなわち、式（２）の積分を単純加算により計算することとする。
【００４０】
例えば、欠陥画素とともに画像の再構築に使用される画素のうち、撮像素子上で欠陥画素に近い位置にある上下左右４画素の平均値から補正値を作成する。この場合、式（４）の（ｕ，ｖ）に対して、（ｕｋ＋ｄ，ｖｋ）、（ｕｋ−ｄ，ｖｋ）、（ｕｋ，ｖｋ＋ｄ）、（ｕｋ，ｖｋ−ｄ）のそれぞれを代入して得られる４つの画素出力から補正値を算出すればよい。
【００４１】
なお、ｄは撮影レンズの隣接する瞳分割領域の代表座標同士の間隔である。ここで、撮影レンズ１０１からマイクロレンズアレイ１０２までの距離をＦ、マイクロレンズアレイから撮像素子１０３までの距離をｆ、撮像素子の画素ピッチをｓとし、撮影レンズとマイクロレンズのＦナンバーが等しい場合、ｄは式（５）のようにすればよい。
【数５】
【００４２】
ところで、リフォーカス面をマイクロレンズアレイ面上に設定した場合、即ちα＝１の場合は、式(３)は演算不可能となる。この場合、撮影レンズの像はマイクロレンズにより対応する画素配列上に結像されるので、画素配列上で欠陥画素の隣接画素を補正値の計算方法に従って補正用画素として選ぶことが可能である。
【００４３】
上記の方法によって選択される補正値作成用の画素の例を図９および図１０に示す。
【００４４】
図９は、撮影レンズ１０１の各分割瞳領域から出射された光束が、マイクロレンズアレイ１０２を通過して撮像素子１０３の各画素に入射する様子を示す概念図である。図１０は、撮像素子１０３とマイクロレンズアレイ１０２を光軸の方向から見たときの概念図である。
【００４５】
図９（ａ）は、リフォーカス面をマイクロレンズアレイと同じ位置に設定した場合（α＝１）の光束を示す。この場合、リフォーカス面上の座標（ｘ，ｙ）における再構築画像の画素信号を生成するために使用する画素は、図１０（ａ）に画素Ａ、Ｂ、Ｃで示した画素となる。マイクロレンズアレイ上にリフォーカス面を設定した場合には、ある座標の再構築に使用される画素はすべて同じ画素配列内の画素となる。図１０において画素Ｂが欠陥画素であった場合、欠陥画素Ｂの補正値作成用の画素は欠陥画素Ｂに隣接する４つの画素Ｃとなる。そして、欠陥画素Ｂの出力を４つの画素Ｃの平均値で置き換えることで補正する。
【００４６】
他方、リフォーカス面をマイクロレンズアレイよりも撮影レンズ側に設定した場合（０＜α＜１）の光束は、図９（ｂ）に示すようになる。この場合、リフォーカス面上の座標（ｘ，ｙ）における再構築画像の画素信号を生成するために使用する画素は、例えば、図１０（ｂ）に画素Ａ、Ｂ、Ｃで示すような離れた位置にある画素となる。ここで、画素Ｂが欠陥画素であった場合、欠陥画素Ｂの補正値作成用に使用する画素は、画像の再構築に使用する画素のうち、欠陥画素Ｂに近い４つの画素Ｃとなる。そして、欠陥画素Ｂの出力を４つの画素Ｃの平均値で置き換えることで補正する。
【００４７】
図９および図１０に示すように、同じ位置の欠陥画素の補正であっても、設定した仮想像面の位置によって欠陥画素を補正するために使用する画素が異なってくる。本件発明はこのような状況に対応して、適切な欠陥画素の補正を行なうことを可能とする。
【００４８】
また、上記欠陥補正処理は再構築部６０２の中で行う構成にしてもよい。つまり、再構築部６０２で式（２）に示す再構築処理を順次行い、画像の再構築に使用される画素の中に欠陥があった場合に、式（４）で表される画素値から補正値を作成するようにすればよい。
【００４９】
以上説明したように、本実施例では、まず、欠陥画素がリフォーカス面上のどの座標の再構築に使用されるかを求める。そして、求めたリフォーカス面上の座標での画像の再構築に使用される他の画素の座標を算出し、算出された座標の画素の出力値から補正値を作成する。こうすることで、リフォーカス画像を再構築するための撮像画像に対して、欠陥画素の補正を適切に行なうことが可能となる。
【００５０】
なお、システム制御部１０８の制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。また、上述した実施例では撮像装置を例に本件発明を説明したが、本件発明はＰＣ等の処理装置において記録媒体などから提供される画像信号の処理に適応できることも明らかである。
【００５１】
前述した本発明の実施形態における撮像装置を構成する各手段、並びに欠陥画素補正の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００５２】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５３】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図７に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００５４】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００５５】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００５６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【００５７】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００５８】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００５９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６０】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【００６１】
なお、上記実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【特許請求の範囲】
【請求項１】
撮影レンズの瞳分割領域に対応した被写体光の進行方向の情報が得られる撮像光学系を用いて撮像素子から取得される画像信号に適用される画像処理装置であって、
前記撮像素子から取得される画像信号を用いて被写体の画像を再構築する仮想像面の位置を設定する仮想像面位置設定手段と、
前記撮像素子の欠陥画素の画像信号を前記撮像素子の他の画素の画像信号を用いて補正する補正手段とを備え、
前記補正手段は、前記仮想像面位置設定手段によって設定された前記仮想像面の位置と前記被写体光の進行方向の情報に基づいて、前記欠陥画素の画像信号の補正に使用する前記他の画素を決定することを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記欠陥画素に入射する被写体光が通過する前記仮想像面上の位置と同じ位置の進行方向の情報を有する被写体光が入射する画素から前記他の画素を選択し、当該選択された画素の画素信号を用いて前記欠陥画素の画像信号の補正値を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択される画素は、前記欠陥画素に入射する被写体光が通過する前記仮想像面上の位置と同じ位置の進行方向の情報を有する被写体光のうち、前記欠陥画素に入射する被写体光が射出される瞳分割領域に隣接する瞳分割領域からの被写体光が入射する画素であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記他の画素の画像信号の算術平均により前記欠陥画素の画像信号の補正値を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記補正手段は、前記瞳分割領域の位置に応じて対応する画素の画像信号に重み付けを用いた加重平均により前記欠陥画素の画像信号の補正値を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項６】
撮影レンズの瞳分割領域に対応した被写体光の進行方向の情報が得られる撮像光学系を用いて撮像素子から取得される画像信号に適用される画像処理装置の制御方法であって、
前記撮像素子から取得される画像信号を用いて被写体の画像を再構築する仮想像面の位置を設定する仮想像面位置設定ステップと、
前記撮像素子の欠陥画素の画像信号を前記撮像素子の他の画素の画像信号を用いて補正する補正ステップとを備え、
前記補正ステップは、前記仮想像面位置設定ステップで設定された前記仮想像面の位置と前記被写体光の進行方向の情報に基づいて、前記欠陥画素の画像信号の補正に使用する前記他の画素を決定することを特徴とする制御方法。
【請求項７】
コンピュータを、
撮影レンズの瞳分割領域に対応した被写体光の進行方向の情報が得られる撮像光学系を用いて撮像素子から取得される画像信号に適用される画像処理装置の制御方法において、
前記撮像素子から取得される画像信号を用いて被写体の画像を再構築する仮想像面の位置を設定する仮想像面位置設定手段と、
前記撮像素子の欠陥画素の画像信号を前記撮像素子の他の画素の画像信号を用いて補正する補正手段として機能させ、さらに前記補正手段を、前記仮想像面位置設定手段によって設定された仮想像面の位置と前記被写体光の進行方向の情報に基づいて、前記欠陥画素の画像信号の補正に使用する前記他の画素を決定手段として機能させるプログラム。
【請求項８】
請求項７のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項９】
コンピュータを、請求項１乃至５のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
【請求項１０】
撮影レンズの瞳分割領域に対応した被写体光の進行方向の情報が得られる撮像光学系と、前記撮像光学系により結像された被写体光を光電変換して画像信号を出力する撮像素子と、
請求項１乃至５のいずれか一項に記載の画像処理装置とを
備えることを特徴とする撮像装置。
【請求項１１】
前記撮像光学系は、前記撮影レンズと前記撮像素子との間に、前記瞳分割領域に対応したマイクロレンズアレイを備え、各マイクロレンズに対応する前記撮像素子の画素配列に含まれる各画素は前記撮影レンズの各瞳分割領域に対応すること特徴とする請求項１０に記載の撮像装置。
【請求項１】
撮影レンズの瞳分割領域に対応した被写体光の進行方向の情報が得られる撮像光学系を用いて撮像素子から取得される画像信号に適用される画像処理装置であって、
前記撮像素子から取得される画像信号を用いて被写体の画像を再構築する仮想像面の位置を設定する仮想像面位置設定手段と、
前記撮像素子の欠陥画素の画像信号を前記撮像素子の他の画素の画像信号を用いて補正する補正手段とを備え、
前記補正手段は、前記仮想像面位置設定手段によって設定された前記仮想像面の位置と前記被写体光の進行方向の情報に基づいて、前記欠陥画素の画像信号の補正に使用する前記他の画素を決定することを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記欠陥画素に入射する被写体光が通過する前記仮想像面上の位置と同じ位置の進行方向の情報を有する被写体光が入射する画素から前記他の画素を選択し、当該選択された画素の画素信号を用いて前記欠陥画素の画像信号の補正値を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択される画素は、前記欠陥画素に入射する被写体光が通過する前記仮想像面上の位置と同じ位置の進行方向の情報を有する被写体光のうち、前記欠陥画素に入射する被写体光が射出される瞳分割領域に隣接する瞳分割領域からの被写体光が入射する画素であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記他の画素の画像信号の算術平均により前記欠陥画素の画像信号の補正値を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記補正手段は、前記瞳分割領域の位置に応じて対応する画素の画像信号に重み付けを用いた加重平均により前記欠陥画素の画像信号の補正値を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項６】
撮影レンズの瞳分割領域に対応した被写体光の進行方向の情報が得られる撮像光学系を用いて撮像素子から取得される画像信号に適用される画像処理装置の制御方法であって、
前記撮像素子から取得される画像信号を用いて被写体の画像を再構築する仮想像面の位置を設定する仮想像面位置設定ステップと、
前記撮像素子の欠陥画素の画像信号を前記撮像素子の他の画素の画像信号を用いて補正する補正ステップとを備え、
前記補正ステップは、前記仮想像面位置設定ステップで設定された前記仮想像面の位置と前記被写体光の進行方向の情報に基づいて、前記欠陥画素の画像信号の補正に使用する前記他の画素を決定することを特徴とする制御方法。
【請求項７】
コンピュータを、
撮影レンズの瞳分割領域に対応した被写体光の進行方向の情報が得られる撮像光学系を用いて撮像素子から取得される画像信号に適用される画像処理装置の制御方法において、
前記撮像素子から取得される画像信号を用いて被写体の画像を再構築する仮想像面の位置を設定する仮想像面位置設定手段と、
前記撮像素子の欠陥画素の画像信号を前記撮像素子の他の画素の画像信号を用いて補正する補正手段として機能させ、さらに前記補正手段を、前記仮想像面位置設定手段によって設定された仮想像面の位置と前記被写体光の進行方向の情報に基づいて、前記欠陥画素の画像信号の補正に使用する前記他の画素を決定手段として機能させるプログラム。
【請求項８】
請求項７のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項９】
コンピュータを、請求項１乃至５のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
【請求項１０】
撮影レンズの瞳分割領域に対応した被写体光の進行方向の情報が得られる撮像光学系と、前記撮像光学系により結像された被写体光を光電変換して画像信号を出力する撮像素子と、
請求項１乃至５のいずれか一項に記載の画像処理装置とを
備えることを特徴とする撮像装置。
【請求項１１】
前記撮像光学系は、前記撮影レンズと前記撮像素子との間に、前記瞳分割領域に対応したマイクロレンズアレイを備え、各マイクロレンズに対応する前記撮像素子の画素配列に含まれる各画素は前記撮影レンズの各瞳分割領域に対応すること特徴とする請求項１０に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１１５７１７（Ｐ２０１３−１１５７１７Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２００７（Ｐ２０１１−２６２００７）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]