撮像モジュール及び撮像装置並びに撮像モジュールの信号処理方法
【課題】位相変調させて焦点深度が拡大された画像から高解像度の画像を高精度に復元することができ、かつ復元処理後の画像を既存の信号処理系にそのまま使用可能にする。
【解決手段】位相を変調させる光学フィルタを含むレンズ部10、撮像素子12及びAD変換部14を介して出力されるぼけ画像のデジタル画像信号を復元処理ブロック20により高解像度のデジタル画像信号に復元して出力する。この復元処理ブロック20は、黒レベルが減算されたデジタル画像信号に光学フィルタの位相変調分のデコンボリューション処理を掛け、これにより復元処理されたデジタル画像信号に黒レベルを加算して出力するようにしている。黒レベルが加算されたデジタル画像信号(RAWデータ)を出力することで、焦点深度拡大及び復元系を含まない撮像モジュールのRAWデータと同一にすることができ、撮像モジュール1に互換性をもたせることができる。
【解決手段】位相を変調させる光学フィルタを含むレンズ部10、撮像素子12及びAD変換部14を介して出力されるぼけ画像のデジタル画像信号を復元処理ブロック20により高解像度のデジタル画像信号に復元して出力する。この復元処理ブロック20は、黒レベルが減算されたデジタル画像信号に光学フィルタの位相変調分のデコンボリューション処理を掛け、これにより復元処理されたデジタル画像信号に黒レベルを加算して出力するようにしている。黒レベルが加算されたデジタル画像信号(RAWデータ)を出力することで、焦点深度拡大及び復元系を含まない撮像モジュールのRAWデータと同一にすることができ、撮像モジュール1に互換性をもたせることができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像モジュール及び撮像装置並びに撮像モジュールの信号処理方法に係り、特にメカ的に焦点調節を行う焦点調節機構を省略し、かつ高解像度の画像信号を得る技術に関する。
【背景技術】
【0002】
従来、撮影光学系の光路中に位相を変調させる位相板を挿入することにより焦点深度を拡大し、前記焦点深度の拡大によりぼけた画像(大きな点像)に、復元処理パラメータを有するカーネルによるデコンボリューション処理を掛けることより高解像度の画像(小さな点像)に復元するようにした撮像装置が提案されている(特許文献1)。
【0003】
特許文献2には、撮影光学系の特性データと撮像素子の出力信号に基づき、画像データの輝度/色分離処理、色変換処理を行う前に、画像データに対し撮像光学系による色収差や歪曲収差等の画質劣化を補正する処理を施す技術が開示されている。
【0004】
また、特許文献3には、信号の計測、観測、記録の過程、変化した観測信号を、変化する前の信号にする復元処理部を有し、この復元処理部により既知の変化関数を用いて1回または複数回変化させた変化信号に加工し、ノイズの影響を軽減する信号処理装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−94470号公報
【特許文献2】特開2002−199410号公報
【特許文献3】特開2008−118399号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、位相板を挿入することにより焦点深度が拡大された画像の復元処理に用いるデコンボリューション処理は、画素値にゲイン(復元処理パラメータ)をかけて畳み込み演算を行う処理であるため、処理対象の画像データに黒レベルが含まれていると、正確に復元できないという問題がある。
【0007】
特許文献1に記載の発明は、撮像素子から出力される生データに、復元処理パラメータを有する所定のカーネルによるデコンボリューション処理を掛けており、事前に黒レベルを減算する処理を行っていない。
【0008】
一方、特許文献2に記載の発明は、輝度/色分離処理、色変換処理の前に、被写体深度を拡張する復元処理を行っていない。
【0009】
また、特許文献3に記載の発明は、画像のぶれ情報、画像の焦点情報、光学情報等の元変化情報に基づいて変化前の信号に復元しているが、復元前に黒レベルを減算する処理を行っていないため、正確に復元することができず、また、被写体深度を拡張する復元処理も行っていない。
【0010】
本発明はこのような事情に鑑みてなされたもので、位相変調させて焦点深度が拡大された画像から高解像度の画像を高精度に復元することができ、かつ復元処理後の画像を既存の信号処理系にそのまま使用することができる互換性を有する撮像モジュール及び該撮像モジュールを備えた撮像装置並びに撮像モジュールの信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
前記目的を達成するために請求項1に係る撮像モジュールは、位相を変調させる光学フィルタを少なくとも1つ含むレンズ部と、前記レンズ部を透過した光学像が結像され、該光学像を電気信号に変換する撮像素子と、前記撮像素子から出力される電気信号を第1のデジタル画像信号に変換して出力するAD変換部と、復元処理ブロックと、を備え、前記復元処理ブロックは、前記AD変換部から第1のデジタル画像信号を入力し、該第1のデジタル画像信号から黒レベルを減算する黒レベル減算処理部と、前記黒レベルが減算された第1のデジタル画像信号に、前記光学フィルタの位相変調分のデコンボリューション処理を掛ける復元処理部と、前記復元処理された第1のデジタル画像信号に黒レベルを加算する黒レベル加算処理部と、からなり、前記復元処理ブロックにより復元処理された第1のデジタル画像信号を第2のデジタル画像信号として出力することを特徴としている。
【0012】
請求項1に係る復元処理ブロックは、黒レベルが減算された第1のデジタル画像信号に対して復元処理を行うことで高精度の復元を可能にしている。また、復元処理後の第1のデジタル画像信号に黒レベルを再度加算することで、黒レベルが加算された第1のデジタル画像信号(第2のデジタル画像信号)に対する後段の信号処理が、焦点深度拡大及び復元系を含まない画像信号に対する信号処理と同一にすることができ、撮像モジュールに互換性をもたせることができる。
【0013】
請求項2に示すように請求項1に記載の撮像モジュールにおいて、予め黒レベルを記憶するメモリ部を備え、前記黒レベル減算処理部は、前記第1のデジタル画像信号から前記メモリ部に記憶された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第1のデジタル画像信号に前記メモリ部に記憶された黒レベルを加算することを特徴としている。予め測定した黒レベルをメモリ部に記憶させておくことで、黒レベルの個体バラツキを吸収することができ、より高精度の復元処理が可能になる。
【0014】
請求項3に示すように請求項1に記載の撮像モジュールにおいて、前記AD変換部から出力される第1のデジタル画像信号のうちの前記撮像素子の遮光領域に対応する第1のデジタル信号に基づいて黒レベルを算出する黒レベル算出部を備え、前記黒レベル減算処理部は、前記第1のデジタル画像信号から前記黒レベル算出部により算出された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第1のデジタル画像信号に前記黒レベル算出部により算出された黒レベルを加算することを特徴としている。これにより、撮影毎の黒レベルのバラツキを吸収することができ、より高精度の復元処理が可能になる。
【0015】
請求項4に示すように請求項1に記載の撮像モジュールにおいて、予め黒レベルを記憶するメモリ部と、前記AD変換部から出力される第1のデジタル画像信号のうちの前記撮像素子の遮光領域に対応する第1のデジタル信号に基づいて黒レベルを算出する黒レベル算出部とを備え、前記黒レベル減算処理部は、前記第1のデジタル画像信号から前記黒レベル算出部により算出された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第1のデジタル画像信号に前記メモリ部に記憶された黒レベルを加算することを特徴としている。これにより、撮影毎の黒レベルのバラツキを吸収した復元処理を行うとともに、撮影毎の黒レベルを気にすることなく後段の信号処理に出力することができる。
【0016】
請求項5に示すように請求項1から4のいずれかに記載の撮像モジュールにおいて、前記復元処理ブロックは、前記黒レベル加算処理部により黒レベルが加算された第1のデジタル信号のうち、負になる第1のデジタル信号を0にクリップするクリップ処理部を更に備えたことを特徴としている。前記黒レベルが減算された第1のデジタル画像信号を復元処理することにより、その復元処理された第1のデジタル画像信号に黒レベルを加算した後も、負になる画像信号になる画素が発生する。この場合の画素のデジタル画像信号は、0にクリップされることで、後段の信号処理部に異常な値として入力されないように処理される。
【0017】
請求項6に示すように請求項1から5のいずれかに記載の撮像モジュールにおいて、前記復元処理ブロックは、前記黒レベル減算処理部により黒レベルが減算された第1のデジタル画像信号を、面内のシェーディング補正特性に応じてシェーディング補正するシェーディング補正部を更に備え、前記復元処理部は、前記シェーディング補正された第1のデジタル画像信号にデコンボリューション処理を掛けることを特徴としている。黒レベル減算後、復元処理前にレンズ部及び撮像素子に起因するシェーディング補正を実施することで、更に画質を高めることができる。
【0018】
請求項7に示すように請求項1から6のいずれかに記載の撮像モジュールにおいて、前記復元処理ブロックは、前記黒レベル減算処理部により黒レベルが減算された第1のデジタル画像信号に含まれる混色成分を補正する混色補正部を更に備え、前記復元処理部は、前記混色補正された第1のデジタル画像信号にデコンボリューション処理を掛けることを特徴としている。黒レベル減算後、復元処理前に撮像素子に起因する混色補正を実施することで、更に画質を高めることができる。
【0019】
請求項8に示すように請求項1から7のいずれかに記載の撮像モジュールにおいて、前記撮像素子は、画素毎に3原色の原色フィルタが所定のパターンで配列されたカラー撮像素子であり、前記復元処理ブロックにおける前記第1のデジタル画像信号に対する各処理は、3原色の色毎に行うことを特徴としている。これにより、フルカラーの第2のデジタル画像信号を出力することができるとともに、原色フィルタの配列に対応した点順次の第2のデジタル画像信号を出力することができる。
【0020】
請求項9に係る撮像装置は、請求項1から8のいずれかに記載の撮像モジュールと、前記撮像モジュールから出力される第2のデジタル画像信号を受入し、該第2のデジタル画像信号に対して信号処理を行うデジタル信号処理部と、前記デジタル信号処理部により処理された第2のデジタル画像信号を記録媒体に記録する記録手段と、を備えたことを特徴としている。前記デジタル信号処理部は、前記撮像モジュール専用のものに限らず、焦点深度拡大及び復元系を含まない画像信号に対するものと同一のものを使用することができる。
【0021】
請求項10に示すように請求項9に記載の撮像装置において、前記デジタル信号処理部は、黒レベルを含むデジタル画像信号に対して信号処理を行うことを特徴としている。前記撮像モジュールから出力される第2のデジタル画像信号は黒レベルを含むため、前記デジタル画像信号処理部は、適正な信号処理を行うことができる。
【0022】
請求項11に係る発明は、位相を変調させる光学フィルタを少なくとも1つ含むレンズ部と、前記レンズ部を透過した光学像が結像され、該光学像を電気信号に変換する撮像素子と、前記撮像素子から出力される電気信号を第1のデジタル画像信号に変換して出力するAD変換部と、復元ブロックとを備えた撮像モジュールの信号処理方法において、前記復元処理ブロックは、前記AD変換部から第1のデジタル画像信号を入力し、該第1のデジタル画像信号から黒レベルを減算する黒レベル減算処理工程と、前記黒レベルが減算された第1のデジタル画像信号に、前記光学フィルタの位相変調分のデコンボリューション処理を掛ける復元処理工程と、前記復元処理された第1のデジタル画像信号に黒レベルを加算する黒レベル加算処理工程と、を含み、前記復元処理ブロックにより復元処理された第1のデジタル画像信号を第2のデジタル画像信号として出力することを特徴としている。
【発明の効果】
【0023】
本発明によれば、位相変調させて焦点深度が拡大された画像信号から高解像度の画像信号を復元する際に、黒レベルが減算された画像信号に対して復元処理を行うようにしたため、高精度の復元を実現することができ、また、復元処理後の画像信号に黒レベルを再度加算することにより、後段の信号処理が焦点深度拡大及び復元系を含まない画像信号に対する信号処理部と同一にすることができ、撮像モジュールに互換性をもたせることができる。
【図面の簡単な説明】
【0024】
【図1】本発明に係る撮像モジュールの第1の実施形態を示すブロック図
【図2】レンズ部の光学系の一例を示す図
【図3】第1の実施形態の復元処理ブロックによる復元処理を示すフローチャート
【図4】復元処理部でのデコンボリューション処理により復元される点像の様子を示す図
【図5】第1の実施形態の変形例の復元処理ブロックによる復元処理を示すフローチャート
【図6】本発明に係る撮像モジュールの第2の実施形態を示すブロック図
【図7】第2の実施形態の復元処理ブロックによる復元処理を示すフローチャート
【図8】本発明に係る撮像モジュールの第3の実施形態を示すブロック図
【図9】第3の実施形態の復元処理ブロックによる復元処理を示すフローチャート
【図10】本発明に係る撮像モジュールの第4の実施形態を示すブロック図
【図11】第4の実施形態の復元処理ブロックによる復元処理を示すフローチャート
【図12】本発明に係る撮像モジュールの第5の実施形態を示すブロック図
【図13】第5の実施形態の復元処理ブロックによる復元処理を示すフローチャート
【図14】本発明に係る撮像装置の一例を示すブロック図
【発明を実施するための形態】
【0025】
以下、添付図面に従って本発明に係る撮像モジュール及び撮像装置並びに撮像モジュールの信号処理方法の実施の形態について説明する。
【0026】
[第1の実施形態]
図1は本発明に係る撮像モジュール1の第1の実施形態を示すブロック図である。
【0027】
図1に示すように、第1の実施形態の撮像モジュール1は、レンズ部10と、撮像素子12と、AD変換部14と、復元処理ブロック20と、メモリ部30とから構成されている。
【0028】
図2はレンズ部10の光学系の一例を示す図である。レンズ部10は、図2に示すように単焦点の固定された撮影レンズ10Aと、瞳位置に挿入される光学フィルタ11とか構成されている。光学フィルタ11は、位相を変調させるもので、拡大された焦点深度(Extended Depth Of Focus:EDoF)が得られるように撮影レンズ10AをEDoF化させる。
【0029】
尚、光学フィルタ11の近傍には、図示しない絞りが配設されている。また、光学フィルタ11は、1枚でもよいし、複数枚を組み合わせたものでもよい。
【0030】
このレンズ部10は、メカ的に焦点調節を行う焦点調節機構を省略することができ、小型化が可能であり、カメラ付き携帯電話や携帯情報端末に搭載されるものとして好適である。
【0031】
EDoF化されたレンズ部10を透過した光学像は、撮像素子12に結像され、ここで電気信号に変換される。
【0032】
撮像素子12は、画素毎に赤(R)、緑(G)、青(B)の3原色の原色フィルタが所定のパターンで配列(ベイヤ配列、GストライプR/G完全市松、ハニカム配列等)されたカラー撮像素子であり、C−MOSイメージセンサ又はCCDイメージセンサにより構成されている。レンズ部10を介して撮像素子12の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、電圧信号(画像信号)として順次出力される。
【0033】
AD変換部14は、撮像素子12から出力されるアナログの画像信号をデジタルの画像信号に変換する。AD変換部14によりデジタルの画像信号に変換されたデジタル画像信号(第1のデジタル画像信号)は、復元処理ブロック20に加えられる。
【0034】
復元処理ブロック20は、主として黒レベル減算処理部22と、復元処理部24と、黒レベル加算処理部26とから構成されている。また、メモリ部30には、黒レベルデータ及び復元処理パラメータが記憶されている。
【0035】
黒レベルデータは、撮像素子12への入射光量が0の場合に、前記AD変換部14から出力されるデジタル画像信号の平均値であり、黒レベルデータとして、所定値(例えば、64、128等)が出力されるようにAD変換部14が設定されている場合には、その所定値に対応する。また、復元処理パラメータは、例えば、7×7のカーネルと、そのカーネルに対応する復元ゲインデータとからなり、光学フィルタ11の位相変調分のデコンボリューション処理に使用されるものである。尚、復元処理パラメータは、光学フィルタ11に対応するものが記憶される。また、カーネルのサイズは、7×7のものに限らない。
【0036】
次に、復元処理ブロック20による復元処理について説明する。図3は第1の実施形態の復元処理ブロック20による復元処理を示すフローチャートである。
【0037】
黒レベル減算処理部22の一方の入力には、AD変換部14からデジタル画像信号が加えられており、他の入力にはメモリ部30から黒レベルデータが加えられており、黒レベル減算処理部22は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号を復元処理部24に出力する(図3のステップS10)。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は0になる。
【0038】
復元処理部24は、黒レベルデータが減算されたデジタル画像信号に、レンズ部10に挿入された光学フィルタ11の位相変調分のデコンボリューション処理を掛ける復元処理を行う(図3のステップS12)。即ち、復元処理部24は、黒レベルデータが減算されたデジタル画像信号であって、処理対象の画素を中心とする7×7画素のデジタル画像データと、メモリ部30に記憶されている7×7のカーネルの復元処理パラメータとのデコンボリューション処理(畳み込み演算処理)を行うことにより復元処理を行う。
【0039】
図4(A)に示すように、EDoF化されたレンズ部10を透過した点像(光学像)は、大きな点像(ぼけた画像)として撮像素子12に結像されるが、上記復元処理部24でのデコンボリューション処理により、図4(B)に示すように小さな点像(高解像度の画像)に復元される。
【0040】
また、復元処理に用いるデコンボリューションは、画素にゲインをかけることにより行われるが、黒レベルデータが減算されたデジタル画像信号にデコンボリューション処理を掛けることにより、正確に復元することができる。
【0041】
上記のようにして復元処理されたデジタル画像信号は、黒レベル加算処理部26に加えられる。黒レベル加算処理部26の他の入力には、メモリ部30から黒レベルデータが加えられており、黒レベル加算処理部26は、復元処理されたデジタル画像信号に黒レベルデータを加算する(図3のステップS14)。黒レベル加算処理部26により黒レベルデータが加算されたデジタル画像信号は、第2のデジタル画像信号(RAWデータ)として出力される。
【0042】
この黒レベル加算処理部26(復元処理ブロック20)から出力されるRAWデータは、EDoF化されたレンズ部10及び復元処理ブロック20を含まない画像信号(即ち、通常の撮影レンズ、撮像素子及びAD変換部を有する撮像部から出力されるRAWデータ)と同じものとなり、後段の信号処理系として共通のものを使用することができる。即ち、撮像モジュール1に互換性をもたせることができる。
【0043】
尚、撮像素子12がRGBの原色フィルタ配列としてベイヤ配列のカラー撮像素子の場合、AD変換部14からはそのベイヤ配列(G画素が市松状に配置されるとともに、そのG画素の間にB画素が配置さるライン(GBGBGB…)と、R画素が配置されるライン(RGRGRG…)とが交互に配列されるもの)にしたがって、点順次で各色のデジタル画像信号が出力され、復元処理ブロック20は、デジタル画像信号を色毎に復元処理し、AD変換部14から点順次で出力されるデジタル画像信号と同様に、原色フィルタ配列の順にしたがって点順次のRAWデータを出力する。
【0044】
[第1の実施形態の変形例]
第1の実施形態では、メモリ部30に所定値の黒レベルデータが記憶されている場合について説明したが、第1の実施形態の変形例では、メモリ部30に撮像モジュール毎の黒レベルデータを記憶させる。尚、撮像モジュールの構成としては、図1に示したものと同様に構成することができる。
【0045】
即ち、撮像モジュールの出荷の調整時に、レンズ部10から光が入射しない状態で撮像を行い、このときAD変換部14から出力されるデジタル画像信号の平均値を測定する。そして、この平均値を黒レベルデータとしてメモリ部30に記憶させる。
【0046】
図5は第1の実施形態の変形例の復元処理ブロックによる復元処理を示すフローチャートである。尚、図3に示した第1の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0047】
即ち、図5に示すように黒レベル減算処理(ステップS10)及び黒レベル加算処理(ステップS14)の前に、実際に撮像モジュール毎に測定された最適な黒レベルデータを、メモリ部30から読み込み(ステップS20、S22)、この読み込んだ黒レベルデータを減算処理及び加算処理に使用するようにしている。
【0048】
これにより、撮像モジュール(レンズ部10、撮像素子12)毎の個体差によらず、最適な黒レベルデータによる減算処理及び加算処理を行うことができ、復元処理の精度アップか可能になる。
【0049】
[第2の実施形態]
図6は本発明に係る撮像モジュール2の第2の実施形態を示すブロック図である。尚、図1に示した第1の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0050】
図6に示すように、第2の実施形態の撮像モジュール2は、主として黒レベルデータの取得手段が第1の実施形態と相違しており、黒レベル算出部42と、黒レベルデータを一時保持するメモリ部44とを備えている。
【0051】
撮像素子12は、有効画素領域の周囲に遮光されたオプティカルブラック(OB)領域を有している。黒レベル算出部42は、AD変換部14から出力されるデジタル画像信号のうちのOB領域のデジタル画像信号を積算平均することにより、黒レベルデータを算出する。黒レベル算出部42により算出された黒レベルデータは、メモリ部44に一時格納され、黒レベル減算処理部22及び黒レベル加算処理部26により利用できるようになっている。
【0052】
図7は第2の実施形態の復元処理ブロック40による復元処理を示すフローチャートである。尚、図3に示した第1の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0053】
撮像モジュール2によって撮影が行われると、黒レベル算出部42は、撮影毎に撮像素子12のOB領域から得られるデジタル画像信号に基づいて黒レベルデータを算出する(ステップS30)。
【0054】
黒レベル算出部42により算出された黒レベルデータは、メモリ部44に一時記憶された後、黒レベル減算処理部22により各画素のデジタル画像信号の復元処理毎に読み込まれる(ステップS32)。同様に、メモリ部44に一時記憶された黒レベルデータは、黒レベル加算処理(ステップS14)の前に、読み込まれる(ステップS34)。この読み込んだ黒レベルデータを、黒レベル減算処理部22での減算処理及び黒レベル加算処理部26での加算処理に使用するようにしている。
【0055】
これにより、撮影毎の黒レベルのバラツキを吸収した復元処理を行うことができ、撮影毎の黒レベルの変動を気にすることなく後段の信号処理に出力することができる。
【0056】
尚、第2の実施形態では、黒レベル算出部42により算出された黒レベルデータを、それぞれ減算処理及び加算処理に使用するようにしているが、これに限らず、黒レベル減算処理部22での減算処理のみに使用し、黒レベル加算処理部26での加算処理には、第1の実施形態に示したように別のメモリ部30に予め記憶された黒レベルデータを使用するようにしてもよい。
【0057】
[第3の実施形態]
図8は本発明に係る撮像モジュール3の第3の実施形態を示すブロック図である。尚、図6に示した第2の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0058】
図8に示すように、第3の実施形態の撮像モジュール3は、黒レベル加算処理部26の後段にクリップ処理部52が追加されている点で、第2の実施形態と相違する。
【0059】
このクリップ処理部52は、黒レベル加算処理部26から出力されるデジタル画像信号に負の画素値が混在する場合にその負の画素値を0にクリップする。即ち、復元処理前にデジタル画像信号から黒レベルデータを減算するが、黒レベルデータの減算後のデジタル画像信号の復元処理では、マイナスゲインの加算を発生する。この場合、復元処理されたデジタル画像信号に黒レベルデータを加算しても負の値になる可能性がある。焦点深度拡大及び復元系を含まない通常の画像信号の場合には、負の値は取り得ないので、黒レベルデータの加算後に負の値になる画素値は、クリップ処理部52により0にクリップして出力し、異常な画素値が出力されないようにする。
【0060】
図9は第3の実施形態の復元処理ブロック50による復元処理を示すフローチャートである。尚、図7に示した第2の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0061】
クリップ処理部52は、黒レベル加算処理部26により黒レベルデータが加算されたデジタル画像信号の画素値が負か否かを判別する(ステップS40)。そして、画素値が負の場合(「Yes」の場合)には、その画像値を0にクリップして出力し(ステップS42)、画素値が負でない場合(「No」の場合)には、そのまま出力する。
【0062】
[第4の実施形態]
図10は本発明に係る撮像モジュール4の第4の実施形態を示すブロック図である。尚、図6に示した第2の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0063】
図10に示すように、第4の実施形態の撮像モジュール4は、黒レベル減算処理部22と復元処理部24との間にシェーディング補正部62が追加されている点で、第2の実施形態と相違する。
【0064】
このシェーディング補正部62は、黒レベル減算処理部22により黒レベルデータが減算されたデジタル画像信号を、面内のシェーディング補正特性に応じてシェーディング補正するものである。即ち、メモリ部30には、レンズ部10及び撮像素子12のシェーディング特性に応じて画面の位置に対応するシェーディング補正データ(ゲイン)が記憶されており、シェーディング補正部62は、黒レベルデータが減算されたデジタル画像信号に、メモリ部30から読み出したそのデジタル画像信号の面内位置に対応するシェーディング補正ゲインを掛けることによりシェーディング補正を行う。尚、シェーディング補正ゲインを掛ける代わりに、予めシェーディング補正ゲインに基づいてシェーディング補正用の変換テーブルを作成しておき、この変換テーブルを使用してデジタル画像信号を、シェーディング補正後のデジタル画像信号に変換するようにしてもよい。
【0065】
図11は第4の実施形態の復元処理ブロック60による復元処理を示すフローチャートである。尚、図3と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0066】
図11に示すように第4の実施形態では、黒レベル減算処理部22による黒レベル減算処理(ステップS10)と、復元処理部24による復元処理(ステップS12)との間で、シェーディング補正部62によるシェーディング補正を実施するようにしている(ステップS50)。
【0067】
上記の順番で処理することにより、シェーディング補正を正確に行うことができるとともに、レンズ部10及び撮像素子12に起因するシェーディング補正が実施されたデジタル画像信号に復元処理を掛けるので、光学的に精度の高い復元処理が可能になる。
【0068】
[第5の実施形態]
図12は本発明に係る撮像モジュール5の第5の実施形態を示すブロック図である。尚、図6に示した第2の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0069】
図12に示すように、第5の実施形態の撮像モジュール5は、黒レベル減算処理部22と復元処理部24との間に混色補正部72が追加されている点で、第2の実施形態と相違する。
【0070】
この混色補正部72は、黒レベル減算処理部22により黒レベルデータが減算されたデジタル画像信号に含まれる混色成分を補正する部分である。即ち、メモリ部30には、撮像素子12の面内の位置毎に予め設定された混色補正データが記憶されており、混色補正部72は、混色補正時にメモリ部30から読み出した混色補正データを用いて混色成分の補正を行う。
【0071】
図13は第5の実施形態の復元処理ブロック70による復元処理を示すフローチャートである。尚、図3と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0072】
図13に示すように第5の実施形態では、黒レベル減算処理部22による黒レベル減算処理(ステップS10)と、復元処理部24による復元処理(ステップS12)との間で、混色補正部72による混色補正を実施するようにしている(ステップS60)。
【0073】
上記の順番で処理することにより、混色補正を正確に行うことができるとともに、撮像素子12に起因する混色が補正されたデジタル画像信号に復元処理を掛けるので、光学的に精度の高い復元処理が可能になる。
【0074】
[第6の実施形態]
図14は第1の実施形態の撮像モジュール1が適用された撮像装置の一例を示すブロック図である。
【0075】
図14に示す撮像装置100は、図1に示した撮像モジュール1が組み込まれたもので、撮像モジュール以外は通常のデジタルカメラ等と同じ構成を有している。
【0076】
中央処理装置(CPU)102は、操作部104からの操作入力及び所定のプログラムに従って装置全体を統括制御する部分であり、自動露出(AE)演算、ホワイトバランス(WB)調整演算等、各種演算を実施する演算手段としても機能する。
【0077】
CPU102には、バス103及びメモリ・インターフェース106を介してRAM(Random Access Memory)108及びROM(Read Only Memory)110が接続されている。RAM108は、プログラムの展開領域及びCPU102の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ROM110には、CPU102が実行するプログラム及び制御に必要な各種データや、撮像動作に関する各種定数/情報等が格納されている。
【0078】
撮像モジュール1は、CPU102からの指令により撮影動作等を行い、前述したように復元処理ブロック20からRGBのRAWデータを出力する。このRAWデータは、バス103及びメモリI/F106を介してRAM108に一時的に保存される。
【0079】
RAM108に保存されたRGBのRAWデータは、デジタル信号処理部112に入力され、ここで、ノイズリダクション処理、黒レベル減算処理、混色補正、シェーディング補正、ホワイトバランス補正、ガンマ補正、同時化処理、RGB/YC変換処理等の画像処理が施される。
【0080】
また、RAWデータ記録が選択されている場合には、前記RAWデータはRAWファイルのフォーマットで、外部メモリI/F114を介してメモリカード116に記録される。
【0081】
操作部104には、シャッターボタン、撮影モードと再生モードを選択するモード選択スイッチ、表示部(LCD)118にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー等が含まれる。操作部104からの出力信号は、バス103を介してCPU102に入力され、CPU102は操作部104からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。
【0082】
撮像装置100には、被写体にフラッシュ光を照射するためのフラッシュ装置120が含まれ、フラッシュ装置120は、CPU102からの発光指令によって充電部122から電源の供給を受けてフラッシュ光を照射する。
【0083】
デジタル信号処理部112で処理された画像データ(輝度信号Y,色差信号Cr,Cb)は、圧縮伸張処理回路124に与えられ、ここで、所定の圧縮フォーマット(例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、画像ファイル(例えば、JPEGファイル)のフォーマットで、外部メモリI/F114を介してメモリカード116に記録される。
【0084】
また、LCD118には、LCDインターフェース126を介して加えられる画像信号により撮像準備中に映像(ライブビュー画像)が表示され、また、再生モード時にメモリカード116に記録されたJPEGファイル、又はRAWファイルが読み出され、画像が表示される。尚、JPEGファイルに格納された圧縮された画像データは、圧縮伸張処理回路124によって伸張処理が行われてLCD118に出力され、RAWファイルに格納されたRAWデータは、前記デジタル信号処理部112によってRAW現像した後にLCD118に出力される。
【0085】
ここで、デジタル信号処理部112のノイズリダクション処理部では、撮像モジュール1から出力される、黒レベルデータが加算されたRAWデータに対してノイズリダクション処理を行うため、ノイズを良好に除去することができる。また、デジタル信号処理部112では、ノイズリダクション処理後に黒レベル減算処理が行われるが、この黒レベル減算処理を行わずに、ガンマ補正により黒レベル補正を行うようにしてもよい。
【0086】
また、図10に示した第4の実施形態の撮像モジュール4が組み込まれる場合には、撮像モジュール4内でシェーディング補正が行われるため、デジタル信号処理部112ではシェーディング補正が行わないようにシェーディング補正データを設定しておく(例えば、面内の全てのゲインを1に設定しておく)。同様に、図12に示した第5の実施形態の撮像モジュール5が組み込まれる場合には、撮像モジュール5内で混色補正が行われるため、デジタル信号処理部112では混色補正が行わないように混色補正データを設定しておく。
【0087】
[その他]
本発明は第1の実施形態から第5の実施形態の撮像モジュールに限らず、例えば、各実施形態の撮像モジュールの構成要素を適宜組み合わせたものでもよい。
【0088】
また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0089】
1〜5…撮像モジュール、10…レンズ部、10A…撮影レンズ、11…光学フィルタ、12…撮像素子、14…AD変換部、20、40、50、60、70…復元処理ブロック、22…黒レベル減算処理部、24…復元処理部、26…黒レベル加算処理部、30、44…メモリ部、42…黒レベル算出部、52…クリップ処理部、62…シェーディング補正部、72…混色補正部、100…撮像装置、102…中央処理装置(CPU)、112…デジタル信号処理部
【技術分野】
【0001】
本発明は撮像モジュール及び撮像装置並びに撮像モジュールの信号処理方法に係り、特にメカ的に焦点調節を行う焦点調節機構を省略し、かつ高解像度の画像信号を得る技術に関する。
【背景技術】
【0002】
従来、撮影光学系の光路中に位相を変調させる位相板を挿入することにより焦点深度を拡大し、前記焦点深度の拡大によりぼけた画像(大きな点像)に、復元処理パラメータを有するカーネルによるデコンボリューション処理を掛けることより高解像度の画像(小さな点像)に復元するようにした撮像装置が提案されている(特許文献1)。
【0003】
特許文献2には、撮影光学系の特性データと撮像素子の出力信号に基づき、画像データの輝度/色分離処理、色変換処理を行う前に、画像データに対し撮像光学系による色収差や歪曲収差等の画質劣化を補正する処理を施す技術が開示されている。
【0004】
また、特許文献3には、信号の計測、観測、記録の過程、変化した観測信号を、変化する前の信号にする復元処理部を有し、この復元処理部により既知の変化関数を用いて1回または複数回変化させた変化信号に加工し、ノイズの影響を軽減する信号処理装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−94470号公報
【特許文献2】特開2002−199410号公報
【特許文献3】特開2008−118399号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、位相板を挿入することにより焦点深度が拡大された画像の復元処理に用いるデコンボリューション処理は、画素値にゲイン(復元処理パラメータ)をかけて畳み込み演算を行う処理であるため、処理対象の画像データに黒レベルが含まれていると、正確に復元できないという問題がある。
【0007】
特許文献1に記載の発明は、撮像素子から出力される生データに、復元処理パラメータを有する所定のカーネルによるデコンボリューション処理を掛けており、事前に黒レベルを減算する処理を行っていない。
【0008】
一方、特許文献2に記載の発明は、輝度/色分離処理、色変換処理の前に、被写体深度を拡張する復元処理を行っていない。
【0009】
また、特許文献3に記載の発明は、画像のぶれ情報、画像の焦点情報、光学情報等の元変化情報に基づいて変化前の信号に復元しているが、復元前に黒レベルを減算する処理を行っていないため、正確に復元することができず、また、被写体深度を拡張する復元処理も行っていない。
【0010】
本発明はこのような事情に鑑みてなされたもので、位相変調させて焦点深度が拡大された画像から高解像度の画像を高精度に復元することができ、かつ復元処理後の画像を既存の信号処理系にそのまま使用することができる互換性を有する撮像モジュール及び該撮像モジュールを備えた撮像装置並びに撮像モジュールの信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
前記目的を達成するために請求項1に係る撮像モジュールは、位相を変調させる光学フィルタを少なくとも1つ含むレンズ部と、前記レンズ部を透過した光学像が結像され、該光学像を電気信号に変換する撮像素子と、前記撮像素子から出力される電気信号を第1のデジタル画像信号に変換して出力するAD変換部と、復元処理ブロックと、を備え、前記復元処理ブロックは、前記AD変換部から第1のデジタル画像信号を入力し、該第1のデジタル画像信号から黒レベルを減算する黒レベル減算処理部と、前記黒レベルが減算された第1のデジタル画像信号に、前記光学フィルタの位相変調分のデコンボリューション処理を掛ける復元処理部と、前記復元処理された第1のデジタル画像信号に黒レベルを加算する黒レベル加算処理部と、からなり、前記復元処理ブロックにより復元処理された第1のデジタル画像信号を第2のデジタル画像信号として出力することを特徴としている。
【0012】
請求項1に係る復元処理ブロックは、黒レベルが減算された第1のデジタル画像信号に対して復元処理を行うことで高精度の復元を可能にしている。また、復元処理後の第1のデジタル画像信号に黒レベルを再度加算することで、黒レベルが加算された第1のデジタル画像信号(第2のデジタル画像信号)に対する後段の信号処理が、焦点深度拡大及び復元系を含まない画像信号に対する信号処理と同一にすることができ、撮像モジュールに互換性をもたせることができる。
【0013】
請求項2に示すように請求項1に記載の撮像モジュールにおいて、予め黒レベルを記憶するメモリ部を備え、前記黒レベル減算処理部は、前記第1のデジタル画像信号から前記メモリ部に記憶された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第1のデジタル画像信号に前記メモリ部に記憶された黒レベルを加算することを特徴としている。予め測定した黒レベルをメモリ部に記憶させておくことで、黒レベルの個体バラツキを吸収することができ、より高精度の復元処理が可能になる。
【0014】
請求項3に示すように請求項1に記載の撮像モジュールにおいて、前記AD変換部から出力される第1のデジタル画像信号のうちの前記撮像素子の遮光領域に対応する第1のデジタル信号に基づいて黒レベルを算出する黒レベル算出部を備え、前記黒レベル減算処理部は、前記第1のデジタル画像信号から前記黒レベル算出部により算出された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第1のデジタル画像信号に前記黒レベル算出部により算出された黒レベルを加算することを特徴としている。これにより、撮影毎の黒レベルのバラツキを吸収することができ、より高精度の復元処理が可能になる。
【0015】
請求項4に示すように請求項1に記載の撮像モジュールにおいて、予め黒レベルを記憶するメモリ部と、前記AD変換部から出力される第1のデジタル画像信号のうちの前記撮像素子の遮光領域に対応する第1のデジタル信号に基づいて黒レベルを算出する黒レベル算出部とを備え、前記黒レベル減算処理部は、前記第1のデジタル画像信号から前記黒レベル算出部により算出された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第1のデジタル画像信号に前記メモリ部に記憶された黒レベルを加算することを特徴としている。これにより、撮影毎の黒レベルのバラツキを吸収した復元処理を行うとともに、撮影毎の黒レベルを気にすることなく後段の信号処理に出力することができる。
【0016】
請求項5に示すように請求項1から4のいずれかに記載の撮像モジュールにおいて、前記復元処理ブロックは、前記黒レベル加算処理部により黒レベルが加算された第1のデジタル信号のうち、負になる第1のデジタル信号を0にクリップするクリップ処理部を更に備えたことを特徴としている。前記黒レベルが減算された第1のデジタル画像信号を復元処理することにより、その復元処理された第1のデジタル画像信号に黒レベルを加算した後も、負になる画像信号になる画素が発生する。この場合の画素のデジタル画像信号は、0にクリップされることで、後段の信号処理部に異常な値として入力されないように処理される。
【0017】
請求項6に示すように請求項1から5のいずれかに記載の撮像モジュールにおいて、前記復元処理ブロックは、前記黒レベル減算処理部により黒レベルが減算された第1のデジタル画像信号を、面内のシェーディング補正特性に応じてシェーディング補正するシェーディング補正部を更に備え、前記復元処理部は、前記シェーディング補正された第1のデジタル画像信号にデコンボリューション処理を掛けることを特徴としている。黒レベル減算後、復元処理前にレンズ部及び撮像素子に起因するシェーディング補正を実施することで、更に画質を高めることができる。
【0018】
請求項7に示すように請求項1から6のいずれかに記載の撮像モジュールにおいて、前記復元処理ブロックは、前記黒レベル減算処理部により黒レベルが減算された第1のデジタル画像信号に含まれる混色成分を補正する混色補正部を更に備え、前記復元処理部は、前記混色補正された第1のデジタル画像信号にデコンボリューション処理を掛けることを特徴としている。黒レベル減算後、復元処理前に撮像素子に起因する混色補正を実施することで、更に画質を高めることができる。
【0019】
請求項8に示すように請求項1から7のいずれかに記載の撮像モジュールにおいて、前記撮像素子は、画素毎に3原色の原色フィルタが所定のパターンで配列されたカラー撮像素子であり、前記復元処理ブロックにおける前記第1のデジタル画像信号に対する各処理は、3原色の色毎に行うことを特徴としている。これにより、フルカラーの第2のデジタル画像信号を出力することができるとともに、原色フィルタの配列に対応した点順次の第2のデジタル画像信号を出力することができる。
【0020】
請求項9に係る撮像装置は、請求項1から8のいずれかに記載の撮像モジュールと、前記撮像モジュールから出力される第2のデジタル画像信号を受入し、該第2のデジタル画像信号に対して信号処理を行うデジタル信号処理部と、前記デジタル信号処理部により処理された第2のデジタル画像信号を記録媒体に記録する記録手段と、を備えたことを特徴としている。前記デジタル信号処理部は、前記撮像モジュール専用のものに限らず、焦点深度拡大及び復元系を含まない画像信号に対するものと同一のものを使用することができる。
【0021】
請求項10に示すように請求項9に記載の撮像装置において、前記デジタル信号処理部は、黒レベルを含むデジタル画像信号に対して信号処理を行うことを特徴としている。前記撮像モジュールから出力される第2のデジタル画像信号は黒レベルを含むため、前記デジタル画像信号処理部は、適正な信号処理を行うことができる。
【0022】
請求項11に係る発明は、位相を変調させる光学フィルタを少なくとも1つ含むレンズ部と、前記レンズ部を透過した光学像が結像され、該光学像を電気信号に変換する撮像素子と、前記撮像素子から出力される電気信号を第1のデジタル画像信号に変換して出力するAD変換部と、復元ブロックとを備えた撮像モジュールの信号処理方法において、前記復元処理ブロックは、前記AD変換部から第1のデジタル画像信号を入力し、該第1のデジタル画像信号から黒レベルを減算する黒レベル減算処理工程と、前記黒レベルが減算された第1のデジタル画像信号に、前記光学フィルタの位相変調分のデコンボリューション処理を掛ける復元処理工程と、前記復元処理された第1のデジタル画像信号に黒レベルを加算する黒レベル加算処理工程と、を含み、前記復元処理ブロックにより復元処理された第1のデジタル画像信号を第2のデジタル画像信号として出力することを特徴としている。
【発明の効果】
【0023】
本発明によれば、位相変調させて焦点深度が拡大された画像信号から高解像度の画像信号を復元する際に、黒レベルが減算された画像信号に対して復元処理を行うようにしたため、高精度の復元を実現することができ、また、復元処理後の画像信号に黒レベルを再度加算することにより、後段の信号処理が焦点深度拡大及び復元系を含まない画像信号に対する信号処理部と同一にすることができ、撮像モジュールに互換性をもたせることができる。
【図面の簡単な説明】
【0024】
【図1】本発明に係る撮像モジュールの第1の実施形態を示すブロック図
【図2】レンズ部の光学系の一例を示す図
【図3】第1の実施形態の復元処理ブロックによる復元処理を示すフローチャート
【図4】復元処理部でのデコンボリューション処理により復元される点像の様子を示す図
【図5】第1の実施形態の変形例の復元処理ブロックによる復元処理を示すフローチャート
【図6】本発明に係る撮像モジュールの第2の実施形態を示すブロック図
【図7】第2の実施形態の復元処理ブロックによる復元処理を示すフローチャート
【図8】本発明に係る撮像モジュールの第3の実施形態を示すブロック図
【図9】第3の実施形態の復元処理ブロックによる復元処理を示すフローチャート
【図10】本発明に係る撮像モジュールの第4の実施形態を示すブロック図
【図11】第4の実施形態の復元処理ブロックによる復元処理を示すフローチャート
【図12】本発明に係る撮像モジュールの第5の実施形態を示すブロック図
【図13】第5の実施形態の復元処理ブロックによる復元処理を示すフローチャート
【図14】本発明に係る撮像装置の一例を示すブロック図
【発明を実施するための形態】
【0025】
以下、添付図面に従って本発明に係る撮像モジュール及び撮像装置並びに撮像モジュールの信号処理方法の実施の形態について説明する。
【0026】
[第1の実施形態]
図1は本発明に係る撮像モジュール1の第1の実施形態を示すブロック図である。
【0027】
図1に示すように、第1の実施形態の撮像モジュール1は、レンズ部10と、撮像素子12と、AD変換部14と、復元処理ブロック20と、メモリ部30とから構成されている。
【0028】
図2はレンズ部10の光学系の一例を示す図である。レンズ部10は、図2に示すように単焦点の固定された撮影レンズ10Aと、瞳位置に挿入される光学フィルタ11とか構成されている。光学フィルタ11は、位相を変調させるもので、拡大された焦点深度(Extended Depth Of Focus:EDoF)が得られるように撮影レンズ10AをEDoF化させる。
【0029】
尚、光学フィルタ11の近傍には、図示しない絞りが配設されている。また、光学フィルタ11は、1枚でもよいし、複数枚を組み合わせたものでもよい。
【0030】
このレンズ部10は、メカ的に焦点調節を行う焦点調節機構を省略することができ、小型化が可能であり、カメラ付き携帯電話や携帯情報端末に搭載されるものとして好適である。
【0031】
EDoF化されたレンズ部10を透過した光学像は、撮像素子12に結像され、ここで電気信号に変換される。
【0032】
撮像素子12は、画素毎に赤(R)、緑(G)、青(B)の3原色の原色フィルタが所定のパターンで配列(ベイヤ配列、GストライプR/G完全市松、ハニカム配列等)されたカラー撮像素子であり、C−MOSイメージセンサ又はCCDイメージセンサにより構成されている。レンズ部10を介して撮像素子12の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、電圧信号(画像信号)として順次出力される。
【0033】
AD変換部14は、撮像素子12から出力されるアナログの画像信号をデジタルの画像信号に変換する。AD変換部14によりデジタルの画像信号に変換されたデジタル画像信号(第1のデジタル画像信号)は、復元処理ブロック20に加えられる。
【0034】
復元処理ブロック20は、主として黒レベル減算処理部22と、復元処理部24と、黒レベル加算処理部26とから構成されている。また、メモリ部30には、黒レベルデータ及び復元処理パラメータが記憶されている。
【0035】
黒レベルデータは、撮像素子12への入射光量が0の場合に、前記AD変換部14から出力されるデジタル画像信号の平均値であり、黒レベルデータとして、所定値(例えば、64、128等)が出力されるようにAD変換部14が設定されている場合には、その所定値に対応する。また、復元処理パラメータは、例えば、7×7のカーネルと、そのカーネルに対応する復元ゲインデータとからなり、光学フィルタ11の位相変調分のデコンボリューション処理に使用されるものである。尚、復元処理パラメータは、光学フィルタ11に対応するものが記憶される。また、カーネルのサイズは、7×7のものに限らない。
【0036】
次に、復元処理ブロック20による復元処理について説明する。図3は第1の実施形態の復元処理ブロック20による復元処理を示すフローチャートである。
【0037】
黒レベル減算処理部22の一方の入力には、AD変換部14からデジタル画像信号が加えられており、他の入力にはメモリ部30から黒レベルデータが加えられており、黒レベル減算処理部22は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号を復元処理部24に出力する(図3のステップS10)。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は0になる。
【0038】
復元処理部24は、黒レベルデータが減算されたデジタル画像信号に、レンズ部10に挿入された光学フィルタ11の位相変調分のデコンボリューション処理を掛ける復元処理を行う(図3のステップS12)。即ち、復元処理部24は、黒レベルデータが減算されたデジタル画像信号であって、処理対象の画素を中心とする7×7画素のデジタル画像データと、メモリ部30に記憶されている7×7のカーネルの復元処理パラメータとのデコンボリューション処理(畳み込み演算処理)を行うことにより復元処理を行う。
【0039】
図4(A)に示すように、EDoF化されたレンズ部10を透過した点像(光学像)は、大きな点像(ぼけた画像)として撮像素子12に結像されるが、上記復元処理部24でのデコンボリューション処理により、図4(B)に示すように小さな点像(高解像度の画像)に復元される。
【0040】
また、復元処理に用いるデコンボリューションは、画素にゲインをかけることにより行われるが、黒レベルデータが減算されたデジタル画像信号にデコンボリューション処理を掛けることにより、正確に復元することができる。
【0041】
上記のようにして復元処理されたデジタル画像信号は、黒レベル加算処理部26に加えられる。黒レベル加算処理部26の他の入力には、メモリ部30から黒レベルデータが加えられており、黒レベル加算処理部26は、復元処理されたデジタル画像信号に黒レベルデータを加算する(図3のステップS14)。黒レベル加算処理部26により黒レベルデータが加算されたデジタル画像信号は、第2のデジタル画像信号(RAWデータ)として出力される。
【0042】
この黒レベル加算処理部26(復元処理ブロック20)から出力されるRAWデータは、EDoF化されたレンズ部10及び復元処理ブロック20を含まない画像信号(即ち、通常の撮影レンズ、撮像素子及びAD変換部を有する撮像部から出力されるRAWデータ)と同じものとなり、後段の信号処理系として共通のものを使用することができる。即ち、撮像モジュール1に互換性をもたせることができる。
【0043】
尚、撮像素子12がRGBの原色フィルタ配列としてベイヤ配列のカラー撮像素子の場合、AD変換部14からはそのベイヤ配列(G画素が市松状に配置されるとともに、そのG画素の間にB画素が配置さるライン(GBGBGB…)と、R画素が配置されるライン(RGRGRG…)とが交互に配列されるもの)にしたがって、点順次で各色のデジタル画像信号が出力され、復元処理ブロック20は、デジタル画像信号を色毎に復元処理し、AD変換部14から点順次で出力されるデジタル画像信号と同様に、原色フィルタ配列の順にしたがって点順次のRAWデータを出力する。
【0044】
[第1の実施形態の変形例]
第1の実施形態では、メモリ部30に所定値の黒レベルデータが記憶されている場合について説明したが、第1の実施形態の変形例では、メモリ部30に撮像モジュール毎の黒レベルデータを記憶させる。尚、撮像モジュールの構成としては、図1に示したものと同様に構成することができる。
【0045】
即ち、撮像モジュールの出荷の調整時に、レンズ部10から光が入射しない状態で撮像を行い、このときAD変換部14から出力されるデジタル画像信号の平均値を測定する。そして、この平均値を黒レベルデータとしてメモリ部30に記憶させる。
【0046】
図5は第1の実施形態の変形例の復元処理ブロックによる復元処理を示すフローチャートである。尚、図3に示した第1の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0047】
即ち、図5に示すように黒レベル減算処理(ステップS10)及び黒レベル加算処理(ステップS14)の前に、実際に撮像モジュール毎に測定された最適な黒レベルデータを、メモリ部30から読み込み(ステップS20、S22)、この読み込んだ黒レベルデータを減算処理及び加算処理に使用するようにしている。
【0048】
これにより、撮像モジュール(レンズ部10、撮像素子12)毎の個体差によらず、最適な黒レベルデータによる減算処理及び加算処理を行うことができ、復元処理の精度アップか可能になる。
【0049】
[第2の実施形態]
図6は本発明に係る撮像モジュール2の第2の実施形態を示すブロック図である。尚、図1に示した第1の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0050】
図6に示すように、第2の実施形態の撮像モジュール2は、主として黒レベルデータの取得手段が第1の実施形態と相違しており、黒レベル算出部42と、黒レベルデータを一時保持するメモリ部44とを備えている。
【0051】
撮像素子12は、有効画素領域の周囲に遮光されたオプティカルブラック(OB)領域を有している。黒レベル算出部42は、AD変換部14から出力されるデジタル画像信号のうちのOB領域のデジタル画像信号を積算平均することにより、黒レベルデータを算出する。黒レベル算出部42により算出された黒レベルデータは、メモリ部44に一時格納され、黒レベル減算処理部22及び黒レベル加算処理部26により利用できるようになっている。
【0052】
図7は第2の実施形態の復元処理ブロック40による復元処理を示すフローチャートである。尚、図3に示した第1の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0053】
撮像モジュール2によって撮影が行われると、黒レベル算出部42は、撮影毎に撮像素子12のOB領域から得られるデジタル画像信号に基づいて黒レベルデータを算出する(ステップS30)。
【0054】
黒レベル算出部42により算出された黒レベルデータは、メモリ部44に一時記憶された後、黒レベル減算処理部22により各画素のデジタル画像信号の復元処理毎に読み込まれる(ステップS32)。同様に、メモリ部44に一時記憶された黒レベルデータは、黒レベル加算処理(ステップS14)の前に、読み込まれる(ステップS34)。この読み込んだ黒レベルデータを、黒レベル減算処理部22での減算処理及び黒レベル加算処理部26での加算処理に使用するようにしている。
【0055】
これにより、撮影毎の黒レベルのバラツキを吸収した復元処理を行うことができ、撮影毎の黒レベルの変動を気にすることなく後段の信号処理に出力することができる。
【0056】
尚、第2の実施形態では、黒レベル算出部42により算出された黒レベルデータを、それぞれ減算処理及び加算処理に使用するようにしているが、これに限らず、黒レベル減算処理部22での減算処理のみに使用し、黒レベル加算処理部26での加算処理には、第1の実施形態に示したように別のメモリ部30に予め記憶された黒レベルデータを使用するようにしてもよい。
【0057】
[第3の実施形態]
図8は本発明に係る撮像モジュール3の第3の実施形態を示すブロック図である。尚、図6に示した第2の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0058】
図8に示すように、第3の実施形態の撮像モジュール3は、黒レベル加算処理部26の後段にクリップ処理部52が追加されている点で、第2の実施形態と相違する。
【0059】
このクリップ処理部52は、黒レベル加算処理部26から出力されるデジタル画像信号に負の画素値が混在する場合にその負の画素値を0にクリップする。即ち、復元処理前にデジタル画像信号から黒レベルデータを減算するが、黒レベルデータの減算後のデジタル画像信号の復元処理では、マイナスゲインの加算を発生する。この場合、復元処理されたデジタル画像信号に黒レベルデータを加算しても負の値になる可能性がある。焦点深度拡大及び復元系を含まない通常の画像信号の場合には、負の値は取り得ないので、黒レベルデータの加算後に負の値になる画素値は、クリップ処理部52により0にクリップして出力し、異常な画素値が出力されないようにする。
【0060】
図9は第3の実施形態の復元処理ブロック50による復元処理を示すフローチャートである。尚、図7に示した第2の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0061】
クリップ処理部52は、黒レベル加算処理部26により黒レベルデータが加算されたデジタル画像信号の画素値が負か否かを判別する(ステップS40)。そして、画素値が負の場合(「Yes」の場合)には、その画像値を0にクリップして出力し(ステップS42)、画素値が負でない場合(「No」の場合)には、そのまま出力する。
【0062】
[第4の実施形態]
図10は本発明に係る撮像モジュール4の第4の実施形態を示すブロック図である。尚、図6に示した第2の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0063】
図10に示すように、第4の実施形態の撮像モジュール4は、黒レベル減算処理部22と復元処理部24との間にシェーディング補正部62が追加されている点で、第2の実施形態と相違する。
【0064】
このシェーディング補正部62は、黒レベル減算処理部22により黒レベルデータが減算されたデジタル画像信号を、面内のシェーディング補正特性に応じてシェーディング補正するものである。即ち、メモリ部30には、レンズ部10及び撮像素子12のシェーディング特性に応じて画面の位置に対応するシェーディング補正データ(ゲイン)が記憶されており、シェーディング補正部62は、黒レベルデータが減算されたデジタル画像信号に、メモリ部30から読み出したそのデジタル画像信号の面内位置に対応するシェーディング補正ゲインを掛けることによりシェーディング補正を行う。尚、シェーディング補正ゲインを掛ける代わりに、予めシェーディング補正ゲインに基づいてシェーディング補正用の変換テーブルを作成しておき、この変換テーブルを使用してデジタル画像信号を、シェーディング補正後のデジタル画像信号に変換するようにしてもよい。
【0065】
図11は第4の実施形態の復元処理ブロック60による復元処理を示すフローチャートである。尚、図3と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0066】
図11に示すように第4の実施形態では、黒レベル減算処理部22による黒レベル減算処理(ステップS10)と、復元処理部24による復元処理(ステップS12)との間で、シェーディング補正部62によるシェーディング補正を実施するようにしている(ステップS50)。
【0067】
上記の順番で処理することにより、シェーディング補正を正確に行うことができるとともに、レンズ部10及び撮像素子12に起因するシェーディング補正が実施されたデジタル画像信号に復元処理を掛けるので、光学的に精度の高い復元処理が可能になる。
【0068】
[第5の実施形態]
図12は本発明に係る撮像モジュール5の第5の実施形態を示すブロック図である。尚、図6に示した第2の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0069】
図12に示すように、第5の実施形態の撮像モジュール5は、黒レベル減算処理部22と復元処理部24との間に混色補正部72が追加されている点で、第2の実施形態と相違する。
【0070】
この混色補正部72は、黒レベル減算処理部22により黒レベルデータが減算されたデジタル画像信号に含まれる混色成分を補正する部分である。即ち、メモリ部30には、撮像素子12の面内の位置毎に予め設定された混色補正データが記憶されており、混色補正部72は、混色補正時にメモリ部30から読み出した混色補正データを用いて混色成分の補正を行う。
【0071】
図13は第5の実施形態の復元処理ブロック70による復元処理を示すフローチャートである。尚、図3と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0072】
図13に示すように第5の実施形態では、黒レベル減算処理部22による黒レベル減算処理(ステップS10)と、復元処理部24による復元処理(ステップS12)との間で、混色補正部72による混色補正を実施するようにしている(ステップS60)。
【0073】
上記の順番で処理することにより、混色補正を正確に行うことができるとともに、撮像素子12に起因する混色が補正されたデジタル画像信号に復元処理を掛けるので、光学的に精度の高い復元処理が可能になる。
【0074】
[第6の実施形態]
図14は第1の実施形態の撮像モジュール1が適用された撮像装置の一例を示すブロック図である。
【0075】
図14に示す撮像装置100は、図1に示した撮像モジュール1が組み込まれたもので、撮像モジュール以外は通常のデジタルカメラ等と同じ構成を有している。
【0076】
中央処理装置(CPU)102は、操作部104からの操作入力及び所定のプログラムに従って装置全体を統括制御する部分であり、自動露出(AE)演算、ホワイトバランス(WB)調整演算等、各種演算を実施する演算手段としても機能する。
【0077】
CPU102には、バス103及びメモリ・インターフェース106を介してRAM(Random Access Memory)108及びROM(Read Only Memory)110が接続されている。RAM108は、プログラムの展開領域及びCPU102の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ROM110には、CPU102が実行するプログラム及び制御に必要な各種データや、撮像動作に関する各種定数/情報等が格納されている。
【0078】
撮像モジュール1は、CPU102からの指令により撮影動作等を行い、前述したように復元処理ブロック20からRGBのRAWデータを出力する。このRAWデータは、バス103及びメモリI/F106を介してRAM108に一時的に保存される。
【0079】
RAM108に保存されたRGBのRAWデータは、デジタル信号処理部112に入力され、ここで、ノイズリダクション処理、黒レベル減算処理、混色補正、シェーディング補正、ホワイトバランス補正、ガンマ補正、同時化処理、RGB/YC変換処理等の画像処理が施される。
【0080】
また、RAWデータ記録が選択されている場合には、前記RAWデータはRAWファイルのフォーマットで、外部メモリI/F114を介してメモリカード116に記録される。
【0081】
操作部104には、シャッターボタン、撮影モードと再生モードを選択するモード選択スイッチ、表示部(LCD)118にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー等が含まれる。操作部104からの出力信号は、バス103を介してCPU102に入力され、CPU102は操作部104からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。
【0082】
撮像装置100には、被写体にフラッシュ光を照射するためのフラッシュ装置120が含まれ、フラッシュ装置120は、CPU102からの発光指令によって充電部122から電源の供給を受けてフラッシュ光を照射する。
【0083】
デジタル信号処理部112で処理された画像データ(輝度信号Y,色差信号Cr,Cb)は、圧縮伸張処理回路124に与えられ、ここで、所定の圧縮フォーマット(例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、画像ファイル(例えば、JPEGファイル)のフォーマットで、外部メモリI/F114を介してメモリカード116に記録される。
【0084】
また、LCD118には、LCDインターフェース126を介して加えられる画像信号により撮像準備中に映像(ライブビュー画像)が表示され、また、再生モード時にメモリカード116に記録されたJPEGファイル、又はRAWファイルが読み出され、画像が表示される。尚、JPEGファイルに格納された圧縮された画像データは、圧縮伸張処理回路124によって伸張処理が行われてLCD118に出力され、RAWファイルに格納されたRAWデータは、前記デジタル信号処理部112によってRAW現像した後にLCD118に出力される。
【0085】
ここで、デジタル信号処理部112のノイズリダクション処理部では、撮像モジュール1から出力される、黒レベルデータが加算されたRAWデータに対してノイズリダクション処理を行うため、ノイズを良好に除去することができる。また、デジタル信号処理部112では、ノイズリダクション処理後に黒レベル減算処理が行われるが、この黒レベル減算処理を行わずに、ガンマ補正により黒レベル補正を行うようにしてもよい。
【0086】
また、図10に示した第4の実施形態の撮像モジュール4が組み込まれる場合には、撮像モジュール4内でシェーディング補正が行われるため、デジタル信号処理部112ではシェーディング補正が行わないようにシェーディング補正データを設定しておく(例えば、面内の全てのゲインを1に設定しておく)。同様に、図12に示した第5の実施形態の撮像モジュール5が組み込まれる場合には、撮像モジュール5内で混色補正が行われるため、デジタル信号処理部112では混色補正が行わないように混色補正データを設定しておく。
【0087】
[その他]
本発明は第1の実施形態から第5の実施形態の撮像モジュールに限らず、例えば、各実施形態の撮像モジュールの構成要素を適宜組み合わせたものでもよい。
【0088】
また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0089】
1〜5…撮像モジュール、10…レンズ部、10A…撮影レンズ、11…光学フィルタ、12…撮像素子、14…AD変換部、20、40、50、60、70…復元処理ブロック、22…黒レベル減算処理部、24…復元処理部、26…黒レベル加算処理部、30、44…メモリ部、42…黒レベル算出部、52…クリップ処理部、62…シェーディング補正部、72…混色補正部、100…撮像装置、102…中央処理装置(CPU)、112…デジタル信号処理部
【特許請求の範囲】
【請求項1】
位相を変調させる光学フィルタを少なくとも1つ含むレンズ部と、
前記レンズ部を透過した光学像が結像され、該光学像を電気信号に変換する撮像素子と、
前記撮像素子から出力される電気信号を第1のデジタル画像信号に変換して出力するAD変換部と、
復元処理ブロックと、を備え、
前記復元処理ブロックは、
前記AD変換部から第1のデジタル画像信号を入力し、該第1のデジタル画像信号から黒レベルを減算する黒レベル減算処理部と、
前記黒レベルが減算された第1のデジタル画像信号に、前記光学フィルタの位相変調分のデコンボリューション処理を掛ける復元処理部と、
前記復元処理された第1のデジタル画像信号に黒レベルを加算する黒レベル加算処理部と、からなり、
前記復元処理ブロックにより復元処理された第1のデジタル画像信号を第2のデジタル画像信号として出力することを特徴とする撮像モジュール。
【請求項2】
予め黒レベルを記憶するメモリ部を備え、
前記黒レベル減算処理部は、前記第1のデジタル画像信号から前記メモリ部に記憶された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第1のデジタル画像信号に前記メモリ部に記憶された黒レベルを加算することを特徴とする請求項1に記載の撮像モジュール。
【請求項3】
前記AD変換部から出力される第1のデジタル画像信号のうちの前記撮像素子の遮光領域に対応する第1のデジタル信号に基づいて黒レベルを算出する黒レベル算出部を備え、
前記黒レベル減算処理部は、前記第1のデジタル画像信号から前記黒レベル算出部により算出された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第1のデジタル画像信号に前記黒レベル算出部により算出された黒レベルを加算することを特徴とする請求項1に記載の撮像モジュール。
【請求項4】
予め黒レベルを記憶するメモリ部と、前記AD変換部から出力される第1のデジタル画像信号のうちの前記撮像素子の遮光領域に対応する第1のデジタル信号に基づいて黒レベルを算出する黒レベル算出部とを備え、
前記黒レベル減算処理部は、前記第1のデジタル画像信号から前記黒レベル算出部により算出された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第1のデジタル画像信号に前記メモリ部に記憶された黒レベルを加算することを特徴とする請求項1に記載の撮像モジュール。
【請求項5】
前記復元処理ブロックは、前記黒レベル加算処理部により黒レベルが加算された第1のデジタル信号のうち、負になる第1のデジタル信号を0にクリップするクリップ処理部を更に備えたことを特徴とする請求項1から4のいずれかに記載の撮像モジュール。
【請求項6】
前記復元処理ブロックは、前記黒レベル減算処理部により黒レベルが減算された第1のデジタル画像信号を、面内のシェーディング補正特性に応じてシェーディング補正するシェーディング補正部を更に備え、前記復元処理部は、前記シェーディング補正された第1のデジタル画像信号にデコンボリューション処理を掛けることを特徴とする請求項1から5のいずれかに記載の撮像モジュール。
【請求項7】
前記復元処理ブロックは、前記黒レベル減算処理部により黒レベルが減算された第1のデジタル画像信号に含まれる混色成分を補正する混色補正部を更に備え、前記復元処理部は、前記混色補正された第1のデジタル画像信号にデコンボリューション処理を掛けることを特徴とする請求項1から6のいずれかに記載の撮像モジュール。
【請求項8】
前記撮像素子は、画素毎に3原色の原色フィルタが所定のパターンで配列されたカラー撮像素子であり、
前記復元処理ブロックにおける前記第1のデジタル画像信号に対する各処理は、3原色の色毎に行うことを特徴とする請求項1から7のいずれかに記載の撮像モジュール。
【請求項9】
請求項1から8のいずれかに記載の撮像モジュールと、
前記撮像モジュールから出力される第2のデジタル画像信号を受入し、該第2のデジタル画像信号に対して信号処理を行うデジタル信号処理部と、
前記デジタル信号処理部により処理された第2のデジタル画像信号を記録媒体に記録する記録手段と、
を備えたことを特徴とする撮像装置。
【請求項10】
前記デジタル信号処理部は、黒レベルを含むデジタル画像信号に対して信号処理を行うことを特徴とする請求項9に記載の撮像装置。
【請求項11】
位相を変調させる光学フィルタを少なくとも1つ含むレンズ部と、前記レンズ部を透過した光学像が結像され、該光学像を電気信号に変換する撮像素子と、前記撮像素子から出力される電気信号を第1のデジタル画像信号に変換して出力するAD変換部と、復元ブロックとを備えた撮像モジュールの信号処理方法において、
前記復元処理ブロックは、
前記AD変換部から第1のデジタル画像信号を入力し、該第1のデジタル画像信号から黒レベルを減算する黒レベル減算処理工程と、
前記黒レベルが減算された第1のデジタル画像信号に、前記光学フィルタの位相変調分のデコンボリューション処理を掛ける復元処理工程と、
前記復元処理された第1のデジタル画像信号に黒レベルを加算する黒レベル加算処理工程と、を含み、
前記復元処理ブロックにより復元処理された第1のデジタル画像信号を第2のデジタル画像信号として出力することを特徴とする撮像モジュールの信号処理方法。
【請求項1】
位相を変調させる光学フィルタを少なくとも1つ含むレンズ部と、
前記レンズ部を透過した光学像が結像され、該光学像を電気信号に変換する撮像素子と、
前記撮像素子から出力される電気信号を第1のデジタル画像信号に変換して出力するAD変換部と、
復元処理ブロックと、を備え、
前記復元処理ブロックは、
前記AD変換部から第1のデジタル画像信号を入力し、該第1のデジタル画像信号から黒レベルを減算する黒レベル減算処理部と、
前記黒レベルが減算された第1のデジタル画像信号に、前記光学フィルタの位相変調分のデコンボリューション処理を掛ける復元処理部と、
前記復元処理された第1のデジタル画像信号に黒レベルを加算する黒レベル加算処理部と、からなり、
前記復元処理ブロックにより復元処理された第1のデジタル画像信号を第2のデジタル画像信号として出力することを特徴とする撮像モジュール。
【請求項2】
予め黒レベルを記憶するメモリ部を備え、
前記黒レベル減算処理部は、前記第1のデジタル画像信号から前記メモリ部に記憶された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第1のデジタル画像信号に前記メモリ部に記憶された黒レベルを加算することを特徴とする請求項1に記載の撮像モジュール。
【請求項3】
前記AD変換部から出力される第1のデジタル画像信号のうちの前記撮像素子の遮光領域に対応する第1のデジタル信号に基づいて黒レベルを算出する黒レベル算出部を備え、
前記黒レベル減算処理部は、前記第1のデジタル画像信号から前記黒レベル算出部により算出された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第1のデジタル画像信号に前記黒レベル算出部により算出された黒レベルを加算することを特徴とする請求項1に記載の撮像モジュール。
【請求項4】
予め黒レベルを記憶するメモリ部と、前記AD変換部から出力される第1のデジタル画像信号のうちの前記撮像素子の遮光領域に対応する第1のデジタル信号に基づいて黒レベルを算出する黒レベル算出部とを備え、
前記黒レベル減算処理部は、前記第1のデジタル画像信号から前記黒レベル算出部により算出された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第1のデジタル画像信号に前記メモリ部に記憶された黒レベルを加算することを特徴とする請求項1に記載の撮像モジュール。
【請求項5】
前記復元処理ブロックは、前記黒レベル加算処理部により黒レベルが加算された第1のデジタル信号のうち、負になる第1のデジタル信号を0にクリップするクリップ処理部を更に備えたことを特徴とする請求項1から4のいずれかに記載の撮像モジュール。
【請求項6】
前記復元処理ブロックは、前記黒レベル減算処理部により黒レベルが減算された第1のデジタル画像信号を、面内のシェーディング補正特性に応じてシェーディング補正するシェーディング補正部を更に備え、前記復元処理部は、前記シェーディング補正された第1のデジタル画像信号にデコンボリューション処理を掛けることを特徴とする請求項1から5のいずれかに記載の撮像モジュール。
【請求項7】
前記復元処理ブロックは、前記黒レベル減算処理部により黒レベルが減算された第1のデジタル画像信号に含まれる混色成分を補正する混色補正部を更に備え、前記復元処理部は、前記混色補正された第1のデジタル画像信号にデコンボリューション処理を掛けることを特徴とする請求項1から6のいずれかに記載の撮像モジュール。
【請求項8】
前記撮像素子は、画素毎に3原色の原色フィルタが所定のパターンで配列されたカラー撮像素子であり、
前記復元処理ブロックにおける前記第1のデジタル画像信号に対する各処理は、3原色の色毎に行うことを特徴とする請求項1から7のいずれかに記載の撮像モジュール。
【請求項9】
請求項1から8のいずれかに記載の撮像モジュールと、
前記撮像モジュールから出力される第2のデジタル画像信号を受入し、該第2のデジタル画像信号に対して信号処理を行うデジタル信号処理部と、
前記デジタル信号処理部により処理された第2のデジタル画像信号を記録媒体に記録する記録手段と、
を備えたことを特徴とする撮像装置。
【請求項10】
前記デジタル信号処理部は、黒レベルを含むデジタル画像信号に対して信号処理を行うことを特徴とする請求項9に記載の撮像装置。
【請求項11】
位相を変調させる光学フィルタを少なくとも1つ含むレンズ部と、前記レンズ部を透過した光学像が結像され、該光学像を電気信号に変換する撮像素子と、前記撮像素子から出力される電気信号を第1のデジタル画像信号に変換して出力するAD変換部と、復元ブロックとを備えた撮像モジュールの信号処理方法において、
前記復元処理ブロックは、
前記AD変換部から第1のデジタル画像信号を入力し、該第1のデジタル画像信号から黒レベルを減算する黒レベル減算処理工程と、
前記黒レベルが減算された第1のデジタル画像信号に、前記光学フィルタの位相変調分のデコンボリューション処理を掛ける復元処理工程と、
前記復元処理された第1のデジタル画像信号に黒レベルを加算する黒レベル加算処理工程と、を含み、
前記復元処理ブロックにより復元処理された第1のデジタル画像信号を第2のデジタル画像信号として出力することを特徴とする撮像モジュールの信号処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−23675(P2012−23675A)
【公開日】平成24年2月2日(2012.2.2)
【国際特許分類】
【出願番号】特願2010−161951(P2010−161951)
【出願日】平成22年7月16日(2010.7.16)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成24年2月2日(2012.2.2)
【国際特許分類】
【出願日】平成22年7月16日(2010.7.16)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]