説明

撮像モジュールおよび画像信号処理方法

【課題】光源に応じてR,G,またはBの画像信号を選択し、選択された色の画像信号について復元処理を行う。
【解決手段】ホワイトバランス検出判定部21は、色分布の範囲が所定の通常範囲以内であるか否かを判断する。Yesの場合はS5、Noの場合はS6に進む。S5では、復元基本色制御部24は、復元基本色をGに設定するよう画像復元処理部25を制御する。S6では、ホワイトバランス検出判定部21は、R信号とB信号のいずれの信号が強いかを判断する。R信号が強い場合はS7、B信号が強い場合はS8に進む。S7では、復元基本色制御部24は、復元基本色をRに設定するよう画像復元処理部25を制御する。S8では、復元基本色制御部24は、復元基本色をBに設定するよう画像復元処理部25を制御する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像モジュールおよび画像信号処理方法に係り、特にメカ的に焦点調節を行う焦点調節機構を省略し、かつ高解像度の画像信号を得る技術に関する。
【背景技術】
【0002】
従来、撮影光学系の光路中に位相を変調させる光波面変調素子を挿入することにより焦点深度を拡大し、焦点深度の拡大によりぼけた画像(大きな点像)に、復元処理パラメータを有するカーネルによるデコンボリューション処理を掛けることより高解像度の画像(小さな点像)に復元するようにした撮像装置が提案されている(特許文献1・2)。この撮像素子は、光波面変調素子を含む光学系と、光学系を通過した被写体像を撮像する撮像素子と、撮像素子からの被写体の画像データに対して所定の処理を施す画像処理装置と、を有し、画像処理装置は、選択した特定領域の分散画像を分散のない画像信号として復元する。
【0003】
光波面変調素子は、例えば、3次元的曲面を有し、物体側レンズと結像レンズ間に配置され、結像レンズによる撮像素子の受光面への結像の波面を変形させる位相板である。あるいは、光波面変調素子の他の例として、屈折率が変化する光学素子(たとえば屈折率分布型波面変調レンズ)、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子(たとえば、波面変調ハイブリッドレンズ)などがある。
【0004】
デフォーカス量が不明なため、ピントが合っていてもいなくてもPSFが同じような広がりを有するようにした特殊な光学系は、EDof(Extended Depth of Field、拡大された焦点深度)と呼ばれる(特許文献3)。
【0005】
特許文献4〜10は光源推定およびホワイトバランス補正の一例を示す。特許文献10では、代表値算出部は、画像データの一画面を、例えば、水平方向に8つ、垂直方向に6つといった複数(8×6)のブロックに分割し、各ブロックの映像信号の代表値を算出する。かかるブロックの代表値は、各ブロックに含まれる画素のR信号成分、G信号成分、B信号成分の積算値と、各色信号成分の分散値とからなる。分散値は、輝度信号の大きさの2乗に比例して大きくなるため、算出するにあたっては各色信号成分の正規化が必要となる。また、R信号成分、G信号成分、B信号成分の平均値であってもよい。軸変換部は、代表値算出部で算出された代表値を軸変換し、所定の平面(B/G−R/G平面をさらに軸変換した平面)に配する。かかる軸変換は、B/G−R/G平面における、黒体放射の分光分布特性および対象となる撮像装置の分光分布特性を反映した黒体放射軌跡に対する差分(例えば平均二乗誤差)が最小となる近似関数を一次関数に置換する変換である。
【0006】
特許文献11は支配色検出の一例を示す。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2006-094470号公報
【特許文献2】特開2007-181193号公報
【特許文献3】特開2008-268869号公報
【特許文献4】特開2009-27259号公報
【特許文献5】特開2008-17198号公報
【特許文献6】特開2007-74379号公報
【特許文献7】特開2006-222672号公報
【特許文献8】特開2006-217169号公報
【特許文献9】特開2004-349931号公報
【特許文献10】特開2010-21883号公報
【特許文献11】特開2009-278227号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
焦点深度の拡大は、撮像素子から出力される信号の復元により実現される。復元処理は、主に画像のボケを取り除く処理であるため、輝度信号に対して行われることが望ましいと考えられるが、そのためには各画素に対応する輝度信号を補間処理で生成する必要があるため、撮像モジュールに搭載することが難しい。
【0009】
あるいは、ベイヤ配列の撮像素子の場合、G画素はRB画素の2倍あり、復元処理は、主に画像のボケを取り除く処理であるため、G画素からのG信号に対して行われることが望ましいと考えられる。しかし、色温度が極端に高い、あるいは極端に低い光源下で撮像された画像信号を復元する場合、G画素の画像信号のノイズがRB画素より多くなり、復元すべき画像信号がノイズに埋もれてしまって、復元処理に支障をきたす。
【0010】
本発明はこのような事情に鑑みてなされたもので、光源に応じてR,G,またはBの画像信号を選択し、選択された色の画像信号について復元処理を行うことを目的とする。
【課題を解決するための手段】
【0011】
本発明は、所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、所定の結像面にベイヤ配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、レンズ部を介して所定の結像面に結像された光学像を、各画素により光電変換することで、各画素に対応する赤、青および緑のアナログ画像信号を出力することが可能な撮像素子と、撮像素子から出力される画素ごとのアナログ画像信号を、画素ごとのデジタル画像信号に変換して出力するAD変換部と、AD変換部から出力された画像信号に基づき、ホワイトバランスを検出するホワイトバランス検出部と、ホワイトバランス検出部の検出したホワイトバランスに基づき、赤、青および緑の画像信号の中から、復元処理を施す画像信号を選択する復元基本色制御部と、復元基本色制御部の選択した画像信号から、光学的位相変調手段による被写体像の劣化を除去する復元処理を施す復元処理部と、を備える撮像モジュールを提供する。
【0012】
復元基本色制御部は、ホワイトバランス検出部の検出したホワイトバランスが所定の範囲内である場合、復元処理を施す画像信号として緑の画像信号を選択する。
【0013】
復元基本色制御部は、ホワイトバランス検出部の検出したホワイトバランスが所定の範囲外である場合、復元処理を施す画像信号として赤および青の画像信号のうちより強い画像信号を選択する。
【0014】
AD変換部から出力された画像信号に基づき、光源色を検出する光源色検出部と、AD変換部から出力された画像信号に基づき、主要被写体の支配色を検出する支配色検出部を備え、復元基本色制御部は、ホワイトバランス検出部の検出したホワイトバランスが所定の範囲内であり、かつ光源色検出部の検出した光源色と支配色検出部の検出した主要被写体の支配色とが一致する場合、復元処理を施す画像信号として緑の画像信号を選択する。
【0015】
光源色検出部の検出した光源色と支配色検出部の検出した主要被写体の支配色とが不一致の場合、復元処理を施す画像信号として光源色以外の支配色に対応する画像信号のうちより強い画像信号を選択する。
【0016】
本発明は、所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、所定の結像面にベイヤ配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、レンズ部を介して所定の結像面に結像された光学像を、各画素により光電変換することで、各画素に対応する赤、青および緑のアナログ画像信号を出力することが可能な撮像素子と、を備えた撮像モジュールが、撮像素子から出力される画素ごとのアナログ画像信号を、画素ごとのデジタル画像信号に変換して出力するステップと、出力された画像信号に基づき、ホワイトバランスを検出するステップと、検出したホワイトバランスに基づき、赤、青および緑の画像信号の中から、復元処理を施す画像信号を選択するステップと、選択した画像信号から、光学的位相変調手段による被写体像の劣化を除去する復元処理を施すステップと、を実行する画像信号処理方法を提供する。
【発明の効果】
【0017】
本発明によると、ホワイトバランスに基づいて復元処理を施す画像信号を選択し、選択された画像信号から、光学的位相変調手段による被写体像の劣化を除去する復元処理を施す。このため、光源に応じた最適な復元処理を実行でき、光源による復元画像の画質への影響を極力少なくすることができる。
【図面の簡単な説明】
【0018】
【図1】第1の実施形態の撮像モジュールのブロック図
【図2】レンズ部の光学系の一例を示す図
【図3】第1の実施形態の復元処理を示すフローチャート
【図4】第2の実施形態の撮像モジュールのブロック図
【図5】第2の実施形態の復元処理を示すフローチャート
【図6】撮像装置の一例を示すブロック図
【発明を実施するための形態】
【0019】
[第1の実施形態]
図1は本発明に係る撮像モジュール1の第1の実施形態を示すブロック図である。
【0020】
図1に示すように、撮像モジュール1は、レンズ部10と、撮像素子12と、AD変換部14と、復元処理ブロック20と、デモザイク信号処理部26とから構成されている。
【0021】
図2はレンズ部10の光学系の一例を示す図である。レンズ部10は、図2に示すように単焦点の固定された撮影レンズ10Aと、瞳位置に挿入される光学フィルタ11とから構成されている。光学フィルタ11は、位相を変調させるもので、拡大された焦点深度(Extended Depth Of Focus:EDoF)が得られるように撮影レンズをEDoF化させる。
【0022】
なお、光学フィルタ11の近傍には、図示しない絞りが配設されている。また、光学フィルタ11は、1枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ11は、光学的位相変調手段の一例にすぎず、その他のもの、例えば特許文献1のような各種の光波面変調素子が採用されてもよい。
【0023】
このレンズ部10は、メカ的に焦点調節を行う焦点調節機構を省略することができ、小型化が可能であり、カメラ付き携帯電話や携帯情報端末に搭載されるものとして好適である。
【0024】
EDoF化されたレンズ部10を透過した光学像は、撮像素子12に結像され、ここで電気信号に変換される。
【0025】
撮像素子12は、画素ごとに赤(R)、緑(G)、青(B)の3原色の原色フィルタがベイヤ型に配列されたカラー撮像素子であり、C−MOSイメージセンサまたはCCDイメージセンサにより構成されている。ベイヤ配列は、半導体基板表面部に正方格子状に形成された各画素(フォトダイオード)の上に、赤色(R,r),緑色(G,g),青色(B,b)の三原色系のカラーフィルタを配列するに際し、赤色と緑色の各フィルタを交互に配列した行と、緑色と青色の各フィルタを交互に配列した行とを、列方向に交互に設ける構成である。
【0026】
レンズ部10を介して撮像素子12の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたR・G・Bの信号電荷は、画素ごとの電圧信号(画像信号)として順次出力される。
【0027】
AD変換部14は、撮像素子12から画素ごとに出力されるアナログのR・G・B画像信号をデジタルのRGB画像信号に変換する。AD変換部14によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック20に加えられる。復元処理ブロック20から出力された画像信号は、デモザイク信号処理部26に加えられる。デモザイク信号処理部26は、モザイク状の画像データから欠落した色成分を補って、RGBの各成分がそろった画像信号であるRAWデータを生成するデモザイク処理を行う。
【0028】
復元処理ブロック20は、主として、ホワイトバランス検出判定部21、撮像素子色特性記憶部22、復元基本色制御部24、画像復元処理部25を含む。
【0029】
ホワイトバランス検出判定部21は、撮像素子色特性記憶部22に記憶された撮像素子の色特性に基づき、AD変換部14から入力された画像信号から、ホワイトバランスを検出する。
【0030】
復元基本色制御部24は、判定された支配色に対応する復元基本色(R,G,Bのいずれか)を設定するよう画像復元処理部25を制御する。
【0031】
画像復元処理部25は、復元基本色の画像信号について、復元処理の必要なブロックの分散画像信号を分散のない画像信号として復元する復元処理を施す。例えば、特許文献1・2に記載のように、復元処理では、1次画像の空間周波数における変調伝達関数(MTF:Modulation Transfer Function)を持ち上げ、位相板を用いない場合のMTF特性に近づける補正を行い、高精細な最終画像を形成する処理が行われる。復元された画像信号はデモザイク信号処理部26に出力される。なお、画像復元処理部25は、復元処理の対象外の色の画像信号を、そのままデモザイク信号処理部26に入力する。
【0032】
次に、復元処理ブロック20による復元処理について説明する。図3は第1の実施形態
の復元処理ブロック20による復元処理を示すフローチャートである。この処理は静止画撮影モードの選択に応じて開始される。
【0033】
S1では、AD変換部14からホワイトバランス検出判定部21と画像復元処理部25にデジタル画像信号が加えられる。
【0034】
S2では、ホワイトバランス検出判定部21は、レンズ部10の分光分布など撮像モジュール1自体の分光分布特性を撮像素子色特性記憶部22などから取得する。この分光分布特性は、次ステップのホワイトバランス検出に必要となる。特定の光源色に対して、色ごとにどのような信号を出力するかは、撮像素子12の色特性に依存するからである。
【0035】
S3では、ホワイトバランス検出判定部21は、画像信号の画面を複数のエリアに分割し、各エリアのR、G、B信号からなる3原色信号の代表値を算出し、代表値をそれぞれ軸変換し所定の平面に配する。ここで、特許文献10と同様、レンズ部10の分光分布など撮像モジュール1自体の分光分布特性を反映した軸変換が行われてもよい。
【0036】
ホワイトバランス検出には次の処理が含まれる。まず、ホワイトバランス検出判定部21は、分割エリアごとのR、G、B信号の色別の積算値を求める。次に、ホワイトバランス検出判定部21は、分割エリアごとに、R信号の積算値Rt’とG信号の積算値Gt’との比Rt’/Gt’、B信号の積算値とG信号の積算値との比Bt’/Gt’を求める。そして、ホワイトバランス検出判定部21は、各分割エリアに対応する(Rt’/Gt’,Bt’/Gt’)をR/G(X)−B/G(Y)色平面にプロットする。これを色分布と呼ぶ。
【0037】
S4では、ホワイトバランス検出判定部21は、色分布の範囲が所定の通常範囲以内であるか否かを判断する。例えばこの通常範囲は、色平面の(1,1)を中心とした所定半径の円内である。Yesの場合はS5、Noの場合はS6に進む。例えば、所定の通常範囲とは、下限のタングステン光の色温度(3200K)から、上限の太陽光の色温度(6500K)までである。
【0038】
S5では、復元基本色制御部24は、復元基本色をGに設定するよう画像復元処理部25を制御する。画像復元処理部25は、AD変換部14から加えられた画像信号のうち、設定された復元基本色のG信号のみに復元処理を施す。
【0039】
S6では、ホワイトバランス検出判定部21は、R信号とB信号の強度を比較し、R信号とB信号のいずれの信号が強いかを判断する。R信号が強い場合はS7、B信号が強い場合はS8に進む。上記ホワイトバランス検出において、検出された色温度が通常範囲より高い場合はBが強く、通常範囲より低い場合はRが強くなる。
【0040】
S7では、復元基本色制御部24は、復元基本色をRに設定するよう画像復元処理部25を制御する。画像復元処理部25は、復元基本色のR信号のみに復元処理を施す。
【0041】
S8では、復元基本色制御部24は、復元基本色をBに設定するよう画像復元処理部25を制御する。画像復元処理部25は、復元基本色のB信号のみに復元処理を施す。
【0042】
S9では、デモザイク信号処理部は、画像復元処理部25からの画像信号(復元後の画像信号と復元の対象外の画像信号の両方が含まれる)がデモザイク信号処理部26に入力され、デモザイク処理が施され、RAWデータが出力される。
【0043】
S10では、画像出力処理の終了が外部の指示手段(ユーザ操作手段やCPUなど)から指示されたか否かが判断され、指示があった場合は本処理を終了する。指示がない場合はS1に戻り、次に取得された画像信号について処理が繰り返される。
【0044】
なお、復元基本色以外の色の画像信号についての復元処理は実施されてもよいしされなくてもよい。実施する場合は、復元基本色の画像信号と同じ復元処理パラメータ(ゲイン)を復元基本以外の色の画像信号に適用すれば、処理が簡略化される。
【0045】
以上の処理により、撮像素子12の画像信号から色分布が取得され、色分布が通常の範囲内であれば、G信号に復元処理が施され、色分布が通常の範囲内でなければ、R信号またはB信号に復元処理が施される。これにより、光源による復元画質への影響を極力少なくでき、かつ、R,G,B信号の全てにそれぞれ異なる復元パラメータで復元処理を実施する場合に比して処理が高速化する。
【0046】
[第2の実施形態]
図4は本発明に係る撮像モジュール2の第2の実施形態を示すブロック図である。なお、図1に示した第1の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0047】
図4に示すように、第2の実施形態の撮像モジュール2は、シーン検出部23を備えている。
【0048】
図5は第2の実施形態の復元処理ブロック40による復元処理を示すフローチャートで
ある。第1実施形態と同様の処理ステップについての説明は省略する。
【0049】
S20〜S23はS1〜4と同様である。
【0050】
S24では、シーン検出部23は、画像信号から光源色を検出する。光源色の検出は従来技術、例えば特許文献4と同様にして行われる。またシーン検出部23は、支配色を検出する。例えば、シーン検出部23は、AD変換部14からの画像信号のうち、予め定められた主要被写体の存在範囲からの画像信号、例えば画面中央領域の画素の画像信号に基づいて色相のヒストグラムを作成し、ヒストグラムのピークの色相を主要被写体の支配色として検出する。あるいは、顔、人物、動物などの特定被写体を検出しているのであれば、検出した特定被写体に対応する範囲の画像信号に基づいて色相のヒストグラムを作成し、ヒストグラムのピークの色相を主要被写体の支配色として検出する。そして、シーン検出部23は、検出された光源色と主要被写体の支配色とを比較し、両者が一致している通常シーンであるか否かを判断する。Yesの場合はS25、Noの場合はS28に進む。
【0051】
S25はS5と同様である。
【0052】
S26では、S24と同様の判断を行う。Yesの場合はS27、Noの場合はS28に進む。
【0053】
S27はS6と同様である。
【0054】
S28では、シーン検出部23は、検出された主要被写体の支配色がBであるかRであるかを判断する。主要被写体の支配色がRの場合はS29、主要被写体の支配色がBの場合はS30に進む。
【0055】
S29〜S32はS7〜S10と同様である。
【0056】
以上の処理により、ホワイトバランスの偏りと主要被写体の色の偏りが異なっていれば、その主要被写体の支配色のみに復元処理を施す。例えば、ホワイトバランスがBに偏っていても、主要被写体の色がRに偏っていれば、その主要被写体の支配色の画像信号Rのみに復元処理を施す。これにより、主要被写体について適切かつ高速な復元処理を行うことができる。
【0057】
[第3の実施形態]
図6は撮像モジュール1が適用された撮像装置の一例を示すブロック図である。
【0058】
図6に示す撮像装置100は、図1に示した撮像モジュール1が組み込まれたもので、撮像モジュール以外は通常のデジタルカメラ等と同じ構成を有している。
【0059】
中央処理装置(CPU)102は、操作部104からの操作入力および所定のプログラムに従って装置全体を統括制御する部分であり、自動露出(AE)演算、ホワイトバランス(WB)調整演算、顔、人物、動物などの特定被写体の検出等、各種演算を実施する演算手段としても機能する。
【0060】
CPU102には、バス103およびメモリ・インターフェース106を介してRAM(Random Access Memory)108およびROM(Read Only Memory)110が接続されている。RAM108は、プログラムの展開領域およびCPU102の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ROM110には、CPU102が実行するプログラムおよび制御に必要な各種データや、撮像動作に関する各種定数/情報等が格納されている。CPU102が上記第1〜2の実施形態の復元処理の流れを制御するプログラムは、ROM110に記憶されている。
【0061】
撮像モジュール1は、CPU102からの指令により撮影動作等を行い、RGBのRAWデータを出力する。このRAWデータは、バス103およびメモリI/F106を介してRAM108に一時的に保存される。
【0062】
RAM108に保存されたRGBのRAWデータは、デジタル信号処理部112に入力され、各種の画像処理が施される。画像処理は、ガンマ補正、コントラスト調整処理、シャープネス調整処理、ノイズリダクション処理、色補正処理、YC変換などの各種の処理が含まれる。
【0063】
また、RAWデータ記録が選択されている場合には、RAWデータはRAWファイルのフォーマットで、外部メモリI/F114を介してメモリカード116に記録される。
【0064】
操作部104には、シャッターボタン、撮影モードと再生モードを選択するモード選択スイッチ、表示部(LCD)118にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー等が含まれる。操作部104からの出力信号は、バス103を介してCPU102に入力され、CPU102は操作部104からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。
【0065】
撮像装置100には、被写体にフラッシュ光を照射するためのフラッシュ装置120が含まれ、フラッシュ装置120は、CPU102からの発光指令によって充電部122から電源の供給を受けてフラッシュ光を照射する。
【0066】
デジタル信号処理部112で処理された画像データ(静止画または動画)は、画像記録部31に与えられ、ここで、所定の圧縮フォーマット(例えば、JPEG方式やMPEG方式) に従って圧縮される。圧縮された画像データは、画像ファイル(例えば、JPEGファイルやMPEGファイル)のフォーマットで、外部メモリI/F114を介してメモリカード116に記録される。
【0067】
また、LCD118には、LCDインターフェース126を介して加えられる動画信号により撮像準備中に映像(スルー画像)が表示され、また、再生モード時にメモリカード116に記録されたJPEGファイル、MPEGファイル、RAWファイルなどの画像ファイルが読み出され、画像が表示される。なお、JPEGファイルやMPEGファイルに格納された圧縮画像データは、圧縮伸張処理回路124によって伸張処理が行われてLCD118に出力され、RAWファイルに格納されたRAWデータは、デジタル信号処理部112によってRAW現像した後にLCD118に出力される。
【0068】
なお、図示は省略するが、撮像装置100は、撮像モジュール1の代わりに撮像モジュール2を有していてもよい。
【符号の説明】
【0069】
1・2…撮像モジュール、10…レンズ部、10A…撮影レンズ、11…光学フィルタ、12…撮像素子、14…AD変換部、20…復元処理ブロック、21…ホワイトバランスブロック検出判定部、22…撮像素子色特性記憶部、23…シーン検出部、24…復元基本色制御部、25…画像復元処理部

【特許請求の範囲】
【請求項1】
所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、
所定の結像面にベイヤ配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、前記レンズ部を介して前記所定の結像面に結像された光学像を、前記各画素により光電変換することで、前記各画素に対応する赤、青および緑のアナログ画像信号を出力することが可能な撮像素子と、
前記撮像素子から出力される画素ごとのアナログ画像信号を、画素ごとのデジタル画像信号に変換して出力するAD変換部と、
前記AD変換部から出力された画像信号に基づき、ホワイトバランスを検出するホワイトバランス検出部と、
前記ホワイトバランス検出部の検出したホワイトバランスに基づき、前記赤、青および緑の画像信号の中から、復元処理を施す画像信号を選択する復元基本色制御部と、
前記復元基本色制御部の選択した画像信号から、前記光学的位相変調手段による被写体像の劣化を除去する復元処理を施す復元処理部と、
を備える撮像モジュール。
【請求項2】
前記復元基本色制御部は、前記ホワイトバランス検出部の検出したホワイトバランスが所定の範囲内である場合、前記復元処理を施す画像信号として前記緑の画像信号を選択する請求項1に記載の撮像モジュール。
【請求項3】
前記復元基本色制御部は、前記ホワイトバランス検出部の検出したホワイトバランスが所定の範囲外である場合、前記復元処理を施す画像信号として前記赤および青の画像信号のうちより強い画像信号を選択する請求項2に記載の撮像モジュール。
【請求項4】
前記AD変換部から出力された画像信号に基づき、光源色を検出する光源色検出部と、
前記AD変換部から出力された画像信号に基づき、主要被写体の支配色を検出する支配色検出部を備え、
前記復元基本色制御部は、前記ホワイトバランス検出部の検出したホワイトバランスが所定の範囲内であり、かつ前記光源色検出部の検出した光源色と前記支配色検出部の検出した主要被写体の支配色とが一致する場合、前記復元処理を施す画像信号として前記緑の画像信号を選択する請求項3に記載の撮像モジュール。
【請求項5】
前記光源色検出部の検出した光源色と前記支配色検出部の検出した主要被写体の支配色とが不一致の場合、前記復元処理を施す画像信号として前記光源色以外の支配色に対応する画像信号のうちより強い画像信号を選択する請求項4に記載の撮像モジュール。
【請求項6】
所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、所定の結像面にベイヤ配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、前記レンズ部を介して前記所定の結像面に結像された光学像を、前記各画素により光電変換することで、前記各画素に対応する赤、青および緑のアナログ画像信号を出力することが可能な撮像素子と、を備えた撮像モジュールが、
前記撮像素子から出力される画素ごとのアナログ画像信号を、画素ごとのデジタル画像信号に変換して出力するステップと、
前記出力された画像信号に基づき、ホワイトバランスを検出するステップと、
前記検出したホワイトバランスに基づき、前記赤、青および緑の画像信号の中から、復元処理を施す画像信号を選択するステップと、
前記選択した画像信号から、前記光学的位相変調手段による被写体像の劣化を除去する復元処理を施すステップと、
を実行する画像信号処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−49761(P2012−49761A)
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願番号】特願2010−189116(P2010−189116)
【出願日】平成22年8月26日(2010.8.26)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】