説明

画像撮像装置

【課題】 EDoF復元処理を行う画像撮像装置において、撮影状況に関わらず正確な復元処理を行なえるようにする。
【解決手段】 EDoF復元処理を行ったとしても効果があまり見込めない低輝度領域102では、デジタル画像信号に対するEDoF復元処理を省略し、デジタル画像信号の輝度値の変化に対してPSFの変化が大きい中間輝度領域103では、デジタル画像信号の輝度値に基づいて新たに生成した復元フィルタを用いてデジタル画像信号に対してEDoF復元処理を施し、デジタル画像信号の輝度値の変化に対してPSFの変化が小さい高輝度領域104では、予め用意された復元フィルタを用いてデジタル画像信号に対してEDoF復元処理を施し、光学系における位相変調領域が全く使用されない領域101では、デジタル画像信号の輝度値に関わらず、EDoF復元処理は行なわないようにする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置に関する。
【背景技術】
【0002】
従来より、レンズ光学系の光学伝達関数が焦点位置からある程度の範囲内で本質的に一定となるように、光軸方向における予め定められた物体距離の範囲にわたって撮像素子が設けられた位置における光学伝達関数(OTF:Optical Transfer Function)を略一定にする光学フィルタを設けるとともに、撮影により取得した画像データの点像分布関数(PSF:Point Spread Function)特性とは逆の特性を持つ復元フィルタに通す処理を行うことにより、焦点位置からある程度の範囲内で合焦状態となった画像を取得可能なEDoF(被写界深度拡大、Extended Depth of Field)機能が提案されている。(例えば特許文献1、2)
このようなEDoF機能を備えた画像撮像装置の場合、取得画像におけるPSFを正確に反映した復元フィルタを用いないと正確な復元処理を行うことはできないが、実際には
絞りの大きさや撮影時に取得した画像信号の輝度値によってPSFが変化するため、撮影状況に関わらず正確な復元処理を行うことは困難である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−181367号公報
【特許文献2】特開2009−134023号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような問題を解消するため、特許文献1および2では、絞りの大きさによって変化するPSFを考慮した復元処理を行うようにしているが、実際には絞りの大きさが変わらなくても取得画像におけるPSFが変化する場合があるので、特許文献1および2の処理だけでは不十分である。
【0005】
本発明は、上記事情に鑑みてなされたものであり、EDoF復元処理を行う画像撮像装置において、撮影状況に関わらず正確な復元処理を行うことが可能な画像撮像装置を提供することを目的とするものである。
【課題を解決するための手段】
【0006】
本発明の画像撮像装置は、被写体を撮像して画素毎にアナログ画像信号を取得する撮像素子と、アナログ画像信号をAD変換して画素毎にデジタル画像信号を生成するAD変換手段と、被写体と撮像素子の間に配された絞りと、被写体と撮像素子の間に配され、光軸と直交する方向において、所定の点像分布関数(PSF:Point Spread Function)特性となるように入射光の位相に対して変調を施す位相変調領域、および入射光の位相に対して変調を施さない非位相変調領域を有する位相変調手段を備え、被写体からの光を結像して撮像素子に受光させる光学系と、デジタル画像信号に対して変調に対応する復元処理を施す復元処理手段とを備え、復元処理手段が、絞りの大きさおよびデジタル画像信号の輝度値に応じて画素毎に復元処理の内容を変更するものであることを特徴とするものである。
【0007】
本発明の画像撮像装置において、復元処理手段は、予め取得した代表的な点像分布関数のピーク値がデジタル画像信号の輝度値と等しくなるように点像分布関数全体を補正し、補正後の点像分布関数に基づいて作成した復元フィルタを用いて復元処理を行うものとしてもよい。
【0008】
このとき、復元処理手段は、点像分布関数のピーク値がデジタル画像信号の輝度値と等しくなるように点像分布関数全体を補正する際に、AD変換のスケールにおける小数点以下を切り捨てて処理を行うものとすることが好ましい。
【0009】
また、復元処理手段は、デジタル画像信号の輝度値が第1の閾値よりも低い場合に、デジタル画像信号に対する復元処理を省略するものとしてもよい。
【0010】
また、復元処理手段は、デジタル画像信号の輝度値が第2の閾値よりも高い場合に、予め用意された復元フィルタを用いてデジタル画像信号に対して復元処理を施すものとしてもよい。なお、第1の閾値よりも第2の閾値の方が高い輝度値とする。
【0011】
また、位相変調手段は、光軸の近傍に非位相変調領域を有し、非位相変調領域の外側に位相変調領域を有するものとしてもよい。
【発明の効果】
【0012】
本発明の画像撮像装置によれば、EDoF復元処理を行う画像撮像装置において、絞りの大きさおよびデジタル画像信号の輝度値に応じて画素毎に復元処理の内容を変更するようにしたので、撮影状況に関わらず正確な復元処理を行うことが可能となる。
【0013】
また、復元処理手段を、予め取得した代表的な点像分布関数のピーク値がデジタル画像信号の輝度値と等しくなるように点像分布関数全体を補正し、補正後の点像分布関数に基づいて作成した復元フィルタを用いて復元処理を行うものとすれば、デジタル画像信号の輝度値の変化を反映した適切な復元処理を行うことが可能となる。
【0014】
このとき、復元処理手段を、点像分布関数のピーク値がデジタル画像信号の輝度値と等しくなるように点像分布関数全体を補正する際に、AD変換のスケールにおける小数点以下を切り捨てて処理を行うものとすれば、撮影により取得したアナログ画像信号をAD変換する際の量子化誤差分まで反映した補正を行うことができるので、より正確に復元処理を行うことが可能となる。
【0015】
また、一般に、デジタル画像信号の輝度値がある程度以上低い領域では、点像に対するフレア成分が低すぎてほとんど検出できないため、復元処理を行ったとしても効果はあまり見込めない。従って、復元処理手段は、デジタル画像信号の輝度値が第1の閾値よりも低い場合に、デジタル画像信号に対する復元処理を省略するものとすれば、不要な計算コストの増加を抑えることができる。
【0016】
また、一般に、デジタル画像信号の輝度値がある程度以上高い領域では、デジタル画像信号の輝度値の変化に対して点像分布関数の変化が小さくなるので、このような領域において、上記のように予め取得した代表的な点像分布関数のピーク値をデジタル画像信号の輝度値と等しくなるように補正し、補正後の点像分布関数に基づいて作成した復元フィルタを用いて復元処理を行うようにすると、不要な計算コストの増加を招くので好ましくない。従って、復元処理手段は、デジタル画像信号の輝度値が第2の閾値よりも高い場合に、予め用意された復元フィルタを用いてデジタル画像信号に対して復元処理を施すものとすれば、不要な計算コストの増加を招くことなく、適切な処理を行うことができる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施の形態にかかる画像撮像装置の構成を示すブロック図
【図2】上記画像撮像装置における光学系の縦収差を示す図
【図3】上記画像撮像装置における絞りと光学系との関係を示す図
【図4】上記画像撮像装置における絞りの状態と点像分布関数との関係を示す図
【図5】上記画像撮像装置における絞りの大きさとデジタル画像信号の輝度値との関係を示す図
【図6】図5における領域102のPSFの一例を示す図
【図7】図5における領域103のPSFの一例を示す図
【図8】図5における領域104のPSFの一例を示す図
【図9】図5における各領域のMTFを示す図
【図10】上記画像撮像装置における復元処理時の処理を示すフローチャート(1)
【図11】上記画像撮像装置における復元処理時の処理を示すフローチャート(2)
【発明を実施するための形態】
【0018】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図1は本発明の一実施の形態にかかる画像撮像装置の構成を示すブロック図、図2は上記画像撮像装置における光学系の縦収差を示す図、図3は上記画像撮像装置における絞りと光学系との関係を示す図、図4は上記画像撮像装置における絞りの状態と点像分布関数との関係を示す図である。
【0019】
画像撮像装置10は、絞り11、この絞り11を制御して絞りの大きさを調節する絞り制御部12、被写体5から来た光を撮像素子14上に結像するための光学系13、被写体を撮像して画素毎にアナログ画像信号を取得する撮像素子14、アナログ画像信号をAD変換して画素毎にデジタル画像信号を生成するAD変換部15、デジタル画像信号に対してEDoF復元処理を行う復元処理部16、デジタル画像信号の輝度値を検出する輝度信号検出部17、デジタル画像信号の輝度値に基づいてEDoF復元処理における復元フィルタを生成する復元フィルタ生成部18、デジタル画像信号に対して種々の画像処理を施す画像処理部19、記録媒体にデジタル画像信号を記録する画像記録部20、デジタル画像信号を表示するモニタ等の画像表示部21より構成される。なお、本発明の復元処理手段は、復元処理部16、輝度信号検出部17および復元フィルタ生成部18から構成される。
【0020】
また、上記以外にも、光軸と直交する方向において、図2に示すように領域A、B、Cで異なる光学伝達関数(OTF:Optical Transfer Function)を有し、入射光の位相に対して変調を施す位相変調領域、および入射光の位相に対して変調を施さない非位相変調領域を有する位相変調手段を備えている。
【0021】
光学系13は、図3に示すように、レンズと位相変調手段とが一体的に構成されており、レンズが、中央部(図中領域C)は非位相変調領域としてレンズの本来の光学特性を有し、周辺部(図中領域AおよびB)は位相変調領域としてレンズの本来の光学特性および所定の位相変調特性を併せて有するものである。なお、領域AとBは異なる位相変調特性を有するものである。このレンズは、具体的には、図2に示すような縦収差特性を有する三段球面収差レンズとすればよい。このような態様とすることにより、レンズおよび位相変調手段に係る部品点数を削減できるため、構成を簡素化することが可能となる。
【0022】
なお、このような固定焦点レンズの課題としては、近側における文字やバーコードの可読性能が低いことが挙げられる。焦点が合えば文字やバーコードは読めるが、一般的に固定焦点レンズの場合は無限遠の画質を重視するため、通常は焦点は無限遠に合わせられる。また、EDoFレンズを用いると、取得画像に対して強い画像処理が施されることになるためバーコードが読めないこともある。
【0023】
そこで、上記のようなレンズと位相変調手段とが一体的に構成されたレンズを用いる場合、絞りを小さくした場合に、近側に焦点があうレンズとすることで、明るさは落ちるものの、文字やバーコードの可読性能が上がるというメリットがある。なお、近側の撮影(例えば、張り紙やホームパーティーやバーコード等の撮影)の場合はフラッシュを使用することが可能であるため、明るさを補うことも可能である。上述の通り、レンズの外周部の焦点位置を無限遠に、レンズの中心付近の焦点位置を近側にすることで、バランスの良いEDoFレンズとすることができる。
【0024】
なお、本発明は、上記のようにレンズと位相変調手段とを一体的に構成する態様に限るものではなく、位相変調手段をフィルタとして別体に構成してもよい。
【0025】
上記光学系13は、絞り11と組み合わせた場合、絞り11の大きさ(開度)によって、取得画像データにおける点像分布関数(PSF:Point Spread Function)特性が変化する。具体的には、図3(A)に示すように絞り11の大きさを位相変調手段の領域A−Cまで全て含む大きさとした場合、図4のA-Cに示すように点像の鮮鋭度が低く、また周辺部分にフレアが多く検出されるようになる。また、図3(B)に示すように絞り11の大きさを位相変調手段の領域B−Cまで含む大きさに絞った場合、図4のB-Cに示すようにA-Cと比較して点像の鮮鋭度が向上し、また周辺部分のフレアも少なく検出されるようになる。また、図3(C)に示すように絞り11の大きさを位相変調手段の領域Cのみ含む大きさに絞った場合、図4のCに示すようにB-Cと比較して点像の鮮鋭度がさらに向上し、また周辺部分のフレアもほとんど検出されなくなる。
【0026】
撮像素子14は、CCDセンサやCMOSセンサ等の固体撮像素子が好適であるが、特に限定は無く、どのようなものを用いてもよい。
【0027】
復元処理部16は、デジタル画像信号に対して画素毎にEDoF復元処理を行うものであり、ここで処理の内容について具体的に説明を行なう。図5は上記画像撮像装置における絞りの大きさとデジタル画像信号の輝度値との関係を示す図、図6は図5における領域102のPSFの一例を示す図、図7は図5における領域103のPSFの一例を示す図、図8は図5における領域104のPSFの一例を示す図、図9は図5における各領域のMTFを示す図である。
【0028】
AD変換部15のおける量子化ビット数を10bitとした場合、絞りの大きさと取得画像におけるデジタル画像信号の輝度値との関係は図5に示すようになる。
【0029】
絞り11の大きさが位相変調手段の領域Cのみ含む大きさの領域101では、光学系13における位相変調領域が全く使用されないため、EDoF復元処理が不要となる。従って、この領域101では、デジタル画像信号の輝度値に関わらず、EDoF復元処理は行なわない。
【0030】
絞り11の大きさが位相変調手段の領域A、Bを含む大きさの領域102、103、104では、光学系13における位相変調領域が使用されるためEDoF復元処理が必要となるが、このとき、デジタル画像信号の輝度値に応じて処理の内容を変更する。
【0031】
具体的には、図6−8に示すように、デジタル画像信号の輝度値が異なる領域102、103、104では各々異なる形のPSFとなるので、図9に示すように領域毎に異なるレンズ伝達関数(MTF:Modulation Transfer Function)特性を有することになる。
【0032】
デジタル画像信号の輝度値がある程度以上低い領域では、点像に対するフレア成分が低すぎてほとんど検出できないため、EDoF復元処理を行ったとしても効果はあまり見込めない。従って、絞り11の大きさが位相変調手段の領域A、Bを含む大きさの領域で、かつ輝度信号検出部17によりデジタル画像信号の輝度値が閾値aよりも低い領域102と検出された場合には、デジタル画像信号に対するEDoF復元処理を省略する。
【0033】
ここで、閾値aは、下記(1)式で求められる値とするのが好ましい。なお、フレア値は、予め取得してある代表的なPSFの最大値の画素位置から3画素以上離れた点の信号値の最大値であり、例えば、最大値に対してフレア値の強度が5%である場合はa=20、3%である場合はa=33となる。フレア値の強度が5%というのはフレア成分がかなり多い場合であるため、通常は3%前後、すなわちa=33程度とするのが好ましい。
【0034】
a=(PSFフレア値/PSF最大値)−1 ・・(1)
また、デジタル画像信号の輝度値がある程度以上高い領域では、デジタル画像信号の輝度値の変化に対してPSFの変化が小さくなるので、このような領域では予め用意された復元フィルタを用いてデジタル画像信号に対して復元処理を施すようにしても高品質の復元処理を施すことができる。従って、絞り11の大きさが位相変調手段の領域A、Bを含む大きさの領域で、かつ輝度信号検出部17によりデジタル画像信号の輝度値が閾値bよりも高い領域104と検出された場合には、予め用意された領域104用の復元フィルタを用いてデジタル画像信号に対してEDoF復元処理を施す。
【0035】
ここで、閾値bは、輝度値の最大値の1/4程度とすればよい。本実施の形態ではb=256とする。なお、閾値bについては、デジタル画像信号の輝度値の変化に対してPSFの変化が所定量以下となる境界を選べばよく、その最適な数値は装置の構成により異なるため、装置毎に最適な数値を求めることが好ましい。
【0036】
また、絞り11の大きさが位相変調手段の領域A、Bを含む大きさの領域で、かつ輝度信号検出部17によりデジタル画像信号の輝度値が閾値aよりも高く閾値bよりも低い領域103、すなわち、デジタル画像信号の輝度値の変化に対してPSFの変化が大きい領域と検出された場合には、復元フィルタ生成部18において予め取得してある代表的なPSFのピーク値をデジタル画像信号の輝度値と等しくなるように補正し、補正後のPSFから光学伝達関数(OTF:Optical Transfer Function)を求め、このOTFに基づいて復元フィルタを生成する。復元処理部16は、復元フィルタ生成部18において生成された復元フィルタを用いてEDoF復元処理を行う。
【0037】
ここで、PSFのピーク値がデジタル画像信号の輝度値と等しくなるようにPSF全体を補正する方法としては、デジタル画像信号の輝度値に対する代表的なPSFのピーク位置の割合を求めて、代表的なPSFの波形全体の縦軸を先に求めた割合に拡大/縮小すればよいが、このときAD変換のスケールにおける小数点以下を切り捨てて処理を行うものとすれば、撮影により取得したアナログ画像信号をAD変換する際の量子化誤差分まで反映した補正を行うことができるので、より正確に復元処理を行うことが可能となる。
【0038】
上記のように、EDoF復元処理を行ったとしても効果があまり見込めない低輝度領域102では、デジタル画像信号に対するEDoF復元処理を省略し、デジタル画像信号の輝度値の変化に対してPSFの変化が大きい中間輝度領域103では、デジタル画像信号の輝度値に基づいて新たに生成した復元フィルタを用いてデジタル画像信号に対してEDoF復元処理を施し、デジタル画像信号の輝度値の変化に対してPSFの変化が小さい高輝度領域104では、予め用意された復元フィルタを用いてデジタル画像信号に対してEDoF復元処理を施し、光学系13における位相変調領域が全く使用されない領域101では、デジタル画像信号の輝度値に関わらず、EDoF復元処理は行なわないようにすれば、不要な計算コストの増加を招かず、それでいて撮影状況に応じた適切なEDoF復元処理を行うことが可能となる。
【0039】
画像処理部19は、画像データに対してEDoF復元処理以外の種々の画像処理(例えばノイズ低減処理や鮮鋭度強調処理等)を施すものである。
【0040】
次に上記のように構成された画像撮像装置10におけるEDoF復元処理時の処理について説明する。図10は上記画像撮像装置における復元処理時の処理を示すフローチャート(1)、図11は上記画像撮像装置における復元処理時の処理を示すフローチャート(2)である。
【0041】
図10のフローチャートに示すように、撮影が行なわれデジタル画像信号が取得された後、まず、絞り11の大きさが位相変調手段の領域Cのみ含む大きさであるか判定し(S101)、Yesの場合はEDoF復元処理は不要であるため処理を終了する。
【0042】
S101における判定でNoの場合は、画像データを色毎に分離し(S102)、各色の中で画素毎にEDoF復元処理を行う(S103)。
【0043】
具体的には、処理対象画素のデジタル画像信号の輝度値が閾値a以上であるか判定し(S104)、Noの場合はEDoF復元処理を行ってもあまり効果は見込めないため、次の画素の処理に遷移する(S109)。
【0044】
S104における判定でYesの場合は、さらに処理対象画素のデジタル画像信号の輝度値が閾値b以下であるか判定し(S105)、Noの場合は予め用意した復元フィルタを用いて(S106)、EDoF復元処理を行い(S108)、次の画素の処理に遷移する(S109)。
【0045】
S105における判定でYesの場合は、デジタル画像信号の輝度値に応じた復元フィルタを生成し(S107)、生成した復元フィルタを用いてEDoF復元処理を行う(S108)。
【0046】
ここで、S107における処理について、図11のフローチャートを用いて詳細に説明する。処理対象のデジタル画像信号が入力されると(S201)、予め取得してある代表的なPSFのピーク値がデジタル画像信号の輝度値と等しくなるようにPSF全体を補正する(S202)。このときの演算で、AD変換のスケールにおける小数点以下の数値が発生した場合は小数点以下を切り捨てる(S203)。補正後のPSFからOTFを求め、このOTFに基づいて復元フィルタを生成し(S204)、生成した復元フィルタを用いてEDoF復元処理を行う(S108)。
【0047】
最後に全ての画素の処理が終了しているか判定し(S109)、Noの場合は次の画素を抽出して(S110)、S103の処理に遷移する。S105における判定でYesの場合、すなわち全ての画素に対する処理が終了した場合には、EDoF復元処理を終了する。
【0048】
以上の手順により、必要な場合にEDoF復元処理が施されたデジタル画像信号は、画像処理部19において、ノイズ低減処理や鮮鋭度強調処理等のさらなる画像処理が施された後、画像記録部20で記録メディア等に記録されたり、モニタ等の画像表示部21に表示される。
【0049】
以上、本発明の画像撮像装置について詳細に説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。
【符号の説明】
【0050】
5 被写体
10 画像撮像装置
11 絞り
12 絞り制御部
13 光学系
14 撮像素子
15 AD変換部
16 復元処理部
17 輝度信号検出部
18 復元フィルタ生成部
19 画像処理部
20 画像記録部
21 画像表示部

【特許請求の範囲】
【請求項1】
被写体を撮像して画素毎にアナログ画像信号を取得する撮像素子と、
前記アナログ画像信号をAD変換して画素毎にデジタル画像信号を生成するAD変換手段と、
前記被写体と前記撮像素子の間に配された絞りと、
前記被写体と前記撮像素子の間に配され、光軸と直交する方向において、所定の点像分布関数特性となるように入射光の位相に対して変調を施す位相変調領域、および入射光の位相に対して変調を施さない非位相変調領域を有する位相変調手段を備え、前記被写体からの光を結像して前記撮像素子に受光させる光学系と、
前記デジタル画像信号に対して前記変調に対応する復元処理を施す復元処理手段とを備え、
前記復元処理手段が、前記絞りの大きさおよび前記デジタル画像信号の輝度値に応じて前記画素毎に前記復元処理の内容を変更するものであることを特徴とする画像撮像装置。
【請求項2】
前記復元処理手段が、予め取得した代表的な点像分布関数のピーク値が前記デジタル画像信号の輝度値と等しくなるように前記点像分布関数全体を補正し、補正後の点像分布関数に基づいて作成した復元フィルタを用いて前記復元処理を行うものであることを特徴とする請求項1記載の画像撮像装置。
【請求項3】
前記復元処理手段が、前記点像分布関数のピーク値が前記デジタル画像信号の輝度値と等しくなるように前記点像分布関数全体を補正する際に、前記AD変換のスケールにおける小数点以下を切り捨てて処理を行うものであることを特徴とする請求項2記載の画像撮像装置。
【請求項4】
前記復元処理手段が、前記デジタル画像信号の輝度値が第1の閾値よりも低い場合に、前記デジタル画像信号に対する前記復元処理を省略するものであることを特徴とする請求項1から3のいずれか1項記載の画像撮像装置。
【請求項5】
前記復元処理手段が、前記デジタル画像信号の輝度値が第2の閾値よりも高い場合に、予め用意された復元フィルタを用いて前記デジタル画像信号に対して前記復元処理を施すものであることを特徴とする請求項1から4のいずれか1項記載の画像撮像装置。
【請求項6】
前記位相変調手段が、前記光軸の近傍に前記非位相変調領域を有し、該非位相変調領域の外側に前記位相変調領域を有するものであることを特徴とする請求項1から5のいずれか1項記載の画像撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図10】
image rotate

【図11】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−74861(P2012−74861A)
【公開日】平成24年4月12日(2012.4.12)
【国際特許分類】
【出願番号】特願2010−217395(P2010−217395)
【出願日】平成22年9月28日(2010.9.28)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】