撮像装置およびその画像処理方法ならびに情報端末装置
【課題】２焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、容易にかつ精度よく鮮明な画像を得る。
【解決手段】平面形状がそれぞれ半円形である近レンズ部２３と遠レンズ部２２とを有し、それぞれのレンズ部の直線部分が互いに接するように構成される２焦点レンズ２１０と、２焦点レンズ２１０により結像された画像を電気的信号に変換し、撮像信号として出力する撮像素子２９と、撮像素子２９からの撮像信号に対し、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す画像処理部３０とを備え、撮像素子２９の撮像面に結像される画像は、垂直方向を複数に分割するようにブロック区分され、画像処理部３０は、各ブロックに対応した撮像信号に対して、それぞれに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す。
【解決手段】平面形状がそれぞれ半円形である近レンズ部２３と遠レンズ部２２とを有し、それぞれのレンズ部の直線部分が互いに接するように構成される２焦点レンズ２１０と、２焦点レンズ２１０により結像された画像を電気的信号に変換し、撮像信号として出力する撮像素子２９と、撮像素子２９からの撮像信号に対し、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す画像処理部３０とを備え、撮像素子２９の撮像面に結像される画像は、垂直方向を複数に分割するようにブロック区分され、画像処理部３０は、各ブロックに対応した撮像信号に対して、それぞれに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子カメラなど被写体を電子的に撮像する撮像装置およびその画像処理方法に関し、特に、２つの焦点を有した２焦点レンズを利用して、通常のカメラと同様の遠点撮像とともに、バーコードなど近接の被写体を撮像する近点撮像をも行う撮像装置およびその画像処理方法、さらにはその撮像装置を備えた情報端末装置に関する。
【背景技術】
【０００２】
近年、例えば携帯電話で代表されるように、情報端末装置には、画像入力機能を備えることが一般的となっている。さらに、この画像入力機能を利用して人物や風景を撮影するようなカメラ機能とともに、バーコードなどの近接画像をも読み取り可能とすることで、このような情報端末装置の利便性をさらに向上させることができる。
【０００３】
例えば、このようなバーコードを利用して、メールアドレス、ホームページアドレス、電話番号など多くの情報を表すことができるので、これらのバーコードを上記所望の画像と組み合わせて使用することにより、きわめて有用なコミュニケーションを実現できる。
【０００４】
このように、近距離および遠距離の被写体双方に対して精度よく画像を取り込むような情報端末装置の実現が強く要望されつつある。
【０００５】
このようななか、２焦点レンズのような多焦点光学系を使用して焦点深度の拡大を図り、バーコードのような被写体に対して、近距離とともにある程度離れた距離であっても精度よく読み取りを可能とした技術が提案されている（例えば、特許文献１参照）。
【０００６】
図８は、このような多焦点光学系を使用して焦点深度の拡大を図った従来のバーコード読取装置の構成を示すブロック図である。
【０００７】
図８に示す構成において、バーコードなど対象物の反射光は、従来のバーコード読取装置の先端部９８を通して取り込まれ、レンズ９１により撮像素子９９上に結像される。また、レンズ９１は、２焦点光学系として、長い焦点距離で集束する遠レンズ部９２と、短い焦点距離で集束する近レンズ部９３とで構成されている。図８に示すように、レンズ９１は、正面から見たとき、平面形状が円形である遠レンズ部９２が中心に配置され、平面形状が環状である近レンズ部９３が遠レンズ部９２の外縁部に配置されている。
【０００８】
また、遠レンズ部９２は、光軸１０上に長い焦点距離である焦点１１を形成し、近レンズ部９３は、光軸１０上に短い焦点距離である焦点１３を形成している。さらに、バーコードの読み取り限界範囲を示す被写界深度（ＤＯＦ）が焦点を中心に決定される。すなわち、遠レンズ部９２は、図８に示すような被写界深度ＤＯＦ１を有しており、近レンズ部９３は、被写界深度ＤＯＦ２を有している。
【０００９】
また、撮像素子９９上に結像された像は、撮像素子９９の走査により結像に応じた電気信号に変換され、撮像素子９９から撮像信号として出力される。さらに、撮像信号は、信号の直流成分を濾波し排除するハイパスフィルタ９７に供給され、撮像信号から直流成分が除去された信号がハイパスフィルタ９７から画像信号として出力される。この画像信号は、さらに図示しない信号処理部などにより文字情報などに復号される。このようにして、従来のバーコード読取装置によるバーコードの読み取りが実現される。
【００１０】
このような従来のバーコード読取装置の構成において、レンズ９１は、異なった位置に焦点を持つ２つのレンズ部により構成されるため、撮像素子９９には、対象物が一方の被写界深度（ＤＯＦ）内であっても、他方のレンズ部からボケた投射像が投射される。
【００１１】
このため、他方のレンズ部からのボケた投射像は、撮像素子９９上に投射される投射像全体を浮き上がらせる直流成分として作用する。ハイパスフィルタ９７は、このような直流成分として作用する他方のレンズ部からのボケた投射像による画像成分を除去するために設けられている。
【００１２】
例えば、対象物としてのバーコードがＤＯＦ１内にある場合、ハイパスフィルタ９７は、近レンズ部９３によるボケた投射像成分である直流成分を除去する。逆に、対象物としてのバーコードがＤＯＦ２内にある場合、ハイパスフィルタ９７は、遠レンズ部９２によるボケた投射像成分である直流成分を除去する。
【００１３】
このように、ハイパスフィルタ９７により、ボケた画像成分による直流成分を除去することで、バーコード画像の変調の深さを改善している。その結果、このバーコード読取装置の被写界深度は、図８に示す近距離のＤＯＦ２に加えて遠距離のＤＯＦ１をも有することとなり、焦点深度の拡大を図ることができ、これによりバーコードからある程度離れた距離であっても精度よい読み取りが可能となる。
【００１４】
また、図９は、多焦点光学系として上記従来例とは異なった形状の２焦点レンズにおける光学結像系を示した図である。
【００１５】
図９において、２焦点レンズ２１０は、正面から見たとき、それぞれのレンズ部が半円形であり、中心を通る直線を境界として、一方には長い焦点距離で集束する遠レンズ部２２が、他方には遠レンズ部２２よりも短い焦点距離で集束する近レンズ部２３が配置される。
【００１６】
なお、以下、両レンズ部が接する直線部分に直角かつ光軸に対しても直角な方向を垂直方向とし、両レンズ部が接する直線部分に平行かつ光軸に対して直角な方向を水平方向とし、また、両レンズ部が接する直線部分あるいは光軸から一方の垂直方向を上方向とし、両レンズ部が接する直線部分あるいは光軸から他方の垂直方向を下方向として説明する。
【００１７】
図９では上方向である上部に遠レンズ部２２を、下方向である下部に近レンズ部２３を配置した２焦点レンズ２１０の一例を示している。
【００１８】
図９（ａ）は、遠レンズ部２２の焦点１１に点光源を配置した場合の光学結像系を示している。
【００１９】
図９（ａ）の場合、撮像素子２９の撮像面には、正面から見ると図９（ａ）に示すような投射像２９０が得られる。すなわち、遠レンズ部２２の焦点１１に点光源を配置した場合、遠レンズ部２２によるピントのあった点状の像ｐ９０を中心に、その外周部の上部半分には近レンズ部２３により、半円形の像ｂ９０、すなわちピントのボケた像が投射される。
【００２０】
一方、図９（ｂ）は、近レンズ部２３の焦点１３に点光源を配置した場合の光学結像系を示している。
【００２１】
図９（ｂ）の場合にも、撮像素子２９の撮像面には、図９（ａ）の場合と同様に、正面から見ると図９（ｂ）に示すような投射像２９１が得られる。すなわち、近レンズ部２３の焦点１３に点光源を配置した場合においても、近レンズ部２３によるピントのあった点状の像ｐ９１を中心に、その外周部の上部半分には遠レンズ部２２により、半円形の像ｂ９１、すなわちピントのボケた像が投射される。
【００２２】
このように、遠レンズ部２２と近レンズ部２３との正面形状のそれぞれが半円形状の２焦点レンズ２１０を用いて、それぞれの焦点に点光源を配置した場合、撮像素子２９の撮像面には、投射像２９０と投射像２９１とのように、それぞれが同様の形状となるボケた像を含む像が投射される。より正確に言えば、このような２焦点レンズ２１０では、図９のように点光源を光軸上の焦点に配置した場合には、投射像２９０と投射像２９１との照射強度分布が類似し、遠レンズ部２２の焦点１１に対する点光源分布関数と、近レンズ部２３の焦点１３に対する点光源分布関数とが近似した関数となる。
【００２３】
点光源分布関数は、レンズなどを含めた光学系の伝達特性を示す伝達関数であり、このような点光源分布関数は、ポイントスプレッド関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）、あるいは略してＰＳＦと呼ばれている。
【００２４】
また、このようなボケた画像を精度よく鮮明な画像に補正する手法として、ＰＳＦの逆関数となるようなインバースフィルタを利用して画像処理を行い、これによってボケた画像の修復を行うような手法が知られている。このようなインバースフィルタを用いた画像処理は、デジタルフィルタなどにより、ＰＳＦに対し、その伝達特性を補完するような処理を行うことで実現できる。
【００２５】
よって、２焦点レンズ２１０を用いた光学系において、例えば、代表的なＰＳＦを１つ定めておき、代表的なＰＳＦに基づき生成したフィルタ係数列によるインバースフィルタを用いて画像処理することで、遠点撮像および近点撮像のそれぞれにおいて、ボケを補正した画像が精度よく得られることとなる。このため、例えば、上記従来例のようにバーコードなどの近接画像の取り込みとともに、人物や風景などの通常のカメラと同様の遠点撮像にも利用することができる。
【特許文献１】特開平５−２１７０１２号公報
【発明の開示】
【発明が解決しようとする課題】
【００２６】
しかしながら、上述した半円形状の遠レンズ部２２と近レンズ部２３とを組み合わせた２焦点レンズ２１０の場合、例えば光軸上での遠点と近点において、点光源に対するボケた像を含む投射像の照射強度分布、すなわちＰＳＦはほぼ同じとなるが、光軸から垂直方向に離れた異なる２点において、それぞれの点光源に対する投射像を比較した場合、それぞれの像の照射強度分布、すなわちＰＳＦが異なり、１種類のみのフィルタ係数列を用いたインバースフィルタにより精度よくボケを補正するには限界があった。
【００２７】
図１０は、２焦点レンズ２１０に対し、光軸から垂直方向の３つの異なった焦点位置に点光源を配置した場合のそれぞれの光学結像系、投射像および照射強度分布を示した図である。
【００２８】
図１０でも、図９と同様に、上部に遠レンズ部２２を、下部に近レンズ部２３を配置している。また、図１０では、遠レンズ部２２の焦点位置に、点光源ｐ１、ｐ２およびｐ３を配置した場合を示している。さらに、図１０（ａ）は、遠レンズ部２２のみによる場合、図１０（ｂ）は近レンズ部２３のみによる場合、また図１０（ｃ）は遠レンズ部２２と近レンズ部２３とを組み合わせた２焦点レンズ２１０の場合を示している。
【００２９】
まず、図１０（ａ）では、遠レンズ部２２のみによる光学結像系、投射像および照射強度分布を示すため、下部の近レンズ部２３による光の透過を遮断した場合を示している。
【００３０】
この場合、それぞれの点光源ｐ１、ｐ２およびｐ３は、遠レンズ部２２の焦点位置に配置されているため、撮像素子２９の撮像面には、例えば、点光源ｐ１に対して投射像ｐ１’のように、ピントのあった合焦成分の投射像ｐ１’、ｐ２’およびｐ３’が投射される。
【００３１】
このとき、各点光源ｐ１、ｐ２およびｐ３の垂直位置が異なるため、遠レンズ部２２への入射角が異なることとなり、その結果、ピントはあっているが照射強度が異なった投射像ｐ１’、ｐ２’およびｐ３’が投射されることとなる。
【００３２】
すなわち、図１０（ａ）に示すように、撮像素子２９の撮像面において、近レンズ部２３側から垂直方向に遠レンズ部２２側に行くに従って照射強度が弱くなるような合焦成分が投射される。言い換えれば、図１０（ａ）のように上部に遠レンズ部２２を配置した場合には、遠点の被写体に対して、上から下方向へと行くに従ってコントラストが強くなるようなピントのあった投射像が投射される。
【００３３】
次に、図１０（ｂ）では、近レンズ部２３のみによる光学結像系、投射像および照射強度分布を示すため、上部の遠レンズ部２２による光の透過を遮断した場合を示している。
【００３４】
この場合、それぞれの点光源ｐ１、ｐ２およびｐ３は、遠レンズ部２２の焦点位置に配置されているため、撮像素子２９の撮像面には、例えば、点光源ｐ１に対して投射像ｂ１のように、半円形にボケたボケ成分の投射像ｂ１、ｂ２およびｂ３が投射される。
【００３５】
このときも、各点光源ｐ１、ｐ２およびｐ３の垂直位置が異なるため、近レンズ部２３への入射角が異なることとなり、その結果、ボケの形状は同じであるが照射強度が異なった投射像ｂ１、ｂ２およびｂ３が投射されることとなる。
【００３６】
すなわち、近レンズ部２３は遠レンズ部２２とは反対方向に配置されているため、図１０（ｂ）に示すように、撮像素子２９の撮像面において、遠レンズ部２２側から垂直方向に近レンズ部２３側に行くに従って照射強度が弱くなるようなボケ成分が投射される。言い換えれば、図１０（ｂ）のように下部に近レンズ部２３を配置した場合には、遠点の被写体に対して、上から下方向へと行くに従ってコントラストが弱くなるようなボケた投射像が投射される。
【００３７】
さらに、図１０（ｃ）では、遠レンズ部２２と近レンズ部２３とを組み合わせた場合、すなわち２焦点レンズ２１０による光学結像系、投射像および照射強度分布を示している。
【００３８】
この場合、撮像素子２９の撮像面には、例えば、点光源ｐ１に対して、遠レンズ部２２による投射像ｐ１’と近レンズ部２３による投射像ｂ１とが合成された投射像が投射される。
【００３９】
このとき、撮像素子２９の撮像面において、遠レンズ部２２による合焦成分は上から下方向へと行くに従って照射強度が強くなり、逆に近レンズ部２３によるボケ成分は上から下方向へと行くに従って照射強度が弱くなるため、合焦成分とボケ成分とが合成された合成成分は、図１０（ｃ）で示すように、撮像素子２９の撮像面の上部と下部とで異なった照射強度分布の形状となる。
【００４０】
すなわち、２焦点レンズ２１０を用いて撮像した場合、撮像素子２９の撮像面において、ボケた像を含む投射像としては同形状であるが、ＰＳＦは、撮像面の垂直方向に依存して異なった強度分布形状の関数となる。
【００４１】
また、図１０（ｃ）に示すような撮像面の上部の投射像（ｐ３’＋ｂ３）と下部の投射像（ｐ１’＋ｂ１）との視覚的な比較では、上部の投射像は合焦成分に対してボケ成分の比率が大きく、下部の投射像は合焦成分に対してボケ成分の比率が小さいため、上部に行くほどボケたような像として認知される。
【００４２】
また、以上、図１０を用いて点光源を遠レンズ部２２の焦点位置に配置した場合について説明したが、点光源を近レンズ部２３の焦点位置に配置した場合には、点光源の垂直位置に応じて、近レンズ部２３による合焦成分は下から上方向へと行くに従って照射強度が強くなり、逆に遠レンズ部２２によるボケ成分は下から上方向へと行くに従って照射強度が弱くなる。
【００４３】
すなわち、点光源を近レンズ部２３の焦点位置に配置した場合には、図１０（ｃ）とは逆に、点光源の垂直位置に応じて、下部に行くほど合焦成分に対してボケ成分の比率が大きくなり、よりボケたような像となる。
【００４４】
このように、半円形状の遠レンズ部と近レンズ部とを組み合わせた２焦点レンズを備えた撮像装置において、１種類のみのフィルタ係数のインバースフィルタでボケを補正する場合、画像の垂直位置に依存して異なったＰＳＦとなるため、例えば、画像の上部や下部など垂直方向端部では精度よく画像を修復できなかった。
【００４５】
また、精度よくボケを補正しようとすると、撮像素子の撮像面の位置に応じて異なったフィルタ係数列を備えることが必要となり、フィルタ係数列を備えるメモリ容量が大きくなるなど大規模、かつ複雑な処理が必要になるという課題があった。
【００４６】
本発明は、上記課題を解決するためになされたもので、半円形状の遠レンズ部と近レンズ部とを組み合わせた２焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、標準的な距離にある通常の被写体、およびこれよりも近距離にある近接被写体のいずれについても容易にかつ精度よく鮮明な画像を得ることができる撮像装置およびその画像処理方法ならびに情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【００４７】
本発明の撮像装置は、平面形状がそれぞれ半円形または半楕円形であり、所定の焦点距離を持つ近レンズ部と所定の焦点距離よりも遠方の焦点距離を持つ遠レンズ部とを有し、それぞれのレンズ部の直線部分が互いに接するように一体化されて構成される２焦点レンズと、２焦点レンズにより結像された画像を電気的信号に変換し、撮像信号として出力する撮像素子と、撮像素子からの撮像信号に対し、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施し、フィルタ処理により得られた画像信号を出力画像信号として出力する画像処理部とを備える。
【００４８】
さらに、本発明の撮像装置は、撮像素子の撮像面において、それぞれのレンズ部が接する直線部分に対して平行な方向を水平方向とし、直角な方向を垂直方向とするとき、撮像素子の撮像面に結像される画像は、垂直方向を複数に分割するようにブロック区分され、画像処理部は、各ブロックに対応した撮像信号に対して、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す構成である。
【００４９】
また、本発明の撮像装置は、ブロックごとに設定された補正関数を、近レンズ部側のブロックに対して、遠レンズ部側のブロックほど高周波信号成分を強調するような補正関数とした構成である。
【００５０】
また、本発明の撮像装置は、補正関数を、２焦点レンズの光学系における所定の被写距離に対するポイントスプレッド関数に基づいた逆関数とし、ポイントスプレッド関数を、２焦点レンズの光軸上から垂直方向に、撮像素子の撮像面の各ブロックに対応した距離だけ離れた焦点面において、いずれかのレンズ部の焦点位置に対するポイントスプレッド関数とした構成である。
【００５１】
また、本発明の撮像装置は、補正関数を、２焦点レンズの光学系における所定の被写距離に対するポイントスプレッド関数に基づいた逆関数とし、ポイントスプレッド関数を、２焦点レンズの光軸上から垂直方向に、撮像素子の撮像面の各ブロックに対応した距離だけ離れた焦点面において、遠レンズ部の焦点位置に対するポイントスプレッド関数と近レンズ部の焦点位置に対するポイントスプレッド関数とを所定の比率で合成したポイントスプレッド関数とした構成である。
【００５２】
また、本発明の撮像装置は、撮像素子の撮像面に結像される画像を、垂直方向に加えて、水平方向をも複数に分割するようにブロック区分し、画像処理部が、各ブロックに対応した撮像信号に対して、それぞれに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す構成である。
【００５３】
また、本発明の撮像装置は、補正関数を、コマ収差補正および像倍率補正の少なくともいずれかをも含む補正関数とした構成である。
【００５４】
また、本発明の撮像装置は、画像処理部が、撮像素子から供給される撮像信号をデジタル信号である撮像データに変換するＡＤ変換部と、撮像データに対して、補正関数に基づくフィルタ係数列を用いてフィルタ処理を行うデジタルフィルタ部と、補正関数に基づくフィルタ係数列を、ブロックごとに記憶する係数記憶部と、係数記憶部から各ブロックに応じたフィルタ係数列を抽出し、抽出したフィルタ係数列をデジタルフィルタ部に供給する係数処理部とを備えた構成である。
【００５５】
また、本発明の撮像装置は、さらに、高周波信号成分に対して、所定のコアリング量以下の微小振幅値の信号の値を０値に変換することでノイズ低減処理を施すコアリング処理部を備え、コアリング処理部が、デジタルフィルタ部によりフィルタ処理された信号の高周波信号成分に対して、ブロックごとに設定されたコアリング量に基づきノイズ低減処理を施す構成である。
【００５６】
また、本発明の撮像装置は、画像処理部が、さらに、デジタルフィルタ部を制御するフィルタ制御部を備え、デジタルフィルタ部が画像の端部に対応した撮像データに対してフィルタ処理を行うとき、フィルタ制御部が、デジタルフィルタ部に所定のダミー値を供給し画面端処理を行う構成である。
【００５７】
また、本発明の撮像装置は、上記ダミー値を、所定の固定値、画像の端部に対応した撮像データの値、または画像の端部から画像の垂直逆方向と水平逆方向との撮像データにそれぞれ対応した値とした構成である。
【００５８】
また、本発明の情報端末装置は、上記撮像装置と、撮像装置の画像処理部により生成された画像データを記憶する記憶部と、画像データを表示する表示部とを備えた構成である。
【００５９】
また、本発明の画像処理方法は、平面形状がそれぞれ半円形または半楕円形であり、所定の焦点距離を持つ近レンズ部と所定の焦点距離よりも遠方の焦点距離を持つ遠レンズ部とを有し、それぞれのレンズ部の直線部分が互いに接するように一体化されて構成される２焦点レンズと、２焦点レンズにより結像された画像を電気的信号に変換し、撮像信号として出力する撮像素子とを備えた撮像装置の画像処理方法であり、撮像素子の撮像面において、それぞれのレンズ部が接する直線部分に対して平行な方向を水平方向とし、直角な方向を垂直方向とするとき、撮像素子からの撮像信号を取り込むステップと、取り込んだ撮像信号に対し、撮像素子の撮像面に結像される画像が垂直方向を複数に分割するように区分されるブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施すステップと、フィルタ処理により得られた画像信号を出力画像信号として出力するステップとを有する。
【発明の効果】
【００６０】
本発明の撮像装置およびその画像処理方法ならびに情報端末装置は、垂直方向を区分するように設けた各ブロックごとに、それぞれに対応したフィルタ係数列で撮像素子の撮像面に投射されるボケた像の補正を行うため、画像の上部や下部であっても精度よくボケた像を補正でき、また、ブロックごとに設定したフィルタ係数列であるため、記憶するフィルタ係数列は少なくてすみ、係数を格納するメモリ容量の増加を抑制でき、かつ簡易な処理で精度よくボケた像を補正できる。このため、本発明の撮像装置およびその画像処理方法ならびに情報端末装置によれば、２焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、標準的な距離にある通常の被写体、およびこれよりも近距離にある近接被写体のいずれについても容易にかつ精度よく鮮明な画像を得る撮像装置およびその画像処理方法ならびに情報端末装置を提供することができる。
【発明を実施するための最良の形態】
【００６１】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００６２】
（実施の形態）
図１は、本発明の実施の形態における撮像装置の構成を示すブロック図である。
【００６３】
図１に示すように、本実施の形態の撮像装置は、被写体を撮像するための光学系である撮像部２０と、撮像部２０からの撮像信号に対して画像処理を施し、画像処理を施した信号を出力画像信号として出力する画像処理部３０とを備えている。
【００６４】
さらに、撮像部２０は、被写体を撮像する２焦点レンズ２１０と、この２焦点レンズ２１０により結像された像を取り込む撮像素子２９とを含み構成される。２焦点レンズ２１０は、異なった焦点距離のレンズ部により構成されるレンズである。また、撮像素子２９は、２焦点レンズ２１０により結像された画像を電気的信号に変換し、撮像信号として出力する。
【００６５】
また、画像処理部３０において、まず、撮像素子２９からの撮像信号は、アナログフロントエンド（以下、ＡＦＥと呼ぶ）３１に供給される。ＡＦＥ３１は、供給された撮像信号の増幅処理などを行い、増幅された撮像信号をＡＤ変換部３２に供給する。ＡＤ変換部３２は、アナログ信号である撮像信号をデジタル信号に変換し、デジタル信号に変換された撮像データが、以下で説明するデジタルフィルタ部３３およびコアリング処理部３７に供給される。
【００６６】
デジタルフィルタ部３３は、２焦点レンズ２１０によるボケた画像成分の補正を行い、これによって本発明の特徴となる画像の改質処理を行う。すなわち、上述したように、このような複数の焦点を有するレンズの場合、投射像はピントのあった像にボケた像が重畳したようになる。デジタルフィルタ部３３は、このようなボケた像もピントのあった像へと補正するために設けられている。
【００６７】
係数記憶部３４は、デジタルフィルタ部３３がフィルタ処理を行うため、所定の補正関数に基づく複数種類のフィルタ係数列を記憶している。また、係数処理部３５は、以下で説明する制御信号生成部３９１からのブロック切替信号に応じて、係数記憶部３４が記憶する複数種類のフィルタ係数列から１つのフィルタ係数列を選択し、選択したフィルタ係数列をデジタルフィルタ部３３に供給する。
【００６８】
このような構成により、デジタルフィルタ部３３は、供給された撮像データ列と係数処理部３５から供給されたフィルタ係数列との荷重加算演算処理を実行する。また、フィルタ係数列を構成する各フィルタ係数は、２焦点レンズ２１０の光学系における所定の被写距離に対するポイントスプレッド関数（以下、ＰＳＦと呼ぶ）の逆関数に基づきあらかじめ求めた係数である。
【００６９】
すなわち、デジタルフィルタ部３３は、所定のＰＳＦの逆関数となるフィルタ係数でフィルタ処理を行うインバースフィルタとして機能する。
【００７０】
以上、デジタルフィルタ部３３は、撮像素子２９からの撮像信号に応じた撮像データに対し、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す。
【００７１】
フィルタ制御部３６は、デジタルフィルタ部３３が画像の端部に対応した撮像データに対してフィルタ処理を行うとき、デジタルフィルタ部３３に所定のダミー値を供給し、デジタルフィルタ部３３が画面端処理を行うようにデジタルフィルタ部３３を制御する。
【００７２】
すなわち、デジタルフィルタ部３３は、遅延データを出力する各タップごとのデータを用いてフィルタ演算を行うが、例えば画像フレームの先頭などフィルタ演算を開始するとき、その画像領域外の画像データは存在しないため未定のデータを含めて演算処理を行うこととなり、その結果、タップ数の期間に対応した幅だけ画像の上部や左部に乱れた画像などが現れることとなる。
【００７３】
フィルタ制御部３６は、このような不都合を防止するために設けられており、画像の端部においてタップから出力される未定のデータに代えて供給された所定のダミー値が出力されるようにデジタルフィルタ部３３を制御する。所定のダミー値としては、所定の固定値、あるいは最初に供給された撮像データの値としてよく、また画像データを鏡像的に折り返しその折り返した各画素データ、すなわち、画像の端部から画像の垂直逆方向および水平逆方向の撮像データにそれぞれ対応した値をダミー値としてもよい。
【００７４】
コアリング処理部３７は、デジタルフィルタ部３３により強調された高周波信号成分に対して、ノイズ低減処理を施す。
【００７５】
すなわち、デジタルフィルタ部３３は、２焦点レンズ２１０によりボケた画像成分の補正を行うために設けられたフィルタであるため、撮像信号の高周波信号成分を強調するような一種のハイパスフィルタである。このため、例えば、撮像素子２９やＡＦＥ３１で生じた高周波ノイズを強調することとなる。
【００７６】
このように強調されたノイズを低減するため、本実施の形態では、ノイズ低減処理を施すためのコアリング処理部３７を設けた一例を挙げている。
【００７７】
また、コアリング処理部３７にも、以下で説明する制御信号生成部３９１からのブロック切替信号が供給され、コアリング処理部３７はこのブロック切替信号に応じたコアリング量でノイズ低減処理を実行する。
【００７８】
コアリング処理部３７によりノイズ低減処理された画像データは、出力画像信号として出力され、例えば、表示装置などに供給され、写真のような静止画像、あるいは動画像としてユーザに呈示される。
【００７９】
また、制御部３９は、例えば、マイクロコンピュータで実現され、各部の制御やそのための処理を行うとともに、制御信号生成部３９１に、画像信号の水平端を示す水平同期信号および垂直端を示す垂直同期信号を供給する。
【００８０】
制御信号生成部３９１は、制御部３９から供給された水平同期信号および垂直同期信号を利用してブロック切替信号および画面端信号を生成する。
【００８１】
ブロック切替信号は、撮像した画像において、垂直方向を複数に分割するようにブロック区分したとき、デジタルフィルタ部３３に供給されている撮像データがどのブロックに相当しているかを示す信号である。
【００８２】
制御信号生成部３９１は、このようなブロック切替信号を係数処理部３５およびコアリング処理部３７に供給する。これにより、係数処理部３５は、画像上における各ブロックの撮像データに対して、そのブロックに応じたフィルタ係数列をデジタルフィルタ部３３に供給する。
【００８３】
すなわち、撮像素子２９の撮像面に結像される画像は、垂直方向を複数に分割するようにブロック区分され、デジタルフィルタ部３３は、撮像素子２９からの撮像信号に応じた撮像データに対し、係数処理部３５から供給されるブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す。
【００８４】
また、コアリング処理部３７は、制御信号生成部３９１からのブロック切替信号を利用して、画像上における各ブロックの撮像データに対して、そのブロックに応じたコアリング処理を実行する。
【００８５】
また、制御信号生成部３９１から出力される画面端信号は、水平同期信号および垂直同期信号に対応した信号であり、デジタルフィルタ部３３に供給される撮像データが画面開始位置となる画面端のデータであることを示す信号である。
【００８６】
制御信号生成部３９１は、このような画面端信号をフィルタ制御部３６に供給する。フィルタ制御部３６は、このような画面端信号を利用して、デジタルフィルタ部３３が画面端処理を行うように制御する。
【００８７】
図２は、本実施の形態における２焦点レンズ２１０の形状の詳細を示した図である。図２（ａ）は、２焦点レンズ２１０の側面図であり、図２（ｂ）は、２焦点レンズ２１０の正面図である。
【００８８】
図２に示すように、本２焦点レンズ２１０は、２焦点光学系として、長い焦点距離で集束する遠レンズ部２２と、遠レンズ部２２よりも短い焦点距離で集束する近レンズ部２３とで構成されている。
【００８９】
図２（ｂ）に示すように、２焦点レンズ２１０は、正面から見たとき、それぞれのレンズ部の平面形状が半円形であり、中心を通る直線を境界として、上部には遠レンズ部２２が、下部には近レンズ部２３が配置され、それぞれが一体化されて構成される。
【００９０】
なお、以下、本実施の形態では、半円形のレンズ部を２つ組み合わせた円形の２焦点レンズ２１０を例に挙げて説明するが、例えば、半楕円形、もしくは多角形のレンズ部を直線部分が互いに接するように配置し構成した２焦点レンズであってもよい。また、遠レンズ部２２と近レンズ部２３との上下関係を逆にしてもよく、その場合、それにあわせた画像処理を行えばよい。
【００９１】
図３は、撮像した画像におけるブロックの分割例を示した図である。ここでは、ブロック分割として、撮像素子２９の撮像面に結像される画像に対し、垂直方向を３つに分割するようにブロック区分した一例を示している。また、図３には、それぞれのブロックにおける代表的な投射像を示している。
【００９２】
図３においても、図１０（ｃ）で説明したように、遠レンズ部２２の焦点位置で、かつ各ブロックに対応した垂直位置に点光源を配置し、撮像素子２９の撮像面に結像された投射像ｐｂ０、ｐｂ１およびｐｂ２を示している。
【００９３】
このような本実施の形態の場合も、図１０（ｃ）を用いて説明したように、点光源に対して２焦点レンズ２１０により撮像素子２９上に投射される像は、点光源を上方から下方に移動させた場合、その移動に従って、撮像素子２９に投影されるボケた像は、下方から上方へと移動しながら、その合焦成分は小さくなるとともにボケ成分は大きくなっていく。
【００９４】
このため、各ブロックには、図３に示すようにボケた像の投射形状は類似しているものの、図１０（ｃ）で説明したようにその照射強度分布、すなわちＰＳＦの関数形状が異なった像が投射される。
【００９５】
以下、このように構成された本実施の形態の撮像装置の動作について説明する。
【００９６】
一般に、２焦点レンズを含め光学系は、ＰＳＦにより結像系の特性が決定される。このＰＳＦは、レンズの場合このレンズに対して、水平方向ｘ、垂直方向ｙ、およびレンズから被写体までの距離ｚに依存したスペースバリアントな関数である。
【００９７】
ここで、２焦点レンズのＰＳＦをｈx,y,zとし、被写体をｉとすると、撮像素子２９の撮像面に投射される撮像画像ｐは、被写体ｉと多焦点レンズのＰＳＦであるｈx,y,zとのコンボリューションで表現できる。すなわち、コンボリューション演算を記号＊で示すと、ｐ[x,y]=ｉ*ｈx,y,zとなる。
【００９８】
また、空間座標軸で表現される２焦点レンズのＰＳＦｈx,y,zを、フーリエ変換やｚ変換により座標変換することにより２焦点レンズのＰＳＦの伝達関数Ｈx,y,zを求めることができる。
【００９９】
すなわち、撮像素子２９に投影される撮像画像ｐ[x,y]は、入力画像を被写体ｉとしたとき、伝達関数Ｈx,y,zの応答出力となる。ここで、上述したように、２焦点レンズを用いた場合、ボケた成分も含めて撮像素子２９上に投影される。
【０１００】
デジタルフィルタ部３３は、このような伝達関数Ｈx,y,zに含まれるボケ成分の生成メカニズムを補正するために設けられたフィルタである。
【０１０１】
すなわち、デジタルフィルタ部３３の伝達関数を２焦点レンズの伝達関数Ｈx,y,zの逆関数、すなわち１／Ｈx,y,zとなる補正関数とすることで、２焦点レンズ２１０とデジタルフィルタ部３３との縦続接続による伝達特性は１となる。その結果、出力画像ｏは、被写体像ｉと等しくなり、２焦点レンズ２１０により生じたボケ成分を除去したことと等しくなる。
【０１０２】
本実施の形態の２焦点レンズ２１０の場合、図９で説明したように、光軸上で点光源位置を変えても撮像素子２９上に投射されるボケた像の変化が少ないことにより、２焦点レンズ２１０のＰＳＦはレンズから被写体までの距離ｚの依存度が低いと言える。
【０１０３】
一方、図１０で説明したように、それぞれのレンズ部が接する直線部分に対して直角な方向で点光源位置を変えた場合、両レンズ部への入射角の違いにより、撮像素子２９の撮像面に投射される像の照射強度分布が変化する。すなわち、２焦点レンズ２１０のＰＳＦは、垂直方向ｙの依存度が高いと言える。
【０１０４】
このため、本実施の形態の撮像装置は、図３に示すように、撮像素子２９に結像される画像に対し、垂直方向を複数に分割するようにブロック区分し、各ブロックに応じた代表的なＰＳＦを求め、それぞれのＰＳＦからその逆関数である補正関数を算出し、これによってブロックに応じたボケ成分の補正を行っている。
【０１０５】
すなわち、本実施の形態では、撮像素子２９の撮像面に投射される画像の各ブロックにおいて、図３に示すような点光源に対する代表的な投射像から求めたＰＳＦを１つずつ定め、それぞれのＰＳＦに基づき算出したフィルタ係数列を係数記憶部３４に格納している。
【０１０６】
なお、それぞれのＰＳＦとしては、撮像素子２９の撮像面の各ブロックに対応した距離だけ離れた垂直方向の焦点面において、いずれかのレンズ部の焦点位置に対するＰＳＦとしてもよく、また、遠レンズ部２２の焦点位置に対するＰＳＦと近レンズ部２３の焦点位置に対するＰＳＦとを所定の比率で合成したＰＳＦとしてもよい。
【０１０７】
特に、例えば、人物や風景などの通常のカメラと同様の遠点撮像とともに、バーコードなどの近接画像の取り込みにも利用するような場合、一般的に、遠点撮像はカメラ機能として利用するため画質が重視されるが、バーコードなどを読み込むような場合にはある程度ボケた画像であってもよい。このため、このような利用形態に対しては、代表的なＰＳＦを決定するにあたって、遠レンズ部２２の焦点位置に対するＰＳＦ、あるいは遠レンズ部２２の焦点位置に対するＰＳＦの比率を高くして合成したＰＳＦとすることが好ましい。
【０１０８】
図４は、係数記憶部３４に格納された各フィルタ係数列の一例を示した図である。図４に示すように、係数記憶部３４には、各ブロックごとにフィルタ係数Ｋ00からＫvhまでで構成されるフィルタ係数列が格納されている。
【０１０９】
すなわち、図４では、垂直方向に（ｖ＋１）個のタップ、水平方向に（ｈ＋１）個のタップを有した２次元のデジタルフィルタに対するフィルタ係数の一例を示している。
【０１１０】
図４に示すようなフィルタ係数を用いて、撮像素子２９の撮像面に投射されるボケた像の補正を行うため、まず、制御信号生成部３９１は、デジタルフィルタ部３３に供給されている撮像データがどのブロックに相当しているかを示すブロック切替信号を係数処理部３５に通知する。
【０１１１】
係数処理部３５は、制御信号生成部３９１からのブロック切替信号に応じて、係数記憶部３４が記憶するブロックごとのフィルタ係数列から１つのフィルタ係数列を選択し、選択したフィルタ係数列をデジタルフィルタ部３３に供給する。
【０１１２】
デジタルフィルタ部３３は、供給されている撮像データ列に対して、係数処理部３５から供給されたフィルタ係数列を用いて、垂直方向に（ｖ＋１）個のタップ、水平方向に（ｈ＋１）個のタップの２次元のデジタルフィルタ処理を実行する。
【０１１３】
このように、本実施の形態の撮像装置は、垂直方向に設けた各ブロックごとに、それぞれに対応したフィルタ係数列で撮像素子２９上に投射されるボケた像の補正を行うため、例えば、画像の上部や下部であっても、精度よくボケた像を補正できる。
【０１１４】
すなわち、図１０で説明したように、遠点の被写体に対しては、撮像素子２９の撮像面上部の投射像は合焦成分に対してボケ成分の比率が大きく、下部の投射像は合焦成分に対してボケ成分の比率が小さくなるため、上部に行くほどボケたような像となる。
【０１１５】
このため、図３のブロック分割の場合、近レンズ部２３側のブロック２に比べて遠レンズ部２２側のブロック０では、より高周波信号成分を強調するようなフィルタ係数列が設定され、これによって、垂直方向にほぼ均等にボケ成分が補正された画像が得られることとなる。
【０１１６】
また、本実施の形態の撮像装置は、フィルタ係数列をブロックごとに設定しているため、それぞれの画素に対してフィルタ係数列を設定するような場合に比べて、記憶するフィルタ係数列は少なくてすみ、フィルタ係数を格納するメモリ容量の増加を抑制でき、かつ簡易な処理で精度よくボケた像を補正できる。
【０１１７】
なお、以上の説明では、ブロック分割として、画像の垂直方向を複数に分割するようにブロック区分した一例を挙げて説明したが、画像の垂直方向に加えて、水平方向をも複数に分割するようにブロック区分してもよい。
【０１１８】
図５は、このような、画像の垂直方向および水平方向を複数に分割した一例を示す図である。ブロック分割をこのような構成とし、例えば、補正関数にコマ収差補正、像倍率補正あるいはこれら両補正をも含めることにより、より精度よくボケた像を補正できる。
【０１１９】
また、図４に示すようなフィルタ係数において、フィルタ係数が水平方向あるいは垂直方向に対称となるような場合、デジタルフィルタ部３３の構成において対象タップの加算演算を先に行い、その後、係数を掛けるような構成とすることで、係数記憶部３４に格納する係数の数を減らすことができ、係数を格納するメモリの容量増加をさらに抑制できる。
【０１２０】
例えば、図４での係数Ｋ00からＫ0hにおいて、係数Ｋ03を中心に、Ｋ02とＫ04、Ｋ01とＫ05、Ｋ00とＫ0hとが等しくなるような場合、Ｋ00からＫ03までの係数のみを記憶しておけばよい。
【０１２１】
また、デジタルフィルタ部３３の具体的な構成として、各タップのデータを供給するシフトレジスタやラインメモリを備え、さらに各タップからのデータに対して、乗算器、加算器、減算器などを用いて荷重加算演算処理をハードウエアで実行するような構成であってもよく、またマイクロコンピュータやシグナルプロセッサなどと処理プログラムを記憶したメモリとを備え、マイクロコンピュータやシグナルプロセッサなどがメモリに記憶した処理プログラムを実行することで荷重加算演算処理などをソフトウェア的に行うような構成であってもよい。
【０１２２】
すなわち、画像処理部３０において、マイクロコンピュータやシグナルプロセッサなどが、撮像素子からの撮像信号を取り込むステップと、取り込んだ撮像信号に対し撮像素子の撮像面に結像される画像が垂直方向を複数に分割するように区分されるブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施すステップと、フィルタ処理により得られた画像信号を出力画像信号として出力するステップとを含む画像処理方法の処理プログラムをメモリから読み込み、その処理プログラムを実行するような構成であってもよい。
【０１２３】
図６は、コアリング処理部３７の詳細な構成を示したブロック図である。上述したように、デジタルフィルタ部３３は、２焦点レンズ２１０によりボケた画像成分に対し、その補正を行うことができるが、その一方で、撮像素子２９やＡＦＥ３１で生じた高周波ノイズが強調されることとなる。コアリング処理部３７は、このように強調されたノイズ成分を低減するため、高周波信号成分の微小振幅成分を除去するコアリング処理と呼ばれる処理を行う。
【０１２４】
図６に示すように、コアリング処理部３７には、撮像データおよびデジタルフィルタ部３３からの画像データが供給される。
【０１２５】
コアリング処理部３７において、減算器３７１により、デジタルフィルタ部３３からの画像データ値から撮像データ値が減算される。これによって、減算器３７１からは、デジタルフィルタ部３３で強調された高周波信号成分のみを含む画像データが出力される。コアリング部３７０は、このような高周波信号成分のみを含む画像データに対してコアリング処理を実行する。
【０１２６】
コアリング部３７０は、供給された高周波信号成分を含む画像データの振幅値に対して非線形処理を行う。
【０１２７】
このような非線形処理の一例として、コアリング部３７０は、入力データの絶対値が所定の閾値（以下、適宜、コアリング量と呼ぶ）以下のデータ値を一律０値としたデータとして出力し、入力データの絶対値が所定の閾値以上の場合には、その絶対値を閾値だけ減じたデータ値のデータを出力する。
【０１２８】
コアリング部３７０において、このような処理が実行されることにより、供給された画像データの高周波信号成分に含まれる微小な振幅のデータはノイズとみなされて０値に変換、すなわち、ノイズ低減されることとなる。
【０１２９】
コアリング部３７０でノイズ低減されたデータは、乗算器３７３に供給される。乗算器３７３は、コアリング部３７０でデータ値が減少した分だけ、ゲイン設定部３７４からのゲイン値でゲイン補正を行う。
【０１３０】
乗算器３７３からのデータは加算器３７２により撮像データに加算される。すなわち、加算器３７２からは、デジタルフィルタ部３３の出力と同様の周波数特性であるとともに、コアリング部３７０で高周波ノイズが低減された画像データが出力されることとなる。
【０１３１】
また、コアリング処理部３７において、コアリング量設定部３７５には、ブロック切替信号が通知され、コアリング量設定部３７５は、ブロック切替信号に基づき、図３で示したような画像の各ブロックに対応したコアリング量をコアリング部３７０に設定する。
【０１３２】
すなわち、図３を用いて説明したような場合、遠点の被写体に対しては、上部に行くほどボケたような像となる。このため、デジタルフィルタ部３３は、下から上に行くに従ってより強く補正し、高周波信号成分を強調することになり、その結果、コアリング処理をしない場合には、撮像面の上部ほどノイズが目立つこととなる。
【０１３３】
コアリング処理部３７では、このような不都合を抑制するため、コアリング量設定部３７５が各ブロックに応じたコアリング量をコアリング部３７０に設定するような構成としている。
【０１３４】
すなわち、図３のブロック区分の場合、コアリング量設定部３７５は、ブロック２に比べてブロック１のほうが大きく、さらにブロック１に比べてブロック０のほうが大きくなるようなコアリング量をコアリング部３７０に設定し、撮像面の上部に行くほど強調されるノイズに対し、コアリング部３７０によるノイズ低減効果を高めている。
【０１３５】
このように、コアリング処理部３７は、デジタルフィルタ部３３で強調されたノイズ成分を低減するとともに、ブロックごとにノイズ量が異なるような画質劣化をも抑制し、これによって、精度よく鮮明な画像を得ることを可能としている。
【０１３６】
図７は、本実施の形態の撮像装置を利用したカメラ付き携帯電話などの情報端末装置の構成例を示したブロック図である。
【０１３７】
図７に示すように、本情報端末装置は、本実施の形態の撮像装置に加えて、ユーザからの指示に応じて画像処理された画像データの編集などを行うデータ処理部４１、画像処理された画像データを記録する記録部４２および出力画像信号を表示する表示部４３をさらに備えた構成である。
【０１３８】
このような構成とする情報端末装置により、例えば、人物や風景などを撮像した画像データを電子的な写真として記録部４２に記録したり、記録した画像データの編集処理などを行うことができる。
【０１３９】
また、バーコードなどを撮像した場合には、そのバーコードの画像データから文字情報などに復元するような処理も行うことができる。
【０１４０】
さらに、表示部４３からは、写真のような静止画像、あるいは動画像としてユーザに呈示することもできる。
【０１４１】
このように、本情報端末装置によれば、近距離および遠距離の被写体双方に対して精度よく画像を取り込むことができるため、人物や風景を撮影するようなカメラ機能とともに、バーコードなどの近接画像をも読み取り可能であり、利便性を向上させた情報端末装置を提供することができる。
【産業上の利用可能性】
【０１４２】
本発明は、大規模な処理を必要とせず、標準的な距離にある通常の被写体、およびこれよりも近距離にある近接被写体のいずれについても容易にかつ精度よく鮮明な画像を得ることができるため、撮像装置としてのカメラやビデオカメラとして利用できるとともに、撮像機能を有した携帯電話などの情報端末装置、その他にも利用することができる。
【図面の簡単な説明】
【０１４３】
【図１】本発明の実施の形態における撮像装置の構成を示すブロック図
【図２】本実施の形態における２焦点レンズの形状の詳細を示す図
【図３】撮像した画像におけるブロックの分割例を示す図
【図４】係数記憶部に格納された各フィルタ係数列の一例を示す図
【図５】画像の垂直方向および水平方向を複数に分割した一例を示す図
【図６】コアリング処理部の詳細な構成を示すブロック図
【図７】本発明の実施の形態における撮像装置を利用した情報端末装置の構成例を示すブロック図
【図８】従来のバーコード読取装置の構成を示すブロック図
【図９】それぞれのレンズ部が半円形で構成される２焦点レンズの光学結像系を示す図
【図１０】（ａ）遠レンズ部のみによる光学結像系、投射像および照射強度分布を示す図 （ｂ）近レンズ部のみによる光学結像系、投射像および照射強度分布を示す図 （ｃ）２焦点レンズによる光学結像系、投射像および照射強度分布を示す図
【符号の説明】
【０１４４】
２０ 撮像部
２２，９２ 遠レンズ部
２３，９３ 近レンズ部
２９，９９ 撮像素子
３０ 画像処理部
３１ アナログフロントエンド（ＡＦＥ）
３２ ＡＤ変換部
３３ デジタルフィルタ部
３４ 係数記憶部
３５ 係数処理部
３６ フィルタ制御部
３７ コアリング処理部
３９ 制御部
４１ データ処理部
４２ 記録部
４３ 表示部
９１ レンズ
９７ ハイパスフィルタ
９８ 先端部
２１０ ２焦点レンズ
３７０ コアリング部
３７１ 減算器
３７２ 加算器
３７３ 乗算器
３７４ ゲイン設定部
３７５ コアリング量設定部
３９１ 制御信号生成部
【技術分野】
【０００１】
本発明は、電子カメラなど被写体を電子的に撮像する撮像装置およびその画像処理方法に関し、特に、２つの焦点を有した２焦点レンズを利用して、通常のカメラと同様の遠点撮像とともに、バーコードなど近接の被写体を撮像する近点撮像をも行う撮像装置およびその画像処理方法、さらにはその撮像装置を備えた情報端末装置に関する。
【背景技術】
【０００２】
近年、例えば携帯電話で代表されるように、情報端末装置には、画像入力機能を備えることが一般的となっている。さらに、この画像入力機能を利用して人物や風景を撮影するようなカメラ機能とともに、バーコードなどの近接画像をも読み取り可能とすることで、このような情報端末装置の利便性をさらに向上させることができる。
【０００３】
例えば、このようなバーコードを利用して、メールアドレス、ホームページアドレス、電話番号など多くの情報を表すことができるので、これらのバーコードを上記所望の画像と組み合わせて使用することにより、きわめて有用なコミュニケーションを実現できる。
【０００４】
このように、近距離および遠距離の被写体双方に対して精度よく画像を取り込むような情報端末装置の実現が強く要望されつつある。
【０００５】
このようななか、２焦点レンズのような多焦点光学系を使用して焦点深度の拡大を図り、バーコードのような被写体に対して、近距離とともにある程度離れた距離であっても精度よく読み取りを可能とした技術が提案されている（例えば、特許文献１参照）。
【０００６】
図８は、このような多焦点光学系を使用して焦点深度の拡大を図った従来のバーコード読取装置の構成を示すブロック図である。
【０００７】
図８に示す構成において、バーコードなど対象物の反射光は、従来のバーコード読取装置の先端部９８を通して取り込まれ、レンズ９１により撮像素子９９上に結像される。また、レンズ９１は、２焦点光学系として、長い焦点距離で集束する遠レンズ部９２と、短い焦点距離で集束する近レンズ部９３とで構成されている。図８に示すように、レンズ９１は、正面から見たとき、平面形状が円形である遠レンズ部９２が中心に配置され、平面形状が環状である近レンズ部９３が遠レンズ部９２の外縁部に配置されている。
【０００８】
また、遠レンズ部９２は、光軸１０上に長い焦点距離である焦点１１を形成し、近レンズ部９３は、光軸１０上に短い焦点距離である焦点１３を形成している。さらに、バーコードの読み取り限界範囲を示す被写界深度（ＤＯＦ）が焦点を中心に決定される。すなわち、遠レンズ部９２は、図８に示すような被写界深度ＤＯＦ１を有しており、近レンズ部９３は、被写界深度ＤＯＦ２を有している。
【０００９】
また、撮像素子９９上に結像された像は、撮像素子９９の走査により結像に応じた電気信号に変換され、撮像素子９９から撮像信号として出力される。さらに、撮像信号は、信号の直流成分を濾波し排除するハイパスフィルタ９７に供給され、撮像信号から直流成分が除去された信号がハイパスフィルタ９７から画像信号として出力される。この画像信号は、さらに図示しない信号処理部などにより文字情報などに復号される。このようにして、従来のバーコード読取装置によるバーコードの読み取りが実現される。
【００１０】
このような従来のバーコード読取装置の構成において、レンズ９１は、異なった位置に焦点を持つ２つのレンズ部により構成されるため、撮像素子９９には、対象物が一方の被写界深度（ＤＯＦ）内であっても、他方のレンズ部からボケた投射像が投射される。
【００１１】
このため、他方のレンズ部からのボケた投射像は、撮像素子９９上に投射される投射像全体を浮き上がらせる直流成分として作用する。ハイパスフィルタ９７は、このような直流成分として作用する他方のレンズ部からのボケた投射像による画像成分を除去するために設けられている。
【００１２】
例えば、対象物としてのバーコードがＤＯＦ１内にある場合、ハイパスフィルタ９７は、近レンズ部９３によるボケた投射像成分である直流成分を除去する。逆に、対象物としてのバーコードがＤＯＦ２内にある場合、ハイパスフィルタ９７は、遠レンズ部９２によるボケた投射像成分である直流成分を除去する。
【００１３】
このように、ハイパスフィルタ９７により、ボケた画像成分による直流成分を除去することで、バーコード画像の変調の深さを改善している。その結果、このバーコード読取装置の被写界深度は、図８に示す近距離のＤＯＦ２に加えて遠距離のＤＯＦ１をも有することとなり、焦点深度の拡大を図ることができ、これによりバーコードからある程度離れた距離であっても精度よい読み取りが可能となる。
【００１４】
また、図９は、多焦点光学系として上記従来例とは異なった形状の２焦点レンズにおける光学結像系を示した図である。
【００１５】
図９において、２焦点レンズ２１０は、正面から見たとき、それぞれのレンズ部が半円形であり、中心を通る直線を境界として、一方には長い焦点距離で集束する遠レンズ部２２が、他方には遠レンズ部２２よりも短い焦点距離で集束する近レンズ部２３が配置される。
【００１６】
なお、以下、両レンズ部が接する直線部分に直角かつ光軸に対しても直角な方向を垂直方向とし、両レンズ部が接する直線部分に平行かつ光軸に対して直角な方向を水平方向とし、また、両レンズ部が接する直線部分あるいは光軸から一方の垂直方向を上方向とし、両レンズ部が接する直線部分あるいは光軸から他方の垂直方向を下方向として説明する。
【００１７】
図９では上方向である上部に遠レンズ部２２を、下方向である下部に近レンズ部２３を配置した２焦点レンズ２１０の一例を示している。
【００１８】
図９（ａ）は、遠レンズ部２２の焦点１１に点光源を配置した場合の光学結像系を示している。
【００１９】
図９（ａ）の場合、撮像素子２９の撮像面には、正面から見ると図９（ａ）に示すような投射像２９０が得られる。すなわち、遠レンズ部２２の焦点１１に点光源を配置した場合、遠レンズ部２２によるピントのあった点状の像ｐ９０を中心に、その外周部の上部半分には近レンズ部２３により、半円形の像ｂ９０、すなわちピントのボケた像が投射される。
【００２０】
一方、図９（ｂ）は、近レンズ部２３の焦点１３に点光源を配置した場合の光学結像系を示している。
【００２１】
図９（ｂ）の場合にも、撮像素子２９の撮像面には、図９（ａ）の場合と同様に、正面から見ると図９（ｂ）に示すような投射像２９１が得られる。すなわち、近レンズ部２３の焦点１３に点光源を配置した場合においても、近レンズ部２３によるピントのあった点状の像ｐ９１を中心に、その外周部の上部半分には遠レンズ部２２により、半円形の像ｂ９１、すなわちピントのボケた像が投射される。
【００２２】
このように、遠レンズ部２２と近レンズ部２３との正面形状のそれぞれが半円形状の２焦点レンズ２１０を用いて、それぞれの焦点に点光源を配置した場合、撮像素子２９の撮像面には、投射像２９０と投射像２９１とのように、それぞれが同様の形状となるボケた像を含む像が投射される。より正確に言えば、このような２焦点レンズ２１０では、図９のように点光源を光軸上の焦点に配置した場合には、投射像２９０と投射像２９１との照射強度分布が類似し、遠レンズ部２２の焦点１１に対する点光源分布関数と、近レンズ部２３の焦点１３に対する点光源分布関数とが近似した関数となる。
【００２３】
点光源分布関数は、レンズなどを含めた光学系の伝達特性を示す伝達関数であり、このような点光源分布関数は、ポイントスプレッド関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）、あるいは略してＰＳＦと呼ばれている。
【００２４】
また、このようなボケた画像を精度よく鮮明な画像に補正する手法として、ＰＳＦの逆関数となるようなインバースフィルタを利用して画像処理を行い、これによってボケた画像の修復を行うような手法が知られている。このようなインバースフィルタを用いた画像処理は、デジタルフィルタなどにより、ＰＳＦに対し、その伝達特性を補完するような処理を行うことで実現できる。
【００２５】
よって、２焦点レンズ２１０を用いた光学系において、例えば、代表的なＰＳＦを１つ定めておき、代表的なＰＳＦに基づき生成したフィルタ係数列によるインバースフィルタを用いて画像処理することで、遠点撮像および近点撮像のそれぞれにおいて、ボケを補正した画像が精度よく得られることとなる。このため、例えば、上記従来例のようにバーコードなどの近接画像の取り込みとともに、人物や風景などの通常のカメラと同様の遠点撮像にも利用することができる。
【特許文献１】特開平５−２１７０１２号公報
【発明の開示】
【発明が解決しようとする課題】
【００２６】
しかしながら、上述した半円形状の遠レンズ部２２と近レンズ部２３とを組み合わせた２焦点レンズ２１０の場合、例えば光軸上での遠点と近点において、点光源に対するボケた像を含む投射像の照射強度分布、すなわちＰＳＦはほぼ同じとなるが、光軸から垂直方向に離れた異なる２点において、それぞれの点光源に対する投射像を比較した場合、それぞれの像の照射強度分布、すなわちＰＳＦが異なり、１種類のみのフィルタ係数列を用いたインバースフィルタにより精度よくボケを補正するには限界があった。
【００２７】
図１０は、２焦点レンズ２１０に対し、光軸から垂直方向の３つの異なった焦点位置に点光源を配置した場合のそれぞれの光学結像系、投射像および照射強度分布を示した図である。
【００２８】
図１０でも、図９と同様に、上部に遠レンズ部２２を、下部に近レンズ部２３を配置している。また、図１０では、遠レンズ部２２の焦点位置に、点光源ｐ１、ｐ２およびｐ３を配置した場合を示している。さらに、図１０（ａ）は、遠レンズ部２２のみによる場合、図１０（ｂ）は近レンズ部２３のみによる場合、また図１０（ｃ）は遠レンズ部２２と近レンズ部２３とを組み合わせた２焦点レンズ２１０の場合を示している。
【００２９】
まず、図１０（ａ）では、遠レンズ部２２のみによる光学結像系、投射像および照射強度分布を示すため、下部の近レンズ部２３による光の透過を遮断した場合を示している。
【００３０】
この場合、それぞれの点光源ｐ１、ｐ２およびｐ３は、遠レンズ部２２の焦点位置に配置されているため、撮像素子２９の撮像面には、例えば、点光源ｐ１に対して投射像ｐ１’のように、ピントのあった合焦成分の投射像ｐ１’、ｐ２’およびｐ３’が投射される。
【００３１】
このとき、各点光源ｐ１、ｐ２およびｐ３の垂直位置が異なるため、遠レンズ部２２への入射角が異なることとなり、その結果、ピントはあっているが照射強度が異なった投射像ｐ１’、ｐ２’およびｐ３’が投射されることとなる。
【００３２】
すなわち、図１０（ａ）に示すように、撮像素子２９の撮像面において、近レンズ部２３側から垂直方向に遠レンズ部２２側に行くに従って照射強度が弱くなるような合焦成分が投射される。言い換えれば、図１０（ａ）のように上部に遠レンズ部２２を配置した場合には、遠点の被写体に対して、上から下方向へと行くに従ってコントラストが強くなるようなピントのあった投射像が投射される。
【００３３】
次に、図１０（ｂ）では、近レンズ部２３のみによる光学結像系、投射像および照射強度分布を示すため、上部の遠レンズ部２２による光の透過を遮断した場合を示している。
【００３４】
この場合、それぞれの点光源ｐ１、ｐ２およびｐ３は、遠レンズ部２２の焦点位置に配置されているため、撮像素子２９の撮像面には、例えば、点光源ｐ１に対して投射像ｂ１のように、半円形にボケたボケ成分の投射像ｂ１、ｂ２およびｂ３が投射される。
【００３５】
このときも、各点光源ｐ１、ｐ２およびｐ３の垂直位置が異なるため、近レンズ部２３への入射角が異なることとなり、その結果、ボケの形状は同じであるが照射強度が異なった投射像ｂ１、ｂ２およびｂ３が投射されることとなる。
【００３６】
すなわち、近レンズ部２３は遠レンズ部２２とは反対方向に配置されているため、図１０（ｂ）に示すように、撮像素子２９の撮像面において、遠レンズ部２２側から垂直方向に近レンズ部２３側に行くに従って照射強度が弱くなるようなボケ成分が投射される。言い換えれば、図１０（ｂ）のように下部に近レンズ部２３を配置した場合には、遠点の被写体に対して、上から下方向へと行くに従ってコントラストが弱くなるようなボケた投射像が投射される。
【００３７】
さらに、図１０（ｃ）では、遠レンズ部２２と近レンズ部２３とを組み合わせた場合、すなわち２焦点レンズ２１０による光学結像系、投射像および照射強度分布を示している。
【００３８】
この場合、撮像素子２９の撮像面には、例えば、点光源ｐ１に対して、遠レンズ部２２による投射像ｐ１’と近レンズ部２３による投射像ｂ１とが合成された投射像が投射される。
【００３９】
このとき、撮像素子２９の撮像面において、遠レンズ部２２による合焦成分は上から下方向へと行くに従って照射強度が強くなり、逆に近レンズ部２３によるボケ成分は上から下方向へと行くに従って照射強度が弱くなるため、合焦成分とボケ成分とが合成された合成成分は、図１０（ｃ）で示すように、撮像素子２９の撮像面の上部と下部とで異なった照射強度分布の形状となる。
【００４０】
すなわち、２焦点レンズ２１０を用いて撮像した場合、撮像素子２９の撮像面において、ボケた像を含む投射像としては同形状であるが、ＰＳＦは、撮像面の垂直方向に依存して異なった強度分布形状の関数となる。
【００４１】
また、図１０（ｃ）に示すような撮像面の上部の投射像（ｐ３’＋ｂ３）と下部の投射像（ｐ１’＋ｂ１）との視覚的な比較では、上部の投射像は合焦成分に対してボケ成分の比率が大きく、下部の投射像は合焦成分に対してボケ成分の比率が小さいため、上部に行くほどボケたような像として認知される。
【００４２】
また、以上、図１０を用いて点光源を遠レンズ部２２の焦点位置に配置した場合について説明したが、点光源を近レンズ部２３の焦点位置に配置した場合には、点光源の垂直位置に応じて、近レンズ部２３による合焦成分は下から上方向へと行くに従って照射強度が強くなり、逆に遠レンズ部２２によるボケ成分は下から上方向へと行くに従って照射強度が弱くなる。
【００４３】
すなわち、点光源を近レンズ部２３の焦点位置に配置した場合には、図１０（ｃ）とは逆に、点光源の垂直位置に応じて、下部に行くほど合焦成分に対してボケ成分の比率が大きくなり、よりボケたような像となる。
【００４４】
このように、半円形状の遠レンズ部と近レンズ部とを組み合わせた２焦点レンズを備えた撮像装置において、１種類のみのフィルタ係数のインバースフィルタでボケを補正する場合、画像の垂直位置に依存して異なったＰＳＦとなるため、例えば、画像の上部や下部など垂直方向端部では精度よく画像を修復できなかった。
【００４５】
また、精度よくボケを補正しようとすると、撮像素子の撮像面の位置に応じて異なったフィルタ係数列を備えることが必要となり、フィルタ係数列を備えるメモリ容量が大きくなるなど大規模、かつ複雑な処理が必要になるという課題があった。
【００４６】
本発明は、上記課題を解決するためになされたもので、半円形状の遠レンズ部と近レンズ部とを組み合わせた２焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、標準的な距離にある通常の被写体、およびこれよりも近距離にある近接被写体のいずれについても容易にかつ精度よく鮮明な画像を得ることができる撮像装置およびその画像処理方法ならびに情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【００４７】
本発明の撮像装置は、平面形状がそれぞれ半円形または半楕円形であり、所定の焦点距離を持つ近レンズ部と所定の焦点距離よりも遠方の焦点距離を持つ遠レンズ部とを有し、それぞれのレンズ部の直線部分が互いに接するように一体化されて構成される２焦点レンズと、２焦点レンズにより結像された画像を電気的信号に変換し、撮像信号として出力する撮像素子と、撮像素子からの撮像信号に対し、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施し、フィルタ処理により得られた画像信号を出力画像信号として出力する画像処理部とを備える。
【００４８】
さらに、本発明の撮像装置は、撮像素子の撮像面において、それぞれのレンズ部が接する直線部分に対して平行な方向を水平方向とし、直角な方向を垂直方向とするとき、撮像素子の撮像面に結像される画像は、垂直方向を複数に分割するようにブロック区分され、画像処理部は、各ブロックに対応した撮像信号に対して、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す構成である。
【００４９】
また、本発明の撮像装置は、ブロックごとに設定された補正関数を、近レンズ部側のブロックに対して、遠レンズ部側のブロックほど高周波信号成分を強調するような補正関数とした構成である。
【００５０】
また、本発明の撮像装置は、補正関数を、２焦点レンズの光学系における所定の被写距離に対するポイントスプレッド関数に基づいた逆関数とし、ポイントスプレッド関数を、２焦点レンズの光軸上から垂直方向に、撮像素子の撮像面の各ブロックに対応した距離だけ離れた焦点面において、いずれかのレンズ部の焦点位置に対するポイントスプレッド関数とした構成である。
【００５１】
また、本発明の撮像装置は、補正関数を、２焦点レンズの光学系における所定の被写距離に対するポイントスプレッド関数に基づいた逆関数とし、ポイントスプレッド関数を、２焦点レンズの光軸上から垂直方向に、撮像素子の撮像面の各ブロックに対応した距離だけ離れた焦点面において、遠レンズ部の焦点位置に対するポイントスプレッド関数と近レンズ部の焦点位置に対するポイントスプレッド関数とを所定の比率で合成したポイントスプレッド関数とした構成である。
【００５２】
また、本発明の撮像装置は、撮像素子の撮像面に結像される画像を、垂直方向に加えて、水平方向をも複数に分割するようにブロック区分し、画像処理部が、各ブロックに対応した撮像信号に対して、それぞれに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す構成である。
【００５３】
また、本発明の撮像装置は、補正関数を、コマ収差補正および像倍率補正の少なくともいずれかをも含む補正関数とした構成である。
【００５４】
また、本発明の撮像装置は、画像処理部が、撮像素子から供給される撮像信号をデジタル信号である撮像データに変換するＡＤ変換部と、撮像データに対して、補正関数に基づくフィルタ係数列を用いてフィルタ処理を行うデジタルフィルタ部と、補正関数に基づくフィルタ係数列を、ブロックごとに記憶する係数記憶部と、係数記憶部から各ブロックに応じたフィルタ係数列を抽出し、抽出したフィルタ係数列をデジタルフィルタ部に供給する係数処理部とを備えた構成である。
【００５５】
また、本発明の撮像装置は、さらに、高周波信号成分に対して、所定のコアリング量以下の微小振幅値の信号の値を０値に変換することでノイズ低減処理を施すコアリング処理部を備え、コアリング処理部が、デジタルフィルタ部によりフィルタ処理された信号の高周波信号成分に対して、ブロックごとに設定されたコアリング量に基づきノイズ低減処理を施す構成である。
【００５６】
また、本発明の撮像装置は、画像処理部が、さらに、デジタルフィルタ部を制御するフィルタ制御部を備え、デジタルフィルタ部が画像の端部に対応した撮像データに対してフィルタ処理を行うとき、フィルタ制御部が、デジタルフィルタ部に所定のダミー値を供給し画面端処理を行う構成である。
【００５７】
また、本発明の撮像装置は、上記ダミー値を、所定の固定値、画像の端部に対応した撮像データの値、または画像の端部から画像の垂直逆方向と水平逆方向との撮像データにそれぞれ対応した値とした構成である。
【００５８】
また、本発明の情報端末装置は、上記撮像装置と、撮像装置の画像処理部により生成された画像データを記憶する記憶部と、画像データを表示する表示部とを備えた構成である。
【００５９】
また、本発明の画像処理方法は、平面形状がそれぞれ半円形または半楕円形であり、所定の焦点距離を持つ近レンズ部と所定の焦点距離よりも遠方の焦点距離を持つ遠レンズ部とを有し、それぞれのレンズ部の直線部分が互いに接するように一体化されて構成される２焦点レンズと、２焦点レンズにより結像された画像を電気的信号に変換し、撮像信号として出力する撮像素子とを備えた撮像装置の画像処理方法であり、撮像素子の撮像面において、それぞれのレンズ部が接する直線部分に対して平行な方向を水平方向とし、直角な方向を垂直方向とするとき、撮像素子からの撮像信号を取り込むステップと、取り込んだ撮像信号に対し、撮像素子の撮像面に結像される画像が垂直方向を複数に分割するように区分されるブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施すステップと、フィルタ処理により得られた画像信号を出力画像信号として出力するステップとを有する。
【発明の効果】
【００６０】
本発明の撮像装置およびその画像処理方法ならびに情報端末装置は、垂直方向を区分するように設けた各ブロックごとに、それぞれに対応したフィルタ係数列で撮像素子の撮像面に投射されるボケた像の補正を行うため、画像の上部や下部であっても精度よくボケた像を補正でき、また、ブロックごとに設定したフィルタ係数列であるため、記憶するフィルタ係数列は少なくてすみ、係数を格納するメモリ容量の増加を抑制でき、かつ簡易な処理で精度よくボケた像を補正できる。このため、本発明の撮像装置およびその画像処理方法ならびに情報端末装置によれば、２焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、標準的な距離にある通常の被写体、およびこれよりも近距離にある近接被写体のいずれについても容易にかつ精度よく鮮明な画像を得る撮像装置およびその画像処理方法ならびに情報端末装置を提供することができる。
【発明を実施するための最良の形態】
【００６１】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００６２】
（実施の形態）
図１は、本発明の実施の形態における撮像装置の構成を示すブロック図である。
【００６３】
図１に示すように、本実施の形態の撮像装置は、被写体を撮像するための光学系である撮像部２０と、撮像部２０からの撮像信号に対して画像処理を施し、画像処理を施した信号を出力画像信号として出力する画像処理部３０とを備えている。
【００６４】
さらに、撮像部２０は、被写体を撮像する２焦点レンズ２１０と、この２焦点レンズ２１０により結像された像を取り込む撮像素子２９とを含み構成される。２焦点レンズ２１０は、異なった焦点距離のレンズ部により構成されるレンズである。また、撮像素子２９は、２焦点レンズ２１０により結像された画像を電気的信号に変換し、撮像信号として出力する。
【００６５】
また、画像処理部３０において、まず、撮像素子２９からの撮像信号は、アナログフロントエンド（以下、ＡＦＥと呼ぶ）３１に供給される。ＡＦＥ３１は、供給された撮像信号の増幅処理などを行い、増幅された撮像信号をＡＤ変換部３２に供給する。ＡＤ変換部３２は、アナログ信号である撮像信号をデジタル信号に変換し、デジタル信号に変換された撮像データが、以下で説明するデジタルフィルタ部３３およびコアリング処理部３７に供給される。
【００６６】
デジタルフィルタ部３３は、２焦点レンズ２１０によるボケた画像成分の補正を行い、これによって本発明の特徴となる画像の改質処理を行う。すなわち、上述したように、このような複数の焦点を有するレンズの場合、投射像はピントのあった像にボケた像が重畳したようになる。デジタルフィルタ部３３は、このようなボケた像もピントのあった像へと補正するために設けられている。
【００６７】
係数記憶部３４は、デジタルフィルタ部３３がフィルタ処理を行うため、所定の補正関数に基づく複数種類のフィルタ係数列を記憶している。また、係数処理部３５は、以下で説明する制御信号生成部３９１からのブロック切替信号に応じて、係数記憶部３４が記憶する複数種類のフィルタ係数列から１つのフィルタ係数列を選択し、選択したフィルタ係数列をデジタルフィルタ部３３に供給する。
【００６８】
このような構成により、デジタルフィルタ部３３は、供給された撮像データ列と係数処理部３５から供給されたフィルタ係数列との荷重加算演算処理を実行する。また、フィルタ係数列を構成する各フィルタ係数は、２焦点レンズ２１０の光学系における所定の被写距離に対するポイントスプレッド関数（以下、ＰＳＦと呼ぶ）の逆関数に基づきあらかじめ求めた係数である。
【００６９】
すなわち、デジタルフィルタ部３３は、所定のＰＳＦの逆関数となるフィルタ係数でフィルタ処理を行うインバースフィルタとして機能する。
【００７０】
以上、デジタルフィルタ部３３は、撮像素子２９からの撮像信号に応じた撮像データに対し、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す。
【００７１】
フィルタ制御部３６は、デジタルフィルタ部３３が画像の端部に対応した撮像データに対してフィルタ処理を行うとき、デジタルフィルタ部３３に所定のダミー値を供給し、デジタルフィルタ部３３が画面端処理を行うようにデジタルフィルタ部３３を制御する。
【００７２】
すなわち、デジタルフィルタ部３３は、遅延データを出力する各タップごとのデータを用いてフィルタ演算を行うが、例えば画像フレームの先頭などフィルタ演算を開始するとき、その画像領域外の画像データは存在しないため未定のデータを含めて演算処理を行うこととなり、その結果、タップ数の期間に対応した幅だけ画像の上部や左部に乱れた画像などが現れることとなる。
【００７３】
フィルタ制御部３６は、このような不都合を防止するために設けられており、画像の端部においてタップから出力される未定のデータに代えて供給された所定のダミー値が出力されるようにデジタルフィルタ部３３を制御する。所定のダミー値としては、所定の固定値、あるいは最初に供給された撮像データの値としてよく、また画像データを鏡像的に折り返しその折り返した各画素データ、すなわち、画像の端部から画像の垂直逆方向および水平逆方向の撮像データにそれぞれ対応した値をダミー値としてもよい。
【００７４】
コアリング処理部３７は、デジタルフィルタ部３３により強調された高周波信号成分に対して、ノイズ低減処理を施す。
【００７５】
すなわち、デジタルフィルタ部３３は、２焦点レンズ２１０によりボケた画像成分の補正を行うために設けられたフィルタであるため、撮像信号の高周波信号成分を強調するような一種のハイパスフィルタである。このため、例えば、撮像素子２９やＡＦＥ３１で生じた高周波ノイズを強調することとなる。
【００７６】
このように強調されたノイズを低減するため、本実施の形態では、ノイズ低減処理を施すためのコアリング処理部３７を設けた一例を挙げている。
【００７７】
また、コアリング処理部３７にも、以下で説明する制御信号生成部３９１からのブロック切替信号が供給され、コアリング処理部３７はこのブロック切替信号に応じたコアリング量でノイズ低減処理を実行する。
【００７８】
コアリング処理部３７によりノイズ低減処理された画像データは、出力画像信号として出力され、例えば、表示装置などに供給され、写真のような静止画像、あるいは動画像としてユーザに呈示される。
【００７９】
また、制御部３９は、例えば、マイクロコンピュータで実現され、各部の制御やそのための処理を行うとともに、制御信号生成部３９１に、画像信号の水平端を示す水平同期信号および垂直端を示す垂直同期信号を供給する。
【００８０】
制御信号生成部３９１は、制御部３９から供給された水平同期信号および垂直同期信号を利用してブロック切替信号および画面端信号を生成する。
【００８１】
ブロック切替信号は、撮像した画像において、垂直方向を複数に分割するようにブロック区分したとき、デジタルフィルタ部３３に供給されている撮像データがどのブロックに相当しているかを示す信号である。
【００８２】
制御信号生成部３９１は、このようなブロック切替信号を係数処理部３５およびコアリング処理部３７に供給する。これにより、係数処理部３５は、画像上における各ブロックの撮像データに対して、そのブロックに応じたフィルタ係数列をデジタルフィルタ部３３に供給する。
【００８３】
すなわち、撮像素子２９の撮像面に結像される画像は、垂直方向を複数に分割するようにブロック区分され、デジタルフィルタ部３３は、撮像素子２９からの撮像信号に応じた撮像データに対し、係数処理部３５から供給されるブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す。
【００８４】
また、コアリング処理部３７は、制御信号生成部３９１からのブロック切替信号を利用して、画像上における各ブロックの撮像データに対して、そのブロックに応じたコアリング処理を実行する。
【００８５】
また、制御信号生成部３９１から出力される画面端信号は、水平同期信号および垂直同期信号に対応した信号であり、デジタルフィルタ部３３に供給される撮像データが画面開始位置となる画面端のデータであることを示す信号である。
【００８６】
制御信号生成部３９１は、このような画面端信号をフィルタ制御部３６に供給する。フィルタ制御部３６は、このような画面端信号を利用して、デジタルフィルタ部３３が画面端処理を行うように制御する。
【００８７】
図２は、本実施の形態における２焦点レンズ２１０の形状の詳細を示した図である。図２（ａ）は、２焦点レンズ２１０の側面図であり、図２（ｂ）は、２焦点レンズ２１０の正面図である。
【００８８】
図２に示すように、本２焦点レンズ２１０は、２焦点光学系として、長い焦点距離で集束する遠レンズ部２２と、遠レンズ部２２よりも短い焦点距離で集束する近レンズ部２３とで構成されている。
【００８９】
図２（ｂ）に示すように、２焦点レンズ２１０は、正面から見たとき、それぞれのレンズ部の平面形状が半円形であり、中心を通る直線を境界として、上部には遠レンズ部２２が、下部には近レンズ部２３が配置され、それぞれが一体化されて構成される。
【００９０】
なお、以下、本実施の形態では、半円形のレンズ部を２つ組み合わせた円形の２焦点レンズ２１０を例に挙げて説明するが、例えば、半楕円形、もしくは多角形のレンズ部を直線部分が互いに接するように配置し構成した２焦点レンズであってもよい。また、遠レンズ部２２と近レンズ部２３との上下関係を逆にしてもよく、その場合、それにあわせた画像処理を行えばよい。
【００９１】
図３は、撮像した画像におけるブロックの分割例を示した図である。ここでは、ブロック分割として、撮像素子２９の撮像面に結像される画像に対し、垂直方向を３つに分割するようにブロック区分した一例を示している。また、図３には、それぞれのブロックにおける代表的な投射像を示している。
【００９２】
図３においても、図１０（ｃ）で説明したように、遠レンズ部２２の焦点位置で、かつ各ブロックに対応した垂直位置に点光源を配置し、撮像素子２９の撮像面に結像された投射像ｐｂ０、ｐｂ１およびｐｂ２を示している。
【００９３】
このような本実施の形態の場合も、図１０（ｃ）を用いて説明したように、点光源に対して２焦点レンズ２１０により撮像素子２９上に投射される像は、点光源を上方から下方に移動させた場合、その移動に従って、撮像素子２９に投影されるボケた像は、下方から上方へと移動しながら、その合焦成分は小さくなるとともにボケ成分は大きくなっていく。
【００９４】
このため、各ブロックには、図３に示すようにボケた像の投射形状は類似しているものの、図１０（ｃ）で説明したようにその照射強度分布、すなわちＰＳＦの関数形状が異なった像が投射される。
【００９５】
以下、このように構成された本実施の形態の撮像装置の動作について説明する。
【００９６】
一般に、２焦点レンズを含め光学系は、ＰＳＦにより結像系の特性が決定される。このＰＳＦは、レンズの場合このレンズに対して、水平方向ｘ、垂直方向ｙ、およびレンズから被写体までの距離ｚに依存したスペースバリアントな関数である。
【００９７】
ここで、２焦点レンズのＰＳＦをｈx,y,zとし、被写体をｉとすると、撮像素子２９の撮像面に投射される撮像画像ｐは、被写体ｉと多焦点レンズのＰＳＦであるｈx,y,zとのコンボリューションで表現できる。すなわち、コンボリューション演算を記号＊で示すと、ｐ[x,y]=ｉ*ｈx,y,zとなる。
【００９８】
また、空間座標軸で表現される２焦点レンズのＰＳＦｈx,y,zを、フーリエ変換やｚ変換により座標変換することにより２焦点レンズのＰＳＦの伝達関数Ｈx,y,zを求めることができる。
【００９９】
すなわち、撮像素子２９に投影される撮像画像ｐ[x,y]は、入力画像を被写体ｉとしたとき、伝達関数Ｈx,y,zの応答出力となる。ここで、上述したように、２焦点レンズを用いた場合、ボケた成分も含めて撮像素子２９上に投影される。
【０１００】
デジタルフィルタ部３３は、このような伝達関数Ｈx,y,zに含まれるボケ成分の生成メカニズムを補正するために設けられたフィルタである。
【０１０１】
すなわち、デジタルフィルタ部３３の伝達関数を２焦点レンズの伝達関数Ｈx,y,zの逆関数、すなわち１／Ｈx,y,zとなる補正関数とすることで、２焦点レンズ２１０とデジタルフィルタ部３３との縦続接続による伝達特性は１となる。その結果、出力画像ｏは、被写体像ｉと等しくなり、２焦点レンズ２１０により生じたボケ成分を除去したことと等しくなる。
【０１０２】
本実施の形態の２焦点レンズ２１０の場合、図９で説明したように、光軸上で点光源位置を変えても撮像素子２９上に投射されるボケた像の変化が少ないことにより、２焦点レンズ２１０のＰＳＦはレンズから被写体までの距離ｚの依存度が低いと言える。
【０１０３】
一方、図１０で説明したように、それぞれのレンズ部が接する直線部分に対して直角な方向で点光源位置を変えた場合、両レンズ部への入射角の違いにより、撮像素子２９の撮像面に投射される像の照射強度分布が変化する。すなわち、２焦点レンズ２１０のＰＳＦは、垂直方向ｙの依存度が高いと言える。
【０１０４】
このため、本実施の形態の撮像装置は、図３に示すように、撮像素子２９に結像される画像に対し、垂直方向を複数に分割するようにブロック区分し、各ブロックに応じた代表的なＰＳＦを求め、それぞれのＰＳＦからその逆関数である補正関数を算出し、これによってブロックに応じたボケ成分の補正を行っている。
【０１０５】
すなわち、本実施の形態では、撮像素子２９の撮像面に投射される画像の各ブロックにおいて、図３に示すような点光源に対する代表的な投射像から求めたＰＳＦを１つずつ定め、それぞれのＰＳＦに基づき算出したフィルタ係数列を係数記憶部３４に格納している。
【０１０６】
なお、それぞれのＰＳＦとしては、撮像素子２９の撮像面の各ブロックに対応した距離だけ離れた垂直方向の焦点面において、いずれかのレンズ部の焦点位置に対するＰＳＦとしてもよく、また、遠レンズ部２２の焦点位置に対するＰＳＦと近レンズ部２３の焦点位置に対するＰＳＦとを所定の比率で合成したＰＳＦとしてもよい。
【０１０７】
特に、例えば、人物や風景などの通常のカメラと同様の遠点撮像とともに、バーコードなどの近接画像の取り込みにも利用するような場合、一般的に、遠点撮像はカメラ機能として利用するため画質が重視されるが、バーコードなどを読み込むような場合にはある程度ボケた画像であってもよい。このため、このような利用形態に対しては、代表的なＰＳＦを決定するにあたって、遠レンズ部２２の焦点位置に対するＰＳＦ、あるいは遠レンズ部２２の焦点位置に対するＰＳＦの比率を高くして合成したＰＳＦとすることが好ましい。
【０１０８】
図４は、係数記憶部３４に格納された各フィルタ係数列の一例を示した図である。図４に示すように、係数記憶部３４には、各ブロックごとにフィルタ係数Ｋ00からＫvhまでで構成されるフィルタ係数列が格納されている。
【０１０９】
すなわち、図４では、垂直方向に（ｖ＋１）個のタップ、水平方向に（ｈ＋１）個のタップを有した２次元のデジタルフィルタに対するフィルタ係数の一例を示している。
【０１１０】
図４に示すようなフィルタ係数を用いて、撮像素子２９の撮像面に投射されるボケた像の補正を行うため、まず、制御信号生成部３９１は、デジタルフィルタ部３３に供給されている撮像データがどのブロックに相当しているかを示すブロック切替信号を係数処理部３５に通知する。
【０１１１】
係数処理部３５は、制御信号生成部３９１からのブロック切替信号に応じて、係数記憶部３４が記憶するブロックごとのフィルタ係数列から１つのフィルタ係数列を選択し、選択したフィルタ係数列をデジタルフィルタ部３３に供給する。
【０１１２】
デジタルフィルタ部３３は、供給されている撮像データ列に対して、係数処理部３５から供給されたフィルタ係数列を用いて、垂直方向に（ｖ＋１）個のタップ、水平方向に（ｈ＋１）個のタップの２次元のデジタルフィルタ処理を実行する。
【０１１３】
このように、本実施の形態の撮像装置は、垂直方向に設けた各ブロックごとに、それぞれに対応したフィルタ係数列で撮像素子２９上に投射されるボケた像の補正を行うため、例えば、画像の上部や下部であっても、精度よくボケた像を補正できる。
【０１１４】
すなわち、図１０で説明したように、遠点の被写体に対しては、撮像素子２９の撮像面上部の投射像は合焦成分に対してボケ成分の比率が大きく、下部の投射像は合焦成分に対してボケ成分の比率が小さくなるため、上部に行くほどボケたような像となる。
【０１１５】
このため、図３のブロック分割の場合、近レンズ部２３側のブロック２に比べて遠レンズ部２２側のブロック０では、より高周波信号成分を強調するようなフィルタ係数列が設定され、これによって、垂直方向にほぼ均等にボケ成分が補正された画像が得られることとなる。
【０１１６】
また、本実施の形態の撮像装置は、フィルタ係数列をブロックごとに設定しているため、それぞれの画素に対してフィルタ係数列を設定するような場合に比べて、記憶するフィルタ係数列は少なくてすみ、フィルタ係数を格納するメモリ容量の増加を抑制でき、かつ簡易な処理で精度よくボケた像を補正できる。
【０１１７】
なお、以上の説明では、ブロック分割として、画像の垂直方向を複数に分割するようにブロック区分した一例を挙げて説明したが、画像の垂直方向に加えて、水平方向をも複数に分割するようにブロック区分してもよい。
【０１１８】
図５は、このような、画像の垂直方向および水平方向を複数に分割した一例を示す図である。ブロック分割をこのような構成とし、例えば、補正関数にコマ収差補正、像倍率補正あるいはこれら両補正をも含めることにより、より精度よくボケた像を補正できる。
【０１１９】
また、図４に示すようなフィルタ係数において、フィルタ係数が水平方向あるいは垂直方向に対称となるような場合、デジタルフィルタ部３３の構成において対象タップの加算演算を先に行い、その後、係数を掛けるような構成とすることで、係数記憶部３４に格納する係数の数を減らすことができ、係数を格納するメモリの容量増加をさらに抑制できる。
【０１２０】
例えば、図４での係数Ｋ00からＫ0hにおいて、係数Ｋ03を中心に、Ｋ02とＫ04、Ｋ01とＫ05、Ｋ00とＫ0hとが等しくなるような場合、Ｋ00からＫ03までの係数のみを記憶しておけばよい。
【０１２１】
また、デジタルフィルタ部３３の具体的な構成として、各タップのデータを供給するシフトレジスタやラインメモリを備え、さらに各タップからのデータに対して、乗算器、加算器、減算器などを用いて荷重加算演算処理をハードウエアで実行するような構成であってもよく、またマイクロコンピュータやシグナルプロセッサなどと処理プログラムを記憶したメモリとを備え、マイクロコンピュータやシグナルプロセッサなどがメモリに記憶した処理プログラムを実行することで荷重加算演算処理などをソフトウェア的に行うような構成であってもよい。
【０１２２】
すなわち、画像処理部３０において、マイクロコンピュータやシグナルプロセッサなどが、撮像素子からの撮像信号を取り込むステップと、取り込んだ撮像信号に対し撮像素子の撮像面に結像される画像が垂直方向を複数に分割するように区分されるブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施すステップと、フィルタ処理により得られた画像信号を出力画像信号として出力するステップとを含む画像処理方法の処理プログラムをメモリから読み込み、その処理プログラムを実行するような構成であってもよい。
【０１２３】
図６は、コアリング処理部３７の詳細な構成を示したブロック図である。上述したように、デジタルフィルタ部３３は、２焦点レンズ２１０によりボケた画像成分に対し、その補正を行うことができるが、その一方で、撮像素子２９やＡＦＥ３１で生じた高周波ノイズが強調されることとなる。コアリング処理部３７は、このように強調されたノイズ成分を低減するため、高周波信号成分の微小振幅成分を除去するコアリング処理と呼ばれる処理を行う。
【０１２４】
図６に示すように、コアリング処理部３７には、撮像データおよびデジタルフィルタ部３３からの画像データが供給される。
【０１２５】
コアリング処理部３７において、減算器３７１により、デジタルフィルタ部３３からの画像データ値から撮像データ値が減算される。これによって、減算器３７１からは、デジタルフィルタ部３３で強調された高周波信号成分のみを含む画像データが出力される。コアリング部３７０は、このような高周波信号成分のみを含む画像データに対してコアリング処理を実行する。
【０１２６】
コアリング部３７０は、供給された高周波信号成分を含む画像データの振幅値に対して非線形処理を行う。
【０１２７】
このような非線形処理の一例として、コアリング部３７０は、入力データの絶対値が所定の閾値（以下、適宜、コアリング量と呼ぶ）以下のデータ値を一律０値としたデータとして出力し、入力データの絶対値が所定の閾値以上の場合には、その絶対値を閾値だけ減じたデータ値のデータを出力する。
【０１２８】
コアリング部３７０において、このような処理が実行されることにより、供給された画像データの高周波信号成分に含まれる微小な振幅のデータはノイズとみなされて０値に変換、すなわち、ノイズ低減されることとなる。
【０１２９】
コアリング部３７０でノイズ低減されたデータは、乗算器３７３に供給される。乗算器３７３は、コアリング部３７０でデータ値が減少した分だけ、ゲイン設定部３７４からのゲイン値でゲイン補正を行う。
【０１３０】
乗算器３７３からのデータは加算器３７２により撮像データに加算される。すなわち、加算器３７２からは、デジタルフィルタ部３３の出力と同様の周波数特性であるとともに、コアリング部３７０で高周波ノイズが低減された画像データが出力されることとなる。
【０１３１】
また、コアリング処理部３７において、コアリング量設定部３７５には、ブロック切替信号が通知され、コアリング量設定部３７５は、ブロック切替信号に基づき、図３で示したような画像の各ブロックに対応したコアリング量をコアリング部３７０に設定する。
【０１３２】
すなわち、図３を用いて説明したような場合、遠点の被写体に対しては、上部に行くほどボケたような像となる。このため、デジタルフィルタ部３３は、下から上に行くに従ってより強く補正し、高周波信号成分を強調することになり、その結果、コアリング処理をしない場合には、撮像面の上部ほどノイズが目立つこととなる。
【０１３３】
コアリング処理部３７では、このような不都合を抑制するため、コアリング量設定部３７５が各ブロックに応じたコアリング量をコアリング部３７０に設定するような構成としている。
【０１３４】
すなわち、図３のブロック区分の場合、コアリング量設定部３７５は、ブロック２に比べてブロック１のほうが大きく、さらにブロック１に比べてブロック０のほうが大きくなるようなコアリング量をコアリング部３７０に設定し、撮像面の上部に行くほど強調されるノイズに対し、コアリング部３７０によるノイズ低減効果を高めている。
【０１３５】
このように、コアリング処理部３７は、デジタルフィルタ部３３で強調されたノイズ成分を低減するとともに、ブロックごとにノイズ量が異なるような画質劣化をも抑制し、これによって、精度よく鮮明な画像を得ることを可能としている。
【０１３６】
図７は、本実施の形態の撮像装置を利用したカメラ付き携帯電話などの情報端末装置の構成例を示したブロック図である。
【０１３７】
図７に示すように、本情報端末装置は、本実施の形態の撮像装置に加えて、ユーザからの指示に応じて画像処理された画像データの編集などを行うデータ処理部４１、画像処理された画像データを記録する記録部４２および出力画像信号を表示する表示部４３をさらに備えた構成である。
【０１３８】
このような構成とする情報端末装置により、例えば、人物や風景などを撮像した画像データを電子的な写真として記録部４２に記録したり、記録した画像データの編集処理などを行うことができる。
【０１３９】
また、バーコードなどを撮像した場合には、そのバーコードの画像データから文字情報などに復元するような処理も行うことができる。
【０１４０】
さらに、表示部４３からは、写真のような静止画像、あるいは動画像としてユーザに呈示することもできる。
【０１４１】
このように、本情報端末装置によれば、近距離および遠距離の被写体双方に対して精度よく画像を取り込むことができるため、人物や風景を撮影するようなカメラ機能とともに、バーコードなどの近接画像をも読み取り可能であり、利便性を向上させた情報端末装置を提供することができる。
【産業上の利用可能性】
【０１４２】
本発明は、大規模な処理を必要とせず、標準的な距離にある通常の被写体、およびこれよりも近距離にある近接被写体のいずれについても容易にかつ精度よく鮮明な画像を得ることができるため、撮像装置としてのカメラやビデオカメラとして利用できるとともに、撮像機能を有した携帯電話などの情報端末装置、その他にも利用することができる。
【図面の簡単な説明】
【０１４３】
【図１】本発明の実施の形態における撮像装置の構成を示すブロック図
【図２】本実施の形態における２焦点レンズの形状の詳細を示す図
【図３】撮像した画像におけるブロックの分割例を示す図
【図４】係数記憶部に格納された各フィルタ係数列の一例を示す図
【図５】画像の垂直方向および水平方向を複数に分割した一例を示す図
【図６】コアリング処理部の詳細な構成を示すブロック図
【図７】本発明の実施の形態における撮像装置を利用した情報端末装置の構成例を示すブロック図
【図８】従来のバーコード読取装置の構成を示すブロック図
【図９】それぞれのレンズ部が半円形で構成される２焦点レンズの光学結像系を示す図
【図１０】（ａ）遠レンズ部のみによる光学結像系、投射像および照射強度分布を示す図 （ｂ）近レンズ部のみによる光学結像系、投射像および照射強度分布を示す図 （ｃ）２焦点レンズによる光学結像系、投射像および照射強度分布を示す図
【符号の説明】
【０１４４】
２０ 撮像部
２２，９２ 遠レンズ部
２３，９３ 近レンズ部
２９，９９ 撮像素子
３０ 画像処理部
３１ アナログフロントエンド（ＡＦＥ）
３２ ＡＤ変換部
３３ デジタルフィルタ部
３４ 係数記憶部
３５ 係数処理部
３６ フィルタ制御部
３７ コアリング処理部
３９ 制御部
４１ データ処理部
４２ 記録部
４３ 表示部
９１ レンズ
９７ ハイパスフィルタ
９８ 先端部
２１０ ２焦点レンズ
３７０ コアリング部
３７１ 減算器
３７２ 加算器
３７３ 乗算器
３７４ ゲイン設定部
３７５ コアリング量設定部
３９１ 制御信号生成部
【特許請求の範囲】
【請求項１】
平面形状がそれぞれ半円形または半楕円形であり、所定の焦点距離を持つ近レンズ部と前記所定の焦点距離よりも遠方の焦点距離を持つ遠レンズ部とを有し、それぞれのレンズ部の直線部分が互いに接するように一体化されて構成される２焦点レンズと、前記２焦点レンズにより結像された画像を電気的信号に変換し、撮像信号として出力する撮像素子と、前記撮像素子からの撮像信号に対し、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施し、前記フィルタ処理により得られた画像信号を出力画像信号として出力する画像処理部とを備え、前記撮像素子の撮像面において、前記それぞれのレンズ部が接する直線部分に対して平行な方向を水平方向とし、直角な方向を垂直方向とするとき、前記撮像素子の撮像面に結像される画像は、垂直方向を複数に分割するようにブロック区分され、前記画像処理部は、前記各ブロックに対応した撮像信号に対して、前記ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施すことを特徴とする撮像装置。
【請求項２】
前記ブロックごとに設定された補正関数は、前記近レンズ部側のブロックに対して、前記遠レンズ部側のブロックほど高周波信号成分を強調するような補正関数であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正関数は、前記２焦点レンズの光学系における所定の被写距離に対するポイントスプレッド関数に基づいた逆関数であり、前記ポイントスプレッド関数は、前記２焦点レンズの光軸上から垂直方向に、前記撮像素子の撮像面の各ブロックに対応した距離だけ離れた焦点面において、前記いずれかのレンズ部の焦点位置に対するポイントスプレッド関数であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記補正関数は、前記２焦点レンズの光学系における所定の被写距離に対するポイントスプレッド関数に基づいた逆関数であり、前記ポイントスプレッド関数は、前記２焦点レンズの光軸上から垂直方向に、前記撮像素子の撮像面の各ブロックに対応した距離だけ離れた焦点面において、前記遠レンズ部の焦点位置に対するポイントスプレッド関数と前記近レンズ部の焦点位置に対するポイントスプレッド関数とを、所定の比率で合成したポイントスプレッド関数であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像素子の撮像面に結像される画像は、垂直方向に加えて、水平方向をも複数に分割するようにブロック区分され、前記画像処理部は、前記各ブロックに対応した撮像信号に対して、それぞれに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施すことを特徴とする請求項２から請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記補正関数は、コマ収差補正および像倍率補正の少なくともいずれかをも含む補正関数であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記画像処理部は、前記撮像素子から供給される撮像信号をデジタル信号である撮像データに変換するＡＤ変換部と、前記撮像データに対して、前記補正関数に基づくフィルタ係数列を用いてフィルタ処理を行い、画像データとして出力するデジタルフィルタ部と、前記補正関数に基づくフィルタ係数列を、前記ブロックごとに記憶する係数記憶部と、前記係数記憶部から前記各ブロックに応じたフィルタ係数列を抽出し、抽出したフィルタ係数列を前記デジタルフィルタ部に供給する係数処理部とを備えたことを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記画像処理部は、さらに、高周波信号成分に対して、所定のコアリング量以下の微小振幅値の信号の値を０値に変換することでノイズ低減処理を施すコアリング処理部を備え、前記コアリング処理部は、前記デジタルフィルタ部によりフィルタ処理された信号の高周波信号成分に対して、ブロックごとに設定されたコアリング量に基づきノイズ低減処理を施し、画像データとして出力することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記画像処理部は、さらに、前記デジタルフィルタ部を制御するフィルタ制御部を備え、前記フィルタ制御部は、前記デジタルフィルタ部が画像の端部に対応した撮像データに対してフィルタ処理を行うとき、デジタルフィルタ部に所定のダミー値を供給し画面端処理を行うことを特徴とする請求項７または請求項８に記載の撮像装置。
【請求項１０】
前記ダミー値は、所定の固定値、画像の端部に対応した撮像データの値、または画像の端部から画像の垂直逆方向と水平逆方向との撮像データにそれぞれ対応した値であることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
請求項７から請求項１０のいずれか１項に記載の撮像装置と、前記撮像装置の画像処理部により生成された画像データを記憶する記憶部と、前記画像データを表示する表示部とを備えたことを特徴とする情報端末装置。
【請求項１２】
平面形状がそれぞれ半円形または半楕円形であり、所定の焦点距離を持つ近レンズ部と前記所定の焦点距離よりも遠方の焦点距離を持つ遠レンズ部とを有し、それぞれのレンズ部の直線部分が互いに接するように一体化されて構成される２焦点レンズと、前記２焦点レンズにより結像された画像を電気的信号に変換し、撮像信号として出力する撮像素子とを備えた撮像装置の画像処理方法であり、前記撮像素子の撮像面において、前記それぞれのレンズ部が接する直線部分に対して平行な方向を水平方向とし、直角な方向を垂直方向とするとき、前記撮像素子からの撮像信号を取り込むステップと、前記取り込んだ撮像信号に対し、前記撮像素子の撮像面に結像される画像が垂直方向を複数に分割するように区分されるブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施すステップと、前記フィルタ処理により得られた画像信号を出力画像信号として出力するステップとを有することを特徴とする画像処理方法。
【請求項１】
平面形状がそれぞれ半円形または半楕円形であり、所定の焦点距離を持つ近レンズ部と前記所定の焦点距離よりも遠方の焦点距離を持つ遠レンズ部とを有し、それぞれのレンズ部の直線部分が互いに接するように一体化されて構成される２焦点レンズと、前記２焦点レンズにより結像された画像を電気的信号に変換し、撮像信号として出力する撮像素子と、前記撮像素子からの撮像信号に対し、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施し、前記フィルタ処理により得られた画像信号を出力画像信号として出力する画像処理部とを備え、前記撮像素子の撮像面において、前記それぞれのレンズ部が接する直線部分に対して平行な方向を水平方向とし、直角な方向を垂直方向とするとき、前記撮像素子の撮像面に結像される画像は、垂直方向を複数に分割するようにブロック区分され、前記画像処理部は、前記各ブロックに対応した撮像信号に対して、前記ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施すことを特徴とする撮像装置。
【請求項２】
前記ブロックごとに設定された補正関数は、前記近レンズ部側のブロックに対して、前記遠レンズ部側のブロックほど高周波信号成分を強調するような補正関数であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正関数は、前記２焦点レンズの光学系における所定の被写距離に対するポイントスプレッド関数に基づいた逆関数であり、前記ポイントスプレッド関数は、前記２焦点レンズの光軸上から垂直方向に、前記撮像素子の撮像面の各ブロックに対応した距離だけ離れた焦点面において、前記いずれかのレンズ部の焦点位置に対するポイントスプレッド関数であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記補正関数は、前記２焦点レンズの光学系における所定の被写距離に対するポイントスプレッド関数に基づいた逆関数であり、前記ポイントスプレッド関数は、前記２焦点レンズの光軸上から垂直方向に、前記撮像素子の撮像面の各ブロックに対応した距離だけ離れた焦点面において、前記遠レンズ部の焦点位置に対するポイントスプレッド関数と前記近レンズ部の焦点位置に対するポイントスプレッド関数とを、所定の比率で合成したポイントスプレッド関数であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像素子の撮像面に結像される画像は、垂直方向に加えて、水平方向をも複数に分割するようにブロック区分され、前記画像処理部は、前記各ブロックに対応した撮像信号に対して、それぞれに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施すことを特徴とする請求項２から請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記補正関数は、コマ収差補正および像倍率補正の少なくともいずれかをも含む補正関数であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記画像処理部は、前記撮像素子から供給される撮像信号をデジタル信号である撮像データに変換するＡＤ変換部と、前記撮像データに対して、前記補正関数に基づくフィルタ係数列を用いてフィルタ処理を行い、画像データとして出力するデジタルフィルタ部と、前記補正関数に基づくフィルタ係数列を、前記ブロックごとに記憶する係数記憶部と、前記係数記憶部から前記各ブロックに応じたフィルタ係数列を抽出し、抽出したフィルタ係数列を前記デジタルフィルタ部に供給する係数処理部とを備えたことを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記画像処理部は、さらに、高周波信号成分に対して、所定のコアリング量以下の微小振幅値の信号の値を０値に変換することでノイズ低減処理を施すコアリング処理部を備え、前記コアリング処理部は、前記デジタルフィルタ部によりフィルタ処理された信号の高周波信号成分に対して、ブロックごとに設定されたコアリング量に基づきノイズ低減処理を施し、画像データとして出力することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記画像処理部は、さらに、前記デジタルフィルタ部を制御するフィルタ制御部を備え、前記フィルタ制御部は、前記デジタルフィルタ部が画像の端部に対応した撮像データに対してフィルタ処理を行うとき、デジタルフィルタ部に所定のダミー値を供給し画面端処理を行うことを特徴とする請求項７または請求項８に記載の撮像装置。
【請求項１０】
前記ダミー値は、所定の固定値、画像の端部に対応した撮像データの値、または画像の端部から画像の垂直逆方向と水平逆方向との撮像データにそれぞれ対応した値であることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
請求項７から請求項１０のいずれか１項に記載の撮像装置と、前記撮像装置の画像処理部により生成された画像データを記憶する記憶部と、前記画像データを表示する表示部とを備えたことを特徴とする情報端末装置。
【請求項１２】
平面形状がそれぞれ半円形または半楕円形であり、所定の焦点距離を持つ近レンズ部と前記所定の焦点距離よりも遠方の焦点距離を持つ遠レンズ部とを有し、それぞれのレンズ部の直線部分が互いに接するように一体化されて構成される２焦点レンズと、前記２焦点レンズにより結像された画像を電気的信号に変換し、撮像信号として出力する撮像素子とを備えた撮像装置の画像処理方法であり、前記撮像素子の撮像面において、前記それぞれのレンズ部が接する直線部分に対して平行な方向を水平方向とし、直角な方向を垂直方向とするとき、前記撮像素子からの撮像信号を取り込むステップと、前記取り込んだ撮像信号に対し、前記撮像素子の撮像面に結像される画像が垂直方向を複数に分割するように区分されるブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施すステップと、前記フィルタ処理により得られた画像信号を出力画像信号として出力するステップとを有することを特徴とする画像処理方法。
【図１】
【図２】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図３】
【図５】
【図２】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図３】
【図５】
【公開番号】特開２００７−２０６９６７（Ｐ２００７−２０６９６７Ａ）
【公開日】平成１９年８月１６日（２００７．８．１６）
【国際特許分類】
【出願番号】特願２００６−２４７７７（Ｐ２００６−２４７７７）
【出願日】平成１８年２月１日（２００６．２．１）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年８月１６日（２００７．８．１６）
【国際特許分類】
【出願日】平成１８年２月１日（２００６．２．１）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]