撮像装置及び画像改質処理方法
【課題】大規模な処理を必要とせず、ピント合せ機構を用いることなく、標準的な距離にある通常の被写体、およびこれよりも近距離にある近距離被写体のいずれについても容易にかつ精度よく鮮明な画像を得ることができる。
【解決手段】焦点距離の異なる複数のレンズ部を有した多焦点レンズ（２１０）と、多焦点レンズ（２１０）により形成された像を電気的信号に変換し、撮像信号として出力する撮像素子（２９）と、撮像素子（２９）からの撮像信号に荷重加算演算処理を施し、出力する演算処理部（３３）とを備え、補正関数は、多焦点レンズ（２１０）で構成される光学系から所定距離の被写体に対するポイントスプレッド関数に基づいて取得された逆関数である。
【解決手段】焦点距離の異なる複数のレンズ部を有した多焦点レンズ（２１０）と、多焦点レンズ（２１０）により形成された像を電気的信号に変換し、撮像信号として出力する撮像素子（２９）と、撮像素子（２９）からの撮像信号に荷重加算演算処理を施し、出力する演算処理部（３３）とを備え、補正関数は、多焦点レンズ（２１０）で構成される光学系から所定距離の被写体に対するポイントスプレッド関数に基づいて取得された逆関数である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像し、電子画像に変換する電子カメラなどの撮像装置及びその電子画像を改質する画像改質処理方法に関し、詳しくは、バーコードなどの近接の被写体を撮像し、その像を電子画像に変換することが可能な撮像装置及びその電子画像を改質する画像改質処理方法に関する。
【背景技術】
【０００２】
画像入力機能を有する電子機器の一例として、近接の被写体の像を読み取るバーコード読取装置が知られている。ここでの被写体は、例えば、商品の表面に記載のバーコードである。従来のバーコード読取装置は、複数のバーとスペースで構成されたバーコードなどの被写体の像をＣＣＤ（charge coupled device）などの撮像素子上に形成し、その像を電子画像に変換し、例えば、文字情報に復号し、バーコードを読み取るようになっている。この他にも、遠距離のバーコードでも高精度で読み取るバーコード読取装置が提案されており、例えば、特開平０５‐２１７０１２に開示されている。
【０００３】
図１４Ａに示された従来のバーコード読取装置は、バーコードなどの被写体からの光を取り込む先端部９８と、先端部９８を通して取り込まれた光を収束させる多焦点レンズ９１で構成される収束光学系と、多焦点レンズ９１で収束させ、結像した像を取り込み、画像信号に変換する撮像素子９９と、画像信号から直流成分を除去する高域通過フィルタ９７とを備えている。多焦点レンズ９１は、光学軸１０を有し、この光学軸１０を共有する遠レンズ部９２と近レンズ部９３で構成され、遠レンズ部９２は、近レンズ部９３よりも焦点距離が長い。
【０００４】
図１４Ｂは、多焦点レンズ９１の光学軸１０の延長線上からの正面図である。図１４Ｂから明らかなように、遠レンズ９２及び近レンズ９３は、夫々円形及び円環形であり、遠レンズ９２の周辺部の外側に近レンズ９３が放射状に広がっている。遠レンズ９２及び近レンズ９３は、夫々光学軸１０上に焦点１１及び焦点１３を有している。また、従来のバーコード読取装置では、バーコードの最大読取可能範囲を示す被写界深度（以下単に「ＤＯＦ」という）がそのレンズの焦点を中心に決定される。すなわち、遠レンズ９２の被写界深度ＤＯＦ１が焦点１１を中心に決定され、近レンズ９３の被写界深度ＤＯＦ２が焦点１３を中心に決定される。
【０００５】
撮像素子９９は、撮像素子９９上の像を読み取り、この像を電気信号に変換し、高域通過フィルタ９７に画像信号として出力するようになっている。高域通過フィルタ９７は、画像信号の直流成分を除去し、画像信号として出力するようになっている。画像信号は、図１４には示されないが、信号処理部で復号され、例えば文字情報に変換される。よって、従来のバーコード読取装置は、バーコードを読み取ることができる。
【０００６】
従来のバーコード読取装置の多焦点レンズ９１は、遠距離に焦点１１を有する遠レンズ９２と、近距離に焦点１３を有する近レンズ部９３とにより構成される。このため、近距離の被写体の撮影における撮像素子９９上の像は、近レンズ部９３によるピントのあった像と遠レンズ部９２によるピントのボケた像の合成となり、その合成像は不鮮明である。逆に、遠距離の被写体の撮影における撮像素子９９上の像は、近レンズ部９３によるピントのボケた像と遠レンズ部９２によるピントのあった像の合成となり、その合成像も不鮮明である。
【０００７】
図１５は、点光源が遠レンズ部９２の焦点１１に位置する場合及び点光源が近レンズ部９３の焦点１３に位置する場合における撮像素子９９上に像の形成について示している。
【０００８】
図１５Ａは、点光源が遠レンズ部９２の焦点１１に位置する場合の撮像素子９９上の像の形成について説明する図である。図１５Ｂは、多焦点レンズ９１の光学軸１０の延長線上から見た撮像素子９９上の像９９１ａの正面図である。点光源が遠レンズ部９２の焦点１１にあるとき、撮像素子９９上の像９９１ａは、遠レンズ部９２によるピントのあった像ａ１と近レンズ部９３によるピントのボケた像ａ２との合成である。ピントのボケた像ａ２は、ピントのあった像ａ１の外側に環状に広がっている。
【０００９】
同様に、図１５Ｃは、点光源が近レンズ部９３の焦点１３に位置する場合の撮像素子９９上の像を説明する図である。図１５Ｄは、多焦点レンズ９１の光学軸１０の延長線上から見た撮像素子９９上の像９９１ｂの正面図である。点光源が近レンズ部９３の焦点１３にあるとき、撮像素子９９上の像９９１ｂは、近レンズ部９３によるピントのあった像ｂ１と遠レンズ部９２によるピントのボケた像ｂ２との合成である。ピントのボケた像ｂ２は、ピントのあった像ａ１の外側に環状に広がっている。
【００１０】
このように、多焦点レンズ９１は、異なった位置に焦点を持つ２つのレンズ部により構成されるため、対処物が一方の被写界深度（ＤＯＦ）内にあっても、撮像素子９９上の像は、遠レンズ部９２と近レンズ部９３の一方によるピントのあった像と遠レンズ部９２と近レンズ部９３の他方によるピントのボケた像の合成であり、ピントのボケた像が撮像素子９９上の投射像をある程度浮き上がらせるので、不鮮明である。
【００１１】
撮像素子９９は、遠レンズ部９２と近レンズ部９３の内の他方で形成されるピントのボケた画像成分、例えば、近レンズ部９３による図１５Ｂに示された環状のピントのボケた画像ａ２又は遠レンズ部９２による図１５Ｄに示された円形のピントのボケた画像ｂ２を撮像信号に含まれる直流成分に変換している。
【００１２】
ハイパスフィルタ９７は、投射像からピントのボケた像を除去するよう、撮像信号から直流成分を除去している。例えば、対象物としてのバーコードがＤＯＦ１内にある場合、ハイパスフィルタ９７は、近レンズ部９３によるボケた投射像成分である直流成分を除去するようになっている。逆に、対象物としてのバーコードがＤＯＦ２内にある場合、ハイパスフィルタ９７は、遠レンズ部９２によるボケた投射像成分である直流成分を除去するようになっている。このように、従来のバーコード読取装置は、ボケた像を除去するよう直流成分を除去するハイパスフィルタ９７を備えているので、被写界深度が改善される。すなわち、従来のバーコード読取装置の被写界深度は、図１４Ａから明らかなように、近距離のＤＯＳ２に加えて遠距離のＤＯＳ１をも有することとなり、焦点深度の拡大を図ることができ、これによりバーコードからある程度離れた距離であっても精度のよい読み取りが可能となる。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述の従来のバーコード読取装置では、バーコードのような図式的な対象の光学的読取に対しては効果があるが、例えば、人物や風景を撮影するような通常のカメラに適用するには十分満足できるよな画質が得られないという、画像品質上の課題があった。すなわち、通常、カメラで撮影するような風景などには、ゆるやかに輝度や色が変化するような直流成分を含む低周波成分も撮像信号には含まれており、単に直流成分を除去するのみでは画質劣化を招くため、このような多焦点レンズを利用して風景などを撮影する場合には精度よくボケ像の修正を行わなければならないという課題があった。
【００１４】
とりわけ、近年、例えば携帯電話で代表されるように、情報端末装置には、画像入力機能を備えることが一般的となっている。さらに、この画像入力機能を利用して人物や風景を撮影するようなカメラ機能とともに、上述したようなバーコードなどの近接画像をも取り込み可能とすることで、このような情報端末装置の利用性をさらに向上させることができる。例えば、このようなバーコードを利用して、メールアドレス、ホームページアドレス、電話番号など多くの情報を表すことができるので、これらのバーコードを上記所望の画像と組み合わせて使用することにより、きわめて有用なコミュニケーションが実現できる。このように、近距離、および遠距離の被写体双方に対して精度良く画像を取り込むような情報端末装置の実現が強く望まれている。
【００１５】
ボケた画像を精度よく鮮明な画像に補正する方法として、インバースフィルタを利用してボケた画像を補正する画像処理方法が知られている。このようなインバースフィルタは、例えば、ディジタルフィルタにより構成され、ボケた画像にフィルタ処理を施し、レンズの光学的伝達特性を補正するようになっている。光学系では、このような伝達特性は、ポイントスプレッド関数（以下単に、ＰＳＦという）で表され、実験的に、あるいは、計算で取得される。例えば、図１５に示した従来のバーコード読取装置では、点光源に対し撮像素子９９上に投射される像を示しており、図１５Ｂの投射像９９１ａや図１５Ｄの投射像９９１ｂが多焦点レンズ９１のＰＳＦに相当する。よって、例えば、投射像９９１ａにおけるボケた像ａ２や、投射像９９１ｂにおけるボケた像ｂ２の画像成分を実験等で求めることで、ボケた像を生成する伝達関数Ｈが求まる。さらに、このような伝達関数Ｈの逆関数１／Ｈを求め、撮像素子９９からの撮像信号に対して、その逆伝達特性を有したインバースフィルタによるフィルタリングを行うことで精度よくボケた画像の修復を行うことができる。
【００１６】
しかしながら、図１５から明らかなように、ＰＳＦは、点光源の位置に応じて変化するため、ボケた画像を精度よく鮮明な画像に補正するためには、対象物の位置に応じた逆伝達特性１／Ｈを予め計算又は備えておく必要があり、その結果、大規模な処理が必要であるという課題があった。また、対象物の位置に応じた逆伝達特性を得るため、オートフォーカスのようなピント調整機能も必要となり、処理規模が増加するという課題があった。
【００１７】
すなわち、従来のバーコード読取装置に利用されたレンズ９１の形状の場合、遠距離の対象物に対するＰＳＦは、図１５Ｂの投射像９９１ａのような形状になり、近距離の対象物に対するＰＳＦは、図１５Ｄの投射像９９１ｂのような形状になる。更に、対象物の位置に応じて投射像の大きさが変化する。このように、従来のバーコード読取装置は、ボケた画像を精度よく鮮明な画像に補正するために、対象物の位置に応じた逆伝達特性１／Ｈを予め計算又は備えておく必要があった。
【００１８】
本発明は、上記課題を課題を解決するためになされたもので、多焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、ピント合せ機能を用いることなく、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる撮像装置、および画像改質処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の撮像装置は、焦点距離の異なる複数のレンズ部を有した多焦点レンズと、前記多焦点レンズにより結像された画像を電気信号に変換し、撮像信号として出力する撮像素子と、所定の補正関数に基づいて前記撮像素子からの撮像信号に荷重加算演算処理を施し、補正した撮像信号を出力する演算処理部とを備え、前記補正関数は、前記多焦点レンズの光学系から所定距離の被写体に対するポイントスプレッド関数に基づいた逆関数である。
【００２０】
この構成により、本発明の撮像装置は、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００２１】
本発明の撮像装置において、前記多焦点レンズは、代表レンズ部を有してもよい。前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。また、前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。更に、前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。
【００２２】
この構成により、本発明の撮像装置は、容易にかつ精度よくポイントスプレッド関数を得ることができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００２３】
本発明の撮像装置において、前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数でもよい。また、前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数でもよい。更に、前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離だけ離れた焦点面における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数でもよい。
【００２４】
この構成により、本発明の撮像装置は、容易にかつ精度よくポイントスプレッド関数を算出することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００２５】
本発明の撮像装置において、前記多焦点レンズは、第１の焦点距離を有する第１のレンズ部と、前記第１の焦点距離とは異なった第２の焦点距離を有する第２のレンズ部とにより構成され、前記第１及び第２のレンズ部は、一体的に形成され、前記第１及び第２のレンズ部は、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形又は多角形で、前記第１及び第２のレンズ部は、前記多焦点レンズの中心を通る直線に沿って隣接するように配置されてもよい。
【００２６】
更に、本発明の撮像装置において、前記多焦点レンズは、第１の焦点距離を有する第１のレンズ部と、前記第１の焦点距離とは異なった第２の焦点距離を有する第２のレンズ部とによりに構成され、前記第１及び第２のレンズ部は、一体的に形成され、前記第１及び第２のレンズ部は、同心関係で隣接し、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れでもよい。また、本発明の撮像装置において、前記多焦点レンズの光学軸の延長線上から見たときの前記第１及び第２レンズ部の占める面積が実質的に等しくてもよい。
【００２７】
この構成により、本発明の撮像装置は、容易にかつ精度よく撮像素子上に像を結像することができる。
【００２８】
更に、本発明の撮像装置において、前記多焦点レンズは、第１のレンズ部から第Ｎ（Ｎは、２以上の整数）のレンズ部までの複数のレンズ部により構成され、前記複数のレンズ部は、相互に異なる焦点距離を有し、前記第１のレンズ部から第Ｎのレンズ部までを含む複数のレンズ部は、一体的に形成され、前記第１のレンズ部から第Ｎのレンズ部までを含む複数のレンズ部は、交互に隣接し、同心関係で配置され、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れでもよい。本発明の撮像装置において、前記多焦点レンズは、第１のレンズ群から第Ｍ（Ｍは、２以上の整数）のレンズ群により構成され、ｉ番目（ｉは、Ｍと同じかそれ以下の整数）のレンズ群は、第１のレンズ部から第Ｎ（Ｎは、２以上の整数）のレンズ部までの複数のレンズ部により構成され、前記ｉ番目のレンズ群の第１のレンズ部から第Ｎのレンズ部までの複数のレンズ部は、ｉ−１番目のレンズ群の第Ｎのレンズ部の外側に放射状に延在し、交互に隣接し、同心関係で配置され、前記第１のレンズ群の第１のレンズ部から第Ｍのレンズの第Ｎのレンズ部までの複数のレンズ部は、一体的に形成され、前記第１のレンズ群の第１のレンズ部から第Ｍのレンズの第Ｎのレンズ部までの複数のレンズ部は、同心関係で隣接し、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れでもよい。本発明の撮像装置において、前記多焦点レンズは、相互に隣接のレンズ部が接続される部分である１つ又は複数の接合部を有し、前記接合部での迷光を低減するために前記接合部に遮光処理が施されてもよい。本発明の撮像装置において、前記多焦点レンズの光学軸の延長線上から見たときのＮ個のレンズ部夫々の占める面積が実質的に等しくてもよい。
【００２９】
この構成により、本発明の撮像装置は、撮像素子上に容易にかつ精度よく撮像素子上に像を結像することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００３０】
本発明の撮像装置において、前記演算処理部は、前記所定の補正関数に基づいて取得された係数列を記憶するディジタルフィルタを有し、前記ディジタルフィルタは、前記撮像素子の撮像信号からアナログデジタル変換されたディジタル撮像データを入力し、前記撮像データに演算処理を施し、前記撮像データと前記係数との積を算出してもよい。前記撮像素子から出力される前記撮像信号は、垂直及び水平方向にマトリクス状に並んだ複数のデータからなり、前記ディジタルフィルタは、前記所定の補正関数に基づいて算出した複数の係数を記憶する二次元フィルタであり、前記係数は、垂直及び水平方向にマトリクス状に並び、かつ前記データと夫々対応し、前記ディジタルフィルタは、前記撮像信号に対する前記荷重加算演算処理を実行し、前記データに前記係数を掛け、前記係数が掛けられたデータを加算してもよい。前記撮像素子は、水平及び垂直方向にマトリクス状に並んだ画素と対応し、かつ前記データと対応する複数の光電素子により構成されてもよい。前記撮像素子から出力される撮像信号は、三原色を示すＲ、Ｇ、Ｂのデータを含み、前記演算処理部は、前記Ｒ、Ｇ、Ｂのデータに対する荷重加算演算処理を実行してもよい。
【００３１】
この構成により、本発明の撮像装置は、容易にかつ精度よく荷重加算演算処理を実行することができる。
【００３２】
本発明の撮像装置は、前記光電素子は、前記三原色を示す各画素に対応し、市松模様状に並び、並んだ順序で前記三原色を示すデータを撮像信号として出力してもよい。前記演算処理部は、前記光電素子からの前記データを入力し、前記ディジタルフィルタは、並んだ順序で三原色を示すデータに対して順次前記係数を用いて前記データに前記荷重加算演算処理を施してもよい。
【００３３】
この構成により、本発明の撮像装置は、容易にかつ精度よく荷重加算演算処理を実行することができる。
【００３４】
本発明の撮像装置は、前記係数は、画素に対応する有効係数を含み、前記有効係数は、前記画素に対応する係数とその近傍にある複数の係数に所定の加重値を掛け、前記加重値が掛けられた係数とその近傍にある複数の係数を画素毎に加算し、算出されてもよい。また、前記光電素子は、ベイヤー配列で配置され、前記ベイヤー配列の順序で前記原色信号であるＲ、Ｇ、Ｂ、およびＧｂのデータを出力してもよい。
【００３５】
この構成により、本発明の撮像装置は、容易にかつ精度よく荷重加算演算処理を実行することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００３６】
本発明の撮像装置は、焦点距離の異なる複数のレンズ部を有した多焦点レンズと、前記多焦点レンズにより結像された画像を電気信号に変換し、撮像信号として出力する撮像素子とを備えた撮像装置における前記撮像信号の画像処理方法であって、前記撮像信号を入力する入力ステップと、前記撮像信号をディジタル信号である撮像データに変換する変換ステップと、所定の補正関数に基づいて前記撮像データに対する荷重加算演算処理を実行し、補正された撮像データを取得する演算ステップと、前記補正された撮像データを撮像信号として出力する出力ステップとを備え、前記補正関数が、前記多焦点レンズの光学系から所定距離の被写体に対するポイントスプレッド関数に基づいた逆関数である。
【００３７】
この構成により、本発明の画像改質処理方法は、容易にかつ精度よく荷重加算演算処理を実行することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００３８】
本発明の改質処理方法は、前記多焦点レンズは、代表レンズ部を有し、前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。更に、前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。更に、前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。
【００３９】
この構成により、本発明の改質処理方法は、容易にかつ精度よくポイントスプレッド関数を得ることができる。
【００４０】
本発明の画像改質処理方法は、前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されてもよい。更に、前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズの光学軸上の焦点における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されてもよい。更に、前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されてもよい。
【００４１】
この構成により、容易にかつ精度よくポイントスプレッド関数を得ることができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００４２】
本発明の画像改質処理方法において、記演算ステップは、前記所定の補正関数に基づいて取得された係数列と前記撮像データとの畳込み演算を実行するステップを有してもよい。前記撮像素子から出力される前記撮像信号は、垂直及び水平方向にマトリクス状に並んだ複数のデータからなり、前記係数は、垂直及び水平方向にマトリクス状に並び、かつ前記データと夫々対応し、前記演算ステップは、前記データと前記係数との畳込み演算を実行するステップを有してもよい。前記撮像素子は、水平及び垂直方向にマトリクス状に並んだ画素と対応し、かつ前記データと対応する複数の光電素子により構成され、前記三原色を示す各画素に対応し、市松模様状に並び、並んだ順序で前記三原色を示すデータを撮像信号として出力し、前記演算ステップは、前記データと前記係数との畳込み演算を実行するステップを有してもよい。本発明の画像改質処理方法は、前記係数が、前記画素に対応する有効係数を含み、前記有効係数は、前記画素に対応する係数とその近傍にある複数の係数に所定の加重値を掛け、前記加重値が掛けられた係数とその近傍にある複数の係数を画素毎に加算し、算出されてもよい。
【００４３】
この構成により、容易にかつ精度よくポイントスプレッド関数を算出することができる。
【００４４】
本発明の画像改質処理方法において、前記光電素子は、ベイヤー配列で配置され、前記ベイヤー配列の順序で前記原色信号であるＲ、Ｇ、Ｂ、及びＧｂのデータを出力し、前記演算処理ステップは、前記Ｒ、Ｇ、Ｂ、及びＧｂのデータと前記マトリクスの位置と夫々対応する係数との畳込み演算を実行するステップを有してもよい。
【００４５】
この構成により、容易にかつ精度よく荷重加算演算処理を実行することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【発明を実施するための最良の形態】
【００４６】
以下、図面を参照し、本発明の実施の形態の撮像装置について説明する。
（第１の実施の形態）
【００４７】
図１は、本発明の第１の実施の形態の撮像装置の構成を示すブロック図である。
【００４８】
図１に示すように、本実施の形態の撮像装置は、被写体を撮像するための光学系である撮像機構部２０と、撮像機構部２０からの撮像信号に対して画像処理を施し、画像処理を施した信号を出力画像信号として出力する画像処理部３０とにより構成される。
【００４９】
撮像機構部２０は、被写体を撮像する多焦点レンズ２１０と、この多焦点レンズ２１０により結像された像を取り込む撮像素子２９とを含んでいる。多焦点レンズ２１０は、焦点距離の異なる複数のレンズ部により構成される。また、撮像素子２９は、多焦点レンズ２１０により結像された像を電気的信号に変換し、撮像信号として出力する。
【００５０】
また、画像処理部３０は、撮像機構部２０からの撮像信号の増幅するアナログフロントエンド（以下、ＡＦＥと呼ぶ）３１と、このＡＦＥ３１で増幅された撮像信号をディジタル形式の撮像信号に変換するＡＤ変換器３２とを含んでいる。
【００５１】
画像処理部３０は、ＡＤ変換器３２からの画像データに画像改質処理を施す改質フィルタ部３３により構成された演算部を含んでいる。すなわち、改質フィルタ部３３は、所定の補正関数に基づいて取得した係数列を記憶しており、供給された撮像データ列と記憶した係数列との荷重加算演算処理を実行する。すなわち、改質フィルタ部３３は、所定の補正関数に基づく係数列をフィルタ係数とする非巡回型ディジタルフィルタにより実現される。また、改質フィルタ部３３における各フィルタ係数は、多焦点レンズ２１０の光学系における所定の被写距離に対するポイントスプレッド関数の逆関数に基づき予め求められた係数である。以上説明したように、改質フィルタ部３３は、撮像素子２９からの撮像信号に応じた撮像データに対し、所定の補正関数に基づく荷重加算演算処理を施し、荷重加算演算処理により得られた画像データを出力する演算処理部として機能する。
【００５２】
画像処理部３０は、改質フィルタ部３３により改質処理された画像データを入力し、画像データに非線形処理であるガンマ補正処理を施し、ガンマ補正した画像データを出力するガンマ補正部３４を備えている。
【００５３】
画像処理部３０は、更に、信号処理部３５と、ディジタル‐アナログ変換部（以下単にＤＡ変換部）３６と、制御部３９とを含んでいる。
【００５４】
信号処理部３５は、画像データに対し、ユーザからの指示に応じた各種処理を行う処理部であり、例えば、画像データを電子的な写真として記憶し、記憶した画像データの編集処理などを行う。また、バーコードなどを撮像した場合には、そのバーコートの画像データから文字情報などに復元するような処理も行う。ＤＡ変換器３６は、画像データを表示する場合などに、デジタル形式の画像データをアナログ画像信号に変換する。ＤＡ変換器３６は、アナログ画像信号を表示部等に出力する。一方、表示部は、画像処理部からの撮像信号に基づいて静止画又は動画を表示する。制御部３９は、例えば、マイクロコンピュータにより構成され、画像処理部３０の各構成要素を制御し、最適な撮像信号を生成する。
【００５５】
また、本実施の形態１では、撮像機構部２０に設けた多焦点レンズ２１０が、直線の境界で分離される二焦点レンズであることを特徴とする。図２は、本実施の形態１における多焦点レンズ２１０の形状の詳細を示した図である。図２Ａは、多焦点レンズ２１０の側面図であり、図２Ｂは、多焦点レンズ２１０の正面図である。図２に示すように、本多焦点レンズ２１０は、二焦点光学系として、長い焦点距離で収束する遠レンズ部２２と、遠レンズ部２２よりも短い焦点距離で収束する近レンズ部２３とで構成されている。図２Ｂに示すように、多焦点レンズ２１０は、正面から見たときそれぞれのレンズ部が半円形であり、中心を通る直線を境界として、上部には第１のレンズ部としての遠レンズ部２２が、下部には第２のレンズ部としての近レンズ部２３が配置される。なお、本実施の形態１では、半円形のレンズ部を二つ組み合わせた円形の多焦点レンズ２１０を例に挙げて説明するが、例えば、半楕円形、もしくは、多角形の第１及び第２のレンズ部を直線部分がお互いに接するように配置し、構成した多焦点レンズであってもよい。
【００５６】
図３は、図２に示した多焦点レンズ２１０における光学結像系を示した図である。図３Ａは、遠レンズ部２２の焦点１１に点光源を配置した場合の光学結像系を示す図である。図３Ｂは、多焦点レンズ２１０の光学軸１０の延長線上から見た撮像素子２９上に形成される投射像の正面図である。図３Ａの場合、撮像素子２９上には、正面から見ると図３Ｂに示すような投射像２９１ａが得られる。図３Ｂから明らかなように、撮像素子２９上の像２９１ａは、遠レンズ部２２によるピントのあった像ａ１と近レンズ部２３によるピントのボケた像ａ２の合成であり、遠レンズ部２２によるピントのあった状態の点状の像ａ１を中心に、その外周部の上部半分には近レンズ部２３により、半円形の像ａ２、すなわちピントのボケた像が投射される。
【００５７】
同様に、図３Ｃは、近レンズ部２３の焦点１３に点光源を配置した場合の光学結像系を示す図である。図３Ｄは、多焦点レンズ２１０の光学軸１０の延長線上から見た撮像素子２９上に形成される投射像の正面図である。図３Ｃの場合、撮像素子２９上には、正面から見ると図３Ｄに示すような投射像２９１ｂが得られる。図Ｄから明らかなように、撮像素子２９上の像２９１ｂは、近レンズ部２３によるピントのあった像ｂ１と遠レンズ部２２によるピントのボケた像ｂ２の合成であり、近レンズ部２３によるピントのあった状態の点状の像ｂ１を中心に、その外周部の上部半分には遠レンズ部２２により、半円形の像ｂ２、すなわちピントのボケた像が投射される。
【００５８】
このように、撮像機構部２０に設けた多焦点レンズ２１０において、図２に示すように、遠レンズ部２２と近レンズ部２３との正面形状を半円形とし、それぞれの焦点に点光源を配置した場合、撮像素子２９上には、それぞれが同様の形状となる像が投射される。そなわち、本実施の形態１の多焦点レンズ２１０は、遠レンズ部２２、および近レンズ部２３の焦点位置に対するＰＳＦが近似した関数となる。本発明の撮像装置、および画像改質処理方法は、このような多焦点レンズを構成する各レンズ部の焦点におけるＰＳＦが同一、あるいは近似した多焦点レンズと、それによる代表ＰＳＦを１つ定め、代表ＰＳＦに基づき生成したフィルタ係数による改質フィルタ部３３とで構成したことを特徴としている。
【００５９】
次に、このように構成された本実施の形態１の撮像装置による画像改質の原理、および撮像装置による画像改質処理の動作について説明する。
【００６０】
図４は、多焦点レンズ２１０によりボケた画像成分を補正する原理を説明するブロック図である。図４に示すように、一般に、多焦点レンズを含めた光学系は、結像系の特性がＰＳＦにより決定される。このＰＳＦは、レンズに対して水平方向ｘ、垂直方向ｙ、およびレンズから被写体までの距離ｚの変数を有するスペースバリアントな関数である。ここで、多焦点レンズのＰＳＦをｈ（ｘ，ｙ，ｚ）とし、被写体をｉとすると、撮像素子２９上に投射される撮像画像ｐ（ｘ，ｙ）は、被写体ｉと多焦点レンズのＰＳＦであるｈ（ｘ，ｙ，ｚ）との畳み込みで表現される。
ｐ（ｘ，ｙ）＝ｉ＊ｈ（ｘ，ｙ，ｚ）
ここで、記号＊は畳み込み演算を示している。
【００６１】
また、空間座標軸で表現される多焦点レンズのＰＳＦｈ（ｘ，ｙ，ｚ）をフーリエ変換やＺ変換等により座標変換することにより多焦点レンズのＰＳＦの伝達関数Ｈ（ｘ，ｙ，ｚ）を求めることができる。すなわち、撮像素子２９上に投射される撮像画像ｐ（ｘ，ｙ）は、入力画像を被写体ｉ（ｘ，ｙ）としたとき、伝達関数Ｈ（ｘ，ｙ，ｚ）の応答出力となる。上述したように、多焦点レンズを用いた場合、ボケた成分も含めて撮像素子２９上に投影される。
【００６２】
以上説明したように、撮像素子２９上に形成される像は、ピントのあった像成分とピントのボケた像成分を含んでおり、改質フィルタ部３３は、ピントのボケた像成分を補正するようになっている。
【００６３】
改質フィルタ部３３は、多焦点レンズ２１０の伝達関数Ｈ（ｘ，ｙ，ｚ）の逆関数１／Ｈ（ｘ，ｙ，ｚ）に対応する係数列を記憶し、多焦点レンズ２１０と改質フィルタ部３３との縦続接続による伝達特性は１となる。その結果、出力画像ｏ（ｘ，ｙ）は、被写体像ｉ（ｘ，ｙ）と等しくなり、多焦点レンズ２１０により生じたピントのボケた画像成分を除去したことと等しくなる。
【００６４】
図４から明らかなように、改質フィルタ部３３は、改質フィルタ部３３に記憶される係数列を算出する改質フィルタ係数算出部３３０を含んでいる。改質フィルタ部３３に記憶される係数列は、改質フィルタ部３３の伝達関数Ｗ（ｘ，ｙ，ｚ）である。本実施例では、多焦点レンズ２１０からの所定の被写距離を代表被写距離ｃとし、改質フィルタ部３３は、その代表被写距離ｃに配置された被写体に対する多焦点レンズ２１０のＰＳＦｈ（０，０，ｃ）に対応する係数列を記憶している。すなわち、ＰＳＦｈ（０，０，ｃ）が予め計測され、算出されている。改質フィルタ係数算出部３３０は、ＰＳＦｈ（０，０，ｃ）に基づいて伝達関数Ｈ（０，０，ｃ）を算出し、この伝達関数Ｈ（０，０，ｃ）の逆関数１／Ｈ（０，０，ｃ）に対し逆フーリエ変換、あるいは逆ＦＦＴ等を実行し、逆関数１／Ｈ（０，０，ｃ）の係数列、すなわち、改質フィルタ係数列ｗを算出する。以上説明したように、改質フィルタ係数算出部３３０は、多焦点レンズ２１０により構成される光学系と被写体との間の代表被写距離、すなわち、予め測定された多焦点レンズ２１０のＰＳＦを代表するＰＳＦｈ（０，０，ｃ）に基づいてフィルタ係数ｗ（ｘ，ｙ）を算出するようになっている。
【００６５】
次に、図５を参照し、撮像装置の改質フィルタ部３３の構成について説明する。
【００６６】
改質フィルタ部３３は、撮像素子２９からの撮像信号を入力するようになっている。この撮像信号は、光の三原色であるＲ、Ｇ、Ｂの各成分のディジタル化されたＲＧＢデータである。改質フィルタ部３３は、撮像素子２９からの撮像信号をＲＧＢの各成分に分離するＲＧＢ分離部２２８と、Ｒデータを濾波する第１の改質フィルタ３３１と、Ｇデータを濾波する第２の改質フィルタ３３２と、Ｂデータを濾波する第３の改質フィルタ３３３とを含んでいる。第１乃至第３の改質フィルタ３３１、３３２、３３３の各々は、２次元デジタルフィルタにより構成される。
【００６７】
図５から明らかなように、第１の改質フィルタ３３１は、複数のタップを有し、これらのタップは全体としてマトリクスを形成し、すなわち、縦方向Xにｖ個、横方向Ｙにｈ個のタップが並んでいる。第１の改質フィルタ３３１の各タップは、改質フィルタ係数算出手段３３０で算出された係数Ｋ００，Ｋ０１，Ｋ０２，・・・，Ｋ１０，Ｋ１１，・・・，Ｋｖｈを記憶している。このように構成された第１の改質フィルタ３３１は、マトリクス状に整列したＲデータを入力し、対応する係数を掛け、係数が掛けられたデータを合計し、補正されたＲデータを生成する。
【００６８】
第２及び第３の改質フィルタ３３２、３３３の構成は、第１の改質フィルタ３３１と類似しており、詳細な説明は省略する。第１の改質フィルタ３３１と同様に、第２の改質フィルタ３３２は、Ｇデータに係数を掛け、係数が掛けられたＧデータを合計し、補正されたＧデータを生成する。第３の改質フィルタ３３３は、Ｂデータに係数を掛け、係数が掛けられたＢデータを合計し、補正されたＢデータを生成する。改質フィルタ部３３は、補正されたＲ、Ｇ、Ｂデータを合成するＲＧＢ再合成部３３９を含んでいる。
【００６９】
なお、改質フィルタ部３３は、デジタルフィルタ等で構成される機能ブロックとして説明したが、これらの機能を手順に応じて実行するような画像改質処理方法によっても実現可能である。すなわち、ＡＤ変換器３２からの撮像ＲＧＢデータを入力するステップと、各データに対して改質フィルタ係数算出手段３３０により算出した各係数を用いて荷重加算演算処理を行うステップと、荷重加算演算により得られた画像データを出力画像データとして出力するステップとを有するような画像改質処理方法によっても同様の効果がえられる。具体例として、これらの機能を実現するプログラムをメモリ等の記憶媒体に記憶させ、このプログラムに従ってプロセッサなどを実行させることで同様の効果を得ることができる。また、画像処理部３０は、例えば、制御部３９や信号処理部３５等の機能も含めて、プログラムに従ってプロセッサなどを実行させる構成であってもよい。
【００７０】
以上説明したように、本発明の実施の形態１の撮像装置は、多焦点レンズ２１０による撮像画像に対して、多焦点レンズ２１０における所定の被写距離ｃに対するＰＳＦの逆関数であるフィルタ特性を有した改質フィルタ部３３で撮像信号を補正、改質しているため、標準的な距離にある通常の被写体、およびこれよりも近距離にある近接被写体のいずれについても精度よく鮮明な画像を得ることができる。特に、本実施の形態１での多焦点レンズ２１０は、遠レンズ部２２と近レンズ部２３との正面形状をそれぞれが半円形となるような形状としているため、遠距離、および近距離に点光源を配置したとき、図３に示したように、それぞれが同様の形状となる像が投射される。すなわち、本実施の形態１での多焦点レンズ２１０は、遠距離、及び近距離において近似したＰＳＦが得られる。このため、被写体までの距離に応じた改質フィルタ部３３のフィルタ係数を準備しておく必要はなく、例えば、１つの代表的なフィルタ係数列を準備しておくのみでよい。このように、本発明の撮像装置によれば、多焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、ピント合わせ機構を用いることなく、容易に鮮明な画像を得ることができる。
【００７１】
なお、本実施の形態１では、遠レンズ部２２が多焦点レンズ２１０の上部を形成し、近レンズ部２３が多焦点レンズ２１０の下部を形成しているが、本発明の撮像装置では、遠レンズ部２２と近レンズ部２３が半円形で、多焦点レンズ２１０の中心を通る線にそって隣接し、多焦点レンズ２０の光学軸１０の延長線上から見たときの多焦点レンズ２１０の形状が円形であるならば、遠レンズ部２２と近レンズ部２３が多焦点レンズ２１０のどの部分を形成してもよい。言うまでもなく、遠レンズ部２２が多焦点レンズ２１０の下半分を形成し、近レンズ部２３が多焦点レンズ２１０の上半分を形成してもよい。
【００７２】
本実施の形態１では、多焦点レンズ２１０が半円形の第１及び第２のレンズ部２２、２３で構成され、第１及び第２のレンズ部２２、２３が相互に隣接し、円形の多焦点レンズ２１０を形成しているが、多焦点レンズ２１０が半楕円形又は半多角形の第１及び第２のレンズ部で構成され、相互に隣接し、多焦点レンズ２１０の光学軸の延長線上からの形状が楕円形又は多角形の多焦点レンズ２１０を形成してもよい。
【００７３】
（第２の実施の形態）
図６は、本実施の形態２における撮像装置の構成図である。図１で説明した実施の形態１と同一の構成要素については同一の符号を付しており、詳細な説明は省略する。
【００７４】
図６に示すように、本実施の形態２の撮像装置は、被写体を撮像するための光学系である撮像機構部２０と、撮像機構部２０からの撮像信号に対して画像処理を施し、画像処理を施した信号を出力画像信号として出力する画像処理部３０とにより構成
【００７５】
本実施の形態２において、撮像機構部２０は、第１の実施の形態の多焦点レンズ２１０とは異なる被写体を撮像する多焦点レンズ２１１を含んでいる。図７は、本実施の形態２における多焦点レンズ２１１の一例示したブロック図である。図７Ａは、多焦点レンズ２１１の光学軸の垂直な方向から見た多焦点レンズ２１１の側面図であり、図７Ｂは、多焦点レンズ２１１の光学軸の延長線上の位置から見た多焦点レンズ２１１の正面図である。図７に示すように、多焦点レンズ２１１は、多焦点光学系として、平面形状が円形である円形レンズ部２４０を中心に、各レンズ部が交互に同心状に配置される形状である。すなわち、本多焦点レンズ２４０は、第１の焦点距離を持つ複数の第１レンズ部としての円形レンズ部２４０、および環状レンズ部２４１と、第１の焦点距離とは異なった焦点距離である第２の焦点距離を持つ複数の第２レンズ部としての環状レンズ部２５１、および２５２とにより同一の面に一体化されて構成され、円形レンズ部２４０を中心に、第１のレンズ部と第２のレンズ部とがそれぞれ交互に同心状に配置される形状である。図７では、円形レンズ部２４０、および環状レンズ部２４１が長い焦点距離で収束する遠レンズ部２４を構成し、環状レンズ部２５１、および２５２が遠レンズ部２４よりも短い焦点距離で収束する近レンズ部２５を構成した一例を挙げている。なお、本実施の形態２では、円形である円形レンズ部２４０を中心に、各環状レンズ部が交互に同心状に配置される多焦点レンズを例に挙げて説明するが、例えば、楕円形、もしくは多角形のレンズ部を中心に、楕円形、もしくは多角形の各環状レンズ部が交互に同心状に配置される形状の多焦点レンズであってもよい。
【００７６】
図８は、図７に示した多焦点レンズ２１１における光学結像系を示した図である。図８Ａは、遠距離の焦点距離を持つ遠レンズ部２４の焦点１１に点光源を配置した場合の光学結像系を示している。図８Ａの場合、撮像素子２９上には、正面から見ると図８Ｂに示すような投射像２９２ａが得られる。すなわち、遠レンズ部２４の焦点１１に点光源を配置した場合、円形レンズ部２４０、および環状レンズ部２４１によるピントのあった点状の像ａ１を中心に、その外周部には環状のレンズ部２４１による円形の像ａ２、さらに円形の像ａ２の外側にも環状レンズ部２５２による円形の像ａ３のようなピントのボケた像が投射される。
【００７７】
一方、図８Ｃは、遠レンズ部２４よりも近距離の焦点距離を持つ近レンズ部２５の焦点１３に点光源を配置した場合の光学系を示している。図８Ｃの場合には、撮像素子２９上には、正面から見ると図８Ｄに示すような投射像２９２ｂが得られる。すなわち、近レンズ部２５の焦点１３に点光源を配置した場合には、環状レンズ部２５１、および、環状レンズ部２５２によるピントのあった点状の像ｂ１を中心に、その外周部には円形レンズ部２４０による円形の像ｂ２、さらに円形の像ｂ２の外周部には、環状レンズ部２４１による環状の像Ｂ２のようなピントのボケた像が投射される。
【００７８】
図９は、本実施の形態２における多焦点レンズの他の例としての多焦点レンズ２１２の形状の詳細を示した図である。図９Ａは、多焦点レンズ２１２の側面図であり、図９Ｂは、多焦点レンズ２１２の正面図である。図９に示すように、本多焦点レンズ２１２は、多焦点光学系として、平面形状が円形である円形レンズ部２４０を中心に、各レンズ部が交互に同心状に配置される形状である。すなわち、本多焦点レンズ２１２は、第１の焦点距離を持つ複数の第１レンズ部としての円形レンズ部２４０、および環状レンズ部２４１、２４２、２４３と、第１の焦点距離とは異なった焦点距離である第２の焦点距離を持つ複数の第２のレンズ部としての環状レンズ部２５１、２５２、２５３、２５４とにより、同一の面に一体化されて構成され、円形レンズ部２４０を中心に、第１のレンズ部と第２のレンズ部とがそれぞれ交互に同心状に配置される形状である。図９では、円形レンズ部２４０、および環状レンズ部２４１、２４２、２４３が長い焦点距離で収束する遠レンズ部２４０を構成し、環状レンズ部２５１、２５２、２５３、２５４が遠レンズ部よりも焦点距離が短い焦点距離で収束する近レンズ部２５を構成した一例を挙げている。
【００７９】
図１０は、図９に示した多焦点レンズ２１２における光学結像系を示した図である。図１０Ａは、遠距離の焦点距離を持つ遠レンズ部２４の焦点１１に点光源を配置した場合の光学結像系を示している。図１０Ａの場合、撮像素子上には、正面から見ると図１０Ｂに示すような投射像２９２ａが得られる。すなわち、遠レンズ部２４の焦点１１に点光源を配置した場合、遠レンズ部２４によるピントのあった点状の像ａ１を中心に、その外周部には近レンズ部２５である環状レンズ部２５１、２５２、２５３、２５４による環状の像が外周方向に像ａ１、ａ２、ａ３、ａ４と順番にピントのボケた像が投射される。
【００８０】
一方、図１０Ｃは、遠レンズ部２４よりも近距離の焦点距離を持つ近レンズ部２５の焦点１３に点光源を配置した場合の光学結像系を示している。図１０Ｃの場合、撮像素子２９上には、正面から見ると図１０Ｄに示すような投射像２９２ｂが得られる。すなわち、近レンズ部２５の焦点１３に点光源を配置した場合、近レンズ部２５によるピントのあった点状の像ｂ１を中心に、その外周部には円形レンズ部２４０による円形の像ｂ２と、さらに円形の像ｂ２の外周部には環状レンズ部２４１、２４２、２４３による環状の像ｂ３、ｂ４、ｂ５のようなピントのボケた像が投射される。
【００８１】
遠レンズ部９２および近レンズ部９３により構成される二焦点レンズ９１の光学軸１０上に被写体がある場合、従来のバーコード読取装置において図１４Ｂ、１４Ｄを参照して説明したように、撮像装置９９上のピントのボケた像は、円形および環状である。ここでの遠レンズ部９２の形は円形、近レンズ部９３の形は環状で、遠レンズ部９２の外側に放射状に延在している。一方、本発明の撮像装置では、多焦点レンズ２１１が円形の第１レンズ部２４０と環状の複数の環状の第１レンズ部２４１、２５０、２５１により構成され、各環状の第１レンズが円形の第１レンズと同心関係にある場合、図８Ｂ、８Ｄから明らかなように、撮像装置９９上のピンのボケた像は、複数の環が同心関係で配置された形状である。ここでの円形の第１レンズ部２４０と環状の第１レンズ部２４１は第１の焦点距離を有し、環状の第１レンズ部２４１、２５０、２５１は、第１の焦点距離より短いだい２の焦点距離を有している。図１０Ｂ、１０Ｄ、８Ｂ、８Ｄから明らかなように、多焦点レンズ２１２における撮像素子２０上のピントのボケた像の数は、多焦点レンズ２１１における撮像素子２０上のピントのボケた像の数より多い。また、多焦点レンズ２１１と多焦点レンズ２１２のピントのボケた像を比較すると、撮像素子２０上のピントのボケた環状像の数は、撮像素子２０上にピントのボケた像を形成している多焦点レンズのレンズ部の数に応じて増えると結論できる。ここでの遠焦点距離を有する環状の遠レンズ部と、その遠焦点距離よりも短い近焦点距離を有する近レンズ部とが交互に隣接する関係にある。多焦点レンズ２１１、２１２の何れであるかに関係なく、遠レンズ部の焦点１１に被写体がある場合の撮像素子２９上の多焦点レンズによるピントのボケた像と近レンズ部の焦点１３に被写体がある場合の撮像素子２９上の多焦点レンズによるピントのボケた像は、実質的に似ている。
【００８２】
本実施の形態２における多焦点レンズの遠レンズ部２４のＰＳＦと近レンズ部のＰＳＦは、環状の近レンズ部２５と環状の遠レンズの数が増加とともに、次第に似てくる。本実施の形態２の撮像装置および画像改質処理方法において、多焦点レンズが多焦点レンズ２１１又は２１２で構成されるが、夫々のレンズ部のＰＳＦが１つの代表レンズ部のＰＳＦで近似できる限り、多焦点レンズはどのような多焦点レンズで構成されてもよい。本実施の形態において、画像処理部３０の改質フィルタ部３３は、代表ＰＳＦに対応するフィルタ係数を格納している。
【００８３】
以上説明したように、本実施の形態２の撮像装置は、多焦点レンズ２１１、あるいは２１２による撮像画像に対して、多焦点レンズ２１１、あるいは２１２における所定の被写距離ｃに対するＰＳＦの逆関数であるフィルタ特性を有した改質フィルタ３３で撮像信号を補正、改質しているため、標準的な距離にある通常の被写体、およびこれよりも近距離にある近距離被写体のいずれについても精度よく鮮明な画像をえることができる。特に、本実施の形態２での多焦点レンズ２１１は、第２のレンズ部としての近レンズ部２５とにおいて、平面形状が円形のレンズ部２４０を第２のレンズ部としての近レンズ部２５とにおいて、平面形状が円形のレンズ部２４０と中心に、近レンズ部２５と遠レンズ部２４とをそれぞれ交互に同心状に配置される形状としているため、遠距離、および近距離に点光源を配置したとき、例えば、図１０Ｂ、１０Ｄに示すように、それぞれが近似した円形状の形状となる像が投射される。すなわち、本実施の形態２での多焦点レンズ２１１、あるいは２１２は、遠距離、および近距離において近似したＰＳＦが得られる。このため、被写体までの距離に応じた改質フィルタ部３３のフィルタ係数を準備しておく必要はなく、例えば、１つの代表的なフィルタ係数列を準備しておくのみでよい。このように、本発明の撮像装置は、多焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、ピント合わせ機構を用いることなく、容易に鮮明な画像をえることができる。
【００８４】
本実施の形態２では、図７および図９に示した多焦点レンズの構成例を挙げて説明したが、第１のレンズ部と第２のレンズ部との同心状の繰り返し数は、複数回であれば良く、繰り返し回数が限定されるものではない。特に、上述したように、同心状の繰り返し数の増加とともに各焦点に対するＰＳＦが近似するため、同心上の繰り返し数を増加することで、改質フィルタ部３３の精度の向上を図ることができる。また、中心の円形レンズ部２４０を遠レンズ部として、近レンズ部と遠レンズ部とを同心状に交互に配置した構成例を挙げて説明したが、中心の円形レンズ部２４０を近レンズ部として、遠レンズ部と近レンズ部とを同心状に交互に配置した構成であってもよい。
【００８５】
また、本実施の形態２では、遠レンズ部と近レンズ部との幅を同一として同心状に交互に配置した構成例を挙げて説明したが、これに限定するものではない。例えば、各レンズ部を同一の面積として、同心状に交互に配置することで、遠レンズ部と近レンズ部との光の利用率が均一となり、遠距離、および近距離の被写体それぞれに対して均等なコントラストの撮像画像を得ることができる。
【００８６】
また、本実施の形態２では、多焦点レンズとして遠レンズ部と近レンズ部との二つの焦点距離に対応したレンズ部で構成される二焦点レンズの例を挙げて説明したが、二つの焦点距離に限定されるものではない。すなわち、多焦点レンズは、１つの円形の第１レンズ部と複数の環状の第１レンズ部とにより構成され、複数の環状の第１レンズ部が円形の第１レンズ部と同心関係にあり、環状の第１レンズ部は、第１の焦点距離を有する複数の第１レンズ部から、それぞれの焦点距離の異なる第Ｎ（Ｎは、２以上の整数）の焦点距離を持つ複数の第Ｎのレンズ部までのレンズ部を有し、円形等の第１レンズ部を中心に、第Ｎのレンズ部までが同心状に配置され、さらに、同心状に配置された第Ｎのレンズ部の外周部に、第１のレンズ部から第Ｎのレンズ部が同心状に複数回繰り返して配置されるような形状であってもよい。このように、第１、第２の焦点距離に加えて、第３、第４などの焦点距離を持つレンズ部を配置することで、各焦点に対応した被写界深度を有することとなり、結果的に本多焦点レンズの被写界深度をより深くすることができる。
【００８７】
本実施の形態において、多焦点レンズは、遠レンズ部と近レンズ部とを有する二焦点レンズにより構成される。しかしながら、二焦点レンズに限定するものではない。多焦点レンズは、焦点距離の異なる２つ以上のレンズ部により構成されてもよい。すなわち、多焦点レンズは、例えば、円形レンズ部と、第１の環状レンズ部と、第２の環状レンズ部と、・・・、第Ｎ（Ｎは２以上の整数）の環状レンズ部により構成され、第１から第Ｎまでの環状レンズ部が円形レンズ部と同心関係にあり、第１から第Ｎまでの環状レンズ部の焦点距離が異なる。多焦点レンズは、更に、第２のレンズ群を含み、第２のレンズ群は、第１の環状レンズ部と、第２の環状レンズ部と、・・・、第Ｎの環状レンズ部により構成され、第１から第Ｎまでの環状レンズ部が円形レンズ部と同心関係にあり、第１のレンズ群の第Ｎの環状レンズ部の外側に放射状に形成される。多焦点レンズは、更に、第ｉ（ｉは、２以上の整数）のレンズ群を含み、第ｉのレンズ群は、第１の環状レンズ部と、第２の環状レンズ部と、・・・、第Ｎの環状レンズ部により構成され、第１から第Ｎまでの環状レンズ部が円形レンズ部と同心関係にあり、第ｉ−１のレンズ群の第Ｎの環状レンズ部の外側に放射状に形成される。第１レンズ群の第ｊ（ｊは１からＮまでの整数）レンズ部の焦点距離と、第２レンズ群の第ｊレンズ部の焦点距離と、・・・、第ｉレンズ群の第ｊレンズ部の焦点距離は同じである。多焦点レンズが焦点距離が異なる複数のレンズ部を備えているので、多焦点レンズは、複数のレンズ部の被写界深度を有している。その結果、多焦点レンズの被写界深度を深くなる。
【００８８】
本実施の形態２では、図７および図９に示すように、多焦点レンズ２１１又は２１２が１つの円形レンズ部と複数の環状レンズ部により構成され、環状レンズ部は、円形レンズ部と同心関係にある。また、多焦点レンズの複数のレンズ部が同心関係で配置されるならば、多焦点レンズがどのようなレンズ部で構成されてもよい。多焦点レンズは、例えば、多焦点レンズ２１１又は２１２の光学軸の延長線上から眺めた形状が楕円形又は多角形のレンズ部と楕円形又は多角形の環状レンズにより構成され、楕円形又は多角形の環状レンズは、前記楕円形又は多角形のレンズ部と同心関係にある。
【００８９】
（第３の実施の形態）
図１１は、本実施の形態３における撮像装置の改質フィルタ部３３の構成を示すブロック図である。改質フィルタ部３３は、画像改質処理を実行し、多焦点レンズ２１１又は２１２による撮像素子２９上のボケた画像成分の補正を行う。以下、改質フィルタ部３３により実行される画像改質処理について説明する。
【００９０】
本実施の形態の改質フィルタ部３３は、図１１に示すように、例えば、改質フィルタ３３４を含むことを除いて、図５に示された改質フィルタ部３３と類似している。本実施の形態の改質フィルタ部３３は、改質フィルタ３３４が複数のタップを含み、これらのタップが集合的にマトリクスを形成し、例えば、ｘ方向（水平）に７タップで、ｙ方向（垂直）に７タップのマトリクスを形成し、改質フィルタ２２４の各タップは、撮像素子２９上の投射像の各原色と対応している。
【００９１】
撮像素子２９は、各画素と対応し、ベイヤー配列の順序で垂直及び水平方向にマトリクス状に配置された複数の光電素子により構成され、三原色のデータ、例えば、ベイヤー配列の順序で垂直及び水平方向にマトリクス状に配置されたＲ、Ｇｒ、Ｂ、Ｇｂからなる画像データの形で、撮像信号を出力する。図１２は、本発明の第３の実施の形態の撮像装置の光電素子におけるベイヤー配列の一例を示した図である。図１２から明らかなように、撮像素子２９は、市松模様上に配置された複数の原色検出素子により構成され、データ、すなわち、Ｒ、Ｇｒ、Ｂ、Ｇｂの各データを原色検出素子に対応するベイヤー配列の順序で順次出力する。本実施の形態３の改質フィルタ３３は、第２の実施の形態の改質フィルタ部３３の改質フィルタ３３１、３３２、３３３の代わりに、所定の関数に対応する係数列をフィルタ係数として格納する記憶する非循環型のデジタルフィルタで構成される一つの改質フィルタ３３４を備え、荷重加算演算処理することを特徴とする。
【００９２】
図１１に示された改質フィルタ部３３は、係数が掛けられたＲデータを合計し、補正されたＲデータを生成し、係数が掛けられたＧｒデータを合計し、補正されたＧｒデータを生成し、係数が掛けられたＢデータを合計し、補正されたＢデータを生成し、係数が掛けられたＧｂデータを合計し、補正されたＧｂデータを生成するようになっている。したがって、本実施の形態３の改質フィルタ部３３は、所定期間に１つのデータを処理することができる。一方、１つの色のデータを処理しながら他の色のデータを処理することができない。すなわち、改質フィルタ部３３は、例えば、Ｒデータを処理しているとき、Ｇｒ、Ｂ、Ｇｂの各データを処理することができない。
【００９３】
本実施の形態３の改質フィルタ３３４は、図１１に示すように、注目画素の位置を含めた注目画素と同一の色データが配置されている位置にのみ、その位置に対応する係数を設定している。すなわち、図１１に示すように、ベイヤー配列に対応した本改質フィルタ３３４の場合、各色データが市松模様状に配置されることとなるため、同一の色データが配置されることとなる位置に対応するk11, k13, k15, k31, k33, k35, k51, k53, k55を荷重加算演算処理に利用し、その他の位置に対応する係数は間引きして処理している。すなわち、改質フィルタ３３４は係数k11, k13, k15, k31, k33, k35, k51, k53, 及びk55等を格納し、例えば、係数K00, K01, K02, K10, K12, K20, K21, K22, …がその時間間隔で間引かれる。ここで、Ｒデータの位置に対応し、改質フィルタ３３４に格納された係数列、すなわち、k11, k13, k15, k31, k33, k35, k51, k53, 及びk55を以下単に有効係数、間引かれた係数、すなわち、K00, K01, K02, K10, K12, K20, K21, K22, …を以下単に無効係数という。
【００９４】
更に、本実施の形態３において、改質フィルタ係数算出手段３３０は、間引かれた無効フィルタ係数が原因で有効フィルタ係数の精度が下がるのを防止するため、所定の重みを掛けた有効フィルタ係数と無効フィルタ係数との合計に基づいて有効フィルタ係数を算出するようになっている。すなわち、改質フィルタ係数算出手段３３０は、例えば、有効係数k11を以下のステップで算出している。図１１に示すように、マトリクス内のＲデータに対応する有効フィルタ係数候補K11とこの有効フィルタ係数候補K11の近傍の無効フィルタ係数K00, K01, K02, K10, K12, K20, K21, K22を所定の補正関数に基づいて算出し、有効フィルタ係数候補K11と所定の重みが掛けられた無効フィルタ係数K00, K01, K02, K10, K12, K20, K21, K22を合計する。改質フィルタ係数算出手段３３０は、これ以外の有効フィルタ係数k13, k15, k31, k33, k35, k51, k53, k55も上述の同じ方法で算出する。
【００９５】
以上説明したように、本実施の形態３の撮像装置および画像改質処理方法は、改質フィルタ部３３の改質フィルタ３３４が有効フィルタ係数を掛けたデータを合計するので、大規模な処理が不要でかつフィルタ規模を抑えられるというだけでなく、ピント合せ機構が不要で、基準距離よりも短い近距離の被写体か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００９６】
本実施の形態３では、改質フィルタ部３３が、デジタルフィルタ等を含む機能ブロックで構成されているが、画像改質処理方法を実行し、上述のプロセスを実施可能な手段であれば、どのような手段で構成されてもよい。更に、改質フィルタ部３３が、例えば、メモリ等に格納され、プロセッサ等で実行されるプログラムで少なくとも部分的に構成されるとき、同じ効果が得られる。更に、改質フィルタ部３３の信号処理部３５及び制御部３９は、上述の処理が実行可能な手段であれば、どのような手段で構成されてもよい。更に、改質フィルタ部３３の信号処理部３５及び制御部３９が、メモリ等に格納され、プロセッサ等で実行されるプログラムで少なくとも部分的に構成されるとき、同じ効果が得られる。
【００９７】
更に、改質フィルタ部３３は、ベイヤー配列の順序で供給されるデータ、すなわち、Ｒ、Ｇｒ、Ｂ、Ｇｂの各データからなる画像データに画像改質処理を施すようになっているが、改質フィルタ部３３は、規則的に繰り返される方法で供給されるデータからなる画像データだけでなく、どのような画像データにも適用可能である。例えば、撮像素子が、市松模様状に配列され、各補色データを規則的に出力する複数の補色検出素子からなり、改質フィルタ部３３が、その撮像素子から出力される補色画像の画像改質処理に適用されてもよい。
【００９８】
第１乃至第３の実施の形態では、改質フィルタ部３３が、多焦点レンズの代表レンズ部に対する代表ＰＳＦに基づいて決定されたフィルタ係数を用いて画像改質処理を実行しているが、代表ＰＳＦは、多焦点レンズの各レンズ部のＰＳＦを近似できるのであれば、どのような方法で算出されてもよい。代表ＰＳＦは、例えば、多焦点レンズの各レンズ部のＰＳＦを算出し、算出したＰＳＦに所定の係数を掛け、所定の係数を掛けたＰＳＦを合計し、合成ＰＳＦを生成し、合成ＰＳＦを平均することにより生成されてもよい。例えば、図１３に示すよう、多焦点レンズの光学軸から所定距離ｈだけ離れた焦点面に被写体がある場合、代表ＰＳＦは、例えば、光学軸から所定距離ｈだけ離れた複数の焦点面上の位置に対する多焦点レンズの各レンズ部のＰＳＦを算出し、算出したＰＳＦに所定の係数を掛け、所定の係数を掛けたＰＳＦを合計し、合成ＰＳＦを生成し、合成ＰＳＦを平均することにより生成されてもよい。ここでの各係数は、例えば、点光源から各レンズ部に入射する光線の角度で決定されてもよい。
【００９９】
また、第１乃至第３の実施の形態の撮像装置は、多焦点レンズの各レンズ部の隣接レンズ部との接合部において迷光が生じるので、接合部での迷光を低減するための遮光処理を施すことにより、さらに精度の向上を図ることが可能となる。
【産業上の利用可能性】
【０１００】
本発明は、大規模な処理を必要とせず、ピント合せ機構を用いることなく、標準的な距離にある通常の被写体、およびこれよりも近距離にある近距離被写体のいずれについても容易にかつ精度よく鮮明な画像を得ることができるため、撮像装置としてのカメラやビデオカメラとして利用できるとともに、撮影機能を有した携帯電話などの携帯情報端末、その他にも利用することができる。
【図面の簡単な説明】
【０１０１】
【図１】図１は、本発明の第１の実施の形態の撮像装置の構成を示すブロック図
【図２】図２Ａは、図１に示された撮像装置の多焦点レンズの側面図 図２Ｂは、図２Ａに示された多焦点レンズの側面図
【図３】図３Ａは、被写体が遠距離にある場合に、図１に示された撮像装置の撮像素子上に被写体の像がどのように形成されるのかを説明する図 図３Ｂは、図３Ａに示された撮像素子上に形成された像の正面図 図３Ｃは、被写体が近距離にある場合に、図１に示された撮像装置の撮像素子上に被写体の像がどのように形成されるのかを説明する図 図３Ｄは、図３Ｃに示された撮像素子上に形成された像の正面図
【図４】図４は、図１に示された撮像装置により実行される画像処理動作の原理を説明するブロック図
【図５】図５は、図１に示された撮像装置の改質フィルタの構成を示すブロック図
【図６】図６は、本発明の第２の実施の形態の撮像装置の構成を示すブロック図
【図７】図７Ａは、図６に示された撮像装置の多焦点レンズの一例を示す側面図 図７Ｂは、図７Ａに示された多焦点レンズの正面図
【図８】図８Ａは、被写体が遠距離にある場合に、図７に示された多焦点レンズを有する図６に示された撮像装置の撮像素子上に被写体の像がどのように形成されるかを説明するブロック図 図８Ｂは、図８Ａに示された撮像素子上に形成された像の正面図 図８Ｃは、被写体が近距離にある場合の図８Ａと類似のブロック図 図８Ｄは、図８Ｃに示された撮像素子上に形成された像の正面図
【図９】図９Ａは、図６に示された撮像装置の多焦点レンズの他の一例の側面図 図９Ｂは、図９Ａに示された多焦点レンズの正面図
【図１０】図１０Ａは、被写体が遠距離にある場合に、図９に示された多焦点レンズを有する図６に示された撮像装置の撮像素子上に被写体の像がどのように形成されるかを説明するブロック図 図１０Ｂは、図１０Ａに示された撮像素子上に形成された像の正面図 図１０Ｃは、被写体が近距離にある場合の図１０Ａと類似のブロック図 図１０Ｄは、図１０Ｃ上に形成された像の正面図
【図１１】図１１は、本発明の第３の実施の形態の撮像装置の改質フィルタの構成を示すブロック図
【図１２】図１２は、本発明の第３の実施の形態の撮像装置の光電素子のベイヤー配列の一例を示すブロック図
【図１３】図１３は、被写体が多焦点レンズから所定距離で光学軸から離れて配置された場合に、図１に示された撮像装置の撮像素子上に被写体の像がどのように結像されるかを説明するブロック図
【図１４】図１４Ａは、従来のバーコード読取装置の構成を示すブロック図 図１４Ｂは、図１４Ａに示されたバーコード読取装置の多焦点レンズの正面図
【図１５】図１５Ａは、被写体が遠距離にある場合で、図１４Ａに示された従来のバーコード読取装置の撮像素子上に被写体の像がどのように形成されるかを説明するブロック図 図１５Ｂは、図１５Ａに示された撮像素子上に形成された像の正面図 図１５Ｃは、被写体が近距離にある場合の図１５Ａに類似のブロック図 図１５Ｄは、図１５Ｃに示された撮像素子上に形成された像の正面図
【技術分野】
【０００１】
本発明は、被写体を撮像し、電子画像に変換する電子カメラなどの撮像装置及びその電子画像を改質する画像改質処理方法に関し、詳しくは、バーコードなどの近接の被写体を撮像し、その像を電子画像に変換することが可能な撮像装置及びその電子画像を改質する画像改質処理方法に関する。
【背景技術】
【０００２】
画像入力機能を有する電子機器の一例として、近接の被写体の像を読み取るバーコード読取装置が知られている。ここでの被写体は、例えば、商品の表面に記載のバーコードである。従来のバーコード読取装置は、複数のバーとスペースで構成されたバーコードなどの被写体の像をＣＣＤ（charge coupled device）などの撮像素子上に形成し、その像を電子画像に変換し、例えば、文字情報に復号し、バーコードを読み取るようになっている。この他にも、遠距離のバーコードでも高精度で読み取るバーコード読取装置が提案されており、例えば、特開平０５‐２１７０１２に開示されている。
【０００３】
図１４Ａに示された従来のバーコード読取装置は、バーコードなどの被写体からの光を取り込む先端部９８と、先端部９８を通して取り込まれた光を収束させる多焦点レンズ９１で構成される収束光学系と、多焦点レンズ９１で収束させ、結像した像を取り込み、画像信号に変換する撮像素子９９と、画像信号から直流成分を除去する高域通過フィルタ９７とを備えている。多焦点レンズ９１は、光学軸１０を有し、この光学軸１０を共有する遠レンズ部９２と近レンズ部９３で構成され、遠レンズ部９２は、近レンズ部９３よりも焦点距離が長い。
【０００４】
図１４Ｂは、多焦点レンズ９１の光学軸１０の延長線上からの正面図である。図１４Ｂから明らかなように、遠レンズ９２及び近レンズ９３は、夫々円形及び円環形であり、遠レンズ９２の周辺部の外側に近レンズ９３が放射状に広がっている。遠レンズ９２及び近レンズ９３は、夫々光学軸１０上に焦点１１及び焦点１３を有している。また、従来のバーコード読取装置では、バーコードの最大読取可能範囲を示す被写界深度（以下単に「ＤＯＦ」という）がそのレンズの焦点を中心に決定される。すなわち、遠レンズ９２の被写界深度ＤＯＦ１が焦点１１を中心に決定され、近レンズ９３の被写界深度ＤＯＦ２が焦点１３を中心に決定される。
【０００５】
撮像素子９９は、撮像素子９９上の像を読み取り、この像を電気信号に変換し、高域通過フィルタ９７に画像信号として出力するようになっている。高域通過フィルタ９７は、画像信号の直流成分を除去し、画像信号として出力するようになっている。画像信号は、図１４には示されないが、信号処理部で復号され、例えば文字情報に変換される。よって、従来のバーコード読取装置は、バーコードを読み取ることができる。
【０００６】
従来のバーコード読取装置の多焦点レンズ９１は、遠距離に焦点１１を有する遠レンズ９２と、近距離に焦点１３を有する近レンズ部９３とにより構成される。このため、近距離の被写体の撮影における撮像素子９９上の像は、近レンズ部９３によるピントのあった像と遠レンズ部９２によるピントのボケた像の合成となり、その合成像は不鮮明である。逆に、遠距離の被写体の撮影における撮像素子９９上の像は、近レンズ部９３によるピントのボケた像と遠レンズ部９２によるピントのあった像の合成となり、その合成像も不鮮明である。
【０００７】
図１５は、点光源が遠レンズ部９２の焦点１１に位置する場合及び点光源が近レンズ部９３の焦点１３に位置する場合における撮像素子９９上に像の形成について示している。
【０００８】
図１５Ａは、点光源が遠レンズ部９２の焦点１１に位置する場合の撮像素子９９上の像の形成について説明する図である。図１５Ｂは、多焦点レンズ９１の光学軸１０の延長線上から見た撮像素子９９上の像９９１ａの正面図である。点光源が遠レンズ部９２の焦点１１にあるとき、撮像素子９９上の像９９１ａは、遠レンズ部９２によるピントのあった像ａ１と近レンズ部９３によるピントのボケた像ａ２との合成である。ピントのボケた像ａ２は、ピントのあった像ａ１の外側に環状に広がっている。
【０００９】
同様に、図１５Ｃは、点光源が近レンズ部９３の焦点１３に位置する場合の撮像素子９９上の像を説明する図である。図１５Ｄは、多焦点レンズ９１の光学軸１０の延長線上から見た撮像素子９９上の像９９１ｂの正面図である。点光源が近レンズ部９３の焦点１３にあるとき、撮像素子９９上の像９９１ｂは、近レンズ部９３によるピントのあった像ｂ１と遠レンズ部９２によるピントのボケた像ｂ２との合成である。ピントのボケた像ｂ２は、ピントのあった像ａ１の外側に環状に広がっている。
【００１０】
このように、多焦点レンズ９１は、異なった位置に焦点を持つ２つのレンズ部により構成されるため、対処物が一方の被写界深度（ＤＯＦ）内にあっても、撮像素子９９上の像は、遠レンズ部９２と近レンズ部９３の一方によるピントのあった像と遠レンズ部９２と近レンズ部９３の他方によるピントのボケた像の合成であり、ピントのボケた像が撮像素子９９上の投射像をある程度浮き上がらせるので、不鮮明である。
【００１１】
撮像素子９９は、遠レンズ部９２と近レンズ部９３の内の他方で形成されるピントのボケた画像成分、例えば、近レンズ部９３による図１５Ｂに示された環状のピントのボケた画像ａ２又は遠レンズ部９２による図１５Ｄに示された円形のピントのボケた画像ｂ２を撮像信号に含まれる直流成分に変換している。
【００１２】
ハイパスフィルタ９７は、投射像からピントのボケた像を除去するよう、撮像信号から直流成分を除去している。例えば、対象物としてのバーコードがＤＯＦ１内にある場合、ハイパスフィルタ９７は、近レンズ部９３によるボケた投射像成分である直流成分を除去するようになっている。逆に、対象物としてのバーコードがＤＯＦ２内にある場合、ハイパスフィルタ９７は、遠レンズ部９２によるボケた投射像成分である直流成分を除去するようになっている。このように、従来のバーコード読取装置は、ボケた像を除去するよう直流成分を除去するハイパスフィルタ９７を備えているので、被写界深度が改善される。すなわち、従来のバーコード読取装置の被写界深度は、図１４Ａから明らかなように、近距離のＤＯＳ２に加えて遠距離のＤＯＳ１をも有することとなり、焦点深度の拡大を図ることができ、これによりバーコードからある程度離れた距離であっても精度のよい読み取りが可能となる。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述の従来のバーコード読取装置では、バーコードのような図式的な対象の光学的読取に対しては効果があるが、例えば、人物や風景を撮影するような通常のカメラに適用するには十分満足できるよな画質が得られないという、画像品質上の課題があった。すなわち、通常、カメラで撮影するような風景などには、ゆるやかに輝度や色が変化するような直流成分を含む低周波成分も撮像信号には含まれており、単に直流成分を除去するのみでは画質劣化を招くため、このような多焦点レンズを利用して風景などを撮影する場合には精度よくボケ像の修正を行わなければならないという課題があった。
【００１４】
とりわけ、近年、例えば携帯電話で代表されるように、情報端末装置には、画像入力機能を備えることが一般的となっている。さらに、この画像入力機能を利用して人物や風景を撮影するようなカメラ機能とともに、上述したようなバーコードなどの近接画像をも取り込み可能とすることで、このような情報端末装置の利用性をさらに向上させることができる。例えば、このようなバーコードを利用して、メールアドレス、ホームページアドレス、電話番号など多くの情報を表すことができるので、これらのバーコードを上記所望の画像と組み合わせて使用することにより、きわめて有用なコミュニケーションが実現できる。このように、近距離、および遠距離の被写体双方に対して精度良く画像を取り込むような情報端末装置の実現が強く望まれている。
【００１５】
ボケた画像を精度よく鮮明な画像に補正する方法として、インバースフィルタを利用してボケた画像を補正する画像処理方法が知られている。このようなインバースフィルタは、例えば、ディジタルフィルタにより構成され、ボケた画像にフィルタ処理を施し、レンズの光学的伝達特性を補正するようになっている。光学系では、このような伝達特性は、ポイントスプレッド関数（以下単に、ＰＳＦという）で表され、実験的に、あるいは、計算で取得される。例えば、図１５に示した従来のバーコード読取装置では、点光源に対し撮像素子９９上に投射される像を示しており、図１５Ｂの投射像９９１ａや図１５Ｄの投射像９９１ｂが多焦点レンズ９１のＰＳＦに相当する。よって、例えば、投射像９９１ａにおけるボケた像ａ２や、投射像９９１ｂにおけるボケた像ｂ２の画像成分を実験等で求めることで、ボケた像を生成する伝達関数Ｈが求まる。さらに、このような伝達関数Ｈの逆関数１／Ｈを求め、撮像素子９９からの撮像信号に対して、その逆伝達特性を有したインバースフィルタによるフィルタリングを行うことで精度よくボケた画像の修復を行うことができる。
【００１６】
しかしながら、図１５から明らかなように、ＰＳＦは、点光源の位置に応じて変化するため、ボケた画像を精度よく鮮明な画像に補正するためには、対象物の位置に応じた逆伝達特性１／Ｈを予め計算又は備えておく必要があり、その結果、大規模な処理が必要であるという課題があった。また、対象物の位置に応じた逆伝達特性を得るため、オートフォーカスのようなピント調整機能も必要となり、処理規模が増加するという課題があった。
【００１７】
すなわち、従来のバーコード読取装置に利用されたレンズ９１の形状の場合、遠距離の対象物に対するＰＳＦは、図１５Ｂの投射像９９１ａのような形状になり、近距離の対象物に対するＰＳＦは、図１５Ｄの投射像９９１ｂのような形状になる。更に、対象物の位置に応じて投射像の大きさが変化する。このように、従来のバーコード読取装置は、ボケた画像を精度よく鮮明な画像に補正するために、対象物の位置に応じた逆伝達特性１／Ｈを予め計算又は備えておく必要があった。
【００１８】
本発明は、上記課題を課題を解決するためになされたもので、多焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、ピント合せ機能を用いることなく、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる撮像装置、および画像改質処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の撮像装置は、焦点距離の異なる複数のレンズ部を有した多焦点レンズと、前記多焦点レンズにより結像された画像を電気信号に変換し、撮像信号として出力する撮像素子と、所定の補正関数に基づいて前記撮像素子からの撮像信号に荷重加算演算処理を施し、補正した撮像信号を出力する演算処理部とを備え、前記補正関数は、前記多焦点レンズの光学系から所定距離の被写体に対するポイントスプレッド関数に基づいた逆関数である。
【００２０】
この構成により、本発明の撮像装置は、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００２１】
本発明の撮像装置において、前記多焦点レンズは、代表レンズ部を有してもよい。前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。また、前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。更に、前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。
【００２２】
この構成により、本発明の撮像装置は、容易にかつ精度よくポイントスプレッド関数を得ることができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００２３】
本発明の撮像装置において、前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数でもよい。また、前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数でもよい。更に、前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離だけ離れた焦点面における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数でもよい。
【００２４】
この構成により、本発明の撮像装置は、容易にかつ精度よくポイントスプレッド関数を算出することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００２５】
本発明の撮像装置において、前記多焦点レンズは、第１の焦点距離を有する第１のレンズ部と、前記第１の焦点距離とは異なった第２の焦点距離を有する第２のレンズ部とにより構成され、前記第１及び第２のレンズ部は、一体的に形成され、前記第１及び第２のレンズ部は、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形又は多角形で、前記第１及び第２のレンズ部は、前記多焦点レンズの中心を通る直線に沿って隣接するように配置されてもよい。
【００２６】
更に、本発明の撮像装置において、前記多焦点レンズは、第１の焦点距離を有する第１のレンズ部と、前記第１の焦点距離とは異なった第２の焦点距離を有する第２のレンズ部とによりに構成され、前記第１及び第２のレンズ部は、一体的に形成され、前記第１及び第２のレンズ部は、同心関係で隣接し、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れでもよい。また、本発明の撮像装置において、前記多焦点レンズの光学軸の延長線上から見たときの前記第１及び第２レンズ部の占める面積が実質的に等しくてもよい。
【００２７】
この構成により、本発明の撮像装置は、容易にかつ精度よく撮像素子上に像を結像することができる。
【００２８】
更に、本発明の撮像装置において、前記多焦点レンズは、第１のレンズ部から第Ｎ（Ｎは、２以上の整数）のレンズ部までの複数のレンズ部により構成され、前記複数のレンズ部は、相互に異なる焦点距離を有し、前記第１のレンズ部から第Ｎのレンズ部までを含む複数のレンズ部は、一体的に形成され、前記第１のレンズ部から第Ｎのレンズ部までを含む複数のレンズ部は、交互に隣接し、同心関係で配置され、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れでもよい。本発明の撮像装置において、前記多焦点レンズは、第１のレンズ群から第Ｍ（Ｍは、２以上の整数）のレンズ群により構成され、ｉ番目（ｉは、Ｍと同じかそれ以下の整数）のレンズ群は、第１のレンズ部から第Ｎ（Ｎは、２以上の整数）のレンズ部までの複数のレンズ部により構成され、前記ｉ番目のレンズ群の第１のレンズ部から第Ｎのレンズ部までの複数のレンズ部は、ｉ−１番目のレンズ群の第Ｎのレンズ部の外側に放射状に延在し、交互に隣接し、同心関係で配置され、前記第１のレンズ群の第１のレンズ部から第Ｍのレンズの第Ｎのレンズ部までの複数のレンズ部は、一体的に形成され、前記第１のレンズ群の第１のレンズ部から第Ｍのレンズの第Ｎのレンズ部までの複数のレンズ部は、同心関係で隣接し、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れでもよい。本発明の撮像装置において、前記多焦点レンズは、相互に隣接のレンズ部が接続される部分である１つ又は複数の接合部を有し、前記接合部での迷光を低減するために前記接合部に遮光処理が施されてもよい。本発明の撮像装置において、前記多焦点レンズの光学軸の延長線上から見たときのＮ個のレンズ部夫々の占める面積が実質的に等しくてもよい。
【００２９】
この構成により、本発明の撮像装置は、撮像素子上に容易にかつ精度よく撮像素子上に像を結像することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００３０】
本発明の撮像装置において、前記演算処理部は、前記所定の補正関数に基づいて取得された係数列を記憶するディジタルフィルタを有し、前記ディジタルフィルタは、前記撮像素子の撮像信号からアナログデジタル変換されたディジタル撮像データを入力し、前記撮像データに演算処理を施し、前記撮像データと前記係数との積を算出してもよい。前記撮像素子から出力される前記撮像信号は、垂直及び水平方向にマトリクス状に並んだ複数のデータからなり、前記ディジタルフィルタは、前記所定の補正関数に基づいて算出した複数の係数を記憶する二次元フィルタであり、前記係数は、垂直及び水平方向にマトリクス状に並び、かつ前記データと夫々対応し、前記ディジタルフィルタは、前記撮像信号に対する前記荷重加算演算処理を実行し、前記データに前記係数を掛け、前記係数が掛けられたデータを加算してもよい。前記撮像素子は、水平及び垂直方向にマトリクス状に並んだ画素と対応し、かつ前記データと対応する複数の光電素子により構成されてもよい。前記撮像素子から出力される撮像信号は、三原色を示すＲ、Ｇ、Ｂのデータを含み、前記演算処理部は、前記Ｒ、Ｇ、Ｂのデータに対する荷重加算演算処理を実行してもよい。
【００３１】
この構成により、本発明の撮像装置は、容易にかつ精度よく荷重加算演算処理を実行することができる。
【００３２】
本発明の撮像装置は、前記光電素子は、前記三原色を示す各画素に対応し、市松模様状に並び、並んだ順序で前記三原色を示すデータを撮像信号として出力してもよい。前記演算処理部は、前記光電素子からの前記データを入力し、前記ディジタルフィルタは、並んだ順序で三原色を示すデータに対して順次前記係数を用いて前記データに前記荷重加算演算処理を施してもよい。
【００３３】
この構成により、本発明の撮像装置は、容易にかつ精度よく荷重加算演算処理を実行することができる。
【００３４】
本発明の撮像装置は、前記係数は、画素に対応する有効係数を含み、前記有効係数は、前記画素に対応する係数とその近傍にある複数の係数に所定の加重値を掛け、前記加重値が掛けられた係数とその近傍にある複数の係数を画素毎に加算し、算出されてもよい。また、前記光電素子は、ベイヤー配列で配置され、前記ベイヤー配列の順序で前記原色信号であるＲ、Ｇ、Ｂ、およびＧｂのデータを出力してもよい。
【００３５】
この構成により、本発明の撮像装置は、容易にかつ精度よく荷重加算演算処理を実行することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００３６】
本発明の撮像装置は、焦点距離の異なる複数のレンズ部を有した多焦点レンズと、前記多焦点レンズにより結像された画像を電気信号に変換し、撮像信号として出力する撮像素子とを備えた撮像装置における前記撮像信号の画像処理方法であって、前記撮像信号を入力する入力ステップと、前記撮像信号をディジタル信号である撮像データに変換する変換ステップと、所定の補正関数に基づいて前記撮像データに対する荷重加算演算処理を実行し、補正された撮像データを取得する演算ステップと、前記補正された撮像データを撮像信号として出力する出力ステップとを備え、前記補正関数が、前記多焦点レンズの光学系から所定距離の被写体に対するポイントスプレッド関数に基づいた逆関数である。
【００３７】
この構成により、本発明の画像改質処理方法は、容易にかつ精度よく荷重加算演算処理を実行することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００３８】
本発明の改質処理方法は、前記多焦点レンズは、代表レンズ部を有し、前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。更に、前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。更に、前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数でもよい。
【００３９】
この構成により、本発明の改質処理方法は、容易にかつ精度よくポイントスプレッド関数を得ることができる。
【００４０】
本発明の画像改質処理方法は、前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されてもよい。更に、前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズの光学軸上の焦点における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されてもよい。更に、前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されてもよい。
【００４１】
この構成により、容易にかつ精度よくポイントスプレッド関数を得ることができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００４２】
本発明の画像改質処理方法において、記演算ステップは、前記所定の補正関数に基づいて取得された係数列と前記撮像データとの畳込み演算を実行するステップを有してもよい。前記撮像素子から出力される前記撮像信号は、垂直及び水平方向にマトリクス状に並んだ複数のデータからなり、前記係数は、垂直及び水平方向にマトリクス状に並び、かつ前記データと夫々対応し、前記演算ステップは、前記データと前記係数との畳込み演算を実行するステップを有してもよい。前記撮像素子は、水平及び垂直方向にマトリクス状に並んだ画素と対応し、かつ前記データと対応する複数の光電素子により構成され、前記三原色を示す各画素に対応し、市松模様状に並び、並んだ順序で前記三原色を示すデータを撮像信号として出力し、前記演算ステップは、前記データと前記係数との畳込み演算を実行するステップを有してもよい。本発明の画像改質処理方法は、前記係数が、前記画素に対応する有効係数を含み、前記有効係数は、前記画素に対応する係数とその近傍にある複数の係数に所定の加重値を掛け、前記加重値が掛けられた係数とその近傍にある複数の係数を画素毎に加算し、算出されてもよい。
【００４３】
この構成により、容易にかつ精度よくポイントスプレッド関数を算出することができる。
【００４４】
本発明の画像改質処理方法において、前記光電素子は、ベイヤー配列で配置され、前記ベイヤー配列の順序で前記原色信号であるＲ、Ｇ、Ｂ、及びＧｂのデータを出力し、前記演算処理ステップは、前記Ｒ、Ｇ、Ｂ、及びＧｂのデータと前記マトリクスの位置と夫々対応する係数との畳込み演算を実行するステップを有してもよい。
【００４５】
この構成により、容易にかつ精度よく荷重加算演算処理を実行することができ、その結果、被写体が基準距離よりも短距離か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【発明を実施するための最良の形態】
【００４６】
以下、図面を参照し、本発明の実施の形態の撮像装置について説明する。
（第１の実施の形態）
【００４７】
図１は、本発明の第１の実施の形態の撮像装置の構成を示すブロック図である。
【００４８】
図１に示すように、本実施の形態の撮像装置は、被写体を撮像するための光学系である撮像機構部２０と、撮像機構部２０からの撮像信号に対して画像処理を施し、画像処理を施した信号を出力画像信号として出力する画像処理部３０とにより構成される。
【００４９】
撮像機構部２０は、被写体を撮像する多焦点レンズ２１０と、この多焦点レンズ２１０により結像された像を取り込む撮像素子２９とを含んでいる。多焦点レンズ２１０は、焦点距離の異なる複数のレンズ部により構成される。また、撮像素子２９は、多焦点レンズ２１０により結像された像を電気的信号に変換し、撮像信号として出力する。
【００５０】
また、画像処理部３０は、撮像機構部２０からの撮像信号の増幅するアナログフロントエンド（以下、ＡＦＥと呼ぶ）３１と、このＡＦＥ３１で増幅された撮像信号をディジタル形式の撮像信号に変換するＡＤ変換器３２とを含んでいる。
【００５１】
画像処理部３０は、ＡＤ変換器３２からの画像データに画像改質処理を施す改質フィルタ部３３により構成された演算部を含んでいる。すなわち、改質フィルタ部３３は、所定の補正関数に基づいて取得した係数列を記憶しており、供給された撮像データ列と記憶した係数列との荷重加算演算処理を実行する。すなわち、改質フィルタ部３３は、所定の補正関数に基づく係数列をフィルタ係数とする非巡回型ディジタルフィルタにより実現される。また、改質フィルタ部３３における各フィルタ係数は、多焦点レンズ２１０の光学系における所定の被写距離に対するポイントスプレッド関数の逆関数に基づき予め求められた係数である。以上説明したように、改質フィルタ部３３は、撮像素子２９からの撮像信号に応じた撮像データに対し、所定の補正関数に基づく荷重加算演算処理を施し、荷重加算演算処理により得られた画像データを出力する演算処理部として機能する。
【００５２】
画像処理部３０は、改質フィルタ部３３により改質処理された画像データを入力し、画像データに非線形処理であるガンマ補正処理を施し、ガンマ補正した画像データを出力するガンマ補正部３４を備えている。
【００５３】
画像処理部３０は、更に、信号処理部３５と、ディジタル‐アナログ変換部（以下単にＤＡ変換部）３６と、制御部３９とを含んでいる。
【００５４】
信号処理部３５は、画像データに対し、ユーザからの指示に応じた各種処理を行う処理部であり、例えば、画像データを電子的な写真として記憶し、記憶した画像データの編集処理などを行う。また、バーコードなどを撮像した場合には、そのバーコートの画像データから文字情報などに復元するような処理も行う。ＤＡ変換器３６は、画像データを表示する場合などに、デジタル形式の画像データをアナログ画像信号に変換する。ＤＡ変換器３６は、アナログ画像信号を表示部等に出力する。一方、表示部は、画像処理部からの撮像信号に基づいて静止画又は動画を表示する。制御部３９は、例えば、マイクロコンピュータにより構成され、画像処理部３０の各構成要素を制御し、最適な撮像信号を生成する。
【００５５】
また、本実施の形態１では、撮像機構部２０に設けた多焦点レンズ２１０が、直線の境界で分離される二焦点レンズであることを特徴とする。図２は、本実施の形態１における多焦点レンズ２１０の形状の詳細を示した図である。図２Ａは、多焦点レンズ２１０の側面図であり、図２Ｂは、多焦点レンズ２１０の正面図である。図２に示すように、本多焦点レンズ２１０は、二焦点光学系として、長い焦点距離で収束する遠レンズ部２２と、遠レンズ部２２よりも短い焦点距離で収束する近レンズ部２３とで構成されている。図２Ｂに示すように、多焦点レンズ２１０は、正面から見たときそれぞれのレンズ部が半円形であり、中心を通る直線を境界として、上部には第１のレンズ部としての遠レンズ部２２が、下部には第２のレンズ部としての近レンズ部２３が配置される。なお、本実施の形態１では、半円形のレンズ部を二つ組み合わせた円形の多焦点レンズ２１０を例に挙げて説明するが、例えば、半楕円形、もしくは、多角形の第１及び第２のレンズ部を直線部分がお互いに接するように配置し、構成した多焦点レンズであってもよい。
【００５６】
図３は、図２に示した多焦点レンズ２１０における光学結像系を示した図である。図３Ａは、遠レンズ部２２の焦点１１に点光源を配置した場合の光学結像系を示す図である。図３Ｂは、多焦点レンズ２１０の光学軸１０の延長線上から見た撮像素子２９上に形成される投射像の正面図である。図３Ａの場合、撮像素子２９上には、正面から見ると図３Ｂに示すような投射像２９１ａが得られる。図３Ｂから明らかなように、撮像素子２９上の像２９１ａは、遠レンズ部２２によるピントのあった像ａ１と近レンズ部２３によるピントのボケた像ａ２の合成であり、遠レンズ部２２によるピントのあった状態の点状の像ａ１を中心に、その外周部の上部半分には近レンズ部２３により、半円形の像ａ２、すなわちピントのボケた像が投射される。
【００５７】
同様に、図３Ｃは、近レンズ部２３の焦点１３に点光源を配置した場合の光学結像系を示す図である。図３Ｄは、多焦点レンズ２１０の光学軸１０の延長線上から見た撮像素子２９上に形成される投射像の正面図である。図３Ｃの場合、撮像素子２９上には、正面から見ると図３Ｄに示すような投射像２９１ｂが得られる。図Ｄから明らかなように、撮像素子２９上の像２９１ｂは、近レンズ部２３によるピントのあった像ｂ１と遠レンズ部２２によるピントのボケた像ｂ２の合成であり、近レンズ部２３によるピントのあった状態の点状の像ｂ１を中心に、その外周部の上部半分には遠レンズ部２２により、半円形の像ｂ２、すなわちピントのボケた像が投射される。
【００５８】
このように、撮像機構部２０に設けた多焦点レンズ２１０において、図２に示すように、遠レンズ部２２と近レンズ部２３との正面形状を半円形とし、それぞれの焦点に点光源を配置した場合、撮像素子２９上には、それぞれが同様の形状となる像が投射される。そなわち、本実施の形態１の多焦点レンズ２１０は、遠レンズ部２２、および近レンズ部２３の焦点位置に対するＰＳＦが近似した関数となる。本発明の撮像装置、および画像改質処理方法は、このような多焦点レンズを構成する各レンズ部の焦点におけるＰＳＦが同一、あるいは近似した多焦点レンズと、それによる代表ＰＳＦを１つ定め、代表ＰＳＦに基づき生成したフィルタ係数による改質フィルタ部３３とで構成したことを特徴としている。
【００５９】
次に、このように構成された本実施の形態１の撮像装置による画像改質の原理、および撮像装置による画像改質処理の動作について説明する。
【００６０】
図４は、多焦点レンズ２１０によりボケた画像成分を補正する原理を説明するブロック図である。図４に示すように、一般に、多焦点レンズを含めた光学系は、結像系の特性がＰＳＦにより決定される。このＰＳＦは、レンズに対して水平方向ｘ、垂直方向ｙ、およびレンズから被写体までの距離ｚの変数を有するスペースバリアントな関数である。ここで、多焦点レンズのＰＳＦをｈ（ｘ，ｙ，ｚ）とし、被写体をｉとすると、撮像素子２９上に投射される撮像画像ｐ（ｘ，ｙ）は、被写体ｉと多焦点レンズのＰＳＦであるｈ（ｘ，ｙ，ｚ）との畳み込みで表現される。
ｐ（ｘ，ｙ）＝ｉ＊ｈ（ｘ，ｙ，ｚ）
ここで、記号＊は畳み込み演算を示している。
【００６１】
また、空間座標軸で表現される多焦点レンズのＰＳＦｈ（ｘ，ｙ，ｚ）をフーリエ変換やＺ変換等により座標変換することにより多焦点レンズのＰＳＦの伝達関数Ｈ（ｘ，ｙ，ｚ）を求めることができる。すなわち、撮像素子２９上に投射される撮像画像ｐ（ｘ，ｙ）は、入力画像を被写体ｉ（ｘ，ｙ）としたとき、伝達関数Ｈ（ｘ，ｙ，ｚ）の応答出力となる。上述したように、多焦点レンズを用いた場合、ボケた成分も含めて撮像素子２９上に投影される。
【００６２】
以上説明したように、撮像素子２９上に形成される像は、ピントのあった像成分とピントのボケた像成分を含んでおり、改質フィルタ部３３は、ピントのボケた像成分を補正するようになっている。
【００６３】
改質フィルタ部３３は、多焦点レンズ２１０の伝達関数Ｈ（ｘ，ｙ，ｚ）の逆関数１／Ｈ（ｘ，ｙ，ｚ）に対応する係数列を記憶し、多焦点レンズ２１０と改質フィルタ部３３との縦続接続による伝達特性は１となる。その結果、出力画像ｏ（ｘ，ｙ）は、被写体像ｉ（ｘ，ｙ）と等しくなり、多焦点レンズ２１０により生じたピントのボケた画像成分を除去したことと等しくなる。
【００６４】
図４から明らかなように、改質フィルタ部３３は、改質フィルタ部３３に記憶される係数列を算出する改質フィルタ係数算出部３３０を含んでいる。改質フィルタ部３３に記憶される係数列は、改質フィルタ部３３の伝達関数Ｗ（ｘ，ｙ，ｚ）である。本実施例では、多焦点レンズ２１０からの所定の被写距離を代表被写距離ｃとし、改質フィルタ部３３は、その代表被写距離ｃに配置された被写体に対する多焦点レンズ２１０のＰＳＦｈ（０，０，ｃ）に対応する係数列を記憶している。すなわち、ＰＳＦｈ（０，０，ｃ）が予め計測され、算出されている。改質フィルタ係数算出部３３０は、ＰＳＦｈ（０，０，ｃ）に基づいて伝達関数Ｈ（０，０，ｃ）を算出し、この伝達関数Ｈ（０，０，ｃ）の逆関数１／Ｈ（０，０，ｃ）に対し逆フーリエ変換、あるいは逆ＦＦＴ等を実行し、逆関数１／Ｈ（０，０，ｃ）の係数列、すなわち、改質フィルタ係数列ｗを算出する。以上説明したように、改質フィルタ係数算出部３３０は、多焦点レンズ２１０により構成される光学系と被写体との間の代表被写距離、すなわち、予め測定された多焦点レンズ２１０のＰＳＦを代表するＰＳＦｈ（０，０，ｃ）に基づいてフィルタ係数ｗ（ｘ，ｙ）を算出するようになっている。
【００６５】
次に、図５を参照し、撮像装置の改質フィルタ部３３の構成について説明する。
【００６６】
改質フィルタ部３３は、撮像素子２９からの撮像信号を入力するようになっている。この撮像信号は、光の三原色であるＲ、Ｇ、Ｂの各成分のディジタル化されたＲＧＢデータである。改質フィルタ部３３は、撮像素子２９からの撮像信号をＲＧＢの各成分に分離するＲＧＢ分離部２２８と、Ｒデータを濾波する第１の改質フィルタ３３１と、Ｇデータを濾波する第２の改質フィルタ３３２と、Ｂデータを濾波する第３の改質フィルタ３３３とを含んでいる。第１乃至第３の改質フィルタ３３１、３３２、３３３の各々は、２次元デジタルフィルタにより構成される。
【００６７】
図５から明らかなように、第１の改質フィルタ３３１は、複数のタップを有し、これらのタップは全体としてマトリクスを形成し、すなわち、縦方向Xにｖ個、横方向Ｙにｈ個のタップが並んでいる。第１の改質フィルタ３３１の各タップは、改質フィルタ係数算出手段３３０で算出された係数Ｋ００，Ｋ０１，Ｋ０２，・・・，Ｋ１０，Ｋ１１，・・・，Ｋｖｈを記憶している。このように構成された第１の改質フィルタ３３１は、マトリクス状に整列したＲデータを入力し、対応する係数を掛け、係数が掛けられたデータを合計し、補正されたＲデータを生成する。
【００６８】
第２及び第３の改質フィルタ３３２、３３３の構成は、第１の改質フィルタ３３１と類似しており、詳細な説明は省略する。第１の改質フィルタ３３１と同様に、第２の改質フィルタ３３２は、Ｇデータに係数を掛け、係数が掛けられたＧデータを合計し、補正されたＧデータを生成する。第３の改質フィルタ３３３は、Ｂデータに係数を掛け、係数が掛けられたＢデータを合計し、補正されたＢデータを生成する。改質フィルタ部３３は、補正されたＲ、Ｇ、Ｂデータを合成するＲＧＢ再合成部３３９を含んでいる。
【００６９】
なお、改質フィルタ部３３は、デジタルフィルタ等で構成される機能ブロックとして説明したが、これらの機能を手順に応じて実行するような画像改質処理方法によっても実現可能である。すなわち、ＡＤ変換器３２からの撮像ＲＧＢデータを入力するステップと、各データに対して改質フィルタ係数算出手段３３０により算出した各係数を用いて荷重加算演算処理を行うステップと、荷重加算演算により得られた画像データを出力画像データとして出力するステップとを有するような画像改質処理方法によっても同様の効果がえられる。具体例として、これらの機能を実現するプログラムをメモリ等の記憶媒体に記憶させ、このプログラムに従ってプロセッサなどを実行させることで同様の効果を得ることができる。また、画像処理部３０は、例えば、制御部３９や信号処理部３５等の機能も含めて、プログラムに従ってプロセッサなどを実行させる構成であってもよい。
【００７０】
以上説明したように、本発明の実施の形態１の撮像装置は、多焦点レンズ２１０による撮像画像に対して、多焦点レンズ２１０における所定の被写距離ｃに対するＰＳＦの逆関数であるフィルタ特性を有した改質フィルタ部３３で撮像信号を補正、改質しているため、標準的な距離にある通常の被写体、およびこれよりも近距離にある近接被写体のいずれについても精度よく鮮明な画像を得ることができる。特に、本実施の形態１での多焦点レンズ２１０は、遠レンズ部２２と近レンズ部２３との正面形状をそれぞれが半円形となるような形状としているため、遠距離、および近距離に点光源を配置したとき、図３に示したように、それぞれが同様の形状となる像が投射される。すなわち、本実施の形態１での多焦点レンズ２１０は、遠距離、及び近距離において近似したＰＳＦが得られる。このため、被写体までの距離に応じた改質フィルタ部３３のフィルタ係数を準備しておく必要はなく、例えば、１つの代表的なフィルタ係数列を準備しておくのみでよい。このように、本発明の撮像装置によれば、多焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、ピント合わせ機構を用いることなく、容易に鮮明な画像を得ることができる。
【００７１】
なお、本実施の形態１では、遠レンズ部２２が多焦点レンズ２１０の上部を形成し、近レンズ部２３が多焦点レンズ２１０の下部を形成しているが、本発明の撮像装置では、遠レンズ部２２と近レンズ部２３が半円形で、多焦点レンズ２１０の中心を通る線にそって隣接し、多焦点レンズ２０の光学軸１０の延長線上から見たときの多焦点レンズ２１０の形状が円形であるならば、遠レンズ部２２と近レンズ部２３が多焦点レンズ２１０のどの部分を形成してもよい。言うまでもなく、遠レンズ部２２が多焦点レンズ２１０の下半分を形成し、近レンズ部２３が多焦点レンズ２１０の上半分を形成してもよい。
【００７２】
本実施の形態１では、多焦点レンズ２１０が半円形の第１及び第２のレンズ部２２、２３で構成され、第１及び第２のレンズ部２２、２３が相互に隣接し、円形の多焦点レンズ２１０を形成しているが、多焦点レンズ２１０が半楕円形又は半多角形の第１及び第２のレンズ部で構成され、相互に隣接し、多焦点レンズ２１０の光学軸の延長線上からの形状が楕円形又は多角形の多焦点レンズ２１０を形成してもよい。
【００７３】
（第２の実施の形態）
図６は、本実施の形態２における撮像装置の構成図である。図１で説明した実施の形態１と同一の構成要素については同一の符号を付しており、詳細な説明は省略する。
【００７４】
図６に示すように、本実施の形態２の撮像装置は、被写体を撮像するための光学系である撮像機構部２０と、撮像機構部２０からの撮像信号に対して画像処理を施し、画像処理を施した信号を出力画像信号として出力する画像処理部３０とにより構成
【００７５】
本実施の形態２において、撮像機構部２０は、第１の実施の形態の多焦点レンズ２１０とは異なる被写体を撮像する多焦点レンズ２１１を含んでいる。図７は、本実施の形態２における多焦点レンズ２１１の一例示したブロック図である。図７Ａは、多焦点レンズ２１１の光学軸の垂直な方向から見た多焦点レンズ２１１の側面図であり、図７Ｂは、多焦点レンズ２１１の光学軸の延長線上の位置から見た多焦点レンズ２１１の正面図である。図７に示すように、多焦点レンズ２１１は、多焦点光学系として、平面形状が円形である円形レンズ部２４０を中心に、各レンズ部が交互に同心状に配置される形状である。すなわち、本多焦点レンズ２４０は、第１の焦点距離を持つ複数の第１レンズ部としての円形レンズ部２４０、および環状レンズ部２４１と、第１の焦点距離とは異なった焦点距離である第２の焦点距離を持つ複数の第２レンズ部としての環状レンズ部２５１、および２５２とにより同一の面に一体化されて構成され、円形レンズ部２４０を中心に、第１のレンズ部と第２のレンズ部とがそれぞれ交互に同心状に配置される形状である。図７では、円形レンズ部２４０、および環状レンズ部２４１が長い焦点距離で収束する遠レンズ部２４を構成し、環状レンズ部２５１、および２５２が遠レンズ部２４よりも短い焦点距離で収束する近レンズ部２５を構成した一例を挙げている。なお、本実施の形態２では、円形である円形レンズ部２４０を中心に、各環状レンズ部が交互に同心状に配置される多焦点レンズを例に挙げて説明するが、例えば、楕円形、もしくは多角形のレンズ部を中心に、楕円形、もしくは多角形の各環状レンズ部が交互に同心状に配置される形状の多焦点レンズであってもよい。
【００７６】
図８は、図７に示した多焦点レンズ２１１における光学結像系を示した図である。図８Ａは、遠距離の焦点距離を持つ遠レンズ部２４の焦点１１に点光源を配置した場合の光学結像系を示している。図８Ａの場合、撮像素子２９上には、正面から見ると図８Ｂに示すような投射像２９２ａが得られる。すなわち、遠レンズ部２４の焦点１１に点光源を配置した場合、円形レンズ部２４０、および環状レンズ部２４１によるピントのあった点状の像ａ１を中心に、その外周部には環状のレンズ部２４１による円形の像ａ２、さらに円形の像ａ２の外側にも環状レンズ部２５２による円形の像ａ３のようなピントのボケた像が投射される。
【００７７】
一方、図８Ｃは、遠レンズ部２４よりも近距離の焦点距離を持つ近レンズ部２５の焦点１３に点光源を配置した場合の光学系を示している。図８Ｃの場合には、撮像素子２９上には、正面から見ると図８Ｄに示すような投射像２９２ｂが得られる。すなわち、近レンズ部２５の焦点１３に点光源を配置した場合には、環状レンズ部２５１、および、環状レンズ部２５２によるピントのあった点状の像ｂ１を中心に、その外周部には円形レンズ部２４０による円形の像ｂ２、さらに円形の像ｂ２の外周部には、環状レンズ部２４１による環状の像Ｂ２のようなピントのボケた像が投射される。
【００７８】
図９は、本実施の形態２における多焦点レンズの他の例としての多焦点レンズ２１２の形状の詳細を示した図である。図９Ａは、多焦点レンズ２１２の側面図であり、図９Ｂは、多焦点レンズ２１２の正面図である。図９に示すように、本多焦点レンズ２１２は、多焦点光学系として、平面形状が円形である円形レンズ部２４０を中心に、各レンズ部が交互に同心状に配置される形状である。すなわち、本多焦点レンズ２１２は、第１の焦点距離を持つ複数の第１レンズ部としての円形レンズ部２４０、および環状レンズ部２４１、２４２、２４３と、第１の焦点距離とは異なった焦点距離である第２の焦点距離を持つ複数の第２のレンズ部としての環状レンズ部２５１、２５２、２５３、２５４とにより、同一の面に一体化されて構成され、円形レンズ部２４０を中心に、第１のレンズ部と第２のレンズ部とがそれぞれ交互に同心状に配置される形状である。図９では、円形レンズ部２４０、および環状レンズ部２４１、２４２、２４３が長い焦点距離で収束する遠レンズ部２４０を構成し、環状レンズ部２５１、２５２、２５３、２５４が遠レンズ部よりも焦点距離が短い焦点距離で収束する近レンズ部２５を構成した一例を挙げている。
【００７９】
図１０は、図９に示した多焦点レンズ２１２における光学結像系を示した図である。図１０Ａは、遠距離の焦点距離を持つ遠レンズ部２４の焦点１１に点光源を配置した場合の光学結像系を示している。図１０Ａの場合、撮像素子上には、正面から見ると図１０Ｂに示すような投射像２９２ａが得られる。すなわち、遠レンズ部２４の焦点１１に点光源を配置した場合、遠レンズ部２４によるピントのあった点状の像ａ１を中心に、その外周部には近レンズ部２５である環状レンズ部２５１、２５２、２５３、２５４による環状の像が外周方向に像ａ１、ａ２、ａ３、ａ４と順番にピントのボケた像が投射される。
【００８０】
一方、図１０Ｃは、遠レンズ部２４よりも近距離の焦点距離を持つ近レンズ部２５の焦点１３に点光源を配置した場合の光学結像系を示している。図１０Ｃの場合、撮像素子２９上には、正面から見ると図１０Ｄに示すような投射像２９２ｂが得られる。すなわち、近レンズ部２５の焦点１３に点光源を配置した場合、近レンズ部２５によるピントのあった点状の像ｂ１を中心に、その外周部には円形レンズ部２４０による円形の像ｂ２と、さらに円形の像ｂ２の外周部には環状レンズ部２４１、２４２、２４３による環状の像ｂ３、ｂ４、ｂ５のようなピントのボケた像が投射される。
【００８１】
遠レンズ部９２および近レンズ部９３により構成される二焦点レンズ９１の光学軸１０上に被写体がある場合、従来のバーコード読取装置において図１４Ｂ、１４Ｄを参照して説明したように、撮像装置９９上のピントのボケた像は、円形および環状である。ここでの遠レンズ部９２の形は円形、近レンズ部９３の形は環状で、遠レンズ部９２の外側に放射状に延在している。一方、本発明の撮像装置では、多焦点レンズ２１１が円形の第１レンズ部２４０と環状の複数の環状の第１レンズ部２４１、２５０、２５１により構成され、各環状の第１レンズが円形の第１レンズと同心関係にある場合、図８Ｂ、８Ｄから明らかなように、撮像装置９９上のピンのボケた像は、複数の環が同心関係で配置された形状である。ここでの円形の第１レンズ部２４０と環状の第１レンズ部２４１は第１の焦点距離を有し、環状の第１レンズ部２４１、２５０、２５１は、第１の焦点距離より短いだい２の焦点距離を有している。図１０Ｂ、１０Ｄ、８Ｂ、８Ｄから明らかなように、多焦点レンズ２１２における撮像素子２０上のピントのボケた像の数は、多焦点レンズ２１１における撮像素子２０上のピントのボケた像の数より多い。また、多焦点レンズ２１１と多焦点レンズ２１２のピントのボケた像を比較すると、撮像素子２０上のピントのボケた環状像の数は、撮像素子２０上にピントのボケた像を形成している多焦点レンズのレンズ部の数に応じて増えると結論できる。ここでの遠焦点距離を有する環状の遠レンズ部と、その遠焦点距離よりも短い近焦点距離を有する近レンズ部とが交互に隣接する関係にある。多焦点レンズ２１１、２１２の何れであるかに関係なく、遠レンズ部の焦点１１に被写体がある場合の撮像素子２９上の多焦点レンズによるピントのボケた像と近レンズ部の焦点１３に被写体がある場合の撮像素子２９上の多焦点レンズによるピントのボケた像は、実質的に似ている。
【００８２】
本実施の形態２における多焦点レンズの遠レンズ部２４のＰＳＦと近レンズ部のＰＳＦは、環状の近レンズ部２５と環状の遠レンズの数が増加とともに、次第に似てくる。本実施の形態２の撮像装置および画像改質処理方法において、多焦点レンズが多焦点レンズ２１１又は２１２で構成されるが、夫々のレンズ部のＰＳＦが１つの代表レンズ部のＰＳＦで近似できる限り、多焦点レンズはどのような多焦点レンズで構成されてもよい。本実施の形態において、画像処理部３０の改質フィルタ部３３は、代表ＰＳＦに対応するフィルタ係数を格納している。
【００８３】
以上説明したように、本実施の形態２の撮像装置は、多焦点レンズ２１１、あるいは２１２による撮像画像に対して、多焦点レンズ２１１、あるいは２１２における所定の被写距離ｃに対するＰＳＦの逆関数であるフィルタ特性を有した改質フィルタ３３で撮像信号を補正、改質しているため、標準的な距離にある通常の被写体、およびこれよりも近距離にある近距離被写体のいずれについても精度よく鮮明な画像をえることができる。特に、本実施の形態２での多焦点レンズ２１１は、第２のレンズ部としての近レンズ部２５とにおいて、平面形状が円形のレンズ部２４０を第２のレンズ部としての近レンズ部２５とにおいて、平面形状が円形のレンズ部２４０と中心に、近レンズ部２５と遠レンズ部２４とをそれぞれ交互に同心状に配置される形状としているため、遠距離、および近距離に点光源を配置したとき、例えば、図１０Ｂ、１０Ｄに示すように、それぞれが近似した円形状の形状となる像が投射される。すなわち、本実施の形態２での多焦点レンズ２１１、あるいは２１２は、遠距離、および近距離において近似したＰＳＦが得られる。このため、被写体までの距離に応じた改質フィルタ部３３のフィルタ係数を準備しておく必要はなく、例えば、１つの代表的なフィルタ係数列を準備しておくのみでよい。このように、本発明の撮像装置は、多焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、ピント合わせ機構を用いることなく、容易に鮮明な画像をえることができる。
【００８４】
本実施の形態２では、図７および図９に示した多焦点レンズの構成例を挙げて説明したが、第１のレンズ部と第２のレンズ部との同心状の繰り返し数は、複数回であれば良く、繰り返し回数が限定されるものではない。特に、上述したように、同心状の繰り返し数の増加とともに各焦点に対するＰＳＦが近似するため、同心上の繰り返し数を増加することで、改質フィルタ部３３の精度の向上を図ることができる。また、中心の円形レンズ部２４０を遠レンズ部として、近レンズ部と遠レンズ部とを同心状に交互に配置した構成例を挙げて説明したが、中心の円形レンズ部２４０を近レンズ部として、遠レンズ部と近レンズ部とを同心状に交互に配置した構成であってもよい。
【００８５】
また、本実施の形態２では、遠レンズ部と近レンズ部との幅を同一として同心状に交互に配置した構成例を挙げて説明したが、これに限定するものではない。例えば、各レンズ部を同一の面積として、同心状に交互に配置することで、遠レンズ部と近レンズ部との光の利用率が均一となり、遠距離、および近距離の被写体それぞれに対して均等なコントラストの撮像画像を得ることができる。
【００８６】
また、本実施の形態２では、多焦点レンズとして遠レンズ部と近レンズ部との二つの焦点距離に対応したレンズ部で構成される二焦点レンズの例を挙げて説明したが、二つの焦点距離に限定されるものではない。すなわち、多焦点レンズは、１つの円形の第１レンズ部と複数の環状の第１レンズ部とにより構成され、複数の環状の第１レンズ部が円形の第１レンズ部と同心関係にあり、環状の第１レンズ部は、第１の焦点距離を有する複数の第１レンズ部から、それぞれの焦点距離の異なる第Ｎ（Ｎは、２以上の整数）の焦点距離を持つ複数の第Ｎのレンズ部までのレンズ部を有し、円形等の第１レンズ部を中心に、第Ｎのレンズ部までが同心状に配置され、さらに、同心状に配置された第Ｎのレンズ部の外周部に、第１のレンズ部から第Ｎのレンズ部が同心状に複数回繰り返して配置されるような形状であってもよい。このように、第１、第２の焦点距離に加えて、第３、第４などの焦点距離を持つレンズ部を配置することで、各焦点に対応した被写界深度を有することとなり、結果的に本多焦点レンズの被写界深度をより深くすることができる。
【００８７】
本実施の形態において、多焦点レンズは、遠レンズ部と近レンズ部とを有する二焦点レンズにより構成される。しかしながら、二焦点レンズに限定するものではない。多焦点レンズは、焦点距離の異なる２つ以上のレンズ部により構成されてもよい。すなわち、多焦点レンズは、例えば、円形レンズ部と、第１の環状レンズ部と、第２の環状レンズ部と、・・・、第Ｎ（Ｎは２以上の整数）の環状レンズ部により構成され、第１から第Ｎまでの環状レンズ部が円形レンズ部と同心関係にあり、第１から第Ｎまでの環状レンズ部の焦点距離が異なる。多焦点レンズは、更に、第２のレンズ群を含み、第２のレンズ群は、第１の環状レンズ部と、第２の環状レンズ部と、・・・、第Ｎの環状レンズ部により構成され、第１から第Ｎまでの環状レンズ部が円形レンズ部と同心関係にあり、第１のレンズ群の第Ｎの環状レンズ部の外側に放射状に形成される。多焦点レンズは、更に、第ｉ（ｉは、２以上の整数）のレンズ群を含み、第ｉのレンズ群は、第１の環状レンズ部と、第２の環状レンズ部と、・・・、第Ｎの環状レンズ部により構成され、第１から第Ｎまでの環状レンズ部が円形レンズ部と同心関係にあり、第ｉ−１のレンズ群の第Ｎの環状レンズ部の外側に放射状に形成される。第１レンズ群の第ｊ（ｊは１からＮまでの整数）レンズ部の焦点距離と、第２レンズ群の第ｊレンズ部の焦点距離と、・・・、第ｉレンズ群の第ｊレンズ部の焦点距離は同じである。多焦点レンズが焦点距離が異なる複数のレンズ部を備えているので、多焦点レンズは、複数のレンズ部の被写界深度を有している。その結果、多焦点レンズの被写界深度を深くなる。
【００８８】
本実施の形態２では、図７および図９に示すように、多焦点レンズ２１１又は２１２が１つの円形レンズ部と複数の環状レンズ部により構成され、環状レンズ部は、円形レンズ部と同心関係にある。また、多焦点レンズの複数のレンズ部が同心関係で配置されるならば、多焦点レンズがどのようなレンズ部で構成されてもよい。多焦点レンズは、例えば、多焦点レンズ２１１又は２１２の光学軸の延長線上から眺めた形状が楕円形又は多角形のレンズ部と楕円形又は多角形の環状レンズにより構成され、楕円形又は多角形の環状レンズは、前記楕円形又は多角形のレンズ部と同心関係にある。
【００８９】
（第３の実施の形態）
図１１は、本実施の形態３における撮像装置の改質フィルタ部３３の構成を示すブロック図である。改質フィルタ部３３は、画像改質処理を実行し、多焦点レンズ２１１又は２１２による撮像素子２９上のボケた画像成分の補正を行う。以下、改質フィルタ部３３により実行される画像改質処理について説明する。
【００９０】
本実施の形態の改質フィルタ部３３は、図１１に示すように、例えば、改質フィルタ３３４を含むことを除いて、図５に示された改質フィルタ部３３と類似している。本実施の形態の改質フィルタ部３３は、改質フィルタ３３４が複数のタップを含み、これらのタップが集合的にマトリクスを形成し、例えば、ｘ方向（水平）に７タップで、ｙ方向（垂直）に７タップのマトリクスを形成し、改質フィルタ２２４の各タップは、撮像素子２９上の投射像の各原色と対応している。
【００９１】
撮像素子２９は、各画素と対応し、ベイヤー配列の順序で垂直及び水平方向にマトリクス状に配置された複数の光電素子により構成され、三原色のデータ、例えば、ベイヤー配列の順序で垂直及び水平方向にマトリクス状に配置されたＲ、Ｇｒ、Ｂ、Ｇｂからなる画像データの形で、撮像信号を出力する。図１２は、本発明の第３の実施の形態の撮像装置の光電素子におけるベイヤー配列の一例を示した図である。図１２から明らかなように、撮像素子２９は、市松模様上に配置された複数の原色検出素子により構成され、データ、すなわち、Ｒ、Ｇｒ、Ｂ、Ｇｂの各データを原色検出素子に対応するベイヤー配列の順序で順次出力する。本実施の形態３の改質フィルタ３３は、第２の実施の形態の改質フィルタ部３３の改質フィルタ３３１、３３２、３３３の代わりに、所定の関数に対応する係数列をフィルタ係数として格納する記憶する非循環型のデジタルフィルタで構成される一つの改質フィルタ３３４を備え、荷重加算演算処理することを特徴とする。
【００９２】
図１１に示された改質フィルタ部３３は、係数が掛けられたＲデータを合計し、補正されたＲデータを生成し、係数が掛けられたＧｒデータを合計し、補正されたＧｒデータを生成し、係数が掛けられたＢデータを合計し、補正されたＢデータを生成し、係数が掛けられたＧｂデータを合計し、補正されたＧｂデータを生成するようになっている。したがって、本実施の形態３の改質フィルタ部３３は、所定期間に１つのデータを処理することができる。一方、１つの色のデータを処理しながら他の色のデータを処理することができない。すなわち、改質フィルタ部３３は、例えば、Ｒデータを処理しているとき、Ｇｒ、Ｂ、Ｇｂの各データを処理することができない。
【００９３】
本実施の形態３の改質フィルタ３３４は、図１１に示すように、注目画素の位置を含めた注目画素と同一の色データが配置されている位置にのみ、その位置に対応する係数を設定している。すなわち、図１１に示すように、ベイヤー配列に対応した本改質フィルタ３３４の場合、各色データが市松模様状に配置されることとなるため、同一の色データが配置されることとなる位置に対応するk11, k13, k15, k31, k33, k35, k51, k53, k55を荷重加算演算処理に利用し、その他の位置に対応する係数は間引きして処理している。すなわち、改質フィルタ３３４は係数k11, k13, k15, k31, k33, k35, k51, k53, 及びk55等を格納し、例えば、係数K00, K01, K02, K10, K12, K20, K21, K22, …がその時間間隔で間引かれる。ここで、Ｒデータの位置に対応し、改質フィルタ３３４に格納された係数列、すなわち、k11, k13, k15, k31, k33, k35, k51, k53, 及びk55を以下単に有効係数、間引かれた係数、すなわち、K00, K01, K02, K10, K12, K20, K21, K22, …を以下単に無効係数という。
【００９４】
更に、本実施の形態３において、改質フィルタ係数算出手段３３０は、間引かれた無効フィルタ係数が原因で有効フィルタ係数の精度が下がるのを防止するため、所定の重みを掛けた有効フィルタ係数と無効フィルタ係数との合計に基づいて有効フィルタ係数を算出するようになっている。すなわち、改質フィルタ係数算出手段３３０は、例えば、有効係数k11を以下のステップで算出している。図１１に示すように、マトリクス内のＲデータに対応する有効フィルタ係数候補K11とこの有効フィルタ係数候補K11の近傍の無効フィルタ係数K00, K01, K02, K10, K12, K20, K21, K22を所定の補正関数に基づいて算出し、有効フィルタ係数候補K11と所定の重みが掛けられた無効フィルタ係数K00, K01, K02, K10, K12, K20, K21, K22を合計する。改質フィルタ係数算出手段３３０は、これ以外の有効フィルタ係数k13, k15, k31, k33, k35, k51, k53, k55も上述の同じ方法で算出する。
【００９５】
以上説明したように、本実施の形態３の撮像装置および画像改質処理方法は、改質フィルタ部３３の改質フィルタ３３４が有効フィルタ係数を掛けたデータを合計するので、大規模な処理が不要でかつフィルタ規模を抑えられるというだけでなく、ピント合せ機構が不要で、基準距離よりも短い近距離の被写体か否かに関係なく、容易にかつ精度よく鮮明な画像を得ることができる。
【００９６】
本実施の形態３では、改質フィルタ部３３が、デジタルフィルタ等を含む機能ブロックで構成されているが、画像改質処理方法を実行し、上述のプロセスを実施可能な手段であれば、どのような手段で構成されてもよい。更に、改質フィルタ部３３が、例えば、メモリ等に格納され、プロセッサ等で実行されるプログラムで少なくとも部分的に構成されるとき、同じ効果が得られる。更に、改質フィルタ部３３の信号処理部３５及び制御部３９は、上述の処理が実行可能な手段であれば、どのような手段で構成されてもよい。更に、改質フィルタ部３３の信号処理部３５及び制御部３９が、メモリ等に格納され、プロセッサ等で実行されるプログラムで少なくとも部分的に構成されるとき、同じ効果が得られる。
【００９７】
更に、改質フィルタ部３３は、ベイヤー配列の順序で供給されるデータ、すなわち、Ｒ、Ｇｒ、Ｂ、Ｇｂの各データからなる画像データに画像改質処理を施すようになっているが、改質フィルタ部３３は、規則的に繰り返される方法で供給されるデータからなる画像データだけでなく、どのような画像データにも適用可能である。例えば、撮像素子が、市松模様状に配列され、各補色データを規則的に出力する複数の補色検出素子からなり、改質フィルタ部３３が、その撮像素子から出力される補色画像の画像改質処理に適用されてもよい。
【００９８】
第１乃至第３の実施の形態では、改質フィルタ部３３が、多焦点レンズの代表レンズ部に対する代表ＰＳＦに基づいて決定されたフィルタ係数を用いて画像改質処理を実行しているが、代表ＰＳＦは、多焦点レンズの各レンズ部のＰＳＦを近似できるのであれば、どのような方法で算出されてもよい。代表ＰＳＦは、例えば、多焦点レンズの各レンズ部のＰＳＦを算出し、算出したＰＳＦに所定の係数を掛け、所定の係数を掛けたＰＳＦを合計し、合成ＰＳＦを生成し、合成ＰＳＦを平均することにより生成されてもよい。例えば、図１３に示すよう、多焦点レンズの光学軸から所定距離ｈだけ離れた焦点面に被写体がある場合、代表ＰＳＦは、例えば、光学軸から所定距離ｈだけ離れた複数の焦点面上の位置に対する多焦点レンズの各レンズ部のＰＳＦを算出し、算出したＰＳＦに所定の係数を掛け、所定の係数を掛けたＰＳＦを合計し、合成ＰＳＦを生成し、合成ＰＳＦを平均することにより生成されてもよい。ここでの各係数は、例えば、点光源から各レンズ部に入射する光線の角度で決定されてもよい。
【００９９】
また、第１乃至第３の実施の形態の撮像装置は、多焦点レンズの各レンズ部の隣接レンズ部との接合部において迷光が生じるので、接合部での迷光を低減するための遮光処理を施すことにより、さらに精度の向上を図ることが可能となる。
【産業上の利用可能性】
【０１００】
本発明は、大規模な処理を必要とせず、ピント合せ機構を用いることなく、標準的な距離にある通常の被写体、およびこれよりも近距離にある近距離被写体のいずれについても容易にかつ精度よく鮮明な画像を得ることができるため、撮像装置としてのカメラやビデオカメラとして利用できるとともに、撮影機能を有した携帯電話などの携帯情報端末、その他にも利用することができる。
【図面の簡単な説明】
【０１０１】
【図１】図１は、本発明の第１の実施の形態の撮像装置の構成を示すブロック図
【図２】図２Ａは、図１に示された撮像装置の多焦点レンズの側面図 図２Ｂは、図２Ａに示された多焦点レンズの側面図
【図３】図３Ａは、被写体が遠距離にある場合に、図１に示された撮像装置の撮像素子上に被写体の像がどのように形成されるのかを説明する図 図３Ｂは、図３Ａに示された撮像素子上に形成された像の正面図 図３Ｃは、被写体が近距離にある場合に、図１に示された撮像装置の撮像素子上に被写体の像がどのように形成されるのかを説明する図 図３Ｄは、図３Ｃに示された撮像素子上に形成された像の正面図
【図４】図４は、図１に示された撮像装置により実行される画像処理動作の原理を説明するブロック図
【図５】図５は、図１に示された撮像装置の改質フィルタの構成を示すブロック図
【図６】図６は、本発明の第２の実施の形態の撮像装置の構成を示すブロック図
【図７】図７Ａは、図６に示された撮像装置の多焦点レンズの一例を示す側面図 図７Ｂは、図７Ａに示された多焦点レンズの正面図
【図８】図８Ａは、被写体が遠距離にある場合に、図７に示された多焦点レンズを有する図６に示された撮像装置の撮像素子上に被写体の像がどのように形成されるかを説明するブロック図 図８Ｂは、図８Ａに示された撮像素子上に形成された像の正面図 図８Ｃは、被写体が近距離にある場合の図８Ａと類似のブロック図 図８Ｄは、図８Ｃに示された撮像素子上に形成された像の正面図
【図９】図９Ａは、図６に示された撮像装置の多焦点レンズの他の一例の側面図 図９Ｂは、図９Ａに示された多焦点レンズの正面図
【図１０】図１０Ａは、被写体が遠距離にある場合に、図９に示された多焦点レンズを有する図６に示された撮像装置の撮像素子上に被写体の像がどのように形成されるかを説明するブロック図 図１０Ｂは、図１０Ａに示された撮像素子上に形成された像の正面図 図１０Ｃは、被写体が近距離にある場合の図１０Ａと類似のブロック図 図１０Ｄは、図１０Ｃ上に形成された像の正面図
【図１１】図１１は、本発明の第３の実施の形態の撮像装置の改質フィルタの構成を示すブロック図
【図１２】図１２は、本発明の第３の実施の形態の撮像装置の光電素子のベイヤー配列の一例を示すブロック図
【図１３】図１３は、被写体が多焦点レンズから所定距離で光学軸から離れて配置された場合に、図１に示された撮像装置の撮像素子上に被写体の像がどのように結像されるかを説明するブロック図
【図１４】図１４Ａは、従来のバーコード読取装置の構成を示すブロック図 図１４Ｂは、図１４Ａに示されたバーコード読取装置の多焦点レンズの正面図
【図１５】図１５Ａは、被写体が遠距離にある場合で、図１４Ａに示された従来のバーコード読取装置の撮像素子上に被写体の像がどのように形成されるかを説明するブロック図 図１５Ｂは、図１５Ａに示された撮像素子上に形成された像の正面図 図１５Ｃは、被写体が近距離にある場合の図１５Ａに類似のブロック図 図１５Ｄは、図１５Ｃに示された撮像素子上に形成された像の正面図
【特許請求の範囲】
【請求項１】
焦点距離の異なる複数のレンズ部を有した多焦点レンズと、
前記多焦点レンズにより結像された画像を電気信号に変換し、撮像信号として出力する撮像素子と、
所定の補正関数に基づいて前記撮像素子からの撮像信号に荷重加算演算処理を施し、補正した撮像信号を出力する演算処理部とを備え、
前記補正関数は、前記多焦点レンズの光学系から所定距離の被写体に対するポイントスプレッド関数に基づいた逆関数であることを特徴とする撮像装置。
【請求項２】
前記多焦点レンズは、代表レンズ部を有し、
前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離だけ離れた焦点面における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数であることを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記多焦点レンズは、第１の焦点距離を有する第１のレンズ部と、前記第１の焦点距離とは異なった第２の焦点距離を有する第２のレンズ部とにより構成され、
前記第１及び第２のレンズ部は、一体的に形成され、
前記第１及び第２のレンズ部は、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形又は多角形で、
前記第１及び第２のレンズ部は、前記多焦点レンズの中心を通る直線に沿って隣接するように配置されていることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記多焦点レンズは、第１の焦点距離を有する第１のレンズ部と、前記第１の焦点距離とは異なった第２の焦点距離を有する第２のレンズ部とによりに構成され、
前記第１及び第２のレンズ部は、一体的に形成され、
前記第１及び第２のレンズ部は、同心関係で隣接し、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れかであることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記多焦点レンズは、第１のレンズ部から第Ｎ（Ｎは、２以上の整数）のレンズ部までの複数のレンズ部により構成され、前記複数のレンズ部は、相互に異なる焦点距離を有し、
前記第１のレンズ部から第Ｎのレンズ部までを含む複数のレンズ部は、一体的に形成され、
前記第１のレンズ部から第Ｎのレンズ部までを含む複数のレンズ部は、交互に隣接し、同心関係で配置され、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れかであることを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記多焦点レンズは、第１のレンズ群から第Ｍ（Ｍは、２以上の整数）のレンズ群により構成され、ｉ番目（ｉは、Ｍと同じかそれ以下の整数）のレンズ群は、第１のレンズ部から第Ｎ（Ｎは、２以上の整数）のレンズ部までの複数のレンズ部により構成され、
前記ｉ番目のレンズ群の第１のレンズ部から第Ｎのレンズ部までの複数のレンズ部は、ｉ−１番目のレンズ群の第Ｎのレンズ部の外側に放射状に延在し、交互に隣接し、同心関係で配置され、
前記第１のレンズ群の第１のレンズ部から第Ｍのレンズの第Ｎのレンズ部までの複数のレンズ部は、一体的に形成され、
前記第１のレンズ群の第１のレンズ部から第Ｍのレンズの第Ｎのレンズ部までの複数のレンズ部は、同心関係で隣接し、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れかであることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記多焦点レンズは、相互に隣接のレンズ部が接続される部分である１つ又は複数の接合部を有し、前記接合部での迷光を低減するために前記接合部に遮光処理が施されることを特徴とする請求項１に記載の撮像装置。
【請求項１３】
前記多焦点レンズの光学軸の延長線上から見たときの前記第１及び第２レンズ部の占める面積が実質的に等しいことを特徴とする請求項８又は請求項９に記載の撮像装置。
【請求項１４】
前記多焦点レンズの光学軸の延長線上から見たときのＮ個のレンズ部夫々の占める面積が実質的に等しいことを特徴とする請求項１０に記載の撮像装置。
【請求項１５】
前記演算処理部は、前記所定の補正関数に基づいて取得された係数列を記憶するディジタルフィルタを有し、
前記ディジタルフィルタは、前記撮像素子の撮像信号からアナログデジタル変換されたディジタル撮像データを入力し、前記撮像データに演算処理を施し、前記撮像データと前記係数との積を算出することを特徴とする請求項１に記載の撮像装置。
【請求項１６】
前記撮像素子から出力される前記撮像信号は、垂直及び水平方向にマトリクス状に並んだ複数のデータからなり、
前記ディジタルフィルタは、前記所定の補正関数に基づいて算出した複数の係数を記憶する二次元フィルタであり、
前記係数は、垂直及び水平方向にマトリクス状に並び、かつ前記データと夫々対応し、
前記ディジタルフィルタは、前記撮像信号に対する前記荷重加算演算処理を実行し、前記データに前記係数を掛け、前記係数が掛けられたデータを加算することを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
前記撮像素子は、水平及び垂直方向にマトリクス状に並んだ画素と対応し、かつ前記データと対応する複数の光電素子により構成されることを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
前記撮像素子から出力される撮像信号は、三原色を示すＲ、Ｇ、Ｂのデータを含み、
前記演算処理部は、前記Ｒ、Ｇ、Ｂのデータに対する荷重加算演算処理を実行することを特徴とする請求項１７に記載の撮像装置。
【請求項１９】
前記光電素子は、前記三原色を示す各画素に対応し、市松模様状に並び、並んだ順序で前記三原色を示すデータを撮像信号として出力することを特徴とする請求項１７に記載の撮像装置。
【請求項２０】
前記演算処理部は、前記光電素子からの前記データを入力し、
前記ディジタルフィルタは、並んだ順序で三原色を示すデータに対して順次前記係数を用いて前記データに前記荷重加算演算処理を施すことを特徴とする請求項１９に記載の撮像装置。
【請求項２１】
前記係数は、画素に対応する有効係数を含み、
前記有効係数は、前記画素に対応する係数とその近傍にある複数の係数に所定の加重値を掛け、前記加重値が掛けられた係数とその近傍にある複数の係数を画素毎に加算し、算出されることを特徴とする請求項２０に記載の撮像装置。
【請求項２２】
前記光電素子は、ベイヤー配列で配置され、前記ベイヤー配列の順序で前記原色信号であるＲ、Ｇ、Ｂ、及びＧｂのデータを出力することを特徴とする請求項１９に記載の撮像装置。
【請求項２３】
焦点距離の異なる複数のレンズ部を有した多焦点レンズと、前記多焦点レンズにより結像された画像を電気信号に変換し、撮像信号として出力する撮像素子とを備えた撮像装置における前記撮像信号の画像処理方法であって、
前記撮像信号を入力する入力ステップと、
前記撮像信号をディジタル信号である撮像データに変換する変換ステップと、
所定の補正関数に基づいて前記撮像データに対する荷重加算演算処理を実行し、補正された撮像データを取得する演算ステップと、
前記補正された撮像データを撮像信号として出力する出力ステップとを備え、
前記補正関数が、前記多焦点レンズの光学系から所定距離の被写体に対するポイントスプレッド関数に基づいた逆関数であることを特徴とする画像改質処理方法。
【請求項２４】
前記多焦点レンズは、代表レンズ部を有し、
前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項２３に記載の画像改質処理方法。
【請求項２５】
前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項２４に記載の画像改質処理方法。
【請求項２６】
前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項２４に記載の画像改質処理方法。
【請求項２７】
前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されることを特徴とする請求項２３に記載の画像改質処理方法。
【請求項２８】
前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズの光学軸上の焦点における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されることを特徴とする請求項２７に記載の画像改質処理方法。
【請求項２９】
前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されることを特徴とする請求項２７に記載の画像改質処理方法。
【請求項３０】
前記演算ステップは、前記所定の補正関数に基づいて取得された係数列と前記撮像データとの畳込み演算を実行するステップを有することを特徴とする請求項２３に記載の画像改質処理方法。
【請求項３１】
前記撮像素子から出力される前記撮像信号は、垂直及び水平方向にマトリクス状に並んだ複数のデータからなり、
前記係数は、垂直及び水平方向にマトリクス状に並び、かつ前記データと夫々対応し、
前記演算ステップは、前記データと前記係数との畳込み演算を実行するステップを有する請求項３０に記載の画像改質処理方法。
【請求項３２】
前記撮像素子は、水平及び垂直方向にマトリクス状に並んだ画素と対応し、かつ前記データと対応する複数の光電素子により構成され、前記三原色を示す各画素に対応し、市松模様状に並び、並んだ順序で前記三原色を示すデータを撮像信号として出力し、
前記演算ステップは、前記データと前記係数との畳込み演算を実行するステップを有することを特徴とする請求項３１に記載の画像改質処理方法。
【請求項３３】
前記係数が、前記画素に対応する有効係数を含み、
前記有効係数は、前記画素に対応する係数とその近傍にある複数の係数に所定の加重値を掛け、前記加重値が掛けられた係数とその近傍にある複数の係数を画素毎に加算し、算出されることを特徴とする請求項３２に記載の画像改質処理方法。
【請求項３４】
前記光電素子は、ベイヤー配列で配置され、前記ベイヤー配列の順序で前記原色信号であるＲ、Ｇ、Ｂ、及びＧｂの各成分データを出力し、
前記演算処理ステップは、前記Ｒ、Ｇ、Ｂ、及びＧｂの各成分データと前記マトリクスの位置と夫々対応する係数との畳込み演算を実行するステップを有することを特徴とすることを特徴とする請求項３２に記載の画像改質処理方法。
【請求項１】
焦点距離の異なる複数のレンズ部を有した多焦点レンズと、
前記多焦点レンズにより結像された画像を電気信号に変換し、撮像信号として出力する撮像素子と、
所定の補正関数に基づいて前記撮像素子からの撮像信号に荷重加算演算処理を施し、補正した撮像信号を出力する演算処理部とを備え、
前記補正関数は、前記多焦点レンズの光学系から所定距離の被写体に対するポイントスプレッド関数に基づいた逆関数であることを特徴とする撮像装置。
【請求項２】
前記多焦点レンズは、代表レンズ部を有し、
前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記光学系から所定距離の被写体に対する前記ポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離だけ離れた焦点面における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数を所定の比率で合成したポイントスプレッド関数であることを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記多焦点レンズは、第１の焦点距離を有する第１のレンズ部と、前記第１の焦点距離とは異なった第２の焦点距離を有する第２のレンズ部とにより構成され、
前記第１及び第２のレンズ部は、一体的に形成され、
前記第１及び第２のレンズ部は、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形又は多角形で、
前記第１及び第２のレンズ部は、前記多焦点レンズの中心を通る直線に沿って隣接するように配置されていることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記多焦点レンズは、第１の焦点距離を有する第１のレンズ部と、前記第１の焦点距離とは異なった第２の焦点距離を有する第２のレンズ部とによりに構成され、
前記第１及び第２のレンズ部は、一体的に形成され、
前記第１及び第２のレンズ部は、同心関係で隣接し、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れかであることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記多焦点レンズは、第１のレンズ部から第Ｎ（Ｎは、２以上の整数）のレンズ部までの複数のレンズ部により構成され、前記複数のレンズ部は、相互に異なる焦点距離を有し、
前記第１のレンズ部から第Ｎのレンズ部までを含む複数のレンズ部は、一体的に形成され、
前記第１のレンズ部から第Ｎのレンズ部までを含む複数のレンズ部は、交互に隣接し、同心関係で配置され、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れかであることを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記多焦点レンズは、第１のレンズ群から第Ｍ（Ｍは、２以上の整数）のレンズ群により構成され、ｉ番目（ｉは、Ｍと同じかそれ以下の整数）のレンズ群は、第１のレンズ部から第Ｎ（Ｎは、２以上の整数）のレンズ部までの複数のレンズ部により構成され、
前記ｉ番目のレンズ群の第１のレンズ部から第Ｎのレンズ部までの複数のレンズ部は、ｉ−１番目のレンズ群の第Ｎのレンズ部の外側に放射状に延在し、交互に隣接し、同心関係で配置され、
前記第１のレンズ群の第１のレンズ部から第Ｍのレンズの第Ｎのレンズ部までの複数のレンズ部は、一体的に形成され、
前記第１のレンズ群の第１のレンズ部から第Ｍのレンズの第Ｎのレンズ部までの複数のレンズ部は、同心関係で隣接し、前記多焦点レンズの平面を集合的に形成し、前記多焦点レンズの光学軸の延長線上から見たときの前記平面の形状は、円形、楕円形、多角形の何れかであることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記多焦点レンズは、相互に隣接のレンズ部が接続される部分である１つ又は複数の接合部を有し、前記接合部での迷光を低減するために前記接合部に遮光処理が施されることを特徴とする請求項１に記載の撮像装置。
【請求項１３】
前記多焦点レンズの光学軸の延長線上から見たときの前記第１及び第２レンズ部の占める面積が実質的に等しいことを特徴とする請求項８又は請求項９に記載の撮像装置。
【請求項１４】
前記多焦点レンズの光学軸の延長線上から見たときのＮ個のレンズ部夫々の占める面積が実質的に等しいことを特徴とする請求項１０に記載の撮像装置。
【請求項１５】
前記演算処理部は、前記所定の補正関数に基づいて取得された係数列を記憶するディジタルフィルタを有し、
前記ディジタルフィルタは、前記撮像素子の撮像信号からアナログデジタル変換されたディジタル撮像データを入力し、前記撮像データに演算処理を施し、前記撮像データと前記係数との積を算出することを特徴とする請求項１に記載の撮像装置。
【請求項１６】
前記撮像素子から出力される前記撮像信号は、垂直及び水平方向にマトリクス状に並んだ複数のデータからなり、
前記ディジタルフィルタは、前記所定の補正関数に基づいて算出した複数の係数を記憶する二次元フィルタであり、
前記係数は、垂直及び水平方向にマトリクス状に並び、かつ前記データと夫々対応し、
前記ディジタルフィルタは、前記撮像信号に対する前記荷重加算演算処理を実行し、前記データに前記係数を掛け、前記係数が掛けられたデータを加算することを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
前記撮像素子は、水平及び垂直方向にマトリクス状に並んだ画素と対応し、かつ前記データと対応する複数の光電素子により構成されることを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
前記撮像素子から出力される撮像信号は、三原色を示すＲ、Ｇ、Ｂのデータを含み、
前記演算処理部は、前記Ｒ、Ｇ、Ｂのデータに対する荷重加算演算処理を実行することを特徴とする請求項１７に記載の撮像装置。
【請求項１９】
前記光電素子は、前記三原色を示す各画素に対応し、市松模様状に並び、並んだ順序で前記三原色を示すデータを撮像信号として出力することを特徴とする請求項１７に記載の撮像装置。
【請求項２０】
前記演算処理部は、前記光電素子からの前記データを入力し、
前記ディジタルフィルタは、並んだ順序で三原色を示すデータに対して順次前記係数を用いて前記データに前記荷重加算演算処理を施すことを特徴とする請求項１９に記載の撮像装置。
【請求項２１】
前記係数は、画素に対応する有効係数を含み、
前記有効係数は、前記画素に対応する係数とその近傍にある複数の係数に所定の加重値を掛け、前記加重値が掛けられた係数とその近傍にある複数の係数を画素毎に加算し、算出されることを特徴とする請求項２０に記載の撮像装置。
【請求項２２】
前記光電素子は、ベイヤー配列で配置され、前記ベイヤー配列の順序で前記原色信号であるＲ、Ｇ、Ｂ、及びＧｂのデータを出力することを特徴とする請求項１９に記載の撮像装置。
【請求項２３】
焦点距離の異なる複数のレンズ部を有した多焦点レンズと、前記多焦点レンズにより結像された画像を電気信号に変換し、撮像信号として出力する撮像素子とを備えた撮像装置における前記撮像信号の画像処理方法であって、
前記撮像信号を入力する入力ステップと、
前記撮像信号をディジタル信号である撮像データに変換する変換ステップと、
所定の補正関数に基づいて前記撮像データに対する荷重加算演算処理を実行し、補正された撮像データを取得する演算ステップと、
前記補正された撮像データを撮像信号として出力する出力ステップとを備え、
前記補正関数が、前記多焦点レンズの光学系から所定距離の被写体に対するポイントスプレッド関数に基づいた逆関数であることを特徴とする画像改質処理方法。
【請求項２４】
前記多焦点レンズは、代表レンズ部を有し、
前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項２３に記載の画像改質処理方法。
【請求項２５】
前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸上における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項２４に記載の画像改質処理方法。
【請求項２６】
前記多焦点レンズのポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記代表レンズ部の焦点位置に配置された前記被写体に対する前記多焦点レンズのポイントスプレッド関数であることを特徴とする請求項２４に記載の画像改質処理方法。
【請求項２７】
前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されることを特徴とする請求項２３に記載の画像改質処理方法。
【請求項２８】
前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズの光学軸上の焦点における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されることを特徴とする請求項２７に記載の画像改質処理方法。
【請求項２９】
前記光学系から所定距離の被写体に対するポイントスプレッド関数は、前記多焦点レンズの光学軸から所定距離の焦点面における前記多焦点レンズのレンズ部夫々のポイントスプレッド関数に所定の比率を掛け、前記所定の比率が掛けられたポイントスプレッド関数を合計して取得されることを特徴とする請求項２７に記載の画像改質処理方法。
【請求項３０】
前記演算ステップは、前記所定の補正関数に基づいて取得された係数列と前記撮像データとの畳込み演算を実行するステップを有することを特徴とする請求項２３に記載の画像改質処理方法。
【請求項３１】
前記撮像素子から出力される前記撮像信号は、垂直及び水平方向にマトリクス状に並んだ複数のデータからなり、
前記係数は、垂直及び水平方向にマトリクス状に並び、かつ前記データと夫々対応し、
前記演算ステップは、前記データと前記係数との畳込み演算を実行するステップを有する請求項３０に記載の画像改質処理方法。
【請求項３２】
前記撮像素子は、水平及び垂直方向にマトリクス状に並んだ画素と対応し、かつ前記データと対応する複数の光電素子により構成され、前記三原色を示す各画素に対応し、市松模様状に並び、並んだ順序で前記三原色を示すデータを撮像信号として出力し、
前記演算ステップは、前記データと前記係数との畳込み演算を実行するステップを有することを特徴とする請求項３１に記載の画像改質処理方法。
【請求項３３】
前記係数が、前記画素に対応する有効係数を含み、
前記有効係数は、前記画素に対応する係数とその近傍にある複数の係数に所定の加重値を掛け、前記加重値が掛けられた係数とその近傍にある複数の係数を画素毎に加算し、算出されることを特徴とする請求項３２に記載の画像改質処理方法。
【請求項３４】
前記光電素子は、ベイヤー配列で配置され、前記ベイヤー配列の順序で前記原色信号であるＲ、Ｇ、Ｂ、及びＧｂの各成分データを出力し、
前記演算処理ステップは、前記Ｒ、Ｇ、Ｂ、及びＧｂの各成分データと前記マトリクスの位置と夫々対応する係数との畳込み演算を実行するステップを有することを特徴とすることを特徴とする請求項３２に記載の画像改質処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公表番号】特表２００８−５１６２９９（Ｐ２００８−５１６２９９Ａ）
【公表日】平成２０年５月１５日（２００８．５．１５）
【国際特許分類】
【出願番号】特願２００７−５１６７０９（Ｐ２００７−５１６７０９）
【出願日】平成１７年１０月１４日（２００５．１０．１４）
【国際出願番号】ＰＣＴ／ＪＰ２００５／０１９３４８
【国際公開番号】ＷＯ２００６／０４１２１９
【国際公開日】平成１８年４月２０日（２００６．４．２０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【出願人】（５０３４２１１２８）リバーベル株式会社 (10)
【Ｆターム（参考）】
【公表日】平成２０年５月１５日（２００８．５．１５）
【国際特許分類】
【出願日】平成１７年１０月１４日（２００５．１０．１４）
【国際出願番号】ＰＣＴ／ＪＰ２００５／０１９３４８
【国際公開番号】ＷＯ２００６／０４１２１９
【国際公開日】平成１８年４月２０日（２００６．４．２０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【出願人】（５０３４２１１２８）リバーベル株式会社 (10)
【Ｆターム（参考）】
[ Back to top ]