説明

画像撮像装置、画像処理装置、画像処理方法およびプログラム

【課題】撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置、画像処理装置、画像処理方法およびプログラムにおいて、人物や風景等の一般シーンに対する画質低下を伴うことなく、文字やバーコード等の近接撮影被写体の撮影画質を向上させる。
【解決手段】撮像手段(撮影光学系12および撮像素子13)において取得された被写体11を写した画像データについて、二次元記録情報判別部14において解析して被写体11が二次元記録情報であるか非二次元記録情報であるかを分類する。画像処理部16は、二次元記録情報判別部14の判別結果を受け取り、被写体11が二次元記録情報であるか非二次元記録情報であるかに基づいて、対応する復元処理を復元処理記憶部15から読み出し、画像データに対して復元処理を施す。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置、画像処理装置、画像処理方法およびプログラムにおいて、特に文字やバーコード等の被写体を撮像した際の画質を高めるための画像撮像装置、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、携帯電話等の情報端末に対するカメラ搭載が進み、このようなカメラを用いた文字やバーコード等の撮影による情報入力・記録が頻繁に行われるようになってきている。このような目的に利用されるカメラの例として、例えば特許文献1では、標準撮影、マクロ撮影、スーパーマクロ撮影に切り替え可能な構成を有し、レンズの位置、絞りを切り替え可能なカメラを提案している。
【0003】
一方、特別に設計された光学系と画像復元処理とを併用することで、上記のようなレンズの位置や絞りの切替えを必要とせずに、通常の光学系で撮影された場合と比較して実効的な被写界深度の拡大を可能とした画像撮像システムが提案されている。(例えば、特許文献2)
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平10−325972号公報
【特許文献2】特許第3275010号明細書
【特許文献3】特開2007−206738号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のような被写界深度拡大撮像システムでは、撮影距離に応じた光学系のボケ特性を考慮して画像復元処理を決定しているが、撮影距離により光学系のボケ特性は変化することから、ある特定の距離の被写体を良好に再現する復元処理を採用した場合、他の距離の被写体の再現が相対的に劣化してしまうという問題があった。
【0006】
また、一般に文字やバーコード等の二次元記録情報は30cm以下といった近距離で撮影されることが多く、人物や風景等の一般シーンは50cm以上といった距離で撮影されることが多いが、被写界深度拡大撮像システムでは従来撮影系よりも被写界深度は拡大しているものの、レンズ系が固定で焦点切り替え機構を持たないため、文字やバーコード等の30cm以下といった極端に近い距離で撮影される場合には、文字が読めない、バーコードが認識できない等、十分な画質とならないことがあった。
【0007】
このような問題を解決するため、特許文献3では特許文献2の手法に加えて、撮影対象が情報コードの特徴を有している場合には、この特徴点に適応するようなデジタルフィルタを選択して復元処理を行う手法を提案している。しかしながら、この手法では既知の情報コードに対する復元は良好となるが、任意の文字列や未知の情報コード画像に対しては効果がなく、不鮮明な画像しか得られない場合があった。
【0008】
本発明は、上記事情に鑑みてなされたものであり、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置、画像処理装置、画像処理方法およびプログラムにおいて、人物や風景等の一般シーンに対する画質低下を伴うことなく、文字やバーコード等の近接撮影被写体の撮影画質を向上させた画像撮像装置、画像処理装置、画像処理方法およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0009】
本発明による画像撮像装置は、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置において、被写体を撮像して画像データを取得する撮像手段と、画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類する画像解析手段と、二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行う画像処理手段とを備えたことを特徴とするものである。
【0010】
本発明の画像撮像装置は、被写体を撮像して画像データを取得する撮像手段と、画像データに対して画像処理を行う画像処理装置とが別体に構成されていてもよく、本発明の画像処理装置はこのように別体に構成されたものであって、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像処理装置において、画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類する画像解析手段と、二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行う画像処理手段とを備えたことを特徴とするものである。
【0011】
本発明の画像処理方法は、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像処理方法において、画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類し、二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行うことを特徴とする方法である。
【0012】
本発明のプログラムは、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像処理装置用のプログラムであって、画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類する処理と、二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行う処理とを画像処理装置に実行させるためのプログラムである。
【0013】
本発明による画像撮像装置、画像処理装置、画像処理方法およびプログラムにおいては、画像データを複数の領域に分割し、各領域毎にこの領域に写っている被写体が二次元記録情報であるか非二次元記録情報であるかを分類する処理と、複数の領域の各々について個別に復元処理を行う処理とを行うようにしてもよい。
【0014】
また、近距離用復元処理として、二値化処理を行うようにしてもよい。
【0015】
本発明において「二次元記録情報」とは、手書きや印字に関わらず文字やバーコードやQRコード等、主に近距離で撮影されることが想定される情報を意味する。また、「非二次元記録情報」とは、二次元記録情報以外の情報であって、人物像や風景等、主に遠距離で撮影されることが想定される情報を意味する。
【発明の効果】
【0016】
本発明の画像撮像装置、画像処理装置、画像処理方法およびプログラムによれば、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する場合において、画像を解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類し、人物や風景等の非二次元記録情報に対してはこれまでと同様に一般シーンに対して最適な遠距離用復元処理を施し、文字やバーコード等の二次元記録情報に対しては二次元記録情報用に最適化された近距離用復元処理を施すようにしたので、人物や風景等の一般シーンに対する画質低下を伴うことなく、文字やバーコード等の近接撮影被写体の撮影画質を向上させることが可能となる。
【0017】
また、画像データを複数の領域に分割し、各領域毎にこの領域に写っている被写体が二次元記録情報であるか非二次元記録情報であるかを分類し、複数の領域の各々について個別に復元処理を行うようにすれば、画像中に二次元記録情報と非二次元記録情報とが混在する場合に、より適切に復元処理を行うことが可能となる。
【0018】
さらに、二次元記録情報に対する復元処理として、二値化処理を行うようにすれば、簡単な処理により二次元記録情報に対する復元処理を行うことができる。
【図面の簡単な説明】
【0019】
【図1】本発明の第1の実施の形態にかかる画像撮像装置の構成を示すブロック図
【図2】上記画像撮像装置により取得された画像の例を示す図
【図3】本発明の第2の実施の形態にかかる画像撮像装置により取得された画像の例を示す図
【発明を実施するための形態】
【0020】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図1は、本発明の第1の実施の形態にかかる画像撮像装置の構成を示すブロック図である。
【0021】
画像撮像装置10は、被写体11から来た光を撮像素子13上に結像するための撮影光学系12、結像された光学像をデジタル情報に変換する撮像素子13、撮影された画像データを解析して被写体が二次元記録情報か否かを判別する二次元記録情報判別部14、複数の復元処理を記憶しておく復元処理記憶部15、二次元記録情報判別部14の判別結果に基づいて対応する復元処理を画像データに対して施す画像処理部16、復元処理後の画像データを表示するモニタ等の画像表示部17、記録媒体に画像データを記録する画像記録部18より構成される.
撮影光学系12は、特に限定するものではないが、被写界深度を延長する効果を持った光学系を用いることが好ましい。
【0022】
撮像素子13は、CCDセンサやCMOSセンサ等の固体撮像素子が好適であるが、特に限定は無く、どのようなものを用いてもよい。
【0023】
本発明の撮像手段は、これら撮影光学系12および撮像素子13から構成される。
【0024】
二次元記録情報判別部14(本発明の画像解析手段に相当)は、撮影により得られた画像データを解析し、被写体11が文字やバーコード等の二次元記録情報であるか否かを判別するものである。この判別手法については特に限定は無く、例えば特開2004−341764号公報に開示される手法等、どのような手法を適用してもよい。
【0025】
本実施の形態においては、画像中の少なくとも一部に文字やバーコード等の二次元記録情報が写っている場合にはその画像データは二次元記録情報であると分類し、画像中に文字やバーコード等の二次元記録情報が全く写っていない場合にはその画像データは非二次元記録情報であると分類する。
【0026】
復元処理記憶部15は、二次元記録情報に対する近距離用復元処理および非二次元記録情報に対する遠距離用復元処理の両方を記録したものであり、例えばHDDやSSD等のストレージデバイスやROM等の半導体メモリを用いることが可能である。
【0027】
ここで、復元処理の具体的内容については特に限定するものではなく、例えば空間周波数領域におけるフィルタリング処理を適用することも可能であるし、実空間におけるカーネル処理を適用することも可能である。
【0028】
なお、一般に文字やバーコード等の二次元記録情報は30cm以下といった近距離で撮影されることが多く、人物や風景等は50cm以上といった距離で撮影されることが多いことから、二次元記録情報に対する近距離用復元処理には光学系の近接撮影時の逆特性を持つ復元処理を持たせ、非二次元記録情報に対する遠距離用復元処理には光学系の遠距離撮影時の逆特性を持つ復元処理を持たせることが好ましい。
【0029】
また、近距離用復元処理に関しては、上記で説明した復元処理の代わりに、画像内容に基づいた二値化処理を適用することも可能である。二次元記録情報は、情報の記録部と背景部の二つの画素値に分類できる場合が多いため、画像のヒストグラム分布を分析して、ヒストグラムの頻度の高い代表的な二つの値に二値化するようにしてもよい。
【0030】
さらに、近距離用復元処理については上記以外にも、コントラスト強調処理や、エッジ強調処理等の手法を用いることも可能である。
【0031】
画像処理部16は、二次元記録情報判別部14の判別結果を受け取り、被写体11が二次元記録情報である場合には近距離用復元処理を復元処理記憶部15から読み出し、画像データに対して復元処理を施す。また、非二次元記録情報である場合には遠距離用復元処理を復元処理記憶部15から読み出し、画像データに対して復元処理を施す。
【0032】
本発明の画像処理手段は、これら復元処理記憶部15および画像処理部16から構成される。
【0033】
次に上記のように構成された画像撮像装置10の作用について説明する。
【0034】
まず、被写体11に対して撮像手段(撮影光学系12および撮像素子13)により撮影が行なわれ、撮影により得られた画像データは二次元記録情報判別部14に送られる。
【0035】
ここで撮影により得られた画像の一例を図2に示す。画像G1中にはバーコードが写っているため、二次元記録情報判別部14では、この画像の画像データを二次元記録情報として分類し、分類結果を画像処理部16に送信する。
【0036】
画像処理部16では、二次元記録情報判別部14での分類結果に基づいて、復元処理記憶部15から対応する復元処理を読み出す。ここでは、画像G1は二次元記録情報として分類されたため、近距離用復元処理を復元処理記憶部15から読み出し、画像G1の画像データに対して復元処理を施す
以上の手順により復元処理が施された画像データは、モニタ等の画像表示部17に表示されたり、また画像記録部18で記録メディア等に記録される。
【0037】
上記のような構成とすることにより、人物や風景等の一般シーンに対する画質低下を伴うことなく、文字やバーコード等の近接撮影被写体の撮影画質を向上させることが可能となる。
【0038】
次に、本発明の第2の実施の形態について説明する。第1の実施の形態の要素と同等の要素には同番号を付してあり、それらについての説明は特に必要の無い限り省略する。
【0039】
この第2の実施の形態の画像撮像装置10は、第1の実施の形態と比較して、二次元記録情報判別部14および画像処理部16の処理が異なるものである。
【0040】
本実施の形態の二次元記録情報判別部14は、画像データを左右2つの領域に分割し、各領域毎に被写体11が文字やバーコード等の二次元記録情報であるか否かを判別するものである。なお、判別手法については第1の実施の形態と同様に特に限定は無く、どのような手法を適用してもよい。
【0041】
また、画像処理部16は、分割された各領域毎に対応する復元処理を施すものである。
【0042】
次に上記のように構成された画像撮像装置10の作用について説明する。
【0043】
まず、被写体11に対して画像取得手段(撮影光学系12および撮像素子13)により撮影が行なわれ、撮影により得られた画像データは二次元記録情報判別部14に送られる。
【0044】
ここで撮影により得られた画像の一例を図3に示す。画像G2中には机の上に置かれたパンフレットが写っている。二次元記録情報判別部14では、画像G2を左右2つの領域G2RとG2Lに分割し、これらに対応する画像データ毎に個別に二次元記録情報であるか否かを分類する。
【0045】
右側の領域G2Rには文字およびQRコードが写っているため、この領域の画像データを二次元記録情報として分類し、左側の領域G2Lには文字やバーコード等の二次元記録情報が全く写っていないため、この領域の画像データを非二次元記録情報として分類し、分類結果を画像処理部16に送信する。
【0046】
画像処理部16では、二次元記録情報判別部14での分類結果に基づいて、各領域毎に復元処理記憶部15から対応する復元処理を読み出す。ここでは、領域G2Rは二次元記録情報として分類されたため、近距離用復元処理を復元処理記憶部15から読み出して領域G2Rの画像データに対して復元処理を施す。また、領域G2Lは非二次元記録情報として分類されたため、遠距離用復元処理を復元処理記憶部15から読み出して領域G2Lの画像データに対して復元処理を施す。
【0047】
以上の手順により復元処理が施された画像は、モニタ等の画像表示部17に表示されたり、また画像記録部18で記録メディア等に記録される。
【0048】
上記のような構成としても、第1の実施の形態と同様に、人物や風景等の一般シーンに対する画質低下を伴うことなく、文字やバーコード等の近接撮影被写体の撮影画質を向上させることが可能となる。
【0049】
なお、本実施の形態においては、撮影により得られた画像データについて画像上で左右2分割して処理を行っているが、画像の分割態様については上記に限定されるものではなく、分割形状や分割数についてどのような態様としてもかまわない。
【0050】
以上、本発明の画像撮像装置について詳細に説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。
【符号の説明】
【0051】
10 画像撮像装置
11 被写体
12 撮影光学系
13 撮像素子
14 二次元記録情報判別部
15 復元処理記憶部
16 画像処理部
17 画像表示部
18 画像記録部

【特許請求の範囲】
【請求項1】
撮像手段により被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像撮像装置において、
被写体を撮像して画像データを取得する撮像手段と、
前記画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類する画像解析手段と、
前記二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、前記非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行う画像処理手段とを備えたことを特徴とする画像撮像装置。
【請求項2】
前記画像解析手段が、前記画像データを複数の領域に分割し、各領域毎に該領域に写っている被写体が前記二次元記録情報であるか前記非二次元記録情報であるかを分類するものであり、
前記画像処理手段が、前記複数の領域の各々について個別に前記復元処理を行うものであることを特徴とする請求項1記載の画像撮像装置。
【請求項3】
前記画像処理手段が、前記近距離用復元処理として、二値化処理を行うものであることを特徴とする請求項1または2記載の画像撮像装置。
【請求項4】
撮像手段により被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像処理装置において、
前記画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類する画像解析手段と、
前記二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、前記非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行う画像処理手段とを備えたことを特徴とする画像処理装置。
【請求項5】
前記画像解析手段が、前記画像データを複数の領域に分割し、各領域毎に該領域に写っている被写体が前記二次元記録情報であるか前記非二次元記録情報であるかを分類するものであり、
前記画像処理手段が、前記複数の領域の各々について個別に前記復元処理を行うものであることを特徴とする請求項4記載の画像処理装置。
【請求項6】
前記画像処理手段が、前記近距離用復元処理として、二値化処理を行うものであることを特徴とする請求項4または5記載の画像処理装置。
【請求項7】
撮像手段により被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像処理方法において、
前記画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類し、
前記二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、前記非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行うことを特徴とする画像処理方法。
【請求項8】
前記画像データを複数の領域に分割し、各領域毎に該領域に写っている被写体が前記二次元記録情報であるか前記非二次元記録情報であるかを分類し、
前記複数の領域の各々について個別に前記復元処理を行うことを特徴とする請求項7記載の画像処理方法。
【請求項9】
前記近距離用復元処理として、二値化処理を行うことを特徴とする請求項7または8記載の画像処理方法。
【請求項10】
撮像手段により被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像処理装置用のプログラムであって、
前記画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類する処理と、
前記二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、前記非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行う処理とを画像処理装置に実行させるためのプログラム。
【請求項11】
前記画像データを複数の領域に分割し、各領域毎に該領域に写っている被写体が前記二次元記録情報であるか前記非二次元記録情報であるかを分類する処理と、
前記複数の領域の各々について個別に前記復元処理を行う処理とを有することを特徴とする請求項10記載のプログラム。
【請求項12】
前記近距離用復元処理として、二値化処理を行うことを特徴とする請求項10または11記載のプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2011−150396(P2011−150396A)
【公開日】平成23年8月4日(2011.8.4)
【国際特許分類】
【出願番号】特願2010−8906(P2010−8906)
【出願日】平成22年1月19日(2010.1.19)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】