画像補正装置、および、画像補正方法、および、プログラム、および、記録媒体
【課題】ブック型原稿を読取ったときの、劣化が一様でないぼやけ画像に対して、少ない計算量で高精度な補正処理を可能にする画像補正装置を提供することを目的とする。
【解決手段】本発明に係る画像補正装置は、厚みのある原稿から読取られた画像を補正する画像補正装置であって、原稿と読取面との間の距離に基づく距離情報と、フィルタ基礎係数とが予め対応して記憶されたフィルタテーブル保存部323を備える。そのフィルタテーブル保存部323は、外部から入力された距離情報に対応するフィルタ基礎係数を出力する。そして、画像補正装置は、フィルタテーブル保存部323が出力したフィルタ基礎係数と、外部から入力されたフィルタ強度とに基づくフィルタ係数を出力するフィルタ係数作成部322と、フィルタ係数作成部322が出力したフィルタ係数を用いて、画像を補正する画像補正手段321とを備える。
【解決手段】本発明に係る画像補正装置は、厚みのある原稿から読取られた画像を補正する画像補正装置であって、原稿と読取面との間の距離に基づく距離情報と、フィルタ基礎係数とが予め対応して記憶されたフィルタテーブル保存部323を備える。そのフィルタテーブル保存部323は、外部から入力された距離情報に対応するフィルタ基礎係数を出力する。そして、画像補正装置は、フィルタテーブル保存部323が出力したフィルタ基礎係数と、外部から入力されたフィルタ強度とに基づくフィルタ係数を出力するフィルタ係数作成部322と、フィルタ係数作成部322が出力したフィルタ係数を用いて、画像を補正する画像補正手段321とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、静止画が入力される複写機、スキャナ、ファクシミリ等に用いられる、入力画像の画像補正装置、および、画像補正方法、および、プログラム、および、記録媒体に関する発明である。
【背景技術】
【0002】
従来、複写機、スキャナ、ファクシミリなどの装置に搭載されている画像読取装置を用いて、厚みのある書物やブック型原稿(以下、原稿と記すこともある)を読取る際に、原稿が読取面から浮くことがある。この状況下で原稿を読取ると、読取った画像のうち綴じ代部分に対応する部分がぼやける。部分的にぼやけて劣化した読取画像を補正する機能については、種々の提案がなされている。例えば、特許文献1には、ぼやけ画像1枚のみから信号処理により劣化を検出し、検出結果を元に画像を補正する発明が開示されている。
【0003】
【特許文献1】特許第4043499号公報(第4頁、第4図)
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1の発明によれば、ぼやけにより劣化した画像から、積和演算や差分絶対値演算により相関関数を計算し、ぼやけを検出しているが、本計算は莫大な計算量を必要とし、大変効率が悪いという問題があった。また、画像1枚につき1つの補正フィルタが算出されるが、厚みのある書物を読取った場合に起きるぼやけは、読取った画像の中で、綴じ代周辺部分に対応する部分で徐々に変化している。そのため、特許文献1のように、画像1枚から1つの補正フィルタを算出する手法では、画像を精度良く補正することは困難であるという問題があった。
【0005】
本発明は、上記のような問題点を解決するためになされたものであり、ブック型原稿から読取られ、劣化が一様でないぼやけ画像に対して、少ない計算量で高精度な補正処理を可能にする画像補正装置および画像補正方法およびプログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る画像補正装置は、被写体から読取られた画像を補正する画像補正装置であって、前記被写体と読取面との間の距離に基づく距離情報と、フィルタ基礎係数とが予め対応して記憶され、外部から入力された前記距離情報に対応する前記フィルタ基礎係数を出力するフィルタテーブル保存部を備える。そして、前記フィルタテーブル保存部が出力した前記フィルタ基礎係数と、外部から入力されたフィルタ強度とに基づくフィルタ係数を出力するフィルタ係数作成部と、前記フィルタ係数作成部が出力した前記フィルタ係数を用いて、前記画像を補正する画像補正手段とを備える。
【発明の効果】
【0007】
本発明の画像補正装置によれば、距離情報に基づく補正処理を行うため、厚みのある原稿の画像に対して、精度良く補正処理を行うことができる。また、フィルタテーブル保存部に記憶したフィルタ基礎係数を用いるため、被写体を読取るたびに、フィルタ基礎係数を算出する必要がない。そのため、少ない計算量で補正処理を行うことができる。
【発明を実施するための最良の形態】
【0008】
<実施の形態1>
図1〜図4を用いて本実施の形態に係る画像補正装置の一例について説明する。図1は、本実施の形態に係る画像補正装置周辺の構成を示すブロック図である。本実施の形態に係る画像補正装置301は、被写体から読取られた画像(以下、読取画像と記すこともある)を補正する。ここで、被写体は、本実施の形態では、厚みのあるブック型原稿であるものとする。
【0009】
図1に示すように、本実施の形態に係る画像補正装置301には、例えば、画像読取装置201から出力され、ぼやけにより劣化を受けた読取画像が入力される。また、画像補正装置301には、画像読取装置201内の距離情報計測部334から出力される距離情報が入力される。この距離情報は、原稿と読取面との間の距離に基づいて算出される値である。さらに、画像補正装置301には、フィルタ強度が入力される。このフィルタ強度は、例えば、画像補正装置301を用いるユーザー自身、もしくは、画像補正装置301をイメージングシステムに組み込む開発者・設計者により、予め設定される。こうして、図1に係る画像補正装置301は、ぼやけにより劣化した読取画像と、被写体と撮像面(読取面)との間の距離に基づく距離情報と、フィルタ強度とが入力され、補正した補正画像を外部に出力する。
【0010】
画像補正装置301周辺の構成は、図1に限ったものではなく、図2に示される構成であってもよい。図2にかかる構成は、例えば、デジタルスチルカメラで用いられるイメージングシステムにも対応可能である。図2にかかる構成では、図1に係る画像読取装置201の代わりに、上述の距離情報計測部334が設けられていない画像撮像装置401と、距離情報計測部334とが設けられている。この距離情報計測部334は、例えば、測距センサで構成される。図2に係る画像補正装置301も、図1に係る画像補正装置301と同様、ぼやけにより劣化した読取画像と、被写体と撮像面(読取面)との間の距離に基づく距離情報と、フィルタ強度とが入力され、補正した補正画像を外部に出力する。
【0011】
次に、本実施の形態に係る画像補正装置301の構成を図3を参照しながら説明する。なお、図1のような距離情報計測部334が設けられた画像読取装置201の詳細な構成・動作については、画像補正装置301を説明した後に、図6〜図18を用いて説明する。
【0012】
図3は、画像補正装置301を示すブロック図である。画像補正装置301は、画像補正部321と、フィルタ係数作成部322と、フィルタテーブル保存部323と、後で図示するフィルタ基礎係数生成部とを備える。フィルタテーブル保存部323は、被写体であるブック型原稿と読取面との間の距離に基づく距離情報rと、フィルタ基礎係数h(k,l)とが予め対応して記憶されている。そして、フィルタテーブル保存部323は、外部、例えば、距離情報計測部334から入力された距離情報rに対応するフィルタ基礎係数h(k,l)を選択し、当該選択したフィルタ基礎係数をフィルタ係数作成部322に出力する。
【0013】
フィルタテーブル保存部323が記憶しているh(k,l)そのものは、距離情報rの関数ではないが、フィルタテーブル保存部323は、距離情報rに対応するフィルタ基礎係数を出力する。そのため、以下、フィルタテーブル保存部323が出力するフィルタ基礎係数をh(k,l;r)と記す。
【0014】
フィルタ係数作成部322は、フィルタテーブル保存部323が出力したフィルタ基礎係数h(k,l;r)と、外部から入力されたフィルタ強度bとに基づいて、フィルタ係数を生成し、当該生成したフィルタ係数g(k,l;r)を出力する。換言すれば、本実施の形態に係るフィルタ係数作成部322は、フィルタテーブル保存部323が出力したフィルタ基礎係数h(k,l;r)と、外部のから入力されたフィルタ強度bとに基づくフィルタ係数g(k,l;r)を出力する。なお、以下、簡単のため、フィルタ係数g(k,l;r)を、g(k,l)と略して記す。フィルタ係数作成部322から出力されたフィルタ係数g(k,l)は、画像補正部321に入力される。
【0015】
画像補正手段である画像補正部321は、フィルタ係数作成部322が出力したフィルタ係数g(k,l)を用いて、画像読取装置201または画像撮像装置401からの画像x(i,j)を補正する。最後に、画像補正部321は、読取画像x(i,j)を補正してなる画像y(i,j)を外部に出力する。こうして、画像補正装置301は、補正画像y(i,j)を外部に出力する。
【0016】
次に、動作について詳しく説明する。まず、画像補正部321での補正処理と、フィルタ係数作成部322でのフィルタ係数の作成方法について、上述の図3を用いて説明する。その後、フィルタテーブル保存部323に保存されているフィルタ基礎係数のテーブルh(k,l;r)の作成方法について、図4および図5を用いて説明する。
【0017】
画像補正部321に入力される読取画像をx(i,j)とし、画像補正部321に入力されて補正フィルタとなるフィルタ係数をg(k,l)とした場合、画像補正部321は、次式(1)により与えられる補正画像y(i,j)を出力する。
【0018】
【数1】
【0019】
ただし、Kは、補正フィルタの垂直方向の次数に関する係数、Lは、補正フィルタの水平方向の次数に関する係数を示している。kは、−KからKまでの2K+1個の値をとり、lは、−LからLまでの2L+1個の値をとる。この次数に関する係数K,Lは、後述するが、画像のぼやけ幅を示す値であり、図4もしくは図5で示すフィルタ基礎係数生成装置324における劣化検出部331の出力値である。
【0020】
いま、フィルタ係数作成部322に入力されるフィルタ基礎係数をh(k,l;r)とする。rは、被写体である原稿と読取面との間の距離に基づく距離情報である。フィルタ係数作成部322に入力されるフィルタ強度をbと定義すると、フィルタ係数作成部322は、次式(2)で計算されるフィルタ係数g(k,l)を出力する。
【0021】
【数2】
【0022】
フィルタテーブル保存部323には、距離情報rと、フィルタ基礎係数h(k,l)とを予め対応付けしてなるテーブルが記憶されている。フィルタテーブル保存部323は、距離情報計測部334からの距離情報rに対応させたフィルタ基礎係数h(k,l;r)を出力する。
【0023】
次に、フィルタ基礎係数生成装置324により、フィルタテーブル保存部323に記憶されるテーブルを作成する方法について図4および図5を用いて説明する。図4および図5は、本実施の形態に係る画像補正装置301が備えるフィルタ基礎係数生成装置324の周辺の構成を示すブロック図である。図4に示すように、本実施の形態に係る画像補正装置301は、劣化検出部331と、フィルタ基礎係数作成部332と、フィルタテーブル作成部333とを備える。なお、本実施の形態に係る画像補正装置301は、図3で示したように、画像補正部321と、フィルタ係数作成部322とを備えるが、図4、図5では省略している。なお、図4,図5に係る構成は、図1,図2に係る構成に対応しているが、図4に係る構成の動作は、図5に係る構成の動作と実質的に同じである。
【0024】
フィルタ基礎係数生成装置324の劣化検出部331には、読取面と原稿とをある距離で一定に保った状態の読取画像が入力される。劣化検出部331では、特許文献1に記載された画像の劣化を検出する処理を適用することにより、劣化に関する相関関係から、画像の劣化であるぼやけ幅を検出する。以下、劣化検出部331が検出した垂直方向のぼやけ幅を次数に関する係数K、水平方向のぼやけ幅を次数に関する係数Lと呼ぶこともある。こうして、劣化検出手段である劣化検出部331は、画像の劣化である次数に関する係数K,Lを検出する。
【0025】
劣化検出手段331から出力された次数に関する係数K,Lは、フィルタ基礎係数作成部332に入力される。本実施の形態に係るフィルタ基礎係数作成手段であるフィルタ基礎係数作成部332は、劣化検出部331で検出された次数に関する係数K,Lに基づいて、フィルタ基礎係数h(k,l)を生成する。本実施の形態に係るフィルタ基礎係数作成部332には、次数に関する係数K,L以外に、打切り微小係数e、フィルタ形状が入力される。このフィルタ基礎係数h(k,l)の算出方法については後述する。フィルタ基礎係数作成部332は、算出したフィルタ基礎係数h(k,l)をフィルタテーブル作成部333に出力する。
【0026】
本実施の形態に係るフィルタテーブル作成部333には、フィルタ基礎係数h(k,l)が入力されるとともに、原稿と読取面との間の距離に基づく距離情報rが入力される。このフィルタテーブル作成部333は、フィルタ基礎係数作成部332で生成されたフィルタ基礎係数h(k,l)に、外部、例えば、距離情報計測部334から入力された距離情報rを対応させてなるテーブルを作成し、フィルタテーブル保存部323に与える。フィルタテーブル保存部323は、与えられたテーブルを保存し、その後、そのテーブルに基づいて、フィルタ基礎係数h(k,l;r)を出力する。次に、各構成について詳しく説明する。
【0027】
まず、フィルタ基礎係数作成部332の動作について説明する。フィルタ基礎係数h(k,l)を作成するために、劣化検出部331から出力された次数に関する係数(垂直方向の次数に関する係数K,水平方向の次数に関する係数L)と、外部からのフィルタ形状と、外部からの打切り微小係数eとが、フィルタ基礎係数作成部332に入力される。本実施の形態では、垂直方向の次数に関する係数をK、水平方向の次数に関する係数をLとし、フィルタ形状を2次元ガウス型関数とし、打切り微小係数をe(定数)として説明する。
【0028】
フィルタ形状である2次元ガウス型関数hg(k,l;σv,σh)は、次式(3)のように、垂直方向の1次元ガウス型数hv(k;σv)と、水平方向の1次元ガウス型関数hh(l;σh)との積で表すことができる。
【0029】
【数3】
【0030】
なお、σvおよびσhは、標準偏差と呼ばれる未知パラメータであり、劣化検出部331から入力される次数に関する係数K,Lと、打切り微小係数eにより決定される。次に、これら標準偏差σv,σhの決定方法について説明する。
【0031】
ガウス型関数は、[−∞,∞]で定義され、±∞に向かって減衰する関数である。そのため、次数で定まる範囲内(k=−K〜K,l=−L〜L)で、あまりにも小さい値をとる2次元ガウス型関数hgをフィルタ基礎係数h(k,l)の係数に採用しても、画像のフィルタリング結果に影響を与えない。そこで、k=−K〜K,l=−L〜Lの範囲で、hv(k;σv),hh(l;σh)が打切り微小係数e以上となる2次元ガウス型関数hgを採用する。具体的には、次式(4)を満たす標準偏差σvおよびσhを求め、求まった標準偏差σvおよびσhを用いて、式(3)を計算するように設計する。
【0032】
【数4】
【0033】
式(4)は、未知パラメータである標準偏差σvおよびσhに関して非線型方程式であることから、ニュートン法を用いて求めることができる。こうして求まった標準偏差σvおよびσhを用い、次数に関する係数KおよびLの有限の範囲で式(3)を計算することにより、k=±K,l=±Lに向かって減衰し、打切り微小係数eの2乗を最小値に有する有限2次元ガウス型関数hg(k,l;σv,σh)を求めることができる。ここで、フィルタ係数の総和は1とならなければならないことから、フィルタ基礎係数作成部332は、次式(5)で定義される正規化処理を行ったh(k,l)をフィルタ基礎係数として出力する。
【0034】
【数5】
【0035】
本実施の形態に係る画像補正装置301は、以上のような動作を行うフィルタ基礎係数生成装置324と、フィルタテーブル保存部323とを備える。そのため本実施の形態に係る画像補正装置301と、画像読取装置201とを組み込んだ実機であれば、画像および距離情報を画像読取装置201で読み取る毎に、フィルタテーブル保存部323に上述のテーブルを記憶させることが可能である。しかしながら、図3で説明した補正処理は、フィルタテーブル保存部323にテーブルが保存されていれば、フィルタ基礎係数生成装置324がオフラインであっても処理可能である。そのため、フィルタテーブル保存部323に、テーブルを随時記憶および変更する必要がなければ、フィルタ基礎係数生成装置324を実機に搭載する必要はなく、その場合、生産コストの削減および軽量化が可能となる。
【0036】
以上により、画像補正装置301に読取画像x(i,j)、距離情報r、フィルタ強度bを入力することで、読取面から原稿までの距離情報rに適合するフィルタ係数g(k,l;r)を用いて、読取画像x(i,j)を補正する。こうして、補正した補正画像y(i,j)を得ることができる。
【0037】
図1で示した本実施の形態に係る画像読取装置201の一例を、図6から図9を参照して説明する。本実施の形態に係る画像読取装置201は、図6に示すように、大きく分けて、結像光学系1と、光源2と、天板3と、撮像素子部41,42,…と、メモリ5と、画像修正部61を有する処理装置6とを備える。この図6では、簡単のため、図示された構成の一部について、符号を省略している。また、図6では、図示されていないが、図7に示すように、画像の読み取りがなされる被写体である原稿7は、天板3上に載置される。
【0038】
図6に係る画像読取装置201において、原稿7の近傍に光源2が配置され、原稿7にて反射した光が入射可能なように結像光学系1が配置され、当該結像光学系1に対応して撮像素子部41,42,…が適宜配置される。このような画像読取装置201は、主走査方向(X方向)211に沿って、原稿7の画像を読み取り、さらに主走査方向211に直交する副走査方向(Y方向)212に原稿7をスキャンして、原稿7における全画像の読み取りを行う。なお、原稿7とは、厚みのある被読取物、例えば、文章、書画、写真や、通常の被読取物、例えば、紙幣が該当する。つまり、印刷するもとになったり、真贋の判定に使用されたり、電子ファイルとして使用されたりするものが、原稿7に相当する。
【0039】
上述したように、原稿7は、原稿載置部材としての天板3に載置される。天板3は、例えば、透明体からなり、一般に、ガラスが用いられる。照明用の光源2は、例えば、蛍光灯、LEDからなり、天板3の下方であって原稿7の読み取りに支障が生じない箇所に配置される。この光源2は、原稿7上の読み取り位置に存在する被撮像部31,32,…に、照明光線221を照射する。なお、この光源2は、図6では、副走査方向212において結像光学系1の片側にのみ配置されているが、これに限定されるものではなく、両側に配置してもよい。
【0040】
また、図6では、被撮像部31,32、…は、説明上、および、視覚上の理解を容易にするために、短冊状の枠で囲って図示しているが、特に構造物は存在しない。また、説明上、主走査方向211に沿って、被撮像部31,33,…が配列されるラインを読み取りライン8とし、被撮像部32,34,…が配列されるラインを読み取りライン9とする。
【0041】
結像光学系1は、被撮像部31,32,…で反射した、光源2からの照明光線221の散乱光を集光し、画像として結像する。このような結像光学系1は、複数のセル11,12,…を備える。各セル11,12,…は、それぞれ独立した結像光学系であり、主走査方向211に複数個配置される。さらに、副走査方向212には、セル11,12,…は、第1列215(系列1)および第2列216(系列2)の2列に分けて配列される。本実施の形態では、セル11,13,15,…が第1列215に属し、セル12,14,…が第2列216に属する。
【0042】
また、同列に配置される各セルは、原稿7から各セルへ向かう光線のうちの主光線が、互いに平行となるように配置されている。即ち、第1列215に属する各セル11,13,15,…の光軸11a,13a,15a,…が互いに平行となるように、各セル11,13,15,…は設けられ、第2列216に属する各セル12,14,…の光軸12a,14a,…が互いに平行となるように、各セル12,14,…は設けられる。さらに、副走査方向212におけるセル11,12の組、セル12,13の組、セル13,14の組、…の各組で結像画像が補間可能なように、第1列215および第2列216の各セル11,12,13,…は、主走査方向211にて千鳥状に配置されている。
【0043】
一方、副走査方向212において、本実施の形態では、図8に示すように、各セル11,12,13,…における光軸が天板3に対して傾斜している。即ち、第1列215に属するセル11,13,…における光軸11a,13a,…と、第2列216に属するセル12,14,…における光軸12a,14a,…とは、互いの隙間側へ傾斜した状態にて、第1列215のセル11,13,…と、第2列216のセル12,14,…とが配置されている。具体的には、本実施の形態では、第1列215に属するセル11,13,…がX軸(主走査方向211)周りに−(負)設定角度にて傾斜しており、第2列216に属するセル12,14,…がX軸周りに+(正)設定角度にて傾斜している。なお、図8では、第1列215についてセル13を、第2列216についてセル14をそれぞれ代表として図示しており、セル13の光軸L1とセル14の光軸L2とが天板3の上面3a(以下、天板上面3aと記すこともある)にて交差する場合を図示している。
【0044】
各セル11,12,13,…を構成する光学系要素の配置と光路について説明する。図7(a)は、主走査方向211において第1列215に属するセル11,13,15,…の結像光学系要素と、主要光路とを示し、図7(b)は、主走査方向211において第2列216に属するセル12,14,…の結像光学系要素と、主要光路とを示した図である。図8は、副走査方向212においてセル13とセル14とを重ね書きした状態にて、結像光学系要素と主要光路とを示した図である。
【0045】
図7に示すように、各セル11,12,13,…は、同一の構成を有するため、ここでは、代表してセル11を例に説明する。セル11は、第1光学素子として機能する一例である第1レンズ100と、絞りとして機能する一例であるアパーチャ101と、これらを保持する保持具103とを備える。
【0046】
第1レンズ100は、セル11における光軸11aの方向において、セル11のほぼ中央部に配置され、本実施の形態では、図7に示すように凸レンズからなる。アパーチャ101は、光軸11aに直交する方向において第1レンズ100の両側で第1レンズ100を支持し、第1レンズ100の中央部分に開口部を有する。よって、被撮像部31で反射した、光源2の照明光線221の散乱光は、アパーチャ101の開口部を通して第1レンズ100に入射され、第1レンズ100から出射される。
【0047】
撮像素子部41,42,…は、各セル11,12,13,…に対応して基板4上に配置される。つまり、第1列215に属するセル11,13,…に対応して撮像素子部41,43,…が配置され、第2列216に属するセル12,14,…に対応して撮像素子部42,44,…が配置される。各撮像素子部41,42,…は、例えば、CCD(Charge Coupled Device)からなる受光部が主走査方向211に複数個配列されて構成されたもの、さらには、上記受光部が副走査方向212に複数列にて配置されて構成されたものが該当する。よって、各撮像素子部41,42,…には、原稿7を反射散乱し、結像光学系1の各セル11,12,13,…を通過した光線が入射し結像する。
【0048】
図7に示すように、本実施の形態では、各セル11,12,13,…を通過する原稿画像は、それぞれに対応する撮像素子部41,42,…上に反転像が作られる。転写倍率は、1より大きい(拡大する)場合でも、1より小さい(縮小する)場合でも構わないが、等倍にしておくと、一般に流通している解像度のセンサを流用できるというメリットがある。
【0049】
メモリ5は、撮像素子部41,42,…上に結像した、原稿7の被撮像部31,32,…における画像信号を一時的に保存する。画像修正部61を有する処理装置6は、メモリ5から画像信号を読出し、被撮像部31,32,…の画像を復元する。画像修正部61を備える処理装置6については、後に詳しく説明する。なお、メモリ5とが画像の処理装置6とは、図6ではそれぞれ別のものとして図示しているが、同一基板上に一体となって配置されていても構わない。
【0050】
次に、本のような原稿を例に取り、本実施の形態に係る画像読取装置201の動作を説明するとともに、画像読取装置201の特徴の一つである、大きな被写界深度を有する点について、図7および図8を用いて説明する。その後に、処理装置6について詳しく説明する。
【0051】
図7に示すように、主走査方向(X方向)211に沿って配置される各セル11,12,13,…に対して、焦点方向(Z方向)213の位置が変化する原稿7が、天板3に載置されているとする。つまり、主走査方向211において、原稿7の撮像面の焦点方向213の位置は変化しているものとする。なお、セル13とセル14との読み取り範囲が重複する図8に係る高さ位置71に、各セル11,12,…の焦点位置に対する原稿面の高さ位置(以下、原稿位置と記すこともある)があるものとする。
【0052】
ここでは、仮に天板上面3aが焦点位置(ジャストフォーカス)となるように、各セル11,12,13,…を設計した場合について説明する。画像のぼやけ補正を行わない場合、本実施の形態に係る画像読取装置201の被写界深度は、セルの被写界深度でほぼ決定される。セルの被写界深度は、セル内の光学系の設計によって決定される。また、被写界深度は、光学系のF値でほぼ決定される。1つのセルの視野を大きくする場合には、当該セルが備えるレンズを非球面形状にしたり、複数のレンズを用いたりするなどして収差を十分に補正する必要がある。例えば、600dpiの分解能が必要な場合、あくまで目安ではあるが、F値=10で、およそ±1mmの被写界深度、F=20でおよそ±2mmの被写界深度が得られる。
【0053】
なお、図7および図8では、天板上面3aでジャストフォーカスとなるように図示しているが、必ずしもこの限りではない。例えば、F=10の光学系において、仮に、天板上面3aから1mmの上方位置にジャストフォーカスとなるように天板3を配置すれば、±2mmの被写界深度を十分に使うことができる。以下、具体例として、F=10でおよそ±1mmの被写界深度を持ち、天板上面3aに焦点位置がある場合について説明する。この場合、光学系のみによる被写界深度は、天板上面3aから1mmまでの範囲となる。
【0054】
原稿位置(高さ位置71)の一点で反射され、セル13に入射した光線は、図8に示すように、撮像素子部43の光入射面にて一点に集光されず、焦点ぼけを起こす。セル14に入射した光線も同様に、撮像素子部44の光入射面にて一点に集光されず、焦点ぼけを起こす。天板上面3aと原稿位置(高さ位置71)との焦点方向(Z方向)213における距離が1mm以内であれば、上記焦点ぼけは、許容範囲内に収まる。言い換えると、原稿位置(高さ位置71)からの点像の半径が許容錯乱円の半径以内にあるとも言える。
【0055】
一方、天板上面3aと原稿位置(高さ位置71)との焦点方向(Z方向)213における距離が1mmを超えると、その点像の広がり(点像分布関数)が許容錯乱円の半径を超えてしまい、目標の解像度を達成できないことになる。1mmを越えた位置に置かれた原稿7の転写画像は、ぼやけた画像になるが、そのぼやけた画像から画像処理によって元の画像を復元する技術、つまり、画像ぼやけ補正処理技術が存在している。ここで、従来の画像ぼやけ補正処理技術について簡単に説明する。
【0056】
従来の画像ぼやけ補正の画像処理を実行するに際して、上記点像分布関数が分かっていれば、分からない場合よりも有利に画像ぼやけ補正処理を実行することができる。その点像分布関数は、原稿位置(高さ位置71)によって、一意的に決まり、図18に示すように、実測もでき、また、光線追跡シミュレーションによる計算によって求めることもできる。すなわち、天板上面3aと原稿位置(高さ位置71)との距離が分かれば、点像分布関数が分かり、画像ぼやけ補正処理が容易になる。画像ぼやけ補正処理が実行でき、画像処理後の解像度が上がることは、光学系だけで定まる1mmの被写界深度を超えても合焦画像が得られることなる。換言すると、実質的に大きな被写界深度を有することになる。
【0057】
しかしながら、点像分布関数を用いた従来のぼやけ補正処理は大変効果のある処理であるが、離散データに対する信号処理特有の問題点があり、補正画像中に弊害を伴うことがほとんどであった。また、計算量が莫大となるため、ハードウェアロジックで実現しても、現実的な処理量を満たすことは困難であった。そのような問題を解決するため、本実施の形態では、処理装置6は、画像復元する際に天板上面3aから原稿位置(高さ位置71)までの距離に基づく距離情報を出力する。図3に示したように、画像補正装置301が、その距離情報を利用して補正処理を行うため、処理量が少なく、かつ、効果的なぼやけ補正処理を行うことができる。
【0058】
図3に係る補正処理を実現するため、図6に係る画像読取装置201は、本実施の形態では、異なる系列、つまり、係る第1列215と第2列216とに属し隣接するセル、例えば、セル11とセル12とで得られた画像を復元する。その復元の際、副走査方向212における二枚の画像を合わせるときのシフト量から、天板上面3aから原稿位置(高さ位置71)までの焦点方向(Z方向)213の距離を算出する。このような画像読取装置201による本処理は、図1に係る距離情報計測部334が距離情報を検出する動作に相当する。以下、これについて詳細に説明する。
【0059】
図9は、図8に示す天板3近傍のみを拡大した図であり、光線については、光軸L1,L2のみを示している。この図9では、高さ位置71と別の高さ位置72も図示した。また、光軸L1は、第1列215に属するセル13の光軸であり、光軸L2は、第2列216に属するセル14の光軸である。図9では、二つの光軸L1,L2が、天板上面3aで交差する場合を図示しているが、必ずしも天板3の上面3aで交差する必要はない。上面3aから上方に、ある距離だけ離れた位置で交差してもよいし、上面3aから下方に、ある距離だけ離れた位置で交差しても構わない。二つの光軸が副走査方向212において平行でないという点が重要である。図9に示す例では、光軸L1,L2は、天板3の垂線に対して±θの角度にて傾斜している。
【0060】
天板上面3aでは、二つの光軸L1,L2のY方向(副走査方向212)における間隔はゼロである。一方、上面3aよりZ方向(焦点方向213)に距離Δz1だけ離れた高さ位置71における二つの光軸L1,L2のY方向の間隔ΔY1は、2×Δz1×tanθと表せる。
【0061】
すなわち、天板上面3aに原稿7が位置する場合には、撮像素子部43と撮像素子部44とで得られる各画像の副走査方向212(Y方向)の位置ずれはゼロである。一方、原稿7の被撮像部が、高さ位置71に存在する場合には、撮像素子部43と撮像素子部44とで得られる2枚の画像には、副走査方向212にΔY1の位置ずれが生じる。同様に、原稿7の被撮像部が、高さ位置72に存在する場合には、撮像素子部43と撮像素子部44とで得られる2枚の画像には、副走査方向212にΔY2(2×Δz2×tanθ)の位置ずれが生じる。以下、Δz1およびΔz2を区別しないときには、まとめてΔzと記すこともある。
【0062】
本実施の形態では、処理装置6は、画像復元の際に、上記間隔であるずれ量ΔY1(ΔY2)を求め、さらに、その量に基づいて、天板上面3aから原稿位置までの距離Δz1(Δz2)を算出する。そして、画像補正装置301は、求めた距離Δz1(Δz2)に基づく距離情報rを元に、ぼやけ補正処理を行う。これにより、画像補正装置301は、光学系が有する1mmの被写界深度よりも大きな被写界深度を画像読取装置201に実質的に持たせることができる。
【0063】
次に、図10を用いて、画像修正部61を有する処理装置6により実行される画像復元処理について詳しく説明する。ここでは、説明を簡素化するため、図6に示したセル11,12,…のうちの4つのセルからなる画像読取装置を例に採り説明する。そして、その4つのセルと、その4つのセルに対応する撮像素子部とをまとめて、以下、セルC0〜C3と記すこともある。図10に係るセルC0,C2は、図6に係る第1列215に属し、図10に係るセルC1,C3が、図6に係る第2列216に属するものとする。
【0064】
画像復元処理の手順を図11に示す。ステップS1にて、結像光学系1を副走査方向212に移動(スキャン)しながら読み取った原稿画像は、例えば、黒補正、白補正の処理が施される。その後、ステップS2にて、その原稿画像を、例えば、フレームメモリからなるメモリ5に格納する。セルC0〜C3毎に読み取られた原稿画像は、それぞれ反転像となっているため、ステップS3では、原稿7と同じ向きになるように並べ替えを行う。その後、ステップS4にて、隣接するセルの画像間の結合位置をライン単位で検出し、当該検出した位置で画像の結合を行う。ステップS5にて、画像の繋ぎ目が目立たないように、繋ぎ目の平滑化処理を行う。最後に、ステップS6では、ステップS5で復元した原稿画像を読取り結果として出力する。
【0065】
なお、本実施の形態では、ステップS3で、一旦、メモリ5内に格納したデータに対して並べ替え処理を行うが、メモリ5からデータを読み出す際のアドレスを変更することで、データの順序を入れ替えるように構成してもよい。また、メモリ5として、フレームメモリの代わりに、ラインメモリを用いてもよい。この場合、撮像素子部からの読出しのときに、1ライン分のデータをラインメモリに格納し、最後に格納したデータから順に1ライン遅延で出力することにより、データの順序を入れ替えるように構成する。このように、必ずしも、上述したフレームメモリを用いた並べ替え処理を用いる必要はない。また、メモリ5として、フレームメモリの代わりに、処理に最低限必要なライン数のメモリを用いて逐次復元した画像を出力するようにしてもよい。以上のように、図6および図10に係るメモリ5は、フレームメモリに限定されるものではない。
【0066】
図12に示すように、焦点位置に原稿7の被撮像部が存在する場合について、ステップS4にて実行される結合位置検出/画像結合処理について説明する。このときの各セルC0〜C3から得られる画像を図13に示す。なお、この図13に係る画像は、すでに、ステップS3に係る並び替えの処理は施されているものとする。
【0067】
各セルC0〜C3のセル、および、撮像素子部は、それぞれで取得される画像が、主走査方向211において互いに一部が重なるように配置されている。よって、隣接するセル同士で取得した各画像の端部では、同じ画像が含まれる。この重複して読み取られた領域を用いて、隣接セルによる画像間において対応する位置を求める。対応する位置の検出は、各セルC0〜C3の端部で、各ラインにおいて行う。それから、求めた結果を元に、両画像をつなぎ合わせることにより、原稿画像を復元する。
【0068】
図14を用いて、ステップS4にて実行される結合位置の検出処理について説明する。まず、図14に示すように、セルC0にて得られた画像の中からラインL0を選択する。選択したラインL0上の画素(xa,ya)を中心とするN×M画素の領域を領域Aとする。この領域Aに含まれる画像の輝度値からベクトルデータA=(a0,a1,…,an)を作成する。同様に、セルC0に隣接するセルC1内の画素(xb、yb)を中心とするN×M画素の領域Bを設定し、この領域に含まれる画像の輝度値からベクトルデータB=(B0,B1,…,Bn)を作成する。
【0069】
これらのベクトルデータA,Bから、領域Aと領域Bとの画像の一致度d(xb,yb)を、次式(6)により求める。一致度dは、2つのベクトルデータが近い(似ている)ほど、小さくなる。つまり、一致度dが小さいほど、領域Aと領域Bの画像の一致度合いが高い。
【0070】
【数6】
【0071】
領域Bの位置をセルC1の画像上で、x,y方向に変える。つまり、領域Bの中心画素(xa,yb)をx,y方向に変えながら、一致度d(xb,yb)を算出し、一致度dが最も小さくなる位置(xb_min,yb_min)を求める。こうして求めた領域Bは、領域Aと最も一致する。そして、セルC0の画像上の領域Aの中心画素(xa,ya)と、セルC1の画像上の領域Bの中心画素(xb_min,yb_min)とは、原稿7の同一部分から読み取られた画素となる。よって、セルC0のラインL0と繋がるセルC1のラインL1とは、次式(7)の関係となる。
【0072】
【数7】
【0073】
こうして、セルC0のラインL0と、それと繋がるセルC1のラインL1との関係が求まる。同様に、セルC1のラインL1と、それと繋がるセルC2のラインL2との関係を求め、セルC2のラインL2と、それと繋がるセルC3のラインL3との関係を求める。そして、各ラインデータを繋ぎ合わせることにより、1ライン分の原稿画像を復元する。ラインデータを繋ぎ合せる際には、領域A,Bの中心画素を境に、それぞれの隣接セル画像を繋いでもよい。以上のようにつなぎ合わせた場合には、繋ぎ目部分が目立つ可能性があるため、隣接セル画像の対応する画素の輝度値に所定の重み付けをして、加算する平滑化処理を行ってもよい。
【0074】
図15に、セルC0のラインL0と、セルC1のラインL1とを結合する場合の平滑化処理の一例を示す。図では、ラインL0上の画素a43は、ラインL1上の画素b2に対応している。同様に、ラインL0上の画素a44,a45,a46は、ラインL1上の画素b3,b4,b5に対応している。ラインL0の各画素値に係数K0を乗じた値と、ラインL1の各画素値に係数K1を乗じた値とを加算することにより、結合結果を得る。係数K0,K1は、上記重み付けを行うための係数であり、対応する画素画素の係数値を換算すると1.0となるようにそれぞれ設定されている。また、それぞれの係数は、セル端部から平滑化領域の手前までは0.0で、平滑化領域内では、0.0から1.0まで徐々に変化し、その他の領域では1.0となっている。このような重み付け加算により、繋ぎ目が目立つことなく、隣接セルの画像を繋ぎ合わせることができる。
【0075】
セルC0からセルC3までの1ライン分の結合が終わったら、再びセルC0に戻り、前回選択したラインL0の次の行であるラインL0+1を選択し、前回と同様の処理を行う。この処理を最後の行まで繰り返し行い、1フレーム分の画像を復元する。
【0076】
図12に示すように、各セルC0〜C3の焦点位置に原稿7の被撮像部が存在する場合には、第1列215(系列1)の各セルC0,C2と、第2列216(系列2)の各セルC1,C3とは、原稿7の同じ被撮像部をほぼ同じタイミングで読み取る。よって、ラインL0,L1,L2,L3は、読取り画像の先頭から数えてほぼ同じ行になる。仮にずれが生じていても、図6に係るセル11,12,…や撮像素子部41,42,…の取り付けの際の誤差によるものであると考えられる。
【0077】
一方、図16に示すように、原稿7の被撮像部が焦点位置から1mm離れた位置にある場合には、第1列215(系列1)に属するセルC0,C2と、第2列(系列2)に属するセルC1,C3とが原稿7を読み取る位置にずれが生じる。例えば、結像光学系1が副走査方向212に移動しながら、図16の位置Pの原稿面を読み取る場合、まず、系列1に属するセルC0,C2がPの位置を読取り、その後、しばらくしてから、系列2に属するセルC1,C3がPの位置を読み取る。
【0078】
こうして画像が読取られると、図12に示すように、系列2に属するセルC1,C3による読取画像は、系列1に属するC0,C2による読取画像に比べて図12の下方向にずれる。このような場合においても、隣接セルに読み取られた画像間で一致する位置をライン単位で求めながら結合処理をしていくことにより、ずれのない原稿画像を復元することができる。
【0079】
なお、上記焦点位置は、上述の説明では天板3の上面3aに設定されている場合を例にとるが、これに限ったものではなく、結像光学系1の構成より上面3a以外の位置に設定することも可能である。セル11,12,…を含む結像光学系1の焦点位置は、予め分かっており、処理装置6内に格納されている。
【0080】
また、以下に説明する動作を、当該処理装置6が備える画像修正部61が実行する。隣接するセルCNと、それと結合されるセルCN+1との間の図16の上下方向のずれ量が、セルCNとセルCN+1との焦点位置(読取面である上面3aの位置)から原稿面までの距離に対応する。ここでいう原稿面とは、原稿7の被撮像部31,32,…が存在する部分に相当する。
【0081】
厳密には、各セル11,12,…や、撮像素子部41,42,…の取り付け精度があるため、各セルC0〜C3の読取り画像の上下方向には、元々ずれが生じている。そこで、予め、斜め格子などのテストパターン原稿を焦点位置において読み取り、読み取った画像から各セル間の初期ずれ量を求め、記憶しておく。そして、上記初期ずれ量をオフセットとして、読み取った原稿7の画像から差し引くことで、真の原稿面までの距離Δzを求めることができる。
【0082】
すなわち、各セル画像の結合時に、各ラインの結合部で原稿面までの距離Δzを求めることができるので、副走査方向212の1ラインごと、換言すれば、主走査方向211にはセルC0〜C4の間隔ごとに距離情報rが得られる。こうして、画像読取装置201内に組み込まれた距離情報計測部334が、本距離Δzを距離情報rとして、つまり、r=Δzとして出力する。そして、このような距離情報rを、画像補正装置301が備えるフィルタ基礎係数生成装置324に入力することにより、フィルタテーブル保存部323のテーブルを作成することが可能となる。また、テーブルがフィルタテーブル保存部323に記憶された後に、距離情報rを、画像補正装置301が備えるフィルタテーブル保存部323に入力することにより、画像読取装置201で読取った画像に対し、ぼやけにより劣化した画像を補正することができる。
【0083】
なお、焦点位置(上面3a)から上述の原稿面までの距離Δzは、隣接するセルC0〜C3同士の繋ぎ目部分でしか得られない。そこで、繋ぎ目と繋ぎ目との間の画素における上述の距離Δzを、一方の繋ぎ目におけるΔzと、別の繋ぎ目におけるΔzとの線形補間により推定するものであってもよい。
【0084】
以上説明したように、本実施の形態に係る画像補正装置301は、ブック型の原稿7から読み取られた、ぼやけが一様でない劣化画像が入力される。また、測距センサや画像読取装置201内に組み込まれた距離情報計測部334により検出され、原稿7と読取面(上面3a)との間の距離に基づく距離情報rが、画像補正装置301に入力される。画像補正装置301は、距離情報rに基づいて、適切なフィルタ基礎係数h(k,l;r)を選択し、当該選択したフィルタ基礎係数からフィルタ係数g(k,l)を作成する。そして、画像補正装置301は、そのフィルタ係数を用いて、上述の劣化画像を補正する。
【0085】
なお、本実施の形態に係る画像補正装置301は、図11のステップS4の結合位置検出処理から得られる距離情報Δzを用いてぼやけ補正処理を実行することから、図11で示す画像復元処理結果に対してぼやけ補正処理を実行することとなる。しかしながら、図11のステップS4の結合位置検出処理から得られる距離情報Δzを用い、画像補正装置301でぼやけ補正処理を行ったのち、図11のステップS4の結合処理を行ってもよい。さらに図11のステップS4の結合位置検出/結合処理後、画像補正装置301でぼやけ補正処理を行い、図11のステップS5の結合部平滑化処理を行ってもよい。また、画像補正装置301でぼやけ補正処理を行った後、再度図11のステップS4の結合位置検出を行ってもよい。この場合、ぼやけ補正がなされた画像を用いることから、結合位置検出の精度がよくなるため、距離情報Δzの算出も精度が向上する。すなわち、再度画像補正装置301でぼやけ補正処理を実行すれば、ぼやけ補正精度がさらに向上する可能性がある。
【0086】
こうして、本実施の形態に係る画像補正装置301によれば、距離情報rに基づく補正処理を行うため、厚みのある原稿7の画像に対して、精度良く補正処理を行うことができる。また、フィルタテーブル保存部323に記憶したフィルタ基礎係数を用いるため、原稿7を読取るたびに、フィルタ基礎係数を算出する必要がない。そのため、少ない計算量で補正処理を行うことができる。また、本実施の形態では、フィルタ基礎係数生成装置324を備える構成としたが、仮に、フィルタ基礎係数生成装置324を省いた構成にすれば、画像補正装置301の軽量化も実現することができる。
【0087】
また、本実施の形態に係る画像補正装置301によれば、劣化検出部331およびフィルタ基礎係数作成部332およびフィルタテーブル作成部333を備える。そのため、画像および距離情報を画像読取装置201で読み取る毎に、フィルタテーブル保存部323に記憶されたテーブルを更新することが可能である。
【0088】
なお、以上のような画像補正方法をコンピュータに実行させるプログラムであっても、上述と同様の効果を得ることができる。また、そのプログラムを格納した記録媒体であって、上述のコンピュータがプログラムを読取り可能な記録媒体であっても、上述と同様の効果を得ることができる。
【図面の簡単な説明】
【0089】
【図1】実施の形態1に係る画像補正装置と画像読取装置の関係を示すブロック図である。
【図2】実施の形態1に係る画像補正装置と画像読取装置の関係を示すブロック図である。
【図3】実施の形態1に係る画像補正装置の構成を示すブロック図である。
【図4】実施の形態1に係る画像補正装置の構成を示すブロック図である。
【図5】実施の形態1に係る画像補正装置の構成を示すブロック図である。
【図6】実施の形態1に係る画像読取装置の構成を示す斜視図である。
【図7】実施の形態1に係る画像読取装置の構成を示す図である。
【図8】実施の形態1に係る画像読取装置の構成を示す図である。
【図9】実施の形態1に係る画像読取装置の構成を示す図である。
【図10】実施の形態1に係る画像読取装置の構成を示す図である。
【図11】実施の形態1に係る画像読取装置の動作を示すフローチャートである。
【図12】実施の形態1に係る画像読取装置の構成を示す図である。
【図13】実施の形態1に係る画像読取装置の動作を示す図である。
【図14】実施の形態1に係る画像読取装置の動作を示す図である。
【図15】実施の形態1に係る画像読取装置の動作を示す図である。
【図16】実施の形態1に係る画像読取装置の構成を示す図である。
【図17】実施の形態1に係る画像読取装置の動作を示す図である。
【図18】従来の画像補正装置の動作を示す図である。
【符号の説明】
【0090】
1 結像光学系、2 光源、3 天板、3a 上面、4 基板、5 メモリ、6 処理装置、7 原稿、8,9 ライン、11〜15 セル、11a〜15a 光軸、31〜34 被撮像部、41〜44 撮像素子部、61 画像修正部、71,72 高さ位置、100 レンズ、101 アパーチャ、103 保持具、201 画像読取装置、211 主走査方向、212 副走査方向、213 焦点方向、215 第1列、216 第2列、221 照明光線、301 画像補正装置、321 画像補正部、322 フィルタ係数作成部、323 フィルタテーブル保存部、324 フィルタ基礎係数生成装置、331 劣化検出部、332 フィルタ基礎係数作成部、333 フィルタテーブル作成部、334 距離情報計測部、401 画像撮像装置。
【技術分野】
【0001】
本発明は、静止画が入力される複写機、スキャナ、ファクシミリ等に用いられる、入力画像の画像補正装置、および、画像補正方法、および、プログラム、および、記録媒体に関する発明である。
【背景技術】
【0002】
従来、複写機、スキャナ、ファクシミリなどの装置に搭載されている画像読取装置を用いて、厚みのある書物やブック型原稿(以下、原稿と記すこともある)を読取る際に、原稿が読取面から浮くことがある。この状況下で原稿を読取ると、読取った画像のうち綴じ代部分に対応する部分がぼやける。部分的にぼやけて劣化した読取画像を補正する機能については、種々の提案がなされている。例えば、特許文献1には、ぼやけ画像1枚のみから信号処理により劣化を検出し、検出結果を元に画像を補正する発明が開示されている。
【0003】
【特許文献1】特許第4043499号公報(第4頁、第4図)
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1の発明によれば、ぼやけにより劣化した画像から、積和演算や差分絶対値演算により相関関数を計算し、ぼやけを検出しているが、本計算は莫大な計算量を必要とし、大変効率が悪いという問題があった。また、画像1枚につき1つの補正フィルタが算出されるが、厚みのある書物を読取った場合に起きるぼやけは、読取った画像の中で、綴じ代周辺部分に対応する部分で徐々に変化している。そのため、特許文献1のように、画像1枚から1つの補正フィルタを算出する手法では、画像を精度良く補正することは困難であるという問題があった。
【0005】
本発明は、上記のような問題点を解決するためになされたものであり、ブック型原稿から読取られ、劣化が一様でないぼやけ画像に対して、少ない計算量で高精度な補正処理を可能にする画像補正装置および画像補正方法およびプログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る画像補正装置は、被写体から読取られた画像を補正する画像補正装置であって、前記被写体と読取面との間の距離に基づく距離情報と、フィルタ基礎係数とが予め対応して記憶され、外部から入力された前記距離情報に対応する前記フィルタ基礎係数を出力するフィルタテーブル保存部を備える。そして、前記フィルタテーブル保存部が出力した前記フィルタ基礎係数と、外部から入力されたフィルタ強度とに基づくフィルタ係数を出力するフィルタ係数作成部と、前記フィルタ係数作成部が出力した前記フィルタ係数を用いて、前記画像を補正する画像補正手段とを備える。
【発明の効果】
【0007】
本発明の画像補正装置によれば、距離情報に基づく補正処理を行うため、厚みのある原稿の画像に対して、精度良く補正処理を行うことができる。また、フィルタテーブル保存部に記憶したフィルタ基礎係数を用いるため、被写体を読取るたびに、フィルタ基礎係数を算出する必要がない。そのため、少ない計算量で補正処理を行うことができる。
【発明を実施するための最良の形態】
【0008】
<実施の形態1>
図1〜図4を用いて本実施の形態に係る画像補正装置の一例について説明する。図1は、本実施の形態に係る画像補正装置周辺の構成を示すブロック図である。本実施の形態に係る画像補正装置301は、被写体から読取られた画像(以下、読取画像と記すこともある)を補正する。ここで、被写体は、本実施の形態では、厚みのあるブック型原稿であるものとする。
【0009】
図1に示すように、本実施の形態に係る画像補正装置301には、例えば、画像読取装置201から出力され、ぼやけにより劣化を受けた読取画像が入力される。また、画像補正装置301には、画像読取装置201内の距離情報計測部334から出力される距離情報が入力される。この距離情報は、原稿と読取面との間の距離に基づいて算出される値である。さらに、画像補正装置301には、フィルタ強度が入力される。このフィルタ強度は、例えば、画像補正装置301を用いるユーザー自身、もしくは、画像補正装置301をイメージングシステムに組み込む開発者・設計者により、予め設定される。こうして、図1に係る画像補正装置301は、ぼやけにより劣化した読取画像と、被写体と撮像面(読取面)との間の距離に基づく距離情報と、フィルタ強度とが入力され、補正した補正画像を外部に出力する。
【0010】
画像補正装置301周辺の構成は、図1に限ったものではなく、図2に示される構成であってもよい。図2にかかる構成は、例えば、デジタルスチルカメラで用いられるイメージングシステムにも対応可能である。図2にかかる構成では、図1に係る画像読取装置201の代わりに、上述の距離情報計測部334が設けられていない画像撮像装置401と、距離情報計測部334とが設けられている。この距離情報計測部334は、例えば、測距センサで構成される。図2に係る画像補正装置301も、図1に係る画像補正装置301と同様、ぼやけにより劣化した読取画像と、被写体と撮像面(読取面)との間の距離に基づく距離情報と、フィルタ強度とが入力され、補正した補正画像を外部に出力する。
【0011】
次に、本実施の形態に係る画像補正装置301の構成を図3を参照しながら説明する。なお、図1のような距離情報計測部334が設けられた画像読取装置201の詳細な構成・動作については、画像補正装置301を説明した後に、図6〜図18を用いて説明する。
【0012】
図3は、画像補正装置301を示すブロック図である。画像補正装置301は、画像補正部321と、フィルタ係数作成部322と、フィルタテーブル保存部323と、後で図示するフィルタ基礎係数生成部とを備える。フィルタテーブル保存部323は、被写体であるブック型原稿と読取面との間の距離に基づく距離情報rと、フィルタ基礎係数h(k,l)とが予め対応して記憶されている。そして、フィルタテーブル保存部323は、外部、例えば、距離情報計測部334から入力された距離情報rに対応するフィルタ基礎係数h(k,l)を選択し、当該選択したフィルタ基礎係数をフィルタ係数作成部322に出力する。
【0013】
フィルタテーブル保存部323が記憶しているh(k,l)そのものは、距離情報rの関数ではないが、フィルタテーブル保存部323は、距離情報rに対応するフィルタ基礎係数を出力する。そのため、以下、フィルタテーブル保存部323が出力するフィルタ基礎係数をh(k,l;r)と記す。
【0014】
フィルタ係数作成部322は、フィルタテーブル保存部323が出力したフィルタ基礎係数h(k,l;r)と、外部から入力されたフィルタ強度bとに基づいて、フィルタ係数を生成し、当該生成したフィルタ係数g(k,l;r)を出力する。換言すれば、本実施の形態に係るフィルタ係数作成部322は、フィルタテーブル保存部323が出力したフィルタ基礎係数h(k,l;r)と、外部のから入力されたフィルタ強度bとに基づくフィルタ係数g(k,l;r)を出力する。なお、以下、簡単のため、フィルタ係数g(k,l;r)を、g(k,l)と略して記す。フィルタ係数作成部322から出力されたフィルタ係数g(k,l)は、画像補正部321に入力される。
【0015】
画像補正手段である画像補正部321は、フィルタ係数作成部322が出力したフィルタ係数g(k,l)を用いて、画像読取装置201または画像撮像装置401からの画像x(i,j)を補正する。最後に、画像補正部321は、読取画像x(i,j)を補正してなる画像y(i,j)を外部に出力する。こうして、画像補正装置301は、補正画像y(i,j)を外部に出力する。
【0016】
次に、動作について詳しく説明する。まず、画像補正部321での補正処理と、フィルタ係数作成部322でのフィルタ係数の作成方法について、上述の図3を用いて説明する。その後、フィルタテーブル保存部323に保存されているフィルタ基礎係数のテーブルh(k,l;r)の作成方法について、図4および図5を用いて説明する。
【0017】
画像補正部321に入力される読取画像をx(i,j)とし、画像補正部321に入力されて補正フィルタとなるフィルタ係数をg(k,l)とした場合、画像補正部321は、次式(1)により与えられる補正画像y(i,j)を出力する。
【0018】
【数1】
【0019】
ただし、Kは、補正フィルタの垂直方向の次数に関する係数、Lは、補正フィルタの水平方向の次数に関する係数を示している。kは、−KからKまでの2K+1個の値をとり、lは、−LからLまでの2L+1個の値をとる。この次数に関する係数K,Lは、後述するが、画像のぼやけ幅を示す値であり、図4もしくは図5で示すフィルタ基礎係数生成装置324における劣化検出部331の出力値である。
【0020】
いま、フィルタ係数作成部322に入力されるフィルタ基礎係数をh(k,l;r)とする。rは、被写体である原稿と読取面との間の距離に基づく距離情報である。フィルタ係数作成部322に入力されるフィルタ強度をbと定義すると、フィルタ係数作成部322は、次式(2)で計算されるフィルタ係数g(k,l)を出力する。
【0021】
【数2】
【0022】
フィルタテーブル保存部323には、距離情報rと、フィルタ基礎係数h(k,l)とを予め対応付けしてなるテーブルが記憶されている。フィルタテーブル保存部323は、距離情報計測部334からの距離情報rに対応させたフィルタ基礎係数h(k,l;r)を出力する。
【0023】
次に、フィルタ基礎係数生成装置324により、フィルタテーブル保存部323に記憶されるテーブルを作成する方法について図4および図5を用いて説明する。図4および図5は、本実施の形態に係る画像補正装置301が備えるフィルタ基礎係数生成装置324の周辺の構成を示すブロック図である。図4に示すように、本実施の形態に係る画像補正装置301は、劣化検出部331と、フィルタ基礎係数作成部332と、フィルタテーブル作成部333とを備える。なお、本実施の形態に係る画像補正装置301は、図3で示したように、画像補正部321と、フィルタ係数作成部322とを備えるが、図4、図5では省略している。なお、図4,図5に係る構成は、図1,図2に係る構成に対応しているが、図4に係る構成の動作は、図5に係る構成の動作と実質的に同じである。
【0024】
フィルタ基礎係数生成装置324の劣化検出部331には、読取面と原稿とをある距離で一定に保った状態の読取画像が入力される。劣化検出部331では、特許文献1に記載された画像の劣化を検出する処理を適用することにより、劣化に関する相関関係から、画像の劣化であるぼやけ幅を検出する。以下、劣化検出部331が検出した垂直方向のぼやけ幅を次数に関する係数K、水平方向のぼやけ幅を次数に関する係数Lと呼ぶこともある。こうして、劣化検出手段である劣化検出部331は、画像の劣化である次数に関する係数K,Lを検出する。
【0025】
劣化検出手段331から出力された次数に関する係数K,Lは、フィルタ基礎係数作成部332に入力される。本実施の形態に係るフィルタ基礎係数作成手段であるフィルタ基礎係数作成部332は、劣化検出部331で検出された次数に関する係数K,Lに基づいて、フィルタ基礎係数h(k,l)を生成する。本実施の形態に係るフィルタ基礎係数作成部332には、次数に関する係数K,L以外に、打切り微小係数e、フィルタ形状が入力される。このフィルタ基礎係数h(k,l)の算出方法については後述する。フィルタ基礎係数作成部332は、算出したフィルタ基礎係数h(k,l)をフィルタテーブル作成部333に出力する。
【0026】
本実施の形態に係るフィルタテーブル作成部333には、フィルタ基礎係数h(k,l)が入力されるとともに、原稿と読取面との間の距離に基づく距離情報rが入力される。このフィルタテーブル作成部333は、フィルタ基礎係数作成部332で生成されたフィルタ基礎係数h(k,l)に、外部、例えば、距離情報計測部334から入力された距離情報rを対応させてなるテーブルを作成し、フィルタテーブル保存部323に与える。フィルタテーブル保存部323は、与えられたテーブルを保存し、その後、そのテーブルに基づいて、フィルタ基礎係数h(k,l;r)を出力する。次に、各構成について詳しく説明する。
【0027】
まず、フィルタ基礎係数作成部332の動作について説明する。フィルタ基礎係数h(k,l)を作成するために、劣化検出部331から出力された次数に関する係数(垂直方向の次数に関する係数K,水平方向の次数に関する係数L)と、外部からのフィルタ形状と、外部からの打切り微小係数eとが、フィルタ基礎係数作成部332に入力される。本実施の形態では、垂直方向の次数に関する係数をK、水平方向の次数に関する係数をLとし、フィルタ形状を2次元ガウス型関数とし、打切り微小係数をe(定数)として説明する。
【0028】
フィルタ形状である2次元ガウス型関数hg(k,l;σv,σh)は、次式(3)のように、垂直方向の1次元ガウス型数hv(k;σv)と、水平方向の1次元ガウス型関数hh(l;σh)との積で表すことができる。
【0029】
【数3】
【0030】
なお、σvおよびσhは、標準偏差と呼ばれる未知パラメータであり、劣化検出部331から入力される次数に関する係数K,Lと、打切り微小係数eにより決定される。次に、これら標準偏差σv,σhの決定方法について説明する。
【0031】
ガウス型関数は、[−∞,∞]で定義され、±∞に向かって減衰する関数である。そのため、次数で定まる範囲内(k=−K〜K,l=−L〜L)で、あまりにも小さい値をとる2次元ガウス型関数hgをフィルタ基礎係数h(k,l)の係数に採用しても、画像のフィルタリング結果に影響を与えない。そこで、k=−K〜K,l=−L〜Lの範囲で、hv(k;σv),hh(l;σh)が打切り微小係数e以上となる2次元ガウス型関数hgを採用する。具体的には、次式(4)を満たす標準偏差σvおよびσhを求め、求まった標準偏差σvおよびσhを用いて、式(3)を計算するように設計する。
【0032】
【数4】
【0033】
式(4)は、未知パラメータである標準偏差σvおよびσhに関して非線型方程式であることから、ニュートン法を用いて求めることができる。こうして求まった標準偏差σvおよびσhを用い、次数に関する係数KおよびLの有限の範囲で式(3)を計算することにより、k=±K,l=±Lに向かって減衰し、打切り微小係数eの2乗を最小値に有する有限2次元ガウス型関数hg(k,l;σv,σh)を求めることができる。ここで、フィルタ係数の総和は1とならなければならないことから、フィルタ基礎係数作成部332は、次式(5)で定義される正規化処理を行ったh(k,l)をフィルタ基礎係数として出力する。
【0034】
【数5】
【0035】
本実施の形態に係る画像補正装置301は、以上のような動作を行うフィルタ基礎係数生成装置324と、フィルタテーブル保存部323とを備える。そのため本実施の形態に係る画像補正装置301と、画像読取装置201とを組み込んだ実機であれば、画像および距離情報を画像読取装置201で読み取る毎に、フィルタテーブル保存部323に上述のテーブルを記憶させることが可能である。しかしながら、図3で説明した補正処理は、フィルタテーブル保存部323にテーブルが保存されていれば、フィルタ基礎係数生成装置324がオフラインであっても処理可能である。そのため、フィルタテーブル保存部323に、テーブルを随時記憶および変更する必要がなければ、フィルタ基礎係数生成装置324を実機に搭載する必要はなく、その場合、生産コストの削減および軽量化が可能となる。
【0036】
以上により、画像補正装置301に読取画像x(i,j)、距離情報r、フィルタ強度bを入力することで、読取面から原稿までの距離情報rに適合するフィルタ係数g(k,l;r)を用いて、読取画像x(i,j)を補正する。こうして、補正した補正画像y(i,j)を得ることができる。
【0037】
図1で示した本実施の形態に係る画像読取装置201の一例を、図6から図9を参照して説明する。本実施の形態に係る画像読取装置201は、図6に示すように、大きく分けて、結像光学系1と、光源2と、天板3と、撮像素子部41,42,…と、メモリ5と、画像修正部61を有する処理装置6とを備える。この図6では、簡単のため、図示された構成の一部について、符号を省略している。また、図6では、図示されていないが、図7に示すように、画像の読み取りがなされる被写体である原稿7は、天板3上に載置される。
【0038】
図6に係る画像読取装置201において、原稿7の近傍に光源2が配置され、原稿7にて反射した光が入射可能なように結像光学系1が配置され、当該結像光学系1に対応して撮像素子部41,42,…が適宜配置される。このような画像読取装置201は、主走査方向(X方向)211に沿って、原稿7の画像を読み取り、さらに主走査方向211に直交する副走査方向(Y方向)212に原稿7をスキャンして、原稿7における全画像の読み取りを行う。なお、原稿7とは、厚みのある被読取物、例えば、文章、書画、写真や、通常の被読取物、例えば、紙幣が該当する。つまり、印刷するもとになったり、真贋の判定に使用されたり、電子ファイルとして使用されたりするものが、原稿7に相当する。
【0039】
上述したように、原稿7は、原稿載置部材としての天板3に載置される。天板3は、例えば、透明体からなり、一般に、ガラスが用いられる。照明用の光源2は、例えば、蛍光灯、LEDからなり、天板3の下方であって原稿7の読み取りに支障が生じない箇所に配置される。この光源2は、原稿7上の読み取り位置に存在する被撮像部31,32,…に、照明光線221を照射する。なお、この光源2は、図6では、副走査方向212において結像光学系1の片側にのみ配置されているが、これに限定されるものではなく、両側に配置してもよい。
【0040】
また、図6では、被撮像部31,32、…は、説明上、および、視覚上の理解を容易にするために、短冊状の枠で囲って図示しているが、特に構造物は存在しない。また、説明上、主走査方向211に沿って、被撮像部31,33,…が配列されるラインを読み取りライン8とし、被撮像部32,34,…が配列されるラインを読み取りライン9とする。
【0041】
結像光学系1は、被撮像部31,32,…で反射した、光源2からの照明光線221の散乱光を集光し、画像として結像する。このような結像光学系1は、複数のセル11,12,…を備える。各セル11,12,…は、それぞれ独立した結像光学系であり、主走査方向211に複数個配置される。さらに、副走査方向212には、セル11,12,…は、第1列215(系列1)および第2列216(系列2)の2列に分けて配列される。本実施の形態では、セル11,13,15,…が第1列215に属し、セル12,14,…が第2列216に属する。
【0042】
また、同列に配置される各セルは、原稿7から各セルへ向かう光線のうちの主光線が、互いに平行となるように配置されている。即ち、第1列215に属する各セル11,13,15,…の光軸11a,13a,15a,…が互いに平行となるように、各セル11,13,15,…は設けられ、第2列216に属する各セル12,14,…の光軸12a,14a,…が互いに平行となるように、各セル12,14,…は設けられる。さらに、副走査方向212におけるセル11,12の組、セル12,13の組、セル13,14の組、…の各組で結像画像が補間可能なように、第1列215および第2列216の各セル11,12,13,…は、主走査方向211にて千鳥状に配置されている。
【0043】
一方、副走査方向212において、本実施の形態では、図8に示すように、各セル11,12,13,…における光軸が天板3に対して傾斜している。即ち、第1列215に属するセル11,13,…における光軸11a,13a,…と、第2列216に属するセル12,14,…における光軸12a,14a,…とは、互いの隙間側へ傾斜した状態にて、第1列215のセル11,13,…と、第2列216のセル12,14,…とが配置されている。具体的には、本実施の形態では、第1列215に属するセル11,13,…がX軸(主走査方向211)周りに−(負)設定角度にて傾斜しており、第2列216に属するセル12,14,…がX軸周りに+(正)設定角度にて傾斜している。なお、図8では、第1列215についてセル13を、第2列216についてセル14をそれぞれ代表として図示しており、セル13の光軸L1とセル14の光軸L2とが天板3の上面3a(以下、天板上面3aと記すこともある)にて交差する場合を図示している。
【0044】
各セル11,12,13,…を構成する光学系要素の配置と光路について説明する。図7(a)は、主走査方向211において第1列215に属するセル11,13,15,…の結像光学系要素と、主要光路とを示し、図7(b)は、主走査方向211において第2列216に属するセル12,14,…の結像光学系要素と、主要光路とを示した図である。図8は、副走査方向212においてセル13とセル14とを重ね書きした状態にて、結像光学系要素と主要光路とを示した図である。
【0045】
図7に示すように、各セル11,12,13,…は、同一の構成を有するため、ここでは、代表してセル11を例に説明する。セル11は、第1光学素子として機能する一例である第1レンズ100と、絞りとして機能する一例であるアパーチャ101と、これらを保持する保持具103とを備える。
【0046】
第1レンズ100は、セル11における光軸11aの方向において、セル11のほぼ中央部に配置され、本実施の形態では、図7に示すように凸レンズからなる。アパーチャ101は、光軸11aに直交する方向において第1レンズ100の両側で第1レンズ100を支持し、第1レンズ100の中央部分に開口部を有する。よって、被撮像部31で反射した、光源2の照明光線221の散乱光は、アパーチャ101の開口部を通して第1レンズ100に入射され、第1レンズ100から出射される。
【0047】
撮像素子部41,42,…は、各セル11,12,13,…に対応して基板4上に配置される。つまり、第1列215に属するセル11,13,…に対応して撮像素子部41,43,…が配置され、第2列216に属するセル12,14,…に対応して撮像素子部42,44,…が配置される。各撮像素子部41,42,…は、例えば、CCD(Charge Coupled Device)からなる受光部が主走査方向211に複数個配列されて構成されたもの、さらには、上記受光部が副走査方向212に複数列にて配置されて構成されたものが該当する。よって、各撮像素子部41,42,…には、原稿7を反射散乱し、結像光学系1の各セル11,12,13,…を通過した光線が入射し結像する。
【0048】
図7に示すように、本実施の形態では、各セル11,12,13,…を通過する原稿画像は、それぞれに対応する撮像素子部41,42,…上に反転像が作られる。転写倍率は、1より大きい(拡大する)場合でも、1より小さい(縮小する)場合でも構わないが、等倍にしておくと、一般に流通している解像度のセンサを流用できるというメリットがある。
【0049】
メモリ5は、撮像素子部41,42,…上に結像した、原稿7の被撮像部31,32,…における画像信号を一時的に保存する。画像修正部61を有する処理装置6は、メモリ5から画像信号を読出し、被撮像部31,32,…の画像を復元する。画像修正部61を備える処理装置6については、後に詳しく説明する。なお、メモリ5とが画像の処理装置6とは、図6ではそれぞれ別のものとして図示しているが、同一基板上に一体となって配置されていても構わない。
【0050】
次に、本のような原稿を例に取り、本実施の形態に係る画像読取装置201の動作を説明するとともに、画像読取装置201の特徴の一つである、大きな被写界深度を有する点について、図7および図8を用いて説明する。その後に、処理装置6について詳しく説明する。
【0051】
図7に示すように、主走査方向(X方向)211に沿って配置される各セル11,12,13,…に対して、焦点方向(Z方向)213の位置が変化する原稿7が、天板3に載置されているとする。つまり、主走査方向211において、原稿7の撮像面の焦点方向213の位置は変化しているものとする。なお、セル13とセル14との読み取り範囲が重複する図8に係る高さ位置71に、各セル11,12,…の焦点位置に対する原稿面の高さ位置(以下、原稿位置と記すこともある)があるものとする。
【0052】
ここでは、仮に天板上面3aが焦点位置(ジャストフォーカス)となるように、各セル11,12,13,…を設計した場合について説明する。画像のぼやけ補正を行わない場合、本実施の形態に係る画像読取装置201の被写界深度は、セルの被写界深度でほぼ決定される。セルの被写界深度は、セル内の光学系の設計によって決定される。また、被写界深度は、光学系のF値でほぼ決定される。1つのセルの視野を大きくする場合には、当該セルが備えるレンズを非球面形状にしたり、複数のレンズを用いたりするなどして収差を十分に補正する必要がある。例えば、600dpiの分解能が必要な場合、あくまで目安ではあるが、F値=10で、およそ±1mmの被写界深度、F=20でおよそ±2mmの被写界深度が得られる。
【0053】
なお、図7および図8では、天板上面3aでジャストフォーカスとなるように図示しているが、必ずしもこの限りではない。例えば、F=10の光学系において、仮に、天板上面3aから1mmの上方位置にジャストフォーカスとなるように天板3を配置すれば、±2mmの被写界深度を十分に使うことができる。以下、具体例として、F=10でおよそ±1mmの被写界深度を持ち、天板上面3aに焦点位置がある場合について説明する。この場合、光学系のみによる被写界深度は、天板上面3aから1mmまでの範囲となる。
【0054】
原稿位置(高さ位置71)の一点で反射され、セル13に入射した光線は、図8に示すように、撮像素子部43の光入射面にて一点に集光されず、焦点ぼけを起こす。セル14に入射した光線も同様に、撮像素子部44の光入射面にて一点に集光されず、焦点ぼけを起こす。天板上面3aと原稿位置(高さ位置71)との焦点方向(Z方向)213における距離が1mm以内であれば、上記焦点ぼけは、許容範囲内に収まる。言い換えると、原稿位置(高さ位置71)からの点像の半径が許容錯乱円の半径以内にあるとも言える。
【0055】
一方、天板上面3aと原稿位置(高さ位置71)との焦点方向(Z方向)213における距離が1mmを超えると、その点像の広がり(点像分布関数)が許容錯乱円の半径を超えてしまい、目標の解像度を達成できないことになる。1mmを越えた位置に置かれた原稿7の転写画像は、ぼやけた画像になるが、そのぼやけた画像から画像処理によって元の画像を復元する技術、つまり、画像ぼやけ補正処理技術が存在している。ここで、従来の画像ぼやけ補正処理技術について簡単に説明する。
【0056】
従来の画像ぼやけ補正の画像処理を実行するに際して、上記点像分布関数が分かっていれば、分からない場合よりも有利に画像ぼやけ補正処理を実行することができる。その点像分布関数は、原稿位置(高さ位置71)によって、一意的に決まり、図18に示すように、実測もでき、また、光線追跡シミュレーションによる計算によって求めることもできる。すなわち、天板上面3aと原稿位置(高さ位置71)との距離が分かれば、点像分布関数が分かり、画像ぼやけ補正処理が容易になる。画像ぼやけ補正処理が実行でき、画像処理後の解像度が上がることは、光学系だけで定まる1mmの被写界深度を超えても合焦画像が得られることなる。換言すると、実質的に大きな被写界深度を有することになる。
【0057】
しかしながら、点像分布関数を用いた従来のぼやけ補正処理は大変効果のある処理であるが、離散データに対する信号処理特有の問題点があり、補正画像中に弊害を伴うことがほとんどであった。また、計算量が莫大となるため、ハードウェアロジックで実現しても、現実的な処理量を満たすことは困難であった。そのような問題を解決するため、本実施の形態では、処理装置6は、画像復元する際に天板上面3aから原稿位置(高さ位置71)までの距離に基づく距離情報を出力する。図3に示したように、画像補正装置301が、その距離情報を利用して補正処理を行うため、処理量が少なく、かつ、効果的なぼやけ補正処理を行うことができる。
【0058】
図3に係る補正処理を実現するため、図6に係る画像読取装置201は、本実施の形態では、異なる系列、つまり、係る第1列215と第2列216とに属し隣接するセル、例えば、セル11とセル12とで得られた画像を復元する。その復元の際、副走査方向212における二枚の画像を合わせるときのシフト量から、天板上面3aから原稿位置(高さ位置71)までの焦点方向(Z方向)213の距離を算出する。このような画像読取装置201による本処理は、図1に係る距離情報計測部334が距離情報を検出する動作に相当する。以下、これについて詳細に説明する。
【0059】
図9は、図8に示す天板3近傍のみを拡大した図であり、光線については、光軸L1,L2のみを示している。この図9では、高さ位置71と別の高さ位置72も図示した。また、光軸L1は、第1列215に属するセル13の光軸であり、光軸L2は、第2列216に属するセル14の光軸である。図9では、二つの光軸L1,L2が、天板上面3aで交差する場合を図示しているが、必ずしも天板3の上面3aで交差する必要はない。上面3aから上方に、ある距離だけ離れた位置で交差してもよいし、上面3aから下方に、ある距離だけ離れた位置で交差しても構わない。二つの光軸が副走査方向212において平行でないという点が重要である。図9に示す例では、光軸L1,L2は、天板3の垂線に対して±θの角度にて傾斜している。
【0060】
天板上面3aでは、二つの光軸L1,L2のY方向(副走査方向212)における間隔はゼロである。一方、上面3aよりZ方向(焦点方向213)に距離Δz1だけ離れた高さ位置71における二つの光軸L1,L2のY方向の間隔ΔY1は、2×Δz1×tanθと表せる。
【0061】
すなわち、天板上面3aに原稿7が位置する場合には、撮像素子部43と撮像素子部44とで得られる各画像の副走査方向212(Y方向)の位置ずれはゼロである。一方、原稿7の被撮像部が、高さ位置71に存在する場合には、撮像素子部43と撮像素子部44とで得られる2枚の画像には、副走査方向212にΔY1の位置ずれが生じる。同様に、原稿7の被撮像部が、高さ位置72に存在する場合には、撮像素子部43と撮像素子部44とで得られる2枚の画像には、副走査方向212にΔY2(2×Δz2×tanθ)の位置ずれが生じる。以下、Δz1およびΔz2を区別しないときには、まとめてΔzと記すこともある。
【0062】
本実施の形態では、処理装置6は、画像復元の際に、上記間隔であるずれ量ΔY1(ΔY2)を求め、さらに、その量に基づいて、天板上面3aから原稿位置までの距離Δz1(Δz2)を算出する。そして、画像補正装置301は、求めた距離Δz1(Δz2)に基づく距離情報rを元に、ぼやけ補正処理を行う。これにより、画像補正装置301は、光学系が有する1mmの被写界深度よりも大きな被写界深度を画像読取装置201に実質的に持たせることができる。
【0063】
次に、図10を用いて、画像修正部61を有する処理装置6により実行される画像復元処理について詳しく説明する。ここでは、説明を簡素化するため、図6に示したセル11,12,…のうちの4つのセルからなる画像読取装置を例に採り説明する。そして、その4つのセルと、その4つのセルに対応する撮像素子部とをまとめて、以下、セルC0〜C3と記すこともある。図10に係るセルC0,C2は、図6に係る第1列215に属し、図10に係るセルC1,C3が、図6に係る第2列216に属するものとする。
【0064】
画像復元処理の手順を図11に示す。ステップS1にて、結像光学系1を副走査方向212に移動(スキャン)しながら読み取った原稿画像は、例えば、黒補正、白補正の処理が施される。その後、ステップS2にて、その原稿画像を、例えば、フレームメモリからなるメモリ5に格納する。セルC0〜C3毎に読み取られた原稿画像は、それぞれ反転像となっているため、ステップS3では、原稿7と同じ向きになるように並べ替えを行う。その後、ステップS4にて、隣接するセルの画像間の結合位置をライン単位で検出し、当該検出した位置で画像の結合を行う。ステップS5にて、画像の繋ぎ目が目立たないように、繋ぎ目の平滑化処理を行う。最後に、ステップS6では、ステップS5で復元した原稿画像を読取り結果として出力する。
【0065】
なお、本実施の形態では、ステップS3で、一旦、メモリ5内に格納したデータに対して並べ替え処理を行うが、メモリ5からデータを読み出す際のアドレスを変更することで、データの順序を入れ替えるように構成してもよい。また、メモリ5として、フレームメモリの代わりに、ラインメモリを用いてもよい。この場合、撮像素子部からの読出しのときに、1ライン分のデータをラインメモリに格納し、最後に格納したデータから順に1ライン遅延で出力することにより、データの順序を入れ替えるように構成する。このように、必ずしも、上述したフレームメモリを用いた並べ替え処理を用いる必要はない。また、メモリ5として、フレームメモリの代わりに、処理に最低限必要なライン数のメモリを用いて逐次復元した画像を出力するようにしてもよい。以上のように、図6および図10に係るメモリ5は、フレームメモリに限定されるものではない。
【0066】
図12に示すように、焦点位置に原稿7の被撮像部が存在する場合について、ステップS4にて実行される結合位置検出/画像結合処理について説明する。このときの各セルC0〜C3から得られる画像を図13に示す。なお、この図13に係る画像は、すでに、ステップS3に係る並び替えの処理は施されているものとする。
【0067】
各セルC0〜C3のセル、および、撮像素子部は、それぞれで取得される画像が、主走査方向211において互いに一部が重なるように配置されている。よって、隣接するセル同士で取得した各画像の端部では、同じ画像が含まれる。この重複して読み取られた領域を用いて、隣接セルによる画像間において対応する位置を求める。対応する位置の検出は、各セルC0〜C3の端部で、各ラインにおいて行う。それから、求めた結果を元に、両画像をつなぎ合わせることにより、原稿画像を復元する。
【0068】
図14を用いて、ステップS4にて実行される結合位置の検出処理について説明する。まず、図14に示すように、セルC0にて得られた画像の中からラインL0を選択する。選択したラインL0上の画素(xa,ya)を中心とするN×M画素の領域を領域Aとする。この領域Aに含まれる画像の輝度値からベクトルデータA=(a0,a1,…,an)を作成する。同様に、セルC0に隣接するセルC1内の画素(xb、yb)を中心とするN×M画素の領域Bを設定し、この領域に含まれる画像の輝度値からベクトルデータB=(B0,B1,…,Bn)を作成する。
【0069】
これらのベクトルデータA,Bから、領域Aと領域Bとの画像の一致度d(xb,yb)を、次式(6)により求める。一致度dは、2つのベクトルデータが近い(似ている)ほど、小さくなる。つまり、一致度dが小さいほど、領域Aと領域Bの画像の一致度合いが高い。
【0070】
【数6】
【0071】
領域Bの位置をセルC1の画像上で、x,y方向に変える。つまり、領域Bの中心画素(xa,yb)をx,y方向に変えながら、一致度d(xb,yb)を算出し、一致度dが最も小さくなる位置(xb_min,yb_min)を求める。こうして求めた領域Bは、領域Aと最も一致する。そして、セルC0の画像上の領域Aの中心画素(xa,ya)と、セルC1の画像上の領域Bの中心画素(xb_min,yb_min)とは、原稿7の同一部分から読み取られた画素となる。よって、セルC0のラインL0と繋がるセルC1のラインL1とは、次式(7)の関係となる。
【0072】
【数7】
【0073】
こうして、セルC0のラインL0と、それと繋がるセルC1のラインL1との関係が求まる。同様に、セルC1のラインL1と、それと繋がるセルC2のラインL2との関係を求め、セルC2のラインL2と、それと繋がるセルC3のラインL3との関係を求める。そして、各ラインデータを繋ぎ合わせることにより、1ライン分の原稿画像を復元する。ラインデータを繋ぎ合せる際には、領域A,Bの中心画素を境に、それぞれの隣接セル画像を繋いでもよい。以上のようにつなぎ合わせた場合には、繋ぎ目部分が目立つ可能性があるため、隣接セル画像の対応する画素の輝度値に所定の重み付けをして、加算する平滑化処理を行ってもよい。
【0074】
図15に、セルC0のラインL0と、セルC1のラインL1とを結合する場合の平滑化処理の一例を示す。図では、ラインL0上の画素a43は、ラインL1上の画素b2に対応している。同様に、ラインL0上の画素a44,a45,a46は、ラインL1上の画素b3,b4,b5に対応している。ラインL0の各画素値に係数K0を乗じた値と、ラインL1の各画素値に係数K1を乗じた値とを加算することにより、結合結果を得る。係数K0,K1は、上記重み付けを行うための係数であり、対応する画素画素の係数値を換算すると1.0となるようにそれぞれ設定されている。また、それぞれの係数は、セル端部から平滑化領域の手前までは0.0で、平滑化領域内では、0.0から1.0まで徐々に変化し、その他の領域では1.0となっている。このような重み付け加算により、繋ぎ目が目立つことなく、隣接セルの画像を繋ぎ合わせることができる。
【0075】
セルC0からセルC3までの1ライン分の結合が終わったら、再びセルC0に戻り、前回選択したラインL0の次の行であるラインL0+1を選択し、前回と同様の処理を行う。この処理を最後の行まで繰り返し行い、1フレーム分の画像を復元する。
【0076】
図12に示すように、各セルC0〜C3の焦点位置に原稿7の被撮像部が存在する場合には、第1列215(系列1)の各セルC0,C2と、第2列216(系列2)の各セルC1,C3とは、原稿7の同じ被撮像部をほぼ同じタイミングで読み取る。よって、ラインL0,L1,L2,L3は、読取り画像の先頭から数えてほぼ同じ行になる。仮にずれが生じていても、図6に係るセル11,12,…や撮像素子部41,42,…の取り付けの際の誤差によるものであると考えられる。
【0077】
一方、図16に示すように、原稿7の被撮像部が焦点位置から1mm離れた位置にある場合には、第1列215(系列1)に属するセルC0,C2と、第2列(系列2)に属するセルC1,C3とが原稿7を読み取る位置にずれが生じる。例えば、結像光学系1が副走査方向212に移動しながら、図16の位置Pの原稿面を読み取る場合、まず、系列1に属するセルC0,C2がPの位置を読取り、その後、しばらくしてから、系列2に属するセルC1,C3がPの位置を読み取る。
【0078】
こうして画像が読取られると、図12に示すように、系列2に属するセルC1,C3による読取画像は、系列1に属するC0,C2による読取画像に比べて図12の下方向にずれる。このような場合においても、隣接セルに読み取られた画像間で一致する位置をライン単位で求めながら結合処理をしていくことにより、ずれのない原稿画像を復元することができる。
【0079】
なお、上記焦点位置は、上述の説明では天板3の上面3aに設定されている場合を例にとるが、これに限ったものではなく、結像光学系1の構成より上面3a以外の位置に設定することも可能である。セル11,12,…を含む結像光学系1の焦点位置は、予め分かっており、処理装置6内に格納されている。
【0080】
また、以下に説明する動作を、当該処理装置6が備える画像修正部61が実行する。隣接するセルCNと、それと結合されるセルCN+1との間の図16の上下方向のずれ量が、セルCNとセルCN+1との焦点位置(読取面である上面3aの位置)から原稿面までの距離に対応する。ここでいう原稿面とは、原稿7の被撮像部31,32,…が存在する部分に相当する。
【0081】
厳密には、各セル11,12,…や、撮像素子部41,42,…の取り付け精度があるため、各セルC0〜C3の読取り画像の上下方向には、元々ずれが生じている。そこで、予め、斜め格子などのテストパターン原稿を焦点位置において読み取り、読み取った画像から各セル間の初期ずれ量を求め、記憶しておく。そして、上記初期ずれ量をオフセットとして、読み取った原稿7の画像から差し引くことで、真の原稿面までの距離Δzを求めることができる。
【0082】
すなわち、各セル画像の結合時に、各ラインの結合部で原稿面までの距離Δzを求めることができるので、副走査方向212の1ラインごと、換言すれば、主走査方向211にはセルC0〜C4の間隔ごとに距離情報rが得られる。こうして、画像読取装置201内に組み込まれた距離情報計測部334が、本距離Δzを距離情報rとして、つまり、r=Δzとして出力する。そして、このような距離情報rを、画像補正装置301が備えるフィルタ基礎係数生成装置324に入力することにより、フィルタテーブル保存部323のテーブルを作成することが可能となる。また、テーブルがフィルタテーブル保存部323に記憶された後に、距離情報rを、画像補正装置301が備えるフィルタテーブル保存部323に入力することにより、画像読取装置201で読取った画像に対し、ぼやけにより劣化した画像を補正することができる。
【0083】
なお、焦点位置(上面3a)から上述の原稿面までの距離Δzは、隣接するセルC0〜C3同士の繋ぎ目部分でしか得られない。そこで、繋ぎ目と繋ぎ目との間の画素における上述の距離Δzを、一方の繋ぎ目におけるΔzと、別の繋ぎ目におけるΔzとの線形補間により推定するものであってもよい。
【0084】
以上説明したように、本実施の形態に係る画像補正装置301は、ブック型の原稿7から読み取られた、ぼやけが一様でない劣化画像が入力される。また、測距センサや画像読取装置201内に組み込まれた距離情報計測部334により検出され、原稿7と読取面(上面3a)との間の距離に基づく距離情報rが、画像補正装置301に入力される。画像補正装置301は、距離情報rに基づいて、適切なフィルタ基礎係数h(k,l;r)を選択し、当該選択したフィルタ基礎係数からフィルタ係数g(k,l)を作成する。そして、画像補正装置301は、そのフィルタ係数を用いて、上述の劣化画像を補正する。
【0085】
なお、本実施の形態に係る画像補正装置301は、図11のステップS4の結合位置検出処理から得られる距離情報Δzを用いてぼやけ補正処理を実行することから、図11で示す画像復元処理結果に対してぼやけ補正処理を実行することとなる。しかしながら、図11のステップS4の結合位置検出処理から得られる距離情報Δzを用い、画像補正装置301でぼやけ補正処理を行ったのち、図11のステップS4の結合処理を行ってもよい。さらに図11のステップS4の結合位置検出/結合処理後、画像補正装置301でぼやけ補正処理を行い、図11のステップS5の結合部平滑化処理を行ってもよい。また、画像補正装置301でぼやけ補正処理を行った後、再度図11のステップS4の結合位置検出を行ってもよい。この場合、ぼやけ補正がなされた画像を用いることから、結合位置検出の精度がよくなるため、距離情報Δzの算出も精度が向上する。すなわち、再度画像補正装置301でぼやけ補正処理を実行すれば、ぼやけ補正精度がさらに向上する可能性がある。
【0086】
こうして、本実施の形態に係る画像補正装置301によれば、距離情報rに基づく補正処理を行うため、厚みのある原稿7の画像に対して、精度良く補正処理を行うことができる。また、フィルタテーブル保存部323に記憶したフィルタ基礎係数を用いるため、原稿7を読取るたびに、フィルタ基礎係数を算出する必要がない。そのため、少ない計算量で補正処理を行うことができる。また、本実施の形態では、フィルタ基礎係数生成装置324を備える構成としたが、仮に、フィルタ基礎係数生成装置324を省いた構成にすれば、画像補正装置301の軽量化も実現することができる。
【0087】
また、本実施の形態に係る画像補正装置301によれば、劣化検出部331およびフィルタ基礎係数作成部332およびフィルタテーブル作成部333を備える。そのため、画像および距離情報を画像読取装置201で読み取る毎に、フィルタテーブル保存部323に記憶されたテーブルを更新することが可能である。
【0088】
なお、以上のような画像補正方法をコンピュータに実行させるプログラムであっても、上述と同様の効果を得ることができる。また、そのプログラムを格納した記録媒体であって、上述のコンピュータがプログラムを読取り可能な記録媒体であっても、上述と同様の効果を得ることができる。
【図面の簡単な説明】
【0089】
【図1】実施の形態1に係る画像補正装置と画像読取装置の関係を示すブロック図である。
【図2】実施の形態1に係る画像補正装置と画像読取装置の関係を示すブロック図である。
【図3】実施の形態1に係る画像補正装置の構成を示すブロック図である。
【図4】実施の形態1に係る画像補正装置の構成を示すブロック図である。
【図5】実施の形態1に係る画像補正装置の構成を示すブロック図である。
【図6】実施の形態1に係る画像読取装置の構成を示す斜視図である。
【図7】実施の形態1に係る画像読取装置の構成を示す図である。
【図8】実施の形態1に係る画像読取装置の構成を示す図である。
【図9】実施の形態1に係る画像読取装置の構成を示す図である。
【図10】実施の形態1に係る画像読取装置の構成を示す図である。
【図11】実施の形態1に係る画像読取装置の動作を示すフローチャートである。
【図12】実施の形態1に係る画像読取装置の構成を示す図である。
【図13】実施の形態1に係る画像読取装置の動作を示す図である。
【図14】実施の形態1に係る画像読取装置の動作を示す図である。
【図15】実施の形態1に係る画像読取装置の動作を示す図である。
【図16】実施の形態1に係る画像読取装置の構成を示す図である。
【図17】実施の形態1に係る画像読取装置の動作を示す図である。
【図18】従来の画像補正装置の動作を示す図である。
【符号の説明】
【0090】
1 結像光学系、2 光源、3 天板、3a 上面、4 基板、5 メモリ、6 処理装置、7 原稿、8,9 ライン、11〜15 セル、11a〜15a 光軸、31〜34 被撮像部、41〜44 撮像素子部、61 画像修正部、71,72 高さ位置、100 レンズ、101 アパーチャ、103 保持具、201 画像読取装置、211 主走査方向、212 副走査方向、213 焦点方向、215 第1列、216 第2列、221 照明光線、301 画像補正装置、321 画像補正部、322 フィルタ係数作成部、323 フィルタテーブル保存部、324 フィルタ基礎係数生成装置、331 劣化検出部、332 フィルタ基礎係数作成部、333 フィルタテーブル作成部、334 距離情報計測部、401 画像撮像装置。
【特許請求の範囲】
【請求項1】
被写体から読取られた画像を補正する画像補正装置であって、
前記被写体と読取面との間の距離に基づく距離情報と、フィルタ基礎係数とが予め対応して記憶され、外部から入力された前記距離情報に対応する前記フィルタ基礎係数を出力するフィルタテーブル保存部と、
前記フィルタテーブル保存部が出力した前記フィルタ基礎係数と、外部から入力されたフィルタ強度とに基づくフィルタ係数を出力するフィルタ係数作成部と、
前記フィルタ係数作成部が出力した前記フィルタ係数を用いて、前記画像を補正する画像補正手段とを備える、
画像補正装置。
【請求項2】
前記画像の劣化を検出する劣化検出手段と、
前記劣化検出手段で検出された劣化に基づいて、前記フィルタ基礎係数を生成するフィルタ基礎係数作成手段と、
前記フィルタ基礎係数作成手段で生成された前記フィルタ基礎係数に、外部から入力された前記距離情報を対応させてなるテーブルを作成し、前記フィルタテーブル保存部に与えるフィルタテーブル作成部とをさらに備える、
請求項1に記載の画像補正装置。
【請求項3】
被写体から読取られた画像を補正する画像補正方法であって、
(a)前記被写体と読取面との間の距離に基づく距離情報と、フィルタ基礎係数とが予め対応して記憶され、外部から入力された前記距離情報に対応する前記フィルタ基礎係数を選択する工程と、
(b)前記工程(a)で選択された前記フィルタ基礎係数と、外部から入力されたフィルタ強度とに基づくフィルタ係数を出力する工程と、
(c)前記工程(b)で出力された前記フィルタ係数を用いて、前記画像を補正する工程とを備える、
画像補正方法。
【請求項4】
(d)前記工程(a)前に、前記画像の劣化を検出する工程と、
(e)前記工程(a)前に、前記工程(d)で検出された劣化に基づいて、前記フィルタ基礎係数を生成する工程と、
(f)前記工程(a)前に、前記工程(e)で生成された前記フィルタ基礎係数に、外部から入力された前記距離情報を対応させてなるテーブルを作成し、前記工程(a)での利用に供する工程とをさらに備える、
請求項3に記載の画像補正方法。
【請求項5】
請求項3または請求項4に記載の画像補正方法をコンピュータに実行させる、
プログラム。
【請求項6】
請求項5のプログラムを格納した記録媒体であって、
前記コンピュータが前記プログラムを読取り可能な、
記録媒体。
【請求項1】
被写体から読取られた画像を補正する画像補正装置であって、
前記被写体と読取面との間の距離に基づく距離情報と、フィルタ基礎係数とが予め対応して記憶され、外部から入力された前記距離情報に対応する前記フィルタ基礎係数を出力するフィルタテーブル保存部と、
前記フィルタテーブル保存部が出力した前記フィルタ基礎係数と、外部から入力されたフィルタ強度とに基づくフィルタ係数を出力するフィルタ係数作成部と、
前記フィルタ係数作成部が出力した前記フィルタ係数を用いて、前記画像を補正する画像補正手段とを備える、
画像補正装置。
【請求項2】
前記画像の劣化を検出する劣化検出手段と、
前記劣化検出手段で検出された劣化に基づいて、前記フィルタ基礎係数を生成するフィルタ基礎係数作成手段と、
前記フィルタ基礎係数作成手段で生成された前記フィルタ基礎係数に、外部から入力された前記距離情報を対応させてなるテーブルを作成し、前記フィルタテーブル保存部に与えるフィルタテーブル作成部とをさらに備える、
請求項1に記載の画像補正装置。
【請求項3】
被写体から読取られた画像を補正する画像補正方法であって、
(a)前記被写体と読取面との間の距離に基づく距離情報と、フィルタ基礎係数とが予め対応して記憶され、外部から入力された前記距離情報に対応する前記フィルタ基礎係数を選択する工程と、
(b)前記工程(a)で選択された前記フィルタ基礎係数と、外部から入力されたフィルタ強度とに基づくフィルタ係数を出力する工程と、
(c)前記工程(b)で出力された前記フィルタ係数を用いて、前記画像を補正する工程とを備える、
画像補正方法。
【請求項4】
(d)前記工程(a)前に、前記画像の劣化を検出する工程と、
(e)前記工程(a)前に、前記工程(d)で検出された劣化に基づいて、前記フィルタ基礎係数を生成する工程と、
(f)前記工程(a)前に、前記工程(e)で生成された前記フィルタ基礎係数に、外部から入力された前記距離情報を対応させてなるテーブルを作成し、前記工程(a)での利用に供する工程とをさらに備える、
請求項3に記載の画像補正方法。
【請求項5】
請求項3または請求項4に記載の画像補正方法をコンピュータに実行させる、
プログラム。
【請求項6】
請求項5のプログラムを格納した記録媒体であって、
前記コンピュータが前記プログラムを読取り可能な、
記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2010−56992(P2010−56992A)
【公開日】平成22年3月11日(2010.3.11)
【国際特許分類】
【出願番号】特願2008−220806(P2008−220806)
【出願日】平成20年8月29日(2008.8.29)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成22年3月11日(2010.3.11)
【国際特許分類】
【出願日】平成20年8月29日(2008.8.29)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]