画像処理装置及び画像処理方法
【課題】 超解像処理を行う上で必要となる微小な位相ずれ画像データを複数フレーム分得るために、エリアセンサを傾けた画像処理装置は、複数フレーム分の斜め画像データが入力されるため、これらに斜行補正すると回路規模、メモリ容量、システム負荷がかかる。
【解決手段】 画素センサを２次元に配列することによって形成されたエリアセンサが基準となる設置位置に対して傾斜して取り付けられている画像処理装置であり、
エリアセンサの基準となる設置位置からの傾きを示す傾斜角度に基づき決まるエリアセンサ内に配置された画素センサから傾斜を補正した画像データを読み取るセンサによって原稿画像を１回走査し、１画素未満のずれを有する複数のフレーム分の画像データを取得する。この画像データを用いて補間処理を行い、画素センサの解像度より高い解像度の画像データを得る高解像度変換することを特徴とする。
【解決手段】 画素センサを２次元に配列することによって形成されたエリアセンサが基準となる設置位置に対して傾斜して取り付けられている画像処理装置であり、
エリアセンサの基準となる設置位置からの傾きを示す傾斜角度に基づき決まるエリアセンサ内に配置された画素センサから傾斜を補正した画像データを読み取るセンサによって原稿画像を１回走査し、１画素未満のずれを有する複数のフレーム分の画像データを取得する。この画像データを用いて補間処理を行い、画素センサの解像度より高い解像度の画像データを得る高解像度変換することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを読み取る画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、オフィスのネットワーク化及び取り扱われる文書のデジタル化、カラー化が進んでいる。
デジタル化により文書の加工、転送が容易となり業務の効率化が図られている。
また、カラー化によって見栄えとして美しく、効果的な文書が作成されている。
このような、文書のデジタル化、カラー化が進む中、画像処理装置である複合機には作成された画像データの効果的な取り込み及び出力性能が求められている。
【０００３】
画像データを入力するような複合機における読み取り装置の構成は、原稿画像データの取り込み、あるいは複写動作時の出力画像の画質に最も関係する要素である。
【０００４】
複合機における読み取り装置の構成として縮小光学系及び、密着光学系がある。
【０００５】
これらの光学系の読み取り解像度は、主走査方向に配置された画素センサに依存している。
この主走査方向に配置された画素センサ数によらず、解像度を向上させる処理として、「超解像度処理」という技術がある。
【０００６】
この技術については後述するが、超解像度処理は、読み取り装置が有するセンサの解像度で読み取った複数のフレーム分の画像データを用いて出力する画像の解像度を格段に向上させるものである。
超解像度処理技術を用いれば、例えば解像度３００ｄｐｉで読み取った複数枚の画像データを用いて解像度１２００ｄｐｉの画像データに成することが可能となる。
【０００７】
複数の画像データからその読み取り装置では得られない高解像度画像データを生成する超解像度処理の処理内容の詳細は、特許文献１に記載されている。
また、特許文献２には、画像サイズに応じて合成画像の基となる画像枚数を制御することで高解像度処理を実現することが記載されている。
これは画像サイズが小さい程、合成枚数を多くして制御するものである。
【特許文献１】ＷＯ２００４／０６８８６２
【特許文献２】特開２００６−０９２４５０
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、上述した超解像度処理を行うためには、まず読み取り装置が有するセンサの解像度で読み取った１枚分のフレーム画像を基準に、原稿画像の読み取り位置が微小にずれている複数フレーム分の画像データが必要となる。
【０００９】
つまり、基準となる画像データから主走査方向及び／又は副走査方向にセンサが読み取る原稿の位置が少しずつ、ずれている画像データが連続して複数フレーム分必要となる。
【００１０】
また、この複数の画像データを読み取る際に、隣り合ったセンサが得る画像データの間に存在する、原稿画像の読み取り位置のずれが主走査方向及び／又は副走査方向に１画素未満（サブピクセル）である必要がある。
【００１１】
超解像度処理によって生成する画像データの解像度が高いほど、この装置が有するセンサの解像度で読み取った画像データの必要フレーム数は多くなる。
【００１２】
複合機において超解像度処理を行うことが可能になれば、低解像度の読み取りデバイスを採用しながら読み取りデバイスを採用したのと同等の高解像度画像を得ることが可能となるが、このためには前記条件を満たす必要がある。
【００１３】
しかし、複合機、スキャナ等の複合機における読み取り装置は、一般的にはラインセンサが用いられている。
【００１４】
つまり、１回の読み取り動作により得られる読み取りフレーム数は１フレームである。
【００１５】
また、上述の読み取り装置は、主走査方向に画素の整数倍の距離を隔てて水平に配置されている画素センサ群を用いて原稿画像の読み取りを行っている。
このため、読み取られる画素の位置を主走査方向に微小（サブピクセル）にずらして原稿画像を読み取ることが出来ないという問題がある。
【課題を解決するための手段】
【００１６】
上述した課題を解決すべく、本発明の画像処理装置は、
画素センサを２次元に配列することによって形成されたエリアセンサが基準となる設置位置に対して傾斜して取り付けられている画像処理装置であり、
前記エリアセンサの基準となる設置位置からの傾きを示す傾斜角度に基づき決まる前記エリアセンサの内に配置された画素センサから前記傾斜を補正した画像データを読み取るセンサ手段、
前記センサ手段によって原稿画像を１回走査することで１画素未満のずれを有する複数のフレーム分の画像データを取得する画像データ取得手段、
該画像データ取得手段にて取得した複数の画像データを用いて補間処理を行うことで、前記画素センサの解像度より高い解像度の画像データを得る高解像度変換手段を有することを特徴とする。
【発明の効果】
【００１７】
本発明により、撮像素子としてエリアセンサを用いて、１回の読み取り動作により低解像度画像データを同時に複数読み取る画像処理装置及びその方法を提供することが可能になる。
これによって、画像処理装置において超解像度処理を行うことが可能になり、また、超解像度処理前に傾きのない画像データを提供することも可能になる。
【発明を実施するための最良の形態】
【００１８】
（一般的な読み取り装置の説明）
まず、一般的な画像読み取り装置の構成として縮小光学系の一例について説明する。
一般的に高性能な複合機においては、読み取り速度、読み取り解像度、及び読み取り画像データの画質などの性能を維持するため縮小光学系の構成が用いられる場合が多い。
【００１９】
また、縮小光学系の読み取り装置に用いられるデバイスはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である場合が多い。
【００２０】
図１０（ａ）に、縮小光学系の読み取り装置構成を示す。
同図において１００１は読み取り装置本体である。１００２は原稿画像を抑え、流し読みを行う時には原稿画像を原稿読み取り位置まで送るＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）として機能する。
【００２１】
１００３は原稿画像、１００４は原稿台読み取り時に原稿画像１００３を載せるガラス板である。１００５は原稿画像１００３を読み取る読み取りデバイスを含むユニットであり、原稿画像を撮像するデバイスを含んでいる。
１００６は光源であり、通常キセノン管などの白色光源が用いられる。
１００７〜１０１１はミラーであり、光源１００６から原稿画像に照射される光の反射光を撮像素子まで伝達する役割を持つ。
１０１２はミラー１０１１により反射された原稿画像からの反射光を撮像素子幅に集光するためのレンズである。
１０１３は撮像素子であり、縮小光学系においてはＣＣＤにより構成される。
【００２２】
次に、縮小光学系における原稿画像の読み取りプロセスを説明する。
光源１００６により原稿画像データ１００３に照射された光は、ガラス板１００４に載せられた原稿画像で反射され、ミラー１００７で受けられる。
ミラー１００７で反射される光の強度は、原稿画像に依存し原稿画像の輝度が高いほど光強度が強くなる。
【００２３】
つまり、原稿画像が反射率の高い白色である場合、一番光強度が高くなる。
ミラー１００７で受けられた光はミラー１００８、ミラー１００９、ミラー１０１０、ミラー１０１１にて順次反射されレンズ１０１２に出力される。
【００２４】
レンズ１０１２は、ミラー１０１１で反射される光を撮像素子１０１３の幅に合わせるために集光して出力する。
このように、原稿画像の反射光を複数のミラーで反射させ最終的にレンズで集光して撮像素子に入力する構成が、縮小光学系の特徴である。
【００２５】
縮小光学系の読み取り装置において、複数のミラーで光を反射する理由はＣＣＤの幅に合わせるために光路が必要となるからである。
例えば、５０ｍｍ幅のＣＣＤに原稿画像の光データを結像させるために必要な光路は少なくとも２００ｍｍ程度必要であることが知られている。
このように撮像素子のサイズに合わせて光路長が必要となる縮小光学系であるが、読み取り特性は非常に高い。
【００２６】
具体的には、原稿画像１００３がガラス板１００４に完全に密着していなくても、ピントの合った原稿画像を読み取ることが出来る。
このピントが合うために必要な距離は、被写界深度と呼ばれる。
この数値が大きいほど原稿画像１００３がガラス板１００４に対して完全に密着していない時にも、原稿画像の読み取りに対してある程度は支障を来たさない。
【００２７】
次に、撮像素子１０１３、すなわちＣＣＤデバイスの構成例を図１０（ｂ）、図１０（ｃ）に示す。
図１０（ｂ）は３ラインセンサの例であり、水平方向を主走査方向、垂直方向を副走査方向として図示している。
同図において、１０１３ａ、１０１３ｂ、１０１３ｃは、カラー画像を構成する３つの色信号を読み取るラインセンサであり、主走査方向にＨ画素で構成されるラインデータを読み取ることが出来る。
【００２８】
１０１３ｄ、１０１３ｅ、１０１３ｆは各色信号を読み取るラインセンサに含まれる画素センサを示している。
これは、読み取る色信号毎に水平方向に連続して並んで構成されている。
【００２９】
ＣＣＤデバイスの読み取り解像度は、各色信号毎に並んだ画素センサ数に依存する。
すなわち、Ｈの画素数が多いほど高解像度で画像データを読み取ることが可能となる。
【００３０】
例えば６００ｄｐｉの読み取り解像度を持つＣＣＤである場合、画素センサ間の距離は６００ｄｐｉの解像度に基づく距離となる。
【００３１】
読み取り解像度、すなわち画素センサ数はＣＣＤの単価に直接的な影響を及ぼす。
つまり、高解像度の画像データの読み取りを実現させるためには、単価が高くなったとしても画素センサ数が多いＣＣＤを使用して読み取り装置を構成しなければならない。
【００３２】
ＣＣＤデバイスの次の特徴は、各色信号を読み取るのラインセンサ間に距離が存在することである。
【００３３】
例えば、１０１３ａのラインセンサは、赤（以下Ｒと称する）の画像データを読み取るフィルタが構成されているセンサとする。
１０１３ｂのラインセンサは緑（以下Ｇと称する）の画像データを読み取るフィルタにより構成されているセンサであるとする。
【００３４】
この場合、ラインセンサ１０１３ａとラインセンサ１０１３ｂ間には、撮像素子として、センサ実装上の物理的な距離が存在する。
【００３５】
この距離をＬ（画素分）とすると、同じタイミングで読み取られたＲの画像データとＧの画像データには、副走査方向にＬ画素分のずれが生じることとなる。
【００３６】
同様に、１０１３ｃのラインセンサが青（以下Ｂと称する）の画像データを読み取るフィルタにより構成されている場合、同じタイミングで読み取られたＧの画像データとＢの画像データにはＬ（画素分）のずれが生じる。
【００３７】
Ｒの画像データとＢの画像データには２Ｌ（画素分）のずれが生じる。
各色信号を読み取るラインセンサ間の距離Ｌの影響は、読み取り装置で読み取られた画像データに対する画像処理部の構成に影響を及ぼす。
一般的な画像処理における処理単位はＲ、Ｇ、Ｂといった各色信号を読み取るラインセンサ単位ではなく、画素単位である。
【００３８】
また、読み取りデバイスユニット１００５が動作した際に機械的なズレが生じてしまい、各ラインセンサ間の距離Ｌを一定にすることが出来ないという問題がある。このズレは読み取り画像データの画像形成において色ズレとなって現れ、出力画像劣化に直結する。
【００３９】
したがって、高性能な複合機において適用されているＣＣＤのライン間Ｌは、２ライン（画素分）程度と非常に小さくなる。
【００４０】
次に、４ラインセンサの構成を持つＣＣＤに関して説明する。
図１０（ｃ）は４ラインセンサの構成を示す図であり、同図においても水平方向を主走査方向、垂直方向を副走査方向として図示している。
【００４１】
同図において、１０１３ｇ、１０１３ｈ、１０１３ｉはカラー画像を構成する３つの色信号を読み取るラインセンサであり、主走査方向にＨ画素で構成されるラインデータを読み取ることが出来る。
１０１３ｋ、１０１３ｌ、１０１３ｍは、各色信号を読み取るラインセンサに含まれる画素センサを示しており、読み取る色信号毎に水平方向に連続して並んで構成されている。
１０１３ｊは、モノクロ画像データを読み取るラインセンサであり、カラー画像を読み取るラインセンサと同様に主走査方向にＨ画素で構成されるラインデータを読み取ることが出来るものである。１０１３ｎは、モノクロ画像読み取り用の画素センサを示しており水平方向に連続して並んで構成されている。
【００４２】
４ラインセンサは３ラインセンサと比較して、カラー画像の読み取り時あるいはモノクロ画像の読み取り時に読み取りに使用されるセンサが異なるという差があるが、基本的な動作は３ラインセンサと比べて変わらない。
【００４３】
例えば、１０１３ｇのラインセンサをＲの画像データを読み取るフィルタが構成されているセンサとする。
同様に、１０１３ｈのラインセンサをＧの画像データを読み取るフィルタにより構成されているセンサ、１０１３ｉのラインセンサをＢの画像データを読み取るフィルタにより構成されているセンサとする。
この場合、カラー画像読み取り時において、ラインセンサ１０１３ｇ、ラインセンサ１０１３ｈ、ラインセンサ１０１３ｉを使用して原稿画像を読み取る。
各ラインセンサ間にはライン間Ｌが存在しているため、画像読み取り後の画像処理部にはライン間を補正して、画素単位の画像データにするためのメモリが必要となる。
【００４４】
モノクロ原稿読み取り時においては、前記カラー画像データの読み取りで使用されないラインセンサ１０１３ｊを使用して原稿画像を読み取る。
この場合、他のラインセンサとの依存関係はないため、読み取った画像データはライン間の補正は行われないまま、画像読み取り後の画像処理部で扱われることとなる。
【００４５】
なお４ラインセンサにおいても３ラインセンサと同様、ＣＣＤデバイスの読み取り解像度は色信号毎に並んだ画素センサ数に依存する。
すなわち、Ｈの画素数が多いほど高解像度で画像データを読み取ることが可能となる。
【００４６】
また、読み取り解像度、すなわち画素センサ数がＣＣＤの単価に直接的な影響を及ぼすことも同様である。高解像度の画像データの読み取りを実現させるためには単価が高くなったとしても画素センサ数が多いＣＣＤを使用して読み取り装置を構成しなければならない。
【００４７】
このように一般的な複合機の読み取り装置の構成は、上述した縮小光学系又は密着光学系のいずれかの構成を採用している。
そこで、これらに共通することは主走査方向に配置された画素センサ数に依存して読み取り解像度が決定することである。
【００４８】
一方、超解像度処理という技術がある。
超解像度技術とは、読み取り装置のセンサが有する解像度で読み取った複数の画像データを用いて元々持っていた画像データの解像度を格段に向上させるものである。
【００４９】
（超解像度処理について）
次に、超解像度処理技術について説明する。
図１１（ａ）が、読み取り装置で読み取られる画像データとする。
この画像データに対して、例えば解像度１２００ｄｐｉで読み取った場合の、画素構成を図１１（ｂ）に示す。
図１１（ｂ）において、１２０１で示した格子は読み取った解像度で構成する画素データを示すものとする。
つまり画素間の距離ｎは、解像度１２００ｄｐｉで読み取った場合の隣接する画素センサ間の距離に相当する 図１１（ｃ）において、読み取り装置が同一画像サイズの画像を解像度３００ｄｐｉで読み取った場合の画素構成を示す。
図１１（ｂ）と同様、１２０２で示した格子は読み取った解像度で構成する画素データを示すものとする。
したがって、解像度１２００ｄｐｉでの画素間の距離ｎを基準とすると、解像度３００ｄｐｉでの読み取りが行われた場合の画素間の距離は粗くなり、４ｎとなる。
【００５０】
読み取られた画像の再現力は解像度に比例するため、解像度１２００ｄｐｉで読み取られた画像データ（図１１（ｂ））と、解像度３００ｄｐｉで読み取られた画像データ（図１１（ｃ））をそのまま比較すると、画質の差は歴然となる。
【００５１】
超解像度処理は、この図１１（ｃ）相当の複数の画像データから図１１（ｂ）の画像データを生成する技術である。
この技術を用いれば、元々の読み取りデバイスが持つ解像度がそれほど高くなくても、高解像度デバイスと同等の読み取り画像を構成することが出来るようになる。
【００５２】
しかし、低解像度画像データから高解像度画像データ、又は更なる高解像度画像データを得るための「超解像度変換」処理を行うためにはある条件を満たす必要がある。
【００５３】
それは、まず読み取り装置のセンサ解像度で読み取られた原稿画像の画像データを基準に、読み取られる位置が主走査方向及び／又は副走査方向に微小にずれている原稿画像の画像データが複数画面（フレーム）分必要になる。
【００５４】
つまり、基準となる画像データから主走査方向及び／又は副走査方向にセンサが読み取る原稿画像の位置が少しずつ、ずれている画像データが連続して複数フレーム分必要となる。
【００５５】
また、この複数画面（フレーム）分の画像データを読み取る際に、隣り合ったセンサが得るフレーム画像データの間に存在する、原稿画像の読み取り位置のずれが主走査方向及び／又は副走査方向に１画素未満（サブピクセル）である必要がある。
この読み取り位置のずれは、整数倍の位置ずれをオフセット補正した結果残る、１画素未満のずれであってもよい。
【００５６】
以下、１画面（フレーム）で構成される原稿画像を走査した際に読み取られたデータであり、この１画面（フレーム）分の原稿画像を構成するデータを「フレーム画像データ」という。
【００５７】
また、原稿画像にて読み取られる位置を「位相」と言う。
また、この位相がずれることを「位相がずれる」と言い、読み取り位置のずれを「位相ずれ」と言う。
【００５８】
また、ここで使用する低解像度とは、３００ｄｐｉに限られてはおらず、装置が通常の印刷で出力する画像の解像度のことを表す。
また、ここでいう主走査方向とは、原稿台上に設置された原稿画像をスキャナで読み取る際、原稿画像に対してユニット１０５が移動する方向に対して垂直な方向である。
そして、図１１（ａ）の矢印（Ａ）示すように、この読み取られた原稿画像の横方向を「主走査方向」という。
またここでいう副走査方向とは、原稿台上に設置された原稿画像をスキャナで読み取る際、原稿画像に対してユニット１０５が移動する方向に対して平行な方向である。
そして、図１１（ａ）の矢印（Ｂ）に示すように、この読み取られた原稿画像の横方向を「副走査方向」という。
【００５９】
もちろん、主走査方向のみ位相ずれを持ったもの、あるいは副走査方向のみ位相ずれを持ったものでも高解像度化は可能である。
しかしこの場合は、位相ずれを持つ方向のみ高解像度化が図られることになる。
【００６０】
図１２（ａ）以降の図を用いて超解像度処理に必要となる条件を説明する。
図１２（ａ）は、図１１（ａ）の原稿画像データを解像度３００ｄｐｉで原稿画像データを読み取った時の画素構成を示す図である。
この図は原稿画像図１１（ａ）と同一である。
この読み取り画像データ図１２（ｂ）が、超解像度処理を行う１フレーム目の対象画像データとなり、これが基準画像データとなる。
【００６１】
次に、図１２（ｃ）に示すように、図１２（ａ）の原稿画像データを解像度３００ｄｐｉにて、基準画像データを主走査方向にΔｘ（Δｘ＜４ｎ）、副走査方向にΔｙ（Δｙ＜４ｎ）位相をずらして読み取る。
この場合、読み取られた画像データである図１２（ｄ）の位相が原稿画像データとは異なり、図中に示す主走査左方向にΔｘ、副走査上方向にΔｙずれたものとなる。
この読み取り画像データである図１２（ｄ）が、超解像度処理を行う２フレーム目の対象画像データとなる。
【００６２】
更に、図１２（ｅ）に示すように、図１２（ａ）の原稿画像データを３００ｄｐｉの解像度にて、基準画像データを主走査方向にΔｘ’（Δｘ’＜４ｎ、Δｘ＜Δｘ’）、副走査方向にΔｙ’（Δｙ’＜４ｎ、Δｙ＜Δｙ’）位相をずらして読み取る。
【００６３】
この場合、読み取られた画像データである図１２（ｆ）の位相が原稿画像データとは異なり、図中に示す主走査左方向にΔｘ´、副走査上方向にΔｙ’ずれたものとなる。
この読み取り画像データである図１２（ｆ）が、超解像度処理を行う３フレーム目の対象画像となる。
【００６４】
このような、基準画像データに対してそれぞれ異なる位相ずれを有する複数フレーム分低解像度画像データの読み取りデータが得られると、超解像度処理により高解像度化が可能となる。
【００６５】
図１３に３枚の低解像度画像データから高解像度画像データを構成する概念を示す。
これは基準画像データである図１３（ａ）と図１３（ｂ）、図１３（ｃ）・・・と、それぞれ異なる位相ずれを有する複数フレーム分の低解像度画像データに対して、超解像度処理を用いると図１３（ｄ）の画像データが得られることを示している。
この際行われる超解像度処理に関して図２６，２７を用いてさらに詳細に説明する。
【００６６】
図２６は超解像度処理に用いる低解像度画像データと超解像度処理後の画像データを示す図である。図２６では原稿画像と原稿をエリアセンサで読み取られて得られた基準低解像度画像データＦ０と対象低解像度画像データＦ１〜Ｆ３を示している。原稿画像を囲む点線矩形は基準低解像度画像データＦ０をエリアセンサで読み取った際の領域を示す。実線矩形は対象低解像度画像データＦ１〜Ｆ３のそれぞれをエリアセンサで読み取った際の領域を示す。
【００６７】
本実施形態では、主走査方向のずれ量を「ｕｍ」、副走査方向のずれ量を「ｖｍ」とそれぞれ表す。また、対象低解像度画像データＦｎ（ｎ＝１〜３）についてのこれらのずれ量を「ｕｍｎ」、「ｖｍｎ」と表す。例えば、図２６に示すように、対象低解像度画像データＦ１は、基準低解像度画像データＦ０に対して、副走査方向のずれが生じており、そのずれ量は、ｕｍ１、ｖｍ１と表される。
同様に、対象低解像度画像Ｆ２、Ｆ３についてもずれ量ｕｍ２、ｖｍ２及びｕｍ３、ｖｍ３と表される。
【００６８】
各対象低解像度画像データＦｎ（ｎ＝１〜３）についてのずれ量ｕｍｎ、ｖｍｎは基準低解像度画像データＦ０の画像データと対象低解像度画像データＦ１〜Ｆ３の画像データとに基づき算定される。算定には予めＲＯＭ２０３に記憶されたエリアセンサの傾き情報による所定の算出が用いられる。
【００６９】
本図２６では、模式的に各対象低解像度画像データのずれは１画素単位であるものとして示している。
しかし、本実施例のエリアセンサによる読み取りにおいては主走査方向と副走査方向に対して１画素未満の位相ずれが生じている。この微小なずれを利用することで前述したように画像の高解像度化が可能となる。
したがって、生成する超解像度処理画像データを構成する各画素（以下「生成画素」という）のうち基準低解像度画像データ及び対象低解像度画像データのいずれにも存在しない画素が存在する。
【００７０】
このような画素については、その生成画素の周辺に存在する画素の画素値を表す画素データを用いて、所定の補間処理を行うことにより、合成を行いつつ高解像度化を行う。補間処理としては、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の補間処理を用いることができる。
【００７１】
例えば、バイ・リニア法による補間処理を用いる場合について図２７を用いて説明する。まず、基準低解像度画像データ及び対象低解像度画像データから、生成画素１８０１の位置（ｘ，ｙ）に最も近い距離にある最近傍画素１８０２を抽出する。
【００７２】
そして、図２７の対象低解像度画像データから生成画素位置を囲む４つの画素を周辺画素１８０２〜１８０５として決定する。
そして、周辺画素のデータ値に所定の重み付けを加えた値を平均化して、以下の式により生成画素のデータ値を得る。
ｆ（ｘ，ｙ）＝［｜ｘ１―ｘ｜｛｜ｙ１−ｙ｜ｆ（ｘ０，ｙ０）＋｜ｙ−ｙ０｜ｆ（ｘ０，ｙ１）｝＋｜ｘ−ｘ０｜｛｜ｙ１−ｙ｜ｆ（ｘ，ｙ０）＋｜ｙ−ｙ０｜ｆ（ｘ１，ｙ１）｝］／｜ｘ１−ｘ０｜｜ｙ１−ｙ０｜
【００７３】
以上の処理を各生成画素位置について繰り返すことにより、例えば、図２６に示す解像度が２倍の超解像度画像を得ることができる。なお、解像度は２倍に限らず、種々の倍率とすることができる。また、補間処理に複数の低解像度画像データのデータ値を用いるほど、高精細な超解像度画像を得ることができる。
【００７４】
（第１実施例）
以下、図面を参照して第１実施例を詳細に説明する。
【００７５】
図１は、本実施例を適用した複合機の読み取り装置の一例を示す図である。
同図において、１０１は読み取り装置本体、１０２は原稿画像を抑え、流し読みを行う時には原稿画像画像を原稿読み取り位置まで送るＡＤＦ機能を有する。
１０３は原稿画像、１０４は原稿台読み取り時に原稿画像１０３を載せるガラス板である。
１０５は原稿画像１０３を読み取る読み取りデバイスを含むユニットであり、原稿画像を撮像するデバイスを含んでいる。
１０６は光源であり、キセノン管などの白色光源が用いられる。
１０７〜１１１はミラーであり、光源１０６から原稿画像に照射される光の反射光を、撮像素子まで伝達する役割を持つ。
１１２はミラー１１１により反射された原稿画像から反射光を撮像素子幅に集光するためのレンズである。
１１３は撮像素子であり、本実施例においてはエリアセンサで構成される。
【００７６】
エリアセンサとはデジタルカメラなどに適用されている撮像素子であり、上述したライン単位のセンサとは異なり、原稿画像データを読み取る画素センサが２次元的に配列されている。
【００７７】
図１４は、エリアセンサの構成を示す図である。同図において１４０１はエリアセンサデバイスを示している。
【００７８】
この１つ画素は、この１画素の画素センサを４等分してＲＧＢで構成されるカラー対応の画素センサであってもよい。
１４０２はエリアセンサ１４０１における画素センサを示しており、長辺方向にＨ画素、短辺方向にＬ画素の画素センサにより構成されている。
また、Ｈ画素＝Ｌ画素（長辺＝短辺）としてもよい。
このエリアセンサの解像度は画素センサ間の距離Ｎにより決定される。
【００７９】
高解像度のデジタルカメラに使用されているエリアセンサは、長辺方向画素センサ数、及び短辺方向画素センサ数として非常に多くの画素により構成されている。例えば、１，０００万画素クラスのデジタルカメラにおいては、長辺方向の画素センサとして３，８００画素、短辺方向の画素センサとして２，８００画素を有しているものがある。
【００８０】
一般的にエリアセンサをカメラ等に用いる際、エリアセンサは入力される画像データを２次元領域として捉え撮像する。
つまり、１回の撮像において２次元に配列した画素センサを用いて撮像する。エリアセンサデバイスを読み取り装置へ装着する際には、撮像した画像データを横方向、縦方向に歪みのない画像とするため、画素センサは傾斜なく配置される。
【００８１】
したがって撮像された画像を再現した場合、斜め方向には一切のずれがないように配置する。
例えば一般的なカメラ内にエリアセンサが取り付けられた場合、１４０３の黒枠で示すラインの画素センサで読み取る画像データは、撮像物の最上端部を構成する画像データとなる。
この際、読み取られた画像データはラインを構成する方向に傾きがないものとなる。
【００８２】
同様に、１４０４の黒枠で示すラインの画素センサで読み取る画像データは、１４０３で読み取った撮像物位置と異なる位置、すなわち垂直方向に下の位置の画像データである。よって、１４０５は１４０３で読み取った撮像位置よりも垂直方向に４つ下の位置の画像データとなる。
【００８３】
このように、デジタルカメラのエリアセンサを用いる際、画像データを２次元領域として撮像するため、エリアセンサを構成する画素センサは全て撮像物の異なる位置を撮像していることとなる。
【００８４】
しかしながら、本実施例にて用いる装置におけるエリアセンサの使用方法は、前記デジタルカメラでの使用方法とは異なる。
【００８５】
まず、図１４に示したエリアセンサを読み取り装置の基準となる設置位置に取り付ける。
【００８６】
一般的な印刷を行う画像処理装置では、
図１における原稿台１０４上にて、指定された位置に原稿画像を置いた時、原稿画像の下を原稿画像の縦方向と同じ方向に平行走行する光源から原稿画像に照射される光の反射光がセンサに集光される。この反射光がセンサに対して傾くことがないように取り込まれる。
光源が平行走査されることで得る１ライン分の画像データとしての反射光は、図１４に示すセンサの横方向（長辺方向）に平行に集光される。
【００８７】
このため、センサはほぼ傾斜なく原稿画像を取り込むことができる位置に設置される。
このように原稿画像の出力を実現するためのセンサの設置位置をセンサの「基準となる設置位置」とする。
【００８８】
本説明においては説明を簡略化するために、長辺方向に２０画素、短辺方向に１０画素の画素センサにより構成されているものとする。
もつろん、長辺方向＝短辺方向となる構造であってもよい。
なお、前記画素センサ数は本実施例におけるエリアセンサの用途及び構成の説明を行うためのものであり、図示した画素センサ数に制限されるものではない。
実際には、デジタルカメラで使用されている画素センサ数で構成しても良いことは言うまでもない。
【００８９】
読み取り装置に実装したエリアセンサ１１３を含む読み取りユニット１０５を、図１に記載した矢印方向に駆動させることにより、原稿台１０４に載せられた原稿画像１０３を読み取る。
【００９０】
つまり、画素センサの集まりである読み取りラインセンサ１４０４及び１４０５を、上述したラインセンサのように扱うことにより読み取り動作を行う。
【００９１】
次に、読み取りラインセンサ１４０４及び１４０５によって読み取られるライン画像データがどのようになるか説明する。
本説明において読み取りを行う原稿画像を図１５とする。
つまり、この原稿画像は図１における原稿画像１０３に相当する。
また、同図において格子で示したものは、読み取りラインセンサ１４０４、あるいは１４０５を構成する画素センサの解像度に対応した画素構成である。
原稿画像の横方向の矢印で示す方向を主走査方向、縦方向で示す方向を副走査方向とする。
【００９２】
読み取りユニット１０５が駆動して、原稿台下を副走査方向に移動するとともに、読み取りラインセンサ１４０４及び１４０５に入力されるフレーム画像データが、順次読み取られる。
【００９３】
つまり、原稿画像のうち、読み取りユニット１０５の位置にあり、ライン幅に対応する部分が時々刻々と、読み取られる。
この原稿画像を読み取るプロセスを説明する。
【００９４】
読み取りユニット１０５が原稿台下を副走査方向へ移動すると、図１６（ａ）、１７（ａ）、１８（ａ）、１９（ａ）で示す原稿画像の斜線部に、光源からの光が当たる。
【００９５】
まず、ある瞬間において、図１６（ａ）の斜線部に光源からの光が当たる。
すると、エリアセンサは光を検知して、光の当たった部分であるライン幅部分の原稿の画像データを検知する。
【００９６】
例えばこの時、ラインセンサ１４０４は図１６（ｂ）で示されるような画像データを検知する。
【００９７】
同時にラインセンサ１４０５では図１６（ｃ）で示されるような画像データを検知する。
【００９８】
２つのライン画像データ間において読み取り位置のずれがあるのは、２つのラインセンサが物理的に距離をもって設置されているためである。
【００９９】
そして、読み取られるライン画像データは、読み取りラインセンサごと異なるライン画像データとして扱われ、図１６（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体へ別々に記憶される。
【０１００】
次に、センサユニット１０５が移動し、光源が動き、図１７（ａ）に示すように各ラインセンサが検知する原稿画像の位置が変わる。そして、ラインセンサ１４０４は図１７（ｂ）、ラインセンサ１４０５は（ｃ）に示すような画像データを検知する。
すると、読み取られる原稿画像データは、読み取りラインセンサごと異なる画像データとして扱われ、図１７（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体に別々に記憶される。
【０１０１】
同様に、図１８（ａ）に示した位置を読み取られると、図１８（ｂ）、（ｃ）に示すようなライン画像データが、図１８（ｄ）、（ｅ）のようにメモリ等の記憶媒体に記憶される。
【０１０２】
また、図１９（ａ）に示した位置を読み取られると、図１９（ｂ）、（ｃ）に示すようなライン画像データが、図１９（ｄ）、（ｅ）のようにメモリ等の記憶媒体に記憶される。
【０１０３】
最終的には、原稿画像の全てに光源からの光が照射され、各ラインセンサがそれぞれの位置にて画像データを読み取る。
すると、読み取られた画像データは、順にメモリに格納され、図２０（ａ）、（ｂ）に示すような画像が得られる。
この時、図２０（ａ）の矢印（Ａ）に示す方向を主走査方向、矢印（Ｂ）に示す方向を副走査方向という。
図２０に示すように、副走査方向への１画素分のずれが生じた複数フレーム分のフレーム画像データが取得できる。
この副走査方向へのずれをもったフレーム画像データは画素センサの集合で構成されたラインセンサの本数分得られることとなる。
このように、原稿画像の読み取りに画素センサを２次元的に配置してエリアセンサとして用いると、一回の読み取り動作で副走査方向に連続して位相がずれたフレーム画像データが複数フレーム得られる。
【０１０４】
次に、本実施例にて用いる装置におけるエリアセンサの使用方法について述べる。
まず、図１４で示したようなエリアセンサを、読み取り装置へ傾斜させて実装する。
【０１０５】
図２１に、本実施例におけるエリアセンサの実装形態の一例を示す。
１５０１はエリアセンサデバイスを示している。
１５０２は画素センサを示しており、本説明においては長辺方向に２０画素、短辺方向に１０画素の画素センサにより構成されているものとする。
【０１０６】
そして、エリアセンサを基準となる設置位置から基準となる設置位置に対して傾斜させて実装する。
つまり、図２１に示すように、基準となる設置位置に設置されていた時のエリアセンサ内にて一番下に設置されていたラインセンサとの間に角度θをつけて設置する。
【０１０７】
構成する画素センサの位置は、エリアセンサ左端上部を原点に、長辺方向をｘ方向、短辺査方向をｙ方向として表すこととする。
つまり、左端上部の座標は（ｘ，ｙ）＝（０，０）であり、右端上部の座標は（ｘ，ｙ）＝（１９，０）となる。
同様に、左端下部の座標は（ｘ，ｙ）＝（０，９）、右端下部の座標は（ｘ，ｙ）＝（１９，９）となる。
【０１０８】
１５０３は、エリアセンサ１５０１を構成する１ライン分の画素センサの集まりを示している。具体的には、長辺方向を構成する２０個の画素センサにより構成されている。
つまり、座標位置（０，４）、（１，４）、（２，４）、・・・・（１９，４）の画素センサで構成される。
なお、以下の説明において、前記１５０３で囲まれる複数の画素センサを読み取りラインセンサ１５０３と称する。
【０１０９】
同様に１５０４は、座標位置（０，５）、（１，５）、（２，５）、・・・・（１９，５）の画素センサで構成され、以下の説明において読み取りラインセンサ１５０４と称する。
【０１１０】
本実施例においては、読み取り装置に実装したエリアセンサ１１３を含む読み取りユニット１０５を、図１に記載した矢印方向に駆動させることにより、原稿台１０４に載せられた原稿画像を読み取る。
つまり、画素センサの集まりである読み取りラインセンサ１５０３及び１５０４を、上述したように、ラインセンサのように扱うことにより読み取り動作を行う。
【０１１１】
次に、読み取りラインセンサ１５０３及び読み取りラインセンサ１５０４によって読み取られるライン画像データがどのようになるかを説明する。
【０１１２】
本説明において読み取りを行う画像を図１５とする。
つまり、この原稿画像は図１における原稿画像１０３に相当する。
【０１１３】
また、同図において格子で示したものは、読み取りラインセンサ１５０３、あるいは１５０４を構成する画素センサの解像度に対応したものである。
原稿画像は前述した図１６〜２０において示されたように読み取られるが、θ傾斜していることで、角度θ傾斜したフレーム画像データが得られる。
【０１１４】
例えば、本来エリアセンサに傾きがなければ、図２２（ａ）の斜線部で示す位置が読み取られるはずである。しかし、エリアセンサが傾いていることで、ラインセンサ１５０３、１５０４は、図２２（ｂ）、（ｃ）に示すように画像データを検知する。
【０１１５】
そして、これらのライン画像データは傾いたままそれぞれ図２２（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体に記憶される。
同様に、センサユニット１０５が移動し光源が動くとともに図２３（ａ）の斜線部に示す位置を読み取る。この場合、ラインセンサ１５０３、１５０４は、図２３（ｂ）、（ｃ）に示すように画像データを検知する。
【０１１６】
そしてこれらのライン画像データはそれぞれ、図２３（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体に記憶される。
さらに、読み取りユニットの副走査方向への移動とともに光源が移動して図２４（ａ）の斜線部に示す位置を読み取る場合は、ラインセンサ１５０３、１５０４では図２４（ｂ）、（ｃ）に示す画像データが得られる。
そして、これらのライン画像データはそれぞれ図２４（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体に記憶される。
【０１１７】
最終的には、ラインセンサ１５０３、１５０４にて検知され、読み取られたライン画像データは、図２５（ａ）、（ｂ）に示すようなデータである。これらは、いずれも角度θ傾斜した画像データとして読み取られる。
この時、図２５（ａ）の矢印（Ａ）に示す方向を主走査方向、矢印（Ｂ）に示す方向を副走査方向という。
これに対して、矢印（Ｃ）に示した方向を読み取り画像データの横方向という。また、矢印（Ｄ）に示した方向を読み取り画像データの縦方向という。
【０１１８】
図２１に示すように、読み取りラインセンサ１５０３と読み取りラインセンサ１５０４は、物理的に短辺方向に１画素センサ分ずれている。
したがって、読み取りラインセンサ１５０３を構成する画素センサと、読み取りラインセンサ１５０４を構成する画素センサには、短辺方向に対して位相ずれがある。
【０１１９】
例えば、読み取りラインセンサ１５０３の座標（ｘ，ｙ）＝（１５，４）に位置する画素センサと、読み取りラインセンサ１５０４の座標（ｘ，ｙ）＝（１５，５）に位置する画素センサは、短辺方向における位置はｙ＝１分ずれている。
そのずれは、基準となる設置位置における垂直方向に対してΔβ分のずれをもたらす。
【０１２０】
一方、ｘ軸方向における位置は全く同じｘ＝１５である。
しかし、傾斜角度θにより、基準となる設置位置における水平方向に対して、サブピクセル以内の微小量Δαだけ位相がずれたものとなる。
【０１２１】
つまり、読み取りラインセンサ内においてｘ軸方向に同じ位置の画素センサであっても、エリアセンサを傾けることにより、傾斜角度に依存した微小単位の位相ずれが発生する。このずれは傾斜角度に依存する。
したがって、エリアセンサ１１３内に定義した読み取りラインセンサで読み取ったライン画像データは、ラインセンサ毎に、異なる位相ずれを持ったフレーム画像データとなる。
【０１２２】
具体的には、図２５（ａ）の読み取り画像データと図２５（ｂ）の読み取り画像データとは、縦方向に１画素分つまり副走査方向にΔβ分ずれるだけでなく、主走査方向にもΔα分だけ、位相がずれたものとなっている。
【０１２３】
前記説明においては、読み取りラインセンサが２つ（読み取りラインセンサ１５０３、１５０４）であることを前提にしたがこれに限られるものではない。エリアセンサ１１３を構成する画素センサを、ｙ軸方向に増やすことで読み取りラインセンサを多数構成して良い。
つまり、読み取りラインセンサは、エリアセンサ１１３を構成するｙ軸方向に並ぶ画素数分設けることが可能である。
【０１２４】
読み取りラインセンサとして構成した数は、１回の読み取り動作によって得られる読み取り画像データ数と等しい。
つまり、エリアセンサ１１３内に、読み取りラインセンサを３０ライン分構成すれば、１回走査することで、それぞれ固有の位相ずれを有する３０フレームの画像データを得ることが出来る。
【０１２５】
エリアセンサを傾けることにより得られるフレーム画像データは、主走査方向に異なった微小の位相ずれを有するものとなる。
したがって、このように読み取り制御によって得られるフレーム画像データを用いれば、超解像度処理によって、読み取りデバイスが有する解像度よりも高い画像データを構成することが可能となる。
【０１２６】
しかしながら、これまで説明した方法を複合機の読み取り装置にそのまま適用すると、好ましくない状況が発生する。
【０１２７】
図４は、複合機における画像を扱う処理ブロックを模式的に示した図である。４０１は、画像処理部であり、読み取り装置１０１により読み取られたフレーム画像データに対して様々な画像処理が施される。
なお、超解像度処理を行う処理ブロックも、画像処理部４０１の構成の一部として含まれる。
４０２は、画像処理部４０１が画像処理を行う際に使用するメモリである。
４０３は記録装置であり、例えばインクジェット方式あるいは電子写真方式における記録エンジンによって構成される。
４０４は、複合機全体を制御するプロセッサ（以下ＣＰＵと称する）である。
【０１２８】
図４の構成からもわかるように、複合機の読み取り装置１０１で読み取られた画像データは、画像処理部４０１に入力される。
通常、複合機における画像処理部の処理は水平方向に傾斜のない画像データを対象とする。
このため、従来の複合機においては、読み取り装置１０１内部に、斜行補正を行う処理部が存在する。斜行補正の方式には、いくつか存在するが、大きくは機械的な補正と電気的な補正に分類される。
【０１２９】
機械的な補正は、原稿画像をＡＤＦ１０２で読み取り位置に送る際、読み取りユニットに対して水平になるように、読み取り開始前に、原稿画像を１度、突き当てに当てることで実現するものである。
【０１３０】
図５は、機械的な補正を行う場合の構成の概要を示すものであり、装置上部から見た場合を示すものである。５０１は機械的に設けた突き当て、５０２はＡＤＦから送られる原稿画像を示している。
また、水平方向に主走査方向、垂直方向に副走査方向を示している。原稿の紙送り方向は、副走査方向であり、同図においては上から下となる。
【０１３１】
送られる原稿画像５０２は、図示しないローラ等により、原稿読み取り位置に送られるが、読み取り開始前に突き当て５０１に当てられる。例えば、図５（ａ）に示すように、原稿画像が斜めに送られると、突き当て５０１に当たることにより、原稿画像は読み取り開始位置に対して水平に補正される（図５（ｂ））。
【０１３２】
電気的な補正は、読み取り画像データを、一度、全てメモリ４０２に記憶させ、記憶させた読み取り画像データを解析することにより、傾斜角度を求める。
そして、求められた傾斜角度に応じて、読み取り画像データ全てに対して２次元座標変換を施すものである。２次元座標変換の方式として、多く使用される変換方式としては、アフィン変換が挙げられる（式１）。
【０１３３】
【数１】
・・・（式１）
Ｘ´、Ｙ´：変換後座標位置
Ｘ、Ｙ ：変換前座標位置
【０１３４】
斜行補正の方式の選択は、複合機の性能により異なる。
つまり、高性能な複合機においては、読み取り速度が高速となるため、１度突き当てに当てるという機械的な補正は、性能達成に対して大きな障害となる。したがって、電気的な補正が選択されることとなる。
【０１３５】
一方、メモリ容量を小さくすることが求められる場合には機械的な補正方式が選択されることが多い。
【０１３６】
本実施例においては、エリアセンサ１１３を傾斜させて実装することにより、主走査方向に微小な位相ずれを持った複数のフレーム画像データを取得することが特徴となる。
これにより、超解像度処理を行うための前提条件を達成することが出来る。
【０１３７】
また、エリアセンサ１１３を意図的に傾斜させ、微小な位相ずれを発生させて原稿画像の読み取りを行っているため、機械的な補正を選択することはない。
つまり、電気的な補正が選択される。
【０１３８】
超解像度処理を前提に電気的な補正を行うためには、２つの方法がある。
１つは、エリアセンサ１１３内に構成した、複数の読み取りラインセンサで読み取った複数の画像データを１度記憶させ、記憶した複数の傾斜画像データを用いて超解像度処理を行うものである。
【０１３９】
この場合、超解像度処理によって構成された画像データは、エリアセンサ１１３の傾斜をもった高解像度画像データとなる。
したがって、画像処理部４０１に出力する前に、構成された高解像度画像データに対して斜行補正を行わなければならない。
電気的な補正においては、メモリ４０２に記憶した状態から、傾斜角度を算出し、算出した角度を補正する変換を行う。
超解像度処理によって、高解像度に構成してから斜行補正を行う場合、補正を行う手段がハードウェアであっても、ソフトウェアであっても、使用するメモリ容量は対応する上限解像度に依存して多くなる。
つまり、複合機として２，４００ｄｐｉや４，８００ｄｐｉなどの高解像度画像を扱う場合、使用するメモリ容量は非常に大きなものとなってしまう。
【０１４０】
もう１つの方法は、超解像度処理の前の段階で斜行補正を行う方法である。
この場合、エリアセンサ１１３が有する主走査方向解像度の傾いた画像データに対して補正を行えば良いため、前述した方法よりも使用するメモリ容量は少なくすることが出来る。
【０１４１】
しかし、超解像度処理するためには傾いたフレーム画像データが多数必要となる。
したがって、超解像度処理を行うための前段処理として取得したフレーム分の斜行補正を行わなければならない。
斜行補正をソフトウェアで実現した場合、プロセッサが単一である場合はシーケンシャルに処理を行わなければならず、性能面での課題が発生する。
また、ハードウェアで実現する場合、性能向上のため並列処理を行う構成をとると回路規模及び付随するメモリ容量が多くなり、システムとしての負荷が増大する。
【０１４２】
そこで、本件では、傾斜して設置されたエリアセンサから、傾きのない画像を得るために、傾斜したエリアセンサ内の画素センサから、傾きのない画像を形成できる画素センサのみを選択して実際の画像の読み取りに使用する。
【０１４３】
図２は、本実施例における読み取り装置に実装するエリアセンサの構成を示している。
図２（ａ）は、使用されるエリアセンサ１１３に傾斜をもたせずに、水平方向に配置した場合の構成である。これは、基準となる設置位置にエリアセンサ１１３を配置した場合を示す図である。
図２（ｂ）は、エリアセンサ１１３を、傾斜角度θをもたせて読み取りユニット１０５に実装した場合の構成を示す図である。
図２において、円で示したものはエリアセンサ１１３の四隅の画素センサを示しており、エリアセンサ１１３の左上部の画素センサをＰａ、右上部の画素センサをＰｂ、左下部の画素センサをＰｃ、右下部の画素センサをＰｄとする。
【０１４４】
２０１は、エリアセンサ１１３の上部の距離を示しており、撮像素子のデバイスとしての横幅としても定義される。また、この横幅が、エリアセンサ１１３の長辺方向の解像度としても定義出来る。
つまり、２０１は長辺方向の画素センサ数として表すことが出来る。
【０１４５】
同様に、２０２はエリアセンサ１１３の下部、すなわち、画素センサＰｃと画素センサＰｄ間の画素センサ数を示す。
２０３はエリアセンサ１１３の画素センサＰｂと画素センサＰｄの距離、すなわち画素センサＰｂと画素センサＰｄ間の画素センサ数を示す。
同様に、２０４はエリアセンサ１１３の画素センサＰａと画素センサＰｃ間の画素センサ数を示す。
つまり、エリアセンサ１１３の周囲の距離は、エリアセンサ１１３が持つ解像度、画素センサ数により定義することが出来る。
したがって以降の説明においては、エリアセンサ１１３の各距離を該当する画素センサ数として説明する。
【０１４６】
傾斜角度θは、このエリアセンサ含んだ複合機を組み立てる工程において、エリアセンサ１１３を読み取りユニット１０５に実装した時点で取得出来る値である。
この傾斜角度θは、実装された機器固有の値として複合機内部の記憶領域に保持されるものである。
【０１４７】
以下、別図を用いて制御フローを交えて詳細に説明する。
図６は、本実施例における処理フローを表すものであり、複合機全体を制御するＣＰＵ４０４の制御を示すものである。
【０１４８】
図２（ｂ）は、傾斜角度θで実装したエリアセンサ１１３に内接する、傾斜角度０の矩形領域を網掛領域で示すものである。なお、網掛領域の頂点をＰｅ、Ｐｆ、Ｐｇ、Ｐｈとし、以下の説明においては、この網掛領域で示した矩形領域を内接矩形と称する。
【０１４９】
内接矩形の頂点は、左上部の隣接点がＰｅ、右上部の隣接点がＰｆ、左下部の隣接点がＰｇ、右下部の隣接点がＰｈとなる。
また、エリアセンサ１１３が外接し、内接矩形と平行であり傾斜角度０の矩形領域（以下外接矩形と称する）と、エリアセンサ１１３の４隅の画素センサであるＰａ、Ｐｂ、Ｐｃ、Ｐｄの位置を接点とした各距離を符号２０５〜符号２１２として示す。
【０１５０】
なお、外接矩形の頂点は、左上部の隣接点をＰｉ、右上部の隣接点をＰｊ、左下部の隣接点をＰｋ、右下部の隣接点をＰｌとする。
【０１５１】
したがって、２０５はＰａとＰｋ間の距離である。
２０６はＰｃとＰｋ間の距離である。
２０７はＰｃとＰｌ間の距離である。
２０８はＰｄとＰｌの距離である。
また、２０９はＰｄとＰｊ間の距離である。
２１０はＰｂとＰｊ間の距離である。
２１１はＰｂとＰｉ間の距離である。
２１２はＰａとＰｉ間の距離である。
【０１５２】
本実施例を適用した複合機のＣＰＵ４０４は、まず、エリアセンサ１１３の読み取りユニット１０５への実装における傾斜角度θの取得を行う（ステップＳ１０１）。
具体的には、複合機組み立て工程において、複合機内部の記憶領域に保持した傾斜角度θの読み取りを行う。
【０１５３】
次に、ＣＰＵ４０４は、傾斜角度θにより決定される内接矩形における座標の位置を決定する（ステップＳ１０２）。
【０１５４】
以下、内接矩形における座標の位置を決定する工程に関して説明する。
エリアセンサ１１３の傾斜角度がθであることにより、∠ＰｉＰｂＰａ、∠ＰｃＰａＰｋ、及び∠ＰｂＰｄＰｊの角度もθとなる。
符号２０１、符号２０２、符号２０３、符号２０４で示される距離、すなわち画素センサ数は、エリアセンサ１１３の解像度に依存するため、予め決まっている値である。
【０１５５】
したがって、例えば、符号２０５で示す距離（該当する画素センサ数）は、符号２０４で示す画素センサ数のｃｏｓθ倍で表すことが出来る。
また、符号２０６で示す距離（該当する画素センサ数）は、符号２０４で示す画素センサ数のｓｉｎθ倍で表すことが出来る。
例えば、符号２０４の距離に相当する画素センサ数（エリアセンサ１１３の副走査方向の画素センサ数）が２，８００、傾斜角度θ＝１０度である場合、符号２０５の距離に相当する画素センサ数は、２，８００×０．９８４８＝２，７５７となる。
【０１５６】
また、同じ条件での、符号２０６の距離に相当する画素センサ数は、２，８００×０．１７３６＝４８６となる。
【０１５７】
同様に考えると、符号２０７で示す距離（該当する画素センサ数）は、符号２０２で示す画素センサ数のｃｏｓθ倍で表すことが出来る。
また、符号２０８で示す距離（該当する画素センサ数）は符号２０２で示す画素センサ数のｓｉｎθ倍で表すことが出来る。
符号２０２の距離に相当する画素センサ数（エリアセンサ１１３の主走査方向画素センサ数）が３，８００、傾斜角度θ＝１０度である場合、符号２０７の距離に相当する画素センサ数は、３，８００×０．９８４８＝２，７４２となる。
【０１５８】
また、同じ条件での、符号２０８の距離に相当する画素センサ数は、３，８００×０．１７３６＝６５９となる。
【０１５９】
∠ＰｄＰｂＰｉ、∠ＰｂＰａＰｋ、∠ＰａＰｃＰｌ、∠ＰｃＰｄＰｊは同一角θ＋９０度であるので、∠ＰｉＰａＰｂ＝∠ＰａＰｃＰｋ＝∠ＰｊＰｂＰｄ＝∠ＰｌＰｄＰｃということがわかる。
したがって、傾斜角度０での外接矩形による条件により、２０５＝２０９、２０６＝２１０、２０７＝２１１、２０８＝２１２の関係が成り立つ。
【０１６０】
前記記載した演算方法により、２０５の画素センサ数、２０６の画素センサ数、２０７の画素センサ数、及び２０８の画素センサ数を求めることで、２０９〜２１２の画素センサ数も決まることになる。
【０１６１】
２０５〜２１２が示す画素センサ数が求まることにより、内接矩形の頂点座標、すなわちエリアセンサ１１３内のＰｅ、Ｐｆ、Ｐｇ、Ｐｈの座標位置が定まる。Ｐａ（０、０）とし、ＰａからＰｂへ向かう長辺方向をＸ軸方向とし、ＰａからＰｃへ向かう短辺方向をＹ軸方向とする。
【０１６２】
図２（ｃ）に、Ｐａ、Ｐｅ位置の拡大図を示す。この図からもわかるように、Ｐｅのエリアセンサ１１３内のＸ座標位置は、２０６の画素センサ数のｃｏｓθ倍で求められる。
【０１６３】
同様に、Ｐｅのエリアセンサ１１３内のＹ座標位置は、２０６の画素センサ数のｓｉｎθ倍で求めることが出来る。
【０１６４】
したがって、ＰｅのＸ座標をＸｐｅ、Ｙ座標をＹｐｅとすると、Ｘｐｅ及びＹｐｅは、以下の演算式（式２、式３）によって求まる。
Ｘｐｅ：（２０６の画素センサ数）×ｃｏｓθ・・・（式２）
Ｙｐｅ：（２０６の画素センサ数）×ｓｉｎθ・・・（式３）
【０１６５】
以下、同様に考えると、Ｐｆのエリアセンサ１１３内の座標位置（Ｘｐｆ、Ｙｐｆ）、Ｐｇのエリアセンサ１１３内の座標位置（Ｘｐｇ、Ｙｐｇ）、及び、Ｐｈのエリアセンサ１１３内の座標位置（Ｘｐｈ、Ｙｐｈ）は、以下の演算式（式４〜式９）により求まる。
Ｘｐｆ：（２１２の画素センサ数）×ｓｉｎθ・・・（式４）
Ｙｐｆ：（２１２の画素センサ数）×ｃｏｓθ・・・（式５）
Ｘｐｇ：（２０８の画素センサ数）×ｓｉｎθ・・・（式６）
Ｙｐｇ：（２０４の画素センサ数）−（２０８の画素センサ数）×ｃｏｓθ・・・（式７）
Ｘｐｈ：（２０１の画素センサ数）−（２１０の画素センサ数）×ｃｏｓθ・・・（式８）
Ｙｐｈ：（２０３の画素センサ数）−（２１０の画素センサ数）×ｓｉｎθ・・・（式９）
【０１６６】
以上の工程により、エリアセンサ１１３の内接矩形の頂点座標位置が求まる。内接矩形は、エリアセンサ１１３を傾けた場合においても、長辺方向に傾きが補正され、傾斜がないライン画像データを取り込むことが出来る領域（以下、有効な読み取り領域と称する）を示すこととなる。
【０１６７】
次にＣＰＵ４０４は、サブピクセルの位相ずれを有した傾きのないライン画像データを複数読み取るため、有効な読み取り領域内の画素センサにてライン画像データの読み取りに用いる画素センサの間隔を決定する（ステップＳ１０３）。
【０１６８】
以下、図３を用いて詳細に説明する。
【０１６９】
図３（ａ）は、読み取りユニット１０５内部に実装したエリアセンサ１１３の構成の一例を示している。
なお、本説明においては一例として、長辺方向の画素センサ数を２０、短辺方向の画素センサ数を１０として説明する。
エリアセンサ１１３を構成する画素センサの四隅の座標位置を図３（ｂ）に示す。長辺＝Ｘ軸、短辺＝Ｙ軸とする。
左上画素センサの座標は（ｘ，ｙ）＝（０，０）、右上画素センサの座標は（ｘ，ｙ）＝（１９，０）、左下画素センサの座標は（ｘ，ｙ）＝（０，９）、右下画素センサの座標は（ｘ，ｙ）＝（１９，９）となる。
【０１７０】
また、θはエリアセンサ１１３の傾斜角度であり、太線で示した矩形領域はステップＳ１０２において内接矩形（有効な読み取り領域）として決定された領域を示している。
【０１７１】
次にＣＰＵ４０４は、エリアセンサ１１３内部の有効な読み取り領域内の画素センサをどの程度の間隔で選定すれば、傾斜のないフレーム画像データを取得出来るか算出する。
エリアセンサ１１３の傾斜角度がθであることから、エリアセンサ１１３内に構成された画素センサも、長辺方向に隣接する画素センサ間で角度θの傾きが存在する。
【０１７２】
有効な読み取り領域内で傾きのないフレーム画像データを取得するために使用する画素センサは、前記傾きから逆算することが可能である。
例えば図３（ｂ）において、グレーの網掛けで示した画素センサＡ（座標位置（２、２））を基準とする。
隣接する画素センサＢは、傾斜角度θで傾斜しているため有効な読み取り領域内の画素センサであっても、画素センサＡで読み取った画素データと画素センサＢで読み取った画素データでは水平なフレーム画像データを構成することが出来ない。
【０１７３】
つまり、異なる画素センサで読み取った画素データで傾きのない画像データを構成するには、離散的に読み取り画素センサを決定する必要がある。
【０１７４】
具体的には、傾斜角度θで長辺方向に画素センサが配列された場合において、短辺方向に１だけシフトする長辺方向画素センサの位置を算出すれば良い（図３（ｃ））。
したがって、傾斜角度がθである場合、θに依存しない、基準となる設置位置における水平方向と平行なラインセンサを構成するために、長辺方向の画素センサ間隔は、式１０により求まる。
（傾斜角度θである場合の長辺方向の画素センサ間隔）＝１／ｓｉｎθ・・・（式１０）
式１０の演算結果は、整数となることが理想である。
【０１７５】
しかし、三角関数による演算であるため、傾斜角度θを複合機毎に任意とすると、傾斜のないフレーム画像データを読み取ることの出来る画素センサの選定は困難となる。
【０１７６】
したがって、本実施例の適用においては、エリアセンサ１１３を、読み取りユニットに傾斜して実装する傾斜角度θには、ある程度の範囲（制限）を設ける。
具体的には、傾斜角度θである場合の長辺方向画素間隔が整数となる傾斜角度θを実装制限として行う。
【０１７７】
図３（ｂ）の例においては、長辺方向の画素センサ間隔が５である場合を示している。
つまり、画素センサＡで読み取った画素データと、傾きのないフレーム画素データを読み取ることが可能な画素センサは、長辺方向に５、短辺方向に１進んだ座標位置が該当する。
具体的には、座標位置（７，３）の画素センサが該当する。
以降、同様に、画素センサＡを基準として傾きのないフレーム画素データを得ることが可能な画素センサを選定していく。
【０１７８】
ＣＰＵ４０４は、画素センサＡを基準とした画素センサ（以下、基準画素センサと称する）の選定が終了すると、次の基準画素センサＢ（座標位置（２，３））を決定し、同様の画素センサ選定を行う。
【０１７９】
なお、傾斜角度θは同一であるため、長辺方向の画素センサ間隔は画素センサＡを基準とした場合と同じである。
以降、画素センサＣ、画素センサＤに対しても、傾斜のないフレーム画素セータを得るための画素センサの選定を繰り返す。
【０１８０】
前記画素センサの選定により、傾きのないフレーム画像データを得るための読み取りラインセンサが定義される。
つまり、画素センサＡを基準とした画素センサで構成される読み取りラインセンサ、画素センサＢを基準とした画素センサで構成される読み取りラインセンサ、・・・画素センサＤを基準とした画素センサで構成される読み取りラインセンサを定義することが出来る。
【０１８１】
次に、ＣＰＵ４０４は、１回の読み取り動作、すなわち、読み取りユニット１０５が駆動することによって、同時に読み取ることが可能な読み取りフレーム数を決定する（ステップＳ１０５）。
【０１８２】
例えば、図３（ｂ）に示した例において、画素センサＡ、画素センサＢ、画素センサＣ、画素センサＤ、を基準とした読み取りラインセンサを定義した場合、１回の読み取り動作で読み取ることが可能なフレーム数は４フレームとなる。
【０１８３】
本実施例における読み取りラインセンサ数は、ＣＰＵ４０４により選定する基準画素センサ数により決定される。
このため、画素センサＡ〜画素センサＤ以外の基準画素センサを選定すれば、同時に読み取ることが可能なフレーム数は増えることとなる。
【０１８４】
つまり、エリアセンサ１１３内の座標位置（３，３）の画素センサＥなど、有効な読み取り領域に属する画素センサを、基準画素センサとして選定すれば、ラインセンサを１つ増やすことができる。
すると、１回の読み取り動作によって読み取ることが可能なフレーム数を増やすことが可能である。
また、定義した読み取りラインセンサ数は、図示しない複合機の記憶領域に、機器固有の情報として保持する（ステップＳ１０６）。
【０１８５】
図３（ｄ）に、画素センサＡ〜Ｅを基準とした、読み取りラインセンサにより読み取ったフレーム画像データを示す。
同図において、３０２は画素センサＡを基準とした読み取りラインセンサで読み取ったフレーム画像データである。３０３は画素センサＢを基準とした読み取りラインセンサで読み取ったフレーム画像データである。
また、３０４は、画素センサＣを基準とした読み取りラインセンサで読み取ったフレーム画像データである。
３０５は画素センサＤを基準とした読み取りラインセンサで読み取ったフレーム画像データである。
３０６は画素センサＥを基準とした読み取りラインセンサで読み取ったフレーム画像データである。
【０１８６】
読み取られる画像データ３０２〜３０６は、エリアセンサ１１３内の有効な読み取り領域に属する離散的な画素センサにより構成された読み取りラインセンサにより読み取られたフレーム画像データである。
【０１８７】
よって、エリアセンサ１１３の傾斜角度θに依存せず、傾斜のないフレーム画像データとなる。
また、原稿画像を１回走査して読み取られた夫々のフレーム画像データには、微小な位相ずれをもったフレーム画像データとなる。
【０１８８】
つまり、本実施例における第１実施例において、超解像度処理の条件を満たした複数のフレーム画像データを読み取ることができる。
その上、エリアセンサ１１３を傾斜させたことによる弊害を解消し、傾斜を補正してなくした画像データ取得を行うことができる。
【０１８９】
この複数の傾斜のないフレーム画像データを用いて、前述したプロセスにて高解像度変換を行う超解像度処理を行い、装置の有するセンサの解像度よりも高解像の画像を出力する。
【０１９０】
（第２実施例）
次に、第２の実施例について説明する。
超解像度処理による読み取り画像の高解像度化は、原稿画像から得られた微小な位相ずれを持つ複数のフレーム画像を得ることが前提となる。
また、原稿画像から得られた微小な位相ずれを持つフレーム画像フレーム数が多いほど、超解像度処理によって生成される高解像度画像データの解像度を向上させることが可能となる。
【０１９１】
第１実施例においては、エリアセンサ１１３を、読み取りユニット１０５に斜めに実装することにより、微小な位相ずれをもった複数フレーム分のフレーム画像データを得ることの説明を行った。
また、エリアセンサ１１３内に有効な読み取り領域を設け、この有効な読み取り領域内の画素センサを選定することにより、傾きのないフレーム画像データを複数フレーム分得ることを記載した。
ここで、有効な読み取り領域を定義せずエリアセンサ１１３が元々持つ解像度で画像の読み取りを行った場合に使用できる読み取りラインセンサの数と読み取りラインセンサとして定義できる数の比較をしてみる。
すると、本実施例にて決められる読み取りラインセンサの方が少なくなる。
これは、有効な読み取り領域外に属する画素センサを基準画素センサの対象としていないからである。
【０１９２】
有効な読み取り領域外に属する画素センサを基準画素としない理由は、有効な読み取り領域内で読み取りを行ったフレーム画像データの長辺方向の画素数にバラツキを持たせないためである。
【０１９３】
図７に、本実施例におけるエリアセンサ１１３の構成を示す。
なお、第１実施例の説明において対象とした基準画素センサは、黒で示している。同図において黒で示した画素センサは、全て長辺方向に４画素分の画素データを読み取れるものである。
【０１９４】
例えば、画素センサＦ（座標（３，５））で示した画素センサは、傾きのない画像データを読み取るために、ＣＰＵ４０４で演算した画素センサ間隔で画素センサを定義していく。
するとこの場合、有効な読み取り領域内では長辺方向に３画素分のフレーム画像データしか得られなくなる。
このように、有効画像領域外の画素センサを読み取りラインセンサに用いないと、ＣＰＵ４０４で定義可能な読み取りラインセンサ数は限られてしまう。
【０１９５】
以下、ＣＰＵ４０４の動作制御フローも用いて、本実施例における高解像度対応に関して記載する。
【０１９６】
図９は、本実施例を適用した複合機の動作制御フローを示すものである。
複合機を使用するユーザが図示されていないオペレーションパネル等により、超解像度処理によって生成される画像の出力解像度指定をする。すると、ＣＰＵ４０４は指定解像度を得るための低解像度フレーム画像データが、必要示レーム分だけ読み取れるか又は読み取れないか、取得可能なフレーム画像データのフレーム数の確認を行う（ステップＳ２０１）。
【０１９７】
第１実施例についての説明でも記載したように、複合機として有効な読み取り領域内で同時に読み取ることが出来る低解像度フレーム画像データのフレーム数は、複合機内部の記憶部に記憶されている。
【０１９８】
したがって、ＣＰＵ４０４は記憶されている一回の読み取り動作で得られるフレーム画像データのフレーム数の制限値と、指定された解像度画像を得るために必要なフレーム画像データのフレーム数とを比較する。
【０１９９】
指定された高解像度を構成するために必要な低解像度フレーム画像データのフレーム数が、有効な読み取り領域内で定義した読み取りラインセンサ数で補える場合、ステップＳ２０３へ進む。
そして、ＣＰＵ４０４は、有効な読み取り領域内に定義した読み取りラインセンサを用いて、原稿画像の読み取り動作を指示する。
定義された複数の読み取りラインセンサにより、同時に読み取られた複数の読み取りフレーム画像データは、画像処理部４０１に出力される。
画像処理部４０１は、読み取り装置１０１から出力される複数のフレーム分のフレーム画像データを用いて超解像度処理を実施し、ユーザにより指定された高解像度画像データを構成する。
【０２００】
ステップＳ２０１において、指定された解像度の構成に必要なフレーム画像データのフレーム数が、複合機内部の記憶部に記憶されている同時読み取り可能フレーム数を越えている場合、ＣＰＵ４０４は新たな読み取りラインセンサの定義を行う。
【０２０１】
以下、図７を用いて、新たな読み取りラインセンサの定義方法について説明する。
ユーザにより指定された解像度を有する高解像度画像を構成するには、有効な読み取り領域内で定義した読み取りラインセンサ数では足りない。そのため、有効な読み取り領域外の画素センサを加えて、新たな読み取りラインセンサを定義する。
例えば、画素センサＦを基準画素センサとした場合に関して説明する。
【０２０２】
有効な読み取り領域内でθに依存しない、基準となる設置位置における水平方向と平行なラインセンサを構成するためには、画素センサＦと同一の網掛で表記した３画素分の傾きのない画素データしか取得することが出来ない。
しかし、有効な読み取り領域外の画素センサ、具体的には座標（１８，８）の画素センサによる読み取り画素データを追加すれば、長辺方向の必要画素を得ることが出来る。
【０２０３】
この場合の読み取りフレーム画像データの概念を図７（ｂ）に示す。
同図において、有効な読み取り領域内の画素センサで読み取られるフレーム画像データは、長辺方向に３画素幅のフレーム画像データとなる。
【０２０４】
また、有効な読み取り領域外の画素センサ（座標（１８，８））で読み取られるフレーム画像データは、長辺方向に１画素幅のフレーム画像データとなる。
この２つのフレーム画像データは、有効な読み取り領域の内外という差は存在するものの、長辺方向の微小な位相ずれという観点においては、全く同一の位相ずれをもつものと考えることが出来る。
【０２０５】
したがって、２つのフレーム画像データを合成することで、必要となるフレーム画像データを得るようにする。
つまり、有効な読み取り領域内の３画素分の画素センサに、有効な読み取り領域外の１画素分の画素センサを追加して、読み取りラインセンサとして定義する。
【０２０６】
また、追加読み取りラインセンサの定義は、左右の有効な読み取り領域外に対してのみに制限されるものではない。
つまり、有効な読み取り領域外の上下の画素センサを結合することにより新たな読み取りラインセンサを構成しても良い。
【０２０７】
例えば、画素センサＧ（座標（２，９））を基準画素センサとすると、傾きのない画像データを得るためには、長辺方向に５、短辺方向に１進んだ画素センサが対象となる。
しかし、長辺方向に５進んだ座標（７，９）は存在するが、短辺方向に１進んだ画素センサ（座標（７，１０））は物理的に存在しない。
【０２０８】
そして、エリアセンサ１１３を構成する画素センサ全てが、傾斜角度θの影響を受けている。
つまり、長辺方向の微小な位相ずれとして同一の画像を得るためには、短辺方向の座標を一周期巡回させれば良い。
具体的には、短辺方向の座標位置１０から、物理的に存在する座標位置の最大１０を減算した座標である（７，０）の画素センサを、微小な同一の位相ずれを持つ画素センサとして定義する。
【０２０９】
以降は、これまで説明した方法と同じく、長辺方向に５、短辺方向に１進んだ画素センサを微小な同一位相ずれを持つ画素センサとして定義する。この定義において、読み取られたライン画像データの概念図を図７（ｃ）に示す。
同図において、有効な読み取り領域の下に位置する画素センサにより読み取ったライン画像データは、長辺方向に１画素幅の画像データとなる。
【０２１０】
また、有効な読み取り領域の上に位置する画素センサにより読み取られたフレーム画像データは、長辺方向に３画素幅のライン画像データとなる。
既に説明している有効な読み取り領域の左右の画素センサで読み取ったライン画像データの結合と同じく、この２つのライン画像データは、長辺方向の微小な位相ずれという観点においては、全く同一の位相ずれをもつものと考えることが出来る。
【０２１１】
したがって、２つのフレーム画像データを合成することで、長辺方向の読み取り画素として必要となるフレーム画像データを得るようにする。
つまり、有効な読み取り領域外下側の１画素分の画素センサと、有効な読み取り領域外上側の３画素分の画素センサを結合して、読み取りラインセンサとして定義する（ステップＳ２０２）。
【０２１２】
このように、画素センサ追加を行って新たな読み取りラインセンサを定義することにより、本実施例を適用した場合においても、読み取りライン数を増やすことが出来る。
これは、図７（ｄ）に示すように、有効な読み取り領域内の画素センサと、有効な読み取り領域外の画素センサを結合して一組のラインセンサとして取り扱う。
これにより、有効な読み取り領域内外それぞれで選出された画素センサで得られるライン画像データを結合し超解像度処理に必要とされる低解像度のフレーム画像データとして扱うことが出来る。
【０２１３】
また、低解像度フレーム画像データ追加を行う事が可能であるので、有効な読み取り領域内の読み取りラインセンサのみで読み取った画像データで構成可能な高解像度画像データを更に向上させることが出来るようになる（ステップＳ２０３、ステップＳ２０４）。
【０２１４】
次に、ユーザにより指定された解像度が、それほど高解像度でない場合の処理に関して説明する。
ステップＳ２０１において、ユーザにより指定された解像度が、複合機内部の記憶部に記憶されたフレーム画像データのフレーム数で実現可能である場合、ＣＰＵ４０４は指定された解像度が所定の解像度以下であるかどうかについて確認を行う（ステップＳ２０５）。
【０２１５】
ステップＳ２０５において、ＣＰＵ４０４は指定された解像度が所定の解像度以下ではないと判断した場合、ステップＳ２０３及びステップＳ２０４の処理を行う。
すなわち、ＣＰＵ４０４が定義した読み取りラインセンサ全てを使用して、複数のフレーム分のフレーム画像データを同時に取得し（ステップＳ２０３）、超解像度処理を実行する（ステップＳ２０４）。
【０２１６】
ステップＳ２０５において、ＣＰＵ４０４は指定された解像度が所定の解像度以下であると判断した場合、つまり、ＣＰＵ４０４が定義した読み取りラインセンサがもつ解像度まで必要ではない場合、ステップＳ２０６へ進む。
そこで、ＣＰＵ４０４は、傾きのないフレーム画像データを得ることが出来る画素センサを再定義して、読み取りラインセンサを構成するようにする。
【０２１７】
図８は、傾きのないフレーム画像データを得る画素センサ、及び読み取りラインセンサの再定義の構成を説明するものである。
図８（ａ）は、ＣＰＵ４０４がもともと定義した読み取りラインセンサの構成を示すものであり、画素センサＨは基準画素センサのうちの１つを示している。エリアセンサ１１３の傾斜角度θにより、長辺方向に５画素、短辺方向に１画素進んだ画素センサを傾きのないフレーム画像データを得るための画素センサとする。
すると、画素センサＨと同じ微小な位相ずれをもつ画素センサは、画素センサＩ、画素センサＪ、画素センサＫが該当する。
【０２１８】
ユーザにより指定された解像度を構成する上で、前記画素センサＨ、画素センサＩ、画素センサＪ、及び画素センサＫの解像度が必要ではない場合、ＣＰＵ４０４は傾きのないフレーム画像データを得るための画素センサの間引きを行う。例えば、図８（ｂ）のように、画素センサＨ、画素センサＪの２つを読み取りラインセンサとして定義する（ステップＳ２０６）。
また、画素センサＩ、画素センサＫの２つを別の読み取りラインセンサとして定義しても良い。
【０２１９】
ユーザにより指定された解像度がそれほど高くない場合、画素センサ間引きを行う。つまり、超解像度処理のもととなる低解像度フレーム画像データのフレーム数を更に削減することで、同時に読み取るフレーム数を少なくし、読み取りラインセンサの解像度を下げることを行う。
このようにして、画像データ削減を行い、超解像度処理に必要となるメモリ容量を削減し、複合機のシステムにおける負荷を低減することが可能である。
【０２２０】
なお、以上で説明した第２実施例においては、ユーザが解像度を指定した段階で、画素センサ、あるいは読み取りラインセンサの再定義を行うこととしたが、本発明はこれに限定されるものではない。
【０２２１】
例えば、複合機の記憶部に記憶する段階で、高解像度用の読み取りラインセンサ、通常使用における読み取りラインセンサ、及び低解像度用の読み取りラインセンサを予め別に定義する。
そして、ユーザから指定された時点で対応する読み取りラインセンサの定義を使用するようにしても良い。
【０２２２】
（その他の実施形態）
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記憶媒体に記憶させ、該記憶媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。また、前述のプログラムが記憶された記憶媒体はもちろんそのプログラム自体も上述の実施形態に含まれる。
【０２２３】
かかる記憶媒体としてはたとえばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。
【０２２４】
また前述の記憶媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
【図面の簡単な説明】
【０２２５】
【図１】本発明における読み取り装置の構成を示す図
【図２】本発明におけるエリアセンサ内の有効な読み取り領域を示す図
【図３】本発明の第１実施例における画素センサ選定および読み取りラインセンサ定義を説明する図
【図４】本発明を適用した複合機の構成を示す図
【図５】機械的な斜行補正の説明図
【図６】本発明の第１実施例における動作フローを示す図
【図７】本発明の第２実施例における画素センサ結合説明図
【図８】本発明の第２実施例における画素センサ間引き説明図
【図９】本発明の第２実施例における動作フローを示す図
【図１０】従来の複合機における縮小光学系構成図
【図１１】超解像度処理を静止画像に適用した場合の概念図
【図１２】超解像度処理を静止画像に適用した場合の概念図
【図１３】超解像度処理を静止画像に適用した場合の概念図
【図１４】エリアセンサの構成を示す図
【図１５】エリアセンサが読み取る原稿画像
【図１６】ライン画像データの取得方法を示す図
【図１７】ライン画像データの取得方法を示す図
【図１８】ライン画像データの取得方法を示す図
【図１９】ライン画像データの取得方法を示す図
【図２０】エリアセンサ中のラインセンサが読み取る画像データ
【図２１】エリアセンサを斜めに実装した場合の構成図
【図２２】傾斜したエリアセンサのライン画像データの取得方法を示す図
【図２３】傾斜したエリアセンサのライン画像データの取得方法を示す図
【図２４】傾斜したエリアセンサのライン画像データの取得方法を示す図
【図２５】傾斜したエリアセンサ中のラインセンサが読み取る画像データ
【図２６】超解像度処理の詳細についての説明図
【図２７】超解像度処理の詳細についての説明図
【符号の説明】
【０２２６】
１０１ 読取装置
１０２ ＡＤＦ
１０３ 原稿画像データ
１０４ ガラス板
１０５ 読取ユニット
１０６ 光源
１０７〜１１１ ミラー
１１２ レンズ
１１３ エリアセンサ
【技術分野】
【０００１】
本発明は、画像データを読み取る画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、オフィスのネットワーク化及び取り扱われる文書のデジタル化、カラー化が進んでいる。
デジタル化により文書の加工、転送が容易となり業務の効率化が図られている。
また、カラー化によって見栄えとして美しく、効果的な文書が作成されている。
このような、文書のデジタル化、カラー化が進む中、画像処理装置である複合機には作成された画像データの効果的な取り込み及び出力性能が求められている。
【０００３】
画像データを入力するような複合機における読み取り装置の構成は、原稿画像データの取り込み、あるいは複写動作時の出力画像の画質に最も関係する要素である。
【０００４】
複合機における読み取り装置の構成として縮小光学系及び、密着光学系がある。
【０００５】
これらの光学系の読み取り解像度は、主走査方向に配置された画素センサに依存している。
この主走査方向に配置された画素センサ数によらず、解像度を向上させる処理として、「超解像度処理」という技術がある。
【０００６】
この技術については後述するが、超解像度処理は、読み取り装置が有するセンサの解像度で読み取った複数のフレーム分の画像データを用いて出力する画像の解像度を格段に向上させるものである。
超解像度処理技術を用いれば、例えば解像度３００ｄｐｉで読み取った複数枚の画像データを用いて解像度１２００ｄｐｉの画像データに成することが可能となる。
【０００７】
複数の画像データからその読み取り装置では得られない高解像度画像データを生成する超解像度処理の処理内容の詳細は、特許文献１に記載されている。
また、特許文献２には、画像サイズに応じて合成画像の基となる画像枚数を制御することで高解像度処理を実現することが記載されている。
これは画像サイズが小さい程、合成枚数を多くして制御するものである。
【特許文献１】ＷＯ２００４／０６８８６２
【特許文献２】特開２００６−０９２４５０
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、上述した超解像度処理を行うためには、まず読み取り装置が有するセンサの解像度で読み取った１枚分のフレーム画像を基準に、原稿画像の読み取り位置が微小にずれている複数フレーム分の画像データが必要となる。
【０００９】
つまり、基準となる画像データから主走査方向及び／又は副走査方向にセンサが読み取る原稿の位置が少しずつ、ずれている画像データが連続して複数フレーム分必要となる。
【００１０】
また、この複数の画像データを読み取る際に、隣り合ったセンサが得る画像データの間に存在する、原稿画像の読み取り位置のずれが主走査方向及び／又は副走査方向に１画素未満（サブピクセル）である必要がある。
【００１１】
超解像度処理によって生成する画像データの解像度が高いほど、この装置が有するセンサの解像度で読み取った画像データの必要フレーム数は多くなる。
【００１２】
複合機において超解像度処理を行うことが可能になれば、低解像度の読み取りデバイスを採用しながら読み取りデバイスを採用したのと同等の高解像度画像を得ることが可能となるが、このためには前記条件を満たす必要がある。
【００１３】
しかし、複合機、スキャナ等の複合機における読み取り装置は、一般的にはラインセンサが用いられている。
【００１４】
つまり、１回の読み取り動作により得られる読み取りフレーム数は１フレームである。
【００１５】
また、上述の読み取り装置は、主走査方向に画素の整数倍の距離を隔てて水平に配置されている画素センサ群を用いて原稿画像の読み取りを行っている。
このため、読み取られる画素の位置を主走査方向に微小（サブピクセル）にずらして原稿画像を読み取ることが出来ないという問題がある。
【課題を解決するための手段】
【００１６】
上述した課題を解決すべく、本発明の画像処理装置は、
画素センサを２次元に配列することによって形成されたエリアセンサが基準となる設置位置に対して傾斜して取り付けられている画像処理装置であり、
前記エリアセンサの基準となる設置位置からの傾きを示す傾斜角度に基づき決まる前記エリアセンサの内に配置された画素センサから前記傾斜を補正した画像データを読み取るセンサ手段、
前記センサ手段によって原稿画像を１回走査することで１画素未満のずれを有する複数のフレーム分の画像データを取得する画像データ取得手段、
該画像データ取得手段にて取得した複数の画像データを用いて補間処理を行うことで、前記画素センサの解像度より高い解像度の画像データを得る高解像度変換手段を有することを特徴とする。
【発明の効果】
【００１７】
本発明により、撮像素子としてエリアセンサを用いて、１回の読み取り動作により低解像度画像データを同時に複数読み取る画像処理装置及びその方法を提供することが可能になる。
これによって、画像処理装置において超解像度処理を行うことが可能になり、また、超解像度処理前に傾きのない画像データを提供することも可能になる。
【発明を実施するための最良の形態】
【００１８】
（一般的な読み取り装置の説明）
まず、一般的な画像読み取り装置の構成として縮小光学系の一例について説明する。
一般的に高性能な複合機においては、読み取り速度、読み取り解像度、及び読み取り画像データの画質などの性能を維持するため縮小光学系の構成が用いられる場合が多い。
【００１９】
また、縮小光学系の読み取り装置に用いられるデバイスはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である場合が多い。
【００２０】
図１０（ａ）に、縮小光学系の読み取り装置構成を示す。
同図において１００１は読み取り装置本体である。１００２は原稿画像を抑え、流し読みを行う時には原稿画像を原稿読み取り位置まで送るＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）として機能する。
【００２１】
１００３は原稿画像、１００４は原稿台読み取り時に原稿画像１００３を載せるガラス板である。１００５は原稿画像１００３を読み取る読み取りデバイスを含むユニットであり、原稿画像を撮像するデバイスを含んでいる。
１００６は光源であり、通常キセノン管などの白色光源が用いられる。
１００７〜１０１１はミラーであり、光源１００６から原稿画像に照射される光の反射光を撮像素子まで伝達する役割を持つ。
１０１２はミラー１０１１により反射された原稿画像からの反射光を撮像素子幅に集光するためのレンズである。
１０１３は撮像素子であり、縮小光学系においてはＣＣＤにより構成される。
【００２２】
次に、縮小光学系における原稿画像の読み取りプロセスを説明する。
光源１００６により原稿画像データ１００３に照射された光は、ガラス板１００４に載せられた原稿画像で反射され、ミラー１００７で受けられる。
ミラー１００７で反射される光の強度は、原稿画像に依存し原稿画像の輝度が高いほど光強度が強くなる。
【００２３】
つまり、原稿画像が反射率の高い白色である場合、一番光強度が高くなる。
ミラー１００７で受けられた光はミラー１００８、ミラー１００９、ミラー１０１０、ミラー１０１１にて順次反射されレンズ１０１２に出力される。
【００２４】
レンズ１０１２は、ミラー１０１１で反射される光を撮像素子１０１３の幅に合わせるために集光して出力する。
このように、原稿画像の反射光を複数のミラーで反射させ最終的にレンズで集光して撮像素子に入力する構成が、縮小光学系の特徴である。
【００２５】
縮小光学系の読み取り装置において、複数のミラーで光を反射する理由はＣＣＤの幅に合わせるために光路が必要となるからである。
例えば、５０ｍｍ幅のＣＣＤに原稿画像の光データを結像させるために必要な光路は少なくとも２００ｍｍ程度必要であることが知られている。
このように撮像素子のサイズに合わせて光路長が必要となる縮小光学系であるが、読み取り特性は非常に高い。
【００２６】
具体的には、原稿画像１００３がガラス板１００４に完全に密着していなくても、ピントの合った原稿画像を読み取ることが出来る。
このピントが合うために必要な距離は、被写界深度と呼ばれる。
この数値が大きいほど原稿画像１００３がガラス板１００４に対して完全に密着していない時にも、原稿画像の読み取りに対してある程度は支障を来たさない。
【００２７】
次に、撮像素子１０１３、すなわちＣＣＤデバイスの構成例を図１０（ｂ）、図１０（ｃ）に示す。
図１０（ｂ）は３ラインセンサの例であり、水平方向を主走査方向、垂直方向を副走査方向として図示している。
同図において、１０１３ａ、１０１３ｂ、１０１３ｃは、カラー画像を構成する３つの色信号を読み取るラインセンサであり、主走査方向にＨ画素で構成されるラインデータを読み取ることが出来る。
【００２８】
１０１３ｄ、１０１３ｅ、１０１３ｆは各色信号を読み取るラインセンサに含まれる画素センサを示している。
これは、読み取る色信号毎に水平方向に連続して並んで構成されている。
【００２９】
ＣＣＤデバイスの読み取り解像度は、各色信号毎に並んだ画素センサ数に依存する。
すなわち、Ｈの画素数が多いほど高解像度で画像データを読み取ることが可能となる。
【００３０】
例えば６００ｄｐｉの読み取り解像度を持つＣＣＤである場合、画素センサ間の距離は６００ｄｐｉの解像度に基づく距離となる。
【００３１】
読み取り解像度、すなわち画素センサ数はＣＣＤの単価に直接的な影響を及ぼす。
つまり、高解像度の画像データの読み取りを実現させるためには、単価が高くなったとしても画素センサ数が多いＣＣＤを使用して読み取り装置を構成しなければならない。
【００３２】
ＣＣＤデバイスの次の特徴は、各色信号を読み取るのラインセンサ間に距離が存在することである。
【００３３】
例えば、１０１３ａのラインセンサは、赤（以下Ｒと称する）の画像データを読み取るフィルタが構成されているセンサとする。
１０１３ｂのラインセンサは緑（以下Ｇと称する）の画像データを読み取るフィルタにより構成されているセンサであるとする。
【００３４】
この場合、ラインセンサ１０１３ａとラインセンサ１０１３ｂ間には、撮像素子として、センサ実装上の物理的な距離が存在する。
【００３５】
この距離をＬ（画素分）とすると、同じタイミングで読み取られたＲの画像データとＧの画像データには、副走査方向にＬ画素分のずれが生じることとなる。
【００３６】
同様に、１０１３ｃのラインセンサが青（以下Ｂと称する）の画像データを読み取るフィルタにより構成されている場合、同じタイミングで読み取られたＧの画像データとＢの画像データにはＬ（画素分）のずれが生じる。
【００３７】
Ｒの画像データとＢの画像データには２Ｌ（画素分）のずれが生じる。
各色信号を読み取るラインセンサ間の距離Ｌの影響は、読み取り装置で読み取られた画像データに対する画像処理部の構成に影響を及ぼす。
一般的な画像処理における処理単位はＲ、Ｇ、Ｂといった各色信号を読み取るラインセンサ単位ではなく、画素単位である。
【００３８】
また、読み取りデバイスユニット１００５が動作した際に機械的なズレが生じてしまい、各ラインセンサ間の距離Ｌを一定にすることが出来ないという問題がある。このズレは読み取り画像データの画像形成において色ズレとなって現れ、出力画像劣化に直結する。
【００３９】
したがって、高性能な複合機において適用されているＣＣＤのライン間Ｌは、２ライン（画素分）程度と非常に小さくなる。
【００４０】
次に、４ラインセンサの構成を持つＣＣＤに関して説明する。
図１０（ｃ）は４ラインセンサの構成を示す図であり、同図においても水平方向を主走査方向、垂直方向を副走査方向として図示している。
【００４１】
同図において、１０１３ｇ、１０１３ｈ、１０１３ｉはカラー画像を構成する３つの色信号を読み取るラインセンサであり、主走査方向にＨ画素で構成されるラインデータを読み取ることが出来る。
１０１３ｋ、１０１３ｌ、１０１３ｍは、各色信号を読み取るラインセンサに含まれる画素センサを示しており、読み取る色信号毎に水平方向に連続して並んで構成されている。
１０１３ｊは、モノクロ画像データを読み取るラインセンサであり、カラー画像を読み取るラインセンサと同様に主走査方向にＨ画素で構成されるラインデータを読み取ることが出来るものである。１０１３ｎは、モノクロ画像読み取り用の画素センサを示しており水平方向に連続して並んで構成されている。
【００４２】
４ラインセンサは３ラインセンサと比較して、カラー画像の読み取り時あるいはモノクロ画像の読み取り時に読み取りに使用されるセンサが異なるという差があるが、基本的な動作は３ラインセンサと比べて変わらない。
【００４３】
例えば、１０１３ｇのラインセンサをＲの画像データを読み取るフィルタが構成されているセンサとする。
同様に、１０１３ｈのラインセンサをＧの画像データを読み取るフィルタにより構成されているセンサ、１０１３ｉのラインセンサをＢの画像データを読み取るフィルタにより構成されているセンサとする。
この場合、カラー画像読み取り時において、ラインセンサ１０１３ｇ、ラインセンサ１０１３ｈ、ラインセンサ１０１３ｉを使用して原稿画像を読み取る。
各ラインセンサ間にはライン間Ｌが存在しているため、画像読み取り後の画像処理部にはライン間を補正して、画素単位の画像データにするためのメモリが必要となる。
【００４４】
モノクロ原稿読み取り時においては、前記カラー画像データの読み取りで使用されないラインセンサ１０１３ｊを使用して原稿画像を読み取る。
この場合、他のラインセンサとの依存関係はないため、読み取った画像データはライン間の補正は行われないまま、画像読み取り後の画像処理部で扱われることとなる。
【００４５】
なお４ラインセンサにおいても３ラインセンサと同様、ＣＣＤデバイスの読み取り解像度は色信号毎に並んだ画素センサ数に依存する。
すなわち、Ｈの画素数が多いほど高解像度で画像データを読み取ることが可能となる。
【００４６】
また、読み取り解像度、すなわち画素センサ数がＣＣＤの単価に直接的な影響を及ぼすことも同様である。高解像度の画像データの読み取りを実現させるためには単価が高くなったとしても画素センサ数が多いＣＣＤを使用して読み取り装置を構成しなければならない。
【００４７】
このように一般的な複合機の読み取り装置の構成は、上述した縮小光学系又は密着光学系のいずれかの構成を採用している。
そこで、これらに共通することは主走査方向に配置された画素センサ数に依存して読み取り解像度が決定することである。
【００４８】
一方、超解像度処理という技術がある。
超解像度技術とは、読み取り装置のセンサが有する解像度で読み取った複数の画像データを用いて元々持っていた画像データの解像度を格段に向上させるものである。
【００４９】
（超解像度処理について）
次に、超解像度処理技術について説明する。
図１１（ａ）が、読み取り装置で読み取られる画像データとする。
この画像データに対して、例えば解像度１２００ｄｐｉで読み取った場合の、画素構成を図１１（ｂ）に示す。
図１１（ｂ）において、１２０１で示した格子は読み取った解像度で構成する画素データを示すものとする。
つまり画素間の距離ｎは、解像度１２００ｄｐｉで読み取った場合の隣接する画素センサ間の距離に相当する 図１１（ｃ）において、読み取り装置が同一画像サイズの画像を解像度３００ｄｐｉで読み取った場合の画素構成を示す。
図１１（ｂ）と同様、１２０２で示した格子は読み取った解像度で構成する画素データを示すものとする。
したがって、解像度１２００ｄｐｉでの画素間の距離ｎを基準とすると、解像度３００ｄｐｉでの読み取りが行われた場合の画素間の距離は粗くなり、４ｎとなる。
【００５０】
読み取られた画像の再現力は解像度に比例するため、解像度１２００ｄｐｉで読み取られた画像データ（図１１（ｂ））と、解像度３００ｄｐｉで読み取られた画像データ（図１１（ｃ））をそのまま比較すると、画質の差は歴然となる。
【００５１】
超解像度処理は、この図１１（ｃ）相当の複数の画像データから図１１（ｂ）の画像データを生成する技術である。
この技術を用いれば、元々の読み取りデバイスが持つ解像度がそれほど高くなくても、高解像度デバイスと同等の読み取り画像を構成することが出来るようになる。
【００５２】
しかし、低解像度画像データから高解像度画像データ、又は更なる高解像度画像データを得るための「超解像度変換」処理を行うためにはある条件を満たす必要がある。
【００５３】
それは、まず読み取り装置のセンサ解像度で読み取られた原稿画像の画像データを基準に、読み取られる位置が主走査方向及び／又は副走査方向に微小にずれている原稿画像の画像データが複数画面（フレーム）分必要になる。
【００５４】
つまり、基準となる画像データから主走査方向及び／又は副走査方向にセンサが読み取る原稿画像の位置が少しずつ、ずれている画像データが連続して複数フレーム分必要となる。
【００５５】
また、この複数画面（フレーム）分の画像データを読み取る際に、隣り合ったセンサが得るフレーム画像データの間に存在する、原稿画像の読み取り位置のずれが主走査方向及び／又は副走査方向に１画素未満（サブピクセル）である必要がある。
この読み取り位置のずれは、整数倍の位置ずれをオフセット補正した結果残る、１画素未満のずれであってもよい。
【００５６】
以下、１画面（フレーム）で構成される原稿画像を走査した際に読み取られたデータであり、この１画面（フレーム）分の原稿画像を構成するデータを「フレーム画像データ」という。
【００５７】
また、原稿画像にて読み取られる位置を「位相」と言う。
また、この位相がずれることを「位相がずれる」と言い、読み取り位置のずれを「位相ずれ」と言う。
【００５８】
また、ここで使用する低解像度とは、３００ｄｐｉに限られてはおらず、装置が通常の印刷で出力する画像の解像度のことを表す。
また、ここでいう主走査方向とは、原稿台上に設置された原稿画像をスキャナで読み取る際、原稿画像に対してユニット１０５が移動する方向に対して垂直な方向である。
そして、図１１（ａ）の矢印（Ａ）示すように、この読み取られた原稿画像の横方向を「主走査方向」という。
またここでいう副走査方向とは、原稿台上に設置された原稿画像をスキャナで読み取る際、原稿画像に対してユニット１０５が移動する方向に対して平行な方向である。
そして、図１１（ａ）の矢印（Ｂ）に示すように、この読み取られた原稿画像の横方向を「副走査方向」という。
【００５９】
もちろん、主走査方向のみ位相ずれを持ったもの、あるいは副走査方向のみ位相ずれを持ったものでも高解像度化は可能である。
しかしこの場合は、位相ずれを持つ方向のみ高解像度化が図られることになる。
【００６０】
図１２（ａ）以降の図を用いて超解像度処理に必要となる条件を説明する。
図１２（ａ）は、図１１（ａ）の原稿画像データを解像度３００ｄｐｉで原稿画像データを読み取った時の画素構成を示す図である。
この図は原稿画像図１１（ａ）と同一である。
この読み取り画像データ図１２（ｂ）が、超解像度処理を行う１フレーム目の対象画像データとなり、これが基準画像データとなる。
【００６１】
次に、図１２（ｃ）に示すように、図１２（ａ）の原稿画像データを解像度３００ｄｐｉにて、基準画像データを主走査方向にΔｘ（Δｘ＜４ｎ）、副走査方向にΔｙ（Δｙ＜４ｎ）位相をずらして読み取る。
この場合、読み取られた画像データである図１２（ｄ）の位相が原稿画像データとは異なり、図中に示す主走査左方向にΔｘ、副走査上方向にΔｙずれたものとなる。
この読み取り画像データである図１２（ｄ）が、超解像度処理を行う２フレーム目の対象画像データとなる。
【００６２】
更に、図１２（ｅ）に示すように、図１２（ａ）の原稿画像データを３００ｄｐｉの解像度にて、基準画像データを主走査方向にΔｘ’（Δｘ’＜４ｎ、Δｘ＜Δｘ’）、副走査方向にΔｙ’（Δｙ’＜４ｎ、Δｙ＜Δｙ’）位相をずらして読み取る。
【００６３】
この場合、読み取られた画像データである図１２（ｆ）の位相が原稿画像データとは異なり、図中に示す主走査左方向にΔｘ´、副走査上方向にΔｙ’ずれたものとなる。
この読み取り画像データである図１２（ｆ）が、超解像度処理を行う３フレーム目の対象画像となる。
【００６４】
このような、基準画像データに対してそれぞれ異なる位相ずれを有する複数フレーム分低解像度画像データの読み取りデータが得られると、超解像度処理により高解像度化が可能となる。
【００６５】
図１３に３枚の低解像度画像データから高解像度画像データを構成する概念を示す。
これは基準画像データである図１３（ａ）と図１３（ｂ）、図１３（ｃ）・・・と、それぞれ異なる位相ずれを有する複数フレーム分の低解像度画像データに対して、超解像度処理を用いると図１３（ｄ）の画像データが得られることを示している。
この際行われる超解像度処理に関して図２６，２７を用いてさらに詳細に説明する。
【００６６】
図２６は超解像度処理に用いる低解像度画像データと超解像度処理後の画像データを示す図である。図２６では原稿画像と原稿をエリアセンサで読み取られて得られた基準低解像度画像データＦ０と対象低解像度画像データＦ１〜Ｆ３を示している。原稿画像を囲む点線矩形は基準低解像度画像データＦ０をエリアセンサで読み取った際の領域を示す。実線矩形は対象低解像度画像データＦ１〜Ｆ３のそれぞれをエリアセンサで読み取った際の領域を示す。
【００６７】
本実施形態では、主走査方向のずれ量を「ｕｍ」、副走査方向のずれ量を「ｖｍ」とそれぞれ表す。また、対象低解像度画像データＦｎ（ｎ＝１〜３）についてのこれらのずれ量を「ｕｍｎ」、「ｖｍｎ」と表す。例えば、図２６に示すように、対象低解像度画像データＦ１は、基準低解像度画像データＦ０に対して、副走査方向のずれが生じており、そのずれ量は、ｕｍ１、ｖｍ１と表される。
同様に、対象低解像度画像Ｆ２、Ｆ３についてもずれ量ｕｍ２、ｖｍ２及びｕｍ３、ｖｍ３と表される。
【００６８】
各対象低解像度画像データＦｎ（ｎ＝１〜３）についてのずれ量ｕｍｎ、ｖｍｎは基準低解像度画像データＦ０の画像データと対象低解像度画像データＦ１〜Ｆ３の画像データとに基づき算定される。算定には予めＲＯＭ２０３に記憶されたエリアセンサの傾き情報による所定の算出が用いられる。
【００６９】
本図２６では、模式的に各対象低解像度画像データのずれは１画素単位であるものとして示している。
しかし、本実施例のエリアセンサによる読み取りにおいては主走査方向と副走査方向に対して１画素未満の位相ずれが生じている。この微小なずれを利用することで前述したように画像の高解像度化が可能となる。
したがって、生成する超解像度処理画像データを構成する各画素（以下「生成画素」という）のうち基準低解像度画像データ及び対象低解像度画像データのいずれにも存在しない画素が存在する。
【００７０】
このような画素については、その生成画素の周辺に存在する画素の画素値を表す画素データを用いて、所定の補間処理を行うことにより、合成を行いつつ高解像度化を行う。補間処理としては、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の補間処理を用いることができる。
【００７１】
例えば、バイ・リニア法による補間処理を用いる場合について図２７を用いて説明する。まず、基準低解像度画像データ及び対象低解像度画像データから、生成画素１８０１の位置（ｘ，ｙ）に最も近い距離にある最近傍画素１８０２を抽出する。
【００７２】
そして、図２７の対象低解像度画像データから生成画素位置を囲む４つの画素を周辺画素１８０２〜１８０５として決定する。
そして、周辺画素のデータ値に所定の重み付けを加えた値を平均化して、以下の式により生成画素のデータ値を得る。
ｆ（ｘ，ｙ）＝［｜ｘ１―ｘ｜｛｜ｙ１−ｙ｜ｆ（ｘ０，ｙ０）＋｜ｙ−ｙ０｜ｆ（ｘ０，ｙ１）｝＋｜ｘ−ｘ０｜｛｜ｙ１−ｙ｜ｆ（ｘ，ｙ０）＋｜ｙ−ｙ０｜ｆ（ｘ１，ｙ１）｝］／｜ｘ１−ｘ０｜｜ｙ１−ｙ０｜
【００７３】
以上の処理を各生成画素位置について繰り返すことにより、例えば、図２６に示す解像度が２倍の超解像度画像を得ることができる。なお、解像度は２倍に限らず、種々の倍率とすることができる。また、補間処理に複数の低解像度画像データのデータ値を用いるほど、高精細な超解像度画像を得ることができる。
【００７４】
（第１実施例）
以下、図面を参照して第１実施例を詳細に説明する。
【００７５】
図１は、本実施例を適用した複合機の読み取り装置の一例を示す図である。
同図において、１０１は読み取り装置本体、１０２は原稿画像を抑え、流し読みを行う時には原稿画像画像を原稿読み取り位置まで送るＡＤＦ機能を有する。
１０３は原稿画像、１０４は原稿台読み取り時に原稿画像１０３を載せるガラス板である。
１０５は原稿画像１０３を読み取る読み取りデバイスを含むユニットであり、原稿画像を撮像するデバイスを含んでいる。
１０６は光源であり、キセノン管などの白色光源が用いられる。
１０７〜１１１はミラーであり、光源１０６から原稿画像に照射される光の反射光を、撮像素子まで伝達する役割を持つ。
１１２はミラー１１１により反射された原稿画像から反射光を撮像素子幅に集光するためのレンズである。
１１３は撮像素子であり、本実施例においてはエリアセンサで構成される。
【００７６】
エリアセンサとはデジタルカメラなどに適用されている撮像素子であり、上述したライン単位のセンサとは異なり、原稿画像データを読み取る画素センサが２次元的に配列されている。
【００７７】
図１４は、エリアセンサの構成を示す図である。同図において１４０１はエリアセンサデバイスを示している。
【００７８】
この１つ画素は、この１画素の画素センサを４等分してＲＧＢで構成されるカラー対応の画素センサであってもよい。
１４０２はエリアセンサ１４０１における画素センサを示しており、長辺方向にＨ画素、短辺方向にＬ画素の画素センサにより構成されている。
また、Ｈ画素＝Ｌ画素（長辺＝短辺）としてもよい。
このエリアセンサの解像度は画素センサ間の距離Ｎにより決定される。
【００７９】
高解像度のデジタルカメラに使用されているエリアセンサは、長辺方向画素センサ数、及び短辺方向画素センサ数として非常に多くの画素により構成されている。例えば、１，０００万画素クラスのデジタルカメラにおいては、長辺方向の画素センサとして３，８００画素、短辺方向の画素センサとして２，８００画素を有しているものがある。
【００８０】
一般的にエリアセンサをカメラ等に用いる際、エリアセンサは入力される画像データを２次元領域として捉え撮像する。
つまり、１回の撮像において２次元に配列した画素センサを用いて撮像する。エリアセンサデバイスを読み取り装置へ装着する際には、撮像した画像データを横方向、縦方向に歪みのない画像とするため、画素センサは傾斜なく配置される。
【００８１】
したがって撮像された画像を再現した場合、斜め方向には一切のずれがないように配置する。
例えば一般的なカメラ内にエリアセンサが取り付けられた場合、１４０３の黒枠で示すラインの画素センサで読み取る画像データは、撮像物の最上端部を構成する画像データとなる。
この際、読み取られた画像データはラインを構成する方向に傾きがないものとなる。
【００８２】
同様に、１４０４の黒枠で示すラインの画素センサで読み取る画像データは、１４０３で読み取った撮像物位置と異なる位置、すなわち垂直方向に下の位置の画像データである。よって、１４０５は１４０３で読み取った撮像位置よりも垂直方向に４つ下の位置の画像データとなる。
【００８３】
このように、デジタルカメラのエリアセンサを用いる際、画像データを２次元領域として撮像するため、エリアセンサを構成する画素センサは全て撮像物の異なる位置を撮像していることとなる。
【００８４】
しかしながら、本実施例にて用いる装置におけるエリアセンサの使用方法は、前記デジタルカメラでの使用方法とは異なる。
【００８５】
まず、図１４に示したエリアセンサを読み取り装置の基準となる設置位置に取り付ける。
【００８６】
一般的な印刷を行う画像処理装置では、
図１における原稿台１０４上にて、指定された位置に原稿画像を置いた時、原稿画像の下を原稿画像の縦方向と同じ方向に平行走行する光源から原稿画像に照射される光の反射光がセンサに集光される。この反射光がセンサに対して傾くことがないように取り込まれる。
光源が平行走査されることで得る１ライン分の画像データとしての反射光は、図１４に示すセンサの横方向（長辺方向）に平行に集光される。
【００８７】
このため、センサはほぼ傾斜なく原稿画像を取り込むことができる位置に設置される。
このように原稿画像の出力を実現するためのセンサの設置位置をセンサの「基準となる設置位置」とする。
【００８８】
本説明においては説明を簡略化するために、長辺方向に２０画素、短辺方向に１０画素の画素センサにより構成されているものとする。
もつろん、長辺方向＝短辺方向となる構造であってもよい。
なお、前記画素センサ数は本実施例におけるエリアセンサの用途及び構成の説明を行うためのものであり、図示した画素センサ数に制限されるものではない。
実際には、デジタルカメラで使用されている画素センサ数で構成しても良いことは言うまでもない。
【００８９】
読み取り装置に実装したエリアセンサ１１３を含む読み取りユニット１０５を、図１に記載した矢印方向に駆動させることにより、原稿台１０４に載せられた原稿画像１０３を読み取る。
【００９０】
つまり、画素センサの集まりである読み取りラインセンサ１４０４及び１４０５を、上述したラインセンサのように扱うことにより読み取り動作を行う。
【００９１】
次に、読み取りラインセンサ１４０４及び１４０５によって読み取られるライン画像データがどのようになるか説明する。
本説明において読み取りを行う原稿画像を図１５とする。
つまり、この原稿画像は図１における原稿画像１０３に相当する。
また、同図において格子で示したものは、読み取りラインセンサ１４０４、あるいは１４０５を構成する画素センサの解像度に対応した画素構成である。
原稿画像の横方向の矢印で示す方向を主走査方向、縦方向で示す方向を副走査方向とする。
【００９２】
読み取りユニット１０５が駆動して、原稿台下を副走査方向に移動するとともに、読み取りラインセンサ１４０４及び１４０５に入力されるフレーム画像データが、順次読み取られる。
【００９３】
つまり、原稿画像のうち、読み取りユニット１０５の位置にあり、ライン幅に対応する部分が時々刻々と、読み取られる。
この原稿画像を読み取るプロセスを説明する。
【００９４】
読み取りユニット１０５が原稿台下を副走査方向へ移動すると、図１６（ａ）、１７（ａ）、１８（ａ）、１９（ａ）で示す原稿画像の斜線部に、光源からの光が当たる。
【００９５】
まず、ある瞬間において、図１６（ａ）の斜線部に光源からの光が当たる。
すると、エリアセンサは光を検知して、光の当たった部分であるライン幅部分の原稿の画像データを検知する。
【００９６】
例えばこの時、ラインセンサ１４０４は図１６（ｂ）で示されるような画像データを検知する。
【００９７】
同時にラインセンサ１４０５では図１６（ｃ）で示されるような画像データを検知する。
【００９８】
２つのライン画像データ間において読み取り位置のずれがあるのは、２つのラインセンサが物理的に距離をもって設置されているためである。
【００９９】
そして、読み取られるライン画像データは、読み取りラインセンサごと異なるライン画像データとして扱われ、図１６（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体へ別々に記憶される。
【０１００】
次に、センサユニット１０５が移動し、光源が動き、図１７（ａ）に示すように各ラインセンサが検知する原稿画像の位置が変わる。そして、ラインセンサ１４０４は図１７（ｂ）、ラインセンサ１４０５は（ｃ）に示すような画像データを検知する。
すると、読み取られる原稿画像データは、読み取りラインセンサごと異なる画像データとして扱われ、図１７（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体に別々に記憶される。
【０１０１】
同様に、図１８（ａ）に示した位置を読み取られると、図１８（ｂ）、（ｃ）に示すようなライン画像データが、図１８（ｄ）、（ｅ）のようにメモリ等の記憶媒体に記憶される。
【０１０２】
また、図１９（ａ）に示した位置を読み取られると、図１９（ｂ）、（ｃ）に示すようなライン画像データが、図１９（ｄ）、（ｅ）のようにメモリ等の記憶媒体に記憶される。
【０１０３】
最終的には、原稿画像の全てに光源からの光が照射され、各ラインセンサがそれぞれの位置にて画像データを読み取る。
すると、読み取られた画像データは、順にメモリに格納され、図２０（ａ）、（ｂ）に示すような画像が得られる。
この時、図２０（ａ）の矢印（Ａ）に示す方向を主走査方向、矢印（Ｂ）に示す方向を副走査方向という。
図２０に示すように、副走査方向への１画素分のずれが生じた複数フレーム分のフレーム画像データが取得できる。
この副走査方向へのずれをもったフレーム画像データは画素センサの集合で構成されたラインセンサの本数分得られることとなる。
このように、原稿画像の読み取りに画素センサを２次元的に配置してエリアセンサとして用いると、一回の読み取り動作で副走査方向に連続して位相がずれたフレーム画像データが複数フレーム得られる。
【０１０４】
次に、本実施例にて用いる装置におけるエリアセンサの使用方法について述べる。
まず、図１４で示したようなエリアセンサを、読み取り装置へ傾斜させて実装する。
【０１０５】
図２１に、本実施例におけるエリアセンサの実装形態の一例を示す。
１５０１はエリアセンサデバイスを示している。
１５０２は画素センサを示しており、本説明においては長辺方向に２０画素、短辺方向に１０画素の画素センサにより構成されているものとする。
【０１０６】
そして、エリアセンサを基準となる設置位置から基準となる設置位置に対して傾斜させて実装する。
つまり、図２１に示すように、基準となる設置位置に設置されていた時のエリアセンサ内にて一番下に設置されていたラインセンサとの間に角度θをつけて設置する。
【０１０７】
構成する画素センサの位置は、エリアセンサ左端上部を原点に、長辺方向をｘ方向、短辺査方向をｙ方向として表すこととする。
つまり、左端上部の座標は（ｘ，ｙ）＝（０，０）であり、右端上部の座標は（ｘ，ｙ）＝（１９，０）となる。
同様に、左端下部の座標は（ｘ，ｙ）＝（０，９）、右端下部の座標は（ｘ，ｙ）＝（１９，９）となる。
【０１０８】
１５０３は、エリアセンサ１５０１を構成する１ライン分の画素センサの集まりを示している。具体的には、長辺方向を構成する２０個の画素センサにより構成されている。
つまり、座標位置（０，４）、（１，４）、（２，４）、・・・・（１９，４）の画素センサで構成される。
なお、以下の説明において、前記１５０３で囲まれる複数の画素センサを読み取りラインセンサ１５０３と称する。
【０１０９】
同様に１５０４は、座標位置（０，５）、（１，５）、（２，５）、・・・・（１９，５）の画素センサで構成され、以下の説明において読み取りラインセンサ１５０４と称する。
【０１１０】
本実施例においては、読み取り装置に実装したエリアセンサ１１３を含む読み取りユニット１０５を、図１に記載した矢印方向に駆動させることにより、原稿台１０４に載せられた原稿画像を読み取る。
つまり、画素センサの集まりである読み取りラインセンサ１５０３及び１５０４を、上述したように、ラインセンサのように扱うことにより読み取り動作を行う。
【０１１１】
次に、読み取りラインセンサ１５０３及び読み取りラインセンサ１５０４によって読み取られるライン画像データがどのようになるかを説明する。
【０１１２】
本説明において読み取りを行う画像を図１５とする。
つまり、この原稿画像は図１における原稿画像１０３に相当する。
【０１１３】
また、同図において格子で示したものは、読み取りラインセンサ１５０３、あるいは１５０４を構成する画素センサの解像度に対応したものである。
原稿画像は前述した図１６〜２０において示されたように読み取られるが、θ傾斜していることで、角度θ傾斜したフレーム画像データが得られる。
【０１１４】
例えば、本来エリアセンサに傾きがなければ、図２２（ａ）の斜線部で示す位置が読み取られるはずである。しかし、エリアセンサが傾いていることで、ラインセンサ１５０３、１５０４は、図２２（ｂ）、（ｃ）に示すように画像データを検知する。
【０１１５】
そして、これらのライン画像データは傾いたままそれぞれ図２２（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体に記憶される。
同様に、センサユニット１０５が移動し光源が動くとともに図２３（ａ）の斜線部に示す位置を読み取る。この場合、ラインセンサ１５０３、１５０４は、図２３（ｂ）、（ｃ）に示すように画像データを検知する。
【０１１６】
そしてこれらのライン画像データはそれぞれ、図２３（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体に記憶される。
さらに、読み取りユニットの副走査方向への移動とともに光源が移動して図２４（ａ）の斜線部に示す位置を読み取る場合は、ラインセンサ１５０３、１５０４では図２４（ｂ）、（ｃ）に示す画像データが得られる。
そして、これらのライン画像データはそれぞれ図２４（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体に記憶される。
【０１１７】
最終的には、ラインセンサ１５０３、１５０４にて検知され、読み取られたライン画像データは、図２５（ａ）、（ｂ）に示すようなデータである。これらは、いずれも角度θ傾斜した画像データとして読み取られる。
この時、図２５（ａ）の矢印（Ａ）に示す方向を主走査方向、矢印（Ｂ）に示す方向を副走査方向という。
これに対して、矢印（Ｃ）に示した方向を読み取り画像データの横方向という。また、矢印（Ｄ）に示した方向を読み取り画像データの縦方向という。
【０１１８】
図２１に示すように、読み取りラインセンサ１５０３と読み取りラインセンサ１５０４は、物理的に短辺方向に１画素センサ分ずれている。
したがって、読み取りラインセンサ１５０３を構成する画素センサと、読み取りラインセンサ１５０４を構成する画素センサには、短辺方向に対して位相ずれがある。
【０１１９】
例えば、読み取りラインセンサ１５０３の座標（ｘ，ｙ）＝（１５，４）に位置する画素センサと、読み取りラインセンサ１５０４の座標（ｘ，ｙ）＝（１５，５）に位置する画素センサは、短辺方向における位置はｙ＝１分ずれている。
そのずれは、基準となる設置位置における垂直方向に対してΔβ分のずれをもたらす。
【０１２０】
一方、ｘ軸方向における位置は全く同じｘ＝１５である。
しかし、傾斜角度θにより、基準となる設置位置における水平方向に対して、サブピクセル以内の微小量Δαだけ位相がずれたものとなる。
【０１２１】
つまり、読み取りラインセンサ内においてｘ軸方向に同じ位置の画素センサであっても、エリアセンサを傾けることにより、傾斜角度に依存した微小単位の位相ずれが発生する。このずれは傾斜角度に依存する。
したがって、エリアセンサ１１３内に定義した読み取りラインセンサで読み取ったライン画像データは、ラインセンサ毎に、異なる位相ずれを持ったフレーム画像データとなる。
【０１２２】
具体的には、図２５（ａ）の読み取り画像データと図２５（ｂ）の読み取り画像データとは、縦方向に１画素分つまり副走査方向にΔβ分ずれるだけでなく、主走査方向にもΔα分だけ、位相がずれたものとなっている。
【０１２３】
前記説明においては、読み取りラインセンサが２つ（読み取りラインセンサ１５０３、１５０４）であることを前提にしたがこれに限られるものではない。エリアセンサ１１３を構成する画素センサを、ｙ軸方向に増やすことで読み取りラインセンサを多数構成して良い。
つまり、読み取りラインセンサは、エリアセンサ１１３を構成するｙ軸方向に並ぶ画素数分設けることが可能である。
【０１２４】
読み取りラインセンサとして構成した数は、１回の読み取り動作によって得られる読み取り画像データ数と等しい。
つまり、エリアセンサ１１３内に、読み取りラインセンサを３０ライン分構成すれば、１回走査することで、それぞれ固有の位相ずれを有する３０フレームの画像データを得ることが出来る。
【０１２５】
エリアセンサを傾けることにより得られるフレーム画像データは、主走査方向に異なった微小の位相ずれを有するものとなる。
したがって、このように読み取り制御によって得られるフレーム画像データを用いれば、超解像度処理によって、読み取りデバイスが有する解像度よりも高い画像データを構成することが可能となる。
【０１２６】
しかしながら、これまで説明した方法を複合機の読み取り装置にそのまま適用すると、好ましくない状況が発生する。
【０１２７】
図４は、複合機における画像を扱う処理ブロックを模式的に示した図である。４０１は、画像処理部であり、読み取り装置１０１により読み取られたフレーム画像データに対して様々な画像処理が施される。
なお、超解像度処理を行う処理ブロックも、画像処理部４０１の構成の一部として含まれる。
４０２は、画像処理部４０１が画像処理を行う際に使用するメモリである。
４０３は記録装置であり、例えばインクジェット方式あるいは電子写真方式における記録エンジンによって構成される。
４０４は、複合機全体を制御するプロセッサ（以下ＣＰＵと称する）である。
【０１２８】
図４の構成からもわかるように、複合機の読み取り装置１０１で読み取られた画像データは、画像処理部４０１に入力される。
通常、複合機における画像処理部の処理は水平方向に傾斜のない画像データを対象とする。
このため、従来の複合機においては、読み取り装置１０１内部に、斜行補正を行う処理部が存在する。斜行補正の方式には、いくつか存在するが、大きくは機械的な補正と電気的な補正に分類される。
【０１２９】
機械的な補正は、原稿画像をＡＤＦ１０２で読み取り位置に送る際、読み取りユニットに対して水平になるように、読み取り開始前に、原稿画像を１度、突き当てに当てることで実現するものである。
【０１３０】
図５は、機械的な補正を行う場合の構成の概要を示すものであり、装置上部から見た場合を示すものである。５０１は機械的に設けた突き当て、５０２はＡＤＦから送られる原稿画像を示している。
また、水平方向に主走査方向、垂直方向に副走査方向を示している。原稿の紙送り方向は、副走査方向であり、同図においては上から下となる。
【０１３１】
送られる原稿画像５０２は、図示しないローラ等により、原稿読み取り位置に送られるが、読み取り開始前に突き当て５０１に当てられる。例えば、図５（ａ）に示すように、原稿画像が斜めに送られると、突き当て５０１に当たることにより、原稿画像は読み取り開始位置に対して水平に補正される（図５（ｂ））。
【０１３２】
電気的な補正は、読み取り画像データを、一度、全てメモリ４０２に記憶させ、記憶させた読み取り画像データを解析することにより、傾斜角度を求める。
そして、求められた傾斜角度に応じて、読み取り画像データ全てに対して２次元座標変換を施すものである。２次元座標変換の方式として、多く使用される変換方式としては、アフィン変換が挙げられる（式１）。
【０１３３】
【数１】
・・・（式１）
Ｘ´、Ｙ´：変換後座標位置
Ｘ、Ｙ ：変換前座標位置
【０１３４】
斜行補正の方式の選択は、複合機の性能により異なる。
つまり、高性能な複合機においては、読み取り速度が高速となるため、１度突き当てに当てるという機械的な補正は、性能達成に対して大きな障害となる。したがって、電気的な補正が選択されることとなる。
【０１３５】
一方、メモリ容量を小さくすることが求められる場合には機械的な補正方式が選択されることが多い。
【０１３６】
本実施例においては、エリアセンサ１１３を傾斜させて実装することにより、主走査方向に微小な位相ずれを持った複数のフレーム画像データを取得することが特徴となる。
これにより、超解像度処理を行うための前提条件を達成することが出来る。
【０１３７】
また、エリアセンサ１１３を意図的に傾斜させ、微小な位相ずれを発生させて原稿画像の読み取りを行っているため、機械的な補正を選択することはない。
つまり、電気的な補正が選択される。
【０１３８】
超解像度処理を前提に電気的な補正を行うためには、２つの方法がある。
１つは、エリアセンサ１１３内に構成した、複数の読み取りラインセンサで読み取った複数の画像データを１度記憶させ、記憶した複数の傾斜画像データを用いて超解像度処理を行うものである。
【０１３９】
この場合、超解像度処理によって構成された画像データは、エリアセンサ１１３の傾斜をもった高解像度画像データとなる。
したがって、画像処理部４０１に出力する前に、構成された高解像度画像データに対して斜行補正を行わなければならない。
電気的な補正においては、メモリ４０２に記憶した状態から、傾斜角度を算出し、算出した角度を補正する変換を行う。
超解像度処理によって、高解像度に構成してから斜行補正を行う場合、補正を行う手段がハードウェアであっても、ソフトウェアであっても、使用するメモリ容量は対応する上限解像度に依存して多くなる。
つまり、複合機として２，４００ｄｐｉや４，８００ｄｐｉなどの高解像度画像を扱う場合、使用するメモリ容量は非常に大きなものとなってしまう。
【０１４０】
もう１つの方法は、超解像度処理の前の段階で斜行補正を行う方法である。
この場合、エリアセンサ１１３が有する主走査方向解像度の傾いた画像データに対して補正を行えば良いため、前述した方法よりも使用するメモリ容量は少なくすることが出来る。
【０１４１】
しかし、超解像度処理するためには傾いたフレーム画像データが多数必要となる。
したがって、超解像度処理を行うための前段処理として取得したフレーム分の斜行補正を行わなければならない。
斜行補正をソフトウェアで実現した場合、プロセッサが単一である場合はシーケンシャルに処理を行わなければならず、性能面での課題が発生する。
また、ハードウェアで実現する場合、性能向上のため並列処理を行う構成をとると回路規模及び付随するメモリ容量が多くなり、システムとしての負荷が増大する。
【０１４２】
そこで、本件では、傾斜して設置されたエリアセンサから、傾きのない画像を得るために、傾斜したエリアセンサ内の画素センサから、傾きのない画像を形成できる画素センサのみを選択して実際の画像の読み取りに使用する。
【０１４３】
図２は、本実施例における読み取り装置に実装するエリアセンサの構成を示している。
図２（ａ）は、使用されるエリアセンサ１１３に傾斜をもたせずに、水平方向に配置した場合の構成である。これは、基準となる設置位置にエリアセンサ１１３を配置した場合を示す図である。
図２（ｂ）は、エリアセンサ１１３を、傾斜角度θをもたせて読み取りユニット１０５に実装した場合の構成を示す図である。
図２において、円で示したものはエリアセンサ１１３の四隅の画素センサを示しており、エリアセンサ１１３の左上部の画素センサをＰａ、右上部の画素センサをＰｂ、左下部の画素センサをＰｃ、右下部の画素センサをＰｄとする。
【０１４４】
２０１は、エリアセンサ１１３の上部の距離を示しており、撮像素子のデバイスとしての横幅としても定義される。また、この横幅が、エリアセンサ１１３の長辺方向の解像度としても定義出来る。
つまり、２０１は長辺方向の画素センサ数として表すことが出来る。
【０１４５】
同様に、２０２はエリアセンサ１１３の下部、すなわち、画素センサＰｃと画素センサＰｄ間の画素センサ数を示す。
２０３はエリアセンサ１１３の画素センサＰｂと画素センサＰｄの距離、すなわち画素センサＰｂと画素センサＰｄ間の画素センサ数を示す。
同様に、２０４はエリアセンサ１１３の画素センサＰａと画素センサＰｃ間の画素センサ数を示す。
つまり、エリアセンサ１１３の周囲の距離は、エリアセンサ１１３が持つ解像度、画素センサ数により定義することが出来る。
したがって以降の説明においては、エリアセンサ１１３の各距離を該当する画素センサ数として説明する。
【０１４６】
傾斜角度θは、このエリアセンサ含んだ複合機を組み立てる工程において、エリアセンサ１１３を読み取りユニット１０５に実装した時点で取得出来る値である。
この傾斜角度θは、実装された機器固有の値として複合機内部の記憶領域に保持されるものである。
【０１４７】
以下、別図を用いて制御フローを交えて詳細に説明する。
図６は、本実施例における処理フローを表すものであり、複合機全体を制御するＣＰＵ４０４の制御を示すものである。
【０１４８】
図２（ｂ）は、傾斜角度θで実装したエリアセンサ１１３に内接する、傾斜角度０の矩形領域を網掛領域で示すものである。なお、網掛領域の頂点をＰｅ、Ｐｆ、Ｐｇ、Ｐｈとし、以下の説明においては、この網掛領域で示した矩形領域を内接矩形と称する。
【０１４９】
内接矩形の頂点は、左上部の隣接点がＰｅ、右上部の隣接点がＰｆ、左下部の隣接点がＰｇ、右下部の隣接点がＰｈとなる。
また、エリアセンサ１１３が外接し、内接矩形と平行であり傾斜角度０の矩形領域（以下外接矩形と称する）と、エリアセンサ１１３の４隅の画素センサであるＰａ、Ｐｂ、Ｐｃ、Ｐｄの位置を接点とした各距離を符号２０５〜符号２１２として示す。
【０１５０】
なお、外接矩形の頂点は、左上部の隣接点をＰｉ、右上部の隣接点をＰｊ、左下部の隣接点をＰｋ、右下部の隣接点をＰｌとする。
【０１５１】
したがって、２０５はＰａとＰｋ間の距離である。
２０６はＰｃとＰｋ間の距離である。
２０７はＰｃとＰｌ間の距離である。
２０８はＰｄとＰｌの距離である。
また、２０９はＰｄとＰｊ間の距離である。
２１０はＰｂとＰｊ間の距離である。
２１１はＰｂとＰｉ間の距離である。
２１２はＰａとＰｉ間の距離である。
【０１５２】
本実施例を適用した複合機のＣＰＵ４０４は、まず、エリアセンサ１１３の読み取りユニット１０５への実装における傾斜角度θの取得を行う（ステップＳ１０１）。
具体的には、複合機組み立て工程において、複合機内部の記憶領域に保持した傾斜角度θの読み取りを行う。
【０１５３】
次に、ＣＰＵ４０４は、傾斜角度θにより決定される内接矩形における座標の位置を決定する（ステップＳ１０２）。
【０１５４】
以下、内接矩形における座標の位置を決定する工程に関して説明する。
エリアセンサ１１３の傾斜角度がθであることにより、∠ＰｉＰｂＰａ、∠ＰｃＰａＰｋ、及び∠ＰｂＰｄＰｊの角度もθとなる。
符号２０１、符号２０２、符号２０３、符号２０４で示される距離、すなわち画素センサ数は、エリアセンサ１１３の解像度に依存するため、予め決まっている値である。
【０１５５】
したがって、例えば、符号２０５で示す距離（該当する画素センサ数）は、符号２０４で示す画素センサ数のｃｏｓθ倍で表すことが出来る。
また、符号２０６で示す距離（該当する画素センサ数）は、符号２０４で示す画素センサ数のｓｉｎθ倍で表すことが出来る。
例えば、符号２０４の距離に相当する画素センサ数（エリアセンサ１１３の副走査方向の画素センサ数）が２，８００、傾斜角度θ＝１０度である場合、符号２０５の距離に相当する画素センサ数は、２，８００×０．９８４８＝２，７５７となる。
【０１５６】
また、同じ条件での、符号２０６の距離に相当する画素センサ数は、２，８００×０．１７３６＝４８６となる。
【０１５７】
同様に考えると、符号２０７で示す距離（該当する画素センサ数）は、符号２０２で示す画素センサ数のｃｏｓθ倍で表すことが出来る。
また、符号２０８で示す距離（該当する画素センサ数）は符号２０２で示す画素センサ数のｓｉｎθ倍で表すことが出来る。
符号２０２の距離に相当する画素センサ数（エリアセンサ１１３の主走査方向画素センサ数）が３，８００、傾斜角度θ＝１０度である場合、符号２０７の距離に相当する画素センサ数は、３，８００×０．９８４８＝２，７４２となる。
【０１５８】
また、同じ条件での、符号２０８の距離に相当する画素センサ数は、３，８００×０．１７３６＝６５９となる。
【０１５９】
∠ＰｄＰｂＰｉ、∠ＰｂＰａＰｋ、∠ＰａＰｃＰｌ、∠ＰｃＰｄＰｊは同一角θ＋９０度であるので、∠ＰｉＰａＰｂ＝∠ＰａＰｃＰｋ＝∠ＰｊＰｂＰｄ＝∠ＰｌＰｄＰｃということがわかる。
したがって、傾斜角度０での外接矩形による条件により、２０５＝２０９、２０６＝２１０、２０７＝２１１、２０８＝２１２の関係が成り立つ。
【０１６０】
前記記載した演算方法により、２０５の画素センサ数、２０６の画素センサ数、２０７の画素センサ数、及び２０８の画素センサ数を求めることで、２０９〜２１２の画素センサ数も決まることになる。
【０１６１】
２０５〜２１２が示す画素センサ数が求まることにより、内接矩形の頂点座標、すなわちエリアセンサ１１３内のＰｅ、Ｐｆ、Ｐｇ、Ｐｈの座標位置が定まる。Ｐａ（０、０）とし、ＰａからＰｂへ向かう長辺方向をＸ軸方向とし、ＰａからＰｃへ向かう短辺方向をＹ軸方向とする。
【０１６２】
図２（ｃ）に、Ｐａ、Ｐｅ位置の拡大図を示す。この図からもわかるように、Ｐｅのエリアセンサ１１３内のＸ座標位置は、２０６の画素センサ数のｃｏｓθ倍で求められる。
【０１６３】
同様に、Ｐｅのエリアセンサ１１３内のＹ座標位置は、２０６の画素センサ数のｓｉｎθ倍で求めることが出来る。
【０１６４】
したがって、ＰｅのＸ座標をＸｐｅ、Ｙ座標をＹｐｅとすると、Ｘｐｅ及びＹｐｅは、以下の演算式（式２、式３）によって求まる。
Ｘｐｅ：（２０６の画素センサ数）×ｃｏｓθ・・・（式２）
Ｙｐｅ：（２０６の画素センサ数）×ｓｉｎθ・・・（式３）
【０１６５】
以下、同様に考えると、Ｐｆのエリアセンサ１１３内の座標位置（Ｘｐｆ、Ｙｐｆ）、Ｐｇのエリアセンサ１１３内の座標位置（Ｘｐｇ、Ｙｐｇ）、及び、Ｐｈのエリアセンサ１１３内の座標位置（Ｘｐｈ、Ｙｐｈ）は、以下の演算式（式４〜式９）により求まる。
Ｘｐｆ：（２１２の画素センサ数）×ｓｉｎθ・・・（式４）
Ｙｐｆ：（２１２の画素センサ数）×ｃｏｓθ・・・（式５）
Ｘｐｇ：（２０８の画素センサ数）×ｓｉｎθ・・・（式６）
Ｙｐｇ：（２０４の画素センサ数）−（２０８の画素センサ数）×ｃｏｓθ・・・（式７）
Ｘｐｈ：（２０１の画素センサ数）−（２１０の画素センサ数）×ｃｏｓθ・・・（式８）
Ｙｐｈ：（２０３の画素センサ数）−（２１０の画素センサ数）×ｓｉｎθ・・・（式９）
【０１６６】
以上の工程により、エリアセンサ１１３の内接矩形の頂点座標位置が求まる。内接矩形は、エリアセンサ１１３を傾けた場合においても、長辺方向に傾きが補正され、傾斜がないライン画像データを取り込むことが出来る領域（以下、有効な読み取り領域と称する）を示すこととなる。
【０１６７】
次にＣＰＵ４０４は、サブピクセルの位相ずれを有した傾きのないライン画像データを複数読み取るため、有効な読み取り領域内の画素センサにてライン画像データの読み取りに用いる画素センサの間隔を決定する（ステップＳ１０３）。
【０１６８】
以下、図３を用いて詳細に説明する。
【０１６９】
図３（ａ）は、読み取りユニット１０５内部に実装したエリアセンサ１１３の構成の一例を示している。
なお、本説明においては一例として、長辺方向の画素センサ数を２０、短辺方向の画素センサ数を１０として説明する。
エリアセンサ１１３を構成する画素センサの四隅の座標位置を図３（ｂ）に示す。長辺＝Ｘ軸、短辺＝Ｙ軸とする。
左上画素センサの座標は（ｘ，ｙ）＝（０，０）、右上画素センサの座標は（ｘ，ｙ）＝（１９，０）、左下画素センサの座標は（ｘ，ｙ）＝（０，９）、右下画素センサの座標は（ｘ，ｙ）＝（１９，９）となる。
【０１７０】
また、θはエリアセンサ１１３の傾斜角度であり、太線で示した矩形領域はステップＳ１０２において内接矩形（有効な読み取り領域）として決定された領域を示している。
【０１７１】
次にＣＰＵ４０４は、エリアセンサ１１３内部の有効な読み取り領域内の画素センサをどの程度の間隔で選定すれば、傾斜のないフレーム画像データを取得出来るか算出する。
エリアセンサ１１３の傾斜角度がθであることから、エリアセンサ１１３内に構成された画素センサも、長辺方向に隣接する画素センサ間で角度θの傾きが存在する。
【０１７２】
有効な読み取り領域内で傾きのないフレーム画像データを取得するために使用する画素センサは、前記傾きから逆算することが可能である。
例えば図３（ｂ）において、グレーの網掛けで示した画素センサＡ（座標位置（２、２））を基準とする。
隣接する画素センサＢは、傾斜角度θで傾斜しているため有効な読み取り領域内の画素センサであっても、画素センサＡで読み取った画素データと画素センサＢで読み取った画素データでは水平なフレーム画像データを構成することが出来ない。
【０１７３】
つまり、異なる画素センサで読み取った画素データで傾きのない画像データを構成するには、離散的に読み取り画素センサを決定する必要がある。
【０１７４】
具体的には、傾斜角度θで長辺方向に画素センサが配列された場合において、短辺方向に１だけシフトする長辺方向画素センサの位置を算出すれば良い（図３（ｃ））。
したがって、傾斜角度がθである場合、θに依存しない、基準となる設置位置における水平方向と平行なラインセンサを構成するために、長辺方向の画素センサ間隔は、式１０により求まる。
（傾斜角度θである場合の長辺方向の画素センサ間隔）＝１／ｓｉｎθ・・・（式１０）
式１０の演算結果は、整数となることが理想である。
【０１７５】
しかし、三角関数による演算であるため、傾斜角度θを複合機毎に任意とすると、傾斜のないフレーム画像データを読み取ることの出来る画素センサの選定は困難となる。
【０１７６】
したがって、本実施例の適用においては、エリアセンサ１１３を、読み取りユニットに傾斜して実装する傾斜角度θには、ある程度の範囲（制限）を設ける。
具体的には、傾斜角度θである場合の長辺方向画素間隔が整数となる傾斜角度θを実装制限として行う。
【０１７７】
図３（ｂ）の例においては、長辺方向の画素センサ間隔が５である場合を示している。
つまり、画素センサＡで読み取った画素データと、傾きのないフレーム画素データを読み取ることが可能な画素センサは、長辺方向に５、短辺方向に１進んだ座標位置が該当する。
具体的には、座標位置（７，３）の画素センサが該当する。
以降、同様に、画素センサＡを基準として傾きのないフレーム画素データを得ることが可能な画素センサを選定していく。
【０１７８】
ＣＰＵ４０４は、画素センサＡを基準とした画素センサ（以下、基準画素センサと称する）の選定が終了すると、次の基準画素センサＢ（座標位置（２，３））を決定し、同様の画素センサ選定を行う。
【０１７９】
なお、傾斜角度θは同一であるため、長辺方向の画素センサ間隔は画素センサＡを基準とした場合と同じである。
以降、画素センサＣ、画素センサＤに対しても、傾斜のないフレーム画素セータを得るための画素センサの選定を繰り返す。
【０１８０】
前記画素センサの選定により、傾きのないフレーム画像データを得るための読み取りラインセンサが定義される。
つまり、画素センサＡを基準とした画素センサで構成される読み取りラインセンサ、画素センサＢを基準とした画素センサで構成される読み取りラインセンサ、・・・画素センサＤを基準とした画素センサで構成される読み取りラインセンサを定義することが出来る。
【０１８１】
次に、ＣＰＵ４０４は、１回の読み取り動作、すなわち、読み取りユニット１０５が駆動することによって、同時に読み取ることが可能な読み取りフレーム数を決定する（ステップＳ１０５）。
【０１８２】
例えば、図３（ｂ）に示した例において、画素センサＡ、画素センサＢ、画素センサＣ、画素センサＤ、を基準とした読み取りラインセンサを定義した場合、１回の読み取り動作で読み取ることが可能なフレーム数は４フレームとなる。
【０１８３】
本実施例における読み取りラインセンサ数は、ＣＰＵ４０４により選定する基準画素センサ数により決定される。
このため、画素センサＡ〜画素センサＤ以外の基準画素センサを選定すれば、同時に読み取ることが可能なフレーム数は増えることとなる。
【０１８４】
つまり、エリアセンサ１１３内の座標位置（３，３）の画素センサＥなど、有効な読み取り領域に属する画素センサを、基準画素センサとして選定すれば、ラインセンサを１つ増やすことができる。
すると、１回の読み取り動作によって読み取ることが可能なフレーム数を増やすことが可能である。
また、定義した読み取りラインセンサ数は、図示しない複合機の記憶領域に、機器固有の情報として保持する（ステップＳ１０６）。
【０１８５】
図３（ｄ）に、画素センサＡ〜Ｅを基準とした、読み取りラインセンサにより読み取ったフレーム画像データを示す。
同図において、３０２は画素センサＡを基準とした読み取りラインセンサで読み取ったフレーム画像データである。３０３は画素センサＢを基準とした読み取りラインセンサで読み取ったフレーム画像データである。
また、３０４は、画素センサＣを基準とした読み取りラインセンサで読み取ったフレーム画像データである。
３０５は画素センサＤを基準とした読み取りラインセンサで読み取ったフレーム画像データである。
３０６は画素センサＥを基準とした読み取りラインセンサで読み取ったフレーム画像データである。
【０１８６】
読み取られる画像データ３０２〜３０６は、エリアセンサ１１３内の有効な読み取り領域に属する離散的な画素センサにより構成された読み取りラインセンサにより読み取られたフレーム画像データである。
【０１８７】
よって、エリアセンサ１１３の傾斜角度θに依存せず、傾斜のないフレーム画像データとなる。
また、原稿画像を１回走査して読み取られた夫々のフレーム画像データには、微小な位相ずれをもったフレーム画像データとなる。
【０１８８】
つまり、本実施例における第１実施例において、超解像度処理の条件を満たした複数のフレーム画像データを読み取ることができる。
その上、エリアセンサ１１３を傾斜させたことによる弊害を解消し、傾斜を補正してなくした画像データ取得を行うことができる。
【０１８９】
この複数の傾斜のないフレーム画像データを用いて、前述したプロセスにて高解像度変換を行う超解像度処理を行い、装置の有するセンサの解像度よりも高解像の画像を出力する。
【０１９０】
（第２実施例）
次に、第２の実施例について説明する。
超解像度処理による読み取り画像の高解像度化は、原稿画像から得られた微小な位相ずれを持つ複数のフレーム画像を得ることが前提となる。
また、原稿画像から得られた微小な位相ずれを持つフレーム画像フレーム数が多いほど、超解像度処理によって生成される高解像度画像データの解像度を向上させることが可能となる。
【０１９１】
第１実施例においては、エリアセンサ１１３を、読み取りユニット１０５に斜めに実装することにより、微小な位相ずれをもった複数フレーム分のフレーム画像データを得ることの説明を行った。
また、エリアセンサ１１３内に有効な読み取り領域を設け、この有効な読み取り領域内の画素センサを選定することにより、傾きのないフレーム画像データを複数フレーム分得ることを記載した。
ここで、有効な読み取り領域を定義せずエリアセンサ１１３が元々持つ解像度で画像の読み取りを行った場合に使用できる読み取りラインセンサの数と読み取りラインセンサとして定義できる数の比較をしてみる。
すると、本実施例にて決められる読み取りラインセンサの方が少なくなる。
これは、有効な読み取り領域外に属する画素センサを基準画素センサの対象としていないからである。
【０１９２】
有効な読み取り領域外に属する画素センサを基準画素としない理由は、有効な読み取り領域内で読み取りを行ったフレーム画像データの長辺方向の画素数にバラツキを持たせないためである。
【０１９３】
図７に、本実施例におけるエリアセンサ１１３の構成を示す。
なお、第１実施例の説明において対象とした基準画素センサは、黒で示している。同図において黒で示した画素センサは、全て長辺方向に４画素分の画素データを読み取れるものである。
【０１９４】
例えば、画素センサＦ（座標（３，５））で示した画素センサは、傾きのない画像データを読み取るために、ＣＰＵ４０４で演算した画素センサ間隔で画素センサを定義していく。
するとこの場合、有効な読み取り領域内では長辺方向に３画素分のフレーム画像データしか得られなくなる。
このように、有効画像領域外の画素センサを読み取りラインセンサに用いないと、ＣＰＵ４０４で定義可能な読み取りラインセンサ数は限られてしまう。
【０１９５】
以下、ＣＰＵ４０４の動作制御フローも用いて、本実施例における高解像度対応に関して記載する。
【０１９６】
図９は、本実施例を適用した複合機の動作制御フローを示すものである。
複合機を使用するユーザが図示されていないオペレーションパネル等により、超解像度処理によって生成される画像の出力解像度指定をする。すると、ＣＰＵ４０４は指定解像度を得るための低解像度フレーム画像データが、必要示レーム分だけ読み取れるか又は読み取れないか、取得可能なフレーム画像データのフレーム数の確認を行う（ステップＳ２０１）。
【０１９７】
第１実施例についての説明でも記載したように、複合機として有効な読み取り領域内で同時に読み取ることが出来る低解像度フレーム画像データのフレーム数は、複合機内部の記憶部に記憶されている。
【０１９８】
したがって、ＣＰＵ４０４は記憶されている一回の読み取り動作で得られるフレーム画像データのフレーム数の制限値と、指定された解像度画像を得るために必要なフレーム画像データのフレーム数とを比較する。
【０１９９】
指定された高解像度を構成するために必要な低解像度フレーム画像データのフレーム数が、有効な読み取り領域内で定義した読み取りラインセンサ数で補える場合、ステップＳ２０３へ進む。
そして、ＣＰＵ４０４は、有効な読み取り領域内に定義した読み取りラインセンサを用いて、原稿画像の読み取り動作を指示する。
定義された複数の読み取りラインセンサにより、同時に読み取られた複数の読み取りフレーム画像データは、画像処理部４０１に出力される。
画像処理部４０１は、読み取り装置１０１から出力される複数のフレーム分のフレーム画像データを用いて超解像度処理を実施し、ユーザにより指定された高解像度画像データを構成する。
【０２００】
ステップＳ２０１において、指定された解像度の構成に必要なフレーム画像データのフレーム数が、複合機内部の記憶部に記憶されている同時読み取り可能フレーム数を越えている場合、ＣＰＵ４０４は新たな読み取りラインセンサの定義を行う。
【０２０１】
以下、図７を用いて、新たな読み取りラインセンサの定義方法について説明する。
ユーザにより指定された解像度を有する高解像度画像を構成するには、有効な読み取り領域内で定義した読み取りラインセンサ数では足りない。そのため、有効な読み取り領域外の画素センサを加えて、新たな読み取りラインセンサを定義する。
例えば、画素センサＦを基準画素センサとした場合に関して説明する。
【０２０２】
有効な読み取り領域内でθに依存しない、基準となる設置位置における水平方向と平行なラインセンサを構成するためには、画素センサＦと同一の網掛で表記した３画素分の傾きのない画素データしか取得することが出来ない。
しかし、有効な読み取り領域外の画素センサ、具体的には座標（１８，８）の画素センサによる読み取り画素データを追加すれば、長辺方向の必要画素を得ることが出来る。
【０２０３】
この場合の読み取りフレーム画像データの概念を図７（ｂ）に示す。
同図において、有効な読み取り領域内の画素センサで読み取られるフレーム画像データは、長辺方向に３画素幅のフレーム画像データとなる。
【０２０４】
また、有効な読み取り領域外の画素センサ（座標（１８，８））で読み取られるフレーム画像データは、長辺方向に１画素幅のフレーム画像データとなる。
この２つのフレーム画像データは、有効な読み取り領域の内外という差は存在するものの、長辺方向の微小な位相ずれという観点においては、全く同一の位相ずれをもつものと考えることが出来る。
【０２０５】
したがって、２つのフレーム画像データを合成することで、必要となるフレーム画像データを得るようにする。
つまり、有効な読み取り領域内の３画素分の画素センサに、有効な読み取り領域外の１画素分の画素センサを追加して、読み取りラインセンサとして定義する。
【０２０６】
また、追加読み取りラインセンサの定義は、左右の有効な読み取り領域外に対してのみに制限されるものではない。
つまり、有効な読み取り領域外の上下の画素センサを結合することにより新たな読み取りラインセンサを構成しても良い。
【０２０７】
例えば、画素センサＧ（座標（２，９））を基準画素センサとすると、傾きのない画像データを得るためには、長辺方向に５、短辺方向に１進んだ画素センサが対象となる。
しかし、長辺方向に５進んだ座標（７，９）は存在するが、短辺方向に１進んだ画素センサ（座標（７，１０））は物理的に存在しない。
【０２０８】
そして、エリアセンサ１１３を構成する画素センサ全てが、傾斜角度θの影響を受けている。
つまり、長辺方向の微小な位相ずれとして同一の画像を得るためには、短辺方向の座標を一周期巡回させれば良い。
具体的には、短辺方向の座標位置１０から、物理的に存在する座標位置の最大１０を減算した座標である（７，０）の画素センサを、微小な同一の位相ずれを持つ画素センサとして定義する。
【０２０９】
以降は、これまで説明した方法と同じく、長辺方向に５、短辺方向に１進んだ画素センサを微小な同一位相ずれを持つ画素センサとして定義する。この定義において、読み取られたライン画像データの概念図を図７（ｃ）に示す。
同図において、有効な読み取り領域の下に位置する画素センサにより読み取ったライン画像データは、長辺方向に１画素幅の画像データとなる。
【０２１０】
また、有効な読み取り領域の上に位置する画素センサにより読み取られたフレーム画像データは、長辺方向に３画素幅のライン画像データとなる。
既に説明している有効な読み取り領域の左右の画素センサで読み取ったライン画像データの結合と同じく、この２つのライン画像データは、長辺方向の微小な位相ずれという観点においては、全く同一の位相ずれをもつものと考えることが出来る。
【０２１１】
したがって、２つのフレーム画像データを合成することで、長辺方向の読み取り画素として必要となるフレーム画像データを得るようにする。
つまり、有効な読み取り領域外下側の１画素分の画素センサと、有効な読み取り領域外上側の３画素分の画素センサを結合して、読み取りラインセンサとして定義する（ステップＳ２０２）。
【０２１２】
このように、画素センサ追加を行って新たな読み取りラインセンサを定義することにより、本実施例を適用した場合においても、読み取りライン数を増やすことが出来る。
これは、図７（ｄ）に示すように、有効な読み取り領域内の画素センサと、有効な読み取り領域外の画素センサを結合して一組のラインセンサとして取り扱う。
これにより、有効な読み取り領域内外それぞれで選出された画素センサで得られるライン画像データを結合し超解像度処理に必要とされる低解像度のフレーム画像データとして扱うことが出来る。
【０２１３】
また、低解像度フレーム画像データ追加を行う事が可能であるので、有効な読み取り領域内の読み取りラインセンサのみで読み取った画像データで構成可能な高解像度画像データを更に向上させることが出来るようになる（ステップＳ２０３、ステップＳ２０４）。
【０２１４】
次に、ユーザにより指定された解像度が、それほど高解像度でない場合の処理に関して説明する。
ステップＳ２０１において、ユーザにより指定された解像度が、複合機内部の記憶部に記憶されたフレーム画像データのフレーム数で実現可能である場合、ＣＰＵ４０４は指定された解像度が所定の解像度以下であるかどうかについて確認を行う（ステップＳ２０５）。
【０２１５】
ステップＳ２０５において、ＣＰＵ４０４は指定された解像度が所定の解像度以下ではないと判断した場合、ステップＳ２０３及びステップＳ２０４の処理を行う。
すなわち、ＣＰＵ４０４が定義した読み取りラインセンサ全てを使用して、複数のフレーム分のフレーム画像データを同時に取得し（ステップＳ２０３）、超解像度処理を実行する（ステップＳ２０４）。
【０２１６】
ステップＳ２０５において、ＣＰＵ４０４は指定された解像度が所定の解像度以下であると判断した場合、つまり、ＣＰＵ４０４が定義した読み取りラインセンサがもつ解像度まで必要ではない場合、ステップＳ２０６へ進む。
そこで、ＣＰＵ４０４は、傾きのないフレーム画像データを得ることが出来る画素センサを再定義して、読み取りラインセンサを構成するようにする。
【０２１７】
図８は、傾きのないフレーム画像データを得る画素センサ、及び読み取りラインセンサの再定義の構成を説明するものである。
図８（ａ）は、ＣＰＵ４０４がもともと定義した読み取りラインセンサの構成を示すものであり、画素センサＨは基準画素センサのうちの１つを示している。エリアセンサ１１３の傾斜角度θにより、長辺方向に５画素、短辺方向に１画素進んだ画素センサを傾きのないフレーム画像データを得るための画素センサとする。
すると、画素センサＨと同じ微小な位相ずれをもつ画素センサは、画素センサＩ、画素センサＪ、画素センサＫが該当する。
【０２１８】
ユーザにより指定された解像度を構成する上で、前記画素センサＨ、画素センサＩ、画素センサＪ、及び画素センサＫの解像度が必要ではない場合、ＣＰＵ４０４は傾きのないフレーム画像データを得るための画素センサの間引きを行う。例えば、図８（ｂ）のように、画素センサＨ、画素センサＪの２つを読み取りラインセンサとして定義する（ステップＳ２０６）。
また、画素センサＩ、画素センサＫの２つを別の読み取りラインセンサとして定義しても良い。
【０２１９】
ユーザにより指定された解像度がそれほど高くない場合、画素センサ間引きを行う。つまり、超解像度処理のもととなる低解像度フレーム画像データのフレーム数を更に削減することで、同時に読み取るフレーム数を少なくし、読み取りラインセンサの解像度を下げることを行う。
このようにして、画像データ削減を行い、超解像度処理に必要となるメモリ容量を削減し、複合機のシステムにおける負荷を低減することが可能である。
【０２２０】
なお、以上で説明した第２実施例においては、ユーザが解像度を指定した段階で、画素センサ、あるいは読み取りラインセンサの再定義を行うこととしたが、本発明はこれに限定されるものではない。
【０２２１】
例えば、複合機の記憶部に記憶する段階で、高解像度用の読み取りラインセンサ、通常使用における読み取りラインセンサ、及び低解像度用の読み取りラインセンサを予め別に定義する。
そして、ユーザから指定された時点で対応する読み取りラインセンサの定義を使用するようにしても良い。
【０２２２】
（その他の実施形態）
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記憶媒体に記憶させ、該記憶媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。また、前述のプログラムが記憶された記憶媒体はもちろんそのプログラム自体も上述の実施形態に含まれる。
【０２２３】
かかる記憶媒体としてはたとえばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。
【０２２４】
また前述の記憶媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
【図面の簡単な説明】
【０２２５】
【図１】本発明における読み取り装置の構成を示す図
【図２】本発明におけるエリアセンサ内の有効な読み取り領域を示す図
【図３】本発明の第１実施例における画素センサ選定および読み取りラインセンサ定義を説明する図
【図４】本発明を適用した複合機の構成を示す図
【図５】機械的な斜行補正の説明図
【図６】本発明の第１実施例における動作フローを示す図
【図７】本発明の第２実施例における画素センサ結合説明図
【図８】本発明の第２実施例における画素センサ間引き説明図
【図９】本発明の第２実施例における動作フローを示す図
【図１０】従来の複合機における縮小光学系構成図
【図１１】超解像度処理を静止画像に適用した場合の概念図
【図１２】超解像度処理を静止画像に適用した場合の概念図
【図１３】超解像度処理を静止画像に適用した場合の概念図
【図１４】エリアセンサの構成を示す図
【図１５】エリアセンサが読み取る原稿画像
【図１６】ライン画像データの取得方法を示す図
【図１７】ライン画像データの取得方法を示す図
【図１８】ライン画像データの取得方法を示す図
【図１９】ライン画像データの取得方法を示す図
【図２０】エリアセンサ中のラインセンサが読み取る画像データ
【図２１】エリアセンサを斜めに実装した場合の構成図
【図２２】傾斜したエリアセンサのライン画像データの取得方法を示す図
【図２３】傾斜したエリアセンサのライン画像データの取得方法を示す図
【図２４】傾斜したエリアセンサのライン画像データの取得方法を示す図
【図２５】傾斜したエリアセンサ中のラインセンサが読み取る画像データ
【図２６】超解像度処理の詳細についての説明図
【図２７】超解像度処理の詳細についての説明図
【符号の説明】
【０２２６】
１０１ 読取装置
１０２ ＡＤＦ
１０３ 原稿画像データ
１０４ ガラス板
１０５ 読取ユニット
１０６ 光源
１０７〜１１１ ミラー
１１２ レンズ
１１３ エリアセンサ
【特許請求の範囲】
【請求項１】
画素センサを２次元に配列することによって形成されたエリアセンサが基準となる設置位置に対して傾斜して取り付けられている画像処理装置であり、
前記エリアセンサの基準となる設置位置からの傾きを示す傾斜角度に基づき決まる前記エリアセンサの内に配置された画素センサから前記傾斜を補正した画像データを読み取るセンサ手段、
前記センサ手段によって原稿画像を１回走査することで１画素未満のずれを有する複数のフレーム分の画像データを取得する画像データ取得手段、
該画像データ取得手段にて取得した複数の画像データを用いて補間処理を行うことで、前記画素センサの解像度より高い解像度の画像データを得る高解像度変換手段、
を有することを特徴とする画像処理装置。
【請求項２】
前記エリアセンサには、該エリアセンサの基準となる設置位置からの傾きを示す傾斜角度と、該エリアセンサの長辺と短辺を構成する画素センサ数に基づき決まる有効な読み取り領域が存在し、
該有効な読み取り領域とは、前記基準となる設置位置に対して傾斜して設置されたエリアセンサ内に存在する矩形領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ユーザから前記原稿画像を出力する際の出力画像の解像度の指定を受ける出力解像度指定手段、
該出力解像度指定手段にて指定された解像度の出力画像を取得するのに必要となる画像データのフレーム数と、前記画像データ取得手段で取得することができる画像データのフレーム数とを比較する比較手段、
該比較手段によって必要となる画像データのフレーム数の方が多いと判断された場合、
前記有効な読み取り領域内に配置されている画素センサ及び前記有効な読み取り領域外に配置されている画素センサから、傾斜が補正された画像データを取得する画像データ追加手段、
を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
ユーザから前記原稿画像を出力する際の出力画像の解像度の指定を受ける出力解像度指定手段、
該出力解像度指定手段にて指定された解像度の画像を取得するのに必要となる画像データのフレーム数と、前記画像データ取得手段で取得することができる画像データのフレーム数とを比較する比較手段、
前記比較手段によって必要となる画像データのフレーム数の方が少ないと判断された場合、
前記センサ手段に用いた画素センサからセンサ数を減らして傾斜が補正された画像データを取得する画像データ削減手段、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画素センサを２次元に配列することによって形成されたエリアセンサが基準となる設置位置に対して傾斜して取り付けられており、前記エリアセンサの基準となる設置位置からの傾きを示す傾斜角度に基づき決まる前記エリアセンサの内に配置された画素センサから前記傾斜を補正した画像データを読み取るセンサ手段、
を有する画像処理装置における画像処理方法であり、
前記センサ手段によって原稿画像を１回走査することで１画素未満のずれを有する複数のフレーム分の画像データを取得する画像データ取得ステップ、
該画像データ取得ステップにて取得した複数の画像データを用いて補間処理を行うことで、前記画素センサの解像度より高い解像度の画像データを得る高解像度変換ステップ、
を有することを特徴とする画像処理方法。
【請求項６】
前記エリアセンサには、該エリアセンサの基準となる設置位置からの傾きを示す傾斜角度と、該エリアセンサの長辺と短辺を構成する画素センサ数に基づき決まる有効な読み取り領域が存在し、
該有効な読み取り領域とは、前記基準となる設置位置に対して傾斜して設置されたエリアセンサ内に存在する矩形領域であることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
ユーザから前記原稿画像を出力する際の出力画像の解像度の指定を受ける出力解像度指定ステップ、
該出力解像度指定ステップにて指定された解像度の出力画像を取得するのに必要となる画像データのフレーム数と、前記画像データ取得ステップで取得することができる画像データのフレーム数とを比較する比較ステップ、
該比較ステップによって必要となる画像データのフレーム数の方が多いと判断された場合、
前記有効な読み取り領域内に配置されている画素センサ及び前記有効な読み取り領域外に配置されている画素センサから、傾斜が補正された画像データを取得する画像データ追加ステップ
を有することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
ユーザから前記原稿画像を出力する際の出力画像の解像度の指定を受ける出力解像度指定ステップ、
該出力解像度指定ステップにて指定された解像度の画像を取得するのに必要となる画像データのフレーム数と、前記画像データ取得ステップで取得することができる画像データのフレーム数とを比較する比較ステップ、
前記比較ステップによって必要となる画像データのフレーム数の方が少ないと判断された場合、
前記センサ手段に用いた画素センサからセンサ数を減らして傾斜が補正された画像データを取得する画像データ削減ステップ、
を有することを特徴とする請求項５に記載の画像処理方法。
【請求項９】
画素センサを２次元に配列することによって形成されたエリアセンサが基準となる設置位置に対して傾斜して取り付けられており、前記エリアセンサの基準となる設置位置からの傾きを示す傾斜角度に基づき決まる前記エリアセンサの内に配置された画素センサから前記傾斜を補正した画像データを読み取るセンサ手段、
を有する画像処理装置における画像処理方法をコンピュータに実行させるプログラムであって、
前記プログラムは、以下のステップをコンピュータに実行させる、
前記センサ手段によって原稿画像を１回走査することで１画素未満のずれを有する複数のフレーム分の画像データを取得する画像データ取得ステップ、
該画像データ取得ステップにて取得した複数の画像データを用いて補間処理を行うことで、前記画素センサの解像度より高い解像度の画像データを得る高解像度変換ステップ、
を実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを格納したことを特徴とするコンピュータが読み取ることが可能な記憶媒体。
【請求項１】
画素センサを２次元に配列することによって形成されたエリアセンサが基準となる設置位置に対して傾斜して取り付けられている画像処理装置であり、
前記エリアセンサの基準となる設置位置からの傾きを示す傾斜角度に基づき決まる前記エリアセンサの内に配置された画素センサから前記傾斜を補正した画像データを読み取るセンサ手段、
前記センサ手段によって原稿画像を１回走査することで１画素未満のずれを有する複数のフレーム分の画像データを取得する画像データ取得手段、
該画像データ取得手段にて取得した複数の画像データを用いて補間処理を行うことで、前記画素センサの解像度より高い解像度の画像データを得る高解像度変換手段、
を有することを特徴とする画像処理装置。
【請求項２】
前記エリアセンサには、該エリアセンサの基準となる設置位置からの傾きを示す傾斜角度と、該エリアセンサの長辺と短辺を構成する画素センサ数に基づき決まる有効な読み取り領域が存在し、
該有効な読み取り領域とは、前記基準となる設置位置に対して傾斜して設置されたエリアセンサ内に存在する矩形領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ユーザから前記原稿画像を出力する際の出力画像の解像度の指定を受ける出力解像度指定手段、
該出力解像度指定手段にて指定された解像度の出力画像を取得するのに必要となる画像データのフレーム数と、前記画像データ取得手段で取得することができる画像データのフレーム数とを比較する比較手段、
該比較手段によって必要となる画像データのフレーム数の方が多いと判断された場合、
前記有効な読み取り領域内に配置されている画素センサ及び前記有効な読み取り領域外に配置されている画素センサから、傾斜が補正された画像データを取得する画像データ追加手段、
を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
ユーザから前記原稿画像を出力する際の出力画像の解像度の指定を受ける出力解像度指定手段、
該出力解像度指定手段にて指定された解像度の画像を取得するのに必要となる画像データのフレーム数と、前記画像データ取得手段で取得することができる画像データのフレーム数とを比較する比較手段、
前記比較手段によって必要となる画像データのフレーム数の方が少ないと判断された場合、
前記センサ手段に用いた画素センサからセンサ数を減らして傾斜が補正された画像データを取得する画像データ削減手段、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画素センサを２次元に配列することによって形成されたエリアセンサが基準となる設置位置に対して傾斜して取り付けられており、前記エリアセンサの基準となる設置位置からの傾きを示す傾斜角度に基づき決まる前記エリアセンサの内に配置された画素センサから前記傾斜を補正した画像データを読み取るセンサ手段、
を有する画像処理装置における画像処理方法であり、
前記センサ手段によって原稿画像を１回走査することで１画素未満のずれを有する複数のフレーム分の画像データを取得する画像データ取得ステップ、
該画像データ取得ステップにて取得した複数の画像データを用いて補間処理を行うことで、前記画素センサの解像度より高い解像度の画像データを得る高解像度変換ステップ、
を有することを特徴とする画像処理方法。
【請求項６】
前記エリアセンサには、該エリアセンサの基準となる設置位置からの傾きを示す傾斜角度と、該エリアセンサの長辺と短辺を構成する画素センサ数に基づき決まる有効な読み取り領域が存在し、
該有効な読み取り領域とは、前記基準となる設置位置に対して傾斜して設置されたエリアセンサ内に存在する矩形領域であることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
ユーザから前記原稿画像を出力する際の出力画像の解像度の指定を受ける出力解像度指定ステップ、
該出力解像度指定ステップにて指定された解像度の出力画像を取得するのに必要となる画像データのフレーム数と、前記画像データ取得ステップで取得することができる画像データのフレーム数とを比較する比較ステップ、
該比較ステップによって必要となる画像データのフレーム数の方が多いと判断された場合、
前記有効な読み取り領域内に配置されている画素センサ及び前記有効な読み取り領域外に配置されている画素センサから、傾斜が補正された画像データを取得する画像データ追加ステップ
を有することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
ユーザから前記原稿画像を出力する際の出力画像の解像度の指定を受ける出力解像度指定ステップ、
該出力解像度指定ステップにて指定された解像度の画像を取得するのに必要となる画像データのフレーム数と、前記画像データ取得ステップで取得することができる画像データのフレーム数とを比較する比較ステップ、
前記比較ステップによって必要となる画像データのフレーム数の方が少ないと判断された場合、
前記センサ手段に用いた画素センサからセンサ数を減らして傾斜が補正された画像データを取得する画像データ削減ステップ、
を有することを特徴とする請求項５に記載の画像処理方法。
【請求項９】
画素センサを２次元に配列することによって形成されたエリアセンサが基準となる設置位置に対して傾斜して取り付けられており、前記エリアセンサの基準となる設置位置からの傾きを示す傾斜角度に基づき決まる前記エリアセンサの内に配置された画素センサから前記傾斜を補正した画像データを読み取るセンサ手段、
を有する画像処理装置における画像処理方法をコンピュータに実行させるプログラムであって、
前記プログラムは、以下のステップをコンピュータに実行させる、
前記センサ手段によって原稿画像を１回走査することで１画素未満のずれを有する複数のフレーム分の画像データを取得する画像データ取得ステップ、
該画像データ取得ステップにて取得した複数の画像データを用いて補間処理を行うことで、前記画素センサの解像度より高い解像度の画像データを得る高解像度変換ステップ、
を実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを格納したことを特徴とするコンピュータが読み取ることが可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２００９−１７１５５９（Ｐ２００９−１７１５５９Ａ）
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願番号】特願２００８−３１７２８０（Ｐ２００８−３１７２８０）
【出願日】平成２０年１２月１２日（２００８．１２．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願日】平成２０年１２月１２日（２００８．１２．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]