画像処理装置および画像処理方法
【課題】回転処理するときに必要なメモリ量を、従来技術に比べてさらに少なくできるようにする。
【解決手段】読出し／書込み制御部３５による制御の下に、画像メモリ３１に蓄積された入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位でラインメモリ３２に展開する。そして、補間処理部３３において、ラインメモリ３２に蓄積された画像データを基に入力画像の座標配列で補間処理を行うとともに、入力画像の情報のうち、ラインメモリ３２に蓄積されていない欠落画素の情報を、当該欠落画素の周辺画素の情報を基に補間する。
【解決手段】読出し／書込み制御部３５による制御の下に、画像メモリ３１に蓄積された入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位でラインメモリ３２に展開する。そして、補間処理部３３において、ラインメモリ３２に蓄積された画像データを基に入力画像の座標配列で補間処理を行うとともに、入力画像の情報のうち、ラインメモリ３２に蓄積されていない欠落画素の情報を、当該欠落画素の周辺画素の情報を基に補間する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に入力画像を回転処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像処理の一種である画像回転処理を行うに当たり、従来は、入力画像を回転処理するときに必要なメモリ量を少なくするために、入力画像のデータが装置に入力される順に回転後画像の情報を作成して蓄積部に蓄積し、当該回転後画像の出力時に順序を並び替えて出力するようにしている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３４４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、回転処理するときに必要なメモリ量を、従来技術に比べてさらに少なくできる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１記載の画像処理装置は、
入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位で蓄積部に蓄積する制御を行う制御部と、
前記蓄積部に蓄積された画像情報を基に前記入力画像の座標配列で補間処理を行う補間処理部と
を備える。
【０００６】
請求項２記載の画像処理装置は、請求項１記載の画像処理装置において、
前記補間処理部は、前記入力画像の情報のうち、前記蓄積部に蓄積されていない欠落画素の情報を、当該欠落画素の周辺画素の情報を基に補間する。
【０００７】
請求項３記載の画像処理装置は、請求項２記載の画像処理装置において、
前記補間処理部は、前記欠落画素の画素値を当該欠落画素に近い画素の画素値で置換する。
【０００８】
請求項４記載の画像処理装置は、請求項２記載の画像処理装置において、
前記補間処理部は、前記欠落画素の画素値を当該欠落画素に隣接する複数の画素の画素値を演算して求める。
【０００９】
請求項５記載の画像処理装置は、請求項１記載の画像処理装置において、
前記制御部は、前記入力画像の座標配列から前記回転処理後の画像の座標配列への座標変換にアフィン変換を用いる。
【００１０】
請求項６記載の画像処理装置は、請求項１記載の画像処理装置において、
前記補間処理部は、前記蓄積部に蓄積された画像情報を基に前記入力画像の座標配列を特定するのに逆アフィン変換を用いる。
【００１１】
請求項７記載の画像処理装置は、請求項１記載の画像処理装置において、
原稿から画像を読み取る画像読取部を有し、
前記入力画像は、前記画像読取部で原稿から読み取られた画像である。
【００１２】
請求項８記載の画像処理装置は、請求項７記載の画像処理装置において、
前記入力画像は、原稿搬送装置によって前記画像読取部に搬送された原稿から当該画像読取部で読み取られた画像である。
【００１３】
請求項９記載の画像処理方法は、
入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位で蓄積部に蓄積し、
前記蓄積部に蓄積された画像情報を基に前記入力画像の座標配列で補間処理を行う。
【発明の効果】
【００１４】
請求項１記載の画像処理装置によれば、入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位で蓄積部に蓄積するための回転角度分のメモリ量を必要とする場合に比べて蓄積部のメモリ量を少なくできるために安価なシステムを構成できる。
【００１５】
請求項２記載の画像処理装置によれば、入力画像の情報を蓄積部に蓄積する際に欠落画素が生じ、文字線画のエッジ部のがたつきが発生する発明と比べて欠落画素に起因する画質劣化を防止できる。
【００１６】
請求項３記載の画像処理装置によれば、欠落画素の画素値を当該欠落画素に近い画素の画素値で置換することで、欠落画素に隣接する複数の画素の画素値を用いて演算して求める場合に比べて、欠落画素の補間処理を高速で実現できるとともに、補間処理を行うための回路構成を簡略化できる。
【００１７】
請求項４記載の画像処理装置によれば、欠落画素に隣接する複数の画素の画素値を用いて演算して欠落画素の画素値を求めることで、欠落画素に近い画素の画素値で置換する場合に比べて、元画像の画素値により近い画素値を得ることができるために画質の向上を図ることができる。
【００１８】
請求項５記載の画像処理装置によれば、アフィン変換を用いて座標変換を行うことで、アフィン変換を用いない場合に比べてより確実に座標変換を行うことができる。
【００１９】
請求項６記載の画像処理装置によれば、逆アフィン変換を用いて入力画像の座標配列を特定することで、欠陥画素をより確実に特定できる。
【００２０】
請求項７記載の画像処理装置によれば、画像読取部で原稿を読み取る際に当該原稿に傾きが生じたとしても、画像読取部による読取り後画像の傾きを少ないメモリ量にて補正することができる。
【００２１】
請求項８記載の画像処理装置によれば、原稿搬送装置による画像読取部への搬送過程で原稿が傾くことに起因して画像読取部による読取り後画像に傾きが生じたとしても、当該読取り後画像の傾きを少ないメモリ量にて補正することができる。
【００２２】
請求項９記載の画像処理方法によれば、入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位で蓄積部に蓄積すると、当該蓄積部のメモリ量として回転角度分のメモリ量を確保する必要が無くなる。したがって、回転角度分のメモリ量を必要とする場合に比べて蓄積部のメモリ量を少なくできるために安価なシステムを構成できる。
【図面の簡単な説明】
【００２３】
【図１】本発明による画像処理装置を含む画像処理システムの構成例を示すブロック図である。
【図２】画像処理部の全体動作の概略を示す図である。
【図３】自動原稿送り装置を備えた複写機の構成の概略を示す側断面図である。
【図４】読取り対象の原稿と読取光学系による読取り領域との位置関係を示す図である。
【図５】画像メモリに蓄積されている画像データをラインメモリへ転送する処理を模式的に示す図である。
【図６】４×４ウィンドウの生成の概念を示す図である。
【図７】隣接する注目画素が同じ補正前画素を示す場合の各注目画素についての４×４ウィンドウの生成の概念を示す図である。
【図８】元画像に対して画素・ライン（行）がずれた状態で画像データが格納されているときの４×４ウィンドウの生成の概念を示す図である。
【図９】欠落画素の検出の概念を示す図である。
【図１０】欠落画素の補間の概念を示す図である。
【図１１】バイキュービック補間法を用いた補間処理の概念を示す図である。
【図１２】ソフトウェア構成によって実現する場合の画素処理部を構成するコンピュータ機器の構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２５】
［システム構成］
図１は、本発明による画像処理装置を含む画像処理システムの構成例を示すブロック図である。図１に示すように、本構成例に係る画像処理システムは、画像データ入力部１０、スキュー検出部２０、画像処理部３０および画像データ出力部４０を備えるとともに、必要に応じて記録装置５０を有する構成となっている。
【００２６】
画像データ入力部１０は、画像に関する情報（以下、「画像データ」と記述する）を画像処理部２０に入力する。この画像データ入力部１０、次のような装置（１）〜（５）等によって実現される。
（１）フラットヘッドスキャナ、ハンディスキャナあるいはペン型スキャナ等の画像読取装置とその制御部
（２）自動原稿送り装置を有する画像読取装置とその制御部
（３）ＦＡＸ受信装置とその制御部
（４）磁気ディスクやメモリカード等の記憶媒体のリード／ライト装置とその制御手段
（５）ネットワーク等を介してデータの授受を行うデータ転送装置
（６）アプリケーションソフトウェアで作成したファイルをビットマップ画像にラスタライズする装置
【００２７】
画像データ入力部１０は、画像読取装置によって読み取った画像データ、ＦＡＸ受信装置によって受信した画像データ、リード／ライト装置によって記憶媒体から読み出した画像データ、データ転送装置によって受信した画像データまたはビットマップ画像データをスキュー検出部２０および画像処理部３０に入力する。
【００２８】
スキュー検出部２０は、画像データ入力部１０から入力される画像データに基づく画像（入力画像）のスキュー角（傾き角度）を検出し、その検出結果（検出角度）を画像処理部３０に与える。このスキュー検出部２０では、例えば、ハフ（Ｈｏｕｇｈ）変換を用いた周知のスキュー検出技術などによって入力画像のスキュー角の検出が行われる。
【００２９】
画像処理部３０は、本発明による画像処理装置に相当し、画像データを２次元の座標軸で管理しつつ、スキュー検出部２０から与えられる入力画像の傾きについての検出角度を基に画像の回転処理（スキュー補正処理）を行う。そして、画像処理部３０は、回転処理後の画像データを画像データ出力部４０に与える。この画像処理部３０の回転処理に関する技術思想が本発明の特徴とする部分であり、その詳細については後述する。
【００３０】
画像データ出力部４０は、画像処理部３０で回転処理された画像データを、ページ同期信号ＰＳやライン同期信号ＬＳに同期して後段へラスタ出力として送出するか、記録装置５０が備えられている場合には必要に応じて記録装置５０に供給する。
【００３１】
画像データ出力部４０の後段には、図示を省略するが、例えば画像形成装置が設けられる。この画像形成装置は、例えば、プリンタ装置（カラー／モノクロ）とその制御部またはＦＡＸ印刷装置とその制御部などによって実現され、印刷出力が指示された画像データをあらかじめ定められた形式で印刷出力する。
【００３２】
記録装置５０は、画像データ出力部４０から画像データが供給されると、当該画像データをメモリ、ディスク、テープ等の記録媒体に対して記録する。このとき、記録装置５０は、ＰＤＦ(Portable Document Format)ファイルや、ＪＰＥＧ(Joint Photographic Expert)ファイルなどのあらかじめ定められたファイル形式にて記録媒体に画像データを記録する。
【００３３】
（画像処理部の構成)
続いて、本発明による画像処理装置に相当する画像処理部３０の構成について具体的に説明する。ここでは、画像データ入力部１０が例えば画像読取装置からなる場合を例に挙げて説明するものとする。
【００３４】
図１に示すように、画像処理部３０は、画像メモリ３１、ラインメモリ３２、補間処理部３３、書き込み制御部３４、読出し／書込み制御部３５および読出し制御部３６を有する構成となっている。
【００３５】
画像メモリ３１は、画像データ入力部１０から入力される画像データを例えば１ページ分蓄積するページバッファである。ただし、画像メモリ３１としては必ずしもページバッファである必要はなく、リングバッファなどであっても良い。画像データ入力部１０が画像読取装置からなる場合において、当該画像読取装置から入力されるスキャンデータはそのまま、書込み制御部３４による制御の下に画像メモリ３１に書き込まれる。
【００３６】
画像メモリ３１に一旦蓄積された入力画像の画像データは、読出し／書込み制御部３５による制御の下に、入力画像の回転処理後の画像（以下、「回転後画像」と記述する場合もある）の座標配列にて行（ライン）単位でラインメモリ３２に蓄積される。このとき、読出し／書込み制御部３５は、入力画像の座標配列から回転後画像の座標配列への座標変換にアフィン変換を用いる。ラインメモリ３２は、例えば、画像メモリ３１と同じ主記憶部に設けられるラインバッファである。
【００３７】
本画像処理部３０では、ラインメモリ３２への画像データの蓄積に際して、回転後画像の画像データをラインメモリ３２に蓄積するのではなく、入力画像の画像データを回転後画像の座標配列にてラインメモリ３２に蓄積する処理がポイントの一つとなる。因みに、回転後画像の画像データをラインメモリ３２に蓄積する場合は、後段で空間フィルタ処理を行うため、連続した主走査画像を得るには回転角度分のメモリ量が余分に必要になる。ラインメモリ３２への画像データの蓄積処理の詳細については後述する。
【００３８】
補間処理部３３は、画像の回転処理によって画質劣化（ギザギザ）が発生しないようにするために、入力画像の座標の周辺画素データを参照して補間処理（空間フィルタ処理）を行う。
【００３９】
ここで、ラインメモリ３２への画像データの蓄積に際して、回転後画像の画像データではなく、入力画像の画像データそのものをラインメモリ３２に蓄積するようにすると、いわゆる画素抜けと呼ばれる画素データが欠落する欠落画素が発生する場合がある。補間処理部３３は、この欠落画素の画素データを再現するための処理も行う。
【００４０】
具体的には、補間処理部３３は、入力画像の画像データのうち、ラインメモリ３２に蓄積されていない欠落画素の画素データを、当該欠落画素の周辺画素の画素データを基に補間することによって再現する。本画像処理部３０では、補間処理によって欠落画素の画素データを再現する処理もポイントの一つとなる。この欠落画素の補間処理の詳細についても後述する。
【００４１】
（画像処理部の全体動作の概略)
図２は、画像処理部３０の全体動作の概略を示す図である。ここでは、画像「Ａ」が印刷された原稿が半時計方向にある角度だけ傾いた状態の読取り画像の画像データが画像メモリ３１に蓄積されている状態を示している（Ａ）。
【００４２】
画像メモリ３１に蓄積された画像データは、読出し／書込み制御部３５による制御の下に、複数ライン（行）分だけラインメモリ３２に展開される（Ｂ）。そして、補間処理部３３において、例えば４画素×４画素のウィンドウ（以下、単に「４×４ウィンドウ」と記述する）を生成し（Ｃ）、周知のバイキュービック（Ｂｉｃｕｂｉｃ）法を用いて補間を行う（Ｄ）。
【００４３】
ここで、バイキュービック補間法は、高精度な画像回転等の画像処理を行う画像補間法の一つであり、周囲の１６個の画素（４×４ウィンドウ）の濃度値から、３次関数を用いて補間する手法である。補間に用いる式は、ｓｉｎ（πｘ）／πｘの濃度補間式である。これをテイラー展開で３次の項で近似して補間式として用いる。
【００４４】
以上の画像処理部３０での一連の動作により、読取り画像の傾きが補正され、かつ欠落画素が補間された出力画像（回転後画像）が得られる（Ｅ）。
【００４５】
［複写機］
以上説明したシステム構成に係る画像処理システムは、一例として、画像データ入力部１０が画像読取装置（画像読取部）からなり、画像データ出力部４０の後段に画像形成装置を備える複写機に適用することができる。複写機においては、画像読取装置に原稿をセットする際に、当該原稿が斜めになる場合がある。
【００４６】
また、複写機には一般的に、原稿を画像読取装置に自動的に供給する原稿供給装置（給紙装置）である自動原稿送り装置（ＡＤＦ；Auto Document Feeder）が装備されている。この自動原稿送り装置を使用した場合においても、当該自動原稿送り装置による画像読取装置への搬送過程で原稿が傾く場合がある。
【００４７】
このように、画像読取装置にセットされた原稿が傾いていた場合や、自動原稿送り装置による搬送過程で原稿が傾いた場合などに生ずる読取り画像の傾きを補正するために、上述した画像処理部３０、即ち本発明による画像読取装置が用いられる。読取り画像の傾きは、先述したように、スキュー検出部２０によって検出される。そして、このスキュー検出部２０の検出結果を基に、画像処理部３０において読取り画像の回転処理、即ちスキュー補正処理が行われる。
【００４８】
図３は、自動原稿送り装置（ＡＤＦ）を備えた複写機の構成の概略を示す側断面図である。本構成例に係る複写機は、一例として、読取り対象となるシート状の原稿７０を自動原稿送り装置６０によって移動させながら、その原稿７０上から画像を読み取る、いわゆるＣＶＴ（Constant Velocity Transfer）モードに対応可能な構成となっている。
【００４９】
すなわち、ＣＶＴモードでは、自動原稿送り装置６０の原稿載置台６１に載置された原稿７０が引込みローラ６２によって１枚ずつ搬送ローラ６３まで搬送され、その搬送ローラ６３によって搬送方向が変更されてコンタクトガラス６４まで案内される。そして、原稿７０はコンタクトガラス６４上を当該コンタクトガラス６４と平行に搬送される。このとき、後述するようにして、原稿７０上の画像の読取りが行われる。その後は、画像読取りが終了した原稿７０が搬出ローラ６５によって排出トレイ６６上に排出される。
【００５０】
コンタクトガラス６４上においては、当該コンタクトガラス６４上を搬送される原稿７０が露光ランプ８１によって照射される。そして、その照射による反射光は、第一ミラー８２、第二ミラー８３および第三ミラー８４にて光路変更された後レンズ８５によって縮小され、光電変換素子である例えばＣＣＤ(Charge Coupled Device)型ラインセンサ（ＣＣＤセンサ）８６の撮像面上に結像される。
【００５１】
露光ランプ８１、第一ミラー８２、第二ミラー８３、第三ミラー８４、レンズ８５およびＣＣＤセンサ８６は、原稿７０上の画像を当該原稿７０の搬送方向（副走査方向）に直交する方向に対応する主走査方向に走査しつつ読み取る読取光学系８０を構成している。これにより、コンタクトガラス６４上を搬送される原稿７０上に描かれた画像は、ＣＣＤセンサ８６によって画素単位で光電変換されることによってアナログ画像信号として出力される。
【００５２】
ここでは、複写機として、読取光学系８０を固定とし、原稿７０を移動させながら原稿画像を読み取る形式の複写機を例に挙げたが、これは一例に過ぎず、自動原稿送り装置６０によってコンタクトガラス６４上に送り込まれた原稿７０を固定とし、読取光学系８０を移動させながら原稿画像を読み取る形式の複写機であっても良いことは勿論である。
【００５３】
［用語の定義］
以下に、例えば複写機に適用した場合を例に挙げて、先述した画像処理部３０の処理の詳細について具体的に説明する。画像処理部３０の処理の説明に当たって、先ず、用語について定義する。
【００５４】
図４は、読取り対象の原稿７０と読取光学系８０による読取り領域９０との位置関係を示す図である。図４において、図の左側から右側に向かう方向が主走査方向であり、図の上側から下側に向かう方向が副走査方向である。そして、（１）が原稿７０の読取りスキュー角、（２）が原稿７０の左コーナー（Ｘ，Ｙ）、（３）が読取りスキュー量である。さらに、（４）が読取り領域９０の幅、（５）が読取り領域９０の長さ、（６）が原稿７０の幅、（７）が原稿７０の長さである。
【００５５】
［ラインメモリへの画像データの蓄積処理］
次に、ラインメモリ３２への画像データの蓄積処理の詳細について説明する。画像メモリ３１からラインメモリ３２への画像データの展開（蓄積）処理は、先述したように、読出し／書込み制御部３５による制御の下に実行される。
【００５６】
図５は、画像メモリ３１に蓄積されている画像データをラインメモリ３２へ転送する処理を模式的に示す図である。ここでは、画像「Ａ」が印刷された原稿が半時計方向にある角度だけ傾いた状態の読取り画像の画像データが画像メモリ３１に蓄積されている状態を示している。
【００５７】
読出し／書込み制御部３５は、周知のアフィン変換式によって、出力画像の画素位置（整数）に対応する元画素位置（実数）を求め、この求めた整数部から画像データの読出し位置を決定する（１）。そして、主走査方向（Ｘ方向）に、元画像の参照画素位置を求めて行くと、ライン（行）がずれる（即ち、アドレスが不連続になる）位置が存在するので、このアドレスが不連続になる位置までを、画像メモリ２１からラインメモリ３２への１回の転送量とする（２）。
【００５８】
このときの画像メモリ３１からラインメモリ３２への１回の転送量は、図４にデータ量を矢印（→）で模式的に示す当該矢印の長さに相当する。また、１回の転送量（矢印の長さ）は、原稿画像（即ち、読取り画像）の傾きによって決まる。例えば、傾き角度が大きければ、１回の転送量が少なくなる（矢印の長さが短くなる）。そして、読出し／書込み制御部３５は、画像メモリ３１から読み出した画像データを、出力画像（即ち、回転処理後の画像／回転後画像）のライン（行）単位にラインメモリ３２に蓄積する。
【００５９】
本例では、例えば図４に示すように、画像メモリ３１から読み出した画像データを６ライン分だけラインメモリ３２に蓄積する（３）。そして、本画像処理部３０では、画像データを１ラインずつラインメモリ３２としてのバッファに蓄積し、当該バッファ内で処理を行いつつ１ライン分のデータをバッファ間（モジュール間）で順にシフトしていくパイプライン処理（時間的並列処理）が行われる。
【００６０】
［補間処理］
続いて、補間処理部３３における補間処理について説明する。この補間処理に先立って補間ウィンドウである４×４ウィンドウの生成が行われる。
【００６１】
（４×４ウィンドウの生成）
図６は、４×４ウィンドウの生成の概念を示す図である。後述する理由により、ラインメモリ３２として６ライン分のメモリを用いるものとする。先ず、アフィン変換式によって、出力画像（回転後画像）の画素位置（実数）に対応する元画素位置（整数）を、ラインメモリ３２のアドレスとして求める（１）。
【００６２】
次に、注目画素位置の整数部が示す位置を（０，０）として、ラインメモリ３２の周辺データの相対位置を算出する（２）。その際に、回路規模削減を目的として、ラインメモリ３２から読み出すときに絶対位置算出を行って保持しておき、ウィンドウをシフトさせるときに相対位置算出を行うようにする。そして、画素位置の整数部が示す位置を（０，０）として、周辺１６画素の相対位置を示すように４×４ウィンドウを形成する。
【００６３】
ラインメモリ３２と出力画像の座標は１：１に対応する。そして、１画素出力する度に、ラインメモリ３２の読出し位置も１画素進む。ここで、図７に示すように、隣接する注目画素Ｐ（ｎ），Ｐ（ｎ＋１）が、同じ補正前画素を示す場合がある。
【００６４】
この場合、一方の注目画素Ｐ（ｎ）については、ラインメモリ３２として６ライン分のメモリが用意されており、６画素×６画素の広さがあるので、４×４ウィンドウの形成に必要な相対画素位置を得ることができる。
【００６５】
他方の注目画素Ｐ（ｎ＋１）についてはウィンドウを１画素進める。そして、処理の基準となるクロック信号の１クロック前と同じ補間対象画素で４×４ウィンドウを形成する必要があるが、６画素×６画素の広さがあるので、相対画素位置について正しく算出することができる。
【００６６】
また、ラインメモリ３２には、図８に示すように、元画像に対して画素・ライン（行）が例えば副走査方向においてずれた状態で画像データが格納される。ここで、画素・ラインがずれた状態とは、アフィン変換の座標変換において、整数座標だけ補正した補正後画像であるとも言える。この画素・ラインのずれは、図５に示す画像メモリ３１上において矢印（→）が変化する部分で発生する。
【００６７】
図８に示す６×６ウィンドウ例においては、実線で囲んだ領域Ａに対して破線で囲んだ領域Ｂが１ラインずれた状態で画像データがラインメモリ３２に格納されている。このように、元画像に対して画素・ライン（行）がずれた状態で画像データが格納されているときは、画素位置の整数部が示す位置を（０，０）として、周辺１６画素の相対位置を示すように４×４ウィンドウを形成する。
【００６８】
なお、図８の例では、副走査方向において画素・ラインのずれ（段差）が発生する場合を例に挙げたが、画素・ラインのずれは、副走査方向に限らず、主走査方向も含めて様々な位置で発生する。主走査・副走査の段差については、補正角度によって発生箇所・回数が変化する。補正角度仕様により６画素・ラインの中では１回しか段差が発生しないことを保証すると、ラインメモリ３２に６ライン分の画像データが存在すれば４×４ウィンドウを生成することができる。
【００６９】
以上のように、補間処理部３３において、出力画像の画素位置に対応する元画像の相対位置を求めて当該相対位置の座標がどこに存在するかを画素ごとに検出することで、その検出結果を基に補間ウィンドウである４×４ウィンドウを生成することができる。すなわち、補間処理部３３は、変換前の座標を基に４×４ウィンドウを生成する。
【００７０】
（欠落画素の検出）
前にも述べたように、ラインメモリ３２に画像データを展開する際に、回転後画像の画像データではなく、入力画像の画像データそのものを展開すると、欠落画素が発生する場合がある。したがって、補間処理部３３は、この欠落画素の画素データを再現するための処理も行う。このとき、補間処理部３３は、ラインメモリ３２に画像データを基に入力画像の座標配列を特定するのに逆アフィン変換を用いる。
【００７１】
図９は、欠落画素の検出の概念を示す図である。図９においては、ハッチングで示す画素（２，０）を欠落画素としている。この欠落画素については、変換元の画像の座標を逆アフィン変換で求めることによって特定することができる。具体的には、アフィン変換式で計算した、各補正前画素の座標値から相対位置を算出すると、その算出結果から補間参照先として画素が欠落していることを知ることができる。
【００７２】
（欠落画素の補間）
上述したようにして特定した欠落画素については、補間処理部３３において、欠落画素の画素データを再現するための処理が行われる。補間処理部３３は、欠落画素について４×４ウィンドウ内の画素値を用いて補間する。以下に、欠落画素の補間処理についてより具体的に説明する。
【００７３】
図１０は、欠落画素の補間の概念を示す図である。図１０において、（Ａ）は欠落画素（図中、ハッチングで示す画素）の位置が、注目画素を含むあらかじめ定められた複数の隣接画素、例えば４個の隣接画素の領域（以下、「４画素領域」と記述する）外であるケースを示している。このケース（Ａ）では、例えば、４画素領域の各画素のうち欠落画素に近い画素、好ましくは一番近い画素の画素値を使うようにする。
【００７４】
図１０（Ａ）に示す例では、画素（２，０）が欠落しているので、点線の矢印で示すように、欠落画素の画素値を一番近い画素（１，０）の画素値で置換する。画素（２，０）以外の４画素領域外の各画素が欠落したときに置換する画素位置を、図１０（Ａ）に実線の矢印で示している。
【００７５】
図１０において、（Ｂ）は欠落画素（図中、ハッチングで示す画素）の位置が、注目画素を含む４画素領域内であるケースを示している。このケース（Ｂ）では、例えば、欠落画素の隣接画素の画素値に基づいて欠落画素の画素値を求める。具体的には、欠落画素の上下・左右ペアについて、ｇｒａｙ＝（Ｒ＋Ｂ＋Ｇ＋Ｇ）／４の差の絶対値を求める。そして、差の絶対値が小さいペアの画素値の平均値を欠落画素の画素値とする。
【００７６】
図１０（Ｂ）に示す例では、画素（１，１）が欠落しているので、欠落画素（１，１）の上下ペアについての差の絶対値｜ｇｒａｙ（１，０）−ｇｒａｙ（１，２）｜と、欠落画素（１，１）の左右ペアについての差の絶対値｜ｇｒａｙ（０，１）−ｇｒａｙ（２，１）｜を求める。そして、差の絶対値が他方より小さいペアのＲ（赤）Ｇ（緑）Ｂ（青）の各画素の平均値を求め、当該平均値を欠落画素の画素値とする。
【００７７】
なお、図１０（Ａ）に示す例では、欠落画素の画素値を４画素領域の各画素のうち欠落画素に近い画素の画素値で置換するとしたが、図１０（Ｂ）の場合と同様に、隣接画素の画素値を基に欠落画素の画素値を演算して求めるようにすることも可能である。また、図１０（Ｂ）に示す例についても、図１０（Ａ）の場合と同様に、欠落画素の画素値を４画素領域の各画素のうち欠落画素に近い画素の画素値で置換するようにすることも可能である。
【００７８】
（バイキュービック補間）
続いて、補間処理部３３において実行される、既存の補間技術であるバイキュービック補間法を用いた補間処理について説明する。
【００７９】
図１１は、バイキュービック補間法を用いた補間処理の概念を示す図である。バイキュービック補間法を用いた補間処理では、先ず、注目画素（０，０）から、周辺１６画素までのｘ方向の距離と、ｙ方向の距離を求め、ルックアップテーブル（ＬＵＴ）を参照してウェイトを得る（１）。ルックアップテーブルは、例えば、ｘ用、ｙ用各４個の計８個用意される。
【００８０】
次に、Ｒ，Ｇ，Ｂ各色について、１６画素の位置に対応するｘ，ｙのウェイトを、各画素値に乗じて加算する。そして、例えば８ビットの情報０−２５５にクリッピングして補正後画素値を得る（２）。以上により、図２において、入力画像（Ａ）に対して傾き補正を行うことで得られる補正後画素値からなる出力画像（Ｅ）を得ることができる。すなわち、画像処理部３０での一連の処理により、傾きを持った入力画像（Ａ）に対して回転処理を施して回転後画像である出力画像（Ｅ）を得ることができる。
【００８１】
［変形例］
上記実施形態では、画素処理部３０の各構成要素、即ち画像メモリ３１、ラインメモリ３２、補間処理部３３、書込み制御部３４、読出し／書込み制御部３５および読出し制御部３６をハードウェア構成によって実現する場合を例に挙げたが、ハードウェア構成に限られるものではない。
【００８２】
すなわち、画像メモリ３１、ラインメモリ３２、補間処理部３３、書込み制御部３４、読出し／書込み制御部３５および読出し制御部３６については、パーソナルコンピュータのように、所定プログラムを実行することによって情報記憶処理、画像処理、演算処理等の各機能を実行するコンピュータ機器を利用してソフトウェア構成によって実現することも考えられる。また、ハードウェアとソフトウェアの複合構成によって実現することも可能である。
【００８３】
図１２は、ソフトウェア構成によって実現する場合の画素処理部３０を構成するコンピュータ機器の構成例を示すブロック図である。
【００８４】
コンピュータ機器によって構成される画素処理部３０Ａは、ＣＰＵ(Central Processing Unit:中央演算装置)１０１、Ｉ／Ｏ回路１０２、ＲＯＭ１０３、ＲＡＭ１０４およびＨＤＤ（ハードディスクドライブ装置）１０５を有し、これら構成要素がバスライン１０６を介して相互に通信可能に接続されている。
【００８５】
この画素処理部３０Ａにおいて、ＣＰＵ１０１は、演算処理を含む本画素処理部３０Ａ全体の処理の制御を行う。Ｉ／Ｏ回路１０２は、画像データ入力部１０、スキュー検出部２０および画像データ出力部４０の周辺機器との入出力を管理する。ＲＯＭ１０３は、ＣＰＵ１０１による制御の下に実行される各種処理のための処理プログラムを格納する。ＲＡＭ１０４は、当該各種処理の実行時に使用される一次記憶装置であり、例えば図１の画像メモリ３１やラインメモリ３２が設けられる主記憶部となる。ＨＤＤ１０５は、ＣＰＵ１０１による制御の下に処理された画像データを記憶する。
【００８６】
ここでは、画素処理部３０の機能のみをソフトウェア構成によって実現する場合を例に挙げたが、画素処理部３０のみならず、スキュー検出部２０の機能についてもソフトウェア構成によって実現するようにしても良い。
【００８７】
このように、画素処理部３０の機能をソフトウェア構成によって実現する場合、図１の補間処理部３３、書込み制御部３４、読出し／書込み制御部３５および読出し制御部３６としてコンピュータ機器を機能させるプログラム(画像処理プログラム）については、あらかじめコンピュータ機器内にインストールしておくことが考えられる。ただし、あらかじめインストールされているのではなく、コンピュータ機器で読取り可能な記憶媒体に格納されて提供されるものであっても良く、または有線若しくは無線による通信手段を介して配信されるものであっても良い。
【００８８】
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されるものではなく、発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【符号の説明】
【００８９】
１０…画像データ入力部、２０…スキュー検出部、３０，３０Ａ…画像処理部、３１…画像メモリ、３２…ラインメモリ、３３…補間処理部、３４…書き込み制御部、３５…読出し／書込み制御部、３６…読出し制御部、４０…画像データ出力部、５０…記録装置
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に入力画像を回転処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像処理の一種である画像回転処理を行うに当たり、従来は、入力画像を回転処理するときに必要なメモリ量を少なくするために、入力画像のデータが装置に入力される順に回転後画像の情報を作成して蓄積部に蓄積し、当該回転後画像の出力時に順序を並び替えて出力するようにしている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３４４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、回転処理するときに必要なメモリ量を、従来技術に比べてさらに少なくできる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１記載の画像処理装置は、
入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位で蓄積部に蓄積する制御を行う制御部と、
前記蓄積部に蓄積された画像情報を基に前記入力画像の座標配列で補間処理を行う補間処理部と
を備える。
【０００６】
請求項２記載の画像処理装置は、請求項１記載の画像処理装置において、
前記補間処理部は、前記入力画像の情報のうち、前記蓄積部に蓄積されていない欠落画素の情報を、当該欠落画素の周辺画素の情報を基に補間する。
【０００７】
請求項３記載の画像処理装置は、請求項２記載の画像処理装置において、
前記補間処理部は、前記欠落画素の画素値を当該欠落画素に近い画素の画素値で置換する。
【０００８】
請求項４記載の画像処理装置は、請求項２記載の画像処理装置において、
前記補間処理部は、前記欠落画素の画素値を当該欠落画素に隣接する複数の画素の画素値を演算して求める。
【０００９】
請求項５記載の画像処理装置は、請求項１記載の画像処理装置において、
前記制御部は、前記入力画像の座標配列から前記回転処理後の画像の座標配列への座標変換にアフィン変換を用いる。
【００１０】
請求項６記載の画像処理装置は、請求項１記載の画像処理装置において、
前記補間処理部は、前記蓄積部に蓄積された画像情報を基に前記入力画像の座標配列を特定するのに逆アフィン変換を用いる。
【００１１】
請求項７記載の画像処理装置は、請求項１記載の画像処理装置において、
原稿から画像を読み取る画像読取部を有し、
前記入力画像は、前記画像読取部で原稿から読み取られた画像である。
【００１２】
請求項８記載の画像処理装置は、請求項７記載の画像処理装置において、
前記入力画像は、原稿搬送装置によって前記画像読取部に搬送された原稿から当該画像読取部で読み取られた画像である。
【００１３】
請求項９記載の画像処理方法は、
入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位で蓄積部に蓄積し、
前記蓄積部に蓄積された画像情報を基に前記入力画像の座標配列で補間処理を行う。
【発明の効果】
【００１４】
請求項１記載の画像処理装置によれば、入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位で蓄積部に蓄積するための回転角度分のメモリ量を必要とする場合に比べて蓄積部のメモリ量を少なくできるために安価なシステムを構成できる。
【００１５】
請求項２記載の画像処理装置によれば、入力画像の情報を蓄積部に蓄積する際に欠落画素が生じ、文字線画のエッジ部のがたつきが発生する発明と比べて欠落画素に起因する画質劣化を防止できる。
【００１６】
請求項３記載の画像処理装置によれば、欠落画素の画素値を当該欠落画素に近い画素の画素値で置換することで、欠落画素に隣接する複数の画素の画素値を用いて演算して求める場合に比べて、欠落画素の補間処理を高速で実現できるとともに、補間処理を行うための回路構成を簡略化できる。
【００１７】
請求項４記載の画像処理装置によれば、欠落画素に隣接する複数の画素の画素値を用いて演算して欠落画素の画素値を求めることで、欠落画素に近い画素の画素値で置換する場合に比べて、元画像の画素値により近い画素値を得ることができるために画質の向上を図ることができる。
【００１８】
請求項５記載の画像処理装置によれば、アフィン変換を用いて座標変換を行うことで、アフィン変換を用いない場合に比べてより確実に座標変換を行うことができる。
【００１９】
請求項６記載の画像処理装置によれば、逆アフィン変換を用いて入力画像の座標配列を特定することで、欠陥画素をより確実に特定できる。
【００２０】
請求項７記載の画像処理装置によれば、画像読取部で原稿を読み取る際に当該原稿に傾きが生じたとしても、画像読取部による読取り後画像の傾きを少ないメモリ量にて補正することができる。
【００２１】
請求項８記載の画像処理装置によれば、原稿搬送装置による画像読取部への搬送過程で原稿が傾くことに起因して画像読取部による読取り後画像に傾きが生じたとしても、当該読取り後画像の傾きを少ないメモリ量にて補正することができる。
【００２２】
請求項９記載の画像処理方法によれば、入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位で蓄積部に蓄積すると、当該蓄積部のメモリ量として回転角度分のメモリ量を確保する必要が無くなる。したがって、回転角度分のメモリ量を必要とする場合に比べて蓄積部のメモリ量を少なくできるために安価なシステムを構成できる。
【図面の簡単な説明】
【００２３】
【図１】本発明による画像処理装置を含む画像処理システムの構成例を示すブロック図である。
【図２】画像処理部の全体動作の概略を示す図である。
【図３】自動原稿送り装置を備えた複写機の構成の概略を示す側断面図である。
【図４】読取り対象の原稿と読取光学系による読取り領域との位置関係を示す図である。
【図５】画像メモリに蓄積されている画像データをラインメモリへ転送する処理を模式的に示す図である。
【図６】４×４ウィンドウの生成の概念を示す図である。
【図７】隣接する注目画素が同じ補正前画素を示す場合の各注目画素についての４×４ウィンドウの生成の概念を示す図である。
【図８】元画像に対して画素・ライン（行）がずれた状態で画像データが格納されているときの４×４ウィンドウの生成の概念を示す図である。
【図９】欠落画素の検出の概念を示す図である。
【図１０】欠落画素の補間の概念を示す図である。
【図１１】バイキュービック補間法を用いた補間処理の概念を示す図である。
【図１２】ソフトウェア構成によって実現する場合の画素処理部を構成するコンピュータ機器の構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２５】
［システム構成］
図１は、本発明による画像処理装置を含む画像処理システムの構成例を示すブロック図である。図１に示すように、本構成例に係る画像処理システムは、画像データ入力部１０、スキュー検出部２０、画像処理部３０および画像データ出力部４０を備えるとともに、必要に応じて記録装置５０を有する構成となっている。
【００２６】
画像データ入力部１０は、画像に関する情報（以下、「画像データ」と記述する）を画像処理部２０に入力する。この画像データ入力部１０、次のような装置（１）〜（５）等によって実現される。
（１）フラットヘッドスキャナ、ハンディスキャナあるいはペン型スキャナ等の画像読取装置とその制御部
（２）自動原稿送り装置を有する画像読取装置とその制御部
（３）ＦＡＸ受信装置とその制御部
（４）磁気ディスクやメモリカード等の記憶媒体のリード／ライト装置とその制御手段
（５）ネットワーク等を介してデータの授受を行うデータ転送装置
（６）アプリケーションソフトウェアで作成したファイルをビットマップ画像にラスタライズする装置
【００２７】
画像データ入力部１０は、画像読取装置によって読み取った画像データ、ＦＡＸ受信装置によって受信した画像データ、リード／ライト装置によって記憶媒体から読み出した画像データ、データ転送装置によって受信した画像データまたはビットマップ画像データをスキュー検出部２０および画像処理部３０に入力する。
【００２８】
スキュー検出部２０は、画像データ入力部１０から入力される画像データに基づく画像（入力画像）のスキュー角（傾き角度）を検出し、その検出結果（検出角度）を画像処理部３０に与える。このスキュー検出部２０では、例えば、ハフ（Ｈｏｕｇｈ）変換を用いた周知のスキュー検出技術などによって入力画像のスキュー角の検出が行われる。
【００２９】
画像処理部３０は、本発明による画像処理装置に相当し、画像データを２次元の座標軸で管理しつつ、スキュー検出部２０から与えられる入力画像の傾きについての検出角度を基に画像の回転処理（スキュー補正処理）を行う。そして、画像処理部３０は、回転処理後の画像データを画像データ出力部４０に与える。この画像処理部３０の回転処理に関する技術思想が本発明の特徴とする部分であり、その詳細については後述する。
【００３０】
画像データ出力部４０は、画像処理部３０で回転処理された画像データを、ページ同期信号ＰＳやライン同期信号ＬＳに同期して後段へラスタ出力として送出するか、記録装置５０が備えられている場合には必要に応じて記録装置５０に供給する。
【００３１】
画像データ出力部４０の後段には、図示を省略するが、例えば画像形成装置が設けられる。この画像形成装置は、例えば、プリンタ装置（カラー／モノクロ）とその制御部またはＦＡＸ印刷装置とその制御部などによって実現され、印刷出力が指示された画像データをあらかじめ定められた形式で印刷出力する。
【００３２】
記録装置５０は、画像データ出力部４０から画像データが供給されると、当該画像データをメモリ、ディスク、テープ等の記録媒体に対して記録する。このとき、記録装置５０は、ＰＤＦ(Portable Document Format)ファイルや、ＪＰＥＧ(Joint Photographic Expert)ファイルなどのあらかじめ定められたファイル形式にて記録媒体に画像データを記録する。
【００３３】
（画像処理部の構成)
続いて、本発明による画像処理装置に相当する画像処理部３０の構成について具体的に説明する。ここでは、画像データ入力部１０が例えば画像読取装置からなる場合を例に挙げて説明するものとする。
【００３４】
図１に示すように、画像処理部３０は、画像メモリ３１、ラインメモリ３２、補間処理部３３、書き込み制御部３４、読出し／書込み制御部３５および読出し制御部３６を有する構成となっている。
【００３５】
画像メモリ３１は、画像データ入力部１０から入力される画像データを例えば１ページ分蓄積するページバッファである。ただし、画像メモリ３１としては必ずしもページバッファである必要はなく、リングバッファなどであっても良い。画像データ入力部１０が画像読取装置からなる場合において、当該画像読取装置から入力されるスキャンデータはそのまま、書込み制御部３４による制御の下に画像メモリ３１に書き込まれる。
【００３６】
画像メモリ３１に一旦蓄積された入力画像の画像データは、読出し／書込み制御部３５による制御の下に、入力画像の回転処理後の画像（以下、「回転後画像」と記述する場合もある）の座標配列にて行（ライン）単位でラインメモリ３２に蓄積される。このとき、読出し／書込み制御部３５は、入力画像の座標配列から回転後画像の座標配列への座標変換にアフィン変換を用いる。ラインメモリ３２は、例えば、画像メモリ３１と同じ主記憶部に設けられるラインバッファである。
【００３７】
本画像処理部３０では、ラインメモリ３２への画像データの蓄積に際して、回転後画像の画像データをラインメモリ３２に蓄積するのではなく、入力画像の画像データを回転後画像の座標配列にてラインメモリ３２に蓄積する処理がポイントの一つとなる。因みに、回転後画像の画像データをラインメモリ３２に蓄積する場合は、後段で空間フィルタ処理を行うため、連続した主走査画像を得るには回転角度分のメモリ量が余分に必要になる。ラインメモリ３２への画像データの蓄積処理の詳細については後述する。
【００３８】
補間処理部３３は、画像の回転処理によって画質劣化（ギザギザ）が発生しないようにするために、入力画像の座標の周辺画素データを参照して補間処理（空間フィルタ処理）を行う。
【００３９】
ここで、ラインメモリ３２への画像データの蓄積に際して、回転後画像の画像データではなく、入力画像の画像データそのものをラインメモリ３２に蓄積するようにすると、いわゆる画素抜けと呼ばれる画素データが欠落する欠落画素が発生する場合がある。補間処理部３３は、この欠落画素の画素データを再現するための処理も行う。
【００４０】
具体的には、補間処理部３３は、入力画像の画像データのうち、ラインメモリ３２に蓄積されていない欠落画素の画素データを、当該欠落画素の周辺画素の画素データを基に補間することによって再現する。本画像処理部３０では、補間処理によって欠落画素の画素データを再現する処理もポイントの一つとなる。この欠落画素の補間処理の詳細についても後述する。
【００４１】
（画像処理部の全体動作の概略)
図２は、画像処理部３０の全体動作の概略を示す図である。ここでは、画像「Ａ」が印刷された原稿が半時計方向にある角度だけ傾いた状態の読取り画像の画像データが画像メモリ３１に蓄積されている状態を示している（Ａ）。
【００４２】
画像メモリ３１に蓄積された画像データは、読出し／書込み制御部３５による制御の下に、複数ライン（行）分だけラインメモリ３２に展開される（Ｂ）。そして、補間処理部３３において、例えば４画素×４画素のウィンドウ（以下、単に「４×４ウィンドウ」と記述する）を生成し（Ｃ）、周知のバイキュービック（Ｂｉｃｕｂｉｃ）法を用いて補間を行う（Ｄ）。
【００４３】
ここで、バイキュービック補間法は、高精度な画像回転等の画像処理を行う画像補間法の一つであり、周囲の１６個の画素（４×４ウィンドウ）の濃度値から、３次関数を用いて補間する手法である。補間に用いる式は、ｓｉｎ（πｘ）／πｘの濃度補間式である。これをテイラー展開で３次の項で近似して補間式として用いる。
【００４４】
以上の画像処理部３０での一連の動作により、読取り画像の傾きが補正され、かつ欠落画素が補間された出力画像（回転後画像）が得られる（Ｅ）。
【００４５】
［複写機］
以上説明したシステム構成に係る画像処理システムは、一例として、画像データ入力部１０が画像読取装置（画像読取部）からなり、画像データ出力部４０の後段に画像形成装置を備える複写機に適用することができる。複写機においては、画像読取装置に原稿をセットする際に、当該原稿が斜めになる場合がある。
【００４６】
また、複写機には一般的に、原稿を画像読取装置に自動的に供給する原稿供給装置（給紙装置）である自動原稿送り装置（ＡＤＦ；Auto Document Feeder）が装備されている。この自動原稿送り装置を使用した場合においても、当該自動原稿送り装置による画像読取装置への搬送過程で原稿が傾く場合がある。
【００４７】
このように、画像読取装置にセットされた原稿が傾いていた場合や、自動原稿送り装置による搬送過程で原稿が傾いた場合などに生ずる読取り画像の傾きを補正するために、上述した画像処理部３０、即ち本発明による画像読取装置が用いられる。読取り画像の傾きは、先述したように、スキュー検出部２０によって検出される。そして、このスキュー検出部２０の検出結果を基に、画像処理部３０において読取り画像の回転処理、即ちスキュー補正処理が行われる。
【００４８】
図３は、自動原稿送り装置（ＡＤＦ）を備えた複写機の構成の概略を示す側断面図である。本構成例に係る複写機は、一例として、読取り対象となるシート状の原稿７０を自動原稿送り装置６０によって移動させながら、その原稿７０上から画像を読み取る、いわゆるＣＶＴ（Constant Velocity Transfer）モードに対応可能な構成となっている。
【００４９】
すなわち、ＣＶＴモードでは、自動原稿送り装置６０の原稿載置台６１に載置された原稿７０が引込みローラ６２によって１枚ずつ搬送ローラ６３まで搬送され、その搬送ローラ６３によって搬送方向が変更されてコンタクトガラス６４まで案内される。そして、原稿７０はコンタクトガラス６４上を当該コンタクトガラス６４と平行に搬送される。このとき、後述するようにして、原稿７０上の画像の読取りが行われる。その後は、画像読取りが終了した原稿７０が搬出ローラ６５によって排出トレイ６６上に排出される。
【００５０】
コンタクトガラス６４上においては、当該コンタクトガラス６４上を搬送される原稿７０が露光ランプ８１によって照射される。そして、その照射による反射光は、第一ミラー８２、第二ミラー８３および第三ミラー８４にて光路変更された後レンズ８５によって縮小され、光電変換素子である例えばＣＣＤ(Charge Coupled Device)型ラインセンサ（ＣＣＤセンサ）８６の撮像面上に結像される。
【００５１】
露光ランプ８１、第一ミラー８２、第二ミラー８３、第三ミラー８４、レンズ８５およびＣＣＤセンサ８６は、原稿７０上の画像を当該原稿７０の搬送方向（副走査方向）に直交する方向に対応する主走査方向に走査しつつ読み取る読取光学系８０を構成している。これにより、コンタクトガラス６４上を搬送される原稿７０上に描かれた画像は、ＣＣＤセンサ８６によって画素単位で光電変換されることによってアナログ画像信号として出力される。
【００５２】
ここでは、複写機として、読取光学系８０を固定とし、原稿７０を移動させながら原稿画像を読み取る形式の複写機を例に挙げたが、これは一例に過ぎず、自動原稿送り装置６０によってコンタクトガラス６４上に送り込まれた原稿７０を固定とし、読取光学系８０を移動させながら原稿画像を読み取る形式の複写機であっても良いことは勿論である。
【００５３】
［用語の定義］
以下に、例えば複写機に適用した場合を例に挙げて、先述した画像処理部３０の処理の詳細について具体的に説明する。画像処理部３０の処理の説明に当たって、先ず、用語について定義する。
【００５４】
図４は、読取り対象の原稿７０と読取光学系８０による読取り領域９０との位置関係を示す図である。図４において、図の左側から右側に向かう方向が主走査方向であり、図の上側から下側に向かう方向が副走査方向である。そして、（１）が原稿７０の読取りスキュー角、（２）が原稿７０の左コーナー（Ｘ，Ｙ）、（３）が読取りスキュー量である。さらに、（４）が読取り領域９０の幅、（５）が読取り領域９０の長さ、（６）が原稿７０の幅、（７）が原稿７０の長さである。
【００５５】
［ラインメモリへの画像データの蓄積処理］
次に、ラインメモリ３２への画像データの蓄積処理の詳細について説明する。画像メモリ３１からラインメモリ３２への画像データの展開（蓄積）処理は、先述したように、読出し／書込み制御部３５による制御の下に実行される。
【００５６】
図５は、画像メモリ３１に蓄積されている画像データをラインメモリ３２へ転送する処理を模式的に示す図である。ここでは、画像「Ａ」が印刷された原稿が半時計方向にある角度だけ傾いた状態の読取り画像の画像データが画像メモリ３１に蓄積されている状態を示している。
【００５７】
読出し／書込み制御部３５は、周知のアフィン変換式によって、出力画像の画素位置（整数）に対応する元画素位置（実数）を求め、この求めた整数部から画像データの読出し位置を決定する（１）。そして、主走査方向（Ｘ方向）に、元画像の参照画素位置を求めて行くと、ライン（行）がずれる（即ち、アドレスが不連続になる）位置が存在するので、このアドレスが不連続になる位置までを、画像メモリ２１からラインメモリ３２への１回の転送量とする（２）。
【００５８】
このときの画像メモリ３１からラインメモリ３２への１回の転送量は、図４にデータ量を矢印（→）で模式的に示す当該矢印の長さに相当する。また、１回の転送量（矢印の長さ）は、原稿画像（即ち、読取り画像）の傾きによって決まる。例えば、傾き角度が大きければ、１回の転送量が少なくなる（矢印の長さが短くなる）。そして、読出し／書込み制御部３５は、画像メモリ３１から読み出した画像データを、出力画像（即ち、回転処理後の画像／回転後画像）のライン（行）単位にラインメモリ３２に蓄積する。
【００５９】
本例では、例えば図４に示すように、画像メモリ３１から読み出した画像データを６ライン分だけラインメモリ３２に蓄積する（３）。そして、本画像処理部３０では、画像データを１ラインずつラインメモリ３２としてのバッファに蓄積し、当該バッファ内で処理を行いつつ１ライン分のデータをバッファ間（モジュール間）で順にシフトしていくパイプライン処理（時間的並列処理）が行われる。
【００６０】
［補間処理］
続いて、補間処理部３３における補間処理について説明する。この補間処理に先立って補間ウィンドウである４×４ウィンドウの生成が行われる。
【００６１】
（４×４ウィンドウの生成）
図６は、４×４ウィンドウの生成の概念を示す図である。後述する理由により、ラインメモリ３２として６ライン分のメモリを用いるものとする。先ず、アフィン変換式によって、出力画像（回転後画像）の画素位置（実数）に対応する元画素位置（整数）を、ラインメモリ３２のアドレスとして求める（１）。
【００６２】
次に、注目画素位置の整数部が示す位置を（０，０）として、ラインメモリ３２の周辺データの相対位置を算出する（２）。その際に、回路規模削減を目的として、ラインメモリ３２から読み出すときに絶対位置算出を行って保持しておき、ウィンドウをシフトさせるときに相対位置算出を行うようにする。そして、画素位置の整数部が示す位置を（０，０）として、周辺１６画素の相対位置を示すように４×４ウィンドウを形成する。
【００６３】
ラインメモリ３２と出力画像の座標は１：１に対応する。そして、１画素出力する度に、ラインメモリ３２の読出し位置も１画素進む。ここで、図７に示すように、隣接する注目画素Ｐ（ｎ），Ｐ（ｎ＋１）が、同じ補正前画素を示す場合がある。
【００６４】
この場合、一方の注目画素Ｐ（ｎ）については、ラインメモリ３２として６ライン分のメモリが用意されており、６画素×６画素の広さがあるので、４×４ウィンドウの形成に必要な相対画素位置を得ることができる。
【００６５】
他方の注目画素Ｐ（ｎ＋１）についてはウィンドウを１画素進める。そして、処理の基準となるクロック信号の１クロック前と同じ補間対象画素で４×４ウィンドウを形成する必要があるが、６画素×６画素の広さがあるので、相対画素位置について正しく算出することができる。
【００６６】
また、ラインメモリ３２には、図８に示すように、元画像に対して画素・ライン（行）が例えば副走査方向においてずれた状態で画像データが格納される。ここで、画素・ラインがずれた状態とは、アフィン変換の座標変換において、整数座標だけ補正した補正後画像であるとも言える。この画素・ラインのずれは、図５に示す画像メモリ３１上において矢印（→）が変化する部分で発生する。
【００６７】
図８に示す６×６ウィンドウ例においては、実線で囲んだ領域Ａに対して破線で囲んだ領域Ｂが１ラインずれた状態で画像データがラインメモリ３２に格納されている。このように、元画像に対して画素・ライン（行）がずれた状態で画像データが格納されているときは、画素位置の整数部が示す位置を（０，０）として、周辺１６画素の相対位置を示すように４×４ウィンドウを形成する。
【００６８】
なお、図８の例では、副走査方向において画素・ラインのずれ（段差）が発生する場合を例に挙げたが、画素・ラインのずれは、副走査方向に限らず、主走査方向も含めて様々な位置で発生する。主走査・副走査の段差については、補正角度によって発生箇所・回数が変化する。補正角度仕様により６画素・ラインの中では１回しか段差が発生しないことを保証すると、ラインメモリ３２に６ライン分の画像データが存在すれば４×４ウィンドウを生成することができる。
【００６９】
以上のように、補間処理部３３において、出力画像の画素位置に対応する元画像の相対位置を求めて当該相対位置の座標がどこに存在するかを画素ごとに検出することで、その検出結果を基に補間ウィンドウである４×４ウィンドウを生成することができる。すなわち、補間処理部３３は、変換前の座標を基に４×４ウィンドウを生成する。
【００７０】
（欠落画素の検出）
前にも述べたように、ラインメモリ３２に画像データを展開する際に、回転後画像の画像データではなく、入力画像の画像データそのものを展開すると、欠落画素が発生する場合がある。したがって、補間処理部３３は、この欠落画素の画素データを再現するための処理も行う。このとき、補間処理部３３は、ラインメモリ３２に画像データを基に入力画像の座標配列を特定するのに逆アフィン変換を用いる。
【００７１】
図９は、欠落画素の検出の概念を示す図である。図９においては、ハッチングで示す画素（２，０）を欠落画素としている。この欠落画素については、変換元の画像の座標を逆アフィン変換で求めることによって特定することができる。具体的には、アフィン変換式で計算した、各補正前画素の座標値から相対位置を算出すると、その算出結果から補間参照先として画素が欠落していることを知ることができる。
【００７２】
（欠落画素の補間）
上述したようにして特定した欠落画素については、補間処理部３３において、欠落画素の画素データを再現するための処理が行われる。補間処理部３３は、欠落画素について４×４ウィンドウ内の画素値を用いて補間する。以下に、欠落画素の補間処理についてより具体的に説明する。
【００７３】
図１０は、欠落画素の補間の概念を示す図である。図１０において、（Ａ）は欠落画素（図中、ハッチングで示す画素）の位置が、注目画素を含むあらかじめ定められた複数の隣接画素、例えば４個の隣接画素の領域（以下、「４画素領域」と記述する）外であるケースを示している。このケース（Ａ）では、例えば、４画素領域の各画素のうち欠落画素に近い画素、好ましくは一番近い画素の画素値を使うようにする。
【００７４】
図１０（Ａ）に示す例では、画素（２，０）が欠落しているので、点線の矢印で示すように、欠落画素の画素値を一番近い画素（１，０）の画素値で置換する。画素（２，０）以外の４画素領域外の各画素が欠落したときに置換する画素位置を、図１０（Ａ）に実線の矢印で示している。
【００７５】
図１０において、（Ｂ）は欠落画素（図中、ハッチングで示す画素）の位置が、注目画素を含む４画素領域内であるケースを示している。このケース（Ｂ）では、例えば、欠落画素の隣接画素の画素値に基づいて欠落画素の画素値を求める。具体的には、欠落画素の上下・左右ペアについて、ｇｒａｙ＝（Ｒ＋Ｂ＋Ｇ＋Ｇ）／４の差の絶対値を求める。そして、差の絶対値が小さいペアの画素値の平均値を欠落画素の画素値とする。
【００７６】
図１０（Ｂ）に示す例では、画素（１，１）が欠落しているので、欠落画素（１，１）の上下ペアについての差の絶対値｜ｇｒａｙ（１，０）−ｇｒａｙ（１，２）｜と、欠落画素（１，１）の左右ペアについての差の絶対値｜ｇｒａｙ（０，１）−ｇｒａｙ（２，１）｜を求める。そして、差の絶対値が他方より小さいペアのＲ（赤）Ｇ（緑）Ｂ（青）の各画素の平均値を求め、当該平均値を欠落画素の画素値とする。
【００７７】
なお、図１０（Ａ）に示す例では、欠落画素の画素値を４画素領域の各画素のうち欠落画素に近い画素の画素値で置換するとしたが、図１０（Ｂ）の場合と同様に、隣接画素の画素値を基に欠落画素の画素値を演算して求めるようにすることも可能である。また、図１０（Ｂ）に示す例についても、図１０（Ａ）の場合と同様に、欠落画素の画素値を４画素領域の各画素のうち欠落画素に近い画素の画素値で置換するようにすることも可能である。
【００７８】
（バイキュービック補間）
続いて、補間処理部３３において実行される、既存の補間技術であるバイキュービック補間法を用いた補間処理について説明する。
【００７９】
図１１は、バイキュービック補間法を用いた補間処理の概念を示す図である。バイキュービック補間法を用いた補間処理では、先ず、注目画素（０，０）から、周辺１６画素までのｘ方向の距離と、ｙ方向の距離を求め、ルックアップテーブル（ＬＵＴ）を参照してウェイトを得る（１）。ルックアップテーブルは、例えば、ｘ用、ｙ用各４個の計８個用意される。
【００８０】
次に、Ｒ，Ｇ，Ｂ各色について、１６画素の位置に対応するｘ，ｙのウェイトを、各画素値に乗じて加算する。そして、例えば８ビットの情報０−２５５にクリッピングして補正後画素値を得る（２）。以上により、図２において、入力画像（Ａ）に対して傾き補正を行うことで得られる補正後画素値からなる出力画像（Ｅ）を得ることができる。すなわち、画像処理部３０での一連の処理により、傾きを持った入力画像（Ａ）に対して回転処理を施して回転後画像である出力画像（Ｅ）を得ることができる。
【００８１】
［変形例］
上記実施形態では、画素処理部３０の各構成要素、即ち画像メモリ３１、ラインメモリ３２、補間処理部３３、書込み制御部３４、読出し／書込み制御部３５および読出し制御部３６をハードウェア構成によって実現する場合を例に挙げたが、ハードウェア構成に限られるものではない。
【００８２】
すなわち、画像メモリ３１、ラインメモリ３２、補間処理部３３、書込み制御部３４、読出し／書込み制御部３５および読出し制御部３６については、パーソナルコンピュータのように、所定プログラムを実行することによって情報記憶処理、画像処理、演算処理等の各機能を実行するコンピュータ機器を利用してソフトウェア構成によって実現することも考えられる。また、ハードウェアとソフトウェアの複合構成によって実現することも可能である。
【００８３】
図１２は、ソフトウェア構成によって実現する場合の画素処理部３０を構成するコンピュータ機器の構成例を示すブロック図である。
【００８４】
コンピュータ機器によって構成される画素処理部３０Ａは、ＣＰＵ(Central Processing Unit:中央演算装置)１０１、Ｉ／Ｏ回路１０２、ＲＯＭ１０３、ＲＡＭ１０４およびＨＤＤ（ハードディスクドライブ装置）１０５を有し、これら構成要素がバスライン１０６を介して相互に通信可能に接続されている。
【００８５】
この画素処理部３０Ａにおいて、ＣＰＵ１０１は、演算処理を含む本画素処理部３０Ａ全体の処理の制御を行う。Ｉ／Ｏ回路１０２は、画像データ入力部１０、スキュー検出部２０および画像データ出力部４０の周辺機器との入出力を管理する。ＲＯＭ１０３は、ＣＰＵ１０１による制御の下に実行される各種処理のための処理プログラムを格納する。ＲＡＭ１０４は、当該各種処理の実行時に使用される一次記憶装置であり、例えば図１の画像メモリ３１やラインメモリ３２が設けられる主記憶部となる。ＨＤＤ１０５は、ＣＰＵ１０１による制御の下に処理された画像データを記憶する。
【００８６】
ここでは、画素処理部３０の機能のみをソフトウェア構成によって実現する場合を例に挙げたが、画素処理部３０のみならず、スキュー検出部２０の機能についてもソフトウェア構成によって実現するようにしても良い。
【００８７】
このように、画素処理部３０の機能をソフトウェア構成によって実現する場合、図１の補間処理部３３、書込み制御部３４、読出し／書込み制御部３５および読出し制御部３６としてコンピュータ機器を機能させるプログラム(画像処理プログラム）については、あらかじめコンピュータ機器内にインストールしておくことが考えられる。ただし、あらかじめインストールされているのではなく、コンピュータ機器で読取り可能な記憶媒体に格納されて提供されるものであっても良く、または有線若しくは無線による通信手段を介して配信されるものであっても良い。
【００８８】
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されるものではなく、発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【符号の説明】
【００８９】
１０…画像データ入力部、２０…スキュー検出部、３０，３０Ａ…画像処理部、３１…画像メモリ、３２…ラインメモリ、３３…補間処理部、３４…書き込み制御部、３５…読出し／書込み制御部、３６…読出し制御部、４０…画像データ出力部、５０…記録装置
【特許請求の範囲】
【請求項１】
入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位で蓄積部に蓄積する制御を行う制御部と、
前記蓄積部に蓄積された画像情報を基に前記入力画像の座標配列で補間処理を行う補間処理部と
を備える画像処理装置。
【請求項２】
前記補間処理部は、前記入力画像の情報のうち、前記蓄積部に蓄積されていない欠落画素の情報を、当該欠落画素の周辺画素の情報を基に補間する
請求項１記載の画像処理装置。
【請求項３】
前記補間処理部は、前記欠落画素の画素値を当該欠落画素に近い画素の画素値で置換する
請求項２記載の画像処理装置。
【請求項４】
前記補間処理部は、前記欠落画素の画素値を当該欠落画素に隣接する複数の画素の画素値を演算して求める
請求項２記載の画像処理装置。
【請求項５】
前記制御部は、前記入力画像の座標配列から前記回転処理後の画像の座標配列への座標変換にアフィン変換を用いる
請求項１記載の画像処理装置。
【請求項６】
前記補間処理部は、前記蓄積部に蓄積された画像情報を基に前記入力画像の座標配列を特定するのに逆アフィン変換を用いる
請求項１記載の画像処理装置。
【請求項７】
原稿から画像を読み取る画像読取部を有し、
前記入力画像は、前記画像読取部で原稿から読み取られた画像である
請求項１記載の画像処理装置。
【請求項８】
前記入力画像は、原稿搬送装置によって前記画像読取部に搬送された原稿から当該画像読取部で読み取られた画像である
請求項７記載の画像処理装置。
【請求項９】
入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位で蓄積部に蓄積し、
前記蓄積部に蓄積された画像情報を基に前記入力画像の座標配列で補間処理を行う
画像処理方法。
【請求項１】
入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位で蓄積部に蓄積する制御を行う制御部と、
前記蓄積部に蓄積された画像情報を基に前記入力画像の座標配列で補間処理を行う補間処理部と
を備える画像処理装置。
【請求項２】
前記補間処理部は、前記入力画像の情報のうち、前記蓄積部に蓄積されていない欠落画素の情報を、当該欠落画素の周辺画素の情報を基に補間する
請求項１記載の画像処理装置。
【請求項３】
前記補間処理部は、前記欠落画素の画素値を当該欠落画素に近い画素の画素値で置換する
請求項２記載の画像処理装置。
【請求項４】
前記補間処理部は、前記欠落画素の画素値を当該欠落画素に隣接する複数の画素の画素値を演算して求める
請求項２記載の画像処理装置。
【請求項５】
前記制御部は、前記入力画像の座標配列から前記回転処理後の画像の座標配列への座標変換にアフィン変換を用いる
請求項１記載の画像処理装置。
【請求項６】
前記補間処理部は、前記蓄積部に蓄積された画像情報を基に前記入力画像の座標配列を特定するのに逆アフィン変換を用いる
請求項１記載の画像処理装置。
【請求項７】
原稿から画像を読み取る画像読取部を有し、
前記入力画像は、前記画像読取部で原稿から読み取られた画像である
請求項１記載の画像処理装置。
【請求項８】
前記入力画像は、原稿搬送装置によって前記画像読取部に搬送された原稿から当該画像読取部で読み取られた画像である
請求項７記載の画像処理装置。
【請求項９】
入力画像の情報を当該入力画像の回転処理後の画像の座標配列にて行単位で蓄積部に蓄積し、
前記蓄積部に蓄積された画像情報を基に前記入力画像の座標配列で補間処理を行う
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２０６６７２（Ｐ２０１０−２０６６７２Ａ）
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願番号】特願２００９−５１６４０（Ｐ２００９−５１６４０）
【出願日】平成２１年３月５日（２００９．３．５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願日】平成２１年３月５日（２００９．３．５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]