画像処理装置と処理方法、及び処理プログラム
【課題】 入力画像自体の性質から画像の傾斜角を検出すると共に、検出を高速で行えるようにする。
【解決手段】 入力画像を１／ｎの縮小画像に縮小し、縮小画像をスムージングし、スムージングした画像からエッジを抽出する。抽出したエッジを二値化し、二値化した画像をハフ変換することにより、複数の直線を抽出する。抽出した複数の直線の傾斜から、入力画像の傾斜角を検出する。
【解決手段】 入力画像を１／ｎの縮小画像に縮小し、縮小画像をスムージングし、スムージングした画像からエッジを抽出する。抽出したエッジを二値化し、二値化した画像をハフ変換することにより、複数の直線を抽出する。抽出した複数の直線の傾斜から、入力画像の傾斜角を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は入力画像の傾斜角の検出に関する。
【背景技術】
【０００２】
スキャナで画像を読み取ると、画像が僅かに傾斜した状態で読み取られることがある。これを補正するため、原稿用紙の辺などを検出することが行われている。原稿用紙が方形であれは、辺の向きは主走査方向あるいは副走査方向に平行なはずで、これらの方向からのずれは原稿用紙の傾斜を表している。この手法で傾斜を検出できるのはスキャン時に限られるので、蓄積済みの画像や外部から転送された画像の傾斜は検出できない。また原稿用紙の傾斜を検出するので、切り抜きのように用紙が定型でないものは、傾斜を検出できない。さらにハードカバーの書籍を見開きでスキャンすると、カバーは傾斜していないものの、見開いたページが傾斜していることがある。この場合も、傾斜の検出は難しい。これらの問題を解決するには、原稿用紙の傾斜を検出するのではなく、画像自体の傾斜を検出する必要がある。
【０００３】
次に傾斜の検出は高速で行う必要があり、好ましくはスキャナでの画像の読み取りと同期して傾斜角を検出する必要がある。画像自体の性質を利用して、しかも高速で傾斜を検出するのは、簡単なことではない。ここで関連する先行技術を示すと、特許文献１：JPH10-283476Aは、画像中の直線をハフ変換により検出することを記載している。しかしながら特許文献１は、画像の傾斜自体をハフ変換により検出することを示していない。例えば画像中に写真や図形があり、これらに斜線が含まれていれば、ハフ変換により斜線が抽出され、斜線を元に画像の傾斜を検出することは難しい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】JPH10-283476A
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明の課題は、入力画像自体の性質を用いて、画像の傾斜角を検出すると共に、傾斜角の検出を高速で行えるようにすることにある。
この発明での副次的な課題は、入力画像の解像度によって、傾斜角の検出結果が異ならないようにすることにある。
この発明での副次的な課題は、入力画像の写真部分等に含まれる孤立点が、傾斜角の検出に影響しないようにすることにある。
【課題を解決するための手段】
【０００６】
この発明の画像処理装置は、
入力画像の傾斜角を検出する装置であって、
入力画像の解像度を１／ｎ(ｎは２以上の自然数)に低下させることにより、入力画像を縮小画像に縮小する縮小処理部と、
縮小画像をスムージングするスムージング部と、
スムージングした画像からエッジを抽出するエッジ抽出部と、
抽出したエッジを二値化する二値化部と、
二値化した画像をハフ変換することにより、入力画像中の複数の直線を抽出するハフ変換部と、
ハフ変換により抽出した複数の直線の傾斜から、入力画像の傾斜角を検出する傾斜角検出部、とを備えたことを特徴とする。
【０００７】
この発明の画像処理方法は、入力画像中の文字からなる行の傾斜角を検出する方法であって、
入力画像の解像度を１／ｎ(ｎは２以上の自然数)に低下させることにより、入力画像を縮小画像に縮小し、
縮小画像をスムージングし、
スムージングした画像からエッジを抽出し、
抽出したエッジを二値化し、
二値化した画像をハフ変換することにより、複数の直線を抽出し、
抽出した複数の直線の傾斜から、入力画像の傾斜角を検出することを特徴とする。
【０００８】
この発明の画像処理プログラムは、情報処理装置によって入力画像の傾斜角を検出するために、
前記情報処理装置を、
入力画像の解像度を１／ｎ(ｎは２以上の自然数)に低下させることにより、入力画像を縮小画像に縮小する縮小処理部と、
縮小画像をスムージングするためのスムージング部と、
スムージングした画像からエッジを抽出するためのエッジ抽出部と、
抽出したエッジを二値化するための二値化部と、
二値化した画像をハフ変換することにより、複数の直線を抽出するためのハフ変換部と、
ハフ変換により抽出した複数の直線の傾斜から、入力画像の傾斜角を検出するための傾斜角検出部、として機能させる。
この明細書において、画像処理装置に関する記載は画像処理方法や画像処理プログラムにもそのまま当てはまり、逆に画像処理方法に関する記載は画像処理装置や画像処理プログラムにもそのまま当てはまる。入力画像は例えばスキャナで読み取った直後の画像であるが、ファクシミリやファイル転送、e-mailなどで受信した画像、あるいはメモリに蓄積済みの画像でも良い。また直線と線分とは同じ意味である。
【０００９】
この発明では、入力画像中の文字の行に対応する直線、あるいは罫線及び表に含まれる直線をハフ変換により抽出し、これらの直線の向きから、入力画像自体の傾斜を検出する。このため原稿が切り抜きや見開きの場合でも、傾斜を検出できる。
１／ｎ縮小により画像のデータ量は１／ｎ２になり、スムージングによりハフ変換でのノイズを減らし、エッジを抽出することにより、地色の影響を除き、かつ白抜き文字にも対応できる。そしてこれらの処理では、文字の行がなす直線、罫線、及び下線などをエッジとして抽出できる。データ量が少ないので高速でハフ変換ができ、かつハフ変換により、文字の行あるいは罫線などから画像本来の向きを求めて、スキャン時あるいはメモリでの、主走査方向あるいは副走査方向に対する画像の傾斜を検出できる。
【００１０】
好ましくは、解像度が既知の入力画像に対して、入力画像の解像度に係わらず、前記縮小処理部は一定の解像度に縮小する。
これによって、入力画像の解像度の違いや、同じ解像度の入力画像に対する縮小率の違いが、傾斜角の検出値に影響しないようにできる。
【００１１】
好ましくは、ハフ変換により、少なくとも入力画像中の文字からなる行に対応する直線を抽出する。表や罫線などで、文字部分以外にも画像本来の向きを表す直線が含まれる場合は、これらの傾斜角を検出しても良い。
プリントされた文字の行を直線と見なすと、その方向は画像本来の向きを表す。そして１／ｎ縮小などでフォントを小さくしても、文字の行からなる直線は失われない。また手書きの場合も、文字の行はある程度互いに平行で、画像本来の向きを表している。そこで文字の行がなす直線の向きを検出すると、画像本来の向きとメモリなどでの主走査方向あるいは副走査方向との角を、傾斜角として検出できる。
【００１２】
好ましくは、スキャナを備え、かつ前記ハフ変換部を複数備えて、二値化した画像のハフ変換を複数のハフ変換部で並列に実行することにより、スキャナで読み込んだ画像をリアルタイムにハフ変換する。
このようにすると、画像のスキャンと同時に傾斜の補正ができ、コピー、送信、転送などの処理を送らせることがない。
【００１３】
好ましくは、前記抽出したエッジから、もしくは前記二値化した画像からハフ変換前に、孤立点を除く孤立点除去部を設ける。
孤立点は写真などに多く含まれ、ハフ変換で直線を抽出する際のノイズとなる。そこでハフ変換前に孤立点を除去することにより、偽の直線を抽出する可能性を減らすことができる。
【図面の簡単な説明】
【００１４】
【図１】実施例の複合機のブロック図
【図２】実施例での前処理部のブロック図
【図３】実施例での前処理アルゴリズムを示す図
【図４】実施例でのハフ変換部〜画像回転部のブロック図
【図５】実施例での投票テーブルを模式的に示す図
【図６】実施例での傾斜角の決定アルゴリズムを示す図
【図７】実施例での傾斜角の決定原理を示す図
【図８】入力画像を直接二値化した例を示す図
【図９】実施例での入力画像の縮小画像を示す図
【図１０】実施例で、縮小画像からノイズを除去した画像を示す図
【図１１】実施例で、ノイズの除去後の画像から抽出したエッジを示す図
【図１２】実施例で用いた、エッジ抽出フィルタを示す図
【図１３】実施例で、エッジの画像を二値化した画像を示す図
【図１４】実施例で、二値化画像から孤立点を除いた画像を示す図
【図１５】実施例で、孤立点を除いた後に、縮退処理を施した画像を示す図
【図１６】偽の最大投票線を示す図
【図１７】投票テーブルでの近傍点が有効線として複数選択される状況を示す図
【図１８】実施例で、抽出済みの有効線の近傍をマスクした際の、有効線の抽出状況を示す図で、明度は投票テーブルでの投票数を示す
【図１９】実施例での抽出した有効線を模式的に示す図
【図２０】実施例での傾斜角の決定手法を模式的に示す図
【発明を実施するための形態】
【００１５】
以下に本発明を実施するための最適実施例を示す。
【実施例】
【００１６】
図１〜図２０に、複合機２を例に実施例を示す。４はＬＡＮで、６はパーソナルコンピュータで、情報処理装置の例であり、８はルータで、インターネット１０と複合機２やパーソナルコンピュータ６を接続する。実施例での傾斜角の検出や補正は複合機２で行うが、パーソナルコンピュータ６などで行っても良く、例えば、複合機２のスキャナ２０で読み取った画像をパーソナルコンピュータ６へ転送して、パーソナルコンピュータ６で傾斜角を検出して補正しても良い。
【００１７】
複合機２の構造を説明する。１２はＬＡＮインターフェースで、１４はバス、１６は画像メモリで、ページメモリとして画像データを記憶する。メモリ１８は汎用のメモリで、プログラムや中間的なデータなどを記憶する。スキャナ２０は、原稿用紙から画像を、モノクロのグレイスケールあるいはフルカラーで読み取り、プリンタ２２は画像をプリントし、Ｇ３ファクシミリ部２４は画像のＧ３ファクシミリ送信と受信とを行う。e-mail部２６は、e-mailの添付ファイルとして画像の送受信を行い、ネットワークサーバ部２８は、文書管理サーバやリモートプリンタなどとして複合機２を動作させる。ユーザインターフェース３０はユーザのマニュアル入力などを受け付け、画像処理部３２は種々の画像処理を行う。
【００１８】
スキャンした画像あるいは受信画像もしくは蓄積済みの画像の傾斜角を検出するため、前処理部４０とハフ変換部５０並びに傾斜角検出部６０を設ける。そして検出した傾斜角と反対向きに同じ角度だけ、画像回転部７０で画像を回転させ、傾斜を補正する。
【００１９】
図２に前処理部４０の構成を示す。画像メモリ１６から画像データが縮小処理部４１へ入力され、画像の解像度を１／ｎ(ｎは２以上の自然数で、好ましくは４〜８，特に４〜６)に縮小する。これによって画像データの量は１／ｎ2に減少し、縮小は例えばｎ×ｎ画素のブロック毎に、画素の値の平均値を求めればよい。またより単純に、縮小処理部４１では、ｎ×ｎ画素のブロックの内の代表点、例えばブロックの左上の頂点の、１画素のデータをそのまま出力しても良い。このためハフ変換は、ｎ2倍高速になる。
【００２０】
同じ画像データで、データの内容と解像度は一定でも、縮小処理部４１での縮小率が異なると、傾斜角の検出結果が異なることがあった。これに対して同じ原稿を４００ｄｐｉ，６００ｄｐｉ，８００ｄｐｉなどの異なる解像度で読み取り、これを一定の解像度、例えば１００ｄｐｉへ縮小すると、傾斜角の検出結果は共通であった。そこでスキャン時の解像度によらず、縮小処理部４１で一定の解像度まで解像度を低下させると、解像度の違いによる傾斜角の検出値の差を解消できる。
【００２１】
複合機２でスキャンした画像以外でも、ファクシミリの受信データなどのように、スキャン時の解像度が既知の場合、同様に一定の解像度に画像を縮小する。スキャン時の解像度は、通信のプロトコルあるいは画像ファイルのヘッダなどから判明することが多い。このため、スキャン時の解像度が異なれば縮小率は異なり、縮小画像の解像度を一定にする。なおｊｐｅｇ画像のようにヘッダに解像度が記載されていない場合、１／４あるいは１／８などの一定の縮小率で、画像を縮小する。
【００２２】
スムージング部４２は、平滑化フィルタなどにより縮小画像からノイズを除去し、これによって画像中のランダムなデータをハフ変換によって直線として抽出しないようにする。次にエッジ抽出部４３は、スムージング済みの画像から、ラプラシアンフィルタあるいはソーベルフィルタなどのエッジ抽出用フィルタにより、エッジを抽出する。これによって地色の影響が解消し、また白抜きの文字などでも、文字の輪郭に対応するエッジを抽出できる。さらにエッジの抽出により画像のデータ量が小さくなり、ハフ変換が容易になる。
【００２３】
二値化部４４は抽出したエッジを二値化する。二値化の閾値は、一定でも良く、あるいは抽出したエッジでの明度もしくはカラー値の分布などから定めても良い。さらに全てのエッジを二値化する必要があるのではなく、例えば画像中の文字部分と、写真部分及び図形部分を判別できる場合、文字部分のみを二値化することが好ましい。
【００２４】
扱う画像データは実施例ではモノクロのグレイスケール画像とするが、ＲＧＢ画像などでもよい。この場合、ＲＧＢデータを、明度画像に変換して傾斜角を検出してもよく、またＲ，Ｇ，Ｂの各成分毎に傾斜角を検出し、その平均値などを用いてもよい。
【００２５】
孤立点除去部４５は二値化画像から孤立点を除去し、二値化前のエッジ画像に対して孤立点を除去しても良い。孤立点の除去によりデータ量が減り、かつ偽の傾斜角を検出する確率が減少する。なお孤立点は写真画像中に特に多く、画像本来の傾きとは無関係なデータである。
【００２６】
縮退処理部４６は、孤立点を除去した後の二値化画像に対し、縮退処理を行う。ここに縮退処理とは、上下，左右，斜めなどの方向に有効画素が連続して並んでいる場合に、有効画素をカットする処理のことである。なお有効画素とは二値化画像においてデータのある画素をいい、白であるか黒であるかは問題にしない。縮退処理により線分は例えば１点となる。円や方形、及び十字も１点となる。この結果、画像中の図形部分及び写真部分の斜線は、例えば１点に縮小される。これに対して、文字も縮退によって小さなデータになるが、文字の行がなす直線は失われない。縮退は罫線及び下線を１点に単純化するので、罫線及び下線を傾斜角検出に用いる場合には、縮退処理部４６は設けなくても良い。
【００２７】
図３は前処理部４０の制御アルゴリズムを示し、このアルゴリズムに従ってパーソナルコンピュータ６を動作させると、この発明を実施できる。ステップ１でスキャナ２０により画像を読み取り、ステップ２で一定の解像度へ画像を縮小し、これによってハフ変換の処理速度をｎ2倍に向上させる。ステップ３でスムージングによりノイズを減らし、ステップ４でエッジを抽出して地色の影響などを除き、また白抜き文字なども検出できるようにする。そしてステップ５で二値化し、ステップ６で孤立点を除く。これによって、写真画像中などの孤立点の、傾斜角の検出への影響を小さくできる。なお孤立点の除去は二値化の前に行っても良い。そして好ましくはステップ７で縮退処理によりデータを単純化し、特に写真部分や図形部分の直線を例えば１点まで単純化する。
【００２８】
ステップ２〜ステップ７の前処理は、画像のスキャンと同期して行い、またハフ変換部５０でのハフ変換、傾斜角検出部６０での傾斜角の検出、画像回転部７０での傾斜角の補正も、スキャンと同期して行えるようにする。ここに同期とは、これらの処理速度がスキャナ２０の読み込み速度以上であることを意味し、このようにすると画像のスキャンと同時にリアルタイムに画像の傾斜を補正できる。
【００２９】
図４はハフ変換部５０〜画像回転部７０の構造を示し、ハフ変換部５０は例えば１６個〜３２個の実行ユニット５１を備えて、ハフ変換を並列に実行する。実行ユニット５１はρ値計算部５２とsinやcosに対するテーブル５３とから成る。３２個のテーブル５３で、０°〜１８０°をカバーできるように、１個のテーブル５３が記憶する角度の範囲は例えば５.６２５°(１８０／３２)で、角度の刻みは例えば０.１７６°(１８０°／１０２４)などである。ρ値計算部５２はテーブル５３からsinθやcosθの値を読み出し、縮退処理部４６もしくは孤立点除去部４５から出力された有効画素の位置(ｘ，ｙ)に対し、ρ値を ρ＝ｘcosθ＋ｙsinθ として計算する。投票テーブル５４はθとρの２次元のテーブルで、管理部５５は複数の実行ユニット５１を管理する。
【００３０】
図５に、ρ値計算部５２と投票テーブル５４との関係を示す。テーブル５４の各点はρとθとの組み合わせを示し、これは線分を表している。仮にρとθとがそれぞれ１０２４レベルに分割されているものとし、ｘ，ｙの値が入力されると、θ毎にρの値を計算し、表の該当する位置のデータを１加算する。なおθは１８０°の範囲を例えば２５６〜４０９６レベル、好ましくは１０２４〜２０４８レベルに分解し、傾斜角を０.０５°〜０.３°、好ましくは０.１°〜０.２°程度の精度で検出できるようにする。またρの分解能は、θの分解能よりも低くても良い。実行ユニット５１は例えば３２ユニット有り、各ρ値計算部５２は３２レベル(１０２４／３２)分のθを担当する。その結果、例えば左から３つめのカラムに○で示すように、(ρ，θ)値が投票される。また５７はマスクで、テーブル５４から有効線(抽出する直線)として抽出済みの点の周囲をマスクし、マスク５７の外部から次の有効線が抽出されるようにする。
【００３１】
図４に戻り、有効線抽出部６１は投票テーブル５４から例えば上位ｍ位の点を抽出する。投票テーブル５４で投票数の多い点は、画像での有効線である可能性が高い。そして抽出済みの点の周囲にマスク５７を施し、マスク５７内からの他の点が抽出されないようにする。候補角抽出部６２は、抽出した有効線から傾斜角の候補(ｋ個で例えばｍ／２個以上)を抽出し、決定部６３はこれらの候補角に基づいて傾斜角θｄを決定する。決定した傾斜角θｄを座標計算部７１へ入力し、画像メモリ１６の記憶画像の各画素に対し、傾斜補正後の座標(アドレス)を計算する。アドレス生成部７２は、傾斜補正前の座標に基づいて、画像メモリ１６への読み出しアドレスを生成する。bicubic処理部７３は読み出したデータを補間し、傾斜補正後の座標に基づいて、補間後のデータを画像メモリ１６へ書き戻す。これらの処理によって、画像メモリ１６の画像は、傾斜を補正するように回転する。なお回転には単純なアフィン変換などを用いてもよい。
【００３２】
図６に傾斜角検出部６０のアルゴリズムを示し、投票テーブルから上位ｍ位、例えば１６位あるいは８位の(ρ，θ)からなる点を抽出する(ステップ１１)。そして抽出済みの点の近傍、例えば１辺が５〜４０レベルの正方形からなる近傍をマスクし(ステップ１２)、同じ近傍内から２点以上が抽出されないようにする。なお最大投票数の１／２以上の投票数のある(ρ，θ)のみを抽出する。従ってｍ位目の点の投票数が最大投票数の１／２未満の場合はエラーとし、傾斜角の検出を行わず、画像回転部７０は画像を回転させない(ステップ１３)。ステップ１２，１３はステップ１１を実行するための補助的な処理である。このようにして、他の点の近傍に入らず、かつ最大投票数の１／２以上の点をｍ個抽出する。１／２以上は例であり、例えば２／３以上あるいは０.４以上などとしても良い。ステップ１１〜１３が、有効線抽出部６１の処理に対応する。
【００３３】
次に傾斜角の候補を求めるための角度をθｘとし、その直交角をφｘとする。ここに φｘは正または０で、かつ φｘ＝θｘ＋π／２ もしくは φｘ＝θｘ−π／２ である。δを許容範囲とし、例えばδは１°あるいは０.５°などであり、θｘ±δ及びφｘ±δの範囲に入る点(ρ，θ)の個数が最大となるように、θｘを決定する。そしてθｘ±δ及びφｘ±δの範囲に入る点を出力する(ステップ１４)。言い換えると、ｍ個の点に対し、角度θ成分が±δの範囲で一致する点の数が最大となる角度をθｘとする。なお単純にθ成分が±δの範囲で一致する点の数を問題とする代わりに、θｘ±δ及びφｘ±δの範囲に入る点に対する、投票数の和が最大となるようにしても良い。そしてこれらの点の数ｋが閾値未満の場合、例えばｍ／２未満もしくはｍ／３未満の場合、ステップ１５でエラーとする。エラーの場合、傾斜角の検出を行わず、画像回転部７０は画像を回転させない。ステップ１４，１５が、候補角抽出部６２の処理に対応する。
【００３４】
ステップ１６は決定部６３の処理に対応し、ステップ１４で求めたｋ個の点(ρ，θ)に対し、例えばθの単純平均値を傾斜角θｄとして出力する。あるいはｋ個の点でのθの加重平均を用い、重みには投票数ｖiを用いても良い。これらに代えて、ｋ個のθの候補θ1〜θkの中で、投票数ｖiが最大のθを傾斜角θｄとしてもよい。ステップ１６ではθｄを出力し、θｄがπ／２を越える場合、θｄ−π／２、即ちφｄを出力する。
【００３５】
図７〜図２０に実施例の動作を示す。図７の上部は原稿画像を示し、画像中の文字の列を直線と見なして、その傾斜を検出する。従って実施例の目的は、図７の上部の画像を図７の下部の画像に変換し、これに対するハフ変換を行うことにある。
【００３６】
図８は入力画像(画像メモリ１６の画像)を、縮小もスムージングもエッジ抽出も行わずに、直接二値化した例を示し、円でマークしたように、文字以外の写真部分などの黒画素(この場合の有効画素)が多くなり、ハフ変換の負担が増すと共に、写真中の斜線などの影響が強くなり、検出精度が低下する。そこで入力画像をグレースケールで取り扱い、縮小、スムージング、エッジ抽出等の画像処理を施した後に、二値化する。ハフ変換を高速で行うため、入力画像を１／ｎに縮小し、これによって以降の計算時間を１／ｎ2に減少させる(図９)。
【００３７】
次にスムージングによりノイズを除去し(図１０)、エッジを抽出すると図１１の画像が得られる。エッジの抽出により、地色の影響が無くなり、また白抜き文字にも対応でき、さらにデータを単純化して、ハフ変換を容易にする。
【００３８】
図１２に、エッジの抽出フィルタ８０を示す。被処理画像８１に対し、フィルタ８０を左上側から適用することにより、被処理画像８１の下側と右側のエッジ８２を抽出する。これによって被処理画像８１のエッジ全体を検出する場合に比べ、エッジの量を１／２にできる。以上のように、好ましくは、上下左右４種類のエッジの内で、下と右、下と左、上と右、上と左のように、２種類のエッジを抽出する。
【００３９】
エッジ抽出後の画像を二値化すると、図１３の画像が得られる。図１３の画像から孤立点を除去すると、図１４の画像が得られる。なお孤立点の除去は、図１１のエッジの画像に対して行っても良い。図１３，図１４のように、図形部分の線あるいは写真部分の線が残っていると、傾斜角の誤検出の原因となる。そこで縮退処理を行うと図１５の画像が得られ、写真や図形中の線は単なる点あるいは短い線分などに変換され、文字の列からなる行は基本的に保存される。
【００４０】
そこで縮退処理後の画像に対しハフ変換を行うことにより、文字の行から成る直線のみを検出できる。ただし罫線を伴う画像に対し、罫線の向きを傾斜の検出に用いたいことがある。この場合、縮退処理は不要である。
【００４１】
ハフ変換により投票テーブルにデータが蓄積され、投票テーブルから投票数が最大の点のみを単純に取り出すと、誤った検出が行われることがある。図１６はこのような例を示し、図１６では画像の一部のみを表示するので、「最大投票直線」がどこから抽出されたのか分かり難いが、画像中の写真部分等から抽出されたものである。このため投票数が上位の点を複数抽出する。ここで単純に上位ｍ位までの点を抽出すると、投票テーブル内での近傍の点が複数抽出されることが多い。そこで投票テーブル５４から最上位の点を抽出し、抽出した点の近傍をマスクして次の投票数の点を抽出することにより、抽出済みの点の近傍の点を抽出しないようにする。このようにして、上位ｍ位の点を抽出する。ここで抽出した上位ｍ位のうち、最下位の点が最上位の点の例えば１／２以上の投票数を持たない場合、検出をエラーとする。文字から成る行を抽出している場合、最大投票数の点と、上からｍ位の点とで、投票数に余り大きな差はないはずである。これにもかかわらず大きな差があるのは、最上位の点が図形中の直線部分などである可能性が高い。あるいはまた、上位ｍ位(例えば１６位)のうちから、最上位の点に対して所定の割合以上（例えば１／２以上）の投票数を持つ点を抽出し、抽出した点の数が所定値ｋ（例えば４）以下の場合は、エラーとして傾斜角を未検出としても良い。
【００４２】
図１８に投票テーブルの状況を模式的に示し、ここでは投票数を明度で表している。そして選択済みの点の近傍を、黒い四角形のマスクで覆っている。図１８では上位８点を抽出済みである。
【００４３】
抽出された上位ｍ位の点に対し、傾斜角を決定する。この手続を図１９，図２０に模式的に示し、ここではｍは例えば８とする。文字の行を検出している場合、文字ブロックの上下の列も同時に検出できるので、傾斜角θｄと、その直交角φｄとに意味がある。また候補を抽出する際の許容誤差をδ(０.５°あるいは１°程度)とし、角θｘ±δと φｘ±δの範囲内に入る点の数ｋが最大となるように、θｘを決定する。ここでどの角度に対してもｋの値が閾値(例えばｍ／２)未満の場合、例えばエラーとする。閾値以上の点を含む角θｘが得られた場合、含まれる点の角度の単純加算平均、あるいは加重平均などにより、候補角を決定する。これは図６のステップ１６の処理である。
【００４４】
以上のようにして傾斜角θｄを例えば±０.１°程度の精度で決定すると、画像回転部７０により画像を回転させて傾斜を補正する。画像の回転自身は単純な処理であり、例えばスキャンと同期して実行できる。
【００４５】
実施例では傾斜角の回転と補正とを複合機２の内部で行う例を示したが、パーソナルコンピュータ６などで行っても良い。その場合、実施例の画像処理プログラムをパーソナルコンピュータなどの情報処理装置で実行すると、情報処理装置はこの発明の画像処理装置となる。
本の見開きの傾斜を検出する場合、例えばスキャン前に原稿の種類が見開きであることを入力すると、左右別々の傾斜角を検出できる。あるいは入力画像を左右に分割して、傾斜角を求め、左右の傾斜角が異なると、見開きの画像であると推定しても良い。
【符号の説明】
【００４６】
２ 複合機
４ ＬＡＮ
６ パーソナルコンピュータ
８ ルータ
１０ インターネット
１２ ＬＡＮインターフェース
１４ バス
１６ 画像メモリ
１８ メモリ
２０ スキャナ
２２ プリンタ
２４ Ｇ３ファクシミリ部
２６ e-mail部
２８ ネットワークサーバ部
３０ ユーザインターフェース
３２ 画像処理部
４０ 前処理部
４１ 縮小処理部
４２ スムージング部
４３ エッジ抽出部
４４ 二値化部
４５ 孤立点除去部
４６ 縮退処理部
５０ ハフ変換部
５１ 実行ユニット
５２ ρ値計算部
５３ テーブル
５４ 投票テーブル
５５ 管理部
５６ データ
５７ マスク
６０ 傾斜角検出部
６１ 有効線抽出部
６２ 候補角抽出部
６３ 決定部
７０ 画像回転部
７１ 座標計算部
７２ アドレス生成部
７３ bicubic処理部
８０ フィルタ
８１ 被処理画像
８２ エッジ
【技術分野】
【０００１】
この発明は入力画像の傾斜角の検出に関する。
【背景技術】
【０００２】
スキャナで画像を読み取ると、画像が僅かに傾斜した状態で読み取られることがある。これを補正するため、原稿用紙の辺などを検出することが行われている。原稿用紙が方形であれは、辺の向きは主走査方向あるいは副走査方向に平行なはずで、これらの方向からのずれは原稿用紙の傾斜を表している。この手法で傾斜を検出できるのはスキャン時に限られるので、蓄積済みの画像や外部から転送された画像の傾斜は検出できない。また原稿用紙の傾斜を検出するので、切り抜きのように用紙が定型でないものは、傾斜を検出できない。さらにハードカバーの書籍を見開きでスキャンすると、カバーは傾斜していないものの、見開いたページが傾斜していることがある。この場合も、傾斜の検出は難しい。これらの問題を解決するには、原稿用紙の傾斜を検出するのではなく、画像自体の傾斜を検出する必要がある。
【０００３】
次に傾斜の検出は高速で行う必要があり、好ましくはスキャナでの画像の読み取りと同期して傾斜角を検出する必要がある。画像自体の性質を利用して、しかも高速で傾斜を検出するのは、簡単なことではない。ここで関連する先行技術を示すと、特許文献１：JPH10-283476Aは、画像中の直線をハフ変換により検出することを記載している。しかしながら特許文献１は、画像の傾斜自体をハフ変換により検出することを示していない。例えば画像中に写真や図形があり、これらに斜線が含まれていれば、ハフ変換により斜線が抽出され、斜線を元に画像の傾斜を検出することは難しい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】JPH10-283476A
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明の課題は、入力画像自体の性質を用いて、画像の傾斜角を検出すると共に、傾斜角の検出を高速で行えるようにすることにある。
この発明での副次的な課題は、入力画像の解像度によって、傾斜角の検出結果が異ならないようにすることにある。
この発明での副次的な課題は、入力画像の写真部分等に含まれる孤立点が、傾斜角の検出に影響しないようにすることにある。
【課題を解決するための手段】
【０００６】
この発明の画像処理装置は、
入力画像の傾斜角を検出する装置であって、
入力画像の解像度を１／ｎ(ｎは２以上の自然数)に低下させることにより、入力画像を縮小画像に縮小する縮小処理部と、
縮小画像をスムージングするスムージング部と、
スムージングした画像からエッジを抽出するエッジ抽出部と、
抽出したエッジを二値化する二値化部と、
二値化した画像をハフ変換することにより、入力画像中の複数の直線を抽出するハフ変換部と、
ハフ変換により抽出した複数の直線の傾斜から、入力画像の傾斜角を検出する傾斜角検出部、とを備えたことを特徴とする。
【０００７】
この発明の画像処理方法は、入力画像中の文字からなる行の傾斜角を検出する方法であって、
入力画像の解像度を１／ｎ(ｎは２以上の自然数)に低下させることにより、入力画像を縮小画像に縮小し、
縮小画像をスムージングし、
スムージングした画像からエッジを抽出し、
抽出したエッジを二値化し、
二値化した画像をハフ変換することにより、複数の直線を抽出し、
抽出した複数の直線の傾斜から、入力画像の傾斜角を検出することを特徴とする。
【０００８】
この発明の画像処理プログラムは、情報処理装置によって入力画像の傾斜角を検出するために、
前記情報処理装置を、
入力画像の解像度を１／ｎ(ｎは２以上の自然数)に低下させることにより、入力画像を縮小画像に縮小する縮小処理部と、
縮小画像をスムージングするためのスムージング部と、
スムージングした画像からエッジを抽出するためのエッジ抽出部と、
抽出したエッジを二値化するための二値化部と、
二値化した画像をハフ変換することにより、複数の直線を抽出するためのハフ変換部と、
ハフ変換により抽出した複数の直線の傾斜から、入力画像の傾斜角を検出するための傾斜角検出部、として機能させる。
この明細書において、画像処理装置に関する記載は画像処理方法や画像処理プログラムにもそのまま当てはまり、逆に画像処理方法に関する記載は画像処理装置や画像処理プログラムにもそのまま当てはまる。入力画像は例えばスキャナで読み取った直後の画像であるが、ファクシミリやファイル転送、e-mailなどで受信した画像、あるいはメモリに蓄積済みの画像でも良い。また直線と線分とは同じ意味である。
【０００９】
この発明では、入力画像中の文字の行に対応する直線、あるいは罫線及び表に含まれる直線をハフ変換により抽出し、これらの直線の向きから、入力画像自体の傾斜を検出する。このため原稿が切り抜きや見開きの場合でも、傾斜を検出できる。
１／ｎ縮小により画像のデータ量は１／ｎ２になり、スムージングによりハフ変換でのノイズを減らし、エッジを抽出することにより、地色の影響を除き、かつ白抜き文字にも対応できる。そしてこれらの処理では、文字の行がなす直線、罫線、及び下線などをエッジとして抽出できる。データ量が少ないので高速でハフ変換ができ、かつハフ変換により、文字の行あるいは罫線などから画像本来の向きを求めて、スキャン時あるいはメモリでの、主走査方向あるいは副走査方向に対する画像の傾斜を検出できる。
【００１０】
好ましくは、解像度が既知の入力画像に対して、入力画像の解像度に係わらず、前記縮小処理部は一定の解像度に縮小する。
これによって、入力画像の解像度の違いや、同じ解像度の入力画像に対する縮小率の違いが、傾斜角の検出値に影響しないようにできる。
【００１１】
好ましくは、ハフ変換により、少なくとも入力画像中の文字からなる行に対応する直線を抽出する。表や罫線などで、文字部分以外にも画像本来の向きを表す直線が含まれる場合は、これらの傾斜角を検出しても良い。
プリントされた文字の行を直線と見なすと、その方向は画像本来の向きを表す。そして１／ｎ縮小などでフォントを小さくしても、文字の行からなる直線は失われない。また手書きの場合も、文字の行はある程度互いに平行で、画像本来の向きを表している。そこで文字の行がなす直線の向きを検出すると、画像本来の向きとメモリなどでの主走査方向あるいは副走査方向との角を、傾斜角として検出できる。
【００１２】
好ましくは、スキャナを備え、かつ前記ハフ変換部を複数備えて、二値化した画像のハフ変換を複数のハフ変換部で並列に実行することにより、スキャナで読み込んだ画像をリアルタイムにハフ変換する。
このようにすると、画像のスキャンと同時に傾斜の補正ができ、コピー、送信、転送などの処理を送らせることがない。
【００１３】
好ましくは、前記抽出したエッジから、もしくは前記二値化した画像からハフ変換前に、孤立点を除く孤立点除去部を設ける。
孤立点は写真などに多く含まれ、ハフ変換で直線を抽出する際のノイズとなる。そこでハフ変換前に孤立点を除去することにより、偽の直線を抽出する可能性を減らすことができる。
【図面の簡単な説明】
【００１４】
【図１】実施例の複合機のブロック図
【図２】実施例での前処理部のブロック図
【図３】実施例での前処理アルゴリズムを示す図
【図４】実施例でのハフ変換部〜画像回転部のブロック図
【図５】実施例での投票テーブルを模式的に示す図
【図６】実施例での傾斜角の決定アルゴリズムを示す図
【図７】実施例での傾斜角の決定原理を示す図
【図８】入力画像を直接二値化した例を示す図
【図９】実施例での入力画像の縮小画像を示す図
【図１０】実施例で、縮小画像からノイズを除去した画像を示す図
【図１１】実施例で、ノイズの除去後の画像から抽出したエッジを示す図
【図１２】実施例で用いた、エッジ抽出フィルタを示す図
【図１３】実施例で、エッジの画像を二値化した画像を示す図
【図１４】実施例で、二値化画像から孤立点を除いた画像を示す図
【図１５】実施例で、孤立点を除いた後に、縮退処理を施した画像を示す図
【図１６】偽の最大投票線を示す図
【図１７】投票テーブルでの近傍点が有効線として複数選択される状況を示す図
【図１８】実施例で、抽出済みの有効線の近傍をマスクした際の、有効線の抽出状況を示す図で、明度は投票テーブルでの投票数を示す
【図１９】実施例での抽出した有効線を模式的に示す図
【図２０】実施例での傾斜角の決定手法を模式的に示す図
【発明を実施するための形態】
【００１５】
以下に本発明を実施するための最適実施例を示す。
【実施例】
【００１６】
図１〜図２０に、複合機２を例に実施例を示す。４はＬＡＮで、６はパーソナルコンピュータで、情報処理装置の例であり、８はルータで、インターネット１０と複合機２やパーソナルコンピュータ６を接続する。実施例での傾斜角の検出や補正は複合機２で行うが、パーソナルコンピュータ６などで行っても良く、例えば、複合機２のスキャナ２０で読み取った画像をパーソナルコンピュータ６へ転送して、パーソナルコンピュータ６で傾斜角を検出して補正しても良い。
【００１７】
複合機２の構造を説明する。１２はＬＡＮインターフェースで、１４はバス、１６は画像メモリで、ページメモリとして画像データを記憶する。メモリ１８は汎用のメモリで、プログラムや中間的なデータなどを記憶する。スキャナ２０は、原稿用紙から画像を、モノクロのグレイスケールあるいはフルカラーで読み取り、プリンタ２２は画像をプリントし、Ｇ３ファクシミリ部２４は画像のＧ３ファクシミリ送信と受信とを行う。e-mail部２６は、e-mailの添付ファイルとして画像の送受信を行い、ネットワークサーバ部２８は、文書管理サーバやリモートプリンタなどとして複合機２を動作させる。ユーザインターフェース３０はユーザのマニュアル入力などを受け付け、画像処理部３２は種々の画像処理を行う。
【００１８】
スキャンした画像あるいは受信画像もしくは蓄積済みの画像の傾斜角を検出するため、前処理部４０とハフ変換部５０並びに傾斜角検出部６０を設ける。そして検出した傾斜角と反対向きに同じ角度だけ、画像回転部７０で画像を回転させ、傾斜を補正する。
【００１９】
図２に前処理部４０の構成を示す。画像メモリ１６から画像データが縮小処理部４１へ入力され、画像の解像度を１／ｎ(ｎは２以上の自然数で、好ましくは４〜８，特に４〜６)に縮小する。これによって画像データの量は１／ｎ2に減少し、縮小は例えばｎ×ｎ画素のブロック毎に、画素の値の平均値を求めればよい。またより単純に、縮小処理部４１では、ｎ×ｎ画素のブロックの内の代表点、例えばブロックの左上の頂点の、１画素のデータをそのまま出力しても良い。このためハフ変換は、ｎ2倍高速になる。
【００２０】
同じ画像データで、データの内容と解像度は一定でも、縮小処理部４１での縮小率が異なると、傾斜角の検出結果が異なることがあった。これに対して同じ原稿を４００ｄｐｉ，６００ｄｐｉ，８００ｄｐｉなどの異なる解像度で読み取り、これを一定の解像度、例えば１００ｄｐｉへ縮小すると、傾斜角の検出結果は共通であった。そこでスキャン時の解像度によらず、縮小処理部４１で一定の解像度まで解像度を低下させると、解像度の違いによる傾斜角の検出値の差を解消できる。
【００２１】
複合機２でスキャンした画像以外でも、ファクシミリの受信データなどのように、スキャン時の解像度が既知の場合、同様に一定の解像度に画像を縮小する。スキャン時の解像度は、通信のプロトコルあるいは画像ファイルのヘッダなどから判明することが多い。このため、スキャン時の解像度が異なれば縮小率は異なり、縮小画像の解像度を一定にする。なおｊｐｅｇ画像のようにヘッダに解像度が記載されていない場合、１／４あるいは１／８などの一定の縮小率で、画像を縮小する。
【００２２】
スムージング部４２は、平滑化フィルタなどにより縮小画像からノイズを除去し、これによって画像中のランダムなデータをハフ変換によって直線として抽出しないようにする。次にエッジ抽出部４３は、スムージング済みの画像から、ラプラシアンフィルタあるいはソーベルフィルタなどのエッジ抽出用フィルタにより、エッジを抽出する。これによって地色の影響が解消し、また白抜きの文字などでも、文字の輪郭に対応するエッジを抽出できる。さらにエッジの抽出により画像のデータ量が小さくなり、ハフ変換が容易になる。
【００２３】
二値化部４４は抽出したエッジを二値化する。二値化の閾値は、一定でも良く、あるいは抽出したエッジでの明度もしくはカラー値の分布などから定めても良い。さらに全てのエッジを二値化する必要があるのではなく、例えば画像中の文字部分と、写真部分及び図形部分を判別できる場合、文字部分のみを二値化することが好ましい。
【００２４】
扱う画像データは実施例ではモノクロのグレイスケール画像とするが、ＲＧＢ画像などでもよい。この場合、ＲＧＢデータを、明度画像に変換して傾斜角を検出してもよく、またＲ，Ｇ，Ｂの各成分毎に傾斜角を検出し、その平均値などを用いてもよい。
【００２５】
孤立点除去部４５は二値化画像から孤立点を除去し、二値化前のエッジ画像に対して孤立点を除去しても良い。孤立点の除去によりデータ量が減り、かつ偽の傾斜角を検出する確率が減少する。なお孤立点は写真画像中に特に多く、画像本来の傾きとは無関係なデータである。
【００２６】
縮退処理部４６は、孤立点を除去した後の二値化画像に対し、縮退処理を行う。ここに縮退処理とは、上下，左右，斜めなどの方向に有効画素が連続して並んでいる場合に、有効画素をカットする処理のことである。なお有効画素とは二値化画像においてデータのある画素をいい、白であるか黒であるかは問題にしない。縮退処理により線分は例えば１点となる。円や方形、及び十字も１点となる。この結果、画像中の図形部分及び写真部分の斜線は、例えば１点に縮小される。これに対して、文字も縮退によって小さなデータになるが、文字の行がなす直線は失われない。縮退は罫線及び下線を１点に単純化するので、罫線及び下線を傾斜角検出に用いる場合には、縮退処理部４６は設けなくても良い。
【００２７】
図３は前処理部４０の制御アルゴリズムを示し、このアルゴリズムに従ってパーソナルコンピュータ６を動作させると、この発明を実施できる。ステップ１でスキャナ２０により画像を読み取り、ステップ２で一定の解像度へ画像を縮小し、これによってハフ変換の処理速度をｎ2倍に向上させる。ステップ３でスムージングによりノイズを減らし、ステップ４でエッジを抽出して地色の影響などを除き、また白抜き文字なども検出できるようにする。そしてステップ５で二値化し、ステップ６で孤立点を除く。これによって、写真画像中などの孤立点の、傾斜角の検出への影響を小さくできる。なお孤立点の除去は二値化の前に行っても良い。そして好ましくはステップ７で縮退処理によりデータを単純化し、特に写真部分や図形部分の直線を例えば１点まで単純化する。
【００２８】
ステップ２〜ステップ７の前処理は、画像のスキャンと同期して行い、またハフ変換部５０でのハフ変換、傾斜角検出部６０での傾斜角の検出、画像回転部７０での傾斜角の補正も、スキャンと同期して行えるようにする。ここに同期とは、これらの処理速度がスキャナ２０の読み込み速度以上であることを意味し、このようにすると画像のスキャンと同時にリアルタイムに画像の傾斜を補正できる。
【００２９】
図４はハフ変換部５０〜画像回転部７０の構造を示し、ハフ変換部５０は例えば１６個〜３２個の実行ユニット５１を備えて、ハフ変換を並列に実行する。実行ユニット５１はρ値計算部５２とsinやcosに対するテーブル５３とから成る。３２個のテーブル５３で、０°〜１８０°をカバーできるように、１個のテーブル５３が記憶する角度の範囲は例えば５.６２５°(１８０／３２)で、角度の刻みは例えば０.１７６°(１８０°／１０２４)などである。ρ値計算部５２はテーブル５３からsinθやcosθの値を読み出し、縮退処理部４６もしくは孤立点除去部４５から出力された有効画素の位置(ｘ，ｙ)に対し、ρ値を ρ＝ｘcosθ＋ｙsinθ として計算する。投票テーブル５４はθとρの２次元のテーブルで、管理部５５は複数の実行ユニット５１を管理する。
【００３０】
図５に、ρ値計算部５２と投票テーブル５４との関係を示す。テーブル５４の各点はρとθとの組み合わせを示し、これは線分を表している。仮にρとθとがそれぞれ１０２４レベルに分割されているものとし、ｘ，ｙの値が入力されると、θ毎にρの値を計算し、表の該当する位置のデータを１加算する。なおθは１８０°の範囲を例えば２５６〜４０９６レベル、好ましくは１０２４〜２０４８レベルに分解し、傾斜角を０.０５°〜０.３°、好ましくは０.１°〜０.２°程度の精度で検出できるようにする。またρの分解能は、θの分解能よりも低くても良い。実行ユニット５１は例えば３２ユニット有り、各ρ値計算部５２は３２レベル(１０２４／３２)分のθを担当する。その結果、例えば左から３つめのカラムに○で示すように、(ρ，θ)値が投票される。また５７はマスクで、テーブル５４から有効線(抽出する直線)として抽出済みの点の周囲をマスクし、マスク５７の外部から次の有効線が抽出されるようにする。
【００３１】
図４に戻り、有効線抽出部６１は投票テーブル５４から例えば上位ｍ位の点を抽出する。投票テーブル５４で投票数の多い点は、画像での有効線である可能性が高い。そして抽出済みの点の周囲にマスク５７を施し、マスク５７内からの他の点が抽出されないようにする。候補角抽出部６２は、抽出した有効線から傾斜角の候補(ｋ個で例えばｍ／２個以上)を抽出し、決定部６３はこれらの候補角に基づいて傾斜角θｄを決定する。決定した傾斜角θｄを座標計算部７１へ入力し、画像メモリ１６の記憶画像の各画素に対し、傾斜補正後の座標(アドレス)を計算する。アドレス生成部７２は、傾斜補正前の座標に基づいて、画像メモリ１６への読み出しアドレスを生成する。bicubic処理部７３は読み出したデータを補間し、傾斜補正後の座標に基づいて、補間後のデータを画像メモリ１６へ書き戻す。これらの処理によって、画像メモリ１６の画像は、傾斜を補正するように回転する。なお回転には単純なアフィン変換などを用いてもよい。
【００３２】
図６に傾斜角検出部６０のアルゴリズムを示し、投票テーブルから上位ｍ位、例えば１６位あるいは８位の(ρ，θ)からなる点を抽出する(ステップ１１)。そして抽出済みの点の近傍、例えば１辺が５〜４０レベルの正方形からなる近傍をマスクし(ステップ１２)、同じ近傍内から２点以上が抽出されないようにする。なお最大投票数の１／２以上の投票数のある(ρ，θ)のみを抽出する。従ってｍ位目の点の投票数が最大投票数の１／２未満の場合はエラーとし、傾斜角の検出を行わず、画像回転部７０は画像を回転させない(ステップ１３)。ステップ１２，１３はステップ１１を実行するための補助的な処理である。このようにして、他の点の近傍に入らず、かつ最大投票数の１／２以上の点をｍ個抽出する。１／２以上は例であり、例えば２／３以上あるいは０.４以上などとしても良い。ステップ１１〜１３が、有効線抽出部６１の処理に対応する。
【００３３】
次に傾斜角の候補を求めるための角度をθｘとし、その直交角をφｘとする。ここに φｘは正または０で、かつ φｘ＝θｘ＋π／２ もしくは φｘ＝θｘ−π／２ である。δを許容範囲とし、例えばδは１°あるいは０.５°などであり、θｘ±δ及びφｘ±δの範囲に入る点(ρ，θ)の個数が最大となるように、θｘを決定する。そしてθｘ±δ及びφｘ±δの範囲に入る点を出力する(ステップ１４)。言い換えると、ｍ個の点に対し、角度θ成分が±δの範囲で一致する点の数が最大となる角度をθｘとする。なお単純にθ成分が±δの範囲で一致する点の数を問題とする代わりに、θｘ±δ及びφｘ±δの範囲に入る点に対する、投票数の和が最大となるようにしても良い。そしてこれらの点の数ｋが閾値未満の場合、例えばｍ／２未満もしくはｍ／３未満の場合、ステップ１５でエラーとする。エラーの場合、傾斜角の検出を行わず、画像回転部７０は画像を回転させない。ステップ１４，１５が、候補角抽出部６２の処理に対応する。
【００３４】
ステップ１６は決定部６３の処理に対応し、ステップ１４で求めたｋ個の点(ρ，θ)に対し、例えばθの単純平均値を傾斜角θｄとして出力する。あるいはｋ個の点でのθの加重平均を用い、重みには投票数ｖiを用いても良い。これらに代えて、ｋ個のθの候補θ1〜θkの中で、投票数ｖiが最大のθを傾斜角θｄとしてもよい。ステップ１６ではθｄを出力し、θｄがπ／２を越える場合、θｄ−π／２、即ちφｄを出力する。
【００３５】
図７〜図２０に実施例の動作を示す。図７の上部は原稿画像を示し、画像中の文字の列を直線と見なして、その傾斜を検出する。従って実施例の目的は、図７の上部の画像を図７の下部の画像に変換し、これに対するハフ変換を行うことにある。
【００３６】
図８は入力画像(画像メモリ１６の画像)を、縮小もスムージングもエッジ抽出も行わずに、直接二値化した例を示し、円でマークしたように、文字以外の写真部分などの黒画素(この場合の有効画素)が多くなり、ハフ変換の負担が増すと共に、写真中の斜線などの影響が強くなり、検出精度が低下する。そこで入力画像をグレースケールで取り扱い、縮小、スムージング、エッジ抽出等の画像処理を施した後に、二値化する。ハフ変換を高速で行うため、入力画像を１／ｎに縮小し、これによって以降の計算時間を１／ｎ2に減少させる(図９)。
【００３７】
次にスムージングによりノイズを除去し(図１０)、エッジを抽出すると図１１の画像が得られる。エッジの抽出により、地色の影響が無くなり、また白抜き文字にも対応でき、さらにデータを単純化して、ハフ変換を容易にする。
【００３８】
図１２に、エッジの抽出フィルタ８０を示す。被処理画像８１に対し、フィルタ８０を左上側から適用することにより、被処理画像８１の下側と右側のエッジ８２を抽出する。これによって被処理画像８１のエッジ全体を検出する場合に比べ、エッジの量を１／２にできる。以上のように、好ましくは、上下左右４種類のエッジの内で、下と右、下と左、上と右、上と左のように、２種類のエッジを抽出する。
【００３９】
エッジ抽出後の画像を二値化すると、図１３の画像が得られる。図１３の画像から孤立点を除去すると、図１４の画像が得られる。なお孤立点の除去は、図１１のエッジの画像に対して行っても良い。図１３，図１４のように、図形部分の線あるいは写真部分の線が残っていると、傾斜角の誤検出の原因となる。そこで縮退処理を行うと図１５の画像が得られ、写真や図形中の線は単なる点あるいは短い線分などに変換され、文字の列からなる行は基本的に保存される。
【００４０】
そこで縮退処理後の画像に対しハフ変換を行うことにより、文字の行から成る直線のみを検出できる。ただし罫線を伴う画像に対し、罫線の向きを傾斜の検出に用いたいことがある。この場合、縮退処理は不要である。
【００４１】
ハフ変換により投票テーブルにデータが蓄積され、投票テーブルから投票数が最大の点のみを単純に取り出すと、誤った検出が行われることがある。図１６はこのような例を示し、図１６では画像の一部のみを表示するので、「最大投票直線」がどこから抽出されたのか分かり難いが、画像中の写真部分等から抽出されたものである。このため投票数が上位の点を複数抽出する。ここで単純に上位ｍ位までの点を抽出すると、投票テーブル内での近傍の点が複数抽出されることが多い。そこで投票テーブル５４から最上位の点を抽出し、抽出した点の近傍をマスクして次の投票数の点を抽出することにより、抽出済みの点の近傍の点を抽出しないようにする。このようにして、上位ｍ位の点を抽出する。ここで抽出した上位ｍ位のうち、最下位の点が最上位の点の例えば１／２以上の投票数を持たない場合、検出をエラーとする。文字から成る行を抽出している場合、最大投票数の点と、上からｍ位の点とで、投票数に余り大きな差はないはずである。これにもかかわらず大きな差があるのは、最上位の点が図形中の直線部分などである可能性が高い。あるいはまた、上位ｍ位(例えば１６位)のうちから、最上位の点に対して所定の割合以上（例えば１／２以上）の投票数を持つ点を抽出し、抽出した点の数が所定値ｋ（例えば４）以下の場合は、エラーとして傾斜角を未検出としても良い。
【００４２】
図１８に投票テーブルの状況を模式的に示し、ここでは投票数を明度で表している。そして選択済みの点の近傍を、黒い四角形のマスクで覆っている。図１８では上位８点を抽出済みである。
【００４３】
抽出された上位ｍ位の点に対し、傾斜角を決定する。この手続を図１９，図２０に模式的に示し、ここではｍは例えば８とする。文字の行を検出している場合、文字ブロックの上下の列も同時に検出できるので、傾斜角θｄと、その直交角φｄとに意味がある。また候補を抽出する際の許容誤差をδ(０.５°あるいは１°程度)とし、角θｘ±δと φｘ±δの範囲内に入る点の数ｋが最大となるように、θｘを決定する。ここでどの角度に対してもｋの値が閾値(例えばｍ／２)未満の場合、例えばエラーとする。閾値以上の点を含む角θｘが得られた場合、含まれる点の角度の単純加算平均、あるいは加重平均などにより、候補角を決定する。これは図６のステップ１６の処理である。
【００４４】
以上のようにして傾斜角θｄを例えば±０.１°程度の精度で決定すると、画像回転部７０により画像を回転させて傾斜を補正する。画像の回転自身は単純な処理であり、例えばスキャンと同期して実行できる。
【００４５】
実施例では傾斜角の回転と補正とを複合機２の内部で行う例を示したが、パーソナルコンピュータ６などで行っても良い。その場合、実施例の画像処理プログラムをパーソナルコンピュータなどの情報処理装置で実行すると、情報処理装置はこの発明の画像処理装置となる。
本の見開きの傾斜を検出する場合、例えばスキャン前に原稿の種類が見開きであることを入力すると、左右別々の傾斜角を検出できる。あるいは入力画像を左右に分割して、傾斜角を求め、左右の傾斜角が異なると、見開きの画像であると推定しても良い。
【符号の説明】
【００４６】
２ 複合機
４ ＬＡＮ
６ パーソナルコンピュータ
８ ルータ
１０ インターネット
１２ ＬＡＮインターフェース
１４ バス
１６ 画像メモリ
１８ メモリ
２０ スキャナ
２２ プリンタ
２４ Ｇ３ファクシミリ部
２６ e-mail部
２８ ネットワークサーバ部
３０ ユーザインターフェース
３２ 画像処理部
４０ 前処理部
４１ 縮小処理部
４２ スムージング部
４３ エッジ抽出部
４４ 二値化部
４５ 孤立点除去部
４６ 縮退処理部
５０ ハフ変換部
５１ 実行ユニット
５２ ρ値計算部
５３ テーブル
５４ 投票テーブル
５５ 管理部
５６ データ
５７ マスク
６０ 傾斜角検出部
６１ 有効線抽出部
６２ 候補角抽出部
６３ 決定部
７０ 画像回転部
７１ 座標計算部
７２ アドレス生成部
７３ bicubic処理部
８０ フィルタ
８１ 被処理画像
８２ エッジ
【特許請求の範囲】
【請求項１】
入力画像の傾斜角を検出する装置であって、
入力画像の解像度を１／ｎ(ｎは２以上の自然数)に低下させることにより、入力画像を縮小画像に縮小する縮小処理部と、
縮小画像をスムージングするスムージング部と、
スムージングした画像からエッジを抽出するエッジ抽出部と、
抽出したエッジを二値化する二値化部と、
二値化した画像をハフ変換することにより、入力画像中の複数の直線を抽出するハフ変換部と、
ハフ変換により抽出した複数の直線の傾斜から、入力画像の傾斜角を検出する傾斜角検出部、とを備えたことを特徴とする画像処理装置。
【請求項２】
解像度が既知の入力画像に対して、入力画像の解像度に係わらず、前記縮小処理部は一定の解像度に縮小することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
ハフ変換により、少なくとも入力画像中の文字からなる行に対応する直線を抽出することを特徴とする、請求項１または２に記載の画像処理装置。
【請求項４】
スキャナを備え、かつ前記ハフ変換部を複数備えて、二値化した画像のハフ変換を複数のハフ変換部で並列に実行することにより、スキャナで読み込んだ画像をリアルタイムにハフ変換するようにしたことを特徴とする、請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記抽出したエッジから、もしくは前記二値化した画像からハフ変換前に、孤立点を除く孤立点除去部を設けたことを特徴とする、請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
入力画像中の文字からなる行の傾斜角を検出する方法であって、
入力画像の解像度を１／ｎ(ｎは２以上の自然数)に低下させることにより、入力画像を縮小画像に縮小し、
縮小画像をスムージングし、
スムージングした画像からエッジを抽出し、
抽出したエッジを二値化し、
二値化した画像をハフ変換することにより、複数の直線を抽出し、
抽出した複数の直線の傾斜から、入力画像の傾斜角を検出することを特徴とする、画像処理方法。
【請求項７】
情報処理装置によって入力画像の傾斜角を検出するために、
前記情報処理装置を、
入力画像の解像度を１／ｎ(ｎは２以上の自然数)に低下させることにより、入力画像を縮小画像に縮小する縮小処理部と、
縮小画像をスムージングするためのスムージング部と、
スムージングした画像からエッジを抽出するためのエッジ抽出部と、
抽出したエッジを二値化するための二値化部と、
二値化した画像をハフ変換することにより、複数の直線を抽出するためのハフ変換部と、
ハフ変換により抽出した複数の直線の傾斜から、入力画像の傾斜角を検出するための傾斜角検出部、として機能させる画像処理プログラム。
【請求項１】
入力画像の傾斜角を検出する装置であって、
入力画像の解像度を１／ｎ(ｎは２以上の自然数)に低下させることにより、入力画像を縮小画像に縮小する縮小処理部と、
縮小画像をスムージングするスムージング部と、
スムージングした画像からエッジを抽出するエッジ抽出部と、
抽出したエッジを二値化する二値化部と、
二値化した画像をハフ変換することにより、入力画像中の複数の直線を抽出するハフ変換部と、
ハフ変換により抽出した複数の直線の傾斜から、入力画像の傾斜角を検出する傾斜角検出部、とを備えたことを特徴とする画像処理装置。
【請求項２】
解像度が既知の入力画像に対して、入力画像の解像度に係わらず、前記縮小処理部は一定の解像度に縮小することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
ハフ変換により、少なくとも入力画像中の文字からなる行に対応する直線を抽出することを特徴とする、請求項１または２に記載の画像処理装置。
【請求項４】
スキャナを備え、かつ前記ハフ変換部を複数備えて、二値化した画像のハフ変換を複数のハフ変換部で並列に実行することにより、スキャナで読み込んだ画像をリアルタイムにハフ変換するようにしたことを特徴とする、請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記抽出したエッジから、もしくは前記二値化した画像からハフ変換前に、孤立点を除く孤立点除去部を設けたことを特徴とする、請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
入力画像中の文字からなる行の傾斜角を検出する方法であって、
入力画像の解像度を１／ｎ(ｎは２以上の自然数)に低下させることにより、入力画像を縮小画像に縮小し、
縮小画像をスムージングし、
スムージングした画像からエッジを抽出し、
抽出したエッジを二値化し、
二値化した画像をハフ変換することにより、複数の直線を抽出し、
抽出した複数の直線の傾斜から、入力画像の傾斜角を検出することを特徴とする、画像処理方法。
【請求項７】
情報処理装置によって入力画像の傾斜角を検出するために、
前記情報処理装置を、
入力画像の解像度を１／ｎ(ｎは２以上の自然数)に低下させることにより、入力画像を縮小画像に縮小する縮小処理部と、
縮小画像をスムージングするためのスムージング部と、
スムージングした画像からエッジを抽出するためのエッジ抽出部と、
抽出したエッジを二値化するための二値化部と、
二値化した画像をハフ変換することにより、複数の直線を抽出するためのハフ変換部と、
ハフ変換により抽出した複数の直線の傾斜から、入力画像の傾斜角を検出するための傾斜角検出部、として機能させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１１】
【図１２】
【図１５】
【図１９】
【図２０】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１１】
【図１２】
【図１５】
【図１９】
【図２０】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１０−２４４３５１（Ｐ２０１０−２４４３５１Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９３２１９（Ｐ２００９−９３２１９）
【出願日】平成２１年４月７日（２００９．４．７）
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月７日（２００９．４．７）
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
[ Back to top ]