画像処理装置、画像形成装置、画像読取装置、画像処理方法、画像処理プログラムおよび記録媒体
【課題】原稿を読み取って得られた画像データを出力や保存に適した画像ファイルに変更するにあたり、レイアウト解析と文字認識処理とを利用して、原稿における文字の量に関する状況を検出し、該状況に応じたファイル形式を自動的選択することのできる画像処理装置を提供する。
【解決手段】原稿判定部１１３は、文字認識部１１１およびレイアウト解析部１１２の各結果より、入力画像データが示す原稿画像が文字を多く含んでいる文字中心画像であるか否かを判定する。ファイル形式決定部１１４は、原稿判定部１１３の判定結果に基づいて、文字中心画像である場合は文書画像に適したファイル形式を選択し、文字中心画像ではない場合は写真画像に適したファイル形式を選択し、フォーマット化処理部１１０に対し、指定信号を出力してファイル形式を指定する。
【解決手段】原稿判定部１１３は、文字認識部１１１およびレイアウト解析部１１２の各結果より、入力画像データが示す原稿画像が文字を多く含んでいる文字中心画像であるか否かを判定する。ファイル形式決定部１１４は、原稿判定部１１３の判定結果に基づいて、文字中心画像である場合は文書画像に適したファイル形式を選択し、文字中心画像ではない場合は写真画像に適したファイル形式を選択し、フォーマット化処理部１１０に対し、指定信号を出力してファイル形式を指定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スキャナ等で読み取った画像データを出力や保存に適したファイル形式に変換する画像処理装置、画像処理方法、およびこれを利用した、画像形成装置、画像読取装置に関する。
【背景技術】
【０００２】
書類等の紙媒体に記録されている画像をスキャナ等の画像入力装置で読み取って画像データを作成し、ＰＤＦ形式やＴＩＦＦ形式等の出力や保存に適したファイル形式に変換して、所定フォルダに保存したり、ネットワークを用いて送信したりすることが行われている。
【０００３】
また、画像入力装置で読み取った画像データを、複数のバンド（領域）に分けてバンド毎にＰＤＦファイル化することも行われている。例えば、特許文献１には、画像データを複数のバンド（領域）に分けてバンド毎にＰＤＦファイル化するにあたり、メモリの空き容量に応じて、バンド毎に適用する画像圧縮形式を自動に切り換える技術が開示されている。
【０００４】
具体的には、領域（文字、背景等）の判別を行う場合に用いるメモリの空き容量が規定値以上か否かを判断し、メモリの空き容量が規定値以上の場合、バンドについてその文字領域をＭＭＲ圧縮し、その背景領域をＪＰＥＧ圧縮とする。また、メモリの空き容量が規定値より少ない場合は、バンドにおける全領域をＪＰＥＧ圧縮する。また、１ページ内の文字数が極端に多い原稿など、蓄積処理の途中でメモリの空き容量が規定値よりも少なくなる蓋然性が高いと考えられる原稿（特殊原稿）の場合は、全バンドについてＪＰＥＧ圧縮を施す。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−６４１１号公報（平成１９年１月１１日公開）
【特許文献２】特開平７−１９２０８６号公報（平成７年７月２８日公開）
【特許文献３】特開平６−１８９０８３号公報（平成６年７月８日公開）
【特許文献４】特開２００２−９４８０５号公報（平成１４年３月２９日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のように、メモリの空き容量に応じて適応する画像圧縮形式を切り換えた場合、原稿の種類（入力画像の状況）に適さない画像圧縮形式にて画像が圧縮されてしまうことがあり、保存した画像データを後々有効に利用できないといった問題がある。
【０００７】
具体的に言うと、その最たる例が、上記した文字数が極端に多い原稿に対する処理である。文字数が極端に多い原稿の画像の処理としては本来、文字領域をＭＭＲ圧縮、背景領域をＪＰＥＧ圧縮する方式の方が望ましい。しかしながら、上述したように、引用文献１では、このような原稿は、全バンドがＪＰＥＧ圧縮されるといった、望ましくない処理が行われる。このような場合、最悪の場合、記憶装置から読み出して再現した画像からは文字の判別が困難になるといったことが起こる。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、原稿を読み取って得られた画像データを出力や保存に適した形式の画像ファイルに変更するにあたり、レイアウト解析と文字認識処理とを利用して原稿における文字の量に関する状況を検出して該状況に応じたファイル形式を自動的に選択して変換することのできる画像処理装置、画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、上記の課題を解決するために、原稿画像を画像入力装置にて読み取ることで得られた入力画像データを指定されたファイル形式に変更するフォーマット化処理手段を備えた画像処理装置であって、上記入力画像データに対して文字認識処理を行う文字認識手段と、上記入力画像データに対して、ページ毎の画像のレイアウトを解析するレイアウト解析手段と、上記レイアウト解析手段の解析結果および上記文字認識手段の認識結果より、上記入力画像データが示す原稿画像が文字を多く含んでいる文字中心画像であるか否かを判定する原稿判定手段と、上記原稿判定手段の判定結果に基づいてファイル形式を決定し、上記フォーマット化処理手段に対して決定したファイル形式を指定するファイル形式決定手段とを有し、上記ファイル形式決定手段は、文字中心画像であると判定された場合に、文書画像に適したファイル形式を選択し、文字中心画像ではないと判定された場合に、写真画像に適したファイル形式を選択することを特徴としている。
【００１０】
また、本発明の画像処理方法は、上記課題を解決するために、原稿画像を画像入力装置にて読み取ることで得られた入力画像データを指定されたファイル形式に変更するフォーマット化処理工程を含む画像処理方法であって、上記入力画像データに対して文字認識処理を行う文字認識工程と、上記入力画像データに対して、ページ毎の画像のレイアウトを解析するレイアウト解析工程と、上記レイアウト解析工程の解析結果および上記文字認識工程の認識結果より、上記入力画像データが示す原稿画像が文字を多く含んでいる文字中心画像であるか否かを判定する原稿判定工程と、上記原稿判定工程の判定結果に基づいてファイル形式を決定し、上記フォーマット化処理工程に対して決定したファイル形式を指定するファイル形式決定工程とを有し、上記ファイル形式決定工程においては、上記原稿判定工程にて文字中心画像であると判定された場合に、文書画像に適したファイル形式を選択し、上記原稿判定工程にて文字中心画像ではないと判定された場合に、写真画像に適したファイル形式を選択することを特徴としている。
【００１１】
上記画像処理装置および画像処理方法によれば、文字認識手段による文字認識結果とレイアウト解析手段によるレイアウト解析結果を基に、原稿画像が文字を多く含んでいる文字中心画像かどうかを判断し、文字中心画像である場合とない場合とで、変更するファイル形式を切り換え、それぞれに応じたファイル形式を自動選択する。
【００１２】
つまり、入力された原稿画像の文字の量に関する状況に応じて、ファイル形式が自動的に原稿画像に適したものへと切り換えられる。
【００１３】
したがって、利用者は、自身で原稿画像の文字の量に関する状況を確認し、手動にて状況に適したファイル形式へと切り換える作業を伴うことなく、適切なファイル形式に変更させることが可能となる。
【００１４】
上記文書画像に適したファイル形式としては、例えば、原稿画像における文字部分を２値画像として格納し、原稿画像におけるその他の部分を多階調画像として格納する高圧縮ＰＤＦ形式とすることができる。また、上記写真画像に適した出力ファイル形式としては、原稿画像全体を多階調画像として格納する通常ＰＤＦ形式とすることができる。
【００１５】
本発明の画像処理装置は、さらに、上記原稿判定手段は、上記レイアウト解析手段および上記文字認識手段の各結果より原稿画像における文字領域の占める割合を算出する文字領域割合算出手段と、上記文字認識手段において認識された文字のページ毎の総数を数える文字計数手段と、上記文字計数手段にて計数された文字数および上記文字領域割合算出手段にて算出された文字領域の割合に基づいて、少なくとも文字数が多いあるいは文字領域の割合が高い場合に文字中心画像と判定し、文字数が少なくかつ文字領域の割合も低い場合に文字中心画像ではないと判定する第１判定処理手段とを含む構成とすることもできる。なお、上記文字領域とは、文字の外接矩形のことである。
【００１６】
上記構成によれば、少なくとも文字数が多いあるいは文字領域の割合が高い場合に文字中心画像と判定され、文字数が少なくかつ文字領域の割合も低い場合に文字中心画像ではないと判定される。
【００１７】
つまり、原稿画像の文字の量に関する状況を、文字数あるいは文字領域の割合より検出する。文字数や文字領域の割合からは、高い精度で原稿画像における文字の量を検出可能である。したがって、これにより、入力された原稿画像の文字の量に関する状況に応じたファイル形式の自動切り換えをより高精度に実現できる。
【００１８】
本発明の画像処理装置は、さらに、上記原稿判定手段は、上記レイアウト解析手段の解析結果および上記文字認識手段の認識結果よりタイトル領域の有無を判定するタイトル領域判定手段と、タイトル領域が有る場合に文字中心画像と判定し、タイトル領域が無い場合に文字中心画像ではないと判定する第２判定処理手段とを含む構成とすることもできる。
【００１９】
上記構成によれば、タイトル領域が有る場合に文字中心画像と判定され、タイトル領域が無い場合には文字中心画像ではないと判定される。
【００２０】
つまり、原稿画像の文字の量に関する状況を、タイトル領域があるかどうかで検出する。タイトル領域を有するということは、原稿画像は、文字を多く含む文書よりなる原稿である蓋然性が高い。そのため、タイトル領域の有無の情報より、高い精度で原稿画像における文字の量を検出可能である。したがって、これによっても、入力された原稿画像の文字の量に関する状況に応じたファイル形式の自動切り換えをより高精度に実現できる。
【００２１】
この場合、上記タイトル領域判定手段は、上記レイアウト解析手段の解析結果より、一般的にタイトルが位置すると予想される位置に、原稿画像の他の領域よりも文字の外接矩形のサイズが大きく、かつ該外接矩形が連続してなる帯状ブロックが規定以上の長さを有する場合に、タイトル領域と仮判定する仮判定手段と、上記仮判定手段にてタイトル領域と仮判定された部分に対する文字認識結果が規定以上の認識率である場合に、タイトル領域と本判定する本判定手段とを含む構成とすることもできる。
【００２２】
文書原稿におけるタイトルの位置は、原稿上部や原稿右端等、決まった位置に付されることが多い。また、文字サイズが、他の部分の文字サイズよりも大きいといった特徴もある。
【００２３】
上記構成によれば、これらの特徴を利用して、まずはレイアウト的にタイトル領域の有無を判定し、レイアウト的にタイトル領域であると判定（仮判定）できるものがあれば、その部分が文字より構成されているかどうかを判断し、文字で構成されている場合は、タイトル領域であると判定（本判定）する。これにより、精度よく、タイトル領域の有無を判断することができる。
【００２４】
本発明の画像処理装置においては、さらに、上記ファイル形式決定手段には、上記入力画像データの利用用途を示す選択信号が入力されるようになっており、上記ファイル形式決定手段は、上記選択信号より利用用途が画像ファイリングであることを判別すると、上記フォーマット化処理手段に対してデフォルト設定されているファイル形式に変更するよう指定する構成とすることが好ましい。
【００２５】
文書画像向きの出力ファイル形式は、文字部分が優先され、文字以外の部分の詳細情報が残りにくい形式であるため、ファイリング用途の一部である帳簿書類等の電子化には不向きである。
【００２６】
そこで、利用用途を示す選択信号をファイル形式決定手段に入力させる構成とし、電子ファイリング用途の場合に出力ファイル形式の自動切り替えを自動で行わない構成とすることで、帳簿書類等を間違って文書画像向きの出力ファイル形式で保存することを防止できる。
【００２７】
本発明は、上記した本発明の画像処理装置を搭載した画像形成装置及び画像読取装置も発明の範疇としている。
【００２８】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
【発明の効果】
【００２９】
以上のように、本発明の画像処理装置は、原稿画像を画像入力装置にて読み取ることで得られた入力画像データを指定されたファイル形式に変更するフォーマット化処理手段を備えた画像処理装置であって、上記入力画像データに対して文字認識処理を行う文字認識手段と、上記入力画像データに対して、ページ毎の画像のレイアウトを解析するレイアウト解析手段と、上記レイアウト解析手段の解析結果および上記文字認識手段の認識結果より、上記入力画像データが示す原稿画像が文字を多く含んでいる文字中心画像であるか否かを判定する原稿判定手段と、上記原稿判定手段の判定結果に基づいてファイル形式を決定し、上記フォーマット化処理手段に対して決定したファイル形式を指定するファイル形式決定手段とを有し、上記ファイル形式決定手段は、文字中心画像であると判定された場合に、文書画像に適したファイル形式を選択し、文字中心画像ではないと判定された場合に、写真画像に適したファイル形式を選択する構成である。
【００３０】
また、本発明の画像処理方法は、原稿画像を画像入力装置にて読み取ることで得られた入力画像データを指定されたファイル形式に変更するフォーマット化処理工程を含む画像処理方法であって、上記入力画像データに対して文字認識処理を行う文字認識工程と、上記入力画像データに対して、ページ毎の画像のレイアウトを解析するレイアウト解析工程と、上記レイアウト解析工程の解析結果および上記文字認識工程の認識結果より、上記入力画像データが示す原稿画像が文字を多く含んでいる文字中心画像であるか否かを判定する原稿判定工程と、上記原稿判定工程の判定結果に基づいてファイル形式を決定し、上記フォーマット化処理工程に対して決定したファイル形式を指定するファイル形式決定工程とを有し、上記ファイル形式決定工程においては、上記原稿判定工程にて文字中心画像であると判定された場合に、文書画像に適したファイル形式を選択し、上記原稿判定工程にて文字中心画像ではないと判定された場合に、写真画像に適したファイル形式を選択するものである。
【００３１】
これによれば、入力された原稿画像の文字の量に関する状況に応じて、ファイル形式が自動的に適したものへと切り換えられる。したがって、利用者は、自身で原稿画像の文字の量に関する状況を確認し、手動にて状況に適したファイル形式へと切り換える作業を伴うことなく、適切なファイル形式に変更させることが可能となる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態にかかる画像処理装置の要部の構成を示すブロック図である。
【図２】上記画像処理装置における信号前処理部の構成を示すブロックである。
【図３】上記画像処理装置におけるレイアウト解析部のレイアウト解析処理を示す説明図である。
【図４】上記画像処理装置におけるレイアウト解析部のレイアウト解析結果の一例を示す説明図である。
【図５】上記画像処理装置における原稿判定部の第１の具体例であるの第１原稿判定部の構成を示すブロック図である。
【図６】上記画像処理装置における、信号前処理部、文字認識部、レイアウト解析部、および第１原稿判定部で実施される、入力画像データより文字中心原稿であるか否かを判定するまでの大まかな処理の流れを示すフローチャートである。
【図７】上記画像処理装置における原稿判定部の第２の具体例であるの第２原稿判定部の構成を示すブロック図である。
【図８】（ａ）〜（ｄ）共に、上記第２原稿判定部が、レイアウト解析結果よりタイトル領域があると仮判定する処理を示す説明図である。
【図９】上記画像処理装置における、信号前処理部、文字認識部、レイアウト解析部、および第２原稿判定部で実施される、入力画像データより文字中心原稿であるか否かを判定するまでの大まかな処理の流れを示すフローチャートである。
【図１０】上記画像処理装置におけるファイル形式決定部の、ファイル形式を決定して指定信号を出力する処理の手順を示すフローチャートである。
【図１１】上記画像処理装置におけるフォーマット化処理部の構成を示すブロック図である。
【図１２】上記画像処理装置を搭載したデジタルカラー複合機のブロック図を示すもので、画像入力装置より原稿画像を読み取って画像データを生成し、該画像データに基づく画像を画像出力装置にて生成して出力する、いわゆるコピーモードにおけるデータの流れを示している。
【図１３】上記画像処理装置を搭載したデジタルカラー複合機のブロック図を示すもので、画像入力装置より原稿画像を読み取って画像データを生成し、該画像データのファイル形式を変更して送受信装置より出力する、送信モードにおけるデータの流れを示している。
【図１４】（ａ）（ｂ）共に、上記画像処理装置において中間調補正処理に用いるガンマ曲線の一例を示すグラフである。
【図１５】上記画像処理装置を搭載したデジタルカラー複合機の変形例を示すブロック図である。
【図１６】上記画像処理装置を搭載したデジタルカラー複合機の変形例を示すブロック図である。
【図１７】上記画像処理装置を搭載したデジタルカラースキャナのブロック図を示すものである。
【発明を実施するための形態】
【００３３】
以下、本発明の実施の一形態について、図１〜図１７を用いて説明する。
【００３４】
まずは、図１を用いて、本実施形態の画像処理装置１００の要部について説明する。図１は、本画像処理装置１００の要部構成を示すブロック図である。
【００３５】
図１に示すように、本画像処理装置１００は、フォーマット化処理部（フォーマット化処理手段）１１０、信号前処理部１１５、文字認識部（文字認識手段）１１１、レイアウト解析部（レイアウト解析手段）１１２、原稿判定部（原稿判定手段）１１３、およびファイル形式決定部（ファイル形式決定手段）１１４を備えている。
【００３６】
フォーマット化処理部１１０は、原稿画像をスキャナ等の画像読取装置にて読み取ることで得られた入力画像データを、指定されたファイル形式に変更するものである。変更された画像データは、出力画像データとして、図示しない送受信装置を介してネットワーク送信されたり、画像処理装置外部の記憶装置の所定アドレスに保存されたりする。
【００３７】
上記入力画像データは、モノクロ対応の画像読取装置にて読み取られた場合は２値の画像データであり、カラー対応の画像読取装置にて読み取られた場合は、ＲＧＢ信号のカラー画像データである。本実施形態では、入力画像データが、ＲＧＢ信号のカラー画像データである場合を例示する。
【００３８】
フォーマット化処理部１１０におけるファイル形式の指定は、後述するファイル形式決定部１１４からの指定信号に行われる。フォーマット化処理部１１０は、入力画像データを、ファイル形式決定部１１４より入力される指定信号が示すファイル形式へと変更する。フォーマット化処理部１１０の詳細については、図１１を用いて後述する。
【００３９】
信号前処理部１１５は、フォーマット化処理部１１０に入力されるＲＧＢ信号の入力画像データを、後段の文字認識部１１１およびレイアウト解析部１１２に適した状態になるように、信号変換処理や、２値化処理、解像度変換処理、原稿の傾き補正処理等を行うものである。信号前処理部１１５の出力は、文字認識部１１１とレイアウト解析部１１２とに出力される。信号前処理部１１５の詳細については、図２を用いて後述する。
【００４０】
文字認識部１１１は、ＯＣＲ技術を用いて入力画像データに対して文字認識処理を行うものである。文字認識処理の方法は特に限定されるものではなく、従来から公知の種々の方法を用いることができる。文字認識結果は、原稿判定部１１３と、フォーマット化処理部１１０へと出力される。また、本実施形態では、文字認識部１１１は、原稿画像の天地を判定する原稿天地判定にも利用されるようになっている。文字認識部１１１の詳細についても後述する。
【００４１】
レイアウト解析部１１２は、入力画像データに対して、ページ毎の画像のレイアウトを解析するものである。レイアウト解析結果は、原稿判定部１１３および文字認識部１１１へと出力される。レイアウト解析方法については、図３、図４を用いて後述する。
【００４２】
原稿判定部１１３は、レイアウト解析部１１２の解析結果および文字認識部１１１の認識結果より、入力画像データが示す原稿画像が文字画像を多く含んでいる文字中心画像であるか否かを判定するものである。判定結果は、ファイル形式決定部１１４へと出力される。文字中心画像であるかどうかの判定手法としては、例えば後記する２つの手法がある。原稿判定部１１３の詳細については、図５〜図９を用いて後述する。
【００４３】
ファイル形式決定部１１４は、原稿判定部１１３の判定結果に基づいてファイル形式を決定するものである。ファイル形式決定部１１４は、決定したファイル形式を示す指定信号をフォーマット化処理部１１０に対して出力する。ファイル形式決定部１１４は、文字中心画像であると判定された場合は、文書画像に適したファイル形式を選択し、文字中心画像ではないと判定された場合には、写真画像に適したファイル形式を選択する。また、本実施形態においては、ファイル形式決定部１１４に、入力画像データの用途を示す選択信号が入力されるようになっており、該選択信号の示す用途によっては、フォーマット化処理部１１０に対して、デフォルトのファイル形式を選択するよう指定する。ファイル形式決定部１１４の詳細については、図１０を用いて後述する。
【００４４】
また、図１に示す、文字認識部１１１、レイアウト解析部１１２、原稿判定部１１３、およびファイル形式決定部１１４にて、後述する図１２、図１３、図１５〜図１７に示す認識処理部１０９が構成されている。
【００４５】
以下、画像処理装置１００の各部について、詳細に説明する。まずは、図２を用いて、信号前処理部１１５の構成を説明する。図２は、信号前処理部１１５の構成を示すブロックである。
【００４６】
図２に示すように、信号前処理部１１５は、信号変換部１２１、２値化処理部１２２、解像度変換部１２３、原稿傾き検知部１２４、傾き補正部１２５を備えている。入力画像データは、信号変換部１２１に入力される。
【００４７】
信号変換部１２１は、ＲＧＢ信号の入力画像データを無彩化して輝度信号に変換するものである。例えば、信号変換部１２１は、Ｙｉ＝０．３０Ｒｉ＋０．５９Ｇｉ＋０．１１Ｂｉを演算することによりＲＧＢ信号を輝度信号Ｙに変換する。ここで、Ｙは各画素の輝度信号であり、Ｒ，Ｇ，Ｂは各画素のＲＧＢ信号における各色成分である。添え字のｉは画素毎に付与された値（ｉは１以上の整数）である。
【００４８】
また、信号変換部１２１は、ＲＧＢ信号の入力画像データを無彩化してＣＩＥ１９７６Ｌ*ａ*ｂ*信号（ＣＩＥ:Commission International de l'Eclairage、Ｌ*：明度、a*,ｂ*:色度）に変換する構成としてもよい。
【００４９】
２値化処理部１２２は、信号変換部１２１より入力された無彩化された画像データ（本実施例では輝度信号であるので輝度値）と、予め設定された閾値とを比較することにより画像データを２値化するものである。例えば、画像データが８ビットである場合、上記閾値を１２８とする。あるいは、複数の画素（例えば５画素×５画素）からなるブロックにおける濃度（画素値）の平均値を閾値としてもよい。
【００５０】
解像度変換部１２３は、２値化処理部１２２にて２値化された画像データの解像度を低解像度に変換するものである。例えば、１２００ｄｐｉや６００ｄｐｉで読み込まれた画像データを３００ｄｐｉに変換する。解像度変換の方法は特に限定されるものではなく、例えば、公知のニアレストネイバー法、バイリニア法、バイキュービック法などを用いることができる。
【００５１】
本実施形態では、解像度変換部１２３は、画像データを３００ｄｐｉと７５ｄｐｉとに低解像度化する。そして、原稿傾き検知部１２４には、３００ｄｐｉの画像データを出力し、レイアウト解析部には、７５ｄｐｉ（凡そのレイアウトが分かる程度の解像度）の画像データを出力する。
【００５２】
原稿傾き検知部１２４は、解像度変換部１２３によって低解像度に変換された画像データ（３００ｄｐｉ）に基づいて、画像読取時のスキャン範囲（正規の原稿位置）に対する原稿の傾き角度を検知するものである。画像読取装置におけるスキャン範囲（正規の原稿位置）に対して、読み取られる原稿の載置位置が傾いていた場合に、この傾き角度が検知される。傾き角度の検知方法は特に限定されるものではなく、従来から公知の種々の方法を用いることができる。検知した傾き角度の情報は、後段の傾き補正部１２５へと出力される。
【００５３】
ここでは、特許文献２に記載されている方法を用いた場合を説明する。この方法では、２値化された画像データからを黒画素と白画素との境界点（例えば各文字の上端における白／黒の境界点の座標）を複数個抽出し、各境界点の点列の座標データを求める。そして、この点列の座標データに基づいて回帰直線を求め、その回帰係数ｂを下記式（１）に基づいて算出する。
【００５４】
ｂ＝Ｓｘｙ／Ｓｘ ・・・（１）
なお、Ｓｘ，Ｓｙはそれぞれ変量ｘ，ｙの残差平方和であり、Ｓｘｙはｘの残差とｙの残差の積の和である。すなわち、Ｓｘ，Ｓｙ，Ｓｘｙは下記式（２）〜（４）で表わされる。
【００５５】
【数１】
【００５６】
そして、上記のように算出した回帰係数ｂより、下記式（５）に基づいて傾き角度θを算出する。
【００５７】
ｔａｎθ＝ｂ ・・・（５）
傾き補正部１２５は、原稿傾き検知部１２４で検知された傾き角度θに基づいて、原稿の座標を補正して、原稿の傾きを補正するものである。
【００５８】
原点を中心に、反時計まわりに角度θだけ、傾き補正した場合の補正前後の座標の関係は、補正前座標（Ｘ，Ｙ）、補正後座標（Ｘ’，Ｙ’）とすると、以下の式で表される。下記式を用いて原稿の傾き補正を行う。
【００５９】
【数２】
【００６０】
また、原点を中心に、反時計まわりに角度９０°、１８０°、２７０°回転する場合の回転前後の座標の関係は、回転前座標（Ｘ，Ｙ）、回転後座標（Ｘ’，Ｙ’）とすると、以下の式で表される。下記式を用いて原稿の傾き補正を行う。
【００６１】
（９０°回転時）
Ｘ’＝ オリジナル画像Ｙ方向サイズ − １ − Ｙ
Ｙ’＝ Ｘ
（１８０°回転時）
Ｘ’＝ オリジナル画像Ｘ方向サイズ − １ − Ｘ
Ｙ’＝ オリジナル画像Ｙ方向サイズ − １ − Ｙ
（２７０°回転時）
Ｘ’＝ Ｙ
Ｙ’＝ オリジナル画像Ｘ方向サイズ − １ − Ｘ 補正前座標（Ｘ，Ｙ）。
【００６２】
傾き補正部１２５による座標の補正にて、文字認識部１１１に入力される画像データ（３００ｄｐｉ）もレイアウト解析部１１２に入力される画像データ（７５ｄｐｉ）も原稿の傾きを含まないものとなる。
【００６３】
傾き補正部１２５にて傾きが補正された３００ｄｐｉの画像データは文字認識部１１１へと出力され、傾きが補正された７５ｄｐｉの画像データはレイアウト解析部１１２へと出力される。
【００６４】
なお、図１では記載していないが、原稿傾き検知部１２４、傾き補正部１２５の機能を用いて、フォーマット化処理部１１０の前段に設けられた原稿補正部にて、フォーマット化処理部１１０へと入力される画像データ（ＲＧＢ信号のカラー画像データ）に対しても、原稿の傾きが補正される。後述する図１２、図１３、図１５〜図１７に示す原稿補正部１５がこれに相当する。
【００６５】
次に、図３、図４を用いて、レイアウト解析部１１２におけるレイアウト解析の手順（一例）について説明する。
（１）まず、原稿の傾きが補正された画像データ（７５ｄｐｉ）に対し、最初のラインを注目ラインとし、黒画素にラベリングを行う。
（２）次に、注目ラインを一つ下のラインにずらし、黒画素について上記ラインとは異なるラベルをセットする。
（３）注目ラインと一つ上のラインの黒画素の連結状態を判定し、連結して入る場合は、画素が繋がっていると判断し、同じラベル（上のラインのラベル）に置き換える。
（４）上記処理を繰り返して文字を抽出する。抽出された文字より、図３に示すように、上端、下端、左端および右端の画素位置を基に外接矩形（１文字の文字領域に相当）を抽出する。このとき、画素の座標は、入力画像データの左端の位置を原点として求める。
（５）抽出された外接矩形のうち、垂直方向の長さのうち小さいものを除いて平均値を求める。この処理を行単位（外接矩形が求められる単位毎）に行う。また、外接矩形の下側の座標の平均値を算出する。
（６）外接矩形の下側の座標の平均値から、上記垂直方向の長さの平均値を基準とした所定範囲内に新たな黒画素が存在するか否か判定する。ここで、黒画素が存在する場合は、次の行の外接矩形を求め、上記（５）と同様にして矩形の垂直方向の長さの平均値を求める。上記垂直方向の長さの平均値を基準とした所定範囲としては、例えば、垂直方向の長さの平均値の１．５倍の範囲とする。そして、所定範囲内であれば、同じブロックであると判定する。一方、所定範囲外である場合は、別のブロックであると判定する。
【００６６】
図４に、学術論文の原稿（１ページ目）をレイアウト解析した結果を示す。５つのブロックＡ〜Ｅが抽出されている。
【００６７】
このうち、ブロックＡがタイトルの部分である。通常、タイトルは、原稿の上部あるいは右端に存在する。また、タイトルの特徴として、文字サイズが、本文を構成する部分に比べて大きい。つまり、外接矩形のサイズが、本文とみなされる領域の外接矩形よりも大きく、例えば、本文と見なされる領域の外接矩形の１．５倍以上ある。
【００６８】
また、ブロックＢが著者名が記載され部分であり、ブロックＣがアブストラクトの記載部分、ブロックＤ、Ｅが本文の記載部分である。なお、アブストラクトを本文と区別する必要はない。また、表やグラフを抽出することも可能である。
【００６９】
文字認識部１１１は、原稿の傾きが補正された画像データ（３００ｐｉ）を用いて、画像データの特徴量を抽出し、辞書データと比較して文字認識を行う。
【００７０】
本実施形態では、上述したように、文字認識部１１１は、原稿画像の天地を判定する原稿天地判定にも利用されるようになっている。原稿天地判定の場合は、一部のサンプリングされた文字に対して文字認識を行い、文字の向きを検出して原稿の天地を判定する。そして、画像データに含まれる全ての文字の文字認識については、原稿の天地が判定された状態で行う。
【００７１】
ここで、原稿天地判定について説明する。本実施形態の画像処理装置１００では、レイアウト解析部１１２を備えており、レイアウト解析により、原稿画像は、図４に示すような複数のブロックに分割される。そこで、画像処理装置１００は、まずはブロック毎の天地判定を行い、各ブロックの天地の判定結果を用いて最終的に原稿の天地を判定するようになっている。
【００７２】
原稿の天地判定には、例えば特許文献３の記載された方法を用いることができ、手順について説明する。
（Ａ）ＯＣＲ技術を用い文字認識を行い、原稿内の一文字、一文字を切り出し、その文字をパターン化する。なお、ここでは、あくまで原稿の天地が判定できればいいので、全ての文字に対して行うのではなく、サンプリングした一部の文字についてのみパターン化する。
（Ｂ）文字パターンの特徴とデータベース化された文字パターン情報を比較する。マッチングの方法としては、データベース化された文字パターンに切り出された文字パターンを重ね合わせ、画素ごとの白黒を比較し、全てが合致したときのデータベース化された文字パターンを入力パターンの文字であると判別する。全てが合致する文字パターンがない場合、マッチングする画素が最も多い文字パターンの文字であると判別する。なお、所定のマッチング割合に達しなければ判別不能と判断する。
（Ｃ）切り出された文字パターンを９０°、１８０°、２７０°回転させ、上記２）の処理を繰りかえす。
（Ｄ）上記（Ｂ）（Ｄ）で得られた文字パターンの回転角毎の判別可能な文字数の比較を行い、判別可能な文字数が最も多い回転角を文字の方向を、当該ブロックの天地方向とする。
（Ｅ）各ブロックの天地判定に基づいて、最も多くのブロックが天地方向とした方向を、原稿の天地方向と判定する。なお、全てのブロックの天地方向が揃わなかった場合に、表示部に画像表示を行い、ユーザに天地の確認を促すように構成してもよい。
（Ｆ）天地判定の結果は、文字認識部１１１にフィードバックされる。これにより、文字認識部１１１は、画像データに含まれる全ての文字の認識については、原稿の天地を判別した状態で行うことができる。
【００７３】
また、文字認識部１１１は、この画像データに含まれる全ての文字の認識を行う場合にも、レイアウト解析部１１２のレイアウト解析結果を用いて、抽出されたブロック毎に文字認識を行う。
【００７４】
なお、図１では記載していないが、傾き補正と同様に、この天地判定の結果を用いて、フォーマット化処理部１１０の前段に設けられた原稿補正部により、フォーマット化処理部１１０へと入力される画像データ（ＲＧＢ信号のカラー画像データ）に対しても原稿の天地が補正される。
【００７５】
次に、図５〜図９を用いて、原稿判定部１１３について説明する。上述したように、文字中心画像であるかどうかの判定手法として、ここでは２つの手法について説明する。図５が、第１原稿判定部１１３Ａの構成を示すブロック図であり、図７が第２原稿判定部１１３Ｂの構成を示すブロック図である。
【００７６】
まず、図５、図６を用いて、第１原稿判定部１１３Ａより説明する。第１原稿判定部１１３Ａは、原稿画像の文字の量に関する状況を、文字数あるいは文字領域の割合より検出するものである。文字数や文字領域の割合からは、高い精度で原稿画像における文字の量を検出可能である。
【００７７】
図５に示すように、第１原稿判定部１１３Ａは、文字計数部（文字計数手段）１３０、文字領域割合算出部（文字領域割合算出手段）１３１、および第１判定処理部（第１判定処理手段）１３２を備えている。
【００７８】
文字計数部１３０には、文字認識部１１１より文字認識結果が入力される。文字計数部１３０は、文字認識部１１１において認識された文字のページ毎の総数を数えるものであり、ページ毎に文字数の合計を求める。
【００７９】
文字領域割合算出部１３１には、レイアウト解析部１１２よりレイアウト解析結果が入力されると共に、文字認識部１１１より文字認識結果が入力される。文字領域割合算出部１３１は、レイアウト解析部１１２の解析結果および文字認識部１１１の認識結果より、原稿画像における文字領域の占める割合を算出する。具体的には、文字領域割合算出部１３１は、文字認識部１１１にて文字認識された各文字について、レイアウト解析部１１２が求めた外接矩形の面積を合計し、原稿画像（１ページ分の画像全体）の全面積に対する認識された全文字の外接矩形の総面積の割合を算出する。
【００８０】
上述したように、本画像処理装置１００においては、文字認識部１１１は、レイアウト解析部１１２のレイアウト解析結果に基づき、抽出されたブロック単位で文字認識を行うので、文字計数部１３０の認識文字の計数、および文字領域割合算出部１３１における外接矩形の面積加算の処理も、ブロック毎に実施される。
【００８１】
第１判定処理部１３２は、文字計数部１３０にて計数された１ページ中に含まれる文字の総数、および文字領域割合算出部１３１にて算出された文字領域の割合に基づいて、文字中心画像であるか否かを判定するものであり、判定結果は、ファイル形式決定部１１４へと送られる。
【００８２】
第１判定処理部１３２には、文字計数部１３０より、原稿画像（ページ単位）における文字認識された文字の総数を示す計数結果が入力されると共に、文字領域割合算出部１３１より、原稿画像（ページ単位）における文字認識された各文字の外接矩形の総面積が原稿画像の総面積に対して占める割合（以下、文字領域割合）の算出結果が入力される。
【００８３】
第１判定処理部１３２は、文字数および文字領域割合の比較基準として予め定められている規定値と比較し、少なくとも文字数が多いあるいは文字領域割合が高い場合に、文字中心画像と判定し、文字数が少なくかつ文字領域割合も低い場合に、文字中心画像ではないと判定する。
【００８４】
換言すると、第１判定処理部１３２は、文字数が規定値以上の場合は、たとえ文字領域割合が規定値未満でも、文字中心画像と判定する。同様に、文字領域割合が規定値以上の場合は、たとえ文字数が規定値未満であっても文字中心画像と判定する。そして、文字数が規定値未満であり、かつ、文字領域割合も規定値未満である場合に、文字中心画像ではないと判定する。
【００８５】
ここで、規定値の例としては、例えば文字数１５０文字以上、文字領域割合２０％以上などが考えられる。規定値については、ユーザが任意設定できるように構成したり、予め用意された複数セットの中から、ユーザが自由に選択設定できる構成としたりしてもよい。
【００８６】
図６のフローチャートに、信号前処理部１１５、文字認識部１１１、レイアウト解析部１１２、および第１原稿判定部１１３Ａで実施される、入力画像データより文字中心原稿であるか否かを判定するまでの大まかな処理の流れを示す。
【００８７】
信号前処理部１１５にて、原稿傾きが検知され（Ｓ１）、傾きが補正される（Ｓ２）。傾きが補正された画像データを用いて、レイアウト解析部１１２がレイアウト解析を行う（Ｓ３）。レイアウト解析の結果を基に、文字認識部１１１による文字認識を利用して、抽出された最も多くのブロックが示す方向を、原稿の天地方向とする（Ｓ４）。
【００８８】
原稿の天地が判定されると、文字認識部１１１は、画像全体の文字認識を開始する。ここで、文字認識は、レイアウト解析の結果を用いてブロック単位で実施する。文字認識部１１１が最初のブロックの文字認識を実施すると（Ｓ５）、その結果を用いて、第１原稿判定部１１３Ａが、認識された文字数を計測し（Ｓ６）、認識された文字の文字領域の面積を求める（Ｓ７）。
【００８９】
そして、Ｓ８において、当該ページの原稿画像に含まれる全てのブロックの処理が完了したかどうかを判断し、ブロックが残っている場合は、Ｓ５に戻り、次のブロックについて、Ｓ５〜Ｓ７を行って、認識された文字数の計測・加算、認識された文字の文字領域面積の算出・加算を行う。この処理を、Ｓ８において、全てのブロックの処理が完了したと判断するまで繰り返す。
【００９０】
Ｓ８において、全てのブロックについて処理が完了していると判断すると、Ｓ９に移行し、第１原稿判定部１１３Ａが、加算された文字領域面積より文字領域の割合を求め、求めた文字領域割合と文字数の総数に基づいて、文字中心画像であるか否かを判定する。判定結果は、ファイル形式決定部１１４へと送られる。
【００９１】
その後、ファイル形式決定部１１４が、判定結果を用いて、ファイル形式を決定する（Ｓ１０）。なお、Ｓ１０の処理の詳細については、図１０のフローチャートを用いて後述する。
【００９２】
続いて、図７〜図９を用いて、第２原稿判定部１１３Ｂについて説明する。第２原稿判定部１１３Ｂは、原稿画像の文字の量に関する状況を、タイトル領域があるかどうかで検出するものである。タイトル領域を有するということは、原稿画像は、文字を多く含む文書よりなる原稿である蓋然性が高い。そのため、タイトル領域の有無の情報より、高い精度で原稿画像における文字の量を検出可能である。
【００９３】
図７に示すように、第２原稿判定部１１３Ｂは、タイトル領域判定部（タイトル領域判定手段）１４０、および第２判定処理部（第２判定処理手段）１４１を備えている。
【００９４】
タイトル領域判定部１４０は、レイアウト解析部１１２の解析結果および文字認識部１１１の認識結果より、原稿画像にタイトル領域が有るかどうかを判定するものである。タイトル領域判定部１４０は、仮判定部（仮判定手段）１４２と、本判定部（本判定手段）１４３とを備えている。
【００９５】
仮判定部１４２は、レイアウト解析部１１２の解析結果より、一般的にタイトルが位置すると予想される位置に、原稿画像の他の領域よりも文字の外接矩形のサイズが大きく（文字サイズが大きく）、かつ該外接矩形が連続してなる帯状ブロックが規定以上の長さを有する場合に、これをタイトル領域と仮判定するものである。
【００９６】
ここで、図８（ａ）〜図８（ｄ）を用いて、仮判定部１４２が、レイアウト解析結果よりタイトル領域を仮判定する手順について説明する。仮判定部１４２は、レイアウト解析部１１２の解析結果を基に、抽出されたブロックの条件が以下のような条件である場合に、そのブロックはタイトル領域であると判定（仮判定）する。
【００９７】
図８（ａ）〜図８（ｄ）は、前述した図４のレイアウト解析結果を有する原稿を、４方向に回転した状態で入力された場合に取得される画像データのレイアウト解析結果を表している。４方向の内、図８（ａ）が上向き、図８（ｂ）が右向き、図８（ｃ）が下向き、図８（ｄ）が左向きの場合を表す。
【００９８】
画像データの方向が上向き・右向き・下向き・左向きと想定した場合のそれぞれに対する方向の上側（図８（ａ）〜図８（ｄ）のブロックＡの位置）または右側に、規定値以上の外接矩形サイズで、規定値以上の長さを有するブロックがある場合に、タイトル領域であると判定する。
【００９９】
規定値の例としては、例えば外接矩形サイズが１８ポイント以上や本文領域の外接矩形サイズの１．５倍以上、画像データの幅または高さの４０％以上の長さなどが考えられる。ここで、画像データの幅または高さとは、図８（ａ）の参照符号Ｌ１、Ｌ２の寸法である。このような規定値の場合、図８（ａ）〜図８（ｄ）では、ブロックＡがタイトル領域として判定される。規定値は、ユーザが任意設定できるようにしたり、あるいは複数セット用意しておき、ユーザにより選択可能な構成にしたりしてもよい。
【０１００】
本判定部１４３は、仮判定部１４２にてタイトル領域と判定（仮判定）された部分に対する文字認識結果が規定以上の認識率である場合に、タイトル領域であると本判定するものである。本判定部１４３には、仮判定部１４２より、タイトル領域であると仮判定したブロックの情報と、文字認識部１１１より文字認識結果が入力される。
【０１０１】
例えば、本判定部１４３は、仮判定部１４２にてタイトル領域であると判定されたブロックに対し、規定値以上の文字認識率である場合に、最終的にタイトル領域であると本判定する。
【０１０２】
文字認識率の規定値の例としては、例えばブロックに含まれる外接矩形の５０％以上が文字認識されている場合などが考えられる。これにおいても、規定値については、ユーザが任意設定できるように構成したり、予め用意された複数セットの中から、ユーザが自由に選択設定できる構成としたりしてもよい。
【０１０３】
第２判定処理部１４１は、タイトル領域判定部１４０の判定結果に基づき、タイトル領域が有る場合は文字中心画像と判定し、タイトル領域が無い場合は文字中心画像ではないと判定するものであり、判定結果は、ファイル形式決定部１１４へと送られる。
【０１０４】
図９のフローチャートに、信号前処理部１１５、文字認識部１１１、レイアウト解析部１１２、および第２原稿判定部１１３Ｂで実施される、入力画像データより文字中心原稿であるか否かを判定するまでの大まかな処理の流れを示す。
【０１０５】
信号前処理部１１５にて、原稿傾きが検知され（Ｓ２１）、傾きが補正される（Ｓ２２）。傾きが補正された画像データを用いて、レイアウト解析部１１２がレイアウト解析を行う（Ｓ２３）。レイアウト解析の結果を基に、第２原稿判定部１１３Ｂが、タイトル領域であるブロックが存在するかどうかを仮判定する（Ｓ２４）。
【０１０６】
次に、文字認識部１１１による文字認識を利用して、抽出された最も多くのブロックが示す方向を、原稿の天地方向とする（Ｓ２５）。
【０１０７】
原稿の天地が判定されると、文字認識部１１１は、画像全体の文字認識を開始する。ここで、文字認識は、レイアウト解析の結果を用いてブロック単位で実施する（Ｓ２６）。
【０１０８】
文字認識が完了すると、Ｓ２７に進んでＳ２４の仮判定でタイトル領域であると仮判定されたブロックがあるかどうかを判断し、ある場合はＳ２８に進んで、文字認識結果を用いて、タイトル領域の本判定を行う。なお、無い場合は、Ｓ２８をスキップする。
【０１０９】
続くＳ２９では、タイトル領域の有無に基づいて、文字中心画像であるか否かを判定する。判定結果は、ファイル形式決定部１１４へと送られる。
【０１１０】
その後、ファイル形式決定部１１４が、判定結果を用いて、ファイル形式を決定する（Ｓ３０）。なお、Ｓ３０の処理は、図６のフローチャートのＳ１０の処理と同じであり、詳細については、図１０のフローチャートを用いて後述する。
【０１１１】
次に、図１０を用いて、ファイル形式決定部１１４による処理について説明する。図１０は、ファイル形式決定部１１４による、ファイル形式を決定して指定信号を出力する処理の手順を示すフローチャートである。
【０１１２】
上述したようにファイル形式決定部１１４は、原稿判定部１１３（第１原稿判定部１１３Ａ，第２原稿判定部１１３Ｂ）の判定結果に基づいてファイル形式を決定するものである。決定したファイル形式は、フォーマット化処理部１１０に対して指定信号として出力される。
【０１１３】
ファイル形式決定部１１４は、文字中心画像であると判定された場合は、文書画像に適したファイル形式を選択し、文字中心画像ではないと判定された場合には、写真画像に適したファイル形式を選択する。
【０１１４】
より具体的には、本実施形態においては、ファイル形式決定部１１４は、文書画像に適したファイル形式として、原稿画像における文字部分を２値画像として格納し、原稿画像におけるその他の部分を多階調画像として格納する高圧縮ＰＤＦ形式を選択する。また、写真画像に適した出力ファイル形式としては、原稿画像全体を多階調画像として格納する通常ＰＤＦ形式を選択する。
【０１１５】
また、本実施形態においては、ファイル形式決定部１１４には、入力画像データの用途を示す選択信号が入力される。ファイル形式決定部１１４は、選択信号より用途が、画像ファイリングであることを判別すると、フォーマット化処理部１１０に対してデフォルト設定されているファイル形式に変更するよう指定するようになっている。
【０１１６】
文書画像向きの出力ファイル形式は、文字部分が優先され文字以外の部分の詳細情報が残りにくい形式であるため、ファイリング用途の一部である帳簿書類等の電子化には不向きである。
【０１１７】
そこで、利用用途を示す選択信号をファイル形式決定部１１４に入力させる構成とし、電子ファイリング用途の場合に出力ファイル形式の自動切り替えを自動で行わない構成とすることで、帳簿書類等を間違って文書画像向きの出力ファイル形式で保存することを防止できる。
【０１１８】
本画像処理装置１００が、例えば画像ファイリング機能を有する画像形成装置（例えば、ＭＦＰ）に搭載された場合は、ユーザが操作パネル等を用いて選択した処理モード（scan to e-mailモード、scan to FTPモード、scan to 共有フォルダモード、scan to Desktopモード等）を示す選択信号がファイル形式決定部１１４に入力される。ファイル形式決定部１１４は、選択信号より、選択された処理モードが予め設定された画像ファイリングに係る処理モード（例えば、scan to 共有フォルダモード）である場合に、用途が画像ファイリングであることを判別する。scan to e-mailモード、scan to FTPモード、scan to 共有フォルダモード、scan to Desktopモード等のうち、scan to FTPモードとscan to 共有フォルダモードが画像ファイリングに関わるモードとなり得る。装置の仕様により、その両方、あるいは、何れか一方が、画像ファイリングに関わるモードとして事前に設定されている。
【０１１９】
図１０のフローチャートに、ファイル形式決定部１１４の処理手順を示す。ファイル形式決定部１１４は、まず、選択信号がＯＫかどうか、つまり画像ファイリングの用途であるかどうかを判断する（Ｓ３１）。ここで、選択信号が、用途として画像ファイリングを示す場合は、選択信号ＯＫではないと判断してＳ３５に進み、デフォルト形式を選択する。
【０１２０】
一方、選択信号が、用途として画像ファイリングを示すものではない場合は、選択信号ＯＫと判断してＳ３２に進み、原稿判定部１１３の判別結果が、文字中心原稿であるか否かを判断する。
【０１２１】
ここで、文字中心原稿である場合は、Ｓ３３に進み高圧縮ＰＤＦ形式を選択する。一方、文字中心原稿ではない場合は、Ｓ３４に進み通常のＰＤＦ形式を選択する。
【０１２２】
Ｓ３３、Ｓ３４、Ｓ３５において、ファイル形式の選択が完了すると、Ｓ３６に進み、それぞれ選択したファイル形式を指定する指定信号をフォーマット化処理部１１０へと送信する。
【０１２３】
次に、図１１を用いて、フォーマット化処理部１１０について説明する。図１１は、フォーマット化処理部１１０の構成を示すブロック図である。フォーマット化処理部１１０は、透明テキスト作成部１５０と、画像ファイル生成部１５１とを備えている。
【０１２４】
透明テキスト作成部１５０には、文字認識部１１１より文字認識結果が入力される。透明テキスト作成部１５０は、文字認識結果に基づいて透明テキストを生成し、画像ファイル生成部１５１に出力する。透明テキストとは、認識された文字をテキスト情報として、見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。
【０１２５】
画像ファイル生成部１５１は、入力画像データを、指定信号にて指定されたファイル形式に変更するものである。指定されたファイル形式に応じ、入力画像データを所定の形式で圧縮処理し、この圧縮処理した画像データと、透明テキストとに基づいて所定のフォーマットの画像ファイルを生成するものである。
【０１２６】
本実施形態では、ＲＧＢ信号の入力画像データを、ファイル形式決定部１１４の指定に従って、通常のＰＤＦ形式あるいは高圧縮ＰＤＦ形式に変更するとともに、文字認識結果に基づいて生成された透明テキストを各画像ファイルに埋め込む。
【０１２７】
画像ファイル生成部１５１は、高圧縮ＰＤＦ形式が指定されると、入力画像データにおける原稿画像の文字部分の画像は文字が判読しやすい解像度（たとえば３００ｄｐｉ）のＭＭＲ（Modified Modified Read）圧縮画像とし、原稿画像のその他の部分は、解像度がたとえば１５０ｄｐｉのＪＰＥＧ（Joint Photographic Experts Group）画像に圧縮する。また、通常ＰＤＦ形式が指定されると、原稿画像全体をたとえば１５０ｄｐｉのＪＰＥＧ画像に圧縮する。
【０１２８】
ここで、高圧縮ＰＤＦ生成処理の手順について説明する。
（I）前景マスク生成処理
入力画像から文字画素を表す前景マスクを抽出する。この処理としては、領域分離処理において、文字領域であると判定された画素を２値化し文字画素を抽出する。
（II）前景色インデックス化処理
前景画素色をインデックス化し、インデックス画像を表す前景レイヤーと、前景レイヤーの各文字色、および各文字色領域の最大・最小座標、各インデックスに属する画素数を格納した前景インデックスカラーテーブルを生成する。この処理としては、特許文献４に記載されている方法を用いることができる。これは、前景色のインデックス化処理に関する方法であり、前景レイヤー生成時に全ての前景画素を限られた色数で表す方法である。詳細には、前景画素について、前景インデックスカラーテーブルを更新していくことで、最終的に前景画像のインデックス化を行う。各前景画素について、前景画素色が既に前景インデックスカラーテーブルに登録されていると判断された場合、前景インデックスカラーテーブル内で、最も近い色を有するインデックス値を割り当てる。前景画素色が前景インデックスカラーテーブルに登録されていないと判断された場合は、新規インデックス値を割り当て、前景インデックスカラーテーブルに登録する。上記処理を繰り返すことにより、前景画像をインデックス化する。
（III）背景レイヤー生成処理
入力画像から前景画素を取り除いて、背景レイヤーを生成する処理であり、背景レイヤーの圧縮率を向上するために、前景画素周辺の前景画素でない周辺背景レイヤー画素を用いて穴埋め処理を行う。前景画素周辺の前景画素でない背景画素を参照し、その背景画素の平均値を用いて、背景レイヤー前景画素部を穴埋めする。また、近傍に前景画素でない背景画素が存在しない場合、近傍穴埋め処理結果を用いる。
（IV）２値画像生成処理
入力される前景レイヤーと、前景色インデックス化処理にて生成された座標情報を用いて、各インデックスの２値化画像を出力する。
（V）圧縮処理
各レイヤーに適切な圧縮処理を適用する。前述の通り、前景レイヤーは、ＭＭＲ：可逆圧縮技術を用いて圧縮する。一方、背景レイヤーはＪＰＥＧ：非可逆圧縮技術を用いて圧縮する。
【０１２９】
上記処理は、本画像処理装置１００が複合機に搭載される場合は、後述する図１２、図１３に示す中間調生成部の後段に圧縮処理部を設け、高圧縮ＰＤＦを生成する際、圧縮処理部からのデータを用いるようにしても良い。
【０１３０】
また、ここではＰＤＦ形式を例示しているが、高解像度の２値画像と低解像度の背景画像とを重ねて配置することができるレイヤー構成が可能なファイルフォーマットであればどのような形式でもよい。例えば、マイクロソフト（商標）のパワーポイント（商標）など画像を重ねて配置できるようなアプリケーションは多数あり、複数の画像を重ねて配置できるようなアプリケーションの専用ファイルフォーマットで保存するという方法も考えられる。
【０１３１】
以上のように、本画像処理装置１００では、原稿を読み取って得られた画像データをフォーマット化処理部１１０にてそのファイル形式を変更するにあたり、レイアウト解析と文字認識処理とを利用して原稿画像の文字の量に関する状況を検出し、この状況に応じたファイル形式を自動的に選択して変更することができる。
【０１３２】
これにより、利用者は、自身で原稿画像の文字の量に関する状況を確認し、手動にて状況に適したファイル形式へと切り換える作業を伴うことなく、適切なファイル形式に変更させることが可能となり、装置の利便性を向上することができる。
【０１３３】
そして、本画像処理装置１００は、複写機、複合機、画像読取装置等に搭載させることができる。
【０１３４】
図１２、図１３に、本画像処理装置１００を搭載したデジタルカラー複合機１のブロック図を示す。このうち、図１２は、スキャナ等の画像入力装置２より原稿画像を読み取って画像データを生成し、該画像データに基づく画像を画像出力装置４にて生成して出力する、いわゆるコピーモードにおけるデータの流れを示している。
【０１３５】
一方、図１３は、スキャナ等の画像入力装置２より原稿画像を読み取って画像データを生成し、該画像データのファイル形式を変更して送受信装置５より出力する、送信モードにおけるデータの流れを示している。
【０１３６】
図１２、図１３に示すように、デジタルカラー複合機１は、画像入力装置２、画像処理装置３、画像出力装置４、送受信装置５、および操作パネル６を備えている。なお、本画像処理装置１００は、画像処理装置３に搭載されている。
【０１３７】
画像入力装置２は、原稿の画像を読み取って画像データを生成するものであり、例えばＣＣＤ（Charge Coupled Device ）などの光学情報を電気信号に変換するデバイスを備えたスキャナ部（図示せず）より構成されている。本実施形態では、画像入力装置２は、原稿からの反射光像を、ＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号として画像処理装置３に出力する。
【０１３８】
画像処理装置３は、図１２、図１３に示すように、Ａ／Ｄ変換部１１、シェーディング補正部１２、入力処理部１３、信号前処理部１１５、原稿補正部１５、色補正部（色変換部）１６、黒生成／下色除去部１７、空間フィルタ部１８、出力階調補正部１９、中間調生成部（中間調生成部）２０、領域分離部２１、認識処理部１０９、フォーマット化処理部１１０、記憶部２３、および制御部（ＣＰＵ）２４を備えている。
【０１３９】
記憶部２３は画像処理装置３で扱われる各種データ（画像データ等）を記憶する記憶手段である。記憶部２３の構成は特に限定されるものではないが、例えばハードディスクなどを用いることができる。また、制御部２４は、画像処理装置３に備えられる各部の動作を制御する制御手段である。この制御部２４は、デジタルカラー複合機１の主制御部（図示せず）に備えられるものであってもよく、主制御部とは別に備えられ、主制御部と協働して処理を行うものであってもよい。
【０１４０】
画像処理装置３は、コピーモードでは、画像入力装置２から入力された画像データに種々の画像処理を施して得られるＣＭＹＫの画像データを画像出力装置４に出力する。
【０１４１】
また、画像処理装置３は、送信モードでは、画像入力装置２から入力された画像データに傾き補正処理、原稿画像領域抽出処理、変倍処理、回転処理等の画像処理を施すと共に、画像処理後の画像データに基づいて一般に普及している表示装置の表示特性に適合したＲ’Ｇ’Ｂ’の画像データ（例えば、ｓＲＧＢデータ）を生成し、生成したＲ’Ｇ’Ｂ’の画像データを、フォーマット化処理部１１０にて、原稿の状況に応じたファイル形式に変更して送受信装置５に出力する。
【０１４２】
画像出力装置４は、画像処理装置３から入力された画像データを記録材（例えば紙等）上に出力するものである。画像出力装置４の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いた画像出力装置を用いることができる。
【０１４３】
送受信装置５は、例えばモデムやネットワークカードより構成される。送受信装置５は、ネットワークカード、ＬＡＮケーブル等を介して、ネットワークに接続された他の装置（例えば、パーソナルコンピュータ、サーバ装置、表示装置、他のデジタル複合機、ファクシミリ装置等）とデータ通信を行う。送受信装置５は、画像データを送信する場合、相手先との送信手続きを行って送信可能な状態が確保されると、所定の形式で圧縮された画像データをメモリから読み出し、圧縮形式の変更など必要な処理を施して、通信回線を介して相手先に順次送信する。また、送受信装置５は、画像データを受信する場合、通信手続きを行うとともに、相手先から送信されてくる画像データを受信して画像処理装置３に入力する。受信した画像データは、画像処理装置３で伸張処理、回転処理、解像度変換処理、出力階調補正、階調再現処理などの所定の処理が施され、画像出力装置４によって出力される。なお、受信した画像データを記憶装置（図示せず）に保存し、画像処理装置３が必要に応じて読み出して上記所定の処理を施すようにしてもよい。
【０１４４】
操作パネル６は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され（いずれも図示せず）、デジタルカラー複合機１の主制御部（図示せず）の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル６を介して入力画像データに対する処理モード、印刷枚数、用紙サイズ、送信先アドレスなどの各種情報を入力することができる。
【０１４５】
上記主制御部は、例えばＣＰＵ（Central Processing Unit）等からなり、図示しないＲＯＭ等に格納されたプログラムや各種データ、操作パネル６から入力される情報等に基づいて、デジタルカラー複合機１の各部の動作を制御する。
【０１４６】
次に、コピーモードにおける画像処理装置３の動作についてより詳細に説明する。コピーモードの場合、図１２に示すように、まず、Ａ／Ｄ変換部１１が、画像入力装置２から入力されたＲＧＢのアナログ信号をデジタル信号に変換してシェーディング補正部１２に出力する。
【０１４７】
シェーディング補正部１２は、Ａ／Ｄ変換部１１から送られてきたデジタルのＲＧＢ信号に対して、画像入力装置２の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施し、入力処理部１３に出力する。
【０１４８】
入力処理部（入力階調補正部）１３は、シェーディング補正部１２にて各種の歪みが取り除かれたＲＧＢ信号に対して、カラーバランスを整えると同時に、濃度信号など画像処理装置３に採用されている画像処理システムの扱い易い信号に変換する処理を施すものである。また、下地濃度の除去やコントラストなどの画質調整処理を行う。また、入力処理部１３は、上記の各処理を施した画像データを記憶部２３に記憶させる。
【０１４９】
信号前処理部１１５は、上述したように、画像データを、後段の認識処理部１０９に適した信号となるように処理するものである。但し、コピーモードでは、認識処理部１０９よりフォーマット化処理部１１０へと指定信号が出力されたり、文字認識結果が出力されることはない。コピーモードの場合、信号前処理部１１５は、原稿傾き検知部１２４で検知された傾き角度の情報、あるいは傾き補正部１２５で補正した座標情報を、原稿補正部１５へと出力する。また、認識処理部１０９は、原稿の天地判定結果を原稿補正部１５へと出力する。
【０１５０】
原稿補正部１５は、信号前処理部１１５、認識処理部１０９から出力される、原稿傾きの情報や原稿の天地の情報に従って、入力処理部１３から入力される画像データ、あるいは記憶部２３に保存されている画像データに対して、傾き補正処理、天地補正処理などを行う。
【０１５１】
また、原稿補正部１５によって上記の各処理がなされた画像データを、記憶部２３においてファイリングデータとして管理するようにしてもよい。
【０１５２】
画像データが、ファイリングデータとして管理される場合、上記画像データは、例えば、ＪＰＥＧ圧縮アルゴリズムに基づいてＪＰＥＧコードに圧縮されて記憶部２３に格納される。そして、この画像データに対するコピー出力動作やプリント出力動作が指示された場合には、記憶部２３からＪＰＥＧコードが引き出されて不図示のＪＰＥＧ伸張部に引き渡され、復号化処理が施されてＲＧＢデータに変換される。また、上記の画像データに対して送信動作が指示された場合には、記憶部２３からＪＰＥＧコードが引き出され、ネットワーク網や通信回線を介して送受信装置５から外部装置へ送信される。
【０１５３】
色補正部１６は、色再現の忠実化実現のために、不要吸収成分を含むＣＭＹ（Ｃ：シアン・Ｍ：マゼンタ・Ｙ：イエロー）色材の分光特性に基づいた色濁りを取り除く処理を行うものである。
【０１５４】
黒生成／下色除去部１７は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理を行うものである。これにより、ＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。
【０１５５】
空間フィルタ部１８は、黒生成／下色除去部１７より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理（強調処理および／または平滑化処理）を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。
【０１５６】
中間調生成部２０は、空間フィルタ部１８と同様、ＣＭＹＫ信号の画像データに対して領域識別信号を基に所定の処理を施すものである。
【０１５７】
例えば、領域分離部２１にて文字に分離された領域は、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ部１８による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、中間調生成部２０においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。また、領域分離部２１にて網点領域に分離された領域に関しては、空間フィルタ部１８において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部１９では、濃度信号などの信号を画像出力装置４の特性値である網点面積率に変換する出力階調補正処理を行った後、中間調生成部２０で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理（中間調生成）が施される。領域分離部２１にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
【０１５８】
領域分離部２１は、ＲＧＢ信号より、入力画像中の各画素を黒文字領域、色文字領域、網点領域、印画紙写真（連続階調領域）領域の何れかに分離するものである。領域分離部２１は、分離結果に基づき、画素がどの領域に属しているかを示す領域分離信号を、黒生成／下色除去部１７、空間フィルタ部１８、および中間調生成部２０へと出力する。
【０１５９】
なお、認識処理部１０９における原稿判定部１１３およびファイル形式決定部１１４、フォーマット化処理部１１０は、コピーモードでは動作を行わない。
【０１６０】
上述した各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されて画像出力装置４に入力される。
【０１６１】
次に、送信モードにおける画像処理装置３の動作について、図１３を参照しながら説明する。なお、送信モードにおけるＡ/Ｄ変換部１１、シェーディング補正部１２、入力処理部１３、原稿補正部１５、および領域分離部２１の処理は、コピーモード時と同様である。なお、領域分離部２１は領域分離信号を空間フィルタ部１８および中間調生成部２０に対して出力する。
【０１６２】
信号前処理部１１５は、画像形成モード時と同様の動作を行うとともに、２値化、低解像度化、傾き補正を行った画像データを認識処理部１０９に出力する。
【０１６３】
認識処理部１０９は、信号前処理部１１５より入力された画像データに基づいて、文字認識を行う。また、文字中心原稿であるかどうか、および処理モードがscan to e-mailモード、ファイリング等の処理ではないかどうかを判断して、ファイル形式を指定する指定信号を出力する。文字認識結果は、フォーマット化処理部１１０の透明テキスト作成部１５０に入力され、指定信号は画像ファイル生成部１５１に入力される。
【０１６４】
一方、色補正部１６は、原稿補正部１５から入力されたＲＧＢの画像データを、一般に普及している表示装置の表示特性に適合したＲ’Ｇ’Ｂ’の画像データ（例えば、ｓＲＧＢデータ）に変換し、黒生成／下色除去部１７に出力する。黒生成／下色除去部１７は、色補正部１６から入力された画像データをそのまま空間フィルタ部１８に出力（スルー）する。
【０１６５】
空間フィルタ部１８は、黒生成／下色除去部１７より入力されるＲ’Ｇ’Ｂ’の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理（強調処理および／または平滑化処理）を行って、出力階調補正部１９に出力する。出力階調補正部１９は、空間フィルタ部１８から入力されたＲ’Ｇ’Ｂ’の画像データに対して領域識別信号を基に所定の処理を施し、フォーマット化処理部１１０における画像ファイル生成部１５１に出力する。
【０１６６】
例えば、出力階調補正部１９は、文字領域に対しては図１４（ｂ）に実線で示したガンマ曲線を用いた補正を行い、文字領域以外の領域に対しては図１４（ａ）に示したガンマ曲線を用いた補正を行う。図１４（ｂ）の破線で示したガンマ曲線は、図１４（ａ）に示したガンマ曲線である。図１４（ａ）に示したガンマ曲線としては、例えば送信先の外部装置に備えられる表示装置の表示特性に応じた曲線を設定しておき、文字領域のガンマ曲線は文字をくっきり表示できるように設定しておくことが好ましい。
【０１６７】
出力階調補正部１９から出力されたＲ’Ｇ’Ｂ’の画像データは、中間調生成部２０に出力する。中間調生成部２０は、出力階調補正部１９から入力されたＲ’Ｇ’Ｂ’の画像データをそのまま後段のフォーマット化処理部１１０における画像ファイル生成部１５１に出力（スルー）する。
【０１６８】
フォーマット化処理部１１０の透明テキスト作成部１５０は、文字認識結果より透明テキストを作成し、画像ファイル生成部１５１へと出力する。画像ファイル生成部１５１は、中間調生成部２０からスルーされてきたＲ’Ｇ’Ｂ’の画像データを、指定信号に従って、通常のＰＤＦ形式あるいは高圧縮ＰＤＦ形式、あるいはデフォルト設定されているファイル形式に変更するとともに、作成された透明テキストを各画像ファイルに埋め込む。
【０１６９】
なお、本実施形態では、画像データに透明テキストを付加して送信するものとしているが、これに限るものではなく、ファイル形式のみ変更して、透明テキストを付加せずに送信するようにしてもよい。なお、透明テキストを付加しない場合には、認識処理部１０９からフォーマット化処理部１１０へのデータ出力を行わないようにしてもよい。
【０１７０】
送受信装置５は、フォーマット化処理部１１０から入力された画像ファイルを、ネットワークを介して通信可能に接続された外部装置に送信する。例えば、送受信装置５は、上記の画像ファイルを図示しないメール処理部（ジョブ装置）によって電子メールに添付して送信する。また、scan to e-mailモードが選択された場合は、指定されたメールアドレスへ、上記画像ファイルを電子メールに添付して送信する。また、scan to FTPモード、scan to 共有フォルダモードが選択された場合は、デジタルカラー複合機１外部のファイルサーバ内の指定のアドレス（例えば、ＩＰアドレス）へ、上記画像ファイルを送信する。なお、デジタルカラー複合機１内部に設けた図示しないハードディスクを、ファイルサーバの代わりに使用することもできる。
【０１７１】
なお、図１２、図１３のデジタルカラー複合機１では、認識処理部１０９を領域分離部の前段に設けている。しかしながら、図１５に示すように、認識処理部１０９を領域分離部２１の後段に設けて、領域分離信号より作成されたテキストマップ（文字エッジと判定された画素よりなる画像領域）を参照して、レイアウト解析、文字領域に対する文字認識を行うようにしても良い。
【０１７２】
あるいは、図１６に示すように、認識処理部１０９の前段に、原稿種別自動判別３０を設け、原稿種別信号を認識処理部１０９の文字認識部１１１に入力させ、文字認識部１１１は、天地方向が判定された原稿画像全体に対して文字認識を行う場合、原稿種別信号に基づいて、文字原稿、文字印刷写真原稿、文字印画紙写真原稿と判別されたときに、文字認識を行うようにしても良い。
【０１７３】
なお、本実施形態では、本画像処理装置１００をカラー画像データに対応した構成とし、デジタルカラー複合機１に適用する場合について説明したが、これに限らず、モノクロの複合機に適用してもよい。
【０１７４】
また、本画像処理装置１００を、例えば単体の画像読取装置に適用してもよい。図１７に、本画像処理装置１００を搭載したデジタルカラースキャナ３００の構成を示す。
【０１７５】
図１７に示すように、デジタルカラースキャナ３００は、画像入力装置２、画像処理装置３’、送信装置５’、および操作パネル６を備えている。画像入力装置２、および操作パネル６の構成および機能は上述したデジタルカラー複合機１の場合と略同様なので、ここではその説明を省略する。送信装置５’は、前記した送受信装置５の送信機能のみを備えた構成である。本画像処理装置１００は画像処理装置３’に搭載されている。
【０１７６】
画像処理装置３’は、Ａ／Ｄ変換部１１、シェーディング補正部１２、入力処理部１３、信号前処理部１１５、原稿補正部１５、色補正部１６、認識処理部１０９、フォーマット化処理部１１０、記憶部２３、および制御部２４を備えている。
【０１７７】
なお、コピーモードを備えていない点、および、色補正部１６が色補正処理後の画像データを、フォーマット化処理部１１０の画像ファイル生成部１５１に出力し、画像ファイル生成部１５１が色補正部１６から入力された画像データに基づいて外部装置に送信する画像ファイルを生成する点以外の画像処理装置３’の機能は、上述したデジタルカラー複合機１の画像処理装置３の場合と略同様である。
【０１７８】
画像処理装置３’において上述した各処理が施されて生成された画像ファイルは、送信装置５’により、ネットワークを介して通信可能に接続されたコンピュータやサーバなどに送信される。
【０１７９】
また、上記実施形態において、画像処理装置１００、デジタルカラー複合機１、デジタルカラースキャナ３００に備えられる各部（各ブロック）を、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、画像処理装置１００、デジタルカラー複合機１、デジタルカラースキャナ３００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。
【０１８０】
そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１００、デジタルカラー複合機１、デジタルカラースキャナ３００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置１００、デジタルカラー複合機１、デジタルカラースキャナ３００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
【０１８１】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１８２】
また、画像処理装置１００、デジタルカラー複合機１、デジタルカラースキャナ３００を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１８３】
また、画像処理装置１００、デジタルカラー複合機１、デジタルカラースキャナ３００の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
【０１８４】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１８５】
本発明は、原稿から読み取った画像データのファイル形式を変更して他の装置に送信する画像処理装置、画像読取装置、および画像形成装置に適用できる。
【符号の説明】
【０１８６】
１ デジタルカラー複合機（画像処理装置、画像形成装置）
２ 画像入力装置
３ 画像処理装置
３’ 画像処理装置
４ 画像出力装置
５ 送受信装置
５’ 送信装置
６ 操作パネル
１５ 原稿補正部
１６ 色補正部
２１ 領域分離部
２３ 記憶部
２４ 制御部
１００ 画像処理装置
１１０ フォーマット化処理部（フォーマット化処理手段）
１１１ 文字認識部（文字認識手段）
１１２ レイアウト解析部（レイアウト解析手段）
１１３ 原稿判定部（原稿判定手段）
１１３Ａ 原稿判定部（原稿判定手段）
１１３Ｂ 原稿判定部（原稿判定手段）
１１４ ファイル形式決定部（ファイル形式決定手段）
１１５ 信号前処理部
１３０ 文字計数部（文字計数手段）
１３１ 文字領域割合算出部（文字領域割合算出手段）
１３２ 第１判定処理部（第１判定処理手段）
１４０ タイトル領域判定部（タイトル領域判定手段）
１４１ 第２判定処理部（第２判定処理手段）
３００ デジタルカラースキャナ（画像読取装置）
【技術分野】
【０００１】
本発明は、スキャナ等で読み取った画像データを出力や保存に適したファイル形式に変換する画像処理装置、画像処理方法、およびこれを利用した、画像形成装置、画像読取装置に関する。
【背景技術】
【０００２】
書類等の紙媒体に記録されている画像をスキャナ等の画像入力装置で読み取って画像データを作成し、ＰＤＦ形式やＴＩＦＦ形式等の出力や保存に適したファイル形式に変換して、所定フォルダに保存したり、ネットワークを用いて送信したりすることが行われている。
【０００３】
また、画像入力装置で読み取った画像データを、複数のバンド（領域）に分けてバンド毎にＰＤＦファイル化することも行われている。例えば、特許文献１には、画像データを複数のバンド（領域）に分けてバンド毎にＰＤＦファイル化するにあたり、メモリの空き容量に応じて、バンド毎に適用する画像圧縮形式を自動に切り換える技術が開示されている。
【０００４】
具体的には、領域（文字、背景等）の判別を行う場合に用いるメモリの空き容量が規定値以上か否かを判断し、メモリの空き容量が規定値以上の場合、バンドについてその文字領域をＭＭＲ圧縮し、その背景領域をＪＰＥＧ圧縮とする。また、メモリの空き容量が規定値より少ない場合は、バンドにおける全領域をＪＰＥＧ圧縮する。また、１ページ内の文字数が極端に多い原稿など、蓄積処理の途中でメモリの空き容量が規定値よりも少なくなる蓋然性が高いと考えられる原稿（特殊原稿）の場合は、全バンドについてＪＰＥＧ圧縮を施す。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−６４１１号公報（平成１９年１月１１日公開）
【特許文献２】特開平７−１９２０８６号公報（平成７年７月２８日公開）
【特許文献３】特開平６−１８９０８３号公報（平成６年７月８日公開）
【特許文献４】特開２００２−９４８０５号公報（平成１４年３月２９日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のように、メモリの空き容量に応じて適応する画像圧縮形式を切り換えた場合、原稿の種類（入力画像の状況）に適さない画像圧縮形式にて画像が圧縮されてしまうことがあり、保存した画像データを後々有効に利用できないといった問題がある。
【０００７】
具体的に言うと、その最たる例が、上記した文字数が極端に多い原稿に対する処理である。文字数が極端に多い原稿の画像の処理としては本来、文字領域をＭＭＲ圧縮、背景領域をＪＰＥＧ圧縮する方式の方が望ましい。しかしながら、上述したように、引用文献１では、このような原稿は、全バンドがＪＰＥＧ圧縮されるといった、望ましくない処理が行われる。このような場合、最悪の場合、記憶装置から読み出して再現した画像からは文字の判別が困難になるといったことが起こる。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、原稿を読み取って得られた画像データを出力や保存に適した形式の画像ファイルに変更するにあたり、レイアウト解析と文字認識処理とを利用して原稿における文字の量に関する状況を検出して該状況に応じたファイル形式を自動的に選択して変換することのできる画像処理装置、画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、上記の課題を解決するために、原稿画像を画像入力装置にて読み取ることで得られた入力画像データを指定されたファイル形式に変更するフォーマット化処理手段を備えた画像処理装置であって、上記入力画像データに対して文字認識処理を行う文字認識手段と、上記入力画像データに対して、ページ毎の画像のレイアウトを解析するレイアウト解析手段と、上記レイアウト解析手段の解析結果および上記文字認識手段の認識結果より、上記入力画像データが示す原稿画像が文字を多く含んでいる文字中心画像であるか否かを判定する原稿判定手段と、上記原稿判定手段の判定結果に基づいてファイル形式を決定し、上記フォーマット化処理手段に対して決定したファイル形式を指定するファイル形式決定手段とを有し、上記ファイル形式決定手段は、文字中心画像であると判定された場合に、文書画像に適したファイル形式を選択し、文字中心画像ではないと判定された場合に、写真画像に適したファイル形式を選択することを特徴としている。
【００１０】
また、本発明の画像処理方法は、上記課題を解決するために、原稿画像を画像入力装置にて読み取ることで得られた入力画像データを指定されたファイル形式に変更するフォーマット化処理工程を含む画像処理方法であって、上記入力画像データに対して文字認識処理を行う文字認識工程と、上記入力画像データに対して、ページ毎の画像のレイアウトを解析するレイアウト解析工程と、上記レイアウト解析工程の解析結果および上記文字認識工程の認識結果より、上記入力画像データが示す原稿画像が文字を多く含んでいる文字中心画像であるか否かを判定する原稿判定工程と、上記原稿判定工程の判定結果に基づいてファイル形式を決定し、上記フォーマット化処理工程に対して決定したファイル形式を指定するファイル形式決定工程とを有し、上記ファイル形式決定工程においては、上記原稿判定工程にて文字中心画像であると判定された場合に、文書画像に適したファイル形式を選択し、上記原稿判定工程にて文字中心画像ではないと判定された場合に、写真画像に適したファイル形式を選択することを特徴としている。
【００１１】
上記画像処理装置および画像処理方法によれば、文字認識手段による文字認識結果とレイアウト解析手段によるレイアウト解析結果を基に、原稿画像が文字を多く含んでいる文字中心画像かどうかを判断し、文字中心画像である場合とない場合とで、変更するファイル形式を切り換え、それぞれに応じたファイル形式を自動選択する。
【００１２】
つまり、入力された原稿画像の文字の量に関する状況に応じて、ファイル形式が自動的に原稿画像に適したものへと切り換えられる。
【００１３】
したがって、利用者は、自身で原稿画像の文字の量に関する状況を確認し、手動にて状況に適したファイル形式へと切り換える作業を伴うことなく、適切なファイル形式に変更させることが可能となる。
【００１４】
上記文書画像に適したファイル形式としては、例えば、原稿画像における文字部分を２値画像として格納し、原稿画像におけるその他の部分を多階調画像として格納する高圧縮ＰＤＦ形式とすることができる。また、上記写真画像に適した出力ファイル形式としては、原稿画像全体を多階調画像として格納する通常ＰＤＦ形式とすることができる。
【００１５】
本発明の画像処理装置は、さらに、上記原稿判定手段は、上記レイアウト解析手段および上記文字認識手段の各結果より原稿画像における文字領域の占める割合を算出する文字領域割合算出手段と、上記文字認識手段において認識された文字のページ毎の総数を数える文字計数手段と、上記文字計数手段にて計数された文字数および上記文字領域割合算出手段にて算出された文字領域の割合に基づいて、少なくとも文字数が多いあるいは文字領域の割合が高い場合に文字中心画像と判定し、文字数が少なくかつ文字領域の割合も低い場合に文字中心画像ではないと判定する第１判定処理手段とを含む構成とすることもできる。なお、上記文字領域とは、文字の外接矩形のことである。
【００１６】
上記構成によれば、少なくとも文字数が多いあるいは文字領域の割合が高い場合に文字中心画像と判定され、文字数が少なくかつ文字領域の割合も低い場合に文字中心画像ではないと判定される。
【００１７】
つまり、原稿画像の文字の量に関する状況を、文字数あるいは文字領域の割合より検出する。文字数や文字領域の割合からは、高い精度で原稿画像における文字の量を検出可能である。したがって、これにより、入力された原稿画像の文字の量に関する状況に応じたファイル形式の自動切り換えをより高精度に実現できる。
【００１８】
本発明の画像処理装置は、さらに、上記原稿判定手段は、上記レイアウト解析手段の解析結果および上記文字認識手段の認識結果よりタイトル領域の有無を判定するタイトル領域判定手段と、タイトル領域が有る場合に文字中心画像と判定し、タイトル領域が無い場合に文字中心画像ではないと判定する第２判定処理手段とを含む構成とすることもできる。
【００１９】
上記構成によれば、タイトル領域が有る場合に文字中心画像と判定され、タイトル領域が無い場合には文字中心画像ではないと判定される。
【００２０】
つまり、原稿画像の文字の量に関する状況を、タイトル領域があるかどうかで検出する。タイトル領域を有するということは、原稿画像は、文字を多く含む文書よりなる原稿である蓋然性が高い。そのため、タイトル領域の有無の情報より、高い精度で原稿画像における文字の量を検出可能である。したがって、これによっても、入力された原稿画像の文字の量に関する状況に応じたファイル形式の自動切り換えをより高精度に実現できる。
【００２１】
この場合、上記タイトル領域判定手段は、上記レイアウト解析手段の解析結果より、一般的にタイトルが位置すると予想される位置に、原稿画像の他の領域よりも文字の外接矩形のサイズが大きく、かつ該外接矩形が連続してなる帯状ブロックが規定以上の長さを有する場合に、タイトル領域と仮判定する仮判定手段と、上記仮判定手段にてタイトル領域と仮判定された部分に対する文字認識結果が規定以上の認識率である場合に、タイトル領域と本判定する本判定手段とを含む構成とすることもできる。
【００２２】
文書原稿におけるタイトルの位置は、原稿上部や原稿右端等、決まった位置に付されることが多い。また、文字サイズが、他の部分の文字サイズよりも大きいといった特徴もある。
【００２３】
上記構成によれば、これらの特徴を利用して、まずはレイアウト的にタイトル領域の有無を判定し、レイアウト的にタイトル領域であると判定（仮判定）できるものがあれば、その部分が文字より構成されているかどうかを判断し、文字で構成されている場合は、タイトル領域であると判定（本判定）する。これにより、精度よく、タイトル領域の有無を判断することができる。
【００２４】
本発明の画像処理装置においては、さらに、上記ファイル形式決定手段には、上記入力画像データの利用用途を示す選択信号が入力されるようになっており、上記ファイル形式決定手段は、上記選択信号より利用用途が画像ファイリングであることを判別すると、上記フォーマット化処理手段に対してデフォルト設定されているファイル形式に変更するよう指定する構成とすることが好ましい。
【００２５】
文書画像向きの出力ファイル形式は、文字部分が優先され、文字以外の部分の詳細情報が残りにくい形式であるため、ファイリング用途の一部である帳簿書類等の電子化には不向きである。
【００２６】
そこで、利用用途を示す選択信号をファイル形式決定手段に入力させる構成とし、電子ファイリング用途の場合に出力ファイル形式の自動切り替えを自動で行わない構成とすることで、帳簿書類等を間違って文書画像向きの出力ファイル形式で保存することを防止できる。
【００２７】
本発明は、上記した本発明の画像処理装置を搭載した画像形成装置及び画像読取装置も発明の範疇としている。
【００２８】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
【発明の効果】
【００２９】
以上のように、本発明の画像処理装置は、原稿画像を画像入力装置にて読み取ることで得られた入力画像データを指定されたファイル形式に変更するフォーマット化処理手段を備えた画像処理装置であって、上記入力画像データに対して文字認識処理を行う文字認識手段と、上記入力画像データに対して、ページ毎の画像のレイアウトを解析するレイアウト解析手段と、上記レイアウト解析手段の解析結果および上記文字認識手段の認識結果より、上記入力画像データが示す原稿画像が文字を多く含んでいる文字中心画像であるか否かを判定する原稿判定手段と、上記原稿判定手段の判定結果に基づいてファイル形式を決定し、上記フォーマット化処理手段に対して決定したファイル形式を指定するファイル形式決定手段とを有し、上記ファイル形式決定手段は、文字中心画像であると判定された場合に、文書画像に適したファイル形式を選択し、文字中心画像ではないと判定された場合に、写真画像に適したファイル形式を選択する構成である。
【００３０】
また、本発明の画像処理方法は、原稿画像を画像入力装置にて読み取ることで得られた入力画像データを指定されたファイル形式に変更するフォーマット化処理工程を含む画像処理方法であって、上記入力画像データに対して文字認識処理を行う文字認識工程と、上記入力画像データに対して、ページ毎の画像のレイアウトを解析するレイアウト解析工程と、上記レイアウト解析工程の解析結果および上記文字認識工程の認識結果より、上記入力画像データが示す原稿画像が文字を多く含んでいる文字中心画像であるか否かを判定する原稿判定工程と、上記原稿判定工程の判定結果に基づいてファイル形式を決定し、上記フォーマット化処理工程に対して決定したファイル形式を指定するファイル形式決定工程とを有し、上記ファイル形式決定工程においては、上記原稿判定工程にて文字中心画像であると判定された場合に、文書画像に適したファイル形式を選択し、上記原稿判定工程にて文字中心画像ではないと判定された場合に、写真画像に適したファイル形式を選択するものである。
【００３１】
これによれば、入力された原稿画像の文字の量に関する状況に応じて、ファイル形式が自動的に適したものへと切り換えられる。したがって、利用者は、自身で原稿画像の文字の量に関する状況を確認し、手動にて状況に適したファイル形式へと切り換える作業を伴うことなく、適切なファイル形式に変更させることが可能となる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態にかかる画像処理装置の要部の構成を示すブロック図である。
【図２】上記画像処理装置における信号前処理部の構成を示すブロックである。
【図３】上記画像処理装置におけるレイアウト解析部のレイアウト解析処理を示す説明図である。
【図４】上記画像処理装置におけるレイアウト解析部のレイアウト解析結果の一例を示す説明図である。
【図５】上記画像処理装置における原稿判定部の第１の具体例であるの第１原稿判定部の構成を示すブロック図である。
【図６】上記画像処理装置における、信号前処理部、文字認識部、レイアウト解析部、および第１原稿判定部で実施される、入力画像データより文字中心原稿であるか否かを判定するまでの大まかな処理の流れを示すフローチャートである。
【図７】上記画像処理装置における原稿判定部の第２の具体例であるの第２原稿判定部の構成を示すブロック図である。
【図８】（ａ）〜（ｄ）共に、上記第２原稿判定部が、レイアウト解析結果よりタイトル領域があると仮判定する処理を示す説明図である。
【図９】上記画像処理装置における、信号前処理部、文字認識部、レイアウト解析部、および第２原稿判定部で実施される、入力画像データより文字中心原稿であるか否かを判定するまでの大まかな処理の流れを示すフローチャートである。
【図１０】上記画像処理装置におけるファイル形式決定部の、ファイル形式を決定して指定信号を出力する処理の手順を示すフローチャートである。
【図１１】上記画像処理装置におけるフォーマット化処理部の構成を示すブロック図である。
【図１２】上記画像処理装置を搭載したデジタルカラー複合機のブロック図を示すもので、画像入力装置より原稿画像を読み取って画像データを生成し、該画像データに基づく画像を画像出力装置にて生成して出力する、いわゆるコピーモードにおけるデータの流れを示している。
【図１３】上記画像処理装置を搭載したデジタルカラー複合機のブロック図を示すもので、画像入力装置より原稿画像を読み取って画像データを生成し、該画像データのファイル形式を変更して送受信装置より出力する、送信モードにおけるデータの流れを示している。
【図１４】（ａ）（ｂ）共に、上記画像処理装置において中間調補正処理に用いるガンマ曲線の一例を示すグラフである。
【図１５】上記画像処理装置を搭載したデジタルカラー複合機の変形例を示すブロック図である。
【図１６】上記画像処理装置を搭載したデジタルカラー複合機の変形例を示すブロック図である。
【図１７】上記画像処理装置を搭載したデジタルカラースキャナのブロック図を示すものである。
【発明を実施するための形態】
【００３３】
以下、本発明の実施の一形態について、図１〜図１７を用いて説明する。
【００３４】
まずは、図１を用いて、本実施形態の画像処理装置１００の要部について説明する。図１は、本画像処理装置１００の要部構成を示すブロック図である。
【００３５】
図１に示すように、本画像処理装置１００は、フォーマット化処理部（フォーマット化処理手段）１１０、信号前処理部１１５、文字認識部（文字認識手段）１１１、レイアウト解析部（レイアウト解析手段）１１２、原稿判定部（原稿判定手段）１１３、およびファイル形式決定部（ファイル形式決定手段）１１４を備えている。
【００３６】
フォーマット化処理部１１０は、原稿画像をスキャナ等の画像読取装置にて読み取ることで得られた入力画像データを、指定されたファイル形式に変更するものである。変更された画像データは、出力画像データとして、図示しない送受信装置を介してネットワーク送信されたり、画像処理装置外部の記憶装置の所定アドレスに保存されたりする。
【００３７】
上記入力画像データは、モノクロ対応の画像読取装置にて読み取られた場合は２値の画像データであり、カラー対応の画像読取装置にて読み取られた場合は、ＲＧＢ信号のカラー画像データである。本実施形態では、入力画像データが、ＲＧＢ信号のカラー画像データである場合を例示する。
【００３８】
フォーマット化処理部１１０におけるファイル形式の指定は、後述するファイル形式決定部１１４からの指定信号に行われる。フォーマット化処理部１１０は、入力画像データを、ファイル形式決定部１１４より入力される指定信号が示すファイル形式へと変更する。フォーマット化処理部１１０の詳細については、図１１を用いて後述する。
【００３９】
信号前処理部１１５は、フォーマット化処理部１１０に入力されるＲＧＢ信号の入力画像データを、後段の文字認識部１１１およびレイアウト解析部１１２に適した状態になるように、信号変換処理や、２値化処理、解像度変換処理、原稿の傾き補正処理等を行うものである。信号前処理部１１５の出力は、文字認識部１１１とレイアウト解析部１１２とに出力される。信号前処理部１１５の詳細については、図２を用いて後述する。
【００４０】
文字認識部１１１は、ＯＣＲ技術を用いて入力画像データに対して文字認識処理を行うものである。文字認識処理の方法は特に限定されるものではなく、従来から公知の種々の方法を用いることができる。文字認識結果は、原稿判定部１１３と、フォーマット化処理部１１０へと出力される。また、本実施形態では、文字認識部１１１は、原稿画像の天地を判定する原稿天地判定にも利用されるようになっている。文字認識部１１１の詳細についても後述する。
【００４１】
レイアウト解析部１１２は、入力画像データに対して、ページ毎の画像のレイアウトを解析するものである。レイアウト解析結果は、原稿判定部１１３および文字認識部１１１へと出力される。レイアウト解析方法については、図３、図４を用いて後述する。
【００４２】
原稿判定部１１３は、レイアウト解析部１１２の解析結果および文字認識部１１１の認識結果より、入力画像データが示す原稿画像が文字画像を多く含んでいる文字中心画像であるか否かを判定するものである。判定結果は、ファイル形式決定部１１４へと出力される。文字中心画像であるかどうかの判定手法としては、例えば後記する２つの手法がある。原稿判定部１１３の詳細については、図５〜図９を用いて後述する。
【００４３】
ファイル形式決定部１１４は、原稿判定部１１３の判定結果に基づいてファイル形式を決定するものである。ファイル形式決定部１１４は、決定したファイル形式を示す指定信号をフォーマット化処理部１１０に対して出力する。ファイル形式決定部１１４は、文字中心画像であると判定された場合は、文書画像に適したファイル形式を選択し、文字中心画像ではないと判定された場合には、写真画像に適したファイル形式を選択する。また、本実施形態においては、ファイル形式決定部１１４に、入力画像データの用途を示す選択信号が入力されるようになっており、該選択信号の示す用途によっては、フォーマット化処理部１１０に対して、デフォルトのファイル形式を選択するよう指定する。ファイル形式決定部１１４の詳細については、図１０を用いて後述する。
【００４４】
また、図１に示す、文字認識部１１１、レイアウト解析部１１２、原稿判定部１１３、およびファイル形式決定部１１４にて、後述する図１２、図１３、図１５〜図１７に示す認識処理部１０９が構成されている。
【００４５】
以下、画像処理装置１００の各部について、詳細に説明する。まずは、図２を用いて、信号前処理部１１５の構成を説明する。図２は、信号前処理部１１５の構成を示すブロックである。
【００４６】
図２に示すように、信号前処理部１１５は、信号変換部１２１、２値化処理部１２２、解像度変換部１２３、原稿傾き検知部１２４、傾き補正部１２５を備えている。入力画像データは、信号変換部１２１に入力される。
【００４７】
信号変換部１２１は、ＲＧＢ信号の入力画像データを無彩化して輝度信号に変換するものである。例えば、信号変換部１２１は、Ｙｉ＝０．３０Ｒｉ＋０．５９Ｇｉ＋０．１１Ｂｉを演算することによりＲＧＢ信号を輝度信号Ｙに変換する。ここで、Ｙは各画素の輝度信号であり、Ｒ，Ｇ，Ｂは各画素のＲＧＢ信号における各色成分である。添え字のｉは画素毎に付与された値（ｉは１以上の整数）である。
【００４８】
また、信号変換部１２１は、ＲＧＢ信号の入力画像データを無彩化してＣＩＥ１９７６Ｌ*ａ*ｂ*信号（ＣＩＥ:Commission International de l'Eclairage、Ｌ*：明度、a*,ｂ*:色度）に変換する構成としてもよい。
【００４９】
２値化処理部１２２は、信号変換部１２１より入力された無彩化された画像データ（本実施例では輝度信号であるので輝度値）と、予め設定された閾値とを比較することにより画像データを２値化するものである。例えば、画像データが８ビットである場合、上記閾値を１２８とする。あるいは、複数の画素（例えば５画素×５画素）からなるブロックにおける濃度（画素値）の平均値を閾値としてもよい。
【００５０】
解像度変換部１２３は、２値化処理部１２２にて２値化された画像データの解像度を低解像度に変換するものである。例えば、１２００ｄｐｉや６００ｄｐｉで読み込まれた画像データを３００ｄｐｉに変換する。解像度変換の方法は特に限定されるものではなく、例えば、公知のニアレストネイバー法、バイリニア法、バイキュービック法などを用いることができる。
【００５１】
本実施形態では、解像度変換部１２３は、画像データを３００ｄｐｉと７５ｄｐｉとに低解像度化する。そして、原稿傾き検知部１２４には、３００ｄｐｉの画像データを出力し、レイアウト解析部には、７５ｄｐｉ（凡そのレイアウトが分かる程度の解像度）の画像データを出力する。
【００５２】
原稿傾き検知部１２４は、解像度変換部１２３によって低解像度に変換された画像データ（３００ｄｐｉ）に基づいて、画像読取時のスキャン範囲（正規の原稿位置）に対する原稿の傾き角度を検知するものである。画像読取装置におけるスキャン範囲（正規の原稿位置）に対して、読み取られる原稿の載置位置が傾いていた場合に、この傾き角度が検知される。傾き角度の検知方法は特に限定されるものではなく、従来から公知の種々の方法を用いることができる。検知した傾き角度の情報は、後段の傾き補正部１２５へと出力される。
【００５３】
ここでは、特許文献２に記載されている方法を用いた場合を説明する。この方法では、２値化された画像データからを黒画素と白画素との境界点（例えば各文字の上端における白／黒の境界点の座標）を複数個抽出し、各境界点の点列の座標データを求める。そして、この点列の座標データに基づいて回帰直線を求め、その回帰係数ｂを下記式（１）に基づいて算出する。
【００５４】
ｂ＝Ｓｘｙ／Ｓｘ ・・・（１）
なお、Ｓｘ，Ｓｙはそれぞれ変量ｘ，ｙの残差平方和であり、Ｓｘｙはｘの残差とｙの残差の積の和である。すなわち、Ｓｘ，Ｓｙ，Ｓｘｙは下記式（２）〜（４）で表わされる。
【００５５】
【数１】
【００５６】
そして、上記のように算出した回帰係数ｂより、下記式（５）に基づいて傾き角度θを算出する。
【００５７】
ｔａｎθ＝ｂ ・・・（５）
傾き補正部１２５は、原稿傾き検知部１２４で検知された傾き角度θに基づいて、原稿の座標を補正して、原稿の傾きを補正するものである。
【００５８】
原点を中心に、反時計まわりに角度θだけ、傾き補正した場合の補正前後の座標の関係は、補正前座標（Ｘ，Ｙ）、補正後座標（Ｘ’，Ｙ’）とすると、以下の式で表される。下記式を用いて原稿の傾き補正を行う。
【００５９】
【数２】
【００６０】
また、原点を中心に、反時計まわりに角度９０°、１８０°、２７０°回転する場合の回転前後の座標の関係は、回転前座標（Ｘ，Ｙ）、回転後座標（Ｘ’，Ｙ’）とすると、以下の式で表される。下記式を用いて原稿の傾き補正を行う。
【００６１】
（９０°回転時）
Ｘ’＝ オリジナル画像Ｙ方向サイズ − １ − Ｙ
Ｙ’＝ Ｘ
（１８０°回転時）
Ｘ’＝ オリジナル画像Ｘ方向サイズ − １ − Ｘ
Ｙ’＝ オリジナル画像Ｙ方向サイズ − １ − Ｙ
（２７０°回転時）
Ｘ’＝ Ｙ
Ｙ’＝ オリジナル画像Ｘ方向サイズ − １ − Ｘ 補正前座標（Ｘ，Ｙ）。
【００６２】
傾き補正部１２５による座標の補正にて、文字認識部１１１に入力される画像データ（３００ｄｐｉ）もレイアウト解析部１１２に入力される画像データ（７５ｄｐｉ）も原稿の傾きを含まないものとなる。
【００６３】
傾き補正部１２５にて傾きが補正された３００ｄｐｉの画像データは文字認識部１１１へと出力され、傾きが補正された７５ｄｐｉの画像データはレイアウト解析部１１２へと出力される。
【００６４】
なお、図１では記載していないが、原稿傾き検知部１２４、傾き補正部１２５の機能を用いて、フォーマット化処理部１１０の前段に設けられた原稿補正部にて、フォーマット化処理部１１０へと入力される画像データ（ＲＧＢ信号のカラー画像データ）に対しても、原稿の傾きが補正される。後述する図１２、図１３、図１５〜図１７に示す原稿補正部１５がこれに相当する。
【００６５】
次に、図３、図４を用いて、レイアウト解析部１１２におけるレイアウト解析の手順（一例）について説明する。
（１）まず、原稿の傾きが補正された画像データ（７５ｄｐｉ）に対し、最初のラインを注目ラインとし、黒画素にラベリングを行う。
（２）次に、注目ラインを一つ下のラインにずらし、黒画素について上記ラインとは異なるラベルをセットする。
（３）注目ラインと一つ上のラインの黒画素の連結状態を判定し、連結して入る場合は、画素が繋がっていると判断し、同じラベル（上のラインのラベル）に置き換える。
（４）上記処理を繰り返して文字を抽出する。抽出された文字より、図３に示すように、上端、下端、左端および右端の画素位置を基に外接矩形（１文字の文字領域に相当）を抽出する。このとき、画素の座標は、入力画像データの左端の位置を原点として求める。
（５）抽出された外接矩形のうち、垂直方向の長さのうち小さいものを除いて平均値を求める。この処理を行単位（外接矩形が求められる単位毎）に行う。また、外接矩形の下側の座標の平均値を算出する。
（６）外接矩形の下側の座標の平均値から、上記垂直方向の長さの平均値を基準とした所定範囲内に新たな黒画素が存在するか否か判定する。ここで、黒画素が存在する場合は、次の行の外接矩形を求め、上記（５）と同様にして矩形の垂直方向の長さの平均値を求める。上記垂直方向の長さの平均値を基準とした所定範囲としては、例えば、垂直方向の長さの平均値の１．５倍の範囲とする。そして、所定範囲内であれば、同じブロックであると判定する。一方、所定範囲外である場合は、別のブロックであると判定する。
【００６６】
図４に、学術論文の原稿（１ページ目）をレイアウト解析した結果を示す。５つのブロックＡ〜Ｅが抽出されている。
【００６７】
このうち、ブロックＡがタイトルの部分である。通常、タイトルは、原稿の上部あるいは右端に存在する。また、タイトルの特徴として、文字サイズが、本文を構成する部分に比べて大きい。つまり、外接矩形のサイズが、本文とみなされる領域の外接矩形よりも大きく、例えば、本文と見なされる領域の外接矩形の１．５倍以上ある。
【００６８】
また、ブロックＢが著者名が記載され部分であり、ブロックＣがアブストラクトの記載部分、ブロックＤ、Ｅが本文の記載部分である。なお、アブストラクトを本文と区別する必要はない。また、表やグラフを抽出することも可能である。
【００６９】
文字認識部１１１は、原稿の傾きが補正された画像データ（３００ｐｉ）を用いて、画像データの特徴量を抽出し、辞書データと比較して文字認識を行う。
【００７０】
本実施形態では、上述したように、文字認識部１１１は、原稿画像の天地を判定する原稿天地判定にも利用されるようになっている。原稿天地判定の場合は、一部のサンプリングされた文字に対して文字認識を行い、文字の向きを検出して原稿の天地を判定する。そして、画像データに含まれる全ての文字の文字認識については、原稿の天地が判定された状態で行う。
【００７１】
ここで、原稿天地判定について説明する。本実施形態の画像処理装置１００では、レイアウト解析部１１２を備えており、レイアウト解析により、原稿画像は、図４に示すような複数のブロックに分割される。そこで、画像処理装置１００は、まずはブロック毎の天地判定を行い、各ブロックの天地の判定結果を用いて最終的に原稿の天地を判定するようになっている。
【００７２】
原稿の天地判定には、例えば特許文献３の記載された方法を用いることができ、手順について説明する。
（Ａ）ＯＣＲ技術を用い文字認識を行い、原稿内の一文字、一文字を切り出し、その文字をパターン化する。なお、ここでは、あくまで原稿の天地が判定できればいいので、全ての文字に対して行うのではなく、サンプリングした一部の文字についてのみパターン化する。
（Ｂ）文字パターンの特徴とデータベース化された文字パターン情報を比較する。マッチングの方法としては、データベース化された文字パターンに切り出された文字パターンを重ね合わせ、画素ごとの白黒を比較し、全てが合致したときのデータベース化された文字パターンを入力パターンの文字であると判別する。全てが合致する文字パターンがない場合、マッチングする画素が最も多い文字パターンの文字であると判別する。なお、所定のマッチング割合に達しなければ判別不能と判断する。
（Ｃ）切り出された文字パターンを９０°、１８０°、２７０°回転させ、上記２）の処理を繰りかえす。
（Ｄ）上記（Ｂ）（Ｄ）で得られた文字パターンの回転角毎の判別可能な文字数の比較を行い、判別可能な文字数が最も多い回転角を文字の方向を、当該ブロックの天地方向とする。
（Ｅ）各ブロックの天地判定に基づいて、最も多くのブロックが天地方向とした方向を、原稿の天地方向と判定する。なお、全てのブロックの天地方向が揃わなかった場合に、表示部に画像表示を行い、ユーザに天地の確認を促すように構成してもよい。
（Ｆ）天地判定の結果は、文字認識部１１１にフィードバックされる。これにより、文字認識部１１１は、画像データに含まれる全ての文字の認識については、原稿の天地を判別した状態で行うことができる。
【００７３】
また、文字認識部１１１は、この画像データに含まれる全ての文字の認識を行う場合にも、レイアウト解析部１１２のレイアウト解析結果を用いて、抽出されたブロック毎に文字認識を行う。
【００７４】
なお、図１では記載していないが、傾き補正と同様に、この天地判定の結果を用いて、フォーマット化処理部１１０の前段に設けられた原稿補正部により、フォーマット化処理部１１０へと入力される画像データ（ＲＧＢ信号のカラー画像データ）に対しても原稿の天地が補正される。
【００７５】
次に、図５〜図９を用いて、原稿判定部１１３について説明する。上述したように、文字中心画像であるかどうかの判定手法として、ここでは２つの手法について説明する。図５が、第１原稿判定部１１３Ａの構成を示すブロック図であり、図７が第２原稿判定部１１３Ｂの構成を示すブロック図である。
【００７６】
まず、図５、図６を用いて、第１原稿判定部１１３Ａより説明する。第１原稿判定部１１３Ａは、原稿画像の文字の量に関する状況を、文字数あるいは文字領域の割合より検出するものである。文字数や文字領域の割合からは、高い精度で原稿画像における文字の量を検出可能である。
【００７７】
図５に示すように、第１原稿判定部１１３Ａは、文字計数部（文字計数手段）１３０、文字領域割合算出部（文字領域割合算出手段）１３１、および第１判定処理部（第１判定処理手段）１３２を備えている。
【００７８】
文字計数部１３０には、文字認識部１１１より文字認識結果が入力される。文字計数部１３０は、文字認識部１１１において認識された文字のページ毎の総数を数えるものであり、ページ毎に文字数の合計を求める。
【００７９】
文字領域割合算出部１３１には、レイアウト解析部１１２よりレイアウト解析結果が入力されると共に、文字認識部１１１より文字認識結果が入力される。文字領域割合算出部１３１は、レイアウト解析部１１２の解析結果および文字認識部１１１の認識結果より、原稿画像における文字領域の占める割合を算出する。具体的には、文字領域割合算出部１３１は、文字認識部１１１にて文字認識された各文字について、レイアウト解析部１１２が求めた外接矩形の面積を合計し、原稿画像（１ページ分の画像全体）の全面積に対する認識された全文字の外接矩形の総面積の割合を算出する。
【００８０】
上述したように、本画像処理装置１００においては、文字認識部１１１は、レイアウト解析部１１２のレイアウト解析結果に基づき、抽出されたブロック単位で文字認識を行うので、文字計数部１３０の認識文字の計数、および文字領域割合算出部１３１における外接矩形の面積加算の処理も、ブロック毎に実施される。
【００８１】
第１判定処理部１３２は、文字計数部１３０にて計数された１ページ中に含まれる文字の総数、および文字領域割合算出部１３１にて算出された文字領域の割合に基づいて、文字中心画像であるか否かを判定するものであり、判定結果は、ファイル形式決定部１１４へと送られる。
【００８２】
第１判定処理部１３２には、文字計数部１３０より、原稿画像（ページ単位）における文字認識された文字の総数を示す計数結果が入力されると共に、文字領域割合算出部１３１より、原稿画像（ページ単位）における文字認識された各文字の外接矩形の総面積が原稿画像の総面積に対して占める割合（以下、文字領域割合）の算出結果が入力される。
【００８３】
第１判定処理部１３２は、文字数および文字領域割合の比較基準として予め定められている規定値と比較し、少なくとも文字数が多いあるいは文字領域割合が高い場合に、文字中心画像と判定し、文字数が少なくかつ文字領域割合も低い場合に、文字中心画像ではないと判定する。
【００８４】
換言すると、第１判定処理部１３２は、文字数が規定値以上の場合は、たとえ文字領域割合が規定値未満でも、文字中心画像と判定する。同様に、文字領域割合が規定値以上の場合は、たとえ文字数が規定値未満であっても文字中心画像と判定する。そして、文字数が規定値未満であり、かつ、文字領域割合も規定値未満である場合に、文字中心画像ではないと判定する。
【００８５】
ここで、規定値の例としては、例えば文字数１５０文字以上、文字領域割合２０％以上などが考えられる。規定値については、ユーザが任意設定できるように構成したり、予め用意された複数セットの中から、ユーザが自由に選択設定できる構成としたりしてもよい。
【００８６】
図６のフローチャートに、信号前処理部１１５、文字認識部１１１、レイアウト解析部１１２、および第１原稿判定部１１３Ａで実施される、入力画像データより文字中心原稿であるか否かを判定するまでの大まかな処理の流れを示す。
【００８７】
信号前処理部１１５にて、原稿傾きが検知され（Ｓ１）、傾きが補正される（Ｓ２）。傾きが補正された画像データを用いて、レイアウト解析部１１２がレイアウト解析を行う（Ｓ３）。レイアウト解析の結果を基に、文字認識部１１１による文字認識を利用して、抽出された最も多くのブロックが示す方向を、原稿の天地方向とする（Ｓ４）。
【００８８】
原稿の天地が判定されると、文字認識部１１１は、画像全体の文字認識を開始する。ここで、文字認識は、レイアウト解析の結果を用いてブロック単位で実施する。文字認識部１１１が最初のブロックの文字認識を実施すると（Ｓ５）、その結果を用いて、第１原稿判定部１１３Ａが、認識された文字数を計測し（Ｓ６）、認識された文字の文字領域の面積を求める（Ｓ７）。
【００８９】
そして、Ｓ８において、当該ページの原稿画像に含まれる全てのブロックの処理が完了したかどうかを判断し、ブロックが残っている場合は、Ｓ５に戻り、次のブロックについて、Ｓ５〜Ｓ７を行って、認識された文字数の計測・加算、認識された文字の文字領域面積の算出・加算を行う。この処理を、Ｓ８において、全てのブロックの処理が完了したと判断するまで繰り返す。
【００９０】
Ｓ８において、全てのブロックについて処理が完了していると判断すると、Ｓ９に移行し、第１原稿判定部１１３Ａが、加算された文字領域面積より文字領域の割合を求め、求めた文字領域割合と文字数の総数に基づいて、文字中心画像であるか否かを判定する。判定結果は、ファイル形式決定部１１４へと送られる。
【００９１】
その後、ファイル形式決定部１１４が、判定結果を用いて、ファイル形式を決定する（Ｓ１０）。なお、Ｓ１０の処理の詳細については、図１０のフローチャートを用いて後述する。
【００９２】
続いて、図７〜図９を用いて、第２原稿判定部１１３Ｂについて説明する。第２原稿判定部１１３Ｂは、原稿画像の文字の量に関する状況を、タイトル領域があるかどうかで検出するものである。タイトル領域を有するということは、原稿画像は、文字を多く含む文書よりなる原稿である蓋然性が高い。そのため、タイトル領域の有無の情報より、高い精度で原稿画像における文字の量を検出可能である。
【００９３】
図７に示すように、第２原稿判定部１１３Ｂは、タイトル領域判定部（タイトル領域判定手段）１４０、および第２判定処理部（第２判定処理手段）１４１を備えている。
【００９４】
タイトル領域判定部１４０は、レイアウト解析部１１２の解析結果および文字認識部１１１の認識結果より、原稿画像にタイトル領域が有るかどうかを判定するものである。タイトル領域判定部１４０は、仮判定部（仮判定手段）１４２と、本判定部（本判定手段）１４３とを備えている。
【００９５】
仮判定部１４２は、レイアウト解析部１１２の解析結果より、一般的にタイトルが位置すると予想される位置に、原稿画像の他の領域よりも文字の外接矩形のサイズが大きく（文字サイズが大きく）、かつ該外接矩形が連続してなる帯状ブロックが規定以上の長さを有する場合に、これをタイトル領域と仮判定するものである。
【００９６】
ここで、図８（ａ）〜図８（ｄ）を用いて、仮判定部１４２が、レイアウト解析結果よりタイトル領域を仮判定する手順について説明する。仮判定部１４２は、レイアウト解析部１１２の解析結果を基に、抽出されたブロックの条件が以下のような条件である場合に、そのブロックはタイトル領域であると判定（仮判定）する。
【００９７】
図８（ａ）〜図８（ｄ）は、前述した図４のレイアウト解析結果を有する原稿を、４方向に回転した状態で入力された場合に取得される画像データのレイアウト解析結果を表している。４方向の内、図８（ａ）が上向き、図８（ｂ）が右向き、図８（ｃ）が下向き、図８（ｄ）が左向きの場合を表す。
【００９８】
画像データの方向が上向き・右向き・下向き・左向きと想定した場合のそれぞれに対する方向の上側（図８（ａ）〜図８（ｄ）のブロックＡの位置）または右側に、規定値以上の外接矩形サイズで、規定値以上の長さを有するブロックがある場合に、タイトル領域であると判定する。
【００９９】
規定値の例としては、例えば外接矩形サイズが１８ポイント以上や本文領域の外接矩形サイズの１．５倍以上、画像データの幅または高さの４０％以上の長さなどが考えられる。ここで、画像データの幅または高さとは、図８（ａ）の参照符号Ｌ１、Ｌ２の寸法である。このような規定値の場合、図８（ａ）〜図８（ｄ）では、ブロックＡがタイトル領域として判定される。規定値は、ユーザが任意設定できるようにしたり、あるいは複数セット用意しておき、ユーザにより選択可能な構成にしたりしてもよい。
【０１００】
本判定部１４３は、仮判定部１４２にてタイトル領域と判定（仮判定）された部分に対する文字認識結果が規定以上の認識率である場合に、タイトル領域であると本判定するものである。本判定部１４３には、仮判定部１４２より、タイトル領域であると仮判定したブロックの情報と、文字認識部１１１より文字認識結果が入力される。
【０１０１】
例えば、本判定部１４３は、仮判定部１４２にてタイトル領域であると判定されたブロックに対し、規定値以上の文字認識率である場合に、最終的にタイトル領域であると本判定する。
【０１０２】
文字認識率の規定値の例としては、例えばブロックに含まれる外接矩形の５０％以上が文字認識されている場合などが考えられる。これにおいても、規定値については、ユーザが任意設定できるように構成したり、予め用意された複数セットの中から、ユーザが自由に選択設定できる構成としたりしてもよい。
【０１０３】
第２判定処理部１４１は、タイトル領域判定部１４０の判定結果に基づき、タイトル領域が有る場合は文字中心画像と判定し、タイトル領域が無い場合は文字中心画像ではないと判定するものであり、判定結果は、ファイル形式決定部１１４へと送られる。
【０１０４】
図９のフローチャートに、信号前処理部１１５、文字認識部１１１、レイアウト解析部１１２、および第２原稿判定部１１３Ｂで実施される、入力画像データより文字中心原稿であるか否かを判定するまでの大まかな処理の流れを示す。
【０１０５】
信号前処理部１１５にて、原稿傾きが検知され（Ｓ２１）、傾きが補正される（Ｓ２２）。傾きが補正された画像データを用いて、レイアウト解析部１１２がレイアウト解析を行う（Ｓ２３）。レイアウト解析の結果を基に、第２原稿判定部１１３Ｂが、タイトル領域であるブロックが存在するかどうかを仮判定する（Ｓ２４）。
【０１０６】
次に、文字認識部１１１による文字認識を利用して、抽出された最も多くのブロックが示す方向を、原稿の天地方向とする（Ｓ２５）。
【０１０７】
原稿の天地が判定されると、文字認識部１１１は、画像全体の文字認識を開始する。ここで、文字認識は、レイアウト解析の結果を用いてブロック単位で実施する（Ｓ２６）。
【０１０８】
文字認識が完了すると、Ｓ２７に進んでＳ２４の仮判定でタイトル領域であると仮判定されたブロックがあるかどうかを判断し、ある場合はＳ２８に進んで、文字認識結果を用いて、タイトル領域の本判定を行う。なお、無い場合は、Ｓ２８をスキップする。
【０１０９】
続くＳ２９では、タイトル領域の有無に基づいて、文字中心画像であるか否かを判定する。判定結果は、ファイル形式決定部１１４へと送られる。
【０１１０】
その後、ファイル形式決定部１１４が、判定結果を用いて、ファイル形式を決定する（Ｓ３０）。なお、Ｓ３０の処理は、図６のフローチャートのＳ１０の処理と同じであり、詳細については、図１０のフローチャートを用いて後述する。
【０１１１】
次に、図１０を用いて、ファイル形式決定部１１４による処理について説明する。図１０は、ファイル形式決定部１１４による、ファイル形式を決定して指定信号を出力する処理の手順を示すフローチャートである。
【０１１２】
上述したようにファイル形式決定部１１４は、原稿判定部１１３（第１原稿判定部１１３Ａ，第２原稿判定部１１３Ｂ）の判定結果に基づいてファイル形式を決定するものである。決定したファイル形式は、フォーマット化処理部１１０に対して指定信号として出力される。
【０１１３】
ファイル形式決定部１１４は、文字中心画像であると判定された場合は、文書画像に適したファイル形式を選択し、文字中心画像ではないと判定された場合には、写真画像に適したファイル形式を選択する。
【０１１４】
より具体的には、本実施形態においては、ファイル形式決定部１１４は、文書画像に適したファイル形式として、原稿画像における文字部分を２値画像として格納し、原稿画像におけるその他の部分を多階調画像として格納する高圧縮ＰＤＦ形式を選択する。また、写真画像に適した出力ファイル形式としては、原稿画像全体を多階調画像として格納する通常ＰＤＦ形式を選択する。
【０１１５】
また、本実施形態においては、ファイル形式決定部１１４には、入力画像データの用途を示す選択信号が入力される。ファイル形式決定部１１４は、選択信号より用途が、画像ファイリングであることを判別すると、フォーマット化処理部１１０に対してデフォルト設定されているファイル形式に変更するよう指定するようになっている。
【０１１６】
文書画像向きの出力ファイル形式は、文字部分が優先され文字以外の部分の詳細情報が残りにくい形式であるため、ファイリング用途の一部である帳簿書類等の電子化には不向きである。
【０１１７】
そこで、利用用途を示す選択信号をファイル形式決定部１１４に入力させる構成とし、電子ファイリング用途の場合に出力ファイル形式の自動切り替えを自動で行わない構成とすることで、帳簿書類等を間違って文書画像向きの出力ファイル形式で保存することを防止できる。
【０１１８】
本画像処理装置１００が、例えば画像ファイリング機能を有する画像形成装置（例えば、ＭＦＰ）に搭載された場合は、ユーザが操作パネル等を用いて選択した処理モード（scan to e-mailモード、scan to FTPモード、scan to 共有フォルダモード、scan to Desktopモード等）を示す選択信号がファイル形式決定部１１４に入力される。ファイル形式決定部１１４は、選択信号より、選択された処理モードが予め設定された画像ファイリングに係る処理モード（例えば、scan to 共有フォルダモード）である場合に、用途が画像ファイリングであることを判別する。scan to e-mailモード、scan to FTPモード、scan to 共有フォルダモード、scan to Desktopモード等のうち、scan to FTPモードとscan to 共有フォルダモードが画像ファイリングに関わるモードとなり得る。装置の仕様により、その両方、あるいは、何れか一方が、画像ファイリングに関わるモードとして事前に設定されている。
【０１１９】
図１０のフローチャートに、ファイル形式決定部１１４の処理手順を示す。ファイル形式決定部１１４は、まず、選択信号がＯＫかどうか、つまり画像ファイリングの用途であるかどうかを判断する（Ｓ３１）。ここで、選択信号が、用途として画像ファイリングを示す場合は、選択信号ＯＫではないと判断してＳ３５に進み、デフォルト形式を選択する。
【０１２０】
一方、選択信号が、用途として画像ファイリングを示すものではない場合は、選択信号ＯＫと判断してＳ３２に進み、原稿判定部１１３の判別結果が、文字中心原稿であるか否かを判断する。
【０１２１】
ここで、文字中心原稿である場合は、Ｓ３３に進み高圧縮ＰＤＦ形式を選択する。一方、文字中心原稿ではない場合は、Ｓ３４に進み通常のＰＤＦ形式を選択する。
【０１２２】
Ｓ３３、Ｓ３４、Ｓ３５において、ファイル形式の選択が完了すると、Ｓ３６に進み、それぞれ選択したファイル形式を指定する指定信号をフォーマット化処理部１１０へと送信する。
【０１２３】
次に、図１１を用いて、フォーマット化処理部１１０について説明する。図１１は、フォーマット化処理部１１０の構成を示すブロック図である。フォーマット化処理部１１０は、透明テキスト作成部１５０と、画像ファイル生成部１５１とを備えている。
【０１２４】
透明テキスト作成部１５０には、文字認識部１１１より文字認識結果が入力される。透明テキスト作成部１５０は、文字認識結果に基づいて透明テキストを生成し、画像ファイル生成部１５１に出力する。透明テキストとは、認識された文字をテキスト情報として、見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。
【０１２５】
画像ファイル生成部１５１は、入力画像データを、指定信号にて指定されたファイル形式に変更するものである。指定されたファイル形式に応じ、入力画像データを所定の形式で圧縮処理し、この圧縮処理した画像データと、透明テキストとに基づいて所定のフォーマットの画像ファイルを生成するものである。
【０１２６】
本実施形態では、ＲＧＢ信号の入力画像データを、ファイル形式決定部１１４の指定に従って、通常のＰＤＦ形式あるいは高圧縮ＰＤＦ形式に変更するとともに、文字認識結果に基づいて生成された透明テキストを各画像ファイルに埋め込む。
【０１２７】
画像ファイル生成部１５１は、高圧縮ＰＤＦ形式が指定されると、入力画像データにおける原稿画像の文字部分の画像は文字が判読しやすい解像度（たとえば３００ｄｐｉ）のＭＭＲ（Modified Modified Read）圧縮画像とし、原稿画像のその他の部分は、解像度がたとえば１５０ｄｐｉのＪＰＥＧ（Joint Photographic Experts Group）画像に圧縮する。また、通常ＰＤＦ形式が指定されると、原稿画像全体をたとえば１５０ｄｐｉのＪＰＥＧ画像に圧縮する。
【０１２８】
ここで、高圧縮ＰＤＦ生成処理の手順について説明する。
（I）前景マスク生成処理
入力画像から文字画素を表す前景マスクを抽出する。この処理としては、領域分離処理において、文字領域であると判定された画素を２値化し文字画素を抽出する。
（II）前景色インデックス化処理
前景画素色をインデックス化し、インデックス画像を表す前景レイヤーと、前景レイヤーの各文字色、および各文字色領域の最大・最小座標、各インデックスに属する画素数を格納した前景インデックスカラーテーブルを生成する。この処理としては、特許文献４に記載されている方法を用いることができる。これは、前景色のインデックス化処理に関する方法であり、前景レイヤー生成時に全ての前景画素を限られた色数で表す方法である。詳細には、前景画素について、前景インデックスカラーテーブルを更新していくことで、最終的に前景画像のインデックス化を行う。各前景画素について、前景画素色が既に前景インデックスカラーテーブルに登録されていると判断された場合、前景インデックスカラーテーブル内で、最も近い色を有するインデックス値を割り当てる。前景画素色が前景インデックスカラーテーブルに登録されていないと判断された場合は、新規インデックス値を割り当て、前景インデックスカラーテーブルに登録する。上記処理を繰り返すことにより、前景画像をインデックス化する。
（III）背景レイヤー生成処理
入力画像から前景画素を取り除いて、背景レイヤーを生成する処理であり、背景レイヤーの圧縮率を向上するために、前景画素周辺の前景画素でない周辺背景レイヤー画素を用いて穴埋め処理を行う。前景画素周辺の前景画素でない背景画素を参照し、その背景画素の平均値を用いて、背景レイヤー前景画素部を穴埋めする。また、近傍に前景画素でない背景画素が存在しない場合、近傍穴埋め処理結果を用いる。
（IV）２値画像生成処理
入力される前景レイヤーと、前景色インデックス化処理にて生成された座標情報を用いて、各インデックスの２値化画像を出力する。
（V）圧縮処理
各レイヤーに適切な圧縮処理を適用する。前述の通り、前景レイヤーは、ＭＭＲ：可逆圧縮技術を用いて圧縮する。一方、背景レイヤーはＪＰＥＧ：非可逆圧縮技術を用いて圧縮する。
【０１２９】
上記処理は、本画像処理装置１００が複合機に搭載される場合は、後述する図１２、図１３に示す中間調生成部の後段に圧縮処理部を設け、高圧縮ＰＤＦを生成する際、圧縮処理部からのデータを用いるようにしても良い。
【０１３０】
また、ここではＰＤＦ形式を例示しているが、高解像度の２値画像と低解像度の背景画像とを重ねて配置することができるレイヤー構成が可能なファイルフォーマットであればどのような形式でもよい。例えば、マイクロソフト（商標）のパワーポイント（商標）など画像を重ねて配置できるようなアプリケーションは多数あり、複数の画像を重ねて配置できるようなアプリケーションの専用ファイルフォーマットで保存するという方法も考えられる。
【０１３１】
以上のように、本画像処理装置１００では、原稿を読み取って得られた画像データをフォーマット化処理部１１０にてそのファイル形式を変更するにあたり、レイアウト解析と文字認識処理とを利用して原稿画像の文字の量に関する状況を検出し、この状況に応じたファイル形式を自動的に選択して変更することができる。
【０１３２】
これにより、利用者は、自身で原稿画像の文字の量に関する状況を確認し、手動にて状況に適したファイル形式へと切り換える作業を伴うことなく、適切なファイル形式に変更させることが可能となり、装置の利便性を向上することができる。
【０１３３】
そして、本画像処理装置１００は、複写機、複合機、画像読取装置等に搭載させることができる。
【０１３４】
図１２、図１３に、本画像処理装置１００を搭載したデジタルカラー複合機１のブロック図を示す。このうち、図１２は、スキャナ等の画像入力装置２より原稿画像を読み取って画像データを生成し、該画像データに基づく画像を画像出力装置４にて生成して出力する、いわゆるコピーモードにおけるデータの流れを示している。
【０１３５】
一方、図１３は、スキャナ等の画像入力装置２より原稿画像を読み取って画像データを生成し、該画像データのファイル形式を変更して送受信装置５より出力する、送信モードにおけるデータの流れを示している。
【０１３６】
図１２、図１３に示すように、デジタルカラー複合機１は、画像入力装置２、画像処理装置３、画像出力装置４、送受信装置５、および操作パネル６を備えている。なお、本画像処理装置１００は、画像処理装置３に搭載されている。
【０１３７】
画像入力装置２は、原稿の画像を読み取って画像データを生成するものであり、例えばＣＣＤ（Charge Coupled Device ）などの光学情報を電気信号に変換するデバイスを備えたスキャナ部（図示せず）より構成されている。本実施形態では、画像入力装置２は、原稿からの反射光像を、ＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号として画像処理装置３に出力する。
【０１３８】
画像処理装置３は、図１２、図１３に示すように、Ａ／Ｄ変換部１１、シェーディング補正部１２、入力処理部１３、信号前処理部１１５、原稿補正部１５、色補正部（色変換部）１６、黒生成／下色除去部１７、空間フィルタ部１８、出力階調補正部１９、中間調生成部（中間調生成部）２０、領域分離部２１、認識処理部１０９、フォーマット化処理部１１０、記憶部２３、および制御部（ＣＰＵ）２４を備えている。
【０１３９】
記憶部２３は画像処理装置３で扱われる各種データ（画像データ等）を記憶する記憶手段である。記憶部２３の構成は特に限定されるものではないが、例えばハードディスクなどを用いることができる。また、制御部２４は、画像処理装置３に備えられる各部の動作を制御する制御手段である。この制御部２４は、デジタルカラー複合機１の主制御部（図示せず）に備えられるものであってもよく、主制御部とは別に備えられ、主制御部と協働して処理を行うものであってもよい。
【０１４０】
画像処理装置３は、コピーモードでは、画像入力装置２から入力された画像データに種々の画像処理を施して得られるＣＭＹＫの画像データを画像出力装置４に出力する。
【０１４１】
また、画像処理装置３は、送信モードでは、画像入力装置２から入力された画像データに傾き補正処理、原稿画像領域抽出処理、変倍処理、回転処理等の画像処理を施すと共に、画像処理後の画像データに基づいて一般に普及している表示装置の表示特性に適合したＲ’Ｇ’Ｂ’の画像データ（例えば、ｓＲＧＢデータ）を生成し、生成したＲ’Ｇ’Ｂ’の画像データを、フォーマット化処理部１１０にて、原稿の状況に応じたファイル形式に変更して送受信装置５に出力する。
【０１４２】
画像出力装置４は、画像処理装置３から入力された画像データを記録材（例えば紙等）上に出力するものである。画像出力装置４の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いた画像出力装置を用いることができる。
【０１４３】
送受信装置５は、例えばモデムやネットワークカードより構成される。送受信装置５は、ネットワークカード、ＬＡＮケーブル等を介して、ネットワークに接続された他の装置（例えば、パーソナルコンピュータ、サーバ装置、表示装置、他のデジタル複合機、ファクシミリ装置等）とデータ通信を行う。送受信装置５は、画像データを送信する場合、相手先との送信手続きを行って送信可能な状態が確保されると、所定の形式で圧縮された画像データをメモリから読み出し、圧縮形式の変更など必要な処理を施して、通信回線を介して相手先に順次送信する。また、送受信装置５は、画像データを受信する場合、通信手続きを行うとともに、相手先から送信されてくる画像データを受信して画像処理装置３に入力する。受信した画像データは、画像処理装置３で伸張処理、回転処理、解像度変換処理、出力階調補正、階調再現処理などの所定の処理が施され、画像出力装置４によって出力される。なお、受信した画像データを記憶装置（図示せず）に保存し、画像処理装置３が必要に応じて読み出して上記所定の処理を施すようにしてもよい。
【０１４４】
操作パネル６は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され（いずれも図示せず）、デジタルカラー複合機１の主制御部（図示せず）の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル６を介して入力画像データに対する処理モード、印刷枚数、用紙サイズ、送信先アドレスなどの各種情報を入力することができる。
【０１４５】
上記主制御部は、例えばＣＰＵ（Central Processing Unit）等からなり、図示しないＲＯＭ等に格納されたプログラムや各種データ、操作パネル６から入力される情報等に基づいて、デジタルカラー複合機１の各部の動作を制御する。
【０１４６】
次に、コピーモードにおける画像処理装置３の動作についてより詳細に説明する。コピーモードの場合、図１２に示すように、まず、Ａ／Ｄ変換部１１が、画像入力装置２から入力されたＲＧＢのアナログ信号をデジタル信号に変換してシェーディング補正部１２に出力する。
【０１４７】
シェーディング補正部１２は、Ａ／Ｄ変換部１１から送られてきたデジタルのＲＧＢ信号に対して、画像入力装置２の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施し、入力処理部１３に出力する。
【０１４８】
入力処理部（入力階調補正部）１３は、シェーディング補正部１２にて各種の歪みが取り除かれたＲＧＢ信号に対して、カラーバランスを整えると同時に、濃度信号など画像処理装置３に採用されている画像処理システムの扱い易い信号に変換する処理を施すものである。また、下地濃度の除去やコントラストなどの画質調整処理を行う。また、入力処理部１３は、上記の各処理を施した画像データを記憶部２３に記憶させる。
【０１４９】
信号前処理部１１５は、上述したように、画像データを、後段の認識処理部１０９に適した信号となるように処理するものである。但し、コピーモードでは、認識処理部１０９よりフォーマット化処理部１１０へと指定信号が出力されたり、文字認識結果が出力されることはない。コピーモードの場合、信号前処理部１１５は、原稿傾き検知部１２４で検知された傾き角度の情報、あるいは傾き補正部１２５で補正した座標情報を、原稿補正部１５へと出力する。また、認識処理部１０９は、原稿の天地判定結果を原稿補正部１５へと出力する。
【０１５０】
原稿補正部１５は、信号前処理部１１５、認識処理部１０９から出力される、原稿傾きの情報や原稿の天地の情報に従って、入力処理部１３から入力される画像データ、あるいは記憶部２３に保存されている画像データに対して、傾き補正処理、天地補正処理などを行う。
【０１５１】
また、原稿補正部１５によって上記の各処理がなされた画像データを、記憶部２３においてファイリングデータとして管理するようにしてもよい。
【０１５２】
画像データが、ファイリングデータとして管理される場合、上記画像データは、例えば、ＪＰＥＧ圧縮アルゴリズムに基づいてＪＰＥＧコードに圧縮されて記憶部２３に格納される。そして、この画像データに対するコピー出力動作やプリント出力動作が指示された場合には、記憶部２３からＪＰＥＧコードが引き出されて不図示のＪＰＥＧ伸張部に引き渡され、復号化処理が施されてＲＧＢデータに変換される。また、上記の画像データに対して送信動作が指示された場合には、記憶部２３からＪＰＥＧコードが引き出され、ネットワーク網や通信回線を介して送受信装置５から外部装置へ送信される。
【０１５３】
色補正部１６は、色再現の忠実化実現のために、不要吸収成分を含むＣＭＹ（Ｃ：シアン・Ｍ：マゼンタ・Ｙ：イエロー）色材の分光特性に基づいた色濁りを取り除く処理を行うものである。
【０１５４】
黒生成／下色除去部１７は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理を行うものである。これにより、ＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。
【０１５５】
空間フィルタ部１８は、黒生成／下色除去部１７より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理（強調処理および／または平滑化処理）を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。
【０１５６】
中間調生成部２０は、空間フィルタ部１８と同様、ＣＭＹＫ信号の画像データに対して領域識別信号を基に所定の処理を施すものである。
【０１５７】
例えば、領域分離部２１にて文字に分離された領域は、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ部１８による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、中間調生成部２０においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。また、領域分離部２１にて網点領域に分離された領域に関しては、空間フィルタ部１８において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部１９では、濃度信号などの信号を画像出力装置４の特性値である網点面積率に変換する出力階調補正処理を行った後、中間調生成部２０で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理（中間調生成）が施される。領域分離部２１にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
【０１５８】
領域分離部２１は、ＲＧＢ信号より、入力画像中の各画素を黒文字領域、色文字領域、網点領域、印画紙写真（連続階調領域）領域の何れかに分離するものである。領域分離部２１は、分離結果に基づき、画素がどの領域に属しているかを示す領域分離信号を、黒生成／下色除去部１７、空間フィルタ部１８、および中間調生成部２０へと出力する。
【０１５９】
なお、認識処理部１０９における原稿判定部１１３およびファイル形式決定部１１４、フォーマット化処理部１１０は、コピーモードでは動作を行わない。
【０１６０】
上述した各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されて画像出力装置４に入力される。
【０１６１】
次に、送信モードにおける画像処理装置３の動作について、図１３を参照しながら説明する。なお、送信モードにおけるＡ/Ｄ変換部１１、シェーディング補正部１２、入力処理部１３、原稿補正部１５、および領域分離部２１の処理は、コピーモード時と同様である。なお、領域分離部２１は領域分離信号を空間フィルタ部１８および中間調生成部２０に対して出力する。
【０１６２】
信号前処理部１１５は、画像形成モード時と同様の動作を行うとともに、２値化、低解像度化、傾き補正を行った画像データを認識処理部１０９に出力する。
【０１６３】
認識処理部１０９は、信号前処理部１１５より入力された画像データに基づいて、文字認識を行う。また、文字中心原稿であるかどうか、および処理モードがscan to e-mailモード、ファイリング等の処理ではないかどうかを判断して、ファイル形式を指定する指定信号を出力する。文字認識結果は、フォーマット化処理部１１０の透明テキスト作成部１５０に入力され、指定信号は画像ファイル生成部１５１に入力される。
【０１６４】
一方、色補正部１６は、原稿補正部１５から入力されたＲＧＢの画像データを、一般に普及している表示装置の表示特性に適合したＲ’Ｇ’Ｂ’の画像データ（例えば、ｓＲＧＢデータ）に変換し、黒生成／下色除去部１７に出力する。黒生成／下色除去部１７は、色補正部１６から入力された画像データをそのまま空間フィルタ部１８に出力（スルー）する。
【０１６５】
空間フィルタ部１８は、黒生成／下色除去部１７より入力されるＲ’Ｇ’Ｂ’の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理（強調処理および／または平滑化処理）を行って、出力階調補正部１９に出力する。出力階調補正部１９は、空間フィルタ部１８から入力されたＲ’Ｇ’Ｂ’の画像データに対して領域識別信号を基に所定の処理を施し、フォーマット化処理部１１０における画像ファイル生成部１５１に出力する。
【０１６６】
例えば、出力階調補正部１９は、文字領域に対しては図１４（ｂ）に実線で示したガンマ曲線を用いた補正を行い、文字領域以外の領域に対しては図１４（ａ）に示したガンマ曲線を用いた補正を行う。図１４（ｂ）の破線で示したガンマ曲線は、図１４（ａ）に示したガンマ曲線である。図１４（ａ）に示したガンマ曲線としては、例えば送信先の外部装置に備えられる表示装置の表示特性に応じた曲線を設定しておき、文字領域のガンマ曲線は文字をくっきり表示できるように設定しておくことが好ましい。
【０１６７】
出力階調補正部１９から出力されたＲ’Ｇ’Ｂ’の画像データは、中間調生成部２０に出力する。中間調生成部２０は、出力階調補正部１９から入力されたＲ’Ｇ’Ｂ’の画像データをそのまま後段のフォーマット化処理部１１０における画像ファイル生成部１５１に出力（スルー）する。
【０１６８】
フォーマット化処理部１１０の透明テキスト作成部１５０は、文字認識結果より透明テキストを作成し、画像ファイル生成部１５１へと出力する。画像ファイル生成部１５１は、中間調生成部２０からスルーされてきたＲ’Ｇ’Ｂ’の画像データを、指定信号に従って、通常のＰＤＦ形式あるいは高圧縮ＰＤＦ形式、あるいはデフォルト設定されているファイル形式に変更するとともに、作成された透明テキストを各画像ファイルに埋め込む。
【０１６９】
なお、本実施形態では、画像データに透明テキストを付加して送信するものとしているが、これに限るものではなく、ファイル形式のみ変更して、透明テキストを付加せずに送信するようにしてもよい。なお、透明テキストを付加しない場合には、認識処理部１０９からフォーマット化処理部１１０へのデータ出力を行わないようにしてもよい。
【０１７０】
送受信装置５は、フォーマット化処理部１１０から入力された画像ファイルを、ネットワークを介して通信可能に接続された外部装置に送信する。例えば、送受信装置５は、上記の画像ファイルを図示しないメール処理部（ジョブ装置）によって電子メールに添付して送信する。また、scan to e-mailモードが選択された場合は、指定されたメールアドレスへ、上記画像ファイルを電子メールに添付して送信する。また、scan to FTPモード、scan to 共有フォルダモードが選択された場合は、デジタルカラー複合機１外部のファイルサーバ内の指定のアドレス（例えば、ＩＰアドレス）へ、上記画像ファイルを送信する。なお、デジタルカラー複合機１内部に設けた図示しないハードディスクを、ファイルサーバの代わりに使用することもできる。
【０１７１】
なお、図１２、図１３のデジタルカラー複合機１では、認識処理部１０９を領域分離部の前段に設けている。しかしながら、図１５に示すように、認識処理部１０９を領域分離部２１の後段に設けて、領域分離信号より作成されたテキストマップ（文字エッジと判定された画素よりなる画像領域）を参照して、レイアウト解析、文字領域に対する文字認識を行うようにしても良い。
【０１７２】
あるいは、図１６に示すように、認識処理部１０９の前段に、原稿種別自動判別３０を設け、原稿種別信号を認識処理部１０９の文字認識部１１１に入力させ、文字認識部１１１は、天地方向が判定された原稿画像全体に対して文字認識を行う場合、原稿種別信号に基づいて、文字原稿、文字印刷写真原稿、文字印画紙写真原稿と判別されたときに、文字認識を行うようにしても良い。
【０１７３】
なお、本実施形態では、本画像処理装置１００をカラー画像データに対応した構成とし、デジタルカラー複合機１に適用する場合について説明したが、これに限らず、モノクロの複合機に適用してもよい。
【０１７４】
また、本画像処理装置１００を、例えば単体の画像読取装置に適用してもよい。図１７に、本画像処理装置１００を搭載したデジタルカラースキャナ３００の構成を示す。
【０１７５】
図１７に示すように、デジタルカラースキャナ３００は、画像入力装置２、画像処理装置３’、送信装置５’、および操作パネル６を備えている。画像入力装置２、および操作パネル６の構成および機能は上述したデジタルカラー複合機１の場合と略同様なので、ここではその説明を省略する。送信装置５’は、前記した送受信装置５の送信機能のみを備えた構成である。本画像処理装置１００は画像処理装置３’に搭載されている。
【０１７６】
画像処理装置３’は、Ａ／Ｄ変換部１１、シェーディング補正部１２、入力処理部１３、信号前処理部１１５、原稿補正部１５、色補正部１６、認識処理部１０９、フォーマット化処理部１１０、記憶部２３、および制御部２４を備えている。
【０１７７】
なお、コピーモードを備えていない点、および、色補正部１６が色補正処理後の画像データを、フォーマット化処理部１１０の画像ファイル生成部１５１に出力し、画像ファイル生成部１５１が色補正部１６から入力された画像データに基づいて外部装置に送信する画像ファイルを生成する点以外の画像処理装置３’の機能は、上述したデジタルカラー複合機１の画像処理装置３の場合と略同様である。
【０１７８】
画像処理装置３’において上述した各処理が施されて生成された画像ファイルは、送信装置５’により、ネットワークを介して通信可能に接続されたコンピュータやサーバなどに送信される。
【０１７９】
また、上記実施形態において、画像処理装置１００、デジタルカラー複合機１、デジタルカラースキャナ３００に備えられる各部（各ブロック）を、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、画像処理装置１００、デジタルカラー複合機１、デジタルカラースキャナ３００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。
【０１８０】
そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１００、デジタルカラー複合機１、デジタルカラースキャナ３００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置１００、デジタルカラー複合機１、デジタルカラースキャナ３００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
【０１８１】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１８２】
また、画像処理装置１００、デジタルカラー複合機１、デジタルカラースキャナ３００を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１８３】
また、画像処理装置１００、デジタルカラー複合機１、デジタルカラースキャナ３００の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
【０１８４】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１８５】
本発明は、原稿から読み取った画像データのファイル形式を変更して他の装置に送信する画像処理装置、画像読取装置、および画像形成装置に適用できる。
【符号の説明】
【０１８６】
１ デジタルカラー複合機（画像処理装置、画像形成装置）
２ 画像入力装置
３ 画像処理装置
３’ 画像処理装置
４ 画像出力装置
５ 送受信装置
５’ 送信装置
６ 操作パネル
１５ 原稿補正部
１６ 色補正部
２１ 領域分離部
２３ 記憶部
２４ 制御部
１００ 画像処理装置
１１０ フォーマット化処理部（フォーマット化処理手段）
１１１ 文字認識部（文字認識手段）
１１２ レイアウト解析部（レイアウト解析手段）
１１３ 原稿判定部（原稿判定手段）
１１３Ａ 原稿判定部（原稿判定手段）
１１３Ｂ 原稿判定部（原稿判定手段）
１１４ ファイル形式決定部（ファイル形式決定手段）
１１５ 信号前処理部
１３０ 文字計数部（文字計数手段）
１３１ 文字領域割合算出部（文字領域割合算出手段）
１３２ 第１判定処理部（第１判定処理手段）
１４０ タイトル領域判定部（タイトル領域判定手段）
１４１ 第２判定処理部（第２判定処理手段）
３００ デジタルカラースキャナ（画像読取装置）
【特許請求の範囲】
【請求項１】
原稿画像を画像入力装置にて読み取ることで得られた入力画像データを指定されたファイル形式に変更するフォーマット化処理手段を備えた画像処理装置であって、
上記入力画像データに対して文字認識処理を行う文字認識手段と、
上記入力画像データに対して、ページ毎の画像のレイアウトを解析するレイアウト解析手段と、
上記レイアウト解析手段の解析結果および上記文字認識手段の認識結果より、上記入力画像データが示す原稿画像が文字を多く含んでいる文字中心画像であるか否かを判定する原稿判定手段と、
上記原稿判定手段の判定結果に基づいてファイル形式を決定し、上記フォーマット化処理手段に対して決定したファイル形式を指定するファイル形式決定手段とを有し、
上記ファイル形式決定手段は、文字中心画像であると判定された場合に、文書画像に適したファイル形式を選択し、文字中心画像ではないと判定された場合に、写真画像に適したファイル形式を選択することを特徴とする画像処理装置。
【請求項２】
上記原稿判定手段は、
上記レイアウト解析手段の解析結果および上記文字認識手段の認識結果より原稿画像における文字領域の占める割合を算出する文字領域割合算出手段と、
上記文字認識手段において認識された文字のページ毎の総数を数える文字計数手段と、
上記文字計数手段にて計数された文字数および上記文字領域割合算出手段にて算出された文字領域の割合に基づいて、少なくとも文字数が多いあるいは文字領域の割合が高い場合に文字中心画像と判定し、文字数が少なくかつ文字領域の割合も低い場合に文字中心画像ではないと判定する第１判定処理手段とを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記原稿判定手段は、
上記レイアウト解析手段の解析結果および上記文字認識手段の認識結果よりタイトル領域の有無を判定するタイトル領域判定手段と、
タイトル領域が有る場合に文字中心画像と判定し、タイトル領域が無い場合に文字中心画像ではないと判定する第２判定処理手段とを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記タイトル領域判定手段は、
上記レイアウト解析手段の解析結果より、一般的にタイトルが位置すると予想される位置に、原稿画像の他の領域よりも文字の外接矩形のサイズが大きく、かつ該外接矩形が連続してなる帯状ブロックが規定以上の長さを有する場合に、タイトル領域と仮判定する仮判定手段と、
上記仮判定手段にてタイトル領域と仮判定された部分に対する文字認識結果が規定以上の認識率である場合に、タイトル領域と本判定する本判定手段とを含むことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記文書画像に適したファイル形式が、原稿画像における文字部分を２値画像として格納し、原稿画像におけるその他の部分を多階調画像として格納する高圧縮ＰＤＦ形式であり、
上記写真画像に適した出力ファイル形式が、原稿画像全体を多階調画像として格納する通常ＰＤＦ形式であることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
上記ファイル形式決定手段には、上記入力画像データの利用用途を示す選択信号が入力されるようになっており、
上記ファイル形式決定手段は、上記選択信号より利用用途が画像ファイリングであることを判別すると、上記フォーマット化処理手段に対してデフォルト設定されているファイル形式に変更するよう指定することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
請求項１〜６の何れか１項に記載の画像処理装置を備えることを特徴とする画像形成装置。
【請求項８】
請求項１〜６の何れか１項に記載の画像処理装置を備えることを特徴とする画像読取装置。
【請求項９】
原稿画像を画像入力装置にて読み取ることで得られた入力画像データを指定されたファイル形式に変更するフォーマット化処理工程を含む画像処理方法であって、
上記入力画像データに対して文字認識処理を行う文字認識工程と、
上記入力画像データに対して、ページ毎の画像のレイアウトを解析するレイアウト解析工程と、
上記レイアウト解析工程の解析結果および上記文字認識工程の認識結果より、上記入力画像データが示す原稿画像が文字画像を多く含んでいる文字中心画像であるか否かを判定する原稿判定工程と、
上記原稿判定工程の判定結果に基づいてファイル形式を決定し、上記フォーマット化処理工程に対して決定したファイル形式を指定するファイル形式決定工程とを有し、
上記ファイル形式決定工程においては、上記原稿判定工程にて文字中心画像であると判定された場合に、文書画像に適したファイル形式を選択し、上記原稿判定工程にて文字中心画像ではないと判定された場合に、写真画像に適したファイル形式を選択することを特徴とする画像処理方法。
【請求項１０】
請求項１〜６の何れか１項に記載の画像処理装置を動作させるための画像処理プログラムであって、コンピュータを上記の各手段として機能させるための画像処理プログラム。
【請求項１１】
請求項１０に記載された画像処理プログラムを記憶したことを特徴とした記録媒体。
【請求項１】
原稿画像を画像入力装置にて読み取ることで得られた入力画像データを指定されたファイル形式に変更するフォーマット化処理手段を備えた画像処理装置であって、
上記入力画像データに対して文字認識処理を行う文字認識手段と、
上記入力画像データに対して、ページ毎の画像のレイアウトを解析するレイアウト解析手段と、
上記レイアウト解析手段の解析結果および上記文字認識手段の認識結果より、上記入力画像データが示す原稿画像が文字を多く含んでいる文字中心画像であるか否かを判定する原稿判定手段と、
上記原稿判定手段の判定結果に基づいてファイル形式を決定し、上記フォーマット化処理手段に対して決定したファイル形式を指定するファイル形式決定手段とを有し、
上記ファイル形式決定手段は、文字中心画像であると判定された場合に、文書画像に適したファイル形式を選択し、文字中心画像ではないと判定された場合に、写真画像に適したファイル形式を選択することを特徴とする画像処理装置。
【請求項２】
上記原稿判定手段は、
上記レイアウト解析手段の解析結果および上記文字認識手段の認識結果より原稿画像における文字領域の占める割合を算出する文字領域割合算出手段と、
上記文字認識手段において認識された文字のページ毎の総数を数える文字計数手段と、
上記文字計数手段にて計数された文字数および上記文字領域割合算出手段にて算出された文字領域の割合に基づいて、少なくとも文字数が多いあるいは文字領域の割合が高い場合に文字中心画像と判定し、文字数が少なくかつ文字領域の割合も低い場合に文字中心画像ではないと判定する第１判定処理手段とを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記原稿判定手段は、
上記レイアウト解析手段の解析結果および上記文字認識手段の認識結果よりタイトル領域の有無を判定するタイトル領域判定手段と、
タイトル領域が有る場合に文字中心画像と判定し、タイトル領域が無い場合に文字中心画像ではないと判定する第２判定処理手段とを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記タイトル領域判定手段は、
上記レイアウト解析手段の解析結果より、一般的にタイトルが位置すると予想される位置に、原稿画像の他の領域よりも文字の外接矩形のサイズが大きく、かつ該外接矩形が連続してなる帯状ブロックが規定以上の長さを有する場合に、タイトル領域と仮判定する仮判定手段と、
上記仮判定手段にてタイトル領域と仮判定された部分に対する文字認識結果が規定以上の認識率である場合に、タイトル領域と本判定する本判定手段とを含むことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記文書画像に適したファイル形式が、原稿画像における文字部分を２値画像として格納し、原稿画像におけるその他の部分を多階調画像として格納する高圧縮ＰＤＦ形式であり、
上記写真画像に適した出力ファイル形式が、原稿画像全体を多階調画像として格納する通常ＰＤＦ形式であることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
上記ファイル形式決定手段には、上記入力画像データの利用用途を示す選択信号が入力されるようになっており、
上記ファイル形式決定手段は、上記選択信号より利用用途が画像ファイリングであることを判別すると、上記フォーマット化処理手段に対してデフォルト設定されているファイル形式に変更するよう指定することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
請求項１〜６の何れか１項に記載の画像処理装置を備えることを特徴とする画像形成装置。
【請求項８】
請求項１〜６の何れか１項に記載の画像処理装置を備えることを特徴とする画像読取装置。
【請求項９】
原稿画像を画像入力装置にて読み取ることで得られた入力画像データを指定されたファイル形式に変更するフォーマット化処理工程を含む画像処理方法であって、
上記入力画像データに対して文字認識処理を行う文字認識工程と、
上記入力画像データに対して、ページ毎の画像のレイアウトを解析するレイアウト解析工程と、
上記レイアウト解析工程の解析結果および上記文字認識工程の認識結果より、上記入力画像データが示す原稿画像が文字画像を多く含んでいる文字中心画像であるか否かを判定する原稿判定工程と、
上記原稿判定工程の判定結果に基づいてファイル形式を決定し、上記フォーマット化処理工程に対して決定したファイル形式を指定するファイル形式決定工程とを有し、
上記ファイル形式決定工程においては、上記原稿判定工程にて文字中心画像であると判定された場合に、文書画像に適したファイル形式を選択し、上記原稿判定工程にて文字中心画像ではないと判定された場合に、写真画像に適したファイル形式を選択することを特徴とする画像処理方法。
【請求項１０】
請求項１〜６の何れか１項に記載の画像処理装置を動作させるための画像処理プログラムであって、コンピュータを上記の各手段として機能させるための画像処理プログラム。
【請求項１１】
請求項１０に記載された画像処理プログラムを記憶したことを特徴とした記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−７４８５２（Ｐ２０１２−７４８５２Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２１７３４２（Ｐ２０１０−２１７３４２）
【出願日】平成２２年９月２８日（２０１０．９．２８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月２８日（２０１０．９．２８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]