説明

画像処理装置、画像読取装置、複合機、画像処理方法、プログラムおよび記録媒体

【課題】検索処理を行うことのできる画像ファイルであることをユーザが容易に認識できるようにする。
【解決手段】画像データに対する文字認識処理を行い(S8)、文字認識結果に応じた透明テキストと、画像ファイルが開かれたときに当該画像ファイルが検索可能なファイルであることを通知する処理をコンピュータに行わせるためのコマンドとを画像データに埋め込む(S9)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データと当該画像データに対応するテキストデータとを含む画像ファイルを取り扱う画像処理装置および画像処理方法に関するものである。
【背景技術】
【0002】
従来から、紙媒体に記載されている情報をスキャナで読み取って画像データを作成するとともに、画像データに含まれる文字の文字認識処理を行ってテキストデータを作成し、画像データとテキストデータとを組み合わせる技術がある。
【0003】
例えば、特許文献1には、文字認識処理の結果に基づいて作成したテキストデータを画像データの余白領域と同一色にして画像データの余白領域に埋め込んでPDFファイルを作成することが記載されている。この技術では、テキストデータを画像データの余白領域に余白領域と同一色のテキストデータとして埋め込むので、テキストデータが視認されることがない一方、テキストデータをキーワードとして画像データの中から所望の情報を検索(キーワード検索)することができるようになる。なお、テキストデータを画像データに埋め込む方法としては、画像データにおける各文字上の位置に当該各文字に対応するテキストデータを透明なテキストデータ(所謂、透明テキスト)として埋め込む方法も知られている。
【0004】
ところが、特許文献1の技術では、実際にキーワード検索を試みるか、あるいはファイルのプロパティを確認しないとキーワード検索可能なファイルであるか否かを判別できないという問題がある。
【0005】
そこで、特許文献2には、記憶装置に保存されているファイルが既にテキスト化されてキーワード検索可能な状態になっているか否かをユーザが簡単に把握することができるように、キーワード検索可能であるファイルについてはキーワード検索可能であることを示すサムネイル画像を表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2004−280514号公報(平成16年10月7日公開)
【特許文献2】特開2006−189924号公報(平成18年7月20日公開)
【特許文献3】特開平7−192086号公報(平成7年7月28日公開)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献2の技術では、記憶装置に記憶されているファイルの数が多い場合などには個々のサムネイル画像が小さくなるので、キーワード検索可能なファイルであるか否かをユーザが判別しにくいという問題がある。
【0008】
また、各ファイルの表示方法をサムネイル表示に設定していない場合(例えばファイル名のリストを表示させるように設定している場合など)にはキーワード検索可能なファイルであるか否かをユーザが判別できない。
【0009】
また、特許文献2の技術では、サムネイル画像が表示される対象が記憶装置に保存されているファイルに限られるので、外部から受信したファイルなど(例えばe-mail(scan to e-mailを含む)に添付されているファイル)についてはテキストデータが付随しているのか否かを判別できない。
【0010】
本発明は、上記の問題に鑑みてなされたものであり、その目的は、検索処理が可能な画像ファイルであることをユーザが容易に認識できるようにすることにある。
【課題を解決するための手段】
【0011】
本発明の画像処理装置は、上記の課題を解決するために、原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対するユーザからの操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加するコマンド付加部を備えていることを特徴としている。なお、画像ファイルに対するユーザからの操作とは、画像ファイルを開く操作であってもよく、画像ファイルのアイコン等の上にカーソルを移動させる操作であってもよく、画像ファイルのアイコン等をドラッグする操作やクリックする操作であってもよい。
【0012】
上記の構成によれば、コマンド付加部が、原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対する操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加する。これにより、上記画像ファイルに対する操作がなされたときに、上記文書に対する検索処理が可能であることがユーザに自動的に通知される。したがって、上記画像ファイルに対する操作を行ったユーザに、当該画像ファイルが検索処理を行うことのできるファイルであることを容易に認識させることができる。
【0013】
また、原稿から読み取った画像データに対して文字認識処理を行い、上記原稿に含まれる文書のテキストデータを生成する文字認識部を備えており、上記コマンド付加部は、上記画像データに対して上記文字認識部が生成したテキストデータと上記コマンドとを付加することで上記画像ファイルを生成する構成としてもよい。
【0014】
上記の構成によれば、原稿から読み取った画像データに対して、文字認識処理によって取得したテキストデータを付加した画像ファイルを生成するとともに、この画像ファイルに対するユーザからの操作がなされたときに、検索可能なファイルであることをユーザに通知することができる。
【0015】
また、画像データを有する画像ファイルにテキストデータが付加されているか否かを判別するテキストデータ判別部を備え、上記コマンド付加部は、上記画像ファイルにテキストデータが付加されている場合に、当該画像ファイルに上記コマンドを付加する構成としてもよい。
【0016】
上記の構成によれば、例えば、通信可能に接続された外部装置から取得した画像ファイルや各種記録媒体から読み取った画像ファイルがテキストデータを付加された画像ファイルであるか否かを判別し、テキストデータが付加されている場合には、その後に当該画像ファイルに対するユーザからの操作がなされたときに検索処理が可能であることをユーザに通知することができる。
【0017】
また、上記画像ファイルを通信可能に接続された外部装置に送信する通信装置を備えている構成としてもよい。
【0018】
上記の構成によれば、上記画像ファイルに対する操作を行ったユーザに、当該画像ファイルが検索可能なファイルであることを容易に認識させることができる。
【0019】
また、上記通知処理は、上記文書に対する検索処理が可能であることを示すメッセージを表示させる処理であってもよい。
【0020】
上記の構成によれば、上記画像ファイルに対する操作がなされたときに上記文書に対する検索処理が可能であることを示すメッセージが表示されるので、検索可能なファイルであることをユーザに容易に認識させることができる。
【0021】
また、上記通知処理は、上記文書に対する検索処理が可能であることを示す動画を表示させる処理であってもよい。
【0022】
上記の構成によれば、上記画像ファイルに対する操作がなされたときに上記文書に対する検索処理が可能であることを示す動画が表示されるので、この動画をユーザに注目させ、検索可能なファイルであることをユーザに容易かつ確実に認識させることができる。
【0023】
また、上記動画は、検索処理の手順を示す画像であってもよい。
【0024】
上記の構成によれば、検索処理の手順を示す動画が表示されるので、検索処理に不慣れなユーザであっても容易に検索処理を行うことができる。
【0025】
また、上記通知処理は、上記文書に対する検索処理が可能であることを示す音声を出力させる処理であってもよい。
【0026】
上記の構成によれば、上記文書に対する検索処理が可能であることを示す音声が出力されるので、検索可能なファイルであることをユーザに容易に認識させることができる。
【0027】
本発明の画像読取装置は、上記したいずれかの画像処理装置を備えていることを特徴としている。また、本発明の複合機は、上記したいずれかの画像処理装置を備えていることを特徴としている。
【0028】
したがって、上記の画像読取装置および複合機によれば、上記画像ファイルに対する操作を行ったユーザに、当該画像ファイルが検索処理を行うことのできるファイルであることを容易に認識させることができる。
【0029】
本発明の画像処理方法は、上記の課題を解決するために、原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対するユーザからの操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加するコマンド付加工程を含むことを特徴としている。
【0030】
上記の方法によれば、原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対する操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加する。これにより、上記画像ファイルに対する操作がなされたときに、上記文書に対する検索処理が可能であることがユーザに自動的に通知される。したがって、上記画像ファイルに対する操作を行ったユーザに、当該画像ファイルが検索処理を行うことのできるファイルであることを容易に認識させることができる。
【0031】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
【発明の効果】
【0032】
以上のように、本発明の画像処理装置および画像処理方法は、原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対するユーザからの操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加する。
【0033】
それゆえ、上記画像ファイルに対する操作を行ったユーザに、当該画像ファイルが検索処理を行うことのできるファイルであることを容易に認識させることができる。
【図面の簡単な説明】
【0034】
【図1】本発明の一実施形態にかかる画像処理装置における処理の流れを示すフロー図である。
【図2】本発明の一実施形態にかかる画像処理装置の構成を示すブロック図である。
【図3】本発明の一実施形態にかかる画像処理装置の構成を示すブロック図である。
【図4】図2および図3に示した画像処理装置に備えられる原稿検知部の構成を示すブロック図である。
【図5】図2および図3に示した画像処理装置の変形例を示すブロック図である。
【図6】図2および図3に示した画像処理装置の変形例を示すブロック図である。
【図7】図4に示した原稿検知部におけるレイアウト解析処理を説明するための説明図である。
【図8】図2および図3に示した画像処理装置において中間調補正処理に用いるガンマ曲線の一例を示すグラフである。
【図9】図2および図3に示した画像処理装置において生成される画像ファイルの構成を示す説明図である。
【図10】図2および図3に示した画像処理装置において生成された画像ファイルを開いたときに表示される表示内容の一例を示す説明図である。
【図11】図2および図3に示した画像処理装置において生成された画像ファイルを開いたときに表示される表示内容の一例を示す説明図である。
【図12】図2および図3に示した画像処理装置において生成された画像ファイルを開いたときに表示される表示内容の一例を示す説明図である。
【図13】図2および図3に示した画像処理装置の変形例を示すブロック図である。
【発明を実施するための形態】
【0035】
本発明の一実施形態について説明する。なお、本実施形態では、主に、本発明をコピア機能・プリンタ機能・ファクシミリ送信機能・scan to e-mail機能等を備えるデジタルカラー複合機に適用する場合の一例について説明するが、本発明の適用対象はこれに限るものではない。
【0036】
(1)デジタルカラー複合機の全体構成
図2および図3は、本実施形態にかかるデジタルカラー複合機(複合機、画像形成装置)1の概略構成を示すブロック図である。なお、デジタルカラー複合機1は、(1)画像入力装置2で読み取った画像データに応じた画像を画像出力装置4によって記録材上に形成する画像形成モード、および(2)画像入力装置2で読み取った画像データを通信装置5によってネットワーク等を介して通信可能に接続されている外部装置に送信する画像送信モードを備えている。また、図2は画像形成モードにおけるデータの流れを示しており、図3は画像データとテキストデータとを対応付けた画像ファイルを生成して外部装置に送信する際のデータの流れを示している。
【0037】
図2および図3に示すように、デジタルカラー複合機1は、画像入力装置2、画像処理装置3、画像出力装置4、通信装置5、および操作パネル6を備えている。
【0038】
画像入力装置2は、原稿の画像を読み取って画像データ(原稿画像データ)を生成するものであり、例えばCCD(Charge Coupled Device )などの光学情報を電気信号に変換するデバイスを備えたスキャナ部(図示せず)より構成されている。本実施形態では、画像入力装置2は、原稿からの反射光像を、RGB(R:赤・G:緑・B:青)のアナログ信号として画像処理装置3に出力する。なお、画像入力装置2の構成は特に限定されるものではなく、例えば原稿載置台に載置された原稿を読み取るものであってもよく、原稿搬送手段によって搬送されている原稿を読み取るものであってもよい。
【0039】
画像処理装置3は、図2および図3に示すように、A/D変換部11、シェーディング補正部12、入力処理部13、原稿検知部14、原稿補正部15、色補正部16、黒生成下色除去部17、空間フィルタ処理部18、出力階調補正部19、中間調生成部(中間調生成部)20、領域分離部21、画像ファイル生成部22、記憶部23、および制御部24を備えている。記憶部23は画像処理装置3で扱われる各種データ(画像データ等)を記憶する記憶手段である。記憶部23の構成は特に限定されるものではないが、例えばハードディスクなどを用いることができる。また、制御部24は、画像処理装置3に備えられる各部の動作を制御する制御手段である。この制御部24は、デジタルカラー複合機1の各部の動作を制御する主制御部(図示せず)に備えられるものであってもよく、主制御部とは別に備えられ、主制御部と協働して処理を行うものであってもよい。
【0040】
画像処理装置3は、画像形成モードでは、画像入力装置2から入力された画像データに種々の画像処理を施して得られるCMYKの画像データを画像出力装置4に出力する。また、画像送信モードでは、画像入力装置2から入力された画像データに種々の画像処理を施すと共に、画像データに対して文字認識処理を施してテキストデータを取得し、画像データとテキストデータとを対応付けた画像ファイルを生成して通信装置5に出力する。なお、画像処理装置3の詳細については後述する。
【0041】
画像出力装置4は、画像処理装置3から入力された画像データを記録材(例えば紙等)上に出力するものである。画像出力装置4の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いた画像出力装置を用いることができる。
【0042】
通信装置5は、例えばモデムやネットワークカードより構成される。通信装置5は、ネットワークカード、LANケーブル等を介してデジタルカラー複合機1をネットワークに接続し、このネットワークに通信可能に接続された外部装置(例えば、パーソナルコンピュータ、サーバ装置、表示装置、他のデジタル複合機、ファクシミリ装置等)とデータ通信を行う。
【0043】
操作パネル(指示入力装置)6は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成される(いずれも図示せず)。そして、デジタルカラー複合機1の主制御部(図示せず)の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル6を介して入力画像データに対する処理モード、印刷枚数、用紙サイズ、送信先アドレスなどの各種情報を入力することができる。
【0044】
上記主制御部は、例えばCPU(Central Processing Unit)等からなり、図示しないROM等に格納されたプログラムや各種データ、操作パネル6から入力される情報等に基づいて、デジタルカラー複合機1の各部の動作を制御する。
【0045】
(2)画像処理装置3の構成および動作
(2−1)画像形成モード
次に、画像処理装置3の構成、および画像形成モードにおける画像処理装置3の動作についてより詳細に説明する。
【0046】
画像形成モードの場合、図2に示すように、まず、A/D変換部11が、画像入力装置2から入力されたRGBのアナログ信号をデジタル信号に変換してシェーディング補正部12に出力する。
【0047】
シェーディング補正部12は、A/D変換部11から送られてきたデジタルのRGB信号に対して、画像入力装置2の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施し、入力処理部13に出力する。
【0048】
入力処理部(入力階調補正部)13は、シェーディング補正部12にて各種の歪みが取り除かれたRGB信号に対して、カラーバランスを整えると同時に、濃度信号など画像処理装置3に採用されている画像処理システムの扱い易い信号に変換する処理を施す。また、下地濃度の除去やコントラストなどの画質調整処理を行う。また、入力処理部13は、上記の各処理を施した画像データを記憶部23に記憶させる。
【0049】
原稿検知部14は、入力処理部13によって上記の処理を施された画像データに基づいて原稿画像の傾き角度、および天地方向を検出し、検出結果を原稿補正部15に出力する。
【0050】
図4は、原稿検知部14の概略構成を示すブロック図である。この図に示すように、原稿検知部14は、信号変換部31、2値化処理部32、解像度変換部33、原稿傾き検知部34、およびレイアウト解析部35を備えている。
【0051】
信号変換部31は、入力処理部13によって上記各処理を施された画像データがカラー画像であった場合にこの画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。
【0052】
例えば、信号変換部31は、Yi=0.30Ri+0.59Gi+0.11Biを演算することによりRGB信号を輝度信号Yに変換する。ここで、Yは各画素の輝度信号であり、R,G,Bは各画素のRGB信号における各色成分であり、添え字のiは画素毎に付与された値(iは1以上の整数)である。
【0053】
あるいは、RGB信号をCIE1976L*a*b*信号(CIE:Commission International de l'Eclairage、L*:明度、a*,b*:色度)に変換してもよい。
【0054】
2値化処理部32は、無彩化された画像データ(輝度値(輝度信号)または明度値(明度信号))と、予め設定された閾値とを比較することにより画像データを2値化する。例えば、画像データが8ビットである場合、上記閾値を128とする。あるいは、複数の画素(例えば5画素×5画素)からなるブロックにおける濃度(画素値)の平均値を閾値としてもよい。
【0055】
解像度変換部33は、2値化された画像データの解像度を低解像度に変換する。例えば、1200dpi、750dpi、あるいは600dpiで読み込まれた画像データを300dpiに変換する。解像度変換の方法は特に限定されるものではなく、例えば、公知のニアレストネイバー法、バイリニア法、バイキュービック法などを用いることができる。また、解像度変換部33は、低解像度化した画像データ(本実施形態では300dpiの画像データ)を原稿傾き検知部34に出力する。なお、解像度変換部33は、画像送信モードの場合には、第1解像度(本実施形態では300dpi)に低解像度化した画像データを原稿傾き検知部34とレイアウト解析部35とに出力するとともに、第1解像度よりも解像度が低い第2解像度(本実施形態では75dpi)に低解像度化した画像データをレイアウト解析部35に出力するようになっている。
【0056】
原稿傾き検知部34は、解像度変換部33によって低解像度に変換された画像データに基づいて、画像読取時のスキャン範囲(正規の原稿位置)に対する原稿の傾き角度を検知し、検知結果を原稿補正部15に出力する。
【0057】
傾き角度の検知方法は特に限定されるものではなく、従来から公知の種々の方法を用いることができる。例えば、特許文献3に記載されている方法を用いてもよい。この方法では、2値化された画像データからを黒画素と白画素との境界点(例えば各文字の上端における白/黒の境界点の座標)を複数個抽出し、各境界点の点列の座標データを求める。そして、この点列の座標データに基づいて回帰直線を求め、その回帰係数bを下記式(1)に基づいて算出する。
【0058】
b=Sxy/Sx ・・・(1)
なお、Sx,Syはそれぞれ変量x,yの残差平方和であり、Sxyはxの残差とyの残差の積の和である。すなわち、Sx,Sy,Sxyは下記式(2)〜(4)で表わされる。
【0059】
【数1】

【0060】
そして、上記のように算出した回帰係数bより、下記式(5)に基づいて傾き角度θを算出する。
【0061】
tanθ=b ・・・(5)
レイアウト解析部35は画像形成モードでは動作しない。レイアウト解析部35の動作については後述する。
【0062】
原稿補正部15は、原稿検知部14の検知結果に基づいて画像データに傾き補正処理および天地補正処理を行い、これらの処理を施した画像データを色補正部16および領域分離部21に出力する。
【0063】
具体的には、傾き補正処理を行う場合、補正前の座標を(X,Y)、補正後の座標を(X’,Y’)とし、傾き補正のための原点を中心とする反時計まわりの回転角度をθとすると、原稿補正部15は、下記式(6)に基づいて画像を回転させる。
【0064】
【数2】

【0065】
また、天地補正処理を行う場合、補正前の座標を(X,Y)、補正後の座標を(X’,Y’)とすると、天地補正のための回転角度(反時計回りに90°、180°、270°のいずれか)に応じて下記式(7)〜(9)に基づいて画像を回転させる。
90°の場合、
X’= オリジナル画像Y方向サイズ−1−Y
Y’= X
180°の場合、
X’= オリジナル画像X方向サイズ−1−X
Y’= オリジナル画像Y方向サイズ−1−Y
270°の場合、
X’= Y
Y’= オリジナル画像X方向サイズ−1−X
なお、原稿補正部15が原稿検知部14の傾き角度検知結果に基づいて傾き補正処理を行い、傾き補正後の画像データに基づいて原稿検知部14が天地方向の検出を行い、天地方向の検出結果に基づいて原稿補正部15が天地補正処理を行うようにしてもよい。
【0066】
また、原稿補正部15によって傾き補正処理および天地補正処理が施された画像データをファイリングデータとして管理するようにしてもよい。この場合、上記画像データは、例えば、JPEG圧縮アルゴリズムに基づいてJPEGコードに圧縮されて記憶部23に格納される。そして、この画像データに対するコピー出力動作やプリント出力動作が指示された場合には、記憶部23からJPEGコードが引き出されて不図示のJPEG伸張部に引き渡され、復号化処理が施されてRGBデータに変換される。また、上記の画像データに対して送信動作が指示された場合には、記憶部23からJPEGコードが引き出され、ネットワーク網や通信回線を介して通信装置5から外部装置へ送信される。
【0067】
色補正部16は、記憶部23から読み出した画像データをRGB信号の補色であるCMY(C:シアン・M:マゼンタ・Y:イエロー)信号に変換するとともに、色再現性を高める処理を行う。
【0068】
黒生成下色除去部17は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理を行うものである。これにより、CMYの3色信号はCMYKの4色信号に変換される。
【0069】
空間フィルタ処理部18は、黒生成下色除去部17より入力されるCMYK信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理(強調処理および/または平滑化処理)を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。
【0070】
出力階調補正部19は、用紙等の記録材に出力するための出力γ補正処理を行い、出力γ補正処理後の画像データを中間調生成部20に出力する。
【0071】
中間調生成部20は、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理(中間調生成)を施し、画像出力装置4に出力する。
【0072】
領域分離部21は、RGB信号より、入力画像中の各画素を黒文字領域、色文字領域、網点領域、印画紙写真(連続階調領域)領域の何れかに分離するものである。領域分離部21は、分離結果に基づき、画素がどの領域に属しているかを示す領域分離信号を、黒生成下色除去部17、空間フィルタ処理部18、および中間調生成部20へと出力する。領域分離処理の方法は特に限定されるものではなく、従来から公知の方法を用いることができる。黒生成下色除去部17、空間フィルタ処理部18、および中間調生成部20では、入力された領域分離信号に基づいて、各領域に適した処理が行われる。
【0073】
画像ファイル生成部22は、文字認識部41、描画コマンド生成部42、およびフォーマット化処理部(コマンド付加部)43を備えており、画像送信モードが選択された場合に、必要に応じて文字認識処理を行うとともに、外部装置に送信するための画像ファイルを生成する。なお、画像ファイル生成部22は、画像形成モードでは動作を行わない。画像ファイル生成部22の詳細については後述する。
【0074】
上述した各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されて画像出力装置4に入力される。
【0075】
(2−2)画像送信モード
次に、画像送信モードにおける画像処理装置3の動作について、図3を参照しながらより詳細に説明する。なお、通常送信モードにおけるA/D変換部11、シェーディング補正部12、入力処理部13、原稿検知部14、原稿補正部15、および領域分離部21の処理の動作は画像形成モードの場合と略同様である。
【0076】
本実施形態では、画像処理モードが選択された場合、ユーザが、操作パネル6を介して、文字認識処理を行うか否かを選択できるようになっている。
【0077】
なお、例えば、図5に示すように、文字認識部41よりも前段に画像データに基づいて原稿の種別を判別する原稿種別自動判別部25を設け、この原稿種別自動判別部25から出力される原稿種別判別信号を文字認識部41に入力させ、原稿種別判別信号が文字を含む原稿(例えば文字原稿、文字印刷写真原稿、文字印画紙写真原稿など)であることを示す場合に文字認識を行うようにしてもよい。原稿種別自動判別部25における原稿種別の判別方法は、少なくとも文字を含む原稿と文字を含まない原稿とを判別できる方法であれば特に限定されるものではなく、従来から公知の種々の方法を用いることができる。
【0078】
また、図6に示すように、領域分離部21から出力される領域分離信号を文字認識部41に入力させ、文字認識部41がこの領域分離信号に基づいて、文字領域(文字エッジと判定された画素からなる画像領域)を示すテキストマップを生成し、文字領域に対してのみ文字認識処理を行うようにしてもよい。
【0079】
文字認識処理を行う場合について図3を参照しながら説明する。原稿検知部14に備えられるレイアウト解析部35は、画像送信モードが選択された場合、図7に示すように、解像度変換部33から入力される画像データに含まれる文字を抽出し、各文字の外接矩形を求め、隣接する外接矩形間の距離を算出する。そして、この隣接する外接矩形間の距離に基づいて画像データの文字が縦書きであるか横書きであるかを判定し、判定結果を示す信号を画像ファイル生成部22に備えられる文字認識部41に出力する。
【0080】
レイアウト解析部35は、具体的には、画像データにおける副走査方向に延伸する最初のラインに含まれる各画素が黒画素であるか否かを画素毎に判断し、黒画素であると判断した画素に所定のラベルを割り付ける。
【0081】
その後、ラベル付けを行った上記のラインに対して主走査方向に隣接するラインについて、当該ラインに含まれる各画素が黒画素であるか否かを画素毎に判断し、黒画素であると判断した画素にラベル付け済みの上記ラインで用いたラベルとは異なるラベルを割り付ける。そして、黒画素であると判断した各画素について、当該画素に対して隣接するラベル付け済みの上記ラインの画素が黒文字であるかを判断し、黒文字であると判断した場合には、黒画素が連結していると判断し、当該画素のラベルを隣接するラベル付け済みの上記ラインの画素と同じラベル(1つ上のラインのラベルと同じラベル)に変更する。
【0082】
その後、上記の処理を主走査方向に並ぶ各ラインについて繰り返し、同じラベルが付された画素を抽出することにより、文字の抽出を行う。
【0083】
そして、抽出した各文字の外接矩形を算出する。なお、各文字および各外接矩形の座標は、例えば画像データの上端かつ左端の位置を原点として算出する。
【0084】
なお、レイアウト解析部35が、原稿内の領域毎にレイアウト認識処理を行うようにしてもよい。例えば、レイアウト解析部35が、外接矩形間の距離が略均等である文字群からなる領域を抽出し、抽出した領域毎にレイアウト認識処理を行って縦書きであるか横書きであるかを判断するようにしてもよい。
【0085】
文字認識部41は、原稿補正部15によって傾き補正処理および天地補正処理が施された2値画像データを記憶部23から読み出し、この画像データに対して文字認識処理を行う。そして、文字認識処理結果に基づいて上記画像データに対応する原稿に含まれる文書のテキストデータを生成し、描画コマンド生成部42に出力する。なお、このテキストデータは、各文字の文字コードと各文字の位置情報とを含む。文字認識処理の方法は特に限定されるものではなく、従来から公知の方法を用いることができる。
【0086】
描画コマンド生成部42は、文字認識部41による文字認識結果に基づく透明テキストを画像ファイル内に配置するための命令、および、その後にフォーマット化処理部43で生成される画像ファイルがユーザによって開かれたときに当該画像ファイルがキーワード検索可能な画像ファイルであることをユーザに通知(例えばメッセージの表示あるいは音声出力など)させるためのコマンドを画像ファイルに埋め込ませるための命令を生成する。ここで、透明テキストとは、認識された文字および単語をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる(あるいは埋め込む)ためのデータである。例えば、PDFファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。
【0087】
また、文字認識部41の文字認識処理および描画コマンド生成部42の描画コマンド生成処理と並行して、色補正部16、空間フィルタ処理部18、および出力階調補正部19は、画像データに対する所定の処理を行う。
【0088】
具体的には、色補正部16は、原稿補正部15から入力されたRGBの画像データを、一般に普及している表示装置の表示特性に適合したR’G’B’の画像データ(例えば、sRGBデータ)に変換し、黒生成下色除去部17に出力する。黒生成下色除去部17は、画像送信モードでは色補正部16から入力された画像データをそのまま空間フィルタ処理部18に出力(スルー)する。
【0089】
空間フィルタ処理部18は、黒生成下色除去部17より入力されるR’G’B’の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理(強調処理および/または平滑化処理)を行い、出力階調補正部19に出力する。
【0090】
出力階調補正部19は、空間フィルタ処理部18から入力されたR’G’B’の画像データに対して領域識別信号を基に所定の処理を施し、中間調生成部20に出力する。例えば、出力階調補正部19は、文字領域に対しては図8に実線で示したガンマ曲線を用いた補正を行い、文字領域以外の領域に対しては図8に破線で示したガンマ曲線を用いた補正を行う。なお、文字領域以外の領域に対するガンマ曲線としては、例えば送信先の外部装置に備えられる表示装置の表示特性に応じた曲線を設定しておき、文字領域のガンマ曲線は文字をくっきり表示できるように設定しておくことが好ましい。
【0091】
中間調生成部20は、出力階調補正部19から入力されたR’G’B’の画像データを画像ファイル生成部22のフォーマット化処理部43に出力(スルー)する。
【0092】
画像ファイル生成部22に備えられるフォーマット化処理部43は、中間調生成部20から入力された画像データに、描画コマンド生成部42から入力された命令に応じて透明テキストおよび上記通知(キーワード検索可能であることを示すための通知)を行わせるためのコマンドを埋め込んだ、所定のフォーマットの画像ファイルを生成する。そして、生成した画像ファイルを通信装置5に出力する。なお、本実施形態では、フォーマット化処理部43がPDF形式の画像ファイルを生成する。ただし、画像ファイルのフォーマットはこれに限るものではなく、画像データに透明テキストおよび上記通知を行わせるためのコマンドを埋め込むことができるフォーマット、あるいは画像データとテキストデータと上記通知を行わせるためのコマンドとを対応付けることのできるフォーマットであればよい。例えば、プレゼンテーションソフトなどのフォーマットでテキストデータを配置した上に画像データを重畳させて配置し、テキストデータを不可視状態にし、画像データのみを可視状態にした画像ファイルを作成するようにしてもよい。
【0093】
図9は、フォーマット化処理部43によって生成されるPDF形式の画像ファイルの構成を示す説明図である。この図に示すように、上記画像ファイルは、ヘッダ部、ボディ部、相互参照表、およびトレーラ部によって構成されている。
【0094】
ヘッダ部には、このファイルがPDFファイルであることを示す文字列とバージョン番号とが含まれる。ボディ部には、表示する情報やページ情報などが含まれる。相互参照表には、ボディ部の中身にアクセスするためのアドレス情報が記述されている。トレーラ部には、はじめにどこから読み込むかを示す情報などが記述されている。
【0095】
ボディ部は、各ページからなるオブジェクトに対する参照情報などが記述される文書カタログ記述部、ページ毎の表示範囲等の情報が記述されるページ記述部、画像データ、透明テキスト、および上記通知を行わせるためのコマンドが記述される画像データ記述部、および対応するページを描画する際に適用する条件が記述される画像描画記述部からなる。なお、ページ記述部、画像データ記述部、および画像描画記述部は各ページに対応して設けられる。
【0096】
通信装置5は、フォーマット化処理部43から入力された画像ファイルを、ネットワークを介して通信可能に接続された外部装置に送信する。例えば、通信装置5は、上記の画像ファイルを図示しないメール処理部(ジョブ装置)によって電子メールに添付して送信する。
【0097】
これにより、通信装置5から送信された上記の画像ファイルを受信した外部装置がこの画像ファイルを開くと、画像データに応じた画像が表示されるとともに、キーワード検索可能であることを示す通知が行われる。
【0098】
図10は上記通知の一例を示す説明図である。この図に示す例では、外部装置の表示部に画像データに応じた画像が表示されるとともに、検索可能であることを示すメッセージMを含む吹き出しが表示されている。なお、上記通知の方法はこれに限るものではなく、例えば、図11に示すように文書の画像データの一部に検索可能であることを示すメッセージMを重畳させて表示してもよい。また、検索可能であることを示すメッセージを各種のアニメーション表示(動画表示)によって通知してもよい。図12は、「この文書は検索可能です」というメッセージがメッセージを表示させるための所定の枠内を右から左に移動するように表示される場合の一例を示している。また、検索処理の手順を示すアニメーション画像(動画)を表示させるようにしてもよい。
【0099】
また、メッセージ等を表示画面に表示させる方法に限らず、例えば、メッセージを音声出力したり、検索可能であることを示す所定の効果音を出力させたりしてもよい。また、表示および音声出力の両方によって上記通知を行うようにしてもよい。
【0100】
また、複数ページ分の画像データの場合、ページ毎に上記通知が行われるようにしてもよく、先頭ページについてのみ上記通知が行われるようにしてもよい。
【0101】
(2−3)画像処理装置3における処理の概要
図1は、画像処理装置3における概略的な処理の流れを示すフロー図である。この図に示すように、まず、制御部24は、操作パネル6を介して入力されるユーザからの処理モードの選択指示を受け付ける(S1)。また、画像入力装置2から、原稿を読み取って得られた画像データを取得する(S2)。
【0102】
その後、制御部24は、原稿検知部14に傾き角度および天地方向の検出処理を行わせ(S3)、検出結果に基づいて原稿補正部15に傾き補正処理および天地補正処理を行わせる(S4)。
【0103】
その後、制御部24は、S1で選択指示された処理モードが画像形成モードであるか否かを判断する(S5)。そして、画像形成モードが選択されたと判断した場合、傾き補正処理および天地補正処理を施した画像データに対して所定の処理を施し、画像出力装置4に出力させて(S6)処理を終了する。
【0104】
一方、S5において画像形成モードではないと判断した場合、制御部24は、S1で選択指示された処理モードが画像送信モードであると判断し、原稿検知部14のレイアウト解析部35にレイアウト解析(原稿画像における文字方向が縦書きであるか横書きであるかを解析する処理)を行わせる(S7)。そして、制御部24は、文字認識部41にレイアウト解析部35の解析結果に応じた文字方向に基づいて文字認識処理を行わせる(S8)。
【0105】
その後、制御部24は、画像データに透明テキストと検索可能であることの通知を行わせるためのコマンドとを埋め込んだ画像ファイルをフォーマット化処理部43に生成させる(S9)。具体的には、制御部24は、描画コマンド生成部42を制御し、文字認識結果に基づく透明テキストを画像データに埋め込ませるための命令と、画像ファイルが開かれたときに検索可能であることを示す通知をコンピュータに実行させるためのコマンドを画像データに埋め込ませるための命令とを作成させ、フォーマット化処理部43に出力させる。これにより、フォーマット化処理部43は、中間調生成部20から入力される画像データに、透明テキストと、画像ファイルが開かれたときに検索可能であることを示す通知をコンピュータに実行させるためのコマンドとを埋め込む。
【0106】
その後、生成した画像ファイルを通信装置5に出力させ(S10)、処理を終了する。
【0107】
以上のように、本実施形態では、フォーマット化処理部(コマンド付加部)43が、画像データと、透明テキストと、画像ファイルが開かれたときに検索可能なファイルであることをユーザに通知する処理をコンピュータに行わせるためのコマンドとを含む画像ファイルを生成する。
【0108】
これにより、ユーザが画像ファイルを開くと、検索処理が可能なファイルであることがユーザに自動的に通知される。したがって、検索処理が可能なファイルであることをユーザに容易に認識させることができる。
【0109】
なお、本実施形態では、画像ファイルが開かれたときに検索可能なファイルであることの通知が行われる場合について説明したが、これに限らず、画像ファイルに対してユーザから所定の操作が行われたときに上記通知を行うようにしてもよい。例えば、画像ファイルのアイコン等の上にカーソルを移動させる操作が行われたときに上記通知を行うようにしてもよく、画像ファイルのアイコン等をドラッグする操作やクリックする操作が行われたときに上記通知を行うようにしてもよい。
【0110】
また、本実施形態では、透明テキストおよび上記通知を行わせるためのコマンドを埋め込んだ画像データを、通信装置5を介して外部装置に送信する場合について説明したが、これに限るものではない。例えば、透明テキストおよび上記通知を行わせるためのコマンドを埋め込んだ画像データを、デジタルカラー複合機1に備えられる記憶部あるいはデジタルカラー複合機1に脱着可能に装着される記憶装置等に記憶(ファイリング)させるようにしてもよい。
【0111】
また、本実施形態では、画像入力装置2が原稿を読み取って取得した画像データに対して文字認識処理を行い、画像データ、テキストデータ、およびキーワード検索可能であることを示す通知を行わせるためのコマンドを含む画像ファイルを生成する場合について説明したが、これに限るものではない。
【0112】
例えば、通信装置5を介して外部から受信した画像ファイルあるいはデジタルカラー複合機1に対して着脱可能に装着される各種記録媒体から読み出した画像ファイルに対して文字認識部41が文字認識処理を行い、フォーマット化処理部43が画像データ、テキストデータ、およびキーワード検索可能であることを示す通知を行わせるためのコマンドを含む画像ファイルを生成するようにしてもよい。
【0113】
また、通信装置5を介して外部から受信した画像ファイル、あるいはデジタルカラー複合機1が各種記録媒体から読み出した画像ファイルがテキストデータを含むファイルであるか否かを判別するテキストデータ判別部(図示せず)を備え、テキストデータを含むファイルである場合に、制御部24が描画コマンド生成部42およびフォーマット化処理部43を制御してキーワード検索可能であることを示す通知を行わせるためのコマンドを当該ファイルに埋め込ませるようにしてもよい。上記画像ファイルがテキストデータを含んでいるか否かを判断する方法は特に限定されるものではないが、例えば、画像ファイルがPDFファイルである場合、図9に示したページ記述部に記載されているオブジェクトの種類やコマンドなどの情報に基づいて判定することができる。なお、上記のテキストデータ判別部の処理を制御部24が行ってもよい。
【0114】
また、本実施形態では、本発明をデジタルカラー複合機に適用する場合について説明したが、これに限らず、モノクロの複合機に適用してもよい。また、複合機に限らず、例えば単体の画像読取装置に適用してもよい。
【0115】
図13は、本発明を画像読取装置に適用する場合の構成例を示すブロック図である。この図に示す画像読取装置100は、画像入力装置2、画像処理装置3b、通信装置5、および操作パネル6を備えている。画像入力装置2、通信装置5、および操作パネル6の構成および機能は上述したデジタルカラー複合機1の場合と略同様なので、ここではその説明を省略する。
【0116】
画像処理装置3bは、A/D変換部11、シェーディング補正部12、入力処理部13、原稿検知部14、原稿補正部15、色補正部16、画像ファイル生成部22、記憶部23、および制御部24を備えている。また、画像ファイル生成部22は、文字認識部41、描画コマンド生成部42、およびフォーマット化処理部43を備えている。
【0117】
なお、画像形成モードを備えていない点、および、色補正部16が色補正処理後の画像データをフォーマット化処理部43に出力し、フォーマット化処理部43が色補正部16から入力された画像データに基づいて外部装置に送信する画像ファイルを生成する点以外は、画像処理装置3bに備えられる各部の機能は上述したデジタルカラー複合機1の場合と略同様である。画像処理装置3bにおいて上述した各処理が施されて生成された画像ファイルは、通信装置5により、ネットワークを介して通信可能に接続されたコンピュータやサーバなどに送信される。
【0118】
また、上記各実施形態において、デジタルカラー複合機1、画像読取装置100に備えられる各部(各ブロック)を、CPU等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、デジタルカラー複合機1、画像読取装置100は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複合機1、画像読取装置100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複合機1、画像読取装置100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
【0119】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0120】
また、デジタルカラー複合機1、画像読取装置100を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0121】
また、デジタルカラー複合機1、画像読取装置100の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
【0122】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0123】
本発明は、画像データと当該画像データに対応するテキストデータとを含む画像ファイルを取り扱う画像処理装置および画像処理方法に関するものである。
【符号の説明】
【0124】
1 デジタルカラー複合機(複合機、画像読取装置)
2 画像入力装置
3,3b 画像処理装置
4 画像出力装置
5 通信装置
6 操作パネル(指示入力装置)
14 原稿検知部
15 原稿補正部
22 画像ファイル生成部
23 記憶部
24 制御部
31 信号変換部
32 2値化処理部
33 解像度変換部
34 原稿傾き検知部
35 レイアウト解析部
41 文字認識部
42 描画コマンド生成部
43 フォーマット化処理部(コマンド付加部)
100 画像読取装置

【特許請求の範囲】
【請求項1】
原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対するユーザからの操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加するコマンド付加部を備えていることを特徴とする画像処理装置。
【請求項2】
原稿から読み取った画像データに対して文字認識処理を行い、上記原稿に含まれる文書のテキストデータを生成する文字認識部を備えており、
上記コマンド付加部は、上記画像データに対して上記文字認識部が生成したテキストデータと上記コマンドとを付加することで上記画像ファイルを生成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
画像データを有する画像ファイルにテキストデータが付加されているか否かを判別するテキストデータ判別部を備え、
上記コマンド付加部は、上記画像ファイルにテキストデータが付加されている場合に、当該画像ファイルに上記コマンドを付加することを特徴とする請求項1に記載の画像処理装置。
【請求項4】
上記画像ファイルを通信可能に接続された外部装置に送信する通信装置を備えていることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
【請求項5】
上記通知処理は、上記文書に対する検索処理が可能であることを示すメッセージを表示させる処理であることを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
上記通知処理は、上記文書に対する検索処理が可能であることを示す動画を表示させる処理であることを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
【請求項7】
上記動画は、検索処理の手順を示す画像であることを特徴とする請求項6に記載の画像処理装置。
【請求項8】
上記通知処理は、上記文書に対する検索処理が可能であることを示す音声を出力させる処理であることを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
【請求項9】
請求項1から8のいずれか1項に記載の画像処理装置を備えていることを特徴とする画像読取装置。
【請求項10】
請求項1から8のいずれか1項に記載の画像処理装置を備えていることを特徴とする複合機。
【請求項11】
原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対するユーザからの操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加するコマンド付加工程を含むことを特徴とする画像処理方法。
【請求項12】
請求項1から8のいずれか1項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
【請求項13】
請求項12に記載のプログラムをコンピュータ読み取り可能に格納した記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2011−10232(P2011−10232A)
【公開日】平成23年1月13日(2011.1.13)
【国際特許分類】
【出願番号】特願2009−154167(P2009−154167)
【出願日】平成21年6月29日(2009.6.29)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】