電子データ生成方式
【課題】 画像から表示と再利用のどちらにも最適なデータ、より高画質な線画を生成すること。
【解決手段】 画像から抽出したベクトル情報を表示前景層と非表示前景層に分け、さらに入力画像から表示前景層の情報のみを取り除いた表示背景層の３層からなる電子データを生成し、入力画像中の線画領域に対して、輪郭線画ベクトル情報を表示前景層に、細線化線画ベクトル情報を非表示前景層に配置して、表示用途には表示前景層と表示背景層の合成画像を、再利用用途にはすべての層の情報を提供することで、画像から表示と再利用のどちらにも最適なデータを構成する。
【解決手段】 画像から抽出したベクトル情報を表示前景層と非表示前景層に分け、さらに入力画像から表示前景層の情報のみを取り除いた表示背景層の３層からなる電子データを生成し、入力画像中の線画領域に対して、輪郭線画ベクトル情報を表示前景層に、細線化線画ベクトル情報を非表示前景層に配置して、表示用途には表示前景層と表示背景層の合成画像を、再利用用途にはすべての層の情報を提供することで、画像から表示と再利用のどちらにも最適なデータを構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は紙文書を電子的に再利用可能なデータへと変換する技術に関する。
【背景技術】
【０００２】
近年、処理能力の高いパーソナルコンピュータが普及することにより、単に文字を打ち込むのみならずフォントや装飾を凝らしたり、また文字だけではなく図を自由に作成したり、あるいは写真等を取りこんだりといった、高度な電子文書を作成することが可能なアプリケーションが日常的に用いられるようになっている。
【０００３】
しかし、作成物の内容が高度になるほど、文書をまったく新規から作成するには大きな労力が必要される。したがってできるだけ過去に作成した文書の一部をそのまま、あるいは加工するなどして編集したものを再利用することが望まれる。
【０００４】
一方、インターネットに代表されるようなネットワークの広がりにより、そのようなアプリケーションで作られた文書が電子的に配布される機会も増えたが、配布先を限定しない、あるいは可搬性や永読性が求められる場合など、電子文書が紙に印刷された状態で配布されることも多い。
【０００５】
そのように紙文書しか手元に存在しない場合でも、その内容を紙から再利用可能なデータとして得られるようにするための技術がこれまでにも存在した。たとえば特許文献1記載の技術では、紙の文書を装置に電子的に読み込ませた際に、その内容と一致する文書をデータベースから検索して取得し、読み込んだ紙面のデータの代わりに利用することができた。また同一の文書がデータベースから特定できなかった場合は、読み込んだ文書の画像をより再利用が容易な電子データへと変換するため、この場合でも文書の内容を再利用することができた。
【０００６】
一方、文書画像に存在するオブジェクトの形状情報を再利用可能容易なデータへと変換する技術としてベクトル化の技術があった。たとえば特許文献２および特許文献３には、二値画像中の連結画素輪郭を関数記述として得る技術が開示されており、これを用いることで文書画像中の文字領域の画像をベクトルデータに変換することが出来た。このデータを文書生成アプリーション中で利用すれば、文字単位の位置やサイズの変更さらに幾何学的変形や色付けなどが容易におこなうことができる。
【０００７】
また、文書画像内の文字の領域、線画の領域、その他自然画や表などの各領域を識別可能な領域識別の手法に関しては、特許文献４にてその技術が開示されている。
【特許文献１】特開２００４−２６５３８４号公報
【特許文献２】特許第３０２６５９２号公報
【特許文献３】特開２００５−３４６１３７号公報
【特許文献４】特開平０６−０６８３０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
一方、本出願人は、先に二値画像中の線画を交差点で分割し、独立した線および閉曲線からなる部品に分割してそれぞれを関数として記述するベクトル化技術を提案している。この技術を用いて部品単位でベクトル化した線画のデータは、たとえば特許文献２および特許文献３を用いてその全体の輪郭をベクトル化したデータよりも部品単位の再利用性に優れている。たとえば図１５（ａ）の線画をこの技術を用いてベクトル化すると、文書生成アプリーション中では同図（ｃ）のように部品単位に分割した状態でそれぞれを変形したり、色付けすることが可能になる。
【０００９】
また、文書画像存在するオブジェクトの形状情報を再利用可能容易なデータへと変換する技術としては、内部の文字画像を文字コードへと変換する文字認識技術があった。あるいは内部の線画を形状コードに変換する形状認識技術があった。これは入力線画のパターンを図１５のようにあらかじめ定められたいくつかの図形のうちひとつに分類することで実現できた。
【００１０】
前記ベクトル化技術や文字認識・形状認識技術を利用して、紙の文書を再利用が容易な記述の電子データに変換してしまえば、紙を保管するよりも効率的に保管しかつ利用することが可能である。
【００１１】
しかしながら、画像を再利用に適したデータに変換した際に、表示上の見た目が元の画像と大きく変わってしまう場合がある。その場合、データを画面上で視認したり、印刷したりした場合に元々の画像と等価な情報が得られないおそれがある。
【００１２】
たとえば前述本出願人によるベクトル化技術で提案しているベクトル化手法を用いると、図１５（ａ）の画像から図１５（ｂ）のように線幅が１のベクトル記述データが生成される。このデータは文書編集アプリケーションなどで加工して利用する上では必要十分な情報であるが、表示上の見た目の点では原画像の情報を十分に保持していない。
【００１３】
あるいは同記述データに既存のベクトル化手法に公知の線幅抽出技術を追加して、線幅を持ったデータを生成することも可能であるが、別の画像で線内で幅がランダムに変化する線画があった場合など、その抽出が困難だったり、あるいはベクトル記述的に再現不可能な場合もある。
【００１４】
また、特許文献２および特許文献３のベクトル化手法で画像をベクトル化した場合でも、連結画素内の画素色を得て、ベクトル記述にひとつの色を塗ることは容易であるが、連結画素の周囲と内部で色が異なったり、グラデーションやランダムな色が塗られている場合にはその抽出が困難だったり、ベクトル記述的にも再現不可能な場合がある。
【００１５】
このように、情報抽出力の限界とベクトル記述力の限界の双方の観点から、原画像を再利用性を重視したベクトル記述に変換する場合には、表示の際に重要な見た目の等価性が得られなくなる場合がどうしても存在する。
【００１６】
また、本出願人は、特開2007-272601号公報において、表示に適したベクトルデータと、再利用に適したベクトルデータとを別の層に格納することを提案している。本発明では、更に線画を細線化することにより、線画の表示をより最適におこなえるようにする。
【課題を解決するための手段】
【００１７】
前記課題を解決するために、本発明は、
入力画像から、少なくとも1層の表示前景層と、少なくとも１層の表示背景層と、少なくとも１層の非表示前景層とを持つ、３層以上の層構造を持つ電子データを生成する電子データ生成方式であって、
入力画像中の線画領域に対して、輪郭をベクトル化した輪郭線画ベクトル情報を生成する輪郭線画ベクトル生成手段と、
前記線画領域に対して細線化を施して線ベクトルで構成される細線化線画ベクトル情報を生成する細線化線画ベクトル生成手段とを有し、
前記層構造を生成する際に、入力画像中の文字領域と線画領域の情報を前景情報、それ以外を背景情報に分類する前景情報分類手段と、
前記前景情報を更に文字領域中の情報と線画領域の輪郭線画ベクトル情報を表示前景情報に、線画領域の細線化線画ベクトル情報を非表示前景情報へ分類する表示前景情報分類手段と、
前記表示前景情報の情報を前記表示前景層に、前記背景情報を前記表示背景層に、前記非表示前景情報の情報を前記非表示前景層にそれぞれ配置する情報配置手段と、
を備える。
【発明の効果】
【００１８】
本発明によれば、画像を再利用に適したベクトルデータに変換する際に、表示にも再利用にも適したデータを生成し、より高画質な線画データを得ることが可能になる。
【発明を実施するための最良の形態】
【００１９】
次に、本発明の詳細を実施例の記述に従って説明する。
【実施例１】
【００２０】
図１は本実施例１を用いたシステム構成を示す図の一例である。１００は本発明の電子データ生成方式を具備する画像生成装置の例であり、読みとった文書の紙面情報を画像のデータに変換するスキャナ１０１を備え、画像データに定められた処理を施すプログラムを実行するＣＰＵ１０２、同プログラムを実行し結果や途中のデータを保存するためのメモリ１０３およびハードディスク１０４、同プログラムによって生成されたデータを装置外に出力するネットワークＩ／Ｆから成る。１２０のパーソナルコンピュータ装置は、１００とＬＡＮ１１０などのネットワークで接続され、１００から送信されたデータを受信する装置の一例である。１２０はこの受信データを表示プロラグム１２１によって画面に表示したり、受信データの一部を再利用プログラム１２２によって別の編集アプリにて利用したりすることが可能である。
【００２１】
図２は本実施例１の動作を説明する図である。２００はスキャナ１０１によって入力された画像であり、２１０はこの入力画像に対し本発明の電子データ生成方式を実施するプログラムのブロック構成、２２０は同方式によって生成される電子データを示している。
【００２２】
電子データ生成方式２１０を構成する各ブロックは以下のとおりである。２１１は入力された文書画像中から文字、自然画、線画などの領域を識別し領域情報として出力する領域識別部、２１２は領域識別部の領域情報から文字領域の情報を選出する文字領域選出部、２１３は領域識別部の領域情報から線画領域の情報を選出する線画領域選出部、２１４はカラーまたはグレーの多値入力画像を白黒の二値画像に変換する二値化部、２１５は文字領域の二値画像から各文字の輪郭情報を抽出し、ベクトル描画関数に変換する文字ベクトル化部、２１６は線画領域の二値画像から線画の輪郭情報を抽出し、ベクトル描画関数に変換する線画輪郭ベクトル化部、２１７は線画領域の二値画像から線画の線素情報を抽出し、ベクトル描画関数に変換する線画細線化ベクトル化部、２１８は文字領域内や線画領域内で前景に相当する画素情報を入力多値画像上で近傍周辺と同色にすることで塗り潰す前景情報塗り潰し部、２１９は前景情報が塗り潰された多値画像を背景として圧縮する背景圧縮部、である。
【００２３】
電子データ生成方式２１０によって生成される電子データ２２０を構成する要素は以下のとおりである。２２１は生成電子データ中で表示前景層を構成する情報であり、本例では２１５文字ベクトル化部で生成されたベクトル描画関数群の記述と２１６線画輪郭ベクトル化部で生成されたベクトル描画関数群の記述である。２２２は生成電子データ中で表示背景層を構成する情報であり、本例では２１９背景圧縮部によって生成された背景画像の圧縮データ記述である。２２３は生成電子データ中で非表示前景層を構成する情報であり、本例では２１７線画細線化ベクトル化部で生成されたベクトル描画関数群の記述である。
【００２４】
本発明の実施例１の動作を図３のフローチャートを用いて説明する。
【００２５】
ステップＳ３０１では、１０１スキャナで読みとった文書の画像データを入力する。ここで画像データは２４ｂｉｔＲＧＢカラーとする。なお、この画像データは１６ｂｉｔカラーであったり、ＹＣｂＣｒであったり、または８ｂｉｔグレーだったりしてもよい。ここでは例えば、図４のような文書が入力されたとする。図中４０１および４０２には黒文字、４０３には黒線画、４０４には自然画が描かれているものとする。またこれらの下地には薄いグレーの背景４０５が描かれているものとする。
【００２６】
ステップＳ３０２では、２１４二値化部が入力多値画像を公知の二値化手法により二値化し、白黒の二値画像を生成する。二値化は画像中の文字や線画、自然画など前景にあたる画素が黒に、それ以外の背景画素が白になるようにおこなう。このような二値化は、たとえば多値画像の輝度ヒストグラムを取得し、それらのピークから適応的に求めた閾値を用いる二値化方式が良く行われている。例えば図４の多値画像から図５の輝度ヒストグラムが作成された場合、輝度の高いピークを背景下地の画素集合とみなし、それより低い値を閾値として選ぶことで、図６のような二値化結果を得ることができる。
【００２７】
ステップＳ３０３では、２１１領域識別部が公知の領域識別手法を用いて入力画像中の文字や線画、自然画などの領域を識別し領域情報を生成する。領域情報とは、画像内での領域四辺を特定する座標情報、および領域種別を表す属性情報である。例えば、図４のような入力画像から、図７の７０１〜７０４のような４領域の情報が生成される。７０１と７０２は文字領域、７０３は線画領域、７０４は自然画領域である。
【００２８】
なお領域識別手法には、入力多値画像をそのまま解析する手法や、二値化した画像を解析する手法、あるいは微分エッジ情報などを生成して解析する手法などがあるが、そのいずれを用いてもよい。以下に具体例として、ステップＳ３０２で生成されるような二値画像を利用して領域識別をおこなう方法について説明する。
【００２９】
前述本出願人によるベクトル化技術記載の領域識別処理によれば、画像データを文字、線画、写真などの自然画、表、などの文書的、形状的な特徴で分類された領域へと分割することができる。
【００３０】
具体的には、先ず二値画像に対して８連結の黒画素輪郭追跡をおこなって黒画素の塊を抽出する。ここで面積の大きい黒画素の塊についてはその内部から４連結の白画素輪郭追跡をおこなって白画素の塊を抽出し、さらに一定面積以上の白画素の塊の内部からは再び黒画素輪郭追跡をおこなって黒画素の塊を抽出する。
【００３１】
続いて、得られた黒画素の塊を大きさや形状、密度などで分類し、必要であればグループ化して文字／図画／写真／線／表など異なる属性を持つ領域へ分類していく。たとえば、縦横比が１に近く、大きさが定められた範囲のものを文字相当の画素塊とし、そのような文字相当の画素塊が互いに近接して整列良くグループ化が可能な部分を文字領域と判定する。それらを除いた黒画素塊のうち、一定以上扁平な画素塊は単独で線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を枠および表領域とする。残る不定形の画素塊のうち、黒画素密度の低い画素塊を線画領域、それ以外の画素塊および小画素塊が散在している部分をグループ化した領域を自然画領域と判定してゆく。
【００３２】
図９に、多値画像図９（Ａ）とその二値化画像図９（Ｂ）、および同公報記載に領域識別処理によって図９（Ｂ）に対し領域識別をおこなった結果図９（Ｃ）の例を示す。図９（Ｃ）中の９０１、９０３、９０４が文字、９０２が自然画、９０５が線画、９０６が表と識別された領域である。
【００３３】
続くステップＳ３０４からステップＳ３１１までの処理は、抽出された領域情報の各領域に対して順に注目して処理していくものとする。
【００３４】
ステップＳ３０４では２１２文字領域選出部が、注目領域が文字領域であるかどうかを調べる。ステップＳ３０３で生成された領域情報はその種別を属性として持っているので、ここではその属性が文字であるかどうかを調べるだけである。文字であればステップＳ３０５に、文字でなければステップＳ３０７に進む。
【００３５】
ステップＳ３０５では２１５文字ベクトル化部が、公知の二値画像ベクトル化技術を用い、注目領域内部の文字に対して文字ベクトル情報を生成する。前記二値画像ベクトル化技術の例として、特許文献２および特許文献３に開示されている方法がある。
【００３６】
特許文献２は、二値画像をラスタ走査しながら注目画素とその近傍画素の状態に基づいて、水平方向及び垂直方向の画素間ベクトルを検出し、これら画素間ベクトル同士の接続状態をもとに、画像データの輪郭を抽出することで、アウトラインベクトルと呼ばれる連結画素データの周回を画素間ベクトルの集合で記述する情報を生成する技術を開示している。特許文献３はさらに、このアウトラインベクトルを直線や２次や３次のベジェ曲線で近似することで、大きく変倍しても高画質なベクトル記述データをする技術を開示している。
【００３７】
ベクトル化対象となる文字は、二値画像内で黒色の連結画素の集合として存在しているので、前記特許文献２の技術により各文字からその輪郭をなす画素間のベクトル集合であるアウトラインベクトルが抽出され、さらに特許文献３の技術により直線および曲線の関数集合であらわされるベクトル記述へと変換される。なお、文字色が黒以外の場合に対応するために、連結画素毎に同画素群の色を多値画像から取得し、ベクトル記述に描画色情報として追加してもよい。
【００３８】
ステップＳ３０６では２１８前景情報塗り潰し部が、多値画像の注目領域内部で文字に相当する画素をその周辺画素と同じ色に変更する。例えば図４の文字領域に対し前景情報塗り潰し処理をおこなった結果を図８（ａ）に示す。
【００３９】
この塗り潰し処理はたとえば以下のようにおこなえばよい。まず多値画像上の注目領域内をさらにＮ×Ｍ画素のブロックに分割する。Ｎ、Ｍは任意の整数であるが、ここではたとえばＮ＝Ｍ＝１６とする。次に各ブロック内で、前景以外の画素値平均を求める。ここで前景画素とはステップＳ３０２で生成された二値画像上の黒画素のことであるから、同二値画像上で各ブロック内で黒画素以外、すなわち各白画素について、同画素に対応する多値画像上の画素値をカウントして画素数で割れば求める平均値が得られる。そして今度はブロック内の二値画像上黒画素に対応する多値画像上の画素をこの平均の画素値で埋める。
【００４０】
以上の処理を領域内の全ブロックに対しておこなえば、領域内の前景画素情報を取り去ったのと同じ状態の多値画像が生成できる。もしもブロック内で十分に前景以外の画素値平均が得られなかったら、そのブロックには隣接する既抽出済の平均値を用いればよい。なお、スキャン時のぼけなどで多値画像上の前景の境界が鋭敏でない場合には、二値画像に太らせ処理をしてから上記の処理をおこなうと、処理領域をより平坦な背景面にすることもできる。
【００４１】
ステップＳ３０７では２１２線画領域選出部が、注目領域が線画領域であるかどうかを調べる。線画であればステップＳ３０８に、線画でなければステップＳ３１１に進む。
【００４２】
ステップＳ３０８では、ステップＳ３０５と同様にして、公知の二値画像ベクトル化技術を用いて輪郭ベクトル情報を生成する。図１４に輪郭ベクトル化の元になる二値画像図１４（ａ）と、輪郭ベクトル化結果のベクトル記述図１４（ｂ）を示す。この記述はひとつの外輪郭と3つの内輪郭で構成されている。また、このベクトル記述における線は輪郭ベクトルの間の塗り潰しとして表現されているため、表示上の品質は、元の画像に忠実である。
【００４３】
ステップＳ３０９では２１７線画細線化ベクトル化部が、注目領域内部の細線化線画ベクトル情報を生成する。線画ベクトル情報生成技術としては、前述本出願人によるベクトル化技術で提案している二値画像ベクトル化技術を用いればよい。前述本出願人によるベクトル化技術では、二値画像を細線化方法によりすべての線が幅１になるまで細線化した画像から端点や交差点を検出し、それらの点間をつなぐ独立した線や閉曲線から幅０に芯線化された端点間のベクトル列を生成し、さらにそれらの端点が保存されるように補助ベクトルを挿入してから関数化をおこなっている。
【００４４】
ベクトル化対象となる線画は、この前述本出願人によるベクトル化技術の技術により、その端点と交差点間をむすぶ独立した線および閉曲線である線素に分割され、それぞれの線素が幅１の直線および曲線の関数集合であらわされるベクトル記述へと変換される。
【００４５】
図１５に細線化ベクトル化の元になる二値画像図１５（ａ）と、ベクトル化結果図１５（ｂ）、およびそれらを線素に分割した状態を明示した例図１５（ｃ）を示す。
【００４６】
図１４の輪郭ベクトル化した結果と比較すると、輪郭ベクトル化した結果は、ひとつの外輪郭と３つの内輪郭で構成されているため、図１５（ｃ）のように部品単位に分割することはできない。またこのベクトル記述における線は輪郭ベクトルの間の塗り潰しとして表現されているため、形を自由に変形させることも難しい。したがって、図１５（ｃ）の方が再利用時の加工編集に対して優れていると言える。しかし、図１５（ｃ）は図１５（ａ）にあった線の太さの情報を保存していないため、表示上の品質では図１４（ｂ）の方が原画像に忠実であると言える。
【００４７】
図３に戻り、ステップＳ３１０では、前記ステップＳ３０６と同様にして、２１８前景情報塗り潰し部が、多値画像の注目領域内部で線画に相当する画素をその周辺画素と同じ色に変更する。例えば図８（ａ）の線画領域に対し前景情報塗り潰し処理をおこなった結果を図８（ｂ）に示す。
【００４８】
ステップＳ３１１では、領域情報のすべての領域を処理したかどうかを調べ、処理済ならステップＳ３１２に進む。未処理の領域があるならその領域を注目領域としてステップＳ３０４からやり直す。
【００４９】
ステップＳ３１２では、218背景圧縮部が多値画像の圧縮データを生成する。圧縮方式は公知の手法を用いる。ここではＪＰＥＧ方式を用いるものとする。
【００５０】
ステップＳ３１３では、ステップＳ３０９で生成された細線化線画ベクトル情報を図２の２２３非表示前景層情報、ステップＳ３１２で生成された背景圧縮データを図２の２２２表示背景層情報、ステップＳ３０５で生成された文字ベクトル情報とステップＳ３０８で生成された輪郭線画ベクトル情報を図２の２２１表示前景層情報として出力電子データ２２０を生成する。
【００５１】
出力電子データは、曲線、直線、塗り潰しなどの記述が可能なベクトル描画記述と、指定されたＪＰＥＧ画像データの描画が可能な画像描画記述が可能なグラフィック言語により記述される。
【００５２】
図１０は架空のＸＭＬ方式グラフィック記述言語で出力電子データを記述した例である。図１０の１００１は、図２の２２３非表示前景層情報に相当する細線化線画ベクトルの記述情報であり、具体的には、座標点列とそれらを結ぶ曲線、直線など関数種類を指定するｐａｔｈという要素で構成される。１００２は図２の２２２表示背景層情報に相当する背景画像の圧縮コードであり、具体的にはＡＳＣＩＩ文字列に変換した圧縮画像データを有すｉｍａｇｅという要素から成る。１００３は図２の２２１表示前景層情報に相当する文字ベクトルの記述情報と輪郭線画ベクトルの記述情報である。具体的には線画同様に座標点列とそれらを結ぶ曲線、直線など関数種類を指定するｐａｔｈ要素で構成される。
【００５３】
以上説明した電子データ生成方式２１０によって生成された電子データ２２０を、たとえば図１のパーソナルコンピュータ１２０が受信し、同１２０で表示用途、または再利用用途に供した場合について説明する。
【００５４】
まず表示用途に対しては、パーソナルコンピュータ１２０が実行する表示プログラム１２１が、図１０のようなグラフィック記述に則して表示用の画像データを生成する。この描画の様子を模式的に表したのが図１１である。先ず図１０の細線化線画のグラフィック１００１が、１１０１に相当する１ページ大の白紙の上に描画され、続いて背景の画像１００２がその上の１１０２として描画され、最後に文字と輪郭線画のグラフィック１００３が最上位の１１０３として描画されている。ここで１１０３は１ページ全体に及ぶ非等価なデータであるので、表示の際に１１０１の情報はすべて隠れてしまい表示されることはない。
【００５５】
図１２は表示プログラムを具備するアプリケーション画面の例である。上記説明のとおり、図１０の背景画像情報１００２に文字ベクトル情報と線画ベクトル情報１００３を重ねて描画した状態の画像が表示されている。
【００５６】
一方再利用用途に対しては、パーソナルコンピュータ１２０が実行する再利用プログラム１２２が、図１０のようなグラフィック記述に則して再利用可能なデータを生成する。
【００５７】
図１３は再利用プログラムを具備するアプリケーション画面の例である。このアプリケーションは、グラフィックを記述する電子データを読み込んで画面に表示し、その情報の一部あるいは全部をユーザがマウス等の操作によって選択することで、選択部分に対応するグラフィックデータを別のアプリケーションなどに転送し、そこで編集などに再利用可能とする機能を有す。
【００５８】
ここで入力される電子データ２２０の例として、図１０のグラフィック記述データを入力した場合、図１３のアプリケーションが表示するのは、図１２と同様にグラフィック情報１００１、１００２、１００３をすべて順に描くにことにより生ずる画面１３０１の他、背景画像情報１００２のみを描画する画面１３０２、前景画像情報１００３のみを描画する画面１３０３、非表示前景画像情報１００１のみを描画する画面１３０７があって、これらはユーザの操作に従って選択的に表示することが可能である。そして画面１３０３に表示されている文字１３０４、１３０５、線画１３０６は元となるグラフィックデータの記述単位で選択し、別の文書編集アプリケーションに転送することが可能である。
【００５９】
電子データ２２０から、ユーザが画面１３０７から線画部分１３０８を選んで再利用する場合、図１０のグラフィック記述であれば細線化線画ベクトル情報１００１が利用される。このグラフィック記述は、図３のステップＳ３０８が生成した、線画を細線化し線素に分解した状態のグラフィック情報であるため、前述のとおり加工など編集が容易である。その反面、細線化の影響により、図１５のように見た目が元データと一致しない場合がある。
【００６０】
一方、電子データ２２０を図１２の表示アプリケーションで表示した場合には、前述のとおり細線化線画ベクトル情報１００１のグラフィック記述は前景画像情報１００３に覆い隠され、実際に表示されるのは背景画像上に残された線画部分の画像データであるから、当該部分に対しスキャンされた入力画像に忠実な情報を表示することができる。
【００６１】
すなわち、本発明の実施例1によれば、線画のベクトル化記述として細線化した線素で構成されるベクトル記述を用いた場合でも、表示と再利用の両方に適したデータが生成される。
【００６２】
なお、図１０のグラフィック記述はあくまで一例であり、同じような記述仕様を持つ他のグラフィック記述言語を用いてもよい。たとえばＳＶＧやＰＤＦなどを用いても同じ効果が得られる。
【００６３】
以上説明したように、本発明の実施例１によれば、スキャンした文書の画像から、前景情報として文字部をベクトル化した情報と線画部を輪郭ベクトル化した情報を抽出し、背景情報として原画像から前景の文字部と線画部の情報を周辺画素によって塗り潰し圧縮を施した画像を抽出し、それらを非表示前景の線画部の細線化ベクトル、表示背景の背景画像、表示前景の文字ベクトルと輪郭線画ベクトルの順に描画するグラフィック記述からなる電子データへと変換する。
【００６４】
かように生成された電子データは、文字、線画部を編集利用に適するよう、それぞれベクトル化する際に特に線画部は細線化された画像からベクトル化をおこなっているので、編集用途に優れている。一方で、同電子データを表示用途に用いる際に、同線画部分に対し編集用に細線化されたベクトル記述ではなく、また前景画像層に配置していて原画像相当の画像情報が表示されるので、表示の品質は維持されている。すなわち、表示と再利用の両方に適する電子データを生成することが可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明実施例１の構成例を示す図。
【図２】本発明実施例１の動作を説明する図。
【図３】本発明実施例１における処理フローチャート。
【図４】本発明実施例１に対する入力画像の例。
【図５】本発明実施例１における二値化処理中の閾値抽出の例。
【図６】本発明実施例１における二値化処理結果の例。
【図７】本発明実施例１における領域識別結果の例。
【図８】本発明実施例１における背景画像の例。
【図９】本発明実施例１における領域識別処理例を説明する図。
【図１０】本発明実施例１における出力データ記述の例。
【図１１】本発明実施例１における出力データ構成の例。
【図１２】本発明実施例１の出力データに対する表示アプリケーション適用の例。
【図１３】本発明実施例１の出力データに対する再利用アプリケーション適用の例。
【図１４】本発明実施例１線画ベクトル化処理例
【図１５】本発明実施例１における輪郭ベクトル化処理を線画に適用した場合の例。
【技術分野】
【０００１】
本発明は紙文書を電子的に再利用可能なデータへと変換する技術に関する。
【背景技術】
【０００２】
近年、処理能力の高いパーソナルコンピュータが普及することにより、単に文字を打ち込むのみならずフォントや装飾を凝らしたり、また文字だけではなく図を自由に作成したり、あるいは写真等を取りこんだりといった、高度な電子文書を作成することが可能なアプリケーションが日常的に用いられるようになっている。
【０００３】
しかし、作成物の内容が高度になるほど、文書をまったく新規から作成するには大きな労力が必要される。したがってできるだけ過去に作成した文書の一部をそのまま、あるいは加工するなどして編集したものを再利用することが望まれる。
【０００４】
一方、インターネットに代表されるようなネットワークの広がりにより、そのようなアプリケーションで作られた文書が電子的に配布される機会も増えたが、配布先を限定しない、あるいは可搬性や永読性が求められる場合など、電子文書が紙に印刷された状態で配布されることも多い。
【０００５】
そのように紙文書しか手元に存在しない場合でも、その内容を紙から再利用可能なデータとして得られるようにするための技術がこれまでにも存在した。たとえば特許文献1記載の技術では、紙の文書を装置に電子的に読み込ませた際に、その内容と一致する文書をデータベースから検索して取得し、読み込んだ紙面のデータの代わりに利用することができた。また同一の文書がデータベースから特定できなかった場合は、読み込んだ文書の画像をより再利用が容易な電子データへと変換するため、この場合でも文書の内容を再利用することができた。
【０００６】
一方、文書画像に存在するオブジェクトの形状情報を再利用可能容易なデータへと変換する技術としてベクトル化の技術があった。たとえば特許文献２および特許文献３には、二値画像中の連結画素輪郭を関数記述として得る技術が開示されており、これを用いることで文書画像中の文字領域の画像をベクトルデータに変換することが出来た。このデータを文書生成アプリーション中で利用すれば、文字単位の位置やサイズの変更さらに幾何学的変形や色付けなどが容易におこなうことができる。
【０００７】
また、文書画像内の文字の領域、線画の領域、その他自然画や表などの各領域を識別可能な領域識別の手法に関しては、特許文献４にてその技術が開示されている。
【特許文献１】特開２００４−２６５３８４号公報
【特許文献２】特許第３０２６５９２号公報
【特許文献３】特開２００５−３４６１３７号公報
【特許文献４】特開平０６−０６８３０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
一方、本出願人は、先に二値画像中の線画を交差点で分割し、独立した線および閉曲線からなる部品に分割してそれぞれを関数として記述するベクトル化技術を提案している。この技術を用いて部品単位でベクトル化した線画のデータは、たとえば特許文献２および特許文献３を用いてその全体の輪郭をベクトル化したデータよりも部品単位の再利用性に優れている。たとえば図１５（ａ）の線画をこの技術を用いてベクトル化すると、文書生成アプリーション中では同図（ｃ）のように部品単位に分割した状態でそれぞれを変形したり、色付けすることが可能になる。
【０００９】
また、文書画像存在するオブジェクトの形状情報を再利用可能容易なデータへと変換する技術としては、内部の文字画像を文字コードへと変換する文字認識技術があった。あるいは内部の線画を形状コードに変換する形状認識技術があった。これは入力線画のパターンを図１５のようにあらかじめ定められたいくつかの図形のうちひとつに分類することで実現できた。
【００１０】
前記ベクトル化技術や文字認識・形状認識技術を利用して、紙の文書を再利用が容易な記述の電子データに変換してしまえば、紙を保管するよりも効率的に保管しかつ利用することが可能である。
【００１１】
しかしながら、画像を再利用に適したデータに変換した際に、表示上の見た目が元の画像と大きく変わってしまう場合がある。その場合、データを画面上で視認したり、印刷したりした場合に元々の画像と等価な情報が得られないおそれがある。
【００１２】
たとえば前述本出願人によるベクトル化技術で提案しているベクトル化手法を用いると、図１５（ａ）の画像から図１５（ｂ）のように線幅が１のベクトル記述データが生成される。このデータは文書編集アプリケーションなどで加工して利用する上では必要十分な情報であるが、表示上の見た目の点では原画像の情報を十分に保持していない。
【００１３】
あるいは同記述データに既存のベクトル化手法に公知の線幅抽出技術を追加して、線幅を持ったデータを生成することも可能であるが、別の画像で線内で幅がランダムに変化する線画があった場合など、その抽出が困難だったり、あるいはベクトル記述的に再現不可能な場合もある。
【００１４】
また、特許文献２および特許文献３のベクトル化手法で画像をベクトル化した場合でも、連結画素内の画素色を得て、ベクトル記述にひとつの色を塗ることは容易であるが、連結画素の周囲と内部で色が異なったり、グラデーションやランダムな色が塗られている場合にはその抽出が困難だったり、ベクトル記述的にも再現不可能な場合がある。
【００１５】
このように、情報抽出力の限界とベクトル記述力の限界の双方の観点から、原画像を再利用性を重視したベクトル記述に変換する場合には、表示の際に重要な見た目の等価性が得られなくなる場合がどうしても存在する。
【００１６】
また、本出願人は、特開2007-272601号公報において、表示に適したベクトルデータと、再利用に適したベクトルデータとを別の層に格納することを提案している。本発明では、更に線画を細線化することにより、線画の表示をより最適におこなえるようにする。
【課題を解決するための手段】
【００１７】
前記課題を解決するために、本発明は、
入力画像から、少なくとも1層の表示前景層と、少なくとも１層の表示背景層と、少なくとも１層の非表示前景層とを持つ、３層以上の層構造を持つ電子データを生成する電子データ生成方式であって、
入力画像中の線画領域に対して、輪郭をベクトル化した輪郭線画ベクトル情報を生成する輪郭線画ベクトル生成手段と、
前記線画領域に対して細線化を施して線ベクトルで構成される細線化線画ベクトル情報を生成する細線化線画ベクトル生成手段とを有し、
前記層構造を生成する際に、入力画像中の文字領域と線画領域の情報を前景情報、それ以外を背景情報に分類する前景情報分類手段と、
前記前景情報を更に文字領域中の情報と線画領域の輪郭線画ベクトル情報を表示前景情報に、線画領域の細線化線画ベクトル情報を非表示前景情報へ分類する表示前景情報分類手段と、
前記表示前景情報の情報を前記表示前景層に、前記背景情報を前記表示背景層に、前記非表示前景情報の情報を前記非表示前景層にそれぞれ配置する情報配置手段と、
を備える。
【発明の効果】
【００１８】
本発明によれば、画像を再利用に適したベクトルデータに変換する際に、表示にも再利用にも適したデータを生成し、より高画質な線画データを得ることが可能になる。
【発明を実施するための最良の形態】
【００１９】
次に、本発明の詳細を実施例の記述に従って説明する。
【実施例１】
【００２０】
図１は本実施例１を用いたシステム構成を示す図の一例である。１００は本発明の電子データ生成方式を具備する画像生成装置の例であり、読みとった文書の紙面情報を画像のデータに変換するスキャナ１０１を備え、画像データに定められた処理を施すプログラムを実行するＣＰＵ１０２、同プログラムを実行し結果や途中のデータを保存するためのメモリ１０３およびハードディスク１０４、同プログラムによって生成されたデータを装置外に出力するネットワークＩ／Ｆから成る。１２０のパーソナルコンピュータ装置は、１００とＬＡＮ１１０などのネットワークで接続され、１００から送信されたデータを受信する装置の一例である。１２０はこの受信データを表示プロラグム１２１によって画面に表示したり、受信データの一部を再利用プログラム１２２によって別の編集アプリにて利用したりすることが可能である。
【００２１】
図２は本実施例１の動作を説明する図である。２００はスキャナ１０１によって入力された画像であり、２１０はこの入力画像に対し本発明の電子データ生成方式を実施するプログラムのブロック構成、２２０は同方式によって生成される電子データを示している。
【００２２】
電子データ生成方式２１０を構成する各ブロックは以下のとおりである。２１１は入力された文書画像中から文字、自然画、線画などの領域を識別し領域情報として出力する領域識別部、２１２は領域識別部の領域情報から文字領域の情報を選出する文字領域選出部、２１３は領域識別部の領域情報から線画領域の情報を選出する線画領域選出部、２１４はカラーまたはグレーの多値入力画像を白黒の二値画像に変換する二値化部、２１５は文字領域の二値画像から各文字の輪郭情報を抽出し、ベクトル描画関数に変換する文字ベクトル化部、２１６は線画領域の二値画像から線画の輪郭情報を抽出し、ベクトル描画関数に変換する線画輪郭ベクトル化部、２１７は線画領域の二値画像から線画の線素情報を抽出し、ベクトル描画関数に変換する線画細線化ベクトル化部、２１８は文字領域内や線画領域内で前景に相当する画素情報を入力多値画像上で近傍周辺と同色にすることで塗り潰す前景情報塗り潰し部、２１９は前景情報が塗り潰された多値画像を背景として圧縮する背景圧縮部、である。
【００２３】
電子データ生成方式２１０によって生成される電子データ２２０を構成する要素は以下のとおりである。２２１は生成電子データ中で表示前景層を構成する情報であり、本例では２１５文字ベクトル化部で生成されたベクトル描画関数群の記述と２１６線画輪郭ベクトル化部で生成されたベクトル描画関数群の記述である。２２２は生成電子データ中で表示背景層を構成する情報であり、本例では２１９背景圧縮部によって生成された背景画像の圧縮データ記述である。２２３は生成電子データ中で非表示前景層を構成する情報であり、本例では２１７線画細線化ベクトル化部で生成されたベクトル描画関数群の記述である。
【００２４】
本発明の実施例１の動作を図３のフローチャートを用いて説明する。
【００２５】
ステップＳ３０１では、１０１スキャナで読みとった文書の画像データを入力する。ここで画像データは２４ｂｉｔＲＧＢカラーとする。なお、この画像データは１６ｂｉｔカラーであったり、ＹＣｂＣｒであったり、または８ｂｉｔグレーだったりしてもよい。ここでは例えば、図４のような文書が入力されたとする。図中４０１および４０２には黒文字、４０３には黒線画、４０４には自然画が描かれているものとする。またこれらの下地には薄いグレーの背景４０５が描かれているものとする。
【００２６】
ステップＳ３０２では、２１４二値化部が入力多値画像を公知の二値化手法により二値化し、白黒の二値画像を生成する。二値化は画像中の文字や線画、自然画など前景にあたる画素が黒に、それ以外の背景画素が白になるようにおこなう。このような二値化は、たとえば多値画像の輝度ヒストグラムを取得し、それらのピークから適応的に求めた閾値を用いる二値化方式が良く行われている。例えば図４の多値画像から図５の輝度ヒストグラムが作成された場合、輝度の高いピークを背景下地の画素集合とみなし、それより低い値を閾値として選ぶことで、図６のような二値化結果を得ることができる。
【００２７】
ステップＳ３０３では、２１１領域識別部が公知の領域識別手法を用いて入力画像中の文字や線画、自然画などの領域を識別し領域情報を生成する。領域情報とは、画像内での領域四辺を特定する座標情報、および領域種別を表す属性情報である。例えば、図４のような入力画像から、図７の７０１〜７０４のような４領域の情報が生成される。７０１と７０２は文字領域、７０３は線画領域、７０４は自然画領域である。
【００２８】
なお領域識別手法には、入力多値画像をそのまま解析する手法や、二値化した画像を解析する手法、あるいは微分エッジ情報などを生成して解析する手法などがあるが、そのいずれを用いてもよい。以下に具体例として、ステップＳ３０２で生成されるような二値画像を利用して領域識別をおこなう方法について説明する。
【００２９】
前述本出願人によるベクトル化技術記載の領域識別処理によれば、画像データを文字、線画、写真などの自然画、表、などの文書的、形状的な特徴で分類された領域へと分割することができる。
【００３０】
具体的には、先ず二値画像に対して８連結の黒画素輪郭追跡をおこなって黒画素の塊を抽出する。ここで面積の大きい黒画素の塊についてはその内部から４連結の白画素輪郭追跡をおこなって白画素の塊を抽出し、さらに一定面積以上の白画素の塊の内部からは再び黒画素輪郭追跡をおこなって黒画素の塊を抽出する。
【００３１】
続いて、得られた黒画素の塊を大きさや形状、密度などで分類し、必要であればグループ化して文字／図画／写真／線／表など異なる属性を持つ領域へ分類していく。たとえば、縦横比が１に近く、大きさが定められた範囲のものを文字相当の画素塊とし、そのような文字相当の画素塊が互いに近接して整列良くグループ化が可能な部分を文字領域と判定する。それらを除いた黒画素塊のうち、一定以上扁平な画素塊は単独で線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を枠および表領域とする。残る不定形の画素塊のうち、黒画素密度の低い画素塊を線画領域、それ以外の画素塊および小画素塊が散在している部分をグループ化した領域を自然画領域と判定してゆく。
【００３２】
図９に、多値画像図９（Ａ）とその二値化画像図９（Ｂ）、および同公報記載に領域識別処理によって図９（Ｂ）に対し領域識別をおこなった結果図９（Ｃ）の例を示す。図９（Ｃ）中の９０１、９０３、９０４が文字、９０２が自然画、９０５が線画、９０６が表と識別された領域である。
【００３３】
続くステップＳ３０４からステップＳ３１１までの処理は、抽出された領域情報の各領域に対して順に注目して処理していくものとする。
【００３４】
ステップＳ３０４では２１２文字領域選出部が、注目領域が文字領域であるかどうかを調べる。ステップＳ３０３で生成された領域情報はその種別を属性として持っているので、ここではその属性が文字であるかどうかを調べるだけである。文字であればステップＳ３０５に、文字でなければステップＳ３０７に進む。
【００３５】
ステップＳ３０５では２１５文字ベクトル化部が、公知の二値画像ベクトル化技術を用い、注目領域内部の文字に対して文字ベクトル情報を生成する。前記二値画像ベクトル化技術の例として、特許文献２および特許文献３に開示されている方法がある。
【００３６】
特許文献２は、二値画像をラスタ走査しながら注目画素とその近傍画素の状態に基づいて、水平方向及び垂直方向の画素間ベクトルを検出し、これら画素間ベクトル同士の接続状態をもとに、画像データの輪郭を抽出することで、アウトラインベクトルと呼ばれる連結画素データの周回を画素間ベクトルの集合で記述する情報を生成する技術を開示している。特許文献３はさらに、このアウトラインベクトルを直線や２次や３次のベジェ曲線で近似することで、大きく変倍しても高画質なベクトル記述データをする技術を開示している。
【００３７】
ベクトル化対象となる文字は、二値画像内で黒色の連結画素の集合として存在しているので、前記特許文献２の技術により各文字からその輪郭をなす画素間のベクトル集合であるアウトラインベクトルが抽出され、さらに特許文献３の技術により直線および曲線の関数集合であらわされるベクトル記述へと変換される。なお、文字色が黒以外の場合に対応するために、連結画素毎に同画素群の色を多値画像から取得し、ベクトル記述に描画色情報として追加してもよい。
【００３８】
ステップＳ３０６では２１８前景情報塗り潰し部が、多値画像の注目領域内部で文字に相当する画素をその周辺画素と同じ色に変更する。例えば図４の文字領域に対し前景情報塗り潰し処理をおこなった結果を図８（ａ）に示す。
【００３９】
この塗り潰し処理はたとえば以下のようにおこなえばよい。まず多値画像上の注目領域内をさらにＮ×Ｍ画素のブロックに分割する。Ｎ、Ｍは任意の整数であるが、ここではたとえばＮ＝Ｍ＝１６とする。次に各ブロック内で、前景以外の画素値平均を求める。ここで前景画素とはステップＳ３０２で生成された二値画像上の黒画素のことであるから、同二値画像上で各ブロック内で黒画素以外、すなわち各白画素について、同画素に対応する多値画像上の画素値をカウントして画素数で割れば求める平均値が得られる。そして今度はブロック内の二値画像上黒画素に対応する多値画像上の画素をこの平均の画素値で埋める。
【００４０】
以上の処理を領域内の全ブロックに対しておこなえば、領域内の前景画素情報を取り去ったのと同じ状態の多値画像が生成できる。もしもブロック内で十分に前景以外の画素値平均が得られなかったら、そのブロックには隣接する既抽出済の平均値を用いればよい。なお、スキャン時のぼけなどで多値画像上の前景の境界が鋭敏でない場合には、二値画像に太らせ処理をしてから上記の処理をおこなうと、処理領域をより平坦な背景面にすることもできる。
【００４１】
ステップＳ３０７では２１２線画領域選出部が、注目領域が線画領域であるかどうかを調べる。線画であればステップＳ３０８に、線画でなければステップＳ３１１に進む。
【００４２】
ステップＳ３０８では、ステップＳ３０５と同様にして、公知の二値画像ベクトル化技術を用いて輪郭ベクトル情報を生成する。図１４に輪郭ベクトル化の元になる二値画像図１４（ａ）と、輪郭ベクトル化結果のベクトル記述図１４（ｂ）を示す。この記述はひとつの外輪郭と3つの内輪郭で構成されている。また、このベクトル記述における線は輪郭ベクトルの間の塗り潰しとして表現されているため、表示上の品質は、元の画像に忠実である。
【００４３】
ステップＳ３０９では２１７線画細線化ベクトル化部が、注目領域内部の細線化線画ベクトル情報を生成する。線画ベクトル情報生成技術としては、前述本出願人によるベクトル化技術で提案している二値画像ベクトル化技術を用いればよい。前述本出願人によるベクトル化技術では、二値画像を細線化方法によりすべての線が幅１になるまで細線化した画像から端点や交差点を検出し、それらの点間をつなぐ独立した線や閉曲線から幅０に芯線化された端点間のベクトル列を生成し、さらにそれらの端点が保存されるように補助ベクトルを挿入してから関数化をおこなっている。
【００４４】
ベクトル化対象となる線画は、この前述本出願人によるベクトル化技術の技術により、その端点と交差点間をむすぶ独立した線および閉曲線である線素に分割され、それぞれの線素が幅１の直線および曲線の関数集合であらわされるベクトル記述へと変換される。
【００４５】
図１５に細線化ベクトル化の元になる二値画像図１５（ａ）と、ベクトル化結果図１５（ｂ）、およびそれらを線素に分割した状態を明示した例図１５（ｃ）を示す。
【００４６】
図１４の輪郭ベクトル化した結果と比較すると、輪郭ベクトル化した結果は、ひとつの外輪郭と３つの内輪郭で構成されているため、図１５（ｃ）のように部品単位に分割することはできない。またこのベクトル記述における線は輪郭ベクトルの間の塗り潰しとして表現されているため、形を自由に変形させることも難しい。したがって、図１５（ｃ）の方が再利用時の加工編集に対して優れていると言える。しかし、図１５（ｃ）は図１５（ａ）にあった線の太さの情報を保存していないため、表示上の品質では図１４（ｂ）の方が原画像に忠実であると言える。
【００４７】
図３に戻り、ステップＳ３１０では、前記ステップＳ３０６と同様にして、２１８前景情報塗り潰し部が、多値画像の注目領域内部で線画に相当する画素をその周辺画素と同じ色に変更する。例えば図８（ａ）の線画領域に対し前景情報塗り潰し処理をおこなった結果を図８（ｂ）に示す。
【００４８】
ステップＳ３１１では、領域情報のすべての領域を処理したかどうかを調べ、処理済ならステップＳ３１２に進む。未処理の領域があるならその領域を注目領域としてステップＳ３０４からやり直す。
【００４９】
ステップＳ３１２では、218背景圧縮部が多値画像の圧縮データを生成する。圧縮方式は公知の手法を用いる。ここではＪＰＥＧ方式を用いるものとする。
【００５０】
ステップＳ３１３では、ステップＳ３０９で生成された細線化線画ベクトル情報を図２の２２３非表示前景層情報、ステップＳ３１２で生成された背景圧縮データを図２の２２２表示背景層情報、ステップＳ３０５で生成された文字ベクトル情報とステップＳ３０８で生成された輪郭線画ベクトル情報を図２の２２１表示前景層情報として出力電子データ２２０を生成する。
【００５１】
出力電子データは、曲線、直線、塗り潰しなどの記述が可能なベクトル描画記述と、指定されたＪＰＥＧ画像データの描画が可能な画像描画記述が可能なグラフィック言語により記述される。
【００５２】
図１０は架空のＸＭＬ方式グラフィック記述言語で出力電子データを記述した例である。図１０の１００１は、図２の２２３非表示前景層情報に相当する細線化線画ベクトルの記述情報であり、具体的には、座標点列とそれらを結ぶ曲線、直線など関数種類を指定するｐａｔｈという要素で構成される。１００２は図２の２２２表示背景層情報に相当する背景画像の圧縮コードであり、具体的にはＡＳＣＩＩ文字列に変換した圧縮画像データを有すｉｍａｇｅという要素から成る。１００３は図２の２２１表示前景層情報に相当する文字ベクトルの記述情報と輪郭線画ベクトルの記述情報である。具体的には線画同様に座標点列とそれらを結ぶ曲線、直線など関数種類を指定するｐａｔｈ要素で構成される。
【００５３】
以上説明した電子データ生成方式２１０によって生成された電子データ２２０を、たとえば図１のパーソナルコンピュータ１２０が受信し、同１２０で表示用途、または再利用用途に供した場合について説明する。
【００５４】
まず表示用途に対しては、パーソナルコンピュータ１２０が実行する表示プログラム１２１が、図１０のようなグラフィック記述に則して表示用の画像データを生成する。この描画の様子を模式的に表したのが図１１である。先ず図１０の細線化線画のグラフィック１００１が、１１０１に相当する１ページ大の白紙の上に描画され、続いて背景の画像１００２がその上の１１０２として描画され、最後に文字と輪郭線画のグラフィック１００３が最上位の１１０３として描画されている。ここで１１０３は１ページ全体に及ぶ非等価なデータであるので、表示の際に１１０１の情報はすべて隠れてしまい表示されることはない。
【００５５】
図１２は表示プログラムを具備するアプリケーション画面の例である。上記説明のとおり、図１０の背景画像情報１００２に文字ベクトル情報と線画ベクトル情報１００３を重ねて描画した状態の画像が表示されている。
【００５６】
一方再利用用途に対しては、パーソナルコンピュータ１２０が実行する再利用プログラム１２２が、図１０のようなグラフィック記述に則して再利用可能なデータを生成する。
【００５７】
図１３は再利用プログラムを具備するアプリケーション画面の例である。このアプリケーションは、グラフィックを記述する電子データを読み込んで画面に表示し、その情報の一部あるいは全部をユーザがマウス等の操作によって選択することで、選択部分に対応するグラフィックデータを別のアプリケーションなどに転送し、そこで編集などに再利用可能とする機能を有す。
【００５８】
ここで入力される電子データ２２０の例として、図１０のグラフィック記述データを入力した場合、図１３のアプリケーションが表示するのは、図１２と同様にグラフィック情報１００１、１００２、１００３をすべて順に描くにことにより生ずる画面１３０１の他、背景画像情報１００２のみを描画する画面１３０２、前景画像情報１００３のみを描画する画面１３０３、非表示前景画像情報１００１のみを描画する画面１３０７があって、これらはユーザの操作に従って選択的に表示することが可能である。そして画面１３０３に表示されている文字１３０４、１３０５、線画１３０６は元となるグラフィックデータの記述単位で選択し、別の文書編集アプリケーションに転送することが可能である。
【００５９】
電子データ２２０から、ユーザが画面１３０７から線画部分１３０８を選んで再利用する場合、図１０のグラフィック記述であれば細線化線画ベクトル情報１００１が利用される。このグラフィック記述は、図３のステップＳ３０８が生成した、線画を細線化し線素に分解した状態のグラフィック情報であるため、前述のとおり加工など編集が容易である。その反面、細線化の影響により、図１５のように見た目が元データと一致しない場合がある。
【００６０】
一方、電子データ２２０を図１２の表示アプリケーションで表示した場合には、前述のとおり細線化線画ベクトル情報１００１のグラフィック記述は前景画像情報１００３に覆い隠され、実際に表示されるのは背景画像上に残された線画部分の画像データであるから、当該部分に対しスキャンされた入力画像に忠実な情報を表示することができる。
【００６１】
すなわち、本発明の実施例1によれば、線画のベクトル化記述として細線化した線素で構成されるベクトル記述を用いた場合でも、表示と再利用の両方に適したデータが生成される。
【００６２】
なお、図１０のグラフィック記述はあくまで一例であり、同じような記述仕様を持つ他のグラフィック記述言語を用いてもよい。たとえばＳＶＧやＰＤＦなどを用いても同じ効果が得られる。
【００６３】
以上説明したように、本発明の実施例１によれば、スキャンした文書の画像から、前景情報として文字部をベクトル化した情報と線画部を輪郭ベクトル化した情報を抽出し、背景情報として原画像から前景の文字部と線画部の情報を周辺画素によって塗り潰し圧縮を施した画像を抽出し、それらを非表示前景の線画部の細線化ベクトル、表示背景の背景画像、表示前景の文字ベクトルと輪郭線画ベクトルの順に描画するグラフィック記述からなる電子データへと変換する。
【００６４】
かように生成された電子データは、文字、線画部を編集利用に適するよう、それぞれベクトル化する際に特に線画部は細線化された画像からベクトル化をおこなっているので、編集用途に優れている。一方で、同電子データを表示用途に用いる際に、同線画部分に対し編集用に細線化されたベクトル記述ではなく、また前景画像層に配置していて原画像相当の画像情報が表示されるので、表示の品質は維持されている。すなわち、表示と再利用の両方に適する電子データを生成することが可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明実施例１の構成例を示す図。
【図２】本発明実施例１の動作を説明する図。
【図３】本発明実施例１における処理フローチャート。
【図４】本発明実施例１に対する入力画像の例。
【図５】本発明実施例１における二値化処理中の閾値抽出の例。
【図６】本発明実施例１における二値化処理結果の例。
【図７】本発明実施例１における領域識別結果の例。
【図８】本発明実施例１における背景画像の例。
【図９】本発明実施例１における領域識別処理例を説明する図。
【図１０】本発明実施例１における出力データ記述の例。
【図１１】本発明実施例１における出力データ構成の例。
【図１２】本発明実施例１の出力データに対する表示アプリケーション適用の例。
【図１３】本発明実施例１の出力データに対する再利用アプリケーション適用の例。
【図１４】本発明実施例１線画ベクトル化処理例
【図１５】本発明実施例１における輪郭ベクトル化処理を線画に適用した場合の例。
【特許請求の範囲】
【請求項１】
入力画像から、少なくとも1層の表示前景層と、少なくとも１層の表示背景層と、少なくとも１層の非表示前景層とを持つ、３層以上の層構造を持つ電子データを生成する電子データ生成方式であって、
入力画像中の線画領域に対して、輪郭をベクトル化した輪郭線画ベクトル情報を生成する輪郭線画ベクトル生成手段と、
前記線画領域に対して細線化を施して線ベクトルで構成される細線化線画ベクトル情報を生成する細線化線画ベクトル生成手段とを有し、
前記層構造を生成する際に、入力画像中の文字領域と線画領域の情報を前景情報、それ以外を背景情報に分類する前景情報分類手段と、
前記前景情報を更に文字領域中の情報と線画領域の輪郭線画ベクトル情報を表示前景情報に、線画領域の細線化線画ベクトル情報を非表示前景情報へ分類する表示前景情報分類手段と、
前記表示前景情報の情報を前記表示前景層に、前記背景情報を前記表示背景層に、前記非表示前景情報の情報を前記非表示前景層にそれぞれ配置する情報配置手段と、
を備えることを特徴とする電子データ生成方式。
【請求項２】
請求項１における電子データ生成方式であって、
前記電子データは、表示前景層および非表示前景層のデータはベクトルデータで記述し、表示背景層のデータは入力画像から前記表示前景層の情報を除いた画像データで記述することを特徴とする電子データ生成方式。
【請求項１】
入力画像から、少なくとも1層の表示前景層と、少なくとも１層の表示背景層と、少なくとも１層の非表示前景層とを持つ、３層以上の層構造を持つ電子データを生成する電子データ生成方式であって、
入力画像中の線画領域に対して、輪郭をベクトル化した輪郭線画ベクトル情報を生成する輪郭線画ベクトル生成手段と、
前記線画領域に対して細線化を施して線ベクトルで構成される細線化線画ベクトル情報を生成する細線化線画ベクトル生成手段とを有し、
前記層構造を生成する際に、入力画像中の文字領域と線画領域の情報を前景情報、それ以外を背景情報に分類する前景情報分類手段と、
前記前景情報を更に文字領域中の情報と線画領域の輪郭線画ベクトル情報を表示前景情報に、線画領域の細線化線画ベクトル情報を非表示前景情報へ分類する表示前景情報分類手段と、
前記表示前景情報の情報を前記表示前景層に、前記背景情報を前記表示背景層に、前記非表示前景情報の情報を前記非表示前景層にそれぞれ配置する情報配置手段と、
を備えることを特徴とする電子データ生成方式。
【請求項２】
請求項１における電子データ生成方式であって、
前記電子データは、表示前景層および非表示前景層のデータはベクトルデータで記述し、表示背景層のデータは入力画像から前記表示前景層の情報を除いた画像データで記述することを特徴とする電子データ生成方式。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−１３４５７９（Ｐ２００９−１３４５７９Ａ）
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願番号】特願２００７−３１０９５４（Ｐ２００７−３１０９５４）
【出願日】平成１９年１１月３０日（２００７．１１．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願日】平成１９年１１月３０日（２００７．１１．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]