文書イメージ出力装置
【課題】 文書をイメージデータとして切り取っておき、表示端末において見やすい位置に配置してイメージデータとして表示する。
【解決手段】 文書から取り込まれたイメージデータの入力を受けて(ST1)、イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に分割(ST2)。各行イメージデータ(L1〜L5)について、文節または句読点である可能性が高い位置を探索し、該当位置で行イメージデータを分割(ST4)。小画面の表示端末に対しては、表示幅に収まり、かつ、文節または句読点の位置で改行した見やすい表示を提供(図2のST5)。
【解決手段】 文書から取り込まれたイメージデータの入力を受けて(ST1)、イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に分割(ST2)。各行イメージデータ(L1〜L5)について、文節または句読点である可能性が高い位置を探索し、該当位置で行イメージデータを分割(ST4)。小画面の表示端末に対しては、表示幅に収まり、かつ、文節または句読点の位置で改行した見やすい表示を提供(図2のST5)。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、スキャンした文書のイメージデータを、携帯電話などの小さい画面サイズに合わせて表示するための技術に関する。
【背景技術】
【0002】
電子書籍化したデータを携帯電話などの端末に表示するために、OCR処理により文書イメージをテキスト化する技術が存在する(特許文献1〜4)。
【0003】
また、OCR処理を行わずに、イメージデータをそのまま携帯電話などの小さな画面上に表示することも考えられる。しかし、この場合、読めないほど縮小して表示されてしまったり、拡大した場合に縦方向だけでなく、横方向にもスクロールするのは操作が煩雑であるといった問題を生じる。そこで、文書をイメージデータとして取り込んで文字毎にイメージを切り出して、画面サイズに合わせて改行して表示する技術が存在する(特許文献5、6)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−259190号公報
【特許文献2】特開2000−181993号公報
【特許文献3】特開2004−295329号公報
【特許文献4】特開2007−18178号公報
【特許文献5】特開2004−5453号公報
【特許文献6】特開2005−18337号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、OCRによる認識の場合、OCR処理に時間がかかる、テキスト変換時に異なる文字として認識する可能性がある、元のフォントを反映できないといった問題がある。また、テキストのイメージを1文字単位で切り取って表示した場合には単語の途中であっても改行されてしまい、携帯電話の小画面デバイスにおいて見やすい表示を実現することはできず、さらに、文字の管理、配置処理が煩雑になるといった問題がある。
【0006】
この発明は、文書をイメージデータとして取り込んで、文節または文章の終わり位置で切り取っておき、画面サイズに合わせて表示端末において見やすい位置で改行して画面上に表示することを目的とする。
【課題を解決するための手段】
【0007】
(1)(13)この発明に係る文書イメージ出力装置は、画面表示用の文書イメージデータを出力するための文書イメージ出力装置であって、文書から取り込まれたイメージデータの入力を受けて、前記イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、各行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が第1の所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割するセグメント分割手段と、分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、文書イメージデータが出力される表示領域の幅長さおよび前記分割された各セグメントのレイアウト情報に基づいて、セグメントを前記配列順序の順で、かつ、前記表示領域の幅長さより小さくなるように改行して配列した画面表示用のイメージデータを生成し、当該画面表示用のイメージデータを出力する結合イメージ出力手段とを備えている。
【0008】
したがって、表示のためにイメージデータを用いているので、元の文書の文字と異なる文字に表示されるおそれがない。さらに、表示画素数に基づく指標値が第1のしきい値を越える場所で行イメージデータを分割しているので、概ね文節や句読点の位置において分割がなされ、表示の際に読みやすい位置で分割される。
【0009】
さらに、表示の際、スクロール操作が一方向(上下または左右)だけでよく、操作性がよい。
【0010】
(2)この発明に係る文書イメージ出力装置は、指標値が、前記スリットに含まれる表示画素数の、前記スリットの全体画素数に対する占有比率であることを特徴としている。
【0011】
したがって、表示画素の割合により分割を行うことができる。
【0012】
(3)この発明に係る文書イメージ出力装置は、指標値が、前記占有比率の移動平均であることを特徴としている。
【0013】
したがって、局所的な占有比率の変化の影響を少なくして、より正確に分割を行うことができる。
【0014】
(4)この発明に係る文書イメージ出力装置は、セグメント分割手段が、前記占有比率の移動平均が第1のしきい値以下となる部分が終了した位置の近傍において、前記占有比率が実質的に0になる位置を前記セグメントの分割位置とすることを特徴としている。
【0015】
したがって、文字の途中で分割してしまうことを避けることができる。
【0016】
(5)この発明に係る文書イメージ出力装置は、指標値が、行イメージデータのテキストが配列されている方向に設定した軸上の所定位置における前記表示画素数の微分値の絶対値または差分値の絶対値であることを特徴としている。
【0017】
したがって、表示画素数の微分値の絶対値または差分値の絶対値に基づいて分割を行うことができる。
【0018】
(6)この発明に係る文書イメージ出力装置は、指標値が、スリットに含まれる表示画素数の、スリットの全体画素数に対する占有比率の微分値の絶対値または差分値の絶対値であることを特徴としている。
【0019】
したがって、占有比率の微分値の絶対値または差分値の絶対値に基づいて分割を行うことができる。
【0020】
(7)この発明に係る文書イメージ出力装置は、セグメント分割手段が、指標値の第1のしきい値以下となる部分が終了し、指標値が第2のしきい値を超える部分において、行イメージデータを各セグメントに分割することを特徴としている。
【0021】
したがって、より正確に文節の部分において分割することができる。
【0022】
(8)この発明に係る文書イメージ出力装置は、指標値が第2の所定幅を超えて連続する場合には、当該部分に関し、前記第1のしきい値を下げて、セグメントの分割を行うことを特徴としている。
【0023】
したがって、ひらがなやカタカナなどが連続する場合においても、分割を行うことが可能となる。
【0024】
(9)この発明に係る文書イメージ出力装置は、指標値が第2の所定幅を超えて連続する場合には、当該部分に関し、前記スリットに含まれる表示画素数の、前記スリットの全体画素数に対する占有比率が実質的に0になる位置において分割を行うことを特徴としている。
【0025】
したがって、ひらがなやカタカナなどが連続する場合においても、分割を行うことが可能となる。
【0026】
(10)この発明に係る文書イメージ出力装置は、第1のしきい値が、ひらがな、カタカナまたは句読点と漢字とが連続する場合、漢字の前の位置をセグメントとして区切るように設定されていることを特徴としている。
【0027】
(11)この発明に係る文書イメージ出力装置は、行イメージデータを連結した後に、セグメントへの分割を行うことを特徴としている。
【0028】
したがって、元の文書において文節の途中で改行がなされていた場合であっても、適切に文節にて分割することができる。
【0029】
(12)この発明に係る文書イメージ出力装置は、結合イメージ出力手段が、出力先の画面のサイズにより、小画面または大画面の判定をして、小画面の時は表示幅で改行して出力し、大画面の時は元の改行位置で改行して出力することを特徴としている。
【0030】
(14)(15)(18)この発明に係る文書イメージ生成装置は、文書から取り込まれたイメージデータの入力を受けて、前記イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、行毎に分割された行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割するセグメント分割手段と、分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段とを備えている。
【0031】
したがって、表示のためにイメージデータを用いているので、元の文書の文字と異なる文字に表示されるおそれがない。さらに、表示画素数に基づく指標値が第1のしきい値を越える場所で行イメージデータを分割しているので、概ね文節や句読点の位置において分割がなされ、表示の際に読みやすい位置で分割される。
【0032】
(16)(17)この発明に係る文書イメージ表示装置は、文節または句読点にて分割されたセグメントを含む複数のセグメントと、当該セグメントの配列順序を含むレイアウト情報を受けとる手段と、文書イメージデータが出力される表示領域の幅長さおよび前記分割された各セグメントのレイアウト情報に基づいて、セグメントを前記配列順序の順で、かつ、前記表示領域の幅長さより小さくなるように改行して配列し、表示するイメージ表示手段とを備えている。
【0033】
したがって、表示装置の表示画面にあわせて、文書のイメージデータを適切に表示することができる。
【0034】
(19)この発明に係る文書イメージデータは、各行イメージデータについてテキストが配列されている方向に表示画素の密度の変化を得て、表示画素の密度が第1のしきい値より低い部分が所定幅以上連続した後、当該表示画素が前記第1のしきい値を超える位置の近傍にて、分割されたテキストのイメージデータを記録したテキストイメージデータ記録領域と、当該分割されたテキストイメージデータに対応づけて、分割されたイメージデータの配列順序を記録した配列順序記録領域とを有している。
【0035】
したがって、表示装置の表示画面にあわせて、文書のイメージデータを適切に表示することができる。
【0036】
(20)(21)この発明に係る文書イメージ出力装置は、文書を示すイメージデータの入力を受けて、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、各行イメージデータについて表示画素の密度をテキストが配列されている方向に得て、表示画素の密度が第1のしきい値より低い部分が所定幅以上連続した後、当該表示画素が前記第1のしきい値を超える位置の近傍にて、行イメージデータを各セグメントに分割するセグメント分割手段と、分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、セグメント記憶手段に記憶された各セグメントをそのまま、あるいは、出力先の表示画面の大きさに合致するように処理した後、出力する出力手段とを特徴としている。
【0037】
したがって、表示画素の密度が第1のしきい値より低い部分が所定幅以上連続した後、当該表示画素が前記第1のしきい値を超える位置にて、行イメージデータを分割するようにしているので、概ね文節や句読点で分割することが可能である。
【0038】
「表示画素」とは、背景ではなく文字などの実体を表す画素をいう。例えば、白黒2階調の場合には、黒画素が該当し、グレー階調の場合には、所定階調以上の画素が該当するが、白黒を反転表示したような場合には、白画素が表示画素に該当する。
【0039】
「行イメージ分割手段」は、実施形態においては、ステップS04がこれに対応する。
【0040】
「セグメント分割手段」は、実施形態においては、ステップS30がこれに対応する。
【0041】
「セグメント記憶手段」は、実施形態においては、ステップS30がこれに対応する。
【0042】
「結合イメージ出力手段」は、実施形態においては、ステップS48、S50、S80、S82がこれに対応する
「プログラム」とは、CPUにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【0043】
【図1】本発明の文書イメージ出力装置100のブロック図である。
【図2】本発明の概念図である。
【図3】文書イメージ出力システム200のシステム構成を示す図である。
【図4】出版社PC2のハードウェア構成を示す図である。
【図5】文書イメージ出力サーバ4のハードウェア構成を示す図である。
【図6】表示端末6のハードウェア構成を示す図である。
【図7】セグメントDB54のデータ例を示す図である。
【図8】文書イメージ出力システム200における処理全体のフローチャートである。
【図9】レイアウト解析処理S102(図8)の詳細を示すフローチャートである。
【図10】レイアウト解析の例を示す図である。
【図11】セグメント分割処理S104(図8)の詳細を示すフローチャートである。
【図12】テキストのイメージデータをスキャンするスリット幅について説明する図である。
【図13】テキストのイメージデータ(図13A)に対応づけられた、所定位置におけるスリット内の占有比率を示すグラフ(図13B)、所定位置における占有比率の移動平均を示すグラフ(図13C)および所定位置における占有比率の差分値を示すグラフ(図13D)である。
【図14】結合イメージ生成処理S106(図8)の詳細を示すフローチャート図である。
【図15】図14に示すステップS48の詳細を示すフローチャートである。
【図16】小画面用に生成される結合イメージデータの例を示す図である。
【図17】図14に示すステップS50の詳細を示すフローチャートである。
【図18】大画面用に生成される結合イメージデータの例を示す図である。
【図19】他の実施形態による結合イメージ表示処理の詳細を示すフローチャートである。
【図20】その他の実施形態を示す図である。
【発明を実施するための形態】
【0044】
1.本発明の概要
本発明の概要について、図1の文書イメージ出力装置100のブロック図、および図2に示す発明の概念図を用いて、以下に説明する。
【0045】
文書イメージ出力装置は、画面表示用の文書イメージデータを出力するための装置であり、行イメージ分割手段B02、セグメント分割手段B04、セグメント記憶手段B06、結合イメージ出力手段B08を備える。
【0046】
図1の行イメージ分割手段B02は、文書から取り込まれたイメージデータの入力を受けて(図2のST1)、イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する(図2のST2)。イメージデータの中に図表・挿絵が含まれる場合、これら図表イメージデータは、別途データベースに記憶される(図2のST3)。
【0047】
図1のセグメント分割手段B04は、各行イメージデータ(図2のL1〜L5)について、文節の区切りまたは句読点である可能性が高い位置を探索し、該当位置で行イメージデータを分割する(図2のST4)。
【0048】
例えば、図2の行イメージデータL1について、表示画素である黒画素の密度を前方から後方に算出し、黒画素の密度が低い部分と、黒画素の密度が高い部分とが順に連続して存在する境界位置を分割する区切り位置とし、当該区切り位置において行イメージデータが各セグメントに分割される。
【0049】
図1のセグメント記憶手段B06は、分割されたセグメントの少なくとも配列順序(L1行の2番目など)を、レイアウト情報として各セグメントに関連づけて記憶する。このようにして、表示端末に対してイメージデータを提供するための前処理が完了する。
【0050】
図1の結合イメージ出力手段B08は、表示端末の表示領域サイズ(横書き文書の場合には、表示幅)に合わせて、文書イメージデータが出力される表示領域の幅長さと、分割された各セグメントのレイアウト情報とに基づいて、セグメントを配列順序の順で、かつ、表示領域の幅長さより小さくなるように改行して配列する。このようにして、配列されたセグメントのイメージは、画面表示用のイメージデータとして表示端末に出力される。
【0051】
これにより、小画面の表示端末に対しては、表示幅に収まり、かつ、文節・句読点の位置で改行した見やすい表示を提供することができる(図2のST5)。また、元のレイアウト情報を保持しておくことで、例えば、大画面の表示端末に対して、元のレイアウトを再現したイメージデータを提供することができる(図2のST6)。
【0052】
2.システム構成(図3)およびハードウェア構成(図4〜図6)
図3は、本発明の文書イメージ出力システム200の構成を示す図である。本システムは、著作権者など、文書のイメージデータを紙媒体から取り込むための出版社PC2と、出版社PC2からイメージデータの提供を受けて、表示端末6に出力するイメージデータを生成するための文書イメージ出力サーバ4がネットワーク6を介して接続されている。また、ユーザーが有する小画面の表示端末6aおよび大画面の表示端末6bが、文書イメージ出力サーバ4に接続できるように基地局8を介してネットワーク6に接続されている。さらに、ユーザーが有する大画面のPC6cも文書イメージ出力サーバ4に接続できるようにネットワーク6に接続されている。
【0053】
図4は、出版社PC2(図3)のハードウェア構成を示す図である。図4に示すように、出版社PC2は、CPU20、メモリ22、ディスプレイ24、ハードディスク26、キーボード/マウス28、通信回路30、スキャナ32を備えている。ハードディスク26に記憶されたイメージ取得プログラム33は、スキャナ32から紙媒体のイメージデータを取り込む。ハードディスク26に記憶された文書イメージ送信プログラム34は、取り込まれたイメージデータを、文書イメージ出力サーバ4に送信する。
【0054】
図5は、文書イメージ出力サーバ4(図3)のハードウェア構成を示す図である。図5に示すように、文書イメージ出力サーバ4は、CPU40、メモリ42、ディスプレイ44、ハードディスク46、キーボード/マウス48、通信回路40を備えている。ハードディスク46に記憶されたセグメント分割プログラム52は、図3に示す出版社PC2から受けたイメージデータを、表示端末6のサイズに合わせて表示するために、予めテキスト部分のイメージを文節または句読点の位置で切り取った中間データを生成してセグメントDB54に記憶する。結合イメージ生成プログラム56は、さらに、表示端末6の要求に応じて、セグメントDB54を参照してイメージデータを再構築する処理を実行する。
【0055】
図6は、表示端末6(図3)のハードウェア構成を示す図である。図6に示すように、表示端末6は、CPU60、メモリ62、ディスプレイ64(表示端末6aは小画面ディスプレイ64a、表示端末6bは大画面ディスプレイ64b)、フラッシュメモリ66、入力キー68、無線または有線の通信回路70を備えている。なお、図3に示す表示端末6cのハードウェア構成は、表示端末6bと同じである。
【0056】
フラッシュメモリ66に記憶された結合イメージ生成プログラム72は、JPEG,GIFFなどのイメージファイルを表示することが可能なプログラムである。なお、この実施形態では、小画面の表示端末6aのディスプレイ64aのサイズが、VGA(横480×縦640)である場合を例に説明する。
【0057】
図7は、文書イメージ出力サーバ4のセグメントDB54に記憶されるデータの例を示す図である。
【0058】
図7に示すように、セグメントDB54は、テキストとして分類されたセグメント「テキストセグメント」のデータベース(図7A)と、図表として分類されたセグメント「図表セグメント」のデータベース(図7B)とに分けてられている。
【0059】
図7Aに示すテキストのデータ項目は、「ID」、「セグメント名」、「イメージの縦横サイズ」(ピクセル単位)、「セグメントの配列順序」などのレイアウト情報(ページ数−段落番号−行番号−配置番号、配置属性)である。図7Bに示すテキストのデータ項目は、「ID」、「セグメント名」、「イメージの縦横サイズ」(ピクセル単位)の他、「セグメントのレイアウト情報」(ページ数−レイアウト行の範囲(1−3行目)−配置属性(右))である。また、元のレイアウトを再現するため、図7A、Bに示すテキストセグメントおよび図表セグメントの何れにもデータ項目として「原配置座標」(元原稿の左上端を原点として、各イメージの左上端を示す平面座標)が設けられている。
【0060】
3.文書イメージ出力プログラムの処理
図8は、文書イメージ出力システム200(図3)における処理全体の流れを示すフローチャートである。以下に、図8に示すレイアウト解析処理S102、セグメント分割処理S104、結合イメージ生成処理106、結合イメージ表示処理S108の順に説明する。
【0061】
図8のレイアウト解析処理S102を行う対象の文書イメージは、予め出版社PC2から文書イメージ出力サーバ4にアップロードされている。例えば、出版社PC2のスキャナ32を200dpiの解像度に設定し、白黒の2階調によりイメージデータの取り込みが行われる。
【0062】
図9は、レイアウト解析処理S102(図8)の詳細を示すフローチャートである。レイアウト解析処理S102では、主としてテキスト部分のイメージを行毎に分割する処理が行われる。
【0063】
文書イメージ出力サーバ4のセグメント分割プログラム52が起動されると、CPU40は、文書のイメージデータを読み込み(ステップS02)、文字や図表などの存在する表示画素部分だけを抽出する(ステップS04)。具体的には、イメージデータを縦方向または横方向にスキャンして、図10Aに示すように、白画素のみで構成される範囲(図10Aに示す領域H)を切り取っていくことで、白画素の領域H以外の部分を表示画像部分Lとして特定することができる。なお、文書のイメージデータを水平に補正してから上記処理を行えば、より正確に表示画素部分を特定することができる。
【0064】
これにより、図10Bに示すように、テキスト部分L1〜L7および図表部分F1が矩形範囲として特定される。このとき、CPU40は、抽出された矩形範囲のサイズ・配置座標を抽出して、セグメントDB54に記憶されるためにメモリ42に保持する(ステップS06)。
【0065】
つぎに、CPU40は、ノイズを除去するために、矩形範囲の幅がしきい値より小さいか否かを判定し(ステップS08)、しきい値より小さな矩形範囲を削除する(ステップS10)。例えば、縦横の幅が何れもしきい値20ピクセル以下の矩形範囲が削除される。
【0066】
さらに、CPU40は、矩形範囲の幅がしきい値(想定される行間隔が50pxの場合その2倍の100px)以上であるか否かを判断し、しきい値以上であると判断した矩形範囲(例えば、図10Bの図表イメージF1)を図表としてレイアウト情報と関連づけてセグメントDB54(図7B)に記憶する。
【0067】
CPU40は、テキスト部分と考えられる残りの矩形範囲について段落の位置を探索する(ステップS16)。具体的には、図10の行L6のように、上位の矩形に比べて右端の長さの短い行を段落の終わりと判定することができる。また、矩形範囲の開始位置が他の行より後ろにある行を段落の始め(1行目)と判定することができる。
【0068】
CPU40は、矩形範囲が一定比率(縦横比が1:5または5:1)で所定長さ以上連続する長手方向を検出し、当該長さの方向に基づいて、縦書きまたは横書きの種別を文書の属性としてセグメントDB54に記憶する(ステップS17)。例えば、図10に示す文書は、横方向に長いセグメントが多いため横書きの文書と判定される。
【0069】
CPU40は、テキストの矩形範囲に関するレイアウト情報を、行毎に生成した行イメージデータと関連づけてメモリ42などに保持しておく(ステップS18)。
【0070】
図11は、セグメント分割処理S104(図8)の詳細を示すフローチャートである。
【0071】
文節の区切りが「{ひらがな/カタカナ/句読点}→漢字」という並びが多いことを利用して、各行毎の行イメージデータに対して、図8のセグメント分割処理が、以下のように実行される。すなわち、各行イメージデータに含まれる黒画素数に基づき算出される濃度の指標値が、前方から後方に「低」から「高」に変動する位置で各セグメントに分割される。
【0072】
まず、各行イメージデータについて、テキストが配列されている方向(図12のx方向)に所定幅のスリット(図12に示す領域S)が設定される(ステップS20)。図12に示すように、この実施形態では、スリット幅を全角文字幅の1/8に設定している。イメージデータの解像度が240dpiとすれば、12ポイントの全角1文字を48×48程度のドットで取り込むことになる。この場合、図12に示すように、1スリットは、6ドットの幅となる。
【0073】
さらに、行イメージデータの幅方向について、各スリットに含まれる黒画素の総数が計数され(ステップS22)、各スリットについて全体画素数に対する黒画素の占有比率が算出される(ステップS24)。例えば、1スリット内に含まれる全体画素数が6ドット*48=288個で、スリット内の黒画素がN個のとき、その占有比率はN/288で得られる。
【0074】
図13Bに、算出された各スリットの占有比率を示す。なお、図13Bは、行イメージデータ(図13A)に対応付けて、各x位置における黒画素数の計数値をグラフ化したものである。なお、図13Bにおいて、1目盛りが占有比率10%を示す。
【0075】
さらに、CPU40は、所定スリット内における移動平均を算出する(ステップS26)。例えば、前後の2スリットとした場合、5スリット分の移動平均が算出される。
【0076】
図13Cに、算出された占有比率の移動平均を示す。なお、図13Bにおいて、1目盛りが、占有比率(平均値)10%を示す。なお、図13Cは、行イメージデータ(図13A)に対応付けて、各x位置における黒画素数の計数値をグラフ化したものである。
【0077】
CPU40は、移動平均が、前方から後方に所定スリット(4スリット)の幅以上、第1のしきい値以下(例えば、表示画素数の占有比率から算出した移動平均が10%以下)で連続する部分を検出し(ステップS28)、第2のしきい値以上(移動平均が第1のしきい値と同じ10%超)となったx位置(図13に示す、P1〜P3の位置)で分割する(ステップS30)。この実施形態では、第1のしきい値と第2のしきい値を同じ値としている。
【0078】
なお、図13にP1’〜P3’に示すように、上記x位置の最も近接で、黒画素の占有比率(図13B)が極めて0%に近い(第3のしきい値以下の)位置で分割するようにしてもよい。
【0079】
移動平均をとることによって、本来占有率が0%近傍であるにも拘わらず、当該値は上昇してしまう。そこで、この実施形態では、このような移動平均による影響を受けない幅(第1のしきい値が連続する幅)を用いて、「ひらがな/カタカナ/句読点」の部分を判定するようにしている。
【0080】
このように、分割位置を決定する基準となる「第1のしきい値以下であるスリットの連続数」は、移動平均が影響を受けないように設定している。例えば、1文字分の8スリットとしてもよいが、影響を受ける前後2スリットの合計4スリットを除いた4スリットとすることもできる。
【0081】
具体的には、移動平均の幅wを5スリットとし、スリット幅dを1/8文字としたとき、「第1のしきい値以下であるスリットの連続数」は、式 1/d−[w/2]×2より、1/(1/8)−[5/2]×2=4スリットで算出できる。
【0082】
ここで、wは移動平均の幅を示すスリットの数であり、[ ]はガウス記号(小数点以下は切り捨て)を表す。
【0083】
一方で、所定の幅長さ以上にわたって分割位置が存在しない場合も考えられる。例えば、ひらがなやカタカナが連続しており、漢字が存在しないため文節が見つからないような場合である。
【0084】
CPU40は、所定のスリット数(例えば、10文字分)に相当する幅長さ以上にわたって分割位置が存在しないセグメントが存在するとき(ステップS32)、しきい値を下げて再度判定処理を実行し、所定位置で分割する(ステップS34)。例えば、しきい値を占有比率の移動平均の10%以下から5%以下に変更する。
【0085】
CPU40は、分割されたセグメントを配列順序と関連づけてセグメントDB54に記憶する(ステップS30)。以上で、表示端末で表示するイメージデータを再構築するための前処理が完了したことになる。
【0086】
この実施形態では、濃度の変化に基づいて、セグメントへの分割を行っている。したがって、セグメント分割を行うために必要なイメージデータの解像度をOCR解析を行う場合に比べて粗くすることができる。
【0087】
図14は、結合イメージ生成処理S106(図8)および結合イメージ表示処理S108(図8)の詳細を示すフローチャート図である。
【0088】
表示端末6(図3)において対象文書の閲覧要求の入力を受けて(ステップS40)、端末の表示領域サイズが読み出され、文書イメージ出力サーバ4に送信される(ステップS42)。このときに、携帯端末であれば、現在の閲覧状態(縦長または横長の種別)を表示領域サイズと併せて送信されることが好ましい。
【0089】
文書イメージ出力サーバ4は、表示端末6からの閲覧要求に応じて、閲覧要求(ステップS42)に含まれる端末の表示領域サイズに基づき、小画面か(または大画面か)否かを判断し、以下の再構築処理(ステップS48またはS50の何れか)を実行する(ステップS46)。
【0090】
この実施形態では、受信した端末装置の画面サイズのうち横幅が、600ピクセル以下の場合に小画面と判断し、600ピクセルを超えるときに大画面と判断するようにしている。よって、表示端末6aの解像度がVGA(横480×縦640)である場合、小画面と判断される。なお、表示端末6の画面サイズの横幅が、元のイメージデータ(閲覧要求を受けた文書)の横幅以下の場合に小画面と判断し、元のイメージデータの横幅を超える場合に大画面と判断するようにしてもよい。
【0091】
図15は、図14に示す小画面の場合(ステップS48)の詳細を示すフローチャートである。
【0092】
表示端末6の表示領域サイズが小画面(端末の閲覧状態における横ピクセル数が所定数未満)である判断したとき(S46のYes)、CPU40は、閲覧状態に基づいて決定した表示領域の幅に合わせて、コンピュータ内部において仮想表示する領域のサイズを決定する。例えば、表示端末6aの表示領域サイズは、VGA(横480×縦640)であり、縦長閲覧状態である場合には、480ピクセルが仮想表示領域の幅として決定される。なお、仮想表示領域の下端は設定しない。
【0093】
さらに、CPU40は、セグメントDB54から対象段落に属するテキストセグメントを読み出して、まず、イメージ領域の左上に最上位のセグメントのイメージ(図16のIm1)を配置する(ステップS54)。次に、行の前方から右方向に順にテキストセグメントのイメージ(例えば、図16のIm2)を隣接して配置する(ステップS56)。
【0094】
セグメントが表示幅を超えるとき(例えば、図16に点線で示すように、セグメントを配置したときに480ピクセルを超えるとき)、当該行が幅長さより小さくなるように下方左端の位置(図16のIm3)に改行して配置する(ステップS58)。なお、このとき、見やすい表示とするために、所定幅の行間隔を設けて次行を配置するのがよい。以降は、S58〜S62の処理を繰り返す。
【0095】
テキストセグメントを全て配置したとき(ステップS60のYes)、さらに、当該段落に関連づけられている図表・挿絵が存在する場合には(ステップS62)、図16に示すように、その図表・挿絵にURLなどによりリンク付けたアイコンIcをさらに配置して表示する(ステップS68)。
【0096】
その後、CPU40は、配置されたセグメントなどのイメージを1ファイルのイメージデータとして結合し、画面表示用のイメージデータ(結合イメージデータ)を生成する(図14のS80)。結合イメージデータは、表示端末6aに出力される(図14のS82)。
【0097】
図17は、図14に示す大画面の場合(ステップS50)の詳細を示すフローチャートである。
【0098】
表示端末6の表示領域サイズが大画面(端末の横ピクセル数が所定数以上)である判断したとき(S46のNo)、CPU40は、対象ページのセグメントを全て読み出す(ステップS66)。
【0099】
さらに、セグメントを配列順序(図7Aに示すセグメントDB54に記憶されたレイアウト情報(ページ数−段落番号−行番号−配置番号))に従って配列する(ステップS68)。
【0100】
対象ページに関連づけられている図表・挿絵が存在する場合には、図表・挿絵のイメージを該当位置に配置する(ステップS84)。これにより、図18に示すようなデータが再現される。
【0101】
その後、CPU40は、配置されたセグメントなどのイメージを1ファイルのイメージデータとして結合し、画面表示用のイメージデータを生成する(図14のS80)。この画面表示用のイメージデータは、1つのイメージとしてもよいし、複数のセグメントのイメージデータによって構成されるものとしてもよい。画面表示用のイメージデータは、表示端末6bに出力される(図14のS82)。
【0102】
以上のようにして、表示端末6が小画面の場合には、表示の一単位(この実施形態では一段落)についての結合イメージデータが生成されて送信され、表示端末6が大画面の場合には、元のイメージデータの1ページ分の結合イメージデータが生成されて送信される。なお、大画面の場合には、もとのイメージデータをそのまま用いるようにしてもよい。
【0103】
結合イメージデータを受信した表示端末6は、これをディスプレイ上に表示する(ステップS43)。小画面の表示端末6において、一段落分の結合イメージデータの長さが、ディスプレイの表示領域より長い場合には、下方向にスクロール操作をすることで閲覧を行うことができる。この場合、必ず、横方向にはスクロール操作が必要とならないように結合イメージデータが生成されているので、操作が容易である。
【0104】
表示端末装置6は、継続閲覧要求(たとえば、小画面の場合には次段落閲覧要求であり、大画面の場合には次ページ閲覧要求)を受けて、これをサーバ4に送信する(ステップS44)。継続閲覧要求を受けたサーバ4は、大画面の場合には、ステップS50、S80、S82を再度実行し、小画面の場合には、ステップS48、S80、S82を再度実行し、次の結合イメージデータを生成して送信する。
【0105】
4.その他の実施形態
なお、上記実施形態では、文書イメージ出力サーバ4でセグメントを結合したイメージデータを生成し、表示端末6に当該イメージデータの表示処理だけを実行させることとした。しかし、文書イメージ出力サーバ4からは、要求された段落などに属するセグメントを送り、高性能の表示端末6において、文書イメージ出力サーバ4から受けた複数のセグメントを端末側でイメージに再構築するようにしてもよい。これにより、例えば、表示端末6において縦表示から横表示に表表示を変更した場合でも、表示領域の幅に応じてセグメントを再配置することが容易となり、表示変更のためにサーバに接続する必要がなくなる。
【0106】
なお、上記実施形態では、図3に示す出版社PC2、文書イメージ出力サーバ4、表示端末6が一連の処理を連携して行うこととしたが、全ての処理を表示端末6だけで行うようにしてもよい。
【0107】
なお、上記実施形態では、サーバの事業者がユーザーにサービスを提供することとしたが、文書のイメージデータを私的利用のために自己のサーバにアップしておき、必要時に閲覧して利用するようにしてもよい。
【0108】
なお、上記実施形態では、各行の行イメージデータについてセグメント分割処理(図8のS104、図11)を行うこととしたが、行イメージデータを前行の後端と次行の前方で結合した状態で、セグメントの分割処理を実行してもよい。これにより、元のイメージデータで文節または句読点で改行されていない行間において、文節で改行されないセグメントの生成を抑制することができる。
【0109】
なお、上記実施形態では、図20Aに示すように、全角一文字に対して48ドット相当となるような解像度にて2値のイメージデータを得るようにしている。その上で、3ドット幅のスリットにて、黒画素の占有率を算出するようにしている。
【0110】
しかし、図20Bに示すように、より解像度の粗いイメージデータを用いることもできる。図20Bにおいては、全角一文字に対して6ドット相当となるような解像度にて2値のイメージデータを得るようにしている。ただし、この場合において、黒画素の占有率にて算出を行うと、解像度が粗すぎて、区切り位置を適切に見いだせない可能性がある。そこで、解像度が粗い場合には、2値のイメージデータではなく、階調のあるイメージデータを用いればよい。たとえば、64階調のイメージデータを用いれば、その階調が上記黒がその占有率と実質的に等価になる。つまり、階調データを、そのまま図13Bに示す占有率として用いることができる。
【0111】
なお、上記実施形態では、出版社PC2からイメージデータを取り込むこととしたが、文書イメージ出力サーバ4でイメージデータを取り込むようにしてもよい。
【0112】
なお、上記実施形態では、スキャナーで取り込まれる文書、文字の解像度を200dpiとしたが、他の解像度(例えば、100〜400dpi)としてもよい。
【0113】
なお、セグメントDB54ののレイアウト情報を構成するデータ項目として「章」の番号を加えてもよい。
【0114】
なお、上記実施形態では、白画素を含む矩形領域を削除して、文章などの存在する表示画素部分だけを抽出することとしたが(図9のステップS04)。しかし、黒画素が多く集まる矩形範囲を特定するようにしてもよい。
【0115】
なお、上記実施形態では、矩形範囲のサイズ、比率に基づいて段落の位置を検出したが、イメージデータから「。 」で終わる位置を検出(すなわち、「。」およびこれに続く「スペース」のイメージを認識)して段落の位置を検出してもよい。
【0116】
なお、上記実施形態では、第2のしきい値を第1のしきい値と同じにしたが、第2のしきい値を第1のしきい値よりも大きい値に設定してもよい(ただし、第1のしきい値<第2のしきい値とする)。
【0117】
なお、上記実施形態では、移動平均の幅を5スリット「前後2スリットを含む」としたが、これに限定されるものではなく、7スリット「前後3スリットを含む」などとしてもよい。また、移動平均をとる前方のスリット数と後方のスリット数とを同じにしたが、移動平均をとる前方のスリット数と後方のスリット数とを異ならせてもよい。
【0118】
なお、上記実施形態では、指標値として表示画素占有率の移動平均(図13C)を用いたが、図13Bに示す占有率を微分した微分値の絶対値または占有率を差分した差分値の絶対値に基づいて判断してもよい。図13Dに、占有率を差分した差分値を示す。例えば、図13Dにおいて、差分値0から上下1目盛り分(絶対値)をしきい値とし、所定の長さだけしきい値を下回って、後にしきい値を超えた位置の近傍を区切り位置とすることができる。
【0119】
さらに、表示画素占有率ではなく、表示画素数の微分値の絶対値または占有率の差分値の絶対値を指標値としてもよい。この場合においても、微分値が所定の長さだけしきい値を下回って、後にしきい値を超えた位置の近傍を区切り位置とすればよい。
【0120】
また、スリット幅を広くして徐々に移動させるなどしてもよい。例えば、上記実施形態において、スリット幅を15ドットに設定し、3ドットずつ後方に移動させながら占有率を算出すれば、図13Cの移動平均を直接得ることができる。
【0121】
なお、上記実施形態では、指標値として表示画素占有率の移動平均を用いたが、各スリットの占有率(図13B)をそのまま用いて、区切り位置を見出すようにしてもよい。例えば、占有率が20%(図13Bに示す2目盛り)以上を漢字と認識し、10%(図13Bに示す1目盛り)以下を仮名文字または句読点と認識すれば、表示画素数の計数だけで処理を行うことができる。この場合、10%〜20%の間は「不明」(すなわち、「漢字」「仮名文字または句読点」のいずれにも認識しない)とする。区切り位置は、例えば、占有率10%以内が所定長さだけ続き、その後、20%にまで上昇した位置を抽出することによって決定することができる。
【0122】
なお、上記実施形態では、スリット幅をテキスト部分の高さの1/8に設定したが、例えば、1/6に設定する等、より幅を狭くまたは広く設定してもよい。
【0123】
なお、上記実施形態では、スリット幅の高さをテキスト部分の高さと同じに設定して指標値の濃度を判別したが、テキスト部分の高さより小さい幅に設定して指標値の濃度を判別するようにしてもよい。例えば、上記実施形態において、テキストの高さの半分の幅を有する領域をテキスト部分の中央に設定して指標値の濃度を判別するようにしてもよい。
【0124】
なお、上記実施形態では、第1のしきい値以下である部分の幅長さを4スリット分としたが、移動平均が影響を受けないのであれば、これに限られない。例えば、上記実施形態において「第1のしきい値以下であるスリットの連続数」は、1/d−[w/2]×2=4スリット分と算出したが、より簡素化した(式)1/d−wから、3スリット分(8−5)としてもよい。なお、wは自然数であり、[w/2]×2とwの差が1より大きくなることはない。
【0125】
なお、上記実施形態では、第1のしきい値を移動平均10%としたが、これに限られない。なお、上記実施形態では、第2のしきい値を第1のしきい値と同じ10%としたが、これに限定されるものではない。
【0126】
なお、上記実施形態では、所定長において漢字が見つからないときに、しきい値を下げるようにしたが、当該範囲を占有率が0パーセントになる位置で分割する(1文字ずつ切り出す)ようにしてもよい。
【0127】
また、セグメントの最長文字長に併せて複数パターンの中間データを持っておくこともできる。例えば、最長文字長を100ドット、200ドット、300ドットの幅長さにそれぞれ設定した上で、セグメントの分割処理(図11のS32)を実行して生成した中間データを別々に記憶しておけばよい。なお、仮名文字・句読点のような低密度文字が連続する場合には、図11のS32に示すように、しきい値を下げることが有効と考えられるが、漢字のような高密度文字が連続するような場合には、逆にしきい値を上げることも可能であると考えられる。
【0128】
なお、上記実施形態では、解像度がVGAの表示端末を用いたが、他のサイズ(WVGA、SVGA、XGAなど)表示端末を用いてもよい。
【0129】
なお、上記実施形態では、クリック操作に基づいて、サーバにアクセスして段落番号ごとに表示としたが、クリック操作に基づいて、サーバにアクセスしてページ、文章毎に表示してもよい。
【0130】
なお、上記実施形態では、スキャナからイメージデータを取り込むこととしたが、テキストデータからイメージデータを生成してもよい。
【0131】
なお、上記実施形態では、前方から後方にスキャンすることとしたが、テキストが配列された方向であればよく、反対方向、すなわち後方から前方にスキャンして同様の処理を行ってもよい。縦書きにおいても同様である。
【0132】
なお、上記実施形態では、セグメントDB54(図7)に所定位置で分割したセグメントを中間データとして記憶することとしたが、イメージデータは各行毎にもっておいて、これに対応付けて分割する所定位置を記憶しておくようにしてもよい。
【0133】
なお、上記実施形態では、配置したイメージである複数のセグメントを1つのイメージデータとして結合して出力するようにしている。しかし、図19のフローチャートに示すように、セグメントおよびレイアウト情報を出力するようにして、端末側でセグメントを配置した上で表示するようにしてもよい。
【0134】
図19に示すように、表示端末6は、対象文書の閲覧要求を文書イメージ出力サーバ4に送信し(ステップS88)、これを受けて文書イメージ出力サーバ4は、対象文書のセグメント及びレイアウト情報を表示端末6に送信する(ステップS90)。
【0135】
表示端末6のCPU60は、その表示領域サイズが小画面か(または大画面か)否かを判断し(ステップS92)、その結果、小画面の場合には再構築処理S94(図14のS48に対応する図15に示すフローチャートと同様の処理)を実行し、配置されたイメージデータを画面上に出力する(ステップS96)。大画面の場合には再構築処理S98(図14のS50に対応する図17に示すフローチャートと同様の処理)を実行し、配置されたイメージデータを画面上に出力する(ステップS96)。
【技術分野】
【0001】
この発明は、スキャンした文書のイメージデータを、携帯電話などの小さい画面サイズに合わせて表示するための技術に関する。
【背景技術】
【0002】
電子書籍化したデータを携帯電話などの端末に表示するために、OCR処理により文書イメージをテキスト化する技術が存在する(特許文献1〜4)。
【0003】
また、OCR処理を行わずに、イメージデータをそのまま携帯電話などの小さな画面上に表示することも考えられる。しかし、この場合、読めないほど縮小して表示されてしまったり、拡大した場合に縦方向だけでなく、横方向にもスクロールするのは操作が煩雑であるといった問題を生じる。そこで、文書をイメージデータとして取り込んで文字毎にイメージを切り出して、画面サイズに合わせて改行して表示する技術が存在する(特許文献5、6)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−259190号公報
【特許文献2】特開2000−181993号公報
【特許文献3】特開2004−295329号公報
【特許文献4】特開2007−18178号公報
【特許文献5】特開2004−5453号公報
【特許文献6】特開2005−18337号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、OCRによる認識の場合、OCR処理に時間がかかる、テキスト変換時に異なる文字として認識する可能性がある、元のフォントを反映できないといった問題がある。また、テキストのイメージを1文字単位で切り取って表示した場合には単語の途中であっても改行されてしまい、携帯電話の小画面デバイスにおいて見やすい表示を実現することはできず、さらに、文字の管理、配置処理が煩雑になるといった問題がある。
【0006】
この発明は、文書をイメージデータとして取り込んで、文節または文章の終わり位置で切り取っておき、画面サイズに合わせて表示端末において見やすい位置で改行して画面上に表示することを目的とする。
【課題を解決するための手段】
【0007】
(1)(13)この発明に係る文書イメージ出力装置は、画面表示用の文書イメージデータを出力するための文書イメージ出力装置であって、文書から取り込まれたイメージデータの入力を受けて、前記イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、各行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が第1の所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割するセグメント分割手段と、分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、文書イメージデータが出力される表示領域の幅長さおよび前記分割された各セグメントのレイアウト情報に基づいて、セグメントを前記配列順序の順で、かつ、前記表示領域の幅長さより小さくなるように改行して配列した画面表示用のイメージデータを生成し、当該画面表示用のイメージデータを出力する結合イメージ出力手段とを備えている。
【0008】
したがって、表示のためにイメージデータを用いているので、元の文書の文字と異なる文字に表示されるおそれがない。さらに、表示画素数に基づく指標値が第1のしきい値を越える場所で行イメージデータを分割しているので、概ね文節や句読点の位置において分割がなされ、表示の際に読みやすい位置で分割される。
【0009】
さらに、表示の際、スクロール操作が一方向(上下または左右)だけでよく、操作性がよい。
【0010】
(2)この発明に係る文書イメージ出力装置は、指標値が、前記スリットに含まれる表示画素数の、前記スリットの全体画素数に対する占有比率であることを特徴としている。
【0011】
したがって、表示画素の割合により分割を行うことができる。
【0012】
(3)この発明に係る文書イメージ出力装置は、指標値が、前記占有比率の移動平均であることを特徴としている。
【0013】
したがって、局所的な占有比率の変化の影響を少なくして、より正確に分割を行うことができる。
【0014】
(4)この発明に係る文書イメージ出力装置は、セグメント分割手段が、前記占有比率の移動平均が第1のしきい値以下となる部分が終了した位置の近傍において、前記占有比率が実質的に0になる位置を前記セグメントの分割位置とすることを特徴としている。
【0015】
したがって、文字の途中で分割してしまうことを避けることができる。
【0016】
(5)この発明に係る文書イメージ出力装置は、指標値が、行イメージデータのテキストが配列されている方向に設定した軸上の所定位置における前記表示画素数の微分値の絶対値または差分値の絶対値であることを特徴としている。
【0017】
したがって、表示画素数の微分値の絶対値または差分値の絶対値に基づいて分割を行うことができる。
【0018】
(6)この発明に係る文書イメージ出力装置は、指標値が、スリットに含まれる表示画素数の、スリットの全体画素数に対する占有比率の微分値の絶対値または差分値の絶対値であることを特徴としている。
【0019】
したがって、占有比率の微分値の絶対値または差分値の絶対値に基づいて分割を行うことができる。
【0020】
(7)この発明に係る文書イメージ出力装置は、セグメント分割手段が、指標値の第1のしきい値以下となる部分が終了し、指標値が第2のしきい値を超える部分において、行イメージデータを各セグメントに分割することを特徴としている。
【0021】
したがって、より正確に文節の部分において分割することができる。
【0022】
(8)この発明に係る文書イメージ出力装置は、指標値が第2の所定幅を超えて連続する場合には、当該部分に関し、前記第1のしきい値を下げて、セグメントの分割を行うことを特徴としている。
【0023】
したがって、ひらがなやカタカナなどが連続する場合においても、分割を行うことが可能となる。
【0024】
(9)この発明に係る文書イメージ出力装置は、指標値が第2の所定幅を超えて連続する場合には、当該部分に関し、前記スリットに含まれる表示画素数の、前記スリットの全体画素数に対する占有比率が実質的に0になる位置において分割を行うことを特徴としている。
【0025】
したがって、ひらがなやカタカナなどが連続する場合においても、分割を行うことが可能となる。
【0026】
(10)この発明に係る文書イメージ出力装置は、第1のしきい値が、ひらがな、カタカナまたは句読点と漢字とが連続する場合、漢字の前の位置をセグメントとして区切るように設定されていることを特徴としている。
【0027】
(11)この発明に係る文書イメージ出力装置は、行イメージデータを連結した後に、セグメントへの分割を行うことを特徴としている。
【0028】
したがって、元の文書において文節の途中で改行がなされていた場合であっても、適切に文節にて分割することができる。
【0029】
(12)この発明に係る文書イメージ出力装置は、結合イメージ出力手段が、出力先の画面のサイズにより、小画面または大画面の判定をして、小画面の時は表示幅で改行して出力し、大画面の時は元の改行位置で改行して出力することを特徴としている。
【0030】
(14)(15)(18)この発明に係る文書イメージ生成装置は、文書から取り込まれたイメージデータの入力を受けて、前記イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、行毎に分割された行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割するセグメント分割手段と、分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段とを備えている。
【0031】
したがって、表示のためにイメージデータを用いているので、元の文書の文字と異なる文字に表示されるおそれがない。さらに、表示画素数に基づく指標値が第1のしきい値を越える場所で行イメージデータを分割しているので、概ね文節や句読点の位置において分割がなされ、表示の際に読みやすい位置で分割される。
【0032】
(16)(17)この発明に係る文書イメージ表示装置は、文節または句読点にて分割されたセグメントを含む複数のセグメントと、当該セグメントの配列順序を含むレイアウト情報を受けとる手段と、文書イメージデータが出力される表示領域の幅長さおよび前記分割された各セグメントのレイアウト情報に基づいて、セグメントを前記配列順序の順で、かつ、前記表示領域の幅長さより小さくなるように改行して配列し、表示するイメージ表示手段とを備えている。
【0033】
したがって、表示装置の表示画面にあわせて、文書のイメージデータを適切に表示することができる。
【0034】
(19)この発明に係る文書イメージデータは、各行イメージデータについてテキストが配列されている方向に表示画素の密度の変化を得て、表示画素の密度が第1のしきい値より低い部分が所定幅以上連続した後、当該表示画素が前記第1のしきい値を超える位置の近傍にて、分割されたテキストのイメージデータを記録したテキストイメージデータ記録領域と、当該分割されたテキストイメージデータに対応づけて、分割されたイメージデータの配列順序を記録した配列順序記録領域とを有している。
【0035】
したがって、表示装置の表示画面にあわせて、文書のイメージデータを適切に表示することができる。
【0036】
(20)(21)この発明に係る文書イメージ出力装置は、文書を示すイメージデータの入力を受けて、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、各行イメージデータについて表示画素の密度をテキストが配列されている方向に得て、表示画素の密度が第1のしきい値より低い部分が所定幅以上連続した後、当該表示画素が前記第1のしきい値を超える位置の近傍にて、行イメージデータを各セグメントに分割するセグメント分割手段と、分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、セグメント記憶手段に記憶された各セグメントをそのまま、あるいは、出力先の表示画面の大きさに合致するように処理した後、出力する出力手段とを特徴としている。
【0037】
したがって、表示画素の密度が第1のしきい値より低い部分が所定幅以上連続した後、当該表示画素が前記第1のしきい値を超える位置にて、行イメージデータを分割するようにしているので、概ね文節や句読点で分割することが可能である。
【0038】
「表示画素」とは、背景ではなく文字などの実体を表す画素をいう。例えば、白黒2階調の場合には、黒画素が該当し、グレー階調の場合には、所定階調以上の画素が該当するが、白黒を反転表示したような場合には、白画素が表示画素に該当する。
【0039】
「行イメージ分割手段」は、実施形態においては、ステップS04がこれに対応する。
【0040】
「セグメント分割手段」は、実施形態においては、ステップS30がこれに対応する。
【0041】
「セグメント記憶手段」は、実施形態においては、ステップS30がこれに対応する。
【0042】
「結合イメージ出力手段」は、実施形態においては、ステップS48、S50、S80、S82がこれに対応する
「プログラム」とは、CPUにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【0043】
【図1】本発明の文書イメージ出力装置100のブロック図である。
【図2】本発明の概念図である。
【図3】文書イメージ出力システム200のシステム構成を示す図である。
【図4】出版社PC2のハードウェア構成を示す図である。
【図5】文書イメージ出力サーバ4のハードウェア構成を示す図である。
【図6】表示端末6のハードウェア構成を示す図である。
【図7】セグメントDB54のデータ例を示す図である。
【図8】文書イメージ出力システム200における処理全体のフローチャートである。
【図9】レイアウト解析処理S102(図8)の詳細を示すフローチャートである。
【図10】レイアウト解析の例を示す図である。
【図11】セグメント分割処理S104(図8)の詳細を示すフローチャートである。
【図12】テキストのイメージデータをスキャンするスリット幅について説明する図である。
【図13】テキストのイメージデータ(図13A)に対応づけられた、所定位置におけるスリット内の占有比率を示すグラフ(図13B)、所定位置における占有比率の移動平均を示すグラフ(図13C)および所定位置における占有比率の差分値を示すグラフ(図13D)である。
【図14】結合イメージ生成処理S106(図8)の詳細を示すフローチャート図である。
【図15】図14に示すステップS48の詳細を示すフローチャートである。
【図16】小画面用に生成される結合イメージデータの例を示す図である。
【図17】図14に示すステップS50の詳細を示すフローチャートである。
【図18】大画面用に生成される結合イメージデータの例を示す図である。
【図19】他の実施形態による結合イメージ表示処理の詳細を示すフローチャートである。
【図20】その他の実施形態を示す図である。
【発明を実施するための形態】
【0044】
1.本発明の概要
本発明の概要について、図1の文書イメージ出力装置100のブロック図、および図2に示す発明の概念図を用いて、以下に説明する。
【0045】
文書イメージ出力装置は、画面表示用の文書イメージデータを出力するための装置であり、行イメージ分割手段B02、セグメント分割手段B04、セグメント記憶手段B06、結合イメージ出力手段B08を備える。
【0046】
図1の行イメージ分割手段B02は、文書から取り込まれたイメージデータの入力を受けて(図2のST1)、イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する(図2のST2)。イメージデータの中に図表・挿絵が含まれる場合、これら図表イメージデータは、別途データベースに記憶される(図2のST3)。
【0047】
図1のセグメント分割手段B04は、各行イメージデータ(図2のL1〜L5)について、文節の区切りまたは句読点である可能性が高い位置を探索し、該当位置で行イメージデータを分割する(図2のST4)。
【0048】
例えば、図2の行イメージデータL1について、表示画素である黒画素の密度を前方から後方に算出し、黒画素の密度が低い部分と、黒画素の密度が高い部分とが順に連続して存在する境界位置を分割する区切り位置とし、当該区切り位置において行イメージデータが各セグメントに分割される。
【0049】
図1のセグメント記憶手段B06は、分割されたセグメントの少なくとも配列順序(L1行の2番目など)を、レイアウト情報として各セグメントに関連づけて記憶する。このようにして、表示端末に対してイメージデータを提供するための前処理が完了する。
【0050】
図1の結合イメージ出力手段B08は、表示端末の表示領域サイズ(横書き文書の場合には、表示幅)に合わせて、文書イメージデータが出力される表示領域の幅長さと、分割された各セグメントのレイアウト情報とに基づいて、セグメントを配列順序の順で、かつ、表示領域の幅長さより小さくなるように改行して配列する。このようにして、配列されたセグメントのイメージは、画面表示用のイメージデータとして表示端末に出力される。
【0051】
これにより、小画面の表示端末に対しては、表示幅に収まり、かつ、文節・句読点の位置で改行した見やすい表示を提供することができる(図2のST5)。また、元のレイアウト情報を保持しておくことで、例えば、大画面の表示端末に対して、元のレイアウトを再現したイメージデータを提供することができる(図2のST6)。
【0052】
2.システム構成(図3)およびハードウェア構成(図4〜図6)
図3は、本発明の文書イメージ出力システム200の構成を示す図である。本システムは、著作権者など、文書のイメージデータを紙媒体から取り込むための出版社PC2と、出版社PC2からイメージデータの提供を受けて、表示端末6に出力するイメージデータを生成するための文書イメージ出力サーバ4がネットワーク6を介して接続されている。また、ユーザーが有する小画面の表示端末6aおよび大画面の表示端末6bが、文書イメージ出力サーバ4に接続できるように基地局8を介してネットワーク6に接続されている。さらに、ユーザーが有する大画面のPC6cも文書イメージ出力サーバ4に接続できるようにネットワーク6に接続されている。
【0053】
図4は、出版社PC2(図3)のハードウェア構成を示す図である。図4に示すように、出版社PC2は、CPU20、メモリ22、ディスプレイ24、ハードディスク26、キーボード/マウス28、通信回路30、スキャナ32を備えている。ハードディスク26に記憶されたイメージ取得プログラム33は、スキャナ32から紙媒体のイメージデータを取り込む。ハードディスク26に記憶された文書イメージ送信プログラム34は、取り込まれたイメージデータを、文書イメージ出力サーバ4に送信する。
【0054】
図5は、文書イメージ出力サーバ4(図3)のハードウェア構成を示す図である。図5に示すように、文書イメージ出力サーバ4は、CPU40、メモリ42、ディスプレイ44、ハードディスク46、キーボード/マウス48、通信回路40を備えている。ハードディスク46に記憶されたセグメント分割プログラム52は、図3に示す出版社PC2から受けたイメージデータを、表示端末6のサイズに合わせて表示するために、予めテキスト部分のイメージを文節または句読点の位置で切り取った中間データを生成してセグメントDB54に記憶する。結合イメージ生成プログラム56は、さらに、表示端末6の要求に応じて、セグメントDB54を参照してイメージデータを再構築する処理を実行する。
【0055】
図6は、表示端末6(図3)のハードウェア構成を示す図である。図6に示すように、表示端末6は、CPU60、メモリ62、ディスプレイ64(表示端末6aは小画面ディスプレイ64a、表示端末6bは大画面ディスプレイ64b)、フラッシュメモリ66、入力キー68、無線または有線の通信回路70を備えている。なお、図3に示す表示端末6cのハードウェア構成は、表示端末6bと同じである。
【0056】
フラッシュメモリ66に記憶された結合イメージ生成プログラム72は、JPEG,GIFFなどのイメージファイルを表示することが可能なプログラムである。なお、この実施形態では、小画面の表示端末6aのディスプレイ64aのサイズが、VGA(横480×縦640)である場合を例に説明する。
【0057】
図7は、文書イメージ出力サーバ4のセグメントDB54に記憶されるデータの例を示す図である。
【0058】
図7に示すように、セグメントDB54は、テキストとして分類されたセグメント「テキストセグメント」のデータベース(図7A)と、図表として分類されたセグメント「図表セグメント」のデータベース(図7B)とに分けてられている。
【0059】
図7Aに示すテキストのデータ項目は、「ID」、「セグメント名」、「イメージの縦横サイズ」(ピクセル単位)、「セグメントの配列順序」などのレイアウト情報(ページ数−段落番号−行番号−配置番号、配置属性)である。図7Bに示すテキストのデータ項目は、「ID」、「セグメント名」、「イメージの縦横サイズ」(ピクセル単位)の他、「セグメントのレイアウト情報」(ページ数−レイアウト行の範囲(1−3行目)−配置属性(右))である。また、元のレイアウトを再現するため、図7A、Bに示すテキストセグメントおよび図表セグメントの何れにもデータ項目として「原配置座標」(元原稿の左上端を原点として、各イメージの左上端を示す平面座標)が設けられている。
【0060】
3.文書イメージ出力プログラムの処理
図8は、文書イメージ出力システム200(図3)における処理全体の流れを示すフローチャートである。以下に、図8に示すレイアウト解析処理S102、セグメント分割処理S104、結合イメージ生成処理106、結合イメージ表示処理S108の順に説明する。
【0061】
図8のレイアウト解析処理S102を行う対象の文書イメージは、予め出版社PC2から文書イメージ出力サーバ4にアップロードされている。例えば、出版社PC2のスキャナ32を200dpiの解像度に設定し、白黒の2階調によりイメージデータの取り込みが行われる。
【0062】
図9は、レイアウト解析処理S102(図8)の詳細を示すフローチャートである。レイアウト解析処理S102では、主としてテキスト部分のイメージを行毎に分割する処理が行われる。
【0063】
文書イメージ出力サーバ4のセグメント分割プログラム52が起動されると、CPU40は、文書のイメージデータを読み込み(ステップS02)、文字や図表などの存在する表示画素部分だけを抽出する(ステップS04)。具体的には、イメージデータを縦方向または横方向にスキャンして、図10Aに示すように、白画素のみで構成される範囲(図10Aに示す領域H)を切り取っていくことで、白画素の領域H以外の部分を表示画像部分Lとして特定することができる。なお、文書のイメージデータを水平に補正してから上記処理を行えば、より正確に表示画素部分を特定することができる。
【0064】
これにより、図10Bに示すように、テキスト部分L1〜L7および図表部分F1が矩形範囲として特定される。このとき、CPU40は、抽出された矩形範囲のサイズ・配置座標を抽出して、セグメントDB54に記憶されるためにメモリ42に保持する(ステップS06)。
【0065】
つぎに、CPU40は、ノイズを除去するために、矩形範囲の幅がしきい値より小さいか否かを判定し(ステップS08)、しきい値より小さな矩形範囲を削除する(ステップS10)。例えば、縦横の幅が何れもしきい値20ピクセル以下の矩形範囲が削除される。
【0066】
さらに、CPU40は、矩形範囲の幅がしきい値(想定される行間隔が50pxの場合その2倍の100px)以上であるか否かを判断し、しきい値以上であると判断した矩形範囲(例えば、図10Bの図表イメージF1)を図表としてレイアウト情報と関連づけてセグメントDB54(図7B)に記憶する。
【0067】
CPU40は、テキスト部分と考えられる残りの矩形範囲について段落の位置を探索する(ステップS16)。具体的には、図10の行L6のように、上位の矩形に比べて右端の長さの短い行を段落の終わりと判定することができる。また、矩形範囲の開始位置が他の行より後ろにある行を段落の始め(1行目)と判定することができる。
【0068】
CPU40は、矩形範囲が一定比率(縦横比が1:5または5:1)で所定長さ以上連続する長手方向を検出し、当該長さの方向に基づいて、縦書きまたは横書きの種別を文書の属性としてセグメントDB54に記憶する(ステップS17)。例えば、図10に示す文書は、横方向に長いセグメントが多いため横書きの文書と判定される。
【0069】
CPU40は、テキストの矩形範囲に関するレイアウト情報を、行毎に生成した行イメージデータと関連づけてメモリ42などに保持しておく(ステップS18)。
【0070】
図11は、セグメント分割処理S104(図8)の詳細を示すフローチャートである。
【0071】
文節の区切りが「{ひらがな/カタカナ/句読点}→漢字」という並びが多いことを利用して、各行毎の行イメージデータに対して、図8のセグメント分割処理が、以下のように実行される。すなわち、各行イメージデータに含まれる黒画素数に基づき算出される濃度の指標値が、前方から後方に「低」から「高」に変動する位置で各セグメントに分割される。
【0072】
まず、各行イメージデータについて、テキストが配列されている方向(図12のx方向)に所定幅のスリット(図12に示す領域S)が設定される(ステップS20)。図12に示すように、この実施形態では、スリット幅を全角文字幅の1/8に設定している。イメージデータの解像度が240dpiとすれば、12ポイントの全角1文字を48×48程度のドットで取り込むことになる。この場合、図12に示すように、1スリットは、6ドットの幅となる。
【0073】
さらに、行イメージデータの幅方向について、各スリットに含まれる黒画素の総数が計数され(ステップS22)、各スリットについて全体画素数に対する黒画素の占有比率が算出される(ステップS24)。例えば、1スリット内に含まれる全体画素数が6ドット*48=288個で、スリット内の黒画素がN個のとき、その占有比率はN/288で得られる。
【0074】
図13Bに、算出された各スリットの占有比率を示す。なお、図13Bは、行イメージデータ(図13A)に対応付けて、各x位置における黒画素数の計数値をグラフ化したものである。なお、図13Bにおいて、1目盛りが占有比率10%を示す。
【0075】
さらに、CPU40は、所定スリット内における移動平均を算出する(ステップS26)。例えば、前後の2スリットとした場合、5スリット分の移動平均が算出される。
【0076】
図13Cに、算出された占有比率の移動平均を示す。なお、図13Bにおいて、1目盛りが、占有比率(平均値)10%を示す。なお、図13Cは、行イメージデータ(図13A)に対応付けて、各x位置における黒画素数の計数値をグラフ化したものである。
【0077】
CPU40は、移動平均が、前方から後方に所定スリット(4スリット)の幅以上、第1のしきい値以下(例えば、表示画素数の占有比率から算出した移動平均が10%以下)で連続する部分を検出し(ステップS28)、第2のしきい値以上(移動平均が第1のしきい値と同じ10%超)となったx位置(図13に示す、P1〜P3の位置)で分割する(ステップS30)。この実施形態では、第1のしきい値と第2のしきい値を同じ値としている。
【0078】
なお、図13にP1’〜P3’に示すように、上記x位置の最も近接で、黒画素の占有比率(図13B)が極めて0%に近い(第3のしきい値以下の)位置で分割するようにしてもよい。
【0079】
移動平均をとることによって、本来占有率が0%近傍であるにも拘わらず、当該値は上昇してしまう。そこで、この実施形態では、このような移動平均による影響を受けない幅(第1のしきい値が連続する幅)を用いて、「ひらがな/カタカナ/句読点」の部分を判定するようにしている。
【0080】
このように、分割位置を決定する基準となる「第1のしきい値以下であるスリットの連続数」は、移動平均が影響を受けないように設定している。例えば、1文字分の8スリットとしてもよいが、影響を受ける前後2スリットの合計4スリットを除いた4スリットとすることもできる。
【0081】
具体的には、移動平均の幅wを5スリットとし、スリット幅dを1/8文字としたとき、「第1のしきい値以下であるスリットの連続数」は、式 1/d−[w/2]×2より、1/(1/8)−[5/2]×2=4スリットで算出できる。
【0082】
ここで、wは移動平均の幅を示すスリットの数であり、[ ]はガウス記号(小数点以下は切り捨て)を表す。
【0083】
一方で、所定の幅長さ以上にわたって分割位置が存在しない場合も考えられる。例えば、ひらがなやカタカナが連続しており、漢字が存在しないため文節が見つからないような場合である。
【0084】
CPU40は、所定のスリット数(例えば、10文字分)に相当する幅長さ以上にわたって分割位置が存在しないセグメントが存在するとき(ステップS32)、しきい値を下げて再度判定処理を実行し、所定位置で分割する(ステップS34)。例えば、しきい値を占有比率の移動平均の10%以下から5%以下に変更する。
【0085】
CPU40は、分割されたセグメントを配列順序と関連づけてセグメントDB54に記憶する(ステップS30)。以上で、表示端末で表示するイメージデータを再構築するための前処理が完了したことになる。
【0086】
この実施形態では、濃度の変化に基づいて、セグメントへの分割を行っている。したがって、セグメント分割を行うために必要なイメージデータの解像度をOCR解析を行う場合に比べて粗くすることができる。
【0087】
図14は、結合イメージ生成処理S106(図8)および結合イメージ表示処理S108(図8)の詳細を示すフローチャート図である。
【0088】
表示端末6(図3)において対象文書の閲覧要求の入力を受けて(ステップS40)、端末の表示領域サイズが読み出され、文書イメージ出力サーバ4に送信される(ステップS42)。このときに、携帯端末であれば、現在の閲覧状態(縦長または横長の種別)を表示領域サイズと併せて送信されることが好ましい。
【0089】
文書イメージ出力サーバ4は、表示端末6からの閲覧要求に応じて、閲覧要求(ステップS42)に含まれる端末の表示領域サイズに基づき、小画面か(または大画面か)否かを判断し、以下の再構築処理(ステップS48またはS50の何れか)を実行する(ステップS46)。
【0090】
この実施形態では、受信した端末装置の画面サイズのうち横幅が、600ピクセル以下の場合に小画面と判断し、600ピクセルを超えるときに大画面と判断するようにしている。よって、表示端末6aの解像度がVGA(横480×縦640)である場合、小画面と判断される。なお、表示端末6の画面サイズの横幅が、元のイメージデータ(閲覧要求を受けた文書)の横幅以下の場合に小画面と判断し、元のイメージデータの横幅を超える場合に大画面と判断するようにしてもよい。
【0091】
図15は、図14に示す小画面の場合(ステップS48)の詳細を示すフローチャートである。
【0092】
表示端末6の表示領域サイズが小画面(端末の閲覧状態における横ピクセル数が所定数未満)である判断したとき(S46のYes)、CPU40は、閲覧状態に基づいて決定した表示領域の幅に合わせて、コンピュータ内部において仮想表示する領域のサイズを決定する。例えば、表示端末6aの表示領域サイズは、VGA(横480×縦640)であり、縦長閲覧状態である場合には、480ピクセルが仮想表示領域の幅として決定される。なお、仮想表示領域の下端は設定しない。
【0093】
さらに、CPU40は、セグメントDB54から対象段落に属するテキストセグメントを読み出して、まず、イメージ領域の左上に最上位のセグメントのイメージ(図16のIm1)を配置する(ステップS54)。次に、行の前方から右方向に順にテキストセグメントのイメージ(例えば、図16のIm2)を隣接して配置する(ステップS56)。
【0094】
セグメントが表示幅を超えるとき(例えば、図16に点線で示すように、セグメントを配置したときに480ピクセルを超えるとき)、当該行が幅長さより小さくなるように下方左端の位置(図16のIm3)に改行して配置する(ステップS58)。なお、このとき、見やすい表示とするために、所定幅の行間隔を設けて次行を配置するのがよい。以降は、S58〜S62の処理を繰り返す。
【0095】
テキストセグメントを全て配置したとき(ステップS60のYes)、さらに、当該段落に関連づけられている図表・挿絵が存在する場合には(ステップS62)、図16に示すように、その図表・挿絵にURLなどによりリンク付けたアイコンIcをさらに配置して表示する(ステップS68)。
【0096】
その後、CPU40は、配置されたセグメントなどのイメージを1ファイルのイメージデータとして結合し、画面表示用のイメージデータ(結合イメージデータ)を生成する(図14のS80)。結合イメージデータは、表示端末6aに出力される(図14のS82)。
【0097】
図17は、図14に示す大画面の場合(ステップS50)の詳細を示すフローチャートである。
【0098】
表示端末6の表示領域サイズが大画面(端末の横ピクセル数が所定数以上)である判断したとき(S46のNo)、CPU40は、対象ページのセグメントを全て読み出す(ステップS66)。
【0099】
さらに、セグメントを配列順序(図7Aに示すセグメントDB54に記憶されたレイアウト情報(ページ数−段落番号−行番号−配置番号))に従って配列する(ステップS68)。
【0100】
対象ページに関連づけられている図表・挿絵が存在する場合には、図表・挿絵のイメージを該当位置に配置する(ステップS84)。これにより、図18に示すようなデータが再現される。
【0101】
その後、CPU40は、配置されたセグメントなどのイメージを1ファイルのイメージデータとして結合し、画面表示用のイメージデータを生成する(図14のS80)。この画面表示用のイメージデータは、1つのイメージとしてもよいし、複数のセグメントのイメージデータによって構成されるものとしてもよい。画面表示用のイメージデータは、表示端末6bに出力される(図14のS82)。
【0102】
以上のようにして、表示端末6が小画面の場合には、表示の一単位(この実施形態では一段落)についての結合イメージデータが生成されて送信され、表示端末6が大画面の場合には、元のイメージデータの1ページ分の結合イメージデータが生成されて送信される。なお、大画面の場合には、もとのイメージデータをそのまま用いるようにしてもよい。
【0103】
結合イメージデータを受信した表示端末6は、これをディスプレイ上に表示する(ステップS43)。小画面の表示端末6において、一段落分の結合イメージデータの長さが、ディスプレイの表示領域より長い場合には、下方向にスクロール操作をすることで閲覧を行うことができる。この場合、必ず、横方向にはスクロール操作が必要とならないように結合イメージデータが生成されているので、操作が容易である。
【0104】
表示端末装置6は、継続閲覧要求(たとえば、小画面の場合には次段落閲覧要求であり、大画面の場合には次ページ閲覧要求)を受けて、これをサーバ4に送信する(ステップS44)。継続閲覧要求を受けたサーバ4は、大画面の場合には、ステップS50、S80、S82を再度実行し、小画面の場合には、ステップS48、S80、S82を再度実行し、次の結合イメージデータを生成して送信する。
【0105】
4.その他の実施形態
なお、上記実施形態では、文書イメージ出力サーバ4でセグメントを結合したイメージデータを生成し、表示端末6に当該イメージデータの表示処理だけを実行させることとした。しかし、文書イメージ出力サーバ4からは、要求された段落などに属するセグメントを送り、高性能の表示端末6において、文書イメージ出力サーバ4から受けた複数のセグメントを端末側でイメージに再構築するようにしてもよい。これにより、例えば、表示端末6において縦表示から横表示に表表示を変更した場合でも、表示領域の幅に応じてセグメントを再配置することが容易となり、表示変更のためにサーバに接続する必要がなくなる。
【0106】
なお、上記実施形態では、図3に示す出版社PC2、文書イメージ出力サーバ4、表示端末6が一連の処理を連携して行うこととしたが、全ての処理を表示端末6だけで行うようにしてもよい。
【0107】
なお、上記実施形態では、サーバの事業者がユーザーにサービスを提供することとしたが、文書のイメージデータを私的利用のために自己のサーバにアップしておき、必要時に閲覧して利用するようにしてもよい。
【0108】
なお、上記実施形態では、各行の行イメージデータについてセグメント分割処理(図8のS104、図11)を行うこととしたが、行イメージデータを前行の後端と次行の前方で結合した状態で、セグメントの分割処理を実行してもよい。これにより、元のイメージデータで文節または句読点で改行されていない行間において、文節で改行されないセグメントの生成を抑制することができる。
【0109】
なお、上記実施形態では、図20Aに示すように、全角一文字に対して48ドット相当となるような解像度にて2値のイメージデータを得るようにしている。その上で、3ドット幅のスリットにて、黒画素の占有率を算出するようにしている。
【0110】
しかし、図20Bに示すように、より解像度の粗いイメージデータを用いることもできる。図20Bにおいては、全角一文字に対して6ドット相当となるような解像度にて2値のイメージデータを得るようにしている。ただし、この場合において、黒画素の占有率にて算出を行うと、解像度が粗すぎて、区切り位置を適切に見いだせない可能性がある。そこで、解像度が粗い場合には、2値のイメージデータではなく、階調のあるイメージデータを用いればよい。たとえば、64階調のイメージデータを用いれば、その階調が上記黒がその占有率と実質的に等価になる。つまり、階調データを、そのまま図13Bに示す占有率として用いることができる。
【0111】
なお、上記実施形態では、出版社PC2からイメージデータを取り込むこととしたが、文書イメージ出力サーバ4でイメージデータを取り込むようにしてもよい。
【0112】
なお、上記実施形態では、スキャナーで取り込まれる文書、文字の解像度を200dpiとしたが、他の解像度(例えば、100〜400dpi)としてもよい。
【0113】
なお、セグメントDB54ののレイアウト情報を構成するデータ項目として「章」の番号を加えてもよい。
【0114】
なお、上記実施形態では、白画素を含む矩形領域を削除して、文章などの存在する表示画素部分だけを抽出することとしたが(図9のステップS04)。しかし、黒画素が多く集まる矩形範囲を特定するようにしてもよい。
【0115】
なお、上記実施形態では、矩形範囲のサイズ、比率に基づいて段落の位置を検出したが、イメージデータから「。 」で終わる位置を検出(すなわち、「。」およびこれに続く「スペース」のイメージを認識)して段落の位置を検出してもよい。
【0116】
なお、上記実施形態では、第2のしきい値を第1のしきい値と同じにしたが、第2のしきい値を第1のしきい値よりも大きい値に設定してもよい(ただし、第1のしきい値<第2のしきい値とする)。
【0117】
なお、上記実施形態では、移動平均の幅を5スリット「前後2スリットを含む」としたが、これに限定されるものではなく、7スリット「前後3スリットを含む」などとしてもよい。また、移動平均をとる前方のスリット数と後方のスリット数とを同じにしたが、移動平均をとる前方のスリット数と後方のスリット数とを異ならせてもよい。
【0118】
なお、上記実施形態では、指標値として表示画素占有率の移動平均(図13C)を用いたが、図13Bに示す占有率を微分した微分値の絶対値または占有率を差分した差分値の絶対値に基づいて判断してもよい。図13Dに、占有率を差分した差分値を示す。例えば、図13Dにおいて、差分値0から上下1目盛り分(絶対値)をしきい値とし、所定の長さだけしきい値を下回って、後にしきい値を超えた位置の近傍を区切り位置とすることができる。
【0119】
さらに、表示画素占有率ではなく、表示画素数の微分値の絶対値または占有率の差分値の絶対値を指標値としてもよい。この場合においても、微分値が所定の長さだけしきい値を下回って、後にしきい値を超えた位置の近傍を区切り位置とすればよい。
【0120】
また、スリット幅を広くして徐々に移動させるなどしてもよい。例えば、上記実施形態において、スリット幅を15ドットに設定し、3ドットずつ後方に移動させながら占有率を算出すれば、図13Cの移動平均を直接得ることができる。
【0121】
なお、上記実施形態では、指標値として表示画素占有率の移動平均を用いたが、各スリットの占有率(図13B)をそのまま用いて、区切り位置を見出すようにしてもよい。例えば、占有率が20%(図13Bに示す2目盛り)以上を漢字と認識し、10%(図13Bに示す1目盛り)以下を仮名文字または句読点と認識すれば、表示画素数の計数だけで処理を行うことができる。この場合、10%〜20%の間は「不明」(すなわち、「漢字」「仮名文字または句読点」のいずれにも認識しない)とする。区切り位置は、例えば、占有率10%以内が所定長さだけ続き、その後、20%にまで上昇した位置を抽出することによって決定することができる。
【0122】
なお、上記実施形態では、スリット幅をテキスト部分の高さの1/8に設定したが、例えば、1/6に設定する等、より幅を狭くまたは広く設定してもよい。
【0123】
なお、上記実施形態では、スリット幅の高さをテキスト部分の高さと同じに設定して指標値の濃度を判別したが、テキスト部分の高さより小さい幅に設定して指標値の濃度を判別するようにしてもよい。例えば、上記実施形態において、テキストの高さの半分の幅を有する領域をテキスト部分の中央に設定して指標値の濃度を判別するようにしてもよい。
【0124】
なお、上記実施形態では、第1のしきい値以下である部分の幅長さを4スリット分としたが、移動平均が影響を受けないのであれば、これに限られない。例えば、上記実施形態において「第1のしきい値以下であるスリットの連続数」は、1/d−[w/2]×2=4スリット分と算出したが、より簡素化した(式)1/d−wから、3スリット分(8−5)としてもよい。なお、wは自然数であり、[w/2]×2とwの差が1より大きくなることはない。
【0125】
なお、上記実施形態では、第1のしきい値を移動平均10%としたが、これに限られない。なお、上記実施形態では、第2のしきい値を第1のしきい値と同じ10%としたが、これに限定されるものではない。
【0126】
なお、上記実施形態では、所定長において漢字が見つからないときに、しきい値を下げるようにしたが、当該範囲を占有率が0パーセントになる位置で分割する(1文字ずつ切り出す)ようにしてもよい。
【0127】
また、セグメントの最長文字長に併せて複数パターンの中間データを持っておくこともできる。例えば、最長文字長を100ドット、200ドット、300ドットの幅長さにそれぞれ設定した上で、セグメントの分割処理(図11のS32)を実行して生成した中間データを別々に記憶しておけばよい。なお、仮名文字・句読点のような低密度文字が連続する場合には、図11のS32に示すように、しきい値を下げることが有効と考えられるが、漢字のような高密度文字が連続するような場合には、逆にしきい値を上げることも可能であると考えられる。
【0128】
なお、上記実施形態では、解像度がVGAの表示端末を用いたが、他のサイズ(WVGA、SVGA、XGAなど)表示端末を用いてもよい。
【0129】
なお、上記実施形態では、クリック操作に基づいて、サーバにアクセスして段落番号ごとに表示としたが、クリック操作に基づいて、サーバにアクセスしてページ、文章毎に表示してもよい。
【0130】
なお、上記実施形態では、スキャナからイメージデータを取り込むこととしたが、テキストデータからイメージデータを生成してもよい。
【0131】
なお、上記実施形態では、前方から後方にスキャンすることとしたが、テキストが配列された方向であればよく、反対方向、すなわち後方から前方にスキャンして同様の処理を行ってもよい。縦書きにおいても同様である。
【0132】
なお、上記実施形態では、セグメントDB54(図7)に所定位置で分割したセグメントを中間データとして記憶することとしたが、イメージデータは各行毎にもっておいて、これに対応付けて分割する所定位置を記憶しておくようにしてもよい。
【0133】
なお、上記実施形態では、配置したイメージである複数のセグメントを1つのイメージデータとして結合して出力するようにしている。しかし、図19のフローチャートに示すように、セグメントおよびレイアウト情報を出力するようにして、端末側でセグメントを配置した上で表示するようにしてもよい。
【0134】
図19に示すように、表示端末6は、対象文書の閲覧要求を文書イメージ出力サーバ4に送信し(ステップS88)、これを受けて文書イメージ出力サーバ4は、対象文書のセグメント及びレイアウト情報を表示端末6に送信する(ステップS90)。
【0135】
表示端末6のCPU60は、その表示領域サイズが小画面か(または大画面か)否かを判断し(ステップS92)、その結果、小画面の場合には再構築処理S94(図14のS48に対応する図15に示すフローチャートと同様の処理)を実行し、配置されたイメージデータを画面上に出力する(ステップS96)。大画面の場合には再構築処理S98(図14のS50に対応する図17に示すフローチャートと同様の処理)を実行し、配置されたイメージデータを画面上に出力する(ステップS96)。
【特許請求の範囲】
【請求項1】
画面表示用の文書イメージデータを出力するための文書イメージ出力装置であって、
文書から取り込まれたイメージデータの入力を受けて、前記イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、
各行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が第1の所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割するセグメント分割手段と、
分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、
文書イメージデータが出力される表示領域の幅長さおよび前記分割された各セグメントのレイアウト情報に基づいて、セグメントを前記配列順序の順で、かつ、前記表示領域の幅長さより小さくなるように改行して配列した画面表示用のイメージデータを生成し、当該画面表示用のイメージデータを出力する結合イメージ出力手段と、
を備えたこと特徴とする文書イメージ出力装置。
【請求項2】
請求項1の文書イメージ出力装置において、
前記指標値は、前記スリットに含まれる表示画素数の、前記スリットの全体画素数に対する占有比率であること、
を特徴とする文書イメージ出力装置。
【請求項3】
請求項2の文書イメージ出力装置において、
前記指標値は、前記占有比率の移動平均であること、
を特徴とする文書イメージ出力装置。
【請求項4】
請求項3の文書イメージ出力装置において、
前記セグメント分割手段は、前記占有比率の移動平均が第1のしきい値以下となる部分が終了した位置の近傍において、前記占有比率が実質的に0になる位置を前記セグメントの分割位置とすること
を特徴とする文書イメージ出力装置。
【請求項5】
請求項1の文書イメージ出力装置において、
前記指標値は、行イメージデータのテキストが配列されている方向に設定した軸上の所定位置における前記表示画素数の微分値の絶対値または差分値の絶対値であること、
を特徴とする文書イメージ出力装置。
【請求項6】
請求項1の文書イメージ出力装置において、
前記指標値は、前記スリットに含まれる表示画素数の、前記スリットの全体画素数に対する占有比率の微分値の絶対値または差分値の絶対値であること
を特徴とする文書イメージ出力装置。
【請求項7】
請求項1〜6のいずれかの文書イメージ出力装置において、
前記セグメント分割手段は、前記指標値の第1のしきい値以下となる部分が終了し、当該指標値が第2のしきい値を超える部分において、行イメージデータを各セグメントに分割すること
を特徴とする文書イメージ出力装置。
【請求項8】
請求項1〜7のいずれかの文書イメージ出力装置において、
前記指標値が第2の所定幅を超えて連続する場合には、当該部分に関し、前記第1のしきい値を下げて、セグメントの分割を行うこと
を特徴とする文書イメージ出力装置。
【請求項9】
請求項1〜7のいずれかの文書イメージ出力装置において、
前記指標値が第2の所定幅を超えて連続する場合には、当該部分に関し、前記スリットに含まれる表示画素数の、前記スリットの全体画素数に対する占有比率が実質的に0になる位置において分割を行うこと
を特徴とする文書イメージ出力装置。
【請求項10】
請求項1〜9のいずれかの文書イメージ出力装置において、
前記第1のしきい値は、ひらがな、カタカナまたは句読点と漢字とが連続する場合、漢字の前の位置をセグメントとして区切るように設定されていること
を特徴とする文書イメージ出力装置。
【請求項11】
請求項1〜10のいずれかの文書イメージ出力装置において、
前記行イメージデータを連結した後に、セグメントへの分割を行うこと
を特徴とする文書イメージ出力装置。
【請求項12】
請求項1〜11の文書イメージ出力装置において、
前記結合イメージ出力手段は、出力先の画面のサイズにより、小画面または大画面の判定をして、小画面の時は表示幅で改行して出力し、大画面の時は元の改行位置で改行して出力すること、
を特徴とする文書イメージ出力装置。
【請求項13】
画面表示用の文書イメージデータを出力するための文書イメージ出力装置をコンピュータによって実現するためのプログラムであって、
コンピュータを、
文書から取り込まれたイメージデータの入力を受けて、前記イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、
各行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が第1の所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割するセグメント分割手段と、
分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、
文書イメージデータが出力される表示領域の幅長さおよび前記分割された各セグメントのレイアウト情報に基づいて、セグメントを前記配列順序の順で、かつ、前記表示領域の幅長さより小さくなるように改行して配列した画面表示用のイメージデータを生成し、当該画面表示用のイメージデータを出力する結合イメージ出力手段と、
して機能させるためのプログラム。
【請求項14】
画面表示用の文書イメージデータを生成するための文書イメージ生成装置であって、
行毎に分割された行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割するセグメント分割手段と、
分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、
を備えた文書イメージ生成装置。
【請求項15】
文書イメージを生成する装置をコンピュータによって実現するためのプログラムであって、
コンピュータを、
画面表示用の文書イメージデータを生成するための文書イメージ生成装置であって、
文書から取り込まれたイメージデータの入力を受けて、前記イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、
各行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割するセグメント分割手段と、
分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、
して機能させるためのプログラム。
【請求項16】
文書イメージデータを表示するための表示装置であって、
文節または句読点にて分割されたセグメントを含む複数のセグメントと、当該セグメントの配列順序を含むレイアウト情報を受けとる手段と、
文書イメージデータが出力される表示領域の幅長さおよび前記分割された各セグメントのレイアウト情報に基づいて、セグメントを前記配列順序の順で、かつ、前記表示領域の幅長さより小さくなるように改行して配列し、表示するイメージ表示手段と、
を備えた表示装置。
【請求項17】
文書イメージデータを表示するための表示装置をコンピュータによって実現するためのプログラムであって、
コンピュータを、
文節または句読点にて分割されたセグメントを含む複数のセグメントと、当該セグメントの配列順序を含むレイアウト情報を受けとる手段と、
文書イメージデータが出力される表示領域の幅長さおよび前記分割された各セグメントのレイアウト情報に基づいて、セグメントを前記配列順序の順で、かつ、前記表示領域の幅長さより小さくなるように改行して配列し、表示するイメージ表示手段と、
して機能させるためのプログラム。
【請求項18】
コンピュータによって、画面表示用の文書イメージデータを生成するための文書イメージ生成方法であって、
前記コンピュータが。文書から取り込まれたイメージデータの入力を受けて、前記イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割し、
前記コンピュータが、各行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割し、
前記コンピュータが、分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶すること、
を備えた文書イメージ生成方法。
【請求項19】
各行イメージデータについて配列されている方向に表示画素の密度の変化をテキストが得て、表示画素の密度が第1のしきい値より低い部分が所定幅以上連続した後、当該表示画素が前記第1のしきい値を超える位置の近傍にて、分割されたテキストのイメージデータを記録したテキストイメージデータ記録領域と、
当該分割されたテキストイメージデータに対応づけて、分割されたイメージデータの配列順序を記録した配列順序記録領域と、
を有する文書イメージデータ。
【請求項20】
画面表示用の文書イメージデータを出力するための文書イメージ出力装置であって、
文書を示すイメージデータの入力を受けて、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、
各行イメージデータについて表示画素の密度をテキストが配列されている方向に得て、表示画素の密度が第1のしきい値より低い部分が所定幅以上連続した後、当該表示画素が前記第1のしきい値を超える位置の近傍にて、行イメージデータを各セグメントに分割するセグメント分割手段と、
分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、
セグメント記憶手段に記憶された各セグメントをそのまま、あるいは、出力先の表示画面の大きさに合致するように処理した後、出力する出力手段と、
を備えた文書イメージ出力装置。
【請求項21】
画面表示用の文書イメージデータを出力するための文書イメージ出力装置をコンピュータによって実現するためのプログラムであって、
コンピュータを、
文書を示すイメージデータの入力を受けて、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、
各行イメージデータについて表示画素の密度をテキストが配列されている方向に得て、表示画素の密度が第1のしきい値より低い部分が所定幅以上連続した後、当該表示画素が前記第1のしきい値を超える位置の近傍にて、行イメージデータを各セグメントに分割するセグメント分割手段と、
分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、
セグメント記憶手段に記憶された各セグメントをそのまま、あるいは、出力先の表示画面の大きさに合致するように処理した後、出力する出力手段と、
して機能させるためのプログラム。
【請求項1】
画面表示用の文書イメージデータを出力するための文書イメージ出力装置であって、
文書から取り込まれたイメージデータの入力を受けて、前記イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、
各行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が第1の所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割するセグメント分割手段と、
分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、
文書イメージデータが出力される表示領域の幅長さおよび前記分割された各セグメントのレイアウト情報に基づいて、セグメントを前記配列順序の順で、かつ、前記表示領域の幅長さより小さくなるように改行して配列した画面表示用のイメージデータを生成し、当該画面表示用のイメージデータを出力する結合イメージ出力手段と、
を備えたこと特徴とする文書イメージ出力装置。
【請求項2】
請求項1の文書イメージ出力装置において、
前記指標値は、前記スリットに含まれる表示画素数の、前記スリットの全体画素数に対する占有比率であること、
を特徴とする文書イメージ出力装置。
【請求項3】
請求項2の文書イメージ出力装置において、
前記指標値は、前記占有比率の移動平均であること、
を特徴とする文書イメージ出力装置。
【請求項4】
請求項3の文書イメージ出力装置において、
前記セグメント分割手段は、前記占有比率の移動平均が第1のしきい値以下となる部分が終了した位置の近傍において、前記占有比率が実質的に0になる位置を前記セグメントの分割位置とすること
を特徴とする文書イメージ出力装置。
【請求項5】
請求項1の文書イメージ出力装置において、
前記指標値は、行イメージデータのテキストが配列されている方向に設定した軸上の所定位置における前記表示画素数の微分値の絶対値または差分値の絶対値であること、
を特徴とする文書イメージ出力装置。
【請求項6】
請求項1の文書イメージ出力装置において、
前記指標値は、前記スリットに含まれる表示画素数の、前記スリットの全体画素数に対する占有比率の微分値の絶対値または差分値の絶対値であること
を特徴とする文書イメージ出力装置。
【請求項7】
請求項1〜6のいずれかの文書イメージ出力装置において、
前記セグメント分割手段は、前記指標値の第1のしきい値以下となる部分が終了し、当該指標値が第2のしきい値を超える部分において、行イメージデータを各セグメントに分割すること
を特徴とする文書イメージ出力装置。
【請求項8】
請求項1〜7のいずれかの文書イメージ出力装置において、
前記指標値が第2の所定幅を超えて連続する場合には、当該部分に関し、前記第1のしきい値を下げて、セグメントの分割を行うこと
を特徴とする文書イメージ出力装置。
【請求項9】
請求項1〜7のいずれかの文書イメージ出力装置において、
前記指標値が第2の所定幅を超えて連続する場合には、当該部分に関し、前記スリットに含まれる表示画素数の、前記スリットの全体画素数に対する占有比率が実質的に0になる位置において分割を行うこと
を特徴とする文書イメージ出力装置。
【請求項10】
請求項1〜9のいずれかの文書イメージ出力装置において、
前記第1のしきい値は、ひらがな、カタカナまたは句読点と漢字とが連続する場合、漢字の前の位置をセグメントとして区切るように設定されていること
を特徴とする文書イメージ出力装置。
【請求項11】
請求項1〜10のいずれかの文書イメージ出力装置において、
前記行イメージデータを連結した後に、セグメントへの分割を行うこと
を特徴とする文書イメージ出力装置。
【請求項12】
請求項1〜11の文書イメージ出力装置において、
前記結合イメージ出力手段は、出力先の画面のサイズにより、小画面または大画面の判定をして、小画面の時は表示幅で改行して出力し、大画面の時は元の改行位置で改行して出力すること、
を特徴とする文書イメージ出力装置。
【請求項13】
画面表示用の文書イメージデータを出力するための文書イメージ出力装置をコンピュータによって実現するためのプログラムであって、
コンピュータを、
文書から取り込まれたイメージデータの入力を受けて、前記イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、
各行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が第1の所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割するセグメント分割手段と、
分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、
文書イメージデータが出力される表示領域の幅長さおよび前記分割された各セグメントのレイアウト情報に基づいて、セグメントを前記配列順序の順で、かつ、前記表示領域の幅長さより小さくなるように改行して配列した画面表示用のイメージデータを生成し、当該画面表示用のイメージデータを出力する結合イメージ出力手段と、
して機能させるためのプログラム。
【請求項14】
画面表示用の文書イメージデータを生成するための文書イメージ生成装置であって、
行毎に分割された行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割するセグメント分割手段と、
分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、
を備えた文書イメージ生成装置。
【請求項15】
文書イメージを生成する装置をコンピュータによって実現するためのプログラムであって、
コンピュータを、
画面表示用の文書イメージデータを生成するための文書イメージ生成装置であって、
文書から取り込まれたイメージデータの入力を受けて、前記イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、
各行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割するセグメント分割手段と、
分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、
して機能させるためのプログラム。
【請求項16】
文書イメージデータを表示するための表示装置であって、
文節または句読点にて分割されたセグメントを含む複数のセグメントと、当該セグメントの配列順序を含むレイアウト情報を受けとる手段と、
文書イメージデータが出力される表示領域の幅長さおよび前記分割された各セグメントのレイアウト情報に基づいて、セグメントを前記配列順序の順で、かつ、前記表示領域の幅長さより小さくなるように改行して配列し、表示するイメージ表示手段と、
を備えた表示装置。
【請求項17】
文書イメージデータを表示するための表示装置をコンピュータによって実現するためのプログラムであって、
コンピュータを、
文節または句読点にて分割されたセグメントを含む複数のセグメントと、当該セグメントの配列順序を含むレイアウト情報を受けとる手段と、
文書イメージデータが出力される表示領域の幅長さおよび前記分割された各セグメントのレイアウト情報に基づいて、セグメントを前記配列順序の順で、かつ、前記表示領域の幅長さより小さくなるように改行して配列し、表示するイメージ表示手段と、
して機能させるためのプログラム。
【請求項18】
コンピュータによって、画面表示用の文書イメージデータを生成するための文書イメージ生成方法であって、
前記コンピュータが。文書から取り込まれたイメージデータの入力を受けて、前記イメージデータのレイアウトを解析し、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割し、
前記コンピュータが、各行イメージデータについて、テキストが配列されている方向に所定スリット幅のスリットを順次設定し、当該各スリット内に含まれる表示画素数を計数し、当該計数した表示画素数に基づいて算出される指標値が、当該第1のしきい値以下となる部分が所定幅を超えて存在する場合に、当該第1のしきい値以下となる部分が終了した位置の近傍において、行イメージデータを各セグメントに分割し、
前記コンピュータが、分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶すること、
を備えた文書イメージ生成方法。
【請求項19】
各行イメージデータについて配列されている方向に表示画素の密度の変化をテキストが得て、表示画素の密度が第1のしきい値より低い部分が所定幅以上連続した後、当該表示画素が前記第1のしきい値を超える位置の近傍にて、分割されたテキストのイメージデータを記録したテキストイメージデータ記録領域と、
当該分割されたテキストイメージデータに対応づけて、分割されたイメージデータの配列順序を記録した配列順序記録領域と、
を有する文書イメージデータ。
【請求項20】
画面表示用の文書イメージデータを出力するための文書イメージ出力装置であって、
文書を示すイメージデータの入力を受けて、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、
各行イメージデータについて表示画素の密度をテキストが配列されている方向に得て、表示画素の密度が第1のしきい値より低い部分が所定幅以上連続した後、当該表示画素が前記第1のしきい値を超える位置の近傍にて、行イメージデータを各セグメントに分割するセグメント分割手段と、
分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、
セグメント記憶手段に記憶された各セグメントをそのまま、あるいは、出力先の表示画面の大きさに合致するように処理した後、出力する出力手段と、
を備えた文書イメージ出力装置。
【請求項21】
画面表示用の文書イメージデータを出力するための文書イメージ出力装置をコンピュータによって実現するためのプログラムであって、
コンピュータを、
文書を示すイメージデータの入力を受けて、テキスト部分の範囲を行毎に特定し、各行の行イメージデータに分割する行イメージ分割手段と、
各行イメージデータについて表示画素の密度をテキストが配列されている方向に得て、表示画素の密度が第1のしきい値より低い部分が所定幅以上連続した後、当該表示画素が前記第1のしきい値を超える位置の近傍にて、行イメージデータを各セグメントに分割するセグメント分割手段と、
分割された前記セグメントの少なくとも配列順序を、レイアウト情報として各セグメントに関連づけて記憶するセグメント記憶手段と、
セグメント記憶手段に記憶された各セグメントをそのまま、あるいは、出力先の表示画面の大きさに合致するように処理した後、出力する出力手段と、
して機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2012−216038(P2012−216038A)
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願番号】特願2011−80436(P2011−80436)
【出願日】平成23年3月31日(2011.3.31)
【出願人】(596100812)京セラコミュニケーションシステム株式会社 (38)
【Fターム(参考)】
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願日】平成23年3月31日(2011.3.31)
【出願人】(596100812)京セラコミュニケーションシステム株式会社 (38)
【Fターム(参考)】
[ Back to top ]