文書処理装置、文書処理方法および文書処理プログラム
【課題】注目部分の詳細な情報と文書全体の概要とのバランスを、簡便に、かつ、きめ細かに制御して出力することができる文書処理装置、文書処理方法および文書処理プログラムを提供すること。
【解決手段】文書データを構成する複数の文書要素の階層関係を検出することにより、複数の見出し要素と、見出し要素ごとに見出し要素に属する下位階層の文書要素である説明要素とを検出するための階層検出部１６と、検出結果に基づいて、複数の見出し要素のうちユーザにより指定された見出し要素についての説明要素を表わす特定説明要素の少なくとも一部を含む詳細情報と、指定された見出し要素を含む複数の見出し要素の少なくとも一部を含む概要情報とを出力要素情報として決定するための要素決定部２４と、決定された出力要素情報を含む出力文書を作成するための出力文書作成部２８とを備える。
【解決手段】文書データを構成する複数の文書要素の階層関係を検出することにより、複数の見出し要素と、見出し要素ごとに見出し要素に属する下位階層の文書要素である説明要素とを検出するための階層検出部１６と、検出結果に基づいて、複数の見出し要素のうちユーザにより指定された見出し要素についての説明要素を表わす特定説明要素の少なくとも一部を含む詳細情報と、指定された見出し要素を含む複数の見出し要素の少なくとも一部を含む概要情報とを出力要素情報として決定するための要素決定部２４と、決定された出力要素情報を含む出力文書を作成するための出力文書作成部２８とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書処理装置、文書処理方法および文書処理プログラムに関し、特に、文書データの見出し要素を検出することのできる文書処理装置、文書処理方法および文書処理プログラムに関する。
【背景技術】
【０００２】
従来より、文書の構造を利用して見出しを抽出する技術が存在する。
たとえば特許文献１では次のような技術が提案されている。すなわち、スキャン文書にＯＣＲ（Optical Character Recognition）をかけた後、解析を行い、見出しを自動抽出する。そして、抽出した見出しを本文とするメールを送信する。このとき、各見出しには見出しが代表する部分文書へのリンク（リンク先はサーバに格納された文書）が埋め込まれることが記載されている。
【０００３】
また、特許文献２では次のような技術が提案されている。すなわち、文書の印刷を行う場合、当該文書のデータに対してインデックスデータを検出し、検出できた場合にはインデックスデータに基づいて文章の構造を解析して、各インデックスの内容を画面に表示する。ユーザは表示インデックス内容に基づいて、印刷対象となるインデックスを指定する。印刷は指定インデックスに対応する本文位置から同じ階層レベルの次インデックスまでの部分に対して行なわれる。
【特許文献１】特開２００２−２９０６４４号公報
【特許文献２】特開２００７−２８３６７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１では、見出しを本文とするメールを自動的に作成することができるが、見出しによる概要情報しか出力することができない。逆に、特許文献２では、見出し指定により部分的に切り取られた詳細情報しか出力することができない。
【０００５】
本発明は、上記のような問題を解決するためになされたものであって、その目的は、注目部分の詳細な情報と文書全体の概要とのバランスを、簡便に、かつ、きめ細かに制御して出力することができる文書処理装置、文書処理方法および文書処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
この発明のある局面に従う文書処理装置は、文書データを構成する複数の文書要素の階層関係を検出することにより、複数の見出し要素と、見出し要素ごとに見出し要素に属する下位階層の文書要素である説明要素とを検出するための検出手段と、検出手段による検出結果に基づいて、複数の見出し要素のうちユーザにより指定された見出し要素についての説明要素を表わす特定説明要素の少なくとも一部を含む詳細情報と、指定された見出し要素を含む複数の見出し要素の少なくとも一部を含む概要情報とを出力要素情報として決定するための決定手段と、決定された出力要素情報を含む出力文書を作成するための作成手段と、作成された出力文書を出力するための出力手段とを備える。
【０００７】
好ましくは、概要情報は、複数の見出し要素のうち、指定された見出し要素と同階層および上位階層の見出し要素のみを含む。
【０００８】
あるいは、概要情報は、複数の見出し要素のうち、指定された見出し要素と同階層のレベル以上であって、ユーザにより指定された上限レベル以下の階層の見出し要素のみを含むことが望ましい。
【０００９】
好ましくは、詳細情報は、特定説明要素のうち、ユーザにより指定された下限レベル以上の階層の説明要素のみを含む。
【００１０】
好ましくは、検出手段は、さらに、説明要素の段落の認識処理を行ない、決定手段は、特定説明要素の種別が本文である場合には、詳細情報に含める段落をユーザに選択させる。
【００１１】
あるいは、決定手段は、特定説明要素の種別が本文である場合には、文字数、行数、段落数、領域の大きさのいずれかで、詳細情報に含める量を制限することが望ましい。
【００１２】
好ましくは、詳細情報は、テキスト、図形、音声、静止画像、動画像、および、それらを他形態に変換したものを含む。
【００１３】
好ましくは、文書データは、光学的に読取られた文書画像であり、検出手段は、複数の文書要素のうち、特定の種別の文書要素を見出し要素として抽出するための抽出手段と、各文書要素について、従属先の見出し要素を親見出しとして検出することにより、見出し要素ごとの説明要素を検出するための説明要素検出手段とを含む。
【００１４】
好ましくは、特定の種別は、表題、セクション見出し、手書き注釈およびキャプションのうち少なくとも一つを含む。
【００１５】
好ましくは、説明要素検出手段は、複数の見出し要素の位置関係に基づいて、見出し要素間の階層構造を判断し、手書き注釈の見出し要素については常に、最上位の階層の見出し要素と判断する。
【００１６】
好ましくは、表示手段をさらに備え、決定手段は、詳細情報の基準となる見出し要素をユーザに指定させるための指定画面に、手書き注釈の見出し要素に対応する説明要素が見出し要素であれば、当該見出し要素を基準となる見出し要素の候補として表示し、手書き注釈の見出し要素に対応する説明要素が見出し要素以外の文書要素であれば、当該文書要素の直上位の見出し要素を基準となる見出し要素の候補として表示する。
【００１７】
好ましくは、文書画像中、出力要素情報として決定された部分の領域の画像データについて文字認識を実行することで、文書画像の一部の画像データのみをテキストデータに変換するための認識処理手段をさらに備え、作成手段は、テキストデータに変換された出力要素情報を含む出力文書を作成する。
【００１８】
好ましくは、作成手段は、出力文書に含まれる各領域に、文書データの対応する部分へのリンク再現情報を付加し、出力手段は、リンク再現情報が付加された出力文書を、文書データとともに外部の装置に送信するための通信手段を含む。
【００１９】
好ましくは、文書データを保存するための記憶手段をさらに備え、作成手段は、出力文書に含まれる各領域に、文書データの対応する部分へのリンク情報を付加し、出力手段は、リンク情報が付加された出力文書を外部の装置に送信するための通信手段を含む。
【００２０】
この発明の他の局面に従う文書処理方法は、文書データを構成する複数の文書要素の階層関係を検出することにより、複数の見出し要素と、見出し要素ごとに見出し要素に属する下位階層の文書要素である説明要素とを検出するステップと、検出結果に基づいて、複数の見出し要素のうちユーザにより指定された見出し要素についての説明要素を表わす特定説明要素の少なくともに一部を含む詳細情報と、指定された見出し要素を含む複数の見出し要素の少なくとも一部を含む概要情報とを出力要素情報として決定するステップと、決定された出力要素情報を含む出力文書を作成するステップと、作成された出力文書を出力するステップとを備える。
【００２１】
この発明のさらに他の局面に従う文書処理プログラムは、上記記載の文書処理方法をコンピュータに実行させる。
【発明の効果】
【００２２】
本発明によると、指定された見出し要素についての詳細部分と、他の概要とのバランスを、簡便に、かつ、きめ細かに制御して出力することができる。
【発明を実施するための最良の形態】
【００２３】
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。
【００２４】
電子メールに文書を添付して送信する際、添付文書中の特定箇所をメール本文中で詳しく示しておきたい場合がよくある。例えば、クライアントに契約書をチェックしてもらいすぐに返事がほしいので、特に見てほしい部分についてはメール本文に転記する一方、全体文書もあとで確認するときのために添付するような場合である。
【００２５】
こういった場合には、章や節の見出しなど文書内容の構造を利用して、簡便に該当箇所を指定して示すことができれば便利である。特に、ＭＦＰ（Multi Function Peripheral）でＳｃａｎＴｏＥ−Ｍａｉｌで文書スキャンにより添付文書を送った場合には、該当箇所をコピーして本文に引用することが困難であるので、これができれば非常に便利である。また、このとき該当箇所と同時に、他の部分についても見出しにより概要を提示すれば、該当箇所の文書全体での位置づけがわかりやすくなり、さらに便利である。
【００２６】
電子メールで文書を送信する以外にも、例えば、文書を印刷して他人に見せる場合に、一部のみ詳細を印刷すると同時におおよその概要を示すため他の部分については見出しだけ出力できれば便利である。
【００２７】
［実施の形態１］
＜構成について＞
（全体システム構成）
図１は、本発明の実施の形態１に従う文書処理装置を含むシステムの概略構成図である。本実施の形態においては、代表的に、本発明に係る文書処理装置を搭載するＭＦＰ（Multi Function Peripheral）について説明する。なお、本発明に係る文書処理装置は、ＭＦＰに限らず、ＰＣ（Personal Computer）、複写機、ファクシミリ装置、スキャナ装置などにも適用可能である。
【００２８】
図１を参照して、本実施の形態に従うＭＦＰ１は、原稿３００を読取るための画像読取部１０４と、紙媒体などへの印刷処理を行なうためのプリント部１０６とを含む。
【００２９】
特に、本実施の形態に従うＭＦＰ１は、ＳｃａｎＴｏＥ−Ｍａｉｌの機能を有する。具体的には、画像読取部１０４で原稿３００を読取ることで文書画像を取得し、この文書画像を含む電子化文書を生成する。そして、たとえば、生成された電子化文書を電子メールに添付して、指定された宛先に送信する。あるいは、生成された電子化文書は内部の記憶装置（図１において図示せず）に保存したまま、文書画像の特定領域へのリンク情報を付加した電子メールを、指定された宛先に送信する。
【００３０】
ＭＦＰ１は、インターネットを介して、メールサーバＭＳおよび複数の端末ＰＣ１，ＰＣ２（以下、「端末ＰＣ」という）と接続されている。
【００３１】
画像読取部１０４は、原稿をセットするための戴荷台と、原稿台ガラスと、戴荷台にセットされた原稿を原稿台ガラスに自動的に一枚ずつ搬送する搬送部と、読取られた原稿を排出するための排出台とを含む（いずれも図示しない）。これにより、複数枚の原稿を連続的に読取って、一つの電子化文書として生成することができる。代表的に、電子化文書にはＰＤＦ（Portable Document Format）などのフォーマットを採用できる。
【００３２】
（ＭＦＰ１の概略構成）
図２は、本発明の実施の形態１に従うＭＦＰ１における概略の機能構成を示すブロック図である。
【００３３】
図２を参照して、ＭＦＰ１の機能構成としては、制御部１００と、メモリ部１０２と、画像読取部１０４と、プリント部１０６と、通信インターフェイス部１０８と、操作パネル部１１０と、記憶部１１２とを含む。
【００３４】
制御部１００は、代表的にＣＰＵ（Central Processing Unit）などの演算装置から構
成され、プログラムを実行することで本実施の形態に従う文書処理を実現する。メモリ部１０２は、代表的にＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、制御部１００で実行されるプログラムやプログラムの実行に必要なデータなどを保持する。通信インターフェイス部１０８は、代表的に、インターネットを介して端末ＰＣ（図１）との間でデータを送受信するための部位であり、たとえば、ＬＡＮアダプタおよびそれを制御するドライバソフトなどを含む。プリント部１０６は、プリント処理を行なうための部位であり、プリント処理に係るハードウェア構成に加えて、各部の作動を制御するための制御装置をも含む。記憶部１１２は、代表的にハードディスク装置やフラッシュメモリなどの不揮発性の記憶装置であり、制御部１００の動作のためのプログラムや制御部１００で生成された電子化文書などを格納する。
【００３５】
操作パネル部１１０の外観例を図３に示す。操作パネル部１１０は、液晶表示装置やタッチパネルなどから構成される表示パネル１１０ａと、ストップボタン１１０ｂと、スタートボタン１１０ｃと、英数キーなどを含む操作ボタン１１０ｄとを備えている。
【００３６】
なお、本実施の形態では、表示機能と指示の入力機能とを兼ね備えた操作パネル部１１０を備えることとしたが、これに代えて、表示部とハードウェアボタンを含む入力部との両方を備えることとしてもよい。
【００３７】
（端末の構成）
図４は、本発明の実施の形態１に従う端末の概略のハードウェア構成を示す模式図である。
【００３８】
図４を参照して、端末ＰＣは、たとえば一般的なパーソナルコンピュータであり、オペレーティングシステム（ＯＳ：Operating System）を含む各種プログラムを実行するＣＰＵ（Central Processing Unit）２０１と、ＣＰＵ２０１でのプログラムの実行に必要なデータを一時的に記憶するメモリ部２１３と、ＣＰＵ２０１で実行されるプログラムを不揮発的に記憶するハードディスク部（ＨＤＤ：Hard Disk Drive）２１１とを含む。また、ハードディスク部２１１には、文書データ（ＭＦＰ１で生成された電子化文書を含む）を表示するための閲覧アプリケーションプログラム（以下、「ビューワ」という）、および、文書データを印刷するための印刷ドライバソフトが記憶されている。このようなプログラムは、ＦＤＤドライブ２１７またはＣＤ−ＲＯＭドライブ２１５によって、それぞれフレキシブルディスク２１７ａまたはＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）２１５ａなどから読取られてよい。
【００３９】
ＣＰＵ２０１は、キーボードやマウスなどからなる入力部２０９を介してユーザからの指示を受取るとともに、プログラムの実行によって生成される画面出力をディスプレイ部２０５へ出力する。また、ＣＰＵ２０１は、ＬＡＮカードなどからなる通信インターフェイス部２０７を介して、ＬＡＮやＷＡＮに接続されたＭＦＰ１やサーバ装置（図示せず）から電子化文書を取得し、ハードディスク部２１１などに格納する。また、上述の各部は、内部バス２０３を介して相互にデータを授受する。
【００４０】
なお、端末ＰＣは、パーソナルコンピュータに限定されず、携帯電話などの携帯端末であってもよい。その場合の端末ＰＣは、図４においてＦＤＤドライブ２１７やＣＤ−ＲＯＭドライブ２１５などを取り除いたものとほぼ等価であるので、詳細な説明は繰返さない。
【００４１】
（ＭＦＰの機能構成）
図５は、本発明の実施の形態１に従うＭＦＰ１の機能構成を示す機能ブロック図である。
【００４２】
図５を参照して、ＭＦＰ１の機能構成としては、画像読取部１０４と、画像バッファ部１２と、圧縮処理部１４と、階層検出部１６と、ＵＩ（User Interface）部２３と、要素決定部２４と、認識処理部２６と、出力文書作成部２８と、出力処理部３０と、通信インターフェイス部１０８と、記憶部１１２とを含む。
【００４３】
画像読取部１０４は、原稿３００を読取って文書画像を取得し、その文書画像を画像バッファ部１２へ出力する。画像バッファ部１２は、画像読取部１０４が逐次的に出力する文書画像のデータを一時的に格納する部位であり、一旦格納した文書画像を圧縮処理部１４および階層検出部１６に出力する。
【００４４】
圧縮処理部１４は、画像バッファ部１２から出力される文書画像を圧縮処理して、出力処理部３０へ出力する。この圧縮処理による圧縮度合いは、生成される電子化文書の大きさや、要求される文書画像の解像度などに応じて変化させてもよく、また圧縮処理はＪＰＥＧ（Joint Photographic Experts Group）などの非可逆変換であってもよい。なお、高解像度が要求される場合などには、圧縮処理を省略してもよい。
【００４５】
階層検出部１６は、文書画像を構成する複数の文書要素の階層関係を検出することにより、複数の見出し要素と、見出し要素ごとに見出し要素に属する下位階層の文書要素である説明要素とを検出する。本実施の形態において、階層検出部１６は、見出し要素抽出部２０と説明要素検出部２２とを含む。「文書要素」とは、文書を構成する記述要素である。
【００４６】
見出し要素抽出部２０は、画像バッファ部１２から出力される文書画像に含まれる見出し要素を抽出する。その際に、文書画像に含まれる関連要素も検出する。具体的には、見出し要素抽出部２０は、文書画像を解析し、文書画像中の以下の文書要素、すなわち、「タイトル（表題）」、「セクション（章・節・項）見出し」、「図」、「表」、「写真」、「キャプション」、「手書き注釈」、および「本文」を検出する。また、その過程において、見出し要素抽出部２０は、「段（段組）」を検出し、さらに、各段の「行方向」、および、各段の「接続情報」を検出してもよい。
【００４７】
「見出し要素」とは、文書の概要を示すための特定の種別の文書要素であり、上記種別のうち、少なくともタイトル、セクション見出しおよび手書き注釈を含むことが好ましく、さらにキャプションを含むことが好ましい。本実施の形態では、見出し要素はこれら４つの種別の文書要素であることとする。なお、特定の種別は、これら４つの種別のうちの一つでもよいし、複数の組合わせであってもよい。
【００４８】
本実施の形態では、見出し要素の種別は、予め製造時に定められていることを前提にするが、ユーザが個別に所望の種別を選択できてもよい。
【００４９】
上記「関連要素」とは、見出し要素以外の要素である。
ここで、各種の文書要素の検出手法について、簡単に説明する。
【００５０】
「タイトル」は、文書画像内に配置される文字の文字サイズや隣接する領域との間隔に基づいて抽出することができる。「セクション見出し」は、「本文」との関係（「本文」に先行する領域）や、文書画像内におけるオフセット位置やインデント位置などに基づいて抽出することができる。「図」は、テキストブロック以外の領域の２値パターンをとることにより抽出することができる。「表」は、罫線とテキストとの組み合わせなどに基づいて抽出することができる。「写真」は、カラーヒストグラムにおける画像の濃淡変化の度合いなどに基づいて抽出することができる。「キャプション」は、図，表，写真に対して上または下の近傍にある孤立したテキストブロックとして抽出することができる。「手書き」は、字体や行の乱れ具合などに基づいて検出することができる。
【００５１】
なお、文書画像内の共通の領域に対して、複数の文書要素が重複して抽出されてもよい。
【００５２】
段はたとえば、「図書の電子のための文書認識技術（鎌田 博、藤本 克仁、黒川 浩司）、雑誌FUJITSU、VOL.49,No.6、1998」に開示された公知技術で検出することができる。各段の接続情報は、各段が、文脈等からどの段に接続されるべきかを示す情報（すなわち段の順序を示す情報）であり、たとえば特開平１０−４０２４８号公報に開示される公知の技術で検出することができる。行方向の検出は、周知の方法で検出することができる。
【００５３】
見出し要素抽出部２０は、このような文書要素の抽出に際して、各文書要素の文書画像内における位置も抽出する。本実施の形態では、抽出した各段の接続情報に基づき見出し要素から見出し要素までの本文要素をハンドリングする。見出し要素抽出部２０は、文書要素の管理情報（以下、「文書要素管理情報」という）を記述する。文書要素管理情報は、少なくとも、文書要素の位置情報、種別情報、および、文書要素の順序情報を含む。
【００５４】
説明要素検出部２２は、抽出された複数の文書要素（見出し要素および関連要素）の文書構造を解析することにより、見出し要素ごとの説明要素を検出する。具体的には、各文書要素について、従属先の見出し要素を親見出しとして検出することにより、見出し要素ごとの説明要素を検出する。つまり、本実施の形態では、文書要素ごとに、複数の見出し要素のうちから、所定の位置関係にある見出し要素を親見出しとして検出する。
【００５５】
ＵＩ部２３は、要素決定部２４と接続され、検出された複数の見出し要素の画像を含む画面を表示する。また、詳細を表示したい箇所の見出し要素（以下「注目見出し」ともいう）の指定をユーザより受付ける。また、出力対象となる階層レベルの範囲の指示を受付けてもよい。本実施の形態において、ＵＩ部２３は、操作パネル部１１０に対応する。
【００５６】
要素決定部２４は、階層検出部１６による検出結果に基づいて、注目見出しについての説明要素を表わす特定説明要素の少なくとも一部を含む詳細情報と、指定された見出し要素を含む複数の見出し要素の少なくとも一部を含む概要情報とを出力要素情報として決定する。具体的には、ユーザより指定された注目見出しや階層レベルの範囲などのパラメータから出力要素情報を決定する。
【００５７】
認識処理部２６は、文書画像中、出力要素情報として決定された部分の領域の画像データについて文字認識を実行して、一部の画像データのみをテキストデータに変換する。つまり、出力範囲にある要素領域について、要素が文字領域であるときには、文字認識を実行しテキストデータに変換する。
【００５８】
出力文書作成部２８は、出力要素情報を含む出力文書を作成する。本実施の形態では、認識処理部２６によりテキストデータに変換された出力要素情報を含む出力文書を作成する。具体的には、出力要素として決定された見出しテキスト（テキスト化された見出し要素）や本文テキスト（テキスト化された本文要素）などを配置し、メール本文を作成する。
【００５９】
出力処理部３０は、圧縮処理部１４からの（圧縮された）文書画像を電子化文書として生成する。そして、出力文書作成部２８により作成されたメール本文に、電子化文書（スキャンされた文書画像）を添付して、別途指定するメールアドレスに送信する。または、電子化文書は記憶部１１２に保存し、作成したメール本文のみを、別途指定するメールアドレスに送信する。
【００６０】
上記出力文書作成部２８は、メール添付文書または記憶部１１２に保存された文書の各領域へのリンク情報を埋め込む処理をする。なお、メールに文書画像を添付する場合には、送信先の端末ＰＣにおいてどこにデータが保存されるかは知りえないので、厳密には、リンク情報を復元するための情報（以下「リンク復元情報」という）を各領域に埋め込む。具体的には、リンク復元情報としてスクリプトを対応する箇所に記述する。
【００６１】
なお、本実施の形態において出力処理部３０は、指定された宛先にメール送信することとするが、限定的ではなく、たとえば、作成された文書を印刷することとしてもよい。または、メール送信に限定されず、ＦＴＰ（File Transfer Protocol）送信してもよい。つまり、図示しないＦＴＰサーバに、作成した出力文書を送信してもよい。
【００６２】
なお、図５に示した各機能ブロックの動作は、メモリ部１０２中に格納されたソフトウェアを実行することで実現されてもよいし、少なくとも１つについては、ハードウェアで実現されてもよい。
【００６３】
＜動作について＞
図６は、本発明の実施の形態１に従う文書処理を示すフローチャートである。図６のフローチャートに示される文書処理は、制御部１００がプログラムをメモリ部１０２などに読出して実行し、図５に示される各機能を制御することで実現される。
【００６４】
図５および図６を参照して、まず、画像読取部１０４が原稿３００を（光学的に）読取って文書画像を生成する（ステップＳ２）。この生成された文書画像は、画像バッファ部１２に格納される。そして、圧縮処理部１４が、画像バッファ部１２に格納された文書画像を圧縮処理して、出力処理部３０へ出力する。出力処理部３０において、公知の手法により電子化文書が生成される。
【００６５】
一方、見出し要素抽出部２０が、画像バッファ部１２に格納された文書画像を解析し、文書画像中の上述種別の文書要素（見出し要素および関連要素）を抽出する（ステップＳ４）。見出し要素抽出部２０は、抽出した全ての文書要素についての管理情報を記述する。
【００６６】
図７は、本発明の実施の形態１における文書要素管理情報のデータ構造の一例を示す図である。
【００６７】
図７を参照して、メモリ部１０２には、文書要素ごとに、６つのデータ欄が設けられ、これらのうち６つのデータ欄に、それぞれ、要素ＩＤ、頁番号、領域左上座標、領域右下座標、要素種別が記録される。残りのデータ欄（親見出し要素）は、この時点では空欄（ＮＵＬＬ）である。
【００６８】
要素ＩＤは、各文書要素を一意に特定するための識別情報である。頁番号は、対応の文書要素が存在するページを特定するための位置情報である。また、領域左上座標および領域右下座標は、対応の文書要素のページ内での領域（矩形）を特定するための位置情報である。領域左上座標および領域右下座標は、対応する文書要素の領域のサイズを特定するための情報でもある。要素種別は、対応する文書要素の種別を特定するための情報である。
【００６９】
再び図６を参照して、説明要素検出部２２は、各文書要素について、親見出しを検出する処理を行なう。そして、検出した親見出しの文書ＩＤを、各文書要素に関連付けて文書要素管理情報に記憶する（ステップＳ６）。
【００７０】
図８は、親見出し検出後の文書要素管理情報の内容例を示す図である。
図８を参照して、親見出しが検出されると、文書要素の要素ＩＤに対応付けて親見出しとして検出された見出し要素の要素ＩＤが記録される。
【００７１】
ここで、親見出しの検出方法について具体的に説明する。説明要素検出部２２は、文書要素の種別に応じて、以下のような方法により親見出しを検出する。
【００７２】
文書要素の種別が「タイトル」（見出し要素）の場合、親となる見出しはないので、親見出しＩＤの欄は空欄のままとする。文書要素の種別が「セクション見出し」（見出し要素）の場合、先行する上位見出し（タイトルを含む）のうち最も近接するものを親見出しとして検出する。先行する見出しがないときは、親見出しＩＤの欄は空欄とする。なお、見出し要素間の階層レベルは、文字サイズがより大きいかまたは左インデント位置がより左側にあるとき、より上位の見出しと判断する（横書きの場合）。
【００７３】
文書要素の種別が「キャプション」（見出し要素）の場合には、セクション見出しの場合と同様の処理を行なう。文書要素の種別が「手書き注釈」（見出し要素）の場合には、最上位の見出しと判断し、親見出しＩＤの欄は空欄とする。
【００７４】
文書要素の種別が「本文」の場合には、先行する上位見出しのうち最も近接するものを親見出しとして検出する。文書要素の種別が「図、表、写真」の場合には、最も近接するキャプションを親見出しとして検出する。
【００７５】
なお、文書要素の種別が「手書き注釈」（見出し要素）の場合には、位置が最も近接する他要素（図表・本文など）を検出することで、説明要素を検出する。そして、説明要素として検出された文書要素については、上述の手法により特定された親見出しの他に、手書きの文書要素の要素ＩＤも親見出しＩＤに追加する。
【００７６】
このように、親見出しＩＤの欄には、通常、０または１つの親見出しの要素ＩＤが記録されるが、手書き注釈の説明要素については、２つの親見出しの要素ＩＤが記録されることもある。
【００７７】
説明要素検出部２２により各文書要素の親見出しを検出することで、各文書要素の階層レベルおよび文書要素間の従属関係を特定することができる。なお、文書要素の階層レベルおよび従属関係が特定できれば、上記のような方法に限定されない。
【００７８】
図８に示した例では、文書要素管理情報を表形式で示したが、要素間の関係は本質的には木構造であるので、ＸＭＬ（eXtensible Markup Language）などを使って記述可能である。
【００７９】
再び図６を参照して、要素決定部２４は、出力要素の決定処理を実行する（ステップＳ８）。まず、要素決定部２４は、文書要素管理情報に基づいて、ユーザに注目見出しを指定させるための画面（以下「見出し指定画面」という）を操作パネル部１１０に表示する。見出し指定画面には、階層レベルおよび従属関係を示した見出し要素が表示される。このとき、見出し指定画面では、手書き注釈されている見出し、または、手書き注釈されている本文の直上位の見出しがあるときは、これらをデフォルトの注目見出し（候補）として表示することが好ましい。
【００８０】
ユーザより注目見出しが指定されると、要素決定部２４は、以下の文書要素を、出力要素（出力対象の文書要素）として決定する。
【００８１】
（Ａ） ユーザにより指定された見出し（注目見出し）
（Ｂ） 注目見出しが説明する要素（注目見出しの子孫の要素群）
（Ｃ） （Ａ），（Ｂ）以外の見出し要素
（Ｂ）が注目見出しの詳細情報を表わし、（Ａ），（Ｃ）が文書の概要情報を表わす。
【００８２】
なお、注目見出しは複数選択されてもよい。その場合、出力要素は、それぞれの要素を合わせたものとして決定される。
【００８３】
（Ｂ）については、注目見出しからの相対的な下限階層レベルを指定可能としてもよい。また、（Ｃ）については、注目見出しからの相対的な上限階層レベルを指定可能としてもよい。また、これに加え、出力する見出し要素の種別を指定可能としてもよい。
【００８４】
出力要素が決定されると、認識処理部２６は、出力要素に対応する各領域について、要素が文字領域であるときには、文字認識を実行しテキストデータに変換する（ステップＳ１０）。このように、本実施の形態では、部分的にＯＣＲ処理を行なうことでテキスト変換にかかる時間を節約することができる。
【００８５】
次に、出力文書作成部２８は、出力文書すなわちメール本文を作成する（ステップＳ１２）。具体的には、出力要素として決定された見出しテキスト、本文テキストあるいは図（画像のまま）などを配置し、メール本文を作成する。
【００８６】
また、出力文書作成部２８は、ユーザに対し、スキャン文書の出力方法を、メール添付およびデータ保存のうちから選択させてもよい。データ保存が選択された場合、出力処理部３０に対し、記憶部１１２へ電子化文書を保存するよう指示する。そして、出力文書作成部２８は、メール本文の各領域（各文書要素の箇所）について、保存された電子化文書の対応する位置へのリンク情報を付加する。なお、リンク情報を付加する領域は、見出し要素の領域のみであってもよい。電子化文書の保存先（ボックス）は、ユーザにより選択させてもよいし、予め設定しておいてもよい。また、本実施の形態では、装置内部の記憶部１１２に保存されることとしたが、装置外のサーバなどに保存することとしてもよい。
【００８７】
これに対し、メール添付が選択された場合には、添付文書（電子化文書）へのリンク情報を復元するためのスクリプトを、対応する見出し箇所などに埋め込む。受信された添付文書の格納方法および格納場所は、メール受信ソフトおよび添付文書のビューワソフトに依存するが、たとえば、それをＭＳ社製「Outlook（登録商標）」およびＡｄｏｂｅ社の「Acrobat Reader（登録商標）」に限定することでそういったスクリプトを埋め込むことが可能である。
【００８８】
次に、出力処理部３０は、作成された出力文書を、通信インターフェイス部１０８を介して、ユーザにより指定されたメールアドレスに送信する（ステップＳ１４）。この際、メール添付が選択されていた場合には、出力処理部３０は、作成された出力文書に電子化文書を添付して送信する。
【００８９】
以上で、本実施の形態における文書処理は終了される。
ここで、上記の文書処理のうち特徴的な処理について詳細に説明する。
【００９０】
（説明要素の検出について）
図９は、スキャンされた文書画像５００の内容例を示す図である。
【００９１】
図９を参照して、文書画像５００から１０個の文書要素１０００〜１００９が検出されたとする（ステップＳ４）。これらの文書要素１０００〜１００９の要素ＩＤが、それぞれＩＤ０〜９であるとする。ＩＤ０，２，３，５，７の種別が「セクション見出し」であり、ＩＤ９の種別が「手書き注釈」である。他のＩＤ１，４，６，８の種別は、「本文」である。
【００９２】
このような文書要素に対して、説明要素検出部２２よる検出処理が実行されると、図１０に示すような階層構造となる。図１０は、図９に示した文書画像５００を構成する文書要素１０００〜１００９の階層構造を示す図である。
【００９３】
図１０を参照して、階層レベルは、文書要素管理情報には、明示的に示されないが、たとえば、親見出しのない文書要素のレベルを「０」とし、その子要素のレベルを「１」、孫要素のレベルを「２」というように規定する。なお、階層レベルは番号の小さい方が上位を表わしているものとする。上述のように、手書き注釈の文書要素は親見出しがないため、階層レベルは「０」である。
【００９４】
図１０に示されるように、ＩＤ４の本文（文書要素１００４）は、直上の見出し要素であるＩＤ３のセクション見出し（文書要素１００３）の他に、ＩＤ９の手書き注釈（文書要素１００９）も親見出しとして検出される。
【００９５】
（出力要素の決定について）
図１１は、見出し指定画面ＳＣ１０の一例を示す図である。見出し指定画面ＳＣ１０は、たとえば、操作パネル部１１０の表示パネル１１０ａに表示される。
【００９６】
図１１を参照して、見出し指定画面ＳＣ１０には、検出された見出し要素の各画像が階層構造を維持して表示される。このような見出し指定画面ＳＣ１０が表示される段階では、各要素についてＯＣＲ処理がなされていないため、見出し要素が文書画像の部分画像領域を使って表示される。見出し指定画面ＳＣ１０には、実行を指示するためのＯＫボタンＢＴ１および取消しを指示するためのＣａｎｃｌｅボタンＢＴ２が表示される。
【００９７】
ここで、手書き注釈の見出し要素については、注釈した先を見なければメール本文への挿入の必要性が判断できないため、注釈した先の文書要素が本文など見出し要素以外の要素であっても該当の画像を表示する。本実施の形態では、本文の一部を表示している。
【００９８】
なお、本文の画像を表示する際には、見出し要素抽出部２０で検出された行を使って、特定の行数のみ出力することとしてもよい。出力する行数はユーザに指定させてもよいし、予め定められていてもよい。同様に、ステップＳ４で検出された段落を利用して、表示する段落数を制限することとしてもよい。または、１文字ごとの領域を検出して文字数で本文の出力を制限してもよい。または、画像領域の大きさで本文の出力を制限することとしてもよい。なお、このように本文要素の一部のみを表示する場合には、その箇所が選択されると、表示対象となった部分のみを出力要素情報（の詳細情報）に含めてもよい。
【００９９】
本実施の形態では、最初にこのような見出し指定画面ＳＣ１０が表示される際に、たとえば、手書きの見出し要素２００９に関連する見出し要素をデフォルトの注目見出しとして、その部分にカーソルをあててもよい。つまり、手書き注釈の見出し要素に対応する説明要素が見出し要素であれば、当該見出し要素を注目見出し（詳細情報の基準となる見出し要素）の候補として表示する。また、手書き注釈の見出し要素に対応する説明要素が見出し要素以外の文書要素であれば、当該文書要素の直上位の見出し要素を注目見出しの候補として表示してよい。
【０１００】
ユーザにより操作ボタン１１０ｄが操作されて、注目する見出し要素として、見出し要素２００３が選択されたとする。そうすると、見出し指定画面ＳＣ１０から図１２に示すような範囲指定画面ＳＣ１２に移行する。
【０１０１】
図１２は、範囲指定画面ＳＣ１２の一例を示す図である。
図１２を参照して、範囲指定画面ＳＣ１２において、上限指定線Ｌ１および下限指定線Ｌ２は、出力範囲を指定するための線である。これらの線Ｌ１およびＬ２は、いずれも操作ボタン１１０ｄにより移動可能である。上限指定線Ｌ１と下限指定線Ｌ２との間の階層レベルの文書要素が出力範囲として決定される。なお、上限指定線Ｌ１は、注目見出し２００３以下の階層レベルには移動不能であり、下限指定線Ｌ２は、注目見出し２００３以上の階層レベルには移動不能であってよい。
【０１０２】
範囲指定画面ＳＣ１２において、上限指定線Ｌ１を注目見出し２００３の１つ上位の階層レベル（レベル０）まで含むように設定し、下限指定線Ｌ２を最下の階層レベル（レベル３）まで含むように設定したとする。その場合、図１０に示した文書要素のうち出力要素として決定された要素を、図１３に示す。
【０１０３】
図１３は、出力要素として決定された文書要素を示す図である。
図１３を参照して、上記（Ａ）として、注目見出し（ＩＤ３）が出力要素として決定される。上記（Ｂ）として、注目見出しの子孫の要素群であって、下限指定線Ｌ２で指定される下限レベル以上の要素群（ＩＤ４〜ＩＤ８）が出力要素として決定される。上記（Ｃ）として、これら以外の見出し要素であって、上限指定線Ｌ１で指定される上限レベル以下かつ注目見出しの階層レベル以上の見出し要素（ＩＤ０，ＩＤ２，ＩＤ９）が出力要素として決定される。
【０１０４】
（出力文書作成）
上記例により決定された出力要素の画像がテキスト化されると（文字領域のみ）、出力文書作成部２８によって図１４に示されるような出力文書（メール本文）が作成される。図１４に示されるように、出力文書には、注目見出しに関する詳細部分と、注目見出しを含む文書の概要とがバランスよく配置される。これにより、メール受信者は、注目箇所の内容を詳細に把握するとともに、文書全体における注目箇所の位置付けも認識することができる。したがって、メール受信者は、別文書（電子化文書）で確認しなくても、メール本文だけで必要な情報を得ることができる。また、本実施の形態では、ユーザが出力要素の上限レベルと下限レベルを設定できるため、ユーザ（送信者）の意図をきめ細かに出力文書に反映させることができる。
【０１０５】
なお、作成された文書に、追加の本文を挿入可能としてもよい。具体的には、出力文書作成部２８は、操作パネル部１１０の操作ボタン１１０ｄからの信号に基づいて、指定された位置に追加の文字データを挿入してもよい。
【０１０６】
＜変形例１＞
なお、上記実施の形態では、本文要素は、見出しから見出しまでの本文を一つのものとしてハンドリングを想定していたが、実際にはその一部分のみをメール本文に載せたい場合も考えられる。したがって、変形例として、本文が複数の段落で構成されている場合には、ユーザに（詳細情報に含めるべき）必要な段落を選択させてもよい。
【０１０７】
具体的には、たとえば、図７，８の文書要素管理情報とは別に、本文要素を段落に分解して認識しておく。そうすることで、段落を個別に指定して一部の段落のみを出力することができる。段落の区切りについては、たとえば特開平６−２１５１８４号公報や特開平６−２１４９８３号公報などに開示される公知の技術で実現できる。
【０１０８】
図１５は、本発明の実施の形態１の変形例１における見出し指定画面ＳＣ１４の一例を示す図である。
【０１０９】
図１５を参照して、見出し指定画面ＳＣ１４では、見出し要素だけでなく、本文要素の画像が段落ごとに示されている。たとえば、注目見出し２００３が選択されると、注目見出し２００３の子孫要素がすべて選択状態とされる。そして、ユーザに、必要のない段落を指定させる。具体的には、注目見出し２００３の本文を構成する２つの段落２００４Ａ，２００４Ｂともにはじめは選択状態である。ユーザにより２つ目の段落２００４Ｂが指定されると、要素決定部２４は、指定された段落２００４Ｂを非表示の段落として出力対象から除外する。つまり、要素決定部２４は、出力範囲内にある本文要素のうち、ユーザにより指定された段落以外を注目見出しの詳細情報として決定する。
【０１１０】
この場合、認識処理部２６は、注目見出しに従属する出力範囲内の本文要素については一部の段落（ユーザにより選択された段落）のみＯＣＲ処理する。
【０１１１】
このように、変形例１によると、注目見出しに従属する出力範囲内の全ての説明要素を出力文書に配置するのではなく、本文要素については一部の段落のみを出力文書に配置することができる。これにより、本当に必要な部分のみを出力文書に含めることが可能となる。
【０１１２】
なお、必要な段落をユーザに選択させるものに限定されず、たとえば、文字数、行数、段落、領域の大きさのいずれかのパラメータで、詳細情報に含める本文領域の量を制限してもよい。たとえば、注目見出しに従属する出力範囲内の本文要素を全て表示し、表示された本文要素ごとに、詳細情報に含める文字数や領域をユーザに指定させてもよい。
【０１１３】
＜変形例２＞
また、上記実施の形態１では、手書き注釈に関連する見出し要素を注目見出しの候補として表示し、実際の注目見出しの選択はユーザに実行させたが、手書き注釈に関連する見出し要素を注目見出しとして確定することとしてもよい。そのようにすることで、ユーザによる操作の手間を減少させることができる。なお、その場合、上限レベルは最上位（レベル０）として予め定めておいてもよい。また、下限レベルは最下位レベルとして予め定めておいてもよい。
【０１１４】
＜変形例３＞
実施の形態１では、文書処理装置（ＭＦＰ１）が画像読取部１０４を備えており、原稿をスキャンして見出し要素の抽出等を行なったが、限定的ではなく、図８に示した文書要素管理情報をメタデータとして含んだ電子化文書を対象とすることもできる。すなわち、図６のステップＳ２〜Ｓ６の処理に代えて、電子化文書に付加された文書要素管理情報より各要素の階層レベルおよび従属関係を検出する処理を実行すれば、ステップＳ８以降に示した処理と同様の処理を行なうことができる。
【０１１５】
［実施の形態２］
上述の実施の形態１では、スキャン文書（文書画像）を元に、出力要素情報を決定したが、本実施の形態では、たとえばＸＭＬ形式で構造化された電子文書を元に、出力要素情報を決定する。本実施の形態における文書処理装置は、端末ＰＣであることとして説明するが、ＭＦＰ１であってもよい。あるいは、携帯端末、複写機、ファクシミリ装置、スキャナ装置などであってもよい。ＭＦＰ１の場合には、たとえばＨＴＭＬ形式で構造化された電子文書が扱われることとしてよい。
【０１１６】
なお、本実施の形態に従うシステムの構成については、実施の形態１と同様であるため、ここでも実施の形態１で用いた符号を参照して説明する。
【０１１７】
（機能構成）
図１６は、本発明の実施の形態２における端末ＰＣの機能構成を示す機能ブロック図である。
【０１１８】
図１６を参照して、端末ＰＣの機能構成としては、文書データ入力部４２と、階層検出部１６Ａと、ＵＩ部２３Ａと、要素決定部２４Ａと、出力文書作成部２８Ａと、出力処理部３０Ａとを含む。
【０１１９】
文書データ入力部４２は、ＸＭＬ形式の文書データを入力する。見出しや本文など文書要素の種別は、あらかじめＸＭＬのタグとして記述されており、ＸＭＬの階層構造も見出しの階層構造に合わせて構成されているものとする。
【０１２０】
階層検出部１６Ａは、入力された文書データのタグ情報より、当該文書データを構成する複数の文書要素の階層関係を検出し、複数の見出し要素と、各見出し要素についての説明要素とを検出される。これにより、複数の見出し要素の階層構造と、文書要素間の従属関係とが検出される。
【０１２１】
ＵＩ部２３Ａ、要素決定部２４Ａ、および出力文書作成部２８Ａは、それぞれ、実施の形態１で示したＵＩ部２３、要素決定部２４および出力文書作成部２８と概ね同様の機能を有する。
【０１２２】
ただし、ＵＩ部２３Ａによる見出し指定画面では、画像ではなくテキストデータがそのまま利用される。本実施の形態において、ＵＩ部２３は、図４に示したディスプレイ部２０５および入力部２０９に対応する。
【０１２３】
出力文書作成部２８Ａは、リンク情報やリンク再現情報を出力文書に埋め込まない。また、本実施の形態では、実施の形態１と異なり、認識処理部２６は機能構成に含まれない。
【０１２４】
出力処理部３０Ａは、作成された文書データの出力処理として、たとえば印刷処理を実行する。なお、その場合、図１６に示した構成部分は、より大きいコンピュータシステムの一部で、プリンタドライバおよびその周辺についてのものであってよい。以下の説明では、作成された出力文書は印刷されることとするが、限定的ではなく、実施の形態１と同様にメール送信されてもよい。
【０１２５】
なお、本実施の形態において、文書要素は、テキストの他、図形、音声、静止画像、動画像、および、それらを他形態に変換したものを含んでよい。つまり、出力要素情報にこれらが含まれてもよい。
【０１２６】
（動作について）
図１７は、本発明の実施の形態２に従う文書処理を示すフローチャートである。図１７のフローチャートに示される処理は、ＣＰＵ２０１がプログラムをメモリ部２１３などに読出して実行し、図１６に示される各機能を制御することで実現される。
【０１２７】
なお、図１７に示す処理は、ビューワソフトにて、構造化された文書データ（電子文書）がディスプレイ部２０５に表示されている際に、ユーザから印刷指示が入力された場合に開始されてよい。
【０１２８】
図１７を参照して、はじめに、文書データ入力部４２は、印刷用ドライバソフトにＸＭＬ形式で構造化された文書データを入力する（ステップＳ１０２）。
【０１２９】
次に、要素決定部２４Ａは、入力された文書データを構成する複数の文書要素から出力要素を決定する（ステップＳ１０８）。具体的には、まず、図１１に示したような見出し指定用ポップアップダイアログを表示する。そして、ダイアログにて注目見出しをユーザが選択指定すると、出力要素情報を決定する。決定の方法は、実施の形態１と同じである。他の詳細についても実施の形態１と同様であるが、実施の形態１のステップＳ８では、（手書きや図写真を除いて）見出しなどの要素が基本的に画像データとして扱われていたのに対し、本実施の形態ではテキストデータとして扱われている。
【０１３０】
また、実施の形態１では、手書き注釈に関連する見出しを注目見出しのデフォルトとしたが、本実施の形態の場合、電子注釈やしおりなど特定の文書要素を指定する情報が印刷ドライバソフトにて検出可能である場合には、当該情報を利用して、特定の見出し要素を注目見出しのデフォルトとしてもよい。
【０１３１】
出力文書作成部２８Ａは、決定された出力要素情報すなわち、出力範囲内における、注目見出しの説明要素の少なくとも一部（たとえば段落指定など）と、注目見出しを含む複数の見出し要素とを配置して、印刷用のラスタ画像を作成する（ステップＳ１１２）。このとき、出力要素情報として決定された説明要素が動画や音声など通常印刷不可能である場合には、要素自体はたとえばサーバ（図示せず）に保存しておき、ラスタ画像にそのＵＲＬ（Uniform Resource Locator）情報を入れた２次元コード（たとえばバーコード）を埋め込んでもよい。
【０１３２】
出力処理部３０Ａは、作成された画像を印刷する処理を行なう（ステップＳ１１４）。具体的には、作成された画像データを通信インターフェイス部２０７を介してＭＦＰ１に送信する処理を行なう。これにより、ＭＦＰ１によって、ステップＳ１１２で作成された出力文書（画像）が印刷される。印刷された文書の構成例も、図１４に示した例と同様となる。
【０１３３】
以上で、本実施の形態における文書処理は終了される。
このように、本実施の形態によると、スキャン文書でなくても構造化された文書であれば、スキャン文書の場合と同様に、入力文書の詳細部分と概要とをバランス良くかつきめ細かに出力文書に配置することができる。その結果、ユーザは、出力文書を見るだけで、元の文書を参照しなくても有用な情報を得ることができる。
【０１３４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１３５】
【図１】本発明の実施の形態１に従う文書処理装置を含むシステムの概略構成図である。
【図２】本発明の実施の形態１に従うＭＦＰにおける概略の機能構成を示すブロック図である。
【図３】本発明の実施の形態１に従うＭＦＰが備える操作パネル部の外観例を示す図である。
【図４】本発明の実施の形態１に従うパーソナルコンピュータの概略のハードウェア構成を示す模式図である。
【図５】本発明の実施の形態１に従うＭＦＰの機能構成を示す機能ブロック図である。
【図６】本発明の実施の形態１に従う文書処理を示すフローチャートである。
【図７】本発明の実施の形態１における文書要素管理情報のデータ構造の一例を示す図である。
【図８】本発明の実施の形態１において、説明要素検出後の文書要素管理情報の内容例を示す図である。
【図９】スキャンされた文書画像の内容例を示す図である。
【図１０】図９に示した文書画像を構成する複数の文書要素の階層構造を示す図である。
【図１１】見出し指定画面の一例を示す図である。
【図１２】範囲指定画面一例を示す図である。
【図１３】図１０に示した文書要素のうち出力要素として決定された要素の例を示す図である。
【図１４】出力文書（メール本文または印刷文書）の一例を示す図である。
【図１５】本発明の実施の形態１の変形例１における見出し指定画面の一例を示す図である。
【図１６】本発明の実施の形態２における端末の機能構成を示す機能ブロック図である。
【図１７】本発明の実施の形態２に従う文書処理を示すフローチャートである。
【符号の説明】
【０１３６】
１ ＭＦＰ、１２ 画像バッファ部、１４ 圧縮処理部、１６，１６Ａ 階層検出部、２０ 見出し要素抽出部、２２ 説明要素検出部、２３，２３Ａ ＵＩ（ユーザインターフェイス）部、２４，２４Ａ 要素決定部、２６ 認識処理部、２８，２８Ａ 出力文書作成部、３０，３０Ａ 出力処理部、４２ 文書データ入力部、１００ 制御部、１０２ メモリ部、１０４ 画像読取部、１０６ プリント部、１０８ 通信インターフェイス部、１１０ 操作パネル部、１１２ 記憶部、２０１ ＣＰＵ、２０３ 内部バス、２０５ ディスプレイ部、２０７ 通信インターフェイス部、２０９ 入力部、２１１ ハードディスク部、２１３ メモリ部、２１５ ＣＤ−ＲＯＭドライブ、２１７ ＦＤＤドライブ、２１７ａ フレキシブルディスク、３００ 原稿、ＰＣ１，ＰＣ２ 端末、ＭＳ メールサーバ。
【技術分野】
【０００１】
本発明は、文書処理装置、文書処理方法および文書処理プログラムに関し、特に、文書データの見出し要素を検出することのできる文書処理装置、文書処理方法および文書処理プログラムに関する。
【背景技術】
【０００２】
従来より、文書の構造を利用して見出しを抽出する技術が存在する。
たとえば特許文献１では次のような技術が提案されている。すなわち、スキャン文書にＯＣＲ（Optical Character Recognition）をかけた後、解析を行い、見出しを自動抽出する。そして、抽出した見出しを本文とするメールを送信する。このとき、各見出しには見出しが代表する部分文書へのリンク（リンク先はサーバに格納された文書）が埋め込まれることが記載されている。
【０００３】
また、特許文献２では次のような技術が提案されている。すなわち、文書の印刷を行う場合、当該文書のデータに対してインデックスデータを検出し、検出できた場合にはインデックスデータに基づいて文章の構造を解析して、各インデックスの内容を画面に表示する。ユーザは表示インデックス内容に基づいて、印刷対象となるインデックスを指定する。印刷は指定インデックスに対応する本文位置から同じ階層レベルの次インデックスまでの部分に対して行なわれる。
【特許文献１】特開２００２−２９０６４４号公報
【特許文献２】特開２００７−２８３６７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１では、見出しを本文とするメールを自動的に作成することができるが、見出しによる概要情報しか出力することができない。逆に、特許文献２では、見出し指定により部分的に切り取られた詳細情報しか出力することができない。
【０００５】
本発明は、上記のような問題を解決するためになされたものであって、その目的は、注目部分の詳細な情報と文書全体の概要とのバランスを、簡便に、かつ、きめ細かに制御して出力することができる文書処理装置、文書処理方法および文書処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
この発明のある局面に従う文書処理装置は、文書データを構成する複数の文書要素の階層関係を検出することにより、複数の見出し要素と、見出し要素ごとに見出し要素に属する下位階層の文書要素である説明要素とを検出するための検出手段と、検出手段による検出結果に基づいて、複数の見出し要素のうちユーザにより指定された見出し要素についての説明要素を表わす特定説明要素の少なくとも一部を含む詳細情報と、指定された見出し要素を含む複数の見出し要素の少なくとも一部を含む概要情報とを出力要素情報として決定するための決定手段と、決定された出力要素情報を含む出力文書を作成するための作成手段と、作成された出力文書を出力するための出力手段とを備える。
【０００７】
好ましくは、概要情報は、複数の見出し要素のうち、指定された見出し要素と同階層および上位階層の見出し要素のみを含む。
【０００８】
あるいは、概要情報は、複数の見出し要素のうち、指定された見出し要素と同階層のレベル以上であって、ユーザにより指定された上限レベル以下の階層の見出し要素のみを含むことが望ましい。
【０００９】
好ましくは、詳細情報は、特定説明要素のうち、ユーザにより指定された下限レベル以上の階層の説明要素のみを含む。
【００１０】
好ましくは、検出手段は、さらに、説明要素の段落の認識処理を行ない、決定手段は、特定説明要素の種別が本文である場合には、詳細情報に含める段落をユーザに選択させる。
【００１１】
あるいは、決定手段は、特定説明要素の種別が本文である場合には、文字数、行数、段落数、領域の大きさのいずれかで、詳細情報に含める量を制限することが望ましい。
【００１２】
好ましくは、詳細情報は、テキスト、図形、音声、静止画像、動画像、および、それらを他形態に変換したものを含む。
【００１３】
好ましくは、文書データは、光学的に読取られた文書画像であり、検出手段は、複数の文書要素のうち、特定の種別の文書要素を見出し要素として抽出するための抽出手段と、各文書要素について、従属先の見出し要素を親見出しとして検出することにより、見出し要素ごとの説明要素を検出するための説明要素検出手段とを含む。
【００１４】
好ましくは、特定の種別は、表題、セクション見出し、手書き注釈およびキャプションのうち少なくとも一つを含む。
【００１５】
好ましくは、説明要素検出手段は、複数の見出し要素の位置関係に基づいて、見出し要素間の階層構造を判断し、手書き注釈の見出し要素については常に、最上位の階層の見出し要素と判断する。
【００１６】
好ましくは、表示手段をさらに備え、決定手段は、詳細情報の基準となる見出し要素をユーザに指定させるための指定画面に、手書き注釈の見出し要素に対応する説明要素が見出し要素であれば、当該見出し要素を基準となる見出し要素の候補として表示し、手書き注釈の見出し要素に対応する説明要素が見出し要素以外の文書要素であれば、当該文書要素の直上位の見出し要素を基準となる見出し要素の候補として表示する。
【００１７】
好ましくは、文書画像中、出力要素情報として決定された部分の領域の画像データについて文字認識を実行することで、文書画像の一部の画像データのみをテキストデータに変換するための認識処理手段をさらに備え、作成手段は、テキストデータに変換された出力要素情報を含む出力文書を作成する。
【００１８】
好ましくは、作成手段は、出力文書に含まれる各領域に、文書データの対応する部分へのリンク再現情報を付加し、出力手段は、リンク再現情報が付加された出力文書を、文書データとともに外部の装置に送信するための通信手段を含む。
【００１９】
好ましくは、文書データを保存するための記憶手段をさらに備え、作成手段は、出力文書に含まれる各領域に、文書データの対応する部分へのリンク情報を付加し、出力手段は、リンク情報が付加された出力文書を外部の装置に送信するための通信手段を含む。
【００２０】
この発明の他の局面に従う文書処理方法は、文書データを構成する複数の文書要素の階層関係を検出することにより、複数の見出し要素と、見出し要素ごとに見出し要素に属する下位階層の文書要素である説明要素とを検出するステップと、検出結果に基づいて、複数の見出し要素のうちユーザにより指定された見出し要素についての説明要素を表わす特定説明要素の少なくともに一部を含む詳細情報と、指定された見出し要素を含む複数の見出し要素の少なくとも一部を含む概要情報とを出力要素情報として決定するステップと、決定された出力要素情報を含む出力文書を作成するステップと、作成された出力文書を出力するステップとを備える。
【００２１】
この発明のさらに他の局面に従う文書処理プログラムは、上記記載の文書処理方法をコンピュータに実行させる。
【発明の効果】
【００２２】
本発明によると、指定された見出し要素についての詳細部分と、他の概要とのバランスを、簡便に、かつ、きめ細かに制御して出力することができる。
【発明を実施するための最良の形態】
【００２３】
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。
【００２４】
電子メールに文書を添付して送信する際、添付文書中の特定箇所をメール本文中で詳しく示しておきたい場合がよくある。例えば、クライアントに契約書をチェックしてもらいすぐに返事がほしいので、特に見てほしい部分についてはメール本文に転記する一方、全体文書もあとで確認するときのために添付するような場合である。
【００２５】
こういった場合には、章や節の見出しなど文書内容の構造を利用して、簡便に該当箇所を指定して示すことができれば便利である。特に、ＭＦＰ（Multi Function Peripheral）でＳｃａｎＴｏＥ−Ｍａｉｌで文書スキャンにより添付文書を送った場合には、該当箇所をコピーして本文に引用することが困難であるので、これができれば非常に便利である。また、このとき該当箇所と同時に、他の部分についても見出しにより概要を提示すれば、該当箇所の文書全体での位置づけがわかりやすくなり、さらに便利である。
【００２６】
電子メールで文書を送信する以外にも、例えば、文書を印刷して他人に見せる場合に、一部のみ詳細を印刷すると同時におおよその概要を示すため他の部分については見出しだけ出力できれば便利である。
【００２７】
［実施の形態１］
＜構成について＞
（全体システム構成）
図１は、本発明の実施の形態１に従う文書処理装置を含むシステムの概略構成図である。本実施の形態においては、代表的に、本発明に係る文書処理装置を搭載するＭＦＰ（Multi Function Peripheral）について説明する。なお、本発明に係る文書処理装置は、ＭＦＰに限らず、ＰＣ（Personal Computer）、複写機、ファクシミリ装置、スキャナ装置などにも適用可能である。
【００２８】
図１を参照して、本実施の形態に従うＭＦＰ１は、原稿３００を読取るための画像読取部１０４と、紙媒体などへの印刷処理を行なうためのプリント部１０６とを含む。
【００２９】
特に、本実施の形態に従うＭＦＰ１は、ＳｃａｎＴｏＥ−Ｍａｉｌの機能を有する。具体的には、画像読取部１０４で原稿３００を読取ることで文書画像を取得し、この文書画像を含む電子化文書を生成する。そして、たとえば、生成された電子化文書を電子メールに添付して、指定された宛先に送信する。あるいは、生成された電子化文書は内部の記憶装置（図１において図示せず）に保存したまま、文書画像の特定領域へのリンク情報を付加した電子メールを、指定された宛先に送信する。
【００３０】
ＭＦＰ１は、インターネットを介して、メールサーバＭＳおよび複数の端末ＰＣ１，ＰＣ２（以下、「端末ＰＣ」という）と接続されている。
【００３１】
画像読取部１０４は、原稿をセットするための戴荷台と、原稿台ガラスと、戴荷台にセットされた原稿を原稿台ガラスに自動的に一枚ずつ搬送する搬送部と、読取られた原稿を排出するための排出台とを含む（いずれも図示しない）。これにより、複数枚の原稿を連続的に読取って、一つの電子化文書として生成することができる。代表的に、電子化文書にはＰＤＦ（Portable Document Format）などのフォーマットを採用できる。
【００３２】
（ＭＦＰ１の概略構成）
図２は、本発明の実施の形態１に従うＭＦＰ１における概略の機能構成を示すブロック図である。
【００３３】
図２を参照して、ＭＦＰ１の機能構成としては、制御部１００と、メモリ部１０２と、画像読取部１０４と、プリント部１０６と、通信インターフェイス部１０８と、操作パネル部１１０と、記憶部１１２とを含む。
【００３４】
制御部１００は、代表的にＣＰＵ（Central Processing Unit）などの演算装置から構
成され、プログラムを実行することで本実施の形態に従う文書処理を実現する。メモリ部１０２は、代表的にＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、制御部１００で実行されるプログラムやプログラムの実行に必要なデータなどを保持する。通信インターフェイス部１０８は、代表的に、インターネットを介して端末ＰＣ（図１）との間でデータを送受信するための部位であり、たとえば、ＬＡＮアダプタおよびそれを制御するドライバソフトなどを含む。プリント部１０６は、プリント処理を行なうための部位であり、プリント処理に係るハードウェア構成に加えて、各部の作動を制御するための制御装置をも含む。記憶部１１２は、代表的にハードディスク装置やフラッシュメモリなどの不揮発性の記憶装置であり、制御部１００の動作のためのプログラムや制御部１００で生成された電子化文書などを格納する。
【００３５】
操作パネル部１１０の外観例を図３に示す。操作パネル部１１０は、液晶表示装置やタッチパネルなどから構成される表示パネル１１０ａと、ストップボタン１１０ｂと、スタートボタン１１０ｃと、英数キーなどを含む操作ボタン１１０ｄとを備えている。
【００３６】
なお、本実施の形態では、表示機能と指示の入力機能とを兼ね備えた操作パネル部１１０を備えることとしたが、これに代えて、表示部とハードウェアボタンを含む入力部との両方を備えることとしてもよい。
【００３７】
（端末の構成）
図４は、本発明の実施の形態１に従う端末の概略のハードウェア構成を示す模式図である。
【００３８】
図４を参照して、端末ＰＣは、たとえば一般的なパーソナルコンピュータであり、オペレーティングシステム（ＯＳ：Operating System）を含む各種プログラムを実行するＣＰＵ（Central Processing Unit）２０１と、ＣＰＵ２０１でのプログラムの実行に必要なデータを一時的に記憶するメモリ部２１３と、ＣＰＵ２０１で実行されるプログラムを不揮発的に記憶するハードディスク部（ＨＤＤ：Hard Disk Drive）２１１とを含む。また、ハードディスク部２１１には、文書データ（ＭＦＰ１で生成された電子化文書を含む）を表示するための閲覧アプリケーションプログラム（以下、「ビューワ」という）、および、文書データを印刷するための印刷ドライバソフトが記憶されている。このようなプログラムは、ＦＤＤドライブ２１７またはＣＤ−ＲＯＭドライブ２１５によって、それぞれフレキシブルディスク２１７ａまたはＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）２１５ａなどから読取られてよい。
【００３９】
ＣＰＵ２０１は、キーボードやマウスなどからなる入力部２０９を介してユーザからの指示を受取るとともに、プログラムの実行によって生成される画面出力をディスプレイ部２０５へ出力する。また、ＣＰＵ２０１は、ＬＡＮカードなどからなる通信インターフェイス部２０７を介して、ＬＡＮやＷＡＮに接続されたＭＦＰ１やサーバ装置（図示せず）から電子化文書を取得し、ハードディスク部２１１などに格納する。また、上述の各部は、内部バス２０３を介して相互にデータを授受する。
【００４０】
なお、端末ＰＣは、パーソナルコンピュータに限定されず、携帯電話などの携帯端末であってもよい。その場合の端末ＰＣは、図４においてＦＤＤドライブ２１７やＣＤ−ＲＯＭドライブ２１５などを取り除いたものとほぼ等価であるので、詳細な説明は繰返さない。
【００４１】
（ＭＦＰの機能構成）
図５は、本発明の実施の形態１に従うＭＦＰ１の機能構成を示す機能ブロック図である。
【００４２】
図５を参照して、ＭＦＰ１の機能構成としては、画像読取部１０４と、画像バッファ部１２と、圧縮処理部１４と、階層検出部１６と、ＵＩ（User Interface）部２３と、要素決定部２４と、認識処理部２６と、出力文書作成部２８と、出力処理部３０と、通信インターフェイス部１０８と、記憶部１１２とを含む。
【００４３】
画像読取部１０４は、原稿３００を読取って文書画像を取得し、その文書画像を画像バッファ部１２へ出力する。画像バッファ部１２は、画像読取部１０４が逐次的に出力する文書画像のデータを一時的に格納する部位であり、一旦格納した文書画像を圧縮処理部１４および階層検出部１６に出力する。
【００４４】
圧縮処理部１４は、画像バッファ部１２から出力される文書画像を圧縮処理して、出力処理部３０へ出力する。この圧縮処理による圧縮度合いは、生成される電子化文書の大きさや、要求される文書画像の解像度などに応じて変化させてもよく、また圧縮処理はＪＰＥＧ（Joint Photographic Experts Group）などの非可逆変換であってもよい。なお、高解像度が要求される場合などには、圧縮処理を省略してもよい。
【００４５】
階層検出部１６は、文書画像を構成する複数の文書要素の階層関係を検出することにより、複数の見出し要素と、見出し要素ごとに見出し要素に属する下位階層の文書要素である説明要素とを検出する。本実施の形態において、階層検出部１６は、見出し要素抽出部２０と説明要素検出部２２とを含む。「文書要素」とは、文書を構成する記述要素である。
【００４６】
見出し要素抽出部２０は、画像バッファ部１２から出力される文書画像に含まれる見出し要素を抽出する。その際に、文書画像に含まれる関連要素も検出する。具体的には、見出し要素抽出部２０は、文書画像を解析し、文書画像中の以下の文書要素、すなわち、「タイトル（表題）」、「セクション（章・節・項）見出し」、「図」、「表」、「写真」、「キャプション」、「手書き注釈」、および「本文」を検出する。また、その過程において、見出し要素抽出部２０は、「段（段組）」を検出し、さらに、各段の「行方向」、および、各段の「接続情報」を検出してもよい。
【００４７】
「見出し要素」とは、文書の概要を示すための特定の種別の文書要素であり、上記種別のうち、少なくともタイトル、セクション見出しおよび手書き注釈を含むことが好ましく、さらにキャプションを含むことが好ましい。本実施の形態では、見出し要素はこれら４つの種別の文書要素であることとする。なお、特定の種別は、これら４つの種別のうちの一つでもよいし、複数の組合わせであってもよい。
【００４８】
本実施の形態では、見出し要素の種別は、予め製造時に定められていることを前提にするが、ユーザが個別に所望の種別を選択できてもよい。
【００４９】
上記「関連要素」とは、見出し要素以外の要素である。
ここで、各種の文書要素の検出手法について、簡単に説明する。
【００５０】
「タイトル」は、文書画像内に配置される文字の文字サイズや隣接する領域との間隔に基づいて抽出することができる。「セクション見出し」は、「本文」との関係（「本文」に先行する領域）や、文書画像内におけるオフセット位置やインデント位置などに基づいて抽出することができる。「図」は、テキストブロック以外の領域の２値パターンをとることにより抽出することができる。「表」は、罫線とテキストとの組み合わせなどに基づいて抽出することができる。「写真」は、カラーヒストグラムにおける画像の濃淡変化の度合いなどに基づいて抽出することができる。「キャプション」は、図，表，写真に対して上または下の近傍にある孤立したテキストブロックとして抽出することができる。「手書き」は、字体や行の乱れ具合などに基づいて検出することができる。
【００５１】
なお、文書画像内の共通の領域に対して、複数の文書要素が重複して抽出されてもよい。
【００５２】
段はたとえば、「図書の電子のための文書認識技術（鎌田 博、藤本 克仁、黒川 浩司）、雑誌FUJITSU、VOL.49,No.6、1998」に開示された公知技術で検出することができる。各段の接続情報は、各段が、文脈等からどの段に接続されるべきかを示す情報（すなわち段の順序を示す情報）であり、たとえば特開平１０−４０２４８号公報に開示される公知の技術で検出することができる。行方向の検出は、周知の方法で検出することができる。
【００５３】
見出し要素抽出部２０は、このような文書要素の抽出に際して、各文書要素の文書画像内における位置も抽出する。本実施の形態では、抽出した各段の接続情報に基づき見出し要素から見出し要素までの本文要素をハンドリングする。見出し要素抽出部２０は、文書要素の管理情報（以下、「文書要素管理情報」という）を記述する。文書要素管理情報は、少なくとも、文書要素の位置情報、種別情報、および、文書要素の順序情報を含む。
【００５４】
説明要素検出部２２は、抽出された複数の文書要素（見出し要素および関連要素）の文書構造を解析することにより、見出し要素ごとの説明要素を検出する。具体的には、各文書要素について、従属先の見出し要素を親見出しとして検出することにより、見出し要素ごとの説明要素を検出する。つまり、本実施の形態では、文書要素ごとに、複数の見出し要素のうちから、所定の位置関係にある見出し要素を親見出しとして検出する。
【００５５】
ＵＩ部２３は、要素決定部２４と接続され、検出された複数の見出し要素の画像を含む画面を表示する。また、詳細を表示したい箇所の見出し要素（以下「注目見出し」ともいう）の指定をユーザより受付ける。また、出力対象となる階層レベルの範囲の指示を受付けてもよい。本実施の形態において、ＵＩ部２３は、操作パネル部１１０に対応する。
【００５６】
要素決定部２４は、階層検出部１６による検出結果に基づいて、注目見出しについての説明要素を表わす特定説明要素の少なくとも一部を含む詳細情報と、指定された見出し要素を含む複数の見出し要素の少なくとも一部を含む概要情報とを出力要素情報として決定する。具体的には、ユーザより指定された注目見出しや階層レベルの範囲などのパラメータから出力要素情報を決定する。
【００５７】
認識処理部２６は、文書画像中、出力要素情報として決定された部分の領域の画像データについて文字認識を実行して、一部の画像データのみをテキストデータに変換する。つまり、出力範囲にある要素領域について、要素が文字領域であるときには、文字認識を実行しテキストデータに変換する。
【００５８】
出力文書作成部２８は、出力要素情報を含む出力文書を作成する。本実施の形態では、認識処理部２６によりテキストデータに変換された出力要素情報を含む出力文書を作成する。具体的には、出力要素として決定された見出しテキスト（テキスト化された見出し要素）や本文テキスト（テキスト化された本文要素）などを配置し、メール本文を作成する。
【００５９】
出力処理部３０は、圧縮処理部１４からの（圧縮された）文書画像を電子化文書として生成する。そして、出力文書作成部２８により作成されたメール本文に、電子化文書（スキャンされた文書画像）を添付して、別途指定するメールアドレスに送信する。または、電子化文書は記憶部１１２に保存し、作成したメール本文のみを、別途指定するメールアドレスに送信する。
【００６０】
上記出力文書作成部２８は、メール添付文書または記憶部１１２に保存された文書の各領域へのリンク情報を埋め込む処理をする。なお、メールに文書画像を添付する場合には、送信先の端末ＰＣにおいてどこにデータが保存されるかは知りえないので、厳密には、リンク情報を復元するための情報（以下「リンク復元情報」という）を各領域に埋め込む。具体的には、リンク復元情報としてスクリプトを対応する箇所に記述する。
【００６１】
なお、本実施の形態において出力処理部３０は、指定された宛先にメール送信することとするが、限定的ではなく、たとえば、作成された文書を印刷することとしてもよい。または、メール送信に限定されず、ＦＴＰ（File Transfer Protocol）送信してもよい。つまり、図示しないＦＴＰサーバに、作成した出力文書を送信してもよい。
【００６２】
なお、図５に示した各機能ブロックの動作は、メモリ部１０２中に格納されたソフトウェアを実行することで実現されてもよいし、少なくとも１つについては、ハードウェアで実現されてもよい。
【００６３】
＜動作について＞
図６は、本発明の実施の形態１に従う文書処理を示すフローチャートである。図６のフローチャートに示される文書処理は、制御部１００がプログラムをメモリ部１０２などに読出して実行し、図５に示される各機能を制御することで実現される。
【００６４】
図５および図６を参照して、まず、画像読取部１０４が原稿３００を（光学的に）読取って文書画像を生成する（ステップＳ２）。この生成された文書画像は、画像バッファ部１２に格納される。そして、圧縮処理部１４が、画像バッファ部１２に格納された文書画像を圧縮処理して、出力処理部３０へ出力する。出力処理部３０において、公知の手法により電子化文書が生成される。
【００６５】
一方、見出し要素抽出部２０が、画像バッファ部１２に格納された文書画像を解析し、文書画像中の上述種別の文書要素（見出し要素および関連要素）を抽出する（ステップＳ４）。見出し要素抽出部２０は、抽出した全ての文書要素についての管理情報を記述する。
【００６６】
図７は、本発明の実施の形態１における文書要素管理情報のデータ構造の一例を示す図である。
【００６７】
図７を参照して、メモリ部１０２には、文書要素ごとに、６つのデータ欄が設けられ、これらのうち６つのデータ欄に、それぞれ、要素ＩＤ、頁番号、領域左上座標、領域右下座標、要素種別が記録される。残りのデータ欄（親見出し要素）は、この時点では空欄（ＮＵＬＬ）である。
【００６８】
要素ＩＤは、各文書要素を一意に特定するための識別情報である。頁番号は、対応の文書要素が存在するページを特定するための位置情報である。また、領域左上座標および領域右下座標は、対応の文書要素のページ内での領域（矩形）を特定するための位置情報である。領域左上座標および領域右下座標は、対応する文書要素の領域のサイズを特定するための情報でもある。要素種別は、対応する文書要素の種別を特定するための情報である。
【００６９】
再び図６を参照して、説明要素検出部２２は、各文書要素について、親見出しを検出する処理を行なう。そして、検出した親見出しの文書ＩＤを、各文書要素に関連付けて文書要素管理情報に記憶する（ステップＳ６）。
【００７０】
図８は、親見出し検出後の文書要素管理情報の内容例を示す図である。
図８を参照して、親見出しが検出されると、文書要素の要素ＩＤに対応付けて親見出しとして検出された見出し要素の要素ＩＤが記録される。
【００７１】
ここで、親見出しの検出方法について具体的に説明する。説明要素検出部２２は、文書要素の種別に応じて、以下のような方法により親見出しを検出する。
【００７２】
文書要素の種別が「タイトル」（見出し要素）の場合、親となる見出しはないので、親見出しＩＤの欄は空欄のままとする。文書要素の種別が「セクション見出し」（見出し要素）の場合、先行する上位見出し（タイトルを含む）のうち最も近接するものを親見出しとして検出する。先行する見出しがないときは、親見出しＩＤの欄は空欄とする。なお、見出し要素間の階層レベルは、文字サイズがより大きいかまたは左インデント位置がより左側にあるとき、より上位の見出しと判断する（横書きの場合）。
【００７３】
文書要素の種別が「キャプション」（見出し要素）の場合には、セクション見出しの場合と同様の処理を行なう。文書要素の種別が「手書き注釈」（見出し要素）の場合には、最上位の見出しと判断し、親見出しＩＤの欄は空欄とする。
【００７４】
文書要素の種別が「本文」の場合には、先行する上位見出しのうち最も近接するものを親見出しとして検出する。文書要素の種別が「図、表、写真」の場合には、最も近接するキャプションを親見出しとして検出する。
【００７５】
なお、文書要素の種別が「手書き注釈」（見出し要素）の場合には、位置が最も近接する他要素（図表・本文など）を検出することで、説明要素を検出する。そして、説明要素として検出された文書要素については、上述の手法により特定された親見出しの他に、手書きの文書要素の要素ＩＤも親見出しＩＤに追加する。
【００７６】
このように、親見出しＩＤの欄には、通常、０または１つの親見出しの要素ＩＤが記録されるが、手書き注釈の説明要素については、２つの親見出しの要素ＩＤが記録されることもある。
【００７７】
説明要素検出部２２により各文書要素の親見出しを検出することで、各文書要素の階層レベルおよび文書要素間の従属関係を特定することができる。なお、文書要素の階層レベルおよび従属関係が特定できれば、上記のような方法に限定されない。
【００７８】
図８に示した例では、文書要素管理情報を表形式で示したが、要素間の関係は本質的には木構造であるので、ＸＭＬ（eXtensible Markup Language）などを使って記述可能である。
【００７９】
再び図６を参照して、要素決定部２４は、出力要素の決定処理を実行する（ステップＳ８）。まず、要素決定部２４は、文書要素管理情報に基づいて、ユーザに注目見出しを指定させるための画面（以下「見出し指定画面」という）を操作パネル部１１０に表示する。見出し指定画面には、階層レベルおよび従属関係を示した見出し要素が表示される。このとき、見出し指定画面では、手書き注釈されている見出し、または、手書き注釈されている本文の直上位の見出しがあるときは、これらをデフォルトの注目見出し（候補）として表示することが好ましい。
【００８０】
ユーザより注目見出しが指定されると、要素決定部２４は、以下の文書要素を、出力要素（出力対象の文書要素）として決定する。
【００８１】
（Ａ） ユーザにより指定された見出し（注目見出し）
（Ｂ） 注目見出しが説明する要素（注目見出しの子孫の要素群）
（Ｃ） （Ａ），（Ｂ）以外の見出し要素
（Ｂ）が注目見出しの詳細情報を表わし、（Ａ），（Ｃ）が文書の概要情報を表わす。
【００８２】
なお、注目見出しは複数選択されてもよい。その場合、出力要素は、それぞれの要素を合わせたものとして決定される。
【００８３】
（Ｂ）については、注目見出しからの相対的な下限階層レベルを指定可能としてもよい。また、（Ｃ）については、注目見出しからの相対的な上限階層レベルを指定可能としてもよい。また、これに加え、出力する見出し要素の種別を指定可能としてもよい。
【００８４】
出力要素が決定されると、認識処理部２６は、出力要素に対応する各領域について、要素が文字領域であるときには、文字認識を実行しテキストデータに変換する（ステップＳ１０）。このように、本実施の形態では、部分的にＯＣＲ処理を行なうことでテキスト変換にかかる時間を節約することができる。
【００８５】
次に、出力文書作成部２８は、出力文書すなわちメール本文を作成する（ステップＳ１２）。具体的には、出力要素として決定された見出しテキスト、本文テキストあるいは図（画像のまま）などを配置し、メール本文を作成する。
【００８６】
また、出力文書作成部２８は、ユーザに対し、スキャン文書の出力方法を、メール添付およびデータ保存のうちから選択させてもよい。データ保存が選択された場合、出力処理部３０に対し、記憶部１１２へ電子化文書を保存するよう指示する。そして、出力文書作成部２８は、メール本文の各領域（各文書要素の箇所）について、保存された電子化文書の対応する位置へのリンク情報を付加する。なお、リンク情報を付加する領域は、見出し要素の領域のみであってもよい。電子化文書の保存先（ボックス）は、ユーザにより選択させてもよいし、予め設定しておいてもよい。また、本実施の形態では、装置内部の記憶部１１２に保存されることとしたが、装置外のサーバなどに保存することとしてもよい。
【００８７】
これに対し、メール添付が選択された場合には、添付文書（電子化文書）へのリンク情報を復元するためのスクリプトを、対応する見出し箇所などに埋め込む。受信された添付文書の格納方法および格納場所は、メール受信ソフトおよび添付文書のビューワソフトに依存するが、たとえば、それをＭＳ社製「Outlook（登録商標）」およびＡｄｏｂｅ社の「Acrobat Reader（登録商標）」に限定することでそういったスクリプトを埋め込むことが可能である。
【００８８】
次に、出力処理部３０は、作成された出力文書を、通信インターフェイス部１０８を介して、ユーザにより指定されたメールアドレスに送信する（ステップＳ１４）。この際、メール添付が選択されていた場合には、出力処理部３０は、作成された出力文書に電子化文書を添付して送信する。
【００８９】
以上で、本実施の形態における文書処理は終了される。
ここで、上記の文書処理のうち特徴的な処理について詳細に説明する。
【００９０】
（説明要素の検出について）
図９は、スキャンされた文書画像５００の内容例を示す図である。
【００９１】
図９を参照して、文書画像５００から１０個の文書要素１０００〜１００９が検出されたとする（ステップＳ４）。これらの文書要素１０００〜１００９の要素ＩＤが、それぞれＩＤ０〜９であるとする。ＩＤ０，２，３，５，７の種別が「セクション見出し」であり、ＩＤ９の種別が「手書き注釈」である。他のＩＤ１，４，６，８の種別は、「本文」である。
【００９２】
このような文書要素に対して、説明要素検出部２２よる検出処理が実行されると、図１０に示すような階層構造となる。図１０は、図９に示した文書画像５００を構成する文書要素１０００〜１００９の階層構造を示す図である。
【００９３】
図１０を参照して、階層レベルは、文書要素管理情報には、明示的に示されないが、たとえば、親見出しのない文書要素のレベルを「０」とし、その子要素のレベルを「１」、孫要素のレベルを「２」というように規定する。なお、階層レベルは番号の小さい方が上位を表わしているものとする。上述のように、手書き注釈の文書要素は親見出しがないため、階層レベルは「０」である。
【００９４】
図１０に示されるように、ＩＤ４の本文（文書要素１００４）は、直上の見出し要素であるＩＤ３のセクション見出し（文書要素１００３）の他に、ＩＤ９の手書き注釈（文書要素１００９）も親見出しとして検出される。
【００９５】
（出力要素の決定について）
図１１は、見出し指定画面ＳＣ１０の一例を示す図である。見出し指定画面ＳＣ１０は、たとえば、操作パネル部１１０の表示パネル１１０ａに表示される。
【００９６】
図１１を参照して、見出し指定画面ＳＣ１０には、検出された見出し要素の各画像が階層構造を維持して表示される。このような見出し指定画面ＳＣ１０が表示される段階では、各要素についてＯＣＲ処理がなされていないため、見出し要素が文書画像の部分画像領域を使って表示される。見出し指定画面ＳＣ１０には、実行を指示するためのＯＫボタンＢＴ１および取消しを指示するためのＣａｎｃｌｅボタンＢＴ２が表示される。
【００９７】
ここで、手書き注釈の見出し要素については、注釈した先を見なければメール本文への挿入の必要性が判断できないため、注釈した先の文書要素が本文など見出し要素以外の要素であっても該当の画像を表示する。本実施の形態では、本文の一部を表示している。
【００９８】
なお、本文の画像を表示する際には、見出し要素抽出部２０で検出された行を使って、特定の行数のみ出力することとしてもよい。出力する行数はユーザに指定させてもよいし、予め定められていてもよい。同様に、ステップＳ４で検出された段落を利用して、表示する段落数を制限することとしてもよい。または、１文字ごとの領域を検出して文字数で本文の出力を制限してもよい。または、画像領域の大きさで本文の出力を制限することとしてもよい。なお、このように本文要素の一部のみを表示する場合には、その箇所が選択されると、表示対象となった部分のみを出力要素情報（の詳細情報）に含めてもよい。
【００９９】
本実施の形態では、最初にこのような見出し指定画面ＳＣ１０が表示される際に、たとえば、手書きの見出し要素２００９に関連する見出し要素をデフォルトの注目見出しとして、その部分にカーソルをあててもよい。つまり、手書き注釈の見出し要素に対応する説明要素が見出し要素であれば、当該見出し要素を注目見出し（詳細情報の基準となる見出し要素）の候補として表示する。また、手書き注釈の見出し要素に対応する説明要素が見出し要素以外の文書要素であれば、当該文書要素の直上位の見出し要素を注目見出しの候補として表示してよい。
【０１００】
ユーザにより操作ボタン１１０ｄが操作されて、注目する見出し要素として、見出し要素２００３が選択されたとする。そうすると、見出し指定画面ＳＣ１０から図１２に示すような範囲指定画面ＳＣ１２に移行する。
【０１０１】
図１２は、範囲指定画面ＳＣ１２の一例を示す図である。
図１２を参照して、範囲指定画面ＳＣ１２において、上限指定線Ｌ１および下限指定線Ｌ２は、出力範囲を指定するための線である。これらの線Ｌ１およびＬ２は、いずれも操作ボタン１１０ｄにより移動可能である。上限指定線Ｌ１と下限指定線Ｌ２との間の階層レベルの文書要素が出力範囲として決定される。なお、上限指定線Ｌ１は、注目見出し２００３以下の階層レベルには移動不能であり、下限指定線Ｌ２は、注目見出し２００３以上の階層レベルには移動不能であってよい。
【０１０２】
範囲指定画面ＳＣ１２において、上限指定線Ｌ１を注目見出し２００３の１つ上位の階層レベル（レベル０）まで含むように設定し、下限指定線Ｌ２を最下の階層レベル（レベル３）まで含むように設定したとする。その場合、図１０に示した文書要素のうち出力要素として決定された要素を、図１３に示す。
【０１０３】
図１３は、出力要素として決定された文書要素を示す図である。
図１３を参照して、上記（Ａ）として、注目見出し（ＩＤ３）が出力要素として決定される。上記（Ｂ）として、注目見出しの子孫の要素群であって、下限指定線Ｌ２で指定される下限レベル以上の要素群（ＩＤ４〜ＩＤ８）が出力要素として決定される。上記（Ｃ）として、これら以外の見出し要素であって、上限指定線Ｌ１で指定される上限レベル以下かつ注目見出しの階層レベル以上の見出し要素（ＩＤ０，ＩＤ２，ＩＤ９）が出力要素として決定される。
【０１０４】
（出力文書作成）
上記例により決定された出力要素の画像がテキスト化されると（文字領域のみ）、出力文書作成部２８によって図１４に示されるような出力文書（メール本文）が作成される。図１４に示されるように、出力文書には、注目見出しに関する詳細部分と、注目見出しを含む文書の概要とがバランスよく配置される。これにより、メール受信者は、注目箇所の内容を詳細に把握するとともに、文書全体における注目箇所の位置付けも認識することができる。したがって、メール受信者は、別文書（電子化文書）で確認しなくても、メール本文だけで必要な情報を得ることができる。また、本実施の形態では、ユーザが出力要素の上限レベルと下限レベルを設定できるため、ユーザ（送信者）の意図をきめ細かに出力文書に反映させることができる。
【０１０５】
なお、作成された文書に、追加の本文を挿入可能としてもよい。具体的には、出力文書作成部２８は、操作パネル部１１０の操作ボタン１１０ｄからの信号に基づいて、指定された位置に追加の文字データを挿入してもよい。
【０１０６】
＜変形例１＞
なお、上記実施の形態では、本文要素は、見出しから見出しまでの本文を一つのものとしてハンドリングを想定していたが、実際にはその一部分のみをメール本文に載せたい場合も考えられる。したがって、変形例として、本文が複数の段落で構成されている場合には、ユーザに（詳細情報に含めるべき）必要な段落を選択させてもよい。
【０１０７】
具体的には、たとえば、図７，８の文書要素管理情報とは別に、本文要素を段落に分解して認識しておく。そうすることで、段落を個別に指定して一部の段落のみを出力することができる。段落の区切りについては、たとえば特開平６−２１５１８４号公報や特開平６−２１４９８３号公報などに開示される公知の技術で実現できる。
【０１０８】
図１５は、本発明の実施の形態１の変形例１における見出し指定画面ＳＣ１４の一例を示す図である。
【０１０９】
図１５を参照して、見出し指定画面ＳＣ１４では、見出し要素だけでなく、本文要素の画像が段落ごとに示されている。たとえば、注目見出し２００３が選択されると、注目見出し２００３の子孫要素がすべて選択状態とされる。そして、ユーザに、必要のない段落を指定させる。具体的には、注目見出し２００３の本文を構成する２つの段落２００４Ａ，２００４Ｂともにはじめは選択状態である。ユーザにより２つ目の段落２００４Ｂが指定されると、要素決定部２４は、指定された段落２００４Ｂを非表示の段落として出力対象から除外する。つまり、要素決定部２４は、出力範囲内にある本文要素のうち、ユーザにより指定された段落以外を注目見出しの詳細情報として決定する。
【０１１０】
この場合、認識処理部２６は、注目見出しに従属する出力範囲内の本文要素については一部の段落（ユーザにより選択された段落）のみＯＣＲ処理する。
【０１１１】
このように、変形例１によると、注目見出しに従属する出力範囲内の全ての説明要素を出力文書に配置するのではなく、本文要素については一部の段落のみを出力文書に配置することができる。これにより、本当に必要な部分のみを出力文書に含めることが可能となる。
【０１１２】
なお、必要な段落をユーザに選択させるものに限定されず、たとえば、文字数、行数、段落、領域の大きさのいずれかのパラメータで、詳細情報に含める本文領域の量を制限してもよい。たとえば、注目見出しに従属する出力範囲内の本文要素を全て表示し、表示された本文要素ごとに、詳細情報に含める文字数や領域をユーザに指定させてもよい。
【０１１３】
＜変形例２＞
また、上記実施の形態１では、手書き注釈に関連する見出し要素を注目見出しの候補として表示し、実際の注目見出しの選択はユーザに実行させたが、手書き注釈に関連する見出し要素を注目見出しとして確定することとしてもよい。そのようにすることで、ユーザによる操作の手間を減少させることができる。なお、その場合、上限レベルは最上位（レベル０）として予め定めておいてもよい。また、下限レベルは最下位レベルとして予め定めておいてもよい。
【０１１４】
＜変形例３＞
実施の形態１では、文書処理装置（ＭＦＰ１）が画像読取部１０４を備えており、原稿をスキャンして見出し要素の抽出等を行なったが、限定的ではなく、図８に示した文書要素管理情報をメタデータとして含んだ電子化文書を対象とすることもできる。すなわち、図６のステップＳ２〜Ｓ６の処理に代えて、電子化文書に付加された文書要素管理情報より各要素の階層レベルおよび従属関係を検出する処理を実行すれば、ステップＳ８以降に示した処理と同様の処理を行なうことができる。
【０１１５】
［実施の形態２］
上述の実施の形態１では、スキャン文書（文書画像）を元に、出力要素情報を決定したが、本実施の形態では、たとえばＸＭＬ形式で構造化された電子文書を元に、出力要素情報を決定する。本実施の形態における文書処理装置は、端末ＰＣであることとして説明するが、ＭＦＰ１であってもよい。あるいは、携帯端末、複写機、ファクシミリ装置、スキャナ装置などであってもよい。ＭＦＰ１の場合には、たとえばＨＴＭＬ形式で構造化された電子文書が扱われることとしてよい。
【０１１６】
なお、本実施の形態に従うシステムの構成については、実施の形態１と同様であるため、ここでも実施の形態１で用いた符号を参照して説明する。
【０１１７】
（機能構成）
図１６は、本発明の実施の形態２における端末ＰＣの機能構成を示す機能ブロック図である。
【０１１８】
図１６を参照して、端末ＰＣの機能構成としては、文書データ入力部４２と、階層検出部１６Ａと、ＵＩ部２３Ａと、要素決定部２４Ａと、出力文書作成部２８Ａと、出力処理部３０Ａとを含む。
【０１１９】
文書データ入力部４２は、ＸＭＬ形式の文書データを入力する。見出しや本文など文書要素の種別は、あらかじめＸＭＬのタグとして記述されており、ＸＭＬの階層構造も見出しの階層構造に合わせて構成されているものとする。
【０１２０】
階層検出部１６Ａは、入力された文書データのタグ情報より、当該文書データを構成する複数の文書要素の階層関係を検出し、複数の見出し要素と、各見出し要素についての説明要素とを検出される。これにより、複数の見出し要素の階層構造と、文書要素間の従属関係とが検出される。
【０１２１】
ＵＩ部２３Ａ、要素決定部２４Ａ、および出力文書作成部２８Ａは、それぞれ、実施の形態１で示したＵＩ部２３、要素決定部２４および出力文書作成部２８と概ね同様の機能を有する。
【０１２２】
ただし、ＵＩ部２３Ａによる見出し指定画面では、画像ではなくテキストデータがそのまま利用される。本実施の形態において、ＵＩ部２３は、図４に示したディスプレイ部２０５および入力部２０９に対応する。
【０１２３】
出力文書作成部２８Ａは、リンク情報やリンク再現情報を出力文書に埋め込まない。また、本実施の形態では、実施の形態１と異なり、認識処理部２６は機能構成に含まれない。
【０１２４】
出力処理部３０Ａは、作成された文書データの出力処理として、たとえば印刷処理を実行する。なお、その場合、図１６に示した構成部分は、より大きいコンピュータシステムの一部で、プリンタドライバおよびその周辺についてのものであってよい。以下の説明では、作成された出力文書は印刷されることとするが、限定的ではなく、実施の形態１と同様にメール送信されてもよい。
【０１２５】
なお、本実施の形態において、文書要素は、テキストの他、図形、音声、静止画像、動画像、および、それらを他形態に変換したものを含んでよい。つまり、出力要素情報にこれらが含まれてもよい。
【０１２６】
（動作について）
図１７は、本発明の実施の形態２に従う文書処理を示すフローチャートである。図１７のフローチャートに示される処理は、ＣＰＵ２０１がプログラムをメモリ部２１３などに読出して実行し、図１６に示される各機能を制御することで実現される。
【０１２７】
なお、図１７に示す処理は、ビューワソフトにて、構造化された文書データ（電子文書）がディスプレイ部２０５に表示されている際に、ユーザから印刷指示が入力された場合に開始されてよい。
【０１２８】
図１７を参照して、はじめに、文書データ入力部４２は、印刷用ドライバソフトにＸＭＬ形式で構造化された文書データを入力する（ステップＳ１０２）。
【０１２９】
次に、要素決定部２４Ａは、入力された文書データを構成する複数の文書要素から出力要素を決定する（ステップＳ１０８）。具体的には、まず、図１１に示したような見出し指定用ポップアップダイアログを表示する。そして、ダイアログにて注目見出しをユーザが選択指定すると、出力要素情報を決定する。決定の方法は、実施の形態１と同じである。他の詳細についても実施の形態１と同様であるが、実施の形態１のステップＳ８では、（手書きや図写真を除いて）見出しなどの要素が基本的に画像データとして扱われていたのに対し、本実施の形態ではテキストデータとして扱われている。
【０１３０】
また、実施の形態１では、手書き注釈に関連する見出しを注目見出しのデフォルトとしたが、本実施の形態の場合、電子注釈やしおりなど特定の文書要素を指定する情報が印刷ドライバソフトにて検出可能である場合には、当該情報を利用して、特定の見出し要素を注目見出しのデフォルトとしてもよい。
【０１３１】
出力文書作成部２８Ａは、決定された出力要素情報すなわち、出力範囲内における、注目見出しの説明要素の少なくとも一部（たとえば段落指定など）と、注目見出しを含む複数の見出し要素とを配置して、印刷用のラスタ画像を作成する（ステップＳ１１２）。このとき、出力要素情報として決定された説明要素が動画や音声など通常印刷不可能である場合には、要素自体はたとえばサーバ（図示せず）に保存しておき、ラスタ画像にそのＵＲＬ（Uniform Resource Locator）情報を入れた２次元コード（たとえばバーコード）を埋め込んでもよい。
【０１３２】
出力処理部３０Ａは、作成された画像を印刷する処理を行なう（ステップＳ１１４）。具体的には、作成された画像データを通信インターフェイス部２０７を介してＭＦＰ１に送信する処理を行なう。これにより、ＭＦＰ１によって、ステップＳ１１２で作成された出力文書（画像）が印刷される。印刷された文書の構成例も、図１４に示した例と同様となる。
【０１３３】
以上で、本実施の形態における文書処理は終了される。
このように、本実施の形態によると、スキャン文書でなくても構造化された文書であれば、スキャン文書の場合と同様に、入力文書の詳細部分と概要とをバランス良くかつきめ細かに出力文書に配置することができる。その結果、ユーザは、出力文書を見るだけで、元の文書を参照しなくても有用な情報を得ることができる。
【０１３４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１３５】
【図１】本発明の実施の形態１に従う文書処理装置を含むシステムの概略構成図である。
【図２】本発明の実施の形態１に従うＭＦＰにおける概略の機能構成を示すブロック図である。
【図３】本発明の実施の形態１に従うＭＦＰが備える操作パネル部の外観例を示す図である。
【図４】本発明の実施の形態１に従うパーソナルコンピュータの概略のハードウェア構成を示す模式図である。
【図５】本発明の実施の形態１に従うＭＦＰの機能構成を示す機能ブロック図である。
【図６】本発明の実施の形態１に従う文書処理を示すフローチャートである。
【図７】本発明の実施の形態１における文書要素管理情報のデータ構造の一例を示す図である。
【図８】本発明の実施の形態１において、説明要素検出後の文書要素管理情報の内容例を示す図である。
【図９】スキャンされた文書画像の内容例を示す図である。
【図１０】図９に示した文書画像を構成する複数の文書要素の階層構造を示す図である。
【図１１】見出し指定画面の一例を示す図である。
【図１２】範囲指定画面一例を示す図である。
【図１３】図１０に示した文書要素のうち出力要素として決定された要素の例を示す図である。
【図１４】出力文書（メール本文または印刷文書）の一例を示す図である。
【図１５】本発明の実施の形態１の変形例１における見出し指定画面の一例を示す図である。
【図１６】本発明の実施の形態２における端末の機能構成を示す機能ブロック図である。
【図１７】本発明の実施の形態２に従う文書処理を示すフローチャートである。
【符号の説明】
【０１３６】
１ ＭＦＰ、１２ 画像バッファ部、１４ 圧縮処理部、１６，１６Ａ 階層検出部、２０ 見出し要素抽出部、２２ 説明要素検出部、２３，２３Ａ ＵＩ（ユーザインターフェイス）部、２４，２４Ａ 要素決定部、２６ 認識処理部、２８，２８Ａ 出力文書作成部、３０，３０Ａ 出力処理部、４２ 文書データ入力部、１００ 制御部、１０２ メモリ部、１０４ 画像読取部、１０６ プリント部、１０８ 通信インターフェイス部、１１０ 操作パネル部、１１２ 記憶部、２０１ ＣＰＵ、２０３ 内部バス、２０５ ディスプレイ部、２０７ 通信インターフェイス部、２０９ 入力部、２１１ ハードディスク部、２１３ メモリ部、２１５ ＣＤ−ＲＯＭドライブ、２１７ ＦＤＤドライブ、２１７ａ フレキシブルディスク、３００ 原稿、ＰＣ１，ＰＣ２ 端末、ＭＳ メールサーバ。
【特許請求の範囲】
【請求項１】
文書データを構成する複数の文書要素の階層関係を検出することにより、複数の見出し要素と、前記見出し要素ごとに前記見出し要素に属する下位階層の文書要素である説明要素とを検出するための検出手段と、
前記検出手段による検出結果に基づいて、前記複数の見出し要素のうちユーザにより指定された見出し要素についての説明要素を表わす特定説明要素の少なくとも一部を含む詳細情報と、前記指定された見出し要素を含む前記複数の見出し要素の少なくとも一部を含む概要情報とを出力要素情報として決定するための決定手段と、
決定された前記出力要素情報を含む出力文書を作成するための作成手段と、
作成された前記出力文書を出力するための出力手段とを備える、文書処理装置。
【請求項２】
前記概要情報は、前記複数の見出し要素のうち、前記指定された見出し要素と同階層および上位階層の見出し要素のみを含む、請求項１に記載の文書処理装置。
【請求項３】
前記概要情報は、前記複数の見出し要素のうち、前記指定された見出し要素と同階層のレベル以上であって、ユーザにより指定された上限レベル以下の階層の見出し要素のみを含む、請求項１に記載の文書処理装置。
【請求項４】
前記詳細情報は、前記特定説明要素のうち、ユーザにより指定された下限レベル以上の階層の説明要素のみを含む、請求項１〜３のいずれかに記載の文書処理装置。
【請求項５】
前記検出手段は、さらに、前記説明要素の段落の認識処理を行ない、
前記決定手段は、前記特定説明要素の種別が本文である場合には、前記詳細情報に含める段落をユーザに選択させる、請求項１〜４のいずれかに記載の文書処理装置。
【請求項６】
前記決定手段は、前記特定説明要素の種別が本文である場合には、文字数、行数、段落数、領域の大きさのいずれかで、前記詳細情報に含める量を制限する、請求項１〜４のいずれかに記載の文書処理装置。
【請求項７】
前記詳細情報は、テキスト、図形、音声、静止画像、動画像、および、それらを他形態に変換したものを含む、請求項１〜６のいずれかに記載の文書処理装置。
【請求項８】
前記文書データは、光学的に読取られた文書画像であり、
前記検出手段は、
前記複数の文書要素のうち、特定の種別の文書要素を前記見出し要素として抽出するための抽出手段と、
各前記文書要素について、従属先の見出し要素を親見出しとして検出することにより、前記見出し要素ごとの前記説明要素を検出するための説明要素検出手段とを含む、請求項１〜６のいずれかに記載の文書処理装置。
【請求項９】
前記特定の種別は、表題、セクション見出し、手書き注釈およびキャプションのうち少なくとも一つを含む、請求項８に記載の文書処理装置。
【請求項１０】
前記説明要素検出手段は、前記複数の見出し要素の位置関係に基づいて、見出し要素間の階層構造を判断し、手書き注釈の見出し要素については常に、最上位の階層の見出し要素と判断する、請求項８または９に記載の文書処理装置。
【請求項１１】
表示手段をさらに備え、
前記決定手段は、前記詳細情報の基準となる見出し要素をユーザに指定させるための指定画面に、手書き注釈の見出し要素に対応する説明要素が見出し要素であれば、当該見出し要素を前記基準となる見出し要素の候補として表示し、手書き注釈の見出し要素に対応する説明要素が見出し要素以外の文書要素であれば、当該文書要素の直上位の見出し要素を前記基準となる見出し要素の候補として表示する、請求項８〜１０のいずれかに記載の文書処理装置。
【請求項１２】
前記文書画像中、前記出力要素情報として決定された部分の領域の画像データについて文字認識を実行することで、前記文書画像の一部の画像データのみをテキストデータに変換するための認識処理手段をさらに備え、
前記作成手段は、前記テキストデータに変換された前記出力要素情報を含む前記出力文書を作成する、請求項８〜１１のいずれかに記載の文書処理装置。
【請求項１３】
前記作成手段は、前記出力文書に含まれる各領域に、前記文書データの対応する部分へのリンク再現情報を付加し、
前記出力手段は、前記リンク再現情報が付加された前記出力文書を、前記文書データとともに外部の装置に送信するための通信手段を含む、請求項１〜１２のいずれかに記載の文書処理装置。
【請求項１４】
前記文書データを保存するための記憶手段をさらに備え、
前記作成手段は、前記出力文書に含まれる各領域に、前記文書データの対応する部分へのリンク情報を付加し、
前記出力手段は、前記リンク情報が付加された前記出力文書を外部の装置に送信するための通信手段を含む、請求項１〜１３のいずれかに記載の文書処理装置。
【請求項１５】
文書データを構成する複数の文書要素の階層関係を検出することにより、複数の見出し要素と、前記見出し要素ごとに前記見出し要素に属する下位階層の文書要素である説明要素とを検出するステップと、
検出結果に基づいて、前記複数の見出し要素のうちユーザにより指定された見出し要素についての説明要素を表わす特定説明要素の少なくともに一部を含む詳細情報と、前記指定された見出し要素を含む前記複数の見出し要素の少なくとも一部を含む概要情報とを出力要素情報として決定するステップと、
決定された前記出力要素情報を含む出力文書を作成するステップと、
作成された前記出力文書を出力するステップとを備える、文書処理方法。
【請求項１６】
請求項１５に記載の文書処理方法をコンピュータに実行させる、文書処理プログラム。
【請求項１】
文書データを構成する複数の文書要素の階層関係を検出することにより、複数の見出し要素と、前記見出し要素ごとに前記見出し要素に属する下位階層の文書要素である説明要素とを検出するための検出手段と、
前記検出手段による検出結果に基づいて、前記複数の見出し要素のうちユーザにより指定された見出し要素についての説明要素を表わす特定説明要素の少なくとも一部を含む詳細情報と、前記指定された見出し要素を含む前記複数の見出し要素の少なくとも一部を含む概要情報とを出力要素情報として決定するための決定手段と、
決定された前記出力要素情報を含む出力文書を作成するための作成手段と、
作成された前記出力文書を出力するための出力手段とを備える、文書処理装置。
【請求項２】
前記概要情報は、前記複数の見出し要素のうち、前記指定された見出し要素と同階層および上位階層の見出し要素のみを含む、請求項１に記載の文書処理装置。
【請求項３】
前記概要情報は、前記複数の見出し要素のうち、前記指定された見出し要素と同階層のレベル以上であって、ユーザにより指定された上限レベル以下の階層の見出し要素のみを含む、請求項１に記載の文書処理装置。
【請求項４】
前記詳細情報は、前記特定説明要素のうち、ユーザにより指定された下限レベル以上の階層の説明要素のみを含む、請求項１〜３のいずれかに記載の文書処理装置。
【請求項５】
前記検出手段は、さらに、前記説明要素の段落の認識処理を行ない、
前記決定手段は、前記特定説明要素の種別が本文である場合には、前記詳細情報に含める段落をユーザに選択させる、請求項１〜４のいずれかに記載の文書処理装置。
【請求項６】
前記決定手段は、前記特定説明要素の種別が本文である場合には、文字数、行数、段落数、領域の大きさのいずれかで、前記詳細情報に含める量を制限する、請求項１〜４のいずれかに記載の文書処理装置。
【請求項７】
前記詳細情報は、テキスト、図形、音声、静止画像、動画像、および、それらを他形態に変換したものを含む、請求項１〜６のいずれかに記載の文書処理装置。
【請求項８】
前記文書データは、光学的に読取られた文書画像であり、
前記検出手段は、
前記複数の文書要素のうち、特定の種別の文書要素を前記見出し要素として抽出するための抽出手段と、
各前記文書要素について、従属先の見出し要素を親見出しとして検出することにより、前記見出し要素ごとの前記説明要素を検出するための説明要素検出手段とを含む、請求項１〜６のいずれかに記載の文書処理装置。
【請求項９】
前記特定の種別は、表題、セクション見出し、手書き注釈およびキャプションのうち少なくとも一つを含む、請求項８に記載の文書処理装置。
【請求項１０】
前記説明要素検出手段は、前記複数の見出し要素の位置関係に基づいて、見出し要素間の階層構造を判断し、手書き注釈の見出し要素については常に、最上位の階層の見出し要素と判断する、請求項８または９に記載の文書処理装置。
【請求項１１】
表示手段をさらに備え、
前記決定手段は、前記詳細情報の基準となる見出し要素をユーザに指定させるための指定画面に、手書き注釈の見出し要素に対応する説明要素が見出し要素であれば、当該見出し要素を前記基準となる見出し要素の候補として表示し、手書き注釈の見出し要素に対応する説明要素が見出し要素以外の文書要素であれば、当該文書要素の直上位の見出し要素を前記基準となる見出し要素の候補として表示する、請求項８〜１０のいずれかに記載の文書処理装置。
【請求項１２】
前記文書画像中、前記出力要素情報として決定された部分の領域の画像データについて文字認識を実行することで、前記文書画像の一部の画像データのみをテキストデータに変換するための認識処理手段をさらに備え、
前記作成手段は、前記テキストデータに変換された前記出力要素情報を含む前記出力文書を作成する、請求項８〜１１のいずれかに記載の文書処理装置。
【請求項１３】
前記作成手段は、前記出力文書に含まれる各領域に、前記文書データの対応する部分へのリンク再現情報を付加し、
前記出力手段は、前記リンク再現情報が付加された前記出力文書を、前記文書データとともに外部の装置に送信するための通信手段を含む、請求項１〜１２のいずれかに記載の文書処理装置。
【請求項１４】
前記文書データを保存するための記憶手段をさらに備え、
前記作成手段は、前記出力文書に含まれる各領域に、前記文書データの対応する部分へのリンク情報を付加し、
前記出力手段は、前記リンク情報が付加された前記出力文書を外部の装置に送信するための通信手段を含む、請求項１〜１３のいずれかに記載の文書処理装置。
【請求項１５】
文書データを構成する複数の文書要素の階層関係を検出することにより、複数の見出し要素と、前記見出し要素ごとに前記見出し要素に属する下位階層の文書要素である説明要素とを検出するステップと、
検出結果に基づいて、前記複数の見出し要素のうちユーザにより指定された見出し要素についての説明要素を表わす特定説明要素の少なくともに一部を含む詳細情報と、前記指定された見出し要素を含む前記複数の見出し要素の少なくとも一部を含む概要情報とを出力要素情報として決定するステップと、
決定された前記出力要素情報を含む出力文書を作成するステップと、
作成された前記出力文書を出力するステップとを備える、文書処理方法。
【請求項１６】
請求項１５に記載の文書処理方法をコンピュータに実行させる、文書処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−６７１８７（Ｐ２０１０−６７１８７Ａ）
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願番号】特願２００８−２３５２１８（Ｐ２００８−２３５２１８）
【出願日】平成２０年９月１２日（２００８．９．１２）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願日】平成２０年９月１２日（２００８．９．１２）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]