画像処理装置、画像処理方法、画像処理プログラム
【課題】 ユーザにより筆記された紙文書の筆記内容に基づき処理を実行する画像処理装置、画像処理方法、画像処理プログラムを提供する。
【解決手段】 コンテンツが描かれたコンテンツ領域を有するとともに、ユーザにより筆記された紙文書を読み込む紙文書読み込み手段と、読み込まれた前記紙文書に筆記された筆記画像を含む領域である筆記領域と相当の位置関係にある前記コンテンツ領域のコンテンツまたは前記筆記画像を抽出する抽出手段とを有することを特徴とする。
【解決手段】 コンテンツが描かれたコンテンツ領域を有するとともに、ユーザにより筆記された紙文書を読み込む紙文書読み込み手段と、読み込まれた前記紙文書に筆記された筆記画像を含む領域である筆記領域と相当の位置関係にある前記コンテンツ領域のコンテンツまたは前記筆記画像を抽出する抽出手段とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、筆記された文書に対し、処理を行う画像処理装置、画像処理方法、画像処理プログラムに関する。
【背景技術】
【０００２】
近年、コンピュータなどの情報機器を利用して多くの電子文書が作成されており、その量や作成頻度はますます増大する傾向にある。また、既にある電子文書を利用して、新たな電子文書を作ったりまたはその中の一部の情報を後で利用することも増えてきている。
【０００３】
この場合、コンピュータ上で電子文書を編集するアプリケーションを起動してその電子文書を読み込み、領域を指定して電子文書中のデータをメモリにコピーし、そのアプリケーションの別のウインドウにそれをペーストするなどして電子文書のコンテンツを再利用している。
【０００４】
また、紙文書の視認性、一覧性、人への譲渡などの面から、たとえ電子文書が配信されて手元にあったとしても一度紙に印刷してからそれを読むことで思考したり、また紙文書に対して筆記することも多い。
【０００５】
筆記された内容を再び電子化するには紙文書をスキャナでよみとり、イメージファイルとして格納するなどして行われる。それは人間が見ることで活字文字と筆記文字の違いなどから元々の紙文書と筆記された紙文書を区別している。
【特許文献１】特開２００２−３１８７９９号公報
【特許文献２】特開平９−３０５７０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、ユーザにより筆記された紙文書の筆記内容を電子文書に反映させようとしても従来のシステムでは容易ではない。
【０００７】
特許文献１は、紙と電子による校正作業に関わるものである。画面上での校正と旧来の紙面での校正を混在させた環境を実現する技術が開示されている。この特許広報では紙に印刷された校正用原稿に対して特殊インクで校正指示を筆記し、その特殊インクのみを読み取ることで筆記のみを抽出し、電子文書に対して重畳して表示することで紙と画面上でのシームレスな校正作業を実現している。しかし、本特許広報は筆記を画像として表示の見やすさを向上させたものであり、筆記による電子文書のコンテンツ利用に及ぶものではない。
【０００８】
また、特許文献２は紙の帳票画像から下線を抽出する技術が開示されている。この特許文献２は、帳票画像内の枠を校正しない横方向のランレングスデータを抽出し、ヒストグラムを作成して下線を判断するものである。また、画像内の文字を切り出て、文字データとして識別して帳票認識の判断情報としている。しかし、特許文献２においては下線は印刷されているものであり、それに帳票を識別するための特別な意味を持たせているものをコンテンツとして配置しているものあり、ユーザが意のままに筆記しているものとは用途が異り、また画像から識別しているものであり、認識誤りの危険性もある。
【０００９】
本発明はこのような問題点に鑑み、ユーザにより筆記された紙文書の筆記内容に基づき処理を実行する画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は、コンテンツが描かれたコンテンツ領域を有するとともに、ユーザにより筆記された紙文書を読み込む紙文書読み込み手段と、読み込まれた前記紙文書に筆記された筆記画像を含む領域である筆記領域と相当の位置関係にある前記コンテンツ領域のコンテンツまたは前記筆記画像を抽出する抽出手段とを有することを特徴とする。
【００１１】
また、上記課題を解決するために、本発明は、前記筆記領域は矩形であることを特徴とする。
【００１２】
また、上記課題を解決するために、本発明は、前記相当の位置関係は、前記筆記領域と前記コンテンツ領域とが共通の領域を有する関係であることを特徴とする。
【００１３】
また、上記課題を解決するために、本発明は、前記相当の位置関係は、前記コンテンツ領域が前記筆記領域の近傍に位置する関係であることを特徴とする。
【００１４】
また、上記課題を解決するために、本発明は、前記近傍は、前記矩形の長辺の近傍であることを特徴とする。
【００１５】
また、上記課題を解決するために、本発明は、前記抽出手段は、前記コンテンツが１つ以上の文字からなるテキストである場合、前記テキストに含まれる文字のうち、前記筆記領域と相当の位置関係にある文字のみを前記コンテンツとして抽出することを特徴とする。
【００１６】
また、上記課題を解決するために、本発明は、前記抽出手段は、前記筆記領域に含まれる筆記画像が水平線分ではない場合、前記コンテンツを抽出せずに前記筆記画像を抽出することを特徴とする。
【００１７】
また、上記課題を解決するために、本発明は、矩形である前記筆記領域の辺の縦横比率に基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする。
【００１８】
また、上記課題を解決するために、本発明は、前記紙文書に横書きで記載された文字の行の高さと、矩形である前記筆記領域の辺のうち、文字が記載されている方向とは垂直である辺の長さに基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする。
【００１９】
また、上記課題を解決するために、本発明は、前記筆記画像が文字の場合、前記筆記画像が水平線分ではないと判断することを特徴とする。
【００２０】
また、上記課題を解決するために、本発明は、前記抽出手段が抽出したコンテンツに関連付けられた処理が実行されることを特徴とする。
【００２１】
また、上記課題を解決するために、本発明は、前記コンテンツに関連付けられた処理は、動画表示処理、音声送出処理、表計算データ表示処理、テキストデータ表示処理のいずれか１つ以上であることを特徴とする。
【００２２】
また、上記課題を解決するために、本発明は、前記コンテンツに関連付けられた処理は、前記コンテンツに関連付けられたファイルを所定の宛先へ送信する処理であることを特徴とする。
【００２３】
また、上記課題を解決するために、本発明は、前記紙文書と対応する電子文書から、前記コンテンツを取得するコンテンツ取得手段を有することを特徴とする。
【００２４】
また、上記課題を解決するために、本発明は、前記紙文書を、該紙文書と対応する電子文書を特定するための特定情報とともに印刷する印刷処理手段を有することを特徴とする。
【００２５】
また、上記課題を解決するために、本発明は、コンテンツが描かれたコンテンツ領域を有するとともに、ユーザにより筆記された紙文書を読み込む紙文書読み込み段階と、読み込まれた前記紙文書に筆記された領域である筆記領域と相当の位置関係にある前記コンテンツ領域のコンテンツを抽出する抽出段階とを有することを特徴とする。
【００２６】
また、上記課題を解決するために、本発明は、前記筆記領域は矩形であることを特徴とする。
【００２７】
また、上記課題を解決するために、本発明は、前記相当の位置関係は、前記筆記領域と前記コンテンツ領域とが共通の領域を有する関係であることを特徴とする。
【００２８】
また、上記課題を解決するために、本発明は、前記相当の位置関係は、前記コンテンツ領域が前記筆記領域の近傍に位置する関係であることを特徴とする。
【００２９】
また、上記課題を解決するために、本発明は、前記近傍は、前記矩形の長辺の近傍であることを特徴とする。
【００３０】
また、上記課題を解決するために、本発明は、前記抽出段階は、前記コンテンツが１つ以上の文字からなるテキストである場合、前記テキストに含まれる文字のうち、前記筆記領域と相当の位置関係にある文字のみを前記コンテンツとして抽出することを特徴とする。
【００３１】
また、上記課題を解決するために、本発明は、前記抽出段階は、前記筆記領域に含まれる筆記画像が水平線分ではない場合、前記コンテンツを抽出せずに前記筆記画像を抽出することを特徴とする。
【００３２】
また、上記課題を解決するために、本発明は、矩形である前記筆記領域の辺の縦横比率に基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする。
【００３３】
また、上記課題を解決するために、本発明は、前記紙文書に横書きで記載された文字の行の高さと、矩形である前記筆記領域の辺のうち、文字が記載されている方向とは垂直である辺の長さに基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする。
【００３４】
また、上記課題を解決するために、本発明は、前記筆記画像が文字の場合、前記筆記画像が水平線分ではないと判断することを特徴とする。
【００３５】
また、上記課題を解決するために、本発明は、前記抽出段階が抽出したコンテンツに関連付けられた処理が実行されることを特徴とする。
【００３６】
また、上記課題を解決するために、本発明は、前記コンテンツに関連付けられた処理は、動画表示処理、音声送出処理、表計算データ表示処理、テキストデータ表示処理のいずれか１つ以上であることを特徴とする。
【００３７】
また、上記課題を解決するために、本発明は、前記コンテンツに関連付けられた処理は、前記コンテンツに関連付けられたファイルを所定の宛先へ送信する処理であることを特徴とする。
【００３８】
また、上記課題を解決するために、本発明は、前記紙文書と対応する電子文書から、前記コンテンツを取得するコンテンツ取得段階を有することを特徴とする。
【００３９】
また、上記課題を解決するために、本発明は、前記紙文書を、該紙文書と対応する電子文書を特定するための特定情報とともに印刷する印刷処理段階を有することを特徴とする。
【００４０】
また、上記課題を解決するために、本発明は、請求項１５から２８のいずれか１項に記載の画像処理方法をコンピュータに実行されるための画像処理プログラムであることを特徴とする。
【発明の効果】
【００４１】
本発明によれば、ユーザにより筆記された紙文書の筆記内容に基づき処理を実行する画像処理装置、画像処理方法、画像処理プログラムを提供できる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明の実施の形態について図面に基づいて説明する。
【実施例１】
【００４３】
最初に実施例１における画像処理装置の構成例について説明する。画像処理装置の構成例は、２つあり、それらを図１と図２を用いて説明する。
【００４４】
図１には、画像処理部１０１と、入出力装置１１２と、紙入力装置１１３と、紙出力装置１１４と、ディスク装置１１５とが示されている。
【００４５】
画像処理部１０１は、ユーザＩ／Ｆ制御部１０２と、操作解釈部１０３と、アプリケーション部１０４と、スキャナＩ／Ｆ制御部１０５と、紙処理部１０６と、コンテンツ処理部１０７と、プリンタＩ／Ｆ制御部１０８と、印刷処理部１０９と、ＩＤ管理部１１０と、ディスクＩ／Ｆ制御部１１１とで構成される。
【００４６】
画像処理部１０１は、ユーザＩ／Ｆ制御部１０２を介してディスプレイやキーボードなどの入出力装置１１２からのユーザ操作命令(文書登録、印刷)や紙文書からのコンテンツを利用するアプリケーション部１０４との情報のやり取りをおこなっている。そして、ユーザＩ／Ｆ制御部１０２からの操作命令を操作解釈部１０３で受け取り、その操作の解釈と実行を行う。
【００４７】
また、画像処理部１０１ではスキャナなどの紙入力装置１１３が接続され、それを操作し、紙文書の画像を取得する制御をおこなうスキャナＩ／Ｆ制御部１０５を備えている。また、紙処理部１０６ではスキャナＩ／Ｆ制御部１０５からの紙文書の画像から印刷されているバーコードを識別する。
【００４８】
コンテンツ処理部１０７ではスキャンした紙画像と電子文書を画像化したものとから筆記された領域と相当の位置関係にある電子文書中のコンテンツデータを抽出する。また、プリンタなどの紙出力装置１１４が接続され、それを操作し、電子文書の画像を取得する制御を行うプリンタＩ／Ｆ制御部１０８を備えている。ＩＤ管理部１１０では電子文書と、それを特定する特定情報であるＩＤ(識別子)の関係が一対一に対応するようＩＤテーブルを管理し、ＩＤ登録、削除、参照などをおこなう。紙処理部１０６ではディスク装置１１５などに格納された電子文書にＩＤコードを付与し、プリンタで印刷するための画像を作成する。
【００４９】
以上説明した画像処理部１０１と、それに接続された紙入力装置１１３とディスク装置１１５とが画像処理装置の最小構成である。紙文書を印刷する場合は、さらに紙出力装置１１４を構成に加える。入出力装置１１２は、画像処理部１０１が紙入力装置１１３で読み込まれたものに対して自動的に抽出処理を行う仕様となっている場合は、特に必要ない。
【００５０】
次に、図２を用いて２つ目の構成例について説明する。なお、図１と同じ符号のものは説明を省略する。
【００５１】
図１の画像処理部１０１は紙のスキャン、電子文書の印刷、電子文書の格納の機能をすべて画像処理部１０１に直接接続されたハードウェアで実現するように構成されていた。これに対し、図２に示す画像処理部２０１は、末端のハードウェアをすべてネットワークの外に配置し、それらをリモートから利用する構成のものとなっている。
【００５２】
画像処理部２０１はネットワークＩ／Ｆ制御部２０２を介してＬＡＮ(Local Area Network)などの外部ネットワーク２０３に接続されている。外部ネットワーク２０３上には画像処理部２０１と通信可能なネットワークスキャナ装置２０４、ネットワークプリンタ装置２０５、ネットワークファイルサーバとして動作するコンピュータ装置２０６などが存在し、それらが、電子文書の格納、取得などの操作を画像処理部２０１とリモートで実行している。もちろん、紙文書のスキャン、電子文書の印刷、電子文書の格納の各機能の一部を、図１の画像処理部１０１のように内部に持ち、その他を図２の画像処理部２０１のように外部を利用することで実現する別の実施形態でもかまわない。
【００５３】
なお、上述した紙入力装置１１３とネットワークスキャナ装置２０４は紙文書読み込み手段に対応する。コンテンツ処理部１０７は抽出手段に対応する。印刷処理部１０９は、印刷処理手段に対応する。
【００５４】
以上説明した画像処理部２０１と、それに接続されたネットワークスキャナ装置２０４とコンピュータ装置２０６とが画像処理装置の最小構成である。紙文書を印刷する場合は、さらにネットワークプリンタ装置２０５を構成に加える。入出力装置１１２は、画像処理部２０１がネットワークスキャナ装置２０４で読み込まれたものに対して自動的に抽出処理を行う仕様となっている場合は、特に必要ない。
【００５５】
次に、画像処理装置の具体的な処理について説明する。以下で説明する処理は、紙文書を印刷する処理と、筆記された紙文書を読み込み、コンテンツを抽出する処理の２つである。まず、紙文書を印刷する処理について、図３を用いて説明する。図３はユーザＩ／Ｆ制御部１０２から入力を受けたときの操作解釈部１０３での制御手順である。
【００５６】
操作解釈部１０３ではまずユーザＩ／Ｆ制御部１０２からその入力を受け取る（Ｓ１０１）。その操作がアプリケーションへの操作か、紙文書を印刷するためのものかを判断する（Ｓ１０２、Ｓ１０４）。アプリケーションへの入力操作であればアプリケーションへ入力を渡して終了する（Ｓ１０３）。入力が紙文書の印刷である場合は、紙文書に対応する電子文書が入力されていればそれをディスクＩ／Ｆ制御部１１１を介してディスク装置１１５へ格納し、紙処理部１０６へ入力された内容（格納された電子文書名を含む）を渡して終了する（Ｓ１０５）。
【００５７】
次に、図４のフローチャートの説明をする。図４のフローチャートは、操作解釈部１０３においてユーザＩ／Ｆ制御部１０２からの操作が紙の印刷であり、操作解釈部１０３より要求（Ｓ１０５）を受けたときの紙処理部１０６の制御手順である。
【００５８】
まず、操作解釈部１０３から電子文書名を含んだ印刷要求を受け取る（Ｓ２０１）。その電子文書名をＩＤ管理部１１０にＩＤ登録依頼をしてＩＤを取得する（Ｓ２０２）。取得したＩＤと電子文書名と印刷するページ番号を印刷処理部１０９へ渡して（Ｓ２０３）、処理を終了する。
【００５９】
図５はＩＤ管理部１１０で管理しているＩＤテーブルの格納している情報の一例を図示したものである。図５のＩＤテーブル８０１において、各行（例えば行８０５の範囲）がＩＤ登録の一単位であり、各列が登録要素となっている。列８０２にはＩＤテーブル内で唯一のＩＤが格納される。列８０３には電子文書を一意に決定する情報、この図では文書処理装置１０１内の大容量記憶装置部１１５内での位置を示すパス名が格納されている。また、列８０４には印刷したページ番号が格納されている。
【００６０】
次に、図６のフローチャートについて説明する。図６は、印刷処理部１０９において紙処理部１０６から印刷要求をうけたとき（Ｓ２０３）の制御手順である。
【００６１】
印刷処理部１０９では印刷要求とともに紙処理部１０６からＩＤと電子文書名、印刷ページを取得する（Ｓ３０１）。ディスクＩ／Ｆ制御部１１１を介してディスク装置１１５から渡された電子文書を取出す（Ｓ３０２）。そしてＩＤをバーコードなどに画像化する（Ｓ３０３）。
【００６２】
またスキャンした画像のスキューを補正するためのタイミングマークとともに電子文書の印刷するページに重畳して印刷画像を作成し（Ｓ３０４）、その印刷画像をプリンタＩ／Ｆ制御部１０８を介してプリント装置１１４に送る（Ｓ３０５）ことで印刷が完了する。
【００６３】
図７は印刷処理部１０９において作成された紙文書９０１の例である。紙文書９０１には電子文書内に保持しているコンテンツ部９０７が描画されている。さらに黒四角のタイミングマーク９０２、９０３、９０４、９０５が四隅にあり、その位置は規定されている。さらに、コード９０６を有し、このコードはＩＤを示している。
【００６４】
このタイミングマークによりスキャナ装置１１３またはネットワークスキャナ装置２０４などで読み取られた画像が歪んだとしても補正が可能である。また、紙処理部１０６がＩＤ管理部１１０から取得したＩＤをコード画像として張り付けたコード９０６がある。
【００６５】
以上が紙文書を印刷する処理の説明である。次に、筆記された紙文書を読み込み、コンテンツを抽出する処理について説明する。
【００６６】
図８は、紙処理部１０６においてスキャナＩ／Ｆ制御部１０５からスキャン画像を渡されたときの制御手順である。紙処理部１０６では、スキャナＩ／Ｆ制御部１０５から紙文書をスキャンした画像を受け取る（Ｓ４０１）。このステップＳ４０１は、紙文書読み込み段階に対応する。また、ここでの画像は、図９で示す紙文書９０１のように、紙文書に対して加筆をおこなった筆記画像１００７、１００８、１００９、１０１０を有するものとする。また、図９には、コンテンツ領域１００１、１００２、１００３、１００４、１００５、１００６が示されている。
【００６７】
次に画像９０１に対して、スキュー補正をおこなう（Ｓ４０２）。そしてコード９０６を探し、デコードを行い、ＩＤを取得する（Ｓ４０３）。そのＩＤをＩＤ管理部１１０に渡し、その紙文書に対応する電子文書の情報（ディスク装置１１５に格納されているパス名など）を受け取る（Ｓ４０４）。そしてスキャンした画像と電子文書の情報をコンテンツ処理部１０７に渡して（Ｓ４０５）終了する。
【００６８】
図１０は、コンテンツ処理部１０７において紙処理部１０６からスキャンによる情報が渡された時（Ｓ４０５）の制御手順である。コンテンツ処理部１０７では紙処理部１０６からスキャンした画像と少なくとも電子文書を取得するための情報（電子文書名など）を取得する（Ｓ５０１）。
【００６９】
そしてその情報からディスクＩ／Ｆ制御部１１１を介してディスク装置１１５から電子文書を取得する（Ｓ５０２）。取得した電子文書を画像化して紙処理部１０６からの画像との差分をとり（Ｓ５０３）、筆記画像を抽出する。そして紙全面の筆記画像を領域のまとまりを考慮してクラスタリングを行う（Ｓ５０４）。これにより図９に示すような４つの筆記画像１００７、１００８、１００９、１０１０が取れ、それら筆記画像を囲む矩形の領域の頂点の座標を得たものとする。図１１は、その矩形の例を示すものであり、矩形である筆記領域１４０１と、筆記画像１００８と、コンテンツ領域１００３とが示されている。このような筆記画像を含む矩形の領域が筆記領域である。
【００７０】
次に電子文書をＰＤＦ（Portable Document Format）に変換する（Ｓ５０５）。なお、ここでは、テキスト領域や画像領域の位置を保持し、そのコンテンツを抽出できるようなファイルフォーマットであり、そのフォーマット画像に変換するドライバが提供されているものであればＰＤＦに限定するものではない。
【００７１】
抽出段階に対応するＳ５０６〜Ｓ５０９では取得した筆記領域の数（n=４）だけ処理を行うため、処理されていない筆記領域が無くなった場合はＳ５１１に進み、処理する筆記領域がある場合は一つの筆記領域の処理としてＳ５０７以降に進む（Ｓ５０６）。対象とする筆記領域がテキスト領域かどうかを判断する（Ｓ５０７）。このテキスト領域とは、コンテンツ領域の１つであり、文字が書かれているものである。コンテンツ領域には他に画像領域がある。なお、筆記領域がテキスト領域とは、筆記された領域がテキスト領域という意味である。
【００７２】
Ｓ５０７では電子文書を画像化し、領域識別しておくことで判断が可能となる。領域識別の手法については、開示されている一つの固定閾値または二つの固定閾値を用いて画素を白画素と黒画素に分類し、連結した黒画素群と連結した白画素群の両方が局所領域内に存在する画素を文字の画素として検出する方式などを利用する。
【００７３】
ここでは図９に示すように、コンテンツ領域１００１,１００２,１００４,１００６をテキスト領域と判断し、コンテンツ領域１００３,１００５を画像領域というように判断したものとする。
【００７４】
例えば、筆記領域１４０１とコンテンツ領域１００３とが共通の領域を有するので、ステップＳ５１０で、コンテンツ領域１００３のコンテンツはＰＤＦ化したファイルから抽出される。一方、そのようになっていないコンテンツ領域１００５のコンテンツはステップＳ５１０で抽出されない。
【００７５】
また、テキスト領域として判断されたコンテンツ領域１００２、１００４、１０１０の場合、Ｓ５０８に進み、筆記領域がコンテンツ領域と共通の領域を有するかどうか判断される。共通の領域を有するテキストは抽出される（Ｓ５１０）。
【００７６】
図１２は筆記画像１００７の筆記領域１１０２が複数の文字からなるコンテンツ領域１１０１と共通の領域を有している例である。コンテンツ領域１１０１は一文字単位の複数のコンテンツ領域からなり、一文字単位で共通の領域を有するかどうかが判断される。これによりコンテンツ領域１１０１から文字コンテンツとして「さしすせそ」が抽出される。
【００７７】
Ｓ５０８で共通の領域がないと判断されれば、筆記領域の近傍のコンテンツ領域を探し、そのコンテンツ領域のコンテンツを抽出する（Ｓ５０９）。図１３は筆記領域１３０２がコンテンツ領域１３０１と共通の領域がない場合の例である。この場合、筆記領域１３０２の矩形の長辺の近傍にあるコンテンツ「ABC」が抽出される。また、図１４も筆記領域１２０２がコンテンツ領域１２０１と共通の領域がない場合の例である。この場合も、矩形の長辺の近傍にあるコンテンツ「へと」が抽出される。Ｓ５０６からＳ５０９ですべての筆記領域について処理が終われば、抽出したコンテンツをアプリケーション部へ送り（Ｓ５１１）、処理を終了する。
【００７８】
このようにすることにより、アプリケーションではコンテンツ処理部からの情報を用いて様々な処理を行うことができる。例えば、抽出した文字コンテンツをWWWサービスに検索させたり、抽出した画像コンテンツ、文字を別ファイルに格納するような電子スクラップブックを紙から容易につくることができる。 以上説明したように、本実施例によれば、電子文書のコンテンツと関連づけるＩＤを含めて印刷された紙文書に、ユーザが筆記をしたものに対してその筆記領域とコンテンツの位置関係から対応するコンテンツを取得してアプリケーション利用することが可能となる。
【００７９】
また、筆記領域を矩形として扱うことでコンテンツとの位置関係が明確になり、抽出するコンテンツを決定することがより容易となる。
【００８０】
さらに、筆記領域がコンテンツ領域と共通の領域を有する場合に、そのコンテンツを対象とするようにするため、筆記対象としたコンテンツを不足なく抽出し、アプリケーション利用することが可能となる。
【００８１】
その上、筆記領域とコンテンツ領域の共通の領域がない場合でも近傍のコンテンツを抽出するようにしたため、テキストのような行の下にアンダーラインを引いたような加筆においても間違いなく文字コンテンツを抽出し、アプリケーション利用することが可能となる。
【００８２】
また、ユーザが筆記したコンテンツがテキストのコンテンツである場合、テキストを文字単位で領域を判断してコンテンツとして文字単位で抽出し、アプリケーション利用することが可能となる。これによりテキスト全体ではなく、ユーザがその一部を筆記で指定した場合にも正しく抽出することが可能となる。
【００８３】
また、ユーザが筆記したコンテンツがテキストのコンテンツである場合、筆記領域の長辺の近傍の文字を抽出することにより、テキストコンテンツの行の向きに関わらずユーザが指定した所望の文字コンテンツを抽出してアプリケーション利用することが可能となる。
【００８４】
また、画像処理方法をコンピュータが制御可能なＯＳにしたがってプログラミングすることにより、そのＯＳを備えたコンピュータであれば同じ処理方法により制御することができる。
【実施例２】
【００８５】
実施例２において、実施例１で説明した図１から図８に示される構成や処理は変わらない。実施例２で扱う紙文書が図７であることは同じだが、図７のような横書きのみの文書であり、コンテンツへの参照指示は線分で筆記することを前提としている。また、筆記された紙文書は、図１５に示されるものとする。従って、図８の説明における「図９」は図１５に読み替える。
【００８６】
なお、図１５に示した紙文書において、横書きとは一般的に用いられる意味と変わらず、矢印６００１に示される方向に書かれるものである。従って、図１５に示されるテキストを横書きどおりに読むと「あいうえおかきくけこ…」となる。そして、文字が記載されている方向と垂直の辺とは、矢印６００２と平行な辺である。また行の高さも一般的に用いられる意味と変わらず、矢印６００２の長さとなる。
【００８７】
図１６は、コンテンツ処理部１０７において紙処理部１０６からスキャンによる入力が渡された時(図８のＳ４０５参照)の制御手順である。コンテンツ処理部１０７は、紙処理部１０６から画像と少なくとも電子文書を取得するための情報を受け取る(Ｓ６０１)。
【００８８】
そしてコンテンツ処理部１０７は、その情報からディスクＩ／Ｆ制御部１１１を介してディスク装置１１５から電子文書を取得する(Ｓ６０２)。次にコンテンツ処理部１０７は、取得した電子文書を画像化して紙処理部１０６からの画像との差分をとり(Ｓ６０３)、筆記画像を抽出する。
【００８９】
図１７がその結果の筆記画像である。この図１７に示される筆記画像から紙全面の筆記画像を領域のまとまりを考慮してクラスタリングをおこない(Ｓ６０４)、図１７に示すような５つの筆記領域７００４、７００７,７００８,７００９,１０１０が取れ、その筆記領域(各波線部)の座標を取得する。
【００９０】
次に電子文書をＰＤＦに変換する(Ｓ６０５)。なお、ここでは、テキストや画像の位置を保持し、そのコンテンツを取出せるようなファイルフォーマットであり、そのフォーマット画像に変換するドライバが提供されているものであればＰＤＦに限定するものではない。
【００９１】
Ｓ６０６〜Ｓ６１１では取得した筆記領域の数のｎ回（図１７の例ではn=５）処理を行うため、処理されていない筆記領域が無くなった場合はＳ６１２に進み、処理する筆記領域がある場合は一つの筆記領域の処理としてＳ６０７以降に進む(Ｓ６０６)。その場合まず、処理対象とする筆記画像の種類を判断する(Ｓ６０７)。その筆記画像種類の解釈の手段は３つあり、それについては後に説明する。
【００９２】
Ｓ６０７の筆記画像種類の解釈の結果、それが水平線分であるかどうかを調べる(Ｓ６０９)。ここで水平線分の筆記画像とは、簡単にいうと横長の線分をいう。例えば下線である筆記画像は水平線分である。筆記画像が水平線分であればさらに筆記領域の近傍にコンテンツがあるかを調べる(Ｓ６１０)。コンテンツ領域が存在すれば、その筆記画像はコンテンツに対する指示であると判断し、その位置のコンテンツやその一部をＰＤＦより抽出し、Ｓ６０６へもどる。
【００９３】
図１７での筆記画像１００７が水平線分として解釈された場合、文字列として「いうえおか」が抽出される。Ｓ６０９で筆記領域が水平成分でないときやＳ６１０で近傍にコンテンツ領域がない場合は、その筆記領域はユーザが意図したコメントや絵などのデータであるとしてそのまま取出して筆記データとして保持して(Ｓ６０８)、Ｓ６０６へもどる。
【００９４】
図１７で筆記領域７０１０が水平線分でないと解釈された場合、その筆記領域の画像そのものを保存したり、文字認識処理結果を保存したりする。そしてＳ６０６からＳ６１０ですべての筆記領域について処理が終われば、抽出したコンテンツと筆記データをアプリケーション部へ送り(Ｓ６１２)、終了する。このように、筆記クラスタの種類の解釈をすることで、ユーザの意図したデータをその後のアプリケーションなどで利用可能となる。
【００９５】
次に、上述したステップＳ６０７の筆記領域の種類を解釈する処理として、３つの処理例を説明する。まず１つ目を、図１８を用いて説明する。対象としている筆記領域の形状(図１７での点線で示した外接矩形である)の縦横比率(ratio=縦の長さ/横の長さ)をもとめる（Ｓ７０１）。これを予め定めておいた既定値と比較する(Ｓ７０２)。縦横比率が既定値より小さければ、その筆記領域は水平線分であると判断し(Ｓ７０３)、そうでなければ水平線分ではないと判断(Ｓ７０４)し、処理を終了する。これにより細い長い筆記領域を線分、高さのある短い筆記を単なる筆記画像として判断することができる。
【００９６】
このように、矩形である筆記領域の辺の縦横比率に基づき、筆記画像が水平線分であるかどうかが判断される。
【００９７】
次に２つ目の処理を、図１９を用いて説明する。筆記領域の縦の長さ(height)を求める(Ｓ８０１)。さらにこの筆記領域の近傍のテキストコンテンツを探し、そのテキストコンテンツの行高さ（cheight）を求める（Ｓ８０２）。図１５の筆記領域１００９の場合、コンテンツ領域１００２のテキストを探し、作成されたＰＤＦからフォントの高さ属性を取り出すことでテキストの行高さを取得できる。
【００９８】
そしてheightとcheightを比較し（Ｓ８０３）、筆記領域の縦の長さの方が大きければその筆記領域を非水平線分であると判断し（Ｓ８０４）、そうでなければ水平線分と判断し（Ｓ８０５）、処理を終了する。
【００９９】
上記Ｓ８０３における比較はcheightにある規定値をかけた値との比較をしてもかまわない。これにより、まわりの文字の大きさとの比較の上で筆記領域を水平線分または筆記画像に判断することができるので短い筆記領域や短い水平線分であっても正確に判断できる。
【０１００】
このように、紙文書に横書きで記載された文字の行の高さと、矩形である筆記領域の辺のうち、文字が記載されている方向とは垂直である辺の長さに基づいた判断が行われる。
【０１０１】
次に３つ目の処理を、図２０を用いて説明する。筆記領域に手書き文字認識処理をおこなう（Ｓ９０１）。その認識結果が成功したかどうかを判断する（Ｓ９０２）。成功したのであれば、テキストデータ(非水平線分)であると判断し（Ｓ９０３）、そうでなければ非テキストデータ(水平線分の可能性あり)と判断（Ｓ９０４）して処理を終了する これにより筆記の大きさにはかかわらず、文字かどうかの正確な判断がされる。このように、筆記画像が文字の場合、筆記画像が水平線分ではないと判断される。
【０１０２】
なお、以上説明した３つの筆記領域の意味判断の処理を組合わせることも可能であり、その場合、さらに正確に水平線分と非水平線分とを判断することができる。
【０１０３】
以上説明してきたことから、アプリケーションではコンテンツ処理部からの情報を用いて様々な処理を行うことができる。例えば、抽出した文字コンテンツや筆記文字をＷＷＷサービスに検索させたり、抽出した画像コンテンツ、文字や筆記コメントを別ファイルに格納するような電子スクラップブックを紙から容易につくることができる。
また本実施例２によれば、電子文書のコンテンツと関連づけるＩＤを含めて印刷された紙に、ユーザが筆記をしたものに対してその筆記の意味から判断して筆記そのものをデータとして取得するか、筆記位置に対応するコンテンツのデータを取得するかを決定して処理が行われるので、筆記者が筆記指示したデータがアプリケーションで利用することが可能となる。
【０１０４】
さらに本実施例２によれば、筆記の形状を矩形として扱い、その縦横の比率から判断して筆記そのものをデータとして取得するか、筆記位置に対応するコンテンツのデータを取得するかを決定して処理が行われるので、細長い筆記を線分(コンテンツへの参照)、高さのある短い筆記を筆記データとしてより正確に判断することができる。
また、本実施例２によれば、筆記領域を矩形として扱い、その縦の長さと関係するテキストコンテンツの行高さから判断して筆記領域そのものをデータとして取得するか、筆記領域に対応するコンテンツ領域を取得するかを決定して処理が行われるので、短い筆記や短い線分であっても正確に判断できる。
【０１０５】
また、本実施例２によれば、筆記の内容をよみこみ、手書き文字認識処理をかけてその成否から判断して筆記そのものをデータとして取得するか、筆記位置に対応するコンテンツデータを取得するかを決定して処理が行われるので、筆記の大きさにはかかわらず、ユーザが記述した文字かどうかの正確な判断がされる。
【０１０６】
このように、実施例２によれば、電子文書とリンクされた紙文書に筆記したものを読み込み、その筆記がコンテンツへの参照か、筆記データそのものに意味があるかを自動的に判断して適切なデータを取出すことができ、それを例えば、抽出した文字コンテンツや筆記文字をWWWサービスに検索させたり、抽出した画像コンテンツ、文字や筆記コメントを別ファイルに格納するような電子スクラップブックを紙から容易につくることができる。
【実施例３】
【０１０７】
実施例３における画像処理装置の構成例について説明する。画像処理装置の構成例は、２つあり、それらを図２１と図２２を用いて説明する。なお、以下の説明において、既に説明した符号の説明は省略する。
【０１０８】
まず、図２１から説明する。図２１は、図１に記載のアプリケーション１０４と、操作解釈部１０３がなくなり、スピーカ３１０４と、タッチパネル３１０３と、キーボード３１１２とが加えられたものである。
【０１０９】
画像処理装置１０１は、ユーザＩ／Ｆ制御部１０２を介してキーボード３１１２やタッチパネル３１０３などの外部入力デバイスからの紙操作命令(文書印刷指示やコンテンツ処理指示)を受けとり、紙処理部１０６へ渡す。また、紙処理部１０６やコンテンツ処理部１０７から受けた出力要求をタッチパネル３１０３やスピーカ３１０４などの外部出力デバイスへ送るものである。
【０１１０】
図２２は実施例３における２つ目の構成例を示す図である。図２２も同様に、図２に記載のアプリケーション１０４と、操作解釈部１０３がなくなり、スピーカ３１０４と、タッチパネル３１０３と、キーボード３１１２と、コンピュータ装置２０７が加えられたものである。
【０１１１】
コンピュータ装置２０７は、画像処理装置２０１とネットワーク２０３を介してＦＴＰ(File Transfer Protocol)やリモートファイル格納、メール送受信が可能であり、そのようなコンピュータ装置が1つ以上存在しているものとする。
【０１１２】
以下、実施例３における紙処理部１０６、コンテンツ処理部１０７、ＩＤ管理部１１０、印刷処理部１０９の制御手順や管理形態について図を用いて詳細に説明する。まず、実施例３で読み込まれる紙文書について、図２３、２４を用いて説明する。図２３は、印刷される元の電子文書６０１を示すものである。図２３には、テキスト部６０２、６０３、６０５と、動画部６０４と、音声部６０５とをコンテンツとして有する電子文書６０１が示されている。
【０１１３】
この電子文書６０１を印刷処理部１０９の処理によって印刷された紙文書が図２４である。この紙文書には、タイミングマーク９０２、９０３、９０４、９０５があり、その位置は規定されているので、スキャナ装置１１３、２０４などで読み取られた画像が歪んだとしても補正が可能である。また、紙処理部１０６がＩＤ管理部１１０から取得したＩＤを張り付けたコード９０６がある。
【０１１４】
この紙文書９０１に対して筆記を行った紙文書を示すのが、図２５で示す紙文書５００１である。図２５には、筆記画像５００２、５００３、５００４が示されている。これらの各文書に対して以下に説明する処理が行われる。
【０１１５】
図２６はユーザＩ／Ｆ制御部１０２から入力を受けたときの紙処理部１０６での制御手順を示すフローチャートである。紙処理部１０６では、初めに入力がどの指示かを判断する。まずその受け取った入力が印刷要求かどうかを判断する（Ｓ１００１）。
【０１１６】
印刷要求であれば、ユーザＩ／Ｆ制御部１０２より電子文書のパラメータ情報(電子文書名、ページ番号)を取得する(Ｓ１００２)。取得した電子文書のパラメータ情報をＩＤ管理部１１０に登録依頼をしてＩＤを取得する(Ｓ１００３)。取得したＩＤと電子文書名とページ番号を印刷処理部１０９へ渡して(Ｓ１００４)、処理を終了する。なお、ＩＤを管理しているＩＤテーブルは図５に示されているものである。
【０１１７】
Ｓ１００１で受け取った入力が印刷要求でない場合、その入力がコンテンツ処理要求かどうかを調べる(Ｓ１００５)。コンテンツ要求でなければ終了し、コンテンツ要求であればユーザＩ／Ｆ制御部１０２に処理パラメータ情報の入力を要求し、処理パラメータ情報として転送方法、転送先を取得する(Ｓ１００６)。この入力はユーザによりタッチパネルで行われるが、そのタッチパネルに表示される入力画面は後に説明する。
【０１１８】
次にスキャナＩ／Ｆ制御部１０５（もしくはネットワークＩ／Ｆ制御部２０２）に紙文書のスキャン操作を指示し、スキャンされた画像を受け取る(Ｓ１００７)。次に、スキュー補正をおこなう(Ｓ１００８)。そしてコード９０６（図２５参照）を探し、デコードを行い、ＩＤを取得する(Ｓ１００９)。そのＩＤをＩＤ管理部１１０に渡し、その紙文書の原稿である電子文書の情報(ディスク装置１１５に格納されているパス名、ページ番号)を受け取る(Ｓ１０１０)。そして画像と電子文書情報をコンテンツ処理部１０７に渡して(Ｓ１０１１)、処理を終了する。
【０１１９】
次に、上述した入力画面について、図２７を用いて説明する。図２７は、タッチパネルに表示される入力画面例を示している。この入力画面には、「転送方法」と「転送先」とが入力される。ここでは転送方法として、「コンテンツ確認」と、「ＦＴＰ」と、「ネットワークフォルダ」と、「Ｅ−Ｍａｉｌ」とを指定することができる。指定方法は、その前にあるチェックボックスで指定するものとなっている。
【０１２０】
「コンテンツ確認」の場合は、この画像処理装置１０１または２０１上でそのコンテンツに関連付けられた処理を実行することでコンテンツを表現する。具体的に、コンテンツを表現するとは、コンテンツが音楽データを意味するものであれば音楽をスピーカに出力したり、コンテンツがテキストを意味するものであればエディッタなどを用いて内容を表示することがコンテンツ表現の例である。すなわち、コンテンツに関連付けられた処理が実行されることである。
【０１２１】
「ＦＴＰ」の場合は転送先に指定したＦＴＰサーバへコンテンツをファイル送信する。「ネットワークフォルダ」の場合は転送先に指定したホストのネットワークフォルダにコンテンツをファイルとして保存する。「Ｅ−Ｍａｉｌ」の場合は「転送先」に指定されたアドレスにコンテンツを添付したメールを送信する。
【０１２２】
次に、印刷処理部１０９において紙処理部１０６から印刷要求をうけたとき(Ｓ１００４)の制御手順を、図２８のフローチャートを用いて説明する。印刷処理部１０９では紙処理部１０６からＩＤと電子文書名、印刷ページを取得する(Ｓ１１０１)。ディスクＩ／Ｆ制御部１１１（もしくはネットワークＩ／Ｆ制御部２０２）を介してディスク装置１１５から渡された電子文書ファイルを取出す(Ｓ１１０２)。
【０１２３】
そしてＩＤをバーコードなどにコード化し(Ｓ１１０３)、またスキャンした画像のスキューを補正するためのタイミングマークとともに電子文書の印刷するページに重畳して印刷画像を作成する(Ｓ１１０４)。このとき、印刷不可能なマルチメディアデータなどのデータはその位置を示す矩形などの枠で示し、そこにはそのデータ型を表記するように印刷画像を作成するとユーザには分かりやすい。
【０１２４】
プリンタＩ／Ｆ制御部１０８またはネットワークＩ／Ｆ制御部２０２を介してプリント装置１１４もしくは２０５に印刷要求をする(Ｓ１１０５)ことで印刷が完了する。
【０１２５】
このようにして、上述した図２４の紙文書は印刷される。他の紙文書の例を図２９に示す。紙文書５２００には、コンテンツ領域５２０１、５２０２、５２０３、５２０４、５２０５が示されている。それぞれのコンテンツ領域は、Ｍｏｖｉｅ、Ｖｏｉｃｅ、ＤａｔａＳｈｅｅｔ、Ｔｅｘｔと記されている。
【０１２６】
この紙文書５２００に対応する電子文書に示される動画、音声、データベース、テキストデータのコンテンツは、それぞれ張り付けられた位置にＭｏｖｉｅ（１２０１，１２０４，１２０５）,Ｖｏｉｃｅ（１２０２）,ＤａｔａＳｈｅｅｔ（１２０３）,Ｔｅｘｔ（１２０５）の処理が関連付けられているとともに、それらの文字とともに矩形領域で示されている。
【０１２７】
ユーザは所望のコンテンツ領域に筆記することにより、動画（Ｍｏｖｉｅ）、音声（Ｖｏｉｃｅ）、表計算データ（ＤａｔａＳｈｅｅｔ）、テキストデータ（Ｔｅｘｔ）を閲覧や視聴することができるようになる。
【０１２８】
この紙文書を利用することによりユーザは抽出するコンテンツ種類を判断でき、また記入する位置を把握することが容易となる。また、コンテンツの種類を表示するのに文字ではなくアイコンなどのマークであってもよい。
【０１２９】
次に、図３０を用いて、コンテンツ処理部１０７の処理を説明する。コンテンツ処理部１０７は紙処理部１０６から画像と電子文書を取得するための電子文書情報と処理パラメータとしてコンテンツの処理方法、転送先を受け取る（Ｓ１２０１）。そしてその電子文書情報からディスクＩ／Ｆ制御部１１１（ネットワークＩ／Ｆ制御部２０２）を介してディスク装置１１５から電子文書を取得する（Ｓ１２０２）。
【０１３０】
取得した電子文書を印刷処理部１０９により画像化して紙処理部１０６からの画像との差分をとり、筆記画像を抽出する（Ｓ１２０３）。そして紙全面の筆記画像を領域のまとまりを考慮してクラスタリングを行う（Ｓ１２０４）。
【０１３１】
図３１は、差分をとりクラスタリングされた画像を示す図である。図３１の場合、３つにクラスタリングされている。それらは、筆記領域５１０１、１１０２、１１０３と示されているものである。そして、コンテンツ処理部１０７は、これら矩形の筆記領域の頂点の座標を求めることで筆記位置が求まる。
【０１３２】
次に電子文書をＰＤＦに変換する（Ｓ１２０５）。なお、ここでは、テキストや画像の位置を保持し、そのコンテンツを取出せるようなファイルフォーマットであり、そのフォーマット画像に変換することができればＰＤＦに限定するものではない。
【０１３３】
Ｓ１２０６〜Ｓ１２０９では取得した筆記領域の数（n=３）だけ処理を行うため、処理されていない筆記領域が無くなった場合は終了し、処理する筆記領域がある場合はその筆記領域を処理対象としてＳ１２０７以降に進む（Ｓ１２０６）。
【０１３４】
次に、対象とする筆記領域がコンテンツ領域と共通の領域を有するかどうかを調べる（Ｓ１２０７）。筆記領域と共通の領域を有しているコンテンツ領域がある場合はそのコンテンツのオブジェクトをＰＤＦ化したファイルから抽出する（Ｓ１２０８）。そうでない場合はＳ１２０６へ戻る。
【０１３５】
外部とのネットワーク通信機能をもつ画像処理装置２０１の場合、Ｓ１２０１で取得していた処理パラメータの中から利用方法をとりだし、それがコンテンツ表現であるかを調べる（Ｓ１２０９）。
【０１３６】
コンテンツ表現であれば抽出したコンテンツの種類からその種類に応じた外部デバイスで表現するようにユーザＩ／Ｆ制御部１０２へ出力要求をしてＳ１２０６へ戻る（Ｓ１２１０）。
【０１３７】
外部とのネットワーク通信機能がない画像処理装置１０１の場合はＳ１２０９の処理は存在せずＳ１２１０の処理のみを行うことになる。例として筆記領域５００２の場合、コンテンツ領域５００２と共通の領域を有する。コンテンツ領域５００２は動画を示しているので、コンテンツ処理部１０７はユーザＩ／Ｆ制御部１０２へタッチパネル３１０３で画像再生、動画に音声があれば、スピーカ３１０４で音声再生するよう要求する。
【０１３８】
また、筆記領域１１０２の場合は、コンテンツ領域１００３と共通の領域を有する。コンテンツ領域１００３は音声を示すものであるので、コンテンツ処理部１０７はユーザＩ／Ｆ制御部１０２へスピーカ３１０４で音声再生するよう要求する。また、筆記領域１１０３の場合は、コンテンツ領域５００４と共通の領域を有する。コンテンツ領域５００４は、表計算データを示しているので、表計算アプリケーションが起動し、その画像がタッチパネル３１０３で表示するよう要求する。
【０１３９】
一方、Ｓ１２０９において利用方法がコンテンツ表現でない場合は、ＦＴＰまたはネットワークファイル、Ｅ−Ｍａｉｌのいずれか指定された方法と転送先へそれぞれのプロトコル処理をおこない、コンテンツを送信してＳ１２０６へ戻る（Ｓ１２１１）。あるいは、すべてのクラスタを対象にＳ１２０７〜Ｓ１２８の処理をおこない、そのとき抽出したコンテンツを保持しておき、最後にコンテンツをすべてまとめてＳ１２０９,Ｓ１２１０,Ｓ１２１１の処理を行ってもよい。
【０１４０】
以上説明した実施例３の画像処理装置１０１、２０１は、パーソナルコンピュータ等のコンピュータにより構成することができ、その場合、紙処理部１０６、コンテンツ処理部１０７、ＩＤ管理部１１０はそれぞれの機能をコンピュータに実現させるプログラムとして構成される。
【０１４１】
本実施例３によれば、電子文書のコンテンツと関連づけたＩＤを含めて印刷された紙文書に、ユーザが筆記をしたものに対してその画像を読み取り、筆記画像を抽出して、そのまとまりを判断し、その位置から対応する電子文書上のデータを抽出したのち、表現することが可能であるので、ユーザは紙文書に筆記してスキャンするだけでその電子原稿が持つマルチメディアやオリジナルデータをその場で容易に確認することが可能となる。
【０１４２】
また、本実施例３によれば、筆記画像の位置に対応する電子文書上のデータを抽出したのち、所望の宛先へ抽出したコンテンツデータを転送することが可能であるので、ユーザは紙文書に筆記してスキャンするだけでその電子原稿が持つマルチメディアやオリジナルデータを後で利用する環境に容易に保存しておくことが可能となる。
【０１４３】
さらに、本実施例３によれば、電子文書のコンテンツと関連づけたＩＤを含めて印刷する際に、電子文書内のコンテンツが存在する領域に枠をつけた上で印刷することで、ユーザは抽出したいコンテンツを筆記する場所を確認することが容易になる。
【０１４４】
また、本実施例３によれば、電子文書のコンテンツと関連づけたＩＤを含めて印刷する際に、電子文書内のコンテンツが存在する際にはそのコンテンツのデータ種類を印刷することで、ユーザが実際に必要な型のコンテンツを選択することが可能となる。
【図面の簡単な説明】
【０１４５】
【図１】実施例１における画像処理装置の構成例である（その１）。
【図２】実施例１における画像処理装置の構成例である（その２）。
【図３】ユーザＩ／Ｆ制御部から入力を受けたときの操作解釈部での処理を示すフローチャートである。
【図４】紙処理部の処理を示すフローチャートである。
【図５】ＩＤテーブルが格納している情報の一例を示す図である。
【図６】印刷処理部が印刷要求を受けたときの処理を示すフローチャートである。
【図７】紙文書の例を示す図である。
【図８】紙処理部がスキャン画像を渡されたときの処理を示すフローチャートである。
【図９】筆記された紙文書の画像を示す図である。
【図１０】コンテンツ処理部の処理を示すフローチャートである。
【図１１】画像領域の場合の共通の領域を示す図である。
【図１２】筆記領域が複数の文字と共通の領域を有している例を示す図である。
【図１３】筆記領域が複数の文字と共通の領域を有していない例を示す図である（その１）。
【図１４】筆記領域が複数の文字と共通の領域を有していない例を示す図である（その２）。
【図１５】紙文書の例を示す図である。
【図１６】コンテンツ処理部の処理を示すシーケンス図である。
【図１７】筆記画像を示す図である。
【図１８】筆記領域の種類を解釈する処理を示すフローチャートである（その１）。
【図１９】筆記領域の種類を解釈する処理を示すフローチャートである（その２）。
【図２０】筆記領域の種類を解釈する処理を示すフローチャートである（その３）。
【図２１】実施例３における画像処理装置の構成例である（その１）。
【図２２】実施例３における画像処理装置の構成例である（その２）。
【図２３】電子文書を示す図である。
【図２４】紙文書を示す図である。
【図２５】筆記された紙文書を示す図である。
【図２６】紙処理部での処理を示すフローチャートである。
【図２７】タッチパネルに表示される入力画面例を示す図である。
【図２８】印刷処理部での処理を示すフローチャートである。
【図２９】紙文書を示す図である。
【図３０】コンテンツ処理部の処理を示すフローチャートである。
【図３１】差分をとりクラスタリングされた画像を示す図である。
【符号の説明】
【０１４６】
１０１、２０１ 画像処理部
１０２ ユーザＩ／Ｆ制御部
１０３ 操作解釈部
１０４ アプリケーション部
１０５ スキャナＩ／Ｆ制御部
１０６ 紙処理部
１０７ コンテンツ処理部
１０８ プリンタＩ／Ｆ制御部
１０９ 印刷処理部
１１０ ＩＤ管理部
１１１ ディスクＩ／Ｆ制御部
１１２ 入出力装置
１１３ 紙入力装置
１１４ 紙出力装置
１１５ ディスク装置
２０３ 外部ネットワーク
２０４ ネットワークスキャナ装置
２０５ ネットワークプリンタ装置
２０６ コンピュータ装置
８０１ ＩＤテーブル
８０２、８０３、８０４ 列
８０５ 行
９０１、５２００ 紙文書
９０２、９０３、９０４、９０５ タイミングマーク
９０６ コード
９０７ コンテンツ部
１００１、１００２、１００３、１００４、１００５、１００６、１１０１、１２０１、１３０１、５２０１、５２０２、５２０３、５２０４、５２０５、５２０６ コンテンツ領域
１００７、１００８、１００９、１０１０、２００２、２００４、２００５、５００２、５００３、５００４、７００４、７００７、７００８、７００９、７０１０ 筆記画像
１１０２、１１０３、１３０２、１４０１、２００１、２００３、５１０１ 筆記領域
【技術分野】
【０００１】
本発明は、筆記された文書に対し、処理を行う画像処理装置、画像処理方法、画像処理プログラムに関する。
【背景技術】
【０００２】
近年、コンピュータなどの情報機器を利用して多くの電子文書が作成されており、その量や作成頻度はますます増大する傾向にある。また、既にある電子文書を利用して、新たな電子文書を作ったりまたはその中の一部の情報を後で利用することも増えてきている。
【０００３】
この場合、コンピュータ上で電子文書を編集するアプリケーションを起動してその電子文書を読み込み、領域を指定して電子文書中のデータをメモリにコピーし、そのアプリケーションの別のウインドウにそれをペーストするなどして電子文書のコンテンツを再利用している。
【０００４】
また、紙文書の視認性、一覧性、人への譲渡などの面から、たとえ電子文書が配信されて手元にあったとしても一度紙に印刷してからそれを読むことで思考したり、また紙文書に対して筆記することも多い。
【０００５】
筆記された内容を再び電子化するには紙文書をスキャナでよみとり、イメージファイルとして格納するなどして行われる。それは人間が見ることで活字文字と筆記文字の違いなどから元々の紙文書と筆記された紙文書を区別している。
【特許文献１】特開２００２−３１８７９９号公報
【特許文献２】特開平９−３０５７０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、ユーザにより筆記された紙文書の筆記内容を電子文書に反映させようとしても従来のシステムでは容易ではない。
【０００７】
特許文献１は、紙と電子による校正作業に関わるものである。画面上での校正と旧来の紙面での校正を混在させた環境を実現する技術が開示されている。この特許広報では紙に印刷された校正用原稿に対して特殊インクで校正指示を筆記し、その特殊インクのみを読み取ることで筆記のみを抽出し、電子文書に対して重畳して表示することで紙と画面上でのシームレスな校正作業を実現している。しかし、本特許広報は筆記を画像として表示の見やすさを向上させたものであり、筆記による電子文書のコンテンツ利用に及ぶものではない。
【０００８】
また、特許文献２は紙の帳票画像から下線を抽出する技術が開示されている。この特許文献２は、帳票画像内の枠を校正しない横方向のランレングスデータを抽出し、ヒストグラムを作成して下線を判断するものである。また、画像内の文字を切り出て、文字データとして識別して帳票認識の判断情報としている。しかし、特許文献２においては下線は印刷されているものであり、それに帳票を識別するための特別な意味を持たせているものをコンテンツとして配置しているものあり、ユーザが意のままに筆記しているものとは用途が異り、また画像から識別しているものであり、認識誤りの危険性もある。
【０００９】
本発明はこのような問題点に鑑み、ユーザにより筆記された紙文書の筆記内容に基づき処理を実行する画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は、コンテンツが描かれたコンテンツ領域を有するとともに、ユーザにより筆記された紙文書を読み込む紙文書読み込み手段と、読み込まれた前記紙文書に筆記された筆記画像を含む領域である筆記領域と相当の位置関係にある前記コンテンツ領域のコンテンツまたは前記筆記画像を抽出する抽出手段とを有することを特徴とする。
【００１１】
また、上記課題を解決するために、本発明は、前記筆記領域は矩形であることを特徴とする。
【００１２】
また、上記課題を解決するために、本発明は、前記相当の位置関係は、前記筆記領域と前記コンテンツ領域とが共通の領域を有する関係であることを特徴とする。
【００１３】
また、上記課題を解決するために、本発明は、前記相当の位置関係は、前記コンテンツ領域が前記筆記領域の近傍に位置する関係であることを特徴とする。
【００１４】
また、上記課題を解決するために、本発明は、前記近傍は、前記矩形の長辺の近傍であることを特徴とする。
【００１５】
また、上記課題を解決するために、本発明は、前記抽出手段は、前記コンテンツが１つ以上の文字からなるテキストである場合、前記テキストに含まれる文字のうち、前記筆記領域と相当の位置関係にある文字のみを前記コンテンツとして抽出することを特徴とする。
【００１６】
また、上記課題を解決するために、本発明は、前記抽出手段は、前記筆記領域に含まれる筆記画像が水平線分ではない場合、前記コンテンツを抽出せずに前記筆記画像を抽出することを特徴とする。
【００１７】
また、上記課題を解決するために、本発明は、矩形である前記筆記領域の辺の縦横比率に基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする。
【００１８】
また、上記課題を解決するために、本発明は、前記紙文書に横書きで記載された文字の行の高さと、矩形である前記筆記領域の辺のうち、文字が記載されている方向とは垂直である辺の長さに基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする。
【００１９】
また、上記課題を解決するために、本発明は、前記筆記画像が文字の場合、前記筆記画像が水平線分ではないと判断することを特徴とする。
【００２０】
また、上記課題を解決するために、本発明は、前記抽出手段が抽出したコンテンツに関連付けられた処理が実行されることを特徴とする。
【００２１】
また、上記課題を解決するために、本発明は、前記コンテンツに関連付けられた処理は、動画表示処理、音声送出処理、表計算データ表示処理、テキストデータ表示処理のいずれか１つ以上であることを特徴とする。
【００２２】
また、上記課題を解決するために、本発明は、前記コンテンツに関連付けられた処理は、前記コンテンツに関連付けられたファイルを所定の宛先へ送信する処理であることを特徴とする。
【００２３】
また、上記課題を解決するために、本発明は、前記紙文書と対応する電子文書から、前記コンテンツを取得するコンテンツ取得手段を有することを特徴とする。
【００２４】
また、上記課題を解決するために、本発明は、前記紙文書を、該紙文書と対応する電子文書を特定するための特定情報とともに印刷する印刷処理手段を有することを特徴とする。
【００２５】
また、上記課題を解決するために、本発明は、コンテンツが描かれたコンテンツ領域を有するとともに、ユーザにより筆記された紙文書を読み込む紙文書読み込み段階と、読み込まれた前記紙文書に筆記された領域である筆記領域と相当の位置関係にある前記コンテンツ領域のコンテンツを抽出する抽出段階とを有することを特徴とする。
【００２６】
また、上記課題を解決するために、本発明は、前記筆記領域は矩形であることを特徴とする。
【００２７】
また、上記課題を解決するために、本発明は、前記相当の位置関係は、前記筆記領域と前記コンテンツ領域とが共通の領域を有する関係であることを特徴とする。
【００２８】
また、上記課題を解決するために、本発明は、前記相当の位置関係は、前記コンテンツ領域が前記筆記領域の近傍に位置する関係であることを特徴とする。
【００２９】
また、上記課題を解決するために、本発明は、前記近傍は、前記矩形の長辺の近傍であることを特徴とする。
【００３０】
また、上記課題を解決するために、本発明は、前記抽出段階は、前記コンテンツが１つ以上の文字からなるテキストである場合、前記テキストに含まれる文字のうち、前記筆記領域と相当の位置関係にある文字のみを前記コンテンツとして抽出することを特徴とする。
【００３１】
また、上記課題を解決するために、本発明は、前記抽出段階は、前記筆記領域に含まれる筆記画像が水平線分ではない場合、前記コンテンツを抽出せずに前記筆記画像を抽出することを特徴とする。
【００３２】
また、上記課題を解決するために、本発明は、矩形である前記筆記領域の辺の縦横比率に基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする。
【００３３】
また、上記課題を解決するために、本発明は、前記紙文書に横書きで記載された文字の行の高さと、矩形である前記筆記領域の辺のうち、文字が記載されている方向とは垂直である辺の長さに基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする。
【００３４】
また、上記課題を解決するために、本発明は、前記筆記画像が文字の場合、前記筆記画像が水平線分ではないと判断することを特徴とする。
【００３５】
また、上記課題を解決するために、本発明は、前記抽出段階が抽出したコンテンツに関連付けられた処理が実行されることを特徴とする。
【００３６】
また、上記課題を解決するために、本発明は、前記コンテンツに関連付けられた処理は、動画表示処理、音声送出処理、表計算データ表示処理、テキストデータ表示処理のいずれか１つ以上であることを特徴とする。
【００３７】
また、上記課題を解決するために、本発明は、前記コンテンツに関連付けられた処理は、前記コンテンツに関連付けられたファイルを所定の宛先へ送信する処理であることを特徴とする。
【００３８】
また、上記課題を解決するために、本発明は、前記紙文書と対応する電子文書から、前記コンテンツを取得するコンテンツ取得段階を有することを特徴とする。
【００３９】
また、上記課題を解決するために、本発明は、前記紙文書を、該紙文書と対応する電子文書を特定するための特定情報とともに印刷する印刷処理段階を有することを特徴とする。
【００４０】
また、上記課題を解決するために、本発明は、請求項１５から２８のいずれか１項に記載の画像処理方法をコンピュータに実行されるための画像処理プログラムであることを特徴とする。
【発明の効果】
【００４１】
本発明によれば、ユーザにより筆記された紙文書の筆記内容に基づき処理を実行する画像処理装置、画像処理方法、画像処理プログラムを提供できる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明の実施の形態について図面に基づいて説明する。
【実施例１】
【００４３】
最初に実施例１における画像処理装置の構成例について説明する。画像処理装置の構成例は、２つあり、それらを図１と図２を用いて説明する。
【００４４】
図１には、画像処理部１０１と、入出力装置１１２と、紙入力装置１１３と、紙出力装置１１４と、ディスク装置１１５とが示されている。
【００４５】
画像処理部１０１は、ユーザＩ／Ｆ制御部１０２と、操作解釈部１０３と、アプリケーション部１０４と、スキャナＩ／Ｆ制御部１０５と、紙処理部１０６と、コンテンツ処理部１０７と、プリンタＩ／Ｆ制御部１０８と、印刷処理部１０９と、ＩＤ管理部１１０と、ディスクＩ／Ｆ制御部１１１とで構成される。
【００４６】
画像処理部１０１は、ユーザＩ／Ｆ制御部１０２を介してディスプレイやキーボードなどの入出力装置１１２からのユーザ操作命令(文書登録、印刷)や紙文書からのコンテンツを利用するアプリケーション部１０４との情報のやり取りをおこなっている。そして、ユーザＩ／Ｆ制御部１０２からの操作命令を操作解釈部１０３で受け取り、その操作の解釈と実行を行う。
【００４７】
また、画像処理部１０１ではスキャナなどの紙入力装置１１３が接続され、それを操作し、紙文書の画像を取得する制御をおこなうスキャナＩ／Ｆ制御部１０５を備えている。また、紙処理部１０６ではスキャナＩ／Ｆ制御部１０５からの紙文書の画像から印刷されているバーコードを識別する。
【００４８】
コンテンツ処理部１０７ではスキャンした紙画像と電子文書を画像化したものとから筆記された領域と相当の位置関係にある電子文書中のコンテンツデータを抽出する。また、プリンタなどの紙出力装置１１４が接続され、それを操作し、電子文書の画像を取得する制御を行うプリンタＩ／Ｆ制御部１０８を備えている。ＩＤ管理部１１０では電子文書と、それを特定する特定情報であるＩＤ(識別子)の関係が一対一に対応するようＩＤテーブルを管理し、ＩＤ登録、削除、参照などをおこなう。紙処理部１０６ではディスク装置１１５などに格納された電子文書にＩＤコードを付与し、プリンタで印刷するための画像を作成する。
【００４９】
以上説明した画像処理部１０１と、それに接続された紙入力装置１１３とディスク装置１１５とが画像処理装置の最小構成である。紙文書を印刷する場合は、さらに紙出力装置１１４を構成に加える。入出力装置１１２は、画像処理部１０１が紙入力装置１１３で読み込まれたものに対して自動的に抽出処理を行う仕様となっている場合は、特に必要ない。
【００５０】
次に、図２を用いて２つ目の構成例について説明する。なお、図１と同じ符号のものは説明を省略する。
【００５１】
図１の画像処理部１０１は紙のスキャン、電子文書の印刷、電子文書の格納の機能をすべて画像処理部１０１に直接接続されたハードウェアで実現するように構成されていた。これに対し、図２に示す画像処理部２０１は、末端のハードウェアをすべてネットワークの外に配置し、それらをリモートから利用する構成のものとなっている。
【００５２】
画像処理部２０１はネットワークＩ／Ｆ制御部２０２を介してＬＡＮ(Local Area Network)などの外部ネットワーク２０３に接続されている。外部ネットワーク２０３上には画像処理部２０１と通信可能なネットワークスキャナ装置２０４、ネットワークプリンタ装置２０５、ネットワークファイルサーバとして動作するコンピュータ装置２０６などが存在し、それらが、電子文書の格納、取得などの操作を画像処理部２０１とリモートで実行している。もちろん、紙文書のスキャン、電子文書の印刷、電子文書の格納の各機能の一部を、図１の画像処理部１０１のように内部に持ち、その他を図２の画像処理部２０１のように外部を利用することで実現する別の実施形態でもかまわない。
【００５３】
なお、上述した紙入力装置１１３とネットワークスキャナ装置２０４は紙文書読み込み手段に対応する。コンテンツ処理部１０７は抽出手段に対応する。印刷処理部１０９は、印刷処理手段に対応する。
【００５４】
以上説明した画像処理部２０１と、それに接続されたネットワークスキャナ装置２０４とコンピュータ装置２０６とが画像処理装置の最小構成である。紙文書を印刷する場合は、さらにネットワークプリンタ装置２０５を構成に加える。入出力装置１１２は、画像処理部２０１がネットワークスキャナ装置２０４で読み込まれたものに対して自動的に抽出処理を行う仕様となっている場合は、特に必要ない。
【００５５】
次に、画像処理装置の具体的な処理について説明する。以下で説明する処理は、紙文書を印刷する処理と、筆記された紙文書を読み込み、コンテンツを抽出する処理の２つである。まず、紙文書を印刷する処理について、図３を用いて説明する。図３はユーザＩ／Ｆ制御部１０２から入力を受けたときの操作解釈部１０３での制御手順である。
【００５６】
操作解釈部１０３ではまずユーザＩ／Ｆ制御部１０２からその入力を受け取る（Ｓ１０１）。その操作がアプリケーションへの操作か、紙文書を印刷するためのものかを判断する（Ｓ１０２、Ｓ１０４）。アプリケーションへの入力操作であればアプリケーションへ入力を渡して終了する（Ｓ１０３）。入力が紙文書の印刷である場合は、紙文書に対応する電子文書が入力されていればそれをディスクＩ／Ｆ制御部１１１を介してディスク装置１１５へ格納し、紙処理部１０６へ入力された内容（格納された電子文書名を含む）を渡して終了する（Ｓ１０５）。
【００５７】
次に、図４のフローチャートの説明をする。図４のフローチャートは、操作解釈部１０３においてユーザＩ／Ｆ制御部１０２からの操作が紙の印刷であり、操作解釈部１０３より要求（Ｓ１０５）を受けたときの紙処理部１０６の制御手順である。
【００５８】
まず、操作解釈部１０３から電子文書名を含んだ印刷要求を受け取る（Ｓ２０１）。その電子文書名をＩＤ管理部１１０にＩＤ登録依頼をしてＩＤを取得する（Ｓ２０２）。取得したＩＤと電子文書名と印刷するページ番号を印刷処理部１０９へ渡して（Ｓ２０３）、処理を終了する。
【００５９】
図５はＩＤ管理部１１０で管理しているＩＤテーブルの格納している情報の一例を図示したものである。図５のＩＤテーブル８０１において、各行（例えば行８０５の範囲）がＩＤ登録の一単位であり、各列が登録要素となっている。列８０２にはＩＤテーブル内で唯一のＩＤが格納される。列８０３には電子文書を一意に決定する情報、この図では文書処理装置１０１内の大容量記憶装置部１１５内での位置を示すパス名が格納されている。また、列８０４には印刷したページ番号が格納されている。
【００６０】
次に、図６のフローチャートについて説明する。図６は、印刷処理部１０９において紙処理部１０６から印刷要求をうけたとき（Ｓ２０３）の制御手順である。
【００６１】
印刷処理部１０９では印刷要求とともに紙処理部１０６からＩＤと電子文書名、印刷ページを取得する（Ｓ３０１）。ディスクＩ／Ｆ制御部１１１を介してディスク装置１１５から渡された電子文書を取出す（Ｓ３０２）。そしてＩＤをバーコードなどに画像化する（Ｓ３０３）。
【００６２】
またスキャンした画像のスキューを補正するためのタイミングマークとともに電子文書の印刷するページに重畳して印刷画像を作成し（Ｓ３０４）、その印刷画像をプリンタＩ／Ｆ制御部１０８を介してプリント装置１１４に送る（Ｓ３０５）ことで印刷が完了する。
【００６３】
図７は印刷処理部１０９において作成された紙文書９０１の例である。紙文書９０１には電子文書内に保持しているコンテンツ部９０７が描画されている。さらに黒四角のタイミングマーク９０２、９０３、９０４、９０５が四隅にあり、その位置は規定されている。さらに、コード９０６を有し、このコードはＩＤを示している。
【００６４】
このタイミングマークによりスキャナ装置１１３またはネットワークスキャナ装置２０４などで読み取られた画像が歪んだとしても補正が可能である。また、紙処理部１０６がＩＤ管理部１１０から取得したＩＤをコード画像として張り付けたコード９０６がある。
【００６５】
以上が紙文書を印刷する処理の説明である。次に、筆記された紙文書を読み込み、コンテンツを抽出する処理について説明する。
【００６６】
図８は、紙処理部１０６においてスキャナＩ／Ｆ制御部１０５からスキャン画像を渡されたときの制御手順である。紙処理部１０６では、スキャナＩ／Ｆ制御部１０５から紙文書をスキャンした画像を受け取る（Ｓ４０１）。このステップＳ４０１は、紙文書読み込み段階に対応する。また、ここでの画像は、図９で示す紙文書９０１のように、紙文書に対して加筆をおこなった筆記画像１００７、１００８、１００９、１０１０を有するものとする。また、図９には、コンテンツ領域１００１、１００２、１００３、１００４、１００５、１００６が示されている。
【００６７】
次に画像９０１に対して、スキュー補正をおこなう（Ｓ４０２）。そしてコード９０６を探し、デコードを行い、ＩＤを取得する（Ｓ４０３）。そのＩＤをＩＤ管理部１１０に渡し、その紙文書に対応する電子文書の情報（ディスク装置１１５に格納されているパス名など）を受け取る（Ｓ４０４）。そしてスキャンした画像と電子文書の情報をコンテンツ処理部１０７に渡して（Ｓ４０５）終了する。
【００６８】
図１０は、コンテンツ処理部１０７において紙処理部１０６からスキャンによる情報が渡された時（Ｓ４０５）の制御手順である。コンテンツ処理部１０７では紙処理部１０６からスキャンした画像と少なくとも電子文書を取得するための情報（電子文書名など）を取得する（Ｓ５０１）。
【００６９】
そしてその情報からディスクＩ／Ｆ制御部１１１を介してディスク装置１１５から電子文書を取得する（Ｓ５０２）。取得した電子文書を画像化して紙処理部１０６からの画像との差分をとり（Ｓ５０３）、筆記画像を抽出する。そして紙全面の筆記画像を領域のまとまりを考慮してクラスタリングを行う（Ｓ５０４）。これにより図９に示すような４つの筆記画像１００７、１００８、１００９、１０１０が取れ、それら筆記画像を囲む矩形の領域の頂点の座標を得たものとする。図１１は、その矩形の例を示すものであり、矩形である筆記領域１４０１と、筆記画像１００８と、コンテンツ領域１００３とが示されている。このような筆記画像を含む矩形の領域が筆記領域である。
【００７０】
次に電子文書をＰＤＦ（Portable Document Format）に変換する（Ｓ５０５）。なお、ここでは、テキスト領域や画像領域の位置を保持し、そのコンテンツを抽出できるようなファイルフォーマットであり、そのフォーマット画像に変換するドライバが提供されているものであればＰＤＦに限定するものではない。
【００７１】
抽出段階に対応するＳ５０６〜Ｓ５０９では取得した筆記領域の数（n=４）だけ処理を行うため、処理されていない筆記領域が無くなった場合はＳ５１１に進み、処理する筆記領域がある場合は一つの筆記領域の処理としてＳ５０７以降に進む（Ｓ５０６）。対象とする筆記領域がテキスト領域かどうかを判断する（Ｓ５０７）。このテキスト領域とは、コンテンツ領域の１つであり、文字が書かれているものである。コンテンツ領域には他に画像領域がある。なお、筆記領域がテキスト領域とは、筆記された領域がテキスト領域という意味である。
【００７２】
Ｓ５０７では電子文書を画像化し、領域識別しておくことで判断が可能となる。領域識別の手法については、開示されている一つの固定閾値または二つの固定閾値を用いて画素を白画素と黒画素に分類し、連結した黒画素群と連結した白画素群の両方が局所領域内に存在する画素を文字の画素として検出する方式などを利用する。
【００７３】
ここでは図９に示すように、コンテンツ領域１００１,１００２,１００４,１００６をテキスト領域と判断し、コンテンツ領域１００３,１００５を画像領域というように判断したものとする。
【００７４】
例えば、筆記領域１４０１とコンテンツ領域１００３とが共通の領域を有するので、ステップＳ５１０で、コンテンツ領域１００３のコンテンツはＰＤＦ化したファイルから抽出される。一方、そのようになっていないコンテンツ領域１００５のコンテンツはステップＳ５１０で抽出されない。
【００７５】
また、テキスト領域として判断されたコンテンツ領域１００２、１００４、１０１０の場合、Ｓ５０８に進み、筆記領域がコンテンツ領域と共通の領域を有するかどうか判断される。共通の領域を有するテキストは抽出される（Ｓ５１０）。
【００７６】
図１２は筆記画像１００７の筆記領域１１０２が複数の文字からなるコンテンツ領域１１０１と共通の領域を有している例である。コンテンツ領域１１０１は一文字単位の複数のコンテンツ領域からなり、一文字単位で共通の領域を有するかどうかが判断される。これによりコンテンツ領域１１０１から文字コンテンツとして「さしすせそ」が抽出される。
【００７７】
Ｓ５０８で共通の領域がないと判断されれば、筆記領域の近傍のコンテンツ領域を探し、そのコンテンツ領域のコンテンツを抽出する（Ｓ５０９）。図１３は筆記領域１３０２がコンテンツ領域１３０１と共通の領域がない場合の例である。この場合、筆記領域１３０２の矩形の長辺の近傍にあるコンテンツ「ABC」が抽出される。また、図１４も筆記領域１２０２がコンテンツ領域１２０１と共通の領域がない場合の例である。この場合も、矩形の長辺の近傍にあるコンテンツ「へと」が抽出される。Ｓ５０６からＳ５０９ですべての筆記領域について処理が終われば、抽出したコンテンツをアプリケーション部へ送り（Ｓ５１１）、処理を終了する。
【００７８】
このようにすることにより、アプリケーションではコンテンツ処理部からの情報を用いて様々な処理を行うことができる。例えば、抽出した文字コンテンツをWWWサービスに検索させたり、抽出した画像コンテンツ、文字を別ファイルに格納するような電子スクラップブックを紙から容易につくることができる。 以上説明したように、本実施例によれば、電子文書のコンテンツと関連づけるＩＤを含めて印刷された紙文書に、ユーザが筆記をしたものに対してその筆記領域とコンテンツの位置関係から対応するコンテンツを取得してアプリケーション利用することが可能となる。
【００７９】
また、筆記領域を矩形として扱うことでコンテンツとの位置関係が明確になり、抽出するコンテンツを決定することがより容易となる。
【００８０】
さらに、筆記領域がコンテンツ領域と共通の領域を有する場合に、そのコンテンツを対象とするようにするため、筆記対象としたコンテンツを不足なく抽出し、アプリケーション利用することが可能となる。
【００８１】
その上、筆記領域とコンテンツ領域の共通の領域がない場合でも近傍のコンテンツを抽出するようにしたため、テキストのような行の下にアンダーラインを引いたような加筆においても間違いなく文字コンテンツを抽出し、アプリケーション利用することが可能となる。
【００８２】
また、ユーザが筆記したコンテンツがテキストのコンテンツである場合、テキストを文字単位で領域を判断してコンテンツとして文字単位で抽出し、アプリケーション利用することが可能となる。これによりテキスト全体ではなく、ユーザがその一部を筆記で指定した場合にも正しく抽出することが可能となる。
【００８３】
また、ユーザが筆記したコンテンツがテキストのコンテンツである場合、筆記領域の長辺の近傍の文字を抽出することにより、テキストコンテンツの行の向きに関わらずユーザが指定した所望の文字コンテンツを抽出してアプリケーション利用することが可能となる。
【００８４】
また、画像処理方法をコンピュータが制御可能なＯＳにしたがってプログラミングすることにより、そのＯＳを備えたコンピュータであれば同じ処理方法により制御することができる。
【実施例２】
【００８５】
実施例２において、実施例１で説明した図１から図８に示される構成や処理は変わらない。実施例２で扱う紙文書が図７であることは同じだが、図７のような横書きのみの文書であり、コンテンツへの参照指示は線分で筆記することを前提としている。また、筆記された紙文書は、図１５に示されるものとする。従って、図８の説明における「図９」は図１５に読み替える。
【００８６】
なお、図１５に示した紙文書において、横書きとは一般的に用いられる意味と変わらず、矢印６００１に示される方向に書かれるものである。従って、図１５に示されるテキストを横書きどおりに読むと「あいうえおかきくけこ…」となる。そして、文字が記載されている方向と垂直の辺とは、矢印６００２と平行な辺である。また行の高さも一般的に用いられる意味と変わらず、矢印６００２の長さとなる。
【００８７】
図１６は、コンテンツ処理部１０７において紙処理部１０６からスキャンによる入力が渡された時(図８のＳ４０５参照)の制御手順である。コンテンツ処理部１０７は、紙処理部１０６から画像と少なくとも電子文書を取得するための情報を受け取る(Ｓ６０１)。
【００８８】
そしてコンテンツ処理部１０７は、その情報からディスクＩ／Ｆ制御部１１１を介してディスク装置１１５から電子文書を取得する(Ｓ６０２)。次にコンテンツ処理部１０７は、取得した電子文書を画像化して紙処理部１０６からの画像との差分をとり(Ｓ６０３)、筆記画像を抽出する。
【００８９】
図１７がその結果の筆記画像である。この図１７に示される筆記画像から紙全面の筆記画像を領域のまとまりを考慮してクラスタリングをおこない(Ｓ６０４)、図１７に示すような５つの筆記領域７００４、７００７,７００８,７００９,１０１０が取れ、その筆記領域(各波線部)の座標を取得する。
【００９０】
次に電子文書をＰＤＦに変換する(Ｓ６０５)。なお、ここでは、テキストや画像の位置を保持し、そのコンテンツを取出せるようなファイルフォーマットであり、そのフォーマット画像に変換するドライバが提供されているものであればＰＤＦに限定するものではない。
【００９１】
Ｓ６０６〜Ｓ６１１では取得した筆記領域の数のｎ回（図１７の例ではn=５）処理を行うため、処理されていない筆記領域が無くなった場合はＳ６１２に進み、処理する筆記領域がある場合は一つの筆記領域の処理としてＳ６０７以降に進む(Ｓ６０６)。その場合まず、処理対象とする筆記画像の種類を判断する(Ｓ６０７)。その筆記画像種類の解釈の手段は３つあり、それについては後に説明する。
【００９２】
Ｓ６０７の筆記画像種類の解釈の結果、それが水平線分であるかどうかを調べる(Ｓ６０９)。ここで水平線分の筆記画像とは、簡単にいうと横長の線分をいう。例えば下線である筆記画像は水平線分である。筆記画像が水平線分であればさらに筆記領域の近傍にコンテンツがあるかを調べる(Ｓ６１０)。コンテンツ領域が存在すれば、その筆記画像はコンテンツに対する指示であると判断し、その位置のコンテンツやその一部をＰＤＦより抽出し、Ｓ６０６へもどる。
【００９３】
図１７での筆記画像１００７が水平線分として解釈された場合、文字列として「いうえおか」が抽出される。Ｓ６０９で筆記領域が水平成分でないときやＳ６１０で近傍にコンテンツ領域がない場合は、その筆記領域はユーザが意図したコメントや絵などのデータであるとしてそのまま取出して筆記データとして保持して(Ｓ６０８)、Ｓ６０６へもどる。
【００９４】
図１７で筆記領域７０１０が水平線分でないと解釈された場合、その筆記領域の画像そのものを保存したり、文字認識処理結果を保存したりする。そしてＳ６０６からＳ６１０ですべての筆記領域について処理が終われば、抽出したコンテンツと筆記データをアプリケーション部へ送り(Ｓ６１２)、終了する。このように、筆記クラスタの種類の解釈をすることで、ユーザの意図したデータをその後のアプリケーションなどで利用可能となる。
【００９５】
次に、上述したステップＳ６０７の筆記領域の種類を解釈する処理として、３つの処理例を説明する。まず１つ目を、図１８を用いて説明する。対象としている筆記領域の形状(図１７での点線で示した外接矩形である)の縦横比率(ratio=縦の長さ/横の長さ)をもとめる（Ｓ７０１）。これを予め定めておいた既定値と比較する(Ｓ７０２)。縦横比率が既定値より小さければ、その筆記領域は水平線分であると判断し(Ｓ７０３)、そうでなければ水平線分ではないと判断(Ｓ７０４)し、処理を終了する。これにより細い長い筆記領域を線分、高さのある短い筆記を単なる筆記画像として判断することができる。
【００９６】
このように、矩形である筆記領域の辺の縦横比率に基づき、筆記画像が水平線分であるかどうかが判断される。
【００９７】
次に２つ目の処理を、図１９を用いて説明する。筆記領域の縦の長さ(height)を求める(Ｓ８０１)。さらにこの筆記領域の近傍のテキストコンテンツを探し、そのテキストコンテンツの行高さ（cheight）を求める（Ｓ８０２）。図１５の筆記領域１００９の場合、コンテンツ領域１００２のテキストを探し、作成されたＰＤＦからフォントの高さ属性を取り出すことでテキストの行高さを取得できる。
【００９８】
そしてheightとcheightを比較し（Ｓ８０３）、筆記領域の縦の長さの方が大きければその筆記領域を非水平線分であると判断し（Ｓ８０４）、そうでなければ水平線分と判断し（Ｓ８０５）、処理を終了する。
【００９９】
上記Ｓ８０３における比較はcheightにある規定値をかけた値との比較をしてもかまわない。これにより、まわりの文字の大きさとの比較の上で筆記領域を水平線分または筆記画像に判断することができるので短い筆記領域や短い水平線分であっても正確に判断できる。
【０１００】
このように、紙文書に横書きで記載された文字の行の高さと、矩形である筆記領域の辺のうち、文字が記載されている方向とは垂直である辺の長さに基づいた判断が行われる。
【０１０１】
次に３つ目の処理を、図２０を用いて説明する。筆記領域に手書き文字認識処理をおこなう（Ｓ９０１）。その認識結果が成功したかどうかを判断する（Ｓ９０２）。成功したのであれば、テキストデータ(非水平線分)であると判断し（Ｓ９０３）、そうでなければ非テキストデータ(水平線分の可能性あり)と判断（Ｓ９０４）して処理を終了する これにより筆記の大きさにはかかわらず、文字かどうかの正確な判断がされる。このように、筆記画像が文字の場合、筆記画像が水平線分ではないと判断される。
【０１０２】
なお、以上説明した３つの筆記領域の意味判断の処理を組合わせることも可能であり、その場合、さらに正確に水平線分と非水平線分とを判断することができる。
【０１０３】
以上説明してきたことから、アプリケーションではコンテンツ処理部からの情報を用いて様々な処理を行うことができる。例えば、抽出した文字コンテンツや筆記文字をＷＷＷサービスに検索させたり、抽出した画像コンテンツ、文字や筆記コメントを別ファイルに格納するような電子スクラップブックを紙から容易につくることができる。
また本実施例２によれば、電子文書のコンテンツと関連づけるＩＤを含めて印刷された紙に、ユーザが筆記をしたものに対してその筆記の意味から判断して筆記そのものをデータとして取得するか、筆記位置に対応するコンテンツのデータを取得するかを決定して処理が行われるので、筆記者が筆記指示したデータがアプリケーションで利用することが可能となる。
【０１０４】
さらに本実施例２によれば、筆記の形状を矩形として扱い、その縦横の比率から判断して筆記そのものをデータとして取得するか、筆記位置に対応するコンテンツのデータを取得するかを決定して処理が行われるので、細長い筆記を線分(コンテンツへの参照)、高さのある短い筆記を筆記データとしてより正確に判断することができる。
また、本実施例２によれば、筆記領域を矩形として扱い、その縦の長さと関係するテキストコンテンツの行高さから判断して筆記領域そのものをデータとして取得するか、筆記領域に対応するコンテンツ領域を取得するかを決定して処理が行われるので、短い筆記や短い線分であっても正確に判断できる。
【０１０５】
また、本実施例２によれば、筆記の内容をよみこみ、手書き文字認識処理をかけてその成否から判断して筆記そのものをデータとして取得するか、筆記位置に対応するコンテンツデータを取得するかを決定して処理が行われるので、筆記の大きさにはかかわらず、ユーザが記述した文字かどうかの正確な判断がされる。
【０１０６】
このように、実施例２によれば、電子文書とリンクされた紙文書に筆記したものを読み込み、その筆記がコンテンツへの参照か、筆記データそのものに意味があるかを自動的に判断して適切なデータを取出すことができ、それを例えば、抽出した文字コンテンツや筆記文字をWWWサービスに検索させたり、抽出した画像コンテンツ、文字や筆記コメントを別ファイルに格納するような電子スクラップブックを紙から容易につくることができる。
【実施例３】
【０１０７】
実施例３における画像処理装置の構成例について説明する。画像処理装置の構成例は、２つあり、それらを図２１と図２２を用いて説明する。なお、以下の説明において、既に説明した符号の説明は省略する。
【０１０８】
まず、図２１から説明する。図２１は、図１に記載のアプリケーション１０４と、操作解釈部１０３がなくなり、スピーカ３１０４と、タッチパネル３１０３と、キーボード３１１２とが加えられたものである。
【０１０９】
画像処理装置１０１は、ユーザＩ／Ｆ制御部１０２を介してキーボード３１１２やタッチパネル３１０３などの外部入力デバイスからの紙操作命令(文書印刷指示やコンテンツ処理指示)を受けとり、紙処理部１０６へ渡す。また、紙処理部１０６やコンテンツ処理部１０７から受けた出力要求をタッチパネル３１０３やスピーカ３１０４などの外部出力デバイスへ送るものである。
【０１１０】
図２２は実施例３における２つ目の構成例を示す図である。図２２も同様に、図２に記載のアプリケーション１０４と、操作解釈部１０３がなくなり、スピーカ３１０４と、タッチパネル３１０３と、キーボード３１１２と、コンピュータ装置２０７が加えられたものである。
【０１１１】
コンピュータ装置２０７は、画像処理装置２０１とネットワーク２０３を介してＦＴＰ(File Transfer Protocol)やリモートファイル格納、メール送受信が可能であり、そのようなコンピュータ装置が1つ以上存在しているものとする。
【０１１２】
以下、実施例３における紙処理部１０６、コンテンツ処理部１０７、ＩＤ管理部１１０、印刷処理部１０９の制御手順や管理形態について図を用いて詳細に説明する。まず、実施例３で読み込まれる紙文書について、図２３、２４を用いて説明する。図２３は、印刷される元の電子文書６０１を示すものである。図２３には、テキスト部６０２、６０３、６０５と、動画部６０４と、音声部６０５とをコンテンツとして有する電子文書６０１が示されている。
【０１１３】
この電子文書６０１を印刷処理部１０９の処理によって印刷された紙文書が図２４である。この紙文書には、タイミングマーク９０２、９０３、９０４、９０５があり、その位置は規定されているので、スキャナ装置１１３、２０４などで読み取られた画像が歪んだとしても補正が可能である。また、紙処理部１０６がＩＤ管理部１１０から取得したＩＤを張り付けたコード９０６がある。
【０１１４】
この紙文書９０１に対して筆記を行った紙文書を示すのが、図２５で示す紙文書５００１である。図２５には、筆記画像５００２、５００３、５００４が示されている。これらの各文書に対して以下に説明する処理が行われる。
【０１１５】
図２６はユーザＩ／Ｆ制御部１０２から入力を受けたときの紙処理部１０６での制御手順を示すフローチャートである。紙処理部１０６では、初めに入力がどの指示かを判断する。まずその受け取った入力が印刷要求かどうかを判断する（Ｓ１００１）。
【０１１６】
印刷要求であれば、ユーザＩ／Ｆ制御部１０２より電子文書のパラメータ情報(電子文書名、ページ番号)を取得する(Ｓ１００２)。取得した電子文書のパラメータ情報をＩＤ管理部１１０に登録依頼をしてＩＤを取得する(Ｓ１００３)。取得したＩＤと電子文書名とページ番号を印刷処理部１０９へ渡して(Ｓ１００４)、処理を終了する。なお、ＩＤを管理しているＩＤテーブルは図５に示されているものである。
【０１１７】
Ｓ１００１で受け取った入力が印刷要求でない場合、その入力がコンテンツ処理要求かどうかを調べる(Ｓ１００５)。コンテンツ要求でなければ終了し、コンテンツ要求であればユーザＩ／Ｆ制御部１０２に処理パラメータ情報の入力を要求し、処理パラメータ情報として転送方法、転送先を取得する(Ｓ１００６)。この入力はユーザによりタッチパネルで行われるが、そのタッチパネルに表示される入力画面は後に説明する。
【０１１８】
次にスキャナＩ／Ｆ制御部１０５（もしくはネットワークＩ／Ｆ制御部２０２）に紙文書のスキャン操作を指示し、スキャンされた画像を受け取る(Ｓ１００７)。次に、スキュー補正をおこなう(Ｓ１００８)。そしてコード９０６（図２５参照）を探し、デコードを行い、ＩＤを取得する(Ｓ１００９)。そのＩＤをＩＤ管理部１１０に渡し、その紙文書の原稿である電子文書の情報(ディスク装置１１５に格納されているパス名、ページ番号)を受け取る(Ｓ１０１０)。そして画像と電子文書情報をコンテンツ処理部１０７に渡して(Ｓ１０１１)、処理を終了する。
【０１１９】
次に、上述した入力画面について、図２７を用いて説明する。図２７は、タッチパネルに表示される入力画面例を示している。この入力画面には、「転送方法」と「転送先」とが入力される。ここでは転送方法として、「コンテンツ確認」と、「ＦＴＰ」と、「ネットワークフォルダ」と、「Ｅ−Ｍａｉｌ」とを指定することができる。指定方法は、その前にあるチェックボックスで指定するものとなっている。
【０１２０】
「コンテンツ確認」の場合は、この画像処理装置１０１または２０１上でそのコンテンツに関連付けられた処理を実行することでコンテンツを表現する。具体的に、コンテンツを表現するとは、コンテンツが音楽データを意味するものであれば音楽をスピーカに出力したり、コンテンツがテキストを意味するものであればエディッタなどを用いて内容を表示することがコンテンツ表現の例である。すなわち、コンテンツに関連付けられた処理が実行されることである。
【０１２１】
「ＦＴＰ」の場合は転送先に指定したＦＴＰサーバへコンテンツをファイル送信する。「ネットワークフォルダ」の場合は転送先に指定したホストのネットワークフォルダにコンテンツをファイルとして保存する。「Ｅ−Ｍａｉｌ」の場合は「転送先」に指定されたアドレスにコンテンツを添付したメールを送信する。
【０１２２】
次に、印刷処理部１０９において紙処理部１０６から印刷要求をうけたとき(Ｓ１００４)の制御手順を、図２８のフローチャートを用いて説明する。印刷処理部１０９では紙処理部１０６からＩＤと電子文書名、印刷ページを取得する(Ｓ１１０１)。ディスクＩ／Ｆ制御部１１１（もしくはネットワークＩ／Ｆ制御部２０２）を介してディスク装置１１５から渡された電子文書ファイルを取出す(Ｓ１１０２)。
【０１２３】
そしてＩＤをバーコードなどにコード化し(Ｓ１１０３)、またスキャンした画像のスキューを補正するためのタイミングマークとともに電子文書の印刷するページに重畳して印刷画像を作成する(Ｓ１１０４)。このとき、印刷不可能なマルチメディアデータなどのデータはその位置を示す矩形などの枠で示し、そこにはそのデータ型を表記するように印刷画像を作成するとユーザには分かりやすい。
【０１２４】
プリンタＩ／Ｆ制御部１０８またはネットワークＩ／Ｆ制御部２０２を介してプリント装置１１４もしくは２０５に印刷要求をする(Ｓ１１０５)ことで印刷が完了する。
【０１２５】
このようにして、上述した図２４の紙文書は印刷される。他の紙文書の例を図２９に示す。紙文書５２００には、コンテンツ領域５２０１、５２０２、５２０３、５２０４、５２０５が示されている。それぞれのコンテンツ領域は、Ｍｏｖｉｅ、Ｖｏｉｃｅ、ＤａｔａＳｈｅｅｔ、Ｔｅｘｔと記されている。
【０１２６】
この紙文書５２００に対応する電子文書に示される動画、音声、データベース、テキストデータのコンテンツは、それぞれ張り付けられた位置にＭｏｖｉｅ（１２０１，１２０４，１２０５）,Ｖｏｉｃｅ（１２０２）,ＤａｔａＳｈｅｅｔ（１２０３）,Ｔｅｘｔ（１２０５）の処理が関連付けられているとともに、それらの文字とともに矩形領域で示されている。
【０１２７】
ユーザは所望のコンテンツ領域に筆記することにより、動画（Ｍｏｖｉｅ）、音声（Ｖｏｉｃｅ）、表計算データ（ＤａｔａＳｈｅｅｔ）、テキストデータ（Ｔｅｘｔ）を閲覧や視聴することができるようになる。
【０１２８】
この紙文書を利用することによりユーザは抽出するコンテンツ種類を判断でき、また記入する位置を把握することが容易となる。また、コンテンツの種類を表示するのに文字ではなくアイコンなどのマークであってもよい。
【０１２９】
次に、図３０を用いて、コンテンツ処理部１０７の処理を説明する。コンテンツ処理部１０７は紙処理部１０６から画像と電子文書を取得するための電子文書情報と処理パラメータとしてコンテンツの処理方法、転送先を受け取る（Ｓ１２０１）。そしてその電子文書情報からディスクＩ／Ｆ制御部１１１（ネットワークＩ／Ｆ制御部２０２）を介してディスク装置１１５から電子文書を取得する（Ｓ１２０２）。
【０１３０】
取得した電子文書を印刷処理部１０９により画像化して紙処理部１０６からの画像との差分をとり、筆記画像を抽出する（Ｓ１２０３）。そして紙全面の筆記画像を領域のまとまりを考慮してクラスタリングを行う（Ｓ１２０４）。
【０１３１】
図３１は、差分をとりクラスタリングされた画像を示す図である。図３１の場合、３つにクラスタリングされている。それらは、筆記領域５１０１、１１０２、１１０３と示されているものである。そして、コンテンツ処理部１０７は、これら矩形の筆記領域の頂点の座標を求めることで筆記位置が求まる。
【０１３２】
次に電子文書をＰＤＦに変換する（Ｓ１２０５）。なお、ここでは、テキストや画像の位置を保持し、そのコンテンツを取出せるようなファイルフォーマットであり、そのフォーマット画像に変換することができればＰＤＦに限定するものではない。
【０１３３】
Ｓ１２０６〜Ｓ１２０９では取得した筆記領域の数（n=３）だけ処理を行うため、処理されていない筆記領域が無くなった場合は終了し、処理する筆記領域がある場合はその筆記領域を処理対象としてＳ１２０７以降に進む（Ｓ１２０６）。
【０１３４】
次に、対象とする筆記領域がコンテンツ領域と共通の領域を有するかどうかを調べる（Ｓ１２０７）。筆記領域と共通の領域を有しているコンテンツ領域がある場合はそのコンテンツのオブジェクトをＰＤＦ化したファイルから抽出する（Ｓ１２０８）。そうでない場合はＳ１２０６へ戻る。
【０１３５】
外部とのネットワーク通信機能をもつ画像処理装置２０１の場合、Ｓ１２０１で取得していた処理パラメータの中から利用方法をとりだし、それがコンテンツ表現であるかを調べる（Ｓ１２０９）。
【０１３６】
コンテンツ表現であれば抽出したコンテンツの種類からその種類に応じた外部デバイスで表現するようにユーザＩ／Ｆ制御部１０２へ出力要求をしてＳ１２０６へ戻る（Ｓ１２１０）。
【０１３７】
外部とのネットワーク通信機能がない画像処理装置１０１の場合はＳ１２０９の処理は存在せずＳ１２１０の処理のみを行うことになる。例として筆記領域５００２の場合、コンテンツ領域５００２と共通の領域を有する。コンテンツ領域５００２は動画を示しているので、コンテンツ処理部１０７はユーザＩ／Ｆ制御部１０２へタッチパネル３１０３で画像再生、動画に音声があれば、スピーカ３１０４で音声再生するよう要求する。
【０１３８】
また、筆記領域１１０２の場合は、コンテンツ領域１００３と共通の領域を有する。コンテンツ領域１００３は音声を示すものであるので、コンテンツ処理部１０７はユーザＩ／Ｆ制御部１０２へスピーカ３１０４で音声再生するよう要求する。また、筆記領域１１０３の場合は、コンテンツ領域５００４と共通の領域を有する。コンテンツ領域５００４は、表計算データを示しているので、表計算アプリケーションが起動し、その画像がタッチパネル３１０３で表示するよう要求する。
【０１３９】
一方、Ｓ１２０９において利用方法がコンテンツ表現でない場合は、ＦＴＰまたはネットワークファイル、Ｅ−Ｍａｉｌのいずれか指定された方法と転送先へそれぞれのプロトコル処理をおこない、コンテンツを送信してＳ１２０６へ戻る（Ｓ１２１１）。あるいは、すべてのクラスタを対象にＳ１２０７〜Ｓ１２８の処理をおこない、そのとき抽出したコンテンツを保持しておき、最後にコンテンツをすべてまとめてＳ１２０９,Ｓ１２１０,Ｓ１２１１の処理を行ってもよい。
【０１４０】
以上説明した実施例３の画像処理装置１０１、２０１は、パーソナルコンピュータ等のコンピュータにより構成することができ、その場合、紙処理部１０６、コンテンツ処理部１０７、ＩＤ管理部１１０はそれぞれの機能をコンピュータに実現させるプログラムとして構成される。
【０１４１】
本実施例３によれば、電子文書のコンテンツと関連づけたＩＤを含めて印刷された紙文書に、ユーザが筆記をしたものに対してその画像を読み取り、筆記画像を抽出して、そのまとまりを判断し、その位置から対応する電子文書上のデータを抽出したのち、表現することが可能であるので、ユーザは紙文書に筆記してスキャンするだけでその電子原稿が持つマルチメディアやオリジナルデータをその場で容易に確認することが可能となる。
【０１４２】
また、本実施例３によれば、筆記画像の位置に対応する電子文書上のデータを抽出したのち、所望の宛先へ抽出したコンテンツデータを転送することが可能であるので、ユーザは紙文書に筆記してスキャンするだけでその電子原稿が持つマルチメディアやオリジナルデータを後で利用する環境に容易に保存しておくことが可能となる。
【０１４３】
さらに、本実施例３によれば、電子文書のコンテンツと関連づけたＩＤを含めて印刷する際に、電子文書内のコンテンツが存在する領域に枠をつけた上で印刷することで、ユーザは抽出したいコンテンツを筆記する場所を確認することが容易になる。
【０１４４】
また、本実施例３によれば、電子文書のコンテンツと関連づけたＩＤを含めて印刷する際に、電子文書内のコンテンツが存在する際にはそのコンテンツのデータ種類を印刷することで、ユーザが実際に必要な型のコンテンツを選択することが可能となる。
【図面の簡単な説明】
【０１４５】
【図１】実施例１における画像処理装置の構成例である（その１）。
【図２】実施例１における画像処理装置の構成例である（その２）。
【図３】ユーザＩ／Ｆ制御部から入力を受けたときの操作解釈部での処理を示すフローチャートである。
【図４】紙処理部の処理を示すフローチャートである。
【図５】ＩＤテーブルが格納している情報の一例を示す図である。
【図６】印刷処理部が印刷要求を受けたときの処理を示すフローチャートである。
【図７】紙文書の例を示す図である。
【図８】紙処理部がスキャン画像を渡されたときの処理を示すフローチャートである。
【図９】筆記された紙文書の画像を示す図である。
【図１０】コンテンツ処理部の処理を示すフローチャートである。
【図１１】画像領域の場合の共通の領域を示す図である。
【図１２】筆記領域が複数の文字と共通の領域を有している例を示す図である。
【図１３】筆記領域が複数の文字と共通の領域を有していない例を示す図である（その１）。
【図１４】筆記領域が複数の文字と共通の領域を有していない例を示す図である（その２）。
【図１５】紙文書の例を示す図である。
【図１６】コンテンツ処理部の処理を示すシーケンス図である。
【図１７】筆記画像を示す図である。
【図１８】筆記領域の種類を解釈する処理を示すフローチャートである（その１）。
【図１９】筆記領域の種類を解釈する処理を示すフローチャートである（その２）。
【図２０】筆記領域の種類を解釈する処理を示すフローチャートである（その３）。
【図２１】実施例３における画像処理装置の構成例である（その１）。
【図２２】実施例３における画像処理装置の構成例である（その２）。
【図２３】電子文書を示す図である。
【図２４】紙文書を示す図である。
【図２５】筆記された紙文書を示す図である。
【図２６】紙処理部での処理を示すフローチャートである。
【図２７】タッチパネルに表示される入力画面例を示す図である。
【図２８】印刷処理部での処理を示すフローチャートである。
【図２９】紙文書を示す図である。
【図３０】コンテンツ処理部の処理を示すフローチャートである。
【図３１】差分をとりクラスタリングされた画像を示す図である。
【符号の説明】
【０１４６】
１０１、２０１ 画像処理部
１０２ ユーザＩ／Ｆ制御部
１０３ 操作解釈部
１０４ アプリケーション部
１０５ スキャナＩ／Ｆ制御部
１０６ 紙処理部
１０７ コンテンツ処理部
１０８ プリンタＩ／Ｆ制御部
１０９ 印刷処理部
１１０ ＩＤ管理部
１１１ ディスクＩ／Ｆ制御部
１１２ 入出力装置
１１３ 紙入力装置
１１４ 紙出力装置
１１５ ディスク装置
２０３ 外部ネットワーク
２０４ ネットワークスキャナ装置
２０５ ネットワークプリンタ装置
２０６ コンピュータ装置
８０１ ＩＤテーブル
８０２、８０３、８０４ 列
８０５ 行
９０１、５２００ 紙文書
９０２、９０３、９０４、９０５ タイミングマーク
９０６ コード
９０７ コンテンツ部
１００１、１００２、１００３、１００４、１００５、１００６、１１０１、１２０１、１３０１、５２０１、５２０２、５２０３、５２０４、５２０５、５２０６ コンテンツ領域
１００７、１００８、１００９、１０１０、２００２、２００４、２００５、５００２、５００３、５００４、７００４、７００７、７００８、７００９、７０１０ 筆記画像
１１０２、１１０３、１３０２、１４０１、２００１、２００３、５１０１ 筆記領域
【特許請求の範囲】
【請求項１】
コンテンツが描かれたコンテンツ領域を有するとともに、ユーザにより筆記された紙文書を読み込む紙文書読み込み手段と、
読み込まれた前記紙文書に筆記された筆記画像を含む領域である筆記領域と相当の位置関係にある前記コンテンツ領域のコンテンツまたは前記筆記画像を抽出する抽出手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記筆記領域は矩形であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記相当の位置関係は、前記筆記領域と前記コンテンツ領域とが共通の領域を有する関係であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記相当の位置関係は、前記コンテンツ領域が前記筆記領域の近傍に位置する関係であることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記近傍は、前記矩形の長辺の近傍であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記抽出手段は、前記コンテンツが１つ以上の文字からなるテキストである場合、前記テキストに含まれる文字のうち、前記筆記領域と相当の位置関係にある文字のみを前記コンテンツとして抽出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記抽出手段は、前記筆記領域に含まれる筆記画像が水平線分ではない場合、前記コンテンツを抽出せずに前記筆記画像を抽出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
矩形である前記筆記領域の辺の縦横比率に基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記紙文書に横書きで記載された文字の行の高さと、矩形である前記筆記領域の辺のうち、文字が記載されている方向とは垂直である辺の長さに基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記筆記画像が文字の場合、前記筆記画像が水平線分ではないと判断することを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記抽出手段が抽出したコンテンツに関連付けられた処理が実行されることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記コンテンツに関連付けられた処理は、動画表示処理、音声送出処理、表計算データ表示処理、テキストデータ表示処理のいずれか１つ以上であることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記コンテンツに関連付けられた処理は、前記コンテンツに関連付けられたファイルを所定の宛先へ送信する処理であることを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記紙文書と対応する電子文書から、前記コンテンツを取得するコンテンツ取得手段を有することを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記紙文書を、該紙文書と対応する電子文書を特定するための特定情報とともに印刷する印刷処理手段を有することを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
【請求項１６】
コンテンツが描かれたコンテンツ領域を有するとともに、ユーザにより筆記された紙文書を読み込む紙文書読み込み段階と、
読み込まれた前記紙文書に筆記された領域である筆記領域と相当の位置関係にある前記コンテンツ領域のコンテンツを抽出する抽出段階と
を有することを特徴とする画像処理方法。
【請求項１７】
前記筆記領域は矩形であることを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記相当の位置関係は、前記筆記領域と前記コンテンツ領域とが共通の領域を有する関係であることを特徴とする請求項１６または１７に記載の画像処理方法。
【請求項１９】
前記相当の位置関係は、前記コンテンツ領域が前記筆記領域の近傍に位置する関係であることを特徴とする請求項１７に記載の画像処理方法。
【請求項２０】
前記近傍は、前記矩形の長辺の近傍であることを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
前記抽出段階は、前記コンテンツが１つ以上の文字からなるテキストである場合、前記テキストに含まれる文字のうち、前記筆記領域と相当の位置関係にある文字のみを前記コンテンツとして抽出することを特徴とする請求項１６から２０のいずれか１項に記載の画像処理方法。
【請求項２２】
前記抽出段階は、前記筆記領域に含まれる筆記画像が水平線分ではない場合、前記コンテンツを抽出せずに前記筆記画像を抽出することを特徴とする請求項２１に記載の画像処理方法。
【請求項２３】
矩形である前記筆記領域の辺の縦横比率に基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする請求項２２に記載の画像処理方法。
【請求項２４】
前記紙文書に横書きで記載された文字の行の高さと、矩形である前記筆記領域の辺のうち、文字が記載されている方向とは垂直である辺の長さに基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする請求項２２に記載の画像処理方法。
【請求項２５】
前記筆記画像が文字の場合、前記筆記画像が水平線分ではないと判断することを特徴とする請求項２２に記載の画像処理方法。
【請求項２６】
前記抽出段階が抽出したコンテンツに関連付けられた処理が実行されることを特徴とする請求項１６から２５のいずれか１項に記載の画像処理方法。
【請求項２７】
前記コンテンツに関連付けられた処理は、動画表示処理、音声送出処理、表計算データ表示処理、テキストデータ表示処理のいずれか１つ以上であることを特徴とする請求項２６に記載の画像処理方法。
【請求項２８】
前記コンテンツに関連付けられた処理は、前記コンテンツに関連付けられたファイルを所定の宛先へ送信する処理であることを特徴とする請求項２６に記載の画像処理方法。
【請求項２９】
前記紙文書と対応する電子文書から、前記コンテンツを取得するコンテンツ取得段階を有することを特徴とする請求項１６から２８のいずれか１項に記載の画像処理方法。
【請求項３０】
前記紙文書を、該紙文書と対応する電子文書を特定するための特定情報とともに印刷する印刷処理段階を有することを特徴とする請求項１６から２９のいずれか１項に記載の画像処理方法。
【請求項３１】
請求項１６から３０のいずれか１項に記載の画像処理方法をコンピュータに実行されるための画像処理プログラム。
【請求項１】
コンテンツが描かれたコンテンツ領域を有するとともに、ユーザにより筆記された紙文書を読み込む紙文書読み込み手段と、
読み込まれた前記紙文書に筆記された筆記画像を含む領域である筆記領域と相当の位置関係にある前記コンテンツ領域のコンテンツまたは前記筆記画像を抽出する抽出手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記筆記領域は矩形であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記相当の位置関係は、前記筆記領域と前記コンテンツ領域とが共通の領域を有する関係であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記相当の位置関係は、前記コンテンツ領域が前記筆記領域の近傍に位置する関係であることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記近傍は、前記矩形の長辺の近傍であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記抽出手段は、前記コンテンツが１つ以上の文字からなるテキストである場合、前記テキストに含まれる文字のうち、前記筆記領域と相当の位置関係にある文字のみを前記コンテンツとして抽出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記抽出手段は、前記筆記領域に含まれる筆記画像が水平線分ではない場合、前記コンテンツを抽出せずに前記筆記画像を抽出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
矩形である前記筆記領域の辺の縦横比率に基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記紙文書に横書きで記載された文字の行の高さと、矩形である前記筆記領域の辺のうち、文字が記載されている方向とは垂直である辺の長さに基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記筆記画像が文字の場合、前記筆記画像が水平線分ではないと判断することを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記抽出手段が抽出したコンテンツに関連付けられた処理が実行されることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記コンテンツに関連付けられた処理は、動画表示処理、音声送出処理、表計算データ表示処理、テキストデータ表示処理のいずれか１つ以上であることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記コンテンツに関連付けられた処理は、前記コンテンツに関連付けられたファイルを所定の宛先へ送信する処理であることを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記紙文書と対応する電子文書から、前記コンテンツを取得するコンテンツ取得手段を有することを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記紙文書を、該紙文書と対応する電子文書を特定するための特定情報とともに印刷する印刷処理手段を有することを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
【請求項１６】
コンテンツが描かれたコンテンツ領域を有するとともに、ユーザにより筆記された紙文書を読み込む紙文書読み込み段階と、
読み込まれた前記紙文書に筆記された領域である筆記領域と相当の位置関係にある前記コンテンツ領域のコンテンツを抽出する抽出段階と
を有することを特徴とする画像処理方法。
【請求項１７】
前記筆記領域は矩形であることを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記相当の位置関係は、前記筆記領域と前記コンテンツ領域とが共通の領域を有する関係であることを特徴とする請求項１６または１７に記載の画像処理方法。
【請求項１９】
前記相当の位置関係は、前記コンテンツ領域が前記筆記領域の近傍に位置する関係であることを特徴とする請求項１７に記載の画像処理方法。
【請求項２０】
前記近傍は、前記矩形の長辺の近傍であることを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
前記抽出段階は、前記コンテンツが１つ以上の文字からなるテキストである場合、前記テキストに含まれる文字のうち、前記筆記領域と相当の位置関係にある文字のみを前記コンテンツとして抽出することを特徴とする請求項１６から２０のいずれか１項に記載の画像処理方法。
【請求項２２】
前記抽出段階は、前記筆記領域に含まれる筆記画像が水平線分ではない場合、前記コンテンツを抽出せずに前記筆記画像を抽出することを特徴とする請求項２１に記載の画像処理方法。
【請求項２３】
矩形である前記筆記領域の辺の縦横比率に基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする請求項２２に記載の画像処理方法。
【請求項２４】
前記紙文書に横書きで記載された文字の行の高さと、矩形である前記筆記領域の辺のうち、文字が記載されている方向とは垂直である辺の長さに基づき、前記筆記画像が水平線分であるかどうか判断することを特徴とする請求項２２に記載の画像処理方法。
【請求項２５】
前記筆記画像が文字の場合、前記筆記画像が水平線分ではないと判断することを特徴とする請求項２２に記載の画像処理方法。
【請求項２６】
前記抽出段階が抽出したコンテンツに関連付けられた処理が実行されることを特徴とする請求項１６から２５のいずれか１項に記載の画像処理方法。
【請求項２７】
前記コンテンツに関連付けられた処理は、動画表示処理、音声送出処理、表計算データ表示処理、テキストデータ表示処理のいずれか１つ以上であることを特徴とする請求項２６に記載の画像処理方法。
【請求項２８】
前記コンテンツに関連付けられた処理は、前記コンテンツに関連付けられたファイルを所定の宛先へ送信する処理であることを特徴とする請求項２６に記載の画像処理方法。
【請求項２９】
前記紙文書と対応する電子文書から、前記コンテンツを取得するコンテンツ取得段階を有することを特徴とする請求項１６から２８のいずれか１項に記載の画像処理方法。
【請求項３０】
前記紙文書を、該紙文書と対応する電子文書を特定するための特定情報とともに印刷する印刷処理段階を有することを特徴とする請求項１６から２９のいずれか１項に記載の画像処理方法。
【請求項３１】
請求項１６から３０のいずれか１項に記載の画像処理方法をコンピュータに実行されるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２００６−２９３９７０（Ｐ２００６−２９３９７０Ａ）
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願番号】特願２００５−２３２３５８（Ｐ２００５−２３２３５８）
【出願日】平成１７年８月１０日（２００５．８．１０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願日】平成１７年８月１０日（２００５．８．１０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]