文書情報検索システム
【課題】携帯端末装置で取得した文書の一部を含む画像から文書に関連付けられた情報を得る。
【解決手段】文書登録装置１０は、入力した文書データを解析装置４２で文書の構成要素（ページ、見出し、文、行、単語など）に分解し、構成要素に関連した関連情報を登録する。携帯端末装置３００は、文書選択装置で選択した文書を撮影装置２３で撮影する。文字認識装置２４は、撮影した画像から注目単語とその周辺の複数の単語を認識する。サーバ装置３２０は、記憶装置４４のデータを記憶装置３２にコピーし、位置検索装置３４は、携帯端末装置３００が出力する注目単語と注目単語の周辺の単語から文書中の位置を特定し、情報検索装置３１は、注目単語に対応する関連情報の検索を行い、得られた情報を表示装置２２に表示する。
【解決手段】文書登録装置１０は、入力した文書データを解析装置４２で文書の構成要素（ページ、見出し、文、行、単語など）に分解し、構成要素に関連した関連情報を登録する。携帯端末装置３００は、文書選択装置で選択した文書を撮影装置２３で撮影する。文字認識装置２４は、撮影した画像から注目単語とその周辺の複数の単語を認識する。サーバ装置３２０は、記憶装置４４のデータを記憶装置３２にコピーし、位置検索装置３４は、携帯端末装置３００が出力する注目単語と注目単語の周辺の単語から文書中の位置を特定し、情報検索装置３１は、注目単語に対応する関連情報の検索を行い、得られた情報を表示装置２２に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書中の文字列に擬似的に埋め込んだ関連情報を検索するシステムに係り、あらかじめ文書中の文字列と関連情報を対応した検索用ＤＢを作成し、出版されている文書中の一部を携帯電話などに内蔵されているカメラで撮影した文書中の一部を撮影した画像から文字認識により文字列を認識し、前記複数の文字列から前記検索用ＤＢに登録された関連情報を検索するものである。
【背景技術】
【０００２】
従来、印刷された写真や文書に情報を埋め込む方法として電子透かしが知られていた。例えば、文書などの二値化された画像に電子透かしを埋め込む一例として特開２００４−２８９７８３号公報（特許文献１）がある。
従来、カメラを搭載した携帯電話等の携帯端末で撮影した画像に含まれる文字列の文字を認識して、その認識結果である文字テキストを翻訳する技術が種々提案されている。例えば、特開平０９−１３８８０２号公報（特許文献２）には、携帯端末内部に文字認識機能と翻訳機能を持ち、これらの機能を利用して、カメラで撮影した画像内の文字列を認識、翻訳処理する翻訳システムが開示されている。
【０００３】
また、同出願人の先の出願、特願２００４−２２７６１０号および特願２００４−２３２８９１号に、携帯端末で撮影した画像中の複数の単語の並びや位置関係から、文書中の撮影位置を特定し、撮影した単語に関連した翻訳結果や文書中の位置に対して設定したリンク先ＵＲＬをブラウザに表示する文書翻訳システムに関する発明がある。
【０００４】
【特許文献１】特開２００４−２８９７８３号公報
【０００５】
【特許文献２】特開平０９−１３８８０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１では、あらかじめ情報を埋め込んだ文書を印刷して配布する必要があった。そのため印刷済みの書籍に電子透かしを適用することができなかった。
また、特許文献２では、文書中の特定の場所を撮影し、文字認識により撮影した画像中の文字イメージを単語または文を含む文字列に変換して出力することにより、出力された単語または文を翻訳する翻訳システムが開示されている。認識範囲を文とした場合、撮影する範囲が広くなりカメラの解像度を高くするか、複数撮影した画像から文字列を認識し、細分化された文字列を再構築して文を再生する必要があった。また単語を翻訳する場合、文書中の単語の位置で訳が異なる場合があった。
【０００７】
また、文字認識は、誤読の可能性があることから認識率を向上させる必要がある。図３２は文字認識処理の流れの例であり、画像二値化部５１は、文字を含む画像から背景と文字を分けた二値画像を作成する。文字行切り出し部５２は、二値画像から１行分の文字列領域を判別する。文字切り出し部５３は、１行分の文字列領域から１文字の文字領域を判別する。特徴抽出部５４は、１文字の文字領域から文字の特徴を算出する。識別処理部５５は、文字の特徴からあらかじめ文字毎に登録した文字の特徴と比較し、特徴が似通った順に文字の候補を出力する。単語照合部５６は、連続した1文字の文字領域毎の文字の候補から単語照合辞書登録されている単語に最も近い単語を出力する。画像二値化部５１では、印刷された文書は、カラー印刷や網点印刷など条件が広く、一種類の二値化方法では、正しく二値化できない場合がある。また、文字行切り出し部５２や文字切り出し部５３では、文字を認識する前に画像中から文字行および文字領域を予測する必要があるが、罫線、行間、文字間隔など文書により多種多様であり、判別を誤ることがある。また、識別処理部５５では、類似文字(例えば日、白、目など非常に似通った文字)があり、画像のノイズやかすれなどによる悪影響により、文字候補が正しく出力されない場合がある。また、単語照合部５６では、正読率の向上に全ての単語を単語照合辞書に登録する必要があるが、出版されている全ての文書の単語を登録には大きなメモリが必要であり、メモリ制限がある携帯電話などの携帯端末では全ての単語を単語照合辞書に登録できない。
【０００８】
本発明の目的は、カメラを内蔵した携帯可能な情報端末で文書の一部をカメラで撮影した画像に含まれている文字列が文書中のどの場所に存在するかを特定し、その場所に関連付けられる情報を取得する文書情報検索システムを提供することにある。
【０００９】
また、本発明の別の目的は、文字の場所を特定するためのデータの作成を自動化し、また文書に関連付けられる情報のデータの作成を簡素に行う、文書情報検索システムを提供することにある。
また、本発明の別の目的は、文書毎に文書の構造を定義した文書ファイルから文書の特徴を抽出することにより文字認識のパラメータを作成し、検索対象の文書に合わせて文字認識のパラメータを設定することにより、文字認識率を向上させることが可能な文書情報検索システムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明は、画像撮影部と、利用者に操作されて情報を入力する入力部と、表示部を有する携帯情報端末を用いて、画像撮影部で撮影された画像に含まれる文字に関連付けられた情報を得て、その情報を表示部に表示する文書情報検索システムにおいて、
文書の構成要素に関連する情報を対応付けた関連情報を作成する文書情報登録部と、文字列の位置情報を作成する座標登録部と前記関連情報と前記位置情報を保持する記憶装置とを備えるものである。また、文書選択部を設けることにより、文書毎に記憶装置に登録された関連情報と、位置情報を選択して検索部により情報を検索できるように文書を示す情報をも保持する。
【００１１】
また、本発明において、サーバ装置は、前記記憶装置、及び前記検索部を備え、携帯情報端末は、前記文字認識部より得られた文字列を、ネットワークを介して前記サーバに送信し、前記サーバにおいて前記検索部により関連情報を検索した結果得られた情報を、前記ネットワークを介して前記携帯情報端末に送信する。また、前記文字認識部は、サーバ装置に備えることもできる。
【００１２】
また、本発明の文書情報登録部は、文書の構造を定義した文書ファイルを入力し、前記文書ファイルの前記文書の構造、すなわち文字、文字種、文字座標、文字サイズなどを解析して文書の構成要素(章、段、文、行、見出しなど)に分解し、前記構成要素単位に関連する情報を対応付けた関連情報を作成する。例えば、図５に示す文書ファイル１５は、ＰＤＦの文書構造を持つ。 ＰＤＦファイルでは、ページオブジェクト、テキストオブジェクトなど、文書を階層化した複数のオブジェクトを持つ。テキストオブジェクトには、書体、字体、文字幅の指定、ページ上の開始位置、文字コード、文字ごとの間隔が記述されている。これらの情報を利用することにより容易に文字列の位置を推定することが可能である。
【００１３】
さらに好ましくは、文書の構成要素を階層化し、上位階層から関連情報を設定し、検索時には下位階層から関連情報を検索する。さらに好ましくは、前記文書の構成要素を形態素に分解し、前記形態素単位に関連する情報を対応付けた関連情報を作成する。また、さらに好ましくは、前記形態素は、形態素の区切りを登録者が編集する編集部を有する。
【発明の効果】
【００１４】
本発明によって、文書の文字列および文字位置から行、文、単語などといった関連情報を設定する単位を作成するため、登録者が文書から行や文、単語などを登録する作業が不要または簡易となる。
【発明を実施するための最良の形態】
【００１５】
本発明の実施形態の文書情報登録システムは、文書登録装置、サーバ装置、携帯端末装置により構成する。検索する文書に設定する関連情報は、行と単語単位にＵＲＬ（Uniform Resource Locator）を設定し、ＵＲＬを使ってブラウザ上に情報を表示する。また入力を行う文書の構造を数値化して定義した文書ファイルとしてＰＤＦ（Portable Document Format）ファイルを例として説明を行う。
【実施例１】
【００１６】
本発明の実施形態を、図１を用いて説明する。図１は、本実施形態の全体構成図の例である。関連情報を登録する文書は、あらかじめ文書登録者が文書登録装置１０を操作し、文書入力装置４１にて文書データを入力する。解析装置４２は、入力された文書ファイルを行や単語などの文書を構成する構成要素に分解し、分解した構成要素を表示装置４０に表示する。文書登録者は、構成要素に関連した情報を入力装置４５から入力する。構成要素と構成要素に対応した関連情報を含む検索用ＤＢは、登録装置４３にて記憶装置４４に記憶する。また、検索用ＤＢは、文書登録装置１０の通信装置４６からサーバ装置３２０の通信装置３３にネットワーク３６を経由して送信され、サーバ装置３２０の記憶装置３２に格納される。
【００１７】
携帯端末装置３００は、関連情報を登録した文書の一覧を表示装置２２に表示する。携帯端末装置３００の利用者は、関連情報を検索する撮影対象の文書を、入力装置２０の操作で文書選択装置２１により選択し、印刷された文書の一部を撮影装置２３により撮影する。文字認識装置２４は、撮影した画像から注目する単語とその周辺の複数の単語を認識する。携帯端末装置３００は、携帯電話、ＰＤＡなどの、撮像装置を有する情報端末である。
【００１８】
サーバ装置３２０において、位置検索装置３４は、記憶装置３２に記憶した検索用ＤＢから、携帯端末装置３００で撮影した注目単語の文書中の位置を特定し、情報検索装置３１は、注目単語に対応する関連情報を検索用ＤＢから検索する。携帯端末装置３００の表示装置２２は、情報検索装置３１で得られた関連情報を表示する。携帯端末装置３００とサーバ装置３２０間のデータ通信は、通信装置２５と通信装置３０間でネットワーク２６を経由して接続し、携帯端末装置３００で認識した注目単語と、サーバ装置３２０で検索した関連情報の転送を行う。
【００１９】
次に本発明の実施形態における図１の文書登録装置１０の詳細を、図２を用いて詳細に説明する。以下、図２の各部の動作を、図３のフローチャート図および必要に応じて図５、図８乃至図１２の符号を用いて説明する。図２は、本実施形態の文書登録装置の動作を示すブロック図の例である。図３は、本実施形態の文書登録装置の動作を示すフローチャート図である。
【００２０】
図１と図２の各ブロックの対応を説明する。文書入力装置４１は，文書登録部１０１と文書入力部１００に対応する。解析装置４２は，属性抽出部１０２，文書座標抽出部１０６，文書抽出部１０３，形態素解析部１０４，単語編集部１０５，単語リスト作成部１０７，照合辞書作成部１０９に対応する。登録装置４３は，リンク先登録部１１１に対応する。記憶装置４３は，文書情報１２０，文書属性情報１２１，単語照合辞書１２２，単語情報１２３，文字情報１２６，行リンク情報１２４，単語リンク情報１２５に対応する。
【００２１】
文書登録部１０１において、登録者は、文書登録部１０１から文書のタイトル２０１などを入力する（１３０）。登録者は、文書入力部１００により文書ファイル１５を入力する（１３１）。属性抽出部１０２は、文書ファイル１５の文書構造を解析し、文書のページ数２０２、文字の背景、文字方向、使われている文字種を抽出し（１３２）、ページ数２０２と、文書登録部１０１により入力したタイトル２０１と、自動的に生成する文書番号２００を文書情報１２０に登録する（１３３）。また、抽出した文字の背景、文字方向、使われている文字種から二値化モード７０、文字方向７１、文字コード７２を作成し、文書属性情報１２１に登録する（１５０）。
【００２２】
文字座標抽出部１０６は、ページ中の文字の位置座標を抽出（１６０）し、文字毎にページ番号２１０、行番号２１１、列番号２３３などの位置情報を出力する。文字抽出部１０３は、文書ファイル１５から文字を抽出し（１３５）、文字座標抽出部１０６が設定した文字単位のページ番号２１０、行番号２１１から同一行の文字列を再構成し、文字情報１２６に登録する（１３９）。
【００２３】
形態素解析部１０４は、文字情報１２６から、行単位に文字列を形態素解析して行を構成する複数の品詞に分解する（１３６）。接続詞など不用な品詞を除去し固有名詞など単語として利用可能な品詞を選択して出力する（１３７）。単語編集部１０５は、形態素解析部１０４が出力する品詞を構成する文字列に対し、登録者が必要に応じて行う、連続する複数の品詞を構成する文字列の結合、または品詞を構成する文字列の分割などの編集を受け付け、単語２３０を作成する（１３８）。単語リスト作成部１０７は、単語編集部１０５が出力する単語２３０と、単語２３０の先頭文字の文字座標抽出部１０６が出力するページ番号２１０、行番号２１１、列番号２３３を用いて、単語情報１２３に登録する（１４０）。
【００２４】
照合辞書作成部１０９は、単語情報１２３に登録されている全ての単語２３０から、単語照合辞書１２２を作成する（１７１）。リンク先登録部１１１は、文字情報１２６の各文字データ２１２−１〜ｂ、および単語情報１２３に登録してある単語データ２３４−１〜ｃに対応するリンク先ＵＲＬの情報について登録者からの入力を受け付け、行リンク情報１２４および単語リンク情報１２５を作成する（１４３）。
【００２５】
以下、文書登録装置１０が作成する、文書情報１２０、文字情報１２６、単語情報１２３、行リンク情報１２４、単語リンク情報１２５、を図８乃至図１２を用いて説明する。
文書情報１２０を、図８を用いて説明する。図８において、文書情報１２０は、文書データ２０３−１〜ａから構成され、文書データ２０３−１〜ａは、文書毎の文書番号２００とタイトル２０１、ページ数２０２から構成する。文書番号２００は、登録された文書毎に自動的に設定する番号であり、タイトル２０１は、文書の表題であり、ページ数２０２は、文書を構成する総ページ数を示す。
【００２６】
次に文字情報１２６を、図９を用いて説明する。図９において、文字情報１２６は、文字データ２１２−１〜ｂから構成され、文字データ２１２−１〜ｂは、文書中の行単位毎に、文字列２１３と、文字列２１３が印刷されている、ページ番号２１０、行番号２１１、から構成される。
【００２７】
次に単語情報１２３を、図１０を用いて説明する。図１０において、単語情報１２３は、単語データ２３４−１〜ｃから構成され、単語データ２３４−１〜ｃは、単語２３０と、単語２３０の印刷された文書中の位置を示すページ番号２１０、行番号２１１、列番号２３３から構成する。単語２３０は、単語リスト作成部１０７で作成する単語である。列番号２３３は、単語２３０が含まれる文書情報１２６中の文字列２１３において、単語２３０の先頭文字を文字列２１３の左の文字から数えた位置である。
【００２８】
次に行リンク情報１２４を、図１１を用いて説明する。図１１において、行リンク情報１２４は、行リンクデータ２２２−１〜ｂから構成され、行リンクデータ２２２−１〜ｂは、文書中の全ての行に対して設定した、ページ番号２１０、行番号２１１、リンク先ＵＲＬ２２３から構成する。
【００２９】
次に単語リンク情報１２５を、図１２を用いて説明する。図１２において単語リンク情報１２５は、単語リンクデータ２３５−１〜ｅから構成され、単語リンクデータ２３５−１〜ｅは、単語２３０と、単語２３０に設定するリンク先ＵＲＬ２２３と、単語２３０の印刷文書中の位置を示す、ページ番号２１０、行番号２１１、列番号２３３から構成する。
【００３０】
以下、ＰＤＦファイルを例とする文書ファイル１５から文字情報１２６を抽出する手順を図５と図２８を用いて、詳細に説明する。図５は，本実施形態の入力する文書ファイルの例，図２８は、本実施形態の文字情報１２６の作成手順を示すフローチャート図である。
【００３１】
図５のPDFファイル例の代表的な各行の意味を，行番号１６を用いて説明する。説明を分かりやすくするため，埋め込まれた文字は英文である。PDFでは，文書のレイアウトを定義するためオブジェクト単位で定義を行っている。行１と行３８は，PDF形式であることを示すヘッダとフッタである。行４〜１１は，ページのオブジェクトを定義する。行１２〜２４は，使用されている書体のオブジェクトを定義する。行１６が定義する文字の開始コード，行１７が定義する文字の終了コードであり，行１８〜１９が開始から終了文字の文字幅を定義する。行２１は，書体である。行２５〜３７は，印刷されるテキストオブジェクトを定義する。行２８は，テキストオブジェクトの開始，行３４は，テキストオブジェクトの終了を示す。行３０は，Tcが文字の間隔，Twが単語の間隔を定義する。行３１は，印刷する文字と必要に応じて配置のオフセットを定義する。行３２は，Tdが次の行へのオフセットを定義する。行３３は，印刷する文字を定義する。
【００３２】
文書ファイル１５から文字情報１２６を抽出するために、まず、テキストブロックからテキストブロックに共通する書体、字体、文字毎の文字幅のパラメータを抽出する（５５０）。最初の文字の始点座標のパラメータを抽出する（５５１）。１文字ごとに文字幅と文字間隔のパラメータより終点座標を計算し、求めた終点座標を次の文字の始点座標とする（５５２）。５５２の処理を行方向の座標が異なる文字の始点座標が見つかるまで繰り返す（５５３）。５５２で処理した文字を同一行の文字列２１３として、文字情報１２６に登録する（５５５）。テキストブロック内が終了するまで５５１から５５５の処理を繰り返す（５５６）。ページオブジェクトが終了するまで５５０から５５６の処理を繰り返す（５５７）。文書を終了するまで、上記ページオブジェクト内の処理を繰り返す（５５８）。
【００３３】
本発明の実施形態では、列番号２３３を行の先頭文字からの文字数としたが、例えば図２８で求まる文字単位の始点座標を用いることも可能である。また、本発明の実施形態では、リンク先ＵＲＬ２２３の設定を行または単語単位設定し、それぞれ行リンク情報１２４、単語リンク情報１２５を作成したが、文単位にリンク先ＵＲＬ２２３を設定することも可能である。
【００３４】
以下、文単位にリンク先ＵＲＬ２２３を設定した文リンク情報５９０の作成手順を文情報５８０と、文情報５８０の作成手順を、図２９、図３０、図３１を用いて説明する。図２９は、本実施形態の文情報５８０の作成手順示すフローチャート図である。
【００３５】
図３０は、本実施形態の文情報５８０の例であり、文情報５８０は、文データ５８２−１〜ｋから構成され、文データ５８２−１〜ｋは、文５８１と、文５８１が含まれるページのページ番号２１０と、文５８１の最初の文字が存在する文字データ２１２中の行番号２１１を始点の行番号２７３とし、文字列２１３の左から数えた文字数からなる列番号２３３を始点の列番号２７４とする。また、文５８１の最後の文字が存在する文字データ２１２中の行番号２１１を終点の行番号２７１とし、文字列２１３の左から数えた文字数からなる列番号２３３を終点の列番号２７２とする。
本実施形態では、列番号２７２、２７４を文字列中の左からの文字数としたが、図２８で算出した文字の始点の座標を利用することも可能である。
【００３６】
図３１は、本実施形態の文リンク情報５９０の例であり、文リンク情報５９０は、文リンクデータ５９１−１〜ｋから構成され、文リンクデータ５９１−１〜ｋは、文データ５８２−１〜ｋに対応して、文情報５８０の文５８１の代わりに、文５８１に関連つけられるリンク先ＵＲＬ２２３を設定する。
【００３７】
文情報５８０の作成では、図２８で作成した文字情報１２６と、書体、字体、文字コード、文字サイズを利用して作成する。文字情報１２６の文字データ２１２−１〜ｂに登録した行毎の文字列２１３について、文書ファイル１５から図２８で抽出した書体、字体と同様に、文字の書体、字体、文字サイズなどを抽出し、次の行の書体、字体、文字サイズなどが異なるか判定する（５７０）。異なる場合は、文字列２１３を見出し行として、文情報５８０の文データ５８２に追加登録する（５７３）。次に、先頭文字が記号“（１）”や見出し番号“１．１“など明らかに前後の行と異なるか判定する（５７１）。異なる場合は、文字列２１３を見出し行として、文情報５８０の文データ５８２に追加登録する（５７３）。次に、見出し行でなければ、順次行の文字列２１３から句点“。”を探索し、句点で区切った文５８１として文情報５８０の文データ５８２に登録する（５７２）。上記の処理を文書中の全ての行を走査するまで繰り返す（５７４）。
【００３８】
次に以下図４を用いて文書登録装置の構成を説明する。図４は、本実施形態の文書登録装置のハードウェア構成図の例である。
図１と図４の各ブロックの対応を説明する。入力装置４５は，キーボード７００，マウス７０１に対応する。表示装置４０は，ディスプレイ７０３に対応する。通信装置３２０は，通信回路７０５に対応する。記憶装置４４は，データメモリ８０１に対応する。文書選択装置２１および文字認識装置２４は，文書登録プログラム８１０に対応する。
【００３９】
キーボード７００は、登録者からテキスト入力などを行う。マウス７０１は、利用者からのディスプレイ画面上のボタン操作などを行う。外部記憶装置７０２は、文書ファイル１５を記憶したフロッピー（登録商標）ディスクやコンパクトディスクなどの記憶メディアから文書ファイル１５を入力したり、データメモリ８０１に記憶されたデータを記憶メディアに出力したりする。ディスプレイ７０３は、登録者に操作画面などを表示する。ＣＰＵ７０４はプログラムメモリ８００中のプログラムを実行する。通信回路７０５は、サーバ装置３２０間でネットワーク３６を経由してデータメモリ８０１に記憶されたデータの転送を行う。プログラムメモリ８００は、図２の各部の動作を実行する文書登録プログラム８１０を格納する。データメモリ８０１は、文書情報１２０、文書属性情報１２１、単語照合辞書１２２、単語情報１２３、行リンク情報１２４、単語リンク情報１２５、文字情報１２６と、文書登録プログラム８１０が使用する作業用の一時データを格納する。
【００４０】
以下、本実施形態のリンク先登録のために文書登録装置３００において、リンク先ＵＲＬ２２３を登録者が操作する手順を、図６を用いて説明する。図６は、本実施形態のディスプレイ７０３に表示する画面の例である。
ＣＰＵ７０４で実行される文書登録プログラム８１０は、登録者が操作する画面をディスプレイ７０３に表示し、キーボード７００およびマウス７０１を操作し入力操作を受け付ける。ボタンは、マウス７０１を利用して選択することができる。入力フィールドは、キーボード７００を操作し文字を入力することができる。
【００４１】
文書登録プログラム８１０を起動すると、最初に文書登録画面６００を表示する。最初に文書を登録する手順を説明する。文書登録画面６００は、現在登録されている文書情報１２０を一覧表示する。登録者は、新規に文書を追加したい場合、追加ボタン６０１を選択することにより文書情報画面６１０を表示させることができる。登録した文書中登録を削除する場合は、削除したい項目の削除ボタン６０３を選択することにより、文書情報１２０より選択した文書情報を削除し、一覧表示から削除する。文書のリンク情報を設定する場合は、設定する文書の項目の設定ボタン６０２を選択することにより、リンク登録画面６２０を表示する。
【００４２】
文書情報画面６１０は、文書番号フィールド６１１に自動的に設定した文書番号２００を表示し、タイトルフィールド６１２にタイトル２０１を入力する。登録者は、開くボタン６１３を選択することにより、文書ファイル１５を入力する。入力した文書ファイル１５のページ数などの文書情報は文書情報表示フィールド６１４に表示される。登録者は、登録内容に問題がないことを確認し、登録ボタン６１５を選択することにより文書の解析が開始され文書登録画面６００を表示する。登録をキャンセルする場合は、キャンセルボタン６１６を選択することで文書情報１２０に登録されず、文書登録画面６００を表示する。
【００４３】
次にリンク情報を設定する手順を説明する。リンク登録画面６２０では、登録者がリンク先フィールド６２１に、文書全体に設定したいリンク先ＵＲＬ２２３を記入し、確定ボタン６２２で確定する。登録者は必要に応じて以下同様に確認ボタン６２３を選択することによりリンク確認画面６６０を表示する。登録者は、確定ボタン６２２を選択することにより、文書番号２２３および入力したリンク先ＵＲＬ２２３を、文書リンクテーブル２４０に登録する。ページ単位のリンク情報の設定では、ページ一括設定ボタン６２４の選択で、ページ設定画面６３０を表示する。行単位のリンク情報の設定では、行一括設定ボタン６２５の選択で、行設定画面６４０を表示する。単語単位のリンク情報設定では、単語設定６２６ボタンの選択で、単語設定画面６５０を表示する。以下同様に戻るボタン６２７の選択で、前画面を表示する。
リンク確認画面６６０は、設定したリンク先ＵＲＬ２２３に対応した画像などを表示画面６６２に表示する。リンク先ＵＲＬ２２３が誤った場合は、リンク先フィールド６６１に修正したリンク先ＵＲＬ２２３を記入し、更新ボタン６６３を選択することによりリンク先フィールド６２１に反映する。
【００４４】
ページ設定画面６３０は、登録者が追加ボタン６０１の選択で設定項目を追加し、追加した設定項目のページ数入力フィールド６３１に設定したいページ番号２１０、リンク先フィールド６２１にリンク先ＵＲＬ２２３をそれぞれ入力する。確定ボタン６２２の選択により、リンク先ＵＲＬ２２３、ページ番号２１０を、ページリンクテーブル２５０に登録する。
【００４５】
行設定画面６４０は、登録者がページ設定フィールド６４１に設定したいページ番号２１０を入力し、追加ボタン６０１の選択により設定項目を追加する。登録者は、追加した設定項目の行数入力フィールド６４２に設定したい行番号２１１、リンク先フィールド６２１にリンク先ＵＲＬ２２３をそれぞれ入力する。登録者は、確定ボタン６２２の選択により、ページ番号２１０、行番号２１１、リンク先ＵＲＬ２２３を、行リンクテーブル２６０に登録する。
【００４６】
単語設定画面６５０は、登録者がページ設定フィールド６４１に設定したいページ、行設定フィールド６５１に設定したい行を入力し、追加ボタン６０１の選択により設定項目を追加する。追加した設定項目の単語フィールド６５２にページ設定フィールド６４１および行設定フィールド６５１に入力したページと行に含まれている単語を単語情報１２３から取得し一覧表示する。登録者は、設定したい単語に対応したリンク先フィールド６２１にリンク先ＵＲＬ２２３を記入する。登録者は、確定ボタン６２２により、ページ設定フィールド６４１、行設定フィールド６５１、単語フィールド６５２、リンク先フィールド６２１のそれぞれに設定した値と、単語情報１２３の内、設定した単語の列番号２３３を単語リンク情報１２５に登録する。
【００４７】
図６の実施例では、画面を切り替えて設定を行う例を示したが、図７に示すように画面を遷移することなく一画面中で全ての設定を行うことももちろん可能である。
【００４８】
図７の動作を説明する。図７は本実施形態のリンク先登録のためにディスプレイ７０３に表示される他の画面の例である。図７において、登録画面１８０は、文書表示エリア１８１に設定を行う文書を表示し、行番号１８２に対応して行リンク設定フィールド１８５で行単位にリンク先ＵＲＬ２２３を設定する。またリンク先ＵＲＬ２２３を設定可能な単語は、文書表示エリア１８１に表示された文書中に設定枠１８３が表示され、単語リンク設定フィールド１８５で単語ごとにリンク先ＵＲＬ２２３を設定することができる。
【００４９】
次に、リンク先登録部１１１において図１１の行リンク情報１２４を作成する手順を、以下図１４のフローチャート図と図１３を用いて詳細に説明する。図１３は、本実施形態のリンク先登録部１１１が作成するデータの例、図１４は、本実施形態のリンク先登録部１１１の動作を示すフローチャート図である。
【００５０】
図１３において、文書リンクテーブル２４０は、文書毎に設定される文書リンクデータ２４３−１〜ｆから構成され、文書リンクデータ２４３−１〜ｆは、文書番号２００とリンク先ＵＲＬ２２３から構成される。ページリンクテーブル２５０は、ページ単位に設定するページリンクデータ２５３−１〜ｇから構成され、ページリンクデータ２５３−１〜ｇは、ページ番号２１０、リンク先ＵＲＬ２２３から構成される。行リンクテーブル２６０は、行単位に設定する行リンクデータ２６３−１〜ｈから構成され、行リンクデータ２６３−１〜ｈは、ページ番号２１０、行番号２１１、リンク先ＵＲＬ２２３から構成される。
【００５１】
行リンク情報１２４は、文書リンクテーブル２４０、ページリンクテーブル２５０、行リンクテーブル２６０から自動的に生成される。すなわち、行リンクテーブル２６０にリンク先ＵＲＬ２２３が設定しているか行単位に検査し（２８０）、検査した行のリンク先ＵＲＬ２２３が設定されている場合は、行リンク情報１２４に行リンクテーブル２６０の検査した行のリンク先ＵＲＬ２２３を設定する（２８１）。行リンクテーブル２６０の検査した行にリンク先ＵＲＬ２２３が設定されていない場合は、ページリンクテーブル２５０に、検査する行を含むページがリンク先ＵＲＬ２２３を設定しているか検査する（２８２）。リンク先ＵＲＬ２２３が設定されている場合は、ページリンクテーブル２５０の検査する行を含む指定ページのリンク先ＵＲＬ２２３を、行リンク情報１２４の検査する行のリンク先ＵＲＬ２２３として設定する（２８３）。ページリンクテーブル２５０の指定ページにリンク先ＵＲＬ２２３が設定していない場合は、文書リンクテーブル２４０の該当する文書番号２００に対応するリンク先ＵＲＬ２２３を、行リンク情報１２４の検査する行のリンク先ＵＲＬ２２３に設定する（２８４）。
【００５２】
図１の携帯端末装置３００とサーバ装置３２０の詳細を、図１５を用いて詳細に説明する。以下、図１５の携帯端末装置３００とサーバ装置３２０の各部の動作を、図１６のフローチャート図と図２０、図２１を用いて説明する。図１５は、本実施形態の携帯端末装置３００とサーバ装置３２０の動作を示すブロック図の例であり、図１６は、本実施形態の携帯端末装置３００とサーバ装置３２０の動作を示すフローチャート図である。図２０は、本実施形態の印刷した文書の例、図２１は、本実施形態のカメラ３０３で撮影した画像がディスプレイ７１６に表示する例である。
【００５３】
図１と図１５の各ブロックの対応を説明する。撮影装置２３はカメラ３０３に対応する。表示装置２２は，表示部３０５に対応する。文書選択装置２１は，文書選択部３０１に対応する。文字認識装置２４は，文字認識部３０４，単語照合部３２２，認識設定部３０２に対応する。
図１５において、最初にサーバ装置３２０は、文書登録装置１０から文書情報１２０、文書属性情報１２１、単語照合辞書１２２、行リンク情報１２４、単語リンク情報１２５、文字情報１２６を取得する（３５５）。この処理は文書登録時に一度だけ実行すればよい。
【００５４】
携帯端末装置３００において、文書選択部３０１は、サーバ装置３２０の文書情報１２０から利用者が選択した情報を文書選択情報１２７にコピーする（３５５）。さらに利用者は、文書選択情報１２７から検索対象の文書を選択する（３４０）。サーバ装置３２０の文書管理部３２１は、利用者が選択した文書の文書属性情報１２１、単語照合辞書１２２、行リンク情報１２４、単語リンク情報１２５、文字情報１２６を選択する（３５０）。認識設定部３０２は、文書管理部３２１が選択した文書属性情報１２１から文字認識部３０４のパラメータの設定を行い、単語照合辞書１２２を単語照合辞書３０７にコピーする（３４１）。カメラ３０３は、利用者の操作により印刷された文書３７０の一部の領域３７１を撮影する。文字認識部３０４は、カメラ３０３で撮影した画像中に含まれる文字の認識を行い、マーカ８４１を含む中心行３８５と、中心行３８５の上の行３８６、中心行３８５の下の行３８７の文字を認識し文字候補を出力する（３４３）。単語照合部３２２は、中心行３８５および上の行３８６、下の行３８７の文字候補から、単語照合辞書１２２に登録されている単語を利用して注目単語３８２、上単語３８３、下単語３８４を出力する（３５２）。
【００５５】
サーバ装置３２０において、検索部３２３は、注目単語３８２、上単語３８３、下単語３８４を利用し、文字情報１２６から単語の位置を検索し、検索の確信度を候補リスト１２８に登録する（３５３）。判定部３２４は、候補リストから最も確信度の高い単語と単語位置から、行リンク情報１２４および単語リンク情報１２５を利用してリンク先ＵＲＬ２２３を検索する（３５４）。携帯端末装置３００の表示部３０５は、判定部３２４で検索したリンク先ＵＲＬ２２３の情報をブラウザを利用して表示する（３４４）。
【００５６】
次に、検索部３２３の単語位置検索の詳細を図２３のフローチャート図と図２４を用いて以下説明する。図２３は、本実施形態の検索部３２３の動作を示すフローチャート図であり、図２４は、本実施形態の候補リスト１２８の例である。
【００５７】
図２４において、候補リスト１２８は、候補データ４２５−１〜ｉにより構成され、候補データ４２５−１〜ｉは、注目単語３８２の文書中の位置を示すページ番号２１０、行番号２１１、列番号２３３と、注目単語３８２の場所と一致する可能性を示す確信度４２４からなる。
【００５８】
検索部３２３は、注目単語３８２を単語情報１２３から検索し、注目単語３８２と同一の単語２３０の行番号２１１と列番号２３３を取得する（４００）。単語情報１２３で検索した単語２３０の上下の行に含まれる単語から、上単語３８３、下単語３８４と同一の単語２３０を検索し（４０１）、上単語３８３、下単語３８４の存在の判定を行う（４０２）。上単語３８３、下単語３８４が見つからない場合は、単語情報１２３の次の単語から検索を継続する。単語情報１２３に上単語３８３または下単語３８４が存在した場合は、注目単語と上単語３８３および下単語３８４との位置関係を判定する（４０３）。位置関係が閾値内であれば、注目単語の文字位置を算出し、確信度４２４と共に候補リスト１２８に登録する（４０４）。候補リスト１２８の確信度４２４は、注目単語３８２と上単語３８３または下単語３８４との列番号２３３の差と、上単語３８３または下単語３８４の存在により決定する。単語情報１２３全てに対して、注目単語３８２の文字位置の検索を繰り返す（４０５）。
【００５９】
本発明のサーバ装置３００の実施形態では、検索部３２３は、単語情報１２３を使用して文字列位置を検索したが、文字情報１２６を利用することも可能である。すなわち、単語情報１２３から列番号を取得する代わりに、文字情報１２６の文字列から単語を検索し、単語の位置を文字列の文字数から逐次計算することにより、列番号を得ることができる。
【００６０】
次に、判定部３２４の動作の詳細を図１１、図１２、図２１、図２２、図２４および図２５のフローチャート図を用いて以下説明する。図２２は、本実施形態のカメラ３０３で撮影した画像がディスプレイ３０６に表示する他の例、図２５は、本実施形態の判定部３２４の動作を示すフローチャート図である。
【００６１】
判定部３２４は、候補リスト１２８中の候補データ４２５−１〜ｉから確信度４２４が最も大きい候補データ４２５−ｎ検索する（３６５）。注目単語３８２上にマーカ３８１が設定されていたか判定する（３６１）。注目単語３８２上にマーカ３８１がある場合は、単語リンク情報１２５の単語リンクデータ２３５−１〜eより、候補データ４２５−ｎのページ番号２１０、行番号２１１、列番号２３３と一致する、単語リンクデータ２３５−ｍを検索する（３６２）。つぎに、注目単語３８２と単語リンクデータ２３５−ｍの単語２３０を照合する（３６３）。一致した場合は、単語リンクデータ２３５−ｍのリンク先ＵＲＬ２２３を出力する（３６４）。一致しない場合は、および注目単語３８２の判定（３６１）で図２２に示すようにマーカ３８１と注目単語３８２がずれている場合は、行リンク情報１２４の行リンクデータ２２２−１〜ｂより、候補データ４２５−ｎのページ番号２１０、行番号２１１が一致する行リンクデータ２２２−ｒを検索する（３６５）。検索されたリンク先ＵＲＬ２２３を出力する（３６４）。
【００６２】
本発明の実施形態では、判定部は、単語リンク情報１２５と行リンク情報１２４を用いて単語単位あるいは行単位のリンク先ＵＲＬ２２３の検索を行ったが、文リンク情報５９０から文単位のリンク先ＵＲＬ２２３を検索することも可能である。文単位のリンク先ＵＲＬ２２３の検索は、まず最初に注目単語３８２の文書中の位置を示すページ番号２１０、行番号２１１、列番号２３３を単語情報１２３から取得する。次に取得したページ番号２１０と同一であり、かつ、行番号２１１が文字の始点の行番号２７３と終点の行番号２７１以内であり、かつ、列番号２３３が文字の始点の列番号２７４と終点の列番号２７２以内である文リンク情報５９０中のリンク先ＵＲＬ２２３を出力する。文のリンク情報としてリンク先ＵＲＬとしたが、例えば日本語の文は英訳文を、英語の文は和訳を情報として出力することも可能である。
【００６３】
携帯端末装置３００のハードウェア構成を、図１７を用いて説明する。図１７は、本実施形態の携帯端末装置３００のハードウェア構成図の例である。図１と図１７の各ブロックの対応を説明する。入力装置２０は，入力キー７１０に対応する。撮影装置２３は，カメラ３０３に対応する。表示装置２２は，ディスプレイ７１６に対応する。通信装置２５は，通信回路７１３に対応する。文字選択装置２１と文字認識装置２４は，文字認識プログラム８２０に対応する。
【００６４】
図１７において、入力キー７１０は、検索対象の文書選択やカメラ設定を行う。通信回路７１３は、サーバ装置３２０の通信回路７１４とネットワーク３６を介して接続し、カメラ３０３で撮影した画像中から文字認識にて得た文字列の送信と、文字列に関連した情報の受信を行う。ディスプレイ７１６は、カメラで撮影する画像の表示や文書選択を行う。文字認識プログラム８２０は、携帯端末装置３００の動作を行うプログラムである。データメモリ８０１は、文書選択情報１２７と単語照合辞書３０７を格記憶する。
【００６５】
サーバ装置３２０のハードウェア構成を、図１８を用いて説明する。図１８は、本実施形態のサーバ装置３２０のハードウェア構成図の例である。図１と図１８の各ブロックの対応を説明する。通信装置３０は，通信回路７１４に対応する。通信回路３３は，第２の通信回路７１５に対応する。位置検索装置３４と情報検索装置３１は，文書検索プログラム８４０に対応する。記憶装置３２は，データメモリ８０１に対応する。
【００６６】
図１８において、第２の通信回路７１５は、文書登録装置１０とネットワーク２６を介して接続し、文書登録装置１０のデータメモリ８０１に記憶したデータを受信し、サーバ装置３２０のデータメモリ８０１に格納する。文書検索プログラム８４０は、サーバ装置３２０の動作を行うプログラムである。データメモリ８０１は、受信した、文書情報１２０、文書属性情報１２１、単語照合辞書１２２、行リンク情報１２４、単語リンク情報１２５、単語情報１２３と、候補リスト１２８を記憶する。
【００６７】
携帯端末装置３００のディスプレイ７１６に表示される画面の遷移を、以下図１９を用いて詳細に説明する。図１９は、本実施形態のディスプレイ３０６に表示する画面遷移図の例である。以下ボタンは、入力キー７１０により選択される。また戻るボタン９１３の選択により前画面を表示する。文字認識プログラム８２０は、起動するとディスプレイ７１６に文書選択画面９００を表示する。文書選択画面９００は、利用可能な文書を文書選択情報１２７から読み出し、文書リスト９０１に表示する。利用者は、文書リスト９０１に利用する文書が表示されていない場合、追加ボタン９０２を選択することにより文書追加画面９１０を表示する。また、文書選択情報１２７から不要な文書情報を削除したい場合は、文書リスト９０１から削除する文書を選択し削除ボタン９０３を選択することにより文書選択情報１２７から該当する文書情報を削除する。検索を実行したい場合は、文書リスト９０１から文書を選択し選択ボタン９０４を選択することにより、文書確認画面９３０を表示する。文書追加画面９１０は、文書一覧９１１に、文書情報１２０に登録されている文書の一覧を表示し、文書一覧９１１から文書選択情報１２７に追加したい文書を選択し詳細ボタン９１２を選択することにより文書詳細画面９２０を表示する。文書詳細画面９２０は、選択した文書の詳細情報を詳細表示９２１に表示する。
【００６８】
利用者は、タイトルや課金情報などを確認して登録ボタン９２２を選択することにより、文書選択情報１２７に選択した文書の文書情報を追加する。文書確認画面９３０は、詳細表示９３１に選択した文書の詳細情報を表示し、利用者は、タイトルや課金情報などを確認して、問題がなければ確認ボタン９３２を選択することにより撮影画面９４０を表示する。撮影画面９４０は、撮影する画像を表示画像３８０に表示し、利用者がマーカ３８１を検索したい文字に合わせ、検索ボタン９４３を選択することにより検索を実行し、検索が完了すると確認画面９５０を表示する。確認画面９５０は、リンク情報表示９５１に検索したリンク先ＵＲＬ２２３を表示する。利用者は、検索結果に誤りがなければ表示ボタン９５２を選択し、ブラウザ９６０を表示する。ブラウザ９６０は、リンク先ＵＲＬ２２３の情報を表示する。
【００６９】
携帯端末装置３００とサーバ装置３２０において、単語照合の別の方法について図２６のブロック図を図２７のフローチャート図を用いて詳細に説明する。図２６は、本実施形態の携帯端末装置３００とサーバ装置３２０の他の動作を示すブロック図、図２７は、本実施形態の携帯端末装置３００とサーバ装置３２０の他の動作を示すフローチャート図である。
【００７０】
携帯端末装置３００は、あらかじめ第１の単語照合辞書５０１を備える。第２の単語照合辞書５０６は、単語照合辞書１２２と第１の単語照合辞書５０１との差で作成される。文書の選択（３４０）により、選択した文書に対応する第２の単語照合辞書５０１をデータメモリ８０１にロードする（５２１）。カメラ３０３から入力した画像は、文字認識部３０４で文字認識し文字候補を出力する（３４３）。第１の単語照合部５００は、第１の単語照合辞書５０１を利用して文字候補から単語を照合し（５１４）、第１の単語照合辞書５０１に登録された単語と文字候補が一致するか判定する（５１５）。第１の単語照合辞書５０１の単語と一致した場合は、単語をサーバ装置３２０の検索部３２３に送信し、検索部３２３は、単語の文書中の位置の検索を行う（３５４）。一致しない場合は、サーバ装置３２０の第２の単語照合部５０５で第２の単語照合辞書５０６を利用して単語を照合する（５２２）。本発明の実施形態では、第２の単語照合辞書５０６をサーバ装置３２０に持つ例を示したが、携帯端末装置３００にダウンロードし、携帯端末３００側で第１の単語照合辞書５０１と第２の単語照合辞書５０６を利用して単語照合部３２２で単語照合を行うことも可能である。
【００７１】
次に文字認識部３０４と認識設定部３０２の動作の詳細を、図３０と図３１を用いて以下説明する。図３０は、本実施形態の文字認識部３０４と認識設定部３０２の動作を示す図の例、図３１は、本実施形態の文書属性情報１２１の例である。文書属性情報１２１は、複数の文書属性７３−１〜７３−ｊにより構成され、文書属性７３−１〜７３−ｊは、文書番号２００、二値化モード７０、文字方向７１、文字コード７２により構成する。
【００７２】
認識設定部３０２は、サーバ装置３２０から受信した文書属性情報１２１から、選択した文書の文書番号２００に対応する二値化モード７０の値により、二値化処理部５１の第１の画像二値化処理６０と第２の画像二値化処理６１を切り換える。また、文字方向７１の値により、文字行切り出し部５２の縦書き処理部６２と横書き処理部６３を切り換える。また、文字コード７２の値により、識別部６４が識別辞書６５中の文字コード７２で指定した文字コードの特徴量と比較するように設定する。なお、識別処理部５５において、識別部６４は、特徴抽出部５４の文字ごとの特徴量と、識別辞書６５に登録されている全ての文字コードの特徴量とを比較する。判定部６６は、比較の差が小さい順に文字コードを出力する。
【００７３】
本発明の文書情報検索システムの利用形態を、以下図３５を用いて詳細に説明する。図３５は、本実施形態の文書情報登録システムを運用するためのシステム利用形態の例である。出版社９５６は、発行する文書の著者から原稿受け取り、キーボード９５０よりＤＴＰ９５１に入力し編集を行う。ＤＴＰ９５１は、原稿の校正のためＰＤＦファイル９５２に出力し、プリンタ９５３で校正用原稿９５４を出力する。校正が終了した原稿は、ＤＴＰ９５１から出版用印刷データ９５５を出力し、印刷機９５６にて販売用の書籍９５７を印刷する。文書登録装置１０は、校正のため出力するＰＤＦファイル９５２を入力し、文書に関連情報を付加した検索用ＤＢを作成する。作成したＤＢは、ネットワーク２６を経由して、コンテンツプロバイダ９５８のサーバ装置３００に転送する。利用者は、出版した書籍９５７を購入し、携帯端末装置３２０を使用して書籍９５７の一部画像を撮影する。携帯端末装置３２０は、画像中から認識した文字列を、ネットワーク３６を経由してサーバ装置３００に転送する。サーバ装置３００は、検索用ＤＢから文字列に関連した情報を検索する。検索した情報は、携帯端末装置３００に表示する。
【００７４】
また、出版社９６０は、既に出版されている書籍９５７を、スキャナ９６１から各ページを画像として入力する。ＯＣＲ９６２は、各ページの画像から文字を認識するとともに文字画像の位置も検出する。構造化９５８は、文字と文字位置からＰＤＦファイル９５２を作成する。文書登録装置１０は、ＰＤＦファイル９５２を入力して、文書に関連情報を付加した検索用ＤＢを作成する。
【００７５】
以上で説明した、ＰＤＡファイルから検索用ＤＢを作成する手順は、もちろん出版社以外の第三者が請け負ってもよい。
本発明の実施形態では、文書に関連する情報としてＵＲＬを想定したが、ＵＲＬの他に、直接文字、音、画像といった情報を直接送ることももちろん可能である。
【００７６】
日本語文書を対象としているが、もちろん英文など各国語にも適応することは容易である。例えば英文やハングル語などは単語がスペースで区切られているため、形態素解析を行うことなく容易に単語単位に切り出すことが可能であり、また注目単語の上下行の単語に加え、注目単語の左右の単語を利用して注目単語の位置を検索することも可能である。
【００７７】
実施例では、携帯端末装置とサーバ装置で分けたが処理の分担を制限することはない。例えば、単語照合を携帯端末装置で実施したがサーバ装置で実施することも可能である。また、例えば、文字認識を携帯端末装置で実施したがサーバ装置で実施することも可能である。また、サーバ装置と携帯端末装置に分けたが、サーバ装置の動作と携帯端末の動作が同一装置内で実行することも可能である。
【００７８】
実施例では、携帯端末装置３２０のプログラムメモリ８００に文字認識プログラム８２０があらかじめ記憶されていたが、サーバから文字認識プログラム８２０をダウンロードして実行することも可能である。また、実施例では検索対象の文書を選択したが検索対象の文書にあわせて文書に対応した文字認識プログラム８２０をダウンロードすることも可能である。
【００７９】
実施例では、単語位置検索に注目単語３８２、上単語３８３、下単語３８３の３単語を使ったが、、検索に利用する単語の数を制限するものではない。
実施例では、電子ファイルから入力したが例えば既に印刷した文書をＯＣＲを利用して文字および文字位置を取得することも可能である。
【００８０】
実施例では、リンク先ＵＲＬ２２３の設定を行または単語単位としたが、文単位にリンク先ＵＲＬを設定することも可能である。例えば図２８に示すように、文の開始の行番号２１１と列番号２３３、および文の終了の行番号２７１と列番号２７２に体操してリンク先ＵＲＬ２２３を記憶することにより、検索した単語が設定した文と開始と終了内にあれば、該当するリンク先ＵＲＬ２２３を出力することも可能である。これにより、例えば日本語文章であれば英訳文や英語の文書なら和訳を情報とすることももちろん可能である。
【図面の簡単な説明】
【００８１】
【図１】本実施形態の全体構成図の例。
【図２】本実施形態の文書登録装置の動作を示すブロック図の例。
【図３】本実施形態の文書登録装置の動作を示すフローチャート図。
【図４】本実施形態の文書登録装置のハードウェア構成図の例。
【図５】本実施形態で入力される文書ファイルの例。
【図６】本実施形態のディスプレイ７０３に表示される画面の例。
【図７】本実施形態のディスプレイ７０３に表示される他の画面の例。
【図８】本実施形態の文書情報１２０の例。
【図９】本実施形態の文字情報１２６の例。
【図１０】本実施形態の単語情報１２３の例。
【図１１】本実施形態の行リンク情報１２４の例。
【図１２】本実施形態の単語リンク情報１２５の例。
【図１３】本実施形態のリンク先登録部１１１が作成するデータの例。
【図１４】本実施形態のリンク先登録部１１１の動作を示すフローチャート図。
【図１５】本実施形態の携帯端末装置３００とサーバ装置３２０の動作を示すブロック図の例。
【図１６】本実施形態の携帯端末装置３００とサーバ装置３２０の動作を示すフローチャート図。
【図１７】本実施形態の携帯端末装置３００のハードウェア構成図の例。
【図１８】本実施形態のサーバ装置３２０のハードウェア構成図の例。
【図１９】本実施形態のディスプレイ７１６に表示される画面遷移図の例。
【図２０】本実施形態の印刷された文書の例。
【図２１】本実施形態のカメラ３０３で撮影した画像がディスプレイ７１６に表示される例。
【図２２】本実施形態のカメラ３０３で撮影した画像がディスプレイ７１６に表示される他の例。
【図２３】本実施形態の検索部３２３の動作を示すフローチャート図。
【図２４】本実施形態の候補リスト１２８の例。
【図２５】本実施形態の判定部３２４の動作を示すフローチャート図。
【図２６】本実施形態の携帯端末装置３００とサーバ装置３２０の他の動作を示すブロック図。
【図２７】本実施形態の携帯端末装置３００とサーバ装置３２０の他の動作を示すフローチャート図。
【図２８】本実施形態の文字情報１２６の作成手順を示すフローチャート図。
【図２９】本実施形態の文情報５８０の作成手順示すフローチャート図。
【図３０】本実施形態の文情報５８０の例。
【図３１】本実施形態の文リンク情報５９０の例。
【図３２】本実施形態の文字認識処理の例。
【図３３】本実施形態の文字認識部３０４と認識設定部３０２の動作を示す図の例。
【図３４】本実施形態の文書属性情報１２１の例。
【図３５】本実施形態の文書情報登録システムを運用するためのシステム利用形態の例。
【符号の説明】
【００８２】
１０ 文書登録装置、２０ 入力装置、２１ 文書選択装置、２２ 表示装置、２３ 撮影装置、２４ 文字認識装置、２５ 通信装置、２６ ネットワーク、
３０ 通信装置、３１ 情報検索装置、３２ 記憶装置、３３ 通信装置、３４ 位置検索装置、３６ ネットワーク、
４１ 文書入力装置、４２ 解析装置、４３ 登録装置、４４ 記憶装置、４５ 入力装置、４６ 通信装置、
３００ サーバ装置、３２０ 携帯端末装置。
【技術分野】
【０００１】
本発明は、文書中の文字列に擬似的に埋め込んだ関連情報を検索するシステムに係り、あらかじめ文書中の文字列と関連情報を対応した検索用ＤＢを作成し、出版されている文書中の一部を携帯電話などに内蔵されているカメラで撮影した文書中の一部を撮影した画像から文字認識により文字列を認識し、前記複数の文字列から前記検索用ＤＢに登録された関連情報を検索するものである。
【背景技術】
【０００２】
従来、印刷された写真や文書に情報を埋め込む方法として電子透かしが知られていた。例えば、文書などの二値化された画像に電子透かしを埋め込む一例として特開２００４−２８９７８３号公報（特許文献１）がある。
従来、カメラを搭載した携帯電話等の携帯端末で撮影した画像に含まれる文字列の文字を認識して、その認識結果である文字テキストを翻訳する技術が種々提案されている。例えば、特開平０９−１３８８０２号公報（特許文献２）には、携帯端末内部に文字認識機能と翻訳機能を持ち、これらの機能を利用して、カメラで撮影した画像内の文字列を認識、翻訳処理する翻訳システムが開示されている。
【０００３】
また、同出願人の先の出願、特願２００４−２２７６１０号および特願２００４−２３２８９１号に、携帯端末で撮影した画像中の複数の単語の並びや位置関係から、文書中の撮影位置を特定し、撮影した単語に関連した翻訳結果や文書中の位置に対して設定したリンク先ＵＲＬをブラウザに表示する文書翻訳システムに関する発明がある。
【０００４】
【特許文献１】特開２００４−２８９７８３号公報
【０００５】
【特許文献２】特開平０９−１３８８０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１では、あらかじめ情報を埋め込んだ文書を印刷して配布する必要があった。そのため印刷済みの書籍に電子透かしを適用することができなかった。
また、特許文献２では、文書中の特定の場所を撮影し、文字認識により撮影した画像中の文字イメージを単語または文を含む文字列に変換して出力することにより、出力された単語または文を翻訳する翻訳システムが開示されている。認識範囲を文とした場合、撮影する範囲が広くなりカメラの解像度を高くするか、複数撮影した画像から文字列を認識し、細分化された文字列を再構築して文を再生する必要があった。また単語を翻訳する場合、文書中の単語の位置で訳が異なる場合があった。
【０００７】
また、文字認識は、誤読の可能性があることから認識率を向上させる必要がある。図３２は文字認識処理の流れの例であり、画像二値化部５１は、文字を含む画像から背景と文字を分けた二値画像を作成する。文字行切り出し部５２は、二値画像から１行分の文字列領域を判別する。文字切り出し部５３は、１行分の文字列領域から１文字の文字領域を判別する。特徴抽出部５４は、１文字の文字領域から文字の特徴を算出する。識別処理部５５は、文字の特徴からあらかじめ文字毎に登録した文字の特徴と比較し、特徴が似通った順に文字の候補を出力する。単語照合部５６は、連続した1文字の文字領域毎の文字の候補から単語照合辞書登録されている単語に最も近い単語を出力する。画像二値化部５１では、印刷された文書は、カラー印刷や網点印刷など条件が広く、一種類の二値化方法では、正しく二値化できない場合がある。また、文字行切り出し部５２や文字切り出し部５３では、文字を認識する前に画像中から文字行および文字領域を予測する必要があるが、罫線、行間、文字間隔など文書により多種多様であり、判別を誤ることがある。また、識別処理部５５では、類似文字(例えば日、白、目など非常に似通った文字)があり、画像のノイズやかすれなどによる悪影響により、文字候補が正しく出力されない場合がある。また、単語照合部５６では、正読率の向上に全ての単語を単語照合辞書に登録する必要があるが、出版されている全ての文書の単語を登録には大きなメモリが必要であり、メモリ制限がある携帯電話などの携帯端末では全ての単語を単語照合辞書に登録できない。
【０００８】
本発明の目的は、カメラを内蔵した携帯可能な情報端末で文書の一部をカメラで撮影した画像に含まれている文字列が文書中のどの場所に存在するかを特定し、その場所に関連付けられる情報を取得する文書情報検索システムを提供することにある。
【０００９】
また、本発明の別の目的は、文字の場所を特定するためのデータの作成を自動化し、また文書に関連付けられる情報のデータの作成を簡素に行う、文書情報検索システムを提供することにある。
また、本発明の別の目的は、文書毎に文書の構造を定義した文書ファイルから文書の特徴を抽出することにより文字認識のパラメータを作成し、検索対象の文書に合わせて文字認識のパラメータを設定することにより、文字認識率を向上させることが可能な文書情報検索システムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明は、画像撮影部と、利用者に操作されて情報を入力する入力部と、表示部を有する携帯情報端末を用いて、画像撮影部で撮影された画像に含まれる文字に関連付けられた情報を得て、その情報を表示部に表示する文書情報検索システムにおいて、
文書の構成要素に関連する情報を対応付けた関連情報を作成する文書情報登録部と、文字列の位置情報を作成する座標登録部と前記関連情報と前記位置情報を保持する記憶装置とを備えるものである。また、文書選択部を設けることにより、文書毎に記憶装置に登録された関連情報と、位置情報を選択して検索部により情報を検索できるように文書を示す情報をも保持する。
【００１１】
また、本発明において、サーバ装置は、前記記憶装置、及び前記検索部を備え、携帯情報端末は、前記文字認識部より得られた文字列を、ネットワークを介して前記サーバに送信し、前記サーバにおいて前記検索部により関連情報を検索した結果得られた情報を、前記ネットワークを介して前記携帯情報端末に送信する。また、前記文字認識部は、サーバ装置に備えることもできる。
【００１２】
また、本発明の文書情報登録部は、文書の構造を定義した文書ファイルを入力し、前記文書ファイルの前記文書の構造、すなわち文字、文字種、文字座標、文字サイズなどを解析して文書の構成要素(章、段、文、行、見出しなど)に分解し、前記構成要素単位に関連する情報を対応付けた関連情報を作成する。例えば、図５に示す文書ファイル１５は、ＰＤＦの文書構造を持つ。 ＰＤＦファイルでは、ページオブジェクト、テキストオブジェクトなど、文書を階層化した複数のオブジェクトを持つ。テキストオブジェクトには、書体、字体、文字幅の指定、ページ上の開始位置、文字コード、文字ごとの間隔が記述されている。これらの情報を利用することにより容易に文字列の位置を推定することが可能である。
【００１３】
さらに好ましくは、文書の構成要素を階層化し、上位階層から関連情報を設定し、検索時には下位階層から関連情報を検索する。さらに好ましくは、前記文書の構成要素を形態素に分解し、前記形態素単位に関連する情報を対応付けた関連情報を作成する。また、さらに好ましくは、前記形態素は、形態素の区切りを登録者が編集する編集部を有する。
【発明の効果】
【００１４】
本発明によって、文書の文字列および文字位置から行、文、単語などといった関連情報を設定する単位を作成するため、登録者が文書から行や文、単語などを登録する作業が不要または簡易となる。
【発明を実施するための最良の形態】
【００１５】
本発明の実施形態の文書情報登録システムは、文書登録装置、サーバ装置、携帯端末装置により構成する。検索する文書に設定する関連情報は、行と単語単位にＵＲＬ（Uniform Resource Locator）を設定し、ＵＲＬを使ってブラウザ上に情報を表示する。また入力を行う文書の構造を数値化して定義した文書ファイルとしてＰＤＦ（Portable Document Format）ファイルを例として説明を行う。
【実施例１】
【００１６】
本発明の実施形態を、図１を用いて説明する。図１は、本実施形態の全体構成図の例である。関連情報を登録する文書は、あらかじめ文書登録者が文書登録装置１０を操作し、文書入力装置４１にて文書データを入力する。解析装置４２は、入力された文書ファイルを行や単語などの文書を構成する構成要素に分解し、分解した構成要素を表示装置４０に表示する。文書登録者は、構成要素に関連した情報を入力装置４５から入力する。構成要素と構成要素に対応した関連情報を含む検索用ＤＢは、登録装置４３にて記憶装置４４に記憶する。また、検索用ＤＢは、文書登録装置１０の通信装置４６からサーバ装置３２０の通信装置３３にネットワーク３６を経由して送信され、サーバ装置３２０の記憶装置３２に格納される。
【００１７】
携帯端末装置３００は、関連情報を登録した文書の一覧を表示装置２２に表示する。携帯端末装置３００の利用者は、関連情報を検索する撮影対象の文書を、入力装置２０の操作で文書選択装置２１により選択し、印刷された文書の一部を撮影装置２３により撮影する。文字認識装置２４は、撮影した画像から注目する単語とその周辺の複数の単語を認識する。携帯端末装置３００は、携帯電話、ＰＤＡなどの、撮像装置を有する情報端末である。
【００１８】
サーバ装置３２０において、位置検索装置３４は、記憶装置３２に記憶した検索用ＤＢから、携帯端末装置３００で撮影した注目単語の文書中の位置を特定し、情報検索装置３１は、注目単語に対応する関連情報を検索用ＤＢから検索する。携帯端末装置３００の表示装置２２は、情報検索装置３１で得られた関連情報を表示する。携帯端末装置３００とサーバ装置３２０間のデータ通信は、通信装置２５と通信装置３０間でネットワーク２６を経由して接続し、携帯端末装置３００で認識した注目単語と、サーバ装置３２０で検索した関連情報の転送を行う。
【００１９】
次に本発明の実施形態における図１の文書登録装置１０の詳細を、図２を用いて詳細に説明する。以下、図２の各部の動作を、図３のフローチャート図および必要に応じて図５、図８乃至図１２の符号を用いて説明する。図２は、本実施形態の文書登録装置の動作を示すブロック図の例である。図３は、本実施形態の文書登録装置の動作を示すフローチャート図である。
【００２０】
図１と図２の各ブロックの対応を説明する。文書入力装置４１は，文書登録部１０１と文書入力部１００に対応する。解析装置４２は，属性抽出部１０２，文書座標抽出部１０６，文書抽出部１０３，形態素解析部１０４，単語編集部１０５，単語リスト作成部１０７，照合辞書作成部１０９に対応する。登録装置４３は，リンク先登録部１１１に対応する。記憶装置４３は，文書情報１２０，文書属性情報１２１，単語照合辞書１２２，単語情報１２３，文字情報１２６，行リンク情報１２４，単語リンク情報１２５に対応する。
【００２１】
文書登録部１０１において、登録者は、文書登録部１０１から文書のタイトル２０１などを入力する（１３０）。登録者は、文書入力部１００により文書ファイル１５を入力する（１３１）。属性抽出部１０２は、文書ファイル１５の文書構造を解析し、文書のページ数２０２、文字の背景、文字方向、使われている文字種を抽出し（１３２）、ページ数２０２と、文書登録部１０１により入力したタイトル２０１と、自動的に生成する文書番号２００を文書情報１２０に登録する（１３３）。また、抽出した文字の背景、文字方向、使われている文字種から二値化モード７０、文字方向７１、文字コード７２を作成し、文書属性情報１２１に登録する（１５０）。
【００２２】
文字座標抽出部１０６は、ページ中の文字の位置座標を抽出（１６０）し、文字毎にページ番号２１０、行番号２１１、列番号２３３などの位置情報を出力する。文字抽出部１０３は、文書ファイル１５から文字を抽出し（１３５）、文字座標抽出部１０６が設定した文字単位のページ番号２１０、行番号２１１から同一行の文字列を再構成し、文字情報１２６に登録する（１３９）。
【００２３】
形態素解析部１０４は、文字情報１２６から、行単位に文字列を形態素解析して行を構成する複数の品詞に分解する（１３６）。接続詞など不用な品詞を除去し固有名詞など単語として利用可能な品詞を選択して出力する（１３７）。単語編集部１０５は、形態素解析部１０４が出力する品詞を構成する文字列に対し、登録者が必要に応じて行う、連続する複数の品詞を構成する文字列の結合、または品詞を構成する文字列の分割などの編集を受け付け、単語２３０を作成する（１３８）。単語リスト作成部１０７は、単語編集部１０５が出力する単語２３０と、単語２３０の先頭文字の文字座標抽出部１０６が出力するページ番号２１０、行番号２１１、列番号２３３を用いて、単語情報１２３に登録する（１４０）。
【００２４】
照合辞書作成部１０９は、単語情報１２３に登録されている全ての単語２３０から、単語照合辞書１２２を作成する（１７１）。リンク先登録部１１１は、文字情報１２６の各文字データ２１２−１〜ｂ、および単語情報１２３に登録してある単語データ２３４−１〜ｃに対応するリンク先ＵＲＬの情報について登録者からの入力を受け付け、行リンク情報１２４および単語リンク情報１２５を作成する（１４３）。
【００２５】
以下、文書登録装置１０が作成する、文書情報１２０、文字情報１２６、単語情報１２３、行リンク情報１２４、単語リンク情報１２５、を図８乃至図１２を用いて説明する。
文書情報１２０を、図８を用いて説明する。図８において、文書情報１２０は、文書データ２０３−１〜ａから構成され、文書データ２０３−１〜ａは、文書毎の文書番号２００とタイトル２０１、ページ数２０２から構成する。文書番号２００は、登録された文書毎に自動的に設定する番号であり、タイトル２０１は、文書の表題であり、ページ数２０２は、文書を構成する総ページ数を示す。
【００２６】
次に文字情報１２６を、図９を用いて説明する。図９において、文字情報１２６は、文字データ２１２−１〜ｂから構成され、文字データ２１２−１〜ｂは、文書中の行単位毎に、文字列２１３と、文字列２１３が印刷されている、ページ番号２１０、行番号２１１、から構成される。
【００２７】
次に単語情報１２３を、図１０を用いて説明する。図１０において、単語情報１２３は、単語データ２３４−１〜ｃから構成され、単語データ２３４−１〜ｃは、単語２３０と、単語２３０の印刷された文書中の位置を示すページ番号２１０、行番号２１１、列番号２３３から構成する。単語２３０は、単語リスト作成部１０７で作成する単語である。列番号２３３は、単語２３０が含まれる文書情報１２６中の文字列２１３において、単語２３０の先頭文字を文字列２１３の左の文字から数えた位置である。
【００２８】
次に行リンク情報１２４を、図１１を用いて説明する。図１１において、行リンク情報１２４は、行リンクデータ２２２−１〜ｂから構成され、行リンクデータ２２２−１〜ｂは、文書中の全ての行に対して設定した、ページ番号２１０、行番号２１１、リンク先ＵＲＬ２２３から構成する。
【００２９】
次に単語リンク情報１２５を、図１２を用いて説明する。図１２において単語リンク情報１２５は、単語リンクデータ２３５−１〜ｅから構成され、単語リンクデータ２３５−１〜ｅは、単語２３０と、単語２３０に設定するリンク先ＵＲＬ２２３と、単語２３０の印刷文書中の位置を示す、ページ番号２１０、行番号２１１、列番号２３３から構成する。
【００３０】
以下、ＰＤＦファイルを例とする文書ファイル１５から文字情報１２６を抽出する手順を図５と図２８を用いて、詳細に説明する。図５は，本実施形態の入力する文書ファイルの例，図２８は、本実施形態の文字情報１２６の作成手順を示すフローチャート図である。
【００３１】
図５のPDFファイル例の代表的な各行の意味を，行番号１６を用いて説明する。説明を分かりやすくするため，埋め込まれた文字は英文である。PDFでは，文書のレイアウトを定義するためオブジェクト単位で定義を行っている。行１と行３８は，PDF形式であることを示すヘッダとフッタである。行４〜１１は，ページのオブジェクトを定義する。行１２〜２４は，使用されている書体のオブジェクトを定義する。行１６が定義する文字の開始コード，行１７が定義する文字の終了コードであり，行１８〜１９が開始から終了文字の文字幅を定義する。行２１は，書体である。行２５〜３７は，印刷されるテキストオブジェクトを定義する。行２８は，テキストオブジェクトの開始，行３４は，テキストオブジェクトの終了を示す。行３０は，Tcが文字の間隔，Twが単語の間隔を定義する。行３１は，印刷する文字と必要に応じて配置のオフセットを定義する。行３２は，Tdが次の行へのオフセットを定義する。行３３は，印刷する文字を定義する。
【００３２】
文書ファイル１５から文字情報１２６を抽出するために、まず、テキストブロックからテキストブロックに共通する書体、字体、文字毎の文字幅のパラメータを抽出する（５５０）。最初の文字の始点座標のパラメータを抽出する（５５１）。１文字ごとに文字幅と文字間隔のパラメータより終点座標を計算し、求めた終点座標を次の文字の始点座標とする（５５２）。５５２の処理を行方向の座標が異なる文字の始点座標が見つかるまで繰り返す（５５３）。５５２で処理した文字を同一行の文字列２１３として、文字情報１２６に登録する（５５５）。テキストブロック内が終了するまで５５１から５５５の処理を繰り返す（５５６）。ページオブジェクトが終了するまで５５０から５５６の処理を繰り返す（５５７）。文書を終了するまで、上記ページオブジェクト内の処理を繰り返す（５５８）。
【００３３】
本発明の実施形態では、列番号２３３を行の先頭文字からの文字数としたが、例えば図２８で求まる文字単位の始点座標を用いることも可能である。また、本発明の実施形態では、リンク先ＵＲＬ２２３の設定を行または単語単位設定し、それぞれ行リンク情報１２４、単語リンク情報１２５を作成したが、文単位にリンク先ＵＲＬ２２３を設定することも可能である。
【００３４】
以下、文単位にリンク先ＵＲＬ２２３を設定した文リンク情報５９０の作成手順を文情報５８０と、文情報５８０の作成手順を、図２９、図３０、図３１を用いて説明する。図２９は、本実施形態の文情報５８０の作成手順示すフローチャート図である。
【００３５】
図３０は、本実施形態の文情報５８０の例であり、文情報５８０は、文データ５８２−１〜ｋから構成され、文データ５８２−１〜ｋは、文５８１と、文５８１が含まれるページのページ番号２１０と、文５８１の最初の文字が存在する文字データ２１２中の行番号２１１を始点の行番号２７３とし、文字列２１３の左から数えた文字数からなる列番号２３３を始点の列番号２７４とする。また、文５８１の最後の文字が存在する文字データ２１２中の行番号２１１を終点の行番号２７１とし、文字列２１３の左から数えた文字数からなる列番号２３３を終点の列番号２７２とする。
本実施形態では、列番号２７２、２７４を文字列中の左からの文字数としたが、図２８で算出した文字の始点の座標を利用することも可能である。
【００３６】
図３１は、本実施形態の文リンク情報５９０の例であり、文リンク情報５９０は、文リンクデータ５９１−１〜ｋから構成され、文リンクデータ５９１−１〜ｋは、文データ５８２−１〜ｋに対応して、文情報５８０の文５８１の代わりに、文５８１に関連つけられるリンク先ＵＲＬ２２３を設定する。
【００３７】
文情報５８０の作成では、図２８で作成した文字情報１２６と、書体、字体、文字コード、文字サイズを利用して作成する。文字情報１２６の文字データ２１２−１〜ｂに登録した行毎の文字列２１３について、文書ファイル１５から図２８で抽出した書体、字体と同様に、文字の書体、字体、文字サイズなどを抽出し、次の行の書体、字体、文字サイズなどが異なるか判定する（５７０）。異なる場合は、文字列２１３を見出し行として、文情報５８０の文データ５８２に追加登録する（５７３）。次に、先頭文字が記号“（１）”や見出し番号“１．１“など明らかに前後の行と異なるか判定する（５７１）。異なる場合は、文字列２１３を見出し行として、文情報５８０の文データ５８２に追加登録する（５７３）。次に、見出し行でなければ、順次行の文字列２１３から句点“。”を探索し、句点で区切った文５８１として文情報５８０の文データ５８２に登録する（５７２）。上記の処理を文書中の全ての行を走査するまで繰り返す（５７４）。
【００３８】
次に以下図４を用いて文書登録装置の構成を説明する。図４は、本実施形態の文書登録装置のハードウェア構成図の例である。
図１と図４の各ブロックの対応を説明する。入力装置４５は，キーボード７００，マウス７０１に対応する。表示装置４０は，ディスプレイ７０３に対応する。通信装置３２０は，通信回路７０５に対応する。記憶装置４４は，データメモリ８０１に対応する。文書選択装置２１および文字認識装置２４は，文書登録プログラム８１０に対応する。
【００３９】
キーボード７００は、登録者からテキスト入力などを行う。マウス７０１は、利用者からのディスプレイ画面上のボタン操作などを行う。外部記憶装置７０２は、文書ファイル１５を記憶したフロッピー（登録商標）ディスクやコンパクトディスクなどの記憶メディアから文書ファイル１５を入力したり、データメモリ８０１に記憶されたデータを記憶メディアに出力したりする。ディスプレイ７０３は、登録者に操作画面などを表示する。ＣＰＵ７０４はプログラムメモリ８００中のプログラムを実行する。通信回路７０５は、サーバ装置３２０間でネットワーク３６を経由してデータメモリ８０１に記憶されたデータの転送を行う。プログラムメモリ８００は、図２の各部の動作を実行する文書登録プログラム８１０を格納する。データメモリ８０１は、文書情報１２０、文書属性情報１２１、単語照合辞書１２２、単語情報１２３、行リンク情報１２４、単語リンク情報１２５、文字情報１２６と、文書登録プログラム８１０が使用する作業用の一時データを格納する。
【００４０】
以下、本実施形態のリンク先登録のために文書登録装置３００において、リンク先ＵＲＬ２２３を登録者が操作する手順を、図６を用いて説明する。図６は、本実施形態のディスプレイ７０３に表示する画面の例である。
ＣＰＵ７０４で実行される文書登録プログラム８１０は、登録者が操作する画面をディスプレイ７０３に表示し、キーボード７００およびマウス７０１を操作し入力操作を受け付ける。ボタンは、マウス７０１を利用して選択することができる。入力フィールドは、キーボード７００を操作し文字を入力することができる。
【００４１】
文書登録プログラム８１０を起動すると、最初に文書登録画面６００を表示する。最初に文書を登録する手順を説明する。文書登録画面６００は、現在登録されている文書情報１２０を一覧表示する。登録者は、新規に文書を追加したい場合、追加ボタン６０１を選択することにより文書情報画面６１０を表示させることができる。登録した文書中登録を削除する場合は、削除したい項目の削除ボタン６０３を選択することにより、文書情報１２０より選択した文書情報を削除し、一覧表示から削除する。文書のリンク情報を設定する場合は、設定する文書の項目の設定ボタン６０２を選択することにより、リンク登録画面６２０を表示する。
【００４２】
文書情報画面６１０は、文書番号フィールド６１１に自動的に設定した文書番号２００を表示し、タイトルフィールド６１２にタイトル２０１を入力する。登録者は、開くボタン６１３を選択することにより、文書ファイル１５を入力する。入力した文書ファイル１５のページ数などの文書情報は文書情報表示フィールド６１４に表示される。登録者は、登録内容に問題がないことを確認し、登録ボタン６１５を選択することにより文書の解析が開始され文書登録画面６００を表示する。登録をキャンセルする場合は、キャンセルボタン６１６を選択することで文書情報１２０に登録されず、文書登録画面６００を表示する。
【００４３】
次にリンク情報を設定する手順を説明する。リンク登録画面６２０では、登録者がリンク先フィールド６２１に、文書全体に設定したいリンク先ＵＲＬ２２３を記入し、確定ボタン６２２で確定する。登録者は必要に応じて以下同様に確認ボタン６２３を選択することによりリンク確認画面６６０を表示する。登録者は、確定ボタン６２２を選択することにより、文書番号２２３および入力したリンク先ＵＲＬ２２３を、文書リンクテーブル２４０に登録する。ページ単位のリンク情報の設定では、ページ一括設定ボタン６２４の選択で、ページ設定画面６３０を表示する。行単位のリンク情報の設定では、行一括設定ボタン６２５の選択で、行設定画面６４０を表示する。単語単位のリンク情報設定では、単語設定６２６ボタンの選択で、単語設定画面６５０を表示する。以下同様に戻るボタン６２７の選択で、前画面を表示する。
リンク確認画面６６０は、設定したリンク先ＵＲＬ２２３に対応した画像などを表示画面６６２に表示する。リンク先ＵＲＬ２２３が誤った場合は、リンク先フィールド６６１に修正したリンク先ＵＲＬ２２３を記入し、更新ボタン６６３を選択することによりリンク先フィールド６２１に反映する。
【００４４】
ページ設定画面６３０は、登録者が追加ボタン６０１の選択で設定項目を追加し、追加した設定項目のページ数入力フィールド６３１に設定したいページ番号２１０、リンク先フィールド６２１にリンク先ＵＲＬ２２３をそれぞれ入力する。確定ボタン６２２の選択により、リンク先ＵＲＬ２２３、ページ番号２１０を、ページリンクテーブル２５０に登録する。
【００４５】
行設定画面６４０は、登録者がページ設定フィールド６４１に設定したいページ番号２１０を入力し、追加ボタン６０１の選択により設定項目を追加する。登録者は、追加した設定項目の行数入力フィールド６４２に設定したい行番号２１１、リンク先フィールド６２１にリンク先ＵＲＬ２２３をそれぞれ入力する。登録者は、確定ボタン６２２の選択により、ページ番号２１０、行番号２１１、リンク先ＵＲＬ２２３を、行リンクテーブル２６０に登録する。
【００４６】
単語設定画面６５０は、登録者がページ設定フィールド６４１に設定したいページ、行設定フィールド６５１に設定したい行を入力し、追加ボタン６０１の選択により設定項目を追加する。追加した設定項目の単語フィールド６５２にページ設定フィールド６４１および行設定フィールド６５１に入力したページと行に含まれている単語を単語情報１２３から取得し一覧表示する。登録者は、設定したい単語に対応したリンク先フィールド６２１にリンク先ＵＲＬ２２３を記入する。登録者は、確定ボタン６２２により、ページ設定フィールド６４１、行設定フィールド６５１、単語フィールド６５２、リンク先フィールド６２１のそれぞれに設定した値と、単語情報１２３の内、設定した単語の列番号２３３を単語リンク情報１２５に登録する。
【００４７】
図６の実施例では、画面を切り替えて設定を行う例を示したが、図７に示すように画面を遷移することなく一画面中で全ての設定を行うことももちろん可能である。
【００４８】
図７の動作を説明する。図７は本実施形態のリンク先登録のためにディスプレイ７０３に表示される他の画面の例である。図７において、登録画面１８０は、文書表示エリア１８１に設定を行う文書を表示し、行番号１８２に対応して行リンク設定フィールド１８５で行単位にリンク先ＵＲＬ２２３を設定する。またリンク先ＵＲＬ２２３を設定可能な単語は、文書表示エリア１８１に表示された文書中に設定枠１８３が表示され、単語リンク設定フィールド１８５で単語ごとにリンク先ＵＲＬ２２３を設定することができる。
【００４９】
次に、リンク先登録部１１１において図１１の行リンク情報１２４を作成する手順を、以下図１４のフローチャート図と図１３を用いて詳細に説明する。図１３は、本実施形態のリンク先登録部１１１が作成するデータの例、図１４は、本実施形態のリンク先登録部１１１の動作を示すフローチャート図である。
【００５０】
図１３において、文書リンクテーブル２４０は、文書毎に設定される文書リンクデータ２４３−１〜ｆから構成され、文書リンクデータ２４３−１〜ｆは、文書番号２００とリンク先ＵＲＬ２２３から構成される。ページリンクテーブル２５０は、ページ単位に設定するページリンクデータ２５３−１〜ｇから構成され、ページリンクデータ２５３−１〜ｇは、ページ番号２１０、リンク先ＵＲＬ２２３から構成される。行リンクテーブル２６０は、行単位に設定する行リンクデータ２６３−１〜ｈから構成され、行リンクデータ２６３−１〜ｈは、ページ番号２１０、行番号２１１、リンク先ＵＲＬ２２３から構成される。
【００５１】
行リンク情報１２４は、文書リンクテーブル２４０、ページリンクテーブル２５０、行リンクテーブル２６０から自動的に生成される。すなわち、行リンクテーブル２６０にリンク先ＵＲＬ２２３が設定しているか行単位に検査し（２８０）、検査した行のリンク先ＵＲＬ２２３が設定されている場合は、行リンク情報１２４に行リンクテーブル２６０の検査した行のリンク先ＵＲＬ２２３を設定する（２８１）。行リンクテーブル２６０の検査した行にリンク先ＵＲＬ２２３が設定されていない場合は、ページリンクテーブル２５０に、検査する行を含むページがリンク先ＵＲＬ２２３を設定しているか検査する（２８２）。リンク先ＵＲＬ２２３が設定されている場合は、ページリンクテーブル２５０の検査する行を含む指定ページのリンク先ＵＲＬ２２３を、行リンク情報１２４の検査する行のリンク先ＵＲＬ２２３として設定する（２８３）。ページリンクテーブル２５０の指定ページにリンク先ＵＲＬ２２３が設定していない場合は、文書リンクテーブル２４０の該当する文書番号２００に対応するリンク先ＵＲＬ２２３を、行リンク情報１２４の検査する行のリンク先ＵＲＬ２２３に設定する（２８４）。
【００５２】
図１の携帯端末装置３００とサーバ装置３２０の詳細を、図１５を用いて詳細に説明する。以下、図１５の携帯端末装置３００とサーバ装置３２０の各部の動作を、図１６のフローチャート図と図２０、図２１を用いて説明する。図１５は、本実施形態の携帯端末装置３００とサーバ装置３２０の動作を示すブロック図の例であり、図１６は、本実施形態の携帯端末装置３００とサーバ装置３２０の動作を示すフローチャート図である。図２０は、本実施形態の印刷した文書の例、図２１は、本実施形態のカメラ３０３で撮影した画像がディスプレイ７１６に表示する例である。
【００５３】
図１と図１５の各ブロックの対応を説明する。撮影装置２３はカメラ３０３に対応する。表示装置２２は，表示部３０５に対応する。文書選択装置２１は，文書選択部３０１に対応する。文字認識装置２４は，文字認識部３０４，単語照合部３２２，認識設定部３０２に対応する。
図１５において、最初にサーバ装置３２０は、文書登録装置１０から文書情報１２０、文書属性情報１２１、単語照合辞書１２２、行リンク情報１２４、単語リンク情報１２５、文字情報１２６を取得する（３５５）。この処理は文書登録時に一度だけ実行すればよい。
【００５４】
携帯端末装置３００において、文書選択部３０１は、サーバ装置３２０の文書情報１２０から利用者が選択した情報を文書選択情報１２７にコピーする（３５５）。さらに利用者は、文書選択情報１２７から検索対象の文書を選択する（３４０）。サーバ装置３２０の文書管理部３２１は、利用者が選択した文書の文書属性情報１２１、単語照合辞書１２２、行リンク情報１２４、単語リンク情報１２５、文字情報１２６を選択する（３５０）。認識設定部３０２は、文書管理部３２１が選択した文書属性情報１２１から文字認識部３０４のパラメータの設定を行い、単語照合辞書１２２を単語照合辞書３０７にコピーする（３４１）。カメラ３０３は、利用者の操作により印刷された文書３７０の一部の領域３７１を撮影する。文字認識部３０４は、カメラ３０３で撮影した画像中に含まれる文字の認識を行い、マーカ８４１を含む中心行３８５と、中心行３８５の上の行３８６、中心行３８５の下の行３８７の文字を認識し文字候補を出力する（３４３）。単語照合部３２２は、中心行３８５および上の行３８６、下の行３８７の文字候補から、単語照合辞書１２２に登録されている単語を利用して注目単語３８２、上単語３８３、下単語３８４を出力する（３５２）。
【００５５】
サーバ装置３２０において、検索部３２３は、注目単語３８２、上単語３８３、下単語３８４を利用し、文字情報１２６から単語の位置を検索し、検索の確信度を候補リスト１２８に登録する（３５３）。判定部３２４は、候補リストから最も確信度の高い単語と単語位置から、行リンク情報１２４および単語リンク情報１２５を利用してリンク先ＵＲＬ２２３を検索する（３５４）。携帯端末装置３００の表示部３０５は、判定部３２４で検索したリンク先ＵＲＬ２２３の情報をブラウザを利用して表示する（３４４）。
【００５６】
次に、検索部３２３の単語位置検索の詳細を図２３のフローチャート図と図２４を用いて以下説明する。図２３は、本実施形態の検索部３２３の動作を示すフローチャート図であり、図２４は、本実施形態の候補リスト１２８の例である。
【００５７】
図２４において、候補リスト１２８は、候補データ４２５−１〜ｉにより構成され、候補データ４２５−１〜ｉは、注目単語３８２の文書中の位置を示すページ番号２１０、行番号２１１、列番号２３３と、注目単語３８２の場所と一致する可能性を示す確信度４２４からなる。
【００５８】
検索部３２３は、注目単語３８２を単語情報１２３から検索し、注目単語３８２と同一の単語２３０の行番号２１１と列番号２３３を取得する（４００）。単語情報１２３で検索した単語２３０の上下の行に含まれる単語から、上単語３８３、下単語３８４と同一の単語２３０を検索し（４０１）、上単語３８３、下単語３８４の存在の判定を行う（４０２）。上単語３８３、下単語３８４が見つからない場合は、単語情報１２３の次の単語から検索を継続する。単語情報１２３に上単語３８３または下単語３８４が存在した場合は、注目単語と上単語３８３および下単語３８４との位置関係を判定する（４０３）。位置関係が閾値内であれば、注目単語の文字位置を算出し、確信度４２４と共に候補リスト１２８に登録する（４０４）。候補リスト１２８の確信度４２４は、注目単語３８２と上単語３８３または下単語３８４との列番号２３３の差と、上単語３８３または下単語３８４の存在により決定する。単語情報１２３全てに対して、注目単語３８２の文字位置の検索を繰り返す（４０５）。
【００５９】
本発明のサーバ装置３００の実施形態では、検索部３２３は、単語情報１２３を使用して文字列位置を検索したが、文字情報１２６を利用することも可能である。すなわち、単語情報１２３から列番号を取得する代わりに、文字情報１２６の文字列から単語を検索し、単語の位置を文字列の文字数から逐次計算することにより、列番号を得ることができる。
【００６０】
次に、判定部３２４の動作の詳細を図１１、図１２、図２１、図２２、図２４および図２５のフローチャート図を用いて以下説明する。図２２は、本実施形態のカメラ３０３で撮影した画像がディスプレイ３０６に表示する他の例、図２５は、本実施形態の判定部３２４の動作を示すフローチャート図である。
【００６１】
判定部３２４は、候補リスト１２８中の候補データ４２５−１〜ｉから確信度４２４が最も大きい候補データ４２５−ｎ検索する（３６５）。注目単語３８２上にマーカ３８１が設定されていたか判定する（３６１）。注目単語３８２上にマーカ３８１がある場合は、単語リンク情報１２５の単語リンクデータ２３５−１〜eより、候補データ４２５−ｎのページ番号２１０、行番号２１１、列番号２３３と一致する、単語リンクデータ２３５−ｍを検索する（３６２）。つぎに、注目単語３８２と単語リンクデータ２３５−ｍの単語２３０を照合する（３６３）。一致した場合は、単語リンクデータ２３５−ｍのリンク先ＵＲＬ２２３を出力する（３６４）。一致しない場合は、および注目単語３８２の判定（３６１）で図２２に示すようにマーカ３８１と注目単語３８２がずれている場合は、行リンク情報１２４の行リンクデータ２２２−１〜ｂより、候補データ４２５−ｎのページ番号２１０、行番号２１１が一致する行リンクデータ２２２−ｒを検索する（３６５）。検索されたリンク先ＵＲＬ２２３を出力する（３６４）。
【００６２】
本発明の実施形態では、判定部は、単語リンク情報１２５と行リンク情報１２４を用いて単語単位あるいは行単位のリンク先ＵＲＬ２２３の検索を行ったが、文リンク情報５９０から文単位のリンク先ＵＲＬ２２３を検索することも可能である。文単位のリンク先ＵＲＬ２２３の検索は、まず最初に注目単語３８２の文書中の位置を示すページ番号２１０、行番号２１１、列番号２３３を単語情報１２３から取得する。次に取得したページ番号２１０と同一であり、かつ、行番号２１１が文字の始点の行番号２７３と終点の行番号２７１以内であり、かつ、列番号２３３が文字の始点の列番号２７４と終点の列番号２７２以内である文リンク情報５９０中のリンク先ＵＲＬ２２３を出力する。文のリンク情報としてリンク先ＵＲＬとしたが、例えば日本語の文は英訳文を、英語の文は和訳を情報として出力することも可能である。
【００６３】
携帯端末装置３００のハードウェア構成を、図１７を用いて説明する。図１７は、本実施形態の携帯端末装置３００のハードウェア構成図の例である。図１と図１７の各ブロックの対応を説明する。入力装置２０は，入力キー７１０に対応する。撮影装置２３は，カメラ３０３に対応する。表示装置２２は，ディスプレイ７１６に対応する。通信装置２５は，通信回路７１３に対応する。文字選択装置２１と文字認識装置２４は，文字認識プログラム８２０に対応する。
【００６４】
図１７において、入力キー７１０は、検索対象の文書選択やカメラ設定を行う。通信回路７１３は、サーバ装置３２０の通信回路７１４とネットワーク３６を介して接続し、カメラ３０３で撮影した画像中から文字認識にて得た文字列の送信と、文字列に関連した情報の受信を行う。ディスプレイ７１６は、カメラで撮影する画像の表示や文書選択を行う。文字認識プログラム８２０は、携帯端末装置３００の動作を行うプログラムである。データメモリ８０１は、文書選択情報１２７と単語照合辞書３０７を格記憶する。
【００６５】
サーバ装置３２０のハードウェア構成を、図１８を用いて説明する。図１８は、本実施形態のサーバ装置３２０のハードウェア構成図の例である。図１と図１８の各ブロックの対応を説明する。通信装置３０は，通信回路７１４に対応する。通信回路３３は，第２の通信回路７１５に対応する。位置検索装置３４と情報検索装置３１は，文書検索プログラム８４０に対応する。記憶装置３２は，データメモリ８０１に対応する。
【００６６】
図１８において、第２の通信回路７１５は、文書登録装置１０とネットワーク２６を介して接続し、文書登録装置１０のデータメモリ８０１に記憶したデータを受信し、サーバ装置３２０のデータメモリ８０１に格納する。文書検索プログラム８４０は、サーバ装置３２０の動作を行うプログラムである。データメモリ８０１は、受信した、文書情報１２０、文書属性情報１２１、単語照合辞書１２２、行リンク情報１２４、単語リンク情報１２５、単語情報１２３と、候補リスト１２８を記憶する。
【００６７】
携帯端末装置３００のディスプレイ７１６に表示される画面の遷移を、以下図１９を用いて詳細に説明する。図１９は、本実施形態のディスプレイ３０６に表示する画面遷移図の例である。以下ボタンは、入力キー７１０により選択される。また戻るボタン９１３の選択により前画面を表示する。文字認識プログラム８２０は、起動するとディスプレイ７１６に文書選択画面９００を表示する。文書選択画面９００は、利用可能な文書を文書選択情報１２７から読み出し、文書リスト９０１に表示する。利用者は、文書リスト９０１に利用する文書が表示されていない場合、追加ボタン９０２を選択することにより文書追加画面９１０を表示する。また、文書選択情報１２７から不要な文書情報を削除したい場合は、文書リスト９０１から削除する文書を選択し削除ボタン９０３を選択することにより文書選択情報１２７から該当する文書情報を削除する。検索を実行したい場合は、文書リスト９０１から文書を選択し選択ボタン９０４を選択することにより、文書確認画面９３０を表示する。文書追加画面９１０は、文書一覧９１１に、文書情報１２０に登録されている文書の一覧を表示し、文書一覧９１１から文書選択情報１２７に追加したい文書を選択し詳細ボタン９１２を選択することにより文書詳細画面９２０を表示する。文書詳細画面９２０は、選択した文書の詳細情報を詳細表示９２１に表示する。
【００６８】
利用者は、タイトルや課金情報などを確認して登録ボタン９２２を選択することにより、文書選択情報１２７に選択した文書の文書情報を追加する。文書確認画面９３０は、詳細表示９３１に選択した文書の詳細情報を表示し、利用者は、タイトルや課金情報などを確認して、問題がなければ確認ボタン９３２を選択することにより撮影画面９４０を表示する。撮影画面９４０は、撮影する画像を表示画像３８０に表示し、利用者がマーカ３８１を検索したい文字に合わせ、検索ボタン９４３を選択することにより検索を実行し、検索が完了すると確認画面９５０を表示する。確認画面９５０は、リンク情報表示９５１に検索したリンク先ＵＲＬ２２３を表示する。利用者は、検索結果に誤りがなければ表示ボタン９５２を選択し、ブラウザ９６０を表示する。ブラウザ９６０は、リンク先ＵＲＬ２２３の情報を表示する。
【００６９】
携帯端末装置３００とサーバ装置３２０において、単語照合の別の方法について図２６のブロック図を図２７のフローチャート図を用いて詳細に説明する。図２６は、本実施形態の携帯端末装置３００とサーバ装置３２０の他の動作を示すブロック図、図２７は、本実施形態の携帯端末装置３００とサーバ装置３２０の他の動作を示すフローチャート図である。
【００７０】
携帯端末装置３００は、あらかじめ第１の単語照合辞書５０１を備える。第２の単語照合辞書５０６は、単語照合辞書１２２と第１の単語照合辞書５０１との差で作成される。文書の選択（３４０）により、選択した文書に対応する第２の単語照合辞書５０１をデータメモリ８０１にロードする（５２１）。カメラ３０３から入力した画像は、文字認識部３０４で文字認識し文字候補を出力する（３４３）。第１の単語照合部５００は、第１の単語照合辞書５０１を利用して文字候補から単語を照合し（５１４）、第１の単語照合辞書５０１に登録された単語と文字候補が一致するか判定する（５１５）。第１の単語照合辞書５０１の単語と一致した場合は、単語をサーバ装置３２０の検索部３２３に送信し、検索部３２３は、単語の文書中の位置の検索を行う（３５４）。一致しない場合は、サーバ装置３２０の第２の単語照合部５０５で第２の単語照合辞書５０６を利用して単語を照合する（５２２）。本発明の実施形態では、第２の単語照合辞書５０６をサーバ装置３２０に持つ例を示したが、携帯端末装置３００にダウンロードし、携帯端末３００側で第１の単語照合辞書５０１と第２の単語照合辞書５０６を利用して単語照合部３２２で単語照合を行うことも可能である。
【００７１】
次に文字認識部３０４と認識設定部３０２の動作の詳細を、図３０と図３１を用いて以下説明する。図３０は、本実施形態の文字認識部３０４と認識設定部３０２の動作を示す図の例、図３１は、本実施形態の文書属性情報１２１の例である。文書属性情報１２１は、複数の文書属性７３−１〜７３−ｊにより構成され、文書属性７３−１〜７３−ｊは、文書番号２００、二値化モード７０、文字方向７１、文字コード７２により構成する。
【００７２】
認識設定部３０２は、サーバ装置３２０から受信した文書属性情報１２１から、選択した文書の文書番号２００に対応する二値化モード７０の値により、二値化処理部５１の第１の画像二値化処理６０と第２の画像二値化処理６１を切り換える。また、文字方向７１の値により、文字行切り出し部５２の縦書き処理部６２と横書き処理部６３を切り換える。また、文字コード７２の値により、識別部６４が識別辞書６５中の文字コード７２で指定した文字コードの特徴量と比較するように設定する。なお、識別処理部５５において、識別部６４は、特徴抽出部５４の文字ごとの特徴量と、識別辞書６５に登録されている全ての文字コードの特徴量とを比較する。判定部６６は、比較の差が小さい順に文字コードを出力する。
【００７３】
本発明の文書情報検索システムの利用形態を、以下図３５を用いて詳細に説明する。図３５は、本実施形態の文書情報登録システムを運用するためのシステム利用形態の例である。出版社９５６は、発行する文書の著者から原稿受け取り、キーボード９５０よりＤＴＰ９５１に入力し編集を行う。ＤＴＰ９５１は、原稿の校正のためＰＤＦファイル９５２に出力し、プリンタ９５３で校正用原稿９５４を出力する。校正が終了した原稿は、ＤＴＰ９５１から出版用印刷データ９５５を出力し、印刷機９５６にて販売用の書籍９５７を印刷する。文書登録装置１０は、校正のため出力するＰＤＦファイル９５２を入力し、文書に関連情報を付加した検索用ＤＢを作成する。作成したＤＢは、ネットワーク２６を経由して、コンテンツプロバイダ９５８のサーバ装置３００に転送する。利用者は、出版した書籍９５７を購入し、携帯端末装置３２０を使用して書籍９５７の一部画像を撮影する。携帯端末装置３２０は、画像中から認識した文字列を、ネットワーク３６を経由してサーバ装置３００に転送する。サーバ装置３００は、検索用ＤＢから文字列に関連した情報を検索する。検索した情報は、携帯端末装置３００に表示する。
【００７４】
また、出版社９６０は、既に出版されている書籍９５７を、スキャナ９６１から各ページを画像として入力する。ＯＣＲ９６２は、各ページの画像から文字を認識するとともに文字画像の位置も検出する。構造化９５８は、文字と文字位置からＰＤＦファイル９５２を作成する。文書登録装置１０は、ＰＤＦファイル９５２を入力して、文書に関連情報を付加した検索用ＤＢを作成する。
【００７５】
以上で説明した、ＰＤＡファイルから検索用ＤＢを作成する手順は、もちろん出版社以外の第三者が請け負ってもよい。
本発明の実施形態では、文書に関連する情報としてＵＲＬを想定したが、ＵＲＬの他に、直接文字、音、画像といった情報を直接送ることももちろん可能である。
【００７６】
日本語文書を対象としているが、もちろん英文など各国語にも適応することは容易である。例えば英文やハングル語などは単語がスペースで区切られているため、形態素解析を行うことなく容易に単語単位に切り出すことが可能であり、また注目単語の上下行の単語に加え、注目単語の左右の単語を利用して注目単語の位置を検索することも可能である。
【００７７】
実施例では、携帯端末装置とサーバ装置で分けたが処理の分担を制限することはない。例えば、単語照合を携帯端末装置で実施したがサーバ装置で実施することも可能である。また、例えば、文字認識を携帯端末装置で実施したがサーバ装置で実施することも可能である。また、サーバ装置と携帯端末装置に分けたが、サーバ装置の動作と携帯端末の動作が同一装置内で実行することも可能である。
【００７８】
実施例では、携帯端末装置３２０のプログラムメモリ８００に文字認識プログラム８２０があらかじめ記憶されていたが、サーバから文字認識プログラム８２０をダウンロードして実行することも可能である。また、実施例では検索対象の文書を選択したが検索対象の文書にあわせて文書に対応した文字認識プログラム８２０をダウンロードすることも可能である。
【００７９】
実施例では、単語位置検索に注目単語３８２、上単語３８３、下単語３８３の３単語を使ったが、、検索に利用する単語の数を制限するものではない。
実施例では、電子ファイルから入力したが例えば既に印刷した文書をＯＣＲを利用して文字および文字位置を取得することも可能である。
【００８０】
実施例では、リンク先ＵＲＬ２２３の設定を行または単語単位としたが、文単位にリンク先ＵＲＬを設定することも可能である。例えば図２８に示すように、文の開始の行番号２１１と列番号２３３、および文の終了の行番号２７１と列番号２７２に体操してリンク先ＵＲＬ２２３を記憶することにより、検索した単語が設定した文と開始と終了内にあれば、該当するリンク先ＵＲＬ２２３を出力することも可能である。これにより、例えば日本語文章であれば英訳文や英語の文書なら和訳を情報とすることももちろん可能である。
【図面の簡単な説明】
【００８１】
【図１】本実施形態の全体構成図の例。
【図２】本実施形態の文書登録装置の動作を示すブロック図の例。
【図３】本実施形態の文書登録装置の動作を示すフローチャート図。
【図４】本実施形態の文書登録装置のハードウェア構成図の例。
【図５】本実施形態で入力される文書ファイルの例。
【図６】本実施形態のディスプレイ７０３に表示される画面の例。
【図７】本実施形態のディスプレイ７０３に表示される他の画面の例。
【図８】本実施形態の文書情報１２０の例。
【図９】本実施形態の文字情報１２６の例。
【図１０】本実施形態の単語情報１２３の例。
【図１１】本実施形態の行リンク情報１２４の例。
【図１２】本実施形態の単語リンク情報１２５の例。
【図１３】本実施形態のリンク先登録部１１１が作成するデータの例。
【図１４】本実施形態のリンク先登録部１１１の動作を示すフローチャート図。
【図１５】本実施形態の携帯端末装置３００とサーバ装置３２０の動作を示すブロック図の例。
【図１６】本実施形態の携帯端末装置３００とサーバ装置３２０の動作を示すフローチャート図。
【図１７】本実施形態の携帯端末装置３００のハードウェア構成図の例。
【図１８】本実施形態のサーバ装置３２０のハードウェア構成図の例。
【図１９】本実施形態のディスプレイ７１６に表示される画面遷移図の例。
【図２０】本実施形態の印刷された文書の例。
【図２１】本実施形態のカメラ３０３で撮影した画像がディスプレイ７１６に表示される例。
【図２２】本実施形態のカメラ３０３で撮影した画像がディスプレイ７１６に表示される他の例。
【図２３】本実施形態の検索部３２３の動作を示すフローチャート図。
【図２４】本実施形態の候補リスト１２８の例。
【図２５】本実施形態の判定部３２４の動作を示すフローチャート図。
【図２６】本実施形態の携帯端末装置３００とサーバ装置３２０の他の動作を示すブロック図。
【図２７】本実施形態の携帯端末装置３００とサーバ装置３２０の他の動作を示すフローチャート図。
【図２８】本実施形態の文字情報１２６の作成手順を示すフローチャート図。
【図２９】本実施形態の文情報５８０の作成手順示すフローチャート図。
【図３０】本実施形態の文情報５８０の例。
【図３１】本実施形態の文リンク情報５９０の例。
【図３２】本実施形態の文字認識処理の例。
【図３３】本実施形態の文字認識部３０４と認識設定部３０２の動作を示す図の例。
【図３４】本実施形態の文書属性情報１２１の例。
【図３５】本実施形態の文書情報登録システムを運用するためのシステム利用形態の例。
【符号の説明】
【００８２】
１０ 文書登録装置、２０ 入力装置、２１ 文書選択装置、２２ 表示装置、２３ 撮影装置、２４ 文字認識装置、２５ 通信装置、２６ ネットワーク、
３０ 通信装置、３１ 情報検索装置、３２ 記憶装置、３３ 通信装置、３４ 位置検索装置、３６ ネットワーク、
４１ 文書入力装置、４２ 解析装置、４３ 登録装置、４４ 記憶装置、４５ 入力装置、４６ 通信装置、
３００ サーバ装置、３２０ 携帯端末装置。
【特許請求の範囲】
【請求項１】
文書の一部である画像に含まれる注目文字列と該注目文字列の周辺の文字列を用いて情報検索を行うための情報検索システムであって、
該情報検索の対象である文書を記述した文書ファイルを入力し、文書中の文字列を抽出する文字列抽出手段と、前記文字列の前記文書中の位置を示す位置情報を登録する位置登録手段と、前記文字列に関連した情報を示す関連情報を登録する情報登録手段と、前記位置情報と前記関連情報を記憶する記憶手段とを備える文書登録装置と、
該文書登録装置と接続され、前記記憶手段とデータを共有する第２の記憶手段と、端末から入力される注目文字列及びその周辺文字列の情報に基づいて前記関連情報から前記注目文字列を含む前記構成要素に関連した情報を検索する情報検索手段と、前記検索手段に検索した情報を出力する出力手段を備える文書情報検索装置とを有することを特徴とする文書情報検索システム。
【請求項２】
請求項１記載の文書情報検索システムにおいて、前記文字列抽出手段は、文書の文書構造を記述した文書ファイルを入力し、文書構造を解析し、ページ構造、文字幅、文字間隔、始点座標、などのパラメータを抽出するパラメータ抽出手段と、前記パラメータから文字ごとに文字の始点座標を算出する座標算出手段と、前記始点座標からベースラインが同一の始点座標を持つ文字を文字列として出力することを特徴とする文書情報検索システム。
【請求項３】
請求項２記載の文書情報検索システムにおいて、前記文字列抽出手段は、前記行の文字列を形態素に分割する形態素解析手段を設け、前記形態素を文字列を出力することを特徴とする文書情報検索システム。
【請求項４】
請求項３記載の文書情報検索システムにおいて、前記形態素解析手段は、前記形態素から不要な形態素を除去した形態素を文字列を出力することを特徴とする文書情報検索システム。
【請求項５】
請求項３記載の文書情報検索システムにおいて、前記文字列抽出手段は、前記形態素を構成する文字列を分割、または隣り合う形態素を構成する文字列を合成した文字列を出力することを特徴とする文書情報検索システム。
【請求項６】
請求項２記載の文書情報検索システムにおいて、前記パラメータ抽出手段は、書体、字体、文字サイズのパラメータを抽出し、前記パラメータから見出しを抽出する見出し抽出手段と、前記行の文字列中の句点を判別し、文を抽出する文抽出手段を設け、前記見出しおよび前記文を文字列とし、前記位置登録手段は、前記文字列の前記文書中の位置を登録し、前記情報登録手段は、前記文字列に関連する情報を登録することを特徴とする文書情報検索システム。
【請求項７】
請求項１記載の文書情報検索システムにおいて、前記文書登録装置は、前記文書ファイルから行間隔および文字方向、または文字間隔を抽出する属性設定手段を設け、前記属性情報を、前記情報検索の際の文字列認識のための文字行切り出しにおいて参照するために前記記憶手段に記憶することを特徴とする文書情報検索システム。
【請求項８】
請求項１記載の文書情報検索システムにおいて、前記文書登録装置は、前記文書ファイルから前記文書ファイルで使用されている文字コードを抽出する属性設定手段を設け、前記属性情報を、前記情報検索の際の文字列認識のための文字認識において参照するために前記記憶手段に記憶するとともに、前記識別手段は、前記属性情報の前記文字コードに含まれている文字コードのみを出力することを特徴とする文書情報検索システム。
【請求項９】
請求項３記載の文書情報検索システムにおいて、前記文書登録装置は、全ての登録される前記文字列を使って単語照合辞書を作成する照合辞書作成手段を設け、前記記憶手段は前記単語照合辞書を記憶することを特徴とする文書情報検索システム。
【請求項１０】
請求項９記載の文書情報検索システムにおいて、特定の文字列で作成した第１の単語照合辞書を備え、前記照合辞書作成手段は、登録する文書から抽出した前記文字列と、第１の単語照合辞書に登録されている文字列との差分の文字列から第２の単語照合辞書を作成し、前記単語照合手段は、第１の単語照合辞書を利用する第１の単語照合手段と、第２の単語照合辞書を利用する第２の単語照合手段からなり、前記第１の単語照合手段にて前記第１の単語照合辞書に登録した文字列が検索されない場合、前記第２の単語照合手段にて前記第２の単語照合辞書を利用して文字列を出力することを特徴とする文書情報検索システム。
【請求項１１】
請求項１記載の文書情報検索システムにおいて、登録した文書毎に前記記憶手段に記憶した前記関連情報、前記位置情報、前記属性情報、前記単語照合辞書を選択する文書選択手段を設けることを特徴とする文書情報検索システム。
【請求項１２】
請求項２記載の文書情報検索システムにおいて、前記関連情報は、文書中の構成要素が含む文字が少ない順に、前記構成要素を行単位に展開して前記記憶手段に登録し、前記情報検索手段は、行単位に前記注目文字列を含む行の前記関連情報を検索することを特徴とする文書情報検索システム。
【請求項１３】
文書の一部に含まれる注目文字列と該注目文字列の周辺の文字列を用いて情報検索を行う情報検索システムのための文書登録装置であって、
該情報検索の対象である文書を記述した文書ファイルを入力し、文書中の文字列を抽出する文字列抽出手段と、前記文字列の前記文書中の位置を示す位置情報を登録する位置登録手段と、前記文字列に関連した情報を示す関連情報を登録する情報登録手段と、前記位置情報と前記関連情報を記憶する記憶手段とを備えることを特徴とする文書登録装置。
【請求項１４】
文書の一部に含まれる注目文字列と該注目文字列の周辺の文字列を用いて情報検索を行う情報検索システムのための文書登録方法であって、
入力部における、
該情報検索の対象である文書を記述した文書ファイルの入力を受ける文書ファイル入力ステップと、
処理部における、
該文書中の文字列を抽出する文字列抽出ステップと、
前記文字列の前記文書中の位置を示す位置情報を登録する位置登録ステップと、
前記文字列に関連した情報を示す関連情報を記憶装置に登録する情報登録ステップとを有することを特徴とする文書登録方法。
【請求項１】
文書の一部である画像に含まれる注目文字列と該注目文字列の周辺の文字列を用いて情報検索を行うための情報検索システムであって、
該情報検索の対象である文書を記述した文書ファイルを入力し、文書中の文字列を抽出する文字列抽出手段と、前記文字列の前記文書中の位置を示す位置情報を登録する位置登録手段と、前記文字列に関連した情報を示す関連情報を登録する情報登録手段と、前記位置情報と前記関連情報を記憶する記憶手段とを備える文書登録装置と、
該文書登録装置と接続され、前記記憶手段とデータを共有する第２の記憶手段と、端末から入力される注目文字列及びその周辺文字列の情報に基づいて前記関連情報から前記注目文字列を含む前記構成要素に関連した情報を検索する情報検索手段と、前記検索手段に検索した情報を出力する出力手段を備える文書情報検索装置とを有することを特徴とする文書情報検索システム。
【請求項２】
請求項１記載の文書情報検索システムにおいて、前記文字列抽出手段は、文書の文書構造を記述した文書ファイルを入力し、文書構造を解析し、ページ構造、文字幅、文字間隔、始点座標、などのパラメータを抽出するパラメータ抽出手段と、前記パラメータから文字ごとに文字の始点座標を算出する座標算出手段と、前記始点座標からベースラインが同一の始点座標を持つ文字を文字列として出力することを特徴とする文書情報検索システム。
【請求項３】
請求項２記載の文書情報検索システムにおいて、前記文字列抽出手段は、前記行の文字列を形態素に分割する形態素解析手段を設け、前記形態素を文字列を出力することを特徴とする文書情報検索システム。
【請求項４】
請求項３記載の文書情報検索システムにおいて、前記形態素解析手段は、前記形態素から不要な形態素を除去した形態素を文字列を出力することを特徴とする文書情報検索システム。
【請求項５】
請求項３記載の文書情報検索システムにおいて、前記文字列抽出手段は、前記形態素を構成する文字列を分割、または隣り合う形態素を構成する文字列を合成した文字列を出力することを特徴とする文書情報検索システム。
【請求項６】
請求項２記載の文書情報検索システムにおいて、前記パラメータ抽出手段は、書体、字体、文字サイズのパラメータを抽出し、前記パラメータから見出しを抽出する見出し抽出手段と、前記行の文字列中の句点を判別し、文を抽出する文抽出手段を設け、前記見出しおよび前記文を文字列とし、前記位置登録手段は、前記文字列の前記文書中の位置を登録し、前記情報登録手段は、前記文字列に関連する情報を登録することを特徴とする文書情報検索システム。
【請求項７】
請求項１記載の文書情報検索システムにおいて、前記文書登録装置は、前記文書ファイルから行間隔および文字方向、または文字間隔を抽出する属性設定手段を設け、前記属性情報を、前記情報検索の際の文字列認識のための文字行切り出しにおいて参照するために前記記憶手段に記憶することを特徴とする文書情報検索システム。
【請求項８】
請求項１記載の文書情報検索システムにおいて、前記文書登録装置は、前記文書ファイルから前記文書ファイルで使用されている文字コードを抽出する属性設定手段を設け、前記属性情報を、前記情報検索の際の文字列認識のための文字認識において参照するために前記記憶手段に記憶するとともに、前記識別手段は、前記属性情報の前記文字コードに含まれている文字コードのみを出力することを特徴とする文書情報検索システム。
【請求項９】
請求項３記載の文書情報検索システムにおいて、前記文書登録装置は、全ての登録される前記文字列を使って単語照合辞書を作成する照合辞書作成手段を設け、前記記憶手段は前記単語照合辞書を記憶することを特徴とする文書情報検索システム。
【請求項１０】
請求項９記載の文書情報検索システムにおいて、特定の文字列で作成した第１の単語照合辞書を備え、前記照合辞書作成手段は、登録する文書から抽出した前記文字列と、第１の単語照合辞書に登録されている文字列との差分の文字列から第２の単語照合辞書を作成し、前記単語照合手段は、第１の単語照合辞書を利用する第１の単語照合手段と、第２の単語照合辞書を利用する第２の単語照合手段からなり、前記第１の単語照合手段にて前記第１の単語照合辞書に登録した文字列が検索されない場合、前記第２の単語照合手段にて前記第２の単語照合辞書を利用して文字列を出力することを特徴とする文書情報検索システム。
【請求項１１】
請求項１記載の文書情報検索システムにおいて、登録した文書毎に前記記憶手段に記憶した前記関連情報、前記位置情報、前記属性情報、前記単語照合辞書を選択する文書選択手段を設けることを特徴とする文書情報検索システム。
【請求項１２】
請求項２記載の文書情報検索システムにおいて、前記関連情報は、文書中の構成要素が含む文字が少ない順に、前記構成要素を行単位に展開して前記記憶手段に登録し、前記情報検索手段は、行単位に前記注目文字列を含む行の前記関連情報を検索することを特徴とする文書情報検索システム。
【請求項１３】
文書の一部に含まれる注目文字列と該注目文字列の周辺の文字列を用いて情報検索を行う情報検索システムのための文書登録装置であって、
該情報検索の対象である文書を記述した文書ファイルを入力し、文書中の文字列を抽出する文字列抽出手段と、前記文字列の前記文書中の位置を示す位置情報を登録する位置登録手段と、前記文字列に関連した情報を示す関連情報を登録する情報登録手段と、前記位置情報と前記関連情報を記憶する記憶手段とを備えることを特徴とする文書登録装置。
【請求項１４】
文書の一部に含まれる注目文字列と該注目文字列の周辺の文字列を用いて情報検索を行う情報検索システムのための文書登録方法であって、
入力部における、
該情報検索の対象である文書を記述した文書ファイルの入力を受ける文書ファイル入力ステップと、
処理部における、
該文書中の文字列を抽出する文字列抽出ステップと、
前記文字列の前記文書中の位置を示す位置情報を登録する位置登録ステップと、
前記文字列に関連した情報を示す関連情報を記憶装置に登録する情報登録ステップとを有することを特徴とする文書登録方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【公開番号】特開２００６−１４６６２７（Ｐ２００６−１４６６２７Ａ）
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願番号】特願２００４−３３６８５６（Ｐ２００４−３３６８５６）
【出願日】平成１６年１１月２２日（２００４．１１．２２）
【出願人】（５０４３７３０９３）日立オムロンターミナルソリューションズ株式会社 (1,225)
【Ｆターム（参考）】
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願日】平成１６年１１月２２日（２００４．１１．２２）
【出願人】（５０４３７３０９３）日立オムロンターミナルソリューションズ株式会社 (1,225)
【Ｆターム（参考）】
[ Back to top ]