多言語文書解析装置
【課題】文書中の画像に記載された文字の言語の種類を高速かつ高精度に判定できる多言語文書解析装置を提供する。
【解決手段】電子文書１０１から抽出したテキストの言語種類を判定し、この判定結果から画像に記載された文字を文字認識する際の言語種類を選定するとともに、選定した言語種類で電子文書１０１から抽出した画像を文字認識し、この文字認識結果から当該画像に記載された文字の言語種類を判定する。
【解決手段】電子文書１０１から抽出したテキストの言語種類を判定し、この判定結果から画像に記載された文字を文字認識する際の言語種類を選定するとともに、選定した言語種類で電子文書１０１から抽出した画像を文字認識し、この文字認識結果から当該画像に記載された文字の言語種類を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、文書中の画像に記載された文字の言語種類を判定する多言語文書解析装置に関するものである。
【背景技術】
【０００２】
複数の言語が混在している文書ファイル群に対し、これらを横通しで全文検索する要求がある。文書内の電子的なテキストは、言語の種類が不明であっても既存のＮ−Ｇｒａｍ検索方式を用いれば全文検索できる。また、文書内の画像部分は、文字認識処理を行ってテキストを抽出することができれば、全文検索が可能である。
しかしながら、画像中の文字を文字認識する場合、その言語に対応した文字認識処理を適用しなければならず、このため、画像中の文字言語を自動判定する処理が必要となる。このような画像に対する言語判定処理として大きく２つの従来技術が存在する。
１つは、画像中から画像処理的に抽出した特徴量を用いて言語の種類を判別するものである。例えば、特許文献１及び特許文献２がある。
また、もう１つは、文字認識処理の結果に基づいて言語の種類を判定するものである。この例として特許文献３がある。
【０００３】
図７は、従来の言語種類の判定処理を説明するための図である。図７の例では、日本語の文字列７０１及び英語の文字列７０２を示しており、これらの文字列は、各文字が矩形領域７０３で囲まれている。
特許文献１に記載の発明では、図７に示す文字列７０１，７０２から、個々の文字を囲む矩形領域７０３の高さを算出し、矩形領域の高さ／文字列の高さの比率が閾値を超える個数をＮ、閾値以下の個数をＭとして、Ｎ／Ｍの値が大きいと、その文字列は日本語であると判定し、Ｎ／Ｍの値が小さい場合には英語であると判定する。
また、特許文献２では、文字を囲む矩形領域７０３の縦横比や、隣り合う文字の矩形領域間のピッチ等の簡易な情報から、言語の種類を統計的に推定している。
さらに、特許文献３の発明では、複数の言語の音声認識エンジンを用いて、言語が未知の音声に対して認識処理を行い、その処理結果として得られる各言語のスコア（尤度）がもっとも高い言語を判定結果とする。同様な仕組みは文字認識にも適用できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８３５６５２号公報
【特許文献２】特許第４０７９３３３号公報
【特許文献３】特開２００４−３４７７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１，２に代表される従来技術では、画像から簡単な画像処理で抽出した特徴量を用いて言語種類を判別するので、文字認識処理が不要で処理速度が速い利点を持つ。
しかしながら、簡単な画像処理で得られた特徴量を用いて判別しているため、このような特徴量が類似した言語に対して十分な判別精度を得ることが難しいという課題がある。
【０００６】
また、特許文献３に代表される従来技術は、複数の言語で文字認識処理した結果のスコア（尤度）を用いて最も良いスコアを持つ言語を判別結果とする。このため、簡単な画像処理で抽出した特徴量を用いて言語種類を判別する場合と比べて高い判別精度を得ることができる。
しかしながら、中国語と日本語のように共通する文字（漢字）が多数存在する言語を判別する場合、スコアの差異が現れ難くて言語種類の判別が難しくなるという課題がある。
さらに、重い文字認識処理を言語数回だけ実施する必要があるため、処理速度が遅くなるという課題もある。
【０００７】
この発明は、上記のような課題を解決するためになされたもので、文書中の画像に記載された文字の言語の種類を高速かつ高精度に判定できる多言語文書解析装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る多言語文書解析装置は、電子文書からテキストを抽出するテキスト抽出部と、テキスト抽出部が抽出したテキストの言語種類を判定するテキスト言語判定部と、テキスト言語判定部によるテキストに対する言語種類の判定結果から、画像に記載された文字を文字認識する際の言語種類を選定する文字認識言語選定部と、電子文書から画像を抽出する画像抽出部と、文字認識言語選定部が選定した言語種類で、画像抽出部が抽出した画像を文字認識する多言語文字認識処理部と、多言語文字認識処理部による文字認識結果から、画像に記載された文字の言語種類を判定する画像言語判定部とを備えるものである。
【発明の効果】
【０００９】
この発明によれば、電子文書から抽出したテキストの言語種類を判定し、この判定結果から、画像に記載された文字を文字認識する際の言語種類を選定するとともに、選定した言語種類で、電子文書から抽出した画像を文字認識し、この文字認識結果から当該画像に記載された文字の言語種類を判定する。このように構成することで、文書中の画像に記載された文字の言語の種類を高速かつ高精度に判定できるという効果がある。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１による多言語文書解析装置の構成を示すブロック図である。
【図２】電子文書の一例を示す図である。
【図３】図２（ａ）の電子文書から抽出したテキストの内容を示す図である。
【図４】電子的なテキストの言語種類を判定する処理を説明するための説明図である。
【図５】文字認識処理のための候補言語のリストを示す図である。
【図６】文書中に複数の言語が混在した電子文書の例である。
【図７】従来の言語種類の判定処理を説明するための図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１による多言語文書解析装置の構成を示すブロック図である。図１において、実施の形態１における多言語文書解析装置は、テキスト抽出部１０２、テキスト言語判定部１０３、文字認識言語選定部１０４、画像抽出部１０５、多言語文字認識処理部１０６、画像言語判定部１０７、テキスト言語判定辞書の記憶部１０８、及び多言語文字認識辞書の記憶部１０９を備える。
【００１２】
テキスト抽出部１０２は、電子文書１０１の入力を受け付ける構成部であり、入力した電子文書１０１からテキスト形式のデータを抽出する。テキスト言語判定部１０３は、テキスト抽出部１０２により抽出されたテキストデータの内容から、テキストの言語種類を判定する構成部である。文字認識言語選定部１０４は、テキスト言語判定部１０３による言語種類の判定結果を受ける構成部であり、当該判定結果から画像に記載された文字の文字認識処理を行う際に利用する言語種類を選定する。
【００１３】
画像抽出部１０５は、電子文書１０１の入力を受け付ける構成部であり、入力した電子文書１０１に含まれる画像を抽出する。多言語文字認識処理部１０６は、文字認識言語選定部１０４により選定された言語種類を用いて、画像抽出部１０５により抽出された画像に記載された文字の文字認識処理を実行する構成部である。画像言語判定部１０７は、多言語文字認識処理部１０６による文字認識処理の結果を受ける構成部であり、当該文字認識の結果から、画像抽出部１０５によって抽出された画像に記載される文字の言語種類を判定する。
【００１４】
記憶部１０８は、言語毎の特徴を記載したテキスト言語判定辞書を記憶する記憶部であり、テキスト言語判定部１０３が言語判定を行う際に当該テキスト言語判定辞書が参照される。記憶部１０９は、多言語文字認識処理部１０６による文字認識処理の際に参照される文字認識用辞書を記憶する記憶部であり、言語判定の候補となる言語毎の文字認識辞書が文字認識用辞書として格納される。
【００１５】
なお、テキスト抽出部１０２、テキスト言語判定部１０３、文字認識言語選定部１０４、画像抽出部１０５、多言語文字認識処理部１０６及び画像言語判定部１０７は、この発明の趣旨に従う多言語文書解析用プログラムをコンピュータに実行させることで、ハードウエアとソフトウエアとが協働した具体的な手段として、当該コンピュータ上で実現することができる。また、記憶部１０８，１０９は、上記コンピュータが搭載する記憶装置、例えば、ハードディスク装置や外部記憶メディア等に構築される。この他、多言語文書解析装置との間で有線又は無線で通信接続が可能なコンピュータ装置が備える記憶装置に構築しても構わない。
【００１６】
次に動作について説明する。
先ず、テキスト抽出部１０２は、入力した電子文書１０１から電子的なテキストを抽出する。ここで、具体例を挙げてテキスト抽出処理の詳細を説明する。
図２は、電子文書の一例を示す図であり、図３は、図２（ａ）の電子文書から抽出したテキストの内容を示す図である。図２（ａ）に示す電子文書１０１ａは、電子的なテキスト２０１，２０２と画像２０３とを含む電子文書である。画像２０３には、“操作パネル”や“上”、“下”の各文字が記載されている。図２（ｂ）に示す電子文書１０１ｂは、ページ全体が画像のみで構成された電子文書である。この電子文書１０１ｂ中の画像２０４においても、文字認識の対象となる文字が記載されている。
【００１７】
テキスト抽出部１０２は、図２（ａ）に示す電子文書１０１ａから、電子的なテキスト２０１，２０２の内容が抽出される。電子文書１０１ａ，１０１ｂから電子的なテキストの内容を抽出する方法としては、例えば、下記の参考文献１に示す手法を利用する。参考文献１では、電子的なテキストをページ単位で取得し、かつそのページ中のテキスト位置情報を得る方法が記載されている。このような方法で抽出した電子的なテキストは、図３に示すように、ページ番号とテキスト位置を示す情報付きで管理される。
（参考文献１）
平野，岡野，岡田，依田，“ページ記述言語の解析に基づく多様な文書からの構造化内容情報の抽出”，信学論Ｄ，Ｖｏｌ．Ｊ９１−Ｄ，Ｎｏ．５，ｐｐ．１４０６−１４１７，（２００８）
【００１８】
次に、テキスト言語判定部１０３は、テキスト抽出部１０２によって抽出された電子的なテキストを、記憶部１０８から読み出したテキスト言語判定辞書に記載されるプロファイルデータと比較することで、そのテキストの言語種類を推定する。ここで、テキストの言語種類を判定する方法では、ページ単位か、もしくは図３に示したテキスト位置の単位で個々に実施される。テキストから言語種類を推定する方法としては、例えば参考文献２に示す手法を利用することができる。
（参考文献２）
Ｗｉｌｌｉａｍ Ｂ． Ｃａｖｎａｒ， Ｊｏｈｎ Ｍ． Ｔｒｅｎｋｌｅ， “Ｎ−Ｇｒａｍ−Ｂａｓｅｄ Ｔｅｘｔ Ｃａｔｅｇｏｒｉｚａｔｉｏｎ”， ＳＤＡＩＲ−９４， ３ｒｄ Ａｎｎｕａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ．
【００１９】
図４は、電子的なテキストの言語種類を判定する処理を説明するための説明図である。
上記参考文献２では、予め収集しておいた大量のテキストデータから、言語毎のプロファイルデータを作成しておく。このプロファイルデータは、テキストをＮ文字ずつに分割して得た文字列要素が、発生頻度の高い順に格納されている。
図４の例では、予め収集しておいた大量の各言語毎（日本語、中国語、英語）のテキストデータから、テキスト言語判定辞書として、日本語のプロファイルデータ４０２、中国語のプロファイルデータ４０３及び英語のプロファイルデータ４０４が記憶部１０８に記憶される。また、プロファイルデータ４０２，４０３，４０４は、テキストを２文字ずつに分割して得た文字列要素が発生頻度の高い順に格納される。
【００２０】
言語種類を判定したいテキストを入力した場合、このテキストに対しても同様にＮ文字ずつに分割した文字列要素を抽出する。図４では、テキスト言語判定部１０３が、テキスト抽出部１０２によって図２（ａ）に示した電子文書１０１ａから抽出された電子的なテキスト２０１のテキスト内容を、２文字ずつに分割して文字列要素４０１を得る。
この後、テキスト言語判定部１０３は、抽出した文字列要素４０１が、各言語のプロファイルデータ４０２，４０３，４０４中に含まれるか否かを調べる。
例えば、文字列要素４０１中の２文字の文字列要素“Ｆｉ”は、英語のプロファイルデータ４０４に含まれている。同様に、文字列要素４０１中の文字列要素“操作”は、日本語のプロファイルデータ４０２に含まれている。
テキスト言語判定部１０３は、言語種類を判定したいテキストから得た文字列要素１０１の各文字列要素について、上述したプロファイルデータとの照合から、プロファイルデータに含まれる割合を算出する。続いて、算出した割合を基に、テキスト言語判定部１０３は、テキスト言語の判定結果の信頼度を示すスコア値を算出して、スコアが高い言語を判定結果とする。
【００２１】
次に、文字認識言語選定部１０４は、テキスト言語判定部１０３から上記のスコア値を入力し、このスコア値に基づいて、利用可能な全言語の中から、以降の文字認識処理で利用する言語を選定する。具体的には、スコア値が所定の閾値よりも高い言語を、文字認識処理の候補言語とする。これにより、テキスト言語判定部１０３によって、ある程度言語が絞りこまれると、以降の文字認識処理において、全言語数分、文字認識処理を繰り返す必要がなくなり、処理時間を短縮することができる。
なお、スコア値が所定の閾値を超える言語がない場合は、利用可能な全言語が候補言語となる。例えば、図２（ｂ）に示した電子文書１０１ｂのように、画像しか含まない電子文書では、テキストがないためにスコアが低くなり、結果として全言語で文字認識処理を行うことになる。
【００２２】
図５は、文字認識処理のための候補言語のリストを示す図であり、文字認識言語選定部１０４によって、図４に示したテキスト言語判定結果から選定された文字認識処理のための候補言語を示している。図５に示すように、文書中のページやテキスト位置単位で文字認識処理のための候補言語が選定できる。このため、文書の途中で言語が変わっても対応可能である。
【００２３】
次に、画像抽出部１０５が、電子文書１０１から画像を抽出する。この画像抽出部１０５による画像抽出も、上述の参考文献１に示す方法で実現できる。参考文献１によれば、画像を抽出する際、本画像が含まれるページ番号とページ中の位置情報を一緒に得ることができる。
【００２４】
続いて、多言語文字認識処理部１０６は、文字認識言語選定部１０４で得られた候補言語を用いて、画像抽出部１０５で抽出された画像に対する文字認識処理を実行する。ここでは、各言語用の文字認識辞書を、多言語文字認識辞書として事前に記憶部１０９に格納しておく。多言語文字認識処理部１０６は、図５に示す文字認識処理の候補言語のデータのうち、これから文字認識処理する画像に記載される文字と関連性のある候補言語（図５中の日本語や英語等）を参照して、文字認識処理するための言語を得る。
具体的には、画像が含まれているのと同一ページの候補言語か、画像の近くに位置するテキストの候補言語を用いて、当該画像を文字認識処理する。
例えば、図５に示すように、ページ番号が１の場合における文字認識処理のための候補言語は、日本語か英語のどちらかだと判断されている。このため、多言語文字認識処理部１０６は、図２（ａ）に示した電子文書１０１ａの第１ページに含まれる画像２０３に対して、日本語と英語の文字認識辞書を用いて、２回、文字認識処理を行う。
【００２５】
最後に、画像言語判定部１０７は、多言語文字認識処理部１０６で得た文字認識結果を用いて、画像中に記載された文字の言語を判断する。ここでは、下記式（１）を用いて、文字認識結果から得た評価値Ｄｌが最も高い言語ｌを判定結果とする。
但し、Ｓｊバーは文字カテゴリｊに含まれる文字の平均文字認識類似度であり、γは重み係数、Ｍｌは言語ｌの文字カテゴリ数、Ｚｌは言語毎の平均類似度を揃えるバイアス値である。また、Ｃｌは言語ｌの文字カテゴリである。
例えば、日本語、中国語及び英語の３言語で判定を行う場合は、文字カテゴリとして、「ＵｎｉｃｏｄｅのＣＪＫ漢字領域」「平仮名・カタカナ領域」「英数字・記号領域」を用いる。
【００２６】
なお、特許文献３に記載される方法は、上記式（１）の第１項及び第３項のみを用いることと同等の内容である。これに対して、本発明では、評価値Ｄｌが画像と異なる言語で文字認識した場合に文字カテゴリ毎の平均類似度の分散値が増加するというヒューリスティックな特性を、上記式（１）の第２項で捕らえる。このように、画像言語判定部１０７は、複数の言語で文字認識して得られた文字認識結果を定量的に示すスコア（尤度や類似度、距離値等）を、文字カテゴリ毎に集計して、文字カテゴリ毎に算出したスコアの平均の分散値を、画像の言語種類の判定基準に用いる。このようにすることで、同じ文字コードを含む中国語や日本語に対しても高精度に言語を判定することができる。
【００２７】
上述した処理を文書中の全ページに対して実施することで、文書に含まれる言語の種別が不明な画像からもテキスト化された情報を取得することができ、画像中の文字に対しても全文検索が可能となる。
【００２８】
なお、画像に対して関連するテキスト情報の言語判定結果を用いて、当該画像を文字認識処理し言語種類を判定することで、文書の途中で言語が変わった場合でも対応できる。
図６は、文書中に複数の言語が混在した電子文書の例である。図６に示す電子文書は、日本語で記述された第１ページ目の文書６０１、中国語で記述された第２ページ目の文書６０２、英語で記述された第３ページ目の文書６０３を含んで構成される。
このように、同一文書中で、日本語ページ文書６０１と中国語ページ文書６０２と英語ページ文書６０３とが混在した文書においても、各ページに含まれる周辺のテキスト情報を元に画像に対して正しく言語判定を行い、正しい文字認識結果を抽出できる。
【００２９】
なお、画像文字認識処理する候補言語を絞り込み、この関連性として「同一ページにある」場合を例に説明したが、画像から前後数ページの範囲のテキストを関連性のあるテキストとしても良い。また、画像の近くにあるテキストや、画像と同一パラグラフ内に存在するテキストを、関連性のあるテキストであるとしても良い。
【００３０】
以上のように、この実施の形態１では、電子文書１０１から抽出したテキストの言語種類を判定し、この判定結果から画像に記載された文字を文字認識する際の言語種類を選定するとともに、選定した言語種類で電子文書１０１から抽出した画像を文字認識し、この文字認識結果から当該画像に記載された文字の言語種類を判定する。
このように、画像の周辺にあるテキストに対する言語判定結果のスコア値を元に、画像に対して文字認識処理を行う際の言語を絞り込むので、全言語で文字認識処理を行うことが不要となり、高速に画像の言語種類を判定することが可能である。
また、文書の途中で言語が変わった場合でも、正しく言語を特定することができる。
さらに、画像に記載された文字の言語種類を判定するにあたり、文字認識処理結果のスコアを元に言語種類を判定するのではなく、画像と異なる言語で文字認識した場合に文字カテゴリ毎の平均類似度の分散値が増加するというヒューリスティックな特性を考慮した評価値を用いて言語を判定する。これにより、同一の文字コードが存在する日本語や中国語でも、高精度に言語種類を判定することが可能である。
【符号の説明】
【００３１】
１０１，１０１ａ，１０１ｂ，６０１，６０２，６０３ 電子文書、１０２ テキスト抽出部、１０３ テキスト言語判定部、１０４ 文字認識言語選定部、１０５ 画像抽出部、１０６ 多言語文字認識処理部、１０７ 画像言語判定部、１０８，１０９ 記憶部、２０１，２０２ テキスト、２０３，２０４ 画像、４０１ 文字列要素、４０２，４０３，４０４ プロファイルデータ、６０１ 日本語ページ文書、６０２ 中国語ページ文書、６０３ 英語ページ文書。
【技術分野】
【０００１】
この発明は、文書中の画像に記載された文字の言語種類を判定する多言語文書解析装置に関するものである。
【背景技術】
【０００２】
複数の言語が混在している文書ファイル群に対し、これらを横通しで全文検索する要求がある。文書内の電子的なテキストは、言語の種類が不明であっても既存のＮ−Ｇｒａｍ検索方式を用いれば全文検索できる。また、文書内の画像部分は、文字認識処理を行ってテキストを抽出することができれば、全文検索が可能である。
しかしながら、画像中の文字を文字認識する場合、その言語に対応した文字認識処理を適用しなければならず、このため、画像中の文字言語を自動判定する処理が必要となる。このような画像に対する言語判定処理として大きく２つの従来技術が存在する。
１つは、画像中から画像処理的に抽出した特徴量を用いて言語の種類を判別するものである。例えば、特許文献１及び特許文献２がある。
また、もう１つは、文字認識処理の結果に基づいて言語の種類を判定するものである。この例として特許文献３がある。
【０００３】
図７は、従来の言語種類の判定処理を説明するための図である。図７の例では、日本語の文字列７０１及び英語の文字列７０２を示しており、これらの文字列は、各文字が矩形領域７０３で囲まれている。
特許文献１に記載の発明では、図７に示す文字列７０１，７０２から、個々の文字を囲む矩形領域７０３の高さを算出し、矩形領域の高さ／文字列の高さの比率が閾値を超える個数をＮ、閾値以下の個数をＭとして、Ｎ／Ｍの値が大きいと、その文字列は日本語であると判定し、Ｎ／Ｍの値が小さい場合には英語であると判定する。
また、特許文献２では、文字を囲む矩形領域７０３の縦横比や、隣り合う文字の矩形領域間のピッチ等の簡易な情報から、言語の種類を統計的に推定している。
さらに、特許文献３の発明では、複数の言語の音声認識エンジンを用いて、言語が未知の音声に対して認識処理を行い、その処理結果として得られる各言語のスコア（尤度）がもっとも高い言語を判定結果とする。同様な仕組みは文字認識にも適用できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８３５６５２号公報
【特許文献２】特許第４０７９３３３号公報
【特許文献３】特開２００４−３４７７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１，２に代表される従来技術では、画像から簡単な画像処理で抽出した特徴量を用いて言語種類を判別するので、文字認識処理が不要で処理速度が速い利点を持つ。
しかしながら、簡単な画像処理で得られた特徴量を用いて判別しているため、このような特徴量が類似した言語に対して十分な判別精度を得ることが難しいという課題がある。
【０００６】
また、特許文献３に代表される従来技術は、複数の言語で文字認識処理した結果のスコア（尤度）を用いて最も良いスコアを持つ言語を判別結果とする。このため、簡単な画像処理で抽出した特徴量を用いて言語種類を判別する場合と比べて高い判別精度を得ることができる。
しかしながら、中国語と日本語のように共通する文字（漢字）が多数存在する言語を判別する場合、スコアの差異が現れ難くて言語種類の判別が難しくなるという課題がある。
さらに、重い文字認識処理を言語数回だけ実施する必要があるため、処理速度が遅くなるという課題もある。
【０００７】
この発明は、上記のような課題を解決するためになされたもので、文書中の画像に記載された文字の言語の種類を高速かつ高精度に判定できる多言語文書解析装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る多言語文書解析装置は、電子文書からテキストを抽出するテキスト抽出部と、テキスト抽出部が抽出したテキストの言語種類を判定するテキスト言語判定部と、テキスト言語判定部によるテキストに対する言語種類の判定結果から、画像に記載された文字を文字認識する際の言語種類を選定する文字認識言語選定部と、電子文書から画像を抽出する画像抽出部と、文字認識言語選定部が選定した言語種類で、画像抽出部が抽出した画像を文字認識する多言語文字認識処理部と、多言語文字認識処理部による文字認識結果から、画像に記載された文字の言語種類を判定する画像言語判定部とを備えるものである。
【発明の効果】
【０００９】
この発明によれば、電子文書から抽出したテキストの言語種類を判定し、この判定結果から、画像に記載された文字を文字認識する際の言語種類を選定するとともに、選定した言語種類で、電子文書から抽出した画像を文字認識し、この文字認識結果から当該画像に記載された文字の言語種類を判定する。このように構成することで、文書中の画像に記載された文字の言語の種類を高速かつ高精度に判定できるという効果がある。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１による多言語文書解析装置の構成を示すブロック図である。
【図２】電子文書の一例を示す図である。
【図３】図２（ａ）の電子文書から抽出したテキストの内容を示す図である。
【図４】電子的なテキストの言語種類を判定する処理を説明するための説明図である。
【図５】文字認識処理のための候補言語のリストを示す図である。
【図６】文書中に複数の言語が混在した電子文書の例である。
【図７】従来の言語種類の判定処理を説明するための図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１による多言語文書解析装置の構成を示すブロック図である。図１において、実施の形態１における多言語文書解析装置は、テキスト抽出部１０２、テキスト言語判定部１０３、文字認識言語選定部１０４、画像抽出部１０５、多言語文字認識処理部１０６、画像言語判定部１０７、テキスト言語判定辞書の記憶部１０８、及び多言語文字認識辞書の記憶部１０９を備える。
【００１２】
テキスト抽出部１０２は、電子文書１０１の入力を受け付ける構成部であり、入力した電子文書１０１からテキスト形式のデータを抽出する。テキスト言語判定部１０３は、テキスト抽出部１０２により抽出されたテキストデータの内容から、テキストの言語種類を判定する構成部である。文字認識言語選定部１０４は、テキスト言語判定部１０３による言語種類の判定結果を受ける構成部であり、当該判定結果から画像に記載された文字の文字認識処理を行う際に利用する言語種類を選定する。
【００１３】
画像抽出部１０５は、電子文書１０１の入力を受け付ける構成部であり、入力した電子文書１０１に含まれる画像を抽出する。多言語文字認識処理部１０６は、文字認識言語選定部１０４により選定された言語種類を用いて、画像抽出部１０５により抽出された画像に記載された文字の文字認識処理を実行する構成部である。画像言語判定部１０７は、多言語文字認識処理部１０６による文字認識処理の結果を受ける構成部であり、当該文字認識の結果から、画像抽出部１０５によって抽出された画像に記載される文字の言語種類を判定する。
【００１４】
記憶部１０８は、言語毎の特徴を記載したテキスト言語判定辞書を記憶する記憶部であり、テキスト言語判定部１０３が言語判定を行う際に当該テキスト言語判定辞書が参照される。記憶部１０９は、多言語文字認識処理部１０６による文字認識処理の際に参照される文字認識用辞書を記憶する記憶部であり、言語判定の候補となる言語毎の文字認識辞書が文字認識用辞書として格納される。
【００１５】
なお、テキスト抽出部１０２、テキスト言語判定部１０３、文字認識言語選定部１０４、画像抽出部１０５、多言語文字認識処理部１０６及び画像言語判定部１０７は、この発明の趣旨に従う多言語文書解析用プログラムをコンピュータに実行させることで、ハードウエアとソフトウエアとが協働した具体的な手段として、当該コンピュータ上で実現することができる。また、記憶部１０８，１０９は、上記コンピュータが搭載する記憶装置、例えば、ハードディスク装置や外部記憶メディア等に構築される。この他、多言語文書解析装置との間で有線又は無線で通信接続が可能なコンピュータ装置が備える記憶装置に構築しても構わない。
【００１６】
次に動作について説明する。
先ず、テキスト抽出部１０２は、入力した電子文書１０１から電子的なテキストを抽出する。ここで、具体例を挙げてテキスト抽出処理の詳細を説明する。
図２は、電子文書の一例を示す図であり、図３は、図２（ａ）の電子文書から抽出したテキストの内容を示す図である。図２（ａ）に示す電子文書１０１ａは、電子的なテキスト２０１，２０２と画像２０３とを含む電子文書である。画像２０３には、“操作パネル”や“上”、“下”の各文字が記載されている。図２（ｂ）に示す電子文書１０１ｂは、ページ全体が画像のみで構成された電子文書である。この電子文書１０１ｂ中の画像２０４においても、文字認識の対象となる文字が記載されている。
【００１７】
テキスト抽出部１０２は、図２（ａ）に示す電子文書１０１ａから、電子的なテキスト２０１，２０２の内容が抽出される。電子文書１０１ａ，１０１ｂから電子的なテキストの内容を抽出する方法としては、例えば、下記の参考文献１に示す手法を利用する。参考文献１では、電子的なテキストをページ単位で取得し、かつそのページ中のテキスト位置情報を得る方法が記載されている。このような方法で抽出した電子的なテキストは、図３に示すように、ページ番号とテキスト位置を示す情報付きで管理される。
（参考文献１）
平野，岡野，岡田，依田，“ページ記述言語の解析に基づく多様な文書からの構造化内容情報の抽出”，信学論Ｄ，Ｖｏｌ．Ｊ９１−Ｄ，Ｎｏ．５，ｐｐ．１４０６−１４１７，（２００８）
【００１８】
次に、テキスト言語判定部１０３は、テキスト抽出部１０２によって抽出された電子的なテキストを、記憶部１０８から読み出したテキスト言語判定辞書に記載されるプロファイルデータと比較することで、そのテキストの言語種類を推定する。ここで、テキストの言語種類を判定する方法では、ページ単位か、もしくは図３に示したテキスト位置の単位で個々に実施される。テキストから言語種類を推定する方法としては、例えば参考文献２に示す手法を利用することができる。
（参考文献２）
Ｗｉｌｌｉａｍ Ｂ． Ｃａｖｎａｒ， Ｊｏｈｎ Ｍ． Ｔｒｅｎｋｌｅ， “Ｎ−Ｇｒａｍ−Ｂａｓｅｄ Ｔｅｘｔ Ｃａｔｅｇｏｒｉｚａｔｉｏｎ”， ＳＤＡＩＲ−９４， ３ｒｄ Ａｎｎｕａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ．
【００１９】
図４は、電子的なテキストの言語種類を判定する処理を説明するための説明図である。
上記参考文献２では、予め収集しておいた大量のテキストデータから、言語毎のプロファイルデータを作成しておく。このプロファイルデータは、テキストをＮ文字ずつに分割して得た文字列要素が、発生頻度の高い順に格納されている。
図４の例では、予め収集しておいた大量の各言語毎（日本語、中国語、英語）のテキストデータから、テキスト言語判定辞書として、日本語のプロファイルデータ４０２、中国語のプロファイルデータ４０３及び英語のプロファイルデータ４０４が記憶部１０８に記憶される。また、プロファイルデータ４０２，４０３，４０４は、テキストを２文字ずつに分割して得た文字列要素が発生頻度の高い順に格納される。
【００２０】
言語種類を判定したいテキストを入力した場合、このテキストに対しても同様にＮ文字ずつに分割した文字列要素を抽出する。図４では、テキスト言語判定部１０３が、テキスト抽出部１０２によって図２（ａ）に示した電子文書１０１ａから抽出された電子的なテキスト２０１のテキスト内容を、２文字ずつに分割して文字列要素４０１を得る。
この後、テキスト言語判定部１０３は、抽出した文字列要素４０１が、各言語のプロファイルデータ４０２，４０３，４０４中に含まれるか否かを調べる。
例えば、文字列要素４０１中の２文字の文字列要素“Ｆｉ”は、英語のプロファイルデータ４０４に含まれている。同様に、文字列要素４０１中の文字列要素“操作”は、日本語のプロファイルデータ４０２に含まれている。
テキスト言語判定部１０３は、言語種類を判定したいテキストから得た文字列要素１０１の各文字列要素について、上述したプロファイルデータとの照合から、プロファイルデータに含まれる割合を算出する。続いて、算出した割合を基に、テキスト言語判定部１０３は、テキスト言語の判定結果の信頼度を示すスコア値を算出して、スコアが高い言語を判定結果とする。
【００２１】
次に、文字認識言語選定部１０４は、テキスト言語判定部１０３から上記のスコア値を入力し、このスコア値に基づいて、利用可能な全言語の中から、以降の文字認識処理で利用する言語を選定する。具体的には、スコア値が所定の閾値よりも高い言語を、文字認識処理の候補言語とする。これにより、テキスト言語判定部１０３によって、ある程度言語が絞りこまれると、以降の文字認識処理において、全言語数分、文字認識処理を繰り返す必要がなくなり、処理時間を短縮することができる。
なお、スコア値が所定の閾値を超える言語がない場合は、利用可能な全言語が候補言語となる。例えば、図２（ｂ）に示した電子文書１０１ｂのように、画像しか含まない電子文書では、テキストがないためにスコアが低くなり、結果として全言語で文字認識処理を行うことになる。
【００２２】
図５は、文字認識処理のための候補言語のリストを示す図であり、文字認識言語選定部１０４によって、図４に示したテキスト言語判定結果から選定された文字認識処理のための候補言語を示している。図５に示すように、文書中のページやテキスト位置単位で文字認識処理のための候補言語が選定できる。このため、文書の途中で言語が変わっても対応可能である。
【００２３】
次に、画像抽出部１０５が、電子文書１０１から画像を抽出する。この画像抽出部１０５による画像抽出も、上述の参考文献１に示す方法で実現できる。参考文献１によれば、画像を抽出する際、本画像が含まれるページ番号とページ中の位置情報を一緒に得ることができる。
【００２４】
続いて、多言語文字認識処理部１０６は、文字認識言語選定部１０４で得られた候補言語を用いて、画像抽出部１０５で抽出された画像に対する文字認識処理を実行する。ここでは、各言語用の文字認識辞書を、多言語文字認識辞書として事前に記憶部１０９に格納しておく。多言語文字認識処理部１０６は、図５に示す文字認識処理の候補言語のデータのうち、これから文字認識処理する画像に記載される文字と関連性のある候補言語（図５中の日本語や英語等）を参照して、文字認識処理するための言語を得る。
具体的には、画像が含まれているのと同一ページの候補言語か、画像の近くに位置するテキストの候補言語を用いて、当該画像を文字認識処理する。
例えば、図５に示すように、ページ番号が１の場合における文字認識処理のための候補言語は、日本語か英語のどちらかだと判断されている。このため、多言語文字認識処理部１０６は、図２（ａ）に示した電子文書１０１ａの第１ページに含まれる画像２０３に対して、日本語と英語の文字認識辞書を用いて、２回、文字認識処理を行う。
【００２５】
最後に、画像言語判定部１０７は、多言語文字認識処理部１０６で得た文字認識結果を用いて、画像中に記載された文字の言語を判断する。ここでは、下記式（１）を用いて、文字認識結果から得た評価値Ｄｌが最も高い言語ｌを判定結果とする。
但し、Ｓｊバーは文字カテゴリｊに含まれる文字の平均文字認識類似度であり、γは重み係数、Ｍｌは言語ｌの文字カテゴリ数、Ｚｌは言語毎の平均類似度を揃えるバイアス値である。また、Ｃｌは言語ｌの文字カテゴリである。
例えば、日本語、中国語及び英語の３言語で判定を行う場合は、文字カテゴリとして、「ＵｎｉｃｏｄｅのＣＪＫ漢字領域」「平仮名・カタカナ領域」「英数字・記号領域」を用いる。
【００２６】
なお、特許文献３に記載される方法は、上記式（１）の第１項及び第３項のみを用いることと同等の内容である。これに対して、本発明では、評価値Ｄｌが画像と異なる言語で文字認識した場合に文字カテゴリ毎の平均類似度の分散値が増加するというヒューリスティックな特性を、上記式（１）の第２項で捕らえる。このように、画像言語判定部１０７は、複数の言語で文字認識して得られた文字認識結果を定量的に示すスコア（尤度や類似度、距離値等）を、文字カテゴリ毎に集計して、文字カテゴリ毎に算出したスコアの平均の分散値を、画像の言語種類の判定基準に用いる。このようにすることで、同じ文字コードを含む中国語や日本語に対しても高精度に言語を判定することができる。
【００２７】
上述した処理を文書中の全ページに対して実施することで、文書に含まれる言語の種別が不明な画像からもテキスト化された情報を取得することができ、画像中の文字に対しても全文検索が可能となる。
【００２８】
なお、画像に対して関連するテキスト情報の言語判定結果を用いて、当該画像を文字認識処理し言語種類を判定することで、文書の途中で言語が変わった場合でも対応できる。
図６は、文書中に複数の言語が混在した電子文書の例である。図６に示す電子文書は、日本語で記述された第１ページ目の文書６０１、中国語で記述された第２ページ目の文書６０２、英語で記述された第３ページ目の文書６０３を含んで構成される。
このように、同一文書中で、日本語ページ文書６０１と中国語ページ文書６０２と英語ページ文書６０３とが混在した文書においても、各ページに含まれる周辺のテキスト情報を元に画像に対して正しく言語判定を行い、正しい文字認識結果を抽出できる。
【００２９】
なお、画像文字認識処理する候補言語を絞り込み、この関連性として「同一ページにある」場合を例に説明したが、画像から前後数ページの範囲のテキストを関連性のあるテキストとしても良い。また、画像の近くにあるテキストや、画像と同一パラグラフ内に存在するテキストを、関連性のあるテキストであるとしても良い。
【００３０】
以上のように、この実施の形態１では、電子文書１０１から抽出したテキストの言語種類を判定し、この判定結果から画像に記載された文字を文字認識する際の言語種類を選定するとともに、選定した言語種類で電子文書１０１から抽出した画像を文字認識し、この文字認識結果から当該画像に記載された文字の言語種類を判定する。
このように、画像の周辺にあるテキストに対する言語判定結果のスコア値を元に、画像に対して文字認識処理を行う際の言語を絞り込むので、全言語で文字認識処理を行うことが不要となり、高速に画像の言語種類を判定することが可能である。
また、文書の途中で言語が変わった場合でも、正しく言語を特定することができる。
さらに、画像に記載された文字の言語種類を判定するにあたり、文字認識処理結果のスコアを元に言語種類を判定するのではなく、画像と異なる言語で文字認識した場合に文字カテゴリ毎の平均類似度の分散値が増加するというヒューリスティックな特性を考慮した評価値を用いて言語を判定する。これにより、同一の文字コードが存在する日本語や中国語でも、高精度に言語種類を判定することが可能である。
【符号の説明】
【００３１】
１０１，１０１ａ，１０１ｂ，６０１，６０２，６０３ 電子文書、１０２ テキスト抽出部、１０３ テキスト言語判定部、１０４ 文字認識言語選定部、１０５ 画像抽出部、１０６ 多言語文字認識処理部、１０７ 画像言語判定部、１０８，１０９ 記憶部、２０１，２０２ テキスト、２０３，２０４ 画像、４０１ 文字列要素、４０２，４０３，４０４ プロファイルデータ、６０１ 日本語ページ文書、６０２ 中国語ページ文書、６０３ 英語ページ文書。
【特許請求の範囲】
【請求項１】
電子文書からテキストを抽出するテキスト抽出部と、
前記テキスト抽出部が抽出したテキストの言語種類を判定するテキスト言語判定部と、
前記テキスト言語判定部による前記テキストに対する言語種類の判定結果から、画像に記載された文字を文字認識する際の言語種類を選定する文字認識言語選定部と、
前記電子文書から画像を抽出する画像抽出部と、
前記文字認識言語選定部が選定した言語種類で、前記画像抽出部が抽出した画像を文字認識する多言語文字認識処理部と、
前記多言語文字認識処理部による文字認識結果から、前記画像に記載された文字の言語種類を判定する画像言語判定部とを備えた多言語文書解析装置。
【請求項２】
前記テキスト抽出部は、前記電子文書からテキストを文書中の位置情報付きで抽出し、
前記画像抽出部は、当該電子文書から画像を文書中の位置情報付きで抽出し、
前記文字認識言語選定部は、前記位置情報に基づき当該テキストの位置に関連性がある画像を特定し、前記テキスト言語判定部による当該テキストに対する言語種類の判定結果から、当該画像を文字認識する際の言語種類を選定することを特徴とする請求項１記載の多言語文書解析装置。
【請求項３】
前記文字認識言語選定部は、前記電子文書の同一ページ中のテキストに対する言語種類の判定結果から、当該同一ページ内の画像の文字認識する際の言語種類を選定することを特徴とする請求項２記載の多言語文書解析装置。
【請求項４】
前記画像言語判定部は、前記多言語文字認識処理部によって複数の言語で文字認識して得られた各文字認識結果を定量的に示すスコアを、文字カテゴリ毎に集計して、前記文字カテゴリ毎に算出した前記スコアの平均の分散値を、画像の言語種類の判定基準に用いることを特徴とする請求項１記載の多言語文書解析装置。
【請求項１】
電子文書からテキストを抽出するテキスト抽出部と、
前記テキスト抽出部が抽出したテキストの言語種類を判定するテキスト言語判定部と、
前記テキスト言語判定部による前記テキストに対する言語種類の判定結果から、画像に記載された文字を文字認識する際の言語種類を選定する文字認識言語選定部と、
前記電子文書から画像を抽出する画像抽出部と、
前記文字認識言語選定部が選定した言語種類で、前記画像抽出部が抽出した画像を文字認識する多言語文字認識処理部と、
前記多言語文字認識処理部による文字認識結果から、前記画像に記載された文字の言語種類を判定する画像言語判定部とを備えた多言語文書解析装置。
【請求項２】
前記テキスト抽出部は、前記電子文書からテキストを文書中の位置情報付きで抽出し、
前記画像抽出部は、当該電子文書から画像を文書中の位置情報付きで抽出し、
前記文字認識言語選定部は、前記位置情報に基づき当該テキストの位置に関連性がある画像を特定し、前記テキスト言語判定部による当該テキストに対する言語種類の判定結果から、当該画像を文字認識する際の言語種類を選定することを特徴とする請求項１記載の多言語文書解析装置。
【請求項３】
前記文字認識言語選定部は、前記電子文書の同一ページ中のテキストに対する言語種類の判定結果から、当該同一ページ内の画像の文字認識する際の言語種類を選定することを特徴とする請求項２記載の多言語文書解析装置。
【請求項４】
前記画像言語判定部は、前記多言語文字認識処理部によって複数の言語で文字認識して得られた各文字認識結果を定量的に示すスコアを、文字カテゴリ毎に集計して、前記文字カテゴリ毎に算出した前記スコアの平均の分散値を、画像の言語種類の判定基準に用いることを特徴とする請求項１記載の多言語文書解析装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１８０６８７（Ｐ２０１１−１８０６８７Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４２３２１（Ｐ２０１０−４２３２１）
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]