情報抽出装置、情報抽出方法および情報抽出プログラム
【課題】Ｗｅｂページから属性情報を抽出する際の抽出ルール作成に対する負荷、作成コストを軽減させた情報抽出装置を提供する。
【解決手段】オペレータが指定したＷｅｂページのテキスト文字列および属性情報に対して、当該属性情報の属性名およびレイアウト情報を含む抽出ブロックを、Ｗｅｂページから取得して表示する抽出ルール作成支援部１１０と、前記取得された抽出ブロックに対して、各抽出ブロックの属性名毎に抽出ブロックを一般化し、一つの抽出ブロックに単一化し、単一化された抽出ルールを作成して抽出ルールＤＢ１４０に格納する抽出ルール作成部１２０と、前記Ｗｅｂページのテキストを予めブロック化しておき、前記抽出ルールＤＢ１４０に格納された抽出ルールを、前記ブロック化されたテキストに適用して属性情報を抽出する抽出ルール適用部１３０と、を備える。
【解決手段】オペレータが指定したＷｅｂページのテキスト文字列および属性情報に対して、当該属性情報の属性名およびレイアウト情報を含む抽出ブロックを、Ｗｅｂページから取得して表示する抽出ルール作成支援部１１０と、前記取得された抽出ブロックに対して、各抽出ブロックの属性名毎に抽出ブロックを一般化し、一つの抽出ブロックに単一化し、単一化された抽出ルールを作成して抽出ルールＤＢ１４０に格納する抽出ルール作成部１２０と、前記Ｗｅｂページのテキストを予めブロック化しておき、前記抽出ルールＤＢ１４０に格納された抽出ルールを、前記ブロック化されたテキストに適用して属性情報を抽出する抽出ルール適用部１３０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネット上のＷｅｂページ等から市場分析などに必要な商品などについての属性情報を抽出する情報抽出技術に関する。
【背景技術】
【０００２】
ネットワーク上のテキスト情報源、例えばＷｅｂページ等から商品の名前や価格等の属性情報を抽出する技術が下記特許文献１で開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３４８０６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
単一のＷｅｂページに複数の商品などが掲載されている場合、各商品の属性情報を個々の商品毎にグループ化する方法が必要となる。
【０００５】
例えば、図６のような商品に関するＷｅｂページがあるとすると、この図６のページから、従来技術により以下のような属性情報が抽出される。
【０００６】
商品名：帽子、サンダル、サングラス、…
価格：￥２，９８０、￥３，９８０、￥１，９８０、…
このときに、それぞれの商品名がどの価格に対応しているのかを対応付ける必要がある。
【０００７】
このように属性情報どうしを対応付けて抽出することができる抽出ルールを作成することは、作成コストのかかるものであった。
【０００８】
本発明は上記課題を解決するものであり、その目的は、テキスト情報源から属性情報を抽出する際の抽出ルール作成に対する負荷、作成コストを軽減させた情報抽出装置、方法、プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明では、オペレータによる抽出ルールの作成支援を行い、ページのレイアウト情報を手がかりにして属性情報抽出ルールを作成し、作成した抽出ルールを元に例えば商品の属性情報を抽出する。
【００１０】
すなわち、本発明の情報抽出装置は、オペレータが指定したテキスト情報源のテキスト文字列および属性情報に対して、当該属性情報の属性名およびテキスト文字列周辺のレイアウト情報を含む抽出ブロックを、テキスト情報源から取得して表示する抽出ルール作成支援手段と、前記抽出ルール作成支援手段によって取得された抽出ブロックに対して、各抽出ブロックの属性名毎に抽出ブロックを一般化し、該一般化された抽出ブロックについて各属性名毎の抽出ブロックを一つの抽出ブロックに単一化し、属性情報を抽出するための単一化された抽出ルールを作成する抽出ルール作成手段と、前記テキスト情報源のテキストを予めブロック化しておき、前記抽出ルール作成手段によって作成された抽出ルールを、前記ブロック化されたテキストに適用して属性情報を抽出する抽出ルール適用手段と、を備えたことを特徴としている。
【発明の効果】
【００１１】
本発明によれば、オペレータの指示（情報指定等）に対して、抽出ルール作成支援手段が抽出ブロックの取得と表示を行なうので、オペレータに対して対話的に抽出ルールの作成支援がなされ、オペレータの抽出ルール作成に対する負荷を軽減することができる。
【００１２】
また、抽出ルール作成手段による前記抽出ブロックの一般化と単一化によって、単一化した抽出ルールが作成されるので、属性情報間の対応関係が推測可能となり、オペレータが複数の属性情報間の対応関係を指定する必要がなくなる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態例を示す全体構成図。
【図２】本発明の一実施形態例による情報抽出方法の処理を示すフローチャート。
【図３】本発明の一実施形態例による情報抽出装置の機能ブロック図。
【図４】本発明の一実施形態例による抽出ルール作成支援の処理を示すフローチャート。
【図５】本発明の一実施形態例による抽出ルール作成の処理を示すフローチャート。
【図６】本発明の一実施形態例において表示するテキストの一例を示す説明図。
【図７】図６のテキストを表示するための記述形式を示す説明図。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。本発明におけるオペレータとは、抽出ルールを作成しようとする作業者である。また、レイアウト情報とは、例えば図６に示す商品に関するＷｅｂページのテキストについて、レイアウトされたテキストを表示するための記述形式（図７）である。
【００１５】
図７において、“<top>”と“</top>”とで囲まれた範囲により表示対象を示している。また、“<item>”と“</item>”とで囲まれた範囲は、箇条書きの要素であることを示している。さらに、“<r>”は改行を、“<t>”はタブを各々表している。
【００１６】
図１は本発明の一実施形態例における情報抽出装置１００の全体構成を示し、図２は情報抽出装置１００で行なわれる処理の流れを示し、図３は情報抽出装置１００の各部の機能を示している。
【００１７】
図１において、情報抽出装置１００は、抽出ルール作成支援手段としての抽出ルール作成支援部１１０、抽出ルール作成手段としての抽出ルール作成部１２０、抽出ルール適用手段としての抽出ルール適用部１３０および抽出ルールＤＢ（データベース）１４０を備えている。
【００１８】
尚図１中の（１）〜（７）で示す矢印は、後述するオペレータの指示、情報の流れ、各部の処理結果等を表している。
【００１９】
抽出ルール作成支援部１１０は、オペレータが指定(図示(１)）したＷｅｂページのテキスト文字列および属性情報に対して、当該属性情報の属性名およびテキスト文字列周辺のレイアウト情報を含む抽出ブロックを、Ｗｅｂページから取得（図示（２））して表示する。尚、前記Ｗｅｂページは、例えばＷｅｂページデータベースに格納されている。
【００２０】
抽出ルール作成部１２０は、前記抽出ルール作成支援部１１０によって取得された抽出ブロック（図示（３））に対して、各抽出ブロックの属性名毎に抽出ブロックを一般化し、該一般化された抽出ブロックについて各属性名毎の抽出ブロックを一つの抽出ブロックに単一化し、属性情報を抽出するための単一化された抽出ルールを作成し、抽出ルールＤＢ１４０に格納する（図示（４））。
【００２１】
抽出ルール適用部１３０は、前記Ｗｅｂページのテキストを予め取り込んで（図示（５））ブロック化しておき、前記抽出ルールＤＢ１４０に格納された抽出ルールを取り込み（図示（６））、該抽出ルールを前記Ｗｅｂページのブロック化されたテキストに適用して属性情報を抽出する（図示（７））。
【００２２】
前記情報抽出装置１００は、例えばコンピュータにより構成され、通常のコンピュータのハードウェアリソース、例えばＲＯＭ，ＲＡＭ，ＣＰＵ、入力装置、表示装置、出力装置、通信インターフェース、ハードディスク、記録媒体およびその駆動装置を備えている。
【００２３】
このハードウェアリソースとソフトウェアリソース（ＯＳ、アプリケーションなど）との協働の結果、情報抽出装置１００は、図１に示すように、抽出ルール作成支援部１１０、抽出ルール作成部１２０、抽出ルール適用部１３０および抽出ルールＤＢ１４０を実装する。
【００２４】
前記抽出ルールＤＢ１４０は、ハードディスクあるいはＲＡＭなどの保存手段・記憶手段に構築されているものとする。
【００２５】
次に、上記のように構成された装置の動作を図２のフローチャートに沿って詳細に説明する。
【００２６】
＜抽出ルール作成支援処理（ステップＳ１）＞
抽出ルール作成支援処理では、オペレータがＷｅｂページに対して必要な属性情報を部分的に指定し、抽出ルール作成支援部１１０がその指定された属性情報のレイアウト情報から抽出ブロックを取得し表示装置（図示省略）に表示させる。
【００２７】
したがって、抽出ルール作成支援部１１０は図３のように、オペレータからの指示の受付機能と、情報の表示機能と、ブロックの抽出機能とを有している。
【００２８】
前記図６のＷｅｂページを例にすると、オペレータがＷｅｂページに対して商品の属性情報である例えば“帽子”を選択し、オペレータはその属性情報に対して属性名“商品名”を付与する。抽出ルール作成支援処理では、このオペレータの一連の指示から、以下のような属性情報に対する抽出ブロックを取得する。
【００２９】
<top><item[1]>[商品名:帽子]<r><t>[*]
上記抽出ブロックは、属性情報の属性名と属性値およびそのレイアウト情報からなる。“［商品名：帽子］”は、属性名“商品名”と属性値“帽子”からなる属性情報である。また、“[*]”は、着目する属性情報およびレイアウト情報以外の任意のテキスト文字列を表し、以下文字列変数と呼ぶことにする。
【００３０】
さらに、抽出ブロックは、属性情報に関連するレイアウト情報を含む。レイアウト情報の同一階層に複数の同一要素がある場合には、各要素にその出現順位を示す項番を付与する。“<item[1]>”は、“<top>”直下の１番目の“<item>”要素であることを表す。
【００３１】
次に抽出ルール作成支援処理（ステップＳ１）の具体例を図４のフローチャートとともに説明する。
【００３２】
まずステップＳ１１において、抽出ルール作成支援部１１０は表示装置にＷｅｂページのテキストを表示し、オペレータに対してテキスト文字列の選択を促す。
【００３３】
次にステップＳ１２において、オペレータが前記表示されたテキストに対してテキスト文字列を選択し、それを抽出ルール作成支援部１１０が受け付ける。
【００３４】
すると抽出ルール作成支援部１１０は、ステップＳ１３において、前記オペレータが選択した文字列に対応するブロックを抽出し、例えば次のようにオペレータが指定した箇所を含むテキスト文字列を強調表示する（ステップＳ１４）ことによって、そのテキスト文字列に対する属性名の入力をオペレータに要求する。
【００３５】
すなわち、下記の表１のように、表示テキスト画面にテキストを表示し、オペレータ要求画面に属性名入力欄を表示する。
【００３６】
【表１】
【００３７】
例えば、オペレータが帽子を指定したとするとその箇所はテキスト文字列“￥２，９８０”の近傍であるので、“￥２，９８０”を強調表示する。これに対して、属性名の入力要求欄をブロック抽出処理（ステップＳ１３）で抽出したブロックとともにオペレータ要求画面へ表示する（表１の「？」で示される欄）。
【００３８】
次にステップＳ１５において、オペレータが前記入力要求欄に属性名を入力し、それを抽出ルール作成支援部１１０が受け付ける。
【００３９】
次にステップＳ１６において、抽出ルール作成支援部１１０は、前記オペレータが指定したテキスト文字列からそのテキスト文字列の周辺に関連するレイアウト情報を収集し、オペレータが入力した属性名を付加したテキスト文字列とレイアウト情報と属性情報から構成されるブロックを抽出する。
【００４０】
例えば、オペレータがステップＳ１２において“￥２，９８０”というテキスト文字列を指定し、さらにステップＳ１５において“価格”という属性名を入力した場合、以下のようなブロックが抽出される。
【００４１】
<top><item[1]>[*]<r><t>[価格:￥２，９８０]
このブロック抽出処理において、属性情報“[価格:￥２，９８０]”が含まれるブロックが“<top><item[1]>”であり、ブロック“<top><item[1]>”が含む記述形式の対応部分は、“帽子<r><t>￥２，９８０”となる。これに対して、オペレータが指定したテキスト文字列“￥２，９８０”へオペレータが入力した属性名“価格”を付加し、属性情報“［価格：￥２，９８０］”に置き換える。さらに、属性情報とレイアウト情報以外のテキスト文字列を文字列変数“[*]”に置き換え、抽出ブロック“<top><item[1]>[*]<r><t>［価格：￥２，９８０］”を作成する。
【００４２】
＜抽出ルール作成処理（ステップＳ２）＞
抽出ルール作成処理では、抽出ルール作成支援処理（ステップＳ１）によって取得された抽出ブロックから、抽出ルール作成部１２０が抽出ルールを作成する。
【００４３】
前記図６、表１のＷｅｂページを例にすると、オペレータが属性情報として、帽子とサングラスとに対する商品名と価格を指定した場合、前記抽出ルール作成支援処理（ステップＳ１）では下記の４つの抽出ブロックが取得される。
【００４４】
<top><item[1]>[商品名:帽子] <r><t>[*]
<top><item[1]>[*]<r><t>［価格：￥２，９８０］
<top><item[2]>[商品名:サングラス] <r><t>[*]
<top><item[2]>[*]<r><t>［価格：￥３，９８０］
抽出ルール作成処理（ステップＳ２）では、これらの抽出ブロックに対して、属性名毎に抽出ブロックを一般化して抽出ルールの一般化を図り、それぞれ属性名毎の抽出ブロックを単一化して抽出ルールの単一化を図る。
【００４５】
これらの処理により、形成される抽出ルールは以下の通りとなる。
【００４６】
<top><item[*]>[商品名:*] <r><t>[価格:*]
したがって抽出ルール作成部１２０は、図３のように抽出ブロック一般化機能と、抽出ブロック単一化機能を有している。
【００４７】
次に抽出ルール作成処理（ステップＳ２）の具体例を図５のフローチャートとともに説明する。図５において、ステップＳ２１では、抽出ルール作成支援処理（ステップＳ１）によって取得された抽出ブロックから、属性名毎に抽出ブロックを一般化する。
【００４８】
例えば、抽出ルール作成支援処理によって以下のような抽出ブロックが取得されているとする。
【００４９】
＜top><item[1]>[商品名:帽子] <r><t>[*]
<top><item[1]>[*]<r><t>［価格：￥２，９８０］
<top><item[2]>[商品名:サングラス] <r><t>[*]
<top><item[2]>[*]<r><t>［価格：￥３，９８０］
これらの抽出ブロックに対して、ステップＳ２１の抽出ブロック一般化処理では、属性名により、次の表２のように抽出ブロックを分類する。
【００５０】
【表２】
【００５１】
そして、抽出ブロック間で共通なレイアウト情報はそのままにし、差異があるテキスト文字列は任意のテキスト文字列を表す“*”（文字列変数）に置き換える操作を行なって、次の表３のように同じ属性名を持つ抽出ブロックを一般化する。
【００５２】
【表３】
【００５３】
すなわち、表２中の属性名が「商品名」である２つの抽出ブロックにおいて、[1]と[2]、帽子とサングラスのように差異のある文字列が、表３中の属性名が「商品名」である１つの抽出ブロックの文字列変数“*”に置き換えられる。
【００５４】
また、表２中の属性名が「価格」である２つの抽出ブロックにおいて、[1]と[2]、￥２，９８０と￥３，９８０のように差異のある文字列が、表３中の属性名が「価格」である１つの抽出ブロックの文字列変数“*”に置き換えられる。
【００５５】
上記置き換え操作の結果、表３のように“*”が含まれる属性情報［商品名：*］、［価格：*］を属性変数と呼ぶこととする．
次にステップＳ２２の抽出ブロック単一化処理では、前記抽出ブロック一般化処理（ステップＳ２１）によって一般化された抽出ブロックを単一化することで、抽出ルールの単一化を図った抽出ルールを作成する。
【００５６】
例えば、抽出ブロック一般化処理（ステップＳ２１）によって表３に示す次のような２つの抽出ブロックが得られているとする．
<top><item[*]>[商品名:*]<r><t>[*]
<top><item[*]>[*]<r><t>[価格:*]
これらに対して、抽出ブロック単一化処理（ステップＳ２２）では、まず２つの抽出ブロック間の対応付けを次の表４のように行なう。
【００５７】
【表４】
【００５８】
次に表４の２つの抽出ブロックの共通部分を下記の表５のように単一化する。
【００５９】
【表５】
【００６０】
次に表５の抽出ブロックにおいて、文字列変数と属性変数とで差異がある部分を、下記の表６のように属性変数に単一化する。
【００６１】
【表６】
【００６２】
以上の処理により、以下のように単一化された抽出ルールが作成され、抽出ルールＤＢ１４０に格納される。
【００６３】
<top><item[*]>[商品名:*] <r><t>[価格:*]
＜抽出ルール適用処理（ステップＳ３）＞
抽出ルール適用処理（ステップＳ３）では、Ｗｅｂページを予め下記のようにブロック化しデータとして保持する。
【００６４】
<top><item[1]>帽子<r><t>￥２，９８０
<top><item[2]>サングラス<r><t>￥３，９８０
<top><item[3]>サンダル<r><t>￥１，９８０
<top><item[4]> ...<r><t>...
...
そして、前記抽出ルールＤＢ１４０に格納された抽出ルールを、前記ブロック化したＷｅｂページに適用して属性情報を抽出する。
【００６５】
したがって、抽出ルール適用部１３０は、図３のようにＷｅｂページのブロック化機能とルール適用機能とを有している。
【００６６】
例えば抽出ルールＤＢ１４０に格納された抽出ルールが、“<top><item[*]>[商品名:*] <r><t>[価格:*]”であった場合、該抽出ルールの属性変数に前記ブロック化されたＷｅｂページのテキスト文字列を対応付け、下記表７に示すような属性情報を抽出し出力する。
【００６７】
【表７】
【００６８】
以上のように本実施形態例によれば、抽出ルール作成支援部１１０が実行する、テキストの表示（図４のステップＳ１１）、オペレータからの指示の受付け（図４のステップＳ１２，Ｓ１５）、選択文字列の強調表示および入力要求欄付き抽出ブロックの表示（図４のステップＳ１４）およびブロック抽出（図４のステップＳ１３，Ｓ１６）を通じて、オペレータに対し対話的に抽出ルールの作成支援を行うことができる。
【００６９】
また、抽出ルール作成部１２０が実行する抽出ブロック一般化（図５のステップＳ２１）と抽出ブロック単一化（図５のステップＳ２２）により、複数の属性情報の事例から、属性情報間の対応関係が推測可能となったため、オペレータは複数の属性情報間の対応関係を指定する必要がない。これにより、オペレータの抽出ルール作成に対する負荷を軽減することができる。
【００７０】
また、本実施形態の情報抽出装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の情報抽出方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【符号の説明】
【００７１】
１００…情報抽出装置
１１０…抽出ルール作成支援部
１２０…抽出ルール作成部
１３０…抽出ルール適用部
１４０…抽出ルールＤＢ
【技術分野】
【０００１】
本発明は、インターネット上のＷｅｂページ等から市場分析などに必要な商品などについての属性情報を抽出する情報抽出技術に関する。
【背景技術】
【０００２】
ネットワーク上のテキスト情報源、例えばＷｅｂページ等から商品の名前や価格等の属性情報を抽出する技術が下記特許文献１で開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３４８０６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
単一のＷｅｂページに複数の商品などが掲載されている場合、各商品の属性情報を個々の商品毎にグループ化する方法が必要となる。
【０００５】
例えば、図６のような商品に関するＷｅｂページがあるとすると、この図６のページから、従来技術により以下のような属性情報が抽出される。
【０００６】
商品名：帽子、サンダル、サングラス、…
価格：￥２，９８０、￥３，９８０、￥１，９８０、…
このときに、それぞれの商品名がどの価格に対応しているのかを対応付ける必要がある。
【０００７】
このように属性情報どうしを対応付けて抽出することができる抽出ルールを作成することは、作成コストのかかるものであった。
【０００８】
本発明は上記課題を解決するものであり、その目的は、テキスト情報源から属性情報を抽出する際の抽出ルール作成に対する負荷、作成コストを軽減させた情報抽出装置、方法、プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明では、オペレータによる抽出ルールの作成支援を行い、ページのレイアウト情報を手がかりにして属性情報抽出ルールを作成し、作成した抽出ルールを元に例えば商品の属性情報を抽出する。
【００１０】
すなわち、本発明の情報抽出装置は、オペレータが指定したテキスト情報源のテキスト文字列および属性情報に対して、当該属性情報の属性名およびテキスト文字列周辺のレイアウト情報を含む抽出ブロックを、テキスト情報源から取得して表示する抽出ルール作成支援手段と、前記抽出ルール作成支援手段によって取得された抽出ブロックに対して、各抽出ブロックの属性名毎に抽出ブロックを一般化し、該一般化された抽出ブロックについて各属性名毎の抽出ブロックを一つの抽出ブロックに単一化し、属性情報を抽出するための単一化された抽出ルールを作成する抽出ルール作成手段と、前記テキスト情報源のテキストを予めブロック化しておき、前記抽出ルール作成手段によって作成された抽出ルールを、前記ブロック化されたテキストに適用して属性情報を抽出する抽出ルール適用手段と、を備えたことを特徴としている。
【発明の効果】
【００１１】
本発明によれば、オペレータの指示（情報指定等）に対して、抽出ルール作成支援手段が抽出ブロックの取得と表示を行なうので、オペレータに対して対話的に抽出ルールの作成支援がなされ、オペレータの抽出ルール作成に対する負荷を軽減することができる。
【００１２】
また、抽出ルール作成手段による前記抽出ブロックの一般化と単一化によって、単一化した抽出ルールが作成されるので、属性情報間の対応関係が推測可能となり、オペレータが複数の属性情報間の対応関係を指定する必要がなくなる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態例を示す全体構成図。
【図２】本発明の一実施形態例による情報抽出方法の処理を示すフローチャート。
【図３】本発明の一実施形態例による情報抽出装置の機能ブロック図。
【図４】本発明の一実施形態例による抽出ルール作成支援の処理を示すフローチャート。
【図５】本発明の一実施形態例による抽出ルール作成の処理を示すフローチャート。
【図６】本発明の一実施形態例において表示するテキストの一例を示す説明図。
【図７】図６のテキストを表示するための記述形式を示す説明図。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。本発明におけるオペレータとは、抽出ルールを作成しようとする作業者である。また、レイアウト情報とは、例えば図６に示す商品に関するＷｅｂページのテキストについて、レイアウトされたテキストを表示するための記述形式（図７）である。
【００１５】
図７において、“<top>”と“</top>”とで囲まれた範囲により表示対象を示している。また、“<item>”と“</item>”とで囲まれた範囲は、箇条書きの要素であることを示している。さらに、“<r>”は改行を、“<t>”はタブを各々表している。
【００１６】
図１は本発明の一実施形態例における情報抽出装置１００の全体構成を示し、図２は情報抽出装置１００で行なわれる処理の流れを示し、図３は情報抽出装置１００の各部の機能を示している。
【００１７】
図１において、情報抽出装置１００は、抽出ルール作成支援手段としての抽出ルール作成支援部１１０、抽出ルール作成手段としての抽出ルール作成部１２０、抽出ルール適用手段としての抽出ルール適用部１３０および抽出ルールＤＢ（データベース）１４０を備えている。
【００１８】
尚図１中の（１）〜（７）で示す矢印は、後述するオペレータの指示、情報の流れ、各部の処理結果等を表している。
【００１９】
抽出ルール作成支援部１１０は、オペレータが指定(図示(１)）したＷｅｂページのテキスト文字列および属性情報に対して、当該属性情報の属性名およびテキスト文字列周辺のレイアウト情報を含む抽出ブロックを、Ｗｅｂページから取得（図示（２））して表示する。尚、前記Ｗｅｂページは、例えばＷｅｂページデータベースに格納されている。
【００２０】
抽出ルール作成部１２０は、前記抽出ルール作成支援部１１０によって取得された抽出ブロック（図示（３））に対して、各抽出ブロックの属性名毎に抽出ブロックを一般化し、該一般化された抽出ブロックについて各属性名毎の抽出ブロックを一つの抽出ブロックに単一化し、属性情報を抽出するための単一化された抽出ルールを作成し、抽出ルールＤＢ１４０に格納する（図示（４））。
【００２１】
抽出ルール適用部１３０は、前記Ｗｅｂページのテキストを予め取り込んで（図示（５））ブロック化しておき、前記抽出ルールＤＢ１４０に格納された抽出ルールを取り込み（図示（６））、該抽出ルールを前記Ｗｅｂページのブロック化されたテキストに適用して属性情報を抽出する（図示（７））。
【００２２】
前記情報抽出装置１００は、例えばコンピュータにより構成され、通常のコンピュータのハードウェアリソース、例えばＲＯＭ，ＲＡＭ，ＣＰＵ、入力装置、表示装置、出力装置、通信インターフェース、ハードディスク、記録媒体およびその駆動装置を備えている。
【００２３】
このハードウェアリソースとソフトウェアリソース（ＯＳ、アプリケーションなど）との協働の結果、情報抽出装置１００は、図１に示すように、抽出ルール作成支援部１１０、抽出ルール作成部１２０、抽出ルール適用部１３０および抽出ルールＤＢ１４０を実装する。
【００２４】
前記抽出ルールＤＢ１４０は、ハードディスクあるいはＲＡＭなどの保存手段・記憶手段に構築されているものとする。
【００２５】
次に、上記のように構成された装置の動作を図２のフローチャートに沿って詳細に説明する。
【００２６】
＜抽出ルール作成支援処理（ステップＳ１）＞
抽出ルール作成支援処理では、オペレータがＷｅｂページに対して必要な属性情報を部分的に指定し、抽出ルール作成支援部１１０がその指定された属性情報のレイアウト情報から抽出ブロックを取得し表示装置（図示省略）に表示させる。
【００２７】
したがって、抽出ルール作成支援部１１０は図３のように、オペレータからの指示の受付機能と、情報の表示機能と、ブロックの抽出機能とを有している。
【００２８】
前記図６のＷｅｂページを例にすると、オペレータがＷｅｂページに対して商品の属性情報である例えば“帽子”を選択し、オペレータはその属性情報に対して属性名“商品名”を付与する。抽出ルール作成支援処理では、このオペレータの一連の指示から、以下のような属性情報に対する抽出ブロックを取得する。
【００２９】
<top><item[1]>[商品名:帽子]<r><t>[*]
上記抽出ブロックは、属性情報の属性名と属性値およびそのレイアウト情報からなる。“［商品名：帽子］”は、属性名“商品名”と属性値“帽子”からなる属性情報である。また、“[*]”は、着目する属性情報およびレイアウト情報以外の任意のテキスト文字列を表し、以下文字列変数と呼ぶことにする。
【００３０】
さらに、抽出ブロックは、属性情報に関連するレイアウト情報を含む。レイアウト情報の同一階層に複数の同一要素がある場合には、各要素にその出現順位を示す項番を付与する。“<item[1]>”は、“<top>”直下の１番目の“<item>”要素であることを表す。
【００３１】
次に抽出ルール作成支援処理（ステップＳ１）の具体例を図４のフローチャートとともに説明する。
【００３２】
まずステップＳ１１において、抽出ルール作成支援部１１０は表示装置にＷｅｂページのテキストを表示し、オペレータに対してテキスト文字列の選択を促す。
【００３３】
次にステップＳ１２において、オペレータが前記表示されたテキストに対してテキスト文字列を選択し、それを抽出ルール作成支援部１１０が受け付ける。
【００３４】
すると抽出ルール作成支援部１１０は、ステップＳ１３において、前記オペレータが選択した文字列に対応するブロックを抽出し、例えば次のようにオペレータが指定した箇所を含むテキスト文字列を強調表示する（ステップＳ１４）ことによって、そのテキスト文字列に対する属性名の入力をオペレータに要求する。
【００３５】
すなわち、下記の表１のように、表示テキスト画面にテキストを表示し、オペレータ要求画面に属性名入力欄を表示する。
【００３６】
【表１】
【００３７】
例えば、オペレータが帽子を指定したとするとその箇所はテキスト文字列“￥２，９８０”の近傍であるので、“￥２，９８０”を強調表示する。これに対して、属性名の入力要求欄をブロック抽出処理（ステップＳ１３）で抽出したブロックとともにオペレータ要求画面へ表示する（表１の「？」で示される欄）。
【００３８】
次にステップＳ１５において、オペレータが前記入力要求欄に属性名を入力し、それを抽出ルール作成支援部１１０が受け付ける。
【００３９】
次にステップＳ１６において、抽出ルール作成支援部１１０は、前記オペレータが指定したテキスト文字列からそのテキスト文字列の周辺に関連するレイアウト情報を収集し、オペレータが入力した属性名を付加したテキスト文字列とレイアウト情報と属性情報から構成されるブロックを抽出する。
【００４０】
例えば、オペレータがステップＳ１２において“￥２，９８０”というテキスト文字列を指定し、さらにステップＳ１５において“価格”という属性名を入力した場合、以下のようなブロックが抽出される。
【００４１】
<top><item[1]>[*]<r><t>[価格:￥２，９８０]
このブロック抽出処理において、属性情報“[価格:￥２，９８０]”が含まれるブロックが“<top><item[1]>”であり、ブロック“<top><item[1]>”が含む記述形式の対応部分は、“帽子<r><t>￥２，９８０”となる。これに対して、オペレータが指定したテキスト文字列“￥２，９８０”へオペレータが入力した属性名“価格”を付加し、属性情報“［価格：￥２，９８０］”に置き換える。さらに、属性情報とレイアウト情報以外のテキスト文字列を文字列変数“[*]”に置き換え、抽出ブロック“<top><item[1]>[*]<r><t>［価格：￥２，９８０］”を作成する。
【００４２】
＜抽出ルール作成処理（ステップＳ２）＞
抽出ルール作成処理では、抽出ルール作成支援処理（ステップＳ１）によって取得された抽出ブロックから、抽出ルール作成部１２０が抽出ルールを作成する。
【００４３】
前記図６、表１のＷｅｂページを例にすると、オペレータが属性情報として、帽子とサングラスとに対する商品名と価格を指定した場合、前記抽出ルール作成支援処理（ステップＳ１）では下記の４つの抽出ブロックが取得される。
【００４４】
<top><item[1]>[商品名:帽子] <r><t>[*]
<top><item[1]>[*]<r><t>［価格：￥２，９８０］
<top><item[2]>[商品名:サングラス] <r><t>[*]
<top><item[2]>[*]<r><t>［価格：￥３，９８０］
抽出ルール作成処理（ステップＳ２）では、これらの抽出ブロックに対して、属性名毎に抽出ブロックを一般化して抽出ルールの一般化を図り、それぞれ属性名毎の抽出ブロックを単一化して抽出ルールの単一化を図る。
【００４５】
これらの処理により、形成される抽出ルールは以下の通りとなる。
【００４６】
<top><item[*]>[商品名:*] <r><t>[価格:*]
したがって抽出ルール作成部１２０は、図３のように抽出ブロック一般化機能と、抽出ブロック単一化機能を有している。
【００４７】
次に抽出ルール作成処理（ステップＳ２）の具体例を図５のフローチャートとともに説明する。図５において、ステップＳ２１では、抽出ルール作成支援処理（ステップＳ１）によって取得された抽出ブロックから、属性名毎に抽出ブロックを一般化する。
【００４８】
例えば、抽出ルール作成支援処理によって以下のような抽出ブロックが取得されているとする。
【００４９】
＜top><item[1]>[商品名:帽子] <r><t>[*]
<top><item[1]>[*]<r><t>［価格：￥２，９８０］
<top><item[2]>[商品名:サングラス] <r><t>[*]
<top><item[2]>[*]<r><t>［価格：￥３，９８０］
これらの抽出ブロックに対して、ステップＳ２１の抽出ブロック一般化処理では、属性名により、次の表２のように抽出ブロックを分類する。
【００５０】
【表２】
【００５１】
そして、抽出ブロック間で共通なレイアウト情報はそのままにし、差異があるテキスト文字列は任意のテキスト文字列を表す“*”（文字列変数）に置き換える操作を行なって、次の表３のように同じ属性名を持つ抽出ブロックを一般化する。
【００５２】
【表３】
【００５３】
すなわち、表２中の属性名が「商品名」である２つの抽出ブロックにおいて、[1]と[2]、帽子とサングラスのように差異のある文字列が、表３中の属性名が「商品名」である１つの抽出ブロックの文字列変数“*”に置き換えられる。
【００５４】
また、表２中の属性名が「価格」である２つの抽出ブロックにおいて、[1]と[2]、￥２，９８０と￥３，９８０のように差異のある文字列が、表３中の属性名が「価格」である１つの抽出ブロックの文字列変数“*”に置き換えられる。
【００５５】
上記置き換え操作の結果、表３のように“*”が含まれる属性情報［商品名：*］、［価格：*］を属性変数と呼ぶこととする．
次にステップＳ２２の抽出ブロック単一化処理では、前記抽出ブロック一般化処理（ステップＳ２１）によって一般化された抽出ブロックを単一化することで、抽出ルールの単一化を図った抽出ルールを作成する。
【００５６】
例えば、抽出ブロック一般化処理（ステップＳ２１）によって表３に示す次のような２つの抽出ブロックが得られているとする．
<top><item[*]>[商品名:*]<r><t>[*]
<top><item[*]>[*]<r><t>[価格:*]
これらに対して、抽出ブロック単一化処理（ステップＳ２２）では、まず２つの抽出ブロック間の対応付けを次の表４のように行なう。
【００５７】
【表４】
【００５８】
次に表４の２つの抽出ブロックの共通部分を下記の表５のように単一化する。
【００５９】
【表５】
【００６０】
次に表５の抽出ブロックにおいて、文字列変数と属性変数とで差異がある部分を、下記の表６のように属性変数に単一化する。
【００６１】
【表６】
【００６２】
以上の処理により、以下のように単一化された抽出ルールが作成され、抽出ルールＤＢ１４０に格納される。
【００６３】
<top><item[*]>[商品名:*] <r><t>[価格:*]
＜抽出ルール適用処理（ステップＳ３）＞
抽出ルール適用処理（ステップＳ３）では、Ｗｅｂページを予め下記のようにブロック化しデータとして保持する。
【００６４】
<top><item[1]>帽子<r><t>￥２，９８０
<top><item[2]>サングラス<r><t>￥３，９８０
<top><item[3]>サンダル<r><t>￥１，９８０
<top><item[4]> ...<r><t>...
...
そして、前記抽出ルールＤＢ１４０に格納された抽出ルールを、前記ブロック化したＷｅｂページに適用して属性情報を抽出する。
【００６５】
したがって、抽出ルール適用部１３０は、図３のようにＷｅｂページのブロック化機能とルール適用機能とを有している。
【００６６】
例えば抽出ルールＤＢ１４０に格納された抽出ルールが、“<top><item[*]>[商品名:*] <r><t>[価格:*]”であった場合、該抽出ルールの属性変数に前記ブロック化されたＷｅｂページのテキスト文字列を対応付け、下記表７に示すような属性情報を抽出し出力する。
【００６７】
【表７】
【００６８】
以上のように本実施形態例によれば、抽出ルール作成支援部１１０が実行する、テキストの表示（図４のステップＳ１１）、オペレータからの指示の受付け（図４のステップＳ１２，Ｓ１５）、選択文字列の強調表示および入力要求欄付き抽出ブロックの表示（図４のステップＳ１４）およびブロック抽出（図４のステップＳ１３，Ｓ１６）を通じて、オペレータに対し対話的に抽出ルールの作成支援を行うことができる。
【００６９】
また、抽出ルール作成部１２０が実行する抽出ブロック一般化（図５のステップＳ２１）と抽出ブロック単一化（図５のステップＳ２２）により、複数の属性情報の事例から、属性情報間の対応関係が推測可能となったため、オペレータは複数の属性情報間の対応関係を指定する必要がない。これにより、オペレータの抽出ルール作成に対する負荷を軽減することができる。
【００７０】
また、本実施形態の情報抽出装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の情報抽出方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【符号の説明】
【００７１】
１００…情報抽出装置
１１０…抽出ルール作成支援部
１２０…抽出ルール作成部
１３０…抽出ルール適用部
１４０…抽出ルールＤＢ
【特許請求の範囲】
【請求項１】
オペレータが指定したテキスト情報源のテキスト文字列および属性情報に対して、当該属性情報の属性名およびテキスト文字列周辺のレイアウト情報を含む抽出ブロックを、テキスト情報源から取得して表示する抽出ルール作成支援手段と、
前記抽出ルール作成支援手段によって取得された抽出ブロックに対して、各抽出ブロックの属性名毎に抽出ブロックを一般化し、該一般化された抽出ブロックについて各属性名毎の抽出ブロックを一つの抽出ブロックに単一化し、属性情報を抽出するための単一化された抽出ルールを作成する抽出ルール作成手段と、
前記テキスト情報源のテキストを予めブロック化しておき、前記抽出ルール作成手段によって作成された抽出ルールを、前記ブロック化されたテキストに適用して属性情報を抽出する抽出ルール適用手段と、
を備えたことを特徴とする情報抽出装置。
【請求項２】
前記抽出ルール作成手段が行う抽出ブロックの一般化は、同じ属性名を持つ抽出ブロックの間で、共通なレイアウト情報はそのままにし、差異があるテキスト文字列を任意のテキスト文字列を表す文字列変数に置き換え、該文字列変数が含まれる属性情報を属性変数とすることによって実施され、
前記抽出ルール作成手段が行う抽出ブロックの単一化は、各抽出ブロック間の共通部分を単一化し、前記文字列変数と属性変数とで差異のある部分を属性変数に単一化することによって実施されることを特徴とする請求項１に記載の情報抽出装置。
【請求項３】
抽出ルール作成支援手段が、オペレータが指定したテキスト情報源のテキスト文字列および属性情報に対して、当該属性情報の属性名およびテキスト文字列周辺のレイアウト情報を含む抽出ブロックを、テキスト情報源から取得して表示する抽出ルール作成支援ステップと、
抽出ルール作成手段が、前記抽出ルール作成支援手段によって取得された抽出ブロックに対して、各抽出ブロックの属性名毎に抽出ブロックを一般化する抽出ブロック一般化ステップと、前記一般化された抽出ブロックについて各属性名毎の抽出ブロックを一つの抽出ブロックに単一化する抽出ブロック単一化ステップとを有し、属性情報を抽出するための単一化された抽出ルールを作成する抽出ルール作成ステップと、
抽出ルール適用手段が、前記テキスト情報源のテキストを予めブロック化しておき、前記抽出ルール作成手段によって作成された抽出ルールを、前記ブロック化されたテキストに適用して属性情報を抽出する抽出ルール適用ステップと、
を備えたことを特徴とする情報抽出方法。
【請求項４】
前記抽出ブロック一般化ステップは、同じ属性名を持つ抽出ブロックの間で、共通なレイアウト情報はそのままにし、差異があるテキスト文字列を任意のテキスト文字列を表す文字列変数に置き換え、該文字列変数が含まれる属性情報を属性変数とすることによって実施され、
前記抽出ブロック単一化ステップは、各抽出ブロック間の共通部分を単一化し、前記文字列変数と属性変数とで差異のある部分を属性変数に単一化することによって実施されることを特徴とする請求項３に記載の情報抽出方法。
【請求項５】
コンピュータを請求項１又は２に記載の各手段として機能させる情報抽出プログラム。
【請求項１】
オペレータが指定したテキスト情報源のテキスト文字列および属性情報に対して、当該属性情報の属性名およびテキスト文字列周辺のレイアウト情報を含む抽出ブロックを、テキスト情報源から取得して表示する抽出ルール作成支援手段と、
前記抽出ルール作成支援手段によって取得された抽出ブロックに対して、各抽出ブロックの属性名毎に抽出ブロックを一般化し、該一般化された抽出ブロックについて各属性名毎の抽出ブロックを一つの抽出ブロックに単一化し、属性情報を抽出するための単一化された抽出ルールを作成する抽出ルール作成手段と、
前記テキスト情報源のテキストを予めブロック化しておき、前記抽出ルール作成手段によって作成された抽出ルールを、前記ブロック化されたテキストに適用して属性情報を抽出する抽出ルール適用手段と、
を備えたことを特徴とする情報抽出装置。
【請求項２】
前記抽出ルール作成手段が行う抽出ブロックの一般化は、同じ属性名を持つ抽出ブロックの間で、共通なレイアウト情報はそのままにし、差異があるテキスト文字列を任意のテキスト文字列を表す文字列変数に置き換え、該文字列変数が含まれる属性情報を属性変数とすることによって実施され、
前記抽出ルール作成手段が行う抽出ブロックの単一化は、各抽出ブロック間の共通部分を単一化し、前記文字列変数と属性変数とで差異のある部分を属性変数に単一化することによって実施されることを特徴とする請求項１に記載の情報抽出装置。
【請求項３】
抽出ルール作成支援手段が、オペレータが指定したテキスト情報源のテキスト文字列および属性情報に対して、当該属性情報の属性名およびテキスト文字列周辺のレイアウト情報を含む抽出ブロックを、テキスト情報源から取得して表示する抽出ルール作成支援ステップと、
抽出ルール作成手段が、前記抽出ルール作成支援手段によって取得された抽出ブロックに対して、各抽出ブロックの属性名毎に抽出ブロックを一般化する抽出ブロック一般化ステップと、前記一般化された抽出ブロックについて各属性名毎の抽出ブロックを一つの抽出ブロックに単一化する抽出ブロック単一化ステップとを有し、属性情報を抽出するための単一化された抽出ルールを作成する抽出ルール作成ステップと、
抽出ルール適用手段が、前記テキスト情報源のテキストを予めブロック化しておき、前記抽出ルール作成手段によって作成された抽出ルールを、前記ブロック化されたテキストに適用して属性情報を抽出する抽出ルール適用ステップと、
を備えたことを特徴とする情報抽出方法。
【請求項４】
前記抽出ブロック一般化ステップは、同じ属性名を持つ抽出ブロックの間で、共通なレイアウト情報はそのままにし、差異があるテキスト文字列を任意のテキスト文字列を表す文字列変数に置き換え、該文字列変数が含まれる属性情報を属性変数とすることによって実施され、
前記抽出ブロック単一化ステップは、各抽出ブロック間の共通部分を単一化し、前記文字列変数と属性変数とで差異のある部分を属性変数に単一化することによって実施されることを特徴とする請求項３に記載の情報抽出方法。
【請求項５】
コンピュータを請求項１又は２に記載の各手段として機能させる情報抽出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１０３９２９（Ｐ２０１２−１０３９２９Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５２４２３（Ｐ２０１０−２５２４２３）
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]