説明

業界マップ生成システム

【課題】文書データに基づいて、特定業界に係る企業や相互間の関係を可視化した業界マップを自動的に生成する技術の実現。
【解決手段】一対の相関企業間の関係を格納した企業相関情報DB22と、企業名DB16と、キーワードDB51と、キーワード間の関連度を格納しておくキーワード関連度表DB56と、業界を特定するキーワードが入力された場合に、これに対する関連度に応じて複数のキーワードを連想キーワードとして抽出し、その中で企業名に該当するものを連想企業として抽出し、各連想企業のシンボルをマップ平面上に配置し、また、企業相関情報DB22から連想企業間の企業相関情報を抽出し、相関キーワードを各連想企業に関連付けてマップ平面上に配置する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は業界マップ生成システムに係り、特に、新聞報道記事などの大量の文書データに基づいて、特定業界を構成する各企業と、企業相互間の関係を図示した業界マップを自動生成する技術に関する。
【背景技術】
【0002】
IT業界やバイオ業界のように、特定の業界に属する企業への投資を希望する投資家や、特定の業界に関わる企業への就職を希望する学生にとって、当業界を構成している企業の顔ぶれや、相互間の関係を可視化した資料は極めて有効な判断材料となる。
このため、非特許文献1及び2に示すように、各種の業界マップが出版されている。また、非特許文献3に示すように、Webサイト上でも業界マップが公開されている。
【非特許文献1】ダイエックス出版/1時間で裏までわかる 図解 業界マップ2007インターネットURL:http://book.dai-x.com/shop/18/2864.html検索日:平成20年4月28日
【非特許文献2】楽天ブックス/ネット株・業界マップインターネットURL:http://item.rakuten.co.jp/book/1794867/検索日:平成20年4月28日
【非特許文献3】イーキャリア/完全網羅!業界MAP/情報サービス業界編インターネットURL:http://www.ecareer.ne.jp/contents/business_map/10.jsp検索日:平成20年4月28日
【発明の開示】
【発明が解決しようとする課題】
【0003】
これらの業界マップは、各業界を構成する企業の規模や上下関係、提携関係等をカラフルなイラストで表現しているため、投資家や学生等はこれらを閲覧することにより、特定の業界に関する全体的な知識を短期間の中に習得することが可能となる。
【0004】
しかしながら、既存の業界マップはその優れた視認性を確保するため、とかく編集に時間と手間を要し、短いサイクルでのアップデートは困難であるため、内容が陳腐化し易いという問題があった。インターネットの普及に伴い、日々膨大な情報がネット上にアップされる今日、人間の判断と手作業に依存するこれまでの業界マップ以外に、業界の現状を簡易迅速に表現できる新しいタイプの業界マップに対する要望が存在していた。
また、従来の業界マップの場合、著者や編集者の個性や世界観に基づくバイアスがかかるため、内容に偏りが生じやすいという問題もあった。
【0005】
この発明は上記の現状を打開するために案出されたものであり、電子化された多数の文書データに基づいて、特定業界に係る企業や相互間の関係を可視化した業界マップを自動的に生成可能なシステムを実現することを目的としている。
【課題を解決するための手段】
【0006】
上記の目的を達成するため、請求項1に記載した業界マップ生成システムは、一対の企業名と、両企業間の関係を表す相関キーワードを含む企業相関情報を複数格納しておく企業相関情報記憶手段と、複数の企業名が格納された企業名記憶手段と、複数の文書データから抽出したキーワードを格納しておくキーワード記憶手段と、各キーワードの各文書データ中における出現頻度データを用いて、キーワード間の共起性に基づく関連度を算出し、キーワード関連度記憶手段に格納する関連度算出手段と、特定業界を示すキーワードが入力された場合に、上記関連度記憶手段を参照し、当該キーワードに対する関連度の高さに応じて複数のキーワードを連想キーワードとして抽出する手段と、上記企業名記憶手段を参照し、連想キーワードの中で企業名に該当するものを連想企業として抽出する手段と、各連想企業の存在を表すシンボルを、所定のマップ平面上に配置する手段と、上記企業相関情報記憶手段を参照し、上記連想企業を両方の相関企業とする企業相関情報を抽出する手段と、この企業相関情報に含まれる相関キーワードを、各連想企業に関連付けて上記マップ平面上に配置する手段と、上記企業相関情報記憶手段を参照し、上記連想企業を一方の相関企業とすると共に、連想企業以外の企業を他方の相関企業とし、かつ上記連想キーワードを相関キーワードとして含む企業相関情報を抽出する手段と、この企業相関情報の中で、連想企業以外の企業を周辺企業として抽出し、その存在を表すシンボルを上記マップ平面上に配置する手段と、この企業相関情報の相関キーワードの中で、上記連想キーワードに該当するものを、周辺企業と連想企業に関連付けて上記マップ平面上に配置する手段と、上記マップ平面を業界マップとして出力する手段を備えたことを特徴としている。
ここで「共起性」とは、同一文書中に登場する割合(程度)を意味している。
上記の「シンボル」としては、例えば企業名を表す文字列(略称、通称、イニシャルを含む)や、点や○、□などの図形と企業名を表す文字列との組合せが該当する。
また、上記の「出力」とは、例えばディスプレイに表示することや、プリンタを介してプリントアウトすること、あるいはサーバによって生成された画面をネットワーク経由でクライアント端末に送信することが該当する。
【0007】
請求項2に記載した業界マップ生成システムは、請求項1に記載のシステムであって、さらに上記業界マップが、上記マップ平面上において、企業相関情報に基づいて関連付けられた連想企業を表すシンボル間が線図で結ばれると共に、当該線図上に相関キーワードが配置され、企業相関情報に基づいて関連付けられた周辺企業と連想企業を表すシンボル間が線図で結ばれると共に、当該線図上に連想キーワードが配置されたものであることを特徴としている。
【0008】
請求項3に記載した業界マップ生成システムは、請求項1または2に記載のシステムであって、さらに、上記文書データには所定の時間情報が関連付けられており、上記企業名記憶手段を参照し、文書中に複数の企業名が出現する文書データを上記文書記憶手段から抽出する手段と、抽出した各文書データの時間情報及び出現企業名を比較し、同一事象に係る複数の文書データを一対の企業の組合せ毎に関連文書データとして抽出する関連文書抽出手段と、各関連文書データからそれぞれキーワードを抽出するキーワード抽出手段と、各キーワードの存否を関連文書毎にチェックし、少なくとも2以上の関連文書中に存在しているキーワードを相関キーワードと認定する相関キーワード認定手段と、上記一対の企業名及び上記相関キーワードからなる企業相関情報を、上記企業相関情報記憶手段に格納する手段を備えたことを特徴としている。
【0009】
請求項4に記載した業界マップ生成システムは、請求項1〜3に記載のシステムであって、さらに上記のキーワード抽出手段が、それぞれ固有の抽出基準に基づいてキーワード候補を抽出する複数のフィルタを備え、各フィルタによって抽出されたキーワード候補をマッチングし、2以上のフィルタによって抽出されたキーワード候補をキーワードとして認定することを特徴としている。
【0010】
請求項5に記載した業界マップ生成システムは、請求項4に記載のシステムであって、さらに上記フィルタの一つが、(1) 各文書データ中に含まれる名詞を注目語として抽出し、(2) 各注目語の全文書データ中における出現頻度を算出し、(3) 各注目語の一つ前及び/又は一つ後の形態素に範囲を拡張し、この拡張範囲を含めた注目語の全文書中における出現頻度を算出し、(4) 上記(3)の処理によって算出された出現頻度が所定数以上の場合には、さらにその一つ前あるいは後の形態素に範囲を拡張し、この拡張範囲を含めた注目語の全文書データ中における出現頻度を算出する処理を、その出現頻度が所定数未満となるまで繰り返し、(5) 最初の注目語及び拡張範囲を含めた注目語の中で、所定範囲内の出現頻度を有するものをキーワード候補として選定することを特徴としている。
【0011】
請求項6に記載した業界マップ生成システムは、請求項1〜5に記載のシステムであって、さらに上記関連度算出手段が、(1)文書データ単位で、当該文書データ中に出現実績があり、関連度算出の対象とすべきキーワードを選別する処理と、(2)文書データ単位で、各選別キーワード間の出現頻度を乗算し、その積を所定の記憶手段に記録する処理と、(3)文書データ単位で、各選別キーワードの出現頻度を二乗し、その値を所定の記憶手段に記録する処理と、(4) 上記選別キーワード間の積を、全文書データに亘って集計する処理と、(5) 各選別キーワードの出現頻度の二乗値を、全文書データに亘って集計する処理と、(6) 上記(5)の集計値の平方根を算出する処理と、(7) 各キーワードの上記(6)の平方根同士を加算し、その和で上記(4)の集計値を除することにより、両キーワード間の関連度を算出する処理とを実行することを特徴としている。
【発明の効果】
【0012】
請求項1に記載した業界マップ生成システムによれば、特定業界を示すキーワードが入力された時点で、最新の情報に基づいて当該業界の主要企業(連想企業)及び周辺企業を導き出し、各企業間の相関関係を記述した業界マップを自動的に出力することができるため、現状にマッチした業界の全体像を簡易迅速に可視化することが可能となる。また、業界を構成する企業の特定や相関関係の抽出は、多数の文書データに基づいて自動的に実行されるため、人間の主観に基づく偏りを排した、客観的な業界マップを得ることが可能となる。
【0013】
請求項2に記載した業界マップ生成システムによれば、連想企業間あるいは連想企業と周辺企業間が線図で結ばれると共に、当該線図上にキーワードが配置された業界マップが出力されるため、各企業間の関係性が明確化される利点が生じる。
【0014】
請求項3に記載した業界マップ生成システムによれば、大量の文書データ中から相互に関係のある一対の企業名と、両企業間における相関キーワードを自動的に抽出することが可能となるため、企業間の関係について記述した文書データを個別に検索・収集する手間暇を大幅に低減できると共に、人為的なミスによって重要な情報が漏れることを防止可能となる。
【0015】
請求項4及び5に記載した業界マップ生成システムの場合、複数のフィルタを用いて文書データ中からそれぞれ独自にキーワード候補を抽出させ、これらの中で2以上のフィルタによって抽出されたものを正式なキーワードと認定する仕組みを備えているため、重要なキーワードの取りこぼしを防止すると同時に、重要でないノイズがキーワード中に混入することを防止できる。
特に請求項5のシステムの場合、キーワード候補の抽出に際し、複数の文書データ中における出現頻度に基づいてある注目語をキーワード候補として選定するか否かを判断する仕組みを備えているため、選定されたキーワード候補の重要度に対して客観性を持たせることが可能となる。
【0016】
請求項6に記載した業界マップ生成システムによれば、まず文書データ単位で、出現頻度がゼロのため他のキーワードとの関連度算出が不要なキーワードを事前に排除し、出現実績のあるキーワード間で関連度を算出した後、全文書単位に集計する手法を採用している結果、全体の計算処理を簡素化できる。
また、新規の文書データが追加された場合でも、当該新規文書データ単位で(1)〜(3)の処理を行い、この算出結果を(4)及び(5)の既存の集計値に加算した後、(6)及び(7)の計算をやり直すだけで済み、文書データ追加時における関連度の再計算処理が容易化される利点がある。
さらに、古くなった文書データの影響を排除する必要がある場合にも、当該旧文書データに係る(2)及び(3)の値を(4)及び(5)の集計値から減算した後、(6)及び(7)の計算をやり直すだけで済むため、キーワード間の関連度を最新のものに維持することが容易となる。
【発明を実施するための最良の形態】
【0017】
図1は、企業相関情報抽出システム10の機能構成を示すブロック図であり、巡回先DB12と、Webファイル収集部13と、テキスト生成部14と、文書DB15と、企業名DB16と、関連文書抽出部17と、キーワード抽出部18と、類義語辞書19と、同義語辞書20と、企業相関情報抽出部21と、企業相関情報DB22と、企業相関図生成部23とを備えている。
このシステム10にはWebサーバ24が接続されており、このWebサーバ24は、インターネット25やイントラネット等のネットワークを介して複数のクライアント26及びニュースサイト等を開設している他の複数のWebサーバ27と接続されている。
【0018】
上記のWebファイル収集部13、テキスト生成部14、関連文書抽出部17、キーワード抽出部18、企業相関情報抽出部21及び企業相関図生成部23は、サーバコンピュータのCPUが、OS及び専用のアプリケーションプログラムに従い、必要な処理を実行することによって実現される。
【0019】
上記の巡回先DB12、文書DB15、企業名DB16、類義語辞書19、同義語辞書20及び企業相関情報DB22は、同サーバコンピュータのハードディスクに格納されている。
【0020】
巡回先DB12には、予め複数のニュースサイトのURL及び抽出対象文書の所在を特定する情報が登録されている。
また、企業名DB16には、予め多数の企業に係る通称、略称、愛称が、正式名称と関連付けて蓄積されている。
類義語辞書19には、多数のキーワードと、それぞれの同義語との対応関係が予め格納されている。
同義語辞書20には、多数のキーワードと、それぞれの類義語との対応関係が予め格納されている。
【0021】
上記のキーワード抽出部18は、図2に示すように、係り受け表現抽出フィルタ18a、区切り文字抽出フィルタ18b、文字列頻度統計フィルタ18c、TermExtractフィルタ18d、キーワード認定フィルタ18eを備えている。
【0022】
つぎに、図3のフローチャートに従い、企業相関情報の抽出工程について説明する。
まずWebファイル収集部13は、インターネット25上で文書データを公開しているニュースサイト等の複数のWebサーバ27を定期的に巡回し、予め設定されたルールに従い、Webファイルを大量に収集する(S10)。この際、Webファイル収集部13は巡回先DB12を参照し、アクセスすべきWebサイトのURL及び収集対象文書の所在情報を取得する。
【0023】
これらのWebファイルは、テキスト生成部14において不要なHtmlタグが除去され、プレーンなテキストデータに整形された後(S12)、文書DB15に格納される(S14)。この際、各文書データには、ユニークな文書IDと、当該文書データの元になったWebファイルの所在を示すURLと、時間情報(掲載日、収集日時、蓄積日時等)と、情報源を識別するコードとが関連付けられる。
【0024】
なお、上記のようにWebファイル収集部13及びテキスト生成部14の協働によって自動的に文書データを文書DB15に蓄積する代わりに、人間の手によって収集・選別・加工された文書データを、文書DB15に蓄積しておくこともできる。
【0025】
つぎに、関連文書抽出部17が起動し、文書中に2以上の企業名が登場する同一事象に係る複数の文書データを、一対の企業の組合せ単位で文書DB15から抽出する(S16)。
このため関連文書抽出部17は、まず企業名DB16に登録された各企業名及びその略称等をキーに文書データの全文検索を順次実行し、各文書データ中に登場する企業名の数を算出し、それが2以上ある文書データを選別する。
つぎに関連文書抽出部17は、選別された各文書データの日付情報及び企業名をマッチングし、一対の企業名が一致し、かつ日付が近いもの同士を同一事象に係る関連文書データと認定する。
【0026】
図4(a)は、この同一事象に係る関連文書データの一例を示すものであり、文書データ30(情報源:A新報)、文書データ31(情報源:Bニュース)、文書データ32(情報源:C新聞)には、それぞれ「D通信(DDI)」と「Eサーチ」という共通の企業名が登場しており、公開日も同一であるため、関連文書抽出部17によって「D通信−Eサーチ」間の関連文書として抽出された。
【0027】
文書データ31中の「DDI」は、他の文書データ中の「D通信」と表現上は異なっているが、企業名DB16においてD通信の略称として定義されているため、関連文書抽出部17によって関連文書として抽出された。すなわち、関連文書抽出部17は、企業名DB16を参照することにより、企業名の表記のゆれを吸収することができる。
【0028】
なお、文書データ30及び文書データ32には、D通信とEサーチの他に、F商社という第三の企業名が登場しているが、このシステム10は一対の企業間の相関関係を抽出することを企図しているため、この場面では「D通信−Eサーチ」に係る関連文書として取り扱われる。ただし、文書データ30及び文書データ32は、関連文書抽出部17によって「D通信−F商社」及び「Eサーチ−F商社」に係る関連文書としても抽出される(詳細は後述)。
【0029】
上記の各文書の日付は完全に一致していたが、この発明はこれに限定されるものではなく、時間的に近い範囲内(例えば2日以内)であれば、同一事象に係る関連文書と認定することができる。
【0030】
つぎにキーワード抽出部18は、関連文書抽出部17によって抽出された各関連文書に係り受け表現抽出フィルタ18aを適用し、各文書データから所定の係り受け表現を備えた文字列を抽出する(S18)。
すなわち、係り受け表現抽出フィルタ18aには、「○○メーカー」、「○○が主力」、「○○を生産」という係り受け表現パターンが予め多数用意されており、キーワード抽出部18は、これに当てはまる表現パターンを検出した後、「○○」に相当する文字列をキーワード候補として抽出する。
【0031】
つぎにキーワード抽出部18は、各関連文書データに区切り文字抽出フィルタ18bを適用し、「○○」、"○○"、(○○)、[○○]、,○○,のように、カンマや括弧、スペース、タブ等の区切り文字で囲まれた○○の部分をキーワード候補として抽出する(S20)。
【0032】
つぎにキーワード抽出部18は、各関連文書データに文字列頻度統計フィルタ18cを適用し、各関連文書データに含まれる文字列が文書DB15に格納された他の文書も含めて何回登場するのかを集計し、一定範囲の出現頻度を備えた文字列をキーワード候補として抽出する(S22)。
まず文字列頻度統計フィルタ18cは、図5に示すように、関連文書中の名詞(ここでは「DVD」)に注目し、このDVDという注目語が文書DB15内に蓄積された全文書データ中に出現する数を集計する。つぎに、文字列頻度統計フィルタ18cは、この注目語の前後の形態素に範囲を拡張し、それぞれの全文書中に登場する頻度を集計し、出現頻度が一定以下(例えば20以下)となった時点で文字範囲拡張を停止する。
【0033】
例えば、DVDの一つ前の形態素を含む「したDVD」の出現頻度は「2」と低いため、これ以上前の形態素に範囲が拡張されることはない。これに対し、DVDの一つ後の形態素を含む「DVDレコーダー」の出現頻度は「862」と多いため、その一つ後の形態素を含む「DVDレコーダーでは」の出現頻度を集計する。そして、この出現頻度は「5」と低いため、これ以降の形態素に範囲を拡張することが停止される。
【0034】
上記の「形態素」とは、意味を有する最小の言語単位を指す。例えば、「私の名前は鈴木です」を形態素に分解すると、「私(代名詞)」「の(助詞)」「名前(一般名詞)」「は(係助詞)」「鈴木(固有名詞)」「です(助動詞)」となる。
【0035】
つぎに文字列頻度統計フィルタ18cは、「DVD」及び「DVDレコーダー」が所定範囲(例えば20〜5,000)内の出現頻度を備えていることを理由にキーワード候補として抽出する。これに対し、「したDVD」及び「DVDレコーダーでは」は上記の範囲外であるため、キーワード候補から除外される。
全文書中における出現頻度が20未満のものはそもそも重要語とはいえず、また5,000を越えるものは逆に特徴のない汎用語あるいは一般語と考えられるからであるが、この範囲設定は文書データの分量や検索システムの使用目的に応じて適宜調整される。
【0036】
ところで、文書DB15内に蓄積された多量の文書データに含まれる各文字列に関して、それぞれの出現頻度を集計するには膨大な時間を要するため、図6に示すように、文書DB15内には予め全文書データに登場する各形態素が、個々の文書データ中に存在しているか否かを一覧表にまとめたインデックス(所謂転置インデックス)が生成されている。このため、キーワード抽出部18はこのインデックスを参照することにより、比較的短時間でその出現頻度を取得することが可能となる。
【0037】
つぎにキーワード抽出部18は、各関連文書データにTermExtractフィルタ18dを適用し、各関連文書データから所定以上のスコアを備えた文字列をキーワード候補として抽出する(S24)。
このTermExtractフィルタ18dは、専門分野のコーパス(主として研究目的で収集され、電子化された自然言語の文章からなる巨大なテキストデータ)から専門用語を自動抽出するために案出された文字列抽出アルゴリズムであり、文書データ中から単名詞及び複合名詞を候補語として抽出し、各候補語の出現頻度と連接頻度に基づいてそれぞれの重要度を算出する機能を備えている。このTermExtractフィルタ18d自体は公知技術であるため、これ以上の説明は省略する。
【0038】
つぎにキーワード抽出部18は、係り受け表現抽出フィルタ18a、区切り文字抽出フィルタ18b、文字列頻度統計フィルタ18c、TermExtractフィルタ18dによって抽出された各キーワード候補をキーワード認定フィルタ18eに入力し、キーワードを絞り込む。
キーワード認定フィルタ18eでは、各フィルタによってリストアップされたキーワード候補同士をマッチングし、2以上のフィルタによってキーワード候補として挙げられているものを最終的なキーワードと認定し(S26)、企業相関情報抽出部21に出力する。
【0039】
図4(b)は、関連文書30から「提携」「携帯電話端末」「ネット事業」「検索サービス」のキーワードが抽出され、関連文書31からは「協業」「Z-mode」「ネット事業」「リスティング広告」のキーワードが、関連文書32からは「検索連動広告」「検索サービス」「加入者」「解約」のキーワードが、キーワード抽出部18によって抽出されたことを示している。
【0040】
上記のように、係り受け表現抽出フィルタ18a、区切り文字抽出フィルタ18b、文字列頻度統計フィルタ18c、TermExtractフィルタ18dの4つのフィルタを用いることにより、文書データからキーワードを抽出する際に重要語が漏れ落ちることを防止すると共に、キーワード認定フィルタ18eを用いて絞り込むことにより、不要なキーワード(ノイズ)が混入することを防止できる。
【0041】
なお、4つのフィルタ中の2以上のフィルタによって選別されたキーワード候補を正式なキーワードと認定するのは一例であり、3以上のフィルタによって選別されることをキーワード認定の要件とすることもできる。
また、フィルタの数も上記に限定されるものではなく、他の有効なキーワード候補抽出フィルタをキーワード抽出部18に設け、5以上のフィルタ中の2以上のフィルタによって選別されたキーワード候補を正式なキーワードと認定することもできる。
【0042】
つぎに企業相関情報抽出部21が起動し、各関連文書から抽出されたキーワード同士をマッチングし、各キーワードの得票数を算出する。
すなわち、図4(c)に示すように、企業相関情報抽出部21は各キーワードが情報源を異にする各関連文書中に含まれていたか否かを判定し、含まれていた場合には得票1を、含まれていなかった場合には得票0をテーブル中に記録していく。そして、2以上の得票数を勝ち得たキーワードについては、D通信及びEサーチ間の相関キーワードとして採用される。
【0043】
例えば、「ネット事業」については、A新報及びBニュースに記載があり、得票数が2であるため、相関キーワードとして採用されている。
これに対し「加入者」については、C新聞のみに記載があり、A新報及びBニュースの文書中には登場しないため、得票数が1にとどまり、相関キーワードとして不採用となっている。
【0044】
なお、相関キーワードとして採用されるか否かのボーダーラインとなる「得票数2以上」はあくまでも一例であり、全ての関連文書中に当該キーワードが存在していることを相関キーワードとして採用されるための条件とすることもできる(全会一致)。
あるいは、関連文書数の過半数以上の得票を得てはじめて相関キーワードとして認定されるようにすることもできる(多数決)。
【0045】
念のため付言するが、上記の得票はあるキーワードが関連文書に存在しているという事実に対して「1」が付与されるのであり、ある関連文書中に当該キーワードが5箇所に登場したとしても、「5」の得票が与えられるわけではない。
【0046】
企業相関情報抽出部21は、各キーワードをマッチングするに際し、類義語辞書19及び同義語辞書20を参照することにより、両者が完全一致でなくてもそれぞれの得票を集約する機能を備えている。
【0047】
例えば、A新報の文書中に登場する「提携」とBニュースの文書中に登場する「協業」は、類義語辞書19において類義語として定義されているため、企業相関情報抽出部21は両者を同類のキーワードと認定し、A新報及びBニュースの得票を合算して「2票」を計上している。これはすなわち、企業相関情報抽出部21が、2つの関連文書中に「提携(競業)」が存在しているものと認定していることを意味している。
【0048】
また、Bニュースの「リスティング広告」とC新聞社の「検索連動広告」は、同義語辞書20において同義語として定義されているため、企業相関情報抽出部21は両者を同義のキーワードと認定し、Bニュース及びC新聞の得票を合算して「2票」を計上している。これはすなわち、企業相関情報抽出部21が、2つの関連文書中に「リスティング広告(検索連動広告)」が存在しているものと認定していることを意味している。
【0049】
以上のようにして、相関キーワードを決定した企業相関情報抽出部21は、複数の相関キーワードを両相関企業名(D通信及びEサーチ)に関連付けて、企業相関情報DB22に格納する(S32)。この際、各関連文書のIDも、企業相関情報の構成要素の一つとして企業相関情報DB22に格納される。
【0050】
上記の通り、文書データ30及び文書データ32は、関連文書抽出部17によって「D通信−F商社」及び「Eサーチ−F商社」に係る関連文書としても抽出される。そして、キーワード抽出部18によるキーワード抽出処理及び企業相関情報抽出部21による企業相関情報抽出処理を経て、「D通信−F商社」間の企業相関情報及び「Eサーチ−F商社」間の企業相関情報が企業相関情報DB22に格納される。
【0051】
つぎに、図7のフローチャートに従い、企業相関図の生成・公開処理について説明する。まず、クライアント26から企業名を特定した企業相関図の表示リクエストをWebサーバ24が受け付けると(S40)、企業相関図生成部23が起動し、企業相関情報DB22から該当企業に係る企業相関情報を抽出する(S42)。
例えば、クライアント26から「D通信」を特定したリクエストがあった場合、企業相関図生成部23は、D通信に係る全ての企業相関情報を取り出して企業相関図を生成し(S44)、Webサーバ24経由でクライアント26に企業相関図表示画面が送信される(S46)。
【0052】
この結果、図8に示すように、D通信に関係する2件の企業相関図が記載された画面がクライアント26のWebブラウザ上に表示される。
図8(a)の企業相関図35は、D通信とEサーチの二つの企業(相関企業)間における相関関係を示すものであり、提携(協業)、ネット事業、検索サービス、検索連動広告(リスティング広告)が、相関キーワードとして記述されている。この2社の企業名と相関キーワードが記述された相関図を参照することにより、ユーザはD通信とEサーチ間でネット事業(特に検索連動広告)に関する提携話が存在することを認識することができる。
また、図8(b)の企業相関図36は、D通信とG電機間における相関関係を示すものであり、特許権、侵害、訴訟(訴え)、ライセンス(通常実施権)が、相関キーワードとして記述されている。この相関図を参照することにより、ユーザはD通信とG電機との間で、特許権の侵害訴訟に関する何らかの問題が存在することを認識することができる。
【0053】
「根拠文書の表示」ボタン37には、企業相関図生成の元になった関連文書データのIDがリンクされているため、これをユーザがクリックすると、当該文書のIDがクライアント26からWebサーバ24に送信される。これを受けたWebサーバ24は、文書DB15から該当の文書データを抽出し、クライアント26に送信する。
この結果、図示は省略したが、クライアント26のWebブラウザ上に情報源の異なる複数の関連文書が記述された画面が表示される。
これを閲覧することにより、ユーザは各企業間に存在する相関関係を詳細に確認することが可能となる。この画面中には各関連文書のURLも記述されているため、これをクリックすることにより、ユーザは元のWebページに容易にアクセスすることができる。
【0054】
ユーザが、表示リクエスト時にD通信とEサーチの両者をAND条件で繋いで指定した場合には、企業相関図生成部23により、図8(a)の企業相関図35のみが表示された画面が生成される。
ユーザは、相関キーワードを指定した表示リクエストをすることもできる。例えば、「ネット事業 AND 提携」が表示条件として指定された場合、企業相関図生成部23は、企業相関情報DB22内に格納された全企業相関情報の中で、相関キーワードとして「ネット事業及び提携」を備えた情報を抽出し、それらの企業相関図が記載された画面をクライアント26に送信する。
【0055】
図9は、業界マップ生成システム50の機能構成を示すブロック図であり、文書DB15と、キーワード抽出部18と、キーワードDB51と、関連度算出部52と、キーワード共起頻度表DB53と、キーワード組合せ頻度総和表DB54と、キーワード頻度総和表55と、キーワード関連度表DB56と、業界マップ生成部57と、企業相関情報DB22と、企業名DB16とを備えている。
このシステム50にはWebサーバ24が接続されており、このWebサーバ24は、インターネット25やイントラネット等のネットワークを介して複数のクライアント26と接続されている。
【0056】
キーワード抽出部18、関連度算出部52及び業界マップ生成部57は、サーバコンピュータのCPUが、OS及び専用のアプリケーションプログラムに従い、必要な処理を実行することによって実現される。
【0057】
文書DB15、キーワードDB51、キーワード共起頻度表DB53、キーワード組合せ頻度総和表DB54、キーワード頻度総和表55、キーワード関連度表DB56、企業相関情報DB22、企業名DB16は、同サーバコンピュータのハードディスクに格納されている。
【0058】
文書DB15には、上記した企業相関情報抽出システム10のWebファイル収集部13によってインターネット上のWebサーバ27から収集され、テキスト生成部14によってプレーンテキスト化された大量の文書データが格納されている。
企業名DB16は、上記企業相関情報抽出システム10の企業名DB16と同様、予め多数の企業に係る通称、略称、愛称が、正式名称と関連付けて蓄積されている。
キーワード抽出部18は、上記企業相関情報抽出システム10のキーワード抽出部18と同様、係り受け表現抽出フィルタ18a、区切り文字抽出フィルタ18b、文字列頻度統計フィルタ18c、TermExtractフィルタ18d、キーワード認定フィルタ18eを備えている(図2参照)。
企業相関情報DB22には、上記企業相関情報抽出システム10の企業相関情報抽出部21によって抽出された企業相関情報(一対の企業名、両企業間の相関キーワード、関連文書ID)が格納されている。
【0059】
以下、図10のフローチャートに従い、文書データからのキーワードの抽出処理及びキーワード間の関連度の算出処理について説明する。
まず、キーワード抽出部18は、文書DB15に蓄積された各文書データに係り受け表現抽出フィルタ18aを適用し、上記と同様の要領で各文書データから所定の係り受け表現を備えた文字列を抽出する(S50)。
【0060】
つぎにキーワード抽出部18は、各文書データに区切り文字抽出フィルタ18bを適用し、上記と同様の要領で所定の区切り文字で囲まれた文字列をキーワード候補として抽出する(S52)。
【0061】
つぎにキーワード抽出部18は、各文書データに文字列頻度統計フィルタ18cを適用し、上記と同様の要領で各文書データに含まれる文字列が文書DB15に格納された他の文書も含めて何回登場するのかを集計し、一定範囲の出現頻度を備えた文字列をキーワード候補として抽出する(S54)。
【0062】
つぎにキーワード抽出部18は、各文書データにTermExtractフィルタ18dを適用し、上記と同様の要領で各文書データから所定以上のスコアを備えた文字列をキーワード候補として抽出する(S56)。
【0063】
つぎにキーワード抽出部18は、係り受け表現抽出フィルタ18a、区切り文字抽出フィルタ18b、文字列頻度統計フィルタ18c、TermExtractフィルタ18dによって抽出された各キーワード候補をキーワード認定フィルタ18eに入力し、キーワード認定フィルタ18eは上記と同様、2以上のフィルタによってキーワード候補として挙げられているものを最終的なキーワードと認定し、キーワードDB51に格納する(S58)。
【0064】
つぎに関連度算出部52が起動し、各キーワードの各文書データ中における出現頻度を集計してキーワード共起頻度表を生成し、キーワード共起頻度表DB53に格納する(S60)。
図11は、キーワード共起頻度表DB53に格納されたキーワード共起頻度表の具体例を示すものであり、文書DB15に格納された各文書D1〜Dnごとに、各キーワードKW-1〜nの出現頻度が記述されている。
【0065】
ここで、あるキーワードXとYとの間の関連度は、数1のiにキーワード共起頻度表DB28に記載されたXとYの出現頻度を代入することにより、理論的には算出可能である。
【数1】

【0066】
この数1の分子は、キーワードX、Yの文書毎の出現頻度の積の全文書に亘る総和を意味するため、X、Yが同じ文書に出現する頻度が高いほど値は大きくなる。もっとも、特定の文書中におけるX及びYの出現頻度の絶対数が多ければそれにつられて分子の値は高くなってしまい、必ずしもXとYの共起性の高さを表しているとはいえない。これに対し分母は、キーワードX、Yの文書毎の出現頻度の二乗の全文書に亘る総和の平方根同士を加算したものであり、X、Yの特定文書中の出現頻度が高いほど値が大きくなる。このため、分子の値を分母の値で除算することにより、特定文書中におけるX、Yの出現頻度の絶対数が多いことの影響を排除し、X、Y間の共起性の高さに基づく関連度を導くことが可能となる。
【0067】
ただし、単純に数1の計算を行うやり方では、文書データの分量及びキーワードの総数が多い場合には膨大な計算量が発生し、多くの処理時間を要することとなる。
そこで、この実施の形態では、キーワード共起頻度表に基づいてキーワード組合せ頻度総和表及びキーワード頻度総和表を生成することにより、計算工程の簡素化を図っている。
【0068】
図12は、その要領を例示するものである。この場合、キーワード共起頻度表にはキーワードKW-1〜KW-5の文書D1における出現頻度が記載されているが、この中KW-3及びKW-4の出現頻度は0であるため、実際に関連度を算出すべきキーワードの組合せは以下の3パターンで済むこととなる。
(KW-1, KW-2)、(KW-1, KW-5)、(KW-2, KW-5)
ここで関連度算出部52は、各組合せ毎に出現頻度を乗じた値を記述したキーワード組合せ頻度総和表と、各キーワードの出現頻度を二乗した値を記述したキーワード頻度総和表を生成し、キーワード組合せ頻度総和表DB54及びキーワード頻度総和表DB55にそれぞれ格納する(S62、S64)。
【0069】
図12のキーワード組合せ頻度総和表では、文書D1についての値のみが記述されているが、関連度算出部52は同様の処理を各文書毎に実行し、その結果に基づいて値を加算していく。
同じく、図12のキーワード頻度総和表では、文書D1についての値のみが記述されているが、関連度算出部52は同様の処理を各文書毎に実行し、各文書における各キーワードの出現頻度を二乗した値を加算していく。
【0070】
最後に関連度算出部52は、図13に示すように、キーワード組合せ頻度総和表DB54からキーワードX,Yの組合せ頻度の総和を読み込むと共に、キーワード頻度総和表DB55からキーワードXの二乗値の総和とキーワードYの二乗値の総和を読み込み、各二乗値の総和の平方根を求めた後、これらの値を数1に代入することにより、キーワードX,Y間の関連度を算出し、キーワード関連度表DB56に格納する(S66)。すべてのキーワードの組合せについて処理が終了するまで、関連度算出部52は処理を繰り返し、キーワード関連度表を生成する。
【0071】
上記のように、文書データ毎に各キーワード間の組合せパターンを抽出し、それぞれの積値及び各キーワードの二乗値を求めた上で、各文書データの値を加算していくことにより、出現頻度が0のキーワードに係る計算処理を省くことが可能となる。
【0072】
また、文書DB15に新規の文書データが追加された場合には、この新規文書データ中の各キーワードに係る値を、キーワード組合せ頻度総和表DB54及びキーワード頻度総和表DB55に格納された既存の集計値に加算することによって、簡単にキーワード間の関連度が再計算可能となる。
古くなった文書データの影響を排除する場合にも、当該文書データ中の各キーワードに係る値をキーワード組合せ頻度総和表DB54及びキーワード頻度総和表DB55に格納された既存の集計値から減算することによって、簡単にキーワード間の関連度を最新の状態に維持することが可能となる。
【0073】
つぎに、図14のフローチャートに従い、業界マップの生成・公開処理について説明する。まず、クライアント26から特定業界を示すキーワードを指定した業界マップの表示リクエストをWebサーバ24が受け付けると(S70)、業界マップ生成部57が起動し、キーワード関連度表DB56から当該キーワードに対する関連度の高いの連想キーワードを所定数抽出する(S72)。
【0074】
例えば、クライアント26から「バイオテクノロジー」という業界を指定するキーワードが送信された場合、業界マップ生成部57はキーワード関連度表DB56に格納された全キーワードの「バイオテクノロジー」に対する関連度をソートし、上位所定数(例えば上位100件)のキーワードを「バイオテクノロジー」に対する連想キーワードとして抽出する。図15は、連想キーワードの一例を示すものであり、プラント、メタンガス、エタノール等のキーワードが、「バイオテクノロジー」に対する関連度の高い順に列記されている。
【0075】
つぎに業界マップ生成部57は企業名DB16を参照し、上記連想キーワードの中から企業名に該当するものを、「バイオテクノロジー」の連想企業として抽出する(S74)。図16は、連想企業の一例を示すものであり、共同発酵工業、日本化学研究所、ジラフホールディングス等の企業名が、「バイオテクノロジー」に対する関連度の高い順に列記されている。
【0076】
つぎに業界マップ生成部57は、図17に示すように、所定の面積を備えたマップ平面60上に、連想企業の企業名61及び連想企業の存在を示すアイコン62を配置する(S76)。
【0077】
つぎに業界マップ生成部57は、企業相関情報DB22を参照し、一対の連想企業間の企業相関情報を取得すると共に(S78)、この相関情報をマップ平面60上に追記する(S80)。
例えば、共同発酵工業とジラフホールディングスに係る企業相関情報が企業相関情報DB22内に存在している場合、業界マップ生成部57は両者のアイコン62,62間を線図63で結ぶと共に、線図63上に「買収」の相関キーワード64を配置する。
他の連想企業との間に企業相関情報が登録されていない連想企業については、企業名61とアイコン62が表示されたままとなる。
【0078】
つぎに業界マップ生成部57は、企業相関情報DB22を参照し、「バイオテクノロジー」の連想キーワード(プラント、メタンガス等)を相関キーワードとして含んでおり、かつマップ平面60上に配置された連想企業を片方の相関企業としている企業相関情報を抽出する(S82)。
【0079】
つぎに業界マップ生成部57は、抽出した企業相関情報をマップ平面60上に反映させ、業界マップを完成させる(S84)。具体的には、図18に示すように、企業相関情報に含まれる連想企業以外の相関企業を業界周辺企業と認定し、マップ平面60上にその企業名65(例えば「Y社」)及びアイコン66配置し、連想企業のアイコン62との間を線図67で結ぶと共に、連想キーワード68(例えば「バイオ燃料」)を線図67上に配置する。
【0080】
つぎに業界マップ生成部57は、完成した業界マップをWebサーバ24に出力し、この業界マップを含む業界マップ表示画面がWebサーバ24からクライアント26に送信される(S86)。
【0081】
連想企業同士は、相互に同一文書中における共起性が高いため同業である可能性が大きい。これに対し非連想企業は、連想企業との間で連想キーワードに絡んだ相関関係を有しているため、周辺企業と定義付けることができる。
この業界マップを概観することにより、ユーザは特定業界の主要な構成企業と、これに関わる周辺企業の全体像を掴むことが可能となる。
しかも、最新の報道内容を相関情報として即座に反映させることができるため、陳腐化していない情報をユーザに提供可能となる。
【図面の簡単な説明】
【0082】
【図1】企業相関情報抽出システムの機能構成を示すブロック図である。
【図2】キーワード抽出部の機能構成を示すブロック図である。
【図3】企業相関情報の抽出工程を示すフローチャートである。
【図4】各関連文書からキーワードを抽出し、これらのキーワードから相関キーワードを抽出する様子を示す説明図である。
【図5】文字列頻度統計フィルタの動作を示す説明図である。
【図6】文書DB内に形態素インデックスが形成されている様子を示す説明図である。
【図7】企業相関図の生成・公開処理に係る手順を示すフローチャートである。
【図8】企業相関図の一例を示す図である。
【図9】業界マップ生成システムの機能構成を示すブロック図でる。
【図10】キーワードの抽出処理及びキーワード間の関連度の算出処理を説明するフローチャートである。
【図11】キーワード共起頻度表の一例を示す図である。
【図12】関連度算出処理を簡略化する方法を示す説明図である。
【図13】キーワード組合せ頻度総和表及びキーワード頻度総和表に基づいてキーワード関連度表が生成される様子を示す説明図である。
【図14】業界マップの生成・公開処理に係る手順を示すフローチャートである。
【図15】連想キーワードの抽出例を示す図である。
【図16】連想企業の抽出例を示す図である。
【図17】業界マップの生成途中を示す図である。
【図18】業界マップの完成形を示す図である。
【符号の説明】
【0083】
10 企業相関情報抽出システム
12 巡回先DB
13 Webファイル収集部
14 テキスト生成部
15 文書DB
16 企業名DB
17 関連文書抽出部
18 キーワード抽出部
18a 表現抽出フィルタ
18b 文字抽出フィルタ
18c 文字列頻度統計フィルタ
18d キーワード認定フィルタ
19 類義語辞書
20 同義語辞書
21 企業相関情報抽出部
22 企業相関情報DB
23 企業相関図生成部
24 Webサーバ
25 インターネット
26 クライアント
27 Webサーバ
28 キーワード共起頻度表DB
30 文書データ
31 文書データ
32 文書データ
35 企業相関図
36 企業相関図
37 「根拠文書の表示」ボタン
50 業界マップ生成システム
51 キーワードDB
52 関連度算出部
53 キーワード共起頻度表DB
54 頻度総和表DB
55 キーワード頻度総和表DB
56 キーワード関連度表DB
57 業界マップ生成部
60 マップ平面
61 連想企業の企業名
62 連想企業のアイコン
63 線図
64 相関キーワード
65 周辺企業の企業名
66 周辺企業のアイコン
67 線図
68 連想キーワード

【特許請求の範囲】
【請求項1】
一対の相関企業名と、両企業間の関係を表す相関キーワードを含む企業相関情報を複数格納しておく企業相関情報記憶手段と、
複数の企業名が格納された企業名記憶手段と、
複数の文書データから抽出したキーワードを格納しておくキーワード記憶手段と、
各キーワードの各文書データ中における出現頻度データを用いて、キーワード間の共起性に基づく関連度を算出し、キーワード関連度記憶手段に格納する関連度算出手段と、
特定業界を示すキーワードが入力された場合に、上記関連度記憶手段を参照し、当該キーワードに対する関連度の高さに応じて複数のキーワードを連想キーワードとして抽出する手段と、
上記企業名記憶手段を参照し、連想キーワードの中で企業名に該当するものを連想企業として抽出する手段と、
各連想企業の存在を表すシンボルを、所定のマップ平面上に配置する手段と、
上記企業相関情報記憶手段を参照し、上記連想企業を両方の相関企業とする企業相関情報を抽出する手段と、
この企業相関情報に含まれる相関キーワードを、各連想企業に関連付けて上記マップ平面上に配置する手段と、
上記企業相関情報記憶手段を参照し、上記連想企業を一方の相関企業とすると共に、連想企業以外の企業を他方の相関企業とし、かつ上記連想キーワードを相関キーワードとして含む企業相関情報を抽出する手段と、
この企業相関情報の中で、連想企業以外の企業を周辺企業として抽出し、その存在を表すシンボルを上記マップ平面上に配置する手段と、
この企業相関情報の相関キーワードの中で、上記連想キーワードに該当するものを、周辺企業と連想企業に関連付けて上記マップ平面上に配置する手段と、
上記マップ平面を出力する手段と、
を備えたことを特徴とする業界マップ生成システム。
【請求項2】
上記業界マップが、上記マップ平面上において、企業相関情報に基づいて関連付けられた連想企業を表すシンボル間が線図で結ばれると共に、当該線図上に相関キーワードが配置され、企業相関情報に基づいて関連付けられた周辺企業と連想企業を表すシンボル間が線図で結ばれると共に、当該線図上に連想キーワードが配置されたものであることを特徴とする請求項1に記載の業界マップ生成システム。
【請求項3】
上記文書データには所定の時間情報が関連付けられており、
上記企業名記憶手段を参照し、文書中に複数の企業名が出現する文書データを上記文書記憶手段から抽出する手段と、
抽出した各文書データの時間情報及び出現企業名を比較し、同一事象に係る複数の文書データを一対の企業の組合せ毎に関連文書データとして抽出する関連文書抽出手段と、
各関連文書データからそれぞれキーワードを抽出するキーワード抽出手段と、
各キーワードの存否を関連文書毎にチェックし、少なくとも2以上の関連文書中に存在しているキーワードを相関キーワードと認定する相関キーワード認定手段と、
上記一対の企業名及び上記相関キーワードからなる企業相関情報を、上記企業相関情報記憶手段に格納する手段と、
を備えたことを特徴とする請求項1または2に記載の業界マップ生成システム。
【請求項4】
上記のキーワード抽出手段が、それぞれ固有の抽出基準に基づいてキーワード候補を抽出する複数のフィルタを備え、
各フィルタによって抽出されたキーワード候補をマッチングし、2以上のフィルタによって抽出されたキーワード候補をキーワードとして認定することを特徴とする請求項1〜3の何れかに記載の業界マップ生成システム。
【請求項5】
上記フィルタの一つが、
(1) 各文書データ中に含まれる名詞を注目語として抽出し、
(2) 各注目語の全文書データ中における出現頻度を算出し、
(3) 各注目語の一つ前及び/又は一つ後の形態素に範囲を拡張し、この拡張範囲を含めた注目語の全文書中における出現頻度を算出し、
(4) 上記(3)の処理によって算出された出現頻度が所定数以上の場合には、さらにその一つ前あるいは後の形態素に範囲を拡張し、この拡張範囲を含めた注目語の全文書データ中における出現頻度を算出する処理を、その出現頻度が所定数未満となるまで繰り返し、
(5) 最初の注目語及び拡張範囲を含めた注目語の中で、所定範囲内の出現頻度を有するものをキーワード候補として選定することを特徴とする請求項4に記載の業界マップ生成システム。
【請求項6】
上記関連度算出手段が、
(1) 文書データ単位で、当該文書データ中に出現実績があり、関連度算出の対象とすべきキーワードを選別する処理と、
(2) 文書データ単位で、各選別キーワード間の出現頻度を乗算し、その積を所定の記憶手段に記録する処理と、
(3) 文書データ単位で、各選別キーワードの出現頻度を二乗し、その値を所定の記憶手段に記録する処理と、
(4) 上記選別キーワード間の積を、全文書データに亘って集計する処理と、
(5) 各選別キーワードの出現頻度の二乗値を、全文書データに亘って集計する処理と、
(6) 上記(5)の集計値の平方根を算出する処理と、
(7) 各キーワードの上記(6)の平方根同士を加算し、その和で上記(4)の集計値を除することにより、両キーワード間の関連度を算出する処理と、
を実行することを特徴とする請求項1〜5の何れかに記載の業界マップ生成システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate