テキストデータ管理方法およびテキストデータ管理システム
【課題】特定の分析対象ドメインにおいて、所有する分析対象データに含まれないドメイン知識を有するテキストデータを抽出し、分析対象ドメイン内での分析結果の精度を向上させることができるテキストデータ管理システムを提供する。
【解決手段】テキストデータ管理システムにおいて、入力されたデータ分析要求に基づいて、分析対象データ群５０１から分析対象データを抽出し、抽出した分析対象データから特徴量を抽出する連携管理サブシステム３００と、分析対象データおよび特徴量に基づいて、テキストデータ群５０３からテキストデータを抽出して、抽出したテキストデータを分析するテキストデータ管理サブシステム４００とを備え、テキストデータ管理サブシステム４００は、分析に利用したテキストデータと分析対象データの特徴量を関連付けて履歴として管理し、テキストデータの抽出を履歴の特徴量の類似度に基づいて行う。
【解決手段】テキストデータ管理システムにおいて、入力されたデータ分析要求に基づいて、分析対象データ群５０１から分析対象データを抽出し、抽出した分析対象データから特徴量を抽出する連携管理サブシステム３００と、分析対象データおよび特徴量に基づいて、テキストデータ群５０３からテキストデータを抽出して、抽出したテキストデータを分析するテキストデータ管理サブシステム４００とを備え、テキストデータ管理サブシステム４００は、分析に利用したテキストデータと分析対象データの特徴量を関連付けて履歴として管理し、テキストデータの抽出を履歴の特徴量の類似度に基づいて行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分析を目的としたテキストデータ管理方法、およびその管理方法を実現するためのシステムに関し、特に、関連度の高いテキストデータを分析対象として抽出する技術に関するものである。
【背景技術】
【０００２】
データ分析において、分析対象データが存在し、その分析対象データへの付加的情報としてアンケートやソーシャルメディアデータを利用するケースが増えている。テキストマイニングは、アンケートやソーシャルメディアデータをデータ分析に利用する一般的な分析手法の１つである。
【０００３】
テキストマイニングにおいて、分析対象データのドメイン知識を含むテキストデータを利用することは、有効なデータ分析結果を得るためには重要である。
【０００４】
例えば、国際公開第２００９／９６５２３号パンフレット（特許文献１）では、文書の出現日時をベースとして、文書内の出現単語量を時系列データとして置き換え、文書の特徴量とし、相関する文書を検索する手法が記載されている。
【０００５】
また、例えば、特開２０１０−２１１４３８号公報（特許文献２）では、マニュアル文書に含まれる重要語を、文書中に出現する関連語の出現頻度を用いて特徴量としており、その特徴量と検索対象文書に含まれる重要語の特徴量によって、類似度として、類似度が高い文書を分析対象としている。
【０００６】
また、例えば、特開２００３−１６７８９８号公報（特許文献３）には、文書データベースを構文解析して、各文書を構文木データとして表し、精度良く情報検索を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２００９／９６５２３号パンフレット
【特許文献２】特開２０１０−２１１４３８号公報
【特許文献３】特開２００３−１６７８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、単語の出現回数の時系列データを文書の特徴量として利用しているが、時系列上の相関が無い文書を抽出することはできない。
【０００９】
また、特許文献２では、定型化された文書であるマニュアルでの関連用語の出現頻度を用いて、単語の特徴量としているが、マニュアルに含まれない特徴から検索することはできない。
【００１０】
また、特許文献３においては、自由記述された文書を５Ｗ１Ｈに分割した部分木に解析することで、検索精度を上げているが、文書に含まれない単語を含む文書については、検索できない。
【００１１】
一般に、テキストデータのような非構造化データを自動的に収集する際には、文書に含まれる単語やメタ情報といった対象ドメインの特徴量をベースに収集するが、特徴量の元となったデータに検索対象の特徴量が含まれていない場合には、検索されないという問題がある。
【００１２】
例えば、ある店舗Ａが「商品１、商品２」を取り扱っている場合、「商品１、商品２」を含む文書（口コミなど）が検索されるが、新製品「商品３」に関わる口コミを自動的に収集することは、一般的には期待できない。
【００１３】
そこで、本発明は、特定の分析対象ドメインにおいて、所有する分析対象データに含まれないドメイン知識を有するテキストデータを抽出し、分析対象ドメイン内での分析結果の精度を向上させることができ、テキストデータの収集、管理作業を効率化することができるテキストデータ管理方法およびテキストデータ管理システムを提供することを目的とする。
【００１４】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１５】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。
【００１６】
すなわち、代表的なものの概要は、連携管理部により、入力されたデータ分析要求に基づいて、分析対象データ群から分析対象データを抽出し、抽出した分析対象データから特徴量を抽出し、テキストデータ管理部により、分析対象データおよび特徴量に基づいて、テキストデータ群からテキストデータを抽出して、抽出したテキストデータを分析し、分析に利用したテキストデータと分析対象データの特徴量を関連付けて履歴として管理し、テキストデータの抽出を履歴の特徴量の類似度に基づいて行うものである。
【００１７】
また、入力されたデータ分析要求に基づいて、分析対象データ群から分析対象データを抽出し、抽出した分析対象データから特徴量を抽出する連携管理部と、分析対象データおよび特徴量に基づいて、テキストデータ群からテキストデータを抽出して、抽出したテキストデータを分析するテキストデータ管理部とを備え、テキストデータ管理部は、分析に利用したテキストデータと前記分析対象データの特徴量を関連付けて履歴として管理し、テキストデータの抽出を履歴の特徴量の類似度に基づいて行うものである。
【発明の効果】
【００１８】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下の通りである。
【００１９】
すなわち、代表的なものによって得られる効果は、分析対象データ値のみに依らず、関連度の高いテキストデータを分析対象として抽出することができ、テキストデータの収集作業や、収集されるテキストデータそのものの量を低減することで、分析担当者、運用者の負担軽減を期待できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態１に係るテキストデータ管理システムの構成を示す構成図である。
【図２】本発明の実施の形態１に係るテキストデータ管理システムのテキストデータ分析処理を実行する際のシステム全体のデータフローを示す図である。
【図３】本発明の実施の形態１に係るテキストデータ管理システムの連携分析制御部の処理を示すフローチャートである。
【図４】本発明の実施の形態１に係るテキストデータ管理システムで使用される分析対象データの一例を示す図である。
【図５】本発明の実施の形態１に係るテキストデータ管理システムのテキスト検索部の処理を示すフローチャートである。
【図６】本発明の実施の形態１に係るテキストデータ管理システムで使用されるテキストデータ利用履歴の一例を示す図である。
【図７】本発明の実施の形態１に係るテキストデータ管理システムで使用されるテキストデータの一例を示す図である。
【図８】本発明の実施の形態１に係るテキストデータ管理システムで使用される分析対象リストの一例を示す図である。
【図９】本発明の実施の形態１に係るテキストデータ管理システムで使用される検索結果のテキストデータの一例を示す図である。
【図１０】本発明の実施の形態２に係るテキストデータ管理システムの構成を示す構成図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００２２】
（実施の形態１）
＜テキストデータ管理システムの構成＞
図１により、本発明の実施の形態１に係るテキストデータ管理システムの構成について説明する。図１は本発明の実施の形態１に係るテキストデータ管理システムの構成を示す構成図である。
【００２３】
図１において、テキストデータ管理システム１０１は、中央演算処理装置などの計算処理能力を有する１つ以上の計算機およびネットワークで構成される計算機システム上で動作しており、分析制御サブシステム２００、連携管理部である連携管理サブシステム３００、テキストデータ管理部であるテキストデータ管理サブシステム４００、分析対象データ群５０１、テキストデータ利用履歴５０２、テキストデータ群５０３から構成されている。
【００２４】
分析制御サブシステム２００は、入力部２０１、表示部２０２から構成され、入力部２０１を介して得た利用者からの要求に応じて、必要なデータを分析対象データ群から抽出し、連携管理サブシステム３００に様々な要求を送信し、表示部２０２に結果を表示するシステムである。
【００２５】
連携管理サブシステム３００は、連携分析部３０１、特徴量抽出部３０２から構成され、分析対象データから特徴量を抽出し、抽出した特徴量を用いてテキストデータ管理サブシステム４００に様々な要求を送信し、結果を分析対象結果データと合わせて分析するシステムである。
【００２６】
連携分析部３０１は、分析対象データ群５０１から抽出したデータと、テキストデータ管理サブシステム４００から取得したデータを連携して分析する機能を有する。特徴量抽出部３０２は分析対象データの特徴を抽出し、特徴量として分析対象データに紐付ける機能を有する。
【００２７】
以後、分析対象データ群５０１から取得したデータのことを分析対象データと呼ぶ。
【００２８】
テキストデータ管理サブシステム４００は、テキスト検索部４０１、補完テキスト検索部４０２から構成され、分析対象データ値や、特徴量に基づいて保有するテキストデータを検索するシステムである。
【００２９】
テキスト検索部４０１では、分析対象データ値と分析対象データの特徴量を入力としており、連携管理サブシステム３００からの要求を受けるとデータ値をキーとしてテキストデータ群５０３を検索する機能を有する。
【００３０】
補完テキスト検索部４０２では、分析対象データの特徴量を入力としており、連携管理サブシステム３００から要求を受けると、特徴量を検索キーとしてテキストデータ利用履歴５０２を抽出する機能を有する。
【００３１】
分析対象データ群５０１は、連携管理サブシステム３００が参照する複数の分析対象データを格納するデータベースである。
【００３２】
テキストデータ群５０３は、分析対象ドメインを表し、テキストデータ管理サブシステム４００の検索対象となる全てのテキストデータを格納し、テキスト検索部４０１、補完テキスト検索部４０２により抽出されるデータベースである。
【００３３】
このテキストデータ群５０３に格納されるテキストデータは、例えばテキストデータ管理サブシステム４００により予め登録するようにしても良いし、他のシステムなどから登録するようにしてもよい。また、このテキストデータの登録の際、重複したテキストデータが削除されるようになっている。
【００３４】
テキストデータ利用履歴５０２は、テキストデータを利用した履歴として、特徴量とテキストデータが紐付いたテキストデータのインデックスを格納するデータベースである。
【００３５】
＜テキストデータ分析処理のデータフロー＞
次に、図２により、本発明の実施の形態１に係るテキストデータ管理システムのテキストデータ分析処理を実行する際のシステム全体のデータフローについて説明する。図２は本発明の実施の形態１に係るテキストデータ管理システムのテキストデータ分析処理を実行する際のシステム全体のデータフローを示す図である。
【００３６】
テキストデータ分析処理は、大きく２つに分かれる。連携管理サブシステム３００の処理とテキストデータ管理サブシステム４００の処理である。
【００３７】
連携管理サブシステム３００の連携分析部３０１は、連携分析制御部３０１１、統計処理部３０１２、文書処理部３０１３を有している。
【００３８】
また、テキストデータ管理サブシステム４００のテキスト検索部４０１は直接指定検索部４０１１を有し、テキストデータ管理サブシステム４００の補完テキスト検索部４０２は類似特徴履歴検索部４０２１を有しており、テキスト検索部４０１と補完テキスト検索部４０２の共通の構成として検索履歴登録部４００１を有している。
【００３９】
まず、分析制御サブシステム２００は、入力部２０１を介して利用者のデータ分析要求を連携分析部３０１に送付する。
【００４０】
データ分析要求は、連携分析制御部３０１１で受信する。連携分析制御部３０１１は、データ分析要求に基づいて、分析対象データ群５０１より分析対象データを抽出する。
【００４１】
また、連携分析制御部３０１１は、分析対象データを特徴量抽出部３０２に送付し、分析対象データを表す特徴量を抽出し、抽出した特徴量と分析対象データをテキスト検索部に送付し、分析対象テキストデータを得る。
【００４２】
分析対象データを表す特徴量は、分析対象データ値の時間的変動でもよいし、分析対象データ中の何らかの値の出現割合でもよい。
【００４３】
例えば、商品件数や販売数の分散などの分析対象データ全体から算出されるメタデータや商品毎に算出できる前月との販売数の差や変動などであり、単一の値でも複数の値からなる集合でもよい。
【００４４】
連携分析制御部３０１１は、分析対象データを統計処理部３０１２にて集計などによる分析を実施し、分析対象テキストデータを文書処理部３０１３にて自然言語処理などを実施し、それぞれの分析結果を紐付けて、表示部２０２に通知する。
【００４５】
直接指定検索部４０１１は、連携分析制御部３０１１から分析対象データと特徴量を受信すると、テキストデータ群５０３から、分析対象ドメインのテキストデータを抽出する。
【００４６】
テキストデータを抽出する方法は、分析対象データに含まれる単語を１つまたは複数用いた全文検索でもよいし、抽出する方法やテキストデータを直接指定してもよい。また、直接指定検索部４０１１は、検索履歴登録部４００１に特徴量と抽出したテキストデータを送付し、テキストデータ利用履歴５０２に履歴を登録する。
【００４７】
また、直接指定検索部４０１１は、類似特徴履歴検索部４０２１に、分析対象データと特徴量を送付し、過去のテキストデータ検索履歴から、類似した特徴量を持つ分析対象によって検索されたテキストデータを取得する。
【００４８】
類似特徴履歴検索部４０２１は、テキストデータ利用履歴５０２から送付された分析対象データと特徴量を用いて、テキストデータ履歴を検索し、テキストデータ群５０３からテキストデータを抽出する。
【００４９】
類似特徴履歴検索部４０２１は、また、検索履歴登録部４００１を介して特徴量と検索履歴データをテキストデータ利用履歴５０２に登録し、次回以降の検索に利用する。
【００５０】
類似特徴履歴検索部４０２１で取得した履歴テキストデータは、検索中の分析対象データには含まれない単語や手法によって検索されたテキストデータであり、特徴量の点から類似するデータを有する。
【００５１】
＜テキストデータ管理システムの処理＞
次に、図３〜図９により、本発明の実施の形態１に係るテキストデータ管理システムの処理について説明する。図３は本発明の実施の形態１に係るテキストデータ管理システムの連携分析制御部の処理を示すフローチャート、図４は本発明の実施の形態１に係るテキストデータ管理システムで使用される分析対象データの一例を示す図、図５は本発明の実施の形態１に係るテキストデータ管理システムのテキスト検索部の処理を示すフローチャート、図６は本発明の実施の形態１に係るテキストデータ管理システムで使用されるテキストデータ利用履歴の一例を示す図、図７は本発明の実施の形態１に係るテキストデータ管理システムで使用されるテキストデータの一例を示す図、図８は本発明の実施の形態１に係るテキストデータ管理システムで使用される分析対象リストの一例を示す図であり、取扱商品リストの例を示している。図９は本発明の実施の形態１に係るテキストデータ管理システムで使用される検索結果のテキストデータの一例を示す図である。
【００５２】
まず、連携分析制御部３０１１の処理は、図３に示すように、分析対象データ取得ステップＳ３０１では、入力部２０１より送付されたデータ分析要求に基づいて、分析対象データを分析対象データ群５０１から取得する。データ分析要求には「店舗Ａの売れ筋商品」といった分析対象ドメインを具体化できる情報が含まれる。
【００５３】
分析対象データ取得ステップＳ３０１では、データ分析要求の示すドメイン、例えば「店舗Ａの売上明細」といった分析対象データを抽出する。
【００５４】
分析対象データ群５０１から取得するデータは図４に示すようなデータとなる。データ分析要求を商品の売上分析として考えた場合、図４に示すように当該商品における商品を一意に示す商品コード４１１と、商品を表現する商品名４１２や販売数などが取得される。
【００５５】
図４に示す例では、商品コードが「００Ａ０１１１」の商品名が「とろけるアイス」、商品コードが「００Ａ０３１３」の商品名が「ガリガリアイス」などの情報が格納されており、その他メーカー、単価、販売数なども格納されている。
【００５６】
特徴量抽出ステップＳ３０２では、取得した図４に示す分析対象データを利用して特徴量を算出する。特徴量は、分析対象データ量や商品の単価や販売数の分散といった単一値として算出してもよいし、商品分類毎の商品数といったベクトル値として表してもよく、データ分析要求の度に特徴量算出方法を指定してもよい。
【００５７】
また、特徴量抽出ステップＳ３０２では、分析対象データから分析対象のドメインを表す集合（分析対象リスト）を抽出する。例えば、売上分析においては、図４に示すデータから、図８に示すような商品コードと商品名からなる取扱商品リストを抽出する。
【００５８】
図８に示す例では、商品コードが「００Ａ０１１１」の商品名が「とろけるアイス」、商品コードが「００Ａ０３１３」の商品名が「ガリガリアイス」、商品コードが「００Ａ０３１４」の商品名が「バニラアイス」という情報が格納されている。
【００５９】
テキストデータ抽出ステップＳ３０３では、テキスト検索部４０１に対して、算出した特徴量と分析対象リストを送信し、分析対象データに関わるテキストデータを取得する。
【００６０】
自然言語処理ステップＳ３０４は、文書処理部３０１３にて実施される。取得したテキストデータを自然言語処理することにより、単語や係り受けなどを抽出する。統計処理部３０１２にて実施される統計処理ステップＳ３０５は、自然言語処理結果と、分析対象データに対して統計処理を行い、表示部に結果を送付する。
【００６１】
また、テキストデータ抽出ステップＳ３０３から呼び出されるテキスト検索部４０１の処理は図５に示すように、特徴量履歴検索ステップＳ５０１では、テキストデータ抽出ステップＳ３０３より送付された、特徴量をキーとして、図６に示すようなテキストデータ利用履歴を検索する。
【００６２】
テキストデータ利用履歴５０２は、図６に示すように直接指定検索部４０１１で過去に検索されたアクセス日時６０１とアクセスした文書ＩＤ６０２、特徴量６０４を有しており、直接指定検索部４０１１から送付された特徴量の範囲指定により検索する。
【００６３】
図６に示す例では、アクセス日時６０１の「２０１１／１／１ ０：００」に対して、文書ＩＤ６０２が「１」、特徴種別ＩＤ６０３が「１００」、特徴量６０４が「３００」、アクセス日時６０１の「２０１１／１／２ ０：１０」に対して、文書ＩＤ６０２が「２」、特徴種別ＩＤ６０３が「１００」、特徴量６０４が「２１０」、アクセス日時６０１の「２０１１／１／２ １：０３」に対して、文書ＩＤ６０２が「１」、特徴種別ＩＤ６０３が「１０２」、特徴量６０４が「｛１３．２１｝」などの情報が格納されている。
【００６４】
テキストデータ利用履歴５０２は、また、特徴種別ＩＤ６０３を有する。特徴種別ＩＤ６０３は、特徴量抽出ステップＳ３０２にて算出される特徴量の算出方法の種類を表し、例えば、１００は分析対象データの行数、１０２は特定の２商品の売上総数によるベクトル値といった形で、予め定められた値である。
【００６５】
履歴検索においては、特徴種別毎に類似特徴量を持つ履歴行が検索される。例えば、単一値６０５でその差分がある範囲以内であれば類似であり、ベクトル値６０６で、ユークリッド距離がある範囲以内であれば類似である、といった判定が実施される。
【００６６】
テキストデータ検索（文書ＩＤ）ステップＳ５０２では、特徴量履歴検索ステップＳ５０１で検索した利用履歴の文書ＩＤ６０２を利用して、図７に示すようなテキストデータをテキストデータ群５０３から取得する。テキストデータは、文書ＩＤと記述内容７０１からなる。
【００６７】
図７に示す例では、文書ＩＤが「１」の記述内容が「とろけるアイスは良くとろける」、文書ＩＤが「２」の記述内容が「ガリガリ食べたいアイスはある」、文書ＩＤが「３」の記述内容が「当面小豆アイスでいけるよ」などの情報が格納されている。
【００６８】
これらＳ５０１〜Ｓ５０２のステップにより、特徴量の点から類似する履歴テキストデータを取得する。
【００６９】
テキストデータ検索（キーワード）ステップＳ５０３では、テキストデータ抽出ステップＳ３０３から送付される分析対象リストを利用してテキストデータ群５０３から取得する。
【００７０】
例えば、図８に示すような取扱商品リストが分析対象リストとして指定された場合、リスト中の商品名８０１それぞれのキーワードとして、図９に示すように、記述内容９０１に商品名８０１が含まれるテキストデータが取得される。
【００７１】
テキストデータマージステップＳ５０４では、テキストデータ検索（文書ＩＤ）ステップＳ５０２で取得したテキストデータとテキストデータ検索（キーワード）ステップＳ５０３で取得したテキストデータをマージして、テキストデータ検索結果とする。
【００７２】
以上により、本実施の形態では、特定の分析対象ドメインにおいて、分析対象データに含まれない関連データを有するテキストデータを抽出可能になる。
【００７３】
（実施の形態２）
実施の形態１では、単一ドメインで保有するテキストデータ群から、特徴量に基づいて類似するテキストデータを抽出し、分析する処理を示したが、実施の形態２では、異なるドメイン間でそれぞれ収集したテキストデータ群を共有し、特徴量に基づいてテキストデータを抽出するようにしている。
【００７４】
＜テキストデータ管理システムの構成＞
図１０により、本発明の実施の形態２に係るテキストデータ管理システムの構成について説明する。図１０は本発明の実施の形態２に係るテキストデータ管理システムの構成を示す構成図である。
【００７５】
図１０において、テキストデータ管理システムは、異なるドメインをＡ店舗ドメイン１００１、Ｂ店舗ドメイン１００２とし、連携管理サブシステム３００としては、Ａ店舗連携管理部３００１とＢ店舗連携管理部３００２を備える。
【００７６】
テキストデータ管理サブシステム４００は各ドメインにおいて共有されている。Ａ店舗２００１、Ｂ店舗２００２のそれぞれから、各ドメインに有用なテキストデータが収集され、テキストデータ群５０３１に保管される。
【００７７】
各ドメインは、Ａ店舗連携管理部３００１、Ｂ店舗連携管理部３００２として連携分析部３０１と特徴量抽出部３０２を有し、ドメイン毎に異なる分析対象データを複数有する（５０１１、５０１２、５０１３、５０１４）。
【００７８】
全てのドメインからのテキストデータ管理サブシステム４００へのアクセスは、共通のテキストデータ利用履歴５０２１に、特徴量と共に記録される。そのため、一方の店舗で収集されたテキストデータは、特徴量を用いた補完テキスト検索部４０２により、他方の店舗で有効に利用される。
【００７９】
また、収集されるテキストデータがテキストデータ群５０３１にて共通して保存されるため、重複データを削除することにより総テキストデータ量の削減が可能であり、テキストデータ群の更新においても、個々のドメインで更新する場合よりも更新頻度を削減することが可能となる。
【００８０】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【産業上の利用可能性】
【００８１】
本発明は、分析を目的としたテキストデータ管理方法、およびその管理方法を実現するためのシステムに関し、個々に所有するデータの特徴量に依らず、関連度の高いテキストデータを収集・参照する必要のある装置やシステムなどに広く適用可能である。
【符号の説明】
【００８２】
１０１…テキストデータ管理システム、２００…分析制御サブシステム、２０１…入力部、２０２…表示部、３００…連携管理サブシステム、３０１…連携分析部、３０２…特徴量抽出部、４００…テキストデータ管理サブシステム、４０１…テキスト検索部、４０２…補完テキスト検索部、５０１…分析対象データ群、５０２…テキストデータ利用履歴、５０３…テキストデータ群。
【技術分野】
【０００１】
本発明は、分析を目的としたテキストデータ管理方法、およびその管理方法を実現するためのシステムに関し、特に、関連度の高いテキストデータを分析対象として抽出する技術に関するものである。
【背景技術】
【０００２】
データ分析において、分析対象データが存在し、その分析対象データへの付加的情報としてアンケートやソーシャルメディアデータを利用するケースが増えている。テキストマイニングは、アンケートやソーシャルメディアデータをデータ分析に利用する一般的な分析手法の１つである。
【０００３】
テキストマイニングにおいて、分析対象データのドメイン知識を含むテキストデータを利用することは、有効なデータ分析結果を得るためには重要である。
【０００４】
例えば、国際公開第２００９／９６５２３号パンフレット（特許文献１）では、文書の出現日時をベースとして、文書内の出現単語量を時系列データとして置き換え、文書の特徴量とし、相関する文書を検索する手法が記載されている。
【０００５】
また、例えば、特開２０１０−２１１４３８号公報（特許文献２）では、マニュアル文書に含まれる重要語を、文書中に出現する関連語の出現頻度を用いて特徴量としており、その特徴量と検索対象文書に含まれる重要語の特徴量によって、類似度として、類似度が高い文書を分析対象としている。
【０００６】
また、例えば、特開２００３−１６７８９８号公報（特許文献３）には、文書データベースを構文解析して、各文書を構文木データとして表し、精度良く情報検索を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２００９／９６５２３号パンフレット
【特許文献２】特開２０１０−２１１４３８号公報
【特許文献３】特開２００３−１６７８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、単語の出現回数の時系列データを文書の特徴量として利用しているが、時系列上の相関が無い文書を抽出することはできない。
【０００９】
また、特許文献２では、定型化された文書であるマニュアルでの関連用語の出現頻度を用いて、単語の特徴量としているが、マニュアルに含まれない特徴から検索することはできない。
【００１０】
また、特許文献３においては、自由記述された文書を５Ｗ１Ｈに分割した部分木に解析することで、検索精度を上げているが、文書に含まれない単語を含む文書については、検索できない。
【００１１】
一般に、テキストデータのような非構造化データを自動的に収集する際には、文書に含まれる単語やメタ情報といった対象ドメインの特徴量をベースに収集するが、特徴量の元となったデータに検索対象の特徴量が含まれていない場合には、検索されないという問題がある。
【００１２】
例えば、ある店舗Ａが「商品１、商品２」を取り扱っている場合、「商品１、商品２」を含む文書（口コミなど）が検索されるが、新製品「商品３」に関わる口コミを自動的に収集することは、一般的には期待できない。
【００１３】
そこで、本発明は、特定の分析対象ドメインにおいて、所有する分析対象データに含まれないドメイン知識を有するテキストデータを抽出し、分析対象ドメイン内での分析結果の精度を向上させることができ、テキストデータの収集、管理作業を効率化することができるテキストデータ管理方法およびテキストデータ管理システムを提供することを目的とする。
【００１４】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１５】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。
【００１６】
すなわち、代表的なものの概要は、連携管理部により、入力されたデータ分析要求に基づいて、分析対象データ群から分析対象データを抽出し、抽出した分析対象データから特徴量を抽出し、テキストデータ管理部により、分析対象データおよび特徴量に基づいて、テキストデータ群からテキストデータを抽出して、抽出したテキストデータを分析し、分析に利用したテキストデータと分析対象データの特徴量を関連付けて履歴として管理し、テキストデータの抽出を履歴の特徴量の類似度に基づいて行うものである。
【００１７】
また、入力されたデータ分析要求に基づいて、分析対象データ群から分析対象データを抽出し、抽出した分析対象データから特徴量を抽出する連携管理部と、分析対象データおよび特徴量に基づいて、テキストデータ群からテキストデータを抽出して、抽出したテキストデータを分析するテキストデータ管理部とを備え、テキストデータ管理部は、分析に利用したテキストデータと前記分析対象データの特徴量を関連付けて履歴として管理し、テキストデータの抽出を履歴の特徴量の類似度に基づいて行うものである。
【発明の効果】
【００１８】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下の通りである。
【００１９】
すなわち、代表的なものによって得られる効果は、分析対象データ値のみに依らず、関連度の高いテキストデータを分析対象として抽出することができ、テキストデータの収集作業や、収集されるテキストデータそのものの量を低減することで、分析担当者、運用者の負担軽減を期待できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態１に係るテキストデータ管理システムの構成を示す構成図である。
【図２】本発明の実施の形態１に係るテキストデータ管理システムのテキストデータ分析処理を実行する際のシステム全体のデータフローを示す図である。
【図３】本発明の実施の形態１に係るテキストデータ管理システムの連携分析制御部の処理を示すフローチャートである。
【図４】本発明の実施の形態１に係るテキストデータ管理システムで使用される分析対象データの一例を示す図である。
【図５】本発明の実施の形態１に係るテキストデータ管理システムのテキスト検索部の処理を示すフローチャートである。
【図６】本発明の実施の形態１に係るテキストデータ管理システムで使用されるテキストデータ利用履歴の一例を示す図である。
【図７】本発明の実施の形態１に係るテキストデータ管理システムで使用されるテキストデータの一例を示す図である。
【図８】本発明の実施の形態１に係るテキストデータ管理システムで使用される分析対象リストの一例を示す図である。
【図９】本発明の実施の形態１に係るテキストデータ管理システムで使用される検索結果のテキストデータの一例を示す図である。
【図１０】本発明の実施の形態２に係るテキストデータ管理システムの構成を示す構成図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００２２】
（実施の形態１）
＜テキストデータ管理システムの構成＞
図１により、本発明の実施の形態１に係るテキストデータ管理システムの構成について説明する。図１は本発明の実施の形態１に係るテキストデータ管理システムの構成を示す構成図である。
【００２３】
図１において、テキストデータ管理システム１０１は、中央演算処理装置などの計算処理能力を有する１つ以上の計算機およびネットワークで構成される計算機システム上で動作しており、分析制御サブシステム２００、連携管理部である連携管理サブシステム３００、テキストデータ管理部であるテキストデータ管理サブシステム４００、分析対象データ群５０１、テキストデータ利用履歴５０２、テキストデータ群５０３から構成されている。
【００２４】
分析制御サブシステム２００は、入力部２０１、表示部２０２から構成され、入力部２０１を介して得た利用者からの要求に応じて、必要なデータを分析対象データ群から抽出し、連携管理サブシステム３００に様々な要求を送信し、表示部２０２に結果を表示するシステムである。
【００２５】
連携管理サブシステム３００は、連携分析部３０１、特徴量抽出部３０２から構成され、分析対象データから特徴量を抽出し、抽出した特徴量を用いてテキストデータ管理サブシステム４００に様々な要求を送信し、結果を分析対象結果データと合わせて分析するシステムである。
【００２６】
連携分析部３０１は、分析対象データ群５０１から抽出したデータと、テキストデータ管理サブシステム４００から取得したデータを連携して分析する機能を有する。特徴量抽出部３０２は分析対象データの特徴を抽出し、特徴量として分析対象データに紐付ける機能を有する。
【００２７】
以後、分析対象データ群５０１から取得したデータのことを分析対象データと呼ぶ。
【００２８】
テキストデータ管理サブシステム４００は、テキスト検索部４０１、補完テキスト検索部４０２から構成され、分析対象データ値や、特徴量に基づいて保有するテキストデータを検索するシステムである。
【００２９】
テキスト検索部４０１では、分析対象データ値と分析対象データの特徴量を入力としており、連携管理サブシステム３００からの要求を受けるとデータ値をキーとしてテキストデータ群５０３を検索する機能を有する。
【００３０】
補完テキスト検索部４０２では、分析対象データの特徴量を入力としており、連携管理サブシステム３００から要求を受けると、特徴量を検索キーとしてテキストデータ利用履歴５０２を抽出する機能を有する。
【００３１】
分析対象データ群５０１は、連携管理サブシステム３００が参照する複数の分析対象データを格納するデータベースである。
【００３２】
テキストデータ群５０３は、分析対象ドメインを表し、テキストデータ管理サブシステム４００の検索対象となる全てのテキストデータを格納し、テキスト検索部４０１、補完テキスト検索部４０２により抽出されるデータベースである。
【００３３】
このテキストデータ群５０３に格納されるテキストデータは、例えばテキストデータ管理サブシステム４００により予め登録するようにしても良いし、他のシステムなどから登録するようにしてもよい。また、このテキストデータの登録の際、重複したテキストデータが削除されるようになっている。
【００３４】
テキストデータ利用履歴５０２は、テキストデータを利用した履歴として、特徴量とテキストデータが紐付いたテキストデータのインデックスを格納するデータベースである。
【００３５】
＜テキストデータ分析処理のデータフロー＞
次に、図２により、本発明の実施の形態１に係るテキストデータ管理システムのテキストデータ分析処理を実行する際のシステム全体のデータフローについて説明する。図２は本発明の実施の形態１に係るテキストデータ管理システムのテキストデータ分析処理を実行する際のシステム全体のデータフローを示す図である。
【００３６】
テキストデータ分析処理は、大きく２つに分かれる。連携管理サブシステム３００の処理とテキストデータ管理サブシステム４００の処理である。
【００３７】
連携管理サブシステム３００の連携分析部３０１は、連携分析制御部３０１１、統計処理部３０１２、文書処理部３０１３を有している。
【００３８】
また、テキストデータ管理サブシステム４００のテキスト検索部４０１は直接指定検索部４０１１を有し、テキストデータ管理サブシステム４００の補完テキスト検索部４０２は類似特徴履歴検索部４０２１を有しており、テキスト検索部４０１と補完テキスト検索部４０２の共通の構成として検索履歴登録部４００１を有している。
【００３９】
まず、分析制御サブシステム２００は、入力部２０１を介して利用者のデータ分析要求を連携分析部３０１に送付する。
【００４０】
データ分析要求は、連携分析制御部３０１１で受信する。連携分析制御部３０１１は、データ分析要求に基づいて、分析対象データ群５０１より分析対象データを抽出する。
【００４１】
また、連携分析制御部３０１１は、分析対象データを特徴量抽出部３０２に送付し、分析対象データを表す特徴量を抽出し、抽出した特徴量と分析対象データをテキスト検索部に送付し、分析対象テキストデータを得る。
【００４２】
分析対象データを表す特徴量は、分析対象データ値の時間的変動でもよいし、分析対象データ中の何らかの値の出現割合でもよい。
【００４３】
例えば、商品件数や販売数の分散などの分析対象データ全体から算出されるメタデータや商品毎に算出できる前月との販売数の差や変動などであり、単一の値でも複数の値からなる集合でもよい。
【００４４】
連携分析制御部３０１１は、分析対象データを統計処理部３０１２にて集計などによる分析を実施し、分析対象テキストデータを文書処理部３０１３にて自然言語処理などを実施し、それぞれの分析結果を紐付けて、表示部２０２に通知する。
【００４５】
直接指定検索部４０１１は、連携分析制御部３０１１から分析対象データと特徴量を受信すると、テキストデータ群５０３から、分析対象ドメインのテキストデータを抽出する。
【００４６】
テキストデータを抽出する方法は、分析対象データに含まれる単語を１つまたは複数用いた全文検索でもよいし、抽出する方法やテキストデータを直接指定してもよい。また、直接指定検索部４０１１は、検索履歴登録部４００１に特徴量と抽出したテキストデータを送付し、テキストデータ利用履歴５０２に履歴を登録する。
【００４７】
また、直接指定検索部４０１１は、類似特徴履歴検索部４０２１に、分析対象データと特徴量を送付し、過去のテキストデータ検索履歴から、類似した特徴量を持つ分析対象によって検索されたテキストデータを取得する。
【００４８】
類似特徴履歴検索部４０２１は、テキストデータ利用履歴５０２から送付された分析対象データと特徴量を用いて、テキストデータ履歴を検索し、テキストデータ群５０３からテキストデータを抽出する。
【００４９】
類似特徴履歴検索部４０２１は、また、検索履歴登録部４００１を介して特徴量と検索履歴データをテキストデータ利用履歴５０２に登録し、次回以降の検索に利用する。
【００５０】
類似特徴履歴検索部４０２１で取得した履歴テキストデータは、検索中の分析対象データには含まれない単語や手法によって検索されたテキストデータであり、特徴量の点から類似するデータを有する。
【００５１】
＜テキストデータ管理システムの処理＞
次に、図３〜図９により、本発明の実施の形態１に係るテキストデータ管理システムの処理について説明する。図３は本発明の実施の形態１に係るテキストデータ管理システムの連携分析制御部の処理を示すフローチャート、図４は本発明の実施の形態１に係るテキストデータ管理システムで使用される分析対象データの一例を示す図、図５は本発明の実施の形態１に係るテキストデータ管理システムのテキスト検索部の処理を示すフローチャート、図６は本発明の実施の形態１に係るテキストデータ管理システムで使用されるテキストデータ利用履歴の一例を示す図、図７は本発明の実施の形態１に係るテキストデータ管理システムで使用されるテキストデータの一例を示す図、図８は本発明の実施の形態１に係るテキストデータ管理システムで使用される分析対象リストの一例を示す図であり、取扱商品リストの例を示している。図９は本発明の実施の形態１に係るテキストデータ管理システムで使用される検索結果のテキストデータの一例を示す図である。
【００５２】
まず、連携分析制御部３０１１の処理は、図３に示すように、分析対象データ取得ステップＳ３０１では、入力部２０１より送付されたデータ分析要求に基づいて、分析対象データを分析対象データ群５０１から取得する。データ分析要求には「店舗Ａの売れ筋商品」といった分析対象ドメインを具体化できる情報が含まれる。
【００５３】
分析対象データ取得ステップＳ３０１では、データ分析要求の示すドメイン、例えば「店舗Ａの売上明細」といった分析対象データを抽出する。
【００５４】
分析対象データ群５０１から取得するデータは図４に示すようなデータとなる。データ分析要求を商品の売上分析として考えた場合、図４に示すように当該商品における商品を一意に示す商品コード４１１と、商品を表現する商品名４１２や販売数などが取得される。
【００５５】
図４に示す例では、商品コードが「００Ａ０１１１」の商品名が「とろけるアイス」、商品コードが「００Ａ０３１３」の商品名が「ガリガリアイス」などの情報が格納されており、その他メーカー、単価、販売数なども格納されている。
【００５６】
特徴量抽出ステップＳ３０２では、取得した図４に示す分析対象データを利用して特徴量を算出する。特徴量は、分析対象データ量や商品の単価や販売数の分散といった単一値として算出してもよいし、商品分類毎の商品数といったベクトル値として表してもよく、データ分析要求の度に特徴量算出方法を指定してもよい。
【００５７】
また、特徴量抽出ステップＳ３０２では、分析対象データから分析対象のドメインを表す集合（分析対象リスト）を抽出する。例えば、売上分析においては、図４に示すデータから、図８に示すような商品コードと商品名からなる取扱商品リストを抽出する。
【００５８】
図８に示す例では、商品コードが「００Ａ０１１１」の商品名が「とろけるアイス」、商品コードが「００Ａ０３１３」の商品名が「ガリガリアイス」、商品コードが「００Ａ０３１４」の商品名が「バニラアイス」という情報が格納されている。
【００５９】
テキストデータ抽出ステップＳ３０３では、テキスト検索部４０１に対して、算出した特徴量と分析対象リストを送信し、分析対象データに関わるテキストデータを取得する。
【００６０】
自然言語処理ステップＳ３０４は、文書処理部３０１３にて実施される。取得したテキストデータを自然言語処理することにより、単語や係り受けなどを抽出する。統計処理部３０１２にて実施される統計処理ステップＳ３０５は、自然言語処理結果と、分析対象データに対して統計処理を行い、表示部に結果を送付する。
【００６１】
また、テキストデータ抽出ステップＳ３０３から呼び出されるテキスト検索部４０１の処理は図５に示すように、特徴量履歴検索ステップＳ５０１では、テキストデータ抽出ステップＳ３０３より送付された、特徴量をキーとして、図６に示すようなテキストデータ利用履歴を検索する。
【００６２】
テキストデータ利用履歴５０２は、図６に示すように直接指定検索部４０１１で過去に検索されたアクセス日時６０１とアクセスした文書ＩＤ６０２、特徴量６０４を有しており、直接指定検索部４０１１から送付された特徴量の範囲指定により検索する。
【００６３】
図６に示す例では、アクセス日時６０１の「２０１１／１／１ ０：００」に対して、文書ＩＤ６０２が「１」、特徴種別ＩＤ６０３が「１００」、特徴量６０４が「３００」、アクセス日時６０１の「２０１１／１／２ ０：１０」に対して、文書ＩＤ６０２が「２」、特徴種別ＩＤ６０３が「１００」、特徴量６０４が「２１０」、アクセス日時６０１の「２０１１／１／２ １：０３」に対して、文書ＩＤ６０２が「１」、特徴種別ＩＤ６０３が「１０２」、特徴量６０４が「｛１３．２１｝」などの情報が格納されている。
【００６４】
テキストデータ利用履歴５０２は、また、特徴種別ＩＤ６０３を有する。特徴種別ＩＤ６０３は、特徴量抽出ステップＳ３０２にて算出される特徴量の算出方法の種類を表し、例えば、１００は分析対象データの行数、１０２は特定の２商品の売上総数によるベクトル値といった形で、予め定められた値である。
【００６５】
履歴検索においては、特徴種別毎に類似特徴量を持つ履歴行が検索される。例えば、単一値６０５でその差分がある範囲以内であれば類似であり、ベクトル値６０６で、ユークリッド距離がある範囲以内であれば類似である、といった判定が実施される。
【００６６】
テキストデータ検索（文書ＩＤ）ステップＳ５０２では、特徴量履歴検索ステップＳ５０１で検索した利用履歴の文書ＩＤ６０２を利用して、図７に示すようなテキストデータをテキストデータ群５０３から取得する。テキストデータは、文書ＩＤと記述内容７０１からなる。
【００６７】
図７に示す例では、文書ＩＤが「１」の記述内容が「とろけるアイスは良くとろける」、文書ＩＤが「２」の記述内容が「ガリガリ食べたいアイスはある」、文書ＩＤが「３」の記述内容が「当面小豆アイスでいけるよ」などの情報が格納されている。
【００６８】
これらＳ５０１〜Ｓ５０２のステップにより、特徴量の点から類似する履歴テキストデータを取得する。
【００６９】
テキストデータ検索（キーワード）ステップＳ５０３では、テキストデータ抽出ステップＳ３０３から送付される分析対象リストを利用してテキストデータ群５０３から取得する。
【００７０】
例えば、図８に示すような取扱商品リストが分析対象リストとして指定された場合、リスト中の商品名８０１それぞれのキーワードとして、図９に示すように、記述内容９０１に商品名８０１が含まれるテキストデータが取得される。
【００７１】
テキストデータマージステップＳ５０４では、テキストデータ検索（文書ＩＤ）ステップＳ５０２で取得したテキストデータとテキストデータ検索（キーワード）ステップＳ５０３で取得したテキストデータをマージして、テキストデータ検索結果とする。
【００７２】
以上により、本実施の形態では、特定の分析対象ドメインにおいて、分析対象データに含まれない関連データを有するテキストデータを抽出可能になる。
【００７３】
（実施の形態２）
実施の形態１では、単一ドメインで保有するテキストデータ群から、特徴量に基づいて類似するテキストデータを抽出し、分析する処理を示したが、実施の形態２では、異なるドメイン間でそれぞれ収集したテキストデータ群を共有し、特徴量に基づいてテキストデータを抽出するようにしている。
【００７４】
＜テキストデータ管理システムの構成＞
図１０により、本発明の実施の形態２に係るテキストデータ管理システムの構成について説明する。図１０は本発明の実施の形態２に係るテキストデータ管理システムの構成を示す構成図である。
【００７５】
図１０において、テキストデータ管理システムは、異なるドメインをＡ店舗ドメイン１００１、Ｂ店舗ドメイン１００２とし、連携管理サブシステム３００としては、Ａ店舗連携管理部３００１とＢ店舗連携管理部３００２を備える。
【００７６】
テキストデータ管理サブシステム４００は各ドメインにおいて共有されている。Ａ店舗２００１、Ｂ店舗２００２のそれぞれから、各ドメインに有用なテキストデータが収集され、テキストデータ群５０３１に保管される。
【００７７】
各ドメインは、Ａ店舗連携管理部３００１、Ｂ店舗連携管理部３００２として連携分析部３０１と特徴量抽出部３０２を有し、ドメイン毎に異なる分析対象データを複数有する（５０１１、５０１２、５０１３、５０１４）。
【００７８】
全てのドメインからのテキストデータ管理サブシステム４００へのアクセスは、共通のテキストデータ利用履歴５０２１に、特徴量と共に記録される。そのため、一方の店舗で収集されたテキストデータは、特徴量を用いた補完テキスト検索部４０２により、他方の店舗で有効に利用される。
【００７９】
また、収集されるテキストデータがテキストデータ群５０３１にて共通して保存されるため、重複データを削除することにより総テキストデータ量の削減が可能であり、テキストデータ群の更新においても、個々のドメインで更新する場合よりも更新頻度を削減することが可能となる。
【００８０】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【産業上の利用可能性】
【００８１】
本発明は、分析を目的としたテキストデータ管理方法、およびその管理方法を実現するためのシステムに関し、個々に所有するデータの特徴量に依らず、関連度の高いテキストデータを収集・参照する必要のある装置やシステムなどに広く適用可能である。
【符号の説明】
【００８２】
１０１…テキストデータ管理システム、２００…分析制御サブシステム、２０１…入力部、２０２…表示部、３００…連携管理サブシステム、３０１…連携分析部、３０２…特徴量抽出部、４００…テキストデータ管理サブシステム、４０１…テキスト検索部、４０２…補完テキスト検索部、５０１…分析対象データ群、５０２…テキストデータ利用履歴、５０３…テキストデータ群。
【特許請求の範囲】
【請求項１】
入力されたデータ分析要求に基づいて、分析対象データを抽出し、前記分析対象データに関連するテキストデータを分析するテキストデータ管理方法であって、
連携管理部により、前記入力されたデータ分析要求に基づいて、分析対象データ群から分析対象データを抽出し、抽出した前記分析対象データから特徴量を抽出し、
テキストデータ管理部により、前記分析対象データおよび前記特徴量に基づいて、テキストデータ群からテキストデータを抽出して、抽出した前記テキストデータを分析し、分析に利用した前記テキストデータと前記分析対象データの特徴量を関連付けて履歴として管理し、前記テキストデータの抽出を前記履歴の特徴量の類似度に基づいて行うことを特徴とするテキストデータ管理方法。
【請求項２】
異なるデータ分析要求先から入力されたデータ分析要求に基づいて、分析対象データを抽出し、前記分析対象データに関連するテキストデータを分析するテキストデータ管理方法であって、
連携管理部により、前記異なるデータ分析要求先から入力されたデータ分析要求に基づいて、前記データ分析要求先に対応する分析対象データ群から分析対象データを抽出し、抽出した前記分析対象データから特徴量を抽出し、
テキストデータ管理部により、前記分析対象データおよび前記特徴量に基づいて、テキストデータ群からテキストデータを抽出して、抽出した前記テキストデータを分析し、分析に利用した前記テキストデータと前記分析対象データの特徴量を関連付けて履歴として管理し、前記テキストデータの抽出を前記履歴の特徴量の類似度に基づいて行うことを特徴とするテキストデータ管理方法。
【請求項３】
請求項１または２に記載のテキストデータ管理方法において、
前記テキストデータ管理部により、異なる分析対象データ群を分析するためのテキストデータを前記テキストデータ群に登録し、前記異なる分析対象データ群で重複するテキストデータを削除することを特徴とするテキストデータ管理方法。
【請求項４】
入力されたデータ分析要求に基づいて、分析対象データ群から分析対象データを抽出し、抽出した前記分析対象データから特徴量を抽出する連携管理部と、
前記分析対象データおよび前記特徴量に基づいて、テキストデータ群からテキストデータを抽出して、抽出した前記テキストデータを分析するテキストデータ管理部とを備え、
前記テキストデータ管理部は、分析に利用した前記テキストデータと前記分析対象データの特徴量を関連付けて履歴として管理し、前記テキストデータの抽出を前記履歴の特徴量の類似度に基づいて行うことを特徴とするテキストデータ管理システム。
【請求項５】
異なるデータ分析要求先から入力されたデータ分析要求に基づいて、前記データ分析要求先に対応する分析対象データ群から分析対象データを抽出し、抽出した前記分析対象データから特徴量を抽出する連携管理部と、
前記分析対象データおよび前記特徴量に基づいて、テキストデータ群からテキストデータを抽出して、抽出した前記テキストデータを分析するテキストデータ管理部とを備え、
前記テキストデータ管理部は、分析に利用した前記テキストデータと前記分析対象データの特徴量を関連付けて履歴として管理し、前記テキストデータの抽出を前記履歴の特徴量の類似度に基づいて行うことを特徴とするテキストデータ管理システム。
【請求項６】
請求項４または５に記載のテキストデータ管理システムにおいて、
前記テキストデータ管理部は、異なる分析対象データ群を分析するためのテキストデータを前記テキストデータ群に登録し、前記異なる分析対象データ群で重複するテキストデータを削除することを特徴とするテキストデータ管理システム。
【請求項１】
入力されたデータ分析要求に基づいて、分析対象データを抽出し、前記分析対象データに関連するテキストデータを分析するテキストデータ管理方法であって、
連携管理部により、前記入力されたデータ分析要求に基づいて、分析対象データ群から分析対象データを抽出し、抽出した前記分析対象データから特徴量を抽出し、
テキストデータ管理部により、前記分析対象データおよび前記特徴量に基づいて、テキストデータ群からテキストデータを抽出して、抽出した前記テキストデータを分析し、分析に利用した前記テキストデータと前記分析対象データの特徴量を関連付けて履歴として管理し、前記テキストデータの抽出を前記履歴の特徴量の類似度に基づいて行うことを特徴とするテキストデータ管理方法。
【請求項２】
異なるデータ分析要求先から入力されたデータ分析要求に基づいて、分析対象データを抽出し、前記分析対象データに関連するテキストデータを分析するテキストデータ管理方法であって、
連携管理部により、前記異なるデータ分析要求先から入力されたデータ分析要求に基づいて、前記データ分析要求先に対応する分析対象データ群から分析対象データを抽出し、抽出した前記分析対象データから特徴量を抽出し、
テキストデータ管理部により、前記分析対象データおよび前記特徴量に基づいて、テキストデータ群からテキストデータを抽出して、抽出した前記テキストデータを分析し、分析に利用した前記テキストデータと前記分析対象データの特徴量を関連付けて履歴として管理し、前記テキストデータの抽出を前記履歴の特徴量の類似度に基づいて行うことを特徴とするテキストデータ管理方法。
【請求項３】
請求項１または２に記載のテキストデータ管理方法において、
前記テキストデータ管理部により、異なる分析対象データ群を分析するためのテキストデータを前記テキストデータ群に登録し、前記異なる分析対象データ群で重複するテキストデータを削除することを特徴とするテキストデータ管理方法。
【請求項４】
入力されたデータ分析要求に基づいて、分析対象データ群から分析対象データを抽出し、抽出した前記分析対象データから特徴量を抽出する連携管理部と、
前記分析対象データおよび前記特徴量に基づいて、テキストデータ群からテキストデータを抽出して、抽出した前記テキストデータを分析するテキストデータ管理部とを備え、
前記テキストデータ管理部は、分析に利用した前記テキストデータと前記分析対象データの特徴量を関連付けて履歴として管理し、前記テキストデータの抽出を前記履歴の特徴量の類似度に基づいて行うことを特徴とするテキストデータ管理システム。
【請求項５】
異なるデータ分析要求先から入力されたデータ分析要求に基づいて、前記データ分析要求先に対応する分析対象データ群から分析対象データを抽出し、抽出した前記分析対象データから特徴量を抽出する連携管理部と、
前記分析対象データおよび前記特徴量に基づいて、テキストデータ群からテキストデータを抽出して、抽出した前記テキストデータを分析するテキストデータ管理部とを備え、
前記テキストデータ管理部は、分析に利用した前記テキストデータと前記分析対象データの特徴量を関連付けて履歴として管理し、前記テキストデータの抽出を前記履歴の特徴量の類似度に基づいて行うことを特徴とするテキストデータ管理システム。
【請求項６】
請求項４または５に記載のテキストデータ管理システムにおいて、
前記テキストデータ管理部は、異なる分析対象データ群を分析するためのテキストデータを前記テキストデータ群に登録し、前記異なる分析対象データ群で重複するテキストデータを削除することを特徴とするテキストデータ管理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１１４６３５（Ｐ２０１３−１１４６３５Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６３１６６（Ｐ２０１１−２６３１６６）
【出願日】平成２３年１２月１日（２０１１．１２．１）
【出願人】（０００２３３４９１）株式会社日立システムズ (394)
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１２月１日（２０１１．１２．１）
【出願人】（０００２３３４９１）株式会社日立システムズ (394)
[ Back to top ]