情報検索装置、情報検索サイトの改善方法提示装置
【課題】 ＦＡＱサイトを自動的に分析して改善方法を提示する。
【解決手段】 情報検索システムは、ユーザの質問事項に対して予め準備されている回答文からいずれかの回答文を抽出してユーザに提示する情報検索サイトをネットワーク１４上で提供する。回答文格納部６２は、ユーザ端末に表示させる回答文データを記憶する。送受信部２２は、ユーザ端末における質問入力操作内容を示す操作情報を受信する。検索部５２は、受信された操作情報を所定の基準にしたがって処理することによって、回答文格納部６２から質問に対応するひとつまたは複数の回答文データを選択する。応対履歴記録部７０は、操作情報と検索部５２による選択結果とを応対履歴として記録する。問題点抽出部１０２は、記録された複数の応対履歴の間の関連性を基準として、ユーザ端末に表示される回答文データの的確性の度合いを表す的確性データを作成する。
【解決手段】 情報検索システムは、ユーザの質問事項に対して予め準備されている回答文からいずれかの回答文を抽出してユーザに提示する情報検索サイトをネットワーク１４上で提供する。回答文格納部６２は、ユーザ端末に表示させる回答文データを記憶する。送受信部２２は、ユーザ端末における質問入力操作内容を示す操作情報を受信する。検索部５２は、受信された操作情報を所定の基準にしたがって処理することによって、回答文格納部６２から質問に対応するひとつまたは複数の回答文データを選択する。応対履歴記録部７０は、操作情報と検索部５２による選択結果とを応対履歴として記録する。問題点抽出部１０２は、記録された複数の応対履歴の間の関連性を基準として、ユーザ端末に表示される回答文データの的確性の度合いを表す的確性データを作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、情報検索装置および情報検索サイトの改善方法提示装置に関する。より具体的には、ＦＡＱ（Frequently Asked Question）サイトなどの情報検索サイトの問題点を自動的に分析する技術に関する。
【背景技術】
【０００２】
ユーザからの様々な問い合わせを迅速に解決し、また回答する側の人的負担を軽減するために、ＦＡＱサイトをインターネット上で提供する企業が増大している。このようなＦＡＱサイトは、利用者が質問事項を入力して検索するか、または階層的なカテゴリ構造をたどることにより、ユーザが自らの質問事項の回答を得られるように構成されている。ＦＡＱサイトは企業の顧客対応品質を向上させるためにもその重要度が増している。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ＦＡＱサイトの中には、ユーザが求める回答にたどり着くまでに長時間を要したり見当違いの回答しか得られないなど、ユーザの要望に十分応えていないものも存在する。ＦＡＱサイトをこのような状態で放置しておくことは、顧客対応品質の低下やオペレータの増員によるコスト上昇につながり、企業にとって好ましくない。しかしながら、従来では、ＦＡＱサイトの改善やメンテナンスはサイト管理者の判断に任されており、改善やメンテナンスなどの作業を高頻度で実行することが困難であった。また、このような作業には統計処理や分析の能力が必要であり、管理者のスキルによってＦＡＱサイトの改善へのフィードバックの度合いに差が生じることがあった。
【０００４】
本発明者は以上の認識に基づき本発明をなしたもので、その目的は、情報検索サイトの問題点を分析し改善方法を自動的に提示する技術を提供することにある。
【課題を解決するための手段】
【０００５】
本発明のある態様は、ユーザの質問事項に対して予め準備されている回答文からいずれかの回答文を抽出してユーザに提示する情報検索サイトをネットワーク上で提供する情報検索装置に関する。この装置は、ユーザ端末に表示させる回答文データを記憶する回答文格納部と、ユーザ端末における質問入力操作内容を示す操作情報を受信する受信部と、受信された操作情報を所定の基準にしたがって処理することによって、回答文格納部から質問に対応するひとつまたは複数の回答文データを選択する検索部と、操作情報と検索部による選択結果とを応対履歴として記録する応対履歴記録部と、記録された複数の応対履歴の間の関連性を基準として、ユーザ端末に表示される回答文データの的確性の度合いを表す的確性データを作成する問題点抽出部と、情報検索サイトの改善方法が記述された複数の対策文データを記憶する改善方法格納部と、問題点抽出部により作成された的確性データと所定の基準データとを比較して、改善方法格納部からひとつまたは複数の対策文データを選択する改善方法決定部と、選択された対策文データを管理者端末に表示させる改善方法提示部と、を備える。
【０００６】
この態様によれば、ユーザ端末における操作内容とそれに対応する回答文の検索結果とを応対履歴として記録し、この応対履歴から作成された的確性データを用いて改善方法を決定することによって、人手を介することなく情報検索サイトの改善方法を自動的に提示することができる。
【０００７】
問題点抽出部は、応対履歴における所定の事象の発生回数を使用して所定のテーブルを参照することによって、情報検索サイト内でのユーザの動向を数値化したユーザ動向スコアを算出するユーザ動向数値化部をさらに備え、改善方法決定部は、ユーザ動向スコアと所定の基準値とを比較し、その比較結果に応じて対策文データを選択するようにしてもよい。
【０００８】
このように、応対履歴に基づいてユーザ動向スコアを算出し、これを使用して対策文データを選択するようにしたので、対策文データを選択するに際して管理者の主観を排除することができるため、管理者のスキルによらず情報検索サイトの改善を一定の品質で実行することが可能になる。
【０００９】
応対履歴記録部は、情報検索サイトに接続したユーザ端末を識別し、ユーザ端末毎に異なる識別符号と関連付けて応対履歴を記録し、ユーザ動向数値化部は識別符号を参照して応対履歴をユーザ端末毎に区別し、ユーザ端末毎にユーザ動向スコアを算出するようにしてもよい。このように、応対履歴をユーザ端末毎に記録するようにしたので、情報検索サイト内での個々のユーザの動向を数値化することが可能となる。
【００１０】
改善方法提示部は、改善の対象となる回答文データを対応する対策文データ毎に集約して該対策文データとともに管理者端末の画面に表示させてもよい。分析結果を提示する代わりに、管理者が取るべき改善方法を記述した対策文データを直接表示するようにしたので、管理者は情報検索サイトの改善を直ちに実行することが可能になる。
【００１１】
なお、情報検索装置は、単体のＰＣで構成してもよいし、互いにネットワークで接続されたサーバおよびユーザ端末を組み合わせたシステムの形で構成してもよい。
【００１２】
本発明の別の態様は、情報検索装置によりネットワーク上に提供され、ユーザの質問事項に対して予め準備されている回答文からいずれかの回答文を抽出してユーザに提示する情報検索サイトの改善方法を管理者に提示する改善方法提示装置に関する。この装置は、ユーザ端末における質問入力操作内容を示す操作情報とユーザに提示された回答文データとを記録した応対履歴を使用して、応対履歴の間の関連性を基準として、情報検索サイトでユーザに提示される回答文の的確性の度合いを表す的確性データを作成する問題点抽出部と、情報検索サイトの改善方法が記述された複数の対策文データを記憶する改善方法格納部と、問題点抽出部により作成された的確性データと所定の基準データとを比較して、改善方法格納部から質問に対応するひとつまたは複数の対策文データを選択する改善方法決定部と、選択された対策文データを管理者端末に表示させる改善方法提示部と、を備えることを特徴とする。
【００１３】
なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１４】
本発明によれば、情報検索サイトにおけるユーザの利用履歴を自動的に分析することによって、情報検索サイトの改善方法を提示することができる。
【発明を実施するための最良の形態】
【００１５】
本発明は、従来は管理者に依存していたＦＡＱシステムなどの情報検索システムにおけるユーザの利用履歴のデータ分析を自動化し、具体的な改善方法を提示する技術に関する。以下では、本発明の一実施形態に係るＦＡＱシステムの構成を初めに説明し、続いて具体的な機能について説明する。
【００１６】
図１は、本発明の一実施形態に係るＦＡＱシステム１０の全体構成を示す。ＦＡＱサーバ１８は、ネットワーク１４を介して複数のユーザ端末１２と接続される。ＦＡＱサーバ１８はウェブサーバとしての機能を有しており、ウェブページを介してユーザから質問を受け付け、保持している回答文データの中からそれに類似するものを検索し、その質問に対する回答文をユーザに提示する。ＦＡＱサーバ１８が提供するウェブページ（「ＦＡＱサイト」ともいう）において、ユーザは自然文による質問を入力して検索を実行することができる。また、このウェブページにおいて階層的に表示されるカテゴリを順次選択することによって、ユーザは所望の回答文に到達することもできる。いずれの場合も、ユーザ端末１２がその操作情報をＦＡＱサーバ１８へ送信する。
【００１７】
ＦＡＱサーバ１８には分析サーバ２０が接続されている。分析サーバ２０は、ＦＡＱサーバ１８による回答文データ提示の的確性を自動的に分析し、ＦＡＱサーバ１８の改善方法を決定する。決定された改善方法についての情報は、ネットワーク１４を介して、ＦＡＱシステム１０の管理者端末１６に送信される。なお、ユーザ端末１２および管理者端末１６は、ＰＣなどの情報処理装置である。また、ネットワーク１４は、例えば、インターネットや、企業内で敷設されるＬＡＮ（Local Area Network）などである。
【００１８】
図２は、ＦＡＱサーバ１８および分析サーバ２０の構成を示す機能ブロック図である。ＦＡＱサーバ１８は、ユーザ端末１２および管理者端末１６との間でデータを送受信する送受信部２２と、種々の処理を実行する処理部３０と、ユーザ端末１２から操作または入力される質問に対する回答文データを検索する検索部５２と、検索対象となる複数の回答文データや検索処理に必要なデータなどを記憶する格納部６０と、を有する。
【００１９】
なお、ＦＡＱサーバ１８および分析サーバ２０は、ハードウエア的にはコンピュータのＣＰＵやメモリなどの構成で実現でき、ソフトウエア的にはファイル管理やファイル検索機能のあるプログラムなどによって実現できるが、本図ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できる。
【００２０】
送受信部２２は、ＦＡＱサーバ１８に対する各種処理の指示、検索条件の入力、検索結果の出力など、ＦＡＱサーバ１８とその外部との間でデータを入出力するインタフェイスである。ＦＡＱサーバ１８がスタンドアロンで実現される場合にはユーザと本装置を結ぶインタフェイスとなり、ＦＡＱサーバ１８がネットワークサーバとして実現される場合には本装置をクライアント端末とネットワークを介して接続させる通信インタフェイスとなる。
【００２１】
質問受付部３２は、ユーザからの質問を受け付ける。質問受付部３２は、ユーザが質問文を入力して送信するためのインタフェイスを備えたウェブページをユーザに提示し、ユーザが入力した情報をＣＧＩ（Common Gateway Interface）などの機能を利用して取得する。
【００２２】
処理部３０は、回答文格納部６２に記憶されている複数の回答文データを処理対象とし、それぞれから特徴的な文字列を複数抽出する。この複数の特徴的な文字列は、その回答文データの内容を端的に示したコンセプト（概念）を形成するものとし、このコンセプトを索引データとして索引格納部６４に記録する。処理部３０は、回答文データに含まれる文字列を言語解析する解析処理部３４と、その解析結果に基づいて索引データを生成する生成処理部４０と、を含む。処理部３０は、このほか、ウェブサーバを実現するための構成および機能を有しているが、これらについては既知の技術を利用する。
【００２３】
解析処理部３４は、前処理部３６と文字列抽出部３８を含む。前処理部３６は、言語解析に先だって前処理を行う。例えば、処理対象となる回答文データからファイル形式や文書形式を検出し、これに基づいてその回答文データをテキスト形式などの非定型な形式に変換して解析容易な状態を形成してもよい。このとき形態素解析、構文解析、意味解析などの技術を利用してもよい。
【００２４】
文字列抽出部３８は、処理対象の回答文データから複数の文字列を抽出する。後述する単語辞書に含まれる単語を抽出する形でもよいし、スペースやブランクで区切られた文字列を単語として認識してもよい。
【００２５】
生成処理部４０は、抽出された文字列の出現頻度を計数し、その出現頻度に基づいて索引データを生成する。生成処理部４０は、統計処理部４２と索引生成部４４を含む。統計処理部４２は、抽出された文字列のその回答文データにおける出現頻度を計数するとともに、回答文格納部６２が保持する複数の回答文データ全体にわたるその文字列の出現頻度を計数する。このとき文字列同士の類似性を考慮する。例えば、類義語、同義語、統制語として定義された相互に意味が近似する複数の単語間の相違を吸収して文字列の出現頻度を計数する。
【００２６】
索引生成部４４は、統計処理部４２によって計数された文字列の出現頻度に基づいて索引データを生成する。この索引データは、抽出された複数の文字列にそれぞれの出現頻度に応じた重み付けが付加された一覧として構成される。各文字列に対する重み付けは、処理対象の回答文データにおける出願頻度が高い文字列ほど重み付けを高くする一方で、回答文格納部６２が記憶する複数の回答文データ全体にわたって出現頻度が高い文字列に対しては重み付けを低くする。その結果、その回答文データに特有な文字列を統計的な手法で顕在化させることができる。なお、この索引データの生成は検索の前に予め実行しておいてもよいし、検索が行われるたびに生成されてもよい。
【００２７】
検索部５２は、ユーザから検索条件を受け取り、これに適合する回答文データを回答文格納部６２から抽出する。検索部５２は、自然文検索部５４とカテゴリ検索部５６とを含む。
【００２８】
自然文検索部５４は、図示しない条件設定部および類似度判断部を含む。条件設定部は、質問受付部３２を介してユーザ端末１２から質問文を取得する。この検索条件は、自然文によって記述された文章のかたちでもよいし、何らかの文字列を含んだファイルのかたちでもよい。その検索条件は解析処理部３４に送られて前述した索引データの生成過程と同様の処理対象となり、その検索条件のコンセプトが生成される。
【００２９】
類似度判断部は、解析処理部３４にて生成された質問文のコンセプトと索引格納部６４に索引データとして記録されたコンセプトとを比較することにより、質問文と回答文データの類似度を検出する。そして、回答文格納部６２の中からユーザの質問文に類似する回答文データを検索する。比較の際に、辞書格納部６６が保持する各種辞書に基づき、検索条件に含まれる文字列と関連する他の文字列を追加してその検索条件を補完してもよい。
【００３０】
ここで、質問文と索引データの比較にはベクトル空間モデルを利用する。すなわち、質問文のコンセプトと索引データのコンセプトをそれぞれ多次元空間上のベクトルとして表現し、これらを比較する。コンセプトにｎ個の文字列が含まれる場合はｎ次元のベクトル空間が形成され、各文字列の出現頻度に応じた重み付けが各成分に加えられる。こうして形成されるベクトル同士の近似度が質問文と回答文データの類似度となる。
【００３１】
回答文提示部４８は、検索により抽出された回答文データを回答文格納部６２から読み出して、類似度の高い順に回答文データの一覧を生成して、ウェブページとしてユーザに提示する。回答文提示部４８は、検索により抽出された複数の回答文データをユーザに提示するときに、ユーザの質問文との類似度の順に回答文データを提示してもよい。類似度の高い順に回答文データを提示することで、ユーザが質問したい内容により近いものから順にユーザに提示することができる。
【００３２】
このウェブページ上には、それぞれの回答文に対するユーザの満足度を点数で入力するためのアンケート点数入力欄が設けられており、ユーザの満足度を取得することができる。また、回答文に対するユーザの自由なコメントを入力するためのアンケートコメント欄も設けられている。これらの情報は、ユーザ端末１２によりＦＡＱサーバ１８に送られる。
【００３３】
格納部６０は、回答文格納部６２、索引格納部６４、辞書格納部６６、カテゴリ格納部６８、応対履歴記録部７０を含む。回答文格納部６２は、複数の回答文データを保持する。回答文データは、例えばワードプロセッサなどの文書作成ソフトウエアによって生成された文書ファイル、ＨＴＭＬ（Hyper Text Markup Language）やＸＭＬ（eXtensible Markup Language）などの記述言語を用いて生成されたファイルなど、多様な形式で作成可能である。また、回答文データ自体は、検索を前提とした分類および定型化が予めなされることを必要としない。
【００３４】
回答文データには、ユーザからの質問内容を予想して予め用意された質問文をタイトルとして、その質問文に対する回答内容が記述されている。タイトルの例としては、「電源が入らない」「電源を入れても動作しない」などである。回答内容の例としては、「電源ケーブルが接続されているか確認してください」などである。なお回答内容は、ひとつのタイトルに対して複数記述されていてもよい。回答文データは、基本情報として、ＩＤ、作成日、更新日、作成者、更新者、公開期限などのデータ項目を含んでいてもよい。
【００３５】
索引格納部６４は、生成処理部４０によって生成された索引データを回答文データと対応付けて記憶する。辞書格納部６６は、単語辞書、類義語辞書、同義語辞書、統制語辞書など、解析処理部３４および生成処理部４０による言語解析や統計処理において参照されるデータを保持する。
【００３６】
カテゴリ格納部６８は、回答文データを予め分類されたカテゴリに関連付けて表示するためのカテゴリ情報を記録する。ユーザは、自然文検索の代わりに、ウェブページに表示されるカテゴリを選択していくことによって、所望の回答文に到達することもできる。この場合、カテゴリ検索部５６は、カテゴリ格納部６８に保持されているカテゴリ情報を参照して、回答文データをユーザ端末に表示させる。
【００３７】
ユーザ操作内容取得部４６は、ユーザ端末１２における各操作情報を取得する。ユーザ端末から質問文が入力されるか、またはカテゴリ選択により回答文データが抽出されたときは、その情報を取得する。またユーザ操作内容取得部４６は、ユーザ端末１２に表示された回答文データが参照されることにより生じる操作情報も取得する。さらに、ユーザ操作内容取得部４６は、ＦＡＱサーバ１８に接続したユーザ端末１２を識別し、それぞれ別の識別符号を与える。各ユーザ端末１２から取得した情報は、それぞれの識別符号と関連付けて、応対履歴記録部７０に応対履歴として順次記録される。
【００３８】
アンケート受付部５０は、ウェブページに表示された回答文データについてユーザ端末１２から入力されるアンケート点数とアンケートコメントを受信する。受信したアンケート点数とアンケートコメントは、ユーザ端末の識別符号と関連付けて、応対履歴記録部７０に記録される。
【００３９】
応対履歴記録部７０は、リレーショナルデータベースとして構成することができる。応対履歴には、上述したものを含め、ユーザＩＤ、セッション日時、操作種類、操作内容、ＩＰアドレス、回答文データのＩＤ、検索条件式、検索結果、アンケート点数などが含まれる。
【００４０】
ここで、ＦＡＱサーバ１８による質問の自然文検索の過程をまとめる。まず、検索条件となる文章をユーザが自然文の形で指定すると、解析処理部３４がその検索条件から文字列を抽出して索引データを生成する。自然文検索部５４は、その索引データと索引生成部４４が保持する複数の索引データを照合してそれぞれの類似度を判断する。回答文提示部４８は、その類似度の順に回答文データの一覧を生成し、これを検索結果としてユーザ端末１２の画面に表示させる。
【００４１】
図３は、応対履歴記録部７０に記録される応対履歴の一例を示す。図示するように、ユーザＩＤ、セッション日時、操作種類、操作内容が時系列で記録される。操作種類としては、検索の他、回答文データの参照やアンケート回答なども記録される。また、操作内容には、検索の際にユーザが入力した文章（「印刷できない」「保存エラー」など）と、対応する検索結果（「１３件」など）も記録される。回答文データが参照された場合には、そのＩＤも記録される。このように、応対履歴記録部７０には、セッションの開始後、ユーザがウェブページにおいて行った操作内容を逐一記憶している。したがって、この応対履歴を用いて様々な統計処理を実行することができる。
【００４２】
図４は、図３に示した応対履歴をユーザＩＤにより分別した様子を示す。このように、ユーザＩＤを応対履歴に関連付けて記録しているため、ユーザ単位で操作をたどることが可能となる。
【００４３】
図５は、図３の応対履歴において発生した事象をカウントし、その結果に基づいて、ユーザの動向をスコア化する様子を示す。このスコア化の詳細については後述する。このように、ユーザの操作の流れをスコア化することによって、ユーザの満足度を高精度で抽出することが可能になる。
【００４４】
図２に戻り、分析サーバ２０の各機能ブロックについて説明する。分析サーバ２０は、問題点抽出部１０２と、改善方法格納部１０８と、改善方法決定部１１０と、改善方法提示部１１２と、を含む。
【００４５】
問題点抽出部１０２は、応対履歴記録部７０に記録された複数の応対履歴の間の関連性を基準として、ユーザ端末１２に提示される回答文データの的確性の度合いを表す的確性データを作成する。
より具体的には、問題点抽出部１０２は、ユーザ動向数値化部１０４と、回答文数値化部１０６とを含む。ユーザ動向数値化部１０４は、応対履歴における所定の事象の発生回数を使用して所定のテーブルを参照することによって、ＦＡＱサイト内でのユーザの動向を数値化したユーザ動向スコアを算出する。ユーザ動向数値化部１０４は、識別符号を参照して応対履歴をユーザ端末毎に区別し、ユーザ端末毎にユーザ動向スコアを算出することもできる。回答文数値化部１０６は、カテゴリに関連付けられる回答文データ数を回答文スコアとして算出する。
【００４６】
ユーザ動向スコアとして、本実施形態では、参照率スコア、満足度スコアおよびヒット率を使用する。参照率スコアは、ユーザ端末１２に表示された回答文データのうちユーザにより参照された比率を示すスコアである。また、満足度スコアは、参照率、アンケート点数およびアンケート入力回数を使用して所定のテーブルを参照して、回答文データについてのユーザの満足の度合いを類推するためのスコアである。参照率スコアおよび満足度スコアの具体的な算出方法については後述する。ヒット率は、ユーザ端末からの操作情報の受信回数と、該操作情報に応答して検索部５２により選択された回答文データ数との割合を示すスコアである。
【００４７】
改善方法格納部１０８は、情報検索サイトの改善方法が記述された複数の対策文データを記憶する。この実施の形態では、改善方法格納部１０８は以下の４つの対策文データを記憶する。すなわち、第１の対策文データは「回答文データの追加」であり、改善方法として回答文データを追加して回答文格納部６２に記憶させることを管理者に推奨するものである。第２の対策文データは「回答文データの修正」であり、既に回答文格納部６２に記憶されている回答文データを修正することを管理者に推奨するものである。なお、この修正には、回答文データのタイトルを修正することと、回答内容を修正することと、回答内容のバリエーションを増やすことの全てが含まれる。
【００４８】
第３の対策文データは「辞書の修正」であり、辞書格納部６６に記憶されている登録語句を修正または追加することを管理者に推奨するものである。第４の対策文データは「カテゴリの改善」であり、カテゴリ格納部６８に記憶されているカテゴリの階層構造を修正するか、またはカテゴリと回答文データとの関連付けを修正することを管理者に推奨するものである。当然であるが、これら４つ以外の対策文データを記憶していてもよいし、４つのうちいずれかの対策文データが含まれていなくてもよい。例えば、「回答文データの修正」をさらに詳細に「回答文データのタイトル修正」「回答文データの内容修正」のように分けて対策文データを記憶してもよい。
【００４９】
改善方法決定部１１０は、問題点抽出部１０２により作成された的確性データと所定の基準データとを比較して、改善方法格納部１０８からひとつまたは複数の対策文データを選択する。より具体的には、改善方法決定部１１０は、ユーザ動向スコアおよび回答文スコアと所定の基準値とを比較し、その比較結果に応じて対策文データを選択する。この具体的な処理については、図１１以降を参照して詳細に説明する。
【００５０】
改善方法提示部１１２は、選択された対策文データを管理者端末１６に表示させる。このとき、改善方法提示部１１２は、改善の対象となる回答文データを対応する対策文データ毎に集約して該対策文データとともに管理者端末１６の画面に表示させる。
【００５１】
ここで、参照率スコアを算出する方法を説明する。
ユーザによる質問文検索の回数をＳ、検索回数の最大値をＳｍｘ、参照率をＲとする。そして、図６のグラフ上において、ある質問文の検索回数Ｓと参照率Ｒを表す点Ａ（Ｓ、Ｒ）を配置したとき、点Ｚ（Ｓｍｘ、０）から点Ａまでの距離を参照率スコアＲｓとして算出する。これは、点Ｚは、検索回数が最大であるが参照率が０である最悪のケースと考えられるため、点Ｚから距離が離れるほど、高スコアであると考えられるからである。なお、必要に応じて、検索回数Ｓおよび参照率Ｒに加重をかけて参照率スコアを算出してもよい。なお、上記スコア算出の過程において、当該ユーザの過去の操作履歴および今回の操作履歴をもとに、アンケート点数や回答文データの参照に至るまでの操作の重みを算出し加重することで、ユーザ個々の動向を加味した値を最終的なスコアとすることもできる。
【００５２】
次に、満足度スコアを算出する方法を説明する。
ある回答文データについて、ユーザにより参照された回数をＮ、参照回数の最大値をＮｍｘ、ユーザにより入力されるアンケート点数の平均点をＡ（−１００≦Ａ≦１００）、入力されたアンケート点数が０点であった回数をＺ、Ｚの最大値をＺｍｘ、アンケートのコメントがなされた回数をＣ、Ｃの最大値をＣｍｘと表記する。
【００５３】
まず、図７のグラフを参照して、アンケート０点回数Ｚに対応するスコアＳｚを算出する。算出されたＳｚに対して計算上必要な数値変換を施した値とアンケート平均点Ａを０以上１００以下となるよう変換した値とを掛け合わせて相関関係を求め、スコアＳｚａを算出する。
【００５４】
次に、図８に示すグラフ上において、ある回答文データに関する参照回数ＮとスコアＳｚａを表す点Ｂ（Ｎ、Ｓｚａ）を配置したとき、点Ｙ（Ｎｍｘ、０）から点Ｂ迄の距離をスコアＳｚａｒとして算出する。これは、点Ｙは、参照回数が最大であるが満足度Ｓｚａが０である最悪のケースと考えられるため、点Ｙから距離が離れるほど高スコアであると考えられるからである。なお、必要に応じて、参照回数ＮとスコアＳｚａに加重をかけてスコアＳｚａｒを算出してもよい。
【００５５】
さらに、図９に示すグラフ上において、アンケートコメント回数Ｃに対応するスコアＳｃを算出する。最後に、算出されたスコアＳｃに対して計算上必要な数値変換を施した値とＳｚａｒとを掛け合わせて相関関係を求め、最終的な満足度スコアＳｚｂとする。なお、上記スコア算出の過程において、当該ユーザの過去の操作履歴および今回の操作履歴をもとに、アンケート点数や回答文データの参照に至るまでの操作の重みを算出し加重することで、ユーザ個々の動向を加味した値を最終的なスコアとすることもできる。
【００５６】
図１０は、ＦＡＱサーバ１８または分析サーバ２０のハードウエアコンポーネントを示す。各サーバ１８、２０は、それぞれ、ＣＰＵ１４０、入力装置１４２、表示装置１４４、ＲＡＭ（ランダムアクセスメモリ）１５０、ハードディスク１５２、およびドライブ装置１４８を備える。これらの構成は、バス１４６などの信号伝送路により電気的に接続されている。
【００５７】
ハードディスク１５２は、大容量の磁気記憶装置であり、各種データベースなどを記憶する。記録媒体１５４は、実施の形態に関連して説明した各サーバの機能をＣＰＵ１４０に実現させるためのプログラムを記録する。記録媒体１５４がドライブ装置１４８に挿入されると、そのプログラムは、ＲＡＭ１５０またはハードディスク１５２に読み出され、ＣＰＵ１４０は、読み出されたプログラムにより処理を行う。この記録媒体１５４は、ＣＤ−ＲＯＭ、ＤＶＤ、ＦＤなどのコンピュータ読み取り可能な媒体である。
【００５８】
ここでは、プログラムが記録媒体１５４に記録されている例について説明したが、別の例においては、このプログラムは、無線、有線を問わず、外部のサーバから送信されてもよい。図１０に示したハードウエア構成において、プログラムは外部から供給される場合だけでなく、予めハードディスク１５２に格納されていてよいことも当業者には理解されるところである。
【００５９】
ところで、従来からＦＡＱシステムにおいては以下のような問題が存在することが知られている。第１に、ユーザが質問文を入力するか、またはカテゴリを選択したにもかかわらず、回答文が表示されない（「ヒットミス」ともいう）ことがあるという問題である。第２に、検索された回答文データがユーザ端末の画面に表示されたが、ユーザによりそれらが参照されないという問題である。第３に、ユーザが回答文を参照したものの、得られた情報に満足できないという問題である。一般に、これらの問題点を発見し、ＦＡＱシステムを改善したりメンテナンスを実行するには、管理者が各種統計データを参考にして、試行錯誤的に行うしかなかった。このため、高頻度でＦＡＱシステムの改善やメンテナンスを実行することが困難であり、また、管理者の能力によりＦＡＱサイトの改善へのフィードバックの度合いに差が生じることが多かった。
【００６０】
そこで、本実施形態では、ユーザの応対履歴を記録しそれらに基づいて分析結果を数値化することによって、上記問題点を自動的に抽出し、具体的な改善方法を管理者に提示できるようにしたのである。
【００６１】
上述したように、改善方法決定部１１０は、問題点抽出部１０２で抽出された各種スコアを使用して、回答文データの的確性に関する複数の分析処理を実行する。この分析処理によって、改善方法決定部１１０は、予め用意されている改善方法の中から適切なものを自動的に選択することができる。
【００６２】
図１１に示すように、本実施形態の改善方法決定部１１０は、問題点抽出部１０２により数値化されたスコアを利用した個別の分析処理を実行する６つの分析部１２０〜１３０を有する。各分析部は、分析の結果、適切な改善方法を決定し対応する対策文データを選択する。以下、それぞれフローチャートを参照して、各分析部における処理を説明する。
【００６３】
１．自然文検索分析
自然文検索分析部１２０は、ユーザから入力された質問文を用いて、カテゴリを絞り込まずに自然文検索を実行したときにユーザに提示される回答文の的確性を分析する。
【００６４】
図１２は、自然文検索分析のフローチャートである。まず、回答文数値化部１０６が、ユーザによる質問文の入力回数が多いものから順番に所定数（例えば、５つ）の質問文を抽出する（Ｓ１０）。これは、ユーザ入力の多い質問文を優先的に分析することで、ユーザのニーズに応じた回答文を充実させるためである。
【００６５】
自然文検索分析部１２０は、抽出された質問文で自然文検索を実行したときに検索される回答文の数（これを「ヒット数」という）を取得し、その中でヒット数が０件の質問文があるか否かを判定する（Ｓ１２）。ヒット数が０でなければ（Ｓ１２のＮ）、Ｓ１４をスキップしてＳ１６に進む。ヒット数が０であれば（Ｓ１２のＹ）、その質問文に対応する検索語句が辞書格納部６６に記憶されているか否かを判定する（Ｓ１４）。辞書格納部６６に記憶されていなければ（Ｓ１４のＮ）、辞書を修正すればヒット数が改善されると考えられるので、改善方法決定部１１０は対策文データとして「辞書修正」を選択し（Ｓ２４）、このフローを終了する。
【００６６】
辞書格納部６６に検索語句が記憶されていれば（Ｓ１４のＹ）、その質問文についての参照率スコアが所定値以下であるか否かを判定する（Ｓ１６）。参照率スコアが所定値より大きければ（Ｓ１６のＮ）、ユーザにより入力される質問文に対応する回答文データが十分に準備されていると判断できるので、このフローを終了する。参照率スコアが所定値以下であれば（Ｓ１６のＹ）、自然文検索分析部１２０は、抽出された質問文で自然文検索を実行したときのヒット数を取得し、ヒット数が所定の上限しきい値以上か否かを判定する（Ｓ１８）。ヒット数が上限しきい値以上である場合（Ｓ１８のＹ）、十分なヒット数があるのに参照率が低いことになり、これは回答文データ中のタイトルまたは回答内容が不適切であるため、ユーザにより参照されていないと判断できるため、改善方法決定部１１０は、対策文データとして「回答文データ修正」を選択し（Ｓ２６）、このフローを終了する。
【００６７】
ヒット数が上限しきい値未満である場合（Ｓ１８のＮ）、次に、自然文検索分析部１２０は、ヒット数が下限しきい値以下か否かを判定する（Ｓ２０）。ヒット数が下限しきい値より多い場合（Ｓ２０のＮ）、このフローを終了する。ヒット数が下限しきい値以下の場合（Ｓ２０のＹ）、参照率が低いのは十分なヒット数がないためと判断できるため、改善方法決定部１１０は対策文データとして「回答文データの追加」を選択し（Ｓ２２）、このフローを終了する。
【００６８】
このように、自然文検索分析部１２０によって自然文検索の的確性が検証され、抽出された問題点に応じて、「回答文データの追加」「回答文データの修正」および「辞書修正」のいずれかの対策文データを選択することができる。選択された対策文データは改善方法提示部１１２により管理者端末１６に表示されるので、管理者は、自然文検索の的確性を向上させるための改善方法を直ちに認識することができる。
【００６９】
自然文検索分析部１２０は、質問文毎のヒット数や参照率などを管理者端末１６に一覧表示させることもできる。この画面の例を図１３に示す。図示するように、検索数の多い質問文のうち上位５件が表示され、それぞれについて、検索数、ヒット数、参照数および参照率が表示される。管理者は、この画面を見て、ヒット数や参照率の低いものを特定して、分析実行の指示を出すことも可能である。
【００７０】
２．カテゴリ検索分析
カテゴリ検索分析部１２２は、ユーザの実行したカテゴリ検索についての応対履歴を参照して、カテゴリ検索を実行したときにユーザに提示される回答文の的確性を分析する。
【００７１】
図１４は、カテゴリ検索分析のフローチャートである。まず、問題点抽出部１０２は、応対履歴を参照して、カテゴリ検索回数、カテゴリに関連付けられる回答文データ数、カテゴリ絞り込み後の回答文データの参照率を導出する（Ｓ３０）。続いて、カテゴリ検索分析部１２２は、カテゴリに関連付けられる回答文データが０件であるカテゴリが存在するか否かを判定する（Ｓ３２）。そのようなカテゴリが存在する場合（Ｓ３２のＹ）、カテゴリ格納部６８におけるカテゴリの構成が不適切であるために、回答文データの表示されないカテゴリが生じていると判断できるため、改善方法決定部１１０は対策文データとして「カテゴリ改善」を選択し（Ｓ４０）、このフローを終了する。
【００７２】
回答文データが０件であるカテゴリが存在しない場合（Ｓ３２のＮ）、カテゴリ検索分析部１２２は、カテゴリ検索後にユーザによる回答文データの参照率スコアが所定値以下であるカテゴリがあるか否かを判定する（Ｓ３４）。そのようなカテゴリがなければ（Ｓ３４のＮ）、このフローを終了する。そのようなカテゴリがあれば（Ｓ３４のＹ）、続いて、そのカテゴリに関連付けられている回答文データの数が所定値未満であるか否かを判定する（Ｓ３６）。所定値未満であれば（Ｓ３６のＹ）、ユーザによる参照率が低いのは、カテゴリとともに表示される回答文データが少ないためと判断できるので、改善方法決定部１１０は、対策文データとして「回答文データを追加」を選択し（Ｓ４２）、このフローを終了する。これにしたがって、管理者がカテゴリに関連付けられる回答文データ数を増やす改善を実施すれば、カテゴリ検索の的確性が増加する。
【００７３】
Ｓ３６で、回答文データの数が所定値以上であれば（Ｓ３６のＮ）、ユーザによる参照率が低いのは、カテゴリとともに表示される回答文データの内容、特にタイトルの文言が不適切であるためと判断できるので、改善方法決定部１１０は対策文データとして「回答文データの修正」を選択し（Ｓ３８）、このフローを終了する。
【００７４】
従来は、カテゴリの体系が回答文データと有機的に連係できているか、つまり、カテゴリによる絞り込みが検索結果に影響を与えているか否かの分析は、管理者が試行錯誤的に実行する必要があった。しかし、本実施の形態によれば、カテゴリ検索分析部１２２によってカテゴリ検索の的確性が検証され、抽出された問題点に応じて、「カテゴリ改善」「回答文データの追加」および「回答文データの修正」のいずれかの対策文データを選択することができる。選択された対策文データは改善方法提示部１１２により管理者端末１６に表示されるので、管理者は、カテゴリ検索の的確性を向上させるための改善方法を直ちに認識することができる。
【００７５】
３．回答文妥当性分析
回答文妥当性分析部１２４は、回答文格納部６２に格納されている回答文データ内のタイトルを用いて自然文検索を実行したとき、元の回答文データがヒットするか否かを判定する。
【００７６】
図１５は、回答文妥当性分析のフローチャートである。回答文妥当性分析部１２４は、回答文格納部６２に格納されている任意の回答文データを取り出し、その中のタイトルを自然文検索部５４に渡して、自然文検索を実行させる（Ｓ５０）。その結果検索された元の回答文データが、自然文検索結果において所定順位以下（例えば、５位）になったか否かを判定する（Ｓ５２）。所定順位より上であれば（Ｓ５２のＮ）、自然文検索に問題がないと判断でき、このフローを終了する。所定順位以下であれば（Ｓ５２のＹ）、続いて回答文妥当性分析部１２４は、辞書格納部６６内の辞書情報に問題があるか否かを判定する（Ｓ５４）。辞書情報に問題があれば（Ｓ５４のＹ）、対応する辞書を修正することで自然文検索結果が上位になると考えられるため、改善方法決定部１１０は対策文データとして「辞書修正」を選択し（Ｓ５６）、このフローを終了する。辞書情報に問題がなければ（Ｓ５４のＮ）、自然文検索結果の順位が低いのは、回答文データにおけるタイトルと回答内容との対応がとれていないことが原因と考えられるため、改善方法決定部１１０は、対策文データとして「回答文データの修正」を選択し（Ｓ５８）、このフローを終了する。
【００７７】
このように、回答文妥当性分析部１２４によって、管理者は、回答文データにおけるタイトルと回答内容との対応関係を適切なものに改善することができる。また、管理者は、自然文検索の精度を把握することも可能である。
【００７８】
４．アンケート分析
アンケート分析部１２６は、ユーザが回答文データを参照した後に回答するアンケート情報を参照して、ユーザの満足度の低い回答文データを特定する。
【００７９】
図１６は、アンケート分析のフローチャートである。まず、ユーザ動向数値化部１０４は、上述の手順により満足度スコアを算出する（Ｓ６０）。そして、満足度スコアが所定値以下であるか否かを判定する（Ｓ６２）。所定値を上回る場合は（Ｓ６２のＮ）、このフローを終了する。所定値以下の場合は（Ｓ６２のＹ）、回答文データの記述が不十分であると考えられるため、改善方法決定部１１０は対策文データとして「回答文データ修正」を選択し（Ｓ６４）、このフローを終了する。
【００８０】
このように、アンケート分析部１２６によって、管理者はユーザによるアンケート結果が好ましくない回答文データについて改善を行うことが可能となる。
【００８１】
アンケート分析部１２６は、アンケート結果を一覧表示することもできる。この画面の例を図１７に示す。図示するように、回答文データのタイトルを満足度スコアの低い順に表示し、それぞれについて、スコア平均点、不満足数、参照数、アンケート回答数、アンケート回答率などが表示される。管理者は、この画面を見て満足度の低い回答文データを特定して、分析実行の指示を出すことも可能である。
【００８２】
また、各項目の値のみならず、満足度スコアの低い順にグラフ表示することで改善対象となる回答文データを管理者に視覚的に知らせることも可能である。これにより管理者は、具体的な改善方法を容易に想定することができる。
【００８３】
５．カテゴリ絞り込み有り自然文検索分析
カテゴリ絞り込み有り自然文検索分析部１２８は、ユーザがカテゴリを選択後に自然文検索を実行したときに、カテゴリによる絞り込みが自然文検索の結果に影響を与えているか否かを分析する。
【００８４】
図１８は、カテゴリ絞り込みあり自然文検索分析のフローチャートである。まず、応対履歴記録部７０に記憶されている応対履歴から、カテゴリ絞り込み後に自然文検索を実行している履歴を抽出する（Ｓ７０）。そして、その応対履歴において、ヒット数が０件のものが存在するか否かを判定する（Ｓ７２）。存在しない場合（Ｓ７２のＮ）、このフローを終了する。存在する場合（Ｓ７２のＹ）、続いて、カテゴリ絞り込みなしで同様の自然文検索を実行したときに、依然としてヒット数が０件であるか否かを判定する（Ｓ７４）。ヒット数が０件の場合（Ｓ７４のＹ）、カテゴリにかかわらず、単にユーザの入力した質問に対する回答文データが準備されていないと判断されるので、改善方法決定部１１０は対策文データとして「回答文データの追加」を選択し（Ｓ７６）、このフローを終了する。ヒット数が１件以上あった場合（Ｓ７４のＮ）、カテゴリによって自然文検索の結果に影響を与えていると判断されるので、改善方法決定部１１０は対策文データとして「カテゴリの改善」を選択し（Ｓ７８）、このフローを終了する。
【００８５】
このように、カテゴリ絞り込みあり自然文検索分析部１２８によって、管理者はカテゴリの構成を改善して自然文検索を阻害しないようにすることが可能になる。
【００８６】
６．カテゴリ関連度分析
カテゴリ関連度分析部１３０は、カテゴリと回答文データとが適切に関連付けられているかを分析する。
【００８７】
図１９は、カテゴリ関連度分析のフローチャートである。回答文数値化部１０６は、カテゴリ格納部６８に記憶されているカテゴリ情報を参照して、各カテゴリに関連付けられている回答文データ数をカウントする（Ｓ８０）。カテゴリ関連度分析部１３０は、カウント数が０件であるカテゴリがあるか否かを判定する（Ｓ８２）。カウント数が０件である場合（Ｓ８２のＹ）、そのカテゴリに関連付けられる回答文データが準備されていないと判断されるので、改善方法決定部１１０は対策文データとして「回答文データの追加」を選択し（Ｓ８４）、このフローを終了する。
【００８８】
カテゴリ関連度分析部１３０は、関連付けられる回答文データ数の少ない順にカテゴリを表示することもできる。これによって管理者は、カテゴリと回答文データの関連付けを修正したり、回答文データを追加したり、またはカテゴリを削除したりなどの改善方法を発見することが可能となる。
【００８９】
以上説明したように、本実施形態では、回答文データおよびカテゴリの問題点を数値化したことによって、様々な問題点を自動的に抽出することができる。また、上述の各分析部１２０〜１３０によって、回答文データやカテゴリに対しての改善方法を対策文データとして具体的に提示することができる。問題点の数値化に際しては、管理者の主観が入り込むことがないので、問題点の抽出を高精度に実施することができ、ひいては提示される改善方法の的確性が高まることになる。
【００９０】
図２０は、改善方法提示部１１２により管理者端末１６に表示される改善方法提示画面の一例を示す。画面２００の左側には、改善方法格納部１０８に記憶されている４種類の改善方法２０２が文字により表示される。画面の右側には、各分析部１２０〜１３０による自動分析の結果、４種類の対策文データ２０４毎に分別された具体的な対応策２０６が表示される。例えば、図１２のＳ２６により、ある回答文データの修正をするように判断された場合は、画面２００に「回答文データの修正」が表示され、具体的な対応策として当該回答文データのタイトルが表示されることになる。また、画面２００中において各対策文データ２０４を選択することによって、そのデータについての詳細情報を参照できるように構成されている。
【００９１】
図２１は、図２０の画面内の「回答文データの追加」を選択したときに管理者端末１６に表示される詳細画面の一例を示す。画面２１０には、追加すべき回答文データのタイトル候補２１２とその根拠を説明する文章２１４が表示される。なお、この文章２１４による説明は、改善方法格納部１０８に定型文を記憶しておき、検索の回数やヒット数などに上述のフローチャートにおいて判定した数を埋め込むようにすれば作成することができる。また、画面中の「分析結果」２１６を選択することで、詳細なデータやスコアを別画面において確認することができる。また、「対応状況」の欄２１８では、対応済みか保留かをユーザが選択することができ、対応状況を個別に管理することもできる。
【００９２】
このように、分析結果であるスコアやデータを単に表示するのではなく、まず最初に改善方法に関連付けた具体的な対策を提示するようにしたので、管理者は実施すべき対策を速やかに把握することができる。
【００９３】
以上説明したように、本発明はＦＡＱシステムの問題点の抽出から改善方法の提示までを実行する。これに対し、従来のＦＡＱシステムの分析ツールには統計情報を表示する機能しか備わっておらず、統計処理や問題点の抽出、改善方法の決定などは管理者任せであった。
本発明では、管理者が膨大な統計情報を処理したり多様な分析ツールを用いることなく、ＦＡＱシステム側で問題点の抽出と改善方法の提示を実行するため、管理者の負担が大きく低減するとともに、管理者のスキルに依存しないＦＡＱシステムの改善が可能になる。また、これによって作業時間が短縮されるため、従来よりも高頻度にＦＡＱシステムの回答文データを更新することが可能になり、結果的にＦＡＱシステムのユーザの満足度を向上させることにもつながる。
【００９４】
また、本発明で分析対象とするデータは、ＦＡＱシステムを利用したユーザの操作履歴情報であるため、ユーザにより質問文やアンケートが入力されない場合でも一定のデータを取得することができ、これを元にユーザの意図を類推することができる。
【００９５】
さらに、回答文データやカテゴリの追加、修正が適切でなかった場合でも、それらに対するユーザの評価を比較的早期に応対履歴から抽出することができるため、不適切な修正が放置されることが少なくなる。
【００９６】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【図面の簡単な説明】
【００９７】
【図１】本発明の一実施形態に係るＦＡＱシステムの全体構成を示す図である。
【図２】ＦＡＱサーバおよび分析サーバの構成を示す機能ブロック図である。
【図３】応対履歴の一例を示す図である。
【図４】図３の応対履歴をユーザ毎の操作に分別した様子を示す図である。
【図５】図４のユーザ毎の操作からユーザ動向スコアを算出する様子を示す図である。
【図６】参照率スコアの算出を説明するグラフである。
【図７】満足度スコアを算出するためのグラフである。
【図８】満足度スコアの算出を説明するグラフである。
【図９】満足度スコアを算出するためのグラフである。
【図１０】ＦＡＱサーバまたは分析サーバのハードウエアコンポーネントを示す図である。
【図１１】改善方法決定部の詳細な機能ブロック図である。
【図１２】自然文検索分析のフローチャートである。
【図１３】自然文検索分析の分析結果画面の一例を示す図である。
【図１４】カテゴリ検索分析のフローチャートである。
【図１５】回答文妥当性分析のフローチャートである。
【図１６】アンケート分析のフローチャートである。
【図１７】アンケート分析の分析結果画面の一例を示す図である。
【図１８】カテゴリ絞り込み有り自然文検索分析のフローチャートである。
【図１９】カテゴリ関連度分析のフローチャートである。
【図２０】改善方法提示画面の一例を示す図である。
【図２１】改善方法の詳細画面の一例を示す図である。
【符号の説明】
【００９８】
１０ ＦＡＱシステム、 １２ ユーザ端末、 １４ ネットワーク、 １６ 管理者端末、 ２２ 送受信部、 ４８ 回答文提示部、 ５０ アンケート受付部、 ５２ 検索部、 ６２ 回答文格納部、 ６８ カテゴリ格納部、 ７０ 応対履歴記録部、 １０２ 問題点抽出部、 １０４ ユーザ動向数値化部、 １０６ 回答文数値化部、 １０８ 改善方法格納部、 １１０ 改善方法決定部、 １１２ 改善方法提示部。
【技術分野】
【０００１】
この発明は、情報検索装置および情報検索サイトの改善方法提示装置に関する。より具体的には、ＦＡＱ（Frequently Asked Question）サイトなどの情報検索サイトの問題点を自動的に分析する技術に関する。
【背景技術】
【０００２】
ユーザからの様々な問い合わせを迅速に解決し、また回答する側の人的負担を軽減するために、ＦＡＱサイトをインターネット上で提供する企業が増大している。このようなＦＡＱサイトは、利用者が質問事項を入力して検索するか、または階層的なカテゴリ構造をたどることにより、ユーザが自らの質問事項の回答を得られるように構成されている。ＦＡＱサイトは企業の顧客対応品質を向上させるためにもその重要度が増している。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ＦＡＱサイトの中には、ユーザが求める回答にたどり着くまでに長時間を要したり見当違いの回答しか得られないなど、ユーザの要望に十分応えていないものも存在する。ＦＡＱサイトをこのような状態で放置しておくことは、顧客対応品質の低下やオペレータの増員によるコスト上昇につながり、企業にとって好ましくない。しかしながら、従来では、ＦＡＱサイトの改善やメンテナンスはサイト管理者の判断に任されており、改善やメンテナンスなどの作業を高頻度で実行することが困難であった。また、このような作業には統計処理や分析の能力が必要であり、管理者のスキルによってＦＡＱサイトの改善へのフィードバックの度合いに差が生じることがあった。
【０００４】
本発明者は以上の認識に基づき本発明をなしたもので、その目的は、情報検索サイトの問題点を分析し改善方法を自動的に提示する技術を提供することにある。
【課題を解決するための手段】
【０００５】
本発明のある態様は、ユーザの質問事項に対して予め準備されている回答文からいずれかの回答文を抽出してユーザに提示する情報検索サイトをネットワーク上で提供する情報検索装置に関する。この装置は、ユーザ端末に表示させる回答文データを記憶する回答文格納部と、ユーザ端末における質問入力操作内容を示す操作情報を受信する受信部と、受信された操作情報を所定の基準にしたがって処理することによって、回答文格納部から質問に対応するひとつまたは複数の回答文データを選択する検索部と、操作情報と検索部による選択結果とを応対履歴として記録する応対履歴記録部と、記録された複数の応対履歴の間の関連性を基準として、ユーザ端末に表示される回答文データの的確性の度合いを表す的確性データを作成する問題点抽出部と、情報検索サイトの改善方法が記述された複数の対策文データを記憶する改善方法格納部と、問題点抽出部により作成された的確性データと所定の基準データとを比較して、改善方法格納部からひとつまたは複数の対策文データを選択する改善方法決定部と、選択された対策文データを管理者端末に表示させる改善方法提示部と、を備える。
【０００６】
この態様によれば、ユーザ端末における操作内容とそれに対応する回答文の検索結果とを応対履歴として記録し、この応対履歴から作成された的確性データを用いて改善方法を決定することによって、人手を介することなく情報検索サイトの改善方法を自動的に提示することができる。
【０００７】
問題点抽出部は、応対履歴における所定の事象の発生回数を使用して所定のテーブルを参照することによって、情報検索サイト内でのユーザの動向を数値化したユーザ動向スコアを算出するユーザ動向数値化部をさらに備え、改善方法決定部は、ユーザ動向スコアと所定の基準値とを比較し、その比較結果に応じて対策文データを選択するようにしてもよい。
【０００８】
このように、応対履歴に基づいてユーザ動向スコアを算出し、これを使用して対策文データを選択するようにしたので、対策文データを選択するに際して管理者の主観を排除することができるため、管理者のスキルによらず情報検索サイトの改善を一定の品質で実行することが可能になる。
【０００９】
応対履歴記録部は、情報検索サイトに接続したユーザ端末を識別し、ユーザ端末毎に異なる識別符号と関連付けて応対履歴を記録し、ユーザ動向数値化部は識別符号を参照して応対履歴をユーザ端末毎に区別し、ユーザ端末毎にユーザ動向スコアを算出するようにしてもよい。このように、応対履歴をユーザ端末毎に記録するようにしたので、情報検索サイト内での個々のユーザの動向を数値化することが可能となる。
【００１０】
改善方法提示部は、改善の対象となる回答文データを対応する対策文データ毎に集約して該対策文データとともに管理者端末の画面に表示させてもよい。分析結果を提示する代わりに、管理者が取るべき改善方法を記述した対策文データを直接表示するようにしたので、管理者は情報検索サイトの改善を直ちに実行することが可能になる。
【００１１】
なお、情報検索装置は、単体のＰＣで構成してもよいし、互いにネットワークで接続されたサーバおよびユーザ端末を組み合わせたシステムの形で構成してもよい。
【００１２】
本発明の別の態様は、情報検索装置によりネットワーク上に提供され、ユーザの質問事項に対して予め準備されている回答文からいずれかの回答文を抽出してユーザに提示する情報検索サイトの改善方法を管理者に提示する改善方法提示装置に関する。この装置は、ユーザ端末における質問入力操作内容を示す操作情報とユーザに提示された回答文データとを記録した応対履歴を使用して、応対履歴の間の関連性を基準として、情報検索サイトでユーザに提示される回答文の的確性の度合いを表す的確性データを作成する問題点抽出部と、情報検索サイトの改善方法が記述された複数の対策文データを記憶する改善方法格納部と、問題点抽出部により作成された的確性データと所定の基準データとを比較して、改善方法格納部から質問に対応するひとつまたは複数の対策文データを選択する改善方法決定部と、選択された対策文データを管理者端末に表示させる改善方法提示部と、を備えることを特徴とする。
【００１３】
なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１４】
本発明によれば、情報検索サイトにおけるユーザの利用履歴を自動的に分析することによって、情報検索サイトの改善方法を提示することができる。
【発明を実施するための最良の形態】
【００１５】
本発明は、従来は管理者に依存していたＦＡＱシステムなどの情報検索システムにおけるユーザの利用履歴のデータ分析を自動化し、具体的な改善方法を提示する技術に関する。以下では、本発明の一実施形態に係るＦＡＱシステムの構成を初めに説明し、続いて具体的な機能について説明する。
【００１６】
図１は、本発明の一実施形態に係るＦＡＱシステム１０の全体構成を示す。ＦＡＱサーバ１８は、ネットワーク１４を介して複数のユーザ端末１２と接続される。ＦＡＱサーバ１８はウェブサーバとしての機能を有しており、ウェブページを介してユーザから質問を受け付け、保持している回答文データの中からそれに類似するものを検索し、その質問に対する回答文をユーザに提示する。ＦＡＱサーバ１８が提供するウェブページ（「ＦＡＱサイト」ともいう）において、ユーザは自然文による質問を入力して検索を実行することができる。また、このウェブページにおいて階層的に表示されるカテゴリを順次選択することによって、ユーザは所望の回答文に到達することもできる。いずれの場合も、ユーザ端末１２がその操作情報をＦＡＱサーバ１８へ送信する。
【００１７】
ＦＡＱサーバ１８には分析サーバ２０が接続されている。分析サーバ２０は、ＦＡＱサーバ１８による回答文データ提示の的確性を自動的に分析し、ＦＡＱサーバ１８の改善方法を決定する。決定された改善方法についての情報は、ネットワーク１４を介して、ＦＡＱシステム１０の管理者端末１６に送信される。なお、ユーザ端末１２および管理者端末１６は、ＰＣなどの情報処理装置である。また、ネットワーク１４は、例えば、インターネットや、企業内で敷設されるＬＡＮ（Local Area Network）などである。
【００１８】
図２は、ＦＡＱサーバ１８および分析サーバ２０の構成を示す機能ブロック図である。ＦＡＱサーバ１８は、ユーザ端末１２および管理者端末１６との間でデータを送受信する送受信部２２と、種々の処理を実行する処理部３０と、ユーザ端末１２から操作または入力される質問に対する回答文データを検索する検索部５２と、検索対象となる複数の回答文データや検索処理に必要なデータなどを記憶する格納部６０と、を有する。
【００１９】
なお、ＦＡＱサーバ１８および分析サーバ２０は、ハードウエア的にはコンピュータのＣＰＵやメモリなどの構成で実現でき、ソフトウエア的にはファイル管理やファイル検索機能のあるプログラムなどによって実現できるが、本図ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できる。
【００２０】
送受信部２２は、ＦＡＱサーバ１８に対する各種処理の指示、検索条件の入力、検索結果の出力など、ＦＡＱサーバ１８とその外部との間でデータを入出力するインタフェイスである。ＦＡＱサーバ１８がスタンドアロンで実現される場合にはユーザと本装置を結ぶインタフェイスとなり、ＦＡＱサーバ１８がネットワークサーバとして実現される場合には本装置をクライアント端末とネットワークを介して接続させる通信インタフェイスとなる。
【００２１】
質問受付部３２は、ユーザからの質問を受け付ける。質問受付部３２は、ユーザが質問文を入力して送信するためのインタフェイスを備えたウェブページをユーザに提示し、ユーザが入力した情報をＣＧＩ（Common Gateway Interface）などの機能を利用して取得する。
【００２２】
処理部３０は、回答文格納部６２に記憶されている複数の回答文データを処理対象とし、それぞれから特徴的な文字列を複数抽出する。この複数の特徴的な文字列は、その回答文データの内容を端的に示したコンセプト（概念）を形成するものとし、このコンセプトを索引データとして索引格納部６４に記録する。処理部３０は、回答文データに含まれる文字列を言語解析する解析処理部３４と、その解析結果に基づいて索引データを生成する生成処理部４０と、を含む。処理部３０は、このほか、ウェブサーバを実現するための構成および機能を有しているが、これらについては既知の技術を利用する。
【００２３】
解析処理部３４は、前処理部３６と文字列抽出部３８を含む。前処理部３６は、言語解析に先だって前処理を行う。例えば、処理対象となる回答文データからファイル形式や文書形式を検出し、これに基づいてその回答文データをテキスト形式などの非定型な形式に変換して解析容易な状態を形成してもよい。このとき形態素解析、構文解析、意味解析などの技術を利用してもよい。
【００２４】
文字列抽出部３８は、処理対象の回答文データから複数の文字列を抽出する。後述する単語辞書に含まれる単語を抽出する形でもよいし、スペースやブランクで区切られた文字列を単語として認識してもよい。
【００２５】
生成処理部４０は、抽出された文字列の出現頻度を計数し、その出現頻度に基づいて索引データを生成する。生成処理部４０は、統計処理部４２と索引生成部４４を含む。統計処理部４２は、抽出された文字列のその回答文データにおける出現頻度を計数するとともに、回答文格納部６２が保持する複数の回答文データ全体にわたるその文字列の出現頻度を計数する。このとき文字列同士の類似性を考慮する。例えば、類義語、同義語、統制語として定義された相互に意味が近似する複数の単語間の相違を吸収して文字列の出現頻度を計数する。
【００２６】
索引生成部４４は、統計処理部４２によって計数された文字列の出現頻度に基づいて索引データを生成する。この索引データは、抽出された複数の文字列にそれぞれの出現頻度に応じた重み付けが付加された一覧として構成される。各文字列に対する重み付けは、処理対象の回答文データにおける出願頻度が高い文字列ほど重み付けを高くする一方で、回答文格納部６２が記憶する複数の回答文データ全体にわたって出現頻度が高い文字列に対しては重み付けを低くする。その結果、その回答文データに特有な文字列を統計的な手法で顕在化させることができる。なお、この索引データの生成は検索の前に予め実行しておいてもよいし、検索が行われるたびに生成されてもよい。
【００２７】
検索部５２は、ユーザから検索条件を受け取り、これに適合する回答文データを回答文格納部６２から抽出する。検索部５２は、自然文検索部５４とカテゴリ検索部５６とを含む。
【００２８】
自然文検索部５４は、図示しない条件設定部および類似度判断部を含む。条件設定部は、質問受付部３２を介してユーザ端末１２から質問文を取得する。この検索条件は、自然文によって記述された文章のかたちでもよいし、何らかの文字列を含んだファイルのかたちでもよい。その検索条件は解析処理部３４に送られて前述した索引データの生成過程と同様の処理対象となり、その検索条件のコンセプトが生成される。
【００２９】
類似度判断部は、解析処理部３４にて生成された質問文のコンセプトと索引格納部６４に索引データとして記録されたコンセプトとを比較することにより、質問文と回答文データの類似度を検出する。そして、回答文格納部６２の中からユーザの質問文に類似する回答文データを検索する。比較の際に、辞書格納部６６が保持する各種辞書に基づき、検索条件に含まれる文字列と関連する他の文字列を追加してその検索条件を補完してもよい。
【００３０】
ここで、質問文と索引データの比較にはベクトル空間モデルを利用する。すなわち、質問文のコンセプトと索引データのコンセプトをそれぞれ多次元空間上のベクトルとして表現し、これらを比較する。コンセプトにｎ個の文字列が含まれる場合はｎ次元のベクトル空間が形成され、各文字列の出現頻度に応じた重み付けが各成分に加えられる。こうして形成されるベクトル同士の近似度が質問文と回答文データの類似度となる。
【００３１】
回答文提示部４８は、検索により抽出された回答文データを回答文格納部６２から読み出して、類似度の高い順に回答文データの一覧を生成して、ウェブページとしてユーザに提示する。回答文提示部４８は、検索により抽出された複数の回答文データをユーザに提示するときに、ユーザの質問文との類似度の順に回答文データを提示してもよい。類似度の高い順に回答文データを提示することで、ユーザが質問したい内容により近いものから順にユーザに提示することができる。
【００３２】
このウェブページ上には、それぞれの回答文に対するユーザの満足度を点数で入力するためのアンケート点数入力欄が設けられており、ユーザの満足度を取得することができる。また、回答文に対するユーザの自由なコメントを入力するためのアンケートコメント欄も設けられている。これらの情報は、ユーザ端末１２によりＦＡＱサーバ１８に送られる。
【００３３】
格納部６０は、回答文格納部６２、索引格納部６４、辞書格納部６６、カテゴリ格納部６８、応対履歴記録部７０を含む。回答文格納部６２は、複数の回答文データを保持する。回答文データは、例えばワードプロセッサなどの文書作成ソフトウエアによって生成された文書ファイル、ＨＴＭＬ（Hyper Text Markup Language）やＸＭＬ（eXtensible Markup Language）などの記述言語を用いて生成されたファイルなど、多様な形式で作成可能である。また、回答文データ自体は、検索を前提とした分類および定型化が予めなされることを必要としない。
【００３４】
回答文データには、ユーザからの質問内容を予想して予め用意された質問文をタイトルとして、その質問文に対する回答内容が記述されている。タイトルの例としては、「電源が入らない」「電源を入れても動作しない」などである。回答内容の例としては、「電源ケーブルが接続されているか確認してください」などである。なお回答内容は、ひとつのタイトルに対して複数記述されていてもよい。回答文データは、基本情報として、ＩＤ、作成日、更新日、作成者、更新者、公開期限などのデータ項目を含んでいてもよい。
【００３５】
索引格納部６４は、生成処理部４０によって生成された索引データを回答文データと対応付けて記憶する。辞書格納部６６は、単語辞書、類義語辞書、同義語辞書、統制語辞書など、解析処理部３４および生成処理部４０による言語解析や統計処理において参照されるデータを保持する。
【００３６】
カテゴリ格納部６８は、回答文データを予め分類されたカテゴリに関連付けて表示するためのカテゴリ情報を記録する。ユーザは、自然文検索の代わりに、ウェブページに表示されるカテゴリを選択していくことによって、所望の回答文に到達することもできる。この場合、カテゴリ検索部５６は、カテゴリ格納部６８に保持されているカテゴリ情報を参照して、回答文データをユーザ端末に表示させる。
【００３７】
ユーザ操作内容取得部４６は、ユーザ端末１２における各操作情報を取得する。ユーザ端末から質問文が入力されるか、またはカテゴリ選択により回答文データが抽出されたときは、その情報を取得する。またユーザ操作内容取得部４６は、ユーザ端末１２に表示された回答文データが参照されることにより生じる操作情報も取得する。さらに、ユーザ操作内容取得部４６は、ＦＡＱサーバ１８に接続したユーザ端末１２を識別し、それぞれ別の識別符号を与える。各ユーザ端末１２から取得した情報は、それぞれの識別符号と関連付けて、応対履歴記録部７０に応対履歴として順次記録される。
【００３８】
アンケート受付部５０は、ウェブページに表示された回答文データについてユーザ端末１２から入力されるアンケート点数とアンケートコメントを受信する。受信したアンケート点数とアンケートコメントは、ユーザ端末の識別符号と関連付けて、応対履歴記録部７０に記録される。
【００３９】
応対履歴記録部７０は、リレーショナルデータベースとして構成することができる。応対履歴には、上述したものを含め、ユーザＩＤ、セッション日時、操作種類、操作内容、ＩＰアドレス、回答文データのＩＤ、検索条件式、検索結果、アンケート点数などが含まれる。
【００４０】
ここで、ＦＡＱサーバ１８による質問の自然文検索の過程をまとめる。まず、検索条件となる文章をユーザが自然文の形で指定すると、解析処理部３４がその検索条件から文字列を抽出して索引データを生成する。自然文検索部５４は、その索引データと索引生成部４４が保持する複数の索引データを照合してそれぞれの類似度を判断する。回答文提示部４８は、その類似度の順に回答文データの一覧を生成し、これを検索結果としてユーザ端末１２の画面に表示させる。
【００４１】
図３は、応対履歴記録部７０に記録される応対履歴の一例を示す。図示するように、ユーザＩＤ、セッション日時、操作種類、操作内容が時系列で記録される。操作種類としては、検索の他、回答文データの参照やアンケート回答なども記録される。また、操作内容には、検索の際にユーザが入力した文章（「印刷できない」「保存エラー」など）と、対応する検索結果（「１３件」など）も記録される。回答文データが参照された場合には、そのＩＤも記録される。このように、応対履歴記録部７０には、セッションの開始後、ユーザがウェブページにおいて行った操作内容を逐一記憶している。したがって、この応対履歴を用いて様々な統計処理を実行することができる。
【００４２】
図４は、図３に示した応対履歴をユーザＩＤにより分別した様子を示す。このように、ユーザＩＤを応対履歴に関連付けて記録しているため、ユーザ単位で操作をたどることが可能となる。
【００４３】
図５は、図３の応対履歴において発生した事象をカウントし、その結果に基づいて、ユーザの動向をスコア化する様子を示す。このスコア化の詳細については後述する。このように、ユーザの操作の流れをスコア化することによって、ユーザの満足度を高精度で抽出することが可能になる。
【００４４】
図２に戻り、分析サーバ２０の各機能ブロックについて説明する。分析サーバ２０は、問題点抽出部１０２と、改善方法格納部１０８と、改善方法決定部１１０と、改善方法提示部１１２と、を含む。
【００４５】
問題点抽出部１０２は、応対履歴記録部７０に記録された複数の応対履歴の間の関連性を基準として、ユーザ端末１２に提示される回答文データの的確性の度合いを表す的確性データを作成する。
より具体的には、問題点抽出部１０２は、ユーザ動向数値化部１０４と、回答文数値化部１０６とを含む。ユーザ動向数値化部１０４は、応対履歴における所定の事象の発生回数を使用して所定のテーブルを参照することによって、ＦＡＱサイト内でのユーザの動向を数値化したユーザ動向スコアを算出する。ユーザ動向数値化部１０４は、識別符号を参照して応対履歴をユーザ端末毎に区別し、ユーザ端末毎にユーザ動向スコアを算出することもできる。回答文数値化部１０６は、カテゴリに関連付けられる回答文データ数を回答文スコアとして算出する。
【００４６】
ユーザ動向スコアとして、本実施形態では、参照率スコア、満足度スコアおよびヒット率を使用する。参照率スコアは、ユーザ端末１２に表示された回答文データのうちユーザにより参照された比率を示すスコアである。また、満足度スコアは、参照率、アンケート点数およびアンケート入力回数を使用して所定のテーブルを参照して、回答文データについてのユーザの満足の度合いを類推するためのスコアである。参照率スコアおよび満足度スコアの具体的な算出方法については後述する。ヒット率は、ユーザ端末からの操作情報の受信回数と、該操作情報に応答して検索部５２により選択された回答文データ数との割合を示すスコアである。
【００４７】
改善方法格納部１０８は、情報検索サイトの改善方法が記述された複数の対策文データを記憶する。この実施の形態では、改善方法格納部１０８は以下の４つの対策文データを記憶する。すなわち、第１の対策文データは「回答文データの追加」であり、改善方法として回答文データを追加して回答文格納部６２に記憶させることを管理者に推奨するものである。第２の対策文データは「回答文データの修正」であり、既に回答文格納部６２に記憶されている回答文データを修正することを管理者に推奨するものである。なお、この修正には、回答文データのタイトルを修正することと、回答内容を修正することと、回答内容のバリエーションを増やすことの全てが含まれる。
【００４８】
第３の対策文データは「辞書の修正」であり、辞書格納部６６に記憶されている登録語句を修正または追加することを管理者に推奨するものである。第４の対策文データは「カテゴリの改善」であり、カテゴリ格納部６８に記憶されているカテゴリの階層構造を修正するか、またはカテゴリと回答文データとの関連付けを修正することを管理者に推奨するものである。当然であるが、これら４つ以外の対策文データを記憶していてもよいし、４つのうちいずれかの対策文データが含まれていなくてもよい。例えば、「回答文データの修正」をさらに詳細に「回答文データのタイトル修正」「回答文データの内容修正」のように分けて対策文データを記憶してもよい。
【００４９】
改善方法決定部１１０は、問題点抽出部１０２により作成された的確性データと所定の基準データとを比較して、改善方法格納部１０８からひとつまたは複数の対策文データを選択する。より具体的には、改善方法決定部１１０は、ユーザ動向スコアおよび回答文スコアと所定の基準値とを比較し、その比較結果に応じて対策文データを選択する。この具体的な処理については、図１１以降を参照して詳細に説明する。
【００５０】
改善方法提示部１１２は、選択された対策文データを管理者端末１６に表示させる。このとき、改善方法提示部１１２は、改善の対象となる回答文データを対応する対策文データ毎に集約して該対策文データとともに管理者端末１６の画面に表示させる。
【００５１】
ここで、参照率スコアを算出する方法を説明する。
ユーザによる質問文検索の回数をＳ、検索回数の最大値をＳｍｘ、参照率をＲとする。そして、図６のグラフ上において、ある質問文の検索回数Ｓと参照率Ｒを表す点Ａ（Ｓ、Ｒ）を配置したとき、点Ｚ（Ｓｍｘ、０）から点Ａまでの距離を参照率スコアＲｓとして算出する。これは、点Ｚは、検索回数が最大であるが参照率が０である最悪のケースと考えられるため、点Ｚから距離が離れるほど、高スコアであると考えられるからである。なお、必要に応じて、検索回数Ｓおよび参照率Ｒに加重をかけて参照率スコアを算出してもよい。なお、上記スコア算出の過程において、当該ユーザの過去の操作履歴および今回の操作履歴をもとに、アンケート点数や回答文データの参照に至るまでの操作の重みを算出し加重することで、ユーザ個々の動向を加味した値を最終的なスコアとすることもできる。
【００５２】
次に、満足度スコアを算出する方法を説明する。
ある回答文データについて、ユーザにより参照された回数をＮ、参照回数の最大値をＮｍｘ、ユーザにより入力されるアンケート点数の平均点をＡ（−１００≦Ａ≦１００）、入力されたアンケート点数が０点であった回数をＺ、Ｚの最大値をＺｍｘ、アンケートのコメントがなされた回数をＣ、Ｃの最大値をＣｍｘと表記する。
【００５３】
まず、図７のグラフを参照して、アンケート０点回数Ｚに対応するスコアＳｚを算出する。算出されたＳｚに対して計算上必要な数値変換を施した値とアンケート平均点Ａを０以上１００以下となるよう変換した値とを掛け合わせて相関関係を求め、スコアＳｚａを算出する。
【００５４】
次に、図８に示すグラフ上において、ある回答文データに関する参照回数ＮとスコアＳｚａを表す点Ｂ（Ｎ、Ｓｚａ）を配置したとき、点Ｙ（Ｎｍｘ、０）から点Ｂ迄の距離をスコアＳｚａｒとして算出する。これは、点Ｙは、参照回数が最大であるが満足度Ｓｚａが０である最悪のケースと考えられるため、点Ｙから距離が離れるほど高スコアであると考えられるからである。なお、必要に応じて、参照回数ＮとスコアＳｚａに加重をかけてスコアＳｚａｒを算出してもよい。
【００５５】
さらに、図９に示すグラフ上において、アンケートコメント回数Ｃに対応するスコアＳｃを算出する。最後に、算出されたスコアＳｃに対して計算上必要な数値変換を施した値とＳｚａｒとを掛け合わせて相関関係を求め、最終的な満足度スコアＳｚｂとする。なお、上記スコア算出の過程において、当該ユーザの過去の操作履歴および今回の操作履歴をもとに、アンケート点数や回答文データの参照に至るまでの操作の重みを算出し加重することで、ユーザ個々の動向を加味した値を最終的なスコアとすることもできる。
【００５６】
図１０は、ＦＡＱサーバ１８または分析サーバ２０のハードウエアコンポーネントを示す。各サーバ１８、２０は、それぞれ、ＣＰＵ１４０、入力装置１４２、表示装置１４４、ＲＡＭ（ランダムアクセスメモリ）１５０、ハードディスク１５２、およびドライブ装置１４８を備える。これらの構成は、バス１４６などの信号伝送路により電気的に接続されている。
【００５７】
ハードディスク１５２は、大容量の磁気記憶装置であり、各種データベースなどを記憶する。記録媒体１５４は、実施の形態に関連して説明した各サーバの機能をＣＰＵ１４０に実現させるためのプログラムを記録する。記録媒体１５４がドライブ装置１４８に挿入されると、そのプログラムは、ＲＡＭ１５０またはハードディスク１５２に読み出され、ＣＰＵ１４０は、読み出されたプログラムにより処理を行う。この記録媒体１５４は、ＣＤ−ＲＯＭ、ＤＶＤ、ＦＤなどのコンピュータ読み取り可能な媒体である。
【００５８】
ここでは、プログラムが記録媒体１５４に記録されている例について説明したが、別の例においては、このプログラムは、無線、有線を問わず、外部のサーバから送信されてもよい。図１０に示したハードウエア構成において、プログラムは外部から供給される場合だけでなく、予めハードディスク１５２に格納されていてよいことも当業者には理解されるところである。
【００５９】
ところで、従来からＦＡＱシステムにおいては以下のような問題が存在することが知られている。第１に、ユーザが質問文を入力するか、またはカテゴリを選択したにもかかわらず、回答文が表示されない（「ヒットミス」ともいう）ことがあるという問題である。第２に、検索された回答文データがユーザ端末の画面に表示されたが、ユーザによりそれらが参照されないという問題である。第３に、ユーザが回答文を参照したものの、得られた情報に満足できないという問題である。一般に、これらの問題点を発見し、ＦＡＱシステムを改善したりメンテナンスを実行するには、管理者が各種統計データを参考にして、試行錯誤的に行うしかなかった。このため、高頻度でＦＡＱシステムの改善やメンテナンスを実行することが困難であり、また、管理者の能力によりＦＡＱサイトの改善へのフィードバックの度合いに差が生じることが多かった。
【００６０】
そこで、本実施形態では、ユーザの応対履歴を記録しそれらに基づいて分析結果を数値化することによって、上記問題点を自動的に抽出し、具体的な改善方法を管理者に提示できるようにしたのである。
【００６１】
上述したように、改善方法決定部１１０は、問題点抽出部１０２で抽出された各種スコアを使用して、回答文データの的確性に関する複数の分析処理を実行する。この分析処理によって、改善方法決定部１１０は、予め用意されている改善方法の中から適切なものを自動的に選択することができる。
【００６２】
図１１に示すように、本実施形態の改善方法決定部１１０は、問題点抽出部１０２により数値化されたスコアを利用した個別の分析処理を実行する６つの分析部１２０〜１３０を有する。各分析部は、分析の結果、適切な改善方法を決定し対応する対策文データを選択する。以下、それぞれフローチャートを参照して、各分析部における処理を説明する。
【００６３】
１．自然文検索分析
自然文検索分析部１２０は、ユーザから入力された質問文を用いて、カテゴリを絞り込まずに自然文検索を実行したときにユーザに提示される回答文の的確性を分析する。
【００６４】
図１２は、自然文検索分析のフローチャートである。まず、回答文数値化部１０６が、ユーザによる質問文の入力回数が多いものから順番に所定数（例えば、５つ）の質問文を抽出する（Ｓ１０）。これは、ユーザ入力の多い質問文を優先的に分析することで、ユーザのニーズに応じた回答文を充実させるためである。
【００６５】
自然文検索分析部１２０は、抽出された質問文で自然文検索を実行したときに検索される回答文の数（これを「ヒット数」という）を取得し、その中でヒット数が０件の質問文があるか否かを判定する（Ｓ１２）。ヒット数が０でなければ（Ｓ１２のＮ）、Ｓ１４をスキップしてＳ１６に進む。ヒット数が０であれば（Ｓ１２のＹ）、その質問文に対応する検索語句が辞書格納部６６に記憶されているか否かを判定する（Ｓ１４）。辞書格納部６６に記憶されていなければ（Ｓ１４のＮ）、辞書を修正すればヒット数が改善されると考えられるので、改善方法決定部１１０は対策文データとして「辞書修正」を選択し（Ｓ２４）、このフローを終了する。
【００６６】
辞書格納部６６に検索語句が記憶されていれば（Ｓ１４のＹ）、その質問文についての参照率スコアが所定値以下であるか否かを判定する（Ｓ１６）。参照率スコアが所定値より大きければ（Ｓ１６のＮ）、ユーザにより入力される質問文に対応する回答文データが十分に準備されていると判断できるので、このフローを終了する。参照率スコアが所定値以下であれば（Ｓ１６のＹ）、自然文検索分析部１２０は、抽出された質問文で自然文検索を実行したときのヒット数を取得し、ヒット数が所定の上限しきい値以上か否かを判定する（Ｓ１８）。ヒット数が上限しきい値以上である場合（Ｓ１８のＹ）、十分なヒット数があるのに参照率が低いことになり、これは回答文データ中のタイトルまたは回答内容が不適切であるため、ユーザにより参照されていないと判断できるため、改善方法決定部１１０は、対策文データとして「回答文データ修正」を選択し（Ｓ２６）、このフローを終了する。
【００６７】
ヒット数が上限しきい値未満である場合（Ｓ１８のＮ）、次に、自然文検索分析部１２０は、ヒット数が下限しきい値以下か否かを判定する（Ｓ２０）。ヒット数が下限しきい値より多い場合（Ｓ２０のＮ）、このフローを終了する。ヒット数が下限しきい値以下の場合（Ｓ２０のＹ）、参照率が低いのは十分なヒット数がないためと判断できるため、改善方法決定部１１０は対策文データとして「回答文データの追加」を選択し（Ｓ２２）、このフローを終了する。
【００６８】
このように、自然文検索分析部１２０によって自然文検索の的確性が検証され、抽出された問題点に応じて、「回答文データの追加」「回答文データの修正」および「辞書修正」のいずれかの対策文データを選択することができる。選択された対策文データは改善方法提示部１１２により管理者端末１６に表示されるので、管理者は、自然文検索の的確性を向上させるための改善方法を直ちに認識することができる。
【００６９】
自然文検索分析部１２０は、質問文毎のヒット数や参照率などを管理者端末１６に一覧表示させることもできる。この画面の例を図１３に示す。図示するように、検索数の多い質問文のうち上位５件が表示され、それぞれについて、検索数、ヒット数、参照数および参照率が表示される。管理者は、この画面を見て、ヒット数や参照率の低いものを特定して、分析実行の指示を出すことも可能である。
【００７０】
２．カテゴリ検索分析
カテゴリ検索分析部１２２は、ユーザの実行したカテゴリ検索についての応対履歴を参照して、カテゴリ検索を実行したときにユーザに提示される回答文の的確性を分析する。
【００７１】
図１４は、カテゴリ検索分析のフローチャートである。まず、問題点抽出部１０２は、応対履歴を参照して、カテゴリ検索回数、カテゴリに関連付けられる回答文データ数、カテゴリ絞り込み後の回答文データの参照率を導出する（Ｓ３０）。続いて、カテゴリ検索分析部１２２は、カテゴリに関連付けられる回答文データが０件であるカテゴリが存在するか否かを判定する（Ｓ３２）。そのようなカテゴリが存在する場合（Ｓ３２のＹ）、カテゴリ格納部６８におけるカテゴリの構成が不適切であるために、回答文データの表示されないカテゴリが生じていると判断できるため、改善方法決定部１１０は対策文データとして「カテゴリ改善」を選択し（Ｓ４０）、このフローを終了する。
【００７２】
回答文データが０件であるカテゴリが存在しない場合（Ｓ３２のＮ）、カテゴリ検索分析部１２２は、カテゴリ検索後にユーザによる回答文データの参照率スコアが所定値以下であるカテゴリがあるか否かを判定する（Ｓ３４）。そのようなカテゴリがなければ（Ｓ３４のＮ）、このフローを終了する。そのようなカテゴリがあれば（Ｓ３４のＹ）、続いて、そのカテゴリに関連付けられている回答文データの数が所定値未満であるか否かを判定する（Ｓ３６）。所定値未満であれば（Ｓ３６のＹ）、ユーザによる参照率が低いのは、カテゴリとともに表示される回答文データが少ないためと判断できるので、改善方法決定部１１０は、対策文データとして「回答文データを追加」を選択し（Ｓ４２）、このフローを終了する。これにしたがって、管理者がカテゴリに関連付けられる回答文データ数を増やす改善を実施すれば、カテゴリ検索の的確性が増加する。
【００７３】
Ｓ３６で、回答文データの数が所定値以上であれば（Ｓ３６のＮ）、ユーザによる参照率が低いのは、カテゴリとともに表示される回答文データの内容、特にタイトルの文言が不適切であるためと判断できるので、改善方法決定部１１０は対策文データとして「回答文データの修正」を選択し（Ｓ３８）、このフローを終了する。
【００７４】
従来は、カテゴリの体系が回答文データと有機的に連係できているか、つまり、カテゴリによる絞り込みが検索結果に影響を与えているか否かの分析は、管理者が試行錯誤的に実行する必要があった。しかし、本実施の形態によれば、カテゴリ検索分析部１２２によってカテゴリ検索の的確性が検証され、抽出された問題点に応じて、「カテゴリ改善」「回答文データの追加」および「回答文データの修正」のいずれかの対策文データを選択することができる。選択された対策文データは改善方法提示部１１２により管理者端末１６に表示されるので、管理者は、カテゴリ検索の的確性を向上させるための改善方法を直ちに認識することができる。
【００７５】
３．回答文妥当性分析
回答文妥当性分析部１２４は、回答文格納部６２に格納されている回答文データ内のタイトルを用いて自然文検索を実行したとき、元の回答文データがヒットするか否かを判定する。
【００７６】
図１５は、回答文妥当性分析のフローチャートである。回答文妥当性分析部１２４は、回答文格納部６２に格納されている任意の回答文データを取り出し、その中のタイトルを自然文検索部５４に渡して、自然文検索を実行させる（Ｓ５０）。その結果検索された元の回答文データが、自然文検索結果において所定順位以下（例えば、５位）になったか否かを判定する（Ｓ５２）。所定順位より上であれば（Ｓ５２のＮ）、自然文検索に問題がないと判断でき、このフローを終了する。所定順位以下であれば（Ｓ５２のＹ）、続いて回答文妥当性分析部１２４は、辞書格納部６６内の辞書情報に問題があるか否かを判定する（Ｓ５４）。辞書情報に問題があれば（Ｓ５４のＹ）、対応する辞書を修正することで自然文検索結果が上位になると考えられるため、改善方法決定部１１０は対策文データとして「辞書修正」を選択し（Ｓ５６）、このフローを終了する。辞書情報に問題がなければ（Ｓ５４のＮ）、自然文検索結果の順位が低いのは、回答文データにおけるタイトルと回答内容との対応がとれていないことが原因と考えられるため、改善方法決定部１１０は、対策文データとして「回答文データの修正」を選択し（Ｓ５８）、このフローを終了する。
【００７７】
このように、回答文妥当性分析部１２４によって、管理者は、回答文データにおけるタイトルと回答内容との対応関係を適切なものに改善することができる。また、管理者は、自然文検索の精度を把握することも可能である。
【００７８】
４．アンケート分析
アンケート分析部１２６は、ユーザが回答文データを参照した後に回答するアンケート情報を参照して、ユーザの満足度の低い回答文データを特定する。
【００７９】
図１６は、アンケート分析のフローチャートである。まず、ユーザ動向数値化部１０４は、上述の手順により満足度スコアを算出する（Ｓ６０）。そして、満足度スコアが所定値以下であるか否かを判定する（Ｓ６２）。所定値を上回る場合は（Ｓ６２のＮ）、このフローを終了する。所定値以下の場合は（Ｓ６２のＹ）、回答文データの記述が不十分であると考えられるため、改善方法決定部１１０は対策文データとして「回答文データ修正」を選択し（Ｓ６４）、このフローを終了する。
【００８０】
このように、アンケート分析部１２６によって、管理者はユーザによるアンケート結果が好ましくない回答文データについて改善を行うことが可能となる。
【００８１】
アンケート分析部１２６は、アンケート結果を一覧表示することもできる。この画面の例を図１７に示す。図示するように、回答文データのタイトルを満足度スコアの低い順に表示し、それぞれについて、スコア平均点、不満足数、参照数、アンケート回答数、アンケート回答率などが表示される。管理者は、この画面を見て満足度の低い回答文データを特定して、分析実行の指示を出すことも可能である。
【００８２】
また、各項目の値のみならず、満足度スコアの低い順にグラフ表示することで改善対象となる回答文データを管理者に視覚的に知らせることも可能である。これにより管理者は、具体的な改善方法を容易に想定することができる。
【００８３】
５．カテゴリ絞り込み有り自然文検索分析
カテゴリ絞り込み有り自然文検索分析部１２８は、ユーザがカテゴリを選択後に自然文検索を実行したときに、カテゴリによる絞り込みが自然文検索の結果に影響を与えているか否かを分析する。
【００８４】
図１８は、カテゴリ絞り込みあり自然文検索分析のフローチャートである。まず、応対履歴記録部７０に記憶されている応対履歴から、カテゴリ絞り込み後に自然文検索を実行している履歴を抽出する（Ｓ７０）。そして、その応対履歴において、ヒット数が０件のものが存在するか否かを判定する（Ｓ７２）。存在しない場合（Ｓ７２のＮ）、このフローを終了する。存在する場合（Ｓ７２のＹ）、続いて、カテゴリ絞り込みなしで同様の自然文検索を実行したときに、依然としてヒット数が０件であるか否かを判定する（Ｓ７４）。ヒット数が０件の場合（Ｓ７４のＹ）、カテゴリにかかわらず、単にユーザの入力した質問に対する回答文データが準備されていないと判断されるので、改善方法決定部１１０は対策文データとして「回答文データの追加」を選択し（Ｓ７６）、このフローを終了する。ヒット数が１件以上あった場合（Ｓ７４のＮ）、カテゴリによって自然文検索の結果に影響を与えていると判断されるので、改善方法決定部１１０は対策文データとして「カテゴリの改善」を選択し（Ｓ７８）、このフローを終了する。
【００８５】
このように、カテゴリ絞り込みあり自然文検索分析部１２８によって、管理者はカテゴリの構成を改善して自然文検索を阻害しないようにすることが可能になる。
【００８６】
６．カテゴリ関連度分析
カテゴリ関連度分析部１３０は、カテゴリと回答文データとが適切に関連付けられているかを分析する。
【００８７】
図１９は、カテゴリ関連度分析のフローチャートである。回答文数値化部１０６は、カテゴリ格納部６８に記憶されているカテゴリ情報を参照して、各カテゴリに関連付けられている回答文データ数をカウントする（Ｓ８０）。カテゴリ関連度分析部１３０は、カウント数が０件であるカテゴリがあるか否かを判定する（Ｓ８２）。カウント数が０件である場合（Ｓ８２のＹ）、そのカテゴリに関連付けられる回答文データが準備されていないと判断されるので、改善方法決定部１１０は対策文データとして「回答文データの追加」を選択し（Ｓ８４）、このフローを終了する。
【００８８】
カテゴリ関連度分析部１３０は、関連付けられる回答文データ数の少ない順にカテゴリを表示することもできる。これによって管理者は、カテゴリと回答文データの関連付けを修正したり、回答文データを追加したり、またはカテゴリを削除したりなどの改善方法を発見することが可能となる。
【００８９】
以上説明したように、本実施形態では、回答文データおよびカテゴリの問題点を数値化したことによって、様々な問題点を自動的に抽出することができる。また、上述の各分析部１２０〜１３０によって、回答文データやカテゴリに対しての改善方法を対策文データとして具体的に提示することができる。問題点の数値化に際しては、管理者の主観が入り込むことがないので、問題点の抽出を高精度に実施することができ、ひいては提示される改善方法の的確性が高まることになる。
【００９０】
図２０は、改善方法提示部１１２により管理者端末１６に表示される改善方法提示画面の一例を示す。画面２００の左側には、改善方法格納部１０８に記憶されている４種類の改善方法２０２が文字により表示される。画面の右側には、各分析部１２０〜１３０による自動分析の結果、４種類の対策文データ２０４毎に分別された具体的な対応策２０６が表示される。例えば、図１２のＳ２６により、ある回答文データの修正をするように判断された場合は、画面２００に「回答文データの修正」が表示され、具体的な対応策として当該回答文データのタイトルが表示されることになる。また、画面２００中において各対策文データ２０４を選択することによって、そのデータについての詳細情報を参照できるように構成されている。
【００９１】
図２１は、図２０の画面内の「回答文データの追加」を選択したときに管理者端末１６に表示される詳細画面の一例を示す。画面２１０には、追加すべき回答文データのタイトル候補２１２とその根拠を説明する文章２１４が表示される。なお、この文章２１４による説明は、改善方法格納部１０８に定型文を記憶しておき、検索の回数やヒット数などに上述のフローチャートにおいて判定した数を埋め込むようにすれば作成することができる。また、画面中の「分析結果」２１６を選択することで、詳細なデータやスコアを別画面において確認することができる。また、「対応状況」の欄２１８では、対応済みか保留かをユーザが選択することができ、対応状況を個別に管理することもできる。
【００９２】
このように、分析結果であるスコアやデータを単に表示するのではなく、まず最初に改善方法に関連付けた具体的な対策を提示するようにしたので、管理者は実施すべき対策を速やかに把握することができる。
【００９３】
以上説明したように、本発明はＦＡＱシステムの問題点の抽出から改善方法の提示までを実行する。これに対し、従来のＦＡＱシステムの分析ツールには統計情報を表示する機能しか備わっておらず、統計処理や問題点の抽出、改善方法の決定などは管理者任せであった。
本発明では、管理者が膨大な統計情報を処理したり多様な分析ツールを用いることなく、ＦＡＱシステム側で問題点の抽出と改善方法の提示を実行するため、管理者の負担が大きく低減するとともに、管理者のスキルに依存しないＦＡＱシステムの改善が可能になる。また、これによって作業時間が短縮されるため、従来よりも高頻度にＦＡＱシステムの回答文データを更新することが可能になり、結果的にＦＡＱシステムのユーザの満足度を向上させることにもつながる。
【００９４】
また、本発明で分析対象とするデータは、ＦＡＱシステムを利用したユーザの操作履歴情報であるため、ユーザにより質問文やアンケートが入力されない場合でも一定のデータを取得することができ、これを元にユーザの意図を類推することができる。
【００９５】
さらに、回答文データやカテゴリの追加、修正が適切でなかった場合でも、それらに対するユーザの評価を比較的早期に応対履歴から抽出することができるため、不適切な修正が放置されることが少なくなる。
【００９６】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【図面の簡単な説明】
【００９７】
【図１】本発明の一実施形態に係るＦＡＱシステムの全体構成を示す図である。
【図２】ＦＡＱサーバおよび分析サーバの構成を示す機能ブロック図である。
【図３】応対履歴の一例を示す図である。
【図４】図３の応対履歴をユーザ毎の操作に分別した様子を示す図である。
【図５】図４のユーザ毎の操作からユーザ動向スコアを算出する様子を示す図である。
【図６】参照率スコアの算出を説明するグラフである。
【図７】満足度スコアを算出するためのグラフである。
【図８】満足度スコアの算出を説明するグラフである。
【図９】満足度スコアを算出するためのグラフである。
【図１０】ＦＡＱサーバまたは分析サーバのハードウエアコンポーネントを示す図である。
【図１１】改善方法決定部の詳細な機能ブロック図である。
【図１２】自然文検索分析のフローチャートである。
【図１３】自然文検索分析の分析結果画面の一例を示す図である。
【図１４】カテゴリ検索分析のフローチャートである。
【図１５】回答文妥当性分析のフローチャートである。
【図１６】アンケート分析のフローチャートである。
【図１７】アンケート分析の分析結果画面の一例を示す図である。
【図１８】カテゴリ絞り込み有り自然文検索分析のフローチャートである。
【図１９】カテゴリ関連度分析のフローチャートである。
【図２０】改善方法提示画面の一例を示す図である。
【図２１】改善方法の詳細画面の一例を示す図である。
【符号の説明】
【００９８】
１０ ＦＡＱシステム、 １２ ユーザ端末、 １４ ネットワーク、 １６ 管理者端末、 ２２ 送受信部、 ４８ 回答文提示部、 ５０ アンケート受付部、 ５２ 検索部、 ６２ 回答文格納部、 ６８ カテゴリ格納部、 ７０ 応対履歴記録部、 １０２ 問題点抽出部、 １０４ ユーザ動向数値化部、 １０６ 回答文数値化部、 １０８ 改善方法格納部、 １１０ 改善方法決定部、 １１２ 改善方法提示部。
【特許請求の範囲】
【請求項１】
ユーザの質問事項に対して予め準備されている回答文からいずれかの回答文を抽出してユーザに提示する情報検索サイトをネットワーク上で提供する情報検索装置において、
ユーザ端末に表示させる回答文データを記憶する回答文格納部と、
ユーザ端末における質問入力操作内容を示す操作情報を受信する受信部と、
受信された操作情報を所定の基準にしたがって処理することによって、前記回答文格納部から質問に対応するひとつまたは複数の回答文データを選択する検索部と、
前記操作情報と前記検索部による選択結果とを応対履歴として記録する応対履歴記録部と、
記録された複数の応対履歴の間の関連性を基準として、前記ユーザ端末に表示される回答文データの的確性の度合いを表す的確性データを作成する問題点抽出部と、
前記情報検索サイトの改善方法が記述された複数の対策文データを記憶する改善方法格納部と、
前記問題点抽出部により作成された的確性データと所定の基準データとを比較して、前記改善方法格納部からひとつまたは複数の対策文データを選択する改善方法決定部と、
選択された対策文データを管理者端末に表示させる改善方法提示部と、
を備えることを特徴とする情報検索装置。
【請求項２】
前記問題点抽出部は、前記応対履歴における所定の事象の発生回数を使用して所定のテーブルを参照することによって、前記情報検索サイト内でのユーザの動向を数値化したユーザ動向スコアを算出するユーザ動向数値化部をさらに備え、
前記改善方法決定部は、前記ユーザ動向スコアと所定の基準値とを比較し、その比較結果に応じて前記対策文データを選択することを特徴とする請求項１に記載の情報検索装置。
【請求項３】
前記応対履歴記録部は、前記情報検索サイトに接続したユーザ端末を識別し、ユーザ端末毎に異なる識別符号と関連付けて前記応対履歴を記録し、
前記ユーザ動向数値化部は、前記識別符号を参照して前記応対履歴をユーザ端末毎に区別し、ユーザ端末毎に前記ユーザ動向スコアを算出することを特徴とする請求項２に記載の情報検索装置。
【請求項４】
前記検索部により選択された回答文データをユーザ端末の画面に一覧表示させる回答文提示部をさらに備え、
前記応対履歴記録部は、一覧表示された回答文データがユーザ端末により参照されることにより生じる操作情報を前記応対履歴として記録し、
前記ユーザ動向数値化部は、前記応対履歴を使用して、一覧表示された回答文データがユーザ端末により参照された比率を示す参照率を回答文データ毎に算出し、
前記改善方法決定部は、算出された参照率と所定値とを比較し、その比較結果に応じて前記改善方法格納部から前記対策文データを選択することを特徴とする請求項２または３に記載の情報検索装置。
【請求項５】
一覧表示された回答文データについてユーザ端末から入力されるアンケート点数を受信するアンケート受付部をさらに備え、
前記応対履歴記録部は、前記アンケート点数とアンケート入力回数を記録し、
前記ユーザ動向数値化部は、前記参照率、アンケート点数およびアンケート入力回数を使用して所定のテーブルを参照して、回答文データについてのユーザの満足の度合いを類推するための満足度を算出し、
前記改善方法決定部は、算出された満足度と所定値とを比較し、その比較結果に応じて前記改善方法格納部から前記対策文データを選択することを特徴とする請求項４に記載の情報検索装置。
【請求項６】
前記ユーザ動向数値化部は、前記ユーザ端末からの操作情報の受信回数と、該操作情報に応答して前記検索部により選択された回答文データ数との割合を示すヒット率を算出し、
前記改善方法決定部は、算出されたヒット率と所定値とを比較し、その比較結果に応じて前記改善方法格納部から前記対策文データを選択することを特徴とする請求項２または３に記載の情報検索装置。
【請求項７】
前記回答文データを予め分類されたカテゴリに関連付けて表示するためのカテゴリ情報を記録するカテゴリ格納部と、
前記カテゴリに関連付けられる回答文データ数を回答文スコアとして算出する回答文数値化部をさらに備えることを特徴とする請求項１ないし６のいずれかに記載の情報検索装置。
【請求項８】
前記改善方法決定部は、前記ユーザ動向数値化部および前記回答文数値化部により算出されるスコアと所定値とを比較し、その比較結果に応じて、回答文データの追加、回答文データの修正、カテゴリの改善および辞書修正のいずれかの対策文データを選択することを特徴とする請求項７に記載の情報検索装置。
【請求項９】
前記改善方法提示部は、改善の対象となる回答文データを対応する前記対策文データ毎に集約して該対策文データとともに管理者端末の画面に表示させることを特徴とする請求項８に記載の情報検索装置。
【請求項１０】
前記改善方法提示部は、画面に表示された回答文データが選択されたことを示す信号を受信すると、その回答文データに関連付けられたユーザ動向スコアを画面に表示させることを特徴とする請求項９に記載の情報検索装置。
【請求項１１】
情報検索装置によりネットワーク上に提供され、ユーザの質問事項に対して予め準備されている回答文からいずれかの回答文を抽出してユーザに提示する情報検索サイトの改善方法を管理者に提示する改善方法提示装置であって、
ユーザ端末における質問入力操作内容を示す操作情報とユーザに提示された回答文データとを記録した応対履歴を使用して、前記応対履歴の間の関連性を基準として、前記情報検索サイトでユーザに提示される回答文の的確性の度合いを表す的確性データを作成する問題点抽出部と、
前記情報検索サイトの改善方法が記述された複数の対策文データを記憶する改善方法格納部と、
前記問題点抽出部により作成された的確性データと所定の基準データとを比較して、前記改善方法格納部から質問に対応するひとつまたは複数の対策文データを選択する改善方法決定部と、
選択された対策文データを管理者端末に表示させる改善方法提示部と、
を備えることを特徴とする情報検索サイトの改善方法提示装置。
【請求項１２】
前記問題点抽出部は、前記応対履歴における所定の事象の発生回数を使用して所定のテーブルを参照することによって、前記情報検索サイト内でのユーザの動向を数値化したユーザ動向スコアを算出するユーザ動向数値化部をさらに備え、
前記改善方法決定部は、前記ユーザ動向スコアと所定の基準値とを比較し、その比較結果に応じて前記対策文データを選択することを特徴とする請求項１１に記載の情報検索サイトの改善方法提示装置。
【請求項１３】
ユーザの質問事項に対して予め準備されている回答文からいずれかの回答文を抽出してユーザに提示する情報検索サイトをネットワーク上で提供させるコンピュータプログラムであって、
ユーザ端末における質問入力操作内容を示す操作情報を受信する機能と、
受信された操作情報を所定の基準にしたがって処理することによって、予め準備されている回答文データ群から質問に対応するひとつまたは複数の回答文データを選択する機能と、
前記操作情報と前記選択の結果とを応対履歴として記録する機能と、
記録された複数の応対履歴の間の関連性を基準として、前記ユーザ端末に表示される回答文データの的確性の度合いを表す的確性データを作成する機能と、
作成された的確性データと所定の基準データとを比較して、予め準備されている前記情報検索サイトの改善方法が記述された複数の対策文データからひとつまたは複数の対策文データを選択する機能と、
選択された対策文データを管理者端末に表示させる機能と、
をコンピュータに発揮させることを特徴とするコンピュータプログラム。
【請求項１】
ユーザの質問事項に対して予め準備されている回答文からいずれかの回答文を抽出してユーザに提示する情報検索サイトをネットワーク上で提供する情報検索装置において、
ユーザ端末に表示させる回答文データを記憶する回答文格納部と、
ユーザ端末における質問入力操作内容を示す操作情報を受信する受信部と、
受信された操作情報を所定の基準にしたがって処理することによって、前記回答文格納部から質問に対応するひとつまたは複数の回答文データを選択する検索部と、
前記操作情報と前記検索部による選択結果とを応対履歴として記録する応対履歴記録部と、
記録された複数の応対履歴の間の関連性を基準として、前記ユーザ端末に表示される回答文データの的確性の度合いを表す的確性データを作成する問題点抽出部と、
前記情報検索サイトの改善方法が記述された複数の対策文データを記憶する改善方法格納部と、
前記問題点抽出部により作成された的確性データと所定の基準データとを比較して、前記改善方法格納部からひとつまたは複数の対策文データを選択する改善方法決定部と、
選択された対策文データを管理者端末に表示させる改善方法提示部と、
を備えることを特徴とする情報検索装置。
【請求項２】
前記問題点抽出部は、前記応対履歴における所定の事象の発生回数を使用して所定のテーブルを参照することによって、前記情報検索サイト内でのユーザの動向を数値化したユーザ動向スコアを算出するユーザ動向数値化部をさらに備え、
前記改善方法決定部は、前記ユーザ動向スコアと所定の基準値とを比較し、その比較結果に応じて前記対策文データを選択することを特徴とする請求項１に記載の情報検索装置。
【請求項３】
前記応対履歴記録部は、前記情報検索サイトに接続したユーザ端末を識別し、ユーザ端末毎に異なる識別符号と関連付けて前記応対履歴を記録し、
前記ユーザ動向数値化部は、前記識別符号を参照して前記応対履歴をユーザ端末毎に区別し、ユーザ端末毎に前記ユーザ動向スコアを算出することを特徴とする請求項２に記載の情報検索装置。
【請求項４】
前記検索部により選択された回答文データをユーザ端末の画面に一覧表示させる回答文提示部をさらに備え、
前記応対履歴記録部は、一覧表示された回答文データがユーザ端末により参照されることにより生じる操作情報を前記応対履歴として記録し、
前記ユーザ動向数値化部は、前記応対履歴を使用して、一覧表示された回答文データがユーザ端末により参照された比率を示す参照率を回答文データ毎に算出し、
前記改善方法決定部は、算出された参照率と所定値とを比較し、その比較結果に応じて前記改善方法格納部から前記対策文データを選択することを特徴とする請求項２または３に記載の情報検索装置。
【請求項５】
一覧表示された回答文データについてユーザ端末から入力されるアンケート点数を受信するアンケート受付部をさらに備え、
前記応対履歴記録部は、前記アンケート点数とアンケート入力回数を記録し、
前記ユーザ動向数値化部は、前記参照率、アンケート点数およびアンケート入力回数を使用して所定のテーブルを参照して、回答文データについてのユーザの満足の度合いを類推するための満足度を算出し、
前記改善方法決定部は、算出された満足度と所定値とを比較し、その比較結果に応じて前記改善方法格納部から前記対策文データを選択することを特徴とする請求項４に記載の情報検索装置。
【請求項６】
前記ユーザ動向数値化部は、前記ユーザ端末からの操作情報の受信回数と、該操作情報に応答して前記検索部により選択された回答文データ数との割合を示すヒット率を算出し、
前記改善方法決定部は、算出されたヒット率と所定値とを比較し、その比較結果に応じて前記改善方法格納部から前記対策文データを選択することを特徴とする請求項２または３に記載の情報検索装置。
【請求項７】
前記回答文データを予め分類されたカテゴリに関連付けて表示するためのカテゴリ情報を記録するカテゴリ格納部と、
前記カテゴリに関連付けられる回答文データ数を回答文スコアとして算出する回答文数値化部をさらに備えることを特徴とする請求項１ないし６のいずれかに記載の情報検索装置。
【請求項８】
前記改善方法決定部は、前記ユーザ動向数値化部および前記回答文数値化部により算出されるスコアと所定値とを比較し、その比較結果に応じて、回答文データの追加、回答文データの修正、カテゴリの改善および辞書修正のいずれかの対策文データを選択することを特徴とする請求項７に記載の情報検索装置。
【請求項９】
前記改善方法提示部は、改善の対象となる回答文データを対応する前記対策文データ毎に集約して該対策文データとともに管理者端末の画面に表示させることを特徴とする請求項８に記載の情報検索装置。
【請求項１０】
前記改善方法提示部は、画面に表示された回答文データが選択されたことを示す信号を受信すると、その回答文データに関連付けられたユーザ動向スコアを画面に表示させることを特徴とする請求項９に記載の情報検索装置。
【請求項１１】
情報検索装置によりネットワーク上に提供され、ユーザの質問事項に対して予め準備されている回答文からいずれかの回答文を抽出してユーザに提示する情報検索サイトの改善方法を管理者に提示する改善方法提示装置であって、
ユーザ端末における質問入力操作内容を示す操作情報とユーザに提示された回答文データとを記録した応対履歴を使用して、前記応対履歴の間の関連性を基準として、前記情報検索サイトでユーザに提示される回答文の的確性の度合いを表す的確性データを作成する問題点抽出部と、
前記情報検索サイトの改善方法が記述された複数の対策文データを記憶する改善方法格納部と、
前記問題点抽出部により作成された的確性データと所定の基準データとを比較して、前記改善方法格納部から質問に対応するひとつまたは複数の対策文データを選択する改善方法決定部と、
選択された対策文データを管理者端末に表示させる改善方法提示部と、
を備えることを特徴とする情報検索サイトの改善方法提示装置。
【請求項１２】
前記問題点抽出部は、前記応対履歴における所定の事象の発生回数を使用して所定のテーブルを参照することによって、前記情報検索サイト内でのユーザの動向を数値化したユーザ動向スコアを算出するユーザ動向数値化部をさらに備え、
前記改善方法決定部は、前記ユーザ動向スコアと所定の基準値とを比較し、その比較結果に応じて前記対策文データを選択することを特徴とする請求項１１に記載の情報検索サイトの改善方法提示装置。
【請求項１３】
ユーザの質問事項に対して予め準備されている回答文からいずれかの回答文を抽出してユーザに提示する情報検索サイトをネットワーク上で提供させるコンピュータプログラムであって、
ユーザ端末における質問入力操作内容を示す操作情報を受信する機能と、
受信された操作情報を所定の基準にしたがって処理することによって、予め準備されている回答文データ群から質問に対応するひとつまたは複数の回答文データを選択する機能と、
前記操作情報と前記選択の結果とを応対履歴として記録する機能と、
記録された複数の応対履歴の間の関連性を基準として、前記ユーザ端末に表示される回答文データの的確性の度合いを表す的確性データを作成する機能と、
作成された的確性データと所定の基準データとを比較して、予め準備されている前記情報検索サイトの改善方法が記述された複数の対策文データからひとつまたは複数の対策文データを選択する機能と、
選択された対策文データを管理者端末に表示させる機能と、
をコンピュータに発揮させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００６−１９５７５６（Ｐ２００６−１９５７５６Ａ）
【公開日】平成１８年７月２７日（２００６．７．２７）
【国際特許分類】
【出願番号】特願２００５−６９２２（Ｐ２００５−６９２２）
【出願日】平成１７年１月１３日（２００５．１．１３）
【出願人】（３９００２４３５０）株式会社ジャストシステム (123)
【Ｆターム（参考）】
【公開日】平成１８年７月２７日（２００６．７．２７）
【国際特許分類】
【出願日】平成１７年１月１３日（２００５．１．１３）
【出願人】（３９００２４３５０）株式会社ジャストシステム (123)
【Ｆターム（参考）】
[ Back to top ]