評価者決定支援装置、評価者決定支援方法および評価者決定支援プログラム
【課題】多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる評価者決定支援装置を提供する。
【解決手段】総合評価結果判定手段９１は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を判定する。類似データ判定手段９２は、未評価の評価対象データ毎に、評価済みの類似する評価対象データを判定する。総合評価結果導出度算出手段９３は、未評価の評価対象データ毎に、各評価者に関して、未評価の評価対象データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、総合評価結果導出度を算出する。
【解決手段】総合評価結果判定手段９１は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を判定する。類似データ判定手段９２は、未評価の評価対象データ毎に、評価済みの類似する評価対象データを判定する。総合評価結果導出度算出手段９３は、未評価の評価対象データ毎に、各評価者に関して、未評価の評価対象データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、総合評価結果導出度を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、評価対象に対する複数の評価者の評価結果をもとに、未評価の評価対象に対して各評価者がどれだけ適切な評価を行うかを表す指標を求めることにより、未評価の評価対象に対する適切な評価者を決定することを支援する評価者決定支援装置、評価者決定支援方法および評価者決定支援プログラムに関する。
【背景技術】
【０００２】
人による評価によって、データの属性やクラスを決めたい場面がある。そのような場面として、例えば、機械学習における学習データの構築や、ある評価対象の集合への評価を求めるアンケート調査や、動画に対する複数の視聴者によるタグ付け等が挙げられる。多くの評価済みデータがあると、機械学習ではモデルの精度を向上させることができ、アンケート調査では有意なアンケート結果を得ることができる。また、動画に対するタグ付けにおいても、多くの評価済みデータがあることにより、関連動画の検索の容易性を高めることができる。
【０００３】
このように評価済みデータは様々なアプリケーションに活用される。アプリケーションに活用する評価済みデータの有効性は、その評価の精度に大きく依存する。そのためデータを評価する評価者を選抜することが非常に重要な作業となる。
【０００４】
特許文献１には、Ｗｅｂ画面を通じた評価対象に対するアンケート収集を行う場合に、信頼性の高い評価を行える評価者を選択する評価者選択システムが記載されている。特許文献１に記載された評価者選択システムは、評価データを収集する前に、ブログの記載内容に基づいて評価者候補の関心や知識を評価し、評価対象に対して質の高い評価を行える人物を特定する。
【０００５】
特許文献２には、新製品の意匠評価に適した評価採用者を選定する評価者選定装置が記載されている。特許文献２に記載された評価者選定装置は、既存製品に関係する複数の調査関係者から、予め定めた基準に従って意匠を重視する意匠重視者を選定する。そして、意匠重視者毎の既存製品に対する観察行動と、意匠重視者毎の既存製品に対する購買行動とから、関心度の高さと観察行動との相関関係を決定する。そして、評価者毎の新製品に対する観察行動と、決定した相関関係とに基づいて、評価者の新製品に対する関心度の高さを推定し、その関心度の高さが閾値以上である評価採用者を選定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２６２３４５号公報
【特許文献２】特開２００９−１５７４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述のように、アプリケーションに活用する評価済みデータの有効性は、その評価の精度に大きく依存する。よって、データを評価する評価者を選抜することが非常に重要な作業となる。このとき、評価対象に関心がない評価者や、評価対象に関する知識の少ない評価者を選抜してしまう可能性もあり、そのような評価者を選抜した場合、そのような者に評価を依頼すること自体が無駄となる可能性がある。
【０００８】
特許文献１や特許文献２に記載された技術によれば、評価対象に関心がない者や、評価対象に関する知識が少ない者を評価者として選択してしまうことを防止することができる。
【０００９】
しかし、特許文献１や特許文献２に記載された技術では、総合的な評価を行える評価者を特定できるわけではない。
【００１０】
ここで、複数の評価者が同一の評価対象を評価した場合に、その評者者の集合に属する多くの評価者によって不同意とされなかった評価結果を、「総合的な評価結果」と記す。なお、省略して、総合評価結果と記す場合もある。そして、総合的な評価結果を導くことを、「総合的な評価を行う」等と記す。総合的な評価結果（すなわち、多くの評価者によって不同意とされなかった評価結果）の一態様として、例えば、「多くの評価者の間で共通している評価結果」が挙げられる。「多くの評価者の間で共通している評価結果」の具体例として、例えば、多数決を基準として定めた評価結果が挙げられる。ただし、これは、総合的な評価結果の一例であり、総合的な評価結果の態様は上記の態様に限定されない。一般に、評価基準は人それぞれの暗黙値であるが、ある複数の評価者の間で、同一の評価対象に対する評価結果が一致する場合、その複数の評価者は、その評価対象に対する評価基準を共有していると捉えることができる。
【００１１】
複数の人に評価を求めるシーンの例として、評価対象に対する評価基準が曖昧である場合が挙げられる。例えば、顧客との対話履歴から顧客の要望を抽出するのに用いるモデルを機械学習するための学習データを構築することを考える。この場合、何を顧客の要望とみなすかについて客観的な基準を定義することは困難である。そのため、複数人で総合的な評価を行うことが望ましい。また、例えば、動画投稿サイトにおける動画へのタグ付けに関しても、適切なタグを定義することが困難な場合が多い。そのため、一般的には、複数のユーザによるタグの付与および削除を可能とすることで、動画の評価を総合的な評価に収束させるようにしている。
【００１２】
同一の評価対象に対する評価者が増えれば、総合的な評価を行えるので、評価精度が高まると期待できる。しかし、総合的な評価結果とは異なる評価結果を導いた人の評価作業は、総合的な評価を求める観点からは、結果的に無駄になっていることになる。また、全ての人が同じ評価をするような評価対象に関して、多数の人に評価を依頼すると、少人数の人に聞けば分かる評価を、多人数から得ることになる。この場合、統計上有意な新しい情報が得られることはなく、多くの評価者の労力を無駄にしていることになる。
【００１３】
また、各評価者が個々の基準で別々の未評価データを評価してしまうと、それらの未評価データについては、総合的な評価結果が得られていない可能性が高い。
【００１４】
特許文献１，２に記載された技術は、評価対象を評価する評価者を割り当てる技術である。しかし、特許文献１，２に記載された技術は、評価者に、過去に評価した評価対象に近いものを評価させることを重視しており、特許文献１，２に記載された方法で選択された評価者が、必ずしも総合的な評価を行えるわけではない。特許文献１に記載された方法では、ブログ中に含まれる評価に関する文言の多さを評価者の選定基準に取り入れているが、このような選定基準は、総合的な評価を行える評価者を選定できるという保証にはならない。また、特許文献２に記載された方法では、評価対象にどの程度関心を持っているかを重視して評価者を選定するが、このような基準も、総合的な評価を行える評価者を選定できるという保証にはならない。このように、特許文献１，２に記載された方法では、評価対象に対する関心の高い評価者を選定することはできるが、その評価者が、他の評価者と共通する基準で、他の評価者と共通する総合的な評価結果を導けるわけではない。
【００１５】
そこで、本発明は、多くの評価者が評価対象の評価を行った場合における総合的な評価結果と同様の評価を行える評価者の決定をしやすくすることを目的とする。換言すれば、本発明は、多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる評価者決定支援装置、評価者決定支援方法および評価者決定支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明による評価者決定支援装置は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定手段と、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定手段と、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出手段とを備えることを特徴とする。
【００１７】
また、本発明による評価者決定支援方法は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定し、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定し、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出することを特徴とする。
【００１８】
また、本発明による評価者決定支援プログラムは、コンピュータに、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定処理、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定処理、および、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出処理を実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態の評価者決定支援装置の例を示すブロック図である。
【図２】データ集合５２の一例を示す説明図である。
【図３】各自評価結果５０の一例を示す説明図である。
【図４】総合評価結果の一例を示す説明図である。
【図５】動画投稿サイトにおける各動画を評価対象とした場合における、各動画の特徴データおよび各自評価結果の例を示す説明図である。
【図６】図５に示す各自評価結果に対する総合評価結果の例を示す説明図である。
【図７】評価者重要度算出部１６による処理の例を示す説明図である。
【図８】評価者重要度算出部１６による処理の例を示す説明図である。
【図９】算出された評価者重要度の例を示す説明図である。
【図１０】第１の実施形態の処理経過の例を示すフローチャートである。
【図１１】類似度を用いた評価者重要度の算出例を示すための説明図である。
【図１２】本発明の第２の実施形態の評価者決定支援装置の例を示すブロック図である。
【図１３】評価意義度の導出を模式的に示す説明図である。
【図１４】未評価データ毎に１つの評価意義度を導出した場合の評価意義度の例を示す説明図である。
【図１５】未評価データ毎に評価者の人数分の評価意義度を導出した場合の評価意義度の例を示す説明図である。
【図１６】補正後重要評価者情報５６の例を示す説明図である。
【図１７】補正後重要評価者情報５６の例を示す説明図である。
【図１８】第２の実施形態の処理経過の例を示すフローチャートである。
【図１９】本発明の評価者決定支援装置の最小構成の例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を図面を参照して説明する。
本発明では、「ある特徴を有する評価対象に関して、総合的な評価結果と一致する評価を行いやすい評価者が存在する。」という前提に基づく。評価が行われていない各評価対象に関して、総合的な評価結果を導出した者と同様の評価基準を有する評価者を特定できれば、例えば、そのような評価者に未評価の評価対象の評価を一任する等して、評価作業に必要な作業コストを抑えながら、総合的な評価結果に近い評価結果を得ることができる。
【００２２】
実施形態１．
図１は、本発明の第１の実施形態の評価者決定支援装置の例を示すブロック図である。本実施形態の評価者決定支援装置１０は、総合評価部１２と、類似データ特定部１４と、評価者重要度算出部１６とを備える。評価者決定支援装置１０は、各自評価結果５０と、データ集合５２とを入力情報として、評価者毎に、評価に適している度合を示した評価者重要度をまとめた重要評価者情報５４を出力する。評価者毎の評価者重要度は、未評価の評価対象毎に算出される。また、ある未評価の評価対象に着目すると、評価者重要度が高い評価者ほど、その評価対象を評価するのに適しており、評価者重要度が低い評価者ほど、その評価対象を評価するのに適していない。評価者重要度は、評価者が未評価の評価対象について、総合的な評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度であると言うことができる。
【００２３】
まず、データ集合５２について説明する。データ集合５２は、個々の評価対象における、その評価対象の特徴を表す特徴データと、その評価対象のＩＤ（識別情報）との組の集合である。データ集合５２は、例えば、記憶装置に記憶される。特徴データとＩＤとが対応付けられていれば、データ集合５２の記憶態様は特に限定されない。特徴データとＩＤとをフィールドとするデータベースをデータ集合５２として記憶していてもよい。データ集合５２を記憶する記憶装置（データ集合記憶部。図示略。）を評価者決定支援装置１０が備えていてもよい。以下、データ集合５２に含まれる特徴データとＩＤの組をレコードと記す。また、ＩＤの値がｘ番であるレコードをＩＤｘ番のレコードと記す場合がある。なお、データ集合５２に含まれる特徴データとＩＤの組は、評価対象に関する評価対象データと称することもできる。
【００２４】
図２は、データ集合５２の一例を示す説明図である。図２は、自然言語処理に関わる特許の特許文献を要素技術別に分類するタスクを想定した場合のデータ集合の一例を表している。図２に示す各レコードは、それぞれ１つの特許文献に対応している。特許文献には、その文献を識別するためのＩＤが付与されている。ここでは、説明を簡単にするために、ＩＤを１，２，３，・・・という番号で表している。また、図２に示す例では、データ集合は、評価対象（特許文献）の特徴を表す特徴データとして、個々の特許文献に含まれている特徴語を含んでいる。
【００２５】
次に、各自評価結果５０について説明する。各自評価結果５０は、データ集合５２のサブセット（部分集合）に対する複数の評価者の評価結果である。例えば、この複数の評価者によって評価されるデータ集合５２のサブセットは予め定められ、そのサブセットに対して、複数の評価者が評価を行うことにより各自評価結果５０を作成すればよい。各自評価結果５０を作成するために複数の評価者によって評価されるデータ集合５２のサブセットを共同評価用データと記す。各自評価結果５０は、例えば、記憶装置に記憶される。各自評価結果５０を記憶する記憶装置（各自評価結果記憶部。図示略。）を評価者決定支援装置１０が備えていてもよい。ここでは、事前に複数の評価者に共同評価用データを評価させ、各評価者の評価結果を各自評価結果５０として各自評価結果記憶部（図示略）に記憶させているものとする。各自評価結果５０に含まれる評価結果は、どの評価者がどの共同評価用データを評価した結果であるのかが分かるように、データのＩＤおよび評価者のＩＤに対応付けて記憶されているものとする。
【００２６】
図３は、各自評価結果５０の一例を示す説明図である。データ集合５２のサブセットである共同評価用データに対する３人の評価者Ａ，Ｂ，Ｃの特許分類結果を表している。この特許分類結果は、特徴語（特徴データ）に基づいて特許文献がどの分野に分類されるかを評価した評価結果である。図３において、“ＩＤ”として示した値は特許文献のＩＤであり、図２に示すＩＤの値に対応する。図３に示すＡ，Ｂ，Ｃはそれぞれ評価者のＩＤである。図３に示す例では、評価者のＩＤの列と、特許文献のＩＤの行とが交差するセルに、その特許文献に対する評価者の分類結果（すなわち、評価結果）を示している。また、図３に示す例では、各特許文献が、自然言語処理の分野のうち、「文書分類技術」、「文書検索技術」、「文脈解析技術」、「辞書構築技術」のどの分野に属するかを評価した結果を示している。また、本例では、図２に示すデータ集合５２のうち、ＩＤの値が１〜１０に該当するレコードを共同評価用データとしている。従って、図２に示すＩＤ１１番以降のレコードに対する評価結果は、図３に示す各自評価結果５０に含まれていない。
【００２７】
総合評価部１２は、各自評価結果５０を入力として、個々の共同評価用データに関する総合的な評価結果を決定する。以下、総合的な評価結果を単に総合評価結果と記す。総合評価部１２は、個々の共同評価用データについて総合評価結果を決定すると、共同評価用データ毎に、共同評価用データに対応するＩＤと総合評価結果とを対応付けたデータを、類似データ特定部１４に入力する。
【００２８】
図４は、総合評価結果の一例を示す説明図である。図４では、図３に示す各自評価結５０に対して、「最も多くの評価者によって導かれた評価結果を総合評価結果とする。」という基準を用いて（すなわち、多数決を基準として）、総合評価結果を決定した場合の例を示している。図４において、“ＩＤ”として示した値は特許文献のＩＤであり、図３に示すＩＤの値に対応する。例えば、ＩＤ２番に対する評価者Ａ〜Ｃの評価結果は、それぞれ、「文書分離」、「辞書構築」、「文書分類」であり、総合評価部１２は、「文書分類」をＩＤ２番の総合評価結果と決定する（図３および図４参照）。
【００２９】
なお、多数決を基準とした場合に、複数の評価結果が同点で多数派となっているならば、総合評価部１２は、その複数の評価結果を全て総合評価結果としてよい。
【００３０】
また、総合評価結果を決定する基準は、多数決以外の基準であってもよい。例えば、動画投稿サイトにおいて、投稿された動画に対してタグ（キーワード）を付与する場合を例にする。動画の場合には、投稿者が投稿時に動画に付与したコメントやタイトル等の文字列情報、動画の視聴者が書き込んだメッセージの文字列情報、および動画の音声や画像の特徴を数値化した特徴量等が特徴データとなる。そして、動画投稿サイトに投稿された動画を評価対象とする場合、その動画投稿サイトの視聴者が主たる評価者であり、その評価者が動画に付与するタグが、動画に対する評価結果に該当する。
【００３１】
タグは動画を検索するために利用されることが多い。そのため、タグは、動画の内容や種類を適切に表していることが好ましい。また、多くの動画投稿サイトでは、タグの付与だけでなくタグの削除も視聴者が自由にできるインタフェースが実現されている。視聴者が自由にタグを付与できることから、最初は、でたらめなタグも多く付与され得るが、タグの削除も可能としていることにより、時間経過とともに適切なタグが残るようになる。ある動画において、時間経過とともにタグが追加されたり、あるいは削除されたりすることにより、タグの更新が行われる。このような更新が収束した時に残っているタグは、削除しようとする者が少ないタグであるということが言えるため、その動画に対する総合評価結果とみなすことができる。更新が収束した時のタグを総合評価結果として判定するときの基準を以下に例示する。
【００３２】
図５は、動画投稿サイトにおける各動画を評価対象とした場合における、各動画の特徴データおよび各自評価結果を１つの表にまとめた図である。図５に示すＩＤは、動画の識別情報である。また、評価者Ａ，Ｂ，Ｃは、動画の評価を行う評価者である。図５では、特徴データを「映像特徴量、作者ＩＤ、コメント情報」と簡略化して記載している。評価者のＩＤの列と、動画のＩＤの行とが交差するセルに、その評価者がその動画に対して行った評価（すなわち、動画に対して付与したタグ）を示している。図５では、図を単純にするため、ＩＤ１番から８番の動画に対して、評価者Ａ，Ｂ，Ｃが全てタグを付与した状態を示している。換言すれば、タグが密に定められている状態を示している。実際には、ある動画に対しては一部の評価者がタグを付与しない状態、すなわちタグがスパース（sparse）に定められた状態となっていてもよい。なお、本例において、評価の際に評価者は、一般的ではないがインターネット上で用いられることがある特殊な用語または記号を用いて評価を行ってもよい。例えば、「期待していたものが登場した」という文言の代わりに、「ｋｔｋｒ」等の記号で評価を行ってもよい。「ｋｔｋｒ」は、動画投稿サイト等で、「期待していたものが登場した」という意味で用いられることがある記号である。
【００３３】
図６は、図５に示す各自評価結果（すなわち、評価者Ａ〜Ｃの評価結果）に対する総合評価結果の例を示す。本例では、タグの付与および削除によるタグの更新が収束した時に残っているタグを、総合評価結果とする。例えば、総合評価部１２は、画像毎に、１日単位あるいは１時間単位等でタグの付与および削除の回数を集計し、その回数が所定期間以上閾値を上回ることがなければ、その時点で、タグの更新が収束したと判定し、その時点で残っているタグを総合評価結果であると決定すればよい。上記の閾値は予め設定しておけばよい。
【００３４】
また、動画に付与されたタグを総合評価結果として決定する基準として他の基準を採用してもよい。例えば、総合評価部１２は、動画にタグが付与されてからの経過時間を計測し、所定期間以上、削除されずに残ったタグを、その動画に対する総合評価結果であると決定してもよい。また、総合評価部１２は、動画にタグが付与されてから、その動画の閲覧回数が所定回数を上回った時点で、そのタグが削除されずに残っている場合に、そのタグを、その動画に対する総合評価結果であると決定してもよい。また、例えば、総合評価部１２は、ある動画に対してタグを付与した評価者のうち、所定の割合以上の評価者によって付与された共通のタグを、その動画に対する総合評価結果であると決定してもよい。
【００３５】
なお、タグの更新が収束した時のタグを総合評価結果として決定した結果、前述のような「一般的ではないがインターネット上で用いられることがある特殊な用語または記号」が総合評価結果とされてもよい。
【００３６】
類似データ特定部１４は、データ集合５２内の未評価データの特徴データ、および、共同評価用データの特徴データを用いて、個々の未評価データ毎に、その未評価データとそれぞれの共同評価用データとの間の特徴データの類似の程度を表す値（以下、類似度と記す。）を算出する。類似度の値が大きいほど、２つのデータの特徴データ同士の類似性が高く、類似度の値が小さいほど、２つのデータの特徴データ同士の類似性は低い。そして、類似データ特定部１４は、類似度に基づいて、その未評価データと類似している共同評価用データを判定する。そして、類似データ特定部１４は、その判定結果を評価者重要度算出部１６に入力する。
【００３７】
なお、未評価データであるか共同評価用データであるかは、各自評価結果５０が得られているか否かにより判別すればよい。すなわち、データ集合５２に含まれる各レコードのうち、各自評価結果５０が得られていないレコードは未評価データであり、各自評価結果５０が得られているレコードは共同評価用データである。
【００３８】
類似データ特定部１４が、未評価データの特徴データと、共同評価用データの特徴データとを用いて、未評価データと共同評価用データの類似度を算出し、その類似度に基づいて、未評価データに類似する共同評価用データを判定する処理の一例を以下に示す。以下に示す例では、未評価データの特徴データおよび共同評価用データの特徴データを数値化し、数値化した特徴データにより類似度を算出する場合を示す。
【００３９】
図２に示すように、データ集合５２内の各レコードにおいて、評価対象となる文献内の特徴語が特徴データになっているとする。また、１つのレコードに含まれる特徴語は１つとは限らない（図２参照）。さらに、本例では、１つのレコード内で、同一の特徴語が重複して複数個含まれていてもよいものとする。例えば、ＩＤ１番のレコードで、「ドメイン」という特徴語が複数含まれていてもよい。
【００４０】
類似データ特定部１４は、データ集合５２内の各レコードを参照して、データ集合５２に含まれる全種類の特徴語を重複無く抽出する。そして、類似データ特定部１４は、その特徴語に対応する要素を含むベクトル（以下、特徴ベクトルと記す。）を、それぞれの未評価データおよび共同評価用データに関して定める。データ集合５２に含まれる特徴語の種類がｎ種類あるとすると、特徴ベクトルとしてｎ個の要素を含むベクトルを定めればよい。特量ベクトルを（要素１，要素２，・・・，要素ｎ）とする。例えば、要素１は、図２に示す特徴語「固有表現」に対応し、要素２は、図２に示す特徴語「辞書」に対応するものとする。また、他の要素も各特徴語に対応している。
【００４１】
類似データ特定部１４は、データ集合５２内の個々の未評価データおよび共同評価用データに関して、特徴ベクトルを定める場合、特徴ベクトルの要素毎に、その要素に対応する特徴語が特徴データとして何個存在するかをカウントし、そのカウント結果を要素の値とすればよい。例えば、図２に示すＩＤ１番の特徴データ内に、「固有表現」という特徴語が２個含まれているとする。この場合、類似データ特定部１４は、ＩＤ１番の特徴ベクトルの要素１の値を“２”にする。同様に、類似データ特定部１４は、ＩＤ１番の特徴データ内に含まれる「辞書」という特徴語の数をカウントし、そのカウント結果を、ＩＤ１番の特徴ベクトルの要素２の値とする。類似データ特定部１４は、他の要素の値に関しても同様に定める。ある要素に対応する特徴語のカウント結果が０であれば、その要素の値を“０”とすればよい。この結果、ＩＤ１番の特徴データを数値化した特徴ベクトルが得られる。ここでは、ＩＤ１番に関する特徴ベクトルを求める場合を示した。本例では、ＩＤ１番から１０番までを共同評価用データとする。従って、類似データ特定部１４は、ＩＤ１番から１０番までの共同評価用データに関してそれぞれ、上記と同様の方法で特徴ベクトルを定めればよい。また、類似データ特定部１４は、ＩＤ１１番以降の未評価データに関しても、上記と同様の方法で特徴ベクトルを定めればよい。特徴ベクトルを定める方法は、未評価データと共同評価用データとで共通である。
【００４２】
類似データ特定部１４は、２つのデータの類似度として、例えば、上記のように算出した特徴ベクトルのコサイン類似度を算出すればよい。例えば、ある未評価データと共同評価用データの類似度として、その未評価データの特徴ベクトルと、その共同評価用データの特徴ベクトルのコサイン類似度を算出すればよい。そして、類似データ特定部１４は、着目している未評価データと、各共同評価用データとの類似度を求めた後、類似度が閾値以上になっている共同評価用データを選択し、その共同評価用データを、着目している未評価データに類似するデータであると判定すればよい。この閾値は予め定めておけばよい。なお、類似度が閾値以上になっている共同評価用データが存在しない場合、類似データ特定部１４は、着目している未評価データに類似する共同評価用データは存在しないと判定すればよい。ここでは、閾値を用いる場合を例示したが、類似データ特定部１４は、１つの未評価データに着目して、各共同評価用データとの類似度を求めた後、類似度の大きい順に所定個（ここではｋ個とする。）の共同評価用データを選択し、そのｋ個の共同評価用データを、着目している未評価データに類似するデータであると判定してもよい。
【００４３】
類似データ特定部１４は、上記のように、データ集合５２内の未評価データ毎に、類似している共同評価用データを判定する。
【００４４】
なお、類似度と比較する閾値、あるいは、上記のｋの値は、評価者決定支援装置を運用する前に事前にテストを行い、適切な値を設定しておけばよい。
【００４５】
また、特徴ベクトルを定める方法は、上記の例に限定されない。例えば、類似データ特定部１４は、データ集合５２内の個々の未評価データおよび共同評価用データに関して、特徴ベクトルを定める場合、特徴ベクトルの要素毎に、その要素に対応する特徴語が特徴データに含まれているかを判定し、含まれている場合にはその要素の値を“１”とし、含まれていない場合にはその要素の値を“０”としてもよい。例えば、図２に示すＩＤ１番の特徴データ内に「固有表現」という特徴語が含まれているので、類似データ特定部１４は、ＩＤ１番の特徴ベクトルの要素１の値を“１”にする。また、特徴ベクトルの要素ｍに対応する特徴語がＩＤ１番の特徴データに含まれていなければ、要素ｍの値を“０”にすればよい。類似データ特定部１４は、各要素について同様に“１”または“０”の値を定めることで、特徴ベクトルを定めてもよい。
【００４６】
上記の例では、データ集合５２に含まれる個々の未評価データおよび共同評価用データの特徴データを特徴ベクトルとして表すことにより数値化し、特徴ベクトルの演算（例えば、コサイン類似度の算出）により類似度を求める場合を示した。個々の未評価データおよび共同評価用データの特徴データを数値化する際に、類似データ特定部１４は、特徴ベクトル以外のデータにしてもよい。
【００４７】
また、類似データ特定部１４は、個々の未評価データおよび共同評価用データの特徴データを数値化せずに類似度を算出してもよい。以下、この場合の類似度算出方法の例を示す。本例では、説明を簡単にするため、１つのレコード内で、同一の特徴語が含まれていないものとする。ただし、互いに異なるレコードは、共通の特徴語を含んでもよい。ここでは、ＩＤｉ番の未評価データとＩＤｊ番の共同評価用データの類似度を算出する場合を例にする。ＩＤｉ番の未評価データの特徴語の集合をＷｉとする。また、ＩＤｊ番の共同評価用データの特徴語の集合をＷｊとする。類似データ特定部１４は、集合Ｗｉ，Ｗｊの和集合Ｗｉ∪Ｗｊの要素数に対する、集合Ｗｉ，Ｗｊの積集合Ｗｉ∩Ｗｊの要素数の割合を算出し、その割合をＩＤｉ番の未評価データとＩＤｊ番の共同評価用データの類似度としてもよい。
【００４８】
あるいは、類似データ特定部１４は、データ集合５２内の全ての未評価データおよび共同評価用データの和集合の要素数に対する、集合Ｗｉ，Ｗｊの積集合Ｗｉ∩Ｗｊの要素数の割合を算出し、その割合をＩＤｉ番の未評価データとＩＤｊ番の共同評価用データの類似度としてもよい。
【００４９】
上記のように類似度を算出する場合においても、類似データ特定部１４は、着目している未評価データと、各共同評価用データとの類似度を求めた後、類似度が閾値以上になっている共同評価用データを選択し、その共同評価用データを、着目している未評価データに類似するデータであると判定すればよい。あるいは、類似度の大きい順に所定個（ここではｋ個とする。）の共同評価用データを選択し、そのｋ個の共同評価用データを、着目している未評価データに類似するデータであると判定してもよい。
【００５０】
評価者重要度算出部１６は、各自評価結果５０、総合評価部１２の処理結果（すなわち、共同評価用データと総合評価結果とを対応付けた情報。図４参照。）、および類似データ特定部１４の処理結果（すなわち、未評価データに類似すると判定された共同評価用データ）とを用いて、未評価データ毎に、各評価者の評価者重要度を算出する。
【００５１】
なお、評価者重要度算出部１６は、各自評価結果５０を直接読み込んでもよい。あるいは、総合評価部１２から入力されてもよく、また、総合評価部１２から類似データ特定部１４を介して入力されてもよい。また、評価者重要度算出部１６は、総合評価部１２の処理結果を、総合評価部１２から直接入力されてもよく、あるいは、総合評価部１２から類似データ特定部１４を介して入力されてもよい。
【００５２】
評価者重要度算出部１６は、類似データ特定部１４の処理結果と、図４に例示する情報（総合評価部１２の処理結果）とを参照して、未評価データ毎に、その未評価データに類似する各共同評価用データの総合評価結果を特定する。さらに、評価者重要度算出部１６は、各自評価結果５０を参照して、その共同評価用データの総合評価結果と、その共同評価用データに対する各評価者の評価結果が一致しているか否かを判定する。さらに、評価者重要度算出部１６は、未評価データ毎に、評価者の評価結果が、未評価データに類似する各共同評価用データの総合評価結果と一致している割合を算出する。この割合は、総合評価結果と評価者の評価結果との一致の度合であるということができる。本例では、この割合の算出結果を評価者重要度とする場合を例にして説明する。１つの未評価データに着目した場合、評価者重要度算出部１６は、その未評価データに類似する各共同評価用データの数に対する、総合評価結果に一致している評価者の評価結果の数の割合を、評価者毎に算出する。この結果、１つの未評価データに関して、各評価者の評価者重要度が得られる。評価者重要度算出部１６は、他の未評価データに関しても、同様に各評価者の評価者重要度を算出する。
【００５３】
評価者重要度算出部１６は、上記のように未評価データ毎に、各評価者の評価者重要度を算出する。
【００５４】
ここで、評価者重要度の意味を説明する。未評価データに類似している共同評価用データの特徴データは、未評価データの特徴データに近い。そして、未評価データに類似している共同評価用データに対する評価者の評価は、評価者の評価事例となる。このとき、評価者がその共同評価用データに対して、総合評価結果と同一の評価を下していれば、その評価者は、共同評価用データと特徴データが類似している未評価データに関しても、総合評価結果と同様の評価を下せることが期待できる。評価者重要度は、未評価データに類似する各共同評価用データに対して、評価者がどの程度総合評価と一致する評価を行っていたかを定量化した値である。従って、評価者重要度の値が大きいほど、評価者が未評価データに対して、総合評価結果と同様の評価を下せる可能性が高いと言える。
【００５５】
図７および図８は、上記の処理の結果の例を示す説明図である。図７は、図２に示すＩＤ１１番の未評価データに類似する共同評価用データとしてＩＤ２番、ＩＤ３番、ＩＤ４番、ＩＤ５番およびＩＤ８番の５個の共同評価用データが選択された場合を示している。また、図８は、図２に示すＩＤ１２番の未評価データに類似する共同評価用データとしてＩＤ１番、ＩＤ５番、ＩＤ６番、ＩＤ９番およびＩＤ１０番の５個の共同評価用データが選択された場合を示している。
【００５６】
図７を例に説明する。評価者重要度算出部１６は、ＩＤ１１番の未評価データに類似する各共同評価用データの総合評価結果を特定する。例えば、ＩＤ２番の共同評価用データの総合評価結果は、「文書分類」である（図４参照）。また、ＩＤ２番の共同評価用データに対する各評価者Ａ，Ｂ，Ｃの評価結果はそれぞれ「文書分類」、「辞書構築」、「文書分類」である（図３参照）。従って、評価者重要度算出部１６は、ＩＤ２番の共同評価用データの総合評価結果は、評価者Ａ，Ｃの評価結果と一致し、評価者Ｂの評価結果とは一致しないと判定する（図７参照）。図７および図８において、“○”は、総合評価結果と評価者の評価結果が一致していることを意味し、“×”は、総合評価結果と評価者の評価結果が一致していないことを意味する。評価者重要度算出部１６は、ＩＤ１１番の未評価データに類似する他の共同評価用データ（ＩＤ３番、ＩＤ４番、ＩＤ５番、ＩＤ８番）に関しても、同様の判定を行う。
【００５７】
ＩＤ１１番の未評価データに類似する共同評価用データの数は５個である。また、共同評価用データの総合評価結果と一致する評価者Ａの評価結果の数は５個である（図７参照）。従って、評価者重要度算出部１６は、ＩＤ１１番の未評価データに関する評価者Ａの評価者重要度を、５／５＝１．０と算出する。また、共同評価用データの総合評価結果と一致する評価者Ｂの評価結果の数は２個である。従って、評価者重要度算出部１６は、ＩＤ１１番の未評価データに関する評価者Ｂの評価者重要度を、２／５＝０．４と算出する。また、共同評価用データの総合評価結果と一致する評価者Ｃの評価結果の数は３個である。従って、評価者重要度算出部１６は、ＩＤ１１番の未評価データに関する評価者Ｃの評価者重要度を、３／５＝０．６と算出する。ＩＤ１１番の未評価データに関しては、評価者Ａの評価者重要度が一番高い。このことは、ＩＤ１１番の未評価データに関しては、評価者Ａに評価を行わせれば、総合評価結果に最も近い評価結果が得られることを意味する。すなわち、複数の評価者がＩＤ１１番の未評価データを評価しなくても、評価者Ａが評価を行うことで、総合評価結果に近い評価結果が得られることを意味する。
【００５８】
図８を例に説明する。評価者重要度算出部１６は、ＩＤ１２番の未評価データに類似する各共同評価用データの総合評価結果を特定する。例えば、ＩＤ１番の共同評価用データの総合評価結果は、「辞書構築」である（図４参照）。また、ＩＤ１番の共同評価用データに対する各評価者Ａ，Ｂ，Ｃの評価結果はいずれも「辞書構築」である。従って、評価者重要度算出部１６は、ＩＤ１番の共同評価用データの総合評価結果は各評価者Ａ，Ｂ，Ｃの評価結果と一致すると判定する（図８参照）。評価者重要度算出部１６は、ＩＤ１１番の未評価データに類似する他の共同評価用データ（ＩＤ５番、ＩＤ６番、ＩＤ９番、ＩＤ１０番）に関しても、同様の判定を行う。
【００５９】
ＩＤ１２番の未評価データに類似する共同評価用データの数は５個である。また、共同評価用データの総合評価結果と一致する評価者Ａの評価結果の数は３個である（図８参照）。従って、評価者重要度算出部１６は、ＩＤ１２番の未評価データに関する評価者Ａの評価者重要度を、３／５＝０．６と算出する。また、共同評価用データの総合評価結果と一致する評価者Ｂの評価結果の数は４個である。従って、評価者重要度算出部１６は、ＩＤ１２番の未評価データに関する評価者Ｂの評価者重要度を、４／５＝０．８と算出する。また、共同評価用データの総合評価結果と一致する評価者Ｃの評価結果の数は５個である。従って、評価者重要度算出部１６は、ＩＤ１２番の未評価データに関する評価者Ｃの評価者重要度を、５／５＝１．０と算出する。ＩＤ１２番の未評価データに関しては、評価者Ｃの評価者重要度が一番高い。このことは、ＩＤ１２番の未評価データに関しては、評価者Ｃに評価を行わせれば、総合評価結果に最も近い評価結果が得られることを意味する。すなわち、複数の評価者がＩＤ１２番の未評価データを評価しなくても、評価者Ｃが評価を行うことで、総合評価結果に近い評価結果が得られることを意味する。
【００６０】
上記の評価者重要度の算出方法は、総合評価結果と評価者の評価結果との一致の度合を、未評価データに類似する共同評価用データの類似度によって重み付けを行うことによって算出する方法であるということができる。
【００６１】
なお、総合評価結果として、複数種類の特徴データ（特徴語）が得られている場合、そのいずれかの特徴語と、評価者の評価結果とが一致していれば、評価者重要度算出部１６は、総合評価結果と評価者の評価結果とが一致していると判定してよい。
【００６２】
上記の例では、ＩＤ１１番およびＩＤ１２番の未評価データについて、各評価者Ａ，Ｂ，Ｃの評価者重要度を算出する場合を示したが、評価者重要度算出部１６は、他の未評価データに関してもそれぞれ、評価者毎に評価者重要度を算出する。図９は、ＩＤ１１番以降の未評価データ毎に算出した評価者毎に評価者重要度の例である。評価者重要度算出部１６は、未評価データ毎に算出した各評価者の評価者重要度を、重要評価者情報５４として出力する。例えば、評価者重要度算出部１６は、図９に示すように、各未評価データのＩＤと、各評価者の評価者重要度とを対応付けた情報を、重要評価者情報５４として出力すればよい。
【００６３】
なお、類似データ特定部１４が、未評価データに類似する共同評価用データが存在しないと判定する場合もあり得る。この場合、評価者重要度算出部１６は、類似する共同評価用データが存在しない未評価データには、評価者重要度を算出しなくてよい。そして、評価者重要度算出部１６は、その未評価データに関しては、評価者重要度を算出しなかった旨を出力すればよい。
【００６４】
重要評価者情報５４には、例えば、図９に例示にするように、未評価データのＩＤ毎に、各評価者の評価者重要度が示されている。従って、重要評価者情報５４を参照することにより、どの未評価データをどの評価者に評価させることによって、効率的に総合評価結果に近い評価結果を得られるかを判断することができる。具体的には、個々の未評価データ毎に、評価者重要度の値が最も大きい評価者、あるいは、評価者重要度の値が閾値以上である評価者を、未評価データの評価者として決定すればよい。その評価者に未評価データを評価させることで、多人数でその未評価データを評価しなくても総合評価結果に近い評価結果を得ることができる。なお、上記の閾値は予め定めておけばよい。なお、評価者の決定は、人間が行っても、情報処理装置が行ってもよい。また、評価者決定支援装置１０が評価者の決定までの処理を行ってもよい。
【００６５】
また、未評価データに類似する共同評価用データが存在しなかったために、評価者重要度が算出されていない未評価データに関しては、一般的な総合評価結果の導出方法と同様に、複数の評価者にその未評価データを評価させ、例えば、多数決等の所定の基準で、総合評価結果を導出すればよい。
【００６６】
総合評価部１２、類似データ特定部１４および評価者重要度算出部１６は、例えば、プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、コンピュータのプログラム記憶装置（図示略）が評価者決定支援プログラムを記憶し、ＣＰＵがそのプログラムを読み込み、そのプログラムに従って、総合評価部１２、類似データ特定部１４および評価者重要度算出部１６として動作すればよい。また、総合評価部１２、類似データ特定部１４および評価者重要度算出部１６がそれぞれ別々のユニットで実現されていてもよい。
【００６７】
次に、本実施形態の処理経過について説明する。なお、総合評価部１２、類似データ特定部１４および評価者重要度算出部１６の個々の要素の動作の詳細については既に説明したので、適宜省略する。図１０は、本実施形態の処理経過の例を示すフローチャートである。データ集合５２内において予め共同評価用データとして定められたレコードに対して、複数の評価者が評価を行うことによって、各自評価結果５０（例えば、図３に例示する情報）が得られているものとする。総合評価部１２は、各自評価結果５０を入力データとして、共同評価用データ毎に総合評価結果を決定する（ステップＳ１）。総合評価部１２が総合評価結果を決定する方法として、例えば、複数の評価者の評価結果に対して多数決を適用する方法等が挙げられるが、他の方法で総合評価結果を決定してもよい。
【００６８】
次に、類似データ特定部１４は、データ集合５２内の個々の未評価データ毎に、その未評価データとそれぞれの共同評価用データとの間の特徴データの類似度を算出し、類似度に基づいて、特徴データが未評価データの特徴データと類似している共同評価用データを特定する（ステップＳ２）。ステップＳ２では、類似データ特定部１４は、例えば、未評価データを１つずつ順次選択し、選択した未評価データと共同評価用データとの間の特徴データの類似度を算出し、選択した未評価データと特徴データが類似している共同評価用データを特定すればよい。
【００６９】
ステップＳ２において、類似度の算出方法の一例として、未評価データの特徴データおよび共同評価用データの特徴データを特徴ベクトルとして表現し、特徴ベクトル同士のコサイン類似度を算出する方法がある。また、類似度に基づいて、特徴データが未評価データの特徴データと類似している共同評価用データを特定する方法として、例えば、未評価データとの類似度が閾値以上になっている共同評価用データを特定する方法や、類似度の大きい順に所定個の共同評価用データを特定する方法が挙げられる。これらの方法は、例示であり、他の方法で、類似度を算出したり、未評価データと類似している共同評価用データを特定したりしてもよい。
【００７０】
評価者重要度算出部１６は、未評価データ毎に、その未評価データに類似する各共同評価用データの総合評価結果を特定する。例えば、未評価データを１つずつ順次選択し、選択した未評価データに類似する各共同評価用データの総合評価結果を特定すればよい。そして、評価者重要度算出部１６は、各自評価結果５０を参照して、その共同評価用データの総合評価結果と、その共同評価用データに対する各評価者の評価結果が一致しているか否かを判定する。さらに、評価者重要度算出部１６は、評価者毎に、評価者の評価結果が選択した未評価データに類似する各共同評価用データの総合評価結果と一致している割合（評価者重要度）を算出する（ステップＳ３）。ステップＳ３では、選択した未評価データ毎に同様の処理を行う。また、評価者重要度算出部１６は、ステップＳ３において、重要評価者情報５４を出力する。評価者重要度算出部１６は、例えば、図９に示すように、各未評価データのＩＤと、各評価者の評価者重要度とを対応付けた情報を、重要評価者情報５４として出力すればよい。
【００７１】
前述のように、重要評価者情報５４を参照することにより、どの未評価データをどの評価者に評価させることによって、効率的に総合評価結果に近い評価結果を得られるかを判断することができる。具体的には、個々の未評価データに関して、評価者重要度の値が最も大きい評価者、あるいは、評価者重要度の値が閾値以上である評価者が、未評価データに対して総合評価結果と同様の評価結果を導ける評価者であると判断することができる。
【００７２】
未評価データ毎に、評価者重要度の値が最も大きい評価者、あるいは、評価者重要度の値が閾値以上である評価者を決定し、その評価者に未評価データを評価させることで、効率的に総合評価結果と同様の評価結果を導ける。例えば、評価対象が特許文献であり、その特許文献の技術分野を評価する場合、多人数の評価者にその評価を行わせなくても、評価者重要度に基づいて決定された評価者が総合評価結果と同様の技術分野を評価することができる。
【００７３】
このように本発明によれば、多人数に依らずに総合的な評価結果を導き出せる評価者を容易に決定できるようにすることができる。
【００７４】
また、例えば、動画サイトにおいて、視聴者が新しい動画を見たとする。そして、その動画に関して、その視聴者の評価者重要度が算出されていて、その評価者重要度が閾値以上であることが分かれば、その視聴者の端末に、動画に対する評価を促すコメントを表示させたり、他の視聴者のコメントを表示させて評価を促したりすることができる。このような視聴者によって、他者に削除されにくい評価を新しい動画に対していち早く付与することができる。その結果、その動画に対する潜在的な視聴者からのアクセス効率を高める効果が期待できる。
【００７５】
また、評価者重要度の算出方法は前述の方法に限定されない。評価者重要度の他の算出方法の例について説明する。評価者重要度算出部１６は、未評価データと共同用評価用データとの類似度を反映させた評価者重要度を算出してもよい。図１１は、類似度を用いた評価者重要度の算出例を示すための説明図である。図１１は、図７と同様に、ＩＤ１１番の未評価データに類似する共同評価用データ（ＩＤ２番、ＩＤ３番、ＩＤ４番、ＩＤ５番およびＩＤ８番）のＩＤと、その共同評価用データに対する総合評価結果と各評価者の評価結果とが一致しているか否かに関する情報とを示している。さらに、共同評価用データ毎に、着目している未評価データ（ＩＤ１１番）との類似度もそれぞれ示している。本例では、ＩＤ１１番の未評価データと各共同評価用データとの類似度が、図１１に示す値になっているとする。
【００７６】
評価者重要度算出部１６は、着目している未評価データと、その未評価データに類似する各共同評価用データとの類似度の合計を計算する。図１１に示す例では、類似度の合計として、０．９＋０．６＋０．６＋０．７＋０．８＝３．６を算出する。この類似度の合計をＳ１とする。そして、評価者重要度算出部１６は、評価データに類似する各共同評価用データのうち、総合評価結果と評価者自身の評価結果とが一致している共同評価用データを特定し、その共同評価用データについて求められた類似度の合計を、評価者毎に計算する。個々の評価者に関して求めた上記の類似度の合計をＳ２とする。評価者重要度算出部１６は、評価者毎に、Ｓ１に対するＳ２の割合を算出し、その割合を評価者重要度としてもよい。
【００７７】
例えば、評価者Ａに着目すると、総合評価結果と評価者Ａ自身の評価結果とが一致している共同評価用データは、ＩＤ２番、ＩＤ３番、ＩＤ４番、ＩＤ５番およびＩＤ８番である（図１１参照）。評価者重要度算出部１６が、ＩＤ１１番の未評価データとこれらの各共同評価用データの類似度の合計Ｓ２を算出すると、Ｓ２＝０．９＋０．６＋０．６＋０．７＋０．８＝３．６となる。よって、評価者重要度算出部１６は、評価者Ａの評価者重要度を、３．６／３．６＝１．０と算出する。
【００７８】
また、例えば、評価者Ｂに着目すると、総合評価結果と評価者Ｂ自身の評価結果とが一致している共同評価用データは、ＩＤ３番およびＩＤ４番である（図１１参照）。従って、評価者重要度算出部１６は、Ｓ２の値を０．６＋０．６＝１．２と算出する。よって、評価者重要度算出部１６は、評価者Ｂの評価者重要度を、１．２／３．６＝０．３３と算出する。
【００７９】
また、例えば、評価者Ｃに着目すると、総合評価結果と評価者Ｃ自身の評価結果とが一致している共同評価用データは、ＩＤ２番、ＩＤ５番およびＩＤ８番である（図１１参照）。従って、評価者重要度算出部１６は、Ｓ２の値を０．９＋０．７＋０．８＝２．４と算出する。よって、評価者重要度算出部１６は、評価者Ｃの評価者重要度を、２．４／３．６＝０．６６と算出する。
【００８０】
ここでは、ＩＤ１１番の未評価データに関して、各評価者の評価者重要度を算出する場合を示したが、評価者重要度算出部１６は、他の未評価データに関しても同様に評価者毎の評価者重要度を算出すればよい。
【００８１】
上記のように類似度を用いて評価者重要度を算出することで、未評価データに類似する共同評価用データの中でも、より未評価データに類似している共同評価用データについて総合評価結果と同一の評価を下している評価者と、そうでない評価者との評価者重要度の差を大きくすることができる。その結果、より未評価データに類似している共同評価用データについて総合評価結果と同一の評価を下している評価者を重視することができる。
【００８２】
例えば、上記のように類似度を用いて計算した評価者Ｂの評価者重要度は０．３３であり、類似度を用いずに算出したＩＤ１１番における評価者Ｂの評価者重要度０．４（図９参照）よりも低くなっている。このように、類似度を用いて計算した評価者重要度によれば、評価者ＢがＩＤ１１番の評価に向いていないことを、より推定しやすくなる。
【００８３】
実施形態２．
図１２は、本発明の第２の実施形態の評価者決定支援装置の例を示すブロック図である。第１の実施形態と同様の要素については、図１と同一の符号を付し、説明を省略する。本実施形態の評価者決定支援装置は、総合評価部１２と、類似データ特定部１４と、評価者重要度算出部１６と、アクティブラーニング部１８と、評価者重要度補正部２０と、評価結果入力部２２とを備える。総合評価部１２、類似データ特定部１４および評価者重要度算出部１６は、第１の実施形態と同様であり、説明を省略する。なお、本実施形態では、評価者重要度算出部１６は、重要評価者情報５４を評価者重要度補正部２０に入力する。
【００８４】
第２の実施形態では、評価者決定支援装置にアクティブラーニングを適用することで、総合的な評価基準で分類や回帰が可能なモデルを効率的に構築することを可能としている。アクティブラーニングとは、判定が困難な未評価データを評価者に提示し、評価結果に基づいて再度、モデルを強化する枠組みである。本実施形態において、モデルは、特徴データと評価結果との関係を表す情報である。モデルの一例として、特徴データに基づいてどの評価結果に該当するのかを分類するための分類器が挙げられる。また、モデルは数理モデルであっても、他のモデルであってもよい。本実施形態の評価者決定支援装置は、未評価結果に対する評価が行われ、評価結果が増加するにつれ、モデルを強化する（すなわち、モデルの精度を向上させる。）。
【００８５】
本実施形態では、モデルの精度を高めるのに寄与する未評価データを選択する指標となる値（後述の評価意義度）を算出する。そして、総合評価結果と同様の評価をすることが可能な評価者に、モデルの精度を高めるのに寄与する未評価データを提示し、その評価者にその未評価データを評価させる。この評価が行われたデータ（評価済みデータ５８）を用いて、モデルが強化される。第１の実施形態と同様に、総合評価結果と同様の評価をすることが可能な評価者に未評価データの評価を行わせることができるので、評価回数を減らして、効率的に、総合評価結果と同様の評価結果を得ることができる。さらに、特徴データと評価結果との関係を表すモデルの精度を効率的に高めることができる。
【００８６】
以下に示す例においても、特許文献に対する評価を行って特許文献を分類する場合を例にして説明する。ただし、本例では、説明を簡単にするために、特許文献を「重要である」または「重要でない」のいずれかに分類するものとする。従って、本例では、特許文献に対する評価は、「重要である」または「重要でない」の２種類である。また、これに合わせて、本例では、モデルが２値の分類器である場合を例にする。
【００８７】
アクティブラーニング部１８は、評価済みデータ５８と、データ集合５２とを入力情報として、特徴データと評価結果との関係を学習し、モデルを作成する。評価済みデータ５８は、評価者によって評価が行われたデータであり、評価結果を含む。なお、評価済みデータ５８を記憶する記憶装置（評価済みデータ記憶部。図示略。）を評価者決定支援装置が備えていてもよい。初期状態では、アクティブラーニング部１８は、各自評価結果５０（または、各自評価結果５０から得られた総合評価結果）を評価済みデータ５８として用いることによって、モデルを作成すればよい。
【００８８】
また、アクティブラーニング部１８は、データ集合５２内の未評価データ毎に、評価が行われることで次回のモデル作成時にモデルの精度向上にどの程度寄与するかを定量化する。この定量化した値を評価意義度と記す。評価意義度が高いほど、次回のモデル作成時にモデルの精度向上に寄与する程度が大きく、評価意義度が低いほど、モデルの精度向上に寄与する程度が小さい。アクティブラーニング部１８は、未評価データ毎に導出した評価意義度を評価者重要度補正部２０に入力する。
【００８９】
評価意義度は、評価者重要度の補正に用いられ、補正後の評価者重要度によって、評価者に評価させるべき未評価データが選択される。従って、評価意義度は、評価者に評価させるべき未評価データを選択するために用いられているということができる。また、選択された未評価データは、その評価結果とともに、評価済みデータ５８として次回のモデルの作成の際に用いられる。なお、評価者重要度の補正は、評価者重要度補正部２０が行う。また、評価者に評価させるべき未評価データの選択や、その未評価データに対する評価結果の入力の受け付けは、評価結果入力部２２が行う。
【００９０】
アクティブラーニング部１８は、例えば、公知の方法で評価意義度を導出すればよい。評価意義度を導出する方法の一例が以下の参考文献に記載されている。アクティブラーニング部１８は、以下の参考文献に記載された方法で評価意義度を導出してもよい。
【００９１】
［参考文献］
Sanjoy Dasgupta, Adam Tauman Kalai, Claire Monteleoni, “Analysis of Perceptron-Based Active Learning”, The Journal of Machine Learning Research, Vol 10, pp.281-299, ２００９年
【００９２】
図１３は、評価意義度の導出を模式的に示す説明図である。図１３内に示す個々の“○”は、評価対象となる特許文献を表す。そして、“＋”または“−”の記号とともに表された“○”は評価済みの特許文献を表す。“＋”は、「重要である」という評価結果を意味し、“−”は、「重要でない」という評価結果を意味する。“＋”および“−”の何れも付加されていない“○”は未評価の特許文献（未評価データ）である。識別境界７０は、モデル（本例では２値の分類器）によって定められる。評価者による人手の評価ではなく、モデルを用いて分類する場合には、未評価データが識別境界のどちら側に該当するかにより、「重要である」か「重要でない」かに分類される。図１３に示す状況では、識別境界７０を基準として、「重要である」と評価された特許文献と同じ側の未評価データは「重要である」と判定され、「重要でない」と評価された特許文献と同じ側の未評価データは「重要でない」と判定される。
【００９３】
ここでは、説明を簡単にするために、未評価データ７１，７２に着目する。未評価データ７１は、モデルにより「重要でない」と判定されることになるが、識別境界７０が少しずれると、「重要である」と判定されることになる。また、未評価データ７２は、識別境界７０が少しずれても、モデルによる判定結果は変化しないと考えられる。そのため、より精度の高い識別境界を定めるには、未評価データ７１について、実際に評価者が人手で評価を行い、その評価結果に基づいて、モデルを再度作成することが好ましい。すなわち、未評価データ７１，７２の比較では、識別境界７０に近い未評価データ７１を実際に評価した方が、モデルの精度の向上に寄与すると考えられる。
【００９４】
上記の例では、未評価データ７１，７２を参照して説明したが、アクティブラーニング部１８は以下のように評価意義度を導出すればよい。すなわち、アクティブラーニング部１８は、個々の未評価データについて、未評価データと識別境界７０との距離の近さを定量化し、未評価データと識別境界７０との距離が近いほど評価意義度の値を大きく定め、未評価データと識別境界７０との距離が遠いほど評価意義度の値を小さく定めればよい。
【００９５】
アクティブラーニング部１８は、初期状態では、各自評価結果５０（または、各自評価結果５０から得られた総合評価結果）を評価済みデータ５８として用いることによって、モデルを作成すればよい。ここで、モデルの作成には２つの方法がある。
【００９６】
モデルを作成する第１の方法は、各自評価結果５０から得られた総合評価結果を評価済みデータ５８とみなして、学習データとして利用する方法である。この方法により、アクティブラーニング部１８は、総合評価結果に対する一つのモデルを作成できる。なお、未評価データの特徴データをこのモデルに入力することによって、総合評価結果を推定することができるが、モデルによる総合評価結果の推定は、本発明の特徴的事項でないので、説明を省略する。
【００９７】
また、第１の方法を用いる場合、アクティブラーニング部１８は、未評価データ毎に１つの評価意義度を導出する。図１４は、未評価データ毎に１つの評価意義度を導出した場合の評価意義度の例を示す。図１４において“ＩＤ”として示した値は特許文献のＩＤであり、図２に示すＩＤの値に対応する。図１４に示す例では、ＩＤ１１番以降の未評価データに対してそれぞれ１つの評価意義度を導出している。
【００９８】
モデルを作成する第２の方法は、各々の評価者の各自評価結果を評価済みデータ５８とみなして、学習データとして利用する方法である。この方法では、アクティブラーニング部１８は、評価者の人数分のモデル群を作成する。このように評価者の人数分のモデル群を作成した場合には、未評価データの特徴データをそれぞれのモデルに入力して得られた各評価結果の推定値から総合評価結果を推定することができるが、前述のように、モデルによる総合評価結果の推定は、本発明の特徴的事項でないので、説明を省略する。
【００９９】
また、第２の方法を用いる場合、アクティブラーニング部１８は、未評価データ毎に、評価者の人数分の評価意義度を導出する。図１５は、未評価データ毎に、評価者の人数分の評価意義度を導出した場合の評価意義度の例を示す。図１５に示すＩＤの値は図１４と同様であり、図１５に示す例では、ＩＤ１１番以降の未評価データに対してそれぞれ評価者毎の評価意義度を導出している。また、図１５に示すＡ，Ｂ，Ｃは、図９に示す評価者のＩＤと対応しているものとする。
【０１００】
評価者重要度補正部２０は、アクティブラーニング部１８から入力される評価意義度に基づいて、評価者重要度算出部１６が算出した評価者重要度の値を補正する。すなわち、評価者重要度算出部１６から入力される重要評価者情報５４に含まれる評価者重要度の値を、評価意義度に基づいて補正する。評価者重要度の値を補正した重要評価者情報５４を、補正後重要評価者情報５６と記す。評価者重要度補正部２０は、補正の結果得た補正後重要評価者情報５６を評価結果入力部２２に入力する。
【０１０１】
重要評価者情報５４には、各未評価データにおける評価者重要度が評価者毎に含まれている。評価者重要度は、ある評価者がある未評価データをどれだけ総合的な評価基準で評価できるかを定量化したものである。また、アクティブラーニング部１８が導出する評価意義度は、どの未評価データが次のモデル作成の際にモデルの精度向上に寄与するかを定量化したものである。そのため、未評価データ毎に、評価者重要度および評価意義度がそれぞれ高ければ評価者重要度をより高くする演算を行うことで、総合評価結果と同様の評価結果を下すことができる評価者に、モデルの精度向上に寄与する未評価データを提示する指標として用いることができる。
【０１０２】
具体的には、評価者重要度補正部２０は、例えば、各々の未評価データにおける評価者重要度と評価意義度との相加平均または相乗平均を補正後の評価者重要度としてもよい。また、『「評価者重要度＞０．６ かつ 評価意義度＞０．８」という条件が成立しているならば、評価者重要度に０．２を加算する』等のルールに従って、評価者重要度を補正してもよい。なお、個々で示したルールや、ルール内の数値は例示であり、他のルールによって評価者重要度を補正してもよい。
【０１０３】
また、評価者重要度補正部２０による補正の態様は、未評価データ毎に評価意義度が１つずつ導出されているか、あるいは、未評価データ毎に評価者の人数分導出されているかによって異なる。
【０１０４】
まず、未評価データ毎に評価意義度が１つずつ導出されている場合の補正態様について説明する。ここでは、評価者重要度として図９に示す値が算出されており、また、評価意義度として、図１４に示す値が求められているものとする。また、評価者重要度補正部２０が評価者重要度と評価意義度との平均値を、補正後の評価者重要度とする場合を例にする。
【０１０５】
評価者重要度補正部２０は、未評価データを１つずつ順に選択し、選択した評価データに関して求められた各評価者の評価者重要度と、評価意義度を特定する。そして、評価者重要度補正部２０は、選択した評価データに関して、各評価者の評価者重要度毎に、評価者重要度と評価意義度との平均値を計算し、その平均値を補正後の評価者重要度とする。例えば、評価意義度と評価者Ａの評価者重要度との平均値を、評価者Ａの補正後の評価者重要度とする。評価者Ｂ，Ｃの評価者重要度についても同様に補正する。評価者重要度補正部２０は、各未評価データを順次選択し、同様の処理を行う。そして、評価者重要度を補正して得た補正後重要評価者情報５６を評価結果入力部２２に入力する。
【０１０６】
図１６は、この場合の補正後重要評価者情報５６の例を示す。例えば、ＩＤ１１番に着目すると、評価者Ａの補正後の評価者重要度“０．６５”は、評価者Ａの補正前の評価者重要度“１．０（図９参照）”と、ＩＤ１１番に対応する評価意義度“０．３（図１４参照）”との平均値である。他の補正後の評価者重要度に関しても同様である。本補正によって、評価意義度が高いほど、評価者重要度が他の評価者重要度に比べて相対的に高くなるように補正できる。
【０１０７】
次に、未評価データ毎に評価者の人数分導出されている場合の補正態様について説明する。ここでは、評価者重要度として図９に示す値が算出されており、また、評価意義度として、図１５に示す値が求められているものとする。本例でも、評価者重要度補正部２０が評価者重要度と評価意義度との平均値を補正後の評価者重要度とする場合を例にする。
【０１０８】
評価者重要度補正部２０は、未評価データを１つずつ順に選択し、選択した評価データに関して求められた各評価者の評価者重要度と、各評価者に対応する評価意義度を特定する。そして、評価者重要度補正部２０は、選択した評価データについて、共通の評価者に関する評価者重要度と評価意義度との平均値を計算し、その平均値をその評価者の補正後の評価者重要度とする。例えば、評価者Ａの評価者重要度と評価者Ａの評価意義度との平均値を、評価者Ａの補正後の評価者重要度とする。評価者Ｂ，Ｃの評価者重要度についても同様に補正する。評価者重要度補正部２０は、各未評価データを順次選択し、同様の処理を行う。そして、評価者重要度を補正して得た補正後重要評価者情報５６を評価結果入力部２２に入力する。
【０１０９】
図１７は、この場合補正後重要評価者情報５６の例を示す。例えば、ＩＤ１１番に着目すると、評価者Ａの補正後の評価者重要度“０．７５”は、評価者Ａの補正前の評価者重要度“１．０（図９参照）”と、評価者Ａに対応する評価意義度“０．５（図１５参照）” との平均値である。他の補正後の評価者重要度に関しても同様である。本補正によって、評価意義度が高いほど、評価者重要度が他の評価者重要度に比べて相対的に高くなるように補正できる。
【０１１０】
評価結果入力部２２は、補正後重要評価者情報５６に基づいて、どの評価者に対してどの未評価データを提示するかを決定し、その決定に従って未評価データを評価者に提示する。
【０１１１】
評価結果入力部２２は、特定の評価者に評価させる未評価データを以下のように決定すればよい。評価結果入力部２２は、補正後重要評価者情報５６から、未評価データのＩＤを、１つずつ順に選択する。そして、評価結果入力部２２は、選択した未評価データのＩＤに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度と特定し、その評価者重要度が予め定められた閾値より大きい値であるか否かを判定する。評価結果入力部２２は、選択したＩＤに対応する評価者重要度の最大値が閾値よりも大きければ、そのＩＤの未評価データを、その最大の評価者重要度に対応する評価者に評価させると決定する。評価意義度が高いほど、相対的に高くなるように補正された評価者重要度が、閾値より高いと言うことは、選択したＩＤの未評価データは、次回のモデル作成時にモデルの精度向上に寄与すると言える。また、選択したＩＤに関して、評価者重要度が最大となっている評価者に評価させるので、そのような未評価データに対して、総合評価結果と同様の評価が行われることが期待できる。
【０１１２】
選択した未評価データのＩＤに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度が予め定められた閾値以下である場合、評価結果入力部２２は、その未評価データの評価者への提示を保留する。評価意義度が高いほど、相対的に高くなるように補正された評価者重要度が、閾値以下である場合、その未評価データは、モデルの精度向上への寄与の程度が低いと言える。なお、最大の評価者重要度が閾値以下であるということは、そのＩＤに対応付けられた各評価者の評価者重要度がいずれも閾値以下であるということである。
【０１１３】
ただし、特定の評価者に提示すると決定した未評価データが存在しない場合には、評価結果入力部２２は、提示を保留とした未評価データを複数の評価者（各評価者）に提示すると決定する。各評価者重要度が閾値以下である未評価データについては、評価者が総合評価結果と同様の評価をしない可能性もあり得る。よって、本実施形態では、評価結果入力部２２は、そのような未評価データについては、各評価者に提示すると決定する。
【０１１４】
また、評価結果入力部２２は、類似する共同評価用データが存在しないと類似データ特定部１４によって判定され、評価者重要度算出部１６によって各評価者の評価者重要度が算出されなかった未評価データについても、複数の評価者（各評価者）に提示すると決定してもよい。
【０１１５】
評価結果入力部２２によって未評価データを提示された評価者は、その未評価データを評価者自身の基準で評価する。本例では、未評価データ（特許文献の特徴語）に基づいて、その特許文献が重要であるか否かを評価する。そして、評価結果入力部２２は、評価者による評価結果を入力され、表示した未評価データと、入力された評価結果とを対応付けて、例えば、評価済みデータ記憶部（図示略）に記憶させる。評価の行われた未評価データとその評価結果は、評価済みデータ５８として用いられる。
【０１１６】
評価結果入力部２２が評価者に未評価データを提示し、評価結果を得る態様の一例を説明する。評価結果入力部２２は、未評価データを提示する評価者を決定した場合、その評価者の端末に、その未評価データの評価を依頼する電子メールを送信すればよい。なお、各評価者のメールアドレスは、予め記憶装置（図示略）に記憶させておければよい。また、評価結果入力部２２は、電子メールを送信した評価者からのログインを受け付けたときに、その評価者の端末に、評価を依頼した未評価データを表示するとともに、その評価結果を入力するインタフェースを含むＷｅｂページの画面情報を送信してもよい。そして、評価結果入力部２２は、そのＷｅｂページに入力された評価結果を、評価者の端末から通信ネットワークを介して受信してもよい。本例は、評価結果入力部２２が評価者に未評価データを提示し、評価結果を得る態様の一例であり、評価結果入力部２２が評価者に未評価データを提示し、評価結果を得る態様は、上記の例に限定されない。
【０１１７】
また、評価結果入力部２２は、評価の行われた未評価データその評価結果との組を新たに評価済みデータ記憶部（図示略）に記憶させた数をカウントし、そのカウント結果が、予め定めた閾値以上になったとき、すなわち、新たに発生した評価済みデータ５８の数が閾値以上になったときに、アクティブラーニング部１８に、評価済みデータ５８を用いて、モデルを作成させ、残っている未評価データの評価意義度を再度算出させる。
【０１１８】
総合評価部１２、類似データ特定部１４、評価者重要度算出部１６、アクティブラーニング部１８、評価者重要度補正部２０および評価者入力部２２は、例えば、プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、コンピュータのプログラム記憶装置（図示略）が評価者決定支援プログラムを記憶し、ＣＰＵがそのプログラムを読み込み、そのプログラムに従って、総合評価部１２、類似データ特定部１４、評価者重要度算出部１６、アクティブラーニング部１８、評価者重要度補正部２０および評価者入力部２２として動作すればよい。また、これらの要素がそれぞれ別々のユニットで実現されていてもよい。
【０１１９】
次に、本実施形態の処理経過について説明する。図１８は、本実施形態の処理経過の例を示すフローチャートである。第１の実施形態と同様の処理については、図１０に示すフローチャートと同様の符号を付し、説明を省略する。また、アクティブラーニング部１８、評価者重要度補正部２０、評価結果入力部２２の個々の動作の詳細についても既に説明したので、適宜省略する。
【０１２０】
ステップＳ１〜Ｓ３の処理は、第１の実施形態と同様である。また、アクティブラーニング部１８は、評価済みデータ５８とデータ集合５２とを参照して、特徴データと評価結果との関係を表すモデルを作成し、未評価データの評価意義度を求める（ステップＳ４）。なお、初期状態では、アクティブラーニング部１８は、各自評価結果５０（または、各自評価結果５０から得られた総合評価結果）を評価済みデータ５８として用いてモデルを作成する。
【０１２１】
そして、ステップＳ３，Ｓ４がそれぞれ終了した後、アクティブラーニング部１８から入力される評価意義度に基づいて、評価者重要度算出部１６が算出した評価者重要度の値を補正する（ステップＳ５）。ステップＳ５では、例えば、評価意義度が高いほど、評価者重要度が相対的に高くなるように、評価者重要度を補正する。
【０１２２】
次に、評価結果入力部２２は、補正後重要評価者情報５６に基づいて、どの評価者に対してどの未評価データを提示するかを決定し、その決定に従って未評価データを評価者に提示する（ステップＳ６）。評価者は提示された未評価データに対する評価を行い、その評価結果を入力する。
【０１２３】
評価結果入力部２２は、評価結果が入力されると、提示した未評価データとその評価結果との組を評価済みデータ５８として記録する（ステップＳ７）。そして、評価済みデータ５８の数が閾値以上になると、アクティブラーニング部１８に、その評価済みデータ５８を用いてモデルを作成させ、また、残っている未評価データの評価意義度を求めさせる。
【０１２４】
この結果、アクティブラーニング部１８、評価者重要度候補部２０および評価結果入力部２２は、ステップＳ４〜Ｓ７のループ処理を繰り返す。
【０１２５】
本実施形態によれば、第１の実施形態と同様に、多人数に依らずに総合的な評価結果を導き出せる評価者を容易に決定できるようにすることができる。
【０１２６】
また、本実施形態では、アクティブラーニング部１８が、未評価データ毎に、評価が行われることで次回のモデル作成時にモデルの精度向上にどの程度寄与するかを示す評価意義度を求める。そして、評価者重要度補正部２０が評価意義度により評価者重要度を補正し、評価結果入力部２２が、どの評価者に対してどの未評価データを提示するかを決定する。従って、特徴データと評価結果との関係を表すモデルの精度向上に寄与する新たな評価結果を得ることができ、モデルの精度を向上させることができる。
【０１２７】
なお、第１の実施形態の評価者決定支援装置（図１参照。）が、評価結果入力部２２を備え、評価結果入力部２２が、どの評価者に対してどの未評価データを提示するかを決定し、その決定に従って未評価データを評価者に提示してもよい。この場合、評価結果入力部２２は、評価者重要度算出部１６が算出した評価者重要度を参照して、どの評価者に対してどの未評価データを提示するかを決定すればよい。評価意義度による補正が行われていない評価者重要度を参照するという点以外は、第２の実施形態と同様である。すなわち、評価結果入力部２２は、未評価データのＩＤを、１つずつ順に選択する。そして、評価結果入力部２２は、選択した未評価データのＩＤに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度と特定し、その評価者重要度が予め定められた閾値より大きい値であるか否かを判定する。評価結果入力部２２は、選択したＩＤに対応する評価者重要度の最大値が閾値よりも大きければ、そのＩＤの未評価データを、その最大の評価者重要度に対応する評価者に評価させると決定する。また、選択した未評価データのＩＤに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度が予め定められた閾値以下である場合、評価結果入力部２２は、その未評価データの評価者への提示を保留する。ただし、特定の評価者に提示すると決定した未評価データが存在しない場合には、評価結果入力部２２は、提示を保留とした未評価データを複数の評価者（各評価者）に提示すると決定する。また、類似する共同評価用データが存在せず、各評価者の評価者重要度が算出されなかった未評価データについても、複数の評価者（各評価者）に提示すると決定してもよい。
【０１２８】
次に、本発明の最小構成について説明する。図１９は、本発明の評価者決定支援装置の最小構成の例を示すブロック図である。本発明の評価者決定支援装置は、総合評価結果判定手段９１と、類似データ判定手段９２と、総合評価結果導出度算出手段９３とを備える。
【０１２９】
総合評価結果判定手段９１（例えば、総合評価部１２）は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合（例えば、データ集合５２）の部分集合に該当する各評価対象データ（例えば、共同評価用データ）に対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する。
【０１３０】
類似データ判定手段９２（例えば、類似データ特定部１４）は、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する。
【０１３１】
総合評価結果導出度算出手段９３（例えば、評価者重要度算出部１６）は、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度（例えば、評価者重要度）を算出する。
【０１３２】
そのような構成により、多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる。
【０１３３】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
【０１３４】
（付記１）評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合（例えば、データ集合５２）の部分集合に該当する各評価対象データ（例えば、共同評価用データ）に対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定手段（例えば、総合評価部１２）と、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定手段（例えば、類似データ特定部１４）と、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度（例えば、評価者重要度）を算出する総合評価結果導出度算出手段（例えば、評価者重要度算出部１６）とを備えることを特徴とする評価者決定支援装置。
【０１３５】
（付記２）総合評価結果導出度算出手段は、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を、前記各評価対象データに対して算出された類似度による重み付けを行って算出する付記１に記載の評価者決定支援装置。
【０１３６】
（付記３）特徴データと評価結果との関係を表すモデルを作成し、未評価の評価対象データ毎に、評価が行われることで前記モデルの精度向上に寄与する度合を表す評価意義度を導出する評価意義度導出手段（例えば、アクティブラーニング部１８）と、
未評価の評価対象データ毎に、評価意義度を用いて、総合評価結果導出度を補正する総合評価結果導出度補正手段（例えば、評価者重要度補正部２０）とを備える付記１または付記２に記載の評価者決定支援装置。
【０１３７】
（付記４）未評価の評価対象データ毎に、各評価者の総合評価結果導出度の最大値を特定し、当該最大値が予め定められた閾値を越えることを条件に、前記最大値となる総合評価結果導出度に対応する評価者に未評価データを評価させると判定する評価者決定手段（例えば、評価結果入力部２２）を備える付記１から付記３のうちのいずれかに記載の評価者決定支援装置。
【０１３８】
（付記５）評価者決定手段は、各評価者の総合評価結果導出度がいずれも閾値以下である未評価データを各評価者に評価させると決定する付記４に記載の評価者決定支援装置。
【０１３９】
（付記６）評価者決定手段は、類似する評価対象データがないと類似データ判定手段によって判定された未評価データを各評価者に評価させると決定する付記４または付記５に記載の評価者決定支援装置。
【０１４０】
（付記７）類似データ判定手段は、未評価の評価対象データとの間で特徴データ同士の類似度が閾値以上となっている評価対象データを、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データであると判定する付記１から付記６のうちのいずれかに記載の評価者決定支援装置。
【０１４１】
（付記８）総合評価結果判定手段は、評価対象データの集合の部分集合に該当する評価対象データ毎に、最も多くの評価者によって導かれた評価結果を総合評価結果と判定する付記１から付記７のうちのいずれかに記載の評価者決定支援装置。
【０１４２】
（付記９）総合評価結果判定手段は、評価対象データの集合の部分集合に該当する評価対象データ毎に、一の評価者が評価した評価結果が、所定の期間が経過しても他の評価者によって不同意とされていない（例えば、削除されていない）と判定した場合に、前記一の評価者の評価結果を総合評価結果と判定する付記１から付記７のうちのいずれかに記載の評価者決定支援装置。
【０１４３】
（付記１０）評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定し、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定し、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出することを特徴とする評価者決定支援方法。
【０１４４】
（付記１１）コンピュータに、評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定処理、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定処理、および、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出処理を実行させるための評価者決定支援プログラム。
【産業上の利用可能性】
【０１４５】
本発明は、評価対象を評価させる評価者の決定を容易に行えるようにする評価者決定支援装置に好適に適用可能である。
【符号の説明】
【０１４６】
１０ 評価者決定支援装置
１２ 総合評価部
１４ 類似データ特定部
１６ 評価者重要度算出部
１８ アクティブラーニング部
２０ 評価者重要度補正部
２２ 評価結果入力部
【技術分野】
【０００１】
本発明は、評価対象に対する複数の評価者の評価結果をもとに、未評価の評価対象に対して各評価者がどれだけ適切な評価を行うかを表す指標を求めることにより、未評価の評価対象に対する適切な評価者を決定することを支援する評価者決定支援装置、評価者決定支援方法および評価者決定支援プログラムに関する。
【背景技術】
【０００２】
人による評価によって、データの属性やクラスを決めたい場面がある。そのような場面として、例えば、機械学習における学習データの構築や、ある評価対象の集合への評価を求めるアンケート調査や、動画に対する複数の視聴者によるタグ付け等が挙げられる。多くの評価済みデータがあると、機械学習ではモデルの精度を向上させることができ、アンケート調査では有意なアンケート結果を得ることができる。また、動画に対するタグ付けにおいても、多くの評価済みデータがあることにより、関連動画の検索の容易性を高めることができる。
【０００３】
このように評価済みデータは様々なアプリケーションに活用される。アプリケーションに活用する評価済みデータの有効性は、その評価の精度に大きく依存する。そのためデータを評価する評価者を選抜することが非常に重要な作業となる。
【０００４】
特許文献１には、Ｗｅｂ画面を通じた評価対象に対するアンケート収集を行う場合に、信頼性の高い評価を行える評価者を選択する評価者選択システムが記載されている。特許文献１に記載された評価者選択システムは、評価データを収集する前に、ブログの記載内容に基づいて評価者候補の関心や知識を評価し、評価対象に対して質の高い評価を行える人物を特定する。
【０００５】
特許文献２には、新製品の意匠評価に適した評価採用者を選定する評価者選定装置が記載されている。特許文献２に記載された評価者選定装置は、既存製品に関係する複数の調査関係者から、予め定めた基準に従って意匠を重視する意匠重視者を選定する。そして、意匠重視者毎の既存製品に対する観察行動と、意匠重視者毎の既存製品に対する購買行動とから、関心度の高さと観察行動との相関関係を決定する。そして、評価者毎の新製品に対する観察行動と、決定した相関関係とに基づいて、評価者の新製品に対する関心度の高さを推定し、その関心度の高さが閾値以上である評価採用者を選定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２６２３４５号公報
【特許文献２】特開２００９−１５７４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述のように、アプリケーションに活用する評価済みデータの有効性は、その評価の精度に大きく依存する。よって、データを評価する評価者を選抜することが非常に重要な作業となる。このとき、評価対象に関心がない評価者や、評価対象に関する知識の少ない評価者を選抜してしまう可能性もあり、そのような評価者を選抜した場合、そのような者に評価を依頼すること自体が無駄となる可能性がある。
【０００８】
特許文献１や特許文献２に記載された技術によれば、評価対象に関心がない者や、評価対象に関する知識が少ない者を評価者として選択してしまうことを防止することができる。
【０００９】
しかし、特許文献１や特許文献２に記載された技術では、総合的な評価を行える評価者を特定できるわけではない。
【００１０】
ここで、複数の評価者が同一の評価対象を評価した場合に、その評者者の集合に属する多くの評価者によって不同意とされなかった評価結果を、「総合的な評価結果」と記す。なお、省略して、総合評価結果と記す場合もある。そして、総合的な評価結果を導くことを、「総合的な評価を行う」等と記す。総合的な評価結果（すなわち、多くの評価者によって不同意とされなかった評価結果）の一態様として、例えば、「多くの評価者の間で共通している評価結果」が挙げられる。「多くの評価者の間で共通している評価結果」の具体例として、例えば、多数決を基準として定めた評価結果が挙げられる。ただし、これは、総合的な評価結果の一例であり、総合的な評価結果の態様は上記の態様に限定されない。一般に、評価基準は人それぞれの暗黙値であるが、ある複数の評価者の間で、同一の評価対象に対する評価結果が一致する場合、その複数の評価者は、その評価対象に対する評価基準を共有していると捉えることができる。
【００１１】
複数の人に評価を求めるシーンの例として、評価対象に対する評価基準が曖昧である場合が挙げられる。例えば、顧客との対話履歴から顧客の要望を抽出するのに用いるモデルを機械学習するための学習データを構築することを考える。この場合、何を顧客の要望とみなすかについて客観的な基準を定義することは困難である。そのため、複数人で総合的な評価を行うことが望ましい。また、例えば、動画投稿サイトにおける動画へのタグ付けに関しても、適切なタグを定義することが困難な場合が多い。そのため、一般的には、複数のユーザによるタグの付与および削除を可能とすることで、動画の評価を総合的な評価に収束させるようにしている。
【００１２】
同一の評価対象に対する評価者が増えれば、総合的な評価を行えるので、評価精度が高まると期待できる。しかし、総合的な評価結果とは異なる評価結果を導いた人の評価作業は、総合的な評価を求める観点からは、結果的に無駄になっていることになる。また、全ての人が同じ評価をするような評価対象に関して、多数の人に評価を依頼すると、少人数の人に聞けば分かる評価を、多人数から得ることになる。この場合、統計上有意な新しい情報が得られることはなく、多くの評価者の労力を無駄にしていることになる。
【００１３】
また、各評価者が個々の基準で別々の未評価データを評価してしまうと、それらの未評価データについては、総合的な評価結果が得られていない可能性が高い。
【００１４】
特許文献１，２に記載された技術は、評価対象を評価する評価者を割り当てる技術である。しかし、特許文献１，２に記載された技術は、評価者に、過去に評価した評価対象に近いものを評価させることを重視しており、特許文献１，２に記載された方法で選択された評価者が、必ずしも総合的な評価を行えるわけではない。特許文献１に記載された方法では、ブログ中に含まれる評価に関する文言の多さを評価者の選定基準に取り入れているが、このような選定基準は、総合的な評価を行える評価者を選定できるという保証にはならない。また、特許文献２に記載された方法では、評価対象にどの程度関心を持っているかを重視して評価者を選定するが、このような基準も、総合的な評価を行える評価者を選定できるという保証にはならない。このように、特許文献１，２に記載された方法では、評価対象に対する関心の高い評価者を選定することはできるが、その評価者が、他の評価者と共通する基準で、他の評価者と共通する総合的な評価結果を導けるわけではない。
【００１５】
そこで、本発明は、多くの評価者が評価対象の評価を行った場合における総合的な評価結果と同様の評価を行える評価者の決定をしやすくすることを目的とする。換言すれば、本発明は、多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる評価者決定支援装置、評価者決定支援方法および評価者決定支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明による評価者決定支援装置は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定手段と、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定手段と、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出手段とを備えることを特徴とする。
【００１７】
また、本発明による評価者決定支援方法は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定し、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定し、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出することを特徴とする。
【００１８】
また、本発明による評価者決定支援プログラムは、コンピュータに、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定処理、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定処理、および、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出処理を実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態の評価者決定支援装置の例を示すブロック図である。
【図２】データ集合５２の一例を示す説明図である。
【図３】各自評価結果５０の一例を示す説明図である。
【図４】総合評価結果の一例を示す説明図である。
【図５】動画投稿サイトにおける各動画を評価対象とした場合における、各動画の特徴データおよび各自評価結果の例を示す説明図である。
【図６】図５に示す各自評価結果に対する総合評価結果の例を示す説明図である。
【図７】評価者重要度算出部１６による処理の例を示す説明図である。
【図８】評価者重要度算出部１６による処理の例を示す説明図である。
【図９】算出された評価者重要度の例を示す説明図である。
【図１０】第１の実施形態の処理経過の例を示すフローチャートである。
【図１１】類似度を用いた評価者重要度の算出例を示すための説明図である。
【図１２】本発明の第２の実施形態の評価者決定支援装置の例を示すブロック図である。
【図１３】評価意義度の導出を模式的に示す説明図である。
【図１４】未評価データ毎に１つの評価意義度を導出した場合の評価意義度の例を示す説明図である。
【図１５】未評価データ毎に評価者の人数分の評価意義度を導出した場合の評価意義度の例を示す説明図である。
【図１６】補正後重要評価者情報５６の例を示す説明図である。
【図１７】補正後重要評価者情報５６の例を示す説明図である。
【図１８】第２の実施形態の処理経過の例を示すフローチャートである。
【図１９】本発明の評価者決定支援装置の最小構成の例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を図面を参照して説明する。
本発明では、「ある特徴を有する評価対象に関して、総合的な評価結果と一致する評価を行いやすい評価者が存在する。」という前提に基づく。評価が行われていない各評価対象に関して、総合的な評価結果を導出した者と同様の評価基準を有する評価者を特定できれば、例えば、そのような評価者に未評価の評価対象の評価を一任する等して、評価作業に必要な作業コストを抑えながら、総合的な評価結果に近い評価結果を得ることができる。
【００２２】
実施形態１．
図１は、本発明の第１の実施形態の評価者決定支援装置の例を示すブロック図である。本実施形態の評価者決定支援装置１０は、総合評価部１２と、類似データ特定部１４と、評価者重要度算出部１６とを備える。評価者決定支援装置１０は、各自評価結果５０と、データ集合５２とを入力情報として、評価者毎に、評価に適している度合を示した評価者重要度をまとめた重要評価者情報５４を出力する。評価者毎の評価者重要度は、未評価の評価対象毎に算出される。また、ある未評価の評価対象に着目すると、評価者重要度が高い評価者ほど、その評価対象を評価するのに適しており、評価者重要度が低い評価者ほど、その評価対象を評価するのに適していない。評価者重要度は、評価者が未評価の評価対象について、総合的な評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度であると言うことができる。
【００２３】
まず、データ集合５２について説明する。データ集合５２は、個々の評価対象における、その評価対象の特徴を表す特徴データと、その評価対象のＩＤ（識別情報）との組の集合である。データ集合５２は、例えば、記憶装置に記憶される。特徴データとＩＤとが対応付けられていれば、データ集合５２の記憶態様は特に限定されない。特徴データとＩＤとをフィールドとするデータベースをデータ集合５２として記憶していてもよい。データ集合５２を記憶する記憶装置（データ集合記憶部。図示略。）を評価者決定支援装置１０が備えていてもよい。以下、データ集合５２に含まれる特徴データとＩＤの組をレコードと記す。また、ＩＤの値がｘ番であるレコードをＩＤｘ番のレコードと記す場合がある。なお、データ集合５２に含まれる特徴データとＩＤの組は、評価対象に関する評価対象データと称することもできる。
【００２４】
図２は、データ集合５２の一例を示す説明図である。図２は、自然言語処理に関わる特許の特許文献を要素技術別に分類するタスクを想定した場合のデータ集合の一例を表している。図２に示す各レコードは、それぞれ１つの特許文献に対応している。特許文献には、その文献を識別するためのＩＤが付与されている。ここでは、説明を簡単にするために、ＩＤを１，２，３，・・・という番号で表している。また、図２に示す例では、データ集合は、評価対象（特許文献）の特徴を表す特徴データとして、個々の特許文献に含まれている特徴語を含んでいる。
【００２５】
次に、各自評価結果５０について説明する。各自評価結果５０は、データ集合５２のサブセット（部分集合）に対する複数の評価者の評価結果である。例えば、この複数の評価者によって評価されるデータ集合５２のサブセットは予め定められ、そのサブセットに対して、複数の評価者が評価を行うことにより各自評価結果５０を作成すればよい。各自評価結果５０を作成するために複数の評価者によって評価されるデータ集合５２のサブセットを共同評価用データと記す。各自評価結果５０は、例えば、記憶装置に記憶される。各自評価結果５０を記憶する記憶装置（各自評価結果記憶部。図示略。）を評価者決定支援装置１０が備えていてもよい。ここでは、事前に複数の評価者に共同評価用データを評価させ、各評価者の評価結果を各自評価結果５０として各自評価結果記憶部（図示略）に記憶させているものとする。各自評価結果５０に含まれる評価結果は、どの評価者がどの共同評価用データを評価した結果であるのかが分かるように、データのＩＤおよび評価者のＩＤに対応付けて記憶されているものとする。
【００２６】
図３は、各自評価結果５０の一例を示す説明図である。データ集合５２のサブセットである共同評価用データに対する３人の評価者Ａ，Ｂ，Ｃの特許分類結果を表している。この特許分類結果は、特徴語（特徴データ）に基づいて特許文献がどの分野に分類されるかを評価した評価結果である。図３において、“ＩＤ”として示した値は特許文献のＩＤであり、図２に示すＩＤの値に対応する。図３に示すＡ，Ｂ，Ｃはそれぞれ評価者のＩＤである。図３に示す例では、評価者のＩＤの列と、特許文献のＩＤの行とが交差するセルに、その特許文献に対する評価者の分類結果（すなわち、評価結果）を示している。また、図３に示す例では、各特許文献が、自然言語処理の分野のうち、「文書分類技術」、「文書検索技術」、「文脈解析技術」、「辞書構築技術」のどの分野に属するかを評価した結果を示している。また、本例では、図２に示すデータ集合５２のうち、ＩＤの値が１〜１０に該当するレコードを共同評価用データとしている。従って、図２に示すＩＤ１１番以降のレコードに対する評価結果は、図３に示す各自評価結果５０に含まれていない。
【００２７】
総合評価部１２は、各自評価結果５０を入力として、個々の共同評価用データに関する総合的な評価結果を決定する。以下、総合的な評価結果を単に総合評価結果と記す。総合評価部１２は、個々の共同評価用データについて総合評価結果を決定すると、共同評価用データ毎に、共同評価用データに対応するＩＤと総合評価結果とを対応付けたデータを、類似データ特定部１４に入力する。
【００２８】
図４は、総合評価結果の一例を示す説明図である。図４では、図３に示す各自評価結５０に対して、「最も多くの評価者によって導かれた評価結果を総合評価結果とする。」という基準を用いて（すなわち、多数決を基準として）、総合評価結果を決定した場合の例を示している。図４において、“ＩＤ”として示した値は特許文献のＩＤであり、図３に示すＩＤの値に対応する。例えば、ＩＤ２番に対する評価者Ａ〜Ｃの評価結果は、それぞれ、「文書分離」、「辞書構築」、「文書分類」であり、総合評価部１２は、「文書分類」をＩＤ２番の総合評価結果と決定する（図３および図４参照）。
【００２９】
なお、多数決を基準とした場合に、複数の評価結果が同点で多数派となっているならば、総合評価部１２は、その複数の評価結果を全て総合評価結果としてよい。
【００３０】
また、総合評価結果を決定する基準は、多数決以外の基準であってもよい。例えば、動画投稿サイトにおいて、投稿された動画に対してタグ（キーワード）を付与する場合を例にする。動画の場合には、投稿者が投稿時に動画に付与したコメントやタイトル等の文字列情報、動画の視聴者が書き込んだメッセージの文字列情報、および動画の音声や画像の特徴を数値化した特徴量等が特徴データとなる。そして、動画投稿サイトに投稿された動画を評価対象とする場合、その動画投稿サイトの視聴者が主たる評価者であり、その評価者が動画に付与するタグが、動画に対する評価結果に該当する。
【００３１】
タグは動画を検索するために利用されることが多い。そのため、タグは、動画の内容や種類を適切に表していることが好ましい。また、多くの動画投稿サイトでは、タグの付与だけでなくタグの削除も視聴者が自由にできるインタフェースが実現されている。視聴者が自由にタグを付与できることから、最初は、でたらめなタグも多く付与され得るが、タグの削除も可能としていることにより、時間経過とともに適切なタグが残るようになる。ある動画において、時間経過とともにタグが追加されたり、あるいは削除されたりすることにより、タグの更新が行われる。このような更新が収束した時に残っているタグは、削除しようとする者が少ないタグであるということが言えるため、その動画に対する総合評価結果とみなすことができる。更新が収束した時のタグを総合評価結果として判定するときの基準を以下に例示する。
【００３２】
図５は、動画投稿サイトにおける各動画を評価対象とした場合における、各動画の特徴データおよび各自評価結果を１つの表にまとめた図である。図５に示すＩＤは、動画の識別情報である。また、評価者Ａ，Ｂ，Ｃは、動画の評価を行う評価者である。図５では、特徴データを「映像特徴量、作者ＩＤ、コメント情報」と簡略化して記載している。評価者のＩＤの列と、動画のＩＤの行とが交差するセルに、その評価者がその動画に対して行った評価（すなわち、動画に対して付与したタグ）を示している。図５では、図を単純にするため、ＩＤ１番から８番の動画に対して、評価者Ａ，Ｂ，Ｃが全てタグを付与した状態を示している。換言すれば、タグが密に定められている状態を示している。実際には、ある動画に対しては一部の評価者がタグを付与しない状態、すなわちタグがスパース（sparse）に定められた状態となっていてもよい。なお、本例において、評価の際に評価者は、一般的ではないがインターネット上で用いられることがある特殊な用語または記号を用いて評価を行ってもよい。例えば、「期待していたものが登場した」という文言の代わりに、「ｋｔｋｒ」等の記号で評価を行ってもよい。「ｋｔｋｒ」は、動画投稿サイト等で、「期待していたものが登場した」という意味で用いられることがある記号である。
【００３３】
図６は、図５に示す各自評価結果（すなわち、評価者Ａ〜Ｃの評価結果）に対する総合評価結果の例を示す。本例では、タグの付与および削除によるタグの更新が収束した時に残っているタグを、総合評価結果とする。例えば、総合評価部１２は、画像毎に、１日単位あるいは１時間単位等でタグの付与および削除の回数を集計し、その回数が所定期間以上閾値を上回ることがなければ、その時点で、タグの更新が収束したと判定し、その時点で残っているタグを総合評価結果であると決定すればよい。上記の閾値は予め設定しておけばよい。
【００３４】
また、動画に付与されたタグを総合評価結果として決定する基準として他の基準を採用してもよい。例えば、総合評価部１２は、動画にタグが付与されてからの経過時間を計測し、所定期間以上、削除されずに残ったタグを、その動画に対する総合評価結果であると決定してもよい。また、総合評価部１２は、動画にタグが付与されてから、その動画の閲覧回数が所定回数を上回った時点で、そのタグが削除されずに残っている場合に、そのタグを、その動画に対する総合評価結果であると決定してもよい。また、例えば、総合評価部１２は、ある動画に対してタグを付与した評価者のうち、所定の割合以上の評価者によって付与された共通のタグを、その動画に対する総合評価結果であると決定してもよい。
【００３５】
なお、タグの更新が収束した時のタグを総合評価結果として決定した結果、前述のような「一般的ではないがインターネット上で用いられることがある特殊な用語または記号」が総合評価結果とされてもよい。
【００３６】
類似データ特定部１４は、データ集合５２内の未評価データの特徴データ、および、共同評価用データの特徴データを用いて、個々の未評価データ毎に、その未評価データとそれぞれの共同評価用データとの間の特徴データの類似の程度を表す値（以下、類似度と記す。）を算出する。類似度の値が大きいほど、２つのデータの特徴データ同士の類似性が高く、類似度の値が小さいほど、２つのデータの特徴データ同士の類似性は低い。そして、類似データ特定部１４は、類似度に基づいて、その未評価データと類似している共同評価用データを判定する。そして、類似データ特定部１４は、その判定結果を評価者重要度算出部１６に入力する。
【００３７】
なお、未評価データであるか共同評価用データであるかは、各自評価結果５０が得られているか否かにより判別すればよい。すなわち、データ集合５２に含まれる各レコードのうち、各自評価結果５０が得られていないレコードは未評価データであり、各自評価結果５０が得られているレコードは共同評価用データである。
【００３８】
類似データ特定部１４が、未評価データの特徴データと、共同評価用データの特徴データとを用いて、未評価データと共同評価用データの類似度を算出し、その類似度に基づいて、未評価データに類似する共同評価用データを判定する処理の一例を以下に示す。以下に示す例では、未評価データの特徴データおよび共同評価用データの特徴データを数値化し、数値化した特徴データにより類似度を算出する場合を示す。
【００３９】
図２に示すように、データ集合５２内の各レコードにおいて、評価対象となる文献内の特徴語が特徴データになっているとする。また、１つのレコードに含まれる特徴語は１つとは限らない（図２参照）。さらに、本例では、１つのレコード内で、同一の特徴語が重複して複数個含まれていてもよいものとする。例えば、ＩＤ１番のレコードで、「ドメイン」という特徴語が複数含まれていてもよい。
【００４０】
類似データ特定部１４は、データ集合５２内の各レコードを参照して、データ集合５２に含まれる全種類の特徴語を重複無く抽出する。そして、類似データ特定部１４は、その特徴語に対応する要素を含むベクトル（以下、特徴ベクトルと記す。）を、それぞれの未評価データおよび共同評価用データに関して定める。データ集合５２に含まれる特徴語の種類がｎ種類あるとすると、特徴ベクトルとしてｎ個の要素を含むベクトルを定めればよい。特量ベクトルを（要素１，要素２，・・・，要素ｎ）とする。例えば、要素１は、図２に示す特徴語「固有表現」に対応し、要素２は、図２に示す特徴語「辞書」に対応するものとする。また、他の要素も各特徴語に対応している。
【００４１】
類似データ特定部１４は、データ集合５２内の個々の未評価データおよび共同評価用データに関して、特徴ベクトルを定める場合、特徴ベクトルの要素毎に、その要素に対応する特徴語が特徴データとして何個存在するかをカウントし、そのカウント結果を要素の値とすればよい。例えば、図２に示すＩＤ１番の特徴データ内に、「固有表現」という特徴語が２個含まれているとする。この場合、類似データ特定部１４は、ＩＤ１番の特徴ベクトルの要素１の値を“２”にする。同様に、類似データ特定部１４は、ＩＤ１番の特徴データ内に含まれる「辞書」という特徴語の数をカウントし、そのカウント結果を、ＩＤ１番の特徴ベクトルの要素２の値とする。類似データ特定部１４は、他の要素の値に関しても同様に定める。ある要素に対応する特徴語のカウント結果が０であれば、その要素の値を“０”とすればよい。この結果、ＩＤ１番の特徴データを数値化した特徴ベクトルが得られる。ここでは、ＩＤ１番に関する特徴ベクトルを求める場合を示した。本例では、ＩＤ１番から１０番までを共同評価用データとする。従って、類似データ特定部１４は、ＩＤ１番から１０番までの共同評価用データに関してそれぞれ、上記と同様の方法で特徴ベクトルを定めればよい。また、類似データ特定部１４は、ＩＤ１１番以降の未評価データに関しても、上記と同様の方法で特徴ベクトルを定めればよい。特徴ベクトルを定める方法は、未評価データと共同評価用データとで共通である。
【００４２】
類似データ特定部１４は、２つのデータの類似度として、例えば、上記のように算出した特徴ベクトルのコサイン類似度を算出すればよい。例えば、ある未評価データと共同評価用データの類似度として、その未評価データの特徴ベクトルと、その共同評価用データの特徴ベクトルのコサイン類似度を算出すればよい。そして、類似データ特定部１４は、着目している未評価データと、各共同評価用データとの類似度を求めた後、類似度が閾値以上になっている共同評価用データを選択し、その共同評価用データを、着目している未評価データに類似するデータであると判定すればよい。この閾値は予め定めておけばよい。なお、類似度が閾値以上になっている共同評価用データが存在しない場合、類似データ特定部１４は、着目している未評価データに類似する共同評価用データは存在しないと判定すればよい。ここでは、閾値を用いる場合を例示したが、類似データ特定部１４は、１つの未評価データに着目して、各共同評価用データとの類似度を求めた後、類似度の大きい順に所定個（ここではｋ個とする。）の共同評価用データを選択し、そのｋ個の共同評価用データを、着目している未評価データに類似するデータであると判定してもよい。
【００４３】
類似データ特定部１４は、上記のように、データ集合５２内の未評価データ毎に、類似している共同評価用データを判定する。
【００４４】
なお、類似度と比較する閾値、あるいは、上記のｋの値は、評価者決定支援装置を運用する前に事前にテストを行い、適切な値を設定しておけばよい。
【００４５】
また、特徴ベクトルを定める方法は、上記の例に限定されない。例えば、類似データ特定部１４は、データ集合５２内の個々の未評価データおよび共同評価用データに関して、特徴ベクトルを定める場合、特徴ベクトルの要素毎に、その要素に対応する特徴語が特徴データに含まれているかを判定し、含まれている場合にはその要素の値を“１”とし、含まれていない場合にはその要素の値を“０”としてもよい。例えば、図２に示すＩＤ１番の特徴データ内に「固有表現」という特徴語が含まれているので、類似データ特定部１４は、ＩＤ１番の特徴ベクトルの要素１の値を“１”にする。また、特徴ベクトルの要素ｍに対応する特徴語がＩＤ１番の特徴データに含まれていなければ、要素ｍの値を“０”にすればよい。類似データ特定部１４は、各要素について同様に“１”または“０”の値を定めることで、特徴ベクトルを定めてもよい。
【００４６】
上記の例では、データ集合５２に含まれる個々の未評価データおよび共同評価用データの特徴データを特徴ベクトルとして表すことにより数値化し、特徴ベクトルの演算（例えば、コサイン類似度の算出）により類似度を求める場合を示した。個々の未評価データおよび共同評価用データの特徴データを数値化する際に、類似データ特定部１４は、特徴ベクトル以外のデータにしてもよい。
【００４７】
また、類似データ特定部１４は、個々の未評価データおよび共同評価用データの特徴データを数値化せずに類似度を算出してもよい。以下、この場合の類似度算出方法の例を示す。本例では、説明を簡単にするため、１つのレコード内で、同一の特徴語が含まれていないものとする。ただし、互いに異なるレコードは、共通の特徴語を含んでもよい。ここでは、ＩＤｉ番の未評価データとＩＤｊ番の共同評価用データの類似度を算出する場合を例にする。ＩＤｉ番の未評価データの特徴語の集合をＷｉとする。また、ＩＤｊ番の共同評価用データの特徴語の集合をＷｊとする。類似データ特定部１４は、集合Ｗｉ，Ｗｊの和集合Ｗｉ∪Ｗｊの要素数に対する、集合Ｗｉ，Ｗｊの積集合Ｗｉ∩Ｗｊの要素数の割合を算出し、その割合をＩＤｉ番の未評価データとＩＤｊ番の共同評価用データの類似度としてもよい。
【００４８】
あるいは、類似データ特定部１４は、データ集合５２内の全ての未評価データおよび共同評価用データの和集合の要素数に対する、集合Ｗｉ，Ｗｊの積集合Ｗｉ∩Ｗｊの要素数の割合を算出し、その割合をＩＤｉ番の未評価データとＩＤｊ番の共同評価用データの類似度としてもよい。
【００４９】
上記のように類似度を算出する場合においても、類似データ特定部１４は、着目している未評価データと、各共同評価用データとの類似度を求めた後、類似度が閾値以上になっている共同評価用データを選択し、その共同評価用データを、着目している未評価データに類似するデータであると判定すればよい。あるいは、類似度の大きい順に所定個（ここではｋ個とする。）の共同評価用データを選択し、そのｋ個の共同評価用データを、着目している未評価データに類似するデータであると判定してもよい。
【００５０】
評価者重要度算出部１６は、各自評価結果５０、総合評価部１２の処理結果（すなわち、共同評価用データと総合評価結果とを対応付けた情報。図４参照。）、および類似データ特定部１４の処理結果（すなわち、未評価データに類似すると判定された共同評価用データ）とを用いて、未評価データ毎に、各評価者の評価者重要度を算出する。
【００５１】
なお、評価者重要度算出部１６は、各自評価結果５０を直接読み込んでもよい。あるいは、総合評価部１２から入力されてもよく、また、総合評価部１２から類似データ特定部１４を介して入力されてもよい。また、評価者重要度算出部１６は、総合評価部１２の処理結果を、総合評価部１２から直接入力されてもよく、あるいは、総合評価部１２から類似データ特定部１４を介して入力されてもよい。
【００５２】
評価者重要度算出部１６は、類似データ特定部１４の処理結果と、図４に例示する情報（総合評価部１２の処理結果）とを参照して、未評価データ毎に、その未評価データに類似する各共同評価用データの総合評価結果を特定する。さらに、評価者重要度算出部１６は、各自評価結果５０を参照して、その共同評価用データの総合評価結果と、その共同評価用データに対する各評価者の評価結果が一致しているか否かを判定する。さらに、評価者重要度算出部１６は、未評価データ毎に、評価者の評価結果が、未評価データに類似する各共同評価用データの総合評価結果と一致している割合を算出する。この割合は、総合評価結果と評価者の評価結果との一致の度合であるということができる。本例では、この割合の算出結果を評価者重要度とする場合を例にして説明する。１つの未評価データに着目した場合、評価者重要度算出部１６は、その未評価データに類似する各共同評価用データの数に対する、総合評価結果に一致している評価者の評価結果の数の割合を、評価者毎に算出する。この結果、１つの未評価データに関して、各評価者の評価者重要度が得られる。評価者重要度算出部１６は、他の未評価データに関しても、同様に各評価者の評価者重要度を算出する。
【００５３】
評価者重要度算出部１６は、上記のように未評価データ毎に、各評価者の評価者重要度を算出する。
【００５４】
ここで、評価者重要度の意味を説明する。未評価データに類似している共同評価用データの特徴データは、未評価データの特徴データに近い。そして、未評価データに類似している共同評価用データに対する評価者の評価は、評価者の評価事例となる。このとき、評価者がその共同評価用データに対して、総合評価結果と同一の評価を下していれば、その評価者は、共同評価用データと特徴データが類似している未評価データに関しても、総合評価結果と同様の評価を下せることが期待できる。評価者重要度は、未評価データに類似する各共同評価用データに対して、評価者がどの程度総合評価と一致する評価を行っていたかを定量化した値である。従って、評価者重要度の値が大きいほど、評価者が未評価データに対して、総合評価結果と同様の評価を下せる可能性が高いと言える。
【００５５】
図７および図８は、上記の処理の結果の例を示す説明図である。図７は、図２に示すＩＤ１１番の未評価データに類似する共同評価用データとしてＩＤ２番、ＩＤ３番、ＩＤ４番、ＩＤ５番およびＩＤ８番の５個の共同評価用データが選択された場合を示している。また、図８は、図２に示すＩＤ１２番の未評価データに類似する共同評価用データとしてＩＤ１番、ＩＤ５番、ＩＤ６番、ＩＤ９番およびＩＤ１０番の５個の共同評価用データが選択された場合を示している。
【００５６】
図７を例に説明する。評価者重要度算出部１６は、ＩＤ１１番の未評価データに類似する各共同評価用データの総合評価結果を特定する。例えば、ＩＤ２番の共同評価用データの総合評価結果は、「文書分類」である（図４参照）。また、ＩＤ２番の共同評価用データに対する各評価者Ａ，Ｂ，Ｃの評価結果はそれぞれ「文書分類」、「辞書構築」、「文書分類」である（図３参照）。従って、評価者重要度算出部１６は、ＩＤ２番の共同評価用データの総合評価結果は、評価者Ａ，Ｃの評価結果と一致し、評価者Ｂの評価結果とは一致しないと判定する（図７参照）。図７および図８において、“○”は、総合評価結果と評価者の評価結果が一致していることを意味し、“×”は、総合評価結果と評価者の評価結果が一致していないことを意味する。評価者重要度算出部１６は、ＩＤ１１番の未評価データに類似する他の共同評価用データ（ＩＤ３番、ＩＤ４番、ＩＤ５番、ＩＤ８番）に関しても、同様の判定を行う。
【００５７】
ＩＤ１１番の未評価データに類似する共同評価用データの数は５個である。また、共同評価用データの総合評価結果と一致する評価者Ａの評価結果の数は５個である（図７参照）。従って、評価者重要度算出部１６は、ＩＤ１１番の未評価データに関する評価者Ａの評価者重要度を、５／５＝１．０と算出する。また、共同評価用データの総合評価結果と一致する評価者Ｂの評価結果の数は２個である。従って、評価者重要度算出部１６は、ＩＤ１１番の未評価データに関する評価者Ｂの評価者重要度を、２／５＝０．４と算出する。また、共同評価用データの総合評価結果と一致する評価者Ｃの評価結果の数は３個である。従って、評価者重要度算出部１６は、ＩＤ１１番の未評価データに関する評価者Ｃの評価者重要度を、３／５＝０．６と算出する。ＩＤ１１番の未評価データに関しては、評価者Ａの評価者重要度が一番高い。このことは、ＩＤ１１番の未評価データに関しては、評価者Ａに評価を行わせれば、総合評価結果に最も近い評価結果が得られることを意味する。すなわち、複数の評価者がＩＤ１１番の未評価データを評価しなくても、評価者Ａが評価を行うことで、総合評価結果に近い評価結果が得られることを意味する。
【００５８】
図８を例に説明する。評価者重要度算出部１６は、ＩＤ１２番の未評価データに類似する各共同評価用データの総合評価結果を特定する。例えば、ＩＤ１番の共同評価用データの総合評価結果は、「辞書構築」である（図４参照）。また、ＩＤ１番の共同評価用データに対する各評価者Ａ，Ｂ，Ｃの評価結果はいずれも「辞書構築」である。従って、評価者重要度算出部１６は、ＩＤ１番の共同評価用データの総合評価結果は各評価者Ａ，Ｂ，Ｃの評価結果と一致すると判定する（図８参照）。評価者重要度算出部１６は、ＩＤ１１番の未評価データに類似する他の共同評価用データ（ＩＤ５番、ＩＤ６番、ＩＤ９番、ＩＤ１０番）に関しても、同様の判定を行う。
【００５９】
ＩＤ１２番の未評価データに類似する共同評価用データの数は５個である。また、共同評価用データの総合評価結果と一致する評価者Ａの評価結果の数は３個である（図８参照）。従って、評価者重要度算出部１６は、ＩＤ１２番の未評価データに関する評価者Ａの評価者重要度を、３／５＝０．６と算出する。また、共同評価用データの総合評価結果と一致する評価者Ｂの評価結果の数は４個である。従って、評価者重要度算出部１６は、ＩＤ１２番の未評価データに関する評価者Ｂの評価者重要度を、４／５＝０．８と算出する。また、共同評価用データの総合評価結果と一致する評価者Ｃの評価結果の数は５個である。従って、評価者重要度算出部１６は、ＩＤ１２番の未評価データに関する評価者Ｃの評価者重要度を、５／５＝１．０と算出する。ＩＤ１２番の未評価データに関しては、評価者Ｃの評価者重要度が一番高い。このことは、ＩＤ１２番の未評価データに関しては、評価者Ｃに評価を行わせれば、総合評価結果に最も近い評価結果が得られることを意味する。すなわち、複数の評価者がＩＤ１２番の未評価データを評価しなくても、評価者Ｃが評価を行うことで、総合評価結果に近い評価結果が得られることを意味する。
【００６０】
上記の評価者重要度の算出方法は、総合評価結果と評価者の評価結果との一致の度合を、未評価データに類似する共同評価用データの類似度によって重み付けを行うことによって算出する方法であるということができる。
【００６１】
なお、総合評価結果として、複数種類の特徴データ（特徴語）が得られている場合、そのいずれかの特徴語と、評価者の評価結果とが一致していれば、評価者重要度算出部１６は、総合評価結果と評価者の評価結果とが一致していると判定してよい。
【００６２】
上記の例では、ＩＤ１１番およびＩＤ１２番の未評価データについて、各評価者Ａ，Ｂ，Ｃの評価者重要度を算出する場合を示したが、評価者重要度算出部１６は、他の未評価データに関してもそれぞれ、評価者毎に評価者重要度を算出する。図９は、ＩＤ１１番以降の未評価データ毎に算出した評価者毎に評価者重要度の例である。評価者重要度算出部１６は、未評価データ毎に算出した各評価者の評価者重要度を、重要評価者情報５４として出力する。例えば、評価者重要度算出部１６は、図９に示すように、各未評価データのＩＤと、各評価者の評価者重要度とを対応付けた情報を、重要評価者情報５４として出力すればよい。
【００６３】
なお、類似データ特定部１４が、未評価データに類似する共同評価用データが存在しないと判定する場合もあり得る。この場合、評価者重要度算出部１６は、類似する共同評価用データが存在しない未評価データには、評価者重要度を算出しなくてよい。そして、評価者重要度算出部１６は、その未評価データに関しては、評価者重要度を算出しなかった旨を出力すればよい。
【００６４】
重要評価者情報５４には、例えば、図９に例示にするように、未評価データのＩＤ毎に、各評価者の評価者重要度が示されている。従って、重要評価者情報５４を参照することにより、どの未評価データをどの評価者に評価させることによって、効率的に総合評価結果に近い評価結果を得られるかを判断することができる。具体的には、個々の未評価データ毎に、評価者重要度の値が最も大きい評価者、あるいは、評価者重要度の値が閾値以上である評価者を、未評価データの評価者として決定すればよい。その評価者に未評価データを評価させることで、多人数でその未評価データを評価しなくても総合評価結果に近い評価結果を得ることができる。なお、上記の閾値は予め定めておけばよい。なお、評価者の決定は、人間が行っても、情報処理装置が行ってもよい。また、評価者決定支援装置１０が評価者の決定までの処理を行ってもよい。
【００６５】
また、未評価データに類似する共同評価用データが存在しなかったために、評価者重要度が算出されていない未評価データに関しては、一般的な総合評価結果の導出方法と同様に、複数の評価者にその未評価データを評価させ、例えば、多数決等の所定の基準で、総合評価結果を導出すればよい。
【００６６】
総合評価部１２、類似データ特定部１４および評価者重要度算出部１６は、例えば、プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、コンピュータのプログラム記憶装置（図示略）が評価者決定支援プログラムを記憶し、ＣＰＵがそのプログラムを読み込み、そのプログラムに従って、総合評価部１２、類似データ特定部１４および評価者重要度算出部１６として動作すればよい。また、総合評価部１２、類似データ特定部１４および評価者重要度算出部１６がそれぞれ別々のユニットで実現されていてもよい。
【００６７】
次に、本実施形態の処理経過について説明する。なお、総合評価部１２、類似データ特定部１４および評価者重要度算出部１６の個々の要素の動作の詳細については既に説明したので、適宜省略する。図１０は、本実施形態の処理経過の例を示すフローチャートである。データ集合５２内において予め共同評価用データとして定められたレコードに対して、複数の評価者が評価を行うことによって、各自評価結果５０（例えば、図３に例示する情報）が得られているものとする。総合評価部１２は、各自評価結果５０を入力データとして、共同評価用データ毎に総合評価結果を決定する（ステップＳ１）。総合評価部１２が総合評価結果を決定する方法として、例えば、複数の評価者の評価結果に対して多数決を適用する方法等が挙げられるが、他の方法で総合評価結果を決定してもよい。
【００６８】
次に、類似データ特定部１４は、データ集合５２内の個々の未評価データ毎に、その未評価データとそれぞれの共同評価用データとの間の特徴データの類似度を算出し、類似度に基づいて、特徴データが未評価データの特徴データと類似している共同評価用データを特定する（ステップＳ２）。ステップＳ２では、類似データ特定部１４は、例えば、未評価データを１つずつ順次選択し、選択した未評価データと共同評価用データとの間の特徴データの類似度を算出し、選択した未評価データと特徴データが類似している共同評価用データを特定すればよい。
【００６９】
ステップＳ２において、類似度の算出方法の一例として、未評価データの特徴データおよび共同評価用データの特徴データを特徴ベクトルとして表現し、特徴ベクトル同士のコサイン類似度を算出する方法がある。また、類似度に基づいて、特徴データが未評価データの特徴データと類似している共同評価用データを特定する方法として、例えば、未評価データとの類似度が閾値以上になっている共同評価用データを特定する方法や、類似度の大きい順に所定個の共同評価用データを特定する方法が挙げられる。これらの方法は、例示であり、他の方法で、類似度を算出したり、未評価データと類似している共同評価用データを特定したりしてもよい。
【００７０】
評価者重要度算出部１６は、未評価データ毎に、その未評価データに類似する各共同評価用データの総合評価結果を特定する。例えば、未評価データを１つずつ順次選択し、選択した未評価データに類似する各共同評価用データの総合評価結果を特定すればよい。そして、評価者重要度算出部１６は、各自評価結果５０を参照して、その共同評価用データの総合評価結果と、その共同評価用データに対する各評価者の評価結果が一致しているか否かを判定する。さらに、評価者重要度算出部１６は、評価者毎に、評価者の評価結果が選択した未評価データに類似する各共同評価用データの総合評価結果と一致している割合（評価者重要度）を算出する（ステップＳ３）。ステップＳ３では、選択した未評価データ毎に同様の処理を行う。また、評価者重要度算出部１６は、ステップＳ３において、重要評価者情報５４を出力する。評価者重要度算出部１６は、例えば、図９に示すように、各未評価データのＩＤと、各評価者の評価者重要度とを対応付けた情報を、重要評価者情報５４として出力すればよい。
【００７１】
前述のように、重要評価者情報５４を参照することにより、どの未評価データをどの評価者に評価させることによって、効率的に総合評価結果に近い評価結果を得られるかを判断することができる。具体的には、個々の未評価データに関して、評価者重要度の値が最も大きい評価者、あるいは、評価者重要度の値が閾値以上である評価者が、未評価データに対して総合評価結果と同様の評価結果を導ける評価者であると判断することができる。
【００７２】
未評価データ毎に、評価者重要度の値が最も大きい評価者、あるいは、評価者重要度の値が閾値以上である評価者を決定し、その評価者に未評価データを評価させることで、効率的に総合評価結果と同様の評価結果を導ける。例えば、評価対象が特許文献であり、その特許文献の技術分野を評価する場合、多人数の評価者にその評価を行わせなくても、評価者重要度に基づいて決定された評価者が総合評価結果と同様の技術分野を評価することができる。
【００７３】
このように本発明によれば、多人数に依らずに総合的な評価結果を導き出せる評価者を容易に決定できるようにすることができる。
【００７４】
また、例えば、動画サイトにおいて、視聴者が新しい動画を見たとする。そして、その動画に関して、その視聴者の評価者重要度が算出されていて、その評価者重要度が閾値以上であることが分かれば、その視聴者の端末に、動画に対する評価を促すコメントを表示させたり、他の視聴者のコメントを表示させて評価を促したりすることができる。このような視聴者によって、他者に削除されにくい評価を新しい動画に対していち早く付与することができる。その結果、その動画に対する潜在的な視聴者からのアクセス効率を高める効果が期待できる。
【００７５】
また、評価者重要度の算出方法は前述の方法に限定されない。評価者重要度の他の算出方法の例について説明する。評価者重要度算出部１６は、未評価データと共同用評価用データとの類似度を反映させた評価者重要度を算出してもよい。図１１は、類似度を用いた評価者重要度の算出例を示すための説明図である。図１１は、図７と同様に、ＩＤ１１番の未評価データに類似する共同評価用データ（ＩＤ２番、ＩＤ３番、ＩＤ４番、ＩＤ５番およびＩＤ８番）のＩＤと、その共同評価用データに対する総合評価結果と各評価者の評価結果とが一致しているか否かに関する情報とを示している。さらに、共同評価用データ毎に、着目している未評価データ（ＩＤ１１番）との類似度もそれぞれ示している。本例では、ＩＤ１１番の未評価データと各共同評価用データとの類似度が、図１１に示す値になっているとする。
【００７６】
評価者重要度算出部１６は、着目している未評価データと、その未評価データに類似する各共同評価用データとの類似度の合計を計算する。図１１に示す例では、類似度の合計として、０．９＋０．６＋０．６＋０．７＋０．８＝３．６を算出する。この類似度の合計をＳ１とする。そして、評価者重要度算出部１６は、評価データに類似する各共同評価用データのうち、総合評価結果と評価者自身の評価結果とが一致している共同評価用データを特定し、その共同評価用データについて求められた類似度の合計を、評価者毎に計算する。個々の評価者に関して求めた上記の類似度の合計をＳ２とする。評価者重要度算出部１６は、評価者毎に、Ｓ１に対するＳ２の割合を算出し、その割合を評価者重要度としてもよい。
【００７７】
例えば、評価者Ａに着目すると、総合評価結果と評価者Ａ自身の評価結果とが一致している共同評価用データは、ＩＤ２番、ＩＤ３番、ＩＤ４番、ＩＤ５番およびＩＤ８番である（図１１参照）。評価者重要度算出部１６が、ＩＤ１１番の未評価データとこれらの各共同評価用データの類似度の合計Ｓ２を算出すると、Ｓ２＝０．９＋０．６＋０．６＋０．７＋０．８＝３．６となる。よって、評価者重要度算出部１６は、評価者Ａの評価者重要度を、３．６／３．６＝１．０と算出する。
【００７８】
また、例えば、評価者Ｂに着目すると、総合評価結果と評価者Ｂ自身の評価結果とが一致している共同評価用データは、ＩＤ３番およびＩＤ４番である（図１１参照）。従って、評価者重要度算出部１６は、Ｓ２の値を０．６＋０．６＝１．２と算出する。よって、評価者重要度算出部１６は、評価者Ｂの評価者重要度を、１．２／３．６＝０．３３と算出する。
【００７９】
また、例えば、評価者Ｃに着目すると、総合評価結果と評価者Ｃ自身の評価結果とが一致している共同評価用データは、ＩＤ２番、ＩＤ５番およびＩＤ８番である（図１１参照）。従って、評価者重要度算出部１６は、Ｓ２の値を０．９＋０．７＋０．８＝２．４と算出する。よって、評価者重要度算出部１６は、評価者Ｃの評価者重要度を、２．４／３．６＝０．６６と算出する。
【００８０】
ここでは、ＩＤ１１番の未評価データに関して、各評価者の評価者重要度を算出する場合を示したが、評価者重要度算出部１６は、他の未評価データに関しても同様に評価者毎の評価者重要度を算出すればよい。
【００８１】
上記のように類似度を用いて評価者重要度を算出することで、未評価データに類似する共同評価用データの中でも、より未評価データに類似している共同評価用データについて総合評価結果と同一の評価を下している評価者と、そうでない評価者との評価者重要度の差を大きくすることができる。その結果、より未評価データに類似している共同評価用データについて総合評価結果と同一の評価を下している評価者を重視することができる。
【００８２】
例えば、上記のように類似度を用いて計算した評価者Ｂの評価者重要度は０．３３であり、類似度を用いずに算出したＩＤ１１番における評価者Ｂの評価者重要度０．４（図９参照）よりも低くなっている。このように、類似度を用いて計算した評価者重要度によれば、評価者ＢがＩＤ１１番の評価に向いていないことを、より推定しやすくなる。
【００８３】
実施形態２．
図１２は、本発明の第２の実施形態の評価者決定支援装置の例を示すブロック図である。第１の実施形態と同様の要素については、図１と同一の符号を付し、説明を省略する。本実施形態の評価者決定支援装置は、総合評価部１２と、類似データ特定部１４と、評価者重要度算出部１６と、アクティブラーニング部１８と、評価者重要度補正部２０と、評価結果入力部２２とを備える。総合評価部１２、類似データ特定部１４および評価者重要度算出部１６は、第１の実施形態と同様であり、説明を省略する。なお、本実施形態では、評価者重要度算出部１６は、重要評価者情報５４を評価者重要度補正部２０に入力する。
【００８４】
第２の実施形態では、評価者決定支援装置にアクティブラーニングを適用することで、総合的な評価基準で分類や回帰が可能なモデルを効率的に構築することを可能としている。アクティブラーニングとは、判定が困難な未評価データを評価者に提示し、評価結果に基づいて再度、モデルを強化する枠組みである。本実施形態において、モデルは、特徴データと評価結果との関係を表す情報である。モデルの一例として、特徴データに基づいてどの評価結果に該当するのかを分類するための分類器が挙げられる。また、モデルは数理モデルであっても、他のモデルであってもよい。本実施形態の評価者決定支援装置は、未評価結果に対する評価が行われ、評価結果が増加するにつれ、モデルを強化する（すなわち、モデルの精度を向上させる。）。
【００８５】
本実施形態では、モデルの精度を高めるのに寄与する未評価データを選択する指標となる値（後述の評価意義度）を算出する。そして、総合評価結果と同様の評価をすることが可能な評価者に、モデルの精度を高めるのに寄与する未評価データを提示し、その評価者にその未評価データを評価させる。この評価が行われたデータ（評価済みデータ５８）を用いて、モデルが強化される。第１の実施形態と同様に、総合評価結果と同様の評価をすることが可能な評価者に未評価データの評価を行わせることができるので、評価回数を減らして、効率的に、総合評価結果と同様の評価結果を得ることができる。さらに、特徴データと評価結果との関係を表すモデルの精度を効率的に高めることができる。
【００８６】
以下に示す例においても、特許文献に対する評価を行って特許文献を分類する場合を例にして説明する。ただし、本例では、説明を簡単にするために、特許文献を「重要である」または「重要でない」のいずれかに分類するものとする。従って、本例では、特許文献に対する評価は、「重要である」または「重要でない」の２種類である。また、これに合わせて、本例では、モデルが２値の分類器である場合を例にする。
【００８７】
アクティブラーニング部１８は、評価済みデータ５８と、データ集合５２とを入力情報として、特徴データと評価結果との関係を学習し、モデルを作成する。評価済みデータ５８は、評価者によって評価が行われたデータであり、評価結果を含む。なお、評価済みデータ５８を記憶する記憶装置（評価済みデータ記憶部。図示略。）を評価者決定支援装置が備えていてもよい。初期状態では、アクティブラーニング部１８は、各自評価結果５０（または、各自評価結果５０から得られた総合評価結果）を評価済みデータ５８として用いることによって、モデルを作成すればよい。
【００８８】
また、アクティブラーニング部１８は、データ集合５２内の未評価データ毎に、評価が行われることで次回のモデル作成時にモデルの精度向上にどの程度寄与するかを定量化する。この定量化した値を評価意義度と記す。評価意義度が高いほど、次回のモデル作成時にモデルの精度向上に寄与する程度が大きく、評価意義度が低いほど、モデルの精度向上に寄与する程度が小さい。アクティブラーニング部１８は、未評価データ毎に導出した評価意義度を評価者重要度補正部２０に入力する。
【００８９】
評価意義度は、評価者重要度の補正に用いられ、補正後の評価者重要度によって、評価者に評価させるべき未評価データが選択される。従って、評価意義度は、評価者に評価させるべき未評価データを選択するために用いられているということができる。また、選択された未評価データは、その評価結果とともに、評価済みデータ５８として次回のモデルの作成の際に用いられる。なお、評価者重要度の補正は、評価者重要度補正部２０が行う。また、評価者に評価させるべき未評価データの選択や、その未評価データに対する評価結果の入力の受け付けは、評価結果入力部２２が行う。
【００９０】
アクティブラーニング部１８は、例えば、公知の方法で評価意義度を導出すればよい。評価意義度を導出する方法の一例が以下の参考文献に記載されている。アクティブラーニング部１８は、以下の参考文献に記載された方法で評価意義度を導出してもよい。
【００９１】
［参考文献］
Sanjoy Dasgupta, Adam Tauman Kalai, Claire Monteleoni, “Analysis of Perceptron-Based Active Learning”, The Journal of Machine Learning Research, Vol 10, pp.281-299, ２００９年
【００９２】
図１３は、評価意義度の導出を模式的に示す説明図である。図１３内に示す個々の“○”は、評価対象となる特許文献を表す。そして、“＋”または“−”の記号とともに表された“○”は評価済みの特許文献を表す。“＋”は、「重要である」という評価結果を意味し、“−”は、「重要でない」という評価結果を意味する。“＋”および“−”の何れも付加されていない“○”は未評価の特許文献（未評価データ）である。識別境界７０は、モデル（本例では２値の分類器）によって定められる。評価者による人手の評価ではなく、モデルを用いて分類する場合には、未評価データが識別境界のどちら側に該当するかにより、「重要である」か「重要でない」かに分類される。図１３に示す状況では、識別境界７０を基準として、「重要である」と評価された特許文献と同じ側の未評価データは「重要である」と判定され、「重要でない」と評価された特許文献と同じ側の未評価データは「重要でない」と判定される。
【００９３】
ここでは、説明を簡単にするために、未評価データ７１，７２に着目する。未評価データ７１は、モデルにより「重要でない」と判定されることになるが、識別境界７０が少しずれると、「重要である」と判定されることになる。また、未評価データ７２は、識別境界７０が少しずれても、モデルによる判定結果は変化しないと考えられる。そのため、より精度の高い識別境界を定めるには、未評価データ７１について、実際に評価者が人手で評価を行い、その評価結果に基づいて、モデルを再度作成することが好ましい。すなわち、未評価データ７１，７２の比較では、識別境界７０に近い未評価データ７１を実際に評価した方が、モデルの精度の向上に寄与すると考えられる。
【００９４】
上記の例では、未評価データ７１，７２を参照して説明したが、アクティブラーニング部１８は以下のように評価意義度を導出すればよい。すなわち、アクティブラーニング部１８は、個々の未評価データについて、未評価データと識別境界７０との距離の近さを定量化し、未評価データと識別境界７０との距離が近いほど評価意義度の値を大きく定め、未評価データと識別境界７０との距離が遠いほど評価意義度の値を小さく定めればよい。
【００９５】
アクティブラーニング部１８は、初期状態では、各自評価結果５０（または、各自評価結果５０から得られた総合評価結果）を評価済みデータ５８として用いることによって、モデルを作成すればよい。ここで、モデルの作成には２つの方法がある。
【００９６】
モデルを作成する第１の方法は、各自評価結果５０から得られた総合評価結果を評価済みデータ５８とみなして、学習データとして利用する方法である。この方法により、アクティブラーニング部１８は、総合評価結果に対する一つのモデルを作成できる。なお、未評価データの特徴データをこのモデルに入力することによって、総合評価結果を推定することができるが、モデルによる総合評価結果の推定は、本発明の特徴的事項でないので、説明を省略する。
【００９７】
また、第１の方法を用いる場合、アクティブラーニング部１８は、未評価データ毎に１つの評価意義度を導出する。図１４は、未評価データ毎に１つの評価意義度を導出した場合の評価意義度の例を示す。図１４において“ＩＤ”として示した値は特許文献のＩＤであり、図２に示すＩＤの値に対応する。図１４に示す例では、ＩＤ１１番以降の未評価データに対してそれぞれ１つの評価意義度を導出している。
【００９８】
モデルを作成する第２の方法は、各々の評価者の各自評価結果を評価済みデータ５８とみなして、学習データとして利用する方法である。この方法では、アクティブラーニング部１８は、評価者の人数分のモデル群を作成する。このように評価者の人数分のモデル群を作成した場合には、未評価データの特徴データをそれぞれのモデルに入力して得られた各評価結果の推定値から総合評価結果を推定することができるが、前述のように、モデルによる総合評価結果の推定は、本発明の特徴的事項でないので、説明を省略する。
【００９９】
また、第２の方法を用いる場合、アクティブラーニング部１８は、未評価データ毎に、評価者の人数分の評価意義度を導出する。図１５は、未評価データ毎に、評価者の人数分の評価意義度を導出した場合の評価意義度の例を示す。図１５に示すＩＤの値は図１４と同様であり、図１５に示す例では、ＩＤ１１番以降の未評価データに対してそれぞれ評価者毎の評価意義度を導出している。また、図１５に示すＡ，Ｂ，Ｃは、図９に示す評価者のＩＤと対応しているものとする。
【０１００】
評価者重要度補正部２０は、アクティブラーニング部１８から入力される評価意義度に基づいて、評価者重要度算出部１６が算出した評価者重要度の値を補正する。すなわち、評価者重要度算出部１６から入力される重要評価者情報５４に含まれる評価者重要度の値を、評価意義度に基づいて補正する。評価者重要度の値を補正した重要評価者情報５４を、補正後重要評価者情報５６と記す。評価者重要度補正部２０は、補正の結果得た補正後重要評価者情報５６を評価結果入力部２２に入力する。
【０１０１】
重要評価者情報５４には、各未評価データにおける評価者重要度が評価者毎に含まれている。評価者重要度は、ある評価者がある未評価データをどれだけ総合的な評価基準で評価できるかを定量化したものである。また、アクティブラーニング部１８が導出する評価意義度は、どの未評価データが次のモデル作成の際にモデルの精度向上に寄与するかを定量化したものである。そのため、未評価データ毎に、評価者重要度および評価意義度がそれぞれ高ければ評価者重要度をより高くする演算を行うことで、総合評価結果と同様の評価結果を下すことができる評価者に、モデルの精度向上に寄与する未評価データを提示する指標として用いることができる。
【０１０２】
具体的には、評価者重要度補正部２０は、例えば、各々の未評価データにおける評価者重要度と評価意義度との相加平均または相乗平均を補正後の評価者重要度としてもよい。また、『「評価者重要度＞０．６ かつ 評価意義度＞０．８」という条件が成立しているならば、評価者重要度に０．２を加算する』等のルールに従って、評価者重要度を補正してもよい。なお、個々で示したルールや、ルール内の数値は例示であり、他のルールによって評価者重要度を補正してもよい。
【０１０３】
また、評価者重要度補正部２０による補正の態様は、未評価データ毎に評価意義度が１つずつ導出されているか、あるいは、未評価データ毎に評価者の人数分導出されているかによって異なる。
【０１０４】
まず、未評価データ毎に評価意義度が１つずつ導出されている場合の補正態様について説明する。ここでは、評価者重要度として図９に示す値が算出されており、また、評価意義度として、図１４に示す値が求められているものとする。また、評価者重要度補正部２０が評価者重要度と評価意義度との平均値を、補正後の評価者重要度とする場合を例にする。
【０１０５】
評価者重要度補正部２０は、未評価データを１つずつ順に選択し、選択した評価データに関して求められた各評価者の評価者重要度と、評価意義度を特定する。そして、評価者重要度補正部２０は、選択した評価データに関して、各評価者の評価者重要度毎に、評価者重要度と評価意義度との平均値を計算し、その平均値を補正後の評価者重要度とする。例えば、評価意義度と評価者Ａの評価者重要度との平均値を、評価者Ａの補正後の評価者重要度とする。評価者Ｂ，Ｃの評価者重要度についても同様に補正する。評価者重要度補正部２０は、各未評価データを順次選択し、同様の処理を行う。そして、評価者重要度を補正して得た補正後重要評価者情報５６を評価結果入力部２２に入力する。
【０１０６】
図１６は、この場合の補正後重要評価者情報５６の例を示す。例えば、ＩＤ１１番に着目すると、評価者Ａの補正後の評価者重要度“０．６５”は、評価者Ａの補正前の評価者重要度“１．０（図９参照）”と、ＩＤ１１番に対応する評価意義度“０．３（図１４参照）”との平均値である。他の補正後の評価者重要度に関しても同様である。本補正によって、評価意義度が高いほど、評価者重要度が他の評価者重要度に比べて相対的に高くなるように補正できる。
【０１０７】
次に、未評価データ毎に評価者の人数分導出されている場合の補正態様について説明する。ここでは、評価者重要度として図９に示す値が算出されており、また、評価意義度として、図１５に示す値が求められているものとする。本例でも、評価者重要度補正部２０が評価者重要度と評価意義度との平均値を補正後の評価者重要度とする場合を例にする。
【０１０８】
評価者重要度補正部２０は、未評価データを１つずつ順に選択し、選択した評価データに関して求められた各評価者の評価者重要度と、各評価者に対応する評価意義度を特定する。そして、評価者重要度補正部２０は、選択した評価データについて、共通の評価者に関する評価者重要度と評価意義度との平均値を計算し、その平均値をその評価者の補正後の評価者重要度とする。例えば、評価者Ａの評価者重要度と評価者Ａの評価意義度との平均値を、評価者Ａの補正後の評価者重要度とする。評価者Ｂ，Ｃの評価者重要度についても同様に補正する。評価者重要度補正部２０は、各未評価データを順次選択し、同様の処理を行う。そして、評価者重要度を補正して得た補正後重要評価者情報５６を評価結果入力部２２に入力する。
【０１０９】
図１７は、この場合補正後重要評価者情報５６の例を示す。例えば、ＩＤ１１番に着目すると、評価者Ａの補正後の評価者重要度“０．７５”は、評価者Ａの補正前の評価者重要度“１．０（図９参照）”と、評価者Ａに対応する評価意義度“０．５（図１５参照）” との平均値である。他の補正後の評価者重要度に関しても同様である。本補正によって、評価意義度が高いほど、評価者重要度が他の評価者重要度に比べて相対的に高くなるように補正できる。
【０１１０】
評価結果入力部２２は、補正後重要評価者情報５６に基づいて、どの評価者に対してどの未評価データを提示するかを決定し、その決定に従って未評価データを評価者に提示する。
【０１１１】
評価結果入力部２２は、特定の評価者に評価させる未評価データを以下のように決定すればよい。評価結果入力部２２は、補正後重要評価者情報５６から、未評価データのＩＤを、１つずつ順に選択する。そして、評価結果入力部２２は、選択した未評価データのＩＤに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度と特定し、その評価者重要度が予め定められた閾値より大きい値であるか否かを判定する。評価結果入力部２２は、選択したＩＤに対応する評価者重要度の最大値が閾値よりも大きければ、そのＩＤの未評価データを、その最大の評価者重要度に対応する評価者に評価させると決定する。評価意義度が高いほど、相対的に高くなるように補正された評価者重要度が、閾値より高いと言うことは、選択したＩＤの未評価データは、次回のモデル作成時にモデルの精度向上に寄与すると言える。また、選択したＩＤに関して、評価者重要度が最大となっている評価者に評価させるので、そのような未評価データに対して、総合評価結果と同様の評価が行われることが期待できる。
【０１１２】
選択した未評価データのＩＤに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度が予め定められた閾値以下である場合、評価結果入力部２２は、その未評価データの評価者への提示を保留する。評価意義度が高いほど、相対的に高くなるように補正された評価者重要度が、閾値以下である場合、その未評価データは、モデルの精度向上への寄与の程度が低いと言える。なお、最大の評価者重要度が閾値以下であるということは、そのＩＤに対応付けられた各評価者の評価者重要度がいずれも閾値以下であるということである。
【０１１３】
ただし、特定の評価者に提示すると決定した未評価データが存在しない場合には、評価結果入力部２２は、提示を保留とした未評価データを複数の評価者（各評価者）に提示すると決定する。各評価者重要度が閾値以下である未評価データについては、評価者が総合評価結果と同様の評価をしない可能性もあり得る。よって、本実施形態では、評価結果入力部２２は、そのような未評価データについては、各評価者に提示すると決定する。
【０１１４】
また、評価結果入力部２２は、類似する共同評価用データが存在しないと類似データ特定部１４によって判定され、評価者重要度算出部１６によって各評価者の評価者重要度が算出されなかった未評価データについても、複数の評価者（各評価者）に提示すると決定してもよい。
【０１１５】
評価結果入力部２２によって未評価データを提示された評価者は、その未評価データを評価者自身の基準で評価する。本例では、未評価データ（特許文献の特徴語）に基づいて、その特許文献が重要であるか否かを評価する。そして、評価結果入力部２２は、評価者による評価結果を入力され、表示した未評価データと、入力された評価結果とを対応付けて、例えば、評価済みデータ記憶部（図示略）に記憶させる。評価の行われた未評価データとその評価結果は、評価済みデータ５８として用いられる。
【０１１６】
評価結果入力部２２が評価者に未評価データを提示し、評価結果を得る態様の一例を説明する。評価結果入力部２２は、未評価データを提示する評価者を決定した場合、その評価者の端末に、その未評価データの評価を依頼する電子メールを送信すればよい。なお、各評価者のメールアドレスは、予め記憶装置（図示略）に記憶させておければよい。また、評価結果入力部２２は、電子メールを送信した評価者からのログインを受け付けたときに、その評価者の端末に、評価を依頼した未評価データを表示するとともに、その評価結果を入力するインタフェースを含むＷｅｂページの画面情報を送信してもよい。そして、評価結果入力部２２は、そのＷｅｂページに入力された評価結果を、評価者の端末から通信ネットワークを介して受信してもよい。本例は、評価結果入力部２２が評価者に未評価データを提示し、評価結果を得る態様の一例であり、評価結果入力部２２が評価者に未評価データを提示し、評価結果を得る態様は、上記の例に限定されない。
【０１１７】
また、評価結果入力部２２は、評価の行われた未評価データその評価結果との組を新たに評価済みデータ記憶部（図示略）に記憶させた数をカウントし、そのカウント結果が、予め定めた閾値以上になったとき、すなわち、新たに発生した評価済みデータ５８の数が閾値以上になったときに、アクティブラーニング部１８に、評価済みデータ５８を用いて、モデルを作成させ、残っている未評価データの評価意義度を再度算出させる。
【０１１８】
総合評価部１２、類似データ特定部１４、評価者重要度算出部１６、アクティブラーニング部１８、評価者重要度補正部２０および評価者入力部２２は、例えば、プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、コンピュータのプログラム記憶装置（図示略）が評価者決定支援プログラムを記憶し、ＣＰＵがそのプログラムを読み込み、そのプログラムに従って、総合評価部１２、類似データ特定部１４、評価者重要度算出部１６、アクティブラーニング部１８、評価者重要度補正部２０および評価者入力部２２として動作すればよい。また、これらの要素がそれぞれ別々のユニットで実現されていてもよい。
【０１１９】
次に、本実施形態の処理経過について説明する。図１８は、本実施形態の処理経過の例を示すフローチャートである。第１の実施形態と同様の処理については、図１０に示すフローチャートと同様の符号を付し、説明を省略する。また、アクティブラーニング部１８、評価者重要度補正部２０、評価結果入力部２２の個々の動作の詳細についても既に説明したので、適宜省略する。
【０１２０】
ステップＳ１〜Ｓ３の処理は、第１の実施形態と同様である。また、アクティブラーニング部１８は、評価済みデータ５８とデータ集合５２とを参照して、特徴データと評価結果との関係を表すモデルを作成し、未評価データの評価意義度を求める（ステップＳ４）。なお、初期状態では、アクティブラーニング部１８は、各自評価結果５０（または、各自評価結果５０から得られた総合評価結果）を評価済みデータ５８として用いてモデルを作成する。
【０１２１】
そして、ステップＳ３，Ｓ４がそれぞれ終了した後、アクティブラーニング部１８から入力される評価意義度に基づいて、評価者重要度算出部１６が算出した評価者重要度の値を補正する（ステップＳ５）。ステップＳ５では、例えば、評価意義度が高いほど、評価者重要度が相対的に高くなるように、評価者重要度を補正する。
【０１２２】
次に、評価結果入力部２２は、補正後重要評価者情報５６に基づいて、どの評価者に対してどの未評価データを提示するかを決定し、その決定に従って未評価データを評価者に提示する（ステップＳ６）。評価者は提示された未評価データに対する評価を行い、その評価結果を入力する。
【０１２３】
評価結果入力部２２は、評価結果が入力されると、提示した未評価データとその評価結果との組を評価済みデータ５８として記録する（ステップＳ７）。そして、評価済みデータ５８の数が閾値以上になると、アクティブラーニング部１８に、その評価済みデータ５８を用いてモデルを作成させ、また、残っている未評価データの評価意義度を求めさせる。
【０１２４】
この結果、アクティブラーニング部１８、評価者重要度候補部２０および評価結果入力部２２は、ステップＳ４〜Ｓ７のループ処理を繰り返す。
【０１２５】
本実施形態によれば、第１の実施形態と同様に、多人数に依らずに総合的な評価結果を導き出せる評価者を容易に決定できるようにすることができる。
【０１２６】
また、本実施形態では、アクティブラーニング部１８が、未評価データ毎に、評価が行われることで次回のモデル作成時にモデルの精度向上にどの程度寄与するかを示す評価意義度を求める。そして、評価者重要度補正部２０が評価意義度により評価者重要度を補正し、評価結果入力部２２が、どの評価者に対してどの未評価データを提示するかを決定する。従って、特徴データと評価結果との関係を表すモデルの精度向上に寄与する新たな評価結果を得ることができ、モデルの精度を向上させることができる。
【０１２７】
なお、第１の実施形態の評価者決定支援装置（図１参照。）が、評価結果入力部２２を備え、評価結果入力部２２が、どの評価者に対してどの未評価データを提示するかを決定し、その決定に従って未評価データを評価者に提示してもよい。この場合、評価結果入力部２２は、評価者重要度算出部１６が算出した評価者重要度を参照して、どの評価者に対してどの未評価データを提示するかを決定すればよい。評価意義度による補正が行われていない評価者重要度を参照するという点以外は、第２の実施形態と同様である。すなわち、評価結果入力部２２は、未評価データのＩＤを、１つずつ順に選択する。そして、評価結果入力部２２は、選択した未評価データのＩＤに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度と特定し、その評価者重要度が予め定められた閾値より大きい値であるか否かを判定する。評価結果入力部２２は、選択したＩＤに対応する評価者重要度の最大値が閾値よりも大きければ、そのＩＤの未評価データを、その最大の評価者重要度に対応する評価者に評価させると決定する。また、選択した未評価データのＩＤに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度が予め定められた閾値以下である場合、評価結果入力部２２は、その未評価データの評価者への提示を保留する。ただし、特定の評価者に提示すると決定した未評価データが存在しない場合には、評価結果入力部２２は、提示を保留とした未評価データを複数の評価者（各評価者）に提示すると決定する。また、類似する共同評価用データが存在せず、各評価者の評価者重要度が算出されなかった未評価データについても、複数の評価者（各評価者）に提示すると決定してもよい。
【０１２８】
次に、本発明の最小構成について説明する。図１９は、本発明の評価者決定支援装置の最小構成の例を示すブロック図である。本発明の評価者決定支援装置は、総合評価結果判定手段９１と、類似データ判定手段９２と、総合評価結果導出度算出手段９３とを備える。
【０１２９】
総合評価結果判定手段９１（例えば、総合評価部１２）は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合（例えば、データ集合５２）の部分集合に該当する各評価対象データ（例えば、共同評価用データ）に対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する。
【０１３０】
類似データ判定手段９２（例えば、類似データ特定部１４）は、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する。
【０１３１】
総合評価結果導出度算出手段９３（例えば、評価者重要度算出部１６）は、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度（例えば、評価者重要度）を算出する。
【０１３２】
そのような構成により、多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる。
【０１３３】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
【０１３４】
（付記１）評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合（例えば、データ集合５２）の部分集合に該当する各評価対象データ（例えば、共同評価用データ）に対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定手段（例えば、総合評価部１２）と、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定手段（例えば、類似データ特定部１４）と、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度（例えば、評価者重要度）を算出する総合評価結果導出度算出手段（例えば、評価者重要度算出部１６）とを備えることを特徴とする評価者決定支援装置。
【０１３５】
（付記２）総合評価結果導出度算出手段は、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を、前記各評価対象データに対して算出された類似度による重み付けを行って算出する付記１に記載の評価者決定支援装置。
【０１３６】
（付記３）特徴データと評価結果との関係を表すモデルを作成し、未評価の評価対象データ毎に、評価が行われることで前記モデルの精度向上に寄与する度合を表す評価意義度を導出する評価意義度導出手段（例えば、アクティブラーニング部１８）と、
未評価の評価対象データ毎に、評価意義度を用いて、総合評価結果導出度を補正する総合評価結果導出度補正手段（例えば、評価者重要度補正部２０）とを備える付記１または付記２に記載の評価者決定支援装置。
【０１３７】
（付記４）未評価の評価対象データ毎に、各評価者の総合評価結果導出度の最大値を特定し、当該最大値が予め定められた閾値を越えることを条件に、前記最大値となる総合評価結果導出度に対応する評価者に未評価データを評価させると判定する評価者決定手段（例えば、評価結果入力部２２）を備える付記１から付記３のうちのいずれかに記載の評価者決定支援装置。
【０１３８】
（付記５）評価者決定手段は、各評価者の総合評価結果導出度がいずれも閾値以下である未評価データを各評価者に評価させると決定する付記４に記載の評価者決定支援装置。
【０１３９】
（付記６）評価者決定手段は、類似する評価対象データがないと類似データ判定手段によって判定された未評価データを各評価者に評価させると決定する付記４または付記５に記載の評価者決定支援装置。
【０１４０】
（付記７）類似データ判定手段は、未評価の評価対象データとの間で特徴データ同士の類似度が閾値以上となっている評価対象データを、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データであると判定する付記１から付記６のうちのいずれかに記載の評価者決定支援装置。
【０１４１】
（付記８）総合評価結果判定手段は、評価対象データの集合の部分集合に該当する評価対象データ毎に、最も多くの評価者によって導かれた評価結果を総合評価結果と判定する付記１から付記７のうちのいずれかに記載の評価者決定支援装置。
【０１４２】
（付記９）総合評価結果判定手段は、評価対象データの集合の部分集合に該当する評価対象データ毎に、一の評価者が評価した評価結果が、所定の期間が経過しても他の評価者によって不同意とされていない（例えば、削除されていない）と判定した場合に、前記一の評価者の評価結果を総合評価結果と判定する付記１から付記７のうちのいずれかに記載の評価者決定支援装置。
【０１４３】
（付記１０）評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定し、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定し、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出することを特徴とする評価者決定支援方法。
【０１４４】
（付記１１）コンピュータに、評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定処理、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定処理、および、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出処理を実行させるための評価者決定支援プログラム。
【産業上の利用可能性】
【０１４５】
本発明は、評価対象を評価させる評価者の決定を容易に行えるようにする評価者決定支援装置に好適に適用可能である。
【符号の説明】
【０１４６】
１０ 評価者決定支援装置
１２ 総合評価部
１４ 類似データ特定部
１６ 評価者重要度算出部
１８ アクティブラーニング部
２０ 評価者重要度補正部
２２ 評価結果入力部
【特許請求の範囲】
【請求項１】
評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定手段と、
評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定手段と、
未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出手段とを備える
ことを特徴とする評価者決定支援装置。
【請求項２】
総合評価結果導出度算出手段は、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を、前記各評価対象データに対して算出された類似度による重み付けを行って算出する
請求項１に記載の評価者決定支援装置。
【請求項３】
特徴データと評価結果との関係を表すモデルを作成し、未評価の評価対象データ毎に、評価が行われることで前記モデルの精度向上に寄与する度合を表す評価意義度を導出する評価意義度導出手段と、
未評価の評価対象データ毎に、評価意義度を用いて、総合評価結果導出度を補正する総合評価結果導出度補正手段とを備える
請求項１または請求項２に記載の評価者決定支援装置。
【請求項４】
未評価の評価対象データ毎に、各評価者の総合評価結果導出度の最大値を特定し、当該最大値が予め定められた閾値を越えることを条件に、前記最大値となる総合評価結果導出度に対応する評価者に未評価データを評価させると判定する評価者決定手段を備える
請求項１から請求項３のうちのいずれか１項に記載の評価者決定支援装置。
【請求項５】
評価者決定手段は、各評価者の総合評価結果導出度がいずれも閾値以下である未評価データを各評価者に評価させると決定する
請求項４に記載の評価者決定支援装置。
【請求項６】
評価者決定手段は、類似する評価対象データがないと類似データ判定手段によって判定された未評価データを各評価者に評価させると決定する
請求項４または請求項５に記載の評価者決定支援装置。
【請求項７】
類似データ判定手段は、
未評価の評価対象データとの間で特徴データ同士の類似度が閾値以上となっている評価対象データを、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データであると判定する
請求項１から請求項６のうちのいずれか１項に記載の評価者決定支援装置。
【請求項８】
総合評価結果判定手段は、
評価対象データの集合の部分集合に該当する評価対象データ毎に、最も多くの評価者によって導かれた評価結果を総合評価結果と判定する
請求項１から請求項７のうちのいずれか１項に記載の評価者決定支援装置。
【請求項９】
評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定し、
評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定し、
未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する
ことを特徴とする評価者決定支援方法。
【請求項１０】
コンピュータに、
評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定処理、
評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定処理、および、
未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出処理
を実行させるための評価者決定支援プログラム。
【請求項１】
評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定手段と、
評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定手段と、
未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出手段とを備える
ことを特徴とする評価者決定支援装置。
【請求項２】
総合評価結果導出度算出手段は、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を、前記各評価対象データに対して算出された類似度による重み付けを行って算出する
請求項１に記載の評価者決定支援装置。
【請求項３】
特徴データと評価結果との関係を表すモデルを作成し、未評価の評価対象データ毎に、評価が行われることで前記モデルの精度向上に寄与する度合を表す評価意義度を導出する評価意義度導出手段と、
未評価の評価対象データ毎に、評価意義度を用いて、総合評価結果導出度を補正する総合評価結果導出度補正手段とを備える
請求項１または請求項２に記載の評価者決定支援装置。
【請求項４】
未評価の評価対象データ毎に、各評価者の総合評価結果導出度の最大値を特定し、当該最大値が予め定められた閾値を越えることを条件に、前記最大値となる総合評価結果導出度に対応する評価者に未評価データを評価させると判定する評価者決定手段を備える
請求項１から請求項３のうちのいずれか１項に記載の評価者決定支援装置。
【請求項５】
評価者決定手段は、各評価者の総合評価結果導出度がいずれも閾値以下である未評価データを各評価者に評価させると決定する
請求項４に記載の評価者決定支援装置。
【請求項６】
評価者決定手段は、類似する評価対象データがないと類似データ判定手段によって判定された未評価データを各評価者に評価させると決定する
請求項４または請求項５に記載の評価者決定支援装置。
【請求項７】
類似データ判定手段は、
未評価の評価対象データとの間で特徴データ同士の類似度が閾値以上となっている評価対象データを、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データであると判定する
請求項１から請求項６のうちのいずれか１項に記載の評価者決定支援装置。
【請求項８】
総合評価結果判定手段は、
評価対象データの集合の部分集合に該当する評価対象データ毎に、最も多くの評価者によって導かれた評価結果を総合評価結果と判定する
請求項１から請求項７のうちのいずれか１項に記載の評価者決定支援装置。
【請求項９】
評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定し、
評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定し、
未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する
ことを特徴とする評価者決定支援方法。
【請求項１０】
コンピュータに、
評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定処理、
評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定処理、および、
未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出処理
を実行させるための評価者決定支援プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−８１４１（Ｐ２０１３−８１４１Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３９５３７（Ｐ２０１１−１３９５３７）
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
[ Back to top ]