情報管理装置、情報管理方法及び情報管理プログラム
【課題】会議などのコミュニティで用いられた複数文書間を適切に対応付ける。
【解決手段】スクリーンに表示された複数の文書データを特定する動作履歴データを生成する動作入力部と、複数の文書データのうちそれぞれの文書データ表示時に利用者が発した音声及び利用者の動作を入力する入力部と、利用者が発話または動作を行ったときの状況を判定する状況判定部と、一の文書データに対する利用者の動作又は状況と、他の文書データに対する利用者の動作又は状況と、一の文書データと他の文書データの文書間関係と、を対応付けた状況対応記憶部と、状況対応記憶部に基づいて、特定された複数の文書データ間の文書間関係を取得する文書関係取得部と、一の文書データと、他のの文書データと、取得した文書間関係と、を対応付けて記憶する文書関係記憶部と、を備える。
【解決手段】スクリーンに表示された複数の文書データを特定する動作履歴データを生成する動作入力部と、複数の文書データのうちそれぞれの文書データ表示時に利用者が発した音声及び利用者の動作を入力する入力部と、利用者が発話または動作を行ったときの状況を判定する状況判定部と、一の文書データに対する利用者の動作又は状況と、他の文書データに対する利用者の動作又は状況と、一の文書データと他の文書データの文書間関係と、を対応付けた状況対応記憶部と、状況対応記憶部に基づいて、特定された複数の文書データ間の文書間関係を取得する文書関係取得部と、一の文書データと、他のの文書データと、取得した文書間関係と、を対応付けて記憶する文書関係記憶部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数人が集合した際に表示されたデータを管理する情報管理装置、情報管理方法及び情報管理プログラムに関するものである。
【背景技術】
【０００２】
従来から、文書を管理するために様々な技術が提案されている。例えば、文書の属性を判定して、判定された属性を文書に付加する技術がある。この技術を用いて文書に付加された属性は、文書の検索、ある文書に関係する他の文書の表示、文書に関係する情報の表示、又は文書の表示方式の変更など様々な用途に用いられている。
【０００３】
例えば、特許文献１においては、会議中の音声情報から検出された発言と、当該発言がなされたときに表示されていた会議資料とに基づいて、発言から抽出された属性を会議資料に付加する等の提案がなされている。
【０００４】
文書に対して属性を付加する以外の例としては、複数の文書間の意味的な関係を抽出して関連付ける技術がある。この文書間を関連づける技術の例としては、文書に対して自然言語処理を行うことで文書の特徴を判別し、判別された特徴を比較して文書間の類似性を判定することで、文書間を関連づけることができる。このように文書間を関連づけることで、関連文書の検索を実現することができる。
【０００５】
例えば、特許文献２においては、会議中に使用された資料について、当該資料を表示した際に利用者が発した言葉を音声認識し、自然言語処理手法により音声認識より得られた文字列と当該資料に含まれている所定の部分との間を索引付けする技術が提案されている。
【０００６】
【特許文献１】特開平１１−２７２６７９号公報
【特許文献２】特開２００５−２６６９８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した特許文献２に記載された技術では、会議中に発せられた音声に基づいて、当該会議中に用いられた複数の文書間の関係を適切に抽出することはできない。
【０００８】
また、文書を自然言語処理で解析した場合、複数の文書間の類似度等は算出できるが、会議において概要と詳細にあたる文書間の関係や、質問と回答にあたる文書間の関係などは適切に抽出することはできない。
【０００９】
本発明は、上記に鑑みてなされたものであって、会議などのコミュニティで用いられた複数のデータ間を適切に対応付ける情報管理装置、情報管理方法及び情報管理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明にかかる情報管理装置は、表示装置に表示された複数のデータを特定する特定部と、特定された前記複数のデータのうち、それぞれのデータが表示されているときに利用者が行ったアクションを入力する入力部と、利用者が前記アクションを行っているときの状況を判定する状況判定部と、複数のデータのうち、一のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、他のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、の関係に応じて、前記一のデータ及び前記他のデータ間のデータ関係を定義する状況対応情報を記憶する記憶部と、前記記憶部に記憶された前記状況対応情報に基づいて、特定された複数のデータから、前記一のデータと前記他のデータとの前記データ関係を取得するデータ関係取得部と、前記一のデータと、前記他のデータと、取得した前記データ関係と、を対応付けて記憶するデータ関係記憶部と、を備えることを特徴とする。
【００１１】
また、本発明にかかる情報管理方法は、表示装置に表示された複数のデータを特定する特定ステップと、特定された前記複数のデータのうち、それぞれのデータが表示されているときに利用者が行ったアクションを入力する入力ステップと、利用者が前記アクションを行っているときの状況を判定する状況判定ステップと、複数のデータのうち、一のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、他のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、の関係に応じて、前記一のデータ及び前記他のデータ間のデータ関係を定義する状況対応情報を記憶部に記憶する記憶ステップと、前記記憶部に記憶された前記状況対応情報に基づいて、特定された複数のデータから、前記一のデータと前記他のデータとの前記データ関係を取得するデータ関係取得ステップと、前記一のデータと、前記他のデータと、取得した前記データ関係と、を対応付けて記憶するデータ関係記憶部に記憶するデータ関係記憶ステップと、を有することを特徴とする。
【００１２】
また、本発明にかかる情報管理プログラムは、表示装置に表示された複数のデータを特定する特定ステップと、特定された前記複数のデータのうち、それぞれのデータが表示されているときに利用者が行ったアクションを入力する入力ステップと、利用者が前記アクションを行っているときの状況を判定する状況判定ステップと、複数のデータのうち、一のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、他のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、の関係に応じて、前記一のデータ及び前記他のデータ間のデータ関係を定義する状況対応情報を記憶部に記憶する記憶ステップと、前記記憶部に記憶された前記状況対応情報に基づいて、特定された複数のデータから、前記一のデータと前記他のデータとの前記データ関係を取得するデータ関係取得ステップと、前記一のデータと、前記他のデータと、取得した前記データ関係と、を対応付けて記憶するデータ関係記憶部に記憶するデータ関係記憶ステップと、をコンピュータに実行される。
【発明の効果】
【００１３】
本発明によれば、表示装置に表示された複数データ間を適切に対応付けることで、当該複数文書の有用性が向上するという効果を奏する。
【発明を実施するための最良の形態】
【００１４】
以下に添付図面を参照して、この発明にかかる情報管理装置、情報管理方法及び情報管理プログラムの最良な実施の形態を詳細に説明する。また、後述する実施の形態においては、情報管理装置を文書管理サーバに適用した例について説明する。なお、情報管理装置は、文書管理サーバに限らず、どのような装置に適用しても良い。
【００１５】
実施の形態にかかる文書管理サーバ１００は、会議室においてプロジェクター等により表示された会議資料等の管理を行う装置として用いられた例について説明する。しかしながら、このような会議室に集まって行う会議の支援に限らず、例えば遠隔会議や、講義、さらにＰＣ又はゲーム機によって行われるチャットの支援等を行ってよい。
【００１６】
図１に示すようにノートＰＣ（第１ノートＰＣ１３１、第２ノートＰＣ１３２、第３ノートＰＣ１３３及び第４ノートＰＣ１３４）は利用者毎に割り当てられている。そして、プロジェクターとノートＰＣとは接続されている。このため、各ノートＰＣ上の画面情報を、スクリーン１１０で参加者全員に表示することができる。また、スクリーン１１０に表示する対象となるノートＰＣは切り替えることができる。
【００１７】
また、これらノートＰＣは文書管理サーバ１００に接続されている。そして、これらノートＰＣは、文書管理サーバ１００に対して会議資料を出力する。
【００１８】
会議資料（会議で用いられたデータ）とは、会議しているときにスクリーン１１０等を介して利用者に提示された文書データをいう。また、文書データは、ドキュメントファイルや、プレゼンテーションファイル等のページ単位で表示可能なフォーマットであればよい。また、本実施の形態は、会議資料を用いた例について説明するが、これ以外の文書データでも良く、さらに文書データ以外のデータであっても良い。この文書以外のデータとしては、例えば、図や表のデータ等が考えられる。
【００１９】
また、各ノートＰＣが備えている図示しない入力処理部は、スクリーン１１０上に表示された会議資料に対して利用者が行った操作を示す操作情報の入力を受け付ける。
【００２０】
さらに入力処理部は、操作情報から、表示文書の変更、表示文書の表示ページの切換、ＰＣのマウスポインタで行った指示など利用者が行った動作（以下、アクションともいう）を抽出して、当該動作の種別と、当該動作が抽出された時間と、当該動作を行った対象である会議資料のデータ名とを対応付けてＰＣ固有動作履歴データを生成し、生成したＰＣ固有動作履歴データを文書管理サーバ１００に出力する。
【００２１】
この入力処理部が抽出する動作としては、例えば、プロジェクターへの出力機器の切り換え、資料切替操作（ＰＣ上でのウィンドウ切り換え操作やファイルオープン）、ページ変更、スライドショーの開始と終了などのアプリケーション操作、マウスの操作によるクリックやドラッグ又は指し示し動作、キーボード入力によるメモ書きの入力などが考えられる。
【００２２】
これら動作のほとんどは、ＰＣのイベントを検出することにより実現できる。しかしながら、マウス操作による指し示し動作の検出は、独特の工夫が必要とするため詳述する。
【００２３】
マウスポインタを活用して画面上のある範囲を指し示す動作としては、（１）マウスによりあるテキストやオブジェクトを選択状態にする（２）マウスポインタを指定したい範囲の上で並行あるいは楕円形に繰り返し動かす、の２通りが代表的な動作である。
【００２４】
そこで、例えばノートＰＣ上で動作しているプレゼンテーションソフトが表示していた任意のオブジェクトが選択状態となった場合、当該オブジェクトが指し示されたとみなすこととする。また、マウスドラッグにより任意の文字列（テキスト）が選択された場合、当該文字列が指し示されたと判定する。
【００２５】
また、ノートＰＣの画面上で所定の縦方向の範囲内で、マウスポインタが横方向に往復運動をしている場合、入力処理部は、その部分がアンダーラインとなるような矩形範囲を指し示しているものと類推し、当該類推結果に基づいて画面上で利用者が指し示されていると考えられる矩形範囲を特定する。同様に、マウスポインタが一定の誤差範囲内で楕円状の運動を一回転半以上した場合、当該楕円範囲内が指し示しの対象となっているものと推定する。
【００２６】
なお、利用者により指し示された範囲を抽出する処理について詳述したが、本実施の形態において重要な点は、画面内の指し示された範囲を高精度で抽出することではない。本実施の形態で上述したような動作を抽出するのは、複数の画面やスクリーン１１０を用いて会議をしている場合に、いずれの会議資料を参照して話しているのかを検出するため、又は画面がスクリーン１１０のみの場合に、スクリーン１１０に表示された会議資料を参照して利用者が発話している可能性はどの程度なのか類推するためである。
【００２７】
また、利用者の動作を検出する対象は、本実施の形態のようにノートＰＣに対する操作のみに制限するものではない。別の実施の形態においては、カメラで人の姿を入力として、うなずき動作や指し示し動作を検出する技術を適用することも考えられる。さらに、別の実施の形態としては、加速度センサーを用いて人の動きを検出したり、RFIDタグやカメラ映像により人の位置を検出し、例えば白板の前に歩いていったという動作を検出して活用することも考えられる。
【００２８】
また、図１に示すように、マイク（第１マイク１２１、第２マイク１２２、第３マイク１２３及び第４マイク１２４）は、利用者毎に割り当てられている。これらマイクは会議中に発せられた利用者の音声を収集するためのものである。そして、収集された音声は、文書管理サーバ１００に入力される。本実施の形態では利用者毎にマイクを割り当てることで、どの利用者が音声を発したのか特定することが容易となる。なお、本実施の形態とは異なるが、利用者毎にマイクを割り当てずに単一の卓上マイクで音声を収集しても良い。この場合、発した音声がどの利用者なのか特定する手法は、あらゆる手法を用いることができる。
【００２９】
また、文書管理サーバ１００は、ソフトウェアにより会議資料等を管理する機能を実装されたものである。そして、文書管理サーバ１００は、ノートＰＣ１３１〜１３４及びマイク１２１〜１２４からの入力を受け付け、文書の使用履歴および音声の履歴を保持するとともに、それらの履歴に基づいて文書間の関係情報を抽出する。また、文書管理サーバ内に格納されている図示しない文書蓄積ストレージは、使用された文書と、抽出された文書間の関係情報とを対応付けて記録する。また、文書蓄積ストレージは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスクなどの一般的に利用されているあらゆる記憶手段により構成することができる。
【００３０】
図２は、本発明の第１の実施の形態にかかる文書管理サーバ１００の構成を示すブロック図である。本図に示すように、文書管理サーバ１００は、会議情報記憶部２０１と、状況条件記憶部２０２と、状況対応記憶部２０３と、注目度補正動作記憶部２０４と、文書関係記憶部２０５と、文書記憶部２０６と、音声入力部２０７と、対話認識部２０８と、文書入力部２０９と、状況判定部２１０と、文書関係取得部２１２と、注目度取得部２１３と、登録部２１４と、検索部２１５と、キーワード入力受付部２１６と、表示処理部２１７と、通信処理部２１８とを備える。
【００３１】
会議情報記憶部２０１は、利用者機器使用情報と、対話履歴データと、動作履歴データと、状況履歴データと、注目度履歴データとを保持する。
【００３２】
図３に示すように、利用者毎に使用する機器の情報（マイク、ノートＰＣ等の番号）を保持する利用者機器使用情報は、利用者名と、マイク番号と、ノートＰＣ番号とを対応付けて保持している。この対応関係を保持することで、マイクから収集した音声がいずれの利用者であるかを特定できる。同様に、ノートＰＣに対して行った操作をいずれの利用者が行ったのかも特定できる。なお、利用者間の対話履歴データと、機器の動作履歴データと、会議中のコミュニケーションの状況履歴データと、表示された会議資料に対する利用者の注目度履歴データについては後述する。なお、対話履歴データとは、利用者により行われた対話履歴を格納しているデータとする。そして、コミュニケーションの状況履歴データとは、「議論」や「説明」等の利用者が行ったコミュニケーションの状況が、履歴として格納されているものとする。
【００３３】
音声入力部２０７は、第１〜第４マイクに接続されており、会議中の音声の入力を受け付けて、音声データとして他の機能ブロックに出力する。また、音声入力部２０７は、入力された音声を、利用者機器使用情報によりいずれの利用者が発したのか特定した後、当該音声データによる対話履歴データを逐次生成して、会議情報記憶部２０１の対話履歴データとして登録していく。
【００３４】
対話認識部２０８は、音声入力部２０７から入力された音声データから、各利用者がどの程度の音量でどの程度の時間発話していたのかを集計し、対話履歴データとして会議情報記憶部２０１に出力する。この際、対話認識部２０８は、図３で示した利用者機器使用情報からマイクと利用者の対応関係を認識できるので、音声データがいずれの利用者によるものか特定できる。
【００３５】
他の例として、対話認識部２０８は、１つの卓上マイクにより複数人の音声データを入力した場合、音声データに含まれている声紋情報から利用者を認識することも考えられる。
【００３６】
そして、対話認識部２０８は、音声データにおいて所定の期間以上で所定の音量以上の範囲を発話区間として認識する。本実施の形態にかかる対話認識部２０８は、３秒以上の期間で小声以上の音量レベルが持続した場合に、発話区間として認識する。これにより利用者のうなずきやノイズを発話として認識されることを防止できる。
【００３７】
また、対話認識部２０８は、話し始めの時刻（発話が開始されたと認識された時点より３秒以上前の時刻）を発話開始時刻とする。また、対話認識部２０８は、一旦発話区間が認識された後に、３秒以上音声が入力されていない時に発話が既に終了していたと判断し、一定以上の音量レベルにより音声の入力があった最後の時刻を発話終了時刻と認識する（発話が終了したと認識された時点より３秒以上前の時刻）。また、対話認識部２０８は、認識された発話区間における平均的な声量も情報として抽出する。そして、対話認識部２０８は、これら利用者が発話した区間及び音量を、対話履歴データとして、会議情報記憶部２０１に書き込む処理を行う。
【００３８】
図４に示すように、対話履歴データは、発話開始時刻と、発話終了時刻と、発話者（利用者）と、音量と、を対応付けている。この対話履歴データにより会議中においていずれの利用者がどの期間発話したのか特定することができる。
【００３９】
動作入力部２１１は、各ノートＰＣ（１３１〜１３４）から出力されたＰＣ固有動作履歴データの入力処理を行う。そして、動作入力部２１１は、各ノートＰＣから入力されたＰＣ固有動作履歴データから、スクリーン１１０に表示していた会議資料に関する動作履歴データのみ抽出し、ノートＰＣを操作していた利用者と対応付けて、動作履歴データを生成する。
【００４０】
図５に示すように、動作入力部２１１が生成した動作履歴データは、動作検出時刻と、動作終了時刻と、動作実行者と、動作種別と、会議資料とを対応付けている。そして、生成された動作履歴データは、会議情報記憶部２０１に格納される。つまり、動作入力部２１１は、時刻毎にスクリーン１１０に表示された会議資料を特定し、時刻毎に表示された会議資料を含む動作履歴データとして生成したことになる。
【００４１】
文書入力部２０９は、ノートＰＣ（１３１〜１３４）から出力された会議資料（文書データ）を入力処理し、後述する文書記憶部２０６に格納する。文書記憶部２０６は、会議で使用された会議資料（文書データ）を一括管理する。
【００４２】
状況条件記憶部２０２は、対話履歴データ及び動作履歴データから、対話又は動作が行われているときの状況を判断するための条件を保持している。図６に示すように、状況条件記憶部２０２は、対話時における所定の条件と、当該条件を満足した場合の状況とを対応付けた条件情報管理テーブルを保持している。この所定の条件には、発話している時間間隔や所定時間内の発話回数、音量等を条件として用いている。また、図示していないが所定の条件には、利用者が行った動作（例えば、ページ切替など）を条件として用いている。
【００４３】
図６のレコード６０１に示した判定条件を用いた場合、後述する状況判定部２１０は、「ある会議の開始直後の３分以内だけ発話してその後５分以上発話しなかった」という条件を満たした発話が存在した場合、当該発話は司会あるいは前提説明（主にアジェンダや前回の復習）であると判定する。
【００４４】
また、状況条件記憶部２０２は、図６に示すように他にも様々な判定条件を保持している。つまり、状況条件記憶部２０２は、「１分間以上一人で話している」区間を「説明」と対応付けているし、「同一人物による延べ５分以上の二つの説明行為に挟まれた他の人物を加えた２人による２分以内の対話」の区間を「質疑応答」と対応付けているし、「質疑応答区間に出現するそれまで説明していた人と異なる人物の最初の発話」の区間を「質問」と対応付けている。このように、状況条件記憶部２０２は、利用者が行った動作（アクション）による条件と、当該条件を満足した場合にみなされるコミュニケーションの状況と、を対応付けて記憶している。
【００４５】
さらに、状況条件記憶部２０２は、「音声が大の区間を含み、複数人数で２分間に合計６回以上の発話開始箇所が含まれる対話」区間を、『議論』と対応付けている。また、本実施の形態とは異なるが、カメラ等で動作を検出可能な場合や、うなずき動作や首をひねる・傾げる動作などを検出可能な場合、状況条件記憶部２０２は、上述した発話によるアクションに限らず、利用者が行ったジェスチャなどのアクションと、『質問』『否定』又は『賛同』などの状況と、を対応付けて保持しても良い。これにより利用者が行った様々な動作（アクション）から、状況を判定することができる。
【００４６】
状況判定部２１０は、状況条件記憶部２０２が保持されている判定条件を用いて、対話認識部２０８が生成した対話履歴データと、動作入力部２１１が生成した動作履歴データとから、会議中のコミュニケーション状況を判定して、判定されたコミュニケーション状況の履歴である状況履歴データを生成し、会議情報記憶部２０１に状況履歴データを出力する。
【００４７】
また、状況判定部２１０は、対話履歴データ内に格納されている利用者の発話が、状況条件記憶部２０２が保持している所定の条件を満足した場合、当該所定の条件と対応付けられている状況を、利用者が発話している時の状況として判定する。図７の符号７０１に示した例では、状況判定部２１０が１３：１６：２６〜１８：１８：４０の間、利用者「ヤマダ」の発話により「説明」がなされている状況と判定した情報が格納されている。
【００４８】
また、状況判定部２１０は、同様に動作履歴データに格納されている利用者の動作（アクション）が、状況条件記憶部２０２が保持している所定の条件を満足した場合、当該所定の条件と対応付けられている状況を、利用者が行ったアクションによる状況として判定できる。
【００４９】
また、状況判定部２１０は、判定した状況の履歴を状況履歴データとして、会議情報記憶部２０１に出力する。図７に示すように、状況履歴データは、“状況発生時刻”と、“状況終了時刻”と、“状況”と、“対象者”とを対応付けて保持している。当該状況履歴データは、“発話発生時刻”から“発話終了時刻”は、状況条件記憶部２０２が保持する所定の条件を満足している期間が設定され、“状況”には判定された状況が設定され、“対象者”は発話又は動作を行っていた利用者が設定される。この状況履歴データにより、会議中の状況を認識することが可能となる。
【００５０】
つまり、図７は、本実施例の図４および図５の入力からは「13:15:02からタナカ氏が前置きを話した」「13:16:26から、13:18:40の間、ヤマダ氏が『説明』を行った」ということや、「13:18:42から、サトウ氏が『質問』を行った」ということが検出されたことを示している。
【００５１】
また、コミュニケーション状況は必ずしも一種に確定できるものではない。ルールにより類推されるものである上に、二つ以上のコミュニケーション種別が重なる場合がある。そのため、検出されたコミュニケーション状況とともに、その確信度を併せて処理を行う実施の形態も考えられる。
【００５２】
注目度補正動作記憶部２０４は、利用者が行った動作を検出した場合の注目度の補正手法を保持している。図８に示すように、注目度補正動作記憶部２０４は、注目度補正手法と、利用者が行った動作とを対応付けた注目度補正動作管理テーブルを保持している。
【００５３】
注目度取得部２１３は、動作履歴データから、利用者の動作に応じて時間毎に変化した注目度を取得し、取得した注目度から注目度履歴データを生成して、会議情報記憶部２０１に出力する。
【００５４】
本実施の形態にかかる注目度取得部２１３は、スクリーン１１０に対して利用者の注目度を算出する。なお、注目度を算出する対象は、スクリーン１１０以外でもよく、例えばスクリーン１１０と電子ホワイトボートとを備えている場合に、それぞれに対して注目度を算出しても良い。
【００５５】
注目度取得部２１３は、動作履歴データの各動作が、注目度補正動作記憶部２０４に格納されている動作と一致した場合、当該動作と対応付けられている注目度補正手法を用いて注目度を取得する。これにより、例えば動作履歴データに資料表示という動作が存在した場合、注目度が“８”になり、動作履歴データにおいて特に動作が行われていない時間が１分以上存在した場合“１分時間間経過”に該当するので、注目度に“×０．８”を乗じることとする。このようにして注目度取得部２１３が取得した注目度を動作等と対応付けて注目度履歴データを生成する。
【００５６】
また、注目度取得部２１３が注目度を取得することで、例えば状況が「議論」の場合において、１）何にも注目せずに口頭で議論、２）スクリーン１１０に注目して議論しているのかが特定できる。
【００５７】
次に、注目度取得部２１３による注目度の算出手法について説明する。まず注目度は、０以上１０以下の実数とする。そして、注目度取得部２１３が注目度に対して加減算を行なう際に‘０’未満となる場合は‘０’に、‘１０’を超える場合は‘１０’に補正する。
【００５８】
また、注目度取得部２１３は、利用者による動作が無かった場合、時間経過に伴って１分毎に注目度を２割減衰させる。また、注目度取得部２１３は、会議資料の切り換えが行われた場合は、切り替わった時点で表示された会議資料（表示されたページ含む）の注目度を‘８’に設定する。
【００５９】
また、注目度取得部２１３は、表示ページの変更が行われた場合、切り替わって５秒以上表示されたページは、表示されたページの注目度に２ポイントを加算する。
【００６０】
また、利用者がポインティングデバイス等で指示する動作が行われた場合、当該動作の対象となる表示部分の注目度に‘３’加算する。
【００６１】
また、利用者がキーボード等で書き込み動作が行われた場合、書き込み対象となった表示部分の注目度に‘６’加算する。
【００６２】
なお、本実施の形態とは異なるがスクリーン１１０以外に表示装置がある場合、スクリーン１１０に表示された会議資料に対して加算処理等が行われた場合、他の表示装置で表示されている会議資料に対して注目されなくなったとみなし、注目度を減算する等の処理を行ってもよい。減算する数値については、上述した動作に合わせて適切な値を設定する必要がある。また、上述した加算処理が行われた場合に、当該他の表示装置で表示されている会議資料に対して過去１分以内に注目度の算出が行なわれているのであれば、減算処理を行わないことにしてもよい。
【００６３】
図９に示すように、注目度履歴データは、“時刻”と、“動作”と、“注目度”とを対応付けて保持している。そして、注目度履歴データが“時刻”を保持しているので、動作履歴データ等から、当該時刻の時に参照されていた会議資料等を特定することができる。これにより、ある時刻にどの資料のどのページがどの程度注目されていたかを特定することができる。
【００６４】
また、図９に示した注目度履歴データから、図１０に示すような、スクリーン１１０に対する会議中における注目度の遷移を抽出することができる。また、本実施の形態では取得した注目度は参加者全体の注目度としているが、参加者毎に注目度を算出した後に参加者全体の注目度を算出する手法も考えられる。この場合、例えば一部の人が手元の端末であるノートＰＣに注目していると判定された場合、当該時間帯にはスクリーン１１０等の他のものに対する注目度が減少することになる。
【００６５】
状況対応記憶部２０３は、判定条件を満たした場合に判定される文書間関係を管理している状況対応管理テーブルを記憶している。図１１に示すように、状況対応管理テーブルは、“文書間関係”と、“判定条件”とを対応付けて保持している。判定条件としては“動作＋状況”と、“注目度”とを保持している。
【００６６】
“動作＋状況”では、文書（又は文書のページ）が表示されたときの状況や表示時に利用者が行った動作の条件を保持している。また、“動作＋状況”では、対応付ける対象となる複数の文書（又はページ）についてそれぞれ条件が設定されている。つまり“動作＋状況”には、任意の文書（又はページ）の表示時に利用者が行った動作又は当該任意の文書（又はページ）の表示時の状況と、他の文書（又はページ）の表示時に利用者が行った動作又は当該他の文書の表示時の状況と、を文書関係抽出する条件として対応付けて保持している。
【００６７】
例えば、レコード１１０１の“動作＋状況”フィールドでは、「冒頭を含めて複数回表示されたページＸ」と、「「説明時」の表示ページＹ」とを対応付けている。「冒頭を含めて複数回表示されたページＸ」は、ページＸに対して利用者が動作「ページ変更」を複数回行っていることを条件としていることを示し、「「説明」時の表示ページＹ」では、ページＹを表示しているときの状況が「説明」であることを条件としている。以下のフィールドについても同様に、それぞれのページ又は文書に対して条件を設定している。
【００６８】
そして、これら全ての条件を満足した場合に限り、“動作＋状況”に設定されている条件を満足していると判断する。また、“判定条件”の“注目度”は、“動作＋状況”で示された所定の「状況」の時の注目度の条件を保持している。そして、“動作＋状況”と“注目度”の条件をみたした場合に、文書間関係が設定される。
【００６９】
この設定される文書間関係としては、例えば、「目次と内容」、「質問と回答」、「概要と詳細」、「同会議で提示」、「代替候補」等が考えられる。つまり上述した判定条件を満たした場合、当該判定条件と対応付けられたこれら文書間関係が設定される。
【００７０】
さらには、文書間関係から「ページ対ページ」、「ページ対文書」及び「文書対文書」のうちいずれの対応関係にあるのか特定される。
【００７１】
例えば、レコード１１０１の判定条件を満足した場合、「ページ対ページ」であるので、ページＸとページＹとが対応付けられ、複数回表示されたページＸに「目次」が、「説明」時に表示されたページＹに「内容」が設定される。
【００７２】
また、会議資料が複数存在した場合、必ずこれら会議資料間の関係が特定できるものではない。また、これら会議資料の間に複数の関係が生じることもある。
【００７３】
文書関係取得部２１２は、状況対応記憶部２０３を用いて、注目度履歴データ、動作履歴データ及び状況履歴データから、会議中に提示された文書間の関係性を取得する。
【００７４】
また、文書関係取得部２１２が、状況対応記憶部２０３を用いて文書間関係を取得することで、例えば、「会議資料Ｘを提示しているときにＡさんがＢさんに質問し、その直後にＢさんが回答として会議資料Ｙを提示した」という事象から、「会議資料Ｙは会議資料Ｘの（Ｂさんの質問に対する）回答資料である」という文書間の関係を取得できる。
【００７５】
登録部２１４は、文書関係取得部２１２が取得した文書間関係を、後述する文書関係記憶部２０５に登録する。また、登録部２１４は、文書間関係を登録する際に、従来から用いられている技術を用いて会議資料から抽出された属性も対応付けて、登録しても良い。
【００７６】
文書関係記憶部２０５は、文書関係取得部２１２が取得した文書間関係を文書間関係管理テーブルとして保存する。図１２に示すように、文書関係記憶部２０５の文書間関係管理テーブルは、“文書関係”と、“文書Ｘ”と、文書Ｘの“関係”と、“文書Ｙ”と、文書Ｙの“関係”と、“備考”とを対応付けて保持している。“文書Ｘ”と文書“Ｙ”とは関係づけられた文書名（必要であればページ番号）が格納される。これら“関係”は、図１１に示した“文書間関係”の“Ｘ”フィールド及び“Ｙ”フィールドが保持していた値が格納される。なお、“備考”には、当該文書間を関係付けた会議等を特定するための情報が格納される。
【００７７】
表示処理部２１７は、文書記憶部２０６に格納された会議資料（文書データ）と、文書関係記憶部２０５に格納された文書間関係とから、任意の文書を表示すると共に、当該文書に関連する文書の提示を行う。図１３に示すように、表示処理部２１７が資料Ｄ.pptの１ページ目の表示処理を行った場合に、当該資料Ｄと関連する文書又は当該資料Ｄの１ページ目に関連する文書を欄１３０１に提示する。
【００７８】
さらに、表示処理部２１７は、資料Ｄ.pptの１ページ目について、「3/24にこのページでの質疑で提示された回答文書」として「技術報告書.doc」の４ページ目を表示している。そして、利用者が、当該文書名の表示部分をポインティングデバイス等で選択することで、提示された回答文書で「技術報告書.doc」の４ページ目を参照することができる。このように本実施の形態にかかる文書管理サーバ１００は、単に文書間の関係を提示するのみならず、どのような関係にあるのかを提示することができる。
【００７９】
さらに、表示処理部２１７は、関連づけられた文書を、代替文書として提示することが可能となる。
【００８０】
表示処理部２１７がこのような表示を行うことで、例えば利用者が資料Ｘを見ている際に、「Ｂさんの質問に対して用いた補足説明資料」としてリンク付けされている資料Ｙを表示することが可能となる。また、上述した文書間関係の取得を会議中に行うことで、会議中においてこのような表示を行うことも可能となる。
【００８１】
つまり、一旦文書間関係が抽出・記録されてしまった後であれば、例えば文書検索をする際に関連資料として提示するなど、文書間関係を用いた表示処理が常に可能となる。
【００８２】
また、上述した説明では、質問に対する回答としてページ対ページの関係を例として示したが、ページ対文書や、文書対文書という関係となることも考えられる。
【００８３】
さらに、本実施の例においては言及しなかったが、会議中の音声データを記録しておくことで、当該質問−回答が行われたときの音声データを再生することにしても良い。
【００８４】
通信処理部２１８は、ネットワークを介して接続された機器とデータの送受信処理を行う。これにより、ネットワークを介して接続された機器から検索キーワードの入力の受け付けや、検索部２１５の検索結果を当該機器に出力することができる。
【００８５】
キーワード入力受付部２１６は、検索に用いる検索キーワードの入力を受け付ける。検索部２１５は、入力を受け付けた検索キーワードで、会議資料の検索を行う。さらに検索部２１５は、検索された会議資料と対応付けられた関係文書名の提示を行う。
【００８６】
図１４に示すように、検索キーワードとして「○○検討会議」という文字列を与えて検索した場合、検索部２１５による検索結果として、符号１４０１に示すように検索キーワードの属性を有する文書を表示すると共に、符号１４０２に示すように当該文書と関連づけられた文書名（又はページ）が出力される。
【００８７】
つまり、検索結果としては、「1.memo.doc」と「2. ○○会議第二回アジェンダ.ppt」との２つの文書が検索結果として表示されると共に、これら文書毎に関連文書も一覧表示される。これにより、文書内に検索キーワードが含まれていなくとも、当該検索キーワードが含まれている文書と密接に関係のある文書が、これら文書間関係と共に提示される。これにより、検索キーワードが含まれていないが密接に関係する文書を認識することができるので、利便性が向上する。
【００８８】
なお、当該検索結果は、表示処理部２１７が表示しても良いし、通信処理部２１８によりネットワークを介して他の機器に出力しても良い。
【００８９】
次に、文書管理サーバ１００が、会議資料及びＰＣ固有動作履歴データを入力してから、動作履歴データ及び注目度履歴データを保存するまでの処理手順について、図１５を用いて説明する。
【００９０】
文書入力部２０９は、スクリーン１１０に表示されている会議資料（文書）を、ノートＰＣから入力する（ステップＳ１５０１）。次に、文書入力部２０９は、入力された会議資料を、文書記憶部２０６に格納する（ステップＳ１５０２）。
【００９１】
そして、動作入力部２１１は、ＰＣ固有動作履歴データをノートＰＣから入力処理する（ステップＳ１５０３）。次に、動作入力部２１１は、入力されたＰＣ固有動作履歴データを、ノートＰＣを操作していた利用者と対応付けて、動作履歴データとして、会議情報記憶部２０１に保存する（ステップＳ１５０４）。
【００９２】
そして、注目度取得部２１３は、注目度補正動作記憶部２０４の注目度補正動作管理テーブルを参照して、保存された動作履歴データから注目度を取得する（ステップＳ１５０５）。
【００９３】
次に、注目度取得部２１３は、取得した注目度から、生成した注目度履歴データを、会議情報記憶部２０１に記録する（ステップＳ１５０６）。
【００９４】
そして、動作入力部２１１は、動作の入力から会議が終了したか否か判断する（ステップＳ１５０７）。会議が終了していないと判断した場合（ステップＳ１５０７：Ｎｏ）、再び表示している会議資料の入力処理から行う（ステップＳ１５０１）。
【００９５】
また、動作入力部２１１は、会議が終了したと判断した場合（ステップＳ１５０７：Ｙｅｓ）、処理を終了する。
【００９６】
そして、上述した動作履歴データ及び注目度履歴データの保存処理と並行して行われる、文書管理サーバ１００が、音声データを入力してから、状況履歴データを保存するまでの処理手順について、図１６を用いて説明する。
【００９７】
まず、音声入力部２０７が、マイク１２１〜１２４から音声データの入力処理を行う（ステップＳ１６０１）。次に、対話認識部２０８が、入力された音声データから集計された発話を、対話履歴データとして、会議情報記憶部２０１に保存する（ステップＳ１６０２）。
【００９８】
そして、状況判定部２１０は、対話履歴データからコミュニケーション状況を判定する（ステップＳ１６０３）。
【００９９】
次に、状況判定部２１０は、判定されたコミュニケーション状況を、状況履歴データとして、会議情報記憶部２０１に保存する（ステップＳ１６０４）。
【０１００】
そして、動作入力部２１１は、動作の入力から会議が終了したか否か判断する（ステップＳ１６０５）。会議が終了していないと判断した場合（ステップＳ１６０５：Ｎｏ）、再び音声データの入力処理から行う（ステップＳ１６０１）。
【０１０１】
また、動作入力部２１１は、会議が終了したと判断した場合（ステップＳ１６０５：Ｙｅｓ）、処理を終了する。
【０１０２】
そして、上述した処理手順で保存された動作履歴データ、注目度履歴データ及び状況履歴データから、文書間関係を取得する処理手順について、図１７を用いて説明する。
【０１０３】
文書関係取得部２１２は、動作履歴データから、スクリーン１１０上に会議資料（文書）提示時に、利用者が行っていた動作を取得する（ステップＳ１７０１）。
【０１０４】
次に、文書関係取得部２１２は、状況履歴データから、上記の会議資料（文書）提示時における状況を取得する（ステップＳ１７０２）。
【０１０５】
そして、文書関係取得部２１２は、注目度履歴データから、上記の会議資料（文書）提示時における注目度を取得する（ステップＳ１７０３）。そして、これらステップＳ１７０１〜ステップＳ１７０３の処理を、複数の会議資料（文書）に対して行う。
【０１０６】
その後、文書関係取得部２１２は、状況対応記憶部２０３の判定条件に、一方の文書（又はページ）提示時の状況と、必要に応じて当該状況における注目度と、他方の文書（又はページ）提示時の状況又は動作と、が満足している場合に、一方の文書（又はページ）と他方の文書（又はページ）との間の関係として、当該判定条件と対応付けられた文書間関係を取得する（ステップＳ１７０４）。
【０１０７】
その後、登録部２１４は、一方の文書（又はページ）と、他方の文書（又はページ）と、取得した文書間関係とを対応付けて、文書関係記憶部２０５に登録する（ステップＳ１７０５）。
【０１０８】
そして、文書関係取得部２１２は、全ての文書間について関係を有しているか否かの確認が終了したか判断する（ステップＳ１７０６）。確認が終了していないと判断した場合（ステップＳ１７０６：Ｎｏ）、文書間関係の判断対象となっていない文書の提示時の動作の取得する処理から再び行う（ステップＳ１７０１）。
【０１０９】
また、文書関係取得部２１２は、全ての文書間について関係を有しているか否かの確認が終了したと判断した場合（ステップＳ１７０６：Ｙｅｓ）、処理を終了する。
【０１１０】
なお、図１７に示す処理は、会議中に行う場合、当然ながらステップＳ１７０１〜Ｓ１７０６までの処理が会議中繰り返し行われることになる。
【０１１１】
以上説明したように、本実施形態にかかる文書管理サーバ１００によれば、利用者が行った発話又は動作などのアクションに基づいて、会議中に使用された会議資料（文書）と、当該会議で使用された他の文書とを対応付けると共に、文書間の関連性を抽出することができる。
【０１１２】
また、文書管理サーバ１００は、文書間のみならず、文書とページ、ページとページ間の関連性も抽出することができる。そして、抽出した関連性は、文書表示時や文書検索時に提示することで、利用者が所望する文書を容易に活用することが可能となる。これにより、所定の文書間関係で関連づけられた文書の有用性が向上する。
【０１１３】
図１８に示すように、上述した実施の形態にかかる文書管理サーバ１００は、ハードウェア構成として、情報管理プログラムなどが格納されているＲＯＭ１８０２と、ＲＯＭ１８０２内のプログラムに従って当該装置の各部を制御するＣＰＵ１８０１と、当該装置の制御に必要な種々のデータを記憶するＲＡＭ（Random Access Memory）１８０３と、ネットワークを介して送受信を行う通信Ｉ／Ｆ１８０４と、上述した様々なデータを表示するモニタ１８０５と、様々なデータを格納するハードディスク１８０６と、各部を接続するバス１８０７と、を備えている。また、文書管理サーバ１００は、上述した構成を備えた一般的なコンピュータに適用することができる。
【０１１４】
上述した実施の形態にかかる文書管理サーバ１００で実行される情報管理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１１５】
この場合には、情報管理プログラムは、文書管理サーバ１００において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【０１１６】
また、上述した実施の形態にかかる文書管理サーバ１００で実行される情報管理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施の形態にかかる文書管理サーバ１００で実行される情報管理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【図面の簡単な説明】
【０１１７】
【図１】実施の形態にかかるマイク、ノートＰＣ及び文書管理サーバ等を適用した会議室を示した概念図である。
【図２】実施の形態にかかる文書管理サーバの構成を示すブロック図である。
【図３】実施の形態にかかる会議情報記憶部に格納された利用者機器使用情報のデータ構造の例を示した図である。
【図４】実施の形態にかかる会議情報記憶部に格納された対話履歴データのデータ構造の例を示した図である。
【図５】実施の形態にかかる会議情報記憶部に格納された動作履歴データのデータ構造の例を示した図である。
【図６】実施の形態にかかる状況条件記憶部に格納された条件情報管理テーブルのデータ構造の例を示した図である。
【図７】実施の形態にかかる会議情報記憶部に格納された状況履歴データのデータ構造の例を示した図である。
【図８】実施の形態にかかる注目度補正動作記憶部に格納された注目度補正動作管理テーブルのデータ構造の例を示した図である。
【図９】実施の形態にかかる会議情報記憶部に格納された注目度履歴データのデータ構造の例を示した図である。
【図１０】実施の形態にかかるスクリーン上に表示された会議資料に対する注目度の遷移を示した遷移図である。
【図１１】実施の形態にかかる状況対応記憶部に格納された状況対応管理テーブルのデータ構造の例を示した図である。
【図１２】実施の形態にかかる文書関係取得部に格納された文書間関係管理テーブルのデータ構造の例を示した図である。
【図１３】実施の形態にかかる表示処理部が文書間関係を表示する画面例を示した図である。
【図１４】実施の形態にかかる検索部が文書間関係を表示する画面例を示した図である。
【図１５】実施の形態にかかる文書管理サーバにおいて、会議資料及びＰＣ固有動作履歴データを入力してから、動作履歴データ及び注目度履歴データを保存するまでの処理手順を示すフローチャートである。
【図１６】実施の形態にかかる文書管理サーバにおいて、音声データを入力してから、状況履歴データを保存するまでの処理手順を示すフローチャートである。
【図１７】実施の形態にかかる文書管理サーバにおいて、注目度履歴データ及び状況履歴データから、文書間関係を取得する処理手順を示すフローチャートである。
【図１８】実施の形態にかかる文書管理サーバのハードウェア構成を示した図である。
【符号の説明】
【０１１８】
１００ 文書管理サーバ
１１０ スクリーン
１２１ 第１マイク
１２２ 第２マイク
１２３ 第３マイク
１２４ 第４マイク
１３１ 第１ノートＰＣ
１３２ 第２ノートＰＣ
１３３ 第３ノートＰＣ
１３４ 第４ノートＰＣ
２０１ 会議情報記憶部
２０２ 状況条件記憶部
２０３ 状況対応記憶部
２０４ 注目度補正動作記憶部
２０５ 文書関係記憶部
２０６ 文書記憶部
２０７ 音声入力部
２０８ 対話認識部
２０９ 文書入力部
２１０ 状況判定部
２１１ 動作入力部
２１２ 文書関係取得部
２１３ 注目度取得部
２１４ 登録部
２１５ 検索部
２１６ キーワード入力受付部
２１７ 表示処理部
２１８ 通信処理部
１８０１ ＣＰＵ
１８０２ ＲＯＭ
１８０３ ＲＡＭ
１８０４ 通信インターフェース
１８０５ モニタ
１８０６ ハードディスク
１８０７ バス
【技術分野】
【０００１】
この発明は、複数人が集合した際に表示されたデータを管理する情報管理装置、情報管理方法及び情報管理プログラムに関するものである。
【背景技術】
【０００２】
従来から、文書を管理するために様々な技術が提案されている。例えば、文書の属性を判定して、判定された属性を文書に付加する技術がある。この技術を用いて文書に付加された属性は、文書の検索、ある文書に関係する他の文書の表示、文書に関係する情報の表示、又は文書の表示方式の変更など様々な用途に用いられている。
【０００３】
例えば、特許文献１においては、会議中の音声情報から検出された発言と、当該発言がなされたときに表示されていた会議資料とに基づいて、発言から抽出された属性を会議資料に付加する等の提案がなされている。
【０００４】
文書に対して属性を付加する以外の例としては、複数の文書間の意味的な関係を抽出して関連付ける技術がある。この文書間を関連づける技術の例としては、文書に対して自然言語処理を行うことで文書の特徴を判別し、判別された特徴を比較して文書間の類似性を判定することで、文書間を関連づけることができる。このように文書間を関連づけることで、関連文書の検索を実現することができる。
【０００５】
例えば、特許文献２においては、会議中に使用された資料について、当該資料を表示した際に利用者が発した言葉を音声認識し、自然言語処理手法により音声認識より得られた文字列と当該資料に含まれている所定の部分との間を索引付けする技術が提案されている。
【０００６】
【特許文献１】特開平１１−２７２６７９号公報
【特許文献２】特開２００５−２６６９８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した特許文献２に記載された技術では、会議中に発せられた音声に基づいて、当該会議中に用いられた複数の文書間の関係を適切に抽出することはできない。
【０００８】
また、文書を自然言語処理で解析した場合、複数の文書間の類似度等は算出できるが、会議において概要と詳細にあたる文書間の関係や、質問と回答にあたる文書間の関係などは適切に抽出することはできない。
【０００９】
本発明は、上記に鑑みてなされたものであって、会議などのコミュニティで用いられた複数のデータ間を適切に対応付ける情報管理装置、情報管理方法及び情報管理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明にかかる情報管理装置は、表示装置に表示された複数のデータを特定する特定部と、特定された前記複数のデータのうち、それぞれのデータが表示されているときに利用者が行ったアクションを入力する入力部と、利用者が前記アクションを行っているときの状況を判定する状況判定部と、複数のデータのうち、一のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、他のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、の関係に応じて、前記一のデータ及び前記他のデータ間のデータ関係を定義する状況対応情報を記憶する記憶部と、前記記憶部に記憶された前記状況対応情報に基づいて、特定された複数のデータから、前記一のデータと前記他のデータとの前記データ関係を取得するデータ関係取得部と、前記一のデータと、前記他のデータと、取得した前記データ関係と、を対応付けて記憶するデータ関係記憶部と、を備えることを特徴とする。
【００１１】
また、本発明にかかる情報管理方法は、表示装置に表示された複数のデータを特定する特定ステップと、特定された前記複数のデータのうち、それぞれのデータが表示されているときに利用者が行ったアクションを入力する入力ステップと、利用者が前記アクションを行っているときの状況を判定する状況判定ステップと、複数のデータのうち、一のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、他のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、の関係に応じて、前記一のデータ及び前記他のデータ間のデータ関係を定義する状況対応情報を記憶部に記憶する記憶ステップと、前記記憶部に記憶された前記状況対応情報に基づいて、特定された複数のデータから、前記一のデータと前記他のデータとの前記データ関係を取得するデータ関係取得ステップと、前記一のデータと、前記他のデータと、取得した前記データ関係と、を対応付けて記憶するデータ関係記憶部に記憶するデータ関係記憶ステップと、を有することを特徴とする。
【００１２】
また、本発明にかかる情報管理プログラムは、表示装置に表示された複数のデータを特定する特定ステップと、特定された前記複数のデータのうち、それぞれのデータが表示されているときに利用者が行ったアクションを入力する入力ステップと、利用者が前記アクションを行っているときの状況を判定する状況判定ステップと、複数のデータのうち、一のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、他のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、の関係に応じて、前記一のデータ及び前記他のデータ間のデータ関係を定義する状況対応情報を記憶部に記憶する記憶ステップと、前記記憶部に記憶された前記状況対応情報に基づいて、特定された複数のデータから、前記一のデータと前記他のデータとの前記データ関係を取得するデータ関係取得ステップと、前記一のデータと、前記他のデータと、取得した前記データ関係と、を対応付けて記憶するデータ関係記憶部に記憶するデータ関係記憶ステップと、をコンピュータに実行される。
【発明の効果】
【００１３】
本発明によれば、表示装置に表示された複数データ間を適切に対応付けることで、当該複数文書の有用性が向上するという効果を奏する。
【発明を実施するための最良の形態】
【００１４】
以下に添付図面を参照して、この発明にかかる情報管理装置、情報管理方法及び情報管理プログラムの最良な実施の形態を詳細に説明する。また、後述する実施の形態においては、情報管理装置を文書管理サーバに適用した例について説明する。なお、情報管理装置は、文書管理サーバに限らず、どのような装置に適用しても良い。
【００１５】
実施の形態にかかる文書管理サーバ１００は、会議室においてプロジェクター等により表示された会議資料等の管理を行う装置として用いられた例について説明する。しかしながら、このような会議室に集まって行う会議の支援に限らず、例えば遠隔会議や、講義、さらにＰＣ又はゲーム機によって行われるチャットの支援等を行ってよい。
【００１６】
図１に示すようにノートＰＣ（第１ノートＰＣ１３１、第２ノートＰＣ１３２、第３ノートＰＣ１３３及び第４ノートＰＣ１３４）は利用者毎に割り当てられている。そして、プロジェクターとノートＰＣとは接続されている。このため、各ノートＰＣ上の画面情報を、スクリーン１１０で参加者全員に表示することができる。また、スクリーン１１０に表示する対象となるノートＰＣは切り替えることができる。
【００１７】
また、これらノートＰＣは文書管理サーバ１００に接続されている。そして、これらノートＰＣは、文書管理サーバ１００に対して会議資料を出力する。
【００１８】
会議資料（会議で用いられたデータ）とは、会議しているときにスクリーン１１０等を介して利用者に提示された文書データをいう。また、文書データは、ドキュメントファイルや、プレゼンテーションファイル等のページ単位で表示可能なフォーマットであればよい。また、本実施の形態は、会議資料を用いた例について説明するが、これ以外の文書データでも良く、さらに文書データ以外のデータであっても良い。この文書以外のデータとしては、例えば、図や表のデータ等が考えられる。
【００１９】
また、各ノートＰＣが備えている図示しない入力処理部は、スクリーン１１０上に表示された会議資料に対して利用者が行った操作を示す操作情報の入力を受け付ける。
【００２０】
さらに入力処理部は、操作情報から、表示文書の変更、表示文書の表示ページの切換、ＰＣのマウスポインタで行った指示など利用者が行った動作（以下、アクションともいう）を抽出して、当該動作の種別と、当該動作が抽出された時間と、当該動作を行った対象である会議資料のデータ名とを対応付けてＰＣ固有動作履歴データを生成し、生成したＰＣ固有動作履歴データを文書管理サーバ１００に出力する。
【００２１】
この入力処理部が抽出する動作としては、例えば、プロジェクターへの出力機器の切り換え、資料切替操作（ＰＣ上でのウィンドウ切り換え操作やファイルオープン）、ページ変更、スライドショーの開始と終了などのアプリケーション操作、マウスの操作によるクリックやドラッグ又は指し示し動作、キーボード入力によるメモ書きの入力などが考えられる。
【００２２】
これら動作のほとんどは、ＰＣのイベントを検出することにより実現できる。しかしながら、マウス操作による指し示し動作の検出は、独特の工夫が必要とするため詳述する。
【００２３】
マウスポインタを活用して画面上のある範囲を指し示す動作としては、（１）マウスによりあるテキストやオブジェクトを選択状態にする（２）マウスポインタを指定したい範囲の上で並行あるいは楕円形に繰り返し動かす、の２通りが代表的な動作である。
【００２４】
そこで、例えばノートＰＣ上で動作しているプレゼンテーションソフトが表示していた任意のオブジェクトが選択状態となった場合、当該オブジェクトが指し示されたとみなすこととする。また、マウスドラッグにより任意の文字列（テキスト）が選択された場合、当該文字列が指し示されたと判定する。
【００２５】
また、ノートＰＣの画面上で所定の縦方向の範囲内で、マウスポインタが横方向に往復運動をしている場合、入力処理部は、その部分がアンダーラインとなるような矩形範囲を指し示しているものと類推し、当該類推結果に基づいて画面上で利用者が指し示されていると考えられる矩形範囲を特定する。同様に、マウスポインタが一定の誤差範囲内で楕円状の運動を一回転半以上した場合、当該楕円範囲内が指し示しの対象となっているものと推定する。
【００２６】
なお、利用者により指し示された範囲を抽出する処理について詳述したが、本実施の形態において重要な点は、画面内の指し示された範囲を高精度で抽出することではない。本実施の形態で上述したような動作を抽出するのは、複数の画面やスクリーン１１０を用いて会議をしている場合に、いずれの会議資料を参照して話しているのかを検出するため、又は画面がスクリーン１１０のみの場合に、スクリーン１１０に表示された会議資料を参照して利用者が発話している可能性はどの程度なのか類推するためである。
【００２７】
また、利用者の動作を検出する対象は、本実施の形態のようにノートＰＣに対する操作のみに制限するものではない。別の実施の形態においては、カメラで人の姿を入力として、うなずき動作や指し示し動作を検出する技術を適用することも考えられる。さらに、別の実施の形態としては、加速度センサーを用いて人の動きを検出したり、RFIDタグやカメラ映像により人の位置を検出し、例えば白板の前に歩いていったという動作を検出して活用することも考えられる。
【００２８】
また、図１に示すように、マイク（第１マイク１２１、第２マイク１２２、第３マイク１２３及び第４マイク１２４）は、利用者毎に割り当てられている。これらマイクは会議中に発せられた利用者の音声を収集するためのものである。そして、収集された音声は、文書管理サーバ１００に入力される。本実施の形態では利用者毎にマイクを割り当てることで、どの利用者が音声を発したのか特定することが容易となる。なお、本実施の形態とは異なるが、利用者毎にマイクを割り当てずに単一の卓上マイクで音声を収集しても良い。この場合、発した音声がどの利用者なのか特定する手法は、あらゆる手法を用いることができる。
【００２９】
また、文書管理サーバ１００は、ソフトウェアにより会議資料等を管理する機能を実装されたものである。そして、文書管理サーバ１００は、ノートＰＣ１３１〜１３４及びマイク１２１〜１２４からの入力を受け付け、文書の使用履歴および音声の履歴を保持するとともに、それらの履歴に基づいて文書間の関係情報を抽出する。また、文書管理サーバ内に格納されている図示しない文書蓄積ストレージは、使用された文書と、抽出された文書間の関係情報とを対応付けて記録する。また、文書蓄積ストレージは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスクなどの一般的に利用されているあらゆる記憶手段により構成することができる。
【００３０】
図２は、本発明の第１の実施の形態にかかる文書管理サーバ１００の構成を示すブロック図である。本図に示すように、文書管理サーバ１００は、会議情報記憶部２０１と、状況条件記憶部２０２と、状況対応記憶部２０３と、注目度補正動作記憶部２０４と、文書関係記憶部２０５と、文書記憶部２０６と、音声入力部２０７と、対話認識部２０８と、文書入力部２０９と、状況判定部２１０と、文書関係取得部２１２と、注目度取得部２１３と、登録部２１４と、検索部２１５と、キーワード入力受付部２１６と、表示処理部２１７と、通信処理部２１８とを備える。
【００３１】
会議情報記憶部２０１は、利用者機器使用情報と、対話履歴データと、動作履歴データと、状況履歴データと、注目度履歴データとを保持する。
【００３２】
図３に示すように、利用者毎に使用する機器の情報（マイク、ノートＰＣ等の番号）を保持する利用者機器使用情報は、利用者名と、マイク番号と、ノートＰＣ番号とを対応付けて保持している。この対応関係を保持することで、マイクから収集した音声がいずれの利用者であるかを特定できる。同様に、ノートＰＣに対して行った操作をいずれの利用者が行ったのかも特定できる。なお、利用者間の対話履歴データと、機器の動作履歴データと、会議中のコミュニケーションの状況履歴データと、表示された会議資料に対する利用者の注目度履歴データについては後述する。なお、対話履歴データとは、利用者により行われた対話履歴を格納しているデータとする。そして、コミュニケーションの状況履歴データとは、「議論」や「説明」等の利用者が行ったコミュニケーションの状況が、履歴として格納されているものとする。
【００３３】
音声入力部２０７は、第１〜第４マイクに接続されており、会議中の音声の入力を受け付けて、音声データとして他の機能ブロックに出力する。また、音声入力部２０７は、入力された音声を、利用者機器使用情報によりいずれの利用者が発したのか特定した後、当該音声データによる対話履歴データを逐次生成して、会議情報記憶部２０１の対話履歴データとして登録していく。
【００３４】
対話認識部２０８は、音声入力部２０７から入力された音声データから、各利用者がどの程度の音量でどの程度の時間発話していたのかを集計し、対話履歴データとして会議情報記憶部２０１に出力する。この際、対話認識部２０８は、図３で示した利用者機器使用情報からマイクと利用者の対応関係を認識できるので、音声データがいずれの利用者によるものか特定できる。
【００３５】
他の例として、対話認識部２０８は、１つの卓上マイクにより複数人の音声データを入力した場合、音声データに含まれている声紋情報から利用者を認識することも考えられる。
【００３６】
そして、対話認識部２０８は、音声データにおいて所定の期間以上で所定の音量以上の範囲を発話区間として認識する。本実施の形態にかかる対話認識部２０８は、３秒以上の期間で小声以上の音量レベルが持続した場合に、発話区間として認識する。これにより利用者のうなずきやノイズを発話として認識されることを防止できる。
【００３７】
また、対話認識部２０８は、話し始めの時刻（発話が開始されたと認識された時点より３秒以上前の時刻）を発話開始時刻とする。また、対話認識部２０８は、一旦発話区間が認識された後に、３秒以上音声が入力されていない時に発話が既に終了していたと判断し、一定以上の音量レベルにより音声の入力があった最後の時刻を発話終了時刻と認識する（発話が終了したと認識された時点より３秒以上前の時刻）。また、対話認識部２０８は、認識された発話区間における平均的な声量も情報として抽出する。そして、対話認識部２０８は、これら利用者が発話した区間及び音量を、対話履歴データとして、会議情報記憶部２０１に書き込む処理を行う。
【００３８】
図４に示すように、対話履歴データは、発話開始時刻と、発話終了時刻と、発話者（利用者）と、音量と、を対応付けている。この対話履歴データにより会議中においていずれの利用者がどの期間発話したのか特定することができる。
【００３９】
動作入力部２１１は、各ノートＰＣ（１３１〜１３４）から出力されたＰＣ固有動作履歴データの入力処理を行う。そして、動作入力部２１１は、各ノートＰＣから入力されたＰＣ固有動作履歴データから、スクリーン１１０に表示していた会議資料に関する動作履歴データのみ抽出し、ノートＰＣを操作していた利用者と対応付けて、動作履歴データを生成する。
【００４０】
図５に示すように、動作入力部２１１が生成した動作履歴データは、動作検出時刻と、動作終了時刻と、動作実行者と、動作種別と、会議資料とを対応付けている。そして、生成された動作履歴データは、会議情報記憶部２０１に格納される。つまり、動作入力部２１１は、時刻毎にスクリーン１１０に表示された会議資料を特定し、時刻毎に表示された会議資料を含む動作履歴データとして生成したことになる。
【００４１】
文書入力部２０９は、ノートＰＣ（１３１〜１３４）から出力された会議資料（文書データ）を入力処理し、後述する文書記憶部２０６に格納する。文書記憶部２０６は、会議で使用された会議資料（文書データ）を一括管理する。
【００４２】
状況条件記憶部２０２は、対話履歴データ及び動作履歴データから、対話又は動作が行われているときの状況を判断するための条件を保持している。図６に示すように、状況条件記憶部２０２は、対話時における所定の条件と、当該条件を満足した場合の状況とを対応付けた条件情報管理テーブルを保持している。この所定の条件には、発話している時間間隔や所定時間内の発話回数、音量等を条件として用いている。また、図示していないが所定の条件には、利用者が行った動作（例えば、ページ切替など）を条件として用いている。
【００４３】
図６のレコード６０１に示した判定条件を用いた場合、後述する状況判定部２１０は、「ある会議の開始直後の３分以内だけ発話してその後５分以上発話しなかった」という条件を満たした発話が存在した場合、当該発話は司会あるいは前提説明（主にアジェンダや前回の復習）であると判定する。
【００４４】
また、状況条件記憶部２０２は、図６に示すように他にも様々な判定条件を保持している。つまり、状況条件記憶部２０２は、「１分間以上一人で話している」区間を「説明」と対応付けているし、「同一人物による延べ５分以上の二つの説明行為に挟まれた他の人物を加えた２人による２分以内の対話」の区間を「質疑応答」と対応付けているし、「質疑応答区間に出現するそれまで説明していた人と異なる人物の最初の発話」の区間を「質問」と対応付けている。このように、状況条件記憶部２０２は、利用者が行った動作（アクション）による条件と、当該条件を満足した場合にみなされるコミュニケーションの状況と、を対応付けて記憶している。
【００４５】
さらに、状況条件記憶部２０２は、「音声が大の区間を含み、複数人数で２分間に合計６回以上の発話開始箇所が含まれる対話」区間を、『議論』と対応付けている。また、本実施の形態とは異なるが、カメラ等で動作を検出可能な場合や、うなずき動作や首をひねる・傾げる動作などを検出可能な場合、状況条件記憶部２０２は、上述した発話によるアクションに限らず、利用者が行ったジェスチャなどのアクションと、『質問』『否定』又は『賛同』などの状況と、を対応付けて保持しても良い。これにより利用者が行った様々な動作（アクション）から、状況を判定することができる。
【００４６】
状況判定部２１０は、状況条件記憶部２０２が保持されている判定条件を用いて、対話認識部２０８が生成した対話履歴データと、動作入力部２１１が生成した動作履歴データとから、会議中のコミュニケーション状況を判定して、判定されたコミュニケーション状況の履歴である状況履歴データを生成し、会議情報記憶部２０１に状況履歴データを出力する。
【００４７】
また、状況判定部２１０は、対話履歴データ内に格納されている利用者の発話が、状況条件記憶部２０２が保持している所定の条件を満足した場合、当該所定の条件と対応付けられている状況を、利用者が発話している時の状況として判定する。図７の符号７０１に示した例では、状況判定部２１０が１３：１６：２６〜１８：１８：４０の間、利用者「ヤマダ」の発話により「説明」がなされている状況と判定した情報が格納されている。
【００４８】
また、状況判定部２１０は、同様に動作履歴データに格納されている利用者の動作（アクション）が、状況条件記憶部２０２が保持している所定の条件を満足した場合、当該所定の条件と対応付けられている状況を、利用者が行ったアクションによる状況として判定できる。
【００４９】
また、状況判定部２１０は、判定した状況の履歴を状況履歴データとして、会議情報記憶部２０１に出力する。図７に示すように、状況履歴データは、“状況発生時刻”と、“状況終了時刻”と、“状況”と、“対象者”とを対応付けて保持している。当該状況履歴データは、“発話発生時刻”から“発話終了時刻”は、状況条件記憶部２０２が保持する所定の条件を満足している期間が設定され、“状況”には判定された状況が設定され、“対象者”は発話又は動作を行っていた利用者が設定される。この状況履歴データにより、会議中の状況を認識することが可能となる。
【００５０】
つまり、図７は、本実施例の図４および図５の入力からは「13:15:02からタナカ氏が前置きを話した」「13:16:26から、13:18:40の間、ヤマダ氏が『説明』を行った」ということや、「13:18:42から、サトウ氏が『質問』を行った」ということが検出されたことを示している。
【００５１】
また、コミュニケーション状況は必ずしも一種に確定できるものではない。ルールにより類推されるものである上に、二つ以上のコミュニケーション種別が重なる場合がある。そのため、検出されたコミュニケーション状況とともに、その確信度を併せて処理を行う実施の形態も考えられる。
【００５２】
注目度補正動作記憶部２０４は、利用者が行った動作を検出した場合の注目度の補正手法を保持している。図８に示すように、注目度補正動作記憶部２０４は、注目度補正手法と、利用者が行った動作とを対応付けた注目度補正動作管理テーブルを保持している。
【００５３】
注目度取得部２１３は、動作履歴データから、利用者の動作に応じて時間毎に変化した注目度を取得し、取得した注目度から注目度履歴データを生成して、会議情報記憶部２０１に出力する。
【００５４】
本実施の形態にかかる注目度取得部２１３は、スクリーン１１０に対して利用者の注目度を算出する。なお、注目度を算出する対象は、スクリーン１１０以外でもよく、例えばスクリーン１１０と電子ホワイトボートとを備えている場合に、それぞれに対して注目度を算出しても良い。
【００５５】
注目度取得部２１３は、動作履歴データの各動作が、注目度補正動作記憶部２０４に格納されている動作と一致した場合、当該動作と対応付けられている注目度補正手法を用いて注目度を取得する。これにより、例えば動作履歴データに資料表示という動作が存在した場合、注目度が“８”になり、動作履歴データにおいて特に動作が行われていない時間が１分以上存在した場合“１分時間間経過”に該当するので、注目度に“×０．８”を乗じることとする。このようにして注目度取得部２１３が取得した注目度を動作等と対応付けて注目度履歴データを生成する。
【００５６】
また、注目度取得部２１３が注目度を取得することで、例えば状況が「議論」の場合において、１）何にも注目せずに口頭で議論、２）スクリーン１１０に注目して議論しているのかが特定できる。
【００５７】
次に、注目度取得部２１３による注目度の算出手法について説明する。まず注目度は、０以上１０以下の実数とする。そして、注目度取得部２１３が注目度に対して加減算を行なう際に‘０’未満となる場合は‘０’に、‘１０’を超える場合は‘１０’に補正する。
【００５８】
また、注目度取得部２１３は、利用者による動作が無かった場合、時間経過に伴って１分毎に注目度を２割減衰させる。また、注目度取得部２１３は、会議資料の切り換えが行われた場合は、切り替わった時点で表示された会議資料（表示されたページ含む）の注目度を‘８’に設定する。
【００５９】
また、注目度取得部２１３は、表示ページの変更が行われた場合、切り替わって５秒以上表示されたページは、表示されたページの注目度に２ポイントを加算する。
【００６０】
また、利用者がポインティングデバイス等で指示する動作が行われた場合、当該動作の対象となる表示部分の注目度に‘３’加算する。
【００６１】
また、利用者がキーボード等で書き込み動作が行われた場合、書き込み対象となった表示部分の注目度に‘６’加算する。
【００６２】
なお、本実施の形態とは異なるがスクリーン１１０以外に表示装置がある場合、スクリーン１１０に表示された会議資料に対して加算処理等が行われた場合、他の表示装置で表示されている会議資料に対して注目されなくなったとみなし、注目度を減算する等の処理を行ってもよい。減算する数値については、上述した動作に合わせて適切な値を設定する必要がある。また、上述した加算処理が行われた場合に、当該他の表示装置で表示されている会議資料に対して過去１分以内に注目度の算出が行なわれているのであれば、減算処理を行わないことにしてもよい。
【００６３】
図９に示すように、注目度履歴データは、“時刻”と、“動作”と、“注目度”とを対応付けて保持している。そして、注目度履歴データが“時刻”を保持しているので、動作履歴データ等から、当該時刻の時に参照されていた会議資料等を特定することができる。これにより、ある時刻にどの資料のどのページがどの程度注目されていたかを特定することができる。
【００６４】
また、図９に示した注目度履歴データから、図１０に示すような、スクリーン１１０に対する会議中における注目度の遷移を抽出することができる。また、本実施の形態では取得した注目度は参加者全体の注目度としているが、参加者毎に注目度を算出した後に参加者全体の注目度を算出する手法も考えられる。この場合、例えば一部の人が手元の端末であるノートＰＣに注目していると判定された場合、当該時間帯にはスクリーン１１０等の他のものに対する注目度が減少することになる。
【００６５】
状況対応記憶部２０３は、判定条件を満たした場合に判定される文書間関係を管理している状況対応管理テーブルを記憶している。図１１に示すように、状況対応管理テーブルは、“文書間関係”と、“判定条件”とを対応付けて保持している。判定条件としては“動作＋状況”と、“注目度”とを保持している。
【００６６】
“動作＋状況”では、文書（又は文書のページ）が表示されたときの状況や表示時に利用者が行った動作の条件を保持している。また、“動作＋状況”では、対応付ける対象となる複数の文書（又はページ）についてそれぞれ条件が設定されている。つまり“動作＋状況”には、任意の文書（又はページ）の表示時に利用者が行った動作又は当該任意の文書（又はページ）の表示時の状況と、他の文書（又はページ）の表示時に利用者が行った動作又は当該他の文書の表示時の状況と、を文書関係抽出する条件として対応付けて保持している。
【００６７】
例えば、レコード１１０１の“動作＋状況”フィールドでは、「冒頭を含めて複数回表示されたページＸ」と、「「説明時」の表示ページＹ」とを対応付けている。「冒頭を含めて複数回表示されたページＸ」は、ページＸに対して利用者が動作「ページ変更」を複数回行っていることを条件としていることを示し、「「説明」時の表示ページＹ」では、ページＹを表示しているときの状況が「説明」であることを条件としている。以下のフィールドについても同様に、それぞれのページ又は文書に対して条件を設定している。
【００６８】
そして、これら全ての条件を満足した場合に限り、“動作＋状況”に設定されている条件を満足していると判断する。また、“判定条件”の“注目度”は、“動作＋状況”で示された所定の「状況」の時の注目度の条件を保持している。そして、“動作＋状況”と“注目度”の条件をみたした場合に、文書間関係が設定される。
【００６９】
この設定される文書間関係としては、例えば、「目次と内容」、「質問と回答」、「概要と詳細」、「同会議で提示」、「代替候補」等が考えられる。つまり上述した判定条件を満たした場合、当該判定条件と対応付けられたこれら文書間関係が設定される。
【００７０】
さらには、文書間関係から「ページ対ページ」、「ページ対文書」及び「文書対文書」のうちいずれの対応関係にあるのか特定される。
【００７１】
例えば、レコード１１０１の判定条件を満足した場合、「ページ対ページ」であるので、ページＸとページＹとが対応付けられ、複数回表示されたページＸに「目次」が、「説明」時に表示されたページＹに「内容」が設定される。
【００７２】
また、会議資料が複数存在した場合、必ずこれら会議資料間の関係が特定できるものではない。また、これら会議資料の間に複数の関係が生じることもある。
【００７３】
文書関係取得部２１２は、状況対応記憶部２０３を用いて、注目度履歴データ、動作履歴データ及び状況履歴データから、会議中に提示された文書間の関係性を取得する。
【００７４】
また、文書関係取得部２１２が、状況対応記憶部２０３を用いて文書間関係を取得することで、例えば、「会議資料Ｘを提示しているときにＡさんがＢさんに質問し、その直後にＢさんが回答として会議資料Ｙを提示した」という事象から、「会議資料Ｙは会議資料Ｘの（Ｂさんの質問に対する）回答資料である」という文書間の関係を取得できる。
【００７５】
登録部２１４は、文書関係取得部２１２が取得した文書間関係を、後述する文書関係記憶部２０５に登録する。また、登録部２１４は、文書間関係を登録する際に、従来から用いられている技術を用いて会議資料から抽出された属性も対応付けて、登録しても良い。
【００７６】
文書関係記憶部２０５は、文書関係取得部２１２が取得した文書間関係を文書間関係管理テーブルとして保存する。図１２に示すように、文書関係記憶部２０５の文書間関係管理テーブルは、“文書関係”と、“文書Ｘ”と、文書Ｘの“関係”と、“文書Ｙ”と、文書Ｙの“関係”と、“備考”とを対応付けて保持している。“文書Ｘ”と文書“Ｙ”とは関係づけられた文書名（必要であればページ番号）が格納される。これら“関係”は、図１１に示した“文書間関係”の“Ｘ”フィールド及び“Ｙ”フィールドが保持していた値が格納される。なお、“備考”には、当該文書間を関係付けた会議等を特定するための情報が格納される。
【００７７】
表示処理部２１７は、文書記憶部２０６に格納された会議資料（文書データ）と、文書関係記憶部２０５に格納された文書間関係とから、任意の文書を表示すると共に、当該文書に関連する文書の提示を行う。図１３に示すように、表示処理部２１７が資料Ｄ.pptの１ページ目の表示処理を行った場合に、当該資料Ｄと関連する文書又は当該資料Ｄの１ページ目に関連する文書を欄１３０１に提示する。
【００７８】
さらに、表示処理部２１７は、資料Ｄ.pptの１ページ目について、「3/24にこのページでの質疑で提示された回答文書」として「技術報告書.doc」の４ページ目を表示している。そして、利用者が、当該文書名の表示部分をポインティングデバイス等で選択することで、提示された回答文書で「技術報告書.doc」の４ページ目を参照することができる。このように本実施の形態にかかる文書管理サーバ１００は、単に文書間の関係を提示するのみならず、どのような関係にあるのかを提示することができる。
【００７９】
さらに、表示処理部２１７は、関連づけられた文書を、代替文書として提示することが可能となる。
【００８０】
表示処理部２１７がこのような表示を行うことで、例えば利用者が資料Ｘを見ている際に、「Ｂさんの質問に対して用いた補足説明資料」としてリンク付けされている資料Ｙを表示することが可能となる。また、上述した文書間関係の取得を会議中に行うことで、会議中においてこのような表示を行うことも可能となる。
【００８１】
つまり、一旦文書間関係が抽出・記録されてしまった後であれば、例えば文書検索をする際に関連資料として提示するなど、文書間関係を用いた表示処理が常に可能となる。
【００８２】
また、上述した説明では、質問に対する回答としてページ対ページの関係を例として示したが、ページ対文書や、文書対文書という関係となることも考えられる。
【００８３】
さらに、本実施の例においては言及しなかったが、会議中の音声データを記録しておくことで、当該質問−回答が行われたときの音声データを再生することにしても良い。
【００８４】
通信処理部２１８は、ネットワークを介して接続された機器とデータの送受信処理を行う。これにより、ネットワークを介して接続された機器から検索キーワードの入力の受け付けや、検索部２１５の検索結果を当該機器に出力することができる。
【００８５】
キーワード入力受付部２１６は、検索に用いる検索キーワードの入力を受け付ける。検索部２１５は、入力を受け付けた検索キーワードで、会議資料の検索を行う。さらに検索部２１５は、検索された会議資料と対応付けられた関係文書名の提示を行う。
【００８６】
図１４に示すように、検索キーワードとして「○○検討会議」という文字列を与えて検索した場合、検索部２１５による検索結果として、符号１４０１に示すように検索キーワードの属性を有する文書を表示すると共に、符号１４０２に示すように当該文書と関連づけられた文書名（又はページ）が出力される。
【００８７】
つまり、検索結果としては、「1.memo.doc」と「2. ○○会議第二回アジェンダ.ppt」との２つの文書が検索結果として表示されると共に、これら文書毎に関連文書も一覧表示される。これにより、文書内に検索キーワードが含まれていなくとも、当該検索キーワードが含まれている文書と密接に関係のある文書が、これら文書間関係と共に提示される。これにより、検索キーワードが含まれていないが密接に関係する文書を認識することができるので、利便性が向上する。
【００８８】
なお、当該検索結果は、表示処理部２１７が表示しても良いし、通信処理部２１８によりネットワークを介して他の機器に出力しても良い。
【００８９】
次に、文書管理サーバ１００が、会議資料及びＰＣ固有動作履歴データを入力してから、動作履歴データ及び注目度履歴データを保存するまでの処理手順について、図１５を用いて説明する。
【００９０】
文書入力部２０９は、スクリーン１１０に表示されている会議資料（文書）を、ノートＰＣから入力する（ステップＳ１５０１）。次に、文書入力部２０９は、入力された会議資料を、文書記憶部２０６に格納する（ステップＳ１５０２）。
【００９１】
そして、動作入力部２１１は、ＰＣ固有動作履歴データをノートＰＣから入力処理する（ステップＳ１５０３）。次に、動作入力部２１１は、入力されたＰＣ固有動作履歴データを、ノートＰＣを操作していた利用者と対応付けて、動作履歴データとして、会議情報記憶部２０１に保存する（ステップＳ１５０４）。
【００９２】
そして、注目度取得部２１３は、注目度補正動作記憶部２０４の注目度補正動作管理テーブルを参照して、保存された動作履歴データから注目度を取得する（ステップＳ１５０５）。
【００９３】
次に、注目度取得部２１３は、取得した注目度から、生成した注目度履歴データを、会議情報記憶部２０１に記録する（ステップＳ１５０６）。
【００９４】
そして、動作入力部２１１は、動作の入力から会議が終了したか否か判断する（ステップＳ１５０７）。会議が終了していないと判断した場合（ステップＳ１５０７：Ｎｏ）、再び表示している会議資料の入力処理から行う（ステップＳ１５０１）。
【００９５】
また、動作入力部２１１は、会議が終了したと判断した場合（ステップＳ１５０７：Ｙｅｓ）、処理を終了する。
【００９６】
そして、上述した動作履歴データ及び注目度履歴データの保存処理と並行して行われる、文書管理サーバ１００が、音声データを入力してから、状況履歴データを保存するまでの処理手順について、図１６を用いて説明する。
【００９７】
まず、音声入力部２０７が、マイク１２１〜１２４から音声データの入力処理を行う（ステップＳ１６０１）。次に、対話認識部２０８が、入力された音声データから集計された発話を、対話履歴データとして、会議情報記憶部２０１に保存する（ステップＳ１６０２）。
【００９８】
そして、状況判定部２１０は、対話履歴データからコミュニケーション状況を判定する（ステップＳ１６０３）。
【００９９】
次に、状況判定部２１０は、判定されたコミュニケーション状況を、状況履歴データとして、会議情報記憶部２０１に保存する（ステップＳ１６０４）。
【０１００】
そして、動作入力部２１１は、動作の入力から会議が終了したか否か判断する（ステップＳ１６０５）。会議が終了していないと判断した場合（ステップＳ１６０５：Ｎｏ）、再び音声データの入力処理から行う（ステップＳ１６０１）。
【０１０１】
また、動作入力部２１１は、会議が終了したと判断した場合（ステップＳ１６０５：Ｙｅｓ）、処理を終了する。
【０１０２】
そして、上述した処理手順で保存された動作履歴データ、注目度履歴データ及び状況履歴データから、文書間関係を取得する処理手順について、図１７を用いて説明する。
【０１０３】
文書関係取得部２１２は、動作履歴データから、スクリーン１１０上に会議資料（文書）提示時に、利用者が行っていた動作を取得する（ステップＳ１７０１）。
【０１０４】
次に、文書関係取得部２１２は、状況履歴データから、上記の会議資料（文書）提示時における状況を取得する（ステップＳ１７０２）。
【０１０５】
そして、文書関係取得部２１２は、注目度履歴データから、上記の会議資料（文書）提示時における注目度を取得する（ステップＳ１７０３）。そして、これらステップＳ１７０１〜ステップＳ１７０３の処理を、複数の会議資料（文書）に対して行う。
【０１０６】
その後、文書関係取得部２１２は、状況対応記憶部２０３の判定条件に、一方の文書（又はページ）提示時の状況と、必要に応じて当該状況における注目度と、他方の文書（又はページ）提示時の状況又は動作と、が満足している場合に、一方の文書（又はページ）と他方の文書（又はページ）との間の関係として、当該判定条件と対応付けられた文書間関係を取得する（ステップＳ１７０４）。
【０１０７】
その後、登録部２１４は、一方の文書（又はページ）と、他方の文書（又はページ）と、取得した文書間関係とを対応付けて、文書関係記憶部２０５に登録する（ステップＳ１７０５）。
【０１０８】
そして、文書関係取得部２１２は、全ての文書間について関係を有しているか否かの確認が終了したか判断する（ステップＳ１７０６）。確認が終了していないと判断した場合（ステップＳ１７０６：Ｎｏ）、文書間関係の判断対象となっていない文書の提示時の動作の取得する処理から再び行う（ステップＳ１７０１）。
【０１０９】
また、文書関係取得部２１２は、全ての文書間について関係を有しているか否かの確認が終了したと判断した場合（ステップＳ１７０６：Ｙｅｓ）、処理を終了する。
【０１１０】
なお、図１７に示す処理は、会議中に行う場合、当然ながらステップＳ１７０１〜Ｓ１７０６までの処理が会議中繰り返し行われることになる。
【０１１１】
以上説明したように、本実施形態にかかる文書管理サーバ１００によれば、利用者が行った発話又は動作などのアクションに基づいて、会議中に使用された会議資料（文書）と、当該会議で使用された他の文書とを対応付けると共に、文書間の関連性を抽出することができる。
【０１１２】
また、文書管理サーバ１００は、文書間のみならず、文書とページ、ページとページ間の関連性も抽出することができる。そして、抽出した関連性は、文書表示時や文書検索時に提示することで、利用者が所望する文書を容易に活用することが可能となる。これにより、所定の文書間関係で関連づけられた文書の有用性が向上する。
【０１１３】
図１８に示すように、上述した実施の形態にかかる文書管理サーバ１００は、ハードウェア構成として、情報管理プログラムなどが格納されているＲＯＭ１８０２と、ＲＯＭ１８０２内のプログラムに従って当該装置の各部を制御するＣＰＵ１８０１と、当該装置の制御に必要な種々のデータを記憶するＲＡＭ（Random Access Memory）１８０３と、ネットワークを介して送受信を行う通信Ｉ／Ｆ１８０４と、上述した様々なデータを表示するモニタ１８０５と、様々なデータを格納するハードディスク１８０６と、各部を接続するバス１８０７と、を備えている。また、文書管理サーバ１００は、上述した構成を備えた一般的なコンピュータに適用することができる。
【０１１４】
上述した実施の形態にかかる文書管理サーバ１００で実行される情報管理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１１５】
この場合には、情報管理プログラムは、文書管理サーバ１００において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【０１１６】
また、上述した実施の形態にかかる文書管理サーバ１００で実行される情報管理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施の形態にかかる文書管理サーバ１００で実行される情報管理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【図面の簡単な説明】
【０１１７】
【図１】実施の形態にかかるマイク、ノートＰＣ及び文書管理サーバ等を適用した会議室を示した概念図である。
【図２】実施の形態にかかる文書管理サーバの構成を示すブロック図である。
【図３】実施の形態にかかる会議情報記憶部に格納された利用者機器使用情報のデータ構造の例を示した図である。
【図４】実施の形態にかかる会議情報記憶部に格納された対話履歴データのデータ構造の例を示した図である。
【図５】実施の形態にかかる会議情報記憶部に格納された動作履歴データのデータ構造の例を示した図である。
【図６】実施の形態にかかる状況条件記憶部に格納された条件情報管理テーブルのデータ構造の例を示した図である。
【図７】実施の形態にかかる会議情報記憶部に格納された状況履歴データのデータ構造の例を示した図である。
【図８】実施の形態にかかる注目度補正動作記憶部に格納された注目度補正動作管理テーブルのデータ構造の例を示した図である。
【図９】実施の形態にかかる会議情報記憶部に格納された注目度履歴データのデータ構造の例を示した図である。
【図１０】実施の形態にかかるスクリーン上に表示された会議資料に対する注目度の遷移を示した遷移図である。
【図１１】実施の形態にかかる状況対応記憶部に格納された状況対応管理テーブルのデータ構造の例を示した図である。
【図１２】実施の形態にかかる文書関係取得部に格納された文書間関係管理テーブルのデータ構造の例を示した図である。
【図１３】実施の形態にかかる表示処理部が文書間関係を表示する画面例を示した図である。
【図１４】実施の形態にかかる検索部が文書間関係を表示する画面例を示した図である。
【図１５】実施の形態にかかる文書管理サーバにおいて、会議資料及びＰＣ固有動作履歴データを入力してから、動作履歴データ及び注目度履歴データを保存するまでの処理手順を示すフローチャートである。
【図１６】実施の形態にかかる文書管理サーバにおいて、音声データを入力してから、状況履歴データを保存するまでの処理手順を示すフローチャートである。
【図１７】実施の形態にかかる文書管理サーバにおいて、注目度履歴データ及び状況履歴データから、文書間関係を取得する処理手順を示すフローチャートである。
【図１８】実施の形態にかかる文書管理サーバのハードウェア構成を示した図である。
【符号の説明】
【０１１８】
１００ 文書管理サーバ
１１０ スクリーン
１２１ 第１マイク
１２２ 第２マイク
１２３ 第３マイク
１２４ 第４マイク
１３１ 第１ノートＰＣ
１３２ 第２ノートＰＣ
１３３ 第３ノートＰＣ
１３４ 第４ノートＰＣ
２０１ 会議情報記憶部
２０２ 状況条件記憶部
２０３ 状況対応記憶部
２０４ 注目度補正動作記憶部
２０５ 文書関係記憶部
２０６ 文書記憶部
２０７ 音声入力部
２０８ 対話認識部
２０９ 文書入力部
２１０ 状況判定部
２１１ 動作入力部
２１２ 文書関係取得部
２１３ 注目度取得部
２１４ 登録部
２１５ 検索部
２１６ キーワード入力受付部
２１７ 表示処理部
２１８ 通信処理部
１８０１ ＣＰＵ
１８０２ ＲＯＭ
１８０３ ＲＡＭ
１８０４ 通信インターフェース
１８０５ モニタ
１８０６ ハードディスク
１８０７ バス
【特許請求の範囲】
【請求項１】
表示装置に表示された複数のデータを特定する特定部と、
特定された前記複数のデータのうち、それぞれのデータが表示されているときに利用者が行ったアクションを入力する入力部と、
利用者が前記アクションを行っているときの状況を判定する状況判定部と、
複数のデータのうち、一のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、他のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、の関係に応じて、前記一のデータ及び前記他のデータ間のデータ関係を定義する状況対応情報を記憶する記憶部と、
前記記憶部に記憶された前記状況対応情報に基づいて、特定された複数の前記データから、前記一のデータと前記他のデータとの前記データ関係を取得するデータ関係取得部と、
前記一のデータと、前記他のデータと、取得した前記データ関係と、を対応付けて記憶するデータ関係記憶部と、
を備えることを特徴とする情報管理装置。
【請求項２】
利用者が前記アクションを行っているときに表示されていた前記データの注目度を取得する注目度取得部と、をさらに備え、
前記記憶部は、さらに前記データに対する注目度の条件をさらに対応付けて記憶すること、
を特徴とする請求項１に記載の情報管理装置。
【請求項３】
アクションの条件と、当該条件を満足した場合の状況とを対応付けて保持する状況条件記憶部をさらに備え、
前記状況判定部は、前記状況条件記憶部に基づいて、入力された前記アクションが満足する前記条件と対応付けられている状況を、前記アクションを行っているときの状況として判定すること、
を特徴とする請求項１又は２に記載の情報管理装置。
【請求項４】
前記記憶部は、前記状況対応情報で対応付けられた前記データ関係情報が、文書と文書、文書と文書のページ、又は文書のページと文書のページ間の関係を示していること、
を特徴とする請求項１乃至３のいずれか一つに記載の情報管理装置。
【請求項５】
前記データ関係記憶部に登録された前記複数データと、前記複数データ間の関係を示した前記データ関係情報とを表示する表示部を、さらに備えることを特徴とする請求項１乃至４のいずれか一つに記載の情報管理装置。
【請求項６】
データの検索に用いる検索キーワードの入力を受け付けるキーワード入力受付部と、
入力された前記検索キーワードでデータを検索する検索部と、
入力を受け付けた前記検索キーワードで検索されたデータと、前記データ関係記憶部において対応付けられているデータと、出力する出力部と、
をさらに備えることを特徴とする請求項１乃至５のいずれか一つに記載の情報管理装置。
【請求項７】
表示装置に表示された複数のデータを特定する特定ステップと、
特定された前記複数のデータのうち、それぞれのデータが表示されているときに利用者が行ったアクションを入力する入力ステップと、
利用者が前記アクションを行っているときの状況を判定する状況判定ステップと、
複数のデータのうち、一のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、他のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、の関係に応じて、前記一のデータ及び前記他のデータ間のデータ関係を定義する状況対応情報を記憶部に記憶する記憶ステップと、
前記記憶部に記憶された前記状況対応情報に基づいて、特定された複数の前記データから、前記一のデータと前記他のデータとの前記データ関係を取得するデータ関係取得ステップと、
前記一のデータと、前記他のデータと、取得した前記データ関係と、を対応付けて記憶するデータ関係記憶部に記憶するデータ関係記憶ステップと、
を有することを特徴とする情報管理方法。
【請求項８】
表示装置に表示された複数のデータを特定する特定ステップと、
特定された前記複数のデータのうち、それぞれのデータが表示されているときに利用者が行ったアクションを入力する入力ステップと、
利用者が前記アクションを行っているときの状況を判定する状況判定ステップと、
複数のデータのうち、一のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、他のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、の関係に応じて、前記一のデータ及び前記他のデータ間のデータ関係を定義する状況対応情報を記憶部に記憶する記憶ステップと、
前記記憶部に記憶された前記状況対応情報に基づいて、特定された複数の前記データから、前記一のデータと前記他のデータとの前記データ関係を取得するデータ関係取得ステップと、
前記一のデータと、前記他のデータと、取得した前記データ関係と、を対応付けて記憶するデータ関係記憶部に記憶するデータ関係記憶ステップと、
をコンピュータに実行される情報管理プログラム。
【請求項１】
表示装置に表示された複数のデータを特定する特定部と、
特定された前記複数のデータのうち、それぞれのデータが表示されているときに利用者が行ったアクションを入力する入力部と、
利用者が前記アクションを行っているときの状況を判定する状況判定部と、
複数のデータのうち、一のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、他のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、の関係に応じて、前記一のデータ及び前記他のデータ間のデータ関係を定義する状況対応情報を記憶する記憶部と、
前記記憶部に記憶された前記状況対応情報に基づいて、特定された複数の前記データから、前記一のデータと前記他のデータとの前記データ関係を取得するデータ関係取得部と、
前記一のデータと、前記他のデータと、取得した前記データ関係と、を対応付けて記憶するデータ関係記憶部と、
を備えることを特徴とする情報管理装置。
【請求項２】
利用者が前記アクションを行っているときに表示されていた前記データの注目度を取得する注目度取得部と、をさらに備え、
前記記憶部は、さらに前記データに対する注目度の条件をさらに対応付けて記憶すること、
を特徴とする請求項１に記載の情報管理装置。
【請求項３】
アクションの条件と、当該条件を満足した場合の状況とを対応付けて保持する状況条件記憶部をさらに備え、
前記状況判定部は、前記状況条件記憶部に基づいて、入力された前記アクションが満足する前記条件と対応付けられている状況を、前記アクションを行っているときの状況として判定すること、
を特徴とする請求項１又は２に記載の情報管理装置。
【請求項４】
前記記憶部は、前記状況対応情報で対応付けられた前記データ関係情報が、文書と文書、文書と文書のページ、又は文書のページと文書のページ間の関係を示していること、
を特徴とする請求項１乃至３のいずれか一つに記載の情報管理装置。
【請求項５】
前記データ関係記憶部に登録された前記複数データと、前記複数データ間の関係を示した前記データ関係情報とを表示する表示部を、さらに備えることを特徴とする請求項１乃至４のいずれか一つに記載の情報管理装置。
【請求項６】
データの検索に用いる検索キーワードの入力を受け付けるキーワード入力受付部と、
入力された前記検索キーワードでデータを検索する検索部と、
入力を受け付けた前記検索キーワードで検索されたデータと、前記データ関係記憶部において対応付けられているデータと、出力する出力部と、
をさらに備えることを特徴とする請求項１乃至５のいずれか一つに記載の情報管理装置。
【請求項７】
表示装置に表示された複数のデータを特定する特定ステップと、
特定された前記複数のデータのうち、それぞれのデータが表示されているときに利用者が行ったアクションを入力する入力ステップと、
利用者が前記アクションを行っているときの状況を判定する状況判定ステップと、
複数のデータのうち、一のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、他のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、の関係に応じて、前記一のデータ及び前記他のデータ間のデータ関係を定義する状況対応情報を記憶部に記憶する記憶ステップと、
前記記憶部に記憶された前記状況対応情報に基づいて、特定された複数の前記データから、前記一のデータと前記他のデータとの前記データ関係を取得するデータ関係取得ステップと、
前記一のデータと、前記他のデータと、取得した前記データ関係と、を対応付けて記憶するデータ関係記憶部に記憶するデータ関係記憶ステップと、
を有することを特徴とする情報管理方法。
【請求項８】
表示装置に表示された複数のデータを特定する特定ステップと、
特定された前記複数のデータのうち、それぞれのデータが表示されているときに利用者が行ったアクションを入力する入力ステップと、
利用者が前記アクションを行っているときの状況を判定する状況判定ステップと、
複数のデータのうち、一のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、他のデータに対する前記アクション又は前記アクションを行っているときの前記状況と、の関係に応じて、前記一のデータ及び前記他のデータ間のデータ関係を定義する状況対応情報を記憶部に記憶する記憶ステップと、
前記記憶部に記憶された前記状況対応情報に基づいて、特定された複数の前記データから、前記一のデータと前記他のデータとの前記データ関係を取得するデータ関係取得ステップと、
前記一のデータと、前記他のデータと、取得した前記データ関係と、を対応付けて記憶するデータ関係記憶部に記憶するデータ関係記憶ステップと、
をコンピュータに実行される情報管理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００８−２４３０７９（Ｐ２００８−２４３０７９Ａ）
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願番号】特願２００７−８５９８０（Ｐ２００７−８５９８０）
【出願日】平成１９年３月２８日（２００７．３．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願日】平成１９年３月２８日（２００７．３．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]