議事録作成システム、作成装置及び作成方法
【課題】会議内容を要約した議事録の長所を損なうことなく、会議の詳細内容の必要な部分を即座に確認できる議事録を自動的に作成する議事録作成システムを提供する。
【解決手段】サーバーＤは、電子黒板Ａ及びマイクＢによって夫々収集した描画データＡ−１、音声データＢ−１の情報をクライアントＣからアップロードされると、それらを保存する手段と、音声データから音声文字列化データを生成する手段と、音声文字列化データから議事録出力対象となる議事内容を抽出する手段と、クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、リクエストに基づき、描画データリンク情報、議事録データの描画データ、音声データリンク情報を取得し、少なくとも議事内容、描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成する手段と、ＨＴＭＬ議事録表示用画面をクライアントＣに送信する手段等を備える。
【解決手段】サーバーＤは、電子黒板Ａ及びマイクＢによって夫々収集した描画データＡ−１、音声データＢ−１の情報をクライアントＣからアップロードされると、それらを保存する手段と、音声データから音声文字列化データを生成する手段と、音声文字列化データから議事録出力対象となる議事内容を抽出する手段と、クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、リクエストに基づき、描画データリンク情報、議事録データの描画データ、音声データリンク情報を取得し、少なくとも議事内容、描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成する手段と、ＨＴＭＬ議事録表示用画面をクライアントＣに送信する手段等を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識機能、描画認識機能を利用して会議の議事録を自動的に作成する議事録作成システム、作成装置及び作成方法に関するものである。
【背景技術】
【０００２】
此種従来の技術として、例えば、会議中の発言者の音声を録音し、録音した音声から音声認識機能を利用して発言内容を認識し、認識した発言内容を文字情報に変換して、表示装置に表示したり、用紙に印字したりする議事録作成装置が提案されている（例えば、特許文献１，２，３参照）。
又、マイクを内蔵し、描画データと音声データを、データ取得時刻を条件に同期して再生可能な電子黒板が提案されている（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２２２１８６号公報
【特許文献２】特開２００５−２７７４６２号公報
【特許文献３】特開２００７−２３３０７５号公報
【特許文献４】特開２００３−２６０８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１，２，３を含めて、従来の議事録作成装置では、議事内容を要約した議事録のみが公開対象であり、決定に至るまでの経緯や状況等の詳細内容を確認するためには、音声データを再生して探す、音声データから生成された文字データを検索する、会議出席者に確認するなどの手段を講じる必要があった。一方、特許文献４のように、描画データ、音声データ両方が参照、聴講が可能である場合、会議の内容が要約されていないため、全体把握が困難であった。
【０００５】
以上の現状に鑑み、本発明は、議事録記載内容の決定事項が議論された音声データ、描画データを再生するリンクを議事録に付加すること、描画データを議事録に付加することにより、会議出席者が必要とする要点を把握し易いという会議内容を要約した議事録の長所を損なうことなく、第三者でも会議の詳細内容の必要な部分のみを即座に確認できる議事録を自動的に作成する議事録作成システム、作成装置及び作成方法を提供することを目的とする。
又、本発明は、会議中に描画したデータを議事録に付加することにより、文字の議事録と比較し、議事内容についてより視覚認識が容易な議事録を提供できる議事録作成システム、作成装置及び作成方法を提供することを目的とする。
更に、本発明は、規定の図形を含む描画データ、またその前後の音声データを議事録に出力することにより、重要事項が音声ではなく図形で描画されている議事内容についての議事録を作成することが可能な議事録作成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決すべく、本発明は以下の構成を提供する。
請求項１に係る発明は、描画データを収集する電子黒板及び音声データを収集するマイクと、クライアントとが通信自在に接続され、前記クライアントとサーバーとが通信自在に接続される議事録作成システムに於いて、
前記サーバーは、
前記クライアントからデータ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報のアップロードがあると、前記描画データと、音声データとを前記サーバーが備える描画データ保存部と、音声データ保存部とに夫々保存し、前記描画データと前記音声データの格納場所情報、前記議題、開催日の情報を前記サーバーが備える議事録管理データ保存部の議事録管理データに保存する手段と、
前記音声データから音声文字列化データを生成し、前記音声文字列化データを文章毎に分割し前記サーバーが備える音声文字列化データ保存部へ保存する手段と、
前記音声文字列化データの各文章の発言者を前記音声データより判断して発言者情報を取得する手段と、
前記音声文字列化データの各文章の先頭時点及び末尾時点の時刻を取得する手段と、
前記音声文字列化データより、議事録出力対象となる議事内容を抽出し、前記サーバーが備える議事録データ保存部の議事録データに出力する手段と、
前記発言者情報を前記音声文字列化データ及び議事録データに夫々出力する手段と、
前記音声文字列化データの各文章の先頭時点の時刻を前記音声文字列化データの時刻、議事録データの音声時刻として夫々出力する手段と、
前記音声文字列化データの各文章の末尾時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点の時刻を取得する手段と、
前記描画データの描画開始時点よりも早い直近の音声文字列化データの先頭時点の時刻を取得し、前記議事録データに描画時刻として出力する手段と、
前記描画データの描画開始時点よりも遅い直近の音声文字列化データの先頭時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点よりも遅い音声文字列化データがない場合、前記描画データの終了時刻を図時刻として、前記議事録データに出力する手段と、
前記クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、前記リクエストに基づき、前記議事録管理データ及び前記議事録データを抽出する手段と、
抽出された議事録データの議事録ＩＤ及び描画時刻の情報を持つ描画データ再生用ＨＴＭＬ画面への描画データリンク情報を生成する手段と、
抽出された議事録データの図時刻時点の描画データを取得する手段と、
抽出された議事録データの議事録ＩＤ及び音声時刻の情報を持つ音声データ再生用ＨＴＭＬ画面への音声データリンク情報を生成する手段と、
抽出、生成及び取得した情報及びデータにより、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成する手段と、
前記ＨＴＭＬ議事録表示用画面を前記クライアントに送信する手段とを備え、
前記クライアントは、
前記データ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報を前記サーバーにアップロードする手段と、
前記サーバーから前記ＨＴＭＬ議事録表示用画面を受信すると、前記ＨＴＭＬ議事録表示用画面を表示する手段とを備えたことを特徴とする議事録作成システムを提供するものである。
【０００７】
請求項２に係る発明は、前記サーバーは、
前記クライアントから、前記描画データリンク情報を介して、前記描画データ再生用ＨＴＭＬ画面のリクエストがあると、前記描画データ保存部に保存された前記描画データ内の対象データを特定し、前記リクエストにより送信された描画時刻により再生位置を特定し、特定した描画データの全体の時間を取得し、前記リクエストにより音声データ内の対象データを特定し、前記描画時刻により音声データの再生位置を特定する手段と、
それらの情報を基に音声データを含む描画データ再生用ＨＴＭＬ画面を生成する手段と、
前記描画データ再生用ＨＴＭＬ画面を前記クライアントに送信する手段と、
前記クライアントから、前記音声データリンク情報を介して、前記音声データ再生用ＨＴＭＬ画面のリクエストがあると、前記音声データ保存部に保存された前記音声データ内の対象データを特定し、前記リクエストにより送信された音声時刻により再生位置を特定し、前記音声時刻に対応する音声文字列化データを前記音声文字列化データ保存部から取得し、特定した前記音声データの全体の時間を取得する手段と、
それらの情報を基に音声文字列化データを含む音声データ再生用ＨＴＭＬ画面を生成する手段と、
前記音声データ再生用ＨＴＭＬ画面を前記クライアントに送信する手段とを備えたことを特徴とする請求項１記載の議事録作成システムを提供するものである。
【０００８】
請求項３に係る発明は、描画データを収集する電子黒板及び音声データを収集するマイクに通信自在に接続されるクライアントに通信自在に接続されたサーバーを備えた議事録作成装置に於いて、
前記サーバーは、
前記クライアントからデータ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報のアップロードがあると、前記描画データと、音声データとを前記サーバーが備える描画データ保存部と、音声データ保存部とに夫々保存し、前記描画データと前記音声データの格納場所情報、前記議題、開催日の情報を前記サーバーが備える議事録管理データ保存部の議事録管理データに保存する手段と、
前記音声データから音声文字列化データを生成し、前記音声文字列化データを文章毎に分割し前記サーバーが備える音声文字列化データ保存部へ保存する手段と、
前記音声文字列化データの各文章の発言者を前記音声データより判断して発言者情報を取得する手段と、
前記音声文字列化データの各文章の先頭時点及び末尾時点の時刻を取得する手段と、
前記音声文字列化データより、議事録出力対象となる議事内容を抽出し、前記サーバーが備える議事録データ保存部の議事録データに出力する手段と、
前記発言者情報を前記音声文字列化データ及び議事録データに夫々出力する手段と、
前記音声文字列化データの各文章の先頭時点の時刻を前記音声文字列化データの時刻、議事録データの音声時刻として夫々出力する手段と、
前記音声文字列化データの各文章の末尾時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点の時刻を取得する手段と、
前記描画データの描画開始時点よりも早い直近の音声文字列化データの先頭時点の時刻を取得し、前記議事録データに描画時刻として出力する手段と、
前記描画データの描画開始時点よりも遅い直近の音声文字列化データの先頭時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点よりも遅い音声文字列化データがない場合、前記描画データの終了時刻を図時刻として、前記議事録データに出力する手段と、
前記クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、前記リクエストに基づき、前記議事録管理データ及び前記議事録データを抽出する手段と、
抽出された議事録データの議事録ＩＤ及び描画時刻の情報を持つ描画データ再生用ＨＴＭＬ画面への描画データリンク情報を生成する手段と、
抽出された議事録データの図時刻時点の描画データを取得する手段と、
抽出された議事録データの議事録ＩＤ及び音声時刻の情報を持つ音声データ再生用ＨＴＭＬ画面への音声データリンク情報を生成する手段と、
抽出、生成及び取得した情報及びデータにより、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成する手段と、
前記ＨＴＭＬ議事録表示用画面を前記クライアントに送信する手段とを備えたことを特徴とする議事録作成装置を提供するものである。
【０００９】
請求項４に係る発明は、描画データを収集する電子黒板及び音声データを収集するマイクに通信自在に接続されると共に、サーバーに通信自在に接続されたクライアントを備えた議事録作成装置に於いて、
前記クライアントは、
前記データ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報を前記サーバーにアップロードする手段と、
前記サーバーから前記ＨＴＭＬ議事録表示用画面を受信すると、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含む前記ＨＴＭＬ議事録表示用画面を表示する手段とを備えたことを特徴とする議事録作成装置を提供するものである。
【００１０】
請求項５に係る発明は、描画データを収集する電子黒板及び音声データを収集するマイクと、クライアントとが通信自在に接続され、前記クライアントとサーバーとが通信自在に接続される議事録作成方法に於いて、
前記サーバーは、
前記クライアントからデータ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報のアップロードがあると、前記描画データと、音声データとを前記サーバーが備える描画データ保存部と、音声データ保存部とに夫々保存し、前記描画データと前記音声データの格納場所情報、前記議題、開催日の情報を前記サーバーが備える議事録管理データ保存部の議事録管理データに保存するステップと、
前記音声データから音声文字列化データを生成し、前記音声文字列化データを文章毎に分割し前記サーバーが備える音声文字列化データ保存部へ保存するステップと、
前記音声文字列化データの各文章の発言者を前記音声データより判断して発言者情報を取得するステップと、
前記音声文字列化データの各文章の先頭時点及び末尾時点の時刻を取得するステップと、
前記音声文字列化データより、議事録出力対象となる議事内容を抽出し、前記サーバーが備える議事録データ保存部の議事録データに出力するステップと、
前記発言者情報を前記音声文字列化データ及び議事録データに夫々出力するステップと、
前記音声文字列化データの各文章の先頭時点の時刻を前記音声文字列化データの時刻、議事録データの音声時刻として夫々出力するステップと、
前記音声文字列化データの各文章の末尾時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力するステップと、
前記描画データの描画開始時点の時刻を取得するステップと、
前記描画データの描画開始時点よりも早い直近の音声文字列化データの先頭時点の時刻を取得し、前記議事録データに描画時刻として出力するステップと、
前記描画データの描画開始時点よりも遅い直近の音声文字列化データの先頭時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力するステップと、
前記描画データの描画開始時点よりも遅い音声文字列化データがない場合、前記描画データの終了時刻を図時刻として、前記議事録データに出力するステップと、
前記クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、前記リクエストに基づき、前記議事録管理データ及び前記議事録データを抽出するステップと、
抽出された議事録データの議事録ＩＤ及び描画時刻の情報を持つ描画データ再生用ＨＴＭＬ画面への描画データリンク情報を生成するステップと、
抽出された議事録データの図時刻時点の描画データを取得するステップと、
抽出された議事録データの議事録ＩＤ及び音声時刻の情報を持つ音声データ再生用ＨＴＭＬ画面への音声データリンク情報を生成するステップと、
抽出、生成及び取得した情報及びデータにより、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成するステップと、
前記ＨＴＭＬ議事録表示用画面を前記クライアントに送信するステップとを実行し、
前記クライアントは、
前記データ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報を前記サーバーにアップロードするステップと、
前記サーバーから前記ＨＴＭＬ議事録表示用画面を受信すると、前記ＨＴＭＬ議事録表示用画面を表示するステップとを実行することを特徴とする議事録作成方法を提供するものである。
【００１１】
請求項６に係る発明は、前記サーバーは、
前記クライアントから、前記描画データリンク情報を介して、前記描画データ再生用ＨＴＭＬ画面のリクエストがあると、前記描画データ保存部に保存された前記描画データ内の対象データを特定し、前記リクエストにより送信された描画時刻により再生位置を特定し、特定した描画データの全体の時間を取得し、前記リクエストにより音声データ内の対象データを特定し、前記描画時刻により音声データの再生位置を特定するステップと、
それらの情報を基に音声データを含む描画データ再生用ＨＴＭＬ画面を生成するステップと、
前記描画データ再生用ＨＴＭＬ画面を前記クライアントに送信するステップと、
前記クライアントから、前記音声データリンク情報を介して、前記音声データ再生用ＨＴＭＬ画面のリクエストがあると、前記音声データ保存部に保存された前記音声データ内の対象データを特定し、前記リクエストにより送信された音声時刻により再生位置を特定し、前記音声時刻に対応する音声文字列化データを前記音声文字列化データ保存部から取得し、特定した前記音声データの全体の時間を取得するステップと、
それらの情報を基に音声文字列化データを含む音声データ再生用ＨＴＭＬ画面を生成するステップと、
前記音声データ再生用ＨＴＭＬ画面を前記クライアントに送信するステップとを実行することを特徴とする請求項５記載の議事録作成方法を提供するものである。
【発明の効果】
【００１２】
本発明によれば、議事録から議事発生時点の音声データ、描画データを再生可能にすることにより、議事内容の決定に至るまでの経緯や状況等の詳細内容を容易に参照し、確認することが可能になる。
詳細内容を容易に参照可能にすることにより、議事内容を最小限の記載に留めることができる。これにより、自動生成された議事内容の修正作業を低減することができる。
また、描画データを議事録に添付することにより、従来、手作業で行っていた資料添付が自動化され、作業の手間を省くことができ、さらに議事内容について、より視覚認識が容易となる。
描画データを再生可能にすることにより、図形描画時の説明も合わせて確認することができ、描画データの意図を誤り無く確認することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の議事録作成システムに係るシステム構成概要図である。
【図２】本発明の議事録作成システムに係る収集する音声データ及び描画データと、生成する議事録との関連を示す説明図である。
【図３】本発明の議事録作成システムに係るシステム構成の一例を示す図である。
【図４】本発明の議事録作成システムに係るデータ構成の一例を示す図である。
【図５】本発明の議事録表示用ＨＴＭＬ画面の表示の一例を示す図である。
【図６】本発明の描画データ再生用ＨＴＭＬ画面の表示の一例を示す図である。
【図７】本発明の音声データ再生用ＨＴＭＬ画面の表示の一例を示す図である。
【図８】本発明の記憶部へのデータ保存及び議事録を作成する手順を示すフローチャートである。
【図９】本発明の描画データを条件に文字列化データを抽出し、各種保存先へデータを保存する手順を示すフローチャートである。
【図１０】本発明の議事録表示用ＨＴＭＬ画面の生成処理及び出力処理手順を示すフローチャートである。
【図１１】本発明の描画データ再生用ＨＴＭＬ画面の生成処理及び出力処理手順を示すフローチャートである。
【図１２】本発明の音声データ再生用ＨＴＭＬ画面の生成処理及び出力処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、実施例を示した図面を参照しつつ本発明の実施の形態を説明する。尚、本発明は、以下の実施の形態に限定されるものではない。
又、上記サーバー及びクライアントは、コンピュータであり、上記各手段又はステップは、コンピュータのＣＰＵが必要なコンピュータプログラムを読み込んで実行することにより実現される手段又はステップであり、そのフローチャート図が図８乃至図１２である。
【００１５】
始めに、本発明の実施形態の概要について、ハードウェア構成の観点で説明する。
本発明は、電子黒板で収集した描画データ、マイクで収集した音声データを基に、音声データを文字列化したデータ、描画データ、描画データと音声データの再生用リンクを備えた議事録を作成するものである。
【００１６】
図１で示す簡易的なハードウェア構成とデータの動きを例にすると、電子黒板Ａで収集した描画データ、マイクＢで収集した音声データに、議題、開催日の情報を付加したものをクライアントＣからサーバーＤにアップロードし、これらを基にサーバーＤで議事録を作成した結果をクライアントＣで表示する形になる。
【００１７】
次に、実施形態の概要について、収集した描画データ、音声データと生成する議事録との関連の観点で、図２を用いて説明する。
サーバーＤは、クライアントＣから、描画データ２０１、音声データ２０２とともに議題、開催日の情報のアップロードがあると、描画データ２０１を後述する描画データ保存部（図３に於いてＤ−２０１）に保存し、音声データ２０２を後述する音声データ保存部（図３に於いてＤ−２０２）に保存し、議題、開催日の情報を議事録管理データ２０５に保存する。
【００１８】
次に、音声データ２０２を基に音声内容を文字列化し、音声文字列化データ２０３を生成する。そして、音声文字列化データ２０３より（会議内容を要約した）必要部分を抽出し、議事録データ２０４に議事内容として出力する。又、音声文字列化データ２０３の抽出箇所に対応する音声データ２０２より発言者を判断し、音声文字列化データ２０３と議事録データ２０４に発言者情報を出力する。次に、音声文字列化データ２０３の抽出箇所に対応する描画データ２０１へのリンク情報を、描画データリンクとして議事録データ２０４に出力する。同じく、議事内容を抽出した時点より音声データ２０２を再生し、音声文字列化データ２０３を表示する音声データリンクを出力する。
又、議事録の図２０４３抽出条件として、音声文字列化データ２０３抽出箇所の文章の終了時点の時刻情報を、図時刻（図４に於いて２０６１参照）として議事録データ２０４へ出力する。議事録データ２０４に出力し保存した発言者、議事内容、音声データリンク、音声文字列化データリンク、描画データリンクを次のように出力することで、議事録を生成する。
〔ヘッダ部に出力〕
議事録管理データ２０５の議題を議題２０５１に出力する。議事録管理データ２０５の開催日を開催日２０５２に出力する。
〔データ部に出力（以下の処理を存在するデータ数分繰り返し出力する）〕
議事録データ２０４の発言者を発言者２０４１に出力する。議事録データ２０４の議事内容を議事内容２０４２に出力する。議事録データ２０４の図時刻を条件に取得した描画データ２０１を図２０４３に出力する。議事録データ２０４の描画データリンク、音声データリンクをリンク２０４４に出力する。
前述した音声データを文字列化、音声データまたは音声文字列化データからの議事録出力内容抽出、音声データより発言者を特定、等のそれぞれの技術については、前記特許文献１、特許文献２、特許文献３、特許文献４の既存技術を使用する。
【００１９】
図３は、本発明に係る議事録作成システムの構成の一例を示す図である。図３に示す議事録作成システムの構成要素の役割は次のとおりである。
電子黒板Ａは、マイクＢを内蔵し、描画データＡ−１を収集する。マイクＢは、音声データＢ−１を収集する。クライアントＣは、ＨＴＭＬ（HyperText Markup Language）描画部（ブラウザ）Ｃ−３を実行する。ＣＰＵ Ｃ−１は、データ通信を行う通信部Ｃ−２を備え、ＨＴＭＬ描画部（ブラウザ）Ｃ−３に議事録作成システムのＧＵＩ（Graphical User
Interface）となるＨＴＭＬ画面を表示する。サーバーＤは、制御部Ｄ−１を実行するＣＰＵ Ｄ−３、制御部Ｄ−１によって管理される記憶部Ｄ−２、クライアントＣとの通信を制御する通信部Ｄ−４を備え、収集したデータの管理、議事録の編集、クライアントＣへ表示するＨＴＭＬを生成する。
【００２０】
次に、サーバーＤの制御部Ｄ−１、記憶部Ｄ−２の内容について説明する。
データアップロード制御部Ｄ−１０１は、電子黒板Ａで収集した描画データＡ−１、マイクＢで収集した音声データＢ−１を、クライアントからサーバーへアップロードし、記憶部Ｄ−２に保存する処理制御を行う。音声文字列化部Ｄ−１０２は、データアップロード制御部Ｄ−１０１によりサーバーＤへアップロードされた音声データＢ−１を、文字列化する処理制御を行う。議事録データ編集部Ｄ−１０３は、記憶部Ｄ−２に保存されたデータをもとに、議事録を作成、編集する処理制御を行う。ＨＴＭＬ生成部Ｄ−１０４は、ＨＴＭＬ描画部（ブラウザ）Ｃ−３に表示するＨＴＭＬを生成する。
【００２１】
描画データ保存部Ｄ−２０１は、電子黒板Ａで収集された描画データＡ−１を保存する。音声データ保存部Ｄ−２０２は、マイクＢで収集された音声データＢ−１を保存する。音声文字列化データ保存部Ｄ−２０３は、音声データＢ−１を文字列化した、音声文字列化データを保存する。議事録データ保存部Ｄ−２０４は、議事録データ編集部Ｄ−１０３によって作成された議事録データを保存する。議事録管理データ保存部Ｄ−２０５は、議事録データ編集部Ｄ−１０３によって作成された議事録を管理するデータを保存する。
【００２２】
図３に示した構成要素を使用して、議事録を作成する手順を以下に説明する。
電子黒板Ａについては、音声データ、描画データを、データ取得時刻と共に保存する特開２００３−２６０８９６号公報（特許文献４）の機能、取得データをパーソナルコンピューターに保存できる特開２００２−２４０４９１号公報の機能を持つ事を前提とする。ただし、時刻情報で同期されている音声データ、描画データが取得可能であれば、データ取得の方法はこの限りではない。
【００２３】
会議の場において電子黒板Ａに描画された描画データＡ−１を取得する。電子黒板Ａに内蔵するマイクＢにて音声データＢ−１を取得する。
図３及び図８を用いて具体的に説明すると、クライアントＣはＨＴＭＬ描画部（ブラウザ）Ｃ−３よりデータアップロード用画面表示のリクエストをサーバーＤに送信する（Ｓ１１）。これを受けて、データアップロード制御部Ｄ−１０１は、ＨＴＭＬ生成部Ｄ−１０４にデータアップロード用ＨＴＭＬ画面の生成を命令し、議題、開催日の入力項目を備えた、音声データ、描画データのデータアップロード用ＨＴＭＬ画面をクライアントＣに送信する（Ｓ１２）。クライアントＣは、受信したデータアップロード用ＨＴＭＬ画面を、ＨＴＭＬ描画部（ブラウザ）Ｃ−３に表示する（Ｓ１３）。クライアントＣは、電子黒板Ａにて取得した描画データＡ−１、マイクＢにて取得した音声データＢ−１を取得し（Ｓ１４）、データアップロード用ＨＴＭＬ画面を使用して、議題、開催日情報と共にサーバーＤへアップロードする（Ｓ１５）。データアップロード制御部Ｄ−１０１は、クライアントＣによってアップロードされたデータを受け取り、記憶部Ｄ−２に保存する（Ｓ１６〜Ｓ２４）。
【００２４】
データアップロード制御部Ｄ−１０１が記憶部Ｄ−２に各種データを保存する処理手順を以下に示す。
図４は、図３の記憶部Ｄ−２に含まれる、描画データ保存部Ｄ−２０１、音声データ保存部Ｄ−２０２、音声文字列化データ保存部Ｄ−２０３、議事録データ保存部Ｄ−２０４、議事録管理データ保存部Ｄ−２０５に保存するデータの論理構成を示している。記憶部Ｄ−２への保存形態、方法について、この図４及び図８を用いて説明する。
【００２５】
＜描画データ２０１、音声データ２０２、議事録管理データ２０５へのデータ保存＞
始めに、アップロードデータとして取得した議題、開催日、描画データＡ−１、音声データＢ−１に対し、データ収集対象の会議をユニークに特定するための議事録ＩＤとして、接頭文字“Ｇ”の後に３桁のシーケンス番号を付けた“Ｇ００１”を付与する（Ｓ１６）（議事録ＩＤの形態は、議事録システム内でユニークであれば形式は問わない）。この議事録ＩＤは、議事録をユニークに特定し、議事録管理データ２０５、議事録データ２０４、音声文字列化データ２０３を関連付ける情報として使用する。
【００２６】
次に、描画データＡ−１を描画データ保存部Ｄ−２０１に、音声データＢ−１を音声データ保存部Ｄ−２０２に、それぞれ保存の形態を、前提として前述したとおり、描画データと音声データを同期させ、指定した時刻から再生可能にするための時刻情報を含めた状態で保存する（Ｓ１７）。これらは、議事録に出力する描画データリンク、音声データリンクからのリクエストを契機に再生する際に使用する。各情報の保存場所は次のとおりである。
〔描画データ２０１保存内容〕
描画データＡ−１の時刻を時刻２０１１に保存する。描画データＡ−１を描画データ２０１２に保存する。
〔音声データ２０２保存内容〕
音声データＢ−１の時刻を時刻２０２１に保存する。音声データＢ−１を音声データ２０２２に保存する。
【００２７】
次に、描画データＡ−１、音声データＢ−１の格納場所情報と、描画データＡ−１、音声データＢ−１と共にアップロードされ、議事録の見出しとして出力する議題、開催日の情報を、議事録管理データ２０５に保存する（Ｓ１８）。各情報の保存場所は次のとおりである。
〔議事録管理データ２０５保存内容〕
“Ｇ００１”（任意のユニークキー）を議事録ＩＤ２０５５に保存する。議題を議題２０５１に保存する。開催日を開催日２０５２に保存する。描画データＡ−１の格納場所を描画データ格納場所２０５３に保存する。音声データＢ−１の格納場所を音声データ格納場所２０５４に保存する。
【００２８】
＜音声文字列化データ２０３、議事録データ２０４へのデータ保存＞
音声データＢ−１を文字列化し音声文字列化データを生成する（Ｓ１９）。音声文字列化データは文章毎に分割し（Ｓ２０）、各文章の発言者、各文章の先頭時点の時刻（描画データＡ−１、音声データＢ−１、音声文字列化データへのリンク情報）、各文章の末尾時点の時刻（議事録に出力する図の取得条件）を取得する（Ｓ２１、Ｓ２２）。また、分割した音声文字列化データより、議事録出力対象となる議事内容を抽出する（Ｓ２３）。上記の手順で音声データＢ−１より生成、抽出した情報を、音声文字列化データ２０３、議事録データ２０４に保存する（Ｓ２４）。
【００２９】
各情報の保存場所、保存対象は次のとおりとする。
〔音声文字列化データ２０３〕
対象は、音声データＢ−１全データとする。
“Ｇ００１”（議事録管理データ２０５に保存した議事録ＩＤ）を議事録ＩＤ２０３１に保存する。各文章の先頭時点の時刻情報を時刻２０３２に保存する。各文章の発言者を発言者２０３３として出力する。各文章の音声文字列化データを文字データ２０３４に保存する。
〔議事録データ２０４〕
対象は、音声データＢ−１より議事録出力対象として抽出したデータとする。
“Ｇ００１”（議事録管理データ２０５に保存した議事録ＩＤ）を議事録ＩＤ２０４６に保存する。各文章の発言者を発言者２０４１に保存する。各文章の音声文字列化データより抽出した議事内容を議事内容２０４２に保存する。各文章の末尾時点の時刻情報を図時刻２０６１に保存する。各文章の先頭時点の時刻情報を描画時刻２０６２、音声時刻２０６３に保存する。
上記では、音声データＢ−１より既存技術を用いて議事内容を抽出し、各種保存先へデータを保存した。
【００３０】
次に、描画データＡ−１を条件に文字列化データ２０３を抽出し、各種保存先へデータを保存する手順を図９を用いて説明する。
描画データＡ−１に予め定められた図形が描画されている場合、その図形描画開始時点の時刻を議事内容の抽出条件として取得する（Ｓ３１）。取得した時刻を条件として音声文字列化データ２０３より対象データを抽出する手順を次に説明する。
(1)議事録ＩＤ２０３１＝“Ｇ００１”でデータを絞り込む（Ｓ３２）。
(2)時刻２０３２の昇順で並び替える（Ｓ３３）。
(3)時刻２０３２が、「Ｎ番目のデータの時刻≦描画データＡ−１より取得した時刻＜Ｎ＋１番目のデータの時刻」 の条件に合致する、Ｎ番目のデータを抽出する（Ｓ３４）。
(4)Ｎ＋１番目の時刻２０３２を取得する（Ｓ３５）（Ｎ番目が最終データの場合、描画データＡ−１の終了時刻とする）。
前記(3)(4)で抽出した音声文字列化データ２０３の情報を、議事録データ２０４に保存する（Ｓ３６）。各情報の保存場所、保存対象は次のとおりとする。ただし、音声時刻２０６３が同じデータを登録済みの場合、登録対象外とする。
〔議事録データ２０４〕
“Ｇ００１”（議事録管理データ２０５に保存した議事録ＩＤ）を議事録ＩＤ２０４６に保存する。(3)で取得したデータの発言者２０３３を発言者２０４１に保存する。(3)で取得したデータの文字データ２０３４を議事内容２０４２に保存する。(4)で取得した時刻２０３２を図時刻２０６１に保存する。(3)で取得したデータの時刻２０３２を描画時刻２０６２、音声時刻２０６３に保存する。
以上が、データアップロード制御部Ｄ−１０１が記憶部Ｄ−２に各種データを保存する処理手順である。
【００３１】
次に、上記で記憶部Ｄ−２に保存したデータを使用し、議事録を出力する手順について記載する。
議事録を出力する手順の概要は次のとおりである。
先ず、図３及び図１０を使って説明すると、クライアントＣは、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より、議事録表示用ＨＴＭＬ画面のリクエストを議事録ＩＤと共にサーバーＤに送信する（Ｓ４１）。これを受けて、議事録データ編集部Ｄ−１０３は、ＨＴＭＬ生成部Ｄ−１０４に議事録表示用ＨＴＭＬ画面の生成を命令し（Ｓ４２〜Ｓ４７）、議事録表示用ＨＴＭＬ画面をクライアントＣに送る（Ｓ４８）。クライアントＣは、受信した議事録表示用ＨＴＭＬ画面を、ＨＴＭＬ描画部（ブラウザ）Ｃ−３に表示する（Ｓ４９）。
【００３２】
以下に、図４、図５及び図１０を使って、議事録表示用ＨＴＭＬ画面の生成処理詳細を説明する。
(1)議事録管理データ２０５から、次の条件に基づき議事録管理データを抽出する（Ｓ４２）。
「ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された議事録ＩＤである議事録ＩＤ２０５５を抽出条件とする。」
(2)議事録データ２０４から、次の条件に基づき議事録データを抽出する（Ｓ４３）。
「ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された議事録ＩＤである議事録ＩＤ２０４６を抽出条件とし、音声時刻２０６３の昇順に並べ替える。」
(3)議事録データ２０４の議事録ＩＤ２０４６、描画時刻２０６２の情報を持つ、描画データ再生用ＨＴＭＬ画面へのリンク情報を生成する（Ｓ４４）。
(4)議事録データ２０４の図時刻２０６１時点の描画データ２０１を取得する（Ｓ４５）。
(5)議事録データ２０４の議事録ＩＤ２０４６、音声時刻２０６３の情報を持つ、音声データ再生用ＨＴＭＬ画面へのリンク情報を生成する（Ｓ４６）。
(6)(1)〜(5)で取得、生成した情報を、議事録表示用ＨＴＭＬ画面に出力する（Ｓ４７）。
(1)〜(5)で取得、生成した情報と、議事録表示用ＨＴＭＬ画面出力項目の対応については、次のとおりとする。
〔図５ 議事録表示用ＨＴＭＬ画面〕
(1)で取得した議事録管理データ２０５の議題２０５１を議題２０５１に出力する。(1)で取得した議事録管理データ２０５の開催日２０５２を開催日２０５２に出力する。ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された議事録ＩＤを議事録ＩＤ２０５５に出力する。
以下の処理は、議事録データ２０４で取得した件数分繰り返し出力する。
(2)で取得した発言者２０４１を発言者２０４１に出力する。(2)で取得した議事内容２０４２を議事内容２０４２に出力する。(4)で取得した描画データ２０１を図２０４３に出力する。(3)で生成した描画データ再生用ＨＴＭＬ画面へのリンクをリンクの図２０７１に出力する。(5)で生成した音声データ再生用ＨＴＭＬ画面へのリンクをリンクの音声２０７２に出力する。
【００３３】
描画データ２０１、音声データ２０２へのリンク、再生については、特開２００２−２０７７７４号公報等で公開されている、クライアントから送信される動画再生ポイントの時刻情報を条件に、動画リンクを行うインターネット動画リンクシステム等の既存技術を用いることとする。
以上の手順により、図５に示すような議事録を表示可能にする。
【００３４】
次に、議事録表示用ＨＴＭＬ画面に出力したリンクの図２０７１、リンクの音声２０７２のリンクにより表示する画面例について図６又は図７を用いて説明する。
図５に示す議事録表示用ＨＴＭＬ画面例にある、リンクの図２０７１を押下することにより、図１１に示す如く、クライアントＣは、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より、描画データ参照用ＨＴＭＬ画面表示のリクエスト（描画データ再生用ＨＴＭＬ画面のリクエスト）を、リンクに設定されている議事録ＩＤ２０４６、描画時刻２０６２と共にサーバーＤに送信する（Ｓ５１）。これを受けて、議事録データ編集部Ｄ−１０２は、ＨＴＭＬ生成部Ｄ−１０３に描画データ再生用ＨＴＭＬ画面の生成を命令し（Ｓ５２〜Ｓ５８）、描画データ再生用ＨＴＭＬ画面をクライアントＣに送る（Ｓ５９）。クライアントＣは、受信した描画データ再生用ＨＴＭＬ画面を、ＨＴＭＬ描画部（ブラウザ）Ｃ−３に表示する（Ｓ６０）。
【００３５】
以下に、図４、図６及び図１１を使って、描画データ再生用ＨＴＭＬ画面の生成処理詳細を説明する。
(1)議事録管理データ２０５から、次の条件に基づき議事録管理データを抽出する（Ｓ５２）。
「ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された議事録ＩＤである議事録ＩＤ２０５５を抽出条件にする。」
(2)(1)で取得した議事録管理データ２０５の描画データ格納場所２０５３により描画データ２０１内の対象データを特定し（Ｓ５３）、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された描画時刻２０６２により再生位置を特定する（Ｓ５４）。
(3)(2)で特定した描画データ２０１の全体の時間を取得する（Ｓ５５）。
(4)(1)で取得した議事録管理データ２０５の音声データ格納場所２０５４により音声データ２０２内の対象データを特定し（Ｓ５６）、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された描画時刻２０６２により再生位置を特定する（Ｓ５７）。
(5)(1)〜(4)の情報を基に、描画データ再生用ＨＴＭＬ画面を出力する（Ｓ５８）。
【００３６】
前記(1)〜(3)で取得した情報と、描画データ再生用ＨＴＭＬ画面出力項目の対応、描画データ再生用ＨＴＭＬ画面項目の説明については、次のとおりである。
〔図６ 描画データ再生用ＨＴＭＬ画面〕
(1)で取得した議事録管理データ２０５の議題２０５１を議題２０５１に出力する。(2)で再生対象、再生位置を特定した描画データ２０１を描画内容３０１（描画内容再生用エリア）に出力する。(4)で再生対象、再生位置を特定した音声データ２０２は画面に表示されない（描画内容３０１と時刻情報で同期し、音声により再生する）。(3)で取得した全体の時間と、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された描画時刻２０６２を再生位置表示インジケーター３０７（描画データ２０１全体の時間を再生位置表示インジケーター表示幅とし、描画時刻２０６２を相対位置で表示する）に出力する。
【００３７】
上記以外の出力項目について次に説明する。
再生３０２は、描画内容３０１を再生する。停止３０３は、再生中の描画内容３０１を停止する。更新３０４は、議事録データ２０４の描画時刻２０６２を、更新３０４押下時点の描画内容３０１再生位置（時刻情報）で更新する。閉じる３０５は、描画データ再生用ＨＴＭＬ画面を終了し、図５の議事録表示用ＨＴＭＬ画面へ戻る。挿入図更新３０６は、議事録データ２０４の図時刻２０６１を、挿入図更新３０６押下時点の描画内容３０１再生位置（時刻情報）で更新する。再生時刻３０８は、描画内容３０１に表示している描画データ２０１の時刻を表示する。
以上の項目を備える事により、描画データ２０１の表示だけでなく、議事録に出力する図、描画データ再生用のリンク位置を更新可能とする。
【００３８】
図５に示す議事録表示用ＨＴＭＬ画面例にある、リンクの音声２０７２を押下することにより、図１２に示す如く、クライアントＣは、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より、音声データ再生用ＨＴＭＬ画面表示のリクエストを、リンクに設定されている議事録ＩＤ２０４６、音声時刻２０６３と共にサーバーＤに送信する（Ｓ７１）。
これを受けて、議事録データ編集部Ｄ−１０２は、ＨＴＭＬ生成部Ｄ−１０３に音声データ再生用ＨＴＭＬ画面の生成を命令し（Ｓ７２〜Ｓ７７）、音声データ再生用ＨＴＭＬ画面をクライアントＣに送る（Ｓ７８）。クライアントＣは、受信した描画データ再生用ＨＴＭＬ画面を、ＨＴＭＬ描画部（ブラウザ）Ｃ−３に表示する（Ｓ７９）。
以下に、図４、図７及び図１２を使って、音声データ再生用ＨＴＭＬ画面の生成処理を説明する。
(1)議事録管理データ２０５から、次の条件に基づき議事録管理データを抽出する（Ｓ７２）。
「ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された議事録ＩＤである議事録ＩＤ２０５５に基づき抽出する。」
(2)(1)で取得した議事録管理データ２０５の音声データ格納場所２０５４により音声データ２０２内の対象データを特定し（Ｓ７３）、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された音声時刻２０６３により再生位置を特定する（Ｓ７４）。
(3)音声時刻２０６３に対応する音声文字列化データ２０３を、次の条件に基づき取得する（Ｓ７５）。
「ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された議事録ＩＤである議事録ＩＤ２０３１に基づき抽出する。」
(4)(2)で特定した音声データ２０２の全体の時間を取得する（Ｓ７６）。
(5)(1)〜(4)の情報を基に、音声データ再生用ＨＴＭＬ画面を出力する（Ｓ７７）。
【００３９】
(1)〜(4)で取得した情報と、音声データ再生用ＨＴＭＬ画面出力項目の対応、音声データ再生用ＨＴＭＬ画面項目の説明については、次に記載する。
〔図７ 音声データ再生用ＨＴＭＬ画面〕
(1)で取得した議事録管理データ２０５の議題２０５１を議題２０５１に出力する。(2)で再生対象、再生位置を特定した音声データ２０２は画面表示項目無しとする（但し、音声で再生する。）。(3)で取得した音声文字列化データ２０３を音声文字列化データ４０１に出力する。(4)で取得した全体の時間と、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された音声時刻２０６３を再生位置表示インジケーター４０６に出力する（音声データ２０２全体の時間を再生位置表示インジケーター表示幅とし、音声時刻２０６３を相対位置で表示する。）。
【００４０】
上記以外の出力項目について次のとおりである。
再生４０２は、音声データ２０２を再生する。停止４０３は、再生中の音声データ２０２を停止する。更新４０４は、議事録データ２０４の音声時刻２０６３を、更新４０４押下時点の音声内容再生位置（時刻情報）で更新する。閉じる４０５は、音声データ再生用ＨＴＭＬ画面を終了し、図５の議事録表示用ＨＴＭＬ画面へ戻る。再生時刻４０７は、再生している音声データ２０２の時刻を示す。
以上の項目を備える事により、音声データ２０２の表示だけでなく、議事録に出力する音声データ再生用のリンク位置を更新可能とする。
【００４１】
本発明のその他の活用として、通信教育データの作成が挙げられる。議事録を教育プログラムの目次として、描画データの詳細表示を教育プログラムとして使用可能である。
【符号の説明】
【００４２】
２０１，２０１２，Ａ−１ 描画データ
２０２，２０２２，Ｂ−１ 音声データ
２０３，４０１ 音声文字列化データ
２０４ 議事録データ
２０５ 議事録管理データ
２０１１，２０２１，２０３２ 時刻
２０３１，２０４６，５０５５ 議事録ＩＤ
２０３３，２０４１ 発言者
２０４２ 議事内容
２０５１ 議題
２０５２ 開催日
２０５３ 描画データ格納場所
２０５４ 音声データ格納場所
２０６１ 図時刻
２０６２ 描画時刻
２０６３ 音声時刻
Ａ 電子黒板
Ｂ マイク
Ｃ クライアント
Ｄ サーバー
Ｄ−２０１ 描画データ保存部
Ｄ−２０２ 音声データ保存部
Ｄ−２０３ 音声文字列化データ保存部
Ｄ−２０４ 議事録データ保存部
Ｄ−２０５ 議事録管理データ保存部
【技術分野】
【０００１】
本発明は、音声認識機能、描画認識機能を利用して会議の議事録を自動的に作成する議事録作成システム、作成装置及び作成方法に関するものである。
【背景技術】
【０００２】
此種従来の技術として、例えば、会議中の発言者の音声を録音し、録音した音声から音声認識機能を利用して発言内容を認識し、認識した発言内容を文字情報に変換して、表示装置に表示したり、用紙に印字したりする議事録作成装置が提案されている（例えば、特許文献１，２，３参照）。
又、マイクを内蔵し、描画データと音声データを、データ取得時刻を条件に同期して再生可能な電子黒板が提案されている（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２２２１８６号公報
【特許文献２】特開２００５−２７７４６２号公報
【特許文献３】特開２００７−２３３０７５号公報
【特許文献４】特開２００３−２６０８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１，２，３を含めて、従来の議事録作成装置では、議事内容を要約した議事録のみが公開対象であり、決定に至るまでの経緯や状況等の詳細内容を確認するためには、音声データを再生して探す、音声データから生成された文字データを検索する、会議出席者に確認するなどの手段を講じる必要があった。一方、特許文献４のように、描画データ、音声データ両方が参照、聴講が可能である場合、会議の内容が要約されていないため、全体把握が困難であった。
【０００５】
以上の現状に鑑み、本発明は、議事録記載内容の決定事項が議論された音声データ、描画データを再生するリンクを議事録に付加すること、描画データを議事録に付加することにより、会議出席者が必要とする要点を把握し易いという会議内容を要約した議事録の長所を損なうことなく、第三者でも会議の詳細内容の必要な部分のみを即座に確認できる議事録を自動的に作成する議事録作成システム、作成装置及び作成方法を提供することを目的とする。
又、本発明は、会議中に描画したデータを議事録に付加することにより、文字の議事録と比較し、議事内容についてより視覚認識が容易な議事録を提供できる議事録作成システム、作成装置及び作成方法を提供することを目的とする。
更に、本発明は、規定の図形を含む描画データ、またその前後の音声データを議事録に出力することにより、重要事項が音声ではなく図形で描画されている議事内容についての議事録を作成することが可能な議事録作成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決すべく、本発明は以下の構成を提供する。
請求項１に係る発明は、描画データを収集する電子黒板及び音声データを収集するマイクと、クライアントとが通信自在に接続され、前記クライアントとサーバーとが通信自在に接続される議事録作成システムに於いて、
前記サーバーは、
前記クライアントからデータ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報のアップロードがあると、前記描画データと、音声データとを前記サーバーが備える描画データ保存部と、音声データ保存部とに夫々保存し、前記描画データと前記音声データの格納場所情報、前記議題、開催日の情報を前記サーバーが備える議事録管理データ保存部の議事録管理データに保存する手段と、
前記音声データから音声文字列化データを生成し、前記音声文字列化データを文章毎に分割し前記サーバーが備える音声文字列化データ保存部へ保存する手段と、
前記音声文字列化データの各文章の発言者を前記音声データより判断して発言者情報を取得する手段と、
前記音声文字列化データの各文章の先頭時点及び末尾時点の時刻を取得する手段と、
前記音声文字列化データより、議事録出力対象となる議事内容を抽出し、前記サーバーが備える議事録データ保存部の議事録データに出力する手段と、
前記発言者情報を前記音声文字列化データ及び議事録データに夫々出力する手段と、
前記音声文字列化データの各文章の先頭時点の時刻を前記音声文字列化データの時刻、議事録データの音声時刻として夫々出力する手段と、
前記音声文字列化データの各文章の末尾時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点の時刻を取得する手段と、
前記描画データの描画開始時点よりも早い直近の音声文字列化データの先頭時点の時刻を取得し、前記議事録データに描画時刻として出力する手段と、
前記描画データの描画開始時点よりも遅い直近の音声文字列化データの先頭時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点よりも遅い音声文字列化データがない場合、前記描画データの終了時刻を図時刻として、前記議事録データに出力する手段と、
前記クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、前記リクエストに基づき、前記議事録管理データ及び前記議事録データを抽出する手段と、
抽出された議事録データの議事録ＩＤ及び描画時刻の情報を持つ描画データ再生用ＨＴＭＬ画面への描画データリンク情報を生成する手段と、
抽出された議事録データの図時刻時点の描画データを取得する手段と、
抽出された議事録データの議事録ＩＤ及び音声時刻の情報を持つ音声データ再生用ＨＴＭＬ画面への音声データリンク情報を生成する手段と、
抽出、生成及び取得した情報及びデータにより、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成する手段と、
前記ＨＴＭＬ議事録表示用画面を前記クライアントに送信する手段とを備え、
前記クライアントは、
前記データ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報を前記サーバーにアップロードする手段と、
前記サーバーから前記ＨＴＭＬ議事録表示用画面を受信すると、前記ＨＴＭＬ議事録表示用画面を表示する手段とを備えたことを特徴とする議事録作成システムを提供するものである。
【０００７】
請求項２に係る発明は、前記サーバーは、
前記クライアントから、前記描画データリンク情報を介して、前記描画データ再生用ＨＴＭＬ画面のリクエストがあると、前記描画データ保存部に保存された前記描画データ内の対象データを特定し、前記リクエストにより送信された描画時刻により再生位置を特定し、特定した描画データの全体の時間を取得し、前記リクエストにより音声データ内の対象データを特定し、前記描画時刻により音声データの再生位置を特定する手段と、
それらの情報を基に音声データを含む描画データ再生用ＨＴＭＬ画面を生成する手段と、
前記描画データ再生用ＨＴＭＬ画面を前記クライアントに送信する手段と、
前記クライアントから、前記音声データリンク情報を介して、前記音声データ再生用ＨＴＭＬ画面のリクエストがあると、前記音声データ保存部に保存された前記音声データ内の対象データを特定し、前記リクエストにより送信された音声時刻により再生位置を特定し、前記音声時刻に対応する音声文字列化データを前記音声文字列化データ保存部から取得し、特定した前記音声データの全体の時間を取得する手段と、
それらの情報を基に音声文字列化データを含む音声データ再生用ＨＴＭＬ画面を生成する手段と、
前記音声データ再生用ＨＴＭＬ画面を前記クライアントに送信する手段とを備えたことを特徴とする請求項１記載の議事録作成システムを提供するものである。
【０００８】
請求項３に係る発明は、描画データを収集する電子黒板及び音声データを収集するマイクに通信自在に接続されるクライアントに通信自在に接続されたサーバーを備えた議事録作成装置に於いて、
前記サーバーは、
前記クライアントからデータ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報のアップロードがあると、前記描画データと、音声データとを前記サーバーが備える描画データ保存部と、音声データ保存部とに夫々保存し、前記描画データと前記音声データの格納場所情報、前記議題、開催日の情報を前記サーバーが備える議事録管理データ保存部の議事録管理データに保存する手段と、
前記音声データから音声文字列化データを生成し、前記音声文字列化データを文章毎に分割し前記サーバーが備える音声文字列化データ保存部へ保存する手段と、
前記音声文字列化データの各文章の発言者を前記音声データより判断して発言者情報を取得する手段と、
前記音声文字列化データの各文章の先頭時点及び末尾時点の時刻を取得する手段と、
前記音声文字列化データより、議事録出力対象となる議事内容を抽出し、前記サーバーが備える議事録データ保存部の議事録データに出力する手段と、
前記発言者情報を前記音声文字列化データ及び議事録データに夫々出力する手段と、
前記音声文字列化データの各文章の先頭時点の時刻を前記音声文字列化データの時刻、議事録データの音声時刻として夫々出力する手段と、
前記音声文字列化データの各文章の末尾時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点の時刻を取得する手段と、
前記描画データの描画開始時点よりも早い直近の音声文字列化データの先頭時点の時刻を取得し、前記議事録データに描画時刻として出力する手段と、
前記描画データの描画開始時点よりも遅い直近の音声文字列化データの先頭時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点よりも遅い音声文字列化データがない場合、前記描画データの終了時刻を図時刻として、前記議事録データに出力する手段と、
前記クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、前記リクエストに基づき、前記議事録管理データ及び前記議事録データを抽出する手段と、
抽出された議事録データの議事録ＩＤ及び描画時刻の情報を持つ描画データ再生用ＨＴＭＬ画面への描画データリンク情報を生成する手段と、
抽出された議事録データの図時刻時点の描画データを取得する手段と、
抽出された議事録データの議事録ＩＤ及び音声時刻の情報を持つ音声データ再生用ＨＴＭＬ画面への音声データリンク情報を生成する手段と、
抽出、生成及び取得した情報及びデータにより、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成する手段と、
前記ＨＴＭＬ議事録表示用画面を前記クライアントに送信する手段とを備えたことを特徴とする議事録作成装置を提供するものである。
【０００９】
請求項４に係る発明は、描画データを収集する電子黒板及び音声データを収集するマイクに通信自在に接続されると共に、サーバーに通信自在に接続されたクライアントを備えた議事録作成装置に於いて、
前記クライアントは、
前記データ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報を前記サーバーにアップロードする手段と、
前記サーバーから前記ＨＴＭＬ議事録表示用画面を受信すると、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含む前記ＨＴＭＬ議事録表示用画面を表示する手段とを備えたことを特徴とする議事録作成装置を提供するものである。
【００１０】
請求項５に係る発明は、描画データを収集する電子黒板及び音声データを収集するマイクと、クライアントとが通信自在に接続され、前記クライアントとサーバーとが通信自在に接続される議事録作成方法に於いて、
前記サーバーは、
前記クライアントからデータ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報のアップロードがあると、前記描画データと、音声データとを前記サーバーが備える描画データ保存部と、音声データ保存部とに夫々保存し、前記描画データと前記音声データの格納場所情報、前記議題、開催日の情報を前記サーバーが備える議事録管理データ保存部の議事録管理データに保存するステップと、
前記音声データから音声文字列化データを生成し、前記音声文字列化データを文章毎に分割し前記サーバーが備える音声文字列化データ保存部へ保存するステップと、
前記音声文字列化データの各文章の発言者を前記音声データより判断して発言者情報を取得するステップと、
前記音声文字列化データの各文章の先頭時点及び末尾時点の時刻を取得するステップと、
前記音声文字列化データより、議事録出力対象となる議事内容を抽出し、前記サーバーが備える議事録データ保存部の議事録データに出力するステップと、
前記発言者情報を前記音声文字列化データ及び議事録データに夫々出力するステップと、
前記音声文字列化データの各文章の先頭時点の時刻を前記音声文字列化データの時刻、議事録データの音声時刻として夫々出力するステップと、
前記音声文字列化データの各文章の末尾時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力するステップと、
前記描画データの描画開始時点の時刻を取得するステップと、
前記描画データの描画開始時点よりも早い直近の音声文字列化データの先頭時点の時刻を取得し、前記議事録データに描画時刻として出力するステップと、
前記描画データの描画開始時点よりも遅い直近の音声文字列化データの先頭時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力するステップと、
前記描画データの描画開始時点よりも遅い音声文字列化データがない場合、前記描画データの終了時刻を図時刻として、前記議事録データに出力するステップと、
前記クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、前記リクエストに基づき、前記議事録管理データ及び前記議事録データを抽出するステップと、
抽出された議事録データの議事録ＩＤ及び描画時刻の情報を持つ描画データ再生用ＨＴＭＬ画面への描画データリンク情報を生成するステップと、
抽出された議事録データの図時刻時点の描画データを取得するステップと、
抽出された議事録データの議事録ＩＤ及び音声時刻の情報を持つ音声データ再生用ＨＴＭＬ画面への音声データリンク情報を生成するステップと、
抽出、生成及び取得した情報及びデータにより、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成するステップと、
前記ＨＴＭＬ議事録表示用画面を前記クライアントに送信するステップとを実行し、
前記クライアントは、
前記データ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報を前記サーバーにアップロードするステップと、
前記サーバーから前記ＨＴＭＬ議事録表示用画面を受信すると、前記ＨＴＭＬ議事録表示用画面を表示するステップとを実行することを特徴とする議事録作成方法を提供するものである。
【００１１】
請求項６に係る発明は、前記サーバーは、
前記クライアントから、前記描画データリンク情報を介して、前記描画データ再生用ＨＴＭＬ画面のリクエストがあると、前記描画データ保存部に保存された前記描画データ内の対象データを特定し、前記リクエストにより送信された描画時刻により再生位置を特定し、特定した描画データの全体の時間を取得し、前記リクエストにより音声データ内の対象データを特定し、前記描画時刻により音声データの再生位置を特定するステップと、
それらの情報を基に音声データを含む描画データ再生用ＨＴＭＬ画面を生成するステップと、
前記描画データ再生用ＨＴＭＬ画面を前記クライアントに送信するステップと、
前記クライアントから、前記音声データリンク情報を介して、前記音声データ再生用ＨＴＭＬ画面のリクエストがあると、前記音声データ保存部に保存された前記音声データ内の対象データを特定し、前記リクエストにより送信された音声時刻により再生位置を特定し、前記音声時刻に対応する音声文字列化データを前記音声文字列化データ保存部から取得し、特定した前記音声データの全体の時間を取得するステップと、
それらの情報を基に音声文字列化データを含む音声データ再生用ＨＴＭＬ画面を生成するステップと、
前記音声データ再生用ＨＴＭＬ画面を前記クライアントに送信するステップとを実行することを特徴とする請求項５記載の議事録作成方法を提供するものである。
【発明の効果】
【００１２】
本発明によれば、議事録から議事発生時点の音声データ、描画データを再生可能にすることにより、議事内容の決定に至るまでの経緯や状況等の詳細内容を容易に参照し、確認することが可能になる。
詳細内容を容易に参照可能にすることにより、議事内容を最小限の記載に留めることができる。これにより、自動生成された議事内容の修正作業を低減することができる。
また、描画データを議事録に添付することにより、従来、手作業で行っていた資料添付が自動化され、作業の手間を省くことができ、さらに議事内容について、より視覚認識が容易となる。
描画データを再生可能にすることにより、図形描画時の説明も合わせて確認することができ、描画データの意図を誤り無く確認することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の議事録作成システムに係るシステム構成概要図である。
【図２】本発明の議事録作成システムに係る収集する音声データ及び描画データと、生成する議事録との関連を示す説明図である。
【図３】本発明の議事録作成システムに係るシステム構成の一例を示す図である。
【図４】本発明の議事録作成システムに係るデータ構成の一例を示す図である。
【図５】本発明の議事録表示用ＨＴＭＬ画面の表示の一例を示す図である。
【図６】本発明の描画データ再生用ＨＴＭＬ画面の表示の一例を示す図である。
【図７】本発明の音声データ再生用ＨＴＭＬ画面の表示の一例を示す図である。
【図８】本発明の記憶部へのデータ保存及び議事録を作成する手順を示すフローチャートである。
【図９】本発明の描画データを条件に文字列化データを抽出し、各種保存先へデータを保存する手順を示すフローチャートである。
【図１０】本発明の議事録表示用ＨＴＭＬ画面の生成処理及び出力処理手順を示すフローチャートである。
【図１１】本発明の描画データ再生用ＨＴＭＬ画面の生成処理及び出力処理手順を示すフローチャートである。
【図１２】本発明の音声データ再生用ＨＴＭＬ画面の生成処理及び出力処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、実施例を示した図面を参照しつつ本発明の実施の形態を説明する。尚、本発明は、以下の実施の形態に限定されるものではない。
又、上記サーバー及びクライアントは、コンピュータであり、上記各手段又はステップは、コンピュータのＣＰＵが必要なコンピュータプログラムを読み込んで実行することにより実現される手段又はステップであり、そのフローチャート図が図８乃至図１２である。
【００１５】
始めに、本発明の実施形態の概要について、ハードウェア構成の観点で説明する。
本発明は、電子黒板で収集した描画データ、マイクで収集した音声データを基に、音声データを文字列化したデータ、描画データ、描画データと音声データの再生用リンクを備えた議事録を作成するものである。
【００１６】
図１で示す簡易的なハードウェア構成とデータの動きを例にすると、電子黒板Ａで収集した描画データ、マイクＢで収集した音声データに、議題、開催日の情報を付加したものをクライアントＣからサーバーＤにアップロードし、これらを基にサーバーＤで議事録を作成した結果をクライアントＣで表示する形になる。
【００１７】
次に、実施形態の概要について、収集した描画データ、音声データと生成する議事録との関連の観点で、図２を用いて説明する。
サーバーＤは、クライアントＣから、描画データ２０１、音声データ２０２とともに議題、開催日の情報のアップロードがあると、描画データ２０１を後述する描画データ保存部（図３に於いてＤ−２０１）に保存し、音声データ２０２を後述する音声データ保存部（図３に於いてＤ−２０２）に保存し、議題、開催日の情報を議事録管理データ２０５に保存する。
【００１８】
次に、音声データ２０２を基に音声内容を文字列化し、音声文字列化データ２０３を生成する。そして、音声文字列化データ２０３より（会議内容を要約した）必要部分を抽出し、議事録データ２０４に議事内容として出力する。又、音声文字列化データ２０３の抽出箇所に対応する音声データ２０２より発言者を判断し、音声文字列化データ２０３と議事録データ２０４に発言者情報を出力する。次に、音声文字列化データ２０３の抽出箇所に対応する描画データ２０１へのリンク情報を、描画データリンクとして議事録データ２０４に出力する。同じく、議事内容を抽出した時点より音声データ２０２を再生し、音声文字列化データ２０３を表示する音声データリンクを出力する。
又、議事録の図２０４３抽出条件として、音声文字列化データ２０３抽出箇所の文章の終了時点の時刻情報を、図時刻（図４に於いて２０６１参照）として議事録データ２０４へ出力する。議事録データ２０４に出力し保存した発言者、議事内容、音声データリンク、音声文字列化データリンク、描画データリンクを次のように出力することで、議事録を生成する。
〔ヘッダ部に出力〕
議事録管理データ２０５の議題を議題２０５１に出力する。議事録管理データ２０５の開催日を開催日２０５２に出力する。
〔データ部に出力（以下の処理を存在するデータ数分繰り返し出力する）〕
議事録データ２０４の発言者を発言者２０４１に出力する。議事録データ２０４の議事内容を議事内容２０４２に出力する。議事録データ２０４の図時刻を条件に取得した描画データ２０１を図２０４３に出力する。議事録データ２０４の描画データリンク、音声データリンクをリンク２０４４に出力する。
前述した音声データを文字列化、音声データまたは音声文字列化データからの議事録出力内容抽出、音声データより発言者を特定、等のそれぞれの技術については、前記特許文献１、特許文献２、特許文献３、特許文献４の既存技術を使用する。
【００１９】
図３は、本発明に係る議事録作成システムの構成の一例を示す図である。図３に示す議事録作成システムの構成要素の役割は次のとおりである。
電子黒板Ａは、マイクＢを内蔵し、描画データＡ−１を収集する。マイクＢは、音声データＢ−１を収集する。クライアントＣは、ＨＴＭＬ（HyperText Markup Language）描画部（ブラウザ）Ｃ−３を実行する。ＣＰＵ Ｃ−１は、データ通信を行う通信部Ｃ−２を備え、ＨＴＭＬ描画部（ブラウザ）Ｃ−３に議事録作成システムのＧＵＩ（Graphical User
Interface）となるＨＴＭＬ画面を表示する。サーバーＤは、制御部Ｄ−１を実行するＣＰＵ Ｄ−３、制御部Ｄ−１によって管理される記憶部Ｄ−２、クライアントＣとの通信を制御する通信部Ｄ−４を備え、収集したデータの管理、議事録の編集、クライアントＣへ表示するＨＴＭＬを生成する。
【００２０】
次に、サーバーＤの制御部Ｄ−１、記憶部Ｄ−２の内容について説明する。
データアップロード制御部Ｄ−１０１は、電子黒板Ａで収集した描画データＡ−１、マイクＢで収集した音声データＢ−１を、クライアントからサーバーへアップロードし、記憶部Ｄ−２に保存する処理制御を行う。音声文字列化部Ｄ−１０２は、データアップロード制御部Ｄ−１０１によりサーバーＤへアップロードされた音声データＢ−１を、文字列化する処理制御を行う。議事録データ編集部Ｄ−１０３は、記憶部Ｄ−２に保存されたデータをもとに、議事録を作成、編集する処理制御を行う。ＨＴＭＬ生成部Ｄ−１０４は、ＨＴＭＬ描画部（ブラウザ）Ｃ−３に表示するＨＴＭＬを生成する。
【００２１】
描画データ保存部Ｄ−２０１は、電子黒板Ａで収集された描画データＡ−１を保存する。音声データ保存部Ｄ−２０２は、マイクＢで収集された音声データＢ−１を保存する。音声文字列化データ保存部Ｄ−２０３は、音声データＢ−１を文字列化した、音声文字列化データを保存する。議事録データ保存部Ｄ−２０４は、議事録データ編集部Ｄ−１０３によって作成された議事録データを保存する。議事録管理データ保存部Ｄ−２０５は、議事録データ編集部Ｄ−１０３によって作成された議事録を管理するデータを保存する。
【００２２】
図３に示した構成要素を使用して、議事録を作成する手順を以下に説明する。
電子黒板Ａについては、音声データ、描画データを、データ取得時刻と共に保存する特開２００３−２６０８９６号公報（特許文献４）の機能、取得データをパーソナルコンピューターに保存できる特開２００２−２４０４９１号公報の機能を持つ事を前提とする。ただし、時刻情報で同期されている音声データ、描画データが取得可能であれば、データ取得の方法はこの限りではない。
【００２３】
会議の場において電子黒板Ａに描画された描画データＡ−１を取得する。電子黒板Ａに内蔵するマイクＢにて音声データＢ−１を取得する。
図３及び図８を用いて具体的に説明すると、クライアントＣはＨＴＭＬ描画部（ブラウザ）Ｃ−３よりデータアップロード用画面表示のリクエストをサーバーＤに送信する（Ｓ１１）。これを受けて、データアップロード制御部Ｄ−１０１は、ＨＴＭＬ生成部Ｄ−１０４にデータアップロード用ＨＴＭＬ画面の生成を命令し、議題、開催日の入力項目を備えた、音声データ、描画データのデータアップロード用ＨＴＭＬ画面をクライアントＣに送信する（Ｓ１２）。クライアントＣは、受信したデータアップロード用ＨＴＭＬ画面を、ＨＴＭＬ描画部（ブラウザ）Ｃ−３に表示する（Ｓ１３）。クライアントＣは、電子黒板Ａにて取得した描画データＡ−１、マイクＢにて取得した音声データＢ−１を取得し（Ｓ１４）、データアップロード用ＨＴＭＬ画面を使用して、議題、開催日情報と共にサーバーＤへアップロードする（Ｓ１５）。データアップロード制御部Ｄ−１０１は、クライアントＣによってアップロードされたデータを受け取り、記憶部Ｄ−２に保存する（Ｓ１６〜Ｓ２４）。
【００２４】
データアップロード制御部Ｄ−１０１が記憶部Ｄ−２に各種データを保存する処理手順を以下に示す。
図４は、図３の記憶部Ｄ−２に含まれる、描画データ保存部Ｄ−２０１、音声データ保存部Ｄ−２０２、音声文字列化データ保存部Ｄ−２０３、議事録データ保存部Ｄ−２０４、議事録管理データ保存部Ｄ−２０５に保存するデータの論理構成を示している。記憶部Ｄ−２への保存形態、方法について、この図４及び図８を用いて説明する。
【００２５】
＜描画データ２０１、音声データ２０２、議事録管理データ２０５へのデータ保存＞
始めに、アップロードデータとして取得した議題、開催日、描画データＡ−１、音声データＢ−１に対し、データ収集対象の会議をユニークに特定するための議事録ＩＤとして、接頭文字“Ｇ”の後に３桁のシーケンス番号を付けた“Ｇ００１”を付与する（Ｓ１６）（議事録ＩＤの形態は、議事録システム内でユニークであれば形式は問わない）。この議事録ＩＤは、議事録をユニークに特定し、議事録管理データ２０５、議事録データ２０４、音声文字列化データ２０３を関連付ける情報として使用する。
【００２６】
次に、描画データＡ−１を描画データ保存部Ｄ−２０１に、音声データＢ−１を音声データ保存部Ｄ−２０２に、それぞれ保存の形態を、前提として前述したとおり、描画データと音声データを同期させ、指定した時刻から再生可能にするための時刻情報を含めた状態で保存する（Ｓ１７）。これらは、議事録に出力する描画データリンク、音声データリンクからのリクエストを契機に再生する際に使用する。各情報の保存場所は次のとおりである。
〔描画データ２０１保存内容〕
描画データＡ−１の時刻を時刻２０１１に保存する。描画データＡ−１を描画データ２０１２に保存する。
〔音声データ２０２保存内容〕
音声データＢ−１の時刻を時刻２０２１に保存する。音声データＢ−１を音声データ２０２２に保存する。
【００２７】
次に、描画データＡ−１、音声データＢ−１の格納場所情報と、描画データＡ−１、音声データＢ−１と共にアップロードされ、議事録の見出しとして出力する議題、開催日の情報を、議事録管理データ２０５に保存する（Ｓ１８）。各情報の保存場所は次のとおりである。
〔議事録管理データ２０５保存内容〕
“Ｇ００１”（任意のユニークキー）を議事録ＩＤ２０５５に保存する。議題を議題２０５１に保存する。開催日を開催日２０５２に保存する。描画データＡ−１の格納場所を描画データ格納場所２０５３に保存する。音声データＢ−１の格納場所を音声データ格納場所２０５４に保存する。
【００２８】
＜音声文字列化データ２０３、議事録データ２０４へのデータ保存＞
音声データＢ−１を文字列化し音声文字列化データを生成する（Ｓ１９）。音声文字列化データは文章毎に分割し（Ｓ２０）、各文章の発言者、各文章の先頭時点の時刻（描画データＡ−１、音声データＢ−１、音声文字列化データへのリンク情報）、各文章の末尾時点の時刻（議事録に出力する図の取得条件）を取得する（Ｓ２１、Ｓ２２）。また、分割した音声文字列化データより、議事録出力対象となる議事内容を抽出する（Ｓ２３）。上記の手順で音声データＢ−１より生成、抽出した情報を、音声文字列化データ２０３、議事録データ２０４に保存する（Ｓ２４）。
【００２９】
各情報の保存場所、保存対象は次のとおりとする。
〔音声文字列化データ２０３〕
対象は、音声データＢ−１全データとする。
“Ｇ００１”（議事録管理データ２０５に保存した議事録ＩＤ）を議事録ＩＤ２０３１に保存する。各文章の先頭時点の時刻情報を時刻２０３２に保存する。各文章の発言者を発言者２０３３として出力する。各文章の音声文字列化データを文字データ２０３４に保存する。
〔議事録データ２０４〕
対象は、音声データＢ−１より議事録出力対象として抽出したデータとする。
“Ｇ００１”（議事録管理データ２０５に保存した議事録ＩＤ）を議事録ＩＤ２０４６に保存する。各文章の発言者を発言者２０４１に保存する。各文章の音声文字列化データより抽出した議事内容を議事内容２０４２に保存する。各文章の末尾時点の時刻情報を図時刻２０６１に保存する。各文章の先頭時点の時刻情報を描画時刻２０６２、音声時刻２０６３に保存する。
上記では、音声データＢ−１より既存技術を用いて議事内容を抽出し、各種保存先へデータを保存した。
【００３０】
次に、描画データＡ−１を条件に文字列化データ２０３を抽出し、各種保存先へデータを保存する手順を図９を用いて説明する。
描画データＡ−１に予め定められた図形が描画されている場合、その図形描画開始時点の時刻を議事内容の抽出条件として取得する（Ｓ３１）。取得した時刻を条件として音声文字列化データ２０３より対象データを抽出する手順を次に説明する。
(1)議事録ＩＤ２０３１＝“Ｇ００１”でデータを絞り込む（Ｓ３２）。
(2)時刻２０３２の昇順で並び替える（Ｓ３３）。
(3)時刻２０３２が、「Ｎ番目のデータの時刻≦描画データＡ−１より取得した時刻＜Ｎ＋１番目のデータの時刻」 の条件に合致する、Ｎ番目のデータを抽出する（Ｓ３４）。
(4)Ｎ＋１番目の時刻２０３２を取得する（Ｓ３５）（Ｎ番目が最終データの場合、描画データＡ−１の終了時刻とする）。
前記(3)(4)で抽出した音声文字列化データ２０３の情報を、議事録データ２０４に保存する（Ｓ３６）。各情報の保存場所、保存対象は次のとおりとする。ただし、音声時刻２０６３が同じデータを登録済みの場合、登録対象外とする。
〔議事録データ２０４〕
“Ｇ００１”（議事録管理データ２０５に保存した議事録ＩＤ）を議事録ＩＤ２０４６に保存する。(3)で取得したデータの発言者２０３３を発言者２０４１に保存する。(3)で取得したデータの文字データ２０３４を議事内容２０４２に保存する。(4)で取得した時刻２０３２を図時刻２０６１に保存する。(3)で取得したデータの時刻２０３２を描画時刻２０６２、音声時刻２０６３に保存する。
以上が、データアップロード制御部Ｄ−１０１が記憶部Ｄ−２に各種データを保存する処理手順である。
【００３１】
次に、上記で記憶部Ｄ−２に保存したデータを使用し、議事録を出力する手順について記載する。
議事録を出力する手順の概要は次のとおりである。
先ず、図３及び図１０を使って説明すると、クライアントＣは、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より、議事録表示用ＨＴＭＬ画面のリクエストを議事録ＩＤと共にサーバーＤに送信する（Ｓ４１）。これを受けて、議事録データ編集部Ｄ−１０３は、ＨＴＭＬ生成部Ｄ−１０４に議事録表示用ＨＴＭＬ画面の生成を命令し（Ｓ４２〜Ｓ４７）、議事録表示用ＨＴＭＬ画面をクライアントＣに送る（Ｓ４８）。クライアントＣは、受信した議事録表示用ＨＴＭＬ画面を、ＨＴＭＬ描画部（ブラウザ）Ｃ−３に表示する（Ｓ４９）。
【００３２】
以下に、図４、図５及び図１０を使って、議事録表示用ＨＴＭＬ画面の生成処理詳細を説明する。
(1)議事録管理データ２０５から、次の条件に基づき議事録管理データを抽出する（Ｓ４２）。
「ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された議事録ＩＤである議事録ＩＤ２０５５を抽出条件とする。」
(2)議事録データ２０４から、次の条件に基づき議事録データを抽出する（Ｓ４３）。
「ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された議事録ＩＤである議事録ＩＤ２０４６を抽出条件とし、音声時刻２０６３の昇順に並べ替える。」
(3)議事録データ２０４の議事録ＩＤ２０４６、描画時刻２０６２の情報を持つ、描画データ再生用ＨＴＭＬ画面へのリンク情報を生成する（Ｓ４４）。
(4)議事録データ２０４の図時刻２０６１時点の描画データ２０１を取得する（Ｓ４５）。
(5)議事録データ２０４の議事録ＩＤ２０４６、音声時刻２０６３の情報を持つ、音声データ再生用ＨＴＭＬ画面へのリンク情報を生成する（Ｓ４６）。
(6)(1)〜(5)で取得、生成した情報を、議事録表示用ＨＴＭＬ画面に出力する（Ｓ４７）。
(1)〜(5)で取得、生成した情報と、議事録表示用ＨＴＭＬ画面出力項目の対応については、次のとおりとする。
〔図５ 議事録表示用ＨＴＭＬ画面〕
(1)で取得した議事録管理データ２０５の議題２０５１を議題２０５１に出力する。(1)で取得した議事録管理データ２０５の開催日２０５２を開催日２０５２に出力する。ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された議事録ＩＤを議事録ＩＤ２０５５に出力する。
以下の処理は、議事録データ２０４で取得した件数分繰り返し出力する。
(2)で取得した発言者２０４１を発言者２０４１に出力する。(2)で取得した議事内容２０４２を議事内容２０４２に出力する。(4)で取得した描画データ２０１を図２０４３に出力する。(3)で生成した描画データ再生用ＨＴＭＬ画面へのリンクをリンクの図２０７１に出力する。(5)で生成した音声データ再生用ＨＴＭＬ画面へのリンクをリンクの音声２０７２に出力する。
【００３３】
描画データ２０１、音声データ２０２へのリンク、再生については、特開２００２−２０７７７４号公報等で公開されている、クライアントから送信される動画再生ポイントの時刻情報を条件に、動画リンクを行うインターネット動画リンクシステム等の既存技術を用いることとする。
以上の手順により、図５に示すような議事録を表示可能にする。
【００３４】
次に、議事録表示用ＨＴＭＬ画面に出力したリンクの図２０７１、リンクの音声２０７２のリンクにより表示する画面例について図６又は図７を用いて説明する。
図５に示す議事録表示用ＨＴＭＬ画面例にある、リンクの図２０７１を押下することにより、図１１に示す如く、クライアントＣは、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より、描画データ参照用ＨＴＭＬ画面表示のリクエスト（描画データ再生用ＨＴＭＬ画面のリクエスト）を、リンクに設定されている議事録ＩＤ２０４６、描画時刻２０６２と共にサーバーＤに送信する（Ｓ５１）。これを受けて、議事録データ編集部Ｄ−１０２は、ＨＴＭＬ生成部Ｄ−１０３に描画データ再生用ＨＴＭＬ画面の生成を命令し（Ｓ５２〜Ｓ５８）、描画データ再生用ＨＴＭＬ画面をクライアントＣに送る（Ｓ５９）。クライアントＣは、受信した描画データ再生用ＨＴＭＬ画面を、ＨＴＭＬ描画部（ブラウザ）Ｃ−３に表示する（Ｓ６０）。
【００３５】
以下に、図４、図６及び図１１を使って、描画データ再生用ＨＴＭＬ画面の生成処理詳細を説明する。
(1)議事録管理データ２０５から、次の条件に基づき議事録管理データを抽出する（Ｓ５２）。
「ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された議事録ＩＤである議事録ＩＤ２０５５を抽出条件にする。」
(2)(1)で取得した議事録管理データ２０５の描画データ格納場所２０５３により描画データ２０１内の対象データを特定し（Ｓ５３）、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された描画時刻２０６２により再生位置を特定する（Ｓ５４）。
(3)(2)で特定した描画データ２０１の全体の時間を取得する（Ｓ５５）。
(4)(1)で取得した議事録管理データ２０５の音声データ格納場所２０５４により音声データ２０２内の対象データを特定し（Ｓ５６）、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された描画時刻２０６２により再生位置を特定する（Ｓ５７）。
(5)(1)〜(4)の情報を基に、描画データ再生用ＨＴＭＬ画面を出力する（Ｓ５８）。
【００３６】
前記(1)〜(3)で取得した情報と、描画データ再生用ＨＴＭＬ画面出力項目の対応、描画データ再生用ＨＴＭＬ画面項目の説明については、次のとおりである。
〔図６ 描画データ再生用ＨＴＭＬ画面〕
(1)で取得した議事録管理データ２０５の議題２０５１を議題２０５１に出力する。(2)で再生対象、再生位置を特定した描画データ２０１を描画内容３０１（描画内容再生用エリア）に出力する。(4)で再生対象、再生位置を特定した音声データ２０２は画面に表示されない（描画内容３０１と時刻情報で同期し、音声により再生する）。(3)で取得した全体の時間と、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された描画時刻２０６２を再生位置表示インジケーター３０７（描画データ２０１全体の時間を再生位置表示インジケーター表示幅とし、描画時刻２０６２を相対位置で表示する）に出力する。
【００３７】
上記以外の出力項目について次に説明する。
再生３０２は、描画内容３０１を再生する。停止３０３は、再生中の描画内容３０１を停止する。更新３０４は、議事録データ２０４の描画時刻２０６２を、更新３０４押下時点の描画内容３０１再生位置（時刻情報）で更新する。閉じる３０５は、描画データ再生用ＨＴＭＬ画面を終了し、図５の議事録表示用ＨＴＭＬ画面へ戻る。挿入図更新３０６は、議事録データ２０４の図時刻２０６１を、挿入図更新３０６押下時点の描画内容３０１再生位置（時刻情報）で更新する。再生時刻３０８は、描画内容３０１に表示している描画データ２０１の時刻を表示する。
以上の項目を備える事により、描画データ２０１の表示だけでなく、議事録に出力する図、描画データ再生用のリンク位置を更新可能とする。
【００３８】
図５に示す議事録表示用ＨＴＭＬ画面例にある、リンクの音声２０７２を押下することにより、図１２に示す如く、クライアントＣは、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より、音声データ再生用ＨＴＭＬ画面表示のリクエストを、リンクに設定されている議事録ＩＤ２０４６、音声時刻２０６３と共にサーバーＤに送信する（Ｓ７１）。
これを受けて、議事録データ編集部Ｄ−１０２は、ＨＴＭＬ生成部Ｄ−１０３に音声データ再生用ＨＴＭＬ画面の生成を命令し（Ｓ７２〜Ｓ７７）、音声データ再生用ＨＴＭＬ画面をクライアントＣに送る（Ｓ７８）。クライアントＣは、受信した描画データ再生用ＨＴＭＬ画面を、ＨＴＭＬ描画部（ブラウザ）Ｃ−３に表示する（Ｓ７９）。
以下に、図４、図７及び図１２を使って、音声データ再生用ＨＴＭＬ画面の生成処理を説明する。
(1)議事録管理データ２０５から、次の条件に基づき議事録管理データを抽出する（Ｓ７２）。
「ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された議事録ＩＤである議事録ＩＤ２０５５に基づき抽出する。」
(2)(1)で取得した議事録管理データ２０５の音声データ格納場所２０５４により音声データ２０２内の対象データを特定し（Ｓ７３）、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された音声時刻２０６３により再生位置を特定する（Ｓ７４）。
(3)音声時刻２０６３に対応する音声文字列化データ２０３を、次の条件に基づき取得する（Ｓ７５）。
「ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された議事録ＩＤである議事録ＩＤ２０３１に基づき抽出する。」
(4)(2)で特定した音声データ２０２の全体の時間を取得する（Ｓ７６）。
(5)(1)〜(4)の情報を基に、音声データ再生用ＨＴＭＬ画面を出力する（Ｓ７７）。
【００３９】
(1)〜(4)で取得した情報と、音声データ再生用ＨＴＭＬ画面出力項目の対応、音声データ再生用ＨＴＭＬ画面項目の説明については、次に記載する。
〔図７ 音声データ再生用ＨＴＭＬ画面〕
(1)で取得した議事録管理データ２０５の議題２０５１を議題２０５１に出力する。(2)で再生対象、再生位置を特定した音声データ２０２は画面表示項目無しとする（但し、音声で再生する。）。(3)で取得した音声文字列化データ２０３を音声文字列化データ４０１に出力する。(4)で取得した全体の時間と、ＨＴＭＬ描画部（ブラウザ）Ｃ−３より送信された音声時刻２０６３を再生位置表示インジケーター４０６に出力する（音声データ２０２全体の時間を再生位置表示インジケーター表示幅とし、音声時刻２０６３を相対位置で表示する。）。
【００４０】
上記以外の出力項目について次のとおりである。
再生４０２は、音声データ２０２を再生する。停止４０３は、再生中の音声データ２０２を停止する。更新４０４は、議事録データ２０４の音声時刻２０６３を、更新４０４押下時点の音声内容再生位置（時刻情報）で更新する。閉じる４０５は、音声データ再生用ＨＴＭＬ画面を終了し、図５の議事録表示用ＨＴＭＬ画面へ戻る。再生時刻４０７は、再生している音声データ２０２の時刻を示す。
以上の項目を備える事により、音声データ２０２の表示だけでなく、議事録に出力する音声データ再生用のリンク位置を更新可能とする。
【００４１】
本発明のその他の活用として、通信教育データの作成が挙げられる。議事録を教育プログラムの目次として、描画データの詳細表示を教育プログラムとして使用可能である。
【符号の説明】
【００４２】
２０１，２０１２，Ａ−１ 描画データ
２０２，２０２２，Ｂ−１ 音声データ
２０３，４０１ 音声文字列化データ
２０４ 議事録データ
２０５ 議事録管理データ
２０１１，２０２１，２０３２ 時刻
２０３１，２０４６，５０５５ 議事録ＩＤ
２０３３，２０４１ 発言者
２０４２ 議事内容
２０５１ 議題
２０５２ 開催日
２０５３ 描画データ格納場所
２０５４ 音声データ格納場所
２０６１ 図時刻
２０６２ 描画時刻
２０６３ 音声時刻
Ａ 電子黒板
Ｂ マイク
Ｃ クライアント
Ｄ サーバー
Ｄ−２０１ 描画データ保存部
Ｄ−２０２ 音声データ保存部
Ｄ−２０３ 音声文字列化データ保存部
Ｄ−２０４ 議事録データ保存部
Ｄ−２０５ 議事録管理データ保存部
【特許請求の範囲】
【請求項１】
描画データを収集する電子黒板及び音声データを収集するマイクと、クライアントとが通信自在に接続され、前記クライアントとサーバーとが通信自在に接続される議事録作成システムに於いて、
前記サーバーは、
前記クライアントからデータ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報のアップロードがあると、前記描画データと、音声データとを前記サーバーが備える描画データ保存部と、音声データ保存部とに夫々保存し、前記描画データと前記音声データの格納場所情報、前記議題、開催日の情報を前記サーバーが備える議事録管理データ保存部の議事録管理データに保存する手段と、
前記音声データから音声文字列化データを生成し、前記音声文字列化データを文章毎に分割し前記サーバーが備える音声文字列化データ保存部へ保存する手段と、
前記音声文字列化データの各文章の発言者を前記音声データより判断して発言者情報を取得する手段と、
前記音声文字列化データの各文章の先頭時点及び末尾時点の時刻を取得する手段と、
前記音声文字列化データより、議事録出力対象となる議事内容を抽出し、前記サーバーが備える議事録データ保存部の議事録データに出力する手段と、
前記発言者情報を前記音声文字列化データ及び議事録データに夫々出力する手段と、
前記音声文字列化データの各文章の先頭時点の時刻を前記音声文字列化データの時刻、議事録データの音声時刻として夫々出力する手段と、
前記音声文字列化データの各文章の末尾時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点の時刻を取得する手段と、
前記描画データの描画開始時点よりも早い直近の音声文字列化データの先頭時点の時刻を取得し、前記議事録データに描画時刻として出力する手段と、
前記描画データの描画開始時点よりも遅い直近の音声文字列化データの先頭時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点よりも遅い音声文字列化データがない場合、前記描画データの終了時刻を図時刻として、前記議事録データに出力する手段と、
前記クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、前記リクエストに基づき、前記議事録管理データ及び前記議事録データを抽出する手段と、
抽出された議事録データの議事録ＩＤ及び描画時刻の情報を持つ描画データ再生用ＨＴＭＬ画面への描画データリンク情報を生成する手段と、
抽出された議事録データの図時刻時点の描画データを取得する手段と、
抽出された議事録データの議事録ＩＤ及び音声時刻の情報を持つ音声データ再生用ＨＴＭＬ画面への音声データリンク情報を生成する手段と、
抽出、生成及び取得した情報及びデータにより、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成する手段と、
前記ＨＴＭＬ議事録表示用画面を前記クライアントに送信する手段とを備え、
前記クライアントは、
前記データ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報を前記サーバーにアップロードする手段と、
前記サーバーから前記ＨＴＭＬ議事録表示用画面を受信すると、前記ＨＴＭＬ議事録表示用画面を表示する手段とを備えたことを特徴とする議事録作成システム。
【請求項２】
前記サーバーは、
前記クライアントから、前記描画データリンク情報を介して、前記描画データ再生用ＨＴＭＬ画面のリクエストがあると、前記描画データ保存部に保存された前記描画データ内の対象データを特定し、前記リクエストにより送信された描画時刻により再生位置を特定し、特定した描画データの全体の時間を取得し、前記リクエストにより音声データ内の対象データを特定し、前記描画時刻により音声データの再生位置を特定する手段と、
それらの情報を基に音声データを含む描画データ再生用ＨＴＭＬ画面を生成する手段と、
前記描画データ再生用ＨＴＭＬ画面を前記クライアントに送信する手段と、
前記クライアントから、前記音声データリンク情報を介して、前記音声データ再生用ＨＴＭＬ画面のリクエストがあると、前記音声データ保存部に保存された前記音声データ内の対象データを特定し、前記リクエストにより送信された音声時刻により再生位置を特定し、前記音声時刻に対応する音声文字列化データを前記音声文字列化データ保存部から取得し、特定した前記音声データの全体の時間を取得する手段と、
それらの情報を基に音声文字列化データを含む音声データ再生用ＨＴＭＬ画面を生成する手段と、
前記音声データ再生用ＨＴＭＬ画面を前記クライアントに送信する手段とを備えたことを特徴とする請求項１記載の議事録作成システム。
【請求項３】
描画データを収集する電子黒板及び音声データを収集するマイクに通信自在に接続されるクライアントに通信自在に接続されたサーバーを備えた議事録作成装置に於いて、
前記サーバーは、
前記クライアントからデータ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報のアップロードがあると、前記描画データと、音声データとを前記サーバーが備える描画データ保存部と、音声データ保存部とに夫々保存し、前記描画データと前記音声データの格納場所情報、前記議題、開催日の情報を前記サーバーが備える議事録管理データ保存部の議事録管理データに保存する手段と、
前記音声データから音声文字列化データを生成し、前記音声文字列化データを文章毎に分割し前記サーバーが備える音声文字列化データ保存部へ保存する手段と、
前記音声文字列化データの各文章の発言者を前記音声データより判断して発言者情報を取得する手段と、
前記音声文字列化データの各文章の先頭時点及び末尾時点の時刻を取得する手段と、
前記音声文字列化データより、議事録出力対象となる議事内容を抽出し、前記サーバーが備える議事録データ保存部の議事録データに出力する手段と、
前記発言者情報を前記音声文字列化データ及び議事録データに夫々出力する手段と、
前記音声文字列化データの各文章の先頭時点の時刻を前記音声文字列化データの時刻、議事録データの音声時刻として夫々出力する手段と、
前記音声文字列化データの各文章の末尾時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点の時刻を取得する手段と、
前記描画データの描画開始時点よりも早い直近の音声文字列化データの先頭時点の時刻を取得し、前記議事録データに描画時刻として出力する手段と、
前記描画データの描画開始時点よりも遅い直近の音声文字列化データの先頭時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点よりも遅い音声文字列化データがない場合、前記描画データの終了時刻を図時刻として、前記議事録データに出力する手段と、
前記クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、前記リクエストに基づき、前記議事録管理データ及び前記議事録データを抽出する手段と、
抽出された議事録データの議事録ＩＤ及び描画時刻の情報を持つ描画データ再生用ＨＴＭＬ画面への描画データリンク情報を生成する手段と、
抽出された議事録データの図時刻時点の描画データを取得する手段と、
抽出された議事録データの議事録ＩＤ及び音声時刻の情報を持つ音声データ再生用ＨＴＭＬ画面への音声データリンク情報を生成する手段と、
抽出、生成及び取得した情報及びデータにより、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成する手段と、
前記ＨＴＭＬ議事録表示用画面を前記クライアントに送信する手段とを備えたことを特徴とする議事録作成装置。
【請求項４】
描画データを収集する電子黒板及び音声データを収集するマイクに通信自在に接続されると共に、サーバーに通信自在に接続されたクライアントを備えた議事録作成装置に於いて、
前記クライアントは、
前記データ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報を前記サーバーにアップロードする手段と、
前記サーバーから前記ＨＴＭＬ議事録表示用画面を受信すると、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含む前記ＨＴＭＬ議事録表示用画面を表示する手段とを備えたことを特徴とする議事録作成装置。
【請求項５】
描画データを収集する電子黒板及び音声データを収集するマイクと、クライアントとが通信自在に接続され、前記クライアントとサーバーとが通信自在に接続される議事録作成方法に於いて、
前記サーバーは、
前記クライアントからデータ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報のアップロードがあると、前記描画データと、音声データとを前記サーバーが備える描画データ保存部と、音声データ保存部とに夫々保存し、前記描画データと前記音声データの格納場所情報、前記議題、開催日の情報を前記サーバーが備える議事録管理データ保存部の議事録管理データに保存するステップと、
前記音声データから音声文字列化データを生成し、前記音声文字列化データを文章毎に分割し前記サーバーが備える音声文字列化データ保存部へ保存するステップと、
前記音声文字列化データの各文章の発言者を前記音声データより判断して発言者情報を取得するステップと、
前記音声文字列化データの各文章の先頭時点及び末尾時点の時刻を取得するステップと、
前記音声文字列化データより、議事録出力対象となる議事内容を抽出し、前記サーバーが備える議事録データ保存部の議事録データに出力するステップと、
前記発言者情報を前記音声文字列化データ及び議事録データに夫々出力するステップと、
前記音声文字列化データの各文章の先頭時点の時刻を前記音声文字列化データの時刻、議事録データの音声時刻として夫々出力するステップと、
前記音声文字列化データの各文章の末尾時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力するステップと、
前記描画データの描画開始時点の時刻を取得するステップと、
前記描画データの描画開始時点よりも早い直近の音声文字列化データの先頭時点の時刻を取得し、前記議事録データに描画時刻として出力するステップと、
前記描画データの描画開始時点よりも遅い直近の音声文字列化データの先頭時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力するステップと、
前記描画データの描画開始時点よりも遅い音声文字列化データがない場合、前記描画データの終了時刻を図時刻として、前記議事録データに出力するステップと、
前記クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、前記リクエストに基づき、前記議事録管理データ及び前記議事録データを抽出するステップと、
抽出された議事録データの議事録ＩＤ及び描画時刻の情報を持つ描画データ再生用ＨＴＭＬ画面への描画データリンク情報を生成するステップと、
抽出された議事録データの図時刻時点の描画データを取得するステップと、
抽出された議事録データの議事録ＩＤ及び音声時刻の情報を持つ音声データ再生用ＨＴＭＬ画面への音声データリンク情報を生成するステップと、
抽出、生成及び取得した情報及びデータにより、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成するステップと、
前記ＨＴＭＬ議事録表示用画面を前記クライアントに送信するステップとを実行し、
前記クライアントは、
前記データ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報を前記サーバーにアップロードするステップと、
前記サーバーから前記ＨＴＭＬ議事録表示用画面を受信すると、前記ＨＴＭＬ議事録表示用画面を表示するステップとを実行することを特徴とする議事録作成方法。
【請求項６】
前記サーバーは、
前記クライアントから、前記描画データリンク情報を介して、前記描画データ再生用ＨＴＭＬ画面のリクエストがあると、前記描画データ保存部に保存された前記描画データ内の対象データを特定し、前記リクエストにより送信された描画時刻により再生位置を特定し、特定した描画データの全体の時間を取得し、前記リクエストにより音声データ内の対象データを特定し、前記描画時刻により音声データの再生位置を特定するステップと、
それらの情報を基に音声データを含む描画データ再生用ＨＴＭＬ画面を生成するステップと、
前記描画データ再生用ＨＴＭＬ画面を前記クライアントに送信するステップと、
前記クライアントから、前記音声データリンク情報を介して、前記音声データ再生用ＨＴＭＬ画面のリクエストがあると、前記音声データ保存部に保存された前記音声データ内の対象データを特定し、前記リクエストにより送信された音声時刻により再生位置を特定し、前記音声時刻に対応する音声文字列化データを前記音声文字列化データ保存部から取得し、特定した前記音声データの全体の時間を取得するステップと、
それらの情報を基に音声文字列化データを含む音声データ再生用ＨＴＭＬ画面を生成するステップと、
前記音声データ再生用ＨＴＭＬ画面を前記クライアントに送信するステップとを実行することを特徴とする請求項５記載の議事録作成方法。
【請求項１】
描画データを収集する電子黒板及び音声データを収集するマイクと、クライアントとが通信自在に接続され、前記クライアントとサーバーとが通信自在に接続される議事録作成システムに於いて、
前記サーバーは、
前記クライアントからデータ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報のアップロードがあると、前記描画データと、音声データとを前記サーバーが備える描画データ保存部と、音声データ保存部とに夫々保存し、前記描画データと前記音声データの格納場所情報、前記議題、開催日の情報を前記サーバーが備える議事録管理データ保存部の議事録管理データに保存する手段と、
前記音声データから音声文字列化データを生成し、前記音声文字列化データを文章毎に分割し前記サーバーが備える音声文字列化データ保存部へ保存する手段と、
前記音声文字列化データの各文章の発言者を前記音声データより判断して発言者情報を取得する手段と、
前記音声文字列化データの各文章の先頭時点及び末尾時点の時刻を取得する手段と、
前記音声文字列化データより、議事録出力対象となる議事内容を抽出し、前記サーバーが備える議事録データ保存部の議事録データに出力する手段と、
前記発言者情報を前記音声文字列化データ及び議事録データに夫々出力する手段と、
前記音声文字列化データの各文章の先頭時点の時刻を前記音声文字列化データの時刻、議事録データの音声時刻として夫々出力する手段と、
前記音声文字列化データの各文章の末尾時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点の時刻を取得する手段と、
前記描画データの描画開始時点よりも早い直近の音声文字列化データの先頭時点の時刻を取得し、前記議事録データに描画時刻として出力する手段と、
前記描画データの描画開始時点よりも遅い直近の音声文字列化データの先頭時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点よりも遅い音声文字列化データがない場合、前記描画データの終了時刻を図時刻として、前記議事録データに出力する手段と、
前記クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、前記リクエストに基づき、前記議事録管理データ及び前記議事録データを抽出する手段と、
抽出された議事録データの議事録ＩＤ及び描画時刻の情報を持つ描画データ再生用ＨＴＭＬ画面への描画データリンク情報を生成する手段と、
抽出された議事録データの図時刻時点の描画データを取得する手段と、
抽出された議事録データの議事録ＩＤ及び音声時刻の情報を持つ音声データ再生用ＨＴＭＬ画面への音声データリンク情報を生成する手段と、
抽出、生成及び取得した情報及びデータにより、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成する手段と、
前記ＨＴＭＬ議事録表示用画面を前記クライアントに送信する手段とを備え、
前記クライアントは、
前記データ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報を前記サーバーにアップロードする手段と、
前記サーバーから前記ＨＴＭＬ議事録表示用画面を受信すると、前記ＨＴＭＬ議事録表示用画面を表示する手段とを備えたことを特徴とする議事録作成システム。
【請求項２】
前記サーバーは、
前記クライアントから、前記描画データリンク情報を介して、前記描画データ再生用ＨＴＭＬ画面のリクエストがあると、前記描画データ保存部に保存された前記描画データ内の対象データを特定し、前記リクエストにより送信された描画時刻により再生位置を特定し、特定した描画データの全体の時間を取得し、前記リクエストにより音声データ内の対象データを特定し、前記描画時刻により音声データの再生位置を特定する手段と、
それらの情報を基に音声データを含む描画データ再生用ＨＴＭＬ画面を生成する手段と、
前記描画データ再生用ＨＴＭＬ画面を前記クライアントに送信する手段と、
前記クライアントから、前記音声データリンク情報を介して、前記音声データ再生用ＨＴＭＬ画面のリクエストがあると、前記音声データ保存部に保存された前記音声データ内の対象データを特定し、前記リクエストにより送信された音声時刻により再生位置を特定し、前記音声時刻に対応する音声文字列化データを前記音声文字列化データ保存部から取得し、特定した前記音声データの全体の時間を取得する手段と、
それらの情報を基に音声文字列化データを含む音声データ再生用ＨＴＭＬ画面を生成する手段と、
前記音声データ再生用ＨＴＭＬ画面を前記クライアントに送信する手段とを備えたことを特徴とする請求項１記載の議事録作成システム。
【請求項３】
描画データを収集する電子黒板及び音声データを収集するマイクに通信自在に接続されるクライアントに通信自在に接続されたサーバーを備えた議事録作成装置に於いて、
前記サーバーは、
前記クライアントからデータ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報のアップロードがあると、前記描画データと、音声データとを前記サーバーが備える描画データ保存部と、音声データ保存部とに夫々保存し、前記描画データと前記音声データの格納場所情報、前記議題、開催日の情報を前記サーバーが備える議事録管理データ保存部の議事録管理データに保存する手段と、
前記音声データから音声文字列化データを生成し、前記音声文字列化データを文章毎に分割し前記サーバーが備える音声文字列化データ保存部へ保存する手段と、
前記音声文字列化データの各文章の発言者を前記音声データより判断して発言者情報を取得する手段と、
前記音声文字列化データの各文章の先頭時点及び末尾時点の時刻を取得する手段と、
前記音声文字列化データより、議事録出力対象となる議事内容を抽出し、前記サーバーが備える議事録データ保存部の議事録データに出力する手段と、
前記発言者情報を前記音声文字列化データ及び議事録データに夫々出力する手段と、
前記音声文字列化データの各文章の先頭時点の時刻を前記音声文字列化データの時刻、議事録データの音声時刻として夫々出力する手段と、
前記音声文字列化データの各文章の末尾時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点の時刻を取得する手段と、
前記描画データの描画開始時点よりも早い直近の音声文字列化データの先頭時点の時刻を取得し、前記議事録データに描画時刻として出力する手段と、
前記描画データの描画開始時点よりも遅い直近の音声文字列化データの先頭時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力する手段と、
前記描画データの描画開始時点よりも遅い音声文字列化データがない場合、前記描画データの終了時刻を図時刻として、前記議事録データに出力する手段と、
前記クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、前記リクエストに基づき、前記議事録管理データ及び前記議事録データを抽出する手段と、
抽出された議事録データの議事録ＩＤ及び描画時刻の情報を持つ描画データ再生用ＨＴＭＬ画面への描画データリンク情報を生成する手段と、
抽出された議事録データの図時刻時点の描画データを取得する手段と、
抽出された議事録データの議事録ＩＤ及び音声時刻の情報を持つ音声データ再生用ＨＴＭＬ画面への音声データリンク情報を生成する手段と、
抽出、生成及び取得した情報及びデータにより、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成する手段と、
前記ＨＴＭＬ議事録表示用画面を前記クライアントに送信する手段とを備えたことを特徴とする議事録作成装置。
【請求項４】
描画データを収集する電子黒板及び音声データを収集するマイクに通信自在に接続されると共に、サーバーに通信自在に接続されたクライアントを備えた議事録作成装置に於いて、
前記クライアントは、
前記データ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報を前記サーバーにアップロードする手段と、
前記サーバーから前記ＨＴＭＬ議事録表示用画面を受信すると、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含む前記ＨＴＭＬ議事録表示用画面を表示する手段とを備えたことを特徴とする議事録作成装置。
【請求項５】
描画データを収集する電子黒板及び音声データを収集するマイクと、クライアントとが通信自在に接続され、前記クライアントとサーバーとが通信自在に接続される議事録作成方法に於いて、
前記サーバーは、
前記クライアントからデータ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報のアップロードがあると、前記描画データと、音声データとを前記サーバーが備える描画データ保存部と、音声データ保存部とに夫々保存し、前記描画データと前記音声データの格納場所情報、前記議題、開催日の情報を前記サーバーが備える議事録管理データ保存部の議事録管理データに保存するステップと、
前記音声データから音声文字列化データを生成し、前記音声文字列化データを文章毎に分割し前記サーバーが備える音声文字列化データ保存部へ保存するステップと、
前記音声文字列化データの各文章の発言者を前記音声データより判断して発言者情報を取得するステップと、
前記音声文字列化データの各文章の先頭時点及び末尾時点の時刻を取得するステップと、
前記音声文字列化データより、議事録出力対象となる議事内容を抽出し、前記サーバーが備える議事録データ保存部の議事録データに出力するステップと、
前記発言者情報を前記音声文字列化データ及び議事録データに夫々出力するステップと、
前記音声文字列化データの各文章の先頭時点の時刻を前記音声文字列化データの時刻、議事録データの音声時刻として夫々出力するステップと、
前記音声文字列化データの各文章の末尾時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力するステップと、
前記描画データの描画開始時点の時刻を取得するステップと、
前記描画データの描画開始時点よりも早い直近の音声文字列化データの先頭時点の時刻を取得し、前記議事録データに描画時刻として出力するステップと、
前記描画データの描画開始時点よりも遅い直近の音声文字列化データの先頭時点の時刻を議事録の図抽出条件のための図時刻として、前記議事録データに出力するステップと、
前記描画データの描画開始時点よりも遅い音声文字列化データがない場合、前記描画データの終了時刻を図時刻として、前記議事録データに出力するステップと、
前記クライアントから議事録表示用ＨＴＭＬ画面のリクエストがあると、前記リクエストに基づき、前記議事録管理データ及び前記議事録データを抽出するステップと、
抽出された議事録データの議事録ＩＤ及び描画時刻の情報を持つ描画データ再生用ＨＴＭＬ画面への描画データリンク情報を生成するステップと、
抽出された議事録データの図時刻時点の描画データを取得するステップと、
抽出された議事録データの議事録ＩＤ及び音声時刻の情報を持つ音声データ再生用ＨＴＭＬ画面への音声データリンク情報を生成するステップと、
抽出、生成及び取得した情報及びデータにより、少なくとも議題、開催日、発言者、議事内容、前記図時刻時点の描画データ、描画データリンク情報及び音声データリンク情報を含むＨＴＭＬ議事録表示用画面を生成するステップと、
前記ＨＴＭＬ議事録表示用画面を前記クライアントに送信するステップとを実行し、
前記クライアントは、
前記データ取得時刻を含む描画データ、データ取得時刻を含む音声データ、及び、それらに付加した議題、開催日の情報を前記サーバーにアップロードするステップと、
前記サーバーから前記ＨＴＭＬ議事録表示用画面を受信すると、前記ＨＴＭＬ議事録表示用画面を表示するステップとを実行することを特徴とする議事録作成方法。
【請求項６】
前記サーバーは、
前記クライアントから、前記描画データリンク情報を介して、前記描画データ再生用ＨＴＭＬ画面のリクエストがあると、前記描画データ保存部に保存された前記描画データ内の対象データを特定し、前記リクエストにより送信された描画時刻により再生位置を特定し、特定した描画データの全体の時間を取得し、前記リクエストにより音声データ内の対象データを特定し、前記描画時刻により音声データの再生位置を特定するステップと、
それらの情報を基に音声データを含む描画データ再生用ＨＴＭＬ画面を生成するステップと、
前記描画データ再生用ＨＴＭＬ画面を前記クライアントに送信するステップと、
前記クライアントから、前記音声データリンク情報を介して、前記音声データ再生用ＨＴＭＬ画面のリクエストがあると、前記音声データ保存部に保存された前記音声データ内の対象データを特定し、前記リクエストにより送信された音声時刻により再生位置を特定し、前記音声時刻に対応する音声文字列化データを前記音声文字列化データ保存部から取得し、特定した前記音声データの全体の時間を取得するステップと、
それらの情報を基に音声文字列化データを含む音声データ再生用ＨＴＭＬ画面を生成するステップと、
前記音声データ再生用ＨＴＭＬ画面を前記クライアントに送信するステップとを実行することを特徴とする請求項５記載の議事録作成方法。
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１０８６３１（Ｐ２０１２−１０８６３１Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５５５５７（Ｐ２０１０−２５５５５７）
【出願日】平成２２年１１月１６日（２０１０．１１．１６）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１６日（２０１０．１１．１６）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
[ Back to top ]