説明

議事録作成システム、議事録作成方法及び議事録作成プログラム

【課題】会議等における会議等における議事録を作成するための議事録作成システム、議事録作成方法及び議事録作成プログラムを提供する。
【解決手段】議事録作成処理において、会議支援サーバ20の制御部21は、各タブレット端末10から録音ファイルを取得する。そして、各録音ファイルの録音開始時刻を同期させる。次に、制御部21は、各録音ファイルの各時間帯での音量を比較し、最大音量の音声を特定する。そして、制御部21は、最大音量の音声を用いて、録音ファイル毎にフィルタリング処理を実行する。次に、フィルタリングされた音声を用いて音声認識処理を実行し、利用者ID、録音された時間帯に関連付けて、音声認識結果の記録処理を実行する。そして、すべての録音ファイルの処理を終了した場合、制御部21は、音声認識結果を時系列に並べた議事録ファイルを作成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、会議等における議事録を作成するための議事録作成システム、議事録作成方法及び議事録作成プログラムに関する。
【背景技術】
【0002】
会議等における議事録は、各発言者の発言内容をその場で記述して作成したり、会議内容を録音して聞きながら作成したりすることがある。このため、議事録作成には負担がかかっていた。また、会議等においては、複数の参加者がいるため、それぞれの発言の発言者を特定する必要がある。そこで、発言者を認識できるようにした議事録作成装置が検討されている(例えば、特許文献1を参照。)。この文献に記載された技術では、マイクで収集された録音内容に基づき、音声認識部は、会議出席者の音声を認識し、議事録データを作成する。話者特定部は、声紋認証により、各発言内容の発言者を特定する。作成した議事録データにおける発言内容と特定された発言者との対応付けた議事録データを、表示部に表示する。この場合、発言者毎に色分けして表示するとともに、各発言内容の前には、発言者情報を付加する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−233075号公報(第1頁、図1)
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載されているように、議事録においては、発言内容とともに、発言者の特定が大切である。このため、会議等の参加者に対して、個別にマイクを準備することにより、各マイクにおいて個別に発言内容を集音することで、発言者を特定する場合もある。しかしながら、一つの会場において、複数のマイクを利用した場合、異なるマイクを利用している参加者の音声が、他の参加者のマイクに混入してしまう可能性がある。このように他者の音声が混入した場合には、的確に各発言者の発言内容を音声認識することが困難である。
【0005】
本発明は、上記問題点を解決するためになされたものであり、会議等における議事録を作成するための議事録作成システム、議事録作成方法及び議事録作成プログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記問題点を解決するために、請求項1に記載の発明は、利用者識別子及び発言時刻に関連付けて音声認識結果を記録する認識結果記憶手段と、利用者識別子に関連付けて、各利用者の発言についての音声認識結果を含めた議事録ファイルを記録する議事録記憶手段と、各利用者のクライアント端末に接続された制御手段とを備えた議事録作成システムであって、前記制御手段が、前記各クライアント端末から、複数の話者の音声を含む録音ファイルを取得する手段と、各録音ファイルにおいて、録音ファイルを取得したクライアント端末の利用者の音声を特定し、前記音声を用いて音声認識を行なう手段と、各クライアント端末の利用者の利用者識別子及び発言時刻に関連付けて、音声認識結果を前記認識結果記憶手段に記録する手段と、前記認識結果記憶手段に記録された音声認識結果を、発言時刻の順番に並べて議事録ファイルを作成し、前記議事録記憶手段に記録する手段とを備えたことを要旨とする。
【0007】
請求項2に記載の発明は、請求項1に記載の議事録作成システムにおいて、前記制御手段が、各クライアント端末において取得した録音ファイルにおいて、他のクライアント端末の利用者の音声を消去して、残った音声を用いて音声認識を行なうことを要旨とする。
【0008】
請求項3に記載の発明は、請求項1又は2に記載の議事録作成システムにおいて、前記制御手段が、各クライアント端末から取得した録音ファイルにおいて、同じ時刻の音声の音量を比較し、最大音量が記録されていた録音ファイルを特定し、この録音ファイルにおいて最大音量が記録されている時刻範囲の音声を、前記クライアント端末の利用者の音声として特定することを要旨とする。
【0009】
請求項4に記載の発明は、請求項1又は2に記載の議事録作成システムにおいて、利用者識別子に対して声紋が記録された利用者情報記憶手段を更に備え、前記制御手段が、前記クライアント端末の利用者の利用者識別子を特定し、前記利用者情報記憶手段から、前記利用者識別子に対する声紋を取得し、前記声紋を用いて、録音ファイルにおいて各クライアント端末の利用者の音声を特定することを要旨とする。
【0010】
請求項5に記載の発明は、請求項4に記載の議事録作成システムにおいて、前記制御手段が、前記録音ファイルから、前記声紋を用いて特定した各クライアント端末の利用者の音声を消去して残存音声を分離する手段を更に備えたことを要旨とする。
【0011】
請求項6に記載の発明は、請求項1〜5のいずれか一つに記載の議事録作成システムにおいて、前記制御手段が、一つのクライアント端末から、他のクライアント端末に対して送信された録音開始指示に基づいて録音を開始した録音ファイルを、各クライアント端末から取得することを要旨とする。
【0012】
請求項7に記載の発明は、利用者識別子及び発言時刻に関連付けて音声認識結果を記録する認識結果記憶手段と、利用者識別子に関連付けて、各利用者の発言についての音声認識結果を含めた議事録ファイルを記録する議事録記憶手段と、各利用者のクライアント端末に接続された制御手段とを備えた議事録作成システムを用いて、議事録を作成する方法であって、前記制御手段が、前記各クライアント端末から、複数の話者の音声を含む録音ファイルを取得する段階と、各録音ファイルにおいて、録音ファイルを取得したクライアント端末の利用者の音声を特定し、前記音声を用いて音声認識を行なう段階と、各クライアント端末の利用者の利用者識別子及び発言時刻に関連付けて、音声認識結果を前記認識結果記憶手段に記録する段階と、前記認識結果記憶手段に記録された音声認識結果を、発言時刻の順番に並べて議事録ファイルを作成し、前記議事録記憶手段に記録する段階とを実行することを要旨とする。
【0013】
請求項8に記載の発明は、利用者識別子及び発言時刻に関連付けて音声認識結果を記録する認識結果記憶手段と、利用者識別子に関連付けて、各利用者の発言についての音声認識結果を含めた議事録ファイルを記録する議事録記憶手段と、各利用者のクライアント端末に接続された制御手段とを備えた議事録作成システムを用いて、議事録を作成するプログラムであって、前記制御手段を、前記各クライアント端末から、複数の話者の音声を含む録音ファイルを取得する手段、各録音ファイルにおいて、録音ファイルを取得したクライアント端末の利用者の音声を特定し、前記音声を用いて音声認識を行なう手段、各クライアント端末の利用者の利用者識別子及び発言時刻に関連付けて、音声認識結果を前記認識結果記憶手段に記録する手段、前記認識結果記憶手段に記録された音声認識結果を、発言時刻の順番に並べて議事録ファイルを作成し、前記議事録記憶手段に記録する手段として機能させることを要旨とする。
【0014】
(作用)
請求項1、7又は8に記載の発明によれば、制御手段が、前記各クライアント端末から、複数の話者の音声を含む録音ファイルを取得する。次に、各録音ファイルにおいて、録音ファイルを取得したクライアント端末の利用者の音声を特定し、前記音声を用いて音声認識を行ない、音声認識結果を、各クライアント端末の利用者の利用者識別子及び発言時刻に関連付けて、前記認識結果記憶手段に記録する。そして、前記認識結果記憶手段に記録された音声認識結果を、発言時刻の順番に並べて議事録ファイルを作成し、前記議事録記憶手段に記録する。これにより、複数のクライアント端末から取得した録音ファイルを用いて、複数の利用者の発言内容を含めた議事録を作成することができる。
【0015】
請求項2に記載の発明によれば、制御手段が、各クライアント端末において取得した録音ファイルにおいて、他のクライアント端末の利用者の音声を消去して、残った音声を用いて音声認識を行なう。これにより、他のクライアント端末の利用者の音声が録音ファイルに混入している場合にも、混入した他者の音声を消去して、利用者の音声を抽出することができる。従って、各録音ファイルにおいて、クライアント端末の利用者の音声を特定して、音声認識処理を行なうことができる。
【0016】
請求項3に記載の発明によれば、制御手段が、各クライアント端末から取得した録音ファイルにおいて、同じ時刻の音声の音量を比較する。そして、最大音量が記録されていた録音ファイルを特定し、この録音ファイルにおいて最大音量が記録されている時刻範囲の音声を、前記クライアント端末の利用者の音声として特定する。録音ファイルに複数の話者の音声が混入している場合においても、クライアント端末の利用者の音声が最も大きく録音されるので、音量比較を用いて各クライアント端末の利用者の音声を特定することができる。これにより、各録音ファイルにおいて、クライアント端末の利用者の音声を特定して、音声認識処理を行なうことができる。
【0017】
請求項4に記載の発明によれば、制御手段が、クライアント端末の利用者の利用者識別子を特定し、利用者情報記憶手段から、利用者識別子に対する声紋を取得する。そして、前記声紋を用いて、録音ファイルにおいて各クライアント端末の利用者の音声を特定する。録音ファイルに複数の話者の音声が混入している場合においても、声紋を用いて、各クライアント端末の利用者の音声を特定することができる。これにより、各録音ファイルにおいて、クライアント端末の利用者の音声を特定して、音声認識処理を行なうことができる。
【0018】
請求項5に記載の発明によれば、制御手段が、前記録音ファイルから、前記声紋を用いて特定した各クライアント端末の利用者の音声を消去して残存音声を分離する。これにより、クライアント端末の利用者以外の音声を抽出することができる。
請求項6に記載の発明によれば、制御手段が、一つのクライアント端末から、他のクライアント端末に対して送信された録音開始指示に基づいて録音を開始した録音ファイルを、各クライアント端末から取得する。これにより、各クライアント端末において同時に録音を開始するので、各録音ファイルの時刻を同期させることができる。
【発明の効果】
【0019】
本発明によれば、会議等における議事録を作成するための議事録作成システム、議事録作成方法及び議事録作成プログラムを提供することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施形態の議事録作成システムの説明図。
【図2】本実施形態のタブレット端末の構成の説明図であって、(a)はタブレット端末の機能ブロック、(b)はメモ記憶部に記録されたデータの説明図。
【図3】本実施形態の会議支援サーバの各データ記憶部に記録されたデータの説明図であって、(a)は利用者管理情報記憶部、(b)は会議管理記憶部、(c)は資料管理情報記憶部、(d)はメモ管理情報記憶部、(e)は録音管理記憶部、(f)は音声認識結果記憶部の説明図。
【図4】本実施形態の処理手順の説明図。
【図5】本実施形態のタブレット端末における表示画面の説明図。
【図6】本実施形態の処理手順の説明図。
【図7】本実施形態の処理手順の説明図。
【図8】本実施形態のフィルタリング処理の説明図。
【図9】本実施形態のフィルタリング処理の説明図。
【図10】本実施形態のフィルタリング処理の説明図。
【図11】他の実施形態の処理手順の説明図。
【発明を実施するための形態】
【0021】
以下、本発明を具体化した資料表示システムの一実施形態を図1〜図10に従って説明する。本実施形態では、タブレット端末に会議資料を表示させてペーパーレス会議を行なう場合を説明する。本実施形態では、図1に示すように、タブレット端末10、会議支援サーバ20を用いる。
【0022】
タブレット端末10は、会議の参加者が用いるコンピュータ端末(クライアント端末)である。本実施形態では、このタブレット端末10は、後述するように親機又は子機として機能する。このタブレット端末10は、図2(a)に示すように、タッチパネルディスプレイ10a、マイク10b、無線通信部10c、制御部11、メモ記憶部12、録音記憶部13を備えている。
【0023】
タッチパネルディスプレイ10aは、パネル上に情報を出力するとともに、パネル表面に触れることにより、触れられた画面位置の情報を感知して各種操作(ポインティング、キー入力等)を行なうことができる。本実施形態では、このタッチパネルディスプレイ10aには、会議に用いられる会議資料が表示される。
【0024】
マイク10bは、タブレット端末10の利用者の音声等を集音する集音手段として機能する。
無線通信部10cは、通信可能な距離範囲内に存在する他の通信端末との間で、近距離通信方式(例えば、Bluetooth (登録商標))により無線通信を行なう。
【0025】
制御部11は、制御手段(CPU、RAM、ROM等)を備え、後述する処理(アクセス制御段階、資料表示制御段階、手書き入力段階、音声入力段階、メモ貼付段階、録音制御段階等の各処理等)を行なう。そのための表示支援プログラム、録音制御プログラムを実行することにより、制御部11は、図2(a)に示すように、アクセス制御手段111、資料表示制御手段112、手書き入力手段113、音声入力手段114、メモ貼付手段115、録音制御手段116として機能する。
【0026】
アクセス制御手段111は、会議支援サーバ20へのアクセスを制御する処理を実行する。
資料表示制御手段112は、会議支援サーバ20から取得した会議資料を、タッチパネルディスプレイ10aに表示する制御処理を実行する。
【0027】
手書き入力手段113は、タッチパネルディスプレイ10aにおいて、手入力された文字や記号、模様を取得して、メモを作成する処理を実行する。このために、手書き入力手段113は、タッチパネルディスプレイ10a上に、手書き入力画面を表示し、手書き入力画面内に入力された文字のイメージデータをメモ記憶部12に記録する。なお、入力方法は手書きに限定されるものではなく、キーボード入力を用いることも可能である。この場合には、例えばタッチパネルディスプレイ10a上にソフトキーボードを表示し、このソフトキーボードにより入力された情報を取得する。
【0028】
音声入力手段114は、マイク10bにおいて取得した音声を音声認識によりテキストに変換し、メモを作成する処理を実行する。このために、音声入力手段114は、タッチパネルディスプレイ10a上に、音声入力画面を表示し、音声認識されたテキストを音声入力画面に出力する。そして、この音声入力画面において、確認されたテキストをメモ記憶部12に記録する。
【0029】
メモ貼付手段115は、タッチパネルディスプレイ10a上に表示された会議資料において、メモが貼付された位置を特定する処理を実行する。本実施形態においては、会議資料において、ページ、会議資料上の位置(座標)により貼付位置を特定する。
【0030】
録音制御手段116は、マイク10bによる録音を制御する処理を実行する。本実施形態においては、親機のタブレット端末10が子機のタブレット端末10に対して、録音開始指示を送信する。そして、親機及び子機(タブレット端末10)は、この録音開始指示に基づいて、マイク10bによって集音された音声を録音記憶部13に記録する。
【0031】
メモ記憶部12には、図2(b)に示すように、タッチパネルディスプレイ10aに表示された会議資料に貼付されるメモを管理するためのメモ管理レコード120が記録される。このメモ管理レコード120は、メモが作成された場合に記録される。メモ管理レコード120には、資料ID、ページ、座標、メモ内容に関するデータが記録されている。
【0032】
資料IDデータ領域には、メモを貼付する会議資料を特定するための識別子に関するデータが記録される。
ページデータ領域には、メモを貼付する会議資料のページに関するデータが記録される。
【0033】
座標データ領域には、会議資料のページにおいて、メモを貼付する資料上の位置に関するデータが記録される。
メモ内容データ領域には、利用者によって作成されたメモの内容(メモ情報)に関するデータが記録される。本実施形態では、手書きイメージ又は音声認識結果(テキスト)が記録される。
【0034】
録音記憶部13には、マイク10bによって集音された音声についての録音ファイルが記録される。本実施形態では、録音制御手段116による録音開始指示〜録音終了指示の期間に集音された録音ファイルが記録される。
【0035】
会議支援サーバ20は、会議の参加者が利用するタブレット端末10に対して会議資料を提供したり、各タブレット端末10において録音された音声に基づいて議事録を作成したりするコンピュータシステムである。
【0036】
会議支援サーバ20は、図1に示すように、制御部21、利用者管理情報記憶部22、会議管理記憶部23、資料管理情報記憶部24、メモ管理情報記憶部25、録音管理記憶部26、音声認識結果記憶部27、議事録記憶部28を備えている。制御部21は、制御手段(CPU、RAM、ROM等)を備え、後述する処理(利用者認証段階、資料提供段階、メモ管理段階、会議支援段階、議事録作成段階、音声フィルタ段階、音声認識段階等の各処理等)を行なう。そのための資料表示プログラム、議事録作成支援プログラムを実行することにより、制御部21は、図1に示すように、利用者認証手段211、資料提供手段212、メモ管理手段213、会議支援手段214、議事録作成手段215、音声フィルタ手段216、音声認識手段217として機能する。
【0037】
利用者認証手段211は、各タブレット端末10の利用者を認証する処理を実行する。
資料提供手段212は、各タブレット端末10に対して、会議資料を提供する処理を実行する。
【0038】
メモ管理手段213は、各タブレット端末10において作成されたメモを取得して、メモ管理情報記憶部25に記録するとともに、各利用者のタブレット端末10に対して、登録されたメモを提供する処理を実行する。
【0039】
会議支援手段214は、会議の参加者の役割に基づいて、各参加者が利用するタブレット端末10の親機や子機を特定する処理を実行する。
議事録作成手段215は、各タブレット端末10において録音された音声を用いて議事録を作成する処理を実行する。
【0040】
音声フィルタ手段216は、議事録作成時に、各タブレット端末10の利用者の音声以外の音声を消去する処理を実行する。
音声認識手段217は、タブレット端末10において録音された音声に基づいて音声認識処理を行ない、音声をテキスト変換する処理を実行する。
【0041】
利用者管理情報記憶部22は利用者情報記憶手段として機能する。この利用者管理情報記憶部22には、図3(a)に示すように、タブレット端末10の利用者を認証するための利用者管理レコード220が記録されている。この利用者管理レコード220は、タブレット端末10を利用する利用者の登録が行なわれた場合に記録される。利用者管理レコード220には、利用者ID、声紋に関するデータが記録されている。
【0042】
利用者IDデータ領域には、タブレット端末10の利用者を特定するための識別子(利用者識別子)に関するデータが記録される。
声紋データ領域には、この利用者の利用者認証を行なうための声紋(利用者認証情報)が記録される。
【0043】
会議管理記憶部23は会議情報記憶手段として機能する。この会議管理記憶部23には、図3(b)に示すように、タブレット端末10を用いて行なわれる会議を管理するための会議管理レコード230が記録されている。この会議管理レコード230は、会議のスケジュールが登録された場合に記録される。会議管理レコード230には、会議ID、開催日、参加者、役割、利用端末に関するデータが記録されている。
【0044】
会議IDデータ領域には、会議を特定するための識別子に関するデータが記録される。
開催日データ領域には、会議が開催される年月日及び時刻に関するデータが記録される。
【0045】
参加者データ領域には、この会議に参加予定の利用者を特定するための識別子(利用者ID)に関するデータが記録される。
役割データ領域には、この会議における利用者の役割を特定するための識別子に関するデータが記録される。本実施形態では、会議進行を管理する「進行役」や、進行役以外の「参加者」を特定する識別子が記録される。
【0046】
利用端末データ領域には、この利用者が、会議において利用するタブレット端末10を特定するための識別子(端末ID)に関するデータが記録される。本実施形態では、会議開催時処理において、利用者認証が行なわれた場合に、このタブレット端末10の端末IDが記録される。
【0047】
資料管理情報記憶部24は資料記憶手段として機能する。この資料管理情報記憶部24には、図3(c)に示すように、会議において用いられる会議資料管理データ240が記録されている。この会議資料管理データ240は、会議において用いられる資料が登録された場合に記録される。会議資料管理データ240には、会議ID、資料ID、会議資料ファイルに関するデータが関連付けられて記録される。なお、一つの会議において複数の会議資料ファイルが用いられる場合には、資料管理情報記憶部24に、同じ会議IDに対して、複数の資料ID、会議資料ファイルが記録された会議資料管理データ240が登録される。
【0048】
会議IDデータ領域には、会議を特定するための識別子に関するデータが記録される。
資料IDデータ領域には、会議において用いられる会議資料を特定するための識別子(資料識別子)に関するデータが記録される。
会議資料ファイルデータ領域には、会議において用いられる会議資料(資料ファイル)が記録される。
【0049】
メモ管理情報記憶部25はメモ記憶手段として機能する。このメモ管理情報記憶部25には、図3(d)に示すように、利用者が作成したメモを管理するためのメモ管理レコード250が記録されている。このメモ管理レコード250は、タブレット端末10からメモを取得した場合に記録される。メモ管理レコード250には、利用者ID、資料ID、ページ、座標、メモ内容に関するデータが記録される。
【0050】
利用者IDデータ領域には、メモを作成した利用者を特定するための識別子に関するデータが記録される。
資料IDデータ領域には、メモを貼付する会議資料を特定するための識別子に関するデータが記録される。
【0051】
ページデータ領域には、メモを貼付する会議資料のページに関するデータが記録される。
座標データ領域には、会議資料のページにおいて、メモを貼付する位置に関するデータが記録される。本実施形態では、ページと座標により、メモの貼付位置が特定される。
メモ内容データ領域には、利用者によって作成されたメモの内容に関するデータが記録される。本実施形態では、手書きイメージ又は音声認識結果(テキスト)が記録される。
【0052】
録音管理記憶部26には、図3(e)に示すように、タブレット端末10から取得した録音管理データ260が記録されている。この録音管理データ260は、タブレット端末10から録音ファイルを回収した場合に記録される。録音管理データ260には、端末ID、会議ID、録音ファイルに関するデータが関連付けられて記録される。
【0053】
端末IDデータ領域には、録音ファイルを回収したタブレット端末10を特定するための識別子に関するデータが記録される。
会議IDデータ領域には、このタブレット端末10において録音を行なった会議を特定するための識別子に関するデータが記録される。
録音ファイルデータ領域には、所定のオーディオファイルフォーマットにより生成された音声データが記録される。
【0054】
音声認識結果記憶部27には、図3(f)に示すように、タブレット端末10から回収した録音管理データ260に含まれる録音ファイルの音声をテキスト化した音声認識結果レコード270が記録されている。この音声認識結果レコード270は、後述する議事録作成処理を行なった場合に記録される。音声認識結果レコード270には、会議ID、端末ID、利用者ID,時刻範囲、認識結果に関するデータが記録されている。
【0055】
会議IDデータ領域には、タブレット端末10において録音を行なった会議を特定するための識別子に関するデータが記録される。
端末IDデータ領域には、録音ファイルを回収したタブレット端末10を特定するための識別子に関するデータが記録される。
利用者IDデータ領域には、このタブレット端末10の利用者を特定するための識別子に関するデータが記録される。
【0056】
時刻範囲データ領域には、録音ファイルにおいて、音声認識処理を行なった音声が記録された時刻範囲に関するデータが記録される。本実施形態では、録音開始時からの経過時間を用いて時刻範囲を特定する。
認識結果データ領域には、音声認識処理により生成したテキストが記録される。
【0057】
議事録記憶部28は議事録記憶手段として機能する。この議事録記憶部28には、会議の議事録の電子データ(議事録ファイル)が記録される。この議事録ファイルは、後述する議事録作成処理を行なった場合に記録される。議事録ファイルには、会議IDに関するデータが関連付けられて記録される。
【0058】
会議IDデータ領域には、議事録を作成した会議を特定するための識別子に関するデータが記録される。
議事録ファイルは、発言した各参加者の利用者IDに関連付けて、発言内容が時系列に並べられたテキストファイルである。
【0059】
次に、この資料表示システムにおける動作を、図4〜図10を用いて説明する。ここでは、事前確認処理(図4、図5)、会議開催時処理(図6)、議事録作成処理(図7〜図10)の順番に行なう。
【0060】
(事前確認処理)
まず、事前確認処理を、図4、図5を用いて説明する。この処理は、会議に先立って、利用者が資料を確認する場合に行なわれる。
【0061】
まず、タブレット端末10の制御部11は、アクセス処理を実行する(ステップS1−1)。具体的には、利用者が、会議に先立って、資料を確認する場合には、タブレット端末10を用いて、会議支援サーバ20にアクセスする。この場合、制御部11のアクセス制御手段111は、会議支援サーバ20に対してアクセス要求を送信する。
【0062】
次に、会議支援サーバ20の制御部21は、認証画面の出力処理を実行する(ステップS1−2)。具体的には、制御部21の利用者認証手段211は、利用者認証画面をタブレット端末10に送信する。この場合、タブレット端末10の制御部11のアクセス制御手段111は、利用者認証画面をタッチパネルディスプレイ10aに出力する。この利用者認証画面には、声紋を取得するための発声指示が含まれる。ここでは、使用しているタブレット端末10の端末ID番号を発声する指示が含まれる。なお、発声内容は端末ID番号に限定されるものではない。
【0063】
次に、タブレット端末10の制御部11は、認証要求処理を実行する(ステップS1−3)。具体的には、制御部11のアクセス制御手段111は、マイク10bを用いて、利用者の音声データを取得する。そして、アクセス制御手段111は、認証要求を会議支援サーバ20に送信する。この認証要求には、マイク10bにおいて取得した音声データを含める。
【0064】
次に、会議支援サーバ20の制御部21は、利用者認証処理を実行する(ステップS1−4)。具体的には、制御部21の利用者認証手段211は、タブレット端末10から取得した音声データを用いて声紋を抽出する。そして、利用者認証手段211は、抽出した声紋が記録された利用者管理レコード220を、利用者管理情報記憶部22において検索する。ここで、抽出した声紋が記録された利用者管理レコード220を特定できない場合には、利用者認証手段211は、アクセスを拒否する。
【0065】
一方、抽出した声紋が記録された利用者管理レコード220を特定し、利用者認証を完了した場合、利用者認証手段211は、利用者管理レコード220に記録された利用者IDを特定する。そして、利用者認証手段211は、タブレット端末10にメニュー画面を送信する。このメニュー画面には、資料事前確認ボタンと会議参加ボタンとが含まれる。ここでは、資料事前確認ボタンを選択する。
【0066】
資料事前確認ボタンの選択を検知した会議支援サーバ20の制御部21は、会議資料の特定処理を実行する(ステップS1−5)。具体的には、制御部21の資料提供手段212は、会議管理記憶部23において、利用者認証された利用者の利用者IDが参加者データ領域に記録された会議管理レコード230を検索する。そして、資料提供手段212は、抽出した会議管理レコード230の会議IDの一覧を含めた会議一覧画面を生成し、タブレット端末10のタッチパネルディスプレイ10aに出力する。利用者は、タッチパネルディスプレイ10aに表示された会議一覧画面において、資料の閲覧を希望する会議を選択する。この場合、制御部11の資料表示制御手段112は、会議支援サーバ20に資料表示要求を送信する。この資料表示要求には、会議一覧画面において選択された会議の会議IDに関するデータを含める。そして、会議支援サーバ20の制御部21の資料提供手段212は、取得した会議IDが記録されている会議資料管理データ240の会議資料ファイルを、資料管理情報記憶部24から提供対象として抽出する。
【0067】
次に、会議支援サーバ20の制御部21は、既登録メモの抽出処理を実行する(ステップS1−6)。具体的には、制御部21の資料提供手段212は、メモ管理情報記憶部25において、利用者認証された利用者ID及び提供対象の資料IDが記録されたメモ管理レコード250を検索する。ここで、メモ管理レコード250を抽出できた場合、資料提供手段212は、資料IDにより特定した会議資料管理データ240の会議資料ファイルにおいて、メモ管理レコード250に記録されたページ及び座標に、メモ内容を含めたメモパッドアイコンを表示させるための設定を行なう。このアイコンには、メモ管理レコード250のメモ内容を埋め込んでおく。なお、メモ管理レコード250を抽出できない場合には、メモの設定を行なわない。
【0068】
次に、会議支援サーバ20の制御部21は、資料の提供処理を実行する(ステップS1−7)。具体的には、制御部21の資料提供手段212は、資料IDとともに、メモが貼付された会議資料ファイルをタブレット端末10に送信する。
【0069】
会議資料ファイルを受信したタブレット端末10の制御部11は、資料表示処理を実行する(ステップS1−8)。具体的には、制御部11の資料表示制御手段112は、会議支援サーバ20から取得した会議資料ファイルをタッチパネルディスプレイ10aに表示する。この場合、図5に示すように、タッチパネルディスプレイ10aに会議資料ファイルが表示される。更に、タッチパネルディスプレイ10aには、この資料にメモを貼付するためのメモボタン101が表示される。なお、既登録メモが貼付されている場合には、後述するメモパッドアイコンが、会議資料ファイルのメモ貼付位置に表示される。
【0070】
そして、利用者は、タッチパネルディスプレイ10aに表示された会議資料ファイルの内容を確認する。資料にメモを残す場合には、メモボタン101を選択する。この場合、手書き入力又は音声入力を選択するためのボタンを含めた入力選択画面を表示する。
そして、メモを手書きにより作成する場合には、入力選択画面で手書き入力ボタンを選択した後で、タッチパネルディスプレイ10a上で、メモを貼付する位置を触れる(パネルタッチ)。
【0071】
手書き入力ボタンが選択され、パネルタッチを検知した場合、タブレット端末10の制御部11は、タッチ入力処理を実行する(ステップS1−9)。具体的には、制御部11の資料表示制御手段112は、手書き入力手段113を起動する。そして、手書き入力手段113は、タッチパネルディスプレイ10aに表示された会議資料上のタッチ位置に上層レイヤを設け、この上層レイヤに透過性の手書き入力画面102を出力する。この手書き入力画面102には、スタイラス等を用いたタッチ入力により手書きすることができる。手書き入力画面102の貼付ボタンが選択された場合、手書き入力手段113は、手書き入力された内容のイメージデータを作成する。そして、資料表示制御手段112は、メモ貼付手段115を起動する。この場合、メモ貼付手段115は、手書き入力画面102をメモパッドアイコン103のサイズに縮小し、パネルタッチされた位置に表示させる。このメモパッドアイコン103を選択することにより、イメージデータをタッチパネルディスプレイ10aに表示された会議資料ファイルの上層レイヤに展開することができる。
【0072】
そして、メモ貼付手段115は、資料ID、ページ及びメモパッドアイコン103の表示位置(座標)とともに、イメージデータを含めたメモ管理レコード120をメモ記憶部12に記録する。
【0073】
一方、メモを音声により作成する場合には、入力選択画面で音声入力ボタンを選択した後で、タッチパネルディスプレイ10a上で、メモを貼付する位置を触れる(パネルタッチ)。そして、メモの内容を発声する。
音声入力ボタンが選択され、パネルタッチを検知した場合、タブレット端末10の制御部11は、音声入力処理を実行する(ステップS1−10)。具体的には、制御部11の資料表示制御手段112は、音声入力手段114を起動する。そして、音声入力手段114は、タッチパネルディスプレイ10aに表示された会議資料上のタッチ位置に上層レイヤを設け、この上層レイヤに、透過性の音声入力画面104を出力する。音声入力手段114は、マイク10bを介して取得した音声の音声認識処理を実行し、音声入力画面104に、音声認識処理によって生成されたテキストを表示する。なお、音声入力画面104に表示されたテキストは、スタイラス等を用いて修正することができる。そして、音声入力画面104の貼付ボタンが選択された場合、資料表示制御手段112は、メモ貼付手段115を起動する。この場合、メモ貼付手段115は、音声入力画面104をメモパッドアイコン105のサイズに縮小し、パネルタッチされた位置に表示させる。このメモパッドアイコン105を選択することにより、音声入力されたテキストをタッチパネルディスプレイ10aに表示された会議資料ファイルの上層レイヤに展開することができる。
【0074】
そして、メモ貼付手段115は、資料ID、ページ及びメモパッドアイコン103の表示位置(座標)とともに、音声認識処理により生成されたテキストを含めたメモ管理レコード120をメモ記憶部12に記録する。
【0075】
次に、タブレット端末10の制御部11は、メモ登録要求処理を実行する(ステップS1−11)。具体的には、資料の確認を終了した場合、タッチパネルディスプレイ10aに表示された終了ボタンを選択する。この場合、制御部11の資料表示制御手段112は、会議支援サーバ20に、メモ登録要求を送信する。このメモ登録要求には、メモ記憶部12に記録されたメモ管理レコード120の内容を含める。
【0076】
メモ登録要求を受信した会議支援サーバ20の制御部21は、メモの登録処理を実行する(ステップS1−12)。具体的には、制御部21のメモ管理手段213は、利用者認証された利用者IDに関連づけて、メモ登録要求に含まれる内容を記録したメモ管理レコード250を生成し、メモ管理情報記憶部25に記録する。
【0077】
(会議開催時処理)
次に、会議開催時処理を、図6を用いて説明する。会議を行なう場合、各参加者に対してタブレット端末10が提供される。そして、この会議開催時処理は、会議期間中に継続して実行される。
【0078】
ここでは、タブレット端末10の制御部11は、ステップS1−1と同様に、アクセス処理を実行する(ステップS2−1)。
この場合、会議支援サーバ20の制御部21は、ステップS1−2と同様に、認証画面の出力処理を実行する(ステップS2−2)。
【0079】
そして、タブレット端末10の制御部11は、ステップS1−3と同様に、認証要求処理を実行する(ステップS2−3)。
次に、会議支援サーバ20の制御部21は、ステップS1−4と同様に、利用者認証処理を実行する(ステップS2−4)。利用者認証を完了した場合、利用者認証手段211は、タブレット端末10にメニュー画面を送信する。このメニュー画面には、資料事前確認ボタンと会議参加ボタンとが含まれる。ここでは、会議参加ボタンを選択する。この場合、利用者認証手段211は、会議管理レコード230の利用端末データ領域に、このタブレット端末10の端末IDを記録する。本実施形態では、参加者が発声した端末IDを記録する。なお、この端末IDの特定方法は、参加者の発声に限定されるものではなく、タブレット端末10に記録された端末IDを取得するようにしてもよい。
【0080】
会議参加ボタンの選択を検知した会議支援サーバ20の制御部21は、ステップS1−5と同様に、会議資料の特定処理を実行する(ステップS2−5)。ここでは、利用者は、タッチパネルディスプレイ10aに表示された会議一覧画面において、参加する会議を選択する。
【0081】
そして、会議支援サーバ20の制御部21は、親機又は子機の設定処理を実行する(ステップS2−6)。具体的には、制御部21の会議支援手段214は、選択された会議IDの会議管理レコード230を用いて、この参加者に関連付けられた役割を特定する。役割として「進行役」が記録されている場合には、この参加者が使用しているタブレット端末10を親機として特定する。一方、「進行役」以外の「参加者」が使用しているタブレット端末10を子機として特定する。そして、会議支援手段214は、タブレット端末10の録音制御手段116に対して、親機又は子機の権限設定を行なう。この場合、親機のタブレット端末10には、子機のタブレット端末10に対して、録音開始指示や録音終了指示を送信する権限を付与する。
【0082】
次に、会議支援サーバ20の制御部21は、ステップS1−6、S1−7と同様に、既登録メモの抽出処理(ステップS2−7)、資料の提供処理(ステップS2−8)を実行する。
そして、タブレット端末10の制御部11は、ステップS1−8と同様に、資料表示処理を実行する(ステップS2−9)。
会議を開始する場合、親機を使用している進行役は、タブレット端末10において録音開始入力を行なう。この場合、親機のタブレット端末10の制御部11は、録音開始指示処理を実行する(ステップS2−10)。具体的には、制御部11の録音制御手段116は、無線通信部10cを介して、子機のタブレット端末10に録音開始指示を送信する。
【0083】
録音開始指示を送信した親機、及び録音開始指示を受信した子機のタブレット端末10の制御部11は、録音処理を開始する(ステップS2−11)。具体的には、制御部11の録音制御手段116は、マイク10bを用いて集音した音声を時系列に記録した録音ファイルを生成する。
【0084】
そして、会議を終了する場合、親機を使用している進行役は、タブレット端末10において録音終了入力を行なう。この場合、親機のタブレット端末10の制御部11は、録音終了指示処理を実行する(ステップS2−12)。具体的には、制御部11の録音制御手段116は、無線通信部10cを介して、子機のタブレット端末10に録音終了指示を送信する。
【0085】
そして、録音終了指示を送信した親機、及び録音終了指示を受信した子機のタブレット端末10の制御部11の録音制御手段116は、録音を停止し、生成した録音ファイルを録音記憶部13に記録する。この場合、録音制御手段116は、会議一覧画面において選択された会議IDを録音ファイルに関連付けて記録する。
【0086】
次に、会議支援サーバ20の制御部21は、録音ファイルの回収処理を実行する(ステップS2−13)。具体的には、制御部21の議事録作成手段215は、各タブレット端末10の録音記憶部13から、会議IDに関連付けられた録音ファイルを回収する。そして、議事録作成手段215は、録音管理記憶部26に、録音ファイルを回収したタブレット端末10の端末ID、会議IDに関連づけて録音ファイルを含めた録音管理データ260を記録する。
【0087】
次に、会議支援サーバ20の制御部21は、議事録作成処理を実行する(ステップS2−14)。具体的には、制御部21の議事録作成手段215は、各参加者のタブレット端末10から回収した録音ファイルを用いて、議事録を作成する。この処理については、以下で詳述する。
【0088】
(議事録作成処理)
次に、図7〜図10を用いて,議事録作成処理を説明する。本実施形態では、議事録作成対象の会議の録音ファイルを用いて、会議支援サーバ20において、音声認識処理により、議事録を作成する。ここでは、議事録作成対象の会議について、複数のタブレット端末10から回収した録音ファイルを用いる。
【0089】
まず、会議支援サーバ20の制御部21は、各端末から取得した録音ファイルの時刻同期処理を実行する(ステップS3−1)。具体的には、制御部21の議事録作成手段215は、議事録作成対象の会議IDが記録された録音ファイルを、録音管理記憶部26から取得する。そして、議事録作成手段215は、各録音ファイルの開始時刻を一致させて同期させる。ここでは、図8に示すように、複数のタブレット端末(A、B、C)から取得した録音ファイルを用いて議事録を作成する場合を想定し、時間軸上の開始時刻を一致させて同期させる。
【0090】
次に、会議支援サーバ20の制御部21は、各時刻での最大音量の音声の特定処理を実行する(ステップS3−2)。具体的には、制御部21の音声フィルタ手段216は、開始時刻から所定の時間間隔の各時刻で、タブレット端末10から回収した各録音ファイルの音量を比較する。ここでは、図8に示すように、タブレット端末(A、B、C)から回収した各録音ファイルにおける波の高さ(音量レベル)を比較する。そして、各時刻について、この比較結果に基づいて、同じ時刻の各音量において最大音量が記録されたファイルを特定する。各録音ファイルにおいて、それぞれ最大音量が記録されている時刻範囲を、各タブレット端末10の利用者自身の音声が記録された領域(「最大領域」)として特定して仮記憶する。
【0091】
そして、録音ファイル毎に以下の処理を繰り返す。
ここでは、まず、会議支援サーバ20の制御部21は、フィルタリング処理を実行する(ステップS3−3)。具体的には、制御部21の音声フィルタ手段216は、処理対象の録音ファイル以外の録音ファイル(他の録音ファイル)において、仮記憶された「最大領域」を特定する。そして、音声フィルタ手段216は、他の録音ファイルの「最大領域」の波形を縮小して、処理対象の録音ファイルの波形に一致するようにフィッティングを行なう。そして、音声フィルタ手段216は、フィッティングさせた波形を、処理対象の録音ファイルの波形から差し引いた録音ファイルを新たに生成する。これにより、図9に示すように、他の録音ファイルに記録された「最大領域」の波形を用いて、ノイズキャンセル(他のタブレット端末10の利用者の音声の消去)を行なう。これにより、図10に示すように、処理対象の録音ファイルの波形において、「最大領域」の時刻範囲以外の音声を消去した録音ファイルを生成することができる。
【0092】
次に、会議支援サーバ20の制御部21は、フィルタリングされた音声による音声認識処理を実行する(ステップS3−4)。具体的には、制御部21の音声認識手段217は、音声フィルタ手段216から、フィルタリングされた録音ファイルを取得する。そして、音声認識手段217は、この録音ファイルを用いて音声認識処理を行なうことにより、「最大領域」における認識結果(テキスト)を生成する。
【0093】
次に、会議支援サーバ20の制御部21は、音声認識結果の記録処理を実行する(ステップS3−5)。具体的には、制御部21の議事録作成手段215は、会議ID、録音ファイルを取得したタブレット端末の端末ID、利用者ID、「最大領域」の時刻範囲に関連づけて、認識結果を記録した音声認識結果レコード270を生成し、音声認識結果記憶部27に記録する。更に、議事録作成手段215は、特定した会議ID、端末IDが、それぞれ会議IDデータ領域、利用端末データ領域に記録された会議管理レコード230を、会議管理記憶部23から抽出する。そして、議事録作成手段215は、会議管理レコード230の参加者データ領域に記録された利用者IDを取得し、音声認識結果レコード270に記録する。
以上の処理を、処理対象の会議IDが記録された録音ファイル毎に繰り返す。
【0094】
次に、会議支援サーバ20の制御部21は、議事録の登録処理を実行する(ステップS3−6)。具体的には、制御部21の議事録作成手段215は、処理対象の会議IDが記録された音声認識結果レコード270において時刻範囲の開始時刻が早い順番に、音声認識結果レコード270を並び替える。次に、議事録作成手段215は、この順番で、利用者IDに関連付けた認識結果を結合することにより、議事録ファイルを作成する。そして、議事録作成手段215は、議事録ファイルに会議IDを関連付けて議事録記憶部28に記録する。
【0095】
以上、本実施形態によれば、以下に示す効果を得ることができる。
(1)上記実施形態では、事前確認処理において、会議支援サーバ20の制御部21は、資料の提供処理を実行する(ステップS1−7)。会議資料ファイルを受信したタブレット端末10の制御部11は、資料表示処理を実行する(ステップS1−8)。そして、タブレット端末10の制御部11は、タッチ入力処理(ステップS1−9)、音声入力処理(ステップS1−10)を実行する。そして、タブレット端末10の制御部11は、メモ登録要求処理を実行する(ステップS1−11)。会議開催時処理において、会議支援サーバ20の制御部21は、利用者認証処理を実行し(ステップS2−4)、既登録メモの抽出処理(ステップS2−7)、資料の提供処理(ステップS2−8)を実行する。そして、タブレット端末10の制御部11は、資料表示処理を実行する(ステップS2−9)。これにより、予め会議資料を確認して、この会議資料に対してメモを貼付しておくことができる。従って、メモを利用して質問内容や確認事項を予め準備して、効率的に会議を行なうことができる。
【0096】
(2)上記実施形態では、タブレット端末10の制御部11は、タッチ入力処理を実行する(ステップS1−9)。これにより、手書きによりメモを残すことができる。更に、タブレット端末10の制御部11は、音声入力処理を実行する(ステップS1−10)。これにより、音声認識によりメモを残すことができる。
【0097】
また、貼付ボタンが選択された場合、手書き入力画面102や音声入力画面104をメモパッドアイコン(103、105)のサイズに縮小し、手書き入力ボタンや音声入力ボタンの選択後にパネルタッチされた位置に表示させる。これにより、タッチパネルディスプレイ10aにおいて、アイコンによりメモの有無を判定することができる。更に、メモの表示が不要な場合には、メモが表示されていない状態で会議資料ファイルを閲覧することができる。
【0098】
(3)上記実施形態では、会議支援サーバ20の制御部21は、親機又は子機の設定処理を実行する(ステップS2−6)。これにより、複数の利用者が参加する会議において、利用者の役割に応じてタブレット端末10に権限を付与することができる。従って、進行役の利用者が用いるタブレット端末10を用いて、他の参加者が利用するタブレット端末10を制御することができる。
【0099】
(4)上記実施形態では、会議を開始する場合、親機を使用している進行役は、タブレット端末10において録音開始入力を行なう。この場合、親機のタブレット端末10の制御部11は、録音開始指示処理を実行する(ステップS2−10)。そして、録音開始指示を送信した親機、及び録音開始指示を受信した子機のタブレット端末10の制御部11は、録音処理を開始する(ステップS2−11)。これにより、会議の参加者が利用している複数のタブレット端末10において、同時期に録音を開始することができる。従って、各タブレット端末10のローカルタイマの時刻がずれている場合であっても、同時期に録音が開始されるため、複数の録音ファイルにおいて、時間を同期させて議事録を作成することができる。
【0100】
(5)上記実施形態では、会議支援サーバ20の制御部21は、各時刻での最大音量の音声の特定処理(ステップS3−2)、音声認識処理(ステップS3−4)を実行する。そして、会議支援サーバ20の制御部21は、音声認識結果の記録処理を実行する(ステップS3−5)。利用者は、自分のタブレット端末10のマイク10bが最も近いため、自分のタブレット端末10において利用者の音声が最大音量で録音される。従って、音量によって、タブレット端末10の利用者の音声を特定することができる。
【0101】
また、会議支援サーバ20の制御部21は、フィルタリング処理(ステップS3−3)を実行し、フィルタリングされた音声による音声認識処理(ステップS3−4)を実行する。複数の利用者が参加する会議においては、タブレット端末10のマイク10bに、他の参加者の音声が混入することがある。このような場合においては、各タブレット端末10の利用者の音声を用いて、他のタブレット端末10の録音ファイルに混入した利用者の音声を消去することができる。従って、タブレット端末10の利用者の音声のみを抽出して、的確に音声認識を行なうことができる。
【0102】
(6)上記実施形態では、会議支援サーバ20の制御部21は、音声認識結果の記録処理を実行する(ステップS3−5)。具体的には、制御部21の議事録作成手段215は、会議ID、録音ファイルを取得したタブレット端末の端末ID、利用者ID、「最大領域」の時刻範囲に関連づけて、認識結果を記録した音声認識結果レコード270を音声認識結果記憶部27に記録する。この時刻範囲を用いることにより、発言順番を特定して、議事録を作成することができる。
【0103】
なお、上記実施形態は、以下の態様に変更してもよい。
・ 上記実施形態では、クライアント端末としてタブレット端末10を用いて、事前確認処理や会議開催時処理を行なう。クライアント端末はタブレット端末10に限定されるものではなく、デスクトップ端末やノートパソコン等を用いることも可能である。また、事前確認処理に用いるクライアント端末と、会議開催時処理に用いるクライアント端末とにおいて、異なるコンピュータ端末を用いることも可能である。
【0104】
・ 上記実施形態では、事前確認処理や会議開催時処理において、会議支援サーバ20の制御部21は、既登録メモの抽出処理(ステップS1−6、S2−7)、資料の提供処理(ステップS1−7、S2−8)を実行する。ここで、会議資料ファイルが事前確認後、会議開催前までに改定されている場合にも、メモを表示するようにしてもよい。この場合には、資料管理情報記憶部24において、旧版の会議資料ファイルの資料IDと、改定された会議資料ファイルの資料IDとを関連づけた改定情報を記憶しておく。更に、この改訂情報には、改定により変更されたページ、改定箇所の座標領域や、ページ移動があった場合の新旧ページ対応テーブルを記録しておく。
【0105】
そして、制御部21の資料提供手段212は、提供対象の会議資料ファイルを特定した場合、改定情報を用いて改定の有無を確認する。改定がない場合には、資料提供手段212は、メモを貼付した会議資料ファイルをタブレット端末10に送信する。
【0106】
一方、改定があった場合には、資料提供手段212は、メモが貼付されていた会議資料ファイルの資料IDに対して、改定された会議資料ファイルの資料IDを特定する。次に、資料提供手段212は、改定情報を用いて、メモ管理レコード250に記録されている会議資料ファイルのページや座標領域が改定されているかどうかを判定する。
【0107】
新旧ページ対応テーブルを用いて、改定された会議資料ファイルにおけるページを特定し、メモが貼付されたページの座標領域が改定されていない場合には、資料提供手段212は、新たなページにおいて、メモ管理レコード250に記録された座標にメモを貼付する。
【0108】
一方、メモが貼付されていた座標領域が改定されている場合や、メモが貼付されていたページが削除されている場合には、資料提供手段212は、会議資料ファイルに、メモを含めた注意情報を添付する。そして、資料提供手段212は、メモや注意情報を付加した会議資料ファイルをタブレット端末10に送信する。これにより、会議資料ファイルが改訂された場合にも、利用者に対して注意喚起したり、メモを有効活用したりすることができる。
【0109】
・ 上記実施形態では、議事録作成処理において、会議支援サーバ20の制御部21は、各時刻での最大音量の音声の特定処理を実行する(ステップS3−2)。これにより、最大音量の音声を、タブレット端末10の利用者の音声として特定する。各タブレット端末10の利用者の音声の特定方法は、これに限定されるものではない。例えば、タブレット端末10の利用者の声紋を利用者管理情報記憶部22から取得し、録音ファイルにおいて、この声紋の音声のみを抽出するようにしてもよい。これにより、利用者の声紋を用いて、録音データに含まれる音声のフィルタリングを行なう。
【0110】
・ 上記実施形態では、議事録作成処理において、会議支援サーバ20の制御部21は、フィルタリング処理を実行する(ステップS3−3)。ここでは、録音ファイル毎に、1人のタブレット端末10の利用者の音声を抽出する。そして、会議支援サーバ20の制御部21は、フィルタリングされた音声による音声認識処理を実行する(ステップS3−4)。これに加えて、声紋を利用することにより、1台のタブレット端末10を利用する複数の利用者の音声を分離するようにしてもよい。この処理を図11に従って説明する。
【0111】
この処理においては、会議支援サーバ20の制御部21は、ステップS3−1〜S3−3と同様に、各端末から取得した録音ファイルの時刻同期処理(ステップS4−1)、各時刻範囲での最大音量の音声の特定処理(ステップS4−2)、フィルタリング処理(ステップS4−3)を実行する。
【0112】
次に、会議支援サーバ20の制御部21は、声紋確認処理を実行する(ステップS4−4)。具体的には、制御部21の議事録作成手段215は、処理対象の録音ファイルに関連付けられた端末IDを用いて、会議管理記憶部23に記録された会議管理レコード230の参加者データ領域に記録されている利用者IDを取得する。そして、議事録作成手段215は、利用者管理情報記憶部22において、この利用者IDが記録された利用者管理レコード220を抽出し、タブレット端末10の利用者の声紋を取得する。そして、議事録作成手段215は、「最大領域」の音声について、声紋の確認を行なう。
【0113】
次に、会議支援サーバ20の制御部21は、本人以外の音声を含むかどうかについての判定処理を実行する(ステップS4−5)。具体的には、制御部21の議事録作成手段215は、タブレット端末10の利用者の声紋以外の音声が含まれていない場合には、本人以外の音声が含まれていないと判定する。
【0114】
本人以外の音声が含まれていないと判定した場合(ステップS4−5において「NO」の場合)、会議支援サーバ20の制御部21は、ステップS3−4、S3−5と同様に、フィルタリングされた音声による音声認識処理(ステップS4−6)、音声認識結果の記録処理(ステップS4−7)を実行する。
【0115】
一方、本人以外の声紋の音声が含まれていると判定した場合(ステップS4−5において「YES」の場合)、会議支援サーバ20の制御部21は、利用者の音声と他者の音声との分離処理を実行する(ステップS4−8)。具体的には、制御部21の音声フィルタ手段216は、フィルタリングされた録音ファイルから、タブレット端末10の利用者の声紋を用いて、利用者本人の音声を抽出した録音ファイルを生成する。更に、音声フィルタ手段216は、フィルタリングされた録音ファイルから、声紋を用いて特定した利用者本人の音声を消去した新たな録音ファイルを生成する。これらの録音ファイルにより、音声フィルタ手段216は、残存音声を他者の音声として特定することにより、利用者の音声と他者の音声とを分離する。
【0116】
次に、会議支援サーバ20の制御部21は、分離した音声により音声認識処理を実行する(ステップS4−9)。具体的には、制御部21の音声認識手段217は、音声フィルタ手段216から、分離した利用者の音声、残存音声を取得し、これらの音声について音声認識処理を実行する。
【0117】
次に、会議支援サーバ20の制御部21は、音声認識結果の記録処理を実行する(ステップS4−7)。具体的には、制御部21の議事録作成手段215は、会議ID、録音ファイルを取得したタブレット端末の端末ID、「最大領域」の時刻範囲、端末IDに関連づけて、認識結果を記録した音声認識結果レコード270を音声認識結果記憶部27に記録する。この場合、議事録作成手段215は、タブレット端末10の利用者の音声については、利用者IDを音声認識結果レコード270に記録する。一方、タブレット端末10の利用者以外の他者の音声については、「その他の参加者」フラグを、音声認識結果レコード270の利用者IDデータ領域に記録する。
【0118】
以上の処理を、録音ファイルごとに繰り返す。
そして、会議支援サーバ20の制御部21は、ステップS3−6と同様に、議事録の登録処理を実行する(ステップS4−10)。
【0119】
これにより、声紋を用いて、タブレット端末10の利用者の音声を特定して、議事録を作成することができる。
更に、声紋を利用することにより、1台のタブレット端末10を複数の利用者が共用することも可能である。この場合には、「最大領域」の音声を、声紋を用いて利用者毎に分離して、音声認識処理を実行する。
【0120】
・ 上記実施形態では、録音開始指示を送信した親機、及び録音開始指示を受信した子機のタブレット端末10の制御部11は、録音処理を実行する(ステップS2−11)。この場合、タブレット端末10において、利用者の音声のフィルタリングを行なうようにしてもよい。この場合には、タブレット端末10の制御部11に、音声フィルタ手段を設ける。そして、会議支援サーバ20が、会議開始時の利用者認証処理を行なった場合、認証された利用者の声紋をタブレット端末10に提供する。そして、タブレット端末10の制御部11は、会議支援サーバ20から取得した声紋を用いて、マイク10bにおいて取得した音声のフィルタリングを行なう。具体的には、タブレット端末10の制御部11は、声紋に一致する音声のみを録音記憶部13に記録する。
【0121】
更に、タブレット端末10の制御部11は、フィルタリングされた音声に基づいて、タブレット端末10において音声認識処理を実行するようにしてもよい。
この場合には、各音声認識結果に対して、発声時刻(録音開始指示からの経過時間)を記録しておく。そして、各タブレット端末10から音声認識結果を取得した会議支援サーバ20は、発声時刻の順番に、音声認識結果を並べて議事録を作成する。この場合には、各音声認識結果に対して、タブレット端末10の利用者の利用者IDを関連づけて記録する。
【0122】
・ 上記実施形態では、メモを会議資料に貼付する。これに代えて或いは加えて、マーキングや目印のための付箋を貼付できるようにしてもよい。この場合には、メモ記憶部12におけるメモ内容を記録する必要はない。
【0123】
・ 上記実施形態では、メモパッドアイコン103を選択することにより、メモ内容をタッチパネルディスプレイ10aに表示された会議資料ファイルの上層レイヤに展開する。ここで、メモ内容をメモパッドアイコン103上に表示するようにしてもよい。これにより、簡単なメモについては、メモパッドアイコン103を展開することなく、メモ内容を把握することができる。
【0124】
・ 上記実施形態では、会議支援サーバ20の制御部21は、既登録メモの抽出処理を実行する(ステップS1−6)。具体的には、制御部21の資料提供手段212は、メモ管理情報記憶部25において、利用者認証された利用者ID及び提供対象の資料IDが記録されたメモ管理レコード250を検索する。ここで、資料に貼付するメモを共有できるようにしてもよい。具体的には、メモの作成時に、共有対象であることの指定を入力する。この場合には、メモ管理情報記憶部25のメモ管理レコード250の利用者IDデータ領域に、共有フラグを記録する。そして、既登録メモの抽出処理(ステップS1−6)において、共有フラグが記録されたメモ管理レコード250についても抽出する。これにより、利用者間でメモ情報を共有することができる。
【0125】
・ 上記実施形態では、メモ登録要求を受信した会議支援サーバ20の制御部21は、メモの登録処理を実行する(ステップS1−12)。これに加えて、メモ管理情報記憶部25に記録されたメモ管理レコード250を修正できるようにしてもよい。具体的には、タブレット端末10における資料表示処理(ステップS1−8)において、既登録メモのメモ内容や表示位置(座標)を修正した場合には、タブレット端末10は、修正されたメモや内容や表示位置(座標)を含めたメモの登録要求処理を実行する(ステップS1−11)。これにより、既に登録されたメモの内容や位置を、後から修正することができる。
【0126】
・ 上記実施形態では、会議支援サーバ20の制御部21は、各時刻での最大音量の音声の特定処理(ステップS3−2)により、各タブレット端末10の利用者の音声を特定する。各タブレット端末10の利用者の音声を特定する方法は、最大音量を用いる方法に限定されるものではない。例えば、所定の音量(閾値音量)以上の音声を、タブレット端末10の利用者の音声として特定することも可能である。
【0127】
・ 上記実施形態では、会議支援サーバ20の制御部21は、フィルタリング処理を実行する(ステップS3−3)。ここでは、他の録音ファイルの「最大領域」の波形を縮小して、処理対象の録音ファイルの波形に一致するようにフィッティングを行なう。この場合、他のタブレット端末10の録音ファイルに含まれる波形に対して、所定の減衰率を乗算した波形を生成し、処理対象の録音ファイルの波形から差し引くようにしてもよい。この場合には、会議の開始前に、各利用者の音声が各タブレット端末10において集音される音量情報を取得しておく。そして、各利用者の音声が利用者自身のタブレット端末10において集音される音量と、他のタブレット端末10において集音される音量とを比較した減衰率を算出する。そして、利用者自身のタブレット端末10の端末IDと、他のタブレット端末10の端末IDとから構成されたマトリックスにおいて、減衰率を記録した減衰テーブルを作成し、音声フィルタ手段216に保持させておく。
【0128】
処理対象の録音ファイルのフィルタリングを行なう場合には、音声フィルタ手段216は、録音管理記憶部26に記録された録音管理データ260を用いて、処理対象の録音ファイルに関連付けられた端末IDを特定する。更に、音声フィルタ手段216は、フィルタリングに利用する他の録音ファイルに関連付けられた端末IDを特定する。次に、音声フィルタ手段216は、特定した端末IDを用いて、減衰テーブルから減衰率を取得する。そして、音声フィルタ手段216は、他の各タブレット端末10で録音された録音ファイルの波形に対して減衰率を乗算したフィルタリング用波形を生成して、処理対象の録音ファイルの波形から差し引く。これにより、効率的にフィルタリングを行なうことができる。
更に、フィルタリング処理時に、他のタブレット端末10の利用者についての音声を抽出し、抽出した音声の波形に減衰率を乗算したフィルタリング用波形を生成するようにしてもよい。
【符号の説明】
【0129】
10…タブレット端末、10a…タッチパネルディスプレイ、10b…マイク、10c…無線通信部、11…制御部、111…アクセス制御手段、112…資料表示制御手段、113…手書き入力手段、114…音声入力手段、115…メモ貼付手段、116…録音制御手段、12…メモ記憶部、13…録音記憶部、20…会議支援サーバ、21…制御部、211…利用者認証手段、212…資料提供手段、213…メモ管理手段、214…会議支援手段、215…議事録作成手段、216…音声フィルタ手段、217…音声認識手段、22…利用者管理情報記憶部、23…会議管理記憶部、24…資料管理情報記憶部、25…メモ管理情報記憶部、26…録音管理記憶部、27…音声認識結果記憶部、28…議事録記憶部。

【特許請求の範囲】
【請求項1】
利用者識別子及び発言時刻に関連付けて音声認識結果を記録する認識結果記憶手段と、
利用者識別子に関連付けて、各利用者の発言についての音声認識結果を含めた議事録ファイルを記録する議事録記憶手段と、
各利用者のクライアント端末に接続された制御手段とを備えた議事録作成システムであって、
前記制御手段が、
前記各クライアント端末から、複数の話者の音声を含む録音ファイルを取得する手段と、
各録音ファイルにおいて、録音ファイルを取得したクライアント端末の利用者の音声を特定し、前記音声を用いて音声認識を行なう手段と、
各クライアント端末の利用者の利用者識別子及び発言時刻に関連付けて、音声認識結果を前記認識結果記憶手段に記録する手段と、
前記認識結果記憶手段に記録された音声認識結果を、発言時刻の順番に並べて議事録ファイルを作成し、前記議事録記憶手段に記録する手段と
を備えたことを特徴とする議事録作成システム。
【請求項2】
前記制御手段が、各クライアント端末において取得した録音ファイルにおいて、他のクライアント端末の利用者の音声を消去して、残った音声を用いて音声認識を行なうことを特徴とする請求項1に記載の議事録作成システム。
【請求項3】
前記制御手段が、
各クライアント端末から取得した録音ファイルにおいて、同じ時刻の音声の音量を比較し、
最大音量が記録されていた録音ファイルを特定し、この録音ファイルにおいて最大音量が記録されている時刻範囲の音声を、前記クライアント端末の利用者の音声として特定することを特徴とする請求項1又は2に記載の議事録作成システム。
【請求項4】
利用者識別子に対して声紋が記録された利用者情報記憶手段を更に備え、
前記制御手段が、
前記クライアント端末の利用者の利用者識別子を特定し、前記利用者情報記憶手段から、前記利用者識別子に対する声紋を取得し、
前記声紋を用いて、録音ファイルにおいて各クライアント端末の利用者の音声を特定することを特徴とする請求項1又は2に記載の議事録作成システム。
【請求項5】
前記制御手段が、前記録音ファイルから、前記声紋を用いて特定した各クライアント端末の利用者の音声を消去して残存音声を分離する手段を更に備えたことを特徴とする請求項4に記載の議事録作成システム。
【請求項6】
前記制御手段が、一つのクライアント端末から、他のクライアント端末に対して送信された録音開始指示に基づいて録音を開始した録音ファイルを、各クライアント端末から取得することを特徴とする請求項1〜5のいずれか一つに記載の議事録作成システム。
【請求項7】
利用者識別子及び発言時刻に関連付けて音声認識結果を記録する認識結果記憶手段と、
利用者識別子に関連付けて、各利用者の発言についての音声認識結果を含めた議事録ファイルを記録する議事録記憶手段と、
各利用者のクライアント端末に接続された制御手段とを備えた議事録作成システムを用いて、議事録を作成する方法であって、
前記制御手段が、
前記各クライアント端末から、複数の話者の音声を含む録音ファイルを取得する段階と、
各録音ファイルにおいて、録音ファイルを取得したクライアント端末の利用者の音声を特定し、前記音声を用いて音声認識を行なう段階と、
各クライアント端末の利用者の利用者識別子及び発言時刻に関連付けて、音声認識結果を前記認識結果記憶手段に記録する段階と、
前記認識結果記憶手段に記録された音声認識結果を、発言時刻の順番に並べて議事録ファイルを作成し、前記議事録記憶手段に記録する段階と
を実行することを特徴とする議事録作成方法。
【請求項8】
利用者識別子及び発言時刻に関連付けて音声認識結果を記録する認識結果記憶手段と、
利用者識別子に関連付けて、各利用者の発言についての音声認識結果を含めた議事録ファイルを記録する議事録記憶手段と、
各利用者のクライアント端末に接続された制御手段とを備えた議事録作成システムを用いて、議事録を作成するプログラムであって、
前記制御手段を、
前記各クライアント端末から、複数の話者の音声を含む録音ファイルを取得する手段、
各録音ファイルにおいて、録音ファイルを取得したクライアント端末の利用者の音声を特定し、前記音声を用いて音声認識を行なう手段、
各クライアント端末の利用者の利用者識別子及び発言時刻に関連付けて、音声認識結果を前記認識結果記憶手段に記録する手段、
前記認識結果記憶手段に記録された音声認識結果を、発言時刻の順番に並べて議事録ファイルを作成し、前記議事録記憶手段に記録する手段
として機能させることを特徴とする議事録作成プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2013−11744(P2013−11744A)
【公開日】平成25年1月17日(2013.1.17)
【国際特許分類】
【出願番号】特願2011−144579(P2011−144579)
【出願日】平成23年6月29日(2011.6.29)
【出願人】(592131906)みずほ情報総研株式会社 (187)
【Fターム(参考)】