会議管理装置及び会議管理方法
【課題】会議の進行状況を的確に判断し、その結果を会議参加者に知らせて会議の円滑な進行を支援する。
【解決手段】会議の参加者の発言を取得して解析する音声認識部と、会議参加者用の外部端末に会議資料や会議参加者の画像および音声を出力する出力部と、会議の円滑な進行を表すものとして規定された肯定的なキーワードやキーフレーズ、及び紛糾した進行を表すものとして規定された否定的なキーワードやキーフレーズを予め格納するキーワード格納部と、解析された発言からキーワードやキーフレーズの何れかに一致もしくは類似する語句を抽出するキーワード抽出部と、抽出された語句を肯定的なキーワードやキーフレーズに属するものと否定的なキーワードやキーフレーズに属するものとに分類集計し、その結果に基づいて会議の進行がスムーズか否かを判断する集計部とを備え、出力部は集計部による判断を画像や音声として外部端末に出力する会議管理装置。
【解決手段】会議の参加者の発言を取得して解析する音声認識部と、会議参加者用の外部端末に会議資料や会議参加者の画像および音声を出力する出力部と、会議の円滑な進行を表すものとして規定された肯定的なキーワードやキーフレーズ、及び紛糾した進行を表すものとして規定された否定的なキーワードやキーフレーズを予め格納するキーワード格納部と、解析された発言からキーワードやキーフレーズの何れかに一致もしくは類似する語句を抽出するキーワード抽出部と、抽出された語句を肯定的なキーワードやキーフレーズに属するものと否定的なキーワードやキーフレーズに属するものとに分類集計し、その結果に基づいて会議の進行がスムーズか否かを判断する集計部とを備え、出力部は集計部による判断を画像や音声として外部端末に出力する会議管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、会議の進行状況を判断し、会議参加者に知らせるべくその判断結果を出力する会議管理装置および会議管理方法に関する。
【背景技術】
【０００２】
近年、電子データ化された会議資料を会議参加者の手元に表示しあるいは会議室に設置された大画面の表示装置に表示するようにして用紙を節約するとともにプレゼンテーション効果を高めた会議システムが普及しつつある。また、離れた地にある者が通信を介して映像と音声をやりとりするいわゆるテレビ会議システムが普及しつつある。このような会議システムは、会議の進行をより効率化すること、また、会議に参加者すべき者の交通移動の時間を省略し効率化することを目的としたものである。そして、会議のより円滑な進行を支援するために、会議システムに関するいくつかの提案がなされている。
【０００３】
例えば、会議内容を電子的に記録する会議システムにおいて、注目すべき発言があった場合に会議参加者がその記録データに電子的な「しおり」の挿入を行えるようにして記録再生時の便宜を図ると共に、そのしおりの挿入状況を監視することにより、会議が活発に進行しているか停滞しているかを管理する会議管理方法が提案されている（例えば特許文献１参照）。
また、テレビ会議システムの通常の映像に代えて、あるいは通常の映像と共に、受信した音声から音声キーワードを認識し、認識された音声キーワードに対応する図面等特定の画像を表示するテレビ会議装置が提案されている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１０９９２９号公報
【特許文献２】特開平１１−３５５７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の会議システムでは、例えば、会議の議論が活発に行われているか停滞しているかの判断はできるものの、会議の議論がスムーズに進んでいるのか紛糾あるいは脱線しているのかどうかといったようなことまでは分からなかった。
さらには、会議のテーマやその内容に対する会議参加者の関心度や理解度を判断することもできなかった。
この発明は、以上のような事情を考慮してなされたものであって、会議の進行状況を詳細かつ的確に判断し、その結果を会議参加者に知らせて会議の円滑な進行を支援し得る会議管理装置および会議管理方法を提供するものである。
【課題を解決するための手段】
【０００６】
この発明は、会議の参加者の発言を音声信号として取得し解析する音声認識部と、会議参加者用の外部端末に会議資料および／または何れかの会議参加者の画像および／または音声を出力し得る出力部と、前記会議の円滑な進行を表すものとして規定された肯定的なキーワードおよび／またはキーフレーズ、および、紛糾した進行を表すものとして規定された否定的なキーワードおよび／またはキーフレーズを予め格納するキーワード格納部と、解析された発言から前記キーワードおよび／またはキーフレーズの何れかに一致もしくは類似する語句を抽出するキーワード抽出部と、抽出された語句を肯定的なキーワードおよび／またはキーフレーズに属するものと否定的なキーワードおよび／またはキーフレーズに属するものとに分類、集計し、その集計に基づいて前記会議の進行がスムーズか否かを判断する集計部とを備え、前記出力部は、前記集計部による判断を画像および／または音声として前記外部端末に出力することを特徴とする会議管理装置を提供する。
【０００７】
また、異なる観点からこの発明は、コンピューターが、音声認識部を用いて会議の参加者の発言を音声信号として取得して解析し、出力部を用いて会議参加者用の外部端末に会議資料および／または何れかの会議参加者の画像および／または音声を出力し、前記会議の円滑な進行を表すものとして規定された肯定的なキーワードおよび／またはキーフレーズ、および、紛糾した進行を表すものとして規定された否定的なキーワードおよび／またはキーフレーズとしてキーワード格納部に予め格納された語句データを参照し、解析された発言から前記語句データに一致もしくは類似する語句を抽出し、抽出された語句を肯定的なキーワードおよび／またはキーフレーズに属するものと否定的なキーワードおよび／またはキーフレーズに属するものとに分類して集計し、その集計から前記会議の進行がスムーズか否かを判断し、その判断を画像および／または音声として前記外部端末に出力するよう制御することを特徴とする会議管理方法を提供する。
【発明の効果】
【０００８】
この発明の会議管理装置は、前記集計部が抽出された語句を肯定的なキーワードおよび／またはキーフレーズに属するものと否定的なキーワードおよび／またはキーフレーズに属するものとに分類、集計し、その集計から前記会議の進行がスムーズか否かを判断し、前記出力部が、前記判断部による判断を画像および／または音声として前記外部端末に出力するので、発言の内容から会議が紛糾あるいは脱線していると判断した場合にその旨を参加者に報知して会議の円滑な進行への協力を促すことができる。報知を受けた会議参加者、特にそのうちで会議進行の責任を担う立場の者（司会者等）に進行状況を客観的に把握させ、会議進行についての適切な措置、判断に資することができる。
【０００９】
この発明において、音声認識部は、会議参加者の音声を収音すべく例えば各会議参加者用外部端末に設けられる収音マイクからの音声信号を受けて音声認識処理を行うものである。その具体的な態様は、例えば、不特定話者音声認識用のいわゆる音声認識チップやデジタルシグナルプロセッサーを用いてなる電子回路である。あるいは、コンピューターによるソフトウェア処理で実現されてもよい。
また、出力部は、外部端末に画像信号および音声信号を送るためのインターフェイス回路である。外部端末の具体的な態様は、各会議参加者用に設けられたコンピューターディスプレイあるいは同室の各会議参加者から目視可能な大型ディスプレイ装置である。後述する実施形態において、出力部は、例えばプレゼンテーション用の大型ディスプレイ装置への映像信号および画像信号を生成し送出する信号生成回路および信号出力回路に相当する。
【００１０】
さらにまた、キーワード格納部は、予めキーワードおよび／またはキーフレーズのデータを格納するための記憶手段であって、その具体的な態様は、例えば不揮発性RAMやハードディスクドライブ装置である。
キーワード抽出部は、音声認識部で認識されたデータの中からキーワード格納部に格納されているキーワードおよび／またはキーフレーズと一致あるいは類似する語句を抽出する処理部である。その具体的な態様の一例は、コンピューターが不揮発性メモリ素子等の記憶部に予め格納された処理プログラムを実行することにより実現されるものである。
【００１１】
また、集計部は、キーワード抽出部により抽出された語句のうち肯定的なキーワードおよび／またはキーフレーズに属するものをその類として集計し、否定的なキーワードおよび／またはキーフレーズに属するものをその類として集計し、さらに、その集計に基づいて会議の進行がスムーズか否かを判断する処理部である。その具体的な態様の一例は、コンピューターが不揮発性メモリ素子等の記憶部に予め格納された処理プログラムを実行することにより実現されるものである。
【図面の簡単な説明】
【００１２】
【図１】この発明の会議管理装置としての機能的構成を示すブロック図である。
【図２】この発明の会議管理装置としての会議サーバのＣＰＵが、プレゼンテーションの進行段階で実行する処理を示すフローチャートである。
【図３】図２のフローチャートのステップＳ１０３における関心度判定処理の詳細な処理手順を示すフローチャートである。
【図４】この発明において、会議参加者が外部端末に表示中の資料に行う書込入力の具体的な例を示す説明図である。
【図５】図２のフローチャートのステップＳ１０２における理解度判定処理の詳細な処理手順を示すフローチャートである。
【図６】この発明において、会議参加者が外部端末に表示させ得る会議資料の具体的な例を示す説明図である。
【図７】この発明の会議管理装置としての会議サーバのＣＰＵが、質疑応答・議論の段階で実行する処理の手順を示すフローチャートである。
【図８】図７のフローチャートのステップＳ２０５における円滑度の判定処理の詳細な手順を示すフローチャートである。
【図９】この発明において、円滑度判定の具体例を示すための説明図である。
【発明を実施するための形態】
【００１３】
以下、この発明の好ましい態様について説明する。
この発明の会議管理装置において、会議参加者による前記外部端末への文字、記号、画像の入力を取得し解析する書込解析部をさらに備え、前記集計部は、前記書込解析部が取得した文字、記号、画像の入力量および／または前記音声認識部が取得した会議参加者の発言量を集計し、その集計に基づいて会議参加者の会議への関心度が高いか否かを判断し、前記出力部は、その判断を前記外部端末に出力してもよい。このようにすれば、会議参加者による文字等の入力量や発言量に基づいて会議参加者の関心度を客観的に判断し報知することができる。よって、例えば、会議参加者の関心度が低い旨の報知を受けた司会者や発表者は、要点を絞って議事を進行させたり、他の会議参加者が関心のある議題に集中したり、他の会議参加者の興味を引く発言をしてモチベーションを上げる等、適切な措置をとることができ、有益な会議進行を促進することができる。
【００１４】
また、前記会議資料を参照する前記外部端末からの操作を取得し解析する操作解析部をさらに備え、前記操作解析部は、前記会議資料の参照に係る操作量を集計し、その集計に基づいて会議への理解度が高いか否かを判断し、前記出力部は、その判断を前記外部端末に出力してもよい。このようにすれば、会議資料を参照する操作量に基づいて会議参加者の議事の理解度を客観的に判断し報知することができる。よって、例えば、操作量が非常に多い旨の報知を受けた発表者あるいは司会者は、説明を補足して他の会議参加者が会議資料を十分に理解できるようにしたり、説明のペースを遅らせて他の会議参加者が説明に追従できるようにしたりでき、会議全体のモチベーションを上げ、全体として無駄のない有益な会議進行を促進することができる。
【００１５】
さらに、前記操作解析部は、前記会議資料の参照に係る操作量として、前記会議資料のページ送りおよび／またはページ遡りの操作量を集計してもよい。例えば、ページを遡って参照する操作が多い場合は、他の会議参加者が説明に追従できていない、あるいは、進行中の議事内容が十分に理解できていないと判断できる。一方、先のページを参照する操作が多い場合は、説明が冗長であると判断して簡潔にし、議事を先に進めることができる。
【００１６】
前記出力部は、複数の外部端末に画像および／または音声を出力し、それらの外部端末うち少なくとも１つは他と別室または遠隔の場所に設置されてもよい。即ち、この発明の会議管理装置が、異なる部屋、遠隔の場所にある者が会議をするいわゆるテレビ会議システムに係るものであってもよい。
【００１７】
また、前記出力部は、複数の会議参加者に対して個別に設けられた各外部端末にその外部端末に対応する会議参加者に係る判断を出力してもよい。このようにすれば、各会議参加者は、自分の会議進行に対する寄与、態度を客観的に知ることができ、それによって、各会議参加者の会議進行に対するより積極的な参加を促すことができる。
【００１８】
さらにまた、前記出力部は、複数の会議参加者に対して個別に設けられた各外部端末に会議参加者全体に係る判断を出力してもよい。このようにすれば、各会議参加者は、全体の会議進行の状況を客観的に知ることができ、それによって、各会議参加者の会議進行に対するより積極的な参加を促すことができる。さらに、会議参加者全体に係る判断と各会議参加者についての判断とを各外部端末に出力する場合は、会議参加者全体の平均に対する各会議参加者の寄与、態度を客観的に知ることができ、それによって、各会議参加者の会議進行に対するより積極的な参加を促すことができる。
【００１９】
あるいは、前記出力部は、複数の会議参加者のうち会議進行者用に設けられた外部端末のみに前記集計部による判断を出力を提供してもよい。このようにすれば、各会議参加者に報知するとかえって議事に集中できないと考える場合でも、会議進行の責任を担う会議進行者は進行状況を客観的に把握して適切な措置をとることができ、有益な会議進行を促進することができる。
ここで示した種々の好ましい態様は、それら複数を組み合わせることもできる。
【００２０】
以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
≪会議管理装置の機能的構成≫
図１は、この発明の会議管理装置としての機能的構成を示すブロック図である。図１で、会議サーバ１は、この発明の会議管理装置に相当する装置である。会議サーバ１へは、外部端末としての会議端末５ａ、５ｂ、５ｃから音声信号、会議資料への文字、記号、画像の入力に係る書き込み、会議資料の参照の操作に係る操作情報等が入力される。会議端末５ａ、５ｂ、５ｃは、会議参加者３ａ、３ｂ、３ｃがそれぞれ会議中に使用する端末である。
【００２１】
会議端末５ａ、５ｂ、５ｃは、会議参加者３ａ、３ｂ、３ｃに会議資料等の画像を表示する表示部、会議参加者３ａ、３ｂ、３ｃの発言を収音する収音マイク、会議参加者３ａ、３ｂ、３ｃが会議資料へのメモとして文字、記号、画像の入力を行うためのキーボード、マウスおよび／またはタブレットなどを備えている。
また、会議サーバ１からは、会議端末（会議参加者用の会議端末、プレゼンテーション用の大型ディスプレイ装置等）に画像信号および／または音声信号が出力される。その画像信号および／または音声信号の内容として、後述する集計部による会議進行の判断が含まれる。会議サーバ１の図示しないＣＰＵは、予め用意された処理プログラムに沿って、図１に示す各ブロックの動作を制御する。また、図１のブロックの一部、例えば、キーワード抽出部１７、集計部１９、書込解析部２１および操作解析部２３は、前記ＣＰＵ自身が前記処理プログラムを実行することによりその機能が実現される。
【００２２】
図１の音声認識部１１には、会議参加者用の会議端末５ａ、５ｂ、５ｃに設けられた収音マイク（図示せず）からの音声信号が入力される。音声認識部１１は、前記音声信号の音声認識処理を行って発言に係る語句データをキーワード抽出部１７へ出力する。図１の音声認識部１１は、デジタルシグナルプロセッサーを用いて不特定話者音声認識を行う回路ブロックである。また、
キーワード格納部１５は、音声認識部１１から出力される語句データと照合されるべきキーワードおよび／またはキーフレーズのデータを予め格納するフラッシュメモリ素子である。
【００２３】
キーワード抽出部１７は、音声認識部１１から出力される語句データとキーワード格納部１５に格納されたキーワードおよび／またはキーフレーズとを照合し、語句データに含まれる前記キーワードおよび／またはキーフレーズと一致あるいは類似する語句を抽出する。
一方、会議端末５ａ、５ｂ、５ｃで会議参加者によって会議資料への文字、記号、画像の入力がなされた場合に、それらの書き込みは、書込解析部２１に入力される。前記入力は、タブレット等を用いた手書き入力であってもよく、あるいは、キーボードやマウスを用いて行う入力であってもよく、その他の態様であってもよい。書込解析部２１は、各会議端末からの書き込みの内容を解析する。入力が手書き文字入力であれば文字認識を行う。
【００２４】
さらに、会議端末５ａ、５ｂ、５ｃで会議参加者によって会議資料の参照に係る操作がなされた場合に、それらの操作に係る操作情報は、操作解析部２３に入力される。前記操作情報の一例は、例えば、各会議参加者が会議資料を参照する操作であったり、参照対象の会議資料のページを繰る操作であったりする。操作解析部２３は、各会議参加者が会議端末５ａ、５ｂ、５ｃ上で行った操作の内容を解析する。操作は、キーボードやマウスを用いて行われるものであってもよく、手書き入力用の前記タブレット等を用いる場合にジェスチャーと呼ばれる特定の操作指示であってもよい。
【００２５】
集計部１９には、キーワード抽出部１７から出力された語句データが入力される。さらに、前記語句データのうちキーワード抽出部１７で照合された結果、キーワード格納部１５に格納されたキーワードおよび／またはキーフレーズと一致あるいは類似する語句の情報が入力される。また、集計部１９には、書込解析部２１により解析された前記書き込みの内容が入力される。さらに、集計部１９には、操作解析部２３により解析された前記操作情報の内容が入力される。集計部１９は、入力された前記キーワードおよび／またはキーフレーズの情報、前記書き込みの内容および前記操作情報の内容の全部または一部に基づいて、会議の進行がスムーズか否かを判断する。さらに、各会議参加者の関心の程度、進行の円滑さの程度および各会議参加者の理解の程度をそれぞれ表す関心度スコア、円滑度スコア、理解度スコアを集計してもよい。
【００２６】
データ格納部２５は、会議資料のデータの他、会議に関する種々のデータを格納する記憶手段であって、具体的には、例えば、ハードディスクドライブなどの記憶装置によって実現される。集計部１９が集計した結果もデータ格納部に格納される。集計結果格納部に格納される集計は、逐次更新されてよく、逐次更新される集計が先入れ先出しバッファ的に所定容量の最近の集計が格納されてもよい。あるいは、会議の進行開始からの集計が累積的に格納されてもよい。
出力部１３は、会議端末に会議資料および／または何れかの会議参加者の画像および／または音声を出力する。また、出力部１３は、集計部１９が集計した結果としての会議への関心度スコア、円滑度スコア、理解度スコアを会議端末５ａ、５ｂ、５ｃやプレゼンテーション用ディスプレイ７に出力する。
【００２７】
次に、この発明の会議処理装置が会議の進行に沿って実行する処理につき、フローチャートを用いて説明する。なお、この実施形態では、会議進行の典型的なパターンとして、最初に発表者によるプレゼンテーションが行われ、その後にそのプレゼンテーションについての質疑応答がされるものとする。その場合、会議処理装置はプレゼンテーション用の処理と質疑応答用の処理を直列的に実行すればよいので、説明が単純化される。
しかし、実際の会議では、プレゼンテーションと質疑応答が常に時系列で行われるとは限らない。もっとも、プレゼンテーションと質疑応答が混在して進行する会議の場合、会議処理装置はプレゼンテーション用の処理と質疑応答用の処理とを並列的に処理すればよい。このような並列的処理は、当業者であれば直列的処理の説明から容易に想到できるものである。以下では説明を簡単にするため、プレゼンテーションと質疑応答が時系列的に行われる場合についてのみ説明する。
【００２８】
≪プレゼンテーション段階の処理手順≫
図２は、この発明の会議管理装置としての会議サーバ１のＣＰＵが、プレゼンテーション段階で実行する処理の手順を示すフローチャートである。
プレゼンテーションの進行中、前記ＣＰＵは、会議端末５ａ、５ｂ、５ｃに対し会議参加者による会議資料を参照する操作がなされたか否かを監視する（ステップＳ１０１）。会議資料は、データ格納部２５にデータとして格納されている。会議資料を参照する操作がなされたときは、操作に応じた会議資料のデータをその操作が行われた会議端末に出力するように制御する。例えば、会議資料のページを遡る操作が行われた場合は、会議資料の現在の参照ページを遡ったページのデータをその操作が行われた会議端末に出力するように制御する。そして、その操作に基づいて各会議参加者の理解度を判定する処理を行う（ステップＳ１０２）。
【００２９】
同時に、会議端末５ａ、５ｂ、５ｃに対し会議参加者による文字、記号、画像等のメモの入力、即ち、「書き込み」がなされたか否かを監視する（ステップＳ１０１）。入力があったときは、入力された書き込みの内容を解析し書込データを生成する。また、前記書込データをデータ格納部２５に格納する。そして、その入力に基づいて各会議参加者の関心度を判定する処理を行う（ステップＳ１０３）。そして、前記ＣＰＵは、判定された理解度および関心度を各会議端末等に出力して表示させる（ステップＳ１０５）。
【００３０】
ここで、メモの入力とは、会議参加者が会議端末に表示中の資料に、紙のノートの代わりに備忘録としてメモをとる情報、もしくは他の参加者に情報を伝えるために表示中の資料に書き込み、あるいは、重要箇所をマーキングしたものをいう。各会議端末は通信手段を有するため、書き込んだ情報を参加者間で共有できてもよい。メモの入力として書き込まれる内容は、例えば、端末に表示中の資料には記載されていない発表者の発言内容、端末に表示中の資料における重要箇所のマーキング（丸を付ける、下線を引く、など）、発表に用いられた会議資料や発表内容に対する指摘事項（修正事項や補足事項）、端末に表示中の資料の内容で不明な点（質疑応答時の質問のため、もしくは会議終了後調査するための備忘録）などが考えられる。
【００３１】
書込解析部２１は、メモとして手書き入力がされた場合、その内容をイメージデータ（JPEG、BMPなど）に変換したり、文字認識を行ってテキストデータに変換したりする処理を行う。処理された入力データは、データ格納部２５に保存され、前記ＣＰＵにより管理され、操作解析部２３の指示に応じて読み出され、使用される。使用の態様としては、例えば、会議中に会議資料への書き込み内容を参加者間で共有し、理解力の向上を図る態様が考えられる。その他、会議参加者や会議に参加できなかった関係者が、会議終了後にサーバに保存されている書き込み付き会議資料を印刷するなどして見直せるようにする態様も考えられる。また、会議終了後に発表者がサーバに保存されている書き込み付き会議資料を確認し、参加者によって書き込まれた指摘内容を検討する、もしくは次回発表時の資料作成の参考にするといった態様が考えられる。
【００３２】
さらに、前記ＣＰＵは、会議参加者３ａ、３ｂ、３ｃの発言を監視する（ステップＳ１０４）。発言があったときはその音声認識部１１によってその発言から得られる語句データから、プレゼンテーションの終了を意味するキーワードおよび／またはキーフレーズに一致あるいは類似する語句を抽出する（ステップＳ１０７）。そのキーワードおよび／またはキーフレーズは、予めキーワード格納部１５に格納されている。
【００３３】
≪関心度の判定と関心度スコア≫
図２は、この発明の会議管理装置としての会議サーバのＣＰＵが、プレゼンテーションの進行段階で実行する処理を示すフローチャートである。図２のフローチャートにおいて、会議参加者３ａが会議端末５ａに表示中の資料へ書き込みの入力を行ったとする。図４は、この発明において、会議参加者３ａが会議端末５ａに表示中の資料に行う書込入力の具体的な例を示す説明図である。図４の符号３１に示す「重要」と矢印、丸印が書き込みである。ここでいう「書き込み」とは、会議資料へのマーキングや備忘録、会議において不明な点のメモなどである。
プレゼンテーション中に書き込みの入力が行われた場合（図２のステップＳ１０１）、ルーチンは「書き込みあり」へ分岐し、関心度判定を行う（ステップＳ１０３）。なお、書き込み入力は、プレゼンテーションの段階以外に、後述するプレゼンテーション後の質疑応答・議論の段階でも行われ得る。その場合も、前記ＣＰＵは、図３の処理を実行する。
【００３４】
図３は、図２のフローチャートのステップＳ１０３における関心度判定処理の詳細な処理手順を示すフローチャートである。データ格納部２５には、会議参加者３ａ、３ｂ、３ｃの関心度をそれぞれ表す関心度スコアが保持されている。これらの関心度スコアは、ゼロおよび正の値をとり、大きな値は関心度が高いことを示す。会議開始時の初期値はゼロである。
【００３５】
図３で、前記ＣＰＵは、入力が行われたことに応答して会議参加者が現在の議題に関心を持っていると判定する（ステップＳ１０８）。例えば、会議参加者３ａがプレゼンテーションに関連する会議資料に対するメモ入力を行った場合、会議参加者３ａがプレゼンテーションに関心を持っていると判断する。そして、会議参加者３ａの関心度スコアを＋１（加算）する（ステップＳ１０９）。前記ＣＰＵは、プレゼンテーションの開始から終了の期間、あるいは、プレゼンテーション中の所定期間内に、各会議参加者が入力を行う都度、その会議参加者の関心度スコアを加算する。
【００３６】
前記期間経過後、期間中に累積した各会議参加者の関心度スコアまたはその合計と、予め設定された閾値（関心度閾値）とを比較する（ステップＳ１１０）。期間中に累積した各会議参加者の関心度スコアまたはその合計が関心度閾値よりも低い場合、前記ＣＰＵは、各会議参加者の関心度または総合的な関心度が低いと判定する（ステップＳ１１２）。一方、各会議参加者の関心度スコアまたはその合計が関心度閾値以上の場合は、参加者の関心が高いと判定（Ｓ１１１）する。
【００３７】
前記ＣＰＵは、その判定結果を会議端末に出力する。出力は、例えば、各会議参加者についての関心度スコアがその会議参加者用の会議端末のみに表示させてもよい。あるいは、各参加者の関心度スコアの合計を、総合的な関心度スコアとし、総合的な関心度スコアを各会議端末、または、プレゼンテーション用ディスプレイ７に表示させてもよい。会議進行の責任を担う会議参加者の端末のみに各会議参加者についての関心度スコアおよび／または総合的な関心度スコアを表示させてもよい。
【００３８】
出力の態様としては、「参加者の関心度が高い」、「参加者の関心度が低い」といったような文字列出力があるが、これに限定されず、ウィンドウ色やウィンドウ形状、アイコンで表現してもよい。時系列で関心度スコアをグラフ化して表現してもよい。このようにすれば、どの時点のプレゼンテーションが参加者の関心を集めたかといったことがわかる。
なお、関心度と同様、後述する理解度や進行の円滑度についても前述したような種々の出力態様が考えられる。
【００３９】
≪理解度の判定と理解度スコア≫
図２のフローチャートにおいて、会議参加者３ａが会議資料を参照する操作を会議端末５ａに対して行ったとする。図６は、この発明において、会議参加者３ａが会議端末５ａに表示させ得る会議資料の具体的な例を示す説明図である。図６に示す例では、会議資料は全部で４ページからなる。会議端末５ａは表示領域の広さの制約から同時に複数のページを表示できず、１ページごとに表示される。会議資料の前のページを表示させたい場合は、ページを遡る操作がされる。
【００４０】
プレゼンテーション中に会議資料を参照する操作、例えば、ページを遡る操作が行われた場合について説明する。いま、会議参加者３ｂが発表者によるプレゼンテーション中に、会議端末５ｂに表示中の資料のページ遡り操作を行ったとする。この場合、図２のステップＳ１０１の判定において、ルーチンは「ページ遡り操作あり」へ分岐し、理解度判定を行う（ステップＳ１０２）。
【００４１】
図５は、図２のフローチャートのステップＳ１０２における理解度判定処理の詳細な処理手順を示すフローチャートである。データ格納部２５には、会議参加者３ａ、３ｂ、３ｃの理解度をそれぞれ表す理解度スコアが保持されている。これらの理解度スコアは、ゼロおよび負の値をとり、絶対値の大きな負値は理解度が低いことを示す。会議開始時の初期値はゼロである。図５で、前記ＣＰＵは、会議端末５ｂでページ遡り操作が行われたことに応答して、会議参加者３ｂが理解に苦しんでいると判定する（ステップＳ１１３）。そして、会議参加者３ｂの理解度スコアを−１（つまりスコアを減算）する（ステップＳ１１４）。
【００４２】
前記ＣＰＵは、プレゼンテーションの開始から終了の期間、あるいは、プレゼンテーション中の所定期間内に、各会議参加者がページ遡り操作を行う都度、その会議参加者の理解度スコアを減算する。前記期間経過後、期間中に累積した各会議参加者の理解度スコアまたはその合計と、予め設定された閾値（理解度閾値）とを比較する（ステップＳ１１５）。期間中に累積した各会議参加者の理解度スコアまたはその合計が理解度閾値よりも低い（負値の絶対値が大きい）場合、前記ＣＰＵは、各会議参加者の理解度または総合的な理解度が低いと判定する（ステップＳ１１７）。一方、各会議参加者の理解度スコアまたはその合計が理解度閾値以上の場合は、参加者の理解度が高いと判定（Ｓ１１６）する。
前記ＣＰＵは、その判定結果を会議端末に出力する。出力先および出力の態様については、関心度と同様、種々の手法をとり得る。
【００４３】
≪質疑応答・議論段階への処理の移行≫
前記ＣＰＵは、以上の処理を、発表者によるプレゼンテーション終了の合図（発言）があるか、あるいは、プレゼンテーションの最終ページの表示が終了するまで繰り返す。前記ＣＰＵは、会議参加者３ａ、３ｂ、３ｃの発言を監視しており（図２のステップＳ１０４）発表者によるプレゼンテーション終了の発言があった場合、もしくはプレゼンテーションの最終ページの表示が終了した場合、発表者プレゼンテーション段階の処理（図２）を終了し、質疑応答・議論の段階の処理（図７）へ移る。ここで、プレゼンテーション終了と判定するためのキーワード、キーフレーズの一例は、「終了します」、「以上です」といった語句である。
【００４４】
図７は、この発明の会議管理装置としての会議サーバ１のＣＰＵが、質疑応答・議論の段階で実行する処理の手順を示すフローチャートである。
なお、以上のように、会議サーバが自律的に質疑応答・議論段階への処理の移行を判断する他、会議の司会者等が会議端末から操作を行うことにより、明示的に質疑応答・議論段階への処理の移行が指示されてもよい。
【００４５】
≪質疑応答・議論段階の処理手順≫
プレゼンテーション後の質疑応答・議論の進行中、前記ＣＰＵは、プレゼンテーション中と同様、会議端末５ａ、５ｂ、５ｃに対し会議参加者による文字、記号、画像等のメモの入力がなされたか否かを監視する（ステップＳ２０１）。書き込みがあったときは、入力された書き込みの内容を解析し書込データを生成する。また、前記書込データをデータ格納部２５に格納する。そして、その入力に基づいて各会議参加者の関心度を判定する処理を行う（ステップＳ２０４）。
【００４６】
また、前記ＣＰＵは、会議参加者３ａ、３ｂ、３ｃの発言を監視する（ステップＳ２０２）。発言があったとき、音声認識部１１にその発言を認識させ、認識結果として得られる語句データから、質疑応答・議論の終了を意味するキーワードおよび／またはキーフレーズに一致あるいは類似する語句を抽出する（ステップＳ２０３）。そのキーワードおよび／またはキーフレーズは、予めキーワード格納部１５に格納されている。さらに、前記ＣＰＵは、会議参加者３ａ、３ｂ、３ｃの発言から得られる語句データから、会議進行の円滑度を判断するキーワードおよび／またはキーフレーズに一致あるいは類似する語句を抽出する（ステップＳ２０３）。そのキーワードおよび／またはキーフレーズは、予めキーワード格納部１５に格納されている。そして、それらの発言に基づいて会議進行の円滑さの度合い（円滑度）を判定する処理を行う（ステップＳ２０５）。そして、前記ＣＰＵは、判定された理解度および関心度を各会議端末等に出力して表示させる（ステップＳ２０６）。
【００４７】
≪関心度の判定と関心度スコア≫
図７のフローチャートにおいて、質疑応答・議論の段階で書き込みの入力が行われた場合（ステップＳ２０１）、ルーチンは「書き込みあり」へ分岐し、関心度判定を行う（ステップＳ２０４）。関心度判定の処理は、プレゼンテーション段階と同様であって、図３に詳細な処理手順が示されている。図３のフローチャートに沿って、前記ＣＰＵは、質疑応答・議論の開始から終了の期間、あるいは、その間の所定期間内に、各会議参加者が入力を行う都度、その会議参加者の関心度スコアを更新する。前記期間経過後、期間中に累積した各会議参加者の関心度スコアまたはその合計と、予め設定された閾値（関心度閾値）とを比較し、その判定結果を出力する。
【００４８】
≪円滑度の判定と円滑度スコア≫
前記ＣＰＵは、各会議参加者の発言を監視し、発言があったとき、その発言を音声認識部１１で音声認識させて発言に係る語句データを生成させる（ステップＳ２０２）。そして、前記ＣＰＵは、出力された語句データとキーワード格納部１５に予め格納されたキーワードおよび／またはキーフレーズとを照合する。まず、前記語句データを、質疑応答・議論の終了を意味するものとしてキーワード格納部１５に予め格納されたキーワードおよび／またはキーフレーズと照合する（ステップＳ２０３）。照合の結果、質疑応答・議論の終了を意味するキーワードおよび／またはキーフレーズと一致あるいは類似する語句が抽出されたときは、質疑応答・議論の段階における処理を終了する（ステップＳ２０３のＹｅｓ）。一方、質疑応答・議論の終了を意味する語句が抽出されなかった場合（ステップＳ２０３のＮｏ）、ルーチンはステップＳ２０５へ進み、会議進行の円滑度を判定する処理を行う（ステップＳ２０５）。
【００４９】
図８は、図７のフローチャートのステップＳ２０５における円滑度の判定処理の詳細な手順を示すフローチャートである。なお、データ格納部２５は、会議進行の円滑度の判定に関するキーワードおよび／またはキーフレーズが予め登録されている。また、会議進行の円滑度を表す円滑度スコアが保持されている。円滑度スコアは、ゼロおよび正負の値をとり得る数値である。円滑度スコアは、会議参加者３ａ、３ｂ、３ｃについて会議の円滑な進行に寄与する度合いをそれぞれ保持すべく用意されている。質疑応答・議論を開始するときの初期値はゼロである。各会議参加者が会議の円滑な進行に寄与する発言（肯定的発言）をした場合、その会議参加者の円滑度スコアは＋１（加算）される。逆に、各会議参加者が会議の円滑な進行を妨げるような発言（否定的発言）をした場合、その会議参加者の円滑度スコアは−１（減算）される。肯定的発言に属するキーワードおよび／またはキーフレーズの例は、「そうですね」「いいですね」「そうしよう」「そうしましょう」「その通り」などが挙げられる。一方、否定的発言に属するキーワードおよび／またはキーフレーズの例は、「違うと思う」「そうは思わない」「そう思っていない」「よいとは思わない」「よくないと思う」などである。
【００５０】
図９は、この発明において、円滑度判定の具体例を示すための説明図である。図９において、会議参加者３ａが、例えば、「最近のハイブリッドカーは安くなってきている。」と発言し、これに対して会議参加者３ｂが「そうですね。価格競争が激しくなっていますし。」と発言したとする。
【００５１】
このよう発言がなされたとき、会議参加者による発言を監視している前記ＣＰＵは、図７のステップＳ２０２で音声認識部１１にそれらの発言の音声認識を行わせる。それらの発言が音声認識されて出力される語句データが質疑応答・議論の終了を意味する語句でないと判断された場合、ルーチンはステップＳ２０５の円滑度判定処理へ進む。円滑度判定処理の詳細を示す図８において、前記ＣＰＵは、発言から得られた語句データから肯定的発言が抽出されたか否かを判断する（ステップＳ２１３）。肯定的発言が抽出された場合、ルーチンはステップＳ２１５へ進む。一方、前記語句データから肯定的発言が抽出されなかった場合、ルーチンはステップＳ２１４へ進み、前記語句データから否定的発言が抽出されたか否かを判断する（ステップＳ２１６）。前記語句データが肯定的発言、否定的発言のいずれにも該当しない場合、ルーチンはステップＳ２１８へ進む。
【００５２】
図９の例で、会議参加者３ａの発言「最近のハイブリッドカーは安くなってきている」からは、円滑度の判断に係るキーワードやキーフレーズが抽出されない（中立発言）。従って、その発言について、ルーチンはステップＳ２１３のＮｏ，ステップＳ２１４のＮｏを経て、ステップＳ２１８へと進む。
【００５３】
これに対し、続く会議参加者３ｂの発言「そうですね。価格競争が激しくなっていますし。」のうち「そうですね」は、肯定的発言に係るキーワードとして抽出される。否定的キーワードは抽出されない。よって、その発言は肯定的発言と判断され、ルーチンはステップＳ２１３のＹｅｓを経てステップＳ２１５へ進む。ここで、前記ＣＰＵは、会議参加者３ｂが、会議の円滑な進行に寄与したと判断する。そして、会議参加者３ｂの円滑度スコアを＋１する（ステップＳ２１７）。その後、ルーチンはステップ２１８へ進む。
【００５４】
異なる例として、図９において、会議参加者３ａが、「最近のハイブリッドカーは安くなってきている。」と発言し、これに対して会議参加者３ｃが「いや、そうは思わないね。」と発言したとする。この場合、前の例と同様、会議参加者３ａの発言は中立発言と判断される。これに対し、会議参加者３ｃの発言「いや、そうは思わないね。」のうち「そうは思わない」は、否定的発言に係るキーワードとして抽出される。肯定的キーワードは抽出されない。よって、その発言は否定的発言と判断され、ルーチンはステップＳ２１３のＮｏ、ステップＳ２１４のＹｅｓを経てステップＳ２１６へ進む。ここで、前記ＣＰＵは、会議参加者３ｂは、会議の円滑な進行を妨げたと判断する。そして、会議参加者３ｃの円滑度スコアを−１する（ステップＳ２１７）。その後、ルーチンはステップＳ２１８へ進む。
【００５５】
ただし、この判定に基づけば、他人の発言を常に肯定する者は円滑度が高く、他人の発言に対する自己の意見を述べようとすると円滑度が低くなるという結果になりかねない。そのため、後述するように、円滑度がゼロ近辺にある場合は特段の評価を行わず、正負のある閾値を超えたときにのみ会議進行が円滑であるかまたは紛糾していると評価する。
なお、一つの発言中に肯定的発言の部分と否定的キーワードの部分が含まれる場合、例えば、「そうですね、だけど一部の人はそう思っていないかも」といったような発言については、中立的発言と同様円滑度の増減は行わない。
【００５６】
前述のステップＳ２１８で、前記ＣＰＵは、質疑応答・議論の開始から終了の期間、あるいは、質疑応答・議論中の所定期間内に、各会議参加者が発言を行う都度、その会議参加者の発言が肯定的発言または否定的発言に属するか否かの判断を行う。その発言が肯定的発言または否定的発言に属する場合は、円滑度スコアを更新する。前記期間経過後、期間中に累積した各会議参加者の円滑度スコアまたはその合計と、予め設定された正の閾値（円滑度閾値）とを比較する（ステップＳ２１８）。期間中に累積した各会議参加者の円滑度スコアまたはその合計が円滑度閾値よりも高い場合、前記ＣＰＵは、各会議参加者の円滑度または総合的な円滑度が高いと判定する（ステップＳ２１９）。即ち、各会議参加者の円滑な会議進行への寄与度が高いか、または全体としての会議進行が円滑であると判定する。
【００５７】
一方、各会議参加者の円滑度スコアまたはその合計が円滑度閾値以下の場合、前記ＣＰＵは、期間中に累積した各会議参加者の円滑度スコアまたはその合計と、予め設定された負の閾値（紛糾度閾値）とを比較する（ステップＳ２２０）。期間中に累積した各会議参加者の円滑度スコアまたはその合計が紛糾度閾値よりも低い場合、前記ＣＰＵは、各会議参加者。即ち、各会議参加者の円滑な会議進行への寄与度が低いか、または、全体としての会議進行が紛糾していると判定する（ステップＳ２２１）。
会議進行が円滑であるか、または紛糾していると判断された場合、前記ＣＰＵは、その判定結果を会議端末等に出力する（図７のステップＳ２０６）。
【００５８】
前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。
【符号の説明】
【００５９】
１：会議サーバ
３ａ、３ｂ、３ｃ：会議参加者
５ａ、５ｂ、５ｃ：会議端末
７：プレゼンテーション用ディスプレイ
１１：音声認識部
１３：出力部
１５：キーワード格納部
１７：キーワード抽出部
１９：集計部
２１：書込解析部
２３：操作解析部
２５：データ格納部
３１：書き込み
【技術分野】
【０００１】
この発明は、会議の進行状況を判断し、会議参加者に知らせるべくその判断結果を出力する会議管理装置および会議管理方法に関する。
【背景技術】
【０００２】
近年、電子データ化された会議資料を会議参加者の手元に表示しあるいは会議室に設置された大画面の表示装置に表示するようにして用紙を節約するとともにプレゼンテーション効果を高めた会議システムが普及しつつある。また、離れた地にある者が通信を介して映像と音声をやりとりするいわゆるテレビ会議システムが普及しつつある。このような会議システムは、会議の進行をより効率化すること、また、会議に参加者すべき者の交通移動の時間を省略し効率化することを目的としたものである。そして、会議のより円滑な進行を支援するために、会議システムに関するいくつかの提案がなされている。
【０００３】
例えば、会議内容を電子的に記録する会議システムにおいて、注目すべき発言があった場合に会議参加者がその記録データに電子的な「しおり」の挿入を行えるようにして記録再生時の便宜を図ると共に、そのしおりの挿入状況を監視することにより、会議が活発に進行しているか停滞しているかを管理する会議管理方法が提案されている（例えば特許文献１参照）。
また、テレビ会議システムの通常の映像に代えて、あるいは通常の映像と共に、受信した音声から音声キーワードを認識し、認識された音声キーワードに対応する図面等特定の画像を表示するテレビ会議装置が提案されている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１０９９２９号公報
【特許文献２】特開平１１−３５５７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の会議システムでは、例えば、会議の議論が活発に行われているか停滞しているかの判断はできるものの、会議の議論がスムーズに進んでいるのか紛糾あるいは脱線しているのかどうかといったようなことまでは分からなかった。
さらには、会議のテーマやその内容に対する会議参加者の関心度や理解度を判断することもできなかった。
この発明は、以上のような事情を考慮してなされたものであって、会議の進行状況を詳細かつ的確に判断し、その結果を会議参加者に知らせて会議の円滑な進行を支援し得る会議管理装置および会議管理方法を提供するものである。
【課題を解決するための手段】
【０００６】
この発明は、会議の参加者の発言を音声信号として取得し解析する音声認識部と、会議参加者用の外部端末に会議資料および／または何れかの会議参加者の画像および／または音声を出力し得る出力部と、前記会議の円滑な進行を表すものとして規定された肯定的なキーワードおよび／またはキーフレーズ、および、紛糾した進行を表すものとして規定された否定的なキーワードおよび／またはキーフレーズを予め格納するキーワード格納部と、解析された発言から前記キーワードおよび／またはキーフレーズの何れかに一致もしくは類似する語句を抽出するキーワード抽出部と、抽出された語句を肯定的なキーワードおよび／またはキーフレーズに属するものと否定的なキーワードおよび／またはキーフレーズに属するものとに分類、集計し、その集計に基づいて前記会議の進行がスムーズか否かを判断する集計部とを備え、前記出力部は、前記集計部による判断を画像および／または音声として前記外部端末に出力することを特徴とする会議管理装置を提供する。
【０００７】
また、異なる観点からこの発明は、コンピューターが、音声認識部を用いて会議の参加者の発言を音声信号として取得して解析し、出力部を用いて会議参加者用の外部端末に会議資料および／または何れかの会議参加者の画像および／または音声を出力し、前記会議の円滑な進行を表すものとして規定された肯定的なキーワードおよび／またはキーフレーズ、および、紛糾した進行を表すものとして規定された否定的なキーワードおよび／またはキーフレーズとしてキーワード格納部に予め格納された語句データを参照し、解析された発言から前記語句データに一致もしくは類似する語句を抽出し、抽出された語句を肯定的なキーワードおよび／またはキーフレーズに属するものと否定的なキーワードおよび／またはキーフレーズに属するものとに分類して集計し、その集計から前記会議の進行がスムーズか否かを判断し、その判断を画像および／または音声として前記外部端末に出力するよう制御することを特徴とする会議管理方法を提供する。
【発明の効果】
【０００８】
この発明の会議管理装置は、前記集計部が抽出された語句を肯定的なキーワードおよび／またはキーフレーズに属するものと否定的なキーワードおよび／またはキーフレーズに属するものとに分類、集計し、その集計から前記会議の進行がスムーズか否かを判断し、前記出力部が、前記判断部による判断を画像および／または音声として前記外部端末に出力するので、発言の内容から会議が紛糾あるいは脱線していると判断した場合にその旨を参加者に報知して会議の円滑な進行への協力を促すことができる。報知を受けた会議参加者、特にそのうちで会議進行の責任を担う立場の者（司会者等）に進行状況を客観的に把握させ、会議進行についての適切な措置、判断に資することができる。
【０００９】
この発明において、音声認識部は、会議参加者の音声を収音すべく例えば各会議参加者用外部端末に設けられる収音マイクからの音声信号を受けて音声認識処理を行うものである。その具体的な態様は、例えば、不特定話者音声認識用のいわゆる音声認識チップやデジタルシグナルプロセッサーを用いてなる電子回路である。あるいは、コンピューターによるソフトウェア処理で実現されてもよい。
また、出力部は、外部端末に画像信号および音声信号を送るためのインターフェイス回路である。外部端末の具体的な態様は、各会議参加者用に設けられたコンピューターディスプレイあるいは同室の各会議参加者から目視可能な大型ディスプレイ装置である。後述する実施形態において、出力部は、例えばプレゼンテーション用の大型ディスプレイ装置への映像信号および画像信号を生成し送出する信号生成回路および信号出力回路に相当する。
【００１０】
さらにまた、キーワード格納部は、予めキーワードおよび／またはキーフレーズのデータを格納するための記憶手段であって、その具体的な態様は、例えば不揮発性RAMやハードディスクドライブ装置である。
キーワード抽出部は、音声認識部で認識されたデータの中からキーワード格納部に格納されているキーワードおよび／またはキーフレーズと一致あるいは類似する語句を抽出する処理部である。その具体的な態様の一例は、コンピューターが不揮発性メモリ素子等の記憶部に予め格納された処理プログラムを実行することにより実現されるものである。
【００１１】
また、集計部は、キーワード抽出部により抽出された語句のうち肯定的なキーワードおよび／またはキーフレーズに属するものをその類として集計し、否定的なキーワードおよび／またはキーフレーズに属するものをその類として集計し、さらに、その集計に基づいて会議の進行がスムーズか否かを判断する処理部である。その具体的な態様の一例は、コンピューターが不揮発性メモリ素子等の記憶部に予め格納された処理プログラムを実行することにより実現されるものである。
【図面の簡単な説明】
【００１２】
【図１】この発明の会議管理装置としての機能的構成を示すブロック図である。
【図２】この発明の会議管理装置としての会議サーバのＣＰＵが、プレゼンテーションの進行段階で実行する処理を示すフローチャートである。
【図３】図２のフローチャートのステップＳ１０３における関心度判定処理の詳細な処理手順を示すフローチャートである。
【図４】この発明において、会議参加者が外部端末に表示中の資料に行う書込入力の具体的な例を示す説明図である。
【図５】図２のフローチャートのステップＳ１０２における理解度判定処理の詳細な処理手順を示すフローチャートである。
【図６】この発明において、会議参加者が外部端末に表示させ得る会議資料の具体的な例を示す説明図である。
【図７】この発明の会議管理装置としての会議サーバのＣＰＵが、質疑応答・議論の段階で実行する処理の手順を示すフローチャートである。
【図８】図７のフローチャートのステップＳ２０５における円滑度の判定処理の詳細な手順を示すフローチャートである。
【図９】この発明において、円滑度判定の具体例を示すための説明図である。
【発明を実施するための形態】
【００１３】
以下、この発明の好ましい態様について説明する。
この発明の会議管理装置において、会議参加者による前記外部端末への文字、記号、画像の入力を取得し解析する書込解析部をさらに備え、前記集計部は、前記書込解析部が取得した文字、記号、画像の入力量および／または前記音声認識部が取得した会議参加者の発言量を集計し、その集計に基づいて会議参加者の会議への関心度が高いか否かを判断し、前記出力部は、その判断を前記外部端末に出力してもよい。このようにすれば、会議参加者による文字等の入力量や発言量に基づいて会議参加者の関心度を客観的に判断し報知することができる。よって、例えば、会議参加者の関心度が低い旨の報知を受けた司会者や発表者は、要点を絞って議事を進行させたり、他の会議参加者が関心のある議題に集中したり、他の会議参加者の興味を引く発言をしてモチベーションを上げる等、適切な措置をとることができ、有益な会議進行を促進することができる。
【００１４】
また、前記会議資料を参照する前記外部端末からの操作を取得し解析する操作解析部をさらに備え、前記操作解析部は、前記会議資料の参照に係る操作量を集計し、その集計に基づいて会議への理解度が高いか否かを判断し、前記出力部は、その判断を前記外部端末に出力してもよい。このようにすれば、会議資料を参照する操作量に基づいて会議参加者の議事の理解度を客観的に判断し報知することができる。よって、例えば、操作量が非常に多い旨の報知を受けた発表者あるいは司会者は、説明を補足して他の会議参加者が会議資料を十分に理解できるようにしたり、説明のペースを遅らせて他の会議参加者が説明に追従できるようにしたりでき、会議全体のモチベーションを上げ、全体として無駄のない有益な会議進行を促進することができる。
【００１５】
さらに、前記操作解析部は、前記会議資料の参照に係る操作量として、前記会議資料のページ送りおよび／またはページ遡りの操作量を集計してもよい。例えば、ページを遡って参照する操作が多い場合は、他の会議参加者が説明に追従できていない、あるいは、進行中の議事内容が十分に理解できていないと判断できる。一方、先のページを参照する操作が多い場合は、説明が冗長であると判断して簡潔にし、議事を先に進めることができる。
【００１６】
前記出力部は、複数の外部端末に画像および／または音声を出力し、それらの外部端末うち少なくとも１つは他と別室または遠隔の場所に設置されてもよい。即ち、この発明の会議管理装置が、異なる部屋、遠隔の場所にある者が会議をするいわゆるテレビ会議システムに係るものであってもよい。
【００１７】
また、前記出力部は、複数の会議参加者に対して個別に設けられた各外部端末にその外部端末に対応する会議参加者に係る判断を出力してもよい。このようにすれば、各会議参加者は、自分の会議進行に対する寄与、態度を客観的に知ることができ、それによって、各会議参加者の会議進行に対するより積極的な参加を促すことができる。
【００１８】
さらにまた、前記出力部は、複数の会議参加者に対して個別に設けられた各外部端末に会議参加者全体に係る判断を出力してもよい。このようにすれば、各会議参加者は、全体の会議進行の状況を客観的に知ることができ、それによって、各会議参加者の会議進行に対するより積極的な参加を促すことができる。さらに、会議参加者全体に係る判断と各会議参加者についての判断とを各外部端末に出力する場合は、会議参加者全体の平均に対する各会議参加者の寄与、態度を客観的に知ることができ、それによって、各会議参加者の会議進行に対するより積極的な参加を促すことができる。
【００１９】
あるいは、前記出力部は、複数の会議参加者のうち会議進行者用に設けられた外部端末のみに前記集計部による判断を出力を提供してもよい。このようにすれば、各会議参加者に報知するとかえって議事に集中できないと考える場合でも、会議進行の責任を担う会議進行者は進行状況を客観的に把握して適切な措置をとることができ、有益な会議進行を促進することができる。
ここで示した種々の好ましい態様は、それら複数を組み合わせることもできる。
【００２０】
以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
≪会議管理装置の機能的構成≫
図１は、この発明の会議管理装置としての機能的構成を示すブロック図である。図１で、会議サーバ１は、この発明の会議管理装置に相当する装置である。会議サーバ１へは、外部端末としての会議端末５ａ、５ｂ、５ｃから音声信号、会議資料への文字、記号、画像の入力に係る書き込み、会議資料の参照の操作に係る操作情報等が入力される。会議端末５ａ、５ｂ、５ｃは、会議参加者３ａ、３ｂ、３ｃがそれぞれ会議中に使用する端末である。
【００２１】
会議端末５ａ、５ｂ、５ｃは、会議参加者３ａ、３ｂ、３ｃに会議資料等の画像を表示する表示部、会議参加者３ａ、３ｂ、３ｃの発言を収音する収音マイク、会議参加者３ａ、３ｂ、３ｃが会議資料へのメモとして文字、記号、画像の入力を行うためのキーボード、マウスおよび／またはタブレットなどを備えている。
また、会議サーバ１からは、会議端末（会議参加者用の会議端末、プレゼンテーション用の大型ディスプレイ装置等）に画像信号および／または音声信号が出力される。その画像信号および／または音声信号の内容として、後述する集計部による会議進行の判断が含まれる。会議サーバ１の図示しないＣＰＵは、予め用意された処理プログラムに沿って、図１に示す各ブロックの動作を制御する。また、図１のブロックの一部、例えば、キーワード抽出部１７、集計部１９、書込解析部２１および操作解析部２３は、前記ＣＰＵ自身が前記処理プログラムを実行することによりその機能が実現される。
【００２２】
図１の音声認識部１１には、会議参加者用の会議端末５ａ、５ｂ、５ｃに設けられた収音マイク（図示せず）からの音声信号が入力される。音声認識部１１は、前記音声信号の音声認識処理を行って発言に係る語句データをキーワード抽出部１７へ出力する。図１の音声認識部１１は、デジタルシグナルプロセッサーを用いて不特定話者音声認識を行う回路ブロックである。また、
キーワード格納部１５は、音声認識部１１から出力される語句データと照合されるべきキーワードおよび／またはキーフレーズのデータを予め格納するフラッシュメモリ素子である。
【００２３】
キーワード抽出部１７は、音声認識部１１から出力される語句データとキーワード格納部１５に格納されたキーワードおよび／またはキーフレーズとを照合し、語句データに含まれる前記キーワードおよび／またはキーフレーズと一致あるいは類似する語句を抽出する。
一方、会議端末５ａ、５ｂ、５ｃで会議参加者によって会議資料への文字、記号、画像の入力がなされた場合に、それらの書き込みは、書込解析部２１に入力される。前記入力は、タブレット等を用いた手書き入力であってもよく、あるいは、キーボードやマウスを用いて行う入力であってもよく、その他の態様であってもよい。書込解析部２１は、各会議端末からの書き込みの内容を解析する。入力が手書き文字入力であれば文字認識を行う。
【００２４】
さらに、会議端末５ａ、５ｂ、５ｃで会議参加者によって会議資料の参照に係る操作がなされた場合に、それらの操作に係る操作情報は、操作解析部２３に入力される。前記操作情報の一例は、例えば、各会議参加者が会議資料を参照する操作であったり、参照対象の会議資料のページを繰る操作であったりする。操作解析部２３は、各会議参加者が会議端末５ａ、５ｂ、５ｃ上で行った操作の内容を解析する。操作は、キーボードやマウスを用いて行われるものであってもよく、手書き入力用の前記タブレット等を用いる場合にジェスチャーと呼ばれる特定の操作指示であってもよい。
【００２５】
集計部１９には、キーワード抽出部１７から出力された語句データが入力される。さらに、前記語句データのうちキーワード抽出部１７で照合された結果、キーワード格納部１５に格納されたキーワードおよび／またはキーフレーズと一致あるいは類似する語句の情報が入力される。また、集計部１９には、書込解析部２１により解析された前記書き込みの内容が入力される。さらに、集計部１９には、操作解析部２３により解析された前記操作情報の内容が入力される。集計部１９は、入力された前記キーワードおよび／またはキーフレーズの情報、前記書き込みの内容および前記操作情報の内容の全部または一部に基づいて、会議の進行がスムーズか否かを判断する。さらに、各会議参加者の関心の程度、進行の円滑さの程度および各会議参加者の理解の程度をそれぞれ表す関心度スコア、円滑度スコア、理解度スコアを集計してもよい。
【００２６】
データ格納部２５は、会議資料のデータの他、会議に関する種々のデータを格納する記憶手段であって、具体的には、例えば、ハードディスクドライブなどの記憶装置によって実現される。集計部１９が集計した結果もデータ格納部に格納される。集計結果格納部に格納される集計は、逐次更新されてよく、逐次更新される集計が先入れ先出しバッファ的に所定容量の最近の集計が格納されてもよい。あるいは、会議の進行開始からの集計が累積的に格納されてもよい。
出力部１３は、会議端末に会議資料および／または何れかの会議参加者の画像および／または音声を出力する。また、出力部１３は、集計部１９が集計した結果としての会議への関心度スコア、円滑度スコア、理解度スコアを会議端末５ａ、５ｂ、５ｃやプレゼンテーション用ディスプレイ７に出力する。
【００２７】
次に、この発明の会議処理装置が会議の進行に沿って実行する処理につき、フローチャートを用いて説明する。なお、この実施形態では、会議進行の典型的なパターンとして、最初に発表者によるプレゼンテーションが行われ、その後にそのプレゼンテーションについての質疑応答がされるものとする。その場合、会議処理装置はプレゼンテーション用の処理と質疑応答用の処理を直列的に実行すればよいので、説明が単純化される。
しかし、実際の会議では、プレゼンテーションと質疑応答が常に時系列で行われるとは限らない。もっとも、プレゼンテーションと質疑応答が混在して進行する会議の場合、会議処理装置はプレゼンテーション用の処理と質疑応答用の処理とを並列的に処理すればよい。このような並列的処理は、当業者であれば直列的処理の説明から容易に想到できるものである。以下では説明を簡単にするため、プレゼンテーションと質疑応答が時系列的に行われる場合についてのみ説明する。
【００２８】
≪プレゼンテーション段階の処理手順≫
図２は、この発明の会議管理装置としての会議サーバ１のＣＰＵが、プレゼンテーション段階で実行する処理の手順を示すフローチャートである。
プレゼンテーションの進行中、前記ＣＰＵは、会議端末５ａ、５ｂ、５ｃに対し会議参加者による会議資料を参照する操作がなされたか否かを監視する（ステップＳ１０１）。会議資料は、データ格納部２５にデータとして格納されている。会議資料を参照する操作がなされたときは、操作に応じた会議資料のデータをその操作が行われた会議端末に出力するように制御する。例えば、会議資料のページを遡る操作が行われた場合は、会議資料の現在の参照ページを遡ったページのデータをその操作が行われた会議端末に出力するように制御する。そして、その操作に基づいて各会議参加者の理解度を判定する処理を行う（ステップＳ１０２）。
【００２９】
同時に、会議端末５ａ、５ｂ、５ｃに対し会議参加者による文字、記号、画像等のメモの入力、即ち、「書き込み」がなされたか否かを監視する（ステップＳ１０１）。入力があったときは、入力された書き込みの内容を解析し書込データを生成する。また、前記書込データをデータ格納部２５に格納する。そして、その入力に基づいて各会議参加者の関心度を判定する処理を行う（ステップＳ１０３）。そして、前記ＣＰＵは、判定された理解度および関心度を各会議端末等に出力して表示させる（ステップＳ１０５）。
【００３０】
ここで、メモの入力とは、会議参加者が会議端末に表示中の資料に、紙のノートの代わりに備忘録としてメモをとる情報、もしくは他の参加者に情報を伝えるために表示中の資料に書き込み、あるいは、重要箇所をマーキングしたものをいう。各会議端末は通信手段を有するため、書き込んだ情報を参加者間で共有できてもよい。メモの入力として書き込まれる内容は、例えば、端末に表示中の資料には記載されていない発表者の発言内容、端末に表示中の資料における重要箇所のマーキング（丸を付ける、下線を引く、など）、発表に用いられた会議資料や発表内容に対する指摘事項（修正事項や補足事項）、端末に表示中の資料の内容で不明な点（質疑応答時の質問のため、もしくは会議終了後調査するための備忘録）などが考えられる。
【００３１】
書込解析部２１は、メモとして手書き入力がされた場合、その内容をイメージデータ（JPEG、BMPなど）に変換したり、文字認識を行ってテキストデータに変換したりする処理を行う。処理された入力データは、データ格納部２５に保存され、前記ＣＰＵにより管理され、操作解析部２３の指示に応じて読み出され、使用される。使用の態様としては、例えば、会議中に会議資料への書き込み内容を参加者間で共有し、理解力の向上を図る態様が考えられる。その他、会議参加者や会議に参加できなかった関係者が、会議終了後にサーバに保存されている書き込み付き会議資料を印刷するなどして見直せるようにする態様も考えられる。また、会議終了後に発表者がサーバに保存されている書き込み付き会議資料を確認し、参加者によって書き込まれた指摘内容を検討する、もしくは次回発表時の資料作成の参考にするといった態様が考えられる。
【００３２】
さらに、前記ＣＰＵは、会議参加者３ａ、３ｂ、３ｃの発言を監視する（ステップＳ１０４）。発言があったときはその音声認識部１１によってその発言から得られる語句データから、プレゼンテーションの終了を意味するキーワードおよび／またはキーフレーズに一致あるいは類似する語句を抽出する（ステップＳ１０７）。そのキーワードおよび／またはキーフレーズは、予めキーワード格納部１５に格納されている。
【００３３】
≪関心度の判定と関心度スコア≫
図２は、この発明の会議管理装置としての会議サーバのＣＰＵが、プレゼンテーションの進行段階で実行する処理を示すフローチャートである。図２のフローチャートにおいて、会議参加者３ａが会議端末５ａに表示中の資料へ書き込みの入力を行ったとする。図４は、この発明において、会議参加者３ａが会議端末５ａに表示中の資料に行う書込入力の具体的な例を示す説明図である。図４の符号３１に示す「重要」と矢印、丸印が書き込みである。ここでいう「書き込み」とは、会議資料へのマーキングや備忘録、会議において不明な点のメモなどである。
プレゼンテーション中に書き込みの入力が行われた場合（図２のステップＳ１０１）、ルーチンは「書き込みあり」へ分岐し、関心度判定を行う（ステップＳ１０３）。なお、書き込み入力は、プレゼンテーションの段階以外に、後述するプレゼンテーション後の質疑応答・議論の段階でも行われ得る。その場合も、前記ＣＰＵは、図３の処理を実行する。
【００３４】
図３は、図２のフローチャートのステップＳ１０３における関心度判定処理の詳細な処理手順を示すフローチャートである。データ格納部２５には、会議参加者３ａ、３ｂ、３ｃの関心度をそれぞれ表す関心度スコアが保持されている。これらの関心度スコアは、ゼロおよび正の値をとり、大きな値は関心度が高いことを示す。会議開始時の初期値はゼロである。
【００３５】
図３で、前記ＣＰＵは、入力が行われたことに応答して会議参加者が現在の議題に関心を持っていると判定する（ステップＳ１０８）。例えば、会議参加者３ａがプレゼンテーションに関連する会議資料に対するメモ入力を行った場合、会議参加者３ａがプレゼンテーションに関心を持っていると判断する。そして、会議参加者３ａの関心度スコアを＋１（加算）する（ステップＳ１０９）。前記ＣＰＵは、プレゼンテーションの開始から終了の期間、あるいは、プレゼンテーション中の所定期間内に、各会議参加者が入力を行う都度、その会議参加者の関心度スコアを加算する。
【００３６】
前記期間経過後、期間中に累積した各会議参加者の関心度スコアまたはその合計と、予め設定された閾値（関心度閾値）とを比較する（ステップＳ１１０）。期間中に累積した各会議参加者の関心度スコアまたはその合計が関心度閾値よりも低い場合、前記ＣＰＵは、各会議参加者の関心度または総合的な関心度が低いと判定する（ステップＳ１１２）。一方、各会議参加者の関心度スコアまたはその合計が関心度閾値以上の場合は、参加者の関心が高いと判定（Ｓ１１１）する。
【００３７】
前記ＣＰＵは、その判定結果を会議端末に出力する。出力は、例えば、各会議参加者についての関心度スコアがその会議参加者用の会議端末のみに表示させてもよい。あるいは、各参加者の関心度スコアの合計を、総合的な関心度スコアとし、総合的な関心度スコアを各会議端末、または、プレゼンテーション用ディスプレイ７に表示させてもよい。会議進行の責任を担う会議参加者の端末のみに各会議参加者についての関心度スコアおよび／または総合的な関心度スコアを表示させてもよい。
【００３８】
出力の態様としては、「参加者の関心度が高い」、「参加者の関心度が低い」といったような文字列出力があるが、これに限定されず、ウィンドウ色やウィンドウ形状、アイコンで表現してもよい。時系列で関心度スコアをグラフ化して表現してもよい。このようにすれば、どの時点のプレゼンテーションが参加者の関心を集めたかといったことがわかる。
なお、関心度と同様、後述する理解度や進行の円滑度についても前述したような種々の出力態様が考えられる。
【００３９】
≪理解度の判定と理解度スコア≫
図２のフローチャートにおいて、会議参加者３ａが会議資料を参照する操作を会議端末５ａに対して行ったとする。図６は、この発明において、会議参加者３ａが会議端末５ａに表示させ得る会議資料の具体的な例を示す説明図である。図６に示す例では、会議資料は全部で４ページからなる。会議端末５ａは表示領域の広さの制約から同時に複数のページを表示できず、１ページごとに表示される。会議資料の前のページを表示させたい場合は、ページを遡る操作がされる。
【００４０】
プレゼンテーション中に会議資料を参照する操作、例えば、ページを遡る操作が行われた場合について説明する。いま、会議参加者３ｂが発表者によるプレゼンテーション中に、会議端末５ｂに表示中の資料のページ遡り操作を行ったとする。この場合、図２のステップＳ１０１の判定において、ルーチンは「ページ遡り操作あり」へ分岐し、理解度判定を行う（ステップＳ１０２）。
【００４１】
図５は、図２のフローチャートのステップＳ１０２における理解度判定処理の詳細な処理手順を示すフローチャートである。データ格納部２５には、会議参加者３ａ、３ｂ、３ｃの理解度をそれぞれ表す理解度スコアが保持されている。これらの理解度スコアは、ゼロおよび負の値をとり、絶対値の大きな負値は理解度が低いことを示す。会議開始時の初期値はゼロである。図５で、前記ＣＰＵは、会議端末５ｂでページ遡り操作が行われたことに応答して、会議参加者３ｂが理解に苦しんでいると判定する（ステップＳ１１３）。そして、会議参加者３ｂの理解度スコアを−１（つまりスコアを減算）する（ステップＳ１１４）。
【００４２】
前記ＣＰＵは、プレゼンテーションの開始から終了の期間、あるいは、プレゼンテーション中の所定期間内に、各会議参加者がページ遡り操作を行う都度、その会議参加者の理解度スコアを減算する。前記期間経過後、期間中に累積した各会議参加者の理解度スコアまたはその合計と、予め設定された閾値（理解度閾値）とを比較する（ステップＳ１１５）。期間中に累積した各会議参加者の理解度スコアまたはその合計が理解度閾値よりも低い（負値の絶対値が大きい）場合、前記ＣＰＵは、各会議参加者の理解度または総合的な理解度が低いと判定する（ステップＳ１１７）。一方、各会議参加者の理解度スコアまたはその合計が理解度閾値以上の場合は、参加者の理解度が高いと判定（Ｓ１１６）する。
前記ＣＰＵは、その判定結果を会議端末に出力する。出力先および出力の態様については、関心度と同様、種々の手法をとり得る。
【００４３】
≪質疑応答・議論段階への処理の移行≫
前記ＣＰＵは、以上の処理を、発表者によるプレゼンテーション終了の合図（発言）があるか、あるいは、プレゼンテーションの最終ページの表示が終了するまで繰り返す。前記ＣＰＵは、会議参加者３ａ、３ｂ、３ｃの発言を監視しており（図２のステップＳ１０４）発表者によるプレゼンテーション終了の発言があった場合、もしくはプレゼンテーションの最終ページの表示が終了した場合、発表者プレゼンテーション段階の処理（図２）を終了し、質疑応答・議論の段階の処理（図７）へ移る。ここで、プレゼンテーション終了と判定するためのキーワード、キーフレーズの一例は、「終了します」、「以上です」といった語句である。
【００４４】
図７は、この発明の会議管理装置としての会議サーバ１のＣＰＵが、質疑応答・議論の段階で実行する処理の手順を示すフローチャートである。
なお、以上のように、会議サーバが自律的に質疑応答・議論段階への処理の移行を判断する他、会議の司会者等が会議端末から操作を行うことにより、明示的に質疑応答・議論段階への処理の移行が指示されてもよい。
【００４５】
≪質疑応答・議論段階の処理手順≫
プレゼンテーション後の質疑応答・議論の進行中、前記ＣＰＵは、プレゼンテーション中と同様、会議端末５ａ、５ｂ、５ｃに対し会議参加者による文字、記号、画像等のメモの入力がなされたか否かを監視する（ステップＳ２０１）。書き込みがあったときは、入力された書き込みの内容を解析し書込データを生成する。また、前記書込データをデータ格納部２５に格納する。そして、その入力に基づいて各会議参加者の関心度を判定する処理を行う（ステップＳ２０４）。
【００４６】
また、前記ＣＰＵは、会議参加者３ａ、３ｂ、３ｃの発言を監視する（ステップＳ２０２）。発言があったとき、音声認識部１１にその発言を認識させ、認識結果として得られる語句データから、質疑応答・議論の終了を意味するキーワードおよび／またはキーフレーズに一致あるいは類似する語句を抽出する（ステップＳ２０３）。そのキーワードおよび／またはキーフレーズは、予めキーワード格納部１５に格納されている。さらに、前記ＣＰＵは、会議参加者３ａ、３ｂ、３ｃの発言から得られる語句データから、会議進行の円滑度を判断するキーワードおよび／またはキーフレーズに一致あるいは類似する語句を抽出する（ステップＳ２０３）。そのキーワードおよび／またはキーフレーズは、予めキーワード格納部１５に格納されている。そして、それらの発言に基づいて会議進行の円滑さの度合い（円滑度）を判定する処理を行う（ステップＳ２０５）。そして、前記ＣＰＵは、判定された理解度および関心度を各会議端末等に出力して表示させる（ステップＳ２０６）。
【００４７】
≪関心度の判定と関心度スコア≫
図７のフローチャートにおいて、質疑応答・議論の段階で書き込みの入力が行われた場合（ステップＳ２０１）、ルーチンは「書き込みあり」へ分岐し、関心度判定を行う（ステップＳ２０４）。関心度判定の処理は、プレゼンテーション段階と同様であって、図３に詳細な処理手順が示されている。図３のフローチャートに沿って、前記ＣＰＵは、質疑応答・議論の開始から終了の期間、あるいは、その間の所定期間内に、各会議参加者が入力を行う都度、その会議参加者の関心度スコアを更新する。前記期間経過後、期間中に累積した各会議参加者の関心度スコアまたはその合計と、予め設定された閾値（関心度閾値）とを比較し、その判定結果を出力する。
【００４８】
≪円滑度の判定と円滑度スコア≫
前記ＣＰＵは、各会議参加者の発言を監視し、発言があったとき、その発言を音声認識部１１で音声認識させて発言に係る語句データを生成させる（ステップＳ２０２）。そして、前記ＣＰＵは、出力された語句データとキーワード格納部１５に予め格納されたキーワードおよび／またはキーフレーズとを照合する。まず、前記語句データを、質疑応答・議論の終了を意味するものとしてキーワード格納部１５に予め格納されたキーワードおよび／またはキーフレーズと照合する（ステップＳ２０３）。照合の結果、質疑応答・議論の終了を意味するキーワードおよび／またはキーフレーズと一致あるいは類似する語句が抽出されたときは、質疑応答・議論の段階における処理を終了する（ステップＳ２０３のＹｅｓ）。一方、質疑応答・議論の終了を意味する語句が抽出されなかった場合（ステップＳ２０３のＮｏ）、ルーチンはステップＳ２０５へ進み、会議進行の円滑度を判定する処理を行う（ステップＳ２０５）。
【００４９】
図８は、図７のフローチャートのステップＳ２０５における円滑度の判定処理の詳細な手順を示すフローチャートである。なお、データ格納部２５は、会議進行の円滑度の判定に関するキーワードおよび／またはキーフレーズが予め登録されている。また、会議進行の円滑度を表す円滑度スコアが保持されている。円滑度スコアは、ゼロおよび正負の値をとり得る数値である。円滑度スコアは、会議参加者３ａ、３ｂ、３ｃについて会議の円滑な進行に寄与する度合いをそれぞれ保持すべく用意されている。質疑応答・議論を開始するときの初期値はゼロである。各会議参加者が会議の円滑な進行に寄与する発言（肯定的発言）をした場合、その会議参加者の円滑度スコアは＋１（加算）される。逆に、各会議参加者が会議の円滑な進行を妨げるような発言（否定的発言）をした場合、その会議参加者の円滑度スコアは−１（減算）される。肯定的発言に属するキーワードおよび／またはキーフレーズの例は、「そうですね」「いいですね」「そうしよう」「そうしましょう」「その通り」などが挙げられる。一方、否定的発言に属するキーワードおよび／またはキーフレーズの例は、「違うと思う」「そうは思わない」「そう思っていない」「よいとは思わない」「よくないと思う」などである。
【００５０】
図９は、この発明において、円滑度判定の具体例を示すための説明図である。図９において、会議参加者３ａが、例えば、「最近のハイブリッドカーは安くなってきている。」と発言し、これに対して会議参加者３ｂが「そうですね。価格競争が激しくなっていますし。」と発言したとする。
【００５１】
このよう発言がなされたとき、会議参加者による発言を監視している前記ＣＰＵは、図７のステップＳ２０２で音声認識部１１にそれらの発言の音声認識を行わせる。それらの発言が音声認識されて出力される語句データが質疑応答・議論の終了を意味する語句でないと判断された場合、ルーチンはステップＳ２０５の円滑度判定処理へ進む。円滑度判定処理の詳細を示す図８において、前記ＣＰＵは、発言から得られた語句データから肯定的発言が抽出されたか否かを判断する（ステップＳ２１３）。肯定的発言が抽出された場合、ルーチンはステップＳ２１５へ進む。一方、前記語句データから肯定的発言が抽出されなかった場合、ルーチンはステップＳ２１４へ進み、前記語句データから否定的発言が抽出されたか否かを判断する（ステップＳ２１６）。前記語句データが肯定的発言、否定的発言のいずれにも該当しない場合、ルーチンはステップＳ２１８へ進む。
【００５２】
図９の例で、会議参加者３ａの発言「最近のハイブリッドカーは安くなってきている」からは、円滑度の判断に係るキーワードやキーフレーズが抽出されない（中立発言）。従って、その発言について、ルーチンはステップＳ２１３のＮｏ，ステップＳ２１４のＮｏを経て、ステップＳ２１８へと進む。
【００５３】
これに対し、続く会議参加者３ｂの発言「そうですね。価格競争が激しくなっていますし。」のうち「そうですね」は、肯定的発言に係るキーワードとして抽出される。否定的キーワードは抽出されない。よって、その発言は肯定的発言と判断され、ルーチンはステップＳ２１３のＹｅｓを経てステップＳ２１５へ進む。ここで、前記ＣＰＵは、会議参加者３ｂが、会議の円滑な進行に寄与したと判断する。そして、会議参加者３ｂの円滑度スコアを＋１する（ステップＳ２１７）。その後、ルーチンはステップ２１８へ進む。
【００５４】
異なる例として、図９において、会議参加者３ａが、「最近のハイブリッドカーは安くなってきている。」と発言し、これに対して会議参加者３ｃが「いや、そうは思わないね。」と発言したとする。この場合、前の例と同様、会議参加者３ａの発言は中立発言と判断される。これに対し、会議参加者３ｃの発言「いや、そうは思わないね。」のうち「そうは思わない」は、否定的発言に係るキーワードとして抽出される。肯定的キーワードは抽出されない。よって、その発言は否定的発言と判断され、ルーチンはステップＳ２１３のＮｏ、ステップＳ２１４のＹｅｓを経てステップＳ２１６へ進む。ここで、前記ＣＰＵは、会議参加者３ｂは、会議の円滑な進行を妨げたと判断する。そして、会議参加者３ｃの円滑度スコアを−１する（ステップＳ２１７）。その後、ルーチンはステップＳ２１８へ進む。
【００５５】
ただし、この判定に基づけば、他人の発言を常に肯定する者は円滑度が高く、他人の発言に対する自己の意見を述べようとすると円滑度が低くなるという結果になりかねない。そのため、後述するように、円滑度がゼロ近辺にある場合は特段の評価を行わず、正負のある閾値を超えたときにのみ会議進行が円滑であるかまたは紛糾していると評価する。
なお、一つの発言中に肯定的発言の部分と否定的キーワードの部分が含まれる場合、例えば、「そうですね、だけど一部の人はそう思っていないかも」といったような発言については、中立的発言と同様円滑度の増減は行わない。
【００５６】
前述のステップＳ２１８で、前記ＣＰＵは、質疑応答・議論の開始から終了の期間、あるいは、質疑応答・議論中の所定期間内に、各会議参加者が発言を行う都度、その会議参加者の発言が肯定的発言または否定的発言に属するか否かの判断を行う。その発言が肯定的発言または否定的発言に属する場合は、円滑度スコアを更新する。前記期間経過後、期間中に累積した各会議参加者の円滑度スコアまたはその合計と、予め設定された正の閾値（円滑度閾値）とを比較する（ステップＳ２１８）。期間中に累積した各会議参加者の円滑度スコアまたはその合計が円滑度閾値よりも高い場合、前記ＣＰＵは、各会議参加者の円滑度または総合的な円滑度が高いと判定する（ステップＳ２１９）。即ち、各会議参加者の円滑な会議進行への寄与度が高いか、または全体としての会議進行が円滑であると判定する。
【００５７】
一方、各会議参加者の円滑度スコアまたはその合計が円滑度閾値以下の場合、前記ＣＰＵは、期間中に累積した各会議参加者の円滑度スコアまたはその合計と、予め設定された負の閾値（紛糾度閾値）とを比較する（ステップＳ２２０）。期間中に累積した各会議参加者の円滑度スコアまたはその合計が紛糾度閾値よりも低い場合、前記ＣＰＵは、各会議参加者。即ち、各会議参加者の円滑な会議進行への寄与度が低いか、または、全体としての会議進行が紛糾していると判定する（ステップＳ２２１）。
会議進行が円滑であるか、または紛糾していると判断された場合、前記ＣＰＵは、その判定結果を会議端末等に出力する（図７のステップＳ２０６）。
【００５８】
前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。
【符号の説明】
【００５９】
１：会議サーバ
３ａ、３ｂ、３ｃ：会議参加者
５ａ、５ｂ、５ｃ：会議端末
７：プレゼンテーション用ディスプレイ
１１：音声認識部
１３：出力部
１５：キーワード格納部
１７：キーワード抽出部
１９：集計部
２１：書込解析部
２３：操作解析部
２５：データ格納部
３１：書き込み
【特許請求の範囲】
【請求項１】
会議の参加者の発言を音声信号として取得し解析する音声認識部と、
会議参加者用の外部端末に会議資料および／または何れかの会議参加者の画像および／または音声を出力し得る出力部と、
前記会議の円滑な進行を表すものとして規定された肯定的なキーワードおよび／またはキーフレーズ、および、紛糾した進行を表すものとして規定された否定的なキーワードおよび／またはキーフレーズを予め格納するキーワード格納部と、
解析された発言から前記キーワードおよび／またはキーフレーズの何れかに一致もしくは類似する語句を抽出するキーワード抽出部と、
抽出された語句を肯定的なキーワードおよび／またはキーフレーズに属するものと否定的なキーワードおよび／またはキーフレーズに属するものとに分類、集計し、その集計に基づいて前記会議の進行がスムーズか否かを判断する集計部とを備え、
前記出力部は、前記集計部による判断を画像および／または音声として前記外部端末に出力することを特徴とする会議管理装置。
【請求項２】
会議参加者による前記外部端末への文字、記号、画像の入力を取得し解析する書込解析部をさらに備え、
前記集計部は、前記書込解析部が取得した文字、記号、画像の入力量および／または前記音声認識部が取得した会議参加者の発言量を集計し、その集計に基づいて会議参加者の会議への関心度が高いか否かを判断し、
前記出力部は、その判断を前記外部端末に出力する請求項１に記載の会議管理装置。
【請求項３】
前記会議資料を参照する前記外部端末からの操作を取得し解析する操作解析部をさらに備え、
前記操作解析部は、前記会議資料の参照に係る操作量を集計し、その集計に基づいて会議への理解度が高いか否かを判断し、
前記出力部は、その判断を前記外部端末に出力する請求項１または２に記載の会議管理装置。
【請求項４】
前記操作解析部は、前記会議資料の参照に係る操作量として、前記会議資料のページ送りおよび／またはページ遡りの操作量を集計する請求項３に記載の会議管理装置。
【請求項５】
前記出力部は、複数の外部端末に画像および／または音声を出力し、それらの外部端末うち少なくとも１つは他と別室または遠隔の場所に設置されてなる請求項１〜４のいずれか一つに記載の会議管理装置。
【請求項６】
前記出力部は、複数の会議参加者に対して個別に設けられた各外部端末にその外部端末に対応する会議参加者に係る判断を出力する請求項１〜５のいずれか一つに記載の会議管理装置。
【請求項７】
前記出力部は、複数の会議参加者に対して個別に設けられた各外部端末に会議参加者全体に係る判断を出力する請求項１〜６のいずれか一つに記載の会議管理装置。
【請求項８】
前記出力部は、複数の会議参加者のうち会議進行者用に設けられた外部端末のみに前記集計部による判断を出力する請求項１〜５のいずれか一つに記載の会議管理装置。
【請求項９】
コンピューターが、
音声認識部を用いて会議の参加者の発言を音声信号として取得して解析し、
出力部を用いて会議参加者用の外部端末に会議資料および／または何れかの会議参加者の画像および／または音声を出力し、
前記会議の円滑な進行を表すものとして規定された肯定的なキーワードおよび／またはキーフレーズ、および、紛糾した進行を表すものとして規定された否定的なキーワードおよび／またはキーフレーズとしてキーワード格納部に予め格納された語句データを参照し、解析された発言から前記語句データに一致もしくは類似する語句を抽出し、
抽出された語句を肯定的なキーワードおよび／またはキーフレーズに属するものと否定的なキーワードおよび／またはキーフレーズに属するものとに分類して集計し、
その集計から前記会議の進行がスムーズか否かを判断し、
その判断を画像および／または音声として前記外部端末に出力するよう制御することを特徴とする会議管理方法。
【請求項１】
会議の参加者の発言を音声信号として取得し解析する音声認識部と、
会議参加者用の外部端末に会議資料および／または何れかの会議参加者の画像および／または音声を出力し得る出力部と、
前記会議の円滑な進行を表すものとして規定された肯定的なキーワードおよび／またはキーフレーズ、および、紛糾した進行を表すものとして規定された否定的なキーワードおよび／またはキーフレーズを予め格納するキーワード格納部と、
解析された発言から前記キーワードおよび／またはキーフレーズの何れかに一致もしくは類似する語句を抽出するキーワード抽出部と、
抽出された語句を肯定的なキーワードおよび／またはキーフレーズに属するものと否定的なキーワードおよび／またはキーフレーズに属するものとに分類、集計し、その集計に基づいて前記会議の進行がスムーズか否かを判断する集計部とを備え、
前記出力部は、前記集計部による判断を画像および／または音声として前記外部端末に出力することを特徴とする会議管理装置。
【請求項２】
会議参加者による前記外部端末への文字、記号、画像の入力を取得し解析する書込解析部をさらに備え、
前記集計部は、前記書込解析部が取得した文字、記号、画像の入力量および／または前記音声認識部が取得した会議参加者の発言量を集計し、その集計に基づいて会議参加者の会議への関心度が高いか否かを判断し、
前記出力部は、その判断を前記外部端末に出力する請求項１に記載の会議管理装置。
【請求項３】
前記会議資料を参照する前記外部端末からの操作を取得し解析する操作解析部をさらに備え、
前記操作解析部は、前記会議資料の参照に係る操作量を集計し、その集計に基づいて会議への理解度が高いか否かを判断し、
前記出力部は、その判断を前記外部端末に出力する請求項１または２に記載の会議管理装置。
【請求項４】
前記操作解析部は、前記会議資料の参照に係る操作量として、前記会議資料のページ送りおよび／またはページ遡りの操作量を集計する請求項３に記載の会議管理装置。
【請求項５】
前記出力部は、複数の外部端末に画像および／または音声を出力し、それらの外部端末うち少なくとも１つは他と別室または遠隔の場所に設置されてなる請求項１〜４のいずれか一つに記載の会議管理装置。
【請求項６】
前記出力部は、複数の会議参加者に対して個別に設けられた各外部端末にその外部端末に対応する会議参加者に係る判断を出力する請求項１〜５のいずれか一つに記載の会議管理装置。
【請求項７】
前記出力部は、複数の会議参加者に対して個別に設けられた各外部端末に会議参加者全体に係る判断を出力する請求項１〜６のいずれか一つに記載の会議管理装置。
【請求項８】
前記出力部は、複数の会議参加者のうち会議進行者用に設けられた外部端末のみに前記集計部による判断を出力する請求項１〜５のいずれか一つに記載の会議管理装置。
【請求項９】
コンピューターが、
音声認識部を用いて会議の参加者の発言を音声信号として取得して解析し、
出力部を用いて会議参加者用の外部端末に会議資料および／または何れかの会議参加者の画像および／または音声を出力し、
前記会議の円滑な進行を表すものとして規定された肯定的なキーワードおよび／またはキーフレーズ、および、紛糾した進行を表すものとして規定された否定的なキーワードおよび／またはキーフレーズとしてキーワード格納部に予め格納された語句データを参照し、解析された発言から前記語句データに一致もしくは類似する語句を抽出し、
抽出された語句を肯定的なキーワードおよび／またはキーフレーズに属するものと否定的なキーワードおよび／またはキーフレーズに属するものとに分類して集計し、
その集計から前記会議の進行がスムーズか否かを判断し、
その判断を画像および／または音声として前記外部端末に出力するよう制御することを特徴とする会議管理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−６６７９４（Ｐ２０１１−６６７９４Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１７２８０（Ｐ２００９−２１７２８０）
【出願日】平成２１年９月１８日（２００９．９．１８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１８日（２００９．９．１８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]