会議システム及び会議情報提供方法
【課題】
会議の画面と参加者の様子を、ネットワークを介したＰＣ上で再現でき、かつ、会議画面に表示された資料を容易に利用できるようにする。
【解決手段】
電子会議の画面を一定間隔でキャプチャして画面データとして保存する機能と、画面データとその画面をキャプチャしたときに表示されていた資料を会議の開始後からのタイムスタンプまたはタイムスタンプへの換算が可能な番号によって相関付ける機能と、その相関を画面履歴データとして保存する機能を設けて会議の記録を行い、ユーザがネットワークを介して画面データを参照して選択する機能と、選択された画面データに相関付けられた資料を、ネットワークを介してダウンロードする機能とを設ける。
会議の画面と参加者の様子を、ネットワークを介したＰＣ上で再現でき、かつ、会議画面に表示された資料を容易に利用できるようにする。
【解決手段】
電子会議の画面を一定間隔でキャプチャして画面データとして保存する機能と、画面データとその画面をキャプチャしたときに表示されていた資料を会議の開始後からのタイムスタンプまたはタイムスタンプへの換算が可能な番号によって相関付ける機能と、その相関を画面履歴データとして保存する機能を設けて会議の記録を行い、ユーザがネットワークを介して画面データを参照して選択する機能と、選択された画面データに相関付けられた資料を、ネットワークを介してダウンロードする機能とを設ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークで接続された端末間で資料を共有し合いながら行うリアルタイムの会議システム及びその会議情報を提供する方法において、会議の経緯を記録した映像・音声、および、画面イメージを用いて再現し、かつ、会議資料が入手できるシステムに関する。会議だけでなくe-ラーニング分野に適用することで、講義の様子を再現し、講義資料を入手できるシステム及び方法に関する。
【背景技術】
【０００２】
会議の議事内容の経緯等を記録しておき、記録した情報を再現する会議システムが提案されている。例えば、特許文献１には、デジタルカメラとマイクロホンを使用してホワイトボードの内容と音声信号をキャプチャするシステムが記載されている。
【０００３】
近年では、テレビ会議システムとデータ会議システムを組み合わせた形態の遠隔会議システムが普及し始めており、会議の情報として、会議への参加者の映像・音声情報、電子化されている会議資料、参加者が互いに書き込み可能な電子ホワイトボード情報、等を記録することが可能である。特許文献２には、ユーザから電子会議システムへの入力が一定時間検出されない場合に、音声映像情報と表示情報とを対応付けたインデックス情報を生成して記憶し、再現時には、インデックス情報を読み出して対応する音声映像情報を再生するシステムが記載されている。
【０００４】
【特許文献１】特開２００４−８０７５０号公報
【特許文献２】特開２００２−１０１３９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来技術において会議情報として記録されるのは、映像・音声情報と、ホワイトボード、あるいは、電子ホワイトボードにおけるペンの履歴を含んだ画面情報である。しかし、会議では資料を用いて討議を進める場合も多く、映像・音声情報および、ホワイトボード画面の変化を再生することは可能であるが、ホワイトボードの内容に関連して参照された資料がどのように使用されたかについては、画面の変化を追うことでしか確認することができない。会議において資料が配布される場合、説明者が示す資料のページとは別のページを参照することはしばしば行われる行為であり、会議記録の参照時においても同様に、画面に表示された資料のページとは別のページを参照しようとすると、会議の記録の再生手段とは別の手段を用いて配布された資料を参照しなくてはならない。
【０００６】
特許文献1に記載の方法では、ホワイトボードのキャプチャと音声信号とを共通クロックのタイムスタンプを付けることで相関させ、キャプチャされたホワイトボードのサムネールを選択することで、対応する音声の開始ポイントにジャンプできる機能を有している。しかし、資料が使用された場合にホワイトボードと資料、および、音声信号と資料との相関をとることができない。
【０００７】
特許文献２に記載の方法では、表示に変化があった領域をインデックス領域として記憶するため、資料を画面に表示し、画面を指し示しながら資料に関する説明を行った場合には、資料と音声の相関をとることが可能であるが、資料は画面に表示されたものが参照できるだけであり、資料を自由に参照することはできない。使用した資料一式を電子ファイルとして所有している場合には、閲覧者がファイル名などのファイル属性情報から類推してファイルを開き、資料を参照しながら会議の様子を視聴することが可能であるが、資料を類推しなければならず、特に使用された資料が多い場合は、所望のファイルを見つけることが困難となる。
【０００８】
また、会議が終了し、次回の会議までの間に、参加者の一部で資料を共同で作成するなどの共同作業が発生することも多い。このような場合、修正した資料を電子メールで送り合い、相互に参照しながら作業を進めるため、相手からの連絡を待たなければ次の作業に移行できず、作業効率が低下する恐れがある。
【０００９】
更に、電子化されたファイルが増え、また、ファイルの名前の付け方も人によって異なるため、ファイルの検索に時間がかかるため、作業効率が低下する恐れがある。
【００１０】
更に、複数の端末が連携して会議を行う状況においては、資料は複数の端末に分散している。しかし、従来技術では、複数の端末から資料を検索/収集することまで想定されていない。資料はコピーが配布される場合も多く、ある資料を所有している端末は一つだけではない。よって、資料と一つの端末を対応付けてしまうと、その端末が起動して、かつ、ネットワークに接続中でないと、資料が見つからないため、複数の端末から探せるようにしておいた方が効率的である。モバイル端末の場合、その端末に接続するネットワークが変わる会議時にその端末が接続していたIPアドレスも変化する。しかし、従来技術では、ネットワークが変化した場合に、資料を所有している端末を探し出すのが困難である。更に、資料は更新されるため、表示データと更新後の資料とを相関付けが求められる。
【００１１】
本発明が解決しようとする第１の課題は、画面に資料を表示し、その資料を参照しながら会議を行う場合に、会議の画面と参加者の様子を、ネットワークを介した情報処理装置上で再現でき、かつ、会議画面に表示された資料を容易に利用できるシステム及び方法を提供することである。
【００１２】
本発明が解決しようとする第２の課題は、簡易な方法で、画面に資料を表示し、その資料を参照しながら会議を行う場合に、会議に関連する最新の資料を容易に入手できるシステム及び方法を提供することである。
【００１３】
本発明が解決しようとする第３の課題は、ネットワーク上の情報処理装置に資料が分散する場合に、その資料を容易に入手できるシステム及び方法を提供することである。
【課題を解決するための手段】
【００１４】
本発明は、電子会議の画面を一定間隔でキャプチャして画面データとして保存する機能と、会議の様子を撮影した映像・音声信号を映像・音声データとして保存する機能と、画面データとその画面をキャプチャしたときに表示されていた資料と映像・音声データとを会議の開始後からのタイムスタンプまたはタイムスタンプへの換算が可能な番号によって相関付ける機能と、その相関を画面履歴データとして保存する機能を設けて会議の記録を行い、ユーザがコンピュータ・ネットワークを介して画面データを参照して選択する機能と、コンピュータ・ネットワークを介して映像・音声データの配信を行い、選択された画面データに相関付けられたタイムスタンプ時点から映像・音声データの再生を行う機能と、選択された画面データに相関付けられた資料を、コンピュータ・ネットワークを介してダウンロードする機能とを設ける。更に、会議の参加者間で関連する資料を公開し合い、公開された最新の資料を検索して入手する機能、および、検索せずとも最新のファイルに更新しあう機能を設ける。
【発明の効果】
【００１５】
本発明のシステムを使用することにより、（１）出席できなかった会議の様子を知る、（２）次回の会議の前に前回の会議の様子を復習する、（３）新しい作業を行う際に、会議で決定した内容や経緯を確認しながら作業を進める、ことが可能となり、また、（４）会議資料を名前で検索せずに画面イメージで検索することが、可能となり、かつ、（５）資料の最新版の入手が容易になり、（６）生産性の向上、という効果がある。
【００１６】
よって、本発明によれば、画面に資料を表示し、その資料を参照しながら会議を行う場合に、会議の画面と参加者の様子を、ネットワークを介した情報処理装置上で再現でき、かつ、会議画面に表示された資料を容易に利用できる。
【００１７】
また、本発明によれば、簡易な方法で、画面に資料を表示し、その資料を参照しながら会議を行う場合に、会議に関連する最新の容易に資料を入手できる。
【００１８】
また、本発明によれば、ネットワーク上の情報処理装置に資料が分散する場合に、その資料を容易に入手できる。
【発明を実施するための最良の形態】
【００１９】
参加者全員が参照する大型ディスプレイ（共有の表示装置）と、個人作業のためのノートPC（個人の情報処理装置）をコンピュータ・ネットワークに接続して会議を行い、会議後に会議の記録（一連の画面データ）を自席のデスクトップＰＣ（個人の情報処理装置）で参照し、各参加者が最新版を参照し合いながら資料を更新し合うシステムを実現した。
【００２０】
図１は、本発明の実施例の全体構成図である。図１を用いて、全体構成の概要を述べる。１０１はCPU（処理装置）、メインメモリ（記憶装置）、ハードディスク（記憶装置）、コンピュータ・ネットワーク接続機能（接続装置）、カメラ、マイク、スピーカなどの音響機能（出力装置）、大型ディスプレイ（表示装置）を備えたディスプレイ・ステーション（以下、「ＤＳ」と略す）である。ＤＳ１０１は、単なる表示装置ではなく、ソフトウェアプログラムに従ってＣＰＵが処理を実行し、各種機能を実現するものである。DS１０１は会議エリアに設置されており、５〜６人程度が大型ディスプレイを見ながら会議をすることを想定している。参加者がノートPCを持参し、ノートＰＣ１０２がネットワーク接続されている。デスクトップＰＣ１０３もネットワーク接続されていて、ノートＰＣ１０２やＤＳ１０１からリモートアクセスして使用することも可能である。ノートＰＣ、および、デスクトップＰＣが複数台接続されている場合も想定できるが、ノートＰＣ１０２、および、デスクトップＰＣ１０３と同様の動作をするため、省略する。また、ＤＳが複数台接続されている場合は、各ＤＳの構成はＤＳ１０１と同様であり、ＴＶ会議機能１１３を利用して、ＤＳ間でＴＶ会議を行うことが可能である。
【００２１】
ＤＳ１０１とノートＰＣ１０２は電子会議機能１１２により、ＤＳ１０１と同じ画面をノートＰＣ１０２に表示して画面を共有することや、電子ホワイトボード機能によってマウスやペンなどの入力デバイス用いて互いに画面への書き込みを行うことが可能である。透明な電子ホワイトボードを使用できる場合には、共有したい資料をベースとなる画面に表示し、その上に透明なホワイトボードを表示して、資料への書き込みを行いながら会議を進めることができる。
【００２２】
ＤＳ１０１は、会議の様子を記録し、配信する機能を有する。映像・音声記録機能１２４によって、参加者の動きや表情、発言内容が映像・音声データ１３４に記録され、画面履歴記録機能１２６によって、資料や書き込みが表示された画面の履歴が画面データ１３５に記録され、画面データと資料や映像・音声データとの相関が画面履歴データ１３３に記録される。履歴管理機能１２２は会議毎に会議録データ１３１を作成し、会議録データ１３１、会議資料１３２、画面履歴データ１３３、映像・音声データ１３４、画面データ１３５を管理する。資料管理機能１２３はネットワーク連携部１５１の機能を利用して、資料の公開、検索、同期を管理する。
【００２３】
ノートＰＣ１０２、および、デスクトップＰＣ１０３は会議履歴利用部１４１を有する。画面履歴表示機能１４３によって画面データ１３５を表示し、ユーザが所望の画面を選択し、映像・音声再生機能１４４によって選択した画面と同期した時間の映像・音声データ１３４を再生し、資料管理機能１２３によって画面と同期した時間の資料を入手する。会議履歴利用部１４１をＤＳ１０１に設けて、ＤＳ１０１にて会議の様子を再現する構成にすることも可能である。
【００２４】
ネットワーク連携部１５１はミドルウェアであり、共通の基盤であるため、ＤＳ１０１、ノートＰＣ１０２、デスクトップＰＣ１０３のすべてに搭載されている。端末検出機能１５２は特定のアプリケーションが動作している端末を検出する機能を有し、資料公開機能１５３は資料に説明をつけてネットワーク上に公開する機能を有し、資料検索機能１５４は検索キーを指定すると、公開されている資料の中から検索キーに適合する説明を付けられている資料を検索する機能を有し、資料同期機能１５５は、公開と検索を自動的に行う機能を有している。会議部１１１、１１５、および、会議履歴管理部１２１、会議履歴利用部１４１はこれらの機能を利用する。
【００２５】
図２はノートＰＣ１０２、および、デスクトップＰＣ１０３の画面に表示される、会議履歴参照画面２０１の例である。会議履歴参照画面２０１は画面履歴表示機能１４３によって表示される。会議履歴参照画面２０１では、会議選択画面２１１、会議映像画面２２１、資料一覧２３１、画面データ２４１は一つの画面の中に表示されているが、別々の画面で構成されていても良い。会議選択画面２１１は、表示された会議一覧の中から、ユーザが参照したい会議を選択する画面である。ユーザが会議に参加していれば、会議選択画面２１１を表示している端末に会議録データ１３１のコピーがあり、会議一覧に表示されるが、参加していない会議の場合は、「ＤＳに接続して会議録入手」ボタンをクリックして、ＤＳ１０１から会議録データを入手し、会議一覧を表示する。会議選択画面２１１の中から参照したい会議を選択すると画面データ画面２４１に１画面分をキャプチャしたイメージデータが表示され、画面イメージを選択すると（図２では２４２の画面イメージが選択されている）選択された画面イメージに対応付けられた映像が会議映像画面２２１に表示され、資料一覧画面２３１に画面イメージに対応付けられた資料名が表示される。キャプチャされる画面データは、１画面の一部分でもよい。会議の選択直後は、画面データ画面２４１の先頭データが選択されている。画面データ画面２４１でスライドバーや画像送り／巻き戻しボタンを操作するなどして他の画面イメージを表示して選択すると、それに同期して、会議映像画面２２１、資料一覧画面２３１も、選択された画面イメージに対応付けられた表示に変化する。会議映像画面２２１において、プレイボタンを選択すると画面イメージ２４２に対応付けられたタイムスタンプの位置から映像・音声が再生される。自動停止がＯＮモードになっている場合は、次の画面イメージのタイムスタンプの位置で再生を停止する。自動停止がＯＦＦモードになっている場合は、終了位置まで再生が終了するか、再生ボタン以外のボタンが選択されるまで再生を続け、再生中のタイムスタンプ位置に対応する画面イメージを画面データ画面２４１に表示し、資料一覧画面２３１の表示も画面データ画面２４１に同期して変化する。会議映像画面２２１の映像を早送り／早戻しする機能や、映像が変化した部分を検出してサムネール化するなどしてダイジェスト映像を操作する機能と組み合わせて、映像の再生開始位置が変化すると、それに対応して、再生開始位置のタイムスタンプ位置に対応する画面イメージを画面データ画面２４１に表示するようにすることも可能である。資料一覧画面２３１には、画面イメージ２４２に表示されている資料の一覧が表示されている。ダウンロードしたい資料を選択して「会議版」をクリックすると、ＤＳ１０１から会議で使用した資料をダウンロードすることができる。「最新版」をクリックすると会議で使用した資料の最新版をダウンロードすることができる。資料の最新版とは、会議で使用した資料が会議後に修正されている場合の最新の資料である。同期モードをＯＮにしておくと、資料が更新されたかどうかをチェックして、更新されている場合には自動的にダウンロードするプログラムが起動し、常に最新版の資料を参照することができるようになる。または、資料に同期モードが設定され、資料を参照するアプリケーションを起動すると、最新版の資料をチェックしてダウンロードする機能が有効になるようにする。また、資料の編集権を設定し、編集権を所有する人のみが編集できるようにしたり、同様に参照権を設定して、参照権を持つ人のみが参照できるようにしたりすることもできる。
【００２６】
図２に示す要素を備えたブラウザを提供することにより、画面に表示されたイメージをブラウズし、必要な箇所の映像・音声を再生できるようになり、また、画面に表示されたイメージを基に資料を検索することができるようになる。
【００２７】
図３は会議録データ１３１（図３（ａ））、画面履歴データ１３３（図３（ｂ））、映像・音声データ１３４（図３（ｃ））のデータ項目を示した図である。
【００２８】
会議録データ１３１には、「日時」、「会議名」、「場所」、「会議ＩＤ」を記憶する。「日時」は、システムが管理する日時を使用して、ユーザが電子会議を開始／終了した日時を読み取って記憶する。「会議名」は会議の開始時にユーザが入力して設定する場合や、会議予約システムと連動して設定される場合などがある。「場所」はＤＳ１０１が設置されている場所が設定されている場合はＤＳが所有する設置場所名でも良く、ＤＳの名称や、会議予約システムと連動して設定されても良い。「会議ＩＤ」は履歴会議機能１２２が会議履歴を管理するためにシステム内部で設定するＩＤであり、システム内部で一意に管理される。
【００２９】
画面履歴データ１３３には、一つの会議ＩＤごとに、「番号」「画面データ名」「メンバ」「資料リスト」の組が複数記憶される。「番号」は会議の開始から順番に策定される番号であり、タイムスタンプとして使用できる番号を使用する。データが一定の周期で作成される場合は、会議の開始時刻からの経過時間が、番号と周期から計算できる番号である必要がある。「画面データ名」はタイムスタンプ時の画面イメージをキャプチャしたデータの名称である。画面イメージをキャプチャしたデータを管理できる手段が別にあれば、その手段を使用して構成しても良い。「メンバ」はユーザ名、または、会議を構成している機器を特定するＩＤであり、ネットワーク連携部１５１が端末検出時や資料検索時に使用する。「資料リスト」は「資料ＩＤ」「資料名」「ＡＰ名」の組で構成される。画面イメージをキャプチャしたデータは画面データ１３５に記憶され、資料は会議資料１３２に記憶される。会議資料としてウェブ・ページが使用されることも考えられるため、資料名はURLでも良い。
【００３０】
映像・音声データ１３４は、「会議ＩＤ」と「データ名」で構成されているが、映像・音声信号をキャプチャしたデータも一緒に記憶されている。
【００３１】
会議ＩＤによって画面履歴データ１３３と映像・音声データ１３４を対応付け、また、画面イメージをキャプチャした時間を管理できる番号と、画面データとそのとき表示していた資料を関連付けて記憶することにより、画面データと資料、および、映像・音声データを相関付けて管理することが可能となる。
【００３２】
図４は履歴管理機能１２２を実現する会議履歴記録プログラムの処理の流れを示した図である。ステップ４５１において電子会議機能１１２を実現する電子会議プログラムがスタートし、電子会議開始処理（ステップ４５２）によって、電子会議の開始が通知されると、会議履歴記録プログラムが起動する（ステップ４０１）。起動すると、ステップ４０２において会議録データ１３１を作成し、ステップ４０３において映像・音声データ１３４の記録を開始する。ステップ４０４において、会議が終了したか否かを判断し、終了していない場合は画面履歴の記録を開始する。ステップ４１１にて接続機器一覧を取得して画面履歴データ１３３に記憶し、ステップ４１２にて開いているファイルの一覧を取得して会議資料１３２および画面履歴データ１３３に記憶し、ステップ４１３にて画面表示イメージをキャプチャして画面データ１３５に記憶する。ステップ４１において、例えば１分間などの一定時間の経過を待ち、ステップ４０４に戻る。電子会議プログラムの電子会議終了処理がステップ４５４において行われ、電子会議の終了が会議履歴記録プログラムに通知されると、ステップ４０４において終了と判断し、ステップ４２１にて会議録データに終了記録を記入し、ステップ４２２にて終了する。
【００３３】
図５は画面履歴表示機能１４３を実現する会議履歴参照プログラムの処理の流れを示す図である。ステップ５０１においてプログラムがスタートし、ステップ５０２において、プログラムが動作している端末内の会議録データを参照して会議選択画面２１１を表示し、ユーザから要求があれば、ネットワーク経由でＤＳ１０１の会議録データ１３１を参照して会議選択画面を表示する。ＤＳが複数ある場合には、ＤＳを選択してから会議録データを参照する。会議録データ１３１は、会議終了時に会議に参加していた端末に配布しておくことで、ＤＳに接続することなく自端末が参加した会議の一覧を参照することができる。また、アクセス制限を設定して、アクセス権を所有するユーザのみが、参照できるような構成にすることもできる。会議選択画面２１１にてユーザが会議を選択すると、ステップ５１１において、ユーザが選択した会議の会議ＩＤを会議録データ１３１から読み出し、会議ＩＤに対応する画面履歴データ１３３をネットワーク経由でＤＳ１０１から読み出して表示する。ユーザが画面データ画面２４１から所望の画面データを選択すると、ステップ５２１において、ユーザが選択した画面データに対応する資料名を資料一覧として資料一覧画面２３１に表示し、ユーザからの入力を待つ。ユーザが会議映像画面２２１の再生ボタンを選択した場合はステップ５３１にて、画面データの番号×一定時間（画面キャプチャ時）から経過時間を換算し、時間に対応する映像・音声データを再生し、ステップ５１１に戻る。資料一覧画面２３１にてユーザが資料を選択して「会議版」を選択すると、ステップ５４１にて選択された資料を会議資料１３２からダウンロードしてステップ５１１に戻る。資料一覧画面２３１にてユーザが資料を選択して「最新版」を選択すると、ステップ５５１にて、資料検索機能１５４を使用して公開されている資料を検索してダウンロードし、ステップ５５２にてダウンロードした資料の同期モードを設定して、ステップ５１１に戻る。
【００３４】
ステップ５２１において、資料名を資料一覧として表示する形態を記載したが、画面履歴データ１３３において、資料リストとして記憶する「資料ID」「資料名」「AP名」に「表示領域」を追加し、資料が表示されている画面の座標を取得して記憶するようにし、ユーザが画面データ内に表示されている資料画面をマウスなどで直接クリックすると、クリックした位置からどの資料画面が選択されたかを計算して求めることで資料を選択するような直感的な形態にすることも可能である。
【００３５】
図６は資料の公開、検索、同期の概念を示した図である。会議の終了時には、ＤＳ１０１には会議で使用した資料a６０５が会議資料１３２に記憶されている。ノートＰＣ１０２が会議の終了時に使用した資料a６０２を公開すると、ネットワーク上の仮想領域６１１に資料a６０２を特定するためのID、資料名、複製または実体へのリンク情報が公開される。資料検索時には、資料IDや資料名をキーにして資料の実体を所有する端末を検出し、その端末から資料をダウンロードする。資料aを同期モードに設定しておくと、一定の周期で最新版を自動的に公開できる。ノートＰＣ１０２のユーザが資料a６０２を修正して資料a'６０３として公開し、その時点でデスクトップＰＣ１０３が最新版をダウンロードすると、資料a'６０６がデスクトップＰＣ１０３にダウンロードされる。同期モードを設定しないと、再度、検索して最新版をダウンロードするまで資料は更新されない。一方、デスクトップＰＣ６０１が、資料a６０２をダウンロードして同期モードに設定しておくと、ノートＰＣ１０２のユーザが資料a６０２を修正して資料a'６０３を公開し、再度、資料a狽U０４を公開（または同期モードに設定しておくと自動的に公開する）に同期して、資料をダウンロードして更新する。同期モードを使用するためには、資料IDの管理が必須であるが、同期モードを使用しない場合には、資料名と複製または実体へのリンク情報のみを管理することでも実現可能であるが、資料名が重なる資料がある場合には、検索結果として資料の候補を示す形態となる。
【００３６】
本実施例では、画面履歴データ１３３に記録されているメンバの端末から検索を開始し、資料IDや資料名（資料を特定するための特定情報）をキーにして検索を行う。つまり、メンバの端末へ資料を要求する。会議に参加した端末は資料を公開している可能性が高いため、メンバ（メンバIDや、メンバの端末ID、IPアドレスなど）を記憶しておき、メンバから検索を開始することにより、やみくもに検索を開始するよりも効率的な端末検索が可能となる。メンバ内に検索条件にマッチする公開情報が見つからなかった場合は、メンバと同じネットワーク領域にある端末（IPアドレスが近い端末）に検索範囲を広げていく。ノートPCなどのモバイル端末の場合、接続するネットワークが異なると、会議時に接続していたIPアドレスと異なるIPアドレスを使用することになるが、一台の端末が頻繁に接続するネットワークは、通常は数箇所に限られているため、以前の接続情報（IPアドレス）を端末検出機能１５２が記憶しておき、検索範囲に追加することで、効率的に検索することが可能となる。
【００３７】
図７は資料管理機能１２３に関するソフトウェアの大まかな構成を示した図である。資料管理機能１２３を実現する資料管理アプリケーションは、汎用アプリケーションとネットワーク連携部１５１を実現するネットワーク連携ミドルウェアとの間で資料のＩＤ、公開／検索／同期のモードを管理する。
【００３８】
図８は資料管理機能１２３を実現する資料管理アプリケーションが汎用アプリケーションと連携した場合の画面例である。図８において、画面８０１（（ａ）資料Ｆ９編集中の画面（時刻Ｔ１））では、編集中の資料Ｆ９と同時に、資料Ｆ３と資料Ｆ５が表示されている。Ｔ２＞Ｔ１において、画面８０２（（ｂ）資料Ｆ９編集中の画面（時刻Ｔ２））に示すように、資料Ｆ９の編集中に関連資料を参照したくなった場合、マウスの右ボタンをクリックしてメニューを表示し、メニューに表示された関連資料を選択すると、資料Ｆ９が関係している会議を会議録データ１３１から検索して表示するか、あるいは、資料Ｆ９を使用した会議ＩＤを資料Ｆ９に埋め込んでおき、会議ＩＤから会議名を参照して表示し、その会議において同時に開いた資料の一覧をメニューに表示し、そのなかから必要な資料の最新版をダウンロードすることができる。また、アプリケーション用のフォーマットで作成された資料データ（ファイル）内に、時刻T1において資料が表示されていた部分を示すためのID、例えばページ番号を示すIDを埋め込んでおき、画面履歴参照画面２０１のようなブラウザ機能を有するアプリケーションを使用して、画面８０１を参照して資料F9を選択すると、アプリケーションが起動して資料F９を開き、画面８０１にて表示されていたページを表示する、といったアプリケーションも考えられる。汎用アプリケーションと連携し、会議資料と会議情報とを関連付けすることで、電子会議の画面イメージから、PCの環境が異なる、ファイルが修正されているなどの相違点はあるが、そのときと同じ状況を再現することが可能となる。
【産業上の利用可能性】
【００３９】
本発明は、画面に表示されたイメージと映像・音声データ、および資料を関連づけて管理し、表示することができるため、オフィスでのミーティング、大学やオフィスでの講義、特にe-learningなどに適用できる。
【図面の簡単な説明】
【００４０】
【図１】システムの全体構成図である。
【図２】会議履歴参照画面例を示した図である。
【図３】データ構造を示した図である。
【図４】会議履歴記録プログラムの処理の流れを示した図である。
【図５】会議履歴参照プログラムの処理の流れを示した図である。
【図６】資料の公開／検索／同期の概念を示した図である
【図７】アプリケーションの位置を示した図である。
【図８】アプリケーション連携の画面例を示した図である。
【符号の説明】
【００４１】
１０１ ディスプレイ・ステーション
１０２ ノートPC
１０３ デスクトップPC
２０１ 会議履歴参照画面
２１１ 会議選択画面
２２１ 会議映像画面
２３１ 資料一覧画面
２４１ 画面データ画面
【技術分野】
【０００１】
本発明は、ネットワークで接続された端末間で資料を共有し合いながら行うリアルタイムの会議システム及びその会議情報を提供する方法において、会議の経緯を記録した映像・音声、および、画面イメージを用いて再現し、かつ、会議資料が入手できるシステムに関する。会議だけでなくe-ラーニング分野に適用することで、講義の様子を再現し、講義資料を入手できるシステム及び方法に関する。
【背景技術】
【０００２】
会議の議事内容の経緯等を記録しておき、記録した情報を再現する会議システムが提案されている。例えば、特許文献１には、デジタルカメラとマイクロホンを使用してホワイトボードの内容と音声信号をキャプチャするシステムが記載されている。
【０００３】
近年では、テレビ会議システムとデータ会議システムを組み合わせた形態の遠隔会議システムが普及し始めており、会議の情報として、会議への参加者の映像・音声情報、電子化されている会議資料、参加者が互いに書き込み可能な電子ホワイトボード情報、等を記録することが可能である。特許文献２には、ユーザから電子会議システムへの入力が一定時間検出されない場合に、音声映像情報と表示情報とを対応付けたインデックス情報を生成して記憶し、再現時には、インデックス情報を読み出して対応する音声映像情報を再生するシステムが記載されている。
【０００４】
【特許文献１】特開２００４−８０７５０号公報
【特許文献２】特開２００２−１０１３９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来技術において会議情報として記録されるのは、映像・音声情報と、ホワイトボード、あるいは、電子ホワイトボードにおけるペンの履歴を含んだ画面情報である。しかし、会議では資料を用いて討議を進める場合も多く、映像・音声情報および、ホワイトボード画面の変化を再生することは可能であるが、ホワイトボードの内容に関連して参照された資料がどのように使用されたかについては、画面の変化を追うことでしか確認することができない。会議において資料が配布される場合、説明者が示す資料のページとは別のページを参照することはしばしば行われる行為であり、会議記録の参照時においても同様に、画面に表示された資料のページとは別のページを参照しようとすると、会議の記録の再生手段とは別の手段を用いて配布された資料を参照しなくてはならない。
【０００６】
特許文献1に記載の方法では、ホワイトボードのキャプチャと音声信号とを共通クロックのタイムスタンプを付けることで相関させ、キャプチャされたホワイトボードのサムネールを選択することで、対応する音声の開始ポイントにジャンプできる機能を有している。しかし、資料が使用された場合にホワイトボードと資料、および、音声信号と資料との相関をとることができない。
【０００７】
特許文献２に記載の方法では、表示に変化があった領域をインデックス領域として記憶するため、資料を画面に表示し、画面を指し示しながら資料に関する説明を行った場合には、資料と音声の相関をとることが可能であるが、資料は画面に表示されたものが参照できるだけであり、資料を自由に参照することはできない。使用した資料一式を電子ファイルとして所有している場合には、閲覧者がファイル名などのファイル属性情報から類推してファイルを開き、資料を参照しながら会議の様子を視聴することが可能であるが、資料を類推しなければならず、特に使用された資料が多い場合は、所望のファイルを見つけることが困難となる。
【０００８】
また、会議が終了し、次回の会議までの間に、参加者の一部で資料を共同で作成するなどの共同作業が発生することも多い。このような場合、修正した資料を電子メールで送り合い、相互に参照しながら作業を進めるため、相手からの連絡を待たなければ次の作業に移行できず、作業効率が低下する恐れがある。
【０００９】
更に、電子化されたファイルが増え、また、ファイルの名前の付け方も人によって異なるため、ファイルの検索に時間がかかるため、作業効率が低下する恐れがある。
【００１０】
更に、複数の端末が連携して会議を行う状況においては、資料は複数の端末に分散している。しかし、従来技術では、複数の端末から資料を検索/収集することまで想定されていない。資料はコピーが配布される場合も多く、ある資料を所有している端末は一つだけではない。よって、資料と一つの端末を対応付けてしまうと、その端末が起動して、かつ、ネットワークに接続中でないと、資料が見つからないため、複数の端末から探せるようにしておいた方が効率的である。モバイル端末の場合、その端末に接続するネットワークが変わる会議時にその端末が接続していたIPアドレスも変化する。しかし、従来技術では、ネットワークが変化した場合に、資料を所有している端末を探し出すのが困難である。更に、資料は更新されるため、表示データと更新後の資料とを相関付けが求められる。
【００１１】
本発明が解決しようとする第１の課題は、画面に資料を表示し、その資料を参照しながら会議を行う場合に、会議の画面と参加者の様子を、ネットワークを介した情報処理装置上で再現でき、かつ、会議画面に表示された資料を容易に利用できるシステム及び方法を提供することである。
【００１２】
本発明が解決しようとする第２の課題は、簡易な方法で、画面に資料を表示し、その資料を参照しながら会議を行う場合に、会議に関連する最新の資料を容易に入手できるシステム及び方法を提供することである。
【００１３】
本発明が解決しようとする第３の課題は、ネットワーク上の情報処理装置に資料が分散する場合に、その資料を容易に入手できるシステム及び方法を提供することである。
【課題を解決するための手段】
【００１４】
本発明は、電子会議の画面を一定間隔でキャプチャして画面データとして保存する機能と、会議の様子を撮影した映像・音声信号を映像・音声データとして保存する機能と、画面データとその画面をキャプチャしたときに表示されていた資料と映像・音声データとを会議の開始後からのタイムスタンプまたはタイムスタンプへの換算が可能な番号によって相関付ける機能と、その相関を画面履歴データとして保存する機能を設けて会議の記録を行い、ユーザがコンピュータ・ネットワークを介して画面データを参照して選択する機能と、コンピュータ・ネットワークを介して映像・音声データの配信を行い、選択された画面データに相関付けられたタイムスタンプ時点から映像・音声データの再生を行う機能と、選択された画面データに相関付けられた資料を、コンピュータ・ネットワークを介してダウンロードする機能とを設ける。更に、会議の参加者間で関連する資料を公開し合い、公開された最新の資料を検索して入手する機能、および、検索せずとも最新のファイルに更新しあう機能を設ける。
【発明の効果】
【００１５】
本発明のシステムを使用することにより、（１）出席できなかった会議の様子を知る、（２）次回の会議の前に前回の会議の様子を復習する、（３）新しい作業を行う際に、会議で決定した内容や経緯を確認しながら作業を進める、ことが可能となり、また、（４）会議資料を名前で検索せずに画面イメージで検索することが、可能となり、かつ、（５）資料の最新版の入手が容易になり、（６）生産性の向上、という効果がある。
【００１６】
よって、本発明によれば、画面に資料を表示し、その資料を参照しながら会議を行う場合に、会議の画面と参加者の様子を、ネットワークを介した情報処理装置上で再現でき、かつ、会議画面に表示された資料を容易に利用できる。
【００１７】
また、本発明によれば、簡易な方法で、画面に資料を表示し、その資料を参照しながら会議を行う場合に、会議に関連する最新の容易に資料を入手できる。
【００１８】
また、本発明によれば、ネットワーク上の情報処理装置に資料が分散する場合に、その資料を容易に入手できる。
【発明を実施するための最良の形態】
【００１９】
参加者全員が参照する大型ディスプレイ（共有の表示装置）と、個人作業のためのノートPC（個人の情報処理装置）をコンピュータ・ネットワークに接続して会議を行い、会議後に会議の記録（一連の画面データ）を自席のデスクトップＰＣ（個人の情報処理装置）で参照し、各参加者が最新版を参照し合いながら資料を更新し合うシステムを実現した。
【００２０】
図１は、本発明の実施例の全体構成図である。図１を用いて、全体構成の概要を述べる。１０１はCPU（処理装置）、メインメモリ（記憶装置）、ハードディスク（記憶装置）、コンピュータ・ネットワーク接続機能（接続装置）、カメラ、マイク、スピーカなどの音響機能（出力装置）、大型ディスプレイ（表示装置）を備えたディスプレイ・ステーション（以下、「ＤＳ」と略す）である。ＤＳ１０１は、単なる表示装置ではなく、ソフトウェアプログラムに従ってＣＰＵが処理を実行し、各種機能を実現するものである。DS１０１は会議エリアに設置されており、５〜６人程度が大型ディスプレイを見ながら会議をすることを想定している。参加者がノートPCを持参し、ノートＰＣ１０２がネットワーク接続されている。デスクトップＰＣ１０３もネットワーク接続されていて、ノートＰＣ１０２やＤＳ１０１からリモートアクセスして使用することも可能である。ノートＰＣ、および、デスクトップＰＣが複数台接続されている場合も想定できるが、ノートＰＣ１０２、および、デスクトップＰＣ１０３と同様の動作をするため、省略する。また、ＤＳが複数台接続されている場合は、各ＤＳの構成はＤＳ１０１と同様であり、ＴＶ会議機能１１３を利用して、ＤＳ間でＴＶ会議を行うことが可能である。
【００２１】
ＤＳ１０１とノートＰＣ１０２は電子会議機能１１２により、ＤＳ１０１と同じ画面をノートＰＣ１０２に表示して画面を共有することや、電子ホワイトボード機能によってマウスやペンなどの入力デバイス用いて互いに画面への書き込みを行うことが可能である。透明な電子ホワイトボードを使用できる場合には、共有したい資料をベースとなる画面に表示し、その上に透明なホワイトボードを表示して、資料への書き込みを行いながら会議を進めることができる。
【００２２】
ＤＳ１０１は、会議の様子を記録し、配信する機能を有する。映像・音声記録機能１２４によって、参加者の動きや表情、発言内容が映像・音声データ１３４に記録され、画面履歴記録機能１２６によって、資料や書き込みが表示された画面の履歴が画面データ１３５に記録され、画面データと資料や映像・音声データとの相関が画面履歴データ１３３に記録される。履歴管理機能１２２は会議毎に会議録データ１３１を作成し、会議録データ１３１、会議資料１３２、画面履歴データ１３３、映像・音声データ１３４、画面データ１３５を管理する。資料管理機能１２３はネットワーク連携部１５１の機能を利用して、資料の公開、検索、同期を管理する。
【００２３】
ノートＰＣ１０２、および、デスクトップＰＣ１０３は会議履歴利用部１４１を有する。画面履歴表示機能１４３によって画面データ１３５を表示し、ユーザが所望の画面を選択し、映像・音声再生機能１４４によって選択した画面と同期した時間の映像・音声データ１３４を再生し、資料管理機能１２３によって画面と同期した時間の資料を入手する。会議履歴利用部１４１をＤＳ１０１に設けて、ＤＳ１０１にて会議の様子を再現する構成にすることも可能である。
【００２４】
ネットワーク連携部１５１はミドルウェアであり、共通の基盤であるため、ＤＳ１０１、ノートＰＣ１０２、デスクトップＰＣ１０３のすべてに搭載されている。端末検出機能１５２は特定のアプリケーションが動作している端末を検出する機能を有し、資料公開機能１５３は資料に説明をつけてネットワーク上に公開する機能を有し、資料検索機能１５４は検索キーを指定すると、公開されている資料の中から検索キーに適合する説明を付けられている資料を検索する機能を有し、資料同期機能１５５は、公開と検索を自動的に行う機能を有している。会議部１１１、１１５、および、会議履歴管理部１２１、会議履歴利用部１４１はこれらの機能を利用する。
【００２５】
図２はノートＰＣ１０２、および、デスクトップＰＣ１０３の画面に表示される、会議履歴参照画面２０１の例である。会議履歴参照画面２０１は画面履歴表示機能１４３によって表示される。会議履歴参照画面２０１では、会議選択画面２１１、会議映像画面２２１、資料一覧２３１、画面データ２４１は一つの画面の中に表示されているが、別々の画面で構成されていても良い。会議選択画面２１１は、表示された会議一覧の中から、ユーザが参照したい会議を選択する画面である。ユーザが会議に参加していれば、会議選択画面２１１を表示している端末に会議録データ１３１のコピーがあり、会議一覧に表示されるが、参加していない会議の場合は、「ＤＳに接続して会議録入手」ボタンをクリックして、ＤＳ１０１から会議録データを入手し、会議一覧を表示する。会議選択画面２１１の中から参照したい会議を選択すると画面データ画面２４１に１画面分をキャプチャしたイメージデータが表示され、画面イメージを選択すると（図２では２４２の画面イメージが選択されている）選択された画面イメージに対応付けられた映像が会議映像画面２２１に表示され、資料一覧画面２３１に画面イメージに対応付けられた資料名が表示される。キャプチャされる画面データは、１画面の一部分でもよい。会議の選択直後は、画面データ画面２４１の先頭データが選択されている。画面データ画面２４１でスライドバーや画像送り／巻き戻しボタンを操作するなどして他の画面イメージを表示して選択すると、それに同期して、会議映像画面２２１、資料一覧画面２３１も、選択された画面イメージに対応付けられた表示に変化する。会議映像画面２２１において、プレイボタンを選択すると画面イメージ２４２に対応付けられたタイムスタンプの位置から映像・音声が再生される。自動停止がＯＮモードになっている場合は、次の画面イメージのタイムスタンプの位置で再生を停止する。自動停止がＯＦＦモードになっている場合は、終了位置まで再生が終了するか、再生ボタン以外のボタンが選択されるまで再生を続け、再生中のタイムスタンプ位置に対応する画面イメージを画面データ画面２４１に表示し、資料一覧画面２３１の表示も画面データ画面２４１に同期して変化する。会議映像画面２２１の映像を早送り／早戻しする機能や、映像が変化した部分を検出してサムネール化するなどしてダイジェスト映像を操作する機能と組み合わせて、映像の再生開始位置が変化すると、それに対応して、再生開始位置のタイムスタンプ位置に対応する画面イメージを画面データ画面２４１に表示するようにすることも可能である。資料一覧画面２３１には、画面イメージ２４２に表示されている資料の一覧が表示されている。ダウンロードしたい資料を選択して「会議版」をクリックすると、ＤＳ１０１から会議で使用した資料をダウンロードすることができる。「最新版」をクリックすると会議で使用した資料の最新版をダウンロードすることができる。資料の最新版とは、会議で使用した資料が会議後に修正されている場合の最新の資料である。同期モードをＯＮにしておくと、資料が更新されたかどうかをチェックして、更新されている場合には自動的にダウンロードするプログラムが起動し、常に最新版の資料を参照することができるようになる。または、資料に同期モードが設定され、資料を参照するアプリケーションを起動すると、最新版の資料をチェックしてダウンロードする機能が有効になるようにする。また、資料の編集権を設定し、編集権を所有する人のみが編集できるようにしたり、同様に参照権を設定して、参照権を持つ人のみが参照できるようにしたりすることもできる。
【００２６】
図２に示す要素を備えたブラウザを提供することにより、画面に表示されたイメージをブラウズし、必要な箇所の映像・音声を再生できるようになり、また、画面に表示されたイメージを基に資料を検索することができるようになる。
【００２７】
図３は会議録データ１３１（図３（ａ））、画面履歴データ１３３（図３（ｂ））、映像・音声データ１３４（図３（ｃ））のデータ項目を示した図である。
【００２８】
会議録データ１３１には、「日時」、「会議名」、「場所」、「会議ＩＤ」を記憶する。「日時」は、システムが管理する日時を使用して、ユーザが電子会議を開始／終了した日時を読み取って記憶する。「会議名」は会議の開始時にユーザが入力して設定する場合や、会議予約システムと連動して設定される場合などがある。「場所」はＤＳ１０１が設置されている場所が設定されている場合はＤＳが所有する設置場所名でも良く、ＤＳの名称や、会議予約システムと連動して設定されても良い。「会議ＩＤ」は履歴会議機能１２２が会議履歴を管理するためにシステム内部で設定するＩＤであり、システム内部で一意に管理される。
【００２９】
画面履歴データ１３３には、一つの会議ＩＤごとに、「番号」「画面データ名」「メンバ」「資料リスト」の組が複数記憶される。「番号」は会議の開始から順番に策定される番号であり、タイムスタンプとして使用できる番号を使用する。データが一定の周期で作成される場合は、会議の開始時刻からの経過時間が、番号と周期から計算できる番号である必要がある。「画面データ名」はタイムスタンプ時の画面イメージをキャプチャしたデータの名称である。画面イメージをキャプチャしたデータを管理できる手段が別にあれば、その手段を使用して構成しても良い。「メンバ」はユーザ名、または、会議を構成している機器を特定するＩＤであり、ネットワーク連携部１５１が端末検出時や資料検索時に使用する。「資料リスト」は「資料ＩＤ」「資料名」「ＡＰ名」の組で構成される。画面イメージをキャプチャしたデータは画面データ１３５に記憶され、資料は会議資料１３２に記憶される。会議資料としてウェブ・ページが使用されることも考えられるため、資料名はURLでも良い。
【００３０】
映像・音声データ１３４は、「会議ＩＤ」と「データ名」で構成されているが、映像・音声信号をキャプチャしたデータも一緒に記憶されている。
【００３１】
会議ＩＤによって画面履歴データ１３３と映像・音声データ１３４を対応付け、また、画面イメージをキャプチャした時間を管理できる番号と、画面データとそのとき表示していた資料を関連付けて記憶することにより、画面データと資料、および、映像・音声データを相関付けて管理することが可能となる。
【００３２】
図４は履歴管理機能１２２を実現する会議履歴記録プログラムの処理の流れを示した図である。ステップ４５１において電子会議機能１１２を実現する電子会議プログラムがスタートし、電子会議開始処理（ステップ４５２）によって、電子会議の開始が通知されると、会議履歴記録プログラムが起動する（ステップ４０１）。起動すると、ステップ４０２において会議録データ１３１を作成し、ステップ４０３において映像・音声データ１３４の記録を開始する。ステップ４０４において、会議が終了したか否かを判断し、終了していない場合は画面履歴の記録を開始する。ステップ４１１にて接続機器一覧を取得して画面履歴データ１３３に記憶し、ステップ４１２にて開いているファイルの一覧を取得して会議資料１３２および画面履歴データ１３３に記憶し、ステップ４１３にて画面表示イメージをキャプチャして画面データ１３５に記憶する。ステップ４１において、例えば１分間などの一定時間の経過を待ち、ステップ４０４に戻る。電子会議プログラムの電子会議終了処理がステップ４５４において行われ、電子会議の終了が会議履歴記録プログラムに通知されると、ステップ４０４において終了と判断し、ステップ４２１にて会議録データに終了記録を記入し、ステップ４２２にて終了する。
【００３３】
図５は画面履歴表示機能１４３を実現する会議履歴参照プログラムの処理の流れを示す図である。ステップ５０１においてプログラムがスタートし、ステップ５０２において、プログラムが動作している端末内の会議録データを参照して会議選択画面２１１を表示し、ユーザから要求があれば、ネットワーク経由でＤＳ１０１の会議録データ１３１を参照して会議選択画面を表示する。ＤＳが複数ある場合には、ＤＳを選択してから会議録データを参照する。会議録データ１３１は、会議終了時に会議に参加していた端末に配布しておくことで、ＤＳに接続することなく自端末が参加した会議の一覧を参照することができる。また、アクセス制限を設定して、アクセス権を所有するユーザのみが、参照できるような構成にすることもできる。会議選択画面２１１にてユーザが会議を選択すると、ステップ５１１において、ユーザが選択した会議の会議ＩＤを会議録データ１３１から読み出し、会議ＩＤに対応する画面履歴データ１３３をネットワーク経由でＤＳ１０１から読み出して表示する。ユーザが画面データ画面２４１から所望の画面データを選択すると、ステップ５２１において、ユーザが選択した画面データに対応する資料名を資料一覧として資料一覧画面２３１に表示し、ユーザからの入力を待つ。ユーザが会議映像画面２２１の再生ボタンを選択した場合はステップ５３１にて、画面データの番号×一定時間（画面キャプチャ時）から経過時間を換算し、時間に対応する映像・音声データを再生し、ステップ５１１に戻る。資料一覧画面２３１にてユーザが資料を選択して「会議版」を選択すると、ステップ５４１にて選択された資料を会議資料１３２からダウンロードしてステップ５１１に戻る。資料一覧画面２３１にてユーザが資料を選択して「最新版」を選択すると、ステップ５５１にて、資料検索機能１５４を使用して公開されている資料を検索してダウンロードし、ステップ５５２にてダウンロードした資料の同期モードを設定して、ステップ５１１に戻る。
【００３４】
ステップ５２１において、資料名を資料一覧として表示する形態を記載したが、画面履歴データ１３３において、資料リストとして記憶する「資料ID」「資料名」「AP名」に「表示領域」を追加し、資料が表示されている画面の座標を取得して記憶するようにし、ユーザが画面データ内に表示されている資料画面をマウスなどで直接クリックすると、クリックした位置からどの資料画面が選択されたかを計算して求めることで資料を選択するような直感的な形態にすることも可能である。
【００３５】
図６は資料の公開、検索、同期の概念を示した図である。会議の終了時には、ＤＳ１０１には会議で使用した資料a６０５が会議資料１３２に記憶されている。ノートＰＣ１０２が会議の終了時に使用した資料a６０２を公開すると、ネットワーク上の仮想領域６１１に資料a６０２を特定するためのID、資料名、複製または実体へのリンク情報が公開される。資料検索時には、資料IDや資料名をキーにして資料の実体を所有する端末を検出し、その端末から資料をダウンロードする。資料aを同期モードに設定しておくと、一定の周期で最新版を自動的に公開できる。ノートＰＣ１０２のユーザが資料a６０２を修正して資料a'６０３として公開し、その時点でデスクトップＰＣ１０３が最新版をダウンロードすると、資料a'６０６がデスクトップＰＣ１０３にダウンロードされる。同期モードを設定しないと、再度、検索して最新版をダウンロードするまで資料は更新されない。一方、デスクトップＰＣ６０１が、資料a６０２をダウンロードして同期モードに設定しておくと、ノートＰＣ１０２のユーザが資料a６０２を修正して資料a'６０３を公開し、再度、資料a狽U０４を公開（または同期モードに設定しておくと自動的に公開する）に同期して、資料をダウンロードして更新する。同期モードを使用するためには、資料IDの管理が必須であるが、同期モードを使用しない場合には、資料名と複製または実体へのリンク情報のみを管理することでも実現可能であるが、資料名が重なる資料がある場合には、検索結果として資料の候補を示す形態となる。
【００３６】
本実施例では、画面履歴データ１３３に記録されているメンバの端末から検索を開始し、資料IDや資料名（資料を特定するための特定情報）をキーにして検索を行う。つまり、メンバの端末へ資料を要求する。会議に参加した端末は資料を公開している可能性が高いため、メンバ（メンバIDや、メンバの端末ID、IPアドレスなど）を記憶しておき、メンバから検索を開始することにより、やみくもに検索を開始するよりも効率的な端末検索が可能となる。メンバ内に検索条件にマッチする公開情報が見つからなかった場合は、メンバと同じネットワーク領域にある端末（IPアドレスが近い端末）に検索範囲を広げていく。ノートPCなどのモバイル端末の場合、接続するネットワークが異なると、会議時に接続していたIPアドレスと異なるIPアドレスを使用することになるが、一台の端末が頻繁に接続するネットワークは、通常は数箇所に限られているため、以前の接続情報（IPアドレス）を端末検出機能１５２が記憶しておき、検索範囲に追加することで、効率的に検索することが可能となる。
【００３７】
図７は資料管理機能１２３に関するソフトウェアの大まかな構成を示した図である。資料管理機能１２３を実現する資料管理アプリケーションは、汎用アプリケーションとネットワーク連携部１５１を実現するネットワーク連携ミドルウェアとの間で資料のＩＤ、公開／検索／同期のモードを管理する。
【００３８】
図８は資料管理機能１２３を実現する資料管理アプリケーションが汎用アプリケーションと連携した場合の画面例である。図８において、画面８０１（（ａ）資料Ｆ９編集中の画面（時刻Ｔ１））では、編集中の資料Ｆ９と同時に、資料Ｆ３と資料Ｆ５が表示されている。Ｔ２＞Ｔ１において、画面８０２（（ｂ）資料Ｆ９編集中の画面（時刻Ｔ２））に示すように、資料Ｆ９の編集中に関連資料を参照したくなった場合、マウスの右ボタンをクリックしてメニューを表示し、メニューに表示された関連資料を選択すると、資料Ｆ９が関係している会議を会議録データ１３１から検索して表示するか、あるいは、資料Ｆ９を使用した会議ＩＤを資料Ｆ９に埋め込んでおき、会議ＩＤから会議名を参照して表示し、その会議において同時に開いた資料の一覧をメニューに表示し、そのなかから必要な資料の最新版をダウンロードすることができる。また、アプリケーション用のフォーマットで作成された資料データ（ファイル）内に、時刻T1において資料が表示されていた部分を示すためのID、例えばページ番号を示すIDを埋め込んでおき、画面履歴参照画面２０１のようなブラウザ機能を有するアプリケーションを使用して、画面８０１を参照して資料F9を選択すると、アプリケーションが起動して資料F９を開き、画面８０１にて表示されていたページを表示する、といったアプリケーションも考えられる。汎用アプリケーションと連携し、会議資料と会議情報とを関連付けすることで、電子会議の画面イメージから、PCの環境が異なる、ファイルが修正されているなどの相違点はあるが、そのときと同じ状況を再現することが可能となる。
【産業上の利用可能性】
【００３９】
本発明は、画面に表示されたイメージと映像・音声データ、および資料を関連づけて管理し、表示することができるため、オフィスでのミーティング、大学やオフィスでの講義、特にe-learningなどに適用できる。
【図面の簡単な説明】
【００４０】
【図１】システムの全体構成図である。
【図２】会議履歴参照画面例を示した図である。
【図３】データ構造を示した図である。
【図４】会議履歴記録プログラムの処理の流れを示した図である。
【図５】会議履歴参照プログラムの処理の流れを示した図である。
【図６】資料の公開／検索／同期の概念を示した図である
【図７】アプリケーションの位置を示した図である。
【図８】アプリケーション連携の画面例を示した図である。
【符号の説明】
【００４１】
１０１ ディスプレイ・ステーション
１０２ ノートPC
１０３ デスクトップPC
２０１ 会議履歴参照画面
２１１ 会議選択画面
２２１ 会議映像画面
２３１ 資料一覧画面
２４１ 画面データ画面
【特許請求の範囲】
【請求項１】
ネットワークで接続された情報処理装置との間で、会議に利用される画面データを共有可能な会議システムにおいて、
前記画面データを一定間隔でキャプチャし、前記画面データを保存する手段と、
前記画面データと前記画面をキャプチャしたときに表示されていた資料を、前記会議の開始からの経過時刻または前記経過時刻への換算が可能な情報によって相関付ける手段と、
前記画面データと前記資料との相関情報を保存する手段と、
ネットワークを介して情報処理装置から前記画面データへの選択を受け付ける手段と、
前記画面データと資料との相関情報に基づいて、選択された前記画面データに相関付けられた資料を検索し、ネットワークを介して前記情報処理装置へ前記資料をダウンロードする手段とを有することを特徴とする会議システム。
【請求項２】
請求項１に記載の会議システムにおいて、
前記会議の様子を記録した映像データと音声データの少なくとも１つを保存する手段と、
前記画面データと前記画面データをキャプチャしたときに記録された前記映像データと前記音声データの少なくとも１つとを、前記会議の開始からの経過時刻または経過時刻への換算が可能な情報によって相関付ける手段と、
前記画面データと映像データと音声データの少なくとも１つ相関情報を保存する手段と、
前記画面データと映像データと音声データの少なくとも１つとの相関情報に基づいて、選択された前記画面データに相関付けられた経過時刻の前記映像データと音声データの少なくとも１つを検索し、前記経過時刻から前記映像データと音声データの少なくとも１つを再生する手段と、
前記映像データと音声データの少なくとも１つの再生位置に同期して、前記再生位置に対応する経過時刻の前記画面データを検索し、前記画面データを表示する手段とを有することを特徴とする会議システム。
【請求項３】
請求項１に記載の会議システムにおいて、
資料を特定するための資料IDを前記資料に付与し、前記資料IDを公開する手段を有し、
前記相関付ける手段は、前記画面データと前記画面データをキャプチャしたときに表示されていた資料の資料IDを相関付け、
前記選択を受け付ける手段は、選択された前記画面データに相関付けられた資料IDへの選択を受け付け、
前記ダウンロードする手段は、前記資料IDをキーとして前記資料を検索することを特徴とする会議システムシステム。
【請求項４】
請求項１に記載の会議システムおいて、
前記資料の資料名と前記資料を公開する手段を有し、
前記相関付ける手段は、前記画面データと前記画面データをキャプチャしたときに表示されていた前記資料の資料名を相関付け、
前記選択を受け付ける手段は、選択された前記画面データに相関付けられた資料名への選択を受け付け、
前記ダウンロードする手段は、前記資料名をキーとして前記資料を検索することを特徴とする会議システム。
【請求項５】
請求項３又は４に記載の会議システムおいて、
前記資料が更新されたかどうかを定期的にチェックする手段を有し、
前記公開する手段は、更新後の資料を公開することを特徴とする会議システム。
【請求項６】
請求項５に記載の会議システムおいて、
前記情報処理装置は、前記資料が更新されたかどうかを定期的にチェックし、前記資料の更新を検出した場合に更新後の前記資料をダウンロードすることを特徴とする会議システム。
【請求項７】
請求項１に記載の会議システムおいて、
前記相関付ける手段は、前記画面データと前記画面データをキャプチャしたときに表示されていた前記資料の資料IDと前記画面データ中の前記資料の座標を相関付け、
前記選択を受け付ける手段は、前記画面データ中の座標を受け付け、
前記ダウンロードする手段は、前記座標キーとして前記資料を検索することを特徴とする会議システム。
【請求項８】
ネットワークで接続された情報処理装置との間で、会議に利用される画面データを共有可能な会議システムによる、会議情報提供方法において、
前記会議システムの処理装置が、前記画面データを一定間隔でキャプチャし、前記画面データを前記会議システムの記憶装置に保存し、
前記処理装置が、前記画面データと前記画面をキャプチャしたときに表示されていた資料を、前記会議の開始からの経過時刻または前記経過時刻への換算が可能な情報によって相関付け、
前記処理装置が、前記画面データと前記資料との相関情報を前記記憶装置に保存し、
前記会議システムの入力装置が、ネットワークを介して情報処理装置から前記画面データへの選択を受け付け、
前記処理装置が、前記画面データと資料との相関情報に基づいて、選択された前記画面データに相関付けられた資料を前記記憶装置から検索し、ネットワークを介して前記情報処理装置へ前記資料をダウンロードすることを特徴とする会議情報提供方法。
【請求項９】
表示装置と処理装置と記憶装置とを備え、ネットワークを介して接続される他の情報処理装置と画面データを共有可能な表示システムにおいて、
前記処理装置は、
前記表示装置に表示された１画面分の画面データをキャプチャし、前記画面データを前記記憶装置に保存する手段と、
前記表示装置に一連の画面データが表示される場合に当該表示システムにネットワークを介して接続される他の情報処理装置を特定するための特定情報又は前記他の情報処理装置の使用者を特定するための特定情報を、前記記憶装置に保存する手段と、
前記画面データがキャプチャされる場合に前記表示装置に前記画面データと共に表示される資料を特定するための特定情報を前記画面データに相関付け、前記画面データと前記相関情報を前記記憶装置に保存する手段と、
前記他の情報処理装置から前記画面データの要求を受けた場合に、前記画面データを前記記憶装置から検索し、前記相関情報に基づいて、検索された前記画面データに相関する前記資料の特定情報を検索し、前記画面データと前記資料の特定情報を前記画面データを要求した他の情報処理装置へ送信する手段と、
前記他の情報処理装置から前記資料の要求を受けた場合に、前記一連の画面データが表示されていた場合に当該表示システムにネットワークを介して接続される前記他の情報処理装置の特定情報又は前記使用者の特定情報を前記記憶装置から検索し、前記資料を前記他の情報処理装置の特定情報によって特定された他の情報処理装置又は前記使用者の特定情報によって特定された他の情報処理装置へ要求する手段と、
前記資料の要求に応答して受信された資料を、前記資料を要求した他の情報処理装置へ送信する手段とを有することを特徴とする表示システム。
【請求項１０】
表示装置と処理装置と記憶装置とを備え、ネットワークを介して接続される他の情報処理装置と画面データを共有可能な表示システムによる、情報提供方法において、
前記処理装置が、前記表示装置に表示された１画面分の画面データをキャプチャし、前記画面データを前記記憶装置に保存し、
前記処理装置が、前記表示装置に一連の画面データが表示される場合に当該表示システムにネットワークを介して接続される他の情報処理装置を特定するための特定情報又は前記他の情報処理装置の使用者を特定するための特定情報を、前記記憶装置に保存し、
前記処理装置が、前記画面データがキャプチャされる場合に前記表示装置に前記画面データと共に表示される資料を特定するための特定情報を前記画面データに相関付け、前記画面データと前記相関情報を前記記憶装置に保存し、
前記処理装置が、前記他の情報処理装置から前記画面データの要求を受けた場合に、前記画面データを前記記憶装置から検索し、前記相関情報に基づいて、検索された前記画面データに相関する前記資料の特定情報を検索し、前記画面データと前記資料の特定情報を前記画面データを要求した他の情報処理装置へ送信し、
前記処理装置が、前記他の情報処理装置から前記資料の要求を受けた場合に、前記一連の画面データが表示されていた場合に当該表示システムにネットワークを介して接続される前記他の情報処理装置の特定情報又は前記使用者の特定情報を前記記憶装置から検索し、前記資料を前記他の情報処理装置の特定情報によって特定された他の情報処理装置又は前記使用者の特定情報によって特定された他の情報処理装置へ要求し、
前記処理装置が、前記資料の要求に応答して受信された資料を、前記資料を要求した他の情報処理装置へ送信する手段とを有することを特徴とする情報提供方法。
【請求項１】
ネットワークで接続された情報処理装置との間で、会議に利用される画面データを共有可能な会議システムにおいて、
前記画面データを一定間隔でキャプチャし、前記画面データを保存する手段と、
前記画面データと前記画面をキャプチャしたときに表示されていた資料を、前記会議の開始からの経過時刻または前記経過時刻への換算が可能な情報によって相関付ける手段と、
前記画面データと前記資料との相関情報を保存する手段と、
ネットワークを介して情報処理装置から前記画面データへの選択を受け付ける手段と、
前記画面データと資料との相関情報に基づいて、選択された前記画面データに相関付けられた資料を検索し、ネットワークを介して前記情報処理装置へ前記資料をダウンロードする手段とを有することを特徴とする会議システム。
【請求項２】
請求項１に記載の会議システムにおいて、
前記会議の様子を記録した映像データと音声データの少なくとも１つを保存する手段と、
前記画面データと前記画面データをキャプチャしたときに記録された前記映像データと前記音声データの少なくとも１つとを、前記会議の開始からの経過時刻または経過時刻への換算が可能な情報によって相関付ける手段と、
前記画面データと映像データと音声データの少なくとも１つ相関情報を保存する手段と、
前記画面データと映像データと音声データの少なくとも１つとの相関情報に基づいて、選択された前記画面データに相関付けられた経過時刻の前記映像データと音声データの少なくとも１つを検索し、前記経過時刻から前記映像データと音声データの少なくとも１つを再生する手段と、
前記映像データと音声データの少なくとも１つの再生位置に同期して、前記再生位置に対応する経過時刻の前記画面データを検索し、前記画面データを表示する手段とを有することを特徴とする会議システム。
【請求項３】
請求項１に記載の会議システムにおいて、
資料を特定するための資料IDを前記資料に付与し、前記資料IDを公開する手段を有し、
前記相関付ける手段は、前記画面データと前記画面データをキャプチャしたときに表示されていた資料の資料IDを相関付け、
前記選択を受け付ける手段は、選択された前記画面データに相関付けられた資料IDへの選択を受け付け、
前記ダウンロードする手段は、前記資料IDをキーとして前記資料を検索することを特徴とする会議システムシステム。
【請求項４】
請求項１に記載の会議システムおいて、
前記資料の資料名と前記資料を公開する手段を有し、
前記相関付ける手段は、前記画面データと前記画面データをキャプチャしたときに表示されていた前記資料の資料名を相関付け、
前記選択を受け付ける手段は、選択された前記画面データに相関付けられた資料名への選択を受け付け、
前記ダウンロードする手段は、前記資料名をキーとして前記資料を検索することを特徴とする会議システム。
【請求項５】
請求項３又は４に記載の会議システムおいて、
前記資料が更新されたかどうかを定期的にチェックする手段を有し、
前記公開する手段は、更新後の資料を公開することを特徴とする会議システム。
【請求項６】
請求項５に記載の会議システムおいて、
前記情報処理装置は、前記資料が更新されたかどうかを定期的にチェックし、前記資料の更新を検出した場合に更新後の前記資料をダウンロードすることを特徴とする会議システム。
【請求項７】
請求項１に記載の会議システムおいて、
前記相関付ける手段は、前記画面データと前記画面データをキャプチャしたときに表示されていた前記資料の資料IDと前記画面データ中の前記資料の座標を相関付け、
前記選択を受け付ける手段は、前記画面データ中の座標を受け付け、
前記ダウンロードする手段は、前記座標キーとして前記資料を検索することを特徴とする会議システム。
【請求項８】
ネットワークで接続された情報処理装置との間で、会議に利用される画面データを共有可能な会議システムによる、会議情報提供方法において、
前記会議システムの処理装置が、前記画面データを一定間隔でキャプチャし、前記画面データを前記会議システムの記憶装置に保存し、
前記処理装置が、前記画面データと前記画面をキャプチャしたときに表示されていた資料を、前記会議の開始からの経過時刻または前記経過時刻への換算が可能な情報によって相関付け、
前記処理装置が、前記画面データと前記資料との相関情報を前記記憶装置に保存し、
前記会議システムの入力装置が、ネットワークを介して情報処理装置から前記画面データへの選択を受け付け、
前記処理装置が、前記画面データと資料との相関情報に基づいて、選択された前記画面データに相関付けられた資料を前記記憶装置から検索し、ネットワークを介して前記情報処理装置へ前記資料をダウンロードすることを特徴とする会議情報提供方法。
【請求項９】
表示装置と処理装置と記憶装置とを備え、ネットワークを介して接続される他の情報処理装置と画面データを共有可能な表示システムにおいて、
前記処理装置は、
前記表示装置に表示された１画面分の画面データをキャプチャし、前記画面データを前記記憶装置に保存する手段と、
前記表示装置に一連の画面データが表示される場合に当該表示システムにネットワークを介して接続される他の情報処理装置を特定するための特定情報又は前記他の情報処理装置の使用者を特定するための特定情報を、前記記憶装置に保存する手段と、
前記画面データがキャプチャされる場合に前記表示装置に前記画面データと共に表示される資料を特定するための特定情報を前記画面データに相関付け、前記画面データと前記相関情報を前記記憶装置に保存する手段と、
前記他の情報処理装置から前記画面データの要求を受けた場合に、前記画面データを前記記憶装置から検索し、前記相関情報に基づいて、検索された前記画面データに相関する前記資料の特定情報を検索し、前記画面データと前記資料の特定情報を前記画面データを要求した他の情報処理装置へ送信する手段と、
前記他の情報処理装置から前記資料の要求を受けた場合に、前記一連の画面データが表示されていた場合に当該表示システムにネットワークを介して接続される前記他の情報処理装置の特定情報又は前記使用者の特定情報を前記記憶装置から検索し、前記資料を前記他の情報処理装置の特定情報によって特定された他の情報処理装置又は前記使用者の特定情報によって特定された他の情報処理装置へ要求する手段と、
前記資料の要求に応答して受信された資料を、前記資料を要求した他の情報処理装置へ送信する手段とを有することを特徴とする表示システム。
【請求項１０】
表示装置と処理装置と記憶装置とを備え、ネットワークを介して接続される他の情報処理装置と画面データを共有可能な表示システムによる、情報提供方法において、
前記処理装置が、前記表示装置に表示された１画面分の画面データをキャプチャし、前記画面データを前記記憶装置に保存し、
前記処理装置が、前記表示装置に一連の画面データが表示される場合に当該表示システムにネットワークを介して接続される他の情報処理装置を特定するための特定情報又は前記他の情報処理装置の使用者を特定するための特定情報を、前記記憶装置に保存し、
前記処理装置が、前記画面データがキャプチャされる場合に前記表示装置に前記画面データと共に表示される資料を特定するための特定情報を前記画面データに相関付け、前記画面データと前記相関情報を前記記憶装置に保存し、
前記処理装置が、前記他の情報処理装置から前記画面データの要求を受けた場合に、前記画面データを前記記憶装置から検索し、前記相関情報に基づいて、検索された前記画面データに相関する前記資料の特定情報を検索し、前記画面データと前記資料の特定情報を前記画面データを要求した他の情報処理装置へ送信し、
前記処理装置が、前記他の情報処理装置から前記資料の要求を受けた場合に、前記一連の画面データが表示されていた場合に当該表示システムにネットワークを介して接続される前記他の情報処理装置の特定情報又は前記使用者の特定情報を前記記憶装置から検索し、前記資料を前記他の情報処理装置の特定情報によって特定された他の情報処理装置又は前記使用者の特定情報によって特定された他の情報処理装置へ要求し、
前記処理装置が、前記資料の要求に応答して受信された資料を、前記資料を要求した他の情報処理装置へ送信する手段とを有することを特徴とする情報提供方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−１４８７３０（Ｐ２００６−１４８７３０Ａ）
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願番号】特願２００４−３３８３５１（Ｐ２００４−３３８３５１）
【出願日】平成１６年１１月２４日（２００４．１１．２４）
【出願人】（５０４３７３０９３）日立オムロンターミナルソリューションズ株式会社 (1,225)
【Ｆターム（参考）】
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願日】平成１６年１１月２４日（２００４．１１．２４）
【出願人】（５０４３７３０９３）日立オムロンターミナルソリューションズ株式会社 (1,225)
【Ｆターム（参考）】
[ Back to top ]