議事録作成再生装置
【課題】議事録作成再生装置において、目的の部分を簡単に参照できる議事録を作成する。
【解決手段】マイク２で会議の音声を録音し、カメラ３やビデオカメラ４で会議の映像を記録する。別に録音した音声データを後で追加することもできる。録音録画しながら、会議のメモをパソコン１のキーボードから入力すると、入力開始からの経過時間情報が付加されて記録される。記録された音声や映像の再生時に、経過時間に対応するメモの部分を表示する。メモの任意の部分を指定すると、その部分に対応する音声や映像を再生する。映像は静止画でも動画像でもよい。映像を指定すると、対応するメモの部分を表示する。
【解決手段】マイク２で会議の音声を録音し、カメラ３やビデオカメラ４で会議の映像を記録する。別に録音した音声データを後で追加することもできる。録音録画しながら、会議のメモをパソコン１のキーボードから入力すると、入力開始からの経過時間情報が付加されて記録される。記録された音声や映像の再生時に、経過時間に対応するメモの部分を表示する。メモの任意の部分を指定すると、その部分に対応する音声や映像を再生する。映像は静止画でも動画像でもよい。映像を指定すると、対応するメモの部分を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、議事録作成再生装置に関し、特に、会議の音声や映像やメモからなる議事録を作成して再生する議事録作成再生装置に関する。
【背景技術】
【０００２】
会議をサポートするシステムや、会議の議事録を作成するシステムがある。例えば、会議の映像を記録する際、話題や話者ごとに分割して記録することで、後から特定の話題や特定の話者の発言を追いかけやすくしている。また、物理的に離れた場所にいる会議参加者のあいだの情報交換をサポートし、会議の終了後には、会議の記録を利用者に提供する。あるいは、発言や参加者の移動などの事象に基づいて、会議の映像を自動的に要約する。以下に、議事録作成に関連する従来技術の例をいくつかあげる。
【０００３】
特許文献１に開示された「議事録作成支援装置」は、会議で発言された音声メモからテキストメモを起こす際に、音声の再生範囲を指定して再生することで、正確な議事録を作成するものである。会議中の発言の音声情報を記録し、それぞれ所定の再生範囲でのみ聴取可能に再生する。再生された音声メモをもとにテキストメモを作成して構造化する。構造化されたテキストメモを表示する。
【０００４】
特許文献２に開示された「情報再生装置」は、会議やプレゼンテーションで提示された電子文書を、実際に提示された通りのタイミングで、動画像や音声などの時系列情報と同期させて表示するものである。会議やプレゼンテーションの際に提示された電子文書を、識別子と対応付けて格納する。識別子と提示時刻情報を対応付けて格納する。会議やプレゼンテーションを再現する際に、時系列情報に対応する電子文書を検索して、時系列情報に同期させて表示する。
【０００５】
特許文献３に開示された「議事録ファイル生成方法」は、マルチメディア情報の議事録ファイルのデータ量を効率的に削減し、議事録ファイルへの効率的なアクセスを実現する方法である。会議サーバーと複数の会議端末とが、ネットワークを介して接続されている。会議の進行中に、リアルタイム会議データファイルと、時刻情報および見出し情報を含むインデックスファイルを作成する。会議終了後に、リアルタイム会議データファイルの音声ストリームのマージ処理や画像の間引き処理等の編集を行い、議事録ファイルを生成する。この議事録ファイルを、インデックスファイルで管理する。
【０００６】
特許文献４に開示された「議事録作成支援装置」は、会議参加者に負担をかけることなく、議事録作成者の意図を加味した議事録を作成するものである。図８に示すように、会議映像に日時情報を付して記録する。会議進行中に、会議の進行内容のメモを入力し、日時情報を付けて記憶する。会議中の音声を音声認識することによって、書き起こしテキストを作成する。会議の進行内容のメモを編集して議事録を作成する。議事録と会議映像音声との間にリンクをはって、会議映像音声と関連付けた議事録を作成する。議事録を表示する際に、議事録に対応する映像音声を表示できるので、議事録の記述内容が会議のどのシーンに対応するか確認できる。
【特許文献１】特開平08-194492号公報
【特許文献２】特許第3637937号公報（特開平10-055391号公報）
【特許文献３】特開2005-244524号公報
【特許文献４】特開2006-268800号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、従来の議事録作成方法では、次のような問題がある。会議の映像を見ることは、非常に手間と時間のかかる行為である。要約されていたり、特定の話題に絞られていたりしても、必要な部分を見るためには無駄が多い。目的とする部分を見るまでに長い時間がかかる。それを避けるために、議事録を編集すると、議事録作成の時間とコストがかかる。また、特許文献４に開示された「議事録作成支援装置」のように、メモと映像音声とをリンクで対応付ける方法では、後編集の時間と手間が必要になり、議事録閲覧の操作も煩雑になる。
【０００８】
本発明の目的は、上記従来の問題を解決して、議事録作成再生装置において、会議の映像音声とメモを対応させた議事録をリアルタイムに作成して、会議終了後に直ちにメモを映像音声に対応させて閲覧できるようにし、閲覧したい目的の映像音声やメモの部分を、いずれからも簡単に取り出せるようにすることである。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明では、議事録作成再生装置を、文字データを入力する文字入力手段と、入力された文字データに入力開始からの時間情報を付加してテキストとして記録するテキスト記録手段と、音声を入力する音声入力手段と、入力された音声に入力開始からの時間情報を付加して記録する音声記録手段と、記録されたテキストを時系列で表示するテキスト表示手段と、記録された音声を再生出力する音声出力手段と、再生音声に対応するテキストの位置を表示するように制御する同期表示制御手段とを具備する構成とした。同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する音声を再生する手段を備える。音声記録手段に、時間情報を付加して音声データを追加する手段を備える。
【００１０】
また、静止画を入力する画像入力手段と、入力された静止画に入力開始からの時間情報を付加して記録する画像記録手段と、記録された静止画を再生出力する画像表示手段とを備え、同期表示制御手段に、表示された静止画が指定されたことに応じて当該静止画の時間に対応する音声を再生する手段を備える。同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する静止画を表示する手段を備える。動画像を入力する映像入力手段と、入力された動画像に入力開始からの時間情報を付加して記録する映像記録手段と、記録された動画像を再生出力する映像表示手段とを備え、同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する動画像を再生する手段を備える。
【００１１】
また、議事録作成再生サーバー装置を、ネットワークを介してクライアント装置と交信する送受信手段と、送受信手段を介して受信した文字データに入力開始からの経過時間情報を付加してテキストとして記録するテキスト記録手段と、送受信手段を介して受信した音声データを格納する音声格納手段と、記録されたテキストをクライアント装置に送信する手段と、音声データをクライアント装置に送信して再生させる手段と、再生音声に対応するテキストの位置を表示するようにクライアント装置に指示する同期表示制御手段とを具備する構成とした。
【発明の効果】
【００１２】
上記のように構成したことにより、目的の部分を簡単に取り出せる議事録を作成できる。すなわち、会議の映像音声の再生時にメモを参照できるので、話題を把握しやすくなる。メモを指定して対応する映像音声の個所を再生できるので、聞きたい個所を容易に探せる。映像音声から対応するメモを取り出せるので、会議の内容を文字で確認できる。動画像も検索できるので、ホワイトボードに図を描きながら説明しているような会議でも内容がわかりやすくなる。
【００１３】
また、議事録作成再生サーバー装置では、サーバー上の音声データの再生開始位置をURLの形式で自由に指定することができるので、第三者に「この会議のこの部分」という情報を、メールなどの文字ベースの手段で簡単に伝えることができる。さらに、複数の議事録担当者が議事録メモを作成しているときに、それぞれのクライアントPCに同じ情報を表示するので、齟齬を減らすことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について、図１〜図７を参照しながら詳細に説明する。
【実施例１】
【００１５】
本発明の実施例１は、入力された文字データに入力開始からの時間情報を付加して記録し、音声も同時に記録し、記録された音声の再生時に、文字データの対応する位置を表示する議事録作成再生装置である。
【００１６】
図１は、本発明の実施例１における議事録作成再生装置の構成を示す概念図と、機能的ブロック図と、処理手順の流れ図である。図１において、パソコン１は、議事録を作成し再生するためのパソコンである。マイク２は、パソコンに接続するマイクである。カメラ３は、パソコンに接続する静止画撮影用のカメラである。ビデオカメラ４は、パソコンに接続する動画像撮影用のビデオカメラである。
【００１７】
図２は、議事録作成再生装置の議事録作成時の表示画面を示す図である。図３は、議事録作成再生装置のデータ例を示す図である。図４は、議事録作成再生装置の議事録閲覧時の表示画面を示す図である。
【００１８】
上記のように構成された本発明の実施例１における議事録作成再生装置の機能と動作を説明する。最初に、図１を参照しながら、議事録作成再生装置の機能の概要を説明する。図１（ａ）に示す構成では、パソコン１のキーボードから文字データを入力する。入力された文字データに、入力開始からの時間情報を付加してテキストとして記録する。マイク２から音声を入力する。入力された音声に、入力開始からの時間情報を付加して記録する。音声データは、あとで時間情報を付加して追加することもできる。再生時には、記録されたテキストを時系列で表示し、記録された音声を再生出力する。そのとき、再生音声に対応するテキストの位置を表示する。表示されたテキストの一部分が指定されると、当該部分に対応する音声を再生する。
【００１９】
図１（ｂ）に示す構成では、カメラ３から静止画を入力する。入力された静止画に、入力開始からの時間情報を付加して記録する。再生時には、記録された静止画を再生出力する。表示された静止画が指定されると、当該静止画の時間に対応する音声を再生する。表示されたテキストの一部分が指定されると、当該部分に対応する静止画を表示する。図１（ｃ）に示す構成では、ビデオカメラ４から動画像を入力する。入力された動画像に入力開始からの時間情報を付加して記録する。再生時には、記録された動画像を再生出力する。表示されたテキストの１行が指定されると、当該行の時間に対応する動画像を再生する。
【００２０】
会議中に議事録の担当者が取ったメモは、会議中の話題を追いかけるのには最適な材料である。そのメモの一文一文に、経過時間を記録する。その時間の前後では、そのメモに対応する話題が議論されていたはずである。会議の音声や映像も経過時間情報を付して記録し、関心のあるメモの部分を指定することで、目的の箇所の音声や映像を容易に見つけられる。
【００２１】
これらの機能をまとめて示すと、図１（ｄ）のブロック図のようになる。キーボードなどのテキスト入力手段からメモを入力する。入力されたメモには、タイマーにより経過時間情報が付加され、テキスト記録手段に記録される。マイク２やカメラ３やビデオカメラ４などの音声映像入力手段から入力された音声や静止画や動画像は、タイマーにより経過時間情報が付加され、音声映像記録手段に記録される。再生時には、同期表示制御手段により同期がとられて、対応部分が表示手段に表示される。
【００２２】
議事録を作成する手順の概要を、図１（ｅ）の流れ図を参照しながら説明する。ステップ１で、録音と撮影の開始を指示する。ステップ２で、メモを入力する。メモは随時入力できる。会議が終わると、ステップ３で、録音と撮影の終了を指示する。ステップ４で、ファイルの保存処理を行なう。議事録を再生する手順の概要を、図１（ｆ）の流れ図を参照しながら説明する。ステップ５で、再生ボタンを押下する。ステップ６で、音声と映像を再生し、その経過時間に対応するメモを表示する。ステップ７で、メモの１行が選択されると、ステップ８で、その経過時間に対応する映像を表示する。ステップ９で、映像の１つが選択されると、ステップ10で、その経過時間に対応するメモを表示する。ステップ11で、停止ボタンが押下されると終了する。
【００２３】
次に、図２と図３を参照しながら、議事録作成時の動作を詳しく説明する。まず、パソコン１にマイク２を接続する。マイク２はパソコン１に内蔵のものがあれば、当然それでもかまわない。なお、パソコン１とは関係のないICレコーダーなどを使って録音をして、後から音声データを追加するのであれば、パソコン１に接続されたマイク２を使用しなくてもかまわない。操作者が記録用ソフトを起動すると、図２（ａ）に示すように、画面には、インジケータ部、操作部、タイマー部、入力部が表示される。記録者が画面の記録開始ボタンを押すと録音が開始される。録音の開始と同時に内部のタイマーがスタートし、録音開始からの時間が計測される。また同時に、録音の開始時間を記録しておく。
【００２４】
この状態で、入力部に文字を入力する。入力部にフォーカスした状態でキーを叩くと、その時間、すなわち、画面の記録開始ボタンを押してからの経過時間を記録し、入力部の左に表示する。入力の途中で改行を入力すると、新たな行に移動する。その状態でさらに入力をすると、再びその入力の時間を記録する。ある程度入力した状態の画面が、図２（ｂ）である。停止ボタンを押すと録音が終了し、タイマーも終了する。この状態で、メニューから「保存」を選ぶと、議事録の名前を入力させたうえで、一連のファイルが保存される。保存されるファイルは、例えば、図３（ａ）のようになる。2006年12月25日に記録し、「クリスマス記念講演」という名前で保存した例である。
【００２５】
ここで、project.datは、議事録のファイル構成などを記録したファイルであり、内容は、図３（ｃ）のようになる。ここでは、yaml形式のテキストファイルとしてあるが、独自のバイナリ形式やその他のテキスト形式（XML、JSON、独自など）でもよい。mp3形式のファイルは、録音した音声で、ファイル名は、年、月、日、時、分、秒（1/100秒まで）としてあるが、これにこだわる必要はない。また、形式もmp3でなくwavなど、ほかの形式でもよい。
【００２６】
memo.txtは、入力欄に入力したテキストで、図３（ｅ）のような形式で保存される。このようにプレーンテキストの形式で保存することで、後で別のエディタなどで編集することができる。バイナリなど別の形式でもかまわない。以上のファイル構成は、あくまで例なので、すべてを1ファイルにしてもよい。入力欄への入力と時刻データの関連付けを、複数ファイルに分割してもよい。また、そのほかの形にしてもかまわない。
【００２７】
一時停止ボタンを押すと、録音とタイマーのカウントの両方が停止する。一時停止中や停止後に、入力部のテキストを編集しても、時間は記録されない。図１（ｂ）のようにカメラ３を接続して、音声だけでなく映像（静止画）も同時に記録できる。この画面例を、図２（ｃ）に示す。マイク２とカメラ３ではなく、図１（ｃ）のように、パソコン１に接続可能なビデオカメラ４を利用してもよい。新しい行に一度文字を書いて時間が記録されたのち、文字を削除しても、記録された時間は消えない。新しい行に何も書かずに、さらに改行した場合、時間は記録されない。
【００２８】
議事録作成中にデジタルスチルカメラなどで撮影した写真の画像ファイルを、あとで添付することができる。メニューから「画像の追加」を選択すると、ファイル選択のダイアログが表示され、画像が追加される。このときのファイル構成は、図３（ｂ）のようになる。ここで、画像ファイルに記録されたEXIF情報などから撮影の時間を取り出し、project.datに保存されている開始時刻と比較して、録音開始時点からの経過時間を計算する。この時間と画像ファイルの関連は、photo.metaファイルに記録する。
【００２９】
このときのproject.datの内容とphoto.metaの内容は、それぞれ、図３（ｄ）、（ｆ）のようになる。図３（ｆ）の例では、yaml形式になっているが、これもどんな形式でもよい。２つめのファイル（R00126.jpg）の「after:true」となっているのは、録音の終了後に撮影されたことを示す。このほか、別のICレコーダーやビデオカメラなどで撮影した音声や映像がある場合、同様に追加することができ、project.datに情報が追加される。また、開始時刻が自動的に取得できない場合は、手作業で時刻を入力する。
【００３０】
次に、図４を参照しながら、再生（閲覧）時の動作を説明する。操作者は再生用のプログラムを起動する。実際には、再生用と記録用を１つのプログラムとして、起動時にモードを選択するようにしてもよい。あるいは、はじめに再生用モードで起動して、必要なときに記録用モードに変更するようにしてもよい。起動すると、図４（ａ）、（ｂ）に示すように、画面にはインジケータ部、操作部、映像表示部（ビデオファイルがあれば）、画像表示部（写真ファイルがあれば）、テキスト表示部が表示される。
【００３１】
操作部の再生ボタンをクリックすると、音声や映像（動画像）が再生される。テキスト表示部で、対応する行にカーソルが移動して、現在どの行に対応する部分を再生しているのかがわかる。また逆に、テキスト表示部の一部分をクリックすると、記録されている時間から判断し、音声や映像を対応する部分から再生する。静止画がある場合には、同様に、音声や映像の再生時には、対応する静止画がカーソルで示され、静止画をクリックすると、対応する位置から音声や映像が再生される。また、検索機能も備える。メニューから検索を選択すると、検索語を入力するダイアログが開く。検索結果をクリックすると、該当するテキストが表示されるだけでなく、音声や映像も該当部分から再生することができる。
【００３２】
このようにして、会議の録音を再生しているときに、議事録担当者が記録したメモを自動で対応させながら見ることができ、そのときの話題が追いかけやすくなる。議事録担当者が作成したメモの一部を指定することで、会議の録音のなかからその部分に対応する個所を再生することができ、聞きたい個所を探すのが容易になる。他の手段で録音した音声を利用することができ、録音機器が故障した際などにも対応できる。会議の音声だけでなく映像も検索することができるようになり、ホワイトボードに図を描きながら説明しているような会議でも、内容がわかりやすくなる。議事録担当者が作成したメモだけではなく、撮影担当者がデジタルスチルカメラなどで撮影した写真データから、撮影したときの話題の映像や音声を再生することができ、また逆に、再生時に写真を表示することができ、会議の雰囲気を伝えやすくなる。
【００３３】
上記のように、本発明の実施例１では、議事録作成再生装置を、入力された文字データに入力開始からの時間情報を付加して記録し、音声も同時に記録し、記録された音声の再生時に、文字データの対応する位置を表示する構成としたので、簡単に目的の部分を参照できる議事録を作成することが可能となる。
【実施例２】
【００３４】
本発明の実施例２は、受信した文字データに入力開始からの経過時間情報を付加してテキストとして記録し、受信した音声や映像のデータを格納し、クライアント装置からの再生要求に応じてテキストと音声や映像のデータを送信し、音声や映像に対応するテキストの位置を表示するようにクライアント装置に指示する議事録作成再生サーバー装置である。
【００３５】
図５は、本発明の実施例２における議事録作成再生サーバー装置を含むシステム構成を示す概念図と、機能的ブロック図と、処理手順の流れ図である。図５において、ビデオカメラ４は、パソコンに接続する動画像撮影用のビデオカメラである。サーバー５は、議事録を作成するサーバー装置である。クライアントPC６は、議事録の作成を依頼するPCである。ネットワーク７は、LANやインターネットなどである。図６は、議事録を作成する時の表示画面を示す図である。図７は、議事録閲覧時の表示画面を示す図である。
【００３６】
上記のように構成された本発明の実施例２における議事録作成再生サーバー装置の機能と動作を説明する。最初に、図５を参照しながら、議事録作成サーバー装置の機能の概要を説明する。会議中に受信した文字データに、入力開始からの経過時間情報をタイマーで付加してテキストとして記録する。また、会議終了後に受信した音声や映像のデータファイルを格納する。クライアント装置からの再生要求に応じて、テキストと音声や映像のデータを送信して再生させる。そのとき、再生音声に対応するテキストの位置を表示するように、クライアント装置に指示する。クライアント装置から経過時間を指定する情報を受信すると、受信した経過時間に対応するテキストと音声や映像のデータをクライアント装置に送信する。会議中に複数のクライアント装置から文字データを受信すると、経過時間に従って１つのテキストに編集して、各クライアント装置に編集結果のテキストを返送する。
【００３７】
議事録を作成する手順の概要を、図５（ｃ）の流れ図を参照しながら説明する。ステップ21で、会議の始めに録音と撮影の開始を指示する。ステップ22で、会議中にメモを入力する。メモは随時入力できる。会議が終わると、ステップ23で、録音と撮影の終了を指示する。ステップ24で、音声や映像のファイルをサーバーにアップロードする。議事録を再生する手順の概要を、図５（ｄ）の流れ図を参照しながら説明する。予め、クライアントPCでサーバーの議事録閲覧のページを読み出す。ステップ25で、再生ボタンを押下する。ステップ26で、音声と映像を再生し、その経過時間に対応するメモを表示する。ステップ27で、メモの１行が選択されると、ステップ28で、その経過時間に対応する映像を表示する。ステップ29で、映像の１つが選択されると、ステップ30で、その経過時間に対応するメモを表示する。ステップ31で、停止ボタンが押下されると終了する。
【００３８】
次に、図６を参照しながら、議事録作成時の動作を説明する。利用者#１はクライアントPC#１を操作し、利用者#２はクライアントPC#２を操作しているものとする。この場合、利用者#１もしくは第三者が、ビデオカメラなどで撮影を行う。ビデオカメラを用いなくて、クライアントPCに接続されたUSBカメラとマイクを用いてもよい。マイクだけ使って音声のみを収録してよい。ICレコーダーなどで録音してもよい。利用者#１が、サーバー上にある議事録作成再生ページにWebブラウザでアクセスすると、図６（ａ）に示す画面が表示される。表示された画面で議事録の名前を入力して、新規作成のボタンをクリックする。すると、新しい議事録のURLが生成され、利用者#１のブラウザは、そのURLの画面を表示する。
【００３９】
ここで、利用者#１は、ビデオカメラの録画ボタンを押すのに合わせて、「開始」ボタンを押す。すると、「開始」ボタンを押したことがサーバーに通知され、サーバー上で開始時刻を記録する。この後、新規入力部にメモを入力すると、その内容は逐一サーバーに送信される。サーバーは、文字入力の開始に合わせて、図３に示すようなデータを構築する。新規入力部で文字入力を開始したときには、サーバーに即通知して時刻を記録するが、編集部の内容は、10秒に一度などの頻度でサーバー上のデータと同期する。新規入力部で入力後にEnterキーを入力すると、編集部の末尾に入力内容が追加され、新規入力部がクリアされる。
【００４０】
このとき、議事録のURLに利用者#２がアクセスすると、利用者#１と同様の画面が表示され、メモの入力をすることができる。編集部を利用者#１、#２の双方が編集すると競合する可能性がある。競合を自動的に解消できる場合は解消し、できない場合は利用者#１の編集を優先する。利用者#１しか編集部で編集できないようにしてもいいし、優先する利用者を選択できるようにしてもよい。「開始」ボタンをクリックした利用者#１の情報は、Cookieを利用すれば取得できる。利用者#１が「開始」ボタンをクリックした時点で、Cookieをブラウザに保存する。Cookieが保存されている場合に、利用者#１に優先権を与える。また、利用者#１が編集できるようにする。
【００４１】
録音が終了したら、利用者#１が「終了」ボタンをクリックする。利用者#２が押してもよい。また、利用者#１以外は押せないようにしてもよい。この判断にもCookieを利用する。「終了」ボタンをクリックすると、図７（ａ）に示すように、音声ファイルや映像ファイルや画像ファイルをアップロードする画面になる。これらのファイルをアップロードすると、図３（ｂ）に示すようなメタデータが生成される。ファイルは、メタデータの示すとおりに保存される。アップロードしたファイルが画像の場合、実施例１の場合と同様に、EXIF情報から撮影時刻を取得する。
【００４２】
次に、図６と図７を参照しながら、議事録再生（閲覧）時の動作を説明する。利用者は、Webブラウザで、図６（ａ）に示す画面の既存の議事録の欄から、閲覧したい議事録を選択してクリックする。図７（ａ）のような画面が開き、音声もしくは映像のストリーミング再生をすることができる。再生中は、テキスト表示部のテキストと画像表示部の画像が映像の再生位置に従ってスクロールする。また、テキスト表示部のテキストは一行一行がリンクになっており、そこをクリックすると映像の該当部分から再生が始まる。また、画像も同様にリンクになっていて、クリックすると撮影した時刻に対応する部分から再生が始まる。
【００４３】
図６（ａ）に示す画面の右上の検索ボックスに検索語句を入れて検索すると、入力したテキストから検索語句が検索される。検索結果のリンクは、その該当するテキストに対応するURLになっている。検索結果をクリックすると、映像も該当部分から再生される。また、各議事録の再生ページは、blogシステムのように、コメントやトラックバックを受け付けられるようになっていてもよい。RSSやAtomなどのFeedで、新規議事録の追加を通知してもよい。さらに、Feedを利用する場合は、enclosureとしてビデオへのリンクを含み、podcastingと呼ばれる技術に対応してもいい。
【００４４】
このようにして、サーバーシステム上で議事録用のメモを作成することができるため、複数のクライアントPCからアクセスすることで、複数の議事録担当者によりメモを充実できる。また、サーバー上に音声データなどを保持して表示することで、クライアントPCには特別なソフトウェアをインストールしなくても、Webブラウザのみで議事録を見ることができる。サーバー上の音声データの開始位置を、URLの形式で自由に指定することができるので、第三者に「この会議のこの部分」という情報を、メールなどの文字ベースの手段で簡単に伝えることができる。複数の議事録担当者が議事録メモを作成しているときに、それぞれのクライアントPCに同じ情報を表示することができ、齟齬を減らすことができる。会議の音声だけでなく映像も検索することができるようになり、ホワイトボードに図を描きながら説明しているような会議でも、内容がわかりやすくなる。議事録担当者が作成したメモだけではなく、撮影担当者がデジタルスチルカメラなどで撮影した写真データから、撮影したときの話題の映像や音声を再生することができる。また逆に、再生時に写真を表示することができ、会議の雰囲気を伝えやすくなる。
【００４５】
上記のように、本発明の実施例２では、議事録作成再生サーバー装置を、受信した文字データに入力開始からの経過時間情報を付加してテキストとして記録し、受信した音声や映像のデータを格納し、クライアント装置からの再生要求に応じてテキストと音声や映像のデータを送信し、音声や映像に対応するテキストの位置を表示するようにクライアント装置に指示する構成としたので、簡単に目的の部分を参照できる議事録をサーバーで作成することが可能となる。
【産業上の利用可能性】
【００４６】
本発明の議事録作成再生装置は、会議の議事録を作成する装置として最適である。また、大学の講義を収録する講義収録システムとしても利用できる。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施例１における議事録作成再生装置の構成を示す概念図である。
【図２】本発明の実施例１における議事録作成再生装置の画面を示す概念図である。
【図３】本発明の実施例１における議事録作成再生装置のデータ構成を示す概念図である。
【図４】本発明の実施例１における議事録作成再生装置の再生画面を示す概念図である。
【図５】本発明の実施例２における議事録作成再生サーバー装置を含むシステムの構成を示す概念図である。
【図６】本発明の実施例２における議事録作成再生サーバー装置がクライアントPCに送る入力画面を示す概念図である。
【図７】本発明の実施例２における議事録作成再生サーバー装置がクライアントPCに送る再生画面を示す概念図である。
【図８】従来の議事録作成支援装置の概念図である。
【符号の説明】
【００４８】
１・・・パソコン、２・・・マイク、３・・・カメラ、４・・・ビデオカメラ、５・・・サーバー、６・・・クライアントPC、７・・・ネットワーク。
【技術分野】
【０００１】
本発明は、議事録作成再生装置に関し、特に、会議の音声や映像やメモからなる議事録を作成して再生する議事録作成再生装置に関する。
【背景技術】
【０００２】
会議をサポートするシステムや、会議の議事録を作成するシステムがある。例えば、会議の映像を記録する際、話題や話者ごとに分割して記録することで、後から特定の話題や特定の話者の発言を追いかけやすくしている。また、物理的に離れた場所にいる会議参加者のあいだの情報交換をサポートし、会議の終了後には、会議の記録を利用者に提供する。あるいは、発言や参加者の移動などの事象に基づいて、会議の映像を自動的に要約する。以下に、議事録作成に関連する従来技術の例をいくつかあげる。
【０００３】
特許文献１に開示された「議事録作成支援装置」は、会議で発言された音声メモからテキストメモを起こす際に、音声の再生範囲を指定して再生することで、正確な議事録を作成するものである。会議中の発言の音声情報を記録し、それぞれ所定の再生範囲でのみ聴取可能に再生する。再生された音声メモをもとにテキストメモを作成して構造化する。構造化されたテキストメモを表示する。
【０００４】
特許文献２に開示された「情報再生装置」は、会議やプレゼンテーションで提示された電子文書を、実際に提示された通りのタイミングで、動画像や音声などの時系列情報と同期させて表示するものである。会議やプレゼンテーションの際に提示された電子文書を、識別子と対応付けて格納する。識別子と提示時刻情報を対応付けて格納する。会議やプレゼンテーションを再現する際に、時系列情報に対応する電子文書を検索して、時系列情報に同期させて表示する。
【０００５】
特許文献３に開示された「議事録ファイル生成方法」は、マルチメディア情報の議事録ファイルのデータ量を効率的に削減し、議事録ファイルへの効率的なアクセスを実現する方法である。会議サーバーと複数の会議端末とが、ネットワークを介して接続されている。会議の進行中に、リアルタイム会議データファイルと、時刻情報および見出し情報を含むインデックスファイルを作成する。会議終了後に、リアルタイム会議データファイルの音声ストリームのマージ処理や画像の間引き処理等の編集を行い、議事録ファイルを生成する。この議事録ファイルを、インデックスファイルで管理する。
【０００６】
特許文献４に開示された「議事録作成支援装置」は、会議参加者に負担をかけることなく、議事録作成者の意図を加味した議事録を作成するものである。図８に示すように、会議映像に日時情報を付して記録する。会議進行中に、会議の進行内容のメモを入力し、日時情報を付けて記憶する。会議中の音声を音声認識することによって、書き起こしテキストを作成する。会議の進行内容のメモを編集して議事録を作成する。議事録と会議映像音声との間にリンクをはって、会議映像音声と関連付けた議事録を作成する。議事録を表示する際に、議事録に対応する映像音声を表示できるので、議事録の記述内容が会議のどのシーンに対応するか確認できる。
【特許文献１】特開平08-194492号公報
【特許文献２】特許第3637937号公報（特開平10-055391号公報）
【特許文献３】特開2005-244524号公報
【特許文献４】特開2006-268800号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、従来の議事録作成方法では、次のような問題がある。会議の映像を見ることは、非常に手間と時間のかかる行為である。要約されていたり、特定の話題に絞られていたりしても、必要な部分を見るためには無駄が多い。目的とする部分を見るまでに長い時間がかかる。それを避けるために、議事録を編集すると、議事録作成の時間とコストがかかる。また、特許文献４に開示された「議事録作成支援装置」のように、メモと映像音声とをリンクで対応付ける方法では、後編集の時間と手間が必要になり、議事録閲覧の操作も煩雑になる。
【０００８】
本発明の目的は、上記従来の問題を解決して、議事録作成再生装置において、会議の映像音声とメモを対応させた議事録をリアルタイムに作成して、会議終了後に直ちにメモを映像音声に対応させて閲覧できるようにし、閲覧したい目的の映像音声やメモの部分を、いずれからも簡単に取り出せるようにすることである。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明では、議事録作成再生装置を、文字データを入力する文字入力手段と、入力された文字データに入力開始からの時間情報を付加してテキストとして記録するテキスト記録手段と、音声を入力する音声入力手段と、入力された音声に入力開始からの時間情報を付加して記録する音声記録手段と、記録されたテキストを時系列で表示するテキスト表示手段と、記録された音声を再生出力する音声出力手段と、再生音声に対応するテキストの位置を表示するように制御する同期表示制御手段とを具備する構成とした。同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する音声を再生する手段を備える。音声記録手段に、時間情報を付加して音声データを追加する手段を備える。
【００１０】
また、静止画を入力する画像入力手段と、入力された静止画に入力開始からの時間情報を付加して記録する画像記録手段と、記録された静止画を再生出力する画像表示手段とを備え、同期表示制御手段に、表示された静止画が指定されたことに応じて当該静止画の時間に対応する音声を再生する手段を備える。同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する静止画を表示する手段を備える。動画像を入力する映像入力手段と、入力された動画像に入力開始からの時間情報を付加して記録する映像記録手段と、記録された動画像を再生出力する映像表示手段とを備え、同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する動画像を再生する手段を備える。
【００１１】
また、議事録作成再生サーバー装置を、ネットワークを介してクライアント装置と交信する送受信手段と、送受信手段を介して受信した文字データに入力開始からの経過時間情報を付加してテキストとして記録するテキスト記録手段と、送受信手段を介して受信した音声データを格納する音声格納手段と、記録されたテキストをクライアント装置に送信する手段と、音声データをクライアント装置に送信して再生させる手段と、再生音声に対応するテキストの位置を表示するようにクライアント装置に指示する同期表示制御手段とを具備する構成とした。
【発明の効果】
【００１２】
上記のように構成したことにより、目的の部分を簡単に取り出せる議事録を作成できる。すなわち、会議の映像音声の再生時にメモを参照できるので、話題を把握しやすくなる。メモを指定して対応する映像音声の個所を再生できるので、聞きたい個所を容易に探せる。映像音声から対応するメモを取り出せるので、会議の内容を文字で確認できる。動画像も検索できるので、ホワイトボードに図を描きながら説明しているような会議でも内容がわかりやすくなる。
【００１３】
また、議事録作成再生サーバー装置では、サーバー上の音声データの再生開始位置をURLの形式で自由に指定することができるので、第三者に「この会議のこの部分」という情報を、メールなどの文字ベースの手段で簡単に伝えることができる。さらに、複数の議事録担当者が議事録メモを作成しているときに、それぞれのクライアントPCに同じ情報を表示するので、齟齬を減らすことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について、図１〜図７を参照しながら詳細に説明する。
【実施例１】
【００１５】
本発明の実施例１は、入力された文字データに入力開始からの時間情報を付加して記録し、音声も同時に記録し、記録された音声の再生時に、文字データの対応する位置を表示する議事録作成再生装置である。
【００１６】
図１は、本発明の実施例１における議事録作成再生装置の構成を示す概念図と、機能的ブロック図と、処理手順の流れ図である。図１において、パソコン１は、議事録を作成し再生するためのパソコンである。マイク２は、パソコンに接続するマイクである。カメラ３は、パソコンに接続する静止画撮影用のカメラである。ビデオカメラ４は、パソコンに接続する動画像撮影用のビデオカメラである。
【００１７】
図２は、議事録作成再生装置の議事録作成時の表示画面を示す図である。図３は、議事録作成再生装置のデータ例を示す図である。図４は、議事録作成再生装置の議事録閲覧時の表示画面を示す図である。
【００１８】
上記のように構成された本発明の実施例１における議事録作成再生装置の機能と動作を説明する。最初に、図１を参照しながら、議事録作成再生装置の機能の概要を説明する。図１（ａ）に示す構成では、パソコン１のキーボードから文字データを入力する。入力された文字データに、入力開始からの時間情報を付加してテキストとして記録する。マイク２から音声を入力する。入力された音声に、入力開始からの時間情報を付加して記録する。音声データは、あとで時間情報を付加して追加することもできる。再生時には、記録されたテキストを時系列で表示し、記録された音声を再生出力する。そのとき、再生音声に対応するテキストの位置を表示する。表示されたテキストの一部分が指定されると、当該部分に対応する音声を再生する。
【００１９】
図１（ｂ）に示す構成では、カメラ３から静止画を入力する。入力された静止画に、入力開始からの時間情報を付加して記録する。再生時には、記録された静止画を再生出力する。表示された静止画が指定されると、当該静止画の時間に対応する音声を再生する。表示されたテキストの一部分が指定されると、当該部分に対応する静止画を表示する。図１（ｃ）に示す構成では、ビデオカメラ４から動画像を入力する。入力された動画像に入力開始からの時間情報を付加して記録する。再生時には、記録された動画像を再生出力する。表示されたテキストの１行が指定されると、当該行の時間に対応する動画像を再生する。
【００２０】
会議中に議事録の担当者が取ったメモは、会議中の話題を追いかけるのには最適な材料である。そのメモの一文一文に、経過時間を記録する。その時間の前後では、そのメモに対応する話題が議論されていたはずである。会議の音声や映像も経過時間情報を付して記録し、関心のあるメモの部分を指定することで、目的の箇所の音声や映像を容易に見つけられる。
【００２１】
これらの機能をまとめて示すと、図１（ｄ）のブロック図のようになる。キーボードなどのテキスト入力手段からメモを入力する。入力されたメモには、タイマーにより経過時間情報が付加され、テキスト記録手段に記録される。マイク２やカメラ３やビデオカメラ４などの音声映像入力手段から入力された音声や静止画や動画像は、タイマーにより経過時間情報が付加され、音声映像記録手段に記録される。再生時には、同期表示制御手段により同期がとられて、対応部分が表示手段に表示される。
【００２２】
議事録を作成する手順の概要を、図１（ｅ）の流れ図を参照しながら説明する。ステップ１で、録音と撮影の開始を指示する。ステップ２で、メモを入力する。メモは随時入力できる。会議が終わると、ステップ３で、録音と撮影の終了を指示する。ステップ４で、ファイルの保存処理を行なう。議事録を再生する手順の概要を、図１（ｆ）の流れ図を参照しながら説明する。ステップ５で、再生ボタンを押下する。ステップ６で、音声と映像を再生し、その経過時間に対応するメモを表示する。ステップ７で、メモの１行が選択されると、ステップ８で、その経過時間に対応する映像を表示する。ステップ９で、映像の１つが選択されると、ステップ10で、その経過時間に対応するメモを表示する。ステップ11で、停止ボタンが押下されると終了する。
【００２３】
次に、図２と図３を参照しながら、議事録作成時の動作を詳しく説明する。まず、パソコン１にマイク２を接続する。マイク２はパソコン１に内蔵のものがあれば、当然それでもかまわない。なお、パソコン１とは関係のないICレコーダーなどを使って録音をして、後から音声データを追加するのであれば、パソコン１に接続されたマイク２を使用しなくてもかまわない。操作者が記録用ソフトを起動すると、図２（ａ）に示すように、画面には、インジケータ部、操作部、タイマー部、入力部が表示される。記録者が画面の記録開始ボタンを押すと録音が開始される。録音の開始と同時に内部のタイマーがスタートし、録音開始からの時間が計測される。また同時に、録音の開始時間を記録しておく。
【００２４】
この状態で、入力部に文字を入力する。入力部にフォーカスした状態でキーを叩くと、その時間、すなわち、画面の記録開始ボタンを押してからの経過時間を記録し、入力部の左に表示する。入力の途中で改行を入力すると、新たな行に移動する。その状態でさらに入力をすると、再びその入力の時間を記録する。ある程度入力した状態の画面が、図２（ｂ）である。停止ボタンを押すと録音が終了し、タイマーも終了する。この状態で、メニューから「保存」を選ぶと、議事録の名前を入力させたうえで、一連のファイルが保存される。保存されるファイルは、例えば、図３（ａ）のようになる。2006年12月25日に記録し、「クリスマス記念講演」という名前で保存した例である。
【００２５】
ここで、project.datは、議事録のファイル構成などを記録したファイルであり、内容は、図３（ｃ）のようになる。ここでは、yaml形式のテキストファイルとしてあるが、独自のバイナリ形式やその他のテキスト形式（XML、JSON、独自など）でもよい。mp3形式のファイルは、録音した音声で、ファイル名は、年、月、日、時、分、秒（1/100秒まで）としてあるが、これにこだわる必要はない。また、形式もmp3でなくwavなど、ほかの形式でもよい。
【００２６】
memo.txtは、入力欄に入力したテキストで、図３（ｅ）のような形式で保存される。このようにプレーンテキストの形式で保存することで、後で別のエディタなどで編集することができる。バイナリなど別の形式でもかまわない。以上のファイル構成は、あくまで例なので、すべてを1ファイルにしてもよい。入力欄への入力と時刻データの関連付けを、複数ファイルに分割してもよい。また、そのほかの形にしてもかまわない。
【００２７】
一時停止ボタンを押すと、録音とタイマーのカウントの両方が停止する。一時停止中や停止後に、入力部のテキストを編集しても、時間は記録されない。図１（ｂ）のようにカメラ３を接続して、音声だけでなく映像（静止画）も同時に記録できる。この画面例を、図２（ｃ）に示す。マイク２とカメラ３ではなく、図１（ｃ）のように、パソコン１に接続可能なビデオカメラ４を利用してもよい。新しい行に一度文字を書いて時間が記録されたのち、文字を削除しても、記録された時間は消えない。新しい行に何も書かずに、さらに改行した場合、時間は記録されない。
【００２８】
議事録作成中にデジタルスチルカメラなどで撮影した写真の画像ファイルを、あとで添付することができる。メニューから「画像の追加」を選択すると、ファイル選択のダイアログが表示され、画像が追加される。このときのファイル構成は、図３（ｂ）のようになる。ここで、画像ファイルに記録されたEXIF情報などから撮影の時間を取り出し、project.datに保存されている開始時刻と比較して、録音開始時点からの経過時間を計算する。この時間と画像ファイルの関連は、photo.metaファイルに記録する。
【００２９】
このときのproject.datの内容とphoto.metaの内容は、それぞれ、図３（ｄ）、（ｆ）のようになる。図３（ｆ）の例では、yaml形式になっているが、これもどんな形式でもよい。２つめのファイル（R00126.jpg）の「after:true」となっているのは、録音の終了後に撮影されたことを示す。このほか、別のICレコーダーやビデオカメラなどで撮影した音声や映像がある場合、同様に追加することができ、project.datに情報が追加される。また、開始時刻が自動的に取得できない場合は、手作業で時刻を入力する。
【００３０】
次に、図４を参照しながら、再生（閲覧）時の動作を説明する。操作者は再生用のプログラムを起動する。実際には、再生用と記録用を１つのプログラムとして、起動時にモードを選択するようにしてもよい。あるいは、はじめに再生用モードで起動して、必要なときに記録用モードに変更するようにしてもよい。起動すると、図４（ａ）、（ｂ）に示すように、画面にはインジケータ部、操作部、映像表示部（ビデオファイルがあれば）、画像表示部（写真ファイルがあれば）、テキスト表示部が表示される。
【００３１】
操作部の再生ボタンをクリックすると、音声や映像（動画像）が再生される。テキスト表示部で、対応する行にカーソルが移動して、現在どの行に対応する部分を再生しているのかがわかる。また逆に、テキスト表示部の一部分をクリックすると、記録されている時間から判断し、音声や映像を対応する部分から再生する。静止画がある場合には、同様に、音声や映像の再生時には、対応する静止画がカーソルで示され、静止画をクリックすると、対応する位置から音声や映像が再生される。また、検索機能も備える。メニューから検索を選択すると、検索語を入力するダイアログが開く。検索結果をクリックすると、該当するテキストが表示されるだけでなく、音声や映像も該当部分から再生することができる。
【００３２】
このようにして、会議の録音を再生しているときに、議事録担当者が記録したメモを自動で対応させながら見ることができ、そのときの話題が追いかけやすくなる。議事録担当者が作成したメモの一部を指定することで、会議の録音のなかからその部分に対応する個所を再生することができ、聞きたい個所を探すのが容易になる。他の手段で録音した音声を利用することができ、録音機器が故障した際などにも対応できる。会議の音声だけでなく映像も検索することができるようになり、ホワイトボードに図を描きながら説明しているような会議でも、内容がわかりやすくなる。議事録担当者が作成したメモだけではなく、撮影担当者がデジタルスチルカメラなどで撮影した写真データから、撮影したときの話題の映像や音声を再生することができ、また逆に、再生時に写真を表示することができ、会議の雰囲気を伝えやすくなる。
【００３３】
上記のように、本発明の実施例１では、議事録作成再生装置を、入力された文字データに入力開始からの時間情報を付加して記録し、音声も同時に記録し、記録された音声の再生時に、文字データの対応する位置を表示する構成としたので、簡単に目的の部分を参照できる議事録を作成することが可能となる。
【実施例２】
【００３４】
本発明の実施例２は、受信した文字データに入力開始からの経過時間情報を付加してテキストとして記録し、受信した音声や映像のデータを格納し、クライアント装置からの再生要求に応じてテキストと音声や映像のデータを送信し、音声や映像に対応するテキストの位置を表示するようにクライアント装置に指示する議事録作成再生サーバー装置である。
【００３５】
図５は、本発明の実施例２における議事録作成再生サーバー装置を含むシステム構成を示す概念図と、機能的ブロック図と、処理手順の流れ図である。図５において、ビデオカメラ４は、パソコンに接続する動画像撮影用のビデオカメラである。サーバー５は、議事録を作成するサーバー装置である。クライアントPC６は、議事録の作成を依頼するPCである。ネットワーク７は、LANやインターネットなどである。図６は、議事録を作成する時の表示画面を示す図である。図７は、議事録閲覧時の表示画面を示す図である。
【００３６】
上記のように構成された本発明の実施例２における議事録作成再生サーバー装置の機能と動作を説明する。最初に、図５を参照しながら、議事録作成サーバー装置の機能の概要を説明する。会議中に受信した文字データに、入力開始からの経過時間情報をタイマーで付加してテキストとして記録する。また、会議終了後に受信した音声や映像のデータファイルを格納する。クライアント装置からの再生要求に応じて、テキストと音声や映像のデータを送信して再生させる。そのとき、再生音声に対応するテキストの位置を表示するように、クライアント装置に指示する。クライアント装置から経過時間を指定する情報を受信すると、受信した経過時間に対応するテキストと音声や映像のデータをクライアント装置に送信する。会議中に複数のクライアント装置から文字データを受信すると、経過時間に従って１つのテキストに編集して、各クライアント装置に編集結果のテキストを返送する。
【００３７】
議事録を作成する手順の概要を、図５（ｃ）の流れ図を参照しながら説明する。ステップ21で、会議の始めに録音と撮影の開始を指示する。ステップ22で、会議中にメモを入力する。メモは随時入力できる。会議が終わると、ステップ23で、録音と撮影の終了を指示する。ステップ24で、音声や映像のファイルをサーバーにアップロードする。議事録を再生する手順の概要を、図５（ｄ）の流れ図を参照しながら説明する。予め、クライアントPCでサーバーの議事録閲覧のページを読み出す。ステップ25で、再生ボタンを押下する。ステップ26で、音声と映像を再生し、その経過時間に対応するメモを表示する。ステップ27で、メモの１行が選択されると、ステップ28で、その経過時間に対応する映像を表示する。ステップ29で、映像の１つが選択されると、ステップ30で、その経過時間に対応するメモを表示する。ステップ31で、停止ボタンが押下されると終了する。
【００３８】
次に、図６を参照しながら、議事録作成時の動作を説明する。利用者#１はクライアントPC#１を操作し、利用者#２はクライアントPC#２を操作しているものとする。この場合、利用者#１もしくは第三者が、ビデオカメラなどで撮影を行う。ビデオカメラを用いなくて、クライアントPCに接続されたUSBカメラとマイクを用いてもよい。マイクだけ使って音声のみを収録してよい。ICレコーダーなどで録音してもよい。利用者#１が、サーバー上にある議事録作成再生ページにWebブラウザでアクセスすると、図６（ａ）に示す画面が表示される。表示された画面で議事録の名前を入力して、新規作成のボタンをクリックする。すると、新しい議事録のURLが生成され、利用者#１のブラウザは、そのURLの画面を表示する。
【００３９】
ここで、利用者#１は、ビデオカメラの録画ボタンを押すのに合わせて、「開始」ボタンを押す。すると、「開始」ボタンを押したことがサーバーに通知され、サーバー上で開始時刻を記録する。この後、新規入力部にメモを入力すると、その内容は逐一サーバーに送信される。サーバーは、文字入力の開始に合わせて、図３に示すようなデータを構築する。新規入力部で文字入力を開始したときには、サーバーに即通知して時刻を記録するが、編集部の内容は、10秒に一度などの頻度でサーバー上のデータと同期する。新規入力部で入力後にEnterキーを入力すると、編集部の末尾に入力内容が追加され、新規入力部がクリアされる。
【００４０】
このとき、議事録のURLに利用者#２がアクセスすると、利用者#１と同様の画面が表示され、メモの入力をすることができる。編集部を利用者#１、#２の双方が編集すると競合する可能性がある。競合を自動的に解消できる場合は解消し、できない場合は利用者#１の編集を優先する。利用者#１しか編集部で編集できないようにしてもいいし、優先する利用者を選択できるようにしてもよい。「開始」ボタンをクリックした利用者#１の情報は、Cookieを利用すれば取得できる。利用者#１が「開始」ボタンをクリックした時点で、Cookieをブラウザに保存する。Cookieが保存されている場合に、利用者#１に優先権を与える。また、利用者#１が編集できるようにする。
【００４１】
録音が終了したら、利用者#１が「終了」ボタンをクリックする。利用者#２が押してもよい。また、利用者#１以外は押せないようにしてもよい。この判断にもCookieを利用する。「終了」ボタンをクリックすると、図７（ａ）に示すように、音声ファイルや映像ファイルや画像ファイルをアップロードする画面になる。これらのファイルをアップロードすると、図３（ｂ）に示すようなメタデータが生成される。ファイルは、メタデータの示すとおりに保存される。アップロードしたファイルが画像の場合、実施例１の場合と同様に、EXIF情報から撮影時刻を取得する。
【００４２】
次に、図６と図７を参照しながら、議事録再生（閲覧）時の動作を説明する。利用者は、Webブラウザで、図６（ａ）に示す画面の既存の議事録の欄から、閲覧したい議事録を選択してクリックする。図７（ａ）のような画面が開き、音声もしくは映像のストリーミング再生をすることができる。再生中は、テキスト表示部のテキストと画像表示部の画像が映像の再生位置に従ってスクロールする。また、テキスト表示部のテキストは一行一行がリンクになっており、そこをクリックすると映像の該当部分から再生が始まる。また、画像も同様にリンクになっていて、クリックすると撮影した時刻に対応する部分から再生が始まる。
【００４３】
図６（ａ）に示す画面の右上の検索ボックスに検索語句を入れて検索すると、入力したテキストから検索語句が検索される。検索結果のリンクは、その該当するテキストに対応するURLになっている。検索結果をクリックすると、映像も該当部分から再生される。また、各議事録の再生ページは、blogシステムのように、コメントやトラックバックを受け付けられるようになっていてもよい。RSSやAtomなどのFeedで、新規議事録の追加を通知してもよい。さらに、Feedを利用する場合は、enclosureとしてビデオへのリンクを含み、podcastingと呼ばれる技術に対応してもいい。
【００４４】
このようにして、サーバーシステム上で議事録用のメモを作成することができるため、複数のクライアントPCからアクセスすることで、複数の議事録担当者によりメモを充実できる。また、サーバー上に音声データなどを保持して表示することで、クライアントPCには特別なソフトウェアをインストールしなくても、Webブラウザのみで議事録を見ることができる。サーバー上の音声データの開始位置を、URLの形式で自由に指定することができるので、第三者に「この会議のこの部分」という情報を、メールなどの文字ベースの手段で簡単に伝えることができる。複数の議事録担当者が議事録メモを作成しているときに、それぞれのクライアントPCに同じ情報を表示することができ、齟齬を減らすことができる。会議の音声だけでなく映像も検索することができるようになり、ホワイトボードに図を描きながら説明しているような会議でも、内容がわかりやすくなる。議事録担当者が作成したメモだけではなく、撮影担当者がデジタルスチルカメラなどで撮影した写真データから、撮影したときの話題の映像や音声を再生することができる。また逆に、再生時に写真を表示することができ、会議の雰囲気を伝えやすくなる。
【００４５】
上記のように、本発明の実施例２では、議事録作成再生サーバー装置を、受信した文字データに入力開始からの経過時間情報を付加してテキストとして記録し、受信した音声や映像のデータを格納し、クライアント装置からの再生要求に応じてテキストと音声や映像のデータを送信し、音声や映像に対応するテキストの位置を表示するようにクライアント装置に指示する構成としたので、簡単に目的の部分を参照できる議事録をサーバーで作成することが可能となる。
【産業上の利用可能性】
【００４６】
本発明の議事録作成再生装置は、会議の議事録を作成する装置として最適である。また、大学の講義を収録する講義収録システムとしても利用できる。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施例１における議事録作成再生装置の構成を示す概念図である。
【図２】本発明の実施例１における議事録作成再生装置の画面を示す概念図である。
【図３】本発明の実施例１における議事録作成再生装置のデータ構成を示す概念図である。
【図４】本発明の実施例１における議事録作成再生装置の再生画面を示す概念図である。
【図５】本発明の実施例２における議事録作成再生サーバー装置を含むシステムの構成を示す概念図である。
【図６】本発明の実施例２における議事録作成再生サーバー装置がクライアントPCに送る入力画面を示す概念図である。
【図７】本発明の実施例２における議事録作成再生サーバー装置がクライアントPCに送る再生画面を示す概念図である。
【図８】従来の議事録作成支援装置の概念図である。
【符号の説明】
【００４８】
１・・・パソコン、２・・・マイク、３・・・カメラ、４・・・ビデオカメラ、５・・・サーバー、６・・・クライアントPC、７・・・ネットワーク。
【特許請求の範囲】
【請求項１】
文字データを入力する文字入力手段と、入力された文字データに入力開始からの時間情報を付加してテキストとして記録するテキスト記録手段と、音声を入力する音声入力手段と、入力された音声に入力開始からの時間情報を付加して記録する音声記録手段と、記録されたテキストを時系列で表示するテキスト表示手段と、記録された音声を再生出力する音声出力手段と、再生音声に対応するテキストの位置を表示するように制御する同期表示制御手段とを具備することを特徴とする議事録作成再生装置。
【請求項２】
前記同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する音声を再生する手段を備えることを特徴とする請求項１記載の議事録作成再生装置。
【請求項３】
前記音声記録手段に、時間情報を付加して音声データを追加する手段を備えることを特徴とする請求項１記載の議事録作成再生装置。
【請求項４】
静止画を入力する画像入力手段と、入力された静止画に入力開始からの時間情報を付加して記録する画像記録手段と、記録された静止画を再生出力する画像表示手段とを備え、前記同期表示制御手段に、表示された静止画が指定されたことに応じて当該静止画の時間に対応する音声を再生する手段を備えることを特徴とする請求項１記載の議事録作成再生装置。
【請求項５】
前記同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する静止画を表示する手段を備えることを特徴とする請求項４記載の議事録作成再生装置。
【請求項６】
動画像を入力する映像入力手段と、入力された動画像に入力開始からの時間情報を付加して記録する映像記録手段と、記録された動画像を再生出力する映像表示手段とを備え、前記同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する動画像を再生する手段を備えることを特徴とする請求項１記載の議事録作成再生装置。
【請求項７】
ネットワークを介してクライアント装置と交信する送受信手段と、前記送受信手段を介して受信した文字データに入力開始からの経過時間情報を付加してテキストとして記録するテキスト記録手段と、前記送受信手段を介して受信した音声データを格納する音声格納手段と、記録されたテキストを前記クライアント装置に送信する手段と、前記音声データを前記クライアント装置に送信して再生させる手段と、再生音声に対応するテキストの位置を表示するように前記クライアント装置に指示する同期表示制御手段とを具備することを特徴とする議事録作成再生サーバー装置。
【請求項８】
前記クライアント装置から経過時間を指定する情報を受信する手段と、受信した経過時間に対応するテキストを前記クライアント装置に送信する手段と、受信した経過時間に対応する音声データを前記クライアント装置に送信して再生させる手段とを備えることを特徴とする請求項７記載の議事録作成再生サーバー装置。
【請求項９】
複数のクライアント装置から受信した文字データを経過時間に従って１つのテキストに編集する手段と、各クライアント装置に編集結果のテキストを返送する手段とを備えることを特徴とする請求項７記載の議事録作成再生サーバー装置。
【請求項１０】
前記送受信手段を介して受信した静止画データを格納する静止画格納手段と、前記静止画データを前記クライアント装置に送信して再生させる手段とを備え、前記同期表示制御手段に、再生音声に対応する静止画の位置を表示するように前記クライアント装置に指示する手段を備えることを特徴とする請求項７記載の議事録作成再生サーバー装置。
【請求項１１】
前記送受信手段を介して受信した動画像データを格納する動画像格納手段と、前記動画像データを前記クライアント装置に送信して再生させる手段とを備え、前記同期表示制御手段に、再生動画像に対応するテキストの位置を表示するように前記クライアント装置に指示する手段を備えることを特徴とする請求項７記載の議事録作成再生サーバー装置。
【請求項１２】
記録開始指示に応じて、入力された文字データに入力開始からの時間情報を付加してテキストとして記録するとともに、入力された音声に入力開始からの時間情報を付加して記録し、再生指示に応じて、記録されたテキストを時系列で表示するとともに、記録された音声を再生出力して再生音声に対応するテキストの位置を表示し、表示されたテキストの一部分が指定されたことに応じて、当該部分に対応する音声を再生することを特徴とする議事録作成再生方法。
【請求項１３】
入力された静止画に入力開始からの時間情報を付加して記録し、記録された静止画を再生出力し、表示された静止画が指定されたことに応じて当該静止画の時間に対応する音声を再生し、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する静止画を表示することを特徴とする請求項１２記載の議事録作成再生方法。
【請求項１４】
入力された動画像に入力開始からの時間情報を付加して記録し、記録された動画像を再生出力し、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する動画像を再生することを特徴とする請求項１２記載の議事録作成再生方法。
【請求項１５】
請求項１２〜１４のいずれかに記載の議事録作成再生方法をコンピュータで実行させるための処理手順を記述したコンピュータプログラム。
【請求項１６】
請求項１５記載のコンピュータプログラムを格納した記録媒体。
【請求項１】
文字データを入力する文字入力手段と、入力された文字データに入力開始からの時間情報を付加してテキストとして記録するテキスト記録手段と、音声を入力する音声入力手段と、入力された音声に入力開始からの時間情報を付加して記録する音声記録手段と、記録されたテキストを時系列で表示するテキスト表示手段と、記録された音声を再生出力する音声出力手段と、再生音声に対応するテキストの位置を表示するように制御する同期表示制御手段とを具備することを特徴とする議事録作成再生装置。
【請求項２】
前記同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する音声を再生する手段を備えることを特徴とする請求項１記載の議事録作成再生装置。
【請求項３】
前記音声記録手段に、時間情報を付加して音声データを追加する手段を備えることを特徴とする請求項１記載の議事録作成再生装置。
【請求項４】
静止画を入力する画像入力手段と、入力された静止画に入力開始からの時間情報を付加して記録する画像記録手段と、記録された静止画を再生出力する画像表示手段とを備え、前記同期表示制御手段に、表示された静止画が指定されたことに応じて当該静止画の時間に対応する音声を再生する手段を備えることを特徴とする請求項１記載の議事録作成再生装置。
【請求項５】
前記同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する静止画を表示する手段を備えることを特徴とする請求項４記載の議事録作成再生装置。
【請求項６】
動画像を入力する映像入力手段と、入力された動画像に入力開始からの時間情報を付加して記録する映像記録手段と、記録された動画像を再生出力する映像表示手段とを備え、前記同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する動画像を再生する手段を備えることを特徴とする請求項１記載の議事録作成再生装置。
【請求項７】
ネットワークを介してクライアント装置と交信する送受信手段と、前記送受信手段を介して受信した文字データに入力開始からの経過時間情報を付加してテキストとして記録するテキスト記録手段と、前記送受信手段を介して受信した音声データを格納する音声格納手段と、記録されたテキストを前記クライアント装置に送信する手段と、前記音声データを前記クライアント装置に送信して再生させる手段と、再生音声に対応するテキストの位置を表示するように前記クライアント装置に指示する同期表示制御手段とを具備することを特徴とする議事録作成再生サーバー装置。
【請求項８】
前記クライアント装置から経過時間を指定する情報を受信する手段と、受信した経過時間に対応するテキストを前記クライアント装置に送信する手段と、受信した経過時間に対応する音声データを前記クライアント装置に送信して再生させる手段とを備えることを特徴とする請求項７記載の議事録作成再生サーバー装置。
【請求項９】
複数のクライアント装置から受信した文字データを経過時間に従って１つのテキストに編集する手段と、各クライアント装置に編集結果のテキストを返送する手段とを備えることを特徴とする請求項７記載の議事録作成再生サーバー装置。
【請求項１０】
前記送受信手段を介して受信した静止画データを格納する静止画格納手段と、前記静止画データを前記クライアント装置に送信して再生させる手段とを備え、前記同期表示制御手段に、再生音声に対応する静止画の位置を表示するように前記クライアント装置に指示する手段を備えることを特徴とする請求項７記載の議事録作成再生サーバー装置。
【請求項１１】
前記送受信手段を介して受信した動画像データを格納する動画像格納手段と、前記動画像データを前記クライアント装置に送信して再生させる手段とを備え、前記同期表示制御手段に、再生動画像に対応するテキストの位置を表示するように前記クライアント装置に指示する手段を備えることを特徴とする請求項７記載の議事録作成再生サーバー装置。
【請求項１２】
記録開始指示に応じて、入力された文字データに入力開始からの時間情報を付加してテキストとして記録するとともに、入力された音声に入力開始からの時間情報を付加して記録し、再生指示に応じて、記録されたテキストを時系列で表示するとともに、記録された音声を再生出力して再生音声に対応するテキストの位置を表示し、表示されたテキストの一部分が指定されたことに応じて、当該部分に対応する音声を再生することを特徴とする議事録作成再生方法。
【請求項１３】
入力された静止画に入力開始からの時間情報を付加して記録し、記録された静止画を再生出力し、表示された静止画が指定されたことに応じて当該静止画の時間に対応する音声を再生し、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する静止画を表示することを特徴とする請求項１２記載の議事録作成再生方法。
【請求項１４】
入力された動画像に入力開始からの時間情報を付加して記録し、記録された動画像を再生出力し、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する動画像を再生することを特徴とする請求項１２記載の議事録作成再生方法。
【請求項１５】
請求項１２〜１４のいずれかに記載の議事録作成再生方法をコンピュータで実行させるための処理手順を記述したコンピュータプログラム。
【請求項１６】
請求項１５記載のコンピュータプログラムを格納した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−１７２５８２（Ｐ２００８−１７２５８２Ａ）
【公開日】平成２０年７月２４日（２００８．７．２４）
【国際特許分類】
【出願番号】特願２００７−４４６５（Ｐ２００７−４４６５）
【出願日】平成１９年１月１２日（２００７．１．１２）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２０年７月２４日（２００８．７．２４）
【国際特許分類】
【出願日】平成１９年１月１２日（２００７．１．１２）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]