会議録システム及びプログラム
【課題】資料の特定の説明部分を会議録データから検索するための仕組みが用意されていない。
【解決手段】会議録システムとして、（１）会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する機能と、（２）会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、時間情報と関連付けて記憶領域に保存する機能と、（３）表示画面上に表示されたカーソル位置を取得し、時間情報と関連付けて記憶領域に保存する機能を有するものを提案する。
【解決手段】会議録システムとして、（１）会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する機能と、（２）会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、時間情報と関連付けて記憶領域に保存する機能と、（３）表示画面上に表示されたカーソル位置を取得し、時間情報と関連付けて記憶領域に保存する機能を有するものを提案する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議録データから資料上の任意の説明箇所に関する時間位置を容易に検索可能とする技術に関する。
【背景技術】
【０００２】
現在、会議やプレゼンテーションでは、資料の提示に電子ボードシステムを用いることがある。電子ボードシステムは、コンピュータ画面の表示装置（例えばプロジェクタ、フラットディスプレイ）と、表示面に対する電子ペンや指等の接触位置を検出する位置検出装置で構成されるシステムである。電子ボードシステムを用いる場合、予め用意したスライドの表示だけでなく、文字、図形その他のオブジェクトの入力、コンピュータやプレゼンテーションソフトの操作入力も、表示面に対する操作入力を通じて実現することができる。
【０００３】
最近では、遠隔地にある電子ボードシステム同士をネットワーク経由で接続し、一方の電子ボードシステムで行った操作内容を、他方の電子ボードシステムにリアルタイムで反映させる仕組みも提案されている。この仕組みを、遠距離間での音声通信が可能な音声入出力装置に組み合わせれば、遠距離間の会議に用いることもできる。
【０００４】
一方で、会議内容の記録には、ビデオカメラ及びマイクが使用される。すなわち、会議内容は、映像データと音声データにより記録される。この種の従来技術は、説明者と説明されている資料の両方を同時に記録できる。すなわち、会議の内容を見たままの状態で記録できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１１７２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、この方法には、資料上の任意の説明箇所に関する時間位置を会議録データから検索するための仕組みが用意されていない。このため、後日確認が必要になっても、映像データを先頭から再生しなければ目的箇所を検索することができなかった。
【０００７】
本発明は、以上の課題を考慮してなされたもので、資料上の任意の説明箇所に関する時間位置を会議録データから容易に検索することができる機能の提供を目的とする。
【課題を解決するための手段】
【０００８】
かかる目的を達成するため、本発明者は、以下に示す機能を有する会議録システムを提案する。
（１）会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する機能
（２）会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、時間情報と関連付けて記憶領域に保存する機能
（３）表示画面上に表示されたカーソル位置を取得し、時間情報と関連付けて記憶領域に保存する機能
【発明の効果】
【０００９】
本発明によれば、時間情報に資料番号と、表示画面上に表示されたカーソル位置とを関連付けて保存した会議録データを作成することができる。この会議録データを用いれば、資料と資料上の範囲の組み合わせで特定された検索条件を満たす会議録データの時間位置の検索が可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態に係る会議録システムの全体構成例を示す図。
【図２】会議録データの保存手順例を説明するフローチャート。
【図３】電子ボード解像度情報を示すデータの構造例を説明する図。
【図４】資料の管理データの構造例を説明する図。
【図５】会議録データとして保存されるデータの構造例を説明する図。
【図６】資料のサイズと電子ボードのサイズの配置関係を説明する図。
【図７】資料のサイズと電子ボードのサイズの配置関係を説明する図。
【図８】資料上の任意の説明箇所の検索に使用するカーソル位置データの変換手順を示すフローチャート。
【図９】電子ボード上のカーソル位置を資料上のカーソル位置に変換するための計算式を説明する図。
【図１０】資料上のカーソル位置を示すデータの構造例を説明する図。
【図１１】撮像された映像データから説明者の像だけを抽出した画像データを保存するまでの手順例を説明するフローチャート。
【図１２】検索条件に基づいて会議録データを検索する際の処理手順例を説明するフローチャート。
【図１３】資料の選択に使用する画面例を示す図。
【図１４】検索範囲の選択に使用する画面例を示す図。
【図１５】検索結果画面の一例を示す図。
【図１６】会議録データの再生手順例を説明するフローチャート。
【図１７】再生画面の表示例を示す図。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて、本発明に係る会議録システムの形態例を説明する。なお、後述する形態例はいずれも一例であり、本発明には、本明細書に記載する任意の機能を組み合わせることで実現されるシステム、本明細書に記載する一部の構成や機能だけで実現されるシステムの他、一部の構成や機能だけを周知の技術で置換したシステムも含まれる。また、後述する形態例で実行される機能は、計算機（コンピュータ）上で実行されるプログラムとして実現されるものとして説明する。もっとも、プログラムの一部又は全部は、ハードウェアを通じて実現されても良い。
【００１２】
（全体システム）
図１に、会議録システムの構成例を示す。図１に示す会議録システムは、電子ボード１０１、カメラ１０２、マイク１０３、コンピュータ１０４、外部記憶装置１０５、データ変換装置１０６、カーソル位置変換部１０７、映像データ変換部１０８、表示装置１０９、データ検索装置１１０により構成されている。
【００１３】
電子ボード１０１は、会議資料の表示装置として用いられる他、コンピュータ１０４に対する入力装置としても用いられる。例えばコンピュータ１０４のカーソル位置入力操作や表示に対する操作入力に用いられる。例えばカーソルの表示位置の移動や説明箇所の強調に用いられる。
【００１４】
図１の場合、電子ボード１０１は、フラットディスプレイを表示装置に用いる例を表している。この他、表示装置をプロジェクタとする構成も可能である。なお、プロジェクタを用いる場合、電子ボード１０１には投影スクリーンを使用する。
【００１５】
この実施例の場合、表示面（検出面）には、特定の偏光成分だけを通過する偏光フィルムを配置する。偏光フィルムは、後述するように、表示面を撮像した画像から説明者だけを切り出すために用いられる。
【００１６】
表示面（検出面）に対する説明者の操作位置の検出には、既知の位置検出技術を使用する。例えば感圧方式、電磁気方式、レーザ方式、超音波方式、赤外線方式、抵抗膜方式、静電容量方式などを使用する。位置検出方式の違いにより、電子ボードの装置構成や構造が異なるものになる。この形態例の場合、指や電子ペン等の操作位置を表示面上の座標データとして算出する演算ユニット１０１１が電子ボード１０１に搭載されているものとする。この形態例の場合、電子ボード１０１の座標原点は表示面の左上隅とする。また、Ｘ軸は電子ボード１０１の水平方向、Ｙ軸は電子ボード１０１の垂直方向とする。
【００１７】
コンピュータ１０４は、電子ボード１０１と接続されており、電子ボード１０１に対する資料（画像データ）の出力、座標データ列の解析に基づいて生成された描画オブジェクト（オブジェクトデータ）の電子ボード１０１への出力、座標データ列のデータ解析に基づく処理動作の実行と処理結果の電子ボード１０１への出力を制御する。また、コンピュータ１０４は、外部記憶装置１０５に接続されており、会議時に電子ボード１０１に表示する資料データ、会議中に電子ボード１０１に表示された資料データ、電子ボード１０１の解像度情報等の外部記憶装置１０５への記録を制御する。なお、コンピュータ１０４と電子ボード１０１との接続は有線形式でも無線形式でも構わない。
【００１８】
外部記憶装置１０５は、ネットワーク経由で接続されたファイルサーバを想定する。もっとも、小規模なシステム構成で良い場合には、コンピュータ１０４に内蔵されたハードディスク装置又は直接外付けされたハードディスク装置でも良い。
【００１９】
カメラ１０２は、説明者の画像の取得及び説明者の位置の取得に用いられる。この形態例の場合、カメラ１０２は、資料を表示する電子ボード１０１の表示面の全体のみを撮像できる位置に設置される。すなわち、カメラ１０２は、電子ボード１０１の表示面の外側を撮像対象に含まない位置に設置される。カメラ１０２で撮像された映像データは外部記憶装置１０５にファイルデータとして保存される。
【００２０】
撮影画像から説明者のみを抜き出すため、カメラ１０２には、電子ボード１０１側に装着された偏光フィルムとは異なる方向の偏光成分だけを通過する偏光フィルムが装着される。偏光フィルムの装着により、電子ボード１０１上の表示画は黒く撮像される。一方、電子ボード１０１の表示面の範囲に入り込んだ説明者はカラー画像として撮影される。このため、黒画像領域を切り離すことにより、説明者像のみを撮像画像から抜き出すことができる。なお、説明者像の抜き出しのため、説明者は黒色以外の衣類を着用することが望ましい。
【００２１】
マイク１０３は、説明者の音声と会議出席者の音声の取得に用いられる。このため、マイク１０３は、説明者の音声と会議出席者の音声の両方を取得し易い位置に設置される。マイク１０３で取得された会議中（会議の開始から終了まで）の音声データは外部記憶装置１０５にファイルデータとして保存される。
【００２２】
データ変換装置１０６は、外部記憶装置１０５に接続され、データ検索に必要なデータ変換処理及び会議録データの再生に必要なデータ変換処理を実行する。図１の場合、データ変換装置１０６をコンピュータ１０４の別装置として表しているが、データ変換装置１０６はコンピュータ１０４で実行されるアプリケーションソフトの一つであっても良い。データ変換装置１０６は、カーソル位置変換部１０７及び映像データ変換部１０８で構成される。この形態例の場合、データ変換装置１０６は、コンピュータ１０４とは別のコンピュータで実行されるアプリケーションソフトウエアとして実現されるものとする。
【００２３】
カーソル位置変換部１０７は、データ検索装置１１０による資料内の説明箇所の検索を可能とするために、電子ボード１０１の表示面座標系の座標を資料座標系の座標に変換する処理を実行する。資料座標系は資料の左上隅を座標原点とし、画面内水平方向をｘ軸、垂直方向をｙ軸とする。なお、変換処理後の座標データは外部記憶装置１０５に保存される。
【００２４】
映像データ変換部１０８は、表示装置１０９に会議録データの内容を表示する際に、電子ボード１０１に表示されていた資料と説明者を重複した状態で表示するために、カメラ１０２から取得された説明者の映像データの変換処理を実行する。
【００２５】
表示装置１０９は、データ変換装置１０６で変換されたデータを外部記憶装置１０５から取得し、会議内容を再生する。表示装置１０９は、画像表示装置であれば良く、必ずしも電子ボード１０１と同じ表示サイズである必要は無い。この表示装置１０９は、コンピュータ１０４の表示部であっても良いし、電子ボード１０１でも良い。
【００２６】
データ検索装置１１０は、１つ又は複数の会議録データを対象とした検索の実行と、検索結果に基づく該当箇所の再生処理を実行する。ここで、データ検索装置１１０は、外部記憶装置１０５に保存されている資料データとカーソル位置データを検索対象とする。データ検索装置１１０は、検索条件の入力用ＧＵＩを表示装置１０９に表示する。また、データ検索装置１１０は、検索条件として入力された資料の特定範囲にカーソル位置が一致する又は含まれる会議録データの時間軸上の位置情報（タイムスタンプ）を検索結果として表示装置１０９に表示する。また、データ検索装置１１０は、検索結果画面から選択された時間軸上の位置から会議録データ（資料データ、カメラ１０２で撮像された映像データ、マイク１０３で取得された音声データ）を再生する。再生画像は表示装置１０９に表示される。
【００２７】
（会議録データの保存動作）
図２に、会議録データの保存手順を示す。この処理動作はコンピュータ１０４で実行されるアプリケーションプログラムを通じて実現される。図２には、会議開始前の前処理も含まれている。
【００２８】
会議の開始に先立って、コンピュータ１０４は、電子ボード１０１の解像度情報を保存する（ステップ２０１）。図３に、解像度情報のデータ構造例を示す。解像度情報は、Ｘ軸方向の解像度３０１とＹ軸方向の解像度３０２で構成される。また、コンピュータ１０４は、会議で使用する資料データを保存する（ステップ２０２）。コンピュータ１０４は、資料データの保存の際、各資料のサイズ情報を取得する。会議で使用される資料には、読み込み順に連番で資料番号が付与される（ステップ２０３）。この実施例の場合、資料はページ単位で管理され、各ページに資料番号が付される。資料のサイズ情報や資料番号は、資料の管理データとして外部記憶装置１０５に保存される（ステップ２０４）。図４に、外部記憶装置１０５に保存される管理データの構造例を示す。管理データは、資料番号４０１と、資料名４０２と、資料のサイズ情報（ｘ軸方向のサイズ情報４０３、ｙ軸方向のサイズ情報４０４）とで構成される。この管理データにより、資料名と資料番号と資料サイズの対応関係が分かる。なお、ステップ２０１とステップ２０２の実行順序は入れ替わっていても良い。
【００２９】
次に、会議の開始後に、コンピュータ１０４が実行する処理動作を説明する。会議の開始を検出すると、コンピュータ１０４は、会議が終了したか否かを判定する（ステップ２０５）。コンピュータ１０４は、音声入力の発生、説明者や操作者による開始操作の入力を通じて会議の開始を検出する。また、コンピュータ１０４は、無音時間の一定時間以上の継続や操作者による終了操作の入力を通じて会議の終了を検出する。
【００３０】
会議中と判定されている間（ステップ２０５で否定結果が得られている間）、コンピュータ１０４は、会議開始からの時間、電子ボード１０１に表示されている資料の資料番号４０１と、電子ボード１０１上に表示されている資料の位置（表示資料位置）（資料原点座標に対する電子ボード座標上の位置）と、電子ボード１０１上のカーソル位置等を一組とし、会議録データとして外部記憶装置１０５に保存する（ステップ２０６）。なお、会議の開始と同時に、カメラ１０２及びマイク１０３も動作し、カメラ１０２から取得される映像データとマイク１０３から取得される音声データも外部記憶装置１０５に保存される。
【００３１】
会議中、説明者は電子ボード１０１の表示面（検出面）に対する操作入力を通じ、資料上の説明箇所にカーソルを移動させたり、表示内容を強調させたりする。また、説明者は、同様の操作を通じ、資料の一部の拡大、縮小等の操作入力も行う。
【００３２】
データの保存は、一定時間毎、カーソル位置の変化時（移動時）、又は表示資料の変更時等のタイミングで実行される。表示資料の変更には、異なる資料への切り換えだけでなく、同一資料内における表示内容の拡大、縮小、表示箇所の移動等も含まれる。なお、会議開始からの経過時間は、コンピュータ１０４の内蔵タイマーの出力値が使用される。一定時間は固定でも良いし、操作者の操作により可変可能であっても良い。また、コンピュータ１０４は、電子ボード１０１の表示面に表示されるカーソル位置を監視しており、カーソル位置が判定期間内に閾値以上変化したか否かによりカーソル位置の変化（移動）の有無を判定する。
【００３３】
図５に、ステップ２０６において保存される会議録データの構造例を示す。この形態例の場合、会議録データは、会議開始からの時間５０１、表示資料番号５０２、表示資料位置（左上Ｘ座標）５０３、表示資料位置（左上Ｙ座標）５０４、資料拡大率５０５、表示カーソル位置（ｘ座標）５０６、表示カーソル位置（ｙ座標）５０７で構成される。ここで、表示資料位置５０３、５０４及び表示カーソル位置５０６、５０７は、電子ボード１０１の座標系により与えられる。
【００３４】
図６及び図７に、本形態例において想定する資料のサイズと電子ボードのサイズとの関係を示す。図６は、電子ボードのサイズ６０１よりも資料のサイズ６０２の方が大きい場合である。この場合は、例えば資料の拡大倍率が１より大きい場合に生じる。この例に示すように、図６の場合、表示資料位置５０３及び５０４は、いずれも負の値を採る。図７は、電子ボードのサイズ７０１よりも資料のサイズ７０２の方が小さい場合である。この場合は、例えば資料の拡大倍率が１より小さい場合に生じる。ただし、ここでは資料の表示サイズが電子ボード１０１の表示サイズと一致する場合を拡大倍率が１であるものとする。図７の場合、表示カーソル位置５０６、５０７はいずれも正の値を採る。
【００３５】
会議が終了すると（ステップ２０５で肯定結果が得られた場合）、コンピュータ１０４は、保存に関する処理プロセスを終了する。
【００３６】
（カーソル位置データの変換動作）
次に、会議録データの検索及び再生のために、データ変換装置１０６のカーソル位置変換部１０７において実行されるデータ変換動作を説明する。この変換動作は、会議録データの検索が開始される前に終了していれば良い。従って、会議録データの保存と並行して実行されても良い。
【００３７】
この変換動作は、説明者が説明していた資料の特定箇所を指定した検索を可能とするための前処理として実行される。具体的には、電子ボード１０１の座標系で与えられたカーソル位置の座標値を資料の座標系の座標値に変換する動作を実行する。カーソル位置を資料の座標系で表すことができれば、説明者が会議中に説明していた箇所を特定することが可能になり、後の検索時に資料とその説明箇所を指定した検索が可能になるためである。
【００３８】
図８に、カーソル位置変換部１０７によるカーソル位置データの変換動作を示す。もっとも、資料のサイズと電子ボードのサイズが一致し、資料上の座標値と電子ボード上の座標値が一致する場合、この変換処理は不要である。
【００３９】
まず、カーソル位置変換部１０７は、外部記憶装置１０５から電子ボードの解像度情報（図３）を取得する（ステップ８０１）。
【００４０】
次に、カーソル位置変換部１０７は、資料サイズデータ（図４）と会議録データ（図５）を外部記憶装置１０５から取得する（ステップ８０２）。
【００４１】
この後、カーソル位置変換部１０７は、データ変換の処理対象になっていない会議録データの有無を判定する（ステップ８０３）。未処理の会議録データが存在する場合、データ変換装置１０６は１行分の会議録データを読み込む（ステップ８０４）。
【００４２】
次に、カーソル位置変換部１０７は、読み込んだ会議録データから表示資料位置と拡大率を取得する（ステップ８０５）。また、カーソル位置変換部１０７は、読み込んだ会議録データから電子ボード１０１上のカーソル位置を取得する（ステップ８０６）。
【００４３】
これらのデータが取得されると、カーソル位置変換部１０７は、図９に示す計算式に基づいて、電子ボード上のカーソル位置を資料上のカーソル位置に変換する（ステップ８０７）。因みに、９０１はＸ座標の換算式であり、９０２はＹ座標の換算式である。
【００４４】
次に、カーソル位置変換部１０７は、計算された資料上のカーソル位置が資料の外か否かを判定する（ステップ８０８）。資料の中にあれば（ステップ８０８で否定結果の場合）、カーソル位置変換部１０７はステップ８０３に戻る。一方、資料の外にあれば（ステップ８０８で肯定結果の場合）、カーソル位置変換部１０７は当該会議録データを破棄した後ステップ８０３に戻る（ステップ８０９）。ここで、算出されたカーソル位置が資料上にあるか否かは、会議前に取得された資料サイズデータ（図４）との比較により実行される。
【００４５】
この変換動作が会議の開始から終了までの間に記録された全ての会議録データについて実行されることにより、カーソル位置変換部１０７は、各時間における資料上のカーソル位置を求めることができる。
【００４６】
全ての会議録データについて変換処理が終了すると、カーソル位置変換部１０７は、破棄されなかったカーソル位置の情報に対し、会議開始からの時間と、表示されている資料の資料番号とを付与し、外部記憶装置１０５に格納する（ステップ８１０）。図１０に、資料上のカーソル位置として外部記憶装置１０５に格納されるデータの構造を示す。資料上のカーソル位置データは、会議開始からの時間１００１、表示資料番号１００２、資料上カーソル位置（Ｘ座標）１００３、資料上カーソル位置（Ｙ座標）で構成される。
【００４７】
（映像データの変換動作）
次に、データ変換装置１０６の映像データ変換部１０８において実行されるデータ変換動作を説明する。すなわち、カメラ１０２で撮像された映像データの変換動作を説明する。この変換動作も、会議録データの検索が開始される前に終了していれば良い。従って、カメラ１０２の撮像と並行して実行されても良い。この変換動作は、カメラ１０２により撮影された説明者の映像を資料に重複して表示する場合のために、映像データから説明者像だけを抽出する目的で実行される。
【００４８】
前述したように、カメラ１０２と電子ボード１０１の表示面には、それぞれ通過する偏光成分が異なる偏光フィルムが装着されている。このため、カメラ１０２の撮像画像のうち電子ボード１０１の表示面の領域部分は黒画面となる。また、カメラ１０２の撮影範囲は、電子ボード１０１の表示面サイズに合致している。このため、説明者が電子ボード１０１の前に立つと、説明者像は黒色背景を有する画像として表示される。
【００４９】
図１１に、映像データ変換部１０８による映像データの変換動作を示す。
【００５０】
まず、映像データ変換部１０８は、外部記憶装置１０５からカメラ１０２で撮影された映像データを取得する（ステップ１１０１）。
【００５１】
次に、映像データ変換部１０８は、取得された映像データを時間単位の画像データに変換する（ステップ１１０２）。
【００５２】
次に、映像データ変換部１０８は、未処理の画像データの有無を判定する（ステップ１１０３）。未処理の画像データが存在する場合（ステップ１１０３で肯定結果が得られた場合）、映像データ変換部１０８は、先に処理した画像データに対して次の時間情報が付された画像データを読み込む（ステップ１１０４）。
【００５３】
続いて、映像データ変換部１０８は、読み込んだ画像データの背景色である黒色を透過色に設定する（ステップ１１０５）。ただし、この時点の画像データをそのまま資料に重複すると、説明者と重複する部分の資料を見ることができなくなる。
【００５４】
そこで、映像データ変換部１０８は、背景色以外の色を半透過色（例えば５０％程度）に設定する（ステップ１１０６）。この設定により、会議録データを再生する際に、説明者が透けて見え、説明者に隠れていた資料も同時に見ることができる。
【００５５】
これらの処理が全ての画像について実行されると（ステップ１１０３で否定結果が得られると）、映像データ変換部１０８は、データ変換後の画像データを外部記憶装置１０５に格納する（ステップ１１０７）。
【００５６】
（会議録データの検索動作）
ここでは、会議録データの検索時に実行される処理動作の内容を説明する。この処理動作の内容は、データ検索装置１１０により実行される。
【００５７】
この形態例の場合、説明箇所の検索は、説明に用いた資料と、資料上のカーソル位置又は範囲の特定により実行する。
【００５８】
図１２に、データ検索装置１１０が実行する処理動作の内容を説明する。
【００５９】
まず、データ検索装置１１０は、資料番号４０１と資料名４０２との対応関係と、資料のサイズ情報４０３、４０４と、会議で使用した資料のデータを、外部記憶装置１０５から取得する（ステップ１２０１）。
【００６０】
次に、データ検索装置１１０は、表示装置１０９の画面上に検索対象とする資料の選択画面を表示する（ステップ１２０２）。図１３に、選択画面の一例を示す。図１３の場合、１つの画面内に４つの資料の情報が選択可能に表示される例を示している。図１３では、各資料が、サムネイル画像１０３２と、資料名１３０３とで表示される場合について表している。ユーザは、選択画面１３０１に表示されたサムネイル画像１３０２のうち検索対象とする１つの上にカーソル１３０４を合わせ、クリック操作により選択をデータ検索装置１１０に入力する。図では、選択が確定した状態にある資料１を、網掛け表示で示している。
【００６１】
続いて、データ検索装置１１０は、選択した資料のうち検索対象とする説明範囲の選択を受付ける（ステップ１２０３）。図１４に、説明範囲の選択受付け時に表示する画面例を示す。図１４に示す選択画面１４０１は、ステップ１２０２で選択された「資料１」のページ内容である。ユーザは、カーソル１４０３を画面上で移動させるドラッグ操作により検索対象とする説明範囲１４０２を入力する。図では、ページの下段に位置する説明文とオブジェクトが選択された様子を示している。図１４に示すように、説明範囲の指定は、文字以外のオブジェクトを含むことができる。この説明範囲は、資料上のカーソル位置情報として保存される。
【００６２】
次に、データ検索装置１１０は、外部記憶装置１０５に格納されているカーソル位置データを読み込む（ステップ１２０４）。このカーソル位置データの読み込みは、図１０に示すデータ形式について行われる。
【００６３】
次に、データ検索装置１１０は、検索対象に選択された資料と同じ資料であり、かつ、選択された説明範囲内にカーソルが位置する会議録データの時間位置を抽出する（ステップ１２０５）。なお、説明範囲にカーソルが位置する会議録データが複数の時間値について連続して出現する場合、データ検索装置１１０は、これら複数時点の会議録データを１つの検索結果として扱う。これにより、説明箇所の候補が検索される。図１５に、検索結果として表示装置１０９に表示される検索結果の表示例を示す。図１５に示す検索結果画面１５０１には４の時間帯が候補として表示されている。
【００６４】
この後、データ検索装置１１０は、選択結果画面１５０１の中からカーソル１５０２により時間帯の選択を受付ける（ステップ１２０６）。
【００６５】
この後、データ検索装置１１０は、選択部分から会議の内容を再生する（ステップ１２０７）。
【００６６】
（会議録データの再生動作）
ここでは、会議録データの再生動作を説明する。この処理動作も、データ検索装置１１０が実行する。
【００６７】
図１６に、データ検索装置１１０が実行する処理動作の内容を説明する。
【００６８】
まず、データ検索装置１１０は、資料データと、資料番号と資料名の対応関係と、資料のサイズ情報を、外部記憶装置１０５から読み込む（ステップ１６０１）。
【００６９】
次に、データ検索装置１１０は、会議内容の再生のため、会議時に取得されたデータ（例えばカーソル位置情報や描画オブジェクト情報）を、外部記憶装置１０５から読み込む（ステップ１６０２）。
【００７０】
さらに、データ検索装置１１０は、映像データ変換部１０８による変換後の画像データを、外部記憶装置１０５から読み込む（ステップ１６０３）。
【００７１】
さらに、データ検索装置１１０は、会議中にマイク１０３から取得された音声データを外部記憶装置１０５から読み込む（ステップ１６０４）。
【００７２】
この後、データ検索装置１１０は、会議録データが終了したか否かを判定する（ステップ１６０５）。会議録データが終了していない場合（ステップ１６０５で否定結果の場合）、データ検索装置１０５は、選択結果画面１５０１で選択された時間に取得された会議録データから資料番号を取得し、当該資料番号に対応する資料データを表示装置１０９に表示する（ステップ１６０６）。同時に、同じ時間に保存された音声データを再生する（ステップ１６０８）。
【００７３】
次に、データ検索装置１１０は、当該時間に対応する説明者の画像データを資料に所定位置に重複的に表示する（ステップ１６０７）。この処理動作が会議録データの時間が終了するまで繰り返される。図１７に、再生画面の一例を示す。再生画面１７０１は、資料画面１７０２と、カーソル１７０３と、説明者像１７０４で構成されている。図１７に示すように、説明者像１７０４を資料に重ねて表示することで、単にカーソル１７０３だけを表示する場合に比して臨場感に優れた会議録の再生を実現できる。もっとも、説明者像１７０４は合成像であるので、資料の視認性を優先したい場合には、説明者像１７０４の透過度を高めたり、不表示とする（透過度１００％）こともできる。
【００７４】
また、この形態例の場合、資料画面１７０２に表示される内容は撮像画像とは異なり、資料データそのものから生成された画像である。従って、説明中に資料のズーム画像が用いられた場合でも鮮明な文字を表示できる。
【００７５】
（他の形態例）
前述の形態例では、資料表示面上のカーソル位置を説明者の指や電子ペン等の操作入力を通じて検出する場合について説明した。しかしながら、カーソル位置は、例えばコンピュータ１０４に接続されたマウスその他の入力装置による入力を使用しても良い。
【００７６】
前述の形態例では、電子ボード１０１上のカーソル位置を外部記憶装置１０５から読み出した後、資料上のカーソル位置に変換する場合について説明した。しかしながら、コンピュータ１０４から入力される電子ボード１０１上のカーソル位置を実時間で資料上のカーソル位置に変換したものを外部記憶装置１０５に保存しても良い。
【００７７】
前述の形態例の場合には、カメラ１０２で撮像された映像データを会議録データの保存タイミングの画像データに変換し、当該変換後の画像データをデータ変換する場合について説明した。しかしながら、映像データそのものをデータ変換し、動画像として会議録データに重畳させても良い。
【００７８】
前述の形態例の場合には、検索とその再生の観点から説明した。しかしながら、当該形態例に係る会議録システムで保存された会議録データを先頭から単純に再生すれば、オフラインによる会議内容の確認に用いることもできる。
【符号の説明】
【００７９】
１０１：電子ボード
１０２：カメラ
１０３：マイク
１０４：コンピュータ
１０５：外部記憶装置
１０６：データ変換装置
１０７：カーソル位置変換部
１０８：映像データ変換部
１０９：表示装置
１１０：データ検索装置
【技術分野】
【０００１】
本発明は、会議録データから資料上の任意の説明箇所に関する時間位置を容易に検索可能とする技術に関する。
【背景技術】
【０００２】
現在、会議やプレゼンテーションでは、資料の提示に電子ボードシステムを用いることがある。電子ボードシステムは、コンピュータ画面の表示装置（例えばプロジェクタ、フラットディスプレイ）と、表示面に対する電子ペンや指等の接触位置を検出する位置検出装置で構成されるシステムである。電子ボードシステムを用いる場合、予め用意したスライドの表示だけでなく、文字、図形その他のオブジェクトの入力、コンピュータやプレゼンテーションソフトの操作入力も、表示面に対する操作入力を通じて実現することができる。
【０００３】
最近では、遠隔地にある電子ボードシステム同士をネットワーク経由で接続し、一方の電子ボードシステムで行った操作内容を、他方の電子ボードシステムにリアルタイムで反映させる仕組みも提案されている。この仕組みを、遠距離間での音声通信が可能な音声入出力装置に組み合わせれば、遠距離間の会議に用いることもできる。
【０００４】
一方で、会議内容の記録には、ビデオカメラ及びマイクが使用される。すなわち、会議内容は、映像データと音声データにより記録される。この種の従来技術は、説明者と説明されている資料の両方を同時に記録できる。すなわち、会議の内容を見たままの状態で記録できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１１７２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、この方法には、資料上の任意の説明箇所に関する時間位置を会議録データから検索するための仕組みが用意されていない。このため、後日確認が必要になっても、映像データを先頭から再生しなければ目的箇所を検索することができなかった。
【０００７】
本発明は、以上の課題を考慮してなされたもので、資料上の任意の説明箇所に関する時間位置を会議録データから容易に検索することができる機能の提供を目的とする。
【課題を解決するための手段】
【０００８】
かかる目的を達成するため、本発明者は、以下に示す機能を有する会議録システムを提案する。
（１）会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する機能
（２）会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、時間情報と関連付けて記憶領域に保存する機能
（３）表示画面上に表示されたカーソル位置を取得し、時間情報と関連付けて記憶領域に保存する機能
【発明の効果】
【０００９】
本発明によれば、時間情報に資料番号と、表示画面上に表示されたカーソル位置とを関連付けて保存した会議録データを作成することができる。この会議録データを用いれば、資料と資料上の範囲の組み合わせで特定された検索条件を満たす会議録データの時間位置の検索が可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態に係る会議録システムの全体構成例を示す図。
【図２】会議録データの保存手順例を説明するフローチャート。
【図３】電子ボード解像度情報を示すデータの構造例を説明する図。
【図４】資料の管理データの構造例を説明する図。
【図５】会議録データとして保存されるデータの構造例を説明する図。
【図６】資料のサイズと電子ボードのサイズの配置関係を説明する図。
【図７】資料のサイズと電子ボードのサイズの配置関係を説明する図。
【図８】資料上の任意の説明箇所の検索に使用するカーソル位置データの変換手順を示すフローチャート。
【図９】電子ボード上のカーソル位置を資料上のカーソル位置に変換するための計算式を説明する図。
【図１０】資料上のカーソル位置を示すデータの構造例を説明する図。
【図１１】撮像された映像データから説明者の像だけを抽出した画像データを保存するまでの手順例を説明するフローチャート。
【図１２】検索条件に基づいて会議録データを検索する際の処理手順例を説明するフローチャート。
【図１３】資料の選択に使用する画面例を示す図。
【図１４】検索範囲の選択に使用する画面例を示す図。
【図１５】検索結果画面の一例を示す図。
【図１６】会議録データの再生手順例を説明するフローチャート。
【図１７】再生画面の表示例を示す図。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて、本発明に係る会議録システムの形態例を説明する。なお、後述する形態例はいずれも一例であり、本発明には、本明細書に記載する任意の機能を組み合わせることで実現されるシステム、本明細書に記載する一部の構成や機能だけで実現されるシステムの他、一部の構成や機能だけを周知の技術で置換したシステムも含まれる。また、後述する形態例で実行される機能は、計算機（コンピュータ）上で実行されるプログラムとして実現されるものとして説明する。もっとも、プログラムの一部又は全部は、ハードウェアを通じて実現されても良い。
【００１２】
（全体システム）
図１に、会議録システムの構成例を示す。図１に示す会議録システムは、電子ボード１０１、カメラ１０２、マイク１０３、コンピュータ１０４、外部記憶装置１０５、データ変換装置１０６、カーソル位置変換部１０７、映像データ変換部１０８、表示装置１０９、データ検索装置１１０により構成されている。
【００１３】
電子ボード１０１は、会議資料の表示装置として用いられる他、コンピュータ１０４に対する入力装置としても用いられる。例えばコンピュータ１０４のカーソル位置入力操作や表示に対する操作入力に用いられる。例えばカーソルの表示位置の移動や説明箇所の強調に用いられる。
【００１４】
図１の場合、電子ボード１０１は、フラットディスプレイを表示装置に用いる例を表している。この他、表示装置をプロジェクタとする構成も可能である。なお、プロジェクタを用いる場合、電子ボード１０１には投影スクリーンを使用する。
【００１５】
この実施例の場合、表示面（検出面）には、特定の偏光成分だけを通過する偏光フィルムを配置する。偏光フィルムは、後述するように、表示面を撮像した画像から説明者だけを切り出すために用いられる。
【００１６】
表示面（検出面）に対する説明者の操作位置の検出には、既知の位置検出技術を使用する。例えば感圧方式、電磁気方式、レーザ方式、超音波方式、赤外線方式、抵抗膜方式、静電容量方式などを使用する。位置検出方式の違いにより、電子ボードの装置構成や構造が異なるものになる。この形態例の場合、指や電子ペン等の操作位置を表示面上の座標データとして算出する演算ユニット１０１１が電子ボード１０１に搭載されているものとする。この形態例の場合、電子ボード１０１の座標原点は表示面の左上隅とする。また、Ｘ軸は電子ボード１０１の水平方向、Ｙ軸は電子ボード１０１の垂直方向とする。
【００１７】
コンピュータ１０４は、電子ボード１０１と接続されており、電子ボード１０１に対する資料（画像データ）の出力、座標データ列の解析に基づいて生成された描画オブジェクト（オブジェクトデータ）の電子ボード１０１への出力、座標データ列のデータ解析に基づく処理動作の実行と処理結果の電子ボード１０１への出力を制御する。また、コンピュータ１０４は、外部記憶装置１０５に接続されており、会議時に電子ボード１０１に表示する資料データ、会議中に電子ボード１０１に表示された資料データ、電子ボード１０１の解像度情報等の外部記憶装置１０５への記録を制御する。なお、コンピュータ１０４と電子ボード１０１との接続は有線形式でも無線形式でも構わない。
【００１８】
外部記憶装置１０５は、ネットワーク経由で接続されたファイルサーバを想定する。もっとも、小規模なシステム構成で良い場合には、コンピュータ１０４に内蔵されたハードディスク装置又は直接外付けされたハードディスク装置でも良い。
【００１９】
カメラ１０２は、説明者の画像の取得及び説明者の位置の取得に用いられる。この形態例の場合、カメラ１０２は、資料を表示する電子ボード１０１の表示面の全体のみを撮像できる位置に設置される。すなわち、カメラ１０２は、電子ボード１０１の表示面の外側を撮像対象に含まない位置に設置される。カメラ１０２で撮像された映像データは外部記憶装置１０５にファイルデータとして保存される。
【００２０】
撮影画像から説明者のみを抜き出すため、カメラ１０２には、電子ボード１０１側に装着された偏光フィルムとは異なる方向の偏光成分だけを通過する偏光フィルムが装着される。偏光フィルムの装着により、電子ボード１０１上の表示画は黒く撮像される。一方、電子ボード１０１の表示面の範囲に入り込んだ説明者はカラー画像として撮影される。このため、黒画像領域を切り離すことにより、説明者像のみを撮像画像から抜き出すことができる。なお、説明者像の抜き出しのため、説明者は黒色以外の衣類を着用することが望ましい。
【００２１】
マイク１０３は、説明者の音声と会議出席者の音声の取得に用いられる。このため、マイク１０３は、説明者の音声と会議出席者の音声の両方を取得し易い位置に設置される。マイク１０３で取得された会議中（会議の開始から終了まで）の音声データは外部記憶装置１０５にファイルデータとして保存される。
【００２２】
データ変換装置１０６は、外部記憶装置１０５に接続され、データ検索に必要なデータ変換処理及び会議録データの再生に必要なデータ変換処理を実行する。図１の場合、データ変換装置１０６をコンピュータ１０４の別装置として表しているが、データ変換装置１０６はコンピュータ１０４で実行されるアプリケーションソフトの一つであっても良い。データ変換装置１０６は、カーソル位置変換部１０７及び映像データ変換部１０８で構成される。この形態例の場合、データ変換装置１０６は、コンピュータ１０４とは別のコンピュータで実行されるアプリケーションソフトウエアとして実現されるものとする。
【００２３】
カーソル位置変換部１０７は、データ検索装置１１０による資料内の説明箇所の検索を可能とするために、電子ボード１０１の表示面座標系の座標を資料座標系の座標に変換する処理を実行する。資料座標系は資料の左上隅を座標原点とし、画面内水平方向をｘ軸、垂直方向をｙ軸とする。なお、変換処理後の座標データは外部記憶装置１０５に保存される。
【００２４】
映像データ変換部１０８は、表示装置１０９に会議録データの内容を表示する際に、電子ボード１０１に表示されていた資料と説明者を重複した状態で表示するために、カメラ１０２から取得された説明者の映像データの変換処理を実行する。
【００２５】
表示装置１０９は、データ変換装置１０６で変換されたデータを外部記憶装置１０５から取得し、会議内容を再生する。表示装置１０９は、画像表示装置であれば良く、必ずしも電子ボード１０１と同じ表示サイズである必要は無い。この表示装置１０９は、コンピュータ１０４の表示部であっても良いし、電子ボード１０１でも良い。
【００２６】
データ検索装置１１０は、１つ又は複数の会議録データを対象とした検索の実行と、検索結果に基づく該当箇所の再生処理を実行する。ここで、データ検索装置１１０は、外部記憶装置１０５に保存されている資料データとカーソル位置データを検索対象とする。データ検索装置１１０は、検索条件の入力用ＧＵＩを表示装置１０９に表示する。また、データ検索装置１１０は、検索条件として入力された資料の特定範囲にカーソル位置が一致する又は含まれる会議録データの時間軸上の位置情報（タイムスタンプ）を検索結果として表示装置１０９に表示する。また、データ検索装置１１０は、検索結果画面から選択された時間軸上の位置から会議録データ（資料データ、カメラ１０２で撮像された映像データ、マイク１０３で取得された音声データ）を再生する。再生画像は表示装置１０９に表示される。
【００２７】
（会議録データの保存動作）
図２に、会議録データの保存手順を示す。この処理動作はコンピュータ１０４で実行されるアプリケーションプログラムを通じて実現される。図２には、会議開始前の前処理も含まれている。
【００２８】
会議の開始に先立って、コンピュータ１０４は、電子ボード１０１の解像度情報を保存する（ステップ２０１）。図３に、解像度情報のデータ構造例を示す。解像度情報は、Ｘ軸方向の解像度３０１とＹ軸方向の解像度３０２で構成される。また、コンピュータ１０４は、会議で使用する資料データを保存する（ステップ２０２）。コンピュータ１０４は、資料データの保存の際、各資料のサイズ情報を取得する。会議で使用される資料には、読み込み順に連番で資料番号が付与される（ステップ２０３）。この実施例の場合、資料はページ単位で管理され、各ページに資料番号が付される。資料のサイズ情報や資料番号は、資料の管理データとして外部記憶装置１０５に保存される（ステップ２０４）。図４に、外部記憶装置１０５に保存される管理データの構造例を示す。管理データは、資料番号４０１と、資料名４０２と、資料のサイズ情報（ｘ軸方向のサイズ情報４０３、ｙ軸方向のサイズ情報４０４）とで構成される。この管理データにより、資料名と資料番号と資料サイズの対応関係が分かる。なお、ステップ２０１とステップ２０２の実行順序は入れ替わっていても良い。
【００２９】
次に、会議の開始後に、コンピュータ１０４が実行する処理動作を説明する。会議の開始を検出すると、コンピュータ１０４は、会議が終了したか否かを判定する（ステップ２０５）。コンピュータ１０４は、音声入力の発生、説明者や操作者による開始操作の入力を通じて会議の開始を検出する。また、コンピュータ１０４は、無音時間の一定時間以上の継続や操作者による終了操作の入力を通じて会議の終了を検出する。
【００３０】
会議中と判定されている間（ステップ２０５で否定結果が得られている間）、コンピュータ１０４は、会議開始からの時間、電子ボード１０１に表示されている資料の資料番号４０１と、電子ボード１０１上に表示されている資料の位置（表示資料位置）（資料原点座標に対する電子ボード座標上の位置）と、電子ボード１０１上のカーソル位置等を一組とし、会議録データとして外部記憶装置１０５に保存する（ステップ２０６）。なお、会議の開始と同時に、カメラ１０２及びマイク１０３も動作し、カメラ１０２から取得される映像データとマイク１０３から取得される音声データも外部記憶装置１０５に保存される。
【００３１】
会議中、説明者は電子ボード１０１の表示面（検出面）に対する操作入力を通じ、資料上の説明箇所にカーソルを移動させたり、表示内容を強調させたりする。また、説明者は、同様の操作を通じ、資料の一部の拡大、縮小等の操作入力も行う。
【００３２】
データの保存は、一定時間毎、カーソル位置の変化時（移動時）、又は表示資料の変更時等のタイミングで実行される。表示資料の変更には、異なる資料への切り換えだけでなく、同一資料内における表示内容の拡大、縮小、表示箇所の移動等も含まれる。なお、会議開始からの経過時間は、コンピュータ１０４の内蔵タイマーの出力値が使用される。一定時間は固定でも良いし、操作者の操作により可変可能であっても良い。また、コンピュータ１０４は、電子ボード１０１の表示面に表示されるカーソル位置を監視しており、カーソル位置が判定期間内に閾値以上変化したか否かによりカーソル位置の変化（移動）の有無を判定する。
【００３３】
図５に、ステップ２０６において保存される会議録データの構造例を示す。この形態例の場合、会議録データは、会議開始からの時間５０１、表示資料番号５０２、表示資料位置（左上Ｘ座標）５０３、表示資料位置（左上Ｙ座標）５０４、資料拡大率５０５、表示カーソル位置（ｘ座標）５０６、表示カーソル位置（ｙ座標）５０７で構成される。ここで、表示資料位置５０３、５０４及び表示カーソル位置５０６、５０７は、電子ボード１０１の座標系により与えられる。
【００３４】
図６及び図７に、本形態例において想定する資料のサイズと電子ボードのサイズとの関係を示す。図６は、電子ボードのサイズ６０１よりも資料のサイズ６０２の方が大きい場合である。この場合は、例えば資料の拡大倍率が１より大きい場合に生じる。この例に示すように、図６の場合、表示資料位置５０３及び５０４は、いずれも負の値を採る。図７は、電子ボードのサイズ７０１よりも資料のサイズ７０２の方が小さい場合である。この場合は、例えば資料の拡大倍率が１より小さい場合に生じる。ただし、ここでは資料の表示サイズが電子ボード１０１の表示サイズと一致する場合を拡大倍率が１であるものとする。図７の場合、表示カーソル位置５０６、５０７はいずれも正の値を採る。
【００３５】
会議が終了すると（ステップ２０５で肯定結果が得られた場合）、コンピュータ１０４は、保存に関する処理プロセスを終了する。
【００３６】
（カーソル位置データの変換動作）
次に、会議録データの検索及び再生のために、データ変換装置１０６のカーソル位置変換部１０７において実行されるデータ変換動作を説明する。この変換動作は、会議録データの検索が開始される前に終了していれば良い。従って、会議録データの保存と並行して実行されても良い。
【００３７】
この変換動作は、説明者が説明していた資料の特定箇所を指定した検索を可能とするための前処理として実行される。具体的には、電子ボード１０１の座標系で与えられたカーソル位置の座標値を資料の座標系の座標値に変換する動作を実行する。カーソル位置を資料の座標系で表すことができれば、説明者が会議中に説明していた箇所を特定することが可能になり、後の検索時に資料とその説明箇所を指定した検索が可能になるためである。
【００３８】
図８に、カーソル位置変換部１０７によるカーソル位置データの変換動作を示す。もっとも、資料のサイズと電子ボードのサイズが一致し、資料上の座標値と電子ボード上の座標値が一致する場合、この変換処理は不要である。
【００３９】
まず、カーソル位置変換部１０７は、外部記憶装置１０５から電子ボードの解像度情報（図３）を取得する（ステップ８０１）。
【００４０】
次に、カーソル位置変換部１０７は、資料サイズデータ（図４）と会議録データ（図５）を外部記憶装置１０５から取得する（ステップ８０２）。
【００４１】
この後、カーソル位置変換部１０７は、データ変換の処理対象になっていない会議録データの有無を判定する（ステップ８０３）。未処理の会議録データが存在する場合、データ変換装置１０６は１行分の会議録データを読み込む（ステップ８０４）。
【００４２】
次に、カーソル位置変換部１０７は、読み込んだ会議録データから表示資料位置と拡大率を取得する（ステップ８０５）。また、カーソル位置変換部１０７は、読み込んだ会議録データから電子ボード１０１上のカーソル位置を取得する（ステップ８０６）。
【００４３】
これらのデータが取得されると、カーソル位置変換部１０７は、図９に示す計算式に基づいて、電子ボード上のカーソル位置を資料上のカーソル位置に変換する（ステップ８０７）。因みに、９０１はＸ座標の換算式であり、９０２はＹ座標の換算式である。
【００４４】
次に、カーソル位置変換部１０７は、計算された資料上のカーソル位置が資料の外か否かを判定する（ステップ８０８）。資料の中にあれば（ステップ８０８で否定結果の場合）、カーソル位置変換部１０７はステップ８０３に戻る。一方、資料の外にあれば（ステップ８０８で肯定結果の場合）、カーソル位置変換部１０７は当該会議録データを破棄した後ステップ８０３に戻る（ステップ８０９）。ここで、算出されたカーソル位置が資料上にあるか否かは、会議前に取得された資料サイズデータ（図４）との比較により実行される。
【００４５】
この変換動作が会議の開始から終了までの間に記録された全ての会議録データについて実行されることにより、カーソル位置変換部１０７は、各時間における資料上のカーソル位置を求めることができる。
【００４６】
全ての会議録データについて変換処理が終了すると、カーソル位置変換部１０７は、破棄されなかったカーソル位置の情報に対し、会議開始からの時間と、表示されている資料の資料番号とを付与し、外部記憶装置１０５に格納する（ステップ８１０）。図１０に、資料上のカーソル位置として外部記憶装置１０５に格納されるデータの構造を示す。資料上のカーソル位置データは、会議開始からの時間１００１、表示資料番号１００２、資料上カーソル位置（Ｘ座標）１００３、資料上カーソル位置（Ｙ座標）で構成される。
【００４７】
（映像データの変換動作）
次に、データ変換装置１０６の映像データ変換部１０８において実行されるデータ変換動作を説明する。すなわち、カメラ１０２で撮像された映像データの変換動作を説明する。この変換動作も、会議録データの検索が開始される前に終了していれば良い。従って、カメラ１０２の撮像と並行して実行されても良い。この変換動作は、カメラ１０２により撮影された説明者の映像を資料に重複して表示する場合のために、映像データから説明者像だけを抽出する目的で実行される。
【００４８】
前述したように、カメラ１０２と電子ボード１０１の表示面には、それぞれ通過する偏光成分が異なる偏光フィルムが装着されている。このため、カメラ１０２の撮像画像のうち電子ボード１０１の表示面の領域部分は黒画面となる。また、カメラ１０２の撮影範囲は、電子ボード１０１の表示面サイズに合致している。このため、説明者が電子ボード１０１の前に立つと、説明者像は黒色背景を有する画像として表示される。
【００４９】
図１１に、映像データ変換部１０８による映像データの変換動作を示す。
【００５０】
まず、映像データ変換部１０８は、外部記憶装置１０５からカメラ１０２で撮影された映像データを取得する（ステップ１１０１）。
【００５１】
次に、映像データ変換部１０８は、取得された映像データを時間単位の画像データに変換する（ステップ１１０２）。
【００５２】
次に、映像データ変換部１０８は、未処理の画像データの有無を判定する（ステップ１１０３）。未処理の画像データが存在する場合（ステップ１１０３で肯定結果が得られた場合）、映像データ変換部１０８は、先に処理した画像データに対して次の時間情報が付された画像データを読み込む（ステップ１１０４）。
【００５３】
続いて、映像データ変換部１０８は、読み込んだ画像データの背景色である黒色を透過色に設定する（ステップ１１０５）。ただし、この時点の画像データをそのまま資料に重複すると、説明者と重複する部分の資料を見ることができなくなる。
【００５４】
そこで、映像データ変換部１０８は、背景色以外の色を半透過色（例えば５０％程度）に設定する（ステップ１１０６）。この設定により、会議録データを再生する際に、説明者が透けて見え、説明者に隠れていた資料も同時に見ることができる。
【００５５】
これらの処理が全ての画像について実行されると（ステップ１１０３で否定結果が得られると）、映像データ変換部１０８は、データ変換後の画像データを外部記憶装置１０５に格納する（ステップ１１０７）。
【００５６】
（会議録データの検索動作）
ここでは、会議録データの検索時に実行される処理動作の内容を説明する。この処理動作の内容は、データ検索装置１１０により実行される。
【００５７】
この形態例の場合、説明箇所の検索は、説明に用いた資料と、資料上のカーソル位置又は範囲の特定により実行する。
【００５８】
図１２に、データ検索装置１１０が実行する処理動作の内容を説明する。
【００５９】
まず、データ検索装置１１０は、資料番号４０１と資料名４０２との対応関係と、資料のサイズ情報４０３、４０４と、会議で使用した資料のデータを、外部記憶装置１０５から取得する（ステップ１２０１）。
【００６０】
次に、データ検索装置１１０は、表示装置１０９の画面上に検索対象とする資料の選択画面を表示する（ステップ１２０２）。図１３に、選択画面の一例を示す。図１３の場合、１つの画面内に４つの資料の情報が選択可能に表示される例を示している。図１３では、各資料が、サムネイル画像１０３２と、資料名１３０３とで表示される場合について表している。ユーザは、選択画面１３０１に表示されたサムネイル画像１３０２のうち検索対象とする１つの上にカーソル１３０４を合わせ、クリック操作により選択をデータ検索装置１１０に入力する。図では、選択が確定した状態にある資料１を、網掛け表示で示している。
【００６１】
続いて、データ検索装置１１０は、選択した資料のうち検索対象とする説明範囲の選択を受付ける（ステップ１２０３）。図１４に、説明範囲の選択受付け時に表示する画面例を示す。図１４に示す選択画面１４０１は、ステップ１２０２で選択された「資料１」のページ内容である。ユーザは、カーソル１４０３を画面上で移動させるドラッグ操作により検索対象とする説明範囲１４０２を入力する。図では、ページの下段に位置する説明文とオブジェクトが選択された様子を示している。図１４に示すように、説明範囲の指定は、文字以外のオブジェクトを含むことができる。この説明範囲は、資料上のカーソル位置情報として保存される。
【００６２】
次に、データ検索装置１１０は、外部記憶装置１０５に格納されているカーソル位置データを読み込む（ステップ１２０４）。このカーソル位置データの読み込みは、図１０に示すデータ形式について行われる。
【００６３】
次に、データ検索装置１１０は、検索対象に選択された資料と同じ資料であり、かつ、選択された説明範囲内にカーソルが位置する会議録データの時間位置を抽出する（ステップ１２０５）。なお、説明範囲にカーソルが位置する会議録データが複数の時間値について連続して出現する場合、データ検索装置１１０は、これら複数時点の会議録データを１つの検索結果として扱う。これにより、説明箇所の候補が検索される。図１５に、検索結果として表示装置１０９に表示される検索結果の表示例を示す。図１５に示す検索結果画面１５０１には４の時間帯が候補として表示されている。
【００６４】
この後、データ検索装置１１０は、選択結果画面１５０１の中からカーソル１５０２により時間帯の選択を受付ける（ステップ１２０６）。
【００６５】
この後、データ検索装置１１０は、選択部分から会議の内容を再生する（ステップ１２０７）。
【００６６】
（会議録データの再生動作）
ここでは、会議録データの再生動作を説明する。この処理動作も、データ検索装置１１０が実行する。
【００６７】
図１６に、データ検索装置１１０が実行する処理動作の内容を説明する。
【００６８】
まず、データ検索装置１１０は、資料データと、資料番号と資料名の対応関係と、資料のサイズ情報を、外部記憶装置１０５から読み込む（ステップ１６０１）。
【００６９】
次に、データ検索装置１１０は、会議内容の再生のため、会議時に取得されたデータ（例えばカーソル位置情報や描画オブジェクト情報）を、外部記憶装置１０５から読み込む（ステップ１６０２）。
【００７０】
さらに、データ検索装置１１０は、映像データ変換部１０８による変換後の画像データを、外部記憶装置１０５から読み込む（ステップ１６０３）。
【００７１】
さらに、データ検索装置１１０は、会議中にマイク１０３から取得された音声データを外部記憶装置１０５から読み込む（ステップ１６０４）。
【００７２】
この後、データ検索装置１１０は、会議録データが終了したか否かを判定する（ステップ１６０５）。会議録データが終了していない場合（ステップ１６０５で否定結果の場合）、データ検索装置１０５は、選択結果画面１５０１で選択された時間に取得された会議録データから資料番号を取得し、当該資料番号に対応する資料データを表示装置１０９に表示する（ステップ１６０６）。同時に、同じ時間に保存された音声データを再生する（ステップ１６０８）。
【００７３】
次に、データ検索装置１１０は、当該時間に対応する説明者の画像データを資料に所定位置に重複的に表示する（ステップ１６０７）。この処理動作が会議録データの時間が終了するまで繰り返される。図１７に、再生画面の一例を示す。再生画面１７０１は、資料画面１７０２と、カーソル１７０３と、説明者像１７０４で構成されている。図１７に示すように、説明者像１７０４を資料に重ねて表示することで、単にカーソル１７０３だけを表示する場合に比して臨場感に優れた会議録の再生を実現できる。もっとも、説明者像１７０４は合成像であるので、資料の視認性を優先したい場合には、説明者像１７０４の透過度を高めたり、不表示とする（透過度１００％）こともできる。
【００７４】
また、この形態例の場合、資料画面１７０２に表示される内容は撮像画像とは異なり、資料データそのものから生成された画像である。従って、説明中に資料のズーム画像が用いられた場合でも鮮明な文字を表示できる。
【００７５】
（他の形態例）
前述の形態例では、資料表示面上のカーソル位置を説明者の指や電子ペン等の操作入力を通じて検出する場合について説明した。しかしながら、カーソル位置は、例えばコンピュータ１０４に接続されたマウスその他の入力装置による入力を使用しても良い。
【００７６】
前述の形態例では、電子ボード１０１上のカーソル位置を外部記憶装置１０５から読み出した後、資料上のカーソル位置に変換する場合について説明した。しかしながら、コンピュータ１０４から入力される電子ボード１０１上のカーソル位置を実時間で資料上のカーソル位置に変換したものを外部記憶装置１０５に保存しても良い。
【００７７】
前述の形態例の場合には、カメラ１０２で撮像された映像データを会議録データの保存タイミングの画像データに変換し、当該変換後の画像データをデータ変換する場合について説明した。しかしながら、映像データそのものをデータ変換し、動画像として会議録データに重畳させても良い。
【００７８】
前述の形態例の場合には、検索とその再生の観点から説明した。しかしながら、当該形態例に係る会議録システムで保存された会議録データを先頭から単純に再生すれば、オフラインによる会議内容の確認に用いることもできる。
【符号の説明】
【００７９】
１０１：電子ボード
１０２：カメラ
１０３：マイク
１０４：コンピュータ
１０５：外部記憶装置
１０６：データ変換装置
１０７：カーソル位置変換部
１０８：映像データ変換部
１０９：表示装置
１１０：データ検索装置
【特許請求の範囲】
【請求項１】
会議録システムにおいて、
会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する手段と、
会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
表示画面上に表示されたカーソル位置を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と
を有することを特徴とする会議録システム。
【請求項２】
請求項１に記載の会議録システムにおいて、
前記カーソル位置は、前記表示画面を検出領域とする位置検出装置から与えられる
ことを特徴とする会議録システム。
【請求項３】
請求項１又は２に記載の会議録システムにおいて、
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムが撮像面に配置され、前記表示画面を撮像対象とする撮像手段と、
前記撮像手段で撮像された映像データに対し、前記時間情報を付与する手段と
を有することを特徴とする会議録システム。
【請求項４】
請求項１又は２に記載の会議録システムにおいて、
会議録データの保存タイミングに表示画面上に表示されていた資料の表示領域を特定する位置情報を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段
を更に有することを特徴とする会議録システム。
【請求項５】
請求項１又は２に記載の会議録システムにおいて、
前記記憶領域に保存する前の前記カーソル位置を資料上のカーソル位置情報に変換し、前記時間情報と関連付けて記憶領域に保存する手段
を有することを特徴とする会議録システム。
【請求項６】
請求項１又は２に記載の会議録システムにおいて、
前記時間情報と関連付けて保存された前記カーソル位置を前記記憶領域から読み出し、当該カーソル位置を資料上のカーソル位置情報に変換する手段
を有することを特徴とする会議録システム。
【請求項７】
請求項１又は２に記載の会議録システムにおいて、
資料と資料上の検索範囲を、会議録データの検索条件として受付ける手段と、
前記資料上の検索範囲について前記記憶領域を検索する手段と、
前記資料上の検索範囲と合致したカーソル位置を有する会議録データの検索結果を出力する手段と、
検索結果から選択された時間位置から会議録データを再生する手段と
を更に有することを特徴とする会議録システム。
【請求項８】
請求項７に記載の会議録システムにおいて、
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムを撮像面に配置した撮像手段により撮像された前記表示画面の映像データを、前記会議録データの再生画像に重ねて表示する手段
を有することを特徴とする会議録システム。
【請求項９】
請求項８に記載の会議録システムにおいて、
前記映像データは、重複領域について前記再生画像の内容を確認できるように透過処理されて重畳される
ことを特徴とする会議録システム。
【請求項１０】
会議録システムにおいて、
会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する手段と、
会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
表示画面上に表示されたカーソル位置を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
会議録データの保存タイミングにおける説明者の画像データを取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
前記時間情報に基づいて前記資料番号、前記カーソル位置及び前記説明者の画像データを記憶領域から同期再生する手段と
を有することを特徴とする会議録システム。
【請求項１１】
会議録システムを構成するコンピュータに、
会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する処理と、
会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
表示画面上に表示されたカーソル位置を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と
を実行させるプログラム。
【請求項１２】
請求項１１に記載のプログラムにおいて、
前記カーソル位置は、前記表示画面を検出領域とする位置検出装置から与えられる
ことを特徴とするプログラム。
【請求項１３】
請求項１１又は１２に記載のプログラムにおいて、
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムが撮像面に配置され、前記表示画面を撮像対象とする撮像手段で撮像された映像データに対し、前記時間情報を付与する処理
を実行させることを特徴とするプログラム。
【請求項１４】
請求項１１又は１２に記載のプログラムにおいて、
会議録データの保存タイミングに表示画面上に表示されていた資料の表示領域を特定する位置情報を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理
を実行させることを特徴とするプログラム。
【請求項１５】
請求項１１又は１２に記載のプログラムにおいて、
前記記憶領域に保存する前の前記カーソル位置を資料上のカーソル位置情報に変換し、前記時間情報と関連付けて記憶領域に保存する処理
を実行させることを特徴とするプログラム。
【請求項１６】
請求項１１又は１２に記載のプログラムにおいて、
前記時間情報と関連付けて保存された前記カーソル位置を前記記憶領域から読み出し、当該カーソル位置を資料上のカーソル位置情報に変換する処理
を実行させることを特徴とするプログラム。
【請求項１７】
請求項１１又は１２に記載のプログラムにおいて、
資料と資料上の検索範囲を、会議録の検索条件として受付ける処理と、
前記資料上の検索範囲について前記記憶領域を検索する処理と、
前記資料上の検索範囲と合致したカーソル位置を有する会議録データの検索結果を出力する処理と、
検索結果から選択された時間位置から会議録データを再生する処理と
を実行させることを特徴とするプログラム。
【請求項１８】
請求項１７に記載のプログラムにおいて、
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムを撮像面に配置した撮像手段により撮像された前記表示画面の映像データを、前記会議録データの再生画像に重ねて表示する処理
を実行させることを特徴とするプログラム。
【請求項１９】
請求項１８に記載のプログラムにおいて、
前記映像データを、重複領域について前記再生画像の内容を確認できるように透過処理した後、対応資料に重畳する処理
を実行させることを特徴とするプログラム。
【請求項２０】
会議録システムを構成するコンピュータに、
会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する処理と、
会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
表示画面上に表示されたカーソル位置を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
会議録データの保存タイミングにおける説明者の画像データを取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
前記時間情報に基づいて前記資料番号、前記カーソル位置及び前記説明者の画像データを記憶領域から同期再生する処理と
を実行させることを特徴とするプログラム。
【請求項１】
会議録システムにおいて、
会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する手段と、
会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
表示画面上に表示されたカーソル位置を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と
を有することを特徴とする会議録システム。
【請求項２】
請求項１に記載の会議録システムにおいて、
前記カーソル位置は、前記表示画面を検出領域とする位置検出装置から与えられる
ことを特徴とする会議録システム。
【請求項３】
請求項１又は２に記載の会議録システムにおいて、
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムが撮像面に配置され、前記表示画面を撮像対象とする撮像手段と、
前記撮像手段で撮像された映像データに対し、前記時間情報を付与する手段と
を有することを特徴とする会議録システム。
【請求項４】
請求項１又は２に記載の会議録システムにおいて、
会議録データの保存タイミングに表示画面上に表示されていた資料の表示領域を特定する位置情報を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段
を更に有することを特徴とする会議録システム。
【請求項５】
請求項１又は２に記載の会議録システムにおいて、
前記記憶領域に保存する前の前記カーソル位置を資料上のカーソル位置情報に変換し、前記時間情報と関連付けて記憶領域に保存する手段
を有することを特徴とする会議録システム。
【請求項６】
請求項１又は２に記載の会議録システムにおいて、
前記時間情報と関連付けて保存された前記カーソル位置を前記記憶領域から読み出し、当該カーソル位置を資料上のカーソル位置情報に変換する手段
を有することを特徴とする会議録システム。
【請求項７】
請求項１又は２に記載の会議録システムにおいて、
資料と資料上の検索範囲を、会議録データの検索条件として受付ける手段と、
前記資料上の検索範囲について前記記憶領域を検索する手段と、
前記資料上の検索範囲と合致したカーソル位置を有する会議録データの検索結果を出力する手段と、
検索結果から選択された時間位置から会議録データを再生する手段と
を更に有することを特徴とする会議録システム。
【請求項８】
請求項７に記載の会議録システムにおいて、
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムを撮像面に配置した撮像手段により撮像された前記表示画面の映像データを、前記会議録データの再生画像に重ねて表示する手段
を有することを特徴とする会議録システム。
【請求項９】
請求項８に記載の会議録システムにおいて、
前記映像データは、重複領域について前記再生画像の内容を確認できるように透過処理されて重畳される
ことを特徴とする会議録システム。
【請求項１０】
会議録システムにおいて、
会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する手段と、
会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
表示画面上に表示されたカーソル位置を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
会議録データの保存タイミングにおける説明者の画像データを取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
前記時間情報に基づいて前記資料番号、前記カーソル位置及び前記説明者の画像データを記憶領域から同期再生する手段と
を有することを特徴とする会議録システム。
【請求項１１】
会議録システムを構成するコンピュータに、
会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する処理と、
会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
表示画面上に表示されたカーソル位置を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と
を実行させるプログラム。
【請求項１２】
請求項１１に記載のプログラムにおいて、
前記カーソル位置は、前記表示画面を検出領域とする位置検出装置から与えられる
ことを特徴とするプログラム。
【請求項１３】
請求項１１又は１２に記載のプログラムにおいて、
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムが撮像面に配置され、前記表示画面を撮像対象とする撮像手段で撮像された映像データに対し、前記時間情報を付与する処理
を実行させることを特徴とするプログラム。
【請求項１４】
請求項１１又は１２に記載のプログラムにおいて、
会議録データの保存タイミングに表示画面上に表示されていた資料の表示領域を特定する位置情報を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理
を実行させることを特徴とするプログラム。
【請求項１５】
請求項１１又は１２に記載のプログラムにおいて、
前記記憶領域に保存する前の前記カーソル位置を資料上のカーソル位置情報に変換し、前記時間情報と関連付けて記憶領域に保存する処理
を実行させることを特徴とするプログラム。
【請求項１６】
請求項１１又は１２に記載のプログラムにおいて、
前記時間情報と関連付けて保存された前記カーソル位置を前記記憶領域から読み出し、当該カーソル位置を資料上のカーソル位置情報に変換する処理
を実行させることを特徴とするプログラム。
【請求項１７】
請求項１１又は１２に記載のプログラムにおいて、
資料と資料上の検索範囲を、会議録の検索条件として受付ける処理と、
前記資料上の検索範囲について前記記憶領域を検索する処理と、
前記資料上の検索範囲と合致したカーソル位置を有する会議録データの検索結果を出力する処理と、
検索結果から選択された時間位置から会議録データを再生する処理と
を実行させることを特徴とするプログラム。
【請求項１８】
請求項１７に記載のプログラムにおいて、
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムを撮像面に配置した撮像手段により撮像された前記表示画面の映像データを、前記会議録データの再生画像に重ねて表示する処理
を実行させることを特徴とするプログラム。
【請求項１９】
請求項１８に記載のプログラムにおいて、
前記映像データを、重複領域について前記再生画像の内容を確認できるように透過処理した後、対応資料に重畳する処理
を実行させることを特徴とするプログラム。
【請求項２０】
会議録システムを構成するコンピュータに、
会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する処理と、
会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
表示画面上に表示されたカーソル位置を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
会議録データの保存タイミングにおける説明者の画像データを取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
前記時間情報に基づいて前記資料番号、前記カーソル位置及び前記説明者の画像データを記憶領域から同期再生する処理と
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−１１８８５９（Ｐ２０１２−１１８８５９Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６９３０９（Ｐ２０１０−２６９３０９）
【出願日】平成２２年１２月２日（２０１０．１２．２）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月２日（２０１０．１２．２）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
[ Back to top ]