講義コンテンツ自動作成システム
【課題】 通常教室における板書による講義を特別なハードウェアを用意することなく、高圧縮なコンテンツを自動生成できる講義コンテンツ自動作成システムの提供。
【解決手段】 本発明によれば、講師１２０が黒板１１０を用いて行なう講義をカメラ１３０で撮影してサーバ１４０に取り込み、画像処理により講師映像を分離して保存するとともに、板書がなされた領域を抽出して、板書文字を時系列的にベクトルデータ化して保存する。ネットワーク１５０を通じて端末１６０に配信するＷｅｂコンテンツの生成においては、例えばブラウザに講師映像と仮想黒板を表示し、講師映像の再生と同期して、仮想黒板上にベクトルデータを用いて板書を時系列的に提示する。
【解決手段】 本発明によれば、講師１２０が黒板１１０を用いて行なう講義をカメラ１３０で撮影してサーバ１４０に取り込み、画像処理により講師映像を分離して保存するとともに、板書がなされた領域を抽出して、板書文字を時系列的にベクトルデータ化して保存する。ネットワーク１５０を通じて端末１６０に配信するＷｅｂコンテンツの生成においては、例えばブラウザに講師映像と仮想黒板を表示し、講師映像の再生と同期して、仮想黒板上にベクトルデータを用いて板書を時系列的に提示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通常教室における板書による講義からＷｅｂコンテンツを自動生成する講義コンテンツ自動作成システムに関するものである。
【背景技術】
【０００２】
近年、インターネット技術の発展により、教育現場において、講義のリアルタイム配信やオン・デマンド配信を行うためのｅ−Ｌｅａｒｎｉｎｇシステムの導入が増加している。これにより、直接参加することでしか体験できなかった講義の内容をデジタル的に保存でき、Ｗｅｂコンテンツとして時間や場所の制約を受けずに受講することが可能となってきている。
このように講義をデジタルコンテンツ化して配信する場合、ＰＣ上の電子スライドだけを利用しているのであれば、ＰＣとビデオカメラのみの簡便なハードウェア環境で、資料提示のタイミングと同期をとりながらコンテンツを自動作成することが可能である。
しかしながら、一般の連続講義において、すべての内容を電子スライドとして準備することは相当な負担を教員に強いることになる。これに対して、電子ホワイトボードなどが設置された特別な教室を用意すれば、一般の講義で提示されるような板書データをコンテンツ化することができるが、この場合もすべての教室に設置するには膨大な経費が必要になる。また、電子ホワイトボードやタブレットＰＣを利用できたとしても、板書スペースが黒板と比べて非常に小さいため、数式や図を多用する理工系の講義では使いにくいという不満もある。学習教材としてのｅ−Ｌｅａｒｎｉｎｇコンテンツを教育現場に広く普及させることができないのは、以上のような原因によるところが大きいと考えられる。
【０００３】
このような問題に対し、最近、一般的な黒板での講義をデジタルコンテンツ化する手法が提案されている（例えば非特許文献１，非特許文献２）。しかしながら、これらの手法は板書文字を画像として保存しているため、実際の講義と比較して臨場感に欠けるという欠点がある。この問題を解決するためには、黒板映像を高解像度で配信すればよいが、それにはこれまで以上に広帯域のインターネット環境が広く普及していることが前提となり、必ずしも現実的といえない。
【非特許文献１】西口敏司，仙田修司，美濃導彦，池田克夫，“首振りカメラによる黒板の記録手法，” 画像の認識・理解シンポジウム（ＭＩＲＵ’９６）， ｖｏｌ．Ｉ， ｐｐ．３７−４２， Ｊｕｌｙ １９９６．
【非特許文献２】大西正輝，泉正夫，福永邦雄，“講義映像における板書領域のブロック分割とその応用，” 電子情報通信学会論文誌，Ｖｏｌ．Ｊ８３−Ｄ−Ｉ， Ｎｏ．１１， ｐｐ．１１８７−１１９５， Ｎｏｖ．２０００．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の課題は、上記の問題を解決し、通常教室における板書による講義を特別なハードウェアを用意することなく、高圧縮なコンテンツを自動生成できる講義コンテンツ自動作成システムを提供することである。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明は、黒板への板書による講義をカメラで撮影した映像からＷｅｂコンテンツを自動生成する講義コンテンツ自動作成システムであって、前記カメラの映像から黒板全体を含む映像を取得する黒板映像取得手段と、前記黒板映像から黒板領域を抽出する黒板領域抽出手段と、前記黒板領域から講師領域を抽出する講師領域抽出手段と、前記講師領域に対応して、前記黒板映像から講師映像を切り出す講師映像生成手段と、一定期間ごとに、前記黒板領域から該一定期間に板書の追加又は板書の消去が行なわれた板書領域を抽出する板書領域抽出手段と、前記板書領域から板書をライン検出してベクトルデータを生成するベクトルデータ生成手段と、前記講師映像と、仮想黒板上の該当する前記板書領域に前記ベクトルデータを表示した画像を、別々のウインドウに合成するｗｅｂコンテンツ作成手段とを備えることを特徴とする講義コンテンツ自動作成システムである。
前記黒板映像取得手段は、複数台のカメラからの映像をパノラマ合成して黒板全体を含む黒板映像を取得することを特徴としてもよい。
また、前記講師領域抽出手段は、前記黒板領域抽出手段により黒板映像の最初の１フレームから抽出された黒板領域と、現在の黒板領域とを比較して講師領域を抽出することを特徴としてもよい。
また、前記板書領域抽出手段は、前記一定期間内に講師領域が存在した領域から現在の講師領域の位置を除いた検索領域内において、前記一定期間の直前の前記仮想黒板と比較して輝度値が高く又は低くなった領域を板書の追加又は板書の消去が行なわれた板書領域として抽出することを特徴としてもよい。
また、前記ベクトルデータ生成手段は、前記板書領域が板書の追加である場合には、前記ライン検出によるライン数が一定数以上である場合にのみベクトルデータを生成することを特徴としてもよい。
また、前記ベクトルデータ生成手段は、前記板書領域が板書の消去である場合には、前記ライン検出によるライン数が前記仮想黒板のライン数よりも少ない場合にのみベクトルデータを生成することを特徴としてもよい。
上記に記載の講義コンテンツ自動作成システムの機能をコンピュータ・システムに実現させるためのプログラムも、本発明である。
【発明の効果】
【０００６】
本発明の講義コンテンツ自動作成システムによれば、画像処理により黒板の板書文字を時系列的にベクトルデータ化して提示することにより、通常教室における講義をデジタルコンテンツ化して、現状のインターネット環境でもストレスなく快適に遠隔配信できるシステムを提案する。本システムでは、まずカメラで撮影された黒板映像から、ライン検出により板書文字をベクトルデータとして抽出している。また、画像の差分処理により、壇上を移動する講師を追跡して、小さなフレームとして講師映像を切り出す。つぎに、仮想黒板に、抽出したベクトルデータを板書文字として時系列的に講師映像と同期しながら表示できるように、Ｗｅｂコンテンツを作成しているので、このＷｅｂコンテンツをインターネット配信することができる。
このようにして、通常教室における板書による講義を特別なハードウェアを用意することなく、高圧縮なコンテンツを自動生成することができる。
【発明を実施するための最良の形態】
【０００７】
以降、本発明の講義コンテンツ自動作成システムの実施の形態を詳細に説明する。
【０００８】
＜１．システム構成＞
まず、本実施形態の講義コンテンツ自動作成システムのシステム構成の一例を、図１のシステム構成図を参照しながら説明する。
図１に示すように、本実施形態のシステムでは黒板１１０（通常の黒板のほか、ホワイトボード等であってもよい）を設置している教室において、講師１２０が黒板１１０を用いて行なう講義に対してカメラ１３０を用いて撮影を行う。なお、本実施形態では講師１２０が１人であることを想定している。また、図１ではカメラを３台用いる場合を図示しているが、黒板の大きさ等に応じて何台でもよい。
本実施形態のシステムにおいては、カメラ１３０で撮影した映像をデジタル的にサーバ１４０に取り込んで処理する。複数台のカメラ１３０で撮影した場合には、各々のカメラ１３０で撮影した映像を同期してデジタル的にサーバ１４０に取り込み、パノラマ合成処理により、黒板全体を含む１枚の映像として捉えた高解像度映像を取得する。なお、パノラマ合成処理の方法は後で詳しく説明する。
【０００９】
図２に、本実施形態のシステムで行なう処理の全体的な流れを示す。まず、前処理（Ｓ２１０）として、黒板全体を含む１枚の映像として捉えた高解像度映像を合成する。本実施形態においては、まず複数のカメラ映像の色調特性を均一になるように補正し、次に黒板全体が１つの映像となるようにパノラマ合成を行なう。
そして、講義の撮影時には、複数のカメラによる映像を同期しながら取り込み、上記の前処理により得られたパラメータを用いて、リアルタイムに色調補正（Ｓ２２０）及びパノラマ合成（Ｓ２３０）を行いながら、映像をデジタル的に保存していく。
次に、得られた高解像度のパノラマ映像から、背景差分を用いて講師領域を取得し、講師映像を分離して保存する（Ｓ２４０）。また、黒板上で一定期間変化が保持されている部分を板書がなされた部分と判断して、これを時系列的な差分画像として板書データを保存する。さらに、得られた板書データをブロック化し、それらを細線化してベクトルデータに変換する（Ｓ２５０）。このようにベクトルデータに変換することにより大幅なデータ圧縮が可能になる。
また、生成したベクトルデータを用いて、メモリ内に設けた仮想黒板にリアルタイムに板書を追加する（Ｓ２６０）。これは、上述の板書データ取得の際に、現在の板書と今までの板書と比較する際に用いる。
【００１０】
次に、上記で生成された講師映像およびベクトルデータから、Ｗｅｂコンテンツを生成する（Ｓ２７０）。このＷｅｂコンテンツは、例えば、講師映像と仮想黒板を表示し、講師映像と同期しながら、仮想黒板上にベクトルデータを用いて板書を提示するものである。
本実施形態では上述のようにして、講義の映像からリアルタイムにＷｅｂコンテンツを生成することができる。生成されたＷｅｂコンテンツは、図１に示すように、インターネット等のネットワーク１５０を介して、受講者が利用するパソコンなどの端末１６０に配信される。このようにして、受講者は端末１６０のブラウザ上で講義を閲覧することができる。
【００１１】
＜２．複数台のカメラからの高解像度黒板映像の合成＞
複数台のカメラから捉えた黒板映像から板書データを抽出するためには、上述したように、前処理として、複数のカメラからの映像を、黒板全体を１枚の映像として捉えた高解像度映像として合成する必要がある。本実施形態においては、まず複数のカメラ映像の色調特性を均一になるように補正し、次に黒板全体が１つの映像となるようにパノラマ合成を行なう。以降、この方法について説明する。
【００１２】
図３はその手順を示したフローチャートである。まず、黒板全体を撮影するのに十分な台数のカメラを用意し、複数視点から黒板映像を取得する（Ｓ３１０）。次に、各映像間の色調特性を均一にするための色変換パラメータを求める（Ｓ３２０）。
次に、隣接するカメラが重複して撮影している共通部分にキャリブレーションパターンを配置して、各カメラで捉えた黒板の画像と仮想黒板との射影関係を算出し（Ｓ３３０）、仮想黒板と一致させるように画像変形を行ない（Ｓ３４０）、変形した画像をパノラマ合成する（Ｓ３５０）。このようにして、画像間で継ぎ目のない黒板全体のパノラマ画像を生成する。
また、この前処理で求めたパラメータを用いて、同様にリアルタイムでの色調補正（図２のＳ２２０）およびリアルタイムでのパノラマ合成（図２のＳ２３０）を行なう。
以降、各々の処理について詳しく説明する。
【００１３】
＜３．色調補正＞
上述したように、本実施形態においては、複数のカメラによる黒板映像から、黒板全体が１つの映像となるようにパノラマ合成を行なう。
ここで、各カメラの色調特性が異なると、黒板のパノラマ映像の色調が不均一になるため、映像の継ぎ目部分で板書データの抽出に失敗する可能性がある。したがって、パノラマ合成処理を行う前に各映像の色調を補正する必要がある。
本実施形態においては、色調補正を「池田聖，佐藤智和，横矢直和，”全方位型マルチカメラシステムを用いた高解像度な全天球パノラマ動画像の生成とテレプレゼンスへの応用，” 日本バーチャルリアリティ学会論文誌，Ｖｏｌ．８， Ｎｏ．４， ｐｐ．４４３−４５０， Ｄｅｃ．２００３」等に記載されている従来技術を用いて行なう。すなわち、まず、適当な多色の基準色パターンを作成し、各カメラでそのパターンを含む黒板領域を撮影する。次に、これら各画像のヒストグラムが一致するように最適な線形明度変換パラメータを算出して、色調補正を行なう。
【００１４】
＜４．パノラマ合成＞
板書データを正確に再現するためには、黒板全体を正面から捉えた歪のない高解像度映像が必要になる。このためにはハイビジョンカメラなどの高解像度カメラを用いればよいが、本実施形態では、安価にシステムを構築できるように、市販のビデオカメラを複数台用いて黒板全体を撮影して所望のパノラマ映像を生成する。
ｎ台のカメラを用いるとする（図４では３台のカメラを用いた場合を示している）と、図４（ａ）に示すように、まず、黒板４００を水平方向にｎ等分（図４では３等分）した位置に、適当な大きさの白い正方形のキャリブレーションパターン４１０，４２０を配置する。そして図４（ｂ）に示すように、これらの正方形パターンが隣接カメラの共通撮影領域に必ず含まれ、かつｎ台のカメラ映像が黒板全体を覆うように撮影する。図４（ｂ）では、黒板４００を３台のカメラで撮影した場合の各々のカメラの映像を示している。
次に、図４（ｃ）に示すようなｎ−１個（図４では２個）の正方形パターン４１０，４２０を含み、正面から見込んだ黒板全体の仮想画像を考え、この仮想黒板上の正方形の頂点と各映像上の特徴点との対応関係から映像間の射影変換を求める。黒板は３次元空間上の平面として記述されるので、２つの画像中に捉えられた平面上の点の射影変換は次式で記述できる。
【００１５】
【数１】
【００１６】
【数２】
【００１７】
上式において、（ｕｉ，ｖｉ）と（ｕｋｉ，ｖｋｉ）は、それぞれ正方形パターンのｉ番目（ｉ＝１〜４）の頂点の仮想画像上における画像座標とｋ番目（ｋ＝１〜ｎ）のカメラから撮影した映像上における画像座標である。αｉｋは定数、Ｈｋはホモグラフィー行列と呼ばれる。上式から、ホモグラフィー行列Ｈｋは、スカラ倍の自由度を除けば、８個の未知数として記述できるので、３次元空間内で同一平面上にある4点以上の画像上での対応が分かれば直接に求められることがわかる。カメラ映像上の正方形の４頂点の画像位置は、画像勾配の直交性を用いたコーナー検出手法により、サブピクセル精度で抽出している。なお、この方法については「Ｊ．Ｓｈｉ ａｎｄ Ｃ．Ｔｏｍａｓｉ， ”Ｇｏｏｄ ｆｅａｔｕｒｅｓ ｔｏ ｔｒａｃｋ，”ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ’９４）， ｐｐ．５９３−６００， Ｊｕｎｅ １９９４．」を参照されたい。
【００１８】
ｎ枚の映像を合成するためには、まず、１番目と２番目のカメラ映像と仮想黒板上の正方形の頂点の対応付けを行って、ホモグラフィー行列Ｈ１とＨ２を用いて仮想画像上の正方形と一致するように画像変形を行い、お互いが正方形を２分するように画像を接続する。これに得られた画像と３番目のカメラ映像に対して同様の処理を行い、図４（ｃ）のように、これをｎ番目のカメラ映像まで繰り返して、黒板全体を正面から見込んだ歪のないパノラマ画像を得る。
２台のカメラを用いて上述のパノラマ合成を行なった実際の例を図５に示す。図５（ａ）は、正方形パターンを見込んだ画像、（ｂ）はそれらをホモグラフィー行列により変形した画像、（ｃ）はパノラマ合成した画像である。
【００１９】
＜５．講師映像と板書文字のデータ生成＞
黒板での講義画像における重要な二つの要素は講師画像と板書文字（図形等を含む）である。本実施形態のシステムでは、これらをデジタル化していくことで講義中の情報を完全に再現する。
図６に、講義映像から講師画像と板書文字をデジタル化する処理全体のフローチャートを示す。まず、上述のパノラマ合成を行なって得た黒板映像から初期画像となる黒板領域を抽出する（Ｓ６１０）。この処理は最初に１度行なえばよい。
次に、リアルタイム処理として、現在の画像と初期画像との背景差分によりある程度の大きさの領域を講師映像として抽出し、その領域を現在の講師領域とする（Ｓ６２０）。また、一定期間ごとに講師が板書を行なった領域を背景差分により抽出し（Ｓ６３０）、その領域に対しライン検出を用いて板書文字をベクトルデータ化する（Ｓ６４０）。
このように板書データをベクトル化することにより、データ量を大幅に削減でき、また、拡大・縮小表示に対しても劣化の少ない映像情報を提示できる。
以降、図６のフローチャートに示した各々の処理について詳細に説明する。
【００２０】
（５−１．黒板領域の抽出）
黒板領域の抽出処理（図６のＳ６１０）を、図７のフローチャートに示す。まず、講師が映っていない初期画像を取得する（Ｓ７１０）。本実施形態では例えば講義を撮影した動画の最初の１フレームを取得するものとする。次に、初期画像に対してある程度の大きさの黒板領域の色の平均と分散からその色範囲を推定し、黒板の色である緑色の部分を取得する（Ｓ７２０）。次に、閾値処理を行なって黒板の範囲を取得する（Ｓ７３０）。ただし、そのままでは黒板の輪郭部分が直線にならないことがあるので、垂直・水平方向の各ラインの両端の座標の平均値を求め（Ｓ７４０）、その平均値により黒板領域を抽出する（Ｓ７５０）。
【００２１】
（５−２．講師領域の抽出）
次に、講師領域の抽出処理（図６のＳ６２０）を、図８のフローチャートを参照しながら説明する。
講義中に移動する物体は講師だけであると仮定すると、移動体が存在しない画像（以下、背景画像と呼ぶ）と現在の画像との差分によって講師領域を抽出できる。しかし、板書文字も前景として抽出されてしまうため、講師領域と板書領域を区別しなければならない。
そこで、講師映像は板書文字に対して面積が大きいことから、背景画像と現在画像の差分（Ｓ８１０）により得られた領域に対して収縮処理（Ｓ８２０）を行なうことによって、講師の大部分を残すようにする。次に、膨張処理（Ｓ８３０）を行なって、ある程度の面積をもつ講師領域を抽出する。
ただし、そのままではチョークや講師の腕・指先などは最初に行う収縮処理（Ｓ８２０）により消去される可能性があるため、フレーム間差分を用いて動体検出（Ｓ８４０）を行ない、動体が検出された部分と上述で抽出された講師領域とを合成して、全体を覆う矩形をとることによって、講師領域を抽出する（Ｓ８５０）。ただし、講師の姿勢や動作によって講師領域の大きさや中心が変わるため、そのまま映像化すると細かく揺れる映像となる場合がある。そこで、本実施形態では、講師領域の中心点の座標をローパスフィルタに通して、急激な位置変化を抑制する。
また、もとの映像から、上記で抽出した講師領域を追いかけた講師映像（常に講師が映っている映像）を切り出して保存する（図２のＳ２４０）。この講師映像は、後述のＷｅｂブラウザに表示するための映像である。
【００２２】
（５−３．板書領域の抽出とベクトルデータ生成）
次に、一定期間ごとに行なう板書領域の抽出処理（図６のＳ６３０）と、板書のベクトルデータ生成処理（図６のＳ６４０）について説明する。
一定期間に講師が黒板に書き込みや消去などを行って板書文字が更新される領域は、その期間に講師が移動した範囲以外に存在しない。そこで、図９に示すように、黒板領域９００から、講師領域９３０が一定期間に移動した範囲全体を抽出して保持し、その範囲から現在（一定期間の最後の１フレーム）の講師領域を除いた領域を、板書文字の更新情報を検索する検索領域９４０（図９では講師領域９３０の左右の淡いグレー部分２箇所）とする。なお、本実施形態のシステムにおいては、例として講義を３０フレーム／秒の動画として撮影し、１秒（３０フレーム）を上述の一定期間として処理を行なったが、動画の精度および検索領域を抽出する間隔は、これに限らない。
本実施形態では、上述で抽出した検索領域９４０から、さらに、板書が書き込まれた領域と板書が消去されたと判断される領域を板書領域として抽出し、その時刻や位置、書き込み／消去などの情報を板書の更新情報として保持（以降「中間データ」と呼ぶ）する。その後に、中間データに対応するフレームの画像から、より板書の領域を絞り込んだ板書データを抽出する。最後に、板書データをブロック化し、それらを細線化してベクトルデータを生成する。
【００２３】
（１）中間データ生成
図１０は、検索領域から板書領域を抽出して中間データを生成する処理のフローチャートである。まず、上述の方法で一定期間（例えば１秒＝３０フレーム）における検索領域を抽出し（Ｓ１０１０）、その検索領域に対して背景差分を求める（Ｓ１０２０）。次に、求めた背景差分と現在までの板書を表示した仮想黒板（上述の図２のＳ２６０に示すようにリアルタイムで保持している）との差分を求め（Ｓ１０３０）、検索領域内である閾値以上輝度値が変化した領域を板書の更新情報とみなし（Ｓ１０４０でＹｅｓ）、その変化した領域の色および位置座標、輝度値により判断した書き込み・消去の別、および更新時刻を、中間データとして保存する（Ｓ１０５０）。
【００２４】
（２）板書データ抽出とベクトルデータ生成
黒板による講義で板書された文字や図形は線分によって構成されているという特徴がある。そこで、本実施形態では、上述で生成した中間データに対応するフレームの画像から、さらに領域を絞り込んだ板書データを抽出してその領域をブロック化し、板書文字をライン検出によってベクトルデータ化する。なお、ここで中間データに対応するフレームとは、中間データの更新時刻に対応する一定期間の最後の１フレーム（上述の図９で検索領域を抽出したフレーム）である。
板書の書き込み部分である場合の処理のフローを図１１に、消去部分である場合の処理のフローを図１３に示す。
書き込み部分に対しては、まず膨張処理を行って、ある程度の大きさをもつ書き込み領域を抽出する（Ｓ１１１０）。この面積が閾値以上で、一定期間面積変化がほとんどない領域に対して、ゼロ交差点を用いたライン検出を行う（Ｓ１１２０）。
なお、ライン検出については「Ｃ．Ｓｔｅｇｅｒ，”Ａｎ Ｕｎｂｉａｓｅｄ Ｄｅｔｅｃｔｏｒ ｏｆ Ｃｕｒｖｉｌｉｎｅａｒ Ｓｔｒｕｃｔｕｒｅｓ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．２０， Ｎｏ．２， ｐｐ．１１３−１２５， Ｆｅｂ． １９９８」を参照されたい。
【００２５】
ライン数がある程度以上になった場合（Ｓ１１３０でＹｅｓの場合）、それらのラインに対して折れ線近似を用いて板書文字をベクトルデータ化して保存する（Ｓ１１４０）。また、このとき、図１２に示すように、上述のＳ１１１０で抽出した各々の書き込み領域ごとに、取得したラインの膨張画像全体を覆う最小の外接矩形（図１２では黒板１２００における１２１０ａ，１２１０ｂ，１２１０ｃの各矩形）を、その一定期間における更新領域（以降これを「ブロック」と呼ぶ）とし、その位置および時刻等を保存する。一方、上述で生成したベクトルデータを、このブロックと対応付ける。そして、Ｗｅｂコンテンツ上の仮想黒板に板書を表示する際に、講師映像と同期するように、対応するベクトルデータをブロック（更新領域）単位で仮想黒板に提示することで、仮想黒板上に時系列に板書を表示することができる。
一方、ライン数が満たなかった場合（Ｓ１１３０でＮｏの場合）には、その書き込み領域のブロック化およびベクトルデータの生成は行なわない。
なお、ベクトルデータの生成については「Ｕ．Ｒａｍｅｒ． ”Ａｎ ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｄｕｒｅ ｆｏｒ ｔｈｅ ｐｏｌｙｇｏｎａｌ ａｐｐｒｏｘｉｍａｔｉｏｎ ｏｆ ｐｌａｎｅ ｃｕｒｖｅｓ，”Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｇｒａｐｈｉｃｓ， ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， １：２４４−−２５６， １９７２．」を参照されたい。
【００２６】
一方、消去部分に対しては、その領域を含む外接矩形を更新領域とし（Ｓ１３１０）、更新領域に対して再度ライン検出を行なって（Ｓ１３２０）、仮想黒板（現在までの板書データ）とのライン数の比較を行なう（Ｓ１３３０）。仮想黒板と比べてライン数が減少している場合（Ｓ１３４０でＹｅｓの場合）には、この領域について再度ベクトルデータの生成を行なう（Ｓ１３５０）。また、上述の書き込み部分と同様に、その更新領域をブロック化し、ブロックの位置および時刻等を保存する。これにより，板書文字を一部訂正したような場合でも忠実に再現することができる。一方、仮想黒板と比べてライン数が減少していない場合（Ｓ１３４０でＮｏの場合）には、ブロック化およびベクトルデータの生成は行なわない。
本実施形態のようにライン検出を用いることにより、板書文字の変化のみが抽出され、照明の変化などによって面的に変化した部分が誤って検出されないという利点がある。また、ベクトルデータとして出力されるためデータ容量がきわめて小さいという大きな利点もある。例えば、図１４（ａ）に示す板書を行なった約１分の映像（３０フレーム／秒，画像サイズ１２８０ピクセル×４８０ピクセル（６４０ピクセル×４８０ピクセル×２台））の場合、動画、画像切り出し、本手法のデータ容量は表１のようになった。なお、図１４（ｂ）はライン検出の結果である。
【００２７】
【表１】
表１からわかるように、本実施形態の手法によれば、動画に対しては５万分の１，画像切り出しに対しても、１６分の１程度のデータ圧縮を実現している。
【００２８】
＜６．Ｗｅｂコンテンツ作成＞
最後に上述で分離・抽出した講師映像と板書のベクトルデータを用いて、ブラウザ上で講義を再現できるようにＷｅｂコンテンツを作成する。板書データをベクトル化して仮想黒板に描画するので、黒板全体の高解像度な映像を配信する必要がない。このため、データ配信の容量を大幅に小さくできるだけでなく、板書を自由に拡大縮小して表示することができる。これにより、受講者は、例えば講義時に見づらかった部分や見過ごした部分を、講義後自宅などでもう一度確認することができる。
本実施形態では、ＰＣ上のブラウザとして標準的に採用されているＨＴＭＬ，Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ，Ｊａｖａ Ａｐｐｌｅｔ，Ｗｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ Ｐｌａｙｅｒ（以下ＷＭＰ）を用いてＷｅｂコンテンツを作成するものとする。この方法によれば、すべての機能をテキスト形式で記述しているので、Ｊａｖａコンパイラさえ用意すれば、コンテンツを自動作成できるという大きな利点がある。
【００２９】
図１５に、本実施形態で生成するＷｅｂコンテンツの画面の例を示す。図１５の画面１５００中の左上の講師映像フレーム１５２０には、講師領域を追いかけた映像である講師映像を表示する。また、下段の仮想黒板フレーム１５３０には板書のベクトルデータを表示する仮想黒板を表示し、この仮想黒板上でマウスをクリックすると、右上の拡大表示フレーム１５４０に、そのクリック点を中心とする拡大画像が得られるようになっている。さらに、「Ｚｏｏｍ Ｉｎ」ボタン１５６４および「Ｚｏｏｍ Ｏｕｔ」ボタン１５６３により、拡大表示の比率を変えることができる。なお、現在の比率を表示部１５６２に表示している。
表示部１５６１には、総再生時間と現在の再生時間を示している。「ＰＬＡＹ」ボタン１５５２は映像を再生するボタンであり、「ＳＴＯＰ」ボタン１５５３は映像の再生を停止するボタンであり、「ＰＡＵＳＥ」ボタン１５５４は映像の再生を一時停止するボタンである。またスライドバー１５５１をマウス等で左右に動かすことにより、映像の再生位置を制御できる。各動作の制御はＪａｖａＳｃｒｉｐｔを用いてＷＭＰやＪａｖａ Ａｐｐｌｅｔの関数を呼び出すことによって行っており、それらは連携して、講師映像と板書の時系列データを同期させながら提示している。以下に、これらの動作の仕組みをそれぞれ説明する。なお、これらの仕組みはすべて従来技術により実現することができる。また、上記以外の機能を付加してもよい。
【００３０】
（１）ＰＬＡＹ（再生）
ＷＭＰのｐｌａｙ（）関数とＪａｖａＳｃｒｉｐｔの時間経過ループを同時に開始し、ループ処理内でＷＭＰの経過時間とＪａｖａＳｃｒｉｐｔの基準時間とを一致させることによって同期をとる。基準時間が変化するたびに時系列データと比較し、描画タイミングになったらＪａｖａ Ａｐｐｌｅｔの描画関数で仮想黒板フレーム１５３０に板書データの内容を描画する。
【００３１】
（２）ＳＴＯＰ（停止）
ＷＭＰのｓｔｏｐ（）関数とＪａｖａＳｃｒｉｐｔの時間経過ループを終了し、すべてのパラメータを初期化することで実現する。
【００３２】
（３）ＰＡＵＳＥ（一時停止）
ＷＭＰのｐａｕｓｅ（）関数とＪａｖａＳｃｒｉｐｔの時間経過ループの停止を実行することで実現する。
【００３３】
（４）ＺＯＯＭ ＩＮ ／ ＺＯＯＭ ＯＵＴ（板書の拡大／縮小）
仮想黒板フレーム１５３０内のズームしたい場所をマウスでクリック等すると、取得した座標とＪａｖａＳｃｒｉｐｔから得た倍率（ｒａｔｅ）をもとに、その点を中心とする長方形を切り出し、Ａｐｐｌｅｔ間通信を用いて、その内容を右上の拡大表示フレーム１５４０に描画する。
【００３４】
＜７．本実施形態の応用＞
上述で説明した本実施形態においては、講師に隠れて見えない板書部分が避けられないため、板書文字が書き込まれた順に正確に再現されるわけではなく、上述で説明した方法により生成したブロック単位で板書が提示される。そこで、蓄積した板書データと講師の移動情報から、事後的に板書位置を推定し、講師に隠れて見えない部分も含めて正確に板書ブロック領域を正確な時系列で再現する機能を今後付加する予定である。
【図面の簡単な説明】
【００３５】
【図１】本実施形態のシステム構成を示した図である。
【図２】本実施形態のシステムの全体の処理フローを示した図である。
【図３】複数のカメラ画像から黒板全体をパノラマ合成する処理の全体を示したフローである。
【図４】黒板のパノラマ合成処理の手順を示した図である。
【図５】実際に２台のカメラ画像から黒板のパノラマ合成を行なった図である。
【図６】講義映像から講師画像と板書文字をデジタル化する処理の全体を示したフローである。
【図７】黒板領域の抽出処理を示したフローである。
【図８】講師領域の抽出処理を示したフローである。
【図９】黒板領域から一定期間における検索領域を抽出する様子を示した図である。
【図１０】検索領域から板書領域を抽出して中間データを生成する処理を示したフローである。
【図１１】板書の書き込み部分からベクトルデータを生成する処理を示したフローである。
【図１２】板書のブロック化を行なう様子を示した図である。
【図１３】板書の消去部分からベクトルデータを生成する処理を示したフローである。
【図１４】それぞれ、（ａ）実験に用いた板書を示した図、および（ｂ）ライン検出を行なった結果を示した図である。
【図１５】本実施形態で生成するＷｅｂコンテンツの画面の例を示した図である。
【技術分野】
【０００１】
本発明は、通常教室における板書による講義からＷｅｂコンテンツを自動生成する講義コンテンツ自動作成システムに関するものである。
【背景技術】
【０００２】
近年、インターネット技術の発展により、教育現場において、講義のリアルタイム配信やオン・デマンド配信を行うためのｅ−Ｌｅａｒｎｉｎｇシステムの導入が増加している。これにより、直接参加することでしか体験できなかった講義の内容をデジタル的に保存でき、Ｗｅｂコンテンツとして時間や場所の制約を受けずに受講することが可能となってきている。
このように講義をデジタルコンテンツ化して配信する場合、ＰＣ上の電子スライドだけを利用しているのであれば、ＰＣとビデオカメラのみの簡便なハードウェア環境で、資料提示のタイミングと同期をとりながらコンテンツを自動作成することが可能である。
しかしながら、一般の連続講義において、すべての内容を電子スライドとして準備することは相当な負担を教員に強いることになる。これに対して、電子ホワイトボードなどが設置された特別な教室を用意すれば、一般の講義で提示されるような板書データをコンテンツ化することができるが、この場合もすべての教室に設置するには膨大な経費が必要になる。また、電子ホワイトボードやタブレットＰＣを利用できたとしても、板書スペースが黒板と比べて非常に小さいため、数式や図を多用する理工系の講義では使いにくいという不満もある。学習教材としてのｅ−Ｌｅａｒｎｉｎｇコンテンツを教育現場に広く普及させることができないのは、以上のような原因によるところが大きいと考えられる。
【０００３】
このような問題に対し、最近、一般的な黒板での講義をデジタルコンテンツ化する手法が提案されている（例えば非特許文献１，非特許文献２）。しかしながら、これらの手法は板書文字を画像として保存しているため、実際の講義と比較して臨場感に欠けるという欠点がある。この問題を解決するためには、黒板映像を高解像度で配信すればよいが、それにはこれまで以上に広帯域のインターネット環境が広く普及していることが前提となり、必ずしも現実的といえない。
【非特許文献１】西口敏司，仙田修司，美濃導彦，池田克夫，“首振りカメラによる黒板の記録手法，” 画像の認識・理解シンポジウム（ＭＩＲＵ’９６）， ｖｏｌ．Ｉ， ｐｐ．３７−４２， Ｊｕｌｙ １９９６．
【非特許文献２】大西正輝，泉正夫，福永邦雄，“講義映像における板書領域のブロック分割とその応用，” 電子情報通信学会論文誌，Ｖｏｌ．Ｊ８３−Ｄ−Ｉ， Ｎｏ．１１， ｐｐ．１１８７−１１９５， Ｎｏｖ．２０００．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の課題は、上記の問題を解決し、通常教室における板書による講義を特別なハードウェアを用意することなく、高圧縮なコンテンツを自動生成できる講義コンテンツ自動作成システムを提供することである。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明は、黒板への板書による講義をカメラで撮影した映像からＷｅｂコンテンツを自動生成する講義コンテンツ自動作成システムであって、前記カメラの映像から黒板全体を含む映像を取得する黒板映像取得手段と、前記黒板映像から黒板領域を抽出する黒板領域抽出手段と、前記黒板領域から講師領域を抽出する講師領域抽出手段と、前記講師領域に対応して、前記黒板映像から講師映像を切り出す講師映像生成手段と、一定期間ごとに、前記黒板領域から該一定期間に板書の追加又は板書の消去が行なわれた板書領域を抽出する板書領域抽出手段と、前記板書領域から板書をライン検出してベクトルデータを生成するベクトルデータ生成手段と、前記講師映像と、仮想黒板上の該当する前記板書領域に前記ベクトルデータを表示した画像を、別々のウインドウに合成するｗｅｂコンテンツ作成手段とを備えることを特徴とする講義コンテンツ自動作成システムである。
前記黒板映像取得手段は、複数台のカメラからの映像をパノラマ合成して黒板全体を含む黒板映像を取得することを特徴としてもよい。
また、前記講師領域抽出手段は、前記黒板領域抽出手段により黒板映像の最初の１フレームから抽出された黒板領域と、現在の黒板領域とを比較して講師領域を抽出することを特徴としてもよい。
また、前記板書領域抽出手段は、前記一定期間内に講師領域が存在した領域から現在の講師領域の位置を除いた検索領域内において、前記一定期間の直前の前記仮想黒板と比較して輝度値が高く又は低くなった領域を板書の追加又は板書の消去が行なわれた板書領域として抽出することを特徴としてもよい。
また、前記ベクトルデータ生成手段は、前記板書領域が板書の追加である場合には、前記ライン検出によるライン数が一定数以上である場合にのみベクトルデータを生成することを特徴としてもよい。
また、前記ベクトルデータ生成手段は、前記板書領域が板書の消去である場合には、前記ライン検出によるライン数が前記仮想黒板のライン数よりも少ない場合にのみベクトルデータを生成することを特徴としてもよい。
上記に記載の講義コンテンツ自動作成システムの機能をコンピュータ・システムに実現させるためのプログラムも、本発明である。
【発明の効果】
【０００６】
本発明の講義コンテンツ自動作成システムによれば、画像処理により黒板の板書文字を時系列的にベクトルデータ化して提示することにより、通常教室における講義をデジタルコンテンツ化して、現状のインターネット環境でもストレスなく快適に遠隔配信できるシステムを提案する。本システムでは、まずカメラで撮影された黒板映像から、ライン検出により板書文字をベクトルデータとして抽出している。また、画像の差分処理により、壇上を移動する講師を追跡して、小さなフレームとして講師映像を切り出す。つぎに、仮想黒板に、抽出したベクトルデータを板書文字として時系列的に講師映像と同期しながら表示できるように、Ｗｅｂコンテンツを作成しているので、このＷｅｂコンテンツをインターネット配信することができる。
このようにして、通常教室における板書による講義を特別なハードウェアを用意することなく、高圧縮なコンテンツを自動生成することができる。
【発明を実施するための最良の形態】
【０００７】
以降、本発明の講義コンテンツ自動作成システムの実施の形態を詳細に説明する。
【０００８】
＜１．システム構成＞
まず、本実施形態の講義コンテンツ自動作成システムのシステム構成の一例を、図１のシステム構成図を参照しながら説明する。
図１に示すように、本実施形態のシステムでは黒板１１０（通常の黒板のほか、ホワイトボード等であってもよい）を設置している教室において、講師１２０が黒板１１０を用いて行なう講義に対してカメラ１３０を用いて撮影を行う。なお、本実施形態では講師１２０が１人であることを想定している。また、図１ではカメラを３台用いる場合を図示しているが、黒板の大きさ等に応じて何台でもよい。
本実施形態のシステムにおいては、カメラ１３０で撮影した映像をデジタル的にサーバ１４０に取り込んで処理する。複数台のカメラ１３０で撮影した場合には、各々のカメラ１３０で撮影した映像を同期してデジタル的にサーバ１４０に取り込み、パノラマ合成処理により、黒板全体を含む１枚の映像として捉えた高解像度映像を取得する。なお、パノラマ合成処理の方法は後で詳しく説明する。
【０００９】
図２に、本実施形態のシステムで行なう処理の全体的な流れを示す。まず、前処理（Ｓ２１０）として、黒板全体を含む１枚の映像として捉えた高解像度映像を合成する。本実施形態においては、まず複数のカメラ映像の色調特性を均一になるように補正し、次に黒板全体が１つの映像となるようにパノラマ合成を行なう。
そして、講義の撮影時には、複数のカメラによる映像を同期しながら取り込み、上記の前処理により得られたパラメータを用いて、リアルタイムに色調補正（Ｓ２２０）及びパノラマ合成（Ｓ２３０）を行いながら、映像をデジタル的に保存していく。
次に、得られた高解像度のパノラマ映像から、背景差分を用いて講師領域を取得し、講師映像を分離して保存する（Ｓ２４０）。また、黒板上で一定期間変化が保持されている部分を板書がなされた部分と判断して、これを時系列的な差分画像として板書データを保存する。さらに、得られた板書データをブロック化し、それらを細線化してベクトルデータに変換する（Ｓ２５０）。このようにベクトルデータに変換することにより大幅なデータ圧縮が可能になる。
また、生成したベクトルデータを用いて、メモリ内に設けた仮想黒板にリアルタイムに板書を追加する（Ｓ２６０）。これは、上述の板書データ取得の際に、現在の板書と今までの板書と比較する際に用いる。
【００１０】
次に、上記で生成された講師映像およびベクトルデータから、Ｗｅｂコンテンツを生成する（Ｓ２７０）。このＷｅｂコンテンツは、例えば、講師映像と仮想黒板を表示し、講師映像と同期しながら、仮想黒板上にベクトルデータを用いて板書を提示するものである。
本実施形態では上述のようにして、講義の映像からリアルタイムにＷｅｂコンテンツを生成することができる。生成されたＷｅｂコンテンツは、図１に示すように、インターネット等のネットワーク１５０を介して、受講者が利用するパソコンなどの端末１６０に配信される。このようにして、受講者は端末１６０のブラウザ上で講義を閲覧することができる。
【００１１】
＜２．複数台のカメラからの高解像度黒板映像の合成＞
複数台のカメラから捉えた黒板映像から板書データを抽出するためには、上述したように、前処理として、複数のカメラからの映像を、黒板全体を１枚の映像として捉えた高解像度映像として合成する必要がある。本実施形態においては、まず複数のカメラ映像の色調特性を均一になるように補正し、次に黒板全体が１つの映像となるようにパノラマ合成を行なう。以降、この方法について説明する。
【００１２】
図３はその手順を示したフローチャートである。まず、黒板全体を撮影するのに十分な台数のカメラを用意し、複数視点から黒板映像を取得する（Ｓ３１０）。次に、各映像間の色調特性を均一にするための色変換パラメータを求める（Ｓ３２０）。
次に、隣接するカメラが重複して撮影している共通部分にキャリブレーションパターンを配置して、各カメラで捉えた黒板の画像と仮想黒板との射影関係を算出し（Ｓ３３０）、仮想黒板と一致させるように画像変形を行ない（Ｓ３４０）、変形した画像をパノラマ合成する（Ｓ３５０）。このようにして、画像間で継ぎ目のない黒板全体のパノラマ画像を生成する。
また、この前処理で求めたパラメータを用いて、同様にリアルタイムでの色調補正（図２のＳ２２０）およびリアルタイムでのパノラマ合成（図２のＳ２３０）を行なう。
以降、各々の処理について詳しく説明する。
【００１３】
＜３．色調補正＞
上述したように、本実施形態においては、複数のカメラによる黒板映像から、黒板全体が１つの映像となるようにパノラマ合成を行なう。
ここで、各カメラの色調特性が異なると、黒板のパノラマ映像の色調が不均一になるため、映像の継ぎ目部分で板書データの抽出に失敗する可能性がある。したがって、パノラマ合成処理を行う前に各映像の色調を補正する必要がある。
本実施形態においては、色調補正を「池田聖，佐藤智和，横矢直和，”全方位型マルチカメラシステムを用いた高解像度な全天球パノラマ動画像の生成とテレプレゼンスへの応用，” 日本バーチャルリアリティ学会論文誌，Ｖｏｌ．８， Ｎｏ．４， ｐｐ．４４３−４５０， Ｄｅｃ．２００３」等に記載されている従来技術を用いて行なう。すなわち、まず、適当な多色の基準色パターンを作成し、各カメラでそのパターンを含む黒板領域を撮影する。次に、これら各画像のヒストグラムが一致するように最適な線形明度変換パラメータを算出して、色調補正を行なう。
【００１４】
＜４．パノラマ合成＞
板書データを正確に再現するためには、黒板全体を正面から捉えた歪のない高解像度映像が必要になる。このためにはハイビジョンカメラなどの高解像度カメラを用いればよいが、本実施形態では、安価にシステムを構築できるように、市販のビデオカメラを複数台用いて黒板全体を撮影して所望のパノラマ映像を生成する。
ｎ台のカメラを用いるとする（図４では３台のカメラを用いた場合を示している）と、図４（ａ）に示すように、まず、黒板４００を水平方向にｎ等分（図４では３等分）した位置に、適当な大きさの白い正方形のキャリブレーションパターン４１０，４２０を配置する。そして図４（ｂ）に示すように、これらの正方形パターンが隣接カメラの共通撮影領域に必ず含まれ、かつｎ台のカメラ映像が黒板全体を覆うように撮影する。図４（ｂ）では、黒板４００を３台のカメラで撮影した場合の各々のカメラの映像を示している。
次に、図４（ｃ）に示すようなｎ−１個（図４では２個）の正方形パターン４１０，４２０を含み、正面から見込んだ黒板全体の仮想画像を考え、この仮想黒板上の正方形の頂点と各映像上の特徴点との対応関係から映像間の射影変換を求める。黒板は３次元空間上の平面として記述されるので、２つの画像中に捉えられた平面上の点の射影変換は次式で記述できる。
【００１５】
【数１】
【００１６】
【数２】
【００１７】
上式において、（ｕｉ，ｖｉ）と（ｕｋｉ，ｖｋｉ）は、それぞれ正方形パターンのｉ番目（ｉ＝１〜４）の頂点の仮想画像上における画像座標とｋ番目（ｋ＝１〜ｎ）のカメラから撮影した映像上における画像座標である。αｉｋは定数、Ｈｋはホモグラフィー行列と呼ばれる。上式から、ホモグラフィー行列Ｈｋは、スカラ倍の自由度を除けば、８個の未知数として記述できるので、３次元空間内で同一平面上にある4点以上の画像上での対応が分かれば直接に求められることがわかる。カメラ映像上の正方形の４頂点の画像位置は、画像勾配の直交性を用いたコーナー検出手法により、サブピクセル精度で抽出している。なお、この方法については「Ｊ．Ｓｈｉ ａｎｄ Ｃ．Ｔｏｍａｓｉ， ”Ｇｏｏｄ ｆｅａｔｕｒｅｓ ｔｏ ｔｒａｃｋ，”ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ’９４）， ｐｐ．５９３−６００， Ｊｕｎｅ １９９４．」を参照されたい。
【００１８】
ｎ枚の映像を合成するためには、まず、１番目と２番目のカメラ映像と仮想黒板上の正方形の頂点の対応付けを行って、ホモグラフィー行列Ｈ１とＨ２を用いて仮想画像上の正方形と一致するように画像変形を行い、お互いが正方形を２分するように画像を接続する。これに得られた画像と３番目のカメラ映像に対して同様の処理を行い、図４（ｃ）のように、これをｎ番目のカメラ映像まで繰り返して、黒板全体を正面から見込んだ歪のないパノラマ画像を得る。
２台のカメラを用いて上述のパノラマ合成を行なった実際の例を図５に示す。図５（ａ）は、正方形パターンを見込んだ画像、（ｂ）はそれらをホモグラフィー行列により変形した画像、（ｃ）はパノラマ合成した画像である。
【００１９】
＜５．講師映像と板書文字のデータ生成＞
黒板での講義画像における重要な二つの要素は講師画像と板書文字（図形等を含む）である。本実施形態のシステムでは、これらをデジタル化していくことで講義中の情報を完全に再現する。
図６に、講義映像から講師画像と板書文字をデジタル化する処理全体のフローチャートを示す。まず、上述のパノラマ合成を行なって得た黒板映像から初期画像となる黒板領域を抽出する（Ｓ６１０）。この処理は最初に１度行なえばよい。
次に、リアルタイム処理として、現在の画像と初期画像との背景差分によりある程度の大きさの領域を講師映像として抽出し、その領域を現在の講師領域とする（Ｓ６２０）。また、一定期間ごとに講師が板書を行なった領域を背景差分により抽出し（Ｓ６３０）、その領域に対しライン検出を用いて板書文字をベクトルデータ化する（Ｓ６４０）。
このように板書データをベクトル化することにより、データ量を大幅に削減でき、また、拡大・縮小表示に対しても劣化の少ない映像情報を提示できる。
以降、図６のフローチャートに示した各々の処理について詳細に説明する。
【００２０】
（５−１．黒板領域の抽出）
黒板領域の抽出処理（図６のＳ６１０）を、図７のフローチャートに示す。まず、講師が映っていない初期画像を取得する（Ｓ７１０）。本実施形態では例えば講義を撮影した動画の最初の１フレームを取得するものとする。次に、初期画像に対してある程度の大きさの黒板領域の色の平均と分散からその色範囲を推定し、黒板の色である緑色の部分を取得する（Ｓ７２０）。次に、閾値処理を行なって黒板の範囲を取得する（Ｓ７３０）。ただし、そのままでは黒板の輪郭部分が直線にならないことがあるので、垂直・水平方向の各ラインの両端の座標の平均値を求め（Ｓ７４０）、その平均値により黒板領域を抽出する（Ｓ７５０）。
【００２１】
（５−２．講師領域の抽出）
次に、講師領域の抽出処理（図６のＳ６２０）を、図８のフローチャートを参照しながら説明する。
講義中に移動する物体は講師だけであると仮定すると、移動体が存在しない画像（以下、背景画像と呼ぶ）と現在の画像との差分によって講師領域を抽出できる。しかし、板書文字も前景として抽出されてしまうため、講師領域と板書領域を区別しなければならない。
そこで、講師映像は板書文字に対して面積が大きいことから、背景画像と現在画像の差分（Ｓ８１０）により得られた領域に対して収縮処理（Ｓ８２０）を行なうことによって、講師の大部分を残すようにする。次に、膨張処理（Ｓ８３０）を行なって、ある程度の面積をもつ講師領域を抽出する。
ただし、そのままではチョークや講師の腕・指先などは最初に行う収縮処理（Ｓ８２０）により消去される可能性があるため、フレーム間差分を用いて動体検出（Ｓ８４０）を行ない、動体が検出された部分と上述で抽出された講師領域とを合成して、全体を覆う矩形をとることによって、講師領域を抽出する（Ｓ８５０）。ただし、講師の姿勢や動作によって講師領域の大きさや中心が変わるため、そのまま映像化すると細かく揺れる映像となる場合がある。そこで、本実施形態では、講師領域の中心点の座標をローパスフィルタに通して、急激な位置変化を抑制する。
また、もとの映像から、上記で抽出した講師領域を追いかけた講師映像（常に講師が映っている映像）を切り出して保存する（図２のＳ２４０）。この講師映像は、後述のＷｅｂブラウザに表示するための映像である。
【００２２】
（５−３．板書領域の抽出とベクトルデータ生成）
次に、一定期間ごとに行なう板書領域の抽出処理（図６のＳ６３０）と、板書のベクトルデータ生成処理（図６のＳ６４０）について説明する。
一定期間に講師が黒板に書き込みや消去などを行って板書文字が更新される領域は、その期間に講師が移動した範囲以外に存在しない。そこで、図９に示すように、黒板領域９００から、講師領域９３０が一定期間に移動した範囲全体を抽出して保持し、その範囲から現在（一定期間の最後の１フレーム）の講師領域を除いた領域を、板書文字の更新情報を検索する検索領域９４０（図９では講師領域９３０の左右の淡いグレー部分２箇所）とする。なお、本実施形態のシステムにおいては、例として講義を３０フレーム／秒の動画として撮影し、１秒（３０フレーム）を上述の一定期間として処理を行なったが、動画の精度および検索領域を抽出する間隔は、これに限らない。
本実施形態では、上述で抽出した検索領域９４０から、さらに、板書が書き込まれた領域と板書が消去されたと判断される領域を板書領域として抽出し、その時刻や位置、書き込み／消去などの情報を板書の更新情報として保持（以降「中間データ」と呼ぶ）する。その後に、中間データに対応するフレームの画像から、より板書の領域を絞り込んだ板書データを抽出する。最後に、板書データをブロック化し、それらを細線化してベクトルデータを生成する。
【００２３】
（１）中間データ生成
図１０は、検索領域から板書領域を抽出して中間データを生成する処理のフローチャートである。まず、上述の方法で一定期間（例えば１秒＝３０フレーム）における検索領域を抽出し（Ｓ１０１０）、その検索領域に対して背景差分を求める（Ｓ１０２０）。次に、求めた背景差分と現在までの板書を表示した仮想黒板（上述の図２のＳ２６０に示すようにリアルタイムで保持している）との差分を求め（Ｓ１０３０）、検索領域内である閾値以上輝度値が変化した領域を板書の更新情報とみなし（Ｓ１０４０でＹｅｓ）、その変化した領域の色および位置座標、輝度値により判断した書き込み・消去の別、および更新時刻を、中間データとして保存する（Ｓ１０５０）。
【００２４】
（２）板書データ抽出とベクトルデータ生成
黒板による講義で板書された文字や図形は線分によって構成されているという特徴がある。そこで、本実施形態では、上述で生成した中間データに対応するフレームの画像から、さらに領域を絞り込んだ板書データを抽出してその領域をブロック化し、板書文字をライン検出によってベクトルデータ化する。なお、ここで中間データに対応するフレームとは、中間データの更新時刻に対応する一定期間の最後の１フレーム（上述の図９で検索領域を抽出したフレーム）である。
板書の書き込み部分である場合の処理のフローを図１１に、消去部分である場合の処理のフローを図１３に示す。
書き込み部分に対しては、まず膨張処理を行って、ある程度の大きさをもつ書き込み領域を抽出する（Ｓ１１１０）。この面積が閾値以上で、一定期間面積変化がほとんどない領域に対して、ゼロ交差点を用いたライン検出を行う（Ｓ１１２０）。
なお、ライン検出については「Ｃ．Ｓｔｅｇｅｒ，”Ａｎ Ｕｎｂｉａｓｅｄ Ｄｅｔｅｃｔｏｒ ｏｆ Ｃｕｒｖｉｌｉｎｅａｒ Ｓｔｒｕｃｔｕｒｅｓ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．２０， Ｎｏ．２， ｐｐ．１１３−１２５， Ｆｅｂ． １９９８」を参照されたい。
【００２５】
ライン数がある程度以上になった場合（Ｓ１１３０でＹｅｓの場合）、それらのラインに対して折れ線近似を用いて板書文字をベクトルデータ化して保存する（Ｓ１１４０）。また、このとき、図１２に示すように、上述のＳ１１１０で抽出した各々の書き込み領域ごとに、取得したラインの膨張画像全体を覆う最小の外接矩形（図１２では黒板１２００における１２１０ａ，１２１０ｂ，１２１０ｃの各矩形）を、その一定期間における更新領域（以降これを「ブロック」と呼ぶ）とし、その位置および時刻等を保存する。一方、上述で生成したベクトルデータを、このブロックと対応付ける。そして、Ｗｅｂコンテンツ上の仮想黒板に板書を表示する際に、講師映像と同期するように、対応するベクトルデータをブロック（更新領域）単位で仮想黒板に提示することで、仮想黒板上に時系列に板書を表示することができる。
一方、ライン数が満たなかった場合（Ｓ１１３０でＮｏの場合）には、その書き込み領域のブロック化およびベクトルデータの生成は行なわない。
なお、ベクトルデータの生成については「Ｕ．Ｒａｍｅｒ． ”Ａｎ ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｄｕｒｅ ｆｏｒ ｔｈｅ ｐｏｌｙｇｏｎａｌ ａｐｐｒｏｘｉｍａｔｉｏｎ ｏｆ ｐｌａｎｅ ｃｕｒｖｅｓ，”Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｇｒａｐｈｉｃｓ， ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， １：２４４−−２５６， １９７２．」を参照されたい。
【００２６】
一方、消去部分に対しては、その領域を含む外接矩形を更新領域とし（Ｓ１３１０）、更新領域に対して再度ライン検出を行なって（Ｓ１３２０）、仮想黒板（現在までの板書データ）とのライン数の比較を行なう（Ｓ１３３０）。仮想黒板と比べてライン数が減少している場合（Ｓ１３４０でＹｅｓの場合）には、この領域について再度ベクトルデータの生成を行なう（Ｓ１３５０）。また、上述の書き込み部分と同様に、その更新領域をブロック化し、ブロックの位置および時刻等を保存する。これにより，板書文字を一部訂正したような場合でも忠実に再現することができる。一方、仮想黒板と比べてライン数が減少していない場合（Ｓ１３４０でＮｏの場合）には、ブロック化およびベクトルデータの生成は行なわない。
本実施形態のようにライン検出を用いることにより、板書文字の変化のみが抽出され、照明の変化などによって面的に変化した部分が誤って検出されないという利点がある。また、ベクトルデータとして出力されるためデータ容量がきわめて小さいという大きな利点もある。例えば、図１４（ａ）に示す板書を行なった約１分の映像（３０フレーム／秒，画像サイズ１２８０ピクセル×４８０ピクセル（６４０ピクセル×４８０ピクセル×２台））の場合、動画、画像切り出し、本手法のデータ容量は表１のようになった。なお、図１４（ｂ）はライン検出の結果である。
【００２７】
【表１】
表１からわかるように、本実施形態の手法によれば、動画に対しては５万分の１，画像切り出しに対しても、１６分の１程度のデータ圧縮を実現している。
【００２８】
＜６．Ｗｅｂコンテンツ作成＞
最後に上述で分離・抽出した講師映像と板書のベクトルデータを用いて、ブラウザ上で講義を再現できるようにＷｅｂコンテンツを作成する。板書データをベクトル化して仮想黒板に描画するので、黒板全体の高解像度な映像を配信する必要がない。このため、データ配信の容量を大幅に小さくできるだけでなく、板書を自由に拡大縮小して表示することができる。これにより、受講者は、例えば講義時に見づらかった部分や見過ごした部分を、講義後自宅などでもう一度確認することができる。
本実施形態では、ＰＣ上のブラウザとして標準的に採用されているＨＴＭＬ，Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ，Ｊａｖａ Ａｐｐｌｅｔ，Ｗｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ Ｐｌａｙｅｒ（以下ＷＭＰ）を用いてＷｅｂコンテンツを作成するものとする。この方法によれば、すべての機能をテキスト形式で記述しているので、Ｊａｖａコンパイラさえ用意すれば、コンテンツを自動作成できるという大きな利点がある。
【００２９】
図１５に、本実施形態で生成するＷｅｂコンテンツの画面の例を示す。図１５の画面１５００中の左上の講師映像フレーム１５２０には、講師領域を追いかけた映像である講師映像を表示する。また、下段の仮想黒板フレーム１５３０には板書のベクトルデータを表示する仮想黒板を表示し、この仮想黒板上でマウスをクリックすると、右上の拡大表示フレーム１５４０に、そのクリック点を中心とする拡大画像が得られるようになっている。さらに、「Ｚｏｏｍ Ｉｎ」ボタン１５６４および「Ｚｏｏｍ Ｏｕｔ」ボタン１５６３により、拡大表示の比率を変えることができる。なお、現在の比率を表示部１５６２に表示している。
表示部１５６１には、総再生時間と現在の再生時間を示している。「ＰＬＡＹ」ボタン１５５２は映像を再生するボタンであり、「ＳＴＯＰ」ボタン１５５３は映像の再生を停止するボタンであり、「ＰＡＵＳＥ」ボタン１５５４は映像の再生を一時停止するボタンである。またスライドバー１５５１をマウス等で左右に動かすことにより、映像の再生位置を制御できる。各動作の制御はＪａｖａＳｃｒｉｐｔを用いてＷＭＰやＪａｖａ Ａｐｐｌｅｔの関数を呼び出すことによって行っており、それらは連携して、講師映像と板書の時系列データを同期させながら提示している。以下に、これらの動作の仕組みをそれぞれ説明する。なお、これらの仕組みはすべて従来技術により実現することができる。また、上記以外の機能を付加してもよい。
【００３０】
（１）ＰＬＡＹ（再生）
ＷＭＰのｐｌａｙ（）関数とＪａｖａＳｃｒｉｐｔの時間経過ループを同時に開始し、ループ処理内でＷＭＰの経過時間とＪａｖａＳｃｒｉｐｔの基準時間とを一致させることによって同期をとる。基準時間が変化するたびに時系列データと比較し、描画タイミングになったらＪａｖａ Ａｐｐｌｅｔの描画関数で仮想黒板フレーム１５３０に板書データの内容を描画する。
【００３１】
（２）ＳＴＯＰ（停止）
ＷＭＰのｓｔｏｐ（）関数とＪａｖａＳｃｒｉｐｔの時間経過ループを終了し、すべてのパラメータを初期化することで実現する。
【００３２】
（３）ＰＡＵＳＥ（一時停止）
ＷＭＰのｐａｕｓｅ（）関数とＪａｖａＳｃｒｉｐｔの時間経過ループの停止を実行することで実現する。
【００３３】
（４）ＺＯＯＭ ＩＮ ／ ＺＯＯＭ ＯＵＴ（板書の拡大／縮小）
仮想黒板フレーム１５３０内のズームしたい場所をマウスでクリック等すると、取得した座標とＪａｖａＳｃｒｉｐｔから得た倍率（ｒａｔｅ）をもとに、その点を中心とする長方形を切り出し、Ａｐｐｌｅｔ間通信を用いて、その内容を右上の拡大表示フレーム１５４０に描画する。
【００３４】
＜７．本実施形態の応用＞
上述で説明した本実施形態においては、講師に隠れて見えない板書部分が避けられないため、板書文字が書き込まれた順に正確に再現されるわけではなく、上述で説明した方法により生成したブロック単位で板書が提示される。そこで、蓄積した板書データと講師の移動情報から、事後的に板書位置を推定し、講師に隠れて見えない部分も含めて正確に板書ブロック領域を正確な時系列で再現する機能を今後付加する予定である。
【図面の簡単な説明】
【００３５】
【図１】本実施形態のシステム構成を示した図である。
【図２】本実施形態のシステムの全体の処理フローを示した図である。
【図３】複数のカメラ画像から黒板全体をパノラマ合成する処理の全体を示したフローである。
【図４】黒板のパノラマ合成処理の手順を示した図である。
【図５】実際に２台のカメラ画像から黒板のパノラマ合成を行なった図である。
【図６】講義映像から講師画像と板書文字をデジタル化する処理の全体を示したフローである。
【図７】黒板領域の抽出処理を示したフローである。
【図８】講師領域の抽出処理を示したフローである。
【図９】黒板領域から一定期間における検索領域を抽出する様子を示した図である。
【図１０】検索領域から板書領域を抽出して中間データを生成する処理を示したフローである。
【図１１】板書の書き込み部分からベクトルデータを生成する処理を示したフローである。
【図１２】板書のブロック化を行なう様子を示した図である。
【図１３】板書の消去部分からベクトルデータを生成する処理を示したフローである。
【図１４】それぞれ、（ａ）実験に用いた板書を示した図、および（ｂ）ライン検出を行なった結果を示した図である。
【図１５】本実施形態で生成するＷｅｂコンテンツの画面の例を示した図である。
【特許請求の範囲】
【請求項１】
黒板への板書による講義をカメラで撮影した映像からＷｅｂコンテンツを自動生成する講義コンテンツ自動作成システムであって、
前記カメラの映像から黒板全体を含む映像を取得する黒板映像取得手段と、
前記黒板映像から黒板領域を抽出する黒板領域抽出手段と、
前記黒板領域から講師領域を抽出する講師領域抽出手段と、
前記講師領域に対応して、前記黒板映像から講師映像を切り出す講師映像生成手段と、
一定期間ごとに、前記黒板領域から該一定期間に板書の追加又は板書の消去が行なわれた板書領域を抽出する板書領域抽出手段と、
前記板書領域から板書をライン検出してベクトルデータを生成するベクトルデータ生成手段と、
前記講師映像と、仮想黒板上の該当する前記板書領域に前記ベクトルデータを表示した画像を、別々のウインドウに合成するｗｅｂコンテンツ作成手段と
を備えることを特徴とする講義コンテンツ自動作成システム。
【請求項２】
請求項１に記載の講義コンテンツ自動作成システムであって、
前記黒板映像取得手段は、複数台のカメラからの映像をパノラマ合成して黒板全体を含む黒板映像を取得すること
を特徴とする講義コンテンツ自動作成システム。
【請求項３】
請求項１又は２に記載の講義コンテンツ自動作成システムであって、
前記講師領域抽出手段は、前記黒板領域抽出手段により黒板映像の最初の１フレームから抽出された黒板領域と、現在の黒板領域とを比較して講師領域を抽出すること
を特徴とする講義コンテンツ自動作成システム。
【請求項４】
請求項１〜３のいずれかに記載の講義コンテンツ自動作成システムであって、
前記板書領域抽出手段は、前記一定期間内に講師領域が存在した領域から現在の講師領域の位置を除いた検索領域内において、前記一定期間の直前の前記仮想黒板と比較して輝度値が高く又は低くなった領域を板書の追加又は板書の消去が行なわれた板書領域として抽出すること
を特徴とする講義コンテンツ自動作成システム。
【請求項５】
請求項１〜４のいずれかに記載の講義コンテンツ自動作成システムであって、
前記ベクトルデータ生成手段は、前記板書領域が板書の追加である場合には、前記ライン検出によるライン数が一定数以上である場合にのみベクトルデータを生成すること
を特徴とする講義コンテンツ自動作成システム。
【請求項６】
請求項１〜５のいずれかに記載の講義コンテンツ自動作成システムであって、
前記ベクトルデータ生成手段は、前記板書領域が板書の消去である場合には、前記ライン検出によるライン数が前記仮想黒板のライン数よりも少ない場合にのみベクトルデータを生成すること
を特徴とする講義コンテンツ自動作成システム。
【請求項７】
請求項１〜６のいずれかに記載の講義コンテンツ自動作成システムの機能をコンピュータ・システムに実現させるためのプログラム。
【請求項１】
黒板への板書による講義をカメラで撮影した映像からＷｅｂコンテンツを自動生成する講義コンテンツ自動作成システムであって、
前記カメラの映像から黒板全体を含む映像を取得する黒板映像取得手段と、
前記黒板映像から黒板領域を抽出する黒板領域抽出手段と、
前記黒板領域から講師領域を抽出する講師領域抽出手段と、
前記講師領域に対応して、前記黒板映像から講師映像を切り出す講師映像生成手段と、
一定期間ごとに、前記黒板領域から該一定期間に板書の追加又は板書の消去が行なわれた板書領域を抽出する板書領域抽出手段と、
前記板書領域から板書をライン検出してベクトルデータを生成するベクトルデータ生成手段と、
前記講師映像と、仮想黒板上の該当する前記板書領域に前記ベクトルデータを表示した画像を、別々のウインドウに合成するｗｅｂコンテンツ作成手段と
を備えることを特徴とする講義コンテンツ自動作成システム。
【請求項２】
請求項１に記載の講義コンテンツ自動作成システムであって、
前記黒板映像取得手段は、複数台のカメラからの映像をパノラマ合成して黒板全体を含む黒板映像を取得すること
を特徴とする講義コンテンツ自動作成システム。
【請求項３】
請求項１又は２に記載の講義コンテンツ自動作成システムであって、
前記講師領域抽出手段は、前記黒板領域抽出手段により黒板映像の最初の１フレームから抽出された黒板領域と、現在の黒板領域とを比較して講師領域を抽出すること
を特徴とする講義コンテンツ自動作成システム。
【請求項４】
請求項１〜３のいずれかに記載の講義コンテンツ自動作成システムであって、
前記板書領域抽出手段は、前記一定期間内に講師領域が存在した領域から現在の講師領域の位置を除いた検索領域内において、前記一定期間の直前の前記仮想黒板と比較して輝度値が高く又は低くなった領域を板書の追加又は板書の消去が行なわれた板書領域として抽出すること
を特徴とする講義コンテンツ自動作成システム。
【請求項５】
請求項１〜４のいずれかに記載の講義コンテンツ自動作成システムであって、
前記ベクトルデータ生成手段は、前記板書領域が板書の追加である場合には、前記ライン検出によるライン数が一定数以上である場合にのみベクトルデータを生成すること
を特徴とする講義コンテンツ自動作成システム。
【請求項６】
請求項１〜５のいずれかに記載の講義コンテンツ自動作成システムであって、
前記ベクトルデータ生成手段は、前記板書領域が板書の消去である場合には、前記ライン検出によるライン数が前記仮想黒板のライン数よりも少ない場合にのみベクトルデータを生成すること
を特徴とする講義コンテンツ自動作成システム。
【請求項７】
請求項１〜６のいずれかに記載の講義コンテンツ自動作成システムの機能をコンピュータ・システムに実現させるためのプログラム。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１３】
【図４】
【図５】
【図９】
【図１２】
【図１４】
【図１５】
【図２】
【図３】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１３】
【図４】
【図５】
【図９】
【図１２】
【図１４】
【図１５】
【公開番号】特開２００６−１６２６９２（Ｐ２００６−１６２６９２Ａ）
【公開日】平成１８年６月２２日（２００６．６．２２）
【国際特許分類】
【出願番号】特願２００４−３５０１９０（Ｐ２００４−３５０１９０）
【出願日】平成１６年１２月２日（２００４．１２．２）
【出願人】（５０２３４０９９６）学校法人法政大学 (7)
【Ｆターム（参考）】
【公開日】平成１８年６月２２日（２００６．６．２２）
【国際特許分類】
【出願日】平成１６年１２月２日（２００４．１２．２）
【出願人】（５０２３４０９９６）学校法人法政大学 (7)
【Ｆターム（参考）】
[ Back to top ]