ダイジェスト作成装置、ダイジェスト作成方法、およびプログラム
【課題】縦書きの板書や、表や図形を中心とした板書のブロック分割を行うことができると共に、板書のダイジェスト表示が可能なダイジェスト作成システムを提供する。
【解決手段】本発明のダイジェスト作成システム１０は、板書の画面を一定時間間隔でキャプチャし、キャプチャされた画面の描画部分を囲む矩形の形と大きさに応じて文字方向のタイプを縦書き、横書き、その他のタイプに判別し、判別された文字方向のタイプに応じて異なる方法を用いて、板書画面の意味的な構造を判別して領域をブロックに分割し、ブロックが完成されたと推測される画面を時系列に編成し、編成された画面をダイジェストとして表示する。
【解決手段】本発明のダイジェスト作成システム１０は、板書の画面を一定時間間隔でキャプチャし、キャプチャされた画面の描画部分を囲む矩形の形と大きさに応じて文字方向のタイプを縦書き、横書き、その他のタイプに判別し、判別された文字方向のタイプに応じて異なる方法を用いて、板書画面の意味的な構造を判別して領域をブロックに分割し、ブロックが完成されたと推測される画面を時系列に編成し、編成された画面をダイジェストとして表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子黒板を使用した講義や会議などにおいて、手書きの板書の過程を保存し、板書画面のダイジェストを作成して表示する技術に関する。
【背景技術】
【０００２】
近年、ディスプレイ技術の向上により、プラズマディスプレイや液晶ディスプレイなどの薄型大画面ディスプレイが普及し始めている。薄型大画面ディスプレイの実現により、従来の黒板やホワイトボードの代わりに、ディスプレイに表示した資料や白紙のボードにマウスやキーボード、デジタルペンを用いて書き込みを行ったりしながら会議や講義を行うことが可能となった。このようなデジタル技術を利用した電子黒板では、表示した資料や書き込まれた内容をコピーするなどして、容易に再利用できるという利点がある。
【０００３】
例えば、特許文献１には板書内容と映像・音声を意味的に構造化された形で記憶し、領域を指定するとその領域に対応した映像・音声を再生する装置が記載されている。この装置によれば、会議や講義の終了後に編集を行うことなく、板書部分と発声説明部分とを同時に視聴することで、会議や講義を再現することができる。
【０００４】
また、非特許文献１には、電子黒板ではなく従来の黒板を使用し、講義映像から講義者ならびに板書領域を抽出し、抽出した板書領域をブロック分割し、ブロック領域のみを切り出して記録・保存する手法が記載されている。具体的には、一定時間板書領域に大きな変化がなければ、それらを一つの矩形で囲み（これを板書矩形とする）、分割条件１：現在の板書矩形が黒板所の上方にあり、板書ブロックは黒板の下方まで続いている、分割条件２：現在の板書矩形は板書ブロックと横方向に大きく離れている、という条件を満たすファジールールを作成し、ルールに従ってブロックの分割を行う。
【０００５】
【特許文献１】特開２００５−２８４４９０号公報
【非特許文献１】大西 他２名「講義映像における板書領域のブロック分割とその応用」、電子情報津新学会論文誌、Ｖｏｌ．Ｊ８３−Ｄ−Ｉ Ｎｏ．１１，ｐｐ．１１８７−１１９５，２０００年１１月
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記の特許文献１に記載の発明は、位置指定装置と二次元表示装置とが離れている時間が所定時間以内のうちに書かれた線分を一つのまとまりとして判断するが、文字を書く速さは人それぞれで異なる場合が多く、予め定め固定的に定められたパラメータのもとでは、文字データを意味のある適切なまとまりにすることができない場合がある。また、上記の非特許文献１では、横書きの板書について開示されているが、縦書きの板書の場合の処理については開示されていない。
【０００７】
また、講義等の板書を、時間の経過と共に、完成された板書から構成される板書のダイジェストとして閲覧できれば、板書を効率よく利用することができ便利である。しかし、板書のダイジェストを作成する方法については、上記の特許文献１または非特許文献１には、記載も示唆もされていない。
【０００８】
本発明は上記事情を鑑みてなされたものであり、本発明の目的は、板書のダイジェストを作成することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、板書の画面を一定時間間隔でキャプチャし、キャプチャされた画面の描画部分を囲む矩形の形と大きさに応じて文字方向のタイプを縦書き、横書き、その他のタイプに判別し、判別された文字方向のタイプに応じて異なる方法を用いて、板書画面の意味的な構造を判別して領域をブロックに分割し、ブロックが完成されたと推測される画面を時系列に編成し、編成された画面をダイジェストとして表示する。
【００１０】
例えば、本発明の第１の態様は、板書のダイジェストを作成するダイジェスト作成装置であって、板書の画面を随時取り込む画面取込手段と、取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、板書を異なるタイプに判別するタイプ判別手段と、判別されたそれぞれのタイプ別に、板書内の図形のまとまりをブロック化するブロック検出手段と、板書画面内のブロックが完成する都度、未完成のブロックを削除した板書画面である代表画面を生成する代表画面生成手段と、代表画面内に含まれる画面に基づいて、当該代表画面に重要度を割り当てる重要度割当手段と、それぞれの代表画面を、割り当てられた重要度が高いものほど長く表示する表示手段とを備えることを特徴とするダイジェスト作成装置を提供する。
【００１１】
また、本発明の第２の態様は、板書のダイジェストを作成するダイジェスト作成装置を制御するプログラムであって、ダイジェスト作成装置を、板書の画面を随時取り込む画面取込手段、取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、板書を異なるタイプに判別するタイプ判別手段、判別されたそれぞれのタイプ別に、板書内の図形のまとまりをブロック化するブロック検出手段、板書画面内のブロックが完成する都度、未完成のブロックを削除した板書画面である代表画面を生成する代表画面生成手段、代表画面内に含まれる画面に基づいて、当該代表画面に重要度を割り当てる重要度割当手段、およびそれぞれの代表画面を、割り当てられた重要度が高いものほど長く表示する表示手段として機能させることを特徴とするプログラムを提供する。
【００１２】
また、本発明の第３の態様は、板書のダイジェストを作成するダイジェスト作成装置におけるダイジェスト作成方法であって、ダイジェスト作成装置は、板書の画面を随時取り込む画面取込ステップと、取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、板書を異なるタイプに判別するタイプ判別ステップと、判別されたそれぞれのタイプ別に、板書内の図形のまとまりをブロック化するブロック検出ステップと、板書画面内のブロックが完成する都度、未完成のブロックを削除した板書画面である代表画面を生成する代表画面生成ステップと、代表画面内に含まれる画面に基づいて、当該代表画面に重要度を割り当てる重要度割当ステップと、それぞれの代表画面を、割り当てられた重要度が高いものほど長く表示する表示ステップとを実行することを特徴とするダイジェスト作成方法を提供する。
【発明の効果】
【００１３】
本発明によれば、板書のダイジェストを自動的に作成して表示できるようになるため、板書の繰り返し利用が可能となり、休み時間や授業の導入時などに前回の授業のダイジェストを表示することによって、教師の手間が少なく、授業の導入や復習に役立てることができるようになると共に、重要画面を繰り返し表示することによって、生徒に学習内容を思い出させ、知識を定着させることができるという効果がある。
【発明を実施するための最良の形態】
【００１４】
以下に、本発明の実施の形態について説明する。
【００１５】
図１は、本発明の一実施形態に係るダイジェスト作成システム１０の構成を例示するシステム構成図である。ダイジェスト作成システム１０は、入力装置１１０、表示装置１１１、およびダイジェスト作成装置１００を備える。ダイジェスト作成装置１００は、電子黒板制御部１１２、データ作成部１２０、ダイジェスト作成部１３０、およびダイジェスト表示部１１３を有する。
【００１６】
電子黒板制御部１１２は、デジタルペンやマウス等の入力装置１１０から取り込んだ描画情報を、表示装置１１１に表示する電子黒板の基本機能を備えている。本実施形態では、ダイジェスト作成装置１００は、電子黒板制御部１１２を有するが、他の形態として、電子黒板制御部１１２は、ダイジェスト作成装置１００とは別個に実現され、電子黒板への描画画面あるいは描画座標情報をデータ作成部１２０へ入力する形態で実現することも可能である。
【００１７】
データ作成部１２０は、表示装置１１１に表示された板書画面をモニタリングして板書の区切りとなる代表画面を作成する。ダイジェスト作成部１３０は、代表画面格納部１２６内の代表画面データを用いてダイジェスト構成データを作成する。ダイジェスト表示部１１３は、ダイジェスト作成部１３０によって作成されたダイジェスト構成データを用いて、板書のダイジェストを表示する。
【００１８】
次に、データ作成部１２０内の詳細構成について説明する。データ作成部１２０は、画面取込部１２１、画面データ格納部１２２、タイプ判別部１２３、ブロック検出部１２４、代表画面生成部１２５、および代表画面格納部１２６を備える。
【００１９】
画面取込部１２１は、電子黒板制御部１１２によって表示装置１１１に描画された画面データを取り込んで画面データ格納部１２２に保存する。画面データ格納部１２２は、例えば図２に示すように、画面取込部１２１によって取り込まれた順番に割り当てた番号１２２０に対応付けて、取り込んだ画面データ１２２１を格納する。
【００２０】
タイプ判別部１２３は、画面データ格納部１２２内に保存された板書の画面データを用いて、当該板書が縦書きのタイプ、横書きのタイプ、または図表等のその他のタイプのいずれのタイプかを判別する。ここで、タイプ判別部１２３によるタイプ判別処理について、図３を参照しながら説明する。
【００２１】
まず、タイプ判別部１２３は、カウンタｋ＝０としてカウンタの初期化を行い（Ｓ１００）、画面データ格納部１２２から画面データを読み込む（Ｓ１０１）。そして、前回読み込んだ画面データとの差分画面において描画領域を囲む矩形を抽出し（Ｓ１０２）、描画領域がなく、矩形領域が抽出できない場合（Ｓ１０３：Ｎｏ）は、ステップＳ１０１に戻って次の画面データを読み込む。
【００２２】
ここで、矩形領域は、画像データの画素をスキャンし、白紙でない画素の横軸の最小値と最大値、縦軸の最小値、最大値を検出することで抽出することができる。入力装置から取り込んだデータが、画像データではなくストロークデータ（ペンダウンからペンアップまでに採集されるペン座標の系列）として保存される場合、描画領域を囲む矩形は、画像データの場合と同様に座標の横軸の最小値と最大値、縦軸の最小値、最大値を検出することで抽出可能である。
【００２３】
矩形領域が抽出された場合（Ｓ１０３：Ｙｅｓ）は、矩形の縦横比ｒ（ｋ）＝（矩形の縦最大値−縦最小値）／（矩形の横最大値−横最小値）を算出する（Ｓ１０４）。ｒ（ｋ）＞１の場合は縦長の矩形、ｒ（ｋ）＜１の場合は横長の矩形となる。従って、矩形が縦長であれば縦書きタイプ、横長であれば横書きタイプ、文字を書く場合と図や表を描く場合では、一定時間に描画される矩形の大きさが異なると考え、矩形領域の大きさが所定値以上の場合は図や表などその他タイプと分類する。しかし、書き始めの場合は特徴が現れない可能性が高いため、数枚の画像の描画領域を囲む矩形領域の縦横比を計算し、ｒ（ｋ）の値の変化によってタイプの判別を行う。
【００２４】
次にステップＳ１０５においてｋ＝ｋ＋１に更新し、ｋが所定の値ａ（例えば５）に達していない場合（Ｓ１０６：Ｎｏ）は、ステップＳ１０１に戻り、次の画像データを読み込む。ｋが所定の値ａ（例えば５）に達した場合（Ｓ１０６：Ｙｅｓ）、ｒ（０）からｒ（ａ）の中で矩形領域の横あるいは縦の長さが所定値以上（例えば画面の縦または横の長さの半分以上）のものがある場合（Ｓ１０７：Ｙｅｓ）は、図や表が描かれたと考え、その他のタイプと判定して（Ｓ１０８）終了する。
【００２５】
図４は、図形が描かれた板書の一例を示す。図４（ａ）は、図形が描かれた板書のオリジナル画面２００を例示し、図４（ｂ）は、前のオリジナル画面２００との差分２０１を例示している。矩形領域２０２の縦または横の長さが所定値以上であるため、タイプ判別部１２３は、図４に示す板書をその他のタイプと判定する。
【００２６】
ｒ（０）からｒ（ａ）の中で矩形領域の横あるいは縦の長さが所定値以上のものがない場合（Ｓ１０７：Ｎｏ）、ｒ（０）からｒ（ａ）までの変化を解析し、ｒ＞１．０が連続している場合（Ｓ１０９：Ｙｅｓ）は、縦書きタイプと判定して（Ｓ１１０）終了する。図５は、縦書きの板書の一例を示す。図５（ａ）は、オリジナル画面２０５を例示し、図５（ｂ）は、前のオリジナル画面２０５との差分２０６を例示している。矩形領域２０７は、縦が横よりも長いので、このような矩形領域２０７が複数回連続した場合に、タイプ判別部１２３は、図５に示す板書を縦書きタイプと判定する。
【００２７】
ステップ１０９においてＮｏと判定した場合、ｒ（０）からｒ（ａ）までの変化を解析し、ｒ＜１．０が連続している場合（Ｓ１１１：Ｙｅｓ）は、横書きタイプと判定して（Ｓ１１２）終了する。図６は、横書きの板書の一例を示す。図６（ａ）は、オリジナル画面２１０を例示し、図６（ｂ）は、前のオリジナル画面２１０との差分２１１を例示している。矩形領域２１２は、縦が横よりも短いので、このような矩形領域２１２が複数回連続した場合に、タイプ判別部１２３は、図６に示す板書を横書きタイプと判定する。ステップ１１１においてＮｏと判定した場合、その他のタイプと判定して（Ｓ１１３）終了する。
【００２８】
ｒの連続性の判定方法については、上記の他にもいくつかの方法が考えられる。例えばｒの値の単調増加／減少が複数回現れることを判定基準にする方法や、書き始めと判定できる初回は除いて単調増加／減少が途切れたときに改行が行われたと考え、改行前の矩形の縦横比を用いて判定する方法、ｒ＞１．０またはｒ＜１．０が複数回続けて得られた場合の値を用いて判定する方法等が考えられる。
【００２９】
このように、縦書き／横書き／その他という板書のタイプを判別してからブロック化の処理を行うことにより、ブロック化の精度を高めることができるため、ダイジェスト作成の精度を上げることができる。
【００３０】
また、タイプ判別部１２３によるタイプ判別処理は、上記した方法に限られず、例えば図７に示すような簡易的な方法によっても実現することができる。図７に示す例では、タイプ判別部１２３は、まず、画面データ格納部１２２から番号１の画面データを読み込む（Ｓ２００）。オンライン型の場合は画面データ格納部１２２にデータが書き込まれてから図７に示す処理を開始するか、あるいは画面データ格納部１２２内に書き込まずに画面取込部１２１からメモリ上で画面データを受け取る形態でも実現可能である。
【００３１】
次に、前回読み込んだ画面データとの差分画面において描画領域を囲む矩形を抽出し（Ｓ２０１）、矩形領域が抽出できない場合（Ｓ２０２：Ｎｏ）、ステップＳ２００に戻って次の画面を読み込む。矩形領域が抽出できた場合（Ｓ２０２：Ｙｅｓ）、描画領域の左上の座標が電子黒板の画面の左上に位置し、かつ、矩形領域が横長である場合（Ｓ２０３：Ｙｅｓ）には、横書きタイプと判定し（Ｓ２０４）、描画領域の右上の座標が電子黒板の画面の右上に位置し、かつ、矩形領域が縦長である場合（Ｓ２０５：Ｙｅｓ）には、縦書きタイプと判定し（Ｓ２０６）、それ以外の場合にはその他のタイプと判定する（Ｓ２０７）。この判定では、横書きの場合が左上から書き始め、縦書きの場合は右上から書き始めるという慣習をプログラムに反映させている。
【００３２】
図１の説明に戻り、タイプ判別部１２３によってタイプ判別が行われると、ブロック検出部１２４および代表画面生成部１２５は、判別されたタイプ別に、ブロック検出・代表画面生成処理を実行して代表画面を生成し、生成した代表画面を代表画面格納部１２６に格納する。
【００３３】
タイプ判別部１２３によって縦書きタイプと判定された場合、ブロック検出部１２４および代表画面生成部１２５は、図８および図９に示すようなブロック検出・代表画面生成処理を実行する。本方式では、画面データ格納部１２２に画面データが取り込まれる度に処理を開始することが可能なため、画面データ格納部１２２に全ての画面を保存する必要がないという利点がある。ブロック検出部１２４は、まず、差分フラグをＯＦＦにし（Ｓ３００）、板書が終了している場合には（Ｓ３０１：Ｙｅｓ）、最新画面（最終画面）を代表画面として代表画面格納部１２６に格納する（Ｓ３０２）。そして、代表画面の生成が終了した旨をダイジェスト作成部１３０内の重要度割当部１３１に通知して（Ｓ３０３）終了する。
【００３４】
一方、板書が終了していない場合（Ｓ３０１：Ｎｏ）、画面データ格納部１２２から最新の画面データを読み込み（Ｓ３０４）、前の画面データとの差分（最新の画面データから前の画面デ−タを引く）を計算し（Ｓ３０５）、差分の値に応じて処理すべきステップに進む。
【００３５】
差分がない場合（Ｓ３０６：Ｎｏ）、ステップＳ３０１に示した処理を実行する。差分がマイナスの場合（Ｓ３０７：Ｙｅｓ）、差分フラグがＯＮであれば（Ｓ３０８：Ｙｅｓ）ステップＳ３０１に示した処理を実行する。差分フラグがＯＦＦの場合（Ｓ３０８：Ｎｏ）、前の画面を代表画面として（Ｓ３０９）、差分フラグをＯＮにし（Ｓ３１０）、ステップＳ３０１に示した処理を実行する。
【００３６】
差分にプラスとマイナスが混在している場合（Ｓ３１１：Ｙｅｓ）、差分フラグがＯＮであれば（Ｓ３１２：Ｙｅｓ）ステップＳ３０１に示した処理を実行する。差分フラグがＯＦＦであれば（Ｓ３１２：Ｎｏ）、差分部分を消去して代表画面として代表画面格納部１２６に格納し（Ｓ３１３）、差分フラグをＯＮにして（Ｓ３１４）ステップＳ３０１に示した処理を実行する。
【００３７】
差分がプラスの場合（Ｓ３１５：Ｙｅｓ）、差分フラグをＯＦＦにし（Ｓ３１６）、差分部分の矩形（差分矩形）の大きさを計算する。矩形領域の大きさは、縦、横のいずれかが規定の長さよりも長い場合に矩形領域の大きさが所定値以上であると判定する。差分矩形の大きさが所定値以上であると判定された場合（Ｓ３１７：Ｙｅｓ）、図２０および２１において後述する、その他のタイプのブロック検出・代表画面生成処理を実行し（Ｓ３１８）、ステップＳ３０１に示す処理を実行する。ステップＳ３１８におけるこの処理は、板書の途中で図表などが描かれた場合に対応する処理である。
【００３８】
差分矩形の大きさが所定値未満であると判定された場合（Ｓ３１７：Ｎｏ）、処理中のブロックがあるか否かを判定する（Ｓ３１９）。処理中のブロックがない場合（Ｓ３１９：Ｎｏ）、差分矩形を新規ブロックとして（Ｓ３２０）ステップＳ３０１に示した処理を実行する。処理中のブロックがある場合（Ｓ３１９）、差分矩形の位置が処理中のブロックの矩形から横方向に閾値を超える場合には（Ｓ３２１：Ｙｅｓ）改行されたと判定し、差分矩形と処理中のブロックの矩形上部との座標値を比較し、縦座標値の差分の絶対値が閾値を超えているか否かを判定する（Ｓ３２２）。ここでは、差分矩形と処理中ブロックの書き出し位置の座標を比較し、書き出し位置がずれている部分をブロック分割するための処理である。従って閾値は電子黒板に書かれる一文字の大きさ程度が妥当だと考えられる。
【００３９】
差分矩形の位置が処理中のブロックの矩形から横方向に閾値を超えない場合（Ｓ３２１：Ｎｏ）、改行がなかったと判定し、差分部分を処理中のブロックに統合し（Ｓ３２３）、ステップＳ３０１に戻る。また、縦座標値の差分の絶対値が閾値を超えていない場合も（Ｓ３２２：Ｎｏ）、差分矩形と処理中ブロックの書き出し位置は同等の位置であると考えられるため、差分部分を処理中のブロックに統合し（Ｓ３２３）、ステップＳ３０１に戻る。
【００４０】
図１０は、ブロックの検出過程および代表画面の生成過程を説明するための概念図である。図１０（ａ）はオリジナル画面２００を例示し、図１０（ｂ）は差分２２１を例示し、図１０（ｃ）は生成された代表画面２２４を例示している。図１０（ｂ）に示す例では、処理中のブロック２２３と矩形領域２２２との間隔ｄ１が所定値以上であるので、矩形領域２２２内の文字は改行されたものと判定される。
【００４１】
縦座標値の差分の絶対値が閾値を超えている場合（Ｓ３２２：Ｙｅｓ）、差分矩形と処理中ブロックの書き出し位置は異なる位置であると考えられるため、ブロックの書き出し位置と同じ位置の行を差分矩形中から抽出するために、差分部分の縦行を抽出し（Ｓ３２４）、行の開始位置とブロックの開始位置との差分が絶対値を越える行以前の行をブロックに統合し（Ｓ３２５）、処理中のブロックのブロック化を完了する（Ｓ３２６）。
【００４２】
次に、ブロックに統合しなかった行を矩形で囲む新規ブロックを生成し（Ｓ３２７）、新規ブロックと前ブロックの位置を比較し、新規ブロックが前ブロックよりも高位置にある場合には（Ｓ３２８：Ｙｅｓ）、見出しに相当する行が書かれたと判定し、新規ブロック部分を除いた画面を代表画面として代表画面格納部１２６に格納し（Ｓ３２９）、ステップＳ３０１に戻る。新規ブロックが前ブロックよりも低位置にある場合には（Ｓ３２８：Ｎｏ）、見出しに続く部分が書かれたと判定して代表画面は生成せずにステップＳ３０１に戻る。
【００４３】
図１０（ｂ）に示す例では、矩形領域２２２が新規ブロックと判定され、新規ブロックの書き出し位置が前のブロック２２３の書き出し位置よりもｄ１だけ上方に位置しており、ｄ１が所定値よりも大きいため、図１０（ｃ）に示すように、矩形領域２２２に対応する新規ブロックが削除された画面が代表画面２２４として生成される。代表画面格納部１２６は、例えば図１１に示すように、生成した代表画面データ１２６３、当該代表画面データのタイプ１２６２、および当該代表画面データを生成する直前に読み込んだ画面データの番号であるオリジナル画面番号１２６１を、代表画面毎に割り当てた代表画面番号１２６０に対応付けて格納する。
【００４４】
また、タイプ判別部１２３によって横書きタイプと判定された場合、ブロック検出部１２４および代表画面生成部１２５は、図１２および図１３に示すようなブロック検出・代表画面生成処理を実行する。ブロック検出部１２４は、まず、差分フラグをＯＦＦにし（Ｓ４００）、板書が終了した場合には（Ｓ４０１：Ｙｅｓ）、最新画面を代表画面として代表画面格納部１２６に格納する（Ｓ４０２）。そして、代表画面の生成が終了した旨をダイジェスト作成部１３０内の重要度割当部１３１に通知して（Ｓ４０３）終了する。
【００４５】
一方、板書が終了していない場合（Ｓ４０１：Ｎｏ）、最新画面を読み込み（Ｓ４０４）、最新画面と前の画面との差分を計算し（Ｓ４０５）、差分がない場合は（Ｓ４０６：Ｎｏ）、最新画面と前の画面が全く同じということであり、ステップ４０１へ戻る。差分がマイナスの場合は（Ｓ４０７：Ｙｅｓ）、前の画面のある部分が消去されているということであり、差分フラグがＯＮの場合は（Ｓ４０８：Ｙｅｓ）ステップＳ４０１に戻り、差分フラグがＯＦＦの場合は（Ｓ４０８：Ｎｏ）、前の画面を代表画面として代表画面格納部１２６に格納し（Ｓ４０９）、差分フラグをＯＮにして（Ｓ４１０）ステップＳ４０１に戻る。
【００４６】
差分にプラスとマイナスが混在している場合は（Ｓ４１１：Ｙｅｓ）、前の画面に何かが書き加えられるとともに一部分が消去されているということであると考えられ、差分フラグがＯＮの場合は（Ｓ４１２：Ｙｅｓ）ステップＳ４０１に戻り、ＯＦＦの場合は（Ｓ４１２：Ｎｏ）、差分部分を消去して代表画面とし、代表画面格納部１２６に格納して（Ｓ４２３）、差分フラグをＯＮにして（Ｓ４１４）ステップＳ４０１に戻る。
【００４７】
差分がプラスの場合は（Ｓ４１５：Ｙｅｓ）、前の画面に何かが書き加えられているということであり、差分フラグをＯＦＦにし（Ｓ４１６）、差分部分を囲む矩形の縦あるいは横の長さがある一定の長さ以上の場合には（Ｓ４１７：Ｙｅｓ）、図表などが描かれたとみなして、その他のブロック検出・代表画面生成処理を実行して（Ｓ４１８）、その後にステップＳ４０１に戻る。
【００４８】
差分部分を囲む矩形の縦あるいは横の長さがある一定の長さ未満の場合には（Ｓ４１７：Ｎｏ）、差分部分の横方向の行を抽出し（Ｓ４１９）、抽出した行の上から順番に対象とする行を選択するために、未選択の行の最上部の行を抽出し（Ｓ４２０）、処理の対象となっている行があるか否かを判断する（Ｓ４２１）。処理中の行がなければ（Ｓ４２１：Ｎｏ）、抽出した行を処理中の行として（Ｓ４２２）ステップＳ４３４へ進む。
【００４９】
処理中の行がある場合は（Ｓ４２１：Ｙｅｓ）、抽出された行と処理中の行の縦方向の位置を比較して同じ行が否かを判断し（Ｓ４２３）、抽出された行と処理中の行が同じ行であると判断した場合には（Ｓ４２３：Ｙｅｓ）、処理中の行に抽出された行を追加して（Ｓ４２４）ステップＳ４３４へ進む。
【００５０】
抽出された行と処理中の行が異なる行であると判断した場合には（Ｓ４２３：Ｎｏ）、処理中のブロックがあるか否かを判断し（Ｓ４２５）、処理中のブロックがないと判断された場合は（Ｓ４２５：Ｎｏ）、現在処理中の行を新規ブロックとし（Ｓ４２６）、抽出された行を新規に処理中の行として（Ｓ４２７）ステップＳ４３４へ進む。
【００５１】
処理中のブロックがあると判断された場合は（Ｓ４２５：Ｙｅｓ）、処理中の行を囲む矩形領域とブロックの横座標の重なりを計算し、重なりが所定値以上の場合は（Ｓ４２８：Ｙｅｓ）、処理中の行が同じブロックにあると考え、処理中の行の矩形領域をブロックに追加し（Ｓ４２９）、抽出した行を新たな処理中の行にして（Ｓ４３０）ステップＳ４３４へ進む。
【００５２】
抽出した行を囲む矩形領域とブロックの横座標の重なりが所定値未満の場合には（Ｓ４２８：Ｎｏ）、処理中のブロックのブロック化処理を完了し（Ｓ４３１）、抽出した行を新たな処理中の行とすると共に、処理中の行を新規ブロックとし（Ｓ４３２）、処理中の行と未処理の行を除いた画面を代表画面として代表画面格納部１２６に格納する（Ｓ４３３）。そして、次の行がある場合には（Ｓ４３４：Ｙｅｓ）ステップＳ４２０に戻って次の行に対する処理を繰り返す。
【００５３】
処理中の行を囲む矩形領域とブロックの横座標の重なりを判断する閾値は、行やブロックの長さが推定できないため、例えば処理中の行の８割以上が重なっているなどのように、座標値やピクセル値で表すよりも重なりの割合で表す方が適していると考えられる。
【００５４】
図１４〜１７に横書きの場合のブロック検出過程を例示する。図１４（ａ）〜１７（ａ）には、板書画面の左から右へと時間の経過に伴ってキャプチャされたオリジナル画面が例示されている。図１４（ｂ）〜１７（ｂ）には、差分画面において抽出された行、処理中の行が例示されている。図１４（ｃ）〜１７（ｃ）には、処理中の行が例示されている。
【００５５】
例えば、図１４（ａ）のオリジナル画面２３０は、前の画面がないため、図１４（ｂ）に示す前の画面との差分２３１はプラスである。また、処理中の行がないため、図１４（ｃ）に示すように、差分２３１において抽出された行２３２が処理中の行２３４となる。
【００５６】
次に、図１５（ｂ）の差分２４１では、抽出された行が現在処理中の行と同じ行である（縦座標がほとんど同じことから同じ行と判断可能である）ため、図１５（ｂ）において抽出された行２４２は、図１５（ｃ）において処理中の行２４４に追加される。
【００５７】
次に、図１６（ｂ）の差分２５１では、まず、一行目の行２５２を抽出し、図１５（ｂ）の差分２４１の場合と同様に、図１６（ｃ）において処理中の行２５５に追加し、二行目の行２５３の処理では、処理中の行２５５と異なると判断し、処理中のブロックがないため、図１６（ｄ）に示すように、処理中の行２５５を新規ブロック２５８とし、抽出された二行目を処理中の行２５６とする。
【００５８】
次に、図１７（ｂ）の差分２６１において抽出された行２６２と、図１６（ｄ）において生成されたブロック２５８の横座標の重なりを調べると、重なりが所定値未満であるため、処理中のブロック２５８のブロック化を完了し、抽出された行を新たな処理中の行２６６とし、また処理中の行２６６を新規ブロックとし、処理中の行２６６を除いた画面を、図１８に示すように代表画面２７０として格納する。
【００５９】
以上のようにして、ブロックを検出して代表画面を生成する。また、図１９に示すように、抽出された行２７２とブロック２７１との横方向の重なり２７２が所定値以上の場合は、処理中行の行２７２をブロック２７１に追加して新たなブロック２７４とするブロックと行の重なりを判定する機能を設けることにより、複数のブロックの下にブロックが存在する場合のように、従来では黒板の下方まで描かれない場合にはブロック分割が不可能であった場合にも、ブロックの検出が可能となり、適切な画面を代表画面として生成することが可能となる。
【００６０】
また、タイプ判別部１２３によってその他のタイプと判定された場合、ブロック検出部１２４および代表画面生成部１２５は、図２０および図２１に示すようなブロック検出・代表画面生成処理を実行する。その他のタイプは図や表などを中心とした板書である。図や表の場合は、差分がない画面がしばらく続いた場合を代表画面とし、また、板書においては図表の中に文字が書かれる場合も多いため、文字が書かれたと推測できる部分には、縦書き／横書きタイプのブロック検出・代表画面生成プログラムを適用する。
【００６１】
ブロック検出部１２４は、まず、差分フラグをＯＦＦにし（Ｓ５００）、板書が終了した場合には（Ｓ５０１：Ｙｅｓ）、最新画面を代表画面として代表画面格納部１２６に格納する（Ｓ５０２）。そして、代表画面の生成が終了した旨をダイジェスト作成部１３０内の重要度割当部１３１に通知して（Ｓ５０３）終了する。
【００６２】
一方、板書が終了していない場合（Ｓ５０１：Ｎｏ）、最新画面を読み込み（Ｓ５０４）、最新画面と前の画面との差分を計算し（Ｓ５０５）、差分がない場合は（Ｓ５０６：Ｎｏ）、差分フラグがＯＦＦの否か判定し（Ｓ５０７）、ＯＦＦの場合は（Ｓ５０７：Ｙｅｓ）カウンタｉを０に初期化すると共に差分フラグをＯＮにし（Ｓ５０８）、ステップＳ５０９に進む。
【００６３】
差分フラグがＯＮの場合は（Ｓ５０７：Ｎｏ）、ｉを１インクリメントして（Ｓ５０９）、ｉが所定値に達した場合には（Ｓ５１０：Ｙｅｓ）、最新画面を代表画面として代表画面格納部１２６に格納し（Ｓ５１１）、ステップＳ５０１に戻る。ここで図表を中心とした板書の場合は、差分がない画面がしばらく続いた場合に代表画面とするという考えをプログラムするために、カウンタｉを用いている。
【００６４】
差分がマイナスの場合は（Ｓ５１２：Ｙｅｓ）、差分フラグがＯＮか否かを判定し（Ｓ５１３）、ＯＮの場合は（Ｓ５１３：Ｙｅｓ）ステップＳ５０１に戻り、差分フラグがＯＦＦの場合は（Ｓ５１３：Ｎｏ）、前の画面を代表画面として代表画面格納部１２６に格納し（Ｓ５１４）、カウンタｉを０に初期化すると共に差分フラグをＯＮにし（Ｓ５１５）、ステップＳ５０１に戻る。
【００６５】
差分にプラスとマイナスが混在している場合は（Ｓ５１６：Ｙｅｓ）、差分フラグがＯＮか否かを判定し（Ｓ５１７）、ＯＮの場合は（Ｓ５１７：Ｙｅｓ）、ステップＳ５０１に戻り、ＯＦＦの場合は（Ｓ５１７：Ｎｏ）、差分部分を消去して代表画面とし、代表画面格納部１２６に格納して（Ｓ５１８）、カウンタｉを０に初期化すると共に差分フラグをＯＮにし（Ｓ５１９）、ステップＳ５０１に戻る。
【００６６】
差分がプラスの場合は（Ｓ５２０：Ｙｅｓ）、差分フラグをＯＦＦにし（Ｓ５２１）、差分部分を囲む矩形領域を抽出し（Ｓ５２２）、抽出した矩形領域の縦あるいは横の長さが所定値以上の場合には（Ｓ５２３：Ｙｅｓ）、図表などが描かれていると判断してステップｓ５０１に戻る。
【００６７】
抽出した矩形領域の縦あるいは横の長さが所定値未満の場合は（Ｓ５２３：Ｎｏ）、文字が書かれた可能性が高いと考え、タイプ判定機能１４２を使用して文字方向のタイプを判別する（Ｓ５２４）。縦書きタイプと判定された場合は（Ｓ５２５：Ｙｅｓ）、図８および図９において説明した縦書きタイプのブロック検出・代表画面生成処理を実行して（Ｓ５２６）、ステップＳ５０１に戻る。横書きタイプと判定された場合は（Ｓ５２７：Ｙｅｓ）、図１２および図１３において説明した横書きタイプのブロック検出・代表画面生成処理を実行し（Ｓ５２８）、ステップＳ５０１に戻る。
【００６８】
このようにして、書き出し部分においてその他のタイプと判定された板書であっても、途中で文字が書かれたと推測できる画面では文字方向を推測して代表画面を生成することにより、授業の流れに適した板書のダイジェストを作成できるようになる。
【００６９】
図１の説明に戻り、次に、ダイジェスト作成部１３０の詳細な構成について説明する。ダイジェスト作成部１３０は、重要度割当部１３１およびダイジェスト構成データ格納部１３２を有する。重要度割当部１３１は、データ作成部１２０によって生成された代表画面のそれぞれに重要度を割り当てる。重要度割当部１３１によって実行されるダイジェスト作成処理を、図２２および図２３に示すフローチャートを用いて説明する。
【００７０】
まず、代表画面格納部１２６から代表画面データを読み込み（Ｓ６００）、カウンタｉを０初期化すると共に、ｎに代表画面データ数を代入する（Ｓ６０１）。そして、カウンタｉがｎ以上の場合は（Ｓ６０２：Ｎｏ）、ダイジェスト作成処理を終了する。
【００７１】
カウンタｉがｎ未満の場合は（Ｓ６０２：Ｙｅｓ）、カウンタｉの値を１進めて（Ｓ６０３）、カウンタｉが１またはｎのいずれかを判定する（Ｓ６０４）。カウンタｉが１またはｎのいずれかである場合（Ｓ６０４：Ｙｅｓ）、ｉ番目の代表画面データの重要度を「高」に設定して（Ｓ６０５）、ステップＳ６０９に進む。１番目とｎ番号の代表画面データは、最初と最後の板書画面であるため、重要度を「高」に設定している。
【００７２】
カウンタｉが１またはｎのいずれでもない場合（Ｓ６０４：Ｎｏ）、ｉ番目の代表画面データに対応するオリジナル番号と、ｉ−１番目の代表画面データに対応するオリジナル番号との差が所定値以上の場合は（Ｓ６０６：Ｙｅｓ）、重要度を「中」に設定し（Ｓ６０７）、そうでない場合は（Ｓ６０６：Ｎｏ）、重要度を「低」に設定し（Ｓ６０８）、ステップＳ６０９へ進む。ここで、オリジナル番号とは、代表画面格納部１２６内のオリジナル画面番号１２６１を表す。
【００７３】
オリジナル番号の差が大きいということは、ある程度の時間が過ぎていると考えられるが、オリジナル番号の差が小さいということは、ｉ番目の代表画面データとｉ＋１番目の代表画面データとの間の時間差が少ないことを意味する。そこで、時間的に近いと推測できる代表画面データの重要度を「低」に設定しておく。ステップＳ６０５、ステップＳ６０７、およびステップＳ６０８で設定された重要度は仮の重要度であり、後述するステップＳ６１４またはステップＳ６２０において修正される場合もある。
【００７４】
ステップＳ６０９において、カウンタｉが１の場合は（Ｓ６０９：Ｙｅｓ）、代表画面データの差分画面Ｘを１番目の代表画面データとし（Ｓ６１１）、そうでない場合は（Ｓ６０９：Ｎｏ）、ｉ番目の代表画面データからｉ−１番目の代表画面データを差し引いた値を差分画面Ｘとする（Ｓ６１０）。
【００７５】
差分がない場合（Ｓ６１２：Ｎｏ）、ステップＳ６０２に戻る。差分がある場合は（Ｓ６１２：Ｙｅｓ）、代表画面データ内に標準色以外の所定の色が使われているか否かを判定し（Ｓ６１３）、使われている場合は（Ｓ６１３：Ｙｅｓ）、ｉ番目の代表画面データの重要度を「高」に設定する（Ｓ６１４）。標準色以外の色が使われているということは、色ペンで文字などが描かれていることであり、重要度の高い画面であると考えられる。
【００７６】
次に、代表画面格納部１２６内の１番目の代表画面データが縦書きタイプの場合は（Ｓ６１５：Ｙｅｓ）、差分画面Ｘの縦方向の線分を抽出する（Ｓ６１６）。横書きタイプと判断された場合は（Ｓ６１７：Ｙｅｓ）、差分画面Ｘの横方向の線分を抽出する（Ｓ６１８）。そして、抽出された線分が所定値以上の長さである場合（Ｓ６１９：Ｙｅｓ）、ｉ番目の代表画面データの重要度を「高」に設定し（Ｓ６２０）、ｉ番目の代表画面データを対応する重要度を、設定された重要度と共にダイジェスト構成データ格納部１３２に格納し（Ｓ６２１）、ステップＳ６０２に戻る。ダイジェスト構成データ格納部１３２は、例えば図２４に示すように、代表画面データ１３２２および重要度１３２１を、代表画面番号１３２０に対応付けたダイジェスト構成データを格納する。
【００７７】
この処理は、重要な語句や部分には下線や二重線を引くことが多いため、線分が抽出された画面は重要と考えられるという前提に基づいている。そこで、ある長さ以上の線分とは、一文字の大きさよりも長い線分であり、一般的な文字の大きさの二文字分くらいの線分が妥当と考えられる。また、重要度は「高」「中」「低」の三段階としたが、文字の大きさなどの重要さを強調する他の要素を検出したり、検出された強調の要素の重なりを重要度に反映するなどして、更に細かい段階に分けることも可能である。
【００７８】
次に、ダイジェスト表示部１１３の詳細な動作について、図２５を参照しながら説明する。ダイジェスト表示部１１３は、ダイジェスト作成部１３０によって生成されてダイジェスト構成データ格納部１３２に格納されたダイジェスト構成データを元にダイジェストを表示する。まず、ダイジェスト表示部１１３は、ダイジェスト構成データ格納部１３２からダイジェスト構成データを読み込み（Ｓ７００）、重要度が「低」の代表画面データ数と、重要度が「中」の代表画面データ数に２を乗じた値と、重要度が「高」の代表画面データ数に３を乗じた値とを加えてｎを算出し（Ｓ７０１）、予め定められたダイジェストの表示時間である総表示時間をｎで割ることにより単位表示時間Ｔを算出する（Ｓ７０２）。
【００７９】
次に、最初の代表画面データを読み込み（Ｓ７０３）、重要度が「高」か否かを判定する（Ｓ７０４）。重要度が「高」である場合（Ｓ７０４：Ｙｅｓ）、対応する代表画面データの表示時間ｔを単位表示時間Ｔの３倍とし（Ｓ７０５）、ステップＳ７０９に進む。重要度が「高」でない場合（Ｓ７０４：Ｎｏ）、重要度が「中」か否かを判定する（Ｓ７０６）。重要度が「中」である場合（Ｓ７０６：Ｙｅｓ）、対応する代表画面データの表示時間ｔを単位表示時間Ｔの２倍とし（Ｓ７０７）、ステップＳ７０９に進む。
【００８０】
重要度が「中」でない場合（Ｓ７０６：Ｎｏ）、対応する代表画面データの表示時間ｔを単位表示時間Ｔとし（Ｓ７０８）、算出した表示時間ｔで対応する代表画面データを表示する（Ｓ７０９）。そして、表示した代表画面データが最後の代表画面データである場合（Ｓ７１０：Ｙｅｓ）、ダイジェスト表示処理を終了する。表示した代表画面データが最後の代表画面データではない場合（Ｓ７１０：Ｎｏ）、次の代表画面データを選択して（Ｓ７１１）、ステップＳ７０４に示した処理を実行する。
【００８１】
以上、本発明の実施の形態について説明した。
【００８２】
上記説明から明らかなように、本発明のダイジェスト作成システムによれば、板書のダイジェストを自動的に作成して表示できるようになるため、板書の繰り返し利用が可能となり、休み時間や授業の導入時などに前回の授業のダイジェストを表示することによって、教師の手間が少なく、授業の導入や復習に役立てることができるようになると共に、重要画面を繰り返し表示することによって、生徒に学習内容を思い出させ、知識を定着させることができる。また、板書の経過を単なる時間の経過ではなく、意味的に整理された形で振り返ることが可能となり、学習の復習や会議のプロセス把握などの能率を高めることができる。
【００８３】
なお、本発明は、上記の各実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【００８４】
図２６は、縦書きタイプのブロック検出処理の他の例を示すフローチャートである。本図に示す処理は、板書が終了したか、またはページが切り替えられた後に、最新の画面データから順に最初の画面データへと時間的に遡る形でブロック検出を行う点が特徴である。最新の画面データはそのページの最終形であり、完成された板書である可能性が高いため、ブロック分割に関する多くの情報が含まれている。そこで最新の画面データを用いてブロック分割の前処理を行う。縦書きの場合は上部に記述される行が見出しの役割をしている可能性高いため、上部から開始する行を検出して見出しとし、その後に続く行はその見出しに従属するブロックであるとの考えに基づいている。
【００８５】
まず、ブロック検出部１２４は、板書終了またはページ切り替えの発生を待ち（Ｓ８００）、板書終了またはページ切り替えが発生すると（Ｓ８００：Ｙｅｓ）、最新の画面データを読み込む（Ｓ８０１）。そして、行抽出処理により縦方向の行を抽出し（Ｓ８０２）、抽出した行毎に、当該行を囲む矩形領域上端の縦座標を抽出する（Ｓ８０３）。
【００８６】
処理のイメージを図２７に示す。行抽出処理は、画像認識の分野で広く用いられている技術であり、例えば、図２７に示すように画面データ内の画素を縦方向に投影することにより、画素が投影されている部分を行として認識する。その他にも、画素成分を連結していき、行を抽出する方法などがある。
【００８７】
次に、縦座標の位置でグループ化を行う（Ｓ８０４）。縦座標の値が近いもの同士でグループ化し、縦座標値が前後のグループと離れているグループから順に３つのグループに分け、上方に位置するグループから順に、「見出し１」、「見出し２」、「見出し３」とする。ステップＳ８０４のグループ分けの処理のイメージを図２８に示す。
【００８８】
次に、同じグループに属する隣り合う行の統合を繰り返し、統合できなくなった行をブロック化する（Ｓ８０５）。そして、「見出し３」と「見出し２」のブロックを統合し、「見出し３」のブロックとその右隣の「見出し２」をブロックに統合する（Ｓ８０６）。ステップＳ８０５と８０６の処理のイメージを図２９に示す。
【００８９】
その後、図３０において後述する縦書きタイプの代表画面生成処理を実行して代表画面データを生成し（Ｓ８０７）、板書終了であれば（Ｓ８０８：Ｙｅｓ）、ブロック検出処理を終了し、板書終了でない場合は（ｓ８０８：Ｎｏ）、ステップＳ８００に戻って処理を続ける。
【００９０】
図３０は、縦書きタイプの代表画面生成処理の他の例を示すフローチャートである。まず、代表画面生成部１２５は、最新画面データを読み込み（Ｓ９００）、最新画面データを代表画面データとして、代表画面番号およびタイプと共に代表画面格納部１２６に格納する（Ｓ９０１）。
【００９１】
次に、処理ポインタｎに画面データ数を代入する（Ｓ９０２）。そして、処理ポインタｎが１の場合は（Ｓ９０３：Ｙｅｓ）、１番目の画面データであると判断して、この画面データを代表画面データとし、代表画面番号を１、オリジナル番号を１、タイプを縦書きとして画面データを代表画面格納部１２６に格納して終了する。
【００９２】
本方式では代表画面データの作成を最新画面（最終画面）から行うため、代表画面格納部１２６の番号を連番で作成することができない。そこで、代表画面番号をオリジナル画面番号と同じにしておき、代表画面格納部１２６を番号順に処理する機能（ダイジェスト作成部など）においては、欠番の場合は処理を飛ばすか、あるいは代表画面データの作成順に番号を付けておき、番号順に昇順に処理する処理を降順に処理することで対応するようにする。
【００９３】
処理ポインタｎが１でない場合（Ｓ９０３：Ｎｏ）、ｎ番目の画面データを処理中の画面データとし、画面データ格納部１２２からｎ−１番目の画面データを読み出し（Ｓ９０５）、ｎ番目の画面データからｎ−１番目の画面データを差し引いて差分を算出する（Ｓ９０６）。差分がない場合（Ｓ９０７：Ｎｏ）、ｎ番目の画面データとｎ−１番目の画面データが全く同一であるということであり、処理ポインタｎを１つ進めて（Ｓ９０８）、ステップＳ９０３に戻る。
【００９４】
差分がプラスの場合（Ｓ９０９：Ｙｅｓ）、ｎ番目の画面データは、ｎ−１番目の画面データに何かが書き加えられて生成されたということであり、差分部分のブロック内の画像が空となる画面（ｍ）まで処理ポインタｎを進めてｎ＝ｍとし（Ｓ９１０）、ｎ＋１番目の画面データがあればｎ＋１番目の画面データから差分部分のブロック画像を削除して代表画面とし、代表画面格納部１２６に格納して（Ｓ９１１）、ステップＳ９０３に戻る。
【００９５】
この処理のイメージを図３１に示す。オリジナル画面２９０〜２９３は、縦書きタイプのブロック検出処理によってブロック化されている。オリジナル画面２９０が最新の画面データであり、オリジナル画面２９３が図３１に示されている中で最も古い画面データである。オリジナル画面２９０は、最新の画面データなので、ステップＳ９０１で代表画面データ２９６と判定され、オリジナル画面２９０とオリジナル画面２９１との差分がステップＳ９０５で計算される。図３１に示す例では、差分はプラスとなるため、差分が含まれるブロック２９４の部分が空となるオリジナル画面２９３まで処理ポインタを進める。
【００９６】
オリジナル画面２９３の次の画面データ（オリジナル画面２９２）が存在するため、オリジナル画面２９２からブロック２９５を削除した画像を代表画面データ２９７とする。ステップＳ９１１において、画面（ｎ＋１）から差分部分のブロックを削除することにより、差分部分のブロックが書き加えられる前の状態を代表画面データとすることができるようになる。
【００９７】
差分がマイナスの場合（Ｓ９１２：Ｙｅｓ）、ｎ番目の画面データは、ｎ−１番目の画面データの一部が消去されているということであり、ｎ番目の画面データを代表画面データとして代表画面格納部１２６に格納し（Ｓ９１３）、差分がマイナスとならない画面データまで処理ポインタｎを進め（Ｓ９１４）、ステップＳ９０３に戻る。
【００９８】
差分にプラスとマイナスが混在している場合（Ｓ９１５：Ｙｅｓ）、ｎ番目の画面データは、ｎ−１番目の画面データに何かが書き加えられると共に、一部分が消去されているということであると考えられ、差分がない部分を抽出して代表画面データとし（Ｓ９１６）、処理ポインタｎを１つ進めて（Ｓ９１７）、ステップＳ９０３に戻り、処理ポインタｎが１であれば最初の画面と判断し、これを代表画面として代表画面格納部１２６に格納して処理を終了する。
【００９９】
なお、上記した実施形態では、ダイジェスト作成装置１００は、ダイジェスト表示部１１３を有するが、他の形態として、ダイジェスト表示部１１３は、ダイジェスト作成装置１００とは別の装置として構成されていてもよい。
【図面の簡単な説明】
【０１００】
【図１】本発明の一実施形態に係るダイジェスト作成システム１０の構成を例示するシステム構成図である。
【図２】画面データ格納部１２２に格納されるデータ構造を例示する図である。
【図３】タイプ判別処理を例示するフローチャートである。
【図４】その他のタイプと判定される場合の板書例を例示する概念図である。
【図５】縦書きタイプと判定される場合の板書例を例示する概念図である。
【図６】横書きタイプと判定される場合の板書例を例示する概念図である。
【図７】タイプ判別処理の他の例を示すフローチャートである。
【図８】縦書きタイプのブロック検出・代表画面生成処理を例示するフローチャートである。
【図９】縦書きタイプのブロック検出・代表画面生成処理を例示するフローチャートである。
【図１０】縦書きタイプの板書において代表画面が生成される過程を説明するための概念図である。
【図１１】代表画面格納部１２６に格納されるデータ構造を例示する図である。
【図１２】横書きタイプのブロック検出・代表画面生成処理を例示するフローチャートである。
【図１３】横書きタイプのブロック検出・代表画面生成処理を例示するフローチャートである。
【図１４】横書きタイプの板書において代表画面が生成される過程を説明するための概念図である。
【図１５】横書きタイプの板書において代表画面が生成される過程を説明するための概念図である。
【図１６】横書きタイプの板書において代表画面が生成される過程を説明するための概念図である。
【図１７】横書きタイプの板書において代表画面が生成される過程を説明するための概念図である。
【図１８】横書きタイプの板書において生成された代表画面を例示する図である。
【図１９】横書きタイプの板書において処理中の行がブロックに統合される過程を説明するための概念図である。
【図２０】その他のタイプのブロック検出・代表画面生成処理を例示するフローチャートである。
【図２１】その他のタイプのブロック検出・代表画面生成処理を例示するフローチャートである。
【図２２】ダイジェスト作成処理を例示するフローチャートである。
【図２３】ダイジェスト作成処理を例示するフローチャートである。
【図２４】ダイジェスト構成データ格納部１３２に格納されるデータ構造を例示する図である。
【図２５】ダイジェスト表示処理を例示するフローチャートである。
【図２６】他の形態における縦書きタイプのブロック検出処理を例示するフローチャートである。
【図２７】行検出過程を説明するための概念図である。
【図２８】見出しの割り当て過程を例示する概念図である。
【図２９】ブロックの統合過程を例示する概念図である。
【図３０】他の形態における縦書きタイプの代表画面生成処理を例示するフローチャートである。
【図３１】他の形態において代表画面が生成される過程を説明するための概念図である。
【符号の説明】
【０１０１】
１０・・・ダイジェスト作成システム、１００・・・ダイジェスト作成装置、１１０・・・入力装置、１１１・・・表示装置、１１２・・・電子黒板制御部、１１３・・・ダイジェスト表示部、１２０・・・データ作成部、１２１・・・画面取込部、１２２・・・画面データ格納部、１２３・・・タイプ判別部、１２４・・・ブロック検出部、１２５・・・代表画面生成部、１２６・・・代表画面格納部、１３０・・・ダイジェスト作成部、１３１・・・重要度割当部、１３２・・・ダイジェスト構成データ格納部
【技術分野】
【０００１】
本発明は、電子黒板を使用した講義や会議などにおいて、手書きの板書の過程を保存し、板書画面のダイジェストを作成して表示する技術に関する。
【背景技術】
【０００２】
近年、ディスプレイ技術の向上により、プラズマディスプレイや液晶ディスプレイなどの薄型大画面ディスプレイが普及し始めている。薄型大画面ディスプレイの実現により、従来の黒板やホワイトボードの代わりに、ディスプレイに表示した資料や白紙のボードにマウスやキーボード、デジタルペンを用いて書き込みを行ったりしながら会議や講義を行うことが可能となった。このようなデジタル技術を利用した電子黒板では、表示した資料や書き込まれた内容をコピーするなどして、容易に再利用できるという利点がある。
【０００３】
例えば、特許文献１には板書内容と映像・音声を意味的に構造化された形で記憶し、領域を指定するとその領域に対応した映像・音声を再生する装置が記載されている。この装置によれば、会議や講義の終了後に編集を行うことなく、板書部分と発声説明部分とを同時に視聴することで、会議や講義を再現することができる。
【０００４】
また、非特許文献１には、電子黒板ではなく従来の黒板を使用し、講義映像から講義者ならびに板書領域を抽出し、抽出した板書領域をブロック分割し、ブロック領域のみを切り出して記録・保存する手法が記載されている。具体的には、一定時間板書領域に大きな変化がなければ、それらを一つの矩形で囲み（これを板書矩形とする）、分割条件１：現在の板書矩形が黒板所の上方にあり、板書ブロックは黒板の下方まで続いている、分割条件２：現在の板書矩形は板書ブロックと横方向に大きく離れている、という条件を満たすファジールールを作成し、ルールに従ってブロックの分割を行う。
【０００５】
【特許文献１】特開２００５−２８４４９０号公報
【非特許文献１】大西 他２名「講義映像における板書領域のブロック分割とその応用」、電子情報津新学会論文誌、Ｖｏｌ．Ｊ８３−Ｄ−Ｉ Ｎｏ．１１，ｐｐ．１１８７−１１９５，２０００年１１月
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記の特許文献１に記載の発明は、位置指定装置と二次元表示装置とが離れている時間が所定時間以内のうちに書かれた線分を一つのまとまりとして判断するが、文字を書く速さは人それぞれで異なる場合が多く、予め定め固定的に定められたパラメータのもとでは、文字データを意味のある適切なまとまりにすることができない場合がある。また、上記の非特許文献１では、横書きの板書について開示されているが、縦書きの板書の場合の処理については開示されていない。
【０００７】
また、講義等の板書を、時間の経過と共に、完成された板書から構成される板書のダイジェストとして閲覧できれば、板書を効率よく利用することができ便利である。しかし、板書のダイジェストを作成する方法については、上記の特許文献１または非特許文献１には、記載も示唆もされていない。
【０００８】
本発明は上記事情を鑑みてなされたものであり、本発明の目的は、板書のダイジェストを作成することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、板書の画面を一定時間間隔でキャプチャし、キャプチャされた画面の描画部分を囲む矩形の形と大きさに応じて文字方向のタイプを縦書き、横書き、その他のタイプに判別し、判別された文字方向のタイプに応じて異なる方法を用いて、板書画面の意味的な構造を判別して領域をブロックに分割し、ブロックが完成されたと推測される画面を時系列に編成し、編成された画面をダイジェストとして表示する。
【００１０】
例えば、本発明の第１の態様は、板書のダイジェストを作成するダイジェスト作成装置であって、板書の画面を随時取り込む画面取込手段と、取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、板書を異なるタイプに判別するタイプ判別手段と、判別されたそれぞれのタイプ別に、板書内の図形のまとまりをブロック化するブロック検出手段と、板書画面内のブロックが完成する都度、未完成のブロックを削除した板書画面である代表画面を生成する代表画面生成手段と、代表画面内に含まれる画面に基づいて、当該代表画面に重要度を割り当てる重要度割当手段と、それぞれの代表画面を、割り当てられた重要度が高いものほど長く表示する表示手段とを備えることを特徴とするダイジェスト作成装置を提供する。
【００１１】
また、本発明の第２の態様は、板書のダイジェストを作成するダイジェスト作成装置を制御するプログラムであって、ダイジェスト作成装置を、板書の画面を随時取り込む画面取込手段、取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、板書を異なるタイプに判別するタイプ判別手段、判別されたそれぞれのタイプ別に、板書内の図形のまとまりをブロック化するブロック検出手段、板書画面内のブロックが完成する都度、未完成のブロックを削除した板書画面である代表画面を生成する代表画面生成手段、代表画面内に含まれる画面に基づいて、当該代表画面に重要度を割り当てる重要度割当手段、およびそれぞれの代表画面を、割り当てられた重要度が高いものほど長く表示する表示手段として機能させることを特徴とするプログラムを提供する。
【００１２】
また、本発明の第３の態様は、板書のダイジェストを作成するダイジェスト作成装置におけるダイジェスト作成方法であって、ダイジェスト作成装置は、板書の画面を随時取り込む画面取込ステップと、取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、板書を異なるタイプに判別するタイプ判別ステップと、判別されたそれぞれのタイプ別に、板書内の図形のまとまりをブロック化するブロック検出ステップと、板書画面内のブロックが完成する都度、未完成のブロックを削除した板書画面である代表画面を生成する代表画面生成ステップと、代表画面内に含まれる画面に基づいて、当該代表画面に重要度を割り当てる重要度割当ステップと、それぞれの代表画面を、割り当てられた重要度が高いものほど長く表示する表示ステップとを実行することを特徴とするダイジェスト作成方法を提供する。
【発明の効果】
【００１３】
本発明によれば、板書のダイジェストを自動的に作成して表示できるようになるため、板書の繰り返し利用が可能となり、休み時間や授業の導入時などに前回の授業のダイジェストを表示することによって、教師の手間が少なく、授業の導入や復習に役立てることができるようになると共に、重要画面を繰り返し表示することによって、生徒に学習内容を思い出させ、知識を定着させることができるという効果がある。
【発明を実施するための最良の形態】
【００１４】
以下に、本発明の実施の形態について説明する。
【００１５】
図１は、本発明の一実施形態に係るダイジェスト作成システム１０の構成を例示するシステム構成図である。ダイジェスト作成システム１０は、入力装置１１０、表示装置１１１、およびダイジェスト作成装置１００を備える。ダイジェスト作成装置１００は、電子黒板制御部１１２、データ作成部１２０、ダイジェスト作成部１３０、およびダイジェスト表示部１１３を有する。
【００１６】
電子黒板制御部１１２は、デジタルペンやマウス等の入力装置１１０から取り込んだ描画情報を、表示装置１１１に表示する電子黒板の基本機能を備えている。本実施形態では、ダイジェスト作成装置１００は、電子黒板制御部１１２を有するが、他の形態として、電子黒板制御部１１２は、ダイジェスト作成装置１００とは別個に実現され、電子黒板への描画画面あるいは描画座標情報をデータ作成部１２０へ入力する形態で実現することも可能である。
【００１７】
データ作成部１２０は、表示装置１１１に表示された板書画面をモニタリングして板書の区切りとなる代表画面を作成する。ダイジェスト作成部１３０は、代表画面格納部１２６内の代表画面データを用いてダイジェスト構成データを作成する。ダイジェスト表示部１１３は、ダイジェスト作成部１３０によって作成されたダイジェスト構成データを用いて、板書のダイジェストを表示する。
【００１８】
次に、データ作成部１２０内の詳細構成について説明する。データ作成部１２０は、画面取込部１２１、画面データ格納部１２２、タイプ判別部１２３、ブロック検出部１２４、代表画面生成部１２５、および代表画面格納部１２６を備える。
【００１９】
画面取込部１２１は、電子黒板制御部１１２によって表示装置１１１に描画された画面データを取り込んで画面データ格納部１２２に保存する。画面データ格納部１２２は、例えば図２に示すように、画面取込部１２１によって取り込まれた順番に割り当てた番号１２２０に対応付けて、取り込んだ画面データ１２２１を格納する。
【００２０】
タイプ判別部１２３は、画面データ格納部１２２内に保存された板書の画面データを用いて、当該板書が縦書きのタイプ、横書きのタイプ、または図表等のその他のタイプのいずれのタイプかを判別する。ここで、タイプ判別部１２３によるタイプ判別処理について、図３を参照しながら説明する。
【００２１】
まず、タイプ判別部１２３は、カウンタｋ＝０としてカウンタの初期化を行い（Ｓ１００）、画面データ格納部１２２から画面データを読み込む（Ｓ１０１）。そして、前回読み込んだ画面データとの差分画面において描画領域を囲む矩形を抽出し（Ｓ１０２）、描画領域がなく、矩形領域が抽出できない場合（Ｓ１０３：Ｎｏ）は、ステップＳ１０１に戻って次の画面データを読み込む。
【００２２】
ここで、矩形領域は、画像データの画素をスキャンし、白紙でない画素の横軸の最小値と最大値、縦軸の最小値、最大値を検出することで抽出することができる。入力装置から取り込んだデータが、画像データではなくストロークデータ（ペンダウンからペンアップまでに採集されるペン座標の系列）として保存される場合、描画領域を囲む矩形は、画像データの場合と同様に座標の横軸の最小値と最大値、縦軸の最小値、最大値を検出することで抽出可能である。
【００２３】
矩形領域が抽出された場合（Ｓ１０３：Ｙｅｓ）は、矩形の縦横比ｒ（ｋ）＝（矩形の縦最大値−縦最小値）／（矩形の横最大値−横最小値）を算出する（Ｓ１０４）。ｒ（ｋ）＞１の場合は縦長の矩形、ｒ（ｋ）＜１の場合は横長の矩形となる。従って、矩形が縦長であれば縦書きタイプ、横長であれば横書きタイプ、文字を書く場合と図や表を描く場合では、一定時間に描画される矩形の大きさが異なると考え、矩形領域の大きさが所定値以上の場合は図や表などその他タイプと分類する。しかし、書き始めの場合は特徴が現れない可能性が高いため、数枚の画像の描画領域を囲む矩形領域の縦横比を計算し、ｒ（ｋ）の値の変化によってタイプの判別を行う。
【００２４】
次にステップＳ１０５においてｋ＝ｋ＋１に更新し、ｋが所定の値ａ（例えば５）に達していない場合（Ｓ１０６：Ｎｏ）は、ステップＳ１０１に戻り、次の画像データを読み込む。ｋが所定の値ａ（例えば５）に達した場合（Ｓ１０６：Ｙｅｓ）、ｒ（０）からｒ（ａ）の中で矩形領域の横あるいは縦の長さが所定値以上（例えば画面の縦または横の長さの半分以上）のものがある場合（Ｓ１０７：Ｙｅｓ）は、図や表が描かれたと考え、その他のタイプと判定して（Ｓ１０８）終了する。
【００２５】
図４は、図形が描かれた板書の一例を示す。図４（ａ）は、図形が描かれた板書のオリジナル画面２００を例示し、図４（ｂ）は、前のオリジナル画面２００との差分２０１を例示している。矩形領域２０２の縦または横の長さが所定値以上であるため、タイプ判別部１２３は、図４に示す板書をその他のタイプと判定する。
【００２６】
ｒ（０）からｒ（ａ）の中で矩形領域の横あるいは縦の長さが所定値以上のものがない場合（Ｓ１０７：Ｎｏ）、ｒ（０）からｒ（ａ）までの変化を解析し、ｒ＞１．０が連続している場合（Ｓ１０９：Ｙｅｓ）は、縦書きタイプと判定して（Ｓ１１０）終了する。図５は、縦書きの板書の一例を示す。図５（ａ）は、オリジナル画面２０５を例示し、図５（ｂ）は、前のオリジナル画面２０５との差分２０６を例示している。矩形領域２０７は、縦が横よりも長いので、このような矩形領域２０７が複数回連続した場合に、タイプ判別部１２３は、図５に示す板書を縦書きタイプと判定する。
【００２７】
ステップ１０９においてＮｏと判定した場合、ｒ（０）からｒ（ａ）までの変化を解析し、ｒ＜１．０が連続している場合（Ｓ１１１：Ｙｅｓ）は、横書きタイプと判定して（Ｓ１１２）終了する。図６は、横書きの板書の一例を示す。図６（ａ）は、オリジナル画面２１０を例示し、図６（ｂ）は、前のオリジナル画面２１０との差分２１１を例示している。矩形領域２１２は、縦が横よりも短いので、このような矩形領域２１２が複数回連続した場合に、タイプ判別部１２３は、図６に示す板書を横書きタイプと判定する。ステップ１１１においてＮｏと判定した場合、その他のタイプと判定して（Ｓ１１３）終了する。
【００２８】
ｒの連続性の判定方法については、上記の他にもいくつかの方法が考えられる。例えばｒの値の単調増加／減少が複数回現れることを判定基準にする方法や、書き始めと判定できる初回は除いて単調増加／減少が途切れたときに改行が行われたと考え、改行前の矩形の縦横比を用いて判定する方法、ｒ＞１．０またはｒ＜１．０が複数回続けて得られた場合の値を用いて判定する方法等が考えられる。
【００２９】
このように、縦書き／横書き／その他という板書のタイプを判別してからブロック化の処理を行うことにより、ブロック化の精度を高めることができるため、ダイジェスト作成の精度を上げることができる。
【００３０】
また、タイプ判別部１２３によるタイプ判別処理は、上記した方法に限られず、例えば図７に示すような簡易的な方法によっても実現することができる。図７に示す例では、タイプ判別部１２３は、まず、画面データ格納部１２２から番号１の画面データを読み込む（Ｓ２００）。オンライン型の場合は画面データ格納部１２２にデータが書き込まれてから図７に示す処理を開始するか、あるいは画面データ格納部１２２内に書き込まずに画面取込部１２１からメモリ上で画面データを受け取る形態でも実現可能である。
【００３１】
次に、前回読み込んだ画面データとの差分画面において描画領域を囲む矩形を抽出し（Ｓ２０１）、矩形領域が抽出できない場合（Ｓ２０２：Ｎｏ）、ステップＳ２００に戻って次の画面を読み込む。矩形領域が抽出できた場合（Ｓ２０２：Ｙｅｓ）、描画領域の左上の座標が電子黒板の画面の左上に位置し、かつ、矩形領域が横長である場合（Ｓ２０３：Ｙｅｓ）には、横書きタイプと判定し（Ｓ２０４）、描画領域の右上の座標が電子黒板の画面の右上に位置し、かつ、矩形領域が縦長である場合（Ｓ２０５：Ｙｅｓ）には、縦書きタイプと判定し（Ｓ２０６）、それ以外の場合にはその他のタイプと判定する（Ｓ２０７）。この判定では、横書きの場合が左上から書き始め、縦書きの場合は右上から書き始めるという慣習をプログラムに反映させている。
【００３２】
図１の説明に戻り、タイプ判別部１２３によってタイプ判別が行われると、ブロック検出部１２４および代表画面生成部１２５は、判別されたタイプ別に、ブロック検出・代表画面生成処理を実行して代表画面を生成し、生成した代表画面を代表画面格納部１２６に格納する。
【００３３】
タイプ判別部１２３によって縦書きタイプと判定された場合、ブロック検出部１２４および代表画面生成部１２５は、図８および図９に示すようなブロック検出・代表画面生成処理を実行する。本方式では、画面データ格納部１２２に画面データが取り込まれる度に処理を開始することが可能なため、画面データ格納部１２２に全ての画面を保存する必要がないという利点がある。ブロック検出部１２４は、まず、差分フラグをＯＦＦにし（Ｓ３００）、板書が終了している場合には（Ｓ３０１：Ｙｅｓ）、最新画面（最終画面）を代表画面として代表画面格納部１２６に格納する（Ｓ３０２）。そして、代表画面の生成が終了した旨をダイジェスト作成部１３０内の重要度割当部１３１に通知して（Ｓ３０３）終了する。
【００３４】
一方、板書が終了していない場合（Ｓ３０１：Ｎｏ）、画面データ格納部１２２から最新の画面データを読み込み（Ｓ３０４）、前の画面データとの差分（最新の画面データから前の画面デ−タを引く）を計算し（Ｓ３０５）、差分の値に応じて処理すべきステップに進む。
【００３５】
差分がない場合（Ｓ３０６：Ｎｏ）、ステップＳ３０１に示した処理を実行する。差分がマイナスの場合（Ｓ３０７：Ｙｅｓ）、差分フラグがＯＮであれば（Ｓ３０８：Ｙｅｓ）ステップＳ３０１に示した処理を実行する。差分フラグがＯＦＦの場合（Ｓ３０８：Ｎｏ）、前の画面を代表画面として（Ｓ３０９）、差分フラグをＯＮにし（Ｓ３１０）、ステップＳ３０１に示した処理を実行する。
【００３６】
差分にプラスとマイナスが混在している場合（Ｓ３１１：Ｙｅｓ）、差分フラグがＯＮであれば（Ｓ３１２：Ｙｅｓ）ステップＳ３０１に示した処理を実行する。差分フラグがＯＦＦであれば（Ｓ３１２：Ｎｏ）、差分部分を消去して代表画面として代表画面格納部１２６に格納し（Ｓ３１３）、差分フラグをＯＮにして（Ｓ３１４）ステップＳ３０１に示した処理を実行する。
【００３７】
差分がプラスの場合（Ｓ３１５：Ｙｅｓ）、差分フラグをＯＦＦにし（Ｓ３１６）、差分部分の矩形（差分矩形）の大きさを計算する。矩形領域の大きさは、縦、横のいずれかが規定の長さよりも長い場合に矩形領域の大きさが所定値以上であると判定する。差分矩形の大きさが所定値以上であると判定された場合（Ｓ３１７：Ｙｅｓ）、図２０および２１において後述する、その他のタイプのブロック検出・代表画面生成処理を実行し（Ｓ３１８）、ステップＳ３０１に示す処理を実行する。ステップＳ３１８におけるこの処理は、板書の途中で図表などが描かれた場合に対応する処理である。
【００３８】
差分矩形の大きさが所定値未満であると判定された場合（Ｓ３１７：Ｎｏ）、処理中のブロックがあるか否かを判定する（Ｓ３１９）。処理中のブロックがない場合（Ｓ３１９：Ｎｏ）、差分矩形を新規ブロックとして（Ｓ３２０）ステップＳ３０１に示した処理を実行する。処理中のブロックがある場合（Ｓ３１９）、差分矩形の位置が処理中のブロックの矩形から横方向に閾値を超える場合には（Ｓ３２１：Ｙｅｓ）改行されたと判定し、差分矩形と処理中のブロックの矩形上部との座標値を比較し、縦座標値の差分の絶対値が閾値を超えているか否かを判定する（Ｓ３２２）。ここでは、差分矩形と処理中ブロックの書き出し位置の座標を比較し、書き出し位置がずれている部分をブロック分割するための処理である。従って閾値は電子黒板に書かれる一文字の大きさ程度が妥当だと考えられる。
【００３９】
差分矩形の位置が処理中のブロックの矩形から横方向に閾値を超えない場合（Ｓ３２１：Ｎｏ）、改行がなかったと判定し、差分部分を処理中のブロックに統合し（Ｓ３２３）、ステップＳ３０１に戻る。また、縦座標値の差分の絶対値が閾値を超えていない場合も（Ｓ３２２：Ｎｏ）、差分矩形と処理中ブロックの書き出し位置は同等の位置であると考えられるため、差分部分を処理中のブロックに統合し（Ｓ３２３）、ステップＳ３０１に戻る。
【００４０】
図１０は、ブロックの検出過程および代表画面の生成過程を説明するための概念図である。図１０（ａ）はオリジナル画面２００を例示し、図１０（ｂ）は差分２２１を例示し、図１０（ｃ）は生成された代表画面２２４を例示している。図１０（ｂ）に示す例では、処理中のブロック２２３と矩形領域２２２との間隔ｄ１が所定値以上であるので、矩形領域２２２内の文字は改行されたものと判定される。
【００４１】
縦座標値の差分の絶対値が閾値を超えている場合（Ｓ３２２：Ｙｅｓ）、差分矩形と処理中ブロックの書き出し位置は異なる位置であると考えられるため、ブロックの書き出し位置と同じ位置の行を差分矩形中から抽出するために、差分部分の縦行を抽出し（Ｓ３２４）、行の開始位置とブロックの開始位置との差分が絶対値を越える行以前の行をブロックに統合し（Ｓ３２５）、処理中のブロックのブロック化を完了する（Ｓ３２６）。
【００４２】
次に、ブロックに統合しなかった行を矩形で囲む新規ブロックを生成し（Ｓ３２７）、新規ブロックと前ブロックの位置を比較し、新規ブロックが前ブロックよりも高位置にある場合には（Ｓ３２８：Ｙｅｓ）、見出しに相当する行が書かれたと判定し、新規ブロック部分を除いた画面を代表画面として代表画面格納部１２６に格納し（Ｓ３２９）、ステップＳ３０１に戻る。新規ブロックが前ブロックよりも低位置にある場合には（Ｓ３２８：Ｎｏ）、見出しに続く部分が書かれたと判定して代表画面は生成せずにステップＳ３０１に戻る。
【００４３】
図１０（ｂ）に示す例では、矩形領域２２２が新規ブロックと判定され、新規ブロックの書き出し位置が前のブロック２２３の書き出し位置よりもｄ１だけ上方に位置しており、ｄ１が所定値よりも大きいため、図１０（ｃ）に示すように、矩形領域２２２に対応する新規ブロックが削除された画面が代表画面２２４として生成される。代表画面格納部１２６は、例えば図１１に示すように、生成した代表画面データ１２６３、当該代表画面データのタイプ１２６２、および当該代表画面データを生成する直前に読み込んだ画面データの番号であるオリジナル画面番号１２６１を、代表画面毎に割り当てた代表画面番号１２６０に対応付けて格納する。
【００４４】
また、タイプ判別部１２３によって横書きタイプと判定された場合、ブロック検出部１２４および代表画面生成部１２５は、図１２および図１３に示すようなブロック検出・代表画面生成処理を実行する。ブロック検出部１２４は、まず、差分フラグをＯＦＦにし（Ｓ４００）、板書が終了した場合には（Ｓ４０１：Ｙｅｓ）、最新画面を代表画面として代表画面格納部１２６に格納する（Ｓ４０２）。そして、代表画面の生成が終了した旨をダイジェスト作成部１３０内の重要度割当部１３１に通知して（Ｓ４０３）終了する。
【００４５】
一方、板書が終了していない場合（Ｓ４０１：Ｎｏ）、最新画面を読み込み（Ｓ４０４）、最新画面と前の画面との差分を計算し（Ｓ４０５）、差分がない場合は（Ｓ４０６：Ｎｏ）、最新画面と前の画面が全く同じということであり、ステップ４０１へ戻る。差分がマイナスの場合は（Ｓ４０７：Ｙｅｓ）、前の画面のある部分が消去されているということであり、差分フラグがＯＮの場合は（Ｓ４０８：Ｙｅｓ）ステップＳ４０１に戻り、差分フラグがＯＦＦの場合は（Ｓ４０８：Ｎｏ）、前の画面を代表画面として代表画面格納部１２６に格納し（Ｓ４０９）、差分フラグをＯＮにして（Ｓ４１０）ステップＳ４０１に戻る。
【００４６】
差分にプラスとマイナスが混在している場合は（Ｓ４１１：Ｙｅｓ）、前の画面に何かが書き加えられるとともに一部分が消去されているということであると考えられ、差分フラグがＯＮの場合は（Ｓ４１２：Ｙｅｓ）ステップＳ４０１に戻り、ＯＦＦの場合は（Ｓ４１２：Ｎｏ）、差分部分を消去して代表画面とし、代表画面格納部１２６に格納して（Ｓ４２３）、差分フラグをＯＮにして（Ｓ４１４）ステップＳ４０１に戻る。
【００４７】
差分がプラスの場合は（Ｓ４１５：Ｙｅｓ）、前の画面に何かが書き加えられているということであり、差分フラグをＯＦＦにし（Ｓ４１６）、差分部分を囲む矩形の縦あるいは横の長さがある一定の長さ以上の場合には（Ｓ４１７：Ｙｅｓ）、図表などが描かれたとみなして、その他のブロック検出・代表画面生成処理を実行して（Ｓ４１８）、その後にステップＳ４０１に戻る。
【００４８】
差分部分を囲む矩形の縦あるいは横の長さがある一定の長さ未満の場合には（Ｓ４１７：Ｎｏ）、差分部分の横方向の行を抽出し（Ｓ４１９）、抽出した行の上から順番に対象とする行を選択するために、未選択の行の最上部の行を抽出し（Ｓ４２０）、処理の対象となっている行があるか否かを判断する（Ｓ４２１）。処理中の行がなければ（Ｓ４２１：Ｎｏ）、抽出した行を処理中の行として（Ｓ４２２）ステップＳ４３４へ進む。
【００４９】
処理中の行がある場合は（Ｓ４２１：Ｙｅｓ）、抽出された行と処理中の行の縦方向の位置を比較して同じ行が否かを判断し（Ｓ４２３）、抽出された行と処理中の行が同じ行であると判断した場合には（Ｓ４２３：Ｙｅｓ）、処理中の行に抽出された行を追加して（Ｓ４２４）ステップＳ４３４へ進む。
【００５０】
抽出された行と処理中の行が異なる行であると判断した場合には（Ｓ４２３：Ｎｏ）、処理中のブロックがあるか否かを判断し（Ｓ４２５）、処理中のブロックがないと判断された場合は（Ｓ４２５：Ｎｏ）、現在処理中の行を新規ブロックとし（Ｓ４２６）、抽出された行を新規に処理中の行として（Ｓ４２７）ステップＳ４３４へ進む。
【００５１】
処理中のブロックがあると判断された場合は（Ｓ４２５：Ｙｅｓ）、処理中の行を囲む矩形領域とブロックの横座標の重なりを計算し、重なりが所定値以上の場合は（Ｓ４２８：Ｙｅｓ）、処理中の行が同じブロックにあると考え、処理中の行の矩形領域をブロックに追加し（Ｓ４２９）、抽出した行を新たな処理中の行にして（Ｓ４３０）ステップＳ４３４へ進む。
【００５２】
抽出した行を囲む矩形領域とブロックの横座標の重なりが所定値未満の場合には（Ｓ４２８：Ｎｏ）、処理中のブロックのブロック化処理を完了し（Ｓ４３１）、抽出した行を新たな処理中の行とすると共に、処理中の行を新規ブロックとし（Ｓ４３２）、処理中の行と未処理の行を除いた画面を代表画面として代表画面格納部１２６に格納する（Ｓ４３３）。そして、次の行がある場合には（Ｓ４３４：Ｙｅｓ）ステップＳ４２０に戻って次の行に対する処理を繰り返す。
【００５３】
処理中の行を囲む矩形領域とブロックの横座標の重なりを判断する閾値は、行やブロックの長さが推定できないため、例えば処理中の行の８割以上が重なっているなどのように、座標値やピクセル値で表すよりも重なりの割合で表す方が適していると考えられる。
【００５４】
図１４〜１７に横書きの場合のブロック検出過程を例示する。図１４（ａ）〜１７（ａ）には、板書画面の左から右へと時間の経過に伴ってキャプチャされたオリジナル画面が例示されている。図１４（ｂ）〜１７（ｂ）には、差分画面において抽出された行、処理中の行が例示されている。図１４（ｃ）〜１７（ｃ）には、処理中の行が例示されている。
【００５５】
例えば、図１４（ａ）のオリジナル画面２３０は、前の画面がないため、図１４（ｂ）に示す前の画面との差分２３１はプラスである。また、処理中の行がないため、図１４（ｃ）に示すように、差分２３１において抽出された行２３２が処理中の行２３４となる。
【００５６】
次に、図１５（ｂ）の差分２４１では、抽出された行が現在処理中の行と同じ行である（縦座標がほとんど同じことから同じ行と判断可能である）ため、図１５（ｂ）において抽出された行２４２は、図１５（ｃ）において処理中の行２４４に追加される。
【００５７】
次に、図１６（ｂ）の差分２５１では、まず、一行目の行２５２を抽出し、図１５（ｂ）の差分２４１の場合と同様に、図１６（ｃ）において処理中の行２５５に追加し、二行目の行２５３の処理では、処理中の行２５５と異なると判断し、処理中のブロックがないため、図１６（ｄ）に示すように、処理中の行２５５を新規ブロック２５８とし、抽出された二行目を処理中の行２５６とする。
【００５８】
次に、図１７（ｂ）の差分２６１において抽出された行２６２と、図１６（ｄ）において生成されたブロック２５８の横座標の重なりを調べると、重なりが所定値未満であるため、処理中のブロック２５８のブロック化を完了し、抽出された行を新たな処理中の行２６６とし、また処理中の行２６６を新規ブロックとし、処理中の行２６６を除いた画面を、図１８に示すように代表画面２７０として格納する。
【００５９】
以上のようにして、ブロックを検出して代表画面を生成する。また、図１９に示すように、抽出された行２７２とブロック２７１との横方向の重なり２７２が所定値以上の場合は、処理中行の行２７２をブロック２７１に追加して新たなブロック２７４とするブロックと行の重なりを判定する機能を設けることにより、複数のブロックの下にブロックが存在する場合のように、従来では黒板の下方まで描かれない場合にはブロック分割が不可能であった場合にも、ブロックの検出が可能となり、適切な画面を代表画面として生成することが可能となる。
【００６０】
また、タイプ判別部１２３によってその他のタイプと判定された場合、ブロック検出部１２４および代表画面生成部１２５は、図２０および図２１に示すようなブロック検出・代表画面生成処理を実行する。その他のタイプは図や表などを中心とした板書である。図や表の場合は、差分がない画面がしばらく続いた場合を代表画面とし、また、板書においては図表の中に文字が書かれる場合も多いため、文字が書かれたと推測できる部分には、縦書き／横書きタイプのブロック検出・代表画面生成プログラムを適用する。
【００６１】
ブロック検出部１２４は、まず、差分フラグをＯＦＦにし（Ｓ５００）、板書が終了した場合には（Ｓ５０１：Ｙｅｓ）、最新画面を代表画面として代表画面格納部１２６に格納する（Ｓ５０２）。そして、代表画面の生成が終了した旨をダイジェスト作成部１３０内の重要度割当部１３１に通知して（Ｓ５０３）終了する。
【００６２】
一方、板書が終了していない場合（Ｓ５０１：Ｎｏ）、最新画面を読み込み（Ｓ５０４）、最新画面と前の画面との差分を計算し（Ｓ５０５）、差分がない場合は（Ｓ５０６：Ｎｏ）、差分フラグがＯＦＦの否か判定し（Ｓ５０７）、ＯＦＦの場合は（Ｓ５０７：Ｙｅｓ）カウンタｉを０に初期化すると共に差分フラグをＯＮにし（Ｓ５０８）、ステップＳ５０９に進む。
【００６３】
差分フラグがＯＮの場合は（Ｓ５０７：Ｎｏ）、ｉを１インクリメントして（Ｓ５０９）、ｉが所定値に達した場合には（Ｓ５１０：Ｙｅｓ）、最新画面を代表画面として代表画面格納部１２６に格納し（Ｓ５１１）、ステップＳ５０１に戻る。ここで図表を中心とした板書の場合は、差分がない画面がしばらく続いた場合に代表画面とするという考えをプログラムするために、カウンタｉを用いている。
【００６４】
差分がマイナスの場合は（Ｓ５１２：Ｙｅｓ）、差分フラグがＯＮか否かを判定し（Ｓ５１３）、ＯＮの場合は（Ｓ５１３：Ｙｅｓ）ステップＳ５０１に戻り、差分フラグがＯＦＦの場合は（Ｓ５１３：Ｎｏ）、前の画面を代表画面として代表画面格納部１２６に格納し（Ｓ５１４）、カウンタｉを０に初期化すると共に差分フラグをＯＮにし（Ｓ５１５）、ステップＳ５０１に戻る。
【００６５】
差分にプラスとマイナスが混在している場合は（Ｓ５１６：Ｙｅｓ）、差分フラグがＯＮか否かを判定し（Ｓ５１７）、ＯＮの場合は（Ｓ５１７：Ｙｅｓ）、ステップＳ５０１に戻り、ＯＦＦの場合は（Ｓ５１７：Ｎｏ）、差分部分を消去して代表画面とし、代表画面格納部１２６に格納して（Ｓ５１８）、カウンタｉを０に初期化すると共に差分フラグをＯＮにし（Ｓ５１９）、ステップＳ５０１に戻る。
【００６６】
差分がプラスの場合は（Ｓ５２０：Ｙｅｓ）、差分フラグをＯＦＦにし（Ｓ５２１）、差分部分を囲む矩形領域を抽出し（Ｓ５２２）、抽出した矩形領域の縦あるいは横の長さが所定値以上の場合には（Ｓ５２３：Ｙｅｓ）、図表などが描かれていると判断してステップｓ５０１に戻る。
【００６７】
抽出した矩形領域の縦あるいは横の長さが所定値未満の場合は（Ｓ５２３：Ｎｏ）、文字が書かれた可能性が高いと考え、タイプ判定機能１４２を使用して文字方向のタイプを判別する（Ｓ５２４）。縦書きタイプと判定された場合は（Ｓ５２５：Ｙｅｓ）、図８および図９において説明した縦書きタイプのブロック検出・代表画面生成処理を実行して（Ｓ５２６）、ステップＳ５０１に戻る。横書きタイプと判定された場合は（Ｓ５２７：Ｙｅｓ）、図１２および図１３において説明した横書きタイプのブロック検出・代表画面生成処理を実行し（Ｓ５２８）、ステップＳ５０１に戻る。
【００６８】
このようにして、書き出し部分においてその他のタイプと判定された板書であっても、途中で文字が書かれたと推測できる画面では文字方向を推測して代表画面を生成することにより、授業の流れに適した板書のダイジェストを作成できるようになる。
【００６９】
図１の説明に戻り、次に、ダイジェスト作成部１３０の詳細な構成について説明する。ダイジェスト作成部１３０は、重要度割当部１３１およびダイジェスト構成データ格納部１３２を有する。重要度割当部１３１は、データ作成部１２０によって生成された代表画面のそれぞれに重要度を割り当てる。重要度割当部１３１によって実行されるダイジェスト作成処理を、図２２および図２３に示すフローチャートを用いて説明する。
【００７０】
まず、代表画面格納部１２６から代表画面データを読み込み（Ｓ６００）、カウンタｉを０初期化すると共に、ｎに代表画面データ数を代入する（Ｓ６０１）。そして、カウンタｉがｎ以上の場合は（Ｓ６０２：Ｎｏ）、ダイジェスト作成処理を終了する。
【００７１】
カウンタｉがｎ未満の場合は（Ｓ６０２：Ｙｅｓ）、カウンタｉの値を１進めて（Ｓ６０３）、カウンタｉが１またはｎのいずれかを判定する（Ｓ６０４）。カウンタｉが１またはｎのいずれかである場合（Ｓ６０４：Ｙｅｓ）、ｉ番目の代表画面データの重要度を「高」に設定して（Ｓ６０５）、ステップＳ６０９に進む。１番目とｎ番号の代表画面データは、最初と最後の板書画面であるため、重要度を「高」に設定している。
【００７２】
カウンタｉが１またはｎのいずれでもない場合（Ｓ６０４：Ｎｏ）、ｉ番目の代表画面データに対応するオリジナル番号と、ｉ−１番目の代表画面データに対応するオリジナル番号との差が所定値以上の場合は（Ｓ６０６：Ｙｅｓ）、重要度を「中」に設定し（Ｓ６０７）、そうでない場合は（Ｓ６０６：Ｎｏ）、重要度を「低」に設定し（Ｓ６０８）、ステップＳ６０９へ進む。ここで、オリジナル番号とは、代表画面格納部１２６内のオリジナル画面番号１２６１を表す。
【００７３】
オリジナル番号の差が大きいということは、ある程度の時間が過ぎていると考えられるが、オリジナル番号の差が小さいということは、ｉ番目の代表画面データとｉ＋１番目の代表画面データとの間の時間差が少ないことを意味する。そこで、時間的に近いと推測できる代表画面データの重要度を「低」に設定しておく。ステップＳ６０５、ステップＳ６０７、およびステップＳ６０８で設定された重要度は仮の重要度であり、後述するステップＳ６１４またはステップＳ６２０において修正される場合もある。
【００７４】
ステップＳ６０９において、カウンタｉが１の場合は（Ｓ６０９：Ｙｅｓ）、代表画面データの差分画面Ｘを１番目の代表画面データとし（Ｓ６１１）、そうでない場合は（Ｓ６０９：Ｎｏ）、ｉ番目の代表画面データからｉ−１番目の代表画面データを差し引いた値を差分画面Ｘとする（Ｓ６１０）。
【００７５】
差分がない場合（Ｓ６１２：Ｎｏ）、ステップＳ６０２に戻る。差分がある場合は（Ｓ６１２：Ｙｅｓ）、代表画面データ内に標準色以外の所定の色が使われているか否かを判定し（Ｓ６１３）、使われている場合は（Ｓ６１３：Ｙｅｓ）、ｉ番目の代表画面データの重要度を「高」に設定する（Ｓ６１４）。標準色以外の色が使われているということは、色ペンで文字などが描かれていることであり、重要度の高い画面であると考えられる。
【００７６】
次に、代表画面格納部１２６内の１番目の代表画面データが縦書きタイプの場合は（Ｓ６１５：Ｙｅｓ）、差分画面Ｘの縦方向の線分を抽出する（Ｓ６１６）。横書きタイプと判断された場合は（Ｓ６１７：Ｙｅｓ）、差分画面Ｘの横方向の線分を抽出する（Ｓ６１８）。そして、抽出された線分が所定値以上の長さである場合（Ｓ６１９：Ｙｅｓ）、ｉ番目の代表画面データの重要度を「高」に設定し（Ｓ６２０）、ｉ番目の代表画面データを対応する重要度を、設定された重要度と共にダイジェスト構成データ格納部１３２に格納し（Ｓ６２１）、ステップＳ６０２に戻る。ダイジェスト構成データ格納部１３２は、例えば図２４に示すように、代表画面データ１３２２および重要度１３２１を、代表画面番号１３２０に対応付けたダイジェスト構成データを格納する。
【００７７】
この処理は、重要な語句や部分には下線や二重線を引くことが多いため、線分が抽出された画面は重要と考えられるという前提に基づいている。そこで、ある長さ以上の線分とは、一文字の大きさよりも長い線分であり、一般的な文字の大きさの二文字分くらいの線分が妥当と考えられる。また、重要度は「高」「中」「低」の三段階としたが、文字の大きさなどの重要さを強調する他の要素を検出したり、検出された強調の要素の重なりを重要度に反映するなどして、更に細かい段階に分けることも可能である。
【００７８】
次に、ダイジェスト表示部１１３の詳細な動作について、図２５を参照しながら説明する。ダイジェスト表示部１１３は、ダイジェスト作成部１３０によって生成されてダイジェスト構成データ格納部１３２に格納されたダイジェスト構成データを元にダイジェストを表示する。まず、ダイジェスト表示部１１３は、ダイジェスト構成データ格納部１３２からダイジェスト構成データを読み込み（Ｓ７００）、重要度が「低」の代表画面データ数と、重要度が「中」の代表画面データ数に２を乗じた値と、重要度が「高」の代表画面データ数に３を乗じた値とを加えてｎを算出し（Ｓ７０１）、予め定められたダイジェストの表示時間である総表示時間をｎで割ることにより単位表示時間Ｔを算出する（Ｓ７０２）。
【００７９】
次に、最初の代表画面データを読み込み（Ｓ７０３）、重要度が「高」か否かを判定する（Ｓ７０４）。重要度が「高」である場合（Ｓ７０４：Ｙｅｓ）、対応する代表画面データの表示時間ｔを単位表示時間Ｔの３倍とし（Ｓ７０５）、ステップＳ７０９に進む。重要度が「高」でない場合（Ｓ７０４：Ｎｏ）、重要度が「中」か否かを判定する（Ｓ７０６）。重要度が「中」である場合（Ｓ７０６：Ｙｅｓ）、対応する代表画面データの表示時間ｔを単位表示時間Ｔの２倍とし（Ｓ７０７）、ステップＳ７０９に進む。
【００８０】
重要度が「中」でない場合（Ｓ７０６：Ｎｏ）、対応する代表画面データの表示時間ｔを単位表示時間Ｔとし（Ｓ７０８）、算出した表示時間ｔで対応する代表画面データを表示する（Ｓ７０９）。そして、表示した代表画面データが最後の代表画面データである場合（Ｓ７１０：Ｙｅｓ）、ダイジェスト表示処理を終了する。表示した代表画面データが最後の代表画面データではない場合（Ｓ７１０：Ｎｏ）、次の代表画面データを選択して（Ｓ７１１）、ステップＳ７０４に示した処理を実行する。
【００８１】
以上、本発明の実施の形態について説明した。
【００８２】
上記説明から明らかなように、本発明のダイジェスト作成システムによれば、板書のダイジェストを自動的に作成して表示できるようになるため、板書の繰り返し利用が可能となり、休み時間や授業の導入時などに前回の授業のダイジェストを表示することによって、教師の手間が少なく、授業の導入や復習に役立てることができるようになると共に、重要画面を繰り返し表示することによって、生徒に学習内容を思い出させ、知識を定着させることができる。また、板書の経過を単なる時間の経過ではなく、意味的に整理された形で振り返ることが可能となり、学習の復習や会議のプロセス把握などの能率を高めることができる。
【００８３】
なお、本発明は、上記の各実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【００８４】
図２６は、縦書きタイプのブロック検出処理の他の例を示すフローチャートである。本図に示す処理は、板書が終了したか、またはページが切り替えられた後に、最新の画面データから順に最初の画面データへと時間的に遡る形でブロック検出を行う点が特徴である。最新の画面データはそのページの最終形であり、完成された板書である可能性が高いため、ブロック分割に関する多くの情報が含まれている。そこで最新の画面データを用いてブロック分割の前処理を行う。縦書きの場合は上部に記述される行が見出しの役割をしている可能性高いため、上部から開始する行を検出して見出しとし、その後に続く行はその見出しに従属するブロックであるとの考えに基づいている。
【００８５】
まず、ブロック検出部１２４は、板書終了またはページ切り替えの発生を待ち（Ｓ８００）、板書終了またはページ切り替えが発生すると（Ｓ８００：Ｙｅｓ）、最新の画面データを読み込む（Ｓ８０１）。そして、行抽出処理により縦方向の行を抽出し（Ｓ８０２）、抽出した行毎に、当該行を囲む矩形領域上端の縦座標を抽出する（Ｓ８０３）。
【００８６】
処理のイメージを図２７に示す。行抽出処理は、画像認識の分野で広く用いられている技術であり、例えば、図２７に示すように画面データ内の画素を縦方向に投影することにより、画素が投影されている部分を行として認識する。その他にも、画素成分を連結していき、行を抽出する方法などがある。
【００８７】
次に、縦座標の位置でグループ化を行う（Ｓ８０４）。縦座標の値が近いもの同士でグループ化し、縦座標値が前後のグループと離れているグループから順に３つのグループに分け、上方に位置するグループから順に、「見出し１」、「見出し２」、「見出し３」とする。ステップＳ８０４のグループ分けの処理のイメージを図２８に示す。
【００８８】
次に、同じグループに属する隣り合う行の統合を繰り返し、統合できなくなった行をブロック化する（Ｓ８０５）。そして、「見出し３」と「見出し２」のブロックを統合し、「見出し３」のブロックとその右隣の「見出し２」をブロックに統合する（Ｓ８０６）。ステップＳ８０５と８０６の処理のイメージを図２９に示す。
【００８９】
その後、図３０において後述する縦書きタイプの代表画面生成処理を実行して代表画面データを生成し（Ｓ８０７）、板書終了であれば（Ｓ８０８：Ｙｅｓ）、ブロック検出処理を終了し、板書終了でない場合は（ｓ８０８：Ｎｏ）、ステップＳ８００に戻って処理を続ける。
【００９０】
図３０は、縦書きタイプの代表画面生成処理の他の例を示すフローチャートである。まず、代表画面生成部１２５は、最新画面データを読み込み（Ｓ９００）、最新画面データを代表画面データとして、代表画面番号およびタイプと共に代表画面格納部１２６に格納する（Ｓ９０１）。
【００９１】
次に、処理ポインタｎに画面データ数を代入する（Ｓ９０２）。そして、処理ポインタｎが１の場合は（Ｓ９０３：Ｙｅｓ）、１番目の画面データであると判断して、この画面データを代表画面データとし、代表画面番号を１、オリジナル番号を１、タイプを縦書きとして画面データを代表画面格納部１２６に格納して終了する。
【００９２】
本方式では代表画面データの作成を最新画面（最終画面）から行うため、代表画面格納部１２６の番号を連番で作成することができない。そこで、代表画面番号をオリジナル画面番号と同じにしておき、代表画面格納部１２６を番号順に処理する機能（ダイジェスト作成部など）においては、欠番の場合は処理を飛ばすか、あるいは代表画面データの作成順に番号を付けておき、番号順に昇順に処理する処理を降順に処理することで対応するようにする。
【００９３】
処理ポインタｎが１でない場合（Ｓ９０３：Ｎｏ）、ｎ番目の画面データを処理中の画面データとし、画面データ格納部１２２からｎ−１番目の画面データを読み出し（Ｓ９０５）、ｎ番目の画面データからｎ−１番目の画面データを差し引いて差分を算出する（Ｓ９０６）。差分がない場合（Ｓ９０７：Ｎｏ）、ｎ番目の画面データとｎ−１番目の画面データが全く同一であるということであり、処理ポインタｎを１つ進めて（Ｓ９０８）、ステップＳ９０３に戻る。
【００９４】
差分がプラスの場合（Ｓ９０９：Ｙｅｓ）、ｎ番目の画面データは、ｎ−１番目の画面データに何かが書き加えられて生成されたということであり、差分部分のブロック内の画像が空となる画面（ｍ）まで処理ポインタｎを進めてｎ＝ｍとし（Ｓ９１０）、ｎ＋１番目の画面データがあればｎ＋１番目の画面データから差分部分のブロック画像を削除して代表画面とし、代表画面格納部１２６に格納して（Ｓ９１１）、ステップＳ９０３に戻る。
【００９５】
この処理のイメージを図３１に示す。オリジナル画面２９０〜２９３は、縦書きタイプのブロック検出処理によってブロック化されている。オリジナル画面２９０が最新の画面データであり、オリジナル画面２９３が図３１に示されている中で最も古い画面データである。オリジナル画面２９０は、最新の画面データなので、ステップＳ９０１で代表画面データ２９６と判定され、オリジナル画面２９０とオリジナル画面２９１との差分がステップＳ９０５で計算される。図３１に示す例では、差分はプラスとなるため、差分が含まれるブロック２９４の部分が空となるオリジナル画面２９３まで処理ポインタを進める。
【００９６】
オリジナル画面２９３の次の画面データ（オリジナル画面２９２）が存在するため、オリジナル画面２９２からブロック２９５を削除した画像を代表画面データ２９７とする。ステップＳ９１１において、画面（ｎ＋１）から差分部分のブロックを削除することにより、差分部分のブロックが書き加えられる前の状態を代表画面データとすることができるようになる。
【００９７】
差分がマイナスの場合（Ｓ９１２：Ｙｅｓ）、ｎ番目の画面データは、ｎ−１番目の画面データの一部が消去されているということであり、ｎ番目の画面データを代表画面データとして代表画面格納部１２６に格納し（Ｓ９１３）、差分がマイナスとならない画面データまで処理ポインタｎを進め（Ｓ９１４）、ステップＳ９０３に戻る。
【００９８】
差分にプラスとマイナスが混在している場合（Ｓ９１５：Ｙｅｓ）、ｎ番目の画面データは、ｎ−１番目の画面データに何かが書き加えられると共に、一部分が消去されているということであると考えられ、差分がない部分を抽出して代表画面データとし（Ｓ９１６）、処理ポインタｎを１つ進めて（Ｓ９１７）、ステップＳ９０３に戻り、処理ポインタｎが１であれば最初の画面と判断し、これを代表画面として代表画面格納部１２６に格納して処理を終了する。
【００９９】
なお、上記した実施形態では、ダイジェスト作成装置１００は、ダイジェスト表示部１１３を有するが、他の形態として、ダイジェスト表示部１１３は、ダイジェスト作成装置１００とは別の装置として構成されていてもよい。
【図面の簡単な説明】
【０１００】
【図１】本発明の一実施形態に係るダイジェスト作成システム１０の構成を例示するシステム構成図である。
【図２】画面データ格納部１２２に格納されるデータ構造を例示する図である。
【図３】タイプ判別処理を例示するフローチャートである。
【図４】その他のタイプと判定される場合の板書例を例示する概念図である。
【図５】縦書きタイプと判定される場合の板書例を例示する概念図である。
【図６】横書きタイプと判定される場合の板書例を例示する概念図である。
【図７】タイプ判別処理の他の例を示すフローチャートである。
【図８】縦書きタイプのブロック検出・代表画面生成処理を例示するフローチャートである。
【図９】縦書きタイプのブロック検出・代表画面生成処理を例示するフローチャートである。
【図１０】縦書きタイプの板書において代表画面が生成される過程を説明するための概念図である。
【図１１】代表画面格納部１２６に格納されるデータ構造を例示する図である。
【図１２】横書きタイプのブロック検出・代表画面生成処理を例示するフローチャートである。
【図１３】横書きタイプのブロック検出・代表画面生成処理を例示するフローチャートである。
【図１４】横書きタイプの板書において代表画面が生成される過程を説明するための概念図である。
【図１５】横書きタイプの板書において代表画面が生成される過程を説明するための概念図である。
【図１６】横書きタイプの板書において代表画面が生成される過程を説明するための概念図である。
【図１７】横書きタイプの板書において代表画面が生成される過程を説明するための概念図である。
【図１８】横書きタイプの板書において生成された代表画面を例示する図である。
【図１９】横書きタイプの板書において処理中の行がブロックに統合される過程を説明するための概念図である。
【図２０】その他のタイプのブロック検出・代表画面生成処理を例示するフローチャートである。
【図２１】その他のタイプのブロック検出・代表画面生成処理を例示するフローチャートである。
【図２２】ダイジェスト作成処理を例示するフローチャートである。
【図２３】ダイジェスト作成処理を例示するフローチャートである。
【図２４】ダイジェスト構成データ格納部１３２に格納されるデータ構造を例示する図である。
【図２５】ダイジェスト表示処理を例示するフローチャートである。
【図２６】他の形態における縦書きタイプのブロック検出処理を例示するフローチャートである。
【図２７】行検出過程を説明するための概念図である。
【図２８】見出しの割り当て過程を例示する概念図である。
【図２９】ブロックの統合過程を例示する概念図である。
【図３０】他の形態における縦書きタイプの代表画面生成処理を例示するフローチャートである。
【図３１】他の形態において代表画面が生成される過程を説明するための概念図である。
【符号の説明】
【０１０１】
１０・・・ダイジェスト作成システム、１００・・・ダイジェスト作成装置、１１０・・・入力装置、１１１・・・表示装置、１１２・・・電子黒板制御部、１１３・・・ダイジェスト表示部、１２０・・・データ作成部、１２１・・・画面取込部、１２２・・・画面データ格納部、１２３・・・タイプ判別部、１２４・・・ブロック検出部、１２５・・・代表画面生成部、１２６・・・代表画面格納部、１３０・・・ダイジェスト作成部、１３１・・・重要度割当部、１３２・・・ダイジェスト構成データ格納部
【特許請求の範囲】
【請求項１】
板書のダイジェストを作成するダイジェスト作成装置であって、
前記板書の画面を随時取り込む画面取込手段と、
取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、前記板書を異なるタイプに判別するタイプ判別手段と、
判別されたそれぞれのタイプ別に、前記板書内の図形のまとまりをブロック化するブロック検出手段と、
前記板書画面内のブロックが完成する都度、未完成のブロックを削除した板書画面である代表画面を生成する代表画面生成手段と、
前記代表画面内に含まれる画面に基づいて、当該代表画面に重要度を割り当てる重要度割当手段と、
それぞれの前記代表画面を、割り当てられた重要度が高いものほど長く表示する表示手段と
を備えることを特徴とするダイジェスト作成装置。
【請求項２】
請求項１に記載のダイジェスト作成装置であって、
前記画面取込手段は、前記板書の画面を一定の時間間隔で取り込むことを特徴とするダイジェスト作成装置。
【請求項３】
請求項１または２に記載のダイジェスト作成装置であって、
前記タイプ判別手段は、
前記差分画面に含まれる描画領域を囲む矩形の縦または横のうち長い方の長さが所定値以上の場合に、前記板書をその他のタイプと判定し、
前記矩形の縦または横のうち長い方の長さが所定値未満の場合に、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値以上の場合に、前記板書を縦書きタイプと判定し、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値未満の場合に、前記板書を横書きタイプと判定することを特徴とするダイジェスト作成装置。
【請求項４】
請求項３に記載のダイジェスト作成装置であって、
前記ブロック検出手段は、
前記板書が縦書きタイプと判定された場合に、縦方向の行を抽出し、前記差分画面内の最も左側の行について、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にない場合には、当該左側の行を当該右隣の行と同一のブロックと判定し、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にある場合には、当該左側の行を、当該右隣の行が属するブロックとは異なる新たなブロックと判定し、
前記板書が横書きタイプと判定された場合に、横方向の行を抽出し、前回検出されたブロックと、今回の処理対象の行について、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定し、
前記板書がその他のタイプと判定された場合に、縦書きタイプまたは横書きタイプと判定されるまで、前記タイプ判別手段に判別を繰り返させること
を特徴とするダイジェスト作成装置。
【請求項５】
請求項４に記載のダイジェスト作成装置であって、
前記ブロック検出手段は、前記板書が横書きタイプと判定された場合において、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、今回の処理対象の行の８割以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、今回の処理対象の行の８割未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定すること
を特徴とするダイジェスト作成装置。
【請求項６】
請求項１から５のいずれか一項に記載のダイジェスト作成装置であって、
前記重要度割当手段は、
最初と最後の代表画面の重要度を高に設定し、最初と最後の代表画面以外の代表画面について、直前の代表画面との差分が所定値以上の場合に重要度を中に設定し、直前の代表画面との差分が所定値未満の場合に重要度を低に設定すること
を特徴とするダイジェスト作成装置。
【請求項７】
請求項６に記載のダイジェスト作成装置であって、
前記重要度割当手段は、さらに、
最初と最後の代表画面以外の代表画面について、所定の色が含まれている場合に、当該代表画面の重要度を高に設定すること
を特徴とするダイジェスト作成装置。
【請求項８】
請求項６または７に記載のダイジェスト作成装置であって、
前記重要度割当手段は、さらに、
最初と最後の代表画面以外の代表画面について、
縦書きタイプの板書の場合に、縦方向に所定の長さ以上の線分を検出した場合に、当該代表画面の重要度を高に設定し、
横書きタイプの板書の場合に、横方向に所定の長さ以上の線分を検出した場合に、当該代表画面の重要度を高に設定すること
を特徴とするダイジェスト作成装置。
【請求項９】
請求項６から８のいずれか一項に記載のダイジェスト作成装置であって、
前記表示手段は、
重要度が低の代表画面の数と、重要度が中の代表画面の数に２を乗じた数と、重要度が高の代表画面の数に３を乗じた数とを合計した数で、予め定められたダイジェスト表示時間を割ることにより、重要度が低の代表画面１つあたりの表示時間である単位表示時間を算出し、重要度が低の代表画面の表示時間を、算出した単位表示時間とし、重要度が中の代表画面の表示時間を、算出した単位表示時間の２倍の時間とし、重要度が高の代表画面の表示時間を、算出した単位表示時間の３倍の時間とすること
を特徴とするダイジェスト作成装置。
【請求項１０】
板書のダイジェストを作成するダイジェスト作成装置を制御するプログラムであって、
前記ダイジェスト作成装置を、
前記板書の画面を随時取り込む画面取込手段、
取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、前記板書を異なるタイプに判別するタイプ判別手段、
判別されたそれぞれのタイプ別に、前記板書内の図形のまとまりをブロック化するブロック検出手段、
前記板書画面内のブロックが完成する都度、未完成のブロックを削除した板書画面である代表画面を生成する代表画面生成手段、
前記代表画面内に含まれる画面に基づいて、当該代表画面に重要度を割り当てる重要度割当手段、および
それぞれの前記代表画面を、割り当てられた重要度が高いものほど長く表示する表示手段
として機能させることを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムであって、
前記画面取込手段は、前記板書の画面を一定の時間間隔で取り込むことを特徴とするプログラム。
【請求項１２】
請求項１０または１１に記載のプログラムであって、
前記タイプ判別手段は、
前記差分画面に含まれる描画領域を囲む矩形の縦または横のうち長い方の長さが所定値以上の場合に、前記板書をその他のタイプと判定し、
前記矩形の縦または横のうち長い方の長さが所定値未満の場合に、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値以上の場合に、前記板書を縦書きタイプと判定し、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値未満の場合に、前記板書を横書きタイプと判定することを特徴とするプログラム。
【請求項１３】
請求項１２に記載のプログラムであって、
前記ブロック検出手段は、
前記板書が縦書きタイプと判定された場合に、縦方向の行を抽出し、前記差分画面内の最も左側の行について、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にない場合には、当該左側の行を当該右隣の行と同一のブロックと判定し、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にある場合には、当該左側の行を、当該右隣の行が属するブロックとは異なる新たなブロックと判定し、
前記板書が横書きタイプと判定された場合に、横方向の行を抽出し、前回検出されたブロックと、今回の処理対象の行について、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定し、
前記板書がその他のタイプと判定された場合に、縦書きタイプまたは横書きタイプと判定されるまで、前記タイプ判別手段に判別を繰り返させること
を特徴とするプログラム。
【請求項１４】
請求項１３に記載のダイジェスト作成装置であって、
前記ブロック検出手段は、前記板書が横書きタイプと判定された場合において、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、今回の処理対象の行の８割以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、今回の処理対象の行の８割未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定すること
を特徴とするプログラム。
【請求項１５】
請求項１０から１４のいずれか一項に記載のプログラムであって、
前記重要度割当手段は、
最初と最後の代表画面の重要度を高に設定し、最初と最後の代表画面以外の代表画面について、直前の代表画面との差分が所定値以上の場合に重要度を中に設定し、直前の代表画面との差分が所定値未満の場合に重要度を低に設定すること
を特徴とするプログラム。
【請求項１６】
請求項１５に記載のプログラムであって、
前記重要度割当手段は、さらに、
最初と最後の代表画面以外の代表画面について、所定の色が含まれている場合に、当該代表画面の重要度を高に設定すること
を特徴とするプログラム。
【請求項１７】
請求項１５または１６に記載のプログラムであって、
前記重要度割当手段は、さらに、
最初と最後の代表画面以外の代表画面について、
縦書きタイプの板書の場合に、縦方向に所定の長さ以上の線分を検出した場合に、当該代表画面の重要度を高に設定し、
横書きタイプの板書の場合に、横方向に所定の長さ以上の線分を検出した場合に、当該代表画面の重要度を高に設定すること
を特徴とするプログラム。
【請求項１８】
請求項１５から１７のいずれか一項に記載のプログラムであって、
前記表示手段は、
重要度が低の代表画面の数と、重要度が中の代表画面の数に２を乗じた数と、重要度が高の代表画面の数に３を乗じた数とを合計した数で、予め定められたダイジェスト表示時間を割ることにより、重要度が低の代表画面１つあたりの表示時間である単位表示時間を算出し、重要度が低の代表画面の表示時間を、算出した単位表示時間とし、重要度が中の代表画面の表示時間を、算出した単位表示時間の２倍の時間とし、重要度が高の代表画面の表示時間を、算出した単位表示時間の３倍の時間とすること
を特徴とするプログラム。
【請求項１９】
板書のダイジェストを作成するダイジェスト作成装置におけるダイジェスト作成方法であって、
前記ダイジェスト作成装置は、
前記板書の画面を随時取り込む画面取込ステップと、
取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、前記板書を異なるタイプに判別するタイプ判別ステップと、
判別されたそれぞれのタイプ別に、前記板書内の図形のまとまりをブロック化するブロック検出ステップと、
前記板書画面内のブロックが完成する都度、未完成のブロックを削除した板書画面である代表画面を生成する代表画面生成ステップと、
前記代表画面内に含まれる画面に基づいて、当該代表画面に重要度を割り当てる重要度割当ステップと、
それぞれの前記代表画面を、割り当てられた重要度が高いものほど長く表示する表示ステップと
を実行することを特徴とするダイジェスト作成方法。
【請求項２０】
板書のダイジェストを作成するダイジェスト作成装置であって、
前記板書の画面を随時取り込む画面取込手段と、
取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、前記板書を異なるタイプに判別するタイプ判別手段と、
判別されたそれぞれのタイプ別に、前記板書内の図形のまとまりをブロック化するブロック検出手段と
を備え、
前記タイプ判別手段は、
前記差分画面に含まれる描画領域を囲む矩形の縦または横のうち長い方の長さが所定値以上の場合に、前記板書をその他のタイプと判定し、
前記矩形の縦または横のうち長い方の長さが所定値未満の場合に、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値以上の場合に、前記板書を縦書きタイプと判定し、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値未満の場合に、前記板書を横書きタイプと判定し、
前記ブロック検出手段は、
前記板書が縦書きタイプと判定された場合に、縦方向の行を抽出し、前記差分画面内の最も左側の行について、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にない場合には、当該左側の行を当該右隣の行と同一のブロックと判定し、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にある場合には、当該左側の行を、当該右隣の行が属するブロックとは異なる新たなブロックと判定し、
前記板書が横書きタイプと判定された場合に、横方向の行を抽出し、前回検出されたブロックと、今回の処理対象の行について、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定し、
前記板書がその他のタイプと判定された場合に、縦書きタイプまたは横書きタイプと判定されるまで、前記タイプ判別手段に判別を繰り返させること
を特徴とするダイジェスト作成装置。
【請求項２１】
板書のダイジェストを作成するダイジェスト作成装置を制御するプログラムであって、
前記ダイジェスト作成装置を、
前記板書の画面を随時取り込む画面取込手段、
取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、前記板書を異なるタイプに判別するタイプ判別手段、および
判別されたそれぞれのタイプ別に、前記板書内の図形のまとまりをブロック化するブロック検出手段
として機能させ、
前記タイプ判別手段は、
前記差分画面に含まれる描画領域を囲む矩形の縦または横のうち長い方の長さが所定値以上の場合に、前記板書をその他のタイプと判定し、
前記矩形の縦または横のうち長い方の長さが所定値未満の場合に、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値以上の場合に、前記板書を縦書きタイプと判定し、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値未満の場合に、前記板書を横書きタイプと判定し、
前記ブロック検出手段は、
前記板書が縦書きタイプと判定された場合に、縦方向の行を抽出し、前記差分画面内の最も左側の行について、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にない場合には、当該左側の行を当該右隣の行と同一のブロックと判定し、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にある場合には、当該左側の行を、当該右隣の行が属するブロックとは異なる新たなブロックと判定し、
前記板書が横書きタイプと判定された場合に、横方向の行を抽出し、前回検出されたブロックと、今回の処理対象の行について、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定し、
前記板書がその他のタイプと判定された場合に、縦書きタイプまたは横書きタイプと判定されるまで、前記タイプ判別手段に判別を繰り返させること
を特徴とするプログラム。
【請求項２２】
板書のダイジェストを作成するダイジェスト作成装置におけるダイジェスト作成方法であって、
前記ダイジェスト作成装置は、
前記板書の画面を随時取り込む画面取込ステップと、
取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、前記板書を異なるタイプに判別するタイプ判別ステップと、
判別されたそれぞれのタイプ別に、前記板書内の図形のまとまりをブロック化するブロック検出ステップと
を実行し、
前記タイプ判別ステップにおいて、
前記差分画面に含まれる描画領域を囲む矩形の縦または横のうち長い方の長さが所定値以上の場合に、前記板書をその他のタイプと判定し、
前記矩形の縦または横のうち長い方の長さが所定値未満の場合に、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値以上の場合に、前記板書を縦書きタイプと判定し、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値未満の場合に、前記板書を横書きタイプと判定し、
前記ブロック検出ステップにおいて、
前記板書が縦書きタイプと判定された場合に、縦方向の行を抽出し、前記差分画面内の最も左側の行について、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にない場合には、当該左側の行を当該右隣の行と同一のブロックと判定し、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にある場合には、当該左側の行を、当該右隣の行が属するブロックとは異なる新たなブロックと判定し、
前記板書が横書きタイプと判定された場合に、横方向の行を抽出し、前回検出されたブロックと、今回の処理対象の行について、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定し、
前記板書がその他のタイプと判定された場合に、縦書きタイプまたは横書きタイプと判定されるまで、前記タイプ判別手段に判別を繰り返させること
を特徴とするダイジェスト作成方法。
【請求項１】
板書のダイジェストを作成するダイジェスト作成装置であって、
前記板書の画面を随時取り込む画面取込手段と、
取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、前記板書を異なるタイプに判別するタイプ判別手段と、
判別されたそれぞれのタイプ別に、前記板書内の図形のまとまりをブロック化するブロック検出手段と、
前記板書画面内のブロックが完成する都度、未完成のブロックを削除した板書画面である代表画面を生成する代表画面生成手段と、
前記代表画面内に含まれる画面に基づいて、当該代表画面に重要度を割り当てる重要度割当手段と、
それぞれの前記代表画面を、割り当てられた重要度が高いものほど長く表示する表示手段と
を備えることを特徴とするダイジェスト作成装置。
【請求項２】
請求項１に記載のダイジェスト作成装置であって、
前記画面取込手段は、前記板書の画面を一定の時間間隔で取り込むことを特徴とするダイジェスト作成装置。
【請求項３】
請求項１または２に記載のダイジェスト作成装置であって、
前記タイプ判別手段は、
前記差分画面に含まれる描画領域を囲む矩形の縦または横のうち長い方の長さが所定値以上の場合に、前記板書をその他のタイプと判定し、
前記矩形の縦または横のうち長い方の長さが所定値未満の場合に、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値以上の場合に、前記板書を縦書きタイプと判定し、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値未満の場合に、前記板書を横書きタイプと判定することを特徴とするダイジェスト作成装置。
【請求項４】
請求項３に記載のダイジェスト作成装置であって、
前記ブロック検出手段は、
前記板書が縦書きタイプと判定された場合に、縦方向の行を抽出し、前記差分画面内の最も左側の行について、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にない場合には、当該左側の行を当該右隣の行と同一のブロックと判定し、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にある場合には、当該左側の行を、当該右隣の行が属するブロックとは異なる新たなブロックと判定し、
前記板書が横書きタイプと判定された場合に、横方向の行を抽出し、前回検出されたブロックと、今回の処理対象の行について、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定し、
前記板書がその他のタイプと判定された場合に、縦書きタイプまたは横書きタイプと判定されるまで、前記タイプ判別手段に判別を繰り返させること
を特徴とするダイジェスト作成装置。
【請求項５】
請求項４に記載のダイジェスト作成装置であって、
前記ブロック検出手段は、前記板書が横書きタイプと判定された場合において、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、今回の処理対象の行の８割以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、今回の処理対象の行の８割未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定すること
を特徴とするダイジェスト作成装置。
【請求項６】
請求項１から５のいずれか一項に記載のダイジェスト作成装置であって、
前記重要度割当手段は、
最初と最後の代表画面の重要度を高に設定し、最初と最後の代表画面以外の代表画面について、直前の代表画面との差分が所定値以上の場合に重要度を中に設定し、直前の代表画面との差分が所定値未満の場合に重要度を低に設定すること
を特徴とするダイジェスト作成装置。
【請求項７】
請求項６に記載のダイジェスト作成装置であって、
前記重要度割当手段は、さらに、
最初と最後の代表画面以外の代表画面について、所定の色が含まれている場合に、当該代表画面の重要度を高に設定すること
を特徴とするダイジェスト作成装置。
【請求項８】
請求項６または７に記載のダイジェスト作成装置であって、
前記重要度割当手段は、さらに、
最初と最後の代表画面以外の代表画面について、
縦書きタイプの板書の場合に、縦方向に所定の長さ以上の線分を検出した場合に、当該代表画面の重要度を高に設定し、
横書きタイプの板書の場合に、横方向に所定の長さ以上の線分を検出した場合に、当該代表画面の重要度を高に設定すること
を特徴とするダイジェスト作成装置。
【請求項９】
請求項６から８のいずれか一項に記載のダイジェスト作成装置であって、
前記表示手段は、
重要度が低の代表画面の数と、重要度が中の代表画面の数に２を乗じた数と、重要度が高の代表画面の数に３を乗じた数とを合計した数で、予め定められたダイジェスト表示時間を割ることにより、重要度が低の代表画面１つあたりの表示時間である単位表示時間を算出し、重要度が低の代表画面の表示時間を、算出した単位表示時間とし、重要度が中の代表画面の表示時間を、算出した単位表示時間の２倍の時間とし、重要度が高の代表画面の表示時間を、算出した単位表示時間の３倍の時間とすること
を特徴とするダイジェスト作成装置。
【請求項１０】
板書のダイジェストを作成するダイジェスト作成装置を制御するプログラムであって、
前記ダイジェスト作成装置を、
前記板書の画面を随時取り込む画面取込手段、
取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、前記板書を異なるタイプに判別するタイプ判別手段、
判別されたそれぞれのタイプ別に、前記板書内の図形のまとまりをブロック化するブロック検出手段、
前記板書画面内のブロックが完成する都度、未完成のブロックを削除した板書画面である代表画面を生成する代表画面生成手段、
前記代表画面内に含まれる画面に基づいて、当該代表画面に重要度を割り当てる重要度割当手段、および
それぞれの前記代表画面を、割り当てられた重要度が高いものほど長く表示する表示手段
として機能させることを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムであって、
前記画面取込手段は、前記板書の画面を一定の時間間隔で取り込むことを特徴とするプログラム。
【請求項１２】
請求項１０または１１に記載のプログラムであって、
前記タイプ判別手段は、
前記差分画面に含まれる描画領域を囲む矩形の縦または横のうち長い方の長さが所定値以上の場合に、前記板書をその他のタイプと判定し、
前記矩形の縦または横のうち長い方の長さが所定値未満の場合に、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値以上の場合に、前記板書を縦書きタイプと判定し、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値未満の場合に、前記板書を横書きタイプと判定することを特徴とするプログラム。
【請求項１３】
請求項１２に記載のプログラムであって、
前記ブロック検出手段は、
前記板書が縦書きタイプと判定された場合に、縦方向の行を抽出し、前記差分画面内の最も左側の行について、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にない場合には、当該左側の行を当該右隣の行と同一のブロックと判定し、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にある場合には、当該左側の行を、当該右隣の行が属するブロックとは異なる新たなブロックと判定し、
前記板書が横書きタイプと判定された場合に、横方向の行を抽出し、前回検出されたブロックと、今回の処理対象の行について、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定し、
前記板書がその他のタイプと判定された場合に、縦書きタイプまたは横書きタイプと判定されるまで、前記タイプ判別手段に判別を繰り返させること
を特徴とするプログラム。
【請求項１４】
請求項１３に記載のダイジェスト作成装置であって、
前記ブロック検出手段は、前記板書が横書きタイプと判定された場合において、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、今回の処理対象の行の８割以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、今回の処理対象の行の８割未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定すること
を特徴とするプログラム。
【請求項１５】
請求項１０から１４のいずれか一項に記載のプログラムであって、
前記重要度割当手段は、
最初と最後の代表画面の重要度を高に設定し、最初と最後の代表画面以外の代表画面について、直前の代表画面との差分が所定値以上の場合に重要度を中に設定し、直前の代表画面との差分が所定値未満の場合に重要度を低に設定すること
を特徴とするプログラム。
【請求項１６】
請求項１５に記載のプログラムであって、
前記重要度割当手段は、さらに、
最初と最後の代表画面以外の代表画面について、所定の色が含まれている場合に、当該代表画面の重要度を高に設定すること
を特徴とするプログラム。
【請求項１７】
請求項１５または１６に記載のプログラムであって、
前記重要度割当手段は、さらに、
最初と最後の代表画面以外の代表画面について、
縦書きタイプの板書の場合に、縦方向に所定の長さ以上の線分を検出した場合に、当該代表画面の重要度を高に設定し、
横書きタイプの板書の場合に、横方向に所定の長さ以上の線分を検出した場合に、当該代表画面の重要度を高に設定すること
を特徴とするプログラム。
【請求項１８】
請求項１５から１７のいずれか一項に記載のプログラムであって、
前記表示手段は、
重要度が低の代表画面の数と、重要度が中の代表画面の数に２を乗じた数と、重要度が高の代表画面の数に３を乗じた数とを合計した数で、予め定められたダイジェスト表示時間を割ることにより、重要度が低の代表画面１つあたりの表示時間である単位表示時間を算出し、重要度が低の代表画面の表示時間を、算出した単位表示時間とし、重要度が中の代表画面の表示時間を、算出した単位表示時間の２倍の時間とし、重要度が高の代表画面の表示時間を、算出した単位表示時間の３倍の時間とすること
を特徴とするプログラム。
【請求項１９】
板書のダイジェストを作成するダイジェスト作成装置におけるダイジェスト作成方法であって、
前記ダイジェスト作成装置は、
前記板書の画面を随時取り込む画面取込ステップと、
取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、前記板書を異なるタイプに判別するタイプ判別ステップと、
判別されたそれぞれのタイプ別に、前記板書内の図形のまとまりをブロック化するブロック検出ステップと、
前記板書画面内のブロックが完成する都度、未完成のブロックを削除した板書画面である代表画面を生成する代表画面生成ステップと、
前記代表画面内に含まれる画面に基づいて、当該代表画面に重要度を割り当てる重要度割当ステップと、
それぞれの前記代表画面を、割り当てられた重要度が高いものほど長く表示する表示ステップと
を実行することを特徴とするダイジェスト作成方法。
【請求項２０】
板書のダイジェストを作成するダイジェスト作成装置であって、
前記板書の画面を随時取り込む画面取込手段と、
取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、前記板書を異なるタイプに判別するタイプ判別手段と、
判別されたそれぞれのタイプ別に、前記板書内の図形のまとまりをブロック化するブロック検出手段と
を備え、
前記タイプ判別手段は、
前記差分画面に含まれる描画領域を囲む矩形の縦または横のうち長い方の長さが所定値以上の場合に、前記板書をその他のタイプと判定し、
前記矩形の縦または横のうち長い方の長さが所定値未満の場合に、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値以上の場合に、前記板書を縦書きタイプと判定し、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値未満の場合に、前記板書を横書きタイプと判定し、
前記ブロック検出手段は、
前記板書が縦書きタイプと判定された場合に、縦方向の行を抽出し、前記差分画面内の最も左側の行について、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にない場合には、当該左側の行を当該右隣の行と同一のブロックと判定し、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にある場合には、当該左側の行を、当該右隣の行が属するブロックとは異なる新たなブロックと判定し、
前記板書が横書きタイプと判定された場合に、横方向の行を抽出し、前回検出されたブロックと、今回の処理対象の行について、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定し、
前記板書がその他のタイプと判定された場合に、縦書きタイプまたは横書きタイプと判定されるまで、前記タイプ判別手段に判別を繰り返させること
を特徴とするダイジェスト作成装置。
【請求項２１】
板書のダイジェストを作成するダイジェスト作成装置を制御するプログラムであって、
前記ダイジェスト作成装置を、
前記板書の画面を随時取り込む画面取込手段、
取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、前記板書を異なるタイプに判別するタイプ判別手段、および
判別されたそれぞれのタイプ別に、前記板書内の図形のまとまりをブロック化するブロック検出手段
として機能させ、
前記タイプ判別手段は、
前記差分画面に含まれる描画領域を囲む矩形の縦または横のうち長い方の長さが所定値以上の場合に、前記板書をその他のタイプと判定し、
前記矩形の縦または横のうち長い方の長さが所定値未満の場合に、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値以上の場合に、前記板書を縦書きタイプと判定し、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値未満の場合に、前記板書を横書きタイプと判定し、
前記ブロック検出手段は、
前記板書が縦書きタイプと判定された場合に、縦方向の行を抽出し、前記差分画面内の最も左側の行について、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にない場合には、当該左側の行を当該右隣の行と同一のブロックと判定し、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にある場合には、当該左側の行を、当該右隣の行が属するブロックとは異なる新たなブロックと判定し、
前記板書が横書きタイプと判定された場合に、横方向の行を抽出し、前回検出されたブロックと、今回の処理対象の行について、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定し、
前記板書がその他のタイプと判定された場合に、縦書きタイプまたは横書きタイプと判定されるまで、前記タイプ判別手段に判別を繰り返させること
を特徴とするプログラム。
【請求項２２】
板書のダイジェストを作成するダイジェスト作成装置におけるダイジェスト作成方法であって、
前記ダイジェスト作成装置は、
前記板書の画面を随時取り込む画面取込ステップと、
取り込まれた複数の板書画面において、隣り合う板書画面の差分画面に含まれる描画領域の大きさおよび形状に基づいて、前記板書を異なるタイプに判別するタイプ判別ステップと、
判別されたそれぞれのタイプ別に、前記板書内の図形のまとまりをブロック化するブロック検出ステップと
を実行し、
前記タイプ判別ステップにおいて、
前記差分画面に含まれる描画領域を囲む矩形の縦または横のうち長い方の長さが所定値以上の場合に、前記板書をその他のタイプと判定し、
前記矩形の縦または横のうち長い方の長さが所定値未満の場合に、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値以上の場合に、前記板書を縦書きタイプと判定し、
前記矩形の縦の長さを当該矩形の横の長さで割った値が所定値未満の場合に、前記板書を横書きタイプと判定し、
前記ブロック検出ステップにおいて、
前記板書が縦書きタイプと判定された場合に、縦方向の行を抽出し、前記差分画面内の最も左側の行について、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にない場合には、当該左側の行を当該右隣の行と同一のブロックと判定し、
当該左側の行の最上部の座標が、当該左側の行の右隣の行の最上部の座標よりも所定値以上上方にある場合には、当該左側の行を、当該右隣の行が属するブロックとは異なる新たなブロックと判定し、
前記板書が横書きタイプと判定された場合に、横方向の行を抽出し、前回検出されたブロックと、今回の処理対象の行について、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値以上の場合に、今回の処理対象の行を前回検出されたブロックに含めて新たなブロックと判定し、
前回検出されたブロックと今回の処理対象の行との横方向の重なりが、所定値未満の場合に、今回の処理対象の行を前回検出されたブロックとは異なる新たなブロックと判定し、
前記板書がその他のタイプと判定された場合に、縦書きタイプまたは横書きタイプと判定されるまで、前記タイプ判別手段に判別を繰り返させること
を特徴とするダイジェスト作成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２００８−３３３９３（Ｐ２００８−３３３９３Ａ）
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願番号】特願２００６−２０２８８５（Ｐ２００６−２０２８８５）
【出願日】平成１８年７月２６日（２００６．７．２６）
【出願人】（０００２３３０５５）日立ソフトウエアエンジニアリング株式会社 (1,610)
【Ｆターム（参考）】
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願日】平成１８年７月２６日（２００６．７．２６）
【出願人】（０００２３３０５５）日立ソフトウエアエンジニアリング株式会社 (1,610)
【Ｆターム（参考）】
[ Back to top ]