文書画像取得装置
【課題】 文書画像取得装置等を用いて画像データとして取得されたプレゼンテーション等の文書画像を、どのような文書書式をもった文書でも発表ごとに精度良く分類することができる文書画像取得装置を提供することにある。
【解決手段】 発表者の説明の進行に応じて表示内容が変化する文書の表示出力信号に基づいて文書画像を取得する画像サンプリング部４０３と、表示出力信号の有無を検出するＶＧＡ信号ＯＮ／ＯＦＦ検出部４０１と、ＶＧＡ信号ＯＮ／ＯＦＦ検出部４０１の検出結果に基づいて、画像サンプリング部４０３で取得した文書画像に対し発表者単位の文書画像の区切りを判断する発表交代判定部４１０とを具備する。
【解決手段】 発表者の説明の進行に応じて表示内容が変化する文書の表示出力信号に基づいて文書画像を取得する画像サンプリング部４０３と、表示出力信号の有無を検出するＶＧＡ信号ＯＮ／ＯＦＦ検出部４０１と、ＶＧＡ信号ＯＮ／ＯＦＦ検出部４０１の検出結果に基づいて、画像サンプリング部４０３で取得した文書画像に対し発表者単位の文書画像の区切りを判断する発表交代判定部４１０とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広くは文書画像管理システムに係る。より詳しくは、プレゼンテーション文書画像取得装置等を使用して画像データとして取得されたプレゼンテーション文書画像を個々のプレゼンテーションごとに分類するとともに、分類された文書画像に対してプレゼンテーションのタイトルと発表者氏名を索引情報として付与することで、これらの索引情報にもとづく文書画像の識別や選択的表示ができるプレゼンテーション文書画像取得装置に関する。
【背景技術】
【０００２】
会議などで行なわれるプレゼンテーションでは、しばしば、複数の発表者によってそれぞれ複数のプレゼンテーション文書（スライド）が表示される。通常、これらの会議資料は、プロジェクターなどを介してその場で表示されるだけであり、再度その内容を参照したい場合には、発表者に頼んでオリジナルのプレゼンテーション文書を提供してもらう必要がある。
【０００３】
プレゼンテーション文書画像取得装置（以下、単に文書画像取得装置という。）は、発表者のＰＣからプロジェクターなどに送出される映像信号を分配器を用いて横取りすることによって、発表者のＰＣモニター上の映像と同じ映像を画像データとして形成取得するものである。この装置を利用すれば、画像データという制約はあるが、プレゼンテーション資料を自動的に取得・蓄積できるので便利である。
【０００４】
しかし、プレゼンテーションが、複数の発表者によってなされる場合には多数の文書画像が蓄積されるため、それらのサムネイル画像が表示されても個々の文書画像が誰によって表示されたのか、またどのようなタイトルに関連するものかを把握するのが容易ではないという問題があった。このため、従来、人手により文書画像をプレゼンテーション単位ごとに分類したうえで、それらにタイトルと発表者氏名を索引情報として付与することが多かった。しかし、対象となる文書画像が大量にある場合には、ユーザにとってたいへんな労力を要するという問題があった。
【０００５】
ここでは２つの作業の自動化が望まれる。第１は、蓄積された文書画像を発表ごとに区分けする作業である。第２は、発表者あるいは話題ごとに区分けされた文書画像群に対して、発表者氏名やタイトルを索引付ける作業である。文書画像取得装置に対して直接適用された技術ではないが、これら２つの作業の自動化に対して以下のような従来技術が適用可能である。
【０００６】
プレゼンテーション単位でのセグメント化技術としては下記のようなものがある。
（ａ）ひとまとまりのプレゼンテーションは連続的な文書表示からなり、次のプレゼンテーションが開始されるまでに一定の時間間隔があることに着目し、表示文書間の時間間隔が一定以上ある場合に、そこをプレゼンテーションの区切りと見なして分類する。
（ｂ）プレゼンテーションソフトの起動操作とその操作が行なわれた時間を記録して、操作を表示文書と関連付ける（特許文献１参照）。
（ｃ）プレゼンテーション文書の先頭ページは通常表紙であることに着目し、タイトル抽出処理やレイアウト情報を利用して表紙か否かの識別処理を行なう。識別関数を獲得するために、遺伝的アルゴリズム、ニューラルネット、判別分析を利用する（特許文献２参照）。そして、識別された表紙に基づいて文書をプレゼンテーション単位で分割する。
（ｄ）スケジュール管理ツール等に記載されたタイムスケジュールによってプレゼンテーションをセグメント化する。
（ｅ）プレゼンテーション文書は、発表者ごとに異なる書式（デザインテンプレート）を使用する場合が多いことに着目して、共通の書式をもった文書画像群をひとまとまりのプレゼンテーション文書として判定する。
【０００７】
タイトルや発表者氏名などの抽出技術としては下記のものがある。
（ａ）タイトルなどの領域が固定されている文書を対象とし、固定領域の文字列をタイトルとして抽出する（特許文献３参照）。
（ｂ）色マーカや縁取りなどで抽出すべき文字列をマーキングして、マーキングされた領域をＯＣＲで抽出する（特許文献４参照）。
（ｃ）認識対処のレイアウト構造と「タイトル」、「著者」、「本文」などの論理構造の対応関係を表現する構造モデルを規定しておき、文書画像の領域分割結果と構造モデルをマッチングさせて、「タイトル」、「著者」、「本文」領域を識別抽出する（特許文献５参照）。
（ｄ）文字及び文字列を囲む矩形枠の諸特徴から「タイトルらしさ」を算定し、閾値を超えたものをタイトルとして抽出する（特許文献６参照）。
【特許文献１】特開２００２−１０９０９９号
【特許文献２】特開２００１−２８０４１号
【特許文献３】特開昭６４−４６８７３号
【特許文献４】特開平１-１５０９６４号
【特許文献５】特開平５-３４２３２６号
【特許文献６】特開平９-１３４４０６号
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の第１の目的は、文書画像取得装置等を用いて画像データとして取得されたプレゼンテーション等の文書画像を、どのような文書書式をもった文書でも発表ごとに精度良く分類することができる文書画像取得装置を提供することにある。
【０００９】
本発明の第２の目的は、分類された文書画像に対して発表者単位に索引情報を精度良く付与することができる文書画像取得装置を提供することにある。
【課題を解決するための手段】
【００１０】
課題を解決するために、本発明の第１の態様の文書画像取得装置は、発表者の説明の進行に応じて表示内容が変化する文書の表示出力信号に基づいて文書画像を取得する取得手段と、表示出力信号の有無を検出する検出手段と、検出手段の検出結果に基づいて、取得手段で取得した文書画像に対し発表者単位の文書画像の区切りを判断する判断手段とを具備する。
【００１１】
本発明の第２の態様の文書画像取得装置は、第１の態様の判断手段の判断結果に基づいて取得手段で取得した文書画像を分類する分類手段を具備するものである。
【００１２】
本発明の第３の態様の文書画像取得装置は、第２の態様の分類手段は、文書画像に対する、発表者単位での区切りを示す画像を文書画像間に挿入することを特徴とするものである。
【００１３】
本発明の第４の態様の文書画像取得装置は、第２の態様の分類手段は、発表者単位の文書画像群と他の発表者単位の文書画像群との区切りを識別することを特徴とするものである。
【００１４】
本発明の第５の態様の文書画像取得装置は、第１の態様の取得手段で取得した文書画像から発表者単位の属性情報を抽出する抽出手段と、抽出手段で抽出した属性情報を分類手段の分類結果の文書画像群に索引情報として付与する付与手段とを具備するものである。
【００１５】
本発明の第６の態様の文書画像取得装置は、発表者の説明の進行に応じて表示内容が変化する文書の表示出力信号に基づいて文書画像を取得する取得手段と、会議開催情報及び議事録の少なくとも１つを入力する入力手段と、入力手段の入力内容から発表者名及びタイトル名の少なくとも一方を含む発表者単位の属性情報を抽出する第１の抽出手段と、第１の抽出手段の抽出結果に基づいて、取得手段で取得した文書画像に対し発表者単位の文書画像の区切りを判断する判断手段とを具備するものである。
【００１６】
本発明の第７の態様の文書画像取得装置は、第６の態様の判断手段の判断結果に基づいて取得手段で取得した文書画像を分類する分類手段を具備するものである。
【００１７】
本発明の第８の態様の文書画像取得装置は、取得手段で取得した文書画像から発表者名及びタイトル名の少なくとも一方を含む発表者単位の属性情報を抽出する第２の抽出手段と、抽出手段で抽出した属性情報を分類手段の分類結果の文書画像群に索引情報として付与する付与手段とを具備するものである。
【００１８】
本発明の第９の態様の文書画像取得装置は、第１の態様乃至第８の態様における文書画像がスライド画像であるものである。
【発明の効果】
【００１９】
本発明の第１及び第６の態様の構成によれば、文書書式よらず、発表者ごとに区切ることができるので、精度良く発表者単位に分類することが可能となる。第５及び第８の態様の構成によれば、分類された文書画像に対して発表者単位に索引情報を精度良く付与することができる。
【発明を実施するための最良の形態】
【００２０】
（第１実施形態）
以下、本発明の最良の実施形態について図面を参照して説明する。
本発明の第１実施形態に係る文書画像取得装置は、文書画像取得装置によって取得された文書画像群を、発表単位で（発表の開始から発表終了まで）区分するための装置である。まず、本発明の第１実施形態に係る文書画像取得装置について概説する。
【００２１】
第１実施形態に係る文書画像取得装置（表示画面記録装置）４は、発表者のパーナルコンピュータ（ＰＣ）のディスプレイに表示された画面イメージ、即ち表示出力信号（映像信号、例えばＲＧＢ信号）を取り込んで記録する装置である。図１では、表示画面記録装置４と記載されている。図１に示すように、プレゼン用ＰＣ１からプロジェクターなどの表示装置３に送出するＲＧＢ信号を、信号分配器２で分配して表示画面記録装置４に取り込む。後で詳しく説明するが、表示画面記録装置内でＲＧＢ信号から画面イメージを形成し、それを保存することができる（詳細は、特開２００６-１２７５１８号を参照）。
【００２２】
発表交替を識別する手法、即ち発表者単位の文書画像の区切りを識別するための手法について説明する。
図２は、発表交替の識別（発表者単位の文書画像の区切りの識別）を説明するための図である。
一般に、会議などでプレゼンテーション（説明）を行なう場合、発表者は作成済みの発表資料を自分のノートＰＣのディスプレイ上に表示し、これを会議に参加した人たちに表示するために自分のノートＰＣとプロジェクターとをＶＧＡケーブルで接続してから外部の表示装置３への表示命令を実行して、ＲＧＢ信号を表示装置３に送出して表示装置３で表示させる。
【００２３】
自分の持ち込みノートＰＣ１でプレゼンテーションを行なう場合は、このように表示装置３とＰＣ１とのケーブル接続、もしくはワイヤレス接続の作業を伴う。図２では３名の発表者（甲、乙、丙）が自分の持ち込みノートＰＣを使って順次発表を行なっている様子を示しているが、このときのＶＧＡ信号（ＲＧＢ信号）の状態は、発表者甲の発表が終了した時点（ｔ１）と発表者乙の発表が開始される時点（ｔ２）までの期間は、停止状態になる。
【００２４】
同様に、発表者甲の発表が終了した時点（ｔ３）と発表者丙の発表が開始される時点（ｔ４）までの期間は、停止状態になる。このようにＶＧＡ信号の停止状態を検出して記録すれば、発表交替に対応づけて、表示画面記録装置によって記録蓄積された文書画像を区切ることが可能となる。
【００２５】
即ち、これらの停止状態中に発表交替が行なわれたとすれば、ｔ０からｔ１までの期間に取得された文書画像は発表者甲に、ｔ２からｔ３までの期間に取得された文書画像は発表者乙に、ｔ４からｔ５までの期間に取得された文書画像は発表者丙に対応付けることができる。
【００２６】
図２に示すように、ＲＧＢ信号の停止状態（一定時間内）が検出された場合に、そこで発表交替が行なわれたことを明示するために、区切り画像などを生成して、文書画像とともに記録蓄積することも可能である。
【００２７】
本実施形態係る文書画像取得装置（表示画面記録装置）の詳細構成を説明する。
図３に本発明の実施形態に係る表示画面記録装置４の基本構成を示す。ここで、図３において説明する各機能ブロックは、ＣＰＵ等の処理装置あるいはそこで実行されるプログラム、およびＤＲＡＭ等の半導体記憶装置やハードディスク等の記憶装置等により実現される。以下の説明においても同様とする。
【００２８】
ＶＧＡ信号ＯＮ／ＯＦＦ検出部４０１は、本発明の検出手段の一例であって、図示しないＶＧＡ信号分配器から分配されて送信されるＶＧＡ信号のＯＮ／ＯＦＦ状態を検出する。
時間記録部４０２は、ＶＧＡ信号ＯＮ／ＯＦＦ検出部４０１によって検出されたＶＧＡ信号のＯＮ／ＯＦＦ（オン／オフ）状態の開始時刻を記録する。さらに後述する変化画像抽出部４０４で抽出された変化画像の取得時間、発表交替判定部４１０で発表交替が生じたと判定された場合の発表交替時間を計時し、記録する。
【００２９】
画像サンプリング部４０３は、本発明の取得手段の一例であって、ＶＧＡ信号が検出された場合に、規定の時間周期でＶＧＡ信号を取得し、信号をデジタル化したうえで画像を形成し、図示しない記憶領域に一時的に保存する。
変化画像抽出部４０４は、画像サンプリング部４０３で新しく形成された画像とその直前に抽出された画像とを比較し、両者に違いがある場合には、新しく形成された画像を格納対象画像として選択する。
【００３０】
テキスト情報抽出部４０５は、本発明の抽出手段の一例であって、格納対象画像として選択された文書画像に対して文字認識処理（ＯＣＲ）を適用することによってテキスト情報を抽出する。なお、この処理は、テキスト情報にもとづいて記録蓄積した文書画像の検索や、文書画像に記載された発表者の氏名や発表の題目（タイトル）を分類された文書画像群に索引として付与するために行なうものである。
【００３１】
サムネイル生成部４０６は、格納対象画像として選択された文書画像のサムネイル画像を生成する。
インデックスファイル作成部４０７は、格納対象画像とその取得時間、発表交替とそれが生じた時間、格納対象画像から抽出したテキスト情報、さらにサムネイル画像などを関連付けたインデックスファイルを作成する（ファイル構成については後述する）。
【００３２】
発表交替判定部４１０は、本発明の判断手段の一例であって、ＶＧＡ信号ＯＮ／ＯＦＦ検出部４０１で検出されたＶＧＡ信号ＯＮ／ＯＦＦ状態とそれらの時間情報にもとづいて発表交替の有無を判定する。すなわち、ＶＧＡ信号がＯＮ状態からＯＦＦ状態への変化（信号停止変化）と、その後のＯＦＦ状態からＯＮ状態への変化（信号再開変化）の２つの変化が観察された場合に発表交替が生じたと判定される。なお、信号停止変化から次に起こる信号再開変化の間隔時間を計時して、それがある時間的な閾値の範囲内（たとえば１０分間）で信号停止変化と信号再開変化の２つの変化が観察された場合に発表交替が生じたと判定するが、閾値を超えた範囲で信号停止変化と信号再開変化の２つの変化が観察された場合には新たな会議が開始されそこで発表資料が表示されたと判定するように定義することも可能である。発表交替判定部４１０は、発表交替が生じたと判定した場合にはその発表交替イベントとその時間（信号停止時刻と信号再開時刻）を記録し、その情報を、発表交代識別画像生成部４１１に送る。
【００３３】
発表交代識別画像生成部４１１は、本発明の分類手段の一例であって、発表の交代を明示する画像を作成する。この画像は、例えば、「ここで発表者が替わりました」といったメッセージを含んだ画像でよく、これらを逐次的に取得された文書画像のサムネイル画像に挟み込んで表示することによって、発表の区切りをユーザが一目で把握できるようにする。
【００３４】
データ格納部４０８は、変化画像抽出部４０４において抽出した文書画像、サムネイル生成部４０６において生成されたサムネイル画像、発表交替識別画像生成部４１１で生成された発表交替識別画像、インデックスファイル作成部４０７で作成されたインデックスファイルなどの情報を格納する。
【００３５】
ネットワークＩＦ部４０９は、表示画面記録装置４をインターネットなどのネットワークへ接続するインタフェースである。ユーザは、各自のコンピュータからここで述べた表示画面記録装置４のＵＲＬを指定し、装置内のデータ格納部４０８に格納された情報にアクセスし、それらを表示することができる。
【００３６】
本実施形態におけるインデックスファイルの例を次に説明する。
図４に、インデックスファイル作成部４０７で作成されるインデックスファイルの構成例を示す。表中Ｒｓｔａｒｔ（イベントＩＤ０００１）は、本発明の表示画面記録装置の本体スイッチがＯＮにされ、最初にＶＧＡ信号が検出された場合に記録される。イベントが発生するたびに、インデックスファイルはイベントデータがデータ領域に加えられ更新される。
【００３７】
本実施形態におけるプレゼンテーションの交替（発明者単位の文書画像の区切り）を明示したサムネイル画像の表示例について説明する。
図５は、インターネットを介してユーザに提供される文書画像の表示例である。記録順にしたがってサムネイル画像を左上から右下にかけて横並びで配列するともに、発表者が交代した場所に「発表者が替わりました」という発表交替識別画像が挿入されている。このような表示を行なえば、どの文書からどの文書までが同じプレゼンテーションに含まれるのかを容易に識別することができる。もちろん、サムネイル画像をクリックすれば、画像を拡大表示してみることができる点は、既存の技術と同様である。
【００３８】
なお、この表示例は一例にすぎず、例えば、発表交替識別画像を挿入することなく、サムネイル画像の縁の色やサムネイル画像の背景色をプレゼンテーションごとに変えたり、発表ごとにサムネイル画像を配列しなおしたりしてもよい。
【００３９】
これまで述べてきた実施形態では、取得した文書画像を発表単位（発表者単位）で区分して表示するものであった。ここで、発表単位に分離された各文書画像群に、発表者の氏名と発表の題目（プレゼンテーションのタイトル）を属性情報として付与することができれば、これらの属性情報にもとづく検索や分類が可能となり、さらにサムネイル画像にマウスポインターをあわせるだけでこれらの属性情報を表示することができたりして便利である。以下では、文書画像から発表者の氏名と発表の題目を抽出して発表単位に分離された各文書画像群に付与するように改良した表示画面記録装置について簡単に説明する。
【００４０】
図６は、改良した文書画像取得装置（表示画面記録装置４Ｂ）の機能ブロック図である。なお、図３に示される文書画像取得装置の各部と同様の構成には同一符号を付し、その説明を省略する。
ＶＧＡ信号のＯＮ／ＯＦＦ状態の変化からプレゼンテーションの際に表示された文書を発表単位ごとに分類する方法は、上述した表示画面記録装置４で説明した方法と同じである。
【００４１】
次にタイトル・発表者氏名抽出処理の流れについて説明する。
タイトル・発表者氏名抽出部４１２は、本発明の第１又は第２の抽出手段の一例であって、データ格納部４０８に蓄積された発表単位で分離された文書画像群ごとに、発表の題目と発表者氏名を抽出する処理を行なう。プレゼンテーション文書は、他の文書と異なり表紙とそれ以外のページの書式が異なり、典型的には、タイトルは表紙の文書画像上の中央やや上部領域に最も大きな文字列で記載されるが、表紙以外の文書ページでは、セクションタイトルが文書画像の上部に最も大きな文字列で記載される。
【００４２】
したがって、この書式上の違いを利用して表紙を検出した後、そこからタイトルを抽出することができる。発表者の氏名の抽出は、タイトルが抽出された文書画像に対してインデキシング（索引情報付与）されたテキスト情報を名前（姓・名）の辞書と照合することで検出できる。以下にその処理の流れを説明する。
【００４３】
Ｓｔｅｐ１．
ＣＰＵは、同じ発表として分類された文書群から最初に表示された文書画像を選択する。
Ｓｔｅｐ２.
ＣＰＵは、文書画像から一行ごとに分離された文字列矩形をすべて抽出して、それらの高さを計測し、高さが最大の文字列矩形を選択する。
Ｓｔｅｐ３.
ＣＰＵは、文書画像内の最大の文字列矩形の位置情報（左上点の座標と右下点の座標）を獲得する。
Ｓｔｅｐ４.
ＣＰＵは、Ｓｔｅｐ３で獲得した２つの座標が、表紙のタイトル領域として規定された領域内にあるか、それ以外の領域にあるかを判定する。
Ｓｔｅｐ５.
ＣＰＵは、２つの座標が、表紙のタイトル領域として規定された領域内にあると判定された場合、その文書画像を表紙と判断し、Ｓｔｅｐ６に進む。表紙と判断されなかった場合には、次に表示された文書を選択して、Ｓｔｅｐ２からＳｔｅｐ５を繰り返す。すべての文書画像に対して処理を行なっても、表紙と判断される文書画像がなければ、タイトルがないことを示す識別情報を生成し、これを一時記憶に記録する。
【００４４】
Ｓｔｅｐ６.
ＣＰＵは、最大文字列矩形内の文字を抽出し、タイトルとして一時的に記憶する。
Ｓｔｅｐ７.
ＣＰＵは、タイトルが抽出された文書画像に対して付与されたすべてのテキスト情報（テキスト情報抽出部４０５で抽出済み）を名前辞書と照合し、照合した文字列を抽出する。名前辞書と照合するテキスト情報がなければ、発表者氏名が抽出されなかったことを示す識別情報を生成して、それを一時記憶に記録する。
Ｓｔｅｐ８．
ＣＰＵは、抽出した姓あるいは姓名の文字列に続いて、「コンマ（,）、点（、）、アンド（＆）」以外の文字が後続するか否かを調べ、後続する場合には、発表者氏名ではないと判定し、発表者氏名が抽出されなかったことを示す情報を生成して、それを一時的に記録する。一方、後続しなければ、発表者氏名であると判定し、抽出した文字列を発表者氏名として一時記憶に記録する。
【００４５】
次にインデックスファイル更新処理について説明する。
インデックスファイル更新処理部４１３は、本発明の付与手段の一例であって、以上述べたタイトル・発表者氏名抽出処理で一時記憶に記録された情報（タイトル情報、タイトルなし、発表者氏名、発表者氏名なし）を、同じ発表として分類された文書すべてに対して属性情報として付与する。これはインデックスファイルに、タイトルと発表者氏名に関する属性情報のデータエントリー欄を付加し、そこに上記の情報を書き込めばよい。
【００４６】
次に表示メッセージ作成部４１４について説明する。
表示メッセージ作成部４１４は、発表単位ごとに配列表示したサムネイル画像群が、それぞれ誰による、どのような演題についての発表資料かがわかるように、インデックスファイルに記録されたタイトルまたは発表者氏名を利用してユーザに明示するためのメッセージを作成して、データ格納部４０８に格納する。図示しない表示制御部は、これらのメッセージをサムネイル画像群に対応付けて表示する。図７はその表示例である。タイトルや発表者氏名の抽出についての従来技術については、冒頭で指摘した、これらの方法を利用してもよい。
【００４７】
（第２実施形態）
続いて、本発明の第２実施形態について説明する。
第２実施形態については、第１実施形態とは完全に別方式の発表交替の検出手法であり、そのポイントは、アジェンダや議事録に記載された会議書誌情報（会議名称、会議開催日時、会議場所、発表者と演題（プレゼンテーションのタイトル））を抽出した上で、プレゼンテーション中に取得した文書画像の文字情報と照合することで、発表交替直後の「先頭スライド」を同定するともに、発表者と演題を同じプレゼンテーションと見なされたスライド群に属性情報として付与するというものである。従来の方法が、文書画像という単一の情報源のみ利用して発表者と演題の抽出を試みてきたのに対して、ここではアジェンダや議事録を参照することで、抽出精度を高めた点に特徴がある。
【００４８】
図８に、第２実施形態における表示画面記録装置の基本構成図を示した。
１はＰＣである。３は表示装置である。５は第２実施形態の表示画面記録装置である。発表者用のＰＣ１の映像信号（ＲＧＢ信号）は信号分配器２を使って、表示装置３と表示画面記録装置５とに送られる。
【００４９】
表示装置３はＰＣ１から送られたＲＧＢ信号を画像化してスクリーンなどにその映像を投影する。一方、ＰＣ１から送られたＲＧＢ信号は、表示画面記録装置５の画像形成部５０１に送られ、ＲＧＢ画像が形成される。
【００５０】
画像形成部５０１は、一定周期（たとえば1秒ごと）に画像を形成していく。
変化画面検出部５０２は、新たに画像を形成するたびに直前に獲得した画像と比較し、２枚の画像に変化があるかどうかを検出する。変化があるかどうかの判定は、変化量があらかじめ設定した画素数（たとえば５０００画素）に及ぶか否かで判定すればよい。変化画面検出部５０２で変化が検出された画像は、データベース５０９に格納されるものとして、以下の一連の処理を受ける。
【００５１】
まず、タイムスタンプ部５０３で時間情報（年月日時分秒）が与えられる。つぎに、サムネイル生成部５０４で、画像形成部５０１で形成されたＲＧＢ画像にもとづいて、ブラウザーで表示する際のサムネイル（縮小画像）が生成される。メモリサイズを低減する目的で、フォーマット変換部５０５で、ＲＧＢ画像をＪＰＥＧ画像にフォーマット変換する。文字認識部５０６では、ＪＰＥＧ画像からテキスト情報を抽出し、例えば単語や形態素ごとに分節化する。レイアウト情報抽出部５０７では、文字認識部５０６で抽出された各単語や形態素がスライドのどこにあるのか、それらの位置座標（左上座標と右下座標）および文字サイズ情報を獲得する。
【００５２】
索引ファイル作成部５０８は、以上の一連の処理で獲得した情報を画像（ＩＤ）と対応付けたかたちの索引情報を作成し、データベース５０９に画像やサムネイルとともに格納する。Ｗｅｂサーバー５１０はデータベース内の情報をクライアントの要求に応じて通信網を介して配信する。
【００５３】
アジェンダ／議事録登録部５１１は、アジェンダや議事録をデータベース５０９に登録するためのユーザインターフェースである。議事録の登録は会議（発表）後であるが、アジェンダの場合、発表前の場合もありえる。この登録操作は、スライド画像の収録とは別の時期に行われる。図９に示すように、本実施形態の場合、メニュー画面を利用して、アジェンダ／議事録かの識別子をつけてデータ格納部に対して文書登録を行う。表示構成については説明しないが、登録されたアジェンダまたは議事録は、プレゼンテーション文書画像と同じ画面に表示され、参照することができる。
【００５４】
スライド分類情報自動付与部５１２は、アジェンダ／議事録登録部５１１によって登録されたアジェンダや議事録を利用して、すでにキャプチャされた画像（スライド）に対して分類情報（プレゼンテーションＩＤ、会議名称、会議室、プレゼンテーションのタイトル、発表者名などの会議書誌情報）を自動付与するための処理の実行指示をユーザが行うためのユーザインターフェースである。
【００５５】
本実施形態の場合、図９に示すように、メニュー内の項目内に「会議書誌情報を与える」という項目が用意され、利用者は、「マニュアル入力」「アジェンダを利用」「議事録を利用」の３つのオプションの一つを選択することができる。「アジェンダを利用」もしくは「議事録を利用」が選択された場合、データベース５０９に登録されたアジェンダや議事録のファイルリストが表示されて、それらのどれを利用して分類処理を行うかを指定するように要求する。
【００５６】
アジェンダ／議事録選定部５１３はそのためのユーザインターフェースを提供するとともに、ユーザによって選定されたアジェンダまたは議事録をデータベース５０９から検索し、テキスト情報抽出部５１４に送る。
【００５７】
テキスト情報抽出部５１４は、アジェンダや議事録からテキスト情報を抽出したうえで、テキスト情報を単語または形態素に分割する。
氏名／タイトル抽出部５１５は、テキスト情報抽出部５１４によって抽出されたテキスト情報から氏名／タイトルのペアを抽出する。
レイアウト情報抽出部５１６は、抽出した氏名／タイトルの文字サイズと位置情報を抽出する。これらの処理の流れについては後で述べる。
【００５８】
プレゼンテーションセグメンテーション処理部５１７は、キャプチャされたスライドからタイトルスライド（表紙スライド）を検出することで、スライドを発表者の交代に対応付けて区切るための処理を実行する部分で、氏名・タイトルを含むスライド抽出部５１７１、先頭スライド同定部５１７２、最後のスライド同定部５１７３の３つの部分からなる。
【００５９】
氏名・タイトルを含むスライド抽出部５１７１は、氏名／タイトル抽出部５１５によって抽出されたアジェンダもしくは議事録に記載された氏名とタイトルのペアを含むスライドをデータベース５０９から抽出する。
先頭スライド同定部５１７２は、氏名・タイトルを含むスライド検出部５１７１によって検出されたスライドが発表者が最初に表示した先頭スライドか否かを判定し、先頭スライドを同定する。
最後のスライド同定部５１７３は、先頭スライド同定部５１７２によって同定された先頭スライドが表示された時間情報にもとづいて最後のスライドを同定する。これらの処理の流れについては、後で詳しく説明する。
【００６０】
索引ファイル更新部５１８は、以上の処理で得た情報にもとづいて、各スライドの索引情報を更新する。詳しく述べれば、索引ファイル更新処理部５１８は、以下の索引ファイルの追加処理を行う。（１）アジェンダと対応付けられたすべてのスライドに対して、会議名称、会議開催場所などの情報を追加する。（２）先頭スライド抽出処理によって抽出された各「先頭スライド」の時間情報（提示開始時刻）にもとづいて、記録されたスライド画像をプレゼンテーションごとに分離し（各発表の最後のスライドは、次の先頭スライドの直前のスライドと見なす）、各プレゼンテーションに属するスライド画像に特定のプレゼンテーション識別子を与える。（３）同じプレゼンテーション識別子が与えられたスライドに発表者氏名、プレゼンテーションのタイトル（議題）をインデックスファイルに付加する。（４）各「先頭スライド」に対して先頭スライド識別子を与える。
【００６１】
ここで、上述した氏名／タイトルのペアを含むスライド分類情報（会議書誌情報）の抽出処理の流れについて図１０を参照して説明する。
図１０は、アジェンダを利用して会議書誌情報を抽出するための処理の流れを概略的に示したものである。
概略を述べれば、アジェンダに対してなされたレイアウト解析結果（文字矩形枠の相対位置）にしたがって、それに近似した書誌情報抽出用テンプレートを選択して文字情報を抽出し、抽出された文字に対して識別／判定ルールを使って、抽出すべき書誌情報か否か、書誌情報のタイプを決定する。
【００６２】
プレゼンテーションセグメンテーション処理部５１７は、以上述べたアジェンダに対する会議書誌情報抽出処理によって抽出されたタイトルと発表者名称のペアを含むスライド（文書画像）を検出することによって、各プレゼンテーションの先頭スライド（表紙スライド）を同定する。すなわち、図１１に示すように、各スライドのテキスト情報はＯＣＲによってすでに抽出されてインデックスファイルとして格納されているので、これらのインデックスファイルの情報と、アジェンダに対する会議書誌情報抽出処理によって抽出されたタイトルと発表者名称のペアとをマッチングすることで、先頭スライドを抽出することができる。
【００６３】
先頭スライドを同定する処理の流れを説明すると、以下のようになる。
Ｓｔｅｐ１．
ＣＰＵは、アジェンダから抽出した会議書誌情報から、議題（Ｔｎ）と名前（Ｎｎ）のペアをすべて検出するとともに（図１１の例では、「｛電子ペーパー、磯村隆｝、｛光インターコネクション、原田義男｝・・・・｛次世代環境技術、大山昭｝」、ペアの総数をカウントする。
Ｓｔｅｐ２．
ＣＰＵは、議題（Ｔｎ）と名前（Ｎｎ）の各ペアと、各スライド画像の索引（インデックス）情報と順次照合していき、マッチした議題と名前の個数をカウントする（スライド１＝議題０、名前０、スライド２＝議題１、名前１・・・・・）
【００６４】
Ｓｔｅｐ３．
（Ａ）ＣＰＵは、Ｓｔｅｐ２で、議題と名前のペアの数がＳｔｅｐ１でカウントされたペアの総数と一致したスライド画像があれば（あるいは、完全に一致しなくても所定の閾値を超えた場合）、それを「アジェンダ」のスライドと見なし、「アジェンダスライド」の識別子を与えた上で、後の分析から除去する。
（Ｂ）ＣＰＵは、Ｓｔｅｐ２で、議題と名前のペアが１組のみ含まれていると判定されたスライド（議題＝１、名前＝１のスライド）、または議題と名前のペアのいずれかが含まれていると判断されたスライド（議題＝０、名前＝１のスライド、または議題＝１、名前＝０のスライド）を「先頭スライド」候補として抽出し、Ｓｔｅｐ４に進む。
【００６５】
Ｓｔｅｐ４．
ＣＰＵは、（Ｂ）の処理で抽出されたスライド画像が１枚だけならば、それを「先頭スライド」と判定する。ＳＴＥＰ３（Ｂ）の処理で２つ以上のスライドが抽出された場合、時間情報を比較し、提示時間の最も早いスライドを「先頭スライド」と判定する。
【００６６】
以上の処理を利用すれば、図１２に示すように、アジェンダや議事録の記載内容を、スライド群の記載内容と、同じテキスト情報を介して対応付けて表示することが可能になる。これはアジェンダや議事録の記述内容に対応したスライドを迅速に表示したり、対応関係をハイライト機能などで明示したりできて便利である。なお、以上の説明では、スライド表示中に行なわれた発表者の説明音声の取得や再生については記述していないが、音声記録再生機能をもつ表示画面記録再生装置にもここで述べた方法は当然適用できる。
【００６７】
以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【産業上の利用可能性】
【００６８】
以上説明したように、本発明によれば、文書書式よらず、文書を精度良く発表者単位に分類することができ、産業上の利用可能性が高い。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１実施形態に係る文書画像取得装置のシステム構成図である。
【図２】発表者単位での文書画像の区切りを説明する図である。
【図３】本発明の第１実施形態に係る文書画像取得装置の内部構成図である。
【図４】インデックスファイルの構成例を示す図である。
【図５】文書画像の表示例である。
【図６】第１実施形態の変形例の内部構成図である。
【図７】発表単位毎に識別された配列表示したサムネイル群を示す図である。
【図８】本発明の第２実施形態に係る文書画像取得装置の内部構成図である。
【図９】アジェンダ等の登録メニュー等を示す図である。
【図１０】アジェンダを利用して会議書誌情報を抽出するための処理の流れを概略的に示す図である。
【図１１】キーワードマッチング処理を説明する図である。
【図１２】アジェンダや議事録の記載内容をスライド群の記載内容と同じテキスト情報を介して対応付けて表示する例を示す図である。
【符号の説明】
【００７０】
１：ＰＣ
２：信号分配器
３：表示装置
４、５：表示画面記録装置
４０１：ＶＧＡ信号ＯＮ／ＯＦＦ検出部
４０２：時間記録部
４０３：画像サンプリング部
４０４：変化画像抽出部
４０５：テキスト情報抽出部
４０６：サムネイル生成部
４０７：インデックスファイル作成部
４０８：データ格納部
４０９：ネットワークＩ／Ｆ部
４１０：発表交代判定部
４１１：発表交代識別画像生成部
４１２：タイトル・発表者氏名抽出部
４１３：インデックスファイル更新処理部
４１４：表示メッセージ作成部
５０１：画像形成部
５０２：変化画像検出部
５０３：タイムスタンプ部
５０４：サムネイル生成部
５０５：フォーマット変換部
５０６：文字認識部
５０７：レイアウト情報抽出部
５０８：索引ファイル作成部
５０９：データベース
５１０：Ｗｅｂサーバー
５１１：アジェンダ／議事録登録部
５１２：スライド分類情報自動付与指示部
５１３：アジェンダ／議事録選定部
５１４：テキスト情報抽出部
５１５：氏名／タイトルペア抽出部
５１６：レイアウト情報抽出部
５１７：プレゼンテーションセグメンテーション処理部
５１７１：氏名・タイトルを含むスライド抽出部
５１７２：先頭スライド同定部
５１７３：最後のスライド同定部
５１８：索引ファイル更新部
【技術分野】
【０００１】
本発明は、広くは文書画像管理システムに係る。より詳しくは、プレゼンテーション文書画像取得装置等を使用して画像データとして取得されたプレゼンテーション文書画像を個々のプレゼンテーションごとに分類するとともに、分類された文書画像に対してプレゼンテーションのタイトルと発表者氏名を索引情報として付与することで、これらの索引情報にもとづく文書画像の識別や選択的表示ができるプレゼンテーション文書画像取得装置に関する。
【背景技術】
【０００２】
会議などで行なわれるプレゼンテーションでは、しばしば、複数の発表者によってそれぞれ複数のプレゼンテーション文書（スライド）が表示される。通常、これらの会議資料は、プロジェクターなどを介してその場で表示されるだけであり、再度その内容を参照したい場合には、発表者に頼んでオリジナルのプレゼンテーション文書を提供してもらう必要がある。
【０００３】
プレゼンテーション文書画像取得装置（以下、単に文書画像取得装置という。）は、発表者のＰＣからプロジェクターなどに送出される映像信号を分配器を用いて横取りすることによって、発表者のＰＣモニター上の映像と同じ映像を画像データとして形成取得するものである。この装置を利用すれば、画像データという制約はあるが、プレゼンテーション資料を自動的に取得・蓄積できるので便利である。
【０００４】
しかし、プレゼンテーションが、複数の発表者によってなされる場合には多数の文書画像が蓄積されるため、それらのサムネイル画像が表示されても個々の文書画像が誰によって表示されたのか、またどのようなタイトルに関連するものかを把握するのが容易ではないという問題があった。このため、従来、人手により文書画像をプレゼンテーション単位ごとに分類したうえで、それらにタイトルと発表者氏名を索引情報として付与することが多かった。しかし、対象となる文書画像が大量にある場合には、ユーザにとってたいへんな労力を要するという問題があった。
【０００５】
ここでは２つの作業の自動化が望まれる。第１は、蓄積された文書画像を発表ごとに区分けする作業である。第２は、発表者あるいは話題ごとに区分けされた文書画像群に対して、発表者氏名やタイトルを索引付ける作業である。文書画像取得装置に対して直接適用された技術ではないが、これら２つの作業の自動化に対して以下のような従来技術が適用可能である。
【０００６】
プレゼンテーション単位でのセグメント化技術としては下記のようなものがある。
（ａ）ひとまとまりのプレゼンテーションは連続的な文書表示からなり、次のプレゼンテーションが開始されるまでに一定の時間間隔があることに着目し、表示文書間の時間間隔が一定以上ある場合に、そこをプレゼンテーションの区切りと見なして分類する。
（ｂ）プレゼンテーションソフトの起動操作とその操作が行なわれた時間を記録して、操作を表示文書と関連付ける（特許文献１参照）。
（ｃ）プレゼンテーション文書の先頭ページは通常表紙であることに着目し、タイトル抽出処理やレイアウト情報を利用して表紙か否かの識別処理を行なう。識別関数を獲得するために、遺伝的アルゴリズム、ニューラルネット、判別分析を利用する（特許文献２参照）。そして、識別された表紙に基づいて文書をプレゼンテーション単位で分割する。
（ｄ）スケジュール管理ツール等に記載されたタイムスケジュールによってプレゼンテーションをセグメント化する。
（ｅ）プレゼンテーション文書は、発表者ごとに異なる書式（デザインテンプレート）を使用する場合が多いことに着目して、共通の書式をもった文書画像群をひとまとまりのプレゼンテーション文書として判定する。
【０００７】
タイトルや発表者氏名などの抽出技術としては下記のものがある。
（ａ）タイトルなどの領域が固定されている文書を対象とし、固定領域の文字列をタイトルとして抽出する（特許文献３参照）。
（ｂ）色マーカや縁取りなどで抽出すべき文字列をマーキングして、マーキングされた領域をＯＣＲで抽出する（特許文献４参照）。
（ｃ）認識対処のレイアウト構造と「タイトル」、「著者」、「本文」などの論理構造の対応関係を表現する構造モデルを規定しておき、文書画像の領域分割結果と構造モデルをマッチングさせて、「タイトル」、「著者」、「本文」領域を識別抽出する（特許文献５参照）。
（ｄ）文字及び文字列を囲む矩形枠の諸特徴から「タイトルらしさ」を算定し、閾値を超えたものをタイトルとして抽出する（特許文献６参照）。
【特許文献１】特開２００２−１０９０９９号
【特許文献２】特開２００１−２８０４１号
【特許文献３】特開昭６４−４６８７３号
【特許文献４】特開平１-１５０９６４号
【特許文献５】特開平５-３４２３２６号
【特許文献６】特開平９-１３４４０６号
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の第１の目的は、文書画像取得装置等を用いて画像データとして取得されたプレゼンテーション等の文書画像を、どのような文書書式をもった文書でも発表ごとに精度良く分類することができる文書画像取得装置を提供することにある。
【０００９】
本発明の第２の目的は、分類された文書画像に対して発表者単位に索引情報を精度良く付与することができる文書画像取得装置を提供することにある。
【課題を解決するための手段】
【００１０】
課題を解決するために、本発明の第１の態様の文書画像取得装置は、発表者の説明の進行に応じて表示内容が変化する文書の表示出力信号に基づいて文書画像を取得する取得手段と、表示出力信号の有無を検出する検出手段と、検出手段の検出結果に基づいて、取得手段で取得した文書画像に対し発表者単位の文書画像の区切りを判断する判断手段とを具備する。
【００１１】
本発明の第２の態様の文書画像取得装置は、第１の態様の判断手段の判断結果に基づいて取得手段で取得した文書画像を分類する分類手段を具備するものである。
【００１２】
本発明の第３の態様の文書画像取得装置は、第２の態様の分類手段は、文書画像に対する、発表者単位での区切りを示す画像を文書画像間に挿入することを特徴とするものである。
【００１３】
本発明の第４の態様の文書画像取得装置は、第２の態様の分類手段は、発表者単位の文書画像群と他の発表者単位の文書画像群との区切りを識別することを特徴とするものである。
【００１４】
本発明の第５の態様の文書画像取得装置は、第１の態様の取得手段で取得した文書画像から発表者単位の属性情報を抽出する抽出手段と、抽出手段で抽出した属性情報を分類手段の分類結果の文書画像群に索引情報として付与する付与手段とを具備するものである。
【００１５】
本発明の第６の態様の文書画像取得装置は、発表者の説明の進行に応じて表示内容が変化する文書の表示出力信号に基づいて文書画像を取得する取得手段と、会議開催情報及び議事録の少なくとも１つを入力する入力手段と、入力手段の入力内容から発表者名及びタイトル名の少なくとも一方を含む発表者単位の属性情報を抽出する第１の抽出手段と、第１の抽出手段の抽出結果に基づいて、取得手段で取得した文書画像に対し発表者単位の文書画像の区切りを判断する判断手段とを具備するものである。
【００１６】
本発明の第７の態様の文書画像取得装置は、第６の態様の判断手段の判断結果に基づいて取得手段で取得した文書画像を分類する分類手段を具備するものである。
【００１７】
本発明の第８の態様の文書画像取得装置は、取得手段で取得した文書画像から発表者名及びタイトル名の少なくとも一方を含む発表者単位の属性情報を抽出する第２の抽出手段と、抽出手段で抽出した属性情報を分類手段の分類結果の文書画像群に索引情報として付与する付与手段とを具備するものである。
【００１８】
本発明の第９の態様の文書画像取得装置は、第１の態様乃至第８の態様における文書画像がスライド画像であるものである。
【発明の効果】
【００１９】
本発明の第１及び第６の態様の構成によれば、文書書式よらず、発表者ごとに区切ることができるので、精度良く発表者単位に分類することが可能となる。第５及び第８の態様の構成によれば、分類された文書画像に対して発表者単位に索引情報を精度良く付与することができる。
【発明を実施するための最良の形態】
【００２０】
（第１実施形態）
以下、本発明の最良の実施形態について図面を参照して説明する。
本発明の第１実施形態に係る文書画像取得装置は、文書画像取得装置によって取得された文書画像群を、発表単位で（発表の開始から発表終了まで）区分するための装置である。まず、本発明の第１実施形態に係る文書画像取得装置について概説する。
【００２１】
第１実施形態に係る文書画像取得装置（表示画面記録装置）４は、発表者のパーナルコンピュータ（ＰＣ）のディスプレイに表示された画面イメージ、即ち表示出力信号（映像信号、例えばＲＧＢ信号）を取り込んで記録する装置である。図１では、表示画面記録装置４と記載されている。図１に示すように、プレゼン用ＰＣ１からプロジェクターなどの表示装置３に送出するＲＧＢ信号を、信号分配器２で分配して表示画面記録装置４に取り込む。後で詳しく説明するが、表示画面記録装置内でＲＧＢ信号から画面イメージを形成し、それを保存することができる（詳細は、特開２００６-１２７５１８号を参照）。
【００２２】
発表交替を識別する手法、即ち発表者単位の文書画像の区切りを識別するための手法について説明する。
図２は、発表交替の識別（発表者単位の文書画像の区切りの識別）を説明するための図である。
一般に、会議などでプレゼンテーション（説明）を行なう場合、発表者は作成済みの発表資料を自分のノートＰＣのディスプレイ上に表示し、これを会議に参加した人たちに表示するために自分のノートＰＣとプロジェクターとをＶＧＡケーブルで接続してから外部の表示装置３への表示命令を実行して、ＲＧＢ信号を表示装置３に送出して表示装置３で表示させる。
【００２３】
自分の持ち込みノートＰＣ１でプレゼンテーションを行なう場合は、このように表示装置３とＰＣ１とのケーブル接続、もしくはワイヤレス接続の作業を伴う。図２では３名の発表者（甲、乙、丙）が自分の持ち込みノートＰＣを使って順次発表を行なっている様子を示しているが、このときのＶＧＡ信号（ＲＧＢ信号）の状態は、発表者甲の発表が終了した時点（ｔ１）と発表者乙の発表が開始される時点（ｔ２）までの期間は、停止状態になる。
【００２４】
同様に、発表者甲の発表が終了した時点（ｔ３）と発表者丙の発表が開始される時点（ｔ４）までの期間は、停止状態になる。このようにＶＧＡ信号の停止状態を検出して記録すれば、発表交替に対応づけて、表示画面記録装置によって記録蓄積された文書画像を区切ることが可能となる。
【００２５】
即ち、これらの停止状態中に発表交替が行なわれたとすれば、ｔ０からｔ１までの期間に取得された文書画像は発表者甲に、ｔ２からｔ３までの期間に取得された文書画像は発表者乙に、ｔ４からｔ５までの期間に取得された文書画像は発表者丙に対応付けることができる。
【００２６】
図２に示すように、ＲＧＢ信号の停止状態（一定時間内）が検出された場合に、そこで発表交替が行なわれたことを明示するために、区切り画像などを生成して、文書画像とともに記録蓄積することも可能である。
【００２７】
本実施形態係る文書画像取得装置（表示画面記録装置）の詳細構成を説明する。
図３に本発明の実施形態に係る表示画面記録装置４の基本構成を示す。ここで、図３において説明する各機能ブロックは、ＣＰＵ等の処理装置あるいはそこで実行されるプログラム、およびＤＲＡＭ等の半導体記憶装置やハードディスク等の記憶装置等により実現される。以下の説明においても同様とする。
【００２８】
ＶＧＡ信号ＯＮ／ＯＦＦ検出部４０１は、本発明の検出手段の一例であって、図示しないＶＧＡ信号分配器から分配されて送信されるＶＧＡ信号のＯＮ／ＯＦＦ状態を検出する。
時間記録部４０２は、ＶＧＡ信号ＯＮ／ＯＦＦ検出部４０１によって検出されたＶＧＡ信号のＯＮ／ＯＦＦ（オン／オフ）状態の開始時刻を記録する。さらに後述する変化画像抽出部４０４で抽出された変化画像の取得時間、発表交替判定部４１０で発表交替が生じたと判定された場合の発表交替時間を計時し、記録する。
【００２９】
画像サンプリング部４０３は、本発明の取得手段の一例であって、ＶＧＡ信号が検出された場合に、規定の時間周期でＶＧＡ信号を取得し、信号をデジタル化したうえで画像を形成し、図示しない記憶領域に一時的に保存する。
変化画像抽出部４０４は、画像サンプリング部４０３で新しく形成された画像とその直前に抽出された画像とを比較し、両者に違いがある場合には、新しく形成された画像を格納対象画像として選択する。
【００３０】
テキスト情報抽出部４０５は、本発明の抽出手段の一例であって、格納対象画像として選択された文書画像に対して文字認識処理（ＯＣＲ）を適用することによってテキスト情報を抽出する。なお、この処理は、テキスト情報にもとづいて記録蓄積した文書画像の検索や、文書画像に記載された発表者の氏名や発表の題目（タイトル）を分類された文書画像群に索引として付与するために行なうものである。
【００３１】
サムネイル生成部４０６は、格納対象画像として選択された文書画像のサムネイル画像を生成する。
インデックスファイル作成部４０７は、格納対象画像とその取得時間、発表交替とそれが生じた時間、格納対象画像から抽出したテキスト情報、さらにサムネイル画像などを関連付けたインデックスファイルを作成する（ファイル構成については後述する）。
【００３２】
発表交替判定部４１０は、本発明の判断手段の一例であって、ＶＧＡ信号ＯＮ／ＯＦＦ検出部４０１で検出されたＶＧＡ信号ＯＮ／ＯＦＦ状態とそれらの時間情報にもとづいて発表交替の有無を判定する。すなわち、ＶＧＡ信号がＯＮ状態からＯＦＦ状態への変化（信号停止変化）と、その後のＯＦＦ状態からＯＮ状態への変化（信号再開変化）の２つの変化が観察された場合に発表交替が生じたと判定される。なお、信号停止変化から次に起こる信号再開変化の間隔時間を計時して、それがある時間的な閾値の範囲内（たとえば１０分間）で信号停止変化と信号再開変化の２つの変化が観察された場合に発表交替が生じたと判定するが、閾値を超えた範囲で信号停止変化と信号再開変化の２つの変化が観察された場合には新たな会議が開始されそこで発表資料が表示されたと判定するように定義することも可能である。発表交替判定部４１０は、発表交替が生じたと判定した場合にはその発表交替イベントとその時間（信号停止時刻と信号再開時刻）を記録し、その情報を、発表交代識別画像生成部４１１に送る。
【００３３】
発表交代識別画像生成部４１１は、本発明の分類手段の一例であって、発表の交代を明示する画像を作成する。この画像は、例えば、「ここで発表者が替わりました」といったメッセージを含んだ画像でよく、これらを逐次的に取得された文書画像のサムネイル画像に挟み込んで表示することによって、発表の区切りをユーザが一目で把握できるようにする。
【００３４】
データ格納部４０８は、変化画像抽出部４０４において抽出した文書画像、サムネイル生成部４０６において生成されたサムネイル画像、発表交替識別画像生成部４１１で生成された発表交替識別画像、インデックスファイル作成部４０７で作成されたインデックスファイルなどの情報を格納する。
【００３５】
ネットワークＩＦ部４０９は、表示画面記録装置４をインターネットなどのネットワークへ接続するインタフェースである。ユーザは、各自のコンピュータからここで述べた表示画面記録装置４のＵＲＬを指定し、装置内のデータ格納部４０８に格納された情報にアクセスし、それらを表示することができる。
【００３６】
本実施形態におけるインデックスファイルの例を次に説明する。
図４に、インデックスファイル作成部４０７で作成されるインデックスファイルの構成例を示す。表中Ｒｓｔａｒｔ（イベントＩＤ０００１）は、本発明の表示画面記録装置の本体スイッチがＯＮにされ、最初にＶＧＡ信号が検出された場合に記録される。イベントが発生するたびに、インデックスファイルはイベントデータがデータ領域に加えられ更新される。
【００３７】
本実施形態におけるプレゼンテーションの交替（発明者単位の文書画像の区切り）を明示したサムネイル画像の表示例について説明する。
図５は、インターネットを介してユーザに提供される文書画像の表示例である。記録順にしたがってサムネイル画像を左上から右下にかけて横並びで配列するともに、発表者が交代した場所に「発表者が替わりました」という発表交替識別画像が挿入されている。このような表示を行なえば、どの文書からどの文書までが同じプレゼンテーションに含まれるのかを容易に識別することができる。もちろん、サムネイル画像をクリックすれば、画像を拡大表示してみることができる点は、既存の技術と同様である。
【００３８】
なお、この表示例は一例にすぎず、例えば、発表交替識別画像を挿入することなく、サムネイル画像の縁の色やサムネイル画像の背景色をプレゼンテーションごとに変えたり、発表ごとにサムネイル画像を配列しなおしたりしてもよい。
【００３９】
これまで述べてきた実施形態では、取得した文書画像を発表単位（発表者単位）で区分して表示するものであった。ここで、発表単位に分離された各文書画像群に、発表者の氏名と発表の題目（プレゼンテーションのタイトル）を属性情報として付与することができれば、これらの属性情報にもとづく検索や分類が可能となり、さらにサムネイル画像にマウスポインターをあわせるだけでこれらの属性情報を表示することができたりして便利である。以下では、文書画像から発表者の氏名と発表の題目を抽出して発表単位に分離された各文書画像群に付与するように改良した表示画面記録装置について簡単に説明する。
【００４０】
図６は、改良した文書画像取得装置（表示画面記録装置４Ｂ）の機能ブロック図である。なお、図３に示される文書画像取得装置の各部と同様の構成には同一符号を付し、その説明を省略する。
ＶＧＡ信号のＯＮ／ＯＦＦ状態の変化からプレゼンテーションの際に表示された文書を発表単位ごとに分類する方法は、上述した表示画面記録装置４で説明した方法と同じである。
【００４１】
次にタイトル・発表者氏名抽出処理の流れについて説明する。
タイトル・発表者氏名抽出部４１２は、本発明の第１又は第２の抽出手段の一例であって、データ格納部４０８に蓄積された発表単位で分離された文書画像群ごとに、発表の題目と発表者氏名を抽出する処理を行なう。プレゼンテーション文書は、他の文書と異なり表紙とそれ以外のページの書式が異なり、典型的には、タイトルは表紙の文書画像上の中央やや上部領域に最も大きな文字列で記載されるが、表紙以外の文書ページでは、セクションタイトルが文書画像の上部に最も大きな文字列で記載される。
【００４２】
したがって、この書式上の違いを利用して表紙を検出した後、そこからタイトルを抽出することができる。発表者の氏名の抽出は、タイトルが抽出された文書画像に対してインデキシング（索引情報付与）されたテキスト情報を名前（姓・名）の辞書と照合することで検出できる。以下にその処理の流れを説明する。
【００４３】
Ｓｔｅｐ１．
ＣＰＵは、同じ発表として分類された文書群から最初に表示された文書画像を選択する。
Ｓｔｅｐ２.
ＣＰＵは、文書画像から一行ごとに分離された文字列矩形をすべて抽出して、それらの高さを計測し、高さが最大の文字列矩形を選択する。
Ｓｔｅｐ３.
ＣＰＵは、文書画像内の最大の文字列矩形の位置情報（左上点の座標と右下点の座標）を獲得する。
Ｓｔｅｐ４.
ＣＰＵは、Ｓｔｅｐ３で獲得した２つの座標が、表紙のタイトル領域として規定された領域内にあるか、それ以外の領域にあるかを判定する。
Ｓｔｅｐ５.
ＣＰＵは、２つの座標が、表紙のタイトル領域として規定された領域内にあると判定された場合、その文書画像を表紙と判断し、Ｓｔｅｐ６に進む。表紙と判断されなかった場合には、次に表示された文書を選択して、Ｓｔｅｐ２からＳｔｅｐ５を繰り返す。すべての文書画像に対して処理を行なっても、表紙と判断される文書画像がなければ、タイトルがないことを示す識別情報を生成し、これを一時記憶に記録する。
【００４４】
Ｓｔｅｐ６.
ＣＰＵは、最大文字列矩形内の文字を抽出し、タイトルとして一時的に記憶する。
Ｓｔｅｐ７.
ＣＰＵは、タイトルが抽出された文書画像に対して付与されたすべてのテキスト情報（テキスト情報抽出部４０５で抽出済み）を名前辞書と照合し、照合した文字列を抽出する。名前辞書と照合するテキスト情報がなければ、発表者氏名が抽出されなかったことを示す識別情報を生成して、それを一時記憶に記録する。
Ｓｔｅｐ８．
ＣＰＵは、抽出した姓あるいは姓名の文字列に続いて、「コンマ（,）、点（、）、アンド（＆）」以外の文字が後続するか否かを調べ、後続する場合には、発表者氏名ではないと判定し、発表者氏名が抽出されなかったことを示す情報を生成して、それを一時的に記録する。一方、後続しなければ、発表者氏名であると判定し、抽出した文字列を発表者氏名として一時記憶に記録する。
【００４５】
次にインデックスファイル更新処理について説明する。
インデックスファイル更新処理部４１３は、本発明の付与手段の一例であって、以上述べたタイトル・発表者氏名抽出処理で一時記憶に記録された情報（タイトル情報、タイトルなし、発表者氏名、発表者氏名なし）を、同じ発表として分類された文書すべてに対して属性情報として付与する。これはインデックスファイルに、タイトルと発表者氏名に関する属性情報のデータエントリー欄を付加し、そこに上記の情報を書き込めばよい。
【００４６】
次に表示メッセージ作成部４１４について説明する。
表示メッセージ作成部４１４は、発表単位ごとに配列表示したサムネイル画像群が、それぞれ誰による、どのような演題についての発表資料かがわかるように、インデックスファイルに記録されたタイトルまたは発表者氏名を利用してユーザに明示するためのメッセージを作成して、データ格納部４０８に格納する。図示しない表示制御部は、これらのメッセージをサムネイル画像群に対応付けて表示する。図７はその表示例である。タイトルや発表者氏名の抽出についての従来技術については、冒頭で指摘した、これらの方法を利用してもよい。
【００４７】
（第２実施形態）
続いて、本発明の第２実施形態について説明する。
第２実施形態については、第１実施形態とは完全に別方式の発表交替の検出手法であり、そのポイントは、アジェンダや議事録に記載された会議書誌情報（会議名称、会議開催日時、会議場所、発表者と演題（プレゼンテーションのタイトル））を抽出した上で、プレゼンテーション中に取得した文書画像の文字情報と照合することで、発表交替直後の「先頭スライド」を同定するともに、発表者と演題を同じプレゼンテーションと見なされたスライド群に属性情報として付与するというものである。従来の方法が、文書画像という単一の情報源のみ利用して発表者と演題の抽出を試みてきたのに対して、ここではアジェンダや議事録を参照することで、抽出精度を高めた点に特徴がある。
【００４８】
図８に、第２実施形態における表示画面記録装置の基本構成図を示した。
１はＰＣである。３は表示装置である。５は第２実施形態の表示画面記録装置である。発表者用のＰＣ１の映像信号（ＲＧＢ信号）は信号分配器２を使って、表示装置３と表示画面記録装置５とに送られる。
【００４９】
表示装置３はＰＣ１から送られたＲＧＢ信号を画像化してスクリーンなどにその映像を投影する。一方、ＰＣ１から送られたＲＧＢ信号は、表示画面記録装置５の画像形成部５０１に送られ、ＲＧＢ画像が形成される。
【００５０】
画像形成部５０１は、一定周期（たとえば1秒ごと）に画像を形成していく。
変化画面検出部５０２は、新たに画像を形成するたびに直前に獲得した画像と比較し、２枚の画像に変化があるかどうかを検出する。変化があるかどうかの判定は、変化量があらかじめ設定した画素数（たとえば５０００画素）に及ぶか否かで判定すればよい。変化画面検出部５０２で変化が検出された画像は、データベース５０９に格納されるものとして、以下の一連の処理を受ける。
【００５１】
まず、タイムスタンプ部５０３で時間情報（年月日時分秒）が与えられる。つぎに、サムネイル生成部５０４で、画像形成部５０１で形成されたＲＧＢ画像にもとづいて、ブラウザーで表示する際のサムネイル（縮小画像）が生成される。メモリサイズを低減する目的で、フォーマット変換部５０５で、ＲＧＢ画像をＪＰＥＧ画像にフォーマット変換する。文字認識部５０６では、ＪＰＥＧ画像からテキスト情報を抽出し、例えば単語や形態素ごとに分節化する。レイアウト情報抽出部５０７では、文字認識部５０６で抽出された各単語や形態素がスライドのどこにあるのか、それらの位置座標（左上座標と右下座標）および文字サイズ情報を獲得する。
【００５２】
索引ファイル作成部５０８は、以上の一連の処理で獲得した情報を画像（ＩＤ）と対応付けたかたちの索引情報を作成し、データベース５０９に画像やサムネイルとともに格納する。Ｗｅｂサーバー５１０はデータベース内の情報をクライアントの要求に応じて通信網を介して配信する。
【００５３】
アジェンダ／議事録登録部５１１は、アジェンダや議事録をデータベース５０９に登録するためのユーザインターフェースである。議事録の登録は会議（発表）後であるが、アジェンダの場合、発表前の場合もありえる。この登録操作は、スライド画像の収録とは別の時期に行われる。図９に示すように、本実施形態の場合、メニュー画面を利用して、アジェンダ／議事録かの識別子をつけてデータ格納部に対して文書登録を行う。表示構成については説明しないが、登録されたアジェンダまたは議事録は、プレゼンテーション文書画像と同じ画面に表示され、参照することができる。
【００５４】
スライド分類情報自動付与部５１２は、アジェンダ／議事録登録部５１１によって登録されたアジェンダや議事録を利用して、すでにキャプチャされた画像（スライド）に対して分類情報（プレゼンテーションＩＤ、会議名称、会議室、プレゼンテーションのタイトル、発表者名などの会議書誌情報）を自動付与するための処理の実行指示をユーザが行うためのユーザインターフェースである。
【００５５】
本実施形態の場合、図９に示すように、メニュー内の項目内に「会議書誌情報を与える」という項目が用意され、利用者は、「マニュアル入力」「アジェンダを利用」「議事録を利用」の３つのオプションの一つを選択することができる。「アジェンダを利用」もしくは「議事録を利用」が選択された場合、データベース５０９に登録されたアジェンダや議事録のファイルリストが表示されて、それらのどれを利用して分類処理を行うかを指定するように要求する。
【００５６】
アジェンダ／議事録選定部５１３はそのためのユーザインターフェースを提供するとともに、ユーザによって選定されたアジェンダまたは議事録をデータベース５０９から検索し、テキスト情報抽出部５１４に送る。
【００５７】
テキスト情報抽出部５１４は、アジェンダや議事録からテキスト情報を抽出したうえで、テキスト情報を単語または形態素に分割する。
氏名／タイトル抽出部５１５は、テキスト情報抽出部５１４によって抽出されたテキスト情報から氏名／タイトルのペアを抽出する。
レイアウト情報抽出部５１６は、抽出した氏名／タイトルの文字サイズと位置情報を抽出する。これらの処理の流れについては後で述べる。
【００５８】
プレゼンテーションセグメンテーション処理部５１７は、キャプチャされたスライドからタイトルスライド（表紙スライド）を検出することで、スライドを発表者の交代に対応付けて区切るための処理を実行する部分で、氏名・タイトルを含むスライド抽出部５１７１、先頭スライド同定部５１７２、最後のスライド同定部５１７３の３つの部分からなる。
【００５９】
氏名・タイトルを含むスライド抽出部５１７１は、氏名／タイトル抽出部５１５によって抽出されたアジェンダもしくは議事録に記載された氏名とタイトルのペアを含むスライドをデータベース５０９から抽出する。
先頭スライド同定部５１７２は、氏名・タイトルを含むスライド検出部５１７１によって検出されたスライドが発表者が最初に表示した先頭スライドか否かを判定し、先頭スライドを同定する。
最後のスライド同定部５１７３は、先頭スライド同定部５１７２によって同定された先頭スライドが表示された時間情報にもとづいて最後のスライドを同定する。これらの処理の流れについては、後で詳しく説明する。
【００６０】
索引ファイル更新部５１８は、以上の処理で得た情報にもとづいて、各スライドの索引情報を更新する。詳しく述べれば、索引ファイル更新処理部５１８は、以下の索引ファイルの追加処理を行う。（１）アジェンダと対応付けられたすべてのスライドに対して、会議名称、会議開催場所などの情報を追加する。（２）先頭スライド抽出処理によって抽出された各「先頭スライド」の時間情報（提示開始時刻）にもとづいて、記録されたスライド画像をプレゼンテーションごとに分離し（各発表の最後のスライドは、次の先頭スライドの直前のスライドと見なす）、各プレゼンテーションに属するスライド画像に特定のプレゼンテーション識別子を与える。（３）同じプレゼンテーション識別子が与えられたスライドに発表者氏名、プレゼンテーションのタイトル（議題）をインデックスファイルに付加する。（４）各「先頭スライド」に対して先頭スライド識別子を与える。
【００６１】
ここで、上述した氏名／タイトルのペアを含むスライド分類情報（会議書誌情報）の抽出処理の流れについて図１０を参照して説明する。
図１０は、アジェンダを利用して会議書誌情報を抽出するための処理の流れを概略的に示したものである。
概略を述べれば、アジェンダに対してなされたレイアウト解析結果（文字矩形枠の相対位置）にしたがって、それに近似した書誌情報抽出用テンプレートを選択して文字情報を抽出し、抽出された文字に対して識別／判定ルールを使って、抽出すべき書誌情報か否か、書誌情報のタイプを決定する。
【００６２】
プレゼンテーションセグメンテーション処理部５１７は、以上述べたアジェンダに対する会議書誌情報抽出処理によって抽出されたタイトルと発表者名称のペアを含むスライド（文書画像）を検出することによって、各プレゼンテーションの先頭スライド（表紙スライド）を同定する。すなわち、図１１に示すように、各スライドのテキスト情報はＯＣＲによってすでに抽出されてインデックスファイルとして格納されているので、これらのインデックスファイルの情報と、アジェンダに対する会議書誌情報抽出処理によって抽出されたタイトルと発表者名称のペアとをマッチングすることで、先頭スライドを抽出することができる。
【００６３】
先頭スライドを同定する処理の流れを説明すると、以下のようになる。
Ｓｔｅｐ１．
ＣＰＵは、アジェンダから抽出した会議書誌情報から、議題（Ｔｎ）と名前（Ｎｎ）のペアをすべて検出するとともに（図１１の例では、「｛電子ペーパー、磯村隆｝、｛光インターコネクション、原田義男｝・・・・｛次世代環境技術、大山昭｝」、ペアの総数をカウントする。
Ｓｔｅｐ２．
ＣＰＵは、議題（Ｔｎ）と名前（Ｎｎ）の各ペアと、各スライド画像の索引（インデックス）情報と順次照合していき、マッチした議題と名前の個数をカウントする（スライド１＝議題０、名前０、スライド２＝議題１、名前１・・・・・）
【００６４】
Ｓｔｅｐ３．
（Ａ）ＣＰＵは、Ｓｔｅｐ２で、議題と名前のペアの数がＳｔｅｐ１でカウントされたペアの総数と一致したスライド画像があれば（あるいは、完全に一致しなくても所定の閾値を超えた場合）、それを「アジェンダ」のスライドと見なし、「アジェンダスライド」の識別子を与えた上で、後の分析から除去する。
（Ｂ）ＣＰＵは、Ｓｔｅｐ２で、議題と名前のペアが１組のみ含まれていると判定されたスライド（議題＝１、名前＝１のスライド）、または議題と名前のペアのいずれかが含まれていると判断されたスライド（議題＝０、名前＝１のスライド、または議題＝１、名前＝０のスライド）を「先頭スライド」候補として抽出し、Ｓｔｅｐ４に進む。
【００６５】
Ｓｔｅｐ４．
ＣＰＵは、（Ｂ）の処理で抽出されたスライド画像が１枚だけならば、それを「先頭スライド」と判定する。ＳＴＥＰ３（Ｂ）の処理で２つ以上のスライドが抽出された場合、時間情報を比較し、提示時間の最も早いスライドを「先頭スライド」と判定する。
【００６６】
以上の処理を利用すれば、図１２に示すように、アジェンダや議事録の記載内容を、スライド群の記載内容と、同じテキスト情報を介して対応付けて表示することが可能になる。これはアジェンダや議事録の記述内容に対応したスライドを迅速に表示したり、対応関係をハイライト機能などで明示したりできて便利である。なお、以上の説明では、スライド表示中に行なわれた発表者の説明音声の取得や再生については記述していないが、音声記録再生機能をもつ表示画面記録再生装置にもここで述べた方法は当然適用できる。
【００６７】
以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【産業上の利用可能性】
【００６８】
以上説明したように、本発明によれば、文書書式よらず、文書を精度良く発表者単位に分類することができ、産業上の利用可能性が高い。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１実施形態に係る文書画像取得装置のシステム構成図である。
【図２】発表者単位での文書画像の区切りを説明する図である。
【図３】本発明の第１実施形態に係る文書画像取得装置の内部構成図である。
【図４】インデックスファイルの構成例を示す図である。
【図５】文書画像の表示例である。
【図６】第１実施形態の変形例の内部構成図である。
【図７】発表単位毎に識別された配列表示したサムネイル群を示す図である。
【図８】本発明の第２実施形態に係る文書画像取得装置の内部構成図である。
【図９】アジェンダ等の登録メニュー等を示す図である。
【図１０】アジェンダを利用して会議書誌情報を抽出するための処理の流れを概略的に示す図である。
【図１１】キーワードマッチング処理を説明する図である。
【図１２】アジェンダや議事録の記載内容をスライド群の記載内容と同じテキスト情報を介して対応付けて表示する例を示す図である。
【符号の説明】
【００７０】
１：ＰＣ
２：信号分配器
３：表示装置
４、５：表示画面記録装置
４０１：ＶＧＡ信号ＯＮ／ＯＦＦ検出部
４０２：時間記録部
４０３：画像サンプリング部
４０４：変化画像抽出部
４０５：テキスト情報抽出部
４０６：サムネイル生成部
４０７：インデックスファイル作成部
４０８：データ格納部
４０９：ネットワークＩ／Ｆ部
４１０：発表交代判定部
４１１：発表交代識別画像生成部
４１２：タイトル・発表者氏名抽出部
４１３：インデックスファイル更新処理部
４１４：表示メッセージ作成部
５０１：画像形成部
５０２：変化画像検出部
５０３：タイムスタンプ部
５０４：サムネイル生成部
５０５：フォーマット変換部
５０６：文字認識部
５０７：レイアウト情報抽出部
５０８：索引ファイル作成部
５０９：データベース
５１０：Ｗｅｂサーバー
５１１：アジェンダ／議事録登録部
５１２：スライド分類情報自動付与指示部
５１３：アジェンダ／議事録選定部
５１４：テキスト情報抽出部
５１５：氏名／タイトルペア抽出部
５１６：レイアウト情報抽出部
５１７：プレゼンテーションセグメンテーション処理部
５１７１：氏名・タイトルを含むスライド抽出部
５１７２：先頭スライド同定部
５１７３：最後のスライド同定部
５１８：索引ファイル更新部
【特許請求の範囲】
【請求項１】
発表者の説明の進行に応じて表示内容が変化する文書の表示出力信号に基づいて文書画像を取得する取得手段と、
前記表示出力信号の有無を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記取得手段で取得した文書画像に対し発表者単位の文書画像の区切りを判断する判断手段と、
を具備する文書画像取得装置。
【請求項２】
前記判断手段の判断結果に基づいて前記取得手段で取得した文書画像を分類する分類手段を具備する請求項１記載の文書画像取得装置。
【請求項３】
前記分類手段は、前記文書画像に対する、発表者単位での区切りを示す画像を文書画像間に挿入することを特徴とする請求項２記載の文書画像取得装置。
【請求項４】
前記分類手段は、発表者単位の文書画像群と他の発表者単位の文書画像群との区切りを識別することを特徴とする請求項２記載の文書画像取得装置。
【請求項５】
前記取得手段で取得した文書画像から発表者単位の属性情報を抽出する抽出手段と、
前記抽出手段で抽出した属性情報を前記分類手段の分類結果の文書画像群に索引情報として付与する付与手段と、
を具備する請求項２記載の文書画像取得装置。
【請求項６】
発表者の説明の進行に応じて表示内容が変化する文書の表示出力信号に基づいて文書画像を取得する取得手段と、
会議開催情報及び議事録の少なくとも１つを入力する入力手段と、
前記入力手段の入力内容から発表者名及びタイトル名の少なくとも一方を含む発表者単位の属性情報を抽出する第１の抽出手段と、
前記第１の抽出手段の抽出結果に基づいて、前記取得手段で取得した文書画像に対し発表者単位の文書画像の区切りを判断する判断手段と、
を具備する文書画像取得装置。
【請求項７】
前記判断手段の判断結果に基づいて前記取得手段で取得した文書画像を分類する分類手段を具備する請求項６記載の文書画像取得装置。
【請求項８】
前記取得手段で取得した文書画像から発表者名及びタイトル名の少なくとも一方を含む発表者単位の属性情報を抽出する第２の抽出手段と、
前記抽出手段で抽出した属性情報を前記分類手段の分類結果の文書画像群に索引情報として付与する付与手段と、
を具備する請求項７記載の文書画像取得装置。
【請求項９】
前記文書画像はスライド画像である請求項１乃至請求項８のいずれかに記載の文書画像取得装置。
【請求項１】
発表者の説明の進行に応じて表示内容が変化する文書の表示出力信号に基づいて文書画像を取得する取得手段と、
前記表示出力信号の有無を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記取得手段で取得した文書画像に対し発表者単位の文書画像の区切りを判断する判断手段と、
を具備する文書画像取得装置。
【請求項２】
前記判断手段の判断結果に基づいて前記取得手段で取得した文書画像を分類する分類手段を具備する請求項１記載の文書画像取得装置。
【請求項３】
前記分類手段は、前記文書画像に対する、発表者単位での区切りを示す画像を文書画像間に挿入することを特徴とする請求項２記載の文書画像取得装置。
【請求項４】
前記分類手段は、発表者単位の文書画像群と他の発表者単位の文書画像群との区切りを識別することを特徴とする請求項２記載の文書画像取得装置。
【請求項５】
前記取得手段で取得した文書画像から発表者単位の属性情報を抽出する抽出手段と、
前記抽出手段で抽出した属性情報を前記分類手段の分類結果の文書画像群に索引情報として付与する付与手段と、
を具備する請求項２記載の文書画像取得装置。
【請求項６】
発表者の説明の進行に応じて表示内容が変化する文書の表示出力信号に基づいて文書画像を取得する取得手段と、
会議開催情報及び議事録の少なくとも１つを入力する入力手段と、
前記入力手段の入力内容から発表者名及びタイトル名の少なくとも一方を含む発表者単位の属性情報を抽出する第１の抽出手段と、
前記第１の抽出手段の抽出結果に基づいて、前記取得手段で取得した文書画像に対し発表者単位の文書画像の区切りを判断する判断手段と、
を具備する文書画像取得装置。
【請求項７】
前記判断手段の判断結果に基づいて前記取得手段で取得した文書画像を分類する分類手段を具備する請求項６記載の文書画像取得装置。
【請求項８】
前記取得手段で取得した文書画像から発表者名及びタイトル名の少なくとも一方を含む発表者単位の属性情報を抽出する第２の抽出手段と、
前記抽出手段で抽出した属性情報を前記分類手段の分類結果の文書画像群に索引情報として付与する付与手段と、
を具備する請求項７記載の文書画像取得装置。
【請求項９】
前記文書画像はスライド画像である請求項１乃至請求項８のいずれかに記載の文書画像取得装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−２６９２１６（Ｐ２００８−２６９２１６Ａ）
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願番号】特願２００７−１１０３５０（Ｐ２００７−１１０３５０）
【出願日】平成１９年４月１９日（２００７．４．１９）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願日】平成１９年４月１９日（２００７．４．１９）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]