議事録作成システムおよびプログラム
【課題】議事録に対して簡易に項目情報を付与することが可能な議事録作成システムおよびそれに関連する技術を提供する。
【解決手段】議事録作成システムは、会議の映像データから、会議資料の表示シーンに係る静止画像ＰＳ１を抽出し、静止画像ＰＳ１に基づいて議事録ファイルＰＲを生成する。当該議事録作成システムは、議事録ファイルＰＲにおいて、静止画像ＰＳ１に関するしおり項目ＢＭ１（例えば「生産性の低下の報告」）を生成する。また、しおり項目ＢＭ１の項目名称は、静止画像ＰＳ１から抽出された見出し項目ＨＤ１と、静止画像ＰＳ１に対応する特定期間の音声データを音声認識して生成された文字データＣＨ１とに基づいて決定されることが好ましい。
【解決手段】議事録作成システムは、会議の映像データから、会議資料の表示シーンに係る静止画像ＰＳ１を抽出し、静止画像ＰＳ１に基づいて議事録ファイルＰＲを生成する。当該議事録作成システムは、議事録ファイルＰＲにおいて、静止画像ＰＳ１に関するしおり項目ＢＭ１（例えば「生産性の低下の報告」）を生成する。また、しおり項目ＢＭ１の項目名称は、静止画像ＰＳ１から抽出された見出し項目ＨＤ１と、静止画像ＰＳ１に対応する特定期間の音声データを音声認識して生成された文字データＣＨ１とに基づいて決定されることが好ましい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議の議事録を作成する議事録作成システムおよびそれに関連する技術に関する。
【背景技術】
【０００２】
会議の議事録を生成するシステムが存在する（特許文献１等参照）。たとえば、特許文献１においては、議事録作成者が会議の進行内容をテキスト情報として入力し、当該テキスト情報がその日時に対応付けて保持されるシステムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６８８００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、会議の全体像を把握する際、あるいは、会議の進行状態との関係を参照しつつ各人物の発言内容等を把握する際等においては、議事録に関する情報として、項目レベル（見出しレベル）の情報を用いることが好ましい。すなわち、当該項目レベルの情報（項目情報）が、議事録に付与されることが望まれる。
【０００５】
また、このような項目情報が操作者の操作入力によって生成される場合には、操作者の労力が多大である。当該労力は軽減されることが好ましい。
【０００６】
そこで、この発明の課題は、議事録に対して簡易に項目情報を付与することが可能な議事録作成システムおよびそれに関連する技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決すべく、請求項１の発明は、会議の議事録を作成する議事録作成システムであって、会議の映像データから、会議資料の表示シーンに係る静止画像を抽出する静止画像抽出手段と、前記静止画像に基づいて議事録ファイルを生成するファイル生成手段と、前記議事録ファイルにおいて前記静止画像に関するしおり項目を生成するしおり生成手段とを備えることを特徴とする。
【０００８】
請求項２の発明は、請求項１の発明に係る議事録作成システムであって、会議の音声データから、前記静止画像に対応する特定期間の音声データを抽出するとともに、当該特定期間の音声データを音声認識して文字データを生成する音声データ解析手段、をさらに備え、前記しおり生成手段は、前記静止画像から見出し項目を抽出する見出し項目抽出手段と、前記見出し項目抽出手段によって抽出された前記見出し項目と前記音声データに基づいて生成された前記文字データとに基づいて前記しおり項目の項目名称を決定するしおり項目生成手段とを有することを特徴とする。
【０００９】
請求項３の発明は、請求項２の発明に係る議事録作成システムであって、前記しおり項目生成手段は、前記文字データに係る文章を解析して、前記見出し項目に関連する単語を抽出し、当該抽出された単語を用いて前記見出し項目の前記項目名称を変更し前記しおり項目を生成することを特徴とする。
【００１０】
請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る議事録作成システムであって、前記しおり生成手段は、前記静止画像をリンク先とするリンクデータを、前記しおり項目に付与することを特徴とする。
【００１１】
請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係る議事録作成システムであって、前記しおり生成手段は、前記しおり項目を前記議事録ファイルのしおり表示欄に配置することを特徴とする。
【００１２】
請求項６の発明は、請求項２または請求項３の発明に係る議事録作成システムであって、前記ファイル生成手段は、前記議事録ファイルにおいて、前記文字データの文字列を前記静止画像に対応させて配置することを特徴とする。
【００１３】
請求項７の発明は、請求項２ないし請求項６のいずれかの発明に係る議事録作成システムであって、前記ファイル生成手段は、前記特定期間の音声データを前記しおり項目に対応する位置にリンクさせることを特徴とする。
【００１４】
請求項８の発明は、請求項１の発明に係る議事録作成システムであって、会議の音声データを解析して、前記静止画像に対応する特定期間の音声データを抽出するとともに、当該特定期間の音声データを音声認識して文字データを生成する音声データ解析手段、をさらに備え、前記ファイル生成手段は、前記議事録ファイルにおいて、前記文字データを前記静止画像に対応させて配置することを特徴とする。
【００１５】
請求項９の発明は、コンピュータに、ａ）会議の映像データから、会議資料の表示シーンに係る静止画像を抽出する手順と、ｂ）前記静止画像に関連付けてしおり項目を生成する手順と、ｃ）前記静止画像と前記しおり項目とを有する議事録ファイルを生成する手順とを実行させるためのプログラムであることを特徴とする。
【００１６】
請求項１０の発明は、コンピュータに、ａ）会議の映像データから、会議資料の表示シーンに係る静止画像を抽出する手順と、ｂ）会議の音声データから、前記静止画像に対応する特定期間の音声データを抽出するとともに、当該特定期間の音声データを音声認識して文字データを生成する手順と、ｃ）前記静止画像から見出し項目を抽出する手順と、ｄ）前記見出し項目と前記文字データとに基づいて決定された項目名称を有するしおり項目を生成する手順と、ｅ）前記静止画像と当該静止画像に関連付けられた前記しおり項目とを有する議事録ファイルを生成する手順とを実行させるためのプログラムであることを特徴とする。
【発明の効果】
【００１７】
請求項１ないし請求項１０に記載の発明によれば、会議の映像データから、会議資料の表示シーンに係る静止画像が抽出され、当該静止画像に関するしおり項目が議事録ファイルにおいて生成される。そのため、議事録における項目を手動で付与する場合に比べて、手間を軽減して、議事録に対して簡易に項目情報を付与することが可能である。
【００１８】
特に、請求項２に記載の発明によれば、しおり項目の項目名称は、シーン画像から抽出された見出し項目と部分音声データに基づいて生成された文字データとに基づいて決定されている。そのため、しおり項目の項目名称は、元の見出し項目よりも多くの情報を含む。したがって、ユーザは、当該しおり項目を用いることによって、議事録ファイルの内容をさらに容易に把握することが可能である。
【図面の簡単な説明】
【００１９】
【図１】会議システムの概要を示す概念図である。
【図２】会議管理装置（ＭＦＰ）の概略構成を示すブロック図である。
【図３】議事録ファイルの作成動作を示すフローチャートである。
【図４】図３の一部の動作を詳細に示すフローチャートである。
【図５】議事録ファイルを示す図である。
【図６】議事録ファイルを示す図である。
【図７】映像データおよび音声データ等を示す図である。
【図８】シーン画像を示す図である。
【図９】別のシーン画像を示す図である。
【図１０】部分音声データから抽出された文字データを示す図である。
【図１１】シーン画像から見出し項目が抽出される様子を示す概念図である。
【図１２】文字データの解析動作を示す概念図である。
【図１３】しおり項目の決定動作を示す概念図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態を図面に基づいて説明する。
【００２１】
＜１．システム構成＞
図１は、会議システム１００の概要を示す概念図である。会議システム１００は、議事録作成機能を有しており、会議の議事録を作成する議事録作成システムであるとも表現される。
【００２２】
この会議システム１００は、会議管理装置１０と表示装置３０とコンピュータ５０とビデオカメラ７１とマイク７２とを備えている。
【００２３】
会議管理装置１０と表示装置３０とコンピュータ５０とビデオカメラ７１とマイク７２とは、互いにネットワークＮＷを介して接続されており、ネットワーク通信を行うことが可能である。ここにおいて、ネットワークＮＷは、ＬＡＮ、ＷＡＮ、インターネットなどによって構成される。各装置のネットワークＮＷへの接続形態は、有線接続であってもよく或いは無線接続であってもよい。
【００２４】
マイク７２は、会議における音声を集音して音声信号を生成し、当該音声信号を会議管理装置１０に送信する。会議管理装置１０は、マイク７２により録音された音声信号に基づいて音声データＡＤ（図７参照）を生成し、格納部５に保存する。
【００２５】
ビデオカメラ７１は、会議における人物映像等を撮影して映像信号を生成し、当該映像信号を会議管理装置１０に送信する。
【００２６】
会議管理装置１０は、ビデオカメラ７１により撮影された映像信号に基づいて映像データ（動画像データ）ＰＭ（図７参照）を生成し、格納部５に保存する。さらに、会議管理装置１０は、コンピュータ５０からの信号、たとえば、コンピュータ５０で表示されている会議資料ＤＭに関する表示用データ等をも受信する。そして、会議管理装置１０は、当該コンピュータ５０からのデータ等にも基づいて映像データＰＭを生成する。具体的には、或る時点ではビデオカメラ７１による撮影画像で映像データＰＭを構成し、別の時点ではコンピュータ５０からのデータ（表示用データ等）に基づいて映像データＰＭを構成する。あるいは、ビデオカメラ７１による撮影画像とコンピュータ５０からのデータとを合成して、映像データＰＭを構成するようにしてもよい。このように、映像データＰＭは、ビデオカメラ７１による撮影画像とコンピュータ５０からの映像とに基づいて生成される。また、当該映像データＰＭは、リアルタイムで、会議管理装置１０から表示装置３０に出力され、表示装置３０に表示される。
【００２７】
なお、ここでは、会議資料ＤＭの映像がコンピュータ５０から送信される場合を例示しているが、これに限定されない。たとえば、会議管理装置１０自身が、会議に関する資料データ等を保存および管理し、会議時に表示装置３０に出力するようにしてもよい。
【００２８】
表示装置３０は、会議管理装置１０から送信されてきた各種情報等を表示する装置である。表示装置３０は、例えば大型液晶表示装置として構成され、当該表示装置３０は、ネットワークＮＷを介して会議管理装置１０に接続されている。なお、これに限定されず、表示装置３０は、プロジェクタ装置（投影装置）等であってもよい。また、表示装置３０は、コンピュータ５０を介して会議管理装置に間接的に接続されるようにしてもよい。より詳細には、表示装置３０は、コンピュータ５０の映像信号出力部（詳細には外部出力端子）等を介して、会議管理装置１０からの映像信号を表示出力するようにしてもよい。
【００２９】
会議の出席者は、表示装置３０による表示画像によって、会議に関する各種の情報（資料データ等）を視認することができる。
【００３０】
また、この会議管理装置１０は、会議の議事録ファイルＰＲ（図５および図６参照）を作成することもできる。そのため、会議管理装置１０は、議事録作成装置であるとも表現される。議事録作成動作については後に詳述する。
【００３１】
会議管理装置１０は、この実施形態ではＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi Function Peripheral）として構成されている。
【００３２】
図２は、ＭＦＰ１０の概略構成を示すブロック図である。
【００３３】
図２の機能ブロック図に示すように、ＭＦＰ１０は、画像読取部２、印刷出力部３、通信部４、格納部５、入出力部６およびコントローラ９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
【００３４】
画像読取部２は、ＭＦＰ１０の所定の位置に載置された原稿を光学的に読み取って、当該原稿の画像データ（原稿画像とも称する）を生成する処理部である。
【００３５】
印刷出力部３は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。
【００３６】
通信部４は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部４は、通信ネットワークＮＷを介したネットワーク通信が可能である。このネットワーク通信では、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）およびＦＴＰ（File Transfer Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、ＭＦＰ１０は、所望の相手先との間で各種のデータを授受することが可能である。
【００３７】
格納部５は、ハードディスクドライブ（ＨＤＤ）等の格納装置で構成される。この格納部５には、画像読取部２等で生成された原稿画像（画像データ）が格納される。また、格納部５には、映像データＰＭおよび音声データＡＤ等も格納される。
【００３８】
入出力部６は、ＭＦＰ１０に対する入力を受け付ける操作入力部６ａと、各種情報の表示出力を行う表示部６ｂとを備えている。
【００３９】
コントローラ９は、ＭＦＰ１０に内蔵され、ＭＦＰ１０を統括的に制御する制御装置である。コントローラ９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ等）等を備えるコンピュータシステムとして構成される。コントローラ９は、ＣＰＵにおいて、ＲＯＭ（例えば、ＥＥＰＲＯＭ等）内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）を実行することによって、各種の処理部を実現する。
【００４０】
具体的には、図２に示すように、コントローラ９は、映像データ解析部３１、音声データ解析部３３、議事録ファイル生成部３５およびしおり生成部３７等を備える。
【００４１】
映像データ解析部３１は、会議の映像データ（動画像データ）ＰＭ（図７参照）を解析する処理部である。映像データ解析部３１は、会議の映像データＰＭから、会議資料の表示シーンに係る複数のシーン画像（静止画像データ）ＰＳｎを抽出する処理部であり、静止画像抽出部であるとも表現される。
【００４２】
音声データ解析部３３は、会議の音声データＡＤを解析して、各シーン画像ＰＳｎに対応する特定期間の音声データＳＡｎを抽出するとともに、当該特定期間の音声データＳＡｎを音声認識して文字データＣＨｎを生成する処理部である。
【００４３】
議事録ファイル生成部３５は、複数のシーン画像ＰＳｎに基づいて議事録ファイルＰＲ（図５および図６参照）を生成する処理部である。
【００４４】
しおり生成部３７は、シーン画像ＰＳｎをリンク先とするリンクデータ（ハイパーリンクデータ）が付与されたしおり項目ＢＭｎを生成する処理部である。また、しおり生成部３７は、議事録ファイル生成部３５と協働して、複数のしおり項目ＢＭｎを議事録ファイルＰＲのしおり表示欄ＲＢに配置する。
【００４５】
このしおり生成部３７は、見出し項目抽出部３８としおり項目生成部３９とを有する。
【００４６】
見出し項目抽出部３８は、シーン画像ＰＳｎから見出し項目ＨＤｎを抽出する処理部である。
【００４７】
しおり項目生成部３９は、しおり項目ＢＭｎの項目名称を生成する処理部である。しおり項目生成部３９は、見出し項目抽出部３８によって抽出された見出し項目ＨＤｎと、特定期間の音声データＳＡｎに基づいて生成された文字データＣＨｎとに基づいて「しおり項目」ＢＭｎの項目名称を生成する。より詳細には、しおり項目生成部３９は、文字データＣＨｎに係る文章を解析して、見出し項目ＨＤｎに関連する単語を抽出し、当該抽出された単語を用いて見出し項目ＨＤｎの項目名称を変更し、しおり項目ＢＭｎを生成する。
【００４８】
＜２．動作＞
つぎに、システム１００による議事録ファイルＰＲの作成動作について詳細に説明する。
【００４９】
ここでは、会議の冒頭において、当該会議での発表者（プレゼンター）の人物映像が撮影され、その後に、コンピュータ５０から会議管理装置１０を介して表示装置３０に表示された会議資料ＤＭを用いて、当該発表者による説明が行われる場合を想定する。また、当該会議に関して取得された映像データＰＭ（図７参照）は、その冒頭部分に発表者の人物映像を有するとともに、それに引き続いて会議資料ＤＭの複数のページに関する映像を有しているものとする。同様に、音声データＡＤは、その冒頭部分に発表者の人物の音声を有するとともに、それに引き続いて、会議資料ＤＭの複数のページに関する説明に係る音声を有しているものとする。以下では、当該会議の終了後において、当該映像データＰＭ等に基づいて会議の議事録ファイルＰＲが作成される場合を例示する。
【００５０】
図３は、議事録ファイルＰＲの作成動作を示すフローチャートであり、図４は、図３の一部（ステップＳ５）の動作を詳細に示すフローチャートである。図５および図６は、議事録ファイルＰＲを示す図であり、図７は、映像データＰＭおよび音声データＡＤ等を示す図である。図８は、シーン画像ＰＳ１を示す図であり、図９は、別のシーン画像ＰＳ２を示す図である。図１０は、部分音声データＳＡ１から抽出された文字データＣＨ１を示す図である。図１１は、シーン画像ＰＳ１から見出し項目が抽出される様子を示す概念図であり、図１２は、文字データＣＨ１の解析動作を示す概念図である。図１３は、しおり項目ＢＭ１の決定動作を示す概念図である。
【００５１】
図３に示すように、まず、ステップＳ１において、会議管理装置１０（詳細には、映像データ解析部３１）は、映像データ解析処理を実行し、映像データＰＭにおけるシーン変化を検出し、映像データＰＭを複数の部分映像ＰＴｎ（ＰＴ０，ＰＴ１，ＰＴ２，...）に区分する（図７参照）。
【００５２】
詳細には、まず、冒頭の人物に係るシーンと会議資料ＤＭの第１ページの画像が表示されているシーンとの切り替わり部分（撮影時刻Ｔ１）が検出される。つぎに、会議資料ＤＭの第１ページの画像が表示されているシーンと会議資料ＤＭの第２ページの画像が表示されているシーンとの切り替わり部分（撮影時刻Ｔ２）が検出される。以降、同様にして、会議資料ＤＭの第ｎページの画像が表示されているシーンと会議資料ＤＭの第（ｎ＋１）ページの画像が表示されているシーンとの切り替わり部分（撮影時刻Ｔ（ｎ＋１））が検出される。
【００５３】
そして、映像データ解析部３１は、撮影時刻Ｔｎから撮影時刻Ｔ（ｎ＋１）までの期間ＰＤｎに関する部分映像ＰＴｎ（複数のフレーム画像を有する動画像）を、第ｎページの画像に係るシーン映像（動画像）として抽出する。たとえば、映像データ解析部３１は、撮影時刻Ｔ１から撮影時刻Ｔ２までの期間ＰＤ１に亘る部分映像ＰＴ１を、第１ページの画像に係るシーン映像として抽出する。
【００５４】
また、映像データ解析部３１は、部分映像ＰＴｎにおける代表画像（静止画像）、たとえば部分映像ＰＴｎの先頭のフレーム画像を、会議資料ＤＭの第ｎ（例えば第ｎページ）の表示シーンに係るシーン画像（静止画像）ＰＳｎとして抽出する。具体的には、映像データ解析部３１は、部分映像ＰＴ１における代表的な画像（静止画像）、たとえば部分映像ＰＴ１の先頭のフレーム画像を、会議資料ＤＭの最初の表示シーン（第１頁が表示されている場面）に係るシーン画像ＰＳ１（図８参照）として抽出する。また、映像データ解析部３１は、部分映像ＰＴ２における代表的な画像（静止画像）、たとえば部分映像ＰＴ２の先頭のフレーム画像を、会議資料ＤＭの第２の表示シーンに係るシーン画像ＰＳ２（図９参照）として抽出する。
【００５５】
なお、映像データ解析部３１は、時刻Ｔ０から時刻Ｔ１までの冒頭のシーン（人物に係るシーン）が会議資料ＤＭに係るシーンでないことを、部分映像ＰＴ０を解析して判定する。そのため、ここでは会議資料ＤＭの表示シーンに係るシーン画像は、当該冒頭の人物に係るシーン映像（部分映像）ＰＴ０からは抽出されない。
【００５６】
また、ステップＳ２において、会議の音声データＡＤの解析処理が音声データ解析部３３によって実行される。
【００５７】
具体的には、音声データ解析部３３は、まず、会議の音声データＡＤの中から、各シーン画像ＰＳｎに対応する各部分音声データＳＡｎを抽出する。詳細には、各シーン画像ＰＳｎの対応期間ＰＤｎの音声データが、部分音声データＳＡｎとして抽出される。換言すれば、音声データ解析部３３は、会議の音声データＡＤを複数の部分音声データＳＡｎに区分する。なお、期間ＰＤｎの部分音声データＳＡｎを抽出する処理は、たとえば、映像データＰＷにおける時刻データ（撮影時刻データ）と音声データＡＤにおける時刻データ（録音時刻データ）とを用いて行われる。
【００５８】
また、音声データ解析部３３は、各部分音声データＳＡｎを音声認識して文字データを生成する。詳細には、各部分音声データＳＡｎに対して音声認識処理が施され、部分音声データＳＡｎ内の音声信号が文字データ（テキストデータ等）に変換される。たとえば、期間ＰＤ１に係る部分音声データＳＡ１から、図１０に示すような文字データＣＨ１が抽出される。
【００５９】
つぎに、ステップＳ３において、見出し項目抽出部３８は、各シーン画像ＰＳｎに対して見出し項目ＨＤｎの抽出処理を実行する。たとえば、図１１に示すように、見出し項目抽出部３８は、シーン画像ＰＳ１（図８）に対して画像解析処理（ＯＣＲ処理（光学式文字読取処理）を含む）を施し、見出し項目ＨＤ１（「生産性報告」）を抽出する。他のシーン画像ＰＳ２等に対しても、同様に見出し項目ＨＤｎの抽出処理が実行される。
【００６０】
次のステップＳ４においては、しおり項目生成部３９は、議事録ファイルＰＲにおけるしおり表示欄ＲＢに表示する「しおり項目」を生成する。当該「しおり項目」の項目名称は、各シーン画像ＰＳｎに対する抽出処理によって抽出された見出し項目ＨＤｎと、部分音声データＳＡｎに基づいて生成された文字データＣＨｎとに基づいて決定される。なお、議事録ファイルＰＲの「しおり項目」は、「見出し」の機能をも有しており、「見出し項目」とも称され得る。ただし、ここでは、シーン画像ＰＳｎの見出し項目ＨＤｎと区別するため、議事録ファイルＰＲの見出し項目ＢＭｎを「しおり項目」と称するものとする。
【００６１】
具体的には、しおり項目生成部３９は、まず、各見出し項目ＨＤｎに対して品詞分解処理を施す。たとえば、見出し項目ＨＤ１（「生産性報告」）に対して、品詞分解処理を施し、見出し項目ＨＤ１は、「生産性」（名詞）と「報告」（名詞）とに分解される。そして、しおり項目生成部３９は、見出し項目ＨＤ１が２つの名詞で構成されていることを検出する（図１１参照）。
【００６２】
ここでは、しおり項目生成部３９は、見出し項目ＨＤ１内の名詞の数Ｎ（ここでは「２」）に１を加えた数（すなわち（Ｎ＋１）個）（ここでは「３」）の名詞で、しおり項目ＢＭ１の項目名称を構成することを決定するものとする。すなわち、見出し項目ＨＤ１に対して１個の名詞が追加された名称が、しおり項目ＢＭ１の項目名称として決定されるものとする。また、各（すなわち（Ｎ＋１）個）の名詞は、適切な助詞あるいは助動詞等で互いに接続されるものとする。たとえば、原則として、「の」（助詞）、を用いて（Ｎ＋１）個の名詞が互いに接続されればよい。
【００６３】
つぎに、しおり項目生成部３９は、ステップＳ２で抽出された各文字データＣＨｎに係る文章を解析して、見出し項目ＨＤｎに関連する単語を抽出する（図１２参照）。
【００６４】
たとえば、まず、図１２の上半領域に示すように、文字データＣＨ１に係る文章内の複数の文は、それぞれ、品詞分解される。図１２の最上段においては、「生産性について報告します」の文が、「生産性」（名詞）、「に」（助詞）、「つい」（動詞）、「て」（助詞）、「報告」（名詞）、「し」（助動詞）、「ます」（助動詞）、「。」（特殊）、の各単語（品詞）に分解されている。文字データＣＨ１に係る文章内の他の文についても、同様の品詞分解処理が施される。
【００６５】
各単語は、出現頻度に応じて分類される。図１２の下半領域（左側）においては、文字データＣＨ１内の単語が、その出現頻度（出現回数）順にソートされて示されている。具体的には、「生産性」（名詞）、「よる」（動詞）、「低下」（名詞）などの単語が、その出現頻度順に示されている。
【００６６】
また、しおり項目生成部３９は、品詞分解された単語の中から「名詞」を抽出するとともに、当該「名詞」のうち、元の見出し項目ＨＤ１内の「生産性」（名詞）と「報告」（名詞）とを、重複排除のため、追加対象候補から除外する。ここでは、最も出現頻度が高い名詞「生産性」は、元の見出し項目ＨＤ１にも含まれているため、追加対象候補から除外される。そして、次順位の名詞「低下」が、追加対象候補として決定される。
【００６７】
そして、しおり項目生成部３９は、追加対象候補として決定された名詞「低下」と、元の見出し項目ＨＤ１内の名詞（「生産性」および「報告」）との関連性を検出する。ここでは、文字データＣＨ１の第３文の冒頭において、「生産性の低下」の用語が存在するため、「生産性」と「低下」とが互いに高い関連性を有していると判定される。また、「生産性」と「低下」とが「の」（助詞）を介して、この順序（当該第３文での順序）で結合されることが好ましいことも判定される。
【００６８】
この結果、しおり項目生成部３９は、図１３に示すように、「生産性」と「低下」と「報告」との３つの単語をこの順序で、「の」（助詞）を介してこの順序で結合した用語「生産性の低下の報告」を、しおり項目ＢＭ１の項目名称として決定する。すなわち、見出し項目ＨＤ１（「生産性報告」）に基づいて、しおり項目ＢＭ１（「生産性の低下の報告」）が生成される。
【００６９】
他のしおり項目ＢＭ２等に対しても、同様にして、その項目名称が生成される。
【００７０】
以上のようにして、しおり項目生成部３９は、文字データＣＨｎに係る文章を解析して、見出し項目ＨＤｎに関連する単語を抽出し、当該抽出された単語を用いて見出し項目ＨＤｎの項目名称を変更し、しおり項目ＢＭｎを生成する。なお、文字データＣＨｎから抽出される単語（しおり項目ＢＭｎでの追加対象）は、見出し項目ＨＤｎに関連する単語であって、見出し項目ＨＤｎに含まれる単語以外の単語（換言すれば、見出し項目ＨＤｎ内の単語に重複しない単語）であることが好ましい。
【００７１】
次のステップＳ５において、議事録ファイル生成部３５は、議事録ファイルＰＲのファイル生成処理を行う。生成された議事録ファイルＰＲは、図５および図６等に示すように、複数のシーン画像ＰＳｎ（ＰＳ１，ＰＳ２，...）と各シーン画像ＰＳｎに関連付けられた複数のしおり項目ＢＭｎ（ＢＭ１，ＢＭ２，...）とを有している。また、当該議事録ファイルＰＲは、複数の文字データＣＨｎと複数の部分音声データＳＡｎとをさらに有している。
【００７２】
図４は、ステップＳ５の詳細動作を示すフローチャートである。
【００７３】
図４に示すように、まず、ステップＳ１１において、議事録ファイルＰＲ内に各シーン画像ＰＳｎを配置する処理が実行される。具体的には、各シーン画像ＰＳｎは、議事録ファイルＰＲの本文表示欄ＲＡにおいて、第ｎページＰＧｎ内の上側領域に配置される。たとえば、図５に示すように、本文表示欄ＲＡにおいて、シーン画像ＰＳ１は第１ページＰＧ１内の上側領域に配置される。同様に、図６に示すように、シーン画像ＰＳ２は第２ページＰＧ２内の上側領域に配置される。
【００７４】
また、ステップＳ１２において、議事録ファイルＰＲ内にて、各文字データＣＨｎを各シーン画像ＰＳｎに対応させて配置する処理が実行される。具体的には、各文字データＣＨｎは、議事録ファイルＰＲの本文表示欄ＲＡにおいて、第ｎページＰＧｎ（シーン画像ＰＳｎと同一のページ）内の下側領域に配置される。より詳細には、図５に示すように、文字データＣＨ１は、本文表示欄ＲＡにおいて、第１ページＰＧ１内の下側領域に配置される。同様に、図６に示すように、各文字データＣＨ２は、第２ページＰＧ２内の下側領域に配置される。
【００７５】
さらに、ステップＳ１３において、議事録ファイルＰＲ内にしおり項目ＢＭｎを配置する処理が実行される。具体的には、各しおり項目ＢＭｎは、議事録ファイルＰＲのしおり表示欄ＲＢに配置される。より詳細には、図５に示すように、しおり項目ＢＭ１は、しおり表示欄ＲＢの最初の項目として配置される。また、しおり項目ＢＭ２は、しおり表示欄ＲＢの次の項目として配置される。なお、各しおり項目ＢＭｎの項目名称としては、ステップＳ４で生成された名称が用いられる。
【００７６】
また、このしおり項目ＢＭｎには、シーン画像ＰＳｎをリンク先とするリンクデータが付与される。完成後の議事録ファイルＰＲにおいて、しおり項目ＢＭｎに対する操作（クリック操作等）が行われると、当該操作に応じて当該リンクデータが参照され、しおり項目ＢＭｎのリンク先のシーン画像ＰＳｎ等が本文表示欄ＲＡに更新表示される。
【００７７】
また、ステップＳ１４においては、部分音声データＳＡｎを、議事録ファイルＰＲ内のしおり項目ＢＭｎに対応する位置にリンクさせる処理が実行される。具体的には、各部分音声データＳＡｎは、議事録ファイルＰＲのしおり表示欄ＲＢ内における対応しおり項目の近接位置にリンクされる。より詳細には、図５に示すように、しおり表示欄ＲＢの第１のしおり項目ＢＭ１の直下位置に、音声データを模式的に表すアイコンＣＮ１が表示されるとともに、当該アイコンＣＮ１に対して部分音声データＳＡ１がリンクされる。同様に、しおり表示欄ＲＢの第２のしおり項目ＢＭ２の直下位置に、音声データを模式的に表すアイコンＣＮ２が表示されるとともに、当該アイコンＣＮ２に対して部分音声データＳＡ２がリンクされる。このように、各部分音声データＳＡｎは、しおり表示欄ＲＢ内の対応しおり項目ＢＭｎに付随するアイコンＣＮｎにリンクされる。
【００７８】
以上のようにして、議事録ファイルＰＲが生成される。
【００７９】
上記実施形態によれば、会議の映像データＰＭから、会議資料の表示シーンに係るシーン画像（静止画像）ＰＳｎが抽出され、当該シーン画像ＰＳｎに関するしおり項目ＢＭｎが議事録ファイルＰＲにおいて自動的に生成される。そのため、議事録における項目を手動で付与する場合に比べて、手間が軽減され、議事録に対して簡易に項目情報を付与することが可能である。
【００８０】
また、議事録ファイルＰＲにおいて、シーン画像ＰＳｎをリンク先とするリンクデータが付与されたしおり項目ＢＭｎが生成され、当該しおり項目ＢＭｎが議事録ファイルＰＲのしおり表示欄に配置される。そのため、当該しおり項目ＢＭｎをクリック操作することなどによって、当該しおり項目ＢＭｎに対応するシーン画像ＰＳｎと当該しおり項目ＢＭｎに対応する文字データＣＨｎとを本文表示欄ＲＡ内に表示させることができる。したがって、各しおり項目ＢＭｎを用いてシーン画像ＰＳｎ等を容易に参照することが可能である。
【００８１】
ところで、上記実施形態では、しおり項目ＢＭｎを文字データＣＨｎにも基づいて生成しているが、本発明は、これに限定されない。たとえば、シーン画像ＰＳｎから抽出した見出し項目ＨＤｎをそのまましおり項目ＢＭｎとして用いるようにしてもよい。
【００８２】
ただし、会議資料に係るシーン画像ＰＳｎの見出し項目ＨＤｎは、会議にて補足して説明されることを前提にして、非常に簡潔に記載されていることが多い。そのため、当該用語のみから議事録の内容を把握することは必ずしも容易でない。たとえば、上記においても、シーン画像ＰＳ１の見出し項目ＨＤ１は「生産性報告」であり、この見出し項目ＨＤ１のみから得られる情報は必ずしも多くはない。
【００８３】
これに対して、上記実施形態においては、しおり生成部３７は、シーン画像ＰＳｎから抽出された見出し項目ＨＤｎのみならず、部分音声データＳＡｎに基づいて生成された文字データＣＨｎにも基づいて、しおり項目ＢＭｎの項目名称を決定している。換言すれば、しおり項目ＢＭｎの項目名称は、シーン画像ＰＳｎから抽出された見出し項目ＨＤｎと部分音声データＳＡｎに基づいて生成された文字データＣＨｎとに基づいて決定されている。詳細には、しおり生成部３７は、文字データＣＨｎに係る文章を解析して、見出し項目ＨＤｎに関連する単語を抽出し、当該抽出された単語を用いて見出し項目ＨＤｎの項目名称を変更して、しおり項目ＢＭｎの名称を生成している。より具体的には、文字データＣＨｎから抽出した新たな１つの単語が見出し項目ＨＤｎに追加されて、しおり項目ＢＭｎが生成されている。
【００８４】
そのため、新たなしおり項目ＢＭｎに関する情報量は、見出し項目ＨＤｎの情報量に比べて増大している。たとえば、しおり項目ＢＭ１は、「生産性の低下の報告」であり、「低下」という単語を付加的に有することによって、見出し項目ＨＤ１（「生産性報告」）のみから得られる情報よりも多くの情報を有している。このように、しおり項目ＢＭｎの項目名称は、元の見出し項目ＨＤｎよりも多くの情報を含み、判り易い名称になっている。
【００８５】
したがって、ユーザは、当該しおり項目ＢＭｎを用いることによって、議事録ファイルＰＲの内容をさらに容易に把握することが可能である。
【００８６】
＜３．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【００８７】
たとえば、上記実施形態においては、会議の終了後において会議の議事録ファイルＰＲが作成される場合を例示したが、これに限定されず、議事録ファイルＰＲが会議の議事進行と並行して（端的に言えばリアルタイムで）作成されるようにしてもよい。
【００８８】
また、上記実施形態においては、文字データＣＨｎから抽出した新たな１つの単語を見出し項目ＨＤｎに追加して、見出し項目ＨＤｎの情報量に比べてしおり項目ＢＭｎに関する情報量を増大させる場合を例示したが、これに限定されない。たとえば、文字データＣＨｎから抽出した新たな２つ以上の単語を見出し項目ＨＤｎに追加して、見出し項目ＨＤｎの情報量に比べてしおり項目ＢＭｎに関する情報量を増大させるようにしてもよい。
【００８９】
また、上記実施形態においては、見出し項目ＨＤｎ内の単語と文字データＣＨｎから抽出した所定数の単語とが、助詞である「の」を用いて互いに接続されて、しおり項目ＢＭｎが生成される場合を例示しているが、これに限定されない。たとえば、単語間の接続に関するデータベース等に基づいて、単語間の接続に関する用語を決定し、自然言語としての正確性を向上させるようにしてもよい。
【００９０】
また、上記実施形態においては、シーン画像ＰＳｎから抽出した見出し項目ＨＤｎの文字列（詳細には当該文字列の順序等）を変更して、しおり項目ＢＭｎが生成される場合を例示したが、これに限定されない。たとえば、シーン画像ＰＳｎから抽出した見出し項目ＨＤｎに加えて、当該見出し項目ＨＤｎとは別の文字列をも含む文字列をしおり項目ＢＭｎとして生成するようにしてもよい。具体的には、文字データＣＨｎから生成した文字列「生産性の低下」を見出し項目ＨＤ１の文字列「生産性報告」に括弧付きで加えた文字列「生産性報告（生産性の低下）」を、しおり項目ＢＭｎとして生成するようにしてもよい。
【００９１】
また、上記実施形態（ステップＳ２等）においては、各シーン画像ＰＳｎの対応期間ＰＤｎの音声データが部分音声データＳＡｎとして抽出される場合を例示しているが、これに限定されない。たとえば、音声データＡＤに対して独自に音声解析処理を施して、音声データを部分音声データＳＡｎよりも細かな複数の区分データに区分しておき、幾つかの区分データを纏めることによって、部分音声データＳＡｎを生成するようにしてもよい。また、部分音声データＳＡｎを纏めてしおり項目ＢＭｎに対応する位置にリンクさせるのではなく、部分音声データＳＡｎよりも細かな複数の区分データを、それぞれ、しおり表示欄ＲＢ内の対応位置にリンクさせるようにしてもよい。
【符号の説明】
【００９２】
１０ 会議管理装置（ＭＦＰ）
３０ 表示装置
５０ コンピュータ
７１ ビデオカメラ
７２ マイク
１００ 会議システム
ＡＤ 音声データ
ＢＭ１，ＢＭ２，ＢＭｎ しおり項目
ＣＨ１，ＣＨ２，ＣＨｎ 文字データ
ＨＤ１，ＨＤ２，ＨＤｎ 見出し項目
ＰＭ 映像データ
ＰＲ 議事録ファイル
ＰＳ１，ＰＳ２，ＰＳｎ シーン画像
ＲＡ 本文表示欄
ＲＢ しおり表示欄
ＳＡ１，ＳＡ２，ＳＡｎ 各部分音声データ
Ｔｎ 時刻
【技術分野】
【０００１】
本発明は、会議の議事録を作成する議事録作成システムおよびそれに関連する技術に関する。
【背景技術】
【０００２】
会議の議事録を生成するシステムが存在する（特許文献１等参照）。たとえば、特許文献１においては、議事録作成者が会議の進行内容をテキスト情報として入力し、当該テキスト情報がその日時に対応付けて保持されるシステムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６８８００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、会議の全体像を把握する際、あるいは、会議の進行状態との関係を参照しつつ各人物の発言内容等を把握する際等においては、議事録に関する情報として、項目レベル（見出しレベル）の情報を用いることが好ましい。すなわち、当該項目レベルの情報（項目情報）が、議事録に付与されることが望まれる。
【０００５】
また、このような項目情報が操作者の操作入力によって生成される場合には、操作者の労力が多大である。当該労力は軽減されることが好ましい。
【０００６】
そこで、この発明の課題は、議事録に対して簡易に項目情報を付与することが可能な議事録作成システムおよびそれに関連する技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決すべく、請求項１の発明は、会議の議事録を作成する議事録作成システムであって、会議の映像データから、会議資料の表示シーンに係る静止画像を抽出する静止画像抽出手段と、前記静止画像に基づいて議事録ファイルを生成するファイル生成手段と、前記議事録ファイルにおいて前記静止画像に関するしおり項目を生成するしおり生成手段とを備えることを特徴とする。
【０００８】
請求項２の発明は、請求項１の発明に係る議事録作成システムであって、会議の音声データから、前記静止画像に対応する特定期間の音声データを抽出するとともに、当該特定期間の音声データを音声認識して文字データを生成する音声データ解析手段、をさらに備え、前記しおり生成手段は、前記静止画像から見出し項目を抽出する見出し項目抽出手段と、前記見出し項目抽出手段によって抽出された前記見出し項目と前記音声データに基づいて生成された前記文字データとに基づいて前記しおり項目の項目名称を決定するしおり項目生成手段とを有することを特徴とする。
【０００９】
請求項３の発明は、請求項２の発明に係る議事録作成システムであって、前記しおり項目生成手段は、前記文字データに係る文章を解析して、前記見出し項目に関連する単語を抽出し、当該抽出された単語を用いて前記見出し項目の前記項目名称を変更し前記しおり項目を生成することを特徴とする。
【００１０】
請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る議事録作成システムであって、前記しおり生成手段は、前記静止画像をリンク先とするリンクデータを、前記しおり項目に付与することを特徴とする。
【００１１】
請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係る議事録作成システムであって、前記しおり生成手段は、前記しおり項目を前記議事録ファイルのしおり表示欄に配置することを特徴とする。
【００１２】
請求項６の発明は、請求項２または請求項３の発明に係る議事録作成システムであって、前記ファイル生成手段は、前記議事録ファイルにおいて、前記文字データの文字列を前記静止画像に対応させて配置することを特徴とする。
【００１３】
請求項７の発明は、請求項２ないし請求項６のいずれかの発明に係る議事録作成システムであって、前記ファイル生成手段は、前記特定期間の音声データを前記しおり項目に対応する位置にリンクさせることを特徴とする。
【００１４】
請求項８の発明は、請求項１の発明に係る議事録作成システムであって、会議の音声データを解析して、前記静止画像に対応する特定期間の音声データを抽出するとともに、当該特定期間の音声データを音声認識して文字データを生成する音声データ解析手段、をさらに備え、前記ファイル生成手段は、前記議事録ファイルにおいて、前記文字データを前記静止画像に対応させて配置することを特徴とする。
【００１５】
請求項９の発明は、コンピュータに、ａ）会議の映像データから、会議資料の表示シーンに係る静止画像を抽出する手順と、ｂ）前記静止画像に関連付けてしおり項目を生成する手順と、ｃ）前記静止画像と前記しおり項目とを有する議事録ファイルを生成する手順とを実行させるためのプログラムであることを特徴とする。
【００１６】
請求項１０の発明は、コンピュータに、ａ）会議の映像データから、会議資料の表示シーンに係る静止画像を抽出する手順と、ｂ）会議の音声データから、前記静止画像に対応する特定期間の音声データを抽出するとともに、当該特定期間の音声データを音声認識して文字データを生成する手順と、ｃ）前記静止画像から見出し項目を抽出する手順と、ｄ）前記見出し項目と前記文字データとに基づいて決定された項目名称を有するしおり項目を生成する手順と、ｅ）前記静止画像と当該静止画像に関連付けられた前記しおり項目とを有する議事録ファイルを生成する手順とを実行させるためのプログラムであることを特徴とする。
【発明の効果】
【００１７】
請求項１ないし請求項１０に記載の発明によれば、会議の映像データから、会議資料の表示シーンに係る静止画像が抽出され、当該静止画像に関するしおり項目が議事録ファイルにおいて生成される。そのため、議事録における項目を手動で付与する場合に比べて、手間を軽減して、議事録に対して簡易に項目情報を付与することが可能である。
【００１８】
特に、請求項２に記載の発明によれば、しおり項目の項目名称は、シーン画像から抽出された見出し項目と部分音声データに基づいて生成された文字データとに基づいて決定されている。そのため、しおり項目の項目名称は、元の見出し項目よりも多くの情報を含む。したがって、ユーザは、当該しおり項目を用いることによって、議事録ファイルの内容をさらに容易に把握することが可能である。
【図面の簡単な説明】
【００１９】
【図１】会議システムの概要を示す概念図である。
【図２】会議管理装置（ＭＦＰ）の概略構成を示すブロック図である。
【図３】議事録ファイルの作成動作を示すフローチャートである。
【図４】図３の一部の動作を詳細に示すフローチャートである。
【図５】議事録ファイルを示す図である。
【図６】議事録ファイルを示す図である。
【図７】映像データおよび音声データ等を示す図である。
【図８】シーン画像を示す図である。
【図９】別のシーン画像を示す図である。
【図１０】部分音声データから抽出された文字データを示す図である。
【図１１】シーン画像から見出し項目が抽出される様子を示す概念図である。
【図１２】文字データの解析動作を示す概念図である。
【図１３】しおり項目の決定動作を示す概念図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態を図面に基づいて説明する。
【００２１】
＜１．システム構成＞
図１は、会議システム１００の概要を示す概念図である。会議システム１００は、議事録作成機能を有しており、会議の議事録を作成する議事録作成システムであるとも表現される。
【００２２】
この会議システム１００は、会議管理装置１０と表示装置３０とコンピュータ５０とビデオカメラ７１とマイク７２とを備えている。
【００２３】
会議管理装置１０と表示装置３０とコンピュータ５０とビデオカメラ７１とマイク７２とは、互いにネットワークＮＷを介して接続されており、ネットワーク通信を行うことが可能である。ここにおいて、ネットワークＮＷは、ＬＡＮ、ＷＡＮ、インターネットなどによって構成される。各装置のネットワークＮＷへの接続形態は、有線接続であってもよく或いは無線接続であってもよい。
【００２４】
マイク７２は、会議における音声を集音して音声信号を生成し、当該音声信号を会議管理装置１０に送信する。会議管理装置１０は、マイク７２により録音された音声信号に基づいて音声データＡＤ（図７参照）を生成し、格納部５に保存する。
【００２５】
ビデオカメラ７１は、会議における人物映像等を撮影して映像信号を生成し、当該映像信号を会議管理装置１０に送信する。
【００２６】
会議管理装置１０は、ビデオカメラ７１により撮影された映像信号に基づいて映像データ（動画像データ）ＰＭ（図７参照）を生成し、格納部５に保存する。さらに、会議管理装置１０は、コンピュータ５０からの信号、たとえば、コンピュータ５０で表示されている会議資料ＤＭに関する表示用データ等をも受信する。そして、会議管理装置１０は、当該コンピュータ５０からのデータ等にも基づいて映像データＰＭを生成する。具体的には、或る時点ではビデオカメラ７１による撮影画像で映像データＰＭを構成し、別の時点ではコンピュータ５０からのデータ（表示用データ等）に基づいて映像データＰＭを構成する。あるいは、ビデオカメラ７１による撮影画像とコンピュータ５０からのデータとを合成して、映像データＰＭを構成するようにしてもよい。このように、映像データＰＭは、ビデオカメラ７１による撮影画像とコンピュータ５０からの映像とに基づいて生成される。また、当該映像データＰＭは、リアルタイムで、会議管理装置１０から表示装置３０に出力され、表示装置３０に表示される。
【００２７】
なお、ここでは、会議資料ＤＭの映像がコンピュータ５０から送信される場合を例示しているが、これに限定されない。たとえば、会議管理装置１０自身が、会議に関する資料データ等を保存および管理し、会議時に表示装置３０に出力するようにしてもよい。
【００２８】
表示装置３０は、会議管理装置１０から送信されてきた各種情報等を表示する装置である。表示装置３０は、例えば大型液晶表示装置として構成され、当該表示装置３０は、ネットワークＮＷを介して会議管理装置１０に接続されている。なお、これに限定されず、表示装置３０は、プロジェクタ装置（投影装置）等であってもよい。また、表示装置３０は、コンピュータ５０を介して会議管理装置に間接的に接続されるようにしてもよい。より詳細には、表示装置３０は、コンピュータ５０の映像信号出力部（詳細には外部出力端子）等を介して、会議管理装置１０からの映像信号を表示出力するようにしてもよい。
【００２９】
会議の出席者は、表示装置３０による表示画像によって、会議に関する各種の情報（資料データ等）を視認することができる。
【００３０】
また、この会議管理装置１０は、会議の議事録ファイルＰＲ（図５および図６参照）を作成することもできる。そのため、会議管理装置１０は、議事録作成装置であるとも表現される。議事録作成動作については後に詳述する。
【００３１】
会議管理装置１０は、この実施形態ではＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi Function Peripheral）として構成されている。
【００３２】
図２は、ＭＦＰ１０の概略構成を示すブロック図である。
【００３３】
図２の機能ブロック図に示すように、ＭＦＰ１０は、画像読取部２、印刷出力部３、通信部４、格納部５、入出力部６およびコントローラ９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
【００３４】
画像読取部２は、ＭＦＰ１０の所定の位置に載置された原稿を光学的に読み取って、当該原稿の画像データ（原稿画像とも称する）を生成する処理部である。
【００３５】
印刷出力部３は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。
【００３６】
通信部４は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部４は、通信ネットワークＮＷを介したネットワーク通信が可能である。このネットワーク通信では、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）およびＦＴＰ（File Transfer Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、ＭＦＰ１０は、所望の相手先との間で各種のデータを授受することが可能である。
【００３７】
格納部５は、ハードディスクドライブ（ＨＤＤ）等の格納装置で構成される。この格納部５には、画像読取部２等で生成された原稿画像（画像データ）が格納される。また、格納部５には、映像データＰＭおよび音声データＡＤ等も格納される。
【００３８】
入出力部６は、ＭＦＰ１０に対する入力を受け付ける操作入力部６ａと、各種情報の表示出力を行う表示部６ｂとを備えている。
【００３９】
コントローラ９は、ＭＦＰ１０に内蔵され、ＭＦＰ１０を統括的に制御する制御装置である。コントローラ９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ等）等を備えるコンピュータシステムとして構成される。コントローラ９は、ＣＰＵにおいて、ＲＯＭ（例えば、ＥＥＰＲＯＭ等）内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）を実行することによって、各種の処理部を実現する。
【００４０】
具体的には、図２に示すように、コントローラ９は、映像データ解析部３１、音声データ解析部３３、議事録ファイル生成部３５およびしおり生成部３７等を備える。
【００４１】
映像データ解析部３１は、会議の映像データ（動画像データ）ＰＭ（図７参照）を解析する処理部である。映像データ解析部３１は、会議の映像データＰＭから、会議資料の表示シーンに係る複数のシーン画像（静止画像データ）ＰＳｎを抽出する処理部であり、静止画像抽出部であるとも表現される。
【００４２】
音声データ解析部３３は、会議の音声データＡＤを解析して、各シーン画像ＰＳｎに対応する特定期間の音声データＳＡｎを抽出するとともに、当該特定期間の音声データＳＡｎを音声認識して文字データＣＨｎを生成する処理部である。
【００４３】
議事録ファイル生成部３５は、複数のシーン画像ＰＳｎに基づいて議事録ファイルＰＲ（図５および図６参照）を生成する処理部である。
【００４４】
しおり生成部３７は、シーン画像ＰＳｎをリンク先とするリンクデータ（ハイパーリンクデータ）が付与されたしおり項目ＢＭｎを生成する処理部である。また、しおり生成部３７は、議事録ファイル生成部３５と協働して、複数のしおり項目ＢＭｎを議事録ファイルＰＲのしおり表示欄ＲＢに配置する。
【００４５】
このしおり生成部３７は、見出し項目抽出部３８としおり項目生成部３９とを有する。
【００４６】
見出し項目抽出部３８は、シーン画像ＰＳｎから見出し項目ＨＤｎを抽出する処理部である。
【００４７】
しおり項目生成部３９は、しおり項目ＢＭｎの項目名称を生成する処理部である。しおり項目生成部３９は、見出し項目抽出部３８によって抽出された見出し項目ＨＤｎと、特定期間の音声データＳＡｎに基づいて生成された文字データＣＨｎとに基づいて「しおり項目」ＢＭｎの項目名称を生成する。より詳細には、しおり項目生成部３９は、文字データＣＨｎに係る文章を解析して、見出し項目ＨＤｎに関連する単語を抽出し、当該抽出された単語を用いて見出し項目ＨＤｎの項目名称を変更し、しおり項目ＢＭｎを生成する。
【００４８】
＜２．動作＞
つぎに、システム１００による議事録ファイルＰＲの作成動作について詳細に説明する。
【００４９】
ここでは、会議の冒頭において、当該会議での発表者（プレゼンター）の人物映像が撮影され、その後に、コンピュータ５０から会議管理装置１０を介して表示装置３０に表示された会議資料ＤＭを用いて、当該発表者による説明が行われる場合を想定する。また、当該会議に関して取得された映像データＰＭ（図７参照）は、その冒頭部分に発表者の人物映像を有するとともに、それに引き続いて会議資料ＤＭの複数のページに関する映像を有しているものとする。同様に、音声データＡＤは、その冒頭部分に発表者の人物の音声を有するとともに、それに引き続いて、会議資料ＤＭの複数のページに関する説明に係る音声を有しているものとする。以下では、当該会議の終了後において、当該映像データＰＭ等に基づいて会議の議事録ファイルＰＲが作成される場合を例示する。
【００５０】
図３は、議事録ファイルＰＲの作成動作を示すフローチャートであり、図４は、図３の一部（ステップＳ５）の動作を詳細に示すフローチャートである。図５および図６は、議事録ファイルＰＲを示す図であり、図７は、映像データＰＭおよび音声データＡＤ等を示す図である。図８は、シーン画像ＰＳ１を示す図であり、図９は、別のシーン画像ＰＳ２を示す図である。図１０は、部分音声データＳＡ１から抽出された文字データＣＨ１を示す図である。図１１は、シーン画像ＰＳ１から見出し項目が抽出される様子を示す概念図であり、図１２は、文字データＣＨ１の解析動作を示す概念図である。図１３は、しおり項目ＢＭ１の決定動作を示す概念図である。
【００５１】
図３に示すように、まず、ステップＳ１において、会議管理装置１０（詳細には、映像データ解析部３１）は、映像データ解析処理を実行し、映像データＰＭにおけるシーン変化を検出し、映像データＰＭを複数の部分映像ＰＴｎ（ＰＴ０，ＰＴ１，ＰＴ２，...）に区分する（図７参照）。
【００５２】
詳細には、まず、冒頭の人物に係るシーンと会議資料ＤＭの第１ページの画像が表示されているシーンとの切り替わり部分（撮影時刻Ｔ１）が検出される。つぎに、会議資料ＤＭの第１ページの画像が表示されているシーンと会議資料ＤＭの第２ページの画像が表示されているシーンとの切り替わり部分（撮影時刻Ｔ２）が検出される。以降、同様にして、会議資料ＤＭの第ｎページの画像が表示されているシーンと会議資料ＤＭの第（ｎ＋１）ページの画像が表示されているシーンとの切り替わり部分（撮影時刻Ｔ（ｎ＋１））が検出される。
【００５３】
そして、映像データ解析部３１は、撮影時刻Ｔｎから撮影時刻Ｔ（ｎ＋１）までの期間ＰＤｎに関する部分映像ＰＴｎ（複数のフレーム画像を有する動画像）を、第ｎページの画像に係るシーン映像（動画像）として抽出する。たとえば、映像データ解析部３１は、撮影時刻Ｔ１から撮影時刻Ｔ２までの期間ＰＤ１に亘る部分映像ＰＴ１を、第１ページの画像に係るシーン映像として抽出する。
【００５４】
また、映像データ解析部３１は、部分映像ＰＴｎにおける代表画像（静止画像）、たとえば部分映像ＰＴｎの先頭のフレーム画像を、会議資料ＤＭの第ｎ（例えば第ｎページ）の表示シーンに係るシーン画像（静止画像）ＰＳｎとして抽出する。具体的には、映像データ解析部３１は、部分映像ＰＴ１における代表的な画像（静止画像）、たとえば部分映像ＰＴ１の先頭のフレーム画像を、会議資料ＤＭの最初の表示シーン（第１頁が表示されている場面）に係るシーン画像ＰＳ１（図８参照）として抽出する。また、映像データ解析部３１は、部分映像ＰＴ２における代表的な画像（静止画像）、たとえば部分映像ＰＴ２の先頭のフレーム画像を、会議資料ＤＭの第２の表示シーンに係るシーン画像ＰＳ２（図９参照）として抽出する。
【００５５】
なお、映像データ解析部３１は、時刻Ｔ０から時刻Ｔ１までの冒頭のシーン（人物に係るシーン）が会議資料ＤＭに係るシーンでないことを、部分映像ＰＴ０を解析して判定する。そのため、ここでは会議資料ＤＭの表示シーンに係るシーン画像は、当該冒頭の人物に係るシーン映像（部分映像）ＰＴ０からは抽出されない。
【００５６】
また、ステップＳ２において、会議の音声データＡＤの解析処理が音声データ解析部３３によって実行される。
【００５７】
具体的には、音声データ解析部３３は、まず、会議の音声データＡＤの中から、各シーン画像ＰＳｎに対応する各部分音声データＳＡｎを抽出する。詳細には、各シーン画像ＰＳｎの対応期間ＰＤｎの音声データが、部分音声データＳＡｎとして抽出される。換言すれば、音声データ解析部３３は、会議の音声データＡＤを複数の部分音声データＳＡｎに区分する。なお、期間ＰＤｎの部分音声データＳＡｎを抽出する処理は、たとえば、映像データＰＷにおける時刻データ（撮影時刻データ）と音声データＡＤにおける時刻データ（録音時刻データ）とを用いて行われる。
【００５８】
また、音声データ解析部３３は、各部分音声データＳＡｎを音声認識して文字データを生成する。詳細には、各部分音声データＳＡｎに対して音声認識処理が施され、部分音声データＳＡｎ内の音声信号が文字データ（テキストデータ等）に変換される。たとえば、期間ＰＤ１に係る部分音声データＳＡ１から、図１０に示すような文字データＣＨ１が抽出される。
【００５９】
つぎに、ステップＳ３において、見出し項目抽出部３８は、各シーン画像ＰＳｎに対して見出し項目ＨＤｎの抽出処理を実行する。たとえば、図１１に示すように、見出し項目抽出部３８は、シーン画像ＰＳ１（図８）に対して画像解析処理（ＯＣＲ処理（光学式文字読取処理）を含む）を施し、見出し項目ＨＤ１（「生産性報告」）を抽出する。他のシーン画像ＰＳ２等に対しても、同様に見出し項目ＨＤｎの抽出処理が実行される。
【００６０】
次のステップＳ４においては、しおり項目生成部３９は、議事録ファイルＰＲにおけるしおり表示欄ＲＢに表示する「しおり項目」を生成する。当該「しおり項目」の項目名称は、各シーン画像ＰＳｎに対する抽出処理によって抽出された見出し項目ＨＤｎと、部分音声データＳＡｎに基づいて生成された文字データＣＨｎとに基づいて決定される。なお、議事録ファイルＰＲの「しおり項目」は、「見出し」の機能をも有しており、「見出し項目」とも称され得る。ただし、ここでは、シーン画像ＰＳｎの見出し項目ＨＤｎと区別するため、議事録ファイルＰＲの見出し項目ＢＭｎを「しおり項目」と称するものとする。
【００６１】
具体的には、しおり項目生成部３９は、まず、各見出し項目ＨＤｎに対して品詞分解処理を施す。たとえば、見出し項目ＨＤ１（「生産性報告」）に対して、品詞分解処理を施し、見出し項目ＨＤ１は、「生産性」（名詞）と「報告」（名詞）とに分解される。そして、しおり項目生成部３９は、見出し項目ＨＤ１が２つの名詞で構成されていることを検出する（図１１参照）。
【００６２】
ここでは、しおり項目生成部３９は、見出し項目ＨＤ１内の名詞の数Ｎ（ここでは「２」）に１を加えた数（すなわち（Ｎ＋１）個）（ここでは「３」）の名詞で、しおり項目ＢＭ１の項目名称を構成することを決定するものとする。すなわち、見出し項目ＨＤ１に対して１個の名詞が追加された名称が、しおり項目ＢＭ１の項目名称として決定されるものとする。また、各（すなわち（Ｎ＋１）個）の名詞は、適切な助詞あるいは助動詞等で互いに接続されるものとする。たとえば、原則として、「の」（助詞）、を用いて（Ｎ＋１）個の名詞が互いに接続されればよい。
【００６３】
つぎに、しおり項目生成部３９は、ステップＳ２で抽出された各文字データＣＨｎに係る文章を解析して、見出し項目ＨＤｎに関連する単語を抽出する（図１２参照）。
【００６４】
たとえば、まず、図１２の上半領域に示すように、文字データＣＨ１に係る文章内の複数の文は、それぞれ、品詞分解される。図１２の最上段においては、「生産性について報告します」の文が、「生産性」（名詞）、「に」（助詞）、「つい」（動詞）、「て」（助詞）、「報告」（名詞）、「し」（助動詞）、「ます」（助動詞）、「。」（特殊）、の各単語（品詞）に分解されている。文字データＣＨ１に係る文章内の他の文についても、同様の品詞分解処理が施される。
【００６５】
各単語は、出現頻度に応じて分類される。図１２の下半領域（左側）においては、文字データＣＨ１内の単語が、その出現頻度（出現回数）順にソートされて示されている。具体的には、「生産性」（名詞）、「よる」（動詞）、「低下」（名詞）などの単語が、その出現頻度順に示されている。
【００６６】
また、しおり項目生成部３９は、品詞分解された単語の中から「名詞」を抽出するとともに、当該「名詞」のうち、元の見出し項目ＨＤ１内の「生産性」（名詞）と「報告」（名詞）とを、重複排除のため、追加対象候補から除外する。ここでは、最も出現頻度が高い名詞「生産性」は、元の見出し項目ＨＤ１にも含まれているため、追加対象候補から除外される。そして、次順位の名詞「低下」が、追加対象候補として決定される。
【００６７】
そして、しおり項目生成部３９は、追加対象候補として決定された名詞「低下」と、元の見出し項目ＨＤ１内の名詞（「生産性」および「報告」）との関連性を検出する。ここでは、文字データＣＨ１の第３文の冒頭において、「生産性の低下」の用語が存在するため、「生産性」と「低下」とが互いに高い関連性を有していると判定される。また、「生産性」と「低下」とが「の」（助詞）を介して、この順序（当該第３文での順序）で結合されることが好ましいことも判定される。
【００６８】
この結果、しおり項目生成部３９は、図１３に示すように、「生産性」と「低下」と「報告」との３つの単語をこの順序で、「の」（助詞）を介してこの順序で結合した用語「生産性の低下の報告」を、しおり項目ＢＭ１の項目名称として決定する。すなわち、見出し項目ＨＤ１（「生産性報告」）に基づいて、しおり項目ＢＭ１（「生産性の低下の報告」）が生成される。
【００６９】
他のしおり項目ＢＭ２等に対しても、同様にして、その項目名称が生成される。
【００７０】
以上のようにして、しおり項目生成部３９は、文字データＣＨｎに係る文章を解析して、見出し項目ＨＤｎに関連する単語を抽出し、当該抽出された単語を用いて見出し項目ＨＤｎの項目名称を変更し、しおり項目ＢＭｎを生成する。なお、文字データＣＨｎから抽出される単語（しおり項目ＢＭｎでの追加対象）は、見出し項目ＨＤｎに関連する単語であって、見出し項目ＨＤｎに含まれる単語以外の単語（換言すれば、見出し項目ＨＤｎ内の単語に重複しない単語）であることが好ましい。
【００７１】
次のステップＳ５において、議事録ファイル生成部３５は、議事録ファイルＰＲのファイル生成処理を行う。生成された議事録ファイルＰＲは、図５および図６等に示すように、複数のシーン画像ＰＳｎ（ＰＳ１，ＰＳ２，...）と各シーン画像ＰＳｎに関連付けられた複数のしおり項目ＢＭｎ（ＢＭ１，ＢＭ２，...）とを有している。また、当該議事録ファイルＰＲは、複数の文字データＣＨｎと複数の部分音声データＳＡｎとをさらに有している。
【００７２】
図４は、ステップＳ５の詳細動作を示すフローチャートである。
【００７３】
図４に示すように、まず、ステップＳ１１において、議事録ファイルＰＲ内に各シーン画像ＰＳｎを配置する処理が実行される。具体的には、各シーン画像ＰＳｎは、議事録ファイルＰＲの本文表示欄ＲＡにおいて、第ｎページＰＧｎ内の上側領域に配置される。たとえば、図５に示すように、本文表示欄ＲＡにおいて、シーン画像ＰＳ１は第１ページＰＧ１内の上側領域に配置される。同様に、図６に示すように、シーン画像ＰＳ２は第２ページＰＧ２内の上側領域に配置される。
【００７４】
また、ステップＳ１２において、議事録ファイルＰＲ内にて、各文字データＣＨｎを各シーン画像ＰＳｎに対応させて配置する処理が実行される。具体的には、各文字データＣＨｎは、議事録ファイルＰＲの本文表示欄ＲＡにおいて、第ｎページＰＧｎ（シーン画像ＰＳｎと同一のページ）内の下側領域に配置される。より詳細には、図５に示すように、文字データＣＨ１は、本文表示欄ＲＡにおいて、第１ページＰＧ１内の下側領域に配置される。同様に、図６に示すように、各文字データＣＨ２は、第２ページＰＧ２内の下側領域に配置される。
【００７５】
さらに、ステップＳ１３において、議事録ファイルＰＲ内にしおり項目ＢＭｎを配置する処理が実行される。具体的には、各しおり項目ＢＭｎは、議事録ファイルＰＲのしおり表示欄ＲＢに配置される。より詳細には、図５に示すように、しおり項目ＢＭ１は、しおり表示欄ＲＢの最初の項目として配置される。また、しおり項目ＢＭ２は、しおり表示欄ＲＢの次の項目として配置される。なお、各しおり項目ＢＭｎの項目名称としては、ステップＳ４で生成された名称が用いられる。
【００７６】
また、このしおり項目ＢＭｎには、シーン画像ＰＳｎをリンク先とするリンクデータが付与される。完成後の議事録ファイルＰＲにおいて、しおり項目ＢＭｎに対する操作（クリック操作等）が行われると、当該操作に応じて当該リンクデータが参照され、しおり項目ＢＭｎのリンク先のシーン画像ＰＳｎ等が本文表示欄ＲＡに更新表示される。
【００７７】
また、ステップＳ１４においては、部分音声データＳＡｎを、議事録ファイルＰＲ内のしおり項目ＢＭｎに対応する位置にリンクさせる処理が実行される。具体的には、各部分音声データＳＡｎは、議事録ファイルＰＲのしおり表示欄ＲＢ内における対応しおり項目の近接位置にリンクされる。より詳細には、図５に示すように、しおり表示欄ＲＢの第１のしおり項目ＢＭ１の直下位置に、音声データを模式的に表すアイコンＣＮ１が表示されるとともに、当該アイコンＣＮ１に対して部分音声データＳＡ１がリンクされる。同様に、しおり表示欄ＲＢの第２のしおり項目ＢＭ２の直下位置に、音声データを模式的に表すアイコンＣＮ２が表示されるとともに、当該アイコンＣＮ２に対して部分音声データＳＡ２がリンクされる。このように、各部分音声データＳＡｎは、しおり表示欄ＲＢ内の対応しおり項目ＢＭｎに付随するアイコンＣＮｎにリンクされる。
【００７８】
以上のようにして、議事録ファイルＰＲが生成される。
【００７９】
上記実施形態によれば、会議の映像データＰＭから、会議資料の表示シーンに係るシーン画像（静止画像）ＰＳｎが抽出され、当該シーン画像ＰＳｎに関するしおり項目ＢＭｎが議事録ファイルＰＲにおいて自動的に生成される。そのため、議事録における項目を手動で付与する場合に比べて、手間が軽減され、議事録に対して簡易に項目情報を付与することが可能である。
【００８０】
また、議事録ファイルＰＲにおいて、シーン画像ＰＳｎをリンク先とするリンクデータが付与されたしおり項目ＢＭｎが生成され、当該しおり項目ＢＭｎが議事録ファイルＰＲのしおり表示欄に配置される。そのため、当該しおり項目ＢＭｎをクリック操作することなどによって、当該しおり項目ＢＭｎに対応するシーン画像ＰＳｎと当該しおり項目ＢＭｎに対応する文字データＣＨｎとを本文表示欄ＲＡ内に表示させることができる。したがって、各しおり項目ＢＭｎを用いてシーン画像ＰＳｎ等を容易に参照することが可能である。
【００８１】
ところで、上記実施形態では、しおり項目ＢＭｎを文字データＣＨｎにも基づいて生成しているが、本発明は、これに限定されない。たとえば、シーン画像ＰＳｎから抽出した見出し項目ＨＤｎをそのまましおり項目ＢＭｎとして用いるようにしてもよい。
【００８２】
ただし、会議資料に係るシーン画像ＰＳｎの見出し項目ＨＤｎは、会議にて補足して説明されることを前提にして、非常に簡潔に記載されていることが多い。そのため、当該用語のみから議事録の内容を把握することは必ずしも容易でない。たとえば、上記においても、シーン画像ＰＳ１の見出し項目ＨＤ１は「生産性報告」であり、この見出し項目ＨＤ１のみから得られる情報は必ずしも多くはない。
【００８３】
これに対して、上記実施形態においては、しおり生成部３７は、シーン画像ＰＳｎから抽出された見出し項目ＨＤｎのみならず、部分音声データＳＡｎに基づいて生成された文字データＣＨｎにも基づいて、しおり項目ＢＭｎの項目名称を決定している。換言すれば、しおり項目ＢＭｎの項目名称は、シーン画像ＰＳｎから抽出された見出し項目ＨＤｎと部分音声データＳＡｎに基づいて生成された文字データＣＨｎとに基づいて決定されている。詳細には、しおり生成部３７は、文字データＣＨｎに係る文章を解析して、見出し項目ＨＤｎに関連する単語を抽出し、当該抽出された単語を用いて見出し項目ＨＤｎの項目名称を変更して、しおり項目ＢＭｎの名称を生成している。より具体的には、文字データＣＨｎから抽出した新たな１つの単語が見出し項目ＨＤｎに追加されて、しおり項目ＢＭｎが生成されている。
【００８４】
そのため、新たなしおり項目ＢＭｎに関する情報量は、見出し項目ＨＤｎの情報量に比べて増大している。たとえば、しおり項目ＢＭ１は、「生産性の低下の報告」であり、「低下」という単語を付加的に有することによって、見出し項目ＨＤ１（「生産性報告」）のみから得られる情報よりも多くの情報を有している。このように、しおり項目ＢＭｎの項目名称は、元の見出し項目ＨＤｎよりも多くの情報を含み、判り易い名称になっている。
【００８５】
したがって、ユーザは、当該しおり項目ＢＭｎを用いることによって、議事録ファイルＰＲの内容をさらに容易に把握することが可能である。
【００８６】
＜３．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【００８７】
たとえば、上記実施形態においては、会議の終了後において会議の議事録ファイルＰＲが作成される場合を例示したが、これに限定されず、議事録ファイルＰＲが会議の議事進行と並行して（端的に言えばリアルタイムで）作成されるようにしてもよい。
【００８８】
また、上記実施形態においては、文字データＣＨｎから抽出した新たな１つの単語を見出し項目ＨＤｎに追加して、見出し項目ＨＤｎの情報量に比べてしおり項目ＢＭｎに関する情報量を増大させる場合を例示したが、これに限定されない。たとえば、文字データＣＨｎから抽出した新たな２つ以上の単語を見出し項目ＨＤｎに追加して、見出し項目ＨＤｎの情報量に比べてしおり項目ＢＭｎに関する情報量を増大させるようにしてもよい。
【００８９】
また、上記実施形態においては、見出し項目ＨＤｎ内の単語と文字データＣＨｎから抽出した所定数の単語とが、助詞である「の」を用いて互いに接続されて、しおり項目ＢＭｎが生成される場合を例示しているが、これに限定されない。たとえば、単語間の接続に関するデータベース等に基づいて、単語間の接続に関する用語を決定し、自然言語としての正確性を向上させるようにしてもよい。
【００９０】
また、上記実施形態においては、シーン画像ＰＳｎから抽出した見出し項目ＨＤｎの文字列（詳細には当該文字列の順序等）を変更して、しおり項目ＢＭｎが生成される場合を例示したが、これに限定されない。たとえば、シーン画像ＰＳｎから抽出した見出し項目ＨＤｎに加えて、当該見出し項目ＨＤｎとは別の文字列をも含む文字列をしおり項目ＢＭｎとして生成するようにしてもよい。具体的には、文字データＣＨｎから生成した文字列「生産性の低下」を見出し項目ＨＤ１の文字列「生産性報告」に括弧付きで加えた文字列「生産性報告（生産性の低下）」を、しおり項目ＢＭｎとして生成するようにしてもよい。
【００９１】
また、上記実施形態（ステップＳ２等）においては、各シーン画像ＰＳｎの対応期間ＰＤｎの音声データが部分音声データＳＡｎとして抽出される場合を例示しているが、これに限定されない。たとえば、音声データＡＤに対して独自に音声解析処理を施して、音声データを部分音声データＳＡｎよりも細かな複数の区分データに区分しておき、幾つかの区分データを纏めることによって、部分音声データＳＡｎを生成するようにしてもよい。また、部分音声データＳＡｎを纏めてしおり項目ＢＭｎに対応する位置にリンクさせるのではなく、部分音声データＳＡｎよりも細かな複数の区分データを、それぞれ、しおり表示欄ＲＢ内の対応位置にリンクさせるようにしてもよい。
【符号の説明】
【００９２】
１０ 会議管理装置（ＭＦＰ）
３０ 表示装置
５０ コンピュータ
７１ ビデオカメラ
７２ マイク
１００ 会議システム
ＡＤ 音声データ
ＢＭ１，ＢＭ２，ＢＭｎ しおり項目
ＣＨ１，ＣＨ２，ＣＨｎ 文字データ
ＨＤ１，ＨＤ２，ＨＤｎ 見出し項目
ＰＭ 映像データ
ＰＲ 議事録ファイル
ＰＳ１，ＰＳ２，ＰＳｎ シーン画像
ＲＡ 本文表示欄
ＲＢ しおり表示欄
ＳＡ１，ＳＡ２，ＳＡｎ 各部分音声データ
Ｔｎ 時刻
【特許請求の範囲】
【請求項１】
会議の議事録を作成する議事録作成システムであって、
会議の映像データから、会議資料の表示シーンに係る静止画像を抽出する静止画像抽出手段と、
前記静止画像に基づいて議事録ファイルを生成するファイル生成手段と、
前記議事録ファイルにおいて前記静止画像に関するしおり項目を生成するしおり生成手段と、
を備えることを特徴とする議事録作成システム。
【請求項２】
請求項１に記載の議事録作成システムであって、
会議の音声データから、前記静止画像に対応する特定期間の音声データを抽出するとともに、当該特定期間の音声データを音声認識して文字データを生成する音声データ解析手段、
をさらに備え、
前記しおり生成手段は、
前記静止画像から見出し項目を抽出する見出し項目抽出手段と、
前記見出し項目抽出手段によって抽出された前記見出し項目と前記音声データに基づいて生成された前記文字データとに基づいて前記しおり項目の項目名称を決定するしおり項目生成手段と、
を有することを特徴とする議事録作成システム。
【請求項３】
請求項２に記載の議事録作成システムであって、
前記しおり項目生成手段は、前記文字データに係る文章を解析して、前記見出し項目に関連する単語を抽出し、当該抽出された単語を用いて前記見出し項目の前記項目名称を変更し前記しおり項目を生成することを特徴とする議事録作成システム。
【請求項４】
請求項１ないし請求項３のいずれかに記載の議事録作成システムであって、
前記しおり生成手段は、前記静止画像をリンク先とするリンクデータを、前記しおり項目に付与することを特徴とする議事録作成システム。
【請求項５】
請求項１ないし請求項４のいずれかに記載の議事録作成システムであって、
前記しおり生成手段は、前記しおり項目を前記議事録ファイルのしおり表示欄に配置することを特徴とする議事録作成システム。
【請求項６】
請求項２または請求項３に記載の議事録作成システムであって、
前記ファイル生成手段は、前記議事録ファイルにおいて、前記文字データの文字列を前記静止画像に対応させて配置することを特徴とする議事録作成システム。
【請求項７】
請求項２ないし請求項６のいずれかに記載の議事録作成システムであって、
前記ファイル生成手段は、前記特定期間の音声データを前記しおり項目に対応する位置にリンクさせることを特徴とする議事録作成システム。
【請求項８】
請求項１に記載の議事録作成システムであって、
会議の音声データを解析して、前記静止画像に対応する特定期間の音声データを抽出するとともに、当該特定期間の音声データを音声認識して文字データを生成する音声データ解析手段、
をさらに備え、
前記ファイル生成手段は、前記議事録ファイルにおいて、前記文字データを前記静止画像に対応させて配置することを特徴とする議事録作成システム。
【請求項９】
コンピュータに、
ａ）会議の映像データから、会議資料の表示シーンに係る静止画像を抽出する手順と、
ｂ）前記静止画像に関連付けてしおり項目を生成する手順と、
ｃ）前記静止画像と前記しおり項目とを有する議事録ファイルを生成する手順と、
を実行させるためのプログラム。
【請求項１０】
コンピュータに、
ａ）会議の映像データから、会議資料の表示シーンに係る静止画像を抽出する手順と、
ｂ）会議の音声データから、前記静止画像に対応する特定期間の音声データを抽出するとともに、当該特定期間の音声データを音声認識して文字データを生成する手順と、
ｃ）前記静止画像から見出し項目を抽出する手順と、
ｄ）前記見出し項目と前記文字データとに基づいて決定された項目名称を有するしおり項目を生成する手順と、
ｅ）前記静止画像と当該静止画像に関連付けられた前記しおり項目とを有する議事録ファイルを生成する手順と、
を実行させるためのプログラム。
【請求項１】
会議の議事録を作成する議事録作成システムであって、
会議の映像データから、会議資料の表示シーンに係る静止画像を抽出する静止画像抽出手段と、
前記静止画像に基づいて議事録ファイルを生成するファイル生成手段と、
前記議事録ファイルにおいて前記静止画像に関するしおり項目を生成するしおり生成手段と、
を備えることを特徴とする議事録作成システム。
【請求項２】
請求項１に記載の議事録作成システムであって、
会議の音声データから、前記静止画像に対応する特定期間の音声データを抽出するとともに、当該特定期間の音声データを音声認識して文字データを生成する音声データ解析手段、
をさらに備え、
前記しおり生成手段は、
前記静止画像から見出し項目を抽出する見出し項目抽出手段と、
前記見出し項目抽出手段によって抽出された前記見出し項目と前記音声データに基づいて生成された前記文字データとに基づいて前記しおり項目の項目名称を決定するしおり項目生成手段と、
を有することを特徴とする議事録作成システム。
【請求項３】
請求項２に記載の議事録作成システムであって、
前記しおり項目生成手段は、前記文字データに係る文章を解析して、前記見出し項目に関連する単語を抽出し、当該抽出された単語を用いて前記見出し項目の前記項目名称を変更し前記しおり項目を生成することを特徴とする議事録作成システム。
【請求項４】
請求項１ないし請求項３のいずれかに記載の議事録作成システムであって、
前記しおり生成手段は、前記静止画像をリンク先とするリンクデータを、前記しおり項目に付与することを特徴とする議事録作成システム。
【請求項５】
請求項１ないし請求項４のいずれかに記載の議事録作成システムであって、
前記しおり生成手段は、前記しおり項目を前記議事録ファイルのしおり表示欄に配置することを特徴とする議事録作成システム。
【請求項６】
請求項２または請求項３に記載の議事録作成システムであって、
前記ファイル生成手段は、前記議事録ファイルにおいて、前記文字データの文字列を前記静止画像に対応させて配置することを特徴とする議事録作成システム。
【請求項７】
請求項２ないし請求項６のいずれかに記載の議事録作成システムであって、
前記ファイル生成手段は、前記特定期間の音声データを前記しおり項目に対応する位置にリンクさせることを特徴とする議事録作成システム。
【請求項８】
請求項１に記載の議事録作成システムであって、
会議の音声データを解析して、前記静止画像に対応する特定期間の音声データを抽出するとともに、当該特定期間の音声データを音声認識して文字データを生成する音声データ解析手段、
をさらに備え、
前記ファイル生成手段は、前記議事録ファイルにおいて、前記文字データを前記静止画像に対応させて配置することを特徴とする議事録作成システム。
【請求項９】
コンピュータに、
ａ）会議の映像データから、会議資料の表示シーンに係る静止画像を抽出する手順と、
ｂ）前記静止画像に関連付けてしおり項目を生成する手順と、
ｃ）前記静止画像と前記しおり項目とを有する議事録ファイルを生成する手順と、
を実行させるためのプログラム。
【請求項１０】
コンピュータに、
ａ）会議の映像データから、会議資料の表示シーンに係る静止画像を抽出する手順と、
ｂ）会議の音声データから、前記静止画像に対応する特定期間の音声データを抽出するとともに、当該特定期間の音声データを音声認識して文字データを生成する手順と、
ｃ）前記静止画像から見出し項目を抽出する手順と、
ｄ）前記見出し項目と前記文字データとに基づいて決定された項目名称を有するしおり項目を生成する手順と、
ｅ）前記静止画像と当該静止画像に関連付けられた前記しおり項目とを有する議事録ファイルを生成する手順と、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−４３０４６（Ｐ２０１２−４３０４６Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８１５１５（Ｐ２０１０−１８１５１５）
【出願日】平成２２年８月１６日（２０１０．８．１６）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月１６日（２０１０．８．１６）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]