説明

遠隔会議管理システム、遠隔会議管理方法及び遠隔会議管理プログラム

【課題】遠隔地に設置された会議端末同士を、ネットワークを介して接続し、映像や音声を用いて確実に会議を行なうための遠隔会議管理システム、遠隔会議管理方法及び遠隔会議管理プログラムを提供する。
【解決手段】会議管理サーバ20の制御部21は、TV会議端末(10A,10B)から、参加者の画像を取得し、遠隔会議の参加者の認証を行なう。そして、認証ができた人数が必要数に達している場合、会議管理サーバ20の制御部21は、アクション許可処理を実行する。更に、制御部21は、TV会議端末(10A,10B)からの画像を解析して参加者画像の追跡により所在検知を行なう。そして、参加者画像を追従できていない場合、制御部21は、会議開催条件の判定処理を実行する。参加者人数が必要数よりも少なくなり、会議開催条件を維持できない場合、制御部21は、各TV会議端末(10A,10B)にアラームを出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔地に設置された会議端末同士を、ネットワークを介して接続し、映像や音声を用いて会議を行なうための遠隔会議管理システム、遠隔会議管理方法及び遠隔会議管理プログラムに関する。
【背景技術】
【0002】
今日、企業において異なる事業所間をネットワークで接続して対話を行なうことができるようにした遠隔会議管理システムが利用されている。しかし、このような遠隔会議管理システムでは、会議参加者が本人であることを認証することや、会議参加者が実際に会議に参加していることを証明することが困難であった。
【0003】
そこで、会議の信頼性を向上させるための会議システムが検討されている(例えば、特許文献1、2を参照。)。この文献1に記載の会議システムは、認証手段が、会議開催端末から送信された主催者からの生体情報と、識別子情報と、暗証番号との整合性を、利用者データ記憶部に記憶されている認証データを元に確認することで主催者の認証を行なう。また、議事録作成手段が、会議内容記憶部に記録された内容より議事録を作成し、署名受付手段が、送られてきた署名を受け付けて議事録と共に会議内容記憶部に記録する。
【0004】
また、この文献2に記載の会議システムにおいても、正しい主催者であることを参加者端末に示すために用いる認証用情報を主催者端末側で生成し、認証用情報を参加者端末に提供して会議参加の依頼を行なう。そして、主催者端末からの会議参加依頼を待機し、主催者端末からの会議参加依頼に対し、提供された認証用情報を元に、操作者が会議接続の可否を判断し、会議参加のための接続処理を行なう。
【特許文献1】特開2002−271498号公報(第1頁)
【特許文献2】特開2003−167856号公報(第1頁)
【発明の開示】
【発明が解決しようとする課題】
【0005】
このような遠隔会議管理システムは、より厳格性が求められる場面においても利用される可能性がある。例えば、会社法では、取締役会議事録の記載事項において、「取締役会が開催された日時及び場所(当該場所に存しない取締役、執行役、会計参与、監査役、会計監査人又は株主が取締役会に出席をした場合における当該出席の方法を含む。」(施行規則101条3項1号)が含まれており、テレビ会議方式によって取締役会が実施されることが想定されている。このような会議では、会議開催条件が厳格に求められるが、遠隔地間での会議においては、物理的な出席により達成される様々な知覚に匹敵する確証を出席者全員が確実に取得していると認識することが困難である。具体的には、参加者一人一人について、以下の条件が求められる。
【0006】
・ 各出席者の存在が相互に他の出席者に認められており、その確証を得ることができること。
・ 各出席者の発言が相互に他の出席者に正確かつ完全に聞きとられており、その確証を得ることができること。
【0007】
特許文献1、2においては、認証処理を行なうことにより、遠隔会議管理システムの信頼性の向上を図っているが、認証や署名行為は、会議の中で特定の時点での行為であり、認証の継続性という視点は考慮されていない。すなわち、このような会議においては、上述の条件が会議の継続中、一貫して持続しているという確証を出席者全員が取得している
という認識を得ることが必要である。しかしながら、特許文献1、2においては、会議継続中の条件を満足されている状態が維持されていることの証明ができない。
【0008】
本発明は、上述の問題に鑑みてなされたものであり、この目的は、遠隔地に設置された会議端末同士を、ネットワークを介して接続し、映像や音声を用いて確実に会議を行なうための遠隔会議管理システム、遠隔会議管理方法及び遠隔会議管理プログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記問題点を解決するために、請求項1に記載の発明は、利用者識別子毎に、本人認証を行なうための特徴量に関するデータを記録した認証情報記憶手段と、会議識別子毎に、参加予定者の利用者識別子及び会議開催条件に関するデータを記録した会議運営情報記憶手段と、遠隔地の会議端末に接続された制御手段とを用いて、遠隔会議を管理するシステムであって、前記制御手段が、前記会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、前記特徴量と、前記会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する認証処理手段、前記特定した参加者の参加状況と前記会議運営情報記憶手段に記録された会議開催条件とを照合し、前記参加状況が会議開催条件を満たした場合には、会議開始許可を出力する開始管理手段、前記会議端末から取得した画像において参加者を監視し、前記参加者認証処理によって特定された参加者の画像を追跡できなくなった場合、この時点の参加状況と前記会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、会議中断指示を出力する継続監視手段を備えたことを要旨とする。
【0010】
請求項2に記載の発明は、請求項1に記載の遠隔会議管理システムにおいて、前記会議運営情報記憶手段には、会議開催条件として参加者の必要数が記録されており、前記開始管理手段及び継続監視手段が、参加状況として参加者人数を特定し、この参加者人数と、前記会議運営情報記憶手段に記録された必要数とを照合することを要旨とする。
【0011】
請求項3に記載の発明は、請求項1又は2に記載の遠隔会議管理システムにおいて、前記会議運営情報記憶手段には、会議開催条件として必須参加者の利用者識別子が記録されており、前記開始管理手段及び継続監視手段が、前記参加者の利用者識別子を参加状況として特定し、この利用者識別子の中に、前記会議運営情報記憶手段に記録された必須参加者の利用者識別子が含まれるかどうかを照合することを要旨とする。
【0012】
請求項4に記載の発明は、請求項1〜3のいずれか一つに記載の遠隔会議管理システムにおいて、前記制御手段が、画像状態に応じて再度認証を行なう時間間隔を決定し、前記継続監視手段は、前記時間間隔に応じて、前記参加者認証処理を繰り返すことを特徴とすることを要旨とする。
【0013】
請求項5に記載の発明は、請求項1〜4のいずれか一つに記載の遠隔会議管理システムにおいて、前記継続監視手段は、前記参加者認証処理の結果に基づいて、前記会議端末から取得した画像において前記参加者認証処理によって特定された参加者の画像を追跡することを特徴とすることを要旨とする。
【0014】
請求項6に記載の発明は、利用者識別子毎に、本人認証を行なうための特徴量に関するデータを記録した認証情報記憶手段と、会議識別子毎に、参加予定者の利用者識別子及び会議開催条件に関するデータを記録した会議運営情報記憶手段と、遠隔地の会議端末に接続された制御手段とを用いて、遠隔会議を管理する方法であって、前記制御手段が、前記会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、前記特徴量と、前記会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特
定する参加者認証処理を実行する認証処理段階、前記特定した参加者の参加状況と前記会議運営情報記憶手段に記録された会議開催条件とを照合し、前記参加状況が会議開催条件を満たした場合には、会議開始許可を出力する開始管理段階、前記会議端末から取得した画像において参加者を監視し、前記参加者認証処理によって特定された参加者の画像を追跡できなくなった場合、この時点の参加状況と前記会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、会議中断指示を出力する継続監視段階を実行することを要旨とする。
【0015】
請求項7に記載の発明は、利用者識別子毎に、本人認証を行なうための特徴量に関するデータを記録した認証情報記憶手段と、会議識別子毎に、参加予定者の利用者識別子及び会議開催条件に関するデータを記録した会議運営情報記憶手段と、遠隔地の会議端末に接続された制御手段とを用いて、遠隔会議を管理するプログラムであって、前記制御手段を、前記会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、前記特徴量と、前記会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する認証処理手段、前記特定した参加者の参加状況と前記会議運営情報記憶手段に記録された会議開催条件とを照合し、前記参加状況が会議開催条件を満たした場合には、会議開始許可を出力する開始管理手段、前記会議端末から取得した画像において参加者を監視し、前記参加者認証処理によって特定された参加者の画像を追跡できなくなった場合、この時点の参加状況と前記会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、会議中断指示を出力する継続監視手段として機能させることを要旨とする。
【0016】
(作用)
請求項1、6又は7に記載の発明によれば、制御手段が、会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、特徴量と、会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する。そして、参加者の参加状況と会議運営情報記憶手段に記録された会議開催条件とを照合し、参加状況が会議開催条件を満たした場合には、会議開始許可を出力する。会議端末から取得した画像において参加者を監視し、参加者認証処理によって特定された参加者の画像を追跡できなくなった場合、この時点の参加状況と会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、会議中断指示を出力する。これにより、画像を用いて、参加者状況を継続的に把握し、厳格に会議を実施することができる。
【0017】
請求項2に記載の発明によれば、制御手段が、参加状況として参加者人数を特定し、この参加者人数と、会議運営情報記憶手段に記録された必要数とを照合する。これにより、会議を開催する場合に必要な参加者人数を継続的に維持しながら、厳格に会議を実施することができる。
【0018】
請求項3に記載の発明によれば、制御手段は、参加者の利用者識別子を参加状況として特定し、この利用者識別子の中に、会議運営情報記憶手段に記録された必須参加者の利用者識別子が含まれるかどうかを照合する。これにより、会議を開催する場合に必要な人物の参加状態を継続的に維持しながら、厳格に会議を実施することができる。
【0019】
請求項4に記載の発明によれば、制御手段が、画像状態に応じて再度認証を行なう時間間隔を決定する。そして、時間間隔に応じて、参加者認証処理を繰り返す。これにより、システム処理負担を軽減しながら、厳格に会議を実施することができる。
【0020】
請求項5に記載の発明によれば、制御手段が、参加者認証処理の結果に基づいて、会議端末から取得した画像において参加者認証処理によって特定された参加者の画像を追跡する。これにより、認証処理の負荷を軽減しながら、会議開催に必要な条件を維持すること
ができる。
【発明の効果】
【0021】
本発明によれば、遠隔地に設置された会議端末同士を、ネットワークを介して接続し、映像や音声を用いて確実に会議を行なうことができる。
【発明を実施するための最良の形態】
【0022】
以下、本発明を具体化した遠隔会議管理システムの一実施形態を、図1〜図8に従って説明する。本実施形態では、図1に示すように、遠隔地の会議室に設置された複数のTV会議端末(10A,10B)を用いて、遠隔地の参加者により会議を行なう場合に用いる遠隔会議管理システム、遠隔会議管理方法及び遠隔会議管理プログラムとして説明する。各TV会議端末(10A,10B)は、ネットワークを介して会議管理サーバ20に相互に接続される。このようなTV会議端末(10A,10B)や会議管理サーバ20には、それぞれ通信先を特定するためのアドレス(例えばIPアドレス)が付与されており、このアドレスを用いて、他のTV会議端末や会議管理サーバ20と通信を行なう。
【0023】
各TV会議端末(10A,10B)は、各利用者が遠隔会議を行なうためのコンピュータ端末である。具体的には、TV会議端末(10A,10B)は、CPU、RAM、ROMから構成された制御手段としての制御部11、操作部12、入力手段としての入力部13、出力手段としての出力部14を備える。
【0024】
操作部12は、利用者の各種操作を受け付ける処理を実行する。この操作部12は、キーボードやポインティングデバイスから構成される。
入力部13は、自端末側の音声データや画像データを取得する処理を実行する。具体的には、マイクや撮像カメラから構成される。
【0025】
出力部14は、相手側の音声データや画像データを出力する処理を実行する。具体的には、スピーカやディスプレイから構成される。
制御部11は、後述するように、入力部13を介して取得した音声データや画像データを会議管理サーバ20や他のTV会議端末(10A,10B)に送信する処理を実行する。更に、他のTV会議端末(10A,10B)から受信した音声データや画像データを、出力部14を介して出力する処理を実行する。
【0026】
また、各TV会議端末(10A,10B)は、一方のTV会議端末(例えば、TV会議端末10A)が送信した音声データや画像データが、相手側のTV会議端末(例えば、TV会議端末10B)に確実に出力されているかどうかを確認する動作確認処理を実行する。TV会議端末(10A,10B)の制御部11は、動作確認プログラムが実行されることにより、相手端末に対してのデータ送信段階、相手端末からのデータ受信段階、エコー抽出段階、アラーム出力段階等の各処理を実行する。このため、各TV会議端末(10A,10B)は、図3に示すように、音声・画像データ記憶部15を備える。そして、各TV会議端末(10A,10B)の制御部11は、音声・画像取得手段11a、記録手段11b、音声・画像転送手段11c、音声・画像取得手段11d、エコー抽出手段11e、アラーム出力手段11f、エコー消去手段11g、記録手段11h、音声・画像出力手段11iとして機能する。
【0027】
この音声・画像データ記憶部15には、自端末の入力部13を介して取得した音声データや画像データが一時記憶される。
音声・画像取得手段11aは、自端末の入力部13を介して、自端末側の音声データや画像データを取得する処理を実行する。
【0028】
記録手段11bは、自端末の入力部13を介して、取得した音声データや画像データを音声・画像データ記憶部15に記録する処理を実行する。
音声・画像転送手段11cは、自端末の入力部13を介して、取得した音声データや画像データを、ネットワークを介して、相手端末であるTV会議端末(10A,10B)や会議管理サーバ20に送信する処理を実行する。
【0029】
音声・画像取得手段11dは、ネットワークを介して、相手端末からの音声データや画像データを取得する処理を実行する。
エコー抽出手段11eは、自端末から先に送信した送信信号(音声データや画像データ)のエコー信号を、相手端末から取得した音声データや画像データから抽出する処理を実行する。
【0030】
アラーム出力手段11fは、送信信号の強度(オリジナル信号レベル)とエコー信号の強度(エコー信号レベル)とを比較し、この比較値が基準値以下の場合にはアラームを出力する処理を実行する。
【0031】
エコー消去手段11gは、相手端末から取得した音声データや画像データから、自端末から送信した音声データや画像データのエコー信号を消去する処理を実行する。
記録手段11hは、相手端末から取得した音声データや画像データからエコー信号を消去したデータを音声・画像データ記憶部15に記録する処理を実行する。
音声・画像出力手段11iは、エコー信号が消去された音声データや画像データを、出力部14を介して出力する処理を実行する。
【0032】
そして、このTV会議端末(10A,10B)は、図1に示すように、ネットワークを介して会議管理サーバ20に接続される。
【0033】
この会議管理サーバ20は、TV会議端末(10A,10B)間の遠隔会議を管理するコンピュータシステムである。会議管理サーバ20は、会議管理データ記憶部22、利用者データ記憶部23、実況データ記憶部24、議事録データ記憶部25を備えている。
【0034】
会議管理データ記憶部22は会議運営情報記憶手段として機能し、図2(a)に示すように、会議の実施スケジュールについての会議管理レコード220が記録されている。この会議管理レコード220は、参加者が決定されて、会議が設定登録された場合に記録される。この会議管理レコード220は、会議管理識別子、開始予定日時、会議開催条件、利用者識別子、参加フラグに関するデータを記録するためのデータ領域を含んで構成される。
【0035】
会議管理識別子データ領域には、各会議を特定するための識別子に関するデータが記録される。
開始予定日時データ領域には、この会議が開始される予定日時に関するデータが記録される。
【0036】
会議開催条件データ領域には、この会議が成立するための開催条件に関するデータが記録される。本実施形態では、会議が成立するために必要な参加人数(必要数)に関するデータが記録される。
【0037】
利用者識別子データ領域には、この会議に参加する利用者を特定するための識別子に関するデータが記録される。
参加フラグデータ領域には、この会議に参加した利用者を特定するためのフラグが記録される。
【0038】
利用者データ記憶部23は認証情報記憶手段として機能し、図2(b)に示すように、この会議に参加する利用者を特定するための利用者レコード230が記録されている。この利用者レコード230は、本システムを利用する利用者が登録された場合に記録される。この利用者レコード230は、利用者識別子に対して、事前登録認証データ、認証時刻及び逐次認証データを記録するためのデータ領域を含んで構成される。
【0039】
利用者識別子データ領域には、このシステムを利用することができる利用者を特定するための識別子に関するデータが記録される。
事前登録認証データ領域には、本人認証を行なうために予め登録された認証データが記録される。事前登録認証データ領域には、本人の顔画像や音声の特徴量に関するデータが記録される。なお、本実施形態の参加者確認処理においては、顔認証を用いる。
【0040】
認証時刻データ領域には、後述する継続認証処理により、逐次、認証を行なった日時に関するデータが記録される。
逐次認証データ領域には、継続認証処理により算出した現在の顔画像の特徴量に関するデータが記録される。
【0041】
実況データ記憶部24には、各TV会議端末(10A,10B)から取得した音声データや画像データが、タイムスタンプとともに時系列に記録される。このタイムスタンプにより、各データが記録された日時を特定することができる。更に、実況データ記憶部24には、音声データや画像データのハッシュ値が記録される。
【0042】
議事録データ記憶部25には、各TV会議端末(10A,10B)から取得した音声データを用いて生成したテキストデータが、タイムスタンプ及び発言者の利用者識別子に関連付けられて時系列に記録される。
【0043】
会議管理サーバ20の制御部21は、遠隔会議管理プログラムが実行されることにより、認証処理段階、開始管理段階、継続監視段階等の各処理を実行する。そして、制御部21は、実況データ取得手段21a、実況データ記録手段21b、ハッシュ処理手段21c、会議進行管理手段21d、本人認証手段21e、認証管理手段21f、発言確認手段21g、音声認識手段21h、参加者画像追跡手段21iとして機能する。本実施形態では、会議進行管理手段21dは開始管理手段として機能し、本人認証手段21eは認証処理手段として機能し、認証管理手段21fや参加者画像追跡手段21iが、継続監視手段として機能する。
【0044】
実況データ取得手段21aは、各TV会議端末(10A,10B)から音声データや画像データを取得する処理を実行する。
実況データ記録手段21bは、各TV会議端末(10A,10B)から取得した音声データや画像データを、逐次、実況データ記憶部24に記録する処理を実行する。
【0045】
ハッシュ処理手段21cは、実況データ記憶部24に格納された音声データや画像データのハッシュ値を算出する処理を実行する。ハッシュ処理手段21cは、ハッシュアルゴリズムを用いて、タイムスタンプとともに、遠隔会議における連続した音声データや画像データのハッシュ値を算出し、実況データ記憶部24に記録する。このハッシュ値を用いることにより、音声データや画像データの改竄の有無の検証を行なうことができる。
【0046】
会議進行管理手段21dは、参加者の参加状況を確認しながら会議の進行を管理する処理を実行する。
本人認証手段21eは、各TV会議端末(10A,10B)から取得した実況データと
事前登録認証データとを用いて、参加者の本人認証を行なう。本実施形態では、画像データに含まれる顔画像を用いて本人認証を行なう。
【0047】
認証管理手段21fは、通信状態に応じて次回の認証時期を特定する処理を実行する。このため、認証管理手段21fは、継続的に行なわれる認証の時間間隔(認証間隔)を決定するために、認証間隔の初期値をメモリに保持している。更に、認証管理手段21fは、通信速度に対応する認証間隔の補正値(通信状況補正値)や、顔画像の特徴量の一致度に対応する認証間隔の補正値(認証状況補正値)を記録した補正テーブルを保持している。
【0048】
発言確認手段21gは、参加者の発言状況を確認する処理を実行する。
音声認識手段21hは、発言者を特定するとともに、音声認識処理により、音声データからテキストデータを生成する処理を実行する。
参加者画像追跡手段21iは、画像解析技術を用いて、本人認証された利用者の画像を追跡する処理を実行する。
【0049】
次に、上記システムを利用して実行される処理を、図4〜8を用いて説明する。本実施形態では、二つのTV会議端末(10A,10B)を用いて、遠隔会議を行なう場合を想定する。まず、テレビ会議に利用するTV会議端末(10A,10B)を、ネットワークを介して接続する。この場合、各TV会議端末(10A,10B)は、会議管理サーバ20を中継して相手側のTV会議端末に接続される。そして、各TV会議端末(10A,10B)の制御部11は、ネットワークを介して、会議管理サーバ20や相手側のTV会議端末(10A,10B)との通信を開始する。
【0050】
本実施形態では、会議開始時に参加者確認処理を実行し、会議開始後には継続性確認処理を実行する。この継続性確認処理の中では、継続認証処理、画像追跡処理、発言確認処理を実行する。更に、会議開始前から会議終了までの期間には、継続的に動作確認処理を実行する。
【0051】
(参加者確認処理)
まず、図4を用いて参加者確認処理を説明する。
ここでは、会議管理サーバ20の制御部21は、会議開始依頼の取得処理を実行する(ステップS1−1)。具体的には、会議の主催者は、TV会議端末(例えば、TV会議端末10A)を用いて、会議管理サーバ20にアクセスする。この場合、制御部21の会議進行管理手段21dは、現在の日時を用いて、テレビ会議が可能な会議を会議管理データ記憶部22において特定する。そして、会議進行管理手段21dは、特定した会議を一覧表示させるための画面を生成し、TV会議端末10Aに送信する。
【0052】
TV会議端末10Aの出力部14に出力された一覧表示画面を用いて、会議の主催者は開催予定の会議を選択して会議開始希望を入力する。この場合、TV会議端末10Aは、会議管理サーバ20に会議開始依頼を送信する。この会議開始依頼には、TV会議端末10Aにおいて指定された会議の会議識別子に関するデータを含める。これにより、会議進行管理手段21dは、会議開始依頼を取得する。
【0053】
次に、会議管理サーバ20の制御部21は、遠隔会議の参加者情報の取得処理を実行する(ステップS1−2)。具体的には、制御部21の会議進行管理手段21dは、指定された会議識別子に関連付けられた利用者識別子を、会議管理データ記憶部22から抽出する。そして、会議進行管理手段21dは、本人認証手段21eに対して認証指示を行なう。
【0054】
そこで、会議管理サーバ20の制御部21は、参加者画像の取得処理を実行する(ステップS1−3)。具体的には、制御部21の本人認証手段21eは、実況データ取得手段21aを介して、各TV会議端末(10A,10B)の入力部13によって撮影された画像データを取得する。そして、本人認証手段21eは、取得した撮影画像の中に含まれるすべての人物について、顔画像の部分のトリミングを行なう。
【0055】
次に、会議管理サーバ20の制御部21は、参加者の認証情報の取得処理を実行する(ステップS1−4)。具体的には、制御部21の本人認証手段21eは、特定した利用者識別子に関連付けられた利用者レコード230を利用者データ記憶部23から抽出する。そして、本人認証手段21eは、利用者レコード230の事前登録認証データを取得する。
【0056】
そして、会議管理サーバ20の制御部21は、認証処理を実行する(ステップS1−5)。具体的には、制御部21の本人認証手段21eは、各TV会議端末(10A,10B)から取得した顔画像の特徴量を算出する。次に、本人認証手段21eは、算出した特徴量と、利用者データ記憶部23に記録された事前登録認証データの特徴量とを比較して、参加者の認証を行なう。そして、本人認証手段21eは、会議進行管理手段21dに対して、認証結果を通知する。この認証結果には、参加者の利用者識別子に対して、算出した特徴量と、認証可否に関するデータを含める。
【0057】
そこで、会議管理サーバ20の制御部21は、会議開催条件を満足しているかどうかの判定処理を実行する(ステップS1−6)。具体的には、制御部21の会議進行管理手段21dは、本人認証手段21eから取得した認証結果に基づいて、認証ができた参加者の人数を算出する。そして、会議管理データ記憶部22に記録されている会議開催条件としての必要数と比較する。
【0058】
認証ができた参加者人数が必要数に満たないため、会議開催条件を満足していない場合(ステップS1−6において「NO」の場合)、会議管理サーバ20の制御部21は待機処理を実行する(ステップS1−7)。具体的には、制御部21の会議進行管理手段21dは、必要数に達していないことを各TV会議端末(10A,10B)に通知する。そして、会議進行管理手段21dは、所定時間の待機後に参加者画像の取得処理(ステップS1−3)を繰り返す。
【0059】
一方、認証ができた人数が必要数に達している場合(ステップS1−6において、「YES」の場合)、会議管理サーバ20の制御部21は、会議参加者の登録処理を実行する(ステップS1−8)。具体的には、制御部21の会議進行管理手段21dは、認証ができた参加者について、会議管理レコード220に参加フラグを記録する。
【0060】
そして、会議管理サーバ20の制御部21は、アクション許可処理を実行する(ステップS1−9)。具体的には、制御部21の会議進行管理手段21dは、各TV会議端末(10A,10B)に対して、会議を開始(アクション)が可能であることを通知する。
【0061】
(継続性確認処理)
次に、図5を用いて、会議の継続性確認処理について説明する。会議が開始された場合、各TV会議端末(10A,10B)の入力部13において取得された音声データや画像データを、ネットワークを介して、会議管理サーバ20に送信する。この場合、会議管理サーバ20の制御部21は、実況データの記録処理を実行する(ステップS2)。具体的には、制御部21の実況データ取得手段21aは、実況データ記録手段21bを介して、各TV会議端末(10A,10B)から取得した音声データや画像データを実況データ記憶部24に記録する。そして、本実施形態では、継続性確認処理として、継続認証処理(
ステップS3−1〜S3−4)や、後述する画像追跡処理(ステップS4)、発言確認処理(ステップS5)を実行する。
【0062】
(継続認証処理)
ここでは、図5を用いて、継続認証処理を説明する。この継続認証処理は、後述するように、所定のタイミングで定期的に実行される。
【0063】
まず、会議管理サーバ20の制御部21は、参加者毎に画像検証処理を実行する(ステップS3−1)。ここでは、顔画像の特徴量の変化状況に応じた動き検知と、デフォーカスによる平面検知とを行なう。
【0064】
動き検知においては、制御部21の認証管理手段21fは、各TV会議端末(10A,10B)から取得した画像データについて、本人認証手段21eに対して、本人認証処理の実行を指示する。本人認証手段21eは、顔画像から算出した特徴量と、利用者データ記憶部23に記録された事前登録認証データの特徴量とを比較して、参加者の認証を行なう。そして、本人認証手段21eは、認証管理手段21fに対して、認証結果を通知する。
【0065】
ここで、認証管理手段21fは、本人認証手段21eから取得した顔画像の特徴量が、利用者データ記憶部23に記録されている先の本人認証時における顔画像の特徴量に一致するかどうかを検証する。ここで、先の本人認証時において算出した特徴量が、今回の特徴量と一致している場合には、顔画像に動きがないことになる。
【0066】
一方、平面検知においては、認証管理手段21fは、TV会議端末(10A,10B)の入力部13を用いてフォーカス変更処理を実行する。そして、認証管理手段21fは、取得した画像データにおいて、顔や背景のデフォーカス状況を検証する。全体の画像が一定の割合でデフォーカスされている場合には、平面画像が撮影されていることになる。
【0067】
このように、認証結果、特徴量の変化状況や平面画像の撮影等の異常を検知した場合には、認証管理手段21fは、相手側のTV会議端末(10A,10B)にアラームを出力する。
【0068】
次に、会議管理サーバ20の制御部21は、認証情報の記録処理を実行する(ステップS3−2)。具体的には、制御部21の認証管理手段21fは、今回取得した顔画像の特徴量を逐次認証データとして、認証時刻とともに利用者データ記憶部23に記録する。
【0069】
そして、会議管理サーバ20の制御部21は、次回の認証時期の設定処理を実行する(ステップS3−3)。具体的には、制御部21の認証管理手段21fは、ネットワークにおける通信状態(ここでは通信速度)を取得し、この通信状態における通信状況補正値を、補正テーブルを用いて取得する。更に、認証管理手段21fは、顔画像の特徴量の一致度を用いて、補正テーブルから認証状況補正値を取得する。そして、認証管理手段21fは、両補正値と初期値とを乗算して時間間隔を算出し、この時間間隔を用いて次の認証時期を決定する。
【0070】
そして、会議管理サーバ20の制御部21は、次の認証時期まで待機処理を実行する(ステップS3−4)。具体的には、制御部21の認証管理手段21fは、タイマを用いて次の認証時期の到来を待つ。そして、認証時期が到来した場合には、画像検証処理(ステップS3−1)を再実行する。
【0071】
(画像追跡処理)
次に、図6を用いて、画像追跡処理を実行する。
ここでは、会議管理サーバ20の制御部21は、画像追跡による所在検知処理を実行する(ステップS4−1)。具体的には、制御部21の参加者画像追跡手段21iは、認証管理手段21fにおいて認証された参加者の画像の所在を、各TV会議端末(10A,10B)から取得した画像データにおいて画像解析技術により特定する。これにより、一つの画像に複数の参加者が撮影されている場合にも、各参加者を特定することができる。
【0072】
そして、会議管理サーバ20の制御部21は、この顔画像を追従できているかどうかの判定処理を実行する(ステップS4−2)。具体的には、制御部21の参加者画像追跡手段21iは、画像解析技術により特定した顔画像が、TV会議端末(10A,10B)の入力部13から取得した画像データの撮影範囲内に存在するかどうかを判定する。ここで、顔画像を追従できている場合(ステップS4−2において「YES」の場合)には、画像追跡による所在検知(ステップS4−1)を継続する。
【0073】
一方、顔画像を追従できていない場合(ステップS4−2において、「NO」の場合)、会議管理サーバ20の制御部21は、会議開催条件を維持しているかどうかの判定処理を実行する(ステップS4−3)。具体的には、制御部21の参加者画像追跡手段21iは、顔画像を追従できている参加者の人数を算出する。そして、参加者画像追跡手段21iは、会議管理データ記憶部22に記録された必要数と、算出した参加者人数とを比較する。
【0074】
ここで、参加者人数が必要数以上であり、会議開催条件を維持している場合(ステップS4−3において「YES」の場合)、会議管理サーバ20の制御部21は、画像追跡による所在検知(ステップS4−1)を継続する。
【0075】
一方、参加者人数が必要数よりも少なくなり、会議開催条件を維持できない場合(ステップS4−3において、「NO」の場合)、会議管理サーバ20の制御部21は、アラーム処理を実行する(ステップS4−4)。具体的には、制御部21の参加者画像追跡手段21iは、各TV会議端末(10A,10B)に対して、会議開催条件を満足できないことを通知する。この場合、主催者は会議を中断する。
【0076】
(発言確認処理)
次に、図7を用いて、発言確認処理を説明する。
ここでは、まず、会議管理サーバ20の制御部21は、参加者による発言を検知したかどうかについて判定処理を実行する(ステップS5−1)。具体的には、制御部21の発言確認手段21gは、参加者の発言を、実況データ記憶部24に逐次記録された音声データから取得する。音声データにおいて参加者の発言が記録されていない場合(ステップS5−1において「NO」の場合)には、発言確認手段21gは待機する。
【0077】
一方、音声データにおいて参加者の発言を検知した場合(ステップS5−1において「YES」の場合)、会議管理サーバ20の制御部21は、音声認識処理を実行する(ステップS5−2)。具体的には、制御部21の発言確認手段21gは、音声認識手段21hに対して、参加者の音声データの音声認識処理を指示する。
【0078】
そして、音声認識手段21hは、利用者データ記憶部23に記録された事前登録認証データの音声特徴量を用いて、音声データの音声認識処理を実行する。この音声認識処理では、発言者の認識と音声データのテキスト化を行なう。そして、音声認識手段21hは、認識結果(テキストデータ)を、タイムスタンプ及び発言者の利用者識別子に関連付けて議事録データ記憶部25に記録する。
【0079】
次に、会議管理サーバ20の制御部21は、発言時の顔画像の取得処理を実行する(ステップS5−3)。具体的には、制御部21の発言確認手段21gは、発言を検知した時刻と同じタイミングの発言者の画像データを実況データ記憶部24において特定し、顔画像を取得する。
【0080】
更に、会議管理サーバ20の制御部21は、リップシンクロ確認処理を実行する(ステップS5−4)。具体的には、制御部21の発言確認手段21gは、発言音声と同じタイミングで取得した顔画像において、口元の動きをトリミングする。
【0081】
そして、発言確認手段21gは、発言と口元の動きとが同期しているかどうかについて判定処理を実行する(ステップS5−5)。ここで、発言と口元の動きとが同期(リップシンクロ)している場合(ステップS5−5において、「YES」の場合)には、会議管理サーバ20の制御部21は、次の発言を待機する(ステップS5−1)。
【0082】
一方、発言と口元の動きとが同期していない場合(ステップS5−5において「NO」の場合)、会議管理サーバ20の制御部21は、アラーム処理を実行する(ステップS5−6)。具体的には、制御部21の発言確認手段21gは、各TV会議端末(10A,10B)に対して、音声と画像とが同期していないことを通知する。
【0083】
(動作確認処理)
次に、図8を用いて、動作確認処理について説明する。この処理は、各TV会議端末(10A,10B)において、それぞれ独立に実行される。ここでは、送信元端末であるTV会議端末10Aから、送信先端末であるTV会議端末10Bに対して、音声データや画像データを送信する場合を想定する。
【0084】
まず、TV会議端末10Aの制御部11は、送信元端末におけるオリジナル音声・画像の取得処理を実行する(ステップS6−1)。具体的には、制御部11の音声・画像取得手段11aは、入力部13を介して音声データや画像データを取得する。
【0085】
次に、TV会議端末10Aの制御部11は、オリジナル音声・画像の記録処理を実行する(ステップS6−2)。具体的には、制御部11の記録手段11bが、音声・画像取得手段11aが取得した音声データや画像データを、音声・画像データ記憶部15に一時記録する。
【0086】
次に、TV会議端末10Aの制御部11は、送信先端末へのオリジナル音声・画像の転送処理を実行する(ステップS6−3)。具体的には、制御部11の音声・画像転送手段11cは、音声データや画像データを、ネットワークを介して、TV会議端末10Bに送信する。
【0087】
そして、TV会議端末10Bは、取得した音声データや画像データを、出力部14を介して出力する。この場合、TV会議端末10Bの入力部13は、出力部14から出力された画像や音声を取得する。そして、TV会議端末10Bの制御部11は、エコーキャンセル処理を行なうことなく、TV会議端末10Aに対して、TV会議端末10Bの入力部13において取得した音声データや画像データを送信する。
【0088】
そして、TV会議端末10Aの制御部11は、送信先端末からの音声・画像の取得処理を実行する(ステップS6−4)。具体的には、制御部11の音声・画像取得手段11dは、TV会議端末10Bからネットワークを介して音声データや画像データを取得する。
【0089】
次に、TV会議端末10Aの制御部11は、エコー音声・画像の抽出処理を実行する(
ステップS6−5)。具体的には、制御部11のエコー抽出手段11eは、音声・画像データ記憶部15を用いて、TV会議端末10Bから取得した音声データや画像データにおいて、TV会議端末10Aから送信したオリジナル音声データや画像データに対応するエコー音声・画像の信号成分を抽出する。そして、エコー抽出手段11eは、抽出したエコー信号をアラーム出力手段11fに供給する。
【0090】
次に、TV会議端末10Aの制御部11は、エコー信号のレベルが基準値以上あるかどうかについての判定処理を実行する(ステップS6−6)。具体的には、制御部11のアラーム出力手段11fは、エコー抽出手段11eから取得したエコー信号レベルを算出する。更に、アラーム出力手段11fは、音声・画像データ記憶部15を用いて、オリジナル音声・画像の信号レベルを算出する。そして、オリジナル信号レベルとエコー信号レベルとを比較する。ここでは、アラーム出力手段11fは、エコー信号レベルをオリジナル信号レベルで除算した比較値を算出する。
【0091】
この比較値が基準値以上の場合(ステップS6−6において「YES」の場合)には、TV会議端末10Aの制御部11は、そのまま動作確認処理を継続する。
一方、比較値が基準値に達していない場合(ステップS6−6において「NO」の場合)には、TV会議端末10Aの制御部11は、アラームの出力処理を実行する(ステップS6−7)。具体的には、制御部11のアラーム出力手段11fは、各TV会議端末(10A,10B)に対して、音声データや画像データが送信先端末(ここでは、TV会議端末10B)に適切に届いていないことを通知する。以上の処理は、TV会議端末10Bにおいても、同様に実行される。
【0092】
本実施形態の遠隔会議管理システムによれば、以下のような効果を得ることができる。
・ 本実施形態では、会議管理サーバ20の制御部21は、参加者画像の取得処理(ステップS1−3)、参加者の認証情報の取得処理(ステップS1−4)、認証処理(ステップS1−5)を実行する。そして、会議開催条件を満足しているかどうかの判定処理を実行する(ステップS1−6)。そして、認証ができた人数が必要数に達している場合(ステップS1−6において、「YES」の場合)、会議管理サーバ20の制御部21は、アクション許可処理を実行する(ステップS1−9)。これにより、参加者が会議開催地から離れた遠隔地にいる場合でも、会議開催条件を確認して、厳格に会議を実施することができる。
【0093】
・ 本実施形態では、会議管理サーバ20の制御部21は、画像検証処理を実行する(ステップS3−1)。ここでは、顔画像の特徴量の一致度に応じた動き検知と、デフォーカスによる平面検知とを行なう。特徴量の変化状況や平面画像の撮影等の異常を検知した場合には、認証管理手段21fは、相手側のTV会議端末(10A,10B)にアラームを出力する。これにより、不正な形態での会議参加を抑制することができる。
【0094】
・ 本実施形態では、会議管理サーバ20の制御部21は、ネットワークにおける通信状態や顔画像の特徴量の一致度を用いて、次回の認証時期の設定処理を実行する(ステップS3−3)。これにより、状況に応じて、認証処理の負荷を軽減しながら、厳格に会議の実施を行なうことができる。すなわち、例えば、通信状態が悪い場合や顔画像の特徴量の一致度が悪い場合には、認証処理の頻度を高くして、不正を検知しやすくすることができる。更に、顔画像の特徴量が完全に一致する場合には写真等を用いての不正の可能性があるが、認証処理の頻度を高くして、この不正を検知しやすくすることができる。
【0095】
・ 本実施形態では、会議管理サーバ20の制御部21は、画像追跡による所在検知処理を実行する(ステップS4−1)。そして、顔画像を追従できていない場合(ステップS4−2において、「NO」の場合)、制御部21は、会議開催条件を維持しているかど
うかの判定処理を実行する(ステップS4−3)。参加者人数が必要数よりも少なくなり、会議開催条件を維持できない場合(ステップS4−3において、「NO」の場合)、制御部21は、アラーム処理を実行する(ステップS4−4)。これにより、間歇的に行なわれた本人認証結果を引き継いで、画像解析により、参加者の参加状況を継続的に監視することができる。そして、参加状況に問題がある場合には、会議を中断させることができるので、厳格に会議を運営することができる。
【0096】
・ 本実施形態では、音声データにおいて参加者の発言を検知した場合(ステップS5−1において「YES」の場合)、会議管理サーバ20の制御部21は、音声認識処理を実行する(ステップS5−2)。これにより、議事録の作成負担を軽減することができる。更に、会議管理サーバ20の制御部21は、発言時の顔画像を取得し(ステップS5−3)、リップシンクロ確認処理を実行する(ステップS5−4)。これにより、音声と画像とを用いて、確実に発言を記録することができる。そして、音声と画像との同期状況に問題がある場合には、会議を中断させることができるので、厳格に会議を運営することができる。
【0097】
・ 本実施形態では、TV会議端末10Aの制御部11は、オリジナル音声・画像の記録処理(ステップS6−2)、送信先端末へのオリジナル音声・画像の転送処理(ステップS6−3)を実行する。そして、TV会議端末10Aの制御部11は、送信先端末からの音声・画像を取得した場合(ステップS6−4)、エコー音声・画像の抽出処理を実行する(ステップS6−5)。ここで、エコー信号レベルをオリジナル信号レベルで除算した比較値が基準値に達していない場合(ステップS6−6において「NO」の場合)には、TV会議端末10Aの制御部11は、アラーム処理を実行する(ステップS6−7)。これにより、エコー信号を用いて、ネットワークの通信状況や相手端末の動作状況を確認して、音声や画像を確実に相手側に供給することができる。
【0098】
また、上記実施形態は、以下のように変更してもよい。
○ 上記実施形態では、会議開始依頼の取得時に参加者確認処理を実行する。参加者確認処理の実行のタイミングは、これに限定されるものではなく、議決段階に実行するように構成することも可能である。
【0099】
○ 上記実施形態では、会議開催条件として、会議が成立するための必要数に関するデータが記録される。ここで、会議開催条件として、必須の参加者を設定することも可能である。この場合には、会議管理データ記憶部22に、必須参加者の利用者識別子に関するデータを会議開催条件として記録しておく。そして、ステップS1−6やステップS4−3において、会議開催条件を確認する場合には、この参加者を認証できているかを確認する。
【0100】
○ 上記実施形態では、動作確認処理は、各TV会議端末(10A,10B)において、それぞれ独立に実行される。これに代えて、会議管理サーバ20の制御部21が、動作確認処理を実行するように構成することも可能である。この場合には、会議管理サーバ20に音声・画像データ記憶部15を設ける。そして、制御部21を、音声・画像取得手段11a、記録手段11b、音声・画像転送手段11c、音声・画像取得手段11d、エコー抽出手段11e、アラーム出力手段11f、エコー消去手段11g、記録手段11h、音声・画像出力手段11iとして機能させる。この場合には、ネットワークの通信状況に障害がない場合には、会議管理サーバ20において各TV会議端末(10A,10B)の動作状況を確認することができる。従って、各TV会議端末(10A,10B)の処理負担の軽減を図ることができる。
【0101】
○ 上記実施形態では、顔画像認証を用いて本人認証を行なったが、本人認証方法はこ
れに限定されるものではなく、指紋認証や静脈認証等の他のバイオメトリクス認証技術を用いることも可能である。この場合には、各TV会議端末に利用者認証用画像(バイオメトリクス情報)の読取装置を接続し、ネットワークを介して会議管理サーバ20に送信する。会議管理サーバ20においては、顔画像の代わりに各利用者認証用画像を用いて本人認証処理を実行する。
【図面の簡単な説明】
【0102】
【図1】本発明の実施形態のシステム概略図。
【図2】各データ記憶部に記録されたデータの説明図であって、(a)は会議管理データ記憶部、(b)は利用者データ記憶部。
【図3】TV会議端末の機能ブロックの説明図。
【図4】本実施形態の処理手順の説明図。
【図5】本実施形態の処理手順の説明図。
【図6】本実施形態の処理手順の説明図。
【図7】本実施形態の処理手順の説明図。
【図8】本実施形態の処理手順の説明図。
【符号の説明】
【0103】
10A,10B…TV会議端末、11…制御部、11a…音声・画像取得手段、11b…記録手段、11c…音声・画像転送手段、11d…音声・画像取得手段、11e…エコー抽出手段、11f…アラーム出力手段、11g…エコー消去手段、11h…記録手段、11i…音声・画像出力手段、12…操作部、13…入力部、14…出力部、20…会議管理サーバ、21…制御部、21a…実況データ取得手段、21b…実況データ記録手段、21c…ハッシュ処理手段、21d…会議進行管理手段、21e…本人認証手段、21f…認証管理手段、21g…発言確認手段、21h…音声認識手段、21i…参加者画像追跡手段、22…会議管理データ記憶部、23…利用者データ記憶部、24…実況データ記憶部、25…議事録データ記憶部。

【特許請求の範囲】
【請求項1】
利用者識別子毎に、本人認証を行なうための特徴量に関するデータを記録した認証情報記憶手段と、
会議識別子毎に、参加予定者の利用者識別子及び会議開催条件に関するデータを記録した会議運営情報記憶手段と、
遠隔地の会議端末に接続された制御手段とを用いて、遠隔会議を管理するシステムであって、
前記制御手段が、
前記会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、前記特徴量と、前記会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する認証処理手段、
前記特定した参加者の参加状況と前記会議運営情報記憶手段に記録された会議開催条件とを照合し、前記参加状況が会議開催条件を満たした場合には、会議開始許可を出力する開始管理手段、
前記会議端末から取得した画像において参加者を監視し、前記参加者認証処理によって特定された参加者の画像を追跡できなくなった場合、この時点の参加状況と前記会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、会議中断指示を出力する継続監視手段
を備えたことを特徴とする遠隔会議管理システム。
【請求項2】
前記会議運営情報記憶手段には、会議開催条件として参加者の必要数が記録されており、
前記開始管理手段及び継続監視手段が、参加状況として参加者人数を特定し、この参加者人数と、前記会議運営情報記憶手段に記録された必要数とを照合することを特徴とする請求項1に記載の遠隔会議管理システム。
【請求項3】
前記会議運営情報記憶手段には、会議開催条件として必須参加者の利用者識別子が記録されており、
前記開始管理手段及び継続監視手段が、前記参加者の利用者識別子を参加状況として特定し、この利用者識別子の中に、前記会議運営情報記憶手段に記録された必須参加者の利用者識別子が含まれるかどうかを照合することを特徴とする請求項1又は2に記載の遠隔会議管理システム。
【請求項4】
前記制御手段が、画像状態に応じて再度認証を行なう時間間隔を決定し、
前記継続監視手段は、前記時間間隔に応じて、前記参加者認証処理を繰り返すことを特徴とする請求項1〜3のいずれか一つに記載の遠隔会議管理システム。
【請求項5】
前記継続監視手段は、前記参加者認証処理の結果に基づいて、前記会議端末から取得した画像において前記参加者認証処理によって特定された参加者の画像を追跡することを特徴とする請求項1〜4のいずれか一つに記載の遠隔会議管理システム。
【請求項6】
利用者識別子毎に、本人認証を行なうための特徴量に関するデータを記録した認証情報記憶手段と、
会議識別子毎に、参加予定者の利用者識別子及び会議開催条件に関するデータを記録した会議運営情報記憶手段と、
遠隔地の会議端末に接続された制御手段とを用いて、遠隔会議を管理する方法であって、
前記制御手段が、
前記会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、前記特
徴量と、前記会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する認証処理段階、
前記特定した参加者の参加状況と前記会議運営情報記憶手段に記録された会議開催条件とを照合し、前記参加状況が会議開催条件を満たした場合には、会議開始許可を出力する開始管理段階、
前記会議端末から取得した画像において参加者を監視し、前記参加者認証処理によって特定された参加者の画像を追跡できなくなった場合、この時点の参加状況と前記会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、会議中断指示を出力する継続監視段階
を実行することを特徴とする遠隔会議管理方法。
【請求項7】
利用者識別子毎に、本人認証を行なうための特徴量に関するデータを記録した認証情報記憶手段と、
会議識別子毎に、参加予定者の利用者識別子及び会議開催条件に関するデータを記録した会議運営情報記憶手段と、
遠隔地の会議端末に接続された制御手段とを用いて、遠隔会議を管理するプログラムであって、
前記制御手段を、
前記会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、前記特徴量と、前記会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する認証処理手段、
前記特定した参加者の参加状況と前記会議運営情報記憶手段に記録された会議開催条件とを照合し、前記参加状況が会議開催条件を満たした場合には、会議開始許可を出力する開始管理手段、
前記会議端末から取得した画像において参加者を監視し、前記参加者認証処理によって特定された参加者の画像を追跡できなくなった場合、この時点の参加状況と前記会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、会議中断指示を出力する継続監視手段
として機能させることを特徴とする遠隔会議管理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2009−171119(P2009−171119A)
【公開日】平成21年7月30日(2009.7.30)
【国際特許分類】
【出願番号】特願2008−5788(P2008−5788)
【出願日】平成20年1月15日(2008.1.15)
【出願人】(592131906)みずほ情報総研株式会社 (187)
【Fターム(参考)】