自動評価装置、プログラムおよび方法
【課題】受講生の状態を示す情報を自動収集して講師に提供するシステムで、受講生の情報のうち特に確認すべき情報のみを、確認すべきタイミングで講師に提供する。
【解決手段】受講者を含む場景を繰り返し撮影することにより得られた複数の画像から受講者の顔情報を抽出し、その顔情報に基づいて「頷く」「居眠り」など所定の受講状態の受講者を識別する（状態識別部５３の処理）。受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、所定の受講状態の受講者数が所定数を超えた時間帯を検出する（同期検出部５４の処理）。所定の受講状態の受講者数が所定数を超えたことが検出された時間帯についてのみ、講演に対する評価を出力する（評価部５５の処理）。
【解決手段】受講者を含む場景を繰り返し撮影することにより得られた複数の画像から受講者の顔情報を抽出し、その顔情報に基づいて「頷く」「居眠り」など所定の受講状態の受講者を識別する（状態識別部５３の処理）。受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、所定の受講状態の受講者数が所定数を超えた時間帯を検出する（同期検出部５４の処理）。所定の受講状態の受講者数が所定数を超えたことが検出された時間帯についてのみ、講演に対する評価を出力する（評価部５５の処理）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、講演会や授業で、受講者の反応を示す情報を収集することにより、その講演会などを評価する評価装置、プログラムおよび方法に関する。
【背景技術】
【０００２】
講演会、学校の授業などでは、通常、講師は受講者の反応を確認しながら授業を進める。しかし、個々の受講者の顔が見えない環境では、講師が受講者の反応を確認することは難しい。
【０００３】
このような問題への解決策として、例えば特許文献１は、講師端末と受講者端末とをネットワークで接続して授業を行なうシステムで、受講者をビデオカメラで撮影することにより、受講者の状態に関する情報を講師に提供することを提案している。また、特許文献２では、さらに正確に受講者の状態を把握するべく、受講者の身体や受講者が座る椅子にセンサーを取り付けて脳波、血圧、脈拍などを測定し、その情報を講師に提供することを提案している。
【特許文献１】特開２００１−０６７４８２号公報
【特許文献２】特開２００４−１９９５０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来技術によれば、講師は個々の受講生の状態や状態に関する集計情報を端末画面上で確認することができる。しかし、常時多数の情報を講師に提供しても、講師の側がその情報を十分に活用しきれない場合は少なくない。あるいは、提供される多くの情報に踊らされて、講師が不用意に講義の内容を変更したり進行を調整したりしてしまうといった問題が起こり得る。このような問題は、通信講義に限らず、講師と受講者とが直接対面する講堂や教室などでも同様に起こり得る問題である。
【０００５】
このため、受講生の状態に関する情報のうち、特に確認すべき情報を、確認すべきタイミングで講師に提供するしくみが望まれる。本発明は、特に確認すべき情報として、講師の側に起因して大多数の受講生に状態変化が生じたことを示す情報を提供する。
【課題を解決するための手段】
【０００６】
受講者の反応が講演・講義の内容や進行に起因する場合、大半の受講者が同じ反応を示すことが多い。１〜２人が居眠りをしている場合には受講者の睡眠不足が疑われるが、半分以上の受講生が居眠りをしている場合には講義に何らかの問題があると考えるのが妥当である。そこで、本発明では、多くの受講者が同期して同じ状態になった場合に、その同期を判断材料として講演・講義を自動的に評価する。
【０００７】
本発明は、受講者の受講状態を示す情報に基づいて、講演を自動的に評価する装置を提供する。この装置は、受講者を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる受講者の顔情報を抽出し、該顔情報に基づいて、所定の受講状態の受講者を識別する状態識別手段を備える。この状態識別手段は、前記所定の受講状態として複数種類の受講状態を識別し得る手段であることが好ましい。また、状態識別手段により受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、前記所定の受講状態の受講者数が前記所定数を超えた時間帯を検出する同期検出手段を備える。さらに、同期検出手段により検出された時間帯の講演に対する評価を、前記所定の受講状態の種類および／または前記所定の受講状態の受講者数に基づいて決定し出力する評価手段を備える。
【０００８】
また、本発明は、受講者の受講状態を示す情報に基づいて、講演を自動的に評価する評価プログラムを提供する。このプログラムはコンピュータに、受講者を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる受講者の顔情報を抽出し、該顔情報に基づいて、所定の受講状態の受講者を識別する状態識別処理と、前記状態識別処理により受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、前記所定の受講状態の受講者数が前記所定数を超えた時間帯を検出する同期検出処理と、前記同期検出処理により検出された時間帯の講演に対する評価を、前記所定の受講状態の種類および／または前記所定の受講状態の受講者数に基づいて決定し出力する評価処理とを実行させる。
【０００９】
また、本発明は、受講者の受講状態を示す情報に基づいて、講演を自動的に評価する方法を提案する。この方法は、受講者を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる受講者の顔情報を抽出し、該顔情報に基づいて、所定の受講状態の受講者を識別し、受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、前記所定の受講状態の受講者数が前記所定数を超えた時間帯を検出し、検出された時間帯の講演に対する評価を、前記所定の受講状態の種類および／または前記所定の受講状態の受講者数に基づいて決定し、出力する。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。以下に例示するシステムは、ある教室で講義を行なう講師をビデオカメラで撮影し、その映像を他の教室でも放映し、さらには自宅にいる受講者に向けてもネットワーク配信するシステムである。
【００１１】
図１に、上記システムの概略構成を示す。図に示すように、このシステムは、ビデオを放映する教室に設置された２台の教室カメラ１ａ、１ｂ、在宅受講者の自宅にそれぞれ設置された受講者宅カメラ２ａ、２ｂ、サーバコンピュータ５および教壇付近に設置された講師用端末６を備える。この他、講師を撮影するビデオカメラ、そのビデオカメラにより撮影された映像を放映するための教室用、自宅用設備なども備えているが、図１は、本発明に関連する構成のみ示している。
【００１２】
教室カメラ１ａ、１ｂは教室の教壇側の天井に据えつけられた回転可能な構造のビデオカメラである。回転可能な構造とは、例えばドーム型監視カメラのような構造、あるいは回転台にカメラを取り付けた構造などである。ビデオカメラの回転角度、撮影倍率は、受講者席に座った受講者全員の顔を撮影できる角度、倍率に設定されている。なお、教室が広く１台のカメラで受講者全員の顔を撮影できない場合、もしくは撮影できても顔が非常に小さくなってしまう場合には、複数台のカメラにより分担して撮影を行なう。教室カメラ１ａ、１ｂは、同じ建屋のコンピュータルームなどに設置されたサーバコンピュータ５と、ローカルエリアネットワーク３により接続されている。
【００１３】
受講者宅カメラ２ａ、２ｂは、ＣＣＤカメラなど任意の場所に設置し得る小型カメラである、在宅受講者は受講の際、自分の顔がうつる位置に受講者宅カメラを配置することが義務付けられている。受講者宅カメラ２ａ、２ｂにより撮影された画像は、インターネット４を介してサーバコンピュータ５にリアルタイムに転送される。
【００１４】
教室カメラ１ａ、１ｂおよび受講者宅カメラ２ａ、２ｂは、いずれも動画撮影または静止画の連続撮影を行なうように設定されている。本実施形態のシステムは、教室カメラ１ａ、１ｂ、受講者宅カメラ２ａ、２ｂともに、受講者の状態変化を０．５秒以下の間隔で捉えられるように設定されている。
【００１５】
次に、図２を参照して、サーバコンピュータ５の構成について説明する。サーバコンピュータ５は、通信制御部５１、記録部５２、状態識別部５３、同期検出部５４および評価部５５を備える。サーバコンピュータ５は、汎用のコンピュータに、本発明の機能を実現するためのプログラムを組み込んだものである。
【００１６】
通信制御部５１は、汎用コンピュータに備えられた通信機能を使って、サーバコンピュータ５と教室カメラ１ａ、１ｂ間のローカルエリアネットワーク３を介した通信、およびサーバコンピュータ５と受講者宅カメラ２ａ、２ｂ間のインターネット４を介した通信を制御する。記録部５２、状態識別部５３、同期検出部５４および評価部５５は、後述する各処理を規定した要素プログラムをサーバコンピュータ５にインストールし、動作させることにより実現される処理部である。本実施形態では、サーバコンピュータ５は複数のプロセッサを備えており、各要素プログラムの処理は複数のプロセッサにより並列に処理される。
【００１７】
記録部５２は、通信制御部５１を介して、教室カメラ１ａ、１ｂから転送された映像・画像を受信し、符号化した後、撮影時刻を示す管理情報を付与してサーバコンピュータ５のメモリに書き込む。動画は０．５秒間隔の複数のフレーム画像として記録し、静止画はそのまま符号化して記録する。また記録部は、各部によりメモリに記録されたデータを所定のタイミングでサーバコンピュータ５に接続されているストレージ（図示せず）に出力する。
【００１８】
状態識別部５３は、メモリに記憶されている画像を用いて、各受講者の各時刻における状態を表す第１状態データを生成する。また、状態識別部５３は、生成した状態データを用いて各受講者の単位時間内の動きを分析し、各受講者の各時間帯における第２状態を表す状態データを生成する。
【００１９】
以下、第１状態データの生成処理について説明する。状態識別部５３は、記録部５２がメモリに書き込んだ０．５秒間隔の画像を順次読み出して、その画像から人物の顔を検出する。画像から顔を検出する技術としては公知のいずれの技術を用いてもよいが、本実施形態では一画像から多数の顔を検出する必要があるため、例えば所定の大きさの肌色領域であれば顔と判断する方法など、比較的シンプルな検出方法を採用することが好ましい。
【００２０】
状態識別部５３は、次に、検出した顔に、受講者を区別するための受講者識別子を割り当てる。受講者識別子は、その受講者の顔が検出された位置を示す番号などとする。顔が検出された位置を示す番号は、各顔の位置を大まかに特定できる番号でよく、例えば画像を格子状に区切って各格子の位置を行番号と列番号で表し、顔が検出された位置に最も近い格子の行列番号を用いる方法などが考えられる。教室カメラ１ａ、１ｂの向きは固定されており、受講者は着席しているので、これにより同じ受講者の顔に対し、常に同じ受講者識別子を割り当てることができる。
【００２１】
続いて状態識別部５３は、検出した人物ごとに顔の特徴を表す所定の特徴量を算出する。本実施形態では、眉または目の検出により眉間の位置座標を取得し、検出された顔の輪郭から、画像に写っている顔の最下端部の位置座標を取得する。そして、取得した２つの位置座標の差分値を算出する。
【００２２】
この処理では、画像に写っている顔が正面顔のときには、図３（ａ）に示すように、顎の位置座標が、顔の画像に写っている最下端部の位置座標として取得される。一方、画像に写っている顔がうつむき顔のときには、図３（ｂ）に示すように、鼻など、より目に近い位置の座標が、顔の画像に写っている最下端部の位置座標として取得される。図３（ａ）および図３（ｂ）の対比から明らかであるように、眉間から画像に写っている顔の最下端部までの距離ｄは、正面顔で最も長く、うつむき加減が大きいほど短くなるので、２箇所の位置座標の差分値により、顔のうつむき加減を判定することができる。なお、特徴量抽出に基づく顔の識別については種々の技術が知られており、本実施形態では、そのいずれの技術をも採用することができる。
【００２３】
状態識別部５３は、算出した特徴量ｄに、画像の管理情報に含まれている撮影時刻の情報と、顔を検出した際に割り当てた受講者識別子とを付すことにより、図４に示す第１状態データを生成し、メモリに記憶する。状態識別部５３が上記処理を繰り返すことにより、メモリには、各時刻における各受講者のうつむき加減を表す複数の第１状態データ７が蓄積されることとなる。
【００２４】
続いて、第１状態データを用いた第２状態データの生成処理について説明する。状態識別部５３は１０秒分の撮影画像について第１状態データの生成処理を実行すると、一旦第１状態データの生成処理を中断し、第２状態データの生成処理を実行する。第２状態データの生成処理が終了すると、第１状態データの生成処理を再開し、以降、第１状態データの生成処理とを、交互に実行する。
【００２５】
第２状態データの生成処理では、直前に生成した撮影時間１０秒分の第１状態データをメモリから読み込み、受講者識別子に基づいて受講者別に分類する。続いて、各受講者の第１状態データを時刻情報に基づいて時系列に並べる。状態識別部５３は、この時系列に並べられたデータ群から、特徴量（距離ｄ）の経時変化を表す波形パターンを生成する。図５は生成される波形パターンを、横軸を時間ｔ、縦軸を距離ｄとして表した図である。
【００２６】
状態識別部５３は、生成した波形パターンを、予め登録されているパターンと照合する。本実施の形態では、図６に示す３種類のパターンが登録されている。図６（ａ）は、軽くうつむく動作が行なわれたことを表す波形であり、１秒程度の短いパターンである。以下、この波形パターンを「頷きパターン」と称する。図６（ｂ）は、うつむく動作が２〜３秒周期で繰り返されている状態、すなわち完全に眠ってはいないが、うつらうつらしている初期の居眠り状態を表す１０秒の波形パターンである。以下、この波形パターンを「居眠りパターン」と称する。図６（ｃ）は、正面を向いていたが一時的に５秒ほど深くうつむき、再び正面をむくという動作を表している。このパターンは６秒程度のパターンである。以下、この波形パターンを、「ノート取りパターン」と称する。
【００２７】
状態識別部５３は、各受講者について図６（ａ）〜（ｃ）に示す波形とのパターンマッチング処理を実行する。図６（ａ）の「頷きパターン」のように、登録パターンが生成されるパターンよりも短い場合には、登録パターンを生成した波形パターンの時間軸に沿って移動しながら何回かマッチングをとる。これにより、図５に示す例のように５秒を過ぎたあたりに頷きパターンがある場合でも、頷き状態を識別することができる。
【００２８】
状態識別部５３は、上記パターンマッチング処理により、各受講者が、「頷き」、「居眠り」、「ノート取り」、「その他」のいずれの状態にあるかを識別する。そして、識別した状態を示す識別コードに、受講者識別子と時間帯を示す情報を付与したデータを、図７に示す第２状態データ８としてメモリに記憶する。本実施形態では、時間帯を示す情報は、１０秒間の開始時刻と１０秒という時間幅を示す情報とする。
【００２９】
なお、本実施形態では１０秒間で２０の画像が取得されるため、第２状態データ８は通常は２０個の第１状態データ７に基づいて生成されることになるが、受講者が講義の途中で離籍した場合には画像から顔が検出されないため第１状態データ７が生成されない。このため、本実施形態では、状態識別部５３は第１状態データ７を受講者別に分類した後、ソーティングを行なう前に、その受講者の第１状態データ７の数が２０個か否かを判定する。２０個に満たない場合には、「離席」を示すコードに、受講者識別子と時間帯を示す情報を付与して第２状態データ８を生成する。
【００３０】
以上に説明した状態識別部５３の処理により、メモリには「頷き」、「居眠り」、「ノート取り」、「離席」、「その他」のいずれかの状態を示す第２状態データが、１０秒ごとに受講者の数だけ書き込まれる。
【００３１】
次に、再び図２に戻り、同期検出部５４の処理について説明する。同期検出部５４は、４個のカウンタを制御することにより、「頷き」、「居眠り」、「ノート取り」、「離席」の４つの状態の受講者数を単位時間ごとカウントする。同期検出部５４は、状態識別部５３がメモリに書き込んだ第２状態データを１０秒おきに読み込み、各データに含まれる状態コードを参照する。状態コードが「頷き」、「居眠り」、「ノート取り」、「離席」のいずれかを示している場合には、その状態コードが示す状態に対応するカウンタの値をカウントアップする。状態コードが「その他」を示している場合には何もしない。１０秒分の第２状態データについてのカウント処理が終了すると、続いて同期検出部５４は、各カウンタの値を所定値と比較することにより、カウント値が所定値を越えたカウンタの有無を判定する。本実施形態では、所定値は、欠席者を含む全受講者数の１／２の数に設定されている。カウント値が所定値を越えたカウンタが検出された場合には、同期検出部５４は、そのカウンタによりカウントしていた状態を示す状態コードと、そのカウンタの値とを出力する。以上の処理が終了すると、同期検出部５４は、各カウンタの値を、状態およびカウントを行なった時間帯の情報とともに、サーバコンピュータに接続されているストレージに保存する。その後、同期検出部５４は、各カウンタの値を０にリセットする。そして、メモリから次の１０秒分の第２状態データを読み込み、上記処理を繰り返す。
【００３２】
評価部５５は、上記同期検出部５４の出力を受け、状態コードとカウンタの値に基づいて講義の評価値を算出する。状態コードが「頷き」または「ノート取り」を示している場合には、「評価値＝カウンタ値」とする。状態コードが「居眠り」または「離席」を示している場合には、「評価値＝−カウンタ値」とする。
【００３３】
続いて、評価部５５は、算出した評価値に基づく評価を、講師用端末６のモニタ画面に出力する。例えば、「居眠り増加中です。講義の進行を工夫して下さい。」などのメッセージを講師用端末６のモニタ画面に出力する。同時に、端末に附属するスピーカからアラーム音を出力してもよい。これにより、講義を行なっている講師は、自らの講義を客観的に評価し、必要に応じて講義の内容や進行を変更し、受講者にとってより有益な講義を行なうことができる。
【００３４】
なお、以上に説明した処理は、講義が行なわれている最中に実行される処理であるが、評価部５５は、講義の終了後に評価レポートを生成して出力する機能も備えている。図８に、評価部５５が出力する評価レポートの一例を示す。評価部５５は、講師または他のオペレータから評価レポートの生成を要求されると、状態別、時間帯別にストレージに保存されているカウンタ値を読み込む。そして、１０秒単位で保存されているカウンタ値を５分間分合計し、さらに、その合計値を全受講者の数で除算することにより、全体に対する割合（％）を求める。さらに、公知のグラフ自動生成技術を利用して、各状態の時間帯ごとの人数を表す棒グラフを生成する。これにより図８に例示したような評価レポートを出力する。
【００３５】
以上に説明したように、本実施形態のシステムによれば、過半数の受講者が同じ状態となったことが講師に通知されるため、講師は受講者の状態が、受講者の側に起因するものではなく、講義の内容や進行に起因するものであることを自覚することができる。上記システムでは、講師が受講者の状態を個別に確認しなくても、講義の客観的評価に必要な情報が自動的に収集され、分析され、講師に通知されるので、受講者数が多すぎて個別の状態確認が困難な場合には、特に有用である。講師は、講義の進行を調整すべきか否かの判断に迷うことがなくなるので、受講者反応が悪かった場合には直ちに講義のしかたを工夫するなど、講義を行ないながらリアルタイムに講義を改善することができる。もしくは、異なる受講者を対象に同じ講義を行なう場合に、前の講義で通知された点を意識しながら、よりよい講義を行なうことができる。
【００３６】
また、本実施形態のシステムでは、頷き、居眠り、ノート取りの３つの状態を、１種類の特徴量と、その特徴量の時間的な変化に基づいて区別するので、抽出・保存する特徴量の種類が少ない。このため、大勢の人物から特徴量を抽出してリアルタイムに分析を行なう場合に、効率よく高速に処理を行なうことができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態におけるシステムの概略構成を示す図
【図２】サーバコンピュータの構成を示す図
【図３】うつむき加減を示す特徴量について説明するための図
【図４】第１状態データを示す図
【図５】生成された波形パターンの一例を示す図
【図６】登録波形パターンの例を示す図
【図７】第２状態データを示す図
【図８】評価レポートの一例を示す図
【符号の説明】
【００３８】
３ ローカルエリアネットワーク、 ４ インターネット、 ５ サーバコンピュータ
ｄ うつむき加減を示す特徴量、 ７ 第１状態データ、 ８ 第２状態データ
【技術分野】
【０００１】
本発明は、講演会や授業で、受講者の反応を示す情報を収集することにより、その講演会などを評価する評価装置、プログラムおよび方法に関する。
【背景技術】
【０００２】
講演会、学校の授業などでは、通常、講師は受講者の反応を確認しながら授業を進める。しかし、個々の受講者の顔が見えない環境では、講師が受講者の反応を確認することは難しい。
【０００３】
このような問題への解決策として、例えば特許文献１は、講師端末と受講者端末とをネットワークで接続して授業を行なうシステムで、受講者をビデオカメラで撮影することにより、受講者の状態に関する情報を講師に提供することを提案している。また、特許文献２では、さらに正確に受講者の状態を把握するべく、受講者の身体や受講者が座る椅子にセンサーを取り付けて脳波、血圧、脈拍などを測定し、その情報を講師に提供することを提案している。
【特許文献１】特開２００１−０６７４８２号公報
【特許文献２】特開２００４−１９９５０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来技術によれば、講師は個々の受講生の状態や状態に関する集計情報を端末画面上で確認することができる。しかし、常時多数の情報を講師に提供しても、講師の側がその情報を十分に活用しきれない場合は少なくない。あるいは、提供される多くの情報に踊らされて、講師が不用意に講義の内容を変更したり進行を調整したりしてしまうといった問題が起こり得る。このような問題は、通信講義に限らず、講師と受講者とが直接対面する講堂や教室などでも同様に起こり得る問題である。
【０００５】
このため、受講生の状態に関する情報のうち、特に確認すべき情報を、確認すべきタイミングで講師に提供するしくみが望まれる。本発明は、特に確認すべき情報として、講師の側に起因して大多数の受講生に状態変化が生じたことを示す情報を提供する。
【課題を解決するための手段】
【０００６】
受講者の反応が講演・講義の内容や進行に起因する場合、大半の受講者が同じ反応を示すことが多い。１〜２人が居眠りをしている場合には受講者の睡眠不足が疑われるが、半分以上の受講生が居眠りをしている場合には講義に何らかの問題があると考えるのが妥当である。そこで、本発明では、多くの受講者が同期して同じ状態になった場合に、その同期を判断材料として講演・講義を自動的に評価する。
【０００７】
本発明は、受講者の受講状態を示す情報に基づいて、講演を自動的に評価する装置を提供する。この装置は、受講者を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる受講者の顔情報を抽出し、該顔情報に基づいて、所定の受講状態の受講者を識別する状態識別手段を備える。この状態識別手段は、前記所定の受講状態として複数種類の受講状態を識別し得る手段であることが好ましい。また、状態識別手段により受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、前記所定の受講状態の受講者数が前記所定数を超えた時間帯を検出する同期検出手段を備える。さらに、同期検出手段により検出された時間帯の講演に対する評価を、前記所定の受講状態の種類および／または前記所定の受講状態の受講者数に基づいて決定し出力する評価手段を備える。
【０００８】
また、本発明は、受講者の受講状態を示す情報に基づいて、講演を自動的に評価する評価プログラムを提供する。このプログラムはコンピュータに、受講者を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる受講者の顔情報を抽出し、該顔情報に基づいて、所定の受講状態の受講者を識別する状態識別処理と、前記状態識別処理により受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、前記所定の受講状態の受講者数が前記所定数を超えた時間帯を検出する同期検出処理と、前記同期検出処理により検出された時間帯の講演に対する評価を、前記所定の受講状態の種類および／または前記所定の受講状態の受講者数に基づいて決定し出力する評価処理とを実行させる。
【０００９】
また、本発明は、受講者の受講状態を示す情報に基づいて、講演を自動的に評価する方法を提案する。この方法は、受講者を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる受講者の顔情報を抽出し、該顔情報に基づいて、所定の受講状態の受講者を識別し、受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、前記所定の受講状態の受講者数が前記所定数を超えた時間帯を検出し、検出された時間帯の講演に対する評価を、前記所定の受講状態の種類および／または前記所定の受講状態の受講者数に基づいて決定し、出力する。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。以下に例示するシステムは、ある教室で講義を行なう講師をビデオカメラで撮影し、その映像を他の教室でも放映し、さらには自宅にいる受講者に向けてもネットワーク配信するシステムである。
【００１１】
図１に、上記システムの概略構成を示す。図に示すように、このシステムは、ビデオを放映する教室に設置された２台の教室カメラ１ａ、１ｂ、在宅受講者の自宅にそれぞれ設置された受講者宅カメラ２ａ、２ｂ、サーバコンピュータ５および教壇付近に設置された講師用端末６を備える。この他、講師を撮影するビデオカメラ、そのビデオカメラにより撮影された映像を放映するための教室用、自宅用設備なども備えているが、図１は、本発明に関連する構成のみ示している。
【００１２】
教室カメラ１ａ、１ｂは教室の教壇側の天井に据えつけられた回転可能な構造のビデオカメラである。回転可能な構造とは、例えばドーム型監視カメラのような構造、あるいは回転台にカメラを取り付けた構造などである。ビデオカメラの回転角度、撮影倍率は、受講者席に座った受講者全員の顔を撮影できる角度、倍率に設定されている。なお、教室が広く１台のカメラで受講者全員の顔を撮影できない場合、もしくは撮影できても顔が非常に小さくなってしまう場合には、複数台のカメラにより分担して撮影を行なう。教室カメラ１ａ、１ｂは、同じ建屋のコンピュータルームなどに設置されたサーバコンピュータ５と、ローカルエリアネットワーク３により接続されている。
【００１３】
受講者宅カメラ２ａ、２ｂは、ＣＣＤカメラなど任意の場所に設置し得る小型カメラである、在宅受講者は受講の際、自分の顔がうつる位置に受講者宅カメラを配置することが義務付けられている。受講者宅カメラ２ａ、２ｂにより撮影された画像は、インターネット４を介してサーバコンピュータ５にリアルタイムに転送される。
【００１４】
教室カメラ１ａ、１ｂおよび受講者宅カメラ２ａ、２ｂは、いずれも動画撮影または静止画の連続撮影を行なうように設定されている。本実施形態のシステムは、教室カメラ１ａ、１ｂ、受講者宅カメラ２ａ、２ｂともに、受講者の状態変化を０．５秒以下の間隔で捉えられるように設定されている。
【００１５】
次に、図２を参照して、サーバコンピュータ５の構成について説明する。サーバコンピュータ５は、通信制御部５１、記録部５２、状態識別部５３、同期検出部５４および評価部５５を備える。サーバコンピュータ５は、汎用のコンピュータに、本発明の機能を実現するためのプログラムを組み込んだものである。
【００１６】
通信制御部５１は、汎用コンピュータに備えられた通信機能を使って、サーバコンピュータ５と教室カメラ１ａ、１ｂ間のローカルエリアネットワーク３を介した通信、およびサーバコンピュータ５と受講者宅カメラ２ａ、２ｂ間のインターネット４を介した通信を制御する。記録部５２、状態識別部５３、同期検出部５４および評価部５５は、後述する各処理を規定した要素プログラムをサーバコンピュータ５にインストールし、動作させることにより実現される処理部である。本実施形態では、サーバコンピュータ５は複数のプロセッサを備えており、各要素プログラムの処理は複数のプロセッサにより並列に処理される。
【００１７】
記録部５２は、通信制御部５１を介して、教室カメラ１ａ、１ｂから転送された映像・画像を受信し、符号化した後、撮影時刻を示す管理情報を付与してサーバコンピュータ５のメモリに書き込む。動画は０．５秒間隔の複数のフレーム画像として記録し、静止画はそのまま符号化して記録する。また記録部は、各部によりメモリに記録されたデータを所定のタイミングでサーバコンピュータ５に接続されているストレージ（図示せず）に出力する。
【００１８】
状態識別部５３は、メモリに記憶されている画像を用いて、各受講者の各時刻における状態を表す第１状態データを生成する。また、状態識別部５３は、生成した状態データを用いて各受講者の単位時間内の動きを分析し、各受講者の各時間帯における第２状態を表す状態データを生成する。
【００１９】
以下、第１状態データの生成処理について説明する。状態識別部５３は、記録部５２がメモリに書き込んだ０．５秒間隔の画像を順次読み出して、その画像から人物の顔を検出する。画像から顔を検出する技術としては公知のいずれの技術を用いてもよいが、本実施形態では一画像から多数の顔を検出する必要があるため、例えば所定の大きさの肌色領域であれば顔と判断する方法など、比較的シンプルな検出方法を採用することが好ましい。
【００２０】
状態識別部５３は、次に、検出した顔に、受講者を区別するための受講者識別子を割り当てる。受講者識別子は、その受講者の顔が検出された位置を示す番号などとする。顔が検出された位置を示す番号は、各顔の位置を大まかに特定できる番号でよく、例えば画像を格子状に区切って各格子の位置を行番号と列番号で表し、顔が検出された位置に最も近い格子の行列番号を用いる方法などが考えられる。教室カメラ１ａ、１ｂの向きは固定されており、受講者は着席しているので、これにより同じ受講者の顔に対し、常に同じ受講者識別子を割り当てることができる。
【００２１】
続いて状態識別部５３は、検出した人物ごとに顔の特徴を表す所定の特徴量を算出する。本実施形態では、眉または目の検出により眉間の位置座標を取得し、検出された顔の輪郭から、画像に写っている顔の最下端部の位置座標を取得する。そして、取得した２つの位置座標の差分値を算出する。
【００２２】
この処理では、画像に写っている顔が正面顔のときには、図３（ａ）に示すように、顎の位置座標が、顔の画像に写っている最下端部の位置座標として取得される。一方、画像に写っている顔がうつむき顔のときには、図３（ｂ）に示すように、鼻など、より目に近い位置の座標が、顔の画像に写っている最下端部の位置座標として取得される。図３（ａ）および図３（ｂ）の対比から明らかであるように、眉間から画像に写っている顔の最下端部までの距離ｄは、正面顔で最も長く、うつむき加減が大きいほど短くなるので、２箇所の位置座標の差分値により、顔のうつむき加減を判定することができる。なお、特徴量抽出に基づく顔の識別については種々の技術が知られており、本実施形態では、そのいずれの技術をも採用することができる。
【００２３】
状態識別部５３は、算出した特徴量ｄに、画像の管理情報に含まれている撮影時刻の情報と、顔を検出した際に割り当てた受講者識別子とを付すことにより、図４に示す第１状態データを生成し、メモリに記憶する。状態識別部５３が上記処理を繰り返すことにより、メモリには、各時刻における各受講者のうつむき加減を表す複数の第１状態データ７が蓄積されることとなる。
【００２４】
続いて、第１状態データを用いた第２状態データの生成処理について説明する。状態識別部５３は１０秒分の撮影画像について第１状態データの生成処理を実行すると、一旦第１状態データの生成処理を中断し、第２状態データの生成処理を実行する。第２状態データの生成処理が終了すると、第１状態データの生成処理を再開し、以降、第１状態データの生成処理とを、交互に実行する。
【００２５】
第２状態データの生成処理では、直前に生成した撮影時間１０秒分の第１状態データをメモリから読み込み、受講者識別子に基づいて受講者別に分類する。続いて、各受講者の第１状態データを時刻情報に基づいて時系列に並べる。状態識別部５３は、この時系列に並べられたデータ群から、特徴量（距離ｄ）の経時変化を表す波形パターンを生成する。図５は生成される波形パターンを、横軸を時間ｔ、縦軸を距離ｄとして表した図である。
【００２６】
状態識別部５３は、生成した波形パターンを、予め登録されているパターンと照合する。本実施の形態では、図６に示す３種類のパターンが登録されている。図６（ａ）は、軽くうつむく動作が行なわれたことを表す波形であり、１秒程度の短いパターンである。以下、この波形パターンを「頷きパターン」と称する。図６（ｂ）は、うつむく動作が２〜３秒周期で繰り返されている状態、すなわち完全に眠ってはいないが、うつらうつらしている初期の居眠り状態を表す１０秒の波形パターンである。以下、この波形パターンを「居眠りパターン」と称する。図６（ｃ）は、正面を向いていたが一時的に５秒ほど深くうつむき、再び正面をむくという動作を表している。このパターンは６秒程度のパターンである。以下、この波形パターンを、「ノート取りパターン」と称する。
【００２７】
状態識別部５３は、各受講者について図６（ａ）〜（ｃ）に示す波形とのパターンマッチング処理を実行する。図６（ａ）の「頷きパターン」のように、登録パターンが生成されるパターンよりも短い場合には、登録パターンを生成した波形パターンの時間軸に沿って移動しながら何回かマッチングをとる。これにより、図５に示す例のように５秒を過ぎたあたりに頷きパターンがある場合でも、頷き状態を識別することができる。
【００２８】
状態識別部５３は、上記パターンマッチング処理により、各受講者が、「頷き」、「居眠り」、「ノート取り」、「その他」のいずれの状態にあるかを識別する。そして、識別した状態を示す識別コードに、受講者識別子と時間帯を示す情報を付与したデータを、図７に示す第２状態データ８としてメモリに記憶する。本実施形態では、時間帯を示す情報は、１０秒間の開始時刻と１０秒という時間幅を示す情報とする。
【００２９】
なお、本実施形態では１０秒間で２０の画像が取得されるため、第２状態データ８は通常は２０個の第１状態データ７に基づいて生成されることになるが、受講者が講義の途中で離籍した場合には画像から顔が検出されないため第１状態データ７が生成されない。このため、本実施形態では、状態識別部５３は第１状態データ７を受講者別に分類した後、ソーティングを行なう前に、その受講者の第１状態データ７の数が２０個か否かを判定する。２０個に満たない場合には、「離席」を示すコードに、受講者識別子と時間帯を示す情報を付与して第２状態データ８を生成する。
【００３０】
以上に説明した状態識別部５３の処理により、メモリには「頷き」、「居眠り」、「ノート取り」、「離席」、「その他」のいずれかの状態を示す第２状態データが、１０秒ごとに受講者の数だけ書き込まれる。
【００３１】
次に、再び図２に戻り、同期検出部５４の処理について説明する。同期検出部５４は、４個のカウンタを制御することにより、「頷き」、「居眠り」、「ノート取り」、「離席」の４つの状態の受講者数を単位時間ごとカウントする。同期検出部５４は、状態識別部５３がメモリに書き込んだ第２状態データを１０秒おきに読み込み、各データに含まれる状態コードを参照する。状態コードが「頷き」、「居眠り」、「ノート取り」、「離席」のいずれかを示している場合には、その状態コードが示す状態に対応するカウンタの値をカウントアップする。状態コードが「その他」を示している場合には何もしない。１０秒分の第２状態データについてのカウント処理が終了すると、続いて同期検出部５４は、各カウンタの値を所定値と比較することにより、カウント値が所定値を越えたカウンタの有無を判定する。本実施形態では、所定値は、欠席者を含む全受講者数の１／２の数に設定されている。カウント値が所定値を越えたカウンタが検出された場合には、同期検出部５４は、そのカウンタによりカウントしていた状態を示す状態コードと、そのカウンタの値とを出力する。以上の処理が終了すると、同期検出部５４は、各カウンタの値を、状態およびカウントを行なった時間帯の情報とともに、サーバコンピュータに接続されているストレージに保存する。その後、同期検出部５４は、各カウンタの値を０にリセットする。そして、メモリから次の１０秒分の第２状態データを読み込み、上記処理を繰り返す。
【００３２】
評価部５５は、上記同期検出部５４の出力を受け、状態コードとカウンタの値に基づいて講義の評価値を算出する。状態コードが「頷き」または「ノート取り」を示している場合には、「評価値＝カウンタ値」とする。状態コードが「居眠り」または「離席」を示している場合には、「評価値＝−カウンタ値」とする。
【００３３】
続いて、評価部５５は、算出した評価値に基づく評価を、講師用端末６のモニタ画面に出力する。例えば、「居眠り増加中です。講義の進行を工夫して下さい。」などのメッセージを講師用端末６のモニタ画面に出力する。同時に、端末に附属するスピーカからアラーム音を出力してもよい。これにより、講義を行なっている講師は、自らの講義を客観的に評価し、必要に応じて講義の内容や進行を変更し、受講者にとってより有益な講義を行なうことができる。
【００３４】
なお、以上に説明した処理は、講義が行なわれている最中に実行される処理であるが、評価部５５は、講義の終了後に評価レポートを生成して出力する機能も備えている。図８に、評価部５５が出力する評価レポートの一例を示す。評価部５５は、講師または他のオペレータから評価レポートの生成を要求されると、状態別、時間帯別にストレージに保存されているカウンタ値を読み込む。そして、１０秒単位で保存されているカウンタ値を５分間分合計し、さらに、その合計値を全受講者の数で除算することにより、全体に対する割合（％）を求める。さらに、公知のグラフ自動生成技術を利用して、各状態の時間帯ごとの人数を表す棒グラフを生成する。これにより図８に例示したような評価レポートを出力する。
【００３５】
以上に説明したように、本実施形態のシステムによれば、過半数の受講者が同じ状態となったことが講師に通知されるため、講師は受講者の状態が、受講者の側に起因するものではなく、講義の内容や進行に起因するものであることを自覚することができる。上記システムでは、講師が受講者の状態を個別に確認しなくても、講義の客観的評価に必要な情報が自動的に収集され、分析され、講師に通知されるので、受講者数が多すぎて個別の状態確認が困難な場合には、特に有用である。講師は、講義の進行を調整すべきか否かの判断に迷うことがなくなるので、受講者反応が悪かった場合には直ちに講義のしかたを工夫するなど、講義を行ないながらリアルタイムに講義を改善することができる。もしくは、異なる受講者を対象に同じ講義を行なう場合に、前の講義で通知された点を意識しながら、よりよい講義を行なうことができる。
【００３６】
また、本実施形態のシステムでは、頷き、居眠り、ノート取りの３つの状態を、１種類の特徴量と、その特徴量の時間的な変化に基づいて区別するので、抽出・保存する特徴量の種類が少ない。このため、大勢の人物から特徴量を抽出してリアルタイムに分析を行なう場合に、効率よく高速に処理を行なうことができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態におけるシステムの概略構成を示す図
【図２】サーバコンピュータの構成を示す図
【図３】うつむき加減を示す特徴量について説明するための図
【図４】第１状態データを示す図
【図５】生成された波形パターンの一例を示す図
【図６】登録波形パターンの例を示す図
【図７】第２状態データを示す図
【図８】評価レポートの一例を示す図
【符号の説明】
【００３８】
３ ローカルエリアネットワーク、 ４ インターネット、 ５ サーバコンピュータ
ｄ うつむき加減を示す特徴量、 ７ 第１状態データ、 ８ 第２状態データ
【特許請求の範囲】
【請求項１】
受講者の受講状態を示す情報に基づいて、講演を自動的に評価する装置であって、
受講者を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる受講者の顔情報を抽出し、該顔情報に基づいて、所定の受講状態の受講者を識別する状態識別手段と、
前記状態識別手段により受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、前記所定の受講状態の受講者数が前記所定数を超えた時間帯を検出する同期検出手段と、
前記同期検出手段により検出された時間帯の講演に対する評価を、前記所定の受講状態の種類および／または前記所定の受講状態の受講者数に基づいて決定し出力する評価手段とを備えた自動評価装置。
【請求項２】
前記状態識別手段が、前記所定の受講状態として複数種類の受講状態を識別し得る手段であることを特徴とする請求項１記載の自動評価装置。
【請求項３】
受講者の受講状態を示す情報に基づいて、講演を自動的に評価する評価プログラムであって、コンピュータに、
受講者を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる受講者の顔情報を抽出し、該顔情報に基づいて、所定の受講状態の受講者を識別する状態識別処理と、
前記状態識別処理により受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、前記所定の受講状態の受講者数が前記所定数を超えた時間帯を検出する同期検出処理と、
前記同期検出処理により検出された時間帯の講演に対する評価を、前記所定の受講状態の種類および／または前記所定の受講状態の受講者数に基づいて決定し出力する評価処理とを実行させる自動評価プログラム。
【請求項４】
前記状態識別処理が、前記所定の受講状態として複数種類の受講状態を識別する処理であることを特徴とする請求項３記載の自動評価プログラム。
【請求項５】
受講者の受講状態を示す情報に基づいて、講演を自動的に評価する方法であって、
受講者を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる受講者の顔情報を抽出し、該顔情報に基づいて、所定の受講状態の受講者を識別し、
受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、前記所定の受講状態の受講者数が前記所定数を超えた時間帯を検出し、
検出された時間帯の講演に対する評価を、前記所定の受講状態の種類および／または前記所定の受講状態の受講者数に基づいて決定し、出力する方法。
【請求項６】
前記所定の受講状態として複数種類の受講状態を識別することを特徴とする請求項５記載の自動評価方法。
【請求項１】
受講者の受講状態を示す情報に基づいて、講演を自動的に評価する装置であって、
受講者を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる受講者の顔情報を抽出し、該顔情報に基づいて、所定の受講状態の受講者を識別する状態識別手段と、
前記状態識別手段により受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、前記所定の受講状態の受講者数が前記所定数を超えた時間帯を検出する同期検出手段と、
前記同期検出手段により検出された時間帯の講演に対する評価を、前記所定の受講状態の種類および／または前記所定の受講状態の受講者数に基づいて決定し出力する評価手段とを備えた自動評価装置。
【請求項２】
前記状態識別手段が、前記所定の受講状態として複数種類の受講状態を識別し得る手段であることを特徴とする請求項１記載の自動評価装置。
【請求項３】
受講者の受講状態を示す情報に基づいて、講演を自動的に評価する評価プログラムであって、コンピュータに、
受講者を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる受講者の顔情報を抽出し、該顔情報に基づいて、所定の受講状態の受講者を識別する状態識別処理と、
前記状態識別処理により受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、前記所定の受講状態の受講者数が前記所定数を超えた時間帯を検出する同期検出処理と、
前記同期検出処理により検出された時間帯の講演に対する評価を、前記所定の受講状態の種類および／または前記所定の受講状態の受講者数に基づいて決定し出力する評価処理とを実行させる自動評価プログラム。
【請求項４】
前記状態識別処理が、前記所定の受講状態として複数種類の受講状態を識別する処理であることを特徴とする請求項３記載の自動評価プログラム。
【請求項５】
受講者の受講状態を示す情報に基づいて、講演を自動的に評価する方法であって、
受講者を含む場景を繰り返し撮影することにより得られた複数の画像について、該画像に含まれる受講者の顔情報を抽出し、該顔情報に基づいて、所定の受講状態の受講者を識別し、
受講状態ごとに識別された受講者の数を単位時間ごとに計測し、単位時間あたりの受講者の数を所定数と比較することにより、前記所定の受講状態の受講者数が前記所定数を超えた時間帯を検出し、
検出された時間帯の講演に対する評価を、前記所定の受講状態の種類および／または前記所定の受講状態の受講者数に基づいて決定し、出力する方法。
【請求項６】
前記所定の受講状態として複数種類の受講状態を識別することを特徴とする請求項５記載の自動評価方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−１０２３４４（Ｐ２００７−１０２３４４Ａ）
【公開日】平成１９年４月１９日（２００７．４．１９）
【国際特許分類】
【出願番号】特願２００５−２８８５２５（Ｐ２００５−２８８５２５）
【出願日】平成１７年９月３０日（２００５．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成１９年４月１９日（２００７．４．１９）
【国際特許分類】
【出願日】平成１７年９月３０日（２００５．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]