説明

受講状態判別装置および方法並びにプログラム

【課題】 受講者の状態を確認するに際し、受講者数が多くなっても簡易に受講者の状態を確認できるようにする。
【解決手段】 抽出部11が、複数の受講者の受講風景を撮影して得た画像S0から、複数の受講者の顔画像Sf0を抽出する。判定部12が、顔画像に基づいて複数の受講者の状態を判定する。画像生成部13が、複数の受講者の顔画像Sf0を、判定部12が判定した受講者の状態を示す指標を付して一覧表示するための一覧画像G0を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、授業等を受講する受講者の状態を判別する受講状態判別装置および方法並びに受講状態判別方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【0002】
授業等を受講する受講者の状態を講師が把握するための各種システムが提案されている。例えば、講師の端末と受講者の端末とをネットワークで接続して双方向通信により講義を行うシステムが提案されている(特許文献1参照)。このシステムでは、講師が受講者の状態を把握できるようにビデオカメラで受講者を撮影し、撮影により取得した映像シーケンスから受講者の反応を判断することにより、講師が受講者の反応を認識できるようになっている。
【0003】
また、座席レイアウトで表示されている生徒の似顔絵に、例えば風邪を引いている生徒はマスクをつける等することにより、生徒の状態を表示するシステムも提案されている(特許文献2参照)。このシステムにおいては、講師が似顔絵をダブルクリックすると生徒の生の映像が表示されるため、講師が生徒の状態を確認することができる。
【特許文献1】特開2001−67482号公報
【特許文献2】特開2004−118548号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1,2に記載のシステムにおいては、受講者数が多くなると、すべての受講者の状態を一度に認識できるように表示することは困難である。また、特許文献2は、受講者の似顔絵を表示するのみであって、実際の画像は講師が選択した一人の受講者の画像のみである。
【0005】
本発明は上記事情に鑑みなされたものであり、受講者数が多くなっても簡易に受講者の状態を確認できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
本発明による受講状態判別装置は、複数の受講者の受講風景を撮影して得た画像から、前記複数の受講者の顔画像を抽出する抽出手段と、
前記顔画像に基づいて前記複数の受講者の状態を判定する判定手段と、
前記抽出手段が抽出した前記複数の受講者の顔画像を、前記判定手段が判定した状態を示す指標を付して一覧表示するための一覧画像を生成する画像生成手段とを備えたことを特徴とするものである。
【0007】
なお、本発明による受講状態判別装置においては、前記複数の受講者をそれぞれ撮影する複数の撮影手段をさらに備えるようにしてもよい。
【0008】
また、本発明による受講状態判別装置においては、すべての前記複数の受講者を一度に撮影する撮影手段をさらに備えるようにしてもよい。
【0009】
また、本発明による受講状態判別装置においては、前記一覧画像を表示する表示手段をさらに備えるようにしてもよい。
【0010】
本発明による受講状態判別方法は、複数の受講者の受講風景を撮影して得た画像から、前記複数の受講者の顔画像を抽出し、
前記顔画像に基づいて前記複数の受講者の状態を判定し、
前記抽出手段が抽出した前記複数の受講者の顔画像を、前記判定手段が判定した状態を示す指標を付して一覧表示するための一覧画像を生成することを特徴とするものである。
【0011】
なお、本発明による受講状態判別方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【0012】
本発明によれば、複数の受講者の顔画像が受講風景を撮影して得た画像から抽出され、抽出された顔画像に基づいて複数の受講者の状態が判定される。そして、受講者の顔画像に判定した状態を示す指標が付与された一覧画像が生成される。このため、一覧画像を見れば、それぞれの受講者の状態を容易に確認することができる。
【発明を実施するための最良の形態】
【0013】
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による受講状態判別装置を適用した受講システムの構成を示す概略ブロック図である。図1に示すように、本実施形態による受講システム100は、教室内に設置された、受講者を撮影するためのビデオカメラ1と、講師が所持する講師端末2と、本実施形態による受講状態判別装置3とがネットワーク4により接続されることによって構成されている。
【0014】
ビデオカメラ1は、例えば講義を行う教室の天井に設置されており、受講者の受講風景の撮影を行い、撮影により取得した画像データS0を受講状態判別装置3に送信する。
【0015】
講師端末2は、ネットワーク4に接続されたコンピュータであり、後述するように受講状態判別装置3が生成した一覧画像を表示するためのプログラムがインストールされている。そして、このプログラムにより、受講状態判別装置3が生成した一覧画像をモニタに表示することができる。
【0016】
受講状態判別装置3は、抽出部11、判定部12および画像生成部13を備える。受講状態判別装置3は、内部にCPUとメモリを備えた制御基板もしくは半導体装置等からなる制御部を備えている。制御部のメモリには受講状態判別プログラムが記憶されており、抽出部11による抽出の処理、判定部12による判定の処理、および画像生成部13による一覧画像の生成の処理、および一覧画像の出力は、この受講状態判別プログラムにより制御される。
【0017】
抽出部11は、ビデオカメラ1から送信された画像データS0の画像(以下画像についても同一の参照符号を用いる)から、受講者の顔画像Sf0を抽出する。顔画像Sf0を抽出する手法としては、画像S0における肌色を有する領域を検出し、検出した肌色領域を含む所定範囲の領域を顔画像Sf0として抽出する手法、顔に含まれる目、鼻および口等の特徴に基づいて顔を検出し、検出した顔を含む所定範囲の領域を顔画像Sf0として抽出する手法等、公知の任意の手法を用いることができる。なお、画像S0は動画像であるため、抽出部11は動画像を構成するすべてのフレームから所定時間間隔にてフレームを抽出し、抽出したフレームについて顔画像Sf0を抽出する処理を行う。これにより、例えば図2に示すように、受講者の顔画像Sf0が画像S0から抽出される。
【0018】
なお、座席が前の方の受講者と後の方の受講者とでは、画像S0に含まれる顔のサイズが異なる。このため、抽出部11は、抽出された顔画像Sf0のサイズをすべて同一サイズとなるように正規化する。
【0019】
判定部12は、抽出した各顔画像Sf0を用いて受講者の状態を判定する処理を行う。受講者の状態を判定する処理は、公知の任意の手法を用いることができるが、本実施形態においては、上記特許文献1に記載された手法を用いるものとする。具体的には、時間的に隣接するフレームから抽出された顔画像Sf0から頭部の動きを表す特徴ベクトルを抽出し、特徴ベクトルを入力として、受講者の姿勢を示す情報(正面を向く、首を振る、右を向く、左を向く、下を向くおよび上を向く等)を出力するための、あらかじめ学習がなされたニューラルネットワークを用いて、受講者の姿勢を表す情報を取得する。そして取得した姿勢を表す情報と受講者の状態とを対応づけた参照テーブルT0を用いて、受講者の状態を判定する。
【0020】
図3は参照テーブルT0の例を示す図である。図3に示すように、参照テーブルT0は、「正面を向いている」、「首を振っている」、「左右を向いている」、「上を向いている」、および「下を向いている」の5通りの受講者の姿勢のそれぞれと、「講師の説明を聞いている」、「講師の説明にうなずいている」、「よそ見をしている」、「考え事をしている」、および「居眠りをしている」という受講者の状態とが対応づけられている。
【0021】
画像生成部13は、抽出部11が画像S0から抽出したすべての顔画像Sf0を並べるとともに、各顔画像Sf0に判定部12が判定した受講者の状態を表す指標を付与した一覧画像G0を生成する。
【0022】
図4は一覧画像の例を示す図である。図4に示すように一覧画像G0には、複数の顔画像Sf0が配列されている。そして、各顔画像Sf0に受講者の状態を表す指標が付与されている。指標は、受講者の状態に応じて異なる色や形状を有する枠やマークからなるものであり、図4に示す一覧画像においては、横を向いている受講者の顔画像Sf0には斜線の枠が、居眠りをしている受講者の顔画像Sf0には黒色の枠が付与されている。また、上を向いている受講者の顔画像Sf0には左上部分に黒色三角形のマークが付与されている。さらに正面を向いている受講者の顔画像Sf0には左上角部に丸印が付与されている。
【0023】
なお、指標としては上述したものに限定されるものではなく、受講者の状態に応じて異なる色の枠または異なるマークを付与したり、顔画像Sf0の全体の色を受講者の状態に応じて赤っぽくしたり青っぽくする等して変更することを指標としてもよい。また、「講師の説明を聞いている」、「講師の説明にうなずいている」等の受講者の状態を表す文字を指標として、顔画像Sf0上またはその周囲に付与するようにしてもよい。
【0024】
次いで、本実施形態において行われる処理について説明する。図5は受講状態判別装置3が行う処理を示すフローチャートである。まず、抽出部11がビデオカメラ1が撮影により取得した画像データS0からすべての顔画像Sf0を抽出する(ステップST1)。次に、判定部12が顔画像Sf0に基づいて受講者の状態を判定する(ステップST2)。そして、画像生成部13が、受講者の状態を表す指標を各顔画像Sf0に付与して、顔画像Sf0の一覧画像G0を生成し(ステップST3)、一覧画像G0をネットワーク4を経由して講師端末2に送信し(ステップST4)、処理を終了する。
【0025】
講師端末2は、受信した一覧画像G0をモニタに表示する。
【0026】
このように、本実施形態によれば、受講者の顔画像Sf0に受講者の状態を示す指標を付与した一覧画像G0を生成するようにしたため、講師端末2に表示された一覧画像G0を見れば、講師は受講者の状態を容易に確認することができる。
【0027】
なお、上記実施形態においては、教室に設置された1台のビデオカメラ1により受講者を撮影しているが、図6に示す第2の実施形態による受講システム101のように、各受講者を撮影するための複数のビデオカメラ31を、教室内の机上に設置するようにしてもよい。
【0028】
また、遠隔授業を行う場合には、図7に示す第3の実施形態による受講システム102のように、受講状態判別装置3をインターネット5を介して、他の受講会場に設置されたビデオカメラ32と接続し、遠隔授業を行っている受講者の画像を撮影して、一覧画像G0に加えるようにしてもよい。
【0029】
また、遠隔授業を行う場合には、受講状態判別装置3は遠隔地に設置してもよい。
【0030】
なお、コンピュータを、上記の抽出部11、判定部12、および画像生成部13に対応する手段として機能させ、図5に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の1つである。
【0031】
以上、本発明について複数の実施形態を例示して説明したが、本発明の技術的範囲は特許請求の範囲の記載事項によってのみ定められるべきであり、上記実施形態に限定されないことは、言うまでもない。
【図面の簡単な説明】
【0032】
【図1】本発明の第1の実施形態による受講状態判別装置を適用した受講システムの構成を示す概略ブロック図
【図2】ビデオカメラが撮影した画像を示す図
【図3】受講者の姿勢を表す情報と受講者の状態とを対応づけた参照テーブルの例を示す図
【図4】一覧画像の例を示す図
【図5】受講状態判別装置が行う処理を示すフローチャート
【図6】本発明の第2の実施形態による受講状態判別装置を適用した受講システムの構成を示す概略ブロック図
【図7】本発明の第3の実施形態による受講状態判別装置を適用した受講システムの構成を示す概略ブロック図
【符号の説明】
【0033】
1,31,32 ビデオカメラ
2 講師端末
3 受講状態判別装置
4 ネットワーク
5 インターネット
11 抽出部
12 判定部
13 画像生成部

【特許請求の範囲】
【請求項1】
複数の受講者の受講風景を撮影して得た画像から、前記複数の受講者の顔画像を抽出する抽出手段と、
前記顔画像に基づいて前記複数の受講者の状態を判定する判定手段と、
前記抽出手段が抽出した前記複数の受講者の顔画像を、前記判定手段が判定した状態を示す指標を付して一覧表示するための一覧画像を生成する画像生成手段とを備えたことを特徴とする受講状態判別装置。
【請求項2】
前記複数の受講者をそれぞれ撮影する複数の撮影手段をさらに備えたことを特徴とする請求項1記載の受講状態判別装置。
【請求項3】
すべての前記複数の受講者を一度に撮影する撮影手段をさらに備えたことを特徴とする請求項1記載の受講状態判別装置。
【請求項4】
前記一覧画像を表示する表示手段をさらに備えたことを特徴とする請求項1から3のいずれか1項記載の受講状態判別装置。
【請求項5】
複数の受講者の受講風景を撮影して得た画像から、前記複数の受講者の顔画像を抽出し、
前記顔画像に基づいて前記複数の受講者の状態を判定し、
前記抽出手段が抽出した前記複数の受講者の顔画像を、前記判定手段が判定した状態を示す指標を付して一覧表示するための一覧画像を生成することを特徴とする受講状態判別方法。
【請求項6】
複数の受講者の受講風景を撮影して得た画像から、前記複数の受講者の顔画像を抽出する手順と、
前記顔画像に基づいて前記複数の受講者の状態を判定する手順と、
前記抽出手段が抽出した前記複数の受講者の顔画像を、前記判定手段が判定した状態を示す指標を付して一覧表示するための一覧画像を生成する手順とを有することを特徴とする受講状態判別方法をコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2006−330464(P2006−330464A)
【公開日】平成18年12月7日(2006.12.7)
【国際特許分類】
【出願番号】特願2005−155590(P2005−155590)
【出願日】平成17年5月27日(2005.5.27)
【出願人】(000005201)富士フイルムホールディングス株式会社 (7,609)
【復代理人】
【識別番号】100104189
【弁理士】
【氏名又は名称】福尾 勲将
【Fターム(参考)】