説明

顔分析装置、顔分析方法、及びプログラム

【課題】講義中の受講生の画像等を用いることにより、講義に関する適切な分析を行うことができる顔分析装置を提供する。
【解決手段】講義中における1以上の受講生の顔を撮影した動画像である受講生画像が格納される受講生画像格納部12と、受講生画像から受講生の顔を認識して、認識した顔に対する分析を行う顔分析部13と、顔分析部13による分析結果に関連する情報を出力する出力部17とを備えるようにしたことにより講義に関する分析を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、講義中の1以上の受講生の顔を認識し、講義中の顔を分析する顔分析装置等に関するものである。
【背景技術】
【0002】
従来、教室を入退室する生徒及び指導者(講師)から発信される個人識別情報を受信し、これを入退室情報として入退室情報データベースに蓄積する入退室情報データベースサーバと、入退室情報データベースから、生徒と指導者(講師)が各1名ずつとなっている教室情報を取得する人数確認プログラムを有するWebサーバと、人数確認プログラムによって該当教室が存在した場合に、該当教室を管理する管理者へ電子メールを送信するメールサーバと、を備えたことを特徴とする教室管理システムが知られていた(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−129117号公報(第1頁、第1図等)
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来は、講義中における受講生(例えば生徒)等の受講状況等を客観的に適切に分析することができず、この結果、講義に関する適切な分析を行うことができない、という課題があった。
【課題を解決するための手段】
【0005】
本発明の顔分析装置は、講義中における1以上の受講生の顔を撮影した動画像である受講生画像が格納される受講生画像格納部と、受講生画像から受講生の顔を認識して、認識した顔に対する分析を行う顔分析部と、顔分析部による分析結果に関連する情報を出力する出力部とを備えた顔分析装置である。
【0006】
かかる構成により、受講生画像から認識した講義中の1以上の受講生の顔を分析して、講義に関する適切な分析を行うことができる。また、受講生画像から、受講生の顔を自動認識して分析を行うため、分析の際に受講生の顔等を見る必要がなく、受講生のプライバシーを確保することができる。
【0007】
また、本発明の顔分析装置は、前記顔分析装置において、顔分析部が取得した分析結果を用いて、予め指定された統計分析を行う統計分析部を更に備え、出力部は、統計分析の結果を出力する顔分析装置である。
【0008】
かかる構成により、講義中の1以上の受講生の顔の分析結果についての統計分析結果を出力することができる。
【0009】
また、本発明の顔分析装置は、前記顔分析装置において、顔分析部が取得した分析結果を用いて、予め指定された統計分析を行う統計分析部と、統計分析部の統計分析の結果を用いて、講義の評価を行う講義評価部を更に備え、出力部は、講義評価部の評価結果を出力する顔分析装置である。
【0010】
かかる構成により、統計分析結果を利用して、講義に対する評価結果を出力することができる。
【0011】
また、本発明の顔分析装置は、前記顔分析装置において、講義中の講師を撮影した動画像である講師画像、または講義中の講師の音声の情報である講師音声情報の少なくとも一方を含む情報である講師情報が格納される講師情報格納部と、講師情報の変化の検出を行う変化検出部とを更に備え、顔分析部は、変化検出部が変化を検出した時点直後に取得された受講生画像に対する顔の分析結果を取得し、出力部は、変化検出部が変化を検出した時点直後に取得された受講生画像に対する顔の分析結果に関連する情報を出力する顔分析装置である。
【0012】
かかる構成により、講師情報の変化を更に利用して、講義に関するより適切な分析を行うことができる。
【0013】
また、本発明の顔分析装置は、前記顔分析装置において、変化検出部が変化を検出した時点直後に取得された受講生画像に対する分析結果を用いて、予め指定された統計分析を行う関連統計分析部を更に備え、出力部は、関連統計分析部の統計分析の結果を出力する顔分析装置である。
【0014】
かかる構成により、講師情報に変化が生じた場合の1以上の受講生の顔の分析結果についての統計分析結果を出力することができる。
【0015】
また、本発明の顔分析装置は、前記顔分析装置において、変化検出部が変化を検出した時点直後に取得された受講生画像に対する分析結果を用いて、予め指定された統計分析を行う関連統計分析部と、関連統計分析部の統計分析の結果を用いて、講義の評価を行う関連講義評価部を更に備え、出力部は、関連講義評価部の評価結果を出力する顔分析装置である。
【0016】
かかる構成により、講師情報に変化が生じた場合の顔の分析結果についての統計分析の結果を利用して、講義に対するより適切な評価結果を出力することができる。
【0017】
また、本発明の顔分析装置は、前記顔分析装置において、顔分析部は、時系列に沿った受講生の顔の分析結果を取得し、出力部は、顔分析部の顔の分析結果を時系列に沿って出力する顔分析装置である。
【0018】
かかる構成により、顔の分析結果を時系列順に出力することができる。
【0019】
また、本発明の顔分析装置は、前記顔分析装置において、出力部が出力する一の時点の顔の分析結果に対する指定を受け付ける指定受付部を更に備え、出力部は、指定受付部が指定を受け付けた分析結果に対応する時点の受講生画像を出力する顔分析装置である。
【0020】
かかる構成により、指定された分析結果に対応する受講生画像を容易に出力することができる。
【0021】
また、本発明の顔分析装置は、前記顔分析装置において、前記出力部は、前記受講生画像を出力する際に、受講生の顔の部分を、受講生が識別できなくなるような表示態様とした受講生画像を出力する顔分析装置である。
【0022】
かかる構成により、表示される受講生画像から、受講生を特定できないようにして、受講生のプライバシーを保護することができる。
【発明の効果】
【0023】
本発明による顔分析装置等によれば、講義に関する適切な分析を行うことができる。
【図面の簡単な説明】
【0024】
【図1】本発明の実施の形態1における顔分析装置のブロック図
【図2】同動作について説明するフローチャート
【図3】同受講生画像のフレーム画像の一部を模式的に示す図
【図4】同顔が認識された状態のフレーム画像を示す模式図
【図5】同顔分析結果管理表を示す図
【図6】同統計分析結果管理表を示す図
【図7】同表示例を示す図
【図8】同表示例を示す図
【図9】同表示例を示す図
【図10】本発明の実施の形態2における顔分析装置のブロック図
【図11】同動作について説明するフローチャート
【図12】同講師情報の一部を示す図
【図13】同変化時分析結果管理表を示す図
【図14】同統計分析結果管理表を示す図
【図15】本発明の各実施の形態におけるコンピュータシステムの外観の一例を示す図
【図16】同コンピュータシステムの構成の一例を示す図
【発明を実施するための形態】
【0025】
以下、顔分析装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0026】
(実施の形態1)
図1は、本実施の形態における顔分析装置1のブロック図である。
【0027】
顔分析装置1は、第一撮影部11、受講生画像格納部12、顔分析部13、統計分析部14、講義評価部15、指定受付部16、出力部17を備える。
【0028】
第一撮影部11は、講義中の1以上の受講生の顔を撮影して、講義中の1以上の受講生の顔の画像を取得する。1以上の受講生の顔の画像とは、例えば、少なくとも1以上の受講生の顔が含まれている画像を意味する。第一撮影部11は、複数の受講生の顔を含む画像を取得することが好ましい。第一撮影部11は、例えば、1以上の受講生の正面側から撮影を行って動画像を取得する。講義とは、例えば、小中学校や、高等学校、大学、塾、予備校等における授業等も含む概念である。受講生は、例えば、講義を受講している生徒である。受講生は、受講者と考えても良い。また、受講生は、講義に参加しているものであれば、講義を受講する申込みや資格の有無等は問わない。第一撮影部11は、動画像を撮影する。なお、予め指定された一定または不定のタイミングで連続して撮影された複数の静止画像も、ここでは動画像と考えて良い。かかることは、以下においても同様である。第一撮影部11は、撮影した動画像を、例えば、受講生画像格納部12に蓄積する。第一撮影部11は、時系列と対応付けられた動画像を取得する。例えば、いわゆるタイムコードと対応付けられたフレーム画像で構成される動画像を取得する。フレーム画像は、動画像を構成する各静止画像と考えてよい。第一撮影部11は、例えばカメラで実現可能である。
【0029】
受講生画像格納部12には、受講生画像が格納される。受講生画像は、講義中における1以上の受講生の顔を撮影した動画像である。例えば、受講生画像格納部12には、第一撮影部11が撮影した受講生画像が格納される。受講生画像は、複数の受講生の顔を撮影した画像であることが好ましい。受講生画像は、複数の受講生を、複数のエリアに分けてそれぞれ撮影した複数の動画像で構成されていても良い。受講生画像を構成する2以上のフレーム画像や静止画像は、例えば、通常、時系列と対応付けられている。例えば、受講生画像を構成する各フレーム画像や静止画像には、例えば、撮影時刻を示すタイムコード等が対応付けられている。受講生画像のファイル形式や圧縮方式等は問わない。また、画像のサイズや縦横比等は問わない。例えば、受講生画像は、MPEG2やMPEG4、モーションJPEG、AVCHD、DV形式等の形式の動画像である。なお、ここでの時刻は、標準時刻等の絶対的な時刻であっても良いし、撮影開始からの経過時間等の相対的な時刻であっても良い。かかることは以下においても同様である。なお、ここでの格納は一時記憶も含む概念である。受講生画像格納部12は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。かかることは、他の格納部においても同様である。
【0030】
顔分析部13は、受講生画像格納部12に格納されている受講生画像から1以上の受講生の顔を認識して、認識した顔に対する分析を行う。例えば、顔分析部13は、例えば、受講生画像から認識した各受講生の顔を分析して、各顔の表情や、向き、視線方向、まばたき(まばたきをしている、目をつぶっている、または、目を開いている等)等の分析項目についての分析結果を示す情報を取得する。ここで取得される分析結果は、例えば、各分析項目別の特徴量を示す値であると考えても良い。この値は、数値であっても良いし、分析結果を示す文字列等であっても良い。顔の分析結果とは、例えば、分析により得られた顔の表情や、向き、視線、まばたきを示す情報であっても良い。顔の表情とは、例えば、笑いや、怒り、悲しみ等の表情である。顔分析部13は、例えば、受講生画像の一の時点(例えば時刻)の以前または以後に連続したフレーム画像について、それぞれ1以上の顔を検出し、ほぼ同じ場所に検出された顔の画像同士をフレーム画像間で比較することで、一の時点(例えば時刻)についての受講生の顔の表情やまばたきの状況を示す情報を取得してもよい。また、受講生画像の一の時点(例えば時刻)のフレーム画像について、それぞれ1以上の顔を検出し、その顔の画像を分析することで、顔の向きや、視線等を示す情報を取得してもよい。動画像から、顔を認識する処理や、認識した顔を分析して、顔の表情や、向き、視線、まばたきを示す情報を取得する処理は、顔検出技術や、顔表情認識技術等として公知の技術であるので、ここでは詳細な説明は省略する。例えば、次の非特許文献等を参考にされたい("Sony Japan|技術情報 Sony's Technology|技術・テーマから見る|顔画像認識"、[online]、[平成23年8月23日検索]、インターネット<URL:http://www.sony.co.jp/SonyInfo/technology/technology/theme/sface_01.html>)。
【0031】
顔分析部13は、例えば、受講生画像を用いて、1以上の時点、好ましくは複数の時点(例えば時刻)における受講生の顔の分析結果を取得する。なお、ここでの時点、とは、受講生画像の一の時点のフレーム画像を意味すると考えて良い。かかることは以下においても同様である。例えば、顔分析部13は、受講生画像を構成する複数の時点のフレーム画像について、それぞれ1以上の受講生の顔を認識し、認識された受講生の顔のそれぞれについて、各フレーム画像ごとに分析結果を取得する。各時点のフレーム画像についての顔の分析結果を取得する際には、各フレームの前または後のフレーム画像を適宜利用してもよい。かかることは以下においても同様である。複数の時点は、例えば、受講生画像が撮影された時間内の、予め指定された時間間隔を隔てた複数の時刻や、ユーザにより指定された複数の時刻やフレーム画像である。例えば、顔分析部13は、動画である受講生画像についてn秒(nは1以上の整数)ごとに順次分析結果を取得しても良い。
【0032】
統計分析部14は、顔分析部13が取得した分析結果を用いて、予め指定された統計分析を行う。統計分析部14は、どのような統計分析を行っても良い。統計分析部14は、例えば、受講生画像の1以上の各時点ごとに個別に統計分析を行っても良いし、一の講義に対応する受講生画像全体あるいはその一部に対して総合的な統計分析を行っても良い。、また、統計分析部14は、例えば、顔分析部13が取得した分析項目別の分析結果について、統計分析を行っても良いし、顔分析部13が取得した分析項目別の分析結果を利用して、総合的な分析結果を取得して、この総合的な分析結果について統計分析を行っても良い。
【0033】
例えば、統計分析部14は、顔分析部13が動画像の1以上の各時点ごとに取得した分析結果のそれぞれに対して、分析項目別に(例えば、表情別、向き別、視線方向別、まばたきの状況別に)検出された顔の数の集計を行い、その集計結果あるいはその集計結果の検出された顔全体に対する比率等と、各時点を特定する情報(例えば、各時点に対応する時刻や、講義開始からの経過時間やフレーム番号等)とを対応付けた情報を、統計分析結果として取得しても良い。なお、顔の数の集計結果等は、適宜、正規化しても良い。かかることは以下においても同様である。
【0034】
また、統計分析部14は、例えば、一の講義において得られた受講生画像の1以上の各時点において、分析項目別に検出された顔を、一の講義(あるいは、その一部)について集計した値、あるいは、この集計した値の検出された顔の数に対する比率を、統計分析結果として取得しても良い。あるいは、受講生画像の1以上の各時点(例えば各時点のフレーム画像)について認識した複数の顔のそれぞれについての分析項目別の分析結果(例えば、表情や顔の向きや視線方向等)を、予め用意された変換表や変換式等を用いて数値に変換し、この数値の平均値や分散や標準偏差等を、各時点について、あるいは、一の講義(あるいは、その一部)について取得しても良い。この数値としては、顔分析の際に用いられる数値を用いても良い。
【0035】
また、統計分析部14は、各時点について取得した分析結果の分析項目別の顔の数の集計結果やその比率から、集計結果や比率が高い時点を示す情報(例えば時刻や講義開始からの経過時間等)を統計分析結果として取得しても良い。
【0036】
また、統計分析部14は、統計分析結果として、例えば、顔分析部13が認識した各受講生の顔別に、顔の分析結果を複数の時点にわたって取り出したり、これを時系列に沿って配列したりしてもよい。複数の時点にわたる受講生の顔の分析結果とは、例えば、一の講義について撮影された受講生画像の異なる時点(時刻)において、それぞれ取得した分析結果である。例えば、受講生画像から、2以上の時点(好ましくは複数の時点)において1以上の受講生についての顔の分析結果を取得し、この分析結果を受講生別に時系列に沿って配列したものを取得してもよい。この際、顔分析部13は、各分析結果を、各分析結果を取得した時点を示す情報(例えば、時刻の情報や、フレーム番号等の情報等)と対応付けた情報を取得するようにしても良い。
【0037】
また、統計分析部14は、顔分析部13が、受講者画像の複数の時点について取得した分析結果について、顔分析部13が認識した顔ごとに、各分析項目別の分析結果の出現回数を集計して、集計結果と、認識した顔を識別する情報(例えば、認識した顔に割り当てられる識別情報)等とを対応付けた情報を統計結果として取得しても良い。これにより、受講者画像に認識された各受講者の顔の時系列の分析結果の変化を示す統計結果を取得することができる。
【0038】
また、顔分析部13は、分析項目別の分析結果の値を多変量として、クラスタ分析や多変量解析を行っても良い。
【0039】
また、統計分析部14は、例えば、顔ごとの分析項目の検出結果を数値に変換したものを加算した値、あるいは分析項目別に重み付けして加算した値を、認識された顔ごとの総合的な分析結果である特徴量として取得し、この特徴量を用いて平均値や分散や偏差値等を取得しても良い。
【0040】
なお、顔分析部13が取得した分析結果とは、後述する出力部17が図示しない記憶媒体等に蓄積した顔分析部13が取得した分析結果であっても良い。
【0041】
講義評価部15は、統計分析部14の統計分析の結果を用いて、講義の評価を行う。ここで行う講義の評価とは、例えば、講義に関連する評価である。講義評価部15が行う講義の評価は、例えば、講義の進め方や講義の内容に対する評価である。また、講義を受ける受講生に対する評価であっても良いし、講義を行う講師に対する評価であっても良い。例えば、講義の良い悪いを判断する評価や、講義が適切であるか否かを判断する評価や、講義の良さや適切さを、数値や指標で示すことである。あるいは、講義が分かりやすいか否かや、講義がおもしろいか否かや、講義の内容に集中しやすいか否か等の評価であっても良い。
【0042】
講義評価部15は、例えば、一の講義全体について統計分析部14により取得された統計分析の結果を用いて講義の評価を行う。例えば、一の講義全体についての統計分析結果(例えば、一の講義全体において集計された分析項目別の顔の検出数)が、予め指定された条件を満たすか否かを判断し、条件を満たす場合、予めこの条件に対応付けられて用意された評価結果を取得する。なお、条件を満たさない場合も、満たさない場合のために予め用意された評価結果を取得してもよい。この条件は、例えば、分析項目別に用意された、予め指定された分析項目の値が閾値を超える、あるいは閾値を超えないという条件である。あるいは、この条件は、複数の分類項目別に個別に用意された条件を全て満たす、あるいは満たさない、あるいはその一部だけを満たす等の条件であっても良い。
【0043】
また、講義評価部15は、例えば、受講生画像の各時点について、統計分析部14により取得された統計分析の結果が、予め指定された条件を満たすか否かを判断して、講義の評価を行ってもよい。例えば、受講生画像の各時点について統計分析部14が取得した各分析項目別の顔の検出数(あるいはこれを正規化した値)が、分析項目別に予め指定された閾値を超えるか否かを判断し、1以上の検出数が閾値を超える場合に、条件を満たすと判断して、この条件に対応付けられた評価結果を取得しても良い。
【0044】
また、講義評価部15は、上記のように取得した一の講義の受講生画像の各時点についての講義の評価結果を用いて、一の講義の評価結果を取得しても良い。例えば、一の講義の受講生画像の複数の時点についてそれぞれ取得した講義の評価結果の全て、あるいは一部が、予め指定された条件を満たす場合に、この条件に対応付けられた評価結果を、一の講義の評価結果として取得しても良い。例えば、複数の時点についてそれぞれ取得した講義の評価結果のなかに、予め指定された閾値以上の数の、予め指定された評価結果(例えば、生徒の興味が保たれているという評価結果)が含まれている場合、条件を満たすと判断して、この条件に対応付けられた「良質な講義」という評価結果を取得しても良い。あるいは、複数の講義の評価結果を用いて、複数の講義全体の評価結果を取得しても良い。
【0045】
どのような受講生画像についての統計分析の結果を、講義の評価に用いるかは、講義の評価目的等により適宜変更するようにしてよい。一の講義を評価する場合、評価に用いられる統計分析の結果は、例えば、一の講義において撮影された受講者画像から統計分析部14が取得した統計分析の結果である。また、一のテーマや、一の科目、一の学年、一のクラス等に対して行われた講義を評価する場合、例えば、一のテーマや、一の科目、一の学年、一のクラス等について行われた1以上(好ましくは複数)の講義において撮影された受講者画像から統計分析部14が取得した統計分析の結果が評価に用いられる。また、一の講師の講義の評価を行う場合、例えば、一の講師によって行われた1以上(好ましくは複数)の講義において撮影された受講者画像から統計分析部14が取得した統計分析の結果が評価に用いられる。
【0046】
なお、講義評価部15が講義の評価に用いる統計分析部14の統計分析の結果は、講述する出力部17が図示しない記憶媒体等に蓄積した統計分析部14が取得した統計分析結果であっても良い。
【0047】
指定受付部16は、顔分析部13が、時系列に沿った受講生の顔の複数の分析結果を取得する場合、後述する出力部17が出力する一の時点の顔の分析結果に対する指定を受け付ける。例えば、指定受付部16は、出力部17が時系列に沿って出力した顔の分析結果の1以上の指定を受け付ける。ここでの出力は、表示や図示しない記憶媒体への蓄積等である。分析結果の指定とは、分析結果の識別情報や、分析結果を示す画像等に対する指定であっても良い。ここでの受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。指定のための入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。指定受付部16は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【0048】
出力部17は、顔分析部13による分析結果に関連する情報を出力する。顔分析部13による分析結果に関連する情報は、例えば、顔分析部13が取得した分析結果の情報である。また、この分析結果の情報と、分析結果の取得対象となったフレーム画像等の取得された時点(例えば、時刻)の情報とを対応付けて有する情報であってもよい。また、顔分析部13による分析結果に関連する情報は、例えば、顔分析部13が取得した分析結果を用いて取得された情報であってもよい。例えば、出力部17は、顔分析部13による分析結果に関連する情報として、統計分析部14が取得した統計分析の結果を出力する。また、出力部17は、顔分析部13による分析結果に関連する情報として、講義評価部15の評価結果を出力する。
【0049】
また、出力部17は、顔分析部13が、時系列に沿った受講生の顔の複数の分析結果を取得する場合、顔分析部13の顔の分析結果を時系列に沿って出力するようにしてもよい。分析結果を時系列に沿って出力するということは、例えば、分析結果を時系列順に並べて出力することである。例えば、分析結果の取得対象となる受講生画像の時点の順番にあわせて、分析結果を配列して出力しても良い。あるいは、分析結果を時刻と対応付けて出力することも、時系列順の並びを容易に把握することができ、時系列順の並び替えも容易であることから、時系列に沿った出力と考えても良い。例えば、出力部17は、分析結果と、この分析結果の取得対象となる受講生画像の時点を識別する情報(例えば、分析結果の取得対象となる受講生画像のフレーム画像と対応付けられた時刻の情報や、フレーム画像の識別情報等)とを、対応付けて出力してもよい。また、特に出力が表示である場合、各分析結果の識別情報や、分析結果と対応付けられたリンクボタン等を、時間軸と対応付けて表示することも、分析結果を時系列に沿って出力することと考えても良い。
【0050】
また、出力部17は、顔分析部13が、時系列に沿った受講生の顔の複数の分析結果を取得する場合、指定受付部16が指定を受け付けた分析結果に対応する時点の受講生画像を出力する。例えば、出力部17は、指定受付部16が指定を受け付けた分析結果に対応する時点(例えば時刻)と対応付けられたフレーム画像を、受講生画像格納部12から読み出して出力する。あるいは、指定受付部16が指定を受け付けた分析結果に対応する時点の前後の期間の動画像を受講生画像から読み出して、指定を受け付けた分析結果に対応する時点の受講生画像として出力しても良い。なお、受講生画像(例えば、フレーム画像)を出力する際には、受講生画像の受講生の顔の部分を、受講生が識別できなくなるような表示態様とした受講生画像を、出力するようにしても良い。顔の部分を、受講生が識別できなくなるような表示態様にするということは、例えば、受講生画像の受講生の顔の部分に、単色の画像や、予め用意されているアイコン等の画像や、パターン画像等の、受講生の個々の顔とは無関係な画像を表示することや、受講生の顔の部分をマスク処理して顔を非表示とすることや、受講生の顔の部分の画像に対してモザイク処理やぼかし処理を行うことである。なお、受講生画像に含まれる受講生の顔の部分は、例えば、顔分析部13が、顔の分析を行う際に受講生画像について認識した顔の領域を示す情報(例えば、顔の輪郭の画素の座標や、顔を構成する画素の座標)を用いて検出しても良いし、出力部17が受講生画像を出力する際に、顔分析部13が、顔の分析を行う際の処理と同様に、受講生画像内の顔を認識することで検出しても良い。このようにすることで、受講生画像内の各受講生の顔が見分けられないようにして、受講生のプライバシーを保護することが可能となる。
【0051】
ここでの出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。また、ここで述べる出力とは、一時記憶も含む概念である。出力部17は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部17は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。なお、かかることは、以下の出力部においても同様である。
【0052】
次に、顔分析装置1の動作について図2のフローチャートを用いて説明する。なお、ここでは、予め、一の講義について撮影された受講生画像が、予め受講生画像格納部12に格納されているものとする。この受講生画像は、ここでは、一のファイルを構成する動画像であるとする。受講生画像の各フレーム画像には、タイムコードが対応付けられているものとする。
【0053】
(ステップS201)顔分析装置1は、図示しない受付部等を介して、受講生画像格納部12に格納されている一の受講生画像を分析する指示を受け付けたか否かを判断する。指示を受け付けた場合、ステップS202に進み、受け付けていない場合、ステップS201に戻る。
【0054】
(ステップS202)顔分析部13は、カウンターnに1を代入する。
【0055】
(ステップS203)顔分析部13は、受講生画像内に、分析対象となるn番目の時刻と対応付けられたフレーム画像が、分析対象となる受講生画像に存在するか否かを判断する。ここでのフレーム画像は連続したフレーム画像でなくてよい。例えば、撮影開始から5秒間隔で顔分析を順次行う場合、撮影開始からn×5秒後のタイムコードと対応付けられたフレーム画像が存在するか否かを判断する。フレーム画像がある場合、ステップS204に進み、ない場合、ステップS210に進む。
【0056】
(ステップS204)顔分析部13は、n番目の時刻と対応付けられたフレーム画像について、1以上の顔を順次認識する。顔分析部13は、例えば、認識した1以上の顔の輪郭を示す情報に対して、それぞれ、顔の識別情報を付与して、図示しない記憶媒体等に一時記憶する。
【0057】
(ステップS205)顔分析部13は、ステップS204で認識した各顔について分析を行う。例えば、ステップS204で認識した各顔ごとに、予め指定された分析項目についての分析を行い、分析結果を示す情報を取得する。顔の分析を行う際には、例えば、n番目の時刻と対応付けられたフレーム画像の前または後のフレーム画像を利用してもよい。
【0058】
(ステップS206)顔分析部13は、各顔の識別情報と、各顔についての分析結果と、分析態様となったフレーム画像に対応する時刻とを対応付けて、図示しない記憶媒体等に蓄積する。これにより、分析結果が時系列に沿って出力(ここでは、特に蓄積)される。この蓄積は、出力部17が行うようにしても良い。なお、顔分析部13は、n番目の時刻と対応付けられたフレーム画像について、顔を検出する処理を行い、一の顔を検出するごとに、その顔についてステップS205に示すような分析を行い、その分析結果を蓄積する処理を、新たな顔が検出できなくなるまで繰り返し行うようにしても良い。
【0059】
(ステップS207)統計分析部14は、n番目の時刻と対応付けられたフレーム画像に対する顔分析部13の分析結果を用いて、統計分析を行う。例えば、ステップS206で取得した各顔の分析結果について、分析結果が同じである顔の数を集計する。例えば、この集計値が、統計分析結果である。例えば、分析結果が同じものとは、例えば、分析項目と、その分析項目について得られた分析値が同じものである。なお、一の顔に関して複数の分析結果が得られている場合、一部の分析結果が同じものを優先的に集計するようにしても良い。あるいは、この一の顔を、それぞれの分析結果の集計において重複してカウントしても良い。なお、ここでは、フレーム画像ごとに統計分析を行うが、複数のフレーム画像に対する顔分析部13の分析結果を用いて、ステップS210の直前等に、複数のフレーム画像についてそれぞれ上記と同様の統計分析を行っても良い。
【0060】
(ステップS208)統計分析部14は、ステップS207で取得した統計分析結果を、n番目の時刻と対応付けて図示しない記憶媒体等に蓄積する。この蓄積は、出力部17が行うようにしても良い。
【0061】
(ステップS209)顔分析部13は、カウンターnの値を1インクリメントする。そして、ステップS203に戻る。
【0062】
(ステップS210)講義評価部15は、ステップS208で蓄積された統計分析結果を用いて、上述した一の受講生画像に対応する講義の評価を行う。例えば、ステップS208で蓄積された統計分析結果の中に、予め指定された条件を満たす統計分析結果が存在する場合、この条件に予め対応付けられた講義の評価を示す情報を取得する。例えば、各時刻に対応した統計分析結果が、横を向いている受講生の顔の集計数であり、予め指定された条件が、横を向いている受講生の顔の数が予め指定された数以上の統計分析結果が、予め指定された数以上検出されるという条件であり、この条件に対応した講義の評価が、「集中力が保たれていない」という評価であるとすると、ステップS208で蓄積された統計分析結果が、この条件を満たす場合、「集中力が保たれていない」という講義の評価結果が得られる。なお、ここでは、異なる複数の評価を行っても良い。なお、横を向いている受講生の顔の数が予め指定された数以上の統計分析結果を集計する処理を、統計分析部14が行うようにしても良い。
【0063】
(ステップS211)講義評価部15は、評価結果を、講義の識別情報や、受講生画像等と対応付けて、図示しない記憶媒体等に蓄積する。この蓄積は、出力部17が行うようにしても良い。
【0064】
(ステップS212)出力部17は、ステップS208で蓄積した統計分析結果と、ステップS211で蓄積した評価結果とを表示する。
【0065】
(ステップS213)出力部17は、ステップS206で蓄積した顔分析部13が取得した分析結果を表示するか否かを判断する。例えば、図示しない受付部等を介して、分析結果を表示する指示を受け付けたか否かを判断する。分析結果を表示する場合、ステップS214に進み、表示しない場合、ステップS219に進む。
【0066】
(ステップS214)出力部17は、ステップS206で蓄積した分析結果を表示する。
【0067】
(ステップS215)指定受付部16は、図示しない受付部等を介して、一の分析結果の指定を受け付けたか否かを判断する。ここでの一の分析結果とは、例えば、一の時刻に対応付けられた分析結果である。受け付けた場合、ステップS216に進み、受け付けていない場合、ステップS220に進む。
【0068】
(ステップS216)出力部17は、ステップS215で指定された分析結果に対応する時刻と同じ時刻のフレーム画像を受講生画像から取得する。
【0069】
(ステップS217)出力部17は、ステップS216で取得したフレーム画像を表示する。なお、出力部17は、受講生画像のステップS216で取得したフレーム画像以降のフレーム画像を連続再生するようにしても良い。つまり、ステップS216で取得したフレーム画像から動画像を再生してもよい。なお、動画像を再生する場合等においては、ステップS216で出力部17が取得するフレーム画像は、ステップS215で指定された分析結果に対応する時刻の1フレーム前または1フレーム後のフレーム画像であっても良いし、ステップS215で指定された分析結果に対応する時刻に対して、予め指定され時刻を隔てた前後の時刻のフレーム画像であってもよい。また、一のフレーム画像あるいは連続したフレーム画像を出力する際には、各フレーム画像の受講生の顔の部分を、受講生が識別できなくなるような表示態様としたフレーム画像を、出力するようにしても良い。
【0070】
(ステップS218)出力部17は、フレーム画像の表示を終了するか否かを判断する。例えば、図示しない受付部等を介して表示を終了する操作を受け付けた場合に、表示を終了することを判断する。表示を終了する場合、表示を終了してステップS215に戻り、表示を終了しない場合、ステップS218に戻る。
【0071】
(ステップS219)出力部17は、評価結果と統計分析の結果との表示を終了するか否かを判断する。例えば、図示しない受付部等を介して表示を終了する操作を受け付けた場合に、表示を終了することを判断する。表示を終了する場合、表示を終了してステップS212に戻り、表示を終了しない場合、ステップS215に戻る。
【0072】
(ステップS220)出力部17は、顔分析部13が取得した分析結果の表示を終了するか否かを判断する。例えば、図示しない受付部等を介して表示を終了する操作を受け付けた場合に、表示を終了することを判断する。表示を終了する場合、表示を終了してステップS201に戻り、表示を終了しない場合、ステップS213に戻る。
【0073】
なお、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0074】
以下、本実施の形態における顔分析装置1の具体的な動作について一例を示して説明する。
【0075】
図3は、受講生画像格納部12に格納されている受講生画像を構成するフレーム画像の一部を模式的に示す図である。この受講生画像は、一の講義に参加している受講生全体を、講師側から第一撮影部11を用いて撮影した動画像であるとする。この受講生画像は、一のファイルで構成されるものとする。ここでは、説明のため、各フレーム画像の下部に、各フレーム画像に対応付けられたタイムコードを示している。タイムコードは、各フレーム画像が撮影された時刻を「時:分:秒.フレーム」で表している。
【0076】
ユーザが、マウスやキーボード等の図示しない入力デバイス等を操作して、図3に示した受講生画像の分析を行う指示を顔分析装置1に与えたとする。なお、ここでは、予め1秒間隔のフレーム画像に対して、顔分析の処理を行うことが予め設定されているものとする。
【0077】
顔分析部13は、まず、受講生画像の最初のフレーム画像(撮影開始時のフレーム画像)であるタイムコード「10:30:00:01」と対応付けられたフレーム画像を読み出す。そして、読み出したフレーム画像内において、顔を認識する処理を行う。
【0078】
図4は、顔分析部13によって顔が認識された状態のフレーム画像を示す模式図である。図において、点線で囲んだ領域401〜430が、それぞれ認識された顔の領域であるとする。なお、この図で示す顔の表情や向き、視線方向やまばたきの状況等は、模式的なものであって、必ずしも顔の表情や向き、視線方向やまばたきの状況等を正確に示したものでないものとする。かかることは以下においても同様である。
【0079】
顔認識処理によって、図4に示すように、フレーム画像内に複数の顔が認識される。顔分析部13は、認識した顔の領域401〜430の輪郭を示す情報に、それぞれ顔を識別するための識別情報である顔IDを対応付けて、図示しない記憶媒体等に蓄積する。輪郭を示す情報は、例えば、フレーム画像内における輪郭を構成する画素の座標群であるとする。ここでは、例えば、領域401〜430には、それぞれ顔IDとして「ID401」〜「ID430」が対応付けられるものとする。
【0080】
顔分析部13は、上記で認識した各顔について、順次、分析を行う。まず、顔IDが「ID401」の顔(即ち、領域401の顔)についての分析を行う。ここでは、例えば、顔の表情が笑っている顔であるか否かの分析項目と、視線方向が正面(講師側)を向いているか否かの分析項目と、顔の方向が正面(講師側)を向いているか否かの分析項目と、まばたきの有無の分析項目とについてそれぞれ分析を行う。なお、これらの分析処理は公知の技術であるので、具体的な説明は省略する。なお、各分析においては、必要に応じて、分析対象となっているフレーム画像の前または後の1以上のフレーム画像を受講生画像から読み出して、読み出したフレーム画像の領域401内の画像またはその周辺の画像を利用してもよい。
【0081】
顔分析部13は、顔IDが「ID401」の顔についての分析結果を、タイムコード「10:30:10:01」と、顔ID「ID401」と対応付けて、図示しない記憶媒体に蓄積する。
【0082】
顔分析部13は、顔IDが「ID402」〜「ID430」である顔についても同様の処理を行う。
【0083】
図5は、顔分析部13が取得して図示しない記憶媒体に蓄積した、顔分析の分析結果を示す情報を管理する顔分析結果管理表である。顔分析結果管理表は、「時刻」、「顔ID」、「表情」、「視線方向」、「顔方向」、および「まばたき」という項目を有している。「時刻」は、受講生画像の分析対象となるフレーム画像の時刻であり、ここでは、フレーム画像のタイムコードである。「顔ID」は、上述した顔IDである。「表情」は、受講生の顔の表情の分析結果であり、ここでは、値「スマイル」は、顔が笑っていることを示し、空欄は、顔が笑っていないことを示す。「視線方向」は、受講生の顔の視線方向の分析結果であり、ここでは、値「正面」は、視線方向が正面を向いていることを示し、空欄は正面を向いていないことを示す。「顔方向」は受講生の顔の方向の分析結果であり、値「正面」は、顔が正面を向いていることを示し、空欄は正面を向いていないことを示す。「まばたき」は、受講生が目を閉じているか否かの分析結果であり、値「閉」は、目を閉じている状態であることを示し、空欄は、目が開いていることを示す。
【0084】
統計分析部14は、図5に示したような、タイムコード「10:30:00:01」と対応付けられたフレーム画像に対する顔分析部13による顔の分析結果を用いて、統計分析を行う。ここでは、統計分析部14は、タイムコードが「10:30:00:01」であるフレーム画像について、「表情」が「スマイル」である顔の数、「視線方向」が「正面」である顔の数、「顔方向」が「正面」である顔の数、および「まばたき」が「閉」である顔の数の集計をそれぞれ行う。つまり、分析項目別に集計を行う。そして、これらの集計結果を、認識した顔の総数「30」で除算して、各分析項目別の顔が出現する比率を取得する。なお、比率を算出する代わりに、分散等を算出しても良い。そして、統計分析部14は、取得した分析項目別の比率を、統計分析結果として、タイムコード「10:30:00:01」と対応付けて図示しない記憶媒体に蓄積する。
【0085】
顔分析部13は、更に、上記で読み出したフレーム画像の1秒経過後の時刻に対応するタイムコード「10:30:01:01」が対応付けられたフレーム画像を読み出して、上記と同様に、顔を認識する処理を行い、認識した顔について、上記と同様の分析を行い、分析結果を図示しない記憶媒体に追記する。これにより、「時刻」が「10:30:01:01」と対応付けられた分析結果のレコードが、図5に示した顔分析結果管理表に追加される。なお、ここでは、例として、認識した顔のうちの、直前に認識した顔とほぼ同じ位置にある顔に対しては、直前に認識した顔と同じ顔IDを割り当てる。ほぼ同じ位置にある顔とは、例えば、領域に含まれる画素の座標が所定数以上(例えば、半分以上)一致する顔である。
【0086】
更に、この分析結果を用いて、統計分析部14は、上記と同様に分析項目別に統計分析を行い、統計分析結果を蓄積する。
【0087】
顔分析部13および統計分析部14は、さらに、上記の処理を受講生画像内に一秒後のフレーム画像がなくなるまで、順次繰り返す。
【0088】
図6は、統計分析部14が取得して蓄積した統計分析結果を管理する統計分析結果管理表を示す図である。統計分析結果管理表は、「時刻」、「表情(スマイル)」、「視線(正面) 顔方向(正面)」、「まばたき(閉)」という項目を有している。「時刻」分析対象となるフレーム画像の時刻であり、ここでは、フレーム画像のタイムコードである。「表情(スマイル)」は、顔の分析結果のうちの、分析項目「表情」の値が「スマイル」である顔の比率(%)、「視線(正面)」は、顔の分析結果のうちの、分析項目「視線方向」の値が「正面」である顔の比率(%)、「顔方向(正面)」は、顔の分析結果のうちの、分析項目「顔方向」の値が「正面」である顔の比率(%)、「まばたき(閉)」は、顔の分析結果のうちの、分析項目「まばたき」の値が「閉」である顔の比率(%)である。
【0089】
次に、講義評価部15は、統計分析部14が取得した統計分析結果を用いて、受講生画像に対応する講義の評価を行う。ここでは、例えば、講義の評価を行うための条件として、『「視線(正面)」の比率が、「70%以上」である時刻が、顔分析を行った時刻のうちの「80%」を超える』という条件が、予め図示しない記憶媒体に格納されており、この条件を満たした場合の講義の評価を示す値として「集中度の高い講義」という値が、この条件と対応付けて図示しない記憶媒体に格納されているとする。ここでの時刻は、分析対象となった各フレーム画像と考えても良いし、図6に示した統計分析結果管理表の各レコードと考えても良い。
【0090】
講義評価部15は、まず、上記の条件を読み出す。次に、図6に示した統計分析結果管理表において、「視線(正面)」の比率が、「70%以上」であるレコードの数をカウントする。例えば、カウント数が「1752」であったとする。また、講義評価部15は、図6に示した統計分析結果管理表の総レコード数を取得する。例えば、総レコード数は、「2386」であったとする。講義評価部15は、視線(正面)」の比率が、「70%以上」であるレコードのカウント数「1752」を、総レコード数「2382」で除算して、「視線(正面)」の比率「73.6(%)」を取得する。そして、取得した比率が「70%以上」であるか否かを判断する。ここでは70%以上であるので、「集中度の高い講義」という評価結果を取得する。なお、70%未満の場合、「集中度が高くない講義」という評価結果を取得するようにしても良い。取得した評価結果は、例えば、受講生画像のファイル名等と対応付けて、図示しない記憶媒体等に蓄積する。
【0091】
出力部17は、統計分析部14が取得した統計分析結果と、講義評価部15が取得した評価結果をモニタ等に表示する。
【0092】
図7は、統計分析結果と講義の評価結果との表示例を示す図である。なお、統計分析結果または講義の評価結果がモニタの表示領域に入りきらない場合は、スクロールバー等を示して、このスクロールバーの操作によって入りきらない部分が適宜表示されるようにしても良い。かかることは、以下においても同様である。
【0093】
ここで、図示しない受付部等を介して、顔分析部13が取得した顔の分析結果を表示する指示を受け付けたとすると、出力部17は、図5に示した顔分析結果管理表で管理されている顔分析部13が取得した時系列に沿った顔の分析結果を、モニタ等に表示する。例えば、出力部17は、分析結果を時系列に沿って並べて表示する。
【0094】
図8は、顔の分析結果の表示例を示す図である。なお、この顔の分析結果の表示画面において、各分析結果の「時刻」の文字列には、ここでは、一例として、各分析結果に対する指定を受け付けたか否かを判定するための判定領域等(図示せず)が設けられているものとする。
【0095】
次に、ユーザが、マウス等の入力デバイス等を操作して、図8に示した画面において、一の時刻「10:30:02.01」の文字列上を押したとすると、指定受付部16は、この時刻に対応した顔の分析結果に対する指定を受け付ける。そして、指定受付部16がこの指定を受け付けると、出力部17は、この分析結果に対応する時点の受講生画像を、受講生画像格納部12から読み出す。ここでは、指定を受け付けた分析結果の時刻「10:30:02.01」と同じ時刻に対応付けられたフレーム画像を、受講生画像から読み出す。そして、出力部17は、読み出したフレーム画像をモニタに表示する。なお、フレーム画像を出力する際に、出力部17は、フレーム画像の受講生の顔の部分を、受講生が識別できなくなるような表示態様としたフレーム画像を出力するようにしてもよい。このようにすることで、受講生の顔が見分けられないようにして、受講生のプライバシーを保護することが可能となる。なお、出力部17は、例えば、顔分析部13が、フレーム画像に対して、顔認識処理において図4に示すように認識して図示しない記憶媒体に蓄積した各顔の領域401〜430の輪郭を示す情報を読み出して、表示態様を変更する対象となるフレーム画像内の顔の部分を検出する。あるいは、顔分析部13が、出力部17が出力するフレーム画像に対して、新たに検出した顔の部分を、出力部17が、表示態様の変更対象としてもよい。
【0096】
図9は、指定受付部16が指定を受け付けた顔の分析結果に対応するフレーム画像の表示例を示す図である。
【0097】
以上、本実施の形態によれば、講義中の1以上の受講生の顔を自動認識して分析したり、この分析結果を統計分析したり、この統計分析の結果から、講義の評価等を行うことができ、講義に関する適切な分析を行うことができる。
【0098】
なお、上記実施の形態においては、統計分析部14は、各フレーム画像について、顔の分析結果の統計分析を行うようにしたが、各顔についての、時系列に沿った表情や、視線方向や、顔方向や、まばたき等の分析結果の変化を示す情報を、統計分析の結果を示す情報として取得しても良い。また、このような時系列に沿った分析結果が、数値等の変化で示されるものである場合、更に、フーリエ変換等を行ったものを統計分析の結果として取得しても良い。これにより、各顔に対応した受講生の受講時の状況を、周波数成分等の数値として表すことが可能となる。また、一の顔について検出した上記のようなまばたきの情報が、「閉」であると分析されたフレーム画像が、予め指定された時間以上(例えば一分以上)連続した場合に、この顔に対応する受講生が、居眠りをしていたと判断するようにしても良い。予め指定された時間は、例えば、通常のまばたきにおいてまぶたが閉じられると考えられる最大の時間以上の時間である。
【0099】
(実施の形態2)
本実施の形態2にかかる顔分析装置2は、上記実施の形態1の顔分析装置1において、講義中の講師の画像や、講師の音声情報を、受講生の顔の分析や、顔の分析結果の統計分析や、講義の評価等に利用するようにしたものである。
【0100】
図10は、本実施の形態における顔分析装置2のブロック図である。
【0101】
顔分析装置2は、第一撮影部11、受講生画像格納部12、第二撮影部21、音声取得部22、講師情報格納部23、変化検出部24、顔分析部25、関連統計分析部26、関連講義評価部27、出力部28を備える。
【0102】
第一撮影部11、受講生画像格納部12については、上記実施の形態1と同様であるので、ここでは詳細な説明を省略する。
【0103】
第二撮影部21は、講義中の講師を撮影して、講義中の講師の動画像を取得する。講師とは講義を行う者である。講師は、通常は一人であるが、複数人であっても良い。講師を撮影するということは、例えば、講師の動きが分かるような動画像を取得することである。例えば、第二撮影部21は、講師の全体や、上半身を撮影した動画像を取得する。第二撮影部21や、第二撮影部21が取得する動画像は、撮影対象が異なる点を除けば、上述した第一撮影部11と同様の構成を有するものであり、ここでは詳細な説明は省略する。第二撮影部21は、例えば、取得した動画像を、後述する講師情報として、あるいはその一部として、講師情報格納部23に蓄積する。
【0104】
音声取得部22は、講義中の講師の音声の情報(例えば、講師の発する音声の情報)を取得する。音声取得部22は、例えば、音声を、音声が取得されたタイミング(例えば時刻)と対応付けた情報を取得する。音声取得部22は、例えば、取得した音声情報を、後述する講師情報の一部として、講師情報格納部23に蓄積する。講師音声情報のファイル形式や圧縮方式等は、問わない。なお、音声取得部22または第二撮影部21のいずれかが、音声取得部22が取得した音声と、第二撮影部21が取得した動画像と、同期がとれるよう対応付けた講師情報を、講師情報格納部23に蓄積するようにしても良い。音声取得部22は、例えば、マイクにより実現される。なお、第二撮影部21と音声取得部22は、一のビデオカメラの撮影部(カメラ部)と、音声取得部(マイク)であっても良い。
【0105】
講師情報格納部23には、講師情報が格納される。講師情報は、講師画像または講師音声情報の少なくとも一方を含む情報である。講師画像は、講義中の講師を撮影した動画像である。例えば、第二撮影部21が取得した動画像である。講師音声画像は、講義中の講師の音声の情報である。例えば、音声取得部22が取得した講師の音声の情報である。講師画像は、撮影対象が異なる点を除けば、受講生画像と同様の情報である。講師音声画像は、例えば、時系列と対応付けられた情報である。例えば、講師画像が、タイムコード等と対応付けられており、講師音声情報がこの講師画像と同期付けられて講師情報格納部23に格納されていても良い。なお、ここでの格納は、一時記憶も含む概念である。
【0106】
変化検出部24は、講師情報の変化の検出を行う。例えば、変化検出部24は、講師情報から、予め指定されている所定の変化を検出する。変化検出部24は、変化が検出された時点を特定する情報(例えば、変化が検出された時刻)を検出結果として取得するようにしても良い。講師情報の変換の検出は、講師情報に含まれる講師画像の変化の検出、または、講師情報に含まれる講師音声情報の変化の検出のいずれか、またはその両方である。変化検出部24は、例えば、予め指定された条件を満たす変化を検出する。予め指定されている条件とは、変化の検出対象が講師画像である場合、例えば、動きの有無や、予め指定されている動きの大きさ以上の動きである。また、変化の検出対象が講師音声情報である場合、予め指定されている条件とは、例えば、予め指定されたレベル以上の音声出力である。変化検出部24は、検出した変化の内容(例えば種別等)を示す情報や、変化量を示す情報を検出結果として取得しても良い。
【0107】
変化検出部24は、例えば、講師情報に含まれる講師画像について、フレーム画像の画素の比較等を行うことで動きベクトル検出を行って、動きの有無や、予め指定されている閾値以上の動きベクトルの検出を行う。予め指定されている閾値以上の動き(例えば、閾値以上の距離の変化)が検出された場合、動きが検出されたと判断する。また、講師情報に含まれる講師画像について、顔分析部25と同様に、講師の顔を検出したり、講師の手等を検出して、検出した部分の動きベクトル検出等を行うことで、動きの有無や、予め指定されている閾値以上の動きの検出を行う。
【0108】
また、変化検出部24は、例えば、講師情報に含まれる講師音声情報における音声のレベルの変化によって、講師情報の変化を検出する。例えば、変化検出部24は、講師音声情報に、予め指定された閾値以上のレベルの出力を検出した場合に、講師情報の変化を検出したと判断する。また、講師音声情報のSN比の値が、閾値以上となった場合に、講師情報の変化を検出しても良い。また、講師音声情報の発声速度を検出し、その発声速度が、予め指定された閾値を超える場合に、講師情報の変化を検出しても良い。発声速度を検出する技術は、例えば、特願平7−307897号公報等に開示されている。
【0109】
顔分析部25は、受講生画像から受講生の顔を認識して、この認識した顔に対する分析を行う。この実施の形態においては、特に、顔分析部23は、変化検出部24が変化を検出した時点直後に取得された受講生画像に対する顔の分析結果を取得する。ここでの直後については、上記実施の形態1において説明した直後と同様の意味である。顔分析部25が、受講生画像に対して行う顔の認識処理や分析処理等については、上記実施の形態1の顔分析装置13と同様であるが、顔分析部25は、受講生画像(具体的にはフレーム画像)が、後述する変化検出部24が講師情報に変化を検出した時点直後に取得された受講生画像(フレーム画像)について、1以上の受講生の顔の分析結果を取得する点が、上記実施の形態1の顔分析部13とは異なる。なお、変化を検出した時点直後に取得された受講生画像(フレーム画像)について受講生の顔の分析結果を取得するということは、顔分析部25が、後述する変化検出部24が講師情報に変化を検出した時点直後に取得された受講生画像に対して顔に対する分析を行って分析結果を取得することであっても良いし、顔分析部25が、受講生画像の異なる複数の時点(時刻)において取得した顔の分析結果の中から、講師情報に変化を検出した時点の直後に取得された分析結果を取得すること、もしくはこれに相当する処理を行うことであっても良い。変化を検出した時点直後とは、例えば、変化を検出した時点(例えば、時刻)から、予め指定された時間だけ経過した時点である。予め指定された時間やフレーム数を隔てた時点と考えても良い。この経過時間は、講師の動きの変化や音声の変化と、それに応じた受講生の表情等の変化との間のタイムラグを考慮するためのものである。この経過時間は、例えば、5秒以下の時間である。この経過時間は、例えば、予め、実験結果等に基づいて取得してもよい。ただし、変化を検出した時点の時刻であっても良いし、変化を検出した時点の次の時刻(例えば、次のフレーム画像)と考えても良い。変化を検出した時点直後とは、変化を検出した以降の、変化を検出した時点の周辺の時刻と考えても良い。かかることは、以下においても同様である。なお、ここでの時間は、フレーム数と考えても良い。また、変化を検出した時点直後は、変化を検出した時点直後の予め指定された長さの期間と考えても良い。顔分析部25は、例えば、変化検出部24が講師情報に変化を検出した時刻から、予め指定された秒数だけ経過した時刻のフレーム画像について行われた顔に対する分析結果を取得する。なお、分析の際には、その前後のフレーム画像等を適宜利用して良い。
【0110】
関連統計分析部26は、変化検出部24が変化を検出した時点直後に取得された受講生画像に対する顔分析部25の分析結果を用いて、予め指定された統計分析を行う。予め指定された統計分析は、どのような統計分析であってもよい。例えば、関連統計分析部26が行う予め指定された統計分析は、統計分析部14が行う統計分析と同様の統計分析であって、統計分析に用いられる分析結果を、変化検出部24が変化を検出した時点直後に取得された受講生画像に対して顔分析部25が取得した分析結果としたものである。また、予め指定された統計分析は、変化検出部24が検出した変化の対象を示す情報や、変化の内容を示す情報と、顔分析部25の分析結果とを関連付けた統計分析であってもよい。変化の対象とは、変化検出部24が変化を検出した対象であり、例えば、講師画像や講師音声情報である。また、変化の内容を示す情報とは、変化検出部24が検出した変化の内容を示す情報であり、例えば、講師が手を挙げたという変化を示す情報や、講師が横に動いたという変化等を示す情報である。また、講師音声情報が、予め指定されたレベル以上の音声となったという変化等を示す情報でもよい。変化が検出された複数の時点のそれぞれの直後に取得された受講生画像のフレーム画像に対する顔分析部25の分析結果を、上記の統計分析部14と同様に分析項目別に集計したものを、更に、変化検出部24が検出した変化の対象や変化の内容別に集計したものであってもよい。
【0111】
関連講義評価部27は、関連統計分析部26の統計分析の結果を用いて、講義の評価を行う。ここで行う講義の評価とは、例えば、講義に関連する評価である。関連講義評価部27が行う評価は、講義評価部15が行う評価と同様に、例えば、講義の進め方や講義の内容に対する評価である。
【0112】
関連講義評価部27は、例えば、関連統計分析部26が取得する統計分析の結果(以下、関連統計分析結果と称す)に含まれる、関連統計分析部26が行った統計分析の結果から講義の評価結果を取得しても良いし、関連統計分析結果に含まれる変化検出部24が検出した変化の内容と、関連統計分析部26が行った統計分析の結果との組合せから、講義の評価結果を取得してもよい。
【0113】
関連講義評価部27は、例えば、一の講義を撮影した受講生画像から関連統計分析部26が取得した関連統計分析結果が、例えば、予め指定された条件を満たすか否かを判断し、条件を満たす場合、予めこの条件に対応付けられて用意された講義の評価結果を取得する。なお、条件を満たさない場合も、満たさない場合のために予め用意された評価結果を取得してもよい。この条件は、例えば、予め指定された分析項目の値が、分析項目別に用意された閾値を超える、あるいは閾値を超えないという条件である。あるいは、この条件は、複数の分類項目別に個別に用意された条件を全て満たす、あるいは満たさない、あるいはその一部だけを満たす等の条件であっても良い
【0114】
関連講義評価部27は、例えば、関連統計分析結果に含まれる変化検出部24が検出した変化の内容と、関連統計分析部26が行った統計分析の結果との組合せが、予め指定された条件を満たすか否かを判断し、条件を満たす場合、予めこの条件に対応付けられて用意された講義の評価結果を取得する。例えば、講師情報に含まれる講師音声情報のレベルが、予め指定された閾値以上である1以上の時点の直後の受講生画像からそれぞれ検出した、笑っている顔の数を集計し、この集計数が、予め指定した閾値以上である場合、講師のしゃべった言葉に対して、笑っている受講生が多いと考えられることから、予めこの条件と対応付けられた「関心が持続する講義」という評価結果を取得しても良い。この場合は、例えば、講師の喋った言葉に対して、笑っている受講生が多いと考えられることから、受講生が講義を関心を持って聴講していると考えられるからである。
【0115】
また、関連講義評価部27は、例えば、変化検出部24が変化を検出した各時点の受講生画像について、関連統計分析部26により取得された統計分析の結果を用いて講義の評価を行ってもよい。例えば、関連講義評価部27は、講師情報に予め指定された変化が検出された各時点について関連統計分析部26が取得した1以上の分析項目別の顔の検出数(あるいはこれを正規化した値)が、分析項目別に予め指定された閾値を超えるか否かを判断し、超えた場合に、条件を満たすと判断して、この条件に対応付けられた評価結果を取得しても良い。
【0116】
また、関連講義評価部27は、上記のように取得した一の講義の受講生画像の各時点についての講義の評価結果を用いて、一の講義の評価結果を取得しても良い。例えば、一の講義の受講生画像の複数の時点についてそれぞれ取得した講義の評価結果の全て、あるいは一部が、予め指定された条件を満たす場合に、この条件に対応付けられた評価結果を、一の講義の評価結果として取得しても良い。例えば、複数の時点についてそれぞれ取得した講義の評価結果のなかに、予め指定された閾値以上の数の、予め指定された評価結果(例えば、生徒の興味が保たれているという評価結果)が含まれている場合、条件を満たすと判断して、この条件に対応付けられた「良質な講義」という評価結果を取得しても良い。あるいは、複数の講義の評価結果を用いて、複数の講義全体の評価結果を取得しても良い。
【0117】
関連講義評価部27が、どのような受講生画像についての統計分析の結果を、講義の評価に用いるかは、講義評価部15と同様に、講義の評価目的等により適宜変更するようにしてよい。
【0118】
なお、関連講義評価部27が講義の評価に用いる関連統計分析部26の統計分析の結果は、関連統計分析部26が取得して、後述する出力部28が図示しない記憶媒体等に蓄積した統計分析の結果であっても良い。
【0119】
出力部28は、顔分析部25による分析結果に関連する情報を出力する。本実施の形態においては、特に、出力部28は、変化検出部24が変化を検出した時点直後に取得された受講生画像に対する顔分析部25による分析結果に関連する情報を出力する。ここでの分析結果に関連する情報は、例えば、変化検出部24が変化を検出した時点直後の受講生画像に対して顔分析部25が取得した分析結果の情報である。また、変化検出部24が変化を検出した時点直後の受講生画像に対して顔分析部25が取得した分析結果の情報と、この分析結果の情報に対応する変化検出部24が検出した講師情報の変化の内容等を示す情報、または、この分析結果の取得対象となったフレーム画像等の取得された時点(例えば、時刻)の情報の少なくとも一方とを有する情報であっても良い。また、ここでの顔分析部25による分析結果に関連する情報は、変化検出部24が変化を検出した時点直後に顔分析部25が取得した分析結果を用いて取得された情報であっても良い。例えば、出力部28は、ここでの分析結果に関連する情報として、関連統計分析部26が取得した統計分析の結果を出力してもよい。また、出力部28は、顔分析部25による分析結果に関連する情報として、関連講義評価部27が取得した評価結果を出力してもよい。
【0120】
また、出力部28は、分析結果に関連する情報として、変化検出部24が検出した講師情報の変化の内容等を示す情報を更に出力しても良い。
【0121】
また、出力部28は、上記実施の形態1の出力部17と同様に、顔分析部25が、時系列に沿った受講生の顔の複数の分析結果を取得する場合、顔分析部25の顔の分析結果を時系列に沿って出力するようにしてもよい。
【0122】
次に、顔分析装置2の動作について図11のフローチャートを用いて説明する。なお、ここでは、予め、一の講義について撮影された受講生画像と、講師画像および講師音声情報を有する講師情報とが、予め受講生画像格納部12と、講師情報格納部23にそれぞれ格納されているものとする。受講生画像および講師画像の各フレーム画像には、タイムコードが対応付けられているものとする。また、講師情報においては、講師画像と、講師音声画像とは同期付けられているものとする。
【0123】
(ステップS1101)顔分析装置2は、図示しない受付部等を介して、受講生画像格納部12に格納されている一の受講生画像を分析する指示を受け付けたか否かを判断する。指示を受け付けた場合、ステップS1102に進み、受け付けていない場合、ステップS1101に戻る。
【0124】
(ステップS1102)変化検出部17は、講師画像から変化の箇所を検出する処理を行う。例えば、講師画像の先頭のフレーム画像から順番に変化の箇所の検出を行う。
【0125】
(ステップS1103)変化検出部17は、一の変化の箇所が検出されたか否かを判断する。検出された場合、ステップS1104に進み、検出されなかった場合、ステップS1105に進む。
【0126】
(ステップS1104)変化検出部17は、検出した変化の内容と変化が検出されたフレーム画像に対応する時刻とを対応付けて、図示しない記憶媒体等に蓄積する。そして、ステップS1102に戻る。
【0127】
(ステップS1105)変化検出部17は、講師画像に、変化の検出処理が行われていない残りのフレーム画像があるか否かを判断する。ある場合、ステップS1102に戻り、ない場合、ステップS1106に進む。
【0128】
(ステップS1106)変化検出部17は、講師音声情報から変化の箇所を検出する。例えば、講師音声情報の先頭から、予め指定されたレベル以上の出力の箇所を変換箇所として検出する処理を行う。
【0129】
(ステップS1107)変化検出部17は、講師音声情報に変化の箇所が検出されたか否かを判断する。変化の箇所が検出された場合、ステップS1108に進み、検出されなかった場合、ステップS1109に進む。
【0130】
(ステップS1108)変化検出部17は、変化の内容を示す情報(例えば閾値を超えるレベルの音声が検出されたこと)を示す情報と、変化が検出された時刻とを対応付けて、図示しない記憶媒体等に蓄積する。
【0131】
(ステップS1109)変化検出部17は、変化の検出が行われていない残りの講師音声情報があるか否かを判断する。残りがある場合、ステップS1106に戻り、残りがない場合、ステップS1110に進む。
【0132】
(ステップS1110)顔分析部25は、カウンターmに1を代入する。
【0133】
(ステップS1111)顔分析部25は、ステップS1104およびステップS1108で蓄積された変化が検出された時刻の中に、m番目の時刻があるか否かを判断する。m番目の時刻がある場合、ステップS1112に進み、ない場合、ステップS1118に進む。
【0134】
(ステップS1112)顔分析部25は、m番目の時刻に対応する受講生画像のフレーム画像について、1以上の顔を順次認識する。顔分析部25は、例えば、認識した1以上の顔の輪郭を示す情報に対して、それぞれ、顔の識別情報を付与して、図示しない記憶媒体等に一時記憶する。
【0135】
(ステップS1113)顔分析部25は、ステップS1112で認識した各顔について分析を行う。例えば、ステップS1112で認識した各顔ごとに、予め指定された分析項目についての分析を行い、分析結果を示す情報を取得する。顔の分析を行う際には、例えば、m番目の時刻と対応付けられたフレーム画像の前または後のフレーム画像を利用してもよい。
【0136】
(ステップS1114)顔分析部25は、各顔の識別情報と、各顔についての分析結果と、分析態様となったフレーム画像に対応する時刻とを対応付けて、図示しない記憶媒体等に蓄積する。これにより、分析結果が時系列に沿って出力(ここでは、特に蓄積)される。この蓄積は、出力部28が行うようにしても良い。なお、顔分析部25は、n番目の時刻と対応付けられたフレーム画像について、顔を検出する処理を行い、一の顔を検出するごとに、その顔についてステップS1113に示すような分析を行い、その分析結果を蓄積する処理を、新たな顔が検出できなくなるまで繰り返し行うようにしても良い。
【0137】
(ステップS1115)関連統計分析部26は、m番目の時刻と対応付けられたフレーム画像に対する顔分析部25の分析結果を用いて、統計分析を行う。例えば、ステップS1113で取得した各顔の分析結果について、分析結果が同じである顔の数を集計する。例えば、この集計値と、このフレーム画像に対応する時刻と対応付けられて蓄積されている変化の内容を示す情報とを対応付けた情報が、ここでは、統計分析結果の一例である。例えば、分析結果が同じものとは、例えば、分析項目と、その分析項目について得られた分析値が同じものである。なお、一の顔に関して複数の分析結果が得られている場合、一部の分析結果が同じものを優先的に集計するようにしても良い。
【0138】
(ステップS1116)統計分析部20は、ステップS1107で取得した統計分析の結果である関連統計分析結果を、m番目の時刻と対応付けて図示しない記憶媒体等に蓄積する。この蓄積は、出力部28が行うようにしても良い。
【0139】
(ステップS1117)顔分析部25は、カウンターmの値を1インクリメントする。そして、ステップS1111に戻る。
【0140】
(ステップS1118)関連講義評価部27は、ステップS1116で蓄積された関連統計分析結果を用いて、講義の評価を行う。例えば、ステップS1116で蓄積された関連統計分析結果の中に、予め指定された条件を満たす統計分析結果が存在する場合、この条件に予め対応付けられた講義の評価を示す情報を取得する。例えば、講師情報に変化が検出された時刻に対応して得られた各関連統計分析結果が、笑っている受講生の顔の集計数と、講師情報について検出された変化の内容とを対応付けた情報であり、予め指定された条件が、講師情報について検出された変化が、講師音声情報が、予め指定されたレベル以上であって、笑っている受講生の顔の数が予め指定された数以上である統計分析結果が、予め指定された数以上検出されるという条件であり、この条件に対応した講義の評価が、「楽しい講義」という評価であるとすると、ステップS1108で蓄積された統計分析結果が、この条件を満たす場合、「楽しい講義」という講義の評価結果が得られる。なお、ここは、異なる複数の評価を行っても良い。
【0141】
(ステップS1119)講義評価部21は、ステップS1118で取得した評価結果を、講義の識別情報や、受講生画像等と対応付けて、図示しない記憶媒体等に蓄積する。この蓄積は、出力部28が行うようにしても良い。
【0142】
(ステップS1120)出力部28は、ステップS1116で蓄積した統計分析結果と、ステップS1119で蓄積した評価結果とを表示する。
【0143】
(ステップS1119)出力部28は、評価結果と統計分析の結果との表示を終了するか否かを判断する。例えば、図示しない受付部等を介して表示を終了する操作を受け付けた場合に、表示を終了することを判断する。表示を終了する場合、表示を終了してステップS1101に戻り、表示を終了しない場合、ステップS1121に戻る。
【0144】
なお、図11のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0145】
以下、本実施の形態における顔分析装置2の具体的な動作について説明する。
受講生画像格納部12には、上記実施の形態1の具体例において図3を用いて説明したものと同様の、受講生画像が格納されているものとする。
【0146】
図12は、講師情報格納部23に格納されている講師情報である講師画像121と講師音声情報122との一部を示す図である。この講師画像121および講師音声情報122は、図3に示した受講生画像を撮影する際に、第二撮影部21および音声取得部22によりそれぞれ取得された講師の動画像と音声情報である。ここでは、講師画像121の各フレーム画像の下にはタイムコードを示している。また、講師画像121と講師音声情報122とは、同期付けられているものとする。
【0147】
ユーザが、マウスやキーボード等の図示しない入力デバイス等を操作して、図3に示した受講生画像の分析を行う指示を顔分析装置2に与えたとする。
【0148】
変化検出部24は、講師情報格納部23に格納されている講師画像と、講師音声情報とをそれぞれ先頭から読み出し、それぞれについて変化の検出を行う。ここでは、例えば、講師画像については、フレーム画像を順次読み出して、前後のフレーム画像等の差分等を用いて動き検出を行う。そして、講師画像内に予め指定された動き以上の物体の動き(例えば、距離等)が検出されたか否かの判断を行う。予め指定された動き以上の物体の動きが検出された場合、変化検出部24は、変化が検出されたと判断する。また、講師音声情報については、予め指定されたレベル以上の音声情報があるか否かを講師音声情報の先頭から順番に判断し、ある場合に変化が検出されたと判断する。
【0149】
顔分析部25は、変化検出部24が、講師画像または講師音声情報の少なくとも一方に変化を検出すると、その変化が検出された部分の講師画像のフレーム画像、または更新音声情報に対応付けられたタイムコードを講師情報から読み出す。そして、読み出したタイムコードが示す時刻に対して、予め指定された時間を加算した時刻に対応付けられたフレーム画像を、図3に示した受講生画像から読み出し、この受講生画像について、上記実施の形態1の具体例と同様に、顔の認識や、認識した各顔についての分析を行う。予め指定された時間は、例えば、受講生の顔の変化等が、講師の動作や講師の発する音声に起因するものであるか否かを判断するのに適した時間であることが好ましく、ここでは、例えば、1〜5秒程度に予め設定される。なお、時間を加算するのは、講師の動作や音声に変化が生じてから、受講生の顔等に変化や反応が生じるまでにタイムラグがあるからである。ここでは、例えば、予め指定された時間を加算した時刻が「10:35:38.21」であったとする。
【0150】
そして、変化検出部24が検出した変化の対象を示す情報と、顔分析部25の各顔についての分析結果と、顔の分析の対象となったフレーム画像のタイムコード「10:35:38.21」とを対応付けて、図示しない記憶媒体等に蓄積する。変化の対象を示す情報は、ここでは、例えば、変化検出部24が検出した変化が、講師画像についての変化であるか、講師音声情報についての変化であるかを示す情報であるとする。
【0151】
図13は、変化検出部24が蓄積した顔の分析結果等を管理する変化時分析結果管理表である。この変化時分析結果管理表は、上記実施の形態1の具体例において図5に示した顔分析結果管理表において、変化検出部24が検出した変化の内容を示す情報である「変化対象」という項目を追加したものである。「変化対象」の値のうち、「講師画像」は、変化検出部24が検出した変化が講師画像についての変化であることを示し、「講師音声情報」は、変化検出部24が検出した変化が講師画像についての変化であることを示す。
【0152】
次に、関連統計分析部26は、顔分析部25の分析結果を統計分析する。ここでは、図13に示すような、タイムコードが「10:35:38.21」であるフレーム画像と、「変化対象」の値である「講師画像」と対応付けられた分析結果について統計分析を行う。具体的には、タイムコードが「10:35:38.21」であるフレーム画像についての分析結果において、「表情」が「スマイル」である顔の数、「視線方向」が「正面」である顔の数、「顔方向」が「正面」である顔の数、および「まばたき」が「閉」である顔の数の集計をそれぞれ行う。つまり、分析項目別に集計を行う。そして、これらの集計結果を、認識した顔の総数「30」で除算して、各分析項目別の顔が出現する比率を取得する。なお、比率を算出する代わりに、分散等を算出しても良い。そして、関連統計分析部26は、取得した分析項目別の比率を、統計分析結果として、タイムコード「10:35:38.21」、及び「変化対象」の値である「講師画像」と対応付けて図示しない記憶媒体に蓄積する。なお、統計分析の対象となる分析結果が、「講師画像」という「変化対象」と対応付けられたものである場合、統計分析結果は、「講師音声情報」という「変化対象」と対応付けられて蓄積される。
【0153】
変化検出部24は、その後も、残りの講師画像及び講師音声情報について、変化を検出する処理を繰り返し、顔分析部25は、変化が検出されるごとに、変化が検出された時刻に対して予め指定された時刻を加算した時刻に対応する受講生画像のフレーム画像について顔の分析を行い、関連統計分析部26は、統計分析を行う。
【0154】
図14は、関連統計分析部26が蓄積した統計分析の結果を管理する統計分析結果管理表を示す図である。関連統計分析結果管理表は、図6に示した統計分析結果管理表において、図13に示したような「変化対象」という項目を追加したものである。
【0155】
次に、関連講義評価部27は、図14に示すような、関連統計分析部26が取得した統計分析結果を用いて、受講生画像に対応する講義の評価を行う。ここでは、例えば、講義の評価を行うための条件として、『「変化対象」が「講師音声情報」であり、かつ、「表情(スマイル)」の比率が「60%以上」である時刻の数が、「40」を超える」』という条件が、予め図示しない記憶媒体に格納されており、この条件を満たした場合の講義の評価を示す値として「講師の話に集中している講義」という値が、この条件と対応付けて図示しない記憶媒体に格納されているとする。ここでの時刻は、分析対象となった各フレーム画像と考えても良いし、図14に示した関連統計分析結果管理表の各レコードと考えても良い。
【0156】
関連講義評価部27は、上記の条件を読み出す。次に、図14に示した関連統計分析結果管理表において、「変化対象」が「講師音声情報」であり、かつ、「表情(スマイル)」の比率が、「60%以上」であるレコードの数をカウントする。例えば、カウント数が「52」であったとする。そして、取得したカウント数が「40以上」であるか否かを判断する。ここでは40以上であるので、「講師の話に集中している講義」という評価結果を取得する。なお、40未満の場合、「講師の話に集中していない講義」という評価結果を取得するようにしても良い。取得した評価結果は、例えば、受講生画像のファイル名等と対応付けて、図示しない記憶媒体等に蓄積する。
【0157】
出力部28は、関連統計分析部26が取得した統計分析結果と、関連講義評価部27が取得した評価結果を、図7と同様に、モニタ等に表示する。
【0158】
また、出力部28は、顔分析部25が取得した顔の分析結果を表示する指示を受け付けた場合、図13に示した変化時分析結果管理表で管理されている顔分析部25が取得した顔の分析結果を、図8に示すように、時系列に沿わせてモニタ等に表示する。例えば、出力部17は、分析結果を時系列に沿って並べて表示する。
【0159】
なお、上記実施の形態1と同様に、出力部28が出力する一の時点の顔の分析結果に対する指定を受け付けるようにし、指定を受け付けた場合に、指定された分析結果に対応するフレーム画像を、上記実施の形態1の具体例と同様に、出力部28が受講生画像から読み出して表示するようにしてもよい。
【0160】
以上、本実施の形態によれば、講師情報の分析結果と、講義中の受講生の顔の分析結果とを利用して、講義に関する分析を適切に行うことができる。
【0161】
なお、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0162】
また、上記各実施の形態では、顔分析装置がスタンドアロンである場合について説明したが、顔分析装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。
【0163】
また、上記各実施の形態において、顔分析部13、統計分析部14、講義評価部15、変化検出部24、顔分析部25、関連統計分析部26、関連講義評価部27等の各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより構成され、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
【0164】
なお、上記各実施の形態における顔分析装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、講義中における1以上の受講生の顔を撮影した動画像である受講生画像が格納される受講生画像格納部にアクセス可能なコンピュータを、受講生画像から受講生の顔を認識して、認識した顔に対する分析を行う顔分析部と、顔分析部による分析結果に関連する情報を出力する出力部として機能させるためのプログラムである。
【0165】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。
【0166】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【0167】
図15は、上記プログラムを実行して、上記実施の形態による顔分析装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
【0168】
図15において、コンピュータシステム900は、CD−ROM(Compact Disk Read Only Memory)ドライブ905、FD(Floppy(登録商標) Disk)ドライブ906を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。
【0169】
図16は、コンピュータシステム900の内部構成を示す図である。図16において、コンピュータ901は、CD−ROMドライブ905、FDドライブ906に加えて、MPU(Micro Processing Unit)911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM(Random Access Memory)913と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク914と、MPU911、ROM912等を相互に接続するバス915とを備える。なお、コンピュータ901は、LANへの接続を提供する図示しないネットワークカードを含んでいてもよい。
【0170】
コンピュータシステム900に、上記実施の形態による顔分析装置等の機能を実行させるプログラムは、CD−ROM921、またはFD922に記憶されて、CD−ROMドライブ905、またはFDドライブ906に挿入され、ハードディスク914に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク914に記憶されてもよい。プログラムは実行の際にRAM913にロードされる。なお、プログラムは、CD−ROM921やFD922、またはネットワークから直接、ロードされてもよい。
【0171】
プログラムは、コンピュータ901に、上記実施の形態による顔分析装置の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。
【0172】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【0173】
以上のように、本発明にかかる顔分析装置は、講義に関する分析を行う装置として適しており、特に、受講生の顔を撮影した画像等を用いて講義に関する分析を行う装置等として有用である。
【符号の説明】
【0174】
1、2 顔分析装置
11 第一撮影部
12 受講生画像格納部
13、25 顔分析部
14 統計分析部
15 講義評価部
16 指定受付部
17、28 出力部
21 第二撮影部
22 音声取得部
23 講師情報格納部
24 変化検出部
26 関連統計分析部
27 関連講義評価部
121 講師画像
122 講師音声情報

【特許請求の範囲】
【請求項1】
講義中における1以上の受講生の顔を撮影した動画像である受講生画像が格納される受講生画像格納部と、
前記受講生画像から受講生の顔を認識して、当該認識した顔に対する分析を行う顔分析部と、
前記顔分析部による分析結果に関連する情報を出力する出力部とを備えた顔分析装置。
【請求項2】
前記顔分析部が取得した分析結果を用いて、予め指定された統計分析を行う統計分析部を更に備え、
前記出力部は、前記統計分析の結果を出力する請求項1記載の顔分析装置。
【請求項3】
前記顔分析部が取得した分析結果を用いて、予め指定された統計分析を行う統計分析部と、
前記統計分析部の統計分析の結果を用いて、前記講義の評価を行う講義評価部を更に備え、
前記出力部は、前記講義評価部の評価結果を出力する請求項1記載の顔分析装置。
【請求項4】
講義中の講師を撮影した動画像である講師画像、または講義中の講師の音声の情報である講師音声情報の少なくとも一方を含む情報である講師情報が格納される講師情報格納部と、
前記講師情報の変化の検出を行う変化検出部とを更に備え、
前記顔分析部は、前記変化検出部が変化を検出した時点直後に取得された受講生画像に対する顔の分析結果を取得し、
前記出力部は、前記変化検出部が変化を検出した時点直後に取得された受講生画像に対する顔の分析結果に関連する情報を出力する請求項1から請求項3記載の顔分析装置。
【請求項5】
前記変化検出部が変化を検出した時点直後に取得された受講生画像に対する分析結果を用いて、予め指定された統計分析を行う関連統計分析部を更に備え、
前記出力部は、前記関連統計分析部の統計分析の結果を出力する請求項4記載の顔分析装置。
【請求項6】
前記変化検出部が変化を検出した時点直後に取得された受講生画像に対する分析結果を用いて、予め指定された統計分析を行う関連統計分析部と、
前記関連統計分析部の統計分析の結果を用いて、前記講義の評価を行う関連講義評価部を更に備え、
前記出力部は、前記関連講義評価部の評価結果を出力する請求項4記載の顔分析装置。
【請求項7】
前記顔分析部は、時系列に沿った受講生の顔の分析結果を取得し、
前記出力部は、前記顔分析部の顔の分析結果を時系列に沿って出力する請求項1から請求項6いずれか記載の顔分析装置。
【請求項8】
前記出力部が出力する一の時点の顔の分析結果に対する指定を受け付ける指定受付部を更に備え、
前記出力部は、当該指定受付部が指定を受け付けた分析結果に対応する時点の受講生画像を出力する請求項7記載の顔分析装置。
【請求項9】
前記出力部は、前記受講生画像を出力する際に、受講生の顔の部分を、受講生が識別できなくなるような表示態様とした受講生画像を出力する請求項8記載の顔分析装置。
【請求項10】
講義中における1以上の受講生の顔を撮影した動画像である受講生画像が格納される受講生画像格納部と、顔分析部と、出力部とを用いて行われる顔分析方法であって、
前記顔分析部が、前記受講生画像から受講生の顔を認識して、当該認識した顔に対する分析を行う顔分析ステップと、
前記出力部が、前記顔分析ステップによる分析結果に関連する情報を出力する出力ステップとを備えた顔分析方法。
【請求項11】
講義中における1以上の受講生の顔を撮影した動画像である受講生画像が格納される受講生画像格納部にアクセス可能なコンピュータを、
前記受講生画像から受講生の顔を認識して、当該認識した顔に対する分析を行う顔分析部と、
前記顔分析部による分析結果に関連する情報を出力する出力部として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate