表情測定方法、表情測定プログラムならびに表情測定装置
【課題】撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定するとともに、両者の動きについての時間的差異もあわせて測定することができる技術を提供する。
【解決手段】被検者の顔の動画像を取得する手順と、動画像の各コマについて、被検者の表皮の位置の変化が小さい部位から不動特徴点を抽出する手順と、被検者の顔面の左（右）側にあって表皮の位置の変化が小さくない部位から左（右）側可動特徴点を抽出する手順と、不動特徴点および左（右）側可動特徴点の位置関係をもとに、被検者の顔面の左（右）側の特徴量を算出する手順によって、被検者の表情の左右の変化をそれぞれ測定する。
【解決手段】被検者の顔の動画像を取得する手順と、動画像の各コマについて、被検者の表皮の位置の変化が小さい部位から不動特徴点を抽出する手順と、被検者の顔面の左（右）側にあって表皮の位置の変化が小さくない部位から左（右）側可動特徴点を抽出する手順と、不動特徴点および左（右）側可動特徴点の位置関係をもとに、被検者の顔面の左（右）側の特徴量を算出する手順によって、被検者の表情の左右の変化をそれぞれ測定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術を用いて、被検者の顔面に現れる表情の変化を捉えるための技術に関する。
【背景技術】
【０００２】
画像処理技術の発達に伴い、人の表情から精神状態や感情を推定するという試みが数多く行われている。しかし、そういった精神状態や感情を特定するための、画一的な基準やアルゴリズムが確立された訳ではなく、これらを特定するための様々な測定・解析方法が提案され、実験や臨床試験等が行われている。
【０００３】
たとえば、特許文献１では、客観的に顔面運動を解析することを目的に、フレーム画像間の画素の移動を算出する画素移動算出手段と、画素移動算出手段により得られたフレーム画像間の各画素の移動量及び移動方向に基づき、顔面中の任意の領域の運動を解析する解析手段と、解析結果を出力する出力手段を備えた顔面運動解析装置に関する発明が開示されている。
この文献では、解析手段としてオプティカルフローを用いており、顔全体の中から変化の大きい部分を捉えることができるほか、画像中の任意の領域を指定して、その領域における移動量の平均値等を求めることができるようになっている。
【０００４】
また、特許文献２では、人の表情から精神状態や感情を推定するために、人の特徴点を抽出し、表情の左右対称度、目の緊張度、頬の緊張度、口角の角度などをもとに、心因性疾病の度合いを判断するという技術が開示されている。
この文献では、左右対称となる部位を特徴点として定め、その対称となる特徴点どうしのＸ座標・Ｙ座標の差を、それぞれ２乗した上で重みづけしたものを加算し、表情の左右対称度を表す診断データＸ１を計算している。また、目のまわりにあって左右対称となる部位を特徴点として定め、その対称となる特徴点の間の寸法を、それぞれ重みづけして加算し、目の緊張度を表す診断データＸ２を計算している。また、頬面の重心となる部位を特徴点として定め、その対称となる特徴点の間の寸法を、それぞれ重みづけして加算し、頬の緊張度を表す診断データＸ３を計算している。また、左右口角の内側と外側となる部位を特徴点として定め、その対称となる特徴点の間の寸法を、それぞれ重みづけして加算し、口角の角度を表す診断データＸ４を計算している。
【０００５】
また、特許文献３では、非同期遠隔会議において、使用者の音声、表情・動作、生体情報のデータから抽出した多様な心理状態推定情報を遠隔地にて表示することを目的に、顔画像の複数の特徴点の相対的移動変化量から、心理状態を推定するという技術が開示されている。
この文献では、顔画像の唇の左右端２点、右眉の左右端２点、左眉の左右端２点の相対的移動変化量から、「驚き」、「面白さ」、「困惑」、「納得」、「面白さ」、などといった心理状態を推定している。また、移動変化量（位置変化率）として、各点のＸ座標、Ｙ座標の変化をＸＹ平面にプロットし、そのプロットされた点がどの領域に属するかで、心理状態を特定している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１６７２８３公報（おもに、明細書段落番号０００８、００２４〜００２７、図５〜７）
【特許文献２】特開２００６−３０５２６０公報（おもに、明細書段落番号００１７〜００２１、図３〜６）
【特許文献３】特開２００６−２６２０１０公報（おもに、明細書段落番号００４２〜００４５、図８〜１３）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
被検者の顔面に現れる表情の変化から、被検者の心理状況や病変を発見するためには、観察者の能力等に依存しない客観的な評価方法が望まれる。そのためには、統一化された測定方法と、その測定された結果に基づく定量的な分析方法が求められる。
また、精神疾患の症状の一つとして、被検者の顔面の左側の動きと右側の動きとの間に時間的なズレ（時間差）があることが知られている。したがって、そのような左側の動きと右側の動きとの間の時間差を求めるための技術が求められる。
【０００８】
ところが、特許文献１によるオプティカルフローを用いる場合には、フレーム画像間の各画素を解析する必要があるため、解析そのものに時間を要する。また、オプティカルフローでは、各画素が被検者顔面のどの部位に対応しているかを特定することが難しく、とくに、外見上の特徴が少ない部位にあっては、その領域を各フレーム間で対応させることが困難であるといった問題がある。したがって、左側の動きと右側の動きとの間の時間的差異を高精度で求めることができない。
【０００９】
また、特許文献２による特徴点抽出を用いる場合には、表情の左右対称度、眼の緊張度、頬の緊張度、口角の角度をもって心因性疾病の度合いを判断しているが、いずれの場合も、被検者顔面の左右の特徴点間の「相対的な」位置関係をもとに判断を行っており、左側の動きと右側の動きとの間の時間的差異を求めることできない。
【００１０】
また、特許文献３による移動変化量を用いる場合には、移動変化量（位置変化率）を、各点のＸ座標、Ｙ座標の変化としてＸＹ平面にプロットさせ、そのプロットされた点がどの領域に属するかで、心理状態を特定しているので、左側の動きと右側の動きとの間の時間的差異を求めることできない。
【００１１】
そこで、本件発明では、撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定するとともに、両者の動きについての時間的差異もあわせて測定することができる技術を提供する。
【課題を解決するための手段】
【００１２】
前述した課題を解決するため、本発明第１の構成による表情測定方法は、被検者の顔の動画像を取得する手順１と、前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する手順２と、前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出する手順３と、前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出する手順４と、前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順５と、前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順６と、によって、前記被検者の表情の左右の変化をそれぞれ測定することを特徴としている。
また、本発明第７の構成による表情測定プログラムは、被検者の顔面の動画像を取得するステップＳ１と、前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出するステップＳ２と、前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出するステップＳ３と、前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出するステップＳ４と、前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出するステップＳ５と、前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出するステップＳ６と、によって、前記被検者の表情の左右の変化をそれぞれ測定することを特徴としている。
また、本発明第８の構成による表情測定装置は、被検者の顔面の動画像を撮影するカメラと、前記カメラの画像を取り込んで情報処理を行う情報処理装置を備え、前記情報処理装置は、前記カメラによって撮影された前記被検者の顔面の動画像を取得して、前記被検者の表情の左右の変化をそれぞれ測定するため、被検者の顔の動画像を取得する手順１と、前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する手順２と、前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出する手順３と、前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出する手順４と、前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順５と、前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順６と、からなる表情測定プログラムを備えたことを特徴としている。
【００１３】
また、本発明第２の構成による表情測定方法は、第１の発明の構成に加え、前記手順２では、前記被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、前記手順３および手順４では、前記被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から左側可動特徴点および右側可動特徴点をそれぞれ抽出することを特徴としている。
【００１４】
また、本発明第３の構成による表情測定方法は、第１または第２の発明の構成に加え、前記手順２では、前記不動特徴点を１以上抽出し、前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ１以上抽出し、前記手順５では、前記不動特徴点１つと前記左側可動特徴点１つとの間の距離を前記左側特徴量として算出し、前記手順６では、前記不動特徴点１つと前記右側可動特徴点１つとの間の距離を前記右側特徴量として算出することを特徴としている。
また、本発明第４の構成による表情測定方法は、第１または第２の発明の構成に加え、前記手順２では、前記不動特徴点を１以上抽出し、前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ２以上抽出し、前記手順５では、前記不動特徴点１つと前記左側可動特徴点２つの３点で定まる、角度、面積もしくは内積等の特徴量を前記左側特徴量として算出し、前記手順６では、前記不動特徴点１つと前記右側可動特徴点２つの３点で定まる、角度、面積もしくは内積等の特徴量を前記右側特徴量として算出することを特徴としている。
また、本発明第５の構成による表情測定方法は、第１または第２の発明の構成に加え、前記手順２では、前記不動特徴点を２以上抽出し、前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ１以上抽出し、前記手順５では、前記不動特徴点２つと前記左側可動特徴点１つの３点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記左側可動特徴点の座標等の特徴量を前記左側特徴量として算出し、前記手順６では、前記不動特徴点２つと前記右側可動特徴点１つの３点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記右側可動特徴点の座標等の特徴量を前記右側特徴量として算出することを特徴としている。
また、本発明第６の構成による表情測定方法は、第１または第２の発明の構成に加え、前記手順２では、前記不動特徴点を２以上抽出し、前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ２以上抽出し、前記手順５では、前記不動特徴点を基準とする座標系における前記不動特徴点２つと前記左側可動特徴点１つの３点または前記不動特徴点１つと前記左側可動特徴点２つの３点で定まる三角形の重心位置の座標等の特徴量を前記左側特徴量として算出し、前記手順６では、前記不動特徴点を基準とする座標系における前記不動特徴点２つと前記右側可動特徴点１つの３点または前記不動特徴点１つと前記右側可動特徴点２つの３点で定まる三角形の重心位置の座標等の特徴量を前記右側特徴量として算出することを特徴としている。
【発明の効果】
【００１５】
本発明第１の構成による表情測定方法、第７の構成による表情測定プログラムならびに第８の構成による表情測定装置によれば、被検者が表情を変えてもその表皮の位置の変化が小さい部位から不動特徴点を抽出し、被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から左右の可動特徴点をそれぞれ抽出し、不動特徴点および可動特徴点の位置関係をもとに、被検者の顔面の左右の特徴量をそれぞれ算出するので、撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定できるとともに、両者の動きについての時間的差異もあわせて観察することができる。
また、表情としての変化が僅かであっても、被検者の顔の左右の非対称性の要因を排除した定量的な指標により、被検者の表情の変化を捉え、かつ、その変化をきたした部分を被検者の左側の表情の状況と、右側の表情の状況とに分離して観察することが可能となる。
【００１６】
また、本発明第２の構成による表情測定方法によれば、被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から可動特徴点を抽出するので、前述した効果がより顕著に現れる。
【００１７】
本発明第３の構成による表情測定方法によれば、不動特徴点１つと可動特徴点１つの２点で定まる距離を用いて特徴量を算出しており、本発明第４の構成による表情測定方法によれば、不動特徴点１つと可動特徴点２つの３点で定まる角度、面積もしくは内積等を用いて特徴量を算出しており、本発明第５の構成による表情測定方法によれば、不動特徴点２つと可動特徴点１つの３点で定まる角度、面積、内積もしくは不動特徴点を基準とした座標系における可動特徴点の座標等を用いて特徴量を算出しており、本発明第６の構成による表情測定方法によれば、不動特徴点２つと可動特徴点２つの４点で定まる特定の座標系での三角形の重心位置の座標等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
【図面の簡単な説明】
【００１８】
【図１】表情測定装置の構成を示す説明図
【図２】表情測定プログラムの処理の流れを示すフロチャート
【図３】被検者の目頭、眼尻や顔面に貼り付けたマーカを示す説明図
【図４】左側特徴量および右側特徴量の算出パターン１を示す説明図
【図５】左側特徴量および右側特徴量の算出パターン２を示す説明図
【図６】左側特徴量および右側特徴量の算出パターン３を示す説明図
【図７】左側特徴量および右側特徴量の算出パターン３の別の形態を示す説明図
【図８】左側特徴量および右側特徴量の算出パターン４を示す説明図
【図９】被検者の顔面に貼り付けたマーカの位置を特定する方法を示す説明図
【図１０】被検者の顔面を撮影した画像を微分したときの説明図
【図１１】被検者の眼の領域を特定するための方法を示す説明図
【図１２】テンプレート画像の一例を示す説明図
【発明を実施するための形態】
【００１９】
本発明の実施形態を実施例１ないし実施例３にて説明する。
【実施例１】
【００２０】
実施例１を図１〜図８に基づいて説明する。
図１は、実施例１にかかる表情測定装置の構成を示す説明図である。
図１において、表情測定装置１０は、情報処理装置（計算機１１）と、ビデオカメラ１２を備える。計算機１１は外部装置としてディスプレイ１１ｆとキーボード１１ｇを備えており、検査者２は、ディスプレイ１１ｆとキーボード１１ｇにより表情測定装置１０を制御し、あるいは、表情測定結果の観察等を行う。
また、ビデオカメラ１２は被検者１の顔部を撮影するものであり、計算機１１の内部に備えるビデオキャプチャ１１ｅによって映像を取得する。ビデオカメラ１２のフレームレートは３０〜６０ＦＰＳ（Frame Per Second）程度である。
計算機１１は、このほか、ＣＰＵ（中央演算処理装置）１１ａと、クロック１１ｂと、ディスプレイ１１ｆに画像信号を送信するグラフィックカード１１ｃと、キーボード１１ｇからの入力信号を受信する入力端子１１ｄと、プログラム記憶領域１４およびデータ記憶領域１５の記憶領域が確保された記憶装置１３と、メモリ１６をその内部に備える。
メモリ１６には、被検者１の表情を測定する過程で生成される各種のデータ（たとえば、不動特徴点座標１６ａ、左側可動特徴点座標１６ｂ、右側可動特徴点座標１６ｃ、元画像データ１６ｄなど）が一時的に記憶される。これらの各データの内容については、後で説明する。
【００２１】
データ記憶領域１５には、被検者１の表情測定結果である顔面の左側および右側の特徴量が、左側特徴量１５ａおよび右側特徴量１５ｂの時系列データとして記録され、あわせて、画像データ１５ｃが動画データとして記録される。
そして、プログラム記憶領域１４には、ビデオキャプチャ１１ｅによって取得された画像を元画像データ１６ｄとして記録するビデオ画像取得プログラム１４ａと、元画像データ１６ｄから被検者１の表情の左右の変化を測定する表情測定プログラム１４ｂが記録されている。表情測定プログラム１４ｂの処理内容については後で説明する。
【００２２】
なお、表情測定装置１０には、被検者１に赤外領域の光を照射する赤外照明１７を備え、ビデオカメラ１２は赤外領域の像を撮影する赤外カメラとすることが好ましい。具体的には、赤外照明１７に特定領域の赤外光を通過させるＩＲフィルタ（たとえば、７６０ｎｍ以下の波長の光を遮断するようにしたものが好適である）を備えて、これを被検者１に向けて照射するとともに、ビデオカメラ１２のレンズの手前に同様のＩＲフィルタ（たとえば、８５０ｎｍ以上の波長の光のみを透過するようにしたものが好適である）を備えて、被検者１の反射光を撮影するようにする。
【００２３】
このように、被験者に赤外照明を照射して、その反射光を赤外カメラで撮影するので、外光（白熱電灯や自然光等）や設置環境の影響を受けずに被検者の表情の変化を的確にとらえることができるようになる。
【００２４】
続いて、表情測定プログラム１４ｂの処理の流れを図２のフロチャートに基づいて説明する。
ビデオ画像取得プログラム１４ａにより、被検者１の顔画像が元画像データ１６ｄとして記録される度に、表情測定プログラム１４ｂがステップＳ１〜ステップＳ７の処理を行う。すなわち、ビデオ画像取得プログラム１４ｂは、ビデオカメラ１２のフレームレートと同じ間隔で繰り返し処理を行うこととなる。
【００２５】
表情測定プログラム１４ｂが起動すると、被検者の顔の動画像の１フレーム分の画像を元画像データ１６ｄから取得するステップＳ１の処理が行われる。
【００２６】
続いて、ステップＳ２では、取得した元画像データ１６ｄの１フレーム分の画像について、被検者１の顔面にあって被検者１が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する。
不動特徴点は、表情の変化が現れにくい、被検者１の目頭、鼻の位置から抽出し、あるいは、これらの部位に貼り付けたマーカの位置から抽出するとよい。
例えば、図３に示すように、被検者１の目頭３１Ｌ、３１Ｒのほか、鼻の部位に貼り付けたマーカ３３の位置をこの画像データから算出し、その座標を不動特徴点座標１６ａとしてメモリ１６に記録する。
具体的な抽出方法については、このあとの実施例２〜３で説明する。
【００２７】
次に、ステップＳ３（Ｓ４）では、取得した元画像データ１６ｄの１フレーム分の画像について、被検者１の顔面の左側（右側）にあって被検者１が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点（右側可動特徴点）として抽出する。
左側可動特徴点（右側可動特徴点）は、表情の変化が現れやすい、被検者１の眉毛の両端、眼尻、頬、口角の位置から抽出し、あるいは、これらの部位に貼り付けたマーカの位置から抽出するとよい。
例えば、図３に示すように、被検者１の眼尻３２Ｌ、３２Ｒのほか、頬の部位に貼り付けたマーカ３５Ｌ、３５Ｒ、口角の部位に貼り付けたマーカ３６Ｌ、３６Ｒの位置を画像データから算出し、その座標を左側可動特徴点座標１６ｂ（右側可動特徴点座標１６ｃ）としてメモリ１６に記録する。
具体的な抽出方法については、このあとの実施例２〜３で説明する。
【００２８】
次に、ステップＳ５（Ｓ６）では、取得した元画像データ１６ｄの１フレーム分の画像について、不動特徴点および左側可動特徴点（右側可動特徴点）の位置関係をもとに、被検者１の顔面の左側（右側）の特徴量を左側特徴量（右側特徴量）として算出する。
なお、算出された特徴量は、左側特徴量１５ａ（右側特徴量１５ｂ）としてデータ記憶領域１５に記録する。
【００２９】
なお、ステップＳ７として、元画像データ１６ｄに、これらの特徴点（不動特徴点、左側可動特徴点、右側可動特徴点）を付加した画像を生成して、画像データ１５ｃとして、データ記憶領域１５に記録させる処理を加えることで、画像データと左右の特徴量を併せてディスプレイ１１ｆに表示させることが可能となる。
【００３０】
このように、被検者が表情を変えてもその表皮の位置の変化が小さい部位から不動特徴点を抽出し、被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から左右の可動特徴点をそれぞれ抽出し、不動特徴点および可動特徴点の位置関係をもとに、被検者の顔面の左右の特徴量をそれぞれ算出するので、撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定できるとともに、両者の動きについての時間的差異もあわせて観察することができる。
また、表情としての変化が僅かであっても、被検者の顔の左右の非対称性の要因を排除した定量的な指標により、被検者の表情の変化を捉え、かつ、その変化をきたした部分を被検者の左側の表情の状況と、右側の表情の状況とに分離して観察することが可能となる。
また、被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から可動特徴点を抽出するので、前述した効果がより顕著に現れる。
【００３１】
ここで、被検者１の表情を表す特徴量の算出については、次の４つのパターンが考えられる。
【００３２】
すなわち、パターン１としては、ステップＳ２にて、不動特徴点を１以上抽出し、ステップＳ３（ステップＳ４）では、左側可動特徴点（右側可動特徴点）をそれぞれ１以上抽出し、ステップＳ５（ステップＳ６）では、不動特徴点１つと左側可動特徴点（右側可動特徴点）１つとの間の距離を、左側特徴量（右側特徴量）として算出するという方法がある。
図３の例でいえば、ステップＳ２にて鼻部分のマーカ３３に対応する不動特徴点を抽出し、ステップＳ３（ステップＳ４）にて左口角（右口角）付近のマーカ３６Ｌ（３６Ｒ）に対応する左側可動特徴点（右側不動特徴点）を抽出する。
そして、図４（ａ）に示すように、ステップＳ５では、マーカ３３に対応する不動特徴点と、マーカ３６Ｌに対応する左側可動特徴点との間の距離ＸＬを左側特徴量として算出し、ステップＳ６では、不動特徴点とマーカ３６Ｒに対応する右側可動特徴点との間の距離ＸＲを右側特徴量として算出する。
図４（ｂ）は、距離ＸＬおよび距離ＸＲを表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
このように、不動特徴点１つと可動特徴点１つの２点で定まる距離を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
【００３３】
また、パターン２としては、ステップＳ２にて、不動特徴点を１以上抽出し、ステップＳ３（ステップＳ４）では、左側可動特徴点（右側可動特徴点）をそれぞれ２以上抽出し、ステップＳ５（ステップＳ６）では、不動特徴点１つと左側可動特徴点（右側可動特徴点）２つの３点で定まる、角度、面積もしくは内積等の特徴量を左側特徴量（右側特徴量）として算出するという方法がある。
図３の例でいえば、ステップＳ２にて鼻部分のマーカ３３に対応する不動特徴点を抽出し、ステップＳ３（ステップＳ４）にて左頬（右頬）部分のマーカ３５Ｌ（３５Ｒ）と、左口角（右口角）付近のマーカ３６Ｌ（３６Ｒ）に対応する左側可動特徴点（右側不動特徴点）を抽出する。
そして、図５（ａ）に示すように、ステップＳ５では、マーカ３５Ｌおよびマーカ３６Ｌに対応する左側可動特徴点と、マーカ３３に対応する不動特徴点とを結んだ２直線のなす角度θＬを左側特徴量として算出し、ステップＳ６では、マーカ３５Ｒおよびマーカ３６Ｒに対応する右側可動特徴点と、マーカ３３に対応する不動特徴点とを結んだ２直線のなす角度θＲを右側特徴量として算出する方法がある。
図５（ｂ）は、角度θＬおよび角度θＲを表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
この実施例では、三点のなす角度を以って被検者の表情を定量化しているが、このほかにも、三点で定義される三角形の面積や、三点で作られる２つのベクトルで定義される内積の値を以って定量化する例が考えられる。
このように、不動特徴点１つと可動特徴点２つの３点で定まる角度、面積もしくは内積等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
【００３４】
また、パターン３としては、ステップＳ２にて、不動特徴点を２以上抽出し、ステップＳ３（ステップＳ４）では、左側可動特徴点（右側可動特徴点）をそれぞれ１以上抽出し、ステップＳ５（ステップＳ６）では、不動特徴点２つと左側可動特徴点（右側可動特徴点）１つの３点で定まる、角度、面積、内積もしくは不動特徴点を基準とした座標系における左側可動特徴点（右側可動特徴点）の座標等の特徴量を左側特徴量（右側特徴量）として算出するという方法がある。
図３の例でいえば、ステップＳ２にて両眼の目頭３１Ｌおよび３１Ｒに対応する不動特徴点を抽出し、ステップＳ３（ステップＳ４）にて左頬（右側）部分のマーカ３５Ｌ（３５Ｒ）に対応する左側可動特徴点（右側不動特徴点）を抽出する。
そして、図６（ａ）に示すように、ステップＳ５では、目頭３１Ｒに対応する不動特徴点およびマーカ３５Ｌに対応する左側可動特徴点と、目頭３１Ｌに対応する不動特徴点とを結んだ２直線のなす角度θＬを左側特徴量として算出し、ステップＳ６では、目頭３１Ｌに対応する不動特徴点およびマーカ３５Ｒに対応する右側可動特徴点と、目頭３１Ｒに対応する不動特徴点とを結んだ２直線のなす角度θＲを右側特徴量として算出する方法がある。
図６（ｂ）は、角度θＬおよび角度θＲを表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
この実施例では、三点のなす角度を以って被検者の表情を定量化しているが、このほかにも、三点で定義される三角形の面積や、三点で作られる２つのベクトルで定義される内積の値を以って定量化する例が考えられる。
【００３５】
また、パターン３の変形例として、被検者１の表情が変化しても、これら２つ不動特徴点の位置変化は小さいという性質を用いてもよい。すなわち、図７（ａ）に示すように、ステップＳ５では、左側可動特徴点の座標を不動特徴点基準の座標系に変換し、マーカ３５Ｌに対応する左側可動特徴点の座標（ＸＬ，ＹＬ）を左側特徴量として算出し、ステップＳ６では、右側可動特徴点の座標を不動特徴点基準の座標系に変換し、マーカ３５Ｒに対応する右側可動特徴点の座標（ＸＲ，ＹＲ）を右側特徴量として算出する方法がある。なお、図７（ａ）では、目頭３１Ｌおよび３１ＲをＸ軸方向上（横方向）におき、その中点を原点として不動特徴点基準の座標系を構築している。
図７（ｂ）は、座標（ＸＬ，ＹＬ）および座標（ＸＲ，ＹＲ）を表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
このように、不動特徴点２つと可動特徴点１つの３点で定まる角度、面積、内積もしくは不動特徴点を基準とした座標系における可動特徴点の座標等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
【００３６】
また、パターン４としては、ステップＳ２にて、不動特徴点を２以上抽出し、ステップＳ３（ステップＳ４）では、左側可動特徴点（右側可動特徴点）をそれぞれ２以上抽出し、ステップＳ５（ステップＳ６）では、不動特徴点を基準とした座標系における不動特徴点２つと左側可動特徴点（右側可動特徴点）の座標等の特徴量を左側特徴量（右側特徴量）として算出するという方法がある。
図３の例でいえば、ステップＳ２にて両眼の目頭３１Ｌおよび３１Ｒに対応する不動特徴点を抽出し、ステップＳ３（ステップＳ４）にて左眼尻（右眼尻）部分３２Ｌ（３２Ｒ）と、左口角（右口角）付近のマーカ３６Ｌ（３６Ｒ）に対応する左側可動特徴点（右側不動特徴点）を抽出する。
そして、図８（ａ）に示すように、ステップＳ５では、左側可動特徴点の座標を不動特徴点基準の座標系に変換し、左眼尻３２Ｌ、マーカ３６Ｌおよび目頭３１Ｌの三点で定義される三角形の重心位置座標（ＸＬ，ＹＬ）を左側特徴量として算出し、ステップＳ６では、右側可動特徴点の座標を不動特徴点基準の座標系に変換し、右眼尻３２Ｒ、マーカ３６Ｒおよび目頭３１Ｒの三点で定義される三角形の重心位置座標（ＸＲ，ＹＲ）を左側特徴量として算出する方法がある。
図８（ｂ）は、座標（ＸＬ，ＹＬ）および座標（ＸＲ，ＹＲ）を表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
このように、不動特徴点２つと可動特徴点２つの４点で定まる特定の座標系での三角形の重心位置の座標等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
【００３７】
なお、パターン３やパターン４のように、２つ不動特徴点を用いる場合には、ステップＳ７で画像データ１５ｃを生成するにあたり、元画像データ１６ｄの各画素を不動特徴点基準の座標系に変換しておくことが好ましい。元画像データ１６ｄを不動特徴点の座標系に変換することで、被検者１の頭の動きといった外乱要素を取り除いた形で被検者１を観察することができる。
【実施例２】
【００３８】
実施例２を図９に基づいて説明する。
実施例２は、被検者１の顔が撮影された元画像データ１６ｄから、被検者１の顔面に貼り付けたマーカの位置を特定するための方法について説明している。
【００３９】
前述した通り、実施例１の図３における元画像データ１６ｄでは、被検者１の鼻の中央付近にマーカ３３を貼り付け、左頬、右頬にそれぞれマーカ３５Ｌ、３５Ｒを貼り付け、左右それぞれの口角付近にマーカ３６Ｌ、３６Ｒを貼り付けた状態で撮影が行われている。
そして、マーカ３３、３５Ｌ、３５Ｒ、３６Ｌ、３６Ｒは白と黒の２色で構成されており、元画像データ１６ｄの各画素の明るさで閾値を定め、画像処理を行うことで、これらマーカを抜き出すことが可能である。すなわち、元画像データ１６ｄの画素のうち、マーカの外輪を抽出するため、一定値以上の暗さとなる部分を図９（ａ）のように抜き出す。抜き出した画像には、マーカ３５Ｒ、３６Ｒ、３３、３６Ｌ、３５Ｌに対応する領域９１ａ〜９５ａのほか、マーカに対応しない領域９６〜９９が含まれることがある。したがって、抜き出した領域がマーカであることを確認するために、図９（ａ）の各領域９１ａ〜９５ａ、９６〜９９の中から、一定値以上の明るさとなる部分を図９（ｂ）のように抜き出す。領域９１ｂ〜９５ｂのように、白と黒の２色で構成される領域であれば、これらがマーカであると判断して、各領域９１ａ〜９５ａの中心部分が不動特徴点、左側可動特徴点あるいは右側可動特徴点として特定される。
【実施例３】
【００４０】
実施例３を図１０〜図１２に基づいて説明する。
実施例３は、被検者１の顔が撮影された元画像データ１６ｄから、マーカを用いることなしに被検者１の眼の位置を、特定するための方法について説明している。
【００４１】
眼の位置の抽出にあたっては、まず、元画像データ１６ｄの各画素の濃度値を縦方向で微分して、その微分された画素によって構成される画像を生成し、その微分画像の画素値を横方向で積算して得られるヒストグラムを作成する。
図１０において、１０１は元画像データ１６ｄの微分画像であり、被検者１の瞼の淵部分などといった被検者の眼の特徴的部分が現れる。積算方向１０２に従って、各画素の明るさを積算してゆくと、その横方向ヒストグラムが１０３の通りとなり、ヒストグラムが最大値１０４を取るライン１０５上に瞼があると推測できる。
【００４２】
その後、微分画像１０１から、ライン１０５の周囲の領域１０６を切り出すとともに、切り出した微分画像の画素値を縦方向で積算して得られるヒストグラムを作成する。
図１１において、１１１はその切り出し画像であり、被験者のプルキンエ像を取る瞳孔の中心部分が現れる。積算方向１１２に従って各画素の明るさを積算してゆくと、そのヒストグラムが１１３の通りとなり、ヒストグラムが極大値１１４Ｌ、１１４Ｒを取る２つのライン１１５Ｌ、１１５Ｒ上に眼の中心があると推測できる。そして、３つのライン１０５、１１５Ｌ、１１５Ｒの交差する２点を基準として、被検者の左眼の領域１１６Ｌ、右眼の領域１１６Ｒを特定することができる。
【００４３】
そして、あらかじめ図１２に示すようなテンプレート画像を用意しておき、図１１で特定した各領域１１６Ｌ、１１６Ｒの範囲内で、被検者１の目頭や眼尻の詳細な位置を特定する。特定にあたっては、テンプレートマッチング技術を適用し、相関の最も高い場所を眼尻や目頭を表す不動特徴点、左側可動特徴点あるいは右側可動特徴点として特定する。
【００４４】
なお、眼部領域の推定やテンプレートマッチングにおいては、被検者１の瞬きや、元画像データ１６ｄに含まれるノイズの影響もあり、眼尻や目頭の位置が推定できない場合や、推定した位置と実際の位置との差（誤差）が大きくなる場合が考えられる。
こういった問題を解消するため、ひとつ前のコマにて撮影したフレーム画像で特定された眼尻や目頭の位置の情報を活用しながら、あるいは、別の画像処理技術を活用しながら、眼尻や目頭の位置を特定することが好ましい。
【産業上の利用可能性】
【００４５】
本発明は、人の表情から精神状態や感情を推定するために用いられ、特に、撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定するとともに、両者の動きについての時間的差異もあわせて測定することができる。
【符号の説明】
【００４６】
１ 被検者
２ 検査者
１０ 表情測定装置
１１ 計算機
１１ａ ＣＰＵ
１１ｂ クロック
１１ｃ グラフィックカード
１１ｄ 入力端子
１１ｅ ビデオキャプチャ
１１ｆ ディスプレイ
１１ｇ キーボード
１２ ビデオカメラ
１３ 記憶装置
１４ プログラム記憶領域
１４ａ ビデオ画像取得プログラム
１４ｂ 表情測定プログラム
１５ データ記憶領域
１５ａ 左側特徴量
１５ｂ 右側特徴量
１５ｃ 画像データ
１６ メモリ
１６ａ 不動特徴点座標
１６ｂ 左側可動特徴点座標
１６ｃ 右側可動特徴点座標
１６ｄ 元画像データ
１７ 赤外照明
３３、３５Ｌ、３５Ｒ、３６Ｌ、３６Ｒ マーカ
３１Ｌ、３１Ｒ 目頭
３２Ｌ、３２Ｒ 眼尻
９１ａ〜９５ａ、９１ｂ〜９５ｂ、９６〜９９ 領域
１０１ 微分画像
１０２、１１２ 積算方向
１０３ 横方向ヒストグラム
１０４ 最大値
１０５ 横方向ライン
１０６ 切り出し領域
１１１ 切り出し画像
１１３ 縦方向ヒストグラム
１１４Ｌ、１１４Ｒ 極大値
１１５Ｌ、１１５Ｒ 縦方向ライン
１１６Ｌ 左眼領域
１１６Ｒ 右眼領域
【技術分野】
【０００１】
本発明は、画像処理技術を用いて、被検者の顔面に現れる表情の変化を捉えるための技術に関する。
【背景技術】
【０００２】
画像処理技術の発達に伴い、人の表情から精神状態や感情を推定するという試みが数多く行われている。しかし、そういった精神状態や感情を特定するための、画一的な基準やアルゴリズムが確立された訳ではなく、これらを特定するための様々な測定・解析方法が提案され、実験や臨床試験等が行われている。
【０００３】
たとえば、特許文献１では、客観的に顔面運動を解析することを目的に、フレーム画像間の画素の移動を算出する画素移動算出手段と、画素移動算出手段により得られたフレーム画像間の各画素の移動量及び移動方向に基づき、顔面中の任意の領域の運動を解析する解析手段と、解析結果を出力する出力手段を備えた顔面運動解析装置に関する発明が開示されている。
この文献では、解析手段としてオプティカルフローを用いており、顔全体の中から変化の大きい部分を捉えることができるほか、画像中の任意の領域を指定して、その領域における移動量の平均値等を求めることができるようになっている。
【０００４】
また、特許文献２では、人の表情から精神状態や感情を推定するために、人の特徴点を抽出し、表情の左右対称度、目の緊張度、頬の緊張度、口角の角度などをもとに、心因性疾病の度合いを判断するという技術が開示されている。
この文献では、左右対称となる部位を特徴点として定め、その対称となる特徴点どうしのＸ座標・Ｙ座標の差を、それぞれ２乗した上で重みづけしたものを加算し、表情の左右対称度を表す診断データＸ１を計算している。また、目のまわりにあって左右対称となる部位を特徴点として定め、その対称となる特徴点の間の寸法を、それぞれ重みづけして加算し、目の緊張度を表す診断データＸ２を計算している。また、頬面の重心となる部位を特徴点として定め、その対称となる特徴点の間の寸法を、それぞれ重みづけして加算し、頬の緊張度を表す診断データＸ３を計算している。また、左右口角の内側と外側となる部位を特徴点として定め、その対称となる特徴点の間の寸法を、それぞれ重みづけして加算し、口角の角度を表す診断データＸ４を計算している。
【０００５】
また、特許文献３では、非同期遠隔会議において、使用者の音声、表情・動作、生体情報のデータから抽出した多様な心理状態推定情報を遠隔地にて表示することを目的に、顔画像の複数の特徴点の相対的移動変化量から、心理状態を推定するという技術が開示されている。
この文献では、顔画像の唇の左右端２点、右眉の左右端２点、左眉の左右端２点の相対的移動変化量から、「驚き」、「面白さ」、「困惑」、「納得」、「面白さ」、などといった心理状態を推定している。また、移動変化量（位置変化率）として、各点のＸ座標、Ｙ座標の変化をＸＹ平面にプロットし、そのプロットされた点がどの領域に属するかで、心理状態を特定している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１６７２８３公報（おもに、明細書段落番号０００８、００２４〜００２７、図５〜７）
【特許文献２】特開２００６−３０５２６０公報（おもに、明細書段落番号００１７〜００２１、図３〜６）
【特許文献３】特開２００６−２６２０１０公報（おもに、明細書段落番号００４２〜００４５、図８〜１３）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
被検者の顔面に現れる表情の変化から、被検者の心理状況や病変を発見するためには、観察者の能力等に依存しない客観的な評価方法が望まれる。そのためには、統一化された測定方法と、その測定された結果に基づく定量的な分析方法が求められる。
また、精神疾患の症状の一つとして、被検者の顔面の左側の動きと右側の動きとの間に時間的なズレ（時間差）があることが知られている。したがって、そのような左側の動きと右側の動きとの間の時間差を求めるための技術が求められる。
【０００８】
ところが、特許文献１によるオプティカルフローを用いる場合には、フレーム画像間の各画素を解析する必要があるため、解析そのものに時間を要する。また、オプティカルフローでは、各画素が被検者顔面のどの部位に対応しているかを特定することが難しく、とくに、外見上の特徴が少ない部位にあっては、その領域を各フレーム間で対応させることが困難であるといった問題がある。したがって、左側の動きと右側の動きとの間の時間的差異を高精度で求めることができない。
【０００９】
また、特許文献２による特徴点抽出を用いる場合には、表情の左右対称度、眼の緊張度、頬の緊張度、口角の角度をもって心因性疾病の度合いを判断しているが、いずれの場合も、被検者顔面の左右の特徴点間の「相対的な」位置関係をもとに判断を行っており、左側の動きと右側の動きとの間の時間的差異を求めることできない。
【００１０】
また、特許文献３による移動変化量を用いる場合には、移動変化量（位置変化率）を、各点のＸ座標、Ｙ座標の変化としてＸＹ平面にプロットさせ、そのプロットされた点がどの領域に属するかで、心理状態を特定しているので、左側の動きと右側の動きとの間の時間的差異を求めることできない。
【００１１】
そこで、本件発明では、撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定するとともに、両者の動きについての時間的差異もあわせて測定することができる技術を提供する。
【課題を解決するための手段】
【００１２】
前述した課題を解決するため、本発明第１の構成による表情測定方法は、被検者の顔の動画像を取得する手順１と、前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する手順２と、前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出する手順３と、前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出する手順４と、前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順５と、前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順６と、によって、前記被検者の表情の左右の変化をそれぞれ測定することを特徴としている。
また、本発明第７の構成による表情測定プログラムは、被検者の顔面の動画像を取得するステップＳ１と、前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出するステップＳ２と、前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出するステップＳ３と、前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出するステップＳ４と、前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出するステップＳ５と、前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出するステップＳ６と、によって、前記被検者の表情の左右の変化をそれぞれ測定することを特徴としている。
また、本発明第８の構成による表情測定装置は、被検者の顔面の動画像を撮影するカメラと、前記カメラの画像を取り込んで情報処理を行う情報処理装置を備え、前記情報処理装置は、前記カメラによって撮影された前記被検者の顔面の動画像を取得して、前記被検者の表情の左右の変化をそれぞれ測定するため、被検者の顔の動画像を取得する手順１と、前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する手順２と、前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出する手順３と、前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出する手順４と、前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順５と、前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順６と、からなる表情測定プログラムを備えたことを特徴としている。
【００１３】
また、本発明第２の構成による表情測定方法は、第１の発明の構成に加え、前記手順２では、前記被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、前記手順３および手順４では、前記被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から左側可動特徴点および右側可動特徴点をそれぞれ抽出することを特徴としている。
【００１４】
また、本発明第３の構成による表情測定方法は、第１または第２の発明の構成に加え、前記手順２では、前記不動特徴点を１以上抽出し、前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ１以上抽出し、前記手順５では、前記不動特徴点１つと前記左側可動特徴点１つとの間の距離を前記左側特徴量として算出し、前記手順６では、前記不動特徴点１つと前記右側可動特徴点１つとの間の距離を前記右側特徴量として算出することを特徴としている。
また、本発明第４の構成による表情測定方法は、第１または第２の発明の構成に加え、前記手順２では、前記不動特徴点を１以上抽出し、前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ２以上抽出し、前記手順５では、前記不動特徴点１つと前記左側可動特徴点２つの３点で定まる、角度、面積もしくは内積等の特徴量を前記左側特徴量として算出し、前記手順６では、前記不動特徴点１つと前記右側可動特徴点２つの３点で定まる、角度、面積もしくは内積等の特徴量を前記右側特徴量として算出することを特徴としている。
また、本発明第５の構成による表情測定方法は、第１または第２の発明の構成に加え、前記手順２では、前記不動特徴点を２以上抽出し、前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ１以上抽出し、前記手順５では、前記不動特徴点２つと前記左側可動特徴点１つの３点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記左側可動特徴点の座標等の特徴量を前記左側特徴量として算出し、前記手順６では、前記不動特徴点２つと前記右側可動特徴点１つの３点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記右側可動特徴点の座標等の特徴量を前記右側特徴量として算出することを特徴としている。
また、本発明第６の構成による表情測定方法は、第１または第２の発明の構成に加え、前記手順２では、前記不動特徴点を２以上抽出し、前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ２以上抽出し、前記手順５では、前記不動特徴点を基準とする座標系における前記不動特徴点２つと前記左側可動特徴点１つの３点または前記不動特徴点１つと前記左側可動特徴点２つの３点で定まる三角形の重心位置の座標等の特徴量を前記左側特徴量として算出し、前記手順６では、前記不動特徴点を基準とする座標系における前記不動特徴点２つと前記右側可動特徴点１つの３点または前記不動特徴点１つと前記右側可動特徴点２つの３点で定まる三角形の重心位置の座標等の特徴量を前記右側特徴量として算出することを特徴としている。
【発明の効果】
【００１５】
本発明第１の構成による表情測定方法、第７の構成による表情測定プログラムならびに第８の構成による表情測定装置によれば、被検者が表情を変えてもその表皮の位置の変化が小さい部位から不動特徴点を抽出し、被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から左右の可動特徴点をそれぞれ抽出し、不動特徴点および可動特徴点の位置関係をもとに、被検者の顔面の左右の特徴量をそれぞれ算出するので、撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定できるとともに、両者の動きについての時間的差異もあわせて観察することができる。
また、表情としての変化が僅かであっても、被検者の顔の左右の非対称性の要因を排除した定量的な指標により、被検者の表情の変化を捉え、かつ、その変化をきたした部分を被検者の左側の表情の状況と、右側の表情の状況とに分離して観察することが可能となる。
【００１６】
また、本発明第２の構成による表情測定方法によれば、被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から可動特徴点を抽出するので、前述した効果がより顕著に現れる。
【００１７】
本発明第３の構成による表情測定方法によれば、不動特徴点１つと可動特徴点１つの２点で定まる距離を用いて特徴量を算出しており、本発明第４の構成による表情測定方法によれば、不動特徴点１つと可動特徴点２つの３点で定まる角度、面積もしくは内積等を用いて特徴量を算出しており、本発明第５の構成による表情測定方法によれば、不動特徴点２つと可動特徴点１つの３点で定まる角度、面積、内積もしくは不動特徴点を基準とした座標系における可動特徴点の座標等を用いて特徴量を算出しており、本発明第６の構成による表情測定方法によれば、不動特徴点２つと可動特徴点２つの４点で定まる特定の座標系での三角形の重心位置の座標等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
【図面の簡単な説明】
【００１８】
【図１】表情測定装置の構成を示す説明図
【図２】表情測定プログラムの処理の流れを示すフロチャート
【図３】被検者の目頭、眼尻や顔面に貼り付けたマーカを示す説明図
【図４】左側特徴量および右側特徴量の算出パターン１を示す説明図
【図５】左側特徴量および右側特徴量の算出パターン２を示す説明図
【図６】左側特徴量および右側特徴量の算出パターン３を示す説明図
【図７】左側特徴量および右側特徴量の算出パターン３の別の形態を示す説明図
【図８】左側特徴量および右側特徴量の算出パターン４を示す説明図
【図９】被検者の顔面に貼り付けたマーカの位置を特定する方法を示す説明図
【図１０】被検者の顔面を撮影した画像を微分したときの説明図
【図１１】被検者の眼の領域を特定するための方法を示す説明図
【図１２】テンプレート画像の一例を示す説明図
【発明を実施するための形態】
【００１９】
本発明の実施形態を実施例１ないし実施例３にて説明する。
【実施例１】
【００２０】
実施例１を図１〜図８に基づいて説明する。
図１は、実施例１にかかる表情測定装置の構成を示す説明図である。
図１において、表情測定装置１０は、情報処理装置（計算機１１）と、ビデオカメラ１２を備える。計算機１１は外部装置としてディスプレイ１１ｆとキーボード１１ｇを備えており、検査者２は、ディスプレイ１１ｆとキーボード１１ｇにより表情測定装置１０を制御し、あるいは、表情測定結果の観察等を行う。
また、ビデオカメラ１２は被検者１の顔部を撮影するものであり、計算機１１の内部に備えるビデオキャプチャ１１ｅによって映像を取得する。ビデオカメラ１２のフレームレートは３０〜６０ＦＰＳ（Frame Per Second）程度である。
計算機１１は、このほか、ＣＰＵ（中央演算処理装置）１１ａと、クロック１１ｂと、ディスプレイ１１ｆに画像信号を送信するグラフィックカード１１ｃと、キーボード１１ｇからの入力信号を受信する入力端子１１ｄと、プログラム記憶領域１４およびデータ記憶領域１５の記憶領域が確保された記憶装置１３と、メモリ１６をその内部に備える。
メモリ１６には、被検者１の表情を測定する過程で生成される各種のデータ（たとえば、不動特徴点座標１６ａ、左側可動特徴点座標１６ｂ、右側可動特徴点座標１６ｃ、元画像データ１６ｄなど）が一時的に記憶される。これらの各データの内容については、後で説明する。
【００２１】
データ記憶領域１５には、被検者１の表情測定結果である顔面の左側および右側の特徴量が、左側特徴量１５ａおよび右側特徴量１５ｂの時系列データとして記録され、あわせて、画像データ１５ｃが動画データとして記録される。
そして、プログラム記憶領域１４には、ビデオキャプチャ１１ｅによって取得された画像を元画像データ１６ｄとして記録するビデオ画像取得プログラム１４ａと、元画像データ１６ｄから被検者１の表情の左右の変化を測定する表情測定プログラム１４ｂが記録されている。表情測定プログラム１４ｂの処理内容については後で説明する。
【００２２】
なお、表情測定装置１０には、被検者１に赤外領域の光を照射する赤外照明１７を備え、ビデオカメラ１２は赤外領域の像を撮影する赤外カメラとすることが好ましい。具体的には、赤外照明１７に特定領域の赤外光を通過させるＩＲフィルタ（たとえば、７６０ｎｍ以下の波長の光を遮断するようにしたものが好適である）を備えて、これを被検者１に向けて照射するとともに、ビデオカメラ１２のレンズの手前に同様のＩＲフィルタ（たとえば、８５０ｎｍ以上の波長の光のみを透過するようにしたものが好適である）を備えて、被検者１の反射光を撮影するようにする。
【００２３】
このように、被験者に赤外照明を照射して、その反射光を赤外カメラで撮影するので、外光（白熱電灯や自然光等）や設置環境の影響を受けずに被検者の表情の変化を的確にとらえることができるようになる。
【００２４】
続いて、表情測定プログラム１４ｂの処理の流れを図２のフロチャートに基づいて説明する。
ビデオ画像取得プログラム１４ａにより、被検者１の顔画像が元画像データ１６ｄとして記録される度に、表情測定プログラム１４ｂがステップＳ１〜ステップＳ７の処理を行う。すなわち、ビデオ画像取得プログラム１４ｂは、ビデオカメラ１２のフレームレートと同じ間隔で繰り返し処理を行うこととなる。
【００２５】
表情測定プログラム１４ｂが起動すると、被検者の顔の動画像の１フレーム分の画像を元画像データ１６ｄから取得するステップＳ１の処理が行われる。
【００２６】
続いて、ステップＳ２では、取得した元画像データ１６ｄの１フレーム分の画像について、被検者１の顔面にあって被検者１が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する。
不動特徴点は、表情の変化が現れにくい、被検者１の目頭、鼻の位置から抽出し、あるいは、これらの部位に貼り付けたマーカの位置から抽出するとよい。
例えば、図３に示すように、被検者１の目頭３１Ｌ、３１Ｒのほか、鼻の部位に貼り付けたマーカ３３の位置をこの画像データから算出し、その座標を不動特徴点座標１６ａとしてメモリ１６に記録する。
具体的な抽出方法については、このあとの実施例２〜３で説明する。
【００２７】
次に、ステップＳ３（Ｓ４）では、取得した元画像データ１６ｄの１フレーム分の画像について、被検者１の顔面の左側（右側）にあって被検者１が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点（右側可動特徴点）として抽出する。
左側可動特徴点（右側可動特徴点）は、表情の変化が現れやすい、被検者１の眉毛の両端、眼尻、頬、口角の位置から抽出し、あるいは、これらの部位に貼り付けたマーカの位置から抽出するとよい。
例えば、図３に示すように、被検者１の眼尻３２Ｌ、３２Ｒのほか、頬の部位に貼り付けたマーカ３５Ｌ、３５Ｒ、口角の部位に貼り付けたマーカ３６Ｌ、３６Ｒの位置を画像データから算出し、その座標を左側可動特徴点座標１６ｂ（右側可動特徴点座標１６ｃ）としてメモリ１６に記録する。
具体的な抽出方法については、このあとの実施例２〜３で説明する。
【００２８】
次に、ステップＳ５（Ｓ６）では、取得した元画像データ１６ｄの１フレーム分の画像について、不動特徴点および左側可動特徴点（右側可動特徴点）の位置関係をもとに、被検者１の顔面の左側（右側）の特徴量を左側特徴量（右側特徴量）として算出する。
なお、算出された特徴量は、左側特徴量１５ａ（右側特徴量１５ｂ）としてデータ記憶領域１５に記録する。
【００２９】
なお、ステップＳ７として、元画像データ１６ｄに、これらの特徴点（不動特徴点、左側可動特徴点、右側可動特徴点）を付加した画像を生成して、画像データ１５ｃとして、データ記憶領域１５に記録させる処理を加えることで、画像データと左右の特徴量を併せてディスプレイ１１ｆに表示させることが可能となる。
【００３０】
このように、被検者が表情を変えてもその表皮の位置の変化が小さい部位から不動特徴点を抽出し、被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から左右の可動特徴点をそれぞれ抽出し、不動特徴点および可動特徴点の位置関係をもとに、被検者の顔面の左右の特徴量をそれぞれ算出するので、撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定できるとともに、両者の動きについての時間的差異もあわせて観察することができる。
また、表情としての変化が僅かであっても、被検者の顔の左右の非対称性の要因を排除した定量的な指標により、被検者の表情の変化を捉え、かつ、その変化をきたした部分を被検者の左側の表情の状況と、右側の表情の状況とに分離して観察することが可能となる。
また、被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から可動特徴点を抽出するので、前述した効果がより顕著に現れる。
【００３１】
ここで、被検者１の表情を表す特徴量の算出については、次の４つのパターンが考えられる。
【００３２】
すなわち、パターン１としては、ステップＳ２にて、不動特徴点を１以上抽出し、ステップＳ３（ステップＳ４）では、左側可動特徴点（右側可動特徴点）をそれぞれ１以上抽出し、ステップＳ５（ステップＳ６）では、不動特徴点１つと左側可動特徴点（右側可動特徴点）１つとの間の距離を、左側特徴量（右側特徴量）として算出するという方法がある。
図３の例でいえば、ステップＳ２にて鼻部分のマーカ３３に対応する不動特徴点を抽出し、ステップＳ３（ステップＳ４）にて左口角（右口角）付近のマーカ３６Ｌ（３６Ｒ）に対応する左側可動特徴点（右側不動特徴点）を抽出する。
そして、図４（ａ）に示すように、ステップＳ５では、マーカ３３に対応する不動特徴点と、マーカ３６Ｌに対応する左側可動特徴点との間の距離ＸＬを左側特徴量として算出し、ステップＳ６では、不動特徴点とマーカ３６Ｒに対応する右側可動特徴点との間の距離ＸＲを右側特徴量として算出する。
図４（ｂ）は、距離ＸＬおよび距離ＸＲを表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
このように、不動特徴点１つと可動特徴点１つの２点で定まる距離を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
【００３３】
また、パターン２としては、ステップＳ２にて、不動特徴点を１以上抽出し、ステップＳ３（ステップＳ４）では、左側可動特徴点（右側可動特徴点）をそれぞれ２以上抽出し、ステップＳ５（ステップＳ６）では、不動特徴点１つと左側可動特徴点（右側可動特徴点）２つの３点で定まる、角度、面積もしくは内積等の特徴量を左側特徴量（右側特徴量）として算出するという方法がある。
図３の例でいえば、ステップＳ２にて鼻部分のマーカ３３に対応する不動特徴点を抽出し、ステップＳ３（ステップＳ４）にて左頬（右頬）部分のマーカ３５Ｌ（３５Ｒ）と、左口角（右口角）付近のマーカ３６Ｌ（３６Ｒ）に対応する左側可動特徴点（右側不動特徴点）を抽出する。
そして、図５（ａ）に示すように、ステップＳ５では、マーカ３５Ｌおよびマーカ３６Ｌに対応する左側可動特徴点と、マーカ３３に対応する不動特徴点とを結んだ２直線のなす角度θＬを左側特徴量として算出し、ステップＳ６では、マーカ３５Ｒおよびマーカ３６Ｒに対応する右側可動特徴点と、マーカ３３に対応する不動特徴点とを結んだ２直線のなす角度θＲを右側特徴量として算出する方法がある。
図５（ｂ）は、角度θＬおよび角度θＲを表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
この実施例では、三点のなす角度を以って被検者の表情を定量化しているが、このほかにも、三点で定義される三角形の面積や、三点で作られる２つのベクトルで定義される内積の値を以って定量化する例が考えられる。
このように、不動特徴点１つと可動特徴点２つの３点で定まる角度、面積もしくは内積等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
【００３４】
また、パターン３としては、ステップＳ２にて、不動特徴点を２以上抽出し、ステップＳ３（ステップＳ４）では、左側可動特徴点（右側可動特徴点）をそれぞれ１以上抽出し、ステップＳ５（ステップＳ６）では、不動特徴点２つと左側可動特徴点（右側可動特徴点）１つの３点で定まる、角度、面積、内積もしくは不動特徴点を基準とした座標系における左側可動特徴点（右側可動特徴点）の座標等の特徴量を左側特徴量（右側特徴量）として算出するという方法がある。
図３の例でいえば、ステップＳ２にて両眼の目頭３１Ｌおよび３１Ｒに対応する不動特徴点を抽出し、ステップＳ３（ステップＳ４）にて左頬（右側）部分のマーカ３５Ｌ（３５Ｒ）に対応する左側可動特徴点（右側不動特徴点）を抽出する。
そして、図６（ａ）に示すように、ステップＳ５では、目頭３１Ｒに対応する不動特徴点およびマーカ３５Ｌに対応する左側可動特徴点と、目頭３１Ｌに対応する不動特徴点とを結んだ２直線のなす角度θＬを左側特徴量として算出し、ステップＳ６では、目頭３１Ｌに対応する不動特徴点およびマーカ３５Ｒに対応する右側可動特徴点と、目頭３１Ｒに対応する不動特徴点とを結んだ２直線のなす角度θＲを右側特徴量として算出する方法がある。
図６（ｂ）は、角度θＬおよび角度θＲを表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
この実施例では、三点のなす角度を以って被検者の表情を定量化しているが、このほかにも、三点で定義される三角形の面積や、三点で作られる２つのベクトルで定義される内積の値を以って定量化する例が考えられる。
【００３５】
また、パターン３の変形例として、被検者１の表情が変化しても、これら２つ不動特徴点の位置変化は小さいという性質を用いてもよい。すなわち、図７（ａ）に示すように、ステップＳ５では、左側可動特徴点の座標を不動特徴点基準の座標系に変換し、マーカ３５Ｌに対応する左側可動特徴点の座標（ＸＬ，ＹＬ）を左側特徴量として算出し、ステップＳ６では、右側可動特徴点の座標を不動特徴点基準の座標系に変換し、マーカ３５Ｒに対応する右側可動特徴点の座標（ＸＲ，ＹＲ）を右側特徴量として算出する方法がある。なお、図７（ａ）では、目頭３１Ｌおよび３１ＲをＸ軸方向上（横方向）におき、その中点を原点として不動特徴点基準の座標系を構築している。
図７（ｂ）は、座標（ＸＬ，ＹＬ）および座標（ＸＲ，ＹＲ）を表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
このように、不動特徴点２つと可動特徴点１つの３点で定まる角度、面積、内積もしくは不動特徴点を基準とした座標系における可動特徴点の座標等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
【００３６】
また、パターン４としては、ステップＳ２にて、不動特徴点を２以上抽出し、ステップＳ３（ステップＳ４）では、左側可動特徴点（右側可動特徴点）をそれぞれ２以上抽出し、ステップＳ５（ステップＳ６）では、不動特徴点を基準とした座標系における不動特徴点２つと左側可動特徴点（右側可動特徴点）の座標等の特徴量を左側特徴量（右側特徴量）として算出するという方法がある。
図３の例でいえば、ステップＳ２にて両眼の目頭３１Ｌおよび３１Ｒに対応する不動特徴点を抽出し、ステップＳ３（ステップＳ４）にて左眼尻（右眼尻）部分３２Ｌ（３２Ｒ）と、左口角（右口角）付近のマーカ３６Ｌ（３６Ｒ）に対応する左側可動特徴点（右側不動特徴点）を抽出する。
そして、図８（ａ）に示すように、ステップＳ５では、左側可動特徴点の座標を不動特徴点基準の座標系に変換し、左眼尻３２Ｌ、マーカ３６Ｌおよび目頭３１Ｌの三点で定義される三角形の重心位置座標（ＸＬ，ＹＬ）を左側特徴量として算出し、ステップＳ６では、右側可動特徴点の座標を不動特徴点基準の座標系に変換し、右眼尻３２Ｒ、マーカ３６Ｒおよび目頭３１Ｒの三点で定義される三角形の重心位置座標（ＸＲ，ＹＲ）を左側特徴量として算出する方法がある。
図８（ｂ）は、座標（ＸＬ，ＹＬ）および座標（ＸＲ，ＹＲ）を表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
このように、不動特徴点２つと可動特徴点２つの４点で定まる特定の座標系での三角形の重心位置の座標等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
【００３７】
なお、パターン３やパターン４のように、２つ不動特徴点を用いる場合には、ステップＳ７で画像データ１５ｃを生成するにあたり、元画像データ１６ｄの各画素を不動特徴点基準の座標系に変換しておくことが好ましい。元画像データ１６ｄを不動特徴点の座標系に変換することで、被検者１の頭の動きといった外乱要素を取り除いた形で被検者１を観察することができる。
【実施例２】
【００３８】
実施例２を図９に基づいて説明する。
実施例２は、被検者１の顔が撮影された元画像データ１６ｄから、被検者１の顔面に貼り付けたマーカの位置を特定するための方法について説明している。
【００３９】
前述した通り、実施例１の図３における元画像データ１６ｄでは、被検者１の鼻の中央付近にマーカ３３を貼り付け、左頬、右頬にそれぞれマーカ３５Ｌ、３５Ｒを貼り付け、左右それぞれの口角付近にマーカ３６Ｌ、３６Ｒを貼り付けた状態で撮影が行われている。
そして、マーカ３３、３５Ｌ、３５Ｒ、３６Ｌ、３６Ｒは白と黒の２色で構成されており、元画像データ１６ｄの各画素の明るさで閾値を定め、画像処理を行うことで、これらマーカを抜き出すことが可能である。すなわち、元画像データ１６ｄの画素のうち、マーカの外輪を抽出するため、一定値以上の暗さとなる部分を図９（ａ）のように抜き出す。抜き出した画像には、マーカ３５Ｒ、３６Ｒ、３３、３６Ｌ、３５Ｌに対応する領域９１ａ〜９５ａのほか、マーカに対応しない領域９６〜９９が含まれることがある。したがって、抜き出した領域がマーカであることを確認するために、図９（ａ）の各領域９１ａ〜９５ａ、９６〜９９の中から、一定値以上の明るさとなる部分を図９（ｂ）のように抜き出す。領域９１ｂ〜９５ｂのように、白と黒の２色で構成される領域であれば、これらがマーカであると判断して、各領域９１ａ〜９５ａの中心部分が不動特徴点、左側可動特徴点あるいは右側可動特徴点として特定される。
【実施例３】
【００４０】
実施例３を図１０〜図１２に基づいて説明する。
実施例３は、被検者１の顔が撮影された元画像データ１６ｄから、マーカを用いることなしに被検者１の眼の位置を、特定するための方法について説明している。
【００４１】
眼の位置の抽出にあたっては、まず、元画像データ１６ｄの各画素の濃度値を縦方向で微分して、その微分された画素によって構成される画像を生成し、その微分画像の画素値を横方向で積算して得られるヒストグラムを作成する。
図１０において、１０１は元画像データ１６ｄの微分画像であり、被検者１の瞼の淵部分などといった被検者の眼の特徴的部分が現れる。積算方向１０２に従って、各画素の明るさを積算してゆくと、その横方向ヒストグラムが１０３の通りとなり、ヒストグラムが最大値１０４を取るライン１０５上に瞼があると推測できる。
【００４２】
その後、微分画像１０１から、ライン１０５の周囲の領域１０６を切り出すとともに、切り出した微分画像の画素値を縦方向で積算して得られるヒストグラムを作成する。
図１１において、１１１はその切り出し画像であり、被験者のプルキンエ像を取る瞳孔の中心部分が現れる。積算方向１１２に従って各画素の明るさを積算してゆくと、そのヒストグラムが１１３の通りとなり、ヒストグラムが極大値１１４Ｌ、１１４Ｒを取る２つのライン１１５Ｌ、１１５Ｒ上に眼の中心があると推測できる。そして、３つのライン１０５、１１５Ｌ、１１５Ｒの交差する２点を基準として、被検者の左眼の領域１１６Ｌ、右眼の領域１１６Ｒを特定することができる。
【００４３】
そして、あらかじめ図１２に示すようなテンプレート画像を用意しておき、図１１で特定した各領域１１６Ｌ、１１６Ｒの範囲内で、被検者１の目頭や眼尻の詳細な位置を特定する。特定にあたっては、テンプレートマッチング技術を適用し、相関の最も高い場所を眼尻や目頭を表す不動特徴点、左側可動特徴点あるいは右側可動特徴点として特定する。
【００４４】
なお、眼部領域の推定やテンプレートマッチングにおいては、被検者１の瞬きや、元画像データ１６ｄに含まれるノイズの影響もあり、眼尻や目頭の位置が推定できない場合や、推定した位置と実際の位置との差（誤差）が大きくなる場合が考えられる。
こういった問題を解消するため、ひとつ前のコマにて撮影したフレーム画像で特定された眼尻や目頭の位置の情報を活用しながら、あるいは、別の画像処理技術を活用しながら、眼尻や目頭の位置を特定することが好ましい。
【産業上の利用可能性】
【００４５】
本発明は、人の表情から精神状態や感情を推定するために用いられ、特に、撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定するとともに、両者の動きについての時間的差異もあわせて測定することができる。
【符号の説明】
【００４６】
１ 被検者
２ 検査者
１０ 表情測定装置
１１ 計算機
１１ａ ＣＰＵ
１１ｂ クロック
１１ｃ グラフィックカード
１１ｄ 入力端子
１１ｅ ビデオキャプチャ
１１ｆ ディスプレイ
１１ｇ キーボード
１２ ビデオカメラ
１３ 記憶装置
１４ プログラム記憶領域
１４ａ ビデオ画像取得プログラム
１４ｂ 表情測定プログラム
１５ データ記憶領域
１５ａ 左側特徴量
１５ｂ 右側特徴量
１５ｃ 画像データ
１６ メモリ
１６ａ 不動特徴点座標
１６ｂ 左側可動特徴点座標
１６ｃ 右側可動特徴点座標
１６ｄ 元画像データ
１７ 赤外照明
３３、３５Ｌ、３５Ｒ、３６Ｌ、３６Ｒ マーカ
３１Ｌ、３１Ｒ 目頭
３２Ｌ、３２Ｒ 眼尻
９１ａ〜９５ａ、９１ｂ〜９５ｂ、９６〜９９ 領域
１０１ 微分画像
１０２、１１２ 積算方向
１０３ 横方向ヒストグラム
１０４ 最大値
１０５ 横方向ライン
１０６ 切り出し領域
１１１ 切り出し画像
１１３ 縦方向ヒストグラム
１１４Ｌ、１１４Ｒ 極大値
１１５Ｌ、１１５Ｒ 縦方向ライン
１１６Ｌ 左眼領域
１１６Ｒ 右眼領域
【特許請求の範囲】
【請求項１】
被検者の顔の動画像を取得する手順１と、
前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する手順２と、
前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出する手順３と、
前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出する手順４と、
前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順５と、
前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順６と、
によって、前記被検者の表情の左右の変化をそれぞれ測定する表情測定方法。
【請求項２】
前記手順２では、前記被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、
前記手順３および手順４では、前記被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から左側可動特徴点および右側可動特徴点をそれぞれ抽出する
ことを特徴とする請求項１に記載の表情測定方法。
【請求項３】
前記手順２では、前記不動特徴点を１以上抽出し、
前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ１以上抽出し、
前記手順５では、前記不動特徴点１つと前記左側可動特徴点１つとの間の距離を前記左側特徴量として算出し、
前記手順６では、前記不動特徴点１つと前記右側可動特徴点１つとの間の距離を前記右側特徴量として算出する
ことを特徴とする請求項１または請求項２に記載の表情測定方法。
【請求項４】
前記手順２では、前記不動特徴点を１以上抽出し、
前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ２以上抽出し、
前記手順５では、前記不動特徴点１つと前記左側可動特徴点２つの３点で定まる、角度、面積もしくは内積等の特徴量を前記左側特徴量として算出し、
前記手順６では、前記不動特徴点１つと前記右側可動特徴点２つの３点で定まる、角度、面積もしくは内積等の特徴量を前記右側特徴量として算出する
ことを特徴とする請求項１または請求項２に記載の表情測定方法。
【請求項５】
前記手順２では、前記不動特徴点を２以上抽出し、
前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ１以上抽出し、
前記手順５では、前記不動特徴点２つと前記左側可動特徴点１つの３点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記左側可動特徴点の座標等の特徴量を前記左側特徴量として算出し、
前記手順６では、前記不動特徴点２つと前記右側可動特徴点１つの３点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記右側可動特徴点の座標等の特徴量を前記右側特徴量として算出する
ことを特徴とする請求項１または請求項２に記載の表情測定方法。
【請求項６】
前記手順２では、前記不動特徴点を２以上抽出し、
前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ２以上抽出し、
前記手順５では、前記不動特徴点を基準とする座標系における前記不動特徴点２つと前記左側可動特徴点１つの３点または前記不動特徴点１つと前記左側可動特徴点２つの３点で定まる三角形の重心位置の座標等の特徴量を前記左側特徴量として算出し、
前記手順６では、前記不動特徴点を基準とする座標系における前記不動特徴点２つと前記右側可動特徴点１つの３点または前記不動特徴点１つと前記右側可動特徴点２つの３点で定まる三角形の重心位置の座標等の特徴量を前記右側特徴量として算出する
ことを特徴とする請求項１または請求項２に記載の表情測定方法。
【請求項７】
被検者の顔面の動画像を取得するステップＳ１と、
前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出するステップＳ２と、
前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出するステップＳ３と、
前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出するステップＳ４と、
前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出するステップＳ５と、
前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出するステップＳ６と、
によって、前記被検者の表情の左右の変化をそれぞれ測定する表情測定プログラム。
【請求項８】
被検者の顔面の動画像を撮影するカメラと、前記カメラの画像を取り込んで情報処理を行う情報処理装置を備え、
前記情報処理装置は、前記カメラによって撮影された前記被検者の顔面の動画像を取得して、前記被検者の表情の左右の変化をそれぞれ測定するため、
被検者の顔の動画像を取得する手順１と、
前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する手順２と、
前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出する手順３と、
前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出する手順４と、
前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順５と、
前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順６と、
からなる表情測定プログラムを備えた表情測定装置。
【請求項１】
被検者の顔の動画像を取得する手順１と、
前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する手順２と、
前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出する手順３と、
前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出する手順４と、
前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順５と、
前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順６と、
によって、前記被検者の表情の左右の変化をそれぞれ測定する表情測定方法。
【請求項２】
前記手順２では、前記被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、
前記手順３および手順４では、前記被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から左側可動特徴点および右側可動特徴点をそれぞれ抽出する
ことを特徴とする請求項１に記載の表情測定方法。
【請求項３】
前記手順２では、前記不動特徴点を１以上抽出し、
前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ１以上抽出し、
前記手順５では、前記不動特徴点１つと前記左側可動特徴点１つとの間の距離を前記左側特徴量として算出し、
前記手順６では、前記不動特徴点１つと前記右側可動特徴点１つとの間の距離を前記右側特徴量として算出する
ことを特徴とする請求項１または請求項２に記載の表情測定方法。
【請求項４】
前記手順２では、前記不動特徴点を１以上抽出し、
前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ２以上抽出し、
前記手順５では、前記不動特徴点１つと前記左側可動特徴点２つの３点で定まる、角度、面積もしくは内積等の特徴量を前記左側特徴量として算出し、
前記手順６では、前記不動特徴点１つと前記右側可動特徴点２つの３点で定まる、角度、面積もしくは内積等の特徴量を前記右側特徴量として算出する
ことを特徴とする請求項１または請求項２に記載の表情測定方法。
【請求項５】
前記手順２では、前記不動特徴点を２以上抽出し、
前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ１以上抽出し、
前記手順５では、前記不動特徴点２つと前記左側可動特徴点１つの３点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記左側可動特徴点の座標等の特徴量を前記左側特徴量として算出し、
前記手順６では、前記不動特徴点２つと前記右側可動特徴点１つの３点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記右側可動特徴点の座標等の特徴量を前記右側特徴量として算出する
ことを特徴とする請求項１または請求項２に記載の表情測定方法。
【請求項６】
前記手順２では、前記不動特徴点を２以上抽出し、
前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ２以上抽出し、
前記手順５では、前記不動特徴点を基準とする座標系における前記不動特徴点２つと前記左側可動特徴点１つの３点または前記不動特徴点１つと前記左側可動特徴点２つの３点で定まる三角形の重心位置の座標等の特徴量を前記左側特徴量として算出し、
前記手順６では、前記不動特徴点を基準とする座標系における前記不動特徴点２つと前記右側可動特徴点１つの３点または前記不動特徴点１つと前記右側可動特徴点２つの３点で定まる三角形の重心位置の座標等の特徴量を前記右側特徴量として算出する
ことを特徴とする請求項１または請求項２に記載の表情測定方法。
【請求項７】
被検者の顔面の動画像を取得するステップＳ１と、
前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出するステップＳ２と、
前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出するステップＳ３と、
前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出するステップＳ４と、
前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出するステップＳ５と、
前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出するステップＳ６と、
によって、前記被検者の表情の左右の変化をそれぞれ測定する表情測定プログラム。
【請求項８】
被検者の顔面の動画像を撮影するカメラと、前記カメラの画像を取り込んで情報処理を行う情報処理装置を備え、
前記情報処理装置は、前記カメラによって撮影された前記被検者の顔面の動画像を取得して、前記被検者の表情の左右の変化をそれぞれ測定するため、
被検者の顔の動画像を取得する手順１と、
前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する手順２と、
前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出する手順３と、
前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出する手順４と、
前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順５と、
前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順６と、
からなる表情測定プログラムを備えた表情測定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１６６９３９（Ｐ２０１０−１６６９３９Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−９４６２（Ｐ２００９−９４６２）
【出願日】平成２１年１月２０日（２００９．１．２０）
【出願人】（３９９０７６３１２）安川情報システム株式会社 (77)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２０日（２００９．１．２０）
【出願人】（３９９０７６３１２）安川情報システム株式会社 (77)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]