健康状態監視装置
【課題】被検者が行う所定動作の経時的な変化に基づいて被検者の健康状態を監視する可能な健康状態監視装置を提供する。
【解決手段】健康状態監視装置は、撮像部２と、撮像部により得られた被検者を含む画像から、当該被検者の顔画像の中の特定部位に対応した特徴点を抽出する抽出部２１，２２と、被検者が行う所定動作に対応した特徴点の移動量を抽出された特徴点を用いて検出する検出部２３と、検出部で検出された移動量を日付情報に関連付けて格納する格納部４１と、格納部で格納された移動量の経時的な変化に基づいて被検者の健康状態を判定する判定部４３とを有する。
【解決手段】健康状態監視装置は、撮像部２と、撮像部により得られた被検者を含む画像から、当該被検者の顔画像の中の特定部位に対応した特徴点を抽出する抽出部２１，２２と、被検者が行う所定動作に対応した特徴点の移動量を抽出された特徴点を用いて検出する検出部２３と、検出部で検出された移動量を日付情報に関連付けて格納する格納部４１と、格納部で格納された移動量の経時的な変化に基づいて被検者の健康状態を判定する判定部４３とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の外観や動作に基づいて健康状態を監視する状態監視装置に関する。
【背景技術】
【０００２】
一般に、デイサービスなどでは、体温、血圧、脈拍などを測定することにより体調の変化を把握するバイタルチェックが行われている。このようなバイタルチェックでは、介護者等が被検者について上記測定を行うほか、被検者と会話したり被検者の表情を診たりすることにより、被検者の健康状態を把握している。
【０００３】
近年、人の健康状態を測定するための機器である体温計や血圧計（脈拍計測を含む）のデジタル化が進み、そのような機器からの測定結果を記憶して健康状態の監視に役立てることが試みられている。また、体温、血圧、脈拍、顔のむくみ等を検出して外部の健康診断センターに送信する健康診断システムが特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０６５８１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、一般的な健康状態監視装置では、体温、血圧、脈拍、顔のむくみ等の静的な情報を取得するのみであり、被検者の動的な状態、すなわち表情の変化や動作等を監視するものではない。一般にそのような動的な状態からの健康状態の判断は、介護者の観察に頼っているのが現状である。
【０００６】
昨今の核家族化や高齢化の進行により、高齢者の一人暮らしが増加している。このため、日常的に動作（反応）の変化などから健康状態を判断してくれる人がいない高齢者が増加しており、そのような高齢者の病状の発見の遅れが懸念される。
【０００７】
本発明は上記課題に鑑みてなされたものであり、被検者が行う所定動作の経時的な変化に基づいて被検者の健康状態を監視する可能な健康状態監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するための本発明の一態様による健康状態監視装置は、以下の構成を備える。すなわち、
撮像手段と、
前記撮像手段により得られた被検者を含む画像から、当該被検者の顔画像中の特定部位に対応した特徴点を抽出する抽出手段と、
前記被検者が行う所定動作に対応した前記特徴点の移動量を検出する検出手段と、
前記検出手段で検出された移動量を日付情報に関連付けて格納する格納手段と、
前記格納手段で格納された移動量の経時的な変化に基づいて前記被検者の健康状態を判定する判定手段とを備える。
【発明の効果】
【０００９】
本発明によれば、被検者が行う所定動作の経時的な変化に基づいて被検者の健康状態を監視する可能な健康状態監視装置が提供される。
【図面の簡単な説明】
【００１０】
【図１】実施形態による健康状態監視装置の外観の位置例を示す図である。
【図２】実施形態による健康状態監視装置の機能構成例を示すブロック図である。
【図３】実施形態による収集情報の格納状態を説明する図である。
【図４】実施形態による健康状態監視装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付の素面を参照して、本発明の好適な実施形態の一例を説明する。
【００１２】
図１は、本実施形態による健康状態監視装置の外観を示す図である。本実施形態では、鏡１のフレームに撮像手段としてのデジタルカメラ２、音声入力手段としてのマイク３、報知手段としてのスピーカ４が埋め込まれた構成を採用する。なお、デジタルカメラ２、マイク３、スピーカ４はそれぞれ鏡のフレーム部分に組み込まれている必要はなく、それぞれ、被検者の顔を撮影したり、被検者の声を録音したり、被検者に対して所定の通知を行えればよい。また、鏡は特に必須ではないが、鏡を用いたことにより、被検者が自身の顔を観察しながら装置による健康状態の監視も行えるようになる。なお、鏡１が洗面台の一部を構成するようにしてもよい。
【００１３】
また、本実施形態では、鏡を用いたが、これに限られるものではない。ディスプレイのフレームにカメラを有するノートパソコンのような構成を用いることも可能である。この場合、カメラで撮影された画像をリアルタイムにノートパソコンのディスプレイに表示することで、鏡の代わりにもなる。
【００１４】
図２は、本実施形態による健康監視装置の構成例を示すブロック図である。制御部２００は、デジタルカメラ２やマイク３から取得される各種情報から、被検者の動作に関連する情報を収集し、被検者の健康状態を判定する。
【００１５】
制御部２００において、顔抽出部２１は、デジタルカメラ２により撮影された画像から、周知の技術により顔画像を抽出する。特徴抽出部２２は、顔抽出部２１が抽出した顔画像について、顔の大きさをそろえるために正規化を施し、被検者の顔画像中の特定部位（目や口など）の特徴点を抽出する。移動量検出部２３は、デジタルカメラ２が順次撮影を行うことで得られた複数の画像から、顔抽出部２１と特徴抽出部２２によって抽出された顔の特徴点の移動量を検出し、収集情報格納部４１に格納する。顔認証部２４は、顔抽出部２１により抽出された顔画像が、登録されている被検者のものであるか否かにより、個人認証を行う。
【００１６】
音声認識部３１はマイク３により収集された音情報から、「ア」「イ」「ウ」などの所定の音声が被検者により発声されたことを、周知の音声認識技術により認識する。発生部分抽出部３２は、マイク３によって収集された音情報から、音声認識部３１が所定の発声を認識した部分の音情報を切り出し、音声情報とする。特徴量算出部３３は、発生部分抽出部３２が抽出した音声情報（音声の信号）から音声特徴量を計算し、これを収集情報格納部４１に格納する。声紋認証部３４は、マイク３により取得された音情報に含まれる音声の情報から声紋を取得し、登録された被検者の声紋と比較することで個人認証を行う。
【００１７】
なお、移動量検出部２３は、音声認識部３１により所定の発声が検出された期間を含む所定期間について特徴点の移動を検出する。このような処理により、たとえば、被検者が「ア」という発声を行う動作に関連した顔の動き（すなわち所定の動作における顔の動き）が検出されることになる。
【００１８】
計時部４２は時計機能を有し、日付情報（時刻を含む）を収集情報格納部４１に提供する。健康状態判定部４３は、収集情報格納部４１に格納された収集情報の経時的な変化、収集情報により示される異常の有無に基づいて被検者の健康状態を判定する。通知部４４は健康状態判定部４３で判定された健康状態を報知する。通知部４４は、たとえばスピーカ４により判定された健康状態を被検者に通知する。或いは、通知部４４は、外部施設（病院等）へ電話回線もしくはインターネット等のネットワークを通じて、健康状態を通知する。動作指示部４５は通知部４４を介して、被検者に所定動作を行わせる指示を行う。たとえば、スピーカ４から『「ア」と発声してください』といた発声内容の指示や、『目を上下に動かしてください』といった動作指示を音声により行う。なお、動作指示は、ディスプレイ（不図示）により文章で被検者に指示を行うようにしてもよい。また、目を動かす指示については、たとえば鏡１のフレームの上下左右にＬＥＤ等の発光部を設け、これを順次点灯させて、被検者の視線を追跡させるようにしてもよい。
【００１９】
図３は、収集情報格納部４１における収集情報のデータ構成例を示す図である。図３の（ａ）に示されるように、収集情報は、顔認証部２４或いは声紋認証部３４により認証された被検者別に、且つ、収集情報が取得された日付、時刻別に格納される。なお、日付、時刻の情報は計時部４２から取得される日付情報である。図４の（ｂ）は収集情報の内容を更に細かく示している。日々の収集情報は、各動作内容毎に、特徴量算出部３３が算出した音声特徴量、特徴抽出部２２が抽出した特徴点の位置（顔特徴）、移動量検出部２３が抽出した特徴点の移動量（顔特徴移動量）を含む。また、収集情報は、健康状態判定部４３による健康状態の判定結果（状態判定）を含むものとするが、状態判定は各動作内容毎に判定結果を格納してもよいし、これに代えて或いはこれに加えて総合的な状態判定を格納するようにしてもよい。以上のように、収集情報格納部４１は、被検者の動作として検出された顔の各部の移動量や音声の特徴量が日付情報に関連付けて、個人別に格納される。
【００２０】
健康状態判定部４３は、上述したような収集情報を用いて、たとえば、最近の数ヶ月間の音声特徴量や顔特徴移動量から当該被検者に関する正常値の範囲を設定し、新たに取得された音声特徴量や顔特徴移動量が正常範囲か否かを判定する。また、前日に収集された音声特徴量や顔特徴移動量に対して、極端に変動が激しい場合は、異常であると判断する。
【００２１】
以上のような制御部２００の構成は、汎用のコンピュータによっても実現できる。したがって、本実施形態の健康状態監視装置は、パーソナルコンピュータにデジタルカメラやマイク３を接続したような構成であってもよい。
【００２２】
図４は、以上のような構成を備えた本実施形態による健康状態監視装置の動作を説明するフローチャートである。
【００２３】
ステップＳ４０１において、制御部２００は顔認証部２４と声紋認証部３４により、特定の被検者であることが認証されると、健康状態の検査を開始する。すなわち、健康状態の監視に関連する情報（本例では顔や音声に関する情報）の収集処理を開始する。なお、顔認証と音声認証のいずれかを用いて認証を行ってもよい。また、顔認証と音声認証の両方を用いる場合は、両方の認証結果が一致した場合にのみ認証成功と判断してもよいし、少なくともいずれか一方で認証成功した場合に、認証成功と判断するようにしてもよい。
【００２４】
なお、検査の開始は上述したような認証に限定されるものではなく、被検者が特定のスイッチを操作することによりなされてもよい。また、認証は、顔認証や声紋認証に限られず、パスワードの入力や静脈認証等が用いられてもよい。また、上述したような特定のスイッチを操作する被検者が特定の被検者に限定されるような環境であれば、認証処理及びこれに関連する機能（顔認証部２４、声紋認証部３４）を省略することも可能である。
【００２５】
検査が開始されると、ステップＳ４０２において、制御部２００はデジタルカメラ２による検査用の撮影とマイク３による検査用の録音処理を開始する。
【００２６】
次に、ステップＳ４０３において、動作指示部４５は通知部４４により、被検者に動作の指示を行う。たとえば、スピーカ４を用いて、『「ア」と発音して下さい』『目を上下、左右に移動させてください』といった指示を発声する。
【００２７】
次にステップＳ４０４において、制御部２００は、被検者が指示に対応した動作を行ったかどうかを判断する。たとえば、『「ア」と発音して下さい』という指示の後に、音声認識部３１が「ア」という発生を認識すれば、指示動作が確認されたとして処理をステップＳ４０５へ進める。あるいは、ステップＳ４０３で『目を上下、左右に移動させてください』という指示を行ったのであれば、移動量検出部２３からの情報に基づいて眼球が上下左右に移動したか否かを検出する。そして、眼球が上下左右に移動したことが認識されると、処理はステップＳ４０５へ進む。ここで、動作の指示を行ってから所定時間内に対応する動作の確認が取れない場合には、・被検者に再度動作を促す、或いは、・被検者に異常が発生しているものとして病院等の外部施設へ通知を行うようにしてもよい。
【００２８】
ステップＳ４０５において、制御部２００は動作の指示に対応した音声及び／または画像を格納する。たとえば、「ア」という発声が行われた期間は、たとえば音声認識部３１が「ア」という発声を検出したとの音声波形から取得でき、ステップＳ４０５ではこの期間の音声情報及び画像情報が格納される。また、被検者に眼球を上下左右への移動させた場合には、眼球の上下左右の移動が確認された期間の画像情報が格納される。
【００２９】
なお、本実施形態では、画像または音声から指示に対応した動作が実際に行われたことを確認しているが、これに限られるものではない。たとえば、動作の指示を行ってから所定時間にわたる画像または音声を、当該動作の指示に対応した動きに対応する画像情報や音声情報として格納するようにしてもよい。
【００３０】
ステップＳ４０６において、制御部２００は、ステップＳ４０５で格納した画像情報や音声情報から必要な特徴量を算出し、算出した特徴量を収集情報格納部４１に格納する。たとえば、顔抽出部２１は、格納された画像情報から顔の部分の画像を抽出し、これを正規化する。なお、正規化の目的は、時系列に蓄積されたデータ間での比較を可能にするために、画像中の顔の大きさや向きを所定サイズ及び所定方向（たとえば正面）に揃えることである。続いて、特徴抽出部２２は、顔抽出部２１が抽出し、正規化した顔画像から、目、口、鼻などに対応する特徴点を検出し、それらの位置を取得する。移動量検出部２３は、指示された動作が行われた期間の複数の画像から、各特徴点の動きを検出する。たとえば、「ア」という発声が行われた期間の画像から、各特徴点の動き（たとえば最大移動量とその方向など）を検出する。そして、発声「ア」における顔特徴移動量として収集情報格納部４１に格納する。なお、上述の指示動作確認において移動量検出部２３までの処理を終えている情報があれば、それを利用してもよいことはいうまでもない。
【００３１】
また、音声情報に関しては、発生部分抽出部３２で抽出された音声情報がステップＳ４０５の処理によって格納されている。特徴量算出部３３はその格納されている音声情報から特徴量を抽出し、発声「ア」における音声特徴量として収集情報格納部４１に格納する。
【００３２】
ステップＳ４０７において、まだ未処理の動作指示があれば処理はステップＳ４０３に戻り、上述したステップＳ４０３以降の処理が繰り返される。全ての動作指示についてデータの収集を終えた場合には、処理はステップＳ４０８に進む。
【００３３】
ステップＳ４０８において、健康状態判定部４３は、収集情報格納部４１に格納された過去の所定期間（たとえば最近の１ヶ月間）の音声特徴量や特徴点移動量に基づいて、当該被検者の判定基準値（正常範囲を示す閾値）を作成する。そして、健康状態判定部４３は、作成した判定基準値と今回得られた音声特徴量や特徴点移動量とを比較することにより、被検者に異常が発生しているかどうかを判断する。健康状態判定部４３は、さらに、その判定結果を通知部４４に提供し、通知部４４は判定結果を、たとえばスピーカ４を介して通知する。これにより被検者或いはその介護者らは、健康状態判定部４３による判定結果を知ることができる。また、被検者の健康状態に異常が発見された場合、通知部４４はその旨を病院などの外部施設に電話回線、またはインターネットを介して通知する。
【００３４】
なお、上記した判定基準の作成は、たとえば、最近の所定期間のデータの平均値を中心として所定の大きさの範囲を閾値範囲として設定することが挙げられる。この場合、音声特徴量や顔の特徴点の移動量が当該閾値範囲に入るか否かで健康状態が判断される。
【００３５】
また、上記処理手順は一例であり、本発明による処理の手順は上記に限られない。たとえば、上記実施形態では動作指示を行ったが、これを省略してもよい。この場合、例えば、被検者は、自主的に「ア、イ、ウ、エ、オ」と発音したり、眼球を左右上下に移動させたりする。制御部２００は、音声認識部３１により「ア、イ、ウ、エ、オ」と発声されたことを検出し、自動的に必要な画像情報や音声情報を抽出することになる。或いは、制御部２００は、移動量検出部２３により眼球の左右上下の移動を検出して自動的に必要な画像情報を抽出することになる。
【００３６】
また、指示された動作の期間における画像から特徴抽出部２２で抽出された各特徴点の位置を顔特徴として収集情報格納部４１に格納させてもよい。このようにすれば、顔特徴の情報から、通常よりも目の開き具合は悪いといったような、指示された動作とは直接に関係ない部位の変化を検出できる。
【００３７】
また、上記実施形態では、画像情報と音声情報の両方を用いて健康状態を監視するが、いずれか一方を用いて健康状態を監視するようにしてもよい。さらに、これらに加えて、赤外線センサにより被検者の体温（顔の温度）を計測して記録するようにしてもよい。このような体温の記録により、発熱などを監視できる。更に、血圧計を設置して血圧計測を可能にしたり、被検者が鏡１に向かう際の立ち位置に体重計を配置して、体重の変化を監視できるようにしたりしてもよい。
【００３８】
ここで判定における異常について、さらに詳しく説明する。本実施形態によれば、様々な病症などの早期発見が可能である。例えば、被検者に発声の指示を出したにも関わらず、応答がない場合、失語症の可能性がある。失語症の原因疾患としては、脳血管障害や脳外傷、脳炎、さらには、てんかんやアルツハイマー病などが考えられる。他にも、脳卒中の兆候として、顔面の半分が麻痺、発語が不明瞭、言葉が出ない、応答に時間が掛かる、といった症状が表れる。この場合、顔面麻痺は、顔特徴移動量から判定可能であり、言葉に関しては、音声認識部３１や、動作や発声の指示に対しての被検者からの応答時間をみることで判定可能である。また、動作の１つとして嚥下状態を観察することで、嚥下障害そのものだけでなく、舌咽神経、迷走神経、舌下神経の麻痺の可能性や、重症筋無力症などの筋疾患、多発脳梗塞などの脳疾患の可能性を発見することができる。嚥下障害の症状としては、発語が不明瞭、声が鼻に掛かる、摂食・飲水をしようとするとむせる、といったものが考えられるため、発声や、何かを食する動作を指示すると良い。
【００３９】
以上のように、本実施形態によれば、被検者が鏡１に向かって発声などを含むいくつかの動作を行うと、予め記憶させた健康状態時の動作と比較／判別が行われ、当該被検者の健康状態が判定される。たとえば、今回検出された被検者の動作が、健康状態時の動作に対して所定の閾値を越える変化があると、被検者の健康状態に異常が発生していると判定する。この判定結果は、当該被検者や看護者、或いは病院等の外部の施設に通知される。したがって、高齢者の簡易診断（バイタルチェック）を容易且つ日常的に行うことが可能となり、健康状態における異常の発生を早期に発見することが可能となる。
【００４０】
また、上記実施形態によれば、健康状態時の動作に関して、最近の所定期間（たとえば最近の１ヶ月〜数ヶ月）の動作に基づいて判定の基準値（閾値）を設定するので、加齢に伴う動作の変動を考慮し、健康状態の誤判定を低減することができる。
【００４１】
また、収集情報格納部４１は、上述した情報に加えて、数日分の撮影画像や録音音声を格納するようにしてもよい。このようにすれば、異常が発生した際に、医師などが数日間の顔（表情）や声の変化を確認することができる。
【００４２】
さらに、健康状態入力部（不図示）を設け、医師や看護師等の医療スタッフが装置の動作指示に基づいた被検者の動作について、健康な状態であるか病的な状態であるかを、装置に記憶させることができるようにしてもよい。この時の被検者の動作による特徴点の移動量を記憶させ、健康状態判定部４３で用いる情報とすることができる。なお本発明は、上記実施形態に限定されない。
【符号の説明】
【００４３】
１：鏡、２：デジタルカメラ、３：マイク、４：スピーカ、２００：制御部
【技術分野】
【０００１】
本発明は、人の外観や動作に基づいて健康状態を監視する状態監視装置に関する。
【背景技術】
【０００２】
一般に、デイサービスなどでは、体温、血圧、脈拍などを測定することにより体調の変化を把握するバイタルチェックが行われている。このようなバイタルチェックでは、介護者等が被検者について上記測定を行うほか、被検者と会話したり被検者の表情を診たりすることにより、被検者の健康状態を把握している。
【０００３】
近年、人の健康状態を測定するための機器である体温計や血圧計（脈拍計測を含む）のデジタル化が進み、そのような機器からの測定結果を記憶して健康状態の監視に役立てることが試みられている。また、体温、血圧、脈拍、顔のむくみ等を検出して外部の健康診断センターに送信する健康診断システムが特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０６５８１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、一般的な健康状態監視装置では、体温、血圧、脈拍、顔のむくみ等の静的な情報を取得するのみであり、被検者の動的な状態、すなわち表情の変化や動作等を監視するものではない。一般にそのような動的な状態からの健康状態の判断は、介護者の観察に頼っているのが現状である。
【０００６】
昨今の核家族化や高齢化の進行により、高齢者の一人暮らしが増加している。このため、日常的に動作（反応）の変化などから健康状態を判断してくれる人がいない高齢者が増加しており、そのような高齢者の病状の発見の遅れが懸念される。
【０００７】
本発明は上記課題に鑑みてなされたものであり、被検者が行う所定動作の経時的な変化に基づいて被検者の健康状態を監視する可能な健康状態監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するための本発明の一態様による健康状態監視装置は、以下の構成を備える。すなわち、
撮像手段と、
前記撮像手段により得られた被検者を含む画像から、当該被検者の顔画像中の特定部位に対応した特徴点を抽出する抽出手段と、
前記被検者が行う所定動作に対応した前記特徴点の移動量を検出する検出手段と、
前記検出手段で検出された移動量を日付情報に関連付けて格納する格納手段と、
前記格納手段で格納された移動量の経時的な変化に基づいて前記被検者の健康状態を判定する判定手段とを備える。
【発明の効果】
【０００９】
本発明によれば、被検者が行う所定動作の経時的な変化に基づいて被検者の健康状態を監視する可能な健康状態監視装置が提供される。
【図面の簡単な説明】
【００１０】
【図１】実施形態による健康状態監視装置の外観の位置例を示す図である。
【図２】実施形態による健康状態監視装置の機能構成例を示すブロック図である。
【図３】実施形態による収集情報の格納状態を説明する図である。
【図４】実施形態による健康状態監視装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付の素面を参照して、本発明の好適な実施形態の一例を説明する。
【００１２】
図１は、本実施形態による健康状態監視装置の外観を示す図である。本実施形態では、鏡１のフレームに撮像手段としてのデジタルカメラ２、音声入力手段としてのマイク３、報知手段としてのスピーカ４が埋め込まれた構成を採用する。なお、デジタルカメラ２、マイク３、スピーカ４はそれぞれ鏡のフレーム部分に組み込まれている必要はなく、それぞれ、被検者の顔を撮影したり、被検者の声を録音したり、被検者に対して所定の通知を行えればよい。また、鏡は特に必須ではないが、鏡を用いたことにより、被検者が自身の顔を観察しながら装置による健康状態の監視も行えるようになる。なお、鏡１が洗面台の一部を構成するようにしてもよい。
【００１３】
また、本実施形態では、鏡を用いたが、これに限られるものではない。ディスプレイのフレームにカメラを有するノートパソコンのような構成を用いることも可能である。この場合、カメラで撮影された画像をリアルタイムにノートパソコンのディスプレイに表示することで、鏡の代わりにもなる。
【００１４】
図２は、本実施形態による健康監視装置の構成例を示すブロック図である。制御部２００は、デジタルカメラ２やマイク３から取得される各種情報から、被検者の動作に関連する情報を収集し、被検者の健康状態を判定する。
【００１５】
制御部２００において、顔抽出部２１は、デジタルカメラ２により撮影された画像から、周知の技術により顔画像を抽出する。特徴抽出部２２は、顔抽出部２１が抽出した顔画像について、顔の大きさをそろえるために正規化を施し、被検者の顔画像中の特定部位（目や口など）の特徴点を抽出する。移動量検出部２３は、デジタルカメラ２が順次撮影を行うことで得られた複数の画像から、顔抽出部２１と特徴抽出部２２によって抽出された顔の特徴点の移動量を検出し、収集情報格納部４１に格納する。顔認証部２４は、顔抽出部２１により抽出された顔画像が、登録されている被検者のものであるか否かにより、個人認証を行う。
【００１６】
音声認識部３１はマイク３により収集された音情報から、「ア」「イ」「ウ」などの所定の音声が被検者により発声されたことを、周知の音声認識技術により認識する。発生部分抽出部３２は、マイク３によって収集された音情報から、音声認識部３１が所定の発声を認識した部分の音情報を切り出し、音声情報とする。特徴量算出部３３は、発生部分抽出部３２が抽出した音声情報（音声の信号）から音声特徴量を計算し、これを収集情報格納部４１に格納する。声紋認証部３４は、マイク３により取得された音情報に含まれる音声の情報から声紋を取得し、登録された被検者の声紋と比較することで個人認証を行う。
【００１７】
なお、移動量検出部２３は、音声認識部３１により所定の発声が検出された期間を含む所定期間について特徴点の移動を検出する。このような処理により、たとえば、被検者が「ア」という発声を行う動作に関連した顔の動き（すなわち所定の動作における顔の動き）が検出されることになる。
【００１８】
計時部４２は時計機能を有し、日付情報（時刻を含む）を収集情報格納部４１に提供する。健康状態判定部４３は、収集情報格納部４１に格納された収集情報の経時的な変化、収集情報により示される異常の有無に基づいて被検者の健康状態を判定する。通知部４４は健康状態判定部４３で判定された健康状態を報知する。通知部４４は、たとえばスピーカ４により判定された健康状態を被検者に通知する。或いは、通知部４４は、外部施設（病院等）へ電話回線もしくはインターネット等のネットワークを通じて、健康状態を通知する。動作指示部４５は通知部４４を介して、被検者に所定動作を行わせる指示を行う。たとえば、スピーカ４から『「ア」と発声してください』といた発声内容の指示や、『目を上下に動かしてください』といった動作指示を音声により行う。なお、動作指示は、ディスプレイ（不図示）により文章で被検者に指示を行うようにしてもよい。また、目を動かす指示については、たとえば鏡１のフレームの上下左右にＬＥＤ等の発光部を設け、これを順次点灯させて、被検者の視線を追跡させるようにしてもよい。
【００１９】
図３は、収集情報格納部４１における収集情報のデータ構成例を示す図である。図３の（ａ）に示されるように、収集情報は、顔認証部２４或いは声紋認証部３４により認証された被検者別に、且つ、収集情報が取得された日付、時刻別に格納される。なお、日付、時刻の情報は計時部４２から取得される日付情報である。図４の（ｂ）は収集情報の内容を更に細かく示している。日々の収集情報は、各動作内容毎に、特徴量算出部３３が算出した音声特徴量、特徴抽出部２２が抽出した特徴点の位置（顔特徴）、移動量検出部２３が抽出した特徴点の移動量（顔特徴移動量）を含む。また、収集情報は、健康状態判定部４３による健康状態の判定結果（状態判定）を含むものとするが、状態判定は各動作内容毎に判定結果を格納してもよいし、これに代えて或いはこれに加えて総合的な状態判定を格納するようにしてもよい。以上のように、収集情報格納部４１は、被検者の動作として検出された顔の各部の移動量や音声の特徴量が日付情報に関連付けて、個人別に格納される。
【００２０】
健康状態判定部４３は、上述したような収集情報を用いて、たとえば、最近の数ヶ月間の音声特徴量や顔特徴移動量から当該被検者に関する正常値の範囲を設定し、新たに取得された音声特徴量や顔特徴移動量が正常範囲か否かを判定する。また、前日に収集された音声特徴量や顔特徴移動量に対して、極端に変動が激しい場合は、異常であると判断する。
【００２１】
以上のような制御部２００の構成は、汎用のコンピュータによっても実現できる。したがって、本実施形態の健康状態監視装置は、パーソナルコンピュータにデジタルカメラやマイク３を接続したような構成であってもよい。
【００２２】
図４は、以上のような構成を備えた本実施形態による健康状態監視装置の動作を説明するフローチャートである。
【００２３】
ステップＳ４０１において、制御部２００は顔認証部２４と声紋認証部３４により、特定の被検者であることが認証されると、健康状態の検査を開始する。すなわち、健康状態の監視に関連する情報（本例では顔や音声に関する情報）の収集処理を開始する。なお、顔認証と音声認証のいずれかを用いて認証を行ってもよい。また、顔認証と音声認証の両方を用いる場合は、両方の認証結果が一致した場合にのみ認証成功と判断してもよいし、少なくともいずれか一方で認証成功した場合に、認証成功と判断するようにしてもよい。
【００２４】
なお、検査の開始は上述したような認証に限定されるものではなく、被検者が特定のスイッチを操作することによりなされてもよい。また、認証は、顔認証や声紋認証に限られず、パスワードの入力や静脈認証等が用いられてもよい。また、上述したような特定のスイッチを操作する被検者が特定の被検者に限定されるような環境であれば、認証処理及びこれに関連する機能（顔認証部２４、声紋認証部３４）を省略することも可能である。
【００２５】
検査が開始されると、ステップＳ４０２において、制御部２００はデジタルカメラ２による検査用の撮影とマイク３による検査用の録音処理を開始する。
【００２６】
次に、ステップＳ４０３において、動作指示部４５は通知部４４により、被検者に動作の指示を行う。たとえば、スピーカ４を用いて、『「ア」と発音して下さい』『目を上下、左右に移動させてください』といった指示を発声する。
【００２７】
次にステップＳ４０４において、制御部２００は、被検者が指示に対応した動作を行ったかどうかを判断する。たとえば、『「ア」と発音して下さい』という指示の後に、音声認識部３１が「ア」という発生を認識すれば、指示動作が確認されたとして処理をステップＳ４０５へ進める。あるいは、ステップＳ４０３で『目を上下、左右に移動させてください』という指示を行ったのであれば、移動量検出部２３からの情報に基づいて眼球が上下左右に移動したか否かを検出する。そして、眼球が上下左右に移動したことが認識されると、処理はステップＳ４０５へ進む。ここで、動作の指示を行ってから所定時間内に対応する動作の確認が取れない場合には、・被検者に再度動作を促す、或いは、・被検者に異常が発生しているものとして病院等の外部施設へ通知を行うようにしてもよい。
【００２８】
ステップＳ４０５において、制御部２００は動作の指示に対応した音声及び／または画像を格納する。たとえば、「ア」という発声が行われた期間は、たとえば音声認識部３１が「ア」という発声を検出したとの音声波形から取得でき、ステップＳ４０５ではこの期間の音声情報及び画像情報が格納される。また、被検者に眼球を上下左右への移動させた場合には、眼球の上下左右の移動が確認された期間の画像情報が格納される。
【００２９】
なお、本実施形態では、画像または音声から指示に対応した動作が実際に行われたことを確認しているが、これに限られるものではない。たとえば、動作の指示を行ってから所定時間にわたる画像または音声を、当該動作の指示に対応した動きに対応する画像情報や音声情報として格納するようにしてもよい。
【００３０】
ステップＳ４０６において、制御部２００は、ステップＳ４０５で格納した画像情報や音声情報から必要な特徴量を算出し、算出した特徴量を収集情報格納部４１に格納する。たとえば、顔抽出部２１は、格納された画像情報から顔の部分の画像を抽出し、これを正規化する。なお、正規化の目的は、時系列に蓄積されたデータ間での比較を可能にするために、画像中の顔の大きさや向きを所定サイズ及び所定方向（たとえば正面）に揃えることである。続いて、特徴抽出部２２は、顔抽出部２１が抽出し、正規化した顔画像から、目、口、鼻などに対応する特徴点を検出し、それらの位置を取得する。移動量検出部２３は、指示された動作が行われた期間の複数の画像から、各特徴点の動きを検出する。たとえば、「ア」という発声が行われた期間の画像から、各特徴点の動き（たとえば最大移動量とその方向など）を検出する。そして、発声「ア」における顔特徴移動量として収集情報格納部４１に格納する。なお、上述の指示動作確認において移動量検出部２３までの処理を終えている情報があれば、それを利用してもよいことはいうまでもない。
【００３１】
また、音声情報に関しては、発生部分抽出部３２で抽出された音声情報がステップＳ４０５の処理によって格納されている。特徴量算出部３３はその格納されている音声情報から特徴量を抽出し、発声「ア」における音声特徴量として収集情報格納部４１に格納する。
【００３２】
ステップＳ４０７において、まだ未処理の動作指示があれば処理はステップＳ４０３に戻り、上述したステップＳ４０３以降の処理が繰り返される。全ての動作指示についてデータの収集を終えた場合には、処理はステップＳ４０８に進む。
【００３３】
ステップＳ４０８において、健康状態判定部４３は、収集情報格納部４１に格納された過去の所定期間（たとえば最近の１ヶ月間）の音声特徴量や特徴点移動量に基づいて、当該被検者の判定基準値（正常範囲を示す閾値）を作成する。そして、健康状態判定部４３は、作成した判定基準値と今回得られた音声特徴量や特徴点移動量とを比較することにより、被検者に異常が発生しているかどうかを判断する。健康状態判定部４３は、さらに、その判定結果を通知部４４に提供し、通知部４４は判定結果を、たとえばスピーカ４を介して通知する。これにより被検者或いはその介護者らは、健康状態判定部４３による判定結果を知ることができる。また、被検者の健康状態に異常が発見された場合、通知部４４はその旨を病院などの外部施設に電話回線、またはインターネットを介して通知する。
【００３４】
なお、上記した判定基準の作成は、たとえば、最近の所定期間のデータの平均値を中心として所定の大きさの範囲を閾値範囲として設定することが挙げられる。この場合、音声特徴量や顔の特徴点の移動量が当該閾値範囲に入るか否かで健康状態が判断される。
【００３５】
また、上記処理手順は一例であり、本発明による処理の手順は上記に限られない。たとえば、上記実施形態では動作指示を行ったが、これを省略してもよい。この場合、例えば、被検者は、自主的に「ア、イ、ウ、エ、オ」と発音したり、眼球を左右上下に移動させたりする。制御部２００は、音声認識部３１により「ア、イ、ウ、エ、オ」と発声されたことを検出し、自動的に必要な画像情報や音声情報を抽出することになる。或いは、制御部２００は、移動量検出部２３により眼球の左右上下の移動を検出して自動的に必要な画像情報を抽出することになる。
【００３６】
また、指示された動作の期間における画像から特徴抽出部２２で抽出された各特徴点の位置を顔特徴として収集情報格納部４１に格納させてもよい。このようにすれば、顔特徴の情報から、通常よりも目の開き具合は悪いといったような、指示された動作とは直接に関係ない部位の変化を検出できる。
【００３７】
また、上記実施形態では、画像情報と音声情報の両方を用いて健康状態を監視するが、いずれか一方を用いて健康状態を監視するようにしてもよい。さらに、これらに加えて、赤外線センサにより被検者の体温（顔の温度）を計測して記録するようにしてもよい。このような体温の記録により、発熱などを監視できる。更に、血圧計を設置して血圧計測を可能にしたり、被検者が鏡１に向かう際の立ち位置に体重計を配置して、体重の変化を監視できるようにしたりしてもよい。
【００３８】
ここで判定における異常について、さらに詳しく説明する。本実施形態によれば、様々な病症などの早期発見が可能である。例えば、被検者に発声の指示を出したにも関わらず、応答がない場合、失語症の可能性がある。失語症の原因疾患としては、脳血管障害や脳外傷、脳炎、さらには、てんかんやアルツハイマー病などが考えられる。他にも、脳卒中の兆候として、顔面の半分が麻痺、発語が不明瞭、言葉が出ない、応答に時間が掛かる、といった症状が表れる。この場合、顔面麻痺は、顔特徴移動量から判定可能であり、言葉に関しては、音声認識部３１や、動作や発声の指示に対しての被検者からの応答時間をみることで判定可能である。また、動作の１つとして嚥下状態を観察することで、嚥下障害そのものだけでなく、舌咽神経、迷走神経、舌下神経の麻痺の可能性や、重症筋無力症などの筋疾患、多発脳梗塞などの脳疾患の可能性を発見することができる。嚥下障害の症状としては、発語が不明瞭、声が鼻に掛かる、摂食・飲水をしようとするとむせる、といったものが考えられるため、発声や、何かを食する動作を指示すると良い。
【００３９】
以上のように、本実施形態によれば、被検者が鏡１に向かって発声などを含むいくつかの動作を行うと、予め記憶させた健康状態時の動作と比較／判別が行われ、当該被検者の健康状態が判定される。たとえば、今回検出された被検者の動作が、健康状態時の動作に対して所定の閾値を越える変化があると、被検者の健康状態に異常が発生していると判定する。この判定結果は、当該被検者や看護者、或いは病院等の外部の施設に通知される。したがって、高齢者の簡易診断（バイタルチェック）を容易且つ日常的に行うことが可能となり、健康状態における異常の発生を早期に発見することが可能となる。
【００４０】
また、上記実施形態によれば、健康状態時の動作に関して、最近の所定期間（たとえば最近の１ヶ月〜数ヶ月）の動作に基づいて判定の基準値（閾値）を設定するので、加齢に伴う動作の変動を考慮し、健康状態の誤判定を低減することができる。
【００４１】
また、収集情報格納部４１は、上述した情報に加えて、数日分の撮影画像や録音音声を格納するようにしてもよい。このようにすれば、異常が発生した際に、医師などが数日間の顔（表情）や声の変化を確認することができる。
【００４２】
さらに、健康状態入力部（不図示）を設け、医師や看護師等の医療スタッフが装置の動作指示に基づいた被検者の動作について、健康な状態であるか病的な状態であるかを、装置に記憶させることができるようにしてもよい。この時の被検者の動作による特徴点の移動量を記憶させ、健康状態判定部４３で用いる情報とすることができる。なお本発明は、上記実施形態に限定されない。
【符号の説明】
【００４３】
１：鏡、２：デジタルカメラ、３：マイク、４：スピーカ、２００：制御部
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により得られた被検者を含む画像から、当該被検者の顔画像の中の特定部位に対応した特徴点を抽出する抽出手段と、
前記被検者が行う所定動作に対応した前記特徴点の移動量を検出する検出手段と、
前記検出手段で検出された移動量を日付情報に関連付けて格納する格納手段と、
前記格納手段で格納された移動量の経時的な変化に基づいて前記被検者の健康状態を判定する判定手段とを備えることを特徴とする健康状態監視装置。
【請求項２】
前記被検者の音声を入力する音声入力手段と、
所定の発声内容を前記被検者が発声することで前記音声入力手段から得られた音声の信号の特徴量を計算する計算手段とを更に備え、
前記格納手段は、さらに前記計算手段で計算された特徴量を日付情報に関連付けて格納し、
前記判定手段は、さらに前記特徴量の経時的な変化に基づいて前記被検者の健康状態を判定することを特徴とする請求項１に記載の健康状態監視装置。
【請求項３】
前記抽出手段が抽出した顔画像から個人認証を行う認証手段を更に備え、
前記格納手段は、前記検出手段で検出された移動量を前記認証手段で認証された被検者別に格納することを特徴とする請求項１に記載の状態監視装置。
【請求項４】
前記抽出手段は、前記認証手段で認証に成功した場合に機能することを特徴とする請求項３に記載の状態監視装置。
【請求項５】
前記検出手段は、前記被検者が前記所定の発声内容を発声しているときの、前記特徴点の移動量を検出することを特徴とする請求項２に記載の健康状態監視装置。
【請求項６】
前記所定の発声内容を前記被検者に発声させるための指示を音声または表示により行う指示手段を更に備えることを特徴とする請求項２に記載の健康状態監視装置。
【請求項７】
前記判定手段による判定結果を電話回線またはネットワークを介して外部装置に通知する通知手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の健康状態監視装置。
【請求項１】
撮像手段と、
前記撮像手段により得られた被検者を含む画像から、当該被検者の顔画像の中の特定部位に対応した特徴点を抽出する抽出手段と、
前記被検者が行う所定動作に対応した前記特徴点の移動量を検出する検出手段と、
前記検出手段で検出された移動量を日付情報に関連付けて格納する格納手段と、
前記格納手段で格納された移動量の経時的な変化に基づいて前記被検者の健康状態を判定する判定手段とを備えることを特徴とする健康状態監視装置。
【請求項２】
前記被検者の音声を入力する音声入力手段と、
所定の発声内容を前記被検者が発声することで前記音声入力手段から得られた音声の信号の特徴量を計算する計算手段とを更に備え、
前記格納手段は、さらに前記計算手段で計算された特徴量を日付情報に関連付けて格納し、
前記判定手段は、さらに前記特徴量の経時的な変化に基づいて前記被検者の健康状態を判定することを特徴とする請求項１に記載の健康状態監視装置。
【請求項３】
前記抽出手段が抽出した顔画像から個人認証を行う認証手段を更に備え、
前記格納手段は、前記検出手段で検出された移動量を前記認証手段で認証された被検者別に格納することを特徴とする請求項１に記載の状態監視装置。
【請求項４】
前記抽出手段は、前記認証手段で認証に成功した場合に機能することを特徴とする請求項３に記載の状態監視装置。
【請求項５】
前記検出手段は、前記被検者が前記所定の発声内容を発声しているときの、前記特徴点の移動量を検出することを特徴とする請求項２に記載の健康状態監視装置。
【請求項６】
前記所定の発声内容を前記被検者に発声させるための指示を音声または表示により行う指示手段を更に備えることを特徴とする請求項２に記載の健康状態監視装置。
【請求項７】
前記判定手段による判定結果を電話回線またはネットワークを介して外部装置に通知する通知手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の健康状態監視装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１０９５５（Ｐ２０１２−１０９５５Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５０１８３（Ｐ２０１０−１５０１８３）
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００１０９５４３）テルモ株式会社 (2,232)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００１０９５４３）テルモ株式会社 (2,232)
【Ｆターム（参考）】
[ Back to top ]