個体判別装置および個体判別方法
【課題】複数のユーザが写っている撮像画像から正確に個体判別を行うことは難しい。
【解決手段】フレーム記憶部３０は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する。生命兆候信号検出部４０は、フレーム記憶部３０に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する。相関計算部５０は、身体の各撮像領域から検出された生命兆候の信号列の相関を求める。同一性判定部６０は、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する。
【解決手段】フレーム記憶部３０は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する。生命兆候信号検出部４０は、フレーム記憶部３０に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する。相関計算部５０は、身体の各撮像領域から検出された生命兆候の信号列の相関を求める。同一性判定部６０は、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像画像から個体判別を行う装置および方法に関する。
【背景技術】
【０００２】
家庭内のゲーム機にはカメラが搭載されたものがあり、ゲームプレイをするユーザを撮像してゲーム画面にユーザの画像を表示したり、ユーザの撮像画像からユーザの動作を検出してゲームに反映させることができる。また、カメラで撮影されたユーザの画像からユーザの表情を検出し、ゲームプレイ中のユーザの精神状態を把握してゲームの展開に反映させることもできる。また、複数のプレイヤがそれぞれコントローラを持ち、ゲーム機を操作することもでき、家族や友人などを加えて複数人でゲームをすることも多い。
【０００３】
また、ゲームプレイ中のユーザの緊張度合いを検出するために、脈拍を検知するセンサをユーザに装着させ、センサが出力する脈拍の測定結果をゲーム機に入力させてゲームに反映させることも行われている。
【０００４】
特許文献１には、被検体の撮像画像の濃度の時間的変化からバイタルサインを計測する方法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２１８５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数のプレイヤがコントローラをもってゲーム機を操作する場合や、コントローラをもっているプレイヤ以外にも家族や友人が周囲にいる場合、カメラで撮影した画像には複数のユーザが写っているため、撮像画像において個体判別をする必要がある。画像から顔や手などの領域を認識して、個体判別を行うこともできるが、コントローラを操作するプレイヤの手がゲームプレイ中に交差していると、手と顔の対応付けが難しくなることがある。
【０００７】
本発明はこうした課題に鑑みてなされたものであり、その目的は、撮像画像において個体判別を正確に行うことのできる個体判別装置および個体判別方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様の個体判別装置は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する記憶部と、前記記憶部に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出部と、身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算部と、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定部とを含む。
【０００９】
本発明の別の態様は、個体判別方法である。この方法は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとを含む。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、撮像画像から正確に個体判別を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態に係るゲームシステムの構成図である。
【図２】実施の形態に係る個体判別装置の構成図である。
【図３Ａ】カメラにより撮影されたユーザの画像を説明する図である。
【図３Ｂ】図２の同一性判定部による身体の撮像領域の判定結果を説明する図である。
【図４】図２の個体判別装置による個体判別手順を説明するフローチャートである。
【図５】図２の個体判別装置による別の個体判別手順を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
図１は、実施の形態に係るゲームシステムの構成図である。ゲームシステムは、ゲーム機２００、ディスプレイ２０、コントローラ３００、およびカメラ１０ａ、１０ｂを含む。
【００１４】
コントローラ３００は無線または有線でゲーム機２００と接続される。ディスプレイ２０にはカメラ１０ａが内蔵されており、ゲームをコントローラ３００をもってプレイしているユーザやそのユーザといっしょにいる友人や家族などを撮影する。ディスプレイ２０にはゲームの画面が表示される。ビデオカメラ１０ｂは、ユーザの身体の一部、たとえば、コントローラを持っている手や特定のユーザの顔などにフォーカスして撮影することができ、撮影された画像はゲーム機２００に入力される。ディスプレイ２０は、カメラ１０ａ、１０ｂで撮影されたユーザの画像を表示することもできる。
【００１５】
なお、ここではゲームプレイを例に実施の形態を説明するが、実施の形態は、ゲームに限らず、映像などをテレビ画面で鑑賞する場合にも適用することができる。
【００１６】
図２は、実施の形態に係る個体判別装置１００の構成図である。個体判別装置１００には、複数のカメラ１０ａ、１０ｂ、ディスプレイ２０、コントローラ３００、および装着センサ３１０が接続されている。個体判別装置１００は、図１のゲーム機２００に搭載される機能構成である。
【００１７】
カメラ１０ａ、１０ｂはユーザの身体の一部または全体の領域を撮影する。カメラは一台でも複数でもよい。たとえば、一つのカメラでゲームのプレイヤを含む複数人を撮影してもよい。あるいは、プレイヤを中心に撮影するカメラと、プレイヤを含むあるいは含まない複数人の全体を撮影する別のカメラとが設けられてもよい。あるいは、あるカメラがユーザの手を撮影し、別のカメラがユーザの顔を撮影してもよい。撮影された画像はフレーム記憶部３０に記憶される。
【００１８】
生命兆候信号検出部４０は、フレーム記憶部３０に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の撮像領域から周期的に変動する生命兆候の信号列を検出する。生命兆候信号検出部４０は、所定フレーム数の撮像画像において身体の撮像領域における皮膚の振動または光吸収特性の変化を検知することにより、周期的に変動する生命兆候の信号列を検出することができる。周期的に変動する生命兆候は心拍、呼吸などのバイタルサインである。たとえば５フレーム程度のフレーム数の撮像画像において肌が露出している身体の部位の皮膚の振動や光吸収特性の変化を検出すれば、心拍などの生命兆候の波形データ列を取得することができる。光吸収特性の変化は、皮膚の画像の濃度や色彩の変化として検出される。
【００１９】
生命兆候信号検出部４０は、撮像領域を小領域に区分して、区分された小領域毎に生命兆候の信号列を検出してもよい。計算量を抑え、また、ノイズを抑えるために、所定の面積の領域毎に生命兆候の信号列を検出することがより好ましい。
【００２０】
身体の撮像領域における皮膚の振動または光吸収特性の変化を検知して脈拍を計測する方法は、たとえば以下の文献に詳しく記載されている。
"Heart rate measurement based on a time-lapse image", Medical Engineering and Physics, 2007
"Advancements in non-contact, multiparameter physiological measurements using a webcam", IEEE Trans Biomed Eng, 2010.
"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", Optics Express, 2010.
【００２１】
相関計算部５０は、身体の各撮像領域から検出された生命兆候の信号列の相関を求める。第１の身体の撮像領域において検出された生命兆候の信号列をＨ１（ｔ）、第２の身体の撮像領域において検出された生命兆候の信号列をＨ２（ｔ）とすると、２つの信号列Ｈ１（ｔ）、Ｈ２（ｔ）の相関Ｒは、以下の式で求めることができるが、これとは異なる計算式を用いることも可能である。
【００２２】
【数１】
【００２３】
同一性判定部６０は、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する。第１の身体の撮像領域の生命兆候の信号列Ｈ１（ｔ）と第２の身体の撮像領域の生命兆候の信号列Ｈ２（ｔ）の相関Ｒが所定の閾値Ｔよりも大きければ、第１の身体の撮像領域と第２の身体の撮像領域は同一人物に属すると判定し、２つの信号列Ｈ１（ｔ）、Ｈ２（ｔ）の相関Ｒが所定の閾値Ｔ以下であれば、第１の身体の撮像領域と第２の身体の撮像領域は別人物に属すると判定する。
【００２４】
第１の身体の撮像領域と第２の身体の撮像領域はそれぞれ別のカメラ１０ａ、１０ｂによって撮像されたものであってもよい。たとえば、ユーザの手が第１のカメラ１０ａで撮像され、ユーザの顔が第２のカメラ１０ｂで撮像されている場合、ユーザの手の撮像画像から検出される生命兆候の信号列Ｈ１（ｔ）とユーザの顔の撮像画像から検出される生命兆候の信号列Ｈ２（ｔ）との間で相関Ｒを計算し、相関Ｒが高ければ、撮像されたユーザの手と顔は同一人物に属すると判定し、相関Ｒが低ければ、撮像されたユーザの手と顔とは別人物に属すると判定する。このように必ずしもユーザの手と顔が同じカメラで撮像されたものでなくても、手と顔それぞれから検出される生命兆候の信号列の相関を求めることで個体判別を行うことができる。
【００２５】
表示部７０は、同一人物に属すると判定された身体の複数の撮像領域に対して同一の強調表示を行ってディスプレイ２０に表示する。たとえば、同一人物に属すると判定された身体の複数の撮像領域は同じ色で表示する。これにより、個体判別装置１００がどのように個体判定を行ったかを画面内で確認することができる。
【００２６】
センサ入力部８０は、コントローラ３００に装備されたセンサまたは装着センサ３１０から周期的に変動する生命兆候の信号列の入力を受ける。たとえば、コントローラ３００には脈拍センサなどが装備され、コントローラ３００の操作者の脈拍を計測してセンサ入力部８０に入力することができる。また、脈拍センサなどの装着センサ３１０をユーザが手首や足首などに装着し、脈拍を計測してセンサ入力部８０に入力することもできる。
【００２７】
相関計算部５０は、センサ入力部８０から得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関を求めてもよい。同一性判定部６０は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関にもとづいて、当該身体の撮像領域がコントローラの操作者またはセンサ装着者に属するものであるか否かを判定することができる。たとえば、特定のジェスチャをしているユーザの手の撮像領域から検出された生命兆候の信号列と、センサから得られた生命兆候の信号列との相関が高い場合、ジェスチャをしている手がコントローラの操作者に属するものであると判定することができる。これにより、手によるジェスチャとコントローラによる操作とが同一人物によるものであることを把握することができ、手によるジェスチャもコントローラによる操作もゲームに対する同一ユーザからの入力として扱うことが可能になる。
【００２８】
個体情報管理部９０は、同一性判定部６０により同一人物に属すると判定された身体の撮像領域をユーザの個体情報として個体情報記憶部９２に格納して管理する。また、個体情報管理部９０は、コントローラの操作者またはセンサ装着者に属すると判定された特定の身体の撮像領域には、コントローラの操作者またはセンサ装着者を示すフラグを対応づけて管理する。これにより、撮像画像に写っている複数のユーザの中から、コントローラの操作者またはセンサ装着者の身体領域を特定し、たとえば、コントローラの操作者の顔の表情からゲームプレイ中のユーザの満足度を判定することができる。
【００２９】
生命兆候信号検出部４０は、生命兆候の信号列を離散フーリエ変換して周波数を検出することにより、個体の生命兆候の周期性を示す特徴量を求める。あるいは、生命兆候の信号列の自己相関を求めて信号の周期を検出することにより、個体の生命兆候の周期性を示す特徴量を求める。たとえば、生命兆候が心拍であれば、個体の生命兆候の周期性を示す特徴量として心拍数を求める。個体情報管理部９０は、個体の生命兆候の周期性を示す特徴量をユーザ単位で分類して個体情報記憶部９２に個体情報として格納する。これにより、たとえば、特定のユーザの心拍数が高まっているなど、ゲームプレイ中のユーザの興奮度合いなどを検出することができる。
【００３０】
このようにして得られるユーザの満足度や興奮度をゲーム展開にフィードバックすることにより、利便性や娯楽性を高めることができる。たとえば、ユーザの興奮度にもとづいてユーザがリラックスしていると判定される場合は、ゲーム展開に急激な変化を与える短期的な制御を行ってもよい。あるいは、ユーザの満足度にもとづいて、コントローラの操作やゲームのルールなどに対するユーザの習熟度を把握し、ユーザの習熟度に応じてゲーム展開の速度などを調整する長期的な制御を行ってもよい。また、プレイヤの心拍数が高過ぎる場合や、心拍数が元に復帰するのが遅い場合は、プレイヤに休憩するように提案するようにしてもよい。また、ユーザの満足度や興奮度を記録して、ネットワークなどを介してゲーム開発元にフィードバックし、ゲームのアップデートや将来のゲーム開発に活かしてもよい。
【００３１】
また、コントローラを持ったプレイヤとは別のユーザの顔を顔検出機能を用いて検出し、そのユーザとプレイヤ間の心拍数変動や呼吸タイミングの相関値を、プレイヤとの共感を示す指標とみなし、観察者も含めた場の盛り上がりを評価してもよい。たとえば、パーティ系ゲームなどにおいて、共感を示す指標が低く、プレイヤだけが興奮しても場が盛り上がっていない場合、そのような指標にもとづいてゲーム展開を調整することができる。
【００３２】
また、顔、手、足などの同一個体の身体情報をもとにプレイヤの姿勢を推測し、良くない姿勢が長時間に及ぶ場合に姿勢を直すようアドバイスしてもよい。ヨガのようにプレイヤの体を動かすアプリケーションの場合、ユーザの姿勢の良否を判断する材料として用いることができる。
【００３３】
図３Ａは、カメラ１０ａ、１０ｂにより撮影されたユーザの画像を説明する図である。ゲーム機２００の前で４人のユーザ４００、４０２、４０４、４０６がゲーム画面を見ているとする。これらのユーザは家族であり、右から二人目のユーザ４０４（母親）はコントローラ３００を手にもっている。左から二人目のユーザ４０２（父親）は図示しないが手首に装着センサ３１０を装着している。
【００３４】
図３Ｂは、同一性判定部６０による身体の撮像領域の判定結果を説明する図である。二つの身体の撮像領域４１０ａ、４１０ｂは、これらの撮像領域から検出される生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４００に属すると判定される。同一性判定に用いられる相関の閾値は、同一性判定の成否を一定の誤差範囲に収めるべく、実験的に定めることができる。
【００３５】
同様に、二つの身体の撮像領域４１２ａ、４１２ｂは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０２に属すると判定され、四つの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０４に属すると判定され、三つの身体の撮像領域４１６ａ、４１６ｂ、４１６ｃは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０６に属すると判定される。
【００３６】
ここで、ユーザ４０２（父親）は、装着センサ３１０を装着していることから、装着センサ３１０から父親の生命兆候の信号列を取得することができる。装着センサ３１０からの生命兆候の信号列は、二つの身体の撮像領域４１２ａ、４１２ｂの生命兆候の信号列との相関が所定の閾値よりも高いことから、同一性判定部６０は、これらの身体の撮像領域４１２ａ、４１２ｂは、装着センサ３１０の装着者（ここでは父親）に属すると判定する。個体情報管理部９０は、身体の撮像領域４１２ａ、４１２ｂを装着センサ３１０の装着者の識別情報と対応づけて個体情報記憶部９２に格納する。
【００３７】
また、ユーザ４０４（母親）は、コントローラ３００を手に持っており、コントローラ３００に装備されたセンサから母親の生命兆候の信号列を取得することができる。コントローラ３００のセンサからの生命兆候の信号列は、四つの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄの生命兆候の信号列との相関が所定の閾値よりも高いことから、同一性判定部６０は、これらの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄは、コントローラ３００の操作者（ここでは母親）に属すると判定する。個体情報管理部９０は、身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄをコントローラ３００の装着者の識別情報と対応づけて個体情報記憶部９２に格納する。
【００３８】
図４は、個体判別装置１００による個体判別手順を説明するフローチャートである。ここでは、生命兆候は心拍であるとして説明する。
【００３９】
生命兆候信号検出部４０は、第１の身体の撮像領域から心拍の信号列Ｈ１（ｔ）を検出する（Ｓ１０）。生命兆候信号検出部４０は、第２の身体の撮像領域から心拍の信号列Ｈ２（ｔ）を検出する（Ｓ１２）。
【００４０】
相関計算部５０は、第１の心拍の信号列Ｈ１（ｔ）と第２の心拍の信号列Ｈ２（ｔ）の相関Ｒを計算する（Ｓ１４）。
【００４１】
相関Ｒが閾値Ｔより大きければ（Ｓ１６のＹ）、同一性判定部６０は、第１の身体の撮像領域と第２の身体の撮像領域は同一人物に属すると判定し、個体情報管理部９０は、第１の身体の撮像領域と第２の身体の撮像領域をその人物の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ１８）。これにより、たとえば、あるユーザの手と顔が同一人物に属するものとして対応付けられる。
【００４２】
相関Ｒが閾値Ｔ以下であれば（Ｓ１６のＮ）、同一性判定部６０は、第１の身体の撮像領域と第２の身体の撮像領域は別人物に属すると判定し、個体情報管理部９０は、第１の身体の撮像領域と第２の身体の撮像領域をそれぞれ別人物の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ２０）。これにより、複数のユーザを個体判別して分類することができる。
【００４３】
図５は、個体判別装置１００による別の個体判別手順を説明するフローチャートである。
【００４４】
センサ入力部８０は、コントローラ３００に装備されたセンサまたはユーザの身体に装着された装着センサ３１０から心拍の信号列Ｈ１（ｔ）を検出する（Ｓ３０）。生命兆候信号検出部４０は、カメラ１０ａ、１０ｂにより撮像された身体の撮像領域から心拍の信号列Ｈ２（ｔ）を検出する（Ｓ３２）。
【００４５】
相関計算部５０は、第１の心拍の信号列Ｈ１（ｔ）と第２の心拍の信号列Ｈ２（ｔ）の相関Ｒを計算する（Ｓ３４）。
【００４６】
相関Ｒが閾値Ｔより大きければ（Ｓ３６のＹ）、同一性判定部６０は、当該身体の撮像領域はコントローラ操作者またはセンサ装着者に属すると判定し、個体情報管理部９０は、当該身体の撮像領域をコントローラ操作者またはセンサ装着者の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ３８）。これにより、コントローラ操作者またはセンサ装着者の身体領域、たとえば、顔を特定することができ、コントローラ操作者またはセンサ装着者の顔の表情にもとづいてゲームの展開を変えるなどの制御が可能になる。
【００４７】
相関Ｒが閾値Ｔ以下であれば（Ｓ３６のＮ）、同一性判定部６０は、当該身体の撮像領域はコントローラ操作者またはセンサ装着者に属さないと判定する（Ｓ４０）。これにより、コントローラ操作者またはセンサ装着者と、それ以外のユーザとを区別することができる。
【００４８】
上記の説明では、生命兆候にもとづいて身体の撮像領域の同一性判定を行う方法を説明したが、いったん身体の撮像領域の同一性判定が終われば、テンプレートマッチングなどの技術を用いて、手や顔などの身体の撮像領域をトラッキングすることで、生命兆候を検出せずに、身体の撮像領域の同一性判定を継続してもよい。ユーザが体を大きく動かした場合や、ユーザの位置が入れ替わった場合などは、トラッキングに失敗するため、生命兆候による同一性判定を再開するようにしてもよい。
【００４９】
実施の形態では、生命兆候として心拍を例に挙げたが、撮像されたユーザの身体の振動から呼吸を生命兆候として検出してもよい。また、人には吸気動作時に心拍数が増加し、呼気動作時に心拍数が減少するという特性があるため、呼吸は心拍の信号列からも検出することが可能である。以下、心拍から呼吸の周期または周波数を検出する方法を説明する。
【００５０】
（１）まず、心拍の波形データ列からフーリエ変換によって周波数を検出することにより、心拍数を求める。心拍の波形データ列の自己相関を用いて得られた周期から心拍数を求めてもよい。
【００５１】
（２）次に、求めた心拍数を心拍周期以下の時間間隔、たとえば０．５秒間隔で連続して求めて心拍数列を得る。
【００５２】
心拍数に影響を与えるような運動をしていない場合、心拍数列には呼吸動作に対応する心拍数変動が現れる。吸気動作時に心拍数が増加し、呼気動作時に心拍数が減少する。したがって、上記の（１）と同様の手法で心拍数列から心拍数変動の周波数や周期を求めれば、それを呼吸の周波数や周期とみなすことができる。呼吸は服を着ていても検出することができる点、有利である。また、ゲームプレイ中に複数のプレイヤの息が合っているかどうかをプレイヤの呼吸の波形の同期の具合から検出することもできる。
【００５３】
以上述べたように、本実施の形態の個体判別装置１００によれば、脈拍検知した領域の時間変化の相関を取ることにより、同一脈元の領域を同定し、個体判別、分類を行うことができる。撮像画像に複数のユーザがいても顔、手、足などの領域を個体判別して、同一人物に属するものか否かを判定することができる。また、コントローラや装具などの接触センサからの脈拍情報との相関にもとづいて、撮像された手や顔の画像をコントローラ操作者やセンサ装着者に対応付けることができる。
【００５４】
顔、手、足は身体の離れた場所にあり、心臓からも離れているが、身体の各部において脈拍の波形や周波数はほぼ一致する。身体各部の脈拍の波形データ列は心臓からの距離に応じたずれが生じることで、波形は似ているが位相に違いが生じる場合がある。このような場合に対応するため、身体各部の脈拍の波形データ列の相関を取る際には、位相を前後にずらしした複数の相関を求め、その中の最大の相関値を採用する。これによって体の部位が異なっていても同一人物の身体から得られた脈拍の波形データであるかどうかを判定することができる。別の人物の脈拍の波形データとは瞬間的に高い相関が得られることがある。しかし長時間観察すると波形が一致しなくなったり位相のずれが時間と共に大きく変動するので高い相関は得られなくなる。
【００５５】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
【符号の説明】
【００５６】
１０ カメラ、 ２０ ディスプレイ、 ３０ フレーム記憶部、 ４０ 生命兆候信号検出部、 ５０ 相関計算部、 ６０ 同一性判定部、 ７０ 表示部、 ８０ センサ入力部、 ９０ 個体情報管理部、 ９２ 個体情報記憶部、 １００ 個体判別装置、 ２００ ゲーム機、 ３００ コントローラ、 ３１０ 装着センサ。
【技術分野】
【０００１】
この発明は、撮像画像から個体判別を行う装置および方法に関する。
【背景技術】
【０００２】
家庭内のゲーム機にはカメラが搭載されたものがあり、ゲームプレイをするユーザを撮像してゲーム画面にユーザの画像を表示したり、ユーザの撮像画像からユーザの動作を検出してゲームに反映させることができる。また、カメラで撮影されたユーザの画像からユーザの表情を検出し、ゲームプレイ中のユーザの精神状態を把握してゲームの展開に反映させることもできる。また、複数のプレイヤがそれぞれコントローラを持ち、ゲーム機を操作することもでき、家族や友人などを加えて複数人でゲームをすることも多い。
【０００３】
また、ゲームプレイ中のユーザの緊張度合いを検出するために、脈拍を検知するセンサをユーザに装着させ、センサが出力する脈拍の測定結果をゲーム機に入力させてゲームに反映させることも行われている。
【０００４】
特許文献１には、被検体の撮像画像の濃度の時間的変化からバイタルサインを計測する方法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２１８５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数のプレイヤがコントローラをもってゲーム機を操作する場合や、コントローラをもっているプレイヤ以外にも家族や友人が周囲にいる場合、カメラで撮影した画像には複数のユーザが写っているため、撮像画像において個体判別をする必要がある。画像から顔や手などの領域を認識して、個体判別を行うこともできるが、コントローラを操作するプレイヤの手がゲームプレイ中に交差していると、手と顔の対応付けが難しくなることがある。
【０００７】
本発明はこうした課題に鑑みてなされたものであり、その目的は、撮像画像において個体判別を正確に行うことのできる個体判別装置および個体判別方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様の個体判別装置は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する記憶部と、前記記憶部に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出部と、身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算部と、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定部とを含む。
【０００９】
本発明の別の態様は、個体判別方法である。この方法は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとを含む。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、撮像画像から正確に個体判別を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態に係るゲームシステムの構成図である。
【図２】実施の形態に係る個体判別装置の構成図である。
【図３Ａ】カメラにより撮影されたユーザの画像を説明する図である。
【図３Ｂ】図２の同一性判定部による身体の撮像領域の判定結果を説明する図である。
【図４】図２の個体判別装置による個体判別手順を説明するフローチャートである。
【図５】図２の個体判別装置による別の個体判別手順を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
図１は、実施の形態に係るゲームシステムの構成図である。ゲームシステムは、ゲーム機２００、ディスプレイ２０、コントローラ３００、およびカメラ１０ａ、１０ｂを含む。
【００１４】
コントローラ３００は無線または有線でゲーム機２００と接続される。ディスプレイ２０にはカメラ１０ａが内蔵されており、ゲームをコントローラ３００をもってプレイしているユーザやそのユーザといっしょにいる友人や家族などを撮影する。ディスプレイ２０にはゲームの画面が表示される。ビデオカメラ１０ｂは、ユーザの身体の一部、たとえば、コントローラを持っている手や特定のユーザの顔などにフォーカスして撮影することができ、撮影された画像はゲーム機２００に入力される。ディスプレイ２０は、カメラ１０ａ、１０ｂで撮影されたユーザの画像を表示することもできる。
【００１５】
なお、ここではゲームプレイを例に実施の形態を説明するが、実施の形態は、ゲームに限らず、映像などをテレビ画面で鑑賞する場合にも適用することができる。
【００１６】
図２は、実施の形態に係る個体判別装置１００の構成図である。個体判別装置１００には、複数のカメラ１０ａ、１０ｂ、ディスプレイ２０、コントローラ３００、および装着センサ３１０が接続されている。個体判別装置１００は、図１のゲーム機２００に搭載される機能構成である。
【００１７】
カメラ１０ａ、１０ｂはユーザの身体の一部または全体の領域を撮影する。カメラは一台でも複数でもよい。たとえば、一つのカメラでゲームのプレイヤを含む複数人を撮影してもよい。あるいは、プレイヤを中心に撮影するカメラと、プレイヤを含むあるいは含まない複数人の全体を撮影する別のカメラとが設けられてもよい。あるいは、あるカメラがユーザの手を撮影し、別のカメラがユーザの顔を撮影してもよい。撮影された画像はフレーム記憶部３０に記憶される。
【００１８】
生命兆候信号検出部４０は、フレーム記憶部３０に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の撮像領域から周期的に変動する生命兆候の信号列を検出する。生命兆候信号検出部４０は、所定フレーム数の撮像画像において身体の撮像領域における皮膚の振動または光吸収特性の変化を検知することにより、周期的に変動する生命兆候の信号列を検出することができる。周期的に変動する生命兆候は心拍、呼吸などのバイタルサインである。たとえば５フレーム程度のフレーム数の撮像画像において肌が露出している身体の部位の皮膚の振動や光吸収特性の変化を検出すれば、心拍などの生命兆候の波形データ列を取得することができる。光吸収特性の変化は、皮膚の画像の濃度や色彩の変化として検出される。
【００１９】
生命兆候信号検出部４０は、撮像領域を小領域に区分して、区分された小領域毎に生命兆候の信号列を検出してもよい。計算量を抑え、また、ノイズを抑えるために、所定の面積の領域毎に生命兆候の信号列を検出することがより好ましい。
【００２０】
身体の撮像領域における皮膚の振動または光吸収特性の変化を検知して脈拍を計測する方法は、たとえば以下の文献に詳しく記載されている。
"Heart rate measurement based on a time-lapse image", Medical Engineering and Physics, 2007
"Advancements in non-contact, multiparameter physiological measurements using a webcam", IEEE Trans Biomed Eng, 2010.
"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", Optics Express, 2010.
【００２１】
相関計算部５０は、身体の各撮像領域から検出された生命兆候の信号列の相関を求める。第１の身体の撮像領域において検出された生命兆候の信号列をＨ１（ｔ）、第２の身体の撮像領域において検出された生命兆候の信号列をＨ２（ｔ）とすると、２つの信号列Ｈ１（ｔ）、Ｈ２（ｔ）の相関Ｒは、以下の式で求めることができるが、これとは異なる計算式を用いることも可能である。
【００２２】
【数１】
【００２３】
同一性判定部６０は、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する。第１の身体の撮像領域の生命兆候の信号列Ｈ１（ｔ）と第２の身体の撮像領域の生命兆候の信号列Ｈ２（ｔ）の相関Ｒが所定の閾値Ｔよりも大きければ、第１の身体の撮像領域と第２の身体の撮像領域は同一人物に属すると判定し、２つの信号列Ｈ１（ｔ）、Ｈ２（ｔ）の相関Ｒが所定の閾値Ｔ以下であれば、第１の身体の撮像領域と第２の身体の撮像領域は別人物に属すると判定する。
【００２４】
第１の身体の撮像領域と第２の身体の撮像領域はそれぞれ別のカメラ１０ａ、１０ｂによって撮像されたものであってもよい。たとえば、ユーザの手が第１のカメラ１０ａで撮像され、ユーザの顔が第２のカメラ１０ｂで撮像されている場合、ユーザの手の撮像画像から検出される生命兆候の信号列Ｈ１（ｔ）とユーザの顔の撮像画像から検出される生命兆候の信号列Ｈ２（ｔ）との間で相関Ｒを計算し、相関Ｒが高ければ、撮像されたユーザの手と顔は同一人物に属すると判定し、相関Ｒが低ければ、撮像されたユーザの手と顔とは別人物に属すると判定する。このように必ずしもユーザの手と顔が同じカメラで撮像されたものでなくても、手と顔それぞれから検出される生命兆候の信号列の相関を求めることで個体判別を行うことができる。
【００２５】
表示部７０は、同一人物に属すると判定された身体の複数の撮像領域に対して同一の強調表示を行ってディスプレイ２０に表示する。たとえば、同一人物に属すると判定された身体の複数の撮像領域は同じ色で表示する。これにより、個体判別装置１００がどのように個体判定を行ったかを画面内で確認することができる。
【００２６】
センサ入力部８０は、コントローラ３００に装備されたセンサまたは装着センサ３１０から周期的に変動する生命兆候の信号列の入力を受ける。たとえば、コントローラ３００には脈拍センサなどが装備され、コントローラ３００の操作者の脈拍を計測してセンサ入力部８０に入力することができる。また、脈拍センサなどの装着センサ３１０をユーザが手首や足首などに装着し、脈拍を計測してセンサ入力部８０に入力することもできる。
【００２７】
相関計算部５０は、センサ入力部８０から得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関を求めてもよい。同一性判定部６０は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関にもとづいて、当該身体の撮像領域がコントローラの操作者またはセンサ装着者に属するものであるか否かを判定することができる。たとえば、特定のジェスチャをしているユーザの手の撮像領域から検出された生命兆候の信号列と、センサから得られた生命兆候の信号列との相関が高い場合、ジェスチャをしている手がコントローラの操作者に属するものであると判定することができる。これにより、手によるジェスチャとコントローラによる操作とが同一人物によるものであることを把握することができ、手によるジェスチャもコントローラによる操作もゲームに対する同一ユーザからの入力として扱うことが可能になる。
【００２８】
個体情報管理部９０は、同一性判定部６０により同一人物に属すると判定された身体の撮像領域をユーザの個体情報として個体情報記憶部９２に格納して管理する。また、個体情報管理部９０は、コントローラの操作者またはセンサ装着者に属すると判定された特定の身体の撮像領域には、コントローラの操作者またはセンサ装着者を示すフラグを対応づけて管理する。これにより、撮像画像に写っている複数のユーザの中から、コントローラの操作者またはセンサ装着者の身体領域を特定し、たとえば、コントローラの操作者の顔の表情からゲームプレイ中のユーザの満足度を判定することができる。
【００２９】
生命兆候信号検出部４０は、生命兆候の信号列を離散フーリエ変換して周波数を検出することにより、個体の生命兆候の周期性を示す特徴量を求める。あるいは、生命兆候の信号列の自己相関を求めて信号の周期を検出することにより、個体の生命兆候の周期性を示す特徴量を求める。たとえば、生命兆候が心拍であれば、個体の生命兆候の周期性を示す特徴量として心拍数を求める。個体情報管理部９０は、個体の生命兆候の周期性を示す特徴量をユーザ単位で分類して個体情報記憶部９２に個体情報として格納する。これにより、たとえば、特定のユーザの心拍数が高まっているなど、ゲームプレイ中のユーザの興奮度合いなどを検出することができる。
【００３０】
このようにして得られるユーザの満足度や興奮度をゲーム展開にフィードバックすることにより、利便性や娯楽性を高めることができる。たとえば、ユーザの興奮度にもとづいてユーザがリラックスしていると判定される場合は、ゲーム展開に急激な変化を与える短期的な制御を行ってもよい。あるいは、ユーザの満足度にもとづいて、コントローラの操作やゲームのルールなどに対するユーザの習熟度を把握し、ユーザの習熟度に応じてゲーム展開の速度などを調整する長期的な制御を行ってもよい。また、プレイヤの心拍数が高過ぎる場合や、心拍数が元に復帰するのが遅い場合は、プレイヤに休憩するように提案するようにしてもよい。また、ユーザの満足度や興奮度を記録して、ネットワークなどを介してゲーム開発元にフィードバックし、ゲームのアップデートや将来のゲーム開発に活かしてもよい。
【００３１】
また、コントローラを持ったプレイヤとは別のユーザの顔を顔検出機能を用いて検出し、そのユーザとプレイヤ間の心拍数変動や呼吸タイミングの相関値を、プレイヤとの共感を示す指標とみなし、観察者も含めた場の盛り上がりを評価してもよい。たとえば、パーティ系ゲームなどにおいて、共感を示す指標が低く、プレイヤだけが興奮しても場が盛り上がっていない場合、そのような指標にもとづいてゲーム展開を調整することができる。
【００３２】
また、顔、手、足などの同一個体の身体情報をもとにプレイヤの姿勢を推測し、良くない姿勢が長時間に及ぶ場合に姿勢を直すようアドバイスしてもよい。ヨガのようにプレイヤの体を動かすアプリケーションの場合、ユーザの姿勢の良否を判断する材料として用いることができる。
【００３３】
図３Ａは、カメラ１０ａ、１０ｂにより撮影されたユーザの画像を説明する図である。ゲーム機２００の前で４人のユーザ４００、４０２、４０４、４０６がゲーム画面を見ているとする。これらのユーザは家族であり、右から二人目のユーザ４０４（母親）はコントローラ３００を手にもっている。左から二人目のユーザ４０２（父親）は図示しないが手首に装着センサ３１０を装着している。
【００３４】
図３Ｂは、同一性判定部６０による身体の撮像領域の判定結果を説明する図である。二つの身体の撮像領域４１０ａ、４１０ｂは、これらの撮像領域から検出される生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４００に属すると判定される。同一性判定に用いられる相関の閾値は、同一性判定の成否を一定の誤差範囲に収めるべく、実験的に定めることができる。
【００３５】
同様に、二つの身体の撮像領域４１２ａ、４１２ｂは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０２に属すると判定され、四つの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０４に属すると判定され、三つの身体の撮像領域４１６ａ、４１６ｂ、４１６ｃは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０６に属すると判定される。
【００３６】
ここで、ユーザ４０２（父親）は、装着センサ３１０を装着していることから、装着センサ３１０から父親の生命兆候の信号列を取得することができる。装着センサ３１０からの生命兆候の信号列は、二つの身体の撮像領域４１２ａ、４１２ｂの生命兆候の信号列との相関が所定の閾値よりも高いことから、同一性判定部６０は、これらの身体の撮像領域４１２ａ、４１２ｂは、装着センサ３１０の装着者（ここでは父親）に属すると判定する。個体情報管理部９０は、身体の撮像領域４１２ａ、４１２ｂを装着センサ３１０の装着者の識別情報と対応づけて個体情報記憶部９２に格納する。
【００３７】
また、ユーザ４０４（母親）は、コントローラ３００を手に持っており、コントローラ３００に装備されたセンサから母親の生命兆候の信号列を取得することができる。コントローラ３００のセンサからの生命兆候の信号列は、四つの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄの生命兆候の信号列との相関が所定の閾値よりも高いことから、同一性判定部６０は、これらの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄは、コントローラ３００の操作者（ここでは母親）に属すると判定する。個体情報管理部９０は、身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄをコントローラ３００の装着者の識別情報と対応づけて個体情報記憶部９２に格納する。
【００３８】
図４は、個体判別装置１００による個体判別手順を説明するフローチャートである。ここでは、生命兆候は心拍であるとして説明する。
【００３９】
生命兆候信号検出部４０は、第１の身体の撮像領域から心拍の信号列Ｈ１（ｔ）を検出する（Ｓ１０）。生命兆候信号検出部４０は、第２の身体の撮像領域から心拍の信号列Ｈ２（ｔ）を検出する（Ｓ１２）。
【００４０】
相関計算部５０は、第１の心拍の信号列Ｈ１（ｔ）と第２の心拍の信号列Ｈ２（ｔ）の相関Ｒを計算する（Ｓ１４）。
【００４１】
相関Ｒが閾値Ｔより大きければ（Ｓ１６のＹ）、同一性判定部６０は、第１の身体の撮像領域と第２の身体の撮像領域は同一人物に属すると判定し、個体情報管理部９０は、第１の身体の撮像領域と第２の身体の撮像領域をその人物の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ１８）。これにより、たとえば、あるユーザの手と顔が同一人物に属するものとして対応付けられる。
【００４２】
相関Ｒが閾値Ｔ以下であれば（Ｓ１６のＮ）、同一性判定部６０は、第１の身体の撮像領域と第２の身体の撮像領域は別人物に属すると判定し、個体情報管理部９０は、第１の身体の撮像領域と第２の身体の撮像領域をそれぞれ別人物の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ２０）。これにより、複数のユーザを個体判別して分類することができる。
【００４３】
図５は、個体判別装置１００による別の個体判別手順を説明するフローチャートである。
【００４４】
センサ入力部８０は、コントローラ３００に装備されたセンサまたはユーザの身体に装着された装着センサ３１０から心拍の信号列Ｈ１（ｔ）を検出する（Ｓ３０）。生命兆候信号検出部４０は、カメラ１０ａ、１０ｂにより撮像された身体の撮像領域から心拍の信号列Ｈ２（ｔ）を検出する（Ｓ３２）。
【００４５】
相関計算部５０は、第１の心拍の信号列Ｈ１（ｔ）と第２の心拍の信号列Ｈ２（ｔ）の相関Ｒを計算する（Ｓ３４）。
【００４６】
相関Ｒが閾値Ｔより大きければ（Ｓ３６のＹ）、同一性判定部６０は、当該身体の撮像領域はコントローラ操作者またはセンサ装着者に属すると判定し、個体情報管理部９０は、当該身体の撮像領域をコントローラ操作者またはセンサ装着者の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ３８）。これにより、コントローラ操作者またはセンサ装着者の身体領域、たとえば、顔を特定することができ、コントローラ操作者またはセンサ装着者の顔の表情にもとづいてゲームの展開を変えるなどの制御が可能になる。
【００４７】
相関Ｒが閾値Ｔ以下であれば（Ｓ３６のＮ）、同一性判定部６０は、当該身体の撮像領域はコントローラ操作者またはセンサ装着者に属さないと判定する（Ｓ４０）。これにより、コントローラ操作者またはセンサ装着者と、それ以外のユーザとを区別することができる。
【００４８】
上記の説明では、生命兆候にもとづいて身体の撮像領域の同一性判定を行う方法を説明したが、いったん身体の撮像領域の同一性判定が終われば、テンプレートマッチングなどの技術を用いて、手や顔などの身体の撮像領域をトラッキングすることで、生命兆候を検出せずに、身体の撮像領域の同一性判定を継続してもよい。ユーザが体を大きく動かした場合や、ユーザの位置が入れ替わった場合などは、トラッキングに失敗するため、生命兆候による同一性判定を再開するようにしてもよい。
【００４９】
実施の形態では、生命兆候として心拍を例に挙げたが、撮像されたユーザの身体の振動から呼吸を生命兆候として検出してもよい。また、人には吸気動作時に心拍数が増加し、呼気動作時に心拍数が減少するという特性があるため、呼吸は心拍の信号列からも検出することが可能である。以下、心拍から呼吸の周期または周波数を検出する方法を説明する。
【００５０】
（１）まず、心拍の波形データ列からフーリエ変換によって周波数を検出することにより、心拍数を求める。心拍の波形データ列の自己相関を用いて得られた周期から心拍数を求めてもよい。
【００５１】
（２）次に、求めた心拍数を心拍周期以下の時間間隔、たとえば０．５秒間隔で連続して求めて心拍数列を得る。
【００５２】
心拍数に影響を与えるような運動をしていない場合、心拍数列には呼吸動作に対応する心拍数変動が現れる。吸気動作時に心拍数が増加し、呼気動作時に心拍数が減少する。したがって、上記の（１）と同様の手法で心拍数列から心拍数変動の周波数や周期を求めれば、それを呼吸の周波数や周期とみなすことができる。呼吸は服を着ていても検出することができる点、有利である。また、ゲームプレイ中に複数のプレイヤの息が合っているかどうかをプレイヤの呼吸の波形の同期の具合から検出することもできる。
【００５３】
以上述べたように、本実施の形態の個体判別装置１００によれば、脈拍検知した領域の時間変化の相関を取ることにより、同一脈元の領域を同定し、個体判別、分類を行うことができる。撮像画像に複数のユーザがいても顔、手、足などの領域を個体判別して、同一人物に属するものか否かを判定することができる。また、コントローラや装具などの接触センサからの脈拍情報との相関にもとづいて、撮像された手や顔の画像をコントローラ操作者やセンサ装着者に対応付けることができる。
【００５４】
顔、手、足は身体の離れた場所にあり、心臓からも離れているが、身体の各部において脈拍の波形や周波数はほぼ一致する。身体各部の脈拍の波形データ列は心臓からの距離に応じたずれが生じることで、波形は似ているが位相に違いが生じる場合がある。このような場合に対応するため、身体各部の脈拍の波形データ列の相関を取る際には、位相を前後にずらしした複数の相関を求め、その中の最大の相関値を採用する。これによって体の部位が異なっていても同一人物の身体から得られた脈拍の波形データであるかどうかを判定することができる。別の人物の脈拍の波形データとは瞬間的に高い相関が得られることがある。しかし長時間観察すると波形が一致しなくなったり位相のずれが時間と共に大きく変動するので高い相関は得られなくなる。
【００５５】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
【符号の説明】
【００５６】
１０ カメラ、 ２０ ディスプレイ、 ３０ フレーム記憶部、 ４０ 生命兆候信号検出部、 ５０ 相関計算部、 ６０ 同一性判定部、 ７０ 表示部、 ８０ センサ入力部、 ９０ 個体情報管理部、 ９２ 個体情報記憶部、 １００ 個体判別装置、 ２００ ゲーム機、 ３００ コントローラ、 ３１０ 装着センサ。
【特許請求の範囲】
【請求項１】
ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する記憶部と、
前記記憶部に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出部と、
身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算部と、
身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定部とを含むことを特徴とする個体判別装置。
【請求項２】
前記生命兆候信号検出部は、所定フレーム数の撮像画像において身体の撮像領域における皮膚の振動または光吸収特性の変化を検知することにより、周期的に変動する生命兆候の信号列を検出することを特徴とする請求項１に記載の個体判別装置。
【請求項３】
前記生命兆候は心拍であり、
前記同一性判定部は、検出された心拍の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定することを特徴とする請求項１または２に記載の個体判別装置。
【請求項４】
同一ユーザに属すると判定された身体の複数の撮像領域に対して同一の強調表示を行う表示部をさらに含むことを特徴とする請求項１から３のいずれかに記載の個体判別装置。
【請求項５】
ユーザが身体に装着したセンサまたはユーザが操作するコントローラに装備されたセンサから周期的に変動する生命兆候の信号列の入力を受けるセンサ信号入力部をさらに含み、
前記相関計算部は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関を求め、
前記同一性判定部は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関にもとづいて、当該身体の撮像領域がセンサを装着したユーザまたはコントローラを操作するユーザに属するものであるか否かを判定することを特徴とする請求項１から４のいずれかに記載の個体判別装置。
【請求項６】
前記生命兆候信号検出部は、第１の撮像部により撮像された第１の身体の撮像領域と、第２の撮像部により撮像された第２の身体の撮像領域からそれぞれ周期的に変動する生命兆候の信号列を検出し、
前記相関計算部は、第１の身体の撮像領域と第２の身体の撮像領域から検出されたそれぞれの生命兆候の信号列の相関を求め、
前記同一性判定部は、第１の身体の撮像領域と第２の身体の撮像領域から検出されたそれぞれの生命兆候の信号列の相関にもとづいて、第１の身体の撮像領域と第２の身体の撮像領域が同一ユーザに属するものであるか否かを判定することを特徴とする請求項１から４のいずれかに記載の個体判別装置。
【請求項７】
ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、
身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、
身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとを含むことを特徴とする個体判別方法。
【請求項８】
ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、
身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、
身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとをコンピュータに実行させることを特徴とするプログラム。
【請求項１】
ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する記憶部と、
前記記憶部に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出部と、
身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算部と、
身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定部とを含むことを特徴とする個体判別装置。
【請求項２】
前記生命兆候信号検出部は、所定フレーム数の撮像画像において身体の撮像領域における皮膚の振動または光吸収特性の変化を検知することにより、周期的に変動する生命兆候の信号列を検出することを特徴とする請求項１に記載の個体判別装置。
【請求項３】
前記生命兆候は心拍であり、
前記同一性判定部は、検出された心拍の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定することを特徴とする請求項１または２に記載の個体判別装置。
【請求項４】
同一ユーザに属すると判定された身体の複数の撮像領域に対して同一の強調表示を行う表示部をさらに含むことを特徴とする請求項１から３のいずれかに記載の個体判別装置。
【請求項５】
ユーザが身体に装着したセンサまたはユーザが操作するコントローラに装備されたセンサから周期的に変動する生命兆候の信号列の入力を受けるセンサ信号入力部をさらに含み、
前記相関計算部は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関を求め、
前記同一性判定部は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関にもとづいて、当該身体の撮像領域がセンサを装着したユーザまたはコントローラを操作するユーザに属するものであるか否かを判定することを特徴とする請求項１から４のいずれかに記載の個体判別装置。
【請求項６】
前記生命兆候信号検出部は、第１の撮像部により撮像された第１の身体の撮像領域と、第２の撮像部により撮像された第２の身体の撮像領域からそれぞれ周期的に変動する生命兆候の信号列を検出し、
前記相関計算部は、第１の身体の撮像領域と第２の身体の撮像領域から検出されたそれぞれの生命兆候の信号列の相関を求め、
前記同一性判定部は、第１の身体の撮像領域と第２の身体の撮像領域から検出されたそれぞれの生命兆候の信号列の相関にもとづいて、第１の身体の撮像領域と第２の身体の撮像領域が同一ユーザに属するものであるか否かを判定することを特徴とする請求項１から４のいずれかに記載の個体判別装置。
【請求項７】
ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、
身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、
身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとを含むことを特徴とする個体判別方法。
【請求項８】
ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、
身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、
身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとをコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【公開番号】特開２０１３−９０８４７（Ｐ２０１３−９０８４７Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３５３２７（Ｐ２０１１−２３５３２７）
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]