データ処理装置、動作認識システム、動作判別方法、及びプログラム
【課題】ドップラーセンサを用いて、加速度の大きさに依存せず対象物の動作を認識することが可能なデータ処理装置、動作認識システム、動作判別方法、及びプログラムを提供する。
【解決手段】データ処理装置100は、認識対象物20に対して放射した電磁波である放射波の周波数と、上記放射波が上記認識対象物により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部102と、上記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部106と、上記特徴量に基づいて、上記認識対象物の動作を判別する動作判別部108と、を有する。
【解決手段】データ処理装置100は、認識対象物20に対して放射した電磁波である放射波の周波数と、上記放射波が上記認識対象物により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部102と、上記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部106と、上記特徴量に基づいて、上記認識対象物の動作を判別する動作判別部108と、を有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ処理装置及びデータ処理方法に関し、特に、ドップラーセンサを用いて対象物の動作を認識することの可能なデータ処理装置及びデータ処理方法に関する。
【背景技術】
【0002】
従来から、センサを用いて人又は物体の動作を認識することのできる動作認識システムがある。例えば、非特許文献1が開示する動作認識システムは、3軸加速度センサを用いており、歩いている、静止している、ジャンプしている、及び、走っている、といった動作を機械学習を用いて認識している。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Zhen-Yu He; Lian-WenJin,”Activity recognition from acceleration datausing AR model representation and SVM,”Proc. OfInternational Conference on Machine Learning and Cybernetics, pp.2245-2250,July 2008.
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、加速度センサを用いた動作認識システムは、動作の加速度を抽出して用いるため、身体のわずかな動きや等速で動くような動作、即ち加速度が0に近い動作を検出するのが困難であるという問題があった。また、認識対象物自体にセンサを装着する必要があるため、認識を実行する条件がかなり限られたものとなっていた。
【0005】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、加速度の大きさに依存せず対象物の動作を認識することが可能な、新規かつ改良されたデータ処理装置、動作認識システム、動作判別方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、認識対象物に対して放射した電磁波である放射波の周波数と、上記放射波が上記認識対象物により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、上記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、上記特徴量に基づいて、上記認識対象物の動作を判別する動作判別部と、を有することを特徴とするデータ処理装置が提供される。
【0007】
かかる構成により、データ処理装置は、ドップラーセンサ出力信号を取得して、ドップラーセンサ出力信号の特徴を示す特徴量に基づいて認識対象物の動作を判別する。ドップラーセンサ出力信号の示すデータは、認識対象物との距離の変化に応じて変化する。このため、従来用いられていた加速度センサは、加速度が0に近い動き、例えば、等速で動く動き、及び、ゆっくりした動きを認識することが困難であったが、ドップラーセンサ出力信号に基づいた本構成によれば、加速度が0に近い動きを認識することが出来る。また、ドップラーセンサ出力信号を得るためには、放射波を認識対象物に放射し、その反射波を受信できればよいため、加速度センサのように認識対象物自体にセンサを取り付ける必要がなく、適用範囲が広いという効果がある。
【0008】
また、上記動作判別部は、上記特徴量のサンプルデータに基づいたパターンマッチングにより上記認識対象物の動作を判別し、上記サンプルデータは、上記認識対象物の一連の動作に対応する上記ドップラーセンサ出力信号の上記特徴量であってもよい。
【0009】
また、上記特徴量抽出部は、上記ドップラーセンサ出力信号の時間領域及び周波数領域の特徴を示す上記特徴量を抽出してもよい。
【0010】
また、上記特徴量抽出部は、上記ドップラーセンサ出力信号の時間領域における電圧の平均値、分散値、最大値、最小値、及び中央値、並びに、上記ドップラーセンサ出力信号の周波数領域における平均電力、平均周波数、平均パワー周波数のうち、少なくともいずれかを上記特徴量として抽出してもよい。
【0011】
また、上記データ取得部は、2以上の上記ドップラーセンサ出力信号を取得し、上記特徴量抽出部は、上記2以上のドップラーセンサ出力信号の電圧値の振幅の大きさを、上記ドップラーセンサ出力信号を出力するドップラーセンサと上記認識対象物との距離に依存する変数として用いてもよい。
【0012】
また、上記動作判別部は、上記特徴量のサンプルデータに基づいたパターンマッチングにより上記認識対象物の動作を判別し、上記サンプルデータは、複数の所定方向への上記認識対象物の移動に対応する上記ドップラーセンサ出力信号の上記特徴量であってもよい。
【0013】
また、上記特徴量抽出部は、上記移動の開始時点から終了時点までを所定の自然数Nで等分した単位時間内の最大振幅の増減情報を上記特徴量として抽出してもよい。
【0014】
また、上記単位時間は、少なくとも上記ドップラーセンサ出力信号の1周期以上の長さであることが好ましい。
【0015】
また、上記特徴量抽出部は、連続した複数の上記単位時間のそれぞれに対応する上記増減情報の中から最も多い増減情報値を上記特徴量として抽出してもよい。
【0016】
また、上記特徴量抽出部は、上記ドップラーセンサ出力信号の正規化された電圧信号データから上記特徴量を抽出してもよい。
【0017】
また、上記データ取得部は、1つのドップラーセンサから出力される位相の異なる2つのドップラーセンサ出力信号を取得し、上記特徴量抽出部は、上記2つのドップラーセンサ出力信号の電圧値の大小関係、及び、上記2つのドップラーセンサ出力信号の電圧値が等しくなる交差時点における電圧値の増減情報、を特徴量として抽出し、上記動作判別部は、上記大小関係及び上記増減情報に基づいて上記認識対象物が上記ドップラーセンサ出力信号を出力するドップラーセンサに対する接近又は離反の別を判別してもよい。
【0018】
また、上記動作判別部は、上記交差時点のうち、前回の交差時点の電圧値との差の絶対値が所定の閾値以上となる交差時点において判別を実行してもよい。
【0019】
また、上記特徴量抽出部は、上記大小関係を上記2つのドップラーセンサ出力信号の電圧値の平均値を用いて比較し、上記ドップラーセンサ出力信号の雑音の影響を抑制してもよい。
【0020】
また、上記課題を解決するために、本発明の別の観点によれば、認識対象物に対して放射波を放射し、上記放射波が上記認識対象物により反射した反射波を受信し、上記放射波の周波数と上記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を出力するドップラーセンサを有するドップラーセンサノードと、上記ドップラーセンサ出力信号を取得するデータ取得部と、上記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、上記特徴量に基づいて、上記認識対象物の動作を判別する動作判別部とを有するデータ処理装置と、を有することを特徴とする、動作認識システムが提供される。
【0021】
また、上記課題を解決するために、本発明の別の観点によれば、ドップラーセンサを有するドップラーセンサノード及び上記ドップラーセンサノードから取得したドップラーセンサ出力信号をデータ処理し、データ取得部、特徴量抽出部、及び動作判別部を有するデータ処理装置を有する動作認識システムの、上記ドップラーセンサが認識対象物に対して放射波を放射するステップと、上記ドップラーセンサが上記放射波が上記認識対象物により反射した反射波を受信するステップと、上記ドップラーセンサが上記放射波の周波数と上記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を出力するステップと、上記データ取得部が上記ドップラーセンサ出力信号を取得するステップと、上記特徴量抽出部が上記ドップラーセンサ出力信号の特徴を示す特徴量を抽出するステップと、上記動作判別部が上記特徴量に基づいて上記認識対象物の動作を判別するステップと、を含むことを特徴とする、動作判別方法が提供される。
【0022】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、認識対象物に対して放射した電磁波である放射波の周波数と、上記放射波が上記認識対象物により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、上記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、上記特徴量に基づいて、上記認識対象物の動作を判別する動作判別部と、を有することを特徴とするデータ処理装置として機能させるための、プログラムが提供される。
【発明の効果】
【0023】
以上説明したように本発明によれば、ドップラーセンサを用いて、加速度の大きさに依存せず対象物の動作を認識することが可能なデータ処理装置、動作認識システム、動作判別方法、及びプログラムを提供することが出来る。
【図面の簡単な説明】
【0024】
【図1】本発明の第1の実施形態に係るデータ処理装置の機能ブロック図である。
【図2】認識対象物がタイピングをしている時のドップラーセンサ出力信号の時間領域における波形の例を示す説明図である。
【図3】認識対象物がタイピングをしている時のドップラーセンサ出力信号の周波数領域におけるパワースペクトルを示す説明図である。
【図4】認識対象物が腕回しをしている時のドップラーセンサ出力信号の時間領域における波形の例を示す説明図である。
【図5】認識対象物が腕回しをしている時のドップラーセンサ出力信号の周波数領域におけるパワースペクトルを示す説明図である。
【図6】特徴量の例を示す説明図である。
【図7】取得されたドップラーセンサ出力信号を、サンプリング周波数fs、N点のデータをFFTした場合のパワースペクトルを示す説明図である。
【図8】図7のパワースペクトルを電力値が高い順に並び替えた場合の順番iと電力値p(i)の関係を示す説明図である。
【図9】出力画面の例を示す説明図である。
【図10】出力画面の例を示す説明図である。
【図11】本発明の第2の実施形態に係る動作認識システムのドップラーセンサノードの配置と認識対象動作の定義について説明するための説明図である。
【図12】第1の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図13】第2の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図14】第3の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図15】第4の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図16】第5の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明である。
【図17】第6の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図18】第7の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図19】第8の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図20】第3の実施形態に係る動作認識システムにおける「接近」時のドップラーセンサ出力信号とその特徴量について説明するための説明図である。
【図21】同実施形態に係る動作認識システムにおける「離反」時のドップラーセンサ出力信号とその特徴量について説明するための説明図である。
【図22】同実施形態におけるドップラーセンサ出力信号の雑音及び波形の歪みの一例を示す説明図である。
【図23】同実施形態におけるドップラーセンサ出力信号と、誤判定を抑制するための閾値との関係を示す説明図である。
【図24】同実施形態における特徴量抽出と動作判別処理について説明するためのフローチャートである。
【図25】ドップラーセンサの動作原理を説明するための説明図である。
【図26】ドップラーセンサ出力信号の例と認識対象物の動作との関係を説明するための説明図である。
【発明を実施するための形態】
【0025】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0026】
<ドップラーセンサの原理>
まず、本発明の各実施形態に係る動作認識システムは、いずれもドップラーセンサを用いたものである。そこで、本発明の各実施形態に係る動作認識システムの理解を容易にするために、まず初めに一般的なドップラーセンサの動作原理について、図25及び図26を用いて説明する。図25は、ドップラーセンサの動作原理を説明するための説明図である。また、図26は、ドップラーセンサ出力信号の例と認識対象物の動作との関係を説明するための説明図である。
【0027】
図25を参照すると、ドップラーセンサ902は、認識対象物904に対してある一定の周波数を有する電磁波(例えば、ミリ波又はマイクロ波)、超音波である放射波906を放射する。そして、ドップラーセンサ902は、放射波906が認識対象物904により反射した電磁波である反射波908を検出する。このとき、反射波908の周波数は、認識対象物904の移動速度に応じて変化する。ドップラーセンサ902は、この放射波906と反射波908との差分の周波数(以下、ドップラー周波数という。)を有するドップラーセンサ出力波を電圧信号(以下、ドップラーセンサ出力信号という。)として出力する。
【0028】
ここで、ドップラー周波数は認識対象物の移動速度に比例する。また、ドップラーセンサ出力信号の振幅は、反射波の受信強度に依存する。
【0029】
次に、図26に示されるドップラーセンサ出力信号の波形例を参照して、ドップラーセンサ出力信号の波形と認識対象物904の動作状態の関係について説明する。
【0030】
t0からt1、及びt3以降のように認識対象物904が静止している状態においては、ドップラーセンサ出力信号910の電圧値は一定値となる。この一定の電圧を以下、基準電圧V0と呼ぶことにする。ドップラーセンサ出力信号910の振幅が反射波の受信強度に依存することについては上述したが、認識対象物904が移動している状態において、反射波908の受信強度が大きければ、基準電圧V0からの振幅は大きくなる。一方、反射波908の受信強度が小さければ、基準電圧V0からの振幅は小さくなる。即ち、ドップラーセンサ902と認識対象物904との距離が近くなれば振幅は大きくなる。そして、ドップラーセンサ902と認識対象物904との距離が遠くなれば振幅は小さくなる。
【0031】
このようにドップラーセンサ出力信号910の電圧の振幅の大きさを検知することで、ドップラーセンサ902と認識対象物904とのおおよその距離を知ることが出来る。即ち、図26の例によると、ドップラーセンサ出力信号910の振幅が増加傾向であるt1からt2の間は認識対象物904がドップラーセンサ902に近づいており、ドップラーセンサ出力信号910の振幅が減少傾向であるt2からt3までの間は認識対象物904がドップラーセンサ902から遠ざかっていることをドップラーセンサ出力信号910から知ることが出来る。
【0032】
さらに、ドップラー周波数は認識対象物904の移動速度に応じて変化する。即ち、ドップラーセンサ出力信号の周波数が高いt5からt6の間は認識対象物904が速い速度で移動していることがわかる。ここで、t5からt6の間のドップラーセンサ出力信号は、その電圧値が最低電圧Vminと最大電圧Vmaxとの間の値で変化している。これは、例えば、ドップラーセンサからの信号を増幅した場合などに起こる現象であって、増幅に用いた増幅器、及び、それに関係する回路の最大出力及び最小出力の制約によって信号の電圧値がそれ以上上がりも下がりもせず、飽和状態になっているものである。
【0033】
これ以降に説明する本発明の第1〜第3の実施形態に係る動作認識システムは、ドップラーセンサを用いてドップラーセンサ出力信号を取得し、取得したドップラーセンサ出力信号を解析することにより認識対象物の動作を認識する機能を有する。各実施形態のそれぞれは、ドップラーセンサ出力信号からの特徴点の抽出方法及びそれを用いた動作判別方法に特徴を有する。以下に、各実施形態の詳細について説明する。
【0034】
<第1の実施形態>
[システム構成]
まず初めに、図1を用いて、本発明の第1の実施形態に係る動作認識システム10についてその構成を説明する。図1は、本発明の第1の実施形態に係る動作認識システム10の構成を示す機能ブロック図である。
【0035】
動作認識システム10は、認識対象物20の動作を認識する機能を有する。そして、動作認識システム10は、少なくとも1以上のドップラーセンサノード200、A/D変換器300、及びデータ処理装置100を主に有する。
【0036】
動作認識システム10は、ドップラーセンサノード200を用いて認識対象物20の動作を認識するために用いるドップラーセンサ出力信号を取得する。そして、アナログ信号であるドップラー信号をA/D変換器300によってデジタル信号に変換し、当該デジタル信号がデータ処理装置100に入力される。その後、動作認識システム10は、データ処理装置100において、入力されたドップラーセンサ出力信号を解析し、認識対象物20の動作を判別する。
【0037】
(ドップラーセンサノード200)
ドップラーセンサノード200は、認識対象物20から動作を認識するためにドップラーセンサ202、増幅器204、ローパスフィルタ(LPF)206、及び出力部208を主に有する。
【0038】
ドップラーセンサ202は、認識対象物20に対して電磁波を放射し(以下、この電磁波を放射波という。)、当該放射波の周波数と、放射波が認識対象物20により反射した電磁波である反射波の周波数との差分であるドップラー周波数を検出し、ドップラー周波数を有する信号であるドップラーセンサ出力信号を出力するモジュールである。ドップラーセンサ202は、前述した一般的なドップラーセンサモジュールを用いて構成されてもよい。そして、ドップラーセンサ202は、取得したドップラーセンサ出力信号を増幅器204に入力する。
【0039】
増幅器204は、ドップラーセンサ202から入力されたドップラーセンサ出力信号を増幅する機能を有する。増幅器204は、一般的な増幅回路を用いて構成されてもよい。増幅器204は、増幅処理を実行後のドップラーセンサ出力信号をローパスフィルタ206に入力する。
【0040】
ローパスフィルタ206は、増幅器204から入力されたドップラーセンサ出力信号から高周波雑音を除去する機能を有する。ローパスフィルタ206は、一般的なフィルタ回路を用いて構成されてもよい。ローパスフィルタ206は、フィルタ処理を実行後のドップラーセンサ出力信号を出力部208に入力する。
【0041】
出力部208は、ドップラーセンサノード200がドップラーセンサ出力信号を出力するための出力インタフェースの機能を有する。出力部208は、ローパスフィルタ206から入力されたドップラーセンサ出力信号をA/D変換器300に入力する。
【0042】
また、ドップラーセンサノード200は、ドップラーセンサ202からの放射波を認識対象物20に対して放射することが可能な位置に配置される。そして、認識対象物20の動作速度に対して十分なサンプリング周波数によってドップラーセンサ出力信号を取得する。
【0043】
(A/D変換器300)
A/D(Analog/Digital)変換器300は、ドップラーセンサノードから受け取ったアナログ信号であるドップラーセンサ出力信号をデジタル信号に変換する機能を有する。
【0044】
(データ処理装置100)
データ処理装置100は、ドップラーセンサノード200が取得したドップラーセンサ出力信号のデジタル信号をデータ処理して動作の判別の実行及び判別結果の出力を行う装置である。データ処理装置100は、データ取得部102、処理データ記憶部104、特徴量抽出部106、動作判別部108、及び、判別結果出力部110を主に有する。
【0045】
データ取得部102は、処理対象のデータを取得する機能を有する。本実施形態において、データ取得部102は、A/D変換器300から入力されたデジタル変換されたドップラーセンサ出力信号を受信するインタフェースの機能を有する。
【0046】
処理データ記憶部104は、データ取得部102により取得された処理対象のデータを記憶保持するデータ格納用の装置である。処理データ記憶部104は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ここで、記憶媒体としては、例えば、HDD(Hard Disk Drive)などの磁気記録媒体や、EEPROM(Electronically Erasable and Programmable Read Only Memory)、フラッシュメモリ、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリが挙げられるが、上記に限られない。
【0047】
特徴量抽出部106は、処理データ記憶部104から処理対象のデータであるドップラーセンサ出力信号を取得し、取得したドップラーセンサ出力信号の特徴を示す特徴量を抽出する機能を有する。本実施形態においては、特徴量抽出部106は、ドップラーセンサ出力信号の時間領域及び周波数領域の特徴を示す特徴量を抽出する。本実施形態において抽出する特徴量の具体例については、後述する。
【0048】
動作判別部108は、特徴量抽出部106において抽出された特徴量に基づいて、認識対象物20の動作を判別する機能を有する。本実施形態においては、動作判別部108は、機械学習によるパターンマッチングを用いて認識対象物20の動作を判別する。動作判別部108は、動作を判別する前にサンプルデータの特徴量から機械学習のモデルを構築する学習フェーズを実行する。ここで用いる機械学習のアルゴリズムとしては、例えば、Support Vector Machine(SVM)を用いることが出来る。動作判別部108は、サンプルデータに基づいて機械学習によってどのような動作のときのドップラーセンサ出力信号の特徴量がどのような傾向を示すかを学習し、判別に用いるモデルを構築する。
【0049】
判別結果出力部110は、動作判別部108が判別した結果を出力する機能を有する。判別結果出力部110は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Display)装置およびランプなどの表示装置によって構成されてもよく、また、さらに、スピーカおよびヘッドホンなどの音声出力装置で構成されてもよい。また、他の実施形態としては、判別結果出力部110は、単なる出力インタフェースであって、表示装置又は音声出力装置を有する装置に対して判別結果を表示するためのデータを出力してもよい。また、出力する画面の例については、後述する。
【0050】
なお、以上に説明したデータ処理装置100の各部の機能は、実際には、図示しないCPUなどの制御装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したROMやRAM(いずれも図示せず。)などの記憶媒体から制御プログラムを読み出し、そのプログラムを解釈して実行することにより達成される。
【0051】
[認識対象]
次に、図2〜図5を用いて、本実施形態に係るデータ処理装置100の動作判別部108において認識される認識対象の例について説明する。図2は、認識対象物がタイピングをしている時のドップラーセンサ出力信号の時間領域における波形の例を示す説明図である。図3は、認識対象物がタイピングをしている時のドップラーセンサ出力信号の周波数領域におけるパワースペクトルを示す説明図である。図4は、認識対象物が腕回しをしている時のドップラーセンサ出力信号の時間領域における波形の例を示す説明図である。図5は、認識対象物が腕回しをしている時のドップラーセンサ出力信号の周波数領域におけるパワースペクトルを示す説明図である。
【0052】
本実施形態に係るデータ処理装置100が判別する動作としては、例えば、以下に列挙する動作を想定する。
・タイピングする
・腕回しする
・周囲をうろちょろする(手をぶらぶらさせて歩く)
・センサにゆっくり手を近づけたり離したりする
・顔の前で手をばたばた動かす
・貧乏ゆすりをする
・静止する
・離席状態になる
・丸を描くように手を動かす
・バツを描くように手を動かす
・縦方向に手を振る
・横方向に手を振る
・斜め方向に手を振る
【0053】
この中から、例として「タイピングをする」及び「腕回しをする」に対応するドップラーセンサ出力信号の時間領域における波形及び、時間領域におけるデータを高速フーリエ変換(FFT)して求めた周波数領域におけるパワースペクトルを図2〜図5に示す。
【0054】
本実施形態において、認識対象データの特徴量及びサンプルデータとしての特徴量は、上記に例示したような、認識対象物20の一連の動作に対応するドップラーセンサ出力信号から抽出される。
【0055】
図2〜図5に示したように、各動作に対応するドップラーセンサ出力信号の時間領域における波形及び周波数領域におけるパワースペクトルは異なる特徴を示し、その特徴量も当然異なるはずである。本実施形態に係るデータ処理装置100の動作判別部108は、この特徴量に基づいて認識対象物20の動作を判別する。
【0056】
[特徴量の抽出]
ここで、ドップラーセンサ出力信号から抽出する特徴量の具体例について図6を用いて説明する。図6は、特徴量の例を示す説明図である。
【0057】
本実施形態に係るデータ処理装置100の特徴量抽出部106が抽出する特徴量は、時間領域の特徴量の例としては、例えば、電圧の平均値、分散値、最大値、最小値、及び、中央値、が主に挙げられる。また、周波数領域の特徴量の例としては、例えば、電力の平均値、処理対象のデータを複数の周波数領域に分割し、そのそれぞれの領域における電力の平均値、平均周波数、並びに、電力が上位(a%)(ただし以下、周波数が0Hzにおける電力を除いてもよい)の周波数の平均、平均電力、及び、平均パワー周波数が主に挙げられる。
【0058】
ここで、電力が上位(a%)の周波数の平均、平均電力、及び平均パワー周波数の算出方法について図7及び図8を用いて具体的に説明をする。図7は、取得されたドップラーセンサ出力信号を、サンプリング周波数fs、N点のデータをFFTした場合のパワースペクトルを示す説明図である。また、図8は、図7のパワースペクトルを電力値が高い順に並び替えた場合の順番iと電力値p(i)の関係を示す説明図である。
【0059】
ここで、1≦i≦N/2とし、p(1)が一番高い電力値であり、p(N/2)が一番低い電力値である。電力p(i)が高い方からi番目に対応する周波数をf(i)とする。このようにして並べ替えたパワースペクトルの電力が高い方から上位a%のデータを用いて、その中の周波数の平均値faveは下記の数式(1)、平均電力paveは下記の数式(2)、平均パワー周波数fpaveは下記の数式(3)を用いて算出することが出来る。
【0060】
【数1】
【0061】
[出力例]
次に、図9及び図10を用いて、本発明の第1の実施形態に係るデータ処理装置100の判別結果出力部110において出力される出力画面の例を示す。図9及び図10は、出力画面の例を示す説明図である。
【0062】
例えば、判別結果出力部110は、図9に示す出力画面1100を出力してもよい。出力画面1100は、文字表示領域1102、及び画像表示領域1104を主に有する。判別結果出力部110は、このとき、文字表示領域1102において、動作判別部108が判別した結果に対応する文字を表示させ、さらに、画像表示領域1106において、動作判別部108が判別した結果に対応する画像(静止画像又は動画像)を表示させてもよい。図9の例においては、判別結果出力部110は、“『タイピング』をしています”という文字情報と、タイピングをしている人の画像を表示させている。
【0063】
また、例えば、判別結果出力部110は、図10に示す出力画面1110を出力してもよい。出力画面1110は、表形式によりa=腕回し、b=ゆっくり、c=ばたばた、d=貧乏ゆすり、e=うろちょろ、f=タイピング、g=静止状態、及び、h=離席状態それぞれのドップラーセンサ出力信号を50回入力したうち、何度どの動作に判別されたかをまとめて示している。例えば、腕回しは49回『腕回し』であると判別され、1回『うろちょろ』であると判別されたことが示されている。
【0064】
[効果の例]
ここで、本実施形態に係る動作認識システム10の効果の例について説明する。まず、本実施形態に係る動作認識システム10は、加速度センサを用いて動作認識システムと異なり、認識対象物20自体にセンサを取り付ける必要がない。このため、センサを取り付けることが困難な認識対象物20の動作を認識することが出来る。また、加速度センサを用いた動作認識システムでは認識することが困難であったゆっくりした動きの認識、及び、等速で動く(加速度が0に近い)動きを判別することが出来るという効果が挙げられる。さらに、時間領域のデータのみでなく、周波数領域のデータを用いて多種な特徴量を用いることで、高精度な動作の判別をすることが出来る。
【0065】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。本実施形態に係るデータ処理装置100は、2次元平面上を動いた認識対象物20の移動方向をなるべく少ないドップラーセンサを用いて高い精度により判別する機能を有する。一般的に、用いるセンサの数が多くなればなるほど、多くの特徴を抽出することが出来るため判別精度は高くなる。しかし、センサの数を増やすと、センサの設置コストが高くなり、また、判別にかかる処理も増える。そこで、本実施形態に係るデータ処理装置100は、直接移動方向に向かって電波を放射するセンサだけでなく、直接移動方向に向かって電波を放射しないセンサのドップラーセンサ出力信号も判別に用いることによって、様々な方向の移動をより少ないセンサにより検出することを可能とする。
【0066】
本実施形態に係るデータ処理装置100の機能構成は、図1に示した第1の実施形態に係るデータ処理装置100と同様である。本実施形態に係るデータ処理装置100と第1の実施形態に係るデータ処理装置100とを比較すると、動作判別部108において用いるサンプルデータの形式が異なり、それに伴って特徴量抽出部106において抽出する特徴量が異なる。以下、第1の実施形態との差異部分について主に説明する。
【0067】
[認識対象動作]
まず、図11を用いて本実施形態に係るドップラーセンサノード200の配置とサンプルデータの概要について説明する。初めに、サンプルデータとしての認識対象の動作を図11に示す二次元平面上の8つの方向として定義する。例えば、8つの方向は図11の符号を用いると次に示すように定義される。
【0068】
・第1の方向(510から550)
・第2の方向(550から510)
・第3の方向(570から530)
・第4の方向(530から570)
・第5の方向(580から540)
・第6の方向(540から580)
・第7の方向(520から560)
・第8の方向(560から520)
【0069】
そして、2つのドップラーセンサノード200a及び200bは、互いに放射方向が直交するように配置される。本実施形態においては、ドップラーセンサノード200aは、放射方向が第1の方向となるよう配置され、ドップラーセンサノード200bは、放射方向が第3の方向となるよう配置される。
【0070】
ここで、複数のドップラーセンサノード200の配置については、放射方向が重ならないことが好ましい。さらに、それぞれのドップラーセンサノード200の放射方向がなるべく分散するように配置されることが望ましい。そのため、本実施形態のように2つのドップラーセンサノード200を用いる場合には互いに放射方向が直交するように配置する。また、ドップラーセンサノードが3以上の数であるN個用いられる場合には、放射方向の成す角度が(360÷N)度となるよう配置されることが好ましい。例えば、ドップラーセンサノード200を3つ用いる場合には、3つのドップラーセンサノード200は、その放射方向が120度の角度を成すよう配置されることが好ましい。
【0071】
このとき、ドップラーセンサノード200a及びドップラーセンサノード200bにおいて取得されるドップラーセンサ出力信号は、例えば図12〜図19に示されたように、方向によってその振幅の増減のパターンとその組合せがそれぞれ異なる。このことに基づいて動作を判別するための特徴量の抽出方法について、次に示す。
【0072】
[特徴量の抽出]
まず、特徴量抽出部106は、機器の性能差による電圧の最大値及び最小値の差異の影響を省くために、入力されたドップラーセンサ出力信号を正規化する。例えば、正規化されたドップラーセンサ出力信号データは以下の式を用いて求めることが出来る。
【0073】
正規化電圧値=(V−Vmin)÷(Vmax−Vmin)
ここで、Vは正規化前のドップラーセンサ出力信号の電圧値であり、Vminは機器により定められた電圧の最小値であり、Vmaxは機器により定められた電圧の最大値である。上記の計算の結果、正規化電圧値は0から1までの値をとる。また、以下の説明中における基準電圧値は、動作が観測されないときの電圧の値であるとする。以下、ドップラーセンサ出力信号の電圧値という場合には、この正規化された電圧値をいう。
【0074】
次に、特徴量抽出部106は、入力されたドップラーセンサ出力信号のうち動作の開始点及び終了点を検知して1つの動作に対応するドップラーセンサ出力信号の開始と終了の時点を決定する。開始点及び終了点を検知する方法は様々考えられるが、ここでは、ドップラーセンサノード200a及びドップラーセンサノード200bのうちいずれかにおいて先に基準電圧からの電圧の値がある一定期間T1th以上の間、ある閾値A1th以下である状態が継続し、且つ、電圧の値の大きさが閾値A1th以上になった時点を動作の開始時点tsとする。そして、その後、ある一定期間T2th以上の間、電圧の値がある閾値A2th以下となった時点を動作の終了時点teとして、1つの動作に対応するドップラーセンサ出力信号を検出する。
【0075】
次に、特徴量抽出部106は、開始点tsから終了点teまでの時間をN(Nは自然数とする。)等分し、N等分された1つの区間を単位時間とする。単位時間は、少なくとも波の一周期以上の長さとなるようにする。これは、単位時間内に必ず波形の最大振幅を含むようにするためである。単位時間内における最大振幅の大きさが区間最大振幅とされる。単位時間は、1回当たりの動作の速度に応じて異なる。例えば、動作の速度が速いときには、動作の速度が遅いときに比べて開始点tsから終了点teまでの間の時間が短くなるため、必然的に単位時間も短くなる。
【0076】
そして、次に、特徴量抽出部106は、単位時間内の区間最大振幅をそれぞれ検出し、ドップラーセンサノード200a及びドップラーセンサノード200bのそれぞれからN個ずつの区間最大振幅値を抽出する。このとき、ドップラーセンサ出力信号の振幅の大きさは、認識対象物20とドップラーセンサ202との距離に依存する変数である。具体的には、ドップラーセンサ202と認識対象物20との距離が遠い時は、その距離が近い場合と比較して小さくなる。さらに、特徴量抽出部106は、i番目(0<i≦N)の単位時間の区間最大振幅値が直前の(i−1)番目の単位時間の区間最大振幅値と比較して、その値が増加しているなら「増加」、減少しているならば「減少」とする増減情報を特徴量として抽出する。このとき、例えば図26において説明したように飽和状態となっている場合には同じ値が続くことも考えられるため、この場合には増減情報を「変化なし」とする。
【0077】
上記のように、特徴量抽出部106は、ドップラーセンサノード200a及びドップラーセンサノード200bからそれぞれ(N−1)個の増減情報、合計2(N−1)個の増減情報を特徴量として抽出する。
【0078】
例えば、図12〜図19は、ドップラーセンサノード200a及びドップラーセンサノード200bの波形と、N=7とした場合の各単位時間における増減情報を示した説明図である。ここで示されたように、増減情報は、各動作によって異なるパターンを示す。この増減情報を用いて、動作判別部108は、機械学習によりこれらのサンプルデータの特徴量から機械学習のモデルを構築する学習フェーズを実行する。
【0079】
例えば、図12に示す第1の方向への動作に対応するドップラーセンサ出力信号の波形と特徴量が示される。このとき、認識対象物20は図11に示す510から550まで移動している。ドップラーセンサノード200aから認識対象物20に対する距離は、510から550まで移動する間、増加し続ける。このため、図12(a)に示したように、ドップラーセンサノード200aにおいて取得されるドップラーセンサ出力信号の振幅は減少し続ける。
【0080】
一方、ドップラーセンサノード200bから認識対象物20に対する距離は、認識対象物20が510から中心点590に到達するまでは減少し、中心点590から550に到達するまでは増加する。このため、図12(b)に示したように、ドップラーセンサノード200bにおいて取得されるドップラーセンサ出力信号の振幅は、認識対象物20が中心点590まで到達するまでは増加し、その後減少する。
【0081】
そして、特徴量抽出部106は、判別対象のドップラーセンサ出力信号に対しても、サンプルデータに対する処理と同様に上記の正規化、開始点及び終了点の検出、増減情報の抽出を実行する。そして、動作判別部108は、機械学習のモデルに従ったパターンマッチングにより動作を判別する。
【0082】
特徴量抽出部106は、増減情報を特徴量として抽出する場合に、抽出する特徴量の数を減らすために、連続する複数の増減情報をさらにM個のグループに区分し、当該グループ毎に増減情報の1つの代表値を決定してもよい。例えば、4つの増減情報を1つのグループとした場合において、増減情報が「増加」、「増加」、「減少」、「増加」と推移する場合には、このグループの代表値を「増加」としてもよい。Nの値が大きく、増減情報の数が多くなる場合には、処理を高速化させる効果と、軽微な増減情報の揺らぎの影響を取り除き、より全体の傾向を反映したデータを取得することが出来るという効果がある。
【0083】
[効果の例]
本発明の第2の実施形態に係る動作認識システム10の効果の例について説明する。本実施形態に係る動作認識システム10は、第1の実施形態における効果の例として挙げたもののうち、加速度センサではなくドップラーセンサを用いることによる効果である、「センサを取り付けることが困難な認識対象物20の動作を認識することが出来る」、「ゆっくりした動きの認識、及び、等速で動く(加速度が0に近い)動きを判別することが出来る」に加えて、以下のような効果が望める。
【0084】
複数のセンサにより取得されたドップラーセンサ出力信号の特徴の組合せを用いることにより、認識対象物の動作の方向に放射するセンサがない状態であっても、疎の方向の動きを判別することが出来るという効果がある。また、FFTを用いて周波数領域の特徴を抽出しなくても、時間領域の特徴のみで動作を判別することが出来るため、簡易な処理で動作を判別することが出来る。また、動作の開始点及び終了点を検知し、開始点から終了点までの時間を所定の自然数で分割した領域毎に特徴量を抽出するため、動作の速度に関わらず、決まった個数の特徴量を抽出することが出来る。
【0085】
<第3の実施形態>
[認識対象]
次に、本発明の第3の実施形態に係る動作認識システムについて説明する。本実施形態に係る動作認識システム10は、1つのドップラーセンサ202から出力される、2つのドップラーセンサ出力信号を認識対象物20の認識に用いる。当該2つのドップラーセンサ出力信号は、互いに異なる位相を有する。図20は、本実施形態に係る動作認識システム10において認識対象物20がドップラーセンサ202に対して「接近」しているときのドップラーセンサ出力信号を示す説明図である。また、図21は、本実施形態に係る動作認識システム10において認識対象物20がドップラーセンサ202に対して「離反」しているときのドップラーセンサ出力信号を示す説明図である。
【0086】
図20及び図21に示したように、本実施形態に係る動作認識システム10において用いられるドップラーセンサ出力信号は、図20及び図21において実線により示され、その電圧値がv1(t)で示されるドップラーセンサ出力信号が第1のドップラーセンサ出力信号であるとし、点線により示され、その電圧値がv2(t)で示されるドップラーセンサ出力信号を第2のドップラーセンサ出力信号とすると、図20に示すように「接近」時には第1のドップラーセンサ出力信号に対して第2のドップラーセンサ出力信号は位相が90度進んでいる。また、図21に示すように「離反」時には第1のドップラーセンサ出力信号に対して第2のドップラーセンサ出力信号は位相が90度遅れている。このように、本実施形態に係る動作認識システム10は、第1のドップラーセンサ出力信号と第2のドップラーセンサ出力信号とが位相差を有するよう調整されたドップラーセンサを用いる。このため、1つのドップラーセンサ202から出力された2つのドップラーセンサ出力信号の位相差を検知することにより、認識対象物20がドップラーセンサ202に対して接近しているのか、離反しているのかを判別出来ると考えられる。
【0087】
例えば、一般的な位相比較器のようなハードウェアを用いることで位相差を判別することは出来る。しかしながら、一般的にハードウェア処理とソフトウェア処理とが混在した装置は、その装置サイズが大型化するという問題があった。そこで、以下にソフトウェア処理のみで認識対象物20がドップラーセンサ202に接近しているか離反しているかを判別することの出来るデータ処理装置100を提案する。さらに、ドップラーセンサ出力信号に雑音が混在している環境においても精度よく動作を判別するためのデータ処理装置100について説明する。
【0088】
[特徴量の抽出]
次に、図20及び図21を用いて、本実施形態に係るデータ処理装置100の特徴量抽出部106が抽出する特徴量について説明する。本実施形態において、データ処理装置100のデータ取得部102は、1つのドップラーセンサから出力される位相の異なる2つのドップラーセンサ出力信号を取得する。そして、特徴量抽出部は、上記2つのドップラーセンサ出力信号から以下に説明する特徴量を抽出する。
【0089】
時刻tにおける第1のドップラーセンサ出力信号の電圧値をv1(t)、第2のドップラーセンサ出力信号の電圧値をv2(t)とする。そして、各観測時点における2つのドップラーセンサ出力信号の電圧値の差v1(t)−v2(t)の値を求め、v1(t)−v2(t)の値が0となる時点、正から負の値に切り替わった時点、又は、負から正の値に切り替わった時点を波形が交差する時点とし、交差時点を時間の早い順からそれぞれtkとする(kは自然数である。)。また、各交差時点tkにおける電圧値をVcross(tk)とする。
【0090】
図20に示すように、認識対象物20がドップラーセンサ202に接近している場合には、ある連続する2つの交差時点tk−1及びtkの間において、即ち、tk−1<t<tkである場合に、v1(t)−v2(t)の値が負の値であるときには、Vcross(tk)−Vcross(tk−1)の値は正の値となっており、v1(t)−v2(t)の値が正の値であるときには、Vcross(tk)−Vcross(tk−1)の値は負の値となっている。
【0091】
一方、図21に示すように、認識対象物20がドップラーセンサ202に対して離反している場合には、ある連続する2つの交差時点tk−1及びtkの間において、即ち、tk−1<t<tkである場合に、v1(t)−v2(t)の値が負の値であるときには、Vcross(tk)−Vcross(tk−1)の値も負の値となっており、v1(t)−v2(t)の値が正の値であるときには、Vcross(tk)−Vcross(tk−1)の値も正の値となっている。
【0092】
本発明の第1の実施形態および第2の実施形態に係る動作判別部108は、機械学習に従ったパターンマッチングを用いて動作を判別したが、本実施形態に係る動作判別部108は、このように、tk−1<t<tkである場合のv1(t)−v2(t)の値の正負情報とVcross(tk)−Vcross(tk−1)の値の正負情報との関係性のパターンに従って、動作判別部108は、認識対象物20がドップラーセンサ202に対して接近しているのか、離反しているのかを判別することが出来る。
【0093】
【0094】
以上、ソフトウェア処理のみで認識対象物20がドップラーセンサ202に接近しているか離反しているかを判別するために、1つのドップラーセンサ202から出力された2つのドップラーセンサ出力信号について、「接近」時のドップラーセンサ出力信号の位相差の特徴と「離反」時のドップラーセンサ出力波の位相差の特徴とを抽出する方法の基本的な原理について説明したが、実際には、取得されるドップラーセンサ出力信号が雑音及び歪みを含み、動作判別部108は、この雑音及び歪みの影響により正しく認識対象物20の動作を認識することが出来ない場合がある。
【0095】
そこで、次にこれら雑音及び歪みの影響により正しく認識することの出来ないパターンとその影響を抑制するためのデータ処理装置100の構成について図22及び図23を用いて説明する。図22は、ドップラーセンサ出力信号の雑音及び波形の歪みの一例を示す説明図である。また、図23は、ドップラーセンサ出力信号と、誤判定を抑制するための閾値との関係を示す説明図である。
【0096】
例えば、図22に示す2つのドップラーセンサ出力信号は、雑音及び波形の歪みを含んでいる。このため、領域α及び領域βにおいて、短時間の間に複数の交差点が観測される。上記の特徴量抽出方法は、例えば図21及び図22に示されるような理想的な波形を有するドップラーセンサ出力信号を想定している。このため、特徴量抽出部106がここで観測される交差点全てについて特徴量を抽出してしまうと、動作判別部108において、正しい判別結果が得られない。そこで、動作判別部108は、所定の閾値Vthを用いて、ドップラーセンサ出力信号の有する雑音及び波形の歪みの影響を抑制する。具体的には、交差時点tkにおいてVcross(tk)−Vcross(tk−1)の絶対値が所定の閾値Vth以下の場合には、動作判別部108は、かかる交差時点tkを交差時点と認定しない。すなわち、動作判別部108は、交差時点のうち、前回の交差時点の電圧値との差が所定の閾値以上となる交差時点おいて動作の判別を実行する。
【0097】
さらに、上記の閾値Vthを設定するだけでは、図23に示すようにドップラーセンサ出力信号が雑音を含む場合に、tk’においてはVcross(tk‘)−Vcross(tk−1)の値がVth以下で交差と認定されず、tkにおいてはVcross(tk)−Vcross(tk−1)の値がVth以上となり交差と認定される場合がある。このとき、本来第1のドップラーセンサ出力信号と第2のドップラーセンサ出力信号との電圧値の差が正から負に切り替わり、「接近」と認識されるべきであるのに、「離反」と認識される場合がある。かかる誤判定を抑制するために、v1(t)−v2(t)の値及びv1(t)−v2(t)の値の正負情報は、v1(t)−v2(t)の平均値が用いられてもよい。平均値は、予め定めた単位区間Tunit毎に計算されてもよい。かかる構成により、雑音による誤判定の可能性を低減することが出来る。
【0098】
次に、図24を用いて本実施形態に係る特徴量抽出部106及び動作判別部108の動作について説明する。図24は、本実施形態に係る特徴量抽出と動作判別処理について説明するためのフローチャートである。
【0099】
まず、特徴量抽出部106は、2つのドップラーセンサ出力信号データから電圧値v1(t)及びv2(t)を抽出する(S102)。そして、特徴量抽出部106は、単位区間毎、例えば、Tunit毎にv1(t)−v2(t)の平均値を計算する(S104)。
【0100】
そして、特徴量抽出部106は、v1(t)−v2(t)の平均値が負から正に変化したか否かを判定する(S106)。そして、負から正に変化した場合には、その時点をtkとすると、Vcross(tk)−Vcross(tk−1)の値を算出して動作判別部108に入力する。一方、v1(t)−v2(t)の平均値が負から正に変化していない場合には、次にv1(t)−v2(t)の平均値が正から負に変化したか否かを判定する(S114)。そして、v1(t)−v2(t)の平均値が正から負に変化した場合には、特徴量抽出部106は、同様にVcross(tk)−Vcross(tk−1)の値を算出して動作判別部108に入力する。ここで、v1(t)−v2(t)の平均値が正から負に変化しなかった場合には、再びステップS102の電圧値の取得に処理は戻る。
【0101】
そして、動作判別部108は、ステップS106の判定において、v1(t)−v2(t)の平均値が正から負に変化した場合には、受信したVcross(tk)−Vcross(tk−1)の値が所定の閾値Vthより大きいか否かを判定する(S108)。ステップS108における判定の結果、Vcross(tk)−Vcross(tk−1)の値が所定の閾値Vthより大きいと判定された場合には、動作判別部108は、認識対象物20がドップラーセンサ202に対して「接近」していると認識する(S112)。一方、ステップS108の判定の結果、Vcross(tk)−Vcross(tk−1)の値が所定の閾値Vthより大きいと判定されなかった場合には、次に、Vcross(tk)−Vcross(tk−1)の値が所定の閾値−Vthより小さいか否かを判定する(S110)。かかる判定において、所定の閾値−Vthより小さいと判定された場合には、動作判別部108は、認識対象物20がドップラーセンサ202に対して「離反」していると認識する(S120)。一方、ステップS110の判定において、所定の閾値−Vthより小さいと判定されなかった場合には、再びステップS102の電圧値の抽出に処理は戻る。
【0102】
また一方、ステップS114の判定において、v1(t)−v2(t)の平均値が正から負に変化したと判定された場合には、次に、Vcross(tk)−Vcross(tk−1)の値が、所定の閾値−Vthよりも小さいか否かを判定する(S116)。かかる判定において、−Vthよりも小さいと判定された場合には、動作判別部108は、認識対象物20がドップラーセンサ202に対して「接近」していると認識する(S112)。一方、−Vthよりも小さいと判定されなかった場合には、さらに、動作判定部108は、Vcross(tk)−Vcross(tk−1)の値が、Vthよりも大きいか否かを判定する(S118)。そしてステップS118の判定の結果、Vthよりも大きいと判定された場合には、動作判別部108は、認識対象物20がドップラーセンサ202に対して「離反」していると認識する(S120)。一方、ステップS118の判定においてVthよりも大きいと判定されなかった場合には、ステップS102の電圧値の抽出に処理は戻る。
【0103】
上記の処理が実行され、ステップS112において「接近」と認識された後、または、ステップS120において「離反」と認識された後、動作判定部108は、さらに認識対象のデータがあるか否かを判定する(S122)。そして、さらに認識対象のデータが存在しない場合には動作判別処理を終了し、さらに認識対象のデータがある場合には、当該データに対してステップS102の電圧値の抽出に処理は戻る。
【0104】
以上、1つのドップラーセンサから出力された2つのドップラーセンサ出力信号から位相比較器などのハードウェアを用いずに接近及び離反の区別を判別するデータ処理装置100について説明してきた。例えば、さらにドップラーセンサ出力信号の雑音による影響を低減するために、「接近」及び「離反」状態の判定を事後に補正してもよい。例えば、ある単位時間毎に区切り、その単位時間内において「接近」及び「離反」のうち判別回数が多い方をその単位時間の状態の代表値とする。また、状態の前後関係から補正を加えてもよい。例えば、接近状態が続く中、ほんのわずかな時間のみ離反と判別された場合には、当該「離反」判定は雑音の影響であると見なして「接近」に補正してもよい。
【0105】
[効果の例]
以上、本発明の第3の実施形態に係る動作認識システム10について説明してきたが、かかる動作認識システム10の効果の例について説明する。本実施形態に係る動作認識システム10は、第1の実施形態における効果の例として挙げたもののうち、加速度センサではなくドップラーセンサを用いることによる効果である、「センサを取り付けることが困難な認識対象物20の動作を認識することが出来る」、「ゆっくりした動きの認識、及び、等速で動く(加速度が0に近い)動きを判別することが出来る」に加えて、以下のような効果が望める。
【0106】
まず、位相比較器などのハードウェアを用いずにソフトウェアの処理のみで認識対象物20が接近しているか離反しているのかの判別を行うことが出来る。このため、ハードウェアを搭載する場合と比較して装置自体のサイズを低減することが可能である。また、判別に用いるための、1つのドップラーセンサから出力された2つのドップラーセンサ出力信号が雑音を含む場合であっても精度良く動作の判別を行うことが出来る。
【0107】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0108】
例えば、上記第1の実施形態では、1つのドップラーセンサノードを含む構成としたが、本発明はかかる例に限定されない。例えば、2つ以上複数含む構成としてもよい。
【0109】
また、例えば、上記第2の実施形態では、8つの方向を定義し、定義された方向の動きを認識するものとしたが、本発明はかかる例に限定されない。例えば、定義する方向の数は必ずしも8つでなくてもよい。また、直線的な方向の動きに限定されず、そのドップラーセンサ出力信号の電圧値の増減情報がそれぞれ特有のパターンを示すものであれば適用可能である。
【0110】
また、例えば、上記第2の実施形態では、所定の自然数N個の増減情報をサンプルデータとして用いたが、本発明はかかる例に限定されない。例えば、所定の自然数Nこの増減情報を抽出した後、その増加及び減少の比率に関する情報をサンプルデータとして用いてもよい。
【0111】
また、上記実施形態では全てドップラーセンサだけを用いる動作認識システムについて説明したが、本発明はかかる例に限定されない。例えば、他のセンサから得たデータと組み合わせて用いることも出来る。
【0112】
また、上記で説明した各実施形態に係る動作認識システムは、認識した動作のデータを表示部のような出力部において表示出力するのみでなく、例えば、機器制御のデータとして用いられるよう出力することも出来る。
【0113】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【0114】
10 動作認識システム
20 認識対象物
100 データ処理装置
102 データ取得部
104 処理データ記憶部
106 特徴量抽出部
108 動作判別部
110 判別結果出力部
200 ドップラーセンサノード
300 A/D変換器
【技術分野】
【0001】
本発明は、データ処理装置及びデータ処理方法に関し、特に、ドップラーセンサを用いて対象物の動作を認識することの可能なデータ処理装置及びデータ処理方法に関する。
【背景技術】
【0002】
従来から、センサを用いて人又は物体の動作を認識することのできる動作認識システムがある。例えば、非特許文献1が開示する動作認識システムは、3軸加速度センサを用いており、歩いている、静止している、ジャンプしている、及び、走っている、といった動作を機械学習を用いて認識している。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Zhen-Yu He; Lian-WenJin,”Activity recognition from acceleration datausing AR model representation and SVM,”Proc. OfInternational Conference on Machine Learning and Cybernetics, pp.2245-2250,July 2008.
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、加速度センサを用いた動作認識システムは、動作の加速度を抽出して用いるため、身体のわずかな動きや等速で動くような動作、即ち加速度が0に近い動作を検出するのが困難であるという問題があった。また、認識対象物自体にセンサを装着する必要があるため、認識を実行する条件がかなり限られたものとなっていた。
【0005】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、加速度の大きさに依存せず対象物の動作を認識することが可能な、新規かつ改良されたデータ処理装置、動作認識システム、動作判別方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、認識対象物に対して放射した電磁波である放射波の周波数と、上記放射波が上記認識対象物により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、上記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、上記特徴量に基づいて、上記認識対象物の動作を判別する動作判別部と、を有することを特徴とするデータ処理装置が提供される。
【0007】
かかる構成により、データ処理装置は、ドップラーセンサ出力信号を取得して、ドップラーセンサ出力信号の特徴を示す特徴量に基づいて認識対象物の動作を判別する。ドップラーセンサ出力信号の示すデータは、認識対象物との距離の変化に応じて変化する。このため、従来用いられていた加速度センサは、加速度が0に近い動き、例えば、等速で動く動き、及び、ゆっくりした動きを認識することが困難であったが、ドップラーセンサ出力信号に基づいた本構成によれば、加速度が0に近い動きを認識することが出来る。また、ドップラーセンサ出力信号を得るためには、放射波を認識対象物に放射し、その反射波を受信できればよいため、加速度センサのように認識対象物自体にセンサを取り付ける必要がなく、適用範囲が広いという効果がある。
【0008】
また、上記動作判別部は、上記特徴量のサンプルデータに基づいたパターンマッチングにより上記認識対象物の動作を判別し、上記サンプルデータは、上記認識対象物の一連の動作に対応する上記ドップラーセンサ出力信号の上記特徴量であってもよい。
【0009】
また、上記特徴量抽出部は、上記ドップラーセンサ出力信号の時間領域及び周波数領域の特徴を示す上記特徴量を抽出してもよい。
【0010】
また、上記特徴量抽出部は、上記ドップラーセンサ出力信号の時間領域における電圧の平均値、分散値、最大値、最小値、及び中央値、並びに、上記ドップラーセンサ出力信号の周波数領域における平均電力、平均周波数、平均パワー周波数のうち、少なくともいずれかを上記特徴量として抽出してもよい。
【0011】
また、上記データ取得部は、2以上の上記ドップラーセンサ出力信号を取得し、上記特徴量抽出部は、上記2以上のドップラーセンサ出力信号の電圧値の振幅の大きさを、上記ドップラーセンサ出力信号を出力するドップラーセンサと上記認識対象物との距離に依存する変数として用いてもよい。
【0012】
また、上記動作判別部は、上記特徴量のサンプルデータに基づいたパターンマッチングにより上記認識対象物の動作を判別し、上記サンプルデータは、複数の所定方向への上記認識対象物の移動に対応する上記ドップラーセンサ出力信号の上記特徴量であってもよい。
【0013】
また、上記特徴量抽出部は、上記移動の開始時点から終了時点までを所定の自然数Nで等分した単位時間内の最大振幅の増減情報を上記特徴量として抽出してもよい。
【0014】
また、上記単位時間は、少なくとも上記ドップラーセンサ出力信号の1周期以上の長さであることが好ましい。
【0015】
また、上記特徴量抽出部は、連続した複数の上記単位時間のそれぞれに対応する上記増減情報の中から最も多い増減情報値を上記特徴量として抽出してもよい。
【0016】
また、上記特徴量抽出部は、上記ドップラーセンサ出力信号の正規化された電圧信号データから上記特徴量を抽出してもよい。
【0017】
また、上記データ取得部は、1つのドップラーセンサから出力される位相の異なる2つのドップラーセンサ出力信号を取得し、上記特徴量抽出部は、上記2つのドップラーセンサ出力信号の電圧値の大小関係、及び、上記2つのドップラーセンサ出力信号の電圧値が等しくなる交差時点における電圧値の増減情報、を特徴量として抽出し、上記動作判別部は、上記大小関係及び上記増減情報に基づいて上記認識対象物が上記ドップラーセンサ出力信号を出力するドップラーセンサに対する接近又は離反の別を判別してもよい。
【0018】
また、上記動作判別部は、上記交差時点のうち、前回の交差時点の電圧値との差の絶対値が所定の閾値以上となる交差時点において判別を実行してもよい。
【0019】
また、上記特徴量抽出部は、上記大小関係を上記2つのドップラーセンサ出力信号の電圧値の平均値を用いて比較し、上記ドップラーセンサ出力信号の雑音の影響を抑制してもよい。
【0020】
また、上記課題を解決するために、本発明の別の観点によれば、認識対象物に対して放射波を放射し、上記放射波が上記認識対象物により反射した反射波を受信し、上記放射波の周波数と上記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を出力するドップラーセンサを有するドップラーセンサノードと、上記ドップラーセンサ出力信号を取得するデータ取得部と、上記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、上記特徴量に基づいて、上記認識対象物の動作を判別する動作判別部とを有するデータ処理装置と、を有することを特徴とする、動作認識システムが提供される。
【0021】
また、上記課題を解決するために、本発明の別の観点によれば、ドップラーセンサを有するドップラーセンサノード及び上記ドップラーセンサノードから取得したドップラーセンサ出力信号をデータ処理し、データ取得部、特徴量抽出部、及び動作判別部を有するデータ処理装置を有する動作認識システムの、上記ドップラーセンサが認識対象物に対して放射波を放射するステップと、上記ドップラーセンサが上記放射波が上記認識対象物により反射した反射波を受信するステップと、上記ドップラーセンサが上記放射波の周波数と上記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を出力するステップと、上記データ取得部が上記ドップラーセンサ出力信号を取得するステップと、上記特徴量抽出部が上記ドップラーセンサ出力信号の特徴を示す特徴量を抽出するステップと、上記動作判別部が上記特徴量に基づいて上記認識対象物の動作を判別するステップと、を含むことを特徴とする、動作判別方法が提供される。
【0022】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、認識対象物に対して放射した電磁波である放射波の周波数と、上記放射波が上記認識対象物により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、上記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、上記特徴量に基づいて、上記認識対象物の動作を判別する動作判別部と、を有することを特徴とするデータ処理装置として機能させるための、プログラムが提供される。
【発明の効果】
【0023】
以上説明したように本発明によれば、ドップラーセンサを用いて、加速度の大きさに依存せず対象物の動作を認識することが可能なデータ処理装置、動作認識システム、動作判別方法、及びプログラムを提供することが出来る。
【図面の簡単な説明】
【0024】
【図1】本発明の第1の実施形態に係るデータ処理装置の機能ブロック図である。
【図2】認識対象物がタイピングをしている時のドップラーセンサ出力信号の時間領域における波形の例を示す説明図である。
【図3】認識対象物がタイピングをしている時のドップラーセンサ出力信号の周波数領域におけるパワースペクトルを示す説明図である。
【図4】認識対象物が腕回しをしている時のドップラーセンサ出力信号の時間領域における波形の例を示す説明図である。
【図5】認識対象物が腕回しをしている時のドップラーセンサ出力信号の周波数領域におけるパワースペクトルを示す説明図である。
【図6】特徴量の例を示す説明図である。
【図7】取得されたドップラーセンサ出力信号を、サンプリング周波数fs、N点のデータをFFTした場合のパワースペクトルを示す説明図である。
【図8】図7のパワースペクトルを電力値が高い順に並び替えた場合の順番iと電力値p(i)の関係を示す説明図である。
【図9】出力画面の例を示す説明図である。
【図10】出力画面の例を示す説明図である。
【図11】本発明の第2の実施形態に係る動作認識システムのドップラーセンサノードの配置と認識対象動作の定義について説明するための説明図である。
【図12】第1の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図13】第2の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図14】第3の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図15】第4の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図16】第5の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明である。
【図17】第6の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図18】第7の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図19】第8の方向の動作に対応するドップラーセンサ出力信号とその増減情報を示す説明図である。
【図20】第3の実施形態に係る動作認識システムにおける「接近」時のドップラーセンサ出力信号とその特徴量について説明するための説明図である。
【図21】同実施形態に係る動作認識システムにおける「離反」時のドップラーセンサ出力信号とその特徴量について説明するための説明図である。
【図22】同実施形態におけるドップラーセンサ出力信号の雑音及び波形の歪みの一例を示す説明図である。
【図23】同実施形態におけるドップラーセンサ出力信号と、誤判定を抑制するための閾値との関係を示す説明図である。
【図24】同実施形態における特徴量抽出と動作判別処理について説明するためのフローチャートである。
【図25】ドップラーセンサの動作原理を説明するための説明図である。
【図26】ドップラーセンサ出力信号の例と認識対象物の動作との関係を説明するための説明図である。
【発明を実施するための形態】
【0025】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0026】
<ドップラーセンサの原理>
まず、本発明の各実施形態に係る動作認識システムは、いずれもドップラーセンサを用いたものである。そこで、本発明の各実施形態に係る動作認識システムの理解を容易にするために、まず初めに一般的なドップラーセンサの動作原理について、図25及び図26を用いて説明する。図25は、ドップラーセンサの動作原理を説明するための説明図である。また、図26は、ドップラーセンサ出力信号の例と認識対象物の動作との関係を説明するための説明図である。
【0027】
図25を参照すると、ドップラーセンサ902は、認識対象物904に対してある一定の周波数を有する電磁波(例えば、ミリ波又はマイクロ波)、超音波である放射波906を放射する。そして、ドップラーセンサ902は、放射波906が認識対象物904により反射した電磁波である反射波908を検出する。このとき、反射波908の周波数は、認識対象物904の移動速度に応じて変化する。ドップラーセンサ902は、この放射波906と反射波908との差分の周波数(以下、ドップラー周波数という。)を有するドップラーセンサ出力波を電圧信号(以下、ドップラーセンサ出力信号という。)として出力する。
【0028】
ここで、ドップラー周波数は認識対象物の移動速度に比例する。また、ドップラーセンサ出力信号の振幅は、反射波の受信強度に依存する。
【0029】
次に、図26に示されるドップラーセンサ出力信号の波形例を参照して、ドップラーセンサ出力信号の波形と認識対象物904の動作状態の関係について説明する。
【0030】
t0からt1、及びt3以降のように認識対象物904が静止している状態においては、ドップラーセンサ出力信号910の電圧値は一定値となる。この一定の電圧を以下、基準電圧V0と呼ぶことにする。ドップラーセンサ出力信号910の振幅が反射波の受信強度に依存することについては上述したが、認識対象物904が移動している状態において、反射波908の受信強度が大きければ、基準電圧V0からの振幅は大きくなる。一方、反射波908の受信強度が小さければ、基準電圧V0からの振幅は小さくなる。即ち、ドップラーセンサ902と認識対象物904との距離が近くなれば振幅は大きくなる。そして、ドップラーセンサ902と認識対象物904との距離が遠くなれば振幅は小さくなる。
【0031】
このようにドップラーセンサ出力信号910の電圧の振幅の大きさを検知することで、ドップラーセンサ902と認識対象物904とのおおよその距離を知ることが出来る。即ち、図26の例によると、ドップラーセンサ出力信号910の振幅が増加傾向であるt1からt2の間は認識対象物904がドップラーセンサ902に近づいており、ドップラーセンサ出力信号910の振幅が減少傾向であるt2からt3までの間は認識対象物904がドップラーセンサ902から遠ざかっていることをドップラーセンサ出力信号910から知ることが出来る。
【0032】
さらに、ドップラー周波数は認識対象物904の移動速度に応じて変化する。即ち、ドップラーセンサ出力信号の周波数が高いt5からt6の間は認識対象物904が速い速度で移動していることがわかる。ここで、t5からt6の間のドップラーセンサ出力信号は、その電圧値が最低電圧Vminと最大電圧Vmaxとの間の値で変化している。これは、例えば、ドップラーセンサからの信号を増幅した場合などに起こる現象であって、増幅に用いた増幅器、及び、それに関係する回路の最大出力及び最小出力の制約によって信号の電圧値がそれ以上上がりも下がりもせず、飽和状態になっているものである。
【0033】
これ以降に説明する本発明の第1〜第3の実施形態に係る動作認識システムは、ドップラーセンサを用いてドップラーセンサ出力信号を取得し、取得したドップラーセンサ出力信号を解析することにより認識対象物の動作を認識する機能を有する。各実施形態のそれぞれは、ドップラーセンサ出力信号からの特徴点の抽出方法及びそれを用いた動作判別方法に特徴を有する。以下に、各実施形態の詳細について説明する。
【0034】
<第1の実施形態>
[システム構成]
まず初めに、図1を用いて、本発明の第1の実施形態に係る動作認識システム10についてその構成を説明する。図1は、本発明の第1の実施形態に係る動作認識システム10の構成を示す機能ブロック図である。
【0035】
動作認識システム10は、認識対象物20の動作を認識する機能を有する。そして、動作認識システム10は、少なくとも1以上のドップラーセンサノード200、A/D変換器300、及びデータ処理装置100を主に有する。
【0036】
動作認識システム10は、ドップラーセンサノード200を用いて認識対象物20の動作を認識するために用いるドップラーセンサ出力信号を取得する。そして、アナログ信号であるドップラー信号をA/D変換器300によってデジタル信号に変換し、当該デジタル信号がデータ処理装置100に入力される。その後、動作認識システム10は、データ処理装置100において、入力されたドップラーセンサ出力信号を解析し、認識対象物20の動作を判別する。
【0037】
(ドップラーセンサノード200)
ドップラーセンサノード200は、認識対象物20から動作を認識するためにドップラーセンサ202、増幅器204、ローパスフィルタ(LPF)206、及び出力部208を主に有する。
【0038】
ドップラーセンサ202は、認識対象物20に対して電磁波を放射し(以下、この電磁波を放射波という。)、当該放射波の周波数と、放射波が認識対象物20により反射した電磁波である反射波の周波数との差分であるドップラー周波数を検出し、ドップラー周波数を有する信号であるドップラーセンサ出力信号を出力するモジュールである。ドップラーセンサ202は、前述した一般的なドップラーセンサモジュールを用いて構成されてもよい。そして、ドップラーセンサ202は、取得したドップラーセンサ出力信号を増幅器204に入力する。
【0039】
増幅器204は、ドップラーセンサ202から入力されたドップラーセンサ出力信号を増幅する機能を有する。増幅器204は、一般的な増幅回路を用いて構成されてもよい。増幅器204は、増幅処理を実行後のドップラーセンサ出力信号をローパスフィルタ206に入力する。
【0040】
ローパスフィルタ206は、増幅器204から入力されたドップラーセンサ出力信号から高周波雑音を除去する機能を有する。ローパスフィルタ206は、一般的なフィルタ回路を用いて構成されてもよい。ローパスフィルタ206は、フィルタ処理を実行後のドップラーセンサ出力信号を出力部208に入力する。
【0041】
出力部208は、ドップラーセンサノード200がドップラーセンサ出力信号を出力するための出力インタフェースの機能を有する。出力部208は、ローパスフィルタ206から入力されたドップラーセンサ出力信号をA/D変換器300に入力する。
【0042】
また、ドップラーセンサノード200は、ドップラーセンサ202からの放射波を認識対象物20に対して放射することが可能な位置に配置される。そして、認識対象物20の動作速度に対して十分なサンプリング周波数によってドップラーセンサ出力信号を取得する。
【0043】
(A/D変換器300)
A/D(Analog/Digital)変換器300は、ドップラーセンサノードから受け取ったアナログ信号であるドップラーセンサ出力信号をデジタル信号に変換する機能を有する。
【0044】
(データ処理装置100)
データ処理装置100は、ドップラーセンサノード200が取得したドップラーセンサ出力信号のデジタル信号をデータ処理して動作の判別の実行及び判別結果の出力を行う装置である。データ処理装置100は、データ取得部102、処理データ記憶部104、特徴量抽出部106、動作判別部108、及び、判別結果出力部110を主に有する。
【0045】
データ取得部102は、処理対象のデータを取得する機能を有する。本実施形態において、データ取得部102は、A/D変換器300から入力されたデジタル変換されたドップラーセンサ出力信号を受信するインタフェースの機能を有する。
【0046】
処理データ記憶部104は、データ取得部102により取得された処理対象のデータを記憶保持するデータ格納用の装置である。処理データ記憶部104は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ここで、記憶媒体としては、例えば、HDD(Hard Disk Drive)などの磁気記録媒体や、EEPROM(Electronically Erasable and Programmable Read Only Memory)、フラッシュメモリ、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリが挙げられるが、上記に限られない。
【0047】
特徴量抽出部106は、処理データ記憶部104から処理対象のデータであるドップラーセンサ出力信号を取得し、取得したドップラーセンサ出力信号の特徴を示す特徴量を抽出する機能を有する。本実施形態においては、特徴量抽出部106は、ドップラーセンサ出力信号の時間領域及び周波数領域の特徴を示す特徴量を抽出する。本実施形態において抽出する特徴量の具体例については、後述する。
【0048】
動作判別部108は、特徴量抽出部106において抽出された特徴量に基づいて、認識対象物20の動作を判別する機能を有する。本実施形態においては、動作判別部108は、機械学習によるパターンマッチングを用いて認識対象物20の動作を判別する。動作判別部108は、動作を判別する前にサンプルデータの特徴量から機械学習のモデルを構築する学習フェーズを実行する。ここで用いる機械学習のアルゴリズムとしては、例えば、Support Vector Machine(SVM)を用いることが出来る。動作判別部108は、サンプルデータに基づいて機械学習によってどのような動作のときのドップラーセンサ出力信号の特徴量がどのような傾向を示すかを学習し、判別に用いるモデルを構築する。
【0049】
判別結果出力部110は、動作判別部108が判別した結果を出力する機能を有する。判別結果出力部110は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Display)装置およびランプなどの表示装置によって構成されてもよく、また、さらに、スピーカおよびヘッドホンなどの音声出力装置で構成されてもよい。また、他の実施形態としては、判別結果出力部110は、単なる出力インタフェースであって、表示装置又は音声出力装置を有する装置に対して判別結果を表示するためのデータを出力してもよい。また、出力する画面の例については、後述する。
【0050】
なお、以上に説明したデータ処理装置100の各部の機能は、実際には、図示しないCPUなどの制御装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したROMやRAM(いずれも図示せず。)などの記憶媒体から制御プログラムを読み出し、そのプログラムを解釈して実行することにより達成される。
【0051】
[認識対象]
次に、図2〜図5を用いて、本実施形態に係るデータ処理装置100の動作判別部108において認識される認識対象の例について説明する。図2は、認識対象物がタイピングをしている時のドップラーセンサ出力信号の時間領域における波形の例を示す説明図である。図3は、認識対象物がタイピングをしている時のドップラーセンサ出力信号の周波数領域におけるパワースペクトルを示す説明図である。図4は、認識対象物が腕回しをしている時のドップラーセンサ出力信号の時間領域における波形の例を示す説明図である。図5は、認識対象物が腕回しをしている時のドップラーセンサ出力信号の周波数領域におけるパワースペクトルを示す説明図である。
【0052】
本実施形態に係るデータ処理装置100が判別する動作としては、例えば、以下に列挙する動作を想定する。
・タイピングする
・腕回しする
・周囲をうろちょろする(手をぶらぶらさせて歩く)
・センサにゆっくり手を近づけたり離したりする
・顔の前で手をばたばた動かす
・貧乏ゆすりをする
・静止する
・離席状態になる
・丸を描くように手を動かす
・バツを描くように手を動かす
・縦方向に手を振る
・横方向に手を振る
・斜め方向に手を振る
【0053】
この中から、例として「タイピングをする」及び「腕回しをする」に対応するドップラーセンサ出力信号の時間領域における波形及び、時間領域におけるデータを高速フーリエ変換(FFT)して求めた周波数領域におけるパワースペクトルを図2〜図5に示す。
【0054】
本実施形態において、認識対象データの特徴量及びサンプルデータとしての特徴量は、上記に例示したような、認識対象物20の一連の動作に対応するドップラーセンサ出力信号から抽出される。
【0055】
図2〜図5に示したように、各動作に対応するドップラーセンサ出力信号の時間領域における波形及び周波数領域におけるパワースペクトルは異なる特徴を示し、その特徴量も当然異なるはずである。本実施形態に係るデータ処理装置100の動作判別部108は、この特徴量に基づいて認識対象物20の動作を判別する。
【0056】
[特徴量の抽出]
ここで、ドップラーセンサ出力信号から抽出する特徴量の具体例について図6を用いて説明する。図6は、特徴量の例を示す説明図である。
【0057】
本実施形態に係るデータ処理装置100の特徴量抽出部106が抽出する特徴量は、時間領域の特徴量の例としては、例えば、電圧の平均値、分散値、最大値、最小値、及び、中央値、が主に挙げられる。また、周波数領域の特徴量の例としては、例えば、電力の平均値、処理対象のデータを複数の周波数領域に分割し、そのそれぞれの領域における電力の平均値、平均周波数、並びに、電力が上位(a%)(ただし以下、周波数が0Hzにおける電力を除いてもよい)の周波数の平均、平均電力、及び、平均パワー周波数が主に挙げられる。
【0058】
ここで、電力が上位(a%)の周波数の平均、平均電力、及び平均パワー周波数の算出方法について図7及び図8を用いて具体的に説明をする。図7は、取得されたドップラーセンサ出力信号を、サンプリング周波数fs、N点のデータをFFTした場合のパワースペクトルを示す説明図である。また、図8は、図7のパワースペクトルを電力値が高い順に並び替えた場合の順番iと電力値p(i)の関係を示す説明図である。
【0059】
ここで、1≦i≦N/2とし、p(1)が一番高い電力値であり、p(N/2)が一番低い電力値である。電力p(i)が高い方からi番目に対応する周波数をf(i)とする。このようにして並べ替えたパワースペクトルの電力が高い方から上位a%のデータを用いて、その中の周波数の平均値faveは下記の数式(1)、平均電力paveは下記の数式(2)、平均パワー周波数fpaveは下記の数式(3)を用いて算出することが出来る。
【0060】
【数1】
【0061】
[出力例]
次に、図9及び図10を用いて、本発明の第1の実施形態に係るデータ処理装置100の判別結果出力部110において出力される出力画面の例を示す。図9及び図10は、出力画面の例を示す説明図である。
【0062】
例えば、判別結果出力部110は、図9に示す出力画面1100を出力してもよい。出力画面1100は、文字表示領域1102、及び画像表示領域1104を主に有する。判別結果出力部110は、このとき、文字表示領域1102において、動作判別部108が判別した結果に対応する文字を表示させ、さらに、画像表示領域1106において、動作判別部108が判別した結果に対応する画像(静止画像又は動画像)を表示させてもよい。図9の例においては、判別結果出力部110は、“『タイピング』をしています”という文字情報と、タイピングをしている人の画像を表示させている。
【0063】
また、例えば、判別結果出力部110は、図10に示す出力画面1110を出力してもよい。出力画面1110は、表形式によりa=腕回し、b=ゆっくり、c=ばたばた、d=貧乏ゆすり、e=うろちょろ、f=タイピング、g=静止状態、及び、h=離席状態それぞれのドップラーセンサ出力信号を50回入力したうち、何度どの動作に判別されたかをまとめて示している。例えば、腕回しは49回『腕回し』であると判別され、1回『うろちょろ』であると判別されたことが示されている。
【0064】
[効果の例]
ここで、本実施形態に係る動作認識システム10の効果の例について説明する。まず、本実施形態に係る動作認識システム10は、加速度センサを用いて動作認識システムと異なり、認識対象物20自体にセンサを取り付ける必要がない。このため、センサを取り付けることが困難な認識対象物20の動作を認識することが出来る。また、加速度センサを用いた動作認識システムでは認識することが困難であったゆっくりした動きの認識、及び、等速で動く(加速度が0に近い)動きを判別することが出来るという効果が挙げられる。さらに、時間領域のデータのみでなく、周波数領域のデータを用いて多種な特徴量を用いることで、高精度な動作の判別をすることが出来る。
【0065】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。本実施形態に係るデータ処理装置100は、2次元平面上を動いた認識対象物20の移動方向をなるべく少ないドップラーセンサを用いて高い精度により判別する機能を有する。一般的に、用いるセンサの数が多くなればなるほど、多くの特徴を抽出することが出来るため判別精度は高くなる。しかし、センサの数を増やすと、センサの設置コストが高くなり、また、判別にかかる処理も増える。そこで、本実施形態に係るデータ処理装置100は、直接移動方向に向かって電波を放射するセンサだけでなく、直接移動方向に向かって電波を放射しないセンサのドップラーセンサ出力信号も判別に用いることによって、様々な方向の移動をより少ないセンサにより検出することを可能とする。
【0066】
本実施形態に係るデータ処理装置100の機能構成は、図1に示した第1の実施形態に係るデータ処理装置100と同様である。本実施形態に係るデータ処理装置100と第1の実施形態に係るデータ処理装置100とを比較すると、動作判別部108において用いるサンプルデータの形式が異なり、それに伴って特徴量抽出部106において抽出する特徴量が異なる。以下、第1の実施形態との差異部分について主に説明する。
【0067】
[認識対象動作]
まず、図11を用いて本実施形態に係るドップラーセンサノード200の配置とサンプルデータの概要について説明する。初めに、サンプルデータとしての認識対象の動作を図11に示す二次元平面上の8つの方向として定義する。例えば、8つの方向は図11の符号を用いると次に示すように定義される。
【0068】
・第1の方向(510から550)
・第2の方向(550から510)
・第3の方向(570から530)
・第4の方向(530から570)
・第5の方向(580から540)
・第6の方向(540から580)
・第7の方向(520から560)
・第8の方向(560から520)
【0069】
そして、2つのドップラーセンサノード200a及び200bは、互いに放射方向が直交するように配置される。本実施形態においては、ドップラーセンサノード200aは、放射方向が第1の方向となるよう配置され、ドップラーセンサノード200bは、放射方向が第3の方向となるよう配置される。
【0070】
ここで、複数のドップラーセンサノード200の配置については、放射方向が重ならないことが好ましい。さらに、それぞれのドップラーセンサノード200の放射方向がなるべく分散するように配置されることが望ましい。そのため、本実施形態のように2つのドップラーセンサノード200を用いる場合には互いに放射方向が直交するように配置する。また、ドップラーセンサノードが3以上の数であるN個用いられる場合には、放射方向の成す角度が(360÷N)度となるよう配置されることが好ましい。例えば、ドップラーセンサノード200を3つ用いる場合には、3つのドップラーセンサノード200は、その放射方向が120度の角度を成すよう配置されることが好ましい。
【0071】
このとき、ドップラーセンサノード200a及びドップラーセンサノード200bにおいて取得されるドップラーセンサ出力信号は、例えば図12〜図19に示されたように、方向によってその振幅の増減のパターンとその組合せがそれぞれ異なる。このことに基づいて動作を判別するための特徴量の抽出方法について、次に示す。
【0072】
[特徴量の抽出]
まず、特徴量抽出部106は、機器の性能差による電圧の最大値及び最小値の差異の影響を省くために、入力されたドップラーセンサ出力信号を正規化する。例えば、正規化されたドップラーセンサ出力信号データは以下の式を用いて求めることが出来る。
【0073】
正規化電圧値=(V−Vmin)÷(Vmax−Vmin)
ここで、Vは正規化前のドップラーセンサ出力信号の電圧値であり、Vminは機器により定められた電圧の最小値であり、Vmaxは機器により定められた電圧の最大値である。上記の計算の結果、正規化電圧値は0から1までの値をとる。また、以下の説明中における基準電圧値は、動作が観測されないときの電圧の値であるとする。以下、ドップラーセンサ出力信号の電圧値という場合には、この正規化された電圧値をいう。
【0074】
次に、特徴量抽出部106は、入力されたドップラーセンサ出力信号のうち動作の開始点及び終了点を検知して1つの動作に対応するドップラーセンサ出力信号の開始と終了の時点を決定する。開始点及び終了点を検知する方法は様々考えられるが、ここでは、ドップラーセンサノード200a及びドップラーセンサノード200bのうちいずれかにおいて先に基準電圧からの電圧の値がある一定期間T1th以上の間、ある閾値A1th以下である状態が継続し、且つ、電圧の値の大きさが閾値A1th以上になった時点を動作の開始時点tsとする。そして、その後、ある一定期間T2th以上の間、電圧の値がある閾値A2th以下となった時点を動作の終了時点teとして、1つの動作に対応するドップラーセンサ出力信号を検出する。
【0075】
次に、特徴量抽出部106は、開始点tsから終了点teまでの時間をN(Nは自然数とする。)等分し、N等分された1つの区間を単位時間とする。単位時間は、少なくとも波の一周期以上の長さとなるようにする。これは、単位時間内に必ず波形の最大振幅を含むようにするためである。単位時間内における最大振幅の大きさが区間最大振幅とされる。単位時間は、1回当たりの動作の速度に応じて異なる。例えば、動作の速度が速いときには、動作の速度が遅いときに比べて開始点tsから終了点teまでの間の時間が短くなるため、必然的に単位時間も短くなる。
【0076】
そして、次に、特徴量抽出部106は、単位時間内の区間最大振幅をそれぞれ検出し、ドップラーセンサノード200a及びドップラーセンサノード200bのそれぞれからN個ずつの区間最大振幅値を抽出する。このとき、ドップラーセンサ出力信号の振幅の大きさは、認識対象物20とドップラーセンサ202との距離に依存する変数である。具体的には、ドップラーセンサ202と認識対象物20との距離が遠い時は、その距離が近い場合と比較して小さくなる。さらに、特徴量抽出部106は、i番目(0<i≦N)の単位時間の区間最大振幅値が直前の(i−1)番目の単位時間の区間最大振幅値と比較して、その値が増加しているなら「増加」、減少しているならば「減少」とする増減情報を特徴量として抽出する。このとき、例えば図26において説明したように飽和状態となっている場合には同じ値が続くことも考えられるため、この場合には増減情報を「変化なし」とする。
【0077】
上記のように、特徴量抽出部106は、ドップラーセンサノード200a及びドップラーセンサノード200bからそれぞれ(N−1)個の増減情報、合計2(N−1)個の増減情報を特徴量として抽出する。
【0078】
例えば、図12〜図19は、ドップラーセンサノード200a及びドップラーセンサノード200bの波形と、N=7とした場合の各単位時間における増減情報を示した説明図である。ここで示されたように、増減情報は、各動作によって異なるパターンを示す。この増減情報を用いて、動作判別部108は、機械学習によりこれらのサンプルデータの特徴量から機械学習のモデルを構築する学習フェーズを実行する。
【0079】
例えば、図12に示す第1の方向への動作に対応するドップラーセンサ出力信号の波形と特徴量が示される。このとき、認識対象物20は図11に示す510から550まで移動している。ドップラーセンサノード200aから認識対象物20に対する距離は、510から550まで移動する間、増加し続ける。このため、図12(a)に示したように、ドップラーセンサノード200aにおいて取得されるドップラーセンサ出力信号の振幅は減少し続ける。
【0080】
一方、ドップラーセンサノード200bから認識対象物20に対する距離は、認識対象物20が510から中心点590に到達するまでは減少し、中心点590から550に到達するまでは増加する。このため、図12(b)に示したように、ドップラーセンサノード200bにおいて取得されるドップラーセンサ出力信号の振幅は、認識対象物20が中心点590まで到達するまでは増加し、その後減少する。
【0081】
そして、特徴量抽出部106は、判別対象のドップラーセンサ出力信号に対しても、サンプルデータに対する処理と同様に上記の正規化、開始点及び終了点の検出、増減情報の抽出を実行する。そして、動作判別部108は、機械学習のモデルに従ったパターンマッチングにより動作を判別する。
【0082】
特徴量抽出部106は、増減情報を特徴量として抽出する場合に、抽出する特徴量の数を減らすために、連続する複数の増減情報をさらにM個のグループに区分し、当該グループ毎に増減情報の1つの代表値を決定してもよい。例えば、4つの増減情報を1つのグループとした場合において、増減情報が「増加」、「増加」、「減少」、「増加」と推移する場合には、このグループの代表値を「増加」としてもよい。Nの値が大きく、増減情報の数が多くなる場合には、処理を高速化させる効果と、軽微な増減情報の揺らぎの影響を取り除き、より全体の傾向を反映したデータを取得することが出来るという効果がある。
【0083】
[効果の例]
本発明の第2の実施形態に係る動作認識システム10の効果の例について説明する。本実施形態に係る動作認識システム10は、第1の実施形態における効果の例として挙げたもののうち、加速度センサではなくドップラーセンサを用いることによる効果である、「センサを取り付けることが困難な認識対象物20の動作を認識することが出来る」、「ゆっくりした動きの認識、及び、等速で動く(加速度が0に近い)動きを判別することが出来る」に加えて、以下のような効果が望める。
【0084】
複数のセンサにより取得されたドップラーセンサ出力信号の特徴の組合せを用いることにより、認識対象物の動作の方向に放射するセンサがない状態であっても、疎の方向の動きを判別することが出来るという効果がある。また、FFTを用いて周波数領域の特徴を抽出しなくても、時間領域の特徴のみで動作を判別することが出来るため、簡易な処理で動作を判別することが出来る。また、動作の開始点及び終了点を検知し、開始点から終了点までの時間を所定の自然数で分割した領域毎に特徴量を抽出するため、動作の速度に関わらず、決まった個数の特徴量を抽出することが出来る。
【0085】
<第3の実施形態>
[認識対象]
次に、本発明の第3の実施形態に係る動作認識システムについて説明する。本実施形態に係る動作認識システム10は、1つのドップラーセンサ202から出力される、2つのドップラーセンサ出力信号を認識対象物20の認識に用いる。当該2つのドップラーセンサ出力信号は、互いに異なる位相を有する。図20は、本実施形態に係る動作認識システム10において認識対象物20がドップラーセンサ202に対して「接近」しているときのドップラーセンサ出力信号を示す説明図である。また、図21は、本実施形態に係る動作認識システム10において認識対象物20がドップラーセンサ202に対して「離反」しているときのドップラーセンサ出力信号を示す説明図である。
【0086】
図20及び図21に示したように、本実施形態に係る動作認識システム10において用いられるドップラーセンサ出力信号は、図20及び図21において実線により示され、その電圧値がv1(t)で示されるドップラーセンサ出力信号が第1のドップラーセンサ出力信号であるとし、点線により示され、その電圧値がv2(t)で示されるドップラーセンサ出力信号を第2のドップラーセンサ出力信号とすると、図20に示すように「接近」時には第1のドップラーセンサ出力信号に対して第2のドップラーセンサ出力信号は位相が90度進んでいる。また、図21に示すように「離反」時には第1のドップラーセンサ出力信号に対して第2のドップラーセンサ出力信号は位相が90度遅れている。このように、本実施形態に係る動作認識システム10は、第1のドップラーセンサ出力信号と第2のドップラーセンサ出力信号とが位相差を有するよう調整されたドップラーセンサを用いる。このため、1つのドップラーセンサ202から出力された2つのドップラーセンサ出力信号の位相差を検知することにより、認識対象物20がドップラーセンサ202に対して接近しているのか、離反しているのかを判別出来ると考えられる。
【0087】
例えば、一般的な位相比較器のようなハードウェアを用いることで位相差を判別することは出来る。しかしながら、一般的にハードウェア処理とソフトウェア処理とが混在した装置は、その装置サイズが大型化するという問題があった。そこで、以下にソフトウェア処理のみで認識対象物20がドップラーセンサ202に接近しているか離反しているかを判別することの出来るデータ処理装置100を提案する。さらに、ドップラーセンサ出力信号に雑音が混在している環境においても精度よく動作を判別するためのデータ処理装置100について説明する。
【0088】
[特徴量の抽出]
次に、図20及び図21を用いて、本実施形態に係るデータ処理装置100の特徴量抽出部106が抽出する特徴量について説明する。本実施形態において、データ処理装置100のデータ取得部102は、1つのドップラーセンサから出力される位相の異なる2つのドップラーセンサ出力信号を取得する。そして、特徴量抽出部は、上記2つのドップラーセンサ出力信号から以下に説明する特徴量を抽出する。
【0089】
時刻tにおける第1のドップラーセンサ出力信号の電圧値をv1(t)、第2のドップラーセンサ出力信号の電圧値をv2(t)とする。そして、各観測時点における2つのドップラーセンサ出力信号の電圧値の差v1(t)−v2(t)の値を求め、v1(t)−v2(t)の値が0となる時点、正から負の値に切り替わった時点、又は、負から正の値に切り替わった時点を波形が交差する時点とし、交差時点を時間の早い順からそれぞれtkとする(kは自然数である。)。また、各交差時点tkにおける電圧値をVcross(tk)とする。
【0090】
図20に示すように、認識対象物20がドップラーセンサ202に接近している場合には、ある連続する2つの交差時点tk−1及びtkの間において、即ち、tk−1<t<tkである場合に、v1(t)−v2(t)の値が負の値であるときには、Vcross(tk)−Vcross(tk−1)の値は正の値となっており、v1(t)−v2(t)の値が正の値であるときには、Vcross(tk)−Vcross(tk−1)の値は負の値となっている。
【0091】
一方、図21に示すように、認識対象物20がドップラーセンサ202に対して離反している場合には、ある連続する2つの交差時点tk−1及びtkの間において、即ち、tk−1<t<tkである場合に、v1(t)−v2(t)の値が負の値であるときには、Vcross(tk)−Vcross(tk−1)の値も負の値となっており、v1(t)−v2(t)の値が正の値であるときには、Vcross(tk)−Vcross(tk−1)の値も正の値となっている。
【0092】
本発明の第1の実施形態および第2の実施形態に係る動作判別部108は、機械学習に従ったパターンマッチングを用いて動作を判別したが、本実施形態に係る動作判別部108は、このように、tk−1<t<tkである場合のv1(t)−v2(t)の値の正負情報とVcross(tk)−Vcross(tk−1)の値の正負情報との関係性のパターンに従って、動作判別部108は、認識対象物20がドップラーセンサ202に対して接近しているのか、離反しているのかを判別することが出来る。
【0093】
【0094】
以上、ソフトウェア処理のみで認識対象物20がドップラーセンサ202に接近しているか離反しているかを判別するために、1つのドップラーセンサ202から出力された2つのドップラーセンサ出力信号について、「接近」時のドップラーセンサ出力信号の位相差の特徴と「離反」時のドップラーセンサ出力波の位相差の特徴とを抽出する方法の基本的な原理について説明したが、実際には、取得されるドップラーセンサ出力信号が雑音及び歪みを含み、動作判別部108は、この雑音及び歪みの影響により正しく認識対象物20の動作を認識することが出来ない場合がある。
【0095】
そこで、次にこれら雑音及び歪みの影響により正しく認識することの出来ないパターンとその影響を抑制するためのデータ処理装置100の構成について図22及び図23を用いて説明する。図22は、ドップラーセンサ出力信号の雑音及び波形の歪みの一例を示す説明図である。また、図23は、ドップラーセンサ出力信号と、誤判定を抑制するための閾値との関係を示す説明図である。
【0096】
例えば、図22に示す2つのドップラーセンサ出力信号は、雑音及び波形の歪みを含んでいる。このため、領域α及び領域βにおいて、短時間の間に複数の交差点が観測される。上記の特徴量抽出方法は、例えば図21及び図22に示されるような理想的な波形を有するドップラーセンサ出力信号を想定している。このため、特徴量抽出部106がここで観測される交差点全てについて特徴量を抽出してしまうと、動作判別部108において、正しい判別結果が得られない。そこで、動作判別部108は、所定の閾値Vthを用いて、ドップラーセンサ出力信号の有する雑音及び波形の歪みの影響を抑制する。具体的には、交差時点tkにおいてVcross(tk)−Vcross(tk−1)の絶対値が所定の閾値Vth以下の場合には、動作判別部108は、かかる交差時点tkを交差時点と認定しない。すなわち、動作判別部108は、交差時点のうち、前回の交差時点の電圧値との差が所定の閾値以上となる交差時点おいて動作の判別を実行する。
【0097】
さらに、上記の閾値Vthを設定するだけでは、図23に示すようにドップラーセンサ出力信号が雑音を含む場合に、tk’においてはVcross(tk‘)−Vcross(tk−1)の値がVth以下で交差と認定されず、tkにおいてはVcross(tk)−Vcross(tk−1)の値がVth以上となり交差と認定される場合がある。このとき、本来第1のドップラーセンサ出力信号と第2のドップラーセンサ出力信号との電圧値の差が正から負に切り替わり、「接近」と認識されるべきであるのに、「離反」と認識される場合がある。かかる誤判定を抑制するために、v1(t)−v2(t)の値及びv1(t)−v2(t)の値の正負情報は、v1(t)−v2(t)の平均値が用いられてもよい。平均値は、予め定めた単位区間Tunit毎に計算されてもよい。かかる構成により、雑音による誤判定の可能性を低減することが出来る。
【0098】
次に、図24を用いて本実施形態に係る特徴量抽出部106及び動作判別部108の動作について説明する。図24は、本実施形態に係る特徴量抽出と動作判別処理について説明するためのフローチャートである。
【0099】
まず、特徴量抽出部106は、2つのドップラーセンサ出力信号データから電圧値v1(t)及びv2(t)を抽出する(S102)。そして、特徴量抽出部106は、単位区間毎、例えば、Tunit毎にv1(t)−v2(t)の平均値を計算する(S104)。
【0100】
そして、特徴量抽出部106は、v1(t)−v2(t)の平均値が負から正に変化したか否かを判定する(S106)。そして、負から正に変化した場合には、その時点をtkとすると、Vcross(tk)−Vcross(tk−1)の値を算出して動作判別部108に入力する。一方、v1(t)−v2(t)の平均値が負から正に変化していない場合には、次にv1(t)−v2(t)の平均値が正から負に変化したか否かを判定する(S114)。そして、v1(t)−v2(t)の平均値が正から負に変化した場合には、特徴量抽出部106は、同様にVcross(tk)−Vcross(tk−1)の値を算出して動作判別部108に入力する。ここで、v1(t)−v2(t)の平均値が正から負に変化しなかった場合には、再びステップS102の電圧値の取得に処理は戻る。
【0101】
そして、動作判別部108は、ステップS106の判定において、v1(t)−v2(t)の平均値が正から負に変化した場合には、受信したVcross(tk)−Vcross(tk−1)の値が所定の閾値Vthより大きいか否かを判定する(S108)。ステップS108における判定の結果、Vcross(tk)−Vcross(tk−1)の値が所定の閾値Vthより大きいと判定された場合には、動作判別部108は、認識対象物20がドップラーセンサ202に対して「接近」していると認識する(S112)。一方、ステップS108の判定の結果、Vcross(tk)−Vcross(tk−1)の値が所定の閾値Vthより大きいと判定されなかった場合には、次に、Vcross(tk)−Vcross(tk−1)の値が所定の閾値−Vthより小さいか否かを判定する(S110)。かかる判定において、所定の閾値−Vthより小さいと判定された場合には、動作判別部108は、認識対象物20がドップラーセンサ202に対して「離反」していると認識する(S120)。一方、ステップS110の判定において、所定の閾値−Vthより小さいと判定されなかった場合には、再びステップS102の電圧値の抽出に処理は戻る。
【0102】
また一方、ステップS114の判定において、v1(t)−v2(t)の平均値が正から負に変化したと判定された場合には、次に、Vcross(tk)−Vcross(tk−1)の値が、所定の閾値−Vthよりも小さいか否かを判定する(S116)。かかる判定において、−Vthよりも小さいと判定された場合には、動作判別部108は、認識対象物20がドップラーセンサ202に対して「接近」していると認識する(S112)。一方、−Vthよりも小さいと判定されなかった場合には、さらに、動作判定部108は、Vcross(tk)−Vcross(tk−1)の値が、Vthよりも大きいか否かを判定する(S118)。そしてステップS118の判定の結果、Vthよりも大きいと判定された場合には、動作判別部108は、認識対象物20がドップラーセンサ202に対して「離反」していると認識する(S120)。一方、ステップS118の判定においてVthよりも大きいと判定されなかった場合には、ステップS102の電圧値の抽出に処理は戻る。
【0103】
上記の処理が実行され、ステップS112において「接近」と認識された後、または、ステップS120において「離反」と認識された後、動作判定部108は、さらに認識対象のデータがあるか否かを判定する(S122)。そして、さらに認識対象のデータが存在しない場合には動作判別処理を終了し、さらに認識対象のデータがある場合には、当該データに対してステップS102の電圧値の抽出に処理は戻る。
【0104】
以上、1つのドップラーセンサから出力された2つのドップラーセンサ出力信号から位相比較器などのハードウェアを用いずに接近及び離反の区別を判別するデータ処理装置100について説明してきた。例えば、さらにドップラーセンサ出力信号の雑音による影響を低減するために、「接近」及び「離反」状態の判定を事後に補正してもよい。例えば、ある単位時間毎に区切り、その単位時間内において「接近」及び「離反」のうち判別回数が多い方をその単位時間の状態の代表値とする。また、状態の前後関係から補正を加えてもよい。例えば、接近状態が続く中、ほんのわずかな時間のみ離反と判別された場合には、当該「離反」判定は雑音の影響であると見なして「接近」に補正してもよい。
【0105】
[効果の例]
以上、本発明の第3の実施形態に係る動作認識システム10について説明してきたが、かかる動作認識システム10の効果の例について説明する。本実施形態に係る動作認識システム10は、第1の実施形態における効果の例として挙げたもののうち、加速度センサではなくドップラーセンサを用いることによる効果である、「センサを取り付けることが困難な認識対象物20の動作を認識することが出来る」、「ゆっくりした動きの認識、及び、等速で動く(加速度が0に近い)動きを判別することが出来る」に加えて、以下のような効果が望める。
【0106】
まず、位相比較器などのハードウェアを用いずにソフトウェアの処理のみで認識対象物20が接近しているか離反しているのかの判別を行うことが出来る。このため、ハードウェアを搭載する場合と比較して装置自体のサイズを低減することが可能である。また、判別に用いるための、1つのドップラーセンサから出力された2つのドップラーセンサ出力信号が雑音を含む場合であっても精度良く動作の判別を行うことが出来る。
【0107】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0108】
例えば、上記第1の実施形態では、1つのドップラーセンサノードを含む構成としたが、本発明はかかる例に限定されない。例えば、2つ以上複数含む構成としてもよい。
【0109】
また、例えば、上記第2の実施形態では、8つの方向を定義し、定義された方向の動きを認識するものとしたが、本発明はかかる例に限定されない。例えば、定義する方向の数は必ずしも8つでなくてもよい。また、直線的な方向の動きに限定されず、そのドップラーセンサ出力信号の電圧値の増減情報がそれぞれ特有のパターンを示すものであれば適用可能である。
【0110】
また、例えば、上記第2の実施形態では、所定の自然数N個の増減情報をサンプルデータとして用いたが、本発明はかかる例に限定されない。例えば、所定の自然数Nこの増減情報を抽出した後、その増加及び減少の比率に関する情報をサンプルデータとして用いてもよい。
【0111】
また、上記実施形態では全てドップラーセンサだけを用いる動作認識システムについて説明したが、本発明はかかる例に限定されない。例えば、他のセンサから得たデータと組み合わせて用いることも出来る。
【0112】
また、上記で説明した各実施形態に係る動作認識システムは、認識した動作のデータを表示部のような出力部において表示出力するのみでなく、例えば、機器制御のデータとして用いられるよう出力することも出来る。
【0113】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【0114】
10 動作認識システム
20 認識対象物
100 データ処理装置
102 データ取得部
104 処理データ記憶部
106 特徴量抽出部
108 動作判別部
110 判別結果出力部
200 ドップラーセンサノード
300 A/D変換器
【特許請求の範囲】
【請求項1】
認識対象物に対して放射した電磁波である放射波の周波数と、前記放射波が前記認識対象物により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、
前記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記認識対象物の動作を判別する動作判別部と、
を備え、
前記データ取得部は、1つのドップラーセンサから出力される位相の異なる2つのドップラーセンサ出力信号を取得し、
前記特徴量抽出部は、前記2つのドップラーセンサ出力信号の電圧値の大小関係、及び、前記2つのドップラーセンサ出力信号の電圧値が等しくなる交差時点における電圧値の増減情報、を特徴量として抽出し、
前記動作判別部は、前記大小関係及び前記増減情報に基づいて前記認識対象物が前記ドップラーセンサ出力信号を出力するドップラーセンサに対する接近又は離反の別を判別することを特徴とする、データ処理装置。
【請求項2】
前記動作判別部は、前記交差時点のうち、前回の交差時点の電圧値との差の絶対値が所定の閾値以上となる交差時点において判別を実行することを特徴とする、請求項1に記載のデータ処理装置。
【請求項3】
前記特徴量抽出部は、前記大小関係を前記2つのドップラーセンサ出力信号の電圧値の差の平均値を用いて比較し、前記ドップラーセンサ出力信号の雑音の影響を抑制することを特徴とする、請求項1又は2のいずれかに記載のデータ処理装置。
【請求項4】
認識対象物に対して放射した電磁波である放射波の周波数と、前記放射波が前記認識対象物により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、
前記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記認識対象物の動作を判別する動作判別部と、
を備え、
前記データ取得部は、2以上の前記ドップラーセンサ出力信号を取得し、
前記特徴量抽出部は、前記2以上のドップラーセンサ出力信号の電圧値の振幅の大きさを、前記ドップラーセンサ出力信号を出力するドップラーセンサと前記認識対象物との距離に依存する変数として用い、
前記動作判別部は、前記特徴量のサンプルデータに基づいたパターンマッチングにより前記認識対象物の動作を判別し、
前記サンプルデータは、複数の所定方向への前記認識対象物の移動に対応する前記ドップラーセンサ出力信号の前記特徴量であり、
前記特徴量抽出部は、前記移動の開始時点から終了時点までを所定の自然数Nで等分した単位時間内の最大振幅の増減情報を前記特徴量として抽出することを特徴とする、データ処理装置。
【請求項5】
前記単位時間は、少なくとも前記ドップラーセンサ出力信号の1周期以上の長さであることを特徴とする、請求項4に記載のデータ処理装置。
【請求項6】
前記特徴量抽出部は、連続した複数の前記単位時間のそれぞれに対応する前記増減情報の中から最も多い増減情報値を前記特徴量として抽出することを特徴とする、請求項4に記載のデータ処理装置。
【請求項7】
前記特徴量抽出部は、前記ドップラーセンサ出力信号の正規化された電圧信号データから前記特徴量を抽出することを特徴とする、請求項4〜6のいずれか1項に記載のデータ処理装置。
【請求項8】
認識対象物に対して放射波を放射し、前記放射波が前記認識対象物により反射した反射波を受信し、前記放射波の周波数と前記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を出力するドップラーセンサを有するドップラーセンサノードと、
前記ドップラーセンサ出力信号を取得するデータ取得部と、
前記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記認識対象物の動作を判別する動作判別部と、
を有し、
前記データ取得部は、1つのドップラーセンサから出力される位相の異なる2つのドップラーセンサ出力信号を取得し、
前記特徴量抽出部は、前記2つのドップラーセンサ出力信号の電圧値の大小関係、及び、前記2つのドップラーセンサ出力信号の電圧値が等しくなる交差時点における電圧値の増減情報、を特徴量として抽出し、
前記動作判別部は、前記大小関係及び前記増減情報に基づいて前記認識対象物が前記ドップラーセンサ出力信号を出力するドップラーセンサに対する接近又は離反の別を判別するデータ処理装置と、
を備えることを特徴とする、動作認識システム。
【請求項9】
ドップラーセンサを有するドップラーセンサノード及び前記ドップラーセンサノードから取得したドップラーセンサ出力信号をデータ処理し、データ取得部、特徴量抽出部、及び動作判別部を有するデータ処理装置を備える動作認識システムの、
前記ドップラーセンサが認識対象物に対して放射波を放射するステップと、
前記ドップラーセンサが前記放射波が前記認識対象物により反射した反射波を受信するステップと、
前記ドップラーセンサが前記放射波の周波数と前記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を出力するステップと、
前記データ取得部が前記ドップラーセンサ出力信号を取得するステップと、
前記特徴量抽出部が前記ドップラーセンサ出力信号の特徴を示す特徴量を抽出するステップと、
前記動作判別部が前記特徴量に基づいて前記認識対象物の動作を判別するステップと、を含み、
前記データ取得部は、1つのドップラーセンサから出力される位相の異なる2つのドップラーセンサ出力信号を取得し、
前記特徴量抽出部は、前記2つのドップラーセンサ出力信号の電圧値の大小関係、及び、前記2つのドップラーセンサ出力信号の電圧値が等しくなる交差時点における電圧値の増減情報、を特徴量として抽出し、
前記動作判別部は、前記大小関係及び前記増減情報に基づいて前記認識対象物が前記ドップラーセンサ出力信号を出力するドップラーセンサに対する接近又は離反の別を判別することを特徴とする、動作判別方法。
【請求項10】
コンピュータを、
認識対象物に対して放射した電磁波である放射波の周波数と、前記放射波が前記認識対象物により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、
前記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記認識対象物の動作を判別する動作判別部と、
を備え、
前記データ取得部は、1つのドップラーセンサから出力される位相の異なる2つのドップラーセンサ出力信号を取得し、
前記特徴量抽出部は、前記2つのドップラーセンサ出力信号の電圧値の大小関係、及び、前記2つのドップラーセンサ出力信号の電圧値が等しくなる交差時点における電圧値の増減情報、を特徴量として抽出し、
前記動作判別部は、前記大小関係及び前記増減情報に基づいて前記認識対象物が前記ドップラーセンサ出力信号を出力するドップラーセンサに対する接近又は離反の別を判別することを特徴とするデータ処理装置として機能させるための、プログラム。
【請求項1】
認識対象物に対して放射した電磁波である放射波の周波数と、前記放射波が前記認識対象物により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、
前記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記認識対象物の動作を判別する動作判別部と、
を備え、
前記データ取得部は、1つのドップラーセンサから出力される位相の異なる2つのドップラーセンサ出力信号を取得し、
前記特徴量抽出部は、前記2つのドップラーセンサ出力信号の電圧値の大小関係、及び、前記2つのドップラーセンサ出力信号の電圧値が等しくなる交差時点における電圧値の増減情報、を特徴量として抽出し、
前記動作判別部は、前記大小関係及び前記増減情報に基づいて前記認識対象物が前記ドップラーセンサ出力信号を出力するドップラーセンサに対する接近又は離反の別を判別することを特徴とする、データ処理装置。
【請求項2】
前記動作判別部は、前記交差時点のうち、前回の交差時点の電圧値との差の絶対値が所定の閾値以上となる交差時点において判別を実行することを特徴とする、請求項1に記載のデータ処理装置。
【請求項3】
前記特徴量抽出部は、前記大小関係を前記2つのドップラーセンサ出力信号の電圧値の差の平均値を用いて比較し、前記ドップラーセンサ出力信号の雑音の影響を抑制することを特徴とする、請求項1又は2のいずれかに記載のデータ処理装置。
【請求項4】
認識対象物に対して放射した電磁波である放射波の周波数と、前記放射波が前記認識対象物により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、
前記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記認識対象物の動作を判別する動作判別部と、
を備え、
前記データ取得部は、2以上の前記ドップラーセンサ出力信号を取得し、
前記特徴量抽出部は、前記2以上のドップラーセンサ出力信号の電圧値の振幅の大きさを、前記ドップラーセンサ出力信号を出力するドップラーセンサと前記認識対象物との距離に依存する変数として用い、
前記動作判別部は、前記特徴量のサンプルデータに基づいたパターンマッチングにより前記認識対象物の動作を判別し、
前記サンプルデータは、複数の所定方向への前記認識対象物の移動に対応する前記ドップラーセンサ出力信号の前記特徴量であり、
前記特徴量抽出部は、前記移動の開始時点から終了時点までを所定の自然数Nで等分した単位時間内の最大振幅の増減情報を前記特徴量として抽出することを特徴とする、データ処理装置。
【請求項5】
前記単位時間は、少なくとも前記ドップラーセンサ出力信号の1周期以上の長さであることを特徴とする、請求項4に記載のデータ処理装置。
【請求項6】
前記特徴量抽出部は、連続した複数の前記単位時間のそれぞれに対応する前記増減情報の中から最も多い増減情報値を前記特徴量として抽出することを特徴とする、請求項4に記載のデータ処理装置。
【請求項7】
前記特徴量抽出部は、前記ドップラーセンサ出力信号の正規化された電圧信号データから前記特徴量を抽出することを特徴とする、請求項4〜6のいずれか1項に記載のデータ処理装置。
【請求項8】
認識対象物に対して放射波を放射し、前記放射波が前記認識対象物により反射した反射波を受信し、前記放射波の周波数と前記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を出力するドップラーセンサを有するドップラーセンサノードと、
前記ドップラーセンサ出力信号を取得するデータ取得部と、
前記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記認識対象物の動作を判別する動作判別部と、
を有し、
前記データ取得部は、1つのドップラーセンサから出力される位相の異なる2つのドップラーセンサ出力信号を取得し、
前記特徴量抽出部は、前記2つのドップラーセンサ出力信号の電圧値の大小関係、及び、前記2つのドップラーセンサ出力信号の電圧値が等しくなる交差時点における電圧値の増減情報、を特徴量として抽出し、
前記動作判別部は、前記大小関係及び前記増減情報に基づいて前記認識対象物が前記ドップラーセンサ出力信号を出力するドップラーセンサに対する接近又は離反の別を判別するデータ処理装置と、
を備えることを特徴とする、動作認識システム。
【請求項9】
ドップラーセンサを有するドップラーセンサノード及び前記ドップラーセンサノードから取得したドップラーセンサ出力信号をデータ処理し、データ取得部、特徴量抽出部、及び動作判別部を有するデータ処理装置を備える動作認識システムの、
前記ドップラーセンサが認識対象物に対して放射波を放射するステップと、
前記ドップラーセンサが前記放射波が前記認識対象物により反射した反射波を受信するステップと、
前記ドップラーセンサが前記放射波の周波数と前記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を出力するステップと、
前記データ取得部が前記ドップラーセンサ出力信号を取得するステップと、
前記特徴量抽出部が前記ドップラーセンサ出力信号の特徴を示す特徴量を抽出するステップと、
前記動作判別部が前記特徴量に基づいて前記認識対象物の動作を判別するステップと、を含み、
前記データ取得部は、1つのドップラーセンサから出力される位相の異なる2つのドップラーセンサ出力信号を取得し、
前記特徴量抽出部は、前記2つのドップラーセンサ出力信号の電圧値の大小関係、及び、前記2つのドップラーセンサ出力信号の電圧値が等しくなる交差時点における電圧値の増減情報、を特徴量として抽出し、
前記動作判別部は、前記大小関係及び前記増減情報に基づいて前記認識対象物が前記ドップラーセンサ出力信号を出力するドップラーセンサに対する接近又は離反の別を判別することを特徴とする、動作判別方法。
【請求項10】
コンピュータを、
認識対象物に対して放射した電磁波である放射波の周波数と、前記放射波が前記認識対象物により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、
前記ドップラーセンサ出力信号の特徴を示す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記認識対象物の動作を判別する動作判別部と、
を備え、
前記データ取得部は、1つのドップラーセンサから出力される位相の異なる2つのドップラーセンサ出力信号を取得し、
前記特徴量抽出部は、前記2つのドップラーセンサ出力信号の電圧値の大小関係、及び、前記2つのドップラーセンサ出力信号の電圧値が等しくなる交差時点における電圧値の増減情報、を特徴量として抽出し、
前記動作判別部は、前記大小関係及び前記増減情報に基づいて前記認識対象物が前記ドップラーセンサ出力信号を出力するドップラーセンサに対する接近又は離反の別を判別することを特徴とするデータ処理装置として機能させるための、プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【公開番号】特開2012−42485(P2012−42485A)
【公開日】平成24年3月1日(2012.3.1)
【国際特許分類】
【出願番号】特願2011−259078(P2011−259078)
【出願日】平成23年11月28日(2011.11.28)
【分割の表示】特願2009−253024(P2009−253024)の分割
【原出願日】平成21年11月4日(2009.11.4)
【国等の委託研究の成果に係る記載事項】(出願人による申告)国等の委託研究の成果に係る特許出願(平成21年度総務省「ユビキタス・プラットフォーム技術の研究開発(ユビキタスサービスプラットフォーム技術に関わる研究開発)」、産業技術力強化法第19条の適用を受ける特許出願)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【Fターム(参考)】
【公開日】平成24年3月1日(2012.3.1)
【国際特許分類】
【出願日】平成23年11月28日(2011.11.28)
【分割の表示】特願2009−253024(P2009−253024)の分割
【原出願日】平成21年11月4日(2009.11.4)
【国等の委託研究の成果に係る記載事項】(出願人による申告)国等の委託研究の成果に係る特許出願(平成21年度総務省「ユビキタス・プラットフォーム技術の研究開発(ユビキタスサービスプラットフォーム技術に関わる研究開発)」、産業技術力強化法第19条の適用を受ける特許出願)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【Fターム(参考)】
[ Back to top ]