情報処理装置、認識システム、認識方法、及びプログラム
【課題】認識に用いる特徴を選択することにより認識率を向上させることのできる、情報処理装置、認識システム、認識方法、及びプログラムを提供する。
【解決手段】情報処理装置は、認識対象20に対して放射した電磁波又は超音波である放射波の周波数と、上記放射波が上記認識対象により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部102と、予め取得された上記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部112と、上記特徴選択部により選択される特徴に対応する特徴量を、上記ドップラーセンサ出力信号から抽出する特徴量抽出部106と、上記サンプルデータの特徴量のうち、上記特徴選択部により選択される特徴に対応する特徴量、及び、上記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部108とを有する。
【解決手段】情報処理装置は、認識対象20に対して放射した電磁波又は超音波である放射波の周波数と、上記放射波が上記認識対象により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部102と、予め取得された上記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部112と、上記特徴選択部により選択される特徴に対応する特徴量を、上記ドップラーセンサ出力信号から抽出する特徴量抽出部106と、上記サンプルデータの特徴量のうち、上記特徴選択部により選択される特徴に対応する特徴量、及び、上記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部108とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、認識システム、認識方法、及びプログラムに関し、特に、ドップラーセンサを用いて動作及び状態を認識する情報処理装置、認識システム、認識方法、及びプログラムに関する。
【背景技術】
【0002】
センサを用いて対象の動作及び状態を認識するシステムとして、例えば3軸加速度センサを用いたものが非特許文献1に開示されている。この認識システムは、動作の加速度を抽出して認識に用いるため、身体のわずかな動きや等速で動くような動作、即ち加速度が0に近い動作を認識するのが困難であった。また、認識対象自体にセンサを装着させる必要があり、認識を実行する条件がかなり限られたものとなっていた。
【0003】
そこで、本願出願人は、特許文献1に示すように、ドップラーセンサを用いた認識システムを提案している。ドップラーセンサを用いた認識システムは、加速度が0に近い動作を認識することができ、認識対象自体にセンサを装着させる必要がないため、あらゆる分野への応用が期待される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特願2009−253024号
【非特許文献】
【0005】
【非特許文献1】Zhen-YuHe; Lian-Wen Jin,”Activityrecognition from acceleration data using AR model representation and SVM,”Proc. of International Conference on Machine Learningand Cybernetics, pp.2245-2250, July 2008.
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところが、上記特許文献1には、ドップラーセンサ出力信号の特徴量のパターンマッチングにより認識を行う認識システムが開示されているが、必ずしも全ての特徴に対する特徴量を用いたときに認識率が高まるわけではないという問題があった。例えば、距離に応じて動作の認識に有効な特徴は異なる。
【0007】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、認識に用いる特徴を選択することにより認識率を向上させることのできる、新規かつ改良された情報処理装置、認識システム、認識方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のある観点によれば、認識対象に対して放射した電磁波又は超音波である放射波の周波数と、上記放射波が上記認識対象により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、予め取得された上記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部と、上記特徴選択部により選択される特徴に対応する特徴量を、上記ドップラーセンサ出力信号から抽出する特徴量抽出部と、上記サンプルデータの特徴量のうち、上記特徴選択部により選択される特徴に対応する特徴量、及び、上記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部とを有することを特徴とする、情報処理装置が提供される。
【0009】
かかる構成によれば、認識部は、予め取得されるサンプルデータを評価することによって、認識率を高めることのできる特徴に対応する特徴量を用いた認識を行うことができる。認識のために有効な特徴は、認識の対象及び認識に係る環境等によって異なることが考えられる。このため、情報処理装置は、それぞれに応じた特徴を用いて認識を行うことができるようになる。
【0010】
また、上記特徴選択部は、上記認識対象と上記放射波を放射するドップラーセンサとの間の距離に応じて、当該距離において上記認識対象の動作の認識率を高める上記特徴を選択し、上記認識部は、上記認識対象の動作を認識してもよい。
【0011】
また、上記特徴選択部は、上記距離において、上記特徴の組合せが一の動作と他の動作とを区別する性能を示す値に基づいた評価関数を用いて、上記特徴を選択してもよい。
【0012】
また、上記特徴選択部は、上記距離において、一の動作と他の動作とを区別する性能を示す値の、全ての種類の上記動作の組合せについての総和である上記評価関数に基づいて、上記特徴を選択してもよい。
【0013】
また、一の動作と他の動作とを区別する性能を示す上記値は、上記性能が高いほど大きくなる値であり、上記特徴選択部は、上記評価関数を最大化する上記特徴を選択してもよい。
【0014】
また、上記特徴選択部は、上記距離における上記サンプルデータがないとき、又は、上記距離が取得できないときに、上記距離によらず上記認識対象の動作の認識率を高める上記特徴を選択してもよい。
【0015】
また、上記特徴選択部は、上記距離による特徴量の分散を示す値と、上記距離によらず一の動作と他の動作とを区別する性能を示す値とに基づいた評価関数を用いて、上記特徴を選択してもよい。
【0016】
また、上記特徴選択部は、一の動作と他の動作とを区別する性能を示す値を、全ての種類の上記動作の組合せについて全ての種類の距離において総和した値を、一の距離と他の距離とを区別する性能を示す値を、全ての種類の上記距離の組合せについて全ての種類の動作において総和した値で除した評価関数に基づいて、上記特徴を選択してもよい。
【0017】
また、上記特徴選択部は、上記認識対象と上記放射波を放射するドップラーセンサとの間の距離の認識率を高める上記特徴を選択し、上記認識部は、上記距離を認識してもよい。
【0018】
また、上記特徴選択部は、一の距離と他の距離とを区別する性能を示す値に基づいた評価関数を用いて、上記特徴を選択してもよい。
【0019】
また、上記特徴選択部は、一の距離と他の距離とを区別する性能を示す値の、全ての種類の上記距離の組合せについての総和である評価関数に基づいて、上記特徴を選択してもよい。
【0020】
また、上記課題を解決するために、本発明の別の観点によれば、認識対象に対して放射波を放射し、上記放射波が上記認識対象により反射した反射波を受信し、上記放射波の周波数と上記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を出力するドップラーセンサノードと、上記ドップラーセンサ出力信号を取得するデータ取得部と、予め取得された上記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部と、上記特徴選択部により選択される特徴に対応する特徴量を、上記ドップラーセンサ出力信号から抽出する特徴量抽出部と、上記サンプルデータの特徴量のうち、上記特徴選択部により選択される特徴に対応する特徴量、及び、上記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部と、を有する情報処理装置とを有することを特徴とする、認識システムが提供される。
【0021】
また、上記課題を解決するために、本発明の別の観点によれば、認識対象に対して放射波を放射し、上記放射波が上記認識対象により反射した反射波を受信し、上記放射波の周波数と上記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号に基づいた認識処理を行い、データ取得部と、特徴選択部と、特徴量抽出部と、認識部と、を有する情報処理装置の、上記データ取得部が上記ドップラーセンサ出力信号を取得する取得ステップと、上記特徴選択部が、予め取得された上記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する選択ステップと、上記選択ステップにおいて選択される特徴に対応する特徴量を、上記ドップラーセンサ出力信号から抽出する抽出ステップと、上記サンプルデータの特徴量のうち、上記選択ステップにより選択される特徴に対応する特徴量、及び、上記抽出ステップにより抽出される特徴量のパターンマッチングにより、認識処理を実行する認識ステップと、を含む、認識方法が提供される。
【0022】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、認識対象に対して放射した電磁波又は超音波である放射波の周波数と、上記放射波が上記認識対象により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、予め取得された上記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部と、上記特徴選択部により選択される特徴に対応する特徴量を、上記ドップラーセンサ出力信号から抽出する特徴量抽出部と、上記サンプルデータの特徴量のうち、上記特徴選択部により選択される特徴に対応する特徴量、及び、上記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部とを有することを特徴とする、情報処理装置として機能させるための、プログラムが提供される。
【発明の効果】
【0023】
以上説明したように本発明によれば、認識に用いる特徴を選択することにより認識率を向上させることができる。
【図面の簡単な説明】
【0024】
【図1】本発明の第1の実施形態に係る認識システムの構成図である。
【図2】サンプルデータの一例を示す説明図である。
【図3】認識システムにおいて認識する動作の一例を示す表である。
【図4】認識対象がタイピングをしているときのドップラーセンサ出力信号の時間領域における波形の例を示す説明図である。
【図5】図4のドップラーセンサ出力信号の周波数領域におけるパワースペクトルを示す説明図である。
【図6】認識対象が腕回しをしているときのドップラーセンサ出力信号の時間領域における波形の例を示す説明図である。
【図7】図6のドップラーセンサ出力信号の周波数領域におけるパワースペクトルを示す説明図である。
【図8】動作認識のための特徴ベクトルの一例を示す説明図である。
【図9】特徴量の一例を示す表である。
【図10】出力画面の一例を示す説明図である。
【図11】本発明の第2の実施形態に係る認識システムの構成図である。
【図12】距離認識のための特徴ベクトルの一例を示す説明図である。
【図13】特徴量の最大値及び最小値の推定についての説明図である。
【図14】認識システムの動作を示すフローチャートである。
【発明を実施するための形態】
【0025】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0026】
<背景>
ドップラーセンサは、電磁波又は超音波を放射し(この放射した電磁波又は超音波を、以下、放射波という。)、放射波が物体により反射した反射波を検出する。このとき、反射波の周波数は、認識対象の移動速度に応じて変化する。ドップラーセンサは、この放射波と反射波との差分の周波数(以下、ドップラー周波数という。)を有するドップラーセンサ出力波を電圧信号(以下、ドップラーセンサ出力信号という。)として出力する。
【0027】
ここで、ドップラーセンサ出力信号の電圧Vdは、振幅Kd、放射波の周波数をft、反射波の周波数をfrとすると、以下の数式1で表される。
【0028】
【数1】
【0029】
ここで、振幅Kdは、電波受信強度に依存する値となり、電波受信強度Prは、一般的に以下の数式2で表されるレーダ方程式に従う。ここで、Ptは送信電力、Gtは送信アンテナ利得、σは当該場所における散乱断面積、Arは受信アンテナの有効開口面積、Rはセンサと認識対象間の距離である。
【0030】
【数2】
【0031】
つまり、受信電力は、ドップラーセンサと認識対象との間の距離の4乗に反比例し、ドップラーセンサ出力信号の電圧は、ドップラーセンサと認識対象との間の距離が増大するほど振幅が減少する。
【0032】
ドップラーセンサ出力信号の波形が、単純にドップラーセンサと認識対象との間の距離に応じて規則的に変形する場合には、その規則性に従って波形を補正すればよい。ところが、実際には電波伝搬や雑音の影響を考慮して、正確に補正することは困難である。
【0033】
そこで、本発明の一実施形態に係る認識システムは、距離に応じて観測されるドップラーセンサ出力信号の波形が異なる場合であっても、認識率の低下を抑制するために、認識に用いる特徴を選択し、選択された特徴の特徴量に基づいて機械学習により認識対象の動作を認識する。以下に、測距装置を用いてドップラーセンサと認識対象との距離を測定し、測定される距離に応じて選択した特徴を用いて動作を認識する第1の実施形態と、第1の実施形態における測距装置がない場合であっても、ドップラーセンサ出力信号から抽出する特徴量に基づいて、ドップラーセンサと認識対象との距離を認識する第2の実施形態について説明する。
【0034】
<第1の実施形態>
まず、本発明の第1の実施形態に係る認識システム10aの構成について、図1を参照しながら説明する。認識システム10aは、認識対象20の動作を認識する機能を有する。この認識システム10aは、認識対象20に放射波を放射し、ドップラーセンサ出力信号を出力するドップラーセンサノード200と、ドップラーセンサノード200から出力されるアナログ信号であるドップラーセンサ出力信号をデジタル信号に変換するA/D(Analog/Digital)変換器300と、A/D変換器300においてデジタル変換されたドップラーセンサ出力信号に基づいて認識対象20の動作を認識する情報処理装置100aと、ドップラーセンサノード200が放射波を放射するときに認識対象とドップラーセンサとの距離を測定する測距装置400とを有する。
【0035】
なお、ここで認識対象20は、主に動作の認識を行う対象となる人間である対象者を指す。或いは、認識対象となり得るロボットなどでもよい。また、ここで認識する対象となる“動作”は、具体例については後述するが、行動のみでなく認識対象20の状態も含む概念である。例えば、認識対象が静止している「静止状態」、又は、認識対象が一時的に認識範囲を離れている「離席状態」などを含んでも良い。
【0036】
(ドップラーセンサノード200)
ドップラーセンサノード200は、認識対象20から動作を認識するためにドップラーセンサ202、増幅器204、ローパスフィルタ(LPF)206、及び出力部208を主に有する。
【0037】
ドップラーセンサ202は、認識対象20に対して放射波を放射し、当該放射波の周波数と、放射波が認識対象20により反射した電磁波である反射波の周波数との差分であるドップラー周波数を検出し、ドップラー周波数を有する信号であるドップラーセンサ出力信号を出力するモジュールである。ドップラーセンサ202は、一般的なドップラーセンサモジュールを用いて構成されてよい。そして、ドップラーセンサ202は、取得したドップラーセンサ出力信号を増幅器204に入力する。
【0038】
増幅器204は、ドップラーセンサ202から入力されたドップラーセンサ出力信号を増幅する機能を有する。増幅器204は、一般的な増幅回路を用いて構成されてもよい。増幅器204は、増幅処理を実行後のドップラーセンサ出力信号をローパスフィルタ206に入力する。
【0039】
ローパスフィルタ206は、増幅器204から入力されたドップラーセンサ出力信号から高周波雑音を除去する機能を有する。ローパスフィルタ206は、一般的なフィルタ回路を用いて構成されてよい。ローパスフィルタ206は、フィルタ処理を実行後のドップラーセンサ出力信号を出力部208に入力する。
【0040】
出力部208は、ドップラーセンサノード200がドップラーセンサ出力信号を出力するための出力インタフェースの機能を有する。出力部208は、ローパスフィルタ206から入力されたドップラーセンサ出力信号をA/D変換器300に入力する。
【0041】
また、ドップラーセンサノード200は、ドップラーセンサ202からの放射波を認識対象20に対して放射することが可能な位置に配置される。そして、認識対象20の動作速度に対して十分なサンプリング周波数によってドップラーセンサ出力信号を取得する。
【0042】
(A/D変換器300)
A/D変換器300は、ドップラーセンサノード200から受け取ったアナログ信号であるドップラーセンサ出力信号をデジタル信号に変換する機能を有する。A/D変換器300は、デジタル変換した後のドップラーセンサ出力信号を情報処理装置100aに入力する。
【0043】
(測距装置400)
測距装置400は、ドップラーセンサ202と認識対象20との間の距離を測定する機能を有する。測距装置400は、例えば、電波又は超音波を用いた既存の方法により距離を測定する。具体的には、例えば、パルス波を認識対象20に対して送信し、反射波が到達するまでの遅延時間から距離を算出する。或いは、認識対象20の持つ無線タグから送信される電波の電波強度に基づいて距離を求めてもよい。測距装置400の機能は、例えばドップラーセンサ202が放射波を送信し、反射波を受信するための送受信部(図示せず)を兼用して用いることにより実現されてもよい。測距装置400は、測定して得られた距離の情報を情報処理装置100aに入力する。
【0044】
(情報処理装置100a)
情報処理装置100aは、ドップラーセンサノード200が取得し、A/D変換器300によりデジタル信号化されたドップラーセンサ出力信号をデータ処理することにより、認識対象20の動作を認識する装置である。情報処理装置100aは、データ取得部102、処理データ記憶部104、特徴量抽出部106、認識部108、認識結果出力部110、特徴選択部112a、及びサンプルデータ記憶部114を有する。
【0045】
データ取得部102は、処理対象となるデータを取得する機能を有する。本実施形態において、データ取得部102は、A/D変換器300から入力されるデジタル変換されたドップラーセンサ出力信号を受信するインタフェースの機能を有する。
【0046】
処理データ記憶部104は、データ取得部102により取得された処理対象のデータを記憶保持するデータ格納用の装置である。処理データ記憶部104は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ここで、記憶媒体としては、例えば、HDD(Hard Disk Drive)などの磁気記録媒体や、EEPROM(Electronically Erasable and Programmable Read Only Memory)、フラッシュメモリ、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリが挙げられるが、上記に限られない。
【0047】
特徴量抽出部106は、処理データ記憶部104から処理対象のデータであるドップラーセンサ出力信号を取得し、取得したドップラーセンサ出力信号の特徴を示す特徴量を抽出する機能を有する。本実施形態においては、特徴量抽出部106は、特徴選択部112aにより選択される特徴に対応する特徴量をドップラーセンサ出力信号より抽出する。
【0048】
認識部108は、特徴選択部112aにより選択される特徴に基づいて、認識対象20の動作を認識する機能を有する。認識部108は、機械学習によるパターンマッチングを用いて、認識対象20の動作を認識する。認識部108は、認識処理を実行する前に、予めサンプルデータの特徴量から機械学習のモデルを構築する学習フェーズを実行する。ここで用いる機械学習のアルゴリズムとしては、例えば、Support Vector Machine(SVM)を用いることができる。認識部108は、サンプルデータに基づいて、どの動作のときに、ドップラーセンサ出力信号の特徴量がどのような傾向を示すかを学習して認識に用いるモデルを構築する。そして、認識部108は、構築されたモデルを用いたパターンマッチングにより、認識対象20の動作を認識する。すなわち、認識部108は、認識対象20の動作に対応するドップラーセンサ出力信号から取得された特徴量の有するパターンと、サンプルデータから取得された特徴量の有するパターンとに基づいて、動作を認識する。
【0049】
なお、本実施形態においては、認識部108は、後述する特徴選択部112aにより選択された特徴に対応する特徴量を用いて認識処理を行う。すなわち、認識部108は、特徴選択部112aにより選択された特徴に対応する特徴量を用いて機械学習のモデルを構築し、当該モデルを用いた認識処理を行う。
【0050】
サンプルデータ記憶部114は、機械学習に用いるサンプルデータを記憶保持するデータ格納用の装置である。サンプルデータ記憶部114は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ここで、記憶媒体としては、例えば、HDD(Hard Disk Drive)などの磁気記録媒体や、EEPROM(Electronically Erasable and Programmable Read Only Memory)、フラッシュメモリ、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリが挙げられるが、上記に限られない。なお、サンプルデータ記憶部114と処理データ記憶部104とは、同一のハードウェアにより実現されてもよい。
【0051】
特徴選択部112aは、測距装置400により測定された距離の情報を取得し、取得される距離の情報に基づいて、認識対象20の動作の認識に用いる特徴を選択する。このように、距離に応じて、認識に用いる特徴を動的に選択するのは、それぞれの特徴が動作を識別する性能が距離に応じて変わるためである。一般的に、ドップラーセンサ出力信号から得られる特徴量は、距離に依存する確率分布をとり、その距離によって動作を認識するのに有効な特徴は異なる。例えば、特徴のうち電圧の振幅は、ドップラーセンサ202と認識対象20との間の距離が小さい地点においては、動作によって分布が大きく異なるため動作の認識に有効である。ところが、距離が大きい地点においては、電圧の振幅は分布の差異が小さく、有効な特徴とはならない。一方、認識対象20の速度が同じであれば、ドップラーセンサ出力信号の周波数は基本的に同じとなる。このため、距離が大きい地点においては、周波数領域の特徴は、電圧の振幅よりも相対的に重要となる。このため、ドップラーセンサ202と認識対象20との間の距離に応じて適切に認識に用いる特徴を選択する必要がある。
【0052】
認識結果出力部110は、認識部108が認識対象20の動作を認識した結果を出力する装置である。認識結果出力部110は、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Display)装置、CRT(Cathode Ray Tube)ディスプレイ装置、およびランプなどの表示装置によって構成されてもよく、また、さらに、スピーカおよびヘッドホンなどの音声出力装置で構成されてもよい。或いは、認識結果出力部110は、単なる出力インタフェースであってもよい。この場合、情報処理装置100a外部の表示装置及び音声出力装置に対して、認識結果を出力するためのデータを出力してもよい。認識結果出力部110は、例えば図10に示すような認識結果画面1100を出力する。認識結果は、結果文字表示1102に示されるように、認識された動作を文字により表示されてもよい。また、結果画像表示1104に示されるように、認識された動作をイラスト又は写真などの画像により示されてもよい。
【0053】
なお、以上説明した情報処理装置100aの各部の機能は、実際には、図示しないCPUなどの制御装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶するROMやRAM(いずれも図示せず。)などの記憶媒体から制御プログラムを読み出して、そのプログラムを解釈して実行することにより達成される。
【0054】
なお、上記においては、認識対象20の動作を認識する段階における各部の機能について説明したが、情報処理装置100aは、サンプルデータを取得する機能も併せ持つ。サンプルデータの取得に際しては、特徴量取得部106は、認識する動作毎にドップラーセンサ出力信号の特徴量を取得し、サンプルデータ記憶部114に記憶する。このとき、サンプルデータは、特徴量、動作、及びドップラーセンサ202と認識対象20との間の距離が関連付けて記憶される。
【0055】
(サンプルデータ取得)
ここで、上記の認識システム10aにおいて事前に取得するサンプルデータについて、一例を挙げて説明する。図2は、サンプルデータの一例を示す説明図である。
【0056】
本実施形態に係る認識システム10aは、ドップラーセンサ202と認識対象20との間の距離に応じて、認識に用いる特徴を選択するために、サンプルデータを距離と対応づけて取得する。例えば、図2に示すように、Nd種類の距離diに対して、Na種類の動作aj毎に観測データを取得し、ドップラーセンサ出力信号である観測データからNf種類の特徴に対する特徴量を抽出する。そして、距離と動作と特徴量とを関連付けてサンプルデータ記憶部114に記憶する。例えば、ここでは、同じ距離、同じ動作においてM回サンプルデータの収録を行うものとする。
【0057】
ここで、動作ajは、認識対象20の行動又は状態などをいい、例えば図3に例示される行動又は状態をいう。上記の通り動作はNa種類であるため、jは(1≦j≦Na)の値をとる。図3の例においては、Na=8である。
【0058】
距離diは、例えば1m、2m、5mなどの値をとり、Nd種類の距離について観測データを収集する。サンプルデータは、認識システム10により認識を行う対象となる範囲の距離diについて網羅的に収集されることが望ましい。
【0059】
このような動作及び距離毎に、観測データが収集される。このうち、ある距離における動作「タイピングをする」及び「腕回しをする」のときのドップラーセンサ出力信号の時間領域における波形、及び、時間領域におけるデータを高速フーリエ変換(FFT)して求めた周波数領域におけるパワースペクトルを図4〜図7に示す。
【0060】
この観測データから、特徴Fkに対応する特徴量をfkとする。また、M個取得するfkのうち、m番目(1≦m≦M)のものをfkmとする。例えば、f23は、特徴F2に対応する特徴量のうち、3番目のものである。
【0061】
全ての特徴の中から、今回動作の認識に用いるために選択する特徴の集合をFSETとする。FSETは、全ての特徴の集合の中の部分集合であり、例えばFSET={F1,F3},FSET={F2,F4,F5}となり得る。また、FSETの要素数をN(FSET)と表す。例えば、N({F1,F3})=2、N({F2,F4,F5})=3である。
【0062】
すると、ある距離diにおいて、ある特徴の組合せの集合FSETで得られる動作ajの特徴量のデータは、M個のN(FSET)次元のベクトルとなる。各距離di、動作ajにおいて、それぞれM個のN(FSET)次元の特徴ベクトルからなるクラスをC(di,aj,FSET)と定義する。図8は、FSETに全ての特徴を含む場合の、それぞれのクラスC(di,aj,FSET)に含まれるM個の特徴ベクトル800の集合が示される。距離はNd種類、動作はNa種類であるため、NdNa個のクラスが存在する。
【0063】
ここで、抽出される特徴Fkの具体例を図9に示す。特徴量抽出部106は、サンプルデータとして、特徴Fkに対応する特徴量を抽出する。例えば、時間領域の特徴としては、電圧の平均値、分散値、最大値、最小値、及び、中央値、が主に挙げられる。また、周波数領域の特徴としては、例えば、電力の平均値、処理対象のデータを複数の周波数領域に分割し、そのそれぞれの領域における電力の平均値、平均周波数、並びに、電力が上位(a%)(ただし以下、周波数が0Hzにおける電力を除いてもよい)の周波数の平均、平均電力、及び、平均パワー周波数が主に挙げられる。
【0064】
(特徴選択方法)
特徴選択部112aは、上記のサンプルデータを評価することによって、認識に用いる特徴を選択する。特徴選択部112aは、選択する特徴の組合せによって、認識対象20の動作の認識率が高まるように特徴を選択するが、このとき、評価関数を用いて特徴を選択する。
【0065】
ある距離di、及び、ある特徴の組合せFSETにおける評価関数E(di,FSET)は、ある特徴の集合FSETのもとで、任意の2つのクラスC(di,ar,FSET)とC(di,as,FSET)との間のクラス間距離をDist(C(di,ar,FSET),C(di,as,FSET))とすると、以下の数式3で表される。
【0066】
【数3】
【0067】
なお、クラス間距離は、2つのクラスの統計的な距離を示し、この距離が大きいほどクラス間の分離度が高いことを示す。例えば、クラスC(di,ar,FSET)の重心からクラスC(di,as,FSET)へのマハラノビス距離とクラスC(di,as,FSET)の重心からクラスC(di,ar,FSET)へのマハラノビス距離の平均値をこのクラス間距離として用いることができる。このとき、クラス間距離は、以下の数式4で表される。
【0068】
【数4】
【0069】
ここで、mahal(X,Y)は、標本XからクラスYの標本群へのマハラノビス距離を示し、C(di,ar,FSET)(m)、及び、C(di,as,FSET)(m)は、それぞれのクラスにおけるm個目の特徴ベクトルを示す。
【0070】
また、クラス間距離は、マハラノビス距離の他にも、2つのクラスに属する全ての標本の全組合せの距離の平均で示されても良い。また、クラス間距離は、2つのクラスのそれぞれの重心間の距離で示されてもよい。
【0071】
数式3において示されるように、この評価関数は、一の動作と他の動作とを区別する性能を示す値(クラス間距離)の、全ての種類の前記動作の組合せについての総和であり、所定の距離diにおいては、この評価関数の値(評価値)が高いほど、その特徴の組合せが動作を分類する性能が高いことを示す。特徴選択部112aは、この評価値が高くなる特徴の組合せFSETを選択する。
【0072】
この評価値を最大化する特徴の組合せを見つける方法は、既存の方法が用いられる。例えば、評価値を最大化する特徴の組合せを見つける方法としては、総当り法及びSFFS(Sequential Floating Forward Selection)法などが挙げられる。
【0073】
【0074】
SFFS法は、特徴の追加及び削除を繰り返すことにより、特徴の組合せを最適化する手法である。以下に、SFFS法による特徴の組合せの選択方法について説明する。
【0075】
全ての特徴の集合をFall={F1,F2,・・・FNf}とした場合に、その中のk個の特徴がFSETの要素として選択されている場合、FSET={Fs1,Fs2,・・・Fsk}と表される。ただし、Fskは、Fallの要素中から選択されたFSETのk番目の要素を示す。k番目までの特徴が選択されているときのFSETをFSET(k)と表す。初期値として、k=0として、以下の手順で特徴を選択する。なお、以下の説明中において、追加する特徴をF+、削除する特徴をF−とする。
【0076】
【0077】
【0078】
【0079】
〜手順4〜
kが所定の値となると終了、そうでなければ手順1へ戻る。
【0080】
以上手順1〜手順4で説明したように、SFFS法は、手順1及び手順2において、Fallの中から、特徴を1つ又は2つ選択した場合に、評価値を最大化する特徴をまず選択する。そして、手順3では、それまでに選択された特徴を削除したときに評価値の値が高くなった場合には評価値の値が減少に転じるまで特徴を削除していく。そして、選択された特徴の数がある値となったら選択動作を終了し、選択された特徴をFSETとする。
【0081】
(効果の例)
以上説明してきたように、特徴選択部112aは、測距装置400により取得された距離の情報に基づいて、当該距離のサンプルデータの特徴を評価関数により評価することによって、認識に用いる特徴を選択する。そして、特徴選択部112aは、選択した特徴を特徴量抽出部106に入力して、選択された特徴に対応する特徴値をドップラーセンサ出力信号から抽出させるとともに、認識部108に、選択された特徴に対応するサンプルデータの特徴値を学習データとして、認識を行うためのモデルを構築させる。
【0082】
かかる構成により、認識システム10aは、認識対象20とドップラーセンサ202との間の距離に応じて認識に用いる特徴を選択することができる。この特徴は、認識率を向上させるために、ある動作と他の動作とを区別する性能が高い組合せが選択される。このため、距離に応じて動的に認識に用いる特徴を変えることによって、同一の特徴により認識する場合と比較して、距離の変化による認識率の低下を抑制することができる。
【0083】
<第2の実施形態:観測データから距離を認識する例>
次に、本発明の第2の実施形態に係る認識システム10bについて、図11を参照しながら説明する。図11は、本発明の第2の実施形態に係る認識システム10bの構成図である。
【0084】
なお、以下の説明中において、第1の実施形態に係る認識システム10aと同様の構成については説明を省略し、主に差異部分のみを説明する。
【0085】
認識システム10bは、認識対象20に放射波を放射し、ドップラーセンサ出力信号を出力するドップラーセンサノード200と、ドップラーセンサノード200から出力されるアナログ信号であるドップラーセンサ出力信号をデジタル信号に変換するA/D(Analog/Digital)変換器300と、A/D変換器300においてデジタル変換されたドップラーセンサ出力信号に基づいて認識対象20の動作を認識する情報処理装置100bとを有する。
【0086】
ここで、ドップラーセンサノード200及びA/D変換器300の機能は、第1の実施形態と同様であるため、説明を省略する。認識システム10bは、認識システム10aと比較して、測距装置400を有さない点において異なる。測距装置がない環境においても、距離に応じた認識を実現するために、情報処理装置100bは、認識部108において、取得されるドップラーセンサ出力信号に基づいて、ドップラーセンサ202から認識対象20までの距離を認識する。
【0087】
かかる機能を実現するために、特徴選択部112bは、動作を認識するための特徴を選択する前に、距離を認識するための特徴を選択する。
【0088】
動作の認識をするために、第1の実施形態においては、各距離di、各動作ajにおいて、それぞれM個のN(FSET)次元の特徴ベクトルからなるクラスをC(di,aj,FSET)として定義した。第2の実施形態においては、距離を認識するために、各動作を区別せずに、各距離において全ての動作の特徴ベクトルからなるクラスをC(di,FSET)と定義する。
【0089】
図12にC(di,FSET)の特徴ベクトルの集合が示される。Na種類の動作において、同じ特徴に対応する特徴量はM個取得されるため、C(di,FSET)は、合計M×Na個の特徴ベクトル900を有する。
【0090】
このクラス間距離に基づいて、第1の実施形態と同様に評価関数の値で特徴の組合せを評価することにより、特徴選択部112bは、距離の識別に用いる特徴の組合せを選択する。
【0091】
ここで、距離を認識するための評価関数E(FSET)は、ある特徴の集合FSETのもとで、任意の2つのクラスC(dp,FSET)とC(dq、FSET)との間のクラス間距離をDist(C(dp,FSET),C(dq、FSET))とすると、以下の数式5により表される。
【0092】
【数5】
【0093】
なお、クラス間距離Dist(C(dp,FSET),C(dq、FSET))は、2つのクラスの統計的な距離を示し、この距離が大きいほどクラス間の分離度が高いことを示す。例えば、クラスC(dp,FSET)の重心からクラスC(dq、FSET)へのマハラノビス距離と、クラスC(dq、FSET)の重心からクラスC(dp,FSET)へのマハラノビス距離との平均値をこのクラス間距離として用いることができる。このとき、クラス間距離は、以下の数式6で表される。
【0094】
【数6】
【0095】
ここで、mahal(X,Y)は、標本XからクラスYの標本群へのマハラノビス距離を示し、C(dp,FSET)(m)、及び、C(dq,FSET)(m)は、それぞれのクラスにおけるm個目の特徴ベクトルを示す。
【0096】
かかる評価関数を最大化する特徴の組合せを発見する方法としては、第1の実施形態と同様に、総当り法やSFFS法などが用いられる。かかる方法により、特徴選択部112bは、評価関数を最大化する特徴の組合せを選択すると、特徴量抽出部106に、選択した特徴の組合せに対応する特徴量を抽出するよう指示する。それと共に、特徴選択部112bは、認識部108に、選択した特徴の組合せによって機械学習のモデルを構築し、距離の認識処理を行うよう指示する。
【0097】
かかる構成により、認識システム10bは、測距装置400の構成を有しない場合であっても、距離を把握することができる。このとき、認識部108は、認識結果を認識結果出力部110に入力して、出力させてもよい。なお、ここで出力される認識結果は、実際のドップラーセンサ202から認識対象20までの距離に最も類似度の高い1m、2mといった離散的な値となる。また、認識部108は、認識結果である認識対象20とドップラーセンサ202との間の距離を、再び特徴選択部112bに入力してもよい。特徴選択部112bは、距離の認識結果を取得すると、取得した距離の情報を用いて、次に、動作の認識に用いる特徴を選択するよう構成することも可能である。
【0098】
<変形例>
以上説明してきた本発明の第1の実施形態に係る認識システム10a及び第2の実施形態に係る認識システム10bは、距離に応じて「その距離における認識率を高めるために」最適化された特徴の組み合わせを用いて動作の認識を行った。
【0099】
この特徴の選択には、距離と対応づけて予め取得されたサンプルデータが用いられる。ところが、当該距離におけるサンプルデータが存在しない場合も考えられる。本変形例においては、当該距離におけるサンプルデータが存在しない場合であっても、認識率の低下を抑制することのできる認識システムを提案する。
【0100】
本変形例に係る認識システムの構成は、認識システム10a又は認識システム10bと同様である。特徴選択部112における特徴の選択基準のみが異なる。
【0101】
すなわち、本変形例においては、特徴選択部112は、特徴を選択するために以下の数式7により示される評価関数を用いる。
【0102】
【数7】
【0103】
上記数式7で表される評価関数の分子は、それぞれの距離におけるそれぞれの動作のクラス間距離の総和をNd種類分全て足し合わせた値となり、分母は、それぞれの動作におけるそれぞれの距離のクラス間距離をNa種類分全て足し合わせた値を示す。分子の値が大きいほど、その特徴の組合せが動作を識別する性能が高いことを示す。また、分母の値が小さいほど、その特徴の組合せによる特徴量の値が、距離の変化によるばらつきが小さいことを示す。この評価関数の値が最大となる特徴の組合せを、第1の実施形態と同様に求める。
【0104】
なお、特徴量を機械学習に用いるときに、特徴量の値がどの距離においてもある範囲内の値をとるように、規格化を行う場合がある。このとき、その距離におけるサンプルデータが存在しないと、規格化に必要な、特徴量の最大値と最小値とが分からない。すなわち、図13を参照すると、認識時における認識対象20とドップラーセンサ202との間の距離がdである場合に、特徴量の最大値vmax(d)及び最小値vmin(d)が分からない状況において、特徴量を規格化する方法を以下に説明する。
【0105】
この補間は、例えば、線形近似や多項近似、又は距離と観測信号の振幅との関係などを用いることによって行われる。規格化された特徴量の値をvnew,規格化される前の特徴量の値をvori,規格値の最大値及び最小値をそれぞれumax,uminとすると、vnewは以下の式で表される。
【0106】
【数8】
【0107】
なお、観測値vori(d)がvmax(d)以上またはvmin(d)以下の場合には、それぞれvmax(d)=vori(d),vmin(d)=vori(d)とする。
【0108】
一方、ドップラーセンサ202と認識対象20との間の距離が不明である場合には、例えば全距離における特徴量の最大値の平均値を規格化における最大値とし、全距離における特徴量の最小値の平均値を規格化における最小値として用いることにより、規格化が行われてもよい。
【0109】
以上説明した変形例の構成によれば、認識対象20とドップラーセンサ202との間の距離毎のサンプルデータがない場合であっても、距離による値のばらつきが小さい特徴を選択することができる。このため、距離による認識率の低下が抑制される。また、上記ではサンプルデータが存在しない場合を例に説明したが、本発明はかかる例に限定されない。例えば、第1の実施形態に係る測距装置、第2の実施形態に係る距離認識により、距離の情報が取得できなかった場合にも適用することができる。
【0110】
<動作>
次に、図14を参照しながら、本発明の第1の実施形態、第2の実施形態、及び変形例に係る認識システムの動作について説明する。図14は、認識システムの動作を示すフローチャートである。
【0111】
まず、測距装置により距離が取得できる状態であるか否かが判断される(S102)。例えば、第1の実施形態においては、認識システム10aは、測距装置400を有するため、ステップS108に進む。一方、第2の実施形態においては、認識システム10bは、測距装置400を有さないため、ステップS104に進む。なお、第1の実施形態に係る認識システム10aにおいて、測距装置により距離が取得できなかった場合にも、ステップS104およびステップS106の動作が実行されてもよい。
【0112】
測距装置400により距離が取得できる状態でない場合には、特徴選択部112は、距離毎のクラス間距離を評価して、距離認識に用いる特徴の組合せを選択する(S104)。そして、選択された特徴により、認識部108は距離の認識を実行する(S106)。そして、認識された距離が特徴選択部112に入力される。
【0113】
一方、測距装置400により距離が取得できた場合、或いは、ステップS104及びステップS106の距離認識処理が実行された後、特徴選択部112は、当該距離における特徴量データが存在するか否かを判断する(S108)。
【0114】
ステップS108の判断において、当該距離における特徴量データが存在する場合には、当該距離における動作のクラス間距離を評価関数とする(S110)。すなわち、上記の数式3で示される評価関数が用いられる。一方、ステップS108の判断において、当該距離における特徴量データが存在しない場合には、各距離における統計的クラス間距離と距離が変換したときのクラス内距離の比を評価関数とする(S112)。すなわち、上記数式7で示される評価関数が用いられる。
【0115】
そして、特徴選択部112は、例えば総当り法又はSFFS法などを用いて、評価関数が最も高くなる特徴の組合せを選択する(S114)。その後、特徴量をスケーリングすると(S116)、認識部108は、選択された特徴の組合せを用いて動作認識を実行する。
【0116】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0117】
例えば、上記実施形態では、第1の実施形態において測距装置を用いて距離を測定する実施形態について示し、第2の実施形態において観測データであるドップラーセンサ出力信号から距離を認識する方法について示したが、本発明はかかる例に限定されない。例えば、第1の実施形態による測距装置を有する構成において、測距装置が距離を取得できなかった場合に、認識を用いて距離を把握する構成としてもよい。
【0118】
また、上記実施形態では、特徴選択部112は、認識実行の度に、用いる特徴を選択する構成としたが、本発明はかかる例に限定されない。例えば、所定の距離において用いる特徴の組合せが予め同様の方法により選択されている場合には、選択された特徴の組合せを記憶部に記憶しておき、特徴選択部112は、記憶されたデータに基づいて特徴の組合せを選択してもよい。
【0119】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【0120】
10 認識システム
20 認識対象
100 情報処理装置
102 データ取得部
104 処理データ記憶部
106 特徴量抽出部
108 認識部
110 認識結果出力部
112 特徴選択部
114 サンプルデータ記憶部
200 ドップラーセンサノード
202 ドップラーセンサ
204 増幅器
206 ローパスフィルタ
208 出力部
300 A/D変換器
400 測距装置
【技術分野】
【0001】
本発明は、情報処理装置、認識システム、認識方法、及びプログラムに関し、特に、ドップラーセンサを用いて動作及び状態を認識する情報処理装置、認識システム、認識方法、及びプログラムに関する。
【背景技術】
【0002】
センサを用いて対象の動作及び状態を認識するシステムとして、例えば3軸加速度センサを用いたものが非特許文献1に開示されている。この認識システムは、動作の加速度を抽出して認識に用いるため、身体のわずかな動きや等速で動くような動作、即ち加速度が0に近い動作を認識するのが困難であった。また、認識対象自体にセンサを装着させる必要があり、認識を実行する条件がかなり限られたものとなっていた。
【0003】
そこで、本願出願人は、特許文献1に示すように、ドップラーセンサを用いた認識システムを提案している。ドップラーセンサを用いた認識システムは、加速度が0に近い動作を認識することができ、認識対象自体にセンサを装着させる必要がないため、あらゆる分野への応用が期待される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特願2009−253024号
【非特許文献】
【0005】
【非特許文献1】Zhen-YuHe; Lian-Wen Jin,”Activityrecognition from acceleration data using AR model representation and SVM,”Proc. of International Conference on Machine Learningand Cybernetics, pp.2245-2250, July 2008.
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところが、上記特許文献1には、ドップラーセンサ出力信号の特徴量のパターンマッチングにより認識を行う認識システムが開示されているが、必ずしも全ての特徴に対する特徴量を用いたときに認識率が高まるわけではないという問題があった。例えば、距離に応じて動作の認識に有効な特徴は異なる。
【0007】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、認識に用いる特徴を選択することにより認識率を向上させることのできる、新規かつ改良された情報処理装置、認識システム、認識方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のある観点によれば、認識対象に対して放射した電磁波又は超音波である放射波の周波数と、上記放射波が上記認識対象により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、予め取得された上記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部と、上記特徴選択部により選択される特徴に対応する特徴量を、上記ドップラーセンサ出力信号から抽出する特徴量抽出部と、上記サンプルデータの特徴量のうち、上記特徴選択部により選択される特徴に対応する特徴量、及び、上記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部とを有することを特徴とする、情報処理装置が提供される。
【0009】
かかる構成によれば、認識部は、予め取得されるサンプルデータを評価することによって、認識率を高めることのできる特徴に対応する特徴量を用いた認識を行うことができる。認識のために有効な特徴は、認識の対象及び認識に係る環境等によって異なることが考えられる。このため、情報処理装置は、それぞれに応じた特徴を用いて認識を行うことができるようになる。
【0010】
また、上記特徴選択部は、上記認識対象と上記放射波を放射するドップラーセンサとの間の距離に応じて、当該距離において上記認識対象の動作の認識率を高める上記特徴を選択し、上記認識部は、上記認識対象の動作を認識してもよい。
【0011】
また、上記特徴選択部は、上記距離において、上記特徴の組合せが一の動作と他の動作とを区別する性能を示す値に基づいた評価関数を用いて、上記特徴を選択してもよい。
【0012】
また、上記特徴選択部は、上記距離において、一の動作と他の動作とを区別する性能を示す値の、全ての種類の上記動作の組合せについての総和である上記評価関数に基づいて、上記特徴を選択してもよい。
【0013】
また、一の動作と他の動作とを区別する性能を示す上記値は、上記性能が高いほど大きくなる値であり、上記特徴選択部は、上記評価関数を最大化する上記特徴を選択してもよい。
【0014】
また、上記特徴選択部は、上記距離における上記サンプルデータがないとき、又は、上記距離が取得できないときに、上記距離によらず上記認識対象の動作の認識率を高める上記特徴を選択してもよい。
【0015】
また、上記特徴選択部は、上記距離による特徴量の分散を示す値と、上記距離によらず一の動作と他の動作とを区別する性能を示す値とに基づいた評価関数を用いて、上記特徴を選択してもよい。
【0016】
また、上記特徴選択部は、一の動作と他の動作とを区別する性能を示す値を、全ての種類の上記動作の組合せについて全ての種類の距離において総和した値を、一の距離と他の距離とを区別する性能を示す値を、全ての種類の上記距離の組合せについて全ての種類の動作において総和した値で除した評価関数に基づいて、上記特徴を選択してもよい。
【0017】
また、上記特徴選択部は、上記認識対象と上記放射波を放射するドップラーセンサとの間の距離の認識率を高める上記特徴を選択し、上記認識部は、上記距離を認識してもよい。
【0018】
また、上記特徴選択部は、一の距離と他の距離とを区別する性能を示す値に基づいた評価関数を用いて、上記特徴を選択してもよい。
【0019】
また、上記特徴選択部は、一の距離と他の距離とを区別する性能を示す値の、全ての種類の上記距離の組合せについての総和である評価関数に基づいて、上記特徴を選択してもよい。
【0020】
また、上記課題を解決するために、本発明の別の観点によれば、認識対象に対して放射波を放射し、上記放射波が上記認識対象により反射した反射波を受信し、上記放射波の周波数と上記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を出力するドップラーセンサノードと、上記ドップラーセンサ出力信号を取得するデータ取得部と、予め取得された上記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部と、上記特徴選択部により選択される特徴に対応する特徴量を、上記ドップラーセンサ出力信号から抽出する特徴量抽出部と、上記サンプルデータの特徴量のうち、上記特徴選択部により選択される特徴に対応する特徴量、及び、上記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部と、を有する情報処理装置とを有することを特徴とする、認識システムが提供される。
【0021】
また、上記課題を解決するために、本発明の別の観点によれば、認識対象に対して放射波を放射し、上記放射波が上記認識対象により反射した反射波を受信し、上記放射波の周波数と上記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号に基づいた認識処理を行い、データ取得部と、特徴選択部と、特徴量抽出部と、認識部と、を有する情報処理装置の、上記データ取得部が上記ドップラーセンサ出力信号を取得する取得ステップと、上記特徴選択部が、予め取得された上記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する選択ステップと、上記選択ステップにおいて選択される特徴に対応する特徴量を、上記ドップラーセンサ出力信号から抽出する抽出ステップと、上記サンプルデータの特徴量のうち、上記選択ステップにより選択される特徴に対応する特徴量、及び、上記抽出ステップにより抽出される特徴量のパターンマッチングにより、認識処理を実行する認識ステップと、を含む、認識方法が提供される。
【0022】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、認識対象に対して放射した電磁波又は超音波である放射波の周波数と、上記放射波が上記認識対象により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、予め取得された上記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部と、上記特徴選択部により選択される特徴に対応する特徴量を、上記ドップラーセンサ出力信号から抽出する特徴量抽出部と、上記サンプルデータの特徴量のうち、上記特徴選択部により選択される特徴に対応する特徴量、及び、上記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部とを有することを特徴とする、情報処理装置として機能させるための、プログラムが提供される。
【発明の効果】
【0023】
以上説明したように本発明によれば、認識に用いる特徴を選択することにより認識率を向上させることができる。
【図面の簡単な説明】
【0024】
【図1】本発明の第1の実施形態に係る認識システムの構成図である。
【図2】サンプルデータの一例を示す説明図である。
【図3】認識システムにおいて認識する動作の一例を示す表である。
【図4】認識対象がタイピングをしているときのドップラーセンサ出力信号の時間領域における波形の例を示す説明図である。
【図5】図4のドップラーセンサ出力信号の周波数領域におけるパワースペクトルを示す説明図である。
【図6】認識対象が腕回しをしているときのドップラーセンサ出力信号の時間領域における波形の例を示す説明図である。
【図7】図6のドップラーセンサ出力信号の周波数領域におけるパワースペクトルを示す説明図である。
【図8】動作認識のための特徴ベクトルの一例を示す説明図である。
【図9】特徴量の一例を示す表である。
【図10】出力画面の一例を示す説明図である。
【図11】本発明の第2の実施形態に係る認識システムの構成図である。
【図12】距離認識のための特徴ベクトルの一例を示す説明図である。
【図13】特徴量の最大値及び最小値の推定についての説明図である。
【図14】認識システムの動作を示すフローチャートである。
【発明を実施するための形態】
【0025】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0026】
<背景>
ドップラーセンサは、電磁波又は超音波を放射し(この放射した電磁波又は超音波を、以下、放射波という。)、放射波が物体により反射した反射波を検出する。このとき、反射波の周波数は、認識対象の移動速度に応じて変化する。ドップラーセンサは、この放射波と反射波との差分の周波数(以下、ドップラー周波数という。)を有するドップラーセンサ出力波を電圧信号(以下、ドップラーセンサ出力信号という。)として出力する。
【0027】
ここで、ドップラーセンサ出力信号の電圧Vdは、振幅Kd、放射波の周波数をft、反射波の周波数をfrとすると、以下の数式1で表される。
【0028】
【数1】
【0029】
ここで、振幅Kdは、電波受信強度に依存する値となり、電波受信強度Prは、一般的に以下の数式2で表されるレーダ方程式に従う。ここで、Ptは送信電力、Gtは送信アンテナ利得、σは当該場所における散乱断面積、Arは受信アンテナの有効開口面積、Rはセンサと認識対象間の距離である。
【0030】
【数2】
【0031】
つまり、受信電力は、ドップラーセンサと認識対象との間の距離の4乗に反比例し、ドップラーセンサ出力信号の電圧は、ドップラーセンサと認識対象との間の距離が増大するほど振幅が減少する。
【0032】
ドップラーセンサ出力信号の波形が、単純にドップラーセンサと認識対象との間の距離に応じて規則的に変形する場合には、その規則性に従って波形を補正すればよい。ところが、実際には電波伝搬や雑音の影響を考慮して、正確に補正することは困難である。
【0033】
そこで、本発明の一実施形態に係る認識システムは、距離に応じて観測されるドップラーセンサ出力信号の波形が異なる場合であっても、認識率の低下を抑制するために、認識に用いる特徴を選択し、選択された特徴の特徴量に基づいて機械学習により認識対象の動作を認識する。以下に、測距装置を用いてドップラーセンサと認識対象との距離を測定し、測定される距離に応じて選択した特徴を用いて動作を認識する第1の実施形態と、第1の実施形態における測距装置がない場合であっても、ドップラーセンサ出力信号から抽出する特徴量に基づいて、ドップラーセンサと認識対象との距離を認識する第2の実施形態について説明する。
【0034】
<第1の実施形態>
まず、本発明の第1の実施形態に係る認識システム10aの構成について、図1を参照しながら説明する。認識システム10aは、認識対象20の動作を認識する機能を有する。この認識システム10aは、認識対象20に放射波を放射し、ドップラーセンサ出力信号を出力するドップラーセンサノード200と、ドップラーセンサノード200から出力されるアナログ信号であるドップラーセンサ出力信号をデジタル信号に変換するA/D(Analog/Digital)変換器300と、A/D変換器300においてデジタル変換されたドップラーセンサ出力信号に基づいて認識対象20の動作を認識する情報処理装置100aと、ドップラーセンサノード200が放射波を放射するときに認識対象とドップラーセンサとの距離を測定する測距装置400とを有する。
【0035】
なお、ここで認識対象20は、主に動作の認識を行う対象となる人間である対象者を指す。或いは、認識対象となり得るロボットなどでもよい。また、ここで認識する対象となる“動作”は、具体例については後述するが、行動のみでなく認識対象20の状態も含む概念である。例えば、認識対象が静止している「静止状態」、又は、認識対象が一時的に認識範囲を離れている「離席状態」などを含んでも良い。
【0036】
(ドップラーセンサノード200)
ドップラーセンサノード200は、認識対象20から動作を認識するためにドップラーセンサ202、増幅器204、ローパスフィルタ(LPF)206、及び出力部208を主に有する。
【0037】
ドップラーセンサ202は、認識対象20に対して放射波を放射し、当該放射波の周波数と、放射波が認識対象20により反射した電磁波である反射波の周波数との差分であるドップラー周波数を検出し、ドップラー周波数を有する信号であるドップラーセンサ出力信号を出力するモジュールである。ドップラーセンサ202は、一般的なドップラーセンサモジュールを用いて構成されてよい。そして、ドップラーセンサ202は、取得したドップラーセンサ出力信号を増幅器204に入力する。
【0038】
増幅器204は、ドップラーセンサ202から入力されたドップラーセンサ出力信号を増幅する機能を有する。増幅器204は、一般的な増幅回路を用いて構成されてもよい。増幅器204は、増幅処理を実行後のドップラーセンサ出力信号をローパスフィルタ206に入力する。
【0039】
ローパスフィルタ206は、増幅器204から入力されたドップラーセンサ出力信号から高周波雑音を除去する機能を有する。ローパスフィルタ206は、一般的なフィルタ回路を用いて構成されてよい。ローパスフィルタ206は、フィルタ処理を実行後のドップラーセンサ出力信号を出力部208に入力する。
【0040】
出力部208は、ドップラーセンサノード200がドップラーセンサ出力信号を出力するための出力インタフェースの機能を有する。出力部208は、ローパスフィルタ206から入力されたドップラーセンサ出力信号をA/D変換器300に入力する。
【0041】
また、ドップラーセンサノード200は、ドップラーセンサ202からの放射波を認識対象20に対して放射することが可能な位置に配置される。そして、認識対象20の動作速度に対して十分なサンプリング周波数によってドップラーセンサ出力信号を取得する。
【0042】
(A/D変換器300)
A/D変換器300は、ドップラーセンサノード200から受け取ったアナログ信号であるドップラーセンサ出力信号をデジタル信号に変換する機能を有する。A/D変換器300は、デジタル変換した後のドップラーセンサ出力信号を情報処理装置100aに入力する。
【0043】
(測距装置400)
測距装置400は、ドップラーセンサ202と認識対象20との間の距離を測定する機能を有する。測距装置400は、例えば、電波又は超音波を用いた既存の方法により距離を測定する。具体的には、例えば、パルス波を認識対象20に対して送信し、反射波が到達するまでの遅延時間から距離を算出する。或いは、認識対象20の持つ無線タグから送信される電波の電波強度に基づいて距離を求めてもよい。測距装置400の機能は、例えばドップラーセンサ202が放射波を送信し、反射波を受信するための送受信部(図示せず)を兼用して用いることにより実現されてもよい。測距装置400は、測定して得られた距離の情報を情報処理装置100aに入力する。
【0044】
(情報処理装置100a)
情報処理装置100aは、ドップラーセンサノード200が取得し、A/D変換器300によりデジタル信号化されたドップラーセンサ出力信号をデータ処理することにより、認識対象20の動作を認識する装置である。情報処理装置100aは、データ取得部102、処理データ記憶部104、特徴量抽出部106、認識部108、認識結果出力部110、特徴選択部112a、及びサンプルデータ記憶部114を有する。
【0045】
データ取得部102は、処理対象となるデータを取得する機能を有する。本実施形態において、データ取得部102は、A/D変換器300から入力されるデジタル変換されたドップラーセンサ出力信号を受信するインタフェースの機能を有する。
【0046】
処理データ記憶部104は、データ取得部102により取得された処理対象のデータを記憶保持するデータ格納用の装置である。処理データ記憶部104は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ここで、記憶媒体としては、例えば、HDD(Hard Disk Drive)などの磁気記録媒体や、EEPROM(Electronically Erasable and Programmable Read Only Memory)、フラッシュメモリ、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリが挙げられるが、上記に限られない。
【0047】
特徴量抽出部106は、処理データ記憶部104から処理対象のデータであるドップラーセンサ出力信号を取得し、取得したドップラーセンサ出力信号の特徴を示す特徴量を抽出する機能を有する。本実施形態においては、特徴量抽出部106は、特徴選択部112aにより選択される特徴に対応する特徴量をドップラーセンサ出力信号より抽出する。
【0048】
認識部108は、特徴選択部112aにより選択される特徴に基づいて、認識対象20の動作を認識する機能を有する。認識部108は、機械学習によるパターンマッチングを用いて、認識対象20の動作を認識する。認識部108は、認識処理を実行する前に、予めサンプルデータの特徴量から機械学習のモデルを構築する学習フェーズを実行する。ここで用いる機械学習のアルゴリズムとしては、例えば、Support Vector Machine(SVM)を用いることができる。認識部108は、サンプルデータに基づいて、どの動作のときに、ドップラーセンサ出力信号の特徴量がどのような傾向を示すかを学習して認識に用いるモデルを構築する。そして、認識部108は、構築されたモデルを用いたパターンマッチングにより、認識対象20の動作を認識する。すなわち、認識部108は、認識対象20の動作に対応するドップラーセンサ出力信号から取得された特徴量の有するパターンと、サンプルデータから取得された特徴量の有するパターンとに基づいて、動作を認識する。
【0049】
なお、本実施形態においては、認識部108は、後述する特徴選択部112aにより選択された特徴に対応する特徴量を用いて認識処理を行う。すなわち、認識部108は、特徴選択部112aにより選択された特徴に対応する特徴量を用いて機械学習のモデルを構築し、当該モデルを用いた認識処理を行う。
【0050】
サンプルデータ記憶部114は、機械学習に用いるサンプルデータを記憶保持するデータ格納用の装置である。サンプルデータ記憶部114は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ここで、記憶媒体としては、例えば、HDD(Hard Disk Drive)などの磁気記録媒体や、EEPROM(Electronically Erasable and Programmable Read Only Memory)、フラッシュメモリ、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリが挙げられるが、上記に限られない。なお、サンプルデータ記憶部114と処理データ記憶部104とは、同一のハードウェアにより実現されてもよい。
【0051】
特徴選択部112aは、測距装置400により測定された距離の情報を取得し、取得される距離の情報に基づいて、認識対象20の動作の認識に用いる特徴を選択する。このように、距離に応じて、認識に用いる特徴を動的に選択するのは、それぞれの特徴が動作を識別する性能が距離に応じて変わるためである。一般的に、ドップラーセンサ出力信号から得られる特徴量は、距離に依存する確率分布をとり、その距離によって動作を認識するのに有効な特徴は異なる。例えば、特徴のうち電圧の振幅は、ドップラーセンサ202と認識対象20との間の距離が小さい地点においては、動作によって分布が大きく異なるため動作の認識に有効である。ところが、距離が大きい地点においては、電圧の振幅は分布の差異が小さく、有効な特徴とはならない。一方、認識対象20の速度が同じであれば、ドップラーセンサ出力信号の周波数は基本的に同じとなる。このため、距離が大きい地点においては、周波数領域の特徴は、電圧の振幅よりも相対的に重要となる。このため、ドップラーセンサ202と認識対象20との間の距離に応じて適切に認識に用いる特徴を選択する必要がある。
【0052】
認識結果出力部110は、認識部108が認識対象20の動作を認識した結果を出力する装置である。認識結果出力部110は、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Display)装置、CRT(Cathode Ray Tube)ディスプレイ装置、およびランプなどの表示装置によって構成されてもよく、また、さらに、スピーカおよびヘッドホンなどの音声出力装置で構成されてもよい。或いは、認識結果出力部110は、単なる出力インタフェースであってもよい。この場合、情報処理装置100a外部の表示装置及び音声出力装置に対して、認識結果を出力するためのデータを出力してもよい。認識結果出力部110は、例えば図10に示すような認識結果画面1100を出力する。認識結果は、結果文字表示1102に示されるように、認識された動作を文字により表示されてもよい。また、結果画像表示1104に示されるように、認識された動作をイラスト又は写真などの画像により示されてもよい。
【0053】
なお、以上説明した情報処理装置100aの各部の機能は、実際には、図示しないCPUなどの制御装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶するROMやRAM(いずれも図示せず。)などの記憶媒体から制御プログラムを読み出して、そのプログラムを解釈して実行することにより達成される。
【0054】
なお、上記においては、認識対象20の動作を認識する段階における各部の機能について説明したが、情報処理装置100aは、サンプルデータを取得する機能も併せ持つ。サンプルデータの取得に際しては、特徴量取得部106は、認識する動作毎にドップラーセンサ出力信号の特徴量を取得し、サンプルデータ記憶部114に記憶する。このとき、サンプルデータは、特徴量、動作、及びドップラーセンサ202と認識対象20との間の距離が関連付けて記憶される。
【0055】
(サンプルデータ取得)
ここで、上記の認識システム10aにおいて事前に取得するサンプルデータについて、一例を挙げて説明する。図2は、サンプルデータの一例を示す説明図である。
【0056】
本実施形態に係る認識システム10aは、ドップラーセンサ202と認識対象20との間の距離に応じて、認識に用いる特徴を選択するために、サンプルデータを距離と対応づけて取得する。例えば、図2に示すように、Nd種類の距離diに対して、Na種類の動作aj毎に観測データを取得し、ドップラーセンサ出力信号である観測データからNf種類の特徴に対する特徴量を抽出する。そして、距離と動作と特徴量とを関連付けてサンプルデータ記憶部114に記憶する。例えば、ここでは、同じ距離、同じ動作においてM回サンプルデータの収録を行うものとする。
【0057】
ここで、動作ajは、認識対象20の行動又は状態などをいい、例えば図3に例示される行動又は状態をいう。上記の通り動作はNa種類であるため、jは(1≦j≦Na)の値をとる。図3の例においては、Na=8である。
【0058】
距離diは、例えば1m、2m、5mなどの値をとり、Nd種類の距離について観測データを収集する。サンプルデータは、認識システム10により認識を行う対象となる範囲の距離diについて網羅的に収集されることが望ましい。
【0059】
このような動作及び距離毎に、観測データが収集される。このうち、ある距離における動作「タイピングをする」及び「腕回しをする」のときのドップラーセンサ出力信号の時間領域における波形、及び、時間領域におけるデータを高速フーリエ変換(FFT)して求めた周波数領域におけるパワースペクトルを図4〜図7に示す。
【0060】
この観測データから、特徴Fkに対応する特徴量をfkとする。また、M個取得するfkのうち、m番目(1≦m≦M)のものをfkmとする。例えば、f23は、特徴F2に対応する特徴量のうち、3番目のものである。
【0061】
全ての特徴の中から、今回動作の認識に用いるために選択する特徴の集合をFSETとする。FSETは、全ての特徴の集合の中の部分集合であり、例えばFSET={F1,F3},FSET={F2,F4,F5}となり得る。また、FSETの要素数をN(FSET)と表す。例えば、N({F1,F3})=2、N({F2,F4,F5})=3である。
【0062】
すると、ある距離diにおいて、ある特徴の組合せの集合FSETで得られる動作ajの特徴量のデータは、M個のN(FSET)次元のベクトルとなる。各距離di、動作ajにおいて、それぞれM個のN(FSET)次元の特徴ベクトルからなるクラスをC(di,aj,FSET)と定義する。図8は、FSETに全ての特徴を含む場合の、それぞれのクラスC(di,aj,FSET)に含まれるM個の特徴ベクトル800の集合が示される。距離はNd種類、動作はNa種類であるため、NdNa個のクラスが存在する。
【0063】
ここで、抽出される特徴Fkの具体例を図9に示す。特徴量抽出部106は、サンプルデータとして、特徴Fkに対応する特徴量を抽出する。例えば、時間領域の特徴としては、電圧の平均値、分散値、最大値、最小値、及び、中央値、が主に挙げられる。また、周波数領域の特徴としては、例えば、電力の平均値、処理対象のデータを複数の周波数領域に分割し、そのそれぞれの領域における電力の平均値、平均周波数、並びに、電力が上位(a%)(ただし以下、周波数が0Hzにおける電力を除いてもよい)の周波数の平均、平均電力、及び、平均パワー周波数が主に挙げられる。
【0064】
(特徴選択方法)
特徴選択部112aは、上記のサンプルデータを評価することによって、認識に用いる特徴を選択する。特徴選択部112aは、選択する特徴の組合せによって、認識対象20の動作の認識率が高まるように特徴を選択するが、このとき、評価関数を用いて特徴を選択する。
【0065】
ある距離di、及び、ある特徴の組合せFSETにおける評価関数E(di,FSET)は、ある特徴の集合FSETのもとで、任意の2つのクラスC(di,ar,FSET)とC(di,as,FSET)との間のクラス間距離をDist(C(di,ar,FSET),C(di,as,FSET))とすると、以下の数式3で表される。
【0066】
【数3】
【0067】
なお、クラス間距離は、2つのクラスの統計的な距離を示し、この距離が大きいほどクラス間の分離度が高いことを示す。例えば、クラスC(di,ar,FSET)の重心からクラスC(di,as,FSET)へのマハラノビス距離とクラスC(di,as,FSET)の重心からクラスC(di,ar,FSET)へのマハラノビス距離の平均値をこのクラス間距離として用いることができる。このとき、クラス間距離は、以下の数式4で表される。
【0068】
【数4】
【0069】
ここで、mahal(X,Y)は、標本XからクラスYの標本群へのマハラノビス距離を示し、C(di,ar,FSET)(m)、及び、C(di,as,FSET)(m)は、それぞれのクラスにおけるm個目の特徴ベクトルを示す。
【0070】
また、クラス間距離は、マハラノビス距離の他にも、2つのクラスに属する全ての標本の全組合せの距離の平均で示されても良い。また、クラス間距離は、2つのクラスのそれぞれの重心間の距離で示されてもよい。
【0071】
数式3において示されるように、この評価関数は、一の動作と他の動作とを区別する性能を示す値(クラス間距離)の、全ての種類の前記動作の組合せについての総和であり、所定の距離diにおいては、この評価関数の値(評価値)が高いほど、その特徴の組合せが動作を分類する性能が高いことを示す。特徴選択部112aは、この評価値が高くなる特徴の組合せFSETを選択する。
【0072】
この評価値を最大化する特徴の組合せを見つける方法は、既存の方法が用いられる。例えば、評価値を最大化する特徴の組合せを見つける方法としては、総当り法及びSFFS(Sequential Floating Forward Selection)法などが挙げられる。
【0073】
【0074】
SFFS法は、特徴の追加及び削除を繰り返すことにより、特徴の組合せを最適化する手法である。以下に、SFFS法による特徴の組合せの選択方法について説明する。
【0075】
全ての特徴の集合をFall={F1,F2,・・・FNf}とした場合に、その中のk個の特徴がFSETの要素として選択されている場合、FSET={Fs1,Fs2,・・・Fsk}と表される。ただし、Fskは、Fallの要素中から選択されたFSETのk番目の要素を示す。k番目までの特徴が選択されているときのFSETをFSET(k)と表す。初期値として、k=0として、以下の手順で特徴を選択する。なお、以下の説明中において、追加する特徴をF+、削除する特徴をF−とする。
【0076】
【0077】
【0078】
【0079】
〜手順4〜
kが所定の値となると終了、そうでなければ手順1へ戻る。
【0080】
以上手順1〜手順4で説明したように、SFFS法は、手順1及び手順2において、Fallの中から、特徴を1つ又は2つ選択した場合に、評価値を最大化する特徴をまず選択する。そして、手順3では、それまでに選択された特徴を削除したときに評価値の値が高くなった場合には評価値の値が減少に転じるまで特徴を削除していく。そして、選択された特徴の数がある値となったら選択動作を終了し、選択された特徴をFSETとする。
【0081】
(効果の例)
以上説明してきたように、特徴選択部112aは、測距装置400により取得された距離の情報に基づいて、当該距離のサンプルデータの特徴を評価関数により評価することによって、認識に用いる特徴を選択する。そして、特徴選択部112aは、選択した特徴を特徴量抽出部106に入力して、選択された特徴に対応する特徴値をドップラーセンサ出力信号から抽出させるとともに、認識部108に、選択された特徴に対応するサンプルデータの特徴値を学習データとして、認識を行うためのモデルを構築させる。
【0082】
かかる構成により、認識システム10aは、認識対象20とドップラーセンサ202との間の距離に応じて認識に用いる特徴を選択することができる。この特徴は、認識率を向上させるために、ある動作と他の動作とを区別する性能が高い組合せが選択される。このため、距離に応じて動的に認識に用いる特徴を変えることによって、同一の特徴により認識する場合と比較して、距離の変化による認識率の低下を抑制することができる。
【0083】
<第2の実施形態:観測データから距離を認識する例>
次に、本発明の第2の実施形態に係る認識システム10bについて、図11を参照しながら説明する。図11は、本発明の第2の実施形態に係る認識システム10bの構成図である。
【0084】
なお、以下の説明中において、第1の実施形態に係る認識システム10aと同様の構成については説明を省略し、主に差異部分のみを説明する。
【0085】
認識システム10bは、認識対象20に放射波を放射し、ドップラーセンサ出力信号を出力するドップラーセンサノード200と、ドップラーセンサノード200から出力されるアナログ信号であるドップラーセンサ出力信号をデジタル信号に変換するA/D(Analog/Digital)変換器300と、A/D変換器300においてデジタル変換されたドップラーセンサ出力信号に基づいて認識対象20の動作を認識する情報処理装置100bとを有する。
【0086】
ここで、ドップラーセンサノード200及びA/D変換器300の機能は、第1の実施形態と同様であるため、説明を省略する。認識システム10bは、認識システム10aと比較して、測距装置400を有さない点において異なる。測距装置がない環境においても、距離に応じた認識を実現するために、情報処理装置100bは、認識部108において、取得されるドップラーセンサ出力信号に基づいて、ドップラーセンサ202から認識対象20までの距離を認識する。
【0087】
かかる機能を実現するために、特徴選択部112bは、動作を認識するための特徴を選択する前に、距離を認識するための特徴を選択する。
【0088】
動作の認識をするために、第1の実施形態においては、各距離di、各動作ajにおいて、それぞれM個のN(FSET)次元の特徴ベクトルからなるクラスをC(di,aj,FSET)として定義した。第2の実施形態においては、距離を認識するために、各動作を区別せずに、各距離において全ての動作の特徴ベクトルからなるクラスをC(di,FSET)と定義する。
【0089】
図12にC(di,FSET)の特徴ベクトルの集合が示される。Na種類の動作において、同じ特徴に対応する特徴量はM個取得されるため、C(di,FSET)は、合計M×Na個の特徴ベクトル900を有する。
【0090】
このクラス間距離に基づいて、第1の実施形態と同様に評価関数の値で特徴の組合せを評価することにより、特徴選択部112bは、距離の識別に用いる特徴の組合せを選択する。
【0091】
ここで、距離を認識するための評価関数E(FSET)は、ある特徴の集合FSETのもとで、任意の2つのクラスC(dp,FSET)とC(dq、FSET)との間のクラス間距離をDist(C(dp,FSET),C(dq、FSET))とすると、以下の数式5により表される。
【0092】
【数5】
【0093】
なお、クラス間距離Dist(C(dp,FSET),C(dq、FSET))は、2つのクラスの統計的な距離を示し、この距離が大きいほどクラス間の分離度が高いことを示す。例えば、クラスC(dp,FSET)の重心からクラスC(dq、FSET)へのマハラノビス距離と、クラスC(dq、FSET)の重心からクラスC(dp,FSET)へのマハラノビス距離との平均値をこのクラス間距離として用いることができる。このとき、クラス間距離は、以下の数式6で表される。
【0094】
【数6】
【0095】
ここで、mahal(X,Y)は、標本XからクラスYの標本群へのマハラノビス距離を示し、C(dp,FSET)(m)、及び、C(dq,FSET)(m)は、それぞれのクラスにおけるm個目の特徴ベクトルを示す。
【0096】
かかる評価関数を最大化する特徴の組合せを発見する方法としては、第1の実施形態と同様に、総当り法やSFFS法などが用いられる。かかる方法により、特徴選択部112bは、評価関数を最大化する特徴の組合せを選択すると、特徴量抽出部106に、選択した特徴の組合せに対応する特徴量を抽出するよう指示する。それと共に、特徴選択部112bは、認識部108に、選択した特徴の組合せによって機械学習のモデルを構築し、距離の認識処理を行うよう指示する。
【0097】
かかる構成により、認識システム10bは、測距装置400の構成を有しない場合であっても、距離を把握することができる。このとき、認識部108は、認識結果を認識結果出力部110に入力して、出力させてもよい。なお、ここで出力される認識結果は、実際のドップラーセンサ202から認識対象20までの距離に最も類似度の高い1m、2mといった離散的な値となる。また、認識部108は、認識結果である認識対象20とドップラーセンサ202との間の距離を、再び特徴選択部112bに入力してもよい。特徴選択部112bは、距離の認識結果を取得すると、取得した距離の情報を用いて、次に、動作の認識に用いる特徴を選択するよう構成することも可能である。
【0098】
<変形例>
以上説明してきた本発明の第1の実施形態に係る認識システム10a及び第2の実施形態に係る認識システム10bは、距離に応じて「その距離における認識率を高めるために」最適化された特徴の組み合わせを用いて動作の認識を行った。
【0099】
この特徴の選択には、距離と対応づけて予め取得されたサンプルデータが用いられる。ところが、当該距離におけるサンプルデータが存在しない場合も考えられる。本変形例においては、当該距離におけるサンプルデータが存在しない場合であっても、認識率の低下を抑制することのできる認識システムを提案する。
【0100】
本変形例に係る認識システムの構成は、認識システム10a又は認識システム10bと同様である。特徴選択部112における特徴の選択基準のみが異なる。
【0101】
すなわち、本変形例においては、特徴選択部112は、特徴を選択するために以下の数式7により示される評価関数を用いる。
【0102】
【数7】
【0103】
上記数式7で表される評価関数の分子は、それぞれの距離におけるそれぞれの動作のクラス間距離の総和をNd種類分全て足し合わせた値となり、分母は、それぞれの動作におけるそれぞれの距離のクラス間距離をNa種類分全て足し合わせた値を示す。分子の値が大きいほど、その特徴の組合せが動作を識別する性能が高いことを示す。また、分母の値が小さいほど、その特徴の組合せによる特徴量の値が、距離の変化によるばらつきが小さいことを示す。この評価関数の値が最大となる特徴の組合せを、第1の実施形態と同様に求める。
【0104】
なお、特徴量を機械学習に用いるときに、特徴量の値がどの距離においてもある範囲内の値をとるように、規格化を行う場合がある。このとき、その距離におけるサンプルデータが存在しないと、規格化に必要な、特徴量の最大値と最小値とが分からない。すなわち、図13を参照すると、認識時における認識対象20とドップラーセンサ202との間の距離がdである場合に、特徴量の最大値vmax(d)及び最小値vmin(d)が分からない状況において、特徴量を規格化する方法を以下に説明する。
【0105】
この補間は、例えば、線形近似や多項近似、又は距離と観測信号の振幅との関係などを用いることによって行われる。規格化された特徴量の値をvnew,規格化される前の特徴量の値をvori,規格値の最大値及び最小値をそれぞれumax,uminとすると、vnewは以下の式で表される。
【0106】
【数8】
【0107】
なお、観測値vori(d)がvmax(d)以上またはvmin(d)以下の場合には、それぞれvmax(d)=vori(d),vmin(d)=vori(d)とする。
【0108】
一方、ドップラーセンサ202と認識対象20との間の距離が不明である場合には、例えば全距離における特徴量の最大値の平均値を規格化における最大値とし、全距離における特徴量の最小値の平均値を規格化における最小値として用いることにより、規格化が行われてもよい。
【0109】
以上説明した変形例の構成によれば、認識対象20とドップラーセンサ202との間の距離毎のサンプルデータがない場合であっても、距離による値のばらつきが小さい特徴を選択することができる。このため、距離による認識率の低下が抑制される。また、上記ではサンプルデータが存在しない場合を例に説明したが、本発明はかかる例に限定されない。例えば、第1の実施形態に係る測距装置、第2の実施形態に係る距離認識により、距離の情報が取得できなかった場合にも適用することができる。
【0110】
<動作>
次に、図14を参照しながら、本発明の第1の実施形態、第2の実施形態、及び変形例に係る認識システムの動作について説明する。図14は、認識システムの動作を示すフローチャートである。
【0111】
まず、測距装置により距離が取得できる状態であるか否かが判断される(S102)。例えば、第1の実施形態においては、認識システム10aは、測距装置400を有するため、ステップS108に進む。一方、第2の実施形態においては、認識システム10bは、測距装置400を有さないため、ステップS104に進む。なお、第1の実施形態に係る認識システム10aにおいて、測距装置により距離が取得できなかった場合にも、ステップS104およびステップS106の動作が実行されてもよい。
【0112】
測距装置400により距離が取得できる状態でない場合には、特徴選択部112は、距離毎のクラス間距離を評価して、距離認識に用いる特徴の組合せを選択する(S104)。そして、選択された特徴により、認識部108は距離の認識を実行する(S106)。そして、認識された距離が特徴選択部112に入力される。
【0113】
一方、測距装置400により距離が取得できた場合、或いは、ステップS104及びステップS106の距離認識処理が実行された後、特徴選択部112は、当該距離における特徴量データが存在するか否かを判断する(S108)。
【0114】
ステップS108の判断において、当該距離における特徴量データが存在する場合には、当該距離における動作のクラス間距離を評価関数とする(S110)。すなわち、上記の数式3で示される評価関数が用いられる。一方、ステップS108の判断において、当該距離における特徴量データが存在しない場合には、各距離における統計的クラス間距離と距離が変換したときのクラス内距離の比を評価関数とする(S112)。すなわち、上記数式7で示される評価関数が用いられる。
【0115】
そして、特徴選択部112は、例えば総当り法又はSFFS法などを用いて、評価関数が最も高くなる特徴の組合せを選択する(S114)。その後、特徴量をスケーリングすると(S116)、認識部108は、選択された特徴の組合せを用いて動作認識を実行する。
【0116】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0117】
例えば、上記実施形態では、第1の実施形態において測距装置を用いて距離を測定する実施形態について示し、第2の実施形態において観測データであるドップラーセンサ出力信号から距離を認識する方法について示したが、本発明はかかる例に限定されない。例えば、第1の実施形態による測距装置を有する構成において、測距装置が距離を取得できなかった場合に、認識を用いて距離を把握する構成としてもよい。
【0118】
また、上記実施形態では、特徴選択部112は、認識実行の度に、用いる特徴を選択する構成としたが、本発明はかかる例に限定されない。例えば、所定の距離において用いる特徴の組合せが予め同様の方法により選択されている場合には、選択された特徴の組合せを記憶部に記憶しておき、特徴選択部112は、記憶されたデータに基づいて特徴の組合せを選択してもよい。
【0119】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【0120】
10 認識システム
20 認識対象
100 情報処理装置
102 データ取得部
104 処理データ記憶部
106 特徴量抽出部
108 認識部
110 認識結果出力部
112 特徴選択部
114 サンプルデータ記憶部
200 ドップラーセンサノード
202 ドップラーセンサ
204 増幅器
206 ローパスフィルタ
208 出力部
300 A/D変換器
400 測距装置
【特許請求の範囲】
【請求項1】
認識対象に対して放射した電磁波又は超音波である放射波の周波数と、前記放射波が前記認識対象により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、
予め取得された前記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部と、
前記特徴選択部により選択される特徴に対応する特徴量を、前記ドップラーセンサ出力信号から抽出する特徴量抽出部と、
前記サンプルデータの特徴量のうち、前記特徴選択部により選択される特徴に対応する特徴量、及び、前記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部と、
を備えることを特徴とする、情報処理装置。
【請求項2】
前記特徴選択部は、前記認識対象と前記放射波を放射するドップラーセンサとの間の距離に応じて、当該距離において前記認識対象の動作の認識率を高める前記特徴を選択し、
前記認識部は、前記認識対象の動作を認識することを特徴とする、請求項1に記載の情報処理装置。
【請求項3】
前記特徴選択部は、前記距離において、前記特徴の組合せが一の動作と他の動作とを区別する性能を示す値に基づいた評価関数を用いて、前記特徴を選択することを特徴とする、請求項2に記載の情報処理装置。
【請求項4】
前記特徴選択部は、前記距離において、一の動作と他の動作とを区別する性能を示す値の、全ての種類の前記動作の組合せについての総和である前記評価関数に基づいて、前記特徴を選択することを特徴とする、請求項3に記載の情報処理装置。
【請求項5】
一の動作と他の動作とを区別する性能を示す前記値は、前記性能が高いほど大きくなる値であり、
前記特徴選択部は、前記評価関数を最大化する前記特徴を選択することを特徴とする、請求項4に記載の情報処理装置。
【請求項6】
前記特徴選択部は、前記距離における前記サンプルデータがないとき、又は、前記距離が取得できないときに、前記距離によらず前記認識対象の動作の認識率を高める前記特徴を選択することを特徴とする、請求項2に記載の情報処理装置。
【請求項7】
前記特徴選択部は、前記距離による特徴量の分散を示す値と、前記距離によらず一の動作と他の動作とを区別する性能を示す値とに基づいた評価関数を用いて、前記特徴を選択することを特徴とする、請求項6に記載の情報処理装置。
【請求項8】
前記特徴選択部は、一の動作と他の動作とを区別する性能を示す値を、全ての種類の前記動作の組合せについて全ての種類の距離において総和した値を、一の距離と他の距離とを区別する性能を示す値を、全ての種類の前記距離の組合せについて全ての種類の動作において総和した値で除した前記評価関数に基づいて、前記特徴を選択することを特徴とする、請求項7に記載の情報処理装置。
【請求項9】
前記特徴選択部は、前記認識対象と前記放射波を放射するドップラーセンサとの間の距離の認識率を高める前記特徴を選択し、
前記認識部は、前記距離を認識することを特徴とする、請求項1に記載の情報処理装置。
【請求項10】
前記特徴選択部は、一の距離と他の距離とを区別する性能を示す値に基づいた評価関数を用いて、前記特徴を選択することを特徴とする、請求項9に記載の情報処理装置。
【請求項11】
前記特徴選択部は、一の距離と他の距離とを区別する性能を示す値の、全ての種類の前記距離の組合せについての総和である前記評価関数に基づいて、前記特徴を選択することを特徴とする、請求項10に記載の情報処理装置。
【請求項12】
認識対象に対して放射波を放射し、前記放射波が前記認識対象により反射した反射波を受信し、前記放射波の周波数と前記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を出力するドップラーセンサノードと、
前記ドップラーセンサ出力信号を取得するデータ取得部と、
予め取得された前記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部と、
前記特徴選択部により選択される特徴に対応する特徴量を、前記ドップラーセンサ出力信号から抽出する特徴量抽出部と、
前記サンプルデータの特徴量のうち、前記特徴選択部により選択される特徴に対応する特徴量、及び、前記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部と、
を有する情報処理装置と、
を備えることを特徴とする、認識システム。
【請求項13】
認識対象に対して放射波を放射し、前記放射波が前記認識対象により反射した反射波を受信し、前記放射波の周波数と前記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号に基づいた認識処理を行い、データ取得部と、特徴選択部と、特徴量抽出部と、認識部と、を有する情報処理装置の、
前記データ取得部が前記ドップラーセンサ出力信号を取得する取得ステップと、
前記特徴選択部が、予め取得された前記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する選択ステップと、
前記選択ステップにおいて選択される特徴に対応する特徴量を、前記ドップラーセンサ出力信号から抽出する抽出ステップと、
前記サンプルデータの特徴量のうち、前記選択ステップにより選択される特徴に対応する特徴量、及び、前記抽出ステップにより抽出される特徴量のパターンマッチングにより、認識処理を実行する認識ステップと、
を含む、認識方法。
【請求項14】
コンピュータを、
認識対象に対して放射した電磁波又は超音波である放射波の周波数と、前記放射波が前記認識対象により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、
予め取得された前記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部と、
前記特徴選択部により選択される特徴に対応する特徴量を、前記ドップラーセンサ出力信号から抽出する特徴量抽出部と、
前記サンプルデータの特徴量のうち、前記特徴選択部により選択される特徴に対応する特徴量、及び、前記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部と、
を備えることを特徴とする、情報処理装置として機能させるための、プログラム。
【請求項1】
認識対象に対して放射した電磁波又は超音波である放射波の周波数と、前記放射波が前記認識対象により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、
予め取得された前記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部と、
前記特徴選択部により選択される特徴に対応する特徴量を、前記ドップラーセンサ出力信号から抽出する特徴量抽出部と、
前記サンプルデータの特徴量のうち、前記特徴選択部により選択される特徴に対応する特徴量、及び、前記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部と、
を備えることを特徴とする、情報処理装置。
【請求項2】
前記特徴選択部は、前記認識対象と前記放射波を放射するドップラーセンサとの間の距離に応じて、当該距離において前記認識対象の動作の認識率を高める前記特徴を選択し、
前記認識部は、前記認識対象の動作を認識することを特徴とする、請求項1に記載の情報処理装置。
【請求項3】
前記特徴選択部は、前記距離において、前記特徴の組合せが一の動作と他の動作とを区別する性能を示す値に基づいた評価関数を用いて、前記特徴を選択することを特徴とする、請求項2に記載の情報処理装置。
【請求項4】
前記特徴選択部は、前記距離において、一の動作と他の動作とを区別する性能を示す値の、全ての種類の前記動作の組合せについての総和である前記評価関数に基づいて、前記特徴を選択することを特徴とする、請求項3に記載の情報処理装置。
【請求項5】
一の動作と他の動作とを区別する性能を示す前記値は、前記性能が高いほど大きくなる値であり、
前記特徴選択部は、前記評価関数を最大化する前記特徴を選択することを特徴とする、請求項4に記載の情報処理装置。
【請求項6】
前記特徴選択部は、前記距離における前記サンプルデータがないとき、又は、前記距離が取得できないときに、前記距離によらず前記認識対象の動作の認識率を高める前記特徴を選択することを特徴とする、請求項2に記載の情報処理装置。
【請求項7】
前記特徴選択部は、前記距離による特徴量の分散を示す値と、前記距離によらず一の動作と他の動作とを区別する性能を示す値とに基づいた評価関数を用いて、前記特徴を選択することを特徴とする、請求項6に記載の情報処理装置。
【請求項8】
前記特徴選択部は、一の動作と他の動作とを区別する性能を示す値を、全ての種類の前記動作の組合せについて全ての種類の距離において総和した値を、一の距離と他の距離とを区別する性能を示す値を、全ての種類の前記距離の組合せについて全ての種類の動作において総和した値で除した前記評価関数に基づいて、前記特徴を選択することを特徴とする、請求項7に記載の情報処理装置。
【請求項9】
前記特徴選択部は、前記認識対象と前記放射波を放射するドップラーセンサとの間の距離の認識率を高める前記特徴を選択し、
前記認識部は、前記距離を認識することを特徴とする、請求項1に記載の情報処理装置。
【請求項10】
前記特徴選択部は、一の距離と他の距離とを区別する性能を示す値に基づいた評価関数を用いて、前記特徴を選択することを特徴とする、請求項9に記載の情報処理装置。
【請求項11】
前記特徴選択部は、一の距離と他の距離とを区別する性能を示す値の、全ての種類の前記距離の組合せについての総和である前記評価関数に基づいて、前記特徴を選択することを特徴とする、請求項10に記載の情報処理装置。
【請求項12】
認識対象に対して放射波を放射し、前記放射波が前記認識対象により反射した反射波を受信し、前記放射波の周波数と前記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を出力するドップラーセンサノードと、
前記ドップラーセンサ出力信号を取得するデータ取得部と、
予め取得された前記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部と、
前記特徴選択部により選択される特徴に対応する特徴量を、前記ドップラーセンサ出力信号から抽出する特徴量抽出部と、
前記サンプルデータの特徴量のうち、前記特徴選択部により選択される特徴に対応する特徴量、及び、前記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部と、
を有する情報処理装置と、
を備えることを特徴とする、認識システム。
【請求項13】
認識対象に対して放射波を放射し、前記放射波が前記認識対象により反射した反射波を受信し、前記放射波の周波数と前記反射波の周波数との差分の周波数を有するドップラーセンサ出力信号に基づいた認識処理を行い、データ取得部と、特徴選択部と、特徴量抽出部と、認識部と、を有する情報処理装置の、
前記データ取得部が前記ドップラーセンサ出力信号を取得する取得ステップと、
前記特徴選択部が、予め取得された前記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する選択ステップと、
前記選択ステップにおいて選択される特徴に対応する特徴量を、前記ドップラーセンサ出力信号から抽出する抽出ステップと、
前記サンプルデータの特徴量のうち、前記選択ステップにより選択される特徴に対応する特徴量、及び、前記抽出ステップにより抽出される特徴量のパターンマッチングにより、認識処理を実行する認識ステップと、
を含む、認識方法。
【請求項14】
コンピュータを、
認識対象に対して放射した電磁波又は超音波である放射波の周波数と、前記放射波が前記認識対象により反射した反射波の周波数との差分の周波数を有するドップラーセンサ出力信号を取得するデータ取得部と、
予め取得された前記ドップラーセンサ出力信号のサンプルデータの評価結果に応じて、特徴を選択する特徴選択部と、
前記特徴選択部により選択される特徴に対応する特徴量を、前記ドップラーセンサ出力信号から抽出する特徴量抽出部と、
前記サンプルデータの特徴量のうち、前記特徴選択部により選択される特徴に対応する特徴量、及び、前記特徴量抽出部により抽出される特徴量のパターンマッチングにより、認識処理を実行する認識部と、
を備えることを特徴とする、情報処理装置として機能させるための、プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−2720(P2012−2720A)
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願番号】特願2010−139068(P2010−139068)
【出願日】平成22年6月18日(2010.6.18)
【国等の委託研究の成果に係る記載事項】(出願人による申告)国等の委託研究の成果に係る特許出願(平成21年度総務省「ユビキタス・プラットフォーム技術の研究開発(ユビキタスサービスプラットフォーム技術の研究開発)」、産業技術力強化法第19条の適用を受ける特許出願)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【Fターム(参考)】
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願日】平成22年6月18日(2010.6.18)
【国等の委託研究の成果に係る記載事項】(出願人による申告)国等の委託研究の成果に係る特許出願(平成21年度総務省「ユビキタス・プラットフォーム技術の研究開発(ユビキタスサービスプラットフォーム技術の研究開発)」、産業技術力強化法第19条の適用を受ける特許出願)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【Fターム(参考)】
[ Back to top ]