情報処理装置、情報処理方法、プログラム
【課題】ユーザの各行動を精度良く認識することが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラムを提供すること。
【解決手段】 ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成部と、上記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する行動認識部と、上記行動認識部により生成された上記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理部と、上記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理部と、を有し、上記行動認識部は、ユーザが行う特定の行動に特化した複数の行動判定部を更に備え、上記複数の行動判定部における判定結果に基づいて上記行動情報を生成する、情報処理装置。
【解決手段】 ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成部と、上記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する行動認識部と、上記行動認識部により生成された上記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理部と、上記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理部と、を有し、上記行動認識部は、ユーザが行う特定の行動に特化した複数の行動判定部を更に備え、上記複数の行動判定部における判定結果に基づいて上記行動情報を生成する、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【０００２】
近年、携帯電話等の情報処理装置は、多機能化している。そのため、ユーザは、情報処理装置に搭載された様々な機能を用いて多様な情報を得ることができる。情報処理装置に搭載される機能としては、ユーザの行動を把握することができる機能が例として挙げられる。例えば、下記の特許文献１には、加速度センサ及びジャイロセンサを用いて、歩いたり、走ったり、立ち止まったりしているユーザの行動を認識して、当該行動をオブジェクトとして表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３４０９０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記の技術によっても、ユーザの各行動を精度良く認識するための方法が確立されていなかった。そのため、例えば、各行動を認識するためのフィルタリング機能、演算機能の確立が求められていた。また、各行動の認識結果の最適化方法の確立も求められていた。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの行動をより精度良く認識することが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成部と、上記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する行動認識部と、上記行動認識部により生成された上記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理部と、上記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理部と、を有し、上記行動認識部は、ユーザが行う特定の行動に特化した複数の行動判定部を更に備え、上記複数の行動判定部における判定結果に基づいて上記行動情報を生成する、情報処理装置が提供される。
【０００７】
上記情報処理装置では、上記行動認識部は、ユーザが静止状態にあるか否かを判定する静止状態判定部と、ユーザが歩行状態または走行状態にあるか否かを判定する歩行・走行状態判定部と、ユーザが跳躍している状態である跳躍状態にあるか否かを判定する跳躍状態判定部と、ユーザが座っている状態または立っている状態にあるか否かを判定する姿勢変化判定部と、ユーザがエレベータに乗っている状態か否かを判定するエレベータ搭乗判定部と、ユーザが電車に乗っている状態か否かを判定する電車搭乗判定部と、ユーザが右折または左折している状態にあるか否かを判定する右折・左折判定部と、を少なくとも備えていてもよい。
【０００８】
上記行動認識部は、上記行動判定部として、上記センサデータ及び予め設定された所定の識別関数を利用して、ユーザが乗物に搭乗しているか否かを判定する乗物搭乗判定部を備えていてもよい。
【０００９】
上記情報処理装置では、上記行動認識部は、上記センサデータをＦＩＦＯ形式で記録するセンサデータ記憶部と、上記センサデータを用いて所定の演算を行うセンサデータ演算部と、を含むセンサデータ処理部を更に備え、上記複数の行動判定部それぞれは、上記センサデータ処理部から出力された演算結果に基づいて、ユーザが行った行動を判定してもよい。
【００１０】
上記情報処理装置では、上記行動情報後処理部は、ユーザが同時に行うことが困難な排他的な行動を取ることを表す排他的特性が行動情報に存在するか否かを検出する排他行動情報再処理部を更に備え、上記排他行動情報再処理部は、２つ以上の行動が上記排他的特性を有する場合には上記２つ以上の行動のうち少なくとも１つの行動に関する行動情報を排除してもよい。
【００１１】
上記情報処理装置では、上記行動情報後処理部は、上記ユーザが各行動を取るのに必要となる行動情報必要条件に基づいて単位時間毎の上記行動情報を再処理する誤認識行動情報再処理部を有し、上記誤認識行動情報再処理部は、上記行動情報が行動情報必要条件を満たしていない場合には上記行動に関する行動情報を修正してもよい。
【００１２】
上記情報処理装置では、上記行動情報後処理部は、上記行動認識部が上記行動管理部に上記行動情報を送達した時刻から上記行動認識部による各行動に関する上記行動情報の生成に要した時間分だけ遡った時刻に上記ユーザが上記各行動を取ったことと処理をする行動情報実時間調整部を有してもよい。
【００１３】
上記行動情報後処理部は、所定時間内に行われた２つ以上の行動が類似している場合に、上記２つ以上の行動夫々について、上記行動情報の合計時間を比較し、上記合計時間が最も長い行動情報を上記所定時間の行動情報として選択する行動間比較再処理部を有していてもよい。
【００１４】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部が、上記センサデータ記憶部によって記録された第一の所定時間における上記第一〜第三加速度センサデータ夫々の分散値を算出して、上記静止状態判定部は、当該分散値のうち最も大きい最大分散値が上記ユーザは静止していると認識する静止認識値より小さく、かつ上記最大分散値が上記静止認識値より小さい時間が上記ユーザが静止していると認識する静止認識時間より長く続く場合には、上記ユーザは静止しているという行動情報を生成して、上記最大分散値が上記静止認識値より小さく、かつ上記最大分散値が上記静止認識値より小さい時間が上記静止認識時間より長く続かない場合には、上記ユーザは一時的に静止しているという行動情報を生成してもよい。
【００１５】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部は、上記センサデータ記憶部によって記憶された第二の所定時間範囲における上記第一〜第三加速度センサデータ夫々の分散値と、当該分散値のうち最も大きい最大分散値を算出して、上記センサデータ記憶部によって記録された上記加速度センサデータの自己相関関数と、当該自己相関関数の最大値を算出することで、上記ユーザが歩いているもしくは走っている際の歩行及び走行周波数データをさらに算出して、上記歩行及び走行周波数データと上記最大分散値とに対して乗算して、歩行もしくは走行していると判定するための歩行及び走行判定データを算出して、上記歩行・走行状態判定部が、当該歩行及び走行判定データの値が、上記ユーザが歩行していると認識するための下限値である最小歩行認識値よりも大きく、かつ上記ユーザが歩行していると認識するための上限値である最大歩行認識値よりも小さい場合には、上記ユーザが歩行しているという行動情報を生成して、上記歩行及び走行判定データの値が、上記最大歩行認識値よりも大きい場合には、上記ユーザが走行しているという行動情報を生成してもよい。
【００１６】
上記情報処理装置では、上記センサデータ演算部が、上記歩行及び走行周波数データを積分して、上記歩行・走行状態判定部が、当該積分の結果より上記ユーザの歩数についての行動情報を生成してもよい。
【００１７】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部が、上記第一〜第三加速度センサデータの大きさで表される跳躍加速度の大きさを計算することで、跳躍状態判定値を算出して、上記跳躍状態判定部が、当該跳躍状態判定値が上記ユーザは跳躍していると認識するための下限値である最小跳躍認識値よりも大きい場合には、上記ユーザが跳躍しているという行動情報を生成してもよい。
【００１８】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部が、上記第一〜第三加速度センサデータ夫々に基づいて所定の座標軸に沿った第一〜第三重力データを算出して、上記第一重力データが上記記憶部に既に記録された第一重力データからどれ位変化したかを表す第一重力変化データ、上記第二重力データが上記記憶部に既に記録した第二重力データからどれ位変化したかを表す第二重力変化データ、及び上記第三重力データが上記記憶部に既に記録した第三重力データからどれ位変化したかを表す第三重力変化データを算出して、上記第一重力変化データ、上記第二重力変化データ、上記第三重力変化データの大きさを表し、上記ユーザが、姿勢変化しているか否かを判定する姿勢変化判定値を算出して、上記姿勢変化判定部は、当該姿勢変化判定値が上記ユーザの姿勢は変化していると認識するための下限値である最小姿勢変化認識値よりも大きい場合であって、且つ上記ユーザが既に立っていた場合には上記ユーザは座っているという行動情報を生成して、上記姿勢変化判定値が最小姿勢変化認識値よりも大きい場合であって、且つ上記ユーザが既に座っていた場合には上記ユーザは立っているという行動情報を生成してもよい。
【００１９】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部が、上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータに基づいて、重力方向の加速度を表す情報である重力方向加速度センサデータを算出して、上記重力方向加速度センサデータと重力との差分を計算することで、上記ユーザがエレベータに乗っているか否かを判定するエレベータ昇降判定データを算出して、上記エレベータ搭乗判定部は、当該エレベータ昇降判定データが最初は所定値Ｄαよりも大きく、次に所定値Ｄβよりも小さくなる場合には、上記ユーザがエレベータで上昇していたという行動情報を生成して、当該エレベータ昇降判定データが最初は所定値Ｄβよりも小さく、次に所定値Ｄαよりも大きくなる場合には、上記ユーザがエレベータで下降していたという行動情報を生成して、上記Ｄαは、上記ユーザがエレベータで上昇を始めたことを認識するための下限値である最小エレベータ上昇認識値であって、上記Ｄβは、上記ユーザがエレベータで下降を始めたことを認識するための上限値である最大エレベータ下降認識値であってもよい。
【００２０】
上記情報処理装置では、上記センサデータ演算部は、上記重力の値を補正可能にする上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの大きさで表される重力調整データを計算して、当該重力調整データを上記センサデータ記憶部に記録して、当該センサデータ記憶部に記録された重力調整データの分散値である重力調整分散値、及び重力調整データの平均値である重力調整平均データを算出して、上記重力調整分散値が上記重力の調整を許容する最大の分散値である最大許容重力調整分散値よりも小さく、且つ上記重力調整平均データが上記重力の調整を許容する最小の平均値である最小許容重力平均値よりも大きく、上記重力調整平均データが上記重力の調整を許容する最大の平均値である最大許容重力平均値よりも小さい場合には、上記重力調整平均データによる値を補正後の重力とみなして、当該補正後の重力を上記重力の代わりに用いて演算してもよい。
【００２１】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部が、上記第一〜第三加速度センサデータに基づいて、水平方向加速度センサデータ、及び垂直方向加速度センサデータを算出して、上記センサデータ記憶部に水平方向加速度センサデータ、及び垂直方向加速度センサデータを記録して、上記センサデータ記憶部に記録した水平方向加速度センサデータに基づいて水平方向分散値を算出して、上記センサデータ記憶部に記録した上記垂直方向加速度センサデータに基づいて垂直方向分散値を算出して、上記水平方向分散値と上記垂直方向分散値とのうち小さい方の分散値について積分をすることで電車に乗っているか否かを判定する電車搭乗判定データを算出して、上記電車搭乗判定部が、当該電車搭乗判定データが上記ユーザは電車に搭乗していると認識するための下限値である最小電車搭乗認識値よりも大きい場合には、上記ユーザが電車に搭乗しているという行動情報を生成してもよい。
【００２２】
上記情報処理装置では、上記センサデータ演算部は、上記垂直方向分散値が最小の許容される垂直方向分散値である最小許容垂直分散値以下である場合、もしくは上記垂直方向分散値が上記最大の許容される垂直方向分散値である最大許容垂直分散値以上である場合には、上記電車搭乗判定データをゼロと算出してもよい。
【００２３】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータと、所定の座標軸に沿ったジャイロに関するデータである第一〜第三ジャイロセンサデータとを含み、上記センサデータ演算部が、上記第一〜第三加速度センサデータと、上記第一〜第三ジャイロセンサデータと、に基づいて重力方向の角速度を算出して、上記右折・左折判定部は、当該角速度が上記ユーザが右折していると認識するための上限値である最大右折認識値よりも小さい場合には、上記ユーザは右折しているという行動情報を生成して、上記ユーザが左折していると認識するための下限値である最小左折認識値よりも大きい場合には、上記ユーザは左折しているという行動情報を生成してもよい。
【００２４】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部が、上記第一〜第三加速度センサデータに基づいて生成された特徴ベクトルと、乗物の種類毎に設定された識別関数とを利用して当該識別関数の値を算出して、上記乗物搭乗判定部は、算出された上記識別関数の値が、当該識別関数に対応する乗物に乗っていることを認識する際に用いられる乗物搭乗認識値より大きい場合に、上記ユーザが上記識別関数に対応する乗物に乗っていることを表す行動情報を生成してもよい。
【００２５】
また、上記課題を解決するために、本発明の別の観点によれば、ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成ステップと、上記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する行動認識ステップと、上記行動認識部により生成された上記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理ステップと、上記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理ステップと、を有し、上記行動認識ステップには、ユーザが行う特定の行動に特化した複数の行動判定ステップを更に備え、上記複数の行動判定ステップにおける判定結果に基づいて上記行動情報を生成する、情報処理方法が提供される。
【００２６】
また、上記課題を解決するために、本発明の別の観点によれば、所定のセンサが設けられたコンピュータに、ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成機能と、上記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する行動認識機能と、上記行動認識部により生成された上記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理機能と、上記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理機能と、を実現させ、上記行動認識機能には、ユーザが行う特定の行動に特化した複数の行動判定ステップを更に備え、上記複数の行動判定ステップにおける判定結果に基づいて上記行動情報を生成させる、プログラムが提供される。
【００２７】
また、上記課題を解決するために、上記プログラムが記録されたコンピュータにより読み取り可能な記録媒体が提供されうる。
【発明の効果】
【００２８】
以上説明したように本発明によれば、行動毎のフィルタリング機能及び演算機能、行動の認識結果を調整することによって、ユーザの行動認識機能の精度が向上する。
【図面の簡単な説明】
【００２９】
【図１】本発明の各実施形態に係る技術を適用可能なネットワークを示す説明図である。
【図２】同実施形態に係る情報処理装置１００、５００の装置構成を示す説明図である。
【図３】本発明の第１の実施形態に係る情報処理装置１００の機能構成を示す説明図である。
【図４】同実施形態に係る情報処理装置１００の情報処理方法の概要を示す説明図である。
【図５】同実施形態に係る情報処理装置１００の情報処理方法の概要を示す説明図である。
【図６】同実施形態に係る情報処理装置１００の情報処理方法の概要を示す説明図である。
【図７】同実施形態に係る情報処理装置１００の情報処理方法の概要を示す説明図である。
【図８】同実施形態に係る情報処理装置１００の情報処理方法の概要を示す説明図である。
【図９】同実施形態に係る情報処理装置１００の情報処理方法の流れを示す説明図である。
【図１０】同実施形態に係る情報処理装置１００の情報処理方法の流れを示す説明図である。
【図１１】同実施形態に係る情報処理装置１００の静止及び一時停止についての認識方法の流れを示す説明図である。
【図１２】同実施形態に係る情報処理装置１００の歩行及び走行についての認識方法の流れを示す説明図である。
【図１３】同実施形態に係る情報処理装置１００の跳躍についての認識方法の流れを示す説明図である。
【図１４】同実施形態に係る情報処理装置１００の姿勢変化についての認識方法の流れを示す説明図である。
【図１５】同実施形態に係る情報処理装置１００のエレベータの搭乗についての認識方法の流れを示す説明図である。
【図１６】同実施形態に係る情報処理装置１００の電車の搭乗についての認識方法の流れを示す説明図である。
【図１７】同実施形態に係る情報処理装置１００の右折または左折についての認識方法の流れを示す説明図である。
【図１８】同実施形態に係る情報処理装置１００の行動情報の管理方法を示す説明図である。
【図１９】同実施形態に係る情報処理装置１００の行動情報後処理方法を示す説明図である。
【図２０】同実施形態に係る情報処理装置１００の行動情報後処理方法を示す説明図である。
【図２１】同実施形態の情報処理装置１００の変形例についての機能構成を示す説明図である。
【図２２】同実施形態の情報処理装置１００の変形例についての情報処理方法の一例を示す説明図である。
【図２３】同実施形態の情報処理装置１００の変形例についての情報処理方法の流れを示す説明図である。
【図２４】本発明の第２の実施形態に係る情報処理装置５００の機能構成を示す説明図である。
【図２５】同実施形態に係る情報処理装置５００の情報処理方法の流れを示す説明図である。
【図２６】同実施形態に係る情報処理装置５００の乗物の搭乗についての認識方法の流れを示す説明図である。
【図２７】同実施形態に係る情報処理装置１００、５００のハードウェア構成例を示す説明図である。
【発明を実施するための形態】
【００３０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３１】
（説明の流れについて）
本稿における説明の流れは次の通りである。まず、図１を参照しながら、本発明の各実施形態に係る情報処理装置を含むネットワークの構成について説明する。次いで、図２を参照しながら、同実施形態に係る情報処理装置の構成例について説明する。
【００３２】
次いで、図３を参照しながら、本発明の第１の実施形態に係る情報処理装置の機能構成について説明する。次いで、図４〜図２０を参照しながら、本発明の第１の実施形態に係る情報処理方法の概要及び応用例について説明する。次いで、図２１〜図２３を参照しながら、本発明の第１の実施形態に係る情報処理方法の変形例について説明する。
【００３３】
次いで、図２４を参照しながら、本発明の第２の実施形態に係る情報処理方法の機能構成について説明する。次いで、図２５及び図２６を参照しながら、本発明の第２の実施形態に係る情報処理方法の概要及び応用例について説明する。
【００３４】
さらに、図２７を参照しながら、本発明の各実施形態に係る情報処理装置の機能を実現することが可能なハードウェア構成について説明する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
【００３５】
１．ネットワークの構成例
２．情報処理装置１００、５００の構成例
３．本発明の第１の実施形態に係る情報処理装置１００の機能構成
４．情報処理装置１００による情報処理方法の概要
５．情報処理装置１００による情報処理方法の応用例
６．第１の実施形態の変形例について
７．本発明の第２の実施形態に係る情報処理装置５００の機能構成
８．情報処理装置５００による情報処理方法の応用例
９．情報処理装置１００、５００のハードウェア構成例
１０．まとめ
【００３６】
＜１．ネットワークの構成例＞
まず、図１を参照しながら、本発明の各実施形態に係る情報処理装置を含むネットワークの構成について説明する。図１は、同実施形態に係る情報処理システム１のシステム構成例を示す説明図である。
【００３７】
図１に示すように、情報処理システム１は、主に情報処理装置１００（情報処理装置５００でもよい。以下、図１及び図２を参照して説明する記載について同じである。）と、サーバ１０２と、通信網１０４とを有する。
【００３８】
情報処理装置１００は、サーバ１０２から受信した行動表現データを表示画面上にオブジェクトとして表示するために所定のデータに基づいて処理を行う。また、情報処理装置１００は、ユーザの行動に対応した行動情報に基づくオブジェクトを生成してサーバ１０２に送信する。情報処理装置１００は、上記の処理以外にも様々な処理を行うことが可能である。この情報処理装置１００については、以下で改めて詳細に説明する。また、上記の所定のデータとして、例えば、ユーザが行った行動に基づく加速度センサデータやジャイロセンサデータが挙げられる。この所定のデータについても、以下で詳細に説明する。
【００３９】
サーバ１０２は、情報処理装置１００から伝送される行動情報を他の情報処理装置１００に対して提供する。また、サーバ１０２は、情報処理装置１００から伝送される行動情報を他の情報処理装置１００に提供する。
【００４０】
通信網１０４は、情報処理装置１００およびサーバ１０２をそれぞれ双方向通信又は一方向通信可能に接続する通信回線網である。この通信網１０４は、例えば、インターネット、ＮＧＮ（Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｎｅｔｗｏｒｋ）網、電話回線網、衛星通信網、同報通信路等の公衆回線網や、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮ等の専用回線網などで構成されており、有線／無線を問わない。
【００４１】
サーバ１０２が、通信網１０４を介して情報処理装置１００から取得した行動情報を他の情報処理装置１００に提供する。情報処理装置１００は、サーバ１０２から取得した行動情報、及び自装置１００で生成した行動情報を処理することによって、複数のユーザがオブジェクトとして表示された映像信号を作成する。
【００４２】
＜２．情報処理装置１００、５００の構成例＞
ここで、図２を参照しながら、情報処理装置１００の構成例について説明する。図２は、情報処理装置１００の構成例を示す説明図である。図２では、本発明の効果を発揮するために望ましい情報処理装置１００として携帯電話を例にとって説明する。但し、図２には、同実施形態に係る入力操作に用いられる主要なキーのみが描画されている。
【００４３】
図２に示すように、情報処理装置１００は、表示画面１６０と、入力キー１６２と、通話キー１６４と、クリアキー１６６と、電源キー１６８と、メニューキー１７０と、メールキー１７２と、メモリーキー１７４と、通信キー１７６と、十字キー１７８とを有する。
【００４４】
まず、情報処理装置１００には、表示画面１６０が設けられている。表示画面１６０は、送受信した電子メールの表示をしたり各種の情報が表示されたりするためのものである。また、表示画面１６０は、タッチパネルの機能を有することもできる。
【００４５】
また、情報処理装置１００には、入力キー１６２が設けられている。入力キー１６２は、電子メールを作成する場合に文字などが入力されるためのものである。また、入力キー１６２は、通話する場合の通話相手の番号が入力されるためのものでもある。
【００４６】
また、情報処理装置１００には、通話キー１６４が設けられている。通話キー１６４は、通話を可能にするためのものである。また、情報処理装置１００には、クリアキー１６６が設けられている。クリアキー１６６は、各種の情報をクリアにするためのものである。さらに、情報処理装置１００には、電源キー１６８が設けられている。電源キー１６８は、情報処理装置１００の電源の入力を行うためのものである。
【００４７】
また、情報処理装置１００には、メニューキー１７０が設けられている。メニューキー１７０は、各種のメニューを表示するためのものである。また、情報処理装置１００には、メールキー１７２が設けられている。メールキー１７２は、メールを作成するための表示画面を出力するためのものである。さらに、情報処理装置１００には、メモリーキー１７４が設けられている。メモリーキー１７４には、例えば、ユーザが登録しておいた他のユーザの電話番号やメールアドレスを表示させるためのものである。
【００４８】
また、情報処理装置１００には、通信キー１７６が設けられている。通信キー１７６は、例えば、インターネット接続を可能にするためのものである。さらに、情報処理装置１００には、十字キー１７８が設けられている。十字キー１７８は、例えば、表示画面上に出力した各種の情報をカーソルで選択するためのものである。
【００４９】
なお、情報処理装置１００の一例である携帯電話は、上記説明してきた形態や機能を有するものには限られない。
【００５０】
＜３．本発明の第１の実施形態に係る情報処理装置１００の機能構成＞
次に、図３を参照しながら、情報処理装置１００の機能構成について説明する。図３は、本発明の第１の実施形態に係る情報処理装置１００の機能構成例を示す説明図である。情報処理装置１００は、ユーザの行動に依存したセンサデータのフィルタリング機能及び演算機能、各行動の認識結果の後処理機能に特徴を有する。
【００５１】
情報処理装置１００は、センサデータ作成部１１０と、行動認識部１１２と、行動管理部１１４と、行動情報後処理部１１６と、データ制御部１５０と、記憶部１５２と、表示制御部１５４と、表示画面１６０とを有する。行動認識部１１２は、行動判定部１１８と、センサデータ処理部１２０とを有する。行動判定部１１８は、静止状態判定部１２２と、歩行・走行状態判定部１２４と、跳躍状態判定部１２６と、姿勢変化判定部１２８と、エレベータ搭乗判定部１３０と、電車搭乗判定部１３２と、右折・左折判定部１３４とを有する。センサデータ処理部１２０は、センサデータ演算部１３６と、特定領域除去部１３８と、低領域除去部１４０と、センサデータ記憶部１４２とを有する。行動情報後処理部１１６は、排他行動情報再処理部１４４と、誤認識行動情報再処理部１４６と、行動情報実時間調整部１４８とを有する。
【００５２】
センサデータ作成部１１０は、ユーザ行動１５６を感知して、当該ユーザの行動に対応する情報であるセンサデータを作成する。なお、ここで言うユーザ行動１５６とは、ユーザが歩行している、走行している、立っている、座っている、跳躍している、静止している、電車に乗っている、エレベータに乗っている、右折もしくは左折しているなどといった情報を指す。上記のユーザ行動１５６に関する情報は、例えば、情報処理装置１００を付随しているユーザの行動を表した情報である。上記のセンサデータは、情報処理装置１００を有するユーザの取った行動に基づく。
【００５３】
行動認識部１１２は、センサデータ作成部１１０からセンサデータを取得する。行動認識部１１２は、当該センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する。行動認識部１１２は、ユーザが行う行動に特化した複数の行動判定部１１８を更に備え、当該複数の行動判定部１１８における判定結果に基づいて上記の行動情報を生成する。なお、センサデータには、例えば、加速度センサデータと、ジャイロセンサデータとが含まれる。
【００５４】
更に、加速度センサデータには、第一加速度センサデータと、第二加速度センサデータと、第三加速度センサデータとが含まれる。第一加速度センサデータとは、所定の座標軸に沿った加速度に関するデータである。また、第二加速度センサデータとは、第一加速度センサデータとは異なる座標軸に沿った加速度に関するデータであり、例えば、第一加速度センサデータの座標軸に直交する座標軸に沿う。また、第三加速度センサデータとは、第一加速度センサデータ及び第二加速度センサデータとは異なる座標軸に沿った加速度に関するデータであり、例えば、第一加速度センサデータ及び第二加速度センサデータの座標軸に直交する座標軸に沿う。
【００５５】
上記の複数の行動判定部１１８には、静止状態判定部１２２と、歩行・走行状態判定部１２４と、跳躍状態判定部１２６と、姿勢変化判定部１２８と、エレベータ搭乗判定部１３０と、電車搭乗判定部１３２と、右折・左折判定部１３４とが含まれる。
【００５６】
静止状態判定部１２２は、ユーザが静止状態にあるか否かを判定する。歩行・走行状態判定部１２４は、ユーザが歩行状態または走行状態にあるかを判定する。跳躍状態判定部１２６は、ユーザが跳躍している状態である跳躍状態にあるか否かを判定する。姿勢変化判定部１２８は、ユーザが座っている状態または立っている状態にあるのか否かを判定する。エレベータ搭乗判定部１３０は、ユーザがエレベータに乗っている状態か否かを判定する。電車搭乗判定部１３２は、ユーザが電車に乗っている状態か否かを判定する。右折・左折判定部１３４は、ユーザが右折したか左折したかを判定する。このように、本実施形態に係る情報処理装置１００によれば、上記の各行動毎に特化した行動認識機能を有しており、当該各行動を精度良く把握することができる。それぞれの行動に関する認識機能は後に詳述する。
【００５７】
センサデータ処理部１２０は、上記の複数の行動判定部１１８から夫々の行動に基づいた処理を行うための信号を受信する。センサデータ処理部１２０は、当該信号に基づいてセンサデータの処理を行い、ユーザの行動を表す情報である行動情報を生成する。より具体的には、センサデータ演算部１３６と、特定領域除去部１３８と、低領域除去部１４０と、センサデータ記憶部１４２とが、上記の処理を各行動に特化した所定の処理方法によって行う。センサデータ演算部１３６は、センサデータを用いて所定の演算を行う。特定領域除去部１３８は、入力されたデータの中から特定の領域以外の範囲を除去する。低領域除去部１４０は、入力されたデータの中から所定の閾値未満の範囲を除去する。センサデータ記憶部１４２は、センサデータをＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）形式で記録する。上記の各行動に特化した所定の処理方法に関する具体的な方法については、図１１〜図１７を参照しながら後に詳述する。
【００５８】
行動管理部１１４は、行動認識部１１２により生成された行動情報を当該行動情報に対応する行動がなされた時刻と関連づけて管理する。より詳細には、行動管理部１１４は、管理している行動情報を行動情報後処理部１１６に伝達する。そして、行動情報後処理部１１６が上記の行動情報に対して所定の後処理を行った後に、行動管理部１１４は行動情報を取得して管理する。
【００５９】
行動情報後処理部１１６は、上述のように、行動管理部１１４により入力された行動情報に対して所定の後処理を行う。所定の後処理は、排他行動情報再処理部１４４、誤認識行動情報再処理部１４６、及び行動情報実時間調整部１４８によって行われる。排他行動情報再処理部１４４は、ユーザが同時に２つ以上の行動を取ることはできない排他的特性に基づいて各行動に関する単位時間毎の行動情報を再処理する。より具体的には、排他行動情報再処理部１４４は、２つ以上の行動が上記排他的特性を有する場合には上記２つ以上の行動のうち少なくとも１つの行動に関する行動情報を排除する。また、誤認識行動情報再処理部１４６は、ユーザが各行動を取るのに必要となる行動情報必要条件に基づいて単位時間毎の上記行動情報を再処理する。より具体的には、誤認識行動情報再処理部１４６は、ユーザの行動が上記行動情報必要条件を満たしていない場合には上記行動に関する行動情報を排除する。また、行動情報実時間調整部１４８は、行動認識部１１２が行動管理部１１４に行動情報を送達した時間から、行動認識部１１２による各行動に関する行動情報の生成に要した時間分だけ遡った時間にユーザが各行動を取ったことと判断する。この行動情報後処理部１１６による所定の後処理については、図１８〜図２１を参照しながら後に詳述する。このように、本実施形態に係る情報処理装置１００によれば、行動情報について上記のような後処理を行うために、各行動毎に特化した行動情報について、誤認識等なく精度良く把握することができる。
【００６０】
データ制御部１５０は、行動管理部１１４から上記後処理がなされた行動情報を取得する。データ制御部１５０は、取得した行動情報に関する各行動に基づいたオブジェクトである映像信号を生成することができる。
【００６１】
また、データ制御部１５０は、サーバ１０２から他のユーザの情報処理装置１００で生成された行動情報を取得することもできる。他のユーザとは、情報処理装置１００を有するユーザとは異なるユーザのことを指す。そのため、データ制御部１５０は、上記他のユーザの行動情報に関する各行動に基づいたオブジェクトである映像信号も生成することもできる。そして、データ制御部１５０は、上記の映像信号を表示制御部１５４に送信する。表示制御部１５４は、映像信号の切り替え制御機能を有する。そのため、表示制御部１５４は、当該映像信号を受信後、表示画面１６０に表示させることができる。その結果、例えば、情報処理装置１００は、情報処理装置１００を所有するユーザのみならず他のユーザの当該行動情報に関するオブジェクトを表示画面１６０上に配置して映像信号として表示することができる。このように、本実施形態に係る情報処理装置１００によれば、ユーザは、例えば、他のユーザの行動を把握することも可能である。
【００６２】
記憶部１５２は、上記のようにデータ制御部１５０が取得した行動情報を記録しておくことができる。そのため、データ制御部１５０は、表示制御部１５４から過去の行動情報を取得して、過去の行動情報に関する各行動に基づいたオブジェクトである映像信号を生成することができる。このように、情報処理装置１００によれば、ユーザは、例えば、過去のユーザ本人及び他のユーザの行動を把握することも可能である。
【００６３】
＜４．情報処理装置１００による情報処理方法の概要＞
（４−１．行動認識機能及び行動情報後処理機能について）
次に図４を参照しながら、行動認識機能及び行動情報後処理機能について説明する。図４は、行動認識機能及び行動情報後処理機能についての概要を示した説明図である。まず、センサデータ作成部１１０がユーザの行動に基づいたセンサデータ２００を作成する。当該センサデータに対して、行動認識部１１２、行動管理部１１４、行動情報後処理部１１６が各行動などに応じて所定の処理を行う。その処理後に、ユーザが時間毎にどのような行動を行っていたかを示す行動情報２１０が生成される。符号２１２、２１４、２１６、２１８、２２０、２２２は、それぞれ時間毎に各行動が行われていたのか否かを示している。詳細については後述する。
【００６４】
図５は、本実施形態に係る情報処理装置１００がどのようにして使用されるのかを示した一例の説明図である。図５に示すように、例えばユーザ１０００の着用している衣服のポケットなどの中に、情報処理装置１００は収容される。情報処理装置１００の表示画面１６０には、ユーザ１０００が実際にどのような行動を取っているのかが表示される。このように表示されるのは、ユーザ１０００本人の行動状態のみならず、サーバなどを介して、他人の行動状態についても可能である。
【００６５】
図６は、上記の行動認識機能及び行動情報後処理機能についてより詳細に説明した図である。まず、ユーザの行動に基づいてセンサデータ２００をセンサデータ作成部１１０が生成する。次に、行動認識部１１２が、上記センサデータ２００に対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報２０２を生成する。更に、行動管理部１１４が、行動認識部１１２により生成された上記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけてデータ２０６として管理する。次に、行動情報後処理部１１６は、行動管理部１１４が管理している行動情報に対して所定の後処理を行う。行動情報後処理部１１６は、ＦＩＦＯ形式で記録された行動毎のデータ２０６に対して、所定の後処理を行う。具体的な後処理方法については、以下で詳述する。このようにして、後処理２０４を行われた行動情報２１０が得られ、情報処理装置１００によれば各行動の精度が向上する。
【００６６】
（４−２．行動認識機能について）
図７は、行動認識機能についての概要を示した説明図である。センサデータ作成部１１０が作成したセンサデータ２００についての行動情報２０２を行動認識部１１２は生成する。具体的には、センサデータ２００を取得した行動認識部１１２は、各行動に特化した行動判定部１１８が、センサデータ処理部１２０に対して当該各行動毎に特化した固有の処理を行わせる。センサデータ処理部１２０が、各行動毎の所定の処理を行い（符号２２４）、行動情報２０２を生成する。上記所定の処理の具体的な方法については、後述する。このようにして、行動認識部１１２は、各行動に特化した処理方法を有しているので、各行動を精度良く認識することができる。
【００６７】
（４−３．行動情報後処理機能について）
図８は、行動情報後処理機能についての概要を示した説明図である。行動認識部１１２が生成した行動情報について、行動管理部１１４が行動情報に対応する行動がなされた時刻と関連づけてデータ２２６として管理する。次に、行動情報後処理部１１６が、行動管理部１１４が管理している行動情報２２６に対して所定の後処理を行う。行動情報後処理部１１６は、ＦＩＦＯ形式で記録された行動毎のデータ２２８に対して、所定の後処理を行う。後処理としては、排他行動情報再処理部１４４と、誤認識行動情報再処理部１４６と、行動情報実時間調整部１４８とが行う。具体的な後処理方法については、以下で詳述する。その結果、後処理がなされた行動情報２１０が得られる。このようにして、行動認識部１１２が生成した行動情報に対して、所定の後処理がなされるので、ユーザの実際の行動と比較して誤認識等がない状態で、行動情報が生成される。
【００６８】
＜５．情報処理装置１００による情報処理方法の応用例＞
次に、図９〜図２０を参照しながら、情報処理方法の応用例について説明する。本実施形態に係る情報処理装置１００は、行動認識部１１２を有する。行動認識部１１２は、行動判定部１１８と、センサデータ処理部１２０とを有する。行動認識部１１２は、ユーザが行う特定の行動に特化した複数の行動判定部１１８を有する。具体的には、行動判定部１１８は、静止状態判定部１２２と、歩行・走行状態判定部１２４と、跳躍状態判定部１２６と、姿勢変化判定部１２８と、エレベータ搭乗判定部１３０と、電車搭乗判定部１３２と、右折・左折判定部１３４とを有する。本実施形態に係る情報処理装置１００によれば、各行動毎に特化した行動認識機能を有しており、当該各行動を精度良く把握することができる。センサデータ処理部１２０が、センサデータ演算部１３６と、特定領域除去部１３８と、低領域除去部１４０と、センサデータ記憶部１４２とを有し、各行動毎に行動判定部１１８の指示に応じて所定の処理を行う。
【００６９】
センサデータ演算部１３６は、センサデータに所定の演算を行う。特定領域除去部１３８は、センサデータの所定領域の範囲外を除去する。低領域除去部１４０は、センサデータの所定値以下の領域を除去する。センサデータ記憶部１４２は、センサデータをＦＩＦＯ形式で記録する。以下に各行動毎の行動認識方法について詳述する。
【００７０】
なお、本実施形態に係る情報処理装置１００が有するセンサデータ作成部１１０が作成するセンサデータは、加速度センサデータとジャイロセンサデータとを含む。加速度センサデータは、第一加速度センサデータと、第二加速度センサデータと、第三加速度センサデータとを有する。第一加速度センサデータとは、所定の座標軸に沿った加速度に関するデータである。また、第二加速度センサデータとは、第一加速度センサデータとは異なる座標軸に沿った加速度に関するデータであり、例えば、第一加速度センサデータの座標軸に直交する座標軸に沿う。また、第三加速度センサデータとは、第一加速度センサデータ及び第二加速度センサデータとは異なる座標軸に沿った加速度に関するデータであり、例えば、第一加速度センサデータ及び第二加速度センサデータの座標軸に直交する座標軸に沿う。ここで、以下の説明で参照する図１１〜１７で表記される、ｘ−ａｃｃは、第一加速度センサデータの一例であり、Ｘ軸、Ｙ軸、及びＺ軸の３軸から成る座標軸のうちＸ軸方向の加速度センサデータのことを指す。また、ｙ−ａｃｃは、第二加速度センサデータの一例であり、Ｙ軸方向の加速度センサデータのことを指す。また、ｚ−ａｃｃは、第三加速度センサデータの一例であり、Ｚ軸方向の加速度センサデータのことを指す。また、ｘ−ｇｙｒｏは、第一ジャイロセンサデータの一例であり、Ｘ軸、Ｙ軸、及びＺ軸の３軸から成る座標軸のうちＸ軸方向のジャイロセンサデータのことを指す。また、ｙ−ｇｙｒｏは、第二ジャイロセンサデータの一例であり、Ｙ軸方向のジャイロセンサデータのことを指す。また、ｚ−ｇｙｒｏは、第三ジャイロセンサデータの一例であり、Ｚ軸方向のジャイロセンサデータのことを指す。
【００７１】
（５−１．行動認識機能及び行動情報後処理機能について）
まず、行動認識方法及び行動情報後処理方法の流れについて、図９を参照しながら説明する。図９は、本実施形態に係る行動認識方法及び行動情報後処理方法の流れを説明する図である。ある時刻ｔｎのサンプル（ユーザ行動）に対して、入力信号としてセンサデータをセンサデータ作成部１１０が作成する。上記センサデータに対して、行動認識部１１２は、デジタルフィルタ処理（信号／統計処理）を行う（Ｓ１００）。その結果、行動認識部１１２は、各行動の特徴を代表する検出値を算出して、閾値処理を行う（Ｓ１０２）。その結果として、行動認識部１１２が、上記検出値が閾値の範囲外であると判定した場合には、行動管理部１１４は無効フラグを立て、各行動についてのフラグの状態管理を行う（Ｓ１０４）。また、行動認識部１１２が、上記検出値が閾値の範囲内であると判定した場合には、行動管理部１１４は有効フラグを立て、各行動についてのフラグの状態管理を行う（Ｓ１０４）。更に行動管理部１１４は、行動の有無を判定して（Ｓ１０６）、行動がある場合にはラベル化してＦＩＦＯ形式で記録する（Ｓ１０８）。行動管理部１１４は、行動の開始・終了時刻とその認識状態を記録する。次に、行動情報後処理部１１６が、上記の認識結果に対して後処理を行う（Ｓ１１０）。上記後処理としては、例えば、行動情報後処理部１１６の排他行動情報再計算部１４４が、排他行動の整合性を確保する処理を行うことが挙げられる。また、行動情報後処理部１１６の誤認識行動情報再計算部１４６が、経験則に基づいて誤認識を回避する処理を行うことも挙げられる。また、行動情報後処理部１１６の行動情報実時間調整部１４８が、デジタルフィルタの時間遅れを調整する処理を行うことも挙げられる。このようにして時刻ｔｎのサンプルに対する認識処理が行われる。特に、各行動に対応したデジタルフィルタリング機能を有する行動の認識方法については、以下で詳述する。
【００７２】
更に、過去の時刻ｔｎ−ｄの認識結果を取得する機能について図１０を参照しながら更に説明する。図１０は、行動情報後処理機能についての流れを説明する図である。行動管理部１１４は、時刻ｔｎ−ｄの認識結果について、指定時間としての時間遅れを算出する（Ｓ１２０）。行動管理部１１４は、ＦＩＦＯ形式で記録されたデータについて先頭から順番にラベルを走査する（Ｓ１２２）。次に、行動管理部１１４は、上記の指定時間前の時刻についてラベルの有無を判定する（Ｓ１２４）。その結果、時刻ｔｎ−ｄについて、行動の有無を認識することができる。
【００７３】
（５−２．一時停止しているのか、静止しているのかについての認識方法）
まず、図１１を参照しながら、ユーザが一時停止しているのか静止しているのかを認識する方法について説明する。図１１は、行動認識部１１２が、ユーザが一時停止しているのか、静止しているのかを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。一時停止しているのか、静止しているのかを認識するために、まず、行動判定部１１８のうち静止状態判定部１２２が、センサデータ処理部１２０に一時停止しているのか、静止しているのかを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【００７４】
次に、センサデータ記憶部１４２がｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃをＦＩＦＯ形式で記録する（Ｓ１０００）。センサデータ記憶部１４２に所定のデータ分だけ記録された後に、センサデータ演算部１３６は、センサデータ記憶部１４２からｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃを取得する。ここで、所定のデータは、例えば、情報処理装置１００に設定された時間分だけのデータと設定されていてもよいし、ユーザが設定した時間分だけのデータであってもよい。次に、センサデータ演算部１３６は、上記のｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃに関する夫々の分散値を算出する（Ｓ１００２）。また、次に、センサデータ演算部１３６は、上記夫々の分散値のうち、最も大きい分散値である静止判定用最大分散値（ｄｅｔ）を抽出する（Ｓ１００４）。
【００７５】
次に、静止状態判定部１２２が、上記の静止判定用最大分散値をセンサデータ処理部１２０から取得する。静止状態判定部１２２は、上記静止判定用最大分散値がユーザは静止していると認識する静止認識値Ｄ１より小さいか否かを判定する（Ｓ１００６）。静止判定用最大分散値がＤ１より小さくなく、つまりＤ１以上である場合には、静止状態判定部１２２は、ユーザが静止していないと判定する。すなわち、ユーザは、何かしらの行動を取っていることとなる。静止状態判定部１２２は、ユーザが静止していないという行動情報を生成する（Ｓ１０１４）。
【００７６】
一方、静止判定用最大分散値がＤ１よりも小さい場合には、静止状態判定部１２２は、上記の最大分散値についてＤ１より小さい時間が静止認識時間Ｔ１より長く続くか否かを判定する（Ｓ１００８）。ここで、静止認識時間Ｔ１とは、静止状態判定部１２２によってユーザが静止していると認識される最小の時間を指す。上記の静止判定用最大分散値についてＤ１より小さい時間がＴ１より長く続く場合には、静止状態判定部１２２はユーザが静止していると判定し、当該ユーザが静止しているという行動情報を生成する（Ｓ１０１０）。一方、上記の静止判定用最大分散値についてＤ１より小さい時間がＴ１より長く続かない場合には、静止状態判定部１２２はユーザが一時的に停止していると判定し、当該ユーザが一時的に停止しているという行動情報を生成する（Ｓ１０１２）。なお、Ｄ１及びＴ１については、予め情報処理装置１００に設定されていてもよいし、ユーザが情報処理装置１００に設定してもよい。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザが静止しているか、一時停止しているのか、その両者の何れでもなく何かしらの動きを取っているのかを精度良く認識することができる。
【００７７】
（５−３．歩行しているのか、走行しているのかについての認識方法）
次に、図１２を参照しながら、ユーザが歩行しているのか、走行しているのかを認識する方法について説明する。図１２は、行動認識部１１２が、ユーザが歩行、もしくは走行しているのかを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。歩行もしくは、走行しているのかを認識するために、まず、行動判定部１１８のうち歩行・走行状態判定部１２４が、センサデータ処理部１２０に歩行もしくは、走行しているのかを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【００７８】
次に、特定領域除去部１３８が、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃについて、ユーザが歩行もしくは走行していると認識される歩行及び走行認識周波数領域の範囲外の周波数を除去する（Ｓ２０００）。つまり、特定領域除去部１３８は、バンドパスフィルター（ＢＰＦ）としての機能を行うことができる。また、上記の歩行及び走行認識周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。次に、センサデータ記憶部１４２が、上記のような処理が実行されたｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃをＦＩＦＯ形式で記録する（Ｓ２００２）。次に、センサデータ記憶部１４２に所定のデータ分だけ記録された後に、センサデータ演算部１３６は、センサデータ記憶部１４２からｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃを取得する。ここで、所定のデータは、例えば、情報処理装置１００に設定された時間分だけのデータと設定される。
【００７９】
次に、センサデータ演算部１３６は、ＦＩＦＯ形式で所定のデータ分だけ記録されたｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃについて、簡略化自己相関関数（ＳＡＣＦ（Ｓｕｍｍａｒｙ Ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ Ｆｕｎｃｔｉｏｎ））を算出する。更に、センサデータ演算部１３６は、上記の簡略化自己相関関数（ＳＡＣＦ）に基づいて、強調された簡略化自己相関関数（ＥＳＡＣＦ（Ｅｎｈａｎｃｅｄ ＳＡＣＦ））を算出する（Ｓ２００６）。ＳＡＣＦのピークの経時的な発生は、センサデータにおける歩行及び走行の周期的な動きに対応する。しかしながら、ＳＡＣＦは、実際の歩行及び走行を表現する周波数の整数倍の周波数を有するデータをも含んでしまっている。そのため、センサデータ演算部１３６は、ＥＳＡＣＦを算出することで、余分なピークデータを除去して上記実際の歩行及び走行を表現する周波数のみを含んだデータを得ることができる。その結果、センサデータ演算部１３６は、上記ＥＳＡＣＦに基づくピークを算出することで（Ｓ２００８）、歩行・走行判定用周波数（ｆｒｅｑ）を算出することができる。
【００８０】
また、センサデータ処理部１２０がセンサデータ作成部１１０からセンサデータを取得した後、センサデータ記憶部１４２は、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃをＦＩＦＯ形式で記録する（Ｓ２０１０）。次に、センサデータ記憶部１４２に所定のデータ分だけ記録された後に、センサデータ演算部１３６は、センサデータ記憶部１４２からｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃを取得する。ここで、所定のデータは、例えば、情報処理装置１００に設定された時間分だけのデータと設定されていてもよい。
【００８１】
次に、センサデータ演算部１３６は、ＦＩＦＯ形式で所定のデータ分だけ記録されたｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃについて、夫々の分散値を算出する（Ｓ２０１２）。また、次に、センサデータ演算部１３６は、上記夫々の分散値のうち、最も大きい分散値である歩行・走行判定用最大分散値（ｖａｒ）を抽出する（Ｓ２０１４）。
【００８２】
次に、センサデータ演算部１３６は、上記した歩行・走行判定用周波数（ｆｒｅｑ）と歩行・走行判定用最大分散値（ｖａｒ）の積を求める（Ｓ２０１６）。すなわち、簡潔に説明すると、歩行・走行に関する単位時間当たりの歩数をｆｒｅｑで表現されており、歩行・走行に関する動きの大きさがｖａｒで表現されている。つまり、歩行・走行は、歩数と動きの大小で判断可能であり、ｆｒｅｑとｖａｒの積が、後述するように所定の領域の範囲内にある場合には、ユーザが歩行していると判断される。また、上記積が、上記所定の領域を超える場合には、ユーザが走行していると判断される。更に、上記積が、上記所定の領域にも満たない場合には、ユーザは歩行も走行もしていないと判断される。
【００８３】
次に、上記積について、低領域除去部１４０が、ユーザの歩行もしくは走行が誤認識されうる周波数領域を除去して、歩行もしくは走行しているかを判定するための歩行・走行判定データを算出する（Ｓ２０１８）。つまり、低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。
【００８４】
次に、歩行・走行状態判定部１２４が、歩行・走行判定データをセンサデータ処理部１２０から取得する。歩行・走行状態判定部１２４は、上記歩行・走行判定データの値が、ユーザが歩行していると認識するための下限値である最小歩行認識値Ｄ２よりも大きいか判定する（Ｓ２０２０）。また、歩行・走行状態判定部１２４は、上記歩行・走行判定データの値が、ユーザが歩行していると認識するための上限値である最大歩行認識値Ｄ３よりも小さいか判定する（Ｓ２０２０）。上記歩行・走行判定データの値が、Ｄ２よりも大きく、Ｄ３よりも小さい場合、歩行・走行状態判定部１２４は、ユーザが歩行しているという行動情報を生成する（Ｓ２０２２）。また、歩行・走行状態判定部１２４は、上記歩行・走行判定データの値が、Ｄ３よりも大きいか否かを判定する（Ｓ２０２４）。上記歩行・走行判定データの値が、Ｄ３よりも大きい場合、歩行・走行状態判定部１２４は、ユーザが走行しているという行動情報を生成する（Ｓ２０２６）。また、上記歩行・走行判定データの値が、Ｄ２以下である場合、歩行・走行状態判定部１２４は、歩行も走行もしていないという行動情報を生成する（Ｓ２０２８）。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザが歩行しているか、走行しているのか、その両者の何れでもない何かしらの行動を取っているのかを精度良く認識することができる。
【００８５】
一方で、センサデータ演算部１３６は、上記のｆｒｅｑを積分することもできる（Ｓ２０２８）。そして、上記の積分の結果によって、歩行・走行状態判定部１２４が、所定の時間におけるユーザの歩数についての行動情報を生成することができる。つまり、所定の時間において、ユーザがどれだけ歩いたかについても、情報処理装置１００によれば認識することができる。なお、当該所定の時間については、例えば、情報処理装置１００に設定された時間分であってもよいし、ユーザが設定した時間であってもよい。
【００８６】
（５−４．跳んでいるか否かについての認識方法）
次に、図１３を参照しながら、ユーザが跳躍しているのか否かを認識する方法について説明する。図１３は、行動認識部１１２が、ユーザが跳躍しているのか否かを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。跳躍しているのか否かを認識するために、まず、行動判定部１１８のうち跳躍状態判定部１２６が、センサデータ処理部１２０に跳躍しているのかを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【００８７】
次に、センサデータ演算部１３６が、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃについての大きさで表される跳躍加速度を算出する（Ｓ３０００）。次に、特定領域除去部１３８が、上記跳躍加速度についてユーザが跳躍していると認識される跳躍認識値領域の範囲外の周波数を除去する（Ｓ３００２）。つまり、特定領域除去部１３８は、バンドパスフィルター（ＢＰＦ）としての機能を行うことができる。また、上記の跳躍認識値領域は、ユーザが設定してもよいし、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。また、その結果、特定領域除去部１３８は、跳躍しているか否かを認識するための絶対値である補正跳躍加速度を算出する（Ｓ３００４）。具体的には、例えば、補正跳躍加速度は、跳躍加速度に比べて、跳躍したときに起こりうる情報処理装置１００の揺れや振動などに起因するデータ成分が除去されている。次に、低領域除去部１４０が、上記の補正跳躍加速度についてユーザの跳躍が誤認識されうる周波数領域を除去する（Ｓ３００６）。つまり、低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される周波数領域は、ユーザが設定してもよいし、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。また、その結果、低領域除去部１４０は、跳躍しているか否かを判定する跳躍状態判定値（ｄｅｔ）を算出する。
【００８８】
次に、跳躍状態判定部１２６が、跳躍状態判定値をセンサデータ処理部１２０から取得する。跳躍状態判定部１２６は、上記跳躍状態判定値が、ユーザが跳躍していると認識するための下限値である最小跳躍認識値Ｄ４よりも大きいか判定する（Ｓ３００８）。上記の跳躍状態判定値の値が最小跳躍認識値Ｄ４よりも大きい場合には、跳躍状態判定部１２６はユーザが跳躍しているという行動情報を生成する（Ｓ３０１０）。一方で、上記の跳躍状態判定値の値が最小跳躍認識値Ｄ４以下である場合には、跳躍状態判定部１２６はユーザが跳躍していないという行動情報を生成する（Ｓ３０１２）。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザが跳躍しているのか、していないのかを精度良く認識することができる。
【００８９】
（５−５．座っているのか立っているのかについての認識方法）
次に、図１４を参照しながら、ユーザが座っているのか立っているのかを認識する方法について説明する。図１４は、行動認識部１１２が、ユーザが座っているのか立っているのかを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。座っているのか立っているのかを認識するということは、もともと座っているユーザが立ったことを認識すること、もしくはもともと立っているユーザが座ることを認識することでもある。つまり、ユーザの姿勢変化を認識することである。このように、ユーザが姿勢変化をしているのかを認識するために、まず、行動判定部１１８のうち姿勢変化判定部１２８が、センサデータ処理部１２０に姿勢変化をしているのかを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【００９０】
次に、低領域除去部１４０が、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃの夫々についてユーザの姿勢変化が誤認識されうる周波数領域を除去する（Ｓ４０００）。低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される第一の周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。その結果、低領域除去部１４０は、ｘ−ａｃｃに基づくｘ−ｇｒａｖ、ｙ−ａｃｃに基づくｙ−ｇｒａｖ、及びｚ−ａｃｃに基づくｚ−ｇｒａｖを算出する。ｘ−ｇｒａｖは、第一加速度センサデータに基づく第一重力データの一例であり、Ｘ軸、Ｙ軸、及びＺ軸の３軸から成る座標軸のうちＸ軸方向の加速度センサデータのことを指す。ｙ−ｇｒａｖは、第二加速度センサデータに基づく第二重力データの一例であり、Ｘ軸、Ｙ軸、及びＺ軸の３軸から成る座標軸のうちＹ軸方向の加速度センサデータのことを指す。ｚ−ｇｒａｖは、第三加速度センサデータに基づく第三重力データの一例であり、Ｘ軸、Ｙ軸、及びＺ軸の３軸から成る座標軸のうちＺ軸方向の加速度センサデータのことを指す。
【００９１】
次に、センサデータ演算部１３６は、上記算出したｘ−ｇｒａｖが所定の時間前のｘ−ｇｒａｖからどれだけ変化したかを示す値δ（ｘ−ｇｒａｖ）を算出する（Ｓ４００２）。δ（ｘ−ｇｒａｖ）は、第一重力変化データの一例である。また、センサデータ演算部１３６は、上記算出したｙ−ｇｒａｖが所定の時間前のｙ−ｇｒａｖからどれだけ変化したかを示すδ（ｙ−ｇｒａｖ）を算出する（Ｓ４００２）。δ（ｙ−ｇｒａｖ）は、第二重力変化データの一例である。また、センサデータ演算部１３６は、上記算出したｚ−ｇｒａｖが所定の時間前のｚ−ｇｒａｖからどれだけ変化したかを示すδ（ｚ−ｇｒａｖ）を算出する（Ｓ４００２）。δ（ｚ−ｇｒａｖ）は、第一重力変化データの一例である。次に、センサデータ演算部１３６は、δ（ｘ−ｇｒａｖ）、δ（ｙ−ｇｒａｖ）、及びδ（ｚ−ｇｒａｖ）の大きさを表す姿勢変化値を算出する（Ｓ４００４）。当該姿勢変化値は、ユーザの姿勢変化を認識可能なものとする。
【００９２】
次に、低領域除去部１４０は、上記姿勢変化値についてユーザの姿勢変化が誤認識されうる領域を除去する（Ｓ４００６）。低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。その結果、低領域除去部１４０は、姿勢変化しているか否かを判定する姿勢変化判定値（ｄｅｔ）を算出する。また、上記の除去される領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。
【００９３】
次に、姿勢変化判定部１２８が、姿勢変化判定値をセンサデータ処理部１２０から取得する。姿勢変化判定部１２８は、ユーザが姿勢変化していると認識するための下限値である最小姿勢変化認識値Ｄ５よりも上記姿勢変化判定値が大きい場合、姿勢変化が行われていると判定する（Ｓ４００８）。姿勢変化が行われている場合に、姿勢変化判定部１２８は、既にユーザが立っているのか座っているのかを判定する（Ｓ４０１０）。ユーザが既に立っている場合には、姿勢変化が行われてユーザは座ることとなり、姿勢変化判定部１２８は、ユーザが座っているという行動情報を生成する（Ｓ４０１２）。また、ユーザが既に座っている場合には、姿勢変化が行われてユーザは立つこととなり、姿勢変化判定部１２８は、ユーザが立っているという行動情報を生成する（Ｓ４０１４）。つまり、一方、上記姿勢変化判定値がＤ５以下である場合、姿勢変化は行われておらず、姿勢変化判定部１２８は、姿勢変化に関する状態の変化はないという行動情報を生成する（Ｓ４０１６）。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザが姿勢変化を行っているのか、行っていないのかを精度良く認識することができる。すなわち、ユーザの姿勢変化について判定することに基づいて、ユーザが座っている状態にあるのか、立っている状態にあるのかを認識することができる。
【００９４】
（５−６．エレベータで上昇しているか下降しているかの認識方法）
次に、図１５を参照しながら、ユーザがエレベータに乗っているのか否かを認識する方法について説明する。図１５は、行動認識部１１２が、ユーザがエレベータに乗っているのか否かを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。このように、ユーザがエレベータに乗っているのか否かを認識するために、まず、行動判定部１１８のうちエレベータ搭乗判定部１３０が、センサデータ処理部１２０にエレベータに乗っているのか否かを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【００９５】
次に、低領域除去部１４０が、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃを基に、重力方向の加速度であると誤認識されうる周波数領域を除去する（Ｓ５０００）。低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。次に、センサデータ演算部１３６が、上記の周波数領域が除去された、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃに基づいて重力方向加速度センサデータ（ａｃｃ）を算出する（Ｓ５００２）。
【００９６】
一方、センサデータ演算部１３６が、重力の値を調整可能にするｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃの大きさで表される重力調整データを算出して（Ｓ５００４）、当該重力調整データをセンサデータ記憶部１４２に記録する（Ｓ５００６）。センサデータ演算部１３６は、所定のデータ分だけ記録された上記重力調整データについての分散値である重力調整分散値（ｖａｒ）を算出する（Ｓ５００８）。また、センサデータ演算部１３６は、所定のデータ分だけ記録された上記重力調整データについての平均値である重力調整平均データを算出する（Ｓ５００８）。
【００９７】
次に、センサデータ演算部１３６は、上記重力調整分散値が重力の調整を許容する最大の分散値である最大許容重力調整分散値Ｖ１よりも小さいか否か判定する（Ｓ５０１０）。上記重力調整分散値がＶ１以上である場合には、センサデータ演算部１３６は重力の値を更新しない（Ｓ５０１２）。上記の機能は、ユーザに付随する情報処理装置１００の向きによって、重力の微調整が必要な場合に行われるものであり、上記重力調整分散値がＶ１以上である場合には、調整後の重力の変化があまりにも大きく、実現象との乖離が大きくなりすぎるからである。
【００９８】
一方、上記重力調整分散値が重力の調整を許容する最大の分散値である最大許容重力調整分散値Ｖ１よりも小さい場合について説明する。センサデータ演算部１３６は引き続いて、上記の重力調整平均データが重力の調整を許容する最小の平均値である最小許容重力平均値Ａ１よりも大きく、上記重力調整平均データが重力の調整を許容する最大の平均値である最大許容重力平均値Ａ２よりも小さいか否か判定する（Ｓ５０１４）。上記重力調整平均データの値がＡ１よりも大きく、Ａ２よりも小さい場合には、当該重力調整平均データの値を調整後の重力とみなす。一方、上記重力調整平均データの値が、Ａ１以下もしくはＡ２以上である場合には、センサデータ演算部１３６は重力の値を更新しない（Ｓ５０１６）。
【００９９】
次に、低領域除去部１４０が、上記重力調整平均データについて重力であると誤認識されうる低領域を除去する（Ｓ５０１８）。低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。その結果、低領域除去部１４０は、補正重力調整平均データを算出する。
【０１００】
次に、センサデータ演算部１３６は、上記重力方向加速度センサデータと上記補正重力調整平均データとの差分を算出する（Ｓ５０２０）。つまり、ユーザの行動によって重力の変化があるのか否かによって、エレベータに乗っているのか否かを判定する。次に、低領域除去部１４０が、上記差分についてユーザがエレベータに乗っていると誤認識されうる周波数領域を除去して、上記ユーザがエレベータに乗っているか否かを判定するエレベータ昇降判定データを算出する。上記の除去される周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。
【０１０１】
次に、エレベータ搭乗判定部１３０が、エレベータ昇降判定データをセンサデータ処理部１２０から取得する。エレベータ搭乗判定部１３０は、エレベータ昇降判定データが所定値Ｄ６よりも大きいのかそれとも小さいのかといった判定（Ｓ５０２４）と、所定値Ｄ７よりも大きいのかそれとも小さいのかといった判定（Ｓ５０３２）を行う。所定値Ｄ６とは、ユーザがエレベータで上昇を始めたことを認識するための下限値であり、Ｄαの一例である。所定値Ｄ７とは、ユーザがエレベータで下降を始めたことを認識するための上限値であり、Ｄβの一例である。より具体的に説明すると、エレベータ搭乗判定部１３０は、当該エレベータ昇降判定データが最初は所定値Ｄ６よりも大きく、次に所定値Ｄ７よりも小さくなる場合には、ユーザがエレベータで上昇していたと判定する。そして、ユーザがエレベータで上昇していたという行動情報を生成する（Ｓ５０２４、Ｓ５０２６、Ｓ５０２８、Ｓ５０３２、Ｓ５０３４、Ｓ５０３８）。また、エレベータ搭乗判定部１３０は、当該エレベータ昇降判定データが最初は所定値Ｄ７よりも大きく、次に所定値Ｄ６よりも小さくなる場合には、ユーザがエレベータで下降していたと判定する。そして、ユーザがエレベータで下降していたという行動情報を生成する（Ｓ５０２４、Ｓ５０２６、Ｓ５０３０、Ｓ５０３２、Ｓ５０３４、Ｓ５０３６）。上記のような方法によれば、例えばエレベータで上昇し始めた状況と、その後の状況についての加速度センサデータに基づいてユーザの行動を認識するので、エレベータ搭乗中のユーザが何かしらの行動を取ることによる誤認識を防げる。
【０１０２】
更に、エレベータ昇降判定データが所定値Ｄ６以下であり、所定値Ｄ７以上であるかについても、エレベータ搭乗判定部１３０は、ユーザの行動を判定する（Ｓ５０４０）。ユーザがエレベータに乗っている場合には、エレベータが加速及び減速の状態にはないという行動情報を生成する（Ｓ５０４２）。すなわち、当該行動情報により、エレベータが停止もしくは等速度運動している状態にあることが分かる。また、ユーザがエレベータに乗っていない場合には、エレベータに乗っていないという行動情報を生成する（Ｓ５０４４）。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザがエレベータに乗って、上昇しているのか下降しているのかを精度良く認識することができる。すなわち、ユーザの上下方向の加速又は減速を検出することで、エレベータに搭乗しているのか否かを認識することができる。
【０１０３】
（５−７．電車に乗っているのか否かの認識方法）
次に、図１６を参照しながら、ユーザが電車に乗っているのか否かを認識する方法について説明する。図１６は、行動認識部１１２が、ユーザが電車に乗っているのか否かを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。このように、ユーザが電車乗っているのか否かを認識するために、まず、行動判定部１１８のうち電車搭乗判定部１３２が、センサデータ処理部１２０に電車に乗っているのか否かを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【０１０４】
次に、低領域除去部１４０は、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃを基に、ユーザが電車に乗っていると誤認識されうる周波数領域を除去する（Ｓ６０００）。低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。次に、センサデータ演算部１３６が、上記周波数領域が除去されたｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃに基づいて、水平方向加速度センサデータ、及び垂直方向加速度センサデータを算出する（Ｓ６００２、Ｓ６００４）。ここで、水平方向とは、電車の走っている地面に対して平行な方向である。また、垂直方向とは、上記水平方向に対して垂直な方向を指す。
【０１０５】
次に、センサデータ記憶部１４２は、上記の水平方向加速度センサデータ、及び垂直方向加速度センサデータを所定のデータ分だけＦＩＦＯ形式で記録する（Ｓ６００６、Ｓ６００８）。ここで、所定のデータは、例えば、情報処理装置１００に設定された時間分だけのデータと設定されていてもよいし、ユーザが設定した時間分だけのデータであってもよい。上記のようにＦＩＦＯ形式で記録された水平方向加速度センサデータについて、センサデータ演算部１３６は水平方向分散値（ｈ−ｖａｒ）を算出する（Ｓ６０１０）。また、上記のようにＦＩＦＯ形式で記録された垂直方向加速度センサデータについて、センサデータ演算部１３６は垂直方向分散値（ｖ−ｖａｒ）を算出する（Ｓ６０１２）。水平方向分散値（ｈ−ｖａｒ）は、電車の走行時の水平方向の揺れ、振動の度合いを表現したものとなる。また、垂直方向分散値（ｖ−ｖａｒ）は、電車の走行時の垂直方向の揺れ、振動の度合いを表現したものとなる。
【０１０６】
更に、上記の垂直方向分散値（ｖ−ｖａｒ）が、最小の許容される垂直方向分散値である最小許容垂直分散値Ｖ１より大きく、かつ最大の許容される垂直方向分散値である最大許容垂直分散値Ｖ２より小さいかについて判定する（Ｓ６０１４）。上記の垂直方向分散値（ｖ−ｖａｒ）が、上記Ｖ１以下である場合、もしくは上記Ｖ２以上である場合には、センサデータ演算部１３６は、以下に述べる電車搭乗判定データ（ｄｅｔ）をゼロとする。すなわち、上記の垂直方向分散値（ｖ−ｖａｒ）が、上記Ｖ１以下である場合、もしくは上記Ｖ２以上である場合には、垂直方向分散値は、電車の走行時の揺れ、振動の度合いを表現するには適切ではないと判断されるため、センサデータ演算部１３６が電車搭乗判定データ（ｄｅｔ）をゼロと補正する。また、Ｖ１、Ｖ２については、例えば、情報処理装置１００に設定された値である。
【０１０７】
次に、センサデータ演算部１３６は、垂直方向分散値と水平方向分散値の何れが小さいかを判定する（Ｓ６０１６）。垂直方向分散値（ｖ−ｖａｒ）の方が小さい場合、センサデータ演算部１３６は、垂直方向分散値（ｖ−ｖａｒ）の所定分だけの積分値を算出する（Ｓ６０１８）。上記所定分については、例えば、情報処理装置１００に設定された分であってもよいし、ユーザが設定した分であってもよい。また、水平方向分散値（ｈ−ｖａｒ）の方が小さい場合、センサデータ演算部１３６は、水平方向分散値（ｈ−ｖａｒ）の所定分だけの積分値を算出する（Ｓ６０２０）。上記所定分については、例えば、情報処理装置１００に設定された分であってもよいし、ユーザが設定した分であってもよい。上記の積分により、センサデータ演算部１３６は、ユーザが電車に乗っているか否かを判定する電車搭乗判定データ（ｄｅｔ）を算出する。また、上述のように、上記の垂直方向分散値（ｖ−ｖａｒ）が、上記Ｖ１以下である場合、もしくは上記Ｖ２以上である場合には、センサデータ演算部１３６は、以下に述べる電車搭乗判定データ（ｄｅｔ）をゼロとする（Ｓ６０２８）。
【０１０８】
次に電車搭乗判定部１３２が、電車搭乗判定データをセンサデータ処理部１２０から取得する。電車搭乗判定部１３２は、電車搭乗判定データが、ユーザが電車に搭乗していると認識するための下限値である最小電車搭乗認識値Ｄ８よりも大きいか否かを判定する（Ｓ６０２２）。電車搭乗判定データが、Ｄ８よりも大きい場合には、電車搭乗判定部１３２は、ユーザが電車に乗っていると判定する。その場合には、電車搭乗判定部１３２は、ユーザが電車に搭乗しているという行動情報を生成する（Ｓ６０２４）。一方、電車搭乗判定データが、Ｄ８以下である場合には、電車搭乗判定部１３２は、ユーザが電車に乗っていないと判定する（Ｓ６０２６）。その場合には、電車搭乗判定部１３２は、ユーザが電車に搭乗していないという行動情報を生成する（Ｓ６０２６）。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザが電車に乗っているのか否かを精度良く認識することができる。
【０１０９】
なお、上述してきたような電車に乗っているのか否かの認識について、情報処理装置１００は、エレベータに乗っているのか否かを認識する方法と同様に、電車の加速状態から減速状態までを着目することができる。すなわち、電車に搭乗していて、電車が駅に停車している場合、認識結果として、後述するように「ｆａｌｓｅ」のフラグが立てられる。つまり、電車が停車した場合、もしくは、電車が駅に着いてユーザが電車から降りて歩き始めた場合には、電車搭乗判定部１３２は、電車に乗っていないと判定する。かかる場合、後述するように、行動情報後処理部１１６は、所定の後処理を行う。すなわち、電車の加速状態から減速状態に基づいて、所定の条件を満たした場合には電車に乗っていた、もしくは、電車に乗っていると後処理する。
【０１１０】
（５−８．右折もしくは左折しているのかの認識方法）
次に、図１７を参照しながら、ユーザが右折もしくは左折しているのかを認識する方法について説明する。図１７は、行動認識部１１２が、ユーザが右折もしくは左折しているのかを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。このように、ユーザが右折もしくは左折しているのかを認識するために、まず、行動判定部１１８のうち右折・左折判定部１３４が、センサデータ処理部１２０に電車に乗っているのか否かを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【０１１１】
次に、低領域除去部１４０は、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃを基に、ユーザが右折もしくは左折していると誤認識されうる周波数領域を除去する（Ｓ７０００）。低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される周波数領域は、ユーザが設定してもよいし、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。
【０１１２】
センサデータ演算部１３６が、上記周波数領域が除去されたｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃと、ｘ−ｇｙｒｏ、ｙ−ｇｙｒｏ、及びｚ−ｇｒｙｏと、に基づいて重力方向の角速度を算出する（Ｓ７００２）。次に、特定領域除去部１３８が、上記角速度について、ユーザが右折もしくは左折していると認識される曲がり認識領域の範囲外の値を除去して、補正角速度（ｄｅｔ）を算出する（Ｓ７００４）。特定領域除去部１３８は、バンドパスフィルター（ＢＰＦ）としての機能を行うことができる。また、上記の曲がり認識領域は、ユーザが設定してもよいし、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。
【０１１３】
次に右折・左折判定部１３４が、補正角速度をセンサデータ処理部１２０から取得する。右折・左折判定部１３４は、補正角速度がユーザは右折していると認識するための上限値である最大右折認識値Ｄ９よりも小さいか否かを判定する（Ｓ７００６）。補正角速度がＤ９よりも小さい場合、右折・左折判定部１３４が、ユーザは右折しているという行動情報を生成する（Ｓ７００８）。一方、補正角速度がＤ９以上である場合であって、ユーザが左折していると認識するための下限値である最小左折認識値Ｄ１０よりも大きい場合には、右折・左折判定部１３４は、ユーザは左折していると判定する（Ｓ７０１０）。補正角速度がＤ１０よりも大きい場合、右折・左折判定部１３４は、ユーザは左折しているという行動情報を生成する（Ｓ７０１２）。更に、補正角速度がＤ９以上であって、Ｄ１０以下である場合には、右折も左折もしていないという行動情報を生成する（Ｓ７０１４）。ここで、本実施形態においてＤ９は、負の値を有し、Ｄ１０は、正の値を有する。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザが右折しているのか、もしくは左折しているのかを精度良く認識することができる。
【０１１４】
（５−９．行動情報後処理方法について）
次に、行動情報後処理機能について、図１８〜図２０を参照しながら説明する。図１８は、行動情報が行動管理部１１４によって管理された後に、行動情報後処理部１１６によって行動の認識結果が判定され、ラベル化された状態を示した概念図である。矢印２３０はＦＩＦＯの走査方向を指している。行動管理部１１４は、行動情報を当該行動情報に対応する行動がなされた時刻と関連付けて管理している。そして、行動情報後処理部１１６は、所定のサンプリングレート毎に、行動が行われたことを示す「ｔｒｕｅ」か、行動が行われなかった「ｆａｌｓｅ」のフラグが立てられる。上記所定のサンプリングレートは例えば、３２Ｈｚが挙げられる。
【０１１５】
行動情報後処理部１１６は、上記フラグの内容を元の内容とは異なる内容に変更する再処理を行うことができる。例えば、行動情報後処理部１１６が有する、排他行動情報再処理部１４４は、ユーザが同時に２つ以上の行動を取ることはできない排他的特性に基づいて各行動に関する単位時間毎の行動情報を再処理する。そして、排他行動情報再処理部１４４は、フラグの内容を元の内容とは異なる内容に変更することができる。上記排他的特性について更に詳細に説明する。以下の表１に示すように、例えば、歩行と、走行と、跳躍とをユーザは同時に行うことはできない。しかし、上述してきたような行動認識部１１２による行動情報の生成過程では、歩行と、走行と、走行とがユーザによって同時に行われると判定されうる。そこで、排他行動情報再処理部１４４は、このような排他的な関係にある行動について、単位時間ごとの行動情報を再処理する。表１に示すように、排他関係が共にＡと表記されている「静止している」状態と、「一時停止している」状態は、排他関係にある。すなわち、これらの行動状態は同時に起こりえない。また、排他関係が共にＢと表記されている「歩行している」状態と、「走行している」状態と、「跳躍している」状態とは、排他関係にある。すなわち、これらの行動状態は同時に起こりえない。また、排他関係が共にＣと表記されている「座っている」状態と、「立っている」状態とは、排他関係にある。すなわち、これらの行動状態は同時に起こりえない。また、排他関係が共にＤと表記されている「エレベータに上昇している」状態と、「エレベータで下降している」状態と、「電車に乗っている」状態とは、排他関係にある。すなわち、これらの行動状態は同時に起こりえない。また、排他関係が共にＥと表記されている「右折している」状態と、「左折している」状態とは、排他関係にある。すなわち、これらの行動状態は同時に起こりえない。排他行動情報再処理部１４４が、この場合、どちらの行動状態を選択するのかについては、例えば、行動管理部１１４に管理されているユーザの過去の行動情報に基づいて、前後の行動との関係において、どちらの行動状態を選択しやすいかを統計的に処理してもよい。また、その他の選択方法であってもよい。選択されなかった行動情報については、排他行動情報再処理部１４４が排除する。排他行動情報再処理部１４４が、行動はなかったものとする行動情報を作成してもよい。何れにしても、排他行動情報再処理部１４４は、符号２３２にあるように上記フラグの「ｔｒｕｅ」と表示されていた部分を「ｆａｌｓｅ」と表示し直す。
【０１１６】
【表１】
【０１１７】
また、図１９は、センサデータに対して、行動認識部１１２による処理によって得られる行動情報では、当該処理のため時間遅れが生じていることを示している。例えば、時刻ｔｎで処理された行動は、実際にはｔｎ’で行われたものである。行動情報後処理部１１６は、行動情報実時間調整部１４８を有する。行動情報実時間調整部１４８が行動毎のこの時間遅れを認識していて、ｔｎを、ｔｎ’に補正することで、行動毎の正確な認識時刻に直すことができる。
【０１１８】
また、行動情報後処理部１１６は、誤認識行動情報再処理部１４６も有する。誤認識行動情報再処理部１４６は、ある行動について、当該行動の所要時間が極端に短すぎる場合には、上記行動に関する行動情報はノイズであって、実際には行動が行われていなかったものと処理する。例えば、行動認識部１１２によって、ユーザが「走行している」という行動情報を生成した場合であっても、走行に要した時間が極端に短かった場合には、誤認識行動情報再処理部１４６は、上記行動情報をノイズとみなす再処理をする。また、誤認識行動情報再処理部１４６は、本来起こりえない行動に関する行動情報であるものについては、実際には行動が行われていなかったものと処理する。例えば、行動認識部１１２によって、ユーザが「座っている」状態において、「歩行している」状態が認識されたら、「座っている」のではなくて「立っている」と判定し直す。このように、誤認識行動情報再処理部１４６は、各行動に関する行動情報が、各行動を取るのに必要となる行動情報必要条件を満たしていない場合には上記行動に関する行動情報を修正する。
【０１１９】
次に、図２０は、ＦＩＦＯに格納されている２つの行動情報の認識結果について、現在時刻（ｔｃｕｒｒｅｎｔ）に対する指定時間（ｔｔｉｍｅ−ｄｅｌａｙ）前の時刻（ｔｐｏｉｎｔ−ｏｆ−ｉｎｔｅｒｅｓｔ）における行動の有無を行動管理部１１４が取得する様子を概念的に示したものである。図２０に示すように、例えばｔｎの存在する位置が時間軸に対して、行動Ａと行動Ｂで異なってくる。より具体的には、図１８を参照しながら説明してきた処理や図１９を参照しながら説明した処理を、行動情報後処理部１１６が行った後、ＦＩＦＯには、図２０に示すような状態で各行動情報が記録される。このように各行動情報が記録されていて、過去の各行動情報について時間調整がなされているので、行動管理部１１４は、例えばデータ制御部１５０に容易に過去の行動情報を送信することができる。
【０１２０】
＜６．第１の実施形態の変形例について＞
次に、図２１〜図２３を参照しながら、本発明の第１の実施形態の変形例について説明する。なお、情報処理装置１０１による情報処理方法の概要については、図４〜図８を参照しながら説明したような情報処理装置１００による情報処理方法の概要と実質的に同一であるので、かかる内容については説明を省略する。
【０１２１】
まず、図２１を参照しながら、同変形例に係る情報処理装置１０１の機能構成について説明する。図２１は、同変形例に係る情報処理装置１０１の機能構成例を示す説明図である。
【０１２２】
情報処理装置１０１は、センサデータ作成部１１０と、行動認識部１１２と、行動管理部１１４と、行動情報後処理部１１７と、データ制御部１５０と、記憶部１５２と、表示制御部１５４と、表示画面１６０とを有する。行動判定部１１８は、静止状態判定部１２２と、歩行・走行状態判定部１２４と、跳躍状態判定部１２６と、姿勢変化判定部１２８と、エレベータ搭乗判定部１３０と、電車搭乗判定部１３２と、右折・左折判定部１３４とを有する。センサデータ処理部１２０は、センサデータ演算部１３６と、特定領域除去部１３８と、低領域除去部１４０と、センサデータ記憶部１４２とを有する。行動情報後処理部１１７は、排他行動情報再処理部１４４と、誤認識行動情報再処理部１４６と、行動情報実時間調整部１４８と、行動間比較再処理部１４９とを有する。
【０１２３】
情報処理装置１０１において、センサデータ作成部１１０、行動認識部１１２、及び行動管理部１１４については、第１の実施形態に係る情報処理装置１００のセンサデータ作成部１１０、行動認識部１１２、及び行動管理部１１４と実質的に同一である。また、データ制御部１５０、記憶部１５２、表示制御部１５４、及び表示画面１６０についても、情報処理装置１００のデータ制御部１５０、記憶部１５２、表示制御部１５４、及び表示画面１６０と実質的に同一である。また、排他行動情報再計算部１４４、誤認識行動情報再計算部１４６、及び行動情報実時間調整部１４８についても、情報処理装置１００の排他行動情報再計算部１４４、誤認識行動情報再計算部１４６、及び行動情報実時間調整部１４８と実質的に同一である。そのため、本実施形態では、行動情報後処理部１１７の行動間比較再処理部１４９について中心に説明し、上記第１の実施形態と同様の構成についての説明は省略する。
【０１２４】
行動情報後処理部１１７は、行動管理部１１４により入力された行動情報に対して所定の後処理を行う。本変形例では、行動間比較再処理部１４９が上記後処理の一部を行う。行動間比較再処理部１４９は、所定時間内に行われた行動について、類似しているか否かに関する類似行動情報に基づいて、類似していると判定した所定の２つ以上の上記行動についての夫々の上記行動情報の合計時間を比較する。更に、行動間比較再処理部１４９は、合計時間が最も長い行動情報を前記所定時間の行動情報として選択する。上記の類似行動情報は、各行動夫々が互いに類似しているか否かを表す情報のことであり、例えば、センサデータ記憶部１４２や他のデータベース等に記憶されている。
【０１２５】
行動間比較再処理部１４９による処理について、より具体的に、図２２に示す例を参照しながら説明する。図２２は、同変形例についての情報処理方法の一例を示す説明図である。
【０１２６】
まず、図２２の（ａ）に示すように、行動認識部による処理によって、所定時間において、そのうちの前半に自動車に搭乗していたと判定され、後半にバスに搭乗していたと判定された場合を例に説明する。この例では、上記所定時間は５０秒とする。この場合、まず、行動間比較再処理部１４９は、類似行動情報に基づいて、自動車に搭乗するという行動とバスに搭乗するという行動とが類似しているか否かについて判定し、かかる２つの行動は類似していると判定する。そして、（ａ）に示す例では、自動車に搭乗していた時間は３メモリ分（１５秒間）であり、バスに搭乗していた時間は７メモリ分（３５秒間）である。すなわち、自動車に搭乗していた時間よりもバスに搭乗していた時間が長いことから、行動間比較再処理部１４９は、所定時間内において、バスの搭乗のみが行われていたものと処理をする。
【０１２７】
次に、図２２の（ｂ）に示すように、行動認識部による処理によって、所定時間において、自動車、バス、自動車、バス、自動車の順に搭乗していたと判定された場合を例に説明する。この場合も、まず、行動間比較再処理部１４９は、類似行動情報に基づいて、自動車に搭乗するという行動とバスに搭乗するという行動とが類似しているか否かについて判定し、かかる２つの行動は類似していると判定する。そして、（ｂ）に示す例では、自動車に搭乗していた時間は、１メモリ分が３箇所あることから合計で３メモリ分（１５秒間）であり、バスに搭乗していた時間は、３メモリ分と４メモリ分とが１箇所ずつあることから合計で７メモリ分（３５秒間）である。すなわち、自動車に搭乗していた合計時間よりもバスに搭乗していた合計時間が長いことから、行動間比較再処理部１４９は、所定時間内において、バスの搭乗のみが行われていたものと処理をする。
【０１２８】
次に、図２２の（ｃ）に示すように、行動認識部による処理によって、所定時間において、自動車、電車、バスの順に搭乗していたと判定された場合を例に説明する。このように、３つの乗物についての搭乗が認識された場合にも、まず、行動間比較再処理部１４９は、類似行動情報に基づいて、夫々の乗物に搭乗するという行動が類似しているか否かについて判定し、かかる３つの行動は類似していると判定する。そして、（ｃ）に示す例では、自動車に搭乗していた時間は、２メモリ分（１０秒間）であり、電車に搭乗していた時間は６メモリ分（３０秒間）であり、バスに搭乗していた時間は２メモリ分（１０秒間）である。すなわち、電車に搭乗していたと判定された時間が最も長いことから、行動間比較再処理部１４９は、所定時間内において、電車の搭乗のみが行われていたものと処理をする。
【０１２９】
図２２に示した例は、自動車等に搭乗していたと判定された場合のものであり、後述する第２の実施形態に係る乗物搭乗判定部５３２による行動認識結果に対するものを例に説明したが、行動間比較再処理部１４９による処理はかかる例に限定されない。すなわち、自動車、バス、及び電車のように、上記類似行動情報に基づいて類似していると判定される２つ以上の行動であればいずれのものでもよい。
【０１３０】
このように、５０秒程度の短時間で、自動車、バス、及び電車といった複数の乗物に搭乗することは現実的に想定し難いが、行動間比較再処理部１４９が上述したような後処理を行うことで、行動認識結果が現実のユーザの行動をより精度良く反映したものとなる。なお、所定時間は、上述の例では５０秒としたが、かかる例に限定されない。また、上記所定時間は、予め設定されていてもよいし、ユーザが設定してもよい。通常、車、バス、電車等の乗物に搭乗する時間は、短くても数分である。つまり、上記の所定時間は、実際に乗物に搭乗している時間よりも短い。そのため、行動間比較再処理部１４９が後処理をする時間は、実際にユーザが乗物に搭乗している時間と比較すると誤差の範囲に相当するものであり、上述のように行動間比較再処理部１４９が後処理をしても、行動認識結果の精度を悪くするものではない。
【０１３１】
次に、図２３を参照しながら、行動認識方法及び行動情報後処理方法の流れについて、図２３を参照しながら説明する。図２３は、同変形例に係る行動認識方法及び行動情報後処理方法の流れを示す説明図である。同変形例において、ステップＳ１００、１０２、１０４、１０６、及び１０８で行われる処理方法は、図９を参照しながら説明した本発明の第１の実施形態に係る行動認識方法及び行動情報後処理方法の流れにおけるステップＳ１００、１０２、１０４、１０６、及び１０８で行われる処理方法と実質的に同一である。そのため、本変形例では、ステップＳ１１１で行われる処理方法について中心に説明し、上記第１の実施形態と同様の処理方法についての説明は省略する。
【０１３２】
ステップＳ１１１では、ステップＳ１００〜Ｓ１０８で行われる処理により得られた行動認識結果に対して、行動情報後処理部１１７が後処理を行う。上記後処理としては、例えば、行動情報後処理部１１６の排他行動情報再計算部１４４が、排他行動の整合性を確保する処理を行うことが挙げられる。また、行動情報後処理部１１６の誤認識行動情報再計算部１４６が、経験則に基づいて誤認識を回避する処理を行うことも挙げられる。また、行動情報後処理部１１６の行動情報実時間調整部１４８が、デジタルフィルタの時間遅れを調整する処理を行うことも挙げられる。行動情報後処理部１１６の行動間比較再処理部１４９が、多数決により信頼性を向上させるための処理を行うことも挙げられる。かかる多数決による処理とは、図２２を参照しながら説明したように、所定時間における２つ以上の行動の行動情報に関する所定の評価値を比較して、大きい方の上記評価値を有する行動情報に対応する行動が、上記所定時間に行われていたと処理することを指す。例えば、行動間比較再処理部１４９は、ラベル化された行動認識結果について、ある一定時間内における夫々の行動の合計時間を算出して、その中で最も長い時間のものを有効として、それ以外を無効として扱う。上記の行動情報後処理部１１７の後処理については、図１８〜図２２を参照しながら説明したため、ここでは詳細な説明は省略するが、これらの後処理が行われることにより、情報処理装置１０１によって算出された行動認識結果の信頼性がより向上する。
【０１３３】
＜７．本発明の第２の実施形態に係る情報処理装置５００の機能構成＞
次に、図２４を参照しながら、本発明の第２の実施形態に係る情報処理装置５００の機能構成について説明する。図２４は、本発明の第２の実施形態に係る情報処理装置５００の機能構成例を示す説明図である。情報処理装置５００は、ユーザの行動に依存したセンサデータの特徴ベクトルの算出機能、識別関数の演算機能及び閾値の判定機能を特徴の一つとして有する。
【０１３４】
情報処理装置５００は、センサデータ作成部１１０と、行動認識部５１２と、行動管理部１１４と、行動情報後処理部１１７と、データ制御部１５０と、記憶部１５２と、表示制御部１５４と、表示画面１６０とを有する。行動認識部５１２は、行動判定部５１８と、センサデータ処理部５２０とを有する。センサデータ処理部５２０は、センサデータ演算部５３６と、センサデータ記憶部１４２とを有する。行動情報後処理部１１７は、排他行動情報再処理部１４４と、誤認識行動情報再処理部１４６と、行動情報実時間調整部１４８と、行動間比較再処理部１４９とを有する。行動判定部５１８は、静止状態判定部１２２と、歩行・走行状態判定部１２４と、跳躍状態判定部１２６と、姿勢変化判定部１２８と、エレベータ搭乗判定部１３０と、乗物搭乗判定部５３２と、右折・左折判定部１３４とを有する。センサデータ処理部１２０は、センサデータ演算部５３６と、特定領域除去部１３８と、低領域除去部１４０と、センサデータ記憶部１４２とを有する。
【０１３５】
情報処理装置５００において、センサデータ作成部１１０、行動管理部１１４、及びデータ制御部１５０については、第１の実施形態に係る情報処理装置１００のセンサデータ作成部１１０、行動管理部１１４、及びデータ制御部１５０と実質的に同一である。また、行動情報後処理部１１７については、第１の実施形態の変形例に係る情報処理装置１０１の行動情報後処理部１１７と実質的に同一である。また、記憶部１５２、表示制御部１５４、及び表示画面１６０についても、第１の実施形態に係る情報処理装置１００の記憶部１５２、表示制御部１５４、及び表示画面１６０と実質的に同一である。また、静止状態判定部１２２及び歩行・走行状態判定部１２４についても、情報処理装置１００の静止状態判定部１２２及び歩行・走行状態判定部１２４と実質的に同一である。また、跳躍状態判定部１２６及び姿勢変化判定部１２８についても、情報処理装置１００の跳躍状態判定部１２６及び姿勢変化判定部１２８と実質的に同一である。また、エレベータ搭乗判定部１３０及び右折・左折判定部１３４についても、第１の実施形態に係る情報処理装置１００のエレベータ搭乗判定部１３０及び右折・左折判定部１３４と実質的に同一である。そのため、本実施形態では、行動認識部５１２の乗物搭乗判定部５１８及びセンサデータ処理部５２０のセンサデータ演算部５３６について中心に説明し、上記第１の実施形態及びその変形例と同様の構成についての説明は省略する。
【０１３６】
行動認識部５１２は、センサデータ作成部１１０からセンサデータを取得する。行動認識部５１２は、当該センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する。行動認識部５１２は、センサデータ演算部５３６を含むセンサデータ処理部５２０を有する。センサデータ演算部５３６は、センサデータの一例である加速度センサデータに基づいて特徴ベクトルを算出する。そして、センサデータ演算部５３６は、上記特徴ベクトルを乗物の種類毎に設定された識別関数に代入して、当該識別関数の値を算出する。行動認識部５１２は、ユーザが所定の乗物へ搭乗したか否かについての判定を行う乗物搭乗判定部５１８を更に有し、乗物搭乗判定部５１８の判定結果に基づいて行動情報を生成する。乗物搭乗判定部５１８は、センサデータ演算部５３６により算出された上記識別関数の値が、当該識別関数に対応する乗物に乗っていることを認識する際に用いられる乗物搭乗認識値より大きいか否か判定する。
【０１３７】
上記の特徴ベクトルには、例えば、センサデータから生成される、垂直方向又は水平方向の平均値、分散値、及び周波数等といった、夫々の乗物への搭乗を表すための必要な物理量が含まれる。上記識別関数は、統計的に有意な数のデータに基づいて、一般的な機械学習の手段に則って、夫々の乗物毎に予め設定されている。当該データとは、決まった乗物に乗っている際の実測の特徴ベクトルである。なお、上記識別関数は、予めセンサデータ記憶部１４２に記憶されているが、ユーザ入力により更新されてもよい。上記の乗物は、限定されるものではないが、例えば、電車、自動車、バス、及び自転車等が挙げられる。
【０１３８】
このように、情報処理装置５００では、センサデータ記憶部１４２に乗物毎に識別関数が設定されており、デジタルフィルタの設計に対して、識別関数の設計は簡易であるため、装置の大型化等の懸念なく、判定する乗物の種類を増加することができる。例えば、以下の表２に示すように、加速度センサに基づいて、星印を付した複数の乗物の夫々に搭乗しているか否かを容易に判定することができる。また、乗物搭乗判定部５３２は、夫々の乗物に特化した識別関数に基づいて乗物に搭乗しているか否かを判定するため、ユーザが搭乗する乗物の加速度の変化が大きくなくても、夫々の乗物に搭乗しているか否かをより精度良く判定することができる。また、特徴ベクトルの算出方法は、夫々の乗物で共通しており、識別関数の設定のみが乗物毎で異なるため、より単純な方法でユーザが乗物に搭乗しているか否かについて判定することができる。更に、識別関数については、予め設定されたものを、ユーザが事後的に学習させ更新することもできるので、例えば、時代の変遷に伴う乗物の動きの変化に応じて、識別関数を更新することが可能となる。更に、行動間比較再処理部１４９等の行動情報後処理部１１６が後処理を行うことで、数十秒程度の短い時間で、複数の乗物に何度も乗り換えるという行動認識結果が生成しまう懸念もなく、精度の良い行動認識結果を得ることができる。
【０１３９】
【表２】
【０１４０】
＜８．情報処理装置５００による情報処理方法の応用例＞
次に、図２５及び図２６を参照しながら、情報処理方法の応用例について説明する。なお、情報処理装置５００による情報処理方法の概要については、情報処理装置１００による情報処理方法の概要で説明したものと実質的に同一であるので、かかる内容については説明を省略する。
【０１４１】
（８−１．行動認識機能及び行動情報後処理機能について）
図２５は、情報処理装置５００の情報処理方法の流れを示す説明図である。図２５のステップＳ１０２、１０４、１０６、及び１０８で行われる処理方法は、図９を参照しながら説明したステップＳ１０２、１０４、１０６、及び１０８で行われる処理方法と実質的に同一である。また、ステップＳ１１１で行われる処理方法は、図２３を参照しながら説明したステップＳ１１１で行われる処理方法と実質的に同じである。そのため、ここでは、ステップＳ２００で行われる処理について中心に説明し、図９及び図２３で説明したものと同様の処理についての説明は省略する。また、図１０を参照しながら説明した過去の時刻ｔｎ−ｄの認識結果を取得する機能については、本実施形態においても実質的に同様の機能が実行されるので、ここではその説明は省略する。
【０１４２】
ステップＳ２００では、行動認識部５１２は、入力信号としてセンサデータ作成部１１０が作成したセンサデータに対して、特徴ベクトルを算出し、乗物の種類毎に設定されている識別関数により、当該識別関数の値を出力する。ステップＳ２００で行われる処理については、図２６を参照しながら以下で詳細に説明する。
【０１４３】
（８−２．乗物に搭乗しているのか否かについての認識方法）
次に、図２６を参照しながら、ユーザが乗物に搭乗しているのか否かについて認識する方法について説明する。図２６は、行動認識部５１２により、ユーザが乗物に搭乗しているか否かを認識する方法についての流れを示した説明図である。
【０１４４】
まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に、行動認識部５１２が、上記センサデータをセンサデータ作成部１１０から取得する。ユーザが乗物に乗っているか否かを認識するために、まず、乗物搭乗判定部５１８が、センサデータ処理部５２０に乗物に乗っているか否かを認識するための信号を送信する。また、センサデータ処理部５２０は、センサデータ作成部１１０からセンサデータを取得する。
【０１４５】
センサデータ演算部５３６は、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃに関する特徴ベクトルを算出する（Ｓ８０００）。特徴ベクトルには、例えば、センサデータに由来する、垂直方向又は水平方向の平均値、分散値、周波数等の複数の特徴量が含まれる。この特徴ベクトルは、ユーザが搭乗している乗物の種類によらず、同じ方法で算出されてよい。
【０１４６】
次に、センサデータ演算部５３６は、特徴ベクトルをセンサデータ記憶部１４２から取得した識別関数に代入して、当該識別関数の値を出力する（Ｓ８００２）。ここで、所定の識別関数は、乗物の種類毎に設定され、非線形式又は線形式の関数である。上記識別関数は、予めセンサデータ記憶部１４２に記憶されているものであってもよいし、ユーザ入力により更新されてもよい。また、上記の乗物としては、例えば、電車、自動車、バス、及び自転車等が挙げられる。
【０１４７】
次に、乗物搭乗判定部５１８により、出力された前記識別関数の値が、当該識別関数に関する乗物に乗っていると判定して、前記乗物に乗っていることを認識するための乗物搭乗認識値Ｄ１１より大きいか否かを判定する。（Ｓ８００４）。上記の乗物搭乗認識値Ｄ１１は、乗物の種類によって異なっていてよい。
【０１４８】
次に、上記識別関数の値が上記乗物搭乗認識値Ｄ１１より大きい場合には、乗物搭乗判定部５１８は、ユーザが所定の乗物に乗っているという行動情報を生成する（Ｓ８００６）。例えば、上記の処理が、ユーザが電車に乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザが電車に乗っているという行動情報を生成する。また、例えば、上記の処理が、ユーザがバスに乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザがバスに乗っているという行動情報を生成する。また、例えば、上記の処理が、ユーザが自動車に乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザが自動車に乗っているという行動情報を生成する。また、例えば、上記の処理が、ユーザが自転車に乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザが自転車に乗っているという行動情報を生成する。
【０１４９】
上記の夫々の乗物毎のユーザが搭乗しているか否かの判定は、同時に行われてもよい。それにより例えば、５０秒程度の短時間で、ユーザが自動車及びバスに乗っているという行動認識結果が得られる場合もある。しかし、この場合には、例えば、図２１〜図２３を参照しながら説明したように、行動間比較再処理部１４９が、自動車及びバスのうちの長く乗っていたと判断される方の乗物にのみ上記時間に搭乗していたと再処理をする。行動間比較再処理部１４９がこのような後処理を行うか否かについては、予め情報処理装置５００に設定されていてもよいし、ユーザ操作により入力されてもよい。
【０１５０】
一方、上記識別関数の値が上記乗物搭乗認識値Ｄ１１以下である場合には、乗物搭乗判定部５１８は、ユーザが所定の乗物に乗っていないという行動情報を生成する（Ｓ８００８）。例えば、上記の処理が、ユーザが電車に乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザが電車に乗っていないという行動情報を生成する。また、例えば、上記の処理が、ユーザがバスに乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザがバスに乗っていないという行動情報を生成する。また、例えば、上記の処理が、ユーザが自動車に乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザが自動車に乗っていないという行動情報を生成する。また、例えば、上記の処理が、ユーザが自転車に乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザが自転車に乗っていないという行動情報を生成する。
【０１５１】
＜９．情報処理装置１００、５００のハードウェア構成例＞
上記装置が有する各構成要素の機能は、例えば、図２１に示すハードウェア構成を有する情報処理装置により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図２１は、上記装置の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。この情報処理装置の形態は任意である。例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯情報端末、ゲーム機、又は各種情報家電等の形態がこれに含まれる。
【０１５２】
図２１に示すように、上記の情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４とにより構成される。また、上記の情報処理装置はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４とにより構成される。さらに上記の情報処理装置は入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。
【０１５３】
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。
【０１５４】
入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。
【０１５５】
出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のディスプレイ装置が挙げられる。又、出力部９１８は、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置が挙げられる。又、出力部９１８は、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【０１５６】
記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。
【０１５７】
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）、又は電子機器等であってもよい。
【０１５８】
接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、等のような外部接続機器９３０を接続するためのポートである。又、接続ポート９２４は、例えば、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１５９】
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードである。又、通信部９２６は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。
【０１６０】
＜１０．まとめ＞
最後に、各実施形態の情報処理装置が有する機能構成と、当該機能構成により得られる作用効果について簡単に纏める。
【０１６１】
まず、同実施形態に係る情報処理装置の機能構成は次のように表現することができる。当該情報処理装置は、センサデータ作成部と、行動認識部と、行動管理部と、行動情報後処理部とを有する。センサデータ作成部は、ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成する。行動認識部は、上記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する。行動管理部は、上記行動認識部により生成された上記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する。行動情報後処理部は、上記行動管理部が管理している行動情報に対して所定の後処理を行う。上記行動認識部は、ユーザが行う特定の行動に特化した複数の行動判定部を更に備え、上記複数の行動判定部における判定結果に基づいて上記行動情報を生成する。このように、ユーザが行う特定の行動に特化した複数の行動判定部を備え、当該行動判定部によって行動情報を生成するため、精度良く上記行動を認識することができ、誤認識が軽減される。
【０１６２】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。行動認識部は、静止状態判定部と、歩行・走行状態判定部と、跳躍状態判定部と、姿勢変化判定部と、エレベータ搭乗判定部と、電車搭乗判定部と、右折・左折判定部とを備える。静止状態判定部は、ユーザが静止状態にあるか否かを判定する。歩行・走行状態判定部は、ユーザが歩行状態または走行状態にあるか否かを判定する。跳躍状態判定部は、ユーザが跳躍している状態である跳躍状態にあるか否かを判定する。姿勢変化判定部は、ユーザが座っている状態、立っている状態にあるのか否かを判定する。エレベータ搭乗判定部は、ユーザがエレベータに乗っている状態か否かを判定する。電車搭乗判定部は、ユーザが電車に乗っている状態か否かを判定する。右折・左折判定部は、ユーザが右折または左折している状態にあるか否かを判定する。このように、ユーザが行う特定の行動に特化した上記複数の行動判定部を備え、当該行動判定部によって行動情報を生成するため、精度良く上記行動を認識することができ、誤認識が軽減される。
【０１６３】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。上記情報処理装置では、行動認識部は、行動判定部として、前記センサデータ及び予め設定された所定の識別関数を利用して、ユーザが乗物に搭乗しているか否かを判定する乗物搭乗判定部を備える。このように、デジタルフィルタの設計に対して、設計が容易な識別関数が設定されることで、装置の大型化等の懸念なく、判定する乗物の種類を増加することができる。また、乗物搭乗判定部は、夫々の乗物に特化した識別関数に基づいて乗物に搭乗しているか否かを判定するため、ユーザが搭乗する乗物の加速度の変化が大きくなくても、夫々の乗物に搭乗しているか否かをより精度良く判定することができる。
【０１６４】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。行動認識部は、センサデータ記憶部は、上記センサデータをＦＩＦＯ形式で記録する。センサデータ演算部は、上記センサデータを用いて所定の演算を行う。特定領域除去部は、入力されたデータの中から特定の領域以外の値を除去する。低領域除去部は、入力されたデータの中から所定の閾値未満の範囲を除去する。上記複数の行動判定部それぞれは、上記センサデータ処理部から出力された演算結果に基づいて、ユーザが行った行動を判定する。このように、ユーザが行う特定の行動に特化した上記複数の行動判定部を備え、当該行動判定部がセンサデータ処理部に各行動に応じた所定の演算が行わせる。そのため、精度良くユーザの上記行動を認識することができ、誤認識が軽減される。
【０１６５】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。行動情報後処理部は、ユーザが同時に行うことが困難な排他的な行動を行っていることを表す排他的特性が行動情報に存在するか否かを検出する排他行動情報再処理部を更に備える。上記排他行動情報再処理部は、２つ以上の行動が上記排他的特性を有する場合には上記２つ以上の行動のうち少なくとも１つの行動に関する行動情報を排除する。このように、行動認識部によって行われた処理後の行動情報について、排他的特性を有するものについては排除されるため、精度良くユーザの上記行動情報が生成され、誤認識が軽減される。
【０１６６】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。行動情報後処理部が、上記ユーザが各行動を取るのに必要となる行動情報必要条件に基づいて単位時間毎の上記行動情報を再処理する誤認識行動情報再処理部を有する。上記誤認識行動情報再処理部は、上記行動情報が行動情報必要条件を満たしていない場合には上記行動に関する行動情報を修正する。このように、行動認識部によって行われた処理後の行動情報について、行動情報必要条件を有しないものについては排除されるため、精度良くユーザの上記行動情報が生成され、誤認識が軽減される。
【０１６７】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。行動情報後処理部が、上記行動認識部が上記行動管理部に上記行動情報を送達した時間から上記行動認識部による各行動に関する上記行動情報の生成に要した時間分だけ遡った時間に上記ユーザが上記各行動を取ったことと処理をする行動情報実時間調整部を有する。このように、行動認識部によって行われた処理後の行動情報について、行動認識処理に要した時間は補正されるため、ユーザの行動が行われた時刻を精度良く把握することができる。
【０１６８】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。上記情報処理装置では、行動情報後処理部が、行動間比較再処理部を有する。行動間比較再処理部は、所定時間内に行われた２つ以上の行動が類似している場合に、前記２つ以上の行動夫々について、前記行動情報の合計時間を比較する。更に、行動間比較再処理部は、上記合計時間が最も長い行動情報を前記所定時間の行動情報として選択する。所定時間が、例えば、数十秒程度の短時間である場合に、複数の乗物に搭乗することは、現実的に想定し難い。しかしながら、このように、行動間比較再処理部が上記の後処理を行うことで、行動認識結果が現実のユーザの行動をより精度良く反映したものとなる。
【０１６９】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含む。まず、上記センサデータ演算部が、上記センサデータ記憶部によって記録された第一の所定時間範囲における上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの夫々の分散値を算出する。次に、行動判定部は、当該分散値のうち最も大きい最大分散値が上記ユーザは静止していると認識する静止認識値より小さくいか否かを判定する。さらに上記最大分散値が上記静止認識値より小さい時間が上記ユーザは静止していると認識する静止認識時間より長く続くか判定する。その場合、上記ユーザが静止しているという行動情報を生成する。また、上記最大分散値が上記静止認識値より小さいか判定する。更に上記最大分散値が上記静止認識値より小さい時間が上記静止認識時間より長く続かないか判定する。その場合には、上記ユーザが一時的に静止しているという行動情報を生成する。このように、静止状態判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザが静止しているのか、一時停止しているのか否かを精度良く認識することができる。
【０１７０】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。センサデータ演算部は、センサデータ記憶部によって記録された第二の所定時間範囲における上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの夫々の分散値を算出する。次に当該分散値のうち最も大きい最大分散値を算出する。次に、特定領域除去部が、ユーザが歩いているもしくは走っていると認識される歩行及び走行認識周波数領域の範囲外の周波数が除去する。次に、センサデータ記憶部によって記録された上記加速度センサデータの自己相関関数を算出して当該自己相関関数の最大値を算出する。その結果、センサデータ演算部は、上記ユーザが歩いているもしくは走っている際の歩行及び走行周波数データをさらに算出する。
【０１７１】
次に、センサデータ演算部は、上記歩行及び走行周波数データと上記最大分散値とに対して乗算をする。次に、低領域除去部が、当該所定の演算をなされた上記歩行及び走行周波数データと上記最大分散値についてユーザの歩行もしくは走行が誤認識されうる周波数領域を除去する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。そして、その結果、歩行もしくは走行していると判定するための歩行及び走行判定データを算出する。次に、歩行・走行状態判定部が、当該歩行及び走行判定データの値が、上記ユーザが歩行していると認識するための下限値である最小歩行認識値よりも大きいか判定する。更に、上記ユーザが歩行していると認識するための上限値である最大歩行認識値よりも小さいか判定する。その場合には、上記ユーザが歩行しているという行動情報を生成する。また、上記歩行及び走行判定データの値が、上記最大歩行認識値よりも大きい場合には、上記ユーザが走行しているという行動情報を生成する。このように、歩行・走行状態判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザが歩行しているのか、走行しているのか否かを精度良く認識することができる。さらにセンサデータ演算部が、上記歩行及び走行周波数データを積分して、当該積分の結果より歩行・走行状態判定部が上記ユーザの歩数についての行動情報を生成することもできる。
【０１７２】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。まず、センサデータ演算部が、上記ユーザの跳躍を認識可能にする、上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの大きさで表される跳躍加速度を算出する。次に特定領域除去部が、上記跳躍加速度について上記ユーザが跳躍していると認識される跳躍認識領域の範囲外を除去して補正跳躍加速度を算出する。このように、特定領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。次に、低領域除去部が、当該補正跳躍加速度についてユーザの跳躍が誤認識されうる領域を除去して、跳躍しているか否かを判定する跳躍状態判定値を算出する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。次に、跳躍状態判定部が、当該跳躍状態判定値は上記ユーザが跳躍していると認識するための下限値である最小跳躍認識値よりも大きいか判定する。その場合には、上記ユーザが跳躍しているという行動情報を生成する。このように、跳躍状態判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザが跳躍しているのか否かを精度良く認識することができる。
【０１７３】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。まず、低領域除去部が、上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの夫々ついて上記ユーザの姿勢変化が誤認識されうる領域を除去する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。そして、その結果、姿勢変化があるか否かを判定可能にする上記第一加速度センサデータに基づく第一重力データ、上記第二加速度センサデータに基づく第二重力データ、及び上記第三加速度センサデータに基づく第三重力データを算出する。センサデータ演算部が、その結果を基に、上記ユーザの姿勢変化を認識可能にする姿勢変化判定値を算出する。
【０１７４】
次に、低領域除去部が、当該姿勢変化判定値について上記ユーザの姿勢変化が誤認識されうる領域を除去して、姿勢変化しているか否かを判定する補正姿勢変化判定値を算出する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。そして、姿勢変化判定部は、当該補正姿勢変化判定値が上記ユーザは姿勢変化していると認識するための下限値である最小姿勢変化認識値よりも大きいか判定する。更に、上記ユーザが既に立っていた場合には上記ユーザは座っているという行動情報を生成する。一方、姿勢変化判定部は、上記補正姿勢変化判定値が最小姿勢変化認識値よりも大きいかも判定する。更に、上記ユーザが既に座っていた場合には上記ユーザは立っているという行動情報を生成する。このように、姿勢変化判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザが座っているのか、立っているのか否かを精度良く認識することができる。
【０１７５】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。まず、低領域除去部が、上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの重力方向の加速度を誤認識されうる領域を除去する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。センサデータ演算部が、上記領域が除去された上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータに基づいて重力方向加速度センサデータを算出する。センサデータ演算部が、重力の値を調整可能にする上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの大きさで表される重力調整データを計算する。次に、当該重力調整データを上記センサデータ記憶部に記録する。次に、当該センサデータ記憶部に記録された重力調整データの分散値である重力調整分散値、及び重力調整データの平均値である重力調整平均データを算出する。センサデータ演算部は、上記重力調整分散値が重力の調整を許容する最大の分散値である最大許容重力調整分散値よりも小さいか判定する。更に上記重力調整平均データが重力の調整を許容する最小の平均値である最小許容重力平均値よりも大きく、上記重力調整平均データが重力の調整を許容する最大の平均値である最大許容重力平均値よりも小さいか判定する。その場合には、センサデータ演算部は、上記重力調整平均データによる値を調整後の重力とみなす。このように、重力が調整されることで、ユーザが情報処理装置を傾けて所持している場合などに起こりうる重力の変化などの問題は起きにくくなり、誤った行動情報が生成されにくくなる。
【０１７６】
次に、低領域除去部が、上記重力調整平均データについて重力であると誤認識されうる領域を除去して補正重力調整平均データを算出する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。次に、センサデータ演算部が、上記重力方向加速度センサデータと上記補正重力調整平均データとの差分を算出する。次に、低領域除去部が、当該差分について上記ユーザがエレベータに乗っていると誤認識されうる領域を除去する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。そして、その結果、低領域除去部は、上記ユーザがエレベータに乗っているか否かを判定するエレベータ昇降判定データを算出する。エレベータ搭乗判定部は、当該エレベータ昇降判定データが最初は所定値Ｄαよりも大きく、次に所定値Ｄβよりも小さくなるか判定する。その場合には、上記ユーザがエレベータで上昇していたという行動情報を生成する。当該エレベータ昇降判定データが最初は所定値Ｄβよりも小さく、次に所定値Ｄαよりも大きくなる場合には、上記ユーザがエレベータで下降していたという行動情報を生成する。なお、上記Ｄαは、上記ユーザがエレベータで上昇を始めたことを認識するための下限値である最小エレベータ上昇認識値である。上記Ｄβは、上記ユーザがエレベータで下降を始めたことを認識するための上限値である最大エレベータ下降認識値である。このように、エレベータ搭乗判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザがエレベータに乗っているのか否かを精度良く認識することができる。
【０１７７】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。まず、低領域除去部が、上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの夫々について上記ユーザが電車に乗っていると誤認識されうる周波数領域を除去する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。次に、センサデータ演算部が、上記周波数領域が除去された上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータに基づいて、水平方向加速度センサデータ、及び垂直方向加速度センサデータを算出する。次に、センサデータ演算部は、センサデータ記憶部に水平方向加速度センサデータ、及び垂直方向加速度センサデータを記録する。次に、センサデータ記憶部に記録した水平方向加速度センサデータに基づいて水平方向分散値を算出する。
【０１７８】
次に、センサデータ記憶部に記録した上記垂直方向加速度センサデータに基づいて垂直方向分散値を算出する。センサデータ演算部は、上記水平方向分散値と上記補正垂直方向分散値とのうち小さい方の分散値について積分をする。その結果、センサデータ演算部は、電車に乗っているか否かを判定する電車搭乗判定データを算出する。次に、電車搭乗判定部が、当該電車搭乗判定データが上記ユーザは電車に搭乗していると認識するための下限値である最小電車搭乗認識値よりも大きいか判定する。その場合には、電車搭乗判定部は、上記ユーザが電車に搭乗しているという行動情報を生成する。また、センサデータ演算部が、上記垂直方向分散値が最小の許容される垂直方向分散値である最小許容垂直分散値以下であるかを判定する。さらに、センサデータ演算部は、上記垂直方向分散値が上記最大の許容される垂直方向分散値である最大許容垂直分散値以上であるか判定する。その場合には、上記電車搭乗判定データをゼロと算出する。このように、電車搭乗判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザが電車に乗っているのか否かを精度良く認識することができる。
【０１７９】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。まず、低領域除去部が、上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの夫々について上記ユーザが右折もしくは左折していると誤認識されうる領域を除去する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。次に、センサデータ演算部が、上記領域が除去された上記第一〜第三加速度センサデータと、上記第一〜第三ジャイロセンサデータと、に基づいて重力方向の角速度を算出する。次に、特定領域除去部が、上記角速度について上記ユーザが右折または左折していると認識される曲がり認識領域の範囲外の領域を除去して、補正角速度を算出する。このように、特定領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。右折・左折判定部は、当該補正角速度が上記ユーザは右折していると認識するための上限値である最大右折認識値よりも小さいか判定する。その場合には、上記ユーザは右折しているという行動情報を生成する。また、当該補正角速度が、上記ユーザが左折していると認識するための下限値である最小左折認識値よりも大きい場合には、上記ユーザは左折しているという行動情報を生成する。このように、電車搭乗判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザが右折又は左折いるのか否かを精度良く認識することができる。
【０１８０】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。まず、前記センサデータ演算部が、前記第一〜第三加速度センサデータに基づいて生成された特徴ベクトルと、乗物の種類毎に設定された識別関数とを利用して当該識別関数の値を算出する。次に、前記乗物搭乗判定部は、算出された前記識別関数の値が、当該識別関数に対応する乗物に乗っていることを認識する際に用いられる乗物搭乗認識値より大きい場合に、前記ユーザが前記識別関数に対応する乗物に乗っていることを表す行動情報を生成する。このように、上記情報処理装置では、設計が簡易な識別関数が乗物毎に設定されることで、装置の大型化等の懸念なく、判定する乗物の種類を増加することができる。また、乗物搭乗判定部は、夫々の乗物に特化した識別関数に基づいて乗物に搭乗しているか否かを判定するため、ユーザが搭乗する乗物の加速度の変化が大きくなくても、夫々の乗物に搭乗しているか否かをより精度良く判定することができる。更に、行動間比較再処理部等の行動情報後処理部が後処理を行うことで、数十秒程度の短い時間で、複数の乗物に何度も乗り換えるという行動認識結果が生成しまう懸念もなく、精度の良い行動認識結果を得ることができる。
【０１８１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１８２】
１００、１０１、５００ 情報処理装置
１０２ サーバ
１０４ 通信網
１１０ センサデータ作成部
１１２、５１２ 行動認識部
１１４ 行動管理部
１１６、１１７ 行動情報後処理部
１１８、５１８ 行動判定部
１２０、５２０ センサデータ処理部
１２２ 静止状態判定部
１２４ 歩行・走行状態判定部
１２６ 跳躍状態判定部
１２８ 姿勢変化判定部
１３０ エレベータ搭乗判定部
１３２ 電車搭乗判定部
１３４ 右折・左折判定部
１３６、５３６ センサデータ演算部
１３８ 特定領域除去部
１４０ 低領域除去部
１４２ センサデータ記憶部
１４４ 排他行動情報再処理部
１４６ 誤認識行動情報再処理部
１４８ 行動情報実時間調整部
１４９ 行動間比較再処理部
１５０ データ制御部
１５２ 記憶部
１５４ 表示制御部
１５６ ユーザ行動
１６０ 表示画面
５３２ 乗物搭乗判定部
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【０００２】
近年、携帯電話等の情報処理装置は、多機能化している。そのため、ユーザは、情報処理装置に搭載された様々な機能を用いて多様な情報を得ることができる。情報処理装置に搭載される機能としては、ユーザの行動を把握することができる機能が例として挙げられる。例えば、下記の特許文献１には、加速度センサ及びジャイロセンサを用いて、歩いたり、走ったり、立ち止まったりしているユーザの行動を認識して、当該行動をオブジェクトとして表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３４０９０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記の技術によっても、ユーザの各行動を精度良く認識するための方法が確立されていなかった。そのため、例えば、各行動を認識するためのフィルタリング機能、演算機能の確立が求められていた。また、各行動の認識結果の最適化方法の確立も求められていた。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの行動をより精度良く認識することが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成部と、上記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する行動認識部と、上記行動認識部により生成された上記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理部と、上記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理部と、を有し、上記行動認識部は、ユーザが行う特定の行動に特化した複数の行動判定部を更に備え、上記複数の行動判定部における判定結果に基づいて上記行動情報を生成する、情報処理装置が提供される。
【０００７】
上記情報処理装置では、上記行動認識部は、ユーザが静止状態にあるか否かを判定する静止状態判定部と、ユーザが歩行状態または走行状態にあるか否かを判定する歩行・走行状態判定部と、ユーザが跳躍している状態である跳躍状態にあるか否かを判定する跳躍状態判定部と、ユーザが座っている状態または立っている状態にあるか否かを判定する姿勢変化判定部と、ユーザがエレベータに乗っている状態か否かを判定するエレベータ搭乗判定部と、ユーザが電車に乗っている状態か否かを判定する電車搭乗判定部と、ユーザが右折または左折している状態にあるか否かを判定する右折・左折判定部と、を少なくとも備えていてもよい。
【０００８】
上記行動認識部は、上記行動判定部として、上記センサデータ及び予め設定された所定の識別関数を利用して、ユーザが乗物に搭乗しているか否かを判定する乗物搭乗判定部を備えていてもよい。
【０００９】
上記情報処理装置では、上記行動認識部は、上記センサデータをＦＩＦＯ形式で記録するセンサデータ記憶部と、上記センサデータを用いて所定の演算を行うセンサデータ演算部と、を含むセンサデータ処理部を更に備え、上記複数の行動判定部それぞれは、上記センサデータ処理部から出力された演算結果に基づいて、ユーザが行った行動を判定してもよい。
【００１０】
上記情報処理装置では、上記行動情報後処理部は、ユーザが同時に行うことが困難な排他的な行動を取ることを表す排他的特性が行動情報に存在するか否かを検出する排他行動情報再処理部を更に備え、上記排他行動情報再処理部は、２つ以上の行動が上記排他的特性を有する場合には上記２つ以上の行動のうち少なくとも１つの行動に関する行動情報を排除してもよい。
【００１１】
上記情報処理装置では、上記行動情報後処理部は、上記ユーザが各行動を取るのに必要となる行動情報必要条件に基づいて単位時間毎の上記行動情報を再処理する誤認識行動情報再処理部を有し、上記誤認識行動情報再処理部は、上記行動情報が行動情報必要条件を満たしていない場合には上記行動に関する行動情報を修正してもよい。
【００１２】
上記情報処理装置では、上記行動情報後処理部は、上記行動認識部が上記行動管理部に上記行動情報を送達した時刻から上記行動認識部による各行動に関する上記行動情報の生成に要した時間分だけ遡った時刻に上記ユーザが上記各行動を取ったことと処理をする行動情報実時間調整部を有してもよい。
【００１３】
上記行動情報後処理部は、所定時間内に行われた２つ以上の行動が類似している場合に、上記２つ以上の行動夫々について、上記行動情報の合計時間を比較し、上記合計時間が最も長い行動情報を上記所定時間の行動情報として選択する行動間比較再処理部を有していてもよい。
【００１４】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部が、上記センサデータ記憶部によって記録された第一の所定時間における上記第一〜第三加速度センサデータ夫々の分散値を算出して、上記静止状態判定部は、当該分散値のうち最も大きい最大分散値が上記ユーザは静止していると認識する静止認識値より小さく、かつ上記最大分散値が上記静止認識値より小さい時間が上記ユーザが静止していると認識する静止認識時間より長く続く場合には、上記ユーザは静止しているという行動情報を生成して、上記最大分散値が上記静止認識値より小さく、かつ上記最大分散値が上記静止認識値より小さい時間が上記静止認識時間より長く続かない場合には、上記ユーザは一時的に静止しているという行動情報を生成してもよい。
【００１５】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部は、上記センサデータ記憶部によって記憶された第二の所定時間範囲における上記第一〜第三加速度センサデータ夫々の分散値と、当該分散値のうち最も大きい最大分散値を算出して、上記センサデータ記憶部によって記録された上記加速度センサデータの自己相関関数と、当該自己相関関数の最大値を算出することで、上記ユーザが歩いているもしくは走っている際の歩行及び走行周波数データをさらに算出して、上記歩行及び走行周波数データと上記最大分散値とに対して乗算して、歩行もしくは走行していると判定するための歩行及び走行判定データを算出して、上記歩行・走行状態判定部が、当該歩行及び走行判定データの値が、上記ユーザが歩行していると認識するための下限値である最小歩行認識値よりも大きく、かつ上記ユーザが歩行していると認識するための上限値である最大歩行認識値よりも小さい場合には、上記ユーザが歩行しているという行動情報を生成して、上記歩行及び走行判定データの値が、上記最大歩行認識値よりも大きい場合には、上記ユーザが走行しているという行動情報を生成してもよい。
【００１６】
上記情報処理装置では、上記センサデータ演算部が、上記歩行及び走行周波数データを積分して、上記歩行・走行状態判定部が、当該積分の結果より上記ユーザの歩数についての行動情報を生成してもよい。
【００１７】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部が、上記第一〜第三加速度センサデータの大きさで表される跳躍加速度の大きさを計算することで、跳躍状態判定値を算出して、上記跳躍状態判定部が、当該跳躍状態判定値が上記ユーザは跳躍していると認識するための下限値である最小跳躍認識値よりも大きい場合には、上記ユーザが跳躍しているという行動情報を生成してもよい。
【００１８】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部が、上記第一〜第三加速度センサデータ夫々に基づいて所定の座標軸に沿った第一〜第三重力データを算出して、上記第一重力データが上記記憶部に既に記録された第一重力データからどれ位変化したかを表す第一重力変化データ、上記第二重力データが上記記憶部に既に記録した第二重力データからどれ位変化したかを表す第二重力変化データ、及び上記第三重力データが上記記憶部に既に記録した第三重力データからどれ位変化したかを表す第三重力変化データを算出して、上記第一重力変化データ、上記第二重力変化データ、上記第三重力変化データの大きさを表し、上記ユーザが、姿勢変化しているか否かを判定する姿勢変化判定値を算出して、上記姿勢変化判定部は、当該姿勢変化判定値が上記ユーザの姿勢は変化していると認識するための下限値である最小姿勢変化認識値よりも大きい場合であって、且つ上記ユーザが既に立っていた場合には上記ユーザは座っているという行動情報を生成して、上記姿勢変化判定値が最小姿勢変化認識値よりも大きい場合であって、且つ上記ユーザが既に座っていた場合には上記ユーザは立っているという行動情報を生成してもよい。
【００１９】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部が、上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータに基づいて、重力方向の加速度を表す情報である重力方向加速度センサデータを算出して、上記重力方向加速度センサデータと重力との差分を計算することで、上記ユーザがエレベータに乗っているか否かを判定するエレベータ昇降判定データを算出して、上記エレベータ搭乗判定部は、当該エレベータ昇降判定データが最初は所定値Ｄαよりも大きく、次に所定値Ｄβよりも小さくなる場合には、上記ユーザがエレベータで上昇していたという行動情報を生成して、当該エレベータ昇降判定データが最初は所定値Ｄβよりも小さく、次に所定値Ｄαよりも大きくなる場合には、上記ユーザがエレベータで下降していたという行動情報を生成して、上記Ｄαは、上記ユーザがエレベータで上昇を始めたことを認識するための下限値である最小エレベータ上昇認識値であって、上記Ｄβは、上記ユーザがエレベータで下降を始めたことを認識するための上限値である最大エレベータ下降認識値であってもよい。
【００２０】
上記情報処理装置では、上記センサデータ演算部は、上記重力の値を補正可能にする上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの大きさで表される重力調整データを計算して、当該重力調整データを上記センサデータ記憶部に記録して、当該センサデータ記憶部に記録された重力調整データの分散値である重力調整分散値、及び重力調整データの平均値である重力調整平均データを算出して、上記重力調整分散値が上記重力の調整を許容する最大の分散値である最大許容重力調整分散値よりも小さく、且つ上記重力調整平均データが上記重力の調整を許容する最小の平均値である最小許容重力平均値よりも大きく、上記重力調整平均データが上記重力の調整を許容する最大の平均値である最大許容重力平均値よりも小さい場合には、上記重力調整平均データによる値を補正後の重力とみなして、当該補正後の重力を上記重力の代わりに用いて演算してもよい。
【００２１】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部が、上記第一〜第三加速度センサデータに基づいて、水平方向加速度センサデータ、及び垂直方向加速度センサデータを算出して、上記センサデータ記憶部に水平方向加速度センサデータ、及び垂直方向加速度センサデータを記録して、上記センサデータ記憶部に記録した水平方向加速度センサデータに基づいて水平方向分散値を算出して、上記センサデータ記憶部に記録した上記垂直方向加速度センサデータに基づいて垂直方向分散値を算出して、上記水平方向分散値と上記垂直方向分散値とのうち小さい方の分散値について積分をすることで電車に乗っているか否かを判定する電車搭乗判定データを算出して、上記電車搭乗判定部が、当該電車搭乗判定データが上記ユーザは電車に搭乗していると認識するための下限値である最小電車搭乗認識値よりも大きい場合には、上記ユーザが電車に搭乗しているという行動情報を生成してもよい。
【００２２】
上記情報処理装置では、上記センサデータ演算部は、上記垂直方向分散値が最小の許容される垂直方向分散値である最小許容垂直分散値以下である場合、もしくは上記垂直方向分散値が上記最大の許容される垂直方向分散値である最大許容垂直分散値以上である場合には、上記電車搭乗判定データをゼロと算出してもよい。
【００２３】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータと、所定の座標軸に沿ったジャイロに関するデータである第一〜第三ジャイロセンサデータとを含み、上記センサデータ演算部が、上記第一〜第三加速度センサデータと、上記第一〜第三ジャイロセンサデータと、に基づいて重力方向の角速度を算出して、上記右折・左折判定部は、当該角速度が上記ユーザが右折していると認識するための上限値である最大右折認識値よりも小さい場合には、上記ユーザは右折しているという行動情報を生成して、上記ユーザが左折していると認識するための下限値である最小左折認識値よりも大きい場合には、上記ユーザは左折しているという行動情報を生成してもよい。
【００２４】
上記情報処理装置では、上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、上記センサデータ演算部が、上記第一〜第三加速度センサデータに基づいて生成された特徴ベクトルと、乗物の種類毎に設定された識別関数とを利用して当該識別関数の値を算出して、上記乗物搭乗判定部は、算出された上記識別関数の値が、当該識別関数に対応する乗物に乗っていることを認識する際に用いられる乗物搭乗認識値より大きい場合に、上記ユーザが上記識別関数に対応する乗物に乗っていることを表す行動情報を生成してもよい。
【００２５】
また、上記課題を解決するために、本発明の別の観点によれば、ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成ステップと、上記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する行動認識ステップと、上記行動認識部により生成された上記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理ステップと、上記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理ステップと、を有し、上記行動認識ステップには、ユーザが行う特定の行動に特化した複数の行動判定ステップを更に備え、上記複数の行動判定ステップにおける判定結果に基づいて上記行動情報を生成する、情報処理方法が提供される。
【００２６】
また、上記課題を解決するために、本発明の別の観点によれば、所定のセンサが設けられたコンピュータに、ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成機能と、上記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する行動認識機能と、上記行動認識部により生成された上記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理機能と、上記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理機能と、を実現させ、上記行動認識機能には、ユーザが行う特定の行動に特化した複数の行動判定ステップを更に備え、上記複数の行動判定ステップにおける判定結果に基づいて上記行動情報を生成させる、プログラムが提供される。
【００２７】
また、上記課題を解決するために、上記プログラムが記録されたコンピュータにより読み取り可能な記録媒体が提供されうる。
【発明の効果】
【００２８】
以上説明したように本発明によれば、行動毎のフィルタリング機能及び演算機能、行動の認識結果を調整することによって、ユーザの行動認識機能の精度が向上する。
【図面の簡単な説明】
【００２９】
【図１】本発明の各実施形態に係る技術を適用可能なネットワークを示す説明図である。
【図２】同実施形態に係る情報処理装置１００、５００の装置構成を示す説明図である。
【図３】本発明の第１の実施形態に係る情報処理装置１００の機能構成を示す説明図である。
【図４】同実施形態に係る情報処理装置１００の情報処理方法の概要を示す説明図である。
【図５】同実施形態に係る情報処理装置１００の情報処理方法の概要を示す説明図である。
【図６】同実施形態に係る情報処理装置１００の情報処理方法の概要を示す説明図である。
【図７】同実施形態に係る情報処理装置１００の情報処理方法の概要を示す説明図である。
【図８】同実施形態に係る情報処理装置１００の情報処理方法の概要を示す説明図である。
【図９】同実施形態に係る情報処理装置１００の情報処理方法の流れを示す説明図である。
【図１０】同実施形態に係る情報処理装置１００の情報処理方法の流れを示す説明図である。
【図１１】同実施形態に係る情報処理装置１００の静止及び一時停止についての認識方法の流れを示す説明図である。
【図１２】同実施形態に係る情報処理装置１００の歩行及び走行についての認識方法の流れを示す説明図である。
【図１３】同実施形態に係る情報処理装置１００の跳躍についての認識方法の流れを示す説明図である。
【図１４】同実施形態に係る情報処理装置１００の姿勢変化についての認識方法の流れを示す説明図である。
【図１５】同実施形態に係る情報処理装置１００のエレベータの搭乗についての認識方法の流れを示す説明図である。
【図１６】同実施形態に係る情報処理装置１００の電車の搭乗についての認識方法の流れを示す説明図である。
【図１７】同実施形態に係る情報処理装置１００の右折または左折についての認識方法の流れを示す説明図である。
【図１８】同実施形態に係る情報処理装置１００の行動情報の管理方法を示す説明図である。
【図１９】同実施形態に係る情報処理装置１００の行動情報後処理方法を示す説明図である。
【図２０】同実施形態に係る情報処理装置１００の行動情報後処理方法を示す説明図である。
【図２１】同実施形態の情報処理装置１００の変形例についての機能構成を示す説明図である。
【図２２】同実施形態の情報処理装置１００の変形例についての情報処理方法の一例を示す説明図である。
【図２３】同実施形態の情報処理装置１００の変形例についての情報処理方法の流れを示す説明図である。
【図２４】本発明の第２の実施形態に係る情報処理装置５００の機能構成を示す説明図である。
【図２５】同実施形態に係る情報処理装置５００の情報処理方法の流れを示す説明図である。
【図２６】同実施形態に係る情報処理装置５００の乗物の搭乗についての認識方法の流れを示す説明図である。
【図２７】同実施形態に係る情報処理装置１００、５００のハードウェア構成例を示す説明図である。
【発明を実施するための形態】
【００３０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３１】
（説明の流れについて）
本稿における説明の流れは次の通りである。まず、図１を参照しながら、本発明の各実施形態に係る情報処理装置を含むネットワークの構成について説明する。次いで、図２を参照しながら、同実施形態に係る情報処理装置の構成例について説明する。
【００３２】
次いで、図３を参照しながら、本発明の第１の実施形態に係る情報処理装置の機能構成について説明する。次いで、図４〜図２０を参照しながら、本発明の第１の実施形態に係る情報処理方法の概要及び応用例について説明する。次いで、図２１〜図２３を参照しながら、本発明の第１の実施形態に係る情報処理方法の変形例について説明する。
【００３３】
次いで、図２４を参照しながら、本発明の第２の実施形態に係る情報処理方法の機能構成について説明する。次いで、図２５及び図２６を参照しながら、本発明の第２の実施形態に係る情報処理方法の概要及び応用例について説明する。
【００３４】
さらに、図２７を参照しながら、本発明の各実施形態に係る情報処理装置の機能を実現することが可能なハードウェア構成について説明する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
【００３５】
１．ネットワークの構成例
２．情報処理装置１００、５００の構成例
３．本発明の第１の実施形態に係る情報処理装置１００の機能構成
４．情報処理装置１００による情報処理方法の概要
５．情報処理装置１００による情報処理方法の応用例
６．第１の実施形態の変形例について
７．本発明の第２の実施形態に係る情報処理装置５００の機能構成
８．情報処理装置５００による情報処理方法の応用例
９．情報処理装置１００、５００のハードウェア構成例
１０．まとめ
【００３６】
＜１．ネットワークの構成例＞
まず、図１を参照しながら、本発明の各実施形態に係る情報処理装置を含むネットワークの構成について説明する。図１は、同実施形態に係る情報処理システム１のシステム構成例を示す説明図である。
【００３７】
図１に示すように、情報処理システム１は、主に情報処理装置１００（情報処理装置５００でもよい。以下、図１及び図２を参照して説明する記載について同じである。）と、サーバ１０２と、通信網１０４とを有する。
【００３８】
情報処理装置１００は、サーバ１０２から受信した行動表現データを表示画面上にオブジェクトとして表示するために所定のデータに基づいて処理を行う。また、情報処理装置１００は、ユーザの行動に対応した行動情報に基づくオブジェクトを生成してサーバ１０２に送信する。情報処理装置１００は、上記の処理以外にも様々な処理を行うことが可能である。この情報処理装置１００については、以下で改めて詳細に説明する。また、上記の所定のデータとして、例えば、ユーザが行った行動に基づく加速度センサデータやジャイロセンサデータが挙げられる。この所定のデータについても、以下で詳細に説明する。
【００３９】
サーバ１０２は、情報処理装置１００から伝送される行動情報を他の情報処理装置１００に対して提供する。また、サーバ１０２は、情報処理装置１００から伝送される行動情報を他の情報処理装置１００に提供する。
【００４０】
通信網１０４は、情報処理装置１００およびサーバ１０２をそれぞれ双方向通信又は一方向通信可能に接続する通信回線網である。この通信網１０４は、例えば、インターネット、ＮＧＮ（Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｎｅｔｗｏｒｋ）網、電話回線網、衛星通信網、同報通信路等の公衆回線網や、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮ等の専用回線網などで構成されており、有線／無線を問わない。
【００４１】
サーバ１０２が、通信網１０４を介して情報処理装置１００から取得した行動情報を他の情報処理装置１００に提供する。情報処理装置１００は、サーバ１０２から取得した行動情報、及び自装置１００で生成した行動情報を処理することによって、複数のユーザがオブジェクトとして表示された映像信号を作成する。
【００４２】
＜２．情報処理装置１００、５００の構成例＞
ここで、図２を参照しながら、情報処理装置１００の構成例について説明する。図２は、情報処理装置１００の構成例を示す説明図である。図２では、本発明の効果を発揮するために望ましい情報処理装置１００として携帯電話を例にとって説明する。但し、図２には、同実施形態に係る入力操作に用いられる主要なキーのみが描画されている。
【００４３】
図２に示すように、情報処理装置１００は、表示画面１６０と、入力キー１６２と、通話キー１６４と、クリアキー１６６と、電源キー１６８と、メニューキー１７０と、メールキー１７２と、メモリーキー１７４と、通信キー１７６と、十字キー１７８とを有する。
【００４４】
まず、情報処理装置１００には、表示画面１６０が設けられている。表示画面１６０は、送受信した電子メールの表示をしたり各種の情報が表示されたりするためのものである。また、表示画面１６０は、タッチパネルの機能を有することもできる。
【００４５】
また、情報処理装置１００には、入力キー１６２が設けられている。入力キー１６２は、電子メールを作成する場合に文字などが入力されるためのものである。また、入力キー１６２は、通話する場合の通話相手の番号が入力されるためのものでもある。
【００４６】
また、情報処理装置１００には、通話キー１６４が設けられている。通話キー１６４は、通話を可能にするためのものである。また、情報処理装置１００には、クリアキー１６６が設けられている。クリアキー１６６は、各種の情報をクリアにするためのものである。さらに、情報処理装置１００には、電源キー１６８が設けられている。電源キー１６８は、情報処理装置１００の電源の入力を行うためのものである。
【００４７】
また、情報処理装置１００には、メニューキー１７０が設けられている。メニューキー１７０は、各種のメニューを表示するためのものである。また、情報処理装置１００には、メールキー１７２が設けられている。メールキー１７２は、メールを作成するための表示画面を出力するためのものである。さらに、情報処理装置１００には、メモリーキー１７４が設けられている。メモリーキー１７４には、例えば、ユーザが登録しておいた他のユーザの電話番号やメールアドレスを表示させるためのものである。
【００４８】
また、情報処理装置１００には、通信キー１７６が設けられている。通信キー１７６は、例えば、インターネット接続を可能にするためのものである。さらに、情報処理装置１００には、十字キー１７８が設けられている。十字キー１７８は、例えば、表示画面上に出力した各種の情報をカーソルで選択するためのものである。
【００４９】
なお、情報処理装置１００の一例である携帯電話は、上記説明してきた形態や機能を有するものには限られない。
【００５０】
＜３．本発明の第１の実施形態に係る情報処理装置１００の機能構成＞
次に、図３を参照しながら、情報処理装置１００の機能構成について説明する。図３は、本発明の第１の実施形態に係る情報処理装置１００の機能構成例を示す説明図である。情報処理装置１００は、ユーザの行動に依存したセンサデータのフィルタリング機能及び演算機能、各行動の認識結果の後処理機能に特徴を有する。
【００５１】
情報処理装置１００は、センサデータ作成部１１０と、行動認識部１１２と、行動管理部１１４と、行動情報後処理部１１６と、データ制御部１５０と、記憶部１５２と、表示制御部１５４と、表示画面１６０とを有する。行動認識部１１２は、行動判定部１１８と、センサデータ処理部１２０とを有する。行動判定部１１８は、静止状態判定部１２２と、歩行・走行状態判定部１２４と、跳躍状態判定部１２６と、姿勢変化判定部１２８と、エレベータ搭乗判定部１３０と、電車搭乗判定部１３２と、右折・左折判定部１３４とを有する。センサデータ処理部１２０は、センサデータ演算部１３６と、特定領域除去部１３８と、低領域除去部１４０と、センサデータ記憶部１４２とを有する。行動情報後処理部１１６は、排他行動情報再処理部１４４と、誤認識行動情報再処理部１４６と、行動情報実時間調整部１４８とを有する。
【００５２】
センサデータ作成部１１０は、ユーザ行動１５６を感知して、当該ユーザの行動に対応する情報であるセンサデータを作成する。なお、ここで言うユーザ行動１５６とは、ユーザが歩行している、走行している、立っている、座っている、跳躍している、静止している、電車に乗っている、エレベータに乗っている、右折もしくは左折しているなどといった情報を指す。上記のユーザ行動１５６に関する情報は、例えば、情報処理装置１００を付随しているユーザの行動を表した情報である。上記のセンサデータは、情報処理装置１００を有するユーザの取った行動に基づく。
【００５３】
行動認識部１１２は、センサデータ作成部１１０からセンサデータを取得する。行動認識部１１２は、当該センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する。行動認識部１１２は、ユーザが行う行動に特化した複数の行動判定部１１８を更に備え、当該複数の行動判定部１１８における判定結果に基づいて上記の行動情報を生成する。なお、センサデータには、例えば、加速度センサデータと、ジャイロセンサデータとが含まれる。
【００５４】
更に、加速度センサデータには、第一加速度センサデータと、第二加速度センサデータと、第三加速度センサデータとが含まれる。第一加速度センサデータとは、所定の座標軸に沿った加速度に関するデータである。また、第二加速度センサデータとは、第一加速度センサデータとは異なる座標軸に沿った加速度に関するデータであり、例えば、第一加速度センサデータの座標軸に直交する座標軸に沿う。また、第三加速度センサデータとは、第一加速度センサデータ及び第二加速度センサデータとは異なる座標軸に沿った加速度に関するデータであり、例えば、第一加速度センサデータ及び第二加速度センサデータの座標軸に直交する座標軸に沿う。
【００５５】
上記の複数の行動判定部１１８には、静止状態判定部１２２と、歩行・走行状態判定部１２４と、跳躍状態判定部１２６と、姿勢変化判定部１２８と、エレベータ搭乗判定部１３０と、電車搭乗判定部１３２と、右折・左折判定部１３４とが含まれる。
【００５６】
静止状態判定部１２２は、ユーザが静止状態にあるか否かを判定する。歩行・走行状態判定部１２４は、ユーザが歩行状態または走行状態にあるかを判定する。跳躍状態判定部１２６は、ユーザが跳躍している状態である跳躍状態にあるか否かを判定する。姿勢変化判定部１２８は、ユーザが座っている状態または立っている状態にあるのか否かを判定する。エレベータ搭乗判定部１３０は、ユーザがエレベータに乗っている状態か否かを判定する。電車搭乗判定部１３２は、ユーザが電車に乗っている状態か否かを判定する。右折・左折判定部１３４は、ユーザが右折したか左折したかを判定する。このように、本実施形態に係る情報処理装置１００によれば、上記の各行動毎に特化した行動認識機能を有しており、当該各行動を精度良く把握することができる。それぞれの行動に関する認識機能は後に詳述する。
【００５７】
センサデータ処理部１２０は、上記の複数の行動判定部１１８から夫々の行動に基づいた処理を行うための信号を受信する。センサデータ処理部１２０は、当該信号に基づいてセンサデータの処理を行い、ユーザの行動を表す情報である行動情報を生成する。より具体的には、センサデータ演算部１３６と、特定領域除去部１３８と、低領域除去部１４０と、センサデータ記憶部１４２とが、上記の処理を各行動に特化した所定の処理方法によって行う。センサデータ演算部１３６は、センサデータを用いて所定の演算を行う。特定領域除去部１３８は、入力されたデータの中から特定の領域以外の範囲を除去する。低領域除去部１４０は、入力されたデータの中から所定の閾値未満の範囲を除去する。センサデータ記憶部１４２は、センサデータをＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）形式で記録する。上記の各行動に特化した所定の処理方法に関する具体的な方法については、図１１〜図１７を参照しながら後に詳述する。
【００５８】
行動管理部１１４は、行動認識部１１２により生成された行動情報を当該行動情報に対応する行動がなされた時刻と関連づけて管理する。より詳細には、行動管理部１１４は、管理している行動情報を行動情報後処理部１１６に伝達する。そして、行動情報後処理部１１６が上記の行動情報に対して所定の後処理を行った後に、行動管理部１１４は行動情報を取得して管理する。
【００５９】
行動情報後処理部１１６は、上述のように、行動管理部１１４により入力された行動情報に対して所定の後処理を行う。所定の後処理は、排他行動情報再処理部１４４、誤認識行動情報再処理部１４６、及び行動情報実時間調整部１４８によって行われる。排他行動情報再処理部１４４は、ユーザが同時に２つ以上の行動を取ることはできない排他的特性に基づいて各行動に関する単位時間毎の行動情報を再処理する。より具体的には、排他行動情報再処理部１４４は、２つ以上の行動が上記排他的特性を有する場合には上記２つ以上の行動のうち少なくとも１つの行動に関する行動情報を排除する。また、誤認識行動情報再処理部１４６は、ユーザが各行動を取るのに必要となる行動情報必要条件に基づいて単位時間毎の上記行動情報を再処理する。より具体的には、誤認識行動情報再処理部１４６は、ユーザの行動が上記行動情報必要条件を満たしていない場合には上記行動に関する行動情報を排除する。また、行動情報実時間調整部１４８は、行動認識部１１２が行動管理部１１４に行動情報を送達した時間から、行動認識部１１２による各行動に関する行動情報の生成に要した時間分だけ遡った時間にユーザが各行動を取ったことと判断する。この行動情報後処理部１１６による所定の後処理については、図１８〜図２１を参照しながら後に詳述する。このように、本実施形態に係る情報処理装置１００によれば、行動情報について上記のような後処理を行うために、各行動毎に特化した行動情報について、誤認識等なく精度良く把握することができる。
【００６０】
データ制御部１５０は、行動管理部１１４から上記後処理がなされた行動情報を取得する。データ制御部１５０は、取得した行動情報に関する各行動に基づいたオブジェクトである映像信号を生成することができる。
【００６１】
また、データ制御部１５０は、サーバ１０２から他のユーザの情報処理装置１００で生成された行動情報を取得することもできる。他のユーザとは、情報処理装置１００を有するユーザとは異なるユーザのことを指す。そのため、データ制御部１５０は、上記他のユーザの行動情報に関する各行動に基づいたオブジェクトである映像信号も生成することもできる。そして、データ制御部１５０は、上記の映像信号を表示制御部１５４に送信する。表示制御部１５４は、映像信号の切り替え制御機能を有する。そのため、表示制御部１５４は、当該映像信号を受信後、表示画面１６０に表示させることができる。その結果、例えば、情報処理装置１００は、情報処理装置１００を所有するユーザのみならず他のユーザの当該行動情報に関するオブジェクトを表示画面１６０上に配置して映像信号として表示することができる。このように、本実施形態に係る情報処理装置１００によれば、ユーザは、例えば、他のユーザの行動を把握することも可能である。
【００６２】
記憶部１５２は、上記のようにデータ制御部１５０が取得した行動情報を記録しておくことができる。そのため、データ制御部１５０は、表示制御部１５４から過去の行動情報を取得して、過去の行動情報に関する各行動に基づいたオブジェクトである映像信号を生成することができる。このように、情報処理装置１００によれば、ユーザは、例えば、過去のユーザ本人及び他のユーザの行動を把握することも可能である。
【００６３】
＜４．情報処理装置１００による情報処理方法の概要＞
（４−１．行動認識機能及び行動情報後処理機能について）
次に図４を参照しながら、行動認識機能及び行動情報後処理機能について説明する。図４は、行動認識機能及び行動情報後処理機能についての概要を示した説明図である。まず、センサデータ作成部１１０がユーザの行動に基づいたセンサデータ２００を作成する。当該センサデータに対して、行動認識部１１２、行動管理部１１４、行動情報後処理部１１６が各行動などに応じて所定の処理を行う。その処理後に、ユーザが時間毎にどのような行動を行っていたかを示す行動情報２１０が生成される。符号２１２、２１４、２１６、２１８、２２０、２２２は、それぞれ時間毎に各行動が行われていたのか否かを示している。詳細については後述する。
【００６４】
図５は、本実施形態に係る情報処理装置１００がどのようにして使用されるのかを示した一例の説明図である。図５に示すように、例えばユーザ１０００の着用している衣服のポケットなどの中に、情報処理装置１００は収容される。情報処理装置１００の表示画面１６０には、ユーザ１０００が実際にどのような行動を取っているのかが表示される。このように表示されるのは、ユーザ１０００本人の行動状態のみならず、サーバなどを介して、他人の行動状態についても可能である。
【００６５】
図６は、上記の行動認識機能及び行動情報後処理機能についてより詳細に説明した図である。まず、ユーザの行動に基づいてセンサデータ２００をセンサデータ作成部１１０が生成する。次に、行動認識部１１２が、上記センサデータ２００に対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報２０２を生成する。更に、行動管理部１１４が、行動認識部１１２により生成された上記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけてデータ２０６として管理する。次に、行動情報後処理部１１６は、行動管理部１１４が管理している行動情報に対して所定の後処理を行う。行動情報後処理部１１６は、ＦＩＦＯ形式で記録された行動毎のデータ２０６に対して、所定の後処理を行う。具体的な後処理方法については、以下で詳述する。このようにして、後処理２０４を行われた行動情報２１０が得られ、情報処理装置１００によれば各行動の精度が向上する。
【００６６】
（４−２．行動認識機能について）
図７は、行動認識機能についての概要を示した説明図である。センサデータ作成部１１０が作成したセンサデータ２００についての行動情報２０２を行動認識部１１２は生成する。具体的には、センサデータ２００を取得した行動認識部１１２は、各行動に特化した行動判定部１１８が、センサデータ処理部１２０に対して当該各行動毎に特化した固有の処理を行わせる。センサデータ処理部１２０が、各行動毎の所定の処理を行い（符号２２４）、行動情報２０２を生成する。上記所定の処理の具体的な方法については、後述する。このようにして、行動認識部１１２は、各行動に特化した処理方法を有しているので、各行動を精度良く認識することができる。
【００６７】
（４−３．行動情報後処理機能について）
図８は、行動情報後処理機能についての概要を示した説明図である。行動認識部１１２が生成した行動情報について、行動管理部１１４が行動情報に対応する行動がなされた時刻と関連づけてデータ２２６として管理する。次に、行動情報後処理部１１６が、行動管理部１１４が管理している行動情報２２６に対して所定の後処理を行う。行動情報後処理部１１６は、ＦＩＦＯ形式で記録された行動毎のデータ２２８に対して、所定の後処理を行う。後処理としては、排他行動情報再処理部１４４と、誤認識行動情報再処理部１４６と、行動情報実時間調整部１４８とが行う。具体的な後処理方法については、以下で詳述する。その結果、後処理がなされた行動情報２１０が得られる。このようにして、行動認識部１１２が生成した行動情報に対して、所定の後処理がなされるので、ユーザの実際の行動と比較して誤認識等がない状態で、行動情報が生成される。
【００６８】
＜５．情報処理装置１００による情報処理方法の応用例＞
次に、図９〜図２０を参照しながら、情報処理方法の応用例について説明する。本実施形態に係る情報処理装置１００は、行動認識部１１２を有する。行動認識部１１２は、行動判定部１１８と、センサデータ処理部１２０とを有する。行動認識部１１２は、ユーザが行う特定の行動に特化した複数の行動判定部１１８を有する。具体的には、行動判定部１１８は、静止状態判定部１２２と、歩行・走行状態判定部１２４と、跳躍状態判定部１２６と、姿勢変化判定部１２８と、エレベータ搭乗判定部１３０と、電車搭乗判定部１３２と、右折・左折判定部１３４とを有する。本実施形態に係る情報処理装置１００によれば、各行動毎に特化した行動認識機能を有しており、当該各行動を精度良く把握することができる。センサデータ処理部１２０が、センサデータ演算部１３６と、特定領域除去部１３８と、低領域除去部１４０と、センサデータ記憶部１４２とを有し、各行動毎に行動判定部１１８の指示に応じて所定の処理を行う。
【００６９】
センサデータ演算部１３６は、センサデータに所定の演算を行う。特定領域除去部１３８は、センサデータの所定領域の範囲外を除去する。低領域除去部１４０は、センサデータの所定値以下の領域を除去する。センサデータ記憶部１４２は、センサデータをＦＩＦＯ形式で記録する。以下に各行動毎の行動認識方法について詳述する。
【００７０】
なお、本実施形態に係る情報処理装置１００が有するセンサデータ作成部１１０が作成するセンサデータは、加速度センサデータとジャイロセンサデータとを含む。加速度センサデータは、第一加速度センサデータと、第二加速度センサデータと、第三加速度センサデータとを有する。第一加速度センサデータとは、所定の座標軸に沿った加速度に関するデータである。また、第二加速度センサデータとは、第一加速度センサデータとは異なる座標軸に沿った加速度に関するデータであり、例えば、第一加速度センサデータの座標軸に直交する座標軸に沿う。また、第三加速度センサデータとは、第一加速度センサデータ及び第二加速度センサデータとは異なる座標軸に沿った加速度に関するデータであり、例えば、第一加速度センサデータ及び第二加速度センサデータの座標軸に直交する座標軸に沿う。ここで、以下の説明で参照する図１１〜１７で表記される、ｘ−ａｃｃは、第一加速度センサデータの一例であり、Ｘ軸、Ｙ軸、及びＺ軸の３軸から成る座標軸のうちＸ軸方向の加速度センサデータのことを指す。また、ｙ−ａｃｃは、第二加速度センサデータの一例であり、Ｙ軸方向の加速度センサデータのことを指す。また、ｚ−ａｃｃは、第三加速度センサデータの一例であり、Ｚ軸方向の加速度センサデータのことを指す。また、ｘ−ｇｙｒｏは、第一ジャイロセンサデータの一例であり、Ｘ軸、Ｙ軸、及びＺ軸の３軸から成る座標軸のうちＸ軸方向のジャイロセンサデータのことを指す。また、ｙ−ｇｙｒｏは、第二ジャイロセンサデータの一例であり、Ｙ軸方向のジャイロセンサデータのことを指す。また、ｚ−ｇｙｒｏは、第三ジャイロセンサデータの一例であり、Ｚ軸方向のジャイロセンサデータのことを指す。
【００７１】
（５−１．行動認識機能及び行動情報後処理機能について）
まず、行動認識方法及び行動情報後処理方法の流れについて、図９を参照しながら説明する。図９は、本実施形態に係る行動認識方法及び行動情報後処理方法の流れを説明する図である。ある時刻ｔｎのサンプル（ユーザ行動）に対して、入力信号としてセンサデータをセンサデータ作成部１１０が作成する。上記センサデータに対して、行動認識部１１２は、デジタルフィルタ処理（信号／統計処理）を行う（Ｓ１００）。その結果、行動認識部１１２は、各行動の特徴を代表する検出値を算出して、閾値処理を行う（Ｓ１０２）。その結果として、行動認識部１１２が、上記検出値が閾値の範囲外であると判定した場合には、行動管理部１１４は無効フラグを立て、各行動についてのフラグの状態管理を行う（Ｓ１０４）。また、行動認識部１１２が、上記検出値が閾値の範囲内であると判定した場合には、行動管理部１１４は有効フラグを立て、各行動についてのフラグの状態管理を行う（Ｓ１０４）。更に行動管理部１１４は、行動の有無を判定して（Ｓ１０６）、行動がある場合にはラベル化してＦＩＦＯ形式で記録する（Ｓ１０８）。行動管理部１１４は、行動の開始・終了時刻とその認識状態を記録する。次に、行動情報後処理部１１６が、上記の認識結果に対して後処理を行う（Ｓ１１０）。上記後処理としては、例えば、行動情報後処理部１１６の排他行動情報再計算部１４４が、排他行動の整合性を確保する処理を行うことが挙げられる。また、行動情報後処理部１１６の誤認識行動情報再計算部１４６が、経験則に基づいて誤認識を回避する処理を行うことも挙げられる。また、行動情報後処理部１１６の行動情報実時間調整部１４８が、デジタルフィルタの時間遅れを調整する処理を行うことも挙げられる。このようにして時刻ｔｎのサンプルに対する認識処理が行われる。特に、各行動に対応したデジタルフィルタリング機能を有する行動の認識方法については、以下で詳述する。
【００７２】
更に、過去の時刻ｔｎ−ｄの認識結果を取得する機能について図１０を参照しながら更に説明する。図１０は、行動情報後処理機能についての流れを説明する図である。行動管理部１１４は、時刻ｔｎ−ｄの認識結果について、指定時間としての時間遅れを算出する（Ｓ１２０）。行動管理部１１４は、ＦＩＦＯ形式で記録されたデータについて先頭から順番にラベルを走査する（Ｓ１２２）。次に、行動管理部１１４は、上記の指定時間前の時刻についてラベルの有無を判定する（Ｓ１２４）。その結果、時刻ｔｎ−ｄについて、行動の有無を認識することができる。
【００７３】
（５−２．一時停止しているのか、静止しているのかについての認識方法）
まず、図１１を参照しながら、ユーザが一時停止しているのか静止しているのかを認識する方法について説明する。図１１は、行動認識部１１２が、ユーザが一時停止しているのか、静止しているのかを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。一時停止しているのか、静止しているのかを認識するために、まず、行動判定部１１８のうち静止状態判定部１２２が、センサデータ処理部１２０に一時停止しているのか、静止しているのかを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【００７４】
次に、センサデータ記憶部１４２がｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃをＦＩＦＯ形式で記録する（Ｓ１０００）。センサデータ記憶部１４２に所定のデータ分だけ記録された後に、センサデータ演算部１３６は、センサデータ記憶部１４２からｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃを取得する。ここで、所定のデータは、例えば、情報処理装置１００に設定された時間分だけのデータと設定されていてもよいし、ユーザが設定した時間分だけのデータであってもよい。次に、センサデータ演算部１３６は、上記のｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃに関する夫々の分散値を算出する（Ｓ１００２）。また、次に、センサデータ演算部１３６は、上記夫々の分散値のうち、最も大きい分散値である静止判定用最大分散値（ｄｅｔ）を抽出する（Ｓ１００４）。
【００７５】
次に、静止状態判定部１２２が、上記の静止判定用最大分散値をセンサデータ処理部１２０から取得する。静止状態判定部１２２は、上記静止判定用最大分散値がユーザは静止していると認識する静止認識値Ｄ１より小さいか否かを判定する（Ｓ１００６）。静止判定用最大分散値がＤ１より小さくなく、つまりＤ１以上である場合には、静止状態判定部１２２は、ユーザが静止していないと判定する。すなわち、ユーザは、何かしらの行動を取っていることとなる。静止状態判定部１２２は、ユーザが静止していないという行動情報を生成する（Ｓ１０１４）。
【００７６】
一方、静止判定用最大分散値がＤ１よりも小さい場合には、静止状態判定部１２２は、上記の最大分散値についてＤ１より小さい時間が静止認識時間Ｔ１より長く続くか否かを判定する（Ｓ１００８）。ここで、静止認識時間Ｔ１とは、静止状態判定部１２２によってユーザが静止していると認識される最小の時間を指す。上記の静止判定用最大分散値についてＤ１より小さい時間がＴ１より長く続く場合には、静止状態判定部１２２はユーザが静止していると判定し、当該ユーザが静止しているという行動情報を生成する（Ｓ１０１０）。一方、上記の静止判定用最大分散値についてＤ１より小さい時間がＴ１より長く続かない場合には、静止状態判定部１２２はユーザが一時的に停止していると判定し、当該ユーザが一時的に停止しているという行動情報を生成する（Ｓ１０１２）。なお、Ｄ１及びＴ１については、予め情報処理装置１００に設定されていてもよいし、ユーザが情報処理装置１００に設定してもよい。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザが静止しているか、一時停止しているのか、その両者の何れでもなく何かしらの動きを取っているのかを精度良く認識することができる。
【００７７】
（５−３．歩行しているのか、走行しているのかについての認識方法）
次に、図１２を参照しながら、ユーザが歩行しているのか、走行しているのかを認識する方法について説明する。図１２は、行動認識部１１２が、ユーザが歩行、もしくは走行しているのかを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。歩行もしくは、走行しているのかを認識するために、まず、行動判定部１１８のうち歩行・走行状態判定部１２４が、センサデータ処理部１２０に歩行もしくは、走行しているのかを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【００７８】
次に、特定領域除去部１３８が、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃについて、ユーザが歩行もしくは走行していると認識される歩行及び走行認識周波数領域の範囲外の周波数を除去する（Ｓ２０００）。つまり、特定領域除去部１３８は、バンドパスフィルター（ＢＰＦ）としての機能を行うことができる。また、上記の歩行及び走行認識周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。次に、センサデータ記憶部１４２が、上記のような処理が実行されたｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃをＦＩＦＯ形式で記録する（Ｓ２００２）。次に、センサデータ記憶部１４２に所定のデータ分だけ記録された後に、センサデータ演算部１３６は、センサデータ記憶部１４２からｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃを取得する。ここで、所定のデータは、例えば、情報処理装置１００に設定された時間分だけのデータと設定される。
【００７９】
次に、センサデータ演算部１３６は、ＦＩＦＯ形式で所定のデータ分だけ記録されたｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃについて、簡略化自己相関関数（ＳＡＣＦ（Ｓｕｍｍａｒｙ Ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ Ｆｕｎｃｔｉｏｎ））を算出する。更に、センサデータ演算部１３６は、上記の簡略化自己相関関数（ＳＡＣＦ）に基づいて、強調された簡略化自己相関関数（ＥＳＡＣＦ（Ｅｎｈａｎｃｅｄ ＳＡＣＦ））を算出する（Ｓ２００６）。ＳＡＣＦのピークの経時的な発生は、センサデータにおける歩行及び走行の周期的な動きに対応する。しかしながら、ＳＡＣＦは、実際の歩行及び走行を表現する周波数の整数倍の周波数を有するデータをも含んでしまっている。そのため、センサデータ演算部１３６は、ＥＳＡＣＦを算出することで、余分なピークデータを除去して上記実際の歩行及び走行を表現する周波数のみを含んだデータを得ることができる。その結果、センサデータ演算部１３６は、上記ＥＳＡＣＦに基づくピークを算出することで（Ｓ２００８）、歩行・走行判定用周波数（ｆｒｅｑ）を算出することができる。
【００８０】
また、センサデータ処理部１２０がセンサデータ作成部１１０からセンサデータを取得した後、センサデータ記憶部１４２は、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃをＦＩＦＯ形式で記録する（Ｓ２０１０）。次に、センサデータ記憶部１４２に所定のデータ分だけ記録された後に、センサデータ演算部１３６は、センサデータ記憶部１４２からｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃを取得する。ここで、所定のデータは、例えば、情報処理装置１００に設定された時間分だけのデータと設定されていてもよい。
【００８１】
次に、センサデータ演算部１３６は、ＦＩＦＯ形式で所定のデータ分だけ記録されたｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃについて、夫々の分散値を算出する（Ｓ２０１２）。また、次に、センサデータ演算部１３６は、上記夫々の分散値のうち、最も大きい分散値である歩行・走行判定用最大分散値（ｖａｒ）を抽出する（Ｓ２０１４）。
【００８２】
次に、センサデータ演算部１３６は、上記した歩行・走行判定用周波数（ｆｒｅｑ）と歩行・走行判定用最大分散値（ｖａｒ）の積を求める（Ｓ２０１６）。すなわち、簡潔に説明すると、歩行・走行に関する単位時間当たりの歩数をｆｒｅｑで表現されており、歩行・走行に関する動きの大きさがｖａｒで表現されている。つまり、歩行・走行は、歩数と動きの大小で判断可能であり、ｆｒｅｑとｖａｒの積が、後述するように所定の領域の範囲内にある場合には、ユーザが歩行していると判断される。また、上記積が、上記所定の領域を超える場合には、ユーザが走行していると判断される。更に、上記積が、上記所定の領域にも満たない場合には、ユーザは歩行も走行もしていないと判断される。
【００８３】
次に、上記積について、低領域除去部１４０が、ユーザの歩行もしくは走行が誤認識されうる周波数領域を除去して、歩行もしくは走行しているかを判定するための歩行・走行判定データを算出する（Ｓ２０１８）。つまり、低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。
【００８４】
次に、歩行・走行状態判定部１２４が、歩行・走行判定データをセンサデータ処理部１２０から取得する。歩行・走行状態判定部１２４は、上記歩行・走行判定データの値が、ユーザが歩行していると認識するための下限値である最小歩行認識値Ｄ２よりも大きいか判定する（Ｓ２０２０）。また、歩行・走行状態判定部１２４は、上記歩行・走行判定データの値が、ユーザが歩行していると認識するための上限値である最大歩行認識値Ｄ３よりも小さいか判定する（Ｓ２０２０）。上記歩行・走行判定データの値が、Ｄ２よりも大きく、Ｄ３よりも小さい場合、歩行・走行状態判定部１２４は、ユーザが歩行しているという行動情報を生成する（Ｓ２０２２）。また、歩行・走行状態判定部１２４は、上記歩行・走行判定データの値が、Ｄ３よりも大きいか否かを判定する（Ｓ２０２４）。上記歩行・走行判定データの値が、Ｄ３よりも大きい場合、歩行・走行状態判定部１２４は、ユーザが走行しているという行動情報を生成する（Ｓ２０２６）。また、上記歩行・走行判定データの値が、Ｄ２以下である場合、歩行・走行状態判定部１２４は、歩行も走行もしていないという行動情報を生成する（Ｓ２０２８）。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザが歩行しているか、走行しているのか、その両者の何れでもない何かしらの行動を取っているのかを精度良く認識することができる。
【００８５】
一方で、センサデータ演算部１３６は、上記のｆｒｅｑを積分することもできる（Ｓ２０２８）。そして、上記の積分の結果によって、歩行・走行状態判定部１２４が、所定の時間におけるユーザの歩数についての行動情報を生成することができる。つまり、所定の時間において、ユーザがどれだけ歩いたかについても、情報処理装置１００によれば認識することができる。なお、当該所定の時間については、例えば、情報処理装置１００に設定された時間分であってもよいし、ユーザが設定した時間であってもよい。
【００８６】
（５−４．跳んでいるか否かについての認識方法）
次に、図１３を参照しながら、ユーザが跳躍しているのか否かを認識する方法について説明する。図１３は、行動認識部１１２が、ユーザが跳躍しているのか否かを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。跳躍しているのか否かを認識するために、まず、行動判定部１１８のうち跳躍状態判定部１２６が、センサデータ処理部１２０に跳躍しているのかを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【００８７】
次に、センサデータ演算部１３６が、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃについての大きさで表される跳躍加速度を算出する（Ｓ３０００）。次に、特定領域除去部１３８が、上記跳躍加速度についてユーザが跳躍していると認識される跳躍認識値領域の範囲外の周波数を除去する（Ｓ３００２）。つまり、特定領域除去部１３８は、バンドパスフィルター（ＢＰＦ）としての機能を行うことができる。また、上記の跳躍認識値領域は、ユーザが設定してもよいし、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。また、その結果、特定領域除去部１３８は、跳躍しているか否かを認識するための絶対値である補正跳躍加速度を算出する（Ｓ３００４）。具体的には、例えば、補正跳躍加速度は、跳躍加速度に比べて、跳躍したときに起こりうる情報処理装置１００の揺れや振動などに起因するデータ成分が除去されている。次に、低領域除去部１４０が、上記の補正跳躍加速度についてユーザの跳躍が誤認識されうる周波数領域を除去する（Ｓ３００６）。つまり、低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される周波数領域は、ユーザが設定してもよいし、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。また、その結果、低領域除去部１４０は、跳躍しているか否かを判定する跳躍状態判定値（ｄｅｔ）を算出する。
【００８８】
次に、跳躍状態判定部１２６が、跳躍状態判定値をセンサデータ処理部１２０から取得する。跳躍状態判定部１２６は、上記跳躍状態判定値が、ユーザが跳躍していると認識するための下限値である最小跳躍認識値Ｄ４よりも大きいか判定する（Ｓ３００８）。上記の跳躍状態判定値の値が最小跳躍認識値Ｄ４よりも大きい場合には、跳躍状態判定部１２６はユーザが跳躍しているという行動情報を生成する（Ｓ３０１０）。一方で、上記の跳躍状態判定値の値が最小跳躍認識値Ｄ４以下である場合には、跳躍状態判定部１２６はユーザが跳躍していないという行動情報を生成する（Ｓ３０１２）。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザが跳躍しているのか、していないのかを精度良く認識することができる。
【００８９】
（５−５．座っているのか立っているのかについての認識方法）
次に、図１４を参照しながら、ユーザが座っているのか立っているのかを認識する方法について説明する。図１４は、行動認識部１１２が、ユーザが座っているのか立っているのかを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。座っているのか立っているのかを認識するということは、もともと座っているユーザが立ったことを認識すること、もしくはもともと立っているユーザが座ることを認識することでもある。つまり、ユーザの姿勢変化を認識することである。このように、ユーザが姿勢変化をしているのかを認識するために、まず、行動判定部１１８のうち姿勢変化判定部１２８が、センサデータ処理部１２０に姿勢変化をしているのかを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【００９０】
次に、低領域除去部１４０が、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃの夫々についてユーザの姿勢変化が誤認識されうる周波数領域を除去する（Ｓ４０００）。低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される第一の周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。その結果、低領域除去部１４０は、ｘ−ａｃｃに基づくｘ−ｇｒａｖ、ｙ−ａｃｃに基づくｙ−ｇｒａｖ、及びｚ−ａｃｃに基づくｚ−ｇｒａｖを算出する。ｘ−ｇｒａｖは、第一加速度センサデータに基づく第一重力データの一例であり、Ｘ軸、Ｙ軸、及びＺ軸の３軸から成る座標軸のうちＸ軸方向の加速度センサデータのことを指す。ｙ−ｇｒａｖは、第二加速度センサデータに基づく第二重力データの一例であり、Ｘ軸、Ｙ軸、及びＺ軸の３軸から成る座標軸のうちＹ軸方向の加速度センサデータのことを指す。ｚ−ｇｒａｖは、第三加速度センサデータに基づく第三重力データの一例であり、Ｘ軸、Ｙ軸、及びＺ軸の３軸から成る座標軸のうちＺ軸方向の加速度センサデータのことを指す。
【００９１】
次に、センサデータ演算部１３６は、上記算出したｘ−ｇｒａｖが所定の時間前のｘ−ｇｒａｖからどれだけ変化したかを示す値δ（ｘ−ｇｒａｖ）を算出する（Ｓ４００２）。δ（ｘ−ｇｒａｖ）は、第一重力変化データの一例である。また、センサデータ演算部１３６は、上記算出したｙ−ｇｒａｖが所定の時間前のｙ−ｇｒａｖからどれだけ変化したかを示すδ（ｙ−ｇｒａｖ）を算出する（Ｓ４００２）。δ（ｙ−ｇｒａｖ）は、第二重力変化データの一例である。また、センサデータ演算部１３６は、上記算出したｚ−ｇｒａｖが所定の時間前のｚ−ｇｒａｖからどれだけ変化したかを示すδ（ｚ−ｇｒａｖ）を算出する（Ｓ４００２）。δ（ｚ−ｇｒａｖ）は、第一重力変化データの一例である。次に、センサデータ演算部１３６は、δ（ｘ−ｇｒａｖ）、δ（ｙ−ｇｒａｖ）、及びδ（ｚ−ｇｒａｖ）の大きさを表す姿勢変化値を算出する（Ｓ４００４）。当該姿勢変化値は、ユーザの姿勢変化を認識可能なものとする。
【００９２】
次に、低領域除去部１４０は、上記姿勢変化値についてユーザの姿勢変化が誤認識されうる領域を除去する（Ｓ４００６）。低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。その結果、低領域除去部１４０は、姿勢変化しているか否かを判定する姿勢変化判定値（ｄｅｔ）を算出する。また、上記の除去される領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。
【００９３】
次に、姿勢変化判定部１２８が、姿勢変化判定値をセンサデータ処理部１２０から取得する。姿勢変化判定部１２８は、ユーザが姿勢変化していると認識するための下限値である最小姿勢変化認識値Ｄ５よりも上記姿勢変化判定値が大きい場合、姿勢変化が行われていると判定する（Ｓ４００８）。姿勢変化が行われている場合に、姿勢変化判定部１２８は、既にユーザが立っているのか座っているのかを判定する（Ｓ４０１０）。ユーザが既に立っている場合には、姿勢変化が行われてユーザは座ることとなり、姿勢変化判定部１２８は、ユーザが座っているという行動情報を生成する（Ｓ４０１２）。また、ユーザが既に座っている場合には、姿勢変化が行われてユーザは立つこととなり、姿勢変化判定部１２８は、ユーザが立っているという行動情報を生成する（Ｓ４０１４）。つまり、一方、上記姿勢変化判定値がＤ５以下である場合、姿勢変化は行われておらず、姿勢変化判定部１２８は、姿勢変化に関する状態の変化はないという行動情報を生成する（Ｓ４０１６）。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザが姿勢変化を行っているのか、行っていないのかを精度良く認識することができる。すなわち、ユーザの姿勢変化について判定することに基づいて、ユーザが座っている状態にあるのか、立っている状態にあるのかを認識することができる。
【００９４】
（５−６．エレベータで上昇しているか下降しているかの認識方法）
次に、図１５を参照しながら、ユーザがエレベータに乗っているのか否かを認識する方法について説明する。図１５は、行動認識部１１２が、ユーザがエレベータに乗っているのか否かを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。このように、ユーザがエレベータに乗っているのか否かを認識するために、まず、行動判定部１１８のうちエレベータ搭乗判定部１３０が、センサデータ処理部１２０にエレベータに乗っているのか否かを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【００９５】
次に、低領域除去部１４０が、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃを基に、重力方向の加速度であると誤認識されうる周波数領域を除去する（Ｓ５０００）。低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。次に、センサデータ演算部１３６が、上記の周波数領域が除去された、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃに基づいて重力方向加速度センサデータ（ａｃｃ）を算出する（Ｓ５００２）。
【００９６】
一方、センサデータ演算部１３６が、重力の値を調整可能にするｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃの大きさで表される重力調整データを算出して（Ｓ５００４）、当該重力調整データをセンサデータ記憶部１４２に記録する（Ｓ５００６）。センサデータ演算部１３６は、所定のデータ分だけ記録された上記重力調整データについての分散値である重力調整分散値（ｖａｒ）を算出する（Ｓ５００８）。また、センサデータ演算部１３６は、所定のデータ分だけ記録された上記重力調整データについての平均値である重力調整平均データを算出する（Ｓ５００８）。
【００９７】
次に、センサデータ演算部１３６は、上記重力調整分散値が重力の調整を許容する最大の分散値である最大許容重力調整分散値Ｖ１よりも小さいか否か判定する（Ｓ５０１０）。上記重力調整分散値がＶ１以上である場合には、センサデータ演算部１３６は重力の値を更新しない（Ｓ５０１２）。上記の機能は、ユーザに付随する情報処理装置１００の向きによって、重力の微調整が必要な場合に行われるものであり、上記重力調整分散値がＶ１以上である場合には、調整後の重力の変化があまりにも大きく、実現象との乖離が大きくなりすぎるからである。
【００９８】
一方、上記重力調整分散値が重力の調整を許容する最大の分散値である最大許容重力調整分散値Ｖ１よりも小さい場合について説明する。センサデータ演算部１３６は引き続いて、上記の重力調整平均データが重力の調整を許容する最小の平均値である最小許容重力平均値Ａ１よりも大きく、上記重力調整平均データが重力の調整を許容する最大の平均値である最大許容重力平均値Ａ２よりも小さいか否か判定する（Ｓ５０１４）。上記重力調整平均データの値がＡ１よりも大きく、Ａ２よりも小さい場合には、当該重力調整平均データの値を調整後の重力とみなす。一方、上記重力調整平均データの値が、Ａ１以下もしくはＡ２以上である場合には、センサデータ演算部１３６は重力の値を更新しない（Ｓ５０１６）。
【００９９】
次に、低領域除去部１４０が、上記重力調整平均データについて重力であると誤認識されうる低領域を除去する（Ｓ５０１８）。低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。その結果、低領域除去部１４０は、補正重力調整平均データを算出する。
【０１００】
次に、センサデータ演算部１３６は、上記重力方向加速度センサデータと上記補正重力調整平均データとの差分を算出する（Ｓ５０２０）。つまり、ユーザの行動によって重力の変化があるのか否かによって、エレベータに乗っているのか否かを判定する。次に、低領域除去部１４０が、上記差分についてユーザがエレベータに乗っていると誤認識されうる周波数領域を除去して、上記ユーザがエレベータに乗っているか否かを判定するエレベータ昇降判定データを算出する。上記の除去される周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。
【０１０１】
次に、エレベータ搭乗判定部１３０が、エレベータ昇降判定データをセンサデータ処理部１２０から取得する。エレベータ搭乗判定部１３０は、エレベータ昇降判定データが所定値Ｄ６よりも大きいのかそれとも小さいのかといった判定（Ｓ５０２４）と、所定値Ｄ７よりも大きいのかそれとも小さいのかといった判定（Ｓ５０３２）を行う。所定値Ｄ６とは、ユーザがエレベータで上昇を始めたことを認識するための下限値であり、Ｄαの一例である。所定値Ｄ７とは、ユーザがエレベータで下降を始めたことを認識するための上限値であり、Ｄβの一例である。より具体的に説明すると、エレベータ搭乗判定部１３０は、当該エレベータ昇降判定データが最初は所定値Ｄ６よりも大きく、次に所定値Ｄ７よりも小さくなる場合には、ユーザがエレベータで上昇していたと判定する。そして、ユーザがエレベータで上昇していたという行動情報を生成する（Ｓ５０２４、Ｓ５０２６、Ｓ５０２８、Ｓ５０３２、Ｓ５０３４、Ｓ５０３８）。また、エレベータ搭乗判定部１３０は、当該エレベータ昇降判定データが最初は所定値Ｄ７よりも大きく、次に所定値Ｄ６よりも小さくなる場合には、ユーザがエレベータで下降していたと判定する。そして、ユーザがエレベータで下降していたという行動情報を生成する（Ｓ５０２４、Ｓ５０２６、Ｓ５０３０、Ｓ５０３２、Ｓ５０３４、Ｓ５０３６）。上記のような方法によれば、例えばエレベータで上昇し始めた状況と、その後の状況についての加速度センサデータに基づいてユーザの行動を認識するので、エレベータ搭乗中のユーザが何かしらの行動を取ることによる誤認識を防げる。
【０１０２】
更に、エレベータ昇降判定データが所定値Ｄ６以下であり、所定値Ｄ７以上であるかについても、エレベータ搭乗判定部１３０は、ユーザの行動を判定する（Ｓ５０４０）。ユーザがエレベータに乗っている場合には、エレベータが加速及び減速の状態にはないという行動情報を生成する（Ｓ５０４２）。すなわち、当該行動情報により、エレベータが停止もしくは等速度運動している状態にあることが分かる。また、ユーザがエレベータに乗っていない場合には、エレベータに乗っていないという行動情報を生成する（Ｓ５０４４）。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザがエレベータに乗って、上昇しているのか下降しているのかを精度良く認識することができる。すなわち、ユーザの上下方向の加速又は減速を検出することで、エレベータに搭乗しているのか否かを認識することができる。
【０１０３】
（５−７．電車に乗っているのか否かの認識方法）
次に、図１６を参照しながら、ユーザが電車に乗っているのか否かを認識する方法について説明する。図１６は、行動認識部１１２が、ユーザが電車に乗っているのか否かを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。このように、ユーザが電車乗っているのか否かを認識するために、まず、行動判定部１１８のうち電車搭乗判定部１３２が、センサデータ処理部１２０に電車に乗っているのか否かを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【０１０４】
次に、低領域除去部１４０は、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃを基に、ユーザが電車に乗っていると誤認識されうる周波数領域を除去する（Ｓ６０００）。低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される周波数領域は、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。次に、センサデータ演算部１３６が、上記周波数領域が除去されたｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃに基づいて、水平方向加速度センサデータ、及び垂直方向加速度センサデータを算出する（Ｓ６００２、Ｓ６００４）。ここで、水平方向とは、電車の走っている地面に対して平行な方向である。また、垂直方向とは、上記水平方向に対して垂直な方向を指す。
【０１０５】
次に、センサデータ記憶部１４２は、上記の水平方向加速度センサデータ、及び垂直方向加速度センサデータを所定のデータ分だけＦＩＦＯ形式で記録する（Ｓ６００６、Ｓ６００８）。ここで、所定のデータは、例えば、情報処理装置１００に設定された時間分だけのデータと設定されていてもよいし、ユーザが設定した時間分だけのデータであってもよい。上記のようにＦＩＦＯ形式で記録された水平方向加速度センサデータについて、センサデータ演算部１３６は水平方向分散値（ｈ−ｖａｒ）を算出する（Ｓ６０１０）。また、上記のようにＦＩＦＯ形式で記録された垂直方向加速度センサデータについて、センサデータ演算部１３６は垂直方向分散値（ｖ−ｖａｒ）を算出する（Ｓ６０１２）。水平方向分散値（ｈ−ｖａｒ）は、電車の走行時の水平方向の揺れ、振動の度合いを表現したものとなる。また、垂直方向分散値（ｖ−ｖａｒ）は、電車の走行時の垂直方向の揺れ、振動の度合いを表現したものとなる。
【０１０６】
更に、上記の垂直方向分散値（ｖ−ｖａｒ）が、最小の許容される垂直方向分散値である最小許容垂直分散値Ｖ１より大きく、かつ最大の許容される垂直方向分散値である最大許容垂直分散値Ｖ２より小さいかについて判定する（Ｓ６０１４）。上記の垂直方向分散値（ｖ−ｖａｒ）が、上記Ｖ１以下である場合、もしくは上記Ｖ２以上である場合には、センサデータ演算部１３６は、以下に述べる電車搭乗判定データ（ｄｅｔ）をゼロとする。すなわち、上記の垂直方向分散値（ｖ−ｖａｒ）が、上記Ｖ１以下である場合、もしくは上記Ｖ２以上である場合には、垂直方向分散値は、電車の走行時の揺れ、振動の度合いを表現するには適切ではないと判断されるため、センサデータ演算部１３６が電車搭乗判定データ（ｄｅｔ）をゼロと補正する。また、Ｖ１、Ｖ２については、例えば、情報処理装置１００に設定された値である。
【０１０７】
次に、センサデータ演算部１３６は、垂直方向分散値と水平方向分散値の何れが小さいかを判定する（Ｓ６０１６）。垂直方向分散値（ｖ−ｖａｒ）の方が小さい場合、センサデータ演算部１３６は、垂直方向分散値（ｖ−ｖａｒ）の所定分だけの積分値を算出する（Ｓ６０１８）。上記所定分については、例えば、情報処理装置１００に設定された分であってもよいし、ユーザが設定した分であってもよい。また、水平方向分散値（ｈ−ｖａｒ）の方が小さい場合、センサデータ演算部１３６は、水平方向分散値（ｈ−ｖａｒ）の所定分だけの積分値を算出する（Ｓ６０２０）。上記所定分については、例えば、情報処理装置１００に設定された分であってもよいし、ユーザが設定した分であってもよい。上記の積分により、センサデータ演算部１３６は、ユーザが電車に乗っているか否かを判定する電車搭乗判定データ（ｄｅｔ）を算出する。また、上述のように、上記の垂直方向分散値（ｖ−ｖａｒ）が、上記Ｖ１以下である場合、もしくは上記Ｖ２以上である場合には、センサデータ演算部１３６は、以下に述べる電車搭乗判定データ（ｄｅｔ）をゼロとする（Ｓ６０２８）。
【０１０８】
次に電車搭乗判定部１３２が、電車搭乗判定データをセンサデータ処理部１２０から取得する。電車搭乗判定部１３２は、電車搭乗判定データが、ユーザが電車に搭乗していると認識するための下限値である最小電車搭乗認識値Ｄ８よりも大きいか否かを判定する（Ｓ６０２２）。電車搭乗判定データが、Ｄ８よりも大きい場合には、電車搭乗判定部１３２は、ユーザが電車に乗っていると判定する。その場合には、電車搭乗判定部１３２は、ユーザが電車に搭乗しているという行動情報を生成する（Ｓ６０２４）。一方、電車搭乗判定データが、Ｄ８以下である場合には、電車搭乗判定部１３２は、ユーザが電車に乗っていないと判定する（Ｓ６０２６）。その場合には、電車搭乗判定部１３２は、ユーザが電車に搭乗していないという行動情報を生成する（Ｓ６０２６）。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザが電車に乗っているのか否かを精度良く認識することができる。
【０１０９】
なお、上述してきたような電車に乗っているのか否かの認識について、情報処理装置１００は、エレベータに乗っているのか否かを認識する方法と同様に、電車の加速状態から減速状態までを着目することができる。すなわち、電車に搭乗していて、電車が駅に停車している場合、認識結果として、後述するように「ｆａｌｓｅ」のフラグが立てられる。つまり、電車が停車した場合、もしくは、電車が駅に着いてユーザが電車から降りて歩き始めた場合には、電車搭乗判定部１３２は、電車に乗っていないと判定する。かかる場合、後述するように、行動情報後処理部１１６は、所定の後処理を行う。すなわち、電車の加速状態から減速状態に基づいて、所定の条件を満たした場合には電車に乗っていた、もしくは、電車に乗っていると後処理する。
【０１１０】
（５−８．右折もしくは左折しているのかの認識方法）
次に、図１７を参照しながら、ユーザが右折もしくは左折しているのかを認識する方法について説明する。図１７は、行動認識部１１２が、ユーザが右折もしくは左折しているのかを認識する方法についての流れを示した説明図である。まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に行動認識部１１２が、上記センサデータをセンサデータ作成部１１０から取得する。このように、ユーザが右折もしくは左折しているのかを認識するために、まず、行動判定部１１８のうち右折・左折判定部１３４が、センサデータ処理部１２０に電車に乗っているのか否かを認識するための信号を送信する。また、センサデータ処理部１２０は、センサデータ作成部１１０からセンサデータを取得する。
【０１１１】
次に、低領域除去部１４０は、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃを基に、ユーザが右折もしくは左折していると誤認識されうる周波数領域を除去する（Ｓ７０００）。低領域除去部１４０は、ローパスフィルター（ＬＰＦ）としての機能を行うことができる。また、上記の除去される周波数領域は、ユーザが設定してもよいし、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。
【０１１２】
センサデータ演算部１３６が、上記周波数領域が除去されたｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃと、ｘ−ｇｙｒｏ、ｙ−ｇｙｒｏ、及びｚ−ｇｒｙｏと、に基づいて重力方向の角速度を算出する（Ｓ７００２）。次に、特定領域除去部１３８が、上記角速度について、ユーザが右折もしくは左折していると認識される曲がり認識領域の範囲外の値を除去して、補正角速度（ｄｅｔ）を算出する（Ｓ７００４）。特定領域除去部１３８は、バンドパスフィルター（ＢＰＦ）としての機能を行うことができる。また、上記の曲がり認識領域は、ユーザが設定してもよいし、予め情報処理装置１００に設定されていてもよいし、情報処理装置１００がユーザ独自の行動パターンを取得してユーザの行動に応じて設定されてもよい。
【０１１３】
次に右折・左折判定部１３４が、補正角速度をセンサデータ処理部１２０から取得する。右折・左折判定部１３４は、補正角速度がユーザは右折していると認識するための上限値である最大右折認識値Ｄ９よりも小さいか否かを判定する（Ｓ７００６）。補正角速度がＤ９よりも小さい場合、右折・左折判定部１３４が、ユーザは右折しているという行動情報を生成する（Ｓ７００８）。一方、補正角速度がＤ９以上である場合であって、ユーザが左折していると認識するための下限値である最小左折認識値Ｄ１０よりも大きい場合には、右折・左折判定部１３４は、ユーザは左折していると判定する（Ｓ７０１０）。補正角速度がＤ１０よりも大きい場合、右折・左折判定部１３４は、ユーザは左折しているという行動情報を生成する（Ｓ７０１２）。更に、補正角速度がＤ９以上であって、Ｄ１０以下である場合には、右折も左折もしていないという行動情報を生成する（Ｓ７０１４）。ここで、本実施形態においてＤ９は、負の値を有し、Ｄ１０は、正の値を有する。このように、本実施形態に係る情報処理装置１００ではユーザの各行動に特化したセンサデータ処理機能により、ユーザが右折しているのか、もしくは左折しているのかを精度良く認識することができる。
【０１１４】
（５−９．行動情報後処理方法について）
次に、行動情報後処理機能について、図１８〜図２０を参照しながら説明する。図１８は、行動情報が行動管理部１１４によって管理された後に、行動情報後処理部１１６によって行動の認識結果が判定され、ラベル化された状態を示した概念図である。矢印２３０はＦＩＦＯの走査方向を指している。行動管理部１１４は、行動情報を当該行動情報に対応する行動がなされた時刻と関連付けて管理している。そして、行動情報後処理部１１６は、所定のサンプリングレート毎に、行動が行われたことを示す「ｔｒｕｅ」か、行動が行われなかった「ｆａｌｓｅ」のフラグが立てられる。上記所定のサンプリングレートは例えば、３２Ｈｚが挙げられる。
【０１１５】
行動情報後処理部１１６は、上記フラグの内容を元の内容とは異なる内容に変更する再処理を行うことができる。例えば、行動情報後処理部１１６が有する、排他行動情報再処理部１４４は、ユーザが同時に２つ以上の行動を取ることはできない排他的特性に基づいて各行動に関する単位時間毎の行動情報を再処理する。そして、排他行動情報再処理部１４４は、フラグの内容を元の内容とは異なる内容に変更することができる。上記排他的特性について更に詳細に説明する。以下の表１に示すように、例えば、歩行と、走行と、跳躍とをユーザは同時に行うことはできない。しかし、上述してきたような行動認識部１１２による行動情報の生成過程では、歩行と、走行と、走行とがユーザによって同時に行われると判定されうる。そこで、排他行動情報再処理部１４４は、このような排他的な関係にある行動について、単位時間ごとの行動情報を再処理する。表１に示すように、排他関係が共にＡと表記されている「静止している」状態と、「一時停止している」状態は、排他関係にある。すなわち、これらの行動状態は同時に起こりえない。また、排他関係が共にＢと表記されている「歩行している」状態と、「走行している」状態と、「跳躍している」状態とは、排他関係にある。すなわち、これらの行動状態は同時に起こりえない。また、排他関係が共にＣと表記されている「座っている」状態と、「立っている」状態とは、排他関係にある。すなわち、これらの行動状態は同時に起こりえない。また、排他関係が共にＤと表記されている「エレベータに上昇している」状態と、「エレベータで下降している」状態と、「電車に乗っている」状態とは、排他関係にある。すなわち、これらの行動状態は同時に起こりえない。また、排他関係が共にＥと表記されている「右折している」状態と、「左折している」状態とは、排他関係にある。すなわち、これらの行動状態は同時に起こりえない。排他行動情報再処理部１４４が、この場合、どちらの行動状態を選択するのかについては、例えば、行動管理部１１４に管理されているユーザの過去の行動情報に基づいて、前後の行動との関係において、どちらの行動状態を選択しやすいかを統計的に処理してもよい。また、その他の選択方法であってもよい。選択されなかった行動情報については、排他行動情報再処理部１４４が排除する。排他行動情報再処理部１４４が、行動はなかったものとする行動情報を作成してもよい。何れにしても、排他行動情報再処理部１４４は、符号２３２にあるように上記フラグの「ｔｒｕｅ」と表示されていた部分を「ｆａｌｓｅ」と表示し直す。
【０１１６】
【表１】
【０１１７】
また、図１９は、センサデータに対して、行動認識部１１２による処理によって得られる行動情報では、当該処理のため時間遅れが生じていることを示している。例えば、時刻ｔｎで処理された行動は、実際にはｔｎ’で行われたものである。行動情報後処理部１１６は、行動情報実時間調整部１４８を有する。行動情報実時間調整部１４８が行動毎のこの時間遅れを認識していて、ｔｎを、ｔｎ’に補正することで、行動毎の正確な認識時刻に直すことができる。
【０１１８】
また、行動情報後処理部１１６は、誤認識行動情報再処理部１４６も有する。誤認識行動情報再処理部１４６は、ある行動について、当該行動の所要時間が極端に短すぎる場合には、上記行動に関する行動情報はノイズであって、実際には行動が行われていなかったものと処理する。例えば、行動認識部１１２によって、ユーザが「走行している」という行動情報を生成した場合であっても、走行に要した時間が極端に短かった場合には、誤認識行動情報再処理部１４６は、上記行動情報をノイズとみなす再処理をする。また、誤認識行動情報再処理部１４６は、本来起こりえない行動に関する行動情報であるものについては、実際には行動が行われていなかったものと処理する。例えば、行動認識部１１２によって、ユーザが「座っている」状態において、「歩行している」状態が認識されたら、「座っている」のではなくて「立っている」と判定し直す。このように、誤認識行動情報再処理部１４６は、各行動に関する行動情報が、各行動を取るのに必要となる行動情報必要条件を満たしていない場合には上記行動に関する行動情報を修正する。
【０１１９】
次に、図２０は、ＦＩＦＯに格納されている２つの行動情報の認識結果について、現在時刻（ｔｃｕｒｒｅｎｔ）に対する指定時間（ｔｔｉｍｅ−ｄｅｌａｙ）前の時刻（ｔｐｏｉｎｔ−ｏｆ−ｉｎｔｅｒｅｓｔ）における行動の有無を行動管理部１１４が取得する様子を概念的に示したものである。図２０に示すように、例えばｔｎの存在する位置が時間軸に対して、行動Ａと行動Ｂで異なってくる。より具体的には、図１８を参照しながら説明してきた処理や図１９を参照しながら説明した処理を、行動情報後処理部１１６が行った後、ＦＩＦＯには、図２０に示すような状態で各行動情報が記録される。このように各行動情報が記録されていて、過去の各行動情報について時間調整がなされているので、行動管理部１１４は、例えばデータ制御部１５０に容易に過去の行動情報を送信することができる。
【０１２０】
＜６．第１の実施形態の変形例について＞
次に、図２１〜図２３を参照しながら、本発明の第１の実施形態の変形例について説明する。なお、情報処理装置１０１による情報処理方法の概要については、図４〜図８を参照しながら説明したような情報処理装置１００による情報処理方法の概要と実質的に同一であるので、かかる内容については説明を省略する。
【０１２１】
まず、図２１を参照しながら、同変形例に係る情報処理装置１０１の機能構成について説明する。図２１は、同変形例に係る情報処理装置１０１の機能構成例を示す説明図である。
【０１２２】
情報処理装置１０１は、センサデータ作成部１１０と、行動認識部１１２と、行動管理部１１４と、行動情報後処理部１１７と、データ制御部１５０と、記憶部１５２と、表示制御部１５４と、表示画面１６０とを有する。行動判定部１１８は、静止状態判定部１２２と、歩行・走行状態判定部１２４と、跳躍状態判定部１２６と、姿勢変化判定部１２８と、エレベータ搭乗判定部１３０と、電車搭乗判定部１３２と、右折・左折判定部１３４とを有する。センサデータ処理部１２０は、センサデータ演算部１３６と、特定領域除去部１３８と、低領域除去部１４０と、センサデータ記憶部１４２とを有する。行動情報後処理部１１７は、排他行動情報再処理部１４４と、誤認識行動情報再処理部１４６と、行動情報実時間調整部１４８と、行動間比較再処理部１４９とを有する。
【０１２３】
情報処理装置１０１において、センサデータ作成部１１０、行動認識部１１２、及び行動管理部１１４については、第１の実施形態に係る情報処理装置１００のセンサデータ作成部１１０、行動認識部１１２、及び行動管理部１１４と実質的に同一である。また、データ制御部１５０、記憶部１５２、表示制御部１５４、及び表示画面１６０についても、情報処理装置１００のデータ制御部１５０、記憶部１５２、表示制御部１５４、及び表示画面１６０と実質的に同一である。また、排他行動情報再計算部１４４、誤認識行動情報再計算部１４６、及び行動情報実時間調整部１４８についても、情報処理装置１００の排他行動情報再計算部１４４、誤認識行動情報再計算部１４６、及び行動情報実時間調整部１４８と実質的に同一である。そのため、本実施形態では、行動情報後処理部１１７の行動間比較再処理部１４９について中心に説明し、上記第１の実施形態と同様の構成についての説明は省略する。
【０１２４】
行動情報後処理部１１７は、行動管理部１１４により入力された行動情報に対して所定の後処理を行う。本変形例では、行動間比較再処理部１４９が上記後処理の一部を行う。行動間比較再処理部１４９は、所定時間内に行われた行動について、類似しているか否かに関する類似行動情報に基づいて、類似していると判定した所定の２つ以上の上記行動についての夫々の上記行動情報の合計時間を比較する。更に、行動間比較再処理部１４９は、合計時間が最も長い行動情報を前記所定時間の行動情報として選択する。上記の類似行動情報は、各行動夫々が互いに類似しているか否かを表す情報のことであり、例えば、センサデータ記憶部１４２や他のデータベース等に記憶されている。
【０１２５】
行動間比較再処理部１４９による処理について、より具体的に、図２２に示す例を参照しながら説明する。図２２は、同変形例についての情報処理方法の一例を示す説明図である。
【０１２６】
まず、図２２の（ａ）に示すように、行動認識部による処理によって、所定時間において、そのうちの前半に自動車に搭乗していたと判定され、後半にバスに搭乗していたと判定された場合を例に説明する。この例では、上記所定時間は５０秒とする。この場合、まず、行動間比較再処理部１４９は、類似行動情報に基づいて、自動車に搭乗するという行動とバスに搭乗するという行動とが類似しているか否かについて判定し、かかる２つの行動は類似していると判定する。そして、（ａ）に示す例では、自動車に搭乗していた時間は３メモリ分（１５秒間）であり、バスに搭乗していた時間は７メモリ分（３５秒間）である。すなわち、自動車に搭乗していた時間よりもバスに搭乗していた時間が長いことから、行動間比較再処理部１４９は、所定時間内において、バスの搭乗のみが行われていたものと処理をする。
【０１２７】
次に、図２２の（ｂ）に示すように、行動認識部による処理によって、所定時間において、自動車、バス、自動車、バス、自動車の順に搭乗していたと判定された場合を例に説明する。この場合も、まず、行動間比較再処理部１４９は、類似行動情報に基づいて、自動車に搭乗するという行動とバスに搭乗するという行動とが類似しているか否かについて判定し、かかる２つの行動は類似していると判定する。そして、（ｂ）に示す例では、自動車に搭乗していた時間は、１メモリ分が３箇所あることから合計で３メモリ分（１５秒間）であり、バスに搭乗していた時間は、３メモリ分と４メモリ分とが１箇所ずつあることから合計で７メモリ分（３５秒間）である。すなわち、自動車に搭乗していた合計時間よりもバスに搭乗していた合計時間が長いことから、行動間比較再処理部１４９は、所定時間内において、バスの搭乗のみが行われていたものと処理をする。
【０１２８】
次に、図２２の（ｃ）に示すように、行動認識部による処理によって、所定時間において、自動車、電車、バスの順に搭乗していたと判定された場合を例に説明する。このように、３つの乗物についての搭乗が認識された場合にも、まず、行動間比較再処理部１４９は、類似行動情報に基づいて、夫々の乗物に搭乗するという行動が類似しているか否かについて判定し、かかる３つの行動は類似していると判定する。そして、（ｃ）に示す例では、自動車に搭乗していた時間は、２メモリ分（１０秒間）であり、電車に搭乗していた時間は６メモリ分（３０秒間）であり、バスに搭乗していた時間は２メモリ分（１０秒間）である。すなわち、電車に搭乗していたと判定された時間が最も長いことから、行動間比較再処理部１４９は、所定時間内において、電車の搭乗のみが行われていたものと処理をする。
【０１２９】
図２２に示した例は、自動車等に搭乗していたと判定された場合のものであり、後述する第２の実施形態に係る乗物搭乗判定部５３２による行動認識結果に対するものを例に説明したが、行動間比較再処理部１４９による処理はかかる例に限定されない。すなわち、自動車、バス、及び電車のように、上記類似行動情報に基づいて類似していると判定される２つ以上の行動であればいずれのものでもよい。
【０１３０】
このように、５０秒程度の短時間で、自動車、バス、及び電車といった複数の乗物に搭乗することは現実的に想定し難いが、行動間比較再処理部１４９が上述したような後処理を行うことで、行動認識結果が現実のユーザの行動をより精度良く反映したものとなる。なお、所定時間は、上述の例では５０秒としたが、かかる例に限定されない。また、上記所定時間は、予め設定されていてもよいし、ユーザが設定してもよい。通常、車、バス、電車等の乗物に搭乗する時間は、短くても数分である。つまり、上記の所定時間は、実際に乗物に搭乗している時間よりも短い。そのため、行動間比較再処理部１４９が後処理をする時間は、実際にユーザが乗物に搭乗している時間と比較すると誤差の範囲に相当するものであり、上述のように行動間比較再処理部１４９が後処理をしても、行動認識結果の精度を悪くするものではない。
【０１３１】
次に、図２３を参照しながら、行動認識方法及び行動情報後処理方法の流れについて、図２３を参照しながら説明する。図２３は、同変形例に係る行動認識方法及び行動情報後処理方法の流れを示す説明図である。同変形例において、ステップＳ１００、１０２、１０４、１０６、及び１０８で行われる処理方法は、図９を参照しながら説明した本発明の第１の実施形態に係る行動認識方法及び行動情報後処理方法の流れにおけるステップＳ１００、１０２、１０４、１０６、及び１０８で行われる処理方法と実質的に同一である。そのため、本変形例では、ステップＳ１１１で行われる処理方法について中心に説明し、上記第１の実施形態と同様の処理方法についての説明は省略する。
【０１３２】
ステップＳ１１１では、ステップＳ１００〜Ｓ１０８で行われる処理により得られた行動認識結果に対して、行動情報後処理部１１７が後処理を行う。上記後処理としては、例えば、行動情報後処理部１１６の排他行動情報再計算部１４４が、排他行動の整合性を確保する処理を行うことが挙げられる。また、行動情報後処理部１１６の誤認識行動情報再計算部１４６が、経験則に基づいて誤認識を回避する処理を行うことも挙げられる。また、行動情報後処理部１１６の行動情報実時間調整部１４８が、デジタルフィルタの時間遅れを調整する処理を行うことも挙げられる。行動情報後処理部１１６の行動間比較再処理部１４９が、多数決により信頼性を向上させるための処理を行うことも挙げられる。かかる多数決による処理とは、図２２を参照しながら説明したように、所定時間における２つ以上の行動の行動情報に関する所定の評価値を比較して、大きい方の上記評価値を有する行動情報に対応する行動が、上記所定時間に行われていたと処理することを指す。例えば、行動間比較再処理部１４９は、ラベル化された行動認識結果について、ある一定時間内における夫々の行動の合計時間を算出して、その中で最も長い時間のものを有効として、それ以外を無効として扱う。上記の行動情報後処理部１１７の後処理については、図１８〜図２２を参照しながら説明したため、ここでは詳細な説明は省略するが、これらの後処理が行われることにより、情報処理装置１０１によって算出された行動認識結果の信頼性がより向上する。
【０１３３】
＜７．本発明の第２の実施形態に係る情報処理装置５００の機能構成＞
次に、図２４を参照しながら、本発明の第２の実施形態に係る情報処理装置５００の機能構成について説明する。図２４は、本発明の第２の実施形態に係る情報処理装置５００の機能構成例を示す説明図である。情報処理装置５００は、ユーザの行動に依存したセンサデータの特徴ベクトルの算出機能、識別関数の演算機能及び閾値の判定機能を特徴の一つとして有する。
【０１３４】
情報処理装置５００は、センサデータ作成部１１０と、行動認識部５１２と、行動管理部１１４と、行動情報後処理部１１７と、データ制御部１５０と、記憶部１５２と、表示制御部１５４と、表示画面１６０とを有する。行動認識部５１２は、行動判定部５１８と、センサデータ処理部５２０とを有する。センサデータ処理部５２０は、センサデータ演算部５３６と、センサデータ記憶部１４２とを有する。行動情報後処理部１１７は、排他行動情報再処理部１４４と、誤認識行動情報再処理部１４６と、行動情報実時間調整部１４８と、行動間比較再処理部１４９とを有する。行動判定部５１８は、静止状態判定部１２２と、歩行・走行状態判定部１２４と、跳躍状態判定部１２６と、姿勢変化判定部１２８と、エレベータ搭乗判定部１３０と、乗物搭乗判定部５３２と、右折・左折判定部１３４とを有する。センサデータ処理部１２０は、センサデータ演算部５３６と、特定領域除去部１３８と、低領域除去部１４０と、センサデータ記憶部１４２とを有する。
【０１３５】
情報処理装置５００において、センサデータ作成部１１０、行動管理部１１４、及びデータ制御部１５０については、第１の実施形態に係る情報処理装置１００のセンサデータ作成部１１０、行動管理部１１４、及びデータ制御部１５０と実質的に同一である。また、行動情報後処理部１１７については、第１の実施形態の変形例に係る情報処理装置１０１の行動情報後処理部１１７と実質的に同一である。また、記憶部１５２、表示制御部１５４、及び表示画面１６０についても、第１の実施形態に係る情報処理装置１００の記憶部１５２、表示制御部１５４、及び表示画面１６０と実質的に同一である。また、静止状態判定部１２２及び歩行・走行状態判定部１２４についても、情報処理装置１００の静止状態判定部１２２及び歩行・走行状態判定部１２４と実質的に同一である。また、跳躍状態判定部１２６及び姿勢変化判定部１２８についても、情報処理装置１００の跳躍状態判定部１２６及び姿勢変化判定部１２８と実質的に同一である。また、エレベータ搭乗判定部１３０及び右折・左折判定部１３４についても、第１の実施形態に係る情報処理装置１００のエレベータ搭乗判定部１３０及び右折・左折判定部１３４と実質的に同一である。そのため、本実施形態では、行動認識部５１２の乗物搭乗判定部５１８及びセンサデータ処理部５２０のセンサデータ演算部５３６について中心に説明し、上記第１の実施形態及びその変形例と同様の構成についての説明は省略する。
【０１３６】
行動認識部５１２は、センサデータ作成部１１０からセンサデータを取得する。行動認識部５１２は、当該センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する。行動認識部５１２は、センサデータ演算部５３６を含むセンサデータ処理部５２０を有する。センサデータ演算部５３６は、センサデータの一例である加速度センサデータに基づいて特徴ベクトルを算出する。そして、センサデータ演算部５３６は、上記特徴ベクトルを乗物の種類毎に設定された識別関数に代入して、当該識別関数の値を算出する。行動認識部５１２は、ユーザが所定の乗物へ搭乗したか否かについての判定を行う乗物搭乗判定部５１８を更に有し、乗物搭乗判定部５１８の判定結果に基づいて行動情報を生成する。乗物搭乗判定部５１８は、センサデータ演算部５３６により算出された上記識別関数の値が、当該識別関数に対応する乗物に乗っていることを認識する際に用いられる乗物搭乗認識値より大きいか否か判定する。
【０１３７】
上記の特徴ベクトルには、例えば、センサデータから生成される、垂直方向又は水平方向の平均値、分散値、及び周波数等といった、夫々の乗物への搭乗を表すための必要な物理量が含まれる。上記識別関数は、統計的に有意な数のデータに基づいて、一般的な機械学習の手段に則って、夫々の乗物毎に予め設定されている。当該データとは、決まった乗物に乗っている際の実測の特徴ベクトルである。なお、上記識別関数は、予めセンサデータ記憶部１４２に記憶されているが、ユーザ入力により更新されてもよい。上記の乗物は、限定されるものではないが、例えば、電車、自動車、バス、及び自転車等が挙げられる。
【０１３８】
このように、情報処理装置５００では、センサデータ記憶部１４２に乗物毎に識別関数が設定されており、デジタルフィルタの設計に対して、識別関数の設計は簡易であるため、装置の大型化等の懸念なく、判定する乗物の種類を増加することができる。例えば、以下の表２に示すように、加速度センサに基づいて、星印を付した複数の乗物の夫々に搭乗しているか否かを容易に判定することができる。また、乗物搭乗判定部５３２は、夫々の乗物に特化した識別関数に基づいて乗物に搭乗しているか否かを判定するため、ユーザが搭乗する乗物の加速度の変化が大きくなくても、夫々の乗物に搭乗しているか否かをより精度良く判定することができる。また、特徴ベクトルの算出方法は、夫々の乗物で共通しており、識別関数の設定のみが乗物毎で異なるため、より単純な方法でユーザが乗物に搭乗しているか否かについて判定することができる。更に、識別関数については、予め設定されたものを、ユーザが事後的に学習させ更新することもできるので、例えば、時代の変遷に伴う乗物の動きの変化に応じて、識別関数を更新することが可能となる。更に、行動間比較再処理部１４９等の行動情報後処理部１１６が後処理を行うことで、数十秒程度の短い時間で、複数の乗物に何度も乗り換えるという行動認識結果が生成しまう懸念もなく、精度の良い行動認識結果を得ることができる。
【０１３９】
【表２】
【０１４０】
＜８．情報処理装置５００による情報処理方法の応用例＞
次に、図２５及び図２６を参照しながら、情報処理方法の応用例について説明する。なお、情報処理装置５００による情報処理方法の概要については、情報処理装置１００による情報処理方法の概要で説明したものと実質的に同一であるので、かかる内容については説明を省略する。
【０１４１】
（８−１．行動認識機能及び行動情報後処理機能について）
図２５は、情報処理装置５００の情報処理方法の流れを示す説明図である。図２５のステップＳ１０２、１０４、１０６、及び１０８で行われる処理方法は、図９を参照しながら説明したステップＳ１０２、１０４、１０６、及び１０８で行われる処理方法と実質的に同一である。また、ステップＳ１１１で行われる処理方法は、図２３を参照しながら説明したステップＳ１１１で行われる処理方法と実質的に同じである。そのため、ここでは、ステップＳ２００で行われる処理について中心に説明し、図９及び図２３で説明したものと同様の処理についての説明は省略する。また、図１０を参照しながら説明した過去の時刻ｔｎ−ｄの認識結果を取得する機能については、本実施形態においても実質的に同様の機能が実行されるので、ここではその説明は省略する。
【０１４２】
ステップＳ２００では、行動認識部５１２は、入力信号としてセンサデータ作成部１１０が作成したセンサデータに対して、特徴ベクトルを算出し、乗物の種類毎に設定されている識別関数により、当該識別関数の値を出力する。ステップＳ２００で行われる処理については、図２６を参照しながら以下で詳細に説明する。
【０１４３】
（８−２．乗物に搭乗しているのか否かについての認識方法）
次に、図２６を参照しながら、ユーザが乗物に搭乗しているのか否かについて認識する方法について説明する。図２６は、行動認識部５１２により、ユーザが乗物に搭乗しているか否かを認識する方法についての流れを示した説明図である。
【０１４４】
まず、センサデータ作成部１１０が、ユーザ行動１５６を感知してセンサデータを作成する。次に、行動認識部５１２が、上記センサデータをセンサデータ作成部１１０から取得する。ユーザが乗物に乗っているか否かを認識するために、まず、乗物搭乗判定部５１８が、センサデータ処理部５２０に乗物に乗っているか否かを認識するための信号を送信する。また、センサデータ処理部５２０は、センサデータ作成部１１０からセンサデータを取得する。
【０１４５】
センサデータ演算部５３６は、ｘ−ａｃｃ、ｙ−ａｃｃ、及びｚ−ａｃｃに関する特徴ベクトルを算出する（Ｓ８０００）。特徴ベクトルには、例えば、センサデータに由来する、垂直方向又は水平方向の平均値、分散値、周波数等の複数の特徴量が含まれる。この特徴ベクトルは、ユーザが搭乗している乗物の種類によらず、同じ方法で算出されてよい。
【０１４６】
次に、センサデータ演算部５３６は、特徴ベクトルをセンサデータ記憶部１４２から取得した識別関数に代入して、当該識別関数の値を出力する（Ｓ８００２）。ここで、所定の識別関数は、乗物の種類毎に設定され、非線形式又は線形式の関数である。上記識別関数は、予めセンサデータ記憶部１４２に記憶されているものであってもよいし、ユーザ入力により更新されてもよい。また、上記の乗物としては、例えば、電車、自動車、バス、及び自転車等が挙げられる。
【０１４７】
次に、乗物搭乗判定部５１８により、出力された前記識別関数の値が、当該識別関数に関する乗物に乗っていると判定して、前記乗物に乗っていることを認識するための乗物搭乗認識値Ｄ１１より大きいか否かを判定する。（Ｓ８００４）。上記の乗物搭乗認識値Ｄ１１は、乗物の種類によって異なっていてよい。
【０１４８】
次に、上記識別関数の値が上記乗物搭乗認識値Ｄ１１より大きい場合には、乗物搭乗判定部５１８は、ユーザが所定の乗物に乗っているという行動情報を生成する（Ｓ８００６）。例えば、上記の処理が、ユーザが電車に乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザが電車に乗っているという行動情報を生成する。また、例えば、上記の処理が、ユーザがバスに乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザがバスに乗っているという行動情報を生成する。また、例えば、上記の処理が、ユーザが自動車に乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザが自動車に乗っているという行動情報を生成する。また、例えば、上記の処理が、ユーザが自転車に乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザが自転車に乗っているという行動情報を生成する。
【０１４９】
上記の夫々の乗物毎のユーザが搭乗しているか否かの判定は、同時に行われてもよい。それにより例えば、５０秒程度の短時間で、ユーザが自動車及びバスに乗っているという行動認識結果が得られる場合もある。しかし、この場合には、例えば、図２１〜図２３を参照しながら説明したように、行動間比較再処理部１４９が、自動車及びバスのうちの長く乗っていたと判断される方の乗物にのみ上記時間に搭乗していたと再処理をする。行動間比較再処理部１４９がこのような後処理を行うか否かについては、予め情報処理装置５００に設定されていてもよいし、ユーザ操作により入力されてもよい。
【０１５０】
一方、上記識別関数の値が上記乗物搭乗認識値Ｄ１１以下である場合には、乗物搭乗判定部５１８は、ユーザが所定の乗物に乗っていないという行動情報を生成する（Ｓ８００８）。例えば、上記の処理が、ユーザが電車に乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザが電車に乗っていないという行動情報を生成する。また、例えば、上記の処理が、ユーザがバスに乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザがバスに乗っていないという行動情報を生成する。また、例えば、上記の処理が、ユーザが自動車に乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザが自動車に乗っていないという行動情報を生成する。また、例えば、上記の処理が、ユーザが自転車に乗っているか否かを判定しているものである場合には、乗物搭乗判定部５１８は、ユーザが自転車に乗っていないという行動情報を生成する。
【０１５１】
＜９．情報処理装置１００、５００のハードウェア構成例＞
上記装置が有する各構成要素の機能は、例えば、図２１に示すハードウェア構成を有する情報処理装置により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図２１は、上記装置の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。この情報処理装置の形態は任意である。例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯情報端末、ゲーム機、又は各種情報家電等の形態がこれに含まれる。
【０１５２】
図２１に示すように、上記の情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４とにより構成される。また、上記の情報処理装置はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４とにより構成される。さらに上記の情報処理装置は入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。
【０１５３】
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。
【０１５４】
入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。
【０１５５】
出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のディスプレイ装置が挙げられる。又、出力部９１８は、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置が挙げられる。又、出力部９１８は、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【０１５６】
記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。
【０１５７】
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）、又は電子機器等であってもよい。
【０１５８】
接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、等のような外部接続機器９３０を接続するためのポートである。又、接続ポート９２４は、例えば、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１５９】
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードである。又、通信部９２６は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。
【０１６０】
＜１０．まとめ＞
最後に、各実施形態の情報処理装置が有する機能構成と、当該機能構成により得られる作用効果について簡単に纏める。
【０１６１】
まず、同実施形態に係る情報処理装置の機能構成は次のように表現することができる。当該情報処理装置は、センサデータ作成部と、行動認識部と、行動管理部と、行動情報後処理部とを有する。センサデータ作成部は、ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成する。行動認識部は、上記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する。行動管理部は、上記行動認識部により生成された上記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する。行動情報後処理部は、上記行動管理部が管理している行動情報に対して所定の後処理を行う。上記行動認識部は、ユーザが行う特定の行動に特化した複数の行動判定部を更に備え、上記複数の行動判定部における判定結果に基づいて上記行動情報を生成する。このように、ユーザが行う特定の行動に特化した複数の行動判定部を備え、当該行動判定部によって行動情報を生成するため、精度良く上記行動を認識することができ、誤認識が軽減される。
【０１６２】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。行動認識部は、静止状態判定部と、歩行・走行状態判定部と、跳躍状態判定部と、姿勢変化判定部と、エレベータ搭乗判定部と、電車搭乗判定部と、右折・左折判定部とを備える。静止状態判定部は、ユーザが静止状態にあるか否かを判定する。歩行・走行状態判定部は、ユーザが歩行状態または走行状態にあるか否かを判定する。跳躍状態判定部は、ユーザが跳躍している状態である跳躍状態にあるか否かを判定する。姿勢変化判定部は、ユーザが座っている状態、立っている状態にあるのか否かを判定する。エレベータ搭乗判定部は、ユーザがエレベータに乗っている状態か否かを判定する。電車搭乗判定部は、ユーザが電車に乗っている状態か否かを判定する。右折・左折判定部は、ユーザが右折または左折している状態にあるか否かを判定する。このように、ユーザが行う特定の行動に特化した上記複数の行動判定部を備え、当該行動判定部によって行動情報を生成するため、精度良く上記行動を認識することができ、誤認識が軽減される。
【０１６３】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。上記情報処理装置では、行動認識部は、行動判定部として、前記センサデータ及び予め設定された所定の識別関数を利用して、ユーザが乗物に搭乗しているか否かを判定する乗物搭乗判定部を備える。このように、デジタルフィルタの設計に対して、設計が容易な識別関数が設定されることで、装置の大型化等の懸念なく、判定する乗物の種類を増加することができる。また、乗物搭乗判定部は、夫々の乗物に特化した識別関数に基づいて乗物に搭乗しているか否かを判定するため、ユーザが搭乗する乗物の加速度の変化が大きくなくても、夫々の乗物に搭乗しているか否かをより精度良く判定することができる。
【０１６４】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。行動認識部は、センサデータ記憶部は、上記センサデータをＦＩＦＯ形式で記録する。センサデータ演算部は、上記センサデータを用いて所定の演算を行う。特定領域除去部は、入力されたデータの中から特定の領域以外の値を除去する。低領域除去部は、入力されたデータの中から所定の閾値未満の範囲を除去する。上記複数の行動判定部それぞれは、上記センサデータ処理部から出力された演算結果に基づいて、ユーザが行った行動を判定する。このように、ユーザが行う特定の行動に特化した上記複数の行動判定部を備え、当該行動判定部がセンサデータ処理部に各行動に応じた所定の演算が行わせる。そのため、精度良くユーザの上記行動を認識することができ、誤認識が軽減される。
【０１６５】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。行動情報後処理部は、ユーザが同時に行うことが困難な排他的な行動を行っていることを表す排他的特性が行動情報に存在するか否かを検出する排他行動情報再処理部を更に備える。上記排他行動情報再処理部は、２つ以上の行動が上記排他的特性を有する場合には上記２つ以上の行動のうち少なくとも１つの行動に関する行動情報を排除する。このように、行動認識部によって行われた処理後の行動情報について、排他的特性を有するものについては排除されるため、精度良くユーザの上記行動情報が生成され、誤認識が軽減される。
【０１６６】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。行動情報後処理部が、上記ユーザが各行動を取るのに必要となる行動情報必要条件に基づいて単位時間毎の上記行動情報を再処理する誤認識行動情報再処理部を有する。上記誤認識行動情報再処理部は、上記行動情報が行動情報必要条件を満たしていない場合には上記行動に関する行動情報を修正する。このように、行動認識部によって行われた処理後の行動情報について、行動情報必要条件を有しないものについては排除されるため、精度良くユーザの上記行動情報が生成され、誤認識が軽減される。
【０１６７】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。行動情報後処理部が、上記行動認識部が上記行動管理部に上記行動情報を送達した時間から上記行動認識部による各行動に関する上記行動情報の生成に要した時間分だけ遡った時間に上記ユーザが上記各行動を取ったことと処理をする行動情報実時間調整部を有する。このように、行動認識部によって行われた処理後の行動情報について、行動認識処理に要した時間は補正されるため、ユーザの行動が行われた時刻を精度良く把握することができる。
【０１６８】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。上記情報処理装置では、行動情報後処理部が、行動間比較再処理部を有する。行動間比較再処理部は、所定時間内に行われた２つ以上の行動が類似している場合に、前記２つ以上の行動夫々について、前記行動情報の合計時間を比較する。更に、行動間比較再処理部は、上記合計時間が最も長い行動情報を前記所定時間の行動情報として選択する。所定時間が、例えば、数十秒程度の短時間である場合に、複数の乗物に搭乗することは、現実的に想定し難い。しかしながら、このように、行動間比較再処理部が上記の後処理を行うことで、行動認識結果が現実のユーザの行動をより精度良く反映したものとなる。
【０１６９】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。上記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含む。まず、上記センサデータ演算部が、上記センサデータ記憶部によって記録された第一の所定時間範囲における上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの夫々の分散値を算出する。次に、行動判定部は、当該分散値のうち最も大きい最大分散値が上記ユーザは静止していると認識する静止認識値より小さくいか否かを判定する。さらに上記最大分散値が上記静止認識値より小さい時間が上記ユーザは静止していると認識する静止認識時間より長く続くか判定する。その場合、上記ユーザが静止しているという行動情報を生成する。また、上記最大分散値が上記静止認識値より小さいか判定する。更に上記最大分散値が上記静止認識値より小さい時間が上記静止認識時間より長く続かないか判定する。その場合には、上記ユーザが一時的に静止しているという行動情報を生成する。このように、静止状態判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザが静止しているのか、一時停止しているのか否かを精度良く認識することができる。
【０１７０】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。センサデータ演算部は、センサデータ記憶部によって記録された第二の所定時間範囲における上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの夫々の分散値を算出する。次に当該分散値のうち最も大きい最大分散値を算出する。次に、特定領域除去部が、ユーザが歩いているもしくは走っていると認識される歩行及び走行認識周波数領域の範囲外の周波数が除去する。次に、センサデータ記憶部によって記録された上記加速度センサデータの自己相関関数を算出して当該自己相関関数の最大値を算出する。その結果、センサデータ演算部は、上記ユーザが歩いているもしくは走っている際の歩行及び走行周波数データをさらに算出する。
【０１７１】
次に、センサデータ演算部は、上記歩行及び走行周波数データと上記最大分散値とに対して乗算をする。次に、低領域除去部が、当該所定の演算をなされた上記歩行及び走行周波数データと上記最大分散値についてユーザの歩行もしくは走行が誤認識されうる周波数領域を除去する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。そして、その結果、歩行もしくは走行していると判定するための歩行及び走行判定データを算出する。次に、歩行・走行状態判定部が、当該歩行及び走行判定データの値が、上記ユーザが歩行していると認識するための下限値である最小歩行認識値よりも大きいか判定する。更に、上記ユーザが歩行していると認識するための上限値である最大歩行認識値よりも小さいか判定する。その場合には、上記ユーザが歩行しているという行動情報を生成する。また、上記歩行及び走行判定データの値が、上記最大歩行認識値よりも大きい場合には、上記ユーザが走行しているという行動情報を生成する。このように、歩行・走行状態判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザが歩行しているのか、走行しているのか否かを精度良く認識することができる。さらにセンサデータ演算部が、上記歩行及び走行周波数データを積分して、当該積分の結果より歩行・走行状態判定部が上記ユーザの歩数についての行動情報を生成することもできる。
【０１７２】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。まず、センサデータ演算部が、上記ユーザの跳躍を認識可能にする、上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの大きさで表される跳躍加速度を算出する。次に特定領域除去部が、上記跳躍加速度について上記ユーザが跳躍していると認識される跳躍認識領域の範囲外を除去して補正跳躍加速度を算出する。このように、特定領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。次に、低領域除去部が、当該補正跳躍加速度についてユーザの跳躍が誤認識されうる領域を除去して、跳躍しているか否かを判定する跳躍状態判定値を算出する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。次に、跳躍状態判定部が、当該跳躍状態判定値は上記ユーザが跳躍していると認識するための下限値である最小跳躍認識値よりも大きいか判定する。その場合には、上記ユーザが跳躍しているという行動情報を生成する。このように、跳躍状態判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザが跳躍しているのか否かを精度良く認識することができる。
【０１７３】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。まず、低領域除去部が、上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの夫々ついて上記ユーザの姿勢変化が誤認識されうる領域を除去する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。そして、その結果、姿勢変化があるか否かを判定可能にする上記第一加速度センサデータに基づく第一重力データ、上記第二加速度センサデータに基づく第二重力データ、及び上記第三加速度センサデータに基づく第三重力データを算出する。センサデータ演算部が、その結果を基に、上記ユーザの姿勢変化を認識可能にする姿勢変化判定値を算出する。
【０１７４】
次に、低領域除去部が、当該姿勢変化判定値について上記ユーザの姿勢変化が誤認識されうる領域を除去して、姿勢変化しているか否かを判定する補正姿勢変化判定値を算出する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。そして、姿勢変化判定部は、当該補正姿勢変化判定値が上記ユーザは姿勢変化していると認識するための下限値である最小姿勢変化認識値よりも大きいか判定する。更に、上記ユーザが既に立っていた場合には上記ユーザは座っているという行動情報を生成する。一方、姿勢変化判定部は、上記補正姿勢変化判定値が最小姿勢変化認識値よりも大きいかも判定する。更に、上記ユーザが既に座っていた場合には上記ユーザは立っているという行動情報を生成する。このように、姿勢変化判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザが座っているのか、立っているのか否かを精度良く認識することができる。
【０１７５】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。まず、低領域除去部が、上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの重力方向の加速度を誤認識されうる領域を除去する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。センサデータ演算部が、上記領域が除去された上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータに基づいて重力方向加速度センサデータを算出する。センサデータ演算部が、重力の値を調整可能にする上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの大きさで表される重力調整データを計算する。次に、当該重力調整データを上記センサデータ記憶部に記録する。次に、当該センサデータ記憶部に記録された重力調整データの分散値である重力調整分散値、及び重力調整データの平均値である重力調整平均データを算出する。センサデータ演算部は、上記重力調整分散値が重力の調整を許容する最大の分散値である最大許容重力調整分散値よりも小さいか判定する。更に上記重力調整平均データが重力の調整を許容する最小の平均値である最小許容重力平均値よりも大きく、上記重力調整平均データが重力の調整を許容する最大の平均値である最大許容重力平均値よりも小さいか判定する。その場合には、センサデータ演算部は、上記重力調整平均データによる値を調整後の重力とみなす。このように、重力が調整されることで、ユーザが情報処理装置を傾けて所持している場合などに起こりうる重力の変化などの問題は起きにくくなり、誤った行動情報が生成されにくくなる。
【０１７６】
次に、低領域除去部が、上記重力調整平均データについて重力であると誤認識されうる領域を除去して補正重力調整平均データを算出する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。次に、センサデータ演算部が、上記重力方向加速度センサデータと上記補正重力調整平均データとの差分を算出する。次に、低領域除去部が、当該差分について上記ユーザがエレベータに乗っていると誤認識されうる領域を除去する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。そして、その結果、低領域除去部は、上記ユーザがエレベータに乗っているか否かを判定するエレベータ昇降判定データを算出する。エレベータ搭乗判定部は、当該エレベータ昇降判定データが最初は所定値Ｄαよりも大きく、次に所定値Ｄβよりも小さくなるか判定する。その場合には、上記ユーザがエレベータで上昇していたという行動情報を生成する。当該エレベータ昇降判定データが最初は所定値Ｄβよりも小さく、次に所定値Ｄαよりも大きくなる場合には、上記ユーザがエレベータで下降していたという行動情報を生成する。なお、上記Ｄαは、上記ユーザがエレベータで上昇を始めたことを認識するための下限値である最小エレベータ上昇認識値である。上記Ｄβは、上記ユーザがエレベータで下降を始めたことを認識するための上限値である最大エレベータ下降認識値である。このように、エレベータ搭乗判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザがエレベータに乗っているのか否かを精度良く認識することができる。
【０１７７】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。まず、低領域除去部が、上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの夫々について上記ユーザが電車に乗っていると誤認識されうる周波数領域を除去する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。次に、センサデータ演算部が、上記周波数領域が除去された上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータに基づいて、水平方向加速度センサデータ、及び垂直方向加速度センサデータを算出する。次に、センサデータ演算部は、センサデータ記憶部に水平方向加速度センサデータ、及び垂直方向加速度センサデータを記録する。次に、センサデータ記憶部に記録した水平方向加速度センサデータに基づいて水平方向分散値を算出する。
【０１７８】
次に、センサデータ記憶部に記録した上記垂直方向加速度センサデータに基づいて垂直方向分散値を算出する。センサデータ演算部は、上記水平方向分散値と上記補正垂直方向分散値とのうち小さい方の分散値について積分をする。その結果、センサデータ演算部は、電車に乗っているか否かを判定する電車搭乗判定データを算出する。次に、電車搭乗判定部が、当該電車搭乗判定データが上記ユーザは電車に搭乗していると認識するための下限値である最小電車搭乗認識値よりも大きいか判定する。その場合には、電車搭乗判定部は、上記ユーザが電車に搭乗しているという行動情報を生成する。また、センサデータ演算部が、上記垂直方向分散値が最小の許容される垂直方向分散値である最小許容垂直分散値以下であるかを判定する。さらに、センサデータ演算部は、上記垂直方向分散値が上記最大の許容される垂直方向分散値である最大許容垂直分散値以上であるか判定する。その場合には、上記電車搭乗判定データをゼロと算出する。このように、電車搭乗判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザが電車に乗っているのか否かを精度良く認識することができる。
【０１７９】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。まず、低領域除去部が、上記第一加速度センサデータ、上記第二加速度センサデータ、及び上記第三加速度センサデータの夫々について上記ユーザが右折もしくは左折していると誤認識されうる領域を除去する。このように、低領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。次に、センサデータ演算部が、上記領域が除去された上記第一〜第三加速度センサデータと、上記第一〜第三ジャイロセンサデータと、に基づいて重力方向の角速度を算出する。次に、特定領域除去部が、上記角速度について上記ユーザが右折または左折していると認識される曲がり認識領域の範囲外の領域を除去して、補正角速度を算出する。このように、特定領域除去部による処理によって、後に生成される行動情報のノイズなどは軽減され、行動をより精度良く認識することができる。右折・左折判定部は、当該補正角速度が上記ユーザは右折していると認識するための上限値である最大右折認識値よりも小さいか判定する。その場合には、上記ユーザは右折しているという行動情報を生成する。また、当該補正角速度が、上記ユーザが左折していると認識するための下限値である最小左折認識値よりも大きい場合には、上記ユーザは左折しているという行動情報を生成する。このように、電車搭乗判定部が、行動に特化した固有の処理をセンサデータ処理部に行わせるため、ユーザが右折又は左折いるのか否かを精度良く認識することができる。
【０１８０】
また、同実施形態に係る情報処理装置の機能は次のようにも表現することができる。まず、前記センサデータ演算部が、前記第一〜第三加速度センサデータに基づいて生成された特徴ベクトルと、乗物の種類毎に設定された識別関数とを利用して当該識別関数の値を算出する。次に、前記乗物搭乗判定部は、算出された前記識別関数の値が、当該識別関数に対応する乗物に乗っていることを認識する際に用いられる乗物搭乗認識値より大きい場合に、前記ユーザが前記識別関数に対応する乗物に乗っていることを表す行動情報を生成する。このように、上記情報処理装置では、設計が簡易な識別関数が乗物毎に設定されることで、装置の大型化等の懸念なく、判定する乗物の種類を増加することができる。また、乗物搭乗判定部は、夫々の乗物に特化した識別関数に基づいて乗物に搭乗しているか否かを判定するため、ユーザが搭乗する乗物の加速度の変化が大きくなくても、夫々の乗物に搭乗しているか否かをより精度良く判定することができる。更に、行動間比較再処理部等の行動情報後処理部が後処理を行うことで、数十秒程度の短い時間で、複数の乗物に何度も乗り換えるという行動認識結果が生成しまう懸念もなく、精度の良い行動認識結果を得ることができる。
【０１８１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１８２】
１００、１０１、５００ 情報処理装置
１０２ サーバ
１０４ 通信網
１１０ センサデータ作成部
１１２、５１２ 行動認識部
１１４ 行動管理部
１１６、１１７ 行動情報後処理部
１１８、５１８ 行動判定部
１２０、５２０ センサデータ処理部
１２２ 静止状態判定部
１２４ 歩行・走行状態判定部
１２６ 跳躍状態判定部
１２８ 姿勢変化判定部
１３０ エレベータ搭乗判定部
１３２ 電車搭乗判定部
１３４ 右折・左折判定部
１３６、５３６ センサデータ演算部
１３８ 特定領域除去部
１４０ 低領域除去部
１４２ センサデータ記憶部
１４４ 排他行動情報再処理部
１４６ 誤認識行動情報再処理部
１４８ 行動情報実時間調整部
１４９ 行動間比較再処理部
１５０ データ制御部
１５２ 記憶部
１５４ 表示制御部
１５６ ユーザ行動
１６０ 表示画面
５３２ 乗物搭乗判定部
【特許請求の範囲】
【請求項１】
ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成部と、
前記センサデータに対して所定の閾値処理を行って前記ユーザが行った行動を認識し、前記ユーザが行った行動を表す情報である行動情報を生成する行動認識部と、
前記行動認識部により生成された前記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理部と、
前記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理部と、
を有し、
前記行動認識部は、前記ユーザが行う特定の行動に特化した複数の行動判定部を更に備え、前記複数の行動判定部における判定結果に基づいて前記行動情報を生成する、情報処理装置。
【請求項２】
前記行動認識部は、
ユーザが静止状態にあるか否かを判定する静止状態判定部と、
ユーザが歩行状態または走行状態にあるか否かを判定する歩行・走行状態判定部と、
ユーザが跳躍している状態である跳躍状態にあるか否かを判定する跳躍状態判定部と、
ユーザが座っている状態または立っている状態にあるのか否かを判定する姿勢変化判定部と、
ユーザがエレベータに乗っている状態か否かを判定するエレベータ搭乗判定部と、
ユーザが電車に乗っている状態か否かを判定する電車搭乗判定部と、
ユーザが右折または左折している状態にあるか否かを判定する右折・左折判定部と、
を少なくとも備える、請求項１に記載の情報処理装置。
【請求項３】
前記行動認識部は、前記行動判定部として、
前記センサデータ及び予め設定された所定の識別関数を利用して、ユーザが乗物に搭乗しているか否かを判定する乗物搭乗判定部を備える、請求項１に記載の情報処理装置。
【請求項４】
前記行動認識部は、
前記センサデータをＦＩＦＯ形式で記録するセンサデータ記憶部と、
前記センサデータを用いて所定の演算を行うセンサデータ演算部と、
を含むセンサデータ処理部を更に備え、
前記複数の行動判定部のそれぞれは、前記センサデータ処理部から出力された演算結果に基づいて、ユーザが行った行動を判定する、請求項２又は３に記載の情報処理装置。
【請求項５】
前記行動情報後処理部は、ユーザが同時に行うことが困難な排他的な行動を取ることを表す排他的特性が行動情報に存在するか否かを検出する排他行動情報再処理部を更に有し、
前記排他行動情報再処理部は、２つ以上の行動が前記排他的特性を有する場合には前記２つ以上の行動のうち少なくとも１つの行動に関する行動情報を排除する、請求項１に記載の情報処理装置。
【請求項６】
前記行動情報後処理部は、前記ユーザが各行動を取るのに必要となる行動情報必要条件に基づいて単位時間毎の前記行動情報を再処理する誤認識行動情報再処理部を有し、
前記誤認識行動情報再処理部は、前記行動情報が行動情報必要条件を満たしていない場合には前記行動に関する行動情報を修正する、請求項１に記載の情報処理装置。
【請求項７】
前記行動情報後処理部は、前記行動認識部が前記行動管理部に前記行動情報を送達した時刻から前記行動認識部による各行動に関する前記行動情報の生成に要した時間分だけ遡った時刻に前記ユーザが前記各行動を取ったことと処理をする行動情報実時間調整部を有する、請求項１に記載の情報処理装置。
【請求項８】
前記行動情報後処理部は、
所定時間内に行われた２つ以上の行動が類似している場合に、
前記２つ以上の行動夫々について、前記行動情報の合計時間を比較し、
前記合計時間が最も長い行動情報を前記所定時間の行動情報として選択する行動間比較再処理部を有する、請求項１に記載の情報処理装置。
【請求項９】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部が、前記センサデータ記憶部によって記憶された第一の所定時間における前記第一〜第三加速度センサデータ夫々の分散値を算出して、
前記静止状態判定部は、
当該分散値のうち最も大きい最大分散値が前記ユーザは静止していると認識する静止認識値より小さく、かつ前記最大分散値の前記静止認識値より小さい時間が、前記ユーザは静止していると認識する静止認識時間より長く続く場合には、前記ユーザが静止しているという行動情報を生成して、
前記最大分散値が前記静止認識値より小さく、かつ前記最大分散値の前記静止認識値より小さい時間が前記静止認識時間より長く続かない場合には、前記ユーザは一時的に静止しているという行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１０】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部は、
前記センサデータ記憶部によって記録された第二の所定時間範囲における前記第一〜第三加速度センサデータ夫々の分散値と、当該分散値のうち最も大きい最大分散値を算出して、
前記センサデータ記憶部によって記憶された前記加速度センサデータの自己相関関数と、当該自己相関関数の最大値を算出することで、前記ユーザが歩いているもしくは走っている際の歩行及び走行周波数データをさらに算出して、前記歩行及び走行周波数データと前記最大分散値とに対して乗算して、歩行もしくは走行していると判定するための歩行及び走行判定データを算出して、
前記歩行・走行状態判定部は、
当該歩行及び走行判定データの値が、前記ユーザが歩行していると認識するための下限値である最小歩行認識値よりも大きく、かつ前記ユーザが歩行していると認識するための上限値である最大歩行認識値よりも小さい場合には、前記ユーザが歩行しているという行動情報を生成して、
前記歩行及び走行判定データの値が、前記最大歩行認識値よりも大きい場合には、前記ユーザは走行しているという行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１１】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部が、
前記第一〜第三加速度センサデータの大きさで表される跳躍加速度の大きさを計算することで、跳躍状態判定値を算出して、
前記跳躍状態判定部は、
当該跳躍状態判定値が前記ユーザは跳躍していると認識するための下限値である最小跳躍認識値よりも大きい場合には、前記ユーザは跳躍しているという行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１２】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部が、
前記第一〜第三加速度センサデータ夫々に基づいて所定の座標軸に沿った第一〜第三重力データを算出して、
前記第一重力データが前記記憶部に既に記憶された第一重力データからどれ位変化したかを表す第一重力変化データ、前記第二重力データが前記記憶部に既に記録した第二重力データからどれ位変化したかを表す第二重力変化データ、及び前記第三重力データが前記記憶部に既に記録した第三重力データからどれ位変化したかを表す第三重力変化データを算出して、前記第一重力変化データ、前記第二重力変化データ、前記第三重力変化データの大きさを表し、前記ユーザが、姿勢変化しているか否かを判定する姿勢変化判定値を算出して、
前記姿勢変化判定部は、
当該姿勢変化判定値が前記ユーザの姿勢は変化していると認識するための下限値である最小姿勢変化認識値よりも大きい場合であって、且つ前記ユーザが既に立っていた場合には前記ユーザは座っているという行動情報を生成して、
前記姿勢変化判定値が最小姿勢変化認識値よりも大きい場合であって、且つ前記ユーザが既に座っていた場合には前記ユーザは立っているという行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１３】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部が、前記第一加速度センサデータ、前記第二加速度センサデータ、及び前記第三加速度センサデータに基づいて、重力方向の加速度を表す情報である重力方向加速度センサデータを算出して、
前記重力方向加速度センサデータと重力との差分を計算することで、前記ユーザがエレベータに乗っているか否かを判定するエレベータ昇降判定データを算出して、
前記エレベータ搭乗判定部は、
当該エレベータ昇降判定データが最初は所定値Ｄαよりも大きく、次に所定値Ｄβよりも小さくなる場合には、前記ユーザがエレベータで上昇していたという行動情報を生成して、当該エレベータ昇降判定データが最初は所定値Ｄβよりも小さく、次に所定値Ｄαよりも大きくなる場合には、前記ユーザがエレベータで上昇していたという行動情報を生成して、
前記Ｄαは、前記ユーザがエレベータで上昇を始めたことを認識するための下限値である最小エレベータ上昇認識値であって、
前記Ｄβは、前記ユーザがエレベータで下降を始めたことを認識するための上限値である最大エレベータ下降認識値である、請求項４に記載の情報処理装置。
【請求項１４】
前記センサデータ演算部は、
前記重力の値を補正可能にする前記第一加速度センサデータ、前記第二加速度センサデータ、及び前記第三加速度センサデータの大きさで表される重力調整データを計算して、
当該重力調整データを前記センサデータ記憶部に記録して、
当該センサデータ記憶部に記憶された前記重力調整データの分散値である重力調整分散値、及び前記重力調整データの平均値である重力調整平均データを算出して、
前記重力調整分散値が、前記重力の調整を許容する最大の分散値である最大許容重力調整分散値よりも小さく、且つ前記重力調整平均データが、前記重力の調整を許容する最小の平均値である最小許容重力平均値よりも大きく、前記重力調整平均データが、前記重力の調整を許容する最大の平均値である最大許容重力平均値よりも小さい場合には、前記重力調整平均データによる値を補正後の重力とみなして、当該補正後の重力を前記重力の代わりに用いて演算する、請求項１３に記載の情報処理装置。
【請求項１５】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部が、
前記第一〜第三加速度センサデータに基づいて、水平方向加速度センサデータ、及び垂直方向加速度センサデータを算出して、
前記センサデータ記憶部に水平方向加速度センサデータ、及び垂直方向加速度センサデータを記録して、
前記センサデータ記憶部に記録した水平方向加速度センサデータに基づいて水平方向分散値を算出して、
前記センサデータ記憶部に記録した前記垂直方向加速度センサデータに基づいて垂直方向分散値を算出して、
前記水平方向分散値と前記垂直方向分散値とのうち小さい方の分散値について積分をすることで電車に乗っているか否かを判定する電車搭乗判定データを算出して、
前記電車搭乗判定部は、
当該電車搭乗判定データが前記ユーザは電車に搭乗していると認識するための下限値である最小電車搭乗認識値よりも大きい場合には、前記ユーザは電車に搭乗しているという行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１６】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータと、所定の座標軸に沿ったジャイロに関するデータである第一〜第三ジャイロセンサデータとを含み、
前記センサデータ演算部が、
前記周波数領域が除去された前記第一〜第三加速度センサデータと、前記第一〜第三ジャイロセンサデータと、に基づいて重力方向の角速度を算出して、
前記右折・左折判定部は、
当該角速度が前記ユーザは右折していると認識するための上限値である最大右折認識値よりも小さい場合には、前記ユーザは右折しているという行動情報を生成して、
前記角速度が前記ユーザは左折していると認識するための下限値である最小左折認識値よりも大きい場合には、前記ユーザは左折しているという行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１７】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部が、
前記第一〜第三加速度センサデータに基づいて生成された特徴ベクトルと、乗物の種類毎に設定された識別関数とを利用して当該識別関数の値を算出して、
前記乗物搭乗判定部は、
算出された前記識別関数の値が、当該識別関数に対応する乗物に乗っていることを認識する際に用いられる乗物搭乗認識値より大きい場合に、前記ユーザが前記識別関数に対応する乗物に乗っていることを表す行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１８】
ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成ステップと、
前記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する行動認識ステップと、
前記行動認識部により生成された前記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理ステップと、
前記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理ステップと、
を有し、
前記行動認識ステップには、ユーザが行う特定の行動に特化した複数の行動判定ステップを更に備え、前記複数の行動判定ステップにおける判定結果に基づいて前記行動情報を生成する、情報処理方法。
【請求項１９】
所定のセンサが設けられたコンピュータに、
ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成機能と、
前記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する行動認識機能と、
前記行動認識部により生成された前記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理機能と、
前記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理機能と、
を実現させ、
前記行動認識機能は、ユーザが行う特定の行動に特化した複数の行動判定機能を更に備え、前記複数の行動判定機能における判定結果に基づいて前記行動情報を生成させる、プログラム。
【請求項１】
ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成部と、
前記センサデータに対して所定の閾値処理を行って前記ユーザが行った行動を認識し、前記ユーザが行った行動を表す情報である行動情報を生成する行動認識部と、
前記行動認識部により生成された前記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理部と、
前記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理部と、
を有し、
前記行動認識部は、前記ユーザが行う特定の行動に特化した複数の行動判定部を更に備え、前記複数の行動判定部における判定結果に基づいて前記行動情報を生成する、情報処理装置。
【請求項２】
前記行動認識部は、
ユーザが静止状態にあるか否かを判定する静止状態判定部と、
ユーザが歩行状態または走行状態にあるか否かを判定する歩行・走行状態判定部と、
ユーザが跳躍している状態である跳躍状態にあるか否かを判定する跳躍状態判定部と、
ユーザが座っている状態または立っている状態にあるのか否かを判定する姿勢変化判定部と、
ユーザがエレベータに乗っている状態か否かを判定するエレベータ搭乗判定部と、
ユーザが電車に乗っている状態か否かを判定する電車搭乗判定部と、
ユーザが右折または左折している状態にあるか否かを判定する右折・左折判定部と、
を少なくとも備える、請求項１に記載の情報処理装置。
【請求項３】
前記行動認識部は、前記行動判定部として、
前記センサデータ及び予め設定された所定の識別関数を利用して、ユーザが乗物に搭乗しているか否かを判定する乗物搭乗判定部を備える、請求項１に記載の情報処理装置。
【請求項４】
前記行動認識部は、
前記センサデータをＦＩＦＯ形式で記録するセンサデータ記憶部と、
前記センサデータを用いて所定の演算を行うセンサデータ演算部と、
を含むセンサデータ処理部を更に備え、
前記複数の行動判定部のそれぞれは、前記センサデータ処理部から出力された演算結果に基づいて、ユーザが行った行動を判定する、請求項２又は３に記載の情報処理装置。
【請求項５】
前記行動情報後処理部は、ユーザが同時に行うことが困難な排他的な行動を取ることを表す排他的特性が行動情報に存在するか否かを検出する排他行動情報再処理部を更に有し、
前記排他行動情報再処理部は、２つ以上の行動が前記排他的特性を有する場合には前記２つ以上の行動のうち少なくとも１つの行動に関する行動情報を排除する、請求項１に記載の情報処理装置。
【請求項６】
前記行動情報後処理部は、前記ユーザが各行動を取るのに必要となる行動情報必要条件に基づいて単位時間毎の前記行動情報を再処理する誤認識行動情報再処理部を有し、
前記誤認識行動情報再処理部は、前記行動情報が行動情報必要条件を満たしていない場合には前記行動に関する行動情報を修正する、請求項１に記載の情報処理装置。
【請求項７】
前記行動情報後処理部は、前記行動認識部が前記行動管理部に前記行動情報を送達した時刻から前記行動認識部による各行動に関する前記行動情報の生成に要した時間分だけ遡った時刻に前記ユーザが前記各行動を取ったことと処理をする行動情報実時間調整部を有する、請求項１に記載の情報処理装置。
【請求項８】
前記行動情報後処理部は、
所定時間内に行われた２つ以上の行動が類似している場合に、
前記２つ以上の行動夫々について、前記行動情報の合計時間を比較し、
前記合計時間が最も長い行動情報を前記所定時間の行動情報として選択する行動間比較再処理部を有する、請求項１に記載の情報処理装置。
【請求項９】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部が、前記センサデータ記憶部によって記憶された第一の所定時間における前記第一〜第三加速度センサデータ夫々の分散値を算出して、
前記静止状態判定部は、
当該分散値のうち最も大きい最大分散値が前記ユーザは静止していると認識する静止認識値より小さく、かつ前記最大分散値の前記静止認識値より小さい時間が、前記ユーザは静止していると認識する静止認識時間より長く続く場合には、前記ユーザが静止しているという行動情報を生成して、
前記最大分散値が前記静止認識値より小さく、かつ前記最大分散値の前記静止認識値より小さい時間が前記静止認識時間より長く続かない場合には、前記ユーザは一時的に静止しているという行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１０】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部は、
前記センサデータ記憶部によって記録された第二の所定時間範囲における前記第一〜第三加速度センサデータ夫々の分散値と、当該分散値のうち最も大きい最大分散値を算出して、
前記センサデータ記憶部によって記憶された前記加速度センサデータの自己相関関数と、当該自己相関関数の最大値を算出することで、前記ユーザが歩いているもしくは走っている際の歩行及び走行周波数データをさらに算出して、前記歩行及び走行周波数データと前記最大分散値とに対して乗算して、歩行もしくは走行していると判定するための歩行及び走行判定データを算出して、
前記歩行・走行状態判定部は、
当該歩行及び走行判定データの値が、前記ユーザが歩行していると認識するための下限値である最小歩行認識値よりも大きく、かつ前記ユーザが歩行していると認識するための上限値である最大歩行認識値よりも小さい場合には、前記ユーザが歩行しているという行動情報を生成して、
前記歩行及び走行判定データの値が、前記最大歩行認識値よりも大きい場合には、前記ユーザは走行しているという行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１１】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部が、
前記第一〜第三加速度センサデータの大きさで表される跳躍加速度の大きさを計算することで、跳躍状態判定値を算出して、
前記跳躍状態判定部は、
当該跳躍状態判定値が前記ユーザは跳躍していると認識するための下限値である最小跳躍認識値よりも大きい場合には、前記ユーザは跳躍しているという行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１２】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部が、
前記第一〜第三加速度センサデータ夫々に基づいて所定の座標軸に沿った第一〜第三重力データを算出して、
前記第一重力データが前記記憶部に既に記憶された第一重力データからどれ位変化したかを表す第一重力変化データ、前記第二重力データが前記記憶部に既に記録した第二重力データからどれ位変化したかを表す第二重力変化データ、及び前記第三重力データが前記記憶部に既に記録した第三重力データからどれ位変化したかを表す第三重力変化データを算出して、前記第一重力変化データ、前記第二重力変化データ、前記第三重力変化データの大きさを表し、前記ユーザが、姿勢変化しているか否かを判定する姿勢変化判定値を算出して、
前記姿勢変化判定部は、
当該姿勢変化判定値が前記ユーザの姿勢は変化していると認識するための下限値である最小姿勢変化認識値よりも大きい場合であって、且つ前記ユーザが既に立っていた場合には前記ユーザは座っているという行動情報を生成して、
前記姿勢変化判定値が最小姿勢変化認識値よりも大きい場合であって、且つ前記ユーザが既に座っていた場合には前記ユーザは立っているという行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１３】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部が、前記第一加速度センサデータ、前記第二加速度センサデータ、及び前記第三加速度センサデータに基づいて、重力方向の加速度を表す情報である重力方向加速度センサデータを算出して、
前記重力方向加速度センサデータと重力との差分を計算することで、前記ユーザがエレベータに乗っているか否かを判定するエレベータ昇降判定データを算出して、
前記エレベータ搭乗判定部は、
当該エレベータ昇降判定データが最初は所定値Ｄαよりも大きく、次に所定値Ｄβよりも小さくなる場合には、前記ユーザがエレベータで上昇していたという行動情報を生成して、当該エレベータ昇降判定データが最初は所定値Ｄβよりも小さく、次に所定値Ｄαよりも大きくなる場合には、前記ユーザがエレベータで上昇していたという行動情報を生成して、
前記Ｄαは、前記ユーザがエレベータで上昇を始めたことを認識するための下限値である最小エレベータ上昇認識値であって、
前記Ｄβは、前記ユーザがエレベータで下降を始めたことを認識するための上限値である最大エレベータ下降認識値である、請求項４に記載の情報処理装置。
【請求項１４】
前記センサデータ演算部は、
前記重力の値を補正可能にする前記第一加速度センサデータ、前記第二加速度センサデータ、及び前記第三加速度センサデータの大きさで表される重力調整データを計算して、
当該重力調整データを前記センサデータ記憶部に記録して、
当該センサデータ記憶部に記憶された前記重力調整データの分散値である重力調整分散値、及び前記重力調整データの平均値である重力調整平均データを算出して、
前記重力調整分散値が、前記重力の調整を許容する最大の分散値である最大許容重力調整分散値よりも小さく、且つ前記重力調整平均データが、前記重力の調整を許容する最小の平均値である最小許容重力平均値よりも大きく、前記重力調整平均データが、前記重力の調整を許容する最大の平均値である最大許容重力平均値よりも小さい場合には、前記重力調整平均データによる値を補正後の重力とみなして、当該補正後の重力を前記重力の代わりに用いて演算する、請求項１３に記載の情報処理装置。
【請求項１５】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部が、
前記第一〜第三加速度センサデータに基づいて、水平方向加速度センサデータ、及び垂直方向加速度センサデータを算出して、
前記センサデータ記憶部に水平方向加速度センサデータ、及び垂直方向加速度センサデータを記録して、
前記センサデータ記憶部に記録した水平方向加速度センサデータに基づいて水平方向分散値を算出して、
前記センサデータ記憶部に記録した前記垂直方向加速度センサデータに基づいて垂直方向分散値を算出して、
前記水平方向分散値と前記垂直方向分散値とのうち小さい方の分散値について積分をすることで電車に乗っているか否かを判定する電車搭乗判定データを算出して、
前記電車搭乗判定部は、
当該電車搭乗判定データが前記ユーザは電車に搭乗していると認識するための下限値である最小電車搭乗認識値よりも大きい場合には、前記ユーザは電車に搭乗しているという行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１６】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータと、所定の座標軸に沿ったジャイロに関するデータである第一〜第三ジャイロセンサデータとを含み、
前記センサデータ演算部が、
前記周波数領域が除去された前記第一〜第三加速度センサデータと、前記第一〜第三ジャイロセンサデータと、に基づいて重力方向の角速度を算出して、
前記右折・左折判定部は、
当該角速度が前記ユーザは右折していると認識するための上限値である最大右折認識値よりも小さい場合には、前記ユーザは右折しているという行動情報を生成して、
前記角速度が前記ユーザは左折していると認識するための下限値である最小左折認識値よりも大きい場合には、前記ユーザは左折しているという行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１７】
前記センサデータは、所定の座標軸に沿った加速度に関するデータである第一〜第三加速度センサデータを含み、
前記センサデータ演算部が、
前記第一〜第三加速度センサデータに基づいて生成された特徴ベクトルと、乗物の種類毎に設定された識別関数とを利用して当該識別関数の値を算出して、
前記乗物搭乗判定部は、
算出された前記識別関数の値が、当該識別関数に対応する乗物に乗っていることを認識する際に用いられる乗物搭乗認識値より大きい場合に、前記ユーザが前記識別関数に対応する乗物に乗っていることを表す行動情報を生成する、請求項４に記載の情報処理装置。
【請求項１８】
ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成ステップと、
前記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する行動認識ステップと、
前記行動認識部により生成された前記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理ステップと、
前記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理ステップと、
を有し、
前記行動認識ステップには、ユーザが行う特定の行動に特化した複数の行動判定ステップを更に備え、前記複数の行動判定ステップにおける判定結果に基づいて前記行動情報を生成する、情報処理方法。
【請求項１９】
所定のセンサが設けられたコンピュータに、
ユーザの行動を感知し、当該ユーザの行動に対応するセンサデータを作成するセンサデータ作成機能と、
前記センサデータに対して所定の閾値処理を行ってユーザが行った行動を認識し、ユーザが行った行動を表す情報である行動情報を生成する行動認識機能と、
前記行動認識部により生成された前記行動情報を、当該行動情報に対応する行動がなされた時刻と関連づけて管理する行動管理機能と、
前記行動管理部が管理している行動情報に対して所定の後処理を行う行動情報後処理機能と、
を実現させ、
前記行動認識機能は、ユーザが行う特定の行動に特化した複数の行動判定機能を更に備え、前記複数の行動判定機能における判定結果に基づいて前記行動情報を生成させる、プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１０−１９８５９５（Ｐ２０１０−１９８５９５Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−２３０５８０（Ｐ２００９−２３０５８０）
【出願日】平成２１年１０月２日（２００９．１０．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年１０月２日（２００９．１０．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]