ユーザ装置及びそのユーザの状況認知方法
【課題】ユーザ装置及びそのユーザの状況認知方法を提供し、さらに詳細には、ユーザにより発生する動きに応じてユーザの状況を認知し、それに適したサービスを提供できるユーザ装置及びそのユーザの状況認知方法並びにこれを利用したサービスを提供すること。
【解決手段】ユーザの状況認知方法であって、ユーザ装置に備えられた複数のセンサのうち、少なくとも一つのセンサにより獲得される信号を分析して、客体（ｏｂｊｅｃｔ）により順次発生される少なくとも一つの単位行動を認識し、認識される単位行動のパターンを分析して、ユーザの現在状況を認知するユーザの状況認知方法が開示される。これにより、スマートフォンのようなユーザ装置を使用するユーザの行動をリアルタイムで分析して、分析結果に応じてユーザの状況に適したサービスを提供することができる。
【解決手段】ユーザの状況認知方法であって、ユーザ装置に備えられた複数のセンサのうち、少なくとも一つのセンサにより獲得される信号を分析して、客体（ｏｂｊｅｃｔ）により順次発生される少なくとも一つの単位行動を認識し、認識される単位行動のパターンを分析して、ユーザの現在状況を認知するユーザの状況認知方法が開示される。これにより、スマートフォンのようなユーザ装置を使用するユーザの行動をリアルタイムで分析して、分析結果に応じてユーザの状況に適したサービスを提供することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ装置及びそのユーザの状況認知方法に関し、さらに詳細には、ユーザにより発生する動きに応じてユーザの状況を認知し、それに適したサービスを提供できるユーザ装置及びそのユーザの状況認知方法並びにこれを利用したサービスに関する。
【背景技術】
【０００２】
スマートフォンは、携帯が可能なＩＴ機器の一つであって、既存の一般的な電話機能だけでなく、より強化されたプロセシング機能、ネットワーク機能及びセンサを利用して多様なサービスを提供する。スマートフォンを使用するユーザは、より容易にネットワークを介して必要な情報を検索し、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）を介して周辺人とコミュニケーションし、又は所望の動画を見ることができる。
【０００３】
また、スマートフォンは、内蔵されたセンサを利用してナビサービスを提供することによって、ユーザは、容易に道を探すことができるし、他人にユーザの現在位置を知らせることもできる。すなわち、スマートフォンは、センサを介してより多くのユーザ情報を獲得及び加工して、多様なサービスを提供できる。しかしながら、このような複合的なセンサの使用を活用するシステム構築は、多くの数学的モデルと機械学習アルゴリズムを必要とするので、容易に具現化されていないのが現状である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そこで、本発明は上記の問題を解決するためのものであって、一つ以上の例示的実施の形態（Ｏｎｅ ｏｒ ｍｏｒｅ ｅｘｅｍｐｌａｒｙ ｅｍｂｏｄｉｍｅｎｔｓ）によれば、備えられたセンサに基づいてユーザの行動を認識し、それに応じた最適なサービスを提供できるユーザ装置及びそのユーザの状況認知方法並びにこれを利用したサービスを提供することができる。
【課題を解決するための手段】
【０００５】
例示的実施形態の一側面によれば、ユーザの状況認知方法は、ユーザ装置に備えられた複数のセンサのうち、少なくとも一つのセンサにより獲得される信号を分析して、客体（ｏｂｊｅｃｔ）により順次発生される少なくとも一つの単位行動を認識するステップと、前記認識される単位行動のパターンを分析して、前記ユーザの現在状況を認知するステップと、を含む。
【０００６】
他の例示的実施形態の一側面によれば、ユーザ装置におけるサービス提供方法は、客体から順次発生される少なくとも一つの単位行動を認識するステップと、前記認識される単位行動に対応するサービスを、サービス提供対象に提供するステップと、をさらに含む。
【０００７】
他の例示的実施形態の一側面によるユーザの状況認知が可能なユーザ装置は、複数のセンサを有するセンサ部と、前記複数のセンサのうち、少なくとも一つのセンサにより獲得される信号を分析して、客体により順次発生した単位行動を認識する単位行動認識部と、前記認識される単位行動のパターンを分析して、前記ユーザの現在状況を認知する状況認知部と、を備える。
【０００８】
他の例示的実施形態の一側面によるユーザの状況設定方法は、ユーザにより順次発生した単位行動をセンシングした信号を分析して、前記単位行動の各々に対応する特徴値を抽出するステップと、前記抽出された特徴値の各々に前記対応する単位行動を設定して、単位行動モデルを生成するステップと、前記設定された単位行動の組み合わせからなる基準状態遷移グラフに特定意味を有する状況を設定するステップと、を含む。
【０００９】
他の例示的実施形態の一側面によるユーザの状況設定装置は、ユーザにより順次発生した単位行動をセンシングした信号を分析して、前記単位行動の各々に対応する特徴値を抽出する特徴値抽出部と、前記抽出された特徴値の各々に前記対応する単位行動を設定して、単位行動モデルを生成する単位行動設定部と、前記設定された単位行動の組み合わせからなる基準状態遷移グラフに特定意味を有する状況を設定する状況設定部と、を備える。
【００１０】
他の例示的実施形態の一側面によれば、上述の方法のうち、何れか一つの方法をコンピュータに実行させるためのプログラムが提供される。
【００１１】
他の例示的実施形態の一側面によれば、上述の方法のうち、何れか一つの方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
【発明の効果】
【００１２】
本発明によれば、スマートフォンのようなユーザ装置を使用するユーザの行動をリアルタイムで分析し、分析結果に応じてユーザの状況に適したサービスを提供できる。
【００１３】
また、本発明によれば、ユーザ装置だけでユーザのライフロギング（Ｌｉｆｅ Ｌｏｇｇｉｎｇ）が可能で、ライフロギングの際、センシングされたユーザの行動、状況などをメタデータとして使用することができる。
【００１４】
また、モニターリングが必要な産業環境に適用して、行動基盤のモニターリングが可能な技術基盤を提供できる。
【００１５】
また、ユーザの現在行動または状況を認知することによって、状況に適した広告をユーザに提供する新しい形態の広告プラットホームにより具現化されることができる。
【図面の簡単な説明】
【００１６】
【図１】例示的実施の形態に係るユーザの現在状況を認識できる第１ユーザ装置を示すブロック図である。
【図２】角速度センサから提供される原信号をグラフに変換した一例を示す図である。
【図３】パワースペクトル方式により角速度信号が変換された一例を示す図である。
【図４】第１格納部に格納された基準状態遷移グラフ及びこれにマッピング格納された状況情報の一例を示す図である。
【図５】例示的実施の形態に係るユーザの単位行動別に状況を設定するための第２ユーザ装置を示すブロック図である。
【図６】例示的実施の形態に係るユーザ装置のユーザの状況認知方法を説明するためのフローチャートである。
【図７】例示的実施の形態に係るユーザ装置のユーザの状況設定方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００１７】
以上の本発明の目的、他の目的、特徴及び利点は、添付された図面と関連した以下の好ましい実施の形態により容易に理解されるはずである。しかしながら、本発明は、ここで説明される実施の形態に限定されずに他の形態で具体化されうる。むしろ、ここで紹介される実施の形態は、開示された内容が徹底かつ完全になるように、そして当業者に本発明の思想を十分に伝達させるために提供されるものである。本明細書において、ある構成要素が他の構成要素上にあると言及される場合に、それは、他の構成要素上に直接形成されうるか、又はそれらの間に第３の構成要素が介在されうることを意味する。
【００１８】
また、あるエレメント（または構成要素）が他のエレメント（または構成要素）上（ＯＮ）で動作または実行されると言及されるとき、そのエレメント（または構成要素）は、他のエレメント（または構成要素）が動作または実行される環境で動作または実行されるか、または他のエレメント（または構成要素）と直接または間接的に相互作用により動作または実行されると理解されなければならない。
【００１９】
あるエレメント、構成要素、装置、またはシステムがプログラム若しくはソフトウェアからなる構成要素を含むと言及される場合、明示的な言及がなくても、そのエレメント、構成要素、装置、またはシステムは、そのプログラム若しくはソフトウェアが実行または動作するのに必要なハードウェア（例えば、メモリ、ＣＰＵ等）や他のプログラムまたはソフトウェア（例えば、運営体制やハードウェアを駆動するのに必要なドライバー等）を含むと理解されなければならない。
【００２０】
また、あるエレメント（または構成要素）が具現されるに当たって、特別な言及がない限り、そのエレメント（または構成要素）は、ソフトウェア、ハードウェア、またはソフトウェア及びハードウェアのうち、如何なる形態によっても具現化されることができると理解されなければならない。
【００２１】
本明細書で使用された用語は、実施の形態を説明するためのもので、本発明を限定するものではない。本明細書において、単数形は、特に言及しない限り、複数形も含む。明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含む（ｃｏｍｐｒｉｓｉｎｇ）」と言及された構成要素は、一つ以上の他の構成要素の存在又は追加を排除しない。
【００２２】
以下、図面を参照して本発明を詳細に説明する。以下の特定実施の形態を述べるにおいて、様々な特定の内容は、発明をさらに具体的に説明し理解を助けるために作成された。しかしながら、本発明を理解することができる程度のこの分野における知識を有した読者は、このような様々な特定の内容がなくても使用されうることを認知できる。ある場合には、発明を述べるにおいて周知で発明と大きく関連のない部分は、本発明を説明するにおいて特別な理由なしで混乱を引き起こすことを防止するために述べないことを予め言及しておく。
【００２３】
図１は、本発明の実施の形態に係るユーザの現在状況を認識できる第１ユーザ装置１００を示すブロック図である。
【００２４】
図１に示す第１ユーザ装置１００は、ネットワークを介して有線通信または無線通信が可能な装置であって、複数のセンサを利用してユーザが現在置かれている状況を認識し、認識された状況により適したサービスを選択的に提供できる。第１ユーザ装置１００の例には、スマートフォン、モバイルフォン、ラップトップコンピュータなど通信が可能なすべての電子機器がありうる。
【００２５】
本発明の一実施の形態によれば、ユーザが現在置かれている状況を認識するにおいて、客体の行動を認識して判断する。ここで、「客体」とは、ユーザ装置のユーザ、ユーザでない第３者、及び物体のうち、何れか一つを含む意味として用いられる。
【００２６】
例えば、ユーザ装置１００は、前記ユーザ装置１００のユーザの行動、前記ユーザ装置１００のユーザでない第３者（例えば、強盗、泥棒）の行動、ある物体（例えば、自動車やモータサイクル）の動きなどを認識して、ユーザが置かれている状況を認識できる。以下、図１を参照して、ユーザ装置１００のユーザの行動を中心にユーザが置かれている状況を認識する例を中心に説明する。
【００２７】
同図に示すように、第１ユーザ装置１００は、第１センサ部１１０、第１通信部１２０、第１格納部１３０、第１状況認知モジュール１４０、第１情報提供インタフェース（ＩＦ：Ｉｎｔｅｒｆａｃｅ）部１５０、及び第１アプリケーション部１６０を備えることができる。
【００２８】
第１センサ部１１０は、第１ユーザ装置１００を使用するユーザの動きをセンシングするために、複数のセンサを備えることができる。第１センサ部１１０は、複数のセンサのうち、少なくとも一つのセンサによりセンシングされる信号を第１状況認知モジュール１４０に提供できる。第１センサ部１１０は、位置センサ、加速度センサ、角速度センサ、デジタル羅針盤、照度センサ、近接センサ、オーディオセンサなど多様な種類のセンサを備えることができる。
【００２９】
また、第１センサ部１１０は、カメラをさらに備えることができる。例えば、第１センサ部１１０は、第１ユーザ装置１００の周囲の画面をキャプチャリングできる。
【００３０】
位置センサは、ユーザ装置１００の現在位置をセンシングし、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、ＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｖｉｃｅ）センサなど多様である。加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれの加速度と、第１ユーザ装置１００が各方向に傾いた程度をセンシングする。角速度センサは、第１ユーザ装置１００が予め設定された基準方向に対して回転した方向をセンシングできる。デジタル羅針盤は、東西南北を判断し、これを基準として第１ユーザ装置１００の位置をセンシングできる。照度センサは、第１ユーザ装置１００が現在位置した場所の明るさをセンシングできる。近接センサは、第１ユーザ装置１００の近くに存在する物体の有無を電子系の力を利用して機械的接触無しでセンシングできる。オーディオセンサは、第１ユーザ装置１００の周辺の騷音、ユーザの対話状態などをセンシングできる。
【００３１】
第１通信部１２０は、ネットワーク、基地局などを介した有線通信または無線通信インタフェースを提供する。例えば、第１通信部１２０は、ブルートゥース機能、Ｗｉ−Ｆｉ機能、３Ｇ網サービス機能など多様な通信インタフェースを提供でき、これに限定されない。第１通信部１２０は、Ｗｉ−Ｆｉ機能を提供するために基地局と通信し、基地局との通信結果により現在位置に対する情報が追加的に分かる。
【００３２】
第１格納部１３０は、少なくとも一個の単位行動の集合からなる基準状態遷移グラフ及び基準状態遷移グラフの各々に対応する状況情報がマッピングされて格納される。基準状態遷移グラフ及びそれに対応する状況情報は、第１ユーザ装置１００を設計するステップにて、実験により得られた情報でありえ、これについては、図５を参照して詳細に説明する。
【００３３】
第１状況認知モジュール１４０は、第１センサ部１１０の複数のセンサのうち、少なくとも一つから提供される信号を処理及び分析して、ユーザにより発生した単位行動を認識し、認識された単位行動を組み合わせてユーザが現在置かれている状況を認知できる。
【００３４】
第１状況認知モジュール１４０は、第１位値追跡部１４１、第１信号処理部１４３、第１特徴値抽出部１４５、第１単位行動認識部１４７及び状況認知部１４９を備えることができる。
【００３５】
第１位値追跡部１４１は、複数のセンサのうち、ユーザの現在位置をセンシングする位置センサまたは第１通信部１２０から提供される信号を分析して、ユーザの位置をリアルタイムで追跡できる。第１位値追跡部１４１は、リアルタイムで追跡されるユーザの位置に対する情報を状況認知部１４９に提供できる。また、ユーザの位置をリアルタイムで追跡することによって、第１位値追跡部１４１は、ユーザが頻繁に訪問する場所を別に格納及び管理し、このような情報を後述する状況認知部１４９に提供できる。
【００３６】
第１信号処理部１４３は、複数のセンサのうち、少なくとも一つのセンサから提供される原信号を処理してノイズを除去できる。図２は、角速度センサから提供される原信号（以下、角速度信号とする）をグラフに変換した一例であり、図３は、パワースペクトル方式により角速度信号が変換された一例を示す。角速度センサは、各軸（例えば、ｘ軸、ｙ軸、ｚ軸）に対した角速度信号を連続的に提供し、このような角速度信号は、図２に示すように、ノイズを含んでいることができる。したがって、第１信号処理部１４３は、角速度信号に対してパワースペクトル（Ｐｏｗｅｒ Ｓｐｅｃｔｒｕｍ）方式を適用して、図３に示すように、ノイズの除去されたスペクトル値を周波数別に出力できる。スペクトル値は、周波数に応じるパワー（ｐｏｗｅｒ／ｆｒｅｑｕｅｎｃｙ、ｄＢ／Ｈｚ）の変化関係を意味する。
【００３７】
第１特徴値抽出部１４５は、少なくとも一つのセンサにより獲得される信号または第１信号処理部１４３から入力される信号から特徴値を抽出できる。特徴値は、ユーザの単位行動を表す値であって、各単位行動ごとに異なる特徴値を有する。
【００３８】
以下、図３を参照して特徴値を抽出する方法について説明する。第１特徴値抽出部１４５は、図３のように変換された信号にウィンドウを適用し、下記の三つの方式のうちの何れか一つを利用して特徴値を抽出できる。第１特徴値抽出部１４５は、特徴値の抽出に必要な計算量とエラーを最小化するために、スペクトルからなる信号をｍ個のウィンドウに分割する。第１特徴値抽出部１４５は、ウィンドウの一定部分が重なるように分割して、エラースムージング効果を提供できる。図３には、第１ないし第３ウィンドウＷ１、Ｗ２、Ｗ３が示されている。
【００３９】
第１に、第１特徴値抽出部１４５は、第１ないし第３ウィンドウＷ１、Ｗ２、Ｗ３のそれぞれでスペクトル値の平均値を特徴値として使用することができる。したがって、信号がｍ個のウィンドウに分割された場合、ｍ個の特徴値が抽出されることができる。
【００４０】
第２に、第１特徴値抽出部１４５は、各ウィンドウ区間からスペクトル値の変化推移を特徴値として抽出できる。すなわち、第１特徴値抽出部１４５は、各ウィンドウ区間でスペクトル値の増加または減少有無を判別し、その変化の大きさを特徴値として抽出できる。
【００４１】
第３に、第１特徴値抽出部１４５は、各ウィンドウ区間から発生した最大値と最小値とを特徴値として抽出できる。
【００４２】
図１を再度参照すれば、第１単位行動認識部１４７は、複数のセンサのうち、少なくとも一つのセンサにより獲得される信号を分析して、ユーザにより順次発生した単位行動を認識できる。単位行動は、歩き、走り、座り、停止などユーザの動きの基本単位を意味する。
【００４３】
詳細に説明すれば、第１単位行動認識部１４７は、第１特徴値抽出部１４５から連続的に抽出されて入力される特徴値を分析して単位行動を認識できる。第１単位行動認識部１４７は、抽出された特徴値を事前に設定された単位行動モデルとそれぞれ比較して、抽出された特徴値に対応する単位行動を把握できる。すなわち、第１単位行動認識部１４７は、抽出された特徴値を単位行動モデルに投射し、線形判別分析法（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｔｉｏｎ Ａｎａｌｙｓｉｓ）を利用して単位行動を認識できる。
【００４４】
単位行動モデルは、ユーザにより発生する単位行動及び単位行動に対応する特徴値がマッピングされた特徴空間であって、第１ユーザ装置１００を設計するステップにて実験により得られた情報でありえ、これについては、図５を参照して詳細に説明する。
【００４５】
以下、第１センサ部１１０によりセンシングされる信号の種類によって、第１単位行動認識部１４７で認識されうる単位行動について説明する。
【００４６】
複数のセンサのうち、加速度センサ及びデジタル羅針盤のうち、少なくとも一つによりセンシングされた信号から特徴値が抽出されると、第１単位行動認識部１４７は、座り、歩き、走り、停止、交通手段利用及び階段上りのうち、少なくとも一つを含む単位行動を認識できる。
【００４７】
また、複数のセンサのうち、オーディオセンサによりセンシングされた信号から特徴値が抽出されると、第１単位行動認識部１４７は、ユーザの対話有無及び周辺騷音程度を認識し、対話状態という単位行動または周辺騷音にマッピングされた単位行動を認識できる。
【００４８】
また、複数のセンサのうち、照度センサ及び近接センサのうち、少なくとも一つによりセンシングされた信号から特徴値が抽出されると、第１単位行動認識部１４７は、ユーザが現在位置した所（現在位置）の明るさを介して認識される行動、またはユーザ装置のハンドリング有無のうち、少なくとも一つを単位行動として認識できる。
【００４９】
上述した第１特徴値抽出部１４５の機能が備えられない場合、第１単位行動認識部１４７は、図３のように、パワースペクトルを介して変換された値を利用して単位行動を認識することもできる。
【００５０】
状況認知部１４９は、第１単位行動認識部１４７により認識される単位行動のパターンを分析して、下記の４種類の分類方式のうち、少なくとも一つを利用してユーザの現在状況を認知できる。
【００５１】
第１に、状況認知部１４９は、認識される単位行動を組み合わせて状態遷移グラフ（Ｓｔａｔｅ Ｔｒａｎｓｉｔｉｏｎ Ｇｒａｐｈ）を生成し、事前に設定された基準状態遷移グラフのうち、生成された状態遷移グラフとの一致度が最も大きな基準状態遷移グラフに対応する状況情報から、ユーザの現在状況を認知できる。
【００５２】
図４は、第１格納部１３０に格納された基準状態遷移グラフ及びこれにマッピング格納された状況情報の一例を示す。
【００５３】
同図に示すように、第１基準状態遷移グラフは、第１単位行動１後に第２単位行動２及び第３単位行動３が認識されるか、又は第１単位行動１後に第４単位行動４が認識される順序の組合わせを有する。したがって、状況認知部１４９から生成される状態遷移グラフが第１基準状態遷移グラフと最も似ているか、又は同一であれば、状況認知部１４９は、現在ユーザの状況は「出勤」であると認知できる。第２基準状態遷移グラフは、第１１ないし第１５単位行動１１〜１６の組み合わせからなり、「出勤」と似ているので詳細な説明は省略する。
【００５４】
このとき、状況認知部１４９は、同じ単位行動が持続的に認識される場合、同じ単位行動が持続的に認識された時間をさらに考慮して、ユーザの現在状況を認知できる。例えば、第１単位行動１に対して設定された臨界値が２０分である場合、生成された状態遷移グラフが第１基準状態遷移グラフと同一であるが、第１単位行動１が持続的に認識された時間が２０分を超えると、状況認知部１４９は、ユーザが「出勤」でない他の状況にあると認知できる。
【００５５】
第２に、状況認知部１４９は、第１位値追跡部１４１を介して追跡される位置のうち、特定場所で認識される単位行動を利用してユーザの現在状況を認知できる。すなわち、状況認知部１４９は、追跡されたユーザの位置と認識された単位行動とを結合して、ユーザの動きを意味のある行動として分類したり、状況を認知したりできる。例えば、状況認知部１４９は、ユーザが普段頻繁に訪問する場所を主要場所として設定し、特定場所から抽出される単位行動を利用してユーザの現在状況を認知できる。主要場所は、例えば、家、職場、Ｇｙｍセンサなど多様である。
【００５６】
第３に、状況認知部１４９は、同じ単位行動が持続的に認識される場合、同じ単位行動が持続する時間と同じ単位行動に設定された臨界値を利用して、ユーザの現在状況を認知できる。例えば、走りという単一行動が持続的に認識される場合、臨界値２０分以内であると、状況認知部１４９は、ユーザの状況を「出勤」と認知し、臨界値が３０分を超えると、ユーザの状況を「ジョギング」と認知できる。
【００５７】
第４に、状況認知部１４９は、単位行動が認識される日付及び時間のうち、少なくとも一つを利用して、ユーザの現在状況を認知できる。例えば、単位行動が同じ日付または同じ時間に繰り返し的に認知されると、状況認知部１４９は、日付または時間にマッピングされた状況をユーザの現在状況と認知できる。
【００５８】
一方、第１情報提供ＩＦ部１５０は、状況認知部１４９で認知された状況に対する情報を第１アプリケーション部１６０に伝達するインターフェーシングを提供する。第１情報提供ＩＦ部１５０は、第１メッセージ生成部１５１及び第１ＡＰＩ１５３部を備える。第１メッセージ生成部１５１は、状況認知部１４９で認知された状況に対する情報を第１アプリケーション部１６０で認識できる形態のメッセージとして生成する。第１ＡＰＩ部１５３は、生成されたメッセージを利用して該当サービスの実行を第１アプリケーション部１６０に要請できる。
【００５９】
第１アプリケーション部１６０は、第１ＡＰＩ部１５３の要請によって、状況認知部１４９で認知されたユーザの現在状況に対応するサービスを提供できる。第１アプリケーション部１６０が広告と関連した場合、第１アプリケーション部１６０は、ユーザの現在状況に適した広告をユーザに提供できる。例えば、ユーザが「ジョギング」という状況にあると認知されると、第１アプリケーション部１６０は、飲料または運動用品の広告を提供できる。第１アプリケーション部１６０が産業分野において用いられる場合、第１アプリケーション部１６０は、生産者の状況を認知して、工程制御分野に適用できる。また、第１アプリケーション部１６０が衣料と関連したサービスを提供する場合、第１アプリケーション部１６０は、患者の状況をモニターリング及び認知し、応急状況などを発見し、周辺人に知らせる等の応急措置を行うことができる。
【００６０】
図５は、本発明の実施の形態に係るユーザの単位行動別に状況を設定するための第２ユーザ装置５００を示すブロック図である。
【００６１】
図５に示す第２ユーザ装置５００は、有線通信または無線通信が可能な装置であるか、または複数のセンサを利用してユーザの単位行動及び各単位行動に対応するユーザの状況を定義することができる。
【００６２】
同図に示すように、第２ユーザ装置５００は、第２センサ部５１０、第２通信部５２０、第２格納部５３０、状況設定モジュール５４０、第２情報提供インタフェース（ＩＦ：Ｉｎｔｅｒｆａｃｅ）部５５０及び第２アプリケーション部５６０を備えることができる。
【００６３】
同図の第２センサ部５１０、第２通信部５２０、第２格納部５３０、状況設定モジュール５４０、第２情報提供ＩＦ部５５０及び第２アプリケーション部５６０は、図１の第１センサ部１１０、第１通信部１２０、第１格納部１３０、第１状況認知モジュール１４０、情報提供ＩＦ部１５０及び第１アプリケーション部１６０と大部分同一なので詳細な説明は省略する。
【００６４】
第２センサ部５１０は、第２ユーザ装置５００を使用するユーザの動きをセンシングするために複数のセンサを備え、少なくとも一つのセンサによりセンシングされる信号を状況設定モジュール５４０に提供できる。第２センサ部５１０は、位置センサ、加速度センサ、角速度センサ、デジタル羅針盤、照度センサ、近接センサ、オーディオセンサなど多様な種類のセンサを備えることができる。
【００６５】
第２通信部５２０は、ブルートゥース機能、Ｗｉ−Ｆｉ機能、３Ｇ網サービス機能など多様な通信サービスを提供するための通信インタフェースである。
【００６６】
第２格納部５３０には、少なくとも一個の単位行動の集合からなる基準状態遷移グラフ及び基準状態遷移グラフのそれぞれに対応する状況情報がマッピングされて格納される。基準状態遷移グラフに対応する状況情報は、状況設定部５４９で生成されることができる。
【００６７】
状況設定モジュール５４０は、第２位置追跡部５４１、第２信号処理部５４３、第２特徴値抽出部５４５、単位行動設定部５４７及び状況設定部５４９を備えることができる。
【００６８】
第２信号処理部５４３は、複数のセンサのうち、ユーザの現在位置をセンシングする位置センサから提供される信号を分析して、ユーザの位置をリアルタイムで追跡できる。
【００６９】
第２信号処理部５４３は、複数のセンサのうち、少なくとも一つのセンサから提供される原信号を処理してノイズを除去できる。
【００７０】
第２特徴値抽出部５４５は、少なくとも一つのセンサにより獲得される信号または第２信号処理部５４３から入力される信号から特徴値を抽出できる。特徴値は、ユーザが基準状態遷移グラフを生成するために意図的に行った単位行動に対応する信号から抽出されるので、各単位行動ごとに異なる値を有する。
【００７１】
ユーザは、決まったパターンの通りに単位行動を順次行い、単位行動設定部５４７は、第２特徴値抽出部５４５から連続的に抽出されて入力される特徴値に、該当する単位行動を設定できる。すなわち、ユーザが意図的に発生した単位行動により抽出された特徴値に、該当単位行動を設定できる。単位行動設定部５４７は、抽出された特徴値に設定される単位行動を組み合わせて、単位行動モデルを作成することができる。単位行動モデルは、ユーザが順次行った単位行動及び単位行動に対応する抽出された特徴値がマッピングされた特徴空間として表現される。
【００７２】
状況設定部５４９は、設定された単位行動の組み合わせからなる基準状態遷移グラフに特定意味を有する状況を設定できる。状況設定部５４９は、下記の４種類の分類方式のうち、少なくとも一つを利用してユーザの現在状況を設定できる。
【００７３】
第１に、状況設定部５４９は、単位行動設定部５４７により設定される単位行動の組み合わせからなる基準状態遷移グラフを生成し、生成された基準状態遷移グラフに、特定意味を有する状況を設定できる。例えば、ユーザが「ジョギング」をする間に生成された状態遷移グラフが図４に示す第２基準状態遷移グラフであると、ユーザは、第２基準状態遷移グラフに「ジョギング」という状況を入力し、状況設定部５４９は、入力された状況を第２基準状態遷移グラフにマッピングされるように設定した後、第２格納部５３０に格納することができる。このとき、状況設定部５４９は、各単位行動に臨界値を追加的に設定して、状況をさらに具体的に設定できる。
【００７４】
第２に、状況設定部５４９は、第２位置追跡部５１０で追跡される位置と認識される単位行動とを結合して、状況を設定できる。
【００７５】
第３に、状況設定部５４９は、単位行動が連続的に持続する時間によって、同じ単位行動に対しても異なる状況を設定できる。
【００７６】
第４に、状況設定部５４９は、単位行動が設定される日付及び時間のうち、少なくとも一つを考慮して状況を設定できる。
【００７７】
上述した状況設定部５４９は、単位行動の集合に対して状況だけでなく、状況に適したサービスをさらに設定できる。
【００７８】
一方、第２情報提供ＩＦ部５５０は、状況設定部５４９で設定された状況に対する情報を第２アプリケーション部５６０に伝達するために、第２メッセージ生成部５５１及び第２ＡＰＩ部５５３を備える。
【００７９】
第２アプリケーション部５６０は、第２ＡＰＩ部５５３の要請によって、状況設定部５４９で認知されたユーザの現在状況に対応するサービスを提供できる。第２情報提供ＩＦ部５５０及び第２アプリケーション部５６０は、第２ユーザ装置５００に備えられなくても良い。
【００８０】
上述した通り、本ユーザ装置は、ユーザの状況を認知しユーザの状況に基づいてサービスを提供できる。例えば、本ユーザ装置は、ユーザ状況を認知するにおいて、ユーザ装置のユーザ行動だけでなく、第３者（例えば、ユーザ装置の周辺にある他の人：泥棒、強盗度．．．）の行動や、ある事物の動き（自動車）を総合してユーザ状況を認知できる。そして、そういうユーザ状況に適したサービスをサービス提供対象に提供できる。
【００８１】
例えば、自動車がユーザと衝突する場合、ユーザの悲鳴やある事物が高速でユーザ装置に接近する画面、または声に基づいてユーザが交通事故にあったと認知できる。このような場合、ユーザ装置は、そういう状況をサービス提供対象（予め決まった者や装置でありうる。例えば、家族の携帯電話または警察署）にユーザの状況を知らせることができる。
【００８２】
図６は、本発明の実施の形態に係るユーザ装置のユーザの状況認知方法を説明するためのフローチャートである。
【００８３】
同図のユーザの状況認知方法を行うユーザ装置は、図１を参照して説明した第１ユーザ装置１００でありえ、実質的に第１ユーザ装置１００の制御部（図示せず）または少なくとも一個のプロセッサ（図示せず）により駆動できる。
【００８４】
ステップＳ６１０にて、ユーザ装置は、備えられた複数のセンサのうち、ユーザの現在位置をセンシングする位置センサから提供される信号を分析して、ユーザの位置をリアルタイムで追跡できる。ユーザの位置をリアルタイムで追跡することによって、ユーザ装置は、ユーザが頻繁に訪問する場所を別途に格納及び管理することもできる。
【００８５】
ステップＳ６２０にて、ユーザ装置は、複数のセンサのうち、少なくとも一つのセンサから提供される原信号を処理してノイズを除去できる。
【００８６】
ステップＳ６３０にて、ユーザ装置は、ステップＳ６２０から提供される信号から特徴値を抽出できる。特徴値は、図３を参照して説明したウィンドウを考慮して抽出されることができる。
【００８７】
ステップＳ６４０にて、ユーザ装置は、ステップＳ６３０にて連続的に抽出される特徴値を分析して単位行動を認識できる。例えば、ユーザ装置は、抽出された特徴値を各々、事前に設定された単位行動モデルと比較して、抽出された特徴値に対応する単位行動を把握できる。認識される単位行動は、座り、歩き、走り、停止、交通手段利用中、階段上り、ユーザの対話有無、周辺騷音にマッピングされた単位行動、ユーザの現在位置の明るさを介して認識される行動、及びユーザ装置のハンドリング有無のうち、少なくとも一つを含むことができる。
【００８８】
ステップＳ６５０にて、ユーザ装置は、ステップＳ６４０にて認識される単位行動を組み合わせて状態遷移グラフを生成できる。
【００８９】
ステップＳ６６０にて、ユーザ装置は、事前に設定された基準状態遷移グラフのうち、ステップＳ６５０にて生成された状態遷移グラフとの一致度が最も大きな基準状態遷移グラフに対応する状況情報から、ユーザの現在状況を認知できる。このとき、ユーザ装置は、同じ単位行動が持続的に認識された時間と各単位行動に設定された臨界値とをさらに考慮して、ユーザの現在状況を認知できる。
【００９０】
ステップＳ６５０及びステップＳ６６０は、状態遷移グラフを利用してユーザの状況を認知する場合について記載しているが、ユーザ装置は、ステップＳ６１０にて追跡された位置、同じ単位行動が持続する時間、単位行動が認識される日付及び時間のうち、少なくとも一つを利用して、ユーザの現在状況を認知することもできる。
【００９１】
ステップＳ６７０にて、ユーザ装置は、認知されたユーザの現在状況に対応するサービスを提供できる。
【００９２】
このように、本願発明は、ユーザ状況認知に基づいたサービス提供方法により具現化されることができる。進んで、本願発明に係るユーザ状況認知に基づいたサービス提供方法は、多様な方式で変形が可能である。例えば、ユーザ状況を認知するにおいて、ユーザ装置のユーザ行動だけでなく、第３者（例えば、ユーザ装置の周辺にいる他人：泥棒、強盗．．．）の行動や、ある事物の動き（自動車）を総合してユーザ状況を認知できる。そして、そういうユーザ状況に合うサービスをサービス提供対象に提供できる。
【００９３】
例えば、自動車がユーザと衝突する場合、ユーザの悲鳴やある事物がユーザ装置に高速で接近する画面、または声に基づいてユーザが交通事故に遭ったと認知できる。このような場合、ユーザ装置は、そういう状況をサービス提供対象（予め決まった者や装置でありうる。例えば、家族の携帯電話または警察署）にユーザの状況を知らせることができる。
【００９４】
さらに他の例としては、ユーザが強盗に会った場合、強盗の音声内容、姿、ユーザの音声内容などに基づいてユーザが強盗に会ったと認知できる。このような場合、ユーザ装置は、そういう状況をサービス提供対象に知らせることができる。
【００９５】
図７は、本発明の実施の形態に係るユーザ装置のユーザの状況設定方法を説明するためのフローチャートである。
【００９６】
図７のユーザの状況設定方法を行うユーザ装置は、図５を参照して説明した第２ユーザ装置５００でありえ、実質的に第２ユーザ装置５００の制御部（図示せず）または少なくとも一個のプロセッサ（図示せず）により駆動されうる。
【００９７】
ステップＳ７１０にて、ユーザ装置は、備えられた複数のセンサのうち、ユーザの現在位置をセンシングする位置センサから提供される信号を分析して、ユーザの位置をリアルタイムで追跡できる。ユーザの位置をリアルタイムで追跡することによって、ユーザ装置は、ユーザが頻繁に訪問する場所を別途に格納及び管理することができる。
【００９８】
ステップＳ７２０にて、ユーザは、単位行動に応じる動きを行い、ユーザ装置は、複数のセンサのうち、少なくとも一つのセンサから提供される原信号を処理してノイズを除去できる。原信号は、ユーザの動きをセンシングした信号でありうる。
【００９９】
ステップＳ７３０にて、ユーザ装置は、ステップＳ７２０から提供される信号から特徴値を抽出できる。特徴値は、ユーザが行った単位行動に対応する信号から抽出されるので、各単位行動ごとに異なる値を有する。
【０１００】
ステップＳ７４０にて、ユーザ装置は、ステップＳ７３０から連続的に抽出される特徴値に該当単位行動をユーザ入力により設定し、抽出された特徴値とそれに該当する単位行動の組み合わせからなる単位行動モデルを作成することができる。例えば、ユーザが歩きという単位行動を行った後に第１特徴値が抽出されると、ステップＳ７４０にて、ユーザは、第１特徴値に歩きという単位行動を入力し、ユーザ装置は、入力された単位行動を設定できる。
【０１０１】
ステップＳ７５０にて、ユーザ装置は、ステップＳ７４０にて設定される単位行動の組み合わせからなる基準状態遷移グラフを生成し、生成された基準状態遷移グラフに、特定意味を有する状況を設定できる。このとき、より正確な状況別基準状態遷移グラフを生成するために、ユーザは、基準状態遷移グラフを生成するために行った単位行動を再度行い、ユーザ装置は、再度行った単位行動の特徴値から臨時状態遷移グラフを生成する。そして、ユーザ装置は、同じ単位行動に対してまず生成された基準状態遷移グラフと後に生成された臨時状態遷移グラフとを比較して、誤差が発見されると、誤差を利用して基準状態遷移グラフを補正できる。
【０１０２】
ステップＳ７６０にて、設定された各状況ごとに適したサービスを追加的に設定できる。
【０１０３】
上述した装置及び方法に対する実施形態において、主にユーザの行動に基づいてユーザが置かれている状況を認識すると説明したが、本願発明は、ユーザ行動だけでなく、第３者の行動や事物の動きを認識してユーザが置かれている状況を認識できることはもちろんである。
【０１０４】
また、上述した実施の形態により認知されたユーザ状況を利用してサービスを提供する方法により本願発明は具現化が可能である。例えば、上述した実施の形態によって、客体の少なくとも一つの行動を認識し、該認識された客体の行動に対応するサービスを、サービス提供対象に提供するサービス方法により具現化が可能である。ここで、客体は、上述したように、ユーザ装置のユーザ、前記ユーザでない第３者、及び物体のうち、少なくとも何れか一つでありえ、サービス提供対象は、ユーザ装置のユーザ、及び前記ユーザでない第３者のうち、少なくとも一つでありうる。
【０１０５】
以上、本発明は、限定された実施の形態と図面により説明されたが、本発明は、上記の実施の形態に限定されるものではなく、本発明が属する分野における通常の知識を有した者であればこのような記載から多様な修正及び変形が可能である。したがって、本発明の範囲は、説明された実施の形態に限って決まってはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものによって決まらねばならない。
【符号の説明】
【０１０６】
１００ 第１ユーザ装置
１１０ 第１センサ部
１２０ 第１通信部
１３０ 第１格納部
１４０ 第１状況認知モジュール
１５０ 第１情報提供インタフェース部
１６０ 第１アプリケーション部
【技術分野】
【０００１】
本発明は、ユーザ装置及びそのユーザの状況認知方法に関し、さらに詳細には、ユーザにより発生する動きに応じてユーザの状況を認知し、それに適したサービスを提供できるユーザ装置及びそのユーザの状況認知方法並びにこれを利用したサービスに関する。
【背景技術】
【０００２】
スマートフォンは、携帯が可能なＩＴ機器の一つであって、既存の一般的な電話機能だけでなく、より強化されたプロセシング機能、ネットワーク機能及びセンサを利用して多様なサービスを提供する。スマートフォンを使用するユーザは、より容易にネットワークを介して必要な情報を検索し、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）を介して周辺人とコミュニケーションし、又は所望の動画を見ることができる。
【０００３】
また、スマートフォンは、内蔵されたセンサを利用してナビサービスを提供することによって、ユーザは、容易に道を探すことができるし、他人にユーザの現在位置を知らせることもできる。すなわち、スマートフォンは、センサを介してより多くのユーザ情報を獲得及び加工して、多様なサービスを提供できる。しかしながら、このような複合的なセンサの使用を活用するシステム構築は、多くの数学的モデルと機械学習アルゴリズムを必要とするので、容易に具現化されていないのが現状である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そこで、本発明は上記の問題を解決するためのものであって、一つ以上の例示的実施の形態（Ｏｎｅ ｏｒ ｍｏｒｅ ｅｘｅｍｐｌａｒｙ ｅｍｂｏｄｉｍｅｎｔｓ）によれば、備えられたセンサに基づいてユーザの行動を認識し、それに応じた最適なサービスを提供できるユーザ装置及びそのユーザの状況認知方法並びにこれを利用したサービスを提供することができる。
【課題を解決するための手段】
【０００５】
例示的実施形態の一側面によれば、ユーザの状況認知方法は、ユーザ装置に備えられた複数のセンサのうち、少なくとも一つのセンサにより獲得される信号を分析して、客体（ｏｂｊｅｃｔ）により順次発生される少なくとも一つの単位行動を認識するステップと、前記認識される単位行動のパターンを分析して、前記ユーザの現在状況を認知するステップと、を含む。
【０００６】
他の例示的実施形態の一側面によれば、ユーザ装置におけるサービス提供方法は、客体から順次発生される少なくとも一つの単位行動を認識するステップと、前記認識される単位行動に対応するサービスを、サービス提供対象に提供するステップと、をさらに含む。
【０００７】
他の例示的実施形態の一側面によるユーザの状況認知が可能なユーザ装置は、複数のセンサを有するセンサ部と、前記複数のセンサのうち、少なくとも一つのセンサにより獲得される信号を分析して、客体により順次発生した単位行動を認識する単位行動認識部と、前記認識される単位行動のパターンを分析して、前記ユーザの現在状況を認知する状況認知部と、を備える。
【０００８】
他の例示的実施形態の一側面によるユーザの状況設定方法は、ユーザにより順次発生した単位行動をセンシングした信号を分析して、前記単位行動の各々に対応する特徴値を抽出するステップと、前記抽出された特徴値の各々に前記対応する単位行動を設定して、単位行動モデルを生成するステップと、前記設定された単位行動の組み合わせからなる基準状態遷移グラフに特定意味を有する状況を設定するステップと、を含む。
【０００９】
他の例示的実施形態の一側面によるユーザの状況設定装置は、ユーザにより順次発生した単位行動をセンシングした信号を分析して、前記単位行動の各々に対応する特徴値を抽出する特徴値抽出部と、前記抽出された特徴値の各々に前記対応する単位行動を設定して、単位行動モデルを生成する単位行動設定部と、前記設定された単位行動の組み合わせからなる基準状態遷移グラフに特定意味を有する状況を設定する状況設定部と、を備える。
【００１０】
他の例示的実施形態の一側面によれば、上述の方法のうち、何れか一つの方法をコンピュータに実行させるためのプログラムが提供される。
【００１１】
他の例示的実施形態の一側面によれば、上述の方法のうち、何れか一つの方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
【発明の効果】
【００１２】
本発明によれば、スマートフォンのようなユーザ装置を使用するユーザの行動をリアルタイムで分析し、分析結果に応じてユーザの状況に適したサービスを提供できる。
【００１３】
また、本発明によれば、ユーザ装置だけでユーザのライフロギング（Ｌｉｆｅ Ｌｏｇｇｉｎｇ）が可能で、ライフロギングの際、センシングされたユーザの行動、状況などをメタデータとして使用することができる。
【００１４】
また、モニターリングが必要な産業環境に適用して、行動基盤のモニターリングが可能な技術基盤を提供できる。
【００１５】
また、ユーザの現在行動または状況を認知することによって、状況に適した広告をユーザに提供する新しい形態の広告プラットホームにより具現化されることができる。
【図面の簡単な説明】
【００１６】
【図１】例示的実施の形態に係るユーザの現在状況を認識できる第１ユーザ装置を示すブロック図である。
【図２】角速度センサから提供される原信号をグラフに変換した一例を示す図である。
【図３】パワースペクトル方式により角速度信号が変換された一例を示す図である。
【図４】第１格納部に格納された基準状態遷移グラフ及びこれにマッピング格納された状況情報の一例を示す図である。
【図５】例示的実施の形態に係るユーザの単位行動別に状況を設定するための第２ユーザ装置を示すブロック図である。
【図６】例示的実施の形態に係るユーザ装置のユーザの状況認知方法を説明するためのフローチャートである。
【図７】例示的実施の形態に係るユーザ装置のユーザの状況設定方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００１７】
以上の本発明の目的、他の目的、特徴及び利点は、添付された図面と関連した以下の好ましい実施の形態により容易に理解されるはずである。しかしながら、本発明は、ここで説明される実施の形態に限定されずに他の形態で具体化されうる。むしろ、ここで紹介される実施の形態は、開示された内容が徹底かつ完全になるように、そして当業者に本発明の思想を十分に伝達させるために提供されるものである。本明細書において、ある構成要素が他の構成要素上にあると言及される場合に、それは、他の構成要素上に直接形成されうるか、又はそれらの間に第３の構成要素が介在されうることを意味する。
【００１８】
また、あるエレメント（または構成要素）が他のエレメント（または構成要素）上（ＯＮ）で動作または実行されると言及されるとき、そのエレメント（または構成要素）は、他のエレメント（または構成要素）が動作または実行される環境で動作または実行されるか、または他のエレメント（または構成要素）と直接または間接的に相互作用により動作または実行されると理解されなければならない。
【００１９】
あるエレメント、構成要素、装置、またはシステムがプログラム若しくはソフトウェアからなる構成要素を含むと言及される場合、明示的な言及がなくても、そのエレメント、構成要素、装置、またはシステムは、そのプログラム若しくはソフトウェアが実行または動作するのに必要なハードウェア（例えば、メモリ、ＣＰＵ等）や他のプログラムまたはソフトウェア（例えば、運営体制やハードウェアを駆動するのに必要なドライバー等）を含むと理解されなければならない。
【００２０】
また、あるエレメント（または構成要素）が具現されるに当たって、特別な言及がない限り、そのエレメント（または構成要素）は、ソフトウェア、ハードウェア、またはソフトウェア及びハードウェアのうち、如何なる形態によっても具現化されることができると理解されなければならない。
【００２１】
本明細書で使用された用語は、実施の形態を説明するためのもので、本発明を限定するものではない。本明細書において、単数形は、特に言及しない限り、複数形も含む。明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含む（ｃｏｍｐｒｉｓｉｎｇ）」と言及された構成要素は、一つ以上の他の構成要素の存在又は追加を排除しない。
【００２２】
以下、図面を参照して本発明を詳細に説明する。以下の特定実施の形態を述べるにおいて、様々な特定の内容は、発明をさらに具体的に説明し理解を助けるために作成された。しかしながら、本発明を理解することができる程度のこの分野における知識を有した読者は、このような様々な特定の内容がなくても使用されうることを認知できる。ある場合には、発明を述べるにおいて周知で発明と大きく関連のない部分は、本発明を説明するにおいて特別な理由なしで混乱を引き起こすことを防止するために述べないことを予め言及しておく。
【００２３】
図１は、本発明の実施の形態に係るユーザの現在状況を認識できる第１ユーザ装置１００を示すブロック図である。
【００２４】
図１に示す第１ユーザ装置１００は、ネットワークを介して有線通信または無線通信が可能な装置であって、複数のセンサを利用してユーザが現在置かれている状況を認識し、認識された状況により適したサービスを選択的に提供できる。第１ユーザ装置１００の例には、スマートフォン、モバイルフォン、ラップトップコンピュータなど通信が可能なすべての電子機器がありうる。
【００２５】
本発明の一実施の形態によれば、ユーザが現在置かれている状況を認識するにおいて、客体の行動を認識して判断する。ここで、「客体」とは、ユーザ装置のユーザ、ユーザでない第３者、及び物体のうち、何れか一つを含む意味として用いられる。
【００２６】
例えば、ユーザ装置１００は、前記ユーザ装置１００のユーザの行動、前記ユーザ装置１００のユーザでない第３者（例えば、強盗、泥棒）の行動、ある物体（例えば、自動車やモータサイクル）の動きなどを認識して、ユーザが置かれている状況を認識できる。以下、図１を参照して、ユーザ装置１００のユーザの行動を中心にユーザが置かれている状況を認識する例を中心に説明する。
【００２７】
同図に示すように、第１ユーザ装置１００は、第１センサ部１１０、第１通信部１２０、第１格納部１３０、第１状況認知モジュール１４０、第１情報提供インタフェース（ＩＦ：Ｉｎｔｅｒｆａｃｅ）部１５０、及び第１アプリケーション部１６０を備えることができる。
【００２８】
第１センサ部１１０は、第１ユーザ装置１００を使用するユーザの動きをセンシングするために、複数のセンサを備えることができる。第１センサ部１１０は、複数のセンサのうち、少なくとも一つのセンサによりセンシングされる信号を第１状況認知モジュール１４０に提供できる。第１センサ部１１０は、位置センサ、加速度センサ、角速度センサ、デジタル羅針盤、照度センサ、近接センサ、オーディオセンサなど多様な種類のセンサを備えることができる。
【００２９】
また、第１センサ部１１０は、カメラをさらに備えることができる。例えば、第１センサ部１１０は、第１ユーザ装置１００の周囲の画面をキャプチャリングできる。
【００３０】
位置センサは、ユーザ装置１００の現在位置をセンシングし、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、ＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｖｉｃｅ）センサなど多様である。加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれの加速度と、第１ユーザ装置１００が各方向に傾いた程度をセンシングする。角速度センサは、第１ユーザ装置１００が予め設定された基準方向に対して回転した方向をセンシングできる。デジタル羅針盤は、東西南北を判断し、これを基準として第１ユーザ装置１００の位置をセンシングできる。照度センサは、第１ユーザ装置１００が現在位置した場所の明るさをセンシングできる。近接センサは、第１ユーザ装置１００の近くに存在する物体の有無を電子系の力を利用して機械的接触無しでセンシングできる。オーディオセンサは、第１ユーザ装置１００の周辺の騷音、ユーザの対話状態などをセンシングできる。
【００３１】
第１通信部１２０は、ネットワーク、基地局などを介した有線通信または無線通信インタフェースを提供する。例えば、第１通信部１２０は、ブルートゥース機能、Ｗｉ−Ｆｉ機能、３Ｇ網サービス機能など多様な通信インタフェースを提供でき、これに限定されない。第１通信部１２０は、Ｗｉ−Ｆｉ機能を提供するために基地局と通信し、基地局との通信結果により現在位置に対する情報が追加的に分かる。
【００３２】
第１格納部１３０は、少なくとも一個の単位行動の集合からなる基準状態遷移グラフ及び基準状態遷移グラフの各々に対応する状況情報がマッピングされて格納される。基準状態遷移グラフ及びそれに対応する状況情報は、第１ユーザ装置１００を設計するステップにて、実験により得られた情報でありえ、これについては、図５を参照して詳細に説明する。
【００３３】
第１状況認知モジュール１４０は、第１センサ部１１０の複数のセンサのうち、少なくとも一つから提供される信号を処理及び分析して、ユーザにより発生した単位行動を認識し、認識された単位行動を組み合わせてユーザが現在置かれている状況を認知できる。
【００３４】
第１状況認知モジュール１４０は、第１位値追跡部１４１、第１信号処理部１４３、第１特徴値抽出部１４５、第１単位行動認識部１４７及び状況認知部１４９を備えることができる。
【００３５】
第１位値追跡部１４１は、複数のセンサのうち、ユーザの現在位置をセンシングする位置センサまたは第１通信部１２０から提供される信号を分析して、ユーザの位置をリアルタイムで追跡できる。第１位値追跡部１４１は、リアルタイムで追跡されるユーザの位置に対する情報を状況認知部１４９に提供できる。また、ユーザの位置をリアルタイムで追跡することによって、第１位値追跡部１４１は、ユーザが頻繁に訪問する場所を別に格納及び管理し、このような情報を後述する状況認知部１４９に提供できる。
【００３６】
第１信号処理部１４３は、複数のセンサのうち、少なくとも一つのセンサから提供される原信号を処理してノイズを除去できる。図２は、角速度センサから提供される原信号（以下、角速度信号とする）をグラフに変換した一例であり、図３は、パワースペクトル方式により角速度信号が変換された一例を示す。角速度センサは、各軸（例えば、ｘ軸、ｙ軸、ｚ軸）に対した角速度信号を連続的に提供し、このような角速度信号は、図２に示すように、ノイズを含んでいることができる。したがって、第１信号処理部１４３は、角速度信号に対してパワースペクトル（Ｐｏｗｅｒ Ｓｐｅｃｔｒｕｍ）方式を適用して、図３に示すように、ノイズの除去されたスペクトル値を周波数別に出力できる。スペクトル値は、周波数に応じるパワー（ｐｏｗｅｒ／ｆｒｅｑｕｅｎｃｙ、ｄＢ／Ｈｚ）の変化関係を意味する。
【００３７】
第１特徴値抽出部１４５は、少なくとも一つのセンサにより獲得される信号または第１信号処理部１４３から入力される信号から特徴値を抽出できる。特徴値は、ユーザの単位行動を表す値であって、各単位行動ごとに異なる特徴値を有する。
【００３８】
以下、図３を参照して特徴値を抽出する方法について説明する。第１特徴値抽出部１４５は、図３のように変換された信号にウィンドウを適用し、下記の三つの方式のうちの何れか一つを利用して特徴値を抽出できる。第１特徴値抽出部１４５は、特徴値の抽出に必要な計算量とエラーを最小化するために、スペクトルからなる信号をｍ個のウィンドウに分割する。第１特徴値抽出部１４５は、ウィンドウの一定部分が重なるように分割して、エラースムージング効果を提供できる。図３には、第１ないし第３ウィンドウＷ１、Ｗ２、Ｗ３が示されている。
【００３９】
第１に、第１特徴値抽出部１４５は、第１ないし第３ウィンドウＷ１、Ｗ２、Ｗ３のそれぞれでスペクトル値の平均値を特徴値として使用することができる。したがって、信号がｍ個のウィンドウに分割された場合、ｍ個の特徴値が抽出されることができる。
【００４０】
第２に、第１特徴値抽出部１４５は、各ウィンドウ区間からスペクトル値の変化推移を特徴値として抽出できる。すなわち、第１特徴値抽出部１４５は、各ウィンドウ区間でスペクトル値の増加または減少有無を判別し、その変化の大きさを特徴値として抽出できる。
【００４１】
第３に、第１特徴値抽出部１４５は、各ウィンドウ区間から発生した最大値と最小値とを特徴値として抽出できる。
【００４２】
図１を再度参照すれば、第１単位行動認識部１４７は、複数のセンサのうち、少なくとも一つのセンサにより獲得される信号を分析して、ユーザにより順次発生した単位行動を認識できる。単位行動は、歩き、走り、座り、停止などユーザの動きの基本単位を意味する。
【００４３】
詳細に説明すれば、第１単位行動認識部１４７は、第１特徴値抽出部１４５から連続的に抽出されて入力される特徴値を分析して単位行動を認識できる。第１単位行動認識部１４７は、抽出された特徴値を事前に設定された単位行動モデルとそれぞれ比較して、抽出された特徴値に対応する単位行動を把握できる。すなわち、第１単位行動認識部１４７は、抽出された特徴値を単位行動モデルに投射し、線形判別分析法（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｔｉｏｎ Ａｎａｌｙｓｉｓ）を利用して単位行動を認識できる。
【００４４】
単位行動モデルは、ユーザにより発生する単位行動及び単位行動に対応する特徴値がマッピングされた特徴空間であって、第１ユーザ装置１００を設計するステップにて実験により得られた情報でありえ、これについては、図５を参照して詳細に説明する。
【００４５】
以下、第１センサ部１１０によりセンシングされる信号の種類によって、第１単位行動認識部１４７で認識されうる単位行動について説明する。
【００４６】
複数のセンサのうち、加速度センサ及びデジタル羅針盤のうち、少なくとも一つによりセンシングされた信号から特徴値が抽出されると、第１単位行動認識部１４７は、座り、歩き、走り、停止、交通手段利用及び階段上りのうち、少なくとも一つを含む単位行動を認識できる。
【００４７】
また、複数のセンサのうち、オーディオセンサによりセンシングされた信号から特徴値が抽出されると、第１単位行動認識部１４７は、ユーザの対話有無及び周辺騷音程度を認識し、対話状態という単位行動または周辺騷音にマッピングされた単位行動を認識できる。
【００４８】
また、複数のセンサのうち、照度センサ及び近接センサのうち、少なくとも一つによりセンシングされた信号から特徴値が抽出されると、第１単位行動認識部１４７は、ユーザが現在位置した所（現在位置）の明るさを介して認識される行動、またはユーザ装置のハンドリング有無のうち、少なくとも一つを単位行動として認識できる。
【００４９】
上述した第１特徴値抽出部１４５の機能が備えられない場合、第１単位行動認識部１４７は、図３のように、パワースペクトルを介して変換された値を利用して単位行動を認識することもできる。
【００５０】
状況認知部１４９は、第１単位行動認識部１４７により認識される単位行動のパターンを分析して、下記の４種類の分類方式のうち、少なくとも一つを利用してユーザの現在状況を認知できる。
【００５１】
第１に、状況認知部１４９は、認識される単位行動を組み合わせて状態遷移グラフ（Ｓｔａｔｅ Ｔｒａｎｓｉｔｉｏｎ Ｇｒａｐｈ）を生成し、事前に設定された基準状態遷移グラフのうち、生成された状態遷移グラフとの一致度が最も大きな基準状態遷移グラフに対応する状況情報から、ユーザの現在状況を認知できる。
【００５２】
図４は、第１格納部１３０に格納された基準状態遷移グラフ及びこれにマッピング格納された状況情報の一例を示す。
【００５３】
同図に示すように、第１基準状態遷移グラフは、第１単位行動１後に第２単位行動２及び第３単位行動３が認識されるか、又は第１単位行動１後に第４単位行動４が認識される順序の組合わせを有する。したがって、状況認知部１４９から生成される状態遷移グラフが第１基準状態遷移グラフと最も似ているか、又は同一であれば、状況認知部１４９は、現在ユーザの状況は「出勤」であると認知できる。第２基準状態遷移グラフは、第１１ないし第１５単位行動１１〜１６の組み合わせからなり、「出勤」と似ているので詳細な説明は省略する。
【００５４】
このとき、状況認知部１４９は、同じ単位行動が持続的に認識される場合、同じ単位行動が持続的に認識された時間をさらに考慮して、ユーザの現在状況を認知できる。例えば、第１単位行動１に対して設定された臨界値が２０分である場合、生成された状態遷移グラフが第１基準状態遷移グラフと同一であるが、第１単位行動１が持続的に認識された時間が２０分を超えると、状況認知部１４９は、ユーザが「出勤」でない他の状況にあると認知できる。
【００５５】
第２に、状況認知部１４９は、第１位値追跡部１４１を介して追跡される位置のうち、特定場所で認識される単位行動を利用してユーザの現在状況を認知できる。すなわち、状況認知部１４９は、追跡されたユーザの位置と認識された単位行動とを結合して、ユーザの動きを意味のある行動として分類したり、状況を認知したりできる。例えば、状況認知部１４９は、ユーザが普段頻繁に訪問する場所を主要場所として設定し、特定場所から抽出される単位行動を利用してユーザの現在状況を認知できる。主要場所は、例えば、家、職場、Ｇｙｍセンサなど多様である。
【００５６】
第３に、状況認知部１４９は、同じ単位行動が持続的に認識される場合、同じ単位行動が持続する時間と同じ単位行動に設定された臨界値を利用して、ユーザの現在状況を認知できる。例えば、走りという単一行動が持続的に認識される場合、臨界値２０分以内であると、状況認知部１４９は、ユーザの状況を「出勤」と認知し、臨界値が３０分を超えると、ユーザの状況を「ジョギング」と認知できる。
【００５７】
第４に、状況認知部１４９は、単位行動が認識される日付及び時間のうち、少なくとも一つを利用して、ユーザの現在状況を認知できる。例えば、単位行動が同じ日付または同じ時間に繰り返し的に認知されると、状況認知部１４９は、日付または時間にマッピングされた状況をユーザの現在状況と認知できる。
【００５８】
一方、第１情報提供ＩＦ部１５０は、状況認知部１４９で認知された状況に対する情報を第１アプリケーション部１６０に伝達するインターフェーシングを提供する。第１情報提供ＩＦ部１５０は、第１メッセージ生成部１５１及び第１ＡＰＩ１５３部を備える。第１メッセージ生成部１５１は、状況認知部１４９で認知された状況に対する情報を第１アプリケーション部１６０で認識できる形態のメッセージとして生成する。第１ＡＰＩ部１５３は、生成されたメッセージを利用して該当サービスの実行を第１アプリケーション部１６０に要請できる。
【００５９】
第１アプリケーション部１６０は、第１ＡＰＩ部１５３の要請によって、状況認知部１４９で認知されたユーザの現在状況に対応するサービスを提供できる。第１アプリケーション部１６０が広告と関連した場合、第１アプリケーション部１６０は、ユーザの現在状況に適した広告をユーザに提供できる。例えば、ユーザが「ジョギング」という状況にあると認知されると、第１アプリケーション部１６０は、飲料または運動用品の広告を提供できる。第１アプリケーション部１６０が産業分野において用いられる場合、第１アプリケーション部１６０は、生産者の状況を認知して、工程制御分野に適用できる。また、第１アプリケーション部１６０が衣料と関連したサービスを提供する場合、第１アプリケーション部１６０は、患者の状況をモニターリング及び認知し、応急状況などを発見し、周辺人に知らせる等の応急措置を行うことができる。
【００６０】
図５は、本発明の実施の形態に係るユーザの単位行動別に状況を設定するための第２ユーザ装置５００を示すブロック図である。
【００６１】
図５に示す第２ユーザ装置５００は、有線通信または無線通信が可能な装置であるか、または複数のセンサを利用してユーザの単位行動及び各単位行動に対応するユーザの状況を定義することができる。
【００６２】
同図に示すように、第２ユーザ装置５００は、第２センサ部５１０、第２通信部５２０、第２格納部５３０、状況設定モジュール５４０、第２情報提供インタフェース（ＩＦ：Ｉｎｔｅｒｆａｃｅ）部５５０及び第２アプリケーション部５６０を備えることができる。
【００６３】
同図の第２センサ部５１０、第２通信部５２０、第２格納部５３０、状況設定モジュール５４０、第２情報提供ＩＦ部５５０及び第２アプリケーション部５６０は、図１の第１センサ部１１０、第１通信部１２０、第１格納部１３０、第１状況認知モジュール１４０、情報提供ＩＦ部１５０及び第１アプリケーション部１６０と大部分同一なので詳細な説明は省略する。
【００６４】
第２センサ部５１０は、第２ユーザ装置５００を使用するユーザの動きをセンシングするために複数のセンサを備え、少なくとも一つのセンサによりセンシングされる信号を状況設定モジュール５４０に提供できる。第２センサ部５１０は、位置センサ、加速度センサ、角速度センサ、デジタル羅針盤、照度センサ、近接センサ、オーディオセンサなど多様な種類のセンサを備えることができる。
【００６５】
第２通信部５２０は、ブルートゥース機能、Ｗｉ−Ｆｉ機能、３Ｇ網サービス機能など多様な通信サービスを提供するための通信インタフェースである。
【００６６】
第２格納部５３０には、少なくとも一個の単位行動の集合からなる基準状態遷移グラフ及び基準状態遷移グラフのそれぞれに対応する状況情報がマッピングされて格納される。基準状態遷移グラフに対応する状況情報は、状況設定部５４９で生成されることができる。
【００６７】
状況設定モジュール５４０は、第２位置追跡部５４１、第２信号処理部５４３、第２特徴値抽出部５４５、単位行動設定部５４７及び状況設定部５４９を備えることができる。
【００６８】
第２信号処理部５４３は、複数のセンサのうち、ユーザの現在位置をセンシングする位置センサから提供される信号を分析して、ユーザの位置をリアルタイムで追跡できる。
【００６９】
第２信号処理部５４３は、複数のセンサのうち、少なくとも一つのセンサから提供される原信号を処理してノイズを除去できる。
【００７０】
第２特徴値抽出部５４５は、少なくとも一つのセンサにより獲得される信号または第２信号処理部５４３から入力される信号から特徴値を抽出できる。特徴値は、ユーザが基準状態遷移グラフを生成するために意図的に行った単位行動に対応する信号から抽出されるので、各単位行動ごとに異なる値を有する。
【００７１】
ユーザは、決まったパターンの通りに単位行動を順次行い、単位行動設定部５４７は、第２特徴値抽出部５４５から連続的に抽出されて入力される特徴値に、該当する単位行動を設定できる。すなわち、ユーザが意図的に発生した単位行動により抽出された特徴値に、該当単位行動を設定できる。単位行動設定部５４７は、抽出された特徴値に設定される単位行動を組み合わせて、単位行動モデルを作成することができる。単位行動モデルは、ユーザが順次行った単位行動及び単位行動に対応する抽出された特徴値がマッピングされた特徴空間として表現される。
【００７２】
状況設定部５４９は、設定された単位行動の組み合わせからなる基準状態遷移グラフに特定意味を有する状況を設定できる。状況設定部５４９は、下記の４種類の分類方式のうち、少なくとも一つを利用してユーザの現在状況を設定できる。
【００７３】
第１に、状況設定部５４９は、単位行動設定部５４７により設定される単位行動の組み合わせからなる基準状態遷移グラフを生成し、生成された基準状態遷移グラフに、特定意味を有する状況を設定できる。例えば、ユーザが「ジョギング」をする間に生成された状態遷移グラフが図４に示す第２基準状態遷移グラフであると、ユーザは、第２基準状態遷移グラフに「ジョギング」という状況を入力し、状況設定部５４９は、入力された状況を第２基準状態遷移グラフにマッピングされるように設定した後、第２格納部５３０に格納することができる。このとき、状況設定部５４９は、各単位行動に臨界値を追加的に設定して、状況をさらに具体的に設定できる。
【００７４】
第２に、状況設定部５４９は、第２位置追跡部５１０で追跡される位置と認識される単位行動とを結合して、状況を設定できる。
【００７５】
第３に、状況設定部５４９は、単位行動が連続的に持続する時間によって、同じ単位行動に対しても異なる状況を設定できる。
【００７６】
第４に、状況設定部５４９は、単位行動が設定される日付及び時間のうち、少なくとも一つを考慮して状況を設定できる。
【００７７】
上述した状況設定部５４９は、単位行動の集合に対して状況だけでなく、状況に適したサービスをさらに設定できる。
【００７８】
一方、第２情報提供ＩＦ部５５０は、状況設定部５４９で設定された状況に対する情報を第２アプリケーション部５６０に伝達するために、第２メッセージ生成部５５１及び第２ＡＰＩ部５５３を備える。
【００７９】
第２アプリケーション部５６０は、第２ＡＰＩ部５５３の要請によって、状況設定部５４９で認知されたユーザの現在状況に対応するサービスを提供できる。第２情報提供ＩＦ部５５０及び第２アプリケーション部５６０は、第２ユーザ装置５００に備えられなくても良い。
【００８０】
上述した通り、本ユーザ装置は、ユーザの状況を認知しユーザの状況に基づいてサービスを提供できる。例えば、本ユーザ装置は、ユーザ状況を認知するにおいて、ユーザ装置のユーザ行動だけでなく、第３者（例えば、ユーザ装置の周辺にある他の人：泥棒、強盗度．．．）の行動や、ある事物の動き（自動車）を総合してユーザ状況を認知できる。そして、そういうユーザ状況に適したサービスをサービス提供対象に提供できる。
【００８１】
例えば、自動車がユーザと衝突する場合、ユーザの悲鳴やある事物が高速でユーザ装置に接近する画面、または声に基づいてユーザが交通事故にあったと認知できる。このような場合、ユーザ装置は、そういう状況をサービス提供対象（予め決まった者や装置でありうる。例えば、家族の携帯電話または警察署）にユーザの状況を知らせることができる。
【００８２】
図６は、本発明の実施の形態に係るユーザ装置のユーザの状況認知方法を説明するためのフローチャートである。
【００８３】
同図のユーザの状況認知方法を行うユーザ装置は、図１を参照して説明した第１ユーザ装置１００でありえ、実質的に第１ユーザ装置１００の制御部（図示せず）または少なくとも一個のプロセッサ（図示せず）により駆動できる。
【００８４】
ステップＳ６１０にて、ユーザ装置は、備えられた複数のセンサのうち、ユーザの現在位置をセンシングする位置センサから提供される信号を分析して、ユーザの位置をリアルタイムで追跡できる。ユーザの位置をリアルタイムで追跡することによって、ユーザ装置は、ユーザが頻繁に訪問する場所を別途に格納及び管理することもできる。
【００８５】
ステップＳ６２０にて、ユーザ装置は、複数のセンサのうち、少なくとも一つのセンサから提供される原信号を処理してノイズを除去できる。
【００８６】
ステップＳ６３０にて、ユーザ装置は、ステップＳ６２０から提供される信号から特徴値を抽出できる。特徴値は、図３を参照して説明したウィンドウを考慮して抽出されることができる。
【００８７】
ステップＳ６４０にて、ユーザ装置は、ステップＳ６３０にて連続的に抽出される特徴値を分析して単位行動を認識できる。例えば、ユーザ装置は、抽出された特徴値を各々、事前に設定された単位行動モデルと比較して、抽出された特徴値に対応する単位行動を把握できる。認識される単位行動は、座り、歩き、走り、停止、交通手段利用中、階段上り、ユーザの対話有無、周辺騷音にマッピングされた単位行動、ユーザの現在位置の明るさを介して認識される行動、及びユーザ装置のハンドリング有無のうち、少なくとも一つを含むことができる。
【００８８】
ステップＳ６５０にて、ユーザ装置は、ステップＳ６４０にて認識される単位行動を組み合わせて状態遷移グラフを生成できる。
【００８９】
ステップＳ６６０にて、ユーザ装置は、事前に設定された基準状態遷移グラフのうち、ステップＳ６５０にて生成された状態遷移グラフとの一致度が最も大きな基準状態遷移グラフに対応する状況情報から、ユーザの現在状況を認知できる。このとき、ユーザ装置は、同じ単位行動が持続的に認識された時間と各単位行動に設定された臨界値とをさらに考慮して、ユーザの現在状況を認知できる。
【００９０】
ステップＳ６５０及びステップＳ６６０は、状態遷移グラフを利用してユーザの状況を認知する場合について記載しているが、ユーザ装置は、ステップＳ６１０にて追跡された位置、同じ単位行動が持続する時間、単位行動が認識される日付及び時間のうち、少なくとも一つを利用して、ユーザの現在状況を認知することもできる。
【００９１】
ステップＳ６７０にて、ユーザ装置は、認知されたユーザの現在状況に対応するサービスを提供できる。
【００９２】
このように、本願発明は、ユーザ状況認知に基づいたサービス提供方法により具現化されることができる。進んで、本願発明に係るユーザ状況認知に基づいたサービス提供方法は、多様な方式で変形が可能である。例えば、ユーザ状況を認知するにおいて、ユーザ装置のユーザ行動だけでなく、第３者（例えば、ユーザ装置の周辺にいる他人：泥棒、強盗．．．）の行動や、ある事物の動き（自動車）を総合してユーザ状況を認知できる。そして、そういうユーザ状況に合うサービスをサービス提供対象に提供できる。
【００９３】
例えば、自動車がユーザと衝突する場合、ユーザの悲鳴やある事物がユーザ装置に高速で接近する画面、または声に基づいてユーザが交通事故に遭ったと認知できる。このような場合、ユーザ装置は、そういう状況をサービス提供対象（予め決まった者や装置でありうる。例えば、家族の携帯電話または警察署）にユーザの状況を知らせることができる。
【００９４】
さらに他の例としては、ユーザが強盗に会った場合、強盗の音声内容、姿、ユーザの音声内容などに基づいてユーザが強盗に会ったと認知できる。このような場合、ユーザ装置は、そういう状況をサービス提供対象に知らせることができる。
【００９５】
図７は、本発明の実施の形態に係るユーザ装置のユーザの状況設定方法を説明するためのフローチャートである。
【００９６】
図７のユーザの状況設定方法を行うユーザ装置は、図５を参照して説明した第２ユーザ装置５００でありえ、実質的に第２ユーザ装置５００の制御部（図示せず）または少なくとも一個のプロセッサ（図示せず）により駆動されうる。
【００９７】
ステップＳ７１０にて、ユーザ装置は、備えられた複数のセンサのうち、ユーザの現在位置をセンシングする位置センサから提供される信号を分析して、ユーザの位置をリアルタイムで追跡できる。ユーザの位置をリアルタイムで追跡することによって、ユーザ装置は、ユーザが頻繁に訪問する場所を別途に格納及び管理することができる。
【００９８】
ステップＳ７２０にて、ユーザは、単位行動に応じる動きを行い、ユーザ装置は、複数のセンサのうち、少なくとも一つのセンサから提供される原信号を処理してノイズを除去できる。原信号は、ユーザの動きをセンシングした信号でありうる。
【００９９】
ステップＳ７３０にて、ユーザ装置は、ステップＳ７２０から提供される信号から特徴値を抽出できる。特徴値は、ユーザが行った単位行動に対応する信号から抽出されるので、各単位行動ごとに異なる値を有する。
【０１００】
ステップＳ７４０にて、ユーザ装置は、ステップＳ７３０から連続的に抽出される特徴値に該当単位行動をユーザ入力により設定し、抽出された特徴値とそれに該当する単位行動の組み合わせからなる単位行動モデルを作成することができる。例えば、ユーザが歩きという単位行動を行った後に第１特徴値が抽出されると、ステップＳ７４０にて、ユーザは、第１特徴値に歩きという単位行動を入力し、ユーザ装置は、入力された単位行動を設定できる。
【０１０１】
ステップＳ７５０にて、ユーザ装置は、ステップＳ７４０にて設定される単位行動の組み合わせからなる基準状態遷移グラフを生成し、生成された基準状態遷移グラフに、特定意味を有する状況を設定できる。このとき、より正確な状況別基準状態遷移グラフを生成するために、ユーザは、基準状態遷移グラフを生成するために行った単位行動を再度行い、ユーザ装置は、再度行った単位行動の特徴値から臨時状態遷移グラフを生成する。そして、ユーザ装置は、同じ単位行動に対してまず生成された基準状態遷移グラフと後に生成された臨時状態遷移グラフとを比較して、誤差が発見されると、誤差を利用して基準状態遷移グラフを補正できる。
【０１０２】
ステップＳ７６０にて、設定された各状況ごとに適したサービスを追加的に設定できる。
【０１０３】
上述した装置及び方法に対する実施形態において、主にユーザの行動に基づいてユーザが置かれている状況を認識すると説明したが、本願発明は、ユーザ行動だけでなく、第３者の行動や事物の動きを認識してユーザが置かれている状況を認識できることはもちろんである。
【０１０４】
また、上述した実施の形態により認知されたユーザ状況を利用してサービスを提供する方法により本願発明は具現化が可能である。例えば、上述した実施の形態によって、客体の少なくとも一つの行動を認識し、該認識された客体の行動に対応するサービスを、サービス提供対象に提供するサービス方法により具現化が可能である。ここで、客体は、上述したように、ユーザ装置のユーザ、前記ユーザでない第３者、及び物体のうち、少なくとも何れか一つでありえ、サービス提供対象は、ユーザ装置のユーザ、及び前記ユーザでない第３者のうち、少なくとも一つでありうる。
【０１０５】
以上、本発明は、限定された実施の形態と図面により説明されたが、本発明は、上記の実施の形態に限定されるものではなく、本発明が属する分野における通常の知識を有した者であればこのような記載から多様な修正及び変形が可能である。したがって、本発明の範囲は、説明された実施の形態に限って決まってはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものによって決まらねばならない。
【符号の説明】
【０１０６】
１００ 第１ユーザ装置
１１０ 第１センサ部
１２０ 第１通信部
１３０ 第１格納部
１４０ 第１状況認知モジュール
１５０ 第１情報提供インタフェース部
１６０ 第１アプリケーション部
【特許請求の範囲】
【請求項１】
ユーザの状況認知方法であって、
ユーザ装置に備えられた複数のセンサのうち、少なくとも一つのセンサにより獲得される信号を分析して、客体（ｏｂｊｅｃｔ）により順次発生される少なくとも一つの単位行動を認識するステップと、
前記認識される単位行動のパターンを分析して、前記ユーザの現在状況を認知するステップと、
を含むことを特徴とするユーザの状況認知方法。
【請求項２】
前記客体は、前記ユーザ装置のユーザ、前記ユーザでない第３者、及び物体のうち、少なくとも一つであることを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項３】
前記少なくとも一つのセンサにより獲得される信号から、前記ユーザの単位行動を表す特徴値を連続的に抽出するステップをさらに含み、
前記単位行動を認識するステップは、前記抽出された特徴値を各々、事前に設定された単位行動モデルと比較して、前記抽出された特徴値に対応する単位行動を認識することを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項４】
前記現在状況を認知するステップは、
前記認識される単位行動を組み合わせて、状態遷移グラフを生成するステップと、
少なくとも一個の行動の集合からなる基準状態遷移グラフのうち、前記生成される状態遷移グラフとの一致度が最も大きな基準状態遷移グラフに対応する状況情報から、前記ユーザの現在状況を認知するステップと、
を含むことを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項５】
前記現在状況を認知するステップは、
前記認識される単位行動のうち、同じ単位行動が持続的に認識される場合に、前記持続的に認識された時間をさらに考慮して、前記ユーザの現在状況を認知することを特徴とする請求項４に記載のユーザの状況認知方法。
【請求項６】
前記複数のセンサのうち、前記ユーザの現在位置をセンシングする位置センサから提供される信号を分析して、前記ユーザの現在位置をリアルタイムで追跡するステップをさらに含み、
前記現在状況を認知するステップは、
前記追跡される位置のうち、特定場所で認識される単位行動を利用して前記ユーザの現在状況を認知することを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項７】
前記現在状況を認知するステップは、
同じ単位行動が持続的に認識される場合に、前記持続的に認識された時間を考慮して、前記ユーザの現在状況を認知することを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項８】
前記現在状況を認知するステップは、
前記単位行動が認識される日付及び時間のうち、少なくとも一つを利用して、前記ユーザの現在状況を認知することを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項９】
前記単位行動を認識するステップは、
前記複数のセンサのうち、加速度センサ及びデジタル羅針盤のうち、少なくとも一つから提供される信号を分析して、座り、歩き、走り、停止、交通手段利用及び階段上りのうち、少なくとも一つを認識するステップと、
前記複数のセンサのうち、音を感知するためのオーディオセンサから提供される信号を分析して、前記ユーザの対話有無及び周辺騷音程度を認識するステップと、
前記複数のセンサのうち、照度センサ及び近接センサのうち、少なくとも一つから提供される信号を分析して、前記ユーザの現在位置の明るさを介して認識される単位行動、及び前記ユーザ装置のハンドリング有無のうち、少なくとも一つを認識するステップと、
のうち、少なくとも一つのステップを含むことを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項１０】
ユーザ装置におけるサービス提供方法であって、
客体から順次発生される少なくとも一つの単位行動を認識するステップと、
前記認識される単位行動に対応するサービスを、サービス提供対象に提供するステップと、
を含むことを特徴とする状況認知に基づいたサービス提供方法。
【請求項１１】
前記少なくとも一つの単位行動は、順次発生した単位行動であり、
前記単位行動を認識するステップは、前記認識される単位行動のパターンを分析することを特徴とする請求項１０に記載の状況認知に基づいたサービス提供方法。
【請求項１２】
複数のセンサを有するセンサ部と、
前記複数のセンサのうち、少なくとも一つのセンサにより獲得される信号を分析して、客体により順次発生した単位行動を認識する単位行動認識部と、
前記認識される単位行動のパターンを分析して、前記ユーザの現在状況を認知する状況認知部と、
を備えることを特徴とするユーザの状況認知が可能なユーザ装置。
【請求項１３】
前記少なくとも一つのセンサにより獲得される信号から、前記ユーザの単位行動を表す特徴値を連続的に抽出する特徴値抽出部をさらに備え、
前記単位行動認識部は、前記抽出された特徴値を各々、事前に設定された単位行動モデルと比較して、前記抽出された特徴値に対応する単位行動を認識することを特徴とする請求項１２に記載のユーザの状況認知が可能なユーザ装置。
【請求項１４】
少なくとも一個の行動の集合からなる基準状態遷移グラフ及び前記基準状態遷移グラフのそれぞれに対応する状況情報が格納される格納部をさらに備え、
前記状況認知部は、
前記認識される単位行動を組み合わせて、状態遷移グラフを生成し、前記基準状態遷移グラフのうち、前記生成される状態遷移グラフとの一致度が最も大きな基準状態遷移グラフに対応する状況情報から、前記ユーザの現在状況を認知することを特徴とする請求項１２に記載のユーザの状況認知が可能なユーザ装置。
【請求項１５】
前記状況認知部は、前記認識される単位行動のうち、同じ単位行動が持続的に認識される場合に、前記持続的に認識された時間をさらに考慮して、前記ユーザの現在状況を認知することを特徴とする請求項１４に記載のユーザの状況認知が可能なユーザ装置。
【請求項１６】
前記複数のセンサのうち、前記ユーザの現在位置をセンシングする位置センサから提供される信号を分析して、前記ユーザの現在位置をリアルタイムで追跡する位置追跡部をさらに備えることを特徴とする請求項１２に記載のユーザの状況認知が可能なユーザ装置。
【請求項１７】
前記状況認知部は、
前記追跡される位置のうち、特定場所で認識される単位行動を利用して前記ユーザの現在状況を認知する動作と、
同じ単位行動が持続的に認識される場合に、前記持続的に認識された時間を利用して前記ユーザの現在状況を認知する動作と、
前記単位行動が認識される日付及び時間のうち、少なくとも一つを利用して、前記ユーザの現在状況を認知する動作とのうち、
少なくとも一つの動作を行うことを特徴とする請求項１６に記載のユーザの状況認知が可能なユーザ装置。
【請求項１８】
前記認知されるユーザの現在状況に対応するサービスを提供するアプリケーション部をさらに備えることを特徴とする請求項１２に記載のユーザの状況認知が可能なユーザ装置。
【請求項１９】
ユーザにより順次発生した単位行動をセンシングした信号を分析して、前記単位行動の各々に対応する特徴値を抽出するステップと、
前記抽出された特徴値の各々に前記対応する単位行動を設定して、単位行動モデルを生成するステップと、
前記設定された単位行動の組み合わせからなる基準状態遷移グラフに特定意味を有する状況を設定するステップと、
を含むことを特徴とするユーザの状況設定方法。
【請求項２０】
前記状況を設定するステップは、
前記設定された単位行動を組み合わせて、前記基準状態遷移グラフを生成するステップと、
前記生成された基準状態遷移グラフに該当する前記状況を設定して格納するステップと、
を含むことを特徴とする請求項１９に記載のユーザの状況設定方法。
【請求項２１】
請求項１乃至１１、１９及び２０の何れか１項に記載の方法をコンピュータに実行させるためのプログラム。
【請求項２２】
請求項２１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２３】
ユーザにより順次発生した単位行動をセンシングした信号を分析して、前記単位行動の各々に対応する特徴値を抽出する特徴値抽出部と、
前記抽出された特徴値の各々に前記対応する単位行動を設定して、単位行動モデルを生成する単位行動設定部と、
前記設定された単位行動の組み合わせからなる基準状態遷移グラフに特定意味を有する状況を設定する状況設定部と、
を備えることを特徴とするユーザの状況設定装置。
【請求項２４】
前記状況設定部は、前記設定された単位行動を組み合わせて基準状態遷移グラフを生成し、前記生成された基準状態遷移グラフに該当する状況を設定してメモリに格納することを特徴とする請求項２３に記載のユーザの状況設定装置。
【請求項１】
ユーザの状況認知方法であって、
ユーザ装置に備えられた複数のセンサのうち、少なくとも一つのセンサにより獲得される信号を分析して、客体（ｏｂｊｅｃｔ）により順次発生される少なくとも一つの単位行動を認識するステップと、
前記認識される単位行動のパターンを分析して、前記ユーザの現在状況を認知するステップと、
を含むことを特徴とするユーザの状況認知方法。
【請求項２】
前記客体は、前記ユーザ装置のユーザ、前記ユーザでない第３者、及び物体のうち、少なくとも一つであることを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項３】
前記少なくとも一つのセンサにより獲得される信号から、前記ユーザの単位行動を表す特徴値を連続的に抽出するステップをさらに含み、
前記単位行動を認識するステップは、前記抽出された特徴値を各々、事前に設定された単位行動モデルと比較して、前記抽出された特徴値に対応する単位行動を認識することを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項４】
前記現在状況を認知するステップは、
前記認識される単位行動を組み合わせて、状態遷移グラフを生成するステップと、
少なくとも一個の行動の集合からなる基準状態遷移グラフのうち、前記生成される状態遷移グラフとの一致度が最も大きな基準状態遷移グラフに対応する状況情報から、前記ユーザの現在状況を認知するステップと、
を含むことを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項５】
前記現在状況を認知するステップは、
前記認識される単位行動のうち、同じ単位行動が持続的に認識される場合に、前記持続的に認識された時間をさらに考慮して、前記ユーザの現在状況を認知することを特徴とする請求項４に記載のユーザの状況認知方法。
【請求項６】
前記複数のセンサのうち、前記ユーザの現在位置をセンシングする位置センサから提供される信号を分析して、前記ユーザの現在位置をリアルタイムで追跡するステップをさらに含み、
前記現在状況を認知するステップは、
前記追跡される位置のうち、特定場所で認識される単位行動を利用して前記ユーザの現在状況を認知することを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項７】
前記現在状況を認知するステップは、
同じ単位行動が持続的に認識される場合に、前記持続的に認識された時間を考慮して、前記ユーザの現在状況を認知することを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項８】
前記現在状況を認知するステップは、
前記単位行動が認識される日付及び時間のうち、少なくとも一つを利用して、前記ユーザの現在状況を認知することを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項９】
前記単位行動を認識するステップは、
前記複数のセンサのうち、加速度センサ及びデジタル羅針盤のうち、少なくとも一つから提供される信号を分析して、座り、歩き、走り、停止、交通手段利用及び階段上りのうち、少なくとも一つを認識するステップと、
前記複数のセンサのうち、音を感知するためのオーディオセンサから提供される信号を分析して、前記ユーザの対話有無及び周辺騷音程度を認識するステップと、
前記複数のセンサのうち、照度センサ及び近接センサのうち、少なくとも一つから提供される信号を分析して、前記ユーザの現在位置の明るさを介して認識される単位行動、及び前記ユーザ装置のハンドリング有無のうち、少なくとも一つを認識するステップと、
のうち、少なくとも一つのステップを含むことを特徴とする請求項１に記載のユーザの状況認知方法。
【請求項１０】
ユーザ装置におけるサービス提供方法であって、
客体から順次発生される少なくとも一つの単位行動を認識するステップと、
前記認識される単位行動に対応するサービスを、サービス提供対象に提供するステップと、
を含むことを特徴とする状況認知に基づいたサービス提供方法。
【請求項１１】
前記少なくとも一つの単位行動は、順次発生した単位行動であり、
前記単位行動を認識するステップは、前記認識される単位行動のパターンを分析することを特徴とする請求項１０に記載の状況認知に基づいたサービス提供方法。
【請求項１２】
複数のセンサを有するセンサ部と、
前記複数のセンサのうち、少なくとも一つのセンサにより獲得される信号を分析して、客体により順次発生した単位行動を認識する単位行動認識部と、
前記認識される単位行動のパターンを分析して、前記ユーザの現在状況を認知する状況認知部と、
を備えることを特徴とするユーザの状況認知が可能なユーザ装置。
【請求項１３】
前記少なくとも一つのセンサにより獲得される信号から、前記ユーザの単位行動を表す特徴値を連続的に抽出する特徴値抽出部をさらに備え、
前記単位行動認識部は、前記抽出された特徴値を各々、事前に設定された単位行動モデルと比較して、前記抽出された特徴値に対応する単位行動を認識することを特徴とする請求項１２に記載のユーザの状況認知が可能なユーザ装置。
【請求項１４】
少なくとも一個の行動の集合からなる基準状態遷移グラフ及び前記基準状態遷移グラフのそれぞれに対応する状況情報が格納される格納部をさらに備え、
前記状況認知部は、
前記認識される単位行動を組み合わせて、状態遷移グラフを生成し、前記基準状態遷移グラフのうち、前記生成される状態遷移グラフとの一致度が最も大きな基準状態遷移グラフに対応する状況情報から、前記ユーザの現在状況を認知することを特徴とする請求項１２に記載のユーザの状況認知が可能なユーザ装置。
【請求項１５】
前記状況認知部は、前記認識される単位行動のうち、同じ単位行動が持続的に認識される場合に、前記持続的に認識された時間をさらに考慮して、前記ユーザの現在状況を認知することを特徴とする請求項１４に記載のユーザの状況認知が可能なユーザ装置。
【請求項１６】
前記複数のセンサのうち、前記ユーザの現在位置をセンシングする位置センサから提供される信号を分析して、前記ユーザの現在位置をリアルタイムで追跡する位置追跡部をさらに備えることを特徴とする請求項１２に記載のユーザの状況認知が可能なユーザ装置。
【請求項１７】
前記状況認知部は、
前記追跡される位置のうち、特定場所で認識される単位行動を利用して前記ユーザの現在状況を認知する動作と、
同じ単位行動が持続的に認識される場合に、前記持続的に認識された時間を利用して前記ユーザの現在状況を認知する動作と、
前記単位行動が認識される日付及び時間のうち、少なくとも一つを利用して、前記ユーザの現在状況を認知する動作とのうち、
少なくとも一つの動作を行うことを特徴とする請求項１６に記載のユーザの状況認知が可能なユーザ装置。
【請求項１８】
前記認知されるユーザの現在状況に対応するサービスを提供するアプリケーション部をさらに備えることを特徴とする請求項１２に記載のユーザの状況認知が可能なユーザ装置。
【請求項１９】
ユーザにより順次発生した単位行動をセンシングした信号を分析して、前記単位行動の各々に対応する特徴値を抽出するステップと、
前記抽出された特徴値の各々に前記対応する単位行動を設定して、単位行動モデルを生成するステップと、
前記設定された単位行動の組み合わせからなる基準状態遷移グラフに特定意味を有する状況を設定するステップと、
を含むことを特徴とするユーザの状況設定方法。
【請求項２０】
前記状況を設定するステップは、
前記設定された単位行動を組み合わせて、前記基準状態遷移グラフを生成するステップと、
前記生成された基準状態遷移グラフに該当する前記状況を設定して格納するステップと、
を含むことを特徴とする請求項１９に記載のユーザの状況設定方法。
【請求項２１】
請求項１乃至１１、１９及び２０の何れか１項に記載の方法をコンピュータに実行させるためのプログラム。
【請求項２２】
請求項２１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２３】
ユーザにより順次発生した単位行動をセンシングした信号を分析して、前記単位行動の各々に対応する特徴値を抽出する特徴値抽出部と、
前記抽出された特徴値の各々に前記対応する単位行動を設定して、単位行動モデルを生成する単位行動設定部と、
前記設定された単位行動の組み合わせからなる基準状態遷移グラフに特定意味を有する状況を設定する状況設定部と、
を備えることを特徴とするユーザの状況設定装置。
【請求項２４】
前記状況設定部は、前記設定された単位行動を組み合わせて基準状態遷移グラフを生成し、前記生成された基準状態遷移グラフに該当する状況を設定してメモリに格納することを特徴とする請求項２３に記載のユーザの状況設定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−９５３００（Ｐ２０１２−９５３００Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１１−２３５３１６（Ｐ２０１１−２３５３１６）
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（５１０２９４１９５）サムソン エスディーエス カンパニー リミテッド (33)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（５１０２９４１９５）サムソン エスディーエス カンパニー リミテッド (33)
【Ｆターム（参考）】
[ Back to top ]