動き検出装置および方法
【課題】 動き検出装置および方法を提供する。
【解決手段】 1つ以上の第1回転角測定センサを用いて第1角を測定し、1つ以上の第2回転角測定センサおよび前記1つ以上の第1回転角測定センサと相違する1つ以上の2軸の角速度センサを用いて第2角を推定し、1つ以上の第3回転角測定センサおよび前記1つ以上の2軸の角速度センサを用いて前記2軸のうちのいずれか1つである第3角を推定する動き検出装置を提供する。
【解決手段】 1つ以上の第1回転角測定センサを用いて第1角を測定し、1つ以上の第2回転角測定センサおよび前記1つ以上の第1回転角測定センサと相違する1つ以上の2軸の角速度センサを用いて第2角を推定し、1つ以上の第3回転角測定センサおよび前記1つ以上の2軸の角速度センサを用いて前記2軸のうちのいずれか1つである第3角を推定する動き検出装置を提供する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は動き検出装置および方法に関する。
【背景技術】
【0002】
携帯用の端末機またはハンドヘルド(handheld)型の装置の入力方法としてキーパッドなどを用いて直接的に入力する方法もあるが、最近は、多様なセンサを用いてユーザの動き情報を検出し、検出された動き情報を分析して入力信号を該当装置の入力信号を検出する方法により信号を入力する方法も多く用いられている。
【0003】
このようなユーザの動きによる入力は、ボタンまたはキーボードなどのI/Oと比較してさらに直観的かつ連続的な入力が可能であるという点でその活用度が大きく、一般的に動きを推定する方法として回転角を演算して該当の動き情報が推定され得る。
【0004】
幅広く使用される動き検出装置は、3軸加速度センサ、3軸角速度センサ、および3軸地磁気センサを用いて回転角を推定する方法(AHRS:Attitude and Heading Reference System)がある。
【0005】
自動車のように2次元運動を行いながらGPS受信機を用いて見出し情報が提供されるシステムの場合、前記AHRSにおいて地磁気センサを除き、3軸加速度センサおよび3軸角速度センサを使用して回転角を推定する方法(ARS:Attitude Reference System)を用いる場合もある。
【0006】
このような3軸加速度センサおよび3軸角速度センサのみを用いて動き情報を推定する方法は、特定の軸において絶対的な回転角を把握することができず、相対的な回転角のみを把握することができ、また偏差(drift)による誤差が存在することから、該当の特定の軸以外の残り軸に対する回転角を推定するときに多く用いられる。
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明の一実施形態に係る動き検出装置は、多様な方式の回転角測定センサおよび3軸ではない2軸の角速度センサだけで回転角の推定が可能であるため、コストの節減を図ることができ、前記センサを介して推定される動き情報は、小型の携帯機器のインタラクション(interaction)情報として活用できる方法を提供する。
【課題を解決するための手段】
【0008】
本発明の一実施形態に係る動き検出装置は、1つ以上の第1回転角測定センサを用いて第1角を測定する第1角推定部と、1つ以上の第2回転角測定センサおよび前記1つ以上の第1回転角測定センサと相違する1つ以上の2軸の角速度センサを用いて第2角を推定する第2角推定部と、1つ以上の第3回転角測定センサおよび前記1つ以上の2軸の角速度センサを用いて第3角を推定する第3角推定部と、を備える。
【0009】
また、本発明の一実施形態に係る動き検出装置は、予め設定された傾斜角および前記1つ以上の2軸の角速度センサの出力信号を考慮して推定される前記第3角が予め設定された閾値の範囲を超過する場合、前記第3角を推定しないよう制御したり、予め設定された値に設定する設定部をさらに備える。
【0010】
また、本発明の一実施形態に係るユーザインタフェース方法は、端末機のモーション情報をセンシングするステップと、前記センシングされたモーション情報に対応して1つ以上のコンテンツのディスプレイを制御するステップと、を含む。
【0011】
また、本発明の一実施形態に係る動き検出方法は、1つ以上の第1回転角測定センサを用いて第1角を測定するステップと、1つ以上の第2回転角測定センサおよび前記1つ以上の第1回転角測定センサと相違する1つ以上の2軸の角速度センサを用いて第2角を推定するステップと、1つ以上の第3回転角測定センサおよび前記1つ以上の2軸の角速度センサを用いて第3角を推定するステップと、を含む。
【0012】
さらに、本発明の一実施形態に係る動き検出方法は、予め設定された傾斜角および前記1つ以上の2軸の角速度センサの出力信号を考慮して推定される前記第3角が予め設定された閾値の範囲を超過する場合、前記第3角を推定しないよう制御したり、予め設定された値に設定するステップをさらに含む。
【発明の効果】
【0013】
本発明の一実施形態によれば、多様な方式の回転角測定センサおよび3軸ではない2軸の角速度センサだけで回転角の推定が可能であるため、コストの節減を図ることができ、前記センサを介して推定される動き情報は、小型携帯機器のインタラクション情報として活用することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態に係る動き検出装置を示す図である。
【図2】本発明の一実施形態に係る動き検出装置に備えられた構成を示す図である。
【図3】本発明の一実施形態に係る動き検出装置の動きによる回転角の変化を示す図である。
【図4】本発明の一実施形態に係る慣性基準座標系と関心物体または対象に固定された座標系の回転程度を示す図である。
【図5】本発明の一実施形態に係る回転角に対する軸変化を示す図である。
【図6】本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
【図7】本発明の一実施形態に係る動き検出方法を示すフローチャートである。
【図8】本発明の一実施形態に係るユーザインタフェース方法を示すフローチャートである。
【図9】本発明の一実施形態に係るユーザインタフェース装置の水平または垂直方向の動きによる操作の例を示す図である。
【図10】本発明の一実施形態に係る端末機の位置移動によるモーション情報変化の例を示す図である。
【図11】本発明の一実施形態に係る端末機の回転角変化によるモーション情報変化の例を示す図である。
【図12】本発明の一実施形態に係るインタフェース装置の第1使用例を示す図である。
【図13】本発明の一実施形態に係るインタフェース装置の第2使用例を示す図である。
【図14】本発明の一実施形態に係るインタフェース装置の第3使用例を示す図である。
【発明を実施するための形態】
【0015】
以下、添付の図面および添付の図面に記載された内容を参照しながら本発明の実施形態を詳説するが、本発明が実施形態によって制限されたり限定されることはない。
【0016】
一方、本発明の説明において、関連の公知機能または構成に対する具体的な説明が本発明の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。また、本明細書で使用される用語(terminology)は、本発明の実施形態を適切に表現するために使用された用語であって、これはユーザ、運用者の意図、または本発明が属する分野における慣例などによって異なることがある。したがって、本用語に対する定義は、本明細書の全般にわたる内容に基づいてなされるべきである。
【0017】
図1は、本発明の一実施形態に係る動き検出装置を示す図であり、図2は、本発明の一実施形態に係る動き検出装置に備えられた構成を示す図である。
【0018】
本発明の一実施形態に係る動き検出装置は多様な分野に応用されるが、説明の容易性を図るため携帯用機器に適用された例に基づいて説明する。
【0019】
本発明の一実施形態に係る動き検出装置100の動き情報は、図1に示すように、3次元上で3軸で表現される。本発明の一実施形態に係る動き検出装置100は、図2に示すように、装置に備えられた回転角測定センサ200および2軸の角速度センサ300を用いて動き情報がどのように変化するかが推定できる。
【0020】
本発明の一実施形態に係る回転角測定センサとは、多様な方式の回転角が測定されるセンサ、例えば、加速度センサで構成されてもよく、その他の多様なセンサの組合わせで構成されてもよい。
【0021】
すなわち、本発明の一実施形態に係る回転角測定センサは、加速度センサ、赤外線センサ(IRセンサ:Infrared Sensor)、超音波センサ、地磁気センサ、カメラ、およびGPSなどの多様な方式の回転角を測定することができるセンサで構成されてもよく、多様なセンサを組合わせて構成してもよい。
【0022】
本発明に係る動き検出装置の説明を容易にするため、次は加速度センサを例に挙げて説明するが、加速度センサに限定されることはない。
【0023】
図3は、本発明の一実施形態に係る動き検出装置の動きによる回転角の変化を示す図である。
【0024】
本発明の一実施形態に係る動き検出装置100は、同図に示すように水平面に対して傾斜角(alpha)が持続的に0でない値を有する自在な回転運動をすることができ、回転角を推定することによって動き情報を把握しようとするものである。
【0025】
すなわち、本発明の一実施形態に係る動き検出装置100は、動き情報が把握できする回転角の変換関係の推定方法を提供する。
【0026】
図4は、本発明の一実施形態に係る慣性基準座標系(reference frame)と関心物体または対象に固定された座標系(body frame)の回転程度を示す図であり、図5は、本発明の一実施形態に係る回転角に対する軸変化を示す図である。
【0027】
本発明の一実施形態に係る動き検出装置100で推定しようとする回転角とは、図4に示すように、慣性基準座標系と関心物体または対象に固定された座標系の回転程度を示す値に基づいて推定してもよい。
【0028】
また、本発明の一実施形態に係る動き検出装置100は、3次元の回転変換を示す3×3DCM(Direction Cosine Matrix)、3軸に対する回転を一連の順序をもって表現する方法のオイラー角(euler angle)、および回転方向ベクトルと回転の大きさを用いた表現方法のクォータニオン(quaternion)などの多様な方法により回転角が表記され、説明の容易性を図るために、図5に示すオイラー角として定義された回転(roll)、ピッチ(pitch)、ヨー(yaw)を用いて説明する。
【0029】
他の例として、本発明の一実施形態に係る動き検出装置は、カメラに入ってくる連続したフレーム間の差を演算し、オプティカルフロー(optical flow)などのモーションベクトルを抽出する映像処理方式に適用される場合、カメラの上下左右の動きをセンシングすることができる。
【0030】
図6は、本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
本発明の一実施形態に係る動き検出装置100は、大きく第1角推定部110、第2角推定部120、および第3角推定部130で構成される。
【0031】
本発明の一実施形態に係る動き検出装置100の第1角推定部110は、1つ以上の第1回転角測定センサを用いて第1角を測定する。
【0032】
すなわち、本発明の一実施形態に係る第1角推定部110は、1つ以上の第1回転角測定センサの出力信号を用いて第1角を測定する。例えば、本発明の一実施形態に係る第1角推定部110は、1つ以上の第1回転角測定センサの出力信号を用いて回転角のうちのオイラー角に対する回転角(第1角)を演算してもよい。
【0033】
このとき、本発明の一実施形態に係る第1角推定部110は、第1角を測定するために使用される他の回転角測定センサがあれば、これを用いて第1角を測定してもよい。
【0034】
また、本発明の一実施形態に係る第1角推定部110は、測定された第1角が2つ以上である場合、角推定アルゴリズムを用いて1つの角が推定されるが、例えば、測定された第1角が2つ以上であれば、カルマンフィルタ(kalman filter)のようなアルゴリズムを用いて最適の第1角を推定してもよい。
【0035】
このとき、本発明の一実施形態に係る動き検出装置100は、多様な回転角測定センサを用いて第1角を演算するが、例えば、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびGPSなどの多様な方式の回転角が測定されるセンサを用いて第1角を測定してもよい。
【0036】
本発明の一実施形態に係る動き検出装置100の第2角推定部120は、1つ以上の第2回転角測定センサおよび1つ以上の第2回転角測定センサと異なる1つ以上の2軸の角速度センサを用いて第2角を推定する。
【0037】
また、本発明の一実施形態に係る第2角推定部120は、1つ以上の第1回転角測定センサの出力信号によって演算された第1角および2軸の角速度センサの出力信号に基づいて第2角を推定してもよい。
【0038】
このとき、本発明の一実施形態によれば、第2角推定部120は、第1角推定部110で利用した回転角測定センサではない他の回転角測定センサおよび2軸の角速度センサを用いて第2角を推定してもよい。
【0039】
すなわち、本発明の一実施形態によれば、1つ以上の第1回転角測定センサと1つ以上の第2回転角測定センサとは互いに同一であってもよく、互いに異なってもよい。
【0040】
例えば、本発明の一実施形態に係る第2角推定部120は、回転角測定センサの出力信号によって演算される回転角測定センサのピッチ角、前述の第1角推定部110によって演算された第1角である回転角、および2軸の角速度センサ300の出力信号を用いて演算された2軸の角速度センサ300のピッチ角を融合して第2角である最終ピッチ角を推定してもよい。
【0041】
また、本発明の一実施形態に係る第2角推定部120は、測定された第2角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定してもよい。
【0042】
例えば、本発明の一実施形態に係る動き検出装置100は、1つ以上の第1回転角測定センサの出力信号によって得られたピッチ角、および角速度センサ300の出力信号を用いて得られたピッチ角の特性を生かして融合するように、例えば、カルマンフィルタなどを介して第2角を推定してもよい。
【0043】
また、本発明の一実施形態に係る動き検出装置100の第3角推定部130は、1つ以上の第3回転角測定センサおよび1つ以上の2軸の角速度センサを用いて第3角を推定してもよい。
【0044】
すなわち、本発明の一実施形態に係る第3角推定部130は、第1角、第2角、および1つ以上の2軸の角速度センサの出力信号に基づいて第3角を推定してもよい。
【0045】
例えば、本発明の一実施形態に係る第3角推定部130は、第1角である回転角、第2角であるピッチ角、および2軸の角速度センサの出力信号を用いて第3角である最終ヨー角を推定および演算してもよい。
【0046】
また、本発明の一実施形態に係る第3角推定部130は、推定された第3角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定してもよいが、例えば、測定された第3角が2つ以上であれば、カルマンフィルタのようなアルゴリズムを用いて最適の第3角を推定してもよい。
【0047】
一方、本発明の一実施形態に係る動き検出装置100は、予め設定された傾斜角および2軸の角速度センサの出力信号を考慮して推定される第2角が予め設定された閾値(threshold)の範囲を超過する場合、第3角を推定しないよう制御したり、予め設定された値に設定する設定部140をさらに備えてもよい。
【0048】
すなわち、本発明の一実施形態に係る設定部140は、動き検出装置100の傾斜角を検査し、傾斜角および2軸の角速度センサ300の出力信号を用いて算出することのできる第3角であるヨー角が閾値の範囲を超過した場合には、意味のない動作と見なし、ヨー角を算出しないか、または予め設定された特定値に設定されるよう制御してもよい。
【0049】
このとき、傾斜角の基礎的な定義は、特定の軸に対する回転運動の観測可能性(observability)が喪失される回転運動、またはその際の回転角として定義してもよく、本発明の一実施形態に係る傾斜角は、次のように第2角の絶対値によって決定されるように定義してもよい。
【0050】
また、本発明の一実施形態に係る設定部140は、第3角と関連する情報を考慮し、第3角をリセットする場合もある。
【0051】
例えば、本発明の一実施形態に係る設定部140は、ユーザが携帯用機器(動き検出装置100が備えられた機器)の画面を凝視するための位置へもってきたものとして見られる場合、応用分野または必要に応じて第3角であるヨー角を0のような特定値に設定してもよい。
【0052】
図7は、本発明の一実施形態に係る動き検出方法を示すフローチャートである。
【0053】
本発明の一実施形態に係る動き検出方法によって回転角を推定する方法を同図を参照しながら説明することにする。このとき、下記の数式によって回転角を求める方法は、本発明の一実施形態であるにすぎず、下記の過程に制限されるものではない。
【0054】
本発明の一実施形態に係る動き検出装置は、1つ以上の回転角測定センサを用いて第1角を演算する(S710)。
【0055】
例えば、本発明の一実施形態に係る動き検出装置は、1つ以上の第1回転角測定センサの出力信号から測定された重力加速度に基づいて、式(1)と式(2)によって第1角である回転角(Φ)および回転角測定センサのピッチ角(θ)が求められる。
【0056】
【数1】
一方、3次元回転運動においてオイラー角の時間伝播(time propagation)とオイラー角の変化量、角速度との関係式は式(3)のようになる。
【0057】
【数2】
また、本発明の一実施形態に係る動き検出装置は、1つ以上の第2回転角測定センサおよび1つ以上の第1回転角測定センサと異なる1つ以上の2軸の角速度センサを用いて第2角を推定する(S720)。
【0058】
また、本発明の一実施形態に係る動き検出装置は、1つ以上の第3回転角測定センサおよび1つ以上の2軸の角速度センサを用いて第3角を推定する(S730)。
【0059】
本発明の一実施形態によれば、式(3)に基づいて2軸の角速度センサの出力信号を代入し、第2角であるピッチ角(θ)および第3角であるヨー角(ψ)の速度情報が導出される式(4)および式(5)が求められる。
【0060】
【数3】
このとき、本発明の一実施形態に係る動き検出装置は、第2角であるピッチ角(θ)の変化率を求める式(4)を用いてピッチ角(θ)を算出する場合、回転角測定センサの出力信号を式(1)に適用して算出した回転角(Φ)を再び式(4)に適用した後、再度式(4)を積分して求めてもよい。
【0061】
また、本発明の一実施形態に係る動き検出装置は、下記式(6)のように離散化(discretize)された式によって第2角であるピッチ角(θ)を積分して算出し、デジタル信号に一般的に適用される数値積分、例えば、ルンゲ・クッタ法(runge−kutta method)を用いて算出してもよい。
【0062】
【数4】
また、本発明の一実施形態に係る動き検出装置は、ヨー角(ψ)の変化率を求める式(5)を用いてヨー角(ψ)を算出する場合、回転角測定センサの出力信号を式(1)に適用して算出した回転角(Φ)、または式(6)で求めたピッチ角(θ)を再び式(6)に適用した後に再度式(6)を積分して求めてもよい。
【0063】
また、本発明の一実施形態に係る動き検出装置は、下記の式(7)のように離散された式によって第3角であるヨー角(ψ)を積分して算出してもよく、デジタル信号に一般的に適用される数値積分、例えば、ルンゲ・クッタ法を用いて算出してもよい。
【0064】
【数5】
前述したように、本発明の一実施形態によれば、第2角であるピッチ角(θ)は、回転角測定センサの出力信号から算出してもよく、角速度センサの出力信号から算出してもよく、2つの信号を共に融合して推定してもよい。
【0065】
また、本発明の一実施形態によれば、2つのセンサの特性が補償できるカルマンフィルタを用いてピッチ角を補正してもよい。
【0066】
また、本発明の一実施形態に係る動き検出装置は、端末機の動きによって端末機に多様な方式により情報を表示することを制御するユーザインタフェース(UI:User Interface)装置に適用してもよい。
【0067】
すなわち、本発明の一実施形態に係るユーザインタフェース装置は、本発明の動き検出装置の2軸の角速度センサを利用し、上下左右またはパン・チルト(panning−tilting)のような端末機の垂直または水平方向の動きに対する動き情報に基づき、動きに応じて自然にコンテンツが表示されるように制御してもよい。
【0068】
例えば、本発明の一実施形態に係るインタフェース装置は、端末機の位置または回転角などを測定してユーザインタフェース情報として用いることができる。
【0069】
以下、本発明の一実施形態に係るユーザインタフェース装置を用いたユーザインタフェース方法を図8を参照しながら説明する。
【0070】
図8は、本発明の一実施形態に係るユーザインタフェース方法を示すフローチャートである。同図に示すように、本発明の一実施形態に係るユーザインタフェース装置は、端末機のモーション(motion)情報をセンシングし(S810)、センシングされたモーション情報に対応して1つ以上のコンテンツのディスプレイを制御する(S820)。
【0071】
図9は、本発明の一実施形態に係るユーザインタフェース装置の水平または垂直方向の動きによる操作の例を示す図である。
【0072】
同図に示すように、本発明の一実施形態に係るモーション情報は、ユーザが端末機を把持した状態910で、端末機の水平920、930または垂直940、950方向の動き情報を意味する。例えば、水平または垂直方向の動き情報は、端末機が水平方向に動く速度、水平方向に動く角速度、水平方向に動く距離、または水平方向に動く回転角度を測定した水平方向情報、および端末機が垂直方向に動く速度、垂直方向に動く角速度、垂直方向に動く距離、または垂直方向に動く回転角度を測定した垂直方向情報などの多様な情報を含んでもよい。
【0073】
すなわち、本発明の一実施形態に係るモーション情報は、端末機を動きに応じて変化する位置および変化する回転角のすべてを含む。
【0074】
図10は、本発明の一実施形態に係る端末機の位置移動によるモーション情報変化の例を示す図であり、図11は、本発明の一実施形態に係る端末機の回転角変化によるモーション情報変化の例を示す図である。
【0075】
例えば、図10に示すように、本発明の一実施形態に係るユーザインタフェース装置は、端末機が1010の位置から水平位置に移動することによって1020または1030の位置へ移動したことを認識した場合、モーション情報として水平移動による水平方向情報を生成したり、あるいは垂直位置移動によって1040または1050の位置に移動したことを認識した場合、モーション情報として垂直移動による垂直方向情報を生成してもよい。
【0076】
他の例として、図11に示すように、本発明の一実施形態に係るユーザインタフェース装置は、端末機が1110の状態で水平(左右)回転によって1120または1130の方向に回転した場合、水平回転による回転角をモーション情報として生成したり、あるいは垂直(上下)回転によって1140または1150方向に回転した場合、垂直回転による回転角をモーション情報として生成してもよい。
【0077】
また、本発明の一実施形態に係る端末機は、ユーザの動きを検出する多様な方式の装置であってもよく、モーション情報は、端末機のうちのいずれか1つ以上によってセンシングされる水平または垂直方向の動き情報である。
【0078】
すなわち、本発明の一実施形態に係るユーザインタフェース装置は、ユーザが手に持って使用することでのできる端末機に付加して使用できるだけでなく、頭または目に着用して用いる端末機などに加えて用いることもできる。
【0079】
したがって、本発明の一実施形態に係るユーザインタフェース装置によってセンシングされるモーション情報は、端末機のうちのいずれか1つであるユーザが手に持って使用される端末機、例えば、ハンドヘルド端末機の水平または垂直方向の動き情報であってもよい。
【0080】
また、本発明の一実施形態に係るユーザインタフェース装置によってセンシングされるモーション情報は、端末機のうちのいずれか1つであるユーザの頭または目に着用する端末機、例えば、HMD(Head Mounted Display)端末機の水平または垂直方向の動き情報であってもよい。
【0081】
以下、本発明の一実施形態に係るユーザインタフェース装置の動きによるモーション情報をセンシングする方法を説明するが、下記の方法によってのみモーション情報をセンシングすることではない。
【0082】
本発明の一実施形態に係るユーザインタフェース装置は、端末機のモーション情報をセンシングすることにおいて、モーション情報に対応する第1角を測定するステップと、モーション情報に対応する第2角を測定するステップという2つのステップによって端末機のモーション情報がセンシングされる。
【0083】
前述したように、本発明の一実施形態に係るユーザインタフェース装置は、モーション情報に対応する第1角を測定することにおいて、1つ以上の回転角測定センサおよび1つ以上の2軸の角速度センサによって測定される垂直方向情報に基づいて第1角を推定する。このとき、第1角は、垂直方向情報に基づいて測定されたチルト(tilt)情報を意味する。
【0084】
本発明の一実施形態に係るユーザインタフェース装置は、回転角測定センサとして角速度センサ、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびGPSのうちのいずれか1つ以上を用いてもよい。
【0085】
また、本発明の一実施形態に係るユーザインタフェース装置は、第2角を測定することにおいて、第1角および1つ以上の2軸の角速度センサによって測定される水平方向情報に基づいて第2角を推定する。
【0086】
このとき、第2角は、第1角および2軸の角速度センサによって測定される水平方向情報に基づいて推定されたパン(panning)情報であってもよい。
【0087】
一方、本発明の一実施形態に係るユーザインタフェース装置は、センシングされたモーション情報に対応して1つ以上のコンテンツのディスプレイを制御することにおいて、端末機上にコンテンツの一部または全体領域を表示した後、モーション情報に対応してコンテンツの一部または全体領域から空間的な可視領域を変更してもよい。
【0088】
図12〜図14に示すように、本発明の一実施形態に係るユーザインタフェース装置は、モーション情報に対応する方向にコンテンツの一部または全体領域を連続的に移動させて表示することができる。
【0089】
図12は、本発明の一実施形態に係るインタフェース装置の第1使用例を示す図であり、図13は、本発明の一実施形態に係るインタフェース装置の第2使用例を示す図であり、図14は、本発明の一実施形態に係るインタフェース装置の第3使用例を示す図である。
【0090】
例えば、図12に示すように、本発明の一実施形態に係るインタフェース装置が実装された端末機をユーザが上下左右またはパン・チルトなどの操作によってモーション情報を変化させることで、本発明の一実施形態に係るインタフェース装置は、表示された情報をタッチして移動させるのではなく、あたかも端末機の後方に表示された背景を端末機のディスプレイウィンドウを介して見るように端末機自体を移動させることによって、表示される情報が自動に移動して表示されるよう制御することができる。
【0091】
具体的な例として、図13に示すように、ユーザは本発明の一実施形態に係るインタフェース装置が実装された端末機を上下左右またはパン・チルトなどの操作によって動きに応じてメニュー項目(menu tree)の情報が移動するよう表示させることができ、図14に示すように、地図の場合にも端末機の動きだけでタッチまたはボタン操作なしで地図の一部分を直観的に移動させて表示させることができる。
【0092】
また、本発明の一実施形態に係るユーザインタフェース装置は、モーション情報に対応して1つ以上のコンテンツの変化がないよう、表示されるコンテンツの場面をホールディングさせることもできる。
【0093】
例えば、本発明の一実施形態に係るユーザインタフェース装置は、ユーザが端末機を動きによってモーション情報を測定するが、モーション情報によってコンテンツのディスプレイ変化がないように制御することもできる。
【0094】
すなわち、ユーザは端末機のマウスパッドまたはタッチ表面において、任意のアイコンなどを移動させるためにマウスまたは指を持ち上げる(lifting)ことによって、端末機に表示される情報を移動させることができる。
【0095】
なお、本発明の実施形態は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述したハードウェア装置は、本発明の動作を行うため1つ以上のソフトウェアモジュールとして作動するよう構成され、その逆も同様である。
【0096】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【符号の説明】
【0097】
100 動き検出装置
110 第1角推定部
120 第2角推定部
130 第3角推定部
140 設定部
200 回転角測定センサ
300 角速度センサ
【技術分野】
【0001】
本発明は動き検出装置および方法に関する。
【背景技術】
【0002】
携帯用の端末機またはハンドヘルド(handheld)型の装置の入力方法としてキーパッドなどを用いて直接的に入力する方法もあるが、最近は、多様なセンサを用いてユーザの動き情報を検出し、検出された動き情報を分析して入力信号を該当装置の入力信号を検出する方法により信号を入力する方法も多く用いられている。
【0003】
このようなユーザの動きによる入力は、ボタンまたはキーボードなどのI/Oと比較してさらに直観的かつ連続的な入力が可能であるという点でその活用度が大きく、一般的に動きを推定する方法として回転角を演算して該当の動き情報が推定され得る。
【0004】
幅広く使用される動き検出装置は、3軸加速度センサ、3軸角速度センサ、および3軸地磁気センサを用いて回転角を推定する方法(AHRS:Attitude and Heading Reference System)がある。
【0005】
自動車のように2次元運動を行いながらGPS受信機を用いて見出し情報が提供されるシステムの場合、前記AHRSにおいて地磁気センサを除き、3軸加速度センサおよび3軸角速度センサを使用して回転角を推定する方法(ARS:Attitude Reference System)を用いる場合もある。
【0006】
このような3軸加速度センサおよび3軸角速度センサのみを用いて動き情報を推定する方法は、特定の軸において絶対的な回転角を把握することができず、相対的な回転角のみを把握することができ、また偏差(drift)による誤差が存在することから、該当の特定の軸以外の残り軸に対する回転角を推定するときに多く用いられる。
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明の一実施形態に係る動き検出装置は、多様な方式の回転角測定センサおよび3軸ではない2軸の角速度センサだけで回転角の推定が可能であるため、コストの節減を図ることができ、前記センサを介して推定される動き情報は、小型の携帯機器のインタラクション(interaction)情報として活用できる方法を提供する。
【課題を解決するための手段】
【0008】
本発明の一実施形態に係る動き検出装置は、1つ以上の第1回転角測定センサを用いて第1角を測定する第1角推定部と、1つ以上の第2回転角測定センサおよび前記1つ以上の第1回転角測定センサと相違する1つ以上の2軸の角速度センサを用いて第2角を推定する第2角推定部と、1つ以上の第3回転角測定センサおよび前記1つ以上の2軸の角速度センサを用いて第3角を推定する第3角推定部と、を備える。
【0009】
また、本発明の一実施形態に係る動き検出装置は、予め設定された傾斜角および前記1つ以上の2軸の角速度センサの出力信号を考慮して推定される前記第3角が予め設定された閾値の範囲を超過する場合、前記第3角を推定しないよう制御したり、予め設定された値に設定する設定部をさらに備える。
【0010】
また、本発明の一実施形態に係るユーザインタフェース方法は、端末機のモーション情報をセンシングするステップと、前記センシングされたモーション情報に対応して1つ以上のコンテンツのディスプレイを制御するステップと、を含む。
【0011】
また、本発明の一実施形態に係る動き検出方法は、1つ以上の第1回転角測定センサを用いて第1角を測定するステップと、1つ以上の第2回転角測定センサおよび前記1つ以上の第1回転角測定センサと相違する1つ以上の2軸の角速度センサを用いて第2角を推定するステップと、1つ以上の第3回転角測定センサおよび前記1つ以上の2軸の角速度センサを用いて第3角を推定するステップと、を含む。
【0012】
さらに、本発明の一実施形態に係る動き検出方法は、予め設定された傾斜角および前記1つ以上の2軸の角速度センサの出力信号を考慮して推定される前記第3角が予め設定された閾値の範囲を超過する場合、前記第3角を推定しないよう制御したり、予め設定された値に設定するステップをさらに含む。
【発明の効果】
【0013】
本発明の一実施形態によれば、多様な方式の回転角測定センサおよび3軸ではない2軸の角速度センサだけで回転角の推定が可能であるため、コストの節減を図ることができ、前記センサを介して推定される動き情報は、小型携帯機器のインタラクション情報として活用することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態に係る動き検出装置を示す図である。
【図2】本発明の一実施形態に係る動き検出装置に備えられた構成を示す図である。
【図3】本発明の一実施形態に係る動き検出装置の動きによる回転角の変化を示す図である。
【図4】本発明の一実施形態に係る慣性基準座標系と関心物体または対象に固定された座標系の回転程度を示す図である。
【図5】本発明の一実施形態に係る回転角に対する軸変化を示す図である。
【図6】本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
【図7】本発明の一実施形態に係る動き検出方法を示すフローチャートである。
【図8】本発明の一実施形態に係るユーザインタフェース方法を示すフローチャートである。
【図9】本発明の一実施形態に係るユーザインタフェース装置の水平または垂直方向の動きによる操作の例を示す図である。
【図10】本発明の一実施形態に係る端末機の位置移動によるモーション情報変化の例を示す図である。
【図11】本発明の一実施形態に係る端末機の回転角変化によるモーション情報変化の例を示す図である。
【図12】本発明の一実施形態に係るインタフェース装置の第1使用例を示す図である。
【図13】本発明の一実施形態に係るインタフェース装置の第2使用例を示す図である。
【図14】本発明の一実施形態に係るインタフェース装置の第3使用例を示す図である。
【発明を実施するための形態】
【0015】
以下、添付の図面および添付の図面に記載された内容を参照しながら本発明の実施形態を詳説するが、本発明が実施形態によって制限されたり限定されることはない。
【0016】
一方、本発明の説明において、関連の公知機能または構成に対する具体的な説明が本発明の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。また、本明細書で使用される用語(terminology)は、本発明の実施形態を適切に表現するために使用された用語であって、これはユーザ、運用者の意図、または本発明が属する分野における慣例などによって異なることがある。したがって、本用語に対する定義は、本明細書の全般にわたる内容に基づいてなされるべきである。
【0017】
図1は、本発明の一実施形態に係る動き検出装置を示す図であり、図2は、本発明の一実施形態に係る動き検出装置に備えられた構成を示す図である。
【0018】
本発明の一実施形態に係る動き検出装置は多様な分野に応用されるが、説明の容易性を図るため携帯用機器に適用された例に基づいて説明する。
【0019】
本発明の一実施形態に係る動き検出装置100の動き情報は、図1に示すように、3次元上で3軸で表現される。本発明の一実施形態に係る動き検出装置100は、図2に示すように、装置に備えられた回転角測定センサ200および2軸の角速度センサ300を用いて動き情報がどのように変化するかが推定できる。
【0020】
本発明の一実施形態に係る回転角測定センサとは、多様な方式の回転角が測定されるセンサ、例えば、加速度センサで構成されてもよく、その他の多様なセンサの組合わせで構成されてもよい。
【0021】
すなわち、本発明の一実施形態に係る回転角測定センサは、加速度センサ、赤外線センサ(IRセンサ:Infrared Sensor)、超音波センサ、地磁気センサ、カメラ、およびGPSなどの多様な方式の回転角を測定することができるセンサで構成されてもよく、多様なセンサを組合わせて構成してもよい。
【0022】
本発明に係る動き検出装置の説明を容易にするため、次は加速度センサを例に挙げて説明するが、加速度センサに限定されることはない。
【0023】
図3は、本発明の一実施形態に係る動き検出装置の動きによる回転角の変化を示す図である。
【0024】
本発明の一実施形態に係る動き検出装置100は、同図に示すように水平面に対して傾斜角(alpha)が持続的に0でない値を有する自在な回転運動をすることができ、回転角を推定することによって動き情報を把握しようとするものである。
【0025】
すなわち、本発明の一実施形態に係る動き検出装置100は、動き情報が把握できする回転角の変換関係の推定方法を提供する。
【0026】
図4は、本発明の一実施形態に係る慣性基準座標系(reference frame)と関心物体または対象に固定された座標系(body frame)の回転程度を示す図であり、図5は、本発明の一実施形態に係る回転角に対する軸変化を示す図である。
【0027】
本発明の一実施形態に係る動き検出装置100で推定しようとする回転角とは、図4に示すように、慣性基準座標系と関心物体または対象に固定された座標系の回転程度を示す値に基づいて推定してもよい。
【0028】
また、本発明の一実施形態に係る動き検出装置100は、3次元の回転変換を示す3×3DCM(Direction Cosine Matrix)、3軸に対する回転を一連の順序をもって表現する方法のオイラー角(euler angle)、および回転方向ベクトルと回転の大きさを用いた表現方法のクォータニオン(quaternion)などの多様な方法により回転角が表記され、説明の容易性を図るために、図5に示すオイラー角として定義された回転(roll)、ピッチ(pitch)、ヨー(yaw)を用いて説明する。
【0029】
他の例として、本発明の一実施形態に係る動き検出装置は、カメラに入ってくる連続したフレーム間の差を演算し、オプティカルフロー(optical flow)などのモーションベクトルを抽出する映像処理方式に適用される場合、カメラの上下左右の動きをセンシングすることができる。
【0030】
図6は、本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
本発明の一実施形態に係る動き検出装置100は、大きく第1角推定部110、第2角推定部120、および第3角推定部130で構成される。
【0031】
本発明の一実施形態に係る動き検出装置100の第1角推定部110は、1つ以上の第1回転角測定センサを用いて第1角を測定する。
【0032】
すなわち、本発明の一実施形態に係る第1角推定部110は、1つ以上の第1回転角測定センサの出力信号を用いて第1角を測定する。例えば、本発明の一実施形態に係る第1角推定部110は、1つ以上の第1回転角測定センサの出力信号を用いて回転角のうちのオイラー角に対する回転角(第1角)を演算してもよい。
【0033】
このとき、本発明の一実施形態に係る第1角推定部110は、第1角を測定するために使用される他の回転角測定センサがあれば、これを用いて第1角を測定してもよい。
【0034】
また、本発明の一実施形態に係る第1角推定部110は、測定された第1角が2つ以上である場合、角推定アルゴリズムを用いて1つの角が推定されるが、例えば、測定された第1角が2つ以上であれば、カルマンフィルタ(kalman filter)のようなアルゴリズムを用いて最適の第1角を推定してもよい。
【0035】
このとき、本発明の一実施形態に係る動き検出装置100は、多様な回転角測定センサを用いて第1角を演算するが、例えば、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびGPSなどの多様な方式の回転角が測定されるセンサを用いて第1角を測定してもよい。
【0036】
本発明の一実施形態に係る動き検出装置100の第2角推定部120は、1つ以上の第2回転角測定センサおよび1つ以上の第2回転角測定センサと異なる1つ以上の2軸の角速度センサを用いて第2角を推定する。
【0037】
また、本発明の一実施形態に係る第2角推定部120は、1つ以上の第1回転角測定センサの出力信号によって演算された第1角および2軸の角速度センサの出力信号に基づいて第2角を推定してもよい。
【0038】
このとき、本発明の一実施形態によれば、第2角推定部120は、第1角推定部110で利用した回転角測定センサではない他の回転角測定センサおよび2軸の角速度センサを用いて第2角を推定してもよい。
【0039】
すなわち、本発明の一実施形態によれば、1つ以上の第1回転角測定センサと1つ以上の第2回転角測定センサとは互いに同一であってもよく、互いに異なってもよい。
【0040】
例えば、本発明の一実施形態に係る第2角推定部120は、回転角測定センサの出力信号によって演算される回転角測定センサのピッチ角、前述の第1角推定部110によって演算された第1角である回転角、および2軸の角速度センサ300の出力信号を用いて演算された2軸の角速度センサ300のピッチ角を融合して第2角である最終ピッチ角を推定してもよい。
【0041】
また、本発明の一実施形態に係る第2角推定部120は、測定された第2角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定してもよい。
【0042】
例えば、本発明の一実施形態に係る動き検出装置100は、1つ以上の第1回転角測定センサの出力信号によって得られたピッチ角、および角速度センサ300の出力信号を用いて得られたピッチ角の特性を生かして融合するように、例えば、カルマンフィルタなどを介して第2角を推定してもよい。
【0043】
また、本発明の一実施形態に係る動き検出装置100の第3角推定部130は、1つ以上の第3回転角測定センサおよび1つ以上の2軸の角速度センサを用いて第3角を推定してもよい。
【0044】
すなわち、本発明の一実施形態に係る第3角推定部130は、第1角、第2角、および1つ以上の2軸の角速度センサの出力信号に基づいて第3角を推定してもよい。
【0045】
例えば、本発明の一実施形態に係る第3角推定部130は、第1角である回転角、第2角であるピッチ角、および2軸の角速度センサの出力信号を用いて第3角である最終ヨー角を推定および演算してもよい。
【0046】
また、本発明の一実施形態に係る第3角推定部130は、推定された第3角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定してもよいが、例えば、測定された第3角が2つ以上であれば、カルマンフィルタのようなアルゴリズムを用いて最適の第3角を推定してもよい。
【0047】
一方、本発明の一実施形態に係る動き検出装置100は、予め設定された傾斜角および2軸の角速度センサの出力信号を考慮して推定される第2角が予め設定された閾値(threshold)の範囲を超過する場合、第3角を推定しないよう制御したり、予め設定された値に設定する設定部140をさらに備えてもよい。
【0048】
すなわち、本発明の一実施形態に係る設定部140は、動き検出装置100の傾斜角を検査し、傾斜角および2軸の角速度センサ300の出力信号を用いて算出することのできる第3角であるヨー角が閾値の範囲を超過した場合には、意味のない動作と見なし、ヨー角を算出しないか、または予め設定された特定値に設定されるよう制御してもよい。
【0049】
このとき、傾斜角の基礎的な定義は、特定の軸に対する回転運動の観測可能性(observability)が喪失される回転運動、またはその際の回転角として定義してもよく、本発明の一実施形態に係る傾斜角は、次のように第2角の絶対値によって決定されるように定義してもよい。
【0050】
また、本発明の一実施形態に係る設定部140は、第3角と関連する情報を考慮し、第3角をリセットする場合もある。
【0051】
例えば、本発明の一実施形態に係る設定部140は、ユーザが携帯用機器(動き検出装置100が備えられた機器)の画面を凝視するための位置へもってきたものとして見られる場合、応用分野または必要に応じて第3角であるヨー角を0のような特定値に設定してもよい。
【0052】
図7は、本発明の一実施形態に係る動き検出方法を示すフローチャートである。
【0053】
本発明の一実施形態に係る動き検出方法によって回転角を推定する方法を同図を参照しながら説明することにする。このとき、下記の数式によって回転角を求める方法は、本発明の一実施形態であるにすぎず、下記の過程に制限されるものではない。
【0054】
本発明の一実施形態に係る動き検出装置は、1つ以上の回転角測定センサを用いて第1角を演算する(S710)。
【0055】
例えば、本発明の一実施形態に係る動き検出装置は、1つ以上の第1回転角測定センサの出力信号から測定された重力加速度に基づいて、式(1)と式(2)によって第1角である回転角(Φ)および回転角測定センサのピッチ角(θ)が求められる。
【0056】
【数1】
一方、3次元回転運動においてオイラー角の時間伝播(time propagation)とオイラー角の変化量、角速度との関係式は式(3)のようになる。
【0057】
【数2】
また、本発明の一実施形態に係る動き検出装置は、1つ以上の第2回転角測定センサおよび1つ以上の第1回転角測定センサと異なる1つ以上の2軸の角速度センサを用いて第2角を推定する(S720)。
【0058】
また、本発明の一実施形態に係る動き検出装置は、1つ以上の第3回転角測定センサおよび1つ以上の2軸の角速度センサを用いて第3角を推定する(S730)。
【0059】
本発明の一実施形態によれば、式(3)に基づいて2軸の角速度センサの出力信号を代入し、第2角であるピッチ角(θ)および第3角であるヨー角(ψ)の速度情報が導出される式(4)および式(5)が求められる。
【0060】
【数3】
このとき、本発明の一実施形態に係る動き検出装置は、第2角であるピッチ角(θ)の変化率を求める式(4)を用いてピッチ角(θ)を算出する場合、回転角測定センサの出力信号を式(1)に適用して算出した回転角(Φ)を再び式(4)に適用した後、再度式(4)を積分して求めてもよい。
【0061】
また、本発明の一実施形態に係る動き検出装置は、下記式(6)のように離散化(discretize)された式によって第2角であるピッチ角(θ)を積分して算出し、デジタル信号に一般的に適用される数値積分、例えば、ルンゲ・クッタ法(runge−kutta method)を用いて算出してもよい。
【0062】
【数4】
また、本発明の一実施形態に係る動き検出装置は、ヨー角(ψ)の変化率を求める式(5)を用いてヨー角(ψ)を算出する場合、回転角測定センサの出力信号を式(1)に適用して算出した回転角(Φ)、または式(6)で求めたピッチ角(θ)を再び式(6)に適用した後に再度式(6)を積分して求めてもよい。
【0063】
また、本発明の一実施形態に係る動き検出装置は、下記の式(7)のように離散された式によって第3角であるヨー角(ψ)を積分して算出してもよく、デジタル信号に一般的に適用される数値積分、例えば、ルンゲ・クッタ法を用いて算出してもよい。
【0064】
【数5】
前述したように、本発明の一実施形態によれば、第2角であるピッチ角(θ)は、回転角測定センサの出力信号から算出してもよく、角速度センサの出力信号から算出してもよく、2つの信号を共に融合して推定してもよい。
【0065】
また、本発明の一実施形態によれば、2つのセンサの特性が補償できるカルマンフィルタを用いてピッチ角を補正してもよい。
【0066】
また、本発明の一実施形態に係る動き検出装置は、端末機の動きによって端末機に多様な方式により情報を表示することを制御するユーザインタフェース(UI:User Interface)装置に適用してもよい。
【0067】
すなわち、本発明の一実施形態に係るユーザインタフェース装置は、本発明の動き検出装置の2軸の角速度センサを利用し、上下左右またはパン・チルト(panning−tilting)のような端末機の垂直または水平方向の動きに対する動き情報に基づき、動きに応じて自然にコンテンツが表示されるように制御してもよい。
【0068】
例えば、本発明の一実施形態に係るインタフェース装置は、端末機の位置または回転角などを測定してユーザインタフェース情報として用いることができる。
【0069】
以下、本発明の一実施形態に係るユーザインタフェース装置を用いたユーザインタフェース方法を図8を参照しながら説明する。
【0070】
図8は、本発明の一実施形態に係るユーザインタフェース方法を示すフローチャートである。同図に示すように、本発明の一実施形態に係るユーザインタフェース装置は、端末機のモーション(motion)情報をセンシングし(S810)、センシングされたモーション情報に対応して1つ以上のコンテンツのディスプレイを制御する(S820)。
【0071】
図9は、本発明の一実施形態に係るユーザインタフェース装置の水平または垂直方向の動きによる操作の例を示す図である。
【0072】
同図に示すように、本発明の一実施形態に係るモーション情報は、ユーザが端末機を把持した状態910で、端末機の水平920、930または垂直940、950方向の動き情報を意味する。例えば、水平または垂直方向の動き情報は、端末機が水平方向に動く速度、水平方向に動く角速度、水平方向に動く距離、または水平方向に動く回転角度を測定した水平方向情報、および端末機が垂直方向に動く速度、垂直方向に動く角速度、垂直方向に動く距離、または垂直方向に動く回転角度を測定した垂直方向情報などの多様な情報を含んでもよい。
【0073】
すなわち、本発明の一実施形態に係るモーション情報は、端末機を動きに応じて変化する位置および変化する回転角のすべてを含む。
【0074】
図10は、本発明の一実施形態に係る端末機の位置移動によるモーション情報変化の例を示す図であり、図11は、本発明の一実施形態に係る端末機の回転角変化によるモーション情報変化の例を示す図である。
【0075】
例えば、図10に示すように、本発明の一実施形態に係るユーザインタフェース装置は、端末機が1010の位置から水平位置に移動することによって1020または1030の位置へ移動したことを認識した場合、モーション情報として水平移動による水平方向情報を生成したり、あるいは垂直位置移動によって1040または1050の位置に移動したことを認識した場合、モーション情報として垂直移動による垂直方向情報を生成してもよい。
【0076】
他の例として、図11に示すように、本発明の一実施形態に係るユーザインタフェース装置は、端末機が1110の状態で水平(左右)回転によって1120または1130の方向に回転した場合、水平回転による回転角をモーション情報として生成したり、あるいは垂直(上下)回転によって1140または1150方向に回転した場合、垂直回転による回転角をモーション情報として生成してもよい。
【0077】
また、本発明の一実施形態に係る端末機は、ユーザの動きを検出する多様な方式の装置であってもよく、モーション情報は、端末機のうちのいずれか1つ以上によってセンシングされる水平または垂直方向の動き情報である。
【0078】
すなわち、本発明の一実施形態に係るユーザインタフェース装置は、ユーザが手に持って使用することでのできる端末機に付加して使用できるだけでなく、頭または目に着用して用いる端末機などに加えて用いることもできる。
【0079】
したがって、本発明の一実施形態に係るユーザインタフェース装置によってセンシングされるモーション情報は、端末機のうちのいずれか1つであるユーザが手に持って使用される端末機、例えば、ハンドヘルド端末機の水平または垂直方向の動き情報であってもよい。
【0080】
また、本発明の一実施形態に係るユーザインタフェース装置によってセンシングされるモーション情報は、端末機のうちのいずれか1つであるユーザの頭または目に着用する端末機、例えば、HMD(Head Mounted Display)端末機の水平または垂直方向の動き情報であってもよい。
【0081】
以下、本発明の一実施形態に係るユーザインタフェース装置の動きによるモーション情報をセンシングする方法を説明するが、下記の方法によってのみモーション情報をセンシングすることではない。
【0082】
本発明の一実施形態に係るユーザインタフェース装置は、端末機のモーション情報をセンシングすることにおいて、モーション情報に対応する第1角を測定するステップと、モーション情報に対応する第2角を測定するステップという2つのステップによって端末機のモーション情報がセンシングされる。
【0083】
前述したように、本発明の一実施形態に係るユーザインタフェース装置は、モーション情報に対応する第1角を測定することにおいて、1つ以上の回転角測定センサおよび1つ以上の2軸の角速度センサによって測定される垂直方向情報に基づいて第1角を推定する。このとき、第1角は、垂直方向情報に基づいて測定されたチルト(tilt)情報を意味する。
【0084】
本発明の一実施形態に係るユーザインタフェース装置は、回転角測定センサとして角速度センサ、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびGPSのうちのいずれか1つ以上を用いてもよい。
【0085】
また、本発明の一実施形態に係るユーザインタフェース装置は、第2角を測定することにおいて、第1角および1つ以上の2軸の角速度センサによって測定される水平方向情報に基づいて第2角を推定する。
【0086】
このとき、第2角は、第1角および2軸の角速度センサによって測定される水平方向情報に基づいて推定されたパン(panning)情報であってもよい。
【0087】
一方、本発明の一実施形態に係るユーザインタフェース装置は、センシングされたモーション情報に対応して1つ以上のコンテンツのディスプレイを制御することにおいて、端末機上にコンテンツの一部または全体領域を表示した後、モーション情報に対応してコンテンツの一部または全体領域から空間的な可視領域を変更してもよい。
【0088】
図12〜図14に示すように、本発明の一実施形態に係るユーザインタフェース装置は、モーション情報に対応する方向にコンテンツの一部または全体領域を連続的に移動させて表示することができる。
【0089】
図12は、本発明の一実施形態に係るインタフェース装置の第1使用例を示す図であり、図13は、本発明の一実施形態に係るインタフェース装置の第2使用例を示す図であり、図14は、本発明の一実施形態に係るインタフェース装置の第3使用例を示す図である。
【0090】
例えば、図12に示すように、本発明の一実施形態に係るインタフェース装置が実装された端末機をユーザが上下左右またはパン・チルトなどの操作によってモーション情報を変化させることで、本発明の一実施形態に係るインタフェース装置は、表示された情報をタッチして移動させるのではなく、あたかも端末機の後方に表示された背景を端末機のディスプレイウィンドウを介して見るように端末機自体を移動させることによって、表示される情報が自動に移動して表示されるよう制御することができる。
【0091】
具体的な例として、図13に示すように、ユーザは本発明の一実施形態に係るインタフェース装置が実装された端末機を上下左右またはパン・チルトなどの操作によって動きに応じてメニュー項目(menu tree)の情報が移動するよう表示させることができ、図14に示すように、地図の場合にも端末機の動きだけでタッチまたはボタン操作なしで地図の一部分を直観的に移動させて表示させることができる。
【0092】
また、本発明の一実施形態に係るユーザインタフェース装置は、モーション情報に対応して1つ以上のコンテンツの変化がないよう、表示されるコンテンツの場面をホールディングさせることもできる。
【0093】
例えば、本発明の一実施形態に係るユーザインタフェース装置は、ユーザが端末機を動きによってモーション情報を測定するが、モーション情報によってコンテンツのディスプレイ変化がないように制御することもできる。
【0094】
すなわち、ユーザは端末機のマウスパッドまたはタッチ表面において、任意のアイコンなどを移動させるためにマウスまたは指を持ち上げる(lifting)ことによって、端末機に表示される情報を移動させることができる。
【0095】
なお、本発明の実施形態は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述したハードウェア装置は、本発明の動作を行うため1つ以上のソフトウェアモジュールとして作動するよう構成され、その逆も同様である。
【0096】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【符号の説明】
【0097】
100 動き検出装置
110 第1角推定部
120 第2角推定部
130 第3角推定部
140 設定部
200 回転角測定センサ
300 角速度センサ
【特許請求の範囲】
【請求項1】
1つ以上の第1回転角測定センサを用いて第1角を測定する第1角推定部と、
1つ以上の第2回転角測定センサおよび前記1つ以上の第1回転角測定センサと相違する1つ以上の2軸の角速度センサを用いて第2角を推定する第2角推定部と、
1つ以上の第3回転角測定センサおよび前記1つ以上の2軸の角速度センサを用いて第3角を推定する第3角推定部と、
を備えることを特徴とする動き検出装置。
【請求項2】
前記第1角推定部は、前記測定された第1角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定することを特徴とする請求項1に記載の動き検出装置。
【請求項3】
前記第2角推定部は、前記推定された第2角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定することを特徴とする請求項1に記載の動き検出装置。
【請求項4】
前記第3角推定部は、前記推定された第3角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定することを特徴とする請求項1に記載の動き検出装置。
【請求項5】
前記1つ以上の第1回転角測定センサ、前記1つ以上の第2回転角測定センサ、および前記1つ以上の第3回転角測定センサは、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびGPSのうちのいずれか1つ以上であることを特徴とする請求項1に記載の動き検出装置。
【請求項6】
前記第1角推定部は、前記1つ以上の第1回転角測定センサの出力信号を用いて前記第1角を測定することを特徴とする請求項1に記載の動き検出装置。
【請求項7】
前記第2角推定部は、前記1つ以上の第1回転角測定センサの出力信号によって測定された前記第1角および前記1つ以上の2軸の角速度センサの出力信号に基づいて前記第2角を推定することを特徴とする請求項6に記載の動き検出装置。
【請求項8】
前記第3角推定部は、前記第1角、前記第2角、および前記1つ以上の2軸の角速度センサの出力信号に基づいて前記第3角を推定することを特徴とする請求項7に記載の動き検出装置。
【請求項9】
予め設定された傾斜角および前記1つ以上の2軸の角速度センサの出力信号を考慮して推定される前記第3角が予め設定された閾値の範囲を超過する場合、前記第3角を推定しないよう制御したり、予め設定された値に設定する設定部をさらに備えることを特徴とする請求項1に記載の動き検出装置。
【請求項10】
前記設定部は、前記第3角と関連する情報を考慮して前記第3角をリセットすることを特徴とする請求項9に記載の動き検出装置。
【請求項11】
端末機のモーション情報をセンシングするステップと、
前記センシングされたモーション情報に対応して1つ以上のコンテンツのディスプレイを制御するステップと、
を含むことを特徴とするユーザインタフェース方法。
【請求項12】
前記モーション情報は、前記端末機の水平または垂直方向の動き情報を含むことを特徴とする請求項11に記載のユーザインタフェース方法。
【請求項13】
前記端末機はユーザの動きを検出する1つ以上の装置であり、前記モーション情報は前記端末機のうちのいずれか1つ以上によってセンシングされる水平または垂直方向の動き情報であることを特徴とする請求項12に記載のユーザインタフェース方法。
【請求項14】
前記端末機は、ハンドヘルド、頭または目に着用する端末機、HMD端末機のうちのいずれか1つ以上であることを特徴とする請求項13に記載のユーザインタフェース方法。
【請求項15】
前記端末機の前記モーション情報をセンシングする前記ステップは、
前記モーション情報に対応する第1角を測定するステップと、
前記モーション情報に対応する第2角を測定するステップと、
を含むことを特徴とする請求項12に記載のユーザインタフェース方法。
【請求項16】
前記水平または垂直方向の動き情報は、前記端末機が水平方向に動く速度、水平方向に動く角速度、水平方向に動く距離、水平方向に動く回転角度のうちのいずれか1つ以上を測定した水平方向情報、および前記端末機が垂直方向に動く速度、垂直方向に動く角速度、垂直方向に動く距離、垂直方向に動く回転角度のうちのいずれか1つ以上を測定した垂直方向情報を含むことを特徴とする請求項15に記載のユーザインタフェース方法。
【請求項17】
前記第1角を測定するステップは、1つ以上の回転角測定センサおよび1つ以上の2軸の角速度センサによって測定される前記垂直方向情報に基づいて前記第1角を推定するステップを含むことを特徴とする請求項16に記載のユーザインタフェース方法。
【請求項18】
前記第1角は、前記垂直方向情報に基づいて測定されたチルト情報であることを特徴とする請求項16に記載のユーザインタフェース方法。
【請求項19】
前記1つ以上の回転角測定センサは、角速度センサ、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびGPSのうちのいずれか1つ以上であることを特徴とする請求項17に記載のユーザインタフェース方法。
【請求項20】
前記第2角を測定するステップは、前記第1角および前記1つ以上の2軸の角速度センサによって測定される前記水平方向情報に基づいて前記第2角を推定するステップを含むことを特徴とする請求項17に記載のユーザインタフェース方法。
【請求項21】
前記第2角は、前記水平方向情報に基づいて測定されたパン(panning)情報であることを特徴とする請求項17に記載のユーザインタフェース方法。
【請求項22】
前記センシングされたモーション情報に対応して1つ以上のコンテンツのディスプレイを制御する前記ステップは、
前記端末機上に前記コンテンツの一部または全体領域を表示するステップと、
前記モーション情報に対応して前記コンテンツの一部または全体領域から空間的な可視領域を変更するステップと、
を含むことを特徴とする請求項11に記載のユーザインタフェース方法。
【請求項23】
前記モーション情報に対応して前記コンテンツの一部または全体領域から空間的な可視領域を変更するステップは、前記モーション情報に対応する方向に前記コンテンツの一部または全体領域を連続的に移動させて表示するステップを含むことを特徴とする請求項22に記載のユーザインタフェース方法。
【請求項24】
前記センシングされたモーション情報に対応して1つ以上のコンテンツのディスプレイを制御する前記ステップは、前記モーション情報に対応して前記1つ以上のコンテンツの変化がないよう表示されるコンテンツの場面をホールディングするステップをさらに含むことを特徴とする請求項22に記載のユーザインタフェース方法。
【請求項25】
1つ以上の第1回転角測定センサを用いて第1角を測定するステップと、
1つ以上の第2回転角測定センサおよび前記1つ以上の第1回転角測定センサと相違する1つ以上の2軸の角速度センサを用いて第2角を推定するステップと、
1つ以上の第3回転角測定センサおよび前記1つ以上の2軸の角速度センサを用いて第3角を推定するステップと、
を含むことを特徴とする動き検出方法。
【請求項26】
前記第1角を測定するステップは、前記測定された第1角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定することを特徴とする請求項25に記載の動き検出方法。
【請求項27】
前記第2角を推定するステップは、前記推定された第2角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定することを特徴とする請求項25に記載の動き検出方法。
【請求項28】
前記第3角を推定するステップは、前記推定された第3角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定することを特徴とする請求項25に記載の動き検出方法。
【請求項29】
前記1つ以上の第1回転角測定センサ、前記1つ以上の第2回転角測定センサ、および前記1つ以上の第3回転角測定センサは、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびGPSのうちのいずれか1つ以上であることを特徴とする請求項25に記載の動き検出方法。
【請求項30】
前記第1角を測定するステップは、前記1つ以上の第1回転角測定センサの出力信号を用いて前記第1角を測定することを特徴とする請求項25に記載の動き検出方法。
【請求項31】
前記第2角を推定するステップは、前記1つ以上の第1回転角測定センサの出力信号によって測定された前記第1角および前記1つ以上の2軸の角速度センサの出力信号に基づいて前記第2角を推定することを特徴とする請求項30に記載の動き検出方法。
【請求項32】
前記第3角を推定するステップは、前記第1角、前記第2角、および前記1つ以上の2軸の角速度センサの出力信号に基づいて前記第3角を推定することを特徴とする請求項31に記載の動き検出方法。
【請求項33】
予め設定された傾斜角および前記1つ以上の2軸の角速度センサの出力信号を考慮して推定される前記第3角が予め設定された閾値の範囲を超過する場合、前記第3角を推定しないよう制御したり、予め設定された値に設定するステップをさらに含むことを特徴とする請求項25に記載の動き検出方法。
【請求項34】
前記第3角と関連する情報を考慮して前記第3角をリセットするステップをさらに含むことを特徴とする請求項33に記載の動き検出方法。
【請求項35】
1つ以上の第1回転角測定センサを用いて参照フレームに関するオブジェクトの第1角を測定するステップと、
前記測定された第1角、1つ以上の第2回転角測定センサおよび前記1つ以上の第1回転角測定センサから別の物理センサを含む1つ以上の2軸の角速度センサに基づいて前記参照フレームに関する前記オブジェクトの複数の第2角を推定するステップと、
1つ以上の第3回転角測定センサおよび前記1つ以上の2軸の角速度センサを用いて、前記参照フレームに関する前記オブジェクトの複数の第3角を推定するステップと、
前記測定された第1角、前記推定された複数の第2角、および前記推定された複数の第3角からなるモーション情報に基づいて移動通信端末機の操作を制御するステップと、
を含むことを特徴とする動き検出方法。
【請求項36】
前記第1角を測定するステップは、前記1つ以上の第1回転角測定センサおよび前記1つ以上の2軸の角速度センサによって測定された垂直情報に基づいて前記第1角を推定することを特徴とする請求項35に記載の動き検出方法。
【請求項37】
前記測定された第1角はロール(roll)角であり、前記推定された複数の第2角はピッチ(pitch)角であり、前記推定された複数の第3角はヨー(yaw)角であることを特徴とする請求項35に記載の動き検出方法。
【請求項38】
前記1つ以上の第1回転角測定センサ、前記1つ以上の第2回転角測定センサおよび前記1つ以上の第3回転角センサは、3つの軸それぞれの動きをセンシングする単一回転角測定センサ装置を含むことを特徴とする請求項35に記載の動き検出方法。
【請求項39】
前記回転角測定センサ装置および2軸の角速度センサは、前記オブジェクトに対応する前記移動通信端末機に含まれることを特徴とする請求項35に記載の動き検出方法。
【請求項40】
前記移動通信端末機の前記操作を制御するステップは、前記表示されたイメージの表示領域と全体イメージの一部のみを表示する前記モーション情報に基づいて前記移動通信端末機のディスプレイを変化させることを特徴とする請求項35に記載の動き検出方法。
【請求項41】
前記移動通信端末機の前記操作を制御するステップは、前記モーション情報に基づいて変化する前記表示されたユーザ選択メニュ項目と異なるユーザの選択メニュ項目が含まれた前記ディスプレイの前記モーション情報に基づいて前記移動通信端末機のディスプレイを変化させることを特徴とする請求項35に記載の動き検出方法。
【請求項42】
前記表示されたユーザ選択メニュ項目は、ユーザ入力装置によって選択されることを特徴とする請求項41に記載の動き検出方法。
【請求項43】
前記移動通信端末機の前記操作を制御するステップは、前記移動通信端末機にレンダリング(rendering)されたイメージおよび前記移動通信端末機の他のレンダリングされたイメージを表示するステップと、
前記移動通信端末機は、前記モーション情報に対応する他のレンダリングされたイメージを受信する場合、前記他のレンダリングされたイメージを表示するステップと、
を含むことを特徴とする請求項35に記載の動き検出方法。
【請求項44】
動きを検出する移動通信端末機において、
表示部と、
第1回転角測定センサ、第2回転角測定センサおよび第3回転角測定センサを含む回転角測定センサと、
前記回転角測定センサを含む1つ以上の別途の物理センサを含む2軸の角速度センサと、
測定された第1角、推定された複数の第2角および推定された複数の第3角からなるモーション情報に基づいて前記移動通信端末機の操作を制御する制御部と、を含み、
前記移動通信端末機の測定された第1角は前記第1回転角測定センサを用いて参照フレームに関するオブジェクトの角を測定した角であり、
前記移動通信端末機の測定された第2角は、前記第2回転角測定センサおよび前記2軸の角速度センサを用いて前記参照フレームに関するオブジェクトの角を推定した角であり、
前記移動通信端末機の測定された3角は、前記第3回転角測定センサおよび前記2軸の角速度センサを用いて前記参照フレームに関するオブジェクトの角を推定した角であることを特徴とする移動通信端末機。
【請求項45】
前記第1角は、前記第1回転角測定センサおよび前記2軸の角速度センサによって測定された垂直情報に基づいて推定された角であることを特徴とする請求項44に記載の移動通信端末機。
【請求項46】
前記測定された第1角はロール角であり、前記推定された複数の第2角はピッチ角であり、前記推定された複数の第3角はヨー角であることを特徴とする請求項44に記載の移動通信端末機。
【請求項47】
前記回転角測定センサは、3つの軸それぞれの動きをセンシングする単一回転角測定センサ装置を含むことを特徴とする請求項44に記載の移動通信端末機。
【請求項48】
前記制御部は、表示されたイメージの表示領域と全体イメージの一部のみを表示する前記モーション情報に基づいて前記移動通信端末機のディスプレイを変化させることを特徴とする請求項44に記載の移動通信端末機。
【請求項49】
前記制御部は、前記モーション情報に基づいて変化する前記表示されたユーザ選択メニュ項目と異なるユーザの選択メニュ項目が含まれた前記ディスプレイの前記モーション情報に基づいて前記移動通信端末機のディスプレイを変化させることを特徴とする請求項44に記載の移動通信端末機。
【請求項50】
前記表示されたユーザ選択メニュ項目は、ユーザ入力装置によって選択されることを特徴とする請求項49に記載の移動通信端末機。
【請求項51】
前記制御部は、前記移動通信端末機にレンダリングされたイメージおよび前記移動通信端末機の他のレンダリングされたイメージを表示し、前記移動通信端末機は、前記モーション情報に対応する他のレンダリングされたイメージを受信する場合、前記他のレンダリングされたイメージを表示することを特徴とする請求項44に記載の移動通信端末機。
【請求項52】
請求項11〜請求項43のうちのいずれか1つの方法を行なうプログラムを記録したことを特徴とするコンピュータ読取り可能な記録媒体。
【請求項1】
1つ以上の第1回転角測定センサを用いて第1角を測定する第1角推定部と、
1つ以上の第2回転角測定センサおよび前記1つ以上の第1回転角測定センサと相違する1つ以上の2軸の角速度センサを用いて第2角を推定する第2角推定部と、
1つ以上の第3回転角測定センサおよび前記1つ以上の2軸の角速度センサを用いて第3角を推定する第3角推定部と、
を備えることを特徴とする動き検出装置。
【請求項2】
前記第1角推定部は、前記測定された第1角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定することを特徴とする請求項1に記載の動き検出装置。
【請求項3】
前記第2角推定部は、前記推定された第2角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定することを特徴とする請求項1に記載の動き検出装置。
【請求項4】
前記第3角推定部は、前記推定された第3角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定することを特徴とする請求項1に記載の動き検出装置。
【請求項5】
前記1つ以上の第1回転角測定センサ、前記1つ以上の第2回転角測定センサ、および前記1つ以上の第3回転角測定センサは、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびGPSのうちのいずれか1つ以上であることを特徴とする請求項1に記載の動き検出装置。
【請求項6】
前記第1角推定部は、前記1つ以上の第1回転角測定センサの出力信号を用いて前記第1角を測定することを特徴とする請求項1に記載の動き検出装置。
【請求項7】
前記第2角推定部は、前記1つ以上の第1回転角測定センサの出力信号によって測定された前記第1角および前記1つ以上の2軸の角速度センサの出力信号に基づいて前記第2角を推定することを特徴とする請求項6に記載の動き検出装置。
【請求項8】
前記第3角推定部は、前記第1角、前記第2角、および前記1つ以上の2軸の角速度センサの出力信号に基づいて前記第3角を推定することを特徴とする請求項7に記載の動き検出装置。
【請求項9】
予め設定された傾斜角および前記1つ以上の2軸の角速度センサの出力信号を考慮して推定される前記第3角が予め設定された閾値の範囲を超過する場合、前記第3角を推定しないよう制御したり、予め設定された値に設定する設定部をさらに備えることを特徴とする請求項1に記載の動き検出装置。
【請求項10】
前記設定部は、前記第3角と関連する情報を考慮して前記第3角をリセットすることを特徴とする請求項9に記載の動き検出装置。
【請求項11】
端末機のモーション情報をセンシングするステップと、
前記センシングされたモーション情報に対応して1つ以上のコンテンツのディスプレイを制御するステップと、
を含むことを特徴とするユーザインタフェース方法。
【請求項12】
前記モーション情報は、前記端末機の水平または垂直方向の動き情報を含むことを特徴とする請求項11に記載のユーザインタフェース方法。
【請求項13】
前記端末機はユーザの動きを検出する1つ以上の装置であり、前記モーション情報は前記端末機のうちのいずれか1つ以上によってセンシングされる水平または垂直方向の動き情報であることを特徴とする請求項12に記載のユーザインタフェース方法。
【請求項14】
前記端末機は、ハンドヘルド、頭または目に着用する端末機、HMD端末機のうちのいずれか1つ以上であることを特徴とする請求項13に記載のユーザインタフェース方法。
【請求項15】
前記端末機の前記モーション情報をセンシングする前記ステップは、
前記モーション情報に対応する第1角を測定するステップと、
前記モーション情報に対応する第2角を測定するステップと、
を含むことを特徴とする請求項12に記載のユーザインタフェース方法。
【請求項16】
前記水平または垂直方向の動き情報は、前記端末機が水平方向に動く速度、水平方向に動く角速度、水平方向に動く距離、水平方向に動く回転角度のうちのいずれか1つ以上を測定した水平方向情報、および前記端末機が垂直方向に動く速度、垂直方向に動く角速度、垂直方向に動く距離、垂直方向に動く回転角度のうちのいずれか1つ以上を測定した垂直方向情報を含むことを特徴とする請求項15に記載のユーザインタフェース方法。
【請求項17】
前記第1角を測定するステップは、1つ以上の回転角測定センサおよび1つ以上の2軸の角速度センサによって測定される前記垂直方向情報に基づいて前記第1角を推定するステップを含むことを特徴とする請求項16に記載のユーザインタフェース方法。
【請求項18】
前記第1角は、前記垂直方向情報に基づいて測定されたチルト情報であることを特徴とする請求項16に記載のユーザインタフェース方法。
【請求項19】
前記1つ以上の回転角測定センサは、角速度センサ、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびGPSのうちのいずれか1つ以上であることを特徴とする請求項17に記載のユーザインタフェース方法。
【請求項20】
前記第2角を測定するステップは、前記第1角および前記1つ以上の2軸の角速度センサによって測定される前記水平方向情報に基づいて前記第2角を推定するステップを含むことを特徴とする請求項17に記載のユーザインタフェース方法。
【請求項21】
前記第2角は、前記水平方向情報に基づいて測定されたパン(panning)情報であることを特徴とする請求項17に記載のユーザインタフェース方法。
【請求項22】
前記センシングされたモーション情報に対応して1つ以上のコンテンツのディスプレイを制御する前記ステップは、
前記端末機上に前記コンテンツの一部または全体領域を表示するステップと、
前記モーション情報に対応して前記コンテンツの一部または全体領域から空間的な可視領域を変更するステップと、
を含むことを特徴とする請求項11に記載のユーザインタフェース方法。
【請求項23】
前記モーション情報に対応して前記コンテンツの一部または全体領域から空間的な可視領域を変更するステップは、前記モーション情報に対応する方向に前記コンテンツの一部または全体領域を連続的に移動させて表示するステップを含むことを特徴とする請求項22に記載のユーザインタフェース方法。
【請求項24】
前記センシングされたモーション情報に対応して1つ以上のコンテンツのディスプレイを制御する前記ステップは、前記モーション情報に対応して前記1つ以上のコンテンツの変化がないよう表示されるコンテンツの場面をホールディングするステップをさらに含むことを特徴とする請求項22に記載のユーザインタフェース方法。
【請求項25】
1つ以上の第1回転角測定センサを用いて第1角を測定するステップと、
1つ以上の第2回転角測定センサおよび前記1つ以上の第1回転角測定センサと相違する1つ以上の2軸の角速度センサを用いて第2角を推定するステップと、
1つ以上の第3回転角測定センサおよび前記1つ以上の2軸の角速度センサを用いて第3角を推定するステップと、
を含むことを特徴とする動き検出方法。
【請求項26】
前記第1角を測定するステップは、前記測定された第1角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定することを特徴とする請求項25に記載の動き検出方法。
【請求項27】
前記第2角を推定するステップは、前記推定された第2角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定することを特徴とする請求項25に記載の動き検出方法。
【請求項28】
前記第3角を推定するステップは、前記推定された第3角が2つ以上である場合、角推定アルゴリズムを用いて1つの角を推定することを特徴とする請求項25に記載の動き検出方法。
【請求項29】
前記1つ以上の第1回転角測定センサ、前記1つ以上の第2回転角測定センサ、および前記1つ以上の第3回転角測定センサは、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびGPSのうちのいずれか1つ以上であることを特徴とする請求項25に記載の動き検出方法。
【請求項30】
前記第1角を測定するステップは、前記1つ以上の第1回転角測定センサの出力信号を用いて前記第1角を測定することを特徴とする請求項25に記載の動き検出方法。
【請求項31】
前記第2角を推定するステップは、前記1つ以上の第1回転角測定センサの出力信号によって測定された前記第1角および前記1つ以上の2軸の角速度センサの出力信号に基づいて前記第2角を推定することを特徴とする請求項30に記載の動き検出方法。
【請求項32】
前記第3角を推定するステップは、前記第1角、前記第2角、および前記1つ以上の2軸の角速度センサの出力信号に基づいて前記第3角を推定することを特徴とする請求項31に記載の動き検出方法。
【請求項33】
予め設定された傾斜角および前記1つ以上の2軸の角速度センサの出力信号を考慮して推定される前記第3角が予め設定された閾値の範囲を超過する場合、前記第3角を推定しないよう制御したり、予め設定された値に設定するステップをさらに含むことを特徴とする請求項25に記載の動き検出方法。
【請求項34】
前記第3角と関連する情報を考慮して前記第3角をリセットするステップをさらに含むことを特徴とする請求項33に記載の動き検出方法。
【請求項35】
1つ以上の第1回転角測定センサを用いて参照フレームに関するオブジェクトの第1角を測定するステップと、
前記測定された第1角、1つ以上の第2回転角測定センサおよび前記1つ以上の第1回転角測定センサから別の物理センサを含む1つ以上の2軸の角速度センサに基づいて前記参照フレームに関する前記オブジェクトの複数の第2角を推定するステップと、
1つ以上の第3回転角測定センサおよび前記1つ以上の2軸の角速度センサを用いて、前記参照フレームに関する前記オブジェクトの複数の第3角を推定するステップと、
前記測定された第1角、前記推定された複数の第2角、および前記推定された複数の第3角からなるモーション情報に基づいて移動通信端末機の操作を制御するステップと、
を含むことを特徴とする動き検出方法。
【請求項36】
前記第1角を測定するステップは、前記1つ以上の第1回転角測定センサおよび前記1つ以上の2軸の角速度センサによって測定された垂直情報に基づいて前記第1角を推定することを特徴とする請求項35に記載の動き検出方法。
【請求項37】
前記測定された第1角はロール(roll)角であり、前記推定された複数の第2角はピッチ(pitch)角であり、前記推定された複数の第3角はヨー(yaw)角であることを特徴とする請求項35に記載の動き検出方法。
【請求項38】
前記1つ以上の第1回転角測定センサ、前記1つ以上の第2回転角測定センサおよび前記1つ以上の第3回転角センサは、3つの軸それぞれの動きをセンシングする単一回転角測定センサ装置を含むことを特徴とする請求項35に記載の動き検出方法。
【請求項39】
前記回転角測定センサ装置および2軸の角速度センサは、前記オブジェクトに対応する前記移動通信端末機に含まれることを特徴とする請求項35に記載の動き検出方法。
【請求項40】
前記移動通信端末機の前記操作を制御するステップは、前記表示されたイメージの表示領域と全体イメージの一部のみを表示する前記モーション情報に基づいて前記移動通信端末機のディスプレイを変化させることを特徴とする請求項35に記載の動き検出方法。
【請求項41】
前記移動通信端末機の前記操作を制御するステップは、前記モーション情報に基づいて変化する前記表示されたユーザ選択メニュ項目と異なるユーザの選択メニュ項目が含まれた前記ディスプレイの前記モーション情報に基づいて前記移動通信端末機のディスプレイを変化させることを特徴とする請求項35に記載の動き検出方法。
【請求項42】
前記表示されたユーザ選択メニュ項目は、ユーザ入力装置によって選択されることを特徴とする請求項41に記載の動き検出方法。
【請求項43】
前記移動通信端末機の前記操作を制御するステップは、前記移動通信端末機にレンダリング(rendering)されたイメージおよび前記移動通信端末機の他のレンダリングされたイメージを表示するステップと、
前記移動通信端末機は、前記モーション情報に対応する他のレンダリングされたイメージを受信する場合、前記他のレンダリングされたイメージを表示するステップと、
を含むことを特徴とする請求項35に記載の動き検出方法。
【請求項44】
動きを検出する移動通信端末機において、
表示部と、
第1回転角測定センサ、第2回転角測定センサおよび第3回転角測定センサを含む回転角測定センサと、
前記回転角測定センサを含む1つ以上の別途の物理センサを含む2軸の角速度センサと、
測定された第1角、推定された複数の第2角および推定された複数の第3角からなるモーション情報に基づいて前記移動通信端末機の操作を制御する制御部と、を含み、
前記移動通信端末機の測定された第1角は前記第1回転角測定センサを用いて参照フレームに関するオブジェクトの角を測定した角であり、
前記移動通信端末機の測定された第2角は、前記第2回転角測定センサおよび前記2軸の角速度センサを用いて前記参照フレームに関するオブジェクトの角を推定した角であり、
前記移動通信端末機の測定された3角は、前記第3回転角測定センサおよび前記2軸の角速度センサを用いて前記参照フレームに関するオブジェクトの角を推定した角であることを特徴とする移動通信端末機。
【請求項45】
前記第1角は、前記第1回転角測定センサおよび前記2軸の角速度センサによって測定された垂直情報に基づいて推定された角であることを特徴とする請求項44に記載の移動通信端末機。
【請求項46】
前記測定された第1角はロール角であり、前記推定された複数の第2角はピッチ角であり、前記推定された複数の第3角はヨー角であることを特徴とする請求項44に記載の移動通信端末機。
【請求項47】
前記回転角測定センサは、3つの軸それぞれの動きをセンシングする単一回転角測定センサ装置を含むことを特徴とする請求項44に記載の移動通信端末機。
【請求項48】
前記制御部は、表示されたイメージの表示領域と全体イメージの一部のみを表示する前記モーション情報に基づいて前記移動通信端末機のディスプレイを変化させることを特徴とする請求項44に記載の移動通信端末機。
【請求項49】
前記制御部は、前記モーション情報に基づいて変化する前記表示されたユーザ選択メニュ項目と異なるユーザの選択メニュ項目が含まれた前記ディスプレイの前記モーション情報に基づいて前記移動通信端末機のディスプレイを変化させることを特徴とする請求項44に記載の移動通信端末機。
【請求項50】
前記表示されたユーザ選択メニュ項目は、ユーザ入力装置によって選択されることを特徴とする請求項49に記載の移動通信端末機。
【請求項51】
前記制御部は、前記移動通信端末機にレンダリングされたイメージおよび前記移動通信端末機の他のレンダリングされたイメージを表示し、前記移動通信端末機は、前記モーション情報に対応する他のレンダリングされたイメージを受信する場合、前記他のレンダリングされたイメージを表示することを特徴とする請求項44に記載の移動通信端末機。
【請求項52】
請求項11〜請求項43のうちのいずれか1つの方法を行なうプログラムを記録したことを特徴とするコンピュータ読取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2011−75559(P2011−75559A)
【公開日】平成23年4月14日(2011.4.14)
【国際特許分類】
【出願番号】特願2010−216978(P2010−216978)
【出願日】平成22年9月28日(2010.9.28)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】SAMSUNG ELECTRONICS CO.,LTD.
【住所又は居所原語表記】416,Maetan−dong,Yeongtong−gu,Suwon−si,Gyeonggi−do 442−742(KR)
【Fターム(参考)】
【公開日】平成23年4月14日(2011.4.14)
【国際特許分類】
【出願日】平成22年9月28日(2010.9.28)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】SAMSUNG ELECTRONICS CO.,LTD.
【住所又は居所原語表記】416,Maetan−dong,Yeongtong−gu,Suwon−si,Gyeonggi−do 442−742(KR)
【Fターム(参考)】
[ Back to top ]