移動情報端末、画面方向変更方法、プログラム
【課題】重力方向に依らず、移動情報端末の画面方向をユーザ所望の画面方向に変更することができる移動情報端末を提供する。
【解決手段】把持特徴サンプルを取得して画面方向を変更する移動情報端末であって、把持特徴サンプルを取得する把持特徴サンプル取得部と、移動情報端末を学習状態、認識状態のどちらかの状態に切替える切替え部と、移動情報端末の状態が学習状態である場合に、把持特徴サンプルを用いてモデルデータを学習するモデルデータ学習部と、移動情報端末の状態が認識状態である場合に、学習されたモデルデータと把持特徴サンプルとを比較してユーザの保持方向を推定する保持方向推定部と、推定された保持方向に基づいて画面方向を変更する画面方向変更部とを備える。
【解決手段】把持特徴サンプルを取得して画面方向を変更する移動情報端末であって、把持特徴サンプルを取得する把持特徴サンプル取得部と、移動情報端末を学習状態、認識状態のどちらかの状態に切替える切替え部と、移動情報端末の状態が学習状態である場合に、把持特徴サンプルを用いてモデルデータを学習するモデルデータ学習部と、移動情報端末の状態が認識状態である場合に、学習されたモデルデータと把持特徴サンプルとを比較してユーザの保持方向を推定する保持方向推定部と、推定された保持方向に基づいて画面方向を変更する画面方向変更部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はユーザが移動情報端末を把持したときの把持特徴サンプルを取得して画面方向を変更する移動情報端末、画面方向変更方法、プログラムに関する。
【背景技術】
【０００２】
近年、移動情報端末の高機能化に伴い、例えば特許文献１のように半導体ジャイロなどの重力方向センサの検知結果に基づいて、移動情報端末の表示画面に表示されたオブジェクトをユーザが閲覧しやすい向きに回転補正する機能を備える移動情報端末が実用化されている。特許文献１の画面表示装置は、重力方向検知部と、回転オブジェクト処理部とを備え、重力方向検出部は、重力方向を検出する。回転オブジェクト処理部は、表示画面内での各回転オブジェクトの上下方向が、重力方向の表示画面への投影方向に一致するように、各オブジェクトの姿勢を調整する。これにより、特許文献１の画面表示装置は、表示対象画像に含まれる、上下向きを正姿勢属性として持つ少なくとも１つの回転オブジェクトを、その姿勢が正しくなるように表示画面に表示することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１００３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図１を参照して、従来技術が抱える課題について説明する。図１は従来技術の移動情報端末の画面方向補正の問題点について例示する図である。図１（ａ）はユーザが立位、もしくは座位の姿勢で移動情報端末を左手で把持しながら移動情報端末内の画面を閲覧している状態を例示している。また、図１（ｂ）はユーザが横臥位の姿勢で移動情報端末を左手で把持しながら移動情報端末内の画面を閲覧している状態を例示している。図１（ａ）においては、重力方向の軸、もしくは移動情報端末表示画面が存在する面へ重力方向の軸を射影した軸と、ユーザ所望の画面方向軸（天地方向の軸）が一致している。このためユーザは見やすく適切な方向に表示された表示画面を閲覧することが可能である。一方、図１（ｂ）においては、重力方向の軸、もしくは移動情報端末表示画面が存在する面へ重力方向の軸を射影した軸と、ユーザ所望の画面方向軸が一致しない。このためユーザは自身の見やすい表示方向でない画面をそのまま閲覧するか、もしくは移動情報端末の画面方向がユーザ所望の方向に調整されるように、移動情報端末を回転させて移動情報端末内部の重力方向センサを動作させなければならない。ユーザが見やすい表示方向でない画面のまま閲覧を続けなければならいのはユーザにとって不便であるし、また、移動情報端末を回転させて移動情報端末内部の重力方向センサを動作させる場合には、ユーザは図１（ｂ）において自然な手指、手首の状態で移動情報端末を把持しているのであるから、手首を無理な方向にねじらなければならないからユーザにとって不便である。ユーザにとって維持が困難な手指、手首の状態であれば、ユーザは結局寝ころんだまま携帯端末の閲覧を続けることができず、起き上って、座位の姿勢、立位の姿勢で移動情報端末の閲覧を行わなければならない。上記の不具合は、従来技術の移動情報端末において、重力方向の軸またはこれを表示画面へ射影した軸と、ユーザ所望の天地の方向が常に一致すると仮定しているものの、現実にはこれらが一致しない使用場面が少なからず存在することを原因とする。従って、重力加速度や重力方向を測定することによって、ユーザ所望の画面方向を推定する方法では、上記不具合を解決できない。
【０００５】
そこで本発明では重力方向に依らず、移動情報端末の画面方向をユーザ所望の画面方向に変更することができる移動情報端末を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の移動情報端末は、把持特徴サンプルを取得して画面方向を変更することを特徴とし、把持特徴サンプル取得部と、切替え部と、モデルデータ学習部と、保持方向推定部と、画面方向変更部とを備える。把持特徴サンプル取得部は、把持特徴サンプルを取得する。切替え部は、移動情報端末を学習状態、認識状態のどちらかの状態に切替える。モデルデータ学習部は、移動情報端末の状態が学習状態である場合に、把持特徴サンプルを用いてモデルデータを学習する。保持方向推定部は、移動情報端末の状態が認識状態である場合に、学習されたモデルデータと把持特徴サンプルとを比較してユーザの保持方向を推定する。画面方向変更部は、推定された保持方向に基づいて画面方向を変更する。
【発明の効果】
【０００７】
本発明の移動情報端末によれば、重力方向に依らず、移動情報端末の画面方向をユーザ所望の画面方向に変更することができる。
【図面の簡単な説明】
【０００８】
【図１】従来技術の移動情報端末の画面方向補正の問題点について例示する図。
【図２】本発明の全ての実施例の携帯端末が備える圧力センサアレイを例示する図。
【図３】携帯端末を把持するユーザの手指位置と画面方向の関係を例示する図。
【図４】把持特徴分布と画面方向の関係を例示する図。
【図５】平均モデルデータと画面方向の関係を例示する図。
【図６】本発明の実施例１〜３に係る携帯端末が備える制御アプリケーションの動作を説明する図。
【図７】実施例１に係る携帯端末の構成を示すブロック図。
【図８】実施例２に係る携帯端末の構成を示すブロック図。
【図９】実施例３に係る携帯端末の構成を示すブロック図。
【図１０】実施例４に係る携帯端末の構成を示すブロック図。
【図１１】実施例５に係る携帯端末の構成を示すブロック図。
【図１２】実施例１〜３に係る携帯端末の学習動作を示すフローチャート。
【図１３】実施例１に係る携帯端末の認識動作を示すフローチャート。
【図１４】実施例２に係る携帯端末の認識動作を示すフローチャート。
【図１５】実施例３に係る携帯端末の認識動作を示すフローチャート。
【図１６】実施例４に係る携帯端末の学習動作を示すフローチャート。
【図１７】実施例５に係る携帯端末の学習動作を示すフローチャート。
【図１８】実施例４、５に係る携帯端末の認識動作を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１０】
＜用語の説明＞
［移動情報端末］
本発明の移動情報端末を具体化する機器の例として携帯端末、ＰＤＡ、携帯ゲーム機、電子手帳、電子書籍専用端末などがある。ただし、これら列挙した機器に限らず（１）把持しながら使用する機器であり使用時に把持特徴を取得でき、（２）様々な画面方向で使用することができる機器であればどんなものでも本発明の移動情報端末とすることができる。実施例における説明では携帯端末（タッチパネル式）を具体例として詳細に説明する。
【００１１】
[表示方向／画面方向]
移動情報端末の画面長手方向を上下方向として表示するか、左右方向として表示するかで区別される表示の方向を表示方向と呼ぶ。また、移動情報端末の画面の天地の方向を画面方向、または天地の方向と呼ぶ。
【００１２】
［縦表示／横表示］
移動情報端末の表示方向が画面長手方向を上下方向とする向きである場合を縦表示と呼ぶ。また、移動情報端末の表示方向が画面長手方向を左右方向とする向きである場合を横表示と呼ぶ。
【００１３】
［操作指］
移動情報端末のタッチパネルに接触して、移動情報端末を操作する指を操作指と呼ぶ。
＜用語の説明終わり＞
【００１４】
＜把持特徴サンプル＞
本発明の全ての実施例に係る携帯端末１００、２００、３００、４００、５００が取得する把持特徴サンプルについて説明する。携帯端末を把持するときの癖は人により異なっており、ユーザ固有の把持特徴のサンプル（把持特徴サンプル）の平均値などをユーザ所望の画面方向毎にモデルデータとして予め学習・記憶しておけば、学習・記憶済みのモデルデータと新たに取得されたユーザの把持特徴サンプルとの比較によって、ユーザ所望の画面方向（以下、保持方向ともいう）を推定することができ、保持方向に基づいて画面方向を回転補正することができる。
【００１５】
従って本発明では、把持特徴サンプルを取得し、携帯端末１００、２００、３００、４００、５００の画面方向の回転補正に用いる。把持特徴サンプルとして用いることができる物理量としては、例えば把持圧力分布、把持形状分布、把持温熱分布などが考えられる。これらの把持特徴サンプルの取得方法としては、例えば圧力センサを携帯端末１００、２００、３００、４００、５００の筐体面に面状配置することにより把持圧力分布を取得することができる。同様にＣＣＤ（ＣＭＯＳ）センサの面状配置により把持形状分布を取得することができる。同様に赤外線センサの面状配置により、把持温熱分布の取得が可能である。また、端末背面に操作キー（タッチパネル）が配置されているような携帯端末であれば、操作キー（タッチパネル）の押圧状況（操作キー、タッチパネルが押されているか否か）を記録することによっても把持特徴を取得可能である。
【００１６】
＜把持特徴センサ＞
把持特徴サンプルを取得するためのセンサは、上述のとおり、圧力センサ、ＣＣＤ（ＣＭＯＳ）センサ、赤外線センサなどとすることができるが、本明細書ではこれらを総称する場合には把持特徴センサと呼ぶものとする。実施例における説明では、把持特徴センサとして圧力センサを採用するものとし、把持特徴サンプルとしては把持圧力分布を用いるものとする。
【００１７】
＜圧力センサアレイ１０５＞
次に、図２を参照して本発明の全ての実施例の携帯端末１００、２００、３００、４００、５００が備える圧力センサアレイ１０５について説明する。図２は全ての実施例の携帯端末１００、２００、３００、４００、５００が備える圧力センサアレイ１０５について例示する図である。図２はあくまで例示であるため、本発明で用いられる圧力センサアレイ１０５の配置位置について何ら限定するものではない。図２の例では、携帯端末１００、２００、３００、４００、５００が備える圧力センサアレイ１０５は携帯端末上端辺に配置された圧力センサアレイＵ、携帯端末左端辺に配置された圧力センサアレイＬ、携帯端末右端辺に配置された圧力センサアレイＲ、携帯端末下端辺に配置された圧力センサアレイＢにより構成される。圧力センサアレイＵは４つの圧力センサ１０５−Ｕ１、１０５−Ｕ２、１０５−Ｕ３、１０５−Ｕ４にて構成される。圧力センサアレイＬは７つの圧力センサ１０５−Ｌ１、１０５−Ｌ２、１０５−Ｌ３、１０５−Ｌ４、１０５−Ｌ５、１０５−Ｌ６、１０５−Ｌ７にて構成される。圧力センサアレイＲは７つの圧力センサ１０５−Ｒ１、１０５−Ｒ２、１０５−Ｒ３、１０５−Ｒ４、１０５−Ｒ５、１０５−Ｒ６、１０５−Ｒ７にて構成される。圧力センサアレイＢは４つの圧力センサ１０５−Ｂ１、１０５−Ｂ２、１０５−Ｂ３、１０５−Ｂ４にて構成される。このように、携帯端末１００、２００、３００、４００、５００が圧力センサアレイ１０５を備えることにより、ユーザ固有の把持特徴を携帯端末縁部における把持圧力分布として取得することができる。
【００１８】
＜携帯端末を把持するユーザの手指位置と画面方向の関係＞
次に図３を参照して、携帯端末を把持するユーザの手指の位置と画面方向の関係について説明する。図３は、携帯端末を把持するユーザの手指位置と画面方向の関係を例示する図である。図３の（ａ）〜（ｄ）は全てユーザが左手で携帯端末を把持した場合の図であって、図３（ａ）は携帯端末を図に示すイ方向を天の方向として把持した場合、図３（ｂ）は携帯端末を図に示すロ方向を天の方向として把持した場合、図３（ｃ）は携帯端末を図に示すハ方向を天の方向として把持した場合、図３（ｄ）は携帯端末を図に示すニ方向を天の方向として把持した場合である。本明細書では、ユーザが左手で携帯端末を把持する場合についてのみ説明するが、ユーザの利き手が逆である場合にはユーザは右手で携帯端末を把持する。この場合も以降の原理については全く同じであるから重複説明を省略する。
【００１９】
＜把持特徴分布と画面方向の関係＞
次に、図４を参照して上述のユーザの手指位置から計測される把持特徴分布（把持圧力分布）と画面方向の関係について説明する。図４は把持特徴分布と画面方向の関係を例示する図である。図４（ａ）は携帯端末をイ方向を天の方向として把持した場合の把持圧力が生じる位置、図４（ｂ）は携帯端末をロ方向を天の方向として把持した場合の把持圧力が生じる位置、図４（ｃ）は携帯端末をハ方向を天の方向として把持した場合の把持圧力が生じる位置、図４（ｄ）は携帯端末をニ方向を天の方向として把持した場合の把持圧力が生じる位置をそれぞれ斜線領域で示している。図３（ａ）と図４（ａ）、図３（ｂ）と図４（ｂ）、図３（ｃ）と図４（ｃ）、図３（ｄ）と図４（ｄ）がそれぞれ対応している。図４に表すように、ユーザ所望の画面方向（イ、ロ、ハ、ニ方向）と把持圧力の生じる位置には強い相関がみられる。従って、図４（ａ）〜（ｄ）に示すようにユーザ所望の画面方向毎に把持特徴サンプルとして把持圧力分布を取得して、所望の画面方向毎に後述するモデルデータを学習・記憶しておけば、当該モデルデータと新たに取得した把持特徴サンプルとの比較照合によって、ユーザ所望の画面方向（保持方向）を推定することができる。
【００２０】
＜平均モデルデータ＞
次に、実施例４、５において用いられる平均モデルデータについて説明する。平均モデルデータとは、予めモデルユーザを複数人（例えば２０〜３０人）設定し、これらモデルユーザの把持特徴を携帯端末の機種ごとに解析し、当該機種ごとに出荷時の携帯端末内部の記憶領域（後述する平均モデルデータ記憶部４８５）に予め記憶しておくデータである。平均モデルデータは、把持特徴観測領域の分布で定義される。例えば、全てのモデルユーザの把持特徴サンプルを画面方向毎、利き手毎（左手／右手把持）に分類して取得したうえで、分類ごとに、少なくとも一人のモデルユーザにおいて把持特徴サンプルが観測された領域全てを把持特徴観測領域と設定することができる。また、分類ごとに半数以上のモデルユーザにおいて把持特徴サンプルが観測された領域全てを把持特徴観測領域と設定してもよい。平均モデルデータを用いたユーザの保持方向推定は、平均モデルデータが示す把持特徴観測領域と、新たに取得したユーザの把持特徴サンプルの一部とが重なりあうか否かによって行われる。把持特徴観測領域は広範囲に設定すれば、誤認識の確率が大きくなる。一方、把持特徴観測領域を狭い範囲に限定してしまうと、ユーザの把持特徴サンプルを取得しても、当該把持特徴サンプルが何れの把持特徴観測領域にも重複しないことにより、何れの画面方向であるか認識不能となるケースが増大する。従って、把持特徴観測領域の範囲は、誤認識確率、認識不能確率の何れもが最小となるように設定する必要がある。
【００２１】
＜平均モデルデータと画面方向の関係＞
次に、図５を参照して実施例４、５において用いられる平均モデルデータと画面方向の関係について説明する。図５は平均モデルデータと画面方向の関係を例示する図である。図５（ａ）は携帯端末をイ方向を天の方向として把持した場合の把持特徴観測領域分布、図５（ｂ）は携帯端末をロ方向を天の方向として把持した場合の把持特徴観測領域分布、図５（ｃ）は携帯端末をハ方向を天の方向として把持した場合の把持特徴観測領域分布、図５（ｄ）は携帯端末をニ方向を天の方向として把持した場合の把持特徴観測領域分布をそれぞれ黒四角で示している。なお、図５は、図３と同様、左手把持の場合の平均モデルデータについて例示したものであるから、右手把持について考える場合は、図５の把持特徴観測領域分布は、携帯端末の天地方向の軸に線対称な位置に移動する。
【００２２】
例えば図５（ａ）の場合、携帯端末の左下端部、右下端部の両方に把持特徴観測領域が存在する。この場合、ユーザの把持特徴分布が、連続する２つの把持特徴観測領域（左下端部、右下端部）の何れの領域内の一部においても観測された場合に、ユーザ所望の画面方向はイ方向を天の方向とする方向であると推定される。例えば図５（ｃ）の場合、携帯端末の下端部、右下端部の両方に把持特徴観測領域が存在する。この場合、ユーザの把持特徴分布が、連続する２つの把持特徴観測領域（下端部、右下端部）の何れの領域内の一部においても観測された場合に、ユーザ所望の画面方向はハ方向を天の方向とする方向であると推定される。図５（ａ）〜（ｄ）に示すように画面方向毎、利き手毎に把持特徴観測領域を取得して、これらを画面方向毎、利き手毎に平均モデルデータとして予め記憶しておけば、当該平均モデルデータと取得した把持特徴サンプルとの比較照合によって、簡易にユーザ所望の画面方向（保持方向）を推定することができる。
【００２３】
＜制御アプリケーション１９０＞
本発明では、モデルデータの学習動作時、保持方向推定動作時の双方において把持特徴サンプルを取得する必要がある。本発明の実施例１〜３の携帯端末１００、２００、３００においては、学習動作を開始するために必要な制御アプリケーション１９０を備える。以下、図６を参照して本発明の実施例１〜３が備える制御アプリケーション１９０について説明する。図６は本発明の実施例１〜３が備える制御アプリケーション１９０の動作を説明する図である。本携帯端末１００、２００、３００が、未だモデルデータの学習動作を完了していないときは、例えばこの制御アプリケーション１９０の学習開始機能が一定時間経過毎に表示画面にアラート、もしくは通知を表示するものとする。ユーザは、本発明の制御アプリケーション１９０を用いて学習を行う場合には、アラートもしくは通知に従って、制御アプリケーション１９０を起動する。ユーザは、本発明の制御アプリケーション１９０を用いて学習を行わない場合には、機能設定画面などから、従来通り重力方向により画面方向を取得する機能をＯＮとして、本発明の制御アプリケーション１９０の機能をＯＦＦにすることもできる。これにより、ユーザは従来通り携帯端末を使用することもできる。
【００２４】
ユーザにより起動された制御アプリケーション１９０は、例えば図６（ａ）のような画面を初期画面として表示する。制御アプリケーション１９０は初期画面として例えば「モデルデータの学習を開始します。画面の天の向きを入力してください」と表示して、画面の上下左右の端部に押下可能なアイコン（図６では三角印）を配置しておく。ユーザは、初期画面のアナウンスに従って、例えば図６（ａ）の破線で囲ったアイコンを天の方向として指定すべく、このアイコンを操作指で押下するものとする。この場合、左手はなるべく固定された状態にしておくことにより、モデルデータの学習精度が高まるため、操作指は、把持した手と反対側の手の指とすることが望ましい。ユーザがアイコンを押下した場合、制御アプリケーション１９０は、例えば図６（ｂ）のように押下されたアイコンを黒三角形で表示し、「モデルデータ学習中です。」と表記する。このアナウンスは押下により新たに指定された天の方向に従ってユーザが閲覧しやすい方向に表示することもできる。ユーザはこのアナウンスが表示されている間、一定の把持状態を保持するように努める。制御アプリケーション１９０は、ユーザのアイコン押下をトリガとして、把持特徴サンプル取得部１２０に学習開始信号を出力する。把持特徴サンプル取得部１２０は、制御アプリケーション１９０から学習開始信号を取得し、圧力センサアレイ１０５から把持圧力分布を連続的に取得する。把持圧力取得の頻度は、例えば２〜３回／秒などとすることができる。ユーザは、アナウンスの下に表示された「中断する」アイコンを押下することでいつでも制御アプリケーションを終了させることができる。取得された把持特徴サンプルの数Ｓｍが、モデルデータの学習に必要な学習開始サンプル数ＳＦｍに達した場合には、制御アプリケーション１９０は「学習が終了しました」というアナウンスを表示して、終了する。このとき、他の保持方向（イ、ロ、ハ、ニ方向）の何れかにおいて学習が終了していない場合には、制御アプリケーション１９０は、再度「モデルデータの学習を開始します。画面の天の向きを入力してください」と表示して、前述同様、画面の上下左右の端部に押下可能なアイコン（三角印）を配置し、学習が終了した保持方向については、例えばアイコンを表示しないようにして、ユーザに次の保持方向での学習を促すこともできる。
【００２５】
制御アプリケーション１９０が出力する学習開始信号の取得をトリガとして、把持特徴サンプル取得部１２０が取得した把持圧力分布は、ユーザ所望の画面方向（保持方向）毎に、分類されてサンプル一時記憶部１３０に記憶される。このように、サンプル一時記憶部１３０が記憶する把持圧力分布のデータ数が、ある保持方向の分類において予め定めた学習開始サンプル数ＳＦｍに達した場合、取得された把持圧力分布のデータ数がＳＦｍに達した保持方向の分類においてモデルデータの学習を行う。モデルデータの学習についての詳細は後述する。
【００２６】
＜モデルデータ、モデルデータ学習部１３５、保持方向推定部１６０＞
本発明の全ての実施例に係る携帯端末１００、２００、３００、４００、５００が備えるモデルデータ学習部１３５において学習される保持方向推定時に用いるモデルデータについて説明する。モデルデータとは、ユーザの把持特徴を代表して表す雛形のことである。モデルデータ学習部１３５は、モデルデータをユーザから取得した把持特徴サンプルの平均値などから学習する。学習されたモデルデータは、例えば実施例１では、保持方向推定部１６０において、学習後に新たに取得された把持特徴サンプルと照合される。実施例１の保持方向推定部１６０は、照合により求めた値（ベクトル間距離、例えばマハラノビス汎距離）の大小により、ユーザの保持方向を推定する。
【００２７】
＜変動検知部２１５、保持方向推定部２６０＞
次に、本発明の実施例２の携帯端末２００が備える変動検知部２１５について説明する。変動検知部２１５は、ユーザの携帯端末を把持する把持の仕方の変動を検知し、この変動が所定の値を超える場合にはユーザの保持方向が変更される可能性が高いと判定し、変動検知信号を保持方向推定部２６０に出力することで、保持方向推定部２６０の保持方向の推定動作を新たに実行させるための構成部である。具体的には、変動検知部２１５は、把持特徴サンプル取得部１２０が取得した把持特徴サンプルの時系列データを取得して、当該取得した時系列データから、把持特徴サンプルの時系列変動が所定の値を超えた場合に、保持方向推定部２６０に、変動検知信号を出力する。保持方向推定部２６０は、変動検知信号を取得した場合に、モデルデータと、変動検知信号取得後に新たに取得された把持特徴サンプルとを照合する。保持方向推定部２６０は、照合により求めた値（ベクトル間距離、例えばマハラノビス汎距離）の大小により、ユーザの保持方向を推定する。
【００２８】
このように、変動検知部２１５が、ユーザの携帯端末を把持する把持の仕方の変動を検知し、この変動が所定の値を超える場合にはユーザの保持方向が変更される可能性が高いと判定し、変動検知信号を保持方向推定部２６０に出力することで、保持方向推定部２６０の保持方向の推定動作を新たに実行させるため、ユーザの保持方向の変動を予測して、迅速に画面方向をユーザ所望の画面方向に追随変化させることが可能である。
【００２９】
＜環境センサ３１０＞
次に、本発明の実施例３、５に係る携帯端末３００、５００に内蔵される環境センサ３１０について詳細に説明する。環境センサ３１０とは、携帯端末が属する環境を取得するためのセンサのことである。本発明において環境センサ３１０として用いられるセンサは携帯端末３００、５００の挙動を測定することができれば、他に何ら制限はなく、携帯端末３００、５００に実装可能なサイズおよびコストの範囲内であればどんなセンサをも組み合わせることができる。例えば、望ましい環境センサ３１０の例として加速度センサ、ジャイロスコープ（角速度センサ）などがある。加速度センサとしては、例えば３軸加速度センサが携帯端末への実装によく用いられる。３軸加速度センサとしてはピエゾ抵抗型３軸加速度センサ、静電容量型３軸加速度センサ、熱検知型３軸加速度センサなどがある。ジャイロスコープとしては、例えばＭＥＭＳジャイロスコープが携帯端末への実装によく用いられる。
【００３０】
環境センサ３１０によって感知された携帯端末の周囲環境情報は時系列データとして環境センサ３１０から出力される。周囲環境情報の時系列データとして例えば、加速度センサが測定した３軸加速度の時系列データ、ジャイロスコープが測定した角度、角速度、角加速度の時系列データなどがある。本明細書では、「周囲環境情報の時系列データ」という語は、上述の環境センサ３１０が携帯端末の周囲環境を測定した結果として得られる周囲環境情報の時系列データを示す信号全般を総称するものとする。
【００３１】
＜変動検知部３１５＞
本発明の実施例３に係る携帯端末３００が備える変動検知部３１５の動作については、基本的には変動検知部２１５の動作と変わらないが、変動検知部３１５は、把持特徴サンプルの時系列変動に加えて、環境センサ３１０が取得した周囲環境情報の時系列データ（例えば、加速度センサが測定した３軸加速度の時系列データ、ジャイロスコープが測定した角度、角速度、角加速度の時系列データなど）の時系列変動をも監視しており、これら時系列変動の何れかが所定の値を超えた場合に変動検知信号を出力する。
【００３２】
このように、変動検知部３１５が、把持特徴サンプルの時系列変動に加えて、環境センサ３１０が取得した周囲環境情報の時系列データの時系列変動をも検知し、これら時系列変動の何れかが所定の値を超える場合にはユーザの保持方向が変更される可能性が高いと判定し、変動検知信号を保持方向推定部３６０に出力することで、保持方向推定部３６０の保持方向の推定動作を新たに実行させるため、ユーザの保持方向の変動を予測して、迅速に画面方向をユーザ所望の画面方向に追随変化させることが可能である。
【００３３】
＜変動検知部４１５＞
次に、本発明の実施例４に係る携帯端末４００が備える変動検知部４１５について説明する。変動検知部４１５は、ユーザの携帯端末を把持する把持の仕方の変動を検知し、この変動が所定の値以下となる場合にはユーザが安定して携帯端末４００を保持している可能性が高いと判定し、切替え部１２５を学習状態に切り換えて、携帯端末４００の学習動作を実行させるための構成部である。また、変動検知部４１５は、ユーザの把持の仕方の変動が所定の値を超える場合には、ユーザが安定して携帯端末４００を保持していないため、学習動作に適さないと判定して、切替え部１２５を認識状態に切り換えて、携帯端末４００の認識動作を実行させるための構成部である。具体的には、変動検知部４１５は、取得された把持特徴サンプルの時系列変動が所定の値以下となる場合に、切替え部１２５を学習状態に切り換える。一方、変動検知部４１５は、取得された把持特徴サンプルの時系列変動が所定の値を超える場合には、切替え部１２５を認識状態に切り換える。
【００３４】
このように、変動検知部４１５が、ユーザの携帯端末を把持する把持の仕方の変動を検知し、この変動が所定の値以下となる場合にはユーザが安定して携帯端末４００を保持している可能性が高いと判定し、切替え部１２５を学習状態に切り換えて、携帯端末４００の学習動作を実行させるため、ユーザの把持状態に応じて学習動作を逐次実行することができるため、前述の制御アプリケーション１９０を用いた明示的な学習期間を設けることなく、自動的に学習動作を進めることが可能である。同様に、明示的なモデルデータ更新期間を設けることなく、自動的にモデルデータの更新動作を進めることも可能である。また、ユーザの把持の仕方の変動が所定の値を超える場合には、ユーザが安定して携帯端末４００を保持していないため、学習に適さないと判定して、切替え部１２５を認識状態に切り換えて、携帯端末４００の認識動作を実行させるため、ユーザの把持状態が変更された可能性が高い場面において、適切に保持方向の推定を行うことができる。このとき、モデルデータが学習済みでない場合には、前述した平均モデルデータ記憶部４８５に予め記憶された平均モデルデータを保持方向の推定に用いる。
【００３５】
＜変動検知部５１５＞
本発明の実施例５に係る携帯端末５００が備える変動検知部５１５の動作については、基本的には変動検知部４１５の動作と変わらないが、変動検知部５１５は、把持特徴サンプルの時系列変動に加えて、環境センサ３１０が取得した周囲環境情報の時系列データ（例えば、加速度センサが測定した３軸加速度の時系列データ、ジャイロスコープが測定した角度、角速度、角加速度の時系列データなど）の時系列変動をも監視しており、これら時系列変動の何れもが所定の値以下となる場合にはユーザが安定して携帯端末５００を保持している可能性が高いと判定し、切替え部１２５を学習状態に切り換えて、携帯端末５００の学習動作を実行させる。一方、これら時系列変動の何れかが所定の値を超過する場合にはユーザが安定して携帯端末５００を保持していないため、学習に適さないと判定して、切替え部１２５を認識状態に切り換えて、携帯端末５００の認識動作を実行させる。
【００３６】
このように、変動検知部５１５が、把持特徴サンプルの時系列変動に加えて、環境センサ３１０が取得した周囲環境情報の時系列データの時系列変動をも検知し、これらの変動が所定の値以下となる場合には携帯端末５００の学習動作を実行させるため、ユーザの把持状態に応じて学習動作を逐次実行することができ、前述の制御アプリケーション１９０を用いた明示的な学習期間を設けることなく、自動的に学習動作を進めることが可能である。同様に、明示的なモデルデータ更新期間を設けることなく、自動的にモデルデータの更新動作を進めることも可能である。また、上述の変動が所定の値を超える場合には、携帯端末５００の認識動作を実行させるため、ユーザの把持状態が変更された可能性が高い場面において、適切に保持方向の推定を行うことができる。このとき、モデルデータが学習済みでない場合には、前述した平均モデルデータ記憶部４８５に予め記憶された平均モデルデータを保持方向の推定に用いる。
【００３７】
＜保持方向推定部３６０＞
本発明の実施例３が備える保持方向推定部３６０の動作については、基本的には保持方向推定部２６０の動作と変わらない。保持方向推定部３６０は、変動検知部３１５から変動検知信号を取得した場合に、モデルデータと、変動検知信号取得後に新たに取得された把持特徴サンプルとを照合する。保持方向推定部３６０は、照合により求めた値（ベクトル間距離、例えばマハラノビス汎距離）の大小により、ユーザの保持方向を推定する。
【００３８】
＜保持方向推定部４６０＞
次に、本発明の実施例４、５に係る携帯端末４００、５００が備える保持方向推定部４６０の学習状態における動作について説明する。後述するように実施例４、５においては制御アプリケーション１９０を用いず、明示的な学習期間を設けないことを特徴としている。一方、モデルデータの学習には、図４で例示したようにユーザ所望の画面方向と把持特徴サンプルが対のデータとして取得される必要がある。そこで、実施例４、５においては、学習状態における動作において、保持方向推定部４６０が、把持特徴サンプル取得部１２０から把持特徴サンプルを、平均モデルデータ記憶部４８５から平均モデルデータをそれぞれ取得し、両者を比較照合することで保持方向を推定し、推定された保持方向を把持特徴サンプル取得部１２０に出力する処理を行う。従って、把持特徴サンプル取得部１２０には、把持特徴サンプルと、当該把持特徴サンプルから平均モデルデータを用いて推定される保持方向とがペアとして集められ、サンプル一時記憶部１３０に出力される。これにより、実施例４、５に係る携帯端末４００、５００では、制御アプリケーション１９０などを用いてユーザに保持方向の指定（タッチパネル操作）をさせなくても、モデルデータの学習に必要なデータの収集をすることが可能となる。
【００３９】
保持方向推定部４６０の認識状態における動作については、モデルデータ学習部１３５においてモデルデータが学習済みである場合には、保持方向推定部１６０の動作と変わらない。モデルデータ学習部１３５において学習されたモデルデータは、保持方向推定部４６０において、学習後に新たに取得された把持特徴サンプルと照合される。保持方向推定部４６０は、照合により求めた値（ベクトル間距離、例えばマハラノビス汎距離）の大小により、ユーザの保持方向を推定する。ただし、保持方向推定部４６０は、モデルデータ学習部１３５で未だモデルデータの学習が完了していない場合には、平均モデルデータ記憶部４８５に予め記憶された平均モデルデータを、学習済みのモデルデータの代替として用いる。このように、保持方向推定部４６０が、モデルデータ未学習の場合に、予め平均モデルデータ記憶部４８５に記憶された平均モデルデータを用いて、認識動作を行うため、モデルデータ未学習の場合であっても保持方向の推定、画面方向の変更ができるため、ユーザの利便性が向上する。
【実施例１】
【００４０】
上述の条件を前提として、把持特徴サンプル取得によりユーザの保持方向を推定し、携帯端末の画面方向をユーザ所望の画面方向に変更することができる実施例１に係る携帯端末１００について詳細に説明する。まず図７、図１２を参照して実施例１に係る携帯端末１００の学習状態における動作について説明する。図７は本実施例に係る携帯端末１００の構成を示すブロック図である。図１２は本実施例に係る携帯端末１００の学習動作を示すフローチャートである。
【００４１】
本実施例の携帯端末１００は圧力センサアレイ１０５と、制御アプリケーション１９０と、把持特徴サンプル取得部１２０と、切替え部１２５と、サンプル一時記憶部１３０と、モデルデータ学習部１３５と、モデルデータ記憶部１５５と、保持方向推定部１６０と、画面方向変更部１８０とを備える。本実施例の携帯端末１００は切替え部１２５を備えており、この切替え部１２５によって、携帯端末１００を学習状態、認識状態のどちらかの状態に切替えることができるものとする。ここでは、切替え部１２５が学習状態にセットされているものとする。圧力センサアレイ１０５については前述したように携帯端末１００に内蔵されている。制御アプリケーション１９０は、＜制御アプリケーション１９０＞で述べたように、携帯端末１００の表示画面にユーザ向けの所定のアナウンスを表示し、ユーザが前述のイ、ロ、ハ、ニの何れかの方向を指定するアイコンを押下した場合に、学習開始信号を生成・出力する（Ｓ１９０）。把持特徴サンプル取得部１２０は、制御アプリケーション１９０から学習開始信号を取得して、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。ここで、取得済みの把持特徴サンプルの個数をＳｍとし、学習開始サンプル数をＳＦｍとする。学習開始サンプル数ＳＦｍとは、モデルデータの学習に必要なサンプル数として予め定めたものである。これは、把持特徴サンプルの取得数が少ない状態でモデルデータの学習を行っても、十分に精度の高いモデルデータを生成することが出来ないため、精度の高いモデルデータを得るために必要であると経験的に分かっているサンプルの数を学習開始サンプル数ＳＦｍとして設定したものである。従って、サンプル一時記憶部１３０に記憶された把持特徴サンプルの個数Ｓｍが、学習開始サンプル数ＳＦｍに達した（Ｓｍ＞ＳＦｍ）場合にはステップＳ１３５に進み、モデルデータ学習部１３５が、把持特徴サンプルを用いてモデルデータを学習する（Ｓ１３０Ｙ、Ｓ１３５）。モデルデータ記憶部１５５は、学習済みのモデルデータを記憶する（Ｓ１５５）。サンプル一時記憶部１３０に記憶された把持特徴サンプルの個数Ｓｍが、学習開始サンプル数ＳＦｍに達していない（Ｓｍ＜ＳＦｍ）場合にはスタートに戻り、学習開始信号の取得と同時に把持特徴サンプルを取得する動作を繰り返す（Ｓ１３０Ｎ）。よって、モデルデータが得られるまで、Ｓ１９０、Ｓ１２０が繰り返される（Ｓ１３０Ｎ）。モデルデータは、把持特徴サンプル（把持圧力分布）の平均値などから求められる。
【００４２】
次に、図７、図１３を参照して実施例１に係る携帯端末１００の認識状態における動作について説明する。図１３は本実施例に係る携帯端末１００の認識動作を示すフローチャートである。ここでは、携帯端末１００の切替え部１２５が認識状態にセットされているものとする。なお、認識状態動作時には、上述した学習状態が既に動作しており、モデルデータがモデルデータ記憶部１５５に記憶済みであるものとする。把持特徴サンプル取得部１２０は、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。次に、保持方向推定部１６０は、学習されたモデルデータと把持特徴サンプルとを比較して保持方向推定を行う（Ｓ１６０）。この保持方向推定の結果、保持方向に変化がなかった場合には（Ｓ１６５Ｙ）、画面方向は変更されず、処理は終了する（エンド）。このとき、保持方向推定の結果、保持方向に変化があった場合には（Ｓ１６５Ｎ）、画面方向変更部１８０が、推定された保持方向に基づいて携帯端末１００の画面方向を変更する（Ｓ１８０）。
【００４３】
モデルデータと把持特徴サンプルとの比較の方法については、例えば以下のように実現可能である。保持方向推定部１６０は、モデルデータと認識状態において取得された把持特徴サンプルとの距離（例えばマハラノビス汎距離）を求める。保持方向推定部１６０は、この距離がある一定の値以下であれば取得された把持特徴サンプルを本人のものと結論する。一方、保持方向推定部１６０は、モデルデータと把持特徴サンプルとの距離（例えばマハラノビス汎距離）が一定の値以下でなければ取得された把持特徴サンプルは本人のものでないと結論する。
【００４４】
このように、本実施例の携帯端末１００は、重力方向に依らず、移動情報端末の画面方向をユーザ所望の画面方向に変更することができる。
【実施例２】
【００４５】
次に、実施例１の携帯端末１００に新たに変動検知機能を付加することで、ユーザの保持方向の変動を迅速に予測できる実施例２に係る携帯端末２００について詳細に説明する。図８、図１４を参照して実施例２に係る携帯端末２００の認識状態における動作について説明する。図８は本実施例に係る携帯端末２００の構成を示すブロック図である。図１４は本実施例に係る携帯端末２００の認識動作を示すフローチャートである。
【００４６】
本実施例の携帯端末２００は圧力センサアレイ１０５と、制御アプリケーション１９０と、把持特徴サンプル取得部１２０と、変動検知部２１５と、切替え部１２５と、サンプル一時記憶部１３０と、モデルデータ学習部１３５と、モデルデータ記憶部１５５と、保持方向推定部２６０と、画面方向変更部１８０とを備える。実施例１との相違点は、本実施例が実施例１が備えていない変動検知部２１５を備える点、実施例１における保持方向推定部１６０が本実施例において保持方向推定部２６０に変更されている点である。よって、本実施例と実施例１において同一番号を付した共通する各構成部については、実施例１における各構成部と全く同じ動作をするので説明を割愛する。従って、実施例２の携帯端末２００の学習状態における動作は実施例１と全く同じであるため、説明を割愛する。
【００４７】
以下、本実施例の携帯端末２００の認識状態における動作について説明する。なお、認識状態動作時には、実施例１と同様に学習状態が既に動作しており、モデルデータがモデルデータ記憶部１５５に記憶済みであるものとする。把持特徴サンプル取得部１２０は、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。変動検知部２１５は、取得された把持特徴サンプルの時系列変動が所定の値を超えた場合に変動検知信号を出力する（Ｓ２１５Ｙ）。一方、把持特徴サンプルの時系列変動が所定の値を超えない場合には、変動検知部２１５は、変動検知信号を出力せず、処理を終了する（Ｓ２１５Ｎ、エンド）。保持方向推定部２６０は、変動検知部２１５から変動検知信号を取得した場合には、学習されたモデルデータと把持特徴サンプルとを比較して保持方向推定を行う（Ｓ２６０）。この保持方向推定の結果、保持方向に変化がなかった場合には（Ｓ１６５Ｙ）、画面方向は変更されず、処理は終了する（エンド）。このとき、保持方向推定の結果、保持方向に変化があった場合には（Ｓ１６５Ｎ）、画面方向変更部１８０が、推定された保持方向に基づいて携帯端末２００の画面方向を変更する（Ｓ１８０）。
【００４８】
このように、本実施例の携帯端末２００では、変動検知部２１５が、把持特徴サンプルの時系列変動を検知し、把持特徴サンプルの時系列変動が所定の値を超える場合にはユーザの保持方向が変更される可能性が高いと判定し、変動検知信号を保持方向推定部２６０に出力することで、保持方向推定部２６０の保持方向の推定動作を新たに実行させるため、ユーザの保持方向の変動を予測して、迅速に画面方向をユーザ所望の画面方向に追随変化させることが可能である。
【実施例３】
【００４９】
次に、実施例１の携帯端末１００に新たなセンサを付加することで、ユーザの保持方向の変動を迅速に予測できる実施例３に係る携帯端末３００について詳細に説明する。図９、図１５を参照して実施例３に係る携帯端末３００の認識状態における動作について説明する。図９は本実施例に係る携帯端末３００の構成を示すブロック図である。図１５は本実施例に係る携帯端末３００の認識動作を示すフローチャートである。
【００５０】
本実施例の携帯端末３００は圧力センサアレイ１０５と、環境センサ３１０と、制御アプリケーション１９０と、把持特徴サンプル取得部１２０と、変動検知部３１５と、切替え部１２５と、サンプル一時記憶部１３０と、モデルデータ学習部１３５と、モデルデータ記憶部１５５と、保持方向推定部３６０と、画面方向変更部１８０とを備える。実施例１との相違点は、本実施例が実施例１が備えていない環境センサ３１０、変動検知部３１５を備える点、実施例１における保持方向推定部１６０が本実施例において保持方向推定部３６０に変更されている点である。よって、本実施例と実施例１において同一番号を付した共通する各構成部については、実施例１における各構成部と全く同じ動作をするので説明を割愛する。従って、実施例３の携帯端末３００の学習状態における動作は実施例１と全く同じであるため、説明を割愛する。環境センサ３１０とは、＜環境センサ３１０＞で述べたように、携帯端末３００が属する環境を取得するためのセンサのことである。具体的には加速度センサ、ジャイロスコープ（角速度センサ）などで構成することができる。
【００５１】
以下、本実施例の携帯端末３００の認識状態における動作について説明する。なお、認識状態動作時には、実施例１と同様に学習状態が既に動作しており、モデルデータがモデルデータ記憶部１５５に記憶済みであるものとする。環境センサ３１０は、一定時間経過ごとに（例えば、１秒間に２〜３回程度）携帯端末の周囲環境情報を取得する。把持特徴サンプル取得部１２０も同様に、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。変動検知部３１５は、取得された把持特徴サンプルの時系列変動が所定の値を超えた場合、または環境センサが取得する周囲環境情報の時系列変動が所定の値を超えた場合に変動検知信号を出力する（Ｓ３１５Ｙ）。一方、これらの時系列変動の何れもが所定の値を超えない場合には、変動検知部３１５は、変動検知信号を出力せず、処理を終了する（Ｓ３１５Ｎ、エンド）。保持方向推定部３６０は、変動検知部３１５から変動検知信号を取得した場合には、学習されたモデルデータと把持特徴サンプルとを比較して保持方向推定を行う（Ｓ３６０）。この保持方向推定の結果、保持方向に変化がなかった場合には（Ｓ１６５Ｙ）、画面方向は変更されず、処理は終了する（エンド）。このとき、保持方向推定の結果、保持方向に変化があった場合には（Ｓ１６５Ｎ）、画面方向変更部１８０が、推定された保持方向に基づいて携帯端末３００の画面方向を変更する（Ｓ１８０）。
【００５２】
このように、本実施例の携帯端末３００では、変動検知部３１５が、把持特徴サンプルの時系列変動に加えて、環境センサ３１０が取得した周囲環境情報の時系列データの時系列変動をも検知し、これら時系列変動の何れかが所定の値を超える場合にはユーザの保持方向が変更される可能性が高いと判定し、変動検知信号を保持方向推定部３６０に出力することで、保持方向推定部３６０の保持方向の推定動作を新たに実行させるため、ユーザの保持方向の変動を予測して、迅速に画面方向をユーザ所望の画面方向に追随変化させることが可能である。
【実施例４】
【００５３】
次に、明示的な学習期間を設けることなく、自動的に学習動作を進めることができる実施例４に係る携帯端末４００について詳細に説明する。まず図１０、図１６を参照して実施例４に係る携帯端末４００の学習状態における動作について説明する。図１０は本実施例に係る携帯端末４００の構成を示すブロック図である。図１６は本実施例に係る携帯端末４００の学習動作を示すフローチャートである。
【００５４】
本実施例の携帯端末４００は圧力センサアレイ１０５と、把持特徴サンプル取得部１２０と、変動検知部４１５と、切替え部１２５と、サンプル一時記憶部１３０と、モデルデータ学習部１３５と、モデルデータ記憶部１５５と、平均モデルデータ記憶部４８５と、保持方向推定部４６０と、画面方向変更部１８０とを備える。実施例１との相違点は、本実施例が実施例１が備えていない変動検知部４１５、および平均モデルデータ記憶部４８５を備える点、実施例１における保持方向推定部１６０が本実施例において保持方向推定部４６０に変更されている点である。よって、本実施例と実施例１において同一番号を付した共通する各構成部については、実施例１における各構成部と全く同じ動作をするので説明を割愛する。ここでは、切替え部１２５が学習状態にセットされているものとする。まず、把持特徴サンプル取得部１２０において、把持特徴サンプルの時系列データが取得される。変動検知部４１５は、取得された把持特徴サンプルの時系列変動が所定の値以下となる場合に、切替え部１２５を学習状態に切り換える（Ｓ４１５Ｎ）。一方、変動検知部４１５は、取得された把持特徴サンプルの時系列変動が所定の値を超える場合に切替え部１２５を認識状態に切り換える（Ｓ４１５Ｙ、エンド）。切替え部１２５が学習状態にセットされている場合（Ｓ４１５Ｎ）、把持特徴サンプル取得部１２０は、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。保持方向推定部４６０は、把持特徴サンプル取得部１２０から把持特徴サンプルを、平均モデルデータ記憶部４８５から平均モデルデータをそれぞれ取得し、両者を比較照合することで保持方向を推定し、把持特徴サンプルと推定された保持方向とをペアにして、把持特徴サンプル取得部１２０に出力する（Ｓ４６０）。把持特徴サンプル取得部１２０が取得した把持特徴サンプルと推定保持方向のペアは、サンプル一時記憶部１３０に出力される（Ｓ４６０）。サンプル一時記憶部１３０に記憶された把持特徴サンプルの個数Ｓｍが、学習開始サンプル数ＳＦｍに達した（Ｓｍ＞ＳＦｍ）場合にはステップＳ１３５に進み、モデルデータ学習部１３５が、把持特徴サンプルを用いてモデルデータを学習する（Ｓ１３０Ｙ、Ｓ１３５）。モデルデータ記憶部１５５は、学習済みのモデルデータを記憶する（Ｓ１５５）。サンプル一時記憶部１３０に記憶された把持特徴サンプルの個数Ｓｍが、学習開始サンプル数ＳＦｍに達していない（Ｓｍ＜ＳＦｍ）場合にはスタートに戻り、切替え部１２５が学習状態にある限りにおいて、把持特徴サンプル取得動作、保持方向推定動作を繰り返す（Ｓ１３０Ｎ）。よって、切替え部１２５が学習状態にある限りにおいて、モデルデータが得られるまで、Ｓ４１５、Ｓ１２０、Ｓ４６０が繰り返される（Ｓ１３０Ｎ）。
【００５５】
次に、図１０、図１８を参照して実施例４に係る携帯端末４００の認識状態における動作について説明する。図１８は本実施例に係る携帯端末４００の認識動作を示すフローチャートである。ここでは、携帯端末４００の切替え部１２５が認識状態にセットされているものとする。なお、認識状態動作時には、上述した学習が既に完了している場合にはモデルデータ記憶部１３５に記憶されたモデルデータを用いて保持方向推定が行われ、上述した学習が完了していない場合には平均モデルデータ記憶部４８５に予め記憶された平均モデルデータを用いて保持方向推定が行われる。把持特徴サンプル取得部１２０は、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。モデルデータの学習が既に終了している場合には（Ｓ４６０ａＹ）、保持方向推定部４６０は、学習されたモデルデータと把持特徴サンプルとを比較して保持方向推定を行う（Ｓ４６０ｂ）。モデルデータの学習が終了していない場合には（Ｓ４６０ａＮ）、保持方向推定部４６０は、予め記憶された平均モデルデータと把持特徴サンプルとを比較して保持方向推定を行う（Ｓ４６０ｃ）。この保持方向推定の結果、保持方向に変化がなかった場合には（Ｓ１６５Ｙ）、画面方向は変更されず、処理は終了する（エンド）。このとき、保持方向推定の結果、保持方向に変化があった場合には（Ｓ１６５Ｎ）、画面方向変更部１８０が、推定された保持方向に基づいて携帯端末４００の画面方向を変更する（Ｓ１８０）。
【００５６】
このように、本実施例の携帯端末４００は、変動検知部４１５が、ユーザの携帯端末を把持する把持の仕方の変動を検知し、この変動が所定の値以下となる場合にはユーザが安定して携帯端末４００を保持している可能性が高いと判定し、切替え部１２５を学習状態に切り換えて、携帯端末４００の学習動作を実行させるため、ユーザの把持状態に応じて学習動作を逐次実行することができるため、明示的な学習期間を設けることなく自動的に学習動作を進めることが可能である。同様に、本実施例の携帯端末４００は、明示的なモデルデータ更新期間を設けることなく、自動的にモデルデータの更新動作を進めることも可能である。また、本実施例の携帯端末４００は、ユーザの把持の仕方の変動が所定の値を超える場合には、ユーザが安定して携帯端末４００を保持していないため、学習に適さないと判定して、切替え部１２５を認識状態に切り換えて、携帯端末４００の認識動作を実行させるため、ユーザの把持状態が変更された可能性が高い場面において、適切に保持方向の推定を行うことができる。また、本実施例の携帯端末４００は、保持方向推定部４６０が、モデルデータ未学習の場合に、予め平均モデルデータ記憶部４８５に記憶された平均モデルデータを用いて、認識動作を行うため、モデルデータ未学習の場合であっても保持方向の推定、画面方向の変更ができるため、ユーザの利便性が向上する。
【実施例５】
【００５７】
次に、実施例１の携帯端末１００に新たなセンサを付加することで、ユーザの保持方向の変動を迅速に予測でき、当該センサの時系列変動が小さい場合に学習を行うことで、明示的な学習期間を設けることなく、自動的に学習動作を進めることができる実施例５に係る携帯端末５００について詳細に説明する。まず図１１、図１７を参照して実施例５に係る携帯端末５００の学習状態における動作について説明する。図１１は本実施例に係る携帯端末５００の構成を示すブロック図である。図１７は本実施例に係る携帯端末５００の学習動作を示すフローチャートである。
【００５８】
本実施例の携帯端末５００は圧力センサアレイ１０５と、把持特徴サンプル取得部１２０と、変動検知部５１５と、環境センサ３１０と、切替え部１２５と、サンプル一時記憶部１３０と、モデルデータ学習部１３５と、モデルデータ記憶部１５５と、平均モデルデータ記憶部４８５と、保持方向推定部４６０と、画面方向変更部１８０とを備える。実施例１との相違点は、本実施例が実施例１が備えていない変動検知部５１５と、環境センサ３１０と、平均モデルデータ記憶部４８５とを備える点、実施例１における保持方向推定部１６０が本実施例において保持方向推定部４６０に変更されている点である。よって、本実施例と実施例１において同一番号を付した共通する各構成部については、実施例１における各構成部と全く同じ動作をするので説明を割愛する。ここでは、切替え部１２５が学習状態にセットされているものとする。まず、把持特徴サンプル取得部１２０において、把持特徴サンプルの時系列データが取得され、環境センサ３１０において、携帯端末５００の周囲環境情報の時系列データが取得される。変動検知部５１５は、取得された把持特徴サンプルの時系列変動が所定の値以下となる場合であって環境センサ３１０が取得する周囲環境情報の時系列変動が所定の値以下となる場合に、切替え部１２５を学習状態に切り換える（Ｓ５１５Ｎ）。一方、変動検知部５１５は、取得された把持特徴サンプルの時系列変動が所定の値を超える場合、または環境センサ３１０が取得する周囲環境情報の時系列変動が所定の値を超える場合に切替え部１２５を認識状態に切り換える（Ｓ５１５Ｙ、エンド）。切替え部１２５が学習状態にセットされている場合（Ｓ５１５Ｎ）、把持特徴サンプル取得部１２０は、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。保持方向推定部４６０は、把持特徴サンプル取得部１２０から把持特徴サンプルを、平均モデルデータ記憶部４８５から平均モデルデータをそれぞれ取得し、両者を比較照合することで保持方向を推定し、把持特徴サンプルと推定された保持方向とをペアにして、把持特徴サンプル取得部１２０に出力する（Ｓ４６０）。把持特徴サンプル取得部１２０が取得した把持特徴サンプルと推定保持方向のペアは、サンプル一時記憶部１３０に出力される（Ｓ４６０）。サンプル一時記憶部１３０に記憶された把持特徴サンプルの個数Ｓｍが、学習開始サンプル数ＳＦｍに達した（Ｓｍ＞ＳＦｍ）場合にはステップＳ１３５に進み、モデルデータ学習部１３５が、把持特徴サンプルを用いてモデルデータを学習する（Ｓ１３０Ｙ、Ｓ１３５）。モデルデータ記憶部１５５は、学習済みのモデルデータを記憶する（Ｓ１５５）。サンプル一時記憶部１３０に記憶された把持特徴サンプルの個数Ｓｍが、学習開始サンプル数ＳＦｍに達していない（Ｓｍ＜ＳＦｍ）場合にはスタートに戻り、切替え部１２５が学習状態にある限りにおいて、把持特徴サンプル取得動作、保持方向推定動作を繰り返す（Ｓ１３０Ｎ）。よって、切替え部１２５が学習状態にある限りにおいて、モデルデータが得られるまで、Ｓ５１５、Ｓ１２０、Ｓ４６０が繰り返される（Ｓ１３０Ｎ）。
【００５９】
実施例５に係る携帯端末５００の認識状態における動作については前述した実施例４に係る携帯端末４００の認識状態における動作と全く同じであるため説明を割愛する。
【００６０】
このように、本実施例の携帯端末５００は、変動検知部５１５が、ユーザの携帯端末を把持する把持の仕方の変動を検知し、この変動が所定の値以下となる場合にはユーザが安定して携帯端末５００を保持している可能性が高いと判定し、切替え部１２５を学習状態に切り換えて、携帯端末５００の学習動作を実行させるため、ユーザの把持状態に応じて学習動作を逐次実行することができるため、明示的な学習期間を設けることなく自動的に学習動作を進めることが可能である。同様に、本実施例の携帯端末５００は、明示的なモデルデータ更新期間を設けることなく、自動的にモデルデータの更新動作を進めることも可能である。また、本実施例の携帯端末５００は、ユーザの把持の仕方の変動が所定の値を超える場合には、ユーザが安定して携帯端末５００を保持していないため、学習に適さないと判定して、切替え部１２５を認識状態に切り換えて、携帯端末５００の認識動作を実行させるため、ユーザの把持状態が変更された可能性が高い場面において、適切に保持方向の推定を行うことができる。また、本実施例の携帯端末５００は、保持方向推定部４６０が、モデルデータ未学習の場合に、予め平均モデルデータ記憶部４８５に記憶された平均モデルデータを用いて、認識動作を行うため、モデルデータ未学習の場合であっても保持方向の推定、画面方向の変更ができるため、ユーザの利便性が向上する。
【００６１】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００６２】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００６３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００６４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６５】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００６６】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【技術分野】
【０００１】
本発明はユーザが移動情報端末を把持したときの把持特徴サンプルを取得して画面方向を変更する移動情報端末、画面方向変更方法、プログラムに関する。
【背景技術】
【０００２】
近年、移動情報端末の高機能化に伴い、例えば特許文献１のように半導体ジャイロなどの重力方向センサの検知結果に基づいて、移動情報端末の表示画面に表示されたオブジェクトをユーザが閲覧しやすい向きに回転補正する機能を備える移動情報端末が実用化されている。特許文献１の画面表示装置は、重力方向検知部と、回転オブジェクト処理部とを備え、重力方向検出部は、重力方向を検出する。回転オブジェクト処理部は、表示画面内での各回転オブジェクトの上下方向が、重力方向の表示画面への投影方向に一致するように、各オブジェクトの姿勢を調整する。これにより、特許文献１の画面表示装置は、表示対象画像に含まれる、上下向きを正姿勢属性として持つ少なくとも１つの回転オブジェクトを、その姿勢が正しくなるように表示画面に表示することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１００３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図１を参照して、従来技術が抱える課題について説明する。図１は従来技術の移動情報端末の画面方向補正の問題点について例示する図である。図１（ａ）はユーザが立位、もしくは座位の姿勢で移動情報端末を左手で把持しながら移動情報端末内の画面を閲覧している状態を例示している。また、図１（ｂ）はユーザが横臥位の姿勢で移動情報端末を左手で把持しながら移動情報端末内の画面を閲覧している状態を例示している。図１（ａ）においては、重力方向の軸、もしくは移動情報端末表示画面が存在する面へ重力方向の軸を射影した軸と、ユーザ所望の画面方向軸（天地方向の軸）が一致している。このためユーザは見やすく適切な方向に表示された表示画面を閲覧することが可能である。一方、図１（ｂ）においては、重力方向の軸、もしくは移動情報端末表示画面が存在する面へ重力方向の軸を射影した軸と、ユーザ所望の画面方向軸が一致しない。このためユーザは自身の見やすい表示方向でない画面をそのまま閲覧するか、もしくは移動情報端末の画面方向がユーザ所望の方向に調整されるように、移動情報端末を回転させて移動情報端末内部の重力方向センサを動作させなければならない。ユーザが見やすい表示方向でない画面のまま閲覧を続けなければならいのはユーザにとって不便であるし、また、移動情報端末を回転させて移動情報端末内部の重力方向センサを動作させる場合には、ユーザは図１（ｂ）において自然な手指、手首の状態で移動情報端末を把持しているのであるから、手首を無理な方向にねじらなければならないからユーザにとって不便である。ユーザにとって維持が困難な手指、手首の状態であれば、ユーザは結局寝ころんだまま携帯端末の閲覧を続けることができず、起き上って、座位の姿勢、立位の姿勢で移動情報端末の閲覧を行わなければならない。上記の不具合は、従来技術の移動情報端末において、重力方向の軸またはこれを表示画面へ射影した軸と、ユーザ所望の天地の方向が常に一致すると仮定しているものの、現実にはこれらが一致しない使用場面が少なからず存在することを原因とする。従って、重力加速度や重力方向を測定することによって、ユーザ所望の画面方向を推定する方法では、上記不具合を解決できない。
【０００５】
そこで本発明では重力方向に依らず、移動情報端末の画面方向をユーザ所望の画面方向に変更することができる移動情報端末を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の移動情報端末は、把持特徴サンプルを取得して画面方向を変更することを特徴とし、把持特徴サンプル取得部と、切替え部と、モデルデータ学習部と、保持方向推定部と、画面方向変更部とを備える。把持特徴サンプル取得部は、把持特徴サンプルを取得する。切替え部は、移動情報端末を学習状態、認識状態のどちらかの状態に切替える。モデルデータ学習部は、移動情報端末の状態が学習状態である場合に、把持特徴サンプルを用いてモデルデータを学習する。保持方向推定部は、移動情報端末の状態が認識状態である場合に、学習されたモデルデータと把持特徴サンプルとを比較してユーザの保持方向を推定する。画面方向変更部は、推定された保持方向に基づいて画面方向を変更する。
【発明の効果】
【０００７】
本発明の移動情報端末によれば、重力方向に依らず、移動情報端末の画面方向をユーザ所望の画面方向に変更することができる。
【図面の簡単な説明】
【０００８】
【図１】従来技術の移動情報端末の画面方向補正の問題点について例示する図。
【図２】本発明の全ての実施例の携帯端末が備える圧力センサアレイを例示する図。
【図３】携帯端末を把持するユーザの手指位置と画面方向の関係を例示する図。
【図４】把持特徴分布と画面方向の関係を例示する図。
【図５】平均モデルデータと画面方向の関係を例示する図。
【図６】本発明の実施例１〜３に係る携帯端末が備える制御アプリケーションの動作を説明する図。
【図７】実施例１に係る携帯端末の構成を示すブロック図。
【図８】実施例２に係る携帯端末の構成を示すブロック図。
【図９】実施例３に係る携帯端末の構成を示すブロック図。
【図１０】実施例４に係る携帯端末の構成を示すブロック図。
【図１１】実施例５に係る携帯端末の構成を示すブロック図。
【図１２】実施例１〜３に係る携帯端末の学習動作を示すフローチャート。
【図１３】実施例１に係る携帯端末の認識動作を示すフローチャート。
【図１４】実施例２に係る携帯端末の認識動作を示すフローチャート。
【図１５】実施例３に係る携帯端末の認識動作を示すフローチャート。
【図１６】実施例４に係る携帯端末の学習動作を示すフローチャート。
【図１７】実施例５に係る携帯端末の学習動作を示すフローチャート。
【図１８】実施例４、５に係る携帯端末の認識動作を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１０】
＜用語の説明＞
［移動情報端末］
本発明の移動情報端末を具体化する機器の例として携帯端末、ＰＤＡ、携帯ゲーム機、電子手帳、電子書籍専用端末などがある。ただし、これら列挙した機器に限らず（１）把持しながら使用する機器であり使用時に把持特徴を取得でき、（２）様々な画面方向で使用することができる機器であればどんなものでも本発明の移動情報端末とすることができる。実施例における説明では携帯端末（タッチパネル式）を具体例として詳細に説明する。
【００１１】
[表示方向／画面方向]
移動情報端末の画面長手方向を上下方向として表示するか、左右方向として表示するかで区別される表示の方向を表示方向と呼ぶ。また、移動情報端末の画面の天地の方向を画面方向、または天地の方向と呼ぶ。
【００１２】
［縦表示／横表示］
移動情報端末の表示方向が画面長手方向を上下方向とする向きである場合を縦表示と呼ぶ。また、移動情報端末の表示方向が画面長手方向を左右方向とする向きである場合を横表示と呼ぶ。
【００１３】
［操作指］
移動情報端末のタッチパネルに接触して、移動情報端末を操作する指を操作指と呼ぶ。
＜用語の説明終わり＞
【００１４】
＜把持特徴サンプル＞
本発明の全ての実施例に係る携帯端末１００、２００、３００、４００、５００が取得する把持特徴サンプルについて説明する。携帯端末を把持するときの癖は人により異なっており、ユーザ固有の把持特徴のサンプル（把持特徴サンプル）の平均値などをユーザ所望の画面方向毎にモデルデータとして予め学習・記憶しておけば、学習・記憶済みのモデルデータと新たに取得されたユーザの把持特徴サンプルとの比較によって、ユーザ所望の画面方向（以下、保持方向ともいう）を推定することができ、保持方向に基づいて画面方向を回転補正することができる。
【００１５】
従って本発明では、把持特徴サンプルを取得し、携帯端末１００、２００、３００、４００、５００の画面方向の回転補正に用いる。把持特徴サンプルとして用いることができる物理量としては、例えば把持圧力分布、把持形状分布、把持温熱分布などが考えられる。これらの把持特徴サンプルの取得方法としては、例えば圧力センサを携帯端末１００、２００、３００、４００、５００の筐体面に面状配置することにより把持圧力分布を取得することができる。同様にＣＣＤ（ＣＭＯＳ）センサの面状配置により把持形状分布を取得することができる。同様に赤外線センサの面状配置により、把持温熱分布の取得が可能である。また、端末背面に操作キー（タッチパネル）が配置されているような携帯端末であれば、操作キー（タッチパネル）の押圧状況（操作キー、タッチパネルが押されているか否か）を記録することによっても把持特徴を取得可能である。
【００１６】
＜把持特徴センサ＞
把持特徴サンプルを取得するためのセンサは、上述のとおり、圧力センサ、ＣＣＤ（ＣＭＯＳ）センサ、赤外線センサなどとすることができるが、本明細書ではこれらを総称する場合には把持特徴センサと呼ぶものとする。実施例における説明では、把持特徴センサとして圧力センサを採用するものとし、把持特徴サンプルとしては把持圧力分布を用いるものとする。
【００１７】
＜圧力センサアレイ１０５＞
次に、図２を参照して本発明の全ての実施例の携帯端末１００、２００、３００、４００、５００が備える圧力センサアレイ１０５について説明する。図２は全ての実施例の携帯端末１００、２００、３００、４００、５００が備える圧力センサアレイ１０５について例示する図である。図２はあくまで例示であるため、本発明で用いられる圧力センサアレイ１０５の配置位置について何ら限定するものではない。図２の例では、携帯端末１００、２００、３００、４００、５００が備える圧力センサアレイ１０５は携帯端末上端辺に配置された圧力センサアレイＵ、携帯端末左端辺に配置された圧力センサアレイＬ、携帯端末右端辺に配置された圧力センサアレイＲ、携帯端末下端辺に配置された圧力センサアレイＢにより構成される。圧力センサアレイＵは４つの圧力センサ１０５−Ｕ１、１０５−Ｕ２、１０５−Ｕ３、１０５−Ｕ４にて構成される。圧力センサアレイＬは７つの圧力センサ１０５−Ｌ１、１０５−Ｌ２、１０５−Ｌ３、１０５−Ｌ４、１０５−Ｌ５、１０５−Ｌ６、１０５−Ｌ７にて構成される。圧力センサアレイＲは７つの圧力センサ１０５−Ｒ１、１０５−Ｒ２、１０５−Ｒ３、１０５−Ｒ４、１０５−Ｒ５、１０５−Ｒ６、１０５−Ｒ７にて構成される。圧力センサアレイＢは４つの圧力センサ１０５−Ｂ１、１０５−Ｂ２、１０５−Ｂ３、１０５−Ｂ４にて構成される。このように、携帯端末１００、２００、３００、４００、５００が圧力センサアレイ１０５を備えることにより、ユーザ固有の把持特徴を携帯端末縁部における把持圧力分布として取得することができる。
【００１８】
＜携帯端末を把持するユーザの手指位置と画面方向の関係＞
次に図３を参照して、携帯端末を把持するユーザの手指の位置と画面方向の関係について説明する。図３は、携帯端末を把持するユーザの手指位置と画面方向の関係を例示する図である。図３の（ａ）〜（ｄ）は全てユーザが左手で携帯端末を把持した場合の図であって、図３（ａ）は携帯端末を図に示すイ方向を天の方向として把持した場合、図３（ｂ）は携帯端末を図に示すロ方向を天の方向として把持した場合、図３（ｃ）は携帯端末を図に示すハ方向を天の方向として把持した場合、図３（ｄ）は携帯端末を図に示すニ方向を天の方向として把持した場合である。本明細書では、ユーザが左手で携帯端末を把持する場合についてのみ説明するが、ユーザの利き手が逆である場合にはユーザは右手で携帯端末を把持する。この場合も以降の原理については全く同じであるから重複説明を省略する。
【００１９】
＜把持特徴分布と画面方向の関係＞
次に、図４を参照して上述のユーザの手指位置から計測される把持特徴分布（把持圧力分布）と画面方向の関係について説明する。図４は把持特徴分布と画面方向の関係を例示する図である。図４（ａ）は携帯端末をイ方向を天の方向として把持した場合の把持圧力が生じる位置、図４（ｂ）は携帯端末をロ方向を天の方向として把持した場合の把持圧力が生じる位置、図４（ｃ）は携帯端末をハ方向を天の方向として把持した場合の把持圧力が生じる位置、図４（ｄ）は携帯端末をニ方向を天の方向として把持した場合の把持圧力が生じる位置をそれぞれ斜線領域で示している。図３（ａ）と図４（ａ）、図３（ｂ）と図４（ｂ）、図３（ｃ）と図４（ｃ）、図３（ｄ）と図４（ｄ）がそれぞれ対応している。図４に表すように、ユーザ所望の画面方向（イ、ロ、ハ、ニ方向）と把持圧力の生じる位置には強い相関がみられる。従って、図４（ａ）〜（ｄ）に示すようにユーザ所望の画面方向毎に把持特徴サンプルとして把持圧力分布を取得して、所望の画面方向毎に後述するモデルデータを学習・記憶しておけば、当該モデルデータと新たに取得した把持特徴サンプルとの比較照合によって、ユーザ所望の画面方向（保持方向）を推定することができる。
【００２０】
＜平均モデルデータ＞
次に、実施例４、５において用いられる平均モデルデータについて説明する。平均モデルデータとは、予めモデルユーザを複数人（例えば２０〜３０人）設定し、これらモデルユーザの把持特徴を携帯端末の機種ごとに解析し、当該機種ごとに出荷時の携帯端末内部の記憶領域（後述する平均モデルデータ記憶部４８５）に予め記憶しておくデータである。平均モデルデータは、把持特徴観測領域の分布で定義される。例えば、全てのモデルユーザの把持特徴サンプルを画面方向毎、利き手毎（左手／右手把持）に分類して取得したうえで、分類ごとに、少なくとも一人のモデルユーザにおいて把持特徴サンプルが観測された領域全てを把持特徴観測領域と設定することができる。また、分類ごとに半数以上のモデルユーザにおいて把持特徴サンプルが観測された領域全てを把持特徴観測領域と設定してもよい。平均モデルデータを用いたユーザの保持方向推定は、平均モデルデータが示す把持特徴観測領域と、新たに取得したユーザの把持特徴サンプルの一部とが重なりあうか否かによって行われる。把持特徴観測領域は広範囲に設定すれば、誤認識の確率が大きくなる。一方、把持特徴観測領域を狭い範囲に限定してしまうと、ユーザの把持特徴サンプルを取得しても、当該把持特徴サンプルが何れの把持特徴観測領域にも重複しないことにより、何れの画面方向であるか認識不能となるケースが増大する。従って、把持特徴観測領域の範囲は、誤認識確率、認識不能確率の何れもが最小となるように設定する必要がある。
【００２１】
＜平均モデルデータと画面方向の関係＞
次に、図５を参照して実施例４、５において用いられる平均モデルデータと画面方向の関係について説明する。図５は平均モデルデータと画面方向の関係を例示する図である。図５（ａ）は携帯端末をイ方向を天の方向として把持した場合の把持特徴観測領域分布、図５（ｂ）は携帯端末をロ方向を天の方向として把持した場合の把持特徴観測領域分布、図５（ｃ）は携帯端末をハ方向を天の方向として把持した場合の把持特徴観測領域分布、図５（ｄ）は携帯端末をニ方向を天の方向として把持した場合の把持特徴観測領域分布をそれぞれ黒四角で示している。なお、図５は、図３と同様、左手把持の場合の平均モデルデータについて例示したものであるから、右手把持について考える場合は、図５の把持特徴観測領域分布は、携帯端末の天地方向の軸に線対称な位置に移動する。
【００２２】
例えば図５（ａ）の場合、携帯端末の左下端部、右下端部の両方に把持特徴観測領域が存在する。この場合、ユーザの把持特徴分布が、連続する２つの把持特徴観測領域（左下端部、右下端部）の何れの領域内の一部においても観測された場合に、ユーザ所望の画面方向はイ方向を天の方向とする方向であると推定される。例えば図５（ｃ）の場合、携帯端末の下端部、右下端部の両方に把持特徴観測領域が存在する。この場合、ユーザの把持特徴分布が、連続する２つの把持特徴観測領域（下端部、右下端部）の何れの領域内の一部においても観測された場合に、ユーザ所望の画面方向はハ方向を天の方向とする方向であると推定される。図５（ａ）〜（ｄ）に示すように画面方向毎、利き手毎に把持特徴観測領域を取得して、これらを画面方向毎、利き手毎に平均モデルデータとして予め記憶しておけば、当該平均モデルデータと取得した把持特徴サンプルとの比較照合によって、簡易にユーザ所望の画面方向（保持方向）を推定することができる。
【００２３】
＜制御アプリケーション１９０＞
本発明では、モデルデータの学習動作時、保持方向推定動作時の双方において把持特徴サンプルを取得する必要がある。本発明の実施例１〜３の携帯端末１００、２００、３００においては、学習動作を開始するために必要な制御アプリケーション１９０を備える。以下、図６を参照して本発明の実施例１〜３が備える制御アプリケーション１９０について説明する。図６は本発明の実施例１〜３が備える制御アプリケーション１９０の動作を説明する図である。本携帯端末１００、２００、３００が、未だモデルデータの学習動作を完了していないときは、例えばこの制御アプリケーション１９０の学習開始機能が一定時間経過毎に表示画面にアラート、もしくは通知を表示するものとする。ユーザは、本発明の制御アプリケーション１９０を用いて学習を行う場合には、アラートもしくは通知に従って、制御アプリケーション１９０を起動する。ユーザは、本発明の制御アプリケーション１９０を用いて学習を行わない場合には、機能設定画面などから、従来通り重力方向により画面方向を取得する機能をＯＮとして、本発明の制御アプリケーション１９０の機能をＯＦＦにすることもできる。これにより、ユーザは従来通り携帯端末を使用することもできる。
【００２４】
ユーザにより起動された制御アプリケーション１９０は、例えば図６（ａ）のような画面を初期画面として表示する。制御アプリケーション１９０は初期画面として例えば「モデルデータの学習を開始します。画面の天の向きを入力してください」と表示して、画面の上下左右の端部に押下可能なアイコン（図６では三角印）を配置しておく。ユーザは、初期画面のアナウンスに従って、例えば図６（ａ）の破線で囲ったアイコンを天の方向として指定すべく、このアイコンを操作指で押下するものとする。この場合、左手はなるべく固定された状態にしておくことにより、モデルデータの学習精度が高まるため、操作指は、把持した手と反対側の手の指とすることが望ましい。ユーザがアイコンを押下した場合、制御アプリケーション１９０は、例えば図６（ｂ）のように押下されたアイコンを黒三角形で表示し、「モデルデータ学習中です。」と表記する。このアナウンスは押下により新たに指定された天の方向に従ってユーザが閲覧しやすい方向に表示することもできる。ユーザはこのアナウンスが表示されている間、一定の把持状態を保持するように努める。制御アプリケーション１９０は、ユーザのアイコン押下をトリガとして、把持特徴サンプル取得部１２０に学習開始信号を出力する。把持特徴サンプル取得部１２０は、制御アプリケーション１９０から学習開始信号を取得し、圧力センサアレイ１０５から把持圧力分布を連続的に取得する。把持圧力取得の頻度は、例えば２〜３回／秒などとすることができる。ユーザは、アナウンスの下に表示された「中断する」アイコンを押下することでいつでも制御アプリケーションを終了させることができる。取得された把持特徴サンプルの数Ｓｍが、モデルデータの学習に必要な学習開始サンプル数ＳＦｍに達した場合には、制御アプリケーション１９０は「学習が終了しました」というアナウンスを表示して、終了する。このとき、他の保持方向（イ、ロ、ハ、ニ方向）の何れかにおいて学習が終了していない場合には、制御アプリケーション１９０は、再度「モデルデータの学習を開始します。画面の天の向きを入力してください」と表示して、前述同様、画面の上下左右の端部に押下可能なアイコン（三角印）を配置し、学習が終了した保持方向については、例えばアイコンを表示しないようにして、ユーザに次の保持方向での学習を促すこともできる。
【００２５】
制御アプリケーション１９０が出力する学習開始信号の取得をトリガとして、把持特徴サンプル取得部１２０が取得した把持圧力分布は、ユーザ所望の画面方向（保持方向）毎に、分類されてサンプル一時記憶部１３０に記憶される。このように、サンプル一時記憶部１３０が記憶する把持圧力分布のデータ数が、ある保持方向の分類において予め定めた学習開始サンプル数ＳＦｍに達した場合、取得された把持圧力分布のデータ数がＳＦｍに達した保持方向の分類においてモデルデータの学習を行う。モデルデータの学習についての詳細は後述する。
【００２６】
＜モデルデータ、モデルデータ学習部１３５、保持方向推定部１６０＞
本発明の全ての実施例に係る携帯端末１００、２００、３００、４００、５００が備えるモデルデータ学習部１３５において学習される保持方向推定時に用いるモデルデータについて説明する。モデルデータとは、ユーザの把持特徴を代表して表す雛形のことである。モデルデータ学習部１３５は、モデルデータをユーザから取得した把持特徴サンプルの平均値などから学習する。学習されたモデルデータは、例えば実施例１では、保持方向推定部１６０において、学習後に新たに取得された把持特徴サンプルと照合される。実施例１の保持方向推定部１６０は、照合により求めた値（ベクトル間距離、例えばマハラノビス汎距離）の大小により、ユーザの保持方向を推定する。
【００２７】
＜変動検知部２１５、保持方向推定部２６０＞
次に、本発明の実施例２の携帯端末２００が備える変動検知部２１５について説明する。変動検知部２１５は、ユーザの携帯端末を把持する把持の仕方の変動を検知し、この変動が所定の値を超える場合にはユーザの保持方向が変更される可能性が高いと判定し、変動検知信号を保持方向推定部２６０に出力することで、保持方向推定部２６０の保持方向の推定動作を新たに実行させるための構成部である。具体的には、変動検知部２１５は、把持特徴サンプル取得部１２０が取得した把持特徴サンプルの時系列データを取得して、当該取得した時系列データから、把持特徴サンプルの時系列変動が所定の値を超えた場合に、保持方向推定部２６０に、変動検知信号を出力する。保持方向推定部２６０は、変動検知信号を取得した場合に、モデルデータと、変動検知信号取得後に新たに取得された把持特徴サンプルとを照合する。保持方向推定部２６０は、照合により求めた値（ベクトル間距離、例えばマハラノビス汎距離）の大小により、ユーザの保持方向を推定する。
【００２８】
このように、変動検知部２１５が、ユーザの携帯端末を把持する把持の仕方の変動を検知し、この変動が所定の値を超える場合にはユーザの保持方向が変更される可能性が高いと判定し、変動検知信号を保持方向推定部２６０に出力することで、保持方向推定部２６０の保持方向の推定動作を新たに実行させるため、ユーザの保持方向の変動を予測して、迅速に画面方向をユーザ所望の画面方向に追随変化させることが可能である。
【００２９】
＜環境センサ３１０＞
次に、本発明の実施例３、５に係る携帯端末３００、５００に内蔵される環境センサ３１０について詳細に説明する。環境センサ３１０とは、携帯端末が属する環境を取得するためのセンサのことである。本発明において環境センサ３１０として用いられるセンサは携帯端末３００、５００の挙動を測定することができれば、他に何ら制限はなく、携帯端末３００、５００に実装可能なサイズおよびコストの範囲内であればどんなセンサをも組み合わせることができる。例えば、望ましい環境センサ３１０の例として加速度センサ、ジャイロスコープ（角速度センサ）などがある。加速度センサとしては、例えば３軸加速度センサが携帯端末への実装によく用いられる。３軸加速度センサとしてはピエゾ抵抗型３軸加速度センサ、静電容量型３軸加速度センサ、熱検知型３軸加速度センサなどがある。ジャイロスコープとしては、例えばＭＥＭＳジャイロスコープが携帯端末への実装によく用いられる。
【００３０】
環境センサ３１０によって感知された携帯端末の周囲環境情報は時系列データとして環境センサ３１０から出力される。周囲環境情報の時系列データとして例えば、加速度センサが測定した３軸加速度の時系列データ、ジャイロスコープが測定した角度、角速度、角加速度の時系列データなどがある。本明細書では、「周囲環境情報の時系列データ」という語は、上述の環境センサ３１０が携帯端末の周囲環境を測定した結果として得られる周囲環境情報の時系列データを示す信号全般を総称するものとする。
【００３１】
＜変動検知部３１５＞
本発明の実施例３に係る携帯端末３００が備える変動検知部３１５の動作については、基本的には変動検知部２１５の動作と変わらないが、変動検知部３１５は、把持特徴サンプルの時系列変動に加えて、環境センサ３１０が取得した周囲環境情報の時系列データ（例えば、加速度センサが測定した３軸加速度の時系列データ、ジャイロスコープが測定した角度、角速度、角加速度の時系列データなど）の時系列変動をも監視しており、これら時系列変動の何れかが所定の値を超えた場合に変動検知信号を出力する。
【００３２】
このように、変動検知部３１５が、把持特徴サンプルの時系列変動に加えて、環境センサ３１０が取得した周囲環境情報の時系列データの時系列変動をも検知し、これら時系列変動の何れかが所定の値を超える場合にはユーザの保持方向が変更される可能性が高いと判定し、変動検知信号を保持方向推定部３６０に出力することで、保持方向推定部３６０の保持方向の推定動作を新たに実行させるため、ユーザの保持方向の変動を予測して、迅速に画面方向をユーザ所望の画面方向に追随変化させることが可能である。
【００３３】
＜変動検知部４１５＞
次に、本発明の実施例４に係る携帯端末４００が備える変動検知部４１５について説明する。変動検知部４１５は、ユーザの携帯端末を把持する把持の仕方の変動を検知し、この変動が所定の値以下となる場合にはユーザが安定して携帯端末４００を保持している可能性が高いと判定し、切替え部１２５を学習状態に切り換えて、携帯端末４００の学習動作を実行させるための構成部である。また、変動検知部４１５は、ユーザの把持の仕方の変動が所定の値を超える場合には、ユーザが安定して携帯端末４００を保持していないため、学習動作に適さないと判定して、切替え部１２５を認識状態に切り換えて、携帯端末４００の認識動作を実行させるための構成部である。具体的には、変動検知部４１５は、取得された把持特徴サンプルの時系列変動が所定の値以下となる場合に、切替え部１２５を学習状態に切り換える。一方、変動検知部４１５は、取得された把持特徴サンプルの時系列変動が所定の値を超える場合には、切替え部１２５を認識状態に切り換える。
【００３４】
このように、変動検知部４１５が、ユーザの携帯端末を把持する把持の仕方の変動を検知し、この変動が所定の値以下となる場合にはユーザが安定して携帯端末４００を保持している可能性が高いと判定し、切替え部１２５を学習状態に切り換えて、携帯端末４００の学習動作を実行させるため、ユーザの把持状態に応じて学習動作を逐次実行することができるため、前述の制御アプリケーション１９０を用いた明示的な学習期間を設けることなく、自動的に学習動作を進めることが可能である。同様に、明示的なモデルデータ更新期間を設けることなく、自動的にモデルデータの更新動作を進めることも可能である。また、ユーザの把持の仕方の変動が所定の値を超える場合には、ユーザが安定して携帯端末４００を保持していないため、学習に適さないと判定して、切替え部１２５を認識状態に切り換えて、携帯端末４００の認識動作を実行させるため、ユーザの把持状態が変更された可能性が高い場面において、適切に保持方向の推定を行うことができる。このとき、モデルデータが学習済みでない場合には、前述した平均モデルデータ記憶部４８５に予め記憶された平均モデルデータを保持方向の推定に用いる。
【００３５】
＜変動検知部５１５＞
本発明の実施例５に係る携帯端末５００が備える変動検知部５１５の動作については、基本的には変動検知部４１５の動作と変わらないが、変動検知部５１５は、把持特徴サンプルの時系列変動に加えて、環境センサ３１０が取得した周囲環境情報の時系列データ（例えば、加速度センサが測定した３軸加速度の時系列データ、ジャイロスコープが測定した角度、角速度、角加速度の時系列データなど）の時系列変動をも監視しており、これら時系列変動の何れもが所定の値以下となる場合にはユーザが安定して携帯端末５００を保持している可能性が高いと判定し、切替え部１２５を学習状態に切り換えて、携帯端末５００の学習動作を実行させる。一方、これら時系列変動の何れかが所定の値を超過する場合にはユーザが安定して携帯端末５００を保持していないため、学習に適さないと判定して、切替え部１２５を認識状態に切り換えて、携帯端末５００の認識動作を実行させる。
【００３６】
このように、変動検知部５１５が、把持特徴サンプルの時系列変動に加えて、環境センサ３１０が取得した周囲環境情報の時系列データの時系列変動をも検知し、これらの変動が所定の値以下となる場合には携帯端末５００の学習動作を実行させるため、ユーザの把持状態に応じて学習動作を逐次実行することができ、前述の制御アプリケーション１９０を用いた明示的な学習期間を設けることなく、自動的に学習動作を進めることが可能である。同様に、明示的なモデルデータ更新期間を設けることなく、自動的にモデルデータの更新動作を進めることも可能である。また、上述の変動が所定の値を超える場合には、携帯端末５００の認識動作を実行させるため、ユーザの把持状態が変更された可能性が高い場面において、適切に保持方向の推定を行うことができる。このとき、モデルデータが学習済みでない場合には、前述した平均モデルデータ記憶部４８５に予め記憶された平均モデルデータを保持方向の推定に用いる。
【００３７】
＜保持方向推定部３６０＞
本発明の実施例３が備える保持方向推定部３６０の動作については、基本的には保持方向推定部２６０の動作と変わらない。保持方向推定部３６０は、変動検知部３１５から変動検知信号を取得した場合に、モデルデータと、変動検知信号取得後に新たに取得された把持特徴サンプルとを照合する。保持方向推定部３６０は、照合により求めた値（ベクトル間距離、例えばマハラノビス汎距離）の大小により、ユーザの保持方向を推定する。
【００３８】
＜保持方向推定部４６０＞
次に、本発明の実施例４、５に係る携帯端末４００、５００が備える保持方向推定部４６０の学習状態における動作について説明する。後述するように実施例４、５においては制御アプリケーション１９０を用いず、明示的な学習期間を設けないことを特徴としている。一方、モデルデータの学習には、図４で例示したようにユーザ所望の画面方向と把持特徴サンプルが対のデータとして取得される必要がある。そこで、実施例４、５においては、学習状態における動作において、保持方向推定部４６０が、把持特徴サンプル取得部１２０から把持特徴サンプルを、平均モデルデータ記憶部４８５から平均モデルデータをそれぞれ取得し、両者を比較照合することで保持方向を推定し、推定された保持方向を把持特徴サンプル取得部１２０に出力する処理を行う。従って、把持特徴サンプル取得部１２０には、把持特徴サンプルと、当該把持特徴サンプルから平均モデルデータを用いて推定される保持方向とがペアとして集められ、サンプル一時記憶部１３０に出力される。これにより、実施例４、５に係る携帯端末４００、５００では、制御アプリケーション１９０などを用いてユーザに保持方向の指定（タッチパネル操作）をさせなくても、モデルデータの学習に必要なデータの収集をすることが可能となる。
【００３９】
保持方向推定部４６０の認識状態における動作については、モデルデータ学習部１３５においてモデルデータが学習済みである場合には、保持方向推定部１６０の動作と変わらない。モデルデータ学習部１３５において学習されたモデルデータは、保持方向推定部４６０において、学習後に新たに取得された把持特徴サンプルと照合される。保持方向推定部４６０は、照合により求めた値（ベクトル間距離、例えばマハラノビス汎距離）の大小により、ユーザの保持方向を推定する。ただし、保持方向推定部４６０は、モデルデータ学習部１３５で未だモデルデータの学習が完了していない場合には、平均モデルデータ記憶部４８５に予め記憶された平均モデルデータを、学習済みのモデルデータの代替として用いる。このように、保持方向推定部４６０が、モデルデータ未学習の場合に、予め平均モデルデータ記憶部４８５に記憶された平均モデルデータを用いて、認識動作を行うため、モデルデータ未学習の場合であっても保持方向の推定、画面方向の変更ができるため、ユーザの利便性が向上する。
【実施例１】
【００４０】
上述の条件を前提として、把持特徴サンプル取得によりユーザの保持方向を推定し、携帯端末の画面方向をユーザ所望の画面方向に変更することができる実施例１に係る携帯端末１００について詳細に説明する。まず図７、図１２を参照して実施例１に係る携帯端末１００の学習状態における動作について説明する。図７は本実施例に係る携帯端末１００の構成を示すブロック図である。図１２は本実施例に係る携帯端末１００の学習動作を示すフローチャートである。
【００４１】
本実施例の携帯端末１００は圧力センサアレイ１０５と、制御アプリケーション１９０と、把持特徴サンプル取得部１２０と、切替え部１２５と、サンプル一時記憶部１３０と、モデルデータ学習部１３５と、モデルデータ記憶部１５５と、保持方向推定部１６０と、画面方向変更部１８０とを備える。本実施例の携帯端末１００は切替え部１２５を備えており、この切替え部１２５によって、携帯端末１００を学習状態、認識状態のどちらかの状態に切替えることができるものとする。ここでは、切替え部１２５が学習状態にセットされているものとする。圧力センサアレイ１０５については前述したように携帯端末１００に内蔵されている。制御アプリケーション１９０は、＜制御アプリケーション１９０＞で述べたように、携帯端末１００の表示画面にユーザ向けの所定のアナウンスを表示し、ユーザが前述のイ、ロ、ハ、ニの何れかの方向を指定するアイコンを押下した場合に、学習開始信号を生成・出力する（Ｓ１９０）。把持特徴サンプル取得部１２０は、制御アプリケーション１９０から学習開始信号を取得して、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。ここで、取得済みの把持特徴サンプルの個数をＳｍとし、学習開始サンプル数をＳＦｍとする。学習開始サンプル数ＳＦｍとは、モデルデータの学習に必要なサンプル数として予め定めたものである。これは、把持特徴サンプルの取得数が少ない状態でモデルデータの学習を行っても、十分に精度の高いモデルデータを生成することが出来ないため、精度の高いモデルデータを得るために必要であると経験的に分かっているサンプルの数を学習開始サンプル数ＳＦｍとして設定したものである。従って、サンプル一時記憶部１３０に記憶された把持特徴サンプルの個数Ｓｍが、学習開始サンプル数ＳＦｍに達した（Ｓｍ＞ＳＦｍ）場合にはステップＳ１３５に進み、モデルデータ学習部１３５が、把持特徴サンプルを用いてモデルデータを学習する（Ｓ１３０Ｙ、Ｓ１３５）。モデルデータ記憶部１５５は、学習済みのモデルデータを記憶する（Ｓ１５５）。サンプル一時記憶部１３０に記憶された把持特徴サンプルの個数Ｓｍが、学習開始サンプル数ＳＦｍに達していない（Ｓｍ＜ＳＦｍ）場合にはスタートに戻り、学習開始信号の取得と同時に把持特徴サンプルを取得する動作を繰り返す（Ｓ１３０Ｎ）。よって、モデルデータが得られるまで、Ｓ１９０、Ｓ１２０が繰り返される（Ｓ１３０Ｎ）。モデルデータは、把持特徴サンプル（把持圧力分布）の平均値などから求められる。
【００４２】
次に、図７、図１３を参照して実施例１に係る携帯端末１００の認識状態における動作について説明する。図１３は本実施例に係る携帯端末１００の認識動作を示すフローチャートである。ここでは、携帯端末１００の切替え部１２５が認識状態にセットされているものとする。なお、認識状態動作時には、上述した学習状態が既に動作しており、モデルデータがモデルデータ記憶部１５５に記憶済みであるものとする。把持特徴サンプル取得部１２０は、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。次に、保持方向推定部１６０は、学習されたモデルデータと把持特徴サンプルとを比較して保持方向推定を行う（Ｓ１６０）。この保持方向推定の結果、保持方向に変化がなかった場合には（Ｓ１６５Ｙ）、画面方向は変更されず、処理は終了する（エンド）。このとき、保持方向推定の結果、保持方向に変化があった場合には（Ｓ１６５Ｎ）、画面方向変更部１８０が、推定された保持方向に基づいて携帯端末１００の画面方向を変更する（Ｓ１８０）。
【００４３】
モデルデータと把持特徴サンプルとの比較の方法については、例えば以下のように実現可能である。保持方向推定部１６０は、モデルデータと認識状態において取得された把持特徴サンプルとの距離（例えばマハラノビス汎距離）を求める。保持方向推定部１６０は、この距離がある一定の値以下であれば取得された把持特徴サンプルを本人のものと結論する。一方、保持方向推定部１６０は、モデルデータと把持特徴サンプルとの距離（例えばマハラノビス汎距離）が一定の値以下でなければ取得された把持特徴サンプルは本人のものでないと結論する。
【００４４】
このように、本実施例の携帯端末１００は、重力方向に依らず、移動情報端末の画面方向をユーザ所望の画面方向に変更することができる。
【実施例２】
【００４５】
次に、実施例１の携帯端末１００に新たに変動検知機能を付加することで、ユーザの保持方向の変動を迅速に予測できる実施例２に係る携帯端末２００について詳細に説明する。図８、図１４を参照して実施例２に係る携帯端末２００の認識状態における動作について説明する。図８は本実施例に係る携帯端末２００の構成を示すブロック図である。図１４は本実施例に係る携帯端末２００の認識動作を示すフローチャートである。
【００４６】
本実施例の携帯端末２００は圧力センサアレイ１０５と、制御アプリケーション１９０と、把持特徴サンプル取得部１２０と、変動検知部２１５と、切替え部１２５と、サンプル一時記憶部１３０と、モデルデータ学習部１３５と、モデルデータ記憶部１５５と、保持方向推定部２６０と、画面方向変更部１８０とを備える。実施例１との相違点は、本実施例が実施例１が備えていない変動検知部２１５を備える点、実施例１における保持方向推定部１６０が本実施例において保持方向推定部２６０に変更されている点である。よって、本実施例と実施例１において同一番号を付した共通する各構成部については、実施例１における各構成部と全く同じ動作をするので説明を割愛する。従って、実施例２の携帯端末２００の学習状態における動作は実施例１と全く同じであるため、説明を割愛する。
【００４７】
以下、本実施例の携帯端末２００の認識状態における動作について説明する。なお、認識状態動作時には、実施例１と同様に学習状態が既に動作しており、モデルデータがモデルデータ記憶部１５５に記憶済みであるものとする。把持特徴サンプル取得部１２０は、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。変動検知部２１５は、取得された把持特徴サンプルの時系列変動が所定の値を超えた場合に変動検知信号を出力する（Ｓ２１５Ｙ）。一方、把持特徴サンプルの時系列変動が所定の値を超えない場合には、変動検知部２１５は、変動検知信号を出力せず、処理を終了する（Ｓ２１５Ｎ、エンド）。保持方向推定部２６０は、変動検知部２１５から変動検知信号を取得した場合には、学習されたモデルデータと把持特徴サンプルとを比較して保持方向推定を行う（Ｓ２６０）。この保持方向推定の結果、保持方向に変化がなかった場合には（Ｓ１６５Ｙ）、画面方向は変更されず、処理は終了する（エンド）。このとき、保持方向推定の結果、保持方向に変化があった場合には（Ｓ１６５Ｎ）、画面方向変更部１８０が、推定された保持方向に基づいて携帯端末２００の画面方向を変更する（Ｓ１８０）。
【００４８】
このように、本実施例の携帯端末２００では、変動検知部２１５が、把持特徴サンプルの時系列変動を検知し、把持特徴サンプルの時系列変動が所定の値を超える場合にはユーザの保持方向が変更される可能性が高いと判定し、変動検知信号を保持方向推定部２６０に出力することで、保持方向推定部２６０の保持方向の推定動作を新たに実行させるため、ユーザの保持方向の変動を予測して、迅速に画面方向をユーザ所望の画面方向に追随変化させることが可能である。
【実施例３】
【００４９】
次に、実施例１の携帯端末１００に新たなセンサを付加することで、ユーザの保持方向の変動を迅速に予測できる実施例３に係る携帯端末３００について詳細に説明する。図９、図１５を参照して実施例３に係る携帯端末３００の認識状態における動作について説明する。図９は本実施例に係る携帯端末３００の構成を示すブロック図である。図１５は本実施例に係る携帯端末３００の認識動作を示すフローチャートである。
【００５０】
本実施例の携帯端末３００は圧力センサアレイ１０５と、環境センサ３１０と、制御アプリケーション１９０と、把持特徴サンプル取得部１２０と、変動検知部３１５と、切替え部１２５と、サンプル一時記憶部１３０と、モデルデータ学習部１３５と、モデルデータ記憶部１５５と、保持方向推定部３６０と、画面方向変更部１８０とを備える。実施例１との相違点は、本実施例が実施例１が備えていない環境センサ３１０、変動検知部３１５を備える点、実施例１における保持方向推定部１６０が本実施例において保持方向推定部３６０に変更されている点である。よって、本実施例と実施例１において同一番号を付した共通する各構成部については、実施例１における各構成部と全く同じ動作をするので説明を割愛する。従って、実施例３の携帯端末３００の学習状態における動作は実施例１と全く同じであるため、説明を割愛する。環境センサ３１０とは、＜環境センサ３１０＞で述べたように、携帯端末３００が属する環境を取得するためのセンサのことである。具体的には加速度センサ、ジャイロスコープ（角速度センサ）などで構成することができる。
【００５１】
以下、本実施例の携帯端末３００の認識状態における動作について説明する。なお、認識状態動作時には、実施例１と同様に学習状態が既に動作しており、モデルデータがモデルデータ記憶部１５５に記憶済みであるものとする。環境センサ３１０は、一定時間経過ごとに（例えば、１秒間に２〜３回程度）携帯端末の周囲環境情報を取得する。把持特徴サンプル取得部１２０も同様に、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。変動検知部３１５は、取得された把持特徴サンプルの時系列変動が所定の値を超えた場合、または環境センサが取得する周囲環境情報の時系列変動が所定の値を超えた場合に変動検知信号を出力する（Ｓ３１５Ｙ）。一方、これらの時系列変動の何れもが所定の値を超えない場合には、変動検知部３１５は、変動検知信号を出力せず、処理を終了する（Ｓ３１５Ｎ、エンド）。保持方向推定部３６０は、変動検知部３１５から変動検知信号を取得した場合には、学習されたモデルデータと把持特徴サンプルとを比較して保持方向推定を行う（Ｓ３６０）。この保持方向推定の結果、保持方向に変化がなかった場合には（Ｓ１６５Ｙ）、画面方向は変更されず、処理は終了する（エンド）。このとき、保持方向推定の結果、保持方向に変化があった場合には（Ｓ１６５Ｎ）、画面方向変更部１８０が、推定された保持方向に基づいて携帯端末３００の画面方向を変更する（Ｓ１８０）。
【００５２】
このように、本実施例の携帯端末３００では、変動検知部３１５が、把持特徴サンプルの時系列変動に加えて、環境センサ３１０が取得した周囲環境情報の時系列データの時系列変動をも検知し、これら時系列変動の何れかが所定の値を超える場合にはユーザの保持方向が変更される可能性が高いと判定し、変動検知信号を保持方向推定部３６０に出力することで、保持方向推定部３６０の保持方向の推定動作を新たに実行させるため、ユーザの保持方向の変動を予測して、迅速に画面方向をユーザ所望の画面方向に追随変化させることが可能である。
【実施例４】
【００５３】
次に、明示的な学習期間を設けることなく、自動的に学習動作を進めることができる実施例４に係る携帯端末４００について詳細に説明する。まず図１０、図１６を参照して実施例４に係る携帯端末４００の学習状態における動作について説明する。図１０は本実施例に係る携帯端末４００の構成を示すブロック図である。図１６は本実施例に係る携帯端末４００の学習動作を示すフローチャートである。
【００５４】
本実施例の携帯端末４００は圧力センサアレイ１０５と、把持特徴サンプル取得部１２０と、変動検知部４１５と、切替え部１２５と、サンプル一時記憶部１３０と、モデルデータ学習部１３５と、モデルデータ記憶部１５５と、平均モデルデータ記憶部４８５と、保持方向推定部４６０と、画面方向変更部１８０とを備える。実施例１との相違点は、本実施例が実施例１が備えていない変動検知部４１５、および平均モデルデータ記憶部４８５を備える点、実施例１における保持方向推定部１６０が本実施例において保持方向推定部４６０に変更されている点である。よって、本実施例と実施例１において同一番号を付した共通する各構成部については、実施例１における各構成部と全く同じ動作をするので説明を割愛する。ここでは、切替え部１２５が学習状態にセットされているものとする。まず、把持特徴サンプル取得部１２０において、把持特徴サンプルの時系列データが取得される。変動検知部４１５は、取得された把持特徴サンプルの時系列変動が所定の値以下となる場合に、切替え部１２５を学習状態に切り換える（Ｓ４１５Ｎ）。一方、変動検知部４１５は、取得された把持特徴サンプルの時系列変動が所定の値を超える場合に切替え部１２５を認識状態に切り換える（Ｓ４１５Ｙ、エンド）。切替え部１２５が学習状態にセットされている場合（Ｓ４１５Ｎ）、把持特徴サンプル取得部１２０は、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。保持方向推定部４６０は、把持特徴サンプル取得部１２０から把持特徴サンプルを、平均モデルデータ記憶部４８５から平均モデルデータをそれぞれ取得し、両者を比較照合することで保持方向を推定し、把持特徴サンプルと推定された保持方向とをペアにして、把持特徴サンプル取得部１２０に出力する（Ｓ４６０）。把持特徴サンプル取得部１２０が取得した把持特徴サンプルと推定保持方向のペアは、サンプル一時記憶部１３０に出力される（Ｓ４６０）。サンプル一時記憶部１３０に記憶された把持特徴サンプルの個数Ｓｍが、学習開始サンプル数ＳＦｍに達した（Ｓｍ＞ＳＦｍ）場合にはステップＳ１３５に進み、モデルデータ学習部１３５が、把持特徴サンプルを用いてモデルデータを学習する（Ｓ１３０Ｙ、Ｓ１３５）。モデルデータ記憶部１５５は、学習済みのモデルデータを記憶する（Ｓ１５５）。サンプル一時記憶部１３０に記憶された把持特徴サンプルの個数Ｓｍが、学習開始サンプル数ＳＦｍに達していない（Ｓｍ＜ＳＦｍ）場合にはスタートに戻り、切替え部１２５が学習状態にある限りにおいて、把持特徴サンプル取得動作、保持方向推定動作を繰り返す（Ｓ１３０Ｎ）。よって、切替え部１２５が学習状態にある限りにおいて、モデルデータが得られるまで、Ｓ４１５、Ｓ１２０、Ｓ４６０が繰り返される（Ｓ１３０Ｎ）。
【００５５】
次に、図１０、図１８を参照して実施例４に係る携帯端末４００の認識状態における動作について説明する。図１８は本実施例に係る携帯端末４００の認識動作を示すフローチャートである。ここでは、携帯端末４００の切替え部１２５が認識状態にセットされているものとする。なお、認識状態動作時には、上述した学習が既に完了している場合にはモデルデータ記憶部１３５に記憶されたモデルデータを用いて保持方向推定が行われ、上述した学習が完了していない場合には平均モデルデータ記憶部４８５に予め記憶された平均モデルデータを用いて保持方向推定が行われる。把持特徴サンプル取得部１２０は、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。モデルデータの学習が既に終了している場合には（Ｓ４６０ａＹ）、保持方向推定部４６０は、学習されたモデルデータと把持特徴サンプルとを比較して保持方向推定を行う（Ｓ４６０ｂ）。モデルデータの学習が終了していない場合には（Ｓ４６０ａＮ）、保持方向推定部４６０は、予め記憶された平均モデルデータと把持特徴サンプルとを比較して保持方向推定を行う（Ｓ４６０ｃ）。この保持方向推定の結果、保持方向に変化がなかった場合には（Ｓ１６５Ｙ）、画面方向は変更されず、処理は終了する（エンド）。このとき、保持方向推定の結果、保持方向に変化があった場合には（Ｓ１６５Ｎ）、画面方向変更部１８０が、推定された保持方向に基づいて携帯端末４００の画面方向を変更する（Ｓ１８０）。
【００５６】
このように、本実施例の携帯端末４００は、変動検知部４１５が、ユーザの携帯端末を把持する把持の仕方の変動を検知し、この変動が所定の値以下となる場合にはユーザが安定して携帯端末４００を保持している可能性が高いと判定し、切替え部１２５を学習状態に切り換えて、携帯端末４００の学習動作を実行させるため、ユーザの把持状態に応じて学習動作を逐次実行することができるため、明示的な学習期間を設けることなく自動的に学習動作を進めることが可能である。同様に、本実施例の携帯端末４００は、明示的なモデルデータ更新期間を設けることなく、自動的にモデルデータの更新動作を進めることも可能である。また、本実施例の携帯端末４００は、ユーザの把持の仕方の変動が所定の値を超える場合には、ユーザが安定して携帯端末４００を保持していないため、学習に適さないと判定して、切替え部１２５を認識状態に切り換えて、携帯端末４００の認識動作を実行させるため、ユーザの把持状態が変更された可能性が高い場面において、適切に保持方向の推定を行うことができる。また、本実施例の携帯端末４００は、保持方向推定部４６０が、モデルデータ未学習の場合に、予め平均モデルデータ記憶部４８５に記憶された平均モデルデータを用いて、認識動作を行うため、モデルデータ未学習の場合であっても保持方向の推定、画面方向の変更ができるため、ユーザの利便性が向上する。
【実施例５】
【００５７】
次に、実施例１の携帯端末１００に新たなセンサを付加することで、ユーザの保持方向の変動を迅速に予測でき、当該センサの時系列変動が小さい場合に学習を行うことで、明示的な学習期間を設けることなく、自動的に学習動作を進めることができる実施例５に係る携帯端末５００について詳細に説明する。まず図１１、図１７を参照して実施例５に係る携帯端末５００の学習状態における動作について説明する。図１１は本実施例に係る携帯端末５００の構成を示すブロック図である。図１７は本実施例に係る携帯端末５００の学習動作を示すフローチャートである。
【００５８】
本実施例の携帯端末５００は圧力センサアレイ１０５と、把持特徴サンプル取得部１２０と、変動検知部５１５と、環境センサ３１０と、切替え部１２５と、サンプル一時記憶部１３０と、モデルデータ学習部１３５と、モデルデータ記憶部１５５と、平均モデルデータ記憶部４８５と、保持方向推定部４６０と、画面方向変更部１８０とを備える。実施例１との相違点は、本実施例が実施例１が備えていない変動検知部５１５と、環境センサ３１０と、平均モデルデータ記憶部４８５とを備える点、実施例１における保持方向推定部１６０が本実施例において保持方向推定部４６０に変更されている点である。よって、本実施例と実施例１において同一番号を付した共通する各構成部については、実施例１における各構成部と全く同じ動作をするので説明を割愛する。ここでは、切替え部１２５が学習状態にセットされているものとする。まず、把持特徴サンプル取得部１２０において、把持特徴サンプルの時系列データが取得され、環境センサ３１０において、携帯端末５００の周囲環境情報の時系列データが取得される。変動検知部５１５は、取得された把持特徴サンプルの時系列変動が所定の値以下となる場合であって環境センサ３１０が取得する周囲環境情報の時系列変動が所定の値以下となる場合に、切替え部１２５を学習状態に切り換える（Ｓ５１５Ｎ）。一方、変動検知部５１５は、取得された把持特徴サンプルの時系列変動が所定の値を超える場合、または環境センサ３１０が取得する周囲環境情報の時系列変動が所定の値を超える場合に切替え部１２５を認識状態に切り換える（Ｓ５１５Ｙ、エンド）。切替え部１２５が学習状態にセットされている場合（Ｓ５１５Ｎ）、把持特徴サンプル取得部１２０は、圧力センサアレイ１０５より把持特徴サンプルを取得する（Ｓ１２０）。保持方向推定部４６０は、把持特徴サンプル取得部１２０から把持特徴サンプルを、平均モデルデータ記憶部４８５から平均モデルデータをそれぞれ取得し、両者を比較照合することで保持方向を推定し、把持特徴サンプルと推定された保持方向とをペアにして、把持特徴サンプル取得部１２０に出力する（Ｓ４６０）。把持特徴サンプル取得部１２０が取得した把持特徴サンプルと推定保持方向のペアは、サンプル一時記憶部１３０に出力される（Ｓ４６０）。サンプル一時記憶部１３０に記憶された把持特徴サンプルの個数Ｓｍが、学習開始サンプル数ＳＦｍに達した（Ｓｍ＞ＳＦｍ）場合にはステップＳ１３５に進み、モデルデータ学習部１３５が、把持特徴サンプルを用いてモデルデータを学習する（Ｓ１３０Ｙ、Ｓ１３５）。モデルデータ記憶部１５５は、学習済みのモデルデータを記憶する（Ｓ１５５）。サンプル一時記憶部１３０に記憶された把持特徴サンプルの個数Ｓｍが、学習開始サンプル数ＳＦｍに達していない（Ｓｍ＜ＳＦｍ）場合にはスタートに戻り、切替え部１２５が学習状態にある限りにおいて、把持特徴サンプル取得動作、保持方向推定動作を繰り返す（Ｓ１３０Ｎ）。よって、切替え部１２５が学習状態にある限りにおいて、モデルデータが得られるまで、Ｓ５１５、Ｓ１２０、Ｓ４６０が繰り返される（Ｓ１３０Ｎ）。
【００５９】
実施例５に係る携帯端末５００の認識状態における動作については前述した実施例４に係る携帯端末４００の認識状態における動作と全く同じであるため説明を割愛する。
【００６０】
このように、本実施例の携帯端末５００は、変動検知部５１５が、ユーザの携帯端末を把持する把持の仕方の変動を検知し、この変動が所定の値以下となる場合にはユーザが安定して携帯端末５００を保持している可能性が高いと判定し、切替え部１２５を学習状態に切り換えて、携帯端末５００の学習動作を実行させるため、ユーザの把持状態に応じて学習動作を逐次実行することができるため、明示的な学習期間を設けることなく自動的に学習動作を進めることが可能である。同様に、本実施例の携帯端末５００は、明示的なモデルデータ更新期間を設けることなく、自動的にモデルデータの更新動作を進めることも可能である。また、本実施例の携帯端末５００は、ユーザの把持の仕方の変動が所定の値を超える場合には、ユーザが安定して携帯端末５００を保持していないため、学習に適さないと判定して、切替え部１２５を認識状態に切り換えて、携帯端末５００の認識動作を実行させるため、ユーザの把持状態が変更された可能性が高い場面において、適切に保持方向の推定を行うことができる。また、本実施例の携帯端末５００は、保持方向推定部４６０が、モデルデータ未学習の場合に、予め平均モデルデータ記憶部４８５に記憶された平均モデルデータを用いて、認識動作を行うため、モデルデータ未学習の場合であっても保持方向の推定、画面方向の変更ができるため、ユーザの利便性が向上する。
【００６１】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００６２】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００６３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００６４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６５】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００６６】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【特許請求の範囲】
【請求項１】
把持特徴サンプルを取得して画面方向を変更する移動情報端末であって、
前記把持特徴サンプルを取得する把持特徴サンプル取得部と、
前記移動情報端末を学習状態、認識状態のどちらかの状態に切替える切替え部と、
前記移動情報端末の状態が学習状態である場合に、前記把持特徴サンプルを用いてモデルデータを学習するモデルデータ学習部と、
前記移動情報端末の状態が認識状態である場合に、前記学習されたモデルデータと前記把持特徴サンプルとを比較してユーザの保持方向を推定する保持方向推定部と、
前記推定された保持方向に基づいて画面方向を変更する画面方向変更部と、
を備えることを特徴とする移動情報端末。
【請求項２】
請求項１に記載の移動情報端末であって、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合に変動検知信号を出力する変動検知部をさらに備え、
前記保持方向推定部が、前記移動情報端末の状態が認識状態である場合であって前記変動検知信号を取得した場合に、前記学習されたモデルデータと前記把持特徴サンプルとを比較してユーザの保持方向を推定すること
を特徴とする移動情報端末。
【請求項３】
請求項１に記載の移動情報端末であって、
前記移動情報端末の周囲環境情報を取得する環境センサと、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合または前記環境センサが取得する周囲環境情報の時系列変動が規定された範囲となる場合に変動検知信号を出力する変動検知部とをさらに備え、
前記保持方向推定部が、前記移動情報端末の状態が認識状態である場合であって前記変動検知信号を取得した場合に、前記学習されたモデルデータと前記把持特徴サンプルとを比較してユーザの保持方向を推定すること
を特徴とする移動情報端末。
【請求項４】
請求項１に記載の移動情報端末であって、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合に前記切替え部を学習状態に切り換える変動検知部をさらに備えること
を特徴とする移動情報端末。
【請求項５】
請求項１に記載の移動情報端末であって、
前記移動情報端末の周囲環境情報を取得する環境センサと、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合であって前記環境センサが取得する周囲環境情報の時系列変動が規定された範囲となる場合に前記切替え部を学習状態に切り換える変動検知部と、をさらに備えること
を特徴とする移動情報端末。
【請求項６】
把持特徴サンプルを取得可能な移動情報端末の画面方向を変更する画面方向変更方法であって、
前記把持特徴サンプルを取得する把持特徴サンプル取得ステップと、
前記把持特徴サンプルを用いてモデルデータを学習するモデルデータ学習ステップと、
前記学習されたモデルデータと前記把持特徴サンプルとを比較してユーザの保持方向を推定する保持方向推定ステップと、
前記推定された保持方向に基づいて画面方向を変更する画面方向変更ステップと、
を有することを特徴とする画面方向変更方法。
【請求項７】
請求項６に記載の画面方向変更方法であって、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合に変動検知信号を出力する変動検知ステップをさらに有し、
前記保持方向推定ステップが、前記変動検知信号を取得した場合に、前記学習されたモデルデータと前記把持特徴サンプルとを比較してユーザの保持方向を推定すること
を特徴とする画面方向変更方法。
【請求項８】
請求項６に記載の画面方向変更方法であって、
前記移動情報端末の周囲環境情報を取得する環境センサステップと、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合または前記環境センサステップが取得する周囲環境情報の時系列変動が規定された範囲となる場合に変動検知信号を出力する変動検知ステップとをさらに有し、
前記保持方向推定ステップが、前記変動検知信号を取得した場合に、前記学習されたモデルデータと前記把持特徴サンプルとを比較してユーザの保持方向を推定すること
を特徴とする画面方向変更方法。
【請求項９】
請求項６に記載の画面方向変更方法であって、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合に前記モデルデータ学習ステップを実行させる変動検知ステップをさらに有すること
を特徴とする画面方向変更方法。
【請求項１０】
請求項６に記載の画面方向変更方法であって、
前記移動情報端末の周囲環境情報を取得する環境センサステップと、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合であって前記環境センサステップが取得する周囲環境情報の時系列変動が規定された範囲となる場合に前記モデルデータ学習ステップを実行させる変動検知ステップと、をさらに有すること
を特徴とする画面方向変更方法。
【請求項１１】
請求項６から１０の何れかに記載の画面方向変更方法を実行すべき指令を移動情報端末に対してするプログラム。
【請求項１】
把持特徴サンプルを取得して画面方向を変更する移動情報端末であって、
前記把持特徴サンプルを取得する把持特徴サンプル取得部と、
前記移動情報端末を学習状態、認識状態のどちらかの状態に切替える切替え部と、
前記移動情報端末の状態が学習状態である場合に、前記把持特徴サンプルを用いてモデルデータを学習するモデルデータ学習部と、
前記移動情報端末の状態が認識状態である場合に、前記学習されたモデルデータと前記把持特徴サンプルとを比較してユーザの保持方向を推定する保持方向推定部と、
前記推定された保持方向に基づいて画面方向を変更する画面方向変更部と、
を備えることを特徴とする移動情報端末。
【請求項２】
請求項１に記載の移動情報端末であって、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合に変動検知信号を出力する変動検知部をさらに備え、
前記保持方向推定部が、前記移動情報端末の状態が認識状態である場合であって前記変動検知信号を取得した場合に、前記学習されたモデルデータと前記把持特徴サンプルとを比較してユーザの保持方向を推定すること
を特徴とする移動情報端末。
【請求項３】
請求項１に記載の移動情報端末であって、
前記移動情報端末の周囲環境情報を取得する環境センサと、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合または前記環境センサが取得する周囲環境情報の時系列変動が規定された範囲となる場合に変動検知信号を出力する変動検知部とをさらに備え、
前記保持方向推定部が、前記移動情報端末の状態が認識状態である場合であって前記変動検知信号を取得した場合に、前記学習されたモデルデータと前記把持特徴サンプルとを比較してユーザの保持方向を推定すること
を特徴とする移動情報端末。
【請求項４】
請求項１に記載の移動情報端末であって、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合に前記切替え部を学習状態に切り換える変動検知部をさらに備えること
を特徴とする移動情報端末。
【請求項５】
請求項１に記載の移動情報端末であって、
前記移動情報端末の周囲環境情報を取得する環境センサと、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合であって前記環境センサが取得する周囲環境情報の時系列変動が規定された範囲となる場合に前記切替え部を学習状態に切り換える変動検知部と、をさらに備えること
を特徴とする移動情報端末。
【請求項６】
把持特徴サンプルを取得可能な移動情報端末の画面方向を変更する画面方向変更方法であって、
前記把持特徴サンプルを取得する把持特徴サンプル取得ステップと、
前記把持特徴サンプルを用いてモデルデータを学習するモデルデータ学習ステップと、
前記学習されたモデルデータと前記把持特徴サンプルとを比較してユーザの保持方向を推定する保持方向推定ステップと、
前記推定された保持方向に基づいて画面方向を変更する画面方向変更ステップと、
を有することを特徴とする画面方向変更方法。
【請求項７】
請求項６に記載の画面方向変更方法であって、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合に変動検知信号を出力する変動検知ステップをさらに有し、
前記保持方向推定ステップが、前記変動検知信号を取得した場合に、前記学習されたモデルデータと前記把持特徴サンプルとを比較してユーザの保持方向を推定すること
を特徴とする画面方向変更方法。
【請求項８】
請求項６に記載の画面方向変更方法であって、
前記移動情報端末の周囲環境情報を取得する環境センサステップと、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合または前記環境センサステップが取得する周囲環境情報の時系列変動が規定された範囲となる場合に変動検知信号を出力する変動検知ステップとをさらに有し、
前記保持方向推定ステップが、前記変動検知信号を取得した場合に、前記学習されたモデルデータと前記把持特徴サンプルとを比較してユーザの保持方向を推定すること
を特徴とする画面方向変更方法。
【請求項９】
請求項６に記載の画面方向変更方法であって、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合に前記モデルデータ学習ステップを実行させる変動検知ステップをさらに有すること
を特徴とする画面方向変更方法。
【請求項１０】
請求項６に記載の画面方向変更方法であって、
前記移動情報端末の周囲環境情報を取得する環境センサステップと、
前記取得された把持特徴サンプルの時系列変動が規定された範囲となる場合であって前記環境センサステップが取得する周囲環境情報の時系列変動が規定された範囲となる場合に前記モデルデータ学習ステップを実行させる変動検知ステップと、をさらに有すること
を特徴とする画面方向変更方法。
【請求項１１】
請求項６から１０の何れかに記載の画面方向変更方法を実行すべき指令を移動情報端末に対してするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−２９９８３（Ｐ２０１３−２９９８３Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６５５２６（Ｐ２０１１−１６５５２６）
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]