入力システム、頭部装着型表示装置、情報端末装置及びプログラム
【課題】 頭部装着型表示装置及び情報端末装置にそれぞれ設けられたセンサからのセンサ情報に基づいて頭部の動きを検出し、検出した頭部の動きに基づいてユーザの入力情報を求める入力システム、頭部装着型表示装置、情報端末装置及びプログラム等を提供すること。
【解決手段】 入力システムは、頭部装着型表示装置１００に設けられた第１のセンサからの第１のセンサ情報と情報端末装置２００に設けられた第２のセンサからの第２のセンサ情報を取得するセンサ情報取得部（頭部方向検出部１３０、端末方向検出部２１０）と、基準値情報を記憶する記憶部２２０と、基準値情報、第１のセンサ情報及び第２のセンサ情報に基づいて取得した、頭部装着型表示装置１００の第１の方向情報及び情報端末装置２００の第２の方向情報に基づいてユーザの入力情報を求める処理部２３０を含む。
【解決手段】 入力システムは、頭部装着型表示装置１００に設けられた第１のセンサからの第１のセンサ情報と情報端末装置２００に設けられた第２のセンサからの第２のセンサ情報を取得するセンサ情報取得部（頭部方向検出部１３０、端末方向検出部２１０）と、基準値情報を記憶する記憶部２２０と、基準値情報、第１のセンサ情報及び第２のセンサ情報に基づいて取得した、頭部装着型表示装置１００の第１の方向情報及び情報端末装置２００の第２の方向情報に基づいてユーザの入力情報を求める処理部２３０を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力システム、頭部装着型表示装置、情報端末装置及びプログラム等に関する。
【背景技術】
【０００２】
近年、表示デバイスとしてＨＭＤ（Head Mounted Display、頭部装着型表示装置）が用いられるようになっている。しかしながら、ＨＭＤは頭部に装着するという特性上、機器を大きくすることは好ましくない。そのため、ＨＭＤを操作するための操作部（例えば操作ボタン等）が簡素な構成になってしまい、複雑な操作を行うことが困難である。
【０００３】
また、ボタン等の操作部を用いずに、ユーザの動作に基づいて操作を行うインターフェース装置が広く用いられている。例えばユーザが装着したセンサのセンサ情報や、ユーザを撮像した撮像画像の情報等を用いてユーザの動作を認識し、認識した動作に関連づけられた操作指示を実行するインターフェース等が考えられる。しかし、センサを用いて動作を認識する場合には、センサの状態が変化した場合（例えばセンサの装着位置、装着方向が変化した場合等）に、初期化処理を行わないとユーザの動作の認識を適切に行うことができないという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３５３０４６号公報
【特許文献２】特開２０１０−２３１２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、ユーザの体の第１の部位（例えば頭部）に装着された第１のセンサと、第２の部位（例えば手）に装着された第２のセンサから第１の部位と第２の部位の相対位置を求めることでアクション情報を生成し、生成したアクション情報に対応するユーザ指示を決定するインターフェース装置が提案されている。しかし、特許文献１は主にゲーム用途のユーザインターフェース装置であり、頭部装着型表示装置に表示されるメニュー画面におけるメニュー項目の選択等については述べられていない。よって、メニュー項目の選択等における初期化についても述べられていない。
【０００６】
特許文献２では、頭部のジョイスティック的な動きを検出し、検出した動きに基づいて機器を操作する（例えば表示部に表示されたメニュー項目の選択等を行う）入力装置が提案されている。しかし、特許文献２では姿勢の変化（立位、座位等）の検出に応じた初期化処理については述べられているが、メニュー項目の選択等における初期化については述べられていない。つまり、操作開始時に頭部が正面方向を向いていなかった場合等に対応できない可能性がある。
【０００７】
本発明の幾つかの態様によれば、頭部装着型表示装置及び情報端末装置にそれぞれ設けられたセンサからのセンサ情報に基づいて頭部の動きを検出し、検出した頭部の動きに基づいてユーザの入力情報を求める入力システム、頭部装着型表示装置、情報端末装置及びプログラム等を提供することができる。
【０００８】
また、本発明の幾つかの態様によれば、初期化タイミングにおいてセンサ情報の基準値を更新することで頭部の動きを適切に検出し、検出した頭部の動きに基づいてユーザの入力情報を求める入力システム、頭部装着型表示装置、情報端末装置及びプログラム等を提供することができる。
【課題を解決するための手段】
【０００９】
本発明の一態様は、頭部装着型表示装置に設けられた第１のセンサからの第１のセンサ情報と、前記頭部装着型表示装置と通信接続を行う情報端末装置に設けられた第２のセンサからの第２のセンサ情報を取得するセンサ情報取得部と、前記第１のセンサ情報及び前記第２のセンサ情報の基準値に関する情報である基準値情報を記憶する記憶部と、前記基準値情報、前記第１のセンサ情報及び前記第２のセンサ情報に基づいて、前記頭部装着型表示装置の方向情報である第１の方向情報及び前記情報端末装置の方向情報である第２の方向情報を取得し、取得した前記第１の方向情報及び前記第２の方向情報に基づいてユーザの入力情報を求める処理部と、を含む入力システムに関係する。
【００１０】
本発明の一態様では、頭部装着型表示装置に設けられたセンサのセンサ情報、情報端末装置に設けられたセンサのセンサ情報及び基準値情報に基づいて、頭部の方向情報と情報端末装置の方向情報を取得する。そして取得した方向情報に基づいてユーザの入力情報を求めることで、端末に対する頭部の相対的な動きに基づくインターフェースを実現すること等が可能になる。
【００１１】
また、前記記憶部は、前記処理部により初期化タイミングであると判定された際に前記センサ情報取得部により取得された前記第１のセンサ情報及び前記第２のセンサ情報を、前記基準値情報として記憶してもよい。
【００１２】
これにより、基準値の初期化処理が可能になり、センサの状態（装着位置・装着方向等）が変化したとしても頭部方向等を適切に求めることが可能になる。
【００１３】
また、前記処理部は、前記記憶部に前記基準値情報が記憶された第１のタイミングでの前記情報端末装置の状態である第１の状態での第１の状態情報と、今回の判定タイミングである第２のタイミングでの前記情報端末装置の状態である第２の状態での第２の状態情報との比較処理を行い、前記比較処理により前記情報端末装置の状態が変化したと判定された場合に、前記第２のタイミングを前記初期化タイミングであると判定してもよい。
【００１４】
これにより、情報端末装置の状態が変化した場合に、初期化処理を行うこと等が可能になる。
【００１５】
また、前記処理部は、前記情報端末装置に設けられた加速度センサにより、前記第１の状態情報として、前記第１のタイミングでの重力方向に対する前記情報端末装置の傾きに関する情報である第１の傾き情報を取得するとともに、前記第２の状態情報として、前記第２のタイミングでの前記重力方向に対する前記情報端末装置の傾きに関する情報である第２の傾き情報を取得し、前記第１の傾き情報と前記第２の傾き情報の比較処理を行い、前記比較処理により前記情報端末装置の状態が変化したと判定された場合に、前記第２のタイミングを前記初期化タイミングであると判定してもよい。
【００１６】
これにより、加速度センサを用いて情報端末装置の状態の変化を判定すること等が可能になる。
【００１７】
また、前記処理部は、前記情報端末装置を構成する第１〜第Ｎ（Ｎは２以上の整数）の面のうち第ｉ（ｉは１≦ｉ≦Ｎの整数）の面が基準方向に向いていると、前記第１の傾き情報に基づき判定され、且つ、前記第１〜第Ｎの面のうち第ｊ（ｊは１≦ｊ≦Ｎ、ｉ≠ｊの整数）の面が前記基準方向に向いていると、前記第２の傾き情報に基づき判定された場合に、前記情報端末装置の状態が変化したと判定し、前記第２のタイミングを前記初期化タイミングであると判定してもよい。
【００１８】
これにより、加速度センサのセンサ情報に基づいて、基準方向を向いている情報端末装置の面を特定し、特定した面に基づいて情報端末装置の状態の変化を判定することが可能になり、容易に状態変化の判定を行うこと等ができる。
【００１９】
また、前記処理部は、前記ユーザにより初期化操作が行われたタイミングを前記初期化タイミングと判定してもよい。
【００２０】
これにより、ユーザの操作指示に基づく初期化処理が可能になる。
【００２１】
また、前記頭部装着型表示装置は、第１の方向に沿って、複数のアイコンが並んで表示される選択メニュー画面を表示する表示部を含み、前記処理部は、前記第１の方向に沿った方向における、前記第２の方向情報に対する前記第１の方向情報の変化量が所与の閾値よりも大きいと判断された場合に、前記選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行ってもよい。
【００２２】
これにより、アイコンが並んで表示される方向における頭部の動きに基づく処理等が可能になる。
【００２３】
また、前記処理部は、前記第１の方向とは異なる第２の方向における、前記第２の方向情報に対する前記第１の方向情報の変化量が所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行ってもよい。
【００２４】
これにより、アイコンが並んで表示方向とは異なる方向における頭部の動きに基づく処理等が可能になる。
【００２５】
また、前記第１のセンサは前記頭部装着型表示装置に設けられた第１の方位センサであり、前記第２のセンサは前記情報端末装置に設けられた第２の方位センサであって、前記センサ情報取得部は、第１のセンサ情報として前記頭部装着型表示装置の方位情報である第１の方位情報を取得するとともに、前記第２のセンサ情報として前記情報端末装置の方位情報である第２の方位情報を取得し、前記処理部は、前記第１の方位情報と前記第２の方位情報との差分を表す情報である方位差情報に基づいて、前記入力情報を求めてもよい。
【００２６】
これにより、方位センサにより取得される水平方向における頭部の動きに基づく処理等が可能になる。
【００２７】
また、前記頭部装着型表示装置は、前記水平方向に沿って、複数のアイコンが並んで表示される選択メニュー画面を表示する表示部を含み、前記処理部は、前記水平方向に沿った方向における、前記方位差情報により表される方位差が所与の閾値よりも大きいと判断された場合に、前記選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行ってもよい。
【００２８】
これにより水平方向にアイコンが並んだ選択メニュー画面を表示し、水平方向における頭部の動きに基づくアイコン選択処理を行うこと等が可能になる。
【００２９】
また、前記処理部は、前記頭部装着型表示装置の仰角情報と前記情報端末装置の仰角情報との差分を表す情報を、仰角差情報とした場合に、鉛直方向における、前記仰角差情報により表される仰角差が所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行ってもよい。
【００３０】
これにより、水平方向にアイコンが並んだ選択メニュー画面において、鉛直方向における頭部の動きに基づくアイコン確定処理を行うこと等が可能になる。
【００３１】
また、前記第１のセンサは前記頭部装着型表示装置に設けられた第１の仰角センサであり、前記第２のセンサは前記情報端末装置に設けられた第２の仰角センサであって、前記センサ情報取得部は、第１のセンサ情報として前記頭部装着型表示装置の仰角情報である第１の仰角情報を取得するとともに、前記第２のセンサ情報として前記情報端末装置の仰角情報である第２の仰角情報を取得し、前記処理部は、前記第１の仰角情報と前記第２の仰角情報との差分を表す情報である仰角差情報に基づいて、前記入力情報を求めてもよい。
【００３２】
これにより、仰角センサにより取得される鉛直方向における頭部の動きに基づく処理等が可能になる。
【００３３】
また、前記頭部装着型表示装置は、前記鉛直方向に沿って、複数のアイコンが並んで表示される選択メニュー画面を表示する表示部を含み、前記処理部は、前記鉛直方向に沿った方向における、前記仰角差情報により表される仰角差が所与の閾値よりも大きいと判断された場合に、前記選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行ってもよい。
【００３４】
これにより鉛直方向にアイコンが並んだ選択メニュー画面を表示し、鉛直方向における頭部の動きに基づくアイコン選択処理を行うこと等が可能になる。
【００３５】
また、前記処理部は、前記頭部装着型表示装置の方位情報と、前記情報端末装置の方位情報の差分を表す情報を方位差情報とした場合に、水平方向における、前記方位差情報により表される方位差が所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行ってもよい。
【００３６】
これにより、鉛直方向にアイコンが並んだ選択メニュー画面において、水平方向における頭部の動きに基づくアイコン確定処理を行うこと等が可能になる。
【００３７】
本発明の他の態様は、請求項１乃至１４のいずれかに記載の入力システムを含む頭部装着型表示装置に関係する。
【００３８】
本発明の他の態様は、請求項１乃至１４のいずれかに記載の入力システムを含む情報端末装置に関係する。
【００３９】
本発明の他の態様は、頭部装着型表示装置に設けられた第１のセンサからの第１のセンサ情報と、前記頭部装着型表示装置と通信接続を行う情報端末装置に設けられた第２のセンサからの第２のセンサ情報を取得するセンサ情報取得部と、前記第１のセンサ情報及び前記第２のセンサ情報の基準値に関する情報である基準値情報を記憶する記憶部と、前記基準値情報、前記第１のセンサ情報及び前記第２のセンサ情報に基づいて、前記頭部装着型表示装置の方向情報である第１の方向情報及び前記情報端末装置の方向情報である第２の方向情報を取得し、取得した前記第１の方向情報及び前記第２の方向情報に基づいてユーザの入力情報を求める処理部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００４０】
【図１】本実施形態のシステム構成例。
【図２】頭部装着型表示装置の表示部に表示される画面と、項目の選択手法を説明する図。
【図３】第１の実施形態の処理を説明するためのフローチャート。
【図４】図４（Ａ）、図４（Ｂ）は情報端末装置の面と加速度センサの軸を説明する図、図４（Ｃ）は加速度センサの値と基準方向を向く面との関係を説明する図。
【図５】頭部装着型表示装置の表示部に表示される画面と、項目の選択手法を説明する他の図。
【図６】第２の実施形態の処理を説明するためのフローチャート。
【図７】本実施形態の他のシステム構成例。
【発明を実施するための形態】
【００４１】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４２】
１．本実施形態の手法
まず本実施形態の手法について説明する。近年、表示装置として用いられている頭部装着型表示装置（ＨＭＤ、Head Mounted Display）は、頭部に装着するという特性上、大きさ等に制限が加わり、結果として簡素な構成の操作部しか持てないことが多い。そのため、操作のためのインターフェースが充実しておらず、複雑な操作が難しいという問題がある。
【００４３】
また、ユーザの動作を用いた直感的なインターフェースが広く用いられている。例えば特許文献１では、ユーザの体の２箇所（例えば頭と手）に装着された２つのセンサの相対位置を用いたインターフェースが提案されている。また、特許文献２では、ユーザの頭部の動きをジョイスティック的な操作に用いる手法が提案されている。
【００４４】
しかし、頭部の動きを用いたメニュー操作等を実現する場合には、上述の手法では十分ではない。図２に示したようなメニュー項目の選択を行うケースを用いて理由を説明する。この場合、例えば水平方向での頭部の動き（頭部の方位）を検出して、左を向いていたら「はい」を選択し、正面を向いていたら「いいえ」、右を向いていたら「キャンセル」を選択するという実装が自然であり直感的にわかりやすい。しかし、操作開始時にユーザが正面を向いているとは限らないため問題が生じる。例えば、操作開始時にユーザが既に左を向いていたとする。その場合に選択されている項目が「いいえ」であるとすると、ユーザはそれ以上左を向くことができないため、「はい」を選択することができなくなってしまう。
【００４５】
以上の問題を回避するためには、操作開始時からの頭の動きの変化量を見るのではなく、体に対する頭部の向き（例えば体の正面に対して頭部が何度ずれた方向を向いているか）を求める必要がある。これは、頭部の基準方向、体の基準方向を求めておき、頭部及び体の基準方向からのずれ量をそれぞれ求め、求めたずれ量の差分を取ればよい（式（１）を用いて後述する）。しかし、センサがユーザの体に固定されておらず、装着位置や装着方向が変化する場合には、頭部及び体の基準方向が変化することになってしまい、適切に頭部の方向を求めることができない。
【００４６】
頭部側のセンサは頭部装着型表示装置に設けることにより、基準方向の変化は起きにくいと考えられる。頭部装着型表示装置の装着位置は、表示部や支持部材の構成等を考慮すると大きく変化することはないと思われるためである。しかし、体側のセンサについては上述した基準方向の変化について考慮する必要がある。センサをユーザの体に固定する手法は、インターフェース装置の使用のたびにユーザにセンサを装着することを強いることになるため好ましくなく、本実施形態ではユーザが携帯し、且つ、体に対応する部分に装着する情報端末装置（例えば携帯電話等）にセンサを搭載するものとしているためである。なお、体に対応する部分に装着するとは、体の動きに追随して動くという要件を満たす箇所に設置されればよく、手に持った鞄に入れられるという状況であってもよいものとする。
【００４７】
つまり、情報端末装置は胸ポケットに入れられる、ズボンのポケットに入れられる、手で持っている鞄に入れられる等、その状態が大きく変化することが想定され、結果として情報端末装置に設けられた体側のセンサの状態も変化し、それにあわせて基準値を変更する必要が生じる。
【００４８】
そこで本出願人は、頭部装着型表示装置に設けられた第１のセンサからの第１のセンサ情報と、情報端末装置に設けられた第２のセンサからの第２のセンサ情報と、第１のセンサ情報及び第２のセンサ情報の基準値に関する情報（基準値情報）とに基づいて、体に対する頭部の方向（厳密には情報端末装置に対する頭部の方向）を求める入力システムであって、当該基準値情報の初期化を可能とする入力システムを提案する。
【００４９】
具体的な実施形態を以下で説明する。第１の実施形態では方位センサを用いた水平方向での頭部の動きに対応したメニュー項目選択処理について説明し、第２の実施形態では仰角センサを用いた鉛直方向での頭部の動きに対応したメニュー項目選択処理について説明する。
【００５０】
２．第１の実施形態
水平方向での頭部の動きに対応したメニュー項目選択処理について説明する。具体的には、システム構成例を説明した後、頭部装着型表示装置の表示部に表示される画面の例について説明し、最後にフローチャートを用いて処理の詳細について説明する。
【００５１】
２．１ システム構成例
図１に本実施形態に係る入力システムを含む頭部装着型表示装置１００及び情報端末装置２００の構成例を示す。図１に示したように、頭部装着型表示装置１００は、表示部１１０と、操作部１２０と、頭部方向検出部１３０と、通信部１４０とを含む。また、情報端末装置２００は、端末方向検出部２１０と、記憶部２２０と、処理部２３０と、通信部２４０とを含む。
【００５２】
頭部装着型表示装置１００の表示部１１０は、各種の表示画面を表示する。具体的には図２を用いて後述するような選択メニュー画面等を表示する。操作部１２０は、頭部装着型表示装置１００を操作するためのインターフェースであり、ボタン等により構成される。具体的には今回の判定タイミングが初期化タイミングであることを明示的に指示する初期化ボタン等を含む。頭部方向検出部１３０は、頭部装着型表示装置１００に設けられた第１のセンサからの第１のセンサ情報に基づいて、頭部の方向情報を検出する。本実施形態においては、第１のセンサとは方位センサであってもよく、頭部の方向情報とは頭部の方位情報であってもよい。通信部１４０は、情報端末装置２００との間でデータの通信を行う。通信は有線で行われてもよいし、無線で行われてもよい。
【００５３】
情報端末装置２００の端末方向検出部２１０は、情報端末装置２００に設けられた第２のセンサからの第２のセンサ情報に基づいて、情報端末装置２００の方向情報を検出する。第１のセンサと同様に、第２のセンサは方位センサであってもよく、方向情報とは方位情報であってもよい。記憶部２２０は、処理部２３０等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。また記憶部２２０は、第１のセンサ情報及び第２のセンサ情報の基準値に関する情報である基準値情報を記憶する。処理部２３０は、記憶部２２０が記憶した情報や、通信部２４０が受信した情報に基づいて、種々の処理を行う。この処理部２３０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。また処理部２３０は、頭部の方向情報、情報端末装置２００の方向情報及び基準値情報に基づいて、情報端末装置２００の方向に対する頭部の相対的な方向を求め、求めた情報によりメニュー項目選択処理を行う。通信部２４０は、頭部装着型表示装置１００との間でデータの通信を行う。通信は有線で行われてもよいし、無線で行われてもよい。
【００５４】
なお、本実施形態のシステム構成は上述したものに限定されない。例えば、頭部装着型表示装置１００の操作部１２０は情報端末装置２００に設けられてもよい。また、第１のセンサは頭部装着型表示装置１００に設けられる必要があるが、第１のセンサからのセンサ情報に基づいて頭部の方向情報を求める頭部方向検出部１３０は、情報端末装置２００に設けられてもよい。
【００５５】
同様に、情報端末装置の記憶部２２０及び処理部２３０は頭部装着型表示装置１００に設けられてもよい。また、第２のセンサは情報端末装置２００に設けられる必要があるが、第２のセンサからのセンサ情報に基づいて情報端末装置２００の方向情報を求める端末方向検出部２１０は、頭部装着型表示装置１００に設けられてもよい。
【００５６】
２．２ 選択メニュー画面の例
図２に、本実施形態で用いられる選択メニュー画面の例を示す。選択メニュー画面は、ユーザに項目の選択を促すために、頭部装着型表示装置１００の表示部１１０に表示されるものである。例えば図２に示したように、選択項目を囲う枠線の太さ等により、現在選択されている項目を判別可能にする。
【００５７】
そしてユーザは図２に示したように、水平方向における左右の頭部の動きで選択している項目を変更することができる。具体的には、頭部方向検出部１３０で検出した頭部の方向情報及び端末方向検出部２１０で検出した端末の方向情報（体の方向情報に対応）とから、端末の方向に対する頭部の方向の変化量（例えば端末正面方向と頭部の方向のなす角度の大きさ等）を求め、求めた変化量が所与の閾値を超えた場合に、選択している項目を変更すればよい。
【００５８】
なお、現在選択されている項目の色や大きさを変える等、他の手法により選択している項目を判別するようにしてもよい。また、図２の例では選択項目が３つの場合を示したが、選択項目は２つ以上であれば任意の個数であってもよい。
【００５９】
２．３ 処理の詳細
次に、処理の詳細について図３のフローチャートを用いて説明する。この処理が開始されると、まず記憶部２２０に基準値情報が記憶されているかの判定が行われる（Ｓ１０１）。基準値情報が記憶されていない場合には、頭部方向検出部１３０及び端末方向検出部２１０から現在の方向情報の値を取得して、基準値情報として記憶部２２０の記憶する（Ｓ１０２）。そして処理部２３０は、基準値情報、現在の頭部の方向情報及び現在の端末の方向情報から選択メニュー画面の選択項目のうちどの項目を選択するかを求め、求めた項目を選択したメニュー画面を表示部１１０に表示させる処理を行う（Ｓ１０３）。
【００６０】
ここで、どのメニュー項目を選択するか決定する処理について説明する。例として、方向情報が０〜３５９の周期境界値を取る方位センサのセンサ値として取得される場合を考える。この場合、基準値情報に含まれる頭部方向の値をＤｈ、基準値情報に含まれる端末方向の値をＤｍ、頭部方向検出部１３０で検出された現在の頭部方向の値をＤｈ’、端末方向検出部２１０で検出された現在の端末方向の値をＤｍ’とすると、評価値Δは下式（１）で与えられる。
【００６１】
Δ＝（Ｄｈ’−Ｄｈ）−（Ｄｍ’−Ｄｍ） ・・・・・（１）
【００６２】
ただし、周期境界条件及び、頭部の回転は±１８０度以内という条件を考慮し、下式（２）で求められるΔ’を評価値として用いる。
【００６３】
Δ≧１８０ならば Δ’＝Δ−３６０
【００６４】
Δ＜−１８０ならば Δ’＝Δ＋３６０ ・・・・・（２）
【００６５】
Δ（或いはΔ’）が０の時が正面を向いているときであるから、メニュー項目のうちの中央に位置するものを選択することになる。Δが正又は負にある程度の値を持ったときは、左右いずれかに位置するメニュー項目を選択すればよい。どの値でどのメニュー項目を選択するかは、メニュー項目の数や、角度範囲の割り振り等による。
【００６６】
その後、ユーザの操作を検出したら（Ｓ１０４）、水平方向（左右方向）での頭部の動きが閾値を超えたかの判定を行い（Ｓ１０５）、閾値を超えていた場合には、頭部の動きの方向に応じて選択項目を左又は右に変更する（Ｓ１０６）。変更後はＳ１０４に戻る。また、Ｓ１０５でＮｏの場合には、初期化ボタンが押されたかの判定を行い（Ｓ１０７）、押された場合には、現在の頭部方向情報及び端末方向情報を取得し、取得した値を基準値情報として記憶部２２０に記憶する。それとともに、現在の状態が初期状態であることから、メニュー画面内の中央の項目を選択するように変更する（Ｓ１０８）。
【００６７】
Ｓ１０７においてＮｏの場合には、下方向の頭部の動きが閾値を超えたかの判定を行う（Ｓ１０９）。ここでは、頭部を下方向に動かす動作（うなずくような動作）により、選択項目の確定処理を行うものとする。頭部を下方向に動かす動作は、例えば第２の実施形態で述べるような仰角センサを用いることで検出可能である。Ｓ１０９でＹｅｓの場合には、選択された項目の処理を実行して終了する（Ｓ１１０）。Ｓ１０９でＮｏの場合にはＳ１０４に戻る。ただし、本実施形態では、選択項目の確定処理は下方向の頭部の動きにより行われるものに限定されない。例えば、操作部１２０に確定ボタンを設け、確定ボタンを押下することにより確定処理を行ってもよい。
【００６８】
以上が、基本の処理及び初期化ボタンによる初期化処理の説明である。しかし、初期化タイミングは初期化ボタンが押されたタイミングに限定されるものではない。Ｓ１０１において記憶部２２０に基準値情報が記憶されていた場合には、記憶部２２０から当該基準値情報を取得する（Ｓ１１１）。そして情報端末装置２００に設けられたセンサ（これは上述した第２のセンサと同一のセンサであってもよいし別のセンサであってもよい）から、現在の端末の状態情報を取得する（Ｓ１１２）。記憶部２２０に記憶された基準値情報に含まれる端末の状態情報と、現在の端末の状態情報とを比較し、基準値情報が記憶されたタイミングと現在の判定タイミングとの間で端末の状態が変化したかの判定を行い（Ｓ１１３）、変化していた場合には、Ｓ１０２に移行して、現在の頭部方向情報及び端末方向情報を基準値情報として記憶部２２０に記憶する。これは例えば、今まで胸ポケットに入れていた情報端末装置２００をズボンのポケットに移動した、或いは情報端末装置２００を入れている鞄の持ち方を変えた等の状況であり、それまで用いていた基準値情報が適切ではなくなってしまったケースである。よって、端末の状態が大きく変化した以上、基準値も更新する必要があるため、Ｓ１０２で基準値情報を現在のセンサ情報から求められる値に更新し、初期化処理を行っている。
【００６９】
Ｓ１１３でＮｏの場合には、情報端末装置２００の状態が大きく変化してはいないということであるから、記憶部２２０に記憶されていた基準値情報をそのまま用い（Ｓ１１４）、Ｓ１０３に移行する。
【００７０】
Ｓ１１３における状態変化の判定手法について図４を用いて具体例を示す。情報端末装置２００が図４（Ａ）に示したような６面からなる直方体であるケースを考える。そして、図４（Ａ）、図４（Ｂ）に示したようなｘ、ｙ、ｚの各軸の方向の加速度を検出する３軸加速度センサを情報端末装置２００に設ける。その上で、ｘ、ｙ、ｚの各軸のうちどの軸のどの方向に最も大きい加速度が働いているかを求めることで、垂直上方向を向いている面を特定する。ここでは、図４（Ｃ）に示したように、どの軸のどの方向に最も大きい加速度が働いているかを求めることで、垂直上方向を向いている面を一意に特定することができる。そして特定した面を上述した状態情報とすればよい。つまり、基準値情報を記憶したタイミングにおける特定した面と、今回の判定タイミングにおける特定した面とが状態情報となり、特定した面が同一の場合には状態は変化しておらず、特定した面が同一でない場合には状態が変化したと判定する。
【００７１】
これにより、ユーザが明示的に初期化指示を出さなくとも、自動的に初期化処理を行うことが可能になり、端末の状態の変化に対応可能な入力システムを実現することが可能になる。
【００７２】
以上の本実施形態では、入力システムは図１に示したように、センサ情報取得部（頭部方向検出部１３０及び端末方向検出部２１０に相当）と、基準値情報を記憶する記憶部２２０と、処理部２３０とを含む。センサ情報取得部は、頭部装着型表示装置１００に設けられた第１のセンサからの第１のセンサ情報と、情報端末装置２００に設けられた第２のセンサからの第２のセンサ情報を取得する。記憶部２２０は、基準値情報として第１のセンサ情報及び第２のセンサ情報の基準値に関する情報を記憶する。処理部２３０は、基準値情報、第１のセンサ情報及び第２のセンサ情報に基づいて、頭部装着型表示装置１００の方向情報である第１の方向情報と、情報端末装置２００の方向情報である第２の方向情報とを取得し、取得した方向情報に基づいてユーザの入力情報を求める。
【００７３】
これにより、頭部装着型表示装置１００及び情報端末装置２００にそれぞれセンサを設け、各センサのセンサ情報を取得するとともに、各センサ情報の基準値をあわせて用いることで、頭部装着型表示装置１００の方向情報である第１の方向情報及び情報端末装置２００の方向情報である第２の方向情報を求めることが可能になる。そして第１の方向情報及び第２の方向情報に基づいてユーザの入力情報を求める。よって例えば上述した式（１）に示したような演算を行うことで、頭部方向の基準値からのずれ量（Ｄｈ’−Ｄｈ）と端末方向の基準値からのずれ量（Ｄｍ’−Ｄｍ）の差分（Δ）を求めることで、端末の方向に対する頭部の相対的な方向を求めることができる。例えば体の方向（端末方向に対応）と頭部方向がともに正面を向いているときの値を基準値に設定しておけば、そこからのずれ量を求めることが可能になるため、体に対する頭部の相対的な動きを適切に検出することができる。つまり例えば、メニュー項目の選択開始時に正面を向いていなかったとしても、初期選択項目を適切に選択可能になる（具体的には最初から左を向いているときは左に配置されたメニュー項目を最初に選択することができる）。
【００７４】
また、記憶部２２０は、処理部２３０により初期化タイミングであると判定された際には、センサ情報取得部により取得された第１のセンサ情報及び第２のセンサ情報を基準値情報として記憶してもよい。
【００７５】
これにより初期化処理が可能になる。基準値情報として記憶部２２０に記憶される値は、基準となる値（例えば頭部と体が同一の方向を向いている場合等の値）である必要がある。しかし、本実施形態においては、上述したようにユーザに対して個別にセンサ装着を強いることがないように、既存の機器（例えば携帯電話等）に体側のセンサを設けることを想定している。そのため、情報端末装置２００の装着位置や装着方向等が変化することにより、情報端末装置２００に設けられたセンサと体の方向との関係が変化してしまうことが想定される。よって、そのような場合には変化後の適切なタイミング（例えば頭部と体が同一の方向を向いているタイミング）を初期化タイミングとして、初期化処理を行うことで、情報端末装置２００の状態の変化に対応することを可能にする。具体的には後述するように、情報端末装置２００に設けられたセンサのセンサ情報から状態の変化が検出されたり、初期化ボタンが押されたりしたタイミングを初期化タイミングとすることが考えられる。
【００７６】
また、処理部２３０は、記憶部２２０に基準値情報が記憶された第１のタイミングでの情報端末装置２００の状態を表す情報である第１の状態情報と、今回の判定タイミングである第２のタイミングでの情報端末装置２００の状態を表す情報である第２の状態情報の比較処理を行って、情報端末装置２００の状態が変化したと判定された場合に、第２のタイミングを初期化タイミングであると判定してもよい。
【００７７】
これにより、ユーザの明示的な指示が無くても自動的に初期化処理を行うことが可能になる。何らかの手段（例えば後述するようにセンサのセンサ情報）で第１の状態情報及び第２の状態情報を取得し、取得した２つの状態情報の比較処理により、状態が変化したか否かの判定を行う。この判定は、第１の状態情報と第２の状態情報が同一か否かに基づいて行われてもよいし、第１の状態情報により表される値と第２の状態情報により表される値との差分値を求め、求めた差分値と所与の閾値との比較により行われてもよい。
【００７８】
また、処理部２３０は、情報端末装置２００に設けられた加速度センサにより、第１の状態情報として第１のタイミングでの、情報端末装置２００の重力方向に対する傾きに関する情報である第１の傾き情報を取得してもよい。それとともに、第２の状態情報として第２のタイミングでの、情報端末装置２００の重力方向に対する傾きに関する情報である第２の傾き情報を取得する。そして、第１の傾き情報と第２の傾き情報に基づいて、状態が変化したかの判定を行い、状態が変化したと判定された場合に、第２のタイミングが初期化タイミングであるという判定を行ってもよい。
【００７９】
これにより、加速度センサのセンサ情報を用いて状態が変化したか否かの判定を行うことが可能になる。図４（Ａ）、図４（Ｂ）に示したように、情報端末装置２００に３軸加速度センサを設けたケースを考えれば、傾き情報とは、ｘ、ｙ、ｚの各軸にかかる加速度の値として求めることができる。よって、この値の比較等を行うことで容易に状態の変化を判定することが可能になる。また、状態の判定に加速度センサを用い、かつ、方向情報の取得に方位センサを用いるものとすれば、これらのセンサは異なるものとなる可能性がある。その場合には、基準値情報には、第２のセンサ（例えば方位センサ）のセンサ情報の基準値だけでなく、状態判定のためのセンサ（例えば加速度センサ）の基準値の情報も含まれることになる。
【００８０】
また、処理部２３０は、情報端末装置２００を構成する第１〜第Ｎ（Ｎは２以上の整数）の面のうち第ｉ（ｉは１≦ｉ≦Ｎの整数）の面が基準方向に向いていると第１の傾き情報により判定され、且つ、前記第１〜第Ｎの面のうち第ｊ（ｊは１≦ｊ≦Ｎ、ｉ≠ｊの整数）の面が基準方向に向いていると第２の傾き情報により判定された場合に、前記情報端末装置の状態が変化したと判定し、第２のタイミングが初期化タイミングであると判定してもよい。
【００８１】
これにより、加速度センサを用いた状態の変化の判定をより容易に行うことが可能になる。例えば図４（Ｃ）に示したように、ｘ、ｙ、ｚの各軸のうちどの軸のどの方向に最も大きい加速度がかかっているかを求め、求められた軸及び方向に対応付けられた面を基準方向に向いている面として判定することが考えられる。そして、第１の傾き情報により特定される面と第２の傾き情報により特定される面とが同一か否かに基づいて状態が変化したかの判定を行う。加速度センサの値は軸の数だけ（３軸加速度であれば３つの）値が取得されることを考慮すれば、センサ値そのものの比較に比べて、基準方向を向いている面の比較の方が容易である。
【００８２】
また、処理部２３０は、ユーザにより初期化操作が行われたタイミングを初期化タイミングであると判定してもよい。
【００８３】
これにより、ユーザによる明示的な操作指示を受けて初期化を行うことが可能になる。初期化操作は例えば、操作部１２０に設けられた初期化ボタン等により行われることが考えられる。
【００８４】
また、頭部装着型表示装置１００は、第１の方向に沿って複数のアイコンが並んで表示される選択メニュー画面を表示する表示部１１０を含む。そして処理部２３０は、第１の方向に沿った方向における、第２の方向情報に対する第１の方向情報の変化量が、所与の閾値よりも大きいと判断された場合に、選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行ってもよい。
【００８５】
これにより、例えば図２に示したようなメニュー画面の表示及び項目の選択が可能になる。図２のようにアイコンが水平方向に並んでいる場合には、水平方向（左右方向）における頭部の動きに基づいてアイコン（項目）の選択を行う。ただし、第１の方向は水平方向に限定されるものではなく、鉛直方向であってもよいし斜め方向であってもよい。
【００８６】
また、処理部２３０は、第１の方向とは異なる第２の方向における、第２の方向情報に対する第１の方向情報の変化量が、所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行ってもよい。
【００８７】
これにより、アイコンが並んでいる方向とは別の方向に頭部を動かすことにより、そのとき選択されている項目の確定処理を行うことが可能になる。これは例えば、上述したように、下方向への頭部の動き（うなずく動作）により確定処理を行うことに相当する。ただし、確定処理を行う頭部の動きの方向は、第１の方向と直交する必要はなく、第１の方向ではないと判定される方向であればよい。例えば、第１の方向となす角度が所与の閾値よりも大きい場合に、当該方向への動きは第２の方向における動きであると判定してもよい。
【００８８】
また、第１のセンサは頭部装着型表示装置１００に設けられた第１の方位センサであり、第２のセンサは情報端末装置２００に設けられた第２の方位センサであってもよい。そして、センサ情報取得部は、第１のセンサ情報として頭部装着型表示装置１００の方位情報である第１の方位情報を取得するとともに、第２のセンサ情報として情報端末装置２００の方位情報である第２の方位情報を取得する。処理部２３０は、第１の方位情報と第２の方位情報の差分を表す情報である方位差情報に基づいて入力情報を求めてもよい。
【００８９】
これにより、上述したように、センサとして方位センサを用いることが可能になる。この場合水平方向での頭部及び体（厳密には情報端末装置２００）の方向を検出することが可能になるため、水平方向での頭部の相対的な動きを検出することができる。よって、図２に示したように水平方向（左右方向）にアイコンが並んで表示される選択メニュー画面における頭部による操作が可能になる。
【００９０】
また、頭部装着型表示装置１００は、水平方向に沿って複数のアイコンが並んで表示される選択メニュー画面を表示する表示部１１０を含んでもよい。そして、処理部２３０は、水平方向に沿った方向における方位差が所与の閾値よりも大きいと判断された場合に、選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行う。また、頭部装着型表示装置１００の仰角情報と情報端末装置２００の仰角情報の差分を表す情報を仰角差情報とした場合に、鉛直方向における仰角差（仰角差情報により表される値）が所与の閾値よりも大きいと判断された場合に、選択されるアイコンの確定処理を行ってもよい。
【００９１】
これにより、図２に示したようなメニュー画面の表示及び項目の選択が可能になる。また、本実施形態において上述したように鉛直方向での頭部の動きにより確定操作を行うことも可能になる。上述したフローチャートでは下方向の動きのみを挙げていたがそれに限定されるものではなく、ここでは上方向における頭部の動きでも確定動作を行えるものとする。
【００９２】
また、以上の本実施形態は、上述してきた入力システムを含む頭部装着型表示装置１００に関係する。
【００９３】
これにより、頭部装着型表示装置１００側に本実施形態にかかる入力システムの処理を行わせることが可能になる。具体的には、図１において、情報端末装置２００側に設けられていた端末方向検出部２１０が頭部装着型表示装置１００側に設けられ、頭部方向検出部１３０とあわせてセンサ情報取得部に相当することになる。また、情報端末装置２００側に設けられていた記憶部２２０及び処理部２３０も頭部装着型表示装置１００側に設けられることになる。
【００９４】
また、以上の本実施形態は、上述してきた入力システムを含む情報端末装置２００に関係する。
【００９５】
これにより、情報端末装置２００側に本実施形態にかかる入力システムの処理を行わせることが可能になる。具体的には、図１において、頭部装着型表示装置１００側に設けられていた頭部方向検出部１３０が情報端末装置２００側に設けられ、端末方向検出部２１０とあわせてセンサ情報取得部に相当することになる。また、記憶部２２０及び処理部２３０が情報端末装置２００側に設けられるのは図１と同様である。
【００９６】
また、以上の本実施形態は、センサ情報取得部（頭部方向検出部１３０及び端末方向検出部２１０に相当）と、基準値情報を記憶する記憶部２２０と、処理部２３０としてコンピュータを機能させるプログラムに関係する。センサ情報取得部は、頭部装着型表示装置１００に設けられた第１のセンサからの第１のセンサ情報と、情報端末装置２００に設けられた第２のセンサからの第２のセンサ情報を取得する。記憶部２２０は、基準値情報として第１のセンサ情報及び第２のセンサ情報の基準値に関する情報を記憶する。処理部２３０は、基準値情報、第１のセンサ情報及び第２のセンサ情報に基づいて、頭部装着型表示装置１００の方向情報である第１の方向情報と、情報端末装置２００の方向情報である第２の方向情報とを取得し、取得した方向情報に基づいてユーザの入力情報を求める。
【００９７】
これにより、上述してきた入力システムにおける処理をソフトウェア的に実行するプログラムを実現することが可能になる。そして、上記プログラムは、情報記憶媒体２５０に記録される。ここで、情報記憶媒体２５０としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリーやＲＡＭ等のメモリーなど、情報処理装置等によって読み取り可能な種々の記録媒体を想定できる。例えば、図７に示したように、情報端末装置２００等の情報処理装置によって読み取り可能な種々の記録媒体にプログラムが記憶され、処理部２３０において実行されるケースが考えられる。
【００９８】
３．第２の実施形態
鉛直方向での頭部の動きに対応したメニュー項目選択処理について説明する。具体的には、システム構成例を説明した後、頭部装着型表示装置の表示部に表示される画面の例について説明し、最後にフローチャートを用いて処理の詳細について説明する。
【００９９】
３．１ システム構成例
本実施形態に係る入力システムを含む頭部装着型表示装置１００及び情報端末装置２００の構成例は図１に示したとおりであり、第１の実施形態と同様であるため詳細な説明は省略する。
【０１００】
３．２ 選択メニュー画面の例
図５に、本実施形態で用いられる選択メニュー画面の例を示す。図５に示したように鉛直方向（上下方向）に選択項目が配置され、ユーザの上下方向での頭部の動きにより項目を選択する点以外は、図２を用いて上述した第１の実施形態と同様である。
【０１０１】
３．３ 処理の詳細
本実施形態の処理の詳細を図６のフローチャートに示す。Ｓ２０１〜Ｓ２１０は第１の実施形態のＳ１０１〜Ｓ１１０に対応し、項目の選択が頭部の上下方向の動きにより行われ（Ｓ２０５，Ｓ２０６）、選択項目の確定処理が頭部の右方向の動きによって行われる（Ｓ２０９）点が異なるのみである。
【０１０２】
ただし、どのメニュー項目を選択するか決定する処理については方位センサを用いないため、第１の実施形態とは異なる。例として、方向情報が０〜２５５の値を取る仰角センサのセンサ値として取得される場合を考える。頭部或いは端末の上面が垂直上方向を向いている場合に値が２５５になり、垂直下方向を向いている場合に値が０になる。この場合、基準値情報に含まれる頭部方向の値をＡｈ、基準値情報に含まれる端末方向の値をＡｍ、頭部方向検出部１３０で検出された現在の頭部方向の値をＡｈ’、端末方向検出部２１０で検出された現在の端末方向の値をＡｍ’とすると、評価値Δは下式（３）で与えられる。
【０１０３】
Δ＝（Ａｈ’−Ａｈ）−（Ａｍ’−Ａｍ） ・・・・・（３）
【０１０４】
仰角センサは、第１の実施形態で述べた方位センサとは異なり周期境界値を取らないため、上述した式（２）のような処理は必要ない。Δが０の時が正面を向いているときであるから、メニュー項目のうちの中央に位置するものを選択することになる。Δが正又は負にある程度の値を持ったときは、上下いずれかに位置するメニュー項目を選択すればよい。どの値でどのメニュー項目を選択するかは、メニュー項目の数や、角度範囲の割り振り等による。
【０１０５】
また、Ｓ２１１〜Ｓ２１４は第１の実施形態のＳ１１１〜Ｓ１１４に対応し、図４（Ａ）〜図４（Ｃ）を用いて上述したような、端末の状態の変化を判定し適宜初期化処理を行う点は同様である。
【０１０６】
以上の本実施形態では、第１のセンサは頭部装着型表示装置１００に設けられた第１の仰角センサであり、第２のセンサは情報端末装置２００に設けられた第２の仰角センサであってもよい。そして、センサ情報取得部は、第１のセンサ情報として頭部装着型表示装置１００の仰角情報である第１の仰角情報を取得するとともに、第２のセンサ情報として情報端末装置２００の仰角情報である第２の仰角情報を取得する。処理部２３０は、第１の仰角情報と第２の仰角情報の差分を表す情報である仰角差情報に基づいて入力情報を求めてもよい。
【０１０７】
これにより、上述したように、センサとして仰角センサを用いることが可能になる。この場合鉛直方向での頭部及び体（厳密には情報端末装置２００）の方向を検出することが可能になるため、鉛直方向での頭部の相対的な動きを検出することができる。よって、図５に示したように鉛直方向（上下方向）にアイコンが並んで表示される選択メニュー画面における頭部による操作が可能になる。
【０１０８】
また、頭部装着型表示装置１００は、鉛直方向に沿って複数のアイコンが並んで表示される選択メニュー画面を表示する表示部１１０を含んでもよい。そして、処理部２３０は、鉛直方向に沿った方向における仰角差が所与の閾値よりも大きいと判断された場合に、選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行う。また、頭部装着型表示装置１００の方位情報と情報端末装置２００の方位情報の差分を表す情報を方位差情報とした場合に、水平方向における方位差（方位差情報により表される値）が所与の閾値よりも大きいと判断された場合に、選択されるアイコンの確定処理を行ってもよい。
【０１０９】
これにより、図５に示したようなメニュー画面の表示及び項目の選択が可能になる。また、本実施形態において上述したように水平方向での頭部の動きにより確定操作を行うことも可能になる。上述したフローチャートでは右方向の動きのみを挙げていたがそれに限定されるものではなく、ここでは左方向における頭部の動きでも確定動作を行えるものとする。
【０１１０】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１１１】
１００ 頭部装着型表示装置、１１０ 表示部、１２０ 操作部、
１３０ 頭部方向検出部、１４０ 通信部、２００ 情報端末装置、
２１０ 端末方向検出部、２２０ 記憶部、２３０ 処理部、２４０ 通信部、
２５０ 情報記憶媒体
【技術分野】
【０００１】
本発明は、入力システム、頭部装着型表示装置、情報端末装置及びプログラム等に関する。
【背景技術】
【０００２】
近年、表示デバイスとしてＨＭＤ（Head Mounted Display、頭部装着型表示装置）が用いられるようになっている。しかしながら、ＨＭＤは頭部に装着するという特性上、機器を大きくすることは好ましくない。そのため、ＨＭＤを操作するための操作部（例えば操作ボタン等）が簡素な構成になってしまい、複雑な操作を行うことが困難である。
【０００３】
また、ボタン等の操作部を用いずに、ユーザの動作に基づいて操作を行うインターフェース装置が広く用いられている。例えばユーザが装着したセンサのセンサ情報や、ユーザを撮像した撮像画像の情報等を用いてユーザの動作を認識し、認識した動作に関連づけられた操作指示を実行するインターフェース等が考えられる。しかし、センサを用いて動作を認識する場合には、センサの状態が変化した場合（例えばセンサの装着位置、装着方向が変化した場合等）に、初期化処理を行わないとユーザの動作の認識を適切に行うことができないという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３５３０４６号公報
【特許文献２】特開２０１０−２３１２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、ユーザの体の第１の部位（例えば頭部）に装着された第１のセンサと、第２の部位（例えば手）に装着された第２のセンサから第１の部位と第２の部位の相対位置を求めることでアクション情報を生成し、生成したアクション情報に対応するユーザ指示を決定するインターフェース装置が提案されている。しかし、特許文献１は主にゲーム用途のユーザインターフェース装置であり、頭部装着型表示装置に表示されるメニュー画面におけるメニュー項目の選択等については述べられていない。よって、メニュー項目の選択等における初期化についても述べられていない。
【０００６】
特許文献２では、頭部のジョイスティック的な動きを検出し、検出した動きに基づいて機器を操作する（例えば表示部に表示されたメニュー項目の選択等を行う）入力装置が提案されている。しかし、特許文献２では姿勢の変化（立位、座位等）の検出に応じた初期化処理については述べられているが、メニュー項目の選択等における初期化については述べられていない。つまり、操作開始時に頭部が正面方向を向いていなかった場合等に対応できない可能性がある。
【０００７】
本発明の幾つかの態様によれば、頭部装着型表示装置及び情報端末装置にそれぞれ設けられたセンサからのセンサ情報に基づいて頭部の動きを検出し、検出した頭部の動きに基づいてユーザの入力情報を求める入力システム、頭部装着型表示装置、情報端末装置及びプログラム等を提供することができる。
【０００８】
また、本発明の幾つかの態様によれば、初期化タイミングにおいてセンサ情報の基準値を更新することで頭部の動きを適切に検出し、検出した頭部の動きに基づいてユーザの入力情報を求める入力システム、頭部装着型表示装置、情報端末装置及びプログラム等を提供することができる。
【課題を解決するための手段】
【０００９】
本発明の一態様は、頭部装着型表示装置に設けられた第１のセンサからの第１のセンサ情報と、前記頭部装着型表示装置と通信接続を行う情報端末装置に設けられた第２のセンサからの第２のセンサ情報を取得するセンサ情報取得部と、前記第１のセンサ情報及び前記第２のセンサ情報の基準値に関する情報である基準値情報を記憶する記憶部と、前記基準値情報、前記第１のセンサ情報及び前記第２のセンサ情報に基づいて、前記頭部装着型表示装置の方向情報である第１の方向情報及び前記情報端末装置の方向情報である第２の方向情報を取得し、取得した前記第１の方向情報及び前記第２の方向情報に基づいてユーザの入力情報を求める処理部と、を含む入力システムに関係する。
【００１０】
本発明の一態様では、頭部装着型表示装置に設けられたセンサのセンサ情報、情報端末装置に設けられたセンサのセンサ情報及び基準値情報に基づいて、頭部の方向情報と情報端末装置の方向情報を取得する。そして取得した方向情報に基づいてユーザの入力情報を求めることで、端末に対する頭部の相対的な動きに基づくインターフェースを実現すること等が可能になる。
【００１１】
また、前記記憶部は、前記処理部により初期化タイミングであると判定された際に前記センサ情報取得部により取得された前記第１のセンサ情報及び前記第２のセンサ情報を、前記基準値情報として記憶してもよい。
【００１２】
これにより、基準値の初期化処理が可能になり、センサの状態（装着位置・装着方向等）が変化したとしても頭部方向等を適切に求めることが可能になる。
【００１３】
また、前記処理部は、前記記憶部に前記基準値情報が記憶された第１のタイミングでの前記情報端末装置の状態である第１の状態での第１の状態情報と、今回の判定タイミングである第２のタイミングでの前記情報端末装置の状態である第２の状態での第２の状態情報との比較処理を行い、前記比較処理により前記情報端末装置の状態が変化したと判定された場合に、前記第２のタイミングを前記初期化タイミングであると判定してもよい。
【００１４】
これにより、情報端末装置の状態が変化した場合に、初期化処理を行うこと等が可能になる。
【００１５】
また、前記処理部は、前記情報端末装置に設けられた加速度センサにより、前記第１の状態情報として、前記第１のタイミングでの重力方向に対する前記情報端末装置の傾きに関する情報である第１の傾き情報を取得するとともに、前記第２の状態情報として、前記第２のタイミングでの前記重力方向に対する前記情報端末装置の傾きに関する情報である第２の傾き情報を取得し、前記第１の傾き情報と前記第２の傾き情報の比較処理を行い、前記比較処理により前記情報端末装置の状態が変化したと判定された場合に、前記第２のタイミングを前記初期化タイミングであると判定してもよい。
【００１６】
これにより、加速度センサを用いて情報端末装置の状態の変化を判定すること等が可能になる。
【００１７】
また、前記処理部は、前記情報端末装置を構成する第１〜第Ｎ（Ｎは２以上の整数）の面のうち第ｉ（ｉは１≦ｉ≦Ｎの整数）の面が基準方向に向いていると、前記第１の傾き情報に基づき判定され、且つ、前記第１〜第Ｎの面のうち第ｊ（ｊは１≦ｊ≦Ｎ、ｉ≠ｊの整数）の面が前記基準方向に向いていると、前記第２の傾き情報に基づき判定された場合に、前記情報端末装置の状態が変化したと判定し、前記第２のタイミングを前記初期化タイミングであると判定してもよい。
【００１８】
これにより、加速度センサのセンサ情報に基づいて、基準方向を向いている情報端末装置の面を特定し、特定した面に基づいて情報端末装置の状態の変化を判定することが可能になり、容易に状態変化の判定を行うこと等ができる。
【００１９】
また、前記処理部は、前記ユーザにより初期化操作が行われたタイミングを前記初期化タイミングと判定してもよい。
【００２０】
これにより、ユーザの操作指示に基づく初期化処理が可能になる。
【００２１】
また、前記頭部装着型表示装置は、第１の方向に沿って、複数のアイコンが並んで表示される選択メニュー画面を表示する表示部を含み、前記処理部は、前記第１の方向に沿った方向における、前記第２の方向情報に対する前記第１の方向情報の変化量が所与の閾値よりも大きいと判断された場合に、前記選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行ってもよい。
【００２２】
これにより、アイコンが並んで表示される方向における頭部の動きに基づく処理等が可能になる。
【００２３】
また、前記処理部は、前記第１の方向とは異なる第２の方向における、前記第２の方向情報に対する前記第１の方向情報の変化量が所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行ってもよい。
【００２４】
これにより、アイコンが並んで表示方向とは異なる方向における頭部の動きに基づく処理等が可能になる。
【００２５】
また、前記第１のセンサは前記頭部装着型表示装置に設けられた第１の方位センサであり、前記第２のセンサは前記情報端末装置に設けられた第２の方位センサであって、前記センサ情報取得部は、第１のセンサ情報として前記頭部装着型表示装置の方位情報である第１の方位情報を取得するとともに、前記第２のセンサ情報として前記情報端末装置の方位情報である第２の方位情報を取得し、前記処理部は、前記第１の方位情報と前記第２の方位情報との差分を表す情報である方位差情報に基づいて、前記入力情報を求めてもよい。
【００２６】
これにより、方位センサにより取得される水平方向における頭部の動きに基づく処理等が可能になる。
【００２７】
また、前記頭部装着型表示装置は、前記水平方向に沿って、複数のアイコンが並んで表示される選択メニュー画面を表示する表示部を含み、前記処理部は、前記水平方向に沿った方向における、前記方位差情報により表される方位差が所与の閾値よりも大きいと判断された場合に、前記選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行ってもよい。
【００２８】
これにより水平方向にアイコンが並んだ選択メニュー画面を表示し、水平方向における頭部の動きに基づくアイコン選択処理を行うこと等が可能になる。
【００２９】
また、前記処理部は、前記頭部装着型表示装置の仰角情報と前記情報端末装置の仰角情報との差分を表す情報を、仰角差情報とした場合に、鉛直方向における、前記仰角差情報により表される仰角差が所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行ってもよい。
【００３０】
これにより、水平方向にアイコンが並んだ選択メニュー画面において、鉛直方向における頭部の動きに基づくアイコン確定処理を行うこと等が可能になる。
【００３１】
また、前記第１のセンサは前記頭部装着型表示装置に設けられた第１の仰角センサであり、前記第２のセンサは前記情報端末装置に設けられた第２の仰角センサであって、前記センサ情報取得部は、第１のセンサ情報として前記頭部装着型表示装置の仰角情報である第１の仰角情報を取得するとともに、前記第２のセンサ情報として前記情報端末装置の仰角情報である第２の仰角情報を取得し、前記処理部は、前記第１の仰角情報と前記第２の仰角情報との差分を表す情報である仰角差情報に基づいて、前記入力情報を求めてもよい。
【００３２】
これにより、仰角センサにより取得される鉛直方向における頭部の動きに基づく処理等が可能になる。
【００３３】
また、前記頭部装着型表示装置は、前記鉛直方向に沿って、複数のアイコンが並んで表示される選択メニュー画面を表示する表示部を含み、前記処理部は、前記鉛直方向に沿った方向における、前記仰角差情報により表される仰角差が所与の閾値よりも大きいと判断された場合に、前記選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行ってもよい。
【００３４】
これにより鉛直方向にアイコンが並んだ選択メニュー画面を表示し、鉛直方向における頭部の動きに基づくアイコン選択処理を行うこと等が可能になる。
【００３５】
また、前記処理部は、前記頭部装着型表示装置の方位情報と、前記情報端末装置の方位情報の差分を表す情報を方位差情報とした場合に、水平方向における、前記方位差情報により表される方位差が所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行ってもよい。
【００３６】
これにより、鉛直方向にアイコンが並んだ選択メニュー画面において、水平方向における頭部の動きに基づくアイコン確定処理を行うこと等が可能になる。
【００３７】
本発明の他の態様は、請求項１乃至１４のいずれかに記載の入力システムを含む頭部装着型表示装置に関係する。
【００３８】
本発明の他の態様は、請求項１乃至１４のいずれかに記載の入力システムを含む情報端末装置に関係する。
【００３９】
本発明の他の態様は、頭部装着型表示装置に設けられた第１のセンサからの第１のセンサ情報と、前記頭部装着型表示装置と通信接続を行う情報端末装置に設けられた第２のセンサからの第２のセンサ情報を取得するセンサ情報取得部と、前記第１のセンサ情報及び前記第２のセンサ情報の基準値に関する情報である基準値情報を記憶する記憶部と、前記基準値情報、前記第１のセンサ情報及び前記第２のセンサ情報に基づいて、前記頭部装着型表示装置の方向情報である第１の方向情報及び前記情報端末装置の方向情報である第２の方向情報を取得し、取得した前記第１の方向情報及び前記第２の方向情報に基づいてユーザの入力情報を求める処理部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００４０】
【図１】本実施形態のシステム構成例。
【図２】頭部装着型表示装置の表示部に表示される画面と、項目の選択手法を説明する図。
【図３】第１の実施形態の処理を説明するためのフローチャート。
【図４】図４（Ａ）、図４（Ｂ）は情報端末装置の面と加速度センサの軸を説明する図、図４（Ｃ）は加速度センサの値と基準方向を向く面との関係を説明する図。
【図５】頭部装着型表示装置の表示部に表示される画面と、項目の選択手法を説明する他の図。
【図６】第２の実施形態の処理を説明するためのフローチャート。
【図７】本実施形態の他のシステム構成例。
【発明を実施するための形態】
【００４１】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４２】
１．本実施形態の手法
まず本実施形態の手法について説明する。近年、表示装置として用いられている頭部装着型表示装置（ＨＭＤ、Head Mounted Display）は、頭部に装着するという特性上、大きさ等に制限が加わり、結果として簡素な構成の操作部しか持てないことが多い。そのため、操作のためのインターフェースが充実しておらず、複雑な操作が難しいという問題がある。
【００４３】
また、ユーザの動作を用いた直感的なインターフェースが広く用いられている。例えば特許文献１では、ユーザの体の２箇所（例えば頭と手）に装着された２つのセンサの相対位置を用いたインターフェースが提案されている。また、特許文献２では、ユーザの頭部の動きをジョイスティック的な操作に用いる手法が提案されている。
【００４４】
しかし、頭部の動きを用いたメニュー操作等を実現する場合には、上述の手法では十分ではない。図２に示したようなメニュー項目の選択を行うケースを用いて理由を説明する。この場合、例えば水平方向での頭部の動き（頭部の方位）を検出して、左を向いていたら「はい」を選択し、正面を向いていたら「いいえ」、右を向いていたら「キャンセル」を選択するという実装が自然であり直感的にわかりやすい。しかし、操作開始時にユーザが正面を向いているとは限らないため問題が生じる。例えば、操作開始時にユーザが既に左を向いていたとする。その場合に選択されている項目が「いいえ」であるとすると、ユーザはそれ以上左を向くことができないため、「はい」を選択することができなくなってしまう。
【００４５】
以上の問題を回避するためには、操作開始時からの頭の動きの変化量を見るのではなく、体に対する頭部の向き（例えば体の正面に対して頭部が何度ずれた方向を向いているか）を求める必要がある。これは、頭部の基準方向、体の基準方向を求めておき、頭部及び体の基準方向からのずれ量をそれぞれ求め、求めたずれ量の差分を取ればよい（式（１）を用いて後述する）。しかし、センサがユーザの体に固定されておらず、装着位置や装着方向が変化する場合には、頭部及び体の基準方向が変化することになってしまい、適切に頭部の方向を求めることができない。
【００４６】
頭部側のセンサは頭部装着型表示装置に設けることにより、基準方向の変化は起きにくいと考えられる。頭部装着型表示装置の装着位置は、表示部や支持部材の構成等を考慮すると大きく変化することはないと思われるためである。しかし、体側のセンサについては上述した基準方向の変化について考慮する必要がある。センサをユーザの体に固定する手法は、インターフェース装置の使用のたびにユーザにセンサを装着することを強いることになるため好ましくなく、本実施形態ではユーザが携帯し、且つ、体に対応する部分に装着する情報端末装置（例えば携帯電話等）にセンサを搭載するものとしているためである。なお、体に対応する部分に装着するとは、体の動きに追随して動くという要件を満たす箇所に設置されればよく、手に持った鞄に入れられるという状況であってもよいものとする。
【００４７】
つまり、情報端末装置は胸ポケットに入れられる、ズボンのポケットに入れられる、手で持っている鞄に入れられる等、その状態が大きく変化することが想定され、結果として情報端末装置に設けられた体側のセンサの状態も変化し、それにあわせて基準値を変更する必要が生じる。
【００４８】
そこで本出願人は、頭部装着型表示装置に設けられた第１のセンサからの第１のセンサ情報と、情報端末装置に設けられた第２のセンサからの第２のセンサ情報と、第１のセンサ情報及び第２のセンサ情報の基準値に関する情報（基準値情報）とに基づいて、体に対する頭部の方向（厳密には情報端末装置に対する頭部の方向）を求める入力システムであって、当該基準値情報の初期化を可能とする入力システムを提案する。
【００４９】
具体的な実施形態を以下で説明する。第１の実施形態では方位センサを用いた水平方向での頭部の動きに対応したメニュー項目選択処理について説明し、第２の実施形態では仰角センサを用いた鉛直方向での頭部の動きに対応したメニュー項目選択処理について説明する。
【００５０】
２．第１の実施形態
水平方向での頭部の動きに対応したメニュー項目選択処理について説明する。具体的には、システム構成例を説明した後、頭部装着型表示装置の表示部に表示される画面の例について説明し、最後にフローチャートを用いて処理の詳細について説明する。
【００５１】
２．１ システム構成例
図１に本実施形態に係る入力システムを含む頭部装着型表示装置１００及び情報端末装置２００の構成例を示す。図１に示したように、頭部装着型表示装置１００は、表示部１１０と、操作部１２０と、頭部方向検出部１３０と、通信部１４０とを含む。また、情報端末装置２００は、端末方向検出部２１０と、記憶部２２０と、処理部２３０と、通信部２４０とを含む。
【００５２】
頭部装着型表示装置１００の表示部１１０は、各種の表示画面を表示する。具体的には図２を用いて後述するような選択メニュー画面等を表示する。操作部１２０は、頭部装着型表示装置１００を操作するためのインターフェースであり、ボタン等により構成される。具体的には今回の判定タイミングが初期化タイミングであることを明示的に指示する初期化ボタン等を含む。頭部方向検出部１３０は、頭部装着型表示装置１００に設けられた第１のセンサからの第１のセンサ情報に基づいて、頭部の方向情報を検出する。本実施形態においては、第１のセンサとは方位センサであってもよく、頭部の方向情報とは頭部の方位情報であってもよい。通信部１４０は、情報端末装置２００との間でデータの通信を行う。通信は有線で行われてもよいし、無線で行われてもよい。
【００５３】
情報端末装置２００の端末方向検出部２１０は、情報端末装置２００に設けられた第２のセンサからの第２のセンサ情報に基づいて、情報端末装置２００の方向情報を検出する。第１のセンサと同様に、第２のセンサは方位センサであってもよく、方向情報とは方位情報であってもよい。記憶部２２０は、処理部２３０等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。また記憶部２２０は、第１のセンサ情報及び第２のセンサ情報の基準値に関する情報である基準値情報を記憶する。処理部２３０は、記憶部２２０が記憶した情報や、通信部２４０が受信した情報に基づいて、種々の処理を行う。この処理部２３０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。また処理部２３０は、頭部の方向情報、情報端末装置２００の方向情報及び基準値情報に基づいて、情報端末装置２００の方向に対する頭部の相対的な方向を求め、求めた情報によりメニュー項目選択処理を行う。通信部２４０は、頭部装着型表示装置１００との間でデータの通信を行う。通信は有線で行われてもよいし、無線で行われてもよい。
【００５４】
なお、本実施形態のシステム構成は上述したものに限定されない。例えば、頭部装着型表示装置１００の操作部１２０は情報端末装置２００に設けられてもよい。また、第１のセンサは頭部装着型表示装置１００に設けられる必要があるが、第１のセンサからのセンサ情報に基づいて頭部の方向情報を求める頭部方向検出部１３０は、情報端末装置２００に設けられてもよい。
【００５５】
同様に、情報端末装置の記憶部２２０及び処理部２３０は頭部装着型表示装置１００に設けられてもよい。また、第２のセンサは情報端末装置２００に設けられる必要があるが、第２のセンサからのセンサ情報に基づいて情報端末装置２００の方向情報を求める端末方向検出部２１０は、頭部装着型表示装置１００に設けられてもよい。
【００５６】
２．２ 選択メニュー画面の例
図２に、本実施形態で用いられる選択メニュー画面の例を示す。選択メニュー画面は、ユーザに項目の選択を促すために、頭部装着型表示装置１００の表示部１１０に表示されるものである。例えば図２に示したように、選択項目を囲う枠線の太さ等により、現在選択されている項目を判別可能にする。
【００５７】
そしてユーザは図２に示したように、水平方向における左右の頭部の動きで選択している項目を変更することができる。具体的には、頭部方向検出部１３０で検出した頭部の方向情報及び端末方向検出部２１０で検出した端末の方向情報（体の方向情報に対応）とから、端末の方向に対する頭部の方向の変化量（例えば端末正面方向と頭部の方向のなす角度の大きさ等）を求め、求めた変化量が所与の閾値を超えた場合に、選択している項目を変更すればよい。
【００５８】
なお、現在選択されている項目の色や大きさを変える等、他の手法により選択している項目を判別するようにしてもよい。また、図２の例では選択項目が３つの場合を示したが、選択項目は２つ以上であれば任意の個数であってもよい。
【００５９】
２．３ 処理の詳細
次に、処理の詳細について図３のフローチャートを用いて説明する。この処理が開始されると、まず記憶部２２０に基準値情報が記憶されているかの判定が行われる（Ｓ１０１）。基準値情報が記憶されていない場合には、頭部方向検出部１３０及び端末方向検出部２１０から現在の方向情報の値を取得して、基準値情報として記憶部２２０の記憶する（Ｓ１０２）。そして処理部２３０は、基準値情報、現在の頭部の方向情報及び現在の端末の方向情報から選択メニュー画面の選択項目のうちどの項目を選択するかを求め、求めた項目を選択したメニュー画面を表示部１１０に表示させる処理を行う（Ｓ１０３）。
【００６０】
ここで、どのメニュー項目を選択するか決定する処理について説明する。例として、方向情報が０〜３５９の周期境界値を取る方位センサのセンサ値として取得される場合を考える。この場合、基準値情報に含まれる頭部方向の値をＤｈ、基準値情報に含まれる端末方向の値をＤｍ、頭部方向検出部１３０で検出された現在の頭部方向の値をＤｈ’、端末方向検出部２１０で検出された現在の端末方向の値をＤｍ’とすると、評価値Δは下式（１）で与えられる。
【００６１】
Δ＝（Ｄｈ’−Ｄｈ）−（Ｄｍ’−Ｄｍ） ・・・・・（１）
【００６２】
ただし、周期境界条件及び、頭部の回転は±１８０度以内という条件を考慮し、下式（２）で求められるΔ’を評価値として用いる。
【００６３】
Δ≧１８０ならば Δ’＝Δ−３６０
【００６４】
Δ＜−１８０ならば Δ’＝Δ＋３６０ ・・・・・（２）
【００６５】
Δ（或いはΔ’）が０の時が正面を向いているときであるから、メニュー項目のうちの中央に位置するものを選択することになる。Δが正又は負にある程度の値を持ったときは、左右いずれかに位置するメニュー項目を選択すればよい。どの値でどのメニュー項目を選択するかは、メニュー項目の数や、角度範囲の割り振り等による。
【００６６】
その後、ユーザの操作を検出したら（Ｓ１０４）、水平方向（左右方向）での頭部の動きが閾値を超えたかの判定を行い（Ｓ１０５）、閾値を超えていた場合には、頭部の動きの方向に応じて選択項目を左又は右に変更する（Ｓ１０６）。変更後はＳ１０４に戻る。また、Ｓ１０５でＮｏの場合には、初期化ボタンが押されたかの判定を行い（Ｓ１０７）、押された場合には、現在の頭部方向情報及び端末方向情報を取得し、取得した値を基準値情報として記憶部２２０に記憶する。それとともに、現在の状態が初期状態であることから、メニュー画面内の中央の項目を選択するように変更する（Ｓ１０８）。
【００６７】
Ｓ１０７においてＮｏの場合には、下方向の頭部の動きが閾値を超えたかの判定を行う（Ｓ１０９）。ここでは、頭部を下方向に動かす動作（うなずくような動作）により、選択項目の確定処理を行うものとする。頭部を下方向に動かす動作は、例えば第２の実施形態で述べるような仰角センサを用いることで検出可能である。Ｓ１０９でＹｅｓの場合には、選択された項目の処理を実行して終了する（Ｓ１１０）。Ｓ１０９でＮｏの場合にはＳ１０４に戻る。ただし、本実施形態では、選択項目の確定処理は下方向の頭部の動きにより行われるものに限定されない。例えば、操作部１２０に確定ボタンを設け、確定ボタンを押下することにより確定処理を行ってもよい。
【００６８】
以上が、基本の処理及び初期化ボタンによる初期化処理の説明である。しかし、初期化タイミングは初期化ボタンが押されたタイミングに限定されるものではない。Ｓ１０１において記憶部２２０に基準値情報が記憶されていた場合には、記憶部２２０から当該基準値情報を取得する（Ｓ１１１）。そして情報端末装置２００に設けられたセンサ（これは上述した第２のセンサと同一のセンサであってもよいし別のセンサであってもよい）から、現在の端末の状態情報を取得する（Ｓ１１２）。記憶部２２０に記憶された基準値情報に含まれる端末の状態情報と、現在の端末の状態情報とを比較し、基準値情報が記憶されたタイミングと現在の判定タイミングとの間で端末の状態が変化したかの判定を行い（Ｓ１１３）、変化していた場合には、Ｓ１０２に移行して、現在の頭部方向情報及び端末方向情報を基準値情報として記憶部２２０に記憶する。これは例えば、今まで胸ポケットに入れていた情報端末装置２００をズボンのポケットに移動した、或いは情報端末装置２００を入れている鞄の持ち方を変えた等の状況であり、それまで用いていた基準値情報が適切ではなくなってしまったケースである。よって、端末の状態が大きく変化した以上、基準値も更新する必要があるため、Ｓ１０２で基準値情報を現在のセンサ情報から求められる値に更新し、初期化処理を行っている。
【００６９】
Ｓ１１３でＮｏの場合には、情報端末装置２００の状態が大きく変化してはいないということであるから、記憶部２２０に記憶されていた基準値情報をそのまま用い（Ｓ１１４）、Ｓ１０３に移行する。
【００７０】
Ｓ１１３における状態変化の判定手法について図４を用いて具体例を示す。情報端末装置２００が図４（Ａ）に示したような６面からなる直方体であるケースを考える。そして、図４（Ａ）、図４（Ｂ）に示したようなｘ、ｙ、ｚの各軸の方向の加速度を検出する３軸加速度センサを情報端末装置２００に設ける。その上で、ｘ、ｙ、ｚの各軸のうちどの軸のどの方向に最も大きい加速度が働いているかを求めることで、垂直上方向を向いている面を特定する。ここでは、図４（Ｃ）に示したように、どの軸のどの方向に最も大きい加速度が働いているかを求めることで、垂直上方向を向いている面を一意に特定することができる。そして特定した面を上述した状態情報とすればよい。つまり、基準値情報を記憶したタイミングにおける特定した面と、今回の判定タイミングにおける特定した面とが状態情報となり、特定した面が同一の場合には状態は変化しておらず、特定した面が同一でない場合には状態が変化したと判定する。
【００７１】
これにより、ユーザが明示的に初期化指示を出さなくとも、自動的に初期化処理を行うことが可能になり、端末の状態の変化に対応可能な入力システムを実現することが可能になる。
【００７２】
以上の本実施形態では、入力システムは図１に示したように、センサ情報取得部（頭部方向検出部１３０及び端末方向検出部２１０に相当）と、基準値情報を記憶する記憶部２２０と、処理部２３０とを含む。センサ情報取得部は、頭部装着型表示装置１００に設けられた第１のセンサからの第１のセンサ情報と、情報端末装置２００に設けられた第２のセンサからの第２のセンサ情報を取得する。記憶部２２０は、基準値情報として第１のセンサ情報及び第２のセンサ情報の基準値に関する情報を記憶する。処理部２３０は、基準値情報、第１のセンサ情報及び第２のセンサ情報に基づいて、頭部装着型表示装置１００の方向情報である第１の方向情報と、情報端末装置２００の方向情報である第２の方向情報とを取得し、取得した方向情報に基づいてユーザの入力情報を求める。
【００７３】
これにより、頭部装着型表示装置１００及び情報端末装置２００にそれぞれセンサを設け、各センサのセンサ情報を取得するとともに、各センサ情報の基準値をあわせて用いることで、頭部装着型表示装置１００の方向情報である第１の方向情報及び情報端末装置２００の方向情報である第２の方向情報を求めることが可能になる。そして第１の方向情報及び第２の方向情報に基づいてユーザの入力情報を求める。よって例えば上述した式（１）に示したような演算を行うことで、頭部方向の基準値からのずれ量（Ｄｈ’−Ｄｈ）と端末方向の基準値からのずれ量（Ｄｍ’−Ｄｍ）の差分（Δ）を求めることで、端末の方向に対する頭部の相対的な方向を求めることができる。例えば体の方向（端末方向に対応）と頭部方向がともに正面を向いているときの値を基準値に設定しておけば、そこからのずれ量を求めることが可能になるため、体に対する頭部の相対的な動きを適切に検出することができる。つまり例えば、メニュー項目の選択開始時に正面を向いていなかったとしても、初期選択項目を適切に選択可能になる（具体的には最初から左を向いているときは左に配置されたメニュー項目を最初に選択することができる）。
【００７４】
また、記憶部２２０は、処理部２３０により初期化タイミングであると判定された際には、センサ情報取得部により取得された第１のセンサ情報及び第２のセンサ情報を基準値情報として記憶してもよい。
【００７５】
これにより初期化処理が可能になる。基準値情報として記憶部２２０に記憶される値は、基準となる値（例えば頭部と体が同一の方向を向いている場合等の値）である必要がある。しかし、本実施形態においては、上述したようにユーザに対して個別にセンサ装着を強いることがないように、既存の機器（例えば携帯電話等）に体側のセンサを設けることを想定している。そのため、情報端末装置２００の装着位置や装着方向等が変化することにより、情報端末装置２００に設けられたセンサと体の方向との関係が変化してしまうことが想定される。よって、そのような場合には変化後の適切なタイミング（例えば頭部と体が同一の方向を向いているタイミング）を初期化タイミングとして、初期化処理を行うことで、情報端末装置２００の状態の変化に対応することを可能にする。具体的には後述するように、情報端末装置２００に設けられたセンサのセンサ情報から状態の変化が検出されたり、初期化ボタンが押されたりしたタイミングを初期化タイミングとすることが考えられる。
【００７６】
また、処理部２３０は、記憶部２２０に基準値情報が記憶された第１のタイミングでの情報端末装置２００の状態を表す情報である第１の状態情報と、今回の判定タイミングである第２のタイミングでの情報端末装置２００の状態を表す情報である第２の状態情報の比較処理を行って、情報端末装置２００の状態が変化したと判定された場合に、第２のタイミングを初期化タイミングであると判定してもよい。
【００７７】
これにより、ユーザの明示的な指示が無くても自動的に初期化処理を行うことが可能になる。何らかの手段（例えば後述するようにセンサのセンサ情報）で第１の状態情報及び第２の状態情報を取得し、取得した２つの状態情報の比較処理により、状態が変化したか否かの判定を行う。この判定は、第１の状態情報と第２の状態情報が同一か否かに基づいて行われてもよいし、第１の状態情報により表される値と第２の状態情報により表される値との差分値を求め、求めた差分値と所与の閾値との比較により行われてもよい。
【００７８】
また、処理部２３０は、情報端末装置２００に設けられた加速度センサにより、第１の状態情報として第１のタイミングでの、情報端末装置２００の重力方向に対する傾きに関する情報である第１の傾き情報を取得してもよい。それとともに、第２の状態情報として第２のタイミングでの、情報端末装置２００の重力方向に対する傾きに関する情報である第２の傾き情報を取得する。そして、第１の傾き情報と第２の傾き情報に基づいて、状態が変化したかの判定を行い、状態が変化したと判定された場合に、第２のタイミングが初期化タイミングであるという判定を行ってもよい。
【００７９】
これにより、加速度センサのセンサ情報を用いて状態が変化したか否かの判定を行うことが可能になる。図４（Ａ）、図４（Ｂ）に示したように、情報端末装置２００に３軸加速度センサを設けたケースを考えれば、傾き情報とは、ｘ、ｙ、ｚの各軸にかかる加速度の値として求めることができる。よって、この値の比較等を行うことで容易に状態の変化を判定することが可能になる。また、状態の判定に加速度センサを用い、かつ、方向情報の取得に方位センサを用いるものとすれば、これらのセンサは異なるものとなる可能性がある。その場合には、基準値情報には、第２のセンサ（例えば方位センサ）のセンサ情報の基準値だけでなく、状態判定のためのセンサ（例えば加速度センサ）の基準値の情報も含まれることになる。
【００８０】
また、処理部２３０は、情報端末装置２００を構成する第１〜第Ｎ（Ｎは２以上の整数）の面のうち第ｉ（ｉは１≦ｉ≦Ｎの整数）の面が基準方向に向いていると第１の傾き情報により判定され、且つ、前記第１〜第Ｎの面のうち第ｊ（ｊは１≦ｊ≦Ｎ、ｉ≠ｊの整数）の面が基準方向に向いていると第２の傾き情報により判定された場合に、前記情報端末装置の状態が変化したと判定し、第２のタイミングが初期化タイミングであると判定してもよい。
【００８１】
これにより、加速度センサを用いた状態の変化の判定をより容易に行うことが可能になる。例えば図４（Ｃ）に示したように、ｘ、ｙ、ｚの各軸のうちどの軸のどの方向に最も大きい加速度がかかっているかを求め、求められた軸及び方向に対応付けられた面を基準方向に向いている面として判定することが考えられる。そして、第１の傾き情報により特定される面と第２の傾き情報により特定される面とが同一か否かに基づいて状態が変化したかの判定を行う。加速度センサの値は軸の数だけ（３軸加速度であれば３つの）値が取得されることを考慮すれば、センサ値そのものの比較に比べて、基準方向を向いている面の比較の方が容易である。
【００８２】
また、処理部２３０は、ユーザにより初期化操作が行われたタイミングを初期化タイミングであると判定してもよい。
【００８３】
これにより、ユーザによる明示的な操作指示を受けて初期化を行うことが可能になる。初期化操作は例えば、操作部１２０に設けられた初期化ボタン等により行われることが考えられる。
【００８４】
また、頭部装着型表示装置１００は、第１の方向に沿って複数のアイコンが並んで表示される選択メニュー画面を表示する表示部１１０を含む。そして処理部２３０は、第１の方向に沿った方向における、第２の方向情報に対する第１の方向情報の変化量が、所与の閾値よりも大きいと判断された場合に、選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行ってもよい。
【００８５】
これにより、例えば図２に示したようなメニュー画面の表示及び項目の選択が可能になる。図２のようにアイコンが水平方向に並んでいる場合には、水平方向（左右方向）における頭部の動きに基づいてアイコン（項目）の選択を行う。ただし、第１の方向は水平方向に限定されるものではなく、鉛直方向であってもよいし斜め方向であってもよい。
【００８６】
また、処理部２３０は、第１の方向とは異なる第２の方向における、第２の方向情報に対する第１の方向情報の変化量が、所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行ってもよい。
【００８７】
これにより、アイコンが並んでいる方向とは別の方向に頭部を動かすことにより、そのとき選択されている項目の確定処理を行うことが可能になる。これは例えば、上述したように、下方向への頭部の動き（うなずく動作）により確定処理を行うことに相当する。ただし、確定処理を行う頭部の動きの方向は、第１の方向と直交する必要はなく、第１の方向ではないと判定される方向であればよい。例えば、第１の方向となす角度が所与の閾値よりも大きい場合に、当該方向への動きは第２の方向における動きであると判定してもよい。
【００８８】
また、第１のセンサは頭部装着型表示装置１００に設けられた第１の方位センサであり、第２のセンサは情報端末装置２００に設けられた第２の方位センサであってもよい。そして、センサ情報取得部は、第１のセンサ情報として頭部装着型表示装置１００の方位情報である第１の方位情報を取得するとともに、第２のセンサ情報として情報端末装置２００の方位情報である第２の方位情報を取得する。処理部２３０は、第１の方位情報と第２の方位情報の差分を表す情報である方位差情報に基づいて入力情報を求めてもよい。
【００８９】
これにより、上述したように、センサとして方位センサを用いることが可能になる。この場合水平方向での頭部及び体（厳密には情報端末装置２００）の方向を検出することが可能になるため、水平方向での頭部の相対的な動きを検出することができる。よって、図２に示したように水平方向（左右方向）にアイコンが並んで表示される選択メニュー画面における頭部による操作が可能になる。
【００９０】
また、頭部装着型表示装置１００は、水平方向に沿って複数のアイコンが並んで表示される選択メニュー画面を表示する表示部１１０を含んでもよい。そして、処理部２３０は、水平方向に沿った方向における方位差が所与の閾値よりも大きいと判断された場合に、選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行う。また、頭部装着型表示装置１００の仰角情報と情報端末装置２００の仰角情報の差分を表す情報を仰角差情報とした場合に、鉛直方向における仰角差（仰角差情報により表される値）が所与の閾値よりも大きいと判断された場合に、選択されるアイコンの確定処理を行ってもよい。
【００９１】
これにより、図２に示したようなメニュー画面の表示及び項目の選択が可能になる。また、本実施形態において上述したように鉛直方向での頭部の動きにより確定操作を行うことも可能になる。上述したフローチャートでは下方向の動きのみを挙げていたがそれに限定されるものではなく、ここでは上方向における頭部の動きでも確定動作を行えるものとする。
【００９２】
また、以上の本実施形態は、上述してきた入力システムを含む頭部装着型表示装置１００に関係する。
【００９３】
これにより、頭部装着型表示装置１００側に本実施形態にかかる入力システムの処理を行わせることが可能になる。具体的には、図１において、情報端末装置２００側に設けられていた端末方向検出部２１０が頭部装着型表示装置１００側に設けられ、頭部方向検出部１３０とあわせてセンサ情報取得部に相当することになる。また、情報端末装置２００側に設けられていた記憶部２２０及び処理部２３０も頭部装着型表示装置１００側に設けられることになる。
【００９４】
また、以上の本実施形態は、上述してきた入力システムを含む情報端末装置２００に関係する。
【００９５】
これにより、情報端末装置２００側に本実施形態にかかる入力システムの処理を行わせることが可能になる。具体的には、図１において、頭部装着型表示装置１００側に設けられていた頭部方向検出部１３０が情報端末装置２００側に設けられ、端末方向検出部２１０とあわせてセンサ情報取得部に相当することになる。また、記憶部２２０及び処理部２３０が情報端末装置２００側に設けられるのは図１と同様である。
【００９６】
また、以上の本実施形態は、センサ情報取得部（頭部方向検出部１３０及び端末方向検出部２１０に相当）と、基準値情報を記憶する記憶部２２０と、処理部２３０としてコンピュータを機能させるプログラムに関係する。センサ情報取得部は、頭部装着型表示装置１００に設けられた第１のセンサからの第１のセンサ情報と、情報端末装置２００に設けられた第２のセンサからの第２のセンサ情報を取得する。記憶部２２０は、基準値情報として第１のセンサ情報及び第２のセンサ情報の基準値に関する情報を記憶する。処理部２３０は、基準値情報、第１のセンサ情報及び第２のセンサ情報に基づいて、頭部装着型表示装置１００の方向情報である第１の方向情報と、情報端末装置２００の方向情報である第２の方向情報とを取得し、取得した方向情報に基づいてユーザの入力情報を求める。
【００９７】
これにより、上述してきた入力システムにおける処理をソフトウェア的に実行するプログラムを実現することが可能になる。そして、上記プログラムは、情報記憶媒体２５０に記録される。ここで、情報記憶媒体２５０としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリーやＲＡＭ等のメモリーなど、情報処理装置等によって読み取り可能な種々の記録媒体を想定できる。例えば、図７に示したように、情報端末装置２００等の情報処理装置によって読み取り可能な種々の記録媒体にプログラムが記憶され、処理部２３０において実行されるケースが考えられる。
【００９８】
３．第２の実施形態
鉛直方向での頭部の動きに対応したメニュー項目選択処理について説明する。具体的には、システム構成例を説明した後、頭部装着型表示装置の表示部に表示される画面の例について説明し、最後にフローチャートを用いて処理の詳細について説明する。
【００９９】
３．１ システム構成例
本実施形態に係る入力システムを含む頭部装着型表示装置１００及び情報端末装置２００の構成例は図１に示したとおりであり、第１の実施形態と同様であるため詳細な説明は省略する。
【０１００】
３．２ 選択メニュー画面の例
図５に、本実施形態で用いられる選択メニュー画面の例を示す。図５に示したように鉛直方向（上下方向）に選択項目が配置され、ユーザの上下方向での頭部の動きにより項目を選択する点以外は、図２を用いて上述した第１の実施形態と同様である。
【０１０１】
３．３ 処理の詳細
本実施形態の処理の詳細を図６のフローチャートに示す。Ｓ２０１〜Ｓ２１０は第１の実施形態のＳ１０１〜Ｓ１１０に対応し、項目の選択が頭部の上下方向の動きにより行われ（Ｓ２０５，Ｓ２０６）、選択項目の確定処理が頭部の右方向の動きによって行われる（Ｓ２０９）点が異なるのみである。
【０１０２】
ただし、どのメニュー項目を選択するか決定する処理については方位センサを用いないため、第１の実施形態とは異なる。例として、方向情報が０〜２５５の値を取る仰角センサのセンサ値として取得される場合を考える。頭部或いは端末の上面が垂直上方向を向いている場合に値が２５５になり、垂直下方向を向いている場合に値が０になる。この場合、基準値情報に含まれる頭部方向の値をＡｈ、基準値情報に含まれる端末方向の値をＡｍ、頭部方向検出部１３０で検出された現在の頭部方向の値をＡｈ’、端末方向検出部２１０で検出された現在の端末方向の値をＡｍ’とすると、評価値Δは下式（３）で与えられる。
【０１０３】
Δ＝（Ａｈ’−Ａｈ）−（Ａｍ’−Ａｍ） ・・・・・（３）
【０１０４】
仰角センサは、第１の実施形態で述べた方位センサとは異なり周期境界値を取らないため、上述した式（２）のような処理は必要ない。Δが０の時が正面を向いているときであるから、メニュー項目のうちの中央に位置するものを選択することになる。Δが正又は負にある程度の値を持ったときは、上下いずれかに位置するメニュー項目を選択すればよい。どの値でどのメニュー項目を選択するかは、メニュー項目の数や、角度範囲の割り振り等による。
【０１０５】
また、Ｓ２１１〜Ｓ２１４は第１の実施形態のＳ１１１〜Ｓ１１４に対応し、図４（Ａ）〜図４（Ｃ）を用いて上述したような、端末の状態の変化を判定し適宜初期化処理を行う点は同様である。
【０１０６】
以上の本実施形態では、第１のセンサは頭部装着型表示装置１００に設けられた第１の仰角センサであり、第２のセンサは情報端末装置２００に設けられた第２の仰角センサであってもよい。そして、センサ情報取得部は、第１のセンサ情報として頭部装着型表示装置１００の仰角情報である第１の仰角情報を取得するとともに、第２のセンサ情報として情報端末装置２００の仰角情報である第２の仰角情報を取得する。処理部２３０は、第１の仰角情報と第２の仰角情報の差分を表す情報である仰角差情報に基づいて入力情報を求めてもよい。
【０１０７】
これにより、上述したように、センサとして仰角センサを用いることが可能になる。この場合鉛直方向での頭部及び体（厳密には情報端末装置２００）の方向を検出することが可能になるため、鉛直方向での頭部の相対的な動きを検出することができる。よって、図５に示したように鉛直方向（上下方向）にアイコンが並んで表示される選択メニュー画面における頭部による操作が可能になる。
【０１０８】
また、頭部装着型表示装置１００は、鉛直方向に沿って複数のアイコンが並んで表示される選択メニュー画面を表示する表示部１１０を含んでもよい。そして、処理部２３０は、鉛直方向に沿った方向における仰角差が所与の閾値よりも大きいと判断された場合に、選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行う。また、頭部装着型表示装置１００の方位情報と情報端末装置２００の方位情報の差分を表す情報を方位差情報とした場合に、水平方向における方位差（方位差情報により表される値）が所与の閾値よりも大きいと判断された場合に、選択されるアイコンの確定処理を行ってもよい。
【０１０９】
これにより、図５に示したようなメニュー画面の表示及び項目の選択が可能になる。また、本実施形態において上述したように水平方向での頭部の動きにより確定操作を行うことも可能になる。上述したフローチャートでは右方向の動きのみを挙げていたがそれに限定されるものではなく、ここでは左方向における頭部の動きでも確定動作を行えるものとする。
【０１１０】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１１１】
１００ 頭部装着型表示装置、１１０ 表示部、１２０ 操作部、
１３０ 頭部方向検出部、１４０ 通信部、２００ 情報端末装置、
２１０ 端末方向検出部、２２０ 記憶部、２３０ 処理部、２４０ 通信部、
２５０ 情報記憶媒体
【特許請求の範囲】
【請求項１】
頭部装着型表示装置に設けられた第１のセンサからの第１のセンサ情報と、前記頭部装着型表示装置と通信接続を行う情報端末装置に設けられた第２のセンサからの第２のセンサ情報を取得するセンサ情報取得部と、
前記第１のセンサ情報及び前記第２のセンサ情報の基準値に関する情報である基準値情報を記憶する記憶部と、
前記基準値情報、前記第１のセンサ情報及び前記第２のセンサ情報に基づいて、前記頭部装着型表示装置の方向情報である第１の方向情報及び前記情報端末装置の方向情報である第２の方向情報を取得し、取得した前記第１の方向情報及び前記第２の方向情報に基づいてユーザの入力情報を求める処理部と、
を含むことを特徴とする入力システム。
【請求項２】
請求項１において、
前記記憶部は、
前記処理部により初期化タイミングであると判定された際に前記センサ情報取得部により取得された前記第１のセンサ情報及び前記第２のセンサ情報を、前記基準値情報として記憶することを特徴とする入力システム。
【請求項３】
請求項２において、
前記処理部は、
前記記憶部に前記基準値情報が記憶された第１のタイミングでの前記情報端末装置の状態である第１の状態での第１の状態情報と、今回の判定タイミングである第２のタイミングでの前記情報端末装置の状態である第２の状態での第２の状態情報との比較処理を行い、前記比較処理により前記情報端末装置の状態が変化したと判定された場合に、前記第２のタイミングを前記初期化タイミングであると判定することを特徴とする入力システム。
【請求項４】
請求項３において、
前記処理部は、
前記情報端末装置に設けられた加速度センサにより、前記第１の状態情報として、前記第１のタイミングでの重力方向に対する前記情報端末装置の傾きに関する情報である第１の傾き情報を取得するとともに、前記第２の状態情報として、前記第２のタイミングでの前記重力方向に対する前記情報端末装置の傾きに関する情報である第２の傾き情報を取得し、前記第１の傾き情報と前記第２の傾き情報の比較処理を行い、前記比較処理により前記情報端末装置の状態が変化したと判定された場合に、前記第２のタイミングを前記初期化タイミングであると判定することを特徴とする入力システム。
【請求項５】
請求項４において、
前記処理部は、
前記情報端末装置を構成する第１〜第Ｎ（Ｎは２以上の整数）の面のうち第ｉ（ｉは１≦ｉ≦Ｎの整数）の面が基準方向に向いていると、前記第１の傾き情報に基づき判定され、且つ、前記第１〜第Ｎの面のうち第ｊ（ｊは１≦ｊ≦Ｎ、ｉ≠ｊの整数）の面が前記基準方向に向いていると、前記第２の傾き情報に基づき判定された場合に、前記情報端末装置の状態が変化したと判定し、前記第２のタイミングを前記初期化タイミングであると判定することを特徴とする入力システム。
【請求項６】
請求項２において、
前記処理部は、
前記ユーザにより初期化操作が行われたタイミングを前記初期化タイミングと判定することを特徴とする入力システム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記頭部装着型表示装置は、
第１の方向に沿って、複数のアイコンが並んで表示される選択メニュー画面を表示する表示部を含み、
前記処理部は、
前記第１の方向に沿った方向における、前記第２の方向情報に対する前記第１の方向情報の変化量が所与の閾値よりも大きいと判断された場合に、前記選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行うことを特徴とする入力システム。
【請求項８】
請求項７において、
前記処理部は、
前記第１の方向とは異なる第２の方向における、前記第２の方向情報に対する前記第１の方向情報の変化量が所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行うことを特徴とする入力システム。
【請求項９】
請求項１乃至６のいずれかにおいて、
前記第１のセンサは前記頭部装着型表示装置に設けられた第１の方位センサであり、前記第２のセンサは前記情報端末装置に設けられた第２の方位センサであって、
前記センサ情報取得部は、
第１のセンサ情報として前記頭部装着型表示装置の方位情報である第１の方位情報を取得するとともに、前記第２のセンサ情報として前記情報端末装置の方位情報である第２の方位情報を取得し、
前記処理部は、
前記第１の方位情報と前記第２の方位情報との差分を表す情報である方位差情報に基づいて、前記入力情報を求めることを特徴とする入力システム。
【請求項１０】
請求項９において、
前記頭部装着型表示装置は、
前記水平方向に沿って、複数のアイコンが並んで表示される選択メニュー画面を表示する表示部を含み、
前記処理部は、
前記水平方向に沿った方向における、前記方位差情報により表される方位差が所与の閾値よりも大きいと判断された場合に、前記選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行うことを特徴とする入力システム。
【請求項１１】
請求項１０において、
前記処理部は、
前記頭部装着型表示装置の仰角情報と前記情報端末装置の仰角情報との差分を表す情報を、仰角差情報とした場合に、鉛直方向における、前記仰角差情報により表される仰角差が所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行うことを特徴とする入力システム。
【請求項１２】
請求項１乃至６のいずれかにおいて、
前記第１のセンサは前記頭部装着型表示装置に設けられた第１の仰角センサであり、前記第２のセンサは前記情報端末装置に設けられた第２の仰角センサであって、
前記センサ情報取得部は、
第１のセンサ情報として前記頭部装着型表示装置の仰角情報である第１の仰角情報を取得するとともに、前記第２のセンサ情報として前記情報端末装置の仰角情報である第２の仰角情報を取得し、
前記処理部は、
前記第１の仰角情報と前記第２の仰角情報との差分を表す情報である仰角差情報に基づいて、前記入力情報を求めることを特徴とする入力システム。
【請求項１３】
請求項１２において、
前記頭部装着型表示装置は、
前記鉛直方向に沿って、複数のアイコンが並んで表示される選択メニュー画面を表示する表示部を含み、
前記処理部は、
前記鉛直方向に沿った方向における、前記仰角差情報により表される仰角差が所与の閾値よりも大きいと判断された場合に、前記選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行うことを特徴とする入力システム。
【請求項１４】
請求項１３において、
前記処理部は、
前記頭部装着型表示装置の方位情報と前記情報端末装置の方位情報との差分を表す情報を、方位差情報とした場合に、水平方向における、前記方位差情報により表される方位差が所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行うことを特徴とする入力システム。
【請求項１５】
請求項１乃至１４のいずれかに記載の入力システムを含むことを特徴とする頭部装着型表示装置。
【請求項１６】
請求項１乃至１４のいずれかに記載の入力システムを含むことを特徴とする情報端末装置。
【請求項１７】
頭部装着型表示装置に設けられた第１のセンサからの第１のセンサ情報と、前記頭部装着型表示装置と通信接続を行う情報端末装置に設けられた第２のセンサからの第２のセンサ情報を取得するセンサ情報取得部と、
前記第１のセンサ情報及び前記第２のセンサ情報の基準値に関する情報である基準値情報を記憶する記憶部と、
前記基準値情報、前記第１のセンサ情報及び前記第２のセンサ情報に基づいて、前記頭部装着型表示装置の方向情報である第１の方向情報及び前記情報端末装置の方向情報である第２の方向情報を取得し、取得した前記第１の方向情報及び前記第２の方向情報に基づいてユーザの入力情報を求める処理部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１】
頭部装着型表示装置に設けられた第１のセンサからの第１のセンサ情報と、前記頭部装着型表示装置と通信接続を行う情報端末装置に設けられた第２のセンサからの第２のセンサ情報を取得するセンサ情報取得部と、
前記第１のセンサ情報及び前記第２のセンサ情報の基準値に関する情報である基準値情報を記憶する記憶部と、
前記基準値情報、前記第１のセンサ情報及び前記第２のセンサ情報に基づいて、前記頭部装着型表示装置の方向情報である第１の方向情報及び前記情報端末装置の方向情報である第２の方向情報を取得し、取得した前記第１の方向情報及び前記第２の方向情報に基づいてユーザの入力情報を求める処理部と、
を含むことを特徴とする入力システム。
【請求項２】
請求項１において、
前記記憶部は、
前記処理部により初期化タイミングであると判定された際に前記センサ情報取得部により取得された前記第１のセンサ情報及び前記第２のセンサ情報を、前記基準値情報として記憶することを特徴とする入力システム。
【請求項３】
請求項２において、
前記処理部は、
前記記憶部に前記基準値情報が記憶された第１のタイミングでの前記情報端末装置の状態である第１の状態での第１の状態情報と、今回の判定タイミングである第２のタイミングでの前記情報端末装置の状態である第２の状態での第２の状態情報との比較処理を行い、前記比較処理により前記情報端末装置の状態が変化したと判定された場合に、前記第２のタイミングを前記初期化タイミングであると判定することを特徴とする入力システム。
【請求項４】
請求項３において、
前記処理部は、
前記情報端末装置に設けられた加速度センサにより、前記第１の状態情報として、前記第１のタイミングでの重力方向に対する前記情報端末装置の傾きに関する情報である第１の傾き情報を取得するとともに、前記第２の状態情報として、前記第２のタイミングでの前記重力方向に対する前記情報端末装置の傾きに関する情報である第２の傾き情報を取得し、前記第１の傾き情報と前記第２の傾き情報の比較処理を行い、前記比較処理により前記情報端末装置の状態が変化したと判定された場合に、前記第２のタイミングを前記初期化タイミングであると判定することを特徴とする入力システム。
【請求項５】
請求項４において、
前記処理部は、
前記情報端末装置を構成する第１〜第Ｎ（Ｎは２以上の整数）の面のうち第ｉ（ｉは１≦ｉ≦Ｎの整数）の面が基準方向に向いていると、前記第１の傾き情報に基づき判定され、且つ、前記第１〜第Ｎの面のうち第ｊ（ｊは１≦ｊ≦Ｎ、ｉ≠ｊの整数）の面が前記基準方向に向いていると、前記第２の傾き情報に基づき判定された場合に、前記情報端末装置の状態が変化したと判定し、前記第２のタイミングを前記初期化タイミングであると判定することを特徴とする入力システム。
【請求項６】
請求項２において、
前記処理部は、
前記ユーザにより初期化操作が行われたタイミングを前記初期化タイミングと判定することを特徴とする入力システム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記頭部装着型表示装置は、
第１の方向に沿って、複数のアイコンが並んで表示される選択メニュー画面を表示する表示部を含み、
前記処理部は、
前記第１の方向に沿った方向における、前記第２の方向情報に対する前記第１の方向情報の変化量が所与の閾値よりも大きいと判断された場合に、前記選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行うことを特徴とする入力システム。
【請求項８】
請求項７において、
前記処理部は、
前記第１の方向とは異なる第２の方向における、前記第２の方向情報に対する前記第１の方向情報の変化量が所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行うことを特徴とする入力システム。
【請求項９】
請求項１乃至６のいずれかにおいて、
前記第１のセンサは前記頭部装着型表示装置に設けられた第１の方位センサであり、前記第２のセンサは前記情報端末装置に設けられた第２の方位センサであって、
前記センサ情報取得部は、
第１のセンサ情報として前記頭部装着型表示装置の方位情報である第１の方位情報を取得するとともに、前記第２のセンサ情報として前記情報端末装置の方位情報である第２の方位情報を取得し、
前記処理部は、
前記第１の方位情報と前記第２の方位情報との差分を表す情報である方位差情報に基づいて、前記入力情報を求めることを特徴とする入力システム。
【請求項１０】
請求項９において、
前記頭部装着型表示装置は、
前記水平方向に沿って、複数のアイコンが並んで表示される選択メニュー画面を表示する表示部を含み、
前記処理部は、
前記水平方向に沿った方向における、前記方位差情報により表される方位差が所与の閾値よりも大きいと判断された場合に、前記選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行うことを特徴とする入力システム。
【請求項１１】
請求項１０において、
前記処理部は、
前記頭部装着型表示装置の仰角情報と前記情報端末装置の仰角情報との差分を表す情報を、仰角差情報とした場合に、鉛直方向における、前記仰角差情報により表される仰角差が所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行うことを特徴とする入力システム。
【請求項１２】
請求項１乃至６のいずれかにおいて、
前記第１のセンサは前記頭部装着型表示装置に設けられた第１の仰角センサであり、前記第２のセンサは前記情報端末装置に設けられた第２の仰角センサであって、
前記センサ情報取得部は、
第１のセンサ情報として前記頭部装着型表示装置の仰角情報である第１の仰角情報を取得するとともに、前記第２のセンサ情報として前記情報端末装置の仰角情報である第２の仰角情報を取得し、
前記処理部は、
前記第１の仰角情報と前記第２の仰角情報との差分を表す情報である仰角差情報に基づいて、前記入力情報を求めることを特徴とする入力システム。
【請求項１３】
請求項１２において、
前記頭部装着型表示装置は、
前記鉛直方向に沿って、複数のアイコンが並んで表示される選択メニュー画面を表示する表示部を含み、
前記処理部は、
前記鉛直方向に沿った方向における、前記仰角差情報により表される仰角差が所与の閾値よりも大きいと判断された場合に、前記選択メニュー画面において選択されるアイコンを、前記複数のアイコンのうちの他のアイコンに変更する処理を行うことを特徴とする入力システム。
【請求項１４】
請求項１３において、
前記処理部は、
前記頭部装着型表示装置の方位情報と前記情報端末装置の方位情報との差分を表す情報を、方位差情報とした場合に、水平方向における、前記方位差情報により表される方位差が所与の閾値よりも大きいと判断された場合に、選択されているアイコンの確定処理を行うことを特徴とする入力システム。
【請求項１５】
請求項１乃至１４のいずれかに記載の入力システムを含むことを特徴とする頭部装着型表示装置。
【請求項１６】
請求項１乃至１４のいずれかに記載の入力システムを含むことを特徴とする情報端末装置。
【請求項１７】
頭部装着型表示装置に設けられた第１のセンサからの第１のセンサ情報と、前記頭部装着型表示装置と通信接続を行う情報端末装置に設けられた第２のセンサからの第２のセンサ情報を取得するセンサ情報取得部と、
前記第１のセンサ情報及び前記第２のセンサ情報の基準値に関する情報である基準値情報を記憶する記憶部と、
前記基準値情報、前記第１のセンサ情報及び前記第２のセンサ情報に基づいて、前記頭部装着型表示装置の方向情報である第１の方向情報及び前記情報端末装置の方向情報である第２の方向情報を取得し、取得した前記第１の方向情報及び前記第２の方向情報に基づいてユーザの入力情報を求める処理部として、
コンピュータを機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２５２５６８（Ｐ２０１２−２５２５６８Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２５２３６（Ｐ２０１１−１２５２３６）
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]