文字入力装置，文字入力プログラムおよび文字入力方法
【課題】空間での物体の動作により文字入力を行う場合において，メニュー操作を含む文字入力操作の利便性を向上させる技術を提供する。
【解決手段】例えば，トラッキングデバイス２０が空間で動作するユーザの手のトラッキングを行う場合に，文字入力装置１０の位置情報取得部１１は，ユーザの手の位置情報を取得し，位置情報保持部１４に蓄積する。ポインタ位置決定部１２が，取得した位置情報を画面上のポインタの位置に変換し，ポインタ表示部１３が，画面にポインタを表示する。文字特定部１５は，連続した位置情報による軌跡に対する文字認識で，空間でユーザの手が描いた文字を特定する。メニュー表示部１６は，特定された文字に対応する画面上のポインタの移動軌跡を囲むように，環状メニューを表示する。メニュー選択部１１０は，環状メニューに対するポインタの動作から，環状メニューへの選択操作を判断する。
【解決手段】例えば，トラッキングデバイス２０が空間で動作するユーザの手のトラッキングを行う場合に，文字入力装置１０の位置情報取得部１１は，ユーザの手の位置情報を取得し，位置情報保持部１４に蓄積する。ポインタ位置決定部１２が，取得した位置情報を画面上のポインタの位置に変換し，ポインタ表示部１３が，画面にポインタを表示する。文字特定部１５は，連続した位置情報による軌跡に対する文字認識で，空間でユーザの手が描いた文字を特定する。メニュー表示部１６は，特定された文字に対応する画面上のポインタの移動軌跡を囲むように，環状メニューを表示する。メニュー選択部１１０は，環状メニューに対するポインタの動作から，環状メニューへの選択操作を判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，ユーザによる文字入力を受け付ける文字入力装置，文字入力プログラムおよび文字入力方法に関するものである。
【背景技術】
【０００２】
ユーザが離れた場所から身振りや手振りなどの動作を行うことで情報機器の操作を行う空間ジェスチャの技術において，ユーザが手などで空間に描いた文字を，情報機器が認識して入力する技術がある。例えば，光を反射する器具を用いてユーザが空間に描いた軌跡を検出し，その軌跡から文字認識を行う技術が知られている。この技術では，ユーザは，○や×などの所定の図形を描くことで，画面に表示された認識結果文字の確定／キャンセルを指定する。このような技術によって，ユーザによる直感的な情報機器への文字入力が可能となる。
【０００３】
なお，手を所定の形状にするなどのユーザアクションの認識をトリガとして，画面にメニューを表示し，電子機器を遠隔制御する技術が知られている。また，特定領域に対するポインタの軌跡を検出することで，位置情報以外の意味のある入力を認識する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２３４２７７号公報
【特許文献２】特開平９−１２８１４１号公報
【特許文献３】特開平１０−９１３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
空間操作による文字入力の技術では，誤認識文字の訂正や，文字列の予測入力などをどのように行うかについて，さまざまな課題がある。
【０００６】
例えば，上述の○や×などの所定の図形を描くことで，画面に表示された認識文字の確定／キャンセルを行う技術は，１文字ごとに確定／キャンセルを指定しなければならないので，ユーザにとってわずらわしく，不便である。また，何らかの特別なアクションで画面にメニューを表示する技術も，特別なアクションを覚えなければならない，メニューを開くたびに特別なアクションを行わなければならないなどの問題があり，ユーザにとってわずらわしく，不便である。
【０００７】
画面にメニューを表示しておくにしても，ユーザの空間操作によって画面上に描画された文字の位置がメニューから遠かった場合など，メニューを利用する操作が不便となる。また，表示されたメニューの近くに文字が描画されるように空間操作を行わなければならないとすると，ユーザの自由な空間操作による文字描画が阻害され，ユーザにとってわずらわしく，不便である。
【０００８】
一側面では，本発明は，空間での物体の動作により文字入力を行う場合において，メニュー操作を含む文字入力操作の利便性を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
１態様では，文字入力装置は，空間における特定の物体の位置情報を取得する位置情報取得部と，位置情報を蓄積する位置情報保持部と，位置情報に基づいて表示装置の画面におけるポインタの表示位置を決定するポインタ位置決定部と，決定された表示装置の画面におけるポインタの表示位置にポインタを表示するポインタ表示部と，位置情報保持部に蓄積された位置情報に基づいて特定の物体の移動により描画された文字を特定する文字特定部と，特定された文字に対応するポインタの移動軌跡を囲む環状メニューを表示するメニュー表示部と，環状メニューとポインタとの位置関係に基づいて環状メニューへの選択操作を判断するメニュー選択部とを備える。
【発明の効果】
【００１０】
１態様では，空間での物体の動作によって文字入力を行う場合に，メニュー操作を含む文字入力操作の利便性が向上する。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態による文字入力装置の構成例を示す図である。
【図２】本実施の形態による文字入力装置を実現するコンピュータのハードウェア構成例を示す図である。
【図３】本実施の形態によるユーザの文字入力操作の例を説明する図である。
【図４】本実施の形態による環状メニューの例を示す図である。
【図５】本実施の形態による環状メニューへの操作の例を説明する図である。
【図６】本実施の形態による予測文字列が表示された環状メニューの例を示す図である。
【図７】本実施の形態１の文字入力装置による文字の特定・環状メニュー表示処理フローチャートである。
【図８】本実施の形態の文字入力装置による環状メニュー操作処理フローチャートである。
【図９】本実施の形態の文字入力装置による入力文字列予測処理フローチャートである。
【図１０】本実施の形態の文字入力装置による予測文字列割り当て表示処理フローチャートである。
【図１１】本実施の形態２による環状メニューの表示を説明する図である。
【図１２】本実施の形態２の文字入力装置による文字の特定・環状メニュー表示処理フローチャートである。
【発明を実施するための形態】
【００１２】
以下，本実施の形態について，図を用いて説明する。
【００１３】
図１は，本実施の形態による文字入力装置の構成例を示す図である。
【００１４】
図１に示す文字入力装置１０は，特定の物体の空間での軌跡を認識して，文字入力の処理を行う装置である。特定の物体は，例えば，空間で文字入力を行うユーザの身体の一部や，ユーザが身体に装着する機器などである。文字入力装置１０は，例えば，ユーザが空間で手などを動かすことにより直感的に描かれた文字を認識し，入力する。
【００１５】
文字入力装置１０は，位置情報取得部１１，ポインタ位置決定部１２，ポインタ表示部１３，位置情報保持部１４，文字特定部１５，メニュー表示部１６，文字列保持部１７，文字列予測部１８，予測文字列割り当て部１９，メニュー選択部１１０，メニューリセット部１１１を備える。
【００１６】
位置情報取得部１１は，トラッキングデバイス２０から，空間における特定の物体の位置情報を取得する。トラッキングデバイス２０は，空間に存在する特定の物体を識別し，その動作を追跡する装置である。
【００１７】
ポインタ位置決定部１２は，位置情報取得部１１により取得された位置情報に基づいて，表示装置３０の画面におけるポインタの表示位置を決定する。ポインタ表示部１３は，ポインタ位置決定部１２により決定された表示装置３０の画面における表示位置に，ポインタを表示する。
【００１８】
位置情報取得部１１により取得された位置情報は，位置情報保持部１４に記憶される。位置情報保持部１４は，位置情報取得部１１により取得された位置情報を蓄積して記憶する記憶部である。位置情報取得部１１に蓄積された連続する位置情報が，特定の物体の軌跡の情報となる。
【００１９】
文字特定部１５は，位置情報保持部１４に蓄積された位置情報に基づいて，空間における特定の物体の移動により描画された文字を特定する。このとき，文字特定部１５は，特定の物体の軌跡に対して文字認識を行うことで，空間で描画された文字の特定を行う。文字特定部１５は，字形候補抽出部１５１，文字認識部１５２，認識文字特定部１５３を備える。
【００２０】
字形候補抽出部１５１は，位置情報保持部１４に蓄積された位置情報から，特定の物体の移動により文字が描かれていると推定される部分の軌跡の情報を抽出する。文字認識部１５２は，字形候補抽出部１５１により抽出された軌跡の情報に対して文字認識を行い，認識された文字の確からしさを示す認識確信度を求める。認識文字特定部１５３は，文字認識部１５２による認識文字の中に認識確信度が所定以上の認識文字がある場合に，最大の認識確信度を示す認識文字を，特定の物体の移動により描画された文字と特定する。
【００２１】
メニュー表示部１６は，文字特定部１５により特定された文字に対応するポインタの移動軌跡を囲むように，ユーザによる文字入力を支援する環状メニューを，表示装置３０に表示する。特定された文字に対応するポインタの移動軌跡は，特定された文字が認識されたときの字形候補抽出部１５１により抽出された軌跡に対応するポインタの移動軌跡である。メニュー表示部１６は，メニュー位置決定部１６１を備える。メニュー位置決定部１６１は，環状メニューの表示位置やサイズ等を決定する。
【００２２】
文字列保持部１７は，文字特定部１５により特定された文字を，描画された順に追加記録することで得られる文字列を記憶する記憶部である。文字列予測部１８は，文字列保持部１７に記憶された文字列から，ユーザが入力しようとしている文字列を予測する。予測文字列割り当て部１９は，文字列予測部１８により予測された文字列を，表示装置３０の画面に表示された環状メニューに割り当てる。
【００２３】
メニュー選択部１１０は，表示装置３０の画面上の環状メニューとポインタとの位置関係に基づいて，ユーザによる環状メニューへの選択操作を判断する。環状メニューへの選択操作が判断されると，環状メニューから選択された項目に応じた処理が行われる。メニューリセット部１１１は，表示装置３０の画面上の環状メニューとポインタとの位置関係に応じて，環状メニューを消去する。
【００２４】
本実施の形態の文字入力装置１０によって，空間での物体の動作により文字入力を行う際の，メニュー操作を含む文字入力操作の利便性が向上する。
【００２５】
図２は，本実施の形態による文字入力装置を実現するコンピュータのハードウェア構成例を示す図である。
【００２６】
図１に示す本実施の形態の文字入力装置１０を実現するコンピュータ１は，例えば，ＣＰＵ（Central Processing Unit ）２，主記憶となるメモリ３，記憶装置４，通信装置５，媒体読取・書込装置６，入力装置７，出力装置８等を備える。記憶装置４は，例えばＨＤＤ（Hard Disk Drive ）などである。媒体読取・書込装置６は，例えばＣＤ−Ｒ（Compact Disc Recordable ）ドライブやＤＶＤ−Ｒ（Digital Versatile Disc Recordable ）ドライブなどである。入力装置７は，例えばキーボード・マウスなどである。本実施の形態では，トラッキングデバイス２０を実現するカメラなども入力装置となる。出力装置８は，例えばディスプレイ等の表示装置３０などである。
【００２７】
図１に示す文字入力装置１０および文字入力装置１０が備える各機能部は，コンピュータ１が備えるＣＰＵ２，メモリ３等のハードウェアと，ソフトウェアプログラムとによって実現することが可能である。コンピュータ１が実行可能なプログラムは，記憶装置４に記憶され，その実行時にメモリ３に読み出され，ＣＰＵ２により実行される。
【００２８】
コンピュータ１は，可搬型記録媒体から直接プログラムを読み取り，そのプログラムに従った処理を実行することもできる。また，コンピュータ１は，サーバコンピュータからプログラムが転送されるごとに，逐次，受け取ったプログラムに従った処理を実行することもできる。さらに，このプログラムは，コンピュータ１で読み取り可能な記録媒体に記録しておくことができる。
【００２９】
以下では，本実施の形態の文字入力装置１０による処理について，より具体的な例を示しながら説明を行う。
【００３０】
〔実施の形態１〕
図３は，本実施の形態によるユーザの文字入力操作の例を説明する図である。
【００３１】
図３に示すように，本実施の形態１の例では，表示装置３０から少し離れた位置にいるユーザは，表示装置３０の画面３１に向かった状態で手４０を動かすことで，文字入力操作を行う。本実施の形態１では，ユーザの手４０が，トラッキングデバイス２０による位置取得の対象となる特定の物体である。カメラ２１は，表示装置３０の画面３１の前にいるユーザを撮像する。なお，図３では図示省略されているが，カメラ２１と表示装置３０は，文字入力装置１０を実現するコンピュータ１に接続されている。
【００３２】
カメラ２１としては，例えばＣＣＤ（Charge Coupled Device ）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor ）センサ等の視覚センサを用いて，リアルタイムに映像入力を行える程度の性能が求められる。例えば，市販の一般的なｗｅｂカメラなどでもよい。
【００３３】
表示装置３０としては，本実施の形態の文字入力装置１０による各種表示内容を，十分に映し出せる性能が求められる。例えば，市販の液晶モニタ程度の解像度と表示速度があればよい。表示装置３０は，例えば有機ＥＬ（Electroluminescence ）方式や液晶方式，プロジェクション方式などのいずれの方式であってもよい。
【００３４】
本実施の形態１では，トラッキングデバイス２０は，カメラ２１と，カメラ映像を解析して特定の物体の有無や位置を追跡するソフトウェアとによって実現される。
【００３５】
カメラ映像の中から特定の図形または色分布に似た部分を探索する技術や，カメラ映像において現在のフレームと以前のフレームとを照合し，カメラ映像内の各部がどのように移動したのかを追跡する技術がある。これらの技術を組み合わせることで，カメラ映像に写る特定の物体の追跡が可能となる。例えば，ＯｐｅｎＣＶ（登録商標）と呼ばれるオープンソースソフトウェアライブラリには，これらの機能が標準的に含まれている。
【００３６】
また，映像各部への距離のセンシングが可能な距離画像センサと呼ばれるデバイスがある。距離画像センサを用いれば，立体的に映像を捉えることが可能となり，より高精度なトラッキングが可能となる。
【００３７】
本実施の形態１では，トラッキングデバイス２０によって，ユーザの手４０の位置がトラッキングされる。手４０の部分を高速かつ高精度に抽出することは，一般に困難である。例えば，手４０のひらを常にカメラの方向に向ける，常に手４０を握ったままにする，カメラ２１に対して最も突き出ている肌色の部分を手４０とみなすなどの制限を設けることによって，高速かつ高精度な手４０の抽出が可能となる。
【００３８】
文字入力装置１０において，位置情報取得部１１は，トラッキングデバイス２０から，空間におけるユーザの手４０の位置情報を取得する。位置情報取得部１１で得られる位置情報は，奥行き情報が含まれる３次元座標であってもよいが，本実施の形態では特に必須ではない。本実施の形態では，位置情報取得部１１により，２次元座標が得られるものとする。
【００３９】
ポインタ位置決定部１２は，位置情報取得部１１により取得された位置情報から，表示装置３０の画面３１におけるポインタ５０の表示位置を決定する。例えば，得られた位置情報がカメラ画像上で手４０が写った位置の座標である場合に，ポインタ位置決定部１２は，カメラ画像の中心位置が画面３１の中心位置に，カメラ画像の端の位置が画面３１の端の位置になるように，取得した座標を画面３１上の座標に変換する。変換された画面３１上の座標が，決定されたポインタ５０の表示位置の座標となる。また，ユーザがあらかじめ設定したキャリブレーションに基づいて，トラッキングされる手４０が無理なく動かせる範囲を画面３１に割り当て，取得した位置情報をポインタ５０の表示位置に変換するようにしてもよい。
【００４０】
ポインタ表示部１３は，ポインタ位置決定部１２により決定された表示装置３０の画面３１における表示位置に，ポインタ５０を表示する。図３に示すように，空間上でのユーザの手４０の位置に対応する画面３１の表示位置にポインタ５０が表示され，空間上でのユーザの手４０の移動に追従して，画面３１上のポインタ５０も移動する。なお，図３に示す例では，ポインタ５０の移動軌跡が画面３１に表示されているが，ポインタ５０の移動軌跡を画面３１上に表示するか否かの設計は，任意である。
【００４１】
位置情報保持部１４は，位置情報取得部１１により得られた位置情報を蓄積する。位置情報取得部１１により取得された位置情報を時系列に並べた情報は，ユーザの手４０の移動軌跡の情報となる。すなわち，位置情報保持部１４に蓄積された位置情報は，ユーザの手４０の移動軌跡の情報であるともいえる。
【００４２】
位置情報保持部１４に蓄積される位置情報は，例えば，文字認識により所定以上の認識確信度を満たす文字が得られるまでか，位置情報保持部１４に割り当てられた記憶領域がいっぱいになるまで，保持される。位置情報保持部１４に割り当てられた記憶領域がいっぱいになった場合には，古い位置情報から消去され，新しい位置情報を蓄積できる領域が空けられる。仮に毎秒２０回の位置情報の取得が行われ，ユーザが空間上に１文字を書くのに要する時間の最大値が３秒であるものとすれば，位置情報保持部１４として，２０×３＝６０個分以上の位置情報を記憶できる領域があればよい。
【００４３】
文字特定部１５において，字形候補抽出部１５１は，位置情報保持部１４に蓄積されたユーザの手４０の移動軌跡の情報から，文字と推定される部分を抽出する。ここでは，字形候補抽出部１５１により抽出された，文字と推定される部分の軌跡を，字形候補と呼ぶ。字形候補の抽出は，例えば，ユーザの手４０の軌跡を構成する座標点の位置関係や軌跡の方向変化，軌跡のサイズ，停留時間などに基づいて行うことができる。
【００４４】
例えば，文字は，通常，上から下に，左から右に向かって書かれるので，軌跡が大きく下から上へ，右から左へと移動している部分は，次の文字を書き始める直前の運筆である可能性が高い。したがって，そのような運筆部分の直前の部分は，文字の書き終わりである可能性が高いと考えられ，直後の部分は文字の書き始めである可能性が高いと考えられる。また，文字の書き始めや文字の書き終わりの部分では，軌跡の停留が起こることも多いので，停留部分を文字の区切り候補として抽出することもできる。
【００４５】
また，文字の書き始めの点の候補と文字の書き終わりの点の候補の中で，それらの点の間に挟まれた区間の軌跡が小さ過ぎる場合や大き過ぎる場合には，その区間の軌跡が文字ではないと推定できる。軌跡の大きさのしきい値は，例えば，何人かの被験者に，それぞれにとって自然な大きさで空中手書き文字入力をしてもらい，採集された文字サイズの平均値と標準偏差とから，一定の信頼区間を取って決める方法が考えられる。
【００４６】
文字特定部１５において，文字認識部１５２は，字形候補抽出部１５１により抽出された字形候補に対して文字認識を行い，文字としての確からしさを得る。本実施の形態では，文字認識により得られる文字としての確からしさを，認識確信度と呼ぶ。例えば，文字認識部１５２は，抽出された字形候補のパターンと，あらかじめ登録された各文字のテンプレートパターンとを照合し，パターン間の類似度を得る。ここでは，照合により得られた類似度が，認識確信度となる。
【００４７】
文字特定部１５において，認識文字特定部１５３は，文字認識部１５２での文字認識により所定以上の類似度が得られた場合に，最大の類似度が得られた字形候補について，その認識文字を，ユーザの手４０により空間に描画された文字として特定する。
【００４８】
なお，文字特定部１５は，文字が特定された際に，字形候補を抽出する対象の連続する位置情報すなわちユーザの手４０の移動軌跡をリセットする。ここでのリセットとは，字形候補を抽出する対象のユーザの手４０の移動軌跡を，文字が特定された字形候補より後のユーザの手４０の移動軌跡に更新することをいう。リセットの方法としては，例えば，位置情報保持部１４から文字が特定された字形候補の最後の点までの位置情報を削除する，次の字形候補を抽出する対象の連続する位置情報の開始位置を，文字が特定された字形候補の次の位置情報にするなどの方法が考えられる。
【００４９】
文字特定部１５は，文字列保持部１７に保持される文字列に，文字認識により特定された文字を追加する。ここでは，文字列保持部１７に保持される文字列を未確定文字列と呼ぶ。未確定文字列は，かな漢字変換や予測入力，文字入力対象のアプリケーションソフトウェアへの文字列送出を行う前の段階の入力文字列を指す。
【００５０】
文字列予測部１８は，文字列保持部１７に記憶された未確定文字列から，ユーザが入力しようとしている文字列を予測する。例えば，文字列予測部１８は，図１に示す構成では図示省略された文字列辞書から，未確定文字列の音で始まる文字列を抽出する。本実施の形態の文字列予測部１８による入力文字列の予測機能は，携帯電話等に搭載されている文字列の予測入力機能などと同様の機能である。ここでは，文字列予測部１８により予測される入力文字列を，予測文字列と呼ぶ。
【００５１】
メニュー表示部１６は，文字特定部１５により文字が特定されたときに，特定された文字に対応するポインタ５０の移動軌跡を取り囲むように，環状メニューを表示する。なお，ここでは，特定された文字に対応するポインタ５０の移動軌跡を，字形軌跡と呼ぶ。
【００５２】
図４は，本実施の形態による環状メニューの例を示す図である。
【００５３】
文字特定部１５により文字が特定されたときには，表示装置３０の画面３１において，図４に示すように，字形軌跡５１を囲むように，環状メニュー６０が表示される。図４に示す例では，環状メニュー６０の領域の内側の領域上部に，文字特定部１５により特定された文字として「な」が表示されている。
【００５４】
環状メニュー６０の表示位置やサイズは，メニュー位置決定部１６１により求められる。メニュー位置決定部１６１は，文字特定部１５により文字が特定されたときに，特定された文字に対応するポインタ５０の移動軌跡，すなわち字形軌跡５１の位置とサイズとに基づいて，環状メニュー６０の表示位置とサイズとを決定する。
【００５５】
環状メニュー６０の位置を求める方法としては，例えば，字形軌跡５１の重心の座標を環状メニュー６０の中心座標とする方法や，字形軌跡５１の外接矩形の中心座標を環状メニュー６０の中心座標とする方法などが考えられる。環状メニュー６０のサイズとして半径を求める方法としては，例えば，環状メニュー６０の中心座標と字形軌跡５１を構成する点の各座標との距離の最大値に一定値を乗じて求める方法や，字形軌跡５１の外接矩形の対角線の長さに一定値を乗じて求める方法などが考えられる。ここでの環状メニュー６０の半径は，図４に示す環状メニュー６０における内側の円の半径である。
【００５６】
このように，環状メニュー６０の表示位置とサイズの様々な有効な計算方法が考えられる。メニュー位置決定部１６１は，外観的に字形軌跡５１をある程度の余裕を持った大きさで囲うように環状メニュー６０が表示されるように，環状メニュー６０の表示位置とサイズとを決定する。
【００５７】
メニュー表示部１６は，メニュー位置決定部１６１によって求められた位置とサイズとに基づいて，環状メニュー６０を表示装置３０の画面３１に表示する。図４では，環状メニュー６０として，円形状の環状メニュー６０の例が示されているが，字形軌跡５１を囲む環状メニュー６０であれば，多角形などの他の形状の環状メニュー６０であってもよい。
【００５８】
なお，図４に示す例では，環状メニュー６０の表示に合わせて，邪魔にならない位置に，未確定文字列や予測文字列が表示されている。図４に示す例において，文字列表示部６１は，文字列保持部１７に保持された未確定文字列の表示欄である。また，予測文字列表示部６２は，文字列予測部１８により得られた予測文字列の表示欄である。
【００５９】
環状メニュー６０に表示する項目としては，例えば，特定された文字以外の他の認識文字の候補や，各種編集機能，予測文字列選択などの項目がある。
【００６０】
図４に示す環状メニュー６０において，「た」，「る」，「ま」と表示された項目は，文字「な」が特定された字形候補の他の認識文字の候補が提示された項目である。これらの項目が環状メニュー６０から選択された場合には，特定された文字が選択された項目の文字に置き換えられる。
【００６１】
図４に示す環状メニュー６０において，「改行」，「クリア」，「編集」と表示された項目は，各種編集機能の項目である。例えば，「改行」は，未確定文字列を確定する場合などに用いられる編集機能である。「クリア」は，未確定文字列をバックスペースで１文字消去する場合などに用いられる編集機能である。「編集」は，文字のコピーなどの編集で用いられる編集機能である。
【００６２】
図４に示す環状メニュー６０において，「予測選択」は，予測文字列選択の項目である。「予測選択」の項目が環状メニュー６０から選択された場合には，予測文字列を選択する環状メニュー６０への移行が行われる。
【００６３】
ユーザは，空間で手４０を動かすことによりポインタ５０を動かし，環状メニュー６０の項目を選択する操作を行う。なお，ユーザは，環状メニュー６０の項目を選択せずに，続けて次の文字を入力することも可能である。例えば，ユーザが，環状メニュー６０の領域の内側の領域内で，字形軌跡５１に重ねる形でポインタ５０を操作すると，文字入力装置１０は，前の字形軌跡５１を消去して，次の文字入力の処理に写る。
【００６４】
図５は，本実施の形態による環状メニューへの操作の例を説明する図である。
【００６５】
メニュー選択部１１０は，環状メニュー６０とポインタ５０の位置関係に基いて，メニュー選択の処理を行う。メニュー選択部１１０は，ユーザによる環状メニュー６０への選択操作があったと判断される場合に，環状メニュー６０から選択された項目に応じた処理を行う。
【００６６】
例えば，ポインタ５０が環状メニュー６０の項目の１つに入った瞬間，または一定時間以上同じ項目内にポインタ５０が留まっていることをトリガとして，メニュー選択の処理を行う方法が考えられる。
【００６７】
また，図５（Ａ）には，ユーザによる環状メニュー６０への選択操作の例が示されている。図５（Ａ）に示す例では，ユーザは，空間で手４０を動かすことで，画面３１上のポインタ５０を，環状メニュー６０の領域の内側の領域から環状メニュー６０の目的の項目の領域に移動させ，さらに環状メニュー６０の領域の内側の領域に移動させる操作を行う。メニュー選択部１１０は，所定時間以内に，ポインタ５０が内側の領域から環状メニュー６０の領域に移動し，さらに内側の領域に移動した場合に，環状メニュー６０への選択操作があったと判断する。
【００６８】
図５（Ａ）に示すポインタ５０の動作で，環状メニュー６０への選択操作を判断することにより，メニュー選択操作に待機時間が不要となり，不用意に環状メニュー６０の外側にポインタ５０を動かすことによるメニュー選択の誤操作を防ぐことができる。
【００６９】
図５（Ｂ）には，ユーザによるメニューリセット操作の例が示されている。例えば，表示された環状メニュー６０を消去したいユーザは，空間で手４０を動かすことで，画面３１上のポインタ５０を，環状メニュー６０の領域の内側の領域から外側の領域に移動し，停留させる。メニューリセット部１１１は，ポインタ５０が，所定時間以上，環状メニュー６０の領域，または環状メニュー６０の領域の外側の領域にあるときに，環状メニュー６０を消去する。
【００７０】
画面３１上での文字の筆記位置を大きく移動させたい場合などに，環状メニュー６０が邪魔になることもあるため，図５（Ｂ）に示すような環状メニュー６０を手軽に消去する操作は，有効である。
【００７１】
図６は，本実施の形態による予測文字列が表示された環状メニューの例を示す図である。
【００７２】
例えば，図４に示す環状メニューにおいて，図５（Ａ）に示す選択操作により，「予測選択」の項目が選択されたものとする。このとき，予測文字列割り当て部１９は，図６に示すように，文字列予測部１８により得られた各予測文字列を，環状メニュー６０上の項目に割り当てる。このように，予測文字列を環状メニュー６０の項目に割り当てることにより，ユーザは，環状メニュー６０への選択操作で，容易に予測文字列を選択することができる。
【００７３】
なお，図６に示す環状メニュー６０において，「戻る」の項目が選択されると，画面３１上の環状メニュー６０が，図４に示す環状メニュー６０に戻る。
【００７４】
図７は，本実施の形態１の文字入力装置による文字の特定・環状メニュー表示処理フローチャートである。
【００７５】
文字入力装置１０において，位置情報取得部１１は，トラッキングデバイス２０から，空間におけるユーザの手４０の位置情報を取得する（ステップＳ１０）。
【００７６】
ポインタ位置決定部１２は，取得された位置情報から，表示装置３０の画面３１におけるポインタ５０の表示位置を決定する（ステップＳ１１）。ポインタ表示部１３は，決定された表示装置３０の画面３１上の表示位置に，ポインタ５０を表示する（ステップＳ１２）。
【００７７】
文字入力装置１０は，取得した位置情報を，位置情報保持部１４に追加記録する（ステップＳ１３）。字形候補を抽出する対象のユーザの手４０の移動軌跡の情報に，取得した位置情報が追加される。
【００７８】
文字特定部１５において，字形候補抽出部１５１は，位置情報保持部１４に記憶された連続する位置情報，すなわちユーザの手４０の移動軌跡の情報から，字形候補を抽出する（ステップＳ１４）。文字認識部１５２は，抽出された字形候補に対する文字認識を行う（ステップＳ１５）。字形候補に対する文字認識により，認識された文字の認識確信度が得られる。認識文字特定部１５３は，認識確信度が所定以上であるかを判定する（ステップＳ１６）。認識確信度が所定以上でなければ（ステップＳ１６のＮＯ），文字入力装置１０は，ステップＳ１０の処理に戻り，次のユーザの手４０の位置情報の取得を行う。
【００７９】
認識確信度が所定以上であれば（ステップＳ１６のＹＥＳ），字形候補に対する文字認識により認識された文字を，ユーザの手４０の移動により描画された文字として特定する（ステップＳ１７）。文字特定部１５は，字形候補を抽出する対象の連続する位置情報をリセットする（ステップＳ１８）。
【００８０】
メニュー位置決定部１６１は，字形軌跡５１すなわち特定された文字に対応するポインタ５０の移動軌跡の位置とサイズとから，字形軌跡５１を囲むように表示する環状メニュー６０の表示位置とサイズとを決定する（ステップＳ１９）。メニュー表示部１６は，決定された表示位置に，決定されたサイズの環状メニュー６０を表示する（ステップＳ２０）。文字入力装置１０は，ステップＳ１０の処理に戻り，次のユーザの手４０の位置情報の取得を行う。
【００８１】
このように，ユーザによる文字入力操作によって画面３１上に描かれた字形軌跡５１を囲む環状メニュー６０を自動表示することで，文字入力操作からメニュー操作への移行が容易になる。また，環状メニュー６０の領域の内側に領域が確保できるため，次の文字を描くスペースが保障される。
【００８２】
図８は，本実施の形態の文字入力装置による環状メニュー操作処理フローチャートである。
【００８３】
図８に示す環状メニュー操作処理は，図７のステップＳ２０で表示装置３０の画面３１に環状メニュー６０が表示された際に行われる処理の例である。
【００８４】
表示装置３０の画面３１に環状メニュー６０が表示されると（図７のステップＳ２０），文字入力装置１０は，ポインタ５０の移動軌跡を取得する（ステップＳ３０）。ポインタ５０の移動軌跡は，ポインタ位置決定部１２により求められたポインタ５０の表示位置の情報を蓄積記録しておいてもよいし，位置情報保持部１４に保持された直近の連続する位置情報から求めるようにしてもよい。ここでは，環状メニュー６０への選択操作の判定や環状メニュー６０の消去の判定に必要な時間分のポインタ５０の移動軌跡が得られればよい。
【００８５】
メニュー選択部１１０は，所定時間内に，ポインタ５０が環状メニュー６０の領域の内側の領域から環状メニュー６０の領域に移動し，さらに環状メニュー６０の領域の内側の領域に移動したかを判定する（ステップＳ３１）。
【００８６】
ポインタ５０が，内側領域から環状メニュー６０の領域へ，さらに内側領域へと移動していれば（ステップＳ３１のＹＥＳ），メニュー選択部１１０は，環状メニュー６０への選択操作があったと判断する（ステップＳ３２）。メニュー選択部１１０は，環状メニュー６０への選択された項目に応じた処理を実行する（ステップＳ３３）。文字入力装置１０は，ステップＳ３６の処理に進む。
【００８７】
ポインタ５０が，内側領域から環状メニュー６０の領域へ，さらに内側領域へと移動していなければ（ステップＳ３１のＮＯ），メニューリセット部１１１は，ポインタ５０が環状メニュー６０の領域や外側領域に所定時間以上あるかを判定する（ステップＳ３４）。ポインタ５０が環状メニュー６０の領域や外側領域に所定時間以上なければ（ステップＳ３４のＮＯ），文字入力装置１０は，ステップＳ３７の処理に進む。
【００８８】
ポインタ５０が環状メニュー６０の領域や外側領域に所定時間以上あれば（ステップＳ３４のＹＥＳ），メニューリセット部１１１は，環状メニュー６０を画面３１から消去する（ステップＳ３５）。文字入力装置１０は，ステップＳ３６の処理に進む。
【００８９】
文字入力装置１０は，ポインタ５０の移動軌跡をリセットする（ステップＳ３６）。ここでのリセットは，その後の文字入力操作や環状メニュー６０への操作の判定の対象となる軌跡を，ステップＳ３１やステップＳ３４でＹＥＳと判定されたポインタ５０の移動軌跡より後の軌跡に更新することをいう。例えば，文字入力装置１０は，字形候補の対象となる軌跡の開始位置を，ステップＳ３１やステップＳ３４でＹＥＳと判定されたポインタ５０の移動軌跡の次の点に対応する位置に設定するなどの処理を行う。
【００９０】
文字入力装置１０は，表示装置３０の画面３１に環状メニュー６０が表示されているかを判定する（ステップＳ３７）。環状メニュー６０が表示されていれば（ステップＳ３７のＹＥＳ），文字入力装置１０は，ステップＳ３０の処理に戻る。環状メニュー６０が表示されていなければ（ステップＳ３７のＮＯ），文字入力装置１０は，環状メニュー操作処理を終了する。
【００９１】
図９は，本実施の形態の文字入力装置による入力文字列予測処理フローチャートである。
【００９２】
図９に示す入力文字列予測処理は，図７のステップＳ１７でユーザの手４０が空間に描いた文字が特定された際に行われる処理の例である。
【００９３】
文字が特定されると（図７のステップＳ１７），文字特定部１５は，特定された文字を，文字列保持部１７に記憶された未確定文字列に追加する（ステップＳ４０）。文字入力装置１０は，文字列保持部１７に記憶された未確定文字列を，表示装置３０の画面３１の文字列表示部６１に表示する（ステップＳ４１）。
【００９４】
文字列予測部１８は，文字列保持部１７に記憶された未確定文字列から，ユーザが入力しようとしている文字列を予測する（ステップＳ４２）。文字列予測部１８は，得られた各予測文字列を，表示装置３０の画面３１の予測文字列表示部６２に表示する（ステップＳ４３）。
【００９５】
図１０は，本実施の形態の文字入力装置による予測文字列割り当て表示処理フローチャートである。
【００９６】
図１０に示す環状メニュー操作処理は，図８に示す環状メニュー操作処理で，環状メニュー６０から「予測選択」の項目が選択されたと判断された際に行われる処理の例である。
【００９７】
環状メニュー６０から「予測選択」の項目が選択されると，予測文字列割り当て部１９は，文字列予測部１８により得られた各予測文字列の，環状メニュー６０の各項目への割り当てを行う（ステップＳ５０）。メニュー表示部１６は，各予測文字列の割り当てに従って，環状メニュー６０の各項目の表示を変更する（ステップＳ５１）。
【００９８】
〔実施の形態２〕
上述の実施の形態１の例では，ユーザが手４０を動かすことで画面３１上の任意の位置に描いた字形軌跡５１に応じて，表示される環状メニュー６０の表示位置とサイズとを決定している。これに対して，以下で説明する本実施の形態２の例では，環状メニュー６０を画面３１上の一定位置に一定サイズで表示し，その環状メニュー６０の領域の内側の領域に，ユーザが任意の位置で手４０を動かして画面３１上で移動させるポインタ５０の表示位置を変換する。上述の実施の形態１と本実施の形態２とでは，アプローチの仕方は異なるが，ユーザが空間で手４０を動かすことにより画面３１上に描いた文字の周囲に環状メニュー６０が表示されるという点で，結果が一致する。
【００９９】
本実施の形態２では，図１に示す文字入力装置１０における各機能部の動作は，上述の実施の形態１とほぼ同様である。文字入力装置１０において，上述の実施の形態１と本実施の形態２とで大きく動作が異なるのは，ポインタ位置決定部１２の動作と，メニュー表示部１６の動作とである。
【０１００】
環状メニュー６０が表示されていない状態では，ポインタ位置決定部１２が，上述の実施の形態１と同様の処理で，表示装置３０の画面３１におけるポインタ５０の表示位置を決定する。すなわち，後の環状メニュー６０の表示位置に関係なく，デフォルトの変換パラメータを用いて，取得された位置情報を変換することで，ポインタ５０の表示位置を求める。デフォルトの変換パラメータを用いた位置変換は，例えば，上述の実施の形態１で説明したカメラ画像と画面３１とを対応付けた位置変換や，ユーザがあらかじめ設定したキャリブレーションに基づいた位置変換などである。
【０１０１】
画面３１に環状メニュー６０が表示されていない状態で，文字特定部１５により文字が特定されると，メニュー表示部１６は，環状メニュー６０を，表示装置３０の画面３１における所定の表示位置に所定のサイズで表示する。
【０１０２】
文字が特定されて画面３１に環状メニュー６０が表示されている状態では，ポインタ位置決定部１２は，環状メニュー６０の表示位置とサイズ，字形軌跡５１の位置とサイズ，取得された位置情報に基づいて，表示装置３０の画面３１におけるポインタの表示位置を決定する。具体的には，環状メニュー６０が表示された後では，ポインタ位置決定部１２は，表示された環状メニュー６０の領域の内側の領域に字形軌跡５１が適度な余裕を持って収まるように変換パラメータを求め，取得された位置情報を変換してポインタ５０の表示位置を決定する。
【０１０３】
例えば，字形軌跡５１の外接矩形の中心点を（Ｘc ，Ｙc ），字形軌跡５１を構成する点の中で中心点からの距離が最大となる点と，中心点との距離をＲc とする。また，環状メニュー６０の中心点を（Ｘm ，Ｙm ），環状メニュー６０の領域の内側の領域の半径をＲm とする。このとき，取得された位置情報（ｘ，ｙ）から，ポインタ５０の表示位置（Ｘ，Ｙ）を求める式は，例えば，次の通りとなる。
【０１０４】
Ｘ＝（ｘ−Ｘc ）×Ｒm ×α／Ｒc ＋Ｘm
Ｙ＝（ｙ−Ｙc ）×Ｒm ×α／Ｒc ＋Ｙm
ここで，αは定数であり，１より小さい値を取る。αの値が小さいほど，ユーザの手４０の振りに対してより小さい領域に，ポインタ５０の表示位置が割り当てされる。αの値が小さい場合には，環状メニュー６０を選択しにくくなる反面，ユーザが空中で手４０を動かして文字入力を行う際に，誤ってメニュー選択操作を行ってしまう可能性が低くなる。逆に，αの値が大きい場合には，環状メニュー６０を選択しやすくなる反面，ユーザが空中で手４０を動かして文字入力を行う際に，誤って環状メニュー６０への選択操作を行ってしまう可能性が高くなる。
【０１０５】
図１１は，本実施の形態２による環状メニューの表示を説明する図である。
【０１０６】
図１１（Ａ）は，環状メニュー６０が表示されていないときに，ユーザが手４０の動作によって画面３１上のポインタ５０を動かしている状態を示す。図１１（Ｂ）は，文字特定部１５により文字が特定され，環状メニュー６０が表示された後の状態を示す。
【０１０７】
例えば，ユーザは，空間で手４０を動かすことにより，図１１（Ａ）に示すように，画面３１の右側でポインタ５０を操作して，文字入力を行っているものとする。環状メニュー６０が表示されるまでは，この状態が維持される。
【０１０８】
ユーザが描画した文字が特定されると，環状メニュー６０が所定位置に所定サイズで表示され，ポインタ５０や字形軌跡５１が，表示された環状メニュー６０の領域の内側の領域に表示される。このとき，ユーザは，特に手４０を動作させる位置を大きく変えておらず，当初と同じ空間の位置で手４０を動作させている。文字入力装置１０が，環状メニュー６０や当初の字形軌跡５１から求められた変換パラメータで，自動的にポインタ５０や字形軌跡５１の表示位置を，環状メニュー６０の領域の内側の領域に変換させている。
【０１０９】
以降，環状メニュー６０が画面３１から消去されるまで，文字入力装置１０は，環状メニュー６０の表示時に求められた変換パラメータを用いて，ポインタ５０の表示位置を決定し，表示画面にポインタ５０を表示する。
【０１１０】
図１２は，本実施の形態２の文字入力装置による文字の特定・環状メニュー表示処理フローチャートである。
【０１１１】
文字入力装置１０において，位置情報取得部１１は，トラッキングデバイス２０から，空間におけるユーザの手４０の位置情報を取得する（ステップＳ６０）。
【０１１２】
ポインタ位置決定部１２は，取得された位置情報に対して変換パラメータを用い，表示装置３０の画面３１におけるポインタ５０の表示位置を決定する（ステップＳ６１）。ここでは，ポインタ位置決定部１２は，文字が特定されて環状メニュー６０が表示される前には，デフォルトの変換パラメータを用い，環状メニュー６０が表示された後には，ステップＳ６９で求める変換パラメータを用いる。ポインタ表示部１３は，決定された表示装置３０の画面３１上の表示位置に，ポインタ５０を表示する（ステップＳ６２）。
【０１１３】
文字入力装置１０は，取得した位置情報を，位置情報保持部１４に追加記録する（ステップＳ６３）。字形候補を抽出する対象のユーザの手４０の移動軌跡の情報に，取得した位置情報が追加される。
【０１１４】
文字特定部１５において，字形候補抽出部１５１は，位置情報保持部１４に記憶された連続する位置情報，すなわちユーザの手４０の移動軌跡の情報から，字形候補を抽出する（ステップＳ６４）。文字認識部１５２は，抽出された字形候補に対する文字認識を行う（ステップＳ６５）。字形候補に対する文字認識により，認識された文字の認識確信度が得られる。認識文字特定部１５３は，認識確信度が所定以上であるかを判定する（ステップＳ６６）。認識確信度が所定以上でなければ（ステップＳ６６のＮＯ），文字入力装置１０は，ステップＳ６０の処理に戻り，次のユーザの手４０の位置情報の取得を行う。
【０１１５】
認識確信度が所定以上であれば（ステップＳ６６のＹＥＳ），字形候補に対する文字認識により認識された文字を，ユーザの手４０の移動により描画された文字として特定する（ステップＳ６７）。メニュー表示部１６は，表示装置３０の画面３１の所定の表示位置に，所定のサイズの環状メニュー６０を表示する（ステップＳ６８）。
【０１１６】
ポインタ位置決定部１２は，環状メニュー６０の位置とサイズ，字形軌跡５１の位置とサイズに基づいて，変換パラメータを算出する（ステップＳ６９）。ポインタ位置決定部１２は，算出された変換パラメータを用いて，画面３１に表示されているポインタ５０の変換後の表示位置を決定する（ステップＳ７０）。ポインタ表示部１３は，画面３１に表示されているポインタ５０を削除し，ステップＳ７０で決定された表示位置にポインタ５０を表示する（ステップＳ７１）。ポインタ５０の移動軌跡を画面３１に表示している場合には，その移動軌跡も変換して表示し直す。
【０１１７】
文字特定部１５は，字形候補を抽出する対象の連続する位置情報をリセットする（ステップＳ７２）。文字入力装置１０は，ステップＳ６０の処理に戻り，次のユーザの手４０の位置情報の取得を行う。
【０１１８】
本実施の形態２においても，ユーザにとって得られる利点は，上述の実施の形態１とほぼ同等である。本実施の形態２には，さらに，環状メニュー６０が定位置に出るため，ユーザが見やすくなるという利点がある。
【０１１９】
以上，本実施の形態について説明したが，本発明はその主旨の範囲において種々の変形が可能であることは当然である。
【０１２０】
例えば，本実施の形態では，カメラ映像を用いて空間における特定の物体の位置を取得しているが，これに限るものではない。例えば，ジャイロセンサ，加速度センサ，超音波などを用いて位置取得が可能なユーザが身体に装着する端末機器を含む装置を用いて，空間における特定の物体の位置を取得するようにしてもよい。
【０１２１】
以上の本実施の形態に関し，さらに以下の付記を開示する。
【０１２２】
（付記１）
空間における特定の物体の位置情報を取得する位置情報取得部と，
前記位置情報を蓄積する位置情報保持部と，
前記位置情報に基づいて，表示装置の画面におけるポインタの表示位置を決定するポインタ位置決定部と，
前記決定された表示装置の画面におけるポインタの表示位置に，ポインタを表示するポインタ表示部と，
前記位置情報保持部に蓄積された前記位置情報に基づいて，前記特定の物体の移動により描画された文字を特定する文字特定部と，
前記特定された文字に対応する前記ポインタの移動軌跡を囲む環状メニューを表示するメニュー表示部と，
前記環状メニューと前記ポインタとの位置関係に基づいて，前記環状メニューへの選択操作を判断するメニュー選択部とを備える
ことを特徴とする文字入力装置。
【０１２３】
（付記２）
前記メニュー表示部は，前記特定された文字に対応する前記ポインタの移動軌跡の位置とサイズとに基づいて，前記環状メニューの表示位置とサイズとを決定する
ことを特徴とする付記１に記載の文字入力装置。
【０１２４】
（付記３）
前記メニュー表示部は，前記環状メニューを，所定の表示位置に所定のサイズで表示し，
前記ポインタ位置決定部は，前記環状メニューの表示位置とサイズ，前記特定された文字に対応する前記ポインタの移動軌跡の位置とサイズ，および前記位置情報に基づいて，前記表示装置の画面におけるポインタの表示位置を決定する
ことを特徴とする付記１に記載の文字入力装置。
【０１２５】
（付記４）
前記メニュー選択部は，所定時間内に，前記ポインタが前記環状メニューの領域の内側の領域から前記環状メニューの領域に移動し，さらに前記環状メニューの領域の内側の領域に移動した場合に，前記環状メニューへの選択操作があったと判断する
ことを特徴とする付記１から付記３までのいずれかに記載の文字入力装置。
【０１２６】
（付記５）
前記特定された文字を順に追加して得られる文字列を記憶する文字列保持部と，
前記文字列保持部に記憶された文字列から，入力文字列を予測する文字列予測部と，
前記環状メニューに，前記予測される入力文字列を割り当てる予測文字列割り当て部とを備える
ことを特徴とする付記１から付記４までのいずれかに記載の文字入力装置。
【０１２７】
（付記６）
前記ポインタが，所定時間以上，前記環状メニューの領域，または前記環状メニューの領域の外側の領域にあるときに，前記環状メニューを消去するメニューリセット部を備える
ことを特徴とする付記１から付記５までのいずれかに記載の文字入力装置。
【０１２８】
（付記７）
コンピュータに，
空間における特定の物体の位置情報を取得し，
前記位置情報に基づいて，表示装置の画面におけるポインタの表示位置を決定し，
前記決定された表示装置の画面におけるポインタの表示位置に，ポインタを表示し，
記憶部に蓄積して記憶される前記位置情報に基づいて，前記特定の物体の移動により描画された文字を特定し，
前記特定された文字に対応する前記ポインタの移動軌跡を囲む環状メニューを表示し，
前記環状メニューと前記ポインタとの位置関係に基づいて，前記環状メニューへの選択操作を判断する
処理を実行させるための文字入力プログラム。
【０１２９】
（付記８）
コンピュータが，
空間における特定の物体の位置情報を取得し，
前記位置情報に基づいて，表示装置の画面におけるポインタの表示位置を決定し，
前記決定された表示装置の画面におけるポインタの表示位置に，ポインタを表示し，
記憶部に蓄積して記憶される前記位置情報に基づいて，前記特定の物体の移動により描画された文字を特定し，
前記特定された文字に対応する前記ポインタの移動軌跡を囲む環状メニューを表示し，
前記環状メニューと前記ポインタとの位置関係に基づいて，前記環状メニューへの選択操作を判断する過程を実行する
ことを特徴とする文字入力方法。
【符号の説明】
【０１３０】
１０ 文字入力装置
１１ 位置情報取得部
１２ ポインタ位置決定部
１３ ポインタ表示部
１４ 位置情報保持部
１５ 文字特定部
１５１ 字形候補抽出部
１５２ 文字認識部
１５３ 認識文字特定部
１６ メニュー表示部
１６１ メニュー位置決定部
１７ 文字列保持部
１８ 文字列予測部
１９ 予測文字列割り当て部
１１０ メニュー選択部
１１１ メニューリセット部
２０ トラッキングデバイス
３０ 表示装置
【技術分野】
【０００１】
本発明は，ユーザによる文字入力を受け付ける文字入力装置，文字入力プログラムおよび文字入力方法に関するものである。
【背景技術】
【０００２】
ユーザが離れた場所から身振りや手振りなどの動作を行うことで情報機器の操作を行う空間ジェスチャの技術において，ユーザが手などで空間に描いた文字を，情報機器が認識して入力する技術がある。例えば，光を反射する器具を用いてユーザが空間に描いた軌跡を検出し，その軌跡から文字認識を行う技術が知られている。この技術では，ユーザは，○や×などの所定の図形を描くことで，画面に表示された認識結果文字の確定／キャンセルを指定する。このような技術によって，ユーザによる直感的な情報機器への文字入力が可能となる。
【０００３】
なお，手を所定の形状にするなどのユーザアクションの認識をトリガとして，画面にメニューを表示し，電子機器を遠隔制御する技術が知られている。また，特定領域に対するポインタの軌跡を検出することで，位置情報以外の意味のある入力を認識する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２３４２７７号公報
【特許文献２】特開平９−１２８１４１号公報
【特許文献３】特開平１０−９１３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
空間操作による文字入力の技術では，誤認識文字の訂正や，文字列の予測入力などをどのように行うかについて，さまざまな課題がある。
【０００６】
例えば，上述の○や×などの所定の図形を描くことで，画面に表示された認識文字の確定／キャンセルを行う技術は，１文字ごとに確定／キャンセルを指定しなければならないので，ユーザにとってわずらわしく，不便である。また，何らかの特別なアクションで画面にメニューを表示する技術も，特別なアクションを覚えなければならない，メニューを開くたびに特別なアクションを行わなければならないなどの問題があり，ユーザにとってわずらわしく，不便である。
【０００７】
画面にメニューを表示しておくにしても，ユーザの空間操作によって画面上に描画された文字の位置がメニューから遠かった場合など，メニューを利用する操作が不便となる。また，表示されたメニューの近くに文字が描画されるように空間操作を行わなければならないとすると，ユーザの自由な空間操作による文字描画が阻害され，ユーザにとってわずらわしく，不便である。
【０００８】
一側面では，本発明は，空間での物体の動作により文字入力を行う場合において，メニュー操作を含む文字入力操作の利便性を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
１態様では，文字入力装置は，空間における特定の物体の位置情報を取得する位置情報取得部と，位置情報を蓄積する位置情報保持部と，位置情報に基づいて表示装置の画面におけるポインタの表示位置を決定するポインタ位置決定部と，決定された表示装置の画面におけるポインタの表示位置にポインタを表示するポインタ表示部と，位置情報保持部に蓄積された位置情報に基づいて特定の物体の移動により描画された文字を特定する文字特定部と，特定された文字に対応するポインタの移動軌跡を囲む環状メニューを表示するメニュー表示部と，環状メニューとポインタとの位置関係に基づいて環状メニューへの選択操作を判断するメニュー選択部とを備える。
【発明の効果】
【００１０】
１態様では，空間での物体の動作によって文字入力を行う場合に，メニュー操作を含む文字入力操作の利便性が向上する。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態による文字入力装置の構成例を示す図である。
【図２】本実施の形態による文字入力装置を実現するコンピュータのハードウェア構成例を示す図である。
【図３】本実施の形態によるユーザの文字入力操作の例を説明する図である。
【図４】本実施の形態による環状メニューの例を示す図である。
【図５】本実施の形態による環状メニューへの操作の例を説明する図である。
【図６】本実施の形態による予測文字列が表示された環状メニューの例を示す図である。
【図７】本実施の形態１の文字入力装置による文字の特定・環状メニュー表示処理フローチャートである。
【図８】本実施の形態の文字入力装置による環状メニュー操作処理フローチャートである。
【図９】本実施の形態の文字入力装置による入力文字列予測処理フローチャートである。
【図１０】本実施の形態の文字入力装置による予測文字列割り当て表示処理フローチャートである。
【図１１】本実施の形態２による環状メニューの表示を説明する図である。
【図１２】本実施の形態２の文字入力装置による文字の特定・環状メニュー表示処理フローチャートである。
【発明を実施するための形態】
【００１２】
以下，本実施の形態について，図を用いて説明する。
【００１３】
図１は，本実施の形態による文字入力装置の構成例を示す図である。
【００１４】
図１に示す文字入力装置１０は，特定の物体の空間での軌跡を認識して，文字入力の処理を行う装置である。特定の物体は，例えば，空間で文字入力を行うユーザの身体の一部や，ユーザが身体に装着する機器などである。文字入力装置１０は，例えば，ユーザが空間で手などを動かすことにより直感的に描かれた文字を認識し，入力する。
【００１５】
文字入力装置１０は，位置情報取得部１１，ポインタ位置決定部１２，ポインタ表示部１３，位置情報保持部１４，文字特定部１５，メニュー表示部１６，文字列保持部１７，文字列予測部１８，予測文字列割り当て部１９，メニュー選択部１１０，メニューリセット部１１１を備える。
【００１６】
位置情報取得部１１は，トラッキングデバイス２０から，空間における特定の物体の位置情報を取得する。トラッキングデバイス２０は，空間に存在する特定の物体を識別し，その動作を追跡する装置である。
【００１７】
ポインタ位置決定部１２は，位置情報取得部１１により取得された位置情報に基づいて，表示装置３０の画面におけるポインタの表示位置を決定する。ポインタ表示部１３は，ポインタ位置決定部１２により決定された表示装置３０の画面における表示位置に，ポインタを表示する。
【００１８】
位置情報取得部１１により取得された位置情報は，位置情報保持部１４に記憶される。位置情報保持部１４は，位置情報取得部１１により取得された位置情報を蓄積して記憶する記憶部である。位置情報取得部１１に蓄積された連続する位置情報が，特定の物体の軌跡の情報となる。
【００１９】
文字特定部１５は，位置情報保持部１４に蓄積された位置情報に基づいて，空間における特定の物体の移動により描画された文字を特定する。このとき，文字特定部１５は，特定の物体の軌跡に対して文字認識を行うことで，空間で描画された文字の特定を行う。文字特定部１５は，字形候補抽出部１５１，文字認識部１５２，認識文字特定部１５３を備える。
【００２０】
字形候補抽出部１５１は，位置情報保持部１４に蓄積された位置情報から，特定の物体の移動により文字が描かれていると推定される部分の軌跡の情報を抽出する。文字認識部１５２は，字形候補抽出部１５１により抽出された軌跡の情報に対して文字認識を行い，認識された文字の確からしさを示す認識確信度を求める。認識文字特定部１５３は，文字認識部１５２による認識文字の中に認識確信度が所定以上の認識文字がある場合に，最大の認識確信度を示す認識文字を，特定の物体の移動により描画された文字と特定する。
【００２１】
メニュー表示部１６は，文字特定部１５により特定された文字に対応するポインタの移動軌跡を囲むように，ユーザによる文字入力を支援する環状メニューを，表示装置３０に表示する。特定された文字に対応するポインタの移動軌跡は，特定された文字が認識されたときの字形候補抽出部１５１により抽出された軌跡に対応するポインタの移動軌跡である。メニュー表示部１６は，メニュー位置決定部１６１を備える。メニュー位置決定部１６１は，環状メニューの表示位置やサイズ等を決定する。
【００２２】
文字列保持部１７は，文字特定部１５により特定された文字を，描画された順に追加記録することで得られる文字列を記憶する記憶部である。文字列予測部１８は，文字列保持部１７に記憶された文字列から，ユーザが入力しようとしている文字列を予測する。予測文字列割り当て部１９は，文字列予測部１８により予測された文字列を，表示装置３０の画面に表示された環状メニューに割り当てる。
【００２３】
メニュー選択部１１０は，表示装置３０の画面上の環状メニューとポインタとの位置関係に基づいて，ユーザによる環状メニューへの選択操作を判断する。環状メニューへの選択操作が判断されると，環状メニューから選択された項目に応じた処理が行われる。メニューリセット部１１１は，表示装置３０の画面上の環状メニューとポインタとの位置関係に応じて，環状メニューを消去する。
【００２４】
本実施の形態の文字入力装置１０によって，空間での物体の動作により文字入力を行う際の，メニュー操作を含む文字入力操作の利便性が向上する。
【００２５】
図２は，本実施の形態による文字入力装置を実現するコンピュータのハードウェア構成例を示す図である。
【００２６】
図１に示す本実施の形態の文字入力装置１０を実現するコンピュータ１は，例えば，ＣＰＵ（Central Processing Unit ）２，主記憶となるメモリ３，記憶装置４，通信装置５，媒体読取・書込装置６，入力装置７，出力装置８等を備える。記憶装置４は，例えばＨＤＤ（Hard Disk Drive ）などである。媒体読取・書込装置６は，例えばＣＤ−Ｒ（Compact Disc Recordable ）ドライブやＤＶＤ−Ｒ（Digital Versatile Disc Recordable ）ドライブなどである。入力装置７は，例えばキーボード・マウスなどである。本実施の形態では，トラッキングデバイス２０を実現するカメラなども入力装置となる。出力装置８は，例えばディスプレイ等の表示装置３０などである。
【００２７】
図１に示す文字入力装置１０および文字入力装置１０が備える各機能部は，コンピュータ１が備えるＣＰＵ２，メモリ３等のハードウェアと，ソフトウェアプログラムとによって実現することが可能である。コンピュータ１が実行可能なプログラムは，記憶装置４に記憶され，その実行時にメモリ３に読み出され，ＣＰＵ２により実行される。
【００２８】
コンピュータ１は，可搬型記録媒体から直接プログラムを読み取り，そのプログラムに従った処理を実行することもできる。また，コンピュータ１は，サーバコンピュータからプログラムが転送されるごとに，逐次，受け取ったプログラムに従った処理を実行することもできる。さらに，このプログラムは，コンピュータ１で読み取り可能な記録媒体に記録しておくことができる。
【００２９】
以下では，本実施の形態の文字入力装置１０による処理について，より具体的な例を示しながら説明を行う。
【００３０】
〔実施の形態１〕
図３は，本実施の形態によるユーザの文字入力操作の例を説明する図である。
【００３１】
図３に示すように，本実施の形態１の例では，表示装置３０から少し離れた位置にいるユーザは，表示装置３０の画面３１に向かった状態で手４０を動かすことで，文字入力操作を行う。本実施の形態１では，ユーザの手４０が，トラッキングデバイス２０による位置取得の対象となる特定の物体である。カメラ２１は，表示装置３０の画面３１の前にいるユーザを撮像する。なお，図３では図示省略されているが，カメラ２１と表示装置３０は，文字入力装置１０を実現するコンピュータ１に接続されている。
【００３２】
カメラ２１としては，例えばＣＣＤ（Charge Coupled Device ）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor ）センサ等の視覚センサを用いて，リアルタイムに映像入力を行える程度の性能が求められる。例えば，市販の一般的なｗｅｂカメラなどでもよい。
【００３３】
表示装置３０としては，本実施の形態の文字入力装置１０による各種表示内容を，十分に映し出せる性能が求められる。例えば，市販の液晶モニタ程度の解像度と表示速度があればよい。表示装置３０は，例えば有機ＥＬ（Electroluminescence ）方式や液晶方式，プロジェクション方式などのいずれの方式であってもよい。
【００３４】
本実施の形態１では，トラッキングデバイス２０は，カメラ２１と，カメラ映像を解析して特定の物体の有無や位置を追跡するソフトウェアとによって実現される。
【００３５】
カメラ映像の中から特定の図形または色分布に似た部分を探索する技術や，カメラ映像において現在のフレームと以前のフレームとを照合し，カメラ映像内の各部がどのように移動したのかを追跡する技術がある。これらの技術を組み合わせることで，カメラ映像に写る特定の物体の追跡が可能となる。例えば，ＯｐｅｎＣＶ（登録商標）と呼ばれるオープンソースソフトウェアライブラリには，これらの機能が標準的に含まれている。
【００３６】
また，映像各部への距離のセンシングが可能な距離画像センサと呼ばれるデバイスがある。距離画像センサを用いれば，立体的に映像を捉えることが可能となり，より高精度なトラッキングが可能となる。
【００３７】
本実施の形態１では，トラッキングデバイス２０によって，ユーザの手４０の位置がトラッキングされる。手４０の部分を高速かつ高精度に抽出することは，一般に困難である。例えば，手４０のひらを常にカメラの方向に向ける，常に手４０を握ったままにする，カメラ２１に対して最も突き出ている肌色の部分を手４０とみなすなどの制限を設けることによって，高速かつ高精度な手４０の抽出が可能となる。
【００３８】
文字入力装置１０において，位置情報取得部１１は，トラッキングデバイス２０から，空間におけるユーザの手４０の位置情報を取得する。位置情報取得部１１で得られる位置情報は，奥行き情報が含まれる３次元座標であってもよいが，本実施の形態では特に必須ではない。本実施の形態では，位置情報取得部１１により，２次元座標が得られるものとする。
【００３９】
ポインタ位置決定部１２は，位置情報取得部１１により取得された位置情報から，表示装置３０の画面３１におけるポインタ５０の表示位置を決定する。例えば，得られた位置情報がカメラ画像上で手４０が写った位置の座標である場合に，ポインタ位置決定部１２は，カメラ画像の中心位置が画面３１の中心位置に，カメラ画像の端の位置が画面３１の端の位置になるように，取得した座標を画面３１上の座標に変換する。変換された画面３１上の座標が，決定されたポインタ５０の表示位置の座標となる。また，ユーザがあらかじめ設定したキャリブレーションに基づいて，トラッキングされる手４０が無理なく動かせる範囲を画面３１に割り当て，取得した位置情報をポインタ５０の表示位置に変換するようにしてもよい。
【００４０】
ポインタ表示部１３は，ポインタ位置決定部１２により決定された表示装置３０の画面３１における表示位置に，ポインタ５０を表示する。図３に示すように，空間上でのユーザの手４０の位置に対応する画面３１の表示位置にポインタ５０が表示され，空間上でのユーザの手４０の移動に追従して，画面３１上のポインタ５０も移動する。なお，図３に示す例では，ポインタ５０の移動軌跡が画面３１に表示されているが，ポインタ５０の移動軌跡を画面３１上に表示するか否かの設計は，任意である。
【００４１】
位置情報保持部１４は，位置情報取得部１１により得られた位置情報を蓄積する。位置情報取得部１１により取得された位置情報を時系列に並べた情報は，ユーザの手４０の移動軌跡の情報となる。すなわち，位置情報保持部１４に蓄積された位置情報は，ユーザの手４０の移動軌跡の情報であるともいえる。
【００４２】
位置情報保持部１４に蓄積される位置情報は，例えば，文字認識により所定以上の認識確信度を満たす文字が得られるまでか，位置情報保持部１４に割り当てられた記憶領域がいっぱいになるまで，保持される。位置情報保持部１４に割り当てられた記憶領域がいっぱいになった場合には，古い位置情報から消去され，新しい位置情報を蓄積できる領域が空けられる。仮に毎秒２０回の位置情報の取得が行われ，ユーザが空間上に１文字を書くのに要する時間の最大値が３秒であるものとすれば，位置情報保持部１４として，２０×３＝６０個分以上の位置情報を記憶できる領域があればよい。
【００４３】
文字特定部１５において，字形候補抽出部１５１は，位置情報保持部１４に蓄積されたユーザの手４０の移動軌跡の情報から，文字と推定される部分を抽出する。ここでは，字形候補抽出部１５１により抽出された，文字と推定される部分の軌跡を，字形候補と呼ぶ。字形候補の抽出は，例えば，ユーザの手４０の軌跡を構成する座標点の位置関係や軌跡の方向変化，軌跡のサイズ，停留時間などに基づいて行うことができる。
【００４４】
例えば，文字は，通常，上から下に，左から右に向かって書かれるので，軌跡が大きく下から上へ，右から左へと移動している部分は，次の文字を書き始める直前の運筆である可能性が高い。したがって，そのような運筆部分の直前の部分は，文字の書き終わりである可能性が高いと考えられ，直後の部分は文字の書き始めである可能性が高いと考えられる。また，文字の書き始めや文字の書き終わりの部分では，軌跡の停留が起こることも多いので，停留部分を文字の区切り候補として抽出することもできる。
【００４５】
また，文字の書き始めの点の候補と文字の書き終わりの点の候補の中で，それらの点の間に挟まれた区間の軌跡が小さ過ぎる場合や大き過ぎる場合には，その区間の軌跡が文字ではないと推定できる。軌跡の大きさのしきい値は，例えば，何人かの被験者に，それぞれにとって自然な大きさで空中手書き文字入力をしてもらい，採集された文字サイズの平均値と標準偏差とから，一定の信頼区間を取って決める方法が考えられる。
【００４６】
文字特定部１５において，文字認識部１５２は，字形候補抽出部１５１により抽出された字形候補に対して文字認識を行い，文字としての確からしさを得る。本実施の形態では，文字認識により得られる文字としての確からしさを，認識確信度と呼ぶ。例えば，文字認識部１５２は，抽出された字形候補のパターンと，あらかじめ登録された各文字のテンプレートパターンとを照合し，パターン間の類似度を得る。ここでは，照合により得られた類似度が，認識確信度となる。
【００４７】
文字特定部１５において，認識文字特定部１５３は，文字認識部１５２での文字認識により所定以上の類似度が得られた場合に，最大の類似度が得られた字形候補について，その認識文字を，ユーザの手４０により空間に描画された文字として特定する。
【００４８】
なお，文字特定部１５は，文字が特定された際に，字形候補を抽出する対象の連続する位置情報すなわちユーザの手４０の移動軌跡をリセットする。ここでのリセットとは，字形候補を抽出する対象のユーザの手４０の移動軌跡を，文字が特定された字形候補より後のユーザの手４０の移動軌跡に更新することをいう。リセットの方法としては，例えば，位置情報保持部１４から文字が特定された字形候補の最後の点までの位置情報を削除する，次の字形候補を抽出する対象の連続する位置情報の開始位置を，文字が特定された字形候補の次の位置情報にするなどの方法が考えられる。
【００４９】
文字特定部１５は，文字列保持部１７に保持される文字列に，文字認識により特定された文字を追加する。ここでは，文字列保持部１７に保持される文字列を未確定文字列と呼ぶ。未確定文字列は，かな漢字変換や予測入力，文字入力対象のアプリケーションソフトウェアへの文字列送出を行う前の段階の入力文字列を指す。
【００５０】
文字列予測部１８は，文字列保持部１７に記憶された未確定文字列から，ユーザが入力しようとしている文字列を予測する。例えば，文字列予測部１８は，図１に示す構成では図示省略された文字列辞書から，未確定文字列の音で始まる文字列を抽出する。本実施の形態の文字列予測部１８による入力文字列の予測機能は，携帯電話等に搭載されている文字列の予測入力機能などと同様の機能である。ここでは，文字列予測部１８により予測される入力文字列を，予測文字列と呼ぶ。
【００５１】
メニュー表示部１６は，文字特定部１５により文字が特定されたときに，特定された文字に対応するポインタ５０の移動軌跡を取り囲むように，環状メニューを表示する。なお，ここでは，特定された文字に対応するポインタ５０の移動軌跡を，字形軌跡と呼ぶ。
【００５２】
図４は，本実施の形態による環状メニューの例を示す図である。
【００５３】
文字特定部１５により文字が特定されたときには，表示装置３０の画面３１において，図４に示すように，字形軌跡５１を囲むように，環状メニュー６０が表示される。図４に示す例では，環状メニュー６０の領域の内側の領域上部に，文字特定部１５により特定された文字として「な」が表示されている。
【００５４】
環状メニュー６０の表示位置やサイズは，メニュー位置決定部１６１により求められる。メニュー位置決定部１６１は，文字特定部１５により文字が特定されたときに，特定された文字に対応するポインタ５０の移動軌跡，すなわち字形軌跡５１の位置とサイズとに基づいて，環状メニュー６０の表示位置とサイズとを決定する。
【００５５】
環状メニュー６０の位置を求める方法としては，例えば，字形軌跡５１の重心の座標を環状メニュー６０の中心座標とする方法や，字形軌跡５１の外接矩形の中心座標を環状メニュー６０の中心座標とする方法などが考えられる。環状メニュー６０のサイズとして半径を求める方法としては，例えば，環状メニュー６０の中心座標と字形軌跡５１を構成する点の各座標との距離の最大値に一定値を乗じて求める方法や，字形軌跡５１の外接矩形の対角線の長さに一定値を乗じて求める方法などが考えられる。ここでの環状メニュー６０の半径は，図４に示す環状メニュー６０における内側の円の半径である。
【００５６】
このように，環状メニュー６０の表示位置とサイズの様々な有効な計算方法が考えられる。メニュー位置決定部１６１は，外観的に字形軌跡５１をある程度の余裕を持った大きさで囲うように環状メニュー６０が表示されるように，環状メニュー６０の表示位置とサイズとを決定する。
【００５７】
メニュー表示部１６は，メニュー位置決定部１６１によって求められた位置とサイズとに基づいて，環状メニュー６０を表示装置３０の画面３１に表示する。図４では，環状メニュー６０として，円形状の環状メニュー６０の例が示されているが，字形軌跡５１を囲む環状メニュー６０であれば，多角形などの他の形状の環状メニュー６０であってもよい。
【００５８】
なお，図４に示す例では，環状メニュー６０の表示に合わせて，邪魔にならない位置に，未確定文字列や予測文字列が表示されている。図４に示す例において，文字列表示部６１は，文字列保持部１７に保持された未確定文字列の表示欄である。また，予測文字列表示部６２は，文字列予測部１８により得られた予測文字列の表示欄である。
【００５９】
環状メニュー６０に表示する項目としては，例えば，特定された文字以外の他の認識文字の候補や，各種編集機能，予測文字列選択などの項目がある。
【００６０】
図４に示す環状メニュー６０において，「た」，「る」，「ま」と表示された項目は，文字「な」が特定された字形候補の他の認識文字の候補が提示された項目である。これらの項目が環状メニュー６０から選択された場合には，特定された文字が選択された項目の文字に置き換えられる。
【００６１】
図４に示す環状メニュー６０において，「改行」，「クリア」，「編集」と表示された項目は，各種編集機能の項目である。例えば，「改行」は，未確定文字列を確定する場合などに用いられる編集機能である。「クリア」は，未確定文字列をバックスペースで１文字消去する場合などに用いられる編集機能である。「編集」は，文字のコピーなどの編集で用いられる編集機能である。
【００６２】
図４に示す環状メニュー６０において，「予測選択」は，予測文字列選択の項目である。「予測選択」の項目が環状メニュー６０から選択された場合には，予測文字列を選択する環状メニュー６０への移行が行われる。
【００６３】
ユーザは，空間で手４０を動かすことによりポインタ５０を動かし，環状メニュー６０の項目を選択する操作を行う。なお，ユーザは，環状メニュー６０の項目を選択せずに，続けて次の文字を入力することも可能である。例えば，ユーザが，環状メニュー６０の領域の内側の領域内で，字形軌跡５１に重ねる形でポインタ５０を操作すると，文字入力装置１０は，前の字形軌跡５１を消去して，次の文字入力の処理に写る。
【００６４】
図５は，本実施の形態による環状メニューへの操作の例を説明する図である。
【００６５】
メニュー選択部１１０は，環状メニュー６０とポインタ５０の位置関係に基いて，メニュー選択の処理を行う。メニュー選択部１１０は，ユーザによる環状メニュー６０への選択操作があったと判断される場合に，環状メニュー６０から選択された項目に応じた処理を行う。
【００６６】
例えば，ポインタ５０が環状メニュー６０の項目の１つに入った瞬間，または一定時間以上同じ項目内にポインタ５０が留まっていることをトリガとして，メニュー選択の処理を行う方法が考えられる。
【００６７】
また，図５（Ａ）には，ユーザによる環状メニュー６０への選択操作の例が示されている。図５（Ａ）に示す例では，ユーザは，空間で手４０を動かすことで，画面３１上のポインタ５０を，環状メニュー６０の領域の内側の領域から環状メニュー６０の目的の項目の領域に移動させ，さらに環状メニュー６０の領域の内側の領域に移動させる操作を行う。メニュー選択部１１０は，所定時間以内に，ポインタ５０が内側の領域から環状メニュー６０の領域に移動し，さらに内側の領域に移動した場合に，環状メニュー６０への選択操作があったと判断する。
【００６８】
図５（Ａ）に示すポインタ５０の動作で，環状メニュー６０への選択操作を判断することにより，メニュー選択操作に待機時間が不要となり，不用意に環状メニュー６０の外側にポインタ５０を動かすことによるメニュー選択の誤操作を防ぐことができる。
【００６９】
図５（Ｂ）には，ユーザによるメニューリセット操作の例が示されている。例えば，表示された環状メニュー６０を消去したいユーザは，空間で手４０を動かすことで，画面３１上のポインタ５０を，環状メニュー６０の領域の内側の領域から外側の領域に移動し，停留させる。メニューリセット部１１１は，ポインタ５０が，所定時間以上，環状メニュー６０の領域，または環状メニュー６０の領域の外側の領域にあるときに，環状メニュー６０を消去する。
【００７０】
画面３１上での文字の筆記位置を大きく移動させたい場合などに，環状メニュー６０が邪魔になることもあるため，図５（Ｂ）に示すような環状メニュー６０を手軽に消去する操作は，有効である。
【００７１】
図６は，本実施の形態による予測文字列が表示された環状メニューの例を示す図である。
【００７２】
例えば，図４に示す環状メニューにおいて，図５（Ａ）に示す選択操作により，「予測選択」の項目が選択されたものとする。このとき，予測文字列割り当て部１９は，図６に示すように，文字列予測部１８により得られた各予測文字列を，環状メニュー６０上の項目に割り当てる。このように，予測文字列を環状メニュー６０の項目に割り当てることにより，ユーザは，環状メニュー６０への選択操作で，容易に予測文字列を選択することができる。
【００７３】
なお，図６に示す環状メニュー６０において，「戻る」の項目が選択されると，画面３１上の環状メニュー６０が，図４に示す環状メニュー６０に戻る。
【００７４】
図７は，本実施の形態１の文字入力装置による文字の特定・環状メニュー表示処理フローチャートである。
【００７５】
文字入力装置１０において，位置情報取得部１１は，トラッキングデバイス２０から，空間におけるユーザの手４０の位置情報を取得する（ステップＳ１０）。
【００７６】
ポインタ位置決定部１２は，取得された位置情報から，表示装置３０の画面３１におけるポインタ５０の表示位置を決定する（ステップＳ１１）。ポインタ表示部１３は，決定された表示装置３０の画面３１上の表示位置に，ポインタ５０を表示する（ステップＳ１２）。
【００７７】
文字入力装置１０は，取得した位置情報を，位置情報保持部１４に追加記録する（ステップＳ１３）。字形候補を抽出する対象のユーザの手４０の移動軌跡の情報に，取得した位置情報が追加される。
【００７８】
文字特定部１５において，字形候補抽出部１５１は，位置情報保持部１４に記憶された連続する位置情報，すなわちユーザの手４０の移動軌跡の情報から，字形候補を抽出する（ステップＳ１４）。文字認識部１５２は，抽出された字形候補に対する文字認識を行う（ステップＳ１５）。字形候補に対する文字認識により，認識された文字の認識確信度が得られる。認識文字特定部１５３は，認識確信度が所定以上であるかを判定する（ステップＳ１６）。認識確信度が所定以上でなければ（ステップＳ１６のＮＯ），文字入力装置１０は，ステップＳ１０の処理に戻り，次のユーザの手４０の位置情報の取得を行う。
【００７９】
認識確信度が所定以上であれば（ステップＳ１６のＹＥＳ），字形候補に対する文字認識により認識された文字を，ユーザの手４０の移動により描画された文字として特定する（ステップＳ１７）。文字特定部１５は，字形候補を抽出する対象の連続する位置情報をリセットする（ステップＳ１８）。
【００８０】
メニュー位置決定部１６１は，字形軌跡５１すなわち特定された文字に対応するポインタ５０の移動軌跡の位置とサイズとから，字形軌跡５１を囲むように表示する環状メニュー６０の表示位置とサイズとを決定する（ステップＳ１９）。メニュー表示部１６は，決定された表示位置に，決定されたサイズの環状メニュー６０を表示する（ステップＳ２０）。文字入力装置１０は，ステップＳ１０の処理に戻り，次のユーザの手４０の位置情報の取得を行う。
【００８１】
このように，ユーザによる文字入力操作によって画面３１上に描かれた字形軌跡５１を囲む環状メニュー６０を自動表示することで，文字入力操作からメニュー操作への移行が容易になる。また，環状メニュー６０の領域の内側に領域が確保できるため，次の文字を描くスペースが保障される。
【００８２】
図８は，本実施の形態の文字入力装置による環状メニュー操作処理フローチャートである。
【００８３】
図８に示す環状メニュー操作処理は，図７のステップＳ２０で表示装置３０の画面３１に環状メニュー６０が表示された際に行われる処理の例である。
【００８４】
表示装置３０の画面３１に環状メニュー６０が表示されると（図７のステップＳ２０），文字入力装置１０は，ポインタ５０の移動軌跡を取得する（ステップＳ３０）。ポインタ５０の移動軌跡は，ポインタ位置決定部１２により求められたポインタ５０の表示位置の情報を蓄積記録しておいてもよいし，位置情報保持部１４に保持された直近の連続する位置情報から求めるようにしてもよい。ここでは，環状メニュー６０への選択操作の判定や環状メニュー６０の消去の判定に必要な時間分のポインタ５０の移動軌跡が得られればよい。
【００８５】
メニュー選択部１１０は，所定時間内に，ポインタ５０が環状メニュー６０の領域の内側の領域から環状メニュー６０の領域に移動し，さらに環状メニュー６０の領域の内側の領域に移動したかを判定する（ステップＳ３１）。
【００８６】
ポインタ５０が，内側領域から環状メニュー６０の領域へ，さらに内側領域へと移動していれば（ステップＳ３１のＹＥＳ），メニュー選択部１１０は，環状メニュー６０への選択操作があったと判断する（ステップＳ３２）。メニュー選択部１１０は，環状メニュー６０への選択された項目に応じた処理を実行する（ステップＳ３３）。文字入力装置１０は，ステップＳ３６の処理に進む。
【００８７】
ポインタ５０が，内側領域から環状メニュー６０の領域へ，さらに内側領域へと移動していなければ（ステップＳ３１のＮＯ），メニューリセット部１１１は，ポインタ５０が環状メニュー６０の領域や外側領域に所定時間以上あるかを判定する（ステップＳ３４）。ポインタ５０が環状メニュー６０の領域や外側領域に所定時間以上なければ（ステップＳ３４のＮＯ），文字入力装置１０は，ステップＳ３７の処理に進む。
【００８８】
ポインタ５０が環状メニュー６０の領域や外側領域に所定時間以上あれば（ステップＳ３４のＹＥＳ），メニューリセット部１１１は，環状メニュー６０を画面３１から消去する（ステップＳ３５）。文字入力装置１０は，ステップＳ３６の処理に進む。
【００８９】
文字入力装置１０は，ポインタ５０の移動軌跡をリセットする（ステップＳ３６）。ここでのリセットは，その後の文字入力操作や環状メニュー６０への操作の判定の対象となる軌跡を，ステップＳ３１やステップＳ３４でＹＥＳと判定されたポインタ５０の移動軌跡より後の軌跡に更新することをいう。例えば，文字入力装置１０は，字形候補の対象となる軌跡の開始位置を，ステップＳ３１やステップＳ３４でＹＥＳと判定されたポインタ５０の移動軌跡の次の点に対応する位置に設定するなどの処理を行う。
【００９０】
文字入力装置１０は，表示装置３０の画面３１に環状メニュー６０が表示されているかを判定する（ステップＳ３７）。環状メニュー６０が表示されていれば（ステップＳ３７のＹＥＳ），文字入力装置１０は，ステップＳ３０の処理に戻る。環状メニュー６０が表示されていなければ（ステップＳ３７のＮＯ），文字入力装置１０は，環状メニュー操作処理を終了する。
【００９１】
図９は，本実施の形態の文字入力装置による入力文字列予測処理フローチャートである。
【００９２】
図９に示す入力文字列予測処理は，図７のステップＳ１７でユーザの手４０が空間に描いた文字が特定された際に行われる処理の例である。
【００９３】
文字が特定されると（図７のステップＳ１７），文字特定部１５は，特定された文字を，文字列保持部１７に記憶された未確定文字列に追加する（ステップＳ４０）。文字入力装置１０は，文字列保持部１７に記憶された未確定文字列を，表示装置３０の画面３１の文字列表示部６１に表示する（ステップＳ４１）。
【００９４】
文字列予測部１８は，文字列保持部１７に記憶された未確定文字列から，ユーザが入力しようとしている文字列を予測する（ステップＳ４２）。文字列予測部１８は，得られた各予測文字列を，表示装置３０の画面３１の予測文字列表示部６２に表示する（ステップＳ４３）。
【００９５】
図１０は，本実施の形態の文字入力装置による予測文字列割り当て表示処理フローチャートである。
【００９６】
図１０に示す環状メニュー操作処理は，図８に示す環状メニュー操作処理で，環状メニュー６０から「予測選択」の項目が選択されたと判断された際に行われる処理の例である。
【００９７】
環状メニュー６０から「予測選択」の項目が選択されると，予測文字列割り当て部１９は，文字列予測部１８により得られた各予測文字列の，環状メニュー６０の各項目への割り当てを行う（ステップＳ５０）。メニュー表示部１６は，各予測文字列の割り当てに従って，環状メニュー６０の各項目の表示を変更する（ステップＳ５１）。
【００９８】
〔実施の形態２〕
上述の実施の形態１の例では，ユーザが手４０を動かすことで画面３１上の任意の位置に描いた字形軌跡５１に応じて，表示される環状メニュー６０の表示位置とサイズとを決定している。これに対して，以下で説明する本実施の形態２の例では，環状メニュー６０を画面３１上の一定位置に一定サイズで表示し，その環状メニュー６０の領域の内側の領域に，ユーザが任意の位置で手４０を動かして画面３１上で移動させるポインタ５０の表示位置を変換する。上述の実施の形態１と本実施の形態２とでは，アプローチの仕方は異なるが，ユーザが空間で手４０を動かすことにより画面３１上に描いた文字の周囲に環状メニュー６０が表示されるという点で，結果が一致する。
【００９９】
本実施の形態２では，図１に示す文字入力装置１０における各機能部の動作は，上述の実施の形態１とほぼ同様である。文字入力装置１０において，上述の実施の形態１と本実施の形態２とで大きく動作が異なるのは，ポインタ位置決定部１２の動作と，メニュー表示部１６の動作とである。
【０１００】
環状メニュー６０が表示されていない状態では，ポインタ位置決定部１２が，上述の実施の形態１と同様の処理で，表示装置３０の画面３１におけるポインタ５０の表示位置を決定する。すなわち，後の環状メニュー６０の表示位置に関係なく，デフォルトの変換パラメータを用いて，取得された位置情報を変換することで，ポインタ５０の表示位置を求める。デフォルトの変換パラメータを用いた位置変換は，例えば，上述の実施の形態１で説明したカメラ画像と画面３１とを対応付けた位置変換や，ユーザがあらかじめ設定したキャリブレーションに基づいた位置変換などである。
【０１０１】
画面３１に環状メニュー６０が表示されていない状態で，文字特定部１５により文字が特定されると，メニュー表示部１６は，環状メニュー６０を，表示装置３０の画面３１における所定の表示位置に所定のサイズで表示する。
【０１０２】
文字が特定されて画面３１に環状メニュー６０が表示されている状態では，ポインタ位置決定部１２は，環状メニュー６０の表示位置とサイズ，字形軌跡５１の位置とサイズ，取得された位置情報に基づいて，表示装置３０の画面３１におけるポインタの表示位置を決定する。具体的には，環状メニュー６０が表示された後では，ポインタ位置決定部１２は，表示された環状メニュー６０の領域の内側の領域に字形軌跡５１が適度な余裕を持って収まるように変換パラメータを求め，取得された位置情報を変換してポインタ５０の表示位置を決定する。
【０１０３】
例えば，字形軌跡５１の外接矩形の中心点を（Ｘc ，Ｙc ），字形軌跡５１を構成する点の中で中心点からの距離が最大となる点と，中心点との距離をＲc とする。また，環状メニュー６０の中心点を（Ｘm ，Ｙm ），環状メニュー６０の領域の内側の領域の半径をＲm とする。このとき，取得された位置情報（ｘ，ｙ）から，ポインタ５０の表示位置（Ｘ，Ｙ）を求める式は，例えば，次の通りとなる。
【０１０４】
Ｘ＝（ｘ−Ｘc ）×Ｒm ×α／Ｒc ＋Ｘm
Ｙ＝（ｙ−Ｙc ）×Ｒm ×α／Ｒc ＋Ｙm
ここで，αは定数であり，１より小さい値を取る。αの値が小さいほど，ユーザの手４０の振りに対してより小さい領域に，ポインタ５０の表示位置が割り当てされる。αの値が小さい場合には，環状メニュー６０を選択しにくくなる反面，ユーザが空中で手４０を動かして文字入力を行う際に，誤ってメニュー選択操作を行ってしまう可能性が低くなる。逆に，αの値が大きい場合には，環状メニュー６０を選択しやすくなる反面，ユーザが空中で手４０を動かして文字入力を行う際に，誤って環状メニュー６０への選択操作を行ってしまう可能性が高くなる。
【０１０５】
図１１は，本実施の形態２による環状メニューの表示を説明する図である。
【０１０６】
図１１（Ａ）は，環状メニュー６０が表示されていないときに，ユーザが手４０の動作によって画面３１上のポインタ５０を動かしている状態を示す。図１１（Ｂ）は，文字特定部１５により文字が特定され，環状メニュー６０が表示された後の状態を示す。
【０１０７】
例えば，ユーザは，空間で手４０を動かすことにより，図１１（Ａ）に示すように，画面３１の右側でポインタ５０を操作して，文字入力を行っているものとする。環状メニュー６０が表示されるまでは，この状態が維持される。
【０１０８】
ユーザが描画した文字が特定されると，環状メニュー６０が所定位置に所定サイズで表示され，ポインタ５０や字形軌跡５１が，表示された環状メニュー６０の領域の内側の領域に表示される。このとき，ユーザは，特に手４０を動作させる位置を大きく変えておらず，当初と同じ空間の位置で手４０を動作させている。文字入力装置１０が，環状メニュー６０や当初の字形軌跡５１から求められた変換パラメータで，自動的にポインタ５０や字形軌跡５１の表示位置を，環状メニュー６０の領域の内側の領域に変換させている。
【０１０９】
以降，環状メニュー６０が画面３１から消去されるまで，文字入力装置１０は，環状メニュー６０の表示時に求められた変換パラメータを用いて，ポインタ５０の表示位置を決定し，表示画面にポインタ５０を表示する。
【０１１０】
図１２は，本実施の形態２の文字入力装置による文字の特定・環状メニュー表示処理フローチャートである。
【０１１１】
文字入力装置１０において，位置情報取得部１１は，トラッキングデバイス２０から，空間におけるユーザの手４０の位置情報を取得する（ステップＳ６０）。
【０１１２】
ポインタ位置決定部１２は，取得された位置情報に対して変換パラメータを用い，表示装置３０の画面３１におけるポインタ５０の表示位置を決定する（ステップＳ６１）。ここでは，ポインタ位置決定部１２は，文字が特定されて環状メニュー６０が表示される前には，デフォルトの変換パラメータを用い，環状メニュー６０が表示された後には，ステップＳ６９で求める変換パラメータを用いる。ポインタ表示部１３は，決定された表示装置３０の画面３１上の表示位置に，ポインタ５０を表示する（ステップＳ６２）。
【０１１３】
文字入力装置１０は，取得した位置情報を，位置情報保持部１４に追加記録する（ステップＳ６３）。字形候補を抽出する対象のユーザの手４０の移動軌跡の情報に，取得した位置情報が追加される。
【０１１４】
文字特定部１５において，字形候補抽出部１５１は，位置情報保持部１４に記憶された連続する位置情報，すなわちユーザの手４０の移動軌跡の情報から，字形候補を抽出する（ステップＳ６４）。文字認識部１５２は，抽出された字形候補に対する文字認識を行う（ステップＳ６５）。字形候補に対する文字認識により，認識された文字の認識確信度が得られる。認識文字特定部１５３は，認識確信度が所定以上であるかを判定する（ステップＳ６６）。認識確信度が所定以上でなければ（ステップＳ６６のＮＯ），文字入力装置１０は，ステップＳ６０の処理に戻り，次のユーザの手４０の位置情報の取得を行う。
【０１１５】
認識確信度が所定以上であれば（ステップＳ６６のＹＥＳ），字形候補に対する文字認識により認識された文字を，ユーザの手４０の移動により描画された文字として特定する（ステップＳ６７）。メニュー表示部１６は，表示装置３０の画面３１の所定の表示位置に，所定のサイズの環状メニュー６０を表示する（ステップＳ６８）。
【０１１６】
ポインタ位置決定部１２は，環状メニュー６０の位置とサイズ，字形軌跡５１の位置とサイズに基づいて，変換パラメータを算出する（ステップＳ６９）。ポインタ位置決定部１２は，算出された変換パラメータを用いて，画面３１に表示されているポインタ５０の変換後の表示位置を決定する（ステップＳ７０）。ポインタ表示部１３は，画面３１に表示されているポインタ５０を削除し，ステップＳ７０で決定された表示位置にポインタ５０を表示する（ステップＳ７１）。ポインタ５０の移動軌跡を画面３１に表示している場合には，その移動軌跡も変換して表示し直す。
【０１１７】
文字特定部１５は，字形候補を抽出する対象の連続する位置情報をリセットする（ステップＳ７２）。文字入力装置１０は，ステップＳ６０の処理に戻り，次のユーザの手４０の位置情報の取得を行う。
【０１１８】
本実施の形態２においても，ユーザにとって得られる利点は，上述の実施の形態１とほぼ同等である。本実施の形態２には，さらに，環状メニュー６０が定位置に出るため，ユーザが見やすくなるという利点がある。
【０１１９】
以上，本実施の形態について説明したが，本発明はその主旨の範囲において種々の変形が可能であることは当然である。
【０１２０】
例えば，本実施の形態では，カメラ映像を用いて空間における特定の物体の位置を取得しているが，これに限るものではない。例えば，ジャイロセンサ，加速度センサ，超音波などを用いて位置取得が可能なユーザが身体に装着する端末機器を含む装置を用いて，空間における特定の物体の位置を取得するようにしてもよい。
【０１２１】
以上の本実施の形態に関し，さらに以下の付記を開示する。
【０１２２】
（付記１）
空間における特定の物体の位置情報を取得する位置情報取得部と，
前記位置情報を蓄積する位置情報保持部と，
前記位置情報に基づいて，表示装置の画面におけるポインタの表示位置を決定するポインタ位置決定部と，
前記決定された表示装置の画面におけるポインタの表示位置に，ポインタを表示するポインタ表示部と，
前記位置情報保持部に蓄積された前記位置情報に基づいて，前記特定の物体の移動により描画された文字を特定する文字特定部と，
前記特定された文字に対応する前記ポインタの移動軌跡を囲む環状メニューを表示するメニュー表示部と，
前記環状メニューと前記ポインタとの位置関係に基づいて，前記環状メニューへの選択操作を判断するメニュー選択部とを備える
ことを特徴とする文字入力装置。
【０１２３】
（付記２）
前記メニュー表示部は，前記特定された文字に対応する前記ポインタの移動軌跡の位置とサイズとに基づいて，前記環状メニューの表示位置とサイズとを決定する
ことを特徴とする付記１に記載の文字入力装置。
【０１２４】
（付記３）
前記メニュー表示部は，前記環状メニューを，所定の表示位置に所定のサイズで表示し，
前記ポインタ位置決定部は，前記環状メニューの表示位置とサイズ，前記特定された文字に対応する前記ポインタの移動軌跡の位置とサイズ，および前記位置情報に基づいて，前記表示装置の画面におけるポインタの表示位置を決定する
ことを特徴とする付記１に記載の文字入力装置。
【０１２５】
（付記４）
前記メニュー選択部は，所定時間内に，前記ポインタが前記環状メニューの領域の内側の領域から前記環状メニューの領域に移動し，さらに前記環状メニューの領域の内側の領域に移動した場合に，前記環状メニューへの選択操作があったと判断する
ことを特徴とする付記１から付記３までのいずれかに記載の文字入力装置。
【０１２６】
（付記５）
前記特定された文字を順に追加して得られる文字列を記憶する文字列保持部と，
前記文字列保持部に記憶された文字列から，入力文字列を予測する文字列予測部と，
前記環状メニューに，前記予測される入力文字列を割り当てる予測文字列割り当て部とを備える
ことを特徴とする付記１から付記４までのいずれかに記載の文字入力装置。
【０１２７】
（付記６）
前記ポインタが，所定時間以上，前記環状メニューの領域，または前記環状メニューの領域の外側の領域にあるときに，前記環状メニューを消去するメニューリセット部を備える
ことを特徴とする付記１から付記５までのいずれかに記載の文字入力装置。
【０１２８】
（付記７）
コンピュータに，
空間における特定の物体の位置情報を取得し，
前記位置情報に基づいて，表示装置の画面におけるポインタの表示位置を決定し，
前記決定された表示装置の画面におけるポインタの表示位置に，ポインタを表示し，
記憶部に蓄積して記憶される前記位置情報に基づいて，前記特定の物体の移動により描画された文字を特定し，
前記特定された文字に対応する前記ポインタの移動軌跡を囲む環状メニューを表示し，
前記環状メニューと前記ポインタとの位置関係に基づいて，前記環状メニューへの選択操作を判断する
処理を実行させるための文字入力プログラム。
【０１２９】
（付記８）
コンピュータが，
空間における特定の物体の位置情報を取得し，
前記位置情報に基づいて，表示装置の画面におけるポインタの表示位置を決定し，
前記決定された表示装置の画面におけるポインタの表示位置に，ポインタを表示し，
記憶部に蓄積して記憶される前記位置情報に基づいて，前記特定の物体の移動により描画された文字を特定し，
前記特定された文字に対応する前記ポインタの移動軌跡を囲む環状メニューを表示し，
前記環状メニューと前記ポインタとの位置関係に基づいて，前記環状メニューへの選択操作を判断する過程を実行する
ことを特徴とする文字入力方法。
【符号の説明】
【０１３０】
１０ 文字入力装置
１１ 位置情報取得部
１２ ポインタ位置決定部
１３ ポインタ表示部
１４ 位置情報保持部
１５ 文字特定部
１５１ 字形候補抽出部
１５２ 文字認識部
１５３ 認識文字特定部
１６ メニュー表示部
１６１ メニュー位置決定部
１７ 文字列保持部
１８ 文字列予測部
１９ 予測文字列割り当て部
１１０ メニュー選択部
１１１ メニューリセット部
２０ トラッキングデバイス
３０ 表示装置
【特許請求の範囲】
【請求項１】
空間における特定の物体の位置情報を取得する位置情報取得部と，
前記位置情報を蓄積する位置情報保持部と，
前記位置情報に基づいて，表示装置の画面におけるポインタの表示位置を決定するポインタ位置決定部と，
前記決定された表示装置の画面におけるポインタの表示位置に，ポインタを表示するポインタ表示部と，
前記位置情報保持部に蓄積された前記位置情報に基づいて，前記特定の物体の移動により描画された文字を特定する文字特定部と，
前記特定された文字に対応する前記ポインタの移動軌跡を囲む環状メニューを表示するメニュー表示部と，
前記環状メニューと前記ポインタとの位置関係に基づいて，前記環状メニューへの選択操作を判断するメニュー選択部とを備える
ことを特徴とする文字入力装置。
【請求項２】
前記メニュー表示部は，前記特定された文字に対応する前記ポインタの移動軌跡の位置とサイズとに基づいて，前記環状メニューの表示位置とサイズとを決定する
ことを特徴とする請求項１に記載の文字入力装置。
【請求項３】
前記メニュー表示部は，前記環状メニューを，所定の表示位置に所定のサイズで表示し，
前記ポインタ位置決定部は，前記環状メニューの表示位置とサイズ，前記特定された文字に対応する前記ポインタの移動軌跡の位置とサイズ，および前記位置情報に基づいて，前記表示装置の画面におけるポインタの表示位置を決定する
ことを特徴とする請求項１に記載の文字入力装置。
【請求項４】
前記メニュー選択部は，所定時間内に，前記ポインタが前記環状メニューの領域の内側の領域から前記環状メニューの領域に移動し，さらに前記環状メニューの領域の内側の領域に移動した場合に，前記環状メニューへの選択操作があったと判断する
ことを特徴とする請求項１から請求項３までのいずれかに記載の文字入力装置。
【請求項５】
前記特定された文字を順に追加して得られる文字列を記憶する文字列保持部と，
前記文字列保持部に記憶された文字列から，入力文字列を予測する文字列予測部と，
前記環状メニューに，前記予測される入力文字列を割り当てる予測文字列割り当て部とを備える
ことを特徴とする請求項１から請求項４までのいずれかに記載の文字入力装置。
【請求項６】
コンピュータに，
空間における特定の物体の位置情報を取得し，
前記位置情報に基づいて，表示装置の画面におけるポインタの表示位置を決定し，
前記決定された表示装置の画面におけるポインタの表示位置に，ポインタを表示し，
記憶部に蓄積して記憶される前記位置情報に基づいて，前記特定の物体の移動により描画された文字を特定し，
前記特定された文字に対応する前記ポインタの移動軌跡を囲む環状メニューを表示し，
前記環状メニューと前記ポインタとの位置関係に基づいて，前記環状メニューへの選択操作を判断する
処理を実行させるための文字入力プログラム。
【請求項７】
コンピュータが，
空間における特定の物体の位置情報を取得し，
前記位置情報に基づいて，表示装置の画面におけるポインタの表示位置を決定し，
前記決定された表示装置の画面におけるポインタの表示位置に，ポインタを表示し，
記憶部に蓄積して記憶される前記位置情報に基づいて，前記特定の物体の移動により描画された文字を特定し，
前記特定された文字に対応する前記ポインタの移動軌跡を囲む環状メニューを表示し，
前記環状メニューと前記ポインタとの位置関係に基づいて，前記環状メニューへの選択操作を判断する過程を実行する
ことを特徴とする文字入力方法。
【請求項１】
空間における特定の物体の位置情報を取得する位置情報取得部と，
前記位置情報を蓄積する位置情報保持部と，
前記位置情報に基づいて，表示装置の画面におけるポインタの表示位置を決定するポインタ位置決定部と，
前記決定された表示装置の画面におけるポインタの表示位置に，ポインタを表示するポインタ表示部と，
前記位置情報保持部に蓄積された前記位置情報に基づいて，前記特定の物体の移動により描画された文字を特定する文字特定部と，
前記特定された文字に対応する前記ポインタの移動軌跡を囲む環状メニューを表示するメニュー表示部と，
前記環状メニューと前記ポインタとの位置関係に基づいて，前記環状メニューへの選択操作を判断するメニュー選択部とを備える
ことを特徴とする文字入力装置。
【請求項２】
前記メニュー表示部は，前記特定された文字に対応する前記ポインタの移動軌跡の位置とサイズとに基づいて，前記環状メニューの表示位置とサイズとを決定する
ことを特徴とする請求項１に記載の文字入力装置。
【請求項３】
前記メニュー表示部は，前記環状メニューを，所定の表示位置に所定のサイズで表示し，
前記ポインタ位置決定部は，前記環状メニューの表示位置とサイズ，前記特定された文字に対応する前記ポインタの移動軌跡の位置とサイズ，および前記位置情報に基づいて，前記表示装置の画面におけるポインタの表示位置を決定する
ことを特徴とする請求項１に記載の文字入力装置。
【請求項４】
前記メニュー選択部は，所定時間内に，前記ポインタが前記環状メニューの領域の内側の領域から前記環状メニューの領域に移動し，さらに前記環状メニューの領域の内側の領域に移動した場合に，前記環状メニューへの選択操作があったと判断する
ことを特徴とする請求項１から請求項３までのいずれかに記載の文字入力装置。
【請求項５】
前記特定された文字を順に追加して得られる文字列を記憶する文字列保持部と，
前記文字列保持部に記憶された文字列から，入力文字列を予測する文字列予測部と，
前記環状メニューに，前記予測される入力文字列を割り当てる予測文字列割り当て部とを備える
ことを特徴とする請求項１から請求項４までのいずれかに記載の文字入力装置。
【請求項６】
コンピュータに，
空間における特定の物体の位置情報を取得し，
前記位置情報に基づいて，表示装置の画面におけるポインタの表示位置を決定し，
前記決定された表示装置の画面におけるポインタの表示位置に，ポインタを表示し，
記憶部に蓄積して記憶される前記位置情報に基づいて，前記特定の物体の移動により描画された文字を特定し，
前記特定された文字に対応する前記ポインタの移動軌跡を囲む環状メニューを表示し，
前記環状メニューと前記ポインタとの位置関係に基づいて，前記環状メニューへの選択操作を判断する
処理を実行させるための文字入力プログラム。
【請求項７】
コンピュータが，
空間における特定の物体の位置情報を取得し，
前記位置情報に基づいて，表示装置の画面におけるポインタの表示位置を決定し，
前記決定された表示装置の画面におけるポインタの表示位置に，ポインタを表示し，
記憶部に蓄積して記憶される前記位置情報に基づいて，前記特定の物体の移動により描画された文字を特定し，
前記特定された文字に対応する前記ポインタの移動軌跡を囲む環状メニューを表示し，
前記環状メニューと前記ポインタとの位置関係に基づいて，前記環状メニューへの選択操作を判断する過程を実行する
ことを特徴とする文字入力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−３００５７（Ｐ２０１３−３００５７Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６６７３３（Ｐ２０１１−１６６７３３）
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]