文字変換システム
【課題】文字変換を行う際、ユーザが注視している部分のみを変換対象にし、効率的なかな漢字変換を行う。
【解決手段】表示領域分割部３５は、表示部２０で表示している文章について、文節・文章の分割を行うこともできる機能部である。分割を行った結果は、視線入力集計部４０に転送される。視線入力集計部４０は、視線入力部１５から処理部２５を経由して入力されたユーザの視線情報と、表示領域分割部３５によって作成された画面の分割結果に応じて、分割領域毎の視線入力のサンプリングを行い、その集計を行う機能部である。かな漢字変換部４５は、キー入力部１０から処理部２５を経由して入力されたユーザのキー入力情報と、視線入力集計部４０が作成した集計結果に基づいてユーザが注目していると推定される分割領域を最小単位として、かな漢字変換を行う機能部である。変換した結果は、表示部２０における実際の表示に反映されるように構成されている。
【解決手段】表示領域分割部３５は、表示部２０で表示している文章について、文節・文章の分割を行うこともできる機能部である。分割を行った結果は、視線入力集計部４０に転送される。視線入力集計部４０は、視線入力部１５から処理部２５を経由して入力されたユーザの視線情報と、表示領域分割部３５によって作成された画面の分割結果に応じて、分割領域毎の視線入力のサンプリングを行い、その集計を行う機能部である。かな漢字変換部４５は、キー入力部１０から処理部２５を経由して入力されたユーザのキー入力情報と、視線入力集計部４０が作成した集計結果に基づいてユーザが注目していると推定される分割領域を最小単位として、かな漢字変換を行う機能部である。変換した結果は、表示部２０における実際の表示に反映されるように構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は文字変換システムに関し、特に、視線情報を用いた効率的な文字変換システムに関する。
【背景技術】
【０００２】
一般的に、日本語の文書を入力する場合は、キーボードから「かな文字」又は「ローマ字」を入力し、入力した文字列に対して、かな漢字変換等の変換システムが漢字混じりの正しい文章に変換するようになっている。また、文章を入力する際には、キーボード入力以外に視線情報を検出してこれを入力として用い、文字入力の効率化を図ることが行われている。これらの文字変換装置に関しては、下記特許文献１に記載の技術が知られている。この技術では、視線による位置入力とキーボードによる文字入力とを組み合わせることにより、効率の良い文字入力を行うことができる。
【０００３】
【特許文献１】特開平４−２８９９１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の技術に関しては、以下のような問題点があった。すなわち、特許文献１に記載された技術では、視線入力を入力位置を特定するために用いているため文字の入力は効率化が可能であるが、かな漢字変換のような、ある範囲を特定して操作を行うものに応用することができなかった。
【０００５】
本発明は、かな漢字変換を適切に行うことを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一観点によれば、文章データを入力する文章データ入力部と、該文章データ入力部により入力され表示部に表示された文章データの表示文字サイズ単位で前記表示部を複数に分割する表示領域分割部と、該表示領域分割部により分割された分割領域に対する視線入力装置による視線入力をあるサンプリング時間単位で集計していく視線入力集計部と、該視線入力の集計度が高い分割領域に着目して文字変換を行う文字変換部と、を備えることを特徴とする文字変換装置が提供される。これにより、ユーザの視線入力に基づく注目位置を特定することができるため、ユーザが注視している部分のみを変換対象にし、効率的な、かな漢字変換を行うことができる。サンプリング毎に視線周辺の文節における集計度を増加させ、それ以外の領域における集計度を減少させることが好ましい。これにより、再変換による文節の移動を抑制することができる。
【０００７】
また、前記視線入力の集計度が高い分割領域と、該領域の前後にわたる領域とを、文節変換領域と推定する文節変換領域推定部を有するようにしても良い。前記視線入力位置と、文字変換のカーソルの表示位置と、の距離に応じて、再変換処理の種別を変更するようにしても良い。この際、前記距離が例えば１行分程度しか離れていないなど近いと判断される場合には前記入力位置における文字変換を行い、前記距離が例えば３〜５行以上離れているなど遠いと判断される場合には前記入力位置における文字変換を行わないようにすると良い。上記文字変換装置は、表示部の比較的小さい携帯端末装置に適用すると便利である。
【発明の効果】
【０００８】
本発明によれば、入力された文章データを表示している部分について、適切な大きさに分割し、分割した文章ごとに視線入力の頻度を集計することができる。
【０００９】
したがって、文字変換を行う際、ユーザが注視している部分のみを変換対象にし、効率的なかな漢字変換を行うことが出来る。
【発明を実施するための最良の形態】
【００１０】
まず、本発明の実施の形態による文字変換技術について説明する前に、本発明者の行った考察について説明を行う。発明者は、視線入力（視線検出）情報のサンプリング時間を、一般的な文字入力よりも十分に短い時間とし、ある期間、例えば１秒間における視線検出情報を集計することを思い付いた。また、視線入力の位置情報として、表示部を表示している文字に相当する多数の小領域に分割し、分割領域にＩＤを付すことにより、上記１秒間における分割領域への視線検出の累計（集計）を行うことで、ユーザの思惑を推定することができることに想到した。
【００１１】
以下、本発明の一実施の形態による文字変換技術について、かな漢字変換装置を例とし、図面を参照しながら説明を行う。
【００１２】
図１は、本発明の一実施の形態によるかな漢字変換装置について、携帯電話機に適用した場合を例として示した機能ブロック図である。図２は、携帯電話機の外観構成例を示す図である。尚、本実施の形態においては、携帯電話に適用した場合について説明するが、本発明が適用可能な装置は携帯電話に限定されるものではなく、例えば、パーソナルコンピュータ（ＰＣ）やワードプロセッサーなどの各種情報処理装置にも適用可能である。
【００１３】
図１及び図２に示すように、本実施の形態による携帯電話機１は、キー入力部１０と、視線入力部１５と、表示部２０と、処理部２５と、キー入力解析部３０と、表示領域分割部３５と、視線入力集計部４０と、かな漢字変換部４５と、を備えて構成されている。
【００１４】
キー入力部１０は、携帯電話１に対してユーザから指示・操作等の文字入力を行うための機能部である。例えば、ダイヤルボタンやタッチパネル等により構成されている。
【００１５】
視線入力部１５は、携帯電話１に対してユーザの視線情報を入力するための機能部である。例えば、表示部２０側に設けられたカメラ（ＣＣＤ・ＣＭＯＳ）等で構成されている。
【００１６】
表示部２０は、携帯電話１からユーザに対して入力した文字列やかな漢字変換の結果を表示するための機能部である。例えば液晶ディスプレイ（ＬＣＤ）や、有機ＥＬディスプレイ等で構成されている。
【００１７】
処理部２５は、ユーザの操作（入力）および文章データを、キー入力部１０、視線入力部１５から受け取り、各処理部に転送する機能を有する。
【００１８】
キー入力解析部３０は、キー入力部１０からキー入力を受け取り、文章へ変換して表示部２０に転送する機能部である。また、キー入力に応じてかな漢字変換部４５を制御する機能部である。
【００１９】
表示領域分割部３５は、表示部２０で表示している文章について、例えば文字の大きさを基準として、表示領域を分割するとともに、文節・文章の分割を行うこともできる機能部である。分割を行った結果は、視線入力集計部４０に転送される。
【００２０】
視線入力集計部４０は、視線入力部１５から処理部２０を経由して入力されたユーザの視線情報と、表示領域分割部３５によって作成された画面の分割結果に応じて、分割領域毎の視線入力のサンプリングを行い、その集計を行う機能部である。
【００２１】
かな漢字変換部４５は、キー入力部１０から処理部２５を経由して入力されたユーザのキー入力情報と、視線入力集計部４０が作成した集計結果に基づいてユーザが注目していると推定される分割領域を最小単位として得られたかな漢字変換対象となる範囲について、実際のかな漢字変換を行う機能部である。変換した結果は、表示部２０における実際の表示に反映されるように構成されている。
【００２２】
ここで、本実施の形態による文字変換技術の動作について、説明する。図３は、本実施の形態による文字変換処理の流れを示すフローチャート図である。まず、キー入力部１０がキー入力されたデータを取得する（ステップＳ１０）。ここで、キー入力部１０が取得するキー入力データは、キー操作により入力されたデータの他に、ディスク（媒体）やネットワークなどの媒介によるデータをも含む。
【００２３】
キー入力解析部３０は、キー入力データを表示部２０に転送し、結果の表示を行う。また、その結果をもとに、表示領域分割部３５は、画面を分割する。分割画面の作成については、現在表示されている１文字が占める範囲の大きさを予め計算しておき、その領域単位で表示画面部を分割するのが好ましい。例えば、４８０×８００ドットの表示画面全体にサイズ２０×２０ドットの範囲を有する文字が表示されていた場合には、２４×４０の単位で表示部が領域分割される。この分割された範囲、実際には４隅の（ｘ，ｙ）座標により特定される範囲に対して一意のＩＤを付して、内部メモリに保持しておく。尚、画面に表示されている文字のサイズが複数存在した場合、一番大きいものを採用する。例えば、上付、下付などの添え字をメインにして分割することは好ましくないためである。さらに、表示している文章について、文節・文章の分割領域単位で特定するデータも生成しておく（ステップＳ１２）。
【００２４】
視線入力部１５は、ユーザの視線情報を取得する。具体的には、画面の上の分割された上記分割領域のＩＤにより特定することができる（ステップＳ１４）。図５は、画面の分割されている様子を示す図である。図５の左では、表示画面２０が８×１２の領域に分割され、それぞれの領域に一意のＩＤが付されている。 視線入力集計部４０は、視線入力部１５により取得した視線が、表示領域分割部３５で作成した分割領域のどこに位置するか（分割領域のＩＤで示すことが出来る）の集計を時間軸上で集計する。具体的には、図６に示すように、サンプリング時間の単位を定め（例えば、１０ｍｓ）、そのサンプル時間１０ｍｓ毎にいずれの分割領域に視線が当たっているか、すなわち、どの分割領域が注目されているかを調べる。例えば、サンプリングを開始した０〜１０ｍｓでは、図５に示す分割領域（ＩＤ＝３２）において視点が当たっており（図５の中の図）、さらに、１１〜２０ｍｓ、２１〜３０ｍｓのサンプリングタイムにおいても、同じＩＤ＝３２に視線があたり、図６に示すように、ＩＤ＝３２の分割領域における視線の注視度（累積度）は３になっている。次の３１から４０ｍｓでは、例えば、分割領域ＩＤ＝３１に視線が、次いでＩＤ＝３３に視線が当たると、それぞれ累積度が１になる。このようにして、例えば１ｓ間において１００のうちの１０ずつが、それぞれの分割領域のいずれかに割り振られる。累積度（集計）が大きい分割領域ほど注目されている領域と推定できる。
【００２５】
次に、該当する分割単位（および周辺）の注目度を一定値だけ加算する。例えば、図７に示すように、初期状態では、各分割領域における注視度（累積度）は全て“０”であるが、矢印（１）に示すように、視線が当たる領域について注視度（累積度）が“１”となる（視線１）。次いで、視線１と同じ位置に視線が当たると、矢印（２）に示すように、累積度は“２”になる。その後、それ以外の分割単位については、一定値だけ減算する。
【００２６】
すなわち、図７に矢印（３）で示すように、視点が２から３に移動すると、視点２における注視度（累積度）は“２”から“１”に減算され、視点３における注視度（累積度）は“０”から“１”に増加する。このように、サンプリング毎に視点周辺の文節の注視度（累積度）を加算し、それ以外の注視度（累積度）を減算するようにしても良い（この処理は任意に行うことができる）。このようにすれば、携帯電話機などのように入力機能が十分でないような携帯端末装置であっても、再変換による文節の移動を抑制することができる。
【００２７】
すなわち、従来のシステムでは、再変換の際に意図しない前の文節まで変換し、カーソルもその文節に移動してしまうという問題があった。再変換による文節の移動を抑制することにより、意図しない不要な変換処理が発生することに起因するＣＰＵリソースの無駄使いや、カーソル移動によるユーザインタフェース上における不便さの発生を抑えることができる。
【００２８】
このようにすると、直近に注視していた点およびその周辺の値が高くなる（ステップＳ１６）。また、文章の校正以外の用途でシステムが動いている場合（例えば、閲覧時）は、同時にキー入力解析部において、文字入力の頻度（履歴）を記録しておくことで、上記の処理が不要か否かを判断し、不要な処理を行わないで済ますことができる。すなわち、文字入力の頻度が極めて少ない場合には、編集処理等ではなく単なる閲覧処理と判断し、文章の構成を主目的とした上記の処理を行わないようにする。
【００２９】
視線入力集計部４０は、ステップＳ１６で求めた集計結果と表示領域分割部３５により分割された分割領域データ（ＩＤ等）をもとに、視線が集中している範囲を特定する。具体的には、分割単位の注目度が一番高い点から、閾値を上回る前後の文までの範囲を抽出する（ステップＳ１８）。ここで集計の過程を具体的な例について図４を参照しながら説明を行う。図４は、図３のステップＳ１６に示す処理の詳細を示すフローチャート図である。例えば、幅ｗ＝４８０、高さｈ＝８００の画面において、文字サイズｐ＝２０の文字が全画面で描画されていた場合を考えると、注視度はＸｉｊ（０＜＝ｉ＜２４，０＜＝ｊ＜４０）の行列になる。
１）ステップ１６−１：最初にＸｉｊの要素を全て０にする。
２）ステップ１６−２：単位時間１０ｍｓ毎に、視線入力部から座標データを取得する。
３）ステップ１６−３：座標データを、定義された文字サイズで除算し、この座標データに基づいて、分割領域中の注視領域を求める。例えば、１０ｍｓ毎に視線入力部から座標データ（０＜＝ｘ＜４８０，０＜＝ｙ＝８００）を受け取り、あらかじめ定義した文字のサイズで割る（小数点切り上げ）ことで、行列のどの要素に該当するかを計算する。例えば、ｘ＝１６，ｙ＝７２のデータをサンプルした場合、ｉ＝０，ｊ＝３の要素が注視されていることになる。
４）１６−４：注視領域を分割領域のＩＤと対応させて記憶する。
６）ステップ１６−５：次に、注視した要素が確定したため、ｉ＝０，ｊ＝３の要素に１を加算する。
７）ステップ１６−６：次に、注視した要素の周辺を求めるため、表示領域分割部３５の分割結果をもとに、確定した要素の属する文を求める。より具体的には、まず該当する座標の前（この場合、ｉ＝０，ｊ＝４以前）を順にさかのぼり（ｉ＝１９，ｊ＝３、ｉ＝１８，ｊ＝３．．．）、要素の文字が注視している文字と同じ文節に属している限り、同じように要素に１を加算する。同様に該当する座標の後についても注視している文字と同じ文節に属している限り、要素に１を加算する。
８）ステップ１６−７：要素の文字が注視している文字と同じ文節に属するか否かを判定する。Ｙｅｓであれば、ステップ１６−５に戻る。Ｎｏの場合には、ステップ１６−８に進み、要素を加算しなかった要素（＝注視されていないと思われる要素）全てに対して、“１”を減算する。
９）ステップ１６−９：次の時間があれば、ステップ１６−２に進み（Ｙｅｓ）、無ければ処理を終了する（１６−１０）。
【００３０】
以下、１０ｍｓ毎に上記２）の処理から繰り返して行う。
【００３１】
実際にかな漢字変換が行われる場合には、変換範囲はＸｉｊの値が（例えば）５０以上の範囲に対してのみ行うようにすることにより、変換範囲を限定することができる。
【００３２】
図３に戻り、かな漢字変換部４５は、キー入力解析部３０によって生成された文字列と、視線入力集計部４０によって生成された変換範囲をもとに、かな漢字変換の範囲を決定する（ステップＳ２０）。かな漢字変換部４５は、ステップＳ２０で特定した範囲に対してかな漢字変換を行う（ステップＳ２２）。表示部２０は、表示するべきかな漢字変換の結果を画面に表示する（ステップＳ２４）。
【００３３】
図８は、本実施の形態による文字変換処理による表示の遷移例を示す図である。図８に示すように、符号２０で示す表示画面に文字を入力する。ここで、符号１１）で示すように視線入力を併用した再変換（１）では、注視範囲（視線有効範囲）Ａ１と、入力位置１０３と、が近い表示１０５となっている。この場合には、ユーザは、該当部分１０５のみの変換を求めていると判断できる。符号１２）で示すように、注視範囲（視線有効範囲）Ａ２と、入力位置１０３と、が遠い表示１０７となっている。この場合には、ユーザが推敲を行っており、該当する範囲１０７の文脈に沿って再変換を求めている可能性があると判断される。符号１３）に示すように、一般的な再変換では、有効視線範囲と入力位置とが１１）と１２）との間程度離れているため、１１）と１２）とのいずれを求めているかを判断しにくい（通常の再変換処理）。このように、視線有効範囲と入力位置との距離により、ユーザの意図をある程度は推定することができる。
【００３４】
このように、本実施の形態による文字変換装置によれば、文章を推敲する際等に、ユーザが意図しない部分におけるかな漢字変換を行うことなく、真にユーザが意図する領域のみについてかな漢字変換を行うことにより、効率的な文字変換処理を行うことができる。具体的には、かな漢字変換システムの辞書検索において、特定した範囲に関連する語彙の検索処理をあらかじめ行っておき、ユーザへのレスポンスを向上させることや、携帯電話などの入力がプアな端末においても、煩雑な再変換の修正といった余計な操作を行うことができる。
【００３５】
尚、上述した実施の形態では、文章表示装置の一例として、携帯電話を例として説明したが、これに限られず、例えばＰＤＡ等の携帯型小型情報端末や、コンピュータ等においても適用可能なことは勿論である。
【産業上の利用可能性】
【００３６】
本発明は、文字変換装置に利用可能である。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施の形態によるかな漢字変換装置について、携帯電話機に適用した場合を例として示した機能ブロック図である。
【図２】携帯電話機の外観構成例を示す図である。
【図３】本実施の形態による文字変換処理の流れを示すフローチャート図である。
【図４】図３のステップＳ１６に示す処理の詳細を示すフローチャート図である。
【図５】画面が分割されている様子を示す図である。
【図６】サンプリング時間の単位を定め、そのサンプル時間１０ｍｓ毎にいずれの分割領域に視線が当たっているか、すなわち、どの分割領域が注目されているかを調べたリストである。
【図７】該当する分割単位における視線領域及びその周辺の注目度に関する処理例を示す図である。
【図８】本実施の形態による文字変換処理による表示の遷移例を示す図である。
【符号の説明】
【００３８】
１ 携帯電話
１０ キー入力部
１５ 視線入力部
２０ 表示部
２５ 処理部
３０ キー入力解析部
３５ 表示領域分割部
４０ 視線入力集計部
４５ かな漢字変換部
【技術分野】
【０００１】
本発明は文字変換システムに関し、特に、視線情報を用いた効率的な文字変換システムに関する。
【背景技術】
【０００２】
一般的に、日本語の文書を入力する場合は、キーボードから「かな文字」又は「ローマ字」を入力し、入力した文字列に対して、かな漢字変換等の変換システムが漢字混じりの正しい文章に変換するようになっている。また、文章を入力する際には、キーボード入力以外に視線情報を検出してこれを入力として用い、文字入力の効率化を図ることが行われている。これらの文字変換装置に関しては、下記特許文献１に記載の技術が知られている。この技術では、視線による位置入力とキーボードによる文字入力とを組み合わせることにより、効率の良い文字入力を行うことができる。
【０００３】
【特許文献１】特開平４−２８９９１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の技術に関しては、以下のような問題点があった。すなわち、特許文献１に記載された技術では、視線入力を入力位置を特定するために用いているため文字の入力は効率化が可能であるが、かな漢字変換のような、ある範囲を特定して操作を行うものに応用することができなかった。
【０００５】
本発明は、かな漢字変換を適切に行うことを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一観点によれば、文章データを入力する文章データ入力部と、該文章データ入力部により入力され表示部に表示された文章データの表示文字サイズ単位で前記表示部を複数に分割する表示領域分割部と、該表示領域分割部により分割された分割領域に対する視線入力装置による視線入力をあるサンプリング時間単位で集計していく視線入力集計部と、該視線入力の集計度が高い分割領域に着目して文字変換を行う文字変換部と、を備えることを特徴とする文字変換装置が提供される。これにより、ユーザの視線入力に基づく注目位置を特定することができるため、ユーザが注視している部分のみを変換対象にし、効率的な、かな漢字変換を行うことができる。サンプリング毎に視線周辺の文節における集計度を増加させ、それ以外の領域における集計度を減少させることが好ましい。これにより、再変換による文節の移動を抑制することができる。
【０００７】
また、前記視線入力の集計度が高い分割領域と、該領域の前後にわたる領域とを、文節変換領域と推定する文節変換領域推定部を有するようにしても良い。前記視線入力位置と、文字変換のカーソルの表示位置と、の距離に応じて、再変換処理の種別を変更するようにしても良い。この際、前記距離が例えば１行分程度しか離れていないなど近いと判断される場合には前記入力位置における文字変換を行い、前記距離が例えば３〜５行以上離れているなど遠いと判断される場合には前記入力位置における文字変換を行わないようにすると良い。上記文字変換装置は、表示部の比較的小さい携帯端末装置に適用すると便利である。
【発明の効果】
【０００８】
本発明によれば、入力された文章データを表示している部分について、適切な大きさに分割し、分割した文章ごとに視線入力の頻度を集計することができる。
【０００９】
したがって、文字変換を行う際、ユーザが注視している部分のみを変換対象にし、効率的なかな漢字変換を行うことが出来る。
【発明を実施するための最良の形態】
【００１０】
まず、本発明の実施の形態による文字変換技術について説明する前に、本発明者の行った考察について説明を行う。発明者は、視線入力（視線検出）情報のサンプリング時間を、一般的な文字入力よりも十分に短い時間とし、ある期間、例えば１秒間における視線検出情報を集計することを思い付いた。また、視線入力の位置情報として、表示部を表示している文字に相当する多数の小領域に分割し、分割領域にＩＤを付すことにより、上記１秒間における分割領域への視線検出の累計（集計）を行うことで、ユーザの思惑を推定することができることに想到した。
【００１１】
以下、本発明の一実施の形態による文字変換技術について、かな漢字変換装置を例とし、図面を参照しながら説明を行う。
【００１２】
図１は、本発明の一実施の形態によるかな漢字変換装置について、携帯電話機に適用した場合を例として示した機能ブロック図である。図２は、携帯電話機の外観構成例を示す図である。尚、本実施の形態においては、携帯電話に適用した場合について説明するが、本発明が適用可能な装置は携帯電話に限定されるものではなく、例えば、パーソナルコンピュータ（ＰＣ）やワードプロセッサーなどの各種情報処理装置にも適用可能である。
【００１３】
図１及び図２に示すように、本実施の形態による携帯電話機１は、キー入力部１０と、視線入力部１５と、表示部２０と、処理部２５と、キー入力解析部３０と、表示領域分割部３５と、視線入力集計部４０と、かな漢字変換部４５と、を備えて構成されている。
【００１４】
キー入力部１０は、携帯電話１に対してユーザから指示・操作等の文字入力を行うための機能部である。例えば、ダイヤルボタンやタッチパネル等により構成されている。
【００１５】
視線入力部１５は、携帯電話１に対してユーザの視線情報を入力するための機能部である。例えば、表示部２０側に設けられたカメラ（ＣＣＤ・ＣＭＯＳ）等で構成されている。
【００１６】
表示部２０は、携帯電話１からユーザに対して入力した文字列やかな漢字変換の結果を表示するための機能部である。例えば液晶ディスプレイ（ＬＣＤ）や、有機ＥＬディスプレイ等で構成されている。
【００１７】
処理部２５は、ユーザの操作（入力）および文章データを、キー入力部１０、視線入力部１５から受け取り、各処理部に転送する機能を有する。
【００１８】
キー入力解析部３０は、キー入力部１０からキー入力を受け取り、文章へ変換して表示部２０に転送する機能部である。また、キー入力に応じてかな漢字変換部４５を制御する機能部である。
【００１９】
表示領域分割部３５は、表示部２０で表示している文章について、例えば文字の大きさを基準として、表示領域を分割するとともに、文節・文章の分割を行うこともできる機能部である。分割を行った結果は、視線入力集計部４０に転送される。
【００２０】
視線入力集計部４０は、視線入力部１５から処理部２０を経由して入力されたユーザの視線情報と、表示領域分割部３５によって作成された画面の分割結果に応じて、分割領域毎の視線入力のサンプリングを行い、その集計を行う機能部である。
【００２１】
かな漢字変換部４５は、キー入力部１０から処理部２５を経由して入力されたユーザのキー入力情報と、視線入力集計部４０が作成した集計結果に基づいてユーザが注目していると推定される分割領域を最小単位として得られたかな漢字変換対象となる範囲について、実際のかな漢字変換を行う機能部である。変換した結果は、表示部２０における実際の表示に反映されるように構成されている。
【００２２】
ここで、本実施の形態による文字変換技術の動作について、説明する。図３は、本実施の形態による文字変換処理の流れを示すフローチャート図である。まず、キー入力部１０がキー入力されたデータを取得する（ステップＳ１０）。ここで、キー入力部１０が取得するキー入力データは、キー操作により入力されたデータの他に、ディスク（媒体）やネットワークなどの媒介によるデータをも含む。
【００２３】
キー入力解析部３０は、キー入力データを表示部２０に転送し、結果の表示を行う。また、その結果をもとに、表示領域分割部３５は、画面を分割する。分割画面の作成については、現在表示されている１文字が占める範囲の大きさを予め計算しておき、その領域単位で表示画面部を分割するのが好ましい。例えば、４８０×８００ドットの表示画面全体にサイズ２０×２０ドットの範囲を有する文字が表示されていた場合には、２４×４０の単位で表示部が領域分割される。この分割された範囲、実際には４隅の（ｘ，ｙ）座標により特定される範囲に対して一意のＩＤを付して、内部メモリに保持しておく。尚、画面に表示されている文字のサイズが複数存在した場合、一番大きいものを採用する。例えば、上付、下付などの添え字をメインにして分割することは好ましくないためである。さらに、表示している文章について、文節・文章の分割領域単位で特定するデータも生成しておく（ステップＳ１２）。
【００２４】
視線入力部１５は、ユーザの視線情報を取得する。具体的には、画面の上の分割された上記分割領域のＩＤにより特定することができる（ステップＳ１４）。図５は、画面の分割されている様子を示す図である。図５の左では、表示画面２０が８×１２の領域に分割され、それぞれの領域に一意のＩＤが付されている。 視線入力集計部４０は、視線入力部１５により取得した視線が、表示領域分割部３５で作成した分割領域のどこに位置するか（分割領域のＩＤで示すことが出来る）の集計を時間軸上で集計する。具体的には、図６に示すように、サンプリング時間の単位を定め（例えば、１０ｍｓ）、そのサンプル時間１０ｍｓ毎にいずれの分割領域に視線が当たっているか、すなわち、どの分割領域が注目されているかを調べる。例えば、サンプリングを開始した０〜１０ｍｓでは、図５に示す分割領域（ＩＤ＝３２）において視点が当たっており（図５の中の図）、さらに、１１〜２０ｍｓ、２１〜３０ｍｓのサンプリングタイムにおいても、同じＩＤ＝３２に視線があたり、図６に示すように、ＩＤ＝３２の分割領域における視線の注視度（累積度）は３になっている。次の３１から４０ｍｓでは、例えば、分割領域ＩＤ＝３１に視線が、次いでＩＤ＝３３に視線が当たると、それぞれ累積度が１になる。このようにして、例えば１ｓ間において１００のうちの１０ずつが、それぞれの分割領域のいずれかに割り振られる。累積度（集計）が大きい分割領域ほど注目されている領域と推定できる。
【００２５】
次に、該当する分割単位（および周辺）の注目度を一定値だけ加算する。例えば、図７に示すように、初期状態では、各分割領域における注視度（累積度）は全て“０”であるが、矢印（１）に示すように、視線が当たる領域について注視度（累積度）が“１”となる（視線１）。次いで、視線１と同じ位置に視線が当たると、矢印（２）に示すように、累積度は“２”になる。その後、それ以外の分割単位については、一定値だけ減算する。
【００２６】
すなわち、図７に矢印（３）で示すように、視点が２から３に移動すると、視点２における注視度（累積度）は“２”から“１”に減算され、視点３における注視度（累積度）は“０”から“１”に増加する。このように、サンプリング毎に視点周辺の文節の注視度（累積度）を加算し、それ以外の注視度（累積度）を減算するようにしても良い（この処理は任意に行うことができる）。このようにすれば、携帯電話機などのように入力機能が十分でないような携帯端末装置であっても、再変換による文節の移動を抑制することができる。
【００２７】
すなわち、従来のシステムでは、再変換の際に意図しない前の文節まで変換し、カーソルもその文節に移動してしまうという問題があった。再変換による文節の移動を抑制することにより、意図しない不要な変換処理が発生することに起因するＣＰＵリソースの無駄使いや、カーソル移動によるユーザインタフェース上における不便さの発生を抑えることができる。
【００２８】
このようにすると、直近に注視していた点およびその周辺の値が高くなる（ステップＳ１６）。また、文章の校正以外の用途でシステムが動いている場合（例えば、閲覧時）は、同時にキー入力解析部において、文字入力の頻度（履歴）を記録しておくことで、上記の処理が不要か否かを判断し、不要な処理を行わないで済ますことができる。すなわち、文字入力の頻度が極めて少ない場合には、編集処理等ではなく単なる閲覧処理と判断し、文章の構成を主目的とした上記の処理を行わないようにする。
【００２９】
視線入力集計部４０は、ステップＳ１６で求めた集計結果と表示領域分割部３５により分割された分割領域データ（ＩＤ等）をもとに、視線が集中している範囲を特定する。具体的には、分割単位の注目度が一番高い点から、閾値を上回る前後の文までの範囲を抽出する（ステップＳ１８）。ここで集計の過程を具体的な例について図４を参照しながら説明を行う。図４は、図３のステップＳ１６に示す処理の詳細を示すフローチャート図である。例えば、幅ｗ＝４８０、高さｈ＝８００の画面において、文字サイズｐ＝２０の文字が全画面で描画されていた場合を考えると、注視度はＸｉｊ（０＜＝ｉ＜２４，０＜＝ｊ＜４０）の行列になる。
１）ステップ１６−１：最初にＸｉｊの要素を全て０にする。
２）ステップ１６−２：単位時間１０ｍｓ毎に、視線入力部から座標データを取得する。
３）ステップ１６−３：座標データを、定義された文字サイズで除算し、この座標データに基づいて、分割領域中の注視領域を求める。例えば、１０ｍｓ毎に視線入力部から座標データ（０＜＝ｘ＜４８０，０＜＝ｙ＝８００）を受け取り、あらかじめ定義した文字のサイズで割る（小数点切り上げ）ことで、行列のどの要素に該当するかを計算する。例えば、ｘ＝１６，ｙ＝７２のデータをサンプルした場合、ｉ＝０，ｊ＝３の要素が注視されていることになる。
４）１６−４：注視領域を分割領域のＩＤと対応させて記憶する。
６）ステップ１６−５：次に、注視した要素が確定したため、ｉ＝０，ｊ＝３の要素に１を加算する。
７）ステップ１６−６：次に、注視した要素の周辺を求めるため、表示領域分割部３５の分割結果をもとに、確定した要素の属する文を求める。より具体的には、まず該当する座標の前（この場合、ｉ＝０，ｊ＝４以前）を順にさかのぼり（ｉ＝１９，ｊ＝３、ｉ＝１８，ｊ＝３．．．）、要素の文字が注視している文字と同じ文節に属している限り、同じように要素に１を加算する。同様に該当する座標の後についても注視している文字と同じ文節に属している限り、要素に１を加算する。
８）ステップ１６−７：要素の文字が注視している文字と同じ文節に属するか否かを判定する。Ｙｅｓであれば、ステップ１６−５に戻る。Ｎｏの場合には、ステップ１６−８に進み、要素を加算しなかった要素（＝注視されていないと思われる要素）全てに対して、“１”を減算する。
９）ステップ１６−９：次の時間があれば、ステップ１６−２に進み（Ｙｅｓ）、無ければ処理を終了する（１６−１０）。
【００３０】
以下、１０ｍｓ毎に上記２）の処理から繰り返して行う。
【００３１】
実際にかな漢字変換が行われる場合には、変換範囲はＸｉｊの値が（例えば）５０以上の範囲に対してのみ行うようにすることにより、変換範囲を限定することができる。
【００３２】
図３に戻り、かな漢字変換部４５は、キー入力解析部３０によって生成された文字列と、視線入力集計部４０によって生成された変換範囲をもとに、かな漢字変換の範囲を決定する（ステップＳ２０）。かな漢字変換部４５は、ステップＳ２０で特定した範囲に対してかな漢字変換を行う（ステップＳ２２）。表示部２０は、表示するべきかな漢字変換の結果を画面に表示する（ステップＳ２４）。
【００３３】
図８は、本実施の形態による文字変換処理による表示の遷移例を示す図である。図８に示すように、符号２０で示す表示画面に文字を入力する。ここで、符号１１）で示すように視線入力を併用した再変換（１）では、注視範囲（視線有効範囲）Ａ１と、入力位置１０３と、が近い表示１０５となっている。この場合には、ユーザは、該当部分１０５のみの変換を求めていると判断できる。符号１２）で示すように、注視範囲（視線有効範囲）Ａ２と、入力位置１０３と、が遠い表示１０７となっている。この場合には、ユーザが推敲を行っており、該当する範囲１０７の文脈に沿って再変換を求めている可能性があると判断される。符号１３）に示すように、一般的な再変換では、有効視線範囲と入力位置とが１１）と１２）との間程度離れているため、１１）と１２）とのいずれを求めているかを判断しにくい（通常の再変換処理）。このように、視線有効範囲と入力位置との距離により、ユーザの意図をある程度は推定することができる。
【００３４】
このように、本実施の形態による文字変換装置によれば、文章を推敲する際等に、ユーザが意図しない部分におけるかな漢字変換を行うことなく、真にユーザが意図する領域のみについてかな漢字変換を行うことにより、効率的な文字変換処理を行うことができる。具体的には、かな漢字変換システムの辞書検索において、特定した範囲に関連する語彙の検索処理をあらかじめ行っておき、ユーザへのレスポンスを向上させることや、携帯電話などの入力がプアな端末においても、煩雑な再変換の修正といった余計な操作を行うことができる。
【００３５】
尚、上述した実施の形態では、文章表示装置の一例として、携帯電話を例として説明したが、これに限られず、例えばＰＤＡ等の携帯型小型情報端末や、コンピュータ等においても適用可能なことは勿論である。
【産業上の利用可能性】
【００３６】
本発明は、文字変換装置に利用可能である。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施の形態によるかな漢字変換装置について、携帯電話機に適用した場合を例として示した機能ブロック図である。
【図２】携帯電話機の外観構成例を示す図である。
【図３】本実施の形態による文字変換処理の流れを示すフローチャート図である。
【図４】図３のステップＳ１６に示す処理の詳細を示すフローチャート図である。
【図５】画面が分割されている様子を示す図である。
【図６】サンプリング時間の単位を定め、そのサンプル時間１０ｍｓ毎にいずれの分割領域に視線が当たっているか、すなわち、どの分割領域が注目されているかを調べたリストである。
【図７】該当する分割単位における視線領域及びその周辺の注目度に関する処理例を示す図である。
【図８】本実施の形態による文字変換処理による表示の遷移例を示す図である。
【符号の説明】
【００３８】
１ 携帯電話
１０ キー入力部
１５ 視線入力部
２０ 表示部
２５ 処理部
３０ キー入力解析部
３５ 表示領域分割部
４０ 視線入力集計部
４５ かな漢字変換部
【特許請求の範囲】
【請求項１】
文章データを入力する文章データ入力部と、
該文章データ入力部により入力され表示部に表示された文章データの表示文字サイズ単位で前記表示部を複数に分割する表示領域分割部と、
該表示領域分割部により分割された分割領域に対する視線入力装置による視線入力をあるサンプリング時間単位で検出して集計していく視線入力集計部と、
該視線入力の集計度が高い分割領域に着目して文字変換を行う文字変換部と
を備えることを特徴とする文字変換装置。
【請求項２】
サンプリング毎に視線周辺の文節における集計度を増加させ、それ以外の領域における集計度を減少させることを特徴とする請求項１に記載の文字変換装置。
【請求項３】
前記視線入力の集計度が高い分割領域と、該領域の前後にわたる領域とを、文節変換領域と推定する文節変換領域推定部を有することを特徴とする請求項１に記載の文字変換装置。
【請求項４】
前記視線入力位置と、文字変換のカーソル表示位置と、の距離に応じて、再変換処理の種別を変更することを特徴とする請求項１から３までのいずれか１項に記載の文字変換装置。
【請求項５】
前記距離が近い場合には前記入力位置における文字変換を行い、前記距離が遠い場合には前記入力位置における文字変換を行わないように制御することを特徴とする請求項１から４までのいずれか１項に記載の文字変換装置。
【請求項６】
請求項１から５までのいずれか１項に記載の文字変換装置を備えた携帯端末装置。
【請求項１】
文章データを入力する文章データ入力部と、
該文章データ入力部により入力され表示部に表示された文章データの表示文字サイズ単位で前記表示部を複数に分割する表示領域分割部と、
該表示領域分割部により分割された分割領域に対する視線入力装置による視線入力をあるサンプリング時間単位で検出して集計していく視線入力集計部と、
該視線入力の集計度が高い分割領域に着目して文字変換を行う文字変換部と
を備えることを特徴とする文字変換装置。
【請求項２】
サンプリング毎に視線周辺の文節における集計度を増加させ、それ以外の領域における集計度を減少させることを特徴とする請求項１に記載の文字変換装置。
【請求項３】
前記視線入力の集計度が高い分割領域と、該領域の前後にわたる領域とを、文節変換領域と推定する文節変換領域推定部を有することを特徴とする請求項１に記載の文字変換装置。
【請求項４】
前記視線入力位置と、文字変換のカーソル表示位置と、の距離に応じて、再変換処理の種別を変更することを特徴とする請求項１から３までのいずれか１項に記載の文字変換装置。
【請求項５】
前記距離が近い場合には前記入力位置における文字変換を行い、前記距離が遠い場合には前記入力位置における文字変換を行わないように制御することを特徴とする請求項１から４までのいずれか１項に記載の文字変換装置。
【請求項６】
請求項１から５までのいずれか１項に記載の文字変換装置を備えた携帯端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−２６６０１０（Ｐ２００９−２６６０１０Ａ）
【公開日】平成２１年１１月１２日（２００９．１１．１２）
【国際特許分類】
【出願番号】特願２００８−１１５８０５（Ｐ２００８−１１５８０５）
【出願日】平成２０年４月２５日（２００８．４．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２１年１１月１２日（２００９．１１．１２）
【国際特許分類】
【出願日】平成２０年４月２５日（２００８．４．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]