認識装置およびその制御方法
【課題】 機器（筐体）の裏面（背面）においてもユーザの意図に沿った軌跡入力の操作ができるようにする。
【解決手段】 ユーザにより入力される軌跡を検知する正面入力部および背面入力部を備えた認識装置であって、前記正面入力部または背面入力部から入力された軌跡を取得する取得手段と、前記取得された軌跡が、前記２つの入力部の何れから入力された軌跡であるかを特定する特定手段と、前記取得された軌跡を認識する認識手段とを備え、前記認識手段は、前記取得された軌跡が背面入力部から入力された場合には、該取得された軌跡の反転処理を伴う正規化処理を行った後に、前記正面入力部から入力された軌跡の認識と同じ認識アルゴリズムを用いて、軌跡の認識を実行する。
【解決手段】 ユーザにより入力される軌跡を検知する正面入力部および背面入力部を備えた認識装置であって、前記正面入力部または背面入力部から入力された軌跡を取得する取得手段と、前記取得された軌跡が、前記２つの入力部の何れから入力された軌跡であるかを特定する特定手段と、前記取得された軌跡を認識する認識手段とを備え、前記認識手段は、前記取得された軌跡が背面入力部から入力された場合には、該取得された軌跡の反転処理を伴う正規化処理を行った後に、前記正面入力部から入力された軌跡の認識と同じ認識アルゴリズムを用いて、軌跡の認識を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの指やスタイラスなどを用いて描画された軌跡を認識する技術に関する。
【背景技術】
【０００２】
近年、携帯電話やゲーム機などにおいて、ユーザインタフェース（ＵＩ）としてタッチ操作を採用するものが増えてきている。タッチ操作の１つとして、文字及びジェスチャの軌跡を入力する「手書き軌跡入力操作」が存在する。この操作においては装置が軌跡を認識するため、タッチしている指などが移動する方向が重要な意味を持つことは言うまでもない。
また、１つの機器に複数のタッチ操作ができる画面が存在するものなども知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２６０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
もし、機器（筐体）の表面に相当する画面に対して、その裏面（背面）にタッチパネルが存在するような場合を考える。この場合に、ユーザが画面を見ながら、裏面に文字などの軌跡を記入しようとすると、ユーザが意識する左右（もしくは上下）と実際の裏面の画面の左右の位置は反転関係（いわゆる鏡像）になってしまう。従って、このような機器を操作する場合においては、ユーザの意図に沿った裏面（背面）への手書き軌跡の入力ができなかった。
本発明は上記課題を解決するためになされたものであって、機器（筐体）の裏面（背面）においてもユーザの意図に沿った軌跡入力の操作ができるようにすることを主な目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の手書き認識装置によれば、ユーザにより入力される軌跡を検知する正面入力部および背面入力部を備えた認識装置であって、前記正面入力部または背面入力部から入力された軌跡を取得する取得手段と、前記取得された軌跡が、前記２つの入力部の何れから入力された軌跡であるかを特定する特定手段と、前記取得された軌跡を認識する認識手段とを備え、前記認識手段は、前記取得された軌跡が背面入力部から入力された場合には、該取得された軌跡の反転処理を伴う正規化処理を行った後に、前記正面入力部から入力された軌跡の認識と同じ認識アルゴリズムを用いて、軌跡の認識を実行することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、機器の裏面（背面）においてもユーザの意図に沿った軌跡入力の操作ができる。
【図面の簡単な説明】
【０００７】
【図１】手書き認識装置の機能構成図
【図２】手書き認識工程を示すフローチャート
【図３】一般的な手書き軌跡認識を示す図
【図４】手書き認識装置を組み込んだ携帯端末の外観図
【図５】背面入力の例
【図６】背面入力による手書き軌跡の例
【図７】手書き認識装置の機能構成図
【図８】手書き軌跡パタンの例
【図９】背面入力により発生する歪みを説明する図
【図１０】手書き軌跡の補正テーブル
【図１１】携帯端末の外観図
【図１２】手書き認識装置の機能構成図
【図１３】背面入力による手書き軌跡認識処理のフローチャート
【図１４】手書き認識装置の機能構成図
【発明を実施するための形態】
【０００８】
＜実施形態１＞
図４は、本実施形態で適用可能な機器（手書き認識装置）の外観図である。ここに示す機器のサイズは、例えば、ユーザの手のひら、またはそれより少し大きいサイズのものを想定して構わない。
【０００９】
機器（筐体）の表面（正面）４０１には、ＧＵＩ４０２を表示するとともに、そのＧＵＩ４０２に対するタッチ操作が可能なタッチパネル４０３を備えている。
【００１０】
さらに機器（筐体）の裏面（背面）４０４には、タッチ操作ができるタッチパッド４０５を備えている。ユーザは、このタッチパッド４０５をタッチ操作することで、表面４０１に表示されたＧＵＩ４０２に対する操作をすることが可能である。すなわち、機器に表示されているＧＵＩ４０２は、表面４０１のタッチパネル４０３からも操作が可能であり、裏面４０４のタッチパッド４０５からも操作が可能である。
【００１１】
なお、裏面（背面）のタッチパッド４０５を備えるメリットを考える。例えば、ユーザは、タッチパッド４０５を操作しながら、ＧＵＩ４０２の全てを見ることができるであろう。また、タッチパネル４０３がタッチ操作で汚れる可能性が少なくなるであろう。
【００１２】
また、以下では、タッチパネル４０３からタッチ操作することを正面入力部による正面入力と呼び、タッチパッド４０５からタッチ操作することを背面入力部による背面入力と呼ぶこととする。
【００１３】
図５および図６は、ユーザが上記機器に背面入力を実行する場合の様子を示す図である。ここでは、機器（筐体）の正面５０１は、図４の正面４０１に相当する。またタッチパネル５０２は、図４のタッチパネル４０３に相当する。ユーザの手５０３は、機器を保持している。文字軌跡５０４は、図４のタッチパッド４０５にユーザが手書き記入した軌跡を視覚的に示したものであるが、タッチパネル５０２上に表示されているわけではない。
【００１４】
例えばユーザは、機器（筐体）の正面４０１上のタッチパネル４０２にはタッチせず、タッチパネル４０２を見ながら、タッチパッド４０５のほうに手書きで文字を入力する。
【００１５】
この場合、ユーザは、タッチパッド４０５に自分がどんな文字を書いているのかを実際に見ることができないであろう。すなわち、ユーザは、文字軌跡５０４を正面５０１から見た場合を頭の中で想像しながら、指を動かすことになる。
【００１６】
以上で説明したような背面入力を行うと、タッチパッド４０５上には、図６のような文字を書いたことになる。これは、ユーザが意図している文字とは左右が反転したもの（鏡像）になっている。
【００１７】
本実施形態では、このような鏡像を、ユーザが意図している正しい軌跡あるいは文字として認識する。
【００１８】
図１は、本実施形態で適用可能な機器（手書き認識装置１００）の機能構成図である。本装置１００には、軌跡検知部１０１が接続されている。これは、例えば上述した機器正面の正面入力部であるタッチパネル４０３や、機器背面の背面入力部であるタッチパッド４０５に相当する。軌跡検知部１０１において発生した、ユーザの手書き等で得られる軌跡の情報は、軌跡入力部１０２を介して本装置１００によって入力される。なお、ここでは上記軌跡検知部１０１を、装置１００の外部機器として接続されているものとして説明するが、装置１００に内蔵された処理部として存在していても構わない。
【００１９】
次に、ここで入力された軌跡の情報は、正面／背面入力検出部１０３に出力される。この検出部１０３では、入力した軌跡が機器の正面（タッチパネル４０３）から入力されたものか、機器の背面（タッチパッド４０５）から入力されたものかを特定する。
【００２０】
もし、機器の正面から入力された軌跡であれば、その軌跡の情報は正面入力軌跡認識部１０４に出力される。一方、もし機器の背面から入力された軌跡であれば、その軌跡は、背面入力軌跡認識部１０５に出力される。
【００２１】
正面入力軌跡認識部１０４、および背面入力軌跡認識部１０５では、入力された軌跡の情報を所定の認識アルゴリズムを用いて認識処理し、その軌跡の認識結果を出力する。この認識結果は、ユーザによる手書き入力の結果として、認識結果出力部１０６を介して装置１００の外部機器へ出力されたり、装置１００内における各種処理に利用される。なお、ここでの認識結果の具体例としては、文字認識などの結果である文字データや記号データが相当する。
【００２２】
図２は、装置１００の動作フローを示した図である。本実施形態では、ユーザが機器の正面４０１のＧＵＩ４０２などを操作することによって、軌跡を認識するソフトウェアアプリケーションを起動するものとする。そして、機器の正面にあるタッチパネル４０３または機器の背面にあるタッチパッド４０５に、ユーザの指やスタイラスなどによる軌跡の入力が開始された時点で、この動作フローが開始されるものとする。
【００２３】
図中の動作フローが開始された場合、ステップＳ２０１において、軌跡入力部１０２は、入力されている軌跡が正面から入力された軌跡か、背面から入力された軌跡かを検出する。ここでは、軌跡入力部１０２が上記検出を容易にするため、軌跡検知部１０１から入力された各軌跡の情報には、正面入力による軌跡なのか背面入力による軌跡なのかを識別できるフラグが付与されるものとする。
【００２４】
ステップＳ２０２では、入力された軌跡の情報を取得する。例えば、この時点までにシステムのイベントキューに溜まっている軌跡の情報を取得する。
【００２５】
ステップＳ２０３では、取得された軌跡から、その軌跡がユーザが入力した軌跡の終端であるかどうかを判定する。例えば、取得した最新の軌跡が、５００ｍｓ以上の追加または更新が無い場合などには、ユーザによる軌跡の入力が既に終了していると判定する。本実施形態では、ユーザによる軌跡の入力中に、軌跡の認識処理を順次行うものとし、軌跡の入力が終了した場合には速やかに認識結果の候補を出力するものである。よって、ステップＳ２０３において、もし「取得した軌跡が、まだ終端ではない（ユーザにより、まだ軌跡を入力中である）」と判定した場合には、速やかにステップＳ２０４以降の軌跡の認識工程に進む。
【００２６】
ステップＳ２０４では、ステップＳ２０１で正面入力と判定したかどうかを調べる（Ｓ２０４）。もし、ステップＳ２０１の検出結果が正面入力であった場合、ステップ２０５へ進む。一方、もし、ステップＳ２０１の検出結果が背面入力であった場合、ステップ２０６へ進む。
【００２７】
ステップＳ２０５では、ステップＳ２０２で取得した軌跡に対して、正面入力による軌跡としての認識を行う。具体的には、後述する正面入力軌跡パタン７０２を用いたパターンマッチングにより、軌跡の認識を実行する。
【００２８】
ステップＳ２０６では、ステップＳ２０２で取得した軌跡に対して、背面入力による軌跡としての認識を行う。具体的には、後述する正規化処理によって軌跡の左右を反転する反転処理を行い、その後に正面入力軌跡パタン７０２を用いたパターンマッチングにより、軌跡の認識を実行する。
【００２９】
もし、ステップ２０３の判定において、取得した軌跡が軌跡の終端であると判定した場合には、これ以上の認識処理を行う必要が無いため、ステップＳ２０７に進む。
【００３０】
ステップＳ２０７では、以前までのステップＳ２０５またはステップＳ２０６における認識処理の結果を出力する。なお、その認識結果は１つに決定する必要は無く、正解の可能性が高い（認識結果のスコアが高い）１〜Ｎ番目までのＮ個の候補を認識結果として出力する。ここでは詳述しないが、後段の処理において、ユーザまたは装置が必要に応じて、Ｎ個の候補のうちの１つを選択すれば良い。
【００３１】
図３は、軌跡認識部１０４、１０５において軌跡の認識を行うための、基本的な機能を示した概念図である。主には、特徴抽出機能３０１、パタンマッチング機能３０２、出力機能３０３、軌跡パタン３０４からなる。まず、特徴抽出部３０１は、軌跡検知部１０１から入力された軌跡の情報を用いて、特徴の抽出を行う。この特徴としては、例えば、軌跡の各座標や、一定時刻前の軌跡からの変動量などが利用される。ステップＳ３０２では、上記抽出された特徴量を、予め登録されている多数の軌跡パタン３０４とパタンマッチングを行う。なお、パタンマッチングについては公知の種々のパタンマッチングを適用してかまわない。例えば、動的計画法（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）により、時間方向のゆれを加味した類似度の算出を行っても良いし、Ｈｉｄｄｅｎ Ｍａｒｃｏｖ Ｍｏｄｅｌで軌跡パタンを表現することで、確率的な計算を用いて類似度を算出しても良い。ステップＳ３０３では、上記パタンマッチングの結果、類似度が近い上位Ｎ個を認識結果の候補として出力する。
【００３２】
図７は、上述した図１の装置１００の内部を、更に詳細に示した図である。ここでは、特に、正面入力軌跡認識部１０４と背面入力軌跡認識部１０５の更なる詳細を示している。なお、基本的な構成は図１と同じであるので、本図で新たに登場する処理部以外については、説明を省略する。
【００３３】
正面入力軌跡認識部１０４は、軌跡認識部Ａ７０１を備える。軌跡認識部Ａ７０１は、正面入力軌跡パタン７０２を用いて、ユーザに入力された軌跡の認識を行う。なお、この正面入力軌跡パタン７０２は、ユーザが正面入力を行った際に手書きで描く可能性が高い軌跡の全てのパタンを格納したデータベースである。
【００３４】
図８は、軌跡パタンの一例を示す図である。図中８０１は、上述した「ユーザが正面入力を行った際に手書きで描く可能性が高い軌跡」のパタンの一例である。一方、図中８０２は、「ユーザが背面入力を行った際に手書きで描く可能性が高い軌跡」のパタンの一例である。すなわち、上記正面入力軌跡パタン７０２は、図中８０１に該当するパタンを格納したデータベースである。
【００３５】
背面入力軌跡認識部１０５は、軌跡正規化部７０３と軌跡認識部Ｂ７０４とを備える。軌跡正規化部７０３は、背面入力された軌跡の情報を左右に反転させることで、正面入力による軌跡と同様のデータに正規化する。軌跡認識部Ｂ７０４は、軌跡認識部Ａ７０１と同様に、正面入力軌跡パタン７０２を用いて、上記正規化された軌跡の認識を行う。
【００３６】
以上によれば、ユーザにより正面入力された軌跡であっても、背面入力された軌跡であっても、高精度の軌跡の認識ができる。
【００３７】
＜実施形態２＞
上記実施形態１では、背面入力された軌跡は、入力された軌跡の正規化（左右反転）を行った後に認識を行っていた。しかしながら、上記正規化の処理として、左右反転以外の正規化も合わせて行うことが有効な場合も有り得る。以下ではその一例を説明する。
【００３８】
まず、ユーザが背面入力をする場合を考える。例えば、ユーザは、機器を人差し指以外の指で保持しているかもしれない。その場合には、人差し指で手書き軌跡を入力することになるであろう。ここで、人差し指によって入力された軌跡は、特徴的な形状を持ち、人差し指の可動範囲に軌跡の全てが閉じ込められた形状となるであろう。
【００３９】
図９の９０１は、背面入力時において、片方の人差し指がタッチパッド４０５に接触できる範囲、言い換えればタッチパッド上での人差し指の可動範囲を示す。ユーザが機器を保持しながら人差し指で軌跡を描いた場合には、本来ユーザが描こうとした軌跡は、この楕円形の可動範囲の内部に歪められてしまう。そして、もしこの歪んだ軌跡を認識しようとすれば、正しい認識を行うことは困難である。従って、本実施形態では、第１実施形態での正規化である左右反転に加えて、上述した歪みも解消する。具体的には、図中９０２で示すように、軌跡の各点について、図示の楕円形の可動範囲から矩形に変形するような空間変換（マッピング処理）を行う。これにより、空間の歪みが正規化される。
【００４０】
図１３は、この背面入力軌跡認識部１０５で行われる背面入力軌跡認識処理Ｓ２０６のサブフローである。まず、ステップＳ１３０１において、第１の正規化処理として、背面入力された軌跡の左右反転を行う。次に、ステップＳ１３０２において、第２の正規化処理として、左右反転された軌跡を図９の９０２で示したように空間変換する。次に、ステップＳ１３０３では、上記２種類の正規化処理が施された軌跡を、正面入力軌跡パタン７０２とのパタンマッチングにより認識処理する。
【００４１】
なお、２種類の正規化処理を行う方法としては、例えば図１０に示すような空間変換テーブルを用いて、第１正規化（左右反転）と第２正規化（歪み除去の空間変換）の両方を行う空間変換を実行しても良い。たとえば、このテーブルを用いると、入力された軌跡上の座標（１００，１０４）は、座標（２０９，５２）にマッピングされる。このマッピングにより、第１正規化（左右反転）と第２正規化（歪み除去の空間変換）の両方が一度に実行されることとなる。
【００４２】
なお、本実施形態では、人差し指の可動範囲を一例に挙げて、第２の正規化を説明したが、本発明はこれに限らない。例えば指の種類は、他の指であっても構わない。また、スタイラスなどによって背面入力する場合の可動範囲などを考慮したものであっても構わない。
【００４３】
以上によれば、背面入力された軌跡を、より高精度に認識できる。
【００４４】
＜実施形態３＞
上述した各実施形態では、機器の正面はタッチパネル４０３、機器の背面はタッチパッド４０５といったように、ユーザまたは装置が、正面と背面の種類を明確に区別できる機器について説明した。以下では、これらを明確に区別できない場合の実施形態について説明する。
【００４５】
図１１は、正面と背面をユーザに区別させないような機器の一例である。図中、機器のＡ面１１０１とＢ面１１０２のそれぞれにはタッチパネル１１０３とタッチパネル１１０４が備えられている。ユーザは、この端末のＡ面とＢ面の何れが正面であるかを意識せずに、操作するものである。すなわち、Ａ面とＢ面の何れも、機器の正面にも背面にもなり得る。
【００４６】
図１２は、本実施形態で適用可能な機器（手書き認識装置１００）の機能構成図である。なお、図１および図７と同じ構成要素に対しては同じ番号を付与し、説明を省略する。本実施形態において特徴的な部分は、正面／背面入力検出部１０３の動作である。
【００４７】
ここで注意するべき点としては、タッチパネル１２００は正面のタッチパネルかもしれないし、背面のタッチパネルかもしれない点である。もしタッチパネル１２００が正面のタッチパネルである時には、それはタッチパネル１２０２と同一物に相当する。一方で、もしタッチパネル１２００が背面のタッチパネルである時には、それはタッチパネル１２０２の反対面に存在するタッチパネルということになる。
【００４８】
本実施形態では、正面／背面入力検出部１０３が、Ａ面あるいはＢ面のどちらのタッチパネルがユーザの正面に向いているのかを検出することができる。すなわち、正面／背面入力検出部１０３は、軌跡検知部１０１を含むタッチパネル１２００が正面のタッチパネルか、背面のタッチパネルかを判断することができる。この検出方法としては種々の方法を適用可能である。例えば、機器のＡ面にカメラを備え、軌跡の入力時にはＡ面のカメラで撮影を行う。もしこのカメラで撮影された画像を顔検出した結果、顔が含まれていると判定した場合は、Ａ面がユーザ正面であると判定できる。逆に、顔が含まれていないと判定した場合には、Ｂ面がユーザ正面であると判定すれば良い。
【００４９】
他の方法としては、例えば、機器内に加速度センサ（重力センサ）を装備し、Ａ面とＢ面のうち、上方を向いている面をユーザ正面と判定しても良い。
【００５０】
以上により、ユーザにとって正面のタッチパネルに軌跡が入力された場合は、正面入力であると判定し、ユーザにとって背面のタッチパネルに軌跡が入力された場合は、背面入力と判定する。
【００５１】
なお、本実施形態では、背面入力軌跡認識部１０５に正面パネル出力部１２０１を備えている。そして、軌跡正規化部７０３で正規化された軌跡を、正面パネル出力部１２０１を介して、ユーザの正面と判断されたタッチパネル（タッチパネルディスプレイ）１２０２に出力させることができる。これは、ユーザに、背面入力された軌跡がどのようなものかを明示することができ、ユーザの意図に沿った軌跡の入力がし易くなるという利点がある。
【００５２】
＜実施形態４＞
上記各実施形態では、背面入力した軌跡を正規化することで、正面入力軌跡パタン７０２とのパターンマッチングを行っていた。しかしながら、図１０のようなテーブルを利用した空間変換であっても、入力された軌跡の全ての座標について行う場合には、その負荷が大きい。これに対し、あえて背面入力された軌跡を正規化せずに、背面入力された軌跡を高速に認識できるようにすることも可能である。以下、その一例を説明する。
【００５３】
図１４は、本実施形態の機能ブロック図である。背面入力軌跡パタン１６０１は、上述した図８における背面入力軌跡パタン８０２と同様のデータベースである。このデータベースには、全て背面入力で入力される可能性のある軌跡が格納されている。すなわち、背面入力軌跡パタン１６０１は、正面入力で入力される可能性のある軌跡を左右反転している軌跡の集まりに相当する。図１４においては、正面／背面入力検出部１０３が背面入力であると判定した場合、軌跡認識部Ｂ７０４は、軌跡正規化部７０３の機能を必要とせずに、速やかに背面入力の軌跡パタン１６０１とのパタンマッチングを行う。図１４における他の動作は基本的に上記図１２と同様であるので詳細な説明は省略する。
【００５４】
以上によれば、背面入力による軌跡の認識を高速に行うことができる。
【００５５】
＜変形例＞
なお、上記各実施形態では、正面と背面は角度が１８０度異なる方向を向いている状態を想定して説明したが、本発明はこれに限らない。すなわち、本発明は、ユーザが平面であると感じるような少なくとも２つの面を有する機器に適用でき、その２つの面は、ユーザが感覚的に正面と背面であると感じる関係であれば良い。例えば、機器のＡ面とＢ面が９０度ぐらいの角度を形成するような配置関係であっても、Ａ面を正面として見ているユーザにとって、Ｂ面をＡ面と同時に見ることができなければ、Ｂ面は背面に相当する。そのような関係の２面についても、上述した各実施形態の正面と背面の概念を適用することが可能である。
【００５６】
なお、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。例えば、図１に示した機器の各処理部と同等の機能を、ＣＰＵやＲＯＭ、ＲＡＭなどから構成されるコンピュータが実行する場合には、そのコンピュータは認識装置に相当し、その一連の認識動作を制御することは認識装置の制御方法に相当する。
【技術分野】
【０００１】
本発明は、ユーザの指やスタイラスなどを用いて描画された軌跡を認識する技術に関する。
【背景技術】
【０００２】
近年、携帯電話やゲーム機などにおいて、ユーザインタフェース（ＵＩ）としてタッチ操作を採用するものが増えてきている。タッチ操作の１つとして、文字及びジェスチャの軌跡を入力する「手書き軌跡入力操作」が存在する。この操作においては装置が軌跡を認識するため、タッチしている指などが移動する方向が重要な意味を持つことは言うまでもない。
また、１つの機器に複数のタッチ操作ができる画面が存在するものなども知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２６０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
もし、機器（筐体）の表面に相当する画面に対して、その裏面（背面）にタッチパネルが存在するような場合を考える。この場合に、ユーザが画面を見ながら、裏面に文字などの軌跡を記入しようとすると、ユーザが意識する左右（もしくは上下）と実際の裏面の画面の左右の位置は反転関係（いわゆる鏡像）になってしまう。従って、このような機器を操作する場合においては、ユーザの意図に沿った裏面（背面）への手書き軌跡の入力ができなかった。
本発明は上記課題を解決するためになされたものであって、機器（筐体）の裏面（背面）においてもユーザの意図に沿った軌跡入力の操作ができるようにすることを主な目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の手書き認識装置によれば、ユーザにより入力される軌跡を検知する正面入力部および背面入力部を備えた認識装置であって、前記正面入力部または背面入力部から入力された軌跡を取得する取得手段と、前記取得された軌跡が、前記２つの入力部の何れから入力された軌跡であるかを特定する特定手段と、前記取得された軌跡を認識する認識手段とを備え、前記認識手段は、前記取得された軌跡が背面入力部から入力された場合には、該取得された軌跡の反転処理を伴う正規化処理を行った後に、前記正面入力部から入力された軌跡の認識と同じ認識アルゴリズムを用いて、軌跡の認識を実行することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、機器の裏面（背面）においてもユーザの意図に沿った軌跡入力の操作ができる。
【図面の簡単な説明】
【０００７】
【図１】手書き認識装置の機能構成図
【図２】手書き認識工程を示すフローチャート
【図３】一般的な手書き軌跡認識を示す図
【図４】手書き認識装置を組み込んだ携帯端末の外観図
【図５】背面入力の例
【図６】背面入力による手書き軌跡の例
【図７】手書き認識装置の機能構成図
【図８】手書き軌跡パタンの例
【図９】背面入力により発生する歪みを説明する図
【図１０】手書き軌跡の補正テーブル
【図１１】携帯端末の外観図
【図１２】手書き認識装置の機能構成図
【図１３】背面入力による手書き軌跡認識処理のフローチャート
【図１４】手書き認識装置の機能構成図
【発明を実施するための形態】
【０００８】
＜実施形態１＞
図４は、本実施形態で適用可能な機器（手書き認識装置）の外観図である。ここに示す機器のサイズは、例えば、ユーザの手のひら、またはそれより少し大きいサイズのものを想定して構わない。
【０００９】
機器（筐体）の表面（正面）４０１には、ＧＵＩ４０２を表示するとともに、そのＧＵＩ４０２に対するタッチ操作が可能なタッチパネル４０３を備えている。
【００１０】
さらに機器（筐体）の裏面（背面）４０４には、タッチ操作ができるタッチパッド４０５を備えている。ユーザは、このタッチパッド４０５をタッチ操作することで、表面４０１に表示されたＧＵＩ４０２に対する操作をすることが可能である。すなわち、機器に表示されているＧＵＩ４０２は、表面４０１のタッチパネル４０３からも操作が可能であり、裏面４０４のタッチパッド４０５からも操作が可能である。
【００１１】
なお、裏面（背面）のタッチパッド４０５を備えるメリットを考える。例えば、ユーザは、タッチパッド４０５を操作しながら、ＧＵＩ４０２の全てを見ることができるであろう。また、タッチパネル４０３がタッチ操作で汚れる可能性が少なくなるであろう。
【００１２】
また、以下では、タッチパネル４０３からタッチ操作することを正面入力部による正面入力と呼び、タッチパッド４０５からタッチ操作することを背面入力部による背面入力と呼ぶこととする。
【００１３】
図５および図６は、ユーザが上記機器に背面入力を実行する場合の様子を示す図である。ここでは、機器（筐体）の正面５０１は、図４の正面４０１に相当する。またタッチパネル５０２は、図４のタッチパネル４０３に相当する。ユーザの手５０３は、機器を保持している。文字軌跡５０４は、図４のタッチパッド４０５にユーザが手書き記入した軌跡を視覚的に示したものであるが、タッチパネル５０２上に表示されているわけではない。
【００１４】
例えばユーザは、機器（筐体）の正面４０１上のタッチパネル４０２にはタッチせず、タッチパネル４０２を見ながら、タッチパッド４０５のほうに手書きで文字を入力する。
【００１５】
この場合、ユーザは、タッチパッド４０５に自分がどんな文字を書いているのかを実際に見ることができないであろう。すなわち、ユーザは、文字軌跡５０４を正面５０１から見た場合を頭の中で想像しながら、指を動かすことになる。
【００１６】
以上で説明したような背面入力を行うと、タッチパッド４０５上には、図６のような文字を書いたことになる。これは、ユーザが意図している文字とは左右が反転したもの（鏡像）になっている。
【００１７】
本実施形態では、このような鏡像を、ユーザが意図している正しい軌跡あるいは文字として認識する。
【００１８】
図１は、本実施形態で適用可能な機器（手書き認識装置１００）の機能構成図である。本装置１００には、軌跡検知部１０１が接続されている。これは、例えば上述した機器正面の正面入力部であるタッチパネル４０３や、機器背面の背面入力部であるタッチパッド４０５に相当する。軌跡検知部１０１において発生した、ユーザの手書き等で得られる軌跡の情報は、軌跡入力部１０２を介して本装置１００によって入力される。なお、ここでは上記軌跡検知部１０１を、装置１００の外部機器として接続されているものとして説明するが、装置１００に内蔵された処理部として存在していても構わない。
【００１９】
次に、ここで入力された軌跡の情報は、正面／背面入力検出部１０３に出力される。この検出部１０３では、入力した軌跡が機器の正面（タッチパネル４０３）から入力されたものか、機器の背面（タッチパッド４０５）から入力されたものかを特定する。
【００２０】
もし、機器の正面から入力された軌跡であれば、その軌跡の情報は正面入力軌跡認識部１０４に出力される。一方、もし機器の背面から入力された軌跡であれば、その軌跡は、背面入力軌跡認識部１０５に出力される。
【００２１】
正面入力軌跡認識部１０４、および背面入力軌跡認識部１０５では、入力された軌跡の情報を所定の認識アルゴリズムを用いて認識処理し、その軌跡の認識結果を出力する。この認識結果は、ユーザによる手書き入力の結果として、認識結果出力部１０６を介して装置１００の外部機器へ出力されたり、装置１００内における各種処理に利用される。なお、ここでの認識結果の具体例としては、文字認識などの結果である文字データや記号データが相当する。
【００２２】
図２は、装置１００の動作フローを示した図である。本実施形態では、ユーザが機器の正面４０１のＧＵＩ４０２などを操作することによって、軌跡を認識するソフトウェアアプリケーションを起動するものとする。そして、機器の正面にあるタッチパネル４０３または機器の背面にあるタッチパッド４０５に、ユーザの指やスタイラスなどによる軌跡の入力が開始された時点で、この動作フローが開始されるものとする。
【００２３】
図中の動作フローが開始された場合、ステップＳ２０１において、軌跡入力部１０２は、入力されている軌跡が正面から入力された軌跡か、背面から入力された軌跡かを検出する。ここでは、軌跡入力部１０２が上記検出を容易にするため、軌跡検知部１０１から入力された各軌跡の情報には、正面入力による軌跡なのか背面入力による軌跡なのかを識別できるフラグが付与されるものとする。
【００２４】
ステップＳ２０２では、入力された軌跡の情報を取得する。例えば、この時点までにシステムのイベントキューに溜まっている軌跡の情報を取得する。
【００２５】
ステップＳ２０３では、取得された軌跡から、その軌跡がユーザが入力した軌跡の終端であるかどうかを判定する。例えば、取得した最新の軌跡が、５００ｍｓ以上の追加または更新が無い場合などには、ユーザによる軌跡の入力が既に終了していると判定する。本実施形態では、ユーザによる軌跡の入力中に、軌跡の認識処理を順次行うものとし、軌跡の入力が終了した場合には速やかに認識結果の候補を出力するものである。よって、ステップＳ２０３において、もし「取得した軌跡が、まだ終端ではない（ユーザにより、まだ軌跡を入力中である）」と判定した場合には、速やかにステップＳ２０４以降の軌跡の認識工程に進む。
【００２６】
ステップＳ２０４では、ステップＳ２０１で正面入力と判定したかどうかを調べる（Ｓ２０４）。もし、ステップＳ２０１の検出結果が正面入力であった場合、ステップ２０５へ進む。一方、もし、ステップＳ２０１の検出結果が背面入力であった場合、ステップ２０６へ進む。
【００２７】
ステップＳ２０５では、ステップＳ２０２で取得した軌跡に対して、正面入力による軌跡としての認識を行う。具体的には、後述する正面入力軌跡パタン７０２を用いたパターンマッチングにより、軌跡の認識を実行する。
【００２８】
ステップＳ２０６では、ステップＳ２０２で取得した軌跡に対して、背面入力による軌跡としての認識を行う。具体的には、後述する正規化処理によって軌跡の左右を反転する反転処理を行い、その後に正面入力軌跡パタン７０２を用いたパターンマッチングにより、軌跡の認識を実行する。
【００２９】
もし、ステップ２０３の判定において、取得した軌跡が軌跡の終端であると判定した場合には、これ以上の認識処理を行う必要が無いため、ステップＳ２０７に進む。
【００３０】
ステップＳ２０７では、以前までのステップＳ２０５またはステップＳ２０６における認識処理の結果を出力する。なお、その認識結果は１つに決定する必要は無く、正解の可能性が高い（認識結果のスコアが高い）１〜Ｎ番目までのＮ個の候補を認識結果として出力する。ここでは詳述しないが、後段の処理において、ユーザまたは装置が必要に応じて、Ｎ個の候補のうちの１つを選択すれば良い。
【００３１】
図３は、軌跡認識部１０４、１０５において軌跡の認識を行うための、基本的な機能を示した概念図である。主には、特徴抽出機能３０１、パタンマッチング機能３０２、出力機能３０３、軌跡パタン３０４からなる。まず、特徴抽出部３０１は、軌跡検知部１０１から入力された軌跡の情報を用いて、特徴の抽出を行う。この特徴としては、例えば、軌跡の各座標や、一定時刻前の軌跡からの変動量などが利用される。ステップＳ３０２では、上記抽出された特徴量を、予め登録されている多数の軌跡パタン３０４とパタンマッチングを行う。なお、パタンマッチングについては公知の種々のパタンマッチングを適用してかまわない。例えば、動的計画法（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）により、時間方向のゆれを加味した類似度の算出を行っても良いし、Ｈｉｄｄｅｎ Ｍａｒｃｏｖ Ｍｏｄｅｌで軌跡パタンを表現することで、確率的な計算を用いて類似度を算出しても良い。ステップＳ３０３では、上記パタンマッチングの結果、類似度が近い上位Ｎ個を認識結果の候補として出力する。
【００３２】
図７は、上述した図１の装置１００の内部を、更に詳細に示した図である。ここでは、特に、正面入力軌跡認識部１０４と背面入力軌跡認識部１０５の更なる詳細を示している。なお、基本的な構成は図１と同じであるので、本図で新たに登場する処理部以外については、説明を省略する。
【００３３】
正面入力軌跡認識部１０４は、軌跡認識部Ａ７０１を備える。軌跡認識部Ａ７０１は、正面入力軌跡パタン７０２を用いて、ユーザに入力された軌跡の認識を行う。なお、この正面入力軌跡パタン７０２は、ユーザが正面入力を行った際に手書きで描く可能性が高い軌跡の全てのパタンを格納したデータベースである。
【００３４】
図８は、軌跡パタンの一例を示す図である。図中８０１は、上述した「ユーザが正面入力を行った際に手書きで描く可能性が高い軌跡」のパタンの一例である。一方、図中８０２は、「ユーザが背面入力を行った際に手書きで描く可能性が高い軌跡」のパタンの一例である。すなわち、上記正面入力軌跡パタン７０２は、図中８０１に該当するパタンを格納したデータベースである。
【００３５】
背面入力軌跡認識部１０５は、軌跡正規化部７０３と軌跡認識部Ｂ７０４とを備える。軌跡正規化部７０３は、背面入力された軌跡の情報を左右に反転させることで、正面入力による軌跡と同様のデータに正規化する。軌跡認識部Ｂ７０４は、軌跡認識部Ａ７０１と同様に、正面入力軌跡パタン７０２を用いて、上記正規化された軌跡の認識を行う。
【００３６】
以上によれば、ユーザにより正面入力された軌跡であっても、背面入力された軌跡であっても、高精度の軌跡の認識ができる。
【００３７】
＜実施形態２＞
上記実施形態１では、背面入力された軌跡は、入力された軌跡の正規化（左右反転）を行った後に認識を行っていた。しかしながら、上記正規化の処理として、左右反転以外の正規化も合わせて行うことが有効な場合も有り得る。以下ではその一例を説明する。
【００３８】
まず、ユーザが背面入力をする場合を考える。例えば、ユーザは、機器を人差し指以外の指で保持しているかもしれない。その場合には、人差し指で手書き軌跡を入力することになるであろう。ここで、人差し指によって入力された軌跡は、特徴的な形状を持ち、人差し指の可動範囲に軌跡の全てが閉じ込められた形状となるであろう。
【００３９】
図９の９０１は、背面入力時において、片方の人差し指がタッチパッド４０５に接触できる範囲、言い換えればタッチパッド上での人差し指の可動範囲を示す。ユーザが機器を保持しながら人差し指で軌跡を描いた場合には、本来ユーザが描こうとした軌跡は、この楕円形の可動範囲の内部に歪められてしまう。そして、もしこの歪んだ軌跡を認識しようとすれば、正しい認識を行うことは困難である。従って、本実施形態では、第１実施形態での正規化である左右反転に加えて、上述した歪みも解消する。具体的には、図中９０２で示すように、軌跡の各点について、図示の楕円形の可動範囲から矩形に変形するような空間変換（マッピング処理）を行う。これにより、空間の歪みが正規化される。
【００４０】
図１３は、この背面入力軌跡認識部１０５で行われる背面入力軌跡認識処理Ｓ２０６のサブフローである。まず、ステップＳ１３０１において、第１の正規化処理として、背面入力された軌跡の左右反転を行う。次に、ステップＳ１３０２において、第２の正規化処理として、左右反転された軌跡を図９の９０２で示したように空間変換する。次に、ステップＳ１３０３では、上記２種類の正規化処理が施された軌跡を、正面入力軌跡パタン７０２とのパタンマッチングにより認識処理する。
【００４１】
なお、２種類の正規化処理を行う方法としては、例えば図１０に示すような空間変換テーブルを用いて、第１正規化（左右反転）と第２正規化（歪み除去の空間変換）の両方を行う空間変換を実行しても良い。たとえば、このテーブルを用いると、入力された軌跡上の座標（１００，１０４）は、座標（２０９，５２）にマッピングされる。このマッピングにより、第１正規化（左右反転）と第２正規化（歪み除去の空間変換）の両方が一度に実行されることとなる。
【００４２】
なお、本実施形態では、人差し指の可動範囲を一例に挙げて、第２の正規化を説明したが、本発明はこれに限らない。例えば指の種類は、他の指であっても構わない。また、スタイラスなどによって背面入力する場合の可動範囲などを考慮したものであっても構わない。
【００４３】
以上によれば、背面入力された軌跡を、より高精度に認識できる。
【００４４】
＜実施形態３＞
上述した各実施形態では、機器の正面はタッチパネル４０３、機器の背面はタッチパッド４０５といったように、ユーザまたは装置が、正面と背面の種類を明確に区別できる機器について説明した。以下では、これらを明確に区別できない場合の実施形態について説明する。
【００４５】
図１１は、正面と背面をユーザに区別させないような機器の一例である。図中、機器のＡ面１１０１とＢ面１１０２のそれぞれにはタッチパネル１１０３とタッチパネル１１０４が備えられている。ユーザは、この端末のＡ面とＢ面の何れが正面であるかを意識せずに、操作するものである。すなわち、Ａ面とＢ面の何れも、機器の正面にも背面にもなり得る。
【００４６】
図１２は、本実施形態で適用可能な機器（手書き認識装置１００）の機能構成図である。なお、図１および図７と同じ構成要素に対しては同じ番号を付与し、説明を省略する。本実施形態において特徴的な部分は、正面／背面入力検出部１０３の動作である。
【００４７】
ここで注意するべき点としては、タッチパネル１２００は正面のタッチパネルかもしれないし、背面のタッチパネルかもしれない点である。もしタッチパネル１２００が正面のタッチパネルである時には、それはタッチパネル１２０２と同一物に相当する。一方で、もしタッチパネル１２００が背面のタッチパネルである時には、それはタッチパネル１２０２の反対面に存在するタッチパネルということになる。
【００４８】
本実施形態では、正面／背面入力検出部１０３が、Ａ面あるいはＢ面のどちらのタッチパネルがユーザの正面に向いているのかを検出することができる。すなわち、正面／背面入力検出部１０３は、軌跡検知部１０１を含むタッチパネル１２００が正面のタッチパネルか、背面のタッチパネルかを判断することができる。この検出方法としては種々の方法を適用可能である。例えば、機器のＡ面にカメラを備え、軌跡の入力時にはＡ面のカメラで撮影を行う。もしこのカメラで撮影された画像を顔検出した結果、顔が含まれていると判定した場合は、Ａ面がユーザ正面であると判定できる。逆に、顔が含まれていないと判定した場合には、Ｂ面がユーザ正面であると判定すれば良い。
【００４９】
他の方法としては、例えば、機器内に加速度センサ（重力センサ）を装備し、Ａ面とＢ面のうち、上方を向いている面をユーザ正面と判定しても良い。
【００５０】
以上により、ユーザにとって正面のタッチパネルに軌跡が入力された場合は、正面入力であると判定し、ユーザにとって背面のタッチパネルに軌跡が入力された場合は、背面入力と判定する。
【００５１】
なお、本実施形態では、背面入力軌跡認識部１０５に正面パネル出力部１２０１を備えている。そして、軌跡正規化部７０３で正規化された軌跡を、正面パネル出力部１２０１を介して、ユーザの正面と判断されたタッチパネル（タッチパネルディスプレイ）１２０２に出力させることができる。これは、ユーザに、背面入力された軌跡がどのようなものかを明示することができ、ユーザの意図に沿った軌跡の入力がし易くなるという利点がある。
【００５２】
＜実施形態４＞
上記各実施形態では、背面入力した軌跡を正規化することで、正面入力軌跡パタン７０２とのパターンマッチングを行っていた。しかしながら、図１０のようなテーブルを利用した空間変換であっても、入力された軌跡の全ての座標について行う場合には、その負荷が大きい。これに対し、あえて背面入力された軌跡を正規化せずに、背面入力された軌跡を高速に認識できるようにすることも可能である。以下、その一例を説明する。
【００５３】
図１４は、本実施形態の機能ブロック図である。背面入力軌跡パタン１６０１は、上述した図８における背面入力軌跡パタン８０２と同様のデータベースである。このデータベースには、全て背面入力で入力される可能性のある軌跡が格納されている。すなわち、背面入力軌跡パタン１６０１は、正面入力で入力される可能性のある軌跡を左右反転している軌跡の集まりに相当する。図１４においては、正面／背面入力検出部１０３が背面入力であると判定した場合、軌跡認識部Ｂ７０４は、軌跡正規化部７０３の機能を必要とせずに、速やかに背面入力の軌跡パタン１６０１とのパタンマッチングを行う。図１４における他の動作は基本的に上記図１２と同様であるので詳細な説明は省略する。
【００５４】
以上によれば、背面入力による軌跡の認識を高速に行うことができる。
【００５５】
＜変形例＞
なお、上記各実施形態では、正面と背面は角度が１８０度異なる方向を向いている状態を想定して説明したが、本発明はこれに限らない。すなわち、本発明は、ユーザが平面であると感じるような少なくとも２つの面を有する機器に適用でき、その２つの面は、ユーザが感覚的に正面と背面であると感じる関係であれば良い。例えば、機器のＡ面とＢ面が９０度ぐらいの角度を形成するような配置関係であっても、Ａ面を正面として見ているユーザにとって、Ｂ面をＡ面と同時に見ることができなければ、Ｂ面は背面に相当する。そのような関係の２面についても、上述した各実施形態の正面と背面の概念を適用することが可能である。
【００５６】
なお、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。例えば、図１に示した機器の各処理部と同等の機能を、ＣＰＵやＲＯＭ、ＲＡＭなどから構成されるコンピュータが実行する場合には、そのコンピュータは認識装置に相当し、その一連の認識動作を制御することは認識装置の制御方法に相当する。
【特許請求の範囲】
【請求項１】
ユーザにより入力される軌跡を検知する正面入力部および背面入力部を備えた認識装置であって、
前記正面入力部または背面入力部から入力された軌跡を取得する取得手段と、
前記取得された軌跡が、前記２つの入力部の何れから入力された軌跡であるかを特定する特定手段と、
前記取得された軌跡を認識する認識手段とを備え、
前記認識手段は、前記取得された軌跡が背面入力部から入力された場合には、該取得された軌跡の反転処理を伴う正規化処理を行った後に、前記正面入力部から入力された軌跡の認識と同じ認識アルゴリズムを用いて、軌跡の認識を実行することを特徴とする認識装置。
【請求項２】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１に記載の認識装置として機能させるコンピュータプログラム。
【請求項３】
請求項２に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項４】
ユーザにより入力される軌跡を検知する正面入力部および背面入力部を備えた認識装置の制御方法であって、
取得手段により、前記正面入力部または背面入力部から入力された軌跡を取得する取得工程と、
特定手段により、前記取得された軌跡が、前記２つの入力部の何れから入力された軌跡であるかを特定する特定工程と、
認識手段により、前記取得された軌跡を認識する認識工程とを備え、
前記認識工程では、前記取得された軌跡が背面入力部から入力された場合には、該取得された軌跡の反転処理を伴う正規化処理を行った後に、前記正面入力部から入力された軌跡の認識と同じ認識アルゴリズムを用いて、軌跡の認識を実行することを特徴とする制御方法。
【請求項１】
ユーザにより入力される軌跡を検知する正面入力部および背面入力部を備えた認識装置であって、
前記正面入力部または背面入力部から入力された軌跡を取得する取得手段と、
前記取得された軌跡が、前記２つの入力部の何れから入力された軌跡であるかを特定する特定手段と、
前記取得された軌跡を認識する認識手段とを備え、
前記認識手段は、前記取得された軌跡が背面入力部から入力された場合には、該取得された軌跡の反転処理を伴う正規化処理を行った後に、前記正面入力部から入力された軌跡の認識と同じ認識アルゴリズムを用いて、軌跡の認識を実行することを特徴とする認識装置。
【請求項２】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１に記載の認識装置として機能させるコンピュータプログラム。
【請求項３】
請求項２に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項４】
ユーザにより入力される軌跡を検知する正面入力部および背面入力部を備えた認識装置の制御方法であって、
取得手段により、前記正面入力部または背面入力部から入力された軌跡を取得する取得工程と、
特定手段により、前記取得された軌跡が、前記２つの入力部の何れから入力された軌跡であるかを特定する特定工程と、
認識手段により、前記取得された軌跡を認識する認識工程とを備え、
前記認識工程では、前記取得された軌跡が背面入力部から入力された場合には、該取得された軌跡の反転処理を伴う正規化処理を行った後に、前記正面入力部から入力された軌跡の認識と同じ認識アルゴリズムを用いて、軌跡の認識を実行することを特徴とする制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−７７１８０（Ｐ２０１３−７７１８０Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１６７７８（Ｐ２０１１−２１６７７８）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]