個人認証装置および携帯端末
【課題】個人の指の形状の重なりを容易に防止しつつ、比較的低コストで個人認証を行えるようにする。
【解決手段】面状のタッチ検出領域を有するタッチパネル１０４にユーザの指がタッチされたとき、タッチパネル１０４により検出されたタッチ領域の画像に基づいて、指の形状を表す特徴データを抽出する。この抽出された特徴データを登録しておき、登録後にタッチパネル１０４上にタッチされた指の検出画像に基づく特徴データを登録済の特徴データと照合する。両特徴データが合致したとき、個人認証が成立したと判断する。
【解決手段】面状のタッチ検出領域を有するタッチパネル１０４にユーザの指がタッチされたとき、タッチパネル１０４により検出されたタッチ領域の画像に基づいて、指の形状を表す特徴データを抽出する。この抽出された特徴データを登録しておき、登録後にタッチパネル１０４上にタッチされた指の検出画像に基づく特徴データを登録済の特徴データと照合する。両特徴データが合致したとき、個人認証が成立したと判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指形状を利用した個人認証装置およびこれを用いた携帯端末に関する。
【背景技術】
【０００２】
従来の携帯端末での代表的なセキュリティ機能を実現するための認証技術としては、パスワードや指紋などを利用するものが知られている。
【０００３】
例えば、特許文献１には、カメラ撮影を行う掌形生体画像入力手段を用いた個人認証装置が提案されている。
【０００４】
端末の操作部の操作を一時的に受け付けなくするロック機能としては、スライドキーによるものが知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2007‐200051号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来の認証技術において、パスワードを利用するものはパスワード自体を失念する等のリスクがある。指紋を利用するものは認証を行うための追加デバイスが必要であり、コストアップにつながる。
【０００７】
また、特許文献１に記載の技術では、単指での撮影を前提としているために、複数の指の形状を取得するために最大５つの撮像装置を必要とする。このため、この技術は携帯電話端末への実装は難しい。また、カメラ撮影を前提とするため、隣り合う指が重なり合う可能性があり、その場合には指の形状の認識ができなくなる。
【０００８】
また、スライドキーによる端末のロック機能はメカ機構の追加によるコストアップやデザインの制約などがある。
【０００９】
そのため、部品追加によるコストアップや、記憶に頼らないセキュリティ機能（ロック機能を含む）があれば、簡易的なセキュリティで足りる機能に使用するのに便利である。
【００１０】
本発明はこのような背景においてなされたものであり、個人の指の形状の重なりを容易に防止しつつ、比較的低コストで個人認証を行えるようにするものである。
【課題を解決するための手段】
【００１１】
本発明による個人認証装置は、面状のタッチ検出領域を有するタッチパネルと、このタッチパネルにユーザの指がタッチされたとき、前記タッチパネルにより検出されたタッチ領域の画像に基づいて、指の形状を表す特徴データを抽出する特徴データ抽出手段と、抽出された特徴データを登録する特徴データ登録手段と、登録後に前記タッチパネル上にタッチされた指の検出画像に基づく特徴データを前記登録済の特徴データと照合する特徴データ照合手段とを備えたものである。
【００１２】
タッチパネルに指をタッチする場合、特に複数の指をタッチする場合に、タッチパネルに対して各指が接触するため、自ずと指同士の重なりはなくなり、指の姿勢が整うことが期待される。その結果、登録時の指形状と登録後の認識時の指形状が一致しやすくなる。
【００１３】
本発明による携帯端末は、表示画面を有する表示部と、ユーザの操作を受ける操作部と、前記表示画面に重ねて配置された面状のタッチ検出領域を有するタッチパネルと、このタッチパネルにユーザの指がタッチされたとき、前記タッチパネルにより検出されたタッチ領域の画像に基づいて、指の形状を表す特徴データを抽出する特徴データ抽出手段と、抽出された特徴データを登録する特徴データ登録手段と、登録後に前記タッチパネル上にタッチされた指の検出画像に基づく特徴データを前記登録済の特徴データと照合する特徴データ照合手段とを備えたものである。
【発明の効果】
【００１４】
本発明によれば面状のタッチ検出領域を有するタッチパネルへの指の接触を利用するので、隣り合う指が重なり合う弊害が防止される。その結果、認識エラーの発生が軽減される。また、入力デバイスとしてタッチパネルを組み合わせた既存の表示部を使用することが可能であり、そのような表示部を備えた装置では余計なコストを掛けずに本発明を実現することが可能である。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態に係る携帯端末の外観およびその使用例を示した図である。
【図２】図１の携帯端末の内部のハードウェア構成例を示すブロック図である。
【図３】本発明の実施の形態における指形状の認識方法を説明するための図である。
【図４】本発明の実施の形態における位置情報テーブルの例を示した図である。
【図５】本発明の実施の形態における指形状の登録処理のフローチャートである。
【図６】本発明の実施の形態における指形状の認識・判定処理のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。本実施の形態では携帯電話端末に適用した例を示す。
【００１７】
図１は、本発明の実施の形態に係る携帯端末１００の外観およびその使用例を示している。この携帯端末１００の筐体の主表面にはＬＣＤパネルなどの表示部１０５が配置されている。表示部１０５の表示画面に重ねて平面状のタッチ検出領域を有するタッチパネル（タッチセンサ）１０４が配置されている。平面状の代わりに曲面状であってもよい。ここでは表示画面全域にタッチ検出領域が重なる例を示している。しかし、本発明はこの構成に限られるものではない。例えば、表示画面の一部の領域にタッチ検出領域があってもよいし、表示画面と別の位置にタッチ検出領域があってもよい。このタッチパネル１０４により、表示画面上にタッチされたユーザの指１１〜１３のタッチ位置（タッチ領域）が画像データとして検出される。使用するタッチパネルとしては、複数点のタッチ位置を同時に検出する機能を有するものであれば足りる。最近では、光センサを組み込んだ携帯端末向けタッチパネルや、高速スキャン等による複数点接触検出を行えるタッチパネル処理システムも開発され、高精度かつ指の形状を検出可能なタッチパネルが存在する。
【００１８】
主表面上で表示部１０５の下部には各種キーからなる操作部１０６が配置されている。図示しないが、マイクやスピーカも配置されている。なお、操作部１０６の具体的な構成や配置位置については特に限定するものではない。スライド式の上下筐体を有する場合に、操作部１０６に加えて、または代えて、下部筐体にテンキーなどの操作部を有してもよい。また、タッチパネルによるタッチ操作やソフトキー等の利用による入力で足りる場合、本発明の「操作部」にはそのようなソフトウェア構成の操作部も含むものとする。
【００１９】
図に示すように、ユーザが表示画面上に指１１〜１３を載置（タッチ）することによりタッチパネル１０４が指の形状の認識を行う。これにより、ユーザの認証や携帯端末の指示操作を行うことができる。なお、タッチする指の本数は３本の例を示しているが、３本に限るものではない。
【００２０】
図２は、携帯端末１００の内部のハードウェア構成例を示すブロック図である。
【００２１】
この携帯端末１００は、バス１１５で相互に接続された制御部１０１、通信部１０２、タッチパネル１０４、表示部１０５、操作部１０６、記憶部１０７、スピーカ１０８、マイク１０９、バイブレータ１１０、および充電制御部１１３等を備える。
【００２２】
制御部１０１は、ＣＰＵを含み、携帯端末１００の各部の制御および必要なデータ処理を行う。特に、本発明における「特徴データ抽出手段」「特徴データ照合手段」の各手段を構成する。制御部１０１はまた、後述する記憶部１０７とともに「特徴データ登録手段」を構成する。通信部１０２は、アンテナ１０３を介して基地局との間で無線通信を行う。タッチパネル１０４は、複数のタッチ位置をほぼ同時に検出できる型のものであれば、その構成や動作原理は問わない。表示部１０５は、ＬＣＤ，有機ＥＬ等の表示デバイスを含み、その表示画面上に情報を表示する。操作部１０６は、各種のキーを有し、ユーザからの指示やデータの入力を受け付ける。記憶部１０７は、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶手段を備え、ＯＳ、各種アプリケーションプログラム等のコンピュータプログラム、各種データ（後述する位置情報テーブルを含む）を記憶する。スピーカ１０８は、受話音声、エラー音、確認音、メッセージ音声等を出力する。マイク１０９は、送話音声等を集音する機能を有する。バイブレータ１１０は、着信音などの代わりに振動で着信などを報知する手段である。充電制御部１１３は、二次電池であるバッテリ１１４の充電制御を行う。その他、すべては図示しないが、従来の携帯端末が備える任意の機能、手段を備えうる。
【００２３】
次に図３にて、本実施の形態における指形状の認識方法を説明する。図３（ａ）は写真の手形のように指形状をパネル面に接触させる場合の検出画像の例を示している。図３（ｂ）は、指１本利用の場合の１例、および、指２本利用の場合の２例を示している。図３（ｃ）は図３（ｂ）に対応する指形状データの説明図である。図示のように、本実施の形態における指形状は、順次連結された線分（ベクトル）のデータで表される。２つの線分の連結点が指の関節に相当し、各線分が、隣接する関節間の関節間部分に相当している。
【００２４】
ユーザはタッチパネル上で任意の数の指を任意の位置にタッチすることで個人情報の検出を行う。本実施の形態では、個人認証を行うためにタッチパネルに触れられた指先の形状を利用する。本発明のようにタッチパネルを使用した場合、複数の指が同時にパネル面に接触した状態となることによりパネル面に対する掌の傾きはなくなり、かつ、検出される指の形状が重なり合うこともない。各指の軸方向を中心とした回転角度は常に同じとなり、複数の指を画一的な状態で容易に認識することができる。タッチされた指の検出画像からは、各指の先端位置、関節位置、付け根位置等が認識される。
【００２５】
個人の指形状の特徴データ（指形状データ）としては、具体的には、以下のような事項を抽出する。
（１）各指の関節（指の先端を含んでもよい）の関節間部分（Ｌa，Ｌｂ等）の長さ（関節間の相対的な位置）
「関節間部分の長さ」は関節の位置情報に基づいて算出される。関節の位置情報は基準となる関節に対する他の関節の位置を相対座標で表したものである。
（２）各指の関節を通じた指の曲がり情報（隣接する関節間部分の成す角度Ｒａ−１，Ｒａ−２等）
（３）隣接する指の対応する関節の位置のずれ量（ｄａ１，ｄａ２，ｄａ３等）
（４）隣接する指の間隔（例えば付け根の間隔Ｄ１等）
（図中の複数の破線は隣接する指の付け根間の破線に平行な線である。）
（５）各指の関節（指の先端を含んでもよい）の数
（６）これらの任意の組み合わせ
【００２６】
このような、タッチにより認識された個人の指形状データは携帯端末上の記憶部１０７等に認識された関節の位置情報テーブルとして保持される。位置情報テーブルは外部のセキュリティサーバ等に登録するようにしてもよい。図４に位置情報テーブル４０の例を示す。図４における、Ａ−１、Ｂ−２等の英文字は指の識別符号を示し、番号は関節の通し番号を示している。
【００２７】
この位置情報テーブル４０は、各指の関節番号について、基準位置からの相対的位置情報および備考を保存している。登録された関節の、タッチパネル上での位置は任意の場所で再認識されるため、タッチパネル上での絶対位置としては登録しない。そのため、任意の１点を基準として、それぞれの関節位置の相対的な位置を位置情報テーブルとして保持する。「相対的位置情報」は、この例では隣接する関節位置からのＸ，Ｙの各軸方向の変位量ΔＸ，ΔＹで表している（Ａ−２，Ａ３のみ数値例を示している。）。「備考」は、その関節が基準位置としての関節であるか否か、および基準位置としての関節でない場合にその関節の照合判定時の許容誤差等である。登録時と認識時において、タッチされる指の場所は異なることが想定される。また、特定された関節の数、および位置関係は絶対的に同一であることが望ましいが、そのときの触り方や端末の持ち方、体調等により変化することが考えられる。そのため、あらかじめ許容誤差について設定を行う。許容誤差には、上述した各種特徴データについて個別に定めることができる。個々の指やその関節または関節間部分についての許容誤差は位置情報テーブル４０に規定するが、他の判定基準、例えば指の本数の違い、関節数の違い等の許容誤差については、位置情報テーブル４０とは別に、プログラムの条件判定処理等に含めて別途規定することができる。
【００２８】
指形状の情報を登録する位置情報テーブル４０の登録データ（データフォーマット）としては、最低１本の指による個人認証を行うために、少なくとも１本の指の情報を登録する。指形状データの取得には、最低限２点の関節の間の関節間部分と、指の先端もしくは付け根部分のデータを使用する。指情報を認識する上で指形状の個人差があることを考慮すると、指の先端および付け根など、すべての指型を取得できないケースも想定される。
【００２９】
登録時と認識時において関節の数が変化（失われた関節位置が存在）している場合でも、認識時に得られた特定の関節位置を基準位置とし、それから関節間部分の長さを初めとする所定の特徴データを照合する。これにより、ある閾値（例えば確率８０％以上など）を設けて合致判定を行うことで対応ができる。
【００３０】
タッチ検出結果に基づく指の画像領域の判定にはいろいろな方法がありうるが、例えば、接触部分の連続性を追うことにより、１本の指を認識することができる。また、これに基づいて指の本数の認識を行うことができる。
【００３１】
関節位置の特定は、指形状を認識する際の二つの接触領域間に挟まれた所定サイズの非接触部分が関節位置であろうとの推定に基づいて判定する。図３（ａ）（ｂ）に示した写真の手形のように指の腹をパネル面に接触させる場合、関節は非接触の部分として残る。指の関節は非接触の部分として残る。これを利用して関節位置を特定する。非接触位置の特定には、さまざまな方法があるが、例としては、（１）単位面積当たりの認識（接触）部分の面積の多少とその方向による判定、（２）指の縦方向（長手方向）に対する横方向（長手方向に直角の方向）の接触面積の多少による判定、等が考えられる。指の形状によっては、関節位置が特定できないケースもある。この場合、認識される関節位置の数が減る方向にあり、関節数による個人特定の有効な手段の１つとなる。
【００３２】
上述したように、各関節の位置情報は、絶対的な基準を必要とせず、検出された特定の関節位置を基準とするものである。例えば直交座標軸（Ｘ，Ｙ軸）上で、基準位置情報をもとに、他の関節の位置情報を相対的に定め、これらの位置情報から関節間部分の長さ（距離）、その向き（ベクトル）等を算出するのは容易である。
【００３３】
図５に、本実施の形態における指形状の登録処理のフローチャートを示す。
【００３４】
端末は、まず、表示または音声によりユーザに指タッチを行うことを指示する（Ｓ１１）。この指示に対して指タッチがなされたことを検出されたら（Ｓ１２，Ｙｅｓ）、得られた複数のタッチ領域の画像に基づいて指形状（を表す特徴データ）を抽出する（Ｓ１３）。この指形状を表す画像またはデータを認識結果として画面上に表示する（Ｓ１４）。ユーザの「結果了承」の指示を受けて（Ｓ１５）、この指形状を登録する（Ｓ１６）。すなわち、指形状データを記憶部１０７の所定の領域に記憶する。
【００３５】
その後、個人認証として指形状を使用するときは、再度タッチパネルに必要な指の数をタッチさせ、同様に指形状を認識させることによりユーザの特定を行う。
【００３６】
図６に、本実施の形態における指形状の認識・判定処理のフローチャートを示す。
【００３７】
指形状の登録後の認識時においても、登録時と同様に関節の位置関係の特定を行うことから開始される。
【００３８】
端末は、まず、表示または音声によりユーザに指タッチを行うことを指示する（Ｓ２１）。この指示に対して指タッチがなされたことを検出されたら（Ｓ２２，Ｙｅｓ）、得られた複数のタッチ領域の画像に基づいて指形状（を表す特徴データ）を抽出する（Ｓ２３）。この指形状を表すデータを認識結果として画面上に表示する（Ｓ２４）。ここでの「指形状を表すデータ」とは、例えば、指の検出画像またはそれから求められた線分画像、および／またはそれらの数値データである。ユーザの「結果了承」の指示を受けて（Ｓ２５）、この検出された指形状と登録済の指形状との間で指形状の照合を行う（Ｓ２６）。１本の指のみが登録されている場合に、複数の指が検出されたとき、検出されたいずれかの指形状が登録された指形状と合致すれば、認証が成立するものとしてもよい。複数本の指が登録されている場合に、その本数未満の指が検出されたとき、実際に検出された指の本数についてのみ登録データと照合を行うようにしてもよい。但し、指の本数も認証の判定要素とする場合には、個人認証不成立とする。
【００３９】
なお、ステップＳ２４，Ｓ２５は本発明に必須の処理ではなく、省略してもよい。
【００４０】
照合結果が「合致」であれば（Ｓ２７，Ｙｅｓ）、個人認証成立と判定し、その認識結果を出力し（Ｓ２８）、当該認証に係るセキュリティ解除を行う（２９）。例えば、セキュリティが端末のロックであれば、そのロック解除を行う。このときの認識結果の出力は認識が正しく行われた旨をメッセージ表示したり、音や音声、振動等で出力するものである。照合結果が「非合致」であれば（Ｓ２７，Ｎｏ）、個人認証不成立と判定し、所定の非合致処理を行う（Ｓ３０）。この所定の非合致処理は、例えば、認識が正しく行われなかった旨やリトライの指示をメッセージ表示したり、音や音声、振動等で出力するものである。音や振動の場合にはステップＳ２８とＳ３０では出力態様を異ならせる。
【００４１】
本実施の形態は、簡易的かつ容易な個人認証を目指したものであり、必ずしも非常に高いセキュリティが望まれるアプリケーションに使用することは想定していない。最悪の場合、同一人物が登録認証のための操作を行ったにも関わらず、認識結果がＮＧとなる場合が想定される。そのような場合のために、本実施の形態の個人認証手段と別の個人認証手段と併用することで、両者を選択的に用いて個人認証が行えるようにしてもよい。
【００４２】
本実施の形態によれば、上述のように、タッチパネルを用いることにより隣り合う指が重なる問題は解消される。また、入力デバイスとして単一のかつ携帯電話端末に必須である表示部に組み込まれたタッチパネルを使用することにより、携帯電話端末においても余計なコストを掛けることなく、従来技術の課題を解決することができる。
【００４３】
また、特許文献１に記載の従来技術における０点の存在は必要なく、任意の位置でタッチしたことによる指の先端位置や、個人差も含めた取得可能な指関節位置情報により、指形状の認識と位置情報を算出することが可能である。登録時と認証時に同じ位置で指を提示することも必要ではない。
【００４４】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、図４で説明した基準位置は、あくまでも基本的な基準であり、たとえばこの基準位置が認識時に失われていた場合は、他の位置を基準として利用することも可能である。
【００４５】
携帯電話端末について説明したが、携帯型に限るものではなく、また、電話端末に限るものでもない。
【００４６】
上述したロック機能はセキュリティ機能の一例として示したものであり、本発明が適用されるセキュリティ機能はロック機能に限るものではない。
【符号の説明】
【００４７】
４０…位置情報テーブル、１００…携帯端末、１０１…制御部、１０２…通信部、１０３…アンテナ、１０４…タッチパネル、１０５…表示部、１０６…操作部、１０７…記憶部、１０８…スピーカ、１０９…マイク、１１０…バイブレータ、１１３…充電制御部、１１４…バッテリ、１１５…バス
【技術分野】
【０００１】
本発明は、指形状を利用した個人認証装置およびこれを用いた携帯端末に関する。
【背景技術】
【０００２】
従来の携帯端末での代表的なセキュリティ機能を実現するための認証技術としては、パスワードや指紋などを利用するものが知られている。
【０００３】
例えば、特許文献１には、カメラ撮影を行う掌形生体画像入力手段を用いた個人認証装置が提案されている。
【０００４】
端末の操作部の操作を一時的に受け付けなくするロック機能としては、スライドキーによるものが知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2007‐200051号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来の認証技術において、パスワードを利用するものはパスワード自体を失念する等のリスクがある。指紋を利用するものは認証を行うための追加デバイスが必要であり、コストアップにつながる。
【０００７】
また、特許文献１に記載の技術では、単指での撮影を前提としているために、複数の指の形状を取得するために最大５つの撮像装置を必要とする。このため、この技術は携帯電話端末への実装は難しい。また、カメラ撮影を前提とするため、隣り合う指が重なり合う可能性があり、その場合には指の形状の認識ができなくなる。
【０００８】
また、スライドキーによる端末のロック機能はメカ機構の追加によるコストアップやデザインの制約などがある。
【０００９】
そのため、部品追加によるコストアップや、記憶に頼らないセキュリティ機能（ロック機能を含む）があれば、簡易的なセキュリティで足りる機能に使用するのに便利である。
【００１０】
本発明はこのような背景においてなされたものであり、個人の指の形状の重なりを容易に防止しつつ、比較的低コストで個人認証を行えるようにするものである。
【課題を解決するための手段】
【００１１】
本発明による個人認証装置は、面状のタッチ検出領域を有するタッチパネルと、このタッチパネルにユーザの指がタッチされたとき、前記タッチパネルにより検出されたタッチ領域の画像に基づいて、指の形状を表す特徴データを抽出する特徴データ抽出手段と、抽出された特徴データを登録する特徴データ登録手段と、登録後に前記タッチパネル上にタッチされた指の検出画像に基づく特徴データを前記登録済の特徴データと照合する特徴データ照合手段とを備えたものである。
【００１２】
タッチパネルに指をタッチする場合、特に複数の指をタッチする場合に、タッチパネルに対して各指が接触するため、自ずと指同士の重なりはなくなり、指の姿勢が整うことが期待される。その結果、登録時の指形状と登録後の認識時の指形状が一致しやすくなる。
【００１３】
本発明による携帯端末は、表示画面を有する表示部と、ユーザの操作を受ける操作部と、前記表示画面に重ねて配置された面状のタッチ検出領域を有するタッチパネルと、このタッチパネルにユーザの指がタッチされたとき、前記タッチパネルにより検出されたタッチ領域の画像に基づいて、指の形状を表す特徴データを抽出する特徴データ抽出手段と、抽出された特徴データを登録する特徴データ登録手段と、登録後に前記タッチパネル上にタッチされた指の検出画像に基づく特徴データを前記登録済の特徴データと照合する特徴データ照合手段とを備えたものである。
【発明の効果】
【００１４】
本発明によれば面状のタッチ検出領域を有するタッチパネルへの指の接触を利用するので、隣り合う指が重なり合う弊害が防止される。その結果、認識エラーの発生が軽減される。また、入力デバイスとしてタッチパネルを組み合わせた既存の表示部を使用することが可能であり、そのような表示部を備えた装置では余計なコストを掛けずに本発明を実現することが可能である。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態に係る携帯端末の外観およびその使用例を示した図である。
【図２】図１の携帯端末の内部のハードウェア構成例を示すブロック図である。
【図３】本発明の実施の形態における指形状の認識方法を説明するための図である。
【図４】本発明の実施の形態における位置情報テーブルの例を示した図である。
【図５】本発明の実施の形態における指形状の登録処理のフローチャートである。
【図６】本発明の実施の形態における指形状の認識・判定処理のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。本実施の形態では携帯電話端末に適用した例を示す。
【００１７】
図１は、本発明の実施の形態に係る携帯端末１００の外観およびその使用例を示している。この携帯端末１００の筐体の主表面にはＬＣＤパネルなどの表示部１０５が配置されている。表示部１０５の表示画面に重ねて平面状のタッチ検出領域を有するタッチパネル（タッチセンサ）１０４が配置されている。平面状の代わりに曲面状であってもよい。ここでは表示画面全域にタッチ検出領域が重なる例を示している。しかし、本発明はこの構成に限られるものではない。例えば、表示画面の一部の領域にタッチ検出領域があってもよいし、表示画面と別の位置にタッチ検出領域があってもよい。このタッチパネル１０４により、表示画面上にタッチされたユーザの指１１〜１３のタッチ位置（タッチ領域）が画像データとして検出される。使用するタッチパネルとしては、複数点のタッチ位置を同時に検出する機能を有するものであれば足りる。最近では、光センサを組み込んだ携帯端末向けタッチパネルや、高速スキャン等による複数点接触検出を行えるタッチパネル処理システムも開発され、高精度かつ指の形状を検出可能なタッチパネルが存在する。
【００１８】
主表面上で表示部１０５の下部には各種キーからなる操作部１０６が配置されている。図示しないが、マイクやスピーカも配置されている。なお、操作部１０６の具体的な構成や配置位置については特に限定するものではない。スライド式の上下筐体を有する場合に、操作部１０６に加えて、または代えて、下部筐体にテンキーなどの操作部を有してもよい。また、タッチパネルによるタッチ操作やソフトキー等の利用による入力で足りる場合、本発明の「操作部」にはそのようなソフトウェア構成の操作部も含むものとする。
【００１９】
図に示すように、ユーザが表示画面上に指１１〜１３を載置（タッチ）することによりタッチパネル１０４が指の形状の認識を行う。これにより、ユーザの認証や携帯端末の指示操作を行うことができる。なお、タッチする指の本数は３本の例を示しているが、３本に限るものではない。
【００２０】
図２は、携帯端末１００の内部のハードウェア構成例を示すブロック図である。
【００２１】
この携帯端末１００は、バス１１５で相互に接続された制御部１０１、通信部１０２、タッチパネル１０４、表示部１０５、操作部１０６、記憶部１０７、スピーカ１０８、マイク１０９、バイブレータ１１０、および充電制御部１１３等を備える。
【００２２】
制御部１０１は、ＣＰＵを含み、携帯端末１００の各部の制御および必要なデータ処理を行う。特に、本発明における「特徴データ抽出手段」「特徴データ照合手段」の各手段を構成する。制御部１０１はまた、後述する記憶部１０７とともに「特徴データ登録手段」を構成する。通信部１０２は、アンテナ１０３を介して基地局との間で無線通信を行う。タッチパネル１０４は、複数のタッチ位置をほぼ同時に検出できる型のものであれば、その構成や動作原理は問わない。表示部１０５は、ＬＣＤ，有機ＥＬ等の表示デバイスを含み、その表示画面上に情報を表示する。操作部１０６は、各種のキーを有し、ユーザからの指示やデータの入力を受け付ける。記憶部１０７は、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶手段を備え、ＯＳ、各種アプリケーションプログラム等のコンピュータプログラム、各種データ（後述する位置情報テーブルを含む）を記憶する。スピーカ１０８は、受話音声、エラー音、確認音、メッセージ音声等を出力する。マイク１０９は、送話音声等を集音する機能を有する。バイブレータ１１０は、着信音などの代わりに振動で着信などを報知する手段である。充電制御部１１３は、二次電池であるバッテリ１１４の充電制御を行う。その他、すべては図示しないが、従来の携帯端末が備える任意の機能、手段を備えうる。
【００２３】
次に図３にて、本実施の形態における指形状の認識方法を説明する。図３（ａ）は写真の手形のように指形状をパネル面に接触させる場合の検出画像の例を示している。図３（ｂ）は、指１本利用の場合の１例、および、指２本利用の場合の２例を示している。図３（ｃ）は図３（ｂ）に対応する指形状データの説明図である。図示のように、本実施の形態における指形状は、順次連結された線分（ベクトル）のデータで表される。２つの線分の連結点が指の関節に相当し、各線分が、隣接する関節間の関節間部分に相当している。
【００２４】
ユーザはタッチパネル上で任意の数の指を任意の位置にタッチすることで個人情報の検出を行う。本実施の形態では、個人認証を行うためにタッチパネルに触れられた指先の形状を利用する。本発明のようにタッチパネルを使用した場合、複数の指が同時にパネル面に接触した状態となることによりパネル面に対する掌の傾きはなくなり、かつ、検出される指の形状が重なり合うこともない。各指の軸方向を中心とした回転角度は常に同じとなり、複数の指を画一的な状態で容易に認識することができる。タッチされた指の検出画像からは、各指の先端位置、関節位置、付け根位置等が認識される。
【００２５】
個人の指形状の特徴データ（指形状データ）としては、具体的には、以下のような事項を抽出する。
（１）各指の関節（指の先端を含んでもよい）の関節間部分（Ｌa，Ｌｂ等）の長さ（関節間の相対的な位置）
「関節間部分の長さ」は関節の位置情報に基づいて算出される。関節の位置情報は基準となる関節に対する他の関節の位置を相対座標で表したものである。
（２）各指の関節を通じた指の曲がり情報（隣接する関節間部分の成す角度Ｒａ−１，Ｒａ−２等）
（３）隣接する指の対応する関節の位置のずれ量（ｄａ１，ｄａ２，ｄａ３等）
（４）隣接する指の間隔（例えば付け根の間隔Ｄ１等）
（図中の複数の破線は隣接する指の付け根間の破線に平行な線である。）
（５）各指の関節（指の先端を含んでもよい）の数
（６）これらの任意の組み合わせ
【００２６】
このような、タッチにより認識された個人の指形状データは携帯端末上の記憶部１０７等に認識された関節の位置情報テーブルとして保持される。位置情報テーブルは外部のセキュリティサーバ等に登録するようにしてもよい。図４に位置情報テーブル４０の例を示す。図４における、Ａ−１、Ｂ−２等の英文字は指の識別符号を示し、番号は関節の通し番号を示している。
【００２７】
この位置情報テーブル４０は、各指の関節番号について、基準位置からの相対的位置情報および備考を保存している。登録された関節の、タッチパネル上での位置は任意の場所で再認識されるため、タッチパネル上での絶対位置としては登録しない。そのため、任意の１点を基準として、それぞれの関節位置の相対的な位置を位置情報テーブルとして保持する。「相対的位置情報」は、この例では隣接する関節位置からのＸ，Ｙの各軸方向の変位量ΔＸ，ΔＹで表している（Ａ−２，Ａ３のみ数値例を示している。）。「備考」は、その関節が基準位置としての関節であるか否か、および基準位置としての関節でない場合にその関節の照合判定時の許容誤差等である。登録時と認識時において、タッチされる指の場所は異なることが想定される。また、特定された関節の数、および位置関係は絶対的に同一であることが望ましいが、そのときの触り方や端末の持ち方、体調等により変化することが考えられる。そのため、あらかじめ許容誤差について設定を行う。許容誤差には、上述した各種特徴データについて個別に定めることができる。個々の指やその関節または関節間部分についての許容誤差は位置情報テーブル４０に規定するが、他の判定基準、例えば指の本数の違い、関節数の違い等の許容誤差については、位置情報テーブル４０とは別に、プログラムの条件判定処理等に含めて別途規定することができる。
【００２８】
指形状の情報を登録する位置情報テーブル４０の登録データ（データフォーマット）としては、最低１本の指による個人認証を行うために、少なくとも１本の指の情報を登録する。指形状データの取得には、最低限２点の関節の間の関節間部分と、指の先端もしくは付け根部分のデータを使用する。指情報を認識する上で指形状の個人差があることを考慮すると、指の先端および付け根など、すべての指型を取得できないケースも想定される。
【００２９】
登録時と認識時において関節の数が変化（失われた関節位置が存在）している場合でも、認識時に得られた特定の関節位置を基準位置とし、それから関節間部分の長さを初めとする所定の特徴データを照合する。これにより、ある閾値（例えば確率８０％以上など）を設けて合致判定を行うことで対応ができる。
【００３０】
タッチ検出結果に基づく指の画像領域の判定にはいろいろな方法がありうるが、例えば、接触部分の連続性を追うことにより、１本の指を認識することができる。また、これに基づいて指の本数の認識を行うことができる。
【００３１】
関節位置の特定は、指形状を認識する際の二つの接触領域間に挟まれた所定サイズの非接触部分が関節位置であろうとの推定に基づいて判定する。図３（ａ）（ｂ）に示した写真の手形のように指の腹をパネル面に接触させる場合、関節は非接触の部分として残る。指の関節は非接触の部分として残る。これを利用して関節位置を特定する。非接触位置の特定には、さまざまな方法があるが、例としては、（１）単位面積当たりの認識（接触）部分の面積の多少とその方向による判定、（２）指の縦方向（長手方向）に対する横方向（長手方向に直角の方向）の接触面積の多少による判定、等が考えられる。指の形状によっては、関節位置が特定できないケースもある。この場合、認識される関節位置の数が減る方向にあり、関節数による個人特定の有効な手段の１つとなる。
【００３２】
上述したように、各関節の位置情報は、絶対的な基準を必要とせず、検出された特定の関節位置を基準とするものである。例えば直交座標軸（Ｘ，Ｙ軸）上で、基準位置情報をもとに、他の関節の位置情報を相対的に定め、これらの位置情報から関節間部分の長さ（距離）、その向き（ベクトル）等を算出するのは容易である。
【００３３】
図５に、本実施の形態における指形状の登録処理のフローチャートを示す。
【００３４】
端末は、まず、表示または音声によりユーザに指タッチを行うことを指示する（Ｓ１１）。この指示に対して指タッチがなされたことを検出されたら（Ｓ１２，Ｙｅｓ）、得られた複数のタッチ領域の画像に基づいて指形状（を表す特徴データ）を抽出する（Ｓ１３）。この指形状を表す画像またはデータを認識結果として画面上に表示する（Ｓ１４）。ユーザの「結果了承」の指示を受けて（Ｓ１５）、この指形状を登録する（Ｓ１６）。すなわち、指形状データを記憶部１０７の所定の領域に記憶する。
【００３５】
その後、個人認証として指形状を使用するときは、再度タッチパネルに必要な指の数をタッチさせ、同様に指形状を認識させることによりユーザの特定を行う。
【００３６】
図６に、本実施の形態における指形状の認識・判定処理のフローチャートを示す。
【００３７】
指形状の登録後の認識時においても、登録時と同様に関節の位置関係の特定を行うことから開始される。
【００３８】
端末は、まず、表示または音声によりユーザに指タッチを行うことを指示する（Ｓ２１）。この指示に対して指タッチがなされたことを検出されたら（Ｓ２２，Ｙｅｓ）、得られた複数のタッチ領域の画像に基づいて指形状（を表す特徴データ）を抽出する（Ｓ２３）。この指形状を表すデータを認識結果として画面上に表示する（Ｓ２４）。ここでの「指形状を表すデータ」とは、例えば、指の検出画像またはそれから求められた線分画像、および／またはそれらの数値データである。ユーザの「結果了承」の指示を受けて（Ｓ２５）、この検出された指形状と登録済の指形状との間で指形状の照合を行う（Ｓ２６）。１本の指のみが登録されている場合に、複数の指が検出されたとき、検出されたいずれかの指形状が登録された指形状と合致すれば、認証が成立するものとしてもよい。複数本の指が登録されている場合に、その本数未満の指が検出されたとき、実際に検出された指の本数についてのみ登録データと照合を行うようにしてもよい。但し、指の本数も認証の判定要素とする場合には、個人認証不成立とする。
【００３９】
なお、ステップＳ２４，Ｓ２５は本発明に必須の処理ではなく、省略してもよい。
【００４０】
照合結果が「合致」であれば（Ｓ２７，Ｙｅｓ）、個人認証成立と判定し、その認識結果を出力し（Ｓ２８）、当該認証に係るセキュリティ解除を行う（２９）。例えば、セキュリティが端末のロックであれば、そのロック解除を行う。このときの認識結果の出力は認識が正しく行われた旨をメッセージ表示したり、音や音声、振動等で出力するものである。照合結果が「非合致」であれば（Ｓ２７，Ｎｏ）、個人認証不成立と判定し、所定の非合致処理を行う（Ｓ３０）。この所定の非合致処理は、例えば、認識が正しく行われなかった旨やリトライの指示をメッセージ表示したり、音や音声、振動等で出力するものである。音や振動の場合にはステップＳ２８とＳ３０では出力態様を異ならせる。
【００４１】
本実施の形態は、簡易的かつ容易な個人認証を目指したものであり、必ずしも非常に高いセキュリティが望まれるアプリケーションに使用することは想定していない。最悪の場合、同一人物が登録認証のための操作を行ったにも関わらず、認識結果がＮＧとなる場合が想定される。そのような場合のために、本実施の形態の個人認証手段と別の個人認証手段と併用することで、両者を選択的に用いて個人認証が行えるようにしてもよい。
【００４２】
本実施の形態によれば、上述のように、タッチパネルを用いることにより隣り合う指が重なる問題は解消される。また、入力デバイスとして単一のかつ携帯電話端末に必須である表示部に組み込まれたタッチパネルを使用することにより、携帯電話端末においても余計なコストを掛けることなく、従来技術の課題を解決することができる。
【００４３】
また、特許文献１に記載の従来技術における０点の存在は必要なく、任意の位置でタッチしたことによる指の先端位置や、個人差も含めた取得可能な指関節位置情報により、指形状の認識と位置情報を算出することが可能である。登録時と認証時に同じ位置で指を提示することも必要ではない。
【００４４】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、図４で説明した基準位置は、あくまでも基本的な基準であり、たとえばこの基準位置が認識時に失われていた場合は、他の位置を基準として利用することも可能である。
【００４５】
携帯電話端末について説明したが、携帯型に限るものではなく、また、電話端末に限るものでもない。
【００４６】
上述したロック機能はセキュリティ機能の一例として示したものであり、本発明が適用されるセキュリティ機能はロック機能に限るものではない。
【符号の説明】
【００４７】
４０…位置情報テーブル、１００…携帯端末、１０１…制御部、１０２…通信部、１０３…アンテナ、１０４…タッチパネル、１０５…表示部、１０６…操作部、１０７…記憶部、１０８…スピーカ、１０９…マイク、１１０…バイブレータ、１１３…充電制御部、１１４…バッテリ、１１５…バス
【特許請求の範囲】
【請求項１】
面状のタッチ検出領域を有するタッチパネルと、
このタッチパネルにユーザの指がタッチされたとき、前記タッチパネルにより検出されたタッチ領域の画像に基づいて、指の形状を表す特徴データを抽出する特徴データ抽出手段と、
抽出された特徴データを登録する特徴データ登録手段と、
登録後に前記タッチパネル上にタッチされた指の検出画像に基づく特徴データを前記登録済の特徴データと照合する特徴データ照合手段と
を備えた個人認証装置。
【請求項２】
前記指の形状を表す特徴データは、少なくとも１本の指の複数の関節間部分の長さを含む請求項１に記載の個人認証装置。
【請求項３】
前記関節間部分の長さは前記関節の位置情報に基づいて算出され、前記位置情報は基準となる関節に対する他の関節の位置を相対座標で表したものである請求項２に記載の個人認証装置。
【請求項４】
前記指の形状を表す特徴データは、さらに、隣接する関節間部分の成す角度、隣接する指の対応する関節の位置のずれ量、隣接する指の間隔、各指の関節（指の先端を含んでもよい）の数の少なくとも一つを有する請求項１〜３のいずれかに記載の個人認証装置。
【請求項５】
表示画面を有する表示部と、
ユーザの操作を受ける操作部と、
前記表示画面に重ねて配置された面状のタッチ検出領域を有するタッチパネルと、
このタッチパネルにユーザの指がタッチされたとき、前記タッチパネルにより検出されたタッチ領域の画像に基づいて、指の形状を表す特徴データを抽出する手段と、
抽出された特徴データを登録する手段と、
登録後に前記タッチパネル上にタッチされた指の検出画像に基づく特徴データを前記登録済の特徴データと照合する手段と
を備えた携帯端末。
【請求項１】
面状のタッチ検出領域を有するタッチパネルと、
このタッチパネルにユーザの指がタッチされたとき、前記タッチパネルにより検出されたタッチ領域の画像に基づいて、指の形状を表す特徴データを抽出する特徴データ抽出手段と、
抽出された特徴データを登録する特徴データ登録手段と、
登録後に前記タッチパネル上にタッチされた指の検出画像に基づく特徴データを前記登録済の特徴データと照合する特徴データ照合手段と
を備えた個人認証装置。
【請求項２】
前記指の形状を表す特徴データは、少なくとも１本の指の複数の関節間部分の長さを含む請求項１に記載の個人認証装置。
【請求項３】
前記関節間部分の長さは前記関節の位置情報に基づいて算出され、前記位置情報は基準となる関節に対する他の関節の位置を相対座標で表したものである請求項２に記載の個人認証装置。
【請求項４】
前記指の形状を表す特徴データは、さらに、隣接する関節間部分の成す角度、隣接する指の対応する関節の位置のずれ量、隣接する指の間隔、各指の関節（指の先端を含んでもよい）の数の少なくとも一つを有する請求項１〜３のいずれかに記載の個人認証装置。
【請求項５】
表示画面を有する表示部と、
ユーザの操作を受ける操作部と、
前記表示画面に重ねて配置された面状のタッチ検出領域を有するタッチパネルと、
このタッチパネルにユーザの指がタッチされたとき、前記タッチパネルにより検出されたタッチ領域の画像に基づいて、指の形状を表す特徴データを抽出する手段と、
抽出された特徴データを登録する手段と、
登録後に前記タッチパネル上にタッチされた指の検出画像に基づく特徴データを前記登録済の特徴データと照合する手段と
を備えた携帯端末。
【図２】
【図４】
【図５】
【図６】
【図１】
【図３】
【図４】
【図５】
【図６】
【図１】
【図３】
【公開番号】特開２０１０−２６８９８９（Ｐ２０１０−２６８９８９Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２３８９２（Ｐ２００９−１２３８９２）
【出願日】平成２１年５月２２日（２００９．５．２２）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月２２日（２００９．５．２２）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
[ Back to top ]