個人認証システム
【課題】 セキュリティレベルの更なる向上が可能であり、かつ、生きた本人が直接操作しない限り、セキュリティ突破することが困難な個人認証システムを提供する。
【解決手段】 接触式生体特徴情報検出部３４２，３４３、顔撮影カメラ３４１、骨伝導音検出部３４０及び気導音検出部３０４の４種類を認証用特徴情報取得部の母群として、これから少なくとも２種を選択して携帯電話１に設ける。そして、電話使用把握保持状態にて、指定された少なくとも２つの認証用特徴情報取得部による認証用特徴情報の取得を同時に実行し、それら認証用特徴情報の取得が同時になされていない場合には、認証処理対象者の受理認証（例えば、正規ユーザであるとの認証）を行なわないようにする。
【解決手段】 接触式生体特徴情報検出部３４２，３４３、顔撮影カメラ３４１、骨伝導音検出部３４０及び気導音検出部３０４の４種類を認証用特徴情報取得部の母群として、これから少なくとも２種を選択して携帯電話１に設ける。そして、電話使用把握保持状態にて、指定された少なくとも２つの認証用特徴情報取得部による認証用特徴情報の取得を同時に実行し、それら認証用特徴情報の取得が同時になされていない場合には、認証処理対象者の受理認証（例えば、正規ユーザであるとの認証）を行なわないようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯電話を用いた個人認証システムに関する。
【背景技術】
【０００２】
【特許文献１】特開２０００−２５９８２８号公報
【特許文献２】特開２００４−８００８０号公報
【０００３】
個人の認証方式として、認証対象者の音声波に含まれる個人性情報を利用した、いわゆる話者認識の技術が広く活用されている。例えば、最近では、特許文献１〜２に開示されているごとく、携帯電話のセキュリティレベルを高めるために、話者認識を含めた個人認証方式が種々提案されている。最近、携帯電話の普及台数が急増しており、新機種開発競争も激化していることから、機種の買い替えサイクルも短縮している。携帯電話機は電話帳やメールアドレスリストなどの個人データの蓄積媒体となることから、データの残された廃電話機がジャンクとして売買され、個人情報流出を引き起こす問題が指摘されている。また、インターネット接続などの情報通信端末機能を搭載した携帯電話機が標準化してしつつあり、情報提供課金や買い物などの決済あるいはモバイルバンキングなどにも広く利用されていることや、住居や建物などの建造物や自動車などのロック操作端末への流用も考えられていることから、より高度のセキュリティレベルが要求されている。特許文献１及び２には、音声による認証だけでなく、顔画像照合や指紋照合などの別の手段による認証方式を組み合わせることでセキュリティレベルを高める技術が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、セキュリティシステムが高度化するにつれ、それを不法に破る犯罪的手法も高度化ないし大胆化してきている。例えば、特許文献１や特許文献２のように、指紋や顔などの画像による認証と、音声による認証とを組み合わせる方法が採用されている場合、セキュリティの突破は一見非常に難しいように見える。しかし、次のような方法を採用すれば、複数段に張り巡らされたセキュリティステップを全てかいくぐることも不可能ではないのである。すなわち、顔については写真や映像を、音声については録音テープを、指紋については写真製版したスタンプや、果ては認証対象者本人から切り取った腕や指などを個別に用いて、正規利用者の存在状態をバーチャルに再現し、順次的に受理認証を得て行くのである（以下、このような不正を「代用虚偽認証」と称することにする）。この方法は、生きた本人がその場にいなくてもセキュリティ突破が可能であり、誘拐・拉致などのリスクの大きな方法を必ずしも必要としない。また、仮に誘拐などを犯す凶悪犯罪が絡む場合でも、認証に必要な情報を一旦本人から得てしまえば、あとは複製や取得品（指など）を活用すればこと足りるので、用済みとなった本人を口封じ等のために抹殺することにも躊躇が働かなくなる惧れがある。
【０００５】
本発明の課題は、セキュリティレベルの更なる向上が可能であり、かつ、生きた本人が直接操作しない限り、セキュリティ突破することが困難な個人認証システムを提供することにある。
【課題を解決するための手段及び作用・効果】
【０００６】
本発明は、認証処理対象者を、携帯電話を用いて認証する個人認証システムに係り、上記の課題を解決するために、
上記携帯電話に設けられる認証用特徴情報取得部であって、
認証処理対象者に該携帯電話を、認証処理以外の電話機能使用時と同じ状態で把握保持する電話使用把握保持状態にて保持させたとき、該認証処理対象者の手が接触する位置に設けられた、該手の生体特徴情報を検出する接触式生体特徴情報検出部と、
認証処理対象者に該携帯電話を、電話使用把握保持状態にて保持させたとき、該認証処理対象者の顔を撮影可能な位置に設けられる顔撮影用カメラと、
認証処理対象者の音声情報を骨伝導音にて検出する骨伝導音検出部と、
認証処理対象者の音声情報を気導音にて検出する気導音検出部と、
からなる群より選ばれる２以上のもの（接触式生体特徴情報検出部が２種以上設けられる場合には、接触式生体特徴情報検出部のみから２種を選ぶ場合を含む）を含んだ認証用特徴情報取得部と、
携帯電話に設けられ、電話使用把握保持状態にて２以上の認証用特徴情報取得部による認証用特徴情報の取得を、指定された少なくとも２つのものについて同時に実行する認証用特徴情報取得制御手段と、
携帯電話の内部又は外部に設けられ、２以上の認証用特徴情報取得部が各々取得した個別の認証用特徴情報に基づいて、認証処理対象者の認証処理を行なう認証処理手段とを備え、
認証用特徴情報の取得が、指定された少なくとも２つ認証用特徴情報取得部について同時になされていない場合には、認証処理対象者の受理認証を行なわないようにすることを特徴とする。
【０００７】
「認証処理以外の電話機能」とは、通話機能を必須とする一般的な携帯電話の機能をいい、電子メール作成・送信機能、静止画ないし動画の撮影機能及びテレビ電話機能などの１種以上を付加できる。
【０００８】
特許文献１や特許文献２のような携帯電話認証技術において、前述の代用虚偽認証のような不正が可能となるのは、複数の認証形態を単に寄せ集めているに過ぎず、生きた状態の正規ユーザが直接認証操作しているかどうかの識別に対して、特段の考慮が払われていないことによる。
【０００９】
本発明によると、接触式生体特徴情報検出部、顔撮影カメラ、骨伝導音検出部及び気導音検出部の４種類を認証用特徴情報取得部の母群として、これから少なくとも２種を選択して携帯電話に設ける。そして、電話使用把握保持状態にて、指定された少なくとも２つの認証用特徴情報取得部による認証用特徴情報の取得を同時に実行し、それら認証用特徴情報の取得が同時になされていない場合には、認証処理対象者の受理認証（例えば、正規ユーザであるとの認証）を行なわないようにしたので、生きた本人が直接操作しない限り、セキュリティ突破することが困難となる。これにより、個々の認証用特徴情報取得部に、代用品等による特徴情報を順序的に与えるような不正を効果的に排除することができ、セキュリティレベルの更なる向上が可能となる。
【００１０】
「２以上の認証用特徴情報取得部による認証用特徴情報の取得を同時に実行する」ということの、「同時」の意味については、例えば各認証用特徴情報取得部による情報取得処理の制御を別々のコンピュータにて並列に行なう場合など、文字通りの意味で「同時」に行なう態様をもちろん含む。しかし、本発明においては、認証のための情報取得処理が開始されてから完了するまでの総期間内において、異なる認証用特徴情報取得部による個別の情報取得処理が仮に順次的に行われる場合であっても、どの情報取得処理期間にも属さない冗長期間（例えば、第一の認証用特徴情報取得部による情報取得処理が終了した後の、第二の認証用特徴情報取得部による情報取得処理が開始されるまでの待機時間などである）の占める比率が５０％以下（望ましくは１０％以下）に制限されている場合は、各認証用特徴情報取得部による情報取得処理は「同時」になされたものとして定義する。つまり、代用虚偽認証を実行しようとする犯罪者に、「代用品」を交換する時間的な余裕を与えなければよいのである。また、２以上の認証用特徴情報取得部による個別の情報取得処理を時分割並列処理にて行なう場合も、それら情報取得処理は同時なされたものとする。
【００１１】
また、「認証用特徴情報の取得が、指定された少なくとも２つ認証用特徴情報取得部について同時になされていない場合に、認証処理対象者の受理認証を行なわないようにする」機能については、認証用特徴情報の取得の同時性を専用の処理ルーチンで判定し、その判定結果に基づいて積極的に認証の受理／棄却の制御を行なうように実現することもできるし、特に同時性の判定等を行なわず、非同時の場合に取得される情報自体が形骸化されるように情報取得処理のシーケンスを定め、結果として受理認証が得られなくなるように実現することもできる。例えば、複数の認証用特徴情報の取得処理に割り振る時間やステップ数を、順次的な情報入力では対応できない程度に限定しておくと、該情報入力が順次的に行われた場合に、時系列的に後で入力された情報の少なくとも一部が、上記時間やステップ数から必然的にはみ出ることになる。この場合、対応する情報取得部は、情報源が不在であっても、上記時間ないしステップ数内に強制的に情報取得を進めてしまうので、取得された情報は空白となるか、仮に何らかの情報が取得されても、受理認証が得られるような意味のある情報とはならず、形骸化される。この場合、このように形骸化された情報は、例えば正規の情報と特に区別することなく後続の認証処理に供給すれば必然的に棄却認証となるので、同時性の判定が不要となることは明らかである。
【００１２】
接触式生体特徴情報検出部は、例えば周知の指紋検出部にて構成することができる。また、接触式生体特徴情報検出部は、電話使用把握保持状態における携帯電話と手との接触状態を検出する接触検知センサにて構成することができる。もちろん、指紋検出部と組み合わせることも可能である。
【００１３】
接触検知センサは、近接スイッチなど、接触の有無を二値的に検知するものであってもよいが、この場合は該接触検知情報自体に顕著な個人識別性を持たせることは困難であり、継続的な把握保持状態を検知するだけに留まるなど、認証システム上の利用形態は補助的なものとなる（当然、不正による回避も容易である）。他方、個人識別性をより高めた手の生体情報を得るために、該手の生体情報として、携帯電話の接触分布や把握圧力分布の情報を検出する面型接触センサを用いることができる。この場合、認証処理手段は、該面型接触センサが検出する接触分布ないし把握圧力分布の情報に基づいて認証を行なうものとすることができる。携帯電話の手による把握形態は、利用者の手の大きさ、立体形状、把握力及び握り方の癖などにより個人差があり、これらは携帯電話表面の接触分布や把握圧力の分布状態に反映される。そこで、この情報を面型接触センサにより検出すれば、個人識別性の高い認証用特徴情報として活用である。また、上記のような分布情報（特に圧力分布）は生きた本人に固有の情報であるから、切り取った腕やレプリカなどによる代用虚偽認証は極めて困難である。
【００１４】
なお、面型接触センサは、携帯電話の筐体の把握対象となる表面を覆うように設けることができる。圧力分布検知に適した面型接触センサとしては、押し圧によって接点抵抗が変化する感圧接点をシート内に複数分散配置したシート状感圧センサモジュールを使用することもできる（例えば、フジクラ技報第１０４号（２００３年４月）、第３２〜３６頁）。このようなシート状感圧センサモジュールを利用すると、個人識別性の高い圧力分布情報を直接的に得ることができる利点がある。
【００１５】
次に、本発明にて採用できる電話使用保持状態としては、ごく普通の通話時に用いる保持状態、つまり、携帯電話の受話器を顔に当てて通話する保持状態である顔当接型保持状態を使用することができる（図２９参照）。顔当接型保持状態を認証用の保持状態として利用することの利点は、ユーザが携帯電話を本来の電話として利用する場合と全く同じ、自然な感覚で電話を保持して認証を行なうことができるので、認証用特徴情報の取得状態にもばらつきを生じ難く、精度の高い認証実績を形成しやすい点にある。しかし、受話器を顔に当てる姿勢になるから、携帯電話に設けたカメラによる顔の撮影には明らかに不向きとなる。そこで、取得情報認証用特徴情報取得部として、接触式生体特徴情報検出部と骨伝導音検出部と気導音検出部とからなる群より選ばれる２以上のものを組み合わせて使用し、携帯電話には顔撮影用カメラを設けないか、又は設ける場合でも、該顔当接型保持状態で認証用特徴情報の取得を行なうモードでは該顔撮影用カメラを使用しないようにすればよい。
【００１６】
顔当接型保持状態においては、携帯電話を手で保持してしゃべる動作が最も自然であるから、認証用特徴情報取得部として、接触式生体特徴情報検出部と、骨伝導音検出部及び気導音検出部の少なくともいずれかを組み合わせて使用することが、認証に臨む際の特有の緊張感や違和感を生じにくく、認証情報の入力もスムーズに行なうことができ、正確な認証結果を得やすい利点がある。この場合、認証用特徴情報取得制御手段は、認証用特徴情報として、気導音及び骨伝導音の少なくともいずれかの音声情報と、手の生体情報とを同時に取得するものとすることができる。
【００１７】
また、顔当接型保持状態においては、電話機を顔に接触させるので、骨伝導音を認証用特徴情報として活用できる利点がある。この場合、認証用特徴情報取得部として、骨伝導音検出部及び気導音検出部の双方を使用し、認証用特徴情報取得制御手段は、骨認証処理対象者が発する音声を、骨伝導音検出部と気導音検出部とにより同時検出することにより、認証用特徴情報として骨伝導音声情報と気導音声情報との双方を取得するものとして構成することができる。
【００１８】
話者認識による認証方式にて従来、音声検知のステップに関しては、騒音等による検出精度のみが考慮され、声帯から気道を通って空中に放出される気中伝導音（本発明では、これを「気導音」と称する）を通常のマイクで検知するか、骨伝導音を専用の骨伝導マイクで検知するかは、システムをどのような音環境下で使用するかに応じて適宜選択すればよいとみなされ、両者を併用する思想は全くなかった。
【００１９】
しかしながら、気導音は音波の伝わる媒体が空気であるのに対し、骨伝導音の媒体は、骨伝導音検出部（具体的には骨伝導マイク）と声帯との間に介在する人体組織及び骨格であり、音響インピーダンス構造が全く異なる。その結果、検知される音声波形もその影響を受け、共通の声帯から発せられる音声であるにも関わらず、気導音と伝導音と検知波形には少なからぬ差異を生ずる。骨伝導音の伝播経路は人体組織及び骨格が介在するため、気導音媒体の空気に比べて複雑かつ不均質であり、伝播速度、振幅、音響的な共振周波数など、音声伝播に影響するパラメータにも分布があるため、声帯からの原音波形は、骨伝導音として伝播する過程において、気導音よりもはるかに大きな変質を受ける。当然、伝播経路となる人体組織や骨格には個人差があり、それに応じて気導音と骨伝導音との波形にも、人によって固有の差が生ずる。
【００２０】
そこで本発明者は、骨伝導音声情報と気導音声情報とのこのような差異に着目し、その両者を組み合わせることで、個人認証技術上、種々の画期的な効果が生ずることを見出した。具体的には、骨伝導音声情報と気導音声情報との単独では達成できない以下のような特有の効果を生ずるのである。
（１）骨伝導音と気導音との単独では知りえなかった、両波形の差異に由来した特徴情報が新たに把握可能となる。その結果、個人認証のセキュリティレベルを大幅に高めることができる。
（２）骨伝導音声情報と気導音声情報とが、いずれも情報種別としては同質の音声情報であるため、ハードウェアやソフトウェアの処理上の共有化も容易であり、波形の差異に由来した特徴情報を演算によって抽出することも容易である。
（３）骨伝導音は、検知に際しての人体接触が介在するために録音等による正確な再現が比較的難しく、これと気導音とを同時サンプリングするように構成すれば、生きた本人が直接操作しない限り、セキュリティ突破することが非常に困難となる。
（４）認証処理対象者が発する音声を、骨伝導音検出部と気導音検出部とにより同時検出することにより、骨伝導音と気導音との音波源が同一となり、別々に発声された音声を個別に骨伝導音又は気導音として検知する場合と比較して、骨伝導音と気導音との音声波形としての相関が強まるので、波形の差異に占める認証対象者固有の差異成分、つまり、認証に利用可能な特徴情報をより明確に把握でき、認証精度を高めることができる。
【００２１】
気導音と骨伝導音とにより認証を行なう場合の認証処理手段は、骨伝導音声情報と気導音声情報との双方に基づく照合元音声特徴情報の、その照合先となる標準音声特徴情報を記憶した標準音声特徴情報記憶部と、照合元音声特徴情報を該標準音声特徴情報と照合する照合手段とを有するものとして構成できる。認証特定対象者（受理認証されるべき（つまり、「正しい」と認証されるべき）対象者）の気導音情報と骨伝導音情報とに基づいて標準音声特徴情報を予め作成しておき、これを、認証時に認証処理対象者から取得した照合元音声特徴情報の照合先として利用することにより、認証処理の簡略化と精度の向上とを図ることができる。なお、標準音声特徴情報として後述のごとき位相差を用いて認証を行なう場合等においては、認証特定対象者の標準音声を、システム外に設けられた骨伝導音検出部と気導音検出部とにより検出して作成することも可能である。しかし、ハードウェア間の特性相違の影響等を軽減する観点からは、標準音声特徴情報を、（システム自体に設けられた）骨伝導音検出部と気導音検出部とにより検出して作成することがより有効であり、標準音声特徴情報の作成処理も当然簡単となる。
【００２２】
音声特徴情報は、骨伝導音の周波数スペクトルと気導音の周波数スペクトルを含むものとすることができる。この場合、照合手段は、それら周波数スペクトルを、標準音声特徴情報に含まれる骨伝導音と気導音との各標準周波数スペクトルと照合し、それらの双方において照合一致結果が得られた場合に受理認証するものとすることができる。同一人物の音声であっても、骨伝導音の周波数スペクトルと気導音の周波数スペクトルとは互いに相違するので、骨伝導音と気導音との周波数スペクトルをそれぞれ対応する標準周波数スペクトルと照合することで、高精度の個人認証が高くなる。この効果は、認証の対象となる周波数スペクトルと標準周波数スペクトルとのいずれについても、骨伝導音検出部と気導音検出部とにより認証処理対象者が発する音声を同時検出して作成したものを使用した場合に特に高められる。骨伝導音と気導音との双方の周波数スペクトルを用いて照合を行なうのであるから、各波形単独では特定し得ない、両波形の差異に由来した特徴情報を結果的に含んだ認証方式となる。
【００２３】
一方、本発明の個人認証システムは、骨伝導音検出部が検出する骨伝導音波形と、気導音検出部が検出する気導音波形との双方を用いたときにのみ演算可能となる複合音声特徴情報を演算する複合音声特徴情報演算手段を有したものとしても構成できる。この場合、認証処理手段は、該複合音声特徴情報に基づいて認証処理を行なうものとすることができる。この方法は、骨伝導音と気導音との各波形単独では特定し得ない両波形の差異に由来した特徴情報を、複合音声特徴情報として演算により抽出把握する方法に他ならず、２種の音声情報の組み合わせによる認証精度及びセキュリティレベルの向上効果を一層高めることができる。
【００２４】
複合音声特徴情報演算手段は、気導音波形と骨伝導音波形との位相差を複合音声特徴情報として演算することができる。前述のごとく、骨伝導音の伝播経路となる人体組織及び骨格は、その音響インピーダンスの分布状況に個人の生体的特徴が直接的に反映される。具体的には、生体（つまり、認証すべき個人）毎に、インピーダンス不連続部分（例えば組織境界など）等での反射波の形成状況や位相遅延状況などが相違するので、骨伝導音波形は気導音波形に対し認証すべき個人毎に異なる位相差を有するものとなり、個人識別性を有する。そこで、気導音波形と骨伝導音波形との位相差を演算によって求めれば、これを複個人認証のための有効かつ重要な情報として用いることができる。この場合、位相差を正確に演算するには、骨伝導音と気導音とは、同一音声に対して同時検出したものを用いることが必要である。
【００２５】
この場合、予め特定されている認証特定対象者固有の気導音波形と骨伝導音波形との位相差を標準位相差として求めておき、認証処理手段は、演算された位相差が該標準位相差と一致しているか否かに基づいて認証処理を行なうことができる。波形位相差自体は、比較的単純な波形演算（例えば、２つの波形の位相差を種々に設定して差分ないし加算波形を演算し、積分振幅が最小化ないし最大化する位相差を求める方法）により求めることができ、スペクトル照合等と比較して演算負荷を軽減できる利点がある。
【００２６】
なお、気導音と骨伝導音とは周波数スペクトルにも差があるので、両波形に共通に含まれる周波数成分を抽出して位相差を求めると、より正確な位相差の演算が可能である。この場合、該周波数成分の抽出は周知のディジタルフィルタ技術を活用して実施することができる。
【００２７】
また、複合音声特徴情報は、上記のような両波形の位相差に限られるものではなく、例えば、気導音と骨伝導音との各周波数スペクトルの差分スペクトルを利用することもできる。骨伝導音は、伝播経路に介在する人体の減衰ないし共振などの音響特性が個人差を有し、結果的に、気導音に対し不足ないし強調される周波数成分も個人により差を生ずる。従って、気導音と骨伝導音との差分スペクトルは個人識別性を有することになる。また、気導音と骨伝導音との共通スペクトル（個々の周波数スペクトルから上記差分スペクトルを減じたもの）など、個々の周波数スペクトルと上記差分スペクトルとの数学的操作により等価的に得られるスペクトルも、複合音声特徴情報として当然に活用できる。
【００２８】
上記のような位相差や差分スペクトルの発生要因は、主として骨伝導音の伝播経路をなす骨格や人体組織の機械的構造に起因するものであるから、のどの調子などによって認証対象となる音声に多少変質が生じていても誤認等を生じにくい利点がある。
【００２９】
また、認証処理手段は、認証処理を、骨伝導音の周波数スペクトルと気導音の周波数スペクトルとの少なくともいずれかを標準周波数スペクトルと照合する第一の認証処理と、複合音声特徴情報に基づく第二の認証処理とを組み合わせて実施するものとすることもできる。骨伝導音の周波数スペクトルと気導音の周波数スペクトルとのいずれかに基づく従来の音声認証方式は、スペクトル照合の手法により高い個人識別性を有している反面、録音等を利用した誤魔化しなどへのセキュリティホールも抱えている。しかし、上記のような複合音声特徴情報（特に、演算が簡単な位相差）による認証処理を組み合わせることで、上記のようなセキュリティホールの発生を効果的に防止することができる。
【００３０】
以上、顔当接型保持状態における認証態様をいくつか例示して説明した。しかし、最近の携帯電話は、単純な通話機能以外に、電子メール作成・送信機能や、カメラ・ビデオ撮影機能あるいはテレビ電話機能などが次々と付加され、顔当接型保持状態以外での使用形態も頻繁に使われるようになってきた。顔当接型保持状態の次に多い標準的な利用保持形態は、液晶パネル等によるメイン表示画面に利用者の顔を正対させて保持する顔正対型保持状態である（図３０参照）。この保持形態を利用するのは、電子メールの作成時やインターネット利用時、さらには、メイン表示画面とは反対の、電話機背面に設けられたカメラにより静止画や動画の撮影を行ったりする場合である。この場合は、電話機がユーザの顔と接触しないので骨伝導音の取得には明らかに不向きである。従って、携帯電話には認証用特徴情報取得部としての骨伝導音検出部が設けられないか、又は設けられていても、該顔正対型保持状態で認証用特徴情報の取得を行なうモードでは該骨伝導音検出部を使用しないようにする。
【００３１】
この場合、認証用特徴情報取得部としては、気道音検出部、接触式生体特徴情報検出部及び顔撮影用カメラからなる群より、任意の２種以上を選んで搭載できるが、顔正対型保持状態では自分の顔を表示部に映し出して認証撮影することができるので、特有の認証利用形態として、以下のようなものを例示できる。まず、携帯電話には、顔撮影用カメラが撮影する認証処理対象者の顔画像を表示する表示部を設ける。該顔撮影用カメラは携帯電話に対し、認証処理対象者の顔と表示部とが正対しているときに、顔を撮影可能な位置に取り付ける。そして、電話使用保持状態として、携帯電話の表示部及び顔撮影用カメラが認証処理対象者の顔と正対する保持状態である顔正対型保持状態を使用し、認証用特徴情報取得部として、顔撮影用カメラを必須とし、これに接触式生体特徴情報検出部と気導音検出部との少なくともいずれかが組み合わせて使用する。これにより、顔画像を必須として、これに気道音又は手の生体情報のいずれかを同時取得する形で組み合わせることが可能となり、セキュリティレベルの高い認証が可能となる。
【００３２】
顔正対型保持状態での具体的な認証形態としては種々採用可能であり、例えば認証用特徴情報取得部として、顔撮影用カメラと気導音検出部とを組み合わせて使用し、認証用特徴情報取得制御手段が認証用特徴情報として、顔撮影画像と気導音音声情報とを同時に取得する構成も可能である。この場合、音声入力中は、顔画像において口などが動き、情報取得の厳密な同時性を充足させることは困難であるが、冗長待機時間を前述のごとく短くし、顔撮影処理と音声入力を伴う気導音検出とを、間髪入れずに連続して実施すれば、本発明で規定する同時性は十分に満たすことができる。この場合、代替虚偽認証等をより効果的に防止するには、認証用特徴情報取得制御手段に、顔撮影用カメラによる顔画像の検出状態の確認処理と、気導音音声情報の検出処理とを交互に繰り返して実行させるとよい。
【００３３】
また、顔画像を用いる場合、認証用特徴情報取の取得同時性ということを考慮すると、認証用特徴情報取得部として、前記顔撮影用カメラと接触式生体特徴情報検出部とを組み合わせて使用し、認証用特徴情報取得制御手段は認証用特徴情報として、顔撮影画像と手の生体情報とを同時に取得するものとして構成することも望ましい態様の１つである。
【００３４】
本発明の個人認証システムにおいて認証用特徴情報取得部を、接触式生体特徴情報検出部と、顔撮影用カメラ、気導音検出部及び骨伝導音検出部の少なくともいずれかとの組み合わせにて構成する場合、認証用特徴情報取得制御手段は、顔撮影画像、気導音音声情報及び骨伝導音音声情報の少なくともいずれかの取得処理の前後に、接触式生体特徴情報検出部による手の生体情報の検出状態変化を調べる接触変化確認処理を行なうことができる。つまり、接触変化確認処理として、例えば上記の取得処理の前後において、手の生体情報を２回検出し、検出された生体情報が変化しているかどうかを調べることにより、取得処理の間も含めて携帯電話の保持状態（これは、顔当接型でも顔正対型でもいずれでも適用可能である）が維持されているかどうかを確認できる。これは、順次的な代替虚偽認証によるセキュリティ突破を阻む上で好都合である。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態を添付の図面を用いて詳しく説明する。
この実施形態では、本発明の個人認証システムの機能を携帯電話に組み込む場合を例にとって説明する。図１は、携帯電話１の一例を示す外観斜視図である。携帯電話１は、本体の上寄りに受話器３０３が、同じく下寄りに送話器３０４が配置されており、両者の間には、液晶表示装置（例えば、カラー液晶表示装置）にて構成された液晶モニタ３０８、入力部３０５、及び携帯電話１をオンフック状態とオフフック状態との間で切り換えるオンフック／オフフック切換スイッチ３０６が設けられている。本実施形態において携帯電話１は、線電話通信網だけでなく、インターネット等の情報通信網へのアクセスも可能なものとされている。入力部は、情報入力用のキーボードに兼用された通話ダイアルキー３０５ａ、カーソル移動キー３０５ｂ、及び通話モードや情報検索モード等の使用モードを切り換えるためのモード切替キー３０５ｃ等を含んでいる。
【００３６】
送話器３０４は、気導音検出部を兼ねるマイクにて構成される。他方、受話器３０３は本実施形態では骨伝導スピーカで構成され、これと近接して骨伝導音検出部としての骨伝導マイク３４０が配置されている。骨伝導スピーカの基本構成は、例えば特許第２９６７７７７号公報あるいは特開２００３-３４０３７０号公報等により、骨伝導マイクの基本構成は、例えば実開昭５５−１４６７８５号公報、特開昭５８−１８２３９７号公報、実開昭６３−１７３９９１号公報あるいは特許第３４８８７４９号公報等により、各々周知であるため詳細な説明は省略する。いずれも耳か耳下の顎骨などに当てて使用するものである。これらはいずれも認証用特徴情報取得部を構成する。
【００３７】
また、携帯電話１には、他の認証用特徴情報取得部として、顔撮影カメラ３４１、接触式生体特徴情報検出部をなす面型接触センサ３４３と、指紋検出部３４２とを備えている。図１に示すごとく、携帯電話１を握る形態は、利用者によるバラツキはあるものの基本形態はほぼ同じである。すなわち、表示部３０８が手ＭＨの内側に向くように電話機下部を掌の底に当て、電話機の第一の側面（右利きの人は左側面、左利きの人は逆）に曲げた４本の指１４Ｆをあてがう一方、電話機の第二の側面（右利きの人は左側面、左利きの人は逆）の下半分に親指ＭＳの付け根から側面部を沿わせ、上半分にかかる位置にて親指の先端を当てる。入力部３０５に不用意に触れないようにし、また、指先が顔に当たる不快感を軽減するために、無意識にこういう持ち方になるのである。本実施形態では、これを利用して、親指の先端腹が当たる位置に指紋検出部３４２を設け、両側面に面型接触センサ３４３を設けている。
【００３８】
本実施形態では、図３に示すように、面型接触センサ３４３として、既に説明した、押し圧によって接点抵抗（接点容量でもよい）が変化する感圧接点ＳＰをシート内に複数分散配置したシート状感圧センサモジュールを用いている。個々の感圧接点ＳＰの抵抗値（圧力検出値）は複数ビット信号により諧調的にデジタル変換され、各感圧接点ＳＰの信号値により圧力分布情報が得られる。これにより、第一側（ここでは左）の面型接触センサ３４３では、親指以外の４本指による把握押圧領域に対応した感圧分布領域ＰＤＰが検出され、第二側（ここでは右）の面型接触センサ３４３では、該圧力分布に親指（及び掌の親指付け根部分）の把握押圧領域に対応した感圧分布領域ＰＤＰが検出される。該感圧分布領域ＰＤＰの形状（及び圧力分布状態）は個人によって異なるため、特徴情報として利用できる。なお、携帯電話１の上記両側面と背面との３つの面にまたがる一体の面型接触センサを設け、指と掌との一体的な把握押圧領域を検出するようにしてもよいが、電話機の裏面に通常設けられるバッテリー収容部の蓋を排除し、例えば電話機底面側からバッテリーを抜き差しできるようにするなどの設計変更が必要である。
【００３９】
なお、上記以外に使用可能な面型接触センサとしては、周知のタッチパネルと同様の機構によるアナログ容量結合方式面型タッチセンサを用いることができる。この種のタッチセンサは、縦線群と横線線とを互いに非接触となるように格子状に配列した微細配線を検出面に形成し、それら縦線と横線とに交流電圧を一定間隔で交互に通電するとともに、電流検知により各配線のインピーダンス変化をモニタし、インピーダンス変化が検知された縦線と横線の位置から、検出面上の接触点座標を特定するものである。この方法では、接触点に加わる圧力検知は困難であり、接触分布状態を特定するのに適している。しかし、同一人物が異なる力で携帯電話を把握したとき、力の度合いによって指などの接触面積が変化するので、間接的には把握力の情報も得ることができる。
【００４０】
また、図２に示すように、接触式生体特徴情報検出部として、入力部３０５との接触を検知する入力部感圧センサ３２３を設けてもよい。
【００４１】
図１に戻り、顔撮影用カメラ３４１は例えばＣＣＤカメラからなり、認証処理対象者の顔と表示部３０８とが正対しているときに、顔を撮影可能な位置となるように、携帯電話１の表示部３０８に近接して設けられている。これは、認証用の顔画像は、顔の必要部分がカメラ３４１の視野に収まっていなければならないので、カメラ３４１に写る撮影用のファインダ画像を表示部３０８に表示し、認証に好適な姿勢の画像が得られるかどうか（例えば、図１３に示すように、表示部３０８内の規定枠Ｆ内に顔が納まり、基準線ＳＬに目線を合せるなど）を確認しつつ撮影できるようにするためである。なお、顔撮影用カメラ３４１に代えて網膜撮影用カメラを設け、網膜の画像を認証用特徴情報として用いることも可能である。さらに、網膜の画像以外にも、アイリス（虹彩）の画像を撮影し、認証用特徴情報として用いることもできる。アイリスの画像を用いる場合、その模様や色の個人性を利用して照合・認証を行う。特にアイリス模様は後天的形成要素であり、遺伝的影響度も低いので一卵性双生児でも顕著な相違があり、確実に識別できる利点がある。アイリス模様を用いた認証方式は、認識・照合を迅速に行うことができ、他人誤認率も低い特徴がある。アイリスの撮影は通常のカメラを用いて行うことができ、この場合、顔撮影用カメラ３４１に代えて専用のカメラを設けるようにしてもよいし、顔撮影用カメラ３４１にアイリス接写用のアタッチメントを取り付けて撮影を行うようにすることも可能である。
【００４２】
図２は、携帯電話１の電気的構成の一例を示すブロック図である。回路の要部は、Ｉ／Ｏポート３１１と、これに接続されたＣＰＵ３１２（認証用特徴情報取得制御手段、認証処理手段、照合手段、複合音声特徴情報演算手段を構成する）、ＲＯＭ３１３、ＲＡＭ３１４（骨伝導音声情報記憶部及び気導音声情報記憶部となる）等からなる制御部３１０を含む。Ｉ／Ｏポート３１１には、前述の入力部３０５、オンフック／オフフック切換スイッチ３０６が接続される。また、受話器３０３はアンプ３１５とＤ／Ａ変換器３１６を介して、送話器３０４はアンプ３１７とＡ／Ｄ変換器３１８を介して、さらに骨伝導マイク３４０はアンプ３２０とＡ／Ｄ変換器３２１を介して、それぞれＩ／Ｏポート３１１に接続されている。また、Ｉ／Ｏポート３１１には、電話接続回路３２３が接続されている。接続回路３２３は、制御部３１０と接続するための接続インターフェース３３１と、これに接続された変調器３３２、送信機３３３、周波数シンセサイザ３３４、受信機３３５、復調器３３６及び共用器３３７等により構成されている。制御部３１０からのデータ信号は変調器３３２により変調され、さらに送信機３３３により共用器３３７を介してアンテナ３３９から送信される。一方、受信電波はアンテナ３３９及び共用器３３７を介して受信器３３５により受信され、復調器３３６で復調された後、制御部３１０のＩ／Оポート３１１に入力される。なお、通話を行なう場合は、例えば送話器３０４から入力された音声信号がアンプ３１７で増幅され、さらにＡ／Ｄ変換器３１８によりデジタル変換されて制御部３１０に入力される。該信号は、必要に応じて制御部３１０にて加工された後、Ｄ／Ａ変換器３１６及びアンプ３１５を介して受話器３０３から出力される。
【００４３】
一方、接続インターフェース３３１には、制御用電波Ｐを発信する制御用電波発信器３３８がつながれている。制御用電波Ｐは共用器３３７を介してアンテナ３３９から発信される。そして、携帯電話１が別の通信ゾーン１０２に移動した場合、網側の無線回線制御局１０４が制御用電波Ｐの受信状況に基づいて、周知のハンドオーバ処理を行なう。
【００４４】
Ｉ／Ｏポート３１１には、顔撮影用カメラ３４１、指紋検知ユニット３４２及び面型接触センサ３４３が接続されている。面型接触センサ３４３の個々の接点ＳＰ（図３）の抵抗変化はアナログ電圧信号としてディジタイザ３４４に入力され、接点ＳＰごとの圧力のデジタルデータに変換されてＩ／Ｏポート３１１に入力される。
【００４５】
次に、ＲＯＭ３１４内には、無線電話通信の基本制御プログラムである通信プログラムと、液晶モニタ３０８の画面表示を司る表示プログラムが搭載される。また、図４に示すように、ＲＯＭ３１４内には、携帯電話１のユーザが正規ユーザであるか否かを認証するための認証用プログラム（ＣＰＵ３１２にて実行されることで、認証処理手段を実現する）も搭載されている。本実施形態において認証処理は、具体的には気導音の音声波形と骨伝導音の音声波形の双方を併用した話者認識・照合処理により行われる。上記の認証用プログラムは、メインプログラム２０１と、該メインプログラム２０１が利用するサブモジュール群、具体的には気導音サンプリングモジュール２０２、骨伝導音サンプリングモジュール２０３、気導音／骨伝導音位相差演算・照合判定モジュール２０４、気導音／骨伝導音スペクトル演算・照合判定モジュール２０５、顔画像サンプリングモジュール２０７、顔画像照合・判定モジュール２０８、指紋サンプリングモジュール２０９、指紋照合・判定モジュール２１０、前述の把握押圧領域を検出するための感圧分布測定モジュール２１１、感圧分布照合・判定モジュール２１２等からなる。これらのプログラム群は、いずれも図２のＲＡＭ３１３をワークエリアとしてＣＰＵ３１２により実行されるものである。
【００４６】
また、認証用マスターデータ３２２として、音声による認証をスペクトル照合処理にて行なう場合（関与するモジュールは符号２０５，２０６）に使用する音声スペクトルのマスターデータ、具体的には気導音音声スペクトルマスターデータ３２１、骨伝導音音声スペクトルマスターデータ２２２及びそれらの差分スペクトルのマスターデータ２２３が用意されている。また、顔画像マスターデータ２２４、指紋マスターデータ２２４及び感圧分布マスターデータ２２６もそれぞれ用意されている。これらのデータは、認証処理を実施するのに先立って、気導音及び骨伝導音の場合は、正規ユーザ（認証特定対象者）に、照合用として予め定められた音（「おん」）、単語ないし文を発音させて、これを受話器３０３（気導音）及び骨伝導マイク３４０（骨伝導音）により波形検出し、周知のフーリエ変換演算を施してスペクトル化することにより作成されるものである。また、顔画像マスターデータ２４１（図１０）、指紋マスターデータ２４３及び感圧分布マスターデータ２２６（図１２）も、それぞれ顔撮影カメラ３４１、指紋検知ユニット３４２及び面型接触センサ３４３により、正規ユーザから事前に取得されたものが用意されている。これらのデータは、ユーザ毎に異なるデータになることと、セキュリティレベル向上等のため照合元音声特徴情報を随時更新できるようにするために、書き換え可能なＲＯＭ、具体的には、図２のＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）３２２内に書き換え可能に記憶されており、必要に応じてＲＡＭ３１３の認証用データメモリ内にロードして利用される。
【００４７】
なお、以下においては、複数の具体的な音声認証方式についての説明を行なうが、方式によっては特に用いないモジュール及びデータも存在するので、必要なモジュールとデータを取捨選択して用いるものとする（当該の認証方式にて用いないモジュール及びデータを省略することももちろん可能である）。
【００４８】
携帯電話１の使用方法は、電話部分については周知であるので詳細な説明は省略し、その使用に先立つ認証処理について以下に詳しく説明する。図１０は、メインプログラム２０１（図４）による認証主処理の流れである。認証処理を行なうためには、照合用のデータ登録などを含む初期化処理を行なう必要がある（Ｓ１）。この初期化処理は、照合用マスターデータの更新等を行なう場合を除き、一度行なえば、その後はスキップされるものである。Ｓ３及びＳ４は処理の中心をなす認証処理であり、その認証結果により、携帯電話１の機能利用を許可するか否かを示す認証用フラグが、例えばＲＡＭ３１３（図２）内に立てられる。Ｓ５では、その認証フラグをリードし、規定の条件を満たしている場合にロック解除（Ｓ７：つまり、利用許可）、満たさない場合にロック非解除（Ｓ８：つまり、利用不許可）の流れとなる。
【００４９】
本実施形態において認証処理は、図２９に示すような顔当接型保持状態での処理となる第一認証処理（Ｓ３）と、顔正対型保持状態での処理となる第二認証処理（Ｓ４）との２段階にて行なうようになっている。第一認証処理と第二認証処理とは順序を入れ替えることも可能であるし、第一認証処理のみを行なうこと（つまり、図１５でＳ４を省略）、あるいは第二認証処理のみを行なうこと（つまり、図１５でＳ３を省略）もそれぞれ可能である。
【００５０】
認証によりロック解除される携帯電話１の機能については、周知の電話機能（電話通信網ないしインターネットなどへの接続やメール機能等も含む）に限られるものではなく、例えば、自動車のロック／ロック解除や、エンジン始動、ヘッドライトや車内灯の点灯・消灯など、自動車機能の無線遠隔操作ユニット機能とすることもできる。
【００５１】
認証処理の具体的な説明に入る前に、初期化処理と音声認識処理との各処理の流れを、図１６〜図１９を用いて説明する。そのいずれにおいても、処理の主要部は、音声データの取得と加工を受け持つ音声データ処理からなる（初期処理ではＳ３０１、音声認証処理ではＳ４０２）。図１７を用いて、この音声データ処理をまず詳細に説明する。話者認証技術では、セキュリティ向上等を目的として、認証処理対象者に認証用の音声を発音させるための手法が種々考案され、方式によって初期データの取得方法も異なるが、いずれも手法としては周知であるので概略だけ説明する。
【００５２】
（１）文字（あるいは音（例えば母音））を一文字だけ発声させる方法
発声させる文字を表示等により指定して発生させ、サンプリングを行なう。
（２）複数文字を組み合わせて逐次発声させる方法
基本的には（１）と同じ。発声の順序を表示等により誘導し、順次波形のサンプリングを行なう。実際の照合時には、発声順序を固定にしてもよいし、乱数を用いて発声順序を毎回変えるようにしてもよい（後者の場合、認証時に指定される文字の発声順序がランダムに変化されるので、固定順序で発声したものを録音しておいても役に立たなくできる利点がある。
（３）単語を発声させる方法
使用する単語は１種類のみとしてもよいし（この場合（２）と同じになる）、複数種類の中から選択させる方法もある。後者の場合（以下、図１を参照のこと）、照合先となる単語の選択リストを画面１０８に表示し、入力部３０５にて選択を行った後、選んだ単語の発声・サンプリングを行なう。また、文字数（あるいは録音時間）を指定して、ユーザの好みの単語を入力部３０５にて任意に入力し、発声・サンプリングする方法もある。この場合、その単語がパスワード代わりになることが明らかである。また、より手の込んだ方法としては、正規ユーザにしか回答がわからない質問を音声出力させ、これに対応した登録済みの回答を音声入力させる方法もある。この場合、初期化処理では、出力すべき質問内容と、それに対する回答内容の、各入力ないし選択が必要となる。
（４）文を入力する方法
基本的には（３）と同じであり、質問／回答形式を採用する場合は、複数の質問と回答とを対話形式で入力する方法もありえる。
【００５３】
骨伝導音と気導音とで比較した場合、骨伝導音の方が声帯に近い分、母音などの声帯振動に由来した音波成分が気導音より強調される傾向にある。また、摩擦音や破裂音は、舌や唇などの声帯以外の作音要素が関与するため、気導音のほうがより強調されて現れる。従って、骨伝導音と気導音との波形ないしスペクトル上の差（特に差分スペクトルなど）に基づいて認証を行なう場合は、認証対象となる音声波形データ（骨伝導音及び気導音）として、母音、摩擦音及び破裂音を含むもの（好ましくは、最も多く含まれる音がこれらの音種のいずれかとなる音列：例えば、「さしすせそ」、「しししんちゅうのむし」、「あいうえお」など：もちろん、「さ行」、「た行」あるいは「あ行」の単音でも可）を指定することが望ましいといえる。また、同じ母音でも、調音に舌の前部を使う「い、え」などの音は気導音でより明瞭であり、逆に舌後部を使う「う、お」などの音は骨伝導音で明瞭であるから、「いえ（家）」「こうぼ（酵母）」など、前者又は後者のどちらかを主体に含む音列を指定することも効果的である。
【００５４】
図１７の説明に戻り、Ｓ５０１では、指定された音声の入力を送話器３０４と骨伝導マイク３４０の双方を用いて入力する。Ｓ５０２では、そのサンプリングを行なう（図４の気導音サンプリングモジュール２０２及び骨伝導音サンプリングモジュール２０３の実行により実施される）。ユーザは要求された音列を１回だけ発するので、サンプリングは時系列的には同時に行われなくてはならない（従って、これを用いて実施される後述の第一認証処理では、２つの認証用特徴情報をなす骨伝導音と気道音との取得が同時に実行されることが明らかである）。この場合、単一のＣＰＵを用いる場合は、図１８に示すような時分割による並列処理として実行する。具体的には、Ｓ１０１においてサンプリングカウンタをリセットし、以下、サンプリングカウンタをインクリメントしながら、気導音用のマイク入力ポートのリード（Ｓ１０２）とリード値のメモリ（ＲＡＭ３１３）への書き込み（Ｓ１０３）、骨伝導マイクの入力ポートのリード（Ｓ１０４）とリード値のメモリへの書き込み（Ｓ１０５）を交互に繰り返えす。サンプリングするべき音声データの長さに応じて総サンプリング時間（サンプリングカウンタの値で代用できるが、他のタイマー手段を用いてもよい）を決めておき、タイムアップによりサンプリングを打ち切るようにしておくと（Ｓ１０７）、骨伝導音音声波形と気導音音声波形とを同時サンプリングしない限りは、両音声のデータを正常に取得することは不可能となり、例えばテープレコーダ等を用いた順次音声入力等による誤魔化し等を効果的に防止することができる。
【００５５】
なお、単語や文による音声データの入力を行なう場合は、定められた内容（意味）の音声の入力が完了したか否かを周知の音声認識技術により判別し、完了していればサンプリングを打ち切るように構成することもできる。この場合、タイマー手段は必ずしも必要でなくなる。また、ハードウェアは幾分複雑化するが、気導音音声と骨伝導音音声のサンプリングを、個別の（つまり、２つの）ＣＰＵにて独立して行なうこともでき、この場合は、時分割処理を行なわなくとも両音声波形の並列サンプリングが可能となる。
【００５６】
図１７に戻り、上記のようにして気導音と骨伝導音との各音声波形のサンプリングを終了したら、Ｓ５０３にて、各音声が同時にサンプリングされたものであるかどうかをチェックする。チェック方法としては種々考えられるが、例えば、気導音と骨伝導音とが故意にずれたタイミングで入力されていれば、どちらかがサンプリング時間外にはみ出し、取得したデータには大きな空白期間が生ずるはずであるから、これを利用する方法がある。この場合、取得した気導音波形と骨伝導音波形の少なくともいずれかに、音声振幅が予め定められた下限値以下となる期間が一定以上継続しているか否かをチェックし、そのような期間が存在していれば同時性なしと判定する。Ｓ５０３にて同時性なしと判定された場合はＳ５１１に進んで処理を打ち切り、エラーないし警告出力を行なう。
【００５７】
同時性を充足していたらＳ５０５及びＳ５０６へ進み、検出された気導音音声波形データと骨伝導音音声波形データをメモリに記憶・登録する。以下は、認証に用いる複合音声特徴情報の演算処理となる（複合音声特徴情報演算手段の機能が実現されている）。Ｓ５０７では複合音声特徴情報として、気導音音声波形と骨伝導音音声波形との位相差を演算する（気導音／骨伝導音位相差演算・照合判定モジュール２０４の実行により実施される）。図８に示すように、気導音音声波形と骨伝導音音声波形とは同一の音声を個別のマイクにより同時にサンプリングしたものであり、サンプリング開始タイミングを基準に波形を重ね合せたときの両波形の位相を基準重ね合わせ位相とする。２つの波形は、同一の音声に基づき共通の周波数成分を多く含むので、図９に示すように、両波形データの重ね合わせ位相を、基準重ね合わせ位相にて固有に存在していた位相差（つまり、求めるべき位相差）φが解消されるように相対的にシフトして差分波形を演算すれば、該差分波形の積分振幅（平均振幅）は、その重ね合わせ位相にて最小化される（図９の一番下を参照）。そこで、差分波形の積分振幅を演算しつつ両波形データの重ね合わせ位相を種々に変化させ、該積分振幅が最小化される重ね合わせ位相を見出せば、これを求めるべき両波形の位相差φとして得ることができる。
【００５８】
なお、認証処理に用いる個人特徴情報として利用することを考慮すると、求めるべき位相差φに一義的に対応したパラメータが得られればこと足りるので、複合音声特徴情報としては、差分波形の積分振幅が最小化される位相差に限らず、以下のもので代用することも可能である。
(1)差分波形の積分振幅が最大化される位相差
(2)加算波形の積分振幅が最小化される位相差
(3)加算波形の積分振幅が最大化される位相差
【００５９】
以下、差分波形の積分振幅が最小化される位相差φを求める処理を例にとって、図１９のフローチャートにより説明する。Ｓ２０１では、重ね合わせ位相差Σｔ（波形は種々の正弦波波形の重ね合わせになるので、位相差の演算単位は角度ではなく時間とする）をリセットする。次いで、気導音音声波形と骨伝導音音声波形との一方を第一波形、他方を第二波形として、Ｓ２０２で第二波形の位相を予め定められた微小時間Δｔだけシフトし、第一波形は固定として、Ｓ２０３で差分波形を演算する。Ｓ２０４では、その差分波形の積分振幅Ａを演算する。積分振幅の演算方法は周知であるが、例えば次のようにして計算できる。まず、波形をｆ（ｔ）として、各サンプリングタイミングｔに対応するｆ（ｔ）の値を全て加算してサンプリング数Ｎで割り、波形中心線ｆ０を求める。次いで、各ｔの値につき｜ｆ（ｔ）−ｆ０｜を演算し、これを全てのｔについて加算してＮで割れば積分振幅が得られる。Ｓ２０５では、そのときのΣｔの値を位相差φとし、積分振幅Ａの値と対応付けて記憶する。
【００６０】
次いで、Ｓ２０６でΣｔをΔｔだけインクリメントし、Σｔが予め定められた最大値Σｔmaxに到達するまでＳ２０２〜Ｓ２０６の処理を繰り返す。認証用に指定された音声としてユーザが自然に発声できることを考慮すれば、音声サンプルの長さは例えば１秒以上確保することが望ましい。位相差を見出すのに必要な波形シフト量は、０．５〜２波長分もあれば十分なので、人の声の周波数が平均的には１〜２ｋＨｚであることを考えれば、Σｔは０．５〜２ｍｓ位に設定するのがよい。また、サンプリング周期Δｔは、Σｔの１／１０００〜１／１０程度とすることが望ましい。なお、第二波形のシフトの区間は、基準重ね合わせ位相差を原点として、正又は負の一方向にのみ区間設定して演算してもよいし、正負のそれぞれに区間設定して演算するようにしてもよい。
【００６１】
以上の演算が終了すれば、Ｓ２０８に進み、記憶されている積分振幅Ａの最小値Ａ０を見出し、Ｓ２０９でそのＡ０に対応する位相差φを求めるべき位相差φ０として決定する。なお、骨伝導音と気導音との間には、図６に示すように、スペクトル上少なからぬ差異があり、互いに共通しない周波数成分が存在する（例えば、骨伝導音の場合、周波数の高い音域のスペクトル強度が欠落しがちとなる）。従って、上記位相差を演算する際には、共通成分の多い周波数域をフィルタリングにより抽出してから波形演算を行なう方が望ましい場合がある。以上で位相差演算の説明を終わる。
【００６２】
図１７に戻り、Ｓ５０８及びＳ５０９では、気導音と骨伝導音との各波形の周波数スペクトルを演算し、結果を記憶する。この演算は、既に述べたごとく原波形に対し周知のフーリエ変換処理を施すことにより実施できる。ただし、話者認識においては、図５の上に示すような微細構造を含んだスペクトル波形よりも、下に示すようなスペクトル概形（主に、声の質を反映した情報である）の方が測定の再現性に優れ、かつ個人識別情報としても十分に有効であり、照合処理も容易であることが知られている。このスペクトル概形はスペクトル包絡とも称され、周知の種々の音声分析アルゴリズム（例えば、ノンパラメトリック分析法による場合は、短時間事故相関分析法、短時間スペクトル分析法、ケプストラム分析法、帯域フィルタバンク分析法あるいは零交差数分積法など、パラメトリック分析法による場合は、線形予測分析法、最尤スペクトル推定法、共分散法、ＰＡＲＣＯＲ分析法、ＬＳＰ分析法など）により抽出・演算が可能である。
【００６３】
図１５に戻り、Ｓ５１０では、図６に示すごとく、上記のようにして得られた気導音と骨伝導音との周波数スペクトルの差分を演算し、差分スペクトルデータとして記憶する。以上の処理は、図４の気導音／骨伝導音差分スペクトル演算・照合判定モジュール２０５、波形スペクトル照合・判定モジュール２０６の実行により実施される。以上で、音声データ処理の説明を終わる。
【００６４】
図１６に戻り、初期化処理の流れについて説明する。
Ｓ３０１の音声データ処理では、正規ユーザ（認証特定対象者）自身の声により音声入力を行い、既に説明した通りの方法で位相差、気導音ないし骨伝導音の周波数スペクトルないし差分スペクトルのデータを作成し、Ｓ３０２にて、これらを、この後の音声認証処理で使用するマスターデータ（標準音声特徴情報：標準位相差、標準周波数スペクトルあるいは標準差分スペクトル）としてＥＥＰＲＯＭ３２２（図４）に登録する。また、Ｓ３０３〜Ｓ３０５では、顔撮影カメラ３４１、指紋検知ユニット３４２及び面型接触センサ３４３により、顔画像マスターデータ２４１（図１０）、指紋マスターデータ２４３（図１１）及び感圧分布マスターデータ２２６（図１２）をそれぞれ取得し、登録する。
【００６５】
以下、第一認証処理につき、骨伝導音と気道音とを認証用特徴情報として同時取得する場合を例にとって説明する。図２０はその一例を示している。Ｓ４０１では、ユーザは認証のための指定の音声を入力する。Ｓ４０２で前述の音声データ処理が実行され、位相差φが演算される。Ｓ４０３では、その位相差φをマスターデータとして記憶されている標準位相差φ０と比較する。ここでは、差分φ−φ０を演算している。Ｓ４０６では、位相差φと標準位相差φ０との偏差が許容範囲内であるか否かを調べ、許容範囲内であれば認証フラグを許可にセットし（Ｓ４０７）、範囲外であれば非許可にセットする（Ｓ４０８）。なお、標準位相差φ０をマスターとして登録するのに代え、標準位相差φ０を包含する許容位相差範囲（最大値φmaxとφminとで与えられる）を登録しておき、φが当該範囲に属しているか否かにより認証を行なうこともできる。
【００６６】
図２１は、位相差に代えて差分スペクトルを用いる音声認証処理の例である（図２０と共通のステップに同じステップ番号を付与し、説明を省略する）。Ｓ４０２で音声データ処理が実行され、Ｓ４１０で、図６に示すごとく、気導音と骨伝導音との差分スペクトルの演算結果を読み出し、Ｓ４１１にて差分スペクトルのマスターデータ（図４：符号２２３）と比較する。Ｓ４１２で両者が一致と判定されれば認証フラグを許可にセットし（Ｓ４１３）、範囲外であれば非許可にセットする（Ｓ４１４）。
【００６７】
図６に示すように、気導音スペクトルと骨伝導音スペクトルとは、主要部分は共通しているが、特定の周波数帯ではスペクトル強度に顕著な差が見られる（例えば、高域側の成分は気導音スペクトルのほうが骨伝導音スペクトルよりも強く現れる）。そこで、該周波数帯での差分スペクトルの形状をマスターと比較することにより、一致・不一致の照合を行なうことができる。特に、気導音スペクトルと骨伝導音スペクトルとの一方に存在し、他方には存在しないスペクトル包絡のピーク（図６で「×」にて示すようなもの）であって、当該ピーク位置が認証すべき個人によって変動する場合、差分スペクトルにて該ピークを検出し、そのピーク位置（周波数）の照合により、精度の高い認証照合を簡便に行なうことができる。
【００６８】
図２２は、骨伝導音と気導音との各スペクトルを個別にマスターと照合する音声認証処理の例である（図２０と共通のステップに同じステップ番号を付与し、説明を省略する）。Ｓ４０２で音声データ処理が実行され、気導音と骨伝導音との各周波数スペクトルの演算結果を読み出す（Ｓ４２０，Ｓ４２３）。これらは個別にマスターデータ（図４：符号２２１，２２２）と比較する。Ｓ４２２及びＳ４２５で、骨伝導音と気導音との両者にて一致と判定された場合にのみ、認証フラグを許可にセットし（Ｓ４２６）、範囲外であれば非許可にセットする（Ｓ４２７）。
【００６９】
気導音と骨伝導音とのいずれの周波数スペクトルも、図６に示すように、スペクトル包絡において、音声に応じて固有のピーク位置を生ずるので、このピークの個数と位置により、入力された音声（例えば単語や文字）が、マスターが示す音声と同じであるか否かを識別できる（つまり、音声認識）。また、音声の内容が同じであれば、ピークの位置や強度（あるいは、ピーク間の強度比）をマスターと比較し、その一致・不一致に応じて正規ユーザかそうでないかを認証できる（つまり、話者認識）。
【００７０】
図１５に戻り、以上のような第一認証処理がＳ３で終了すれば、次に第二認証処理に移る（なお、第一認証処理で棄却認証の条件が充足された場合は、ここで処理を打ち切るようにしてもよい）。第二認証処理では、図３０に示すように、携帯電話１を顔正対型保持状態に持ち替える（図２９のように耳元に当てていた電話１を、指等を動かさず手首を約１／４回転させながら下へおろせば１モーションで持ち替えを完了できる）。
【００７１】
図２３は、第二認証処理の第一例を示すものである。ここでは、気道音と顔画像とが認証用特徴情報として同時取得される処理となっている。Ｓ６０１では顔画像（Ｉ）を撮影する。次いで、図１４に示すように、表示部３０８に予め決められた質問２５０が表示され、その回答を音声入力する。図２３に示すように、顔画像撮影、質問表示、回答音声入力は、この順で２回繰り返して行われ、最後にもう一度顔画像を撮影する（Ｓ６０１〜Ｓ６０７）。Ｓ６０８では、３回撮影した顔画像（Ｉ）〜（ＩＩＩ）がマスターと一致するかどうかを照合する（図１０参照）。また、Ｓ６１０及びＳ６１２では、２回取得した回答音声（Ｉ）（ＩＩ）（気道音のスペクトル）をマスターと照合する。Ｓ６０９，Ｓ６１１，Ｓ６１３では、それぞれの照合の一致不一致について判定し、全て一致の場合にのみＳ６１４に進んで認証フラグを許可にセットし（受理認証）、１つでも不一致があればＳ６１５に進んで認証フラグを非許可にセットする（棄却認証）。
【００７２】
ここで、３度撮影した顔画像のうち、最初か最後のどちらかはマスターとの照合により認証することが望ましいが、残りの２つは、虚偽認証等を防止する判定ができればよく、カメラの視野から顔が外れていないかどうかを確認する簡単なパターン照合処理に置き換えることができる。図２６に、その一例を示す。２つのパターンがカラーあるいは諧調を有したものであれば、Ｓ７０１でそれぞれ二値化を行なう。Ｓ７０３〜Ｓ７０６では、パターンフレーム間の対応するピクセルを順次リードし、ピクセルの設定値（０か１）の排他的論理和を演算する。パターンが動いていなければ対応するピクセルの設定値は等しく、排他的論理和の値は０となり、パターンが動けばピクセル不一致となって排他的論理和の値は１となる。この排他的論理和の値を各ピクセルについて繰り返し行ない、カウンタＫに加算してゆく（Ｓ７０７）。パターンに異常な動きがあれば変化ピクセルの数が増え、排他的論理和のカウンタＫの値も大きくなる。Ｓ７０９〜Ｓ７１４では、そのＫの最終的な値をフレーム内ピクセル総数Ｍで割り、この値が許容値以下であれば一致判定を、許容値を超えれば不一致判定を行なう。
【００７３】
上記図２６の処理は、顔画像に限らず、後述する指紋画像や感圧分布パターンについても同様に適用できる（接触変化確認処理）。図１３上に示すように、顔画像２４０の撮影中に手ＭＨによる保持が解除されれば、検知される指紋画像や感圧分布パターンに変化が現れ、異常として棄却認証することができる。また、図１３下に示すように、手ＭＨによる保持中（つまり、指紋画像や感圧分布パターンの検出中）に、顔画像が不在になった場合は、顔画像パターンに変化が現れるので、これも異常として棄却認証することができる。
【００７４】
図２３の流れからも明らかなように、複数種類の認証用特徴情報による複数の認証処理を実施するのであるが、認証用特徴情報の取得は処理の前段で一括して行ない、それを用いた認証処理は後段で一括処理するようにしている。これは、認証用特徴情報の取得処理を、連続的かつ速やかに行なうことで冗長時間を廃し、順次的な代替虚偽認証を行ないにくくするためである。顔画像、指紋、感圧分布及び音声入力は、処理上は順次的であるが、顔画像、指紋及び感圧分布の情報取得は、それぞれ１フレームのパターン取得処理に過ぎないから、いずれも概ね１〜１０ｍｓ程度の所要時間であり、この３つの情報取得には長くとも１秒あれば十分である。他方、音声入力については、音声フレーズの入力時間が３〜２０秒程度であるから、処理上の冗長期間の占める比率が５０％以下に十分制限でき、代用虚偽認証を実行しようとする犯罪者に「代用品」を交換する時間的な余裕を与えることがない。
【００７５】
例えば、Ｓ６０１に先立って、カメラ３４１に写るファインダ画像を表示部３０８に表示して、カメラ３４１に対する顔の位置合わせを促し、確定ボタン（入力部３０５のどれかのキーに割り振っておくか、別途認証ボタンを設ける）を押す等により起動信号を与えれば、Ｓ６０１〜Ｓ６０７までの処理が、ユーザ操作によるブレークが不可能な状態で一気に実行されるようにしておくとよい。また、Ｓ６０２ないしＳ６０５での質問に対する回答のインターバルは、正規ユーザであれば即答できるはずなので直ちに音声サンプリング処理に移行し、回答に必要な時間を経過すれば自動的に次のステップに進むようにする。他方、Ｓ６０１、Ｓ６０４、Ｓ６０７の画像撮影はいずれも数ｍｓ程度の瞬時に完了するから、特にシャッター音出力や撮影メッセージの表示等による通知を行なわなければ、処理上はユーザからみて、画面上に質問表示するたびに間髪入れずに答えを音声入力するだけの流れとなり、その間、顔が何度も撮影されていることには全く気付かない。その結果、ユーザは携帯電話１とあたかも会話するごとく簡単な音声のやり取りをするだけで、内部的には画像照合も含めた複雑な処理を行っている実感もなく、平易な気分で認証処理を終えることができる。質問と回答とは、一連のストーリー性を持たせて相互に関連付けておくとより効果的である。実例を以下に示す。回答は、正規ユーザにしか回答できない内容にしておくことはもちろんである。
（実例１）
（質問（Ｉ））「誰が好き？」
（回答（Ｉ））「かおるちゃん」
（質問（ＩＩ））「どのくらい好き？」
（回答（ＩＩ））「骨まで好き」
（実例２）
（質問（Ｉ））「パパ、すみれのお誕生日はいつ？」
（回答（Ｉ））「１２月２１日」
（質問（ＩＩ））「何買ってくれるの？」
（回答（ＩＩ））「ショートケーキ」
【００７６】
上記のように冗長時間を短縮すれば、例えば、顔画像の撮影が先に行われ、相当の冗長期間経過後に指紋や感圧分布の入力が行われたとすると、顔画像の撮影中に、携帯電話が手で保持されていない状態で指紋や感圧分布の検出可能時間が経過してしまう。つまり、指紋や掌などの情報源が不在の状態で制的に情報取得処理が進められ、形骸化された空白の指紋ないし感圧分布の情報だけが残る。これを認証処理に供すれば、必然的に棄却認証となるから、目的を達することができる。
【００７７】
図２４は、第二認証処理の第二例を示すものである。ここでは、Ｓ６５０〜Ｓ６５６で、顔画像、指紋、携帯電話保持に係る感圧分布及び気導音の４種類を認証用特徴情報として同時取得する。具体的には、中央のＳ６５３で音声入力を行ない、顔画像、指紋及び感圧分布の検出は、該音声入力の前後に各１回ずつ行ない、同時性の確認を行っている。Ｓ６５７〜Ｓ６５９では、まず、図２６に示した流れにより、顔画像、指紋及び感圧分布の各パターンが、音声入力の前後で動いていないかどうかを確認し、動いていると判断された場合は認証フラグを非許可にセットする（Ｓ６６９）。動いていなければＳ６６０〜Ｓ６６７に進み、音声、感圧分布、指紋及び顔画像をそれぞれマスターと比較し、全て一致の場合にのみＳ６６８に進んで認証フラグを許可にセットし（受理認証）、１つでも不一致があればＳ６６９に進んで認証フラグを非許可にセットする（棄却認証）。
【００７８】
ところで、音声やパターンマッチングによる認証処理にはファジーな変動要素もあって、認証の精度を高めるには、周知ではあるがより複雑な処理が必要になってくる。本発明のように複数種類の認証処理を組み合わせて実施する場合、処理を行なうＣＰＵ等への負担も重くなるし、認証完了までに長い処理待ち時間が発生することもある。そこで、個々の認証処理における照合の精度を多少低くして、処理負担自体は軽減できるようにし、認証の精度は複数方式の組み合わせの側でカバーするという考え方がある。この場合、図２４の処理は図２５のように変形して実行することができる。Ｓ６５０〜Ｓ６５９の処理は図２４と全く同じである。そして、Ｓ６６０〜Ｓ６７３では、音声、感圧分布、指紋及び顔画像のマスターとの照合結果を、受理／棄却の二者択一的に定めるのではなく、照合一致度をポイント等の数値パラメータで表し、その数値パラメータを用いた判定演算の結果に基づいて、総合的に受理／棄却の判定を行なうようにしている。この場合、ある認証用特徴情報での照合結果が多少不明瞭であっても、他の認証用特徴情報での照合結果が明確であれば、総合的に誤差の小さい有益な認証判定が可能となる。本実施形態では、持ち点を定めて照合一致度が低ければその都度減点を行ない（Ｓ６７０，Ｓ６７１，Ｓ６７２，Ｓ６７４）、Ｓ６７３で合格点を充足していればＳ６６８に進んで認証フラグを許可にセットし（受理認証）、合格点に満たない場合はＳ６６９に進んで認証フラグを非許可にセットする（棄却認証）。
【００７９】
最後に、図２７は、図１５の認証主処理の第一認証処理（Ｓ３）及び第二認証処理（Ｓ４）を、顔当接保持状態だけを用いた複合認証処理（Ｓ３）で置き換えた例である。図２９に示すように、顔当接保持状態では、顔画像データの取得が不能のため、複合認証処理は、図２８のＳ６５１〜Ｓ６５５に示すように、顔画像以外の認証用特徴情報、具体的には音声（ここでは、気導音と骨伝導音）と、手の生体特徴情報（ここでは、指紋と感圧文応）とを組み合わせて、これらを同時取得するようにしている。ここでも、中央のＳ６５２で音声入力を行ない、指紋及び感圧分布の検出は、該音声入力の前後に各１回ずつ行ない、同時性の確認を行っている。Ｓ６５８，Ｓ６５９では、図２６に示した流れにより、指紋及び感圧分布の各パターンが、音声入力の前後で動いていないかどうかを確認し、動いていると判断された場合は認証フラグを非許可にセットする（Ｓ６６９）。動いていなければＳ６６２〜Ｓ６６５及びＳ４０３〜Ｓ４２２に進み、音声、感圧分布、指紋及び顔画像をそれぞれマスターと比較し、全て一致の場合にのみＳ６６８に進んで認証フラグを許可にセットし（受理認証）、１つでも不一致があればＳ６６９に進んで認証フラグを非許可にセットする（棄却認証）。
【００８０】
なお、Ｓ４０３以下の音声認証処理については、図１９の位相差による認証処理（第二の認証処理：Ｓ４０１〜Ｓ４０６）と、図２２のスペクトル照合による認証処理（第一の認証処理：Ｓ４２０〜Ｓ４２２）とを組み合わせ、双方において一致と判断された場合のみ、認証フラグを許可にセットし（Ｓ４２６）、範囲外であれば非許可にセットする（Ｓ４２７）。スペクトル照合では、気導音のみを用いているが、骨伝導音を用いてもよいし、両方を用いてもよい。しかし、位相差の演算はスペクトル演算に比べると簡単であり、スペクトル照合を気導音と骨伝導音との一方のみとして（他方については、スペクトル演算自体を省略する）、位相差による認証を補助的に用いると、処理の軽量化と認証精度の向上とを同時に図ることができる。
【００８１】
上記の実施形態では認証必要なデータ取得と、そのデータを用いた認証処理を全て携帯電話（上位概念は認証用端末）の内部で完結するようにしていたが、認証処理の前部又は一部を携帯電話外の装置に担わせることも可能である。例えば、携帯電話においては認証用特徴情報の取得のみを行い、そのデータを直接又は適宜の加工後に、通信により他のコンピュータで構成された認証用データ処理装置へ転送する（この場合、照合用のマスターデータは認証用データ処理装置へ事前に転送しておく必要がある）。認証用データ処理装置では、転送されてくるデータを受け取り、既に説明したのと同様の方法により照合による認証処理を行い、その結果（認証用フラグと同じ形式のデータ内容でよい）を携帯電話へ返す。携帯電話は、受けた結果の内容に応じて、既に説明したロック解除（利用許可）、ないしロック非解除（利用不許可）の処理を行なう。
【００８２】
図２においては、認証用データ処理装置はインターネット等の通信ネットワーク３５１に接続された認証ホストコンピュータ３５２であり、携帯電話１は、通信接続回路３２３による電波通信により、無線基地局３５０を介して認証ホストコンピュータ３５２に接続される。なお、認証ホストコンピュータ３５２とは無線ＬＡＮやBlue Toothなどの近距離無線通信網を介して接続するようにしてもよいし、コネクタやケーブルを介して有線接続することも可能である。
【図面の簡単な説明】
【００８３】
【図１】本発明の個人認証システムに使用する携帯電話の一例を示す外観斜視図。
【図２】図１の個人認証システムに使用する携帯電話の電気的構成の一例を示すブロック図。
【図３】面型接触センサによる感圧分布の検知例を示す模式図。
【図４】図２のＲＯＭ及びＥＥＰＲＯＭの記憶内容を示す模式図。
【図５】音声スペクトルとスペクトル包絡の例を示すグラフ。
【図６】気導音と骨伝導音との個別の周波数スペクトルと、それらの差分スペクトルとの概念図。
【図７】音声波形にフィルタリングを施して用いる概念を示す模式波形図。
【図８】気導音と骨伝導音との位相差を説明する模式波形図。
【図９】気導音と骨伝導音との位相差を波形差分により求める方法の説明図。
【図１０】顔画像による認証の概念図。
【図１１】指紋による認証の概念図。
【図１２】指紋による感圧分布の概念図。
【図１３】顔画像と手の生体情報とが不当に順次入力される様子を説明する図。
【図１４】音声認証入力の誘導形式を例示して示す模式図。
【図１５】認証主処理の流れを示すフローチャート。
【図１６】初期化処理の流れを示すフローチャート。
【図１７】音声データ処理の流れを示すフローチャート。
【図１８】気導音／骨伝導音波形サンプリング処理の流れを示すフローチャート。
【図１９】気導音／骨伝導音位相差演算処理の流れを示すフローチャート。
【図２０】第一認証処理の第一例の流れを示すフローチャート。
【図２１】同じく第二例の流れを示すフローチャート。
【図２２】同じく第三例の流れを示すフローチャート。
【図２３】第二認証処理の第一例の流れを示すフローチャート。
【図２４】同じく第二例の流れを示すフローチャート。
【図２５】同じく第三例の流れを示すフローチャート。
【図２６】顔画像ないし手の生体情報の動きを検出するパターン照合処理の流れを示すフローチャート。
【図２７】顔当接型保持状態での複合認証処理を用いる認証主処理の例を示すフローチャート。
【図２８】複合認証処理の流れを示すフローチャート。
【図２９】顔当接型保持状態の説明図。
【図３０】顔正対型保持状態の説明図。
【符号の説明】
【００８４】
１ 携帯電話（個人認証システム）
３０４ 送話器（マイク：気導音検出部）
３４０ 骨伝導マイク（骨伝導音検出部）
３４１ 顔画像撮影カメラ
３４２ 指紋検知ユニット（接触式生体特徴情報検出部）
３４３ 面型接触センサ（接触式生体特徴情報検出部）
３１２ ＣＰＵ（認証処理手段、照合手段、複合音声特徴情報演算手段）
３１３ ＲＡＭ（骨伝導音声情報記憶部、気導音声情報記憶部）
３２２ ＥＥＰＲＯＭ（標準音声特徴情報記憶部）
【技術分野】
【０００１】
この発明は、携帯電話を用いた個人認証システムに関する。
【背景技術】
【０００２】
【特許文献１】特開２０００−２５９８２８号公報
【特許文献２】特開２００４−８００８０号公報
【０００３】
個人の認証方式として、認証対象者の音声波に含まれる個人性情報を利用した、いわゆる話者認識の技術が広く活用されている。例えば、最近では、特許文献１〜２に開示されているごとく、携帯電話のセキュリティレベルを高めるために、話者認識を含めた個人認証方式が種々提案されている。最近、携帯電話の普及台数が急増しており、新機種開発競争も激化していることから、機種の買い替えサイクルも短縮している。携帯電話機は電話帳やメールアドレスリストなどの個人データの蓄積媒体となることから、データの残された廃電話機がジャンクとして売買され、個人情報流出を引き起こす問題が指摘されている。また、インターネット接続などの情報通信端末機能を搭載した携帯電話機が標準化してしつつあり、情報提供課金や買い物などの決済あるいはモバイルバンキングなどにも広く利用されていることや、住居や建物などの建造物や自動車などのロック操作端末への流用も考えられていることから、より高度のセキュリティレベルが要求されている。特許文献１及び２には、音声による認証だけでなく、顔画像照合や指紋照合などの別の手段による認証方式を組み合わせることでセキュリティレベルを高める技術が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、セキュリティシステムが高度化するにつれ、それを不法に破る犯罪的手法も高度化ないし大胆化してきている。例えば、特許文献１や特許文献２のように、指紋や顔などの画像による認証と、音声による認証とを組み合わせる方法が採用されている場合、セキュリティの突破は一見非常に難しいように見える。しかし、次のような方法を採用すれば、複数段に張り巡らされたセキュリティステップを全てかいくぐることも不可能ではないのである。すなわち、顔については写真や映像を、音声については録音テープを、指紋については写真製版したスタンプや、果ては認証対象者本人から切り取った腕や指などを個別に用いて、正規利用者の存在状態をバーチャルに再現し、順次的に受理認証を得て行くのである（以下、このような不正を「代用虚偽認証」と称することにする）。この方法は、生きた本人がその場にいなくてもセキュリティ突破が可能であり、誘拐・拉致などのリスクの大きな方法を必ずしも必要としない。また、仮に誘拐などを犯す凶悪犯罪が絡む場合でも、認証に必要な情報を一旦本人から得てしまえば、あとは複製や取得品（指など）を活用すればこと足りるので、用済みとなった本人を口封じ等のために抹殺することにも躊躇が働かなくなる惧れがある。
【０００５】
本発明の課題は、セキュリティレベルの更なる向上が可能であり、かつ、生きた本人が直接操作しない限り、セキュリティ突破することが困難な個人認証システムを提供することにある。
【課題を解決するための手段及び作用・効果】
【０００６】
本発明は、認証処理対象者を、携帯電話を用いて認証する個人認証システムに係り、上記の課題を解決するために、
上記携帯電話に設けられる認証用特徴情報取得部であって、
認証処理対象者に該携帯電話を、認証処理以外の電話機能使用時と同じ状態で把握保持する電話使用把握保持状態にて保持させたとき、該認証処理対象者の手が接触する位置に設けられた、該手の生体特徴情報を検出する接触式生体特徴情報検出部と、
認証処理対象者に該携帯電話を、電話使用把握保持状態にて保持させたとき、該認証処理対象者の顔を撮影可能な位置に設けられる顔撮影用カメラと、
認証処理対象者の音声情報を骨伝導音にて検出する骨伝導音検出部と、
認証処理対象者の音声情報を気導音にて検出する気導音検出部と、
からなる群より選ばれる２以上のもの（接触式生体特徴情報検出部が２種以上設けられる場合には、接触式生体特徴情報検出部のみから２種を選ぶ場合を含む）を含んだ認証用特徴情報取得部と、
携帯電話に設けられ、電話使用把握保持状態にて２以上の認証用特徴情報取得部による認証用特徴情報の取得を、指定された少なくとも２つのものについて同時に実行する認証用特徴情報取得制御手段と、
携帯電話の内部又は外部に設けられ、２以上の認証用特徴情報取得部が各々取得した個別の認証用特徴情報に基づいて、認証処理対象者の認証処理を行なう認証処理手段とを備え、
認証用特徴情報の取得が、指定された少なくとも２つ認証用特徴情報取得部について同時になされていない場合には、認証処理対象者の受理認証を行なわないようにすることを特徴とする。
【０００７】
「認証処理以外の電話機能」とは、通話機能を必須とする一般的な携帯電話の機能をいい、電子メール作成・送信機能、静止画ないし動画の撮影機能及びテレビ電話機能などの１種以上を付加できる。
【０００８】
特許文献１や特許文献２のような携帯電話認証技術において、前述の代用虚偽認証のような不正が可能となるのは、複数の認証形態を単に寄せ集めているに過ぎず、生きた状態の正規ユーザが直接認証操作しているかどうかの識別に対して、特段の考慮が払われていないことによる。
【０００９】
本発明によると、接触式生体特徴情報検出部、顔撮影カメラ、骨伝導音検出部及び気導音検出部の４種類を認証用特徴情報取得部の母群として、これから少なくとも２種を選択して携帯電話に設ける。そして、電話使用把握保持状態にて、指定された少なくとも２つの認証用特徴情報取得部による認証用特徴情報の取得を同時に実行し、それら認証用特徴情報の取得が同時になされていない場合には、認証処理対象者の受理認証（例えば、正規ユーザであるとの認証）を行なわないようにしたので、生きた本人が直接操作しない限り、セキュリティ突破することが困難となる。これにより、個々の認証用特徴情報取得部に、代用品等による特徴情報を順序的に与えるような不正を効果的に排除することができ、セキュリティレベルの更なる向上が可能となる。
【００１０】
「２以上の認証用特徴情報取得部による認証用特徴情報の取得を同時に実行する」ということの、「同時」の意味については、例えば各認証用特徴情報取得部による情報取得処理の制御を別々のコンピュータにて並列に行なう場合など、文字通りの意味で「同時」に行なう態様をもちろん含む。しかし、本発明においては、認証のための情報取得処理が開始されてから完了するまでの総期間内において、異なる認証用特徴情報取得部による個別の情報取得処理が仮に順次的に行われる場合であっても、どの情報取得処理期間にも属さない冗長期間（例えば、第一の認証用特徴情報取得部による情報取得処理が終了した後の、第二の認証用特徴情報取得部による情報取得処理が開始されるまでの待機時間などである）の占める比率が５０％以下（望ましくは１０％以下）に制限されている場合は、各認証用特徴情報取得部による情報取得処理は「同時」になされたものとして定義する。つまり、代用虚偽認証を実行しようとする犯罪者に、「代用品」を交換する時間的な余裕を与えなければよいのである。また、２以上の認証用特徴情報取得部による個別の情報取得処理を時分割並列処理にて行なう場合も、それら情報取得処理は同時なされたものとする。
【００１１】
また、「認証用特徴情報の取得が、指定された少なくとも２つ認証用特徴情報取得部について同時になされていない場合に、認証処理対象者の受理認証を行なわないようにする」機能については、認証用特徴情報の取得の同時性を専用の処理ルーチンで判定し、その判定結果に基づいて積極的に認証の受理／棄却の制御を行なうように実現することもできるし、特に同時性の判定等を行なわず、非同時の場合に取得される情報自体が形骸化されるように情報取得処理のシーケンスを定め、結果として受理認証が得られなくなるように実現することもできる。例えば、複数の認証用特徴情報の取得処理に割り振る時間やステップ数を、順次的な情報入力では対応できない程度に限定しておくと、該情報入力が順次的に行われた場合に、時系列的に後で入力された情報の少なくとも一部が、上記時間やステップ数から必然的にはみ出ることになる。この場合、対応する情報取得部は、情報源が不在であっても、上記時間ないしステップ数内に強制的に情報取得を進めてしまうので、取得された情報は空白となるか、仮に何らかの情報が取得されても、受理認証が得られるような意味のある情報とはならず、形骸化される。この場合、このように形骸化された情報は、例えば正規の情報と特に区別することなく後続の認証処理に供給すれば必然的に棄却認証となるので、同時性の判定が不要となることは明らかである。
【００１２】
接触式生体特徴情報検出部は、例えば周知の指紋検出部にて構成することができる。また、接触式生体特徴情報検出部は、電話使用把握保持状態における携帯電話と手との接触状態を検出する接触検知センサにて構成することができる。もちろん、指紋検出部と組み合わせることも可能である。
【００１３】
接触検知センサは、近接スイッチなど、接触の有無を二値的に検知するものであってもよいが、この場合は該接触検知情報自体に顕著な個人識別性を持たせることは困難であり、継続的な把握保持状態を検知するだけに留まるなど、認証システム上の利用形態は補助的なものとなる（当然、不正による回避も容易である）。他方、個人識別性をより高めた手の生体情報を得るために、該手の生体情報として、携帯電話の接触分布や把握圧力分布の情報を検出する面型接触センサを用いることができる。この場合、認証処理手段は、該面型接触センサが検出する接触分布ないし把握圧力分布の情報に基づいて認証を行なうものとすることができる。携帯電話の手による把握形態は、利用者の手の大きさ、立体形状、把握力及び握り方の癖などにより個人差があり、これらは携帯電話表面の接触分布や把握圧力の分布状態に反映される。そこで、この情報を面型接触センサにより検出すれば、個人識別性の高い認証用特徴情報として活用である。また、上記のような分布情報（特に圧力分布）は生きた本人に固有の情報であるから、切り取った腕やレプリカなどによる代用虚偽認証は極めて困難である。
【００１４】
なお、面型接触センサは、携帯電話の筐体の把握対象となる表面を覆うように設けることができる。圧力分布検知に適した面型接触センサとしては、押し圧によって接点抵抗が変化する感圧接点をシート内に複数分散配置したシート状感圧センサモジュールを使用することもできる（例えば、フジクラ技報第１０４号（２００３年４月）、第３２〜３６頁）。このようなシート状感圧センサモジュールを利用すると、個人識別性の高い圧力分布情報を直接的に得ることができる利点がある。
【００１５】
次に、本発明にて採用できる電話使用保持状態としては、ごく普通の通話時に用いる保持状態、つまり、携帯電話の受話器を顔に当てて通話する保持状態である顔当接型保持状態を使用することができる（図２９参照）。顔当接型保持状態を認証用の保持状態として利用することの利点は、ユーザが携帯電話を本来の電話として利用する場合と全く同じ、自然な感覚で電話を保持して認証を行なうことができるので、認証用特徴情報の取得状態にもばらつきを生じ難く、精度の高い認証実績を形成しやすい点にある。しかし、受話器を顔に当てる姿勢になるから、携帯電話に設けたカメラによる顔の撮影には明らかに不向きとなる。そこで、取得情報認証用特徴情報取得部として、接触式生体特徴情報検出部と骨伝導音検出部と気導音検出部とからなる群より選ばれる２以上のものを組み合わせて使用し、携帯電話には顔撮影用カメラを設けないか、又は設ける場合でも、該顔当接型保持状態で認証用特徴情報の取得を行なうモードでは該顔撮影用カメラを使用しないようにすればよい。
【００１６】
顔当接型保持状態においては、携帯電話を手で保持してしゃべる動作が最も自然であるから、認証用特徴情報取得部として、接触式生体特徴情報検出部と、骨伝導音検出部及び気導音検出部の少なくともいずれかを組み合わせて使用することが、認証に臨む際の特有の緊張感や違和感を生じにくく、認証情報の入力もスムーズに行なうことができ、正確な認証結果を得やすい利点がある。この場合、認証用特徴情報取得制御手段は、認証用特徴情報として、気導音及び骨伝導音の少なくともいずれかの音声情報と、手の生体情報とを同時に取得するものとすることができる。
【００１７】
また、顔当接型保持状態においては、電話機を顔に接触させるので、骨伝導音を認証用特徴情報として活用できる利点がある。この場合、認証用特徴情報取得部として、骨伝導音検出部及び気導音検出部の双方を使用し、認証用特徴情報取得制御手段は、骨認証処理対象者が発する音声を、骨伝導音検出部と気導音検出部とにより同時検出することにより、認証用特徴情報として骨伝導音声情報と気導音声情報との双方を取得するものとして構成することができる。
【００１８】
話者認識による認証方式にて従来、音声検知のステップに関しては、騒音等による検出精度のみが考慮され、声帯から気道を通って空中に放出される気中伝導音（本発明では、これを「気導音」と称する）を通常のマイクで検知するか、骨伝導音を専用の骨伝導マイクで検知するかは、システムをどのような音環境下で使用するかに応じて適宜選択すればよいとみなされ、両者を併用する思想は全くなかった。
【００１９】
しかしながら、気導音は音波の伝わる媒体が空気であるのに対し、骨伝導音の媒体は、骨伝導音検出部（具体的には骨伝導マイク）と声帯との間に介在する人体組織及び骨格であり、音響インピーダンス構造が全く異なる。その結果、検知される音声波形もその影響を受け、共通の声帯から発せられる音声であるにも関わらず、気導音と伝導音と検知波形には少なからぬ差異を生ずる。骨伝導音の伝播経路は人体組織及び骨格が介在するため、気導音媒体の空気に比べて複雑かつ不均質であり、伝播速度、振幅、音響的な共振周波数など、音声伝播に影響するパラメータにも分布があるため、声帯からの原音波形は、骨伝導音として伝播する過程において、気導音よりもはるかに大きな変質を受ける。当然、伝播経路となる人体組織や骨格には個人差があり、それに応じて気導音と骨伝導音との波形にも、人によって固有の差が生ずる。
【００２０】
そこで本発明者は、骨伝導音声情報と気導音声情報とのこのような差異に着目し、その両者を組み合わせることで、個人認証技術上、種々の画期的な効果が生ずることを見出した。具体的には、骨伝導音声情報と気導音声情報との単独では達成できない以下のような特有の効果を生ずるのである。
（１）骨伝導音と気導音との単独では知りえなかった、両波形の差異に由来した特徴情報が新たに把握可能となる。その結果、個人認証のセキュリティレベルを大幅に高めることができる。
（２）骨伝導音声情報と気導音声情報とが、いずれも情報種別としては同質の音声情報であるため、ハードウェアやソフトウェアの処理上の共有化も容易であり、波形の差異に由来した特徴情報を演算によって抽出することも容易である。
（３）骨伝導音は、検知に際しての人体接触が介在するために録音等による正確な再現が比較的難しく、これと気導音とを同時サンプリングするように構成すれば、生きた本人が直接操作しない限り、セキュリティ突破することが非常に困難となる。
（４）認証処理対象者が発する音声を、骨伝導音検出部と気導音検出部とにより同時検出することにより、骨伝導音と気導音との音波源が同一となり、別々に発声された音声を個別に骨伝導音又は気導音として検知する場合と比較して、骨伝導音と気導音との音声波形としての相関が強まるので、波形の差異に占める認証対象者固有の差異成分、つまり、認証に利用可能な特徴情報をより明確に把握でき、認証精度を高めることができる。
【００２１】
気導音と骨伝導音とにより認証を行なう場合の認証処理手段は、骨伝導音声情報と気導音声情報との双方に基づく照合元音声特徴情報の、その照合先となる標準音声特徴情報を記憶した標準音声特徴情報記憶部と、照合元音声特徴情報を該標準音声特徴情報と照合する照合手段とを有するものとして構成できる。認証特定対象者（受理認証されるべき（つまり、「正しい」と認証されるべき）対象者）の気導音情報と骨伝導音情報とに基づいて標準音声特徴情報を予め作成しておき、これを、認証時に認証処理対象者から取得した照合元音声特徴情報の照合先として利用することにより、認証処理の簡略化と精度の向上とを図ることができる。なお、標準音声特徴情報として後述のごとき位相差を用いて認証を行なう場合等においては、認証特定対象者の標準音声を、システム外に設けられた骨伝導音検出部と気導音検出部とにより検出して作成することも可能である。しかし、ハードウェア間の特性相違の影響等を軽減する観点からは、標準音声特徴情報を、（システム自体に設けられた）骨伝導音検出部と気導音検出部とにより検出して作成することがより有効であり、標準音声特徴情報の作成処理も当然簡単となる。
【００２２】
音声特徴情報は、骨伝導音の周波数スペクトルと気導音の周波数スペクトルを含むものとすることができる。この場合、照合手段は、それら周波数スペクトルを、標準音声特徴情報に含まれる骨伝導音と気導音との各標準周波数スペクトルと照合し、それらの双方において照合一致結果が得られた場合に受理認証するものとすることができる。同一人物の音声であっても、骨伝導音の周波数スペクトルと気導音の周波数スペクトルとは互いに相違するので、骨伝導音と気導音との周波数スペクトルをそれぞれ対応する標準周波数スペクトルと照合することで、高精度の個人認証が高くなる。この効果は、認証の対象となる周波数スペクトルと標準周波数スペクトルとのいずれについても、骨伝導音検出部と気導音検出部とにより認証処理対象者が発する音声を同時検出して作成したものを使用した場合に特に高められる。骨伝導音と気導音との双方の周波数スペクトルを用いて照合を行なうのであるから、各波形単独では特定し得ない、両波形の差異に由来した特徴情報を結果的に含んだ認証方式となる。
【００２３】
一方、本発明の個人認証システムは、骨伝導音検出部が検出する骨伝導音波形と、気導音検出部が検出する気導音波形との双方を用いたときにのみ演算可能となる複合音声特徴情報を演算する複合音声特徴情報演算手段を有したものとしても構成できる。この場合、認証処理手段は、該複合音声特徴情報に基づいて認証処理を行なうものとすることができる。この方法は、骨伝導音と気導音との各波形単独では特定し得ない両波形の差異に由来した特徴情報を、複合音声特徴情報として演算により抽出把握する方法に他ならず、２種の音声情報の組み合わせによる認証精度及びセキュリティレベルの向上効果を一層高めることができる。
【００２４】
複合音声特徴情報演算手段は、気導音波形と骨伝導音波形との位相差を複合音声特徴情報として演算することができる。前述のごとく、骨伝導音の伝播経路となる人体組織及び骨格は、その音響インピーダンスの分布状況に個人の生体的特徴が直接的に反映される。具体的には、生体（つまり、認証すべき個人）毎に、インピーダンス不連続部分（例えば組織境界など）等での反射波の形成状況や位相遅延状況などが相違するので、骨伝導音波形は気導音波形に対し認証すべき個人毎に異なる位相差を有するものとなり、個人識別性を有する。そこで、気導音波形と骨伝導音波形との位相差を演算によって求めれば、これを複個人認証のための有効かつ重要な情報として用いることができる。この場合、位相差を正確に演算するには、骨伝導音と気導音とは、同一音声に対して同時検出したものを用いることが必要である。
【００２５】
この場合、予め特定されている認証特定対象者固有の気導音波形と骨伝導音波形との位相差を標準位相差として求めておき、認証処理手段は、演算された位相差が該標準位相差と一致しているか否かに基づいて認証処理を行なうことができる。波形位相差自体は、比較的単純な波形演算（例えば、２つの波形の位相差を種々に設定して差分ないし加算波形を演算し、積分振幅が最小化ないし最大化する位相差を求める方法）により求めることができ、スペクトル照合等と比較して演算負荷を軽減できる利点がある。
【００２６】
なお、気導音と骨伝導音とは周波数スペクトルにも差があるので、両波形に共通に含まれる周波数成分を抽出して位相差を求めると、より正確な位相差の演算が可能である。この場合、該周波数成分の抽出は周知のディジタルフィルタ技術を活用して実施することができる。
【００２７】
また、複合音声特徴情報は、上記のような両波形の位相差に限られるものではなく、例えば、気導音と骨伝導音との各周波数スペクトルの差分スペクトルを利用することもできる。骨伝導音は、伝播経路に介在する人体の減衰ないし共振などの音響特性が個人差を有し、結果的に、気導音に対し不足ないし強調される周波数成分も個人により差を生ずる。従って、気導音と骨伝導音との差分スペクトルは個人識別性を有することになる。また、気導音と骨伝導音との共通スペクトル（個々の周波数スペクトルから上記差分スペクトルを減じたもの）など、個々の周波数スペクトルと上記差分スペクトルとの数学的操作により等価的に得られるスペクトルも、複合音声特徴情報として当然に活用できる。
【００２８】
上記のような位相差や差分スペクトルの発生要因は、主として骨伝導音の伝播経路をなす骨格や人体組織の機械的構造に起因するものであるから、のどの調子などによって認証対象となる音声に多少変質が生じていても誤認等を生じにくい利点がある。
【００２９】
また、認証処理手段は、認証処理を、骨伝導音の周波数スペクトルと気導音の周波数スペクトルとの少なくともいずれかを標準周波数スペクトルと照合する第一の認証処理と、複合音声特徴情報に基づく第二の認証処理とを組み合わせて実施するものとすることもできる。骨伝導音の周波数スペクトルと気導音の周波数スペクトルとのいずれかに基づく従来の音声認証方式は、スペクトル照合の手法により高い個人識別性を有している反面、録音等を利用した誤魔化しなどへのセキュリティホールも抱えている。しかし、上記のような複合音声特徴情報（特に、演算が簡単な位相差）による認証処理を組み合わせることで、上記のようなセキュリティホールの発生を効果的に防止することができる。
【００３０】
以上、顔当接型保持状態における認証態様をいくつか例示して説明した。しかし、最近の携帯電話は、単純な通話機能以外に、電子メール作成・送信機能や、カメラ・ビデオ撮影機能あるいはテレビ電話機能などが次々と付加され、顔当接型保持状態以外での使用形態も頻繁に使われるようになってきた。顔当接型保持状態の次に多い標準的な利用保持形態は、液晶パネル等によるメイン表示画面に利用者の顔を正対させて保持する顔正対型保持状態である（図３０参照）。この保持形態を利用するのは、電子メールの作成時やインターネット利用時、さらには、メイン表示画面とは反対の、電話機背面に設けられたカメラにより静止画や動画の撮影を行ったりする場合である。この場合は、電話機がユーザの顔と接触しないので骨伝導音の取得には明らかに不向きである。従って、携帯電話には認証用特徴情報取得部としての骨伝導音検出部が設けられないか、又は設けられていても、該顔正対型保持状態で認証用特徴情報の取得を行なうモードでは該骨伝導音検出部を使用しないようにする。
【００３１】
この場合、認証用特徴情報取得部としては、気道音検出部、接触式生体特徴情報検出部及び顔撮影用カメラからなる群より、任意の２種以上を選んで搭載できるが、顔正対型保持状態では自分の顔を表示部に映し出して認証撮影することができるので、特有の認証利用形態として、以下のようなものを例示できる。まず、携帯電話には、顔撮影用カメラが撮影する認証処理対象者の顔画像を表示する表示部を設ける。該顔撮影用カメラは携帯電話に対し、認証処理対象者の顔と表示部とが正対しているときに、顔を撮影可能な位置に取り付ける。そして、電話使用保持状態として、携帯電話の表示部及び顔撮影用カメラが認証処理対象者の顔と正対する保持状態である顔正対型保持状態を使用し、認証用特徴情報取得部として、顔撮影用カメラを必須とし、これに接触式生体特徴情報検出部と気導音検出部との少なくともいずれかが組み合わせて使用する。これにより、顔画像を必須として、これに気道音又は手の生体情報のいずれかを同時取得する形で組み合わせることが可能となり、セキュリティレベルの高い認証が可能となる。
【００３２】
顔正対型保持状態での具体的な認証形態としては種々採用可能であり、例えば認証用特徴情報取得部として、顔撮影用カメラと気導音検出部とを組み合わせて使用し、認証用特徴情報取得制御手段が認証用特徴情報として、顔撮影画像と気導音音声情報とを同時に取得する構成も可能である。この場合、音声入力中は、顔画像において口などが動き、情報取得の厳密な同時性を充足させることは困難であるが、冗長待機時間を前述のごとく短くし、顔撮影処理と音声入力を伴う気導音検出とを、間髪入れずに連続して実施すれば、本発明で規定する同時性は十分に満たすことができる。この場合、代替虚偽認証等をより効果的に防止するには、認証用特徴情報取得制御手段に、顔撮影用カメラによる顔画像の検出状態の確認処理と、気導音音声情報の検出処理とを交互に繰り返して実行させるとよい。
【００３３】
また、顔画像を用いる場合、認証用特徴情報取の取得同時性ということを考慮すると、認証用特徴情報取得部として、前記顔撮影用カメラと接触式生体特徴情報検出部とを組み合わせて使用し、認証用特徴情報取得制御手段は認証用特徴情報として、顔撮影画像と手の生体情報とを同時に取得するものとして構成することも望ましい態様の１つである。
【００３４】
本発明の個人認証システムにおいて認証用特徴情報取得部を、接触式生体特徴情報検出部と、顔撮影用カメラ、気導音検出部及び骨伝導音検出部の少なくともいずれかとの組み合わせにて構成する場合、認証用特徴情報取得制御手段は、顔撮影画像、気導音音声情報及び骨伝導音音声情報の少なくともいずれかの取得処理の前後に、接触式生体特徴情報検出部による手の生体情報の検出状態変化を調べる接触変化確認処理を行なうことができる。つまり、接触変化確認処理として、例えば上記の取得処理の前後において、手の生体情報を２回検出し、検出された生体情報が変化しているかどうかを調べることにより、取得処理の間も含めて携帯電話の保持状態（これは、顔当接型でも顔正対型でもいずれでも適用可能である）が維持されているかどうかを確認できる。これは、順次的な代替虚偽認証によるセキュリティ突破を阻む上で好都合である。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態を添付の図面を用いて詳しく説明する。
この実施形態では、本発明の個人認証システムの機能を携帯電話に組み込む場合を例にとって説明する。図１は、携帯電話１の一例を示す外観斜視図である。携帯電話１は、本体の上寄りに受話器３０３が、同じく下寄りに送話器３０４が配置されており、両者の間には、液晶表示装置（例えば、カラー液晶表示装置）にて構成された液晶モニタ３０８、入力部３０５、及び携帯電話１をオンフック状態とオフフック状態との間で切り換えるオンフック／オフフック切換スイッチ３０６が設けられている。本実施形態において携帯電話１は、線電話通信網だけでなく、インターネット等の情報通信網へのアクセスも可能なものとされている。入力部は、情報入力用のキーボードに兼用された通話ダイアルキー３０５ａ、カーソル移動キー３０５ｂ、及び通話モードや情報検索モード等の使用モードを切り換えるためのモード切替キー３０５ｃ等を含んでいる。
【００３６】
送話器３０４は、気導音検出部を兼ねるマイクにて構成される。他方、受話器３０３は本実施形態では骨伝導スピーカで構成され、これと近接して骨伝導音検出部としての骨伝導マイク３４０が配置されている。骨伝導スピーカの基本構成は、例えば特許第２９６７７７７号公報あるいは特開２００３-３４０３７０号公報等により、骨伝導マイクの基本構成は、例えば実開昭５５−１４６７８５号公報、特開昭５８−１８２３９７号公報、実開昭６３−１７３９９１号公報あるいは特許第３４８８７４９号公報等により、各々周知であるため詳細な説明は省略する。いずれも耳か耳下の顎骨などに当てて使用するものである。これらはいずれも認証用特徴情報取得部を構成する。
【００３７】
また、携帯電話１には、他の認証用特徴情報取得部として、顔撮影カメラ３４１、接触式生体特徴情報検出部をなす面型接触センサ３４３と、指紋検出部３４２とを備えている。図１に示すごとく、携帯電話１を握る形態は、利用者によるバラツキはあるものの基本形態はほぼ同じである。すなわち、表示部３０８が手ＭＨの内側に向くように電話機下部を掌の底に当て、電話機の第一の側面（右利きの人は左側面、左利きの人は逆）に曲げた４本の指１４Ｆをあてがう一方、電話機の第二の側面（右利きの人は左側面、左利きの人は逆）の下半分に親指ＭＳの付け根から側面部を沿わせ、上半分にかかる位置にて親指の先端を当てる。入力部３０５に不用意に触れないようにし、また、指先が顔に当たる不快感を軽減するために、無意識にこういう持ち方になるのである。本実施形態では、これを利用して、親指の先端腹が当たる位置に指紋検出部３４２を設け、両側面に面型接触センサ３４３を設けている。
【００３８】
本実施形態では、図３に示すように、面型接触センサ３４３として、既に説明した、押し圧によって接点抵抗（接点容量でもよい）が変化する感圧接点ＳＰをシート内に複数分散配置したシート状感圧センサモジュールを用いている。個々の感圧接点ＳＰの抵抗値（圧力検出値）は複数ビット信号により諧調的にデジタル変換され、各感圧接点ＳＰの信号値により圧力分布情報が得られる。これにより、第一側（ここでは左）の面型接触センサ３４３では、親指以外の４本指による把握押圧領域に対応した感圧分布領域ＰＤＰが検出され、第二側（ここでは右）の面型接触センサ３４３では、該圧力分布に親指（及び掌の親指付け根部分）の把握押圧領域に対応した感圧分布領域ＰＤＰが検出される。該感圧分布領域ＰＤＰの形状（及び圧力分布状態）は個人によって異なるため、特徴情報として利用できる。なお、携帯電話１の上記両側面と背面との３つの面にまたがる一体の面型接触センサを設け、指と掌との一体的な把握押圧領域を検出するようにしてもよいが、電話機の裏面に通常設けられるバッテリー収容部の蓋を排除し、例えば電話機底面側からバッテリーを抜き差しできるようにするなどの設計変更が必要である。
【００３９】
なお、上記以外に使用可能な面型接触センサとしては、周知のタッチパネルと同様の機構によるアナログ容量結合方式面型タッチセンサを用いることができる。この種のタッチセンサは、縦線群と横線線とを互いに非接触となるように格子状に配列した微細配線を検出面に形成し、それら縦線と横線とに交流電圧を一定間隔で交互に通電するとともに、電流検知により各配線のインピーダンス変化をモニタし、インピーダンス変化が検知された縦線と横線の位置から、検出面上の接触点座標を特定するものである。この方法では、接触点に加わる圧力検知は困難であり、接触分布状態を特定するのに適している。しかし、同一人物が異なる力で携帯電話を把握したとき、力の度合いによって指などの接触面積が変化するので、間接的には把握力の情報も得ることができる。
【００４０】
また、図２に示すように、接触式生体特徴情報検出部として、入力部３０５との接触を検知する入力部感圧センサ３２３を設けてもよい。
【００４１】
図１に戻り、顔撮影用カメラ３４１は例えばＣＣＤカメラからなり、認証処理対象者の顔と表示部３０８とが正対しているときに、顔を撮影可能な位置となるように、携帯電話１の表示部３０８に近接して設けられている。これは、認証用の顔画像は、顔の必要部分がカメラ３４１の視野に収まっていなければならないので、カメラ３４１に写る撮影用のファインダ画像を表示部３０８に表示し、認証に好適な姿勢の画像が得られるかどうか（例えば、図１３に示すように、表示部３０８内の規定枠Ｆ内に顔が納まり、基準線ＳＬに目線を合せるなど）を確認しつつ撮影できるようにするためである。なお、顔撮影用カメラ３４１に代えて網膜撮影用カメラを設け、網膜の画像を認証用特徴情報として用いることも可能である。さらに、網膜の画像以外にも、アイリス（虹彩）の画像を撮影し、認証用特徴情報として用いることもできる。アイリスの画像を用いる場合、その模様や色の個人性を利用して照合・認証を行う。特にアイリス模様は後天的形成要素であり、遺伝的影響度も低いので一卵性双生児でも顕著な相違があり、確実に識別できる利点がある。アイリス模様を用いた認証方式は、認識・照合を迅速に行うことができ、他人誤認率も低い特徴がある。アイリスの撮影は通常のカメラを用いて行うことができ、この場合、顔撮影用カメラ３４１に代えて専用のカメラを設けるようにしてもよいし、顔撮影用カメラ３４１にアイリス接写用のアタッチメントを取り付けて撮影を行うようにすることも可能である。
【００４２】
図２は、携帯電話１の電気的構成の一例を示すブロック図である。回路の要部は、Ｉ／Ｏポート３１１と、これに接続されたＣＰＵ３１２（認証用特徴情報取得制御手段、認証処理手段、照合手段、複合音声特徴情報演算手段を構成する）、ＲＯＭ３１３、ＲＡＭ３１４（骨伝導音声情報記憶部及び気導音声情報記憶部となる）等からなる制御部３１０を含む。Ｉ／Ｏポート３１１には、前述の入力部３０５、オンフック／オフフック切換スイッチ３０６が接続される。また、受話器３０３はアンプ３１５とＤ／Ａ変換器３１６を介して、送話器３０４はアンプ３１７とＡ／Ｄ変換器３１８を介して、さらに骨伝導マイク３４０はアンプ３２０とＡ／Ｄ変換器３２１を介して、それぞれＩ／Ｏポート３１１に接続されている。また、Ｉ／Ｏポート３１１には、電話接続回路３２３が接続されている。接続回路３２３は、制御部３１０と接続するための接続インターフェース３３１と、これに接続された変調器３３２、送信機３３３、周波数シンセサイザ３３４、受信機３３５、復調器３３６及び共用器３３７等により構成されている。制御部３１０からのデータ信号は変調器３３２により変調され、さらに送信機３３３により共用器３３７を介してアンテナ３３９から送信される。一方、受信電波はアンテナ３３９及び共用器３３７を介して受信器３３５により受信され、復調器３３６で復調された後、制御部３１０のＩ／Оポート３１１に入力される。なお、通話を行なう場合は、例えば送話器３０４から入力された音声信号がアンプ３１７で増幅され、さらにＡ／Ｄ変換器３１８によりデジタル変換されて制御部３１０に入力される。該信号は、必要に応じて制御部３１０にて加工された後、Ｄ／Ａ変換器３１６及びアンプ３１５を介して受話器３０３から出力される。
【００４３】
一方、接続インターフェース３３１には、制御用電波Ｐを発信する制御用電波発信器３３８がつながれている。制御用電波Ｐは共用器３３７を介してアンテナ３３９から発信される。そして、携帯電話１が別の通信ゾーン１０２に移動した場合、網側の無線回線制御局１０４が制御用電波Ｐの受信状況に基づいて、周知のハンドオーバ処理を行なう。
【００４４】
Ｉ／Ｏポート３１１には、顔撮影用カメラ３４１、指紋検知ユニット３４２及び面型接触センサ３４３が接続されている。面型接触センサ３４３の個々の接点ＳＰ（図３）の抵抗変化はアナログ電圧信号としてディジタイザ３４４に入力され、接点ＳＰごとの圧力のデジタルデータに変換されてＩ／Ｏポート３１１に入力される。
【００４５】
次に、ＲＯＭ３１４内には、無線電話通信の基本制御プログラムである通信プログラムと、液晶モニタ３０８の画面表示を司る表示プログラムが搭載される。また、図４に示すように、ＲＯＭ３１４内には、携帯電話１のユーザが正規ユーザであるか否かを認証するための認証用プログラム（ＣＰＵ３１２にて実行されることで、認証処理手段を実現する）も搭載されている。本実施形態において認証処理は、具体的には気導音の音声波形と骨伝導音の音声波形の双方を併用した話者認識・照合処理により行われる。上記の認証用プログラムは、メインプログラム２０１と、該メインプログラム２０１が利用するサブモジュール群、具体的には気導音サンプリングモジュール２０２、骨伝導音サンプリングモジュール２０３、気導音／骨伝導音位相差演算・照合判定モジュール２０４、気導音／骨伝導音スペクトル演算・照合判定モジュール２０５、顔画像サンプリングモジュール２０７、顔画像照合・判定モジュール２０８、指紋サンプリングモジュール２０９、指紋照合・判定モジュール２１０、前述の把握押圧領域を検出するための感圧分布測定モジュール２１１、感圧分布照合・判定モジュール２１２等からなる。これらのプログラム群は、いずれも図２のＲＡＭ３１３をワークエリアとしてＣＰＵ３１２により実行されるものである。
【００４６】
また、認証用マスターデータ３２２として、音声による認証をスペクトル照合処理にて行なう場合（関与するモジュールは符号２０５，２０６）に使用する音声スペクトルのマスターデータ、具体的には気導音音声スペクトルマスターデータ３２１、骨伝導音音声スペクトルマスターデータ２２２及びそれらの差分スペクトルのマスターデータ２２３が用意されている。また、顔画像マスターデータ２２４、指紋マスターデータ２２４及び感圧分布マスターデータ２２６もそれぞれ用意されている。これらのデータは、認証処理を実施するのに先立って、気導音及び骨伝導音の場合は、正規ユーザ（認証特定対象者）に、照合用として予め定められた音（「おん」）、単語ないし文を発音させて、これを受話器３０３（気導音）及び骨伝導マイク３４０（骨伝導音）により波形検出し、周知のフーリエ変換演算を施してスペクトル化することにより作成されるものである。また、顔画像マスターデータ２４１（図１０）、指紋マスターデータ２４３及び感圧分布マスターデータ２２６（図１２）も、それぞれ顔撮影カメラ３４１、指紋検知ユニット３４２及び面型接触センサ３４３により、正規ユーザから事前に取得されたものが用意されている。これらのデータは、ユーザ毎に異なるデータになることと、セキュリティレベル向上等のため照合元音声特徴情報を随時更新できるようにするために、書き換え可能なＲＯＭ、具体的には、図２のＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）３２２内に書き換え可能に記憶されており、必要に応じてＲＡＭ３１３の認証用データメモリ内にロードして利用される。
【００４７】
なお、以下においては、複数の具体的な音声認証方式についての説明を行なうが、方式によっては特に用いないモジュール及びデータも存在するので、必要なモジュールとデータを取捨選択して用いるものとする（当該の認証方式にて用いないモジュール及びデータを省略することももちろん可能である）。
【００４８】
携帯電話１の使用方法は、電話部分については周知であるので詳細な説明は省略し、その使用に先立つ認証処理について以下に詳しく説明する。図１０は、メインプログラム２０１（図４）による認証主処理の流れである。認証処理を行なうためには、照合用のデータ登録などを含む初期化処理を行なう必要がある（Ｓ１）。この初期化処理は、照合用マスターデータの更新等を行なう場合を除き、一度行なえば、その後はスキップされるものである。Ｓ３及びＳ４は処理の中心をなす認証処理であり、その認証結果により、携帯電話１の機能利用を許可するか否かを示す認証用フラグが、例えばＲＡＭ３１３（図２）内に立てられる。Ｓ５では、その認証フラグをリードし、規定の条件を満たしている場合にロック解除（Ｓ７：つまり、利用許可）、満たさない場合にロック非解除（Ｓ８：つまり、利用不許可）の流れとなる。
【００４９】
本実施形態において認証処理は、図２９に示すような顔当接型保持状態での処理となる第一認証処理（Ｓ３）と、顔正対型保持状態での処理となる第二認証処理（Ｓ４）との２段階にて行なうようになっている。第一認証処理と第二認証処理とは順序を入れ替えることも可能であるし、第一認証処理のみを行なうこと（つまり、図１５でＳ４を省略）、あるいは第二認証処理のみを行なうこと（つまり、図１５でＳ３を省略）もそれぞれ可能である。
【００５０】
認証によりロック解除される携帯電話１の機能については、周知の電話機能（電話通信網ないしインターネットなどへの接続やメール機能等も含む）に限られるものではなく、例えば、自動車のロック／ロック解除や、エンジン始動、ヘッドライトや車内灯の点灯・消灯など、自動車機能の無線遠隔操作ユニット機能とすることもできる。
【００５１】
認証処理の具体的な説明に入る前に、初期化処理と音声認識処理との各処理の流れを、図１６〜図１９を用いて説明する。そのいずれにおいても、処理の主要部は、音声データの取得と加工を受け持つ音声データ処理からなる（初期処理ではＳ３０１、音声認証処理ではＳ４０２）。図１７を用いて、この音声データ処理をまず詳細に説明する。話者認証技術では、セキュリティ向上等を目的として、認証処理対象者に認証用の音声を発音させるための手法が種々考案され、方式によって初期データの取得方法も異なるが、いずれも手法としては周知であるので概略だけ説明する。
【００５２】
（１）文字（あるいは音（例えば母音））を一文字だけ発声させる方法
発声させる文字を表示等により指定して発生させ、サンプリングを行なう。
（２）複数文字を組み合わせて逐次発声させる方法
基本的には（１）と同じ。発声の順序を表示等により誘導し、順次波形のサンプリングを行なう。実際の照合時には、発声順序を固定にしてもよいし、乱数を用いて発声順序を毎回変えるようにしてもよい（後者の場合、認証時に指定される文字の発声順序がランダムに変化されるので、固定順序で発声したものを録音しておいても役に立たなくできる利点がある。
（３）単語を発声させる方法
使用する単語は１種類のみとしてもよいし（この場合（２）と同じになる）、複数種類の中から選択させる方法もある。後者の場合（以下、図１を参照のこと）、照合先となる単語の選択リストを画面１０８に表示し、入力部３０５にて選択を行った後、選んだ単語の発声・サンプリングを行なう。また、文字数（あるいは録音時間）を指定して、ユーザの好みの単語を入力部３０５にて任意に入力し、発声・サンプリングする方法もある。この場合、その単語がパスワード代わりになることが明らかである。また、より手の込んだ方法としては、正規ユーザにしか回答がわからない質問を音声出力させ、これに対応した登録済みの回答を音声入力させる方法もある。この場合、初期化処理では、出力すべき質問内容と、それに対する回答内容の、各入力ないし選択が必要となる。
（４）文を入力する方法
基本的には（３）と同じであり、質問／回答形式を採用する場合は、複数の質問と回答とを対話形式で入力する方法もありえる。
【００５３】
骨伝導音と気導音とで比較した場合、骨伝導音の方が声帯に近い分、母音などの声帯振動に由来した音波成分が気導音より強調される傾向にある。また、摩擦音や破裂音は、舌や唇などの声帯以外の作音要素が関与するため、気導音のほうがより強調されて現れる。従って、骨伝導音と気導音との波形ないしスペクトル上の差（特に差分スペクトルなど）に基づいて認証を行なう場合は、認証対象となる音声波形データ（骨伝導音及び気導音）として、母音、摩擦音及び破裂音を含むもの（好ましくは、最も多く含まれる音がこれらの音種のいずれかとなる音列：例えば、「さしすせそ」、「しししんちゅうのむし」、「あいうえお」など：もちろん、「さ行」、「た行」あるいは「あ行」の単音でも可）を指定することが望ましいといえる。また、同じ母音でも、調音に舌の前部を使う「い、え」などの音は気導音でより明瞭であり、逆に舌後部を使う「う、お」などの音は骨伝導音で明瞭であるから、「いえ（家）」「こうぼ（酵母）」など、前者又は後者のどちらかを主体に含む音列を指定することも効果的である。
【００５４】
図１７の説明に戻り、Ｓ５０１では、指定された音声の入力を送話器３０４と骨伝導マイク３４０の双方を用いて入力する。Ｓ５０２では、そのサンプリングを行なう（図４の気導音サンプリングモジュール２０２及び骨伝導音サンプリングモジュール２０３の実行により実施される）。ユーザは要求された音列を１回だけ発するので、サンプリングは時系列的には同時に行われなくてはならない（従って、これを用いて実施される後述の第一認証処理では、２つの認証用特徴情報をなす骨伝導音と気道音との取得が同時に実行されることが明らかである）。この場合、単一のＣＰＵを用いる場合は、図１８に示すような時分割による並列処理として実行する。具体的には、Ｓ１０１においてサンプリングカウンタをリセットし、以下、サンプリングカウンタをインクリメントしながら、気導音用のマイク入力ポートのリード（Ｓ１０２）とリード値のメモリ（ＲＡＭ３１３）への書き込み（Ｓ１０３）、骨伝導マイクの入力ポートのリード（Ｓ１０４）とリード値のメモリへの書き込み（Ｓ１０５）を交互に繰り返えす。サンプリングするべき音声データの長さに応じて総サンプリング時間（サンプリングカウンタの値で代用できるが、他のタイマー手段を用いてもよい）を決めておき、タイムアップによりサンプリングを打ち切るようにしておくと（Ｓ１０７）、骨伝導音音声波形と気導音音声波形とを同時サンプリングしない限りは、両音声のデータを正常に取得することは不可能となり、例えばテープレコーダ等を用いた順次音声入力等による誤魔化し等を効果的に防止することができる。
【００５５】
なお、単語や文による音声データの入力を行なう場合は、定められた内容（意味）の音声の入力が完了したか否かを周知の音声認識技術により判別し、完了していればサンプリングを打ち切るように構成することもできる。この場合、タイマー手段は必ずしも必要でなくなる。また、ハードウェアは幾分複雑化するが、気導音音声と骨伝導音音声のサンプリングを、個別の（つまり、２つの）ＣＰＵにて独立して行なうこともでき、この場合は、時分割処理を行なわなくとも両音声波形の並列サンプリングが可能となる。
【００５６】
図１７に戻り、上記のようにして気導音と骨伝導音との各音声波形のサンプリングを終了したら、Ｓ５０３にて、各音声が同時にサンプリングされたものであるかどうかをチェックする。チェック方法としては種々考えられるが、例えば、気導音と骨伝導音とが故意にずれたタイミングで入力されていれば、どちらかがサンプリング時間外にはみ出し、取得したデータには大きな空白期間が生ずるはずであるから、これを利用する方法がある。この場合、取得した気導音波形と骨伝導音波形の少なくともいずれかに、音声振幅が予め定められた下限値以下となる期間が一定以上継続しているか否かをチェックし、そのような期間が存在していれば同時性なしと判定する。Ｓ５０３にて同時性なしと判定された場合はＳ５１１に進んで処理を打ち切り、エラーないし警告出力を行なう。
【００５７】
同時性を充足していたらＳ５０５及びＳ５０６へ進み、検出された気導音音声波形データと骨伝導音音声波形データをメモリに記憶・登録する。以下は、認証に用いる複合音声特徴情報の演算処理となる（複合音声特徴情報演算手段の機能が実現されている）。Ｓ５０７では複合音声特徴情報として、気導音音声波形と骨伝導音音声波形との位相差を演算する（気導音／骨伝導音位相差演算・照合判定モジュール２０４の実行により実施される）。図８に示すように、気導音音声波形と骨伝導音音声波形とは同一の音声を個別のマイクにより同時にサンプリングしたものであり、サンプリング開始タイミングを基準に波形を重ね合せたときの両波形の位相を基準重ね合わせ位相とする。２つの波形は、同一の音声に基づき共通の周波数成分を多く含むので、図９に示すように、両波形データの重ね合わせ位相を、基準重ね合わせ位相にて固有に存在していた位相差（つまり、求めるべき位相差）φが解消されるように相対的にシフトして差分波形を演算すれば、該差分波形の積分振幅（平均振幅）は、その重ね合わせ位相にて最小化される（図９の一番下を参照）。そこで、差分波形の積分振幅を演算しつつ両波形データの重ね合わせ位相を種々に変化させ、該積分振幅が最小化される重ね合わせ位相を見出せば、これを求めるべき両波形の位相差φとして得ることができる。
【００５８】
なお、認証処理に用いる個人特徴情報として利用することを考慮すると、求めるべき位相差φに一義的に対応したパラメータが得られればこと足りるので、複合音声特徴情報としては、差分波形の積分振幅が最小化される位相差に限らず、以下のもので代用することも可能である。
(1)差分波形の積分振幅が最大化される位相差
(2)加算波形の積分振幅が最小化される位相差
(3)加算波形の積分振幅が最大化される位相差
【００５９】
以下、差分波形の積分振幅が最小化される位相差φを求める処理を例にとって、図１９のフローチャートにより説明する。Ｓ２０１では、重ね合わせ位相差Σｔ（波形は種々の正弦波波形の重ね合わせになるので、位相差の演算単位は角度ではなく時間とする）をリセットする。次いで、気導音音声波形と骨伝導音音声波形との一方を第一波形、他方を第二波形として、Ｓ２０２で第二波形の位相を予め定められた微小時間Δｔだけシフトし、第一波形は固定として、Ｓ２０３で差分波形を演算する。Ｓ２０４では、その差分波形の積分振幅Ａを演算する。積分振幅の演算方法は周知であるが、例えば次のようにして計算できる。まず、波形をｆ（ｔ）として、各サンプリングタイミングｔに対応するｆ（ｔ）の値を全て加算してサンプリング数Ｎで割り、波形中心線ｆ０を求める。次いで、各ｔの値につき｜ｆ（ｔ）−ｆ０｜を演算し、これを全てのｔについて加算してＮで割れば積分振幅が得られる。Ｓ２０５では、そのときのΣｔの値を位相差φとし、積分振幅Ａの値と対応付けて記憶する。
【００６０】
次いで、Ｓ２０６でΣｔをΔｔだけインクリメントし、Σｔが予め定められた最大値Σｔmaxに到達するまでＳ２０２〜Ｓ２０６の処理を繰り返す。認証用に指定された音声としてユーザが自然に発声できることを考慮すれば、音声サンプルの長さは例えば１秒以上確保することが望ましい。位相差を見出すのに必要な波形シフト量は、０．５〜２波長分もあれば十分なので、人の声の周波数が平均的には１〜２ｋＨｚであることを考えれば、Σｔは０．５〜２ｍｓ位に設定するのがよい。また、サンプリング周期Δｔは、Σｔの１／１０００〜１／１０程度とすることが望ましい。なお、第二波形のシフトの区間は、基準重ね合わせ位相差を原点として、正又は負の一方向にのみ区間設定して演算してもよいし、正負のそれぞれに区間設定して演算するようにしてもよい。
【００６１】
以上の演算が終了すれば、Ｓ２０８に進み、記憶されている積分振幅Ａの最小値Ａ０を見出し、Ｓ２０９でそのＡ０に対応する位相差φを求めるべき位相差φ０として決定する。なお、骨伝導音と気導音との間には、図６に示すように、スペクトル上少なからぬ差異があり、互いに共通しない周波数成分が存在する（例えば、骨伝導音の場合、周波数の高い音域のスペクトル強度が欠落しがちとなる）。従って、上記位相差を演算する際には、共通成分の多い周波数域をフィルタリングにより抽出してから波形演算を行なう方が望ましい場合がある。以上で位相差演算の説明を終わる。
【００６２】
図１７に戻り、Ｓ５０８及びＳ５０９では、気導音と骨伝導音との各波形の周波数スペクトルを演算し、結果を記憶する。この演算は、既に述べたごとく原波形に対し周知のフーリエ変換処理を施すことにより実施できる。ただし、話者認識においては、図５の上に示すような微細構造を含んだスペクトル波形よりも、下に示すようなスペクトル概形（主に、声の質を反映した情報である）の方が測定の再現性に優れ、かつ個人識別情報としても十分に有効であり、照合処理も容易であることが知られている。このスペクトル概形はスペクトル包絡とも称され、周知の種々の音声分析アルゴリズム（例えば、ノンパラメトリック分析法による場合は、短時間事故相関分析法、短時間スペクトル分析法、ケプストラム分析法、帯域フィルタバンク分析法あるいは零交差数分積法など、パラメトリック分析法による場合は、線形予測分析法、最尤スペクトル推定法、共分散法、ＰＡＲＣＯＲ分析法、ＬＳＰ分析法など）により抽出・演算が可能である。
【００６３】
図１５に戻り、Ｓ５１０では、図６に示すごとく、上記のようにして得られた気導音と骨伝導音との周波数スペクトルの差分を演算し、差分スペクトルデータとして記憶する。以上の処理は、図４の気導音／骨伝導音差分スペクトル演算・照合判定モジュール２０５、波形スペクトル照合・判定モジュール２０６の実行により実施される。以上で、音声データ処理の説明を終わる。
【００６４】
図１６に戻り、初期化処理の流れについて説明する。
Ｓ３０１の音声データ処理では、正規ユーザ（認証特定対象者）自身の声により音声入力を行い、既に説明した通りの方法で位相差、気導音ないし骨伝導音の周波数スペクトルないし差分スペクトルのデータを作成し、Ｓ３０２にて、これらを、この後の音声認証処理で使用するマスターデータ（標準音声特徴情報：標準位相差、標準周波数スペクトルあるいは標準差分スペクトル）としてＥＥＰＲＯＭ３２２（図４）に登録する。また、Ｓ３０３〜Ｓ３０５では、顔撮影カメラ３４１、指紋検知ユニット３４２及び面型接触センサ３４３により、顔画像マスターデータ２４１（図１０）、指紋マスターデータ２４３（図１１）及び感圧分布マスターデータ２２６（図１２）をそれぞれ取得し、登録する。
【００６５】
以下、第一認証処理につき、骨伝導音と気道音とを認証用特徴情報として同時取得する場合を例にとって説明する。図２０はその一例を示している。Ｓ４０１では、ユーザは認証のための指定の音声を入力する。Ｓ４０２で前述の音声データ処理が実行され、位相差φが演算される。Ｓ４０３では、その位相差φをマスターデータとして記憶されている標準位相差φ０と比較する。ここでは、差分φ−φ０を演算している。Ｓ４０６では、位相差φと標準位相差φ０との偏差が許容範囲内であるか否かを調べ、許容範囲内であれば認証フラグを許可にセットし（Ｓ４０７）、範囲外であれば非許可にセットする（Ｓ４０８）。なお、標準位相差φ０をマスターとして登録するのに代え、標準位相差φ０を包含する許容位相差範囲（最大値φmaxとφminとで与えられる）を登録しておき、φが当該範囲に属しているか否かにより認証を行なうこともできる。
【００６６】
図２１は、位相差に代えて差分スペクトルを用いる音声認証処理の例である（図２０と共通のステップに同じステップ番号を付与し、説明を省略する）。Ｓ４０２で音声データ処理が実行され、Ｓ４１０で、図６に示すごとく、気導音と骨伝導音との差分スペクトルの演算結果を読み出し、Ｓ４１１にて差分スペクトルのマスターデータ（図４：符号２２３）と比較する。Ｓ４１２で両者が一致と判定されれば認証フラグを許可にセットし（Ｓ４１３）、範囲外であれば非許可にセットする（Ｓ４１４）。
【００６７】
図６に示すように、気導音スペクトルと骨伝導音スペクトルとは、主要部分は共通しているが、特定の周波数帯ではスペクトル強度に顕著な差が見られる（例えば、高域側の成分は気導音スペクトルのほうが骨伝導音スペクトルよりも強く現れる）。そこで、該周波数帯での差分スペクトルの形状をマスターと比較することにより、一致・不一致の照合を行なうことができる。特に、気導音スペクトルと骨伝導音スペクトルとの一方に存在し、他方には存在しないスペクトル包絡のピーク（図６で「×」にて示すようなもの）であって、当該ピーク位置が認証すべき個人によって変動する場合、差分スペクトルにて該ピークを検出し、そのピーク位置（周波数）の照合により、精度の高い認証照合を簡便に行なうことができる。
【００６８】
図２２は、骨伝導音と気導音との各スペクトルを個別にマスターと照合する音声認証処理の例である（図２０と共通のステップに同じステップ番号を付与し、説明を省略する）。Ｓ４０２で音声データ処理が実行され、気導音と骨伝導音との各周波数スペクトルの演算結果を読み出す（Ｓ４２０，Ｓ４２３）。これらは個別にマスターデータ（図４：符号２２１，２２２）と比較する。Ｓ４２２及びＳ４２５で、骨伝導音と気導音との両者にて一致と判定された場合にのみ、認証フラグを許可にセットし（Ｓ４２６）、範囲外であれば非許可にセットする（Ｓ４２７）。
【００６９】
気導音と骨伝導音とのいずれの周波数スペクトルも、図６に示すように、スペクトル包絡において、音声に応じて固有のピーク位置を生ずるので、このピークの個数と位置により、入力された音声（例えば単語や文字）が、マスターが示す音声と同じであるか否かを識別できる（つまり、音声認識）。また、音声の内容が同じであれば、ピークの位置や強度（あるいは、ピーク間の強度比）をマスターと比較し、その一致・不一致に応じて正規ユーザかそうでないかを認証できる（つまり、話者認識）。
【００７０】
図１５に戻り、以上のような第一認証処理がＳ３で終了すれば、次に第二認証処理に移る（なお、第一認証処理で棄却認証の条件が充足された場合は、ここで処理を打ち切るようにしてもよい）。第二認証処理では、図３０に示すように、携帯電話１を顔正対型保持状態に持ち替える（図２９のように耳元に当てていた電話１を、指等を動かさず手首を約１／４回転させながら下へおろせば１モーションで持ち替えを完了できる）。
【００７１】
図２３は、第二認証処理の第一例を示すものである。ここでは、気道音と顔画像とが認証用特徴情報として同時取得される処理となっている。Ｓ６０１では顔画像（Ｉ）を撮影する。次いで、図１４に示すように、表示部３０８に予め決められた質問２５０が表示され、その回答を音声入力する。図２３に示すように、顔画像撮影、質問表示、回答音声入力は、この順で２回繰り返して行われ、最後にもう一度顔画像を撮影する（Ｓ６０１〜Ｓ６０７）。Ｓ６０８では、３回撮影した顔画像（Ｉ）〜（ＩＩＩ）がマスターと一致するかどうかを照合する（図１０参照）。また、Ｓ６１０及びＳ６１２では、２回取得した回答音声（Ｉ）（ＩＩ）（気道音のスペクトル）をマスターと照合する。Ｓ６０９，Ｓ６１１，Ｓ６１３では、それぞれの照合の一致不一致について判定し、全て一致の場合にのみＳ６１４に進んで認証フラグを許可にセットし（受理認証）、１つでも不一致があればＳ６１５に進んで認証フラグを非許可にセットする（棄却認証）。
【００７２】
ここで、３度撮影した顔画像のうち、最初か最後のどちらかはマスターとの照合により認証することが望ましいが、残りの２つは、虚偽認証等を防止する判定ができればよく、カメラの視野から顔が外れていないかどうかを確認する簡単なパターン照合処理に置き換えることができる。図２６に、その一例を示す。２つのパターンがカラーあるいは諧調を有したものであれば、Ｓ７０１でそれぞれ二値化を行なう。Ｓ７０３〜Ｓ７０６では、パターンフレーム間の対応するピクセルを順次リードし、ピクセルの設定値（０か１）の排他的論理和を演算する。パターンが動いていなければ対応するピクセルの設定値は等しく、排他的論理和の値は０となり、パターンが動けばピクセル不一致となって排他的論理和の値は１となる。この排他的論理和の値を各ピクセルについて繰り返し行ない、カウンタＫに加算してゆく（Ｓ７０７）。パターンに異常な動きがあれば変化ピクセルの数が増え、排他的論理和のカウンタＫの値も大きくなる。Ｓ７０９〜Ｓ７１４では、そのＫの最終的な値をフレーム内ピクセル総数Ｍで割り、この値が許容値以下であれば一致判定を、許容値を超えれば不一致判定を行なう。
【００７３】
上記図２６の処理は、顔画像に限らず、後述する指紋画像や感圧分布パターンについても同様に適用できる（接触変化確認処理）。図１３上に示すように、顔画像２４０の撮影中に手ＭＨによる保持が解除されれば、検知される指紋画像や感圧分布パターンに変化が現れ、異常として棄却認証することができる。また、図１３下に示すように、手ＭＨによる保持中（つまり、指紋画像や感圧分布パターンの検出中）に、顔画像が不在になった場合は、顔画像パターンに変化が現れるので、これも異常として棄却認証することができる。
【００７４】
図２３の流れからも明らかなように、複数種類の認証用特徴情報による複数の認証処理を実施するのであるが、認証用特徴情報の取得は処理の前段で一括して行ない、それを用いた認証処理は後段で一括処理するようにしている。これは、認証用特徴情報の取得処理を、連続的かつ速やかに行なうことで冗長時間を廃し、順次的な代替虚偽認証を行ないにくくするためである。顔画像、指紋、感圧分布及び音声入力は、処理上は順次的であるが、顔画像、指紋及び感圧分布の情報取得は、それぞれ１フレームのパターン取得処理に過ぎないから、いずれも概ね１〜１０ｍｓ程度の所要時間であり、この３つの情報取得には長くとも１秒あれば十分である。他方、音声入力については、音声フレーズの入力時間が３〜２０秒程度であるから、処理上の冗長期間の占める比率が５０％以下に十分制限でき、代用虚偽認証を実行しようとする犯罪者に「代用品」を交換する時間的な余裕を与えることがない。
【００７５】
例えば、Ｓ６０１に先立って、カメラ３４１に写るファインダ画像を表示部３０８に表示して、カメラ３４１に対する顔の位置合わせを促し、確定ボタン（入力部３０５のどれかのキーに割り振っておくか、別途認証ボタンを設ける）を押す等により起動信号を与えれば、Ｓ６０１〜Ｓ６０７までの処理が、ユーザ操作によるブレークが不可能な状態で一気に実行されるようにしておくとよい。また、Ｓ６０２ないしＳ６０５での質問に対する回答のインターバルは、正規ユーザであれば即答できるはずなので直ちに音声サンプリング処理に移行し、回答に必要な時間を経過すれば自動的に次のステップに進むようにする。他方、Ｓ６０１、Ｓ６０４、Ｓ６０７の画像撮影はいずれも数ｍｓ程度の瞬時に完了するから、特にシャッター音出力や撮影メッセージの表示等による通知を行なわなければ、処理上はユーザからみて、画面上に質問表示するたびに間髪入れずに答えを音声入力するだけの流れとなり、その間、顔が何度も撮影されていることには全く気付かない。その結果、ユーザは携帯電話１とあたかも会話するごとく簡単な音声のやり取りをするだけで、内部的には画像照合も含めた複雑な処理を行っている実感もなく、平易な気分で認証処理を終えることができる。質問と回答とは、一連のストーリー性を持たせて相互に関連付けておくとより効果的である。実例を以下に示す。回答は、正規ユーザにしか回答できない内容にしておくことはもちろんである。
（実例１）
（質問（Ｉ））「誰が好き？」
（回答（Ｉ））「かおるちゃん」
（質問（ＩＩ））「どのくらい好き？」
（回答（ＩＩ））「骨まで好き」
（実例２）
（質問（Ｉ））「パパ、すみれのお誕生日はいつ？」
（回答（Ｉ））「１２月２１日」
（質問（ＩＩ））「何買ってくれるの？」
（回答（ＩＩ））「ショートケーキ」
【００７６】
上記のように冗長時間を短縮すれば、例えば、顔画像の撮影が先に行われ、相当の冗長期間経過後に指紋や感圧分布の入力が行われたとすると、顔画像の撮影中に、携帯電話が手で保持されていない状態で指紋や感圧分布の検出可能時間が経過してしまう。つまり、指紋や掌などの情報源が不在の状態で制的に情報取得処理が進められ、形骸化された空白の指紋ないし感圧分布の情報だけが残る。これを認証処理に供すれば、必然的に棄却認証となるから、目的を達することができる。
【００７７】
図２４は、第二認証処理の第二例を示すものである。ここでは、Ｓ６５０〜Ｓ６５６で、顔画像、指紋、携帯電話保持に係る感圧分布及び気導音の４種類を認証用特徴情報として同時取得する。具体的には、中央のＳ６５３で音声入力を行ない、顔画像、指紋及び感圧分布の検出は、該音声入力の前後に各１回ずつ行ない、同時性の確認を行っている。Ｓ６５７〜Ｓ６５９では、まず、図２６に示した流れにより、顔画像、指紋及び感圧分布の各パターンが、音声入力の前後で動いていないかどうかを確認し、動いていると判断された場合は認証フラグを非許可にセットする（Ｓ６６９）。動いていなければＳ６６０〜Ｓ６６７に進み、音声、感圧分布、指紋及び顔画像をそれぞれマスターと比較し、全て一致の場合にのみＳ６６８に進んで認証フラグを許可にセットし（受理認証）、１つでも不一致があればＳ６６９に進んで認証フラグを非許可にセットする（棄却認証）。
【００７８】
ところで、音声やパターンマッチングによる認証処理にはファジーな変動要素もあって、認証の精度を高めるには、周知ではあるがより複雑な処理が必要になってくる。本発明のように複数種類の認証処理を組み合わせて実施する場合、処理を行なうＣＰＵ等への負担も重くなるし、認証完了までに長い処理待ち時間が発生することもある。そこで、個々の認証処理における照合の精度を多少低くして、処理負担自体は軽減できるようにし、認証の精度は複数方式の組み合わせの側でカバーするという考え方がある。この場合、図２４の処理は図２５のように変形して実行することができる。Ｓ６５０〜Ｓ６５９の処理は図２４と全く同じである。そして、Ｓ６６０〜Ｓ６７３では、音声、感圧分布、指紋及び顔画像のマスターとの照合結果を、受理／棄却の二者択一的に定めるのではなく、照合一致度をポイント等の数値パラメータで表し、その数値パラメータを用いた判定演算の結果に基づいて、総合的に受理／棄却の判定を行なうようにしている。この場合、ある認証用特徴情報での照合結果が多少不明瞭であっても、他の認証用特徴情報での照合結果が明確であれば、総合的に誤差の小さい有益な認証判定が可能となる。本実施形態では、持ち点を定めて照合一致度が低ければその都度減点を行ない（Ｓ６７０，Ｓ６７１，Ｓ６７２，Ｓ６７４）、Ｓ６７３で合格点を充足していればＳ６６８に進んで認証フラグを許可にセットし（受理認証）、合格点に満たない場合はＳ６６９に進んで認証フラグを非許可にセットする（棄却認証）。
【００７９】
最後に、図２７は、図１５の認証主処理の第一認証処理（Ｓ３）及び第二認証処理（Ｓ４）を、顔当接保持状態だけを用いた複合認証処理（Ｓ３）で置き換えた例である。図２９に示すように、顔当接保持状態では、顔画像データの取得が不能のため、複合認証処理は、図２８のＳ６５１〜Ｓ６５５に示すように、顔画像以外の認証用特徴情報、具体的には音声（ここでは、気導音と骨伝導音）と、手の生体特徴情報（ここでは、指紋と感圧文応）とを組み合わせて、これらを同時取得するようにしている。ここでも、中央のＳ６５２で音声入力を行ない、指紋及び感圧分布の検出は、該音声入力の前後に各１回ずつ行ない、同時性の確認を行っている。Ｓ６５８，Ｓ６５９では、図２６に示した流れにより、指紋及び感圧分布の各パターンが、音声入力の前後で動いていないかどうかを確認し、動いていると判断された場合は認証フラグを非許可にセットする（Ｓ６６９）。動いていなければＳ６６２〜Ｓ６６５及びＳ４０３〜Ｓ４２２に進み、音声、感圧分布、指紋及び顔画像をそれぞれマスターと比較し、全て一致の場合にのみＳ６６８に進んで認証フラグを許可にセットし（受理認証）、１つでも不一致があればＳ６６９に進んで認証フラグを非許可にセットする（棄却認証）。
【００８０】
なお、Ｓ４０３以下の音声認証処理については、図１９の位相差による認証処理（第二の認証処理：Ｓ４０１〜Ｓ４０６）と、図２２のスペクトル照合による認証処理（第一の認証処理：Ｓ４２０〜Ｓ４２２）とを組み合わせ、双方において一致と判断された場合のみ、認証フラグを許可にセットし（Ｓ４２６）、範囲外であれば非許可にセットする（Ｓ４２７）。スペクトル照合では、気導音のみを用いているが、骨伝導音を用いてもよいし、両方を用いてもよい。しかし、位相差の演算はスペクトル演算に比べると簡単であり、スペクトル照合を気導音と骨伝導音との一方のみとして（他方については、スペクトル演算自体を省略する）、位相差による認証を補助的に用いると、処理の軽量化と認証精度の向上とを同時に図ることができる。
【００８１】
上記の実施形態では認証必要なデータ取得と、そのデータを用いた認証処理を全て携帯電話（上位概念は認証用端末）の内部で完結するようにしていたが、認証処理の前部又は一部を携帯電話外の装置に担わせることも可能である。例えば、携帯電話においては認証用特徴情報の取得のみを行い、そのデータを直接又は適宜の加工後に、通信により他のコンピュータで構成された認証用データ処理装置へ転送する（この場合、照合用のマスターデータは認証用データ処理装置へ事前に転送しておく必要がある）。認証用データ処理装置では、転送されてくるデータを受け取り、既に説明したのと同様の方法により照合による認証処理を行い、その結果（認証用フラグと同じ形式のデータ内容でよい）を携帯電話へ返す。携帯電話は、受けた結果の内容に応じて、既に説明したロック解除（利用許可）、ないしロック非解除（利用不許可）の処理を行なう。
【００８２】
図２においては、認証用データ処理装置はインターネット等の通信ネットワーク３５１に接続された認証ホストコンピュータ３５２であり、携帯電話１は、通信接続回路３２３による電波通信により、無線基地局３５０を介して認証ホストコンピュータ３５２に接続される。なお、認証ホストコンピュータ３５２とは無線ＬＡＮやBlue Toothなどの近距離無線通信網を介して接続するようにしてもよいし、コネクタやケーブルを介して有線接続することも可能である。
【図面の簡単な説明】
【００８３】
【図１】本発明の個人認証システムに使用する携帯電話の一例を示す外観斜視図。
【図２】図１の個人認証システムに使用する携帯電話の電気的構成の一例を示すブロック図。
【図３】面型接触センサによる感圧分布の検知例を示す模式図。
【図４】図２のＲＯＭ及びＥＥＰＲＯＭの記憶内容を示す模式図。
【図５】音声スペクトルとスペクトル包絡の例を示すグラフ。
【図６】気導音と骨伝導音との個別の周波数スペクトルと、それらの差分スペクトルとの概念図。
【図７】音声波形にフィルタリングを施して用いる概念を示す模式波形図。
【図８】気導音と骨伝導音との位相差を説明する模式波形図。
【図９】気導音と骨伝導音との位相差を波形差分により求める方法の説明図。
【図１０】顔画像による認証の概念図。
【図１１】指紋による認証の概念図。
【図１２】指紋による感圧分布の概念図。
【図１３】顔画像と手の生体情報とが不当に順次入力される様子を説明する図。
【図１４】音声認証入力の誘導形式を例示して示す模式図。
【図１５】認証主処理の流れを示すフローチャート。
【図１６】初期化処理の流れを示すフローチャート。
【図１７】音声データ処理の流れを示すフローチャート。
【図１８】気導音／骨伝導音波形サンプリング処理の流れを示すフローチャート。
【図１９】気導音／骨伝導音位相差演算処理の流れを示すフローチャート。
【図２０】第一認証処理の第一例の流れを示すフローチャート。
【図２１】同じく第二例の流れを示すフローチャート。
【図２２】同じく第三例の流れを示すフローチャート。
【図２３】第二認証処理の第一例の流れを示すフローチャート。
【図２４】同じく第二例の流れを示すフローチャート。
【図２５】同じく第三例の流れを示すフローチャート。
【図２６】顔画像ないし手の生体情報の動きを検出するパターン照合処理の流れを示すフローチャート。
【図２７】顔当接型保持状態での複合認証処理を用いる認証主処理の例を示すフローチャート。
【図２８】複合認証処理の流れを示すフローチャート。
【図２９】顔当接型保持状態の説明図。
【図３０】顔正対型保持状態の説明図。
【符号の説明】
【００８４】
１ 携帯電話（個人認証システム）
３０４ 送話器（マイク：気導音検出部）
３４０ 骨伝導マイク（骨伝導音検出部）
３４１ 顔画像撮影カメラ
３４２ 指紋検知ユニット（接触式生体特徴情報検出部）
３４３ 面型接触センサ（接触式生体特徴情報検出部）
３１２ ＣＰＵ（認証処理手段、照合手段、複合音声特徴情報演算手段）
３１３ ＲＡＭ（骨伝導音声情報記憶部、気導音声情報記憶部）
３２２ ＥＥＰＲＯＭ（標準音声特徴情報記憶部）
【特許請求の範囲】
【請求項１】
認証処理対象者を、携帯電話を用いて認証する個人認証システムであって、
前記携帯電話に設けられる認証用特徴情報取得部であって、
前記認証処理対象者に該携帯電話を、認証処理以外の電話機能使用時と同じ状態で把握保持する電話使用把握保持状態にて保持させたとき、該認証処理対象者の手が接触する位置に設けられた、該手の生体特徴情報を検出する接触式生体特徴情報検出部と、
前記認証処理対象者に該携帯電話を、前記電話使用把握保持状態にて保持させたとき、該認証処理対象者の顔を撮影可能な位置に設けられる顔撮影用カメラと、
前記認証処理対象者の音声情報を骨伝導音にて検出する骨伝導音検出部と、
前記認証処理対象者の音声情報を気導音にて検出する気導音検出部と、
からなる群より選ばれる２以上のものを含んだ認証用特徴情報取得部と、
前記携帯電話に設けられ、前記電話使用把握保持状態にて前記２以上の認証用特徴情報取得部による認証用特徴情報の取得を、指定された少なくとも２つのものについて同時に実行する認証用特徴情報取得制御手段と、
前記携帯電話の内部又は外部に設けられ、前記２以上の認証用特徴情報取得部が各々取得した個別の認証用特徴情報に基づいて、前記認証処理対象者の認証処理を行なう認証処理手段とを備え、
前記認証用特徴情報の取得が、前記指定された少なくとも２つ認証用特徴情報取得部について同時になされていない場合には、前記認証処理対象者の受理認証を行なわないようにすることを特徴とする個人認証システム。
【請求項２】
前記接触式生体特徴情報検出部は指紋検出部にて構成される請求項１記載の個人認証システム。
【請求項３】
前記接触式生体特徴情報検出部は、前記電話使用把握保持状態における前記携帯電話と前記手との接触状態を検出する接触検知センサにて構成される請求項１記載の個人認証システム。
【請求項４】
前記接触検知センサは、前記手の生体情報として前記携帯電話表面の接触分布又は把握圧力分布情報を検出する面型接触センサであり、前記認証処理手段は、該面型接触センサが検出する前記接触分布又は把握圧力分布の情報に基づいて前記認証を行なうものである請求項３記載の個人認証システム。
【請求項５】
前記電話使用保持状態として、前記携帯電話の受話器を顔に当てて通話する保持状態である顔当接型保持状態が使用され、前記認証用特徴情報取得部として、前記接触式生体特徴情報検出部と前記骨伝導音検出部と前記気導音検出部とからなる群より選ばれる２以上のものが組み合わせて使用され、前記携帯電話には前記顔撮影用カメラが設けられていないか、又は設けられていても、該顔当接型保持状態で前記認証用特徴情報の取得を行なうモードでは該顔撮影用カメラが使用されない請求項１ないし請求項４のいずれか１項に記載の個人認証システム。
【請求項６】
前記顔当接型保持状態において、前記認証用特徴情報取得部として、前記接触式生体特徴情報検出部と、前記骨伝導音検出部及び前記気導音検出部の少なくともいずれかが組み合わせて使用され、前記認証用特徴情報取得制御手段は、前記認証用特徴情報として、前記気導音及び骨伝導音の少なくともいずれかの音声情報と、前記手の生体情報とを同時に取得する請求項５記載の個人認証システム。
【請求項７】
前記顔当接型保持状態において、前記認証用特徴情報取得部として、前記骨伝導音検出部及び前記気導音検出部の双方が使用され、前記認証用特徴情報取得制御手段は、骨前記認証処理対象者が発する音声を、前記骨伝導音検出部と前記気導音検出部とにより同時検出することにより、前記認証用特徴情報として骨伝導音声情報と気導音声情報との双方を取得する請求項５又は請求項６に記載の個人認証システム。
【請求項８】
前記骨伝導音検出部が検出する骨伝導音波形と、前記気導音検出部が検出する気導音波形との双方を用いたときにのみ演算可能となる複合音声特徴情報を演算する複合音声特徴情報演算手段を有し、前記認証処理手段は、該複合音声特徴情報に基づいて前記認証処理を行なう請求項７記載の個人認証システム。
【請求項９】
前記複合音声特徴情報演算手段は、前記気導音波形と前記骨伝導音波形との位相差を前記複合音声特徴情報として演算するものである請求項８記載の個人認証システム。
【請求項１０】
前記認証処理手段は、前記認証処理を、前記骨伝導音の周波数スペクトルと前記気導音の周波数スペクトルとの少なくともいずれかを標準周波数スペクトルと照合する第一の認証処理と、前記複合音声特徴情報に基づく第二の認証処理とを組み合わせて実施するものである請求項８又は請求項９に記載の個人認証システム。
【請求項１１】
前記携帯電話は、前記顔撮影用カメラが撮影する前記認証処理対象者の顔画像を表示する表示部が設けられ、前記顔撮影用カメラは前記携帯電話に対し、前記認証処理対象者の顔と前記表示部とが正対しているときに、前記顔を撮影可能な位置に取り付けられてなり、
前記電話使用保持状態として、前記携帯電話の表示部及び前記顔撮影用カメラが前記認証処理対象者の顔と正対する保持状態である顔正対型保持状態が使用され、前記認証用特徴情報取得部として、前記顔撮影用カメラを必須とし、これに前記接触式生体特徴情報検出部と前記気導音検出部との少なくともいずれかが組み合わせて使用され、前記携帯電話には前記骨伝導音検出部が設けられていないか、又は設けられていても、該顔正対型保持状態で前記認証用特徴情報の取得を行なうモードでは該骨伝導音検出部が使用されない請求項１ないし請求項１０のいずれか１項に記載の個人認証システム。
【請求項１２】
前記認証用特徴情報取得部は、前記接触式生体特徴情報検出部と、前記顔撮影用カメラ、前記気導音検出部及び前記骨伝導音検出部の少なくともいずれかとの組み合わせからなり、前記認証用特徴情報取得制御手段は、前記顔撮影画像、前記気導音音声情報及び前記骨伝導音音声情報の少なくともいずれかの取得処理の前後に、前記接触式生体特徴情報検出部による前記手の生体情報の検出状態変化を調べる接触変化確認処理を行なう請求項１ないし請求項１１のいずれかに記載の個人認証システム。
【請求項１】
認証処理対象者を、携帯電話を用いて認証する個人認証システムであって、
前記携帯電話に設けられる認証用特徴情報取得部であって、
前記認証処理対象者に該携帯電話を、認証処理以外の電話機能使用時と同じ状態で把握保持する電話使用把握保持状態にて保持させたとき、該認証処理対象者の手が接触する位置に設けられた、該手の生体特徴情報を検出する接触式生体特徴情報検出部と、
前記認証処理対象者に該携帯電話を、前記電話使用把握保持状態にて保持させたとき、該認証処理対象者の顔を撮影可能な位置に設けられる顔撮影用カメラと、
前記認証処理対象者の音声情報を骨伝導音にて検出する骨伝導音検出部と、
前記認証処理対象者の音声情報を気導音にて検出する気導音検出部と、
からなる群より選ばれる２以上のものを含んだ認証用特徴情報取得部と、
前記携帯電話に設けられ、前記電話使用把握保持状態にて前記２以上の認証用特徴情報取得部による認証用特徴情報の取得を、指定された少なくとも２つのものについて同時に実行する認証用特徴情報取得制御手段と、
前記携帯電話の内部又は外部に設けられ、前記２以上の認証用特徴情報取得部が各々取得した個別の認証用特徴情報に基づいて、前記認証処理対象者の認証処理を行なう認証処理手段とを備え、
前記認証用特徴情報の取得が、前記指定された少なくとも２つ認証用特徴情報取得部について同時になされていない場合には、前記認証処理対象者の受理認証を行なわないようにすることを特徴とする個人認証システム。
【請求項２】
前記接触式生体特徴情報検出部は指紋検出部にて構成される請求項１記載の個人認証システム。
【請求項３】
前記接触式生体特徴情報検出部は、前記電話使用把握保持状態における前記携帯電話と前記手との接触状態を検出する接触検知センサにて構成される請求項１記載の個人認証システム。
【請求項４】
前記接触検知センサは、前記手の生体情報として前記携帯電話表面の接触分布又は把握圧力分布情報を検出する面型接触センサであり、前記認証処理手段は、該面型接触センサが検出する前記接触分布又は把握圧力分布の情報に基づいて前記認証を行なうものである請求項３記載の個人認証システム。
【請求項５】
前記電話使用保持状態として、前記携帯電話の受話器を顔に当てて通話する保持状態である顔当接型保持状態が使用され、前記認証用特徴情報取得部として、前記接触式生体特徴情報検出部と前記骨伝導音検出部と前記気導音検出部とからなる群より選ばれる２以上のものが組み合わせて使用され、前記携帯電話には前記顔撮影用カメラが設けられていないか、又は設けられていても、該顔当接型保持状態で前記認証用特徴情報の取得を行なうモードでは該顔撮影用カメラが使用されない請求項１ないし請求項４のいずれか１項に記載の個人認証システム。
【請求項６】
前記顔当接型保持状態において、前記認証用特徴情報取得部として、前記接触式生体特徴情報検出部と、前記骨伝導音検出部及び前記気導音検出部の少なくともいずれかが組み合わせて使用され、前記認証用特徴情報取得制御手段は、前記認証用特徴情報として、前記気導音及び骨伝導音の少なくともいずれかの音声情報と、前記手の生体情報とを同時に取得する請求項５記載の個人認証システム。
【請求項７】
前記顔当接型保持状態において、前記認証用特徴情報取得部として、前記骨伝導音検出部及び前記気導音検出部の双方が使用され、前記認証用特徴情報取得制御手段は、骨前記認証処理対象者が発する音声を、前記骨伝導音検出部と前記気導音検出部とにより同時検出することにより、前記認証用特徴情報として骨伝導音声情報と気導音声情報との双方を取得する請求項５又は請求項６に記載の個人認証システム。
【請求項８】
前記骨伝導音検出部が検出する骨伝導音波形と、前記気導音検出部が検出する気導音波形との双方を用いたときにのみ演算可能となる複合音声特徴情報を演算する複合音声特徴情報演算手段を有し、前記認証処理手段は、該複合音声特徴情報に基づいて前記認証処理を行なう請求項７記載の個人認証システム。
【請求項９】
前記複合音声特徴情報演算手段は、前記気導音波形と前記骨伝導音波形との位相差を前記複合音声特徴情報として演算するものである請求項８記載の個人認証システム。
【請求項１０】
前記認証処理手段は、前記認証処理を、前記骨伝導音の周波数スペクトルと前記気導音の周波数スペクトルとの少なくともいずれかを標準周波数スペクトルと照合する第一の認証処理と、前記複合音声特徴情報に基づく第二の認証処理とを組み合わせて実施するものである請求項８又は請求項９に記載の個人認証システム。
【請求項１１】
前記携帯電話は、前記顔撮影用カメラが撮影する前記認証処理対象者の顔画像を表示する表示部が設けられ、前記顔撮影用カメラは前記携帯電話に対し、前記認証処理対象者の顔と前記表示部とが正対しているときに、前記顔を撮影可能な位置に取り付けられてなり、
前記電話使用保持状態として、前記携帯電話の表示部及び前記顔撮影用カメラが前記認証処理対象者の顔と正対する保持状態である顔正対型保持状態が使用され、前記認証用特徴情報取得部として、前記顔撮影用カメラを必須とし、これに前記接触式生体特徴情報検出部と前記気導音検出部との少なくともいずれかが組み合わせて使用され、前記携帯電話には前記骨伝導音検出部が設けられていないか、又は設けられていても、該顔正対型保持状態で前記認証用特徴情報の取得を行なうモードでは該骨伝導音検出部が使用されない請求項１ないし請求項１０のいずれか１項に記載の個人認証システム。
【請求項１２】
前記認証用特徴情報取得部は、前記接触式生体特徴情報検出部と、前記顔撮影用カメラ、前記気導音検出部及び前記骨伝導音検出部の少なくともいずれかとの組み合わせからなり、前記認証用特徴情報取得制御手段は、前記顔撮影画像、前記気導音音声情報及び前記骨伝導音音声情報の少なくともいずれかの取得処理の前後に、前記接触式生体特徴情報検出部による前記手の生体情報の検出状態変化を調べる接触変化確認処理を行なう請求項１ないし請求項１１のいずれかに記載の個人認証システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２００６−１１５９１（Ｐ２００６−１１５９１Ａ）
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願番号】特願２００４−１８４６６３（Ｐ２００４−１８４６６３）
【出願日】平成１６年６月２３日（２００４．６．２３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願日】平成１６年６月２３日（２００４．６．２３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]