携帯端末装置及びその操作方法
【課題】叩打動作を高精度且つ低コストに抽出することができる携帯端末装置を提供する。
【解決手段】携帯端末装置は、当該携帯端末装置に対する叩打動作に対応する音波信号を検出する音波信号検出手段と、検出された音波信号の周波数特性及びインパルス応答特性に基づいて、叩打動作を抽出する抽出手段と、抽出された叩打動作に対応する操作コマンドに変換する変換手段と、当該操作コマンドを実行する実行手段とを備える。
【解決手段】携帯端末装置は、当該携帯端末装置に対する叩打動作に対応する音波信号を検出する音波信号検出手段と、検出された音波信号の周波数特性及びインパルス応答特性に基づいて、叩打動作を抽出する抽出手段と、抽出された叩打動作に対応する操作コマンドに変換する変換手段と、当該操作コマンドを実行する実行手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置及びその操作方法に関し、特に、携帯端末装置上のボタンやキーを用いることなく、携帯端末装置への叩打（タップ）動作により操作を可能とする携帯端末装置及びその操作方法に関する。
【背景技術】
【０００２】
携帯電話機のような携帯端末装置の高機能化及び小型化に伴い、その操作のためのボタンやキーの数は増え、且つ小さくなってきている。一方で、携帯電話機の普及により、携帯電話機の利用者は、子供から老人まで、また健常者から障害者にまで広がるに至り、目や指先の不自由な人たちは、多数且つ小さなボタンやキーを操作することが困難となる場合があり、高機能且つ小型の携帯端末装置をより簡単に操作できる操作方法が求められている。
【０００３】
その一つの方法として、例えば、下記特許文献１に記載されているように、端末に対する打指、叩打アクション（以下、「叩打動作」と統一する）を端末に対する操作に変換する方法が提案されている。
【特許文献１】特開２００３−２２９９３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の方法は、次のような問題があり、実用化に至っていない。すなわち、（１）特許文献１では、端末への叩打動作を加速度センサにより検出する。加速度センサは、振動や移動を検出するものであるため、同じ叩打動作が行われた場合でも、端末の置かれた状況（例えば、硬い机の上、鞄の中、手で保持など）や、操作した端末の部位（本体表面、裏面、側面など）によって、加速度センサの出力が異なり、同一操作であることを判定することが困難である。
【０００５】
（２）加速度センサは、一般に、内蔵する重りにかかるストレスを電気的に取り出すものであるため、高速振動に対する追従性が悪い。また、可聴周波数域内に共振周波数を持つ場合が多いため、高周波成分はノイズとして除去する必要がある。残された低周波成分からでは、人が聞いた場合に、「音」として明らかに異なるものを判別できない。また、叩打動作を行った物体（爪、プラスチック、金属など）の種類を区別できない。
【０００６】
（３）携帯端末装置の設計、製造の側面から見ると、加速度センサは、本来、通話に必要ないセンサであるために、加速度センサというデバイスを組み込むためには、コンデンサや抵抗などのディスクリート素子、アナログアンプ、バンドパスフィルタ、Ａ／Ｄ変換器などの多数の周辺素子を追加する必要がある。
【０００７】
このように、加速度センサを用いて叩打動作を検出する手法は、検出精度が低いと共に高コストとなる。
【０００８】
本発明の目的は、上記問題点を鑑み、叩打動作を高精度且つ低コストに抽出することができる携帯端末装置及びその操作方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するための本発明の携帯端末装置の第一の構成は、携帯端末装置に対する叩打動作に対応する音波信号を検出する音波信号検出手段と、前記検出された音波信号の特性に基づいて、前記叩打動作を抽出する抽出手段と、前記抽出された叩打動作に対応する操作コマンドに変換する変換手段と、当該操作コマンドを実行する実行手段とを備えることを特徴とする。
【００１０】
本発明の携帯端末装置の第二の構成は、上記第一の構成において、前記音波信号の特性は、前記音波信号の周波数特性及びインパルス応答特性であることを特徴とする。
【００１１】
本発明の携帯端末装置の第三の構成は、上記第一の構成において、前記変換手段は、前記抽出された叩打動作のリズムパターンを符号化して、操作コマンドを求めることを特徴とする。
【００１２】
本発明の携帯端末装置の第四の構成は、上記第一の構成において、前記抽出手段は、前記音波信号の周波数特性を求め、当該周波数特性に基づいて、叩打動作を行った物質を特定することを特徴とする。
【００１３】
本発明の携帯端末装置の第五の構成は、第一の構成において、前記抽出手段は、前記音波信号のインパルス応答特性を求め、当該インパルス応答特性に基づいて、叩打動作が行われた携帯端末装置上の位置を特定することを特徴とする。
【００１４】
本発明の携帯端末装置の第六の構成は、上記第四の構成において、前記変換手段は、前記抽出された叩打動作を行った物質に基づいて操作コマンドを求めることを特徴とする。
【００１５】
本発明の携帯端末装置の第七の構成は、上記第五の構成において、前記変換手段は、前記抽出された叩打動作が行われた携帯端末装置上の位置に基づいて操作コマンドを求めることを特徴とする。
【００１６】
本発明の携帯端末装置を含む電子装置の操作方法は、電子装置に対する叩打動作に対応する音波信号を、前記電子装置に内蔵される音波信号検出手段により検出するステップと、電子装置の制御手段により、前記検出された音波信号の特性に基づいて、前記叩打動作を抽出し、前記抽出された叩打動作に対応する操作コマンドに変換し、当該操作コマンドを実行するステップとを備えることを特徴とする。
【００１７】
また、本発明の携帯端末装置を含む電子装置の操作方法を電子装置に実行させるコンピュータプログラムは、電子装置に内蔵される音波信号検出手段により検出された音波信号を処理するコンピュータプログラムにおいて、前記検出された音波信号の特性に基づいて、前記電子装置に対する叩打動作を抽出する処理と、前記抽出された叩打動作に対応する操作コマンドに変換する処理と、当該操作コマンドを実行する処理とを前記電子装置に実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、叩打動作に対応する音波信号を音波信号検出手段で検出し、その情報量の多い広帯域の信号を利用して解析処理することで、高い精度で叩打動作を抽出することができる。
【００１９】
また、携帯端末装置の内部を伝搬する音波を用いるため、端末装置のおかれた外部環境に影響を受けず、高精度に叩打動作を抽出することができる。
【００２０】
さらに、既存のマイクロフォンのような音波信号検出手段を利用し、音声解析処理するため、専用のデバイスを追加する必要がなく、低コストで叩打動作を抽出し、叩打動作による携帯端末装置の操作を可能とする。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。
【００２２】
本発明の実施の形態では、叩打動作により携帯端末装置を操作可能とするために、携帯電話機のようなマイクロフォン（音波信号検出手段）を内蔵する携帯端末装置の本体に対する叩打（タップ）動作に対応する音波信号をマイクロフォンで検出し、その音波信号の特性を解析することで、叩打動作を抽出し、携帯端末装置はその叩打動作に対応する機能を実行する。
【００２３】
携帯端末装置本体に加えられる叩打動作により、持続時間のごく短いインパルス型の音波が発生する。本発明では、その音波を、既設の音声入力用内蔵マイクロフォンで検出する。叩打動作に対応する音波信号の周波数特性は、叩打動作を行った物質により異なる。
【００２４】
図１は、叩打動作を行った物質毎の周波数特性の例を示す図である。図１に示すように、携帯端末装置を爪で叩いた場合、プラスチックで叩いた場合、金属で叩いた場合それぞれで音波信号の周波数特性は異なる。音波信号の周波数特性は、マイクロフォンが検出した音波信号をフーリエ変換（FFT）することで求められる。
【００２５】
また、携帯端末装置本体に対して叩打動作を加えた場合、その叩打動作に対応する音波信号（衝撃信号）は、複数の経路を通ってマイクロフォンまで到達する。
【００２６】
図２は、叩打動作に対応する音波の伝達経路を模式的に示す図である。携帯端末装置は、その本体前面１０７側にマイクロフォン１００や操作ボタン１０３を有し、内部に部品基盤１０４やバッテリー１０５などを内蔵する。例えば、携帯端末装置の本体背面１０１の叩打動作位置１０６を叩くと、複数の伝達経路Ａ乃至Ｅを通ってマイクロフォン１００に到達する。例示された伝達経路はあくまでも模式的なものであり、実際の伝達経路は内部構成、材質などにより異なる。
【００２７】
図３は、各伝達経路を伝搬する音波の到達時間及び振幅を模式的に示す図である。マイクロフォン１００は、図２に示したようなさまざまな伝達経路Ａ乃至Ｅを伝わって到達した音波を検出するが、各伝達経路の距離や材質（空気を含む）に応じて、各伝達経路を伝搬する音波の到着時間と振幅は異なる。最短時間の伝達経路（距離が最短）の音波の振幅が最も大きく、到達時間が長くなるほど（距離が長くなるほど）、伝搬中の減衰も大きくなり、振幅は弱くなる。そして、伝達経路毎の到着時間と振幅のパターン（以下、「インパルス応答特性」と称す）は、端末本体の叩く位置（叩打動作位置）により異なる。言い換えると、叩打動作位置は、固有のインパルス応答特性を有する。
【００２８】
図４は、叩打動作位置に対応するインパルス応答特性を模式的に示す図である。図４は、端末本体に対して一回叩打動作を行ったときのインパルス応答特性の例であり、インパルス応答特性は、マイクロフォンに近い位置で叩打動作を行うほど、振幅は大きくなり、また、到達時間も短い傾向を有する。また、マイクロフォンにごく近い位置であるマイク近傍背面を叩いた場合は、最短時間の伝達経路の振幅は他の伝達経路の振幅と比較して突出して大きい特徴を有し、また、折り畳み式携帯電話のような形状の場合は、スピーカ付近背面は、マイクロフォンから最も遠い位置であり、スピーカ付近背面を叩いた場合は、最短時間の伝達経路の振幅が他の伝達経路の振幅よりも大きいが、どの伝達経路も減衰が大きいので、他の位置を叩いた場合より振幅は弱く、また、伝達経路毎の振幅の差も小さい特徴を有する。
【００２９】
このように、携帯端末装置のさまざまな位置に対する叩打動作に対応する音波のインパルス応答特性のデータと、叩打動作を行う物質毎の音波の周波数特性のデータとを携帯端末装置に記憶させ、マイクロフォンが検出した音波のインパルス応答特性と周波数特性を求めて、記憶しているデータと照合することにより、マイクロフォンが検出する音波の中から、叩打動作に対応する音波を抽出することができる。
【００３０】
図５は、マイクロフォンが検知する音波から叩打動作に対応する音波を抽出する処理のフローチャートである。携帯端末装置に組み込まれたソフトウェアをCPUが実行することにより当該処理は実施される。マイクロフォンが検知する音波信号を監視し、所定のしきい値を超える大きな振幅を検出すると（Ｓ１００）、そのしきい値を超える振幅レベルの発生時刻を中心に音波信号に対してFFT（高速フーリエ変換）を施し（Ｓ１０２）、周波数変換する。
【００３１】
得られた周波数特性と、あらかじめ記憶されている物質毎の周波数特性とを比較する。具体的には、携帯端末装置は。図１に示したような物質毎の周波数特性データテーブルを記憶しており、初期値であるテーブル番号Ｍ＝０に設定し（Ｓ１０４）、テーブル番号Ｍ＝０の周波数特性データとＳ１０２で得られた周波数特性データとを比較し（Ｓ１０６）、一定基準を超える同一性があるかどうか判定する。一致しない場合は、テーブル番号を加算し（Ｓ１０８）、次のテーブル番号に対応する周波数特性データと得られた周波数特性データとを比較する（Ｓ１０６）。最後のテーブル番号に対応する周波数特性データとの比較においても一致せず、テーブル番号の加算により（Ｓ１０８）、テーブル番号が最大値を超えた場合は（Ｓ１１０）、Ｓ１００で検出した強い振幅は、叩打動作によるものではないと判定され、Ｓ１００に戻る。得られた周波数特性データがいずれかのテーブル番号に対応する周波数特性データと一致すると判定された場合（Ｓ１０６）、一致したテーブル番号の物質で叩打動作が行われたとものと判定する（Ｓ１１２）。
【００３２】
続いて、叩打動作位置を求める。携帯端末装置は、図４に示したような叩打動作位置に対応するインパルス応答特性データテーブルを記憶しており、インパルス応答特性を得るために、複数の伝達経路におけるそれぞれの振幅のレベルｖｐと到達時刻ｔｐとを求める。まず、伝達経路番号をｎ＝０（初期値）に設定し（Ｓ１１４）、伝達経路番号ｎ＝０における振幅レベルｖｐを記憶し（Ｓ１１６）、さらに到達時刻ｔｐを記憶する（Ｓ１１８）。具体的には、伝達経路番号ｎ＝０における振幅レベルｖｐと到達時刻ｔｐは、Ｓ１００で検出された強いピーク（パルス）の振幅レベルであり、その振幅レベルを記憶し（Ｓ１１６）、その振幅レベル発生時刻を記憶する（Ｓ１１８）。
【００３３】
それから、規定時間ｔｄ経過する毎に（Ｓ１２０）、規定時間ｔｄがインパルス応答最長時間を経過していないかどうか判定し（Ｓ１２２）、インパルス応答最長時間を経過していない場合は、その経過した規定時間を中心に音波信号にＦＦＴ（高速フーリエ変換）を施し（Ｓ１２４）、規定時間が経過する毎に、その時刻における音波信号の周波数特性を求める。インパルス応答最長時間は、一定レベル以下の微弱なインパルス応答を無視し、各伝達経路のインパルス応答パターンのうちの最も遅いインパルス応答を検出するまでの時間である。
【００３４】
そして、各規定時間ｔｄ経過時の周波数特性が、Ｓ１１２で確定したテーブル番号の周波数特性と一致するかどうか判定する（Ｓ１２６）。
【００３５】
実際には、伝達経路番号ｎ＝０の伝達経路における到着時刻ｔｐとその次に早く到達する伝達経路の到着時刻との間には所定の時間差があり、次の伝達経路に対応する音波信号が到着するまで、Ｓ１２６の処理で一致判定はなされない。
【００３６】
Ｓ１２６の処理において、一致判定されない場合は、伝達経路番号ｎを加算し（Ｓ１２８）、あらかじめ決められた伝達経路番号の最大値（例えば１０）に達するかどうか判定し（Ｓ１３０）、最大値を超えるまで、ステップＳ１２０乃至Ｓ１２８の処理を繰り返す。叩打動作に対応する音波信号は、複数の伝達経路を通ってマイクロフォンに到達するので、その振幅レベルと到着時間が伝達経路毎に異なる。Ｓ１２０乃至Ｓ１２８の処理により、規定時間ｔｄ毎に、叩打動作に対応する音波信号の周波数特性と比較することで、叩打動作に対応する音波信号を抽出することができ、その振幅レベルと到着時刻から、インパルス応答特性を得ることができる。
【００３７】
インパルス応答最長時間が経過した場合（Ｓ１２２）、または伝達経路番号が最大値を超えた場合（Ｓ１３０）、ステップＳ１３２に進み、あらかじめ記憶されている図４に示すようなインパルス応答特性のパターンテーブルと、求められたインパルス応答特性とを比較する。携帯端末装置は、図４に示すような携帯端末装置のさまざまな位置を叩いた場合のインパルス応答特性パターンテーブルをあらかじめ記憶しており、上記処理で得られたインパルス応答特性と一致するパターンを抽出し、そのパターンに対応する携帯端末装置の位置を叩打動作位置として確定する（Ｓ１３４）。
【００３８】
図６は、マイクロフォンが検知する音波から叩打動作に対応する音波を抽出し、叩打動作に対応する機能を実行する処理の流れを説明する図である。図６（ａ）は、マイクロフォンが検出する音波信号の波形の例である。
【００３９】
検出された音波信号に対して、図５に示した叩打動作抽出処理を実施する。すなわち、周波数特性から叩打動作として携帯端末装置を叩いた物質が特定され、インパルス応答特性から、叩打動作が行われた位置が特定された場合は、叩打動作（叩打）が行われたと判定する。
【００４０】
図６（ｂ）は、抽出された叩打動作を時間軸上の表した図である。図６（ａ）の波形に対して、叩打動作が抽出された時間に対してパルス信号が得られる。叩打動作が抽出されると、続いて、その叩打動作のリズムパターンを判定する。
【００４１】
具体的には、図６（ｃ）に示すように、一定時間叩打動作に対応するパルスが存在しない空白（ガード）時間（開始判定時間及び終了判定時間）に挟まれた叩打動作領域を切り出し、その領域内に存在するパルスの最短間隔を求める。図６（ｃ）においては、パルスＰ１とパルスＰ２間が最短間隔である。切り出された叩打動作領域に対して、最短間隔を周期時間として、周期時間毎にパルスの有無を判定し、パルス有りを「１」、パルス無し「０」と符号化することで、叩打動作を操作コマンドであるデジタル符号に変換する。
【００４２】
図６（ｄ）は、叩打動作に対応する操作コマンドであるデジタル符号を示す図である。叩打動作領域において、最初の周期時間は、パルスＰ１を含むので、デジタル符号は「１」、次の周期時間はパルスＰ２を含むので、デジタル符号は「１」となる。パルスＰ２とパルスＰ３の間は周期時間以上空いており、その次の周期時間はパルスがないので、デジタル符号は「０」となる。そして、さらにその次の周期時間はパルスＰ３を含むので、デジタル符号は「１」となり、結果、叩打動作により得られるデジタル符号は「１１０１」となる。このように、周期時間ごとの叩打動作有り無しをリズムパターンとして求め、符号化することで、叩打動作を操作コマンドに変換することができる。
【００４３】
携帯端末装置は、デジタル符号に対応する携帯端末装置の機能を割り当てたテーブルを記憶しており、テーブルを参照して、デジタル符号に対応する機能を起動する。例えば、図６（ｅ）に示すように、操作コマンド（デジタル符号）「１１０１」に対応する機能が、「メール着信チェック」である場合は、それを起動する。
【００４４】
図７は、デジタル符号（操作コマンド）に対応する携帯端末装置の機能を割り当てたテーブルの例を示す図である。図７は、例えば、携帯端末装置が折りたたみ式携帯電話機である場合のテーブルであり、同一のデジタル符号に対して、携帯電話機を折りたたんでいる場合、開いている場合、通話中の場合に対して、それぞれ異なる機能が割り当てられる。もちろん、携帯電話機の利用形態にかかわらず、一つの機能のみが割り当てられるようにしてもよい。折りたたんでいる場合や開いている場合のハードウェア的な利用形態に応じて異なる機能を割り当ててもよいし、通話や電子メールなどのソフトウェア的な利用形態（モード）に応じて異なる機能を割り当ててもよい。割り当てる機能は、ユーザが任意に設定可能である。
【００４５】
図８は、本発明の実施の携帯における携帯端末装置装置のブロック構成を示す図である。一例として、携帯電話機の音声入力処理部分とほぼ同一の構成である。マイクロフォン１００から入力された音波信号は、音量を調整するレベル調整部（ＴＸＶＯＬ）１１０を介してアンチエイリアシングフィルタ（ＡＡＦ）１１２に入力される。ＡＡＦ１１２は、折り返し雑音を消すために、ナイキスト周波数以上の音波信号を除去する。
【００４６】
ＡＡＦ１１２から出力された音波信号は、ＡＤＣ１１４によりデジタル信号に変換され、さらにバンドパスフィルタ（ＢＰＦ）１１６によりノイズ除去され、ＰＣＭフォーマット変換部１１８に入力される。ＰＣＭ(Pulse Code Modulation)は、音をデジタル化する周知の方式であって、ごく短い時間（サンプリングレート）ごとに音の波形の瞬間の電圧を測り(CDなどでは1秒間に約4万4100回の測定を行う)、その値を例えば14桁の2進数に変換することにより、デジタル化する方式である。
【００４７】
ベースバンドＣＰＵ１２０は通話用音声処理を担うＣＰＵであり、ＰＣＭフォーマットに変換された音波信号に対して、図５に示した叩打動作抽出処理及び抽出された叩打動作に対応するパルスをデジタル符号に変換するまでの処理（図６（ａ）から図６（ｄ）までの処理）を実行する。ベースバンドＣＰＵ１２０は求めたデジタル符号をマルチメディアＣＰＵ２４に送る。
【００４８】
マルチメディアＣＰＵ１２２は、電子メール、インターネット、音楽再生、画像処理などの機能を担うＣＰＵであり、図７のテーブルを参照して、入力されたデジタル符号に対応する機能を選択して、それを実行する。
【００４９】
このように、本発明の実施の形態における携帯端末装置によれば、端末本体への軽い打撃（叩打動作）に対応する音波信号をマイクロフォンで検出し、音声解析処理として叩打動作を抽出することができる。叩打動作に対応する音波信号の周波数特性とインパルス応答特性を求めることにより、精度良く叩打動作を抽出することができる。また、専用のデバイスを追加することなく、解析処理のアルゴリズム（図５の処理）をソフトウェアとして組み込むだけで、本発明を実現することができ、コスト増も防げる。
【００５０】
加速度センサで検出する場合は、携帯端末装置に対する振動や衝撃を叩打動作として検出するおそれがあるが、本発明の方法では、ユーザによる明確な叩打動作が必要なため、誤動作を防止することができる。
【００５１】
また、携帯端末装置のどの部分を叩いてもよく、ユーザは携帯端末装置を目視することなく、操作することができ、携帯端末装置が保持されている状態によらず、叩打動作を抽出できるので、操作環境が制限されない。例えば、ユーザは携帯端末装置をポケットに入れたまま操作することも可能である。
【００５２】
叩打動作が行われた位置を特定できるので、叩打動作が行われた位置に対して、所定の機能を割り当てるようにしてもよい。例えば、マイクロフォンのすぐ裏側の背面を叩いた場合とマイクロフォンから遠い位置にあるスピーカ付近を叩いた場合で異なる機能が割り当てられる。携帯端末装置は、叩いた位置に対して機能（操作コマンド）を割り当てたテーブルを有し、特定された位置に対応する操作コマンドを実行する。
【００５３】
さらに、叩打動作を行った物質を特定できるので、叩打動作を行った物質に対して、所定の機能を割り当てるようにしてもよい。例えば、爪で叩いた場合と、プラスチックで叩いた場合と金属で叩いた場合で、それぞれ異なる機能が割り当てられる。携帯端末装置は、叩いた物質に対して機能（操作コマンド）を割り当てたテーブルを有し、特定された物質に対応する操作コマンドを実行する。
【００５４】
上述した携帯端末装置に対する叩打動作により携帯端末装置を操作する方法は、携帯端末装置のような電子装置に限らず、マイクロフォンを内蔵する据置型の電子装置にも適用可能である。
【００５５】
（付記１）
携帯端末装置に対する叩打動作に対応する音波信号を検出するマイクロフォンと、
前記検出された音波信号の特性に基づいて、前記叩打動作を抽出する抽出手段と、
前記抽出された叩打動作に対応する操作コマンドに変換する変換手段と、
当該操作コマンドを実行する実行手段とを備えることを特徴とする携帯端末装置。
【００５６】
（付記２）
付記１において、
前記音波信号の特性は、前記音波信号の周波数特性及びインパルス応答特性であることを特徴とする携帯端末装置。
【００５７】
（付記３）
付記１において、
前記変換手段は、前記抽出された叩打動作のリズムパターンを符号化して、操作コマンドを求めることを特徴とする携帯端末装置。
【００５８】
（付記４）
付記１において、
前記抽出手段は、前記音波信号の周波数特性を求め、当該周波数特性に基づいて、叩打動作を行った物質を特定することを特徴とする携帯端末装置。
【００５９】
（付記５）
付記１において、
前記抽出手段は、前記音波信号のインパルス応答特性を求め、当該インパルス応答特性に基づいて、叩打動作が行われた携帯端末装置上の位置を特定することを特徴とする携帯端末装置。
【００６０】
（付記６）
付記４において、
前記変換手段は、前記抽出された叩打動作を行った物質に基づいて操作コマンドを求めることを特徴とする携帯端末装置。
【００６１】
（付記７）
付記５において、
前記変換手段は、前記抽出された叩打動作が行われた携帯端末装置上の位置に基づいて操作コマンドを求めることを特徴とする携帯端末装置。
【００６２】
（付記８）
電子装置に対する叩打動作に対応する音波信号を、前記電子装置に内蔵される音波信号検出手段により検出するステップと、
電子装置の制御手段により、前記検出された音波信号の特性に基づいて、前記叩打動作を抽出し、前記抽出された叩打動作に対応する操作コマンドに変換し、当該操作コマンドを実行するステップとを備えることを特徴とする電子装置の操作方法。
【００６３】
（付記９）
電子装置に内蔵される音波信号検出手段により検出された音波信号を処理するコンピュータプログラムにおいて、
前記検出された音波信号の特性に基づいて、前記電子装置に対する叩打動作を抽出する処理と、
前記抽出された叩打動作に対応する操作コマンドに変換する処理と、当該操作コマンドを実行する処理とを前記電子装置に実行させるコンピュータプログラム。
【図面の簡単な説明】
【００６４】
【図１】叩打動作を行った物質毎の周波数特性の例を示す図である。
【図２】叩打動作に対応する音波の伝達経路を模式的に示す図である。
【図３】各伝達経路を伝搬する音波の到達時間及び振幅を模式的に示す図である。
【図４】叩打動作位置に対応するインパルス応答特性を模式的に示す図である。
【図５】マイクロフォンが検知する音波から叩打動作に対応する音波を抽出する処理のフローチャートである。
【図６】マイクロフォンが検知する音波から叩打動作に対応する音波を抽出し、叩打動作に対応する機能を実行する処理の流れを説明する図である。
【図７】デジタル符号に対応する携帯端末装置の機能を割り当てたテーブルの例を示す図である。
【図８】本発明の実施の携帯における携帯端末装置装置のブロック構成を示す図である。
【符号の説明】
【００６５】
１００：マイクロフォン、１１８：ＰＣＭフォーマット変換部、１２０：ベースバンドＣＰＵ、１２２：マルチメディアＣＰＵ
【技術分野】
【０００１】
本発明は、携帯端末装置及びその操作方法に関し、特に、携帯端末装置上のボタンやキーを用いることなく、携帯端末装置への叩打（タップ）動作により操作を可能とする携帯端末装置及びその操作方法に関する。
【背景技術】
【０００２】
携帯電話機のような携帯端末装置の高機能化及び小型化に伴い、その操作のためのボタンやキーの数は増え、且つ小さくなってきている。一方で、携帯電話機の普及により、携帯電話機の利用者は、子供から老人まで、また健常者から障害者にまで広がるに至り、目や指先の不自由な人たちは、多数且つ小さなボタンやキーを操作することが困難となる場合があり、高機能且つ小型の携帯端末装置をより簡単に操作できる操作方法が求められている。
【０００３】
その一つの方法として、例えば、下記特許文献１に記載されているように、端末に対する打指、叩打アクション（以下、「叩打動作」と統一する）を端末に対する操作に変換する方法が提案されている。
【特許文献１】特開２００３−２２９９３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の方法は、次のような問題があり、実用化に至っていない。すなわち、（１）特許文献１では、端末への叩打動作を加速度センサにより検出する。加速度センサは、振動や移動を検出するものであるため、同じ叩打動作が行われた場合でも、端末の置かれた状況（例えば、硬い机の上、鞄の中、手で保持など）や、操作した端末の部位（本体表面、裏面、側面など）によって、加速度センサの出力が異なり、同一操作であることを判定することが困難である。
【０００５】
（２）加速度センサは、一般に、内蔵する重りにかかるストレスを電気的に取り出すものであるため、高速振動に対する追従性が悪い。また、可聴周波数域内に共振周波数を持つ場合が多いため、高周波成分はノイズとして除去する必要がある。残された低周波成分からでは、人が聞いた場合に、「音」として明らかに異なるものを判別できない。また、叩打動作を行った物体（爪、プラスチック、金属など）の種類を区別できない。
【０００６】
（３）携帯端末装置の設計、製造の側面から見ると、加速度センサは、本来、通話に必要ないセンサであるために、加速度センサというデバイスを組み込むためには、コンデンサや抵抗などのディスクリート素子、アナログアンプ、バンドパスフィルタ、Ａ／Ｄ変換器などの多数の周辺素子を追加する必要がある。
【０００７】
このように、加速度センサを用いて叩打動作を検出する手法は、検出精度が低いと共に高コストとなる。
【０００８】
本発明の目的は、上記問題点を鑑み、叩打動作を高精度且つ低コストに抽出することができる携帯端末装置及びその操作方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するための本発明の携帯端末装置の第一の構成は、携帯端末装置に対する叩打動作に対応する音波信号を検出する音波信号検出手段と、前記検出された音波信号の特性に基づいて、前記叩打動作を抽出する抽出手段と、前記抽出された叩打動作に対応する操作コマンドに変換する変換手段と、当該操作コマンドを実行する実行手段とを備えることを特徴とする。
【００１０】
本発明の携帯端末装置の第二の構成は、上記第一の構成において、前記音波信号の特性は、前記音波信号の周波数特性及びインパルス応答特性であることを特徴とする。
【００１１】
本発明の携帯端末装置の第三の構成は、上記第一の構成において、前記変換手段は、前記抽出された叩打動作のリズムパターンを符号化して、操作コマンドを求めることを特徴とする。
【００１２】
本発明の携帯端末装置の第四の構成は、上記第一の構成において、前記抽出手段は、前記音波信号の周波数特性を求め、当該周波数特性に基づいて、叩打動作を行った物質を特定することを特徴とする。
【００１３】
本発明の携帯端末装置の第五の構成は、第一の構成において、前記抽出手段は、前記音波信号のインパルス応答特性を求め、当該インパルス応答特性に基づいて、叩打動作が行われた携帯端末装置上の位置を特定することを特徴とする。
【００１４】
本発明の携帯端末装置の第六の構成は、上記第四の構成において、前記変換手段は、前記抽出された叩打動作を行った物質に基づいて操作コマンドを求めることを特徴とする。
【００１５】
本発明の携帯端末装置の第七の構成は、上記第五の構成において、前記変換手段は、前記抽出された叩打動作が行われた携帯端末装置上の位置に基づいて操作コマンドを求めることを特徴とする。
【００１６】
本発明の携帯端末装置を含む電子装置の操作方法は、電子装置に対する叩打動作に対応する音波信号を、前記電子装置に内蔵される音波信号検出手段により検出するステップと、電子装置の制御手段により、前記検出された音波信号の特性に基づいて、前記叩打動作を抽出し、前記抽出された叩打動作に対応する操作コマンドに変換し、当該操作コマンドを実行するステップとを備えることを特徴とする。
【００１７】
また、本発明の携帯端末装置を含む電子装置の操作方法を電子装置に実行させるコンピュータプログラムは、電子装置に内蔵される音波信号検出手段により検出された音波信号を処理するコンピュータプログラムにおいて、前記検出された音波信号の特性に基づいて、前記電子装置に対する叩打動作を抽出する処理と、前記抽出された叩打動作に対応する操作コマンドに変換する処理と、当該操作コマンドを実行する処理とを前記電子装置に実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、叩打動作に対応する音波信号を音波信号検出手段で検出し、その情報量の多い広帯域の信号を利用して解析処理することで、高い精度で叩打動作を抽出することができる。
【００１９】
また、携帯端末装置の内部を伝搬する音波を用いるため、端末装置のおかれた外部環境に影響を受けず、高精度に叩打動作を抽出することができる。
【００２０】
さらに、既存のマイクロフォンのような音波信号検出手段を利用し、音声解析処理するため、専用のデバイスを追加する必要がなく、低コストで叩打動作を抽出し、叩打動作による携帯端末装置の操作を可能とする。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。
【００２２】
本発明の実施の形態では、叩打動作により携帯端末装置を操作可能とするために、携帯電話機のようなマイクロフォン（音波信号検出手段）を内蔵する携帯端末装置の本体に対する叩打（タップ）動作に対応する音波信号をマイクロフォンで検出し、その音波信号の特性を解析することで、叩打動作を抽出し、携帯端末装置はその叩打動作に対応する機能を実行する。
【００２３】
携帯端末装置本体に加えられる叩打動作により、持続時間のごく短いインパルス型の音波が発生する。本発明では、その音波を、既設の音声入力用内蔵マイクロフォンで検出する。叩打動作に対応する音波信号の周波数特性は、叩打動作を行った物質により異なる。
【００２４】
図１は、叩打動作を行った物質毎の周波数特性の例を示す図である。図１に示すように、携帯端末装置を爪で叩いた場合、プラスチックで叩いた場合、金属で叩いた場合それぞれで音波信号の周波数特性は異なる。音波信号の周波数特性は、マイクロフォンが検出した音波信号をフーリエ変換（FFT）することで求められる。
【００２５】
また、携帯端末装置本体に対して叩打動作を加えた場合、その叩打動作に対応する音波信号（衝撃信号）は、複数の経路を通ってマイクロフォンまで到達する。
【００２６】
図２は、叩打動作に対応する音波の伝達経路を模式的に示す図である。携帯端末装置は、その本体前面１０７側にマイクロフォン１００や操作ボタン１０３を有し、内部に部品基盤１０４やバッテリー１０５などを内蔵する。例えば、携帯端末装置の本体背面１０１の叩打動作位置１０６を叩くと、複数の伝達経路Ａ乃至Ｅを通ってマイクロフォン１００に到達する。例示された伝達経路はあくまでも模式的なものであり、実際の伝達経路は内部構成、材質などにより異なる。
【００２７】
図３は、各伝達経路を伝搬する音波の到達時間及び振幅を模式的に示す図である。マイクロフォン１００は、図２に示したようなさまざまな伝達経路Ａ乃至Ｅを伝わって到達した音波を検出するが、各伝達経路の距離や材質（空気を含む）に応じて、各伝達経路を伝搬する音波の到着時間と振幅は異なる。最短時間の伝達経路（距離が最短）の音波の振幅が最も大きく、到達時間が長くなるほど（距離が長くなるほど）、伝搬中の減衰も大きくなり、振幅は弱くなる。そして、伝達経路毎の到着時間と振幅のパターン（以下、「インパルス応答特性」と称す）は、端末本体の叩く位置（叩打動作位置）により異なる。言い換えると、叩打動作位置は、固有のインパルス応答特性を有する。
【００２８】
図４は、叩打動作位置に対応するインパルス応答特性を模式的に示す図である。図４は、端末本体に対して一回叩打動作を行ったときのインパルス応答特性の例であり、インパルス応答特性は、マイクロフォンに近い位置で叩打動作を行うほど、振幅は大きくなり、また、到達時間も短い傾向を有する。また、マイクロフォンにごく近い位置であるマイク近傍背面を叩いた場合は、最短時間の伝達経路の振幅は他の伝達経路の振幅と比較して突出して大きい特徴を有し、また、折り畳み式携帯電話のような形状の場合は、スピーカ付近背面は、マイクロフォンから最も遠い位置であり、スピーカ付近背面を叩いた場合は、最短時間の伝達経路の振幅が他の伝達経路の振幅よりも大きいが、どの伝達経路も減衰が大きいので、他の位置を叩いた場合より振幅は弱く、また、伝達経路毎の振幅の差も小さい特徴を有する。
【００２９】
このように、携帯端末装置のさまざまな位置に対する叩打動作に対応する音波のインパルス応答特性のデータと、叩打動作を行う物質毎の音波の周波数特性のデータとを携帯端末装置に記憶させ、マイクロフォンが検出した音波のインパルス応答特性と周波数特性を求めて、記憶しているデータと照合することにより、マイクロフォンが検出する音波の中から、叩打動作に対応する音波を抽出することができる。
【００３０】
図５は、マイクロフォンが検知する音波から叩打動作に対応する音波を抽出する処理のフローチャートである。携帯端末装置に組み込まれたソフトウェアをCPUが実行することにより当該処理は実施される。マイクロフォンが検知する音波信号を監視し、所定のしきい値を超える大きな振幅を検出すると（Ｓ１００）、そのしきい値を超える振幅レベルの発生時刻を中心に音波信号に対してFFT（高速フーリエ変換）を施し（Ｓ１０２）、周波数変換する。
【００３１】
得られた周波数特性と、あらかじめ記憶されている物質毎の周波数特性とを比較する。具体的には、携帯端末装置は。図１に示したような物質毎の周波数特性データテーブルを記憶しており、初期値であるテーブル番号Ｍ＝０に設定し（Ｓ１０４）、テーブル番号Ｍ＝０の周波数特性データとＳ１０２で得られた周波数特性データとを比較し（Ｓ１０６）、一定基準を超える同一性があるかどうか判定する。一致しない場合は、テーブル番号を加算し（Ｓ１０８）、次のテーブル番号に対応する周波数特性データと得られた周波数特性データとを比較する（Ｓ１０６）。最後のテーブル番号に対応する周波数特性データとの比較においても一致せず、テーブル番号の加算により（Ｓ１０８）、テーブル番号が最大値を超えた場合は（Ｓ１１０）、Ｓ１００で検出した強い振幅は、叩打動作によるものではないと判定され、Ｓ１００に戻る。得られた周波数特性データがいずれかのテーブル番号に対応する周波数特性データと一致すると判定された場合（Ｓ１０６）、一致したテーブル番号の物質で叩打動作が行われたとものと判定する（Ｓ１１２）。
【００３２】
続いて、叩打動作位置を求める。携帯端末装置は、図４に示したような叩打動作位置に対応するインパルス応答特性データテーブルを記憶しており、インパルス応答特性を得るために、複数の伝達経路におけるそれぞれの振幅のレベルｖｐと到達時刻ｔｐとを求める。まず、伝達経路番号をｎ＝０（初期値）に設定し（Ｓ１１４）、伝達経路番号ｎ＝０における振幅レベルｖｐを記憶し（Ｓ１１６）、さらに到達時刻ｔｐを記憶する（Ｓ１１８）。具体的には、伝達経路番号ｎ＝０における振幅レベルｖｐと到達時刻ｔｐは、Ｓ１００で検出された強いピーク（パルス）の振幅レベルであり、その振幅レベルを記憶し（Ｓ１１６）、その振幅レベル発生時刻を記憶する（Ｓ１１８）。
【００３３】
それから、規定時間ｔｄ経過する毎に（Ｓ１２０）、規定時間ｔｄがインパルス応答最長時間を経過していないかどうか判定し（Ｓ１２２）、インパルス応答最長時間を経過していない場合は、その経過した規定時間を中心に音波信号にＦＦＴ（高速フーリエ変換）を施し（Ｓ１２４）、規定時間が経過する毎に、その時刻における音波信号の周波数特性を求める。インパルス応答最長時間は、一定レベル以下の微弱なインパルス応答を無視し、各伝達経路のインパルス応答パターンのうちの最も遅いインパルス応答を検出するまでの時間である。
【００３４】
そして、各規定時間ｔｄ経過時の周波数特性が、Ｓ１１２で確定したテーブル番号の周波数特性と一致するかどうか判定する（Ｓ１２６）。
【００３５】
実際には、伝達経路番号ｎ＝０の伝達経路における到着時刻ｔｐとその次に早く到達する伝達経路の到着時刻との間には所定の時間差があり、次の伝達経路に対応する音波信号が到着するまで、Ｓ１２６の処理で一致判定はなされない。
【００３６】
Ｓ１２６の処理において、一致判定されない場合は、伝達経路番号ｎを加算し（Ｓ１２８）、あらかじめ決められた伝達経路番号の最大値（例えば１０）に達するかどうか判定し（Ｓ１３０）、最大値を超えるまで、ステップＳ１２０乃至Ｓ１２８の処理を繰り返す。叩打動作に対応する音波信号は、複数の伝達経路を通ってマイクロフォンに到達するので、その振幅レベルと到着時間が伝達経路毎に異なる。Ｓ１２０乃至Ｓ１２８の処理により、規定時間ｔｄ毎に、叩打動作に対応する音波信号の周波数特性と比較することで、叩打動作に対応する音波信号を抽出することができ、その振幅レベルと到着時刻から、インパルス応答特性を得ることができる。
【００３７】
インパルス応答最長時間が経過した場合（Ｓ１２２）、または伝達経路番号が最大値を超えた場合（Ｓ１３０）、ステップＳ１３２に進み、あらかじめ記憶されている図４に示すようなインパルス応答特性のパターンテーブルと、求められたインパルス応答特性とを比較する。携帯端末装置は、図４に示すような携帯端末装置のさまざまな位置を叩いた場合のインパルス応答特性パターンテーブルをあらかじめ記憶しており、上記処理で得られたインパルス応答特性と一致するパターンを抽出し、そのパターンに対応する携帯端末装置の位置を叩打動作位置として確定する（Ｓ１３４）。
【００３８】
図６は、マイクロフォンが検知する音波から叩打動作に対応する音波を抽出し、叩打動作に対応する機能を実行する処理の流れを説明する図である。図６（ａ）は、マイクロフォンが検出する音波信号の波形の例である。
【００３９】
検出された音波信号に対して、図５に示した叩打動作抽出処理を実施する。すなわち、周波数特性から叩打動作として携帯端末装置を叩いた物質が特定され、インパルス応答特性から、叩打動作が行われた位置が特定された場合は、叩打動作（叩打）が行われたと判定する。
【００４０】
図６（ｂ）は、抽出された叩打動作を時間軸上の表した図である。図６（ａ）の波形に対して、叩打動作が抽出された時間に対してパルス信号が得られる。叩打動作が抽出されると、続いて、その叩打動作のリズムパターンを判定する。
【００４１】
具体的には、図６（ｃ）に示すように、一定時間叩打動作に対応するパルスが存在しない空白（ガード）時間（開始判定時間及び終了判定時間）に挟まれた叩打動作領域を切り出し、その領域内に存在するパルスの最短間隔を求める。図６（ｃ）においては、パルスＰ１とパルスＰ２間が最短間隔である。切り出された叩打動作領域に対して、最短間隔を周期時間として、周期時間毎にパルスの有無を判定し、パルス有りを「１」、パルス無し「０」と符号化することで、叩打動作を操作コマンドであるデジタル符号に変換する。
【００４２】
図６（ｄ）は、叩打動作に対応する操作コマンドであるデジタル符号を示す図である。叩打動作領域において、最初の周期時間は、パルスＰ１を含むので、デジタル符号は「１」、次の周期時間はパルスＰ２を含むので、デジタル符号は「１」となる。パルスＰ２とパルスＰ３の間は周期時間以上空いており、その次の周期時間はパルスがないので、デジタル符号は「０」となる。そして、さらにその次の周期時間はパルスＰ３を含むので、デジタル符号は「１」となり、結果、叩打動作により得られるデジタル符号は「１１０１」となる。このように、周期時間ごとの叩打動作有り無しをリズムパターンとして求め、符号化することで、叩打動作を操作コマンドに変換することができる。
【００４３】
携帯端末装置は、デジタル符号に対応する携帯端末装置の機能を割り当てたテーブルを記憶しており、テーブルを参照して、デジタル符号に対応する機能を起動する。例えば、図６（ｅ）に示すように、操作コマンド（デジタル符号）「１１０１」に対応する機能が、「メール着信チェック」である場合は、それを起動する。
【００４４】
図７は、デジタル符号（操作コマンド）に対応する携帯端末装置の機能を割り当てたテーブルの例を示す図である。図７は、例えば、携帯端末装置が折りたたみ式携帯電話機である場合のテーブルであり、同一のデジタル符号に対して、携帯電話機を折りたたんでいる場合、開いている場合、通話中の場合に対して、それぞれ異なる機能が割り当てられる。もちろん、携帯電話機の利用形態にかかわらず、一つの機能のみが割り当てられるようにしてもよい。折りたたんでいる場合や開いている場合のハードウェア的な利用形態に応じて異なる機能を割り当ててもよいし、通話や電子メールなどのソフトウェア的な利用形態（モード）に応じて異なる機能を割り当ててもよい。割り当てる機能は、ユーザが任意に設定可能である。
【００４５】
図８は、本発明の実施の携帯における携帯端末装置装置のブロック構成を示す図である。一例として、携帯電話機の音声入力処理部分とほぼ同一の構成である。マイクロフォン１００から入力された音波信号は、音量を調整するレベル調整部（ＴＸＶＯＬ）１１０を介してアンチエイリアシングフィルタ（ＡＡＦ）１１２に入力される。ＡＡＦ１１２は、折り返し雑音を消すために、ナイキスト周波数以上の音波信号を除去する。
【００４６】
ＡＡＦ１１２から出力された音波信号は、ＡＤＣ１１４によりデジタル信号に変換され、さらにバンドパスフィルタ（ＢＰＦ）１１６によりノイズ除去され、ＰＣＭフォーマット変換部１１８に入力される。ＰＣＭ(Pulse Code Modulation)は、音をデジタル化する周知の方式であって、ごく短い時間（サンプリングレート）ごとに音の波形の瞬間の電圧を測り(CDなどでは1秒間に約4万4100回の測定を行う)、その値を例えば14桁の2進数に変換することにより、デジタル化する方式である。
【００４７】
ベースバンドＣＰＵ１２０は通話用音声処理を担うＣＰＵであり、ＰＣＭフォーマットに変換された音波信号に対して、図５に示した叩打動作抽出処理及び抽出された叩打動作に対応するパルスをデジタル符号に変換するまでの処理（図６（ａ）から図６（ｄ）までの処理）を実行する。ベースバンドＣＰＵ１２０は求めたデジタル符号をマルチメディアＣＰＵ２４に送る。
【００４８】
マルチメディアＣＰＵ１２２は、電子メール、インターネット、音楽再生、画像処理などの機能を担うＣＰＵであり、図７のテーブルを参照して、入力されたデジタル符号に対応する機能を選択して、それを実行する。
【００４９】
このように、本発明の実施の形態における携帯端末装置によれば、端末本体への軽い打撃（叩打動作）に対応する音波信号をマイクロフォンで検出し、音声解析処理として叩打動作を抽出することができる。叩打動作に対応する音波信号の周波数特性とインパルス応答特性を求めることにより、精度良く叩打動作を抽出することができる。また、専用のデバイスを追加することなく、解析処理のアルゴリズム（図５の処理）をソフトウェアとして組み込むだけで、本発明を実現することができ、コスト増も防げる。
【００５０】
加速度センサで検出する場合は、携帯端末装置に対する振動や衝撃を叩打動作として検出するおそれがあるが、本発明の方法では、ユーザによる明確な叩打動作が必要なため、誤動作を防止することができる。
【００５１】
また、携帯端末装置のどの部分を叩いてもよく、ユーザは携帯端末装置を目視することなく、操作することができ、携帯端末装置が保持されている状態によらず、叩打動作を抽出できるので、操作環境が制限されない。例えば、ユーザは携帯端末装置をポケットに入れたまま操作することも可能である。
【００５２】
叩打動作が行われた位置を特定できるので、叩打動作が行われた位置に対して、所定の機能を割り当てるようにしてもよい。例えば、マイクロフォンのすぐ裏側の背面を叩いた場合とマイクロフォンから遠い位置にあるスピーカ付近を叩いた場合で異なる機能が割り当てられる。携帯端末装置は、叩いた位置に対して機能（操作コマンド）を割り当てたテーブルを有し、特定された位置に対応する操作コマンドを実行する。
【００５３】
さらに、叩打動作を行った物質を特定できるので、叩打動作を行った物質に対して、所定の機能を割り当てるようにしてもよい。例えば、爪で叩いた場合と、プラスチックで叩いた場合と金属で叩いた場合で、それぞれ異なる機能が割り当てられる。携帯端末装置は、叩いた物質に対して機能（操作コマンド）を割り当てたテーブルを有し、特定された物質に対応する操作コマンドを実行する。
【００５４】
上述した携帯端末装置に対する叩打動作により携帯端末装置を操作する方法は、携帯端末装置のような電子装置に限らず、マイクロフォンを内蔵する据置型の電子装置にも適用可能である。
【００５５】
（付記１）
携帯端末装置に対する叩打動作に対応する音波信号を検出するマイクロフォンと、
前記検出された音波信号の特性に基づいて、前記叩打動作を抽出する抽出手段と、
前記抽出された叩打動作に対応する操作コマンドに変換する変換手段と、
当該操作コマンドを実行する実行手段とを備えることを特徴とする携帯端末装置。
【００５６】
（付記２）
付記１において、
前記音波信号の特性は、前記音波信号の周波数特性及びインパルス応答特性であることを特徴とする携帯端末装置。
【００５７】
（付記３）
付記１において、
前記変換手段は、前記抽出された叩打動作のリズムパターンを符号化して、操作コマンドを求めることを特徴とする携帯端末装置。
【００５８】
（付記４）
付記１において、
前記抽出手段は、前記音波信号の周波数特性を求め、当該周波数特性に基づいて、叩打動作を行った物質を特定することを特徴とする携帯端末装置。
【００５９】
（付記５）
付記１において、
前記抽出手段は、前記音波信号のインパルス応答特性を求め、当該インパルス応答特性に基づいて、叩打動作が行われた携帯端末装置上の位置を特定することを特徴とする携帯端末装置。
【００６０】
（付記６）
付記４において、
前記変換手段は、前記抽出された叩打動作を行った物質に基づいて操作コマンドを求めることを特徴とする携帯端末装置。
【００６１】
（付記７）
付記５において、
前記変換手段は、前記抽出された叩打動作が行われた携帯端末装置上の位置に基づいて操作コマンドを求めることを特徴とする携帯端末装置。
【００６２】
（付記８）
電子装置に対する叩打動作に対応する音波信号を、前記電子装置に内蔵される音波信号検出手段により検出するステップと、
電子装置の制御手段により、前記検出された音波信号の特性に基づいて、前記叩打動作を抽出し、前記抽出された叩打動作に対応する操作コマンドに変換し、当該操作コマンドを実行するステップとを備えることを特徴とする電子装置の操作方法。
【００６３】
（付記９）
電子装置に内蔵される音波信号検出手段により検出された音波信号を処理するコンピュータプログラムにおいて、
前記検出された音波信号の特性に基づいて、前記電子装置に対する叩打動作を抽出する処理と、
前記抽出された叩打動作に対応する操作コマンドに変換する処理と、当該操作コマンドを実行する処理とを前記電子装置に実行させるコンピュータプログラム。
【図面の簡単な説明】
【００６４】
【図１】叩打動作を行った物質毎の周波数特性の例を示す図である。
【図２】叩打動作に対応する音波の伝達経路を模式的に示す図である。
【図３】各伝達経路を伝搬する音波の到達時間及び振幅を模式的に示す図である。
【図４】叩打動作位置に対応するインパルス応答特性を模式的に示す図である。
【図５】マイクロフォンが検知する音波から叩打動作に対応する音波を抽出する処理のフローチャートである。
【図６】マイクロフォンが検知する音波から叩打動作に対応する音波を抽出し、叩打動作に対応する機能を実行する処理の流れを説明する図である。
【図７】デジタル符号に対応する携帯端末装置の機能を割り当てたテーブルの例を示す図である。
【図８】本発明の実施の携帯における携帯端末装置装置のブロック構成を示す図である。
【符号の説明】
【００６５】
１００：マイクロフォン、１１８：ＰＣＭフォーマット変換部、１２０：ベースバンドＣＰＵ、１２２：マルチメディアＣＰＵ
【特許請求の範囲】
【請求項１】
携帯端末装置に対する叩打動作に対応する音波信号を検出する音波信号検出手段と、
前記検出された音波信号の特性に基づいて、前記叩打動作を抽出する抽出手段と、
前記抽出された叩打動作に対応する操作コマンドに変換する変換手段と、
当該操作コマンドを実行する実行手段とを備えることを特徴とする携帯端末装置。
【請求項２】
請求項１において、
前記音波信号の特性は、前記音波信号の周波数特性及びインパルス応答特性であることを特徴とする携帯端末装置。
【請求項３】
請求項１において、
前記変換手段は、前記抽出された叩打動作のリズムパターンを符号化して、操作コマンドを求めることを特徴とする携帯端末装置。
【請求項１】
携帯端末装置に対する叩打動作に対応する音波信号を検出する音波信号検出手段と、
前記検出された音波信号の特性に基づいて、前記叩打動作を抽出する抽出手段と、
前記抽出された叩打動作に対応する操作コマンドに変換する変換手段と、
当該操作コマンドを実行する実行手段とを備えることを特徴とする携帯端末装置。
【請求項２】
請求項１において、
前記音波信号の特性は、前記音波信号の周波数特性及びインパルス応答特性であることを特徴とする携帯端末装置。
【請求項３】
請求項１において、
前記変換手段は、前記抽出された叩打動作のリズムパターンを符号化して、操作コマンドを求めることを特徴とする携帯端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−３１２３０９（Ｐ２００７−３１２３０９Ａ）
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願番号】特願２００６−１４１７３４（Ｐ２００６−１４１７３４）
【出願日】平成１８年５月２２日（２００６．５．２２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願日】平成１８年５月２２日（２００６．５．２２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]