音声認識機能を備えた携帯端末装置のマルチタスクシステム及び方法
【課題】 小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する。
【解決手段】携帯端末装置に、携帯端末装置の機能の呼び出し機能の実行を定義した音声コマンドを登録する音声コマンド登録部１２６Ａと、押下中にマイクロフォンからの音声を音声コマンドとして入力するための音声コマンド入力ボタン１２１と、音声コマンド入力ボタンの押下中にマイクロフォンに入力した音声を音声認識処理し認識結果を音声コマンドとして音声コマンド登録部に登録させる音声コマンド登録処理部１４１Ｃと、音声コマンド入力ボタンの押下中にマイクロフォンから音声コマンドを入力し音声コマンド入力ボタンの押下解除後に入力した音声コマンドを音声認識処理し認識結果が登録されている音声コマンドと一致し受理された場合には受理した音声コマンドに対応する機能を呼び出し機能の操作を実行する音声コマンド処理部１４１Ｂとを備える。
【解決手段】携帯端末装置に、携帯端末装置の機能の呼び出し機能の実行を定義した音声コマンドを登録する音声コマンド登録部１２６Ａと、押下中にマイクロフォンからの音声を音声コマンドとして入力するための音声コマンド入力ボタン１２１と、音声コマンド入力ボタンの押下中にマイクロフォンに入力した音声を音声認識処理し認識結果を音声コマンドとして音声コマンド登録部に登録させる音声コマンド登録処理部１４１Ｃと、音声コマンド入力ボタンの押下中にマイクロフォンから音声コマンドを入力し音声コマンド入力ボタンの押下解除後に入力した音声コマンドを音声認識処理し認識結果が登録されている音声コマンドと一致し受理された場合には受理した音声コマンドに対応する機能を呼び出し機能の操作を実行する音声コマンド処理部１４１Ｂとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は携帯端末装置のマルチタスクシステムに関する。特に、本発明は、操作性を改善する、音声認識機能を備えた携帯端末装置のマルチタスクシステムに関する。
【背景技術】
【０００２】
携帯電話機、ＰＨＳ（簡易携帯電話機）、ＰＤＡ（携帯情報端末）を含む携帯端末装置の多くは、複数の機能、通話、通信手段を有していることは周知である。
複数の機能、通話、通信手段を同時に処理するマルチタスク機能を有していることも周知である。例えば、ユーザがメールを作成しながら局番１１７の時報を聞くことも可能である。
【０００３】
しかしながら、携帯端末装置では携帯に便利なように小型にしたものが多く、複数の機能、複数の通信手段を同時に処理するマルチタスクを利用したい場合などその操作部、表示部が小さいために、通常のデスクトップ型のコンピュータに使用されるディスプレイ装置、キーボードから入力する場合と比較すると、操作上かなりの困難性を伴う場合が多く、使用上問題があった。
【０００４】
本発明の問題点に関連して以下の従来の技術が開示されている。
従来、外部の機器を必要とせず、特別な操作も行うことなく折り畳み式携帯通信端末でハンズフリー通話を行うため、折り畳み式携帯通信端末のヒンジ部に送話部を設け、蓋部に受話部を設け、端末の筐体を開いて通常の通話を行う際には、内側に設けられた送話部および受話部が用いられ、端末には、筐体が折り畳まれたことを検知するセンサと、折り畳まれたときに蓋部および本体部の間に何かが挟まれているかどうかを検知するセンサが設けられ、筐体が折り畳まれ、例えばシャツの胸ポケットに挟まれると、これらのセンサに検知され、送話部および受話部が自動的に送話部および受話部に切り換えられ、端末の筐体を折り畳んでポケットを挟み込むだけで、ハンズフリー通話ができるものがある（例えば、特許文献１参照）。
【０００５】
しかしながら、上記特許文献１では、送話部、受話部の位置を改善し、ハンズフリー通話を可能にし操作性を向上しているが、本発明の問題点で指摘したように、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する点が示唆されていない。
また、従来、緊急事態の発生時に、緊急事態の内容を正確に検知し的確な処理を実現できる緊急通報受付装置を提供するため、緊急事態の発生を音声または画像で通報する携帯端末からの緊急通報を受け付ける緊急通報受付装置であって、該緊急通報受付装置は、前記音声を認識する音声認識手段を備え、該認識手段は音声認識用キーワードを格納したデータベースを備え、該データベースをもとに前記音声を認識し、認識結果に基づいて前記通報内容を解析し、解析結果に基づいて前記緊急通報を最適の関係部署に通報するものがある（例えば、特許文献２参照）。
【０００６】
しかしながら、上記特許文献２では、音声認識機能により通報内容を解析し、緊急事態の発生時に緊急事態の内容を正確に検知し、的確な処理を実現しているが、本発明の問題点で指摘したように、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する点が示唆されていない。
また、従来、音声認識機能を有効に利用して、各種機能を簡単に操作実行可能にするため、本発明の音声認識機能付き制御装置は、音声認識結果に基づき所定の機能を実行する装置であって、所定の機能は外部操作による複数の動作手順を経て実行されるものであってこれら外部操作による動作手順を省いて直接所定の機能が実行されるよう当該所定の機能の実行指示に関連付けて所定の音声コマンドを登録可能な登録手段を備え、そして、入力音声が登録手段に登録された音声コマンドに一致すると認識された場合にその音声コマンドに関連付けられた実行指示に基づき直接所定の機能を実行させる制御手段を備えるように構成した。この構成によれば、音声認識機能を有効に利用でき、各種機能を簡単に操作実行できるものがある（例えば、特許文献３参照）。
【０００７】
しかしながら、上記特許文献３では、音声認識機能を用いて、各種機能を簡単に操作実行するようにしているが、本発明の問題点で指摘したように、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する点が示唆されていない。
また、従来、簡単な操作で指紋認証を行ない、移動無線端末などのセキュリティを高めるため、移動無線端末機の電源スイッチに指紋読取部を設け、電源スイッチを押すと指紋認証が行なわれ、指紋登録部に登録した指紋と一致したら移動無線端末機を動作させる。さらに、マイクから入力された音声の声紋を、声紋登録部に登録された声紋と照合し、一致したら通話可能とし、通話開始後一定時間経過したら、タイマ部により電源をオフにし、動作状態のままでの紛失や盗難の場合でも、不正使用を防止でき、スイッチを押すという簡単な操作だけで指紋認証ができ、移動無線端末機のセキュリティを高めることができ、また、通話スイッチに多段スイッチを用いて、半押しで指紋認証と乱数発生を行ない、全押しで通話を行なうようにすることもできる（例えば、特許文献４参照）。
【０００８】
しかしながら、上記特許文献４では、声紋の照合を行い、セキュリティを高めているが、本発明の問題点で指摘したように、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する点が示唆されていない。
また、従来、例えば自動車から電話をかけるといった動作を使用者の音声入力により簡単でかつ確実に行うことができる音声操作機能付き電子機器、電子機器における音声操作方法、及び音声操作機能付き電子機器を備える自動車を提供するため、音声入力手段と、音声入力手段に入力された音声信号を認識して処理する音声認識手段と、呼び出したい対象や対象に対応する特定の行為をあらかじめ登録しているデータ登録手段と、音声認識手段で認識された音声により、データ登録手段中の呼び出して操作したい対象を指定して、その後、この対象に対応する特定の行為を音声認識手段で認識された音声により指定するための処理手段とを備えるものがある（例えば、特許文献５参照）。
【０００９】
しかしながら、上記特許文献５では、使用者の音声入力により簡単でかつ確実に動作を行うようにしているが、本発明の問題点で指摘したように、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する点が示唆されていない。
また、従来、音声入力部から入力された音声情報に基づいて音声コマンドに対応する処理内容を実行するか、または別に設定された処理内容を実行するかを自動判定して利用するため、音声に対応する音声情報を記憶した音声認識辞書と、音声情報に対応する音声コマンドを予め記憶した音声コマンドテーブルと、音声を入力する音声入力部と、入力された音声から音声情報を音声認識辞書に基づいて認識する音声認識部と、音声情報と音声コマンドテーブルの音声コマンドとが一致するか否かを比較する音声コマンド比較部と、音声情報と音声コマンドとが一致する場合、その音声コマンドに対応する処理内容を実行する音声コマンド実行部と、音声情報と音声コマンドとが一致しない場合、音声情報に対し別に設定された処理内容を実行する音声情報処理部とからなる（例えば、特許文献６参照）。
【００１０】
しかしながら、上記特許文献６では、入力した音声情報について音声コマンドか否かを音声認識し、音声コマンドの場合には対応する処理内容を実行し、音声コマンドでない場合には別の処理内容を実行するようにしているが、本発明の問題点で指摘したように、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する点が示唆されていない。
【００１１】
【特許文献１】特開２００３−５１８７１号公報
【特許文献２】特開２００４−２３４６８号公報
【特許文献３】特開２００３−５７８１号公報
【特許文献４】特開２０００−１６５３７８号公報
【特許文献５】特開平１１−１４２１６５号公報
【特許文献６】特開２０００−２４２４６４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
したがって、本発明は上記問題点に鑑みて、小さな操作部、表示部によるマルチタスクの困難性を改善する、音声認識機能を備えた携帯端末装置のマルチタスクシステムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は前記問題点を解決するために、音声認識機能を備えた携帯端末装置のマルチタスクシステムにおいて、前記携帯端末装置の機能の呼び出し、機能の実行を定義した音声コマンドを登録する音声コマンド登録部と、押下期間中に前記携帯端末装置のマイクロフォンからの音声を音声コマンドとして入力するための音声コマンド入力ボタンと、前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンに入力した音声を音声認識処理し、認識結果を音声コマンドとして前記音声コマンド登録部に登録させる音声コマンド登録処理部と、前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンから音声コマンドを入力し、前記音声コマンド入力ボタンの押下解除後に入力した音声コマンドを音声認識処理し、認識結果が前記音声コマンド登録部に登録されている音声コマンドと一致し受理された場合には受理した音声コマンドに対応する機能を呼び出し、機能の操作を実行する音声コマンド処理部とを備えることを特徴とする、音声認識機能を備えた携帯端末装置のマルチタスクシステムを提供する。
【００１４】
また、前記携帯端末装置の操作キーと前記音声コマンド処理部とが独立して前記携帯端末装置の機能を呼び出し、機能を実行する。
また、前記音声コマンド登録処理部は、前記携帯端末装置の複数の機能を選択可能に表示部にアイコン表示させ、選択された機能に対して前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンに入力した音声を音声認識処理し、認識結果を音声コマンドとして登録させる。
【００１５】
また、前記音声コマンド登録処理部は、前記携帯端末装置の複数の機能を選択可能に表示部にアイコン表示させ、選択された機能名を表示し機能名の発音の録音をガイドする画面、録音後音声認識処理した認識結果の登録をガイドする画面、登録完了の画面を表示する。
また、前記音声コマンド処理部は、前記携帯端末装置の複数の機能を選択可能に表示部に表示させたアイコン表示から選択された音声入力の機能に対して前記音声コマンド入力ボタンが押下された場合、前記音声コマンド登録部に登録された音声コマンドの一覧表示を行い、目的の音声コマンドの選択実行を可能にする。
【００１６】
また、前記音声コマンド処理部は、認識結果として音声コマンドを受理した場合コマンド受理通知音を鳴らし、音声コマンドを受理しない場合コマンド不受理通知音を鳴らす。
また、前記音声コマンド処理部は、音声合成機能を有し、音声コマンドを受理した場合受理した音声コマンドを音声合成で前記携帯端末装置のスピーカから復唱する。
また、前記音声コマンド処理部は、前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンから音声コマンドを入力し、前記音声コマンド入力ボタンの押下解除前に一定時間を経過した場合には入力した音声コマンドを音声認識処理する。
【００１７】
また、前記音声コマンド処理部は、機能の操作を実行させた後に前記音声コマンド入力ボタンが押下後無言で音声コマンドの入力が無く押下解除された場合には実行している機能の操作を強制終了させる。
前記音声コマンド処理部は声紋解析機能を有し、前記音声コマンド登録処理部Ｃは、前記音声コマンド登録部にマイクロフォンから入力したユーザの声紋を登録させ、前記音声コマンド処理部は、音声コマンドの音声認識処理の前にマイクロフォンから入力した声紋の解析を行う。
【００１８】
また、前記音声コマンド入力ボタンはノンロックタイプのボタンで前記携帯端末装置の側面に位置する。
また、前記音声コマンド入力ボタンは前記携帯端末装置のテンキー、機能キー、ポインティングデバイスの中から１つを選択して用いられる。
また、前記音声コマンド処理は、メール、カメラ、電卓、メモ、インターネット、辞書、電話帳、スケジュール、リモコン、音声入力の機能の呼び出し、機能の操作の実行を行う。
【００１９】
また、前記リモコンの機能には赤外線を用いるテレビジョン、無線ＬＡＮ用の電波を用いるサーバー、ＢＬＵＥＴＯＯＴＨ用の電波を用いる冷蔵庫、照明を含む家電製品のリモコンの機能を含む。
また、前記携帯端末装置のマルチタスクシステムは、操作キーでメールの機能を読み出しメールを作成しながら、前記音声コマンド処理部では、電話帳の機能を呼び出し、時報を聞く機能の操作処理を可能にする。
【００２０】
また、前記携帯端末装置は折り畳み式であり、内側、外側に一対のマイクロフォン、スピーカ、さらに、前記携帯端末装置の開閉を検出する開閉検出センサを有し、前記携帯端末装置が開いている場合に内側の一対のマイクロフォン、スピーカのみを有効にし、前記携帯端末装置が閉じている場合には外側の一対のマイクロフォン、スピーカのみを有効にし、前記音声コマンド処理部は、前記携帯端末装置が開いている場合には内側のマイクロフォンから音声コマンドを入力し、前記携帯端末装置が閉じている場合には外側のマイクロフォンから音声コマンドを入力する。
【００２１】
また、前記携帯端末装置のマルチタスクシステムは、前記携帯端末装置を開いた状態で操作キーでメールの機能を読み出しメールを作成しながら、前記音声コマンド処理部では、テレビジョンの機能を呼び出し、テレビ電源を入れる機能の操作を可能にし、操作キーによるメール作成が終了し前記携帯端末装置が閉じた状態で、テレビジョンのボリューム調整、チャンネル切り替えの機能の操作を行う。
【００２２】
また、前記携帯端末装置のマルチタスクシステムは、前記音声コマンド処理部では、前記携帯端末装置が閉じた状態で、テレビジョンの機能を呼び出し、テレビ電源を入れる機能の操作、ボリューム調整、チャンネル切り替えの機能の操作を行う。
また、本発明は、音声認識機能を備えた携帯端末装置のマルチタスク方法において、前記携帯端末装置の複数の機能から１つを選択し、音声コマンド入力ボタンの押下期間中に前記携帯端末装置のマイクロフォンから音声を入力する工程と、入力した前記音声を音声認識処理する工程と、音声認識処理した認識結果を、前記携帯端末装置の機能の呼び出し、機能の実行を定義した音声コマンドとして登録する工程と、前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンに音声コマンドを入力する工程と、前記音声コマンド入力ボタンの押下解除後に入力した音声コマンドの音声認識処理を行う工程と、音声コマンドを音声認識処理した認識結果と登録された音声コマンドが一致する場合に音声コマンドを受理する工程と、受理した音声コマンドに対応する前期携帯端末装置の機能を呼び出し、機能の操作を実行する工程とを備えることを特徴とする、音声認識機能を備えた携帯端末装置のマルチタスク方法を提供する。
【発明の効果】
【００２３】
以上説明したように、本発明によれば、携帯端末装置の複数の機能から１つを選択し音声コマンド入力ボタンの押下期間中に携帯端末装置のマイクロフォンから音声を入力し、入力した音声を音声認識処理し、音声認識処理した認識結果を、携帯端末装置の機能の呼び出し、機能の実行を定義した音声コマンドとして登録し、音声コマンド入力ボタンの押下期間中にマイクロフォンに音声コマンドを入力し、音声コマンド入力ボタンの押下解除後に入力した音声コマンドの音声認識処理を行い、音声コマンドを音声認識処理した認識結果と登録された音声コマンドが一致する場合に音声コマンドを受理し、受理した音声コマンドに対応する前期携帯端末装置の機能を呼び出し、機能の操作を実行するようにしたので、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する。画面表示を必要としない音声コマンドによる機能実行と、キー操作による機能実行が独立して実行できるので、小さな筐体でも容易に２つの機能を同時に利用できるようになるためである。
【００２４】
また、携帯端末装置の有する機能／操作全般に対して音声コマンドが登録できるので、多機能で複数の通信手段をもった携帯端末装置においても、目的の機能実行のためにその手段を気にすることなく、ユーザの嗜好に合わせて操作性を向上することができる。
また、ボタン操作と音声入力のみでユーザの携帯端末装置が有する機能を実行／終了できるので、暗闇においても容易に操作できる。
【００２５】
また、携帯端末装置の筐体を閉じたままでユーザの携帯端末装置が有する機能を実行できるので、画面表示、バックライトなどの使用が少なくて済み省電力化できる。
音声コマンドの音声認識処理の前にマイクロフォン入力した音声の声紋の解析を行うようにしたので、第３者による不正使用、隣人の声などによる誤動作を防止することが可能になる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について図面を参照して説明する。
図１は本発明に係る、音声認識機能を備えた携帯端末装置のマルチタスクシステムの概略を説明する全体図である。
本図に示すように、携帯端末装置１１１は複数の機能、通話、通信手段を備え、一例として折り畳み式であり、操作キー１１３、アンテナ１１８、表示部１１９を有し、アンテナ１１８から図示しない基地局に対する電波１１４を介して携帯電話回線、固定電話回線を含む電話回線／インターネット１３４に接続し通話、通信を行い、さらに、無線ＬＡＮ用の電波１１６を介してサーバー１３６に接続しファイル管理、プリンタ出力を行い、赤外線１１５を介してテレビジョン１３５に接続しテレビジョン１３５のリモートコントロールを行い、さらに、図示しないパーソナルコンピュータと通信を行い、ＢＬＵＥＴＯＯＴＨ用の電波１１７を介して家電製品、例えば、冷蔵庫１３７に接続し、冷蔵庫１３７の在庫管理、鮮度管理等を行う機能を有し、プログラムで制御される。
【００２７】
さらに、携帯端末装置１１１は操作キー１１３を用いてユーザがマルチタスクを実行する機能を有し、例えば、メールを作成しながら局番１１７の時報を聞く機能を有する。
さらに、上記のマルチタスクと共に、以下に詳細に説明するように、本発明は、携帯端末装置１１１の音声認識機能を用いた音声入力による操作機能と操作キー１１３による操作機能を独立してユーザがマルチタスクを実行する機能を有し、例えば、操作キー１１３を用いてメールを作成しながら音声入力により局番１１７の時報を聞く機能を有する。
【００２８】
さらに、携帯端末装置１１１には音声コマンド入力ボタン１２１が設けられ、音声コマンド入力ボタン１２１は、例えば、携帯端末装置１１１の側面に位置し、ノンロックタイプのボタンであり、ボタン押下期間中一定時間内のみ入力した音声を音声コマンド１１２として入力可能とし、予め登録された対応動作として携帯端末装置１１１の有する通話、通信機能を含む諸機能を利用することができる。ここに、音声コマンド１１２は、音声認識機能を用いた音声入力により、携帯端末装置１１１の操作機能を実行するため、後述するように、ユーザが予め登録した携帯端末装置１１１の機能の呼び出し、機能の実行を定義した音声キーワードである。
【００２９】
特に、上記の携帯端末装置１１１のマルチタスク機能では、携帯端末装置１１１の表示部１１９の画面表示を必要としない機能実行に対して音声認識による機能を実行させ、表示部１１９の画面表示を必要とする機能実行に対して操作キー１１３による機能を実行させるようにし、操作キー１１３、表示部１１９の小さな携帯端末装置１１１の有する機能の同時利用を容易にしてユーザの負担を軽減する。
【００３０】
図２は図１の携帯端末装置１１１の概略を示す外観図である。本図(ａ)に示すように、折り畳み式の携帯端末装置１１１の筐体を開いた内側には第１系統として、内側マイクロフォン１２２、内側スピーカ１２３が設けられ、内側スピーカ１２３は前述のアンテナ１１８、表示部１１９、音声コマンド入力ボタン１２１と共に上部側に位置する。
さらに、内側マイクロフォン１２２は、前述の操作キー１１３と共に下部側に位置する。
【００３１】
本図(b)に示すように、折り畳み式の携帯端末装置１１１の筐体を閉じた上部側の外側には第２系統として、外側マイクロフォン１２４、外側スピーカ１２５が設けられる。外側マイクロフォン１２４は、携帯端末装置１１１の筐体を開いた状態から閉じた状態にした場合、外側スピーカ１２５よりも下側に位置する。
図３は図１の携帯端末装置１１１の概略構成を示すブロック図である。本図に示すように、携帯端末装置１１１には無線部１４０が設けられ、無線部１４０はアンテナ１１８により基地局に対する電波１１４、無線ＬＡＮ用の電波１１６の送受信を行う。
【００３２】
無線部１４０にはマイク／スピーカ系統切替スイッチ１３２、１３３が接続され、マイク／スピーカ系統切替スイッチ１３２、１３３は第１系統の内側マイクロフォン１２２、内側スピーカ１２３、第２系統の外側マイクロフォン１２４、外側スピーカ１２５を切り替えて無線部１４０への接続、切断を行うスイッチデバイスである。
無線部１４０には制御部１４１が接続され、制御部１４１はＣＰＵ（中央演算装置）で構成され、携帯端末装置１１１全体の制御を行い、特に後述するスピーカ／マイク切替部１４１Ａ、音声コマンド処理部１４１Ｂ、音声コマンド登録処理部１４１Ｃを備える。
【００３３】
制御部１４１にはメモリ１２６が接続され、メモリ１２６は携帯端末装置１１１の制御プログラム、例えば、メール、カメラ、電卓、メモ、インターネット、辞書、電話帳、スケジュール、近距離通信、音声入力のプログラムを格納するほか、制御データ、画像、リモコンデータなど携帯端末装置１１１で扱う様々なデータを格納し、特に後述する音声コマンド登録部１２６Ａを備える。
【００３４】
さらに、携帯端末装置１１１には表示部１１９が接続され、表示部１１９はＬＣＤ（液晶表示部）で構成され、表示部１１９はメール、カメラ、電卓、メモ、インターネット、辞書、電話帳、スケジュール、近距離通信、音声入力の機能をアイコン表示し、画像、メール等の表示を行う。
さらに、制御部１４１には開閉検出センサ１２７が接続され、開閉検出センサ１２７は携帯端末装置１１１の筐体の開閉状態を検出するセンサであり、制御部１４１は閉状態の場合、表示部１１９のＬＣＤのバックライトを消灯し、表示部１１９の画面を非表示にする。
【００３５】
さらに、制御部１４１には音声コマンド入力ボタン１２１が接続され、制御部１４１は、内側マイクロフォン１２２又は外側マイクロフォン１２５に入力した音声を音声コマンド１１２として、無線部１４０を経由して、前述のように、音声コマンド入力ボタン１２１の押下状態にて音声による音声コマンド１１２を受け付ける。
さらに、制御部１４１にはカメラ１２８が接続され、制御部１４１はカメラ１２８により撮影された画像を表示部１１９に表示させ、メモリ１２６に格納させる。
【００３６】
制御部１４１には操作キー１１３が接続され、操作キー１１３はテンキー、機能キーを含んだキーボード、ポインティングデバイスからなるボタンスイッチ郡で構成される。
さらに、制御部１４１にはＩｒ（Ｉｎｆｒａｒｅｄ）入出力回路１２９が接続され、Ｉｒ入出力回路１２９は赤外線通信及び赤外線リモコン制御を行うための赤外線１１５の入出力回路である。
【００３７】
さらに、制御部１４１にはＢＬＵＥＴＯＯＴＨ回路１３０が接続され、ＢＬＵＥＴＯＯＴＨ回路１３０はＢＬＵＥＴＯＯＴＨ用の電波１１７で近距離通信を行うための回路である。
次に、制御部１４１のスピーカ／マイク切替部１４１Ａは、開閉検出センサ１２７の開閉検出により携帯端末装置１１１の筐体の開閉状態に応じて、マイク／スピーカ系統切替スイッチ１３２、１３３に対してマイク／スピーカ系統切替信号１３１を出力し、第１系統の内側マイクロフォン１２２、内側スピーカ１２３と第２系統の外側マイクロフォン１２４、外側スピーカ１２５との動作が切り替えられる。
【００３８】
すなわち、携帯端末装置１１１の筐体の開状態で第１系統の内側マイクロフォン１２２、内側スピーカ１２３が動作し第２の系統の外側マイクロフォン１２４、外側スピーカ１
２５の動作が停止し、携帯端末装置１１１の筐体の閉状態では逆に第２系統の外側マイクロフォン１２４、外側スピーカ１２５が動作し、第１系統の内側マイクロフォン１２２、内側スピーカ１２３の動作が停止する。
【００３９】
携帯端末装置１１１の筐体の開閉状態によって第１系統（内側）の内側マイクロフォン１２２、内側スピーカ１２３、第２系統（外側）外側マイクロフォン１２４、外側スピーカ１２５が切り替わるため、携帯端末装置１１１の筐体を開いた状態のみならず携帯端末装置１１１の筐体を閉じた状態でも音声コマンド１１２による実行が可能となる。
さらに、制御部１４１の音声コマンド処理部１４１Ｂは、音声コマンド入力ボタン１２１を用いて、内側マイクロフォン１２２又は外側マイクロフォン１２４から無線部１４０を経由して入力した音声を音声認識処理により音声コマンド１１２の解析を行い、音声認識処理により解析した音声コマンド１１２と予め登録しておいた音声コマンド１１２が一致した際に携帯端末装置１１１の機能を呼び出して操作を実行する。
【００４０】
さらに、制御部１４１の音声コマンド登録処理部１４１Ｃは音声コマンド入力ボタン１２１を用いて、内側マイクロフォン１２２又は外側マイクロフォン１２４から無線部１４０を経由して入力した音声を音声認識処理により解析を行い、解析結果を音声コマンド１１２としてメモリ１２６の音声コマンド登録部１２６Ａに登録する。
なお、図３を用いて、携帯端末装置１１１の概略構成を説明したが、表示部１１９のＬＣＤ、カメラ１２８は、当業者にとってよく知られており、また、本発明とは直接関係しないので、それらの詳細な説明は省略する。
【００４１】
図４は表示部１１９に表示される機能表示のメニューを説明する概略図である。本図に示すように、携帯端末装置１１１が有する機能を選択するための待ち受け画面であるメニューが表示部１１９に表示され、メニューには各機能に対してアイコンが一覧表示される。一例として、表示部１１９に表示されるアイコンの上段の左側からメール、カメラ、電卓の機能がアイコン表示され、中断の左側からメモ、インターネット、辞書の機能がアイコン表示され、下段の左側から電話帳、スケジュール、近距離通信の機能等がアイコン表示される。操作キー１１３を用いて、４角で囲うカーソルを操作キー１１３で操作して所望のアイコンが選択される。
【００４２】
これらの機能を動作させるプログラムはメモリ１２６に格納され、メニューに一覧表示されたアイコンを操作キー１１３で選択されると、制御部１４１により動作が実行される。この他に、前述の音声認識機能、音声合成機能を動作させるプログラムがメモリ１２６に格納され、制御部１４１により動作が実行される。
図５は図３における制御部１４１の音声コマンド登録処理部１４１Ｃの動作画面例で赤外線１１５によるテレビジョン１３５のリモコン機能に対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、携帯端末装置１１１に内蔵される赤外線１１５によるテレビジョン１３５のリモコン機能を用いて、「テレビ電源をＯＮにする」音声コマンド１１２として「テレビデンゲン」を音声コマンド登録部１２６Ａに登録する場合について説明する。
【００４３】
ステップ４１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、近距離通信のアイコンの選択を可能にする。
ステップ４２において、近距離通信のアイコン選択で、近距離通信のメニュー画面が表示部１１９に表示され、この近距離通信のメニューの画面には、赤外線通信、赤外線リモコン、ＢＬＵＥＴＯＯＴＨ、無線ＬＡＮの機能の一覧が文字表示される。操作キー１１３を用いて、表示部１１９で赤外線リモコンの文字表示の選択を可能にする。選択を間違えた場合には「戻る」キーを押下して選択のやり直しを行うことが可能である。以下同様である。
【００４４】
ステップ４３において、赤外線リモコンの文字表示を選択した場合、表示部１１９に赤外線リモコンのメニューの画面が表示され、この赤外線リモコンのメニューの画面にはテレビ、ビデオ、ユーザ設定の機能の一覧が文字表示される。操作キー１１３を用いて、表示部１１９でテレビの文字表示を選択することが可能になる。ユーザ設定はテレビ、ビデオ以外の機能がある場合、ユーザ設定で行うことができることを意味する。以下同様である。
【００４５】
ステップ４４において、テレビの文字表示を選択した場合、表示部１１９にはテレビリモコンの実行画面に遷移する。この実行画面には、画面に従い、チャンネル切替え（ＣＨ＋、ＣＨ−）、ボリューム調整（ＶＯＬ＋、ＶＯＬ−）、電源（ＰＷＲ）などのキーが表示され、操作キー１１３を用いて、該当するキーを押下することで、テレビジョン１３５に対して赤外線１１５のデータを送信することができるようになっている。
【００４６】
ステップ４５において、本実施例では、テレビリモコンの電源［ＰＷＲ」に該当するキーについて音声コマンド１１２を登録したいので、音声コマンド入力ボタン１２１を押下しながら、操作キー１１３を用いて電源「ＰＷＲ」に該当するキーを実行画面に従って押下し音声コマンド登録モードにする。この場合、電源「ＰＷＲ」のキーが押下されたことによる赤外線１１５のデータが携帯端末装置１１１からテレビジョン１３５に対して送信されることはない。音声コマンド入力ボタン１２１の押下時には送信禁止とするためである。以下同様である。
【００４７】
ステップ４６において、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「テレビデンゲン」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「テレビデンゲン」との音声コマンド１１２を音声認識処理する。発音を間違えた場合には「中止」キーを押下し発音のやり直しを行うことが可能である。「中止」キーの押下の説明については以下同様である。
【００４８】
ステップ４７において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「テレビデンゲン」との音声コマンド１１２を登録処理させる。
ステップ４８において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００４９】
このようにして、「テレビデンゲン」との音声コマンド１１２の登録動作は、テレビリモコン機能の呼び出し動作と電源キー押下の動作を登録したことになる。
テレビリモコンのボリューム調整に該当するキーについて音声コマンド１１２を登録する場合、同様にして、ステップ４５〜４８において、「ボリュームアップ」、「ボリュームダウン」との音声コマンド１１２の登録動作を行う。この登録動作は、テレビリモコン機能の呼び出し動作とボリューム調整の動作を登録したことになる。
【００５０】
テレビリモコンのチャンネル切替に該当するキーについて音声コマンド１１２を登録する場合、同様にして、ステップ４５〜４８において、「チャンネルアップ」、「チャンネルダウン」との音声コマンド１１２の登録動作を行う。この登録動作は、テレビリモコン機能の呼び出し動作とチャンネル切替の動作を登録したことになる。
【実施例１】
【００５１】
図６は図５の第１の変形例で時報に対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、携帯端末装置１１１に内蔵される電話帳の機能を用いて、「時報」を聞く音声コマンド１１２として「ジホウ」を音声コマンド登録部１２６Ａに登録する場合について説明する。
ステップ５１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、電話帳のアイコンの選択を可能にする。
【００５２】
ステップ５２において、電話帳のアイコンの選択で、電話帳の画面が表示部１１９に表示され、電話帳の画面には相手氏名、名称とこれに対する電話番号の対の一覧が表示される。操作キー１１３を用いて、表示部１１９で「時報 １１７」を選択する。本実施例では局番１１７に電話をかける音声コマンド１１２を登録したいので、カーソルで「時報 １１７」を選択している状態で音声コマンド入力ボタン１２１を押下しながら、操作キー１１３を用いて発呼キー（オフフックキー）を押下し音声コマンド登録モードにする。この場合、発呼キー押下により局番１１７に電話がつながることはない。音声コマンド入力ボタン１２１が押下されているためである。
【００５３】
ステップ５３において、「時報 １１７」を選択した状態で音声コマンド入力ボタン１２１を押下しながら、発呼キーを押下した場合、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「ジホウ」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「ジホウ」との音声コマンド１１２を音声認識処理する。
【００５４】
ステップ５４において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「ジホウ」との音声コマンド１１２を登録処理させる。
ステップ５５において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００５５】
このようにして、「ジホウ」との音声コマンド１１２の登録動作は、電話帳の機能の呼び出し動作と時報を聞く動作を登録したことになる。
【実施例２】
【００５６】
図７は図５の第２の変形例で天気予報に対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、携帯端末装置１１１に内蔵されるインターネットの機能を用いて、「天気予報」の情報を得る音声コマンド１１２として「テンキヨホウ」を音声コマンド登録部１２６Ａに登録する場合について説明する。
ステップ６１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、インターネットのアイコン選択を可能にする。
【００５７】
ステップ６２において、インターネットのアイコンの選択で、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）の入力を行うテキストボックスが表示部１１９に表示され、テキストボックスに天気予報のＵＲＬを入力し、画面表示に従い接続キーを押下することで好みの天気予報を閲覧することが可能になる。本実施例では、天気予報をインターネットで閲覧する音声コマンド１１２を登録したいので、テキストボックスにユーザ指定の天気予報のＵＲＬを入力した後、音声コマンド入力ボタン１２１を押下しながら、画面表示に従い接続キーを押下することで音声コマンド登録モードにする。この場合、接続キー押下によりインターネットに接続されることはない。音声コマンド入力ボタン１２１が押下されているからである。
【００５８】
ステップ６３において、音声コマンド入力ボタン１２１を押下しながら接続キーを押下すると、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「テンキヨホウ」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「テンキヨホウ」との音声コマンド１１２を音声認識処理する。
【００５９】
ステップ６４において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「テンキヨホウ」との音声コマンド１１２を登録処理させる。
ステップ６５において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００６０】
このようにして、「テンキヨホウ」との音声コマンド１１２の登録動作は、インターネットの機能の呼び出し動作とテンキヨホウを閲覧する動作を登録したことになる。
【実施例３】
【００６１】
図８は図５の第３の変形例でカメラシャッタに対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、携帯端末装置１１１に内蔵されるカメラ１２８に対して、「カメラシャッタ」の動作をさせる音声コマンド１１２として「カメラシャッタ」を音声コマンド登録部１２６Ａに登録する場合について説明する。
ステップ７１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、カメラ１２８のアイコン選択を可能にする。
【００６２】
ステップ７２において、カメラ１２８のアイコン選択で、カメラ１２８の画面が表示部１１９に表示され、カメラ１２８の画面にはカメラシャッタ、再生、ユーザ設定の一覧が表示される。操作キー１１３を用いて、表示部１１９で「カメラシャッタ」の選択を可能にする。本実施例では、「カメラシャッタ」に該当する文字表示について音声コマンド１１２を登録したいので、音声コマンド入力ボタン１２１を押下しながら、操作キー１１３を用いて「カメラシャッタ」に該当する文字表示を実行画面にしたがって押下し音声コマンド登録モードにする。この場合、実際にカメラシャッタが切られることはない。音声コマンド入力ボタン１２１が押されているからである。
【００６３】
ステップ７３において、音声コマンド入力ボタンを押下しながら、「カメラシャッタ」を選択した場合、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「カメラシャッタ」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「カメラシャッタ」との音声コマンド１１２を音声認識処理する。
【００６４】
ステップ７４において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「カメラシャッタ」との音声コマンド１１２を登録処理させる。
ステップ７５において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００６５】
このようにして、「カメラシャッタ」との音声コマンド１１２の登録動作は、カメラ１２８の機能の呼び出し動作とカメラシャッタの実行動作を登録したことになる。
撮影した写真の再生を行う場合にはカメラ１２８の再生に該当するキーについて音声コマンド１１２を登録する場合、同様にして、ステップ７２〜７５において、「サイセイ」との音声コマンド１１２の登録動作を行う。この登録動作は、カメラ機能の呼び出し動作と再生の動作を登録したことになる。
【実施例４】
【００６６】
図９は図５の第４の変形例で無線ＬＡＮ用の電波１１６によるサーバー１３６に対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、携帯端末装置１１１に内蔵される無線ＬＡＮ用の電波１１６によるサーバー１３６へのアクセス機能を用いて、「プリンタ出力」を行う音声コマンド１１２として「プリンタシュツリョク」を音声コマンド登録部１２６Ａに登録する場合について説明する。
【００６７】
ステップ８１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、近距離通信のアイコン選択を可能にする。
ステップ８２において、近距離通信のアイコンを選択した場合、表示部１１９に近距離通信のメニュー画面が表示され、この近距離通信のメニューの画面には、赤外線通信、赤外線リモコン、ＢＬＵＥＴＯＯＴＨ、無線ＬＡＮの機能の一覧が文字表示される。操作キー１１３を用いて、表示部１１９で無線ＬＡＮの文字表示を選択することが可能になる。
【００６８】
ステップ８３において、無線ＬＡＮの文字表示を選択した場合、表示部１１９に無線ＬＡＮのメニューの画面が表示され、この無線ＬＡＮのメニューの画面にはサーバー１３６に対するプリンタ出力、ファイル管理、ユーザ設定の機能の一覧が文字表示される。操作キー１１３を用いて、表示部１１９でプリンタ出力の文字表示を選択することが可能になる。本実施例では、「プリンタ出力」に該当する文字表示について音声コマンド１１２を登録したいので、音声コマンド入力ボタン１２１を押下しながら、操作キー１１３を用いて「プリンタ出力」に該当する文字表示を実行画面にしたがって押下し音声コマンド登録モードにする。この場合、実際にプリンタ出力されることはない。音声コマンド入力ボタン１２１が押されているからである。
【００６９】
ステップ８４において、音声コマンド入力ボタン１２１を押下しながら、プリンタ出力の文字表示を選択した場合、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「プリンタシュツリョク」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「プリンタシュツリョク」との音声コマンド１１２を音声認識処理する。
【００７０】
ステップ８５において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「プリンタシュツリョク」との音声コマンド１１２を登録処理させる。
ステップ８６において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００７１】
このようにして、「プリンタシュツリョク」との音声コマンド１１２の登録動作は、無線ＬＡＮの機能の呼び出し動作とプリンタ出力を行う動作を登録したことになる。
さらに、サーバー１３６に対してファイル管理に該当するキーについて音声コマンド１１２を登録する場合、同様にして、ステップ８３〜８６において、「ファイルカンリ」との音声コマンド１１２の登録動作を行う。この登録動作は、サーバー１３６へのアクセス機能の呼び出し動作とファイル管理の動作を登録したことになる。
【実施例５】
【００７２】
図１０は図５の第５の変形例でＢＬＵＥＴＯＯＴＨ用の電波１１７による冷蔵庫１３７に対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、携帯端末装置１１１に内蔵されるＢＬＵＥＴＯＯＴＨ用の電波１１７による冷蔵庫１３７へのリモコン機能を用いて、「在庫管理」を行う音声コマンド１１２として「ザイコカンリ」を音声コマンド登録部１２６Ａに登録する場合について説明する。
【００７３】
ステップ９１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、近距離通信のアイコン選択を可能にする。
ステップ９２において、近距離通信のアイコン選択で、近距離通信のメニュー画面が表示部１１９に表示され、この近距離通信のメニューの画面には、赤外線通信、赤外線リモコン、ＢＬＵＥＴＯＯＴＨ、無線ＬＡＮの機能の一覧が文字表示される。操作キー１１３を用いて、表示部１１９でＢＬＵＥＴＯＯＴＨの文字表示の選択を可能にする。
【００７４】
ステップ９３において、ＢＬＵＥＴＯＯＴＨの文字表示を選択した場合、表示部１１９にＢＬＵＥＴＯＯＴＨのメニューの画面が表示され、このＢＬＵＥＴＯＯＴＨのメニューの画面には冷蔵庫、照明を含む家電製品、ユーザ設定のリモコン機能の一覧が文字表示される。
ステップ９４において、冷蔵庫１３７を選択した場合、表示部１１９に冷蔵庫のメニュー画面が表示され、在庫管理、鮮度管理、ユーザ設定の機能の一覧が文字表示される。操作キー１１３を用いて、表示部１１９で冷蔵庫の文字表示の選択を可能にする。本実施例では、「在庫管理」に該当する文字表示について音声コマンド１１２を登録したいので、音声コマンド入力ボタン１２１を押下しながら、操作キー１１３を用いて「在庫管理」に該当する文字表示を実行画面にしたがって押下し音声コマンド登録モードにする。この場合、ＢＬＵＥＴＯＯＴＨの電波が実際に出力されることはない。音声コマンド入力ボタン１２１が押下されているからである。
【００７５】
ステップ９５において、音声コマンド入力ボタン１２１を押下しながら、「在庫管理」の文字表示を選択した場合、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「ザイコカンリ」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「ザイコカンリ」との音声コマンド１１２を音声認識処理する。
【００７６】
ステップ９６において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「ザイコカンリ」との音声コマンド１１２を登録処理させる。
ステップ９７において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００７７】
このようにして、「ザイコカンリ」との音声コマンド１１２の登録動作は、冷蔵庫１３７のリモコン機能の呼び出し動作と在庫管理を行う動作を登録したことになる。
このようにして、「ザイコカンリ」との音声コマンド１１２の登録動作は、冷蔵庫１３７の機能の呼び出し動作と在庫管理を行う動作を登録したことになる。
さらに、冷蔵庫１３７に対して鮮度管理に該当するキーについて音声コマンド１１２を登録する場合、同様にして、ステップ９４〜９７において、「センドカンリ」との音声コマンド１１２の登録動作を行う。この登録動作は、冷蔵庫１３７へのリモコン機能の呼び出し動作と鮮度管理の動作を登録したことになる。
【００７８】
さらに、家電製品として図示しない照明に対して照明電源に該当するキーについて音声コマンド１１２を登録する場合、同様にして、ステップ９３〜９７において、「テントウ」又は「ショウトウ」との音声コマンド１１２の登録動作を行う。この登録動作は、照明へのリモコン機能の呼び出し動作と照明電源の動作を登録したことになる。
【実施例６】
【００７９】
図１１は図５の第６の変形例でメール読み上げに対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、メール読み上げの機能を用いて、「メール読み上げ」を行う音声コマンド１１２として「メールヨミアゲ」を音声コマンド登録部１２６Ａに登録する場合について説明する。
ステップ１０１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、メールのアイコン選択を可能にする。
【００８０】
ステップ１０２において、メールのアイコン選択で、メールのメニュー画面が表示部１１９に表示され、このメールのメニューの画面には、メール読み上げの機能が文字表示される。操作キー１１３を用いて、メール読み上げの文字表示の選択を可能にする。本実施例では、「メール読み上げ」に該当する文字表示について音声コマンド１１２を登録したいので、音声コマンド入力ボタン１２１を押下しながら、操作キー１１３を用いて「メール読み上げ」に該当する文字表示を実行画面にしたがって押下し音声コマンド登録モードにする。この場合、実際にメール読み上げが実行されることはない。音声コマンド入力ボタン１２１が押されているからである。
【００８１】
ステップ１０３において、音声コマンド入力ボタン１２１を押下しながら、「メール読み上げ」の文字表示を選択した場合、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「メールヨミアゲ」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「メールヨミアゲ」との音声コマンド１１２を音声認識処理する。
【００８２】
ステップ１０４において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「メールヨミアゲ」との音声コマンド１１２を登録処理させる。
ステップ１０５において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００８３】
このようにして、「メールヨミアゲ」との音声コマンド１１２の登録動作は、メール機能の呼び出し動作とメール読み上げを行う動作を登録したことになる。
次に、音声コマンド処理部１４１Ｂの動作例を説明する
図１２は図３における制御部１４１の音声コマンド処理部１４１Ｂの動作画面を説明する制御フロー図である。
【００８４】
本図に示すように、ステップ２０１Ａ、２０１Ｂにおいて、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、音声入力のアイコンの選択を可能にする。
ステップ２０２において、音声コマンド入力ボタン１２１を押下しながら、音声入力のアイコンの選択で、音声コマンド処理モードになり、音声コマンドメニュー画面が表示される。音声コマンドメニュー画面には音声コマンド登録処理部１４１Ｃで登録処理された機能名、読み出し動作名が、例えば、以下のように、表示される。
【００８５】
機能名 呼び出し名
１．カメラ ・カメラシャッタ
・サイセイ
２．テレビリモコン ・テレビデンゲン
・ボリュームアップ
・ボリュームダウン
・チャンネルアップ
・チャンネルダウン
３．レイゾウコ ・ザイコカンリ
リモコン ・センドカンリ
４．インターネット ・テンキヨホウ
５．デンワチョウ ・ジホウ
６．メール ・メールヨミアゲ
７．ショウメイ ・ショウメイデンゲン
リモコン
８．ムセンラン ・プリンタシュツリョク
・ファイルカンリ
【００８６】
このように、ユーザの携帯端末装置１１１の音声コマンド登録処理部１４１Ｃに登録されている全ての音声コマンド１１２を一覧表示するメニューを設け、一覧管理が可能になる。音声コマンドメニューを選択し、一覧表示から目的の音声コマンド１１２を、操作キー１１３を用いて、選択実行することが可能になる。また、ユーザが音声コマンド１１２である読み出し名を覚えていなくでも、表示を見れば、読み出し動作名を発音することも可能である。
音声コマンド処理部１４１Ｂは、ユーザがテレビデンゲンと発音すれば、この音声認識を行い、音声コマンド登録部１２６Ａに登録されている音声コマンド１１２と比較し、一致し、テレビデンゲンの音声コマンド１１２を後述するように受理すると、テレビ電源のＯＮ、ＯＦＦの動作の実行を開始する。
このように、少ない操作で機能を実行できるショートカット機能のような使い方ができる。
【００８７】
なお、一覧表示のメニューには編集機能があり、一覧表示の配列を編集することが可能である。
ステップ２０３において、音声コマンド処理部１４１Ｂは、例えば、テレビデンゲンとの音声コマンド１１２を受理すれば、表示部１１９にテレビリモコンが表示され、テレビデンゲンのＯＮ、ＯＦＦの動作が表示される。
【００８８】
また、音声コマンド処理部１４１Ｂは、例えば、ユーザがメールヨミアゲと発音すれば、この音声認識を行い、音声コマンド登録部１２６Ａに登録されている音声コマンド１１２と比較し、一致し、メールヨミアゲの音声コマンド１１２を受理すれば、メールの音声合成を行い、メールの読み上げを実行する。
図１３は図１２における制御部１４１の音声コマンド処理部１４１Ｂの動作例を説明するフローチャートを示す図である。
【００８９】
ステップ２０１において、まず、音声コマンド処理部１４１Ｂは、マイクロフォン１２２又はマイクロフォン１２４から入力した音声を音声コマンド１１２として認識させるため、ユーザが音声コマンド入力ボタン１２１を押下した場合にはステップ２０２に進む。ユーザが音声コマンド入力ボタン１２１を押下し音声コマンド１１２を発音した後に音声コマンド入力ボタン１２１の押下を解除した場合にはステップ２１５に進む。
【００９０】
ステップ２０２において、音声コマンド処理部１４１Ｂは、音声コマンド入力ボタン１２１が押下された場合、スピーカ／マイク切替部１４１Ａに対して、開閉検出センサ１２７の検出情報により携帯端末装置１１１の筐体が開閉状態か否かを判断させる。
ステップ２０３において、音声コマンド処理部１４１Ｂは、携帯端末装置１１１の筐体が開いた状態の場合、マイク／スピーカ系統切替スイッチ１３２、１３３を切り替えし、内側マイクロフォン１２２、内側スピーカ１２３を有効にし、ステップ２０５に進む。
【００９１】
ステップ２０４において、音声コマンド処理部１４１Ｂは、携帯端末装置１１１の筐体が閉じた状態の場合、マイク／スピーカ系統切替スイッチ１３２、１３３を切り替え、外側マイクロフォン１２４、外側スピーカ１２５を有効にする。
ステップ２０５において、音声コマンド処理部１４１Ｂは音声コマンド入力カウンタ（図示しない）のインクリメント処理を行う。
【００９２】
ステップ２０６において、音声コマンド処理部１４１Ｂは、内側マイクロフォン１２２又は外側マイクロフォン１２４から音声コマンド１１２の入力処理を行う。
ステップ２０７において、音声コマンド処理部１４１Ｂは音声コマンド入力カウンタの上限値を越えたか否かを判断する。超えない場合、ステップ２０８に進まず、処理を終了し、超えるのを待ち又は音声コマンド入力ボタン１２１の押下の解除を待つ。
【００９３】
ステップ２０８において、音声コマンド処理部１４１Ｂは、音声コマンド入力カウンタの上限値を越えた場合、入力した音声コマンド１１２について音声認識解析の処理を行う。
ステップ２０９において、音声コマンド処理部１４１Ｂは、音声認識解析の処理をした結果、メモリ１２６の音声コマンド登録部１２６Ａに、図５〜図１１に説明したように、予め登録されている音声コマンド１１２と一致するか否かを判断する。一致しない場合、ステップ２１２に進む。
【００９４】
ステップ２１０において、音声コマンド処理部１４１Ｂは、一致する場合、音声コマンド１１２を受理した旨の合図としてコマンド受理通知音（ピピッ）を内側スピーカ１２３又は外側スピーカ１２５から出力し鳴らす。
ステップ２１１において、音声コマンド処理部１４１Ｂは、音声コマンド１１２に該当し、予め登録しておいた機能、操作を実行し、本処理を終了する。
【００９５】
ステップ２１２において、音声コマンド処理部１４１Ｂは、音声コマンド１１２を受理しなかった合図としてコマンド不受理通知音（ピピピ）を内側スピーカ１２３又は外側スピーカ１２５から出力し鳴らす。
ステップ２１３において、音声コマンド処理部１４１Ｂは、現在動作中の音声コマンド処理があれば、動作を終了する。
【００９６】
ステップ２１４において、音声コマンド処理部１４１Ｂは音声コマンド入力カウンタ＝０とし、初期化を行い、本処理を終了する。
ステップ２１５において、音声コマンド入力カウンタ＝０か否かを判断する。音声コマンド入力カウンタ＝０なら処理を終了する。音声コマンド入力カウンタ＝０でない場合にはステップ２０８に進む。ユーザが音声コマンド１１２の入力を終えて、音声コマンド入力ボタン１２１の押下を解除した場合、音声コマンド１１２の音声認識解析が行われる。
【００９７】
したがって、本発明によれば、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する。画面表示を必要としない音声コマンドによる機能実行と、キー操作による機能実行が独立して実行できるので、小さな筐体でも容易に２つの機能を同時に利用できるようになるためである。
また、携帯端末装置の有する機能／操作全般に対して音声コマンドが登録できるので、多機能で複数の通信手段をもった携帯端末装置においても、目的の機能実行のためにその手段を気にすることなく、ユーザの嗜好に合わせて操作性を向上することができる。
【００９８】
また、ボタン操作と音声入力のみでユーザの携帯端末装置が有する機能を実行／終了できるので、暗闇においても容易に操作できる。
また、携帯端末装置の筐体を閉じたままでユーザの携帯端末装置が有する機能を実行できるので、画面表示、バックライトなどの使用が少なくて済み省電力化できる。
次に、図１２の動作例を参照して、代表的な例の説明を行う。
【実施例７】
【００９９】
図１３の動作例を参照して、時報に対する音声コマンド１１２による機能の実行処理例を以下に説明する。
例えば、ユーザが操作キー１１３によりメールを作成しながら局番１１７の時報を聞く場合、ユーザは音声コマンド入力ボタン１２１を押下したまま（ステップ２０１：Ｙ）、所定時間内に予め登録しておいた音声コマンド１１２「ジホウ」を第１系統の内側マイクロフォン１２２に向って発音し、音声データの入力を行う（ステップ２０２〜２０６）。
【０１００】
ユーザが所定時間内に「ジホウ」を発音し終え押下していた音声コマンド入力ボタン１２１を解除した場合（ステップ２０１、２１５）、入力された音声データは音声認識による音声コマンド解析処理が行われる（ステップ２０８）。
解析の結果、ユーザが予め登録しておいた音声コマンド１１２と一致すると、通知音「ピピッ」（ステップ２１０）と共に音声コマンド１１２「ジホウ」の対応動作として、ユーザが予め登録しておいた、局番１１７のダイヤル実行を開始する（ステップ２１１）。
【０１０１】
時報を聞き終えた後、通話中の電話回線を切断する場合は、ユーザは無言のまま音声コマンド入力ボタン１２１のみを短時間押下することで、終話処理することが可能になる。
無言のまま音声コマンド入力ボタン１２１を短時間押下することで、音声コマンド入力ボタン１２１の開放時（ステップ２０１：Ｎ）、音声コマンド入力カウンタが０でない判別（ステップ２１５）となり、また無声入力のため音声コマンド解析処理（ステップ２０８：Ｎ）となるため、コマンド不受理の判断（ステップ２０９）となるため、コマンド不受理の通知音「ピピピ」（ステップ２１２）と共に、現在動作中の音声コマンド１１２「ジホウ」が強制終了（ステップ２１３）することになるためである。以下同様である。
【０１０２】
このようにして、操作キー１１３でメールを作成しつつ音声入力でジホウを聞くことが可能になる。
【実施例８】
【０１０３】
図１３の動作例を参照して、テレビジョン１３５に対する音声コマンド１１２による機能の実行処理例を以下に説明する。
例えば、ユーザが操作キー１１３によりメールを作成しながらテレビジョン１３５を見る場合、ユーザは音声コマンド入力ボタン１２１を押下したまま（ステップ２０１：Ｙ）、所定時間内に予め登録しておいた音声コマンド１１２「テレビデンゲン」を第１系統の内側マイクロフォン１２２に向って発音し、音声データの入力を行う（ステップ２０２〜２０６）。
【０１０４】
ユーザが所定時間内に「テレビデンゲン」を発音し終え押下していた音声コマンド入力ボタン１２１を解除した場合（ステップ２０１、２１５）、入力された音声データは音声認識による音声コマンド解析処理が行われる（ステップ２０８）。
解析の結果、ユーザが予め登録しておいた音声コマンド１１２と一致すると、通知音「ピピッ」（ステップ２１０）と共に音声コマンド１１２「テレビデンゲン」の対応動作として、ユーザが予め登録しておいた、テレビジョン１３５の電源がＯＮ又はＯＦＦする実行を開始する（ステップ２１１）。
【０１０５】
メール作成後には携帯端末装置１１１の筐体を閉じると、第２系統の外側マイクロフォン１２４に切り替わり、音声入力でテレビジョン１３５のボリューム調整、チャンネル切り替えのリモコンとして使用可能である。このように、携帯端末装置１１１の筐体を閉じてもリモコンの機能を持たせるので、表示部１１９のＬＣＤのバックライトの電力消費を防止できる。
【０１０６】
このようにして、操作キー１１３でメールを作成しながら音声入力でテレビジョン１３５のリモコン制御を行うことが可能になる。
【実施例９】
【０１０７】
図１３の動作例を参照して、カメラ１２８に対する音声コマンド１１２による機能の実行処理として、操作キー１１３でメール作成しながら、音声コマンド入力ボタン１２１を押下し「カメラシャッタ」の音声入力でカメラ１２８により撮影を行い撮影した写真を、操作キー１１３でメールに貼り付けることができる。
【実施例１０】
【０１０８】
図１３の動作例を参照して、サーバー１３６に対する音声コマンド１１２による機能の実行処理例として、操作キー１１３でカメラ１２８の写真の再生をしながら、音声コマンド入力ボタン１２１を押下し「プリンタシュツリョク」の音声入力で必要な写真をサーバー１３６に対してプリンタ出力を行うことができる。
【実施例１１】
【０１０９】
図１３の動作例を参照して、冷蔵庫１３７に対する音声コマンド１１２による機能の実行処理として、操作キー１１３で携帯電話をしながら、音声コマンド入力ボタン１２１を押下し「ザイコカンリ」の音声入力で冷蔵庫１３７に在る料理の素材の種類、量の情報を得て、不足している素材の配達、買出しを通話の相手に頼むことができる。
【実施例１２】
【０１１０】
図１３の動作例を参照して、携帯端末装置１１１の筐体を閉じた状態で、テレビジョン１３５、冷蔵庫１３７に対して音声コマンド入力ボタン１２１を押下して外側マイクロフォン１２４を用いて音声入力によりリモコン機能を実行させることができる。
通常、携帯端末装置１１１のリモコン機能は筐体を開いて操作キー１１３を用いて行うが、操作キー１１３を使用する必要がなくなるためである。
【実施例１３】
【０１１１】
図３において、制御部１４１の音声コマンド処理部１４１Ｂは音声認識処理による音声コマンド解析処理を行うとして説明したが、さらに、声紋解析機能を備え、音声コマンド登録処理部１４１Ｃは、メモリ１２６の音声コマンド登録部１２６Ａに内側マイクロフォン１２２又は外側マイクロフォン１２４から入力したユーザの音声の声紋を登録し、音声コマンド処理部１４１Ｂは、音声コマンドの音声認識処理の前に内側マイクロフォン１２２又は外側マイクロフォン１２４から入力した音声の声紋の解析を行う。これにより、第３者による不正使用、隣人の声などによる誤動作を防止することが可能になる。
【実施例１４】
【０１１２】
図１３において、音声コマンド処理部１４１Ｂが音声コマンド１１２の解析処理の結果、音声コマンド１１２が一致し、音声コマンド１１２を受理した場合、音声コマンド受理通知音「ピピッ」を内側スピーカ１２３又は外側スピーカ１２５より鳴らすと説明したが、音声コマンド処理部１４１Ｂは、音声コマンド通知音「ピピッ」に代わり、５０音の音声データによる音声合成により受理した音声コマンド１１２、例えば、「ジホウ」などを内側スピーカ１２３又は外側スピーカ１２５から復唱させる。これにより、正しく音声コマンド１１２が受理されたかどうかをユーザ本人が確認することができる。
【実施例１５】
【０１１３】
図１において、内側マイクロフォン１２２又は外側マイクロフォン１２４から入力した音声を音声コマンド１１２として認識するために音声コマンド入力ボタン１２１を押下するとして説明したが、音声コマンド入力ボタン１２１は専用のボタンである必要は無く、既存のテンキー、機能キー等を含んだ操作キー１１３、ポインティングデバイス等で代替してもよい。これにより、システムの簡素化が図れる。
【産業上の利用可能性】
【０１１４】
以上の説明は折り畳み式の携帯端末装置について行ったが、本発明は、これに限定されず、折りたたみ式ではない棒状の携帯端末装置にも利用可能であり、さらに、携帯電話機、ＰＨＳ（簡易携帯電話機）、ＰＤＡ（携帯情報端末）にも利用可能である。
【図面の簡単な説明】
【０１１５】
【図１】本発明に係る、音声認識機能を備えた携帯端末装置のマルチタスクシステムの概略を説明する全体図である。
【図２】図１の携帯端末装置１１１の概略を示す外観図である。
【図３】図１の携帯端末装置１１１の概略構成を示すブロック図である。
【図４】表示部１１９に表示される機能表示のメニューを説明する概略図である。
【図５】図３における制御部１４１の音声コマンド登録処理部１４１Ｃの動作画面例で赤外線１１５によるテレビジョン１３５のリモコン機能に対する音声コマンド１１２の登録を説明する制御フロー図である。
【図６】図５の第１の変形例で時報に対する音声コマンド１１２の登録を説明する制御フロー図である。
【図７】図５の第２の変形例で天気予報に対する音声コマンド１１２の登録を説明する制御フロー図である。
【図８】図５の第３の変形例でカメラシャッタに対する音声コマンド１１２の登録を説明する制御フロー図である。
【図９】図５の第４の変形例で無線ＬＡＮ用の電波１１６によるサーバー１３６に対する音声コマンド１１２の登録を説明する制御フロー図である。
【図１０】図５の第５の変形例でＢＬＵＥＴＯＯＴＨ用の電波１１７による冷蔵庫１３７に対する音声コマンド１１２の登録を説明する制御フロー図である。
【図１１】図５の第６の変形例でメール読み上げに対する音声コマンド１１２の登録を説明する制御フロー図である。
【図１２】図３における制御部１４１の音声コマンド処理部１４１Ｂの動作画面を説明する制御フロー図である。
【図１３】図１２における制御部１４１の音声コマンド処理部１４１Ｂの動作例を説明するフローチャートを示す図である。
【符号の説明】
【０１１６】
１１１…携帯端末装置
１１２…音声コマンド
１１３…操作キー
１１４…基地局に対する電波
１１５…赤外線
１１６…無線ＬＡＮ用の電波
１１７…ＢＬＵＥＴＯＯＴＨ用の電波
１１８…アンテナ
１１９…表示部
１２１…音声コマンド入力ボタン
１２２…内側マイクロフォン
１２３…内側スピーカ
１２４…外側マイクロフォン
１２５…外側スピーカ
１２６…メモリ
１２６Ａ…音声コマンド登録部
１２７…開閉検出センサ
１２８…カメラ
１２９…Ｉｒ入出力回路
１３０…ＢＬＵＥＴＯＯＴＨ回路
１３１…マイク／スピーカ系統切替信号
１３２、１３３…マイク／スピーカ系統切替スイッチ
１３４…電話回線／インターネット
１３５…テレビジョン
１３６…サーバー
１３７…冷蔵庫
１４０…無線部
１４１…制御部
１４１Ａ…スピーカ／マイク切替部
１４１Ｂ…音声コマンド処理部
１４１Ｃ…音声コマンド登録処理部
【技術分野】
【０００１】
本発明は携帯端末装置のマルチタスクシステムに関する。特に、本発明は、操作性を改善する、音声認識機能を備えた携帯端末装置のマルチタスクシステムに関する。
【背景技術】
【０００２】
携帯電話機、ＰＨＳ（簡易携帯電話機）、ＰＤＡ（携帯情報端末）を含む携帯端末装置の多くは、複数の機能、通話、通信手段を有していることは周知である。
複数の機能、通話、通信手段を同時に処理するマルチタスク機能を有していることも周知である。例えば、ユーザがメールを作成しながら局番１１７の時報を聞くことも可能である。
【０００３】
しかしながら、携帯端末装置では携帯に便利なように小型にしたものが多く、複数の機能、複数の通信手段を同時に処理するマルチタスクを利用したい場合などその操作部、表示部が小さいために、通常のデスクトップ型のコンピュータに使用されるディスプレイ装置、キーボードから入力する場合と比較すると、操作上かなりの困難性を伴う場合が多く、使用上問題があった。
【０００４】
本発明の問題点に関連して以下の従来の技術が開示されている。
従来、外部の機器を必要とせず、特別な操作も行うことなく折り畳み式携帯通信端末でハンズフリー通話を行うため、折り畳み式携帯通信端末のヒンジ部に送話部を設け、蓋部に受話部を設け、端末の筐体を開いて通常の通話を行う際には、内側に設けられた送話部および受話部が用いられ、端末には、筐体が折り畳まれたことを検知するセンサと、折り畳まれたときに蓋部および本体部の間に何かが挟まれているかどうかを検知するセンサが設けられ、筐体が折り畳まれ、例えばシャツの胸ポケットに挟まれると、これらのセンサに検知され、送話部および受話部が自動的に送話部および受話部に切り換えられ、端末の筐体を折り畳んでポケットを挟み込むだけで、ハンズフリー通話ができるものがある（例えば、特許文献１参照）。
【０００５】
しかしながら、上記特許文献１では、送話部、受話部の位置を改善し、ハンズフリー通話を可能にし操作性を向上しているが、本発明の問題点で指摘したように、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する点が示唆されていない。
また、従来、緊急事態の発生時に、緊急事態の内容を正確に検知し的確な処理を実現できる緊急通報受付装置を提供するため、緊急事態の発生を音声または画像で通報する携帯端末からの緊急通報を受け付ける緊急通報受付装置であって、該緊急通報受付装置は、前記音声を認識する音声認識手段を備え、該認識手段は音声認識用キーワードを格納したデータベースを備え、該データベースをもとに前記音声を認識し、認識結果に基づいて前記通報内容を解析し、解析結果に基づいて前記緊急通報を最適の関係部署に通報するものがある（例えば、特許文献２参照）。
【０００６】
しかしながら、上記特許文献２では、音声認識機能により通報内容を解析し、緊急事態の発生時に緊急事態の内容を正確に検知し、的確な処理を実現しているが、本発明の問題点で指摘したように、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する点が示唆されていない。
また、従来、音声認識機能を有効に利用して、各種機能を簡単に操作実行可能にするため、本発明の音声認識機能付き制御装置は、音声認識結果に基づき所定の機能を実行する装置であって、所定の機能は外部操作による複数の動作手順を経て実行されるものであってこれら外部操作による動作手順を省いて直接所定の機能が実行されるよう当該所定の機能の実行指示に関連付けて所定の音声コマンドを登録可能な登録手段を備え、そして、入力音声が登録手段に登録された音声コマンドに一致すると認識された場合にその音声コマンドに関連付けられた実行指示に基づき直接所定の機能を実行させる制御手段を備えるように構成した。この構成によれば、音声認識機能を有効に利用でき、各種機能を簡単に操作実行できるものがある（例えば、特許文献３参照）。
【０００７】
しかしながら、上記特許文献３では、音声認識機能を用いて、各種機能を簡単に操作実行するようにしているが、本発明の問題点で指摘したように、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する点が示唆されていない。
また、従来、簡単な操作で指紋認証を行ない、移動無線端末などのセキュリティを高めるため、移動無線端末機の電源スイッチに指紋読取部を設け、電源スイッチを押すと指紋認証が行なわれ、指紋登録部に登録した指紋と一致したら移動無線端末機を動作させる。さらに、マイクから入力された音声の声紋を、声紋登録部に登録された声紋と照合し、一致したら通話可能とし、通話開始後一定時間経過したら、タイマ部により電源をオフにし、動作状態のままでの紛失や盗難の場合でも、不正使用を防止でき、スイッチを押すという簡単な操作だけで指紋認証ができ、移動無線端末機のセキュリティを高めることができ、また、通話スイッチに多段スイッチを用いて、半押しで指紋認証と乱数発生を行ない、全押しで通話を行なうようにすることもできる（例えば、特許文献４参照）。
【０００８】
しかしながら、上記特許文献４では、声紋の照合を行い、セキュリティを高めているが、本発明の問題点で指摘したように、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する点が示唆されていない。
また、従来、例えば自動車から電話をかけるといった動作を使用者の音声入力により簡単でかつ確実に行うことができる音声操作機能付き電子機器、電子機器における音声操作方法、及び音声操作機能付き電子機器を備える自動車を提供するため、音声入力手段と、音声入力手段に入力された音声信号を認識して処理する音声認識手段と、呼び出したい対象や対象に対応する特定の行為をあらかじめ登録しているデータ登録手段と、音声認識手段で認識された音声により、データ登録手段中の呼び出して操作したい対象を指定して、その後、この対象に対応する特定の行為を音声認識手段で認識された音声により指定するための処理手段とを備えるものがある（例えば、特許文献５参照）。
【０００９】
しかしながら、上記特許文献５では、使用者の音声入力により簡単でかつ確実に動作を行うようにしているが、本発明の問題点で指摘したように、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する点が示唆されていない。
また、従来、音声入力部から入力された音声情報に基づいて音声コマンドに対応する処理内容を実行するか、または別に設定された処理内容を実行するかを自動判定して利用するため、音声に対応する音声情報を記憶した音声認識辞書と、音声情報に対応する音声コマンドを予め記憶した音声コマンドテーブルと、音声を入力する音声入力部と、入力された音声から音声情報を音声認識辞書に基づいて認識する音声認識部と、音声情報と音声コマンドテーブルの音声コマンドとが一致するか否かを比較する音声コマンド比較部と、音声情報と音声コマンドとが一致する場合、その音声コマンドに対応する処理内容を実行する音声コマンド実行部と、音声情報と音声コマンドとが一致しない場合、音声情報に対し別に設定された処理内容を実行する音声情報処理部とからなる（例えば、特許文献６参照）。
【００１０】
しかしながら、上記特許文献６では、入力した音声情報について音声コマンドか否かを音声認識し、音声コマンドの場合には対応する処理内容を実行し、音声コマンドでない場合には別の処理内容を実行するようにしているが、本発明の問題点で指摘したように、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する点が示唆されていない。
【００１１】
【特許文献１】特開２００３−５１８７１号公報
【特許文献２】特開２００４−２３４６８号公報
【特許文献３】特開２００３−５７８１号公報
【特許文献４】特開２０００−１６５３７８号公報
【特許文献５】特開平１１−１４２１６５号公報
【特許文献６】特開２０００−２４２４６４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
したがって、本発明は上記問題点に鑑みて、小さな操作部、表示部によるマルチタスクの困難性を改善する、音声認識機能を備えた携帯端末装置のマルチタスクシステムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は前記問題点を解決するために、音声認識機能を備えた携帯端末装置のマルチタスクシステムにおいて、前記携帯端末装置の機能の呼び出し、機能の実行を定義した音声コマンドを登録する音声コマンド登録部と、押下期間中に前記携帯端末装置のマイクロフォンからの音声を音声コマンドとして入力するための音声コマンド入力ボタンと、前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンに入力した音声を音声認識処理し、認識結果を音声コマンドとして前記音声コマンド登録部に登録させる音声コマンド登録処理部と、前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンから音声コマンドを入力し、前記音声コマンド入力ボタンの押下解除後に入力した音声コマンドを音声認識処理し、認識結果が前記音声コマンド登録部に登録されている音声コマンドと一致し受理された場合には受理した音声コマンドに対応する機能を呼び出し、機能の操作を実行する音声コマンド処理部とを備えることを特徴とする、音声認識機能を備えた携帯端末装置のマルチタスクシステムを提供する。
【００１４】
また、前記携帯端末装置の操作キーと前記音声コマンド処理部とが独立して前記携帯端末装置の機能を呼び出し、機能を実行する。
また、前記音声コマンド登録処理部は、前記携帯端末装置の複数の機能を選択可能に表示部にアイコン表示させ、選択された機能に対して前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンに入力した音声を音声認識処理し、認識結果を音声コマンドとして登録させる。
【００１５】
また、前記音声コマンド登録処理部は、前記携帯端末装置の複数の機能を選択可能に表示部にアイコン表示させ、選択された機能名を表示し機能名の発音の録音をガイドする画面、録音後音声認識処理した認識結果の登録をガイドする画面、登録完了の画面を表示する。
また、前記音声コマンド処理部は、前記携帯端末装置の複数の機能を選択可能に表示部に表示させたアイコン表示から選択された音声入力の機能に対して前記音声コマンド入力ボタンが押下された場合、前記音声コマンド登録部に登録された音声コマンドの一覧表示を行い、目的の音声コマンドの選択実行を可能にする。
【００１６】
また、前記音声コマンド処理部は、認識結果として音声コマンドを受理した場合コマンド受理通知音を鳴らし、音声コマンドを受理しない場合コマンド不受理通知音を鳴らす。
また、前記音声コマンド処理部は、音声合成機能を有し、音声コマンドを受理した場合受理した音声コマンドを音声合成で前記携帯端末装置のスピーカから復唱する。
また、前記音声コマンド処理部は、前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンから音声コマンドを入力し、前記音声コマンド入力ボタンの押下解除前に一定時間を経過した場合には入力した音声コマンドを音声認識処理する。
【００１７】
また、前記音声コマンド処理部は、機能の操作を実行させた後に前記音声コマンド入力ボタンが押下後無言で音声コマンドの入力が無く押下解除された場合には実行している機能の操作を強制終了させる。
前記音声コマンド処理部は声紋解析機能を有し、前記音声コマンド登録処理部Ｃは、前記音声コマンド登録部にマイクロフォンから入力したユーザの声紋を登録させ、前記音声コマンド処理部は、音声コマンドの音声認識処理の前にマイクロフォンから入力した声紋の解析を行う。
【００１８】
また、前記音声コマンド入力ボタンはノンロックタイプのボタンで前記携帯端末装置の側面に位置する。
また、前記音声コマンド入力ボタンは前記携帯端末装置のテンキー、機能キー、ポインティングデバイスの中から１つを選択して用いられる。
また、前記音声コマンド処理は、メール、カメラ、電卓、メモ、インターネット、辞書、電話帳、スケジュール、リモコン、音声入力の機能の呼び出し、機能の操作の実行を行う。
【００１９】
また、前記リモコンの機能には赤外線を用いるテレビジョン、無線ＬＡＮ用の電波を用いるサーバー、ＢＬＵＥＴＯＯＴＨ用の電波を用いる冷蔵庫、照明を含む家電製品のリモコンの機能を含む。
また、前記携帯端末装置のマルチタスクシステムは、操作キーでメールの機能を読み出しメールを作成しながら、前記音声コマンド処理部では、電話帳の機能を呼び出し、時報を聞く機能の操作処理を可能にする。
【００２０】
また、前記携帯端末装置は折り畳み式であり、内側、外側に一対のマイクロフォン、スピーカ、さらに、前記携帯端末装置の開閉を検出する開閉検出センサを有し、前記携帯端末装置が開いている場合に内側の一対のマイクロフォン、スピーカのみを有効にし、前記携帯端末装置が閉じている場合には外側の一対のマイクロフォン、スピーカのみを有効にし、前記音声コマンド処理部は、前記携帯端末装置が開いている場合には内側のマイクロフォンから音声コマンドを入力し、前記携帯端末装置が閉じている場合には外側のマイクロフォンから音声コマンドを入力する。
【００２１】
また、前記携帯端末装置のマルチタスクシステムは、前記携帯端末装置を開いた状態で操作キーでメールの機能を読み出しメールを作成しながら、前記音声コマンド処理部では、テレビジョンの機能を呼び出し、テレビ電源を入れる機能の操作を可能にし、操作キーによるメール作成が終了し前記携帯端末装置が閉じた状態で、テレビジョンのボリューム調整、チャンネル切り替えの機能の操作を行う。
【００２２】
また、前記携帯端末装置のマルチタスクシステムは、前記音声コマンド処理部では、前記携帯端末装置が閉じた状態で、テレビジョンの機能を呼び出し、テレビ電源を入れる機能の操作、ボリューム調整、チャンネル切り替えの機能の操作を行う。
また、本発明は、音声認識機能を備えた携帯端末装置のマルチタスク方法において、前記携帯端末装置の複数の機能から１つを選択し、音声コマンド入力ボタンの押下期間中に前記携帯端末装置のマイクロフォンから音声を入力する工程と、入力した前記音声を音声認識処理する工程と、音声認識処理した認識結果を、前記携帯端末装置の機能の呼び出し、機能の実行を定義した音声コマンドとして登録する工程と、前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンに音声コマンドを入力する工程と、前記音声コマンド入力ボタンの押下解除後に入力した音声コマンドの音声認識処理を行う工程と、音声コマンドを音声認識処理した認識結果と登録された音声コマンドが一致する場合に音声コマンドを受理する工程と、受理した音声コマンドに対応する前期携帯端末装置の機能を呼び出し、機能の操作を実行する工程とを備えることを特徴とする、音声認識機能を備えた携帯端末装置のマルチタスク方法を提供する。
【発明の効果】
【００２３】
以上説明したように、本発明によれば、携帯端末装置の複数の機能から１つを選択し音声コマンド入力ボタンの押下期間中に携帯端末装置のマイクロフォンから音声を入力し、入力した音声を音声認識処理し、音声認識処理した認識結果を、携帯端末装置の機能の呼び出し、機能の実行を定義した音声コマンドとして登録し、音声コマンド入力ボタンの押下期間中にマイクロフォンに音声コマンドを入力し、音声コマンド入力ボタンの押下解除後に入力した音声コマンドの音声認識処理を行い、音声コマンドを音声認識処理した認識結果と登録された音声コマンドが一致する場合に音声コマンドを受理し、受理した音声コマンドに対応する前期携帯端末装置の機能を呼び出し、機能の操作を実行するようにしたので、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する。画面表示を必要としない音声コマンドによる機能実行と、キー操作による機能実行が独立して実行できるので、小さな筐体でも容易に２つの機能を同時に利用できるようになるためである。
【００２４】
また、携帯端末装置の有する機能／操作全般に対して音声コマンドが登録できるので、多機能で複数の通信手段をもった携帯端末装置においても、目的の機能実行のためにその手段を気にすることなく、ユーザの嗜好に合わせて操作性を向上することができる。
また、ボタン操作と音声入力のみでユーザの携帯端末装置が有する機能を実行／終了できるので、暗闇においても容易に操作できる。
【００２５】
また、携帯端末装置の筐体を閉じたままでユーザの携帯端末装置が有する機能を実行できるので、画面表示、バックライトなどの使用が少なくて済み省電力化できる。
音声コマンドの音声認識処理の前にマイクロフォン入力した音声の声紋の解析を行うようにしたので、第３者による不正使用、隣人の声などによる誤動作を防止することが可能になる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について図面を参照して説明する。
図１は本発明に係る、音声認識機能を備えた携帯端末装置のマルチタスクシステムの概略を説明する全体図である。
本図に示すように、携帯端末装置１１１は複数の機能、通話、通信手段を備え、一例として折り畳み式であり、操作キー１１３、アンテナ１１８、表示部１１９を有し、アンテナ１１８から図示しない基地局に対する電波１１４を介して携帯電話回線、固定電話回線を含む電話回線／インターネット１３４に接続し通話、通信を行い、さらに、無線ＬＡＮ用の電波１１６を介してサーバー１３６に接続しファイル管理、プリンタ出力を行い、赤外線１１５を介してテレビジョン１３５に接続しテレビジョン１３５のリモートコントロールを行い、さらに、図示しないパーソナルコンピュータと通信を行い、ＢＬＵＥＴＯＯＴＨ用の電波１１７を介して家電製品、例えば、冷蔵庫１３７に接続し、冷蔵庫１３７の在庫管理、鮮度管理等を行う機能を有し、プログラムで制御される。
【００２７】
さらに、携帯端末装置１１１は操作キー１１３を用いてユーザがマルチタスクを実行する機能を有し、例えば、メールを作成しながら局番１１７の時報を聞く機能を有する。
さらに、上記のマルチタスクと共に、以下に詳細に説明するように、本発明は、携帯端末装置１１１の音声認識機能を用いた音声入力による操作機能と操作キー１１３による操作機能を独立してユーザがマルチタスクを実行する機能を有し、例えば、操作キー１１３を用いてメールを作成しながら音声入力により局番１１７の時報を聞く機能を有する。
【００２８】
さらに、携帯端末装置１１１には音声コマンド入力ボタン１２１が設けられ、音声コマンド入力ボタン１２１は、例えば、携帯端末装置１１１の側面に位置し、ノンロックタイプのボタンであり、ボタン押下期間中一定時間内のみ入力した音声を音声コマンド１１２として入力可能とし、予め登録された対応動作として携帯端末装置１１１の有する通話、通信機能を含む諸機能を利用することができる。ここに、音声コマンド１１２は、音声認識機能を用いた音声入力により、携帯端末装置１１１の操作機能を実行するため、後述するように、ユーザが予め登録した携帯端末装置１１１の機能の呼び出し、機能の実行を定義した音声キーワードである。
【００２９】
特に、上記の携帯端末装置１１１のマルチタスク機能では、携帯端末装置１１１の表示部１１９の画面表示を必要としない機能実行に対して音声認識による機能を実行させ、表示部１１９の画面表示を必要とする機能実行に対して操作キー１１３による機能を実行させるようにし、操作キー１１３、表示部１１９の小さな携帯端末装置１１１の有する機能の同時利用を容易にしてユーザの負担を軽減する。
【００３０】
図２は図１の携帯端末装置１１１の概略を示す外観図である。本図(ａ)に示すように、折り畳み式の携帯端末装置１１１の筐体を開いた内側には第１系統として、内側マイクロフォン１２２、内側スピーカ１２３が設けられ、内側スピーカ１２３は前述のアンテナ１１８、表示部１１９、音声コマンド入力ボタン１２１と共に上部側に位置する。
さらに、内側マイクロフォン１２２は、前述の操作キー１１３と共に下部側に位置する。
【００３１】
本図(b)に示すように、折り畳み式の携帯端末装置１１１の筐体を閉じた上部側の外側には第２系統として、外側マイクロフォン１２４、外側スピーカ１２５が設けられる。外側マイクロフォン１２４は、携帯端末装置１１１の筐体を開いた状態から閉じた状態にした場合、外側スピーカ１２５よりも下側に位置する。
図３は図１の携帯端末装置１１１の概略構成を示すブロック図である。本図に示すように、携帯端末装置１１１には無線部１４０が設けられ、無線部１４０はアンテナ１１８により基地局に対する電波１１４、無線ＬＡＮ用の電波１１６の送受信を行う。
【００３２】
無線部１４０にはマイク／スピーカ系統切替スイッチ１３２、１３３が接続され、マイク／スピーカ系統切替スイッチ１３２、１３３は第１系統の内側マイクロフォン１２２、内側スピーカ１２３、第２系統の外側マイクロフォン１２４、外側スピーカ１２５を切り替えて無線部１４０への接続、切断を行うスイッチデバイスである。
無線部１４０には制御部１４１が接続され、制御部１４１はＣＰＵ（中央演算装置）で構成され、携帯端末装置１１１全体の制御を行い、特に後述するスピーカ／マイク切替部１４１Ａ、音声コマンド処理部１４１Ｂ、音声コマンド登録処理部１４１Ｃを備える。
【００３３】
制御部１４１にはメモリ１２６が接続され、メモリ１２６は携帯端末装置１１１の制御プログラム、例えば、メール、カメラ、電卓、メモ、インターネット、辞書、電話帳、スケジュール、近距離通信、音声入力のプログラムを格納するほか、制御データ、画像、リモコンデータなど携帯端末装置１１１で扱う様々なデータを格納し、特に後述する音声コマンド登録部１２６Ａを備える。
【００３４】
さらに、携帯端末装置１１１には表示部１１９が接続され、表示部１１９はＬＣＤ（液晶表示部）で構成され、表示部１１９はメール、カメラ、電卓、メモ、インターネット、辞書、電話帳、スケジュール、近距離通信、音声入力の機能をアイコン表示し、画像、メール等の表示を行う。
さらに、制御部１４１には開閉検出センサ１２７が接続され、開閉検出センサ１２７は携帯端末装置１１１の筐体の開閉状態を検出するセンサであり、制御部１４１は閉状態の場合、表示部１１９のＬＣＤのバックライトを消灯し、表示部１１９の画面を非表示にする。
【００３５】
さらに、制御部１４１には音声コマンド入力ボタン１２１が接続され、制御部１４１は、内側マイクロフォン１２２又は外側マイクロフォン１２５に入力した音声を音声コマンド１１２として、無線部１４０を経由して、前述のように、音声コマンド入力ボタン１２１の押下状態にて音声による音声コマンド１１２を受け付ける。
さらに、制御部１４１にはカメラ１２８が接続され、制御部１４１はカメラ１２８により撮影された画像を表示部１１９に表示させ、メモリ１２６に格納させる。
【００３６】
制御部１４１には操作キー１１３が接続され、操作キー１１３はテンキー、機能キーを含んだキーボード、ポインティングデバイスからなるボタンスイッチ郡で構成される。
さらに、制御部１４１にはＩｒ（Ｉｎｆｒａｒｅｄ）入出力回路１２９が接続され、Ｉｒ入出力回路１２９は赤外線通信及び赤外線リモコン制御を行うための赤外線１１５の入出力回路である。
【００３７】
さらに、制御部１４１にはＢＬＵＥＴＯＯＴＨ回路１３０が接続され、ＢＬＵＥＴＯＯＴＨ回路１３０はＢＬＵＥＴＯＯＴＨ用の電波１１７で近距離通信を行うための回路である。
次に、制御部１４１のスピーカ／マイク切替部１４１Ａは、開閉検出センサ１２７の開閉検出により携帯端末装置１１１の筐体の開閉状態に応じて、マイク／スピーカ系統切替スイッチ１３２、１３３に対してマイク／スピーカ系統切替信号１３１を出力し、第１系統の内側マイクロフォン１２２、内側スピーカ１２３と第２系統の外側マイクロフォン１２４、外側スピーカ１２５との動作が切り替えられる。
【００３８】
すなわち、携帯端末装置１１１の筐体の開状態で第１系統の内側マイクロフォン１２２、内側スピーカ１２３が動作し第２の系統の外側マイクロフォン１２４、外側スピーカ１
２５の動作が停止し、携帯端末装置１１１の筐体の閉状態では逆に第２系統の外側マイクロフォン１２４、外側スピーカ１２５が動作し、第１系統の内側マイクロフォン１２２、内側スピーカ１２３の動作が停止する。
【００３９】
携帯端末装置１１１の筐体の開閉状態によって第１系統（内側）の内側マイクロフォン１２２、内側スピーカ１２３、第２系統（外側）外側マイクロフォン１２４、外側スピーカ１２５が切り替わるため、携帯端末装置１１１の筐体を開いた状態のみならず携帯端末装置１１１の筐体を閉じた状態でも音声コマンド１１２による実行が可能となる。
さらに、制御部１４１の音声コマンド処理部１４１Ｂは、音声コマンド入力ボタン１２１を用いて、内側マイクロフォン１２２又は外側マイクロフォン１２４から無線部１４０を経由して入力した音声を音声認識処理により音声コマンド１１２の解析を行い、音声認識処理により解析した音声コマンド１１２と予め登録しておいた音声コマンド１１２が一致した際に携帯端末装置１１１の機能を呼び出して操作を実行する。
【００４０】
さらに、制御部１４１の音声コマンド登録処理部１４１Ｃは音声コマンド入力ボタン１２１を用いて、内側マイクロフォン１２２又は外側マイクロフォン１２４から無線部１４０を経由して入力した音声を音声認識処理により解析を行い、解析結果を音声コマンド１１２としてメモリ１２６の音声コマンド登録部１２６Ａに登録する。
なお、図３を用いて、携帯端末装置１１１の概略構成を説明したが、表示部１１９のＬＣＤ、カメラ１２８は、当業者にとってよく知られており、また、本発明とは直接関係しないので、それらの詳細な説明は省略する。
【００４１】
図４は表示部１１９に表示される機能表示のメニューを説明する概略図である。本図に示すように、携帯端末装置１１１が有する機能を選択するための待ち受け画面であるメニューが表示部１１９に表示され、メニューには各機能に対してアイコンが一覧表示される。一例として、表示部１１９に表示されるアイコンの上段の左側からメール、カメラ、電卓の機能がアイコン表示され、中断の左側からメモ、インターネット、辞書の機能がアイコン表示され、下段の左側から電話帳、スケジュール、近距離通信の機能等がアイコン表示される。操作キー１１３を用いて、４角で囲うカーソルを操作キー１１３で操作して所望のアイコンが選択される。
【００４２】
これらの機能を動作させるプログラムはメモリ１２６に格納され、メニューに一覧表示されたアイコンを操作キー１１３で選択されると、制御部１４１により動作が実行される。この他に、前述の音声認識機能、音声合成機能を動作させるプログラムがメモリ１２６に格納され、制御部１４１により動作が実行される。
図５は図３における制御部１４１の音声コマンド登録処理部１４１Ｃの動作画面例で赤外線１１５によるテレビジョン１３５のリモコン機能に対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、携帯端末装置１１１に内蔵される赤外線１１５によるテレビジョン１３５のリモコン機能を用いて、「テレビ電源をＯＮにする」音声コマンド１１２として「テレビデンゲン」を音声コマンド登録部１２６Ａに登録する場合について説明する。
【００４３】
ステップ４１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、近距離通信のアイコンの選択を可能にする。
ステップ４２において、近距離通信のアイコン選択で、近距離通信のメニュー画面が表示部１１９に表示され、この近距離通信のメニューの画面には、赤外線通信、赤外線リモコン、ＢＬＵＥＴＯＯＴＨ、無線ＬＡＮの機能の一覧が文字表示される。操作キー１１３を用いて、表示部１１９で赤外線リモコンの文字表示の選択を可能にする。選択を間違えた場合には「戻る」キーを押下して選択のやり直しを行うことが可能である。以下同様である。
【００４４】
ステップ４３において、赤外線リモコンの文字表示を選択した場合、表示部１１９に赤外線リモコンのメニューの画面が表示され、この赤外線リモコンのメニューの画面にはテレビ、ビデオ、ユーザ設定の機能の一覧が文字表示される。操作キー１１３を用いて、表示部１１９でテレビの文字表示を選択することが可能になる。ユーザ設定はテレビ、ビデオ以外の機能がある場合、ユーザ設定で行うことができることを意味する。以下同様である。
【００４５】
ステップ４４において、テレビの文字表示を選択した場合、表示部１１９にはテレビリモコンの実行画面に遷移する。この実行画面には、画面に従い、チャンネル切替え（ＣＨ＋、ＣＨ−）、ボリューム調整（ＶＯＬ＋、ＶＯＬ−）、電源（ＰＷＲ）などのキーが表示され、操作キー１１３を用いて、該当するキーを押下することで、テレビジョン１３５に対して赤外線１１５のデータを送信することができるようになっている。
【００４６】
ステップ４５において、本実施例では、テレビリモコンの電源［ＰＷＲ」に該当するキーについて音声コマンド１１２を登録したいので、音声コマンド入力ボタン１２１を押下しながら、操作キー１１３を用いて電源「ＰＷＲ」に該当するキーを実行画面に従って押下し音声コマンド登録モードにする。この場合、電源「ＰＷＲ」のキーが押下されたことによる赤外線１１５のデータが携帯端末装置１１１からテレビジョン１３５に対して送信されることはない。音声コマンド入力ボタン１２１の押下時には送信禁止とするためである。以下同様である。
【００４７】
ステップ４６において、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「テレビデンゲン」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「テレビデンゲン」との音声コマンド１１２を音声認識処理する。発音を間違えた場合には「中止」キーを押下し発音のやり直しを行うことが可能である。「中止」キーの押下の説明については以下同様である。
【００４８】
ステップ４７において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「テレビデンゲン」との音声コマンド１１２を登録処理させる。
ステップ４８において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００４９】
このようにして、「テレビデンゲン」との音声コマンド１１２の登録動作は、テレビリモコン機能の呼び出し動作と電源キー押下の動作を登録したことになる。
テレビリモコンのボリューム調整に該当するキーについて音声コマンド１１２を登録する場合、同様にして、ステップ４５〜４８において、「ボリュームアップ」、「ボリュームダウン」との音声コマンド１１２の登録動作を行う。この登録動作は、テレビリモコン機能の呼び出し動作とボリューム調整の動作を登録したことになる。
【００５０】
テレビリモコンのチャンネル切替に該当するキーについて音声コマンド１１２を登録する場合、同様にして、ステップ４５〜４８において、「チャンネルアップ」、「チャンネルダウン」との音声コマンド１１２の登録動作を行う。この登録動作は、テレビリモコン機能の呼び出し動作とチャンネル切替の動作を登録したことになる。
【実施例１】
【００５１】
図６は図５の第１の変形例で時報に対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、携帯端末装置１１１に内蔵される電話帳の機能を用いて、「時報」を聞く音声コマンド１１２として「ジホウ」を音声コマンド登録部１２６Ａに登録する場合について説明する。
ステップ５１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、電話帳のアイコンの選択を可能にする。
【００５２】
ステップ５２において、電話帳のアイコンの選択で、電話帳の画面が表示部１１９に表示され、電話帳の画面には相手氏名、名称とこれに対する電話番号の対の一覧が表示される。操作キー１１３を用いて、表示部１１９で「時報 １１７」を選択する。本実施例では局番１１７に電話をかける音声コマンド１１２を登録したいので、カーソルで「時報 １１７」を選択している状態で音声コマンド入力ボタン１２１を押下しながら、操作キー１１３を用いて発呼キー（オフフックキー）を押下し音声コマンド登録モードにする。この場合、発呼キー押下により局番１１７に電話がつながることはない。音声コマンド入力ボタン１２１が押下されているためである。
【００５３】
ステップ５３において、「時報 １１７」を選択した状態で音声コマンド入力ボタン１２１を押下しながら、発呼キーを押下した場合、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「ジホウ」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「ジホウ」との音声コマンド１１２を音声認識処理する。
【００５４】
ステップ５４において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「ジホウ」との音声コマンド１１２を登録処理させる。
ステップ５５において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００５５】
このようにして、「ジホウ」との音声コマンド１１２の登録動作は、電話帳の機能の呼び出し動作と時報を聞く動作を登録したことになる。
【実施例２】
【００５６】
図７は図５の第２の変形例で天気予報に対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、携帯端末装置１１１に内蔵されるインターネットの機能を用いて、「天気予報」の情報を得る音声コマンド１１２として「テンキヨホウ」を音声コマンド登録部１２６Ａに登録する場合について説明する。
ステップ６１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、インターネットのアイコン選択を可能にする。
【００５７】
ステップ６２において、インターネットのアイコンの選択で、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）の入力を行うテキストボックスが表示部１１９に表示され、テキストボックスに天気予報のＵＲＬを入力し、画面表示に従い接続キーを押下することで好みの天気予報を閲覧することが可能になる。本実施例では、天気予報をインターネットで閲覧する音声コマンド１１２を登録したいので、テキストボックスにユーザ指定の天気予報のＵＲＬを入力した後、音声コマンド入力ボタン１２１を押下しながら、画面表示に従い接続キーを押下することで音声コマンド登録モードにする。この場合、接続キー押下によりインターネットに接続されることはない。音声コマンド入力ボタン１２１が押下されているからである。
【００５８】
ステップ６３において、音声コマンド入力ボタン１２１を押下しながら接続キーを押下すると、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「テンキヨホウ」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「テンキヨホウ」との音声コマンド１１２を音声認識処理する。
【００５９】
ステップ６４において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「テンキヨホウ」との音声コマンド１１２を登録処理させる。
ステップ６５において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００６０】
このようにして、「テンキヨホウ」との音声コマンド１１２の登録動作は、インターネットの機能の呼び出し動作とテンキヨホウを閲覧する動作を登録したことになる。
【実施例３】
【００６１】
図８は図５の第３の変形例でカメラシャッタに対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、携帯端末装置１１１に内蔵されるカメラ１２８に対して、「カメラシャッタ」の動作をさせる音声コマンド１１２として「カメラシャッタ」を音声コマンド登録部１２６Ａに登録する場合について説明する。
ステップ７１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、カメラ１２８のアイコン選択を可能にする。
【００６２】
ステップ７２において、カメラ１２８のアイコン選択で、カメラ１２８の画面が表示部１１９に表示され、カメラ１２８の画面にはカメラシャッタ、再生、ユーザ設定の一覧が表示される。操作キー１１３を用いて、表示部１１９で「カメラシャッタ」の選択を可能にする。本実施例では、「カメラシャッタ」に該当する文字表示について音声コマンド１１２を登録したいので、音声コマンド入力ボタン１２１を押下しながら、操作キー１１３を用いて「カメラシャッタ」に該当する文字表示を実行画面にしたがって押下し音声コマンド登録モードにする。この場合、実際にカメラシャッタが切られることはない。音声コマンド入力ボタン１２１が押されているからである。
【００６３】
ステップ７３において、音声コマンド入力ボタンを押下しながら、「カメラシャッタ」を選択した場合、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「カメラシャッタ」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「カメラシャッタ」との音声コマンド１１２を音声認識処理する。
【００６４】
ステップ７４において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「カメラシャッタ」との音声コマンド１１２を登録処理させる。
ステップ７５において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００６５】
このようにして、「カメラシャッタ」との音声コマンド１１２の登録動作は、カメラ１２８の機能の呼び出し動作とカメラシャッタの実行動作を登録したことになる。
撮影した写真の再生を行う場合にはカメラ１２８の再生に該当するキーについて音声コマンド１１２を登録する場合、同様にして、ステップ７２〜７５において、「サイセイ」との音声コマンド１１２の登録動作を行う。この登録動作は、カメラ機能の呼び出し動作と再生の動作を登録したことになる。
【実施例４】
【００６６】
図９は図５の第４の変形例で無線ＬＡＮ用の電波１１６によるサーバー１３６に対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、携帯端末装置１１１に内蔵される無線ＬＡＮ用の電波１１６によるサーバー１３６へのアクセス機能を用いて、「プリンタ出力」を行う音声コマンド１１２として「プリンタシュツリョク」を音声コマンド登録部１２６Ａに登録する場合について説明する。
【００６７】
ステップ８１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、近距離通信のアイコン選択を可能にする。
ステップ８２において、近距離通信のアイコンを選択した場合、表示部１１９に近距離通信のメニュー画面が表示され、この近距離通信のメニューの画面には、赤外線通信、赤外線リモコン、ＢＬＵＥＴＯＯＴＨ、無線ＬＡＮの機能の一覧が文字表示される。操作キー１１３を用いて、表示部１１９で無線ＬＡＮの文字表示を選択することが可能になる。
【００６８】
ステップ８３において、無線ＬＡＮの文字表示を選択した場合、表示部１１９に無線ＬＡＮのメニューの画面が表示され、この無線ＬＡＮのメニューの画面にはサーバー１３６に対するプリンタ出力、ファイル管理、ユーザ設定の機能の一覧が文字表示される。操作キー１１３を用いて、表示部１１９でプリンタ出力の文字表示を選択することが可能になる。本実施例では、「プリンタ出力」に該当する文字表示について音声コマンド１１２を登録したいので、音声コマンド入力ボタン１２１を押下しながら、操作キー１１３を用いて「プリンタ出力」に該当する文字表示を実行画面にしたがって押下し音声コマンド登録モードにする。この場合、実際にプリンタ出力されることはない。音声コマンド入力ボタン１２１が押されているからである。
【００６９】
ステップ８４において、音声コマンド入力ボタン１２１を押下しながら、プリンタ出力の文字表示を選択した場合、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「プリンタシュツリョク」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「プリンタシュツリョク」との音声コマンド１１２を音声認識処理する。
【００７０】
ステップ８５において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「プリンタシュツリョク」との音声コマンド１１２を登録処理させる。
ステップ８６において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００７１】
このようにして、「プリンタシュツリョク」との音声コマンド１１２の登録動作は、無線ＬＡＮの機能の呼び出し動作とプリンタ出力を行う動作を登録したことになる。
さらに、サーバー１３６に対してファイル管理に該当するキーについて音声コマンド１１２を登録する場合、同様にして、ステップ８３〜８６において、「ファイルカンリ」との音声コマンド１１２の登録動作を行う。この登録動作は、サーバー１３６へのアクセス機能の呼び出し動作とファイル管理の動作を登録したことになる。
【実施例５】
【００７２】
図１０は図５の第５の変形例でＢＬＵＥＴＯＯＴＨ用の電波１１７による冷蔵庫１３７に対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、携帯端末装置１１１に内蔵されるＢＬＵＥＴＯＯＴＨ用の電波１１７による冷蔵庫１３７へのリモコン機能を用いて、「在庫管理」を行う音声コマンド１１２として「ザイコカンリ」を音声コマンド登録部１２６Ａに登録する場合について説明する。
【００７３】
ステップ９１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、近距離通信のアイコン選択を可能にする。
ステップ９２において、近距離通信のアイコン選択で、近距離通信のメニュー画面が表示部１１９に表示され、この近距離通信のメニューの画面には、赤外線通信、赤外線リモコン、ＢＬＵＥＴＯＯＴＨ、無線ＬＡＮの機能の一覧が文字表示される。操作キー１１３を用いて、表示部１１９でＢＬＵＥＴＯＯＴＨの文字表示の選択を可能にする。
【００７４】
ステップ９３において、ＢＬＵＥＴＯＯＴＨの文字表示を選択した場合、表示部１１９にＢＬＵＥＴＯＯＴＨのメニューの画面が表示され、このＢＬＵＥＴＯＯＴＨのメニューの画面には冷蔵庫、照明を含む家電製品、ユーザ設定のリモコン機能の一覧が文字表示される。
ステップ９４において、冷蔵庫１３７を選択した場合、表示部１１９に冷蔵庫のメニュー画面が表示され、在庫管理、鮮度管理、ユーザ設定の機能の一覧が文字表示される。操作キー１１３を用いて、表示部１１９で冷蔵庫の文字表示の選択を可能にする。本実施例では、「在庫管理」に該当する文字表示について音声コマンド１１２を登録したいので、音声コマンド入力ボタン１２１を押下しながら、操作キー１１３を用いて「在庫管理」に該当する文字表示を実行画面にしたがって押下し音声コマンド登録モードにする。この場合、ＢＬＵＥＴＯＯＴＨの電波が実際に出力されることはない。音声コマンド入力ボタン１２１が押下されているからである。
【００７５】
ステップ９５において、音声コマンド入力ボタン１２１を押下しながら、「在庫管理」の文字表示を選択した場合、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「ザイコカンリ」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「ザイコカンリ」との音声コマンド１１２を音声認識処理する。
【００７６】
ステップ９６において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「ザイコカンリ」との音声コマンド１１２を登録処理させる。
ステップ９７において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００７７】
このようにして、「ザイコカンリ」との音声コマンド１１２の登録動作は、冷蔵庫１３７のリモコン機能の呼び出し動作と在庫管理を行う動作を登録したことになる。
このようにして、「ザイコカンリ」との音声コマンド１１２の登録動作は、冷蔵庫１３７の機能の呼び出し動作と在庫管理を行う動作を登録したことになる。
さらに、冷蔵庫１３７に対して鮮度管理に該当するキーについて音声コマンド１１２を登録する場合、同様にして、ステップ９４〜９７において、「センドカンリ」との音声コマンド１１２の登録動作を行う。この登録動作は、冷蔵庫１３７へのリモコン機能の呼び出し動作と鮮度管理の動作を登録したことになる。
【００７８】
さらに、家電製品として図示しない照明に対して照明電源に該当するキーについて音声コマンド１１２を登録する場合、同様にして、ステップ９３〜９７において、「テントウ」又は「ショウトウ」との音声コマンド１１２の登録動作を行う。この登録動作は、照明へのリモコン機能の呼び出し動作と照明電源の動作を登録したことになる。
【実施例６】
【００７９】
図１１は図５の第６の変形例でメール読み上げに対する音声コマンド１１２の登録を説明する制御フロー図である。一例として、本図を用いて、メール読み上げの機能を用いて、「メール読み上げ」を行う音声コマンド１１２として「メールヨミアゲ」を音声コマンド登録部１２６Ａに登録する場合について説明する。
ステップ１０１において、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、メールのアイコン選択を可能にする。
【００８０】
ステップ１０２において、メールのアイコン選択で、メールのメニュー画面が表示部１１９に表示され、このメールのメニューの画面には、メール読み上げの機能が文字表示される。操作キー１１３を用いて、メール読み上げの文字表示の選択を可能にする。本実施例では、「メール読み上げ」に該当する文字表示について音声コマンド１１２を登録したいので、音声コマンド入力ボタン１２１を押下しながら、操作キー１１３を用いて「メール読み上げ」に該当する文字表示を実行画面にしたがって押下し音声コマンド登録モードにする。この場合、実際にメール読み上げが実行されることはない。音声コマンド入力ボタン１２１が押されているからである。
【００８１】
ステップ１０３において、音声コマンド入力ボタン１２１を押下しながら、「メール読み上げ」の文字表示を選択した場合、音声コマンド登録処理部１４１Ｃは、表示部１１９に音声コマンド登録の画面を表示させ、押下すべきキーの内容確認を促し、画面の表示に従い、操作キー１１３を用いて「録音」キーを押下して、内側マイクロフォン１２２に向って、画面が切り替わってから一定時間内（例えば５秒以内）に、例えば、「メールヨミアゲ」と音声コマンド１１２を発音させる。録音後音声コマンド登録処理部１４１Ｃは「メールヨミアゲ」との音声コマンド１１２を音声認識処理する。
【００８２】
ステップ１０４において、音声コマンド登録処理部１４１Ｃは、音声認識処理により認識した結果を表示部１１９に表示させる。認識結果に問題がなく、操作キー１１３を用いて登録キーが押下された場合には、メモリ１２６の音声コマンド登録部１２６Ａに「メールヨミアゲ」との音声コマンド１１２を登録処理させる。
ステップ１０５において、音声コマンド１１２の登録処理が完了すると、音声コマンド登録処理部１４１Ｃは表示部１１９に登録完了の表示を行わせる。「ＯＫ」キーを押下することにより、機能表示の画面が携帯端末装置１１１の待ち受け画面になる。
【００８３】
このようにして、「メールヨミアゲ」との音声コマンド１１２の登録動作は、メール機能の呼び出し動作とメール読み上げを行う動作を登録したことになる。
次に、音声コマンド処理部１４１Ｂの動作例を説明する
図１２は図３における制御部１４１の音声コマンド処理部１４１Ｂの動作画面を説明する制御フロー図である。
【００８４】
本図に示すように、ステップ２０１Ａ、２０１Ｂにおいて、まず、ユーザによる操作キー１１３の使用で、表示部１１９のメニューの画面に機能表示が行われ、音声入力のアイコンの選択を可能にする。
ステップ２０２において、音声コマンド入力ボタン１２１を押下しながら、音声入力のアイコンの選択で、音声コマンド処理モードになり、音声コマンドメニュー画面が表示される。音声コマンドメニュー画面には音声コマンド登録処理部１４１Ｃで登録処理された機能名、読み出し動作名が、例えば、以下のように、表示される。
【００８５】
機能名 呼び出し名
１．カメラ ・カメラシャッタ
・サイセイ
２．テレビリモコン ・テレビデンゲン
・ボリュームアップ
・ボリュームダウン
・チャンネルアップ
・チャンネルダウン
３．レイゾウコ ・ザイコカンリ
リモコン ・センドカンリ
４．インターネット ・テンキヨホウ
５．デンワチョウ ・ジホウ
６．メール ・メールヨミアゲ
７．ショウメイ ・ショウメイデンゲン
リモコン
８．ムセンラン ・プリンタシュツリョク
・ファイルカンリ
【００８６】
このように、ユーザの携帯端末装置１１１の音声コマンド登録処理部１４１Ｃに登録されている全ての音声コマンド１１２を一覧表示するメニューを設け、一覧管理が可能になる。音声コマンドメニューを選択し、一覧表示から目的の音声コマンド１１２を、操作キー１１３を用いて、選択実行することが可能になる。また、ユーザが音声コマンド１１２である読み出し名を覚えていなくでも、表示を見れば、読み出し動作名を発音することも可能である。
音声コマンド処理部１４１Ｂは、ユーザがテレビデンゲンと発音すれば、この音声認識を行い、音声コマンド登録部１２６Ａに登録されている音声コマンド１１２と比較し、一致し、テレビデンゲンの音声コマンド１１２を後述するように受理すると、テレビ電源のＯＮ、ＯＦＦの動作の実行を開始する。
このように、少ない操作で機能を実行できるショートカット機能のような使い方ができる。
【００８７】
なお、一覧表示のメニューには編集機能があり、一覧表示の配列を編集することが可能である。
ステップ２０３において、音声コマンド処理部１４１Ｂは、例えば、テレビデンゲンとの音声コマンド１１２を受理すれば、表示部１１９にテレビリモコンが表示され、テレビデンゲンのＯＮ、ＯＦＦの動作が表示される。
【００８８】
また、音声コマンド処理部１４１Ｂは、例えば、ユーザがメールヨミアゲと発音すれば、この音声認識を行い、音声コマンド登録部１２６Ａに登録されている音声コマンド１１２と比較し、一致し、メールヨミアゲの音声コマンド１１２を受理すれば、メールの音声合成を行い、メールの読み上げを実行する。
図１３は図１２における制御部１４１の音声コマンド処理部１４１Ｂの動作例を説明するフローチャートを示す図である。
【００８９】
ステップ２０１において、まず、音声コマンド処理部１４１Ｂは、マイクロフォン１２２又はマイクロフォン１２４から入力した音声を音声コマンド１１２として認識させるため、ユーザが音声コマンド入力ボタン１２１を押下した場合にはステップ２０２に進む。ユーザが音声コマンド入力ボタン１２１を押下し音声コマンド１１２を発音した後に音声コマンド入力ボタン１２１の押下を解除した場合にはステップ２１５に進む。
【００９０】
ステップ２０２において、音声コマンド処理部１４１Ｂは、音声コマンド入力ボタン１２１が押下された場合、スピーカ／マイク切替部１４１Ａに対して、開閉検出センサ１２７の検出情報により携帯端末装置１１１の筐体が開閉状態か否かを判断させる。
ステップ２０３において、音声コマンド処理部１４１Ｂは、携帯端末装置１１１の筐体が開いた状態の場合、マイク／スピーカ系統切替スイッチ１３２、１３３を切り替えし、内側マイクロフォン１２２、内側スピーカ１２３を有効にし、ステップ２０５に進む。
【００９１】
ステップ２０４において、音声コマンド処理部１４１Ｂは、携帯端末装置１１１の筐体が閉じた状態の場合、マイク／スピーカ系統切替スイッチ１３２、１３３を切り替え、外側マイクロフォン１２４、外側スピーカ１２５を有効にする。
ステップ２０５において、音声コマンド処理部１４１Ｂは音声コマンド入力カウンタ（図示しない）のインクリメント処理を行う。
【００９２】
ステップ２０６において、音声コマンド処理部１４１Ｂは、内側マイクロフォン１２２又は外側マイクロフォン１２４から音声コマンド１１２の入力処理を行う。
ステップ２０７において、音声コマンド処理部１４１Ｂは音声コマンド入力カウンタの上限値を越えたか否かを判断する。超えない場合、ステップ２０８に進まず、処理を終了し、超えるのを待ち又は音声コマンド入力ボタン１２１の押下の解除を待つ。
【００９３】
ステップ２０８において、音声コマンド処理部１４１Ｂは、音声コマンド入力カウンタの上限値を越えた場合、入力した音声コマンド１１２について音声認識解析の処理を行う。
ステップ２０９において、音声コマンド処理部１４１Ｂは、音声認識解析の処理をした結果、メモリ１２６の音声コマンド登録部１２６Ａに、図５〜図１１に説明したように、予め登録されている音声コマンド１１２と一致するか否かを判断する。一致しない場合、ステップ２１２に進む。
【００９４】
ステップ２１０において、音声コマンド処理部１４１Ｂは、一致する場合、音声コマンド１１２を受理した旨の合図としてコマンド受理通知音（ピピッ）を内側スピーカ１２３又は外側スピーカ１２５から出力し鳴らす。
ステップ２１１において、音声コマンド処理部１４１Ｂは、音声コマンド１１２に該当し、予め登録しておいた機能、操作を実行し、本処理を終了する。
【００９５】
ステップ２１２において、音声コマンド処理部１４１Ｂは、音声コマンド１１２を受理しなかった合図としてコマンド不受理通知音（ピピピ）を内側スピーカ１２３又は外側スピーカ１２５から出力し鳴らす。
ステップ２１３において、音声コマンド処理部１４１Ｂは、現在動作中の音声コマンド処理があれば、動作を終了する。
【００９６】
ステップ２１４において、音声コマンド処理部１４１Ｂは音声コマンド入力カウンタ＝０とし、初期化を行い、本処理を終了する。
ステップ２１５において、音声コマンド入力カウンタ＝０か否かを判断する。音声コマンド入力カウンタ＝０なら処理を終了する。音声コマンド入力カウンタ＝０でない場合にはステップ２０８に進む。ユーザが音声コマンド１１２の入力を終えて、音声コマンド入力ボタン１２１の押下を解除した場合、音声コマンド１１２の音声認識解析が行われる。
【００９７】
したがって、本発明によれば、携帯端末装置の小さな操作部、表示部によるマルチタスクの操作性の困難性を改善する。画面表示を必要としない音声コマンドによる機能実行と、キー操作による機能実行が独立して実行できるので、小さな筐体でも容易に２つの機能を同時に利用できるようになるためである。
また、携帯端末装置の有する機能／操作全般に対して音声コマンドが登録できるので、多機能で複数の通信手段をもった携帯端末装置においても、目的の機能実行のためにその手段を気にすることなく、ユーザの嗜好に合わせて操作性を向上することができる。
【００９８】
また、ボタン操作と音声入力のみでユーザの携帯端末装置が有する機能を実行／終了できるので、暗闇においても容易に操作できる。
また、携帯端末装置の筐体を閉じたままでユーザの携帯端末装置が有する機能を実行できるので、画面表示、バックライトなどの使用が少なくて済み省電力化できる。
次に、図１２の動作例を参照して、代表的な例の説明を行う。
【実施例７】
【００９９】
図１３の動作例を参照して、時報に対する音声コマンド１１２による機能の実行処理例を以下に説明する。
例えば、ユーザが操作キー１１３によりメールを作成しながら局番１１７の時報を聞く場合、ユーザは音声コマンド入力ボタン１２１を押下したまま（ステップ２０１：Ｙ）、所定時間内に予め登録しておいた音声コマンド１１２「ジホウ」を第１系統の内側マイクロフォン１２２に向って発音し、音声データの入力を行う（ステップ２０２〜２０６）。
【０１００】
ユーザが所定時間内に「ジホウ」を発音し終え押下していた音声コマンド入力ボタン１２１を解除した場合（ステップ２０１、２１５）、入力された音声データは音声認識による音声コマンド解析処理が行われる（ステップ２０８）。
解析の結果、ユーザが予め登録しておいた音声コマンド１１２と一致すると、通知音「ピピッ」（ステップ２１０）と共に音声コマンド１１２「ジホウ」の対応動作として、ユーザが予め登録しておいた、局番１１７のダイヤル実行を開始する（ステップ２１１）。
【０１０１】
時報を聞き終えた後、通話中の電話回線を切断する場合は、ユーザは無言のまま音声コマンド入力ボタン１２１のみを短時間押下することで、終話処理することが可能になる。
無言のまま音声コマンド入力ボタン１２１を短時間押下することで、音声コマンド入力ボタン１２１の開放時（ステップ２０１：Ｎ）、音声コマンド入力カウンタが０でない判別（ステップ２１５）となり、また無声入力のため音声コマンド解析処理（ステップ２０８：Ｎ）となるため、コマンド不受理の判断（ステップ２０９）となるため、コマンド不受理の通知音「ピピピ」（ステップ２１２）と共に、現在動作中の音声コマンド１１２「ジホウ」が強制終了（ステップ２１３）することになるためである。以下同様である。
【０１０２】
このようにして、操作キー１１３でメールを作成しつつ音声入力でジホウを聞くことが可能になる。
【実施例８】
【０１０３】
図１３の動作例を参照して、テレビジョン１３５に対する音声コマンド１１２による機能の実行処理例を以下に説明する。
例えば、ユーザが操作キー１１３によりメールを作成しながらテレビジョン１３５を見る場合、ユーザは音声コマンド入力ボタン１２１を押下したまま（ステップ２０１：Ｙ）、所定時間内に予め登録しておいた音声コマンド１１２「テレビデンゲン」を第１系統の内側マイクロフォン１２２に向って発音し、音声データの入力を行う（ステップ２０２〜２０６）。
【０１０４】
ユーザが所定時間内に「テレビデンゲン」を発音し終え押下していた音声コマンド入力ボタン１２１を解除した場合（ステップ２０１、２１５）、入力された音声データは音声認識による音声コマンド解析処理が行われる（ステップ２０８）。
解析の結果、ユーザが予め登録しておいた音声コマンド１１２と一致すると、通知音「ピピッ」（ステップ２１０）と共に音声コマンド１１２「テレビデンゲン」の対応動作として、ユーザが予め登録しておいた、テレビジョン１３５の電源がＯＮ又はＯＦＦする実行を開始する（ステップ２１１）。
【０１０５】
メール作成後には携帯端末装置１１１の筐体を閉じると、第２系統の外側マイクロフォン１２４に切り替わり、音声入力でテレビジョン１３５のボリューム調整、チャンネル切り替えのリモコンとして使用可能である。このように、携帯端末装置１１１の筐体を閉じてもリモコンの機能を持たせるので、表示部１１９のＬＣＤのバックライトの電力消費を防止できる。
【０１０６】
このようにして、操作キー１１３でメールを作成しながら音声入力でテレビジョン１３５のリモコン制御を行うことが可能になる。
【実施例９】
【０１０７】
図１３の動作例を参照して、カメラ１２８に対する音声コマンド１１２による機能の実行処理として、操作キー１１３でメール作成しながら、音声コマンド入力ボタン１２１を押下し「カメラシャッタ」の音声入力でカメラ１２８により撮影を行い撮影した写真を、操作キー１１３でメールに貼り付けることができる。
【実施例１０】
【０１０８】
図１３の動作例を参照して、サーバー１３６に対する音声コマンド１１２による機能の実行処理例として、操作キー１１３でカメラ１２８の写真の再生をしながら、音声コマンド入力ボタン１２１を押下し「プリンタシュツリョク」の音声入力で必要な写真をサーバー１３６に対してプリンタ出力を行うことができる。
【実施例１１】
【０１０９】
図１３の動作例を参照して、冷蔵庫１３７に対する音声コマンド１１２による機能の実行処理として、操作キー１１３で携帯電話をしながら、音声コマンド入力ボタン１２１を押下し「ザイコカンリ」の音声入力で冷蔵庫１３７に在る料理の素材の種類、量の情報を得て、不足している素材の配達、買出しを通話の相手に頼むことができる。
【実施例１２】
【０１１０】
図１３の動作例を参照して、携帯端末装置１１１の筐体を閉じた状態で、テレビジョン１３５、冷蔵庫１３７に対して音声コマンド入力ボタン１２１を押下して外側マイクロフォン１２４を用いて音声入力によりリモコン機能を実行させることができる。
通常、携帯端末装置１１１のリモコン機能は筐体を開いて操作キー１１３を用いて行うが、操作キー１１３を使用する必要がなくなるためである。
【実施例１３】
【０１１１】
図３において、制御部１４１の音声コマンド処理部１４１Ｂは音声認識処理による音声コマンド解析処理を行うとして説明したが、さらに、声紋解析機能を備え、音声コマンド登録処理部１４１Ｃは、メモリ１２６の音声コマンド登録部１２６Ａに内側マイクロフォン１２２又は外側マイクロフォン１２４から入力したユーザの音声の声紋を登録し、音声コマンド処理部１４１Ｂは、音声コマンドの音声認識処理の前に内側マイクロフォン１２２又は外側マイクロフォン１２４から入力した音声の声紋の解析を行う。これにより、第３者による不正使用、隣人の声などによる誤動作を防止することが可能になる。
【実施例１４】
【０１１２】
図１３において、音声コマンド処理部１４１Ｂが音声コマンド１１２の解析処理の結果、音声コマンド１１２が一致し、音声コマンド１１２を受理した場合、音声コマンド受理通知音「ピピッ」を内側スピーカ１２３又は外側スピーカ１２５より鳴らすと説明したが、音声コマンド処理部１４１Ｂは、音声コマンド通知音「ピピッ」に代わり、５０音の音声データによる音声合成により受理した音声コマンド１１２、例えば、「ジホウ」などを内側スピーカ１２３又は外側スピーカ１２５から復唱させる。これにより、正しく音声コマンド１１２が受理されたかどうかをユーザ本人が確認することができる。
【実施例１５】
【０１１３】
図１において、内側マイクロフォン１２２又は外側マイクロフォン１２４から入力した音声を音声コマンド１１２として認識するために音声コマンド入力ボタン１２１を押下するとして説明したが、音声コマンド入力ボタン１２１は専用のボタンである必要は無く、既存のテンキー、機能キー等を含んだ操作キー１１３、ポインティングデバイス等で代替してもよい。これにより、システムの簡素化が図れる。
【産業上の利用可能性】
【０１１４】
以上の説明は折り畳み式の携帯端末装置について行ったが、本発明は、これに限定されず、折りたたみ式ではない棒状の携帯端末装置にも利用可能であり、さらに、携帯電話機、ＰＨＳ（簡易携帯電話機）、ＰＤＡ（携帯情報端末）にも利用可能である。
【図面の簡単な説明】
【０１１５】
【図１】本発明に係る、音声認識機能を備えた携帯端末装置のマルチタスクシステムの概略を説明する全体図である。
【図２】図１の携帯端末装置１１１の概略を示す外観図である。
【図３】図１の携帯端末装置１１１の概略構成を示すブロック図である。
【図４】表示部１１９に表示される機能表示のメニューを説明する概略図である。
【図５】図３における制御部１４１の音声コマンド登録処理部１４１Ｃの動作画面例で赤外線１１５によるテレビジョン１３５のリモコン機能に対する音声コマンド１１２の登録を説明する制御フロー図である。
【図６】図５の第１の変形例で時報に対する音声コマンド１１２の登録を説明する制御フロー図である。
【図７】図５の第２の変形例で天気予報に対する音声コマンド１１２の登録を説明する制御フロー図である。
【図８】図５の第３の変形例でカメラシャッタに対する音声コマンド１１２の登録を説明する制御フロー図である。
【図９】図５の第４の変形例で無線ＬＡＮ用の電波１１６によるサーバー１３６に対する音声コマンド１１２の登録を説明する制御フロー図である。
【図１０】図５の第５の変形例でＢＬＵＥＴＯＯＴＨ用の電波１１７による冷蔵庫１３７に対する音声コマンド１１２の登録を説明する制御フロー図である。
【図１１】図５の第６の変形例でメール読み上げに対する音声コマンド１１２の登録を説明する制御フロー図である。
【図１２】図３における制御部１４１の音声コマンド処理部１４１Ｂの動作画面を説明する制御フロー図である。
【図１３】図１２における制御部１４１の音声コマンド処理部１４１Ｂの動作例を説明するフローチャートを示す図である。
【符号の説明】
【０１１６】
１１１…携帯端末装置
１１２…音声コマンド
１１３…操作キー
１１４…基地局に対する電波
１１５…赤外線
１１６…無線ＬＡＮ用の電波
１１７…ＢＬＵＥＴＯＯＴＨ用の電波
１１８…アンテナ
１１９…表示部
１２１…音声コマンド入力ボタン
１２２…内側マイクロフォン
１２３…内側スピーカ
１２４…外側マイクロフォン
１２５…外側スピーカ
１２６…メモリ
１２６Ａ…音声コマンド登録部
１２７…開閉検出センサ
１２８…カメラ
１２９…Ｉｒ入出力回路
１３０…ＢＬＵＥＴＯＯＴＨ回路
１３１…マイク／スピーカ系統切替信号
１３２、１３３…マイク／スピーカ系統切替スイッチ
１３４…電話回線／インターネット
１３５…テレビジョン
１３６…サーバー
１３７…冷蔵庫
１４０…無線部
１４１…制御部
１４１Ａ…スピーカ／マイク切替部
１４１Ｂ…音声コマンド処理部
１４１Ｃ…音声コマンド登録処理部
【特許請求の範囲】
【請求項１】
音声認識機能を備えた携帯端末装置のマルチタスクシステムにおいて、
前記携帯端末装置の機能の呼び出し、機能の実行を定義した音声コマンドを登録する音声コマンド登録部と、
押下期間中に前記携帯端末装置のマイクロフォンからの音声を音声コマンドとして入力するための音声コマンド入力ボタンと、
前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンに入力した音声を音声認識処理し、認識結果を音声コマンドとして前記音声コマンド登録部に登録させる音声コマンド登録処理部と、
前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンから音声コマンドを入力し、前記音声コマンド入力ボタンの押下解除後に入力した音声コマンドを音声認識処理し、認識結果が前記音声コマンド登録部に登録されている音声コマンドと一致し受理された場合には受理した音声コマンドに対応する機能を呼び出し、機能の操作を実行する音声コマンド処理部とを備えることを特徴とする、音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項２】
前記携帯端末装置の操作キーと前記音声コマンド処理部とが独立して前記携帯端末装置の機能を呼び出し、機能を実行することを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項３】
前記音声コマンド登録処理部は、前記携帯端末装置の複数の機能を選択可能に表示部にアイコン表示させ、選択された機能に対して前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンに入力した音声を音声認識処理し、認識結果を音声コマンドとして登録させることを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項４】
前記音声コマンド登録処理部は、前記携帯端末装置の複数の機能を選択可能に表示部にアイコン表示させ、選択された機能名を表示し機能名の発音の録音をガイドする画面、録音後音声認識処理した認識結果の登録をガイドする画面、登録完了の画面を表示することを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項５】
前記音声コマンド処理部は、前記携帯端末装置の複数の機能を選択可能に表示部に表示させたアイコン表示から選択された音声入力の機能に対して前記音声コマンド入力ボタンが押下された場合、前記音声コマンド登録部に登録された音声コマンドの一覧表示を行い、目的の音声コマンドの選択実行を可能にすることを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項６】
前記音声コマンド処理部は、認識結果として音声コマンドを受理した場合コマンド受理通知音を鳴らし、音声コマンドを受理しない場合コマンド不受理通知音を鳴らすことを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項７】
前記音声コマンド処理部は、音声合成機能を有し、音声コマンドを受理した場合受理した音声コマンドを音声合成で前記携帯端末装置のスピーカから復唱することを特徴とする、請求項１の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項８】
前記音声コマンド処理部は、前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンから音声コマンドを入力し、前記音声コマンド入力ボタンの押下解除前に一定時間を経過した場合には入力した音声コマンドを音声認識処理することを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項９】
前記音声コマンド処理部は、機能の操作を実行させた後に前記音声コマンド入力ボタンが押下後無言で音声コマンドの入力が無く押下解除された場合には実行している機能の操作を強制終了させることを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１０】
前記音声コマンド処理部は声紋解析機能を有し、前記音声コマンド登録処理部Ｃは、前記音声コマンド登録部にマイクロフォンから入力したユーザの声紋を登録させ、前記音声コマンド処理部は、音声コマンドの音声認識処理の前にマイクロフォンから入力した声紋の解析を行うことを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１１】
前記音声コマンド入力ボタンはノンロックタイプのボタンで前記携帯端末装置の側面に位置することを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１２】
前記音声コマンド入力ボタンは前記携帯端末装置のテンキー、機能キー、ポインティングデバイスの中から１つを選択して用いられることを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１３】
前記音声コマンド処理は、メール、カメラ、電卓、メモ、インターネット、辞書、電話帳、スケジュール、リモコン、音声入力の機能の呼び出し、機能の操作の実行を行うことを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１４】
前記リモコンの機能には赤外線を用いるテレビジョン、無線ＬＡＮ用の電波を用いるサーバー、ＢＬＵＥＴＯＯＴＨ用の電波を用いる冷蔵庫、照明を含む家電製品のリモコンの機能を含むことを特徴とする、請求項１０に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１５】
前記携帯端末装置のマルチタスクシステムは、操作キーでメールの機能を読み出しメールを作成しながら、前記音声コマンド処理部では、電話帳の機能を呼び出し、時報を聞く機能の操作処理を可能にする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１６】
前記携帯端末装置は折り畳み式であり、内側、外側に一対のマイクロフォン、スピーカ、さらに、前記携帯端末装置の開閉を検出する開閉検出センサを有し、前記携帯端末装置が開いている場合に内側の一対のマイクロフォン、スピーカのみを有効にし、前記携帯端末装置が閉じている場合には外側の一対のマイクロフォン、スピーカのみを有効にし、前記音声コマンド処理部は、前記携帯端末装置が開いている場合には内側のマイクロフォンから音声コマンドを入力し、前記携帯端末装置が閉じている場合には外側のマイクロフォンから音声コマンドを入力することを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１７】
前記携帯端末装置のマルチタスクシステムは、前記携帯端末装置を開いた状態で操作キーでメールの機能を読み出しメールを作成しながら、前記音声コマンド処理部では、テレビジョンの機能を呼び出し、テレビ電源を入れる機能の操作を可能にし、操作キーによるメール作成が終了し前記携帯端末装置が閉じた状態で、テレビジョンのボリューム調整、チャンネル切り替えの機能の操作を行うことを特徴とする、請求項１６に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１８】
前記携帯端末装置のマルチタスクシステムは、前記音声コマンド処理部では、前記携帯端末装置が閉じた状態で、テレビジョンの機能を呼び出し、テレビ電源を入れる機能の操作、ボリューム調整、チャンネル切り替えの機能の操作を行うことを特徴とする、請求項１６に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１９】
音声認識機能を備えた携帯端末装置のマルチタスク方法において、
前記携帯端末装置の複数の機能から１つを選択し、音声コマンド入力ボタンの押下期間中に前記携帯端末装置のマイクロフォンから音声を入力する工程と、
入力した前記音声を音声認識処理する工程と、
音声認識処理した認識結果を、前記携帯端末装置の機能の呼び出し、機能の実行を定義した音声コマンドとして登録する工程と、
前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンに音声コマンドを入力する工程と、
前記音声コマンド入力ボタンの押下解除後に入力した音声コマンドの音声認識処理を行う工程と、
音声コマンドを音声認識処理した認識結果と登録された音声コマンドが一致する場合に音声コマンドを受理する工程と、
受理した音声コマンドに対応する前期携帯端末装置の機能を呼び出し、機能の操作を実行する工程とを備えることを特徴とする、音声認識機能を備えた携帯端末装置のマルチタスク方法。
【請求項１】
音声認識機能を備えた携帯端末装置のマルチタスクシステムにおいて、
前記携帯端末装置の機能の呼び出し、機能の実行を定義した音声コマンドを登録する音声コマンド登録部と、
押下期間中に前記携帯端末装置のマイクロフォンからの音声を音声コマンドとして入力するための音声コマンド入力ボタンと、
前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンに入力した音声を音声認識処理し、認識結果を音声コマンドとして前記音声コマンド登録部に登録させる音声コマンド登録処理部と、
前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンから音声コマンドを入力し、前記音声コマンド入力ボタンの押下解除後に入力した音声コマンドを音声認識処理し、認識結果が前記音声コマンド登録部に登録されている音声コマンドと一致し受理された場合には受理した音声コマンドに対応する機能を呼び出し、機能の操作を実行する音声コマンド処理部とを備えることを特徴とする、音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項２】
前記携帯端末装置の操作キーと前記音声コマンド処理部とが独立して前記携帯端末装置の機能を呼び出し、機能を実行することを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項３】
前記音声コマンド登録処理部は、前記携帯端末装置の複数の機能を選択可能に表示部にアイコン表示させ、選択された機能に対して前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンに入力した音声を音声認識処理し、認識結果を音声コマンドとして登録させることを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項４】
前記音声コマンド登録処理部は、前記携帯端末装置の複数の機能を選択可能に表示部にアイコン表示させ、選択された機能名を表示し機能名の発音の録音をガイドする画面、録音後音声認識処理した認識結果の登録をガイドする画面、登録完了の画面を表示することを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項５】
前記音声コマンド処理部は、前記携帯端末装置の複数の機能を選択可能に表示部に表示させたアイコン表示から選択された音声入力の機能に対して前記音声コマンド入力ボタンが押下された場合、前記音声コマンド登録部に登録された音声コマンドの一覧表示を行い、目的の音声コマンドの選択実行を可能にすることを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項６】
前記音声コマンド処理部は、認識結果として音声コマンドを受理した場合コマンド受理通知音を鳴らし、音声コマンドを受理しない場合コマンド不受理通知音を鳴らすことを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項７】
前記音声コマンド処理部は、音声合成機能を有し、音声コマンドを受理した場合受理した音声コマンドを音声合成で前記携帯端末装置のスピーカから復唱することを特徴とする、請求項１の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項８】
前記音声コマンド処理部は、前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンから音声コマンドを入力し、前記音声コマンド入力ボタンの押下解除前に一定時間を経過した場合には入力した音声コマンドを音声認識処理することを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項９】
前記音声コマンド処理部は、機能の操作を実行させた後に前記音声コマンド入力ボタンが押下後無言で音声コマンドの入力が無く押下解除された場合には実行している機能の操作を強制終了させることを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１０】
前記音声コマンド処理部は声紋解析機能を有し、前記音声コマンド登録処理部Ｃは、前記音声コマンド登録部にマイクロフォンから入力したユーザの声紋を登録させ、前記音声コマンド処理部は、音声コマンドの音声認識処理の前にマイクロフォンから入力した声紋の解析を行うことを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１１】
前記音声コマンド入力ボタンはノンロックタイプのボタンで前記携帯端末装置の側面に位置することを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１２】
前記音声コマンド入力ボタンは前記携帯端末装置のテンキー、機能キー、ポインティングデバイスの中から１つを選択して用いられることを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１３】
前記音声コマンド処理は、メール、カメラ、電卓、メモ、インターネット、辞書、電話帳、スケジュール、リモコン、音声入力の機能の呼び出し、機能の操作の実行を行うことを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１４】
前記リモコンの機能には赤外線を用いるテレビジョン、無線ＬＡＮ用の電波を用いるサーバー、ＢＬＵＥＴＯＯＴＨ用の電波を用いる冷蔵庫、照明を含む家電製品のリモコンの機能を含むことを特徴とする、請求項１０に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１５】
前記携帯端末装置のマルチタスクシステムは、操作キーでメールの機能を読み出しメールを作成しながら、前記音声コマンド処理部では、電話帳の機能を呼び出し、時報を聞く機能の操作処理を可能にする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１６】
前記携帯端末装置は折り畳み式であり、内側、外側に一対のマイクロフォン、スピーカ、さらに、前記携帯端末装置の開閉を検出する開閉検出センサを有し、前記携帯端末装置が開いている場合に内側の一対のマイクロフォン、スピーカのみを有効にし、前記携帯端末装置が閉じている場合には外側の一対のマイクロフォン、スピーカのみを有効にし、前記音声コマンド処理部は、前記携帯端末装置が開いている場合には内側のマイクロフォンから音声コマンドを入力し、前記携帯端末装置が閉じている場合には外側のマイクロフォンから音声コマンドを入力することを特徴とする、請求項１に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１７】
前記携帯端末装置のマルチタスクシステムは、前記携帯端末装置を開いた状態で操作キーでメールの機能を読み出しメールを作成しながら、前記音声コマンド処理部では、テレビジョンの機能を呼び出し、テレビ電源を入れる機能の操作を可能にし、操作キーによるメール作成が終了し前記携帯端末装置が閉じた状態で、テレビジョンのボリューム調整、チャンネル切り替えの機能の操作を行うことを特徴とする、請求項１６に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１８】
前記携帯端末装置のマルチタスクシステムは、前記音声コマンド処理部では、前記携帯端末装置が閉じた状態で、テレビジョンの機能を呼び出し、テレビ電源を入れる機能の操作、ボリューム調整、チャンネル切り替えの機能の操作を行うことを特徴とする、請求項１６に記載の音声認識機能を備えた携帯端末装置のマルチタスクシステム。
【請求項１９】
音声認識機能を備えた携帯端末装置のマルチタスク方法において、
前記携帯端末装置の複数の機能から１つを選択し、音声コマンド入力ボタンの押下期間中に前記携帯端末装置のマイクロフォンから音声を入力する工程と、
入力した前記音声を音声認識処理する工程と、
音声認識処理した認識結果を、前記携帯端末装置の機能の呼び出し、機能の実行を定義した音声コマンドとして登録する工程と、
前記音声コマンド入力ボタンの押下期間中に前記マイクロフォンに音声コマンドを入力する工程と、
前記音声コマンド入力ボタンの押下解除後に入力した音声コマンドの音声認識処理を行う工程と、
音声コマンドを音声認識処理した認識結果と登録された音声コマンドが一致する場合に音声コマンドを受理する工程と、
受理した音声コマンドに対応する前期携帯端末装置の機能を呼び出し、機能の操作を実行する工程とを備えることを特徴とする、音声認識機能を備えた携帯端末装置のマルチタスク方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−２２１２７０（Ｐ２００６−２２１２７０Ａ）
【公開日】平成１８年８月２４日（２００６．８．２４）
【国際特許分類】
【出願番号】特願２００５−３２００７（Ｐ２００５−３２００７）
【出願日】平成１７年２月８日（２００５．２．８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（３９００１０１７９）埼玉日本電気株式会社 (1,228)
【Ｆターム（参考）】
【公開日】平成１８年８月２４日（２００６．８．２４）
【国際特許分類】
【出願日】平成１７年２月８日（２００５．２．８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（３９００１０１７９）埼玉日本電気株式会社 (1,228)
【Ｆターム（参考）】
[ Back to top ]