端末装置及びプログラム
【課題】音関連機能を含む複数の機能が並行して動作している場合に、音関連機能に対して専用の操作部を設けなくても、バックグラウンド処理として動作中の音関連機能に対する操作を実行できるようにする。
【解決手段】制御部１は、メイン処理（フォアグランド処理）として動作中の機能に並行してバックグラウンド処理として音関連機能が動作中の場合に、メイン操作部４による操作をメイン処理として動作中の機能に割り当てた状態のままであっても、タッチ画面ＴＤ、撮像部１１、集音部１２、筐体動作検出部１３によって検出された使用者の動作に基づいて音関連機能を操作する。
【解決手段】制御部１は、メイン処理（フォアグランド処理）として動作中の機能に並行してバックグラウンド処理として音関連機能が動作中の場合に、メイン操作部４による操作をメイン処理として動作中の機能に割り当てた状態のままであっても、タッチ画面ＴＤ、撮像部１１、集音部１２、筐体動作検出部１３によって検出された使用者の動作に基づいて音関連機能を操作する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、表示部及び操作部を備え、音関連機能を含む複数の機能を並行して動作可能な端末装置及びプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話機の処理能力が年々向上し、音楽を聴きながら受信メールを読んだり、Ｗｅｂアクセスをしたりといった並列処理が可能となってきている。この場合、メイン処理（フォアグランド処理）として、受信メールを閲覧する機能、あるいはインターネット上のｗｅｂページを閲覧する機能を動作させ、バックグラウンド処理として音楽プレイヤ機能を動作させている状態において、選曲のような音楽に関する操作を行なう場合には、音楽プレイヤ機能を一時的にメイン処理として切り替えたのち、バックグラウンド処理に戻すという手順を踏む必要があり、ユーザに負担をかけることになる。
そこで、従来では、第２の操作部を備えることでバックグラウンド処理での音楽プレイヤ機能でも操作可能となるようにした技術が開示されている（特許文献１参照）。
【特許文献１】特開２００４−１７３１３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した先行技術にあっては、音楽再生とそれ以外の機能を並行して実行している場合、バックグラウンド処理として動作中の音楽に関連する機能に対する操作を可能とするために、専用の操作部を備えることで、音楽再生以外の機能を終了させることなく、音楽に関する操作を行うことができるが、専用の操作部を設けることは、コスト高を招くと共に、小型化の支障となる。
【０００４】
この発明の課題は、音関連機能を含む複数の機能が並行して動作している場合に、音関連機能に対して専用の操作部を設けなくても、バックグラウンド処理として動作中の音関連機能に対する操作を実行できるようにすることである。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために請求項１記載の発明は、表示部及び操作部を備え、音関連機能を含む複数の機能を並行して動作可能な端末装置であって、使用者の動作を検出する動作検出手段と、この動作検出手段によって検出される動作と前記音関連機能に関連する操作を対応付けて記憶する記憶手段と、フォアグランド処理として動作中の機能に並行してバックグラウンド処理として前記音関連機能が動作中であるか否かを判別する動作状態判別手段と、この動作状態判別手段によってバックグラウンド処理で前記音関連機能が動作中であると判別された場合に、前記操作部による操作を前記フォアグランド処理として動作中の機能に割り当てる一方、前記動作検出手段によって検出された動作を前記音関連機能に割り当て、この動作検出手段によって使用者の動作が検出された場合に、この動作に対応付けて前記記憶手段に記憶されている前記音関連機能の操作を実行させるように制御する制御手段と、を具備したことを特徴とする。
【０００６】
請求項１に従属する発明として、前記制御手段は、前記バックグラウンド処理で前記音関連機能が動作中であると判別された場合に、前記表示部による表示及び前記操作部による操作を前記フォアグランド処理として動作中の機能に割り当てる、ようにしたことを特徴とする請求項２記載の発明であってもよい。
【０００７】
請求項１に従属する発明として、前記動作検出手段は、前記表示部上の座標位置を入力する座標入力操作を使用者の動作として検出する、ようにしたことを特徴とする請求項３記載の発明であってもよい。
【０００８】
請求項３に従属する発明として、前記操作部が使用可能状態であるか否かを判別する操作部状態判別手段を更に備え、前記制御手段は、前記操作部状態判別手段によって操作部が使用不可能な状態であると判別された場合には、前記動作状態判別手段によってバックグラウンド処理で音関連機能が動作中であると判別されるか否かに拘わらず、前記動作検出手段によって検出された座標入力操作をフォアグランド処理として動作中の機能に割り当てる、ようにしたことを特徴とする請求項４記載の発明であってもよい。
【０００９】
請求項４に従属する発明として、前記制御手段は、前記操作部状態判別手段によって操作部が使用不可能な状態であると判別された場合に、フォアグランド処理として動作中の機能に使用される操作面を前記表示部の一部に設けた状態において、前記動作検出手段によって検出された座標入力操作が前記操作面に対するものであれば、この座標入力操作をフォアグランド処理として動作中の機能に割り当て、前記表示部の他の部分に対するものであれば、当該座標入力操作をバックグラウンド処理として動作中の前記音関連機能に割り当てる、ようにしたことを特徴とする請求項５記載の発明であってもよい。
【００１０】
請求項３に従属する発明として、前記動作検出手段は、前記表示部と座標位置検出部とを備えたタッチ画面上で行われるタッチ操作を使用者の動作として検出し、前記制御手段は、前記タッチ画面へのタッチ操作を前記音関連機能に割り当てる、ようにしたことを特徴とする請求項６記載の発明であってもよい。
【００１１】
請求項１に従属する発明として、前記動作検出手段は、使用者を撮像した画像を解析し、その解析結果を使用者の動作として検出する、ようにしたことを特徴とする請求項７記載の発明であってもよい。
【００１２】
請求項１に従属する発明として、前記動作検出手段は、集音した使用者の音声を認識し、その認識結果を使用者の動作として検出する、ようにしたことを特徴とする請求項８記載の発明であってもよい。
【００１３】
請求項１に従属する発明として、前記動作検出手段は、装置本体が振られた場合に、その振り操作を使用者の動作として検出する、ようにしたことを特徴とする請求項９記載の発明であってもよい。
【００１４】
また、上述した課題を解決するために請求項１０記載の発明は、コンピュータに対して、音関連機能を含む複数の機能を並行処理する手段と、使用者の動作を検出する手段と、前記検出される動作と前記音関連機能に関連する操作を対応付けて記憶管理する手段と、フォアグランド処理として動作中の機能に並行してバックグラウンド処理として前記音関連機能が動作中であるか否かを判別する手段と、前記バックグラウンド処理で前記音関連機能が動作中であると判別された場合に、前記操作部による操作を前記フォアグランド処理として動作中の機能に割り当てる一方、前記検出された動作を前記音関連機能に割り当て、前記使用者の動作が検出された場合に、この動作に対応付けて記憶されている前記音関連機能の操作を実行させるように制御する手段と、を実現させるためのプログラムを特徴とする。
【発明の効果】
【００１５】
この発明によれば、音関連機能を含む複数の機能が並行して動作している場合に、音関連機能に対して専用の操作部を設けなくても、バックグラウンド処理として動作中の音関連機能に対する操作を実行することができ、実用効果の高いものとなる。
【発明を実施するための最良の形態】
【００１６】
以下、図１〜図１０を参照して本発明の実施形態を説明する。
この実施形態は、携帯端末装置として携帯電話装置に適用した場合を例示したもので、図１は、この携帯電話装置の基本的な構成要素を示したブロック図である。
この携帯電話機は、通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）、音楽再生機能、カメラ機能、録音機能、万歩計（登録商標）機能など、各種の機能を備えている。制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこの携帯電話機の全体動作を制御するもので、この制御部１にはＣＰＵ（中央演算処理装置）やメモリなどが設けられている。
【００１７】
記憶部３は、ＲＯＭ、ＲＡＭなどの内部メモリで、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図６〜図１０に示す動作手順に応じて本実施形態を実現するためのプログラムが格納され、また、そのデータ領域には、後述するフラグメモリＦＭ、動作テーブルＭＴなどが設けられている。なお、記憶部３としては、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよい。メイン操作部４は、ダイヤル入力、文字入力、コマンド入力などを行う主要な操作部であり、制御部１は、メイン操作部４からのキー操作信号に応じた処理として、例えば、発信処理など、各種の処理を実行する。
【００１８】
通信部５は、無線部、ベースバンド部、多重分離部などを備え、例えば、通話機能、電子メール機能、インターネット接続機能の動作時に最寄りの基地局との間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調したのち、電話部６を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを電話部６から取り込み、送信ベースバンド信号に符号化したのち、ベースバンド部の送信側に与えてアンテナから発信出力させる。
【００１９】
音楽プレイヤ７は、音楽再生機能を構成するもので、再生対象としてユーザ操作によって任意に選択された音楽コンテンツを記憶部３から読み出して、サウンドスピーカ８から出力させる。表示部９は、例えば、高精細液晶あるいは有機ＥＬなどを使用し、アイコン、文字データ、待受画像、撮影画像などを表示するもので、その表示パネル上に指、器具などの物体の接触位置（座標位置）を検出する座標位置検出部（タッチ操作面を構成する透明な接触センサ）１０を積層配設することによってタッチスクリーン（タッチ画面）ＴＤを構成している。このタッチ画面ＴＤを構成する座標位置検出部１０は、タッチ画面ＴＤ（表示部９）上においてその座標位置を入力する座標入力操作（タッチ操作）を検出する座標入力手段である。
【００２０】
このタッチ画面ＴＤ上で行われる使用者（ユーザ）の動作として、後述する１点タップ、１点ダブルタップ、２点ダブルタップなどのタッチ操作が行われたことを座標位置検出部１０によって検出されると、制御部１は、この使用者の動作（１点タップ、１点ダブルタップ、２点ダブルタップなど）に応じた処理を実行する。また、タッチ画面ＴＤ上に必要に応じて配置されたタッチキー（ソフトフェアキー）へのタッチ操作で、そのタッチキーに対応するキー操作信号が座標位置検出部１０から出力されると、制御部１は、このキー操作信号に応じた処理を実行する。このように表示部９及び座標位置検出部１０によって構成されたタッチ画面ＴＤは、タッチキー操作部として利用されるほか、使用者の動作（タッチ）を検出する動作検出部としても利用される。
【００２１】
撮像部１１は、静止画撮影のほかに動画撮影も可能なカメラ機能を構成するもので、撮影レンズ、レンズ・ミラーブロック、撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、光学ズームを調整制御したり、オートフォーカス時の駆動を制御したり、シャッター駆動を制御したり、露出、ホワイトバランスなどを制御したりする。制御部１は、撮像部１１によって撮像された画像を解析して、例えば、“指を上に振る”、“指を右に振る”などの使用者の動作を検出し、この使用者の動作（ジェスチャ）に応じた処理を実行するようにしている。このように撮像部１１は、カメラ機能として利用されるほか、使用者の動作を検出する動作検出部としても利用される。
【００２２】
集音部１２は、音楽コンテンツなどを録音する録音機能を構成するほか、使用者の音声を入力するマイクで、制御部１は、集音部１２からの入力音声を解析（音声認識）することによって、例えば、“うえ（上）”、“さいせい（再生）”、“ていし（停止）”などの音声指示を使用者の動作として検出し、この使用者の動作（音声指示）に応じた処理を実行するようにしている。このように集音部１２は、録音機能として利用されるほか、使用者の動作を検出する動作検出部としても利用される。
【００２３】
筐体動作検出部１３は、例えば、３軸タイプの加速度センサによって構成され、万歩計（登録商標）機能を構成するもので、制御部１は、この筐体動作検出部１３からの検出結果に応じて装置本体を振ったときの振り方向、例えば、“筐体を上に振る”、“筐体を下に振る”、“筐体を前に突き出す”、“筐体を右に振る”、“筐体を左に振る”を使用者の動作として検出し、この使用者の動作（筐体の振り）に応じた処理を実行するようにしている。このように筐体動作検出部１３は、万歩計（登録商標）機能として利用されるほか、使用者の動作を検出する動作検出部としても利用される。スタイル検出部１４は、装置本体を構成する複数の筐体の連結状態に応じて装置本体のスタイルを検出するもので、例えば、磁気センサ、マイクロスイッチ、機械的スイッチなどを有する構成で、制御部１は、スタイル検出部１４からの各検出信号に基づいて装置本体の各スタイルを判別するようにしている。
【００２４】
図２は、携帯電話機の外観図である。
携帯電話機は、その装置本体を構成する複数の筐体の連結状態に応じて複数のスタイルに変更可能な２軸ヒンジタイプの電話装置であり、装置本体を構成する操作部筐体Ａと表示部を有する表示部筐体Ｂとを折り畳み開閉自在及び回動自在にヒンジ部Ｃを介して連結した２軸ヒンジタイプである。このヒンジ部Ｃには操作部筐体Ａと表示部筐体Ｂとを折り畳み開閉するための開閉用ヒンジ軸が設けられているほか、この開閉用ヒンジ軸と略直交して、一方の筐体を他方の筐体に対して回動するための回動用ヒンジ軸とが設けられており、このヒンジ部Ｃを介して操作部筐体Ａと表示部筐体Ｂとは折り畳み開閉自在及び回動自在に連結されている。
【００２５】
このような２軸ヒンジタイプの携帯電話装置は、操作部筐体Ａと表示部筐体Ｂとが、どのように連結されているかに応じて携帯電話装置の形態を複数のスタイル（クローズスタイル、オープンスタイル、ビュースタイルなど）に変更可能なもので、図２（１）は、操作部筐体Ａと表示部筐体Ｂとの折り畳みを開いた状態のオープンスタイルを示している。なお、操作部筐体Ａの内面側には、図１で示した操作部４が配置され、表示部筐体Ｂの内面側には、図１で示したタッチ画面ＴＤが配置されている。したがって、オープンスタイルでは操作部４及びタッチ画面ＴＤが使用可能となると共にその表示内容が視認可能となる。図２（２）は、上述のオープンスタイルから操作部筐体Ａに対して表示部筐体Ｂを１８０°回転させたのち、操作部筐体Ａに対して表示部筐体Ｂを折り畳んだ状態のビュースタイルを示し、このビュースタイルでは操作部４が表示部筐体Ｂによって覆い隠されるが、タッチ画面ＴＤは露出した状態となる。
【００２６】
図３は、フラグメモリＦＭを説明するための図である。
フラグメモリＦＭは、動作中フラグＭＦ、検出部フラグＤＦ、スタイルフラグＳＦを記憶するもので、図３（１）〜（３）は、動作中フラグＭＦ、検出部フラグＤＦ、スタイルフラグＳＦの内容を示している。動作中フラグＭＦは、音関連機能（音関連アプリケーション）の動作状態を示すフラグである。すなわち、動作中フラグＭＦは、音楽プレイヤ７の動作状態を示すフラグで、図３（１）に示すように、その値が“０”のときには、音楽プレイヤ７が動作していないことを示し、その値が“１”のときには、音楽プレイヤ７がメイン処理（フォアグランド処理）として動作中であることを示し、その値が“２”のときには、音楽プレイヤ７がバックグランド処理として動作中であることを示している。
【００２７】
検出部フラグＤＦは、音楽プレイヤ７がバックグランド処理として動作している場合に、使用者の動作（タッチ、音声指示、筐体の振り、ジェスチャ）に応じた各種の操作手段のうち、どの操作手段をバックグランド処理に対する操作手段として使用するかを示すフラグである。すなわち、検出部フラグＤＦは、図３（２）に示すように、その値が“０”のときには、バックグランド処理として動作中の音楽プレイヤ７に対する操作を行わないことを示し、その値が“１”のときには、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、座標位置検出部１０からの検出結果を使用することを示している。また、検出部フラグＤＦの値が“２”のときには、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、撮像部１１からの検出結果を使用することを示し、その値が“３”のときには、集音部１２からの検出結果を使用することを示し、その値が“４”のときには、筐体動作検出部１３からの検出結果を使用することを示している。
【００２８】
スタイルフラグＳＦは、メイン操作部４が使用不可能となる特定スタイルであることを示すフラグで、図３（３）に示すように、その値が“０”のときには、ビュースタイル以外のスタイル（特定スタイル以外のスタイル）であることを示し、その値が“１”のときには、メイン操作部４が使用不可能となるビュースタイル（特定スタイル）であることを示している。なお、この実施形態では、２軸ヒンジタイプの携帯電話機に適用した場合を例示したが、操作部筐体Ａの上を表示部筐体Ｂがスライドすることによって開閉するスライドタイプの携帯電話機の場合、メイン操作部４が使用不可能となるのは、操作部筐体Ａの上に表示部筐体Ｂが重なる閉状態であるから、スタイルフラグＳＦの値が“０”のときには、操作部筐体Ａと表示部筐体Ｂとが開いている開状態を示し、“１”
のときには、閉状態を示す。
【００２９】
図４は、動作テーブルＭＴを説明するための図である。
動作テーブルＭＴは、バックグランド処理として動作している音関連機能（音関連アプリケーション）に対する操作手段として、使用者の各種の動作（タッチ、音声指示、筐体の振り、ジェスチャ）に応じた操作手段をそれぞれ定義するためのテーブルである。この動作テーブルＭＴには、「音関連機能に対する操作内容」、「検出部フラグ別の使用者の動作」の項目を有している。ここで、検出部フラグＤＦの値が“１”の場合において、「使用者の動作」には“２点間拡大ドラッグ”、“２点間縮小ドラッグ”、“１点タップ”、“１点ダブルタップ”、“２点ダブルタップ”が設定されている。この“２点間拡大ドラッグ”は、タッチ画面ＴＤ上において２本の指の間隔を徐々に開きながらドラッグするタッチ動作で、これに対応する「操作内容」には音楽プレイヤ７の設定音量を上げることを指示する“音量アップ”が設定されている。
【００３０】
“２点間縮小ドラッグ”は、タッチ画面ＴＤ上において２本の指の間隔を徐々に狭めながらドラッグするタッチ動作で、これに対応する「操作内容」には音楽プレイヤ７の設定音量を下げることを指示する“音量ダウン”が設定されている。“１点タップ”は、タッチ画面ＴＤ上の１点を１回タッチする動作で、これに対応する「操作内容」には“再生”、“停止”が設定されており、音楽プレイヤ７が停止している状態で“１点タップ”の動作が行われると、音楽プレイヤ７に対して再生を指示し、音楽プレイヤ７の再生中に“１点タップ”
の動作が行われると、音楽プレイヤ７に対して再生の“停止”を指示する。“１点ダブルタップ”は、タッチ画面ＴＤ上の１点を２回連続してタッチする動作で、これに対応する「操作内容」には次の音楽コンテンツを再生対象として指定する“次コンテンツ”
が設定されている。“２点ダブルタップ”は、タッチ画面ＴＤ上の２点を２回連続してタッチする動作で、これに対応する「操作内容」には一つ前の音楽コンテンツを再生対象として指定する“前コンテンツ”
が設定されている。
【００３１】
また、検出部フラグＤＦの値が“２”の場合において、「使用者の動作」には“指を上に振る”、“指を下に振る”、“指を前に突き出す”、“指を右に振る”、“指を左に振る”が設定され、これに対応する「操作内容」には、“音量アップ”、“音量ダウン”、“再生”／“停止”、“次コンテンツ”、“前コンテンツ”が設定されている。なお、“指を前に突き出す”に対応する「操作内容」には“再生”、“停止”が設定されており、音楽プレイヤ７が停止している状態で“指を前に突き出す”の動作が行われると、音楽プレイヤ７に対して再生を指示し、音楽プレイヤ７の再生中に“指を前に突き出す”の動作が行われると、音楽プレイヤ７に対して再生の“停止”を指示する。
【００３２】
検出部フラグＤＦの値が“３”の場合において、「使用者の動作」には“音声（うえ）”、“音声（した）”、“音声（さいせい）”、“音声（ていし）”、“音声（つぎ）”、“音声（まえ）”が設定され、これに対応する「操作内容」には、“音量アップ”、“
音量ダウン”、“再生”、“停止”、“次コンテンツ”、“前コンテンツ”が設定されている。検出部フラグＤＦの値が“４”の場合において、「使用者の動作」には“筐体を上に振る”、“筐体を下に振る”、“筐体を前に突き出す”、“筐体を右に振る”、“筐体を左に振る”が設定され、これに対応する「操作内容」には、“音量アップ”、“
音量ダウン”、“再生”／“停止”、“次コンテンツ”、“前コンテンツ”が設定されている。なお、“筐体を前に突き出す”に対応する「操作内容」には“再生”、“停止”が設定されており、音楽プレイヤ７が停止している状態で“筐体を前に突き出す”の動作が行われると、音楽プレイヤ７に対して再生を指示し、音楽プレイヤ７の再生中に“筐体を前に突き出す”の動作が行われると、音楽プレイヤ７に対して再生の“停止”を指示する。
【００３３】
図５は、アプリケーション動作中での表示例を示した図である。
図５（１）は、タッチ画面ＴＤが露出した状態となるビュースタイル以外のスタイルにおいて、音楽プレイヤ７以外のアプリケーション（メール機能）がメイン（フォアグランド）処理として動作中の表示例を示した図である。この場合、メイン処理として動作中のアプリケーション（メール機能）に対する操作手段としては、メイン操作部４のほか、使用者の各種の動作（タッチ、音声指示、筐体の振り、ジェスチャ）に応じた操作手段がそれぞれ使用可能となる。なお、図中、「メール」は、メイン処理でメール機能が動作中であることを示している。
【００３４】
図５（２）は、タッチ画面ＴＤが露出した状態となるビュースタイル以外のスタイルにおいて、音楽プレイヤ７以外のアプリケーション（メール機能）がメイン処理として動作中の場合に、そのバックグランド処理として音楽プレイヤ７が動作中である場合の表示例を示した図である。この場合、図中、音符マークは、バックグランド処理として音楽プレイヤ７が動作中であることを示している。この場合、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段としては、タッチ画面ＴＤの領域全体が割り当てられている。なお、図５（２）は、図５（１）に音符マークを追加したものとなる。
【００３５】
図５（３）は、ビュースタイルにおいて、音楽プレイヤ７以外のアプリケーション（メール機能）がメイン処理として動作中の場合に、バックグランド処理として音楽プレイヤ７が動作中である場合の表示例を示した図である。この場合、タッチ画面ＴＤ内にメイン処理に対する操作面として、各種のタッチキー（ソフトフェアキー）を割り当て配置したキー操作パネルＫＰを設け、このキー操作パネルＫＰ内のいずれかのタッチキーが接触された際に、制御部１は、そのキー操作信号に応じた処理を実行する。この場合、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段としては、タッチ画面ＴＤにおいてキー操作パネルＫＰ以外の領域全体が割り当てられている。
【００３６】
すなわち、メイン処理として動作中の機能に使用される操作面（キー操作パネルＫＰ）がタッチＴＤの一部に配置されている状態において、座標位置検出部１０によって検出されたタッチ操作がキー操作パネルＫＰ上で行われたものであれば、このタッチ操作をメイン処理として動作中の機能に割り当て、タッチ画面ＴＤの他の部分に対するものであれば、バックグラウンド処理として動作中の音楽プレイヤ７に割り当てるようにしている。
【００３７】
図５（４）は、タッチ画面ＴＤが露出した状態となるビュースタイル以外のスタイルにおいて、音楽プレイヤ７がメイン処理として動作中の場合の表示例を示した図である。この場合、メイン処理として動作中のアプリケーション（音楽再生機能）に対する操作手段としては、メイン操作部４のほか、使用者の各種の動作（タッチ、音声指示、筐体の振り、ジェスチャ）に応じた操作手段がそれぞれ使用可能となる。なお、図示の例において、タッチ画面ＴＤは、音楽の進行に応じて表示状態が変化するグラフィックイコライザ画面となる。
【００３８】
次に、この実施形態における携帯電話機の動作概念を図６〜図１０に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００３９】
図６〜図９は、電源投入（オン）に伴って実行開始される携帯電話機の全体動作の概要を示したフローチャートである。
先ず、制御部１は、所定のメモリをクリアするなどの初期処理を行ったのち（図６のステップＡ１）、着信などの待ち受け状態となる（ステップＡ２）。そして、この待ち受け状態において、通信部５から電話の着信有無をチェックし（ステップＡ３）、着信が無ければ、スタイル検出部１４からの検出結果に基づいてスタイル変更操作が行われたかをチェックする（ステップＡ１３）。
【００４０】
いま、スタイル変更操作が行われなければ（ステップＡ１３でＮＯ）、図７のフローに移り、メイン操作部４からの操作有無を調べ（ステップＡ１９）、メイン操作部４からの操作を検出した場合に、それが音楽プレイヤ７の起動を指示する操作であれば（ステップＡ２０でＹＥＳ）、音楽プレイヤ７をメイン処理として起動させると共に（ステップＡ２１）、音楽プレイヤ７がメイン処理として動作中であることを示すために、動作中フラグＭＦに“１”をセットする（ステップＡ２２）。この場合、タッチ画面ＴＤは、図５（４）に示すような表示内容となる。その後、図６のステップＡ３に戻る。
【００４１】
このように音楽プレイヤ７がメイン処理として動作している状態において、メイン操作部４からの操作を検出すると（ステップＡ１９でＹＥＳ）、それがメイン処理として動作中の音楽プレイヤ７に対する操作であれば（ステップＡ２３でＹＥＳ）、音楽プレイヤ７の動作を終了させる操作であるかを調べる（ステップＡ２４）。いま、その他の操作であれば（ステップＡ２４でＮＯ）、例えば、音量調整処理、コンテンツ変更処理など、その他の操作に応じた処理を音楽プレイヤ７に対して実行するが（ステップＡ２７）、音楽プレイヤ７に対する終了操作であれば（ステップＡ２４でＹＥＳ）、音楽プレイヤ７の動作を終了させると共に（ステップＡ２５）、動作中フラグＭＦに“０”をセットする（ステップＡ２６）。
【００４２】
また、メイン操作部４からの操作がメイン処理として動作中の音楽プレイヤ７に対する操作でなければ（ステップＡ２３でＮＯ）、図８のフローに移り、音楽プレイヤ７以外のアプリケーションの起動を指示する操作であるかを調べ（ステップＡ２８）、起動操作であれば、当該アプリケーションをメイン処理として起動させる（ステップＡ２９）。この場合、タッチ画面ＴＤは、図５（１）に示すような表示内容となる。そして、動作中フラグＭＦが“１”であるかを調べる（ステップＡ３０）。
【００４３】
動作中フラグＭＦが“１”でなければ、つまり、音楽プレイヤ７がメイン処理として動作中でなければ（ステップＡ３０でＮＯ）、そのまま図６のステップＡ３に戻るが、動作中フラグＭＦが“１”で、音楽プレイヤ７がメイン処理として動作中であれば（ステップＡ３０でＹＥＳ）、音楽プレイヤ７をメイン処理からバックグランド処理に移動する（ステップＡ３１）。この場合、タッチ画面ＴＤは、図５（２）に示すような表示内容となる。そして、動作中フラグＭＦに“２”をセットしたのち（ステップＡ３２）、図６のステップＡ３に戻る。
【００４４】
このように音楽プレイヤ７以外のアプリケーションがメイン処理として動作している状態において、メイン操作部４からの操作を検出すると（図７のステップＡ１９でＹＥＳ）、上述のステップＡ２０、Ａ２３、Ａ２８ではその操作の種類を判別するが、それ以外の操作であれば（ステップＡ２８でＮＯ）、その操作はメイン処理として動作中の音楽プレイヤ７以外のアプリケーションに対する操作であるかを調べる（ステップＡ３３）。いま、そのアプリケーションに対する操作ではなく、例えば、電源オフ操作などであれば、その操作に応じた処理を実行したのち（ステップＡ４０）、図６のステップＡ３に戻る。
【００４５】
また、メイン操作部４からの操作がメイン処理として動作中の音楽プレイヤ７以外のアプリケーションに対する操作であれば（ステップＡ３３でＹＥＳ）、そのアプリケーションの動作を終了させる操作であるかを調べ（ステップＡ３４）、その他の操作であれば（ステップＡ３４でＮＯ）、その操作に応じた処理を当該アプリケーションに対して実行するが（ステップＡ３９）、終了操作であれば（ステップＡ３４でＹＥＳ）、メイン処理として動作中のアプリケーションの動作を終了させる（ステップＡ３５）。この場合、動作中フラグＭＦが“２”でなければ、つまり、音楽プレイヤ７がバックグランド処理として動作中でなければ（ステップＡ３６でＮＯ）、そのまま図６のステップＡ３に戻るが、音楽プレイヤ７がバックグランド処理として動作中であれば（ステップＡ３６でＹＥＳ）、音楽プレイヤ７をバックグランド処理からメイン処理に移動すると共に（ステップＡ３７）、動作中フラグＭＦに“１”をセットしたのち（ステップＡ３８）、図６のステップＡ３に戻る。
【００４６】
一方、スタイルが変更された場合には（図６のステップＡ１３でＹＥＳ）、それがビュースタイルへの変更であれば（ステップＡ１４でＹＥＳ）、スタイルフラグＳＦを“１”に変更したのち（ステップＡ１５）、メイン処理として動作中のアプリケーションに対する操作手段として、タッチ画面ＴＤ上にキー操作パネルＫＰを割り当て配置する（ステップＡ１６）。この場合、タッチ画面ＴＤは、図５（３）に示すような表示内容となる。また、ビュースタイルへの変更でなければ（ステップＡ１４でＮＯ）、スタイルフラグＳＦを“０”に変更したのち（ステップＡ１７）、タッチ画面ＴＤ上のキー操作パネルＫＰを閉鎖する（ステップＡ１８）。
【００４７】
いま、電話着信を検出したときには（ステップＡ３でＹＥＳ）、回線接続させるオフフック操作に応答して（ステップＡ４でＹＥＳ）、通話可能状態とする通話処理を実行する（ステップＡ５）。そして、通話中において動作中フラグＭＦの値は“１”か、つまり、音楽プレイヤ７がメイン処理として動作中であるかを調べ（ステップＡ６）、動作中フラグＭＦの値が“１”ではなく、音楽プレイヤ７が動作していない場合、あるいはバックグランド処理として動作している場合には（ステップＡ６でＮＯ）、後述するステップＡ９に移る。
【００４８】
動作中フラグＭＦの値が“１”で、音楽プレイヤ７がメイン処理として動作中であれば（ステップＡ６でＹＥＳ）、音楽プレイヤ７をメイン処理からバックグランド処理に移動すると共に（ステップＡ７）、動作中フラグＭＦの値を“２”に変更したのち（ステップＡ８）、次のステップＡ９に移り、座標位置検出部１０からの出力が有るかに基づいてタッチ操作の有無を調べる。ここで、タッチ操作が行われたときには（ステップＡ９でＹＥＳ）、後述する座標位置検出処理に移る（ステップＡ１０）。以下、回線接続を解除するオンフック操作が行われるまで（ステップＡ１１でＮＯ）、上述のステップＡ９に戻るが、オンフック操作が行われると（ステップＡ１１でＹＥＳ）、回線切断処理を実行したのち（ステップＡ１２）、上述のステップＡ３に戻る。
【００４９】
図１０は、タッチ操作に応答して実行される座標位置検出処理（図６のステップＡ１０、図９のステップＡ４２）を詳述するためのフローチャートである。
先ず、制御部１は、スタイルフラグＳＦを参照し、その値は“１”か（ビュースタイルか）を調べ（ステップＢ１）、ビュースタイルであれば、図５（３）に示したキー操作パネルＫＰ内の座標位置がタッチされたか、つまり、メイン用のキー操作パネルＫＰ内に割り当て配置されているタッチキーが操作されたかを調べ（ステップＢ２）、そのタッチキーが操作されたときには、そのタッチキーに対応する操作をメイン処理として動作中のアプリケーションに対して実行する（ステップＢ３）。
【００５０】
また、ビュースタイルにおいてメイン処理用のキー操作パネルＫＰ以外がタッチされた場合には（ステップＢ２でＮＯ）、動作中フラグＭＦを参照し、その値は“２”か（音楽プレイヤ７はバックグランド処理として動作中か）を調べ（ステップＢ４）、その値が“２”でなければ、メイン処理として動作中のアプリケーションに対して今回のタッチ操作に応じて予め決められている処理を実行する（ステップＢ３）。例えば、図５（１）に示すタッチ画面ＴＤ上で２点ダブルタップが行われた場合には、メイン処理として動作中のメール機能を終了させる処理を実行する。
【００５１】
また、ビュースタイルにおいて動作中フラグＭＦが“２”で、音楽プレイヤ７がバックグランド処理として動作中であれば（ステップＢ４でＹＥＳ）、検出部フラグＤＦを参照し、その値は“１”か、つまり、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、座標位置検出部１０からの検出結果を使用することが指定されているかを調べる（ステップＢ５）。いま、検出部フラグＤＦの値が“１”でなければ、この時点で図１０のフローから抜けるが、“１”であれば（ステップＢ５でＹＥＳ）、タッチ操作の仕方に基づいて使用者の動作を検出する（ステップＢ６）。
【００５２】
すなわち、タッチ操作の仕方は“２点間拡大ドラッグ”、“２点間縮小ドラッグ”、“１点タップ”、“１点ダブルタップ”、“２点ダブルタップ”のいずれであるかに基づいて使用者の動作を検出する。そして、検出した使用者の動作に基づいて動作テーブルＭＴを参照し、検出部フラグＤＦの値が“１”で、検出した使用者の動作に対応する「操作内容」を取得し（ステップＢ７）、バックグランド処理として動作中の音楽プレイヤ７に対して当該「操作内容」に応じた処理を実行する（ステップＢ８）。例えば、“２点間拡大ドラッグ”に応じて音量を１段階アップさせる処理を実行し、“１点タップ”に応じて再生動作を開始させる処理を実行する。
【００５３】
また、スタイルフラグＳＦの値が“１”でない場合、つまり、タッチ画面ＴＤが露出した状態となるビュースタイル以外のスタイル（例えば、オープンスタイル）において、タッチ操作が行われた場合には（ステップＢ１でＮＯ）、上述したステップＢ４に移って以下、同様の動作を行う。すなわち、音楽プレイヤ７がバックグランド処理として動作中であること（ステップＢ４でＹＥＳ）、この音楽プレイヤ７に対する操作手段として、座標位置検出部１０からの検出結果を使用することが指定されていることを条件に（ステップＢ５でＹＥＳ）、タッチ操作の仕方に基づいて使用者の動作を検出し、それに対応する「操作内容」に応じた処理をバックグランド処理として動作中の音楽プレイヤ７に対して実行する（ステップＢ６〜Ｂ８）。
【００５４】
他方、メイン操作部４からの操作が行われない場合には（図７のステップＡ１９でＮＯ）、図９のフローに移り、出力標位置検出部１０からの出力が有るかに基づいてタッチ操作の有無を調べ（ステップＡ４１）、タッチ操作が行われたときには、上述の座標位置検出処理に移り（ステップＡ４２）、タッチ入力に応じた操作としてメイン処理として動作中のアプリケーションに対する操作、あるいはバックグランド処理として動作中の音楽プレイヤ７に対する操作を実行する。
【００５５】
また、撮像部１１からの出力を検出した場合には（ステップＡ４３でＹＥＳ）、制御部１は、撮像部１１によって撮像された画像を解析して、例えば、“指を上に振る”、“指を右に振る”、などの使用者の動作（ジェスチャ）を検出する（ステップＡ４４）。そして、動作中フラグＭＦの値は“２”か（音楽プレイヤ７はバックグランド処理として動作中か）を調べ（ステップＡ４５）、その値が“２”でなければ、メイン処理として動作中のアプリケーションに対して今回の使用者の動作（ジェスチャ）に応じた処理を実行したのち（ステップＡ４７）、図６のステップＡ３に戻る。また、動作中フラグＭＦが“２”で、音楽プレイヤ７がバックグランド処理として動作中であれば（ステップＡ４５でＹＥＳ）、検出部フラグＤＦを参照し、その値は“２”か、つまり、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、撮像部１１からの検出結果を使用することが指定されているかを調べる（ステップＡ４６）。
【００５６】
検出部フラグＤＦの値が“２”でなければ（ステップＡ４６でＮＯ）、図６のステップＡ３に戻るが、その値が“２”であれば（ステップＡ４６でＹＥＳ）、上述のように検出した使用者の動作（ジェスチャ）に基づいて動作テーブルＭＴを参照し、検出部フラグＤＦの値が“２”で、検出した使用者の動作に対応する「操作内容」を取得し（ステップＡ５６）、バックグランド処理として動作中の音楽プレイヤ７に対して当該「操作内容」に応じた処理を実行する（ステップＡ５７）。例えば、“指を上に振る”に応じて音量を１段階アップさせる処理を実行し、“指を右に振る”に応じて前コンテンツを再生対象とする処理を実行する。
【００５７】
また、集音部１２からの出力を検出した場合（ステップＡ４８でＹＥＳ）、制御部１は、集音部１２からの入力音声を解析（音声認識）することによって、例えば、“うえ（上）”、“さいせい（再生）”、“ていし（停止）”などの音声指示を使用者の動作として検出する（ステップＡ４９）。そして、動作中フラグＭＦの値は“２”か（音楽プレイヤ７はバックグランド処理として動作中か）を調べ（ステップＡ５０）、その値が“２”でなければ、メイン処理として動作中のアプリケーションに対して今回の使用者の動作（音声指示）に応じた処理を実行したのち（ステップＡ４７）、図６のステップＡ３に戻る。
【００５８】
また、動作中フラグＭＦが“２”で、音楽プレイヤ７がバックグランド動作中であれば（ステップＡ５０でＹＥＳ）、検出部フラグＤＦを参照し、その値は“３”か、つまり、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、集音部１２からの検出結果を使用することが指定されているかを調べる（ステップＡ５１）。いま、検出部フラグＤＦの値が“３”でなければ（ステップＡ５１でＮＯ）、図６のステップＡ３に戻るが、その値が“３”であれば（ステップＡ５１でＹＥＳ）、上述のように検出した使用者の動作（音声指示）に基づいて動作テーブルＭＴを参照し、検出部フラグＤＦの値が“３”で、検出した使用者の動作に対応する「操作内容」を取得し（ステップＡ５６）、バックグランド処理として動作中の音楽プレイヤ７に対して当該「操作内容」に応じた処理を実行する（ステップＡ５７）。例えば、“うえ（上）”に応じて音量を１段階アップさせる処理を実行し、“さいせい（再生）”に応じて再生動作を開始させる処理を実行する。
【００５９】
また、筐体動作検出部１３からの出力を検出した場合には（ステップＡ５２でＹＥＳ）、制御部１は、筐体動作検出部１３からの検出結果に応じて装置本体を振ったときの振り方向を使用者の動作として検出する（ステップＡ５３）。例えば、“筐体を上に振る”、“筐体を下に振る”、“筐体を前に突き出す”などを検出する。そして、動作中フラグＭＦの値は“２”か（音楽プレイヤ７はバックグランド処理として動作中か）を調べ（ステップＡ５４）、その値が“２”でなければ、メイン処理として動作中のアプリケーションに対して今回の使用者の動作（振り方向）に応じた処理を実行したのち（ステップＡ４７）、図６のステップＡ３に戻る。
【００６０】
また、動作中フラグＭＦが“２”で、音楽プレイヤ７がバックグランド処理として動作中であれば（ステップＡ５４でＹＥＳ）、検出部フラグＤＦを参照し、その値は“４”か、つまり、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、筐体動作検出部１３からの検出結果を使用することが指定されているかを調べる（ステップＡ５５）。いま、検出部フラグＤＦの値が“４”でなければ（ステップＡ５５でＮＯ）、図６のステップＡ３に戻る。
【００６１】
また、検出部フラグＤＦの値が“４”であれば（ステップＡ５５でＹＥＳ）、上述のように検出した使用者の動作（振り方向）に基づいて動作テーブルＭＴを参照し、検出部フラグＤＦの値が“４”で、検出した使用者の動作に対応する「操作内容」を取得し（ステップＡ５６）、バックグランド処理として動作中の音楽プレイヤ７に対して当該「操作内容」に応じた処理を実行する（ステップＡ５７）。例えば、“筐体を上に振る”に応じて音量を１段階アップさせる処理を実行し、“筐体を下に振る”に応じて音量を１段階ダウンさせる処理を実行する。その後、図６のステップＡ３に戻る。
【００６２】
以上のように、この実施形態において制御部１は、メイン処理（フォアグランド処理）として動作中の機能に並行してバックグラウンド処理として音関連機能が動作中の場合に、メイン操作部４による操作をメイン処理として動作中の機能に割り当てた状態のままであっても、使用者の動作に基づいて音関連機能を操作することができ、音関連機能に対して専用の操作部を設けることなく、バックグラウンド処理として動作中の音関連機能を操作することができ、実用効果の高いものとなる。
【００６３】
バックグラウンド処理として音関連機能が動作中である場合に、表示部９による表示及びメイン操作部４による操作をフォアグランド処理として動作中の機能に割り当てるようにしたので、バックグラウンド処理として音関連機能が動作していても、メイン処理として動作中の機能用として表示部９、メイン操作部４を使用することが可能となる。
【００６４】
タッチ画面ＴＤを構成する座標位置検出部１０は、タッチ画面ＴＤ（表示部９）上においてその座標位置を入力する座標入力操作（タッチ操作）を使用者の動作として検出するようにしたので、バックグラウンド処理として動作中の音関連機能の操作を座標位置の入力動作で行うことができると共に、既存のタッチ画面ＴＤを音関連機能の操作手段として活用することができる。
【００６５】
ビュースタイルのように、メイン操作部４が使用不可能な状態である場合には、バックグラウンド処理として音関連機能が動作中である場合でも、座標位置検出部１０によって検出された座標入力操作をフォアグランド動作中の機能に割り当てるようにしたので、メイン操作部４が使用できない状態であってもメイン処理として動作中の機能を座標位置検出部１０を介して操作することができる。
【００６６】
メイン操作部４が使用不可能な状態である場合には、メイン処理として動作中の機能に使用される操作面（キー操作パネルＫＰ）を表示部９の一部に設けた状態において、座標位置検出部１０によって検出された座標入力操作がキー操作パネルＫＰに対するものであれば、この座標入力動作をメイン処理として動作中の機能に割り当て、表示部９の他の部分に対するものであれば、バックグラウンド処理として動作中の音関連機能に割り当てるようにしたので、メイン操作部４が使用できない状態であっても、メイン処理として動作中の機能及びバックグラウンド処理として動作中の音関連機能のいずれに対しても操作することができる。
【００６７】
タッチ画面ＴＤの領域全体を音関連機能に割り当てるようにしたので、表示内容を目視しなくても、バックグラウンド処理として動作中の音関連機能に対する操作を行うことができる。
【００６８】
撮像部１１によって使用者を撮像した画像を解析し、その解析結果を使用者の動作として検出するようにしたので、バックグラウンド処理として動作中の音関連機能の操作を使用者の指などを動かすことによって行うことができ、その動かし方によって操作の種類を変えることができると共に、カメラ機能を構成する既存の撮像部１１を音関連機能の操作手段として活用することができる。
【００６９】
集音部１２によって集音した使用者の音声を認識し、その認識結果を使用者の動作を検出するようにしたので、バックグラウンド処理として動作中の音関連機能の操作を使用者の声や叩く音によって行うことができ、声の出し方や叩き方によって操作の種類を変えることができると共に、録音機能を構成する既存の集音部１２を音関連機能の操作手段として活用することができる。
【００７０】
筐体動作検出部１３によって装置本体が振られた場合に、その振り操作を使用者の動作として検出するようにしたので、バックグラウンド処理として動作中の音関連機能の操作を当該端末装置の振ることによって行うことができ、振り方によって操作の種類を変えることができると共に、万歩計（登録商標）機能を構成する既存の筐体動作検出部１３を音関連機能の操作手段として活用することができる。
【００７１】
なお、上述した実施形態においては、音関連機能として音楽プレイヤ７を例示したが、これに限らず、音関連機能例えば、アラーム機能、ラジオ機能、メールの音声読み上げ機能などであってもよい。
【００７２】
また、上述した実施形態においては、表示部９上の座標位置を入力する座標入力操作を使用者の動作として検出する手段として、表示部９と座標位置検出部１０とからなるタッチ画面ＴＤを例示したが、タッチパット、トラックボールなどの座標入力手段であってもよい。
【００７３】
また、上述した実施形態においては、２軸ヒンジタイプの携帯電話機に適用した場合を例示したが、上述したスライドタイプのほか、操作部筐体に対して表示部筐体を縦方向に開いた縦開き状態のオープンスタイルと、操作部筐体に対して表示部筐体Ｂを横方向に開いた横開き状態のオープンスタイルに変更可能な２ウエイオープンスタイルなどであってもよい。
【００７４】
その他、携帯端末装置としては携帯電話装置に限らず、例えば、ＰＤＡ（個人用の携帯情報端末）、デジタルカメラ、電子腕時計、音楽再生機などのであっても同様に適用可能である。
【図面の簡単な説明】
【００７５】
【図１】携帯端末装置として適用した携帯電話装置の基本的な構成要素を示したブロック図。
【図２】携帯電話機の外観図で、（１）は、操作部筐体Ａと表示部筐体Ｂとの折り畳みを開いた状態のオープンスタイルを示した図、（２）は、上述のオープンスタイルから操作部筐体Ａに対して表示部筐体Ｂを１８０°回転させたのち、操作部筐体Ａに対して表示部筐体Ｂを折り畳んだ状態のビュースタイルを示した図。
【図３】フラグメモリＦＭを説明するための図。
【図４】動作テーブルＭＴを説明するための図。
【図５】（１）は、メール機能がメインとして動作中の場合、（２）は、メール機能がメインで動作中の場合に、バックグランドとして音楽プレイヤ７が動作中である場合、（３）は、ビュースタイルにおいてメール機能がメインで動作中の場合に、バックグランドとして音楽プレイヤ７が動作中である場合、（４）は、音楽プレイヤ７がメインで動作中の場合の表示例を示した図。
【図６】電源投入（オン）に伴って実行開始される携帯電話機の全体動作の概要を示したフローチャート。
【図７】図６に続く動作を示したフローチャート。
【図８】図７に続く動作を示したフローチャート。
【図９】図７に続く動作を示したフローチャート。
【図１０】タッチ操作に応答して実行される座標位置検出処理（図６のステップＡ１０、図９のステップＡ４２など）を詳述するためのフローチャート。
【符号の説明】
【００７６】
１ 制御部
３ 記憶部
４ メイン操作部
５ 通信部
７ 音楽プレイヤ
８ サウンドスピーカ
９ 表示部
１０ 座標位置検出部
１１ 撮像部
１２ 集音部
１３ 筐体動作検出部
１４ スタイル検出部
ＴＤ タッチ画面
ＦＭ フラグメモリ
ＭＴ 動作テーブル
ＭＦ 動作中フラグ
ＤＦ 検出部フラグ
ＳＦ スタイルフラグ
【技術分野】
【０００１】
この発明は、表示部及び操作部を備え、音関連機能を含む複数の機能を並行して動作可能な端末装置及びプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話機の処理能力が年々向上し、音楽を聴きながら受信メールを読んだり、Ｗｅｂアクセスをしたりといった並列処理が可能となってきている。この場合、メイン処理（フォアグランド処理）として、受信メールを閲覧する機能、あるいはインターネット上のｗｅｂページを閲覧する機能を動作させ、バックグラウンド処理として音楽プレイヤ機能を動作させている状態において、選曲のような音楽に関する操作を行なう場合には、音楽プレイヤ機能を一時的にメイン処理として切り替えたのち、バックグラウンド処理に戻すという手順を踏む必要があり、ユーザに負担をかけることになる。
そこで、従来では、第２の操作部を備えることでバックグラウンド処理での音楽プレイヤ機能でも操作可能となるようにした技術が開示されている（特許文献１参照）。
【特許文献１】特開２００４−１７３１３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した先行技術にあっては、音楽再生とそれ以外の機能を並行して実行している場合、バックグラウンド処理として動作中の音楽に関連する機能に対する操作を可能とするために、専用の操作部を備えることで、音楽再生以外の機能を終了させることなく、音楽に関する操作を行うことができるが、専用の操作部を設けることは、コスト高を招くと共に、小型化の支障となる。
【０００４】
この発明の課題は、音関連機能を含む複数の機能が並行して動作している場合に、音関連機能に対して専用の操作部を設けなくても、バックグラウンド処理として動作中の音関連機能に対する操作を実行できるようにすることである。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために請求項１記載の発明は、表示部及び操作部を備え、音関連機能を含む複数の機能を並行して動作可能な端末装置であって、使用者の動作を検出する動作検出手段と、この動作検出手段によって検出される動作と前記音関連機能に関連する操作を対応付けて記憶する記憶手段と、フォアグランド処理として動作中の機能に並行してバックグラウンド処理として前記音関連機能が動作中であるか否かを判別する動作状態判別手段と、この動作状態判別手段によってバックグラウンド処理で前記音関連機能が動作中であると判別された場合に、前記操作部による操作を前記フォアグランド処理として動作中の機能に割り当てる一方、前記動作検出手段によって検出された動作を前記音関連機能に割り当て、この動作検出手段によって使用者の動作が検出された場合に、この動作に対応付けて前記記憶手段に記憶されている前記音関連機能の操作を実行させるように制御する制御手段と、を具備したことを特徴とする。
【０００６】
請求項１に従属する発明として、前記制御手段は、前記バックグラウンド処理で前記音関連機能が動作中であると判別された場合に、前記表示部による表示及び前記操作部による操作を前記フォアグランド処理として動作中の機能に割り当てる、ようにしたことを特徴とする請求項２記載の発明であってもよい。
【０００７】
請求項１に従属する発明として、前記動作検出手段は、前記表示部上の座標位置を入力する座標入力操作を使用者の動作として検出する、ようにしたことを特徴とする請求項３記載の発明であってもよい。
【０００８】
請求項３に従属する発明として、前記操作部が使用可能状態であるか否かを判別する操作部状態判別手段を更に備え、前記制御手段は、前記操作部状態判別手段によって操作部が使用不可能な状態であると判別された場合には、前記動作状態判別手段によってバックグラウンド処理で音関連機能が動作中であると判別されるか否かに拘わらず、前記動作検出手段によって検出された座標入力操作をフォアグランド処理として動作中の機能に割り当てる、ようにしたことを特徴とする請求項４記載の発明であってもよい。
【０００９】
請求項４に従属する発明として、前記制御手段は、前記操作部状態判別手段によって操作部が使用不可能な状態であると判別された場合に、フォアグランド処理として動作中の機能に使用される操作面を前記表示部の一部に設けた状態において、前記動作検出手段によって検出された座標入力操作が前記操作面に対するものであれば、この座標入力操作をフォアグランド処理として動作中の機能に割り当て、前記表示部の他の部分に対するものであれば、当該座標入力操作をバックグラウンド処理として動作中の前記音関連機能に割り当てる、ようにしたことを特徴とする請求項５記載の発明であってもよい。
【００１０】
請求項３に従属する発明として、前記動作検出手段は、前記表示部と座標位置検出部とを備えたタッチ画面上で行われるタッチ操作を使用者の動作として検出し、前記制御手段は、前記タッチ画面へのタッチ操作を前記音関連機能に割り当てる、ようにしたことを特徴とする請求項６記載の発明であってもよい。
【００１１】
請求項１に従属する発明として、前記動作検出手段は、使用者を撮像した画像を解析し、その解析結果を使用者の動作として検出する、ようにしたことを特徴とする請求項７記載の発明であってもよい。
【００１２】
請求項１に従属する発明として、前記動作検出手段は、集音した使用者の音声を認識し、その認識結果を使用者の動作として検出する、ようにしたことを特徴とする請求項８記載の発明であってもよい。
【００１３】
請求項１に従属する発明として、前記動作検出手段は、装置本体が振られた場合に、その振り操作を使用者の動作として検出する、ようにしたことを特徴とする請求項９記載の発明であってもよい。
【００１４】
また、上述した課題を解決するために請求項１０記載の発明は、コンピュータに対して、音関連機能を含む複数の機能を並行処理する手段と、使用者の動作を検出する手段と、前記検出される動作と前記音関連機能に関連する操作を対応付けて記憶管理する手段と、フォアグランド処理として動作中の機能に並行してバックグラウンド処理として前記音関連機能が動作中であるか否かを判別する手段と、前記バックグラウンド処理で前記音関連機能が動作中であると判別された場合に、前記操作部による操作を前記フォアグランド処理として動作中の機能に割り当てる一方、前記検出された動作を前記音関連機能に割り当て、前記使用者の動作が検出された場合に、この動作に対応付けて記憶されている前記音関連機能の操作を実行させるように制御する手段と、を実現させるためのプログラムを特徴とする。
【発明の効果】
【００１５】
この発明によれば、音関連機能を含む複数の機能が並行して動作している場合に、音関連機能に対して専用の操作部を設けなくても、バックグラウンド処理として動作中の音関連機能に対する操作を実行することができ、実用効果の高いものとなる。
【発明を実施するための最良の形態】
【００１６】
以下、図１〜図１０を参照して本発明の実施形態を説明する。
この実施形態は、携帯端末装置として携帯電話装置に適用した場合を例示したもので、図１は、この携帯電話装置の基本的な構成要素を示したブロック図である。
この携帯電話機は、通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）、音楽再生機能、カメラ機能、録音機能、万歩計（登録商標）機能など、各種の機能を備えている。制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこの携帯電話機の全体動作を制御するもので、この制御部１にはＣＰＵ（中央演算処理装置）やメモリなどが設けられている。
【００１７】
記憶部３は、ＲＯＭ、ＲＡＭなどの内部メモリで、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図６〜図１０に示す動作手順に応じて本実施形態を実現するためのプログラムが格納され、また、そのデータ領域には、後述するフラグメモリＦＭ、動作テーブルＭＴなどが設けられている。なお、記憶部３としては、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよい。メイン操作部４は、ダイヤル入力、文字入力、コマンド入力などを行う主要な操作部であり、制御部１は、メイン操作部４からのキー操作信号に応じた処理として、例えば、発信処理など、各種の処理を実行する。
【００１８】
通信部５は、無線部、ベースバンド部、多重分離部などを備え、例えば、通話機能、電子メール機能、インターネット接続機能の動作時に最寄りの基地局との間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調したのち、電話部６を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを電話部６から取り込み、送信ベースバンド信号に符号化したのち、ベースバンド部の送信側に与えてアンテナから発信出力させる。
【００１９】
音楽プレイヤ７は、音楽再生機能を構成するもので、再生対象としてユーザ操作によって任意に選択された音楽コンテンツを記憶部３から読み出して、サウンドスピーカ８から出力させる。表示部９は、例えば、高精細液晶あるいは有機ＥＬなどを使用し、アイコン、文字データ、待受画像、撮影画像などを表示するもので、その表示パネル上に指、器具などの物体の接触位置（座標位置）を検出する座標位置検出部（タッチ操作面を構成する透明な接触センサ）１０を積層配設することによってタッチスクリーン（タッチ画面）ＴＤを構成している。このタッチ画面ＴＤを構成する座標位置検出部１０は、タッチ画面ＴＤ（表示部９）上においてその座標位置を入力する座標入力操作（タッチ操作）を検出する座標入力手段である。
【００２０】
このタッチ画面ＴＤ上で行われる使用者（ユーザ）の動作として、後述する１点タップ、１点ダブルタップ、２点ダブルタップなどのタッチ操作が行われたことを座標位置検出部１０によって検出されると、制御部１は、この使用者の動作（１点タップ、１点ダブルタップ、２点ダブルタップなど）に応じた処理を実行する。また、タッチ画面ＴＤ上に必要に応じて配置されたタッチキー（ソフトフェアキー）へのタッチ操作で、そのタッチキーに対応するキー操作信号が座標位置検出部１０から出力されると、制御部１は、このキー操作信号に応じた処理を実行する。このように表示部９及び座標位置検出部１０によって構成されたタッチ画面ＴＤは、タッチキー操作部として利用されるほか、使用者の動作（タッチ）を検出する動作検出部としても利用される。
【００２１】
撮像部１１は、静止画撮影のほかに動画撮影も可能なカメラ機能を構成するもので、撮影レンズ、レンズ・ミラーブロック、撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、光学ズームを調整制御したり、オートフォーカス時の駆動を制御したり、シャッター駆動を制御したり、露出、ホワイトバランスなどを制御したりする。制御部１は、撮像部１１によって撮像された画像を解析して、例えば、“指を上に振る”、“指を右に振る”などの使用者の動作を検出し、この使用者の動作（ジェスチャ）に応じた処理を実行するようにしている。このように撮像部１１は、カメラ機能として利用されるほか、使用者の動作を検出する動作検出部としても利用される。
【００２２】
集音部１２は、音楽コンテンツなどを録音する録音機能を構成するほか、使用者の音声を入力するマイクで、制御部１は、集音部１２からの入力音声を解析（音声認識）することによって、例えば、“うえ（上）”、“さいせい（再生）”、“ていし（停止）”などの音声指示を使用者の動作として検出し、この使用者の動作（音声指示）に応じた処理を実行するようにしている。このように集音部１２は、録音機能として利用されるほか、使用者の動作を検出する動作検出部としても利用される。
【００２３】
筐体動作検出部１３は、例えば、３軸タイプの加速度センサによって構成され、万歩計（登録商標）機能を構成するもので、制御部１は、この筐体動作検出部１３からの検出結果に応じて装置本体を振ったときの振り方向、例えば、“筐体を上に振る”、“筐体を下に振る”、“筐体を前に突き出す”、“筐体を右に振る”、“筐体を左に振る”を使用者の動作として検出し、この使用者の動作（筐体の振り）に応じた処理を実行するようにしている。このように筐体動作検出部１３は、万歩計（登録商標）機能として利用されるほか、使用者の動作を検出する動作検出部としても利用される。スタイル検出部１４は、装置本体を構成する複数の筐体の連結状態に応じて装置本体のスタイルを検出するもので、例えば、磁気センサ、マイクロスイッチ、機械的スイッチなどを有する構成で、制御部１は、スタイル検出部１４からの各検出信号に基づいて装置本体の各スタイルを判別するようにしている。
【００２４】
図２は、携帯電話機の外観図である。
携帯電話機は、その装置本体を構成する複数の筐体の連結状態に応じて複数のスタイルに変更可能な２軸ヒンジタイプの電話装置であり、装置本体を構成する操作部筐体Ａと表示部を有する表示部筐体Ｂとを折り畳み開閉自在及び回動自在にヒンジ部Ｃを介して連結した２軸ヒンジタイプである。このヒンジ部Ｃには操作部筐体Ａと表示部筐体Ｂとを折り畳み開閉するための開閉用ヒンジ軸が設けられているほか、この開閉用ヒンジ軸と略直交して、一方の筐体を他方の筐体に対して回動するための回動用ヒンジ軸とが設けられており、このヒンジ部Ｃを介して操作部筐体Ａと表示部筐体Ｂとは折り畳み開閉自在及び回動自在に連結されている。
【００２５】
このような２軸ヒンジタイプの携帯電話装置は、操作部筐体Ａと表示部筐体Ｂとが、どのように連結されているかに応じて携帯電話装置の形態を複数のスタイル（クローズスタイル、オープンスタイル、ビュースタイルなど）に変更可能なもので、図２（１）は、操作部筐体Ａと表示部筐体Ｂとの折り畳みを開いた状態のオープンスタイルを示している。なお、操作部筐体Ａの内面側には、図１で示した操作部４が配置され、表示部筐体Ｂの内面側には、図１で示したタッチ画面ＴＤが配置されている。したがって、オープンスタイルでは操作部４及びタッチ画面ＴＤが使用可能となると共にその表示内容が視認可能となる。図２（２）は、上述のオープンスタイルから操作部筐体Ａに対して表示部筐体Ｂを１８０°回転させたのち、操作部筐体Ａに対して表示部筐体Ｂを折り畳んだ状態のビュースタイルを示し、このビュースタイルでは操作部４が表示部筐体Ｂによって覆い隠されるが、タッチ画面ＴＤは露出した状態となる。
【００２６】
図３は、フラグメモリＦＭを説明するための図である。
フラグメモリＦＭは、動作中フラグＭＦ、検出部フラグＤＦ、スタイルフラグＳＦを記憶するもので、図３（１）〜（３）は、動作中フラグＭＦ、検出部フラグＤＦ、スタイルフラグＳＦの内容を示している。動作中フラグＭＦは、音関連機能（音関連アプリケーション）の動作状態を示すフラグである。すなわち、動作中フラグＭＦは、音楽プレイヤ７の動作状態を示すフラグで、図３（１）に示すように、その値が“０”のときには、音楽プレイヤ７が動作していないことを示し、その値が“１”のときには、音楽プレイヤ７がメイン処理（フォアグランド処理）として動作中であることを示し、その値が“２”のときには、音楽プレイヤ７がバックグランド処理として動作中であることを示している。
【００２７】
検出部フラグＤＦは、音楽プレイヤ７がバックグランド処理として動作している場合に、使用者の動作（タッチ、音声指示、筐体の振り、ジェスチャ）に応じた各種の操作手段のうち、どの操作手段をバックグランド処理に対する操作手段として使用するかを示すフラグである。すなわち、検出部フラグＤＦは、図３（２）に示すように、その値が“０”のときには、バックグランド処理として動作中の音楽プレイヤ７に対する操作を行わないことを示し、その値が“１”のときには、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、座標位置検出部１０からの検出結果を使用することを示している。また、検出部フラグＤＦの値が“２”のときには、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、撮像部１１からの検出結果を使用することを示し、その値が“３”のときには、集音部１２からの検出結果を使用することを示し、その値が“４”のときには、筐体動作検出部１３からの検出結果を使用することを示している。
【００２８】
スタイルフラグＳＦは、メイン操作部４が使用不可能となる特定スタイルであることを示すフラグで、図３（３）に示すように、その値が“０”のときには、ビュースタイル以外のスタイル（特定スタイル以外のスタイル）であることを示し、その値が“１”のときには、メイン操作部４が使用不可能となるビュースタイル（特定スタイル）であることを示している。なお、この実施形態では、２軸ヒンジタイプの携帯電話機に適用した場合を例示したが、操作部筐体Ａの上を表示部筐体Ｂがスライドすることによって開閉するスライドタイプの携帯電話機の場合、メイン操作部４が使用不可能となるのは、操作部筐体Ａの上に表示部筐体Ｂが重なる閉状態であるから、スタイルフラグＳＦの値が“０”のときには、操作部筐体Ａと表示部筐体Ｂとが開いている開状態を示し、“１”
のときには、閉状態を示す。
【００２９】
図４は、動作テーブルＭＴを説明するための図である。
動作テーブルＭＴは、バックグランド処理として動作している音関連機能（音関連アプリケーション）に対する操作手段として、使用者の各種の動作（タッチ、音声指示、筐体の振り、ジェスチャ）に応じた操作手段をそれぞれ定義するためのテーブルである。この動作テーブルＭＴには、「音関連機能に対する操作内容」、「検出部フラグ別の使用者の動作」の項目を有している。ここで、検出部フラグＤＦの値が“１”の場合において、「使用者の動作」には“２点間拡大ドラッグ”、“２点間縮小ドラッグ”、“１点タップ”、“１点ダブルタップ”、“２点ダブルタップ”が設定されている。この“２点間拡大ドラッグ”は、タッチ画面ＴＤ上において２本の指の間隔を徐々に開きながらドラッグするタッチ動作で、これに対応する「操作内容」には音楽プレイヤ７の設定音量を上げることを指示する“音量アップ”が設定されている。
【００３０】
“２点間縮小ドラッグ”は、タッチ画面ＴＤ上において２本の指の間隔を徐々に狭めながらドラッグするタッチ動作で、これに対応する「操作内容」には音楽プレイヤ７の設定音量を下げることを指示する“音量ダウン”が設定されている。“１点タップ”は、タッチ画面ＴＤ上の１点を１回タッチする動作で、これに対応する「操作内容」には“再生”、“停止”が設定されており、音楽プレイヤ７が停止している状態で“１点タップ”の動作が行われると、音楽プレイヤ７に対して再生を指示し、音楽プレイヤ７の再生中に“１点タップ”
の動作が行われると、音楽プレイヤ７に対して再生の“停止”を指示する。“１点ダブルタップ”は、タッチ画面ＴＤ上の１点を２回連続してタッチする動作で、これに対応する「操作内容」には次の音楽コンテンツを再生対象として指定する“次コンテンツ”
が設定されている。“２点ダブルタップ”は、タッチ画面ＴＤ上の２点を２回連続してタッチする動作で、これに対応する「操作内容」には一つ前の音楽コンテンツを再生対象として指定する“前コンテンツ”
が設定されている。
【００３１】
また、検出部フラグＤＦの値が“２”の場合において、「使用者の動作」には“指を上に振る”、“指を下に振る”、“指を前に突き出す”、“指を右に振る”、“指を左に振る”が設定され、これに対応する「操作内容」には、“音量アップ”、“音量ダウン”、“再生”／“停止”、“次コンテンツ”、“前コンテンツ”が設定されている。なお、“指を前に突き出す”に対応する「操作内容」には“再生”、“停止”が設定されており、音楽プレイヤ７が停止している状態で“指を前に突き出す”の動作が行われると、音楽プレイヤ７に対して再生を指示し、音楽プレイヤ７の再生中に“指を前に突き出す”の動作が行われると、音楽プレイヤ７に対して再生の“停止”を指示する。
【００３２】
検出部フラグＤＦの値が“３”の場合において、「使用者の動作」には“音声（うえ）”、“音声（した）”、“音声（さいせい）”、“音声（ていし）”、“音声（つぎ）”、“音声（まえ）”が設定され、これに対応する「操作内容」には、“音量アップ”、“
音量ダウン”、“再生”、“停止”、“次コンテンツ”、“前コンテンツ”が設定されている。検出部フラグＤＦの値が“４”の場合において、「使用者の動作」には“筐体を上に振る”、“筐体を下に振る”、“筐体を前に突き出す”、“筐体を右に振る”、“筐体を左に振る”が設定され、これに対応する「操作内容」には、“音量アップ”、“
音量ダウン”、“再生”／“停止”、“次コンテンツ”、“前コンテンツ”が設定されている。なお、“筐体を前に突き出す”に対応する「操作内容」には“再生”、“停止”が設定されており、音楽プレイヤ７が停止している状態で“筐体を前に突き出す”の動作が行われると、音楽プレイヤ７に対して再生を指示し、音楽プレイヤ７の再生中に“筐体を前に突き出す”の動作が行われると、音楽プレイヤ７に対して再生の“停止”を指示する。
【００３３】
図５は、アプリケーション動作中での表示例を示した図である。
図５（１）は、タッチ画面ＴＤが露出した状態となるビュースタイル以外のスタイルにおいて、音楽プレイヤ７以外のアプリケーション（メール機能）がメイン（フォアグランド）処理として動作中の表示例を示した図である。この場合、メイン処理として動作中のアプリケーション（メール機能）に対する操作手段としては、メイン操作部４のほか、使用者の各種の動作（タッチ、音声指示、筐体の振り、ジェスチャ）に応じた操作手段がそれぞれ使用可能となる。なお、図中、「メール」は、メイン処理でメール機能が動作中であることを示している。
【００３４】
図５（２）は、タッチ画面ＴＤが露出した状態となるビュースタイル以外のスタイルにおいて、音楽プレイヤ７以外のアプリケーション（メール機能）がメイン処理として動作中の場合に、そのバックグランド処理として音楽プレイヤ７が動作中である場合の表示例を示した図である。この場合、図中、音符マークは、バックグランド処理として音楽プレイヤ７が動作中であることを示している。この場合、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段としては、タッチ画面ＴＤの領域全体が割り当てられている。なお、図５（２）は、図５（１）に音符マークを追加したものとなる。
【００３５】
図５（３）は、ビュースタイルにおいて、音楽プレイヤ７以外のアプリケーション（メール機能）がメイン処理として動作中の場合に、バックグランド処理として音楽プレイヤ７が動作中である場合の表示例を示した図である。この場合、タッチ画面ＴＤ内にメイン処理に対する操作面として、各種のタッチキー（ソフトフェアキー）を割り当て配置したキー操作パネルＫＰを設け、このキー操作パネルＫＰ内のいずれかのタッチキーが接触された際に、制御部１は、そのキー操作信号に応じた処理を実行する。この場合、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段としては、タッチ画面ＴＤにおいてキー操作パネルＫＰ以外の領域全体が割り当てられている。
【００３６】
すなわち、メイン処理として動作中の機能に使用される操作面（キー操作パネルＫＰ）がタッチＴＤの一部に配置されている状態において、座標位置検出部１０によって検出されたタッチ操作がキー操作パネルＫＰ上で行われたものであれば、このタッチ操作をメイン処理として動作中の機能に割り当て、タッチ画面ＴＤの他の部分に対するものであれば、バックグラウンド処理として動作中の音楽プレイヤ７に割り当てるようにしている。
【００３７】
図５（４）は、タッチ画面ＴＤが露出した状態となるビュースタイル以外のスタイルにおいて、音楽プレイヤ７がメイン処理として動作中の場合の表示例を示した図である。この場合、メイン処理として動作中のアプリケーション（音楽再生機能）に対する操作手段としては、メイン操作部４のほか、使用者の各種の動作（タッチ、音声指示、筐体の振り、ジェスチャ）に応じた操作手段がそれぞれ使用可能となる。なお、図示の例において、タッチ画面ＴＤは、音楽の進行に応じて表示状態が変化するグラフィックイコライザ画面となる。
【００３８】
次に、この実施形態における携帯電話機の動作概念を図６〜図１０に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００３９】
図６〜図９は、電源投入（オン）に伴って実行開始される携帯電話機の全体動作の概要を示したフローチャートである。
先ず、制御部１は、所定のメモリをクリアするなどの初期処理を行ったのち（図６のステップＡ１）、着信などの待ち受け状態となる（ステップＡ２）。そして、この待ち受け状態において、通信部５から電話の着信有無をチェックし（ステップＡ３）、着信が無ければ、スタイル検出部１４からの検出結果に基づいてスタイル変更操作が行われたかをチェックする（ステップＡ１３）。
【００４０】
いま、スタイル変更操作が行われなければ（ステップＡ１３でＮＯ）、図７のフローに移り、メイン操作部４からの操作有無を調べ（ステップＡ１９）、メイン操作部４からの操作を検出した場合に、それが音楽プレイヤ７の起動を指示する操作であれば（ステップＡ２０でＹＥＳ）、音楽プレイヤ７をメイン処理として起動させると共に（ステップＡ２１）、音楽プレイヤ７がメイン処理として動作中であることを示すために、動作中フラグＭＦに“１”をセットする（ステップＡ２２）。この場合、タッチ画面ＴＤは、図５（４）に示すような表示内容となる。その後、図６のステップＡ３に戻る。
【００４１】
このように音楽プレイヤ７がメイン処理として動作している状態において、メイン操作部４からの操作を検出すると（ステップＡ１９でＹＥＳ）、それがメイン処理として動作中の音楽プレイヤ７に対する操作であれば（ステップＡ２３でＹＥＳ）、音楽プレイヤ７の動作を終了させる操作であるかを調べる（ステップＡ２４）。いま、その他の操作であれば（ステップＡ２４でＮＯ）、例えば、音量調整処理、コンテンツ変更処理など、その他の操作に応じた処理を音楽プレイヤ７に対して実行するが（ステップＡ２７）、音楽プレイヤ７に対する終了操作であれば（ステップＡ２４でＹＥＳ）、音楽プレイヤ７の動作を終了させると共に（ステップＡ２５）、動作中フラグＭＦに“０”をセットする（ステップＡ２６）。
【００４２】
また、メイン操作部４からの操作がメイン処理として動作中の音楽プレイヤ７に対する操作でなければ（ステップＡ２３でＮＯ）、図８のフローに移り、音楽プレイヤ７以外のアプリケーションの起動を指示する操作であるかを調べ（ステップＡ２８）、起動操作であれば、当該アプリケーションをメイン処理として起動させる（ステップＡ２９）。この場合、タッチ画面ＴＤは、図５（１）に示すような表示内容となる。そして、動作中フラグＭＦが“１”であるかを調べる（ステップＡ３０）。
【００４３】
動作中フラグＭＦが“１”でなければ、つまり、音楽プレイヤ７がメイン処理として動作中でなければ（ステップＡ３０でＮＯ）、そのまま図６のステップＡ３に戻るが、動作中フラグＭＦが“１”で、音楽プレイヤ７がメイン処理として動作中であれば（ステップＡ３０でＹＥＳ）、音楽プレイヤ７をメイン処理からバックグランド処理に移動する（ステップＡ３１）。この場合、タッチ画面ＴＤは、図５（２）に示すような表示内容となる。そして、動作中フラグＭＦに“２”をセットしたのち（ステップＡ３２）、図６のステップＡ３に戻る。
【００４４】
このように音楽プレイヤ７以外のアプリケーションがメイン処理として動作している状態において、メイン操作部４からの操作を検出すると（図７のステップＡ１９でＹＥＳ）、上述のステップＡ２０、Ａ２３、Ａ２８ではその操作の種類を判別するが、それ以外の操作であれば（ステップＡ２８でＮＯ）、その操作はメイン処理として動作中の音楽プレイヤ７以外のアプリケーションに対する操作であるかを調べる（ステップＡ３３）。いま、そのアプリケーションに対する操作ではなく、例えば、電源オフ操作などであれば、その操作に応じた処理を実行したのち（ステップＡ４０）、図６のステップＡ３に戻る。
【００４５】
また、メイン操作部４からの操作がメイン処理として動作中の音楽プレイヤ７以外のアプリケーションに対する操作であれば（ステップＡ３３でＹＥＳ）、そのアプリケーションの動作を終了させる操作であるかを調べ（ステップＡ３４）、その他の操作であれば（ステップＡ３４でＮＯ）、その操作に応じた処理を当該アプリケーションに対して実行するが（ステップＡ３９）、終了操作であれば（ステップＡ３４でＹＥＳ）、メイン処理として動作中のアプリケーションの動作を終了させる（ステップＡ３５）。この場合、動作中フラグＭＦが“２”でなければ、つまり、音楽プレイヤ７がバックグランド処理として動作中でなければ（ステップＡ３６でＮＯ）、そのまま図６のステップＡ３に戻るが、音楽プレイヤ７がバックグランド処理として動作中であれば（ステップＡ３６でＹＥＳ）、音楽プレイヤ７をバックグランド処理からメイン処理に移動すると共に（ステップＡ３７）、動作中フラグＭＦに“１”をセットしたのち（ステップＡ３８）、図６のステップＡ３に戻る。
【００４６】
一方、スタイルが変更された場合には（図６のステップＡ１３でＹＥＳ）、それがビュースタイルへの変更であれば（ステップＡ１４でＹＥＳ）、スタイルフラグＳＦを“１”に変更したのち（ステップＡ１５）、メイン処理として動作中のアプリケーションに対する操作手段として、タッチ画面ＴＤ上にキー操作パネルＫＰを割り当て配置する（ステップＡ１６）。この場合、タッチ画面ＴＤは、図５（３）に示すような表示内容となる。また、ビュースタイルへの変更でなければ（ステップＡ１４でＮＯ）、スタイルフラグＳＦを“０”に変更したのち（ステップＡ１７）、タッチ画面ＴＤ上のキー操作パネルＫＰを閉鎖する（ステップＡ１８）。
【００４７】
いま、電話着信を検出したときには（ステップＡ３でＹＥＳ）、回線接続させるオフフック操作に応答して（ステップＡ４でＹＥＳ）、通話可能状態とする通話処理を実行する（ステップＡ５）。そして、通話中において動作中フラグＭＦの値は“１”か、つまり、音楽プレイヤ７がメイン処理として動作中であるかを調べ（ステップＡ６）、動作中フラグＭＦの値が“１”ではなく、音楽プレイヤ７が動作していない場合、あるいはバックグランド処理として動作している場合には（ステップＡ６でＮＯ）、後述するステップＡ９に移る。
【００４８】
動作中フラグＭＦの値が“１”で、音楽プレイヤ７がメイン処理として動作中であれば（ステップＡ６でＹＥＳ）、音楽プレイヤ７をメイン処理からバックグランド処理に移動すると共に（ステップＡ７）、動作中フラグＭＦの値を“２”に変更したのち（ステップＡ８）、次のステップＡ９に移り、座標位置検出部１０からの出力が有るかに基づいてタッチ操作の有無を調べる。ここで、タッチ操作が行われたときには（ステップＡ９でＹＥＳ）、後述する座標位置検出処理に移る（ステップＡ１０）。以下、回線接続を解除するオンフック操作が行われるまで（ステップＡ１１でＮＯ）、上述のステップＡ９に戻るが、オンフック操作が行われると（ステップＡ１１でＹＥＳ）、回線切断処理を実行したのち（ステップＡ１２）、上述のステップＡ３に戻る。
【００４９】
図１０は、タッチ操作に応答して実行される座標位置検出処理（図６のステップＡ１０、図９のステップＡ４２）を詳述するためのフローチャートである。
先ず、制御部１は、スタイルフラグＳＦを参照し、その値は“１”か（ビュースタイルか）を調べ（ステップＢ１）、ビュースタイルであれば、図５（３）に示したキー操作パネルＫＰ内の座標位置がタッチされたか、つまり、メイン用のキー操作パネルＫＰ内に割り当て配置されているタッチキーが操作されたかを調べ（ステップＢ２）、そのタッチキーが操作されたときには、そのタッチキーに対応する操作をメイン処理として動作中のアプリケーションに対して実行する（ステップＢ３）。
【００５０】
また、ビュースタイルにおいてメイン処理用のキー操作パネルＫＰ以外がタッチされた場合には（ステップＢ２でＮＯ）、動作中フラグＭＦを参照し、その値は“２”か（音楽プレイヤ７はバックグランド処理として動作中か）を調べ（ステップＢ４）、その値が“２”でなければ、メイン処理として動作中のアプリケーションに対して今回のタッチ操作に応じて予め決められている処理を実行する（ステップＢ３）。例えば、図５（１）に示すタッチ画面ＴＤ上で２点ダブルタップが行われた場合には、メイン処理として動作中のメール機能を終了させる処理を実行する。
【００５１】
また、ビュースタイルにおいて動作中フラグＭＦが“２”で、音楽プレイヤ７がバックグランド処理として動作中であれば（ステップＢ４でＹＥＳ）、検出部フラグＤＦを参照し、その値は“１”か、つまり、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、座標位置検出部１０からの検出結果を使用することが指定されているかを調べる（ステップＢ５）。いま、検出部フラグＤＦの値が“１”でなければ、この時点で図１０のフローから抜けるが、“１”であれば（ステップＢ５でＹＥＳ）、タッチ操作の仕方に基づいて使用者の動作を検出する（ステップＢ６）。
【００５２】
すなわち、タッチ操作の仕方は“２点間拡大ドラッグ”、“２点間縮小ドラッグ”、“１点タップ”、“１点ダブルタップ”、“２点ダブルタップ”のいずれであるかに基づいて使用者の動作を検出する。そして、検出した使用者の動作に基づいて動作テーブルＭＴを参照し、検出部フラグＤＦの値が“１”で、検出した使用者の動作に対応する「操作内容」を取得し（ステップＢ７）、バックグランド処理として動作中の音楽プレイヤ７に対して当該「操作内容」に応じた処理を実行する（ステップＢ８）。例えば、“２点間拡大ドラッグ”に応じて音量を１段階アップさせる処理を実行し、“１点タップ”に応じて再生動作を開始させる処理を実行する。
【００５３】
また、スタイルフラグＳＦの値が“１”でない場合、つまり、タッチ画面ＴＤが露出した状態となるビュースタイル以外のスタイル（例えば、オープンスタイル）において、タッチ操作が行われた場合には（ステップＢ１でＮＯ）、上述したステップＢ４に移って以下、同様の動作を行う。すなわち、音楽プレイヤ７がバックグランド処理として動作中であること（ステップＢ４でＹＥＳ）、この音楽プレイヤ７に対する操作手段として、座標位置検出部１０からの検出結果を使用することが指定されていることを条件に（ステップＢ５でＹＥＳ）、タッチ操作の仕方に基づいて使用者の動作を検出し、それに対応する「操作内容」に応じた処理をバックグランド処理として動作中の音楽プレイヤ７に対して実行する（ステップＢ６〜Ｂ８）。
【００５４】
他方、メイン操作部４からの操作が行われない場合には（図７のステップＡ１９でＮＯ）、図９のフローに移り、出力標位置検出部１０からの出力が有るかに基づいてタッチ操作の有無を調べ（ステップＡ４１）、タッチ操作が行われたときには、上述の座標位置検出処理に移り（ステップＡ４２）、タッチ入力に応じた操作としてメイン処理として動作中のアプリケーションに対する操作、あるいはバックグランド処理として動作中の音楽プレイヤ７に対する操作を実行する。
【００５５】
また、撮像部１１からの出力を検出した場合には（ステップＡ４３でＹＥＳ）、制御部１は、撮像部１１によって撮像された画像を解析して、例えば、“指を上に振る”、“指を右に振る”、などの使用者の動作（ジェスチャ）を検出する（ステップＡ４４）。そして、動作中フラグＭＦの値は“２”か（音楽プレイヤ７はバックグランド処理として動作中か）を調べ（ステップＡ４５）、その値が“２”でなければ、メイン処理として動作中のアプリケーションに対して今回の使用者の動作（ジェスチャ）に応じた処理を実行したのち（ステップＡ４７）、図６のステップＡ３に戻る。また、動作中フラグＭＦが“２”で、音楽プレイヤ７がバックグランド処理として動作中であれば（ステップＡ４５でＹＥＳ）、検出部フラグＤＦを参照し、その値は“２”か、つまり、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、撮像部１１からの検出結果を使用することが指定されているかを調べる（ステップＡ４６）。
【００５６】
検出部フラグＤＦの値が“２”でなければ（ステップＡ４６でＮＯ）、図６のステップＡ３に戻るが、その値が“２”であれば（ステップＡ４６でＹＥＳ）、上述のように検出した使用者の動作（ジェスチャ）に基づいて動作テーブルＭＴを参照し、検出部フラグＤＦの値が“２”で、検出した使用者の動作に対応する「操作内容」を取得し（ステップＡ５６）、バックグランド処理として動作中の音楽プレイヤ７に対して当該「操作内容」に応じた処理を実行する（ステップＡ５７）。例えば、“指を上に振る”に応じて音量を１段階アップさせる処理を実行し、“指を右に振る”に応じて前コンテンツを再生対象とする処理を実行する。
【００５７】
また、集音部１２からの出力を検出した場合（ステップＡ４８でＹＥＳ）、制御部１は、集音部１２からの入力音声を解析（音声認識）することによって、例えば、“うえ（上）”、“さいせい（再生）”、“ていし（停止）”などの音声指示を使用者の動作として検出する（ステップＡ４９）。そして、動作中フラグＭＦの値は“２”か（音楽プレイヤ７はバックグランド処理として動作中か）を調べ（ステップＡ５０）、その値が“２”でなければ、メイン処理として動作中のアプリケーションに対して今回の使用者の動作（音声指示）に応じた処理を実行したのち（ステップＡ４７）、図６のステップＡ３に戻る。
【００５８】
また、動作中フラグＭＦが“２”で、音楽プレイヤ７がバックグランド動作中であれば（ステップＡ５０でＹＥＳ）、検出部フラグＤＦを参照し、その値は“３”か、つまり、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、集音部１２からの検出結果を使用することが指定されているかを調べる（ステップＡ５１）。いま、検出部フラグＤＦの値が“３”でなければ（ステップＡ５１でＮＯ）、図６のステップＡ３に戻るが、その値が“３”であれば（ステップＡ５１でＹＥＳ）、上述のように検出した使用者の動作（音声指示）に基づいて動作テーブルＭＴを参照し、検出部フラグＤＦの値が“３”で、検出した使用者の動作に対応する「操作内容」を取得し（ステップＡ５６）、バックグランド処理として動作中の音楽プレイヤ７に対して当該「操作内容」に応じた処理を実行する（ステップＡ５７）。例えば、“うえ（上）”に応じて音量を１段階アップさせる処理を実行し、“さいせい（再生）”に応じて再生動作を開始させる処理を実行する。
【００５９】
また、筐体動作検出部１３からの出力を検出した場合には（ステップＡ５２でＹＥＳ）、制御部１は、筐体動作検出部１３からの検出結果に応じて装置本体を振ったときの振り方向を使用者の動作として検出する（ステップＡ５３）。例えば、“筐体を上に振る”、“筐体を下に振る”、“筐体を前に突き出す”などを検出する。そして、動作中フラグＭＦの値は“２”か（音楽プレイヤ７はバックグランド処理として動作中か）を調べ（ステップＡ５４）、その値が“２”でなければ、メイン処理として動作中のアプリケーションに対して今回の使用者の動作（振り方向）に応じた処理を実行したのち（ステップＡ４７）、図６のステップＡ３に戻る。
【００６０】
また、動作中フラグＭＦが“２”で、音楽プレイヤ７がバックグランド処理として動作中であれば（ステップＡ５４でＹＥＳ）、検出部フラグＤＦを参照し、その値は“４”か、つまり、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、筐体動作検出部１３からの検出結果を使用することが指定されているかを調べる（ステップＡ５５）。いま、検出部フラグＤＦの値が“４”でなければ（ステップＡ５５でＮＯ）、図６のステップＡ３に戻る。
【００６１】
また、検出部フラグＤＦの値が“４”であれば（ステップＡ５５でＹＥＳ）、上述のように検出した使用者の動作（振り方向）に基づいて動作テーブルＭＴを参照し、検出部フラグＤＦの値が“４”で、検出した使用者の動作に対応する「操作内容」を取得し（ステップＡ５６）、バックグランド処理として動作中の音楽プレイヤ７に対して当該「操作内容」に応じた処理を実行する（ステップＡ５７）。例えば、“筐体を上に振る”に応じて音量を１段階アップさせる処理を実行し、“筐体を下に振る”に応じて音量を１段階ダウンさせる処理を実行する。その後、図６のステップＡ３に戻る。
【００６２】
以上のように、この実施形態において制御部１は、メイン処理（フォアグランド処理）として動作中の機能に並行してバックグラウンド処理として音関連機能が動作中の場合に、メイン操作部４による操作をメイン処理として動作中の機能に割り当てた状態のままであっても、使用者の動作に基づいて音関連機能を操作することができ、音関連機能に対して専用の操作部を設けることなく、バックグラウンド処理として動作中の音関連機能を操作することができ、実用効果の高いものとなる。
【００６３】
バックグラウンド処理として音関連機能が動作中である場合に、表示部９による表示及びメイン操作部４による操作をフォアグランド処理として動作中の機能に割り当てるようにしたので、バックグラウンド処理として音関連機能が動作していても、メイン処理として動作中の機能用として表示部９、メイン操作部４を使用することが可能となる。
【００６４】
タッチ画面ＴＤを構成する座標位置検出部１０は、タッチ画面ＴＤ（表示部９）上においてその座標位置を入力する座標入力操作（タッチ操作）を使用者の動作として検出するようにしたので、バックグラウンド処理として動作中の音関連機能の操作を座標位置の入力動作で行うことができると共に、既存のタッチ画面ＴＤを音関連機能の操作手段として活用することができる。
【００６５】
ビュースタイルのように、メイン操作部４が使用不可能な状態である場合には、バックグラウンド処理として音関連機能が動作中である場合でも、座標位置検出部１０によって検出された座標入力操作をフォアグランド動作中の機能に割り当てるようにしたので、メイン操作部４が使用できない状態であってもメイン処理として動作中の機能を座標位置検出部１０を介して操作することができる。
【００６６】
メイン操作部４が使用不可能な状態である場合には、メイン処理として動作中の機能に使用される操作面（キー操作パネルＫＰ）を表示部９の一部に設けた状態において、座標位置検出部１０によって検出された座標入力操作がキー操作パネルＫＰに対するものであれば、この座標入力動作をメイン処理として動作中の機能に割り当て、表示部９の他の部分に対するものであれば、バックグラウンド処理として動作中の音関連機能に割り当てるようにしたので、メイン操作部４が使用できない状態であっても、メイン処理として動作中の機能及びバックグラウンド処理として動作中の音関連機能のいずれに対しても操作することができる。
【００６７】
タッチ画面ＴＤの領域全体を音関連機能に割り当てるようにしたので、表示内容を目視しなくても、バックグラウンド処理として動作中の音関連機能に対する操作を行うことができる。
【００６８】
撮像部１１によって使用者を撮像した画像を解析し、その解析結果を使用者の動作として検出するようにしたので、バックグラウンド処理として動作中の音関連機能の操作を使用者の指などを動かすことによって行うことができ、その動かし方によって操作の種類を変えることができると共に、カメラ機能を構成する既存の撮像部１１を音関連機能の操作手段として活用することができる。
【００６９】
集音部１２によって集音した使用者の音声を認識し、その認識結果を使用者の動作を検出するようにしたので、バックグラウンド処理として動作中の音関連機能の操作を使用者の声や叩く音によって行うことができ、声の出し方や叩き方によって操作の種類を変えることができると共に、録音機能を構成する既存の集音部１２を音関連機能の操作手段として活用することができる。
【００７０】
筐体動作検出部１３によって装置本体が振られた場合に、その振り操作を使用者の動作として検出するようにしたので、バックグラウンド処理として動作中の音関連機能の操作を当該端末装置の振ることによって行うことができ、振り方によって操作の種類を変えることができると共に、万歩計（登録商標）機能を構成する既存の筐体動作検出部１３を音関連機能の操作手段として活用することができる。
【００７１】
なお、上述した実施形態においては、音関連機能として音楽プレイヤ７を例示したが、これに限らず、音関連機能例えば、アラーム機能、ラジオ機能、メールの音声読み上げ機能などであってもよい。
【００７２】
また、上述した実施形態においては、表示部９上の座標位置を入力する座標入力操作を使用者の動作として検出する手段として、表示部９と座標位置検出部１０とからなるタッチ画面ＴＤを例示したが、タッチパット、トラックボールなどの座標入力手段であってもよい。
【００７３】
また、上述した実施形態においては、２軸ヒンジタイプの携帯電話機に適用した場合を例示したが、上述したスライドタイプのほか、操作部筐体に対して表示部筐体を縦方向に開いた縦開き状態のオープンスタイルと、操作部筐体に対して表示部筐体Ｂを横方向に開いた横開き状態のオープンスタイルに変更可能な２ウエイオープンスタイルなどであってもよい。
【００７４】
その他、携帯端末装置としては携帯電話装置に限らず、例えば、ＰＤＡ（個人用の携帯情報端末）、デジタルカメラ、電子腕時計、音楽再生機などのであっても同様に適用可能である。
【図面の簡単な説明】
【００７５】
【図１】携帯端末装置として適用した携帯電話装置の基本的な構成要素を示したブロック図。
【図２】携帯電話機の外観図で、（１）は、操作部筐体Ａと表示部筐体Ｂとの折り畳みを開いた状態のオープンスタイルを示した図、（２）は、上述のオープンスタイルから操作部筐体Ａに対して表示部筐体Ｂを１８０°回転させたのち、操作部筐体Ａに対して表示部筐体Ｂを折り畳んだ状態のビュースタイルを示した図。
【図３】フラグメモリＦＭを説明するための図。
【図４】動作テーブルＭＴを説明するための図。
【図５】（１）は、メール機能がメインとして動作中の場合、（２）は、メール機能がメインで動作中の場合に、バックグランドとして音楽プレイヤ７が動作中である場合、（３）は、ビュースタイルにおいてメール機能がメインで動作中の場合に、バックグランドとして音楽プレイヤ７が動作中である場合、（４）は、音楽プレイヤ７がメインで動作中の場合の表示例を示した図。
【図６】電源投入（オン）に伴って実行開始される携帯電話機の全体動作の概要を示したフローチャート。
【図７】図６に続く動作を示したフローチャート。
【図８】図７に続く動作を示したフローチャート。
【図９】図７に続く動作を示したフローチャート。
【図１０】タッチ操作に応答して実行される座標位置検出処理（図６のステップＡ１０、図９のステップＡ４２など）を詳述するためのフローチャート。
【符号の説明】
【００７６】
１ 制御部
３ 記憶部
４ メイン操作部
５ 通信部
７ 音楽プレイヤ
８ サウンドスピーカ
９ 表示部
１０ 座標位置検出部
１１ 撮像部
１２ 集音部
１３ 筐体動作検出部
１４ スタイル検出部
ＴＤ タッチ画面
ＦＭ フラグメモリ
ＭＴ 動作テーブル
ＭＦ 動作中フラグ
ＤＦ 検出部フラグ
ＳＦ スタイルフラグ
【特許請求の範囲】
【請求項１】
表示部及び操作部を備え、音関連機能を含む複数の機能を並行して動作可能な端末装置であって、
使用者の動作を検出する動作検出手段と、
この動作検出手段によって検出される動作と前記音関連機能に関連する操作を対応付けて記憶する記憶手段と、
フォアグランド処理として動作中の機能に並行してバックグラウンド処理として前記音関連機能が動作中であるか否かを判別する動作状態判別手段と、
この動作状態判別手段によってバックグラウンド処理で前記音関連機能が動作中であると判別された場合に、前記操作部による操作を前記フォアグランド処理として動作中の機能に割り当てる一方、前記動作検出手段によって検出された動作を前記音関連機能に割り当て、この動作検出手段によって使用者の動作が検出された場合に、この動作に対応付けて前記記憶手段に記憶されている前記音関連機能の操作を実行させるように制御する制御手段と、
を具備したことを特徴とする端末装置。
【請求項２】
前記制御手段は、前記バックグラウンド処理で前記音関連機能が動作中であると判別された場合に、前記表示部による表示及び前記操作部による操作を前記フォアグランド処理として動作中の機能に割り当てる、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項３】
前記動作検出手段は、前記表示部上の座標位置を入力する座標入力操作を使用者の動作として検出する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項４】
前記操作部が使用可能状態であるか否かを判別する操作部状態判別手段を更に備え、
前記制御手段は、前記操作部状態判別手段によって操作部が使用不可能な状態であると判別された場合には、前記動作状態判別手段によってバックグラウンド処理で音関連機能が動作中であると判別されるか否かに拘わらず、前記動作検出手段によって検出された座標入力操作をフォアグランド処理として動作中の機能に割り当てる、
ようにしたことを特徴とする請求項３記載の端末装置。
【請求項５】
前記制御手段は、前記操作部状態判別手段によって操作部が使用不可能な状態であると判別された場合に、フォアグランド処理として動作中の機能に使用される操作面を前記表示部の一部に設けた状態において、前記動作検出手段によって検出された座標入力操作が前記操作面に対するものであれば、この座標入力操作をフォアグランド処理として動作中の機能に割り当て、前記表示部の他の部分に対するものであれば、当該座標入力操作をバックグラウンド処理として動作中の前記音関連機能に割り当てる、
ようにしたことを特徴とする請求項４記載の端末装置。
【請求項６】
前記動作検出手段は、前記表示部と座標位置検出部とを備えたタッチ画面上で行われるタッチ操作を使用者の動作として検出し、
前記制御手段は、前記タッチ画面へのタッチ操作を前記音関連機能に割り当てる、
ようにしたことを特徴とする請求項３記載の端末装置。
【請求項７】
前記動作検出手段は、使用者を撮像した画像を解析し、その解析結果を使用者の動作として検出する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項８】
前記動作検出手段は、集音した使用者の音声を認識し、その認識結果を使用者の動作として検出する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項９】
前記動作検出手段は、装置本体が振られた場合に、その振り操作を使用者の動作として検出する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項１０】
コンピュータに対して、
音関連機能を含む複数の機能を並行処理する手段と、
使用者の動作を検出する手段と、
前記検出される動作と前記音関連機能に関連する操作を対応付けて記憶管理する手段と、
フォアグランド処理として動作中の機能に並行してバックグラウンド処理として前記音関連機能が動作中であるか否かを判別する手段と、
前記バックグラウンド処理で前記音関連機能が動作中であると判別された場合に、前前記操作部による操作を前記フォアグランド処理として動作中の機能に割り当てる一方、前記検出された動作を前記音関連機能に割り当て、前記使用者の動作が検出された場合に、この動作に対応付けて記憶されている前記音関連機能の操作を実行させるように制御する手段と、
を実現させるためのプログラム。
【請求項１】
表示部及び操作部を備え、音関連機能を含む複数の機能を並行して動作可能な端末装置であって、
使用者の動作を検出する動作検出手段と、
この動作検出手段によって検出される動作と前記音関連機能に関連する操作を対応付けて記憶する記憶手段と、
フォアグランド処理として動作中の機能に並行してバックグラウンド処理として前記音関連機能が動作中であるか否かを判別する動作状態判別手段と、
この動作状態判別手段によってバックグラウンド処理で前記音関連機能が動作中であると判別された場合に、前記操作部による操作を前記フォアグランド処理として動作中の機能に割り当てる一方、前記動作検出手段によって検出された動作を前記音関連機能に割り当て、この動作検出手段によって使用者の動作が検出された場合に、この動作に対応付けて前記記憶手段に記憶されている前記音関連機能の操作を実行させるように制御する制御手段と、
を具備したことを特徴とする端末装置。
【請求項２】
前記制御手段は、前記バックグラウンド処理で前記音関連機能が動作中であると判別された場合に、前記表示部による表示及び前記操作部による操作を前記フォアグランド処理として動作中の機能に割り当てる、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項３】
前記動作検出手段は、前記表示部上の座標位置を入力する座標入力操作を使用者の動作として検出する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項４】
前記操作部が使用可能状態であるか否かを判別する操作部状態判別手段を更に備え、
前記制御手段は、前記操作部状態判別手段によって操作部が使用不可能な状態であると判別された場合には、前記動作状態判別手段によってバックグラウンド処理で音関連機能が動作中であると判別されるか否かに拘わらず、前記動作検出手段によって検出された座標入力操作をフォアグランド処理として動作中の機能に割り当てる、
ようにしたことを特徴とする請求項３記載の端末装置。
【請求項５】
前記制御手段は、前記操作部状態判別手段によって操作部が使用不可能な状態であると判別された場合に、フォアグランド処理として動作中の機能に使用される操作面を前記表示部の一部に設けた状態において、前記動作検出手段によって検出された座標入力操作が前記操作面に対するものであれば、この座標入力操作をフォアグランド処理として動作中の機能に割り当て、前記表示部の他の部分に対するものであれば、当該座標入力操作をバックグラウンド処理として動作中の前記音関連機能に割り当てる、
ようにしたことを特徴とする請求項４記載の端末装置。
【請求項６】
前記動作検出手段は、前記表示部と座標位置検出部とを備えたタッチ画面上で行われるタッチ操作を使用者の動作として検出し、
前記制御手段は、前記タッチ画面へのタッチ操作を前記音関連機能に割り当てる、
ようにしたことを特徴とする請求項３記載の端末装置。
【請求項７】
前記動作検出手段は、使用者を撮像した画像を解析し、その解析結果を使用者の動作として検出する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項８】
前記動作検出手段は、集音した使用者の音声を認識し、その認識結果を使用者の動作として検出する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項９】
前記動作検出手段は、装置本体が振られた場合に、その振り操作を使用者の動作として検出する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項１０】
コンピュータに対して、
音関連機能を含む複数の機能を並行処理する手段と、
使用者の動作を検出する手段と、
前記検出される動作と前記音関連機能に関連する操作を対応付けて記憶管理する手段と、
フォアグランド処理として動作中の機能に並行してバックグラウンド処理として前記音関連機能が動作中であるか否かを判別する手段と、
前記バックグラウンド処理で前記音関連機能が動作中であると判別された場合に、前前記操作部による操作を前記フォアグランド処理として動作中の機能に割り当てる一方、前記検出された動作を前記音関連機能に割り当て、前記使用者の動作が検出された場合に、この動作に対応付けて記憶されている前記音関連機能の操作を実行させるように制御する手段と、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−１０３７２１（Ｐ２０１０−１０３７２１Ａ）
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願番号】特願２００８−２７２６５９（Ｐ２００８−２７２６５９）
【出願日】平成２０年１０月２３日（２００８．１０．２３）
【出願人】（５０４１４９１００）株式会社カシオ日立モバイルコミュニケーションズ (893)
【Ｆターム（参考）】
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願日】平成２０年１０月２３日（２００８．１０．２３）
【出願人】（５０４１４９１００）株式会社カシオ日立モバイルコミュニケーションズ (893)
【Ｆターム（参考）】
[ Back to top ]