携帯端末、補助情報表示プログラムおよび補助情報表示方法
【構成】携帯電話機１０は、タッチパネル３８が設けられたディスプレイ３０などを備える。また、タッチ操作がされると、タッチ操作を行う手や指が撮影されると共に、タッチ位置が取得される。そして、プロセッサ２４は、ディスプレイ３０において、そのタッチ操作を行う手や指によって遮蔽される遮蔽領域を、撮影した画像およびタッチ位置に基づいて特定する。また、特定された遮蔽領域の表示内容から補助情報が抽出され、その補助情報を表示できる表示領域が決められる。そして、このようにして決められた表示領域に補助情報が表示される。
【効果】タッチ操作を行う手で表示が見えなくなっても、見えない部分が適切に補助表示されるため、タッチ操作の操作性をより向上させることができる。
【効果】タッチ操作を行う手で表示が見えなくなっても、見えない部分が適切に補助表示されるため、タッチ操作の操作性をより向上させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯端末、補助情報表示プログラムおよび補助情報表示方法に関し、特にタッチパネルを有する、携帯端末、補助情報表示プログラムおよび補助情報表示方法に関する。
【背景技術】
【０００２】
タッチパネルを有する、携帯端末の一例が特許文献１に開示されている。特許文献１のＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）の上面にはタッチパネルが設けられており、入力装置に仮想キーボードが表示される。また、仮想キーボードにおいて任意のキーにタップされると、任意のキーおよび隣接キーが拡大表示される。
【特許文献１】特開２００５−１８２４８７号公報［G06F 3/033, G06F 3/00, G06F 3/023, H03M 11/04］
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところが、特許文献１のＰＤＡでは、拡大表示したとしてもタップする指やタップする位置によっては、指や手によって表示内容が隠れてしまう。
【０００４】
それゆえに、この発明の主たる目的は、新規な、携帯端末、補助情報表示プログラムおよび補助情報表示方法を提供することである。
【０００５】
この発明の他の目的は、タッチ操作の操作性をより向上させることができる、携帯端末、補助情報表示プログラムおよび補助情報表示方法を提供することである。
【課題を解決するための手段】
【０００６】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００７】
第１の発明は、タッチパネル、タッチパネルに対するタッチ操作を検出する検出部およびタッチパネルが設けられる表示装置を有する、携帯端末であって、検出部によってタッチ操作が検出されているとき、検出されたタッチ操作によって表示装置が遮蔽されている遮蔽領域を特定する特定部、特定部によって特定された遮蔽領域に基づいて、表示装置の表示内容から補助情報を抽出する抽出部、特定部によって特定された遮蔽領域に基づいて、補助情報を表示する表示領域を決定する決定部、および決定部によって決定された表示領域に、抽出された補助情報を表示する表示部を備える、携帯端末である。
【０００８】
第１の発明では、携帯端末（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）では、表示装置（３０）にタッチパネルが設けられ、そのタッチパネルに対するタッチ操作は検出部（３６）によって検出される。特定部（２４，Ｓ１１−Ｓ１５）は、タッチパネルに対するタッチ操作が検出されると、たとえばタッチ操作を行う手や指によって表示装置が遮蔽されている遮蔽領域を特定する。抽出部（２４，Ｓ１７）は、たとえば、遮蔽領域に表示される文字列などが、補助情報として抽出される。決定部（２４，Ｓ２１）は、抽出された補助情報の内容と遮蔽領域ではない領域（表示可能領域）とから、表示領域を決定する。表示部（２４，Ｓ２３）は、決定された表示領域に、補助情報を表示する。
【０００９】
第１の発明によれば、タッチ操作によって表示が見えなくなっても、見えない部分が適切に補助表示されるため、タッチ操作の操作性をより向上させることができる。
【００１０】
第２の発明は、第１の発明に従属し、画像を出力するカメラモジュールをさらに備え、特定部は、カメラモジュールが出力する画像に基づいて、検出されたタッチ操作によって表示装置が遮蔽されている遮蔽領域を特定する。
【００１１】
第２の発明では、カメラモジュール（４０−４４）は、画角が広く設定されているイメージセンサやフォーカスレンズを含む。また、カメラモジュールに通じる開口（ＯＰ３）は、タッチ操作を行う指を撮影できるように設けられる。そして、特定部は、出力された画像に基づいて、タッチ操作による遮蔽領域を特定する。
【００１２】
第２の発明によれば、撮影画像だけで遮蔽領域を特定すれば、遮蔽領域を特定するまでの処理を単純にすることができる。
【００１３】
第３の発明は、第２の発明に従属し、特定部は、検出部によって検出されたタッチ操作およびカメラモジュールが出力する画像に基づいて、検出されたタッチ操作によって表示装置が遮蔽されている遮蔽領域を特定する。
【００１４】
第３の発明では、カメラモジュールから出力された画像に基づいてタッチ操作を行う手の左右を判定して、タッチ操作におけるタッチ位置を取得することで、遮蔽領域を特定する。
【００１５】
第３の発明によれば、特定部は、画像とタッチ操作とを利用することで、遮蔽領域を精度よく特定することができる。
【００１６】
第４の発明は、タッチパネル（３８）、タッチパネルに対するタッチ操作を検出する検出部（３６）およびタッチパネルが設けられる表示装置（３０）を有する、携帯端末（１０）のプロセッサ（２４）を、検出部によってタッチ操作が検出されているとき、検出されたタッチ操作によって表示装置が遮蔽されている遮蔽領域を特定する特定部（Ｓ１１−Ｓ１５）、特定部によって特定された遮蔽領域に基づいて、表示装置の表示内容から補助情報を抽出する抽出部（Ｓ１７）、特定部によって特定された遮蔽領域に基づいて、補助情報を表示する表示領域を決定する決定部（Ｓ２１）、および決定部によって決定された表示領域に、抽出された補助情報を表示する表示部（Ｓ２３）として機能させる、補助情報表示プログラムである。
【００１７】
第４の発明でも、第１の発明と同様、タッチ操作によって表示が見えなくなっても、見えない部分が適切に補助表示されるため、タッチ操作の操作性をより向上させることができる。
【００１８】
第５の発明は、タッチパネル（３８）、タッチパネルに対するタッチ操作を検出する検出部（３６）およびタッチパネルが設けられる表示装置（３０）を有する、携帯端末（１０）の補助情報表示方法であって、検出部によってタッチ操作が検出されているとき、検出されたタッチ操作によって表示装置が遮蔽されている遮蔽領域を特定し（Ｓ１１−Ｓ１５）、特定された遮蔽領域に基づいて、表示装置の表示内容から補助情報を抽出し（Ｓ１７）、特定された遮蔽領域に基づいて、補助情報を表示する表示領域を決定し（Ｓ２１）、そして決定された表示領域に、抽出された補助情報を表示する（Ｓ２３）、補助情報表示方法である。
【００１９】
第５の発明でも、第１の発明と同様、タッチ操作によって表示が見えなくなっても、見えない部分が適切に補助表示されるため、タッチ操作の操作性をより向上させることができる。
【発明の効果】
【００２０】
この発明によれば、タッチ操作によって表示が見えなくなっても、見えない部分が適切に補助表示されるため、タッチ操作の操作性をより向上させることができる。
【００２１】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２２】
【図１】図１はこの発明の一実施例の携帯電話機の電気的な構成を示す図解図である。
【図２】図２は図１に示す携帯電話機の外観の一例を示す図解図である。
【図３】図３は図２に示すディスプレイに設けられる複数の領域の一例を示す図解図である。
【図４】図４は図３に示す複数の領域に対して行われるタッチ操作の一例を示す図解図である。
【図５】図５は図１に示すＲＡＭに記憶されるタッチ操作テーブルの構成の一例を示す図解図である。
【図６】図６は図３に示す複数の領域に対して行われるタッチ操作の他の一例を示す図解図である。
【図７】図７は図１に示すＲＡＭに記憶されるタッチ操作テーブルの構成の他の一例を示す図解図である。
【図８】図８は図１に示すディスプレイに補助情報が表示される様子の一例を示す図解図である。
【図９】図９は図１に示すディスプレイ表示される補助情報の一例を示す図解図である。
【図１０】図１０は図１に示すディスプレイに補助情報が表示される様子の他の一例を示す図解図である。
【図１１】図１１は図１に示すＲＡＭのメモリマップの一例を示す図解図である。
【図１２】図１２は図１に示すプロセッサの補助情報表示処理の一例を示すフロー図である。
【発明を実施するための形態】
【００２３】
図１を参照して、本実施例の携帯電話機１０は、携帯端末の一種であり、コンピュータまたはＣＰＵと呼ばれるプロセッサ２４を含む。また、プロセッサ２４には、無線通信回路１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２０、キー入力装置２６、表示ドライバ２８、フラッシュメモリ３２、ＲＡＭ３４、タッチパネル制御回路３６、カメラ制御回路４０、照度センサ４６および近接センサ４８が接続される。無線通信回路１４にはアンテナ１２が接続され、Ａ／Ｄ変換器１６にはマイク１８が接続され、Ｄ／Ａ変換器２０にはスピーカ２２が接続される。また、表示ドライバ２８には、ディスプレイ３０が接続される。さらに、タッチパネル制御回路３６にはタッチパネル３８が接続される。そして、カメラ制御回路４０にはイメージセンサ４２およびフォーカスレンズ４４が接続される。
【００２４】
プロセッサ２４は携帯電話機１０の全体制御を司る。ＲＡＭ３４は、プロセッサ２４の作業領域（描画領域を含む）ないしバッファ領域として用いられる。フラッシュメモリ３２には、携帯電話機１０の文字、画像、音声、音および映像のようなコンテンツのデータが記録される。
【００２５】
Ａ／Ｄ変換器１６は、マイク１８を通して入力される音声ないし音についてのアナログ音声信号を、デジタル音声信号に変換する。Ｄ／Ａ変換器２０は、デジタル音声信号をアナログ音声信号に変換（復号）して、図示しないアンプを介してスピーカ２２に与える。したがって、アナログ音声信号に対応する音声ないし音がスピーカ２２から出力される。なお、プロセッサ２４は、アンプの増幅率を制御することで、スピーカ２２から出力される音声の音量を調整することができる。
【００２６】
キー入力装置２６は、メニューキー、通話キーおよび終話キーなどを含む。そして、使用者が操作したキーの情報（キーデータ）はプロセッサ２４に入力される。また、キー入力装置２６に含まれる各キーが操作されると、クリック音が鳴る。したがって、使用者は、クリック音を聞くことで、キー操作に対する操作感を得ることができる。
【００２７】
表示ドライバ２８は、プロセッサ２４の指示の下、表示装置の一種であるディスプレイ３０の表示を制御する。また、表示ドライバ２８は表示する画像データを一時的に記憶するビデオメモリ（図示せず）を含む。
【００２８】
また、ディスプレイ３０には、ＬＥＤを光源とするバックライトが設けられている。そして、プロセッサ２４は、照度センサ４６の出力に基づいて、バックライトを調光する。なお、照度センサ４６は、アレイ状に集積されたフォトダイオードなどを含み、携帯電話機１０の周囲の照度を検出する。
【００２９】
タッチパネル３８は、指などの物体が表面に接近して生じた電極間の静電容量の変化を検出する静電容量方式で、たとえば１本または複数本の指がタッチパネル３８に触れたことを検出する。また、タッチパネル３８は、ディスプレイ３０の上に設けられ、その画面内で、任意の位置を指示するためのポインティングデバイスである。検出部として機能するタッチパネル制御回路３６は、タッチパネル３８のタッチ有効範囲内で、押したり、撫でたり、触られたりするタッチ操作を検出し、そのタッチ操作の位置を示す座標のデータをプロセッサ２４に出力する。つまり、使用者は、タッチパネル３８の表面を指で、押したり、撫でたり、触れたりすることによって、操作の方向や図形などを携帯電話機１０に入力することができる。
【００３０】
ここで、使用者がタッチパネル３８の上面を指で触れる操作を「タッチ」と言う。一方、タッチパネル３８から指を離す操作を「リリース」と言う。そして、使用者がタッチパネル３８の上面をタッチして、続けてリリースする操作を「タッチアンドリリース」と言う。
【００３１】
また、タッチパネル３８の表面を撫でる操作を「スライド」と言い、タッチした後にスライドし、リリースする操作を「タッチスライド」と言う。さらに、２回連続してタッチアンドリリースを行う操作を「ダブルタップ」と言い、２か所に略同時にタッチする操作を「マルチタッチ」と言う。そして、「タッチ操作」には、上記したタッチ、リリース、タッチアンドリリース、スライド、タッチスライド、ダブルタップおよびマルチタッチなどのタッチパネル３８に対して行う操作が含まれる。
【００３２】
また、タッチによって示された座標を「タッチ点」（タッチ開始位置）と言い、リリースによって示された座標を「リリース点」（タッチ終了位置）と言う。
【００３３】
なお、タッチ操作は指だけに限らず、導電体が先端に取り付けられたタッチペンなどによって行われてもよい。また、タッチパネル３８の検出方式には、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などであってもよい。
【００３４】
カメラ制御回路４０は、携帯電話機１０で静止画像または動画像を撮影するための回路である。たとえば、キー入力装置２６に対してカメラ機能を実行する操作が行われると、プロセッサ２４はカメラ機能を実行して、カメラ制御回路４０を起動する。なお、カメラ制御回路４０、イメージセンサ４２およびフォーカスレンズ４４は、まとめてカメラモジュールとして機能する。
【００３５】
イメージセンサ４２の撮像エリアには、ＱＶＧＡ（３２０×２４０画素）に対応する受光素子が表示されている。そのため、被写体の光学像がイメージセンサ４２に照射されると、撮像エリアでは光電変換によって被写体の光学像に対応する電荷、つまりＱＶＧＡの生画像信号が生成される。
【００３６】
カメラ機能が実行されると、被写体のリアルタイム動画像つまりスルー画像（プレビュー画像）をディスプレイ３０に表示するべく、プロセッサ２４は、カメラ制御回路４０に内蔵されるイメージセンサドライバを起動させ、露光動作および指定された読み出し領域に対応する電荷読み出し動作を、イメージセンサドライバに命令する。
【００３７】
イメージセンサドライバは、イメージセンサ４２の撮像面の露光と、当該露光によって生成された電荷の読み出しとを実行する。この結果、生画像信号が、イメージセンサ４２から出力される。また、出力された生画像信号はカメラ制御回路４０に入力され、カメラ制御回路４０は入力された生画像信号に対して、色分離、白バランス調整、ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データを生成する。そして、ＹＵＶ形式の画像データはプロセッサ２４に入力される。
【００３８】
また、プロセッサ２４に入力されたＹＵＶ形式の画像データは、プロセッサ２４によってＲＡＭ３４に格納（一時記憶）される。さらに、格納されたＹＵＶ形式の画像データは、プロセッサ２４でＲＧＢ形式の画像データに変換された後に、ＲＡＭ３４から表示ドライバ２８に与えられる。そして、ＲＧＢ形式の画像データがディスプレイ３０に出力される。これによって、被写体を表すＱＶＧＡのスルー画像がディスプレイ３０に表示される。
【００３９】
さらに、カメラ制御回路４０は生画像信号からフォーカス評価値を算出し、そのフォーカス評価値をプロセッサ２４に出力する。プロセッサ２４は、カメラ制御回路４０から出力されたフォーカス評価値に基づいて、ＡＦ（Ａｕｔｏｆｏｃｕｓ）処理を実行する。ＡＦ処理が実行されると、カメラ制御回路４０はプロセッサ２４の指示の下、フォーカスレンズ４４のレンズ位置を調整する。その結果、被写体にピントが合わせられたスルー画像がディスプレイ３０に表示される。
【００４０】
ここで、キー入力装置２６に対して静止画像の撮影操作が行われると、プロセッサ２４は、静止画像の本撮影処理を実行する。つまり、プロセッサ２４は、イメージセンサ４２から出力されるＱＶＧＡの生画像信号に信号処理を施して、ＲＡＭ３４に一旦格納し、フラッシュメモリ３２に対する記録処理を実行する。記録処理が実行されると、プロセッサ２４を通してＲＡＭ３４から画像データが読み出される。そして、プロセッサ２４は、読み出した画像データにメタ情報を関連付けて、１つの画像ファイルとしてフラッシュメモリ３２に保存する。さらに、プロセッサ２４は、図示しないスピーカから、本撮影処理が実行されていること通知する音を出力させる。
【００４１】
なお、メタ情報には、時刻情報、画像サイズおよび携帯電話機１０の機種名（型番）などが含まれる。また、携帯電話機１０にメモリカードが接続できる場合、画像ファイルはメモリカードに保存されてもよい。また、画像データに関連付けられるメタ情報はＥｘｉｆ形式で保存される。
【００４２】
また、カメラモジュールは、後述するテレビ電話機能が実行されるときにも利用される。そして、テレビ電話機能でカメラモジュールを利用できるように、カメラモジュールに通じる開口ＯＰ３（図２参照）は、ディスプレイ３０と同じ面に設けられる。そのため、カメラモジュールはインカメラと呼ばれることもある。
【００４３】
近接センサ４８は、図示は省略するが、発光素子である赤外ＬＥＤと受光素子であるフォトダイオードとを含む。プロセッサ２４は、フォトダイオードの出力の変化から、近接センサ４８（当該携帯電話機１０）に近接する物体（たとえば、使用者の顔など）の距離を算出する。具体的には、赤外ＬＥＤは、赤外線を発光し、フォトダイオードは、顔などで反射した赤外線を受光する。たとえば、フォトダイオードが使用者の顔から遠い場合には、赤外ＬＥＤが発光した赤外線はフォトダイオードによって受光されないが、近接センサ４８に使用者の顔が近接すると、赤外ＬＥＤが発光した赤外線は顔に反射してフォトダイオードによって受光される。このように、フォトダイオードは近接センサ４８が使用者の顔に近接している場合とそうでない場合とで赤外線の受光量が変化するため、プロセッサ２４は、その受光量に基づいて、近接センサ４８から対象までの距離を算出することができる。
【００４４】
無線通信回路１４は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、使用者がキー入力装置２６を用いて電話発信（発呼）を指示すると、無線通信回路１４は、プロセッサ２４の指示の下、電話発信処理を実行し、アンテナ１２を介して電話発信信号を出力する。電話発信信号は、基地局および通信網（図示せず）を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ２４は通話処理を実行する。
【００４５】
通常の通話処理について具体的に説明すると、相手の電話機から送られてきた変調音声信号はアンテナ１２によって受信される。受信された変調音声信号には、無線通信回路１４によって復調処理および復号処理が施される。そして、これらの処理によって得られた受話音声信号は、Ｄ／Ａ変換器２０によってアナログ音声信号に変換された後、スピーカ２２から出力される。一方、マイク１８を通して取り込まれた送話音声信号は、Ａ／Ｄ変換器１６によってデジタル音声信号に変換された後、プロセッサ２４に与えられる。デジタル音声信号に変換された送話信号には、プロセッサ２４の指示の下、無線通信回路１４によって符号化処理および変調処理が施され、アンテナ１２を介して出力される。したがって、変調音声信号は、基地局および通信網を介して相手の電話機に送信される。
【００４６】
また、相手の電話機からの電話発信信号がアンテナ１２によって受信されると、無線通信回路１４は、電話着信（着呼）をプロセッサ２４に通知する。これに応じて、プロセッサ２４は、表示ドライバ２８を制御して、着信通知に記述された発信元情報（電話番号など）をディスプレイ３０に表示する。また、これとほぼ同時に、プロセッサ２４は、図示しないスピーカから着信音（着信メロディ、着信音声と言うこともある。）を出力させる。
【００４７】
そして、使用者が通話キーを用いて応答操作を行うと、無線通信回路１４は、プロセッサ２４の指示の下、電話着信処理を実行する。さらに、通信可能状態が確立され、プロセッサ２４は上述した通常の通話処理を実行する。
【００４８】
また、通話可能状態に移行した後に終話キーによって通話終了操作が行われると、プロセッサ２４は、無線通信回路１４を制御して、通話相手に通話終了信号を送信する。そして、通話終了信号の送信後、プロセッサ２４は通話処理を終了する。また、先に通話相手から通話終了信号を受信した場合も、プロセッサ２４は通話処理を終了する。さらに、通話相手によらず、移動通信網から通話終了信号を受信した場合も、プロセッサ２４は通話処理を終了する。
【００４９】
また、本実施例では、ハンズフリー通話を行うこともできる。そして、上述したように、インカメラおよびハンズフリー通話を利用して、テレビ電話機能を実行することもできる。
【００５０】
なお、携帯電話機１０は、図示しないネットワークとの通信を確立することで、ブラウザ機能を実行することができる。また、携帯電話機１０は、文書を作成および編集するためのメモ帳機能を実行することもできる。さらに、これらの機能では、ＱＷＥＲＴＹ配列の仮想キーボード６６（図８（Ａ）参照）を利用して、文字を入力することができる。
【００５１】
図２は、携帯電話機１０の表面の外観を示す外観図である。図２を参照して、携帯電話機１０は、ストレート型の形状をしており、平面矩形の筐体Ｃを有する。図示しないマイク１８は、筐体Ｃに内蔵され、内蔵されたマイク１８に通じる開口ＯＰ２は筐体Ｃの縦方向一方の表面に設けられる。同じく、図示しないスピーカ２２は、筐体Ｃに内蔵され、内蔵されたスピーカ２２に通じる開口ＯＰ１は、筐体Ｃの縦方向他方の表面に設けられる。
【００５２】
キー入力装置２６に含まれる各キーは筐体Ｃの表面に設けられる。ディスプレイ３０は、表示面（モニタ画面）が筐体Ｃの表面から見えるように取り付けられる。また、ディスプレイ３０の表示面の上にはタッチパネル３８が設けられる。
【００５３】
さらに、カメラモジュールは筐体Ｃに内蔵され、内蔵されたカメラモジュールのイメージセンサ４２に通じる開口ＯＰ３は筐体Ｃの表面の左上に設けられる。照度センサ４４および近接センサ４６は、センサ面が露出するように、筐体Ｃの表面の右上角に設けられる。なお、本実施例では、照度センサ４４と近接センサ４６とは隣り合うように設けられる。
【００５４】
たとえば、使用者は、ディスプレイ３０に表示されたダイヤルキーに対して、タッチ操作を行うことで電話番号を入力し、通話キーによって音声発信操作を行う。そして、使用者は、通話が終了すると、終話キーによって通話終了操作を行う。また、使用者はテレビ電話機能を実行する場合、筐体Ｃの表面、つまりディスプレイ３０および開口ＯＰ３を見ながらハンズフリー通話を行う。
【００５５】
また、使用者は、メニューキーを操作することで、ディスプレイ３０にメニュー画面を表示する。さらに、使用者は、ディスプレイ３０に表示されたソフトキーおよびメニューに対してタッチ操作を行うことで、メニューの選択や確定を行う。
【００５６】
なお、カメラモジュールは、テレビ電話機能が実行されているときに、使用者の顔が画角に収まるようにするために、筐体Ｃの中心側（タッチパネル側）に対して画角が広く設定されている。
【００５７】
また、アンテナ１２、無線通信回路１４、Ａ／Ｄ１６、Ｄ／Ａ２０、プロセッサ２４、表示ドライバ２８、フラッシュメモリ３２、ＲＡＭ３４、タッチパネル制御回路３６、カメラ制御回路４０、イメージセンサ４２およびフォーカスレンズ４４は筐体Ｃに内蔵されているため、図２では図示されない。
【００５８】
ここで、本実施例では、タッチ操作がされたときに、タッチ操作によってディスプレイ３０の表示が遮蔽される領域（遮蔽領域）を特定し、遮蔽領域に含まれる表示内容（文字列など）が補助情報として抽出される。そして、抽出された補助情報は、遮蔽領域に基づいて決められる表示領域に表示される。以下、具体的な処理を説明する。
【００５９】
まず、図３を参照して、ディスプレイ３０の表示範囲において、左上が第１領域、右上が第２領域、左下が第３領域、右下が第４領域として設定される。そして、本実施例では、これらの領域に対するタッチ操作に基づいて、遮蔽領域を特定し、補助情報を表示する表示領域を決定する。
【００６０】
次に、タッチ操作がされると、タッチ操作を行った手（左手、右手）と、タッチ操作におけるタッチ点を含む領域とに基づいて遮蔽領域が特定される。そして、本実施例では、タッチ操作を行った手は、パターンマッチング処理および肌色領域の抽出処理を利用して判定される。
【００６１】
上述したように、カメラモジュールに通じる開口ＯＰ３は筐体Ｃの表面の左上に設けられ、カメラモジュールはタッチパネル側に対して画角が広く設定されている。つまり、タッチ操作を行う指や手はカメラモジュールによって撮影することができる。そのため、左手と右手とをそれぞれ認識可能なパターンマッチング処理を利用することで、タッチ操作を行う右手と左手とを判定することができる。
【００６２】
また、開口ＯＰ３の取り付け位置が筐体Ｃの中心からずれているため、タッチパネル３８をタッチする指や手は、右手と左手とで画像への写り込み方が異なる。つまり、タッチ操作を行う指を撮影した場合、手や指が写り込む量が異なる。そのため、撮影された画像における肌色領域の大きさ（量）に基づいて、タッチ操作を行う右手と左手とを判定することもできる。
【００６３】
そして、本実施例では、パターンマッチング処理の判定結果と、肌色領域の大きさに基づく判定結果を組み合わせて、タッチ操作を行う手を判定する。具体的に、ターンマッチング処理では、左手パターンと一致する割合（一致率）と、右手パターンと一致する割合とをそれぞれ算出する。このとき、一致率の差が閾値以上であれば、一致率に基づいて左右の手が判定される。一方、一致率の差が閾値未満であれば、肌色領域の大きさに基づいて左右の手が判定される。なお、他の実施例では、肌色領域の判定がパターンマッチングの判定よりも優先されてもよい。
【００６４】
次に、タッチ操作を行う手の左右が判定されると、タッチ位置とタッチ操作テーブルとに基づいて、遮蔽領域が特定される。また、タッチ操作テーブルとは、タッチ位置を含む領域に対して、遮蔽領域と表示可能領域とが予め登録されているテーブルである。
【００６５】
たとえば、図４（Ａ）のように、左手で第１領域にタッチされた場合、図５に示す左手用の第１タッチ操作テーブルに従い、第１領域および第３領域がタッチ操作を行う手によって遮蔽される遮蔽領域として特定され、第２領域および第４領域が補助情報を表示できる表示可能領域として特定される。また、図４（Ｂ）のように、左手で第２領域にタッチされた場合、図５の第１タッチ操作テーブルに従い、第２領域、第３領域および第４領域が遮蔽領域として特定され、第１領域が表示可能領域として特定される。また、図４（Ｃ）のように、左手で第３領域にタッチされた場合、図５の第１タッチ操作テーブルに従い、第３領域が遮蔽領域として特定され、第１領域、第２領域および第４領域が表示可能領域として特定される。そして、図４（Ｄ）のように、左手で第４領域にタッチされた場合、図５の第１タッチ操作テーブルに従い、第３領域および第４領域が遮蔽領域として特定され、第１領域および第２領域が表示可能領域として特定される。
【００６６】
一方、図６（Ａ）のように、右手で第１領域にタッチされた場合、図７に示す右手用の第２タッチ操作テーブルに従い、第１領域、第３領域および第４領域が遮蔽領域として特定され、第２領域が表示可能領域として特定される。また、図６（Ｂ）のように、右手で第２領域にタッチされた場合、第２タッチ操作テーブルに従い、第２領域および第４領域が遮蔽領域として特定され、第１領域および第３領域が表示可能領域として特定される。また、図６（Ｃ）のように、右手で第３領域にタッチされた場合、第３領域および第４領域が遮蔽領域として特定され、第１領域および第２領域が表示可能領域として特定される。そして、図６（Ｄ）のように、右手で第４領域にタッチされた場合、第４領域が遮蔽領域として特定され、第１領域、第２領域および第３領域が表示可能領域として特定される。
【００６７】
そして、遮蔽領域の表示内容（たとえば、文字列）が補助情報として抽出され、その情報量から表示領域が決められる。たとえば、補助情報が文字列であり、その文字数が１つの表示可能領域に収まるのであれば、特定された表示可能領域のうち、最も番号が小さい表示可能領域が表示領域として決定される。また、文字数が１つの表示可能領域に収まらなければ、特定された表示可能領域のうち、最も番号が小さい表示可能領域とその次に番号が小さい表示可能領域が表示領域として決定される。ただし、２つ以上の表示可能領域が特定されていない場合は、１つの表示可能領域に収まるように、文字の大きさ（フォントサイズ）が変更される。
【００６８】
次に、補助情報の表示について具体例を挙げて説明する。たとえば、ブラウザ機能において、或る検索サイトで検索文字列を入力する場合、ディスプレイ３０には仮想キーボードが表示される。図８（Ａ）を参照して、ブラウザ機能が実行された状態のディスプレイ３０の表示範囲は、状態表示領域６０および機能表示領域６２を含む。状態表示領域６０には、アンテナ１２による電波受信状態を示すアイコン（ピクトと言うこともある。）、二次電池の残電池容量を示すアイコンおよび日時が表示される。
【００６９】
また、機能表示領域６２は、サーバから得たデータが表示される。さらに、文字入力可能な入力領域に対してタッチ操作がされると、ＱＷＥＲＴＹ配列のソフトキー６６を含むソフトキー表示領域６４が表示されると共に、現在の入力位置（編集位置）を示すカーソルＣＵが入力領域に表示される。
【００７０】
この状態で、図８（Ｂ）に示すように、第３領域の文字キー（Ｅ）が右手でタッチされると、仮想キーボード６６を含む第３領域、第４領域が遮蔽領域として特定される。また、仮想キーボード６６に含まれる各文字キー対応する文字が補助情報として抽出される。そして、このように抽出された複数の文字（補助情報）は、１つの表示可能領域に収まるため、第１領域が表示領域として決定される。その結果、第１領域には、仮想キーボード６６の文字キーを示す文字列が表示される。さらに、図８（Ｂ）に示す補助表示において、タッチされている文字キー対応する文字（Ｅ）は、強調表示される。
【００７１】
なお、図９に示すように、従来ではタッチ位置によっては、補助表示によって入力中の文字列が隠れてしまうことがあった。ところが、本実施例のように、タッチ位置とは異なる位置に補助表示した場合、表示可能領域に補助情報が表示されるため、入力中の文字列が補助表示によって隠されないようになる。そのため、他の実施例では、補助表示によって入力領域が隠されるかをさらに判定してから、表示領域を決めるようにしてもよい。
【００７２】
また、その他の実施例では、タッチ操作がされた文字キーを示す文字（Ｅ）だけが補助表示されてもよい。
【００７３】
次に、図１０（Ａ）に示すように、メモ帳機能において文書から文字列を検索する場合、ディスプレイ３０には、検索対象となる文章（文字列）と、検索する文字列（検索文字）を入力するための入力領域と、検索処理を実行するための検索キーとが表示される。この場合、検索文字（「ＱＷＥＲＴＹ」）を入力した後に、検索キーに対してタッチ操作がされると、文章において該当する文字列が強調表示される。ところが、検索キーに左手でタッチ操作されると、図１０（Ｂ）に示すように、遮蔽領域（第３領域および第４領域）に含まれる文章が左手で隠されてしまう。そのため、検索結果を含む文字列（文章）が補助情報として抽出される。また、補助情報として抽出された文章は、１つの表示可能領域に収まらないため、第１領域および第２領域が表示領域として決められる。その結果、第１領域および第２領域対して抽出された文章が補助表示される。さらに、補助表示において、検索結果である「ＱＷＥＲＴＹ」の文字列は強調表示される。
【００７４】
このように、タッチ操作によって表示が見えなくなっても、見えない部分が適切に補助表示されるため、タッチ操作の操作性をより向上させることができる。また、本実施例では、撮影された画像とタッチ操作とを利用することで、遮蔽領域を精度よく特定することができる。
【００７５】
ただし、他の実施例では、カメラモジュールの画角を調整することで、撮影された画像だけで遮蔽領域を特定できるようにしてもよい。この場合、撮影画像だけで遮蔽領域を特定できるため、遮蔽領域を特定するまでの処理を単純にすることができる。
【００７６】
図１１はＲＡＭ３４のメモリマップを示す図である。ＲＡＭ３４には、プログラム記憶領域３０２およびデータ記憶領域３０４が含まれる。また、プログラムおよびデータの一部は、フラッシュメモリ３２から一度に全部または必要に応じて部分的かつ順次的に読み出され、ＲＡＭ３４に記憶される。
【００７７】
プログラム記憶領域３０２には、携帯電話機１０を動作させるためのプログラムが記憶されている。たとえば、携帯電話機１０を動作させるためのプログラムは、補助情報表示プログラム３１０が含まれる。この補助情報表示プログラム３１０は、タッチ操作による遮蔽領域に応じて、補助情報を表示する位置を決めるためのプログラムである。
【００７８】
なお、図示は省略するが、携帯電話機１０を動作させるためのプログラムには、放送波を探索するためのプログラムなどが含まれる。
【００７９】
続いて、データ記憶領域３０４には、タッチバッファ３３０、画像バッファ３３２、補助情報バッファ３３４、表示バッファ３３６および表示座標バッファ３３８が設けられると共に、タッチ操作テーブルデータ３４０、タッチ座標マップデータ３４２、ＧＵＩデータ３４４、テキストデータ３４６が記憶される。さらに、データ記憶領域３０４には、タッチフラグ３４８および左右フラグ３５０も設けられる。
【００８０】
タッチバッファ３３０には、タッチパネル制御回路３６から出力される、タッチ点、タッチ位置、リリース点の座標が一時的に記憶される。画像バッファ３３２には、カメラモジュールから出力された画像が一時的に記憶される。補助情報バッファ３３４には、抽出された補助情報が一時的に記憶される。表示バッファ３３６には、ディスプレイ３０に表示される文字列や、画像などが一時的に記憶される。表示座標バッファ３３８には、表示バッファ３３６に記憶されている文字列や画像などの表示座標が一時的に記憶される。
【００８１】
タッチ座標マップデータ３４０は、タッチ操作におけるタッチ座標と、ディスプレイ３０の表示座標とを対応付けるためのデータである。つまり、プロセッサ２４は、タッチ座標マップデータ３４０に基づいて、タッチパネル３８に対して行われたタッチ操作の結果を、ディスプレイ３０の表示に対応付ける。
【００８２】
タッチ操作テーブルデータ３４２は、図５に示す左手用の第１タッチ操作テーブルおよび図７に示す右手用の第２タッチ操作テーブルを含むデータである。ＧＵＩデータ３４４は、たとえば図８（Ａ）に示す仮想キーボード６６などのＧＵＩを表示するためのデータである。また、テキストデータ３４６は、たとえば、図１０（Ａ）に示す文章に対応するデータである。そして、仮想キーボード６６や文章が表示される場合、ＧＵＩデータ３４４またはテキストデータ３４６が表示バッファ３３６に記憶される。
【００８３】
タッチフラグ３４８は、タッチパネル３８に対してタッチ操作がされているか否かを判断するためのフラグである。たとえば、タッチフラグ３４８は、１ビットのレジスタで構成される。タッチフラグ３４８がオン（成立）されると、レジスタにはデータ値「１」が設定される。一方、タッチフラグ３４８がオフ（不成立）されると、レジスタにはデータ値「０」が設定される。
【００８４】
左右フラグ３５０は、タッチ操作を行う手が左手であるか、右手であるかを示すフラグである。なお、左右フラグ３５０は、左手と判定された場合にオンとなり、右手と判定された場合にオフとなる。
【００８５】
なお、図示は省略するが、データ記憶領域３０４には、待機状態で表示される画像データや、文字列のデータなどが記憶されると共に、携帯電話機１０の動作に必要なカウンタや、フラグも設けられる。
【００８６】
プロセッサ２４は、Ａｎｄｒｏｉｄ（登録商標）およびＲＥＸなどのＬｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図１２に示す補助情報表示処理などを含む、複数のタスクを並列的に処理する。
【００８７】
図１２は補助情報表示処理のフロー図である。たとえば、携帯電話機１０で文書や画像を表示する機能（アプリケーション）が実行されると、補助情報表示処理が実行される。そして、プロセッサ２４はステップＳ１で、タッチされたか否かを判断する。つまり、タッチフラグ３４８がオンになったかが判断される。ステップＳ１で“ＮＯ”であれば、つまりタッチされていなければ、ステップＳ３で終了操作か否かを判断する。たとえば、実行中の機能を終了するために、終話キーが操作されたかかが判断される。ステップＳ３で“ＹＥＳ”であれば、つまり実行中の機能を終了させる操作がされると、補助情報表示処理を終了する。一方、ステップＳ３で“ＮＯ”であれば、つまり終了操作がされていなければ、ステップＳ１に戻る。
【００８８】
また、ステップＳ１で“ＹＥＳ”であれば、たとえば使用者がタッチパネルに対してタッチを行えば、ステップＳ５で画像を撮影する。つまり、カメラモジュールに撮影命令を出す。また、プロセッサ２４は、撮影された画像を、画像バッファ３３２に記憶する。続いて、ステップＳ７では、画像解析処理を実行する。たとえば、画像バッファ３３２に記憶される撮影画像に対して、パターンマッチング処理および肌色領域の抽出処理を施す。続いて、ステップＳ９では、手や指が含まれるか否かを判断する。つまり、パターンマッチングの結果および肌色領域の量から、撮影画像に手が写りこんでいるかが判断される。
【００８９】
ステップＳ９で“ＮＯ”であれば、たとえばタッチペンなどによってタッチ操作が行われたため、手や指が写っていなければ、ステップＳ１７に進む。また、ステップＳ９で“ＹＥＳ”であれば、たとえば撮影画像にタッチ操作を行う指などが写っていれば、ステップＳ１１で左右判定処理を行う。つまり、パターンマッチングの結果および肌色領域の量から、撮影画像に写っている手が左手または右手かが判断される。たとえば、パターンマッチングの結果として、左手のパターンとの一致率と右手のパターンとの一致率とにおいて差が閾値上であれば、一致率が高い方の結果が採用される。ただし、その差が閾値未満であれば、肌色領域の量に基づいて左右が判定される。そして、左右の判定結果に基づいて、左右フラグ３５０のオン／オフが切り替えられる。
【００９０】
続いて、ステップＳ１３では、タッチ位置が取得される。つまりタッチバッファ３３０からタッチ位置が読み出される。続いて、ステップＳ１５では、遮蔽領域を特定する。たとえば、左右フラグ３５０がオン（左手）であり、タッチバッファ３３０から取得されたタッチ位置が第４領域に含まれていれば、タッチ操作テーブルデータ３４２（ここでは、図５）に基づいて、遮蔽領域が第３領域および第４領域として特定される。なお、ステップＳ１１−Ｓ１５の処理を実行するプロセッサ２４は、特定部として機能する。
【００９１】
続いて、ステップＳ１７では、補助情報を抽出する。つまり、表示バッファ３３６に記憶される文字列や、画像のうち、表示座標バッファ３３８に基づいて遮蔽領域に含まるデータが、補助情報として読み出される。たとえば、図８（Ｂ）のように、遮蔽領域に仮想キーボード６６のＧＵＩが含まれていれば、仮想キーボード６６に含まれる文字キーを示す文字列が、表示バッファ３３６から補助情報として抽出される。また、図１０（Ｂ）のように、遮蔽領域に文章が表示されていれば、表示バッファ３３６から、その文章に対応する文字列が補助情報として抽出される。そして、抽出された補助情報は補助情報バッファ３３４に記憶される。ただし、遮蔽領域に文字列や、画像などが表示されていなければ、ステップＳ１７で、補助情報は抽出されない。なお、ステップＳ１７の処理を実行するプロセッサ２４は抽出部として機能する。
【００９２】
続いて、ステップＳ１９では、補助情報が抽出されたか否かが判断される。つまり、ステップＳ１７の処理で補助情報が抽出する処理が実行された結果、補助情報バッファ３３４に補助情報が記憶されたかが判断される。ステップＳ１９で“ＮＯ”であれば、つまり補助情報が抽出されていなければ、ステップＳ１に戻る。一方、ステップＳ１９で“ＹＥＳ”であれば、つまり補助情報が抽出されていれば、ステップＳ２１で表示領域を決定する。つまり、記憶された補助情報を表示するために必要な表示可能領域が判断され、表示領域が決められる。たとえば、図１０（Ｂ）に示すように、第３領域および第４領域が遮蔽領域として特定され、その遮蔽領域に表示される文章が補助情報として抽出されている場合、第１領域および第２領域が表示領域として決められる。そして、ステップＳ２３では、補助情報を表示して、ステップＳ１に戻る。つまり、このようにして、決められた表示領域に、補助情報バッファ３３４に記憶される補助情報が表示される。
【００９３】
なお、ステップＳ２１の処理を実行するプロセッサ２４は決定部として機能し、ステップＳ２３の処理を実行するプロセッサ２４は表示部として機能する。
【００９４】
また、画像だけで遮蔽領域を特定する場合、補助情報表示処理では、ステップＳ１１，Ｓ１３の処理が省略される。
【００９５】
また、表示される補助情報は文字列だけでなく、画像などであってもよい。また、補助情報を表示する際には、拡大したうえで補助表示されてもよい。また、補助情報が表示される機能は、ブラウザ機能およびメモ帳機能だけに限らず、メール機能、アドレス帳機能などの他の機能であってもよい。
【００９６】
また、他の実施例では、肌色領域の量を抽出しやすくするために、インカメラに通じる開口ＯＰ３が筐体Ｃの右下側や、左下側に設けられてもよい。
【００９７】
また、タッチ操作を行う左右の手の違いによって照度センサ４６または近接センサ４８の出力結果が異なる場合、タッチ操作を行う手や指の左右判定に、照度センサ４６および近接センサ４８によるセンシング結果が利用されてもよい。
【００９８】
また、その他の実施例では、ディスプレイ３０の表示範囲が分けられる数は、図３のように４つに限らず、５つ以上であってもよい。また、手や指によって遮蔽される遮蔽領域を高精度に特定できる場合、遮蔽領域の形状は手や指のような形となってもよい。
【００９９】
また、携帯電話機１０の通信方式はＣＤＭＡ方式であるが、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、Ｗ−ＣＤＭＡ方式、ＧＳＭ方式、ＴＤＭＡ方式、ＦＤＭＡ方式およびＰＨＳ方式などが採用されてもよい。
【０１００】
また、本実施例で用いられた複数のプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、複数のプログラムが本実施例と同等の構成の携帯電話機にインストールされた場合、本実施例と同等の効果が得られる。
【０１０１】
さらに、本実施例は、携帯電話機１０のみに限らず、いわゆるスマートフォンや、タブレットＰＣおよびＰＤＡなどに適用されてもよい。
【０１０２】
そして、本明細書中で挙げた、画素などの具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。
【符号の説明】
【０１０３】
１０ … 携帯電話機
１２ … アンテナ
１４ … 無線通信回路
２４ … プロセッサ
２６ … キー入力装置
３０ … ディスプレイ
３４ … ＲＡＭ
３６ … タッチパネル制御回路
３８ … タッチパネル
４０ … カメラ制御回路
４２ … イメージセンサ
４４ … フォーカスレンズ
４６ … 照度センサ
４８ … 近接センサ
【技術分野】
【０００１】
この発明は、携帯端末、補助情報表示プログラムおよび補助情報表示方法に関し、特にタッチパネルを有する、携帯端末、補助情報表示プログラムおよび補助情報表示方法に関する。
【背景技術】
【０００２】
タッチパネルを有する、携帯端末の一例が特許文献１に開示されている。特許文献１のＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）の上面にはタッチパネルが設けられており、入力装置に仮想キーボードが表示される。また、仮想キーボードにおいて任意のキーにタップされると、任意のキーおよび隣接キーが拡大表示される。
【特許文献１】特開２００５−１８２４８７号公報［G06F 3/033, G06F 3/00, G06F 3/023, H03M 11/04］
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところが、特許文献１のＰＤＡでは、拡大表示したとしてもタップする指やタップする位置によっては、指や手によって表示内容が隠れてしまう。
【０００４】
それゆえに、この発明の主たる目的は、新規な、携帯端末、補助情報表示プログラムおよび補助情報表示方法を提供することである。
【０００５】
この発明の他の目的は、タッチ操作の操作性をより向上させることができる、携帯端末、補助情報表示プログラムおよび補助情報表示方法を提供することである。
【課題を解決するための手段】
【０００６】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００７】
第１の発明は、タッチパネル、タッチパネルに対するタッチ操作を検出する検出部およびタッチパネルが設けられる表示装置を有する、携帯端末であって、検出部によってタッチ操作が検出されているとき、検出されたタッチ操作によって表示装置が遮蔽されている遮蔽領域を特定する特定部、特定部によって特定された遮蔽領域に基づいて、表示装置の表示内容から補助情報を抽出する抽出部、特定部によって特定された遮蔽領域に基づいて、補助情報を表示する表示領域を決定する決定部、および決定部によって決定された表示領域に、抽出された補助情報を表示する表示部を備える、携帯端末である。
【０００８】
第１の発明では、携帯端末（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）では、表示装置（３０）にタッチパネルが設けられ、そのタッチパネルに対するタッチ操作は検出部（３６）によって検出される。特定部（２４，Ｓ１１−Ｓ１５）は、タッチパネルに対するタッチ操作が検出されると、たとえばタッチ操作を行う手や指によって表示装置が遮蔽されている遮蔽領域を特定する。抽出部（２４，Ｓ１７）は、たとえば、遮蔽領域に表示される文字列などが、補助情報として抽出される。決定部（２４，Ｓ２１）は、抽出された補助情報の内容と遮蔽領域ではない領域（表示可能領域）とから、表示領域を決定する。表示部（２４，Ｓ２３）は、決定された表示領域に、補助情報を表示する。
【０００９】
第１の発明によれば、タッチ操作によって表示が見えなくなっても、見えない部分が適切に補助表示されるため、タッチ操作の操作性をより向上させることができる。
【００１０】
第２の発明は、第１の発明に従属し、画像を出力するカメラモジュールをさらに備え、特定部は、カメラモジュールが出力する画像に基づいて、検出されたタッチ操作によって表示装置が遮蔽されている遮蔽領域を特定する。
【００１１】
第２の発明では、カメラモジュール（４０−４４）は、画角が広く設定されているイメージセンサやフォーカスレンズを含む。また、カメラモジュールに通じる開口（ＯＰ３）は、タッチ操作を行う指を撮影できるように設けられる。そして、特定部は、出力された画像に基づいて、タッチ操作による遮蔽領域を特定する。
【００１２】
第２の発明によれば、撮影画像だけで遮蔽領域を特定すれば、遮蔽領域を特定するまでの処理を単純にすることができる。
【００１３】
第３の発明は、第２の発明に従属し、特定部は、検出部によって検出されたタッチ操作およびカメラモジュールが出力する画像に基づいて、検出されたタッチ操作によって表示装置が遮蔽されている遮蔽領域を特定する。
【００１４】
第３の発明では、カメラモジュールから出力された画像に基づいてタッチ操作を行う手の左右を判定して、タッチ操作におけるタッチ位置を取得することで、遮蔽領域を特定する。
【００１５】
第３の発明によれば、特定部は、画像とタッチ操作とを利用することで、遮蔽領域を精度よく特定することができる。
【００１６】
第４の発明は、タッチパネル（３８）、タッチパネルに対するタッチ操作を検出する検出部（３６）およびタッチパネルが設けられる表示装置（３０）を有する、携帯端末（１０）のプロセッサ（２４）を、検出部によってタッチ操作が検出されているとき、検出されたタッチ操作によって表示装置が遮蔽されている遮蔽領域を特定する特定部（Ｓ１１−Ｓ１５）、特定部によって特定された遮蔽領域に基づいて、表示装置の表示内容から補助情報を抽出する抽出部（Ｓ１７）、特定部によって特定された遮蔽領域に基づいて、補助情報を表示する表示領域を決定する決定部（Ｓ２１）、および決定部によって決定された表示領域に、抽出された補助情報を表示する表示部（Ｓ２３）として機能させる、補助情報表示プログラムである。
【００１７】
第４の発明でも、第１の発明と同様、タッチ操作によって表示が見えなくなっても、見えない部分が適切に補助表示されるため、タッチ操作の操作性をより向上させることができる。
【００１８】
第５の発明は、タッチパネル（３８）、タッチパネルに対するタッチ操作を検出する検出部（３６）およびタッチパネルが設けられる表示装置（３０）を有する、携帯端末（１０）の補助情報表示方法であって、検出部によってタッチ操作が検出されているとき、検出されたタッチ操作によって表示装置が遮蔽されている遮蔽領域を特定し（Ｓ１１−Ｓ１５）、特定された遮蔽領域に基づいて、表示装置の表示内容から補助情報を抽出し（Ｓ１７）、特定された遮蔽領域に基づいて、補助情報を表示する表示領域を決定し（Ｓ２１）、そして決定された表示領域に、抽出された補助情報を表示する（Ｓ２３）、補助情報表示方法である。
【００１９】
第５の発明でも、第１の発明と同様、タッチ操作によって表示が見えなくなっても、見えない部分が適切に補助表示されるため、タッチ操作の操作性をより向上させることができる。
【発明の効果】
【００２０】
この発明によれば、タッチ操作によって表示が見えなくなっても、見えない部分が適切に補助表示されるため、タッチ操作の操作性をより向上させることができる。
【００２１】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２２】
【図１】図１はこの発明の一実施例の携帯電話機の電気的な構成を示す図解図である。
【図２】図２は図１に示す携帯電話機の外観の一例を示す図解図である。
【図３】図３は図２に示すディスプレイに設けられる複数の領域の一例を示す図解図である。
【図４】図４は図３に示す複数の領域に対して行われるタッチ操作の一例を示す図解図である。
【図５】図５は図１に示すＲＡＭに記憶されるタッチ操作テーブルの構成の一例を示す図解図である。
【図６】図６は図３に示す複数の領域に対して行われるタッチ操作の他の一例を示す図解図である。
【図７】図７は図１に示すＲＡＭに記憶されるタッチ操作テーブルの構成の他の一例を示す図解図である。
【図８】図８は図１に示すディスプレイに補助情報が表示される様子の一例を示す図解図である。
【図９】図９は図１に示すディスプレイ表示される補助情報の一例を示す図解図である。
【図１０】図１０は図１に示すディスプレイに補助情報が表示される様子の他の一例を示す図解図である。
【図１１】図１１は図１に示すＲＡＭのメモリマップの一例を示す図解図である。
【図１２】図１２は図１に示すプロセッサの補助情報表示処理の一例を示すフロー図である。
【発明を実施するための形態】
【００２３】
図１を参照して、本実施例の携帯電話機１０は、携帯端末の一種であり、コンピュータまたはＣＰＵと呼ばれるプロセッサ２４を含む。また、プロセッサ２４には、無線通信回路１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２０、キー入力装置２６、表示ドライバ２８、フラッシュメモリ３２、ＲＡＭ３４、タッチパネル制御回路３６、カメラ制御回路４０、照度センサ４６および近接センサ４８が接続される。無線通信回路１４にはアンテナ１２が接続され、Ａ／Ｄ変換器１６にはマイク１８が接続され、Ｄ／Ａ変換器２０にはスピーカ２２が接続される。また、表示ドライバ２８には、ディスプレイ３０が接続される。さらに、タッチパネル制御回路３６にはタッチパネル３８が接続される。そして、カメラ制御回路４０にはイメージセンサ４２およびフォーカスレンズ４４が接続される。
【００２４】
プロセッサ２４は携帯電話機１０の全体制御を司る。ＲＡＭ３４は、プロセッサ２４の作業領域（描画領域を含む）ないしバッファ領域として用いられる。フラッシュメモリ３２には、携帯電話機１０の文字、画像、音声、音および映像のようなコンテンツのデータが記録される。
【００２５】
Ａ／Ｄ変換器１６は、マイク１８を通して入力される音声ないし音についてのアナログ音声信号を、デジタル音声信号に変換する。Ｄ／Ａ変換器２０は、デジタル音声信号をアナログ音声信号に変換（復号）して、図示しないアンプを介してスピーカ２２に与える。したがって、アナログ音声信号に対応する音声ないし音がスピーカ２２から出力される。なお、プロセッサ２４は、アンプの増幅率を制御することで、スピーカ２２から出力される音声の音量を調整することができる。
【００２６】
キー入力装置２６は、メニューキー、通話キーおよび終話キーなどを含む。そして、使用者が操作したキーの情報（キーデータ）はプロセッサ２４に入力される。また、キー入力装置２６に含まれる各キーが操作されると、クリック音が鳴る。したがって、使用者は、クリック音を聞くことで、キー操作に対する操作感を得ることができる。
【００２７】
表示ドライバ２８は、プロセッサ２４の指示の下、表示装置の一種であるディスプレイ３０の表示を制御する。また、表示ドライバ２８は表示する画像データを一時的に記憶するビデオメモリ（図示せず）を含む。
【００２８】
また、ディスプレイ３０には、ＬＥＤを光源とするバックライトが設けられている。そして、プロセッサ２４は、照度センサ４６の出力に基づいて、バックライトを調光する。なお、照度センサ４６は、アレイ状に集積されたフォトダイオードなどを含み、携帯電話機１０の周囲の照度を検出する。
【００２９】
タッチパネル３８は、指などの物体が表面に接近して生じた電極間の静電容量の変化を検出する静電容量方式で、たとえば１本または複数本の指がタッチパネル３８に触れたことを検出する。また、タッチパネル３８は、ディスプレイ３０の上に設けられ、その画面内で、任意の位置を指示するためのポインティングデバイスである。検出部として機能するタッチパネル制御回路３６は、タッチパネル３８のタッチ有効範囲内で、押したり、撫でたり、触られたりするタッチ操作を検出し、そのタッチ操作の位置を示す座標のデータをプロセッサ２４に出力する。つまり、使用者は、タッチパネル３８の表面を指で、押したり、撫でたり、触れたりすることによって、操作の方向や図形などを携帯電話機１０に入力することができる。
【００３０】
ここで、使用者がタッチパネル３８の上面を指で触れる操作を「タッチ」と言う。一方、タッチパネル３８から指を離す操作を「リリース」と言う。そして、使用者がタッチパネル３８の上面をタッチして、続けてリリースする操作を「タッチアンドリリース」と言う。
【００３１】
また、タッチパネル３８の表面を撫でる操作を「スライド」と言い、タッチした後にスライドし、リリースする操作を「タッチスライド」と言う。さらに、２回連続してタッチアンドリリースを行う操作を「ダブルタップ」と言い、２か所に略同時にタッチする操作を「マルチタッチ」と言う。そして、「タッチ操作」には、上記したタッチ、リリース、タッチアンドリリース、スライド、タッチスライド、ダブルタップおよびマルチタッチなどのタッチパネル３８に対して行う操作が含まれる。
【００３２】
また、タッチによって示された座標を「タッチ点」（タッチ開始位置）と言い、リリースによって示された座標を「リリース点」（タッチ終了位置）と言う。
【００３３】
なお、タッチ操作は指だけに限らず、導電体が先端に取り付けられたタッチペンなどによって行われてもよい。また、タッチパネル３８の検出方式には、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などであってもよい。
【００３４】
カメラ制御回路４０は、携帯電話機１０で静止画像または動画像を撮影するための回路である。たとえば、キー入力装置２６に対してカメラ機能を実行する操作が行われると、プロセッサ２４はカメラ機能を実行して、カメラ制御回路４０を起動する。なお、カメラ制御回路４０、イメージセンサ４２およびフォーカスレンズ４４は、まとめてカメラモジュールとして機能する。
【００３５】
イメージセンサ４２の撮像エリアには、ＱＶＧＡ（３２０×２４０画素）に対応する受光素子が表示されている。そのため、被写体の光学像がイメージセンサ４２に照射されると、撮像エリアでは光電変換によって被写体の光学像に対応する電荷、つまりＱＶＧＡの生画像信号が生成される。
【００３６】
カメラ機能が実行されると、被写体のリアルタイム動画像つまりスルー画像（プレビュー画像）をディスプレイ３０に表示するべく、プロセッサ２４は、カメラ制御回路４０に内蔵されるイメージセンサドライバを起動させ、露光動作および指定された読み出し領域に対応する電荷読み出し動作を、イメージセンサドライバに命令する。
【００３７】
イメージセンサドライバは、イメージセンサ４２の撮像面の露光と、当該露光によって生成された電荷の読み出しとを実行する。この結果、生画像信号が、イメージセンサ４２から出力される。また、出力された生画像信号はカメラ制御回路４０に入力され、カメラ制御回路４０は入力された生画像信号に対して、色分離、白バランス調整、ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データを生成する。そして、ＹＵＶ形式の画像データはプロセッサ２４に入力される。
【００３８】
また、プロセッサ２４に入力されたＹＵＶ形式の画像データは、プロセッサ２４によってＲＡＭ３４に格納（一時記憶）される。さらに、格納されたＹＵＶ形式の画像データは、プロセッサ２４でＲＧＢ形式の画像データに変換された後に、ＲＡＭ３４から表示ドライバ２８に与えられる。そして、ＲＧＢ形式の画像データがディスプレイ３０に出力される。これによって、被写体を表すＱＶＧＡのスルー画像がディスプレイ３０に表示される。
【００３９】
さらに、カメラ制御回路４０は生画像信号からフォーカス評価値を算出し、そのフォーカス評価値をプロセッサ２４に出力する。プロセッサ２４は、カメラ制御回路４０から出力されたフォーカス評価値に基づいて、ＡＦ（Ａｕｔｏｆｏｃｕｓ）処理を実行する。ＡＦ処理が実行されると、カメラ制御回路４０はプロセッサ２４の指示の下、フォーカスレンズ４４のレンズ位置を調整する。その結果、被写体にピントが合わせられたスルー画像がディスプレイ３０に表示される。
【００４０】
ここで、キー入力装置２６に対して静止画像の撮影操作が行われると、プロセッサ２４は、静止画像の本撮影処理を実行する。つまり、プロセッサ２４は、イメージセンサ４２から出力されるＱＶＧＡの生画像信号に信号処理を施して、ＲＡＭ３４に一旦格納し、フラッシュメモリ３２に対する記録処理を実行する。記録処理が実行されると、プロセッサ２４を通してＲＡＭ３４から画像データが読み出される。そして、プロセッサ２４は、読み出した画像データにメタ情報を関連付けて、１つの画像ファイルとしてフラッシュメモリ３２に保存する。さらに、プロセッサ２４は、図示しないスピーカから、本撮影処理が実行されていること通知する音を出力させる。
【００４１】
なお、メタ情報には、時刻情報、画像サイズおよび携帯電話機１０の機種名（型番）などが含まれる。また、携帯電話機１０にメモリカードが接続できる場合、画像ファイルはメモリカードに保存されてもよい。また、画像データに関連付けられるメタ情報はＥｘｉｆ形式で保存される。
【００４２】
また、カメラモジュールは、後述するテレビ電話機能が実行されるときにも利用される。そして、テレビ電話機能でカメラモジュールを利用できるように、カメラモジュールに通じる開口ＯＰ３（図２参照）は、ディスプレイ３０と同じ面に設けられる。そのため、カメラモジュールはインカメラと呼ばれることもある。
【００４３】
近接センサ４８は、図示は省略するが、発光素子である赤外ＬＥＤと受光素子であるフォトダイオードとを含む。プロセッサ２４は、フォトダイオードの出力の変化から、近接センサ４８（当該携帯電話機１０）に近接する物体（たとえば、使用者の顔など）の距離を算出する。具体的には、赤外ＬＥＤは、赤外線を発光し、フォトダイオードは、顔などで反射した赤外線を受光する。たとえば、フォトダイオードが使用者の顔から遠い場合には、赤外ＬＥＤが発光した赤外線はフォトダイオードによって受光されないが、近接センサ４８に使用者の顔が近接すると、赤外ＬＥＤが発光した赤外線は顔に反射してフォトダイオードによって受光される。このように、フォトダイオードは近接センサ４８が使用者の顔に近接している場合とそうでない場合とで赤外線の受光量が変化するため、プロセッサ２４は、その受光量に基づいて、近接センサ４８から対象までの距離を算出することができる。
【００４４】
無線通信回路１４は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、使用者がキー入力装置２６を用いて電話発信（発呼）を指示すると、無線通信回路１４は、プロセッサ２４の指示の下、電話発信処理を実行し、アンテナ１２を介して電話発信信号を出力する。電話発信信号は、基地局および通信網（図示せず）を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ２４は通話処理を実行する。
【００４５】
通常の通話処理について具体的に説明すると、相手の電話機から送られてきた変調音声信号はアンテナ１２によって受信される。受信された変調音声信号には、無線通信回路１４によって復調処理および復号処理が施される。そして、これらの処理によって得られた受話音声信号は、Ｄ／Ａ変換器２０によってアナログ音声信号に変換された後、スピーカ２２から出力される。一方、マイク１８を通して取り込まれた送話音声信号は、Ａ／Ｄ変換器１６によってデジタル音声信号に変換された後、プロセッサ２４に与えられる。デジタル音声信号に変換された送話信号には、プロセッサ２４の指示の下、無線通信回路１４によって符号化処理および変調処理が施され、アンテナ１２を介して出力される。したがって、変調音声信号は、基地局および通信網を介して相手の電話機に送信される。
【００４６】
また、相手の電話機からの電話発信信号がアンテナ１２によって受信されると、無線通信回路１４は、電話着信（着呼）をプロセッサ２４に通知する。これに応じて、プロセッサ２４は、表示ドライバ２８を制御して、着信通知に記述された発信元情報（電話番号など）をディスプレイ３０に表示する。また、これとほぼ同時に、プロセッサ２４は、図示しないスピーカから着信音（着信メロディ、着信音声と言うこともある。）を出力させる。
【００４７】
そして、使用者が通話キーを用いて応答操作を行うと、無線通信回路１４は、プロセッサ２４の指示の下、電話着信処理を実行する。さらに、通信可能状態が確立され、プロセッサ２４は上述した通常の通話処理を実行する。
【００４８】
また、通話可能状態に移行した後に終話キーによって通話終了操作が行われると、プロセッサ２４は、無線通信回路１４を制御して、通話相手に通話終了信号を送信する。そして、通話終了信号の送信後、プロセッサ２４は通話処理を終了する。また、先に通話相手から通話終了信号を受信した場合も、プロセッサ２４は通話処理を終了する。さらに、通話相手によらず、移動通信網から通話終了信号を受信した場合も、プロセッサ２４は通話処理を終了する。
【００４９】
また、本実施例では、ハンズフリー通話を行うこともできる。そして、上述したように、インカメラおよびハンズフリー通話を利用して、テレビ電話機能を実行することもできる。
【００５０】
なお、携帯電話機１０は、図示しないネットワークとの通信を確立することで、ブラウザ機能を実行することができる。また、携帯電話機１０は、文書を作成および編集するためのメモ帳機能を実行することもできる。さらに、これらの機能では、ＱＷＥＲＴＹ配列の仮想キーボード６６（図８（Ａ）参照）を利用して、文字を入力することができる。
【００５１】
図２は、携帯電話機１０の表面の外観を示す外観図である。図２を参照して、携帯電話機１０は、ストレート型の形状をしており、平面矩形の筐体Ｃを有する。図示しないマイク１８は、筐体Ｃに内蔵され、内蔵されたマイク１８に通じる開口ＯＰ２は筐体Ｃの縦方向一方の表面に設けられる。同じく、図示しないスピーカ２２は、筐体Ｃに内蔵され、内蔵されたスピーカ２２に通じる開口ＯＰ１は、筐体Ｃの縦方向他方の表面に設けられる。
【００５２】
キー入力装置２６に含まれる各キーは筐体Ｃの表面に設けられる。ディスプレイ３０は、表示面（モニタ画面）が筐体Ｃの表面から見えるように取り付けられる。また、ディスプレイ３０の表示面の上にはタッチパネル３８が設けられる。
【００５３】
さらに、カメラモジュールは筐体Ｃに内蔵され、内蔵されたカメラモジュールのイメージセンサ４２に通じる開口ＯＰ３は筐体Ｃの表面の左上に設けられる。照度センサ４４および近接センサ４６は、センサ面が露出するように、筐体Ｃの表面の右上角に設けられる。なお、本実施例では、照度センサ４４と近接センサ４６とは隣り合うように設けられる。
【００５４】
たとえば、使用者は、ディスプレイ３０に表示されたダイヤルキーに対して、タッチ操作を行うことで電話番号を入力し、通話キーによって音声発信操作を行う。そして、使用者は、通話が終了すると、終話キーによって通話終了操作を行う。また、使用者はテレビ電話機能を実行する場合、筐体Ｃの表面、つまりディスプレイ３０および開口ＯＰ３を見ながらハンズフリー通話を行う。
【００５５】
また、使用者は、メニューキーを操作することで、ディスプレイ３０にメニュー画面を表示する。さらに、使用者は、ディスプレイ３０に表示されたソフトキーおよびメニューに対してタッチ操作を行うことで、メニューの選択や確定を行う。
【００５６】
なお、カメラモジュールは、テレビ電話機能が実行されているときに、使用者の顔が画角に収まるようにするために、筐体Ｃの中心側（タッチパネル側）に対して画角が広く設定されている。
【００５７】
また、アンテナ１２、無線通信回路１４、Ａ／Ｄ１６、Ｄ／Ａ２０、プロセッサ２４、表示ドライバ２８、フラッシュメモリ３２、ＲＡＭ３４、タッチパネル制御回路３６、カメラ制御回路４０、イメージセンサ４２およびフォーカスレンズ４４は筐体Ｃに内蔵されているため、図２では図示されない。
【００５８】
ここで、本実施例では、タッチ操作がされたときに、タッチ操作によってディスプレイ３０の表示が遮蔽される領域（遮蔽領域）を特定し、遮蔽領域に含まれる表示内容（文字列など）が補助情報として抽出される。そして、抽出された補助情報は、遮蔽領域に基づいて決められる表示領域に表示される。以下、具体的な処理を説明する。
【００５９】
まず、図３を参照して、ディスプレイ３０の表示範囲において、左上が第１領域、右上が第２領域、左下が第３領域、右下が第４領域として設定される。そして、本実施例では、これらの領域に対するタッチ操作に基づいて、遮蔽領域を特定し、補助情報を表示する表示領域を決定する。
【００６０】
次に、タッチ操作がされると、タッチ操作を行った手（左手、右手）と、タッチ操作におけるタッチ点を含む領域とに基づいて遮蔽領域が特定される。そして、本実施例では、タッチ操作を行った手は、パターンマッチング処理および肌色領域の抽出処理を利用して判定される。
【００６１】
上述したように、カメラモジュールに通じる開口ＯＰ３は筐体Ｃの表面の左上に設けられ、カメラモジュールはタッチパネル側に対して画角が広く設定されている。つまり、タッチ操作を行う指や手はカメラモジュールによって撮影することができる。そのため、左手と右手とをそれぞれ認識可能なパターンマッチング処理を利用することで、タッチ操作を行う右手と左手とを判定することができる。
【００６２】
また、開口ＯＰ３の取り付け位置が筐体Ｃの中心からずれているため、タッチパネル３８をタッチする指や手は、右手と左手とで画像への写り込み方が異なる。つまり、タッチ操作を行う指を撮影した場合、手や指が写り込む量が異なる。そのため、撮影された画像における肌色領域の大きさ（量）に基づいて、タッチ操作を行う右手と左手とを判定することもできる。
【００６３】
そして、本実施例では、パターンマッチング処理の判定結果と、肌色領域の大きさに基づく判定結果を組み合わせて、タッチ操作を行う手を判定する。具体的に、ターンマッチング処理では、左手パターンと一致する割合（一致率）と、右手パターンと一致する割合とをそれぞれ算出する。このとき、一致率の差が閾値以上であれば、一致率に基づいて左右の手が判定される。一方、一致率の差が閾値未満であれば、肌色領域の大きさに基づいて左右の手が判定される。なお、他の実施例では、肌色領域の判定がパターンマッチングの判定よりも優先されてもよい。
【００６４】
次に、タッチ操作を行う手の左右が判定されると、タッチ位置とタッチ操作テーブルとに基づいて、遮蔽領域が特定される。また、タッチ操作テーブルとは、タッチ位置を含む領域に対して、遮蔽領域と表示可能領域とが予め登録されているテーブルである。
【００６５】
たとえば、図４（Ａ）のように、左手で第１領域にタッチされた場合、図５に示す左手用の第１タッチ操作テーブルに従い、第１領域および第３領域がタッチ操作を行う手によって遮蔽される遮蔽領域として特定され、第２領域および第４領域が補助情報を表示できる表示可能領域として特定される。また、図４（Ｂ）のように、左手で第２領域にタッチされた場合、図５の第１タッチ操作テーブルに従い、第２領域、第３領域および第４領域が遮蔽領域として特定され、第１領域が表示可能領域として特定される。また、図４（Ｃ）のように、左手で第３領域にタッチされた場合、図５の第１タッチ操作テーブルに従い、第３領域が遮蔽領域として特定され、第１領域、第２領域および第４領域が表示可能領域として特定される。そして、図４（Ｄ）のように、左手で第４領域にタッチされた場合、図５の第１タッチ操作テーブルに従い、第３領域および第４領域が遮蔽領域として特定され、第１領域および第２領域が表示可能領域として特定される。
【００６６】
一方、図６（Ａ）のように、右手で第１領域にタッチされた場合、図７に示す右手用の第２タッチ操作テーブルに従い、第１領域、第３領域および第４領域が遮蔽領域として特定され、第２領域が表示可能領域として特定される。また、図６（Ｂ）のように、右手で第２領域にタッチされた場合、第２タッチ操作テーブルに従い、第２領域および第４領域が遮蔽領域として特定され、第１領域および第３領域が表示可能領域として特定される。また、図６（Ｃ）のように、右手で第３領域にタッチされた場合、第３領域および第４領域が遮蔽領域として特定され、第１領域および第２領域が表示可能領域として特定される。そして、図６（Ｄ）のように、右手で第４領域にタッチされた場合、第４領域が遮蔽領域として特定され、第１領域、第２領域および第３領域が表示可能領域として特定される。
【００６７】
そして、遮蔽領域の表示内容（たとえば、文字列）が補助情報として抽出され、その情報量から表示領域が決められる。たとえば、補助情報が文字列であり、その文字数が１つの表示可能領域に収まるのであれば、特定された表示可能領域のうち、最も番号が小さい表示可能領域が表示領域として決定される。また、文字数が１つの表示可能領域に収まらなければ、特定された表示可能領域のうち、最も番号が小さい表示可能領域とその次に番号が小さい表示可能領域が表示領域として決定される。ただし、２つ以上の表示可能領域が特定されていない場合は、１つの表示可能領域に収まるように、文字の大きさ（フォントサイズ）が変更される。
【００６８】
次に、補助情報の表示について具体例を挙げて説明する。たとえば、ブラウザ機能において、或る検索サイトで検索文字列を入力する場合、ディスプレイ３０には仮想キーボードが表示される。図８（Ａ）を参照して、ブラウザ機能が実行された状態のディスプレイ３０の表示範囲は、状態表示領域６０および機能表示領域６２を含む。状態表示領域６０には、アンテナ１２による電波受信状態を示すアイコン（ピクトと言うこともある。）、二次電池の残電池容量を示すアイコンおよび日時が表示される。
【００６９】
また、機能表示領域６２は、サーバから得たデータが表示される。さらに、文字入力可能な入力領域に対してタッチ操作がされると、ＱＷＥＲＴＹ配列のソフトキー６６を含むソフトキー表示領域６４が表示されると共に、現在の入力位置（編集位置）を示すカーソルＣＵが入力領域に表示される。
【００７０】
この状態で、図８（Ｂ）に示すように、第３領域の文字キー（Ｅ）が右手でタッチされると、仮想キーボード６６を含む第３領域、第４領域が遮蔽領域として特定される。また、仮想キーボード６６に含まれる各文字キー対応する文字が補助情報として抽出される。そして、このように抽出された複数の文字（補助情報）は、１つの表示可能領域に収まるため、第１領域が表示領域として決定される。その結果、第１領域には、仮想キーボード６６の文字キーを示す文字列が表示される。さらに、図８（Ｂ）に示す補助表示において、タッチされている文字キー対応する文字（Ｅ）は、強調表示される。
【００７１】
なお、図９に示すように、従来ではタッチ位置によっては、補助表示によって入力中の文字列が隠れてしまうことがあった。ところが、本実施例のように、タッチ位置とは異なる位置に補助表示した場合、表示可能領域に補助情報が表示されるため、入力中の文字列が補助表示によって隠されないようになる。そのため、他の実施例では、補助表示によって入力領域が隠されるかをさらに判定してから、表示領域を決めるようにしてもよい。
【００７２】
また、その他の実施例では、タッチ操作がされた文字キーを示す文字（Ｅ）だけが補助表示されてもよい。
【００７３】
次に、図１０（Ａ）に示すように、メモ帳機能において文書から文字列を検索する場合、ディスプレイ３０には、検索対象となる文章（文字列）と、検索する文字列（検索文字）を入力するための入力領域と、検索処理を実行するための検索キーとが表示される。この場合、検索文字（「ＱＷＥＲＴＹ」）を入力した後に、検索キーに対してタッチ操作がされると、文章において該当する文字列が強調表示される。ところが、検索キーに左手でタッチ操作されると、図１０（Ｂ）に示すように、遮蔽領域（第３領域および第４領域）に含まれる文章が左手で隠されてしまう。そのため、検索結果を含む文字列（文章）が補助情報として抽出される。また、補助情報として抽出された文章は、１つの表示可能領域に収まらないため、第１領域および第２領域が表示領域として決められる。その結果、第１領域および第２領域対して抽出された文章が補助表示される。さらに、補助表示において、検索結果である「ＱＷＥＲＴＹ」の文字列は強調表示される。
【００７４】
このように、タッチ操作によって表示が見えなくなっても、見えない部分が適切に補助表示されるため、タッチ操作の操作性をより向上させることができる。また、本実施例では、撮影された画像とタッチ操作とを利用することで、遮蔽領域を精度よく特定することができる。
【００７５】
ただし、他の実施例では、カメラモジュールの画角を調整することで、撮影された画像だけで遮蔽領域を特定できるようにしてもよい。この場合、撮影画像だけで遮蔽領域を特定できるため、遮蔽領域を特定するまでの処理を単純にすることができる。
【００７６】
図１１はＲＡＭ３４のメモリマップを示す図である。ＲＡＭ３４には、プログラム記憶領域３０２およびデータ記憶領域３０４が含まれる。また、プログラムおよびデータの一部は、フラッシュメモリ３２から一度に全部または必要に応じて部分的かつ順次的に読み出され、ＲＡＭ３４に記憶される。
【００７７】
プログラム記憶領域３０２には、携帯電話機１０を動作させるためのプログラムが記憶されている。たとえば、携帯電話機１０を動作させるためのプログラムは、補助情報表示プログラム３１０が含まれる。この補助情報表示プログラム３１０は、タッチ操作による遮蔽領域に応じて、補助情報を表示する位置を決めるためのプログラムである。
【００７８】
なお、図示は省略するが、携帯電話機１０を動作させるためのプログラムには、放送波を探索するためのプログラムなどが含まれる。
【００７９】
続いて、データ記憶領域３０４には、タッチバッファ３３０、画像バッファ３３２、補助情報バッファ３３４、表示バッファ３３６および表示座標バッファ３３８が設けられると共に、タッチ操作テーブルデータ３４０、タッチ座標マップデータ３４２、ＧＵＩデータ３４４、テキストデータ３４６が記憶される。さらに、データ記憶領域３０４には、タッチフラグ３４８および左右フラグ３５０も設けられる。
【００８０】
タッチバッファ３３０には、タッチパネル制御回路３６から出力される、タッチ点、タッチ位置、リリース点の座標が一時的に記憶される。画像バッファ３３２には、カメラモジュールから出力された画像が一時的に記憶される。補助情報バッファ３３４には、抽出された補助情報が一時的に記憶される。表示バッファ３３６には、ディスプレイ３０に表示される文字列や、画像などが一時的に記憶される。表示座標バッファ３３８には、表示バッファ３３６に記憶されている文字列や画像などの表示座標が一時的に記憶される。
【００８１】
タッチ座標マップデータ３４０は、タッチ操作におけるタッチ座標と、ディスプレイ３０の表示座標とを対応付けるためのデータである。つまり、プロセッサ２４は、タッチ座標マップデータ３４０に基づいて、タッチパネル３８に対して行われたタッチ操作の結果を、ディスプレイ３０の表示に対応付ける。
【００８２】
タッチ操作テーブルデータ３４２は、図５に示す左手用の第１タッチ操作テーブルおよび図７に示す右手用の第２タッチ操作テーブルを含むデータである。ＧＵＩデータ３４４は、たとえば図８（Ａ）に示す仮想キーボード６６などのＧＵＩを表示するためのデータである。また、テキストデータ３４６は、たとえば、図１０（Ａ）に示す文章に対応するデータである。そして、仮想キーボード６６や文章が表示される場合、ＧＵＩデータ３４４またはテキストデータ３４６が表示バッファ３３６に記憶される。
【００８３】
タッチフラグ３４８は、タッチパネル３８に対してタッチ操作がされているか否かを判断するためのフラグである。たとえば、タッチフラグ３４８は、１ビットのレジスタで構成される。タッチフラグ３４８がオン（成立）されると、レジスタにはデータ値「１」が設定される。一方、タッチフラグ３４８がオフ（不成立）されると、レジスタにはデータ値「０」が設定される。
【００８４】
左右フラグ３５０は、タッチ操作を行う手が左手であるか、右手であるかを示すフラグである。なお、左右フラグ３５０は、左手と判定された場合にオンとなり、右手と判定された場合にオフとなる。
【００８５】
なお、図示は省略するが、データ記憶領域３０４には、待機状態で表示される画像データや、文字列のデータなどが記憶されると共に、携帯電話機１０の動作に必要なカウンタや、フラグも設けられる。
【００８６】
プロセッサ２４は、Ａｎｄｒｏｉｄ（登録商標）およびＲＥＸなどのＬｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図１２に示す補助情報表示処理などを含む、複数のタスクを並列的に処理する。
【００８７】
図１２は補助情報表示処理のフロー図である。たとえば、携帯電話機１０で文書や画像を表示する機能（アプリケーション）が実行されると、補助情報表示処理が実行される。そして、プロセッサ２４はステップＳ１で、タッチされたか否かを判断する。つまり、タッチフラグ３４８がオンになったかが判断される。ステップＳ１で“ＮＯ”であれば、つまりタッチされていなければ、ステップＳ３で終了操作か否かを判断する。たとえば、実行中の機能を終了するために、終話キーが操作されたかかが判断される。ステップＳ３で“ＹＥＳ”であれば、つまり実行中の機能を終了させる操作がされると、補助情報表示処理を終了する。一方、ステップＳ３で“ＮＯ”であれば、つまり終了操作がされていなければ、ステップＳ１に戻る。
【００８８】
また、ステップＳ１で“ＹＥＳ”であれば、たとえば使用者がタッチパネルに対してタッチを行えば、ステップＳ５で画像を撮影する。つまり、カメラモジュールに撮影命令を出す。また、プロセッサ２４は、撮影された画像を、画像バッファ３３２に記憶する。続いて、ステップＳ７では、画像解析処理を実行する。たとえば、画像バッファ３３２に記憶される撮影画像に対して、パターンマッチング処理および肌色領域の抽出処理を施す。続いて、ステップＳ９では、手や指が含まれるか否かを判断する。つまり、パターンマッチングの結果および肌色領域の量から、撮影画像に手が写りこんでいるかが判断される。
【００８９】
ステップＳ９で“ＮＯ”であれば、たとえばタッチペンなどによってタッチ操作が行われたため、手や指が写っていなければ、ステップＳ１７に進む。また、ステップＳ９で“ＹＥＳ”であれば、たとえば撮影画像にタッチ操作を行う指などが写っていれば、ステップＳ１１で左右判定処理を行う。つまり、パターンマッチングの結果および肌色領域の量から、撮影画像に写っている手が左手または右手かが判断される。たとえば、パターンマッチングの結果として、左手のパターンとの一致率と右手のパターンとの一致率とにおいて差が閾値上であれば、一致率が高い方の結果が採用される。ただし、その差が閾値未満であれば、肌色領域の量に基づいて左右が判定される。そして、左右の判定結果に基づいて、左右フラグ３５０のオン／オフが切り替えられる。
【００９０】
続いて、ステップＳ１３では、タッチ位置が取得される。つまりタッチバッファ３３０からタッチ位置が読み出される。続いて、ステップＳ１５では、遮蔽領域を特定する。たとえば、左右フラグ３５０がオン（左手）であり、タッチバッファ３３０から取得されたタッチ位置が第４領域に含まれていれば、タッチ操作テーブルデータ３４２（ここでは、図５）に基づいて、遮蔽領域が第３領域および第４領域として特定される。なお、ステップＳ１１−Ｓ１５の処理を実行するプロセッサ２４は、特定部として機能する。
【００９１】
続いて、ステップＳ１７では、補助情報を抽出する。つまり、表示バッファ３３６に記憶される文字列や、画像のうち、表示座標バッファ３３８に基づいて遮蔽領域に含まるデータが、補助情報として読み出される。たとえば、図８（Ｂ）のように、遮蔽領域に仮想キーボード６６のＧＵＩが含まれていれば、仮想キーボード６６に含まれる文字キーを示す文字列が、表示バッファ３３６から補助情報として抽出される。また、図１０（Ｂ）のように、遮蔽領域に文章が表示されていれば、表示バッファ３３６から、その文章に対応する文字列が補助情報として抽出される。そして、抽出された補助情報は補助情報バッファ３３４に記憶される。ただし、遮蔽領域に文字列や、画像などが表示されていなければ、ステップＳ１７で、補助情報は抽出されない。なお、ステップＳ１７の処理を実行するプロセッサ２４は抽出部として機能する。
【００９２】
続いて、ステップＳ１９では、補助情報が抽出されたか否かが判断される。つまり、ステップＳ１７の処理で補助情報が抽出する処理が実行された結果、補助情報バッファ３３４に補助情報が記憶されたかが判断される。ステップＳ１９で“ＮＯ”であれば、つまり補助情報が抽出されていなければ、ステップＳ１に戻る。一方、ステップＳ１９で“ＹＥＳ”であれば、つまり補助情報が抽出されていれば、ステップＳ２１で表示領域を決定する。つまり、記憶された補助情報を表示するために必要な表示可能領域が判断され、表示領域が決められる。たとえば、図１０（Ｂ）に示すように、第３領域および第４領域が遮蔽領域として特定され、その遮蔽領域に表示される文章が補助情報として抽出されている場合、第１領域および第２領域が表示領域として決められる。そして、ステップＳ２３では、補助情報を表示して、ステップＳ１に戻る。つまり、このようにして、決められた表示領域に、補助情報バッファ３３４に記憶される補助情報が表示される。
【００９３】
なお、ステップＳ２１の処理を実行するプロセッサ２４は決定部として機能し、ステップＳ２３の処理を実行するプロセッサ２４は表示部として機能する。
【００９４】
また、画像だけで遮蔽領域を特定する場合、補助情報表示処理では、ステップＳ１１，Ｓ１３の処理が省略される。
【００９５】
また、表示される補助情報は文字列だけでなく、画像などであってもよい。また、補助情報を表示する際には、拡大したうえで補助表示されてもよい。また、補助情報が表示される機能は、ブラウザ機能およびメモ帳機能だけに限らず、メール機能、アドレス帳機能などの他の機能であってもよい。
【００９６】
また、他の実施例では、肌色領域の量を抽出しやすくするために、インカメラに通じる開口ＯＰ３が筐体Ｃの右下側や、左下側に設けられてもよい。
【００９７】
また、タッチ操作を行う左右の手の違いによって照度センサ４６または近接センサ４８の出力結果が異なる場合、タッチ操作を行う手や指の左右判定に、照度センサ４６および近接センサ４８によるセンシング結果が利用されてもよい。
【００９８】
また、その他の実施例では、ディスプレイ３０の表示範囲が分けられる数は、図３のように４つに限らず、５つ以上であってもよい。また、手や指によって遮蔽される遮蔽領域を高精度に特定できる場合、遮蔽領域の形状は手や指のような形となってもよい。
【００９９】
また、携帯電話機１０の通信方式はＣＤＭＡ方式であるが、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、Ｗ−ＣＤＭＡ方式、ＧＳＭ方式、ＴＤＭＡ方式、ＦＤＭＡ方式およびＰＨＳ方式などが採用されてもよい。
【０１００】
また、本実施例で用いられた複数のプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、複数のプログラムが本実施例と同等の構成の携帯電話機にインストールされた場合、本実施例と同等の効果が得られる。
【０１０１】
さらに、本実施例は、携帯電話機１０のみに限らず、いわゆるスマートフォンや、タブレットＰＣおよびＰＤＡなどに適用されてもよい。
【０１０２】
そして、本明細書中で挙げた、画素などの具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。
【符号の説明】
【０１０３】
１０ … 携帯電話機
１２ … アンテナ
１４ … 無線通信回路
２４ … プロセッサ
２６ … キー入力装置
３０ … ディスプレイ
３４ … ＲＡＭ
３６ … タッチパネル制御回路
３８ … タッチパネル
４０ … カメラ制御回路
４２ … イメージセンサ
４４ … フォーカスレンズ
４６ … 照度センサ
４８ … 近接センサ
【特許請求の範囲】
【請求項１】
タッチパネル、前記タッチパネルに対するタッチ操作を検出する検出部および前記タッチパネルが設けられる表示装置を有する、携帯端末であって、
前記検出部によってタッチ操作が検出されているとき、検出されたタッチ操作によって前記表示装置が遮蔽されている遮蔽領域を特定する特定部、
前記特定部によって特定された遮蔽領域に基づいて、前記表示装置の表示内容から補助情報を抽出する抽出部、
前記特定部によって特定された遮蔽領域に基づいて、前記補助情報を表示する表示領域を決定する決定部、および
前記前記決定部によって決定された表示領域に、抽出された補助情報を表示する表示部を備える、携帯端末。
【請求項２】
画像を出力するカメラモジュールをさらに備え、
前記特定部は、前記カメラモジュールが出力する画像に基づいて、検出されたタッチ操作によって前記表示装置が遮蔽されている遮蔽領域を特定する、請求項１記載の携帯端末。
【請求項３】
前記特定部は、前記検出部によって検出されたタッチ操作および前記カメラモジュールが出力する画像に基づいて、検出されたタッチ操作によって前記表示装置が遮蔽されている遮蔽領域を特定する、請求項２記載の携帯端末。
【請求項４】
タッチパネル、前記タッチパネルに対するタッチ操作を検出する検出部および前記タッチパネルが設けられる表示装置を有する、携帯端末のプロセッサを、
前記検出部によってタッチ操作が検出されているとき、検出されたタッチ操作によって前記表示装置が遮蔽されている遮蔽領域を特定する特定部、
前記特定部によって特定された遮蔽領域に基づいて、前記表示装置の表示内容から補助情報を抽出する抽出部、
前記特定部によって特定された遮蔽領域に基づいて、前記補助情報を表示する表示領域を決定する決定部、および
前記前記決定部によって決定された表示領域に、抽出された補助情報を表示する表示部として機能させる、補助情報表示プログラム。
【請求項５】
タッチパネル、前記タッチパネルに対するタッチ操作を検出する検出部および前記タッチパネルが設けられる表示装置を有する、携帯端末の補助情報表示方法であって、
前記検出部によってタッチ操作が検出されているとき、検出されたタッチ操作によって前記表示装置が遮蔽されている遮蔽領域を特定し、
特定された遮蔽領域に基づいて、前記表示装置の表示内容から補助情報を抽出し、
特定された遮蔽領域に基づいて、前記補助情報を表示する表示領域を決定し、そして
決定された表示領域に、抽出された補助情報を表示する、補助情報表示方法。
【請求項１】
タッチパネル、前記タッチパネルに対するタッチ操作を検出する検出部および前記タッチパネルが設けられる表示装置を有する、携帯端末であって、
前記検出部によってタッチ操作が検出されているとき、検出されたタッチ操作によって前記表示装置が遮蔽されている遮蔽領域を特定する特定部、
前記特定部によって特定された遮蔽領域に基づいて、前記表示装置の表示内容から補助情報を抽出する抽出部、
前記特定部によって特定された遮蔽領域に基づいて、前記補助情報を表示する表示領域を決定する決定部、および
前記前記決定部によって決定された表示領域に、抽出された補助情報を表示する表示部を備える、携帯端末。
【請求項２】
画像を出力するカメラモジュールをさらに備え、
前記特定部は、前記カメラモジュールが出力する画像に基づいて、検出されたタッチ操作によって前記表示装置が遮蔽されている遮蔽領域を特定する、請求項１記載の携帯端末。
【請求項３】
前記特定部は、前記検出部によって検出されたタッチ操作および前記カメラモジュールが出力する画像に基づいて、検出されたタッチ操作によって前記表示装置が遮蔽されている遮蔽領域を特定する、請求項２記載の携帯端末。
【請求項４】
タッチパネル、前記タッチパネルに対するタッチ操作を検出する検出部および前記タッチパネルが設けられる表示装置を有する、携帯端末のプロセッサを、
前記検出部によってタッチ操作が検出されているとき、検出されたタッチ操作によって前記表示装置が遮蔽されている遮蔽領域を特定する特定部、
前記特定部によって特定された遮蔽領域に基づいて、前記表示装置の表示内容から補助情報を抽出する抽出部、
前記特定部によって特定された遮蔽領域に基づいて、前記補助情報を表示する表示領域を決定する決定部、および
前記前記決定部によって決定された表示領域に、抽出された補助情報を表示する表示部として機能させる、補助情報表示プログラム。
【請求項５】
タッチパネル、前記タッチパネルに対するタッチ操作を検出する検出部および前記タッチパネルが設けられる表示装置を有する、携帯端末の補助情報表示方法であって、
前記検出部によってタッチ操作が検出されているとき、検出されたタッチ操作によって前記表示装置が遮蔽されている遮蔽領域を特定し、
特定された遮蔽領域に基づいて、前記表示装置の表示内容から補助情報を抽出し、
特定された遮蔽領域に基づいて、前記補助情報を表示する表示領域を決定し、そして
決定された表示領域に、抽出された補助情報を表示する、補助情報表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−４１３４８（Ｐ２０１３−４１３４８Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７６４８３（Ｐ２０１１−１７６４８３）
【出願日】平成２３年８月１２日（２０１１．８．１２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＧＳＭ
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１２日（２０１１．８．１２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＧＳＭ
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]