携帯端末
【課題】仮想キーボード利用時の消費電流を好適に削減する携帯端末を提供する。
【解決手段】操作対象を仮想的に表現する操作対象画像１８を投影するための画像投影部１６と、操作対象画像１８上において選択された位置を検出する選択検出部１５と、操作位置検出部１５により検出された位置に対応するデータ処理を実行するデータ処理部と、操作対象画像１８の投影をオフにするためのオフ条件を記憶する条件記憶部と、オフ条件を満たす場合、画像投影部１６の投影をオフさせる制御部とを備えた。
【解決手段】操作対象を仮想的に表現する操作対象画像１８を投影するための画像投影部１６と、操作対象画像１８上において選択された位置を検出する選択検出部１５と、操作位置検出部１５により検出された位置に対応するデータ処理を実行するデータ処理部と、操作対象画像１８の投影をオフにするためのオフ条件を記憶する条件記憶部と、オフ条件を満たす場合、画像投影部１６の投影をオフさせる制御部とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが操作する操作対象を仮想的に表現する操作対象画像を好適に制御する携帯端末に関する。
【背景技術】
【０００２】
従来、コンピュータ用のキーボードを仮想的に表現する操作対象画像を投影し、この仮想的なキーボード画像上で入力操作を行わせる携帯端末が知られている（例えば、特許文献１参照）。
【０００３】
この携帯端末は、平らで明るい投影面（例えば白い紙や机のようなもの）上に、仮想的なキーボードを投影する。ユーザは、投影面上に投影された仮想キーボードの仮想キーを指で打鍵したり、ポインタなどの部材を指で指し示したりすることで、入力操作を行う。この入力操作は、カメラによる撮像やレーザセンサなどで検出され、実際のコンピュータ用の物理的なキーボード上のキーをあたかも打鍵したかのように行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１２３３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
今日の携帯端末は、小型軽量化が要求されている。これに伴い、実装されるバッテリの容量も限られるため、消費電流をいかに抑え、長時間の連続使用を実現するかということが課題となっている。
【０００６】
上述した仮想キーボードは、従来から用いられている物理的な押下により入力操作を行わせるボタン式の入力装置に対し、コンピュータが備える操作性に優れた大きなキーボードを仮想的に表現することで入力時の操作性を向上させるものであった。しかし、仮想キーボードを投影したり、入力操作を検出したりするための各種装置を駆動する必要があった。その結果、仮想キーボードを利用した入力操作は消費電流が大きくなり、連続使用時間を短くする要因となっていた。
【０００７】
本発明はこのような事情を考慮してなされたもので、仮想キーボード利用時の消費電流を好適に削減する携帯端末を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る携帯端末は、上述した課題を解決するために、操作対象を仮想的に表現する操作対象画像を投影するための画像投影部と、前記操作対象画像上において選択された位置を検出する選択検出部と、前記操作位置検出部により検出された位置に対応するデータ処理を実行するデータ処理部と、前記操作対象画像の投影をオフにするためのオフ条件を記憶する条件記憶部と、前記オフ条件を満たす場合、前記画像投影部の投影をオフさせる制御部とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明に係る携帯端末は、仮想キーボード利用時の消費電流を好適に削減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る携帯端末の実施形態を示す外観構成図。
【図２】本発明に係る携帯端末の実施形態を示す概略的な機能ブロック図。
【図３】仮想キーボード制御処理の条件設定を行う際の画面遷移図。
【図４】本実施形態における携帯端末の制御部により実行される仮想キーボードオフ制御処理を説明するフローチャート。
【図５】本実施形態における携帯端末の制御部により実行される仮想キーボードオン制御処理を説明するフローチャート。
【発明を実施するための形態】
【００１１】
本発明に係る携帯端末の実施形態を添付図面に基づいて説明する。
【００１２】
図１は、本発明に係る携帯端末の実施形態を示す外観構成図である。
【００１３】
携帯端末１は、一定の厚みを有する矩形の筐体１０を備える。この筐体１０の一方の表面は、タッチパネル１２により大部分が占められる。このタッチパネル１２は、表示部１３および操作部１４として機能する。
【００１４】
表示部１３としてのタッチパネル１２は、文字や画像などからなるデータを表示する領域を備える。この表示部１３は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、無機ＥＬディスプレイにより構成される。
【００１５】
操作部１４としてのタッチパネル１２は、操作面に対する接触動作を入力位置情報として検出するタッチセンサである。タッチパネル１２は、ディスプレイの上面に複数配置された接触動作を検出するための素子と、さらにその上に積層された透明な操作面で構成される。なお、タッチパネル１２上で接触動作を検知する方法は、圧力の変化を感知する感圧式、静電気による電気信号を感知する静電式、その他の方法を適用することができる。
【００１６】
筐体１０の表面に設けられたカメラ１５は、ＣＣＤやＣＭＯＳなどからなる撮像素子を備える。カメラ１５は、撮影光学系による被写体像を光電変換して、画像信号を生成する。また、本実施形態においては、画像投影部１６により投影された操作対象画像に対して入力操作を行うユーザの手などを撮像する機能も備える。
【００１７】
画像投影部１６は、ユーザが操作する対象を仮想的に表現する操作対象画像を投影する画像投影部として機能する。画像投影部１６は、例えばＱＷＥＲＴＹキー配列されたキーボードの画像（以下、「仮想キーボード画像」という。）１８を操作対象画像として投影する。仮想キーボード画像１８の投影時には、携帯端末１は、例えば画像投影部１６の光出射口を所望の投影面に向けて机の上に置かれたり、携帯端末用の充電器（スタンド）にセットされたりする。なお、画像投影部１６、カメラ１５および後述する近接センサ４９は仮想キーボードの使用位置にあわせて設置されているものとする。
【００１８】
携帯端末１の内部の所定の位置には、送受信用のアンテナ（後述する図２のアンテナ３１）が設けられる。携帯端末１は、この内蔵されたアンテナを介して基地局（図示せず）との間で電波を送受信する。
【００１９】
筐体１０の裏面側にはバッテリパック（図示せず）が挿着される。携帯端末１は、電源をオン状態とする指示を受け付けると、バッテリパックから各回路部に対して電力を供給し、動作可能な状態に起動する。
【００２０】
マイクロフォン（図２のマイクロフォン３８）およびレシーバ（図２のレシーバ３６）（共に図示せず）は、それぞれ筐体１０の所定の位置に設けられる。携帯端末１は、マイクロフォン３８によって通話時のユーザの音声を集音し、またレシーバ３６によって通話相手の音声を出力する。
【００２１】
図２は、本発明に係る携帯端末の実施形態を示す概略的な機能ブロック図である。
【００２２】
携帯端末１は、Ｗ−ＣＤＭＡ方式、ＧＳＭ方式、ｃｄｍａ２０００ １ｘ ＲＴＴ方式、ＥＶＤＯ方式、および３．９世代のＬＴＥシステムの無線アクセスであるＥ−ＵＴＲＡ方式のいずれの無線通信方式によっても音声通信やデータ通信を行うことが可能である。また、アンテナ３１、無線送受信部３２、信号処理部３３はこれらの方式に対応する。
【００２３】
アンテナ３１は、移動通信網に収容される基地局から種々の通信処理システムで送信される無線信号を空間から受信する。また、アンテナ３１は、種々の通信処理システムで無線通信できるように空間にいずれかのアクセス方式の無線信号を放射する。
【００２４】
無線送受信部３２は、アンテナ３１を介して、移動通信網に収容される基地局との間で種々の通信処理方式で無線通信する。無線送受信部３２は、信号処理部３３にて生成された変調信号に基づいて、制御部３９から指示されるキャリア周波数の無線信号を生成する。また、無線送受信部３２は、制御部３９から指示されるキャリア周波数の無線信号を受信し、周波数シンセサイザから出力された局部発振信号とミキシングして中間周波数信号に周波数変換（ダウンコンバート）する。そして、無線送受信部３２は、このダウンコンバートされた中間周波数信号を直交復調して受信ベースバンド信号を出力する。この受信結果は、信号処理部３３と制御部３９に出力される。
【００２５】
信号処理部３３は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などにより構成され、受信ベースバンド信号に所定の信号処理を施し、所定の伝送フォーマットの受信パケットデータを得る。また、信号処理部３３は、受信パケットデータに含まれる音声信号を復調し、この復調結果を復号して音声データなどを得る。復号処理により得られた音声データは、ＰＣＭコーデック３４に供給される。ＰＣＭコーデック３４は、音声データをＰＣＭ復号し、ＰＣＭ復号後のアナログオーディオデータ信号を受話増幅器３５に出力する。このアナログオーディオ信号は、受話増幅器３５にて増幅された後、レシーバ３６により出力される。
【００２６】
一方、マイクロフォン３８に入力された話者（ユーザ）の音声信号（アナログオーディオ信号）は、送話増幅器３７により適正レベルまで増幅された後、ＰＣＭコーデック３４によりＰＣＭ符号化される。このＰＣＭ符号化後のオーディオ信号は、信号処理部３３に入力される。信号処理部３３は、このオーディオ信号を符号化し、符号化によって得た音声データやその他のデータに基づいて変調信号を生成するとともに、生成された変調信号を無線送受信部３２に出力する。
【００２７】
制御部３９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などからなる。ＣＰＵは、ＲＯＭに記憶されているプログラムまたは記憶部４０からＲＡＭにロードされた、オペレーティングシステム（ＯＳ）を含む各種のアプリケーションプログラムや制御プログラムに従って各種の処理を実行する。また、ＣＰＵは、種々の制御信号を生成し、各部に供給することにより携帯端末１を統括的に制御する。制御部３９は、画像投影部１６による仮想キーボード画像１８の投影をオンまたはオフにさせる制御部として機能する。また、制御部３９は、キー選択検出部４５によるキー選択の検出の制御を行う。さらに、制御部３９は、キー選択検出部４５により検出され出力されたキー選択データに基づいて、その選択されたキーに対応する所定のデータ処理を実行するデータ処理部としても機能する。このキー選択データは、画像投影部１６により投影された仮想キーボード画像１８上における操作の位置（キー）を示すデータである。データ処理としては、例えば選択されたキーに対応する文字データをタッチパネル１２に表示したり、メモリに記憶したりするデータ処理や、ゲームなどのアプリケーションプログラムの実行内容を変化させたりするデータ処理があげられる。
【００２８】
また、ＲＡＭは、ＣＰＵが各種の処理を実行する上において必要なデータなどを適宜記憶する。
【００２９】
記憶部４０は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子やＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などからなる。記憶部４０は、制御部３９のＣＰＵより実行される種々のアプリケーションプログラムや種々のデータ群、携帯端末１の制御プログラムや制御データ、携帯端末１またはユーザに固有に割り当てられた識別情報を格納する。この他にも、記憶部４０は、例えば連絡先情報が登録された電話帳データや、データ通信により取得したデータやダウンロードしたデータ、カメラ１５で撮影された画像データなどを適宜記憶する。本実施形態においては、記憶部４０は、操作対象画像の投影をオフにするためのオフ条件およびオンにするためのオン条件を記憶する条件記憶部として機能する。
【００３０】
電源回路４２は、バッテリ４１の出力を基に所定の動作電源電圧Ｖｃｃを生成して各回路部に供給する。時計回路（タイマ）４３は、現在の時刻や一定の時間を測定する。
【００３１】
振動センサ４６は、携帯端末１に与えられた振動を検出する振動検出部として機能する。本実施形態においては、振動センサ４６は、仮想キーボード画像１８に対するユーザの入力操作などに基づき、仮想キーボード画像１８の投影面（例えば机など）に与えられた振動を携帯端末１に与えられた振動として検出するものとする。
【００３２】
近接センサ４９は、仮想キーボード画像１８の近傍の物体の有無を検出する物体検出部として機能する。近接センサ４９は、例えばユーザが携帯端末１と対峙しているか、仮想キーボード画像１８に対して入力操作を行う手を待機させているかなどの、ユーザが仮想キーボード画像１８を利用する意図があるか否かを検出するためのセンサである。なお、仮想キーボード画像１８の近傍とは、例えば携帯端末１に対峙するユーザの身体や、仮想キーボード画像１８に対して入力操作は行わないものの入力が行えるよう待機しているユーザの手などが検出できる範囲をいう。
【００３３】
本実施形態においては、物体検出部として近接センサ４９を用いる例を説明する。しかし近接センサ４９に換えてカメラ１５を物体検出部として用いてもよい。カメラ１５を用いる場合には、所定内の範囲を撮像することにより画像を取得し、この画像の解析を行うことで、例えばユーザが手を待機しているか否かを判別することができる。
【００３４】
画像投影部１６は、例えばビーム光源と光学スキャナとそれらを駆動するための駆動制御部（いずれも図示せず）とで構成される。ビーム光源としては、ＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ、半導体レーザ）やＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、発光ダイオード）などを用いることができる。ビーム光源から出射されるビーム光の強度は、制御部３９から送られる制御データに基づいて駆動制御部により制御される。光学スキャナは、ビーム光源から出射されたビーム光を二次元的に走査しながら投影面（机など）に投射する光学装置である。光学スキャナによるビーム光の走査は、ビーム光源と同様に駆動制御部により駆動制御される。この光学スキャナとしては、例えば小型で高速走査が可能なガルバノミラーを用いたものを使用することができる。
【００３５】
駆動制御部は、画像データを記憶する画像メモリを有し、予め設定登録された投影対象の画像データや、制御部３９から制御データとともに送られてきた投影対象の画像データが記憶される。この画像メモリに記憶されている画像データに基づいて、ビーム光源および光学スキャナが駆動制御される。
【００３６】
なお、上述した画像投影部１６の構成は一例であって、例えば従来用いられている他の構成（例えば特開２００５−２４２７２５参照）を用いてもよい。
【００３７】
キー選択検出部４５は、ユーザの操作対象となる仮想キーボード画像１８（操作対象画像）上において選択された位置を検出する選択検出部として機能する。このキー選択検出部４５は、キー入力操作検出部４７とキー選択データ生成部４８とを備える。キー入力操作検出部４７は、カメラ１５で撮像されたユーザの手の操作状況から、二次元または三次元的な画像に基づき画像処理を実行し、仮想キーボード画像１８上のどのキーに対して入力操作が行われたかを検出する。キー選択データ生成部４８は、キー入力操作検出部４７で検出された入力操作に基づいて選択されたキーのデータを生成し、制御部３９に供給する。なお、キー選択検出部４５は、カメラ１５で撮像された操作状況のみならず、レーザ光の反射や超音波の反射を利用して指先やポインタ部材の位置を測定することによりキー選択を検知するように構成してもよい。
【００３８】
次に、本実施形態における携帯端末１により実行される仮想キーボード制御処理を説明する。まず、仮想キーボード制御処理を行うためにユーザにより任意に設定される条件の設定方法について説明する。この条件は、仮想キーボード画像１８の投影（表示）をオフおよびオフにするためのオフ条件およびオン条件である。ユーザにより設定されたオフ条件およびオン条件は、記憶部４０に記憶される。
【００３９】
図３は、仮想キーボード制御処理の条件設定を行う際の画面遷移図である。
【００４０】
携帯端末１は、ユーザ操作に基づいて設定メニュー５１を表示する指示を受け付けると、選択可能な各種条件を選択可能に表示する。選択可能な条件としては、例えば「検出無し判断時間」、「操作有無センサレベル」、「振動有無センサレベル」および「判断条件設定」がある。
【００４１】
携帯端末１は「検出無し判断時間」が選択されると、仮想キーボード画像１８の表示をオフにするため条件となる、仮想キーボード画像１８に対する入力操作、近接センサ４９および振動センサ４６の非検出時間を設定するための検出無し判断時間設定画面５２を表示する。ユーザにより検出無し判断時間が設定（確定）されると、携帯端末１は操作を終了し画面を待受け画面へ戻す。
【００４２】
携帯端末１は、「操作有無センサレベル」が選択されると、携帯端末１の仮想キーボード画像１８のオン・オフを制御する条件となる所定の動作を検出するセンサのレベルを設定する操作有無センサレベル設定画面５３を表示する。仮想キーボード画像１８近傍の物体の有無を検出する検出する近接センサ４９の検出レベルが設定される。ユーザにより操作有無センサレベルが設定されると、携帯端末１は操作を終了し画面を待受け画面へ戻す。
【００４３】
携帯端末１は、「振動有無センサレベル」が選択されると、携帯端末１に与えられた振動の有無を検出する振動センサ４６のレベルを設定する振動有無センサレベル設定画面５４を表示する。振動有無センサレベル設定画面５４では、例えばユーザが仮想キーボード画像１８に対して入力操作を行っているかを携帯端末１に与えられる振動の有無を用いて検出することにより、ユーザが仮想キーボード画像１８を利用する意図があるか否かを検出する振動センサ４６の検出レベルが設定される。ユーザにより振動有無センサレベルが設定されると、携帯端末１は操作を終了し画面を待受け画面へ戻す。
【００４４】
携帯端末１は、「判断条件設定」が選択されると、仮想キーボード画像１８の表示をオン・オフするために用いられる各種条件を設定する。携帯端末１は、まず仮想キーボード画像１８の表示を所定の条件下でオフ・オンにするか否かを設定する表示動作選択画面５５を表示する。携帯端末１は、表示動作選択画面５５において「表示ＯＦＦ判断条件」が選択されると、仮想キーボード画像１８の表示をオフにするために用いられるオフ条件を選択するための表示ＯＦＦ判断条件設定画面５６を表示する。表示ＯＦＦ判断条件設定画面５６では、例えば操作位置検出部としてのキー選択検出部４５による所定時間の仮想キーボード画像１８に対する入力操作の非検出（「入力操作無し判断」）、物体検出部としての近接センサ４９による所定時間の仮想キーボード画像１８近傍の物体の非検出（「操作有無判断」）、および振動検出部としての振動センサ４６の所定時間の携帯端末１に与えられる振動の非検出（「振動有無判断」）を、それぞれ仮想キーボード画像１８のオフ条件とするか否かが設定される。ユーザにより表示ＯＦＦ判断条件（オフ条件）が設定されると、携帯端末１は操作を終了し画面を待受け画面へ戻す。
【００４５】
携帯端末１は、表示動作選択画面５５において「表示ＯＮ判断条件」が選択されると、仮想キーボード画像１８の表示をオフから再度オンにするために用いられるオン条件を選択するための表示ＯＮ判断条件設定画面５７を表示する。表示ＯＮ判断条件設定画面５７では、例えば近接センサ４９による仮想キーボード画像１８近傍の物体の検出（「操作有無判断」）、または携帯端末１に与えられる振動の検出（「振動有無判断」）を仮想キーボード画像１８のオン条件とするか否かが設定される。ユーザにより表示ＯＮ判断条件（オン条件）が設定されると、携帯端末１は操作を終了し画面を待受け画面へ戻す。
【００４６】
次に、仮想キーボード制御処理の条件が設定された後に実行される、仮想キーボードをオフに移行させるための処理について説明する。
【００４７】
図４は、本実施形態における携帯端末１の制御部３９により実行される仮想キーボードオフ制御処理を説明するフローチャートである。
【００４８】
ステップＳ１において、制御部３９は、仮想キーボード画像１８が表示（投影）中であるか否かの判定を行う。制御部３９は、仮想キーボード画像１８が表示されていないと判定した場合、処理を終了する。
【００４９】
一方、制御部３９は仮想キーボード画像１８が表示されていると判定した場合、ステップＳ２において、表示ＯＦＦ判断条件設定画面５６において「入力操作無し判断」が仮想キーボード画像１８をオフにする条件として選択されているか否かの判定を行う。制御部３９は、「入力操作無し判断」が仮想キーボード画像１８をオフにする条件として選択されていないと判定した場合、ステップＳ４に進む。
【００５０】
一方、制御部３９は「入力操作無し判断」が仮想キーボード画像１８をオフにする条件として選択されていると判定した場合、ステップＳ３において、仮想キーボード画像１８が非検出である時間が、検出無し判断時間設定画面５２において設定された検出無し判断時間に到達（経過）したか否かの判定を行う。制御部３９は、例えば時計回路４５で計測された時間に基づいて検出無し判断時間に到達したか否かの判定を行う。制御部３９は検出無し判断時間に到達したと判定した場合、ステップＳ９に進む。
【００５１】
一方、制御部３９は検出無し判断時間に到達しないと判定した場合、ステップＳ４において、表示ＯＦＦ判断条件設定画面５６において「操作有無判断」が仮想キーボード画像１８をオフにする条件として選択されているか否かの判定を行う。制御部３９は、「操作有無判断」が仮想キーボード画像１８をオフにする条件として選択されていないと判定した場合、ステップＳ６に進む。
【００５２】
制御部３９は「操作有無判断」が仮想キーボード画像１８をオフにする条件として選択されていると判定した場合、ステップＳ５において、仮想キーボード画像１８近傍の物体が非検出である時間が、検出無し判断時間設定画面５２において設定された検出無し判断時間に到達（経過）したか否かの判定を行う。制御部３９は検出無し判断時間に到達したと判定した場合、ステップＳ９に進む。
【００５３】
一方、制御部３９は検出無し判断時間に到達しないと判定した場合、ステップＳ６において、表示ＯＦＦ判断条件設定画面５６において「振動有無判断」が仮想キーボード画像１８をオフにする条件として選択されているか否かの判定を行う。制御部３９は、「振動有無判断」が仮想キーボード画像１８をオフにする条件として選択されていないと判定した場合、ステップＳ８に進む。
【００５４】
制御部３９は「振動有無判断」が仮想キーボード画像１８をオフにする条件として選択されていると判定した場合、ステップＳ７において、携帯端末１に与えられた振動が非検出である時間が、検出無し判断時間設定画面５２において設定された検出無し判断時間に到達（経過）したか否かの判定を行う。制御部３９は検出無し判断時間に到達したと判定した場合、ステップＳ９に進む。
【００５５】
一方、制御部３９は検出無し判断時間に到達していないと判定した場合、ステップＳ８において、仮想キーボード画像１８の表示をオフにする操作がユーザにより行われたか否かを判定する。制御部３９は、表示をオフにする操作が行われておらずオン状態が維持されていると判定した場合、処理は選択有無判定ステップＳ２に戻り、仮想キーボード画像１８の表示がオフとなるまで処理を繰り返す。
【００５６】
制御部３９は、仮想キーボード画像１８の表示をオフにする操作が行われたと判定した場合およびステップＳ３、Ｓ５、Ｓ７の各ステップにおいて検出無し判断時間に到達したと判定された場合、ステップＳ９において、仮想キーボード画像１８の表示をオフにする。
【００５７】
以上で、図４の仮想キーボードオフ制御処理の説明を終了する。
【００５８】
次に、図４の仮想キーボードオフ制御処理においてオフとなった仮想キーボード画像１８の表示を、再度オンにするための処理を説明する。
【００５９】
図５は、本実施形態における携帯端末１の制御部３９により実行される仮想キーボードオン制御処理を説明するフローチャートである。この仮想キーボードオン制御処理は、例えば図４のステップＳ３、Ｓ５、Ｓ７の各ステップにおいて検出無し判断時間に到達したと判定されたことにより仮想キーボード画像１８の表示（投影）がオフに移行した場合にのみ適用してもよいし、ユーザ操作によりオフに移行した場合も含めて適用してもよい。
【００６０】
ステップＳ１１において、制御部３９は、仮想キーボード画像１８の表示が一時オフ中であるか否かの判定を行う。制御部３９は、仮想キーボード画像１８が表示中であると判定した場合、処理を終了する。
【００６１】
一方、制御部３９は仮想キーボード画像１８の表示が一時オフ中であると判定した場合、ステップＳ１２において、表示ＯＮ判断条件設定画面５７において「操作有無判断」が仮想キーボード画像１８をオンにする条件として選択されているか否かの判定を行う。制御部３９は、「操作有無判断」が仮想キーボード画像１８をオンにする条件として選択されていないと判定した場合、ステップＳ１４に進む。
【００６２】
一方、制御部３９は「操作有無判断」が仮想キーボード画像１８をオンにする条件として選択されていると判定した場合、ステップＳ１３において、近接センサ４９により仮想キーボード画像１８近傍の物体（仮想キーボード画像１８に対峙したユーザの手など）が検出されたか否かの判定を行う。制御部３９は検出されたと判定した場合、ステップＳ１７に進む。
【００６３】
一方、制御部３９は検出されていないと判定した場合、ステップＳ１４において、表示ＯＮ判断条件設定画面５７において「振動有無判断」が仮想キーボード画像１８をオンにする条件として選択されているか否かの判定を行う。制御部３９は、「振動有無判断」が仮想キーボード画像１８をオンにする条件として選択されていないと判定した場合、ステップＳ１６に進む。
【００６４】
制御部３９は「振動有無判断」が仮想キーボード画像１８をオンにする条件として選択されていると判定した場合、ステップＳ１５において、携帯端末１に与えられた振動が検出されたか否かの判定を行う。制御部３９は振動が検出されたと判定した場合、ステップＳ１７に進む。
【００６５】
一方、制御部３９は振動が検出されないと判定した場合、ステップＳ１６において、仮想キーボード画像１８の表示をオンにする操作がユーザにより行われたか否かを判定する。制御部３９は、表示をオンにする操作が行われておらずオフ状態が維持されていると判定した場合、処理は選択有無判定ステップＳ１２に戻り、仮想キーボード画像１８の表示がオンとなるまで処理を繰り返す。
【００６６】
制御部３９は、仮想キーボード画像１８の表示をオンにする操作が行われたと判定した場合およびステップＳ１３、Ｓ１５の各ステップにおいて検出があったと判定された場合、ステップＳ１６において、仮想キーボード画像１８の表示をオンにする。
【００６７】
以上で、図５の仮想キーボードオン制御処理の説明を終了する。
【００６８】
この携帯端末１によれば、仮想キーボード画像１８を用いて入力操作を行う場合であってもタイミングを自動的に判断して表示の制御を行うことで、無駄な消費電流を好適に抑制することができる。
【００６９】
また、携帯端末１は仮想キーボード画像１８の表示のオフ・オンを制御するための条件を複数の条件を用いて判断することにより、より正確にユーザの意図を判断することができる。
【００７０】
さらに、携帯端末１は仮想キーボード画像１８の表示のオン・オフを制御するための条件をユーザ任意で設定可能なようにしたため、より個々のユーザの意図に即した表示の制御を行うことができる。
【００７１】
本実施形態においては、仮想キーボード画像１８の投影（表示）をオフおよびオンに制御する例を説明した。しかし、仮想キーボード画像１８の投影の制御のみならず、仮想キーボード画像１８の制御と連動してタッチパネル１２（表示部１３、操作部１４）のオフ・オンや操作位置検出部としてのカメラ１５のオフ・オンを制御してもよい。
【００７２】
なお、本実施形態において、画像投影部１６により、仮想的なキー配列画像だけでなく、その他の画像を投影するようにしてもよい。例えば、ポインタ画像や各種ボタン画像、ゲーム上の入力ボタンを示す画像なども投影するようにしてもよい。
【００７３】
本発明に係る携帯端末は、携帯電話機、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、パーソナルコンピュータ、携帯型ゲーム機、携帯型音楽再生機、携帯型動画再生機などの各種携帯端末に適用することができる。
【００７４】
なお、本発明の実施形態において説明した一連の処理は、フローチャートで記載された順序に沿って時系列的に行われる処理例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【００７５】
１ 携帯端末
１０ 筐体
１２ タッチパネル
１３ 表示部
１４ 操作部
１５ カメラ
１６ 画像投影部
１８ 仮想キーボード画像
３９ 制御部
４３ 時計回路（タイマ）
４６ 振動センサ
４５ キー選択検出部
４７ キー入力操作検出部
４８ キー選択データ生成部
【技術分野】
【０００１】
本発明は、ユーザが操作する操作対象を仮想的に表現する操作対象画像を好適に制御する携帯端末に関する。
【背景技術】
【０００２】
従来、コンピュータ用のキーボードを仮想的に表現する操作対象画像を投影し、この仮想的なキーボード画像上で入力操作を行わせる携帯端末が知られている（例えば、特許文献１参照）。
【０００３】
この携帯端末は、平らで明るい投影面（例えば白い紙や机のようなもの）上に、仮想的なキーボードを投影する。ユーザは、投影面上に投影された仮想キーボードの仮想キーを指で打鍵したり、ポインタなどの部材を指で指し示したりすることで、入力操作を行う。この入力操作は、カメラによる撮像やレーザセンサなどで検出され、実際のコンピュータ用の物理的なキーボード上のキーをあたかも打鍵したかのように行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１２３３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
今日の携帯端末は、小型軽量化が要求されている。これに伴い、実装されるバッテリの容量も限られるため、消費電流をいかに抑え、長時間の連続使用を実現するかということが課題となっている。
【０００６】
上述した仮想キーボードは、従来から用いられている物理的な押下により入力操作を行わせるボタン式の入力装置に対し、コンピュータが備える操作性に優れた大きなキーボードを仮想的に表現することで入力時の操作性を向上させるものであった。しかし、仮想キーボードを投影したり、入力操作を検出したりするための各種装置を駆動する必要があった。その結果、仮想キーボードを利用した入力操作は消費電流が大きくなり、連続使用時間を短くする要因となっていた。
【０００７】
本発明はこのような事情を考慮してなされたもので、仮想キーボード利用時の消費電流を好適に削減する携帯端末を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る携帯端末は、上述した課題を解決するために、操作対象を仮想的に表現する操作対象画像を投影するための画像投影部と、前記操作対象画像上において選択された位置を検出する選択検出部と、前記操作位置検出部により検出された位置に対応するデータ処理を実行するデータ処理部と、前記操作対象画像の投影をオフにするためのオフ条件を記憶する条件記憶部と、前記オフ条件を満たす場合、前記画像投影部の投影をオフさせる制御部とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明に係る携帯端末は、仮想キーボード利用時の消費電流を好適に削減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る携帯端末の実施形態を示す外観構成図。
【図２】本発明に係る携帯端末の実施形態を示す概略的な機能ブロック図。
【図３】仮想キーボード制御処理の条件設定を行う際の画面遷移図。
【図４】本実施形態における携帯端末の制御部により実行される仮想キーボードオフ制御処理を説明するフローチャート。
【図５】本実施形態における携帯端末の制御部により実行される仮想キーボードオン制御処理を説明するフローチャート。
【発明を実施するための形態】
【００１１】
本発明に係る携帯端末の実施形態を添付図面に基づいて説明する。
【００１２】
図１は、本発明に係る携帯端末の実施形態を示す外観構成図である。
【００１３】
携帯端末１は、一定の厚みを有する矩形の筐体１０を備える。この筐体１０の一方の表面は、タッチパネル１２により大部分が占められる。このタッチパネル１２は、表示部１３および操作部１４として機能する。
【００１４】
表示部１３としてのタッチパネル１２は、文字や画像などからなるデータを表示する領域を備える。この表示部１３は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、無機ＥＬディスプレイにより構成される。
【００１５】
操作部１４としてのタッチパネル１２は、操作面に対する接触動作を入力位置情報として検出するタッチセンサである。タッチパネル１２は、ディスプレイの上面に複数配置された接触動作を検出するための素子と、さらにその上に積層された透明な操作面で構成される。なお、タッチパネル１２上で接触動作を検知する方法は、圧力の変化を感知する感圧式、静電気による電気信号を感知する静電式、その他の方法を適用することができる。
【００１６】
筐体１０の表面に設けられたカメラ１５は、ＣＣＤやＣＭＯＳなどからなる撮像素子を備える。カメラ１５は、撮影光学系による被写体像を光電変換して、画像信号を生成する。また、本実施形態においては、画像投影部１６により投影された操作対象画像に対して入力操作を行うユーザの手などを撮像する機能も備える。
【００１７】
画像投影部１６は、ユーザが操作する対象を仮想的に表現する操作対象画像を投影する画像投影部として機能する。画像投影部１６は、例えばＱＷＥＲＴＹキー配列されたキーボードの画像（以下、「仮想キーボード画像」という。）１８を操作対象画像として投影する。仮想キーボード画像１８の投影時には、携帯端末１は、例えば画像投影部１６の光出射口を所望の投影面に向けて机の上に置かれたり、携帯端末用の充電器（スタンド）にセットされたりする。なお、画像投影部１６、カメラ１５および後述する近接センサ４９は仮想キーボードの使用位置にあわせて設置されているものとする。
【００１８】
携帯端末１の内部の所定の位置には、送受信用のアンテナ（後述する図２のアンテナ３１）が設けられる。携帯端末１は、この内蔵されたアンテナを介して基地局（図示せず）との間で電波を送受信する。
【００１９】
筐体１０の裏面側にはバッテリパック（図示せず）が挿着される。携帯端末１は、電源をオン状態とする指示を受け付けると、バッテリパックから各回路部に対して電力を供給し、動作可能な状態に起動する。
【００２０】
マイクロフォン（図２のマイクロフォン３８）およびレシーバ（図２のレシーバ３６）（共に図示せず）は、それぞれ筐体１０の所定の位置に設けられる。携帯端末１は、マイクロフォン３８によって通話時のユーザの音声を集音し、またレシーバ３６によって通話相手の音声を出力する。
【００２１】
図２は、本発明に係る携帯端末の実施形態を示す概略的な機能ブロック図である。
【００２２】
携帯端末１は、Ｗ−ＣＤＭＡ方式、ＧＳＭ方式、ｃｄｍａ２０００ １ｘ ＲＴＴ方式、ＥＶＤＯ方式、および３．９世代のＬＴＥシステムの無線アクセスであるＥ−ＵＴＲＡ方式のいずれの無線通信方式によっても音声通信やデータ通信を行うことが可能である。また、アンテナ３１、無線送受信部３２、信号処理部３３はこれらの方式に対応する。
【００２３】
アンテナ３１は、移動通信網に収容される基地局から種々の通信処理システムで送信される無線信号を空間から受信する。また、アンテナ３１は、種々の通信処理システムで無線通信できるように空間にいずれかのアクセス方式の無線信号を放射する。
【００２４】
無線送受信部３２は、アンテナ３１を介して、移動通信網に収容される基地局との間で種々の通信処理方式で無線通信する。無線送受信部３２は、信号処理部３３にて生成された変調信号に基づいて、制御部３９から指示されるキャリア周波数の無線信号を生成する。また、無線送受信部３２は、制御部３９から指示されるキャリア周波数の無線信号を受信し、周波数シンセサイザから出力された局部発振信号とミキシングして中間周波数信号に周波数変換（ダウンコンバート）する。そして、無線送受信部３２は、このダウンコンバートされた中間周波数信号を直交復調して受信ベースバンド信号を出力する。この受信結果は、信号処理部３３と制御部３９に出力される。
【００２５】
信号処理部３３は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などにより構成され、受信ベースバンド信号に所定の信号処理を施し、所定の伝送フォーマットの受信パケットデータを得る。また、信号処理部３３は、受信パケットデータに含まれる音声信号を復調し、この復調結果を復号して音声データなどを得る。復号処理により得られた音声データは、ＰＣＭコーデック３４に供給される。ＰＣＭコーデック３４は、音声データをＰＣＭ復号し、ＰＣＭ復号後のアナログオーディオデータ信号を受話増幅器３５に出力する。このアナログオーディオ信号は、受話増幅器３５にて増幅された後、レシーバ３６により出力される。
【００２６】
一方、マイクロフォン３８に入力された話者（ユーザ）の音声信号（アナログオーディオ信号）は、送話増幅器３７により適正レベルまで増幅された後、ＰＣＭコーデック３４によりＰＣＭ符号化される。このＰＣＭ符号化後のオーディオ信号は、信号処理部３３に入力される。信号処理部３３は、このオーディオ信号を符号化し、符号化によって得た音声データやその他のデータに基づいて変調信号を生成するとともに、生成された変調信号を無線送受信部３２に出力する。
【００２７】
制御部３９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などからなる。ＣＰＵは、ＲＯＭに記憶されているプログラムまたは記憶部４０からＲＡＭにロードされた、オペレーティングシステム（ＯＳ）を含む各種のアプリケーションプログラムや制御プログラムに従って各種の処理を実行する。また、ＣＰＵは、種々の制御信号を生成し、各部に供給することにより携帯端末１を統括的に制御する。制御部３９は、画像投影部１６による仮想キーボード画像１８の投影をオンまたはオフにさせる制御部として機能する。また、制御部３９は、キー選択検出部４５によるキー選択の検出の制御を行う。さらに、制御部３９は、キー選択検出部４５により検出され出力されたキー選択データに基づいて、その選択されたキーに対応する所定のデータ処理を実行するデータ処理部としても機能する。このキー選択データは、画像投影部１６により投影された仮想キーボード画像１８上における操作の位置（キー）を示すデータである。データ処理としては、例えば選択されたキーに対応する文字データをタッチパネル１２に表示したり、メモリに記憶したりするデータ処理や、ゲームなどのアプリケーションプログラムの実行内容を変化させたりするデータ処理があげられる。
【００２８】
また、ＲＡＭは、ＣＰＵが各種の処理を実行する上において必要なデータなどを適宜記憶する。
【００２９】
記憶部４０は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子やＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などからなる。記憶部４０は、制御部３９のＣＰＵより実行される種々のアプリケーションプログラムや種々のデータ群、携帯端末１の制御プログラムや制御データ、携帯端末１またはユーザに固有に割り当てられた識別情報を格納する。この他にも、記憶部４０は、例えば連絡先情報が登録された電話帳データや、データ通信により取得したデータやダウンロードしたデータ、カメラ１５で撮影された画像データなどを適宜記憶する。本実施形態においては、記憶部４０は、操作対象画像の投影をオフにするためのオフ条件およびオンにするためのオン条件を記憶する条件記憶部として機能する。
【００３０】
電源回路４２は、バッテリ４１の出力を基に所定の動作電源電圧Ｖｃｃを生成して各回路部に供給する。時計回路（タイマ）４３は、現在の時刻や一定の時間を測定する。
【００３１】
振動センサ４６は、携帯端末１に与えられた振動を検出する振動検出部として機能する。本実施形態においては、振動センサ４６は、仮想キーボード画像１８に対するユーザの入力操作などに基づき、仮想キーボード画像１８の投影面（例えば机など）に与えられた振動を携帯端末１に与えられた振動として検出するものとする。
【００３２】
近接センサ４９は、仮想キーボード画像１８の近傍の物体の有無を検出する物体検出部として機能する。近接センサ４９は、例えばユーザが携帯端末１と対峙しているか、仮想キーボード画像１８に対して入力操作を行う手を待機させているかなどの、ユーザが仮想キーボード画像１８を利用する意図があるか否かを検出するためのセンサである。なお、仮想キーボード画像１８の近傍とは、例えば携帯端末１に対峙するユーザの身体や、仮想キーボード画像１８に対して入力操作は行わないものの入力が行えるよう待機しているユーザの手などが検出できる範囲をいう。
【００３３】
本実施形態においては、物体検出部として近接センサ４９を用いる例を説明する。しかし近接センサ４９に換えてカメラ１５を物体検出部として用いてもよい。カメラ１５を用いる場合には、所定内の範囲を撮像することにより画像を取得し、この画像の解析を行うことで、例えばユーザが手を待機しているか否かを判別することができる。
【００３４】
画像投影部１６は、例えばビーム光源と光学スキャナとそれらを駆動するための駆動制御部（いずれも図示せず）とで構成される。ビーム光源としては、ＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ、半導体レーザ）やＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、発光ダイオード）などを用いることができる。ビーム光源から出射されるビーム光の強度は、制御部３９から送られる制御データに基づいて駆動制御部により制御される。光学スキャナは、ビーム光源から出射されたビーム光を二次元的に走査しながら投影面（机など）に投射する光学装置である。光学スキャナによるビーム光の走査は、ビーム光源と同様に駆動制御部により駆動制御される。この光学スキャナとしては、例えば小型で高速走査が可能なガルバノミラーを用いたものを使用することができる。
【００３５】
駆動制御部は、画像データを記憶する画像メモリを有し、予め設定登録された投影対象の画像データや、制御部３９から制御データとともに送られてきた投影対象の画像データが記憶される。この画像メモリに記憶されている画像データに基づいて、ビーム光源および光学スキャナが駆動制御される。
【００３６】
なお、上述した画像投影部１６の構成は一例であって、例えば従来用いられている他の構成（例えば特開２００５−２４２７２５参照）を用いてもよい。
【００３７】
キー選択検出部４５は、ユーザの操作対象となる仮想キーボード画像１８（操作対象画像）上において選択された位置を検出する選択検出部として機能する。このキー選択検出部４５は、キー入力操作検出部４７とキー選択データ生成部４８とを備える。キー入力操作検出部４７は、カメラ１５で撮像されたユーザの手の操作状況から、二次元または三次元的な画像に基づき画像処理を実行し、仮想キーボード画像１８上のどのキーに対して入力操作が行われたかを検出する。キー選択データ生成部４８は、キー入力操作検出部４７で検出された入力操作に基づいて選択されたキーのデータを生成し、制御部３９に供給する。なお、キー選択検出部４５は、カメラ１５で撮像された操作状況のみならず、レーザ光の反射や超音波の反射を利用して指先やポインタ部材の位置を測定することによりキー選択を検知するように構成してもよい。
【００３８】
次に、本実施形態における携帯端末１により実行される仮想キーボード制御処理を説明する。まず、仮想キーボード制御処理を行うためにユーザにより任意に設定される条件の設定方法について説明する。この条件は、仮想キーボード画像１８の投影（表示）をオフおよびオフにするためのオフ条件およびオン条件である。ユーザにより設定されたオフ条件およびオン条件は、記憶部４０に記憶される。
【００３９】
図３は、仮想キーボード制御処理の条件設定を行う際の画面遷移図である。
【００４０】
携帯端末１は、ユーザ操作に基づいて設定メニュー５１を表示する指示を受け付けると、選択可能な各種条件を選択可能に表示する。選択可能な条件としては、例えば「検出無し判断時間」、「操作有無センサレベル」、「振動有無センサレベル」および「判断条件設定」がある。
【００４１】
携帯端末１は「検出無し判断時間」が選択されると、仮想キーボード画像１８の表示をオフにするため条件となる、仮想キーボード画像１８に対する入力操作、近接センサ４９および振動センサ４６の非検出時間を設定するための検出無し判断時間設定画面５２を表示する。ユーザにより検出無し判断時間が設定（確定）されると、携帯端末１は操作を終了し画面を待受け画面へ戻す。
【００４２】
携帯端末１は、「操作有無センサレベル」が選択されると、携帯端末１の仮想キーボード画像１８のオン・オフを制御する条件となる所定の動作を検出するセンサのレベルを設定する操作有無センサレベル設定画面５３を表示する。仮想キーボード画像１８近傍の物体の有無を検出する検出する近接センサ４９の検出レベルが設定される。ユーザにより操作有無センサレベルが設定されると、携帯端末１は操作を終了し画面を待受け画面へ戻す。
【００４３】
携帯端末１は、「振動有無センサレベル」が選択されると、携帯端末１に与えられた振動の有無を検出する振動センサ４６のレベルを設定する振動有無センサレベル設定画面５４を表示する。振動有無センサレベル設定画面５４では、例えばユーザが仮想キーボード画像１８に対して入力操作を行っているかを携帯端末１に与えられる振動の有無を用いて検出することにより、ユーザが仮想キーボード画像１８を利用する意図があるか否かを検出する振動センサ４６の検出レベルが設定される。ユーザにより振動有無センサレベルが設定されると、携帯端末１は操作を終了し画面を待受け画面へ戻す。
【００４４】
携帯端末１は、「判断条件設定」が選択されると、仮想キーボード画像１８の表示をオン・オフするために用いられる各種条件を設定する。携帯端末１は、まず仮想キーボード画像１８の表示を所定の条件下でオフ・オンにするか否かを設定する表示動作選択画面５５を表示する。携帯端末１は、表示動作選択画面５５において「表示ＯＦＦ判断条件」が選択されると、仮想キーボード画像１８の表示をオフにするために用いられるオフ条件を選択するための表示ＯＦＦ判断条件設定画面５６を表示する。表示ＯＦＦ判断条件設定画面５６では、例えば操作位置検出部としてのキー選択検出部４５による所定時間の仮想キーボード画像１８に対する入力操作の非検出（「入力操作無し判断」）、物体検出部としての近接センサ４９による所定時間の仮想キーボード画像１８近傍の物体の非検出（「操作有無判断」）、および振動検出部としての振動センサ４６の所定時間の携帯端末１に与えられる振動の非検出（「振動有無判断」）を、それぞれ仮想キーボード画像１８のオフ条件とするか否かが設定される。ユーザにより表示ＯＦＦ判断条件（オフ条件）が設定されると、携帯端末１は操作を終了し画面を待受け画面へ戻す。
【００４５】
携帯端末１は、表示動作選択画面５５において「表示ＯＮ判断条件」が選択されると、仮想キーボード画像１８の表示をオフから再度オンにするために用いられるオン条件を選択するための表示ＯＮ判断条件設定画面５７を表示する。表示ＯＮ判断条件設定画面５７では、例えば近接センサ４９による仮想キーボード画像１８近傍の物体の検出（「操作有無判断」）、または携帯端末１に与えられる振動の検出（「振動有無判断」）を仮想キーボード画像１８のオン条件とするか否かが設定される。ユーザにより表示ＯＮ判断条件（オン条件）が設定されると、携帯端末１は操作を終了し画面を待受け画面へ戻す。
【００４６】
次に、仮想キーボード制御処理の条件が設定された後に実行される、仮想キーボードをオフに移行させるための処理について説明する。
【００４７】
図４は、本実施形態における携帯端末１の制御部３９により実行される仮想キーボードオフ制御処理を説明するフローチャートである。
【００４８】
ステップＳ１において、制御部３９は、仮想キーボード画像１８が表示（投影）中であるか否かの判定を行う。制御部３９は、仮想キーボード画像１８が表示されていないと判定した場合、処理を終了する。
【００４９】
一方、制御部３９は仮想キーボード画像１８が表示されていると判定した場合、ステップＳ２において、表示ＯＦＦ判断条件設定画面５６において「入力操作無し判断」が仮想キーボード画像１８をオフにする条件として選択されているか否かの判定を行う。制御部３９は、「入力操作無し判断」が仮想キーボード画像１８をオフにする条件として選択されていないと判定した場合、ステップＳ４に進む。
【００５０】
一方、制御部３９は「入力操作無し判断」が仮想キーボード画像１８をオフにする条件として選択されていると判定した場合、ステップＳ３において、仮想キーボード画像１８が非検出である時間が、検出無し判断時間設定画面５２において設定された検出無し判断時間に到達（経過）したか否かの判定を行う。制御部３９は、例えば時計回路４５で計測された時間に基づいて検出無し判断時間に到達したか否かの判定を行う。制御部３９は検出無し判断時間に到達したと判定した場合、ステップＳ９に進む。
【００５１】
一方、制御部３９は検出無し判断時間に到達しないと判定した場合、ステップＳ４において、表示ＯＦＦ判断条件設定画面５６において「操作有無判断」が仮想キーボード画像１８をオフにする条件として選択されているか否かの判定を行う。制御部３９は、「操作有無判断」が仮想キーボード画像１８をオフにする条件として選択されていないと判定した場合、ステップＳ６に進む。
【００５２】
制御部３９は「操作有無判断」が仮想キーボード画像１８をオフにする条件として選択されていると判定した場合、ステップＳ５において、仮想キーボード画像１８近傍の物体が非検出である時間が、検出無し判断時間設定画面５２において設定された検出無し判断時間に到達（経過）したか否かの判定を行う。制御部３９は検出無し判断時間に到達したと判定した場合、ステップＳ９に進む。
【００５３】
一方、制御部３９は検出無し判断時間に到達しないと判定した場合、ステップＳ６において、表示ＯＦＦ判断条件設定画面５６において「振動有無判断」が仮想キーボード画像１８をオフにする条件として選択されているか否かの判定を行う。制御部３９は、「振動有無判断」が仮想キーボード画像１８をオフにする条件として選択されていないと判定した場合、ステップＳ８に進む。
【００５４】
制御部３９は「振動有無判断」が仮想キーボード画像１８をオフにする条件として選択されていると判定した場合、ステップＳ７において、携帯端末１に与えられた振動が非検出である時間が、検出無し判断時間設定画面５２において設定された検出無し判断時間に到達（経過）したか否かの判定を行う。制御部３９は検出無し判断時間に到達したと判定した場合、ステップＳ９に進む。
【００５５】
一方、制御部３９は検出無し判断時間に到達していないと判定した場合、ステップＳ８において、仮想キーボード画像１８の表示をオフにする操作がユーザにより行われたか否かを判定する。制御部３９は、表示をオフにする操作が行われておらずオン状態が維持されていると判定した場合、処理は選択有無判定ステップＳ２に戻り、仮想キーボード画像１８の表示がオフとなるまで処理を繰り返す。
【００５６】
制御部３９は、仮想キーボード画像１８の表示をオフにする操作が行われたと判定した場合およびステップＳ３、Ｓ５、Ｓ７の各ステップにおいて検出無し判断時間に到達したと判定された場合、ステップＳ９において、仮想キーボード画像１８の表示をオフにする。
【００５７】
以上で、図４の仮想キーボードオフ制御処理の説明を終了する。
【００５８】
次に、図４の仮想キーボードオフ制御処理においてオフとなった仮想キーボード画像１８の表示を、再度オンにするための処理を説明する。
【００５９】
図５は、本実施形態における携帯端末１の制御部３９により実行される仮想キーボードオン制御処理を説明するフローチャートである。この仮想キーボードオン制御処理は、例えば図４のステップＳ３、Ｓ５、Ｓ７の各ステップにおいて検出無し判断時間に到達したと判定されたことにより仮想キーボード画像１８の表示（投影）がオフに移行した場合にのみ適用してもよいし、ユーザ操作によりオフに移行した場合も含めて適用してもよい。
【００６０】
ステップＳ１１において、制御部３９は、仮想キーボード画像１８の表示が一時オフ中であるか否かの判定を行う。制御部３９は、仮想キーボード画像１８が表示中であると判定した場合、処理を終了する。
【００６１】
一方、制御部３９は仮想キーボード画像１８の表示が一時オフ中であると判定した場合、ステップＳ１２において、表示ＯＮ判断条件設定画面５７において「操作有無判断」が仮想キーボード画像１８をオンにする条件として選択されているか否かの判定を行う。制御部３９は、「操作有無判断」が仮想キーボード画像１８をオンにする条件として選択されていないと判定した場合、ステップＳ１４に進む。
【００６２】
一方、制御部３９は「操作有無判断」が仮想キーボード画像１８をオンにする条件として選択されていると判定した場合、ステップＳ１３において、近接センサ４９により仮想キーボード画像１８近傍の物体（仮想キーボード画像１８に対峙したユーザの手など）が検出されたか否かの判定を行う。制御部３９は検出されたと判定した場合、ステップＳ１７に進む。
【００６３】
一方、制御部３９は検出されていないと判定した場合、ステップＳ１４において、表示ＯＮ判断条件設定画面５７において「振動有無判断」が仮想キーボード画像１８をオンにする条件として選択されているか否かの判定を行う。制御部３９は、「振動有無判断」が仮想キーボード画像１８をオンにする条件として選択されていないと判定した場合、ステップＳ１６に進む。
【００６４】
制御部３９は「振動有無判断」が仮想キーボード画像１８をオンにする条件として選択されていると判定した場合、ステップＳ１５において、携帯端末１に与えられた振動が検出されたか否かの判定を行う。制御部３９は振動が検出されたと判定した場合、ステップＳ１７に進む。
【００６５】
一方、制御部３９は振動が検出されないと判定した場合、ステップＳ１６において、仮想キーボード画像１８の表示をオンにする操作がユーザにより行われたか否かを判定する。制御部３９は、表示をオンにする操作が行われておらずオフ状態が維持されていると判定した場合、処理は選択有無判定ステップＳ１２に戻り、仮想キーボード画像１８の表示がオンとなるまで処理を繰り返す。
【００６６】
制御部３９は、仮想キーボード画像１８の表示をオンにする操作が行われたと判定した場合およびステップＳ１３、Ｓ１５の各ステップにおいて検出があったと判定された場合、ステップＳ１６において、仮想キーボード画像１８の表示をオンにする。
【００６７】
以上で、図５の仮想キーボードオン制御処理の説明を終了する。
【００６８】
この携帯端末１によれば、仮想キーボード画像１８を用いて入力操作を行う場合であってもタイミングを自動的に判断して表示の制御を行うことで、無駄な消費電流を好適に抑制することができる。
【００６９】
また、携帯端末１は仮想キーボード画像１８の表示のオフ・オンを制御するための条件を複数の条件を用いて判断することにより、より正確にユーザの意図を判断することができる。
【００７０】
さらに、携帯端末１は仮想キーボード画像１８の表示のオン・オフを制御するための条件をユーザ任意で設定可能なようにしたため、より個々のユーザの意図に即した表示の制御を行うことができる。
【００７１】
本実施形態においては、仮想キーボード画像１８の投影（表示）をオフおよびオンに制御する例を説明した。しかし、仮想キーボード画像１８の投影の制御のみならず、仮想キーボード画像１８の制御と連動してタッチパネル１２（表示部１３、操作部１４）のオフ・オンや操作位置検出部としてのカメラ１５のオフ・オンを制御してもよい。
【００７２】
なお、本実施形態において、画像投影部１６により、仮想的なキー配列画像だけでなく、その他の画像を投影するようにしてもよい。例えば、ポインタ画像や各種ボタン画像、ゲーム上の入力ボタンを示す画像なども投影するようにしてもよい。
【００７３】
本発明に係る携帯端末は、携帯電話機、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、パーソナルコンピュータ、携帯型ゲーム機、携帯型音楽再生機、携帯型動画再生機などの各種携帯端末に適用することができる。
【００７４】
なお、本発明の実施形態において説明した一連の処理は、フローチャートで記載された順序に沿って時系列的に行われる処理例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【００７５】
１ 携帯端末
１０ 筐体
１２ タッチパネル
１３ 表示部
１４ 操作部
１５ カメラ
１６ 画像投影部
１８ 仮想キーボード画像
３９ 制御部
４３ 時計回路（タイマ）
４６ 振動センサ
４５ キー選択検出部
４７ キー入力操作検出部
４８ キー選択データ生成部
【特許請求の範囲】
【請求項１】
操作対象を仮想的に表現する操作対象画像を投影するための画像投影部と、
前記操作対象画像上において選択された位置を検出する選択検出部と、
前記操作位置検出部により検出された位置に対応するデータ処理を実行するデータ処理部と、
前記操作対象画像の投影をオフにするためのオフ条件を記憶する条件記憶部と、
前記オフ条件を満たす場合、前記画像投影部の投影をオフさせる制御部とを備えたことを特徴とする携帯端末。
【請求項２】
前記オフ条件は、前記操作位置検出部による所定時間の前記ユーザ操作位置の非検出である請求項１記載の携帯端末。
【請求項３】
前記携帯端末に与えられる振動を検出する振動検出部をさらに備え、
前記オフ条件は、前記振動検出部による所定時間の前記振動の非検出である請求項１記載の携帯端末。
【請求項４】
前記操作対象画像近傍の物体を検出する物体検出部をさらに備え、
前記オフ条件は、前記物体検出部による所定時間の前記物体の非検出である請求項１記載の携帯端末。
【請求項５】
前記条件記憶部は、前記操作画面の投影がオフにされた後に、再度オンにするためのオン条件をさらに記憶し
前記制御部は、前記オン条件を満たす場合、前記画像投影部の投影をオンさせる請求項１記載の携帯端末。
【請求項６】
前記携帯端末に与えられる振動を検出する振動検出部をさらに備え、
前記オン条件は、前記振動検出部による前記振動の検出である請求項５記載の携帯端末。
【請求項７】
前記操作対象画像近傍の物体を検出する物体検出部をさらに備え、
前記オン条件は、前記物体検出部による前記物体の検出である請求項５記載の携帯端末。
【請求項１】
操作対象を仮想的に表現する操作対象画像を投影するための画像投影部と、
前記操作対象画像上において選択された位置を検出する選択検出部と、
前記操作位置検出部により検出された位置に対応するデータ処理を実行するデータ処理部と、
前記操作対象画像の投影をオフにするためのオフ条件を記憶する条件記憶部と、
前記オフ条件を満たす場合、前記画像投影部の投影をオフさせる制御部とを備えたことを特徴とする携帯端末。
【請求項２】
前記オフ条件は、前記操作位置検出部による所定時間の前記ユーザ操作位置の非検出である請求項１記載の携帯端末。
【請求項３】
前記携帯端末に与えられる振動を検出する振動検出部をさらに備え、
前記オフ条件は、前記振動検出部による所定時間の前記振動の非検出である請求項１記載の携帯端末。
【請求項４】
前記操作対象画像近傍の物体を検出する物体検出部をさらに備え、
前記オフ条件は、前記物体検出部による所定時間の前記物体の非検出である請求項１記載の携帯端末。
【請求項５】
前記条件記憶部は、前記操作画面の投影がオフにされた後に、再度オンにするためのオン条件をさらに記憶し
前記制御部は、前記オン条件を満たす場合、前記画像投影部の投影をオンさせる請求項１記載の携帯端末。
【請求項６】
前記携帯端末に与えられる振動を検出する振動検出部をさらに備え、
前記オン条件は、前記振動検出部による前記振動の検出である請求項５記載の携帯端末。
【請求項７】
前記操作対象画像近傍の物体を検出する物体検出部をさらに備え、
前記オン条件は、前記物体検出部による前記物体の検出である請求項５記載の携帯端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−７０４１４（Ｐ２０１１−７０４１４Ａ）
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２００９−２２１１４４（Ｐ２００９−２２１１４４）
【出願日】平成２１年９月２５日（２００９．９．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＧＳＭ
【出願人】（３１００２２３７２）富士通東芝モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年９月２５日（２００９．９．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＧＳＭ
【出願人】（３１００２２３７２）富士通東芝モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
[ Back to top ]