説明

電子機器、電子機器の制御方法および電子機器の制御プログラム

【課題】2つの表示装置を備えた電子機器の操作性を向上させる。
【解決手段】電子機器は、「マウスモード」と「タブレットモード」との2つの動作モードで動作が可能である。マウスモードでは、表示一体型タブレットからなる液晶パネル240への入力に応じてプログラムが実行されることによって作成されるプログラムの動作画面がメイン画面に表示される。タブレットモードでは、液晶パネル240への入力に応じてプログラムが実行されることによって生成されたプログラムの動作画面が液晶パネル240に表示される。「本」というサブアプリケーションでは、それまでにブックビューアで閲覧するように選択された電子ブックの履歴情報が記憶され、液晶パネル240に、当該履歴情報に応じた順序で、各電子書籍のソフトキーが表示される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、電子機器の制御方法および電子機器の制御プログラムに関する。特に、本発明は、2つの表示装置を有する電子機器、その制御方法および制御プログラムに関する。
【背景技術】
【0002】
現在、パーソナルコンピュータや携帯情報端末などの電子機器が、広く普及している。また、最近では、2つの表示装置を有する電子機器が普及しつつある。
【0003】
例えば、特許文献1(特開2000−172395号公報)に開示されている携帯情報端末は、2つの画面を有し、コンテンツを2つの画面のうち一方の画面に表示する。また、この携帯情報端末は、コンテンツのメニューバーやスライドバーを他方の画面に表示する。
【0004】
特許文献2(特開2001−306291号公報)には、主表示装置と補助表示装置とを備える情報処理装置が開示されている。この情報処理装置は、通常時には、コンテンツおよびコンテンツの付加情報の両方を主表示装置に表示する。情報処理装置は、コンテンツをフル画面表示するとき、付加情報をサブ画面に表示させる。
【0005】
特許文献3(特開2003−202948号公報)に開示されている電子装置は、主表示部と補助表示部とを有し、電子装置の通信の接続ステータスを補助表示部に表示する。
【0006】
特許文献4(特開2003−216297号公報)に開示されている電子装置も、特許文献3に記載の電子装置と同様、主表示部と補助表示部とを有する。この電子装置は、文字によるメッセージと、シンボルと、補助表示部の表示色および/または点滅表示との組み合わせにより、電子装置の状態情報を補助表示部に表示する。
【0007】
特許文献5(特開2004−5105号公報)に開示されている情報処理装置は、メインディスプレイ、メインディスプレイのコントローラ、表示一体型のポインティングデバイス、および、ポインティングデバイス専用のコントローラを備える。この情報処理装置は、OS(Operating System)の起動前に、ポインティングデバイスによってBIOS(Basic Input/Output System)などのシステム設定を行なえる。
【0008】
特許文献6(特開2004−5212号公報)にも、特許文献5に記載の情報処理装置と同様に、メインディスプレイ、メインディスプレイのコントローラ、表示一体型のポインティングデバイス、および、ポインティングデバイス専用のコントローラを備える情報処理装置が開示されている。特許文献6に開示されている情報処理装置は、誤操作の防止のために、ポインティングデバイスの表示画面が切り替わった際に、ポインティングデバイスの表示画面をメインディスプレイに表示する。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2000−172395号公報
【特許文献2】特開2001−306291号公報
【特許文献3】特開2003−202948号公報
【特許文献4】特開2003−216297号公報
【特許文献5】特開2004−5105号公報
【特許文献6】特開2004−5212号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
上記したような電子機器では、ユーザは、サブディスプレイを、従来の多くのノートパソコンに備えられているタッチパッドと同様に使うことができる。つまり、このような電子機器では、サブディスプレイへの入力が、メインディスプレイに表示されるカーソルの位置を移動させたり、クリックやドラッグなどによりアプリケーションに指示を与えるための情報として処理される。
【0011】
ところで、携帯情報端末において、近年、サブディスプレイにアプリケーションの操作画面を表示し、そして、サブディスプレイに入力を行なうことで、当該アプリケーションを操作することができるようになってきている。つまり、サブディスプレイへの入力が、当該サブディスプレイに表示されるアプリケーションの操作画面への入力として処理される。
【0012】
なお、従来の携帯情報端末では、サブディスプレイへの入力の処理方法を上記2つの処理方法の間で切り替えようとした場合、電子機器をどのように制御すべきかについての詳細な考慮がなされていない。
【0013】
したがって、従来の技術を単純に利用した電子機器では、処理方法の切り替え時に、操作性の低下を招く可能性がある。
【0014】
本発明は、かかる実情に鑑み考え出されたものであり、その目的は、2つの表示装置を備えた電子機器の操作性を向上させることである。
【課題を解決するための手段】
【0015】
本発明に従った電子機器は、第1の表示手段と、第2の表示手段と、記憶手段と、第1および第2の表示装置の表示態様を制御する制御手段とを備え、第2の表示手段は、外部からの入力を受け付け可能な表示一体型のタブレットであり、制御手段は、タブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示手段に表示させる第1のモードと、タブレットに対する入力に応じて実行した処理によって作成した画面を第2の表示手段に表示させる第2のモードとで、動作が可能であり、第2のモードから第1のモードに動作するモードを切り替える場合には、第2のモードにおける動作の内容を特定する情報である動作情報を記憶手段に記憶し、第1のモードから第2のモードに動作するモードを切り替える場合には、記憶手段に記憶された動作情報に応じた情報を第2の表示手段に表示させる。
【0016】
また、本発明の電子機器では、制御手段は、第1のモードから第2のモードに動作するモードを切り替える場合に、記憶手段に記憶された動作情報に応じた情報として、ソフトキーの配列を含む画面を第2の表示手段に表示させる。
【0017】
また、本発明の電子機器では、第2のモードでは、コンテンツの選択が可能であり、記憶手段は、動作情報として、第2のモードにおいてコンテンツが選択された履歴に関する情報を記憶し、ソフトキーは、記憶手段に記憶されたコンテンツが選択された履歴に関する情報に対応して配列された、コンテンツを選択するためのソフトキーである。
【0018】
また、本発明の電子機器では、記憶手段は、第2のモードにおいて選択可能なコンテンツを特定する情報を、その名称に従った順序で記憶し、制御手段は、ソフトキーを、コンテンツが選択された履歴に関する情報に対応して配列するか、名称に従った順序で配列するかを選択する情報の入力を受付ける。
【0019】
本発明に従った電子機器の制御方法は、第1の表示手段と、外部からの入力を受け付け可能な表示一体型のタブレットからなる第2の表示手段と、操作手段と、第1および第2の表示装置の表示態様を制御する制御手段とを備える電子機器の制御方法であって、タブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示手段に表示させる第1のモードで動作するステップと、タブレットに対する入力に応じて実行した処理によって作成した画面を第2の表示手段に表示させる第2のモードで動作するステップと、第2のモードから第1のモードに動作するモードを切り替えるときに、第2のモードにおける動作の内容を特定する情報である動作情報を記憶手段に記憶するステップと、第1のモードから第2のモードに動作するモードを切り替えるときに、記憶手段に記憶された動作情報に応じた情報を第2の表示手段に表示させるステップとを備える。
【0020】
本発明に従った電子機器の制御プログラムは、第1の表示手段と、外部からの入力を受け付け可能な表示一体型のタブレットからなる第2の表示手段と、操作手段と、第1および第2の表示装置の表示態様を制御する制御手段とを備える電子機器において実行される、コンピュータ読取可能な制御プログラムであって、電子機器に、タブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示手段に表示させる第1のモードで動作するステップと、タブレットに対する入力に応じて実行した処理によって作成した画面を第2の表示手段に表示させる第2のモードで動作するステップと、第2のモードから第1のモードに動作するモードを切り替えるときに、第2のモードにおける動作の内容を特定する情報である動作情報を記憶手段に記憶するステップと、第1のモードから第2のモードに動作するモードを切り替えるときに、記憶手段に記憶された動作情報に応じた情報を第2の表示手段に表示させるステップとを実行させる。
【発明の効果】
【0021】
本発明によれば、第1および第2の表示手段を備え、その中の1つである第2の表示手段が外部からの入力を受け付け可能な表示一体型のタブレットである電子機器において、当該電子機器は、2つの動作モード、つまり、当該タブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示手段に表示させる第1のモードと、当該タブレットに対する入力に応じて実行した処理によって作成した画面を第2の表示手段に表示させる第2のモードとで、動作が可能である。そして、当該電子機器では、第2のモードから第1のモードに動作するモードを切り替える場合には、第2のモードにおける動作の内容を特定する情報である動作情報が記憶手段に記憶され、また、第1のモードから第2のモードに動作するモードが切り替えられる場合には、記憶手段に記憶された動作情報に応じた情報が第2の表示手段に表示される。
【0022】
これにより、ユーザは、2つの表示装置(第1および第2の表示手段)を備えた電子機器を第1のモードと第2のモードの双方で使用可能であり、かつ、これらのモードの中の一方のモードから他方のモードに動作モードを変更させた場合、第2の表示手段において、当該他方のモードにおける動作の内容を特定する情報に基づいた表示を見ることができる。
【0023】
したがって、電子機器において、2つの表示装置の利用態様が異なる複数のモードの間で動作モードが切り替えられた場合に、当該切替後のモードについて、それまでの当該切替後のモードにおいて実行されてきた動作内容を第2の表示手段に反映させることができ、2つの表示装置を備えた電子機器の操作性を向上させることができる。
【図面の簡単な説明】
【0024】
【図1】電子機器の外観を示す概略図である。
【図2】電子機器のハードウェア構成を表わすブロック図である。
【図3】液晶パネルの構成と当該液晶パネルの周辺回路とを示した図である。
【図4】液晶パネルとバックライトとの断面図である。
【図5】光センサ回路を動作させる際のタイミングチャートを示した図である。
【図6】スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した断面図である。
【図7】コマンドの概略構成を示した図である。
【図8】種別「000」のコマンドを説明するための図である。
【図9】種別「001」のコマンドを説明するための図である。
【図10】種別「010」のコマンドを説明するための図である。
【図11】種別「011」のコマンドを説明するための図である。
【図12】種別「100」のコマンドを説明するための図である。
【図13】種別「101」のコマンドを説明するための図である。
【図14】応答データの概略構成を示した図である。
【図15】指をスキャンすることにより得られた画像(スキャン画像)を示した図である。
【図16】図3に示したものと異なる光センサ内蔵液晶パネルの回路図である。
【図17】スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。
【図18】電子機器の変形例のハードウェア構成を表すブロック図である。
【図19】電子機器の第3の変形例の外観を示す概略図である。
【図20】図19の電子機器のハードウェア構成を表わすブロック図である。
【図21】電子機器の機能的構成をブロック図形式で示す図である。
【図22】マウスモードおよびタブレットモードのそれぞれにおいて電子機器が表示する画面を説明するための図である。
【図23】マウス画面の具体例を示す図である。
【図24】ホームメニュー画面の具体例を示す図である。
【図25】タブレットモードにおいて液晶パネルに表示される画面の遷移図である。
【図26】マウスモードとタブレットモードとの切り替え時の電子機器の動作について説明するための図である。
【図27】通常起動時の動作モードを模式的に示した図である。
【図28】復帰時の動作モードを模式的に示した図である。
【図29】タブレットモード時の電子機器の動作について説明するための図である。
【図30】文字入力画面の一例を示す図である。
【図31】手書き文字入力パッド利用時の電子機器の動作を説明するための第1の図である。
【図32】手書き文字入力パッド利用時の電子機器の動作を説明するための第2の図である。
【図33】テキストボックスが一杯のときの電子機器の動作を説明するための図である。
【図34】イラスト入力画面の一例を示す図である。
【図35】電卓画面の一例を示す図である。
【図36】インターネット画面の一例を示す図である。
【図37】スクロールバーを含むインターネット画面の一例を示す図である。
【図38】辞書選択画面の一例を示す図である。
【図39】スクロールバーを含む辞書選択画面の一例を示す図である。
【図40】電子機器が行なう処理の流れをフローチャート形式で示す図である。
【図41】マウスモード動作の処理の流れをフローチャート形式で示す図である。
【図42】タブレットモード動作の処理の流れをフローチャート形式で示す図である。
【図43】モード切替(マウスモードからタブレットモード)動作の処理の流れをフローチャート形式で示す図である。
【図44】モード切替(タブレットモードからマウスモード)動作の第1の処理の流れをフローチャート形式で示す図である。
【図45】電子機器の、サブアプリケーション「本」の実行中の状態を説明するための図である。
【図46】図21のブロック図の変形例を示す図である。
【図47】電子機器の、サブアプリケーション「本」の実行中の状態を説明するための図である。
【発明を実施するための形態】
【0025】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【0026】
<電子機器の外観>
図1は、本実施の形態に係る電子機器100の外観を示した図である。図1を参照して、電子機器100は、第1の筐体100Aと第2の筐体100Bとを含む。
【0027】
第1の筐体100Aと第2の筐体100Bとは、ヒンジ100Cにより折畳み可能に接続されている。第1の筐体100Aは、光センサ内蔵液晶パネル140を備える。第2の筐体100Bは、光センサ内蔵液晶パネル240を備える。このように、電子機器100は、光センサ内蔵液晶パネルを2つ備える。
【0028】
なお、電子機器100は、PDA(Personal Digital Assistant)、ノート型のパーソナルコンピュータ、携帯型電話機、電子辞書などの表示機能を有する携帯型デバイスとして構成される。
【0029】
<ハードウェア構成について>
次に、図2を参照して、電子機器100の具体的構成の一態様について説明する。図2は、電子機器100のハードウェア構成を表わすブロック図である。
【0030】
電子機器100は、第1ユニット1001と、第2ユニット1002とを含む。第2ユニット1002は、電子機器100から着脱可能に第1ユニット1001に接続されている。第1ユニット1001は、本体装置101と、表示装置102とを含む。第2ユニット1002は、表示装置103と、本体装置104とを含む。
【0031】
第1の筐体100Aは、表示装置102を含む。第2の筐体100Bは、本体装置101を含む。また、第2の筐体100Bは、第2ユニット1002を含む。
【0032】
(第1ユニットについて)
本体装置101は、CPU(Central Processing Unit)110と、RAM(Random Access Memory)171と、ROM(Read-Only Memory)172と、メモリカードリーダライタ173と、外部通信部174と、マイク175と、スピーカ176と、操作キー177と、電源スイッチ191と、電源回路192と、電源検出部193と、USB(Universal Serial Bus)コネクタ194と、アンテナ195と、LAN(Local Area Network)コネクタ196とを含む。各構成要素(110,171〜177,193)は、相互にデータバスDB1によって接続されている。メモリカードリーダライタ173には、メモリカード1731が装着される。
【0033】
CPU110は、プログラムを実行する。操作キー177は、電子機器100の使用者による指示の入力を受ける。RAM171は、CPU110によるプログラムの実行により生成されたデータ、または操作キー177を介して入力されたデータを揮発的に格納する。ROM172は、データを不揮発的に格納する。また、ROM172は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどのデータの書込みおよび消去が可能なROMである。
【0034】
外部通信部174は、他の電子機器と通信を行なう。具体的には、外部通信部174は、USBコネクタ194を介して、たとえば第2ユニット1002と通信を行なう。また、外部通信部174は、アンテナ195を介して、たとえば第2ユニット1002と無線通信を行なう。さらに、外部通信部174は、LANコネクタ196を介して、他の電子機器との間で有線通信を行なう。
【0035】
なお、本体装置101は、Bluetooth(登録商標)以外の無線通信により、他の電子機器と通信を行なってもよい。たとえば、外部通信部174は、図示しない無線LANアンテナを介して、LANに接続された他の電子機器との間で無線通信を行なってもよい。あるいは、図示しない赤外線ポートを介して、他の電子機器との間で無線通信を行なってもよい。
【0036】
電源スイッチ191は、電子機器100を起動させるためのスイッチである。
電源スイッチ191がオンすると、電源回路192は、電源検出部193を介して、データバスDB1に接続されている各構成要素と表示装置102とに電力を供給する。また、電源スイッチ191がオンすると、電源回路192は、電源検出部193を介することなく、外部通信部174に電力を供給する。
【0037】
電源検出部193は、電源回路192からの出力を検出する。また、電源検出部193は、当該検出した出力に関する情報(たとえば、電圧値や電流値)を、CPU110に送る。
【0038】
USBコネクタ194は、第1ユニット1001を第2ユニット1002に接続するために用いられる。なお、本体装置101は、USBコネクタ194に加えて他のUSBコネクタを備えていてもよい。
【0039】
第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002にデータを送信する。また、第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002からデータを受信する。さらに、第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002に電力を供給する。
【0040】
アンテナ195は、第1ユニット1001と、他の通信装置(たとえば第2ユニット1002)との間における、Bluetooth(登録商標)の規格に沿った通信に用いられる。LANコネクタ196は、電子機器100をLANに接続するために用いられる。
【0041】
表示装置102は、ドライバ130と、光センサ内蔵液晶パネル140(以下、液晶パネル140と称する)と、内部IF178と、バックライト179と、画像処理エンジン180とを含む。
【0042】
ドライバ130は、液晶パネル140およびバックライト179を駆動するための駆動回路である。ドライバ130に含まれる各種の駆動回路については、後述する。
【0043】
液晶パネル140は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル140は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル140の詳細については、後述する。
【0044】
内部IF(Interface)178は、本体装置101と表示装置102との間で、データの遣り取りを仲介する。
【0045】
バックライト179は、液晶パネル140の裏面に配置された光源である。バックライト179は、当該裏面に対して均一な光を照射する。
【0046】
画像処理エンジン180は、ドライバ130を介して液晶パネル140の動作を制御する。ここで、当該制御は、内部IF178を介して本体装置101から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン180は、液晶パネル140から出力されるデータを処理し、処理したデータを内部IF178を介して本体装置101に送る。さらに、画像処理エンジン180は、ドライバ制御部181と、タイマ182と、信号処理部183とを含む。
【0047】
ドライバ制御部181は、ドライバ130に対して制御信号を送ることによりドライバ130の動作を制御する。また、ドライバ制御部181は、本体装置101から送られてくるコマンドを解析する。そして、ドライバ制御部181は、当該解析の結果に基づいた制御信号をドライバ130に送る。ドライバ130の動作の詳細については、後述する。
【0048】
タイマ182は、時刻情報を生成し、信号処理部183に対して時刻情報を送る。
信号処理部183は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部183は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部183は、当該デジタルデータに対して、本体装置101から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部183は、上記データ処理を行った後のデータと、タイマ182から取得した時刻情報とを含んだデータ(以下、応答データと称する)を本体装置101に送る。また、信号処理部183は、後述するスキャンデータを連続して複数格納できるRAM(図示せず)を備えている。
【0049】
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する(図7,図8,および図14)。
【0050】
なお、タイマ182は、必ずしも画像処理エンジン180に備えられている必要はない。たとえば、タイマ182は、表示装置102内における、画像処理エンジン180の外部に備えられていてもよい。あるいは、タイマ182は、本体装置101に備えられていてもよい。また、マイク175およびスピーカ176は、電子機器100が常に備える構成ではなく、電子機器100の実施例によっては、マイク175およびスピーカ176のいずれかあるいは両方を有さない構成であってもよい。
【0051】
ここで、表示装置102は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル140の周辺機器を当該液晶パネル140のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、液晶パネル140のガラス基板上に一体形成されている。なお、表示装置102が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、上記ガラス基板以外の基板に構成されていてもよい。
【0052】
(第2ユニットについて)
第2ユニット1002は、第1ユニット1001から電力の供給を受ける。具体的には、後述するUSBコネクタ294と第1ユニット1001のUSBコネクタ194とを接続することにより、第2ユニット1002は、第1ユニット1001の電源回路192から電力の供給を受ける。
【0053】
本体装置104は、CPU210と、RAM271と、ROM272と、外部通信部274と、電源検出部293と、USBコネクタ294と、アンテナ295と、信号強度検出部297とを含む。各構成要素(210,271,272,274,293)は、相互にデータバスDB2によって接続されている。
【0054】
CPU210は、プログラムを実行する。RAM271は、CPU210によるプログラムの実行により生成されたデータを揮発的に格納する。ROM272は、データを不揮発的に格納する。また、ROM272は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどのデータの書込みおよび消去が可能なROMである。
【0055】
外部通信部274は、他の電子機器との間で通信を行なう。具体的には、外部通信部274は、USBコネクタ294を介して、たとえば第1ユニット1001と通信を行なう。また、外部通信部274は、アンテナ295を介して、たとえば第1ユニット1001と通信を行なう。
【0056】
なお、本体装置104は、Bluetooth(登録商標)以外の無線通信により、他の電子機器(たとえば、第1ユニット1001)と通信を行なってもよい。たとえば、外部通信部274は、図示しない赤外線ポートを介して、他の電子機器との間で無線通信を行なってもよい。
【0057】
信号強度検出部297は、アンテナ295を介して受信した信号についての強度を検出する。そして、信号強度検出部297は、検出した強度を外部通信部274に送る。
【0058】
USBコネクタ294は、第2ユニット1002を第1ユニット1001に接続するために用いられる。
【0059】
第2ユニット1002は、USBコネクタ294を介して、第1ユニット1001にデータを送信する。また、第2ユニット1002は、USBコネクタ294を介して、第1ユニット1001からデータを受信する。さらに、第2ユニット1002は、上述したように、USBコネクタ294を介して、第1ユニット1001から電力の供給を受ける。なお、第2ユニット1002は、第1ユニット1001から供給された電力を、図示しないバッテリに蓄電する。
【0060】
アンテナ295は、第2ユニット1002と、たとえば第1ユニット1001との間における、Bluetooth(登録商標)の規格に沿った通信に用いられる。
【0061】
電源検出部293は、USBコネクタ294を介して給電された電力を検出する。また、電源検出部293は、当該検出した電力についての情報を、CPU210に送る。
【0062】
また、本体装置104は、赤外線通信を行なう機能を備えていてもよい。
表示装置103は、ドライバ230と、光センサ内蔵液晶パネル240(以下、「液晶パネル240」と称する)と、内部IF278と、バックライト279と、画像処理エンジン280とを含む。画像処理エンジン280は、ドライバ制御部281と、タイマ282と、信号処理部283とを含む。
【0063】
表示装置103は、表示装置102と同様な構成を有する。つまり、ドライバ230、液晶パネル240、内部IF278、バックライト279、および画像処理エンジン280は、表示装置102における、ドライバ130、液晶パネル140、内部IF178、バックライト179、画像処理エンジン180と同じ構成をそれぞれ有する。ドライバ制御部281、タイマ282、および信号処理部283は、表示装置102における、ドライバ制御部181、タイマ182、信号処理部183と同じ構成をそれぞれ有する。したがって、表示装置103に含まれる各機能ブロックについての説明は、繰り返さない。
【0064】
ところで、電子機器100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM172に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1731その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ173その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部174または通信IF(図示せず)を介してダウンロードされた後、ROM172に一旦格納される。そのソフトウェアは、CPU110によってROM172から読み出され、RAM171に実行可能なプログラムの形式で格納される。CPU110は、そのプログラムを実行する。
【0065】
図2に示される電子機器100の本体装置101を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM171、ROM172、メモリカード1731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器100の本体装置101のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0066】
なお、記憶媒体としては、メモリカードに限られず、CD−ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【0067】
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【0068】
<光センサ内蔵液晶パネルの構成および駆動について>
次に、液晶パネル140の構成と、当該液晶パネル140の周辺回路の構成とについて説明する。図3は、液晶パネル140の構成と、当該液晶パネル140の周辺回路とを示した図である。
【0069】
図3を参照して、液晶パネル140は、画素回路141と、光センサ回路144と、走査信号線Giと、データ信号線SRjと、データ信号線SGjと、データ信号線SBjと、センサ信号線SSjと、センサ信号線SDjと、読出信号線RWiと、リセット信号線RSiとを含む。なお、iは、1≦i≦mを満たす自然数であり、jは1≦j≦nを満たす自然数である。
【0070】
また、図2に示した表示装置102のドライバ130は、液晶パネル140の周辺回路として、走査信号線駆動回路131と、データ信号線駆動回路132と、光センサ駆動回路133と、スイッチ134と、アンプ135とを含む。
【0071】
走査信号線駆動回路131は、図2に示すドライバ制御部181から制御信号TC1を受ける。そして、走査信号線駆動回路131は、制御信号TC1に基づき、各走査信号線(G1〜Gm)に対して、走査信号線G1から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路131は、単位時間毎に走査信号線(G1〜Gm)の中から1つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するTFT(Thin Film Transistor)142のゲートをターンオンできるだけの電圧(以下、ハイレベル電圧)を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【0072】
データ信号線駆動回路132は、図2に示すドライバ制御部181から画像データ(DR,DG,DB)を受ける。そして、データ信号線駆動回路132は、3n個のデータ信号線(SR1〜SRn,SG1〜SGn,SB1〜SBn)に対して、上記単位時間毎に、1行分の画像データに対応する電圧を順次印加する。
【0073】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【0074】
画素回路141は、1つの画素の輝度(透過率)を設定するための回路である。また、画素回路141は、マトリクス状にm×n個配されている。より詳しくは、画素回路141は、図3の縦方向にm個、横方向にn個配されている。
【0075】
画素回路141は、Rサブピクセル回路141rと、Gサブピクセル回路141gと、Bサブピクセル回路141bとからなる。これら3つの回路(141r,141g,141b)は、それぞれ、TFT142と、画素電極と対向電極とからなる1組の電極対143と、図示しないコンデンサとを含む。
【0076】
なお、n型のトランジスタとp型のトランジスタとを作れるCMOS(Complementary Metal Oxide Semiconductor)を実現できること、キャリア(電子または正孔)の移動速度がアモルファスシリコン薄膜トランジスタ(a-Si TFT)に比べて数百倍早いことなどから、表示装置102では、TFT142として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、TFT142は、n型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT142がp型チャネルの電界効果トランジスタであってもよい。
【0077】
Rサブピクセル回路141r内のTFT142のソースはデータ信号線SRjに接続されている。また、当該TFT142のゲートは走査信号線Giに接続されている。さらに、当該TFT142のドレインは、電極対143の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Gサブピクセル回路141gおよびBサブピクセル回路141bについても、各TFT142のソースが接続されるデータ信号線が異なる以外は、Rサブピクセル回路141rと同じ構成である。このため、これら2つの回路(141g,141b)についての説明は、繰り返さない。
【0078】
ここで、画素回路141における輝度の設定について説明する。まず、走査信号線Giに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、TFT142のゲートがターンオンする。このようにTFT142のゲートがターンオンした状態で、各データ信号線(SRj,SGj,SBj)に対して、それぞれ指定された電圧(1画素分の画像データに対応する電圧)を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ(補助容量)によって、次のフレーム期間において走査信号線Giが選択されるまで保持される。
【0079】
光センサ駆動回路133は、図2に示すドライバ制御部181から制御信号TC2を受ける。
【0080】
そして、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎にリセット信号線(RS1〜RSm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDRを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧VSSRを印加したままとする。たとえば、電圧VDDRを0Vに、電圧VSSRを−5Vに設定すればよい。
【0081】
また、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎に読出信号線(RW1〜RWm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDを印加する。なお、選択されていない読出信号線に対しては、上記電圧VSSRを印加したままとする。たとえば、VDDの値を8Vに設定すればよい。
【0082】
なお、電圧VDDRを印加するタイミング、および電圧VDDを印加するタイミングについては、後述する。
【0083】
光センサ回路144は、フォトダイオード145と、コンデンサ146と、TFT147とを含む。なお、以下では、TFT147がn型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT147がp型チャネルの電界効果トランジスタであってもよい。
【0084】
フォトダイオード145のアノードは、リセット信号線RSiに接続されている。一方、フォトダイオード145のカソードは、コンデンサ146の一方の電極に接続されている。また、コンデンサ146の他方の電極は、読出信号線RWiに接続されている。なお、以下では、フォトダイオード145とコンデンサ146との接続点をノードNと称する。
【0085】
TFT147のゲートは、ノードNに接続されている。また、TFT147のドレインは、センサ信号線SDjに接続されている。さらに、TFT147のソースは、センサ信号線SSjに接続されている。光センサ回路144を用いたセンシングの詳細については、後述する。
【0086】
スイッチ134は、センサ信号線(SD1〜SDn)に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ134の切り換え動作は、光センサ駆動回路133により行われる。なお、スイッチ134が導通状態となった場合にセンサ信号線(SD1〜SDn)に印加される電圧については、後述する。
【0087】
アンプ135は、各センサ信号線(SS1〜SSn)から出力された電圧を増幅する。なお、増幅された電圧は、図2に示した信号処理部183に送られる。
【0088】
なお、画素回路141を用いて画像を液晶パネル140に表示させるタイミングと、光センサ回路144を用いてセンシングするタイミングとについては、画像処理エンジン180が制御する。
【0089】
図4は、液晶パネル140とバックライト179との断面図である。図4を参照して、液晶パネル140は、アクティブマトリクス基板151Aと、対向基板151Bと、液晶層152とを含む。対向基板151Bは、アクティブマトリクス基板151Aに対向して配されている。液晶層152は、アクティブマトリクス基板151Aと対向基板151Bとに挟まれている。バックライト179は、アクティブマトリクス基板151Aに関し液晶層152と反対側に配されている。
【0090】
アクティブマトリクス基板151Aは、偏光フィルタ161と、ガラス基板162と、電極対143を構成する画素電極143aと、フォトダイオード145と、データ信号線157と、配向膜164とを含む。さらに、図4には示していないが、アクティブマトリクス基板151Aは、図3に示した、コンデンサ146と、TFT147と、TFT142と、走査信号線Giとを含む。
【0091】
また、アクティブマトリクス基板151Aにおいては、バックライト179側から、偏光フィルタ161、ガラス基板162、画素電極143a、および配向膜164が、この順に配されている。フォトダイオード145とデータ信号線157とは、ガラス基板162の液晶層152側に形成されている。
【0092】
対向基板151Bは、偏光フィルタ161と、ガラス基板162と、遮光膜163と、カラーフィルタ(153r,153g,153b)と、電極対143を構成する対向電極143bと、配向膜164とを含む。
【0093】
また、対向基板151Bにおいては、液晶層152側から、配向膜164、対向電極143b、カラーフィルタ(153r,153g,153b)、ガラス基板162、および偏光フィルタ161が、この順に配されている。遮光膜163は、カラーフィルタ(153r,153g,153b)と同一の層に形成されている。
【0094】
カラーフィルタ153rは、赤色の波長の光を透過させるフィルタである。カラーフィルタ153gは、緑色の波長の光を透過させるフィルタである。カラーフィルタ153bは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード145は、カラーフィルタ153bに対向する位置に配されている。
【0095】
液晶パネル140は、外光やバックライト179などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル140は、画素電極143aと対向電極143bとの間に電圧を印加することにより液晶層152の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ161を配置している。
【0096】
なお、フォトダイオード145の位置は、上記の位置に限定されるものではなく、カラーフィルタ153rに対向する位置やカラーフィルタ153gに対向する位置に設けることも可能である。
【0097】
ここで、光センサ回路144の動作について説明する。図5は、光センサ回路144を動作させる際のタイミングチャートを示した図である。図5において、電圧VINTは、光センサ回路144内のノードNにおける電位を示している。また、電圧VPIXは、図3に示したセンサ信号線SSjからの出力電圧であって、アンプ135によって増幅される前の電圧を示している。
【0098】
以下では、光センサ回路144をリセットするためのリセット期間と、光センサ回路144を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【0099】
まず、リセット期間について説明する。リセット期間においては、リセット信号線RSiに印加する電圧を、ローレベル(電圧VSSR)からハイレベル(電圧VDDR)へと瞬間的に切り換える。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。このように、リセット信号線RSiに上記ハイレベルの電圧を印加することにより、フォトダイオード145の順方向(アノード側からカソード側)に電流が流れ始める。その結果、ノードNの電位である電圧VINTは、以下の式(1)で示す値となる。なお、式(1)では、フォトダイオード145における順方向の電圧降下量をVfとしている。
【0100】
VINT=VSSR+|VDDR−VSSR|−Vf … (1)
それゆえ、ノードNの電位は、図5に示すとおり、電圧VDDRよりもVfだけ小さな値となる。
【0101】
ここで、電圧VINTは、TFT147のゲートをターンオンさせる閾値以下であるため、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。また、コンデンサ146の電極間には、上記電圧VINT分の差が生じる。このため、コンデンサ146には、当該差に応じた電荷が蓄積される。
【0102】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線RSiに印加する電圧は、ハイレベル(電圧VDDR)からローレベル(電圧VSSR)へと瞬間的に切り換わる。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。
【0103】
このように、リセット信号線RSiに印加する電圧をローレベルに変化させることにより、ノードNの電位は、リセット信号線RSiの電圧および読出信号線RWiの電圧よりも高くなる。このため、フォトダイオード145においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード145は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード145が受光すると、フォトダイオード145のカソード側からアノード側へと電流が流れ始める。その結果、図5に示すとおり、ノードNの電位(つまり、電圧VINT)は時間の経過とともに低くなる。
【0104】
なお、このように電圧VINTが低下し続けるため、TFT147のゲートはターンオンした状態にはならない。それゆえ、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。
【0105】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線RSiに印加する電圧をローレベル(電圧VSSR)のままとする。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)からハイレベル(電圧VDD)へと瞬間的に切り換わる。ここで、電圧VDDは、電圧VDDRよりも高い値である。
【0106】
このように、読出信号線RWiにハイレベルの電圧を瞬間的に印加することにより、図5に示すとおり、コンデンサ146を介してノードNの電位が引き上げられる。なお、ノードNの電位の上昇幅は、読出信号線RWiに印加する電圧に応じた値となる。ここで、ノードNの電位(つまり、電圧VINT)が、TFT147のゲートをターンオンさせる閾値以上まで引き上げられるため、TFT147のゲートがターンオンする。
【0107】
この際、TFT147のドレイン側に接続されたセンサ信号線SDj(図3参照)に予め一定電圧を印加しておけば、TFT147のソース側に接続されたセンサ信号線SSjからは、図5のVPIXのグラフに示すとおり、ノードNの電位に応じた電圧が出力される。
【0108】
ここで、フォトダイオード145が受光する光の量(以下、受光量と称する)が少ないと、図5のVINTのグラフに示す直線の傾きが緩やかになる。その結果、電圧VPIXは、受光量が多い場合に比べて高くなる。このように、光センサ回路144は、フォトダイオード145の受光量に応じて、センサ信号線SSjに出力する電圧の値を変化させる。
【0109】
ところで、上記においては、m×n個存在する光センサ回路のうち、1つの光センサ回路144に着目して、その動作を説明した。以下では、液晶パネル140における各光センサ回路の動作について説明する。
【0110】
まず、光センサ駆動回路133は、n個のセンサ信号線(SD1〜SDn)の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路133は、リセット信号線RS1に対して、通常よりもハイレベルな電圧VDDRを印加する。なお、他のリセット信号線(RS2〜RSm)および読出信号線(RW1〜RWm)については、ローレベルの電圧を印加したままの状態とする。これにより、図3における1行目のn個の光センサ回路が、上述したリセット期間に入る。その後、1行目のn個の光センサ回路は、センシング期間に入る。さらに、その後、1行目のn個の光センサ回路は、読出期間に入る。
【0111】
なお、n個のセンサ信号線(SD1〜SDn)の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【0112】
1行目のn個の光センサ回路の読出期間が終了すると、光センサ駆動回路133は、リセット信号線RS2に対して、通常よりもハイレベルな電圧VDDRを印加する。つまり、2行目のn個の光センサ回路のリセット期間に入る。リセット期間が終了すると、2行目のn個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【0113】
以降は、上述した処理が、順に、3行目のn個の光センサ回路、4行目のn個の光センサ回路、…m行目のn個の光センサ回路に対して行われる。その結果、センサ信号線(SS1〜SSn)からは、1行目のセンシング結果、2行目のセンシング結果、…、m行目のセンシング結果が、この順に出力される。
【0114】
なお、表示装置102においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル140から出力される。このため、以下では、液晶パネル140から出力される1行目からm行目までのm行分の電圧に関するデータに対して、信号処理部183が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物(たとえば、ユーザの指)をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
【0115】
また、上記においては、m×n個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル140の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
【0116】
以下では、電子機器100が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー177を介した入力などに基づく本体装置101から送られてくるコマンドにより行われるものとする。なお、液晶パネル140の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン180が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー177を介してユーザが指定できる構成としてもよい。
【0117】
このように、液晶パネル140の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。1つ目は、上記一部の領域(以下、スキャン領域と称する)以外の表面の領域において、画像を表示させる態様である。2つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置101から画像処理エンジン180に送られてくるコマンドに基づく。
【0118】
図6は、液晶パネル140とバックライト179との断面図であって、スキャンの際にフォトダイオード145がバックライト179からの光を受光する構成を示した図である。
【0119】
図6を参照して、ユーザの指900が液晶パネル140の表面に接触している場合、バックライト179から発せられた光の一部は、当該接触している領域ではユーザの指900(略平面)にて反射される。そして、フォトダイオード145は、当該反射された光を受光する。
【0120】
また、指900が接触していない領域においても、バックライト179から発せられた光の一部は、ユーザの指900にて反射される。この場合においても、フォトダイオード145は、当該反射された光を受光する。ただし、当該領域においては液晶パネル140の表面に指900が接触していないため、指900が接触している領域よりも、フォトダイオード145の受光量は少なくなる。なお、バックライト179から発せられた光のうち、ユーザの指900に到達しない光のほとんどについては、フォトダイオード145は受光できない。
【0121】
ここで、バックライト179を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路144は、ユーザの指900により反射した光の光量に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179の点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
【0122】
以上により、表示装置102は、指900によって光が反射されることにより得られる像(以下、反射像とも称する)をスキャンすることができる。
【0123】
なお、指900以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器100の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機EL(Electro-Luminescence)パネルなどの他のパネルを用いてもよい。
【0124】
<データについて>
次に、第1ユニット1001と第2ユニット1002との間でやり取りされるコマンド、および第1ユニット1001内の本体装置101と表示装置102との間でやり取りされるコマンドについて説明する。
【0125】
図7は、コマンドの概略構成を示した図である。図7を参照して、コマンドは、ヘッダDA01と、第1フィールドDA02と、第2フィールドDA03と、第3フィールドDA04と、第4フィールドDA05と、第5フィールドDA06と、予備のデータ領域DA07とを含む。
【0126】
図8は、種別「000」のコマンド(つまり、センシングコマンド)を説明するための図である。CPU110は、種別「000」のコマンド(以下、「第1コマンド」と称する)を、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU110は、第1コマンドを、本体装置101から表示装置102に送る。なお、以下においては、CPU110が第1コマンドを第1ユニット1001の本体装置101から第2ユニット1002に送る場合を例に挙げて説明する。
【0127】
CPU110は、ヘッダDA01に、コマンドの種別(「000」)、コマンドの送信先等を書き込む。CPU110は、第1フィールドDA02に、番号が「1」のタイミングの値を書き込む。CPU110は、第2フィールドDA03に、番号が「2」のデータ種別の値を書き込む。CPU110は、第3フィールドDA04に、番号が「3」の読取方式の値を書き込む。CPU110は、第4フィールドDA05に、番号が「4」の画像階調の値を書き込む。CPU110は、第5フィールドDA06に、番号が「5」の解像度の値を書き込む。
【0128】
第1フィールドDA02に「00」が設定された第1コマンドは、画像処理エンジン280に対して、そのときのスキャンデータの送信を要求する。つまり、センシング第1コマンドは、当該第1コマンドを画像処理エンジン280が受信した後に、液晶パネル240の光センサ回路を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、第1フィールドDA02に「01」が設定された第1コマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、第1フィールドDA02に「10」が設定された第1コマンドは、一定周期毎にスキャンデータの送信を要求する。
【0129】
第2フィールドDA03に「001」が設定された第1コマンドは、部分画像における中心座標の座標値の送信を要求する。また、第2フィールドDA03に「010」が設定された第1コマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、第2フィールドDA03に「100」が設定された第1コマンドは、全体画像の送信を要求する。
【0130】
ここで、「全体画像」とは、m×n個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン280により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
【0131】
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル240の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
【0132】
第3フィールドDA04に「00」が設定されたセンシング第1コマンドは、バックライト279を点灯してスキャンすることを要求する。また、第3フィールドDA04に「01」が設定された第1コマンドは、バックライト279を消灯してスキャンすることを要求する。なお、バックライト279を消灯してスキャンする構成については後述する(図17)。さらに、第3フィールドDA04に「10」が設定された第1コマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト279を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。
【0133】
第4フィールドDA05に「00」が設定された第1コマンドは、白黒の2値の画像データを要求する。また、第4フィールドDA05に「01」が設定された第1コマンドは、多階調の画像データを要求する。さらに、第4フィールドDA05に「10」が設定された第1コマンドは、RGBのカラーの画像データを要求する。
【0134】
第5フィールドDA06に「0」が設定された第1コマンドは、解像度の高い画像データを要求する。また、第5フィールドDA06に「1」が設定された第1コマンドは、解像度の低い画像データを要求する。
【0135】
また、上記第1コマンドには、図8に示したデータ以外に、スキャンを行う領域(光センサ回路144を駆動する画素の領域)の指定、スキャンを行うタイミング、バックライト179の点灯のタイミングなどが記述されている。
【0136】
なお、画像処理エンジン280は、第1コマンドの内容を解析し、当該解析の結果に従ったデータ(つまり、応答データ)を本体装置101に送り返す。
【0137】
図9は、種別「001」のコマンド(以下、「第2コマンド」と称する)を説明するための図である。CPU110は、第2コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。
【0138】
CPU110は、ヘッダDA01に、コマンドの種別(「001」)、コマンドの送信先等を書き込む。CPU110は、第1フィールドDA02に、番号が「1」の表示要求の値を書き込む。CPU110は、第2フィールドDA03に、番号が「2」の個数/種類に関する情報を書き込む。CPU110は、第3フィールドDA04に、番号が「3」の表示範囲の値を書き込む。CPU110は、第4フィールドDA05に、番号が「4」の画像データに関する情報を書き込む。
【0139】
第1フィールドDA02に「001」が設定された第2コマンドは、液晶パネル240(サブ画面)に画像を表示させることを画像処理エンジン280に対して要求する。また、第1フィールドDA02に「010」が設定された第2コマンドは、液晶パネル240にアイコンを表示させることを画像処理エンジン280に対して要求する。さらに、第1フィールドDA02に「011」が設定された第2コマンドは、液晶パネル240に手書領域を表示させることを画像処理エンジン280に対して要求する。
【0140】
第2フィールドDA03には、液晶パネル240に表示させる画像の個数、および手書言語の種類を指定する番号が格納される。画像処理エンジン280は、当該画像の個数、または言語の種類に応じた処理を行う。
【0141】
第3フィールドDA04に「01」が設定された第2コマンドは、液晶パネル240における表示範囲を座標にて指定することを、画像処理エンジン280に対して要求する。また、第3フィールドDA04に「10」が設定された第2コマンドは、液晶パネル240における表示範囲を表示領域の全体にすることを、画像処理エンジン280に対して要求する。
【0142】
第4フィールドDA05には、液晶パネル240に表示させる画像データと、当該画像データを表示する位置情報とが格納される。画像処理エンジン280は、当該位置情報で特定される位置に当該画像データを表示する処理を行う。
【0143】
図10は、種別「010」のコマンド(以下、「第3コマンド」と称する)を説明するための図である。CPU110は、第3コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU210は、第3コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
【0144】
CPU110,210は、ヘッダDA01に、コマンドの種別(「010」)、コマンドの送信先等を書き込む。CPU110,210は、第1フィールドDA02に、番号が「1」のOS(Operating System)処理要求の値を書き込む。CPU110,210は、第2フィールドDA03に、番号が「2」のOS情報の値を書き込む。
【0145】
第1フィールドDA02に「01」または「10」が設定された第3コマンドは、第2ユニット1002から第1ユニット1001に送信される。
【0146】
第1フィールドDA02に「01」が設定された第3コマンドは、第1ユニット1001に対して、当該第1ユニット1001(メイン装置)のOSの種類を示した情報の送信を要求する。また、第1フィールドDA02に「10」が設定された第3コマンドは、第1ユニット1001に対して、OS情報にて指定されたOSの起動を要求する。
【0147】
第2フィールドDA03に「000」、「001」、または「010」が設定された第3コマンドは、第2ユニット1002から第1ユニット1001に送信される。
【0148】
第2フィールドDA03に「000」が設定された第3コマンドは、第1ユニット1001におけるOSの起動を要求しない。また、第2フィールドDA03に「001」が設定された第3コマンドは、第2ユニット1002が第1OSの起動を選択したことを示す。さらに、第2フィールドDA03に「010」が設定された第3コマンドは、第2ユニット1002が第2OSの起動を選択したことを示す。
【0149】
図11は、種別「011」のコマンド(以下、「第4コマンド」と称する)を説明するための図である。CPU210は、第4コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
【0150】
CPU210は、ヘッダDA01に、コマンドの種別(「011」)、コマンドの送信先等を書き込む。CPU210は、第1フィールドDA02に、番号が「1」の起動アプリに関する情報を書き込む。CPU210は、第2フィールドDA03に、番号が「2」の起動時情報を書き込む。
【0151】
第1フィールドDA02には、第1ユニット1001において起動させるアプリを指定する情報が格納される。第2フィールドDA03には、起動設定時に用いる情報、および起動後に用いる情報が格納される。
【0152】
図12は、種別「100」のコマンド(以下、「第5コマンド」と称する)を説明するための図である。CPU210は、第5コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
【0153】
CPU210は、ヘッダDA01に、コマンドの種別(「100」)、コマンドの送信先等を書き込む。CPU210は、第1フィールドDA02に、番号が「1」の受信要求に関する情報を書き込む。CPU210は、第2フィールドDA03に、番号が「2」の個数に関する情報を書き込む。CPU210は、第3フィールドDA04に、番号が「3」のファイルに関する情報を書き込む。
【0154】
第1フィールドDA02に「01」が設定された第5コマンドは、第1ユニット1001に対してファイルの受信を要求する。また、第2フィールドDA03には、第2ユニット1002が第1ユニット1001に送信するファイルの個数が格納される。さらに、第3フィールドDA04には、第2ユニット1002が第1ユニット1001に送信するファイルが格納される。
【0155】
図13は、種別「101」のコマンド(以下、「第6コマンド」と称する)を説明するための図である。CPU110は、第6コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU210は、第6コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
【0156】
CPU110,210は、ヘッダDA01に、コマンドの種別(「101」)、コマンドの送信先等を書き込む。CPU110,210は、第1フィールドDA02に、番号が「1」の通信種別の値を書き込む。CPU110,210は、第2フィールドDA03に、番号が「2」の接続先の値を書き込む。CPU110,210は、第3フィールドDA04に、番号が「3」の転送先の値を書き込む。CPU110,210は、第4フィールドDA05に、番号が「4」の信号強度の取得タイミングの値を書き込む。
【0157】
第1フィールドDA02に「001」が設定された第6コマンドは、相手側の装置に対して赤外線通信を行なうことを要求する。また、第1フィールドDA02に「010」が設定された第6コマンドは、相手側の装置に対してBluetooth(登録商標)による無線通信を行なうことを要求する。さらに、第1フィールドDA02に「011」が設定された第6コマンドは、相手側の装置に対してLAN通信を行なうことを要求する。
【0158】
第2フィールドDA03に「000」が設定された第6コマンドは、通信の接続先を指定する情報を有していないことを示す。
【0159】
また、第2フィールドDA03に「001」が設定された第6コマンドは、第1ユニット1001によって、当該第1ユニット1001の接続先の装置に送信される。そのような第6コマンドは、第1ユニット1001が接続する装置に関する情報の送信を要求する。
【0160】
さらに、第2フィールドDA03に「010」が設定された第6コマンドは、第2ユニット1002によって、当該第2ユニット1002の接続先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002が接続する第1ユニット1001に関する情報の送信を要求する。
【0161】
また、第2フィールドDA03に「011」が設定された第6コマンドは、第2ユニット1002によって、当該第2ユニット1002の接続先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002に関する情報を接続先の機器情報として設定することを要求する。
【0162】
さらに、第2フィールドDA03に「100」が設定された第6コマンドは、第1ユニット1001によって、当該第1ユニット1001の接続先の装置(たとえば、第2ユニット1002)に送信される。そのような第6コマンドは、第1ユニット1001に関する情報を接続先の機器情報として設定することを要求する。
【0163】
第3フィールドDA04に「000」が設定された第6コマンドは、データ(たとえば、ファイル)の転送先を指定する情報を有していないことを示す。
【0164】
また、第3フィールドDA04に「001」が設定された第6コマンドは、第1ユニット1001によって、データ転送先の装置に送信される。そのような第6コマンドは、データ転送先の装置に関する情報の送信を要求する。
【0165】
さらに、第3フィールドDA04に「010」が設定された第6コマンドは、第2ユニット1002によって、データ転送先の第1ユニット1001に送信される。そのような第6コマンドは、データ転送先の第1ユニット1001に関する情報の送信を要求する。
【0166】
また、第3フィールドDA04に「011」が設定された第6コマンドは、第2ユニット1002によって、データ転送先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002に関する情報をデータ転送元の機器情報として設定することを要求する。
【0167】
さらに、第3フィールドDA04に「100」が設定された第6コマンドは、第1ユニット1001によって、データ転送先の装置(たとえば、第2ユニット1002)に送信される。そのような第6コマンドは、第1ユニット1001に関する情報をデータ転送元の機器情報として設定することを要求する。
【0168】
第4フィールドDA05に「00」、「01」、「10」、または「11」が設定された第6コマンドは、第1ユニット1001によって、第2ユニット1002に送信される。
【0169】
第4フィールドDA05に「00」が設定された第6コマンドは、第2ユニット1002に対して、信号強度を示したデータの送信を要求しない。また、第4フィールドDA05に「01」が設定された第6コマンドは、信号強度検出部297に対して、そのときの信号強度を示したデータの送信を要求する。さらに、第4フィールドDA05に「10」が設定された第6コマンドは、信号強度に変化があったときの信号強度を示したデータの送信を要求する。また、第4フィールドDA05に「11」が設定された第6コマンドは、一定周期毎に信号強度を示したデータの送信を要求する。
【0170】
図14は、応答データの概略構成を示した図である。応答データは、第1コマンド(センシングコマンド)の内容に応じたデータである。
【0171】
第1コマンドが本体装置101から第2ユニット1002に送信された場合、CPU210は、応答データを、表示装置103から第1ユニット1001に送信する。また、第1コマンドが本体装置101から第1ユニット1001の表示装置102に送信された場合、画像処理エンジン180は、応答データを、画像処理エンジン180から本体装置101に送信する。なお、以下では、第1コマンドが本体装置101から第2ユニット1002に送信された場合を例に挙げて説明する。
【0172】
図14を参照して、応答データは、ヘッダのデータ領域DA11と、座標を示すデータ領域DA12と、時刻を示すデータ領域DA13と、画像を示すデータ領域DA14とを含む。ここで、座標を示すデータ領域DA12には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン280のタイマ282から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン280により処理がされた後の画像データ(つまり、スキャンデータ)が書き込まれる。
【0173】
図15は、指900をスキャンすることにより得られた画像(つまり、スキャン画像)を示した図である。図15を参照して、太実線で囲まれた領域W1の画像が全体画像であり、破線で囲まれた領域P1の画像が部分画像である。また、太線で示した十字の中心点C1が、中心座標となる。
【0174】
本実施の形態では、矩形の領域であって、かつセンサ信号線SSjからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素(つまり、予め定められた階調または予め定められた輝度以上の画素)全てを含む領域を、部分画像の領域としている。
【0175】
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点(つまり図心)との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
【0176】
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
【0177】
第1コマンドのデータ種別を示すデータ領域に「001」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に上記中心座標の値を書き込む。この場合、画像処理エンジン280は、画像を示すデータ領域DA14には画像データを書き込まない。画像処理エンジン280は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値を含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「001」が設定されている場合には、第1コマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
【0178】
また、第1コマンドのデータ種別を示すデータ領域に「010」が設定されている場合には、画像処理エンジン280は、画像を示すデータ領域DA14に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン280は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン280は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置104に送る。本体装置104は、当該部分画像の画像データを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「010」が設定されている場合には、第1コマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
【0179】
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指900などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
【0180】
また、第1コマンドのデータ種別を示すデータ領域に「011」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン280は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値と当該部分画像の画像データとを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「011」が設定されている場合には、第1コマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
【0181】
また、第1コマンドのデータ種別を示すデータ領域に「100」が設定されている場合には、画像処理エンジン280は、図14に示した応答データの画像を示すデータ領域DA14に、全体画像の画像データを書き込む。この場合、画像処理エンジン280は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン280は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置104に送る。本体装置104は、当該全体画像の画像データを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「100」が設定されている場合には、第1コマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
【0182】
また、第1コマンドのデータ種別を示すデータ領域に「101」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14に全体画像の画像データを書き込む。その後、画像処理エンジン280は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値と当該全体画像の画像データとを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「101」が設定されている場合には、第1コマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
【0183】
<構成の第1の変形例について>
ところで、液晶パネル140の構成は、図3に示した構成に限定されるものではない。以下では、図3とは異なる態様の液晶パネルについて説明する。
【0184】
図16は、上記異なる態様である光センサ内蔵液晶パネル140Aの回路図である。図16を参照して、光センサ内蔵液晶パネル140A(以下、液晶パネル140Aと称する)は、1画素内に3つの光センサ回路(144r,144g,144b)を含んでいる。このように液晶パネル140Aが1画素内に3つの光センサ回路(144r,144g,144b)を備える点において、液晶パネル140Aは、1画素内に1つの光センサ回路を備える液晶パネル140と異なる。なお、光センサ回路144の構成と、3つの各光センサ回路(144r,144g,144b)との構成は同じである。
【0185】
また、1画素内における3つのフォトダイオード(145r,145g,145b)は、それぞれ、カラーフィルタ153r、カラーフィルタ153g、カラーフィルタ153bに対向する位置に配されている。それゆえ、フォトダイオード145rは赤色の光を受光し、フォトダイオード145gは緑色の光を受光し、フォトダイオード145bは青色の光を受光する。
【0186】
また、液晶パネル140は1画素内において1つの光センサ回路144しか含まないため、1画素内に配設されるTFT147用のデータ信号線は、センサ信号線SSjとセンサ信号線SDjとの2本であった。しかしながら、液晶パネル140Aは1画素内において3つの光センサ回路(144r,144g,144b)を含むため、1画素内に配設されるTFT(147r,147g,147b)用のデータ信号線は6本となる。
【0187】
具体的には、カラーフィルタ153rに対向する位置に配されたフォトダイオード145rのカソードに接続されたTFT147rに対応して、センサ信号線SSRjとセンサ信号線SDRjとが配設される。また、カラーフィルタ153gに対向する位置に配されたフォトダイオード145gのカソードに接続されたTFT147gに対応して、センサ信号線SSGjとセンサ信号線SDGjとが配設される。さらに、カラーフィルタ153bに対向する位置に配されたフォトダイオード145bのカソードに接続されたTFT147bに対応して、センサ信号線SSBjとセンサ信号線SDBjとが配設される。
【0188】
このような液晶パネル140Aにおいては、バックライト179から照射された白色光は、3つのカラーフィルタ(153r,153g,153b)を透過し、液晶パネル140Aの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、3つのカラーフィルタ(153r,153g,153b)を透過する。
【0189】
この際、カラーフィルタ153rは赤色の波長の光を透過し、フォトダイオード145rは、当該赤色の波長の光を受光する。また、カラーフィルタ153gは緑色の波長の光を透過し、フォトダイオード145gは、当該緑色の波長の光を受光する。また、カラーフィルタ153bは青色の波長の光を透過し、フォトダイオード145bは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は3つのカラーフィルタ(153r,153g,153b)によって3原色(R,G,B)に色分解され、各フォトダイオード(145r,145g,145b)は、それぞれに対応した色の光を受光する。
【0190】
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード(145r,145g,145b)の受光量が各フォトダイオード(145r,145g,145b)で異なることになる。このため、センサ信号線SSRjとセンサ信号線SSGjとセンサ信号線SSBjとの出力電圧は互いに異なる。
【0191】
それゆえ、各出力電圧に応じて、Rの階調とGの階調とBの階調とを画像処理エンジン180が決定することにより、画像処理エンジン180はRGBのカラー画像を本体装置101へ送ることができる。
【0192】
以上述べたように、電子機器100が液晶パネル140Aを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
【0193】
次に、図17を参照して、前述のスキャンの方法(つまり、図6における反射像をスキャンする方法)とは異なるスキャンの方法について説明する。
【0194】
図17は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。同図に示すとおり、外光の一部は、指900によって遮られる。それゆえ、指900と接触している液晶パネル140の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指900の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
【0195】
ここで、バックライト179を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路144は、液晶パネル140の表面に対する指900の位置に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179を点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
【0196】
以上により、表示装置102は、指900によって外光が遮られることにより得られる像(以下、影像とも称する)をスキャンすることができる。
【0197】
さらに、表示装置102を、バックライト179を点灯させてスキャンを行った後に、バックライト179を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置102を、バックライト179を消灯させてスキャンを行った後に、バックライト179を点灯させて再度スキャンを行う構成としてもよい。
【0198】
この場合には、2つのスキャン方式を併用することになるため、2つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
【0199】
<表示装置について>
表示装置103の動作は、表示装置102の動作と同様、本体装置101からのコマンド(たとえば、第1コマンド)に応じて制御される。表示装置103は表示装置102と同様な構成を有する。それゆえ、表示装置103が表示装置102と同じコマンドを本体装置101から受け付けた場合、表示装置103は表示装置102と同様の動作を行う。このため、表示装置103の構成や動作についての説明は繰り返さない。
【0200】
なお、本体装置101は、表示装置102と表示装置103とに対して、命令が異なるコマンドを送ることができる。この場合、表示装置102と表示装置103とは別々の動作を行う。また、本体装置101は、表示装置102および表示装置103のいずれかに対して、コマンドを送ってもよい。この場合、一方の表示装置のみがコマンドに応じた動作を行う。また、本体装置101が、表示装置102と表示装置103とに命令が同じコマンドを送ってもよい。この場合、表示装置102と表示装置103とは、同じ動作を行う。
【0201】
なお、表示装置102の液晶パネル140のサイズと表示装置103の液晶パネル240のサイズとは、同じであってもよいし又は異なっていてもよい。また、液晶パネル140の解像度と液晶パネル240の解像度とは、同じであってもよいし又は異なっていてもよい。
【0202】
<構成の第2の変形例について>
本実施の形態では、電子機器100が、液晶パネル140と液晶パネル240といったそれぞれに光センサを内蔵した液晶パネルを備える構成について説明するが、一方の液晶パネルのみが光センサを内蔵している構成であってもよい。
【0203】
図18は、電子機器100300のハードウェア構成を表すブロック図である。電子機器100300は、電子機器100と同様、第1の筐体100Aと、第2の筐体100Bとを含む。また、図18を参照して、電子機器100300は、第1ユニット1001Aと、第2ユニット1002とを含む。第1ユニット1001Aは、本体装置101と、表示装置102Aとを含む。第2ユニット1002は、本体装置104と、表示装置103とを含む。
【0204】
表示装置102Aは、光センサを内蔵しない液晶パネル(つまり、表示機能のみを有する液晶パネル)を含む。電子機器100300は、第1ユニット1001Aが光センサを内蔵しない液晶パネルを含む点で、第1ユニット1001が光センサを内蔵した液晶パネル240を含む電子機器100と異なる。このような電子機器100300は、第2ユニット1002の表示装置103を用いて上述したセンシングを行なう。
【0205】
また、第1ユニット1001は、光センサを内蔵した液晶パネル140の代わりに、たとえば抵抗膜方式や静電容量方式のタッチパネルを備えてもよい。
【0206】
また、本実施の形態では、表示装置102がタイマ182を備え、表示装置103がタイマ282を備える構成として説明するが、表示装置102と表示装置103とが1つのタイマを共有する構成としてもよい。
【0207】
また、本実施の形態では、電子機器100を折畳型の機器として説明するが、電子機器100は必ずしも折畳型に限定されるものではない。たとえば、電子機器100は、第1の筐体100Aが第2の筐体100Bに対してスライドする構成のスライド式の機器であってもよい。
【0208】
本実施の形態に係る電子機器100は、上記のように構成されているため、第2ユニット1002が、USBコネクタ194,294を介して第1ユニット1001に着脱自在になっている。
【0209】
そして、本実施の形態に係る電子機器100は、たとえば電源投入時において、以下のような機能を発揮することができる。まず、ユーザが第1ユニット1001の電源スイッチ191を押下すると、第1ユニット1001は電源回路192からの電力を利用することによってBIOS(Basic Input/Output System)を起動させる。
【0210】
第2ユニット1002は、USBコネクタ194,294を介して第1ユニット1001から電力を取得する。第2ユニット1002は、当該電力を利用することによって、第1ユニット1001との間でデータを送受信することができる。このとき、第2ユニット1002のCPU210は、USBコネクタ194,294からの電力を使用することによって、液晶パネル240にOS(Operation System)の種類を選択可能に表示させることができる。なお、第2ユニット1002は、USBコネクタ194,294を介さずに、直接、電源192から電力の供給を受けても良い。
【0211】
ユーザは、液晶パネル240を介して、起動したいOSを選択する。CPU210は、ユーザの選択に応じ、USBコネクタ194,294を介して第1ユニット1001へと、起動すべきOSを指定するコマンド(たとえば、図10に示す「第1のOS」コマンド)を送信する。第1ユニット1001は、当該コマンドに応じて、OSを起動する。
【0212】
また、たとえば、第2ユニット1002は、アンテナ295を介して外部の携帯電話などとの間でデータの送受信を行う。第2ユニット1002のCPU210は、アンテナ295を介して、外部の携帯電話から写真画像データや対応するサムネイルデータを取得して、当該写真画像データや対応するサムネイルデータをRAM271などに格納する。CPU210は、RAM271からサムネイルデータを読み出して、液晶パネル240に写真のサムネイル画像を選択可能に表示させる。
【0213】
そして、外部からの選択命令に応じて、CPU210は、液晶パネル240に写真画像を表示させる。あるいは、CPU210は、USBコネクタ294を介して、写真画像を液晶パネル140あるいは表示装置102Aに表示させる。
【0214】
<構成の第3の変形例>
本実施の形態では、電子機器100は、図19に示されるように、第2の筐体100Bに、さらに、キー操作部を備えていても良い。また、本実施の形態では、電子機器100は、ノート型のパーソナルコンピュータとして構成される。なお、電子機器100は、PDA(Personal Digital Assistant)、携帯型電話機、電子辞書などの表示機能を有するデバイスとして構成されてもよい。図20に、図19に示した電子機器100のハードウェア構成を表わすブロック図を示す。
【0215】
図20に示された本体装置101は、図2に示した電子機器100の本体装置101に、さらに、HDD(Hard Disc Drive)170を備える。
【0216】
電子機器100では、CPU110は、プログラムを実行する。操作キー177は、電子機器100の使用者による指示の入力を受ける。HDD170は、データの書込みおよび読出しが可能な記憶装置である。ただし、HDD170は、そのような記憶装置の一例である。電子機器100では、HDD170の代わりに、フラッシュメモリなどの記憶装置を用いられてもよい。
【0217】
また、図20に示された本体装置104は、図2に示された本体装置104に対して、タイマ273と、キー操作部(左クリックキー241と、センターキー242と、右クリックキー243)とをさらに含む。各構成要素(210,241〜243,271,272,274,273,293)は、相互にデータバスDB2によって接続されている。
【0218】
図21は、図19の電子機器100の機能的構成を示すブロック図である。
電子機器100は、すでに説明したとおり、第1ユニット1001と、第2ユニット1002とを含む。以下、図21を参照して、電子機器100の機能的構成について説明する。
【0219】
第1ユニット1001は、表示部310と、入力部320と、記憶部330と、インターフェース部340と、制御部350とを含む。第1ユニット1001は、電子機器100の主要な動作を行なう。
【0220】
表示部310は、第1ユニット1001内部の情報を外部に表示する。入力部320は、外部からの指示を受け付ける。本実施の形態では、液晶パネル140が、表示部310および入力部320の機能を兼ね備える。ただし、表示部310としては、他の表示装置、例えば、LCD(Liquid Crystal Display)などのディスプレイを用いてもよい。また、操作キー177も入力部320の機能を果たす。
【0221】
記憶部330は、第1ユニット1001の表示部310(液晶パネル140)に表示される画面の基となる表示データ333、プログラム334、動作パラメータ335などの情報を格納する。記憶部330は、一般に、複数のプログラム334を格納する。ここでのプログラム334としては、汎用的なアプリケーションソフト、例えば、ワープロやWebブラウザなどがある。
【0222】
動作パラメータ335は、プログラム334の動作条件を与えるための情報である。動作パラメータ335としては、例えば、マルチウィンドウのプログラム334において、操作キー177の押下などに応じて動作するアクティブなウィンドウを示すデータがある。
【0223】
インターフェース部340は、第2ユニット1002側のインターフェース部440との間で情報の授受を行なう。本実施の形態では、第1ユニット1001と第2ユニット1002が直接接続されている場合、USBコネクタ194がインターフェース部340として機能する。第1ユニット1001と第2ユニット1002が直接接続されていない場合、アンテナ195がインターフェース部340として機能する。ただし、インターフェース部340による情報の授受方法は、これに限られるわけではない。
【0224】
制御部350は、入力部320からの指示等に基づいて、表示部310、記憶部330、および、インターフェース部340の動作を制御する。制御部350は、入力処理部352と、表示制御部356と、プログラム実行部358とを含む。本実施の形態では、CPU110および画像処理エンジン180が制御部350に相当する。ただし、CPU110の各機能は、専用回路などのハードウェアによって実現されてもよい。また、画像処理エンジン180の各機能は、ソフトウェアを実行するCPU110によって実現されてもよい。すなわち、制御部350の各機能は、ハードウェアによって実現されてもよいし、ソフトウェアによって実現されてもよい。
【0225】
入力処理部352は、入力部320から受け取った信号を、プログラム実行部358に送信する。表示制御部356は、記憶部330に格納される表示データ333に基づいて、表示部310の動作を制御する。プログラム実行部358は、入力部320から受け付けた指示などに基づいて、プログラム334を実行する。具体的には、RAM171をワーキングメモリとして用いて、プログラム334を実行するCPU110がプログラム実行部358に相当する。
【0226】
第2ユニット1002は、表示部410と、入力部420と、記憶部430と、インターフェース部440と、制御部450と、タイマ273とを含む。
【0227】
表示部410は、第2ユニット1002内部の情報を外部に表示する。入力部420は、外部からの指示を受け付ける。本実施の形態では、光センサ内蔵液晶パネル240、左クリックキー241、センターキー242、および、右クリックキー243が入力部420に相当する。また、本実施の形態では、光センサ内蔵液晶パネル240が、表示部410および入力部420(パネル入力部422)の機能を兼ね備える。ただし、表示部410としては、他の表示装置、例えば、LCDなどのディスプレイを用いてもよい。また、入力部320としては、光センサ内蔵液晶パネル240に限られず、入力位置を認識する機能を有するデバイス(タブレット)を用いることができる。例えば、入力部420として、静電容量型のタッチパネルを用いてもよい。このように表示部410と入力部420との機能を実現する構成物を、「表示一体型タッチパッド」とよぶ。
【0228】
記憶部430は、入力データ431、表示データ433、プログラム434、動作パラメータ435、時刻データ436、およびモードデータ437などの情報を格納する。
【0229】
入力データ431は、入力部420が受け付けた入力に基づき作成されたデータである。特に、本実施の形態においては、入力データ431は、入力の履歴に対応する入力履歴432を含む。入力履歴432は、手書き文字データ432aおよびイラストデータ432bを含む。手書き文字データ432aおよびイラストデータ432bの詳細は後述する。
【0230】
表示データ433は、第2ユニット1002の表示部410(液晶パネル240)に表示される画面の基となる。表示データ433には、記憶部430に格納されている画像データ(壁紙など)や、プログラム434の実行にともない作成された画像データが含まれる。
【0231】
本実施の形態においては、記憶部430は、複数のプログラム434を格納する。プログラム434は、液晶パネル240に動作画面を表示するアプリケーションソフト(例えば、手書き文字入力ソフトや、手描きイラスト入力ソフトや、電卓ソフト)を含む。プログラム434の詳細については、後述する。
【0232】
動作パラメータ435は、第1ユニット1001における動作パラメータ335と同様、プログラム434の動作条件を与えるための情報である。特に、本実施の形態では、動作パラメータ435は、プログラム434によって作成された所定のイベントからの経過時間のカウント値を含む。
【0233】
時刻データ436は、タイマ273で測定された時刻を表わす。時刻データ436は、時間経過に応じて所定の動作を行なうプログラム434の実行の際などに、利用される。
【0234】
モードデータ437は、入力処理部452の動作モードを表わす情報である。入力処理部452の動作モードは複数あり、モードデータ437は、現在の動作モードを表わす。具体的には、例えば、所定の記憶領域に格納されたフラグを、モードデータ437とみなせる。なお、入力処理部452の動作モードの詳細については、後述する。
【0235】
インターフェース部440は、第1ユニット1001側のインターフェース部340との間で情報の授受を行なう。本実施の形態では、第1ユニット1001と第2ユニット1002が直接接続されている場合、USBコネクタ294がインターフェース部440として機能する。第1ユニット1001と第2ユニット1002が直接接続されていない場合、アンテナ295がインターフェース部440として機能する。ただし、インターフェース部440による情報の授受方法は、これに限られるわけではない。
【0236】
制御部450は、入力部420が受け付けた指示等に基づいて、表示部410、記憶部430、および、インターフェース部440の動作を制御する。制御部450は、入力処理部452と、表示制御部456と、プログラム実行部458とを含む。
【0237】
入力処理部452は、入力部420からの信号を、プログラム実行部458またはインターフェース部440に送信する。入力処理部452は、パネル入力処理部453と、モード設定部454とを含む。
【0238】
パネル入力処理部453は、パネル入力部422からの信号を処理する。例えば、パネル入力処理部453は、信号の履歴に基づいて、入力履歴432(手書き文字データ432aやイラストデータ432bなど)を作成する。パネル入力処理部453の動作の詳細については後述する。
【0239】
モード設定部454は、入力部420からの所定の信号(センターキー242の押下による信号など)に基づいて、パネル入力処理部453の動作モードを設定する。モード設定部454の動作の詳細については後述する。
【0240】
表示制御部456は、表示データ433に基づいて、表示部410の動作を制御する。表示制御部456は、例えば、表示部410に、プログラム434の実行の結果、作成された画面(動作画面)などを表示する。
【0241】
プログラム実行部458は、入力部420から受け付けた指示などに基づいて、プログラム434を実行する。具体的には、RAM271をワーキングメモリとして用いて、プログラム434を実行するCPU210がプログラム実行部458に相当する。
【0242】
<動作の概略>
(マウスモードとタブレットモード)
電子機器100は、液晶パネル240に入力された指示、すなわち、液晶パネル240への物体(指900やスタイラス950など)の接触に応じて、アプリケーションの動作のための指示を出す。電子機器100(より特定的には、パネル入力処理部453)には、「マウスモード」と「タブレットモード」との2つの動作モードがある。電子機器100は、これらの2つの動作モードに応じて動作する。
【0243】
電子機器100は、マウスモードにおいては、液晶パネル240への入力に応じてプログラム334を実行し、実行されたプログラム334が作成した画像(以下、「プログラムの動作画面」とよぶ)を液晶パネル140に表示する。
【0244】
具体的には、電子機器100は、マウスモードにおいて、液晶パネル240への入力位置の変化に応じて、リアルタイムに、液晶パネル140の動作画面中のカーソルを移動する。なお、ここで、「カーソル」とは、文字や、図、表示オブジェクトなどの入力位置を指し示す表示のことを指す。
【0245】
また、電子機器100は、マウスモードにおいて、液晶パネル240への所定の入力に応じて、第1ユニット1001のプログラム334に所定の動作を指示するコマンドを作成する。例えば、電子機器100は、液晶パネル240がクリックやダブルクリック、ドラッグなどに相当する入力を受け付けたと判断すると、入力に応じて、プログラム334を実行する。この際に電子機器100が行なう動作は、プログラム334によって決まる。
【0246】
すなわち、電子機器100がマウスモードにあるとき、ユーザは、液晶パネル240をタッチパッドとして使うことができる。以下では、簡単のため、カーソル位置の移動および液晶パネル240への所定の入力に応じたプログラム334の動作を総称して、「マウス動作」と呼ぶことにする。
【0247】
タブレットモードにおいては、電子機器100は、液晶パネル240への入力に応じてプログラム434(またはプログラム334)を実行し、実行されたプログラムの動作画面を液晶パネル240に表示する。また、電子機器100は、液晶パネル240に動作画面が表示されるプログラムに対するコマンドを作成する。例えば、液晶パネル240に操作ボタンが表示されている場合、電子機器100は、プログラム434を実行し、タッチされた液晶パネル240上の操作ボタンに応じた動作を行なう。すなわち、電子機器100がタブレットモードにあるとき、ユーザは、液晶パネル240をタッチスクリーンとして使うことができる。
【0248】
電子機器100は、動作モードを、所定の指示に基づいて、切り替える。本実施の形態では、電子機器100は、センターキー242の押下に応じて、動作モードを切り替える。
【0249】
ただし、動作モードの切替指示は、センターキー242の押下に限られない。電子機器100は、センターキー242以外の操作キー177の押下に応じて動作モードを切り替えてもよい。また、電子機器100は、液晶パネル140または液晶パネル240に表示される操作ボタンの選択に応じて、動作モードを切り替えてもよい。また、電子機器100は、電子機器の動作状態(起動処理中、スリープや休止状態からの復帰中など)によっても動作モードを切り替える。この点については、後で詳しく説明する。
【0250】
マウスモードおよびタブレットモードでの液晶パネル140および液晶パネル240の表示について、図22を参照して説明する。図22は、マウスモードおよびタブレットモードのそれぞれにおいて電子機器が表示する画面を説明するための図である。
【0251】
マウスモードにおいて、電子機器100は、液晶パネル140にワープロソフトやWebブラウザなどのソフトの動作画面500を表示する。画面500は、現在広く普及している(すなわち1つのディスプレイを持つ)パーソナルコンピュータによる表示画面と同様なものである。ただし、図22においては、簡単のため、画面500の中身は描いていない。また、画面500は、この具体例に限られるわけではない。
【0252】
画面500は、カーソル510を含む。ここでは、カーソル510は、画面500上を自由に移動可能なポインタ(マウスポインタ)であるとする。ただし、カーソル510は、ポインタに限られない。カーソル510は、文字や表示オブジェクトの入力位置を指し示す表示であってもよい。また、カーソル510の表示形態は、図22に示すもの(矢印)に限られるわけではない。また、電子機器100は、カーソル510の表示形態を、その指し示す位置によって変えてもよい。
【0253】
また、マウスモードにおいて、電子機器100は、液晶パネル240に画面600を表示する。以下、マウスモード時に液晶パネル240に表示される画面を「マウス画面」とも呼ぶ。図22を参照して、画面600は、ガイダンス表示610を含む。
【0254】
ガイダンス表示610は、左クリックキー241、センターキー242、および右クリックキー243が押下されたときの電子機器100の動作の説明を表わすための表示である。ガイダンス表示610は、左ガイダンス表示612と、センターガイダンス表示614と、右ガイダンス表示616とを含む。
【0255】
左ガイダンス表示612と、センターガイダンス表示614と、右ガイダンス表示616とは、それぞれ、左クリックキー241、センターキー242、および右クリックキー243が押下されたときの電子機器100の動作を説明する文字および/または記号を含む(ただし、そのような文字および記号は、図22には示していない)。
【0256】
なお、マウス画面は、左ガイダンス表示612、センターガイダンス表示614および右ガイダンス表示616を、常には表示していなくてもよい。本実施の形態では、電子機器100は、対応するキーが無効のときは、左ガイダンス表示612、センターガイダンス表示614および右ガイダンス表示616を液晶パネル240に表示しない。
【0257】
マウス画面の1つの具体例を図23に示す。図23を参照して、画面600は、左ガイダンス表示612と、センターガイダンス表示614と、右ガイダンス表示616とを含む。
【0258】
図23では、左ガイダンス表示612は、文字「左クリック」を含む。この表示がなされているときは、電子機器100は、左クリックキー241の押下に応じて、左クリック動作(決定処理など)を行なう。左クリック動作は、起動中のプログラムによって決まる。
【0259】
図23では、センターガイダンス表示614は、文字「タッチスクリーン操作」を含む。この表示がなされるのは、電子機器100がマウスモードにあるときである。この表示がなされているときは、電子機器100は、センターキー242の押下に応じて、タブレットモードに移行する。
【0260】
なお、電子機器100は、タブレットモードにあるときは、センターガイダンス表示614に文字「マウス操作」を含む文字を表示する。この表示がなされているときは、電子機器100は、センターキー242の押下に応じて、マウスモードに移行する。
【0261】
右ガイダンス表示616は、文字「右クリック」を含む。これは、右クリックキー243の押下に応じて、電子機器100が右クリック動作(メニューの表示など)を行なうことを示している。右クリックの詳細動作は、起動中のプログラムによって決まる。
【0262】
なお、本実施の形態では、マウス画面は、ユーザが設定できるものとする。ユーザは、電子機器100に格納した写真などの画像をマウス画面の壁紙に設定できてもよい。また、壁紙は、時計やカレンダーなどユーザ操作を必要としないアクセサリの動作画面であってもよい。また、ユーザがマウス画面を設定できない場合も、マウス画面は、図23に示すものに限られるものではない。また、壁紙は、電子機器100の状態によっても、自動的に変化し得る。
【0263】
具体的には、マウス画面として表示される画像のデータがROM272やRAM271等の記憶装置に記憶され、CPU210は、マウスモードにおいて、当該記憶装置から画像データを読み出して、液晶パネル240に表示させる。
【0264】
図22に戻って、タブレットモード時の画面について説明する。タブレットモードにおいて、液晶パネル140は、ワープロソフトやWebブラウザなどのソフトの動作画面700を表示する。動作画面700の内容は、動作画面500と同様である。
【0265】
また、タブレットモードにおいて、電子機器100は、液晶パネル240に画面800を表示する。以下、タブレットモード時に液晶パネル240に表示される画面を「タブレット画面」とも呼ぶ。図22を参照して、画面800は、ガイダンス表示810および操作ボタン表示820を含む。
【0266】
ガイダンス表示810は、マウスモードにおけるガイダンス表示610と同様に、左ガイダンス表示812と、センターガイダンス表示814と、右ガイダンス表示816とを含む。これらの役割および動作は、それぞれ、左ガイダンス表示612と、センターガイダンス表示614と、右ガイダンス表示616と同様であり、これらの詳細な説明は繰り返さない。
【0267】
操作ボタン表示820は、アプリケーションの選択に用いられる。電子機器100は、操作ボタン表示820に対応する領域内に、外部物体(指900あるいはスタイラス950など)の接触を検知すると、領域に対応した所定の動作を開始する。
【0268】
(プログラムについて)
ここで、電子機器100において、実行されるプログラムについて説明しておく。
【0269】
本実施の形態に係る電子機器100が実行するプログラムには、液晶パネル140に動作画面が表示されるプログラム(以下、「メインアプリケーション」とよぶ)と、液晶パネル240に動作画面が表示されるプログラム(以下、「サブアプリケーション」とよぶ)とがある。
【0270】
メインアプリケーションとしては、ブラウザ、辞書、ブックビューア、フォトビューアなど、現在の電子機器上で動作するアプリケーションを想定することができる。サブアプリケーションとしては、例えば、液晶パネル240への入力を利用する入力パッド(手書き文字入力パッド、手描きイラスト入力パッド、電卓/数字入力パッドなど)や、メインアプリケーションの操作補助用のアプリケーションがある。
【0271】
本実施の形態の説明においては、サブアプリケーションは、メインアプリケーションと独立であるとしている。メインアプリケーションは、第1ユニット1001の記憶部330に格納されている。一方、サブアプリケーションは、第2ユニット1002の記憶部430に格納されている。
【0272】
このように、メインアプリケーションは、サブアプリケーションと分離している。そのため、メインアプリケーションとしては、他の電子機器でも動作する汎用的なアプリケーションを利用することができる。この場合、サブアプリケーションのメインアプリケーションとのデータのやり取りの仕様を、メインアプリケーションの仕様に合わせる。例えば、サブアプリケーションによるマウス動作の指示は、従来のタッチパッドやマウスからの動作指示に合わせる。
【0273】
さらに、本実施の形態では、メインアプリケーションを実行するプログラム実行部358と、サブアプリケーションを実行するプログラム実行部458とは、独立である。このようにすることで、メインアプリケーションを実行するプロセッサ(本実施の形態では、CPU110)の負荷を減らすことができる。特に、電子機器100のCPUの性能が低い場合には、このようにプログラム実行部を分割することが有効である。
【0274】
本実施の形態のように第1ユニット1001および第2ユニット1002のそれぞれに制御部および記憶部を備えることで、第1ユニット1001と第2ユニット1002との間のデータのやりとりを少なくでき、処理を高速化しうる。
【0275】
ただし、サブアプリケーションは、必ずしもメインアプリケーションと独立でなくてもよい。すなわち、同一のプログラムが、メインアプリケーションおよびサブアプリケーションの両方として機能してもよい。具体的には、プログラムの一部が、液晶パネル140に表示する画面を作成し、プログラムの他の一部が、液晶パネル240に表示する画面を作成してもよい。
【0276】
また、メインアプリケーションおよびサブアプリケーションは、同一のプロセッサによって実行されてもよい。この場合は、アプリケーションを実行するプロセッサが、液晶パネル140および液晶パネル240の両方の動作を制御することになる。
【0277】
(サブアプリケーション)
本実施の形態においては、電子機器100は、タブレットモードにおいて、複数のサブアプリケーションのいずれかを実行する。また、サブアプリケーションの1つに、実行するアプリケーションを決定するための「ホームアプリケーション」がある。
【0278】
ホームアプリケーションは、アプリケーション選択のためのランチャーである。ホームアプリケーションは、複数のサブアプリケーションの中からの1つのサブアプリケーションの選択のための画面(以下、「ホームメニュー画面」)を液晶パネル240に表示する。
【0279】
図24に、ホームメニュー画面の具体例を示す。図24を参照して、ホームメニュー画面は、ガイダンス表示810と、操作ボタン表示820a〜820iと、マウス不可表示830とを含む。操作ボタン表示820a〜820iがタッチされると、ホームアプリケーションは、操作ボタン表示820a〜820iに対応するサブアプリケーションを呼び出す。マウス不可表示830は、電子機器100が、液晶パネル240への入力によって、マウス動作を行なわないことを示すための表示である。この表示は、ユーザが、タブレットモードにおける電子機器100の動作を正確に理解するのに役立つ。また、ユーザが、マウスモードとタブレットモードとを区別するのにも役立つ。
【0280】
本実施の形態においては、電子機器100は、ユーザの指示に基づいて、ホームメニュー画面をカスタマイズ可能であるとする。なお、ホームメニュー画面のカスタマイズが不可能な場合であっても、ホームメニュー画面の構成は、図24に示すものに限られるわけではない。例えば、操作ボタン表示820の個数や配置は、図24に示すものに限られない。また、マウス不可表示830も、図24に示すものに限られない。あるいは、マウス不可表示830は、ホームメニュー画面に含まれていなくてもよい。
【0281】
なお、タブレットモードにおけるデフォルトのサブアプリケーションは、ホームアプリケーションであるとする。すなわち、電子機器100が、起動後(電源を入れた後)、初めてタブレットモードで動作するときは、ホームアプリケーションを実行する。
【0282】
タブレットモードにおいて液晶パネル240に表示される画面800の遷移について、図25を参照して説明する。図25は、タブレットモードにおいて液晶パネル240に表示される画面800の遷移図である。
【0283】
図25を参照して、ユーザがホームメニュー画面800aの操作ボタン表示820(手描きイラスト)を選択すると、電子機器100は、手描きイラストアプリケーションを実行し、画面800bを液晶パネル240に表示する。画面800bは、手描きイラストアプリケーションの動作画面である。図25に示す画面800bでは、その手描き入力枠内に、当該手書きイラストアプリケーション実行中に入力された犬の絵が描かれている。
【0284】
画面800bにおいて、ユーザが、操作ボタン表示820(ホーム)を選択すると、電子機器100は、ウィンドウ800dを液晶パネル240に表示する。ここで、電子機器100は、ウィンドウ800dを画面800bと排他的に表示してもよいし、ウィンドウ800dを画面800bに重畳して表示してもよい。ウィンドウ800dは、作成した手描きイラストを保存するかを問い合わせる文章と、“はい”“いいえ”“キャンセル”の操作ボタン表示820とを含む。
【0285】
ウィンドウ800dの“はい”が選択されると、電子機器100は、ウィンドウ800dの表示前に入力枠になされている手描きイラストを、電子機器100内部あるいは外付けの記憶装置(ハードディスクやフラッシュメモリなど)に格納する。また、電子機器100は、ホームメニュー画面800aを、液晶パネル240に表示する。
【0286】
ウィンドウ800dの“いいえ”が選択されると、電子機器100は、ホームメニュー画面800aを、液晶パネル240に表示する。この場合、電子機器100は、ウィンドウ800dの表示前に入力枠になされている手描きイラストを、記憶装置に格納しない。
【0287】
ウィンドウ800dの“キャンセル”が選択されると、電子機器100は、ウィンドウ800dの表示前の画面800bを、液晶パネル240に表示する。すなわち、ユーザは、キャンセルを選択すれば、引き続き、その手描き入力枠内に、手描きイラストの作成を行なうことができる。
【0288】
ユーザがホームメニュー画面800aの操作ボタン表示820e(インターネット)を選択すると、電子機器100は、Webブラウザを起動するための、ホームページのリスト選択用の動作画面800cを液晶パネル140に表示する。
【0289】
画面800cにおいて、ユーザが、操作ボタン表示820(ホーム)を選択すると、電子機器100は、ホームメニュー画面800aを、液晶パネル240に表示する。この場合は、電子機器100は、入力されたデータの保存処理は行なわない。したがって、電子機器100は、ウィンドウ800dのような問合せ画面を表示することはしない。
【0290】
<モードの切り替え>
ここからは、マウスモードとタブレットモードとの切り替えに際しての電子機器100の動作について、図26を参照しつつ、詳しく説明する。図26は、マウスモードとタブレットモードとの切り替え時の電子機器100の動作について説明するための図である。
【0291】
本実施の形態においては、電子機器100は、すでに説明したように、基本的には、センターキー242の押下に応じて、動作モードを切り替える。電子機器100は、タブレットモードからマウスモードに移行することも、マウスモードからタブレットモードに移行することも可能である。
【0292】
本実施の形態では、電子機器100は、タブレットモードからマウスモードに移行する際に、液晶パネル240への入力の処理方法の変更を行なう。すなわち、電子機器100は、液晶パネル240への入力を、サブアプリケーションへの動作指示ではなく、マウス動作指示であるとして扱うようにする。また、電子機器100は、マウスモードへの移行時に、液晶パネル240にマウス画面を表示する。
【0293】
ただし、電子機器100は、マウスモードに移行した後も、タブレットモードにおいて実行していたアプリケーションを動作させ続けておく。このことにより、電子機器100は、マウスモードからタブレットモードに移行する際に、スムーズに液晶パネル240に画面を表示することができる。これは、サブアプリケーションの立ち上げ時間が不要であるためである。
【0294】
また、タブレットモードにおいて実行していたアプリケーションを動作させ続けていることにより、ユーザがタブレットモードの途中に一時的に液晶パネル140によりマウス動作を行なう場合の操作性が向上する。例えば、電子機器100が、タブレットモードからマウスモードに移行したのち、タブレットモードに再び移行することを考える。電子機器100は、上のように動作するため電子機器100は、マウスモードへの移行前と移行後において、同一のサブアプリケーションの動作画面を液晶パネル240に表示する。したがって、ユーザは、マウス動作を行なった後、マウス動作前のサブアプリケーションを引き続き利用することができる。
【0295】
また、電子機器100は、マウスモードのみならずタブレットモードにおいても、メインアプリケーションの動作画面を液晶パネル140に表示する。したがって、電子機器100は、メインアプリケーションの動作画面の見易さを損なうことなく、ユーザに、サブアプリケーションの操作を行なわせることができる。
【0296】
(動作開始時のモード)
特に、電子機器100の動作開始時に関係する動作モードの切り替えについて説明しておく。本実施の形態においては、電子機器100の動作開始には、大きく分けて、(i)電源オフ状態からの起動(以下、通常起動とよぶ)と、(ii)省電力状態からの起動(以下、再開とよぶ)との2つがあるものとする。
【0297】
ここで、「電源オフ状態」とは、電子機器100の各部(電子機器100の起動に必要な部分を除く)の動作が停止した状態である。「省電力状態」は、電子機器100の動作の一部が停止した状態である。
【0298】
省電力状態には、「スタンバイ状態」と、「休止状態」と、スタンバイ状態と休止状態との組み合わせである「ハイブリッドスリープ状態」とがある。
【0299】
スタンバイ状態への移行指示を受け付けると、電子機器100は、作業中のデータをRAM171に保存する。また、電子機器100は、動作の再開に必要な部分(電源回路192、電源検出部193、RAM171など)以外を除く部分への電源の供給を止める。
【0300】
休止状態への移行指示を受け付けると、電子機器100は、作業中のデータをハードディスク170に保存する。また、電子機器100は、動作の再開に必要な部分(電源回路192、電源検出部193など)以外への電源の供給を停止する。
【0301】
ハイブリッドスリープ状態に移行するためのハイブリッドスリープ処理が開始されると、電子機器100は、作業中のデータを、まずメモリに格納する。それと同時に、電子機器100は、スリープ状態で、指示から所定の時間が経過すると、メモリに格納されたデータをメモリからハードディスクにコピーする。
【0302】
ただし、省電力状態の種類は、上述のものに限られるわけではない。また、電子機器100は、必ずしもこれらすべての省電力化処理を準備できなくてもよい。
【0303】
さて、まず、(i)通常起動における動作モードについて図27を参照しつつ説明する。図27は、通常起動時の動作モードを模式的に示した図である。
【0304】
通常起動時には、電子機器100は、まず、OS(Operating System)を起動するためのブート処理を行なう。ブート処理の間、電子機器100は、液晶パネル140に、ブート画面2501を表示する。また、ブート処理の間、電子機器100の動作モードは、マウスモードである。電子機器100は、液晶パネル240に所定のマウス画面(以下、固定画面とよぶ)2502を表示する。固定画面2502は、ガイダンス表示を含まない。ブート処理の間、モード切替は実行不可能であるためである。
【0305】
ブート処理が完了すると、電子機器100は、ログイン画面2503を液晶パネル140に表示する。この時も、電子機器100は、固定画面2504を表示する。
【0306】
電子機器100は、ログインが完了すると、液晶パネル140にデスクトップ画面2505を表示する。また、電子機器100は、液晶パネル240にマウス画面2506を表示する。この段階において、電子機器100は、マウスモードからタブレットモードへの切り替えを行なうことができるようになっている。これにともない、マウス画面2506は、図23に示したマウス画面600と同様に、ガイダンス表示を含む。
【0307】
なお、タブレットモードにおけるデフォルトのサブアプリケーションは、ホームアプリケーションであるとする。すなわち、電子機器100が、起動後(電源を入れた後)、最初にタブレットモードで動作するときは、ホームアプリケーションを実行する。この動作は、電源オフからの起動に限らず、電子機器100を再起動した場合も同様である。
【0308】
次に、(ii)復帰における動作モードについて図28を参照しつつ説明する。図28は、復帰時の動作モードを模式的に示した図である。
【0309】
省電力状態からの再開時には、電子機器100は、まず、メモリやハードディスクなどの記憶装置に格納された、作業状態に関するデータを読み出す。この間、電子機器100は、液晶パネル140に、再開中画面2601を表示する。なお、再開中画面2601は表示を省略されても良い。また、この間、電子機器100の動作モードは、マウスモードである。電子機器100は、液晶パネル240に固定画面2602を表示する。
【0310】
作業状態の読出しが完了すると、電子機器100は、ログイン画面2603を液晶パネル140に表示する。この時も、電子機器100は、固定画面2604を表示する。電子機器100における設定によっては、このログイン画面は表示されない場合もあり、その場合は、自動的に次のログイン完了画面に移行する。
【0311】
電子機器100は、ログインが完了すると、読み出した作業状態に基づいて、液晶パネル140に、省電力状態への移行直前に液晶パネル140に表示されていた表示画面2605を再び表示する。また、電子機器100は、液晶パネル240に、省電力状態への移行直前に動作していたサブアプリケーションに基づく表示画面2606を表示する。
【0312】
なお、電子機器100は、ログインの完了後、液晶パネル140に、必ず、マウス画面を表示してもよい。再開後にユーザが最初に行なう動作がマウス動作であることが見込まれる場合などには、この処理によって操作性を向上することができる。
【0313】
また、電子機器100では、OS起動時や、スリープ状態からの復帰中、ログインユーザを切り替える際の待機状態中(たとえば、液晶パネル140に、新たなユーザのログイン情報の入力を促す画面が表示されている期間を含む待機状態中)、液晶パネル140にスクリーンセーバ表示がなされている期間中など、次に電子機器100をマウスにより操作する可能性が高い場合には、液晶パネル240にマウス画面を表示し、マウスモードに切り替えるようにしても良い。
【0314】
電子機器100は、このようにOS起動時やスリープ状態からの復帰中等にマウスモードで動作することにより、特定の電源状態から起動または復帰する場合に第1のモードで動作することとなる。また、電子機器100は、ログインユーザ切り替えのための待機状態中やスクリーンセーバ表示期間中などにマウスモードで動作することにより、特定の動作状態にある間に第1のモードで動作することとなる。
【0315】
<タブレットモード時の動作>
ここからは、タブレットモード時の電子機器100の動作について、図29を参照しつつ、より詳しく説明する。図29は、タブレットモード時の電子機器100の動作について説明するための図である。
【0316】
タブレットモードにおいて、電子機器100は、大きく分けて、ホームアプリケーションの実行、入力パッドアプリケーションの実行、または、サブ画面活用ソフトの実行のいずれかを行なう。
【0317】
電子機器100は、ホームアプリケーションの実行中、ホームメニュー画面800aを液晶パネル240に表示する。電子機器100は、ホームアプリケーションの実行中、液晶パネル240への所定位置(操作ボタン表示によって示される)へのタッチを受け付けると、入力パッドを呼び出す。また、電子機器100は、ホームアプリケーションの実行中、液晶パネル240への所定位置へのタッチを受け付けると、サブ画面活用ソフトの実行を開始する。
【0318】
電子機器100は、入力パッドを呼び出すと、入力用の画面を液晶パネル240に表示する。図29を参照して、本実施の形態においては、3種の入力パッド、すなわち、手書き文字入力パッドと、手描きイラスト入力パッドと、電卓/数字入力パッドとがある。液晶パネル240に表示される画面2702〜2704は、それぞれ、手書き文字入力パッドと、手描きイラスト入力パッドと、電卓/数字入力パッドの動作画面である。各入力パッドの詳細については後述する。
【0319】
また、電子機器100は、入力パッドの実行時に所定の指示を受け付けると、ホームアプリケーションを起動する。本実施の形態では、入力パッドの動作画面は、ホームボタンを含んでおり、電子機器100は、ホームボタンへのタッチに応じて、入力パッドを終了し、ホームアプリケーションを起動する。
【0320】
図29を参照して、本実施の形態におけるサブ画面活用ソフトとしては、2画面活用ガイド、インターネット、辞書、本、写真、ゲームがある。
【0321】
「2画面活用ガイド」は、オンラインマニュアルである。電子機器100は、2画面活用ガイドを実行すると、HDD170または外部サーバからマニュアルデータを取得し、液晶パネル240(または液晶パネル140、あるいは、液晶パネル140および液晶パネル240の両方)にマニュアルを表示する。
【0322】
「インターネット」は、Webブラウザを起動し、種々のホームページ画面を呼び出すためのソフトであり、以下、Webページ呼び出しソフトとよぶ。このソフトの動作の詳細については、後述する。
【0323】
「辞書」は、電子辞書を呼び出すためのソフトであり、以下、辞書呼び出しソフトと呼ぶ。本実施の形態では、このソフトは、複数の電子辞書の中から1つの電子辞書を呼び出す。このソフトの動作の詳細については、後述する。
【0324】
「本」は、ブックビューアで閲覧する電子書籍(例えば、XMDF(Mobile Document Format)形式の書籍)を選択するためのソフトである。「写真」は、写真スライドショーの表示のためのソフトである。
【0325】
「ゲーム」は、液晶パネル240にゲーム画面を表示するゲームソフトである。本実施の形態では、「ゲーム」は、液晶パネル240のタッチ操作を活かしたゲームであるとする。
【0326】
電子機器100は、サブ画面活用ソフトの実行時に所定の指示を受け付けると、サブ画面活用ソフトを終了し、ホームアプリケーションを起動する。本実施の形態では、サブ画面活用ソフトの動作画面は、ホームボタンを含んでおり、電子機器100は、ホームボタンへのタッチに応じて、ホームアプリケーションを起動する。
【0327】
(手書き文字入力パッド)
手書き文字入力パッドを実行する電子機器100(具体的にはアプリケーションを実行するCPU210)の動作について、図30を参照しつつ説明する。図30は、手書き文字入力パッドの起動中に電子機器100が液晶パネル240に表示する画面(文字入力画面)の一例を示す図である。
【0328】
図30を参照して、文字入力画面は、センターガイダンス表示814と、マウス不可表示830と、ホームボタン840と、テキストボックス2801と、貼付ボタン2802と、候補エリア2803と、後退ボタン2804と、手書きエリア2805と、認識モード切替ボタン2806と、認識ボタン2807と、消去ボタン2808とを含む。
【0329】
テキストボックス2801は、手書き文字認識の結果、確定した文字を表示する。テキストボックス2801は、確定した文字を最大10文字まで表示可能である。ただし、テキストボックス2801に表示される文字の最大数は、これに限られるわけではない。
【0330】
貼付ボタン2802が、テキストボックス2801に文字列(1文字または複数の文字)が存在する場合に、押下されると、電子機器100は、液晶パネル140に表示されているアクティブなアプリケーションに文字列を送信する。文字列が送信されると、テキストボックス2801の内容は自動的に(ユーザからの特別な操作無しに)クリアされる。
【0331】
また、貼付ボタン2802は、テキストボックス2801に文字列が存在しない場合は、Enterキーとして機能する。例えば、ユーザは、貼付ボタン2802を押下して、検索ボックスに文字列を送信した後、再び、貼付ボタン2802を押すことで、アプリケーションに検索を実行させることができる。なお、テキストボックス2801に文字列が存在しない(あるいは、貼付ボタン2802がEnterキーとして機能する)場合、電子機器100は、貼付ボタン2802に表示する文字を「Enter」に変更する。
【0332】
候補エリア2803は、入力の認識候補を表示する。本実施の形態では、候補エリア2803は、認識候補を、第1候補から順に上から最大で5つ表示する。ただし、候補エリア2803に表示される候補の最大数は、これに限られるわけではない。
【0333】
本実施の形態では、電子機器100は、第1候補(候補エリア2803の1番上の文字)は、自動的にテキストボックス2801に追加する。また、電子機器100は、候補エリア2803内の候補の選択に応じて、追加された文字を変更することができる。第1候補は、ユーザ入力しようとしていた文字である可能性が高いため、第1候補を自動的にテキストボックス2801に追加することで、ユーザによる操作回数を削減できる。
【0334】
後退ボタン2804が押下されると、電子機器100は、テキストボックス2801内の文字列のうち最後の文字を消去する。なお、テキストボックス2801に文字列がない場合は、電子機器100は、後退ボタン2804の押下にともなう動作は行なわない。
【0335】
手書きエリア2805は、外部からの入力を受け付ける。電子機器100は、手書きエリア2805への入力の履歴に対応する手書き文字データ432aを作成し、記憶部430に格納する。電子機器100は、例えば、所定の時間内に入力があった座標すべて、あるいは、所定の時間内で時間的に連続する入力の開始および終了時の座標を、手書き文字データ432aとして作成する。また、電子機器100は、入力を受け付けた座標(あるいは手書き文字データ432a)に対応する図形を手書きエリア2805に表示する。
【0336】
本実施の形態では、手書きエリア2805は、2つの領域(エリア2805aおよびエリア2805b)を含む。電子機器100は、エリア2805aおよびエリア2805bのそれぞれの手書き文字データ432aを作成する。
【0337】
認識モード切替ボタン2806は、手書き入力の認識モードを切り替える。本実施の形態では、「自動モード」および「手動モード」の2つの認識モードがある。なお、手書き入力パッドを最初に起動したときの認識モードは、自動モードであるとする。
【0338】
「自動モード」では、電子機器100は、ペンアップ(手書きエリア2805への入力の終了)から所定の時間経過後に、自動的に、手書きエリア2805への入力の文字認識を開始する。自動モードには、ユーザの操作回数を削減できるという利点がある。なお、電子機器100は、自動モードにおいて、ペンアップではなく、他のイベント、例えば、手書きエリア2805への入力開始から所定の時間経過後に、文字認識を自動開始してもよい。
【0339】
「手動モード」では、電子機器100は、認識ボタン2807の押下まで、文字認識を開始しない。手動モードには、ユーザが落ち着いて文字入力を行なうことができるという利点がある。
【0340】
認識ボタン2807が押下されると、電子機器100は、入力エリア2805への入力に基づく手書き文字データ432aの文字認識を開始する。なお、自動モードにも、認識開時間よりも先に認識ボタン2807が押下されれば、電子機器100は、手書き文字データ432aの文字認識を開始する。
【0341】
消去ボタン2808が押下されると、電子機器100は、入力エリア2805に表示されている図形および手書き文字データ432aを消去する。消去ボタン2805は、ユーザが文字認識前に手書きした文字を書きなおす際に使用される。
【0342】
手書き文字入力パッドの利用方法について、図31および図32を参照して説明する。図31および図32は、それぞれ、手書き文字入力パッド利用時の電子機器100の動作を説明するための図である。ここでは、ユーザが、検索ボックスを含む画面を表示するアプリケーション(Webブラウザなど)の利用中に、液晶パネル240を利用して「河豚(ふぐ)」に関する検索を行なう場合の動作例を説明する。
【0343】
図31(a)は、マウスモードにおいて液晶パネル140および液晶パネル240が表示する画面を示す。この時、液晶パネル240は、マウス画面2920を表示している。液晶パネル140は、メインアプリケーションの動作画面2910を表示する。動作画面2910は、検索ボックス2912および検索開始ボタン2914を含む。液晶パネル240上の指900の移動にともなうマウス動作により、検索ボックス2912がアクティブになっているものとする。
【0344】
図31(b)は、図31(a)に示す状態で、モードの切替指示(具体的には、センターキー242の押下)があった後の液晶パネル240の表示画面2930を示す。
【0345】
ここでは、表示画面2930は、ホームメニュー画面である。
図31(c)は、図31(b)に示す状態で、手書き文字入力パッドの呼び出し用のボタン(図31(b)中黒丸で囲んでいる)が押下されたあとの液晶パネル240の表示画面2940を示す。表示画面2940は、文字入力画面である。
【0346】
図31(d)は、スタイラス950により表示画面2940に対し手書き入力がなされたときの液晶パネル240の表示画面2950を示す。表示画面2950の入力エリアには、手書き入力に対応する図形2952が表示される。
【0347】
図31(e)は、図31(d)に示すスタイラス950が液晶パネル240から離れたときの液晶パネル240の表示画面2960を示す。表示画面2950の候補エリアには、手書き入力に対応する候補文字が表示されている。また、テキストボックスには、第1候補の文字2962(ここでは、文字「河」)が表示される。
【0348】
図31(f)は、第1候補の文字2962が確定されたときの液晶パネル240の表示画面2970を示す。文字2972は、確定された文字である。
【0349】
図32(g)は、図31(f)に示す時点のあと、ユーザがスタイラス950による手書き入力を行なった状態の液晶パネル240の表示画面3010を示す図である。表示画面3010は、手書き入力に対応する図形3012を含む。
【0350】
図32(h)は、図32(g)に示すスタイラス950が液晶パネル240から離れたときの液晶パネル240の表示画面3020を示す。表示画面2950の候補エリアには、手書き入力に対応する候補文字が表示されている。また、テキストボックスには、第1候補の文字3022(ここでは、文字「膝」)が、すでに確定された文字「河」の右側に追加される。
【0351】
図32(i)は、図32(h)に示す状態で、スタイラス950により候補エリア内の文字3032(「豚」)が押下されたときの液晶パネル240の表示画面3030を示す。文字3032の押下にともない、テキストボックス内に表示されていた文字「膝」が「豚」(文字3034)に変化する。
【0352】
図32(j)は、文字3034(「豚」)が確定されたあとの、液晶パネル140の表示画面3040および液晶パネル240の表示画面3050を示す。表示画面3040は、検索ボックス3042および検索開始ボタン3044を含む。文字3034の確定後、表示画面3050内の貼付ボタンがスタイラス950により押下されると、テキストボックス内の文字列「河豚」が、アクティブな検索ボックス3042に入力される。これにともない、検索ボックス3042には、文字列「河豚」が表示される。
【0353】
図32(k)は、図32(j)に示す状態の後、Enterボタン(貼付ボタン)が押下されたあとの、液晶パネル140の表示画面3060および液晶パネル240の表示画面3070を示す。表示画面3070内のEnterボタンの押下は、検索開始キー3044の押下と同じ効果を発揮する。すなわち、メインアプリケーションは、Enterボタンの押下に応じて、検索ボックス3042内の文字列「河豚」に関する検索を実行し、検索結果を示す表示画面3060を液晶パネル140に表示する。
【0354】
なお、本実施の形態では、テキストボックスが一杯(テキストボックスに、入力可能な最大数の文字が入力されている)ときは、電子機器100は、それ以上、手書きを受け付けない。テキストボックスが一杯のときの電子機器100の動作を図33を参照して説明する。図33は、テキストボックスが一杯のときの電子機器100の動作を説明するための図である。
【0355】
図33(a)は、すでにテキストボックスが一杯の(テキストボックスに10文字入っている)状態で、ユーザがスタイラス950により入力エリアに入力をしようとしている状態を示している。この時の液晶画面n240の表示画面3110のテキストボックスには、文字列3112(10文字の文字列「あいうえおかきくけこ」)が表示されている。
【0356】
スタイラス950が液晶パネル240に接触すると、電子機器100は、警告表示3122を含む画面3120を液晶パネル240に表示する(図33(b)参照)。警告表示3122は、文字の確定、すなわち、貼付ボタンの押下を促す文字列を含む。ここでは、警告表示3122が含む文字列は「貼付ボタンにタッチしてください」としているが、文字列はこれに限られるわけではない。
【0357】
警告表示3122の表示後、液晶パネル240は、表示画面3110と同様の表示画面3130を表示する(図33(c)参照)。ユーザは、この表示画面3130の表示中に、貼付ボタンを押して文字列を確定したり、後退ボタンを押してすでに入力された文字を消去したりすることで、文字入力を続けることができる。なお、電子機器100は、例えば、警告表示3122の表示から所定の時刻の経過後に自動的に、あるいは、液晶パネル240への何らかの指示に応じて、図33(b)の状態から図33(c)の状態に移行するものとする。
【0358】
なお、本実施の形態では、手書き文字データ432aは、RAM271などに一時的に記憶されており、電子機器100は、手書き文字入力パッドの終了の際、手書き文字データ432aを破棄するものとする。したがって、手書き文字入力パッドを再度呼び出した際には、ユーザは、新しく文字を入力することができる。
【0359】
ただし、電子機器100は、手書き文字データ432aを保持しておき、再度の手書き入力パッドの利用時に、ユーザが前回の続きから手書き入力を行なえるようにしてもよい。この場合、電子機器100は、手書き文字入力パッドの再開時に、手書き文字データ432aに基づいて、手書き文字データ432aに対応する図形を液晶パネル240に表示する。
【0360】
なお、ユーザが、手書き文字入力パッドに上の2つの動作(手書き文字データ432aの保持の有無)のいずれを行なわせるかを選択できてもよい。この場合、ユーザは、手書き文字入力パッドが上の2つの動作のいずれを行なわせるかを、手書き文字入力の使用態様に応じて、適宜定めることができる。
【0361】
(手描きイラスト入力パッド)
手描きイラスト入力パッドを実行する電子機器100(具体的にはアプリケーションを実行するCPU210)の動作について、図34を参照しつつ説明する。図34は、手描きイラスト入力パッドの起動中に電子機器100が液晶パネル240に表示する画面(イラスト入力画面)の一例を示す図である。
【0362】
図34を参照して、イラスト入力画面は、センターガイダンス表示814と、マウス不可表示830と、ホームボタン840と、描画エリア3201と、元に戻すボタン3202と、ペン/定規/消しゴムボタン3203と、ペン太さボタン3204と、ペン色ボタン3205と、スタンプボタン3206と、フレームボタン3207と、全消去ボタン3208と、画面キャプチャーボタン3209と、メール添付ボタン3210と、ファイル保存ボタン3211と、貼付ボタン3212とを含む。
【0363】
描画エリア3201は、外部からの入力を受け付ける。電子機器100は、描画エリア3201への入力および描画設定(入力ツール、ペン太さ、ペン色など)に基づいて、イラストデータ432bを作成し、記憶部430に格納する。イラストデータ432bは、手書き文字データ432aと同様に、所定の時間内に入力があった座標すべて、あるいは、所定の時間内で時間的に連続する入力の開始および終了時の座標を含む。イラストデータ432bは、さらに、描画設定(入力ツール、ペン太さ、ペン色など)に関するデータを含む。
【0364】
本実施の形態では、描画エリア3201の横長さと縦長さとの比は、4:3である。これは、手書きイラスト入力パッドを用いて、写真の加工も行なうためである。ただし、描画エリア3201の縦横比は、これに限られるものではない。
【0365】
元に戻すボタン3202は、描画エリア3201への直前の入力動作を取り消すためのボタンである。電子機器100は、入力履歴432に記録されている入力を時間順に管理しており、元に戻すボタン3202が押下されると、直前の入力を入力履歴432から削除する。同時に、対応する描画部分を、描画エリア3201から消去する。
【0366】
ペン/定規/消しゴムボタン3203は、描画エリア3201への描画ツールを選択するためのボタンである。ペン/定規/消しゴムボタン3203の押下に応じて、電子機器100は、描画ツールをペン、定規、消しゴム、ペン…の順に切り替える。
【0367】
ペン太さボタン3204は、ペン太さの設定のためのボタンである。電子機器100は、ペン太さボタン3204の押下に応じて、ペンツールの選択時に描画エリア3201への入力に応じて描かれる線の太さの設定を変更する。あるいは、電子機器100は、ペン太さボタン3204が押下されると、線の太さをユーザに設定させるための画面を液晶パネル240に表示してもよい。
【0368】
ペン色ボタン3205は、ペン色の設定のためのボタンである。ペン色ボタン3205の押下に応じて、ペンツールの選択時に描画エリア3201への入力に応じて描かれる線の色の設定を変更する。あるいは、電子機器100は、ペン色ボタン3205が押下されると、線の色をユーザに設定させるための画面を液晶パネル240に表示してもよい。
【0369】
スタンプボタン3206は、描画エリア3201への入力に応じて、描画エリア3201にスタンプが描かれるようにするためのボタンである。
【0370】
フレームボタン3207は、描画エリア3201に描かれるイラストに、飾り枠などのフレームを追加するためのボタンである。
【0371】
全消去ボタン3208は、イラストデータ432bを全て削除するためのボタンである。ユーザは、このボタンを押すことで、描画エリア3201を、手描きイラスト入力パッド起動時の状態(無地)にすることができる。
【0372】
画面キャプチャーボタン3209は、液晶パネル140に表示されている画面の一部を描画エリア3201に表示するためのボタンである。メール添付ボタン3210は、イラストデータ432bを、電子メールに添付するためのボタンである。ファイル保存ボタン3211は、イラストデータ432bを、指定された記憶領域に保存するためのボタンである。イラストデータ432bを記憶する領域は、固定のものであってもよいし、ユーザにより指定可能であってもよい。
【0373】
貼付ボタン3212は、イラストデータ432bを、アクティブなメインアプリケーションに送るためのボタンである。貼付ボタン3212が押下されると、電子機器100は、手描きイラスト入力パッドが作成したイラストデータ432bを、アクティブなメインアプリケーションに与える。ユーザは、手描きイラスト入力パッドを用いて、例えば、メインアプリケーションで作成中の書類の中に、イラストを挿入することができる。
【0374】
なお、本実施の形態では、図25を参照して説明したように、手描きイラスト入力パッドは、手描きイラスト入力パッドの終了指示を受け付けた際に、作成した手描きイラストデータ432bの保存の要否を問い合わせる。ただし、この問い合わせは、必須ではない。手描きイラスト入力パッドは、終了時に、それまでに作成された手描きイラストデータ432bを自動的に破棄してもよい。
【0375】
(電卓/数字入力パッド)
電卓/数字入力パッドを実行する電子機器100(具体的にはアプリケーションを実行するCPU210)の動作について、図35を参照しつつ説明する。図35は、電卓/数字入力パッドの起動中に電子機器100が液晶パネル240に表示する画面(電卓画面)の一例を示す図である。
【0376】
図35を参照して、電卓画面は、センターガイダンス表示814と、マウス不可表示830と、ホームボタン840と、数字ボックス3301と、貼付ボタン3302と、数字ボタン3303と、機能ボタン3304とを含む。
【0377】
数字ボックス3301は、入力された数字、または、計算結果の数字を表示する。数字ボックス3301が表示できる数字の最大数は、8つであるとする。ただし、最大数は、8つに限られない。
【0378】
貼付ボタン3302が押下されると、電子機器100は、液晶パネル140に表示されているアクティブなアプリケーションに数字ボックス3301に表示されている数字を送信する。
【0379】
数字ボタン3303は、数字ボックス3301に数字を入力するためのボタンである。機能ボタン3304は、四則演算などの所定の演算を指示するボタンである。数字ボタン3303および機能ボタン3304が押下されたときの電子機器100の動作は、通常の電卓あるいは電卓アプリケーションの動作と同様であるので、ここでは、その詳細な説明を繰り返さない。
【0380】
(インターネット)
サブ画面活用ソフトの1つであるWebページ呼び出しソフトを実行する電子機器100(具体的にはアプリケーションを実行するCPU210)の動作について、図36を参照しつつ説明する。図36は、Webページ呼び出しソフトの起動中に電子機器100が液晶パネル240に表示する画面(インターネット画面)の一例を示す図である。
【0381】
図36を参照して、インターネット画面は、ガイダンス表示810(左ガイダンス表示812、センターガイダンス表示814および右ガイダンス表示816)と、複数の操作ボタン表示820と、マウス不可表示830と、ホームボタン840とを含む。
【0382】
操作ボタン表示820は、それぞれ、呼び出すWebページに対応している。各操作ボタン表示820は、対応するWebページの名称(図中、「インターネット2」など)を表わす文字を含む。電子機器100は、操作ボタン表示820に対応する領域へのタッチを検出すると、Webブラウザを起動して、選択されたWebページを液晶パネル140(あるいは液晶パネル240)に表示する。
【0383】
なお、Webページ呼び出しソフトは、液晶パネル240にスクロールバーを表示してもよい。スクロールバーを含むインターネット画面の一例を図37に示す。図37を参照して、インターネット画面は、スクロールバー3500を含む。ユーザが、スクロールバー3500中のスライダ3502をドラッグすると、Webページ呼び出しソフトは、インターネット画面をスクロールする。
【0384】
(辞書)
サブ画面活用ソフトの1つである辞書呼び出しソフトを実行する電子機器100(具体的にはアプリケーションを実行するCPU210)の動作について、図38を参照しつつ説明する。図38は、辞書呼び出しソフトの起動中に電子機器100が液晶パネル240に表示する画面(辞書選択画面)の一例を示す図である。
【0385】
図38を参照して、辞書選択画面は、ガイダンス表示810(左ガイダンス表示812、センターガイダンス表示814および右ガイダンス表示816)と、複数の操作ボタン表示820と、マウス不可表示830と、ホームボタン840とを含む。
【0386】
操作ボタン表示820は、それぞれ、呼び出す電子辞書に対応している。各操作ボタン表示820は、対応する電子辞書の名称(図中、「英和辞典」など)を表わす文字を含む。電子機器100は、操作ボタン表示820に対応する領域へのタッチを検出すると、電子辞書を起動して、起動した電子辞書の画面を液晶パネル140(あるいは液晶パネル240)に表示する。
【0387】
なお、辞書呼び出しソフトは、液晶パネル240にスクロールバーを表示してもよい。スクロールバーを含む辞書選択画面の一例を図39に示す。図39を参照して、辞書選択ト画面は、スクロールバー3700を含む。ユーザが、スクロールバー3700中のスライダ3702をドラッグすると、辞書呼び出しソフトは、辞書選択画面をスクロールする。
【0388】
<処理の流れ>
(基本的な流れ)
図40を参照して、本実施の形態に係る電子機器100が行なう処理の流れについて説明する。図40は、電子機器100が行なう処理の流れをフローチャート形式で示す図である。なお、図40では、第1ユニット1001内の制御部350が行なう処理および第2ユニット1002内の制御部450が行なう処理をまとめて示している。
【0389】
ステップS101において、制御部350および制御部450は、電子機器100の通常起動の指示あるいは再開の指示を受け付けると、通常起動処理あるいは再開処理を行なう。
【0390】
通常起動とは、すでに説明しているとおり、電源オフ状態からの起動である。制御部350が行なう通常起動処理としては、例えば、ブート処理や、液晶パネル140へのブート画面の表示がある。制御部450が行なう通常起動処理としては、液晶パネル240へのブート画面の表示がある。
【0391】
制御部350および制御部450は、電源オフ状態での所定のボタン(電源スイッチ191など)の押下などを通常起動の指示として扱う。なお、一方の制御部(制御部450または350)が、通常起動の指示を受け付けて、自らの通常起動処理を行なうとともに、他方の制御部(制御部350または450)へ通常起動処理の指示を与える構成であってもよい。
【0392】
再開とは、すでに説明しているとおり、省電力状態からの起動である。制御部350が行なう再開処理としては、RAM171やHDD170などに格納された作業状態の読み出しや、液晶パネル140への再開中画面の表示がある。制御部450が行なう再開処理としては、RAM271やHDD170などに格納された作業状態の読み出しや、液晶パネル240への再開中画面の表示がある。
【0393】
制御部350および制御部450は、省電力状態での所定のボタン(電源スイッチ191など)の押下や液晶パネル240へのタッチなどを通常起動の指示として扱う。なお、一方の制御部(450または350)は、再開指示を受け付けた他方の制御部(350または450)からの指示に応じて、再開処理を行ってもよい。
【0394】
ステップS103において、制御部450に含まれるモード設定部454は、動作モードをマウスモードまたはタブレットモードのいずれかに決定する。
【0395】
本実施の形態では、通常起動の場合の動作モードは、マウスモードに決められている。モード設定部454は、通常起動の場合、記憶部430内のモードデータ437をマウスモードを表わすデータに設定する。
【0396】
また、モード設定部454は、再開時には、モードデータ437を、省電力状態前のモードデータ437を動作モードに基づいて決定する。この場合、制御部450は、省電力状態への移行時または再開時に、省電力状態前のモードデータ437をRAM271などに格納しておくものとする。あるいは、モード設定部454は、再開時には、モードデータ437を、常にマウスモードを表わすデータに設定してもよい。この場合、制御部450は、省電力状態前のモードデータ437の記憶処理を行なわなくてよい。
【0397】
ステップS105において、入力処理部452は、動作モードがマウスモードであるか判定する。すなわち、入力処理部452は、モードデータ437に基づいて、動作モードがマウスモードかどうか判断する。
【0398】
動作モードがマウスモードである場合(ステップS105においてYES)、制御部350および制御部450は、ステップS107のマウスモード動作に進む。動作モードがマウスモードでない場合(ステップS105においてNO)、制御部350および制御部450は、ステップS113のタブレットモード動作に進む。
【0399】
ステップS107において、制御部350および制御部450は、マウスモード動作を行なう。すなわち、制御部350および制御部450は、液晶パネル240への入力がメインアプリケーションのマウス動作を起こすように、電子機器100の各部を制御する。マウスモード動作の詳細については後述する。
【0400】
ステップS109において、モード設定部454は、モード切替指示を受け付けたかどうか判断する。具体的には、モード設定部454は、センターキー242の押下に応じた信号を受け付けたかどうか判断する。ただし、モード切替指示は、センターキー242の押下に限られるわけではない。
【0401】
マウスモード中にモード切替指示があった場合(ステップS109においてYES)、制御部450は、ステップS111のマウスモードからタブレットモードへの切替処理を実行する。モード切替指示がない場合(ステップS109においてNO)、制御部350および制御部450は、ステップS107(マウスモード動作)からの処理を繰り返す。
【0402】
ステップS111において、制御部450は、マウスモードからタブレットモードへの切替処理を実行する。例えば、制御部450は、ステップS111において、サブアプリケーションの動作画面の液晶パネル240への表示、パネル入力処理部453の動作切り替えを行なう。マウスモードからタブレットモードへの切替処理の詳細については後述する。ステップS111の終了後、制御部350および制御部450は、ステップS113のタブレットモード動作に進む。
【0403】
ステップS113において、制御部350および制御部450は、タブレットモード動作を行なう。すなわち、制御部350および制御部450は、サブアプリケーションが液晶パネル240への入力に応じて動作するように、電子機器100の各部を制御する。タブレットモード動作の詳細については後述する。
【0404】
ステップS115において、モード設定部454は、モード切替指示を受け付けたかどうか判断する。具体的には、モード設定部454は、センターキー242の押下に応じた信号を受け付けたかどうか判断する。ただし、モード切替指示は、センターキー242の押下に限られるわけではない。
【0405】
タブレットモード中にモード切替指示があった場合(ステップS115においてYES)、制御部450は、ステップS117のタブレットモードからマウスモードへの切替処理を実行する。モード切替指示がない場合(ステップS115においてNO)、制御部350および制御部450は、ステップS113(タブレットモード動作)からの処理を繰り返す。
【0406】
ステップS117において、制御部450は、タブレットモードからマウスモードへの切替処理を実行する。例えば、制御部450は、ステップS117において、マウス画面の液晶パネル240への表示、パネル入力処理部453の動作切り替えを行なう。タブレットモードからマウスモードへの切替処理の詳細については後述する。ステップS117の終了後、制御部350および制御部450は、ステップS107のマウスモード動作に進む。
【0407】
なお、制御部350および制御部450は、電源オフの指示あるいは省電力状態への移行指示を受け付けた時点で、電源切断処理あるいは省電力状態への移行処理を行なう。これらの処理は割り込み処理であり、図40のいずれかのステップの後に行われる。ただし、これらの処理は、図40には示していない。
【0408】
(マウスモード動作)
図40のステップS107におけるマウスモード動作について、図41を参照しつつ、詳細に説明する。図41は、マウスモード動作の処理の流れをフローチャート形式で示す図である。
【0409】
まず、第1ユニット1001側の制御部350の動作について説明する。制御部350の動作の流れは、図41中、左側に示されている。
【0410】
ステップS201において、制御部350は、インターフェース部340から座標データを取得する。この座標データは、第2ユニット1002側の制御部450が、インターフェース部440を介してインターフェース部440に送信したものである。
【0411】
ステップS203において、制御部350は、座標データに基づいて、カーソル位置を決定する。ステップS203の処理を行なうのは、より具体的には、制御部350に含まれるプログラム実行部358である。プログラム実行部358は、プログラム334を実行して、カーソル位置を決定する。
【0412】
ステップS205において、制御部350は、インターフェース部340からコマンドを取得する。このコマンドは、第2ユニット1002側の制御部450が、インターフェース部440を介してインターフェース部340に送信したものである。
【0413】
ステップS207において、制御部350は、コマンドに応じたアプリケーション動作を行なう。具体的には、プログラム実行部358が、プログラム334を実行してアプリケーション動作を行なう。プログラム実行部358は、アプリケーションの種類、カーソル位置およびコマンドの種類に基づいて、アプリケーション動作を決定する。
【0414】
アプリケーション動作は、現在普及しているアプリケーションのマウスのクリックにともなう動作と同様のものである。アプリケーション動作は、例えば、カーソル位置にあるファイルやフォルダの選択や起動、あるいは、カーソル位置にあるボタン(最小(最大)化ボタン、閉じるボタンなど)に応じた処理の実行などを含む。
【0415】
続いて、第2ユニット1002側の制御部450の動作について説明する。制御部450の動作の流れは、図41中、右側に示されている。
【0416】
ステップS301において、制御部450の入力処理部452に含まれるパネル入力処理部453は、液晶パネル240(パネル入力部422)からスキャン画像を取得する。
【0417】
ステップS303において、パネル入力処理部453は、ステップS301にて取得したスキャン画像に基づいて、液晶パネル240への入力位置を特定する座標データを計算する。
【0418】
ステップS305において、パネル入力処理部453は、インターフェース部440を制御し、座標データを、第1ユニット1001側のインターフェース部340へ送信する。
【0419】
ステップS307において、パネル入力処理部453は、ステップS301の実行から、所定のスキャンサイクル時間が経過したかどうか判断する。スキャンサイクル時間が経過している場合(ステップS307においてYES)、パネル入力処理部453は、ステップS301(スキャン画像の取得)からの処理を繰り返す。スキャンサイクル時間が経過していない場合(ステップS307においてNO)、制御部450は、ステップS309の処理に進む。
【0420】
ステップS309において、入力処理部452は、クリック動作があったかどうか判断する。具体的には、入力処理部452は、左クリックキー241または右クリックキー243の押下があったかどうかを判断する。なお、入力処理部452は、液晶パネル240へのタップ動作をクリック動作と判定してもよい。入力処理部452は、具体的には、所定の短時間内に液晶パネル240中の特定領域で、外部物体の検出開始および検出終了があった場合に、タップ動作があったと判断する。
【0421】
クリック動作がない場合(ステップS309においてNO)、制御部450は、ステップS307からの処理を繰り返す。クリック動作があった場合(ステップS309においてYES)、制御部450は、ステップS311の処理に進む。
【0422】
ステップS311において、入力処理部452は、インターフェース部440を制御し、ステップS309におけるクリック動作に応じて、コマンドを第1ユニット1001側のインターフェース部340に送信する。
【0423】
ここで、入力処理部452は、クリック動作の種類に応じてコマンドの種類を決定するものとする。例えば、入力処理部452は、左クリックキー241が押下されたときと、右クリックキー243が押下されたときとで、異なるコマンドを送信する。
【0424】
なお、以上では、クリック動作によるコマンド送信を説明してきた。しかしながら、コマンド送信を引き起こす動作は、クリック動作に限られない。例えば、入力処理部452は、ダブルクリックやドラッグまたはマルチタッチやゼスチャー動作などに応じたコマンドを送信してもよい。
【0425】
(タブレットモード動作)
図40のステップS109におけるタブレットモード動作について、図42を参照しつつ、詳細に説明する。図42は、タブレットモード動作の処理の流れをフローチャート形式で示す図である。
【0426】
まず、第1ユニット1001側の制御部350の動作について説明する。制御部350の動作の流れは、図42中、左側に示されている。
【0427】
ステップS401において、制御部350は、インターフェース部340からデータを取得する。ここでの「データ」とは、第2ユニット1002側の制御部450が、サブアプリケーションを実行することにより作成したものである。
【0428】
「データ」は、具体的には、例えば、文字(あるいは数字)データやイラストデータである。また、データは、コマンドであることもある。例えば、手書き文字入力パッドの動作画面中の「Enter」がタッチされた場合には、制御部450は、コマンドを作成する。
【0429】
ステップS403において、制御部350は、データに応じたアプリケーション動作を行なう。具体的には、プログラム実行部358が、プログラム334を実行してアプリケーション動作を行なう。プログラム実行部358は、ステップS401にて取得したデータを、実行しているメインアプリケーションにより処理する。ステップS403が終了すると、制御部350は、ステップS401の処理に戻る。
【0430】
続いて、第2ユニット1002側の制御部450の動作について説明する。制御部450の動作の流れは、図42中、右側に示されている。
【0431】
ステップS501において、制御部450の入力処理部452に含まれるパネル入力処理部453は、液晶パネル240(パネル入力部422)からスキャン画像を取得する。
【0432】
ステップS503において、パネル入力処理部453は、ステップS501にて取得したスキャン画像に基づいて、液晶パネル240への入力位置を特定する座標データを計算する。
【0433】
ステップS505において、パネル入力処理部453は、ステップS501の実行から、所定のスキャンサイクル時間が経過したかどうか判断する。スキャンサイクル時間が経過している場合(ステップS505においてYES)、パネル入力処理部453は、ステップS501(スキャン画像の取得)からの処理を繰り返す。スキャンサイクル時間が経過していない場合(ステップS505においてNO)、制御部450は、ステップS507の処理に進む。
【0434】
ステップS507において、制御部450は、サブアプリケーション動作を行なう。サブアプリケーション動作は、タイムカウントによる動作実行を含む。制御部450は、ステップS507において、インターフェース部440を制御し、データを第1ユニット1001側に送信することもある。
【0435】
ステップS509において、制御部450は、実行されているアプリケーションの動作を決定するデータ(「動作要素」とよぶ)を記憶部430に格納する。本実施の形態では、イベントからの経過時間などを含む動作パラメータ435や、入力履歴432が、動作要素に該当する。なお、制御部450は、ステップS509の処理を、所定の時間間隔、動作要素の変更時、動作要素の保存時(例えば、イラストの保存時)などに行なうものとする。
【0436】
(モード切替:マウスモードからタブレットモード)
図40のステップS107におけるモード切替(マウスモードからタブレットモード)について、図43を参照しつつ、詳細に説明する。図43は、モード切替(マウスモードからタブレットモード)動作の処理の流れをフローチャート形式で示す図である。
【0437】
ステップS601において、制御部450に含まれるモード設定部454は、記憶部430に格納されている、直前アプリケーションの動作定義をロードする。
【0438】
ここで、「直前アプリケーション」とは、モード設定部454が、タブレットモードへのモード切替指示を受け付ける前で、最後にタブレットモードで動作していたサブアプリケーションである。本実施の形態では、マウスモード時にもサブアプリケーションは動作し続けるので、直前アプリケーションは、モード切替指示時に動作しているサブアプリケーションと同一である。
【0439】
ステップS603において、制御部450に含まれるプログラム実行部458は、ステップS601でロードした動作定義に基づいて、直前まで実行していたサブアプリケーションの動作の実行を再開する。そして、プログラム実行部458は、表示制御部456を制御して、表示部410に、サブアプリケーションの動作画面を表示する。
【0440】
ただし、プログラム実行部458は、ステップS601の処理を、ステップS603の処理中に、随時、行なってもよい。すなわち、直前アプリケーションの実行中、必要に応じて、記憶部430に格納された動作定義を読み出し、読み出したデータに基づいて、サブアプリケーションを実行してもよい。
【0441】
ステップS605において、制御部450に含まれるパネル入力処理部453は、パネル入力部422からの信号の処理方法を切り替える。すなわち、パネル入力処理部453は、パネル入力部422からの信号を、サブアプリケーションの動作指示に変換するようにする。
【0442】
(モード切替:タブレットモードからマウスモード)
ここからは、図40のステップS113におけるモード切替(タブレットモードからマウスモード)について、詳細に説明する。
【0443】
図44は、モード切替(タブレットモードからマウスモード)動作の第1の処理の流れをフローチャート形式で示す図である。
【0444】
電子機器100では、マウスモードからタブレットモードに動作モードが切り替えられる際、直前アプリケーションの動作定義がロードされるように構成される。この場合、タブレットモードに切り替えられた直後の液晶パネル240には、前回のタブレットモード実行中であってマウスモードへ切り替えられる直前に表示されていた画面が、表示される。
【0445】
この動作定義は、センターキー242の押下等によりタブレットモードからマウスモードに動作モードが切り替えられる際に、RAM271等から構成される記憶部430に記憶される。
【0446】
具体的には、このようなモード切り替えの際に、プログラム実行部458は、ステップS701で、実行中のアプリケーション(直前アプリケーション)を特定する情報および当該アプリケーションにおけるその時点での動作内容を、動作定義としてRAM271に記憶させる。
【0447】
そして、ステップS703において、制御部450に含まれる表示制御部456は、モード設定部454からモードの切替指示があった旨を表わす信号を受け取ると、表示データ433に基づいて、液晶パネル240にマウスモード画面を表示する。
【0448】
そして、ステップS705において、制御部450に含まれるパネル入力処理部453は、パネル入力部422からの信号の処理方法を切り替える。すなわち、パネル入力処理部453は、パネル入力部422からの信号を、サブアプリケーションの動作指示に変換する。
【0449】
上記のように記憶された動作定義は、マウスモードからタブレットモードに動作モードが切り替えられる際に読み込まれ、ロードされる(図43のステップS601)。なお、動作定義が記憶されていない場合(初期化された状態)には、ステップS601では、ホームアプリケーションが起動される。
【0450】
なお、記憶された動作定義は、電子機器100の電源がOFFされるとき、または、電子機器100が再起動される際には、初期化されることが好ましい。これにより、電子機器100の通常起動や再起動後、再開の後などに、初めてタブレットモードが実行される際には、液晶パネル240には、まずホームメニューが表示されることになる。
【0451】
また、電子機器100では、サブアプリケーションが実行された後、ホームボタンがタッチされる等によりホームアプリケーションが起動される際に、動作定義が初期化されることが好ましい。その場合、この時点で動作モードがマウスモードに切り替えられた場合、タブレットモードに復帰した時点で、ホームアプリケーションの表示画面が表示される。これは、動作定義が初期化されていた場合、ステップS601において、ホームアプリケーションが起動されるからである。したがって、ホームアプリケーションが起動されていた場合には、マウスモードへの切替えが行なわれる際に、現在のタブレットモードの動作定義を記憶することは不要である。
【0452】
<サブアプリケーション「本」に関する処理について>
本実施の形態では、電子機器100において、マウスモードからタブレットモードに動作モードが切り替えられた場合に、液晶パネル240には、それまでのタブレットモードにおける動作内容に応じた情報が表示される。
【0453】
たとえば、「本」というサブアプリケーションでは、それまでの当該サブアプリケーションにおいて、ブックビューアで閲覧するように選択された電子ブックの履歴情報を記憶し、液晶パネル240に、当該履歴情報に基づいた表示を行なう。以下、サブアプリケーション「本」に従った動作について説明する。
【0454】
図45を参照して、ユーザがホームメニュー画面800aの操作ボタン表示820x(サブ画面活用ソフトの「本」)を選択すると、電子機器100は、サブアプリケーションの「本」を実行し、画面800eを液晶パネル240に表示する。画面800eは、本アプリケーションの動作画面である。
【0455】
画面800eは、左ガイダンス表示とセンターガイダンス表示と右ガイダンス表示(図37等の、左ガイダンス表示812、センターガイダンス表示814、右ガイダンス表示816)を含む。
【0456】
また、画面800eでは、その上部中央に、実行中にサブアプリケーションを示す「本」という文字が表示され、また、その左方に、「タイトル順」と「履歴順表示」という文字列が表示されている。
【0457】
さらに、画面800eの中央には、ブックビューアにおける閲覧の対象となる電子書籍の名称を示す、「電子ブック5」「電子ブック4」「電子ブック1」等の、電子ブックごとにその名称の文字列を表示するソフトキーが表示されている。画面800eでは、各電子ブックを表すソフトキーは、「本」アプリケーションにおいて選択された履歴に応じて上から順に配列されている。
【0458】
この場合、電子機器100では、図46に示されるように、記憶部430の入力データ431として、ブック情報432cが記憶される。
【0459】
ブック情報432cは、表1に示す「ブック名称情報」と表2に示す「ブック履歴情報」を含む。
【0460】
【表1】

【0461】
【表2】

【0462】
ブック名称情報は、ブックビューアにおける閲覧の対象として選択できる電子書籍を特定する情報が、たとえばその名称の順序で配列された情報である。
【0463】
ブック履歴情報は、「本」アプリケーションにおいて、ブックビューザでの閲覧の対象として選択された電子書籍を特定する情報が、新しく選択された順序で配列された情報である。
【0464】
「本」アプリケーションの動作画面としては、デフォルトで、各電子書籍の情報を、上記したブック履歴情報に従った順序で、ソフトキーとして表示する。
【0465】
なお、各ソフトキー内に表示される情報は、画面800eに示すように電子書籍の名称であっても良いし、電子書籍に対応した画像であっても良い。
【0466】
「本」アプリケーションの動作画面では、各電子書籍のソフトキーの表示の配列を、ブック名称情報に応じたものとブック履歴情報に応じたものとの間で変更することができる。
【0467】
つまり、当該動作画面では、「タイトル順」と「履歴順表示」の文字列が表示されるが、ソフトキーがブック名称情報に応じた配列で表示されている場合には、「タイトル順」は単なる文字列として表示されるが、「履歴順表示」はソフトキーとして表示される。そして、「履歴順表示」のソフトキーが選択操作されると、各電子書籍のソフトキーの表示の配列が、ブック履歴情報に応じたものに変更される。また、ソフトキーがブック履歴報に応じた配列で表示されている場合には、「タイトル順」がソフトキーとして表示され、「履歴順表示」が単なる文字列として表示される。そして、「タイトル順」のソフトキーが選択操作されると、各電子書籍のソフトキーの表示の配列が、ブック名称情報に応じたものに変更される。
【0468】
画面800eの上部には、「○○○○ブックス」というソフトキーが表示されている。当該ソフトキーは、ネットワーク上の、電子機器100を、電子書籍をダウンロードできるサイトに接続させるために操作されるものである。「○○○○ブックス」のソフトキーが操作されると、制御部450から第1ユニット1001へ、当該サイトに接続させるためのデータが送信される(ステップS507)。これにより、電子機器100では、当該サイトに接続され、液晶パネル140には、当該サイトのホームページ画面が表示される。
【0469】
一方、画面800e内の電子書籍を選択するためのソフトキーが操作されると、制御部450から第1ユニット1001へ、ブックビューアを起動して選択されたソフトキーに対応した電子書籍の閲覧するためのデータが送信される(ステップS507)。これにより、電子機器100では、液晶パネル140に、ブックビューアの、選択された電子書籍の閲覧画面が表示される。この場合、制御部450は、たとえば、マウスモードに動作を切り替え、液晶パネル240に対し、ブックビューアについてのページめくり等の操作を受け付ける。
【0470】
ブック履歴情報は、「本」アプリケーションにおいて電子書籍が選択されるたびに更新される。たとえば、表2に示す状態から、「電子ブック6」という電子書籍が選択された場合、ブック履歴情報は、表3に示すものへと更新される。これに応じて、「本」アプリケーションの動作画面では、図47の画面800fで表示されるように、電子書籍に対応するソフトキーの配列が変更される。
【0471】
【表3】

【0472】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0473】
100 電子機器、100A,100B 筐体、100C ヒンジ、100D 凹部、101,104 本体装置、102,102A,103 表示装置、130,230 ドライバ、131 操作信号線駆動回路、132 データ信号線駆動回路、133 光センサ駆動回路、134 スイッチ、135 アンプ、140,140A,240 液晶パネル、141 画素回路、141b,141g,141r サブピクセル回路、143 電極対、143a 画素電極、143b 対向電極、144 光センサ回路、145,145b,145g,145r フォトダイオード、146 コンデンサ、151A アクティブマトリックス基板、151B 対向基板、152 液晶層、153b,153g,153r カラーフィルタ、157 データ信号線、161 偏光フィルタ、162 ガラス基板、163 遮光膜、164 配向膜、173 メモリカードリーダライタ、174,274 外部通信部、175 マイク、176 スピーカ、177 操作キー、179,279 バックライト、180,280 画像処理エンジン、181,281 ドライバ制御部、182,282 タイマ、183,283 信号処理部、191 電源スイッチ、192 電源回路、193,293 電源検出部、194,294 コネクタ、195,295 アンテナ、196 コネクタ、297 信号強度検出部、310,410 表示部、320,420 入力部、330,430 記憶部、340,440 インターフェース部、350,450 制御部、432c ブック履歴、900 指、1001,1001A 第1ユニット、1002 第2ユニット。

【特許請求の範囲】
【請求項1】
第1の表示手段と、
第2の表示手段と、
記憶手段と、
前記第1および第2の表示装置の表示態様を制御する制御手段とを備え、
前記第2の表示手段は、外部からの入力を受け付け可能な表示一体型のタブレットであり、
前記制御手段は、
前記タブレットに対する入力に応じて実行した処理によって作成した画面を前記第1の表示手段に表示させる第1のモードと、前記タブレットに対する入力に応じて実行した処理によって作成した画面を前記第2の表示手段に表示させる第2のモードとで、動作が可能であり、
前記第2のモードから前記第1のモードに動作するモードを切り替える場合には、前記第2のモードにおける動作の内容を特定する情報である動作情報を前記記憶手段に記憶し、
前記第1のモードから前記第2のモードに動作するモードを切り替える場合には、前記記憶手段に記憶された前記動作情報に応じた情報を前記第2の表示手段に表示させる、電子機器。
【請求項2】
前記制御手段は、前記第1のモードから前記第2のモードに動作するモードを切り替える場合に、前記記憶手段に記憶された前記動作情報に応じた情報として、ソフトキーの配列を含む画面を前記第2の表示手段に表示させる、請求項1に記載の電子機器。
【請求項3】
前記第2のモードでは、コンテンツの選択が可能であり、
前記記憶手段は、前記動作情報として、前記第2のモードにおいてコンテンツが選択された履歴に関する情報を記憶し、
前記ソフトキーは、前記記憶手段に記憶された前記コンテンツが選択された履歴に関する情報に対応して配列された、コンテンツを選択するためのソフトキーである、請求項2に記載の電子機器。
【請求項4】
前記記憶手段は、前記第2のモードにおいて選択可能なコンテンツを特定する情報を、その名称に従った順序で記憶し、
前記制御手段は、前記ソフトキーを、前記コンテンツが選択された履歴に関する情報に対応して配列するか、前記名称に従った順序で配列するかを選択する情報の入力を受付ける、請求項3に記載の電子機器。
【請求項5】
第1の表示手段と、外部からの入力を受け付け可能な表示一体型のタブレットからなる第2の表示手段と、操作手段と、前記第1および第2の表示装置の表示態様を制御する制御手段とを備える電子機器の制御方法であって、
前記タブレットに対する入力に応じて実行した処理によって作成した画面を前記第1の表示手段に表示させる第1のモードで動作するステップと、
前記タブレットに対する入力に応じて実行した処理によって作成した画面を前記第2の表示手段に表示させる第2のモードで動作するステップと、
前記第2のモードから前記第1のモードに動作するモードを切り替えるときに、前記第2のモードにおける動作の内容を特定する情報である動作情報を前記記憶手段に記憶するステップと、
前記第1のモードから前記第2のモードに動作するモードを切り替えるときに、前記記憶手段に記憶された前記動作情報に応じた情報を前記第2の表示手段に表示させるステップとを備える、電子機器の制御方法。
【請求項6】
第1の表示手段と、外部からの入力を受け付け可能な表示一体型のタブレットからなる第2の表示手段と、操作手段と、前記第1および第2の表示装置の表示態様を制御する制御手段とを備える電子機器において実行される、コンピュータ読取可能な制御プログラムであって、
前記電子機器に、
前記タブレットに対する入力に応じて実行した処理によって作成した画面を前記第1の表示手段に表示させる第1のモードで動作するステップと、
前記タブレットに対する入力に応じて実行した処理によって作成した画面を前記第2の表示手段に表示させる第2のモードで動作するステップと、
前記第2のモードから前記第1のモードに動作するモードを切り替えるときに、前記第2のモードにおける動作の内容を特定する情報である動作情報を前記記憶手段に記憶するステップと、
前記第1のモードから前記第2のモードに動作するモードを切り替えるときに、前記記憶手段に記憶された前記動作情報に応じた情報を前記第2の表示手段に表示させるステップとを実行させる、電子機器の制御プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate

【図42】
image rotate

【図43】
image rotate

【図44】
image rotate

【図45】
image rotate

【図46】
image rotate

【図47】
image rotate


【公開番号】特開2010−211393(P2010−211393A)
【公開日】平成22年9月24日(2010.9.24)
【国際特許分類】
【出願番号】特願2009−55254(P2009−55254)
【出願日】平成21年3月9日(2009.3.9)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.EEPROM
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】