説明

電子機器、通信システム、表示制御方法、データ通信方法、およびプログラム

【課題】一方の表示パネルを介して表示されたオブジェクトを指定することにより、外部機器から当該オブジェクトに関するデータを取得するとともに、当該データに基づく画像を他方の表示パネルを介して表示可能とする。
【解決手段】液晶パネル140と、液晶パネル240と、液晶パネル140に第1画像が表示されている状態で第1画像に含まれるオブジェクトを指定する入力を受け付ける第1受付部13と、指定したオブジェクトを示す第1情報を外部機器に送信する送信部14と、第1情報に関連した第2情報を外部機器から受信する受信部11と、受信した第2情報を液晶パネル240に表示させる表示制御部12とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示パネルを備えた電子機器、電子機器を含む通信システム、電子機器における表示制御方法、電子機器におけるデータ通信方法、当該方法を実行するためのプログラムに関する。
【背景技術】
【0002】
従来、光センサを内蔵した液晶パネルが知られている。
特許文献1〜3には、2つの表示装置を備えた情報処理装置が開示されている。
【0003】
特許文献4には、表示部と着脱可能なPC(Personal Computer)カードとを備える情報処理装置が開示されている。表示部およびPCカードは、LCD(Liquid Crystal Display)を備える。また、PCカードのLCDは、タッチパッドの背面に設けれている。
【0004】
非特許文献1には、タッチパッドが液晶ディスプレイになった、ノート型のパーソナルコンピュータが開示されている。
【特許文献1】特開2004−005105号公報
【特許文献2】特開2004−005212号公報
【特許文献3】特開2004−234504号公報
【特許文献4】特開2000−339097号公報
【非特許文献1】東芝 ノートPC dynabook(登録商標) G8シリーズ 製品カタログ インターネット<URL:http://dynabook.com/pc/catalog/dynabook/030512g8/index_j.htm>
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、いずれの特許文献および非特許文献の電子機器は、一方の表示パネルを介して表示されたアイコン等のオブジェクトを指定しても、外部機器から取得した当該オブジェクトに関する画像を他方の表示パネルを介して表示することはできないといった問題点がある。
【0006】
本願発明は上記問題点に鑑みてなされたものであって、その目的は、一方の表示パネルを介して表示されたオブジェクトを指定することにより、外部機器から当該オブジェクトに関するデータを取得し、かつ当該データに基づく画像を他方の表示パネルを介して表示可能とする、電子機器、通信システム、表示制御方法、データ通信方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明のある局面に従うと、電子機器は、第1表示パネルと、第2表示パネルと、第1表示パネルに第1画像が表示されている状態で、第1画像に含まれるオブジェクトを指定する入力を受け付ける第1受付手段と、指定したオブジェクトを示す第1情報を、第1外部機器に送信する送信手段と、第1情報に関連した第2情報を、第1外部機器から受信する受信手段と、受信した第2情報を、第2表示パネルに表示させる表示制御手段とを備える。
【0008】
また、電子機器は、第2情報が表示された状態で、第2表示パネルを介して手書入力データを受け付ける第2受付手段をさらに備え、送信手段は、第2情報と手書入力データとを、第2外部機器に送信することが好ましい。
【0009】
また、第2情報は画像データを含み、受信手段は、第2外部機器において入力された手書入力データを受信し、表示制御手段は、第2情報の画像データと送信した手書入力データと受信した手書入力データと合成して、当該合成した画像データに基づく画像を第2表示パネルに表示させることが好ましい。
【0010】
また、第1画像は、第1外部機器から受信したデータに基づく画像であることが好ましい。
【0011】
また、第2情報は、当該第2情報に関連する複数の項目に関し、各々の項目でチェックボックスを表示させるデータを含み、電子機器は、各チェックボックスの状態を、チェック状態または非チェック状態にそれぞれ変更する変更手段をさらに備え、送信手段は、各チェックボックスの状態を示した状態情報を、第1外部機器に送信し、受信手段は、第1外部機器から、状態情報に関連する関連情報を受信し、表示制御手段は、関連情報を第2表示パネルに表示させることが好ましい。
【0012】
また、第2情報は、チェックボックスを表示させるデータとして、第1チェックボックス群を表示させるデータと第2チェックボックス群を表示させるデータとを含み、変更手段は、第1チェックボックス群に含まれる各チェックボックスについて、状態を変更することが好ましい。
【0013】
また、受信手段は、第2外部機器から、第2チェックボックス群に含まれる各チェックボックスの状態を示した状態情報を受信し、送信手段は、第1チェックボックス群と第2チェックボックス群とにおける状態情報を、第1外部機器に送信し、受信手段は、関連情報として、第1チェックボックス群においてチェック状態とした項目に関連する第1関連情報と、第2チェックボックス群においてチェック状態とした項目に関連する第2関連情報とを受信し、表示制御手段は、第1関連情報を第2表示パネルに表示させることが好ましい。
【0014】
また、送信手段は、第2関連情報を第2外部機器に送信することが好ましい。
また、第1情報は地図情報であり、第2情報は住宅情報であることが好ましい。
【0015】
また、第2表示パネルは、入射光に応じて電気信号を生成する複数の光センサ回路と、電気信号に応じて光を発する複数の画素回路とを含み、受付手段は、複数の光センサ回路からの電気信号に基づいて、手書入力データを受け付け、表示制御手段は、複数の画素回路に第2情報と手書入力データとを表示させることが好ましい。
【0016】
本発明の他の局面に従うと、電子機器は、表示パネルと、他の電子機器から、第1画像データを含む情報と、手書入力データに基づく第2画像データとを受信する受信手段と、第1画像データと第2画像データとを合成して、当該合成した合成画像データに基づく画像を表示パネルに表示させる表示制御手段と、合成画像データに基づく画像が表示された状態で、表示パネルを介して手書入力データを受け付ける受付手段と、記受付けた手書入力データを他の電子機器に送信する送信手段とを備え、情報は、当該情報に関連する複数の項目に関し、各々の項目でチェックボックスを表示させるデータをさらに含み、電子機器は、各チェックボックスの状態を、チェック状態または非チェック状態にそれぞれ変更する変更手段をさらに備え、送信手段は、各チェックボックスの状態を示した状態情報を、他の電子機器に送信する。
【0017】
また、情報は、第1チェックボックス群を表示させるデータと第2チェックボックス群を表示させるデータとを含み、変更手段は、第1チェックボックス群および第2チェックボックス群のうち一方のチェックボックス群に含まれる各チェックボックスについて、状態を変更し、送信手段は、一方のチェックボックス群における状態情報を、他の電子機器に送信することが好ましい。
【0018】
また、受信手段は、一方のチェックボックス群においてチェック状態とした項目に関連する関連情報を、他の電子機器から受信し、表示制御手段は、関連情報を表示パネルに表示させることが好ましい。
【0019】
また、情報は、住宅情報であることが好ましい。
本発明のさらに他の局面に従うと、通信システムは、第1電子機器と第2電子機器とを含み、第1電子機器は、第1表示パネルと、第2表示パネルと、第1表示パネルに第1画像データに基づく画像が表示されている状態で、当該画像に含まれるオブジェクトを指定する入力を受け付ける第1受付手段と、指定したオブジェクトを示す第1情報を、外部機器に送信する第1送信手段と、第1情報に関連した第2情報を、外部機器から受信する第1受信手段と、受信した第2情報を、第2表示パネルに表示させる第1表示制御手段と、第2情報が表示された状態で、第2表示パネルを介して手書入力データを受け付ける第2受付手段とを備え、第1送信手段は、第2情報と手書入力データとを、第2電子機器に送信し、第2電子機器は、第3表示パネルと、第1電子機器から、第1画像データを含む情報と、手書入力データに基づく第2画像データとを受信する第2受信手段と、第1画像データと第2画像データとを合成して、当該合成した合成画像データに基づく画像を第3表示パネルに表示させる第2表示制御手段と、合成画像データに基づく画像が表示された状態で、第3表示パネルを介して手書入力データを受け付ける第3受付手段と、受付けた手書入力データを第1電子機器に送信する第2送信手段とを備える。
【0020】
本発明のさらに他の局面に従うと、表示制御方法は、電子機器における表示制御方法であって、第1表示パネルに画像が表示されている状態で、当該画像に含まれるオブジェクトを指定する入力を受け付けるステップと、指定したオブジェクトを示す第1情報を、外部機器に送信するステップと、第1情報に関連した第2情報を、外部機器から受信するステップと、受信した第2情報を、第2表示パネルに表示させるステップとを含む。
【0021】
本発明のさらに他の局面に従うと、データ通信方法は、電子機器におけるデータ通信方法であって、他の電子機器から、第1画像データを含んだ情報と、手書入力データに基づく第2画像データとを受信するステップと、第1画像データと第2画像データとを合成して、当該合成した合成画像データに基づく画像を表示パネルに表示させるステップと、合成画像データに基づく画像が表示された状態で、表示パネルを介して手書入力データを受け付けるステップと、受付けた手書入力データを他の電子機器に送信するステップとを含み、情報は、当該情報に関連する複数の項目に関し、各々の項目でチェックボックスを表示させるデータをさらに含み、データ通信方法は、各チェックボックスの状態を、チェック状態または非チェック状態にそれぞれ変更するステップと、各チェックボックスの状態を示した状態情報を、他の電子機器に送信するステップとをさらに含む。
【0022】
本発明のさらに他の局面に従うと、プログラムは、電子機器に表示制御を実行させるためのプログラムであって、第1表示パネルに画像が表示されている状態で、当該画像に含まれるオブジェクトを指定する入力を受け付けるステップと、指定したオブジェクトを示す第1情報を、外部機器に送信するステップと、第1情報に関連した第2情報を、外部機器から受信するステップと、受信した第2情報を、第2表示パネルに表示させるステップとを実行させる。
【0023】
本発明のさらに他の局面に従うと、プログラムは、電子機器にデータ通信を実行させるためのプログラムであって、他の電子機器から、第1画像データを含んだ情報と、手書入力データに基づく第2画像データとを受信するステップと、第1画像データと第2画像データとを合成して、当該合成した合成画像データに基づく画像を表示パネルに表示させるステップと、合成画像データに基づく画像が表示された状態で、表示パネルを介して手書入力データを受け付けるステップと、受付けた手書入力データを他の電子機器に送信するステップと、情報は、当該情報に関連する複数の項目に関し、各々の項目でチェックボックスを表示させるデータをさらに含み、各チェックボックスの状態を、チェック状態または非チェック状態にそれぞれ変更するステップと、各チェックボックスの状態を示した状態情報を、他の電子機器に送信するステップとを実行させる。
【発明の効果】
【0024】
電子機器は、一方の表示装置に表示されたオブジェクトを指定することにより、他の電子機器から当該オブジェクトに関するデータを取得するとともに、当該データに基づく画像を他方の表示装置に表示可能となるといった効果を奏する。
【発明を実施するための最良の形態】
【0025】
本発明に係る電子機器の一実施態様について、図1から図38を参照して説明すると以下のとおりである。
【0026】
<電子機器の外観>
図1は、本実施の形態に係る電子機器100の外観を示した図である。図1を参照して、電子機器100は、第1の筐体100Aと第2の筐体100Bとを含む。
【0027】
第1の筐体100Aと第2の筐体100Bとは、ヒンジ100Cにより折畳み可能に接続されている。第1の筐体100Aは、光センサ内蔵液晶パネル140を備える。第2の筐体100Bは、光センサ内蔵液晶パネル240を備える。このように、電子機器100は、光センサ内蔵液晶パネルを2つ備える。
【0028】
なお、電子機器100は、PDA(Personal Digital Assistant)、ノート型のパーソナルコンピュータ、携帯型電話機、電子辞書などの表示機能を有する携帯型デバイスとして構成される。
【0029】
<ハードウェア構成について>
次に、図2を参照して、電子機器100の具体的構成の一態様について説明する。図2は、電子機器100のハードウェア構成を表わすブロック図である。
【0030】
電子機器100は、第1ユニット1001と、第2ユニット1002とを含む。第2ユニット1002は、電子機器100から着脱可能に第1ユニット1001に接続されている。第1ユニット1001は、本体装置101と、表示装置102とを含む。第2ユニット1002は、表示装置103と、本体装置104とを含む。
【0031】
第1の筐体100Aは、表示装置102を含む。第2の筐体100Bは、本体装置101を含む。また、第2の筐体100Bは、第2ユニット1002を含む。
【0032】
(第1ユニットについて)
本体装置101は、CPU(Central Processing Unit)110と、RAM(Random Access Memory)171と、ROM(Read-Only Memory)172と、メモリカードリーダライタ173と、外部通信部174と、マイク175と、スピーカ176と、操作キー177と、電源スイッチ191と、電源回路192と、電源検出部193と、USB(Universal Serial Bus)コネクタ194と、アンテナ195と、LAN(Local Area Network)コネクタ196とを含む。各構成要素(110,171〜177,193)は、相互にデータバスDB1によって接続されている。メモリカードリーダライタ173には、メモリカード1731が装着される。
【0033】
CPU110は、プログラムを実行する。操作キー177は、電子機器100の使用者による指示の入力を受ける。RAM171は、CPU110によるプログラムの実行により生成されたデータ、または操作キー177を介して入力されたデータを揮発的に格納する。ROM172は、データを不揮発的に格納する。また、ROM172は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどのデータの書込みおよび消去が可能なROMである。
【0034】
外部通信部174は、他の電子機器と通信を行なう。具体的には、外部通信部174は、USBコネクタ194を介して、たとえば第2ユニット1002と通信を行なう。また、外部通信部174は、アンテナ195を介して、たとえば第2ユニット1002と無線通信を行なう。さらに、外部通信部174は、LANコネクタ196を介して、他の電子機器との間で有線通信を行なう。
【0035】
なお、本体装置101は、Bluetooth(登録商標)以外の無線通信により、他の電子機器と通信を行なってもよい。たとえば、外部通信部174は、図示しない無線LANアンテナを介して、LANに接続された他の電子機器との間で無線通信を行なってもよい。あるいは、図示しない赤外線ポートを介して、他の電子機器との間で無線通信を行なってもよい。
【0036】
電源スイッチ191は、電子機器100を起動させるためのスイッチである。
電源スイッチ191がオンすると、電源回路192は、電源検出部193を介して、データバスDB1に接続されている各構成要素と表示装置102とに電力を供給する。また、電源スイッチ191がオンすると、電源回路192は、電源検出部193を介することなく、外部通信部174に電力を供給する。
【0037】
電源検出部193は、電源回路192からの出力を検出する。また、電源検出部193は、当該検出した出力に関する情報(たとえば、電圧値や電流値)を、CPU110に送る。
【0038】
USBコネクタ194は、第1ユニット1001を第2ユニット1002に接続するために用いられる。なお、本体装置101は、USBコネクタ194に加えて他のUSBコネクタを備えていてもよい。
【0039】
第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002にデータを送信する。また、第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002からデータを受信する。さらに、第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002に電力を供給する。
【0040】
アンテナ195は、第1ユニット1001と、他の通信装置(たとえば第2ユニット1002)との間における、Bluetooth(登録商標)の規格に沿った通信に用いられる。LANコネクタ196は、電子機器100をLANに接続するために用いられる。
【0041】
表示装置102は、ドライバ130と、光センサ内蔵液晶パネル140(以下、液晶パネル140と称する)と、内部IF178と、バックライト179と、画像処理エンジン180とを含む。
【0042】
ドライバ130は、液晶パネル140およびバックライト179を駆動するための駆動回路である。ドライバ130に含まれる各種の駆動回路については、後述する。
【0043】
液晶パネル140は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル140は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル140の詳細については、後述する。
【0044】
内部IF(Interface)178は、本体装置101と表示装置102との間で、データの遣り取りを仲介する。
【0045】
バックライト179は、液晶パネル140の裏面に配置された光源である。バックライト179は、当該裏面に対して均一な光を照射する。
【0046】
画像処理エンジン180は、ドライバ130を介して液晶パネル140の動作を制御する。ここで、当該制御は、内部IF178を介して本体装置101から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン180は、液晶パネル140から出力されるデータを処理し、処理したデータを内部IF178を介して本体装置101に送る。さらに、画像処理エンジン180は、ドライバ制御部181と、タイマ182と、信号処理部183とを含む。
【0047】
ドライバ制御部181は、ドライバ130に対して制御信号を送ることによりドライバ130の動作を制御する。また、ドライバ制御部181は、本体装置101から送られてくるコマンドを解析する。そして、ドライバ制御部181は、当該解析の結果に基づいた制御信号をドライバ130に送る。ドライバ130の動作の詳細については、後述する。
【0048】
タイマ182は、時刻情報を生成し、信号処理部183に対して時刻情報を送る。
信号処理部183は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部183は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部183は、当該デジタルデータに対して、本体装置101から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部183は、上記データ処理を行った後のデータと、タイマ182から取得した時刻情報とを含んだデータ(以下、応答データと称する)を本体装置101に送る。また、信号処理部183は、後述するスキャンデータを連続して複数格納できるRAM(図示せず)を備えている。
【0049】
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する(図7,図8,および図14)。
【0050】
なお、タイマ182は、必ずしも画像処理エンジン180に備えられている必要はない。たとえば、タイマ182は、表示装置102内における、画像処理エンジン180の外部に備えられていてもよい。あるいは、タイマ182は、本体装置101に備えられていてもよい。また、マイク175およびスピーカ176は、電子機器100が常に備える構成ではなく、電子機器100の実施例によっては、マイク175およびスピーカ176のいずれかあるいは両方を有さない構成であってもよい。
【0051】
ここで、表示装置102は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル140の周辺機器を当該液晶パネル140のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、液晶パネル140のガラス基板上に一体形成されている。なお、表示装置102が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、上記ガラス基板以外の基板に構成されていてもよい。
【0052】
(第2ユニットについて)
第2ユニット1002は、第1ユニット1001から電力の供給を受ける。具体的には、後述するUSBコネクタ294と第1ユニット1001のUSBコネクタ194とを接続することにより、第2ユニット1002は、第1ユニット1001の電源回路192から電力の供給を受ける。
【0053】
本体装置104は、CPU210と、RAM271と、ROM272と、外部通信部274と、電源検出部293と、USBコネクタ294と、アンテナ295と、信号強度検出部297とを含む。各構成要素(210,271,272,274,293)は、相互にデータバスDB2によって接続されている。
【0054】
CPU210は、プログラムを実行する。RAM271は、CPU210によるプログラムの実行により生成されたデータを揮発的に格納する。ROM272は、データを不揮発的に格納する。また、ROM272は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどのデータの書込みおよび消去が可能なROMである。
【0055】
外部通信部274は、他の電子機器との間で通信を行なう。具体的には、外部通信部274は、USBコネクタ294を介して、たとえば第1ユニット1001と通信を行なう。また、外部通信部274は、アンテナ295を介して、たとえば第1ユニット1001と通信を行なう。
【0056】
なお、本体装置104は、Bluetooth(登録商標)以外の無線通信により、他の電子機器(たとえば、第1ユニット1001)と通信を行なってもよい。たとえば、外部通信部274は、図示しない赤外線ポートを介して、他の電子機器との間で無線通信を行なってもよい。
【0057】
信号強度検出部297は、アンテナ295を介して受信した信号についての強度を検出する。そして、信号強度検出部297は、検出した強度を外部通信部274に送る。
【0058】
USBコネクタ294は、第2ユニット1002を第1ユニット1001に接続するために用いられる。
【0059】
第2ユニット1002は、USBコネクタ294を介して、第1ユニット1001にデータを送信する。また、第2ユニット1002は、USBコネクタ294を介して、第1ユニット1001からデータを受信する。さらに、第2ユニット1002は、上述したように、USBコネクタ294を介して、第1ユニット1001から電力の供給を受ける。なお、第2ユニット1002は、第1ユニット1001から供給された電力を、図示しないバッテリに蓄電する。
【0060】
アンテナ295は、第2ユニット1002と、たとえば第1ユニット1001との間における、Bluetooth(登録商標)の規格に沿った通信に用いられる。
【0061】
電源検出部293は、USBコネクタ294を介して給電された電力を検出する。また、電源検出部293は、当該検出した電力についての情報を、CPU210に送る。
【0062】
また、本体装置104は、赤外線通信を行なう機能を備えていてもよい。
表示装置103は、ドライバ230と、光センサ内蔵液晶パネル240(以下、「液晶パネル240」と称する)と、内部IF278と、バックライト279と、画像処理エンジン280とを含む。画像処理エンジン280は、ドライバ制御部281と、タイマ282と、信号処理部283とを含む。
【0063】
表示装置103は、表示装置102と同様な構成を有する。つまり、ドライバ230、液晶パネル240、内部IF278、バックライト279、および画像処理エンジン280は、表示装置102における、ドライバ130、液晶パネル140、内部IF178、バックライト179、画像処理エンジン180と同じ構成をそれぞれ有する。ドライバ制御部281、タイマ282、および信号処理部283は、表示装置102における、ドライバ制御部181、タイマ182、信号処理部183と同じ構成をそれぞれ有する。したがって、表示装置103に含まれる各機能ブロックについての説明は、繰り返さない。
【0064】
ところで、電子機器100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM172に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1731その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ173その他の読取装置によりその記憶媒体から読み取られて、あるいは、外部通信部174または通信IF(図示せず)を介してダウンロードされた後、ROM172に一旦格納される。そのソフトウェアは、CPU110によってROM172から読み出され、RAM171に実行可能なプログラムの形式で格納される。CPU110は、そのプログラムを実行する。
【0065】
図2に示される電子機器100の本体装置101を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM171、ROM172、メモリカード1731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器100の本体装置101のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0066】
なお、記憶媒体としては、メモリカードに限られず、CD−ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【0067】
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【0068】
<光センサ内蔵液晶パネルの構成および駆動について>
次に、液晶パネル140の構成と、当該液晶パネル140の周辺回路の構成とについて説明する。図3は、液晶パネル140の構成と、当該液晶パネル140の周辺回路とを示した図である。
【0069】
図3を参照して、液晶パネル140は、画素回路141と、光センサ回路144と、走査信号線Giと、データ信号線SRjと、データ信号線SGjと、データ信号線SBjと、センサ信号線SSjと、センサ信号線SDjと、読出信号線RWiと、リセット信号線RSiとを含む。なお、iは、1≦i≦mを満たす自然数であり、jは1≦j≦nを満たす自然数である。
【0070】
また、図2に示した表示装置102のドライバ130は、液晶パネル140の周辺回路として、走査信号線駆動回路131と、データ信号線駆動回路132と、光センサ駆動回路133と、スイッチ134と、アンプ135とを含む。
【0071】
走査信号線駆動回路131は、図2に示すドライバ制御部181から制御信号TC1を受ける。そして、走査信号線駆動回路131は、制御信号TC1に基づき、各走査信号線(G1〜Gm)に対して、走査信号線G1から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路131は、単位時間毎に走査信号線(G1〜Gm)の中から1つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するTFT(Thin Film Transistor)142のゲートをターンオンできるだけの電圧(以下、ハイレベル電圧)を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【0072】
データ信号線駆動回路132は、図2に示すドライバ制御部181から画像データ(DR,DG,DB)を受ける。そして、データ信号線駆動回路132は、3n個のデータ信号線(SR1〜SRn,SG1〜SGn,SB1〜SBn)に対して、上記単位時間毎に、1行分の画像データに対応する電圧を順次印加する。
【0073】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【0074】
画素回路141は、1つの画素の輝度(透過率)を設定するための回路である。また、画素回路141は、マトリクス状にm×n個配されている。より詳しくは、画素回路141は、図3の縦方向にm個、横方向にn個配されている。
【0075】
画素回路141は、Rサブピクセル回路141rと、Gサブピクセル回路141gと、Bサブピクセル回路141bとからなる。これら3つの回路(141r,141g,141b)は、それぞれ、TFT142と、画素電極と対向電極とからなる1組の電極対143と、図示しないコンデンサとを含む。
【0076】
なお、n型のトランジスタとp型のトランジスタとを作れるCMOS(Complementary Metal Oxide Semiconductor)を実現できること、キャリア(電子または正孔)の移動速度がアモルファスシリコン薄膜トランジスタ(a-Si TFT)に比べて数百倍早いことなどから、表示装置102では、TFT142として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、TFT142は、n型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT142がp型チャネルの電界効果トランジスタであってもよい。
【0077】
Rサブピクセル回路141r内のTFT142のソースはデータ信号線SRjに接続されている。また、当該TFT142のゲートは走査信号線Giに接続されている。さらに、当該TFT142のドレインは、電極対143の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Gサブピクセル回路141gおよびBサブピクセル回路141bについても、各TFT142のソースが接続されるデータ信号線が異なる以外は、Rサブピクセル回路141rと同じ構成である。このため、これら2つの回路(141g,141b)についての説明は、繰り返さない。
【0078】
ここで、画素回路141における輝度の設定について説明する。まず、走査信号線Giに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、TFT142のゲートがターンオンする。このようにTFT142のゲートがターンオンした状態で、各データ信号線(SRj,SGj,SBj)に対して、それぞれ指定された電圧(1画素分の画像データに対応する電圧)を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ(補助容量)によって、次のフレーム期間において走査信号線Giが選択されるまで保持される。
【0079】
光センサ駆動回路133は、図2に示すドライバ制御部181から制御信号TC2を受ける。
【0080】
そして、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎にリセット信号線(RS1〜RSm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDRを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧VSSRを印加したままとする。たとえば、電圧VDDRを0Vに、電圧VSSRを−5Vに設定すればよい。
【0081】
また、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎に読出信号線(RW1〜RWm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDを印加する。なお、選択されていない読出信号線に対しては、上記電圧VSSRを印加したままとする。たとえば、VDDの値を8Vに設定すればよい。
【0082】
なお、電圧VDDRを印加するタイミング、および電圧VDDを印加するタイミングについては、後述する。
【0083】
光センサ回路144は、フォトダイオード145と、コンデンサ146と、TFT147とを含む。なお、以下では、TFT147がn型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT147がp型チャネルの電界効果トランジスタであってもよい。
【0084】
フォトダイオード145のアノードは、リセット信号線RSiに接続されている。一方、フォトダイオード145のカソードは、コンデンサ146の一方の電極に接続されている。また、コンデンサ146の他方の電極は、読出信号線RWiに接続されている。なお、以下では、フォトダイオード145とコンデンサ146との接続点をノードNと称する。
【0085】
TFT147のゲートは、ノードNに接続されている。また、TFT147のドレインは、センサ信号線SDjに接続されている。さらに、TFT147のソースは、センサ信号線SSjに接続されている。光センサ回路144を用いたセンシングの詳細については、後述する。
【0086】
スイッチ134は、センサ信号線(SD1〜SDn)に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ134の切り換え動作は、光センサ駆動回路133により行われる。なお、スイッチ134が導通状態となった場合にセンサ信号線(SD1〜SDn)に印加される電圧については、後述する。
【0087】
アンプ135は、各センサ信号線(SS1〜SSn)から出力された電圧を増幅する。なお、増幅された電圧は、図2に示した信号処理部183に送られる。
【0088】
なお、画素回路141を用いて画像を液晶パネル140に表示させるタイミングと、光センサ回路144を用いてセンシングするタイミングとについては、画像処理エンジン180が制御する。
【0089】
図4は、液晶パネル140とバックライト179との断面図である。図4を参照して、液晶パネル140は、アクティブマトリクス基板151Aと、対向基板151Bと、液晶層152とを含む。対向基板151Bは、アクティブマトリクス基板151Aに対向して配されている。液晶層152は、アクティブマトリクス基板151Aと対向基板151Bとに挟まれている。バックライト179は、アクティブマトリクス基板151Aに関し液晶層152と反対側に配されている。
【0090】
アクティブマトリクス基板151Aは、偏光フィルタ161と、ガラス基板162と、電極対143を構成する画素電極143aと、フォトダイオード145と、データ信号線157と、配向膜164とを含む。さらに、図4には示していないが、アクティブマトリクス基板151Aは、図3に示した、コンデンサ146と、TFT147と、TFT142と、走査信号線Giとを含む。
【0091】
また、アクティブマトリクス基板151Aにおいては、バックライト179側から、偏光フィルタ161、ガラス基板162、画素電極143a、および配向膜164が、この順に配されている。フォトダイオード145とデータ信号線157とは、ガラス基板162の液晶層152側に形成されている。
【0092】
対向基板151Bは、偏光フィルタ161と、ガラス基板162と、遮光膜163と、カラーフィルタ(153r,153g,153b)と、電極対143を構成する対向電極143bと、配向膜164とを含む。
【0093】
また、対向基板151Bにおいては、液晶層152側から、配向膜164、対向電極143b、カラーフィルタ(153r,153g,153b)、ガラス基板162、および偏光フィルタ161が、この順に配されている。遮光膜163は、カラーフィルタ(153r,153g,153b)と同一の層に形成されている。
【0094】
カラーフィルタ153rは、赤色の波長の光を透過させるフィルタである。カラーフィルタ153gは、緑色の波長の光を透過させるフィルタである。カラーフィルタ153bは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード145は、カラーフィルタ153bに対向する位置に配されている。
【0095】
液晶パネル140は、外光やバックライト179などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル140は、画素電極143aと対向電極143bとの間に電圧を印加することにより液晶層152の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ161を配置している。
【0096】
なお、フォトダイオード145の位置は、上記の位置に限定されるものではなく、カラーフィルタ153rに対向する位置やカラーフィルタ153gに対向する位置に設けることも可能である。
【0097】
ここで、光センサ回路144の動作について説明する。図5は、光センサ回路144を動作させる際のタイミングチャートを示した図である。図5において、電圧VINTは、光センサ回路144内のノードNにおける電位を示している。また、電圧VPIXは、図3に示したセンサ信号線SSjからの出力電圧であって、アンプ135によって増幅される前の電圧を示している。
【0098】
以下では、光センサ回路144をリセットするためのリセット期間と、光センサ回路144を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【0099】
まず、リセット期間について説明する。リセット期間においては、リセット信号線RSiに印加する電圧を、ローレベル(電圧VSSR)からハイレベル(電圧VDDR)へと瞬間的に切り換える。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。このように、リセット信号線RSiに上記ハイレベルの電圧を印加することにより、フォトダイオード145の順方向(アノード側からカソード側)に電流が流れ始める。その結果、ノードNの電位である電圧VINTは、以下の式(1)で示す値となる。なお、式(1)では、フォトダイオード145における順方向の電圧降下量をVfとしている。
【0100】
VINT=VSSR+|VDDR−VSSR|−Vf … (1)
それゆえ、ノードNの電位は、図5に示すとおり、電圧VDDRよりもVfだけ小さな値となる。
【0101】
ここで、電圧VINTは、TFT147のゲートをターンオンさせる閾値以下であるため、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。また、コンデンサ146の電極間には、上記電圧VINT分の差が生じる。このため、コンデンサ146には、当該差に応じた電荷が蓄積される。
【0102】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線RSiに印加する電圧は、ハイレベル(電圧VDDR)からローレベル(電圧VSSR)へと瞬間的に切り換わる。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。
【0103】
このように、リセット信号線RSiに印加する電圧をローレベルに変化させることにより、ノードNの電位は、リセット信号線RSiの電圧および読出信号線RWiの電圧よりも高くなる。このため、フォトダイオード145においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード145は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード145が受光すると、フォトダイオード145のカソード側からアノード側へと電流が流れ始める。その結果、図5に示すとおり、ノードNの電位(つまり、電圧VINT)は時間の経過とともに低くなる。
【0104】
なお、このように電圧VINTが低下し続けるため、TFT147のゲートはターンオンした状態にはならない。それゆえ、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。
【0105】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線RSiに印加する電圧をローレベル(電圧VSSR)のままとする。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)からハイレベル(電圧VDD)へと瞬間的に切り換わる。ここで、電圧VDDは、電圧VDDRよりも高い値である。
【0106】
このように、読出信号線RWiにハイレベルの電圧を瞬間的に印加することにより、図5に示すとおり、コンデンサ146を介してノードNの電位が引き上げられる。なお、ノードNの電位の上昇幅は、読出信号線RWiに印加する電圧に応じた値となる。ここで、ノードNの電位(つまり、電圧VINT)が、TFT147のゲートをターンオンさせる閾値以上まで引き上げられるため、TFT147のゲートがターンオンする。
【0107】
この際、TFT147のドレイン側に接続されたセンサ信号線SDj(図3参照)に予め一定電圧を印加しておけば、TFT147のソース側に接続されたセンサ信号線SSjからは、図5のVPIXのグラフに示すとおり、ノードNの電位に応じた電圧が出力される。
【0108】
ここで、フォトダイオード145が受光する光の量(以下、受光量と称する)が少ないと、図5のVINTのグラフに示す直線の傾きが緩やかになる。その結果、電圧VPIXは、受光量が多い場合に比べて高くなる。このように、光センサ回路144は、フォトダイオード145の受光量に応じて、センサ信号線SSjに出力する電圧の値を変化させる。
【0109】
ところで、上記においては、m×n個存在する光センサ回路のうち、1つの光センサ回路144に着目して、その動作を説明した。以下では、液晶パネル140における各光センサ回路の動作について説明する。
【0110】
まず、光センサ駆動回路133は、n個のセンサ信号線(SD1〜SDn)の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路133は、リセット信号線RS1に対して、通常よりもハイレベルな電圧VDDRを印加する。なお、他のリセット信号線(RS2〜RSm)および読出信号線(RW1〜RWm)については、ローレベルの電圧を印加したままの状態とする。これにより、図3における1行目のn個の光センサ回路が、上述したリセット期間に入る。その後、1行目のn個の光センサ回路は、センシング期間に入る。さらに、その後、1行目のn個の光センサ回路は、読出期間に入る。
【0111】
なお、n個のセンサ信号線(SD1〜SDn)の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【0112】
1行目のn個の光センサ回路の読出期間が終了すると、光センサ駆動回路133は、リセット信号線RS2に対して、通常よりもハイレベルな電圧VDDRを印加する。つまり、2行目のn個の光センサ回路のリセット期間に入る。リセット期間が終了すると、2行目のn個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【0113】
以降は、上述した処理が、順に、3行目のn個の光センサ回路、4行目のn個の光センサ回路、…m行目のn個の光センサ回路に対して行われる。その結果、センサ信号線(SS1〜SSn)からは、1行目のセンシング結果、2行目のセンシング結果、…、m行目のセンシング結果が、この順に出力される。
【0114】
なお、表示装置102においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル140から出力される。このため、以下では、液晶パネル140から出力される1行目からm行目までのm行分の電圧に関するデータに対して、信号処理部183が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物(たとえば、ユーザの指)をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
【0115】
また、上記においては、m×n個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル140の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
【0116】
以下では、電子機器100が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー177を介した入力などに基づく本体装置101から送られてくるコマンドにより行われるものとする。なお、液晶パネル140の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン180が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー177を介してユーザが指定できる構成としてもよい。
【0117】
このように、液晶パネル140の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。1つ目は、上記一部の領域(以下、スキャン領域と称する)以外の表面の領域において、画像を表示させる態様である。2つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置101から画像処理エンジン180に送られてくるコマンドに基づく。
【0118】
図6は、液晶パネル140とバックライト179との断面図であって、スキャンの際にフォトダイオード145がバックライト179からの光を受光する構成を示した図である。
【0119】
図6を参照して、ユーザの指900が液晶パネル140の表面に接触している場合、バックライト179から発せられた光の一部は、当該接触している領域ではユーザの指900(略平面)にて反射される。そして、フォトダイオード145は、当該反射された光を受光する。
【0120】
また、指900が接触していない領域においても、バックライト179から発せられた光の一部は、ユーザの指900にて反射される。この場合においても、フォトダイオード145は、当該反射された光を受光する。ただし、当該領域においては液晶パネル140の表面に指900が接触していないため、指900が接触している領域よりも、フォトダイオード145の受光量は少なくなる。なお、バックライト179から発せられた光のうち、ユーザの指900に到達しない光のほとんどについては、フォトダイオード145は受光できない。
【0121】
ここで、バックライト179を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路144は、ユーザの指900により反射した光の光量に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179の点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
【0122】
以上により、表示装置102は、指900によって光が反射されることにより得られる像(以下、反射像とも称する)をスキャンすることができる。
【0123】
なお、指900以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器100の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機EL(Electro-Luminescence)パネルなどの他のパネルを用いてもよい。
【0124】
<データについて>
次に、第1ユニット1001と第2ユニット1002との間でやり取りされるコマンド、および第1ユニット1001内の本体装置101と表示装置102との間でやり取りされるコマンドについて説明する。
【0125】
図7は、コマンドの概略構成を示した図である。図7を参照して、コマンドは、ヘッダDA01と、第1フィールドDA02と、第2フィールドDA03と、第3フィールドDA04と、第4フィールドDA05と、第5フィールドDA06と、予備のデータ領域DA07とを含む。
【0126】
図8は、種別「000」のコマンド(つまり、センシングコマンド)を説明するための図である。CPU110は、種別「000」のコマンド(以下、「第1コマンド」と称する)を、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU110は、第1コマンドを、本体装置101から表示装置102に送る。なお、以下においては、CPU110が第1コマンドを第1ユニット1001の本体装置101から第2ユニット1002に送る場合を例に挙げて説明する。
【0127】
CPU110は、ヘッダDA01に、コマンドの種別(「000」)、コマンドの送信先等を書き込む。CPU110は、第1フィールドDA02に、番号が「1」のタイミングの値を書き込む。CPU110は、第2フィールドDA03に、番号が「2」のデータ種別の値を書き込む。CPU110は、第3フィールドDA04に、番号が「3」の読取方式の値を書き込む。CPU110は、第4フィールドDA05に、番号が「4」の画像階調の値を書き込む。CPU110は、第5フィールドDA06に、番号が「5」の解像度の値を書き込む。
【0128】
第1フィールドDA02に「00」が設定された第1コマンドは、画像処理エンジン280に対して、そのときのスキャンデータの送信を要求する。つまり、センシング第1コマンドは、当該第1コマンドを画像処理エンジン280が受信した後に、液晶パネル240の光センサ回路を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、第1フィールドDA02に「01」が設定された第1コマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、第1フィールドDA02に「10」が設定された第1コマンドは、一定周期毎にスキャンデータの送信を要求する。
【0129】
第2フィールドDA03に「001」が設定された第1コマンドは、部分画像における中心座標の座標値の送信を要求する。また、第2フィールドDA03に「010」が設定された第1コマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、第2フィールドDA03に「100」が設定された第1コマンドは、全体画像の送信を要求する。
【0130】
ここで、「全体画像」とは、m×n個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン280により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
【0131】
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル240の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
【0132】
第3フィールドDA04に「00」が設定されたセンシング第1コマンドは、バックライト279を点灯してスキャンすることを要求する。また、第3フィールドDA04に「01」が設定された第1コマンドは、バックライト279を消灯してスキャンすることを要求する。なお、バックライト279を消灯してスキャンする構成については後述する(図17)。さらに、第3フィールドDA04に「10」が設定された第1コマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト279を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。
【0133】
第4フィールドDA05に「00」が設定された第1コマンドは、白黒の2値の画像データを要求する。また、第4フィールドDA05に「01」が設定された第1コマンドは、多階調の画像データを要求する。さらに、第4フィールドDA05に「10」が設定された第1コマンドは、RGBのカラーの画像データを要求する。
【0134】
第5フィールドDA06に「0」が設定された第1コマンドは、解像度の高い画像データを要求する。また、第5フィールドDA06に「1」が設定された第1コマンドは、解像度の低い画像データを要求する。
【0135】
また、上記第1コマンドには、図8に示したデータ以外に、スキャンを行う領域(光センサ回路144を駆動する画素の領域)の指定、スキャンを行うタイミング、バックライト179の点灯のタイミングなどが記述されている。
【0136】
なお、画像処理エンジン280は、第1コマンドの内容を解析し、当該解析の結果に従ったデータ(つまり、応答データ)を本体装置101に送り返す。
【0137】
図9は、種別「001」のコマンド(以下、「第2コマンド」と称する)を説明するための図である。CPU110は、第2コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。
【0138】
CPU110は、ヘッダDA01に、コマンドの種別(「001」)、コマンドの送信先等を書き込む。CPU110は、第1フィールドDA02に、番号が「1」の表示要求の値を書き込む。CPU110は、第2フィールドDA03に、番号が「2」の個数/種類に関する情報を書き込む。CPU110は、第3フィールドDA04に、番号が「3」の表示範囲の値を書き込む。CPU110は、第4フィールドDA05に、番号が「4」の画像データに関する情報を書き込む。
【0139】
第1フィールドDA02に「001」が設定された第2コマンドは、液晶パネル240(サブ画面)に画像を表示させることを画像処理エンジン280に対して要求する。また、第1フィールドDA02に「010」が設定された第2コマンドは、液晶パネル240にアイコンを表示させることを画像処理エンジン280に対して要求する。さらに、第1フィールドDA02に「011」が設定された第2コマンドは、液晶パネル240に手書領域を表示させることを画像処理エンジン280に対して要求する。
【0140】
第2フィールドDA03には、液晶パネル240に表示させる画像の個数、および手書言語の種類を指定する番号が格納される。画像処理エンジン280は、当該画像の個数、または言語の種類に応じた処理を行う。
【0141】
第3フィールドDA04に「01」が設定された第2コマンドは、液晶パネル240における表示範囲を座標にて指定することを、画像処理エンジン280に対して要求する。また、第3フィールドDA04に「10」が設定された第2コマンドは、液晶パネル240における表示範囲を表示領域の全体にすることを、画像処理エンジン280に対して要求する。
【0142】
第4フィールドDA05には、液晶パネル240に表示させる画像データと、当該画像データを表示する位置情報とが格納される。画像処理エンジン280は、当該位置情報で特定される位置に当該画像データを表示する処理を行う。
【0143】
図10は、種別「010」のコマンド(以下、「第3コマンド」と称する)を説明するための図である。CPU110は、第3コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU210は、第3コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
【0144】
CPU110,210は、ヘッダDA01に、コマンドの種別(「001」)、コマンドの送信先等を書き込む。CPU110,210は、第1フィールドDA02に、番号が「1」のOS(Operating System)処理要求の値を書き込む。CPU110,210は、第2フィールドDA03に、番号が「2」のOS情報の値を書き込む。
【0145】
第1フィールドDA02に「01」または「10」が設定された第3コマンドは、第2ユニット1002から第1ユニット1001に送信される。
【0146】
第1フィールドDA02に「01」が設定された第3コマンドは、第1ユニット1001に対して、当該第1ユニット1001(メイン装置)のOSの種類を示した情報の送信を要求する。また、第1フィールドDA02に「10」が設定された第3コマンドは、第1ユニット1001に対して、OS情報にて指定されたOSの起動を要求する。
【0147】
第2フィールドDA03に「000」、「001」、または「010」が設定された第3コマンドは、第2ユニット1002から第1ユニット1001に送信される。
【0148】
第2フィールドDA03に「000」が設定された第3コマンドは、第1ユニット1001におけるOSの起動を要求しない。また、第2フィールドDA03に「001」が設定された第3コマンドは、第2ユニット1002が第1OSの起動を選択したことを示す。さらに、第2フィールドDA03に「010」が設定された第3コマンドは、第2ユニット1002が第2OSの起動を選択したことを示す。
【0149】
図11は、種別「011」のコマンド(以下、「第4コマンド」と称する)を説明するための図である。CPU210は、第4コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
【0150】
CPU210は、ヘッダDA01に、コマンドの種別(「011」)、コマンドの送信先等を書き込む。CPU210は、第1フィールドDA02に、番号が「1」の起動アプリに関する情報を書き込む。CPU210は、第2フィールドDA03に、番号が「2」の起動時情報を書き込む。
【0151】
第1フィールドDA02には、第1ユニット1001において起動させるアプリを指定する情報が格納される。第2フィールドDA03には、起動設定時に用いる情報、および起動後に用いる情報が格納される。
【0152】
図12は、種別「100」のコマンド(以下、「第5コマンド」と称する)を説明するための図である。CPU210は、第5コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
【0153】
CPU210は、ヘッダDA01に、コマンドの種別(「100」)、コマンドの送信先等を書き込む。CPU210は、第1フィールドDA02に、番号が「1」の受信要求に関する情報を書き込む。CPU210は、第2フィールドDA03に、番号が「2」の個数に関する情報を書き込む。CPU210は、第3フィールドDA04に、番号が「3」のファイルに関する情報を書き込む。
【0154】
第1フィールドDA02に「01」が設定された第5コマンドは、第1ユニット1001に対してファイルの受信を要求する。また、第2フィールドDA03には、第2ユニット1002が第1ユニット1001に送信するファイルの個数が格納される。さらに、第3フィールドDA04には、第2ユニット1002が第1ユニット1001に送信するファイルが格納される。
【0155】
図13は、種別「101」のコマンド(以下、「第6コマンド」と称する)を説明するための図である。CPU110は、第6コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU210は、第6コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
【0156】
CPU110,210は、ヘッダDA01に、コマンドの種別(「101」)、コマンドの送信先等を書き込む。CPU110,210は、第1フィールドDA02に、番号が「1」の通信種別の値を書き込む。CPU110,210は、第2フィールドDA03に、番号が「2」の接続先の値を書き込む。CPU110,210は、第3フィールドDA04に、番号が「3」の転送先の値を書き込む。CPU110,210は、第4フィールドDA05に、番号が「4」の信号強度の取得タイミングの値を書き込む。
【0157】
第1フィールドDA02に「001」が設定された第6コマンドは、相手側の装置に対して赤外線通信を行なうことを要求する。また、第1フィールドDA02に「010」が設定された第6コマンドは、相手側の装置に対してBluetooth(登録商標)による無線通信を行なうことを要求する。さらに、第1フィールドDA02に「011」が設定された第6コマンドは、相手側の装置に対してLAN通信を行なうことを要求する。
【0158】
第2フィールドDA03に「000」が設定された第6コマンドは、通信の接続先を指定する情報を有していないことを示す。
【0159】
また、第2フィールドDA03に「001」が設定された第6コマンドは、第1ユニット1001によって、当該第1ユニット1001の接続先の装置に送信される。そのような第6コマンドは、第1ユニット1001が接続する装置に関する情報の送信を要求する。
【0160】
さらに、第2フィールドDA03に「010」が設定された第6コマンドは、第2ユニット1002によって、当該第2ユニット1002の接続先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002が接続する第1ユニット1001に関する情報の送信を要求する。
【0161】
また、第2フィールドDA03に「011」が設定された第6コマンドは、第2ユニット1002によって、当該第2ユニット1002の接続先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002に関する情報を接続先の機器情報として設定することを要求する。
【0162】
さらに、第2フィールドDA03に「100」が設定された第6コマンドは、第1ユニット1001によって、当該第1ユニット1001の接続先の装置(たとえば、第2ユニット1002)に送信される。そのような第6コマンドは、第1ユニット1001に関する情報を接続先の機器情報として設定することを要求する。
【0163】
第3フィールドDA04に「000」が設定された第6コマンドは、データ(たとえば、ファイル)の転送先を指定する情報を有していないことを示す。
【0164】
また、第3フィールドDA04に「001」が設定された第6コマンドは、第1ユニット1001によって、データ転送先の装置に送信される。そのような第6コマンドは、データ転送先の装置に関する情報の送信を要求する。
【0165】
さらに、第3フィールドDA04に「010」が設定された第6コマンドは、第2ユニット1002によって、データ転送先の第1ユニット1001に送信される。そのような第6コマンドは、データ転送先の第1ユニット1001に関する情報の送信を要求する。
【0166】
また、第3フィールドDA04に「011」が設定された第6コマンドは、第2ユニット1002によって、データ転送先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002に関する情報をデータ転送元の機器情報として設定することを要求する。
【0167】
さらに、第3フィールドDA04に「100」が設定された第6コマンドは、第1ユニット1001によって、データ転送先の装置(たとえば、第2ユニット1002)に送信される。そのような第6コマンドは、第1ユニット1001に関する情報をデータ転送元の機器情報として設定することを要求する。
【0168】
第4フィールドDA05に「00」、「01」、「10」、または「11」が設定された第6コマンドは、第1ユニット1001によって、第2ユニット1002に送信される。
【0169】
第4フィールドDA05に「00」が設定された第6コマンドは、第2ユニット1002に対して、信号強度を示したデータの送信を要求しない。また、第4フィールドDA05に「01」が設定された第6コマンドは、信号強度検出部297に対して、そのときの信号強度を示したデータの送信を要求する。さらに、第4フィールドDA05に「10」が設定された第6コマンドは、信号強度に変化があったときの信号強度を示したデータの送信を要求する。また、第4フィールドDA05に「11」が設定された第6コマンドは、一定周期毎に信号強度を示したデータの送信を要求する。
【0170】
図14は、応答データの概略構成を示した図である。応答データは、第1コマンド(センシングコマンド)の内容に応じたデータである。
【0171】
第1コマンドが本体装置101から第2ユニット1002に送信された場合、CPU210は、応答データを、表示装置103から第1ユニット1001に送信する。また、第1コマンドが本体装置101から第1ユニット1001の表示装置102に送信された場合、画像処理エンジン180は、応答データを、画像処理エンジン180から本体装置101に送信する。なお、以下では、第1コマンドが本体装置101から第2ユニット1002に送信された場合を例に挙げて説明する。
【0172】
図14を参照して、応答データは、ヘッダのデータ領域DA11と、座標を示すデータ領域DA12と、時刻を示すデータ領域DA13と、画像を示すデータ領域DA14とを含む。ここで、座標を示すデータ領域DA12には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン280のタイマ282から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン280により処理がされた後の画像データ(つまり、スキャンデータ)が書き込まれる。
【0173】
図15は、指900をスキャンすることにより得られた画像(つまり、スキャン画像)を示した図である。図15を参照して、太実線で囲まれた領域W1の画像が全体画像であり、破線で囲まれた領域P1の画像が部分画像である。また、太線で示した十字の中心点C1が、中心座標となる。
【0174】
本実施の形態では、矩形の領域であって、かつセンサ信号線SSjからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素(つまり、予め定められた階調または予め定められた輝度以上の画素)全てを含む領域を、部分画像の領域としている。
【0175】
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点(つまり図心)との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
【0176】
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
【0177】
第1コマンドのデータ種別を示すデータ領域に「001」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に上記中心座標の値を書き込む。この場合、画像処理エンジン280は、画像を示すデータ領域DA14には画像データを書き込まない。画像処理エンジン280は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値を含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「001」が設定されている場合には、第1コマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
【0178】
また、第1コマンドのデータ種別を示すデータ領域に「010」が設定されている場合には、画像処理エンジン280は、画像を示すデータ領域DA14に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン280は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン280は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置104に送る。本体装置104は、当該部分画像の画像データを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「010」が設定されている場合には、第1コマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
【0179】
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指900などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
【0180】
また、第1コマンドのデータ種別を示すデータ領域に「011」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン280は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値と当該部分画像の画像データとを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「011」が設定されている場合には、第1コマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
【0181】
また、第1コマンドのデータ種別を示すデータ領域に「100」が設定されている場合には、画像処理エンジン280は、図14に示した応答データの画像を示すデータ領域DA14に、全体画像の画像データを書き込む。この場合、画像処理エンジン280は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン280は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置104に送る。本体装置104は、当該全体画像の画像データを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「100」が設定されている場合には、第1コマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
【0182】
また、第1コマンドのデータ種別を示すデータ領域に「101」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14に全体画像の画像データを書き込む。その後、画像処理エンジン280は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値と当該全体画像の画像データとを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「101」が設定されている場合には、第1コマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
【0183】
<構成の第1の変形例について>
ところで、液晶パネル140の構成は、図3に示した構成に限定されるものではない。以下では、図3とは異なる態様の液晶パネルについて説明する。
【0184】
図16は、上記異なる態様である光センサ内蔵液晶パネル140Aの回路図である。図16を参照して、光センサ内蔵液晶パネル140A(以下、液晶パネル140Aと称する)は、1画素内に3つの光センサ回路(144r,144g,144b)を含んでいる。このように液晶パネル140Aが1画素内に3つの光センサ回路(144r,144g,144b)を備える点において、液晶パネル140Aは、1画素内に1つの光センサ回路を備える液晶パネル140と異なる。なお、光センサ回路144の構成と、3つの各光センサ回路(144r,144g,144b)との構成は同じである。
【0185】
また、1画素内における3つのフォトダイオード(145r,145g,145b)は、それぞれ、カラーフィルタ153r、カラーフィルタ153g、カラーフィルタ153bに対向する位置に配されている。それゆえ、フォトダイオード145rは赤色の光を受光し、フォトダイオード145gは緑色の光を受光し、フォトダイオード145bは青色の光を受光する。
【0186】
また、液晶パネル140は1画素内において1つの光センサ回路144しか含まないため、1画素内に配設されるTFT147用のデータ信号線は、センサ信号線SSjとセンサ信号線SDjとの2本であった。しかしながら、液晶パネル140Aは1画素内において3つの光センサ回路(144r,144g,144b)を含むため、1画素内に配設されるTFT(147r,147g,147b)用のデータ信号線は6本となる。
【0187】
具体的には、カラーフィルタ153rに対向する位置に配されたフォトダイオード145rのカソードに接続されたTFT147rに対応して、センサ信号線SSRjとセンサ信号線SDRjとが配設される。また、カラーフィルタ153gに対向する位置に配されたフォトダイオード145gのカソードに接続されたTFT147gに対応して、センサ信号線SSGjとセンサ信号線SDGjとが配設される。さらに、カラーフィルタ153bに対向する位置に配されたフォトダイオード145bのカソードに接続されたTFT147bに対応して、センサ信号線SSBjとセンサ信号線SDBjとが配設される。
【0188】
このような液晶パネル140Aにおいては、バックライト179から照射された白色光は、3つのカラーフィルタ(153r,153g,153b)を透過し、液晶パネル140Aの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、3つのカラーフィルタ(153r,153g,153b)を透過する。
【0189】
この際、カラーフィルタ153rは赤色の波長の光を透過し、フォトダイオード145rは、当該赤色の波長の光を受光する。また、カラーフィルタ153gは緑色の波長の光を透過し、フォトダイオード145gは、当該緑色の波長の光を受光する。また、カラーフィルタ153bは青色の波長の光を透過し、フォトダイオード145bは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は3つのカラーフィルタ(153r,153g,153b)によって3原色(R,G,B)に色分解され、各フォトダイオード(145r,145g,145b)は、それぞれに対応した色の光を受光する。
【0190】
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード(145r,145g,145b)の受光量が各フォトダイオード(145r,145g,145b)で異なることになる。このため、センサ信号線SSRjとセンサ信号線SSGjとセンサ信号線SSBjとの出力電圧は互いに異なる。
【0191】
それゆえ、各出力電圧に応じて、Rの階調とGの階調とBの階調とを画像処理エンジン180が決定することにより、画像処理エンジン180はRGBのカラー画像を本体装置101へ送ることができる。
【0192】
以上述べたように、電子機器100が液晶パネル140Aを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
【0193】
次に、図17を参照して、前述のスキャンの方法(つまり、図6における反射像をスキャンする方法)とは異なるスキャンの方法について説明する。
【0194】
図17は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。同図に示すとおり、外光の一部は、指900によって遮られる。それゆえ、指900と接触している液晶パネル140の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指900の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
【0195】
ここで、バックライト179を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路144は、液晶パネル140の表面に対する指900の位置に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179を点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
【0196】
以上により、表示装置102は、指900によって外光が遮られることにより得られる像(以下、影像とも称する)をスキャンすることができる。
【0197】
さらに、表示装置102を、バックライト179を点灯させてスキャンを行った後に、バックライト179を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置102を、バックライト179を消灯させてスキャンを行った後に、バックライト179を点灯させて再度スキャンを行う構成としてもよい。
【0198】
この場合には、2つのスキャン方式を併用することになるため、2つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
【0199】
<表示装置について>
表示装置103の動作は、表示装置102の動作と同様、本体装置101からのコマンド(たとえば、第1コマンド)に応じて制御される。表示装置103は表示装置102と同様な構成を有する。それゆえ、表示装置103が表示装置102と同じコマンドを本体装置101から受付けた場合、表示装置103は表示装置102と同様の動作を行う。このため、表示装置103の構成や動作についての説明は繰り返さない。
【0200】
なお、本体装置101は、表示装置102と表示装置103とに対して、命令が異なるコマンドを送ることができる。この場合、表示装置102と表示装置103とは別々の動作を行う。また、本体装置101は、表示装置102および表示装置103のいずれかに対して、コマンドを送ってもよい。この場合、一方の表示装置のみがコマンドに応じた動作を行う。また、本体装置101が、表示装置102と表示装置103とに命令が同じコマンドを送ってもよい。この場合、表示装置102と表示装置103とは、同じ動作を行う。
【0201】
なお、表示装置102の液晶パネル140のサイズと表示装置103の液晶パネル240のサイズとは、同じであってもよいし又は異なっていてもよい。また、液晶パネル140の解像度と液晶パネル240の解像度とは、同じであってもよいし又は異なっていてもよい。
【0202】
<構成の第2の変形例について>
本実施の形態では、電子機器100が、液晶パネル140と液晶パネル240といったそれぞれに光センサを内蔵した液晶パネルを備える構成について説明するが、一方の液晶パネルのみが光センサを内蔵している構成であってもよい。
【0203】
図18は、電子機器1300のハードウェア構成を表すブロック図である。電子機器1300は、電子機器100と同様、第1の筐体100Aと、第2の筐体100Bとを含む。また、図18を参照して、電子機器1300は、第1ユニット1001Aと、第2ユニット1002とを含む。第1ユニット1001Aは、本体装置101と、表示装置102Aとを含む。第2ユニット1002は、本体装置104と、表示装置103とを含む。
【0204】
表示装置102Aは、光センサを内蔵しない液晶パネル(つまり、表示機能のみを有する液晶パネル)を含む。電子機器1300は、第1ユニット1001Aが光センサを内蔵しない液晶パネルを含む点で、第1ユニット1001が光センサを内蔵した液晶パネル240を含む電子機器100と異なる。このような電子機器1300は、第2ユニット1002の表示装置103を用いて上述したセンシングを行なう。
【0205】
また、第1ユニット1001は、光センサを内蔵した液晶パネル140の代わりに、たとえば抵抗膜方式や静電容量方式のタッチパネルを備えてもよい。
【0206】
また、本実施の形態では、表示装置102がタイマ182を備え、表示装置103がタイマ282を備える構成として説明するが、表示装置102と表示装置103とが1つのタイマを共有する構成としてもよい。
【0207】
また、本実施の形態では、電子機器100を折畳型の機器として説明するが、電子機器100は必ずしも折畳型に限定されるものではない。たとえば、電子機器100は、第1の筐体100Aが第2の筐体100Bに対してスライドする構成のスライド式の機器であってもよい。
【0208】
本実施の形態に係る電子機器100は、上記のように構成されているため、第2ユニット1002が、USBコネクタ194,294を介して第1ユニット1001に着脱自在になっている。
【0209】
そして、本実施の形態に係る電子機器100は、たとえば電源投入時において、以下のような機能を発揮することができる。まず、ユーザが第1ユニット1001の電源スイッチ191を押下すると、第1ユニット1001は電源回路192からの電力を利用することによってBIOS(Basic Input/Output System)を起動させる。
【0210】
第2ユニット1002は、USBコネクタ194,294を介して第1ユニット1001から電力を取得する。第2ユニット1002は、当該電力を利用することによって、第1ユニット1001との間でデータを送受信することができる。このとき、第2ユニット1002のCPU210は、USBコネクタ194,294からの電力を使用することによって、液晶パネル240にOS(Operation System)の種類を選択可能に表示させることができる。
【0211】
ユーザは、液晶パネル240を介して、起動したいOSを選択する。CPU210は、ユーザの選択に応じ、USBコネクタ194,294を介して第1ユニット1001へと、起動すべきOSを指定するコマンド(たとえば、図10に示す「第1のOS」コマンド)を送信する。第1ユニット1001は、当該コマンドに応じて、OSを起動する。
【0212】
また、たとえば、第2ユニット1002は、アンテナ295を介して外部の携帯電話などとの間でデータの送受信を行なう。第2ユニット1002のCPU210は、アンテナ295を介して、外部の携帯電話から写真画像データや対応するサムネイルデータを取得して、当該写真画像データや対応するサムネイルデータをRAM271などに格納する。CPU210は、RAM271からサムネイルデータを読み出して、液晶パネル240に写真のサムネイル画像を選択可能に表示させる。
【0213】
そして、外部からの選択命令に応じて、CPU210は、液晶パネル240に写真画像を表示させる。あるいは、CPU210は、USBコネクタ294を介して、写真画像を液晶パネル140あるいは表示装置102Aに表示させる。
【0214】
<通信システムの概略について>
図19は、通信システム1の概略構成を示した図である。図19を参照して、通信システム1は、電子機器100と、電子機器2000と、サーバ装置9000とを含む。電子機器2000は、携帯型電話機、PDA、ノート型のパーソナルコンピュータなどの通信機能と表示機能とを有する携帯型デバイスとして構成される。なお、以下では、電子機器100がノート型のパーソナルコンピュータであり、かつ電子機器2000が携帯電話機である場合を例に挙げて説明する。
【0215】
電子機器100および電子機器2000は、自身に割り当てられたIP(Internet Protocol)アドレスを利用することにより、直接的に相互にネットワークを介してデータ送受信を行う。すなわち、通信システム1に含まれる電子機器100,2000は、いわゆるP2P(Pear to Pear)型のネットワークを構成する。
【0216】
なお、以下では、電子機器100と電子機器2000との間の通信において、相手機器への画像データの送信は、電子機器100の操作キー177や電子機器2000の操作キー(図20参照)のうち予め定められたキーの押下により行なわれるものとする。
【0217】
サーバ装置9000は、物件データと地図データとを関連付けて記憶している。「物件データ」とは、物件の所在地、物件の間取り、物件の賃料、物件の外観、物件の築年数、物件の設備などの住宅に関する各情報(住宅情報)を示したデータである。
【0218】
サーバ装置9000は、地図データの送信指示を受付けると、指示を出した電子機器に対して指示に関連した地図データを送信する。当該地図データの送信の際、サーバ装置9000は、当該地図データに基づく地図画像の領域(以下、「地図領域」と称する)に含まれる物件を当該地図画像上に表示するためのデータ(以下、「付随データ」)を、当該地図データに関連付けて送信する。
【0219】
なお、以下では、電子機器100が上記地図データと上記付随データとを液晶パネル140に表示させた場合に表示される画像を、「第1画像」と称する。また、付随データに基づき地図画像上に表示される画像を、「オブジェクト」と称する。つまり、第1画像はオブジェクトを含む。また、詳しくは後述するが、上記オブジェクトは、操作キー177またはポインティングデバイス(図示せず)により指定可能に構成されている。
【0220】
<電子機器2000の外観>
図20は、電子機器2000の外観を示した図である。図20を参照して、電子機器2000は、マイクロフォン2105と、操作キー2107と、液晶パネル2108と、イヤホン2109と、カメラ(図示せず)とを含む。
【0221】
電子機器2000は、第1の筐体2000Aと第2の筐体2000Bとを含む。第1の筐体2000Aと第2の筐体2000Bとは、ヒンジ2000Cにより折畳み可能に接続されている。第1の筐体2000Aは、液晶パネル2108と、イヤホン2109とを備える。第2の筐体2000Bは、操作キー2107と、マイクロフォン2105と、カメラとを備える。
【0222】
なお、電子機器2000は必ずしも折畳型の機器に限定されるものではない。たとえば、電子機器2000は、ストレート型の機器でもよい。あるいは、電子機器2000は、スライド型の機器であってもよい。
【0223】
<電子機器2000のハードウェア構成について>
図21は、電子機器2000のハードウェア構成を示した図である。図21を参照して、電子機器2000は、CPU2100と、RAM2101と、ROM2102と、通信部2103と、カメラ2104と、マイクロフォン2105と、スピーカ2106と、操作キー2107と、液晶パネル2108と、イヤホン2109とを含む。各構成要素は、相互にデータバスDB3によって接続されている。
【0224】
CPU2100は、プログラムを実行する。操作キー2107は、電子機器2000の使用者による指示の入力を受ける。RAM2101は、CPU2100によるプログラムの実行により生成されたデータ、または操作キー2107を介して入力されたデータを揮発的に格納する。ROM2102は、データを不揮発的に格納する。また、ROM2102は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどの書込みおよび消去が可能なROMである。通信部2103は、他の電子機器(図示せず)との間で無線通信を行う。なお、図21には示していないが、電子機器2000が、他の電子機器に有線により接続するためのインターフェイス(IF)を備える構成としてもよい。
【0225】
カメラ2104は、ユーザの操作キーの操作に応じて、被写体を撮影する。なお、撮影された被写体の画像データは、RAM2102や外部メモリ(たとえば、メモリカード)に格納される。
【0226】
マイクロフォン2105は、ユーザの音声の入力を受付ける。電子機器2000は、当該入力された音声(アナログデータ)をデジタル化する。そして、電子機器2000は、通信相手(たとえば、他の携帯電話機)にデジタル化した音声を送る。
【0227】
スピーカ2106は、たとえば、RAM2101に記憶された音楽データなどに基づく音を出力する。イヤホン2109は、通信相手から送られてきた音声を出力する。
【0228】
液晶パネル2108は、ROM2102やRAM2101に記憶されている画像を表示する。液晶パネル2108は、たとえば、カメラ2104で撮影した画像を表示する。さらに、液晶パネル2108は、電子機器100から送信された画像を表示する。液晶パネル2108に表示される内容については、後述する。
【0229】
また、液晶パネル2108は、ペンタブレットに液晶ディスプレイを統合させた液晶ペンタブレットである。したがって、電子機器2000は、液晶パネル2108を介して線画像の手書入力データを受付けることができる。電子機器2000は、液晶パネル2108に手書入力データを表示する。
【0230】
なお、電子機器2000は、液晶パネル2108の代わりに、液晶パネル以外の表示パネル(たとえば、有機EL)とタブレットとが統合された装置を備える構成としてもよい。あるいは、電子機器2000は、液晶パネル2108の代わりに、光センサ液晶パネルを備える構成であってもよい。
【0231】
ところで、電子機器2000における処理は、各ハードウェアおよびCPU2100により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM2102に予め記憶されている場合がある。また、ソフトウェアは、記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、上記記憶媒体から読み取られて、あるいは、通信部2103または通信IF(図示せず)を介してダウンロードされた後、ROM2102に一旦格納される。そのソフトウェアは、CPU2100によってROM2102から読み出され、RAM2101に実行可能なプログラムの形式で格納される。CPU2100は、そのプログラムを実行する。
【0232】
図21に示される電子機器2000を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM2101、ROM2102、上記記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器2000のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0233】
なお、記憶媒体としては、メモリカードに限られず、CD−ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【0234】
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【0235】
<電子機器100の機能ブロックについて>
図22は、電子機器100の機能ブロック図である。図22を参照して、電子機器100は、制御部10と、液晶パネル140,240と、記憶装置90とを含む。記憶装置90は、電子機器100に内蔵されている。また、記憶装置90は、VRAM91を含む。記憶装置90は、たとえば、RAM171,271により構成される。
【0236】
制御部10は、受信部11と、表示制御部12と、第1受付部13と、送信部14と、第2受付部15とを含む。
【0237】
受信部11は、サーバ装置9000から、上記地図データと付随データとを受信する。なお、受信部11は、電子機器100からの要求信号に対する応答信号として、地図データと付随データとを受信する。当該要求信号は、送信部14により送信される。また、受信部11は、地図データと付随データとを表示制御部12に送る。
【0238】
表示制御部12は、液晶パネル140および液晶パネル240の少なくともいずれかに、画像を表示させる。表示制御部12は、たとえば、地図データと付随データとに基づき、上述した第1画像を液晶パネル140に表示させる。
【0239】
第1受付部13は、液晶パネル140に上記第1画像が表示されている状態で、第1画像に含まれる上記オブジェクトを指定する入力を受付ける。なお、当該入力は、操作キー177やポインティングデバイスなどの入力デバイスを介して行われる。第1入力部13は、オブジェクトを指定する入力を受付けると、指定したオブジェクトを示す第1情報を送信部14に送る。
【0240】
送信部14は、上記第1情報を第1受付部13から受付けると、当該第1情報をサーバ装置9000に送信する。
【0241】
送信部14が第1情報をサーバ装置9000に送信した後、受信部11は、上記第1情報に関連した第2情報をサーバ装置9000から受信する。なお、受信部11は、電子機器100からの要求信号(第1情報)に対する応答信号として、第2情報を受信する。また、本実施の形態では、第2情報は、上述した物件データである。以下では、第2情報を物件データとして説明する。
【0242】
受信部11が上記物件データを受信した場合、表示制御部12は、液晶パネル240に当該物件データを表示させる。
【0243】
第2受付部15は、液晶パネル240に上記物件データが表示された状態で、液晶パネル240を介して手書入力データを受付ける。第2受付部は、当該手書入力データを表示制御部12と送信部14とに送る。
【0244】
表示制御部12は、第2受付部15から手書入力データを受付けた場合、入力を受付けた液晶パネル240に表示されている画像の画像データ(VRAM91に格納されている画像データ)と、当該手書入力データとを合成して、合成画像データを生成する。表示制御部12は、当該合成画像データに基づく合成画像を液晶パネル240に表示させる。
【0245】
なお、以下では、各液晶パネル140,240,2108に表示されている画像を、「表示画像」と称する。また、表示画像の画像データを、「表示データ」と称する。
【0246】
送信部14は、第2受付部15から手書入力データを受付けた場合、物件データと手書入力データとを、電子機器2000に送信する。また、送信部14は、物件データを既に電子機器2000に送信している場合には、手書入力データを電子機器2000に送信する。
【0247】
受信部11は、さらに、電子機器2000において入力された手書入力データを受信する。受信部11は、当該受信した手書入力データを表示制御部12に送る。表示制御部12は、表示データ(つまり、物件データおよび電子機器2000に送信した手書入力データ)と当該受信した手書入力データと合成して、当該合成した画像データに基づく画像を液晶パネル240に表示させる。送信部14は、当該合成した画像データを、サーバ装置9000に送信する。
【0248】
<電子機器2000の機能ブロックについて>
図23は、電子機器2000の機能ブロック図である。図23を参照して、電子機器2000は、制御部2010と、液晶パネル2108と、記憶装置2090とを含む。記憶装置2090は、VRAM2091を含む。なお、記憶装置2090は、RAM2101により構成される。
【0249】
制御部2010は、受信部2011と、表示制御部2012と、受付部2013と、送信部2014とを含む。
【0250】
受信部2011は、電子機器100の送信部14により送信された、上記物件データと上記手書入力データとを受信する。受信部2011は、当該受信した物件データと手書入力データとを表示制御部2012に送る。
【0251】
表示制御部2012は、物件データと手書入力データとを合成して、合成画像データを生成する。表示制御部12は、当該合成画像データに基づく合成画像を液晶パネル2108に表示させる。
【0252】
受付部2013は、液晶パネル2108を介して手書入力データを受付ける。受付部2013は、たとえば、液晶パネル2108に表示制御部2012により合成された合成画像が表示されている状態で、液晶パネル2108を介して手書入力データを受付ける。受付部2013は、受付けた手書入力データを表示制御部2012と送信部2014とに送る。
【0253】
表示制御部2012は、受付部2013から手書入力データを受付けた場合、入力を受付けた液晶パネル2018に表示されている画像の画像データ(VRAM2091に格納されている画像データ)と、当該手書入力データとを合成して、合成画像データを生成する。表示制御部2012は、当該合成画像データに基づく合成画像を液晶パネル2108に表示させる。
【0254】
送信部2014は、受付部2013から送られきた手書入力データを電子機器100に送信する。
【0255】
<画面遷移について>
次に、電子機器100と電子機器2000との間で通信を行なう際の、電子機器100の液晶パネル140,240に表示される内容と、電子機器2000の液晶パネル2108に表示される内容とについて、説明する。
【0256】
図24は、電子機器100が上記第1画像を液晶パネル140に表示させた場合を示した図である。図24を参照して、電子機器100は、液晶パネル140に、地図画像と複数個のオブジェクトとを表示する。なお、電子機器100は、各オブジェクトを地図画像に重畳して表示する。本実施の形態では、各オブジェクトは、番号を示した文字と当該文字を囲む図形とを用いて構成される。
【0257】
図25は、電子機器100が上記物件データをサーバ装置9000から受信した後の、電子機器100の液晶パネル240に表示される画像を示した図である。図25を参照して、電子機器100は、液晶パネル240に上記物件データを表示させる。同図は、物件データのうちの間取りを示したデータに基づく画像を液晶パネル240に表示した例を示している。
【0258】
図26は、図25の状態において、電子機器100のユーザが液晶パネル240を介して手書入力を行なった場合における、電子機器100に表示される画像を示した図である。なお、手書入力として、文字C11と図形C12,13とが、電子機器100に入力されたとする。
【0259】
図26を参照して、電子機器100は、上記入力された文字C11および図形C12,13を、間取りを示した画像(つまり、表示画像)に重畳して表示する。電子機器100は、文字C11および図形C12、13に基づく手書入力データを電子機器2000に送る。
【0260】
図27は、文字C11および図形C12、13に基づく手書入力データを電子機器2000が受信し、さらに表示制御部2013が上述した合成画像データを生成した場合において、電子機器2000の液晶パネル2108に表示される画像を示した図である。
【0261】
図26および図27を参照して、電子機器100の液晶パネル240と、電子機器2000の液晶パネル2108とには、同じ内容の画像が表示される。これにより、電子機器100のユーザと、電子機器2000のユーザとは、同じ内容の画像を互いの液晶パネル240,2108にて確認することができる。
【0262】
図28は、図27の状態において、電子機器2000のユーザが液晶パネル2108を介して手書入力をさらに行なった場合における、電子機器2000に表示される画像を示した図である。なお、手書入力として、図形C14および文字C15が、電子機器2000に入力されたとする。
【0263】
図28を参照して、電子機器2000は、上記入力された図形C14および文字C15を、表示画像(文字C11および図形C12、13が重畳された間取りを示した画像)に重畳して表示する。電子機器2000は、図形C14および文字C15の手書入力データを電子機器100に送る。
【0264】
図29は、図形C14および文字C15に基づく手書入力データを電子機器100が受信し、さらに表示制御部12が上述した合成画像データを生成した場合において、電子機器100の液晶パネル140,240に表示される画像を示した図である。図29を参照して、電子機器100は、上記図形C14および文字C15に基づく手書入力データを、液晶パネル240に表示された表示画像に重畳して表示する。
【0265】
図28および図29を参照して、電子機器100の液晶パネル240と、電子機器2000の液晶パネル2108とには、同じ内容の画像が表示される。これにより、電子機器2000が電子機器100に手書入力データを送信した場合にも、電子機器100のユーザと、電子機器2000のユーザとは、同じ内容の画像を互いの液晶パネル240,2108にて確認することができる。
【0266】
<通信システム1におけるシーケンスについて>
図30は、電子機器100と電子機器2000とサーバ装置9000との間のシーケンスを示した図である。具体的には、図30は、図24から図29に基づき説明した処理を含んだシーケンスを示した図である。
【0267】
ステップS1において、電子機器100は、地図データと付随データとを受信するために、要求信号をサーバ装置9000に送信する。ステップS2において、サーバ装置9000は、地図データと付随データとを電子機器100に送信する。ステップS3において、電子機器100は、指定したオブジェクトに関する物件データを受信するために、要求信号をサーバ装置9000に送信する。ステップS4において、サーバ装置9000は、物件データを電子機器100に送信する。
【0268】
ステップS5において、電子機器100は、物件データと手書入力データとを電子機器2000に送信する。ステップS6において、電子機器2000は、電子機器2000にて入力された手書入力データを電子機器100に送信する。
【0269】
ステップS7において、電子機器100は、液晶パネル240に関する表示データ(つまり、物件データと電子機器2000に送信した手書入力データとを合成した画像データ)と電子機器2000から受信した手書入力データとを合成して、当該合成した画像データをサーバ装置9000に送信する。
【0270】
<電子機器100における処理フローについて>
図31は、電子機器100におけるデータ処理のフローを示したフローチャートである。なお、説明の便宜上、図30におけるステップS7に示した電子機器100からサーバ装置9000への画像データの送信処理については、図31には含めていない。
【0271】
図31を参照して、ステップS11において、電子機器100は、地図データと付随データとをサーバ装置9000から受信する。ステップS12において、電子機器100は、地図データと付随データとに基づく画像である第1画像を液晶パネル140に表示する。ステップS13において、電子機器100は、表示画像に含まれるオブジェクトの指定を受付ける。
【0272】
ステップS14において、電子機器100は、指定されたオブジェクトを示す第1情報をサーバ装置9000に送信する。ステップS15において、電子機器100は、第1情報に関連する物件データをサーバ装置9000から受信する。ステップS16において、電子機器100は、受信した物件データに基づく画像を液晶パネル240に表示する。
【0273】
ステップS17において、電子機器100は、液晶パネル240を介して手書入力データを受付けたか否かを判断する。電子機器100が手書入力データを受付けたと判断した場合(ステップS17においてYES)、ステップS18において、電子機器100は、物件データと手書入力データとを合成する。一方、電子機器100が手書入力データを受付けていないと判断した場合(ステップS17においてNO)、ステップS21において、電子機器100は、物件データを電子機器2000に送信する。
【0274】
ステップS19において、電子機器100は、合成後の画像データに基づく画像を液晶パネル240に表示する。ステップS20において、電子機器100は、物件データと手書入力データとを電子機器2000に送信する。
【0275】
ステップS22において、電子機器100は、手書入力データである画像データを電子機器2000から受信したか否かを判断する。電子機器100がステップS22において受信したと判断した場合(ステップS22においてYES)、ステップS23において、電子機器100は、受信した画像データを液晶パネル240における表示画像に重畳して表示する。一方、電子機器100が受信していないと判断した場合(ステップS22においてNO)、CPU110は処理をステップS24に進める。
【0276】
ステップS24において、電子機器100は、電子機器2000との通信が終了したか否かを判断する。電子機器100が終了したと判断した場合(ステップS24においてYES)、CPU110は、一連の処理を終了する。一方、電子機器100が終了していないと判断した場合(ステップS24においてNO)の場合、CPU110は、処理をステップS17に戻す。
【0277】
<電子機器2000における処理フローについて>
図32は、電子機器2000におけるデータ処理のフローを示したフローチャートである。図32を参照して、ステップS31において、電子機器2000は、手書入力データである画像データを電子機器100から受信する。ステップS32において、電子機器2000は、受信した画像データに基づく画像を液晶パネル2108に表示する。
【0278】
ステップS33において、電子機器2000は、液晶パネル2108を介して手書入力データを受付けたか否かを判断する。電子機器2000が手書入力データを受付けたと判断した場合(ステップS33においてYES)、ステップS34において、電子機器2000は、表示データと当該受付けた手書入力データとを合成する。一方、電子機器2000が手書入力データを受付けていないと判断した場合(ステップS33においてNO)、CPU2100は、処理をステップS38に進める。
【0279】
ステップS35において、電子機器2000は、合成後の画像データに基づく画像を液晶パネル2108に表示する。ステップS36において、電子機器2000は、液晶パネル2108を介して入力された手書入力データを電子機器100に送信する。
【0280】
ステップS37において、電子機器2000は、手書入力データである画像データを電子機器100から受信したか否かを判断する。電子機器2000が受信したと判断した場合(ステップS37においてYES)、CPU2100は処理をステップS34に戻す。一方、電子機器2000が受信していないと判断した場合(ステップS37においてNO)、CPU2100は処理をステップS38に進める。
【0281】
ステップS38において、電子機器2000は、電子機器100との通信が終了したか否かを判断する。電子機器2000が終了したと判断した場合(ステップS38においてYES)、CPU2100は、一連の処理を終了する。一方、電子機器2000が終了していないと判断した場合(ステップS38においてNO)の場合、CPU2100は、処理をステップS33に戻す。
【0282】
<まとめ>
以上のように、電子機器100は、表示パネル140に第1画像が表示されている状態で、第1画像に含まれるオブジェクトを指定する入力を受け付ける。また、電子機器100は、当該指定したオブジェクトを示す第1情報を、サーバ装置9000に送信する。さらに、電子機器100は、第1情報に関連した第2情報を、サーバ装置9000から受信する。そして、電子機器100は、当該受信した第2情報を、表示パネル240に表示させる。
【0283】
したがって、電子機器100は、液晶パネル140に表示されたオブジェクトを指定することにより、電子機器2000から当該オブジェクトに関する第2情報を取得できる。さらに、電子機器100は、当該第2情報に基づく画像を他方の液晶パネル240に表示可能となる。
【0284】
さらに、電子機器100は、液晶パネル140とは異なる液晶パネル240に第2情報を表示するため、液晶パネル140の表示態様を変化させる必要がない。それゆえ、電子機器100は、地図画像の一部または全部の表示が第2情報の表示によって妨げられることを防止できる。
【0285】
また、電子機器100は、第2情報が表示された状態で、液晶パネル240を介して手書入力データを受け付ける。さらに、電子機器100は、第2情報と当該受付けた手書入力データとを、電子機器2000に送信する。
【0286】
したがって、電子機器2000は、第2情報と、電子機器100にて入力された手書入力データとを取得することができる。
【0287】
また、電子機器100は、電子機器2000において入力された手書入力データを受信する。また、電子機器100は、第2情報に含まれる画像データと、電子機器100が電子機器2000に送信した手書入力データと、電子機器2000から受信した手書入力データとを合成して、当該合成によって得られる画像データに基づく画像を液晶パネル240に表示させる。
【0288】
したがって、電子機器100は、液晶パネル240の表示画像に対して、電子機器2000から受信した手書入力データに基づく画像を重畳して表示することができる。
【0289】
<通信システム1の構成の変形例>
以下、通信システム1の構成の変形例について説明する。具体的には、通信システム1がチェックボックスを利用する構成について説明する。通信システム1は、電子機器100の代わりに後述する電子機器3300(図33参照)を含み、電子機器2000の代わりに後述する電子機器3400(図34参照)を含む。なお、チェックボックスとは、GUI(Guraphical User Interface)の構成要素の一種である。チェックボックスは、複数のオプション項目から少なくとも1つ以上の項目をユーザが選択するために用いられる。
【0290】
(電子機器3300について)
図33は、電子機器3300の機能ブロックを示した図である。図33を参照して、電子機器3300は、制御部10Aと、記憶装置90と、液晶パネル140と、液晶パネル240とを含む。また、制御部10Aは、受信部11と、表示制御部12と、第1受付部13と、送信部14と、第2受付部15と、変更部16とを含む。
【0291】
なお、電子機器3300に関しては、電子機器100に含まれる部材と同一の機能を備える部材については電子機器100における部材と同じ番号を付している。なお、以下では、同じ番号を付した部材についての当該同一の機能の説明は繰り返さない。
【0292】
電子機器3300は、変更部16を含む点において、変更部16を含まない電子機器100と異なる。また、通信システム1における各機器間でやり取りされる第2情報は、当該第2情報に関連する複数の項目に関し、各々の項目でチェックボックスを表示させるデータを含む。さらに、第2情報は、上記チェックボックスを表示させるデータとして、少なくとも第1チェックボックス群を示すデータと第2チェックボックス群を示すデータとを含む(図35から図38を参照)。
【0293】
表示制御部12は、間取りを示した画像とともに、複数のチェックボックスを液晶パネル240に表示させる。変更部16は、操作キー177などからの入力にしたがい、各チェックボックスの状態をチェック状態または非チェック状態にそれぞれ変更する。より詳しくは、変更部16は、第1チェックボックス群に含まれる各チェックボックスについての状態を変更する。なお、第2チェックボックス群に含まれる各チェックボックスの状態は、電子機器2000により変更される。
【0294】
受信部11は、第2チェックボックス群に含まれる各チェックボックスの状態を示した状態情報を電子機器2000から受信する。受信部11は、たとえば、液晶パネル2108を介して入力された手書入力データとともに当該状態情報を電子機器2000から受信する。送信部14は、第1チェックボックス群の各チェックボックスの状態と第2チェックボックス群の各チェックボックスの状態とを示した状態情報を、サーバ装置9000に送信する。
【0295】
受信部11は、上記状態情報に関連する関連情報をサーバ装置9000から受信する。より詳しくは、受信部11は、当該関連情報として、第1チェックボックス群においてチェック状態とした項目に関連する第1関連情報と、第2チェックボックス群においてチェック状態とした項目に関連する第2関連情報とを受信する。
【0296】
表示制御部12は、上記関連情報を液晶パネル240に表示させる。より詳しくは、表示制御部12は、第1関連情報を液晶パネル240に表示させる。送信部14は、第2関連情報を電子機器2000に送信する。
【0297】
上記関連情報は、たとえば、上述した物件データよりも詳細な内容を示した物件についての情報(以下、「詳細情報」と称する)である。当該詳細情報としては、たとえば、キッチンシステムのメーカ名、壁の断熱構造などの情報が該当する。
【0298】
上記においては、チェックボックスを物件の詳細情報を取得する目的で利用したが、上記チェックボックスをサーバ装置9000における物件データの再検索に用いてもよい。
【0299】
(電子機器3400について)
図34は、電子機器3400の機能ブロックを示した図である。図34を参照して、電子機器3400は、制御部2010Aと、記憶装置2090と、液晶パネル2108とを含む。また、制御部2010Aは、受信部2011と、表示制御部2012と、受付部2013と、送信部2014と、変更部2015とを含む。
【0300】
なお、電子機器3400に関しては、電子機器2000に含まれる部材と同一の機能を備える部材については電子機器2000における部材と同じ番号を付している。なお、以下では、同じ番号を付した部材についての当該同一の機能の説明は繰り返さない。
【0301】
変更部2015は、電子機器2000に表示されている各チェックボックスの状態を、チェック状態または非チェック状態にそれぞれ変更する。より具体的には、変更部2015は、上記第2チェックボックス群に含まれる各チェックボックスについて状態を変更する。
【0302】
送信部2014は、第2チェックボックス群における状態情報を、電子機器100に送信する。受信部2011は、電子機器100を介して、サーバ装置9000から、第2チェックボックス群においてチェック状態とした項目に関連する第2関連情報を受信する。表示制御部2012は、受信した第2関連情報を液晶パネル2108に表示させる。
【0303】
(チェックボックスの表示例について)
図35は、電子機器3300の液晶パネル240に、間取りを示した画像と、第1チェックボックス群J1および第2チェックボックス群J2とを表示した状態を示した図である。図35を参照して、電子機器3300は、上述した詳細情報として、キッチンの情報、壁の情報、バスの情報、トイレの情報、および床の情報などの各種情報をサーバ装置9000から取得するために、キッチンなどの各項目に対応してチェックボックスを表示する。また、電子機器3300では、第1チェックボックス群J1に含まれる各チェックボックスに関して、チェックボックスの状態変更を受付ける。
【0304】
図36は、第1チェックボックス群J1のキッチンの項目がチェック状態になっている状態を示した図である。電子機器3300のユーザが、操作キー177などを介して、第1チェックボックス群J1におけるキッチンの項目のチェックボックスを選択することにより、変更部16は、キッチンの項目を非チェック状態からチェック状態に変更する。
【0305】
送信部14は、第1チェックボックス群における状態情報を、電子機器3400に送信する。これにより、電子3400は、図36と同じ内容を液晶パネル2108に表示する。
【0306】
電子機器3400は、第2チェックボックス群J2に含まれる各チェックボックスに関して、チェックボックスの状態変更を受付ける。電子機器3400は、たとえば、電子機器3400のユーザが、操作キー2107などを介して、第2チェックボックス群J2における壁の項目のチェックボックスを選択することにより、変更部2015は、壁の項目を非チェック状態からチェック状態に変更する。
【0307】
図37は、第2チェックボックス群J2における壁の項目のチェックボックスをチェック状態に変更した後の液晶パネル2108の表示画面を示した図である。図37を参照して、電子機器3400は、電子機器3300でチェック状態にされた項目と、電子機器3400でチェック状態にされた項目とを液晶パネル2108に表示する。
【0308】
送信部2014は、第2チェックボックス群J2における状態情報を、電子機器3300に送信する。当該状態情報を受信した電子機器3300は、図37に示した表示画面と同じ内容の表示画面が液晶パネル240に表示する。
【0309】
なお、上述したとおり、電子機器3300は、第1チェックボックス群J1における状態情報と、第2チェックボックス群J2における状態情報とを、サーバ装置9000に送信する。したがって、電子機器3300は、サーバ装置9000からキッチンに関する詳細情報を取得することができる。また、電子機器3400は、電子機器3300を介して、サーバ装置9000から壁に関する詳細情報を取得することができる。
【0310】
次に、上記チェックボックスを物件データの再検索に用いる構成を説明する。
図38は、電子機器3300の液晶パネル240に、間取りを示した画像と、絞込検索用の各チェックボックス群J1,J2とを表示した状態を示した図である。図38を参照して、第1チェックボックス群J1の各チェックボックスの状態は、上述したように、電子機器3300において変更される。一方、第2チェックボックス群J2の各チェックボックスの状態は、上述したように、電子機器3300において変更される。
【0311】
電子機器3300は、第1チェックボックス群J1における状態情報と、第2チェックボックス群J2における状態情報とを、サーバ装置9000に送信する。
【0312】
サーバ装置9000は、各チェックボックス群J1,J2における状態情報に基づき、物件データの絞込検索を行なう。そして、サーバ装置9000は、検索結果(物件データ)を電子機器3300に送信する。電子機器3300は、当該検索結果を電子機器3400に送信する。
【0313】
それゆえ、電子機器3300,3400は、電子機器3300のユーザの希望と電子機器3400のユーザの希望とを満たす物件データを取得することができる。
【0314】
ところで、上記の実施の形態においては、電子機器100がサーバ装置9000から住宅情報(物件データ)を取得し、液晶パネル240に住宅情報を表示する構成を例に挙げて説明した。しかしながら、電子機器100がサーバ装置9000から取得する情報は住宅情報に限定されるものではない。たとえば、サーバ装置9000が車のカタログを記憶している場合には、電子機器100はサーバ装置9000から車のカタログを取得してもよい。また、サーバ装置9000を写真店の装置とし、かつ電子機器100を注文側の機器として、デジタル写真のプリント注文の処理に本通信システム1を適用してもよい。
【0315】
<送信するデータの変形例について>
ところで、上記においては、液晶パネルを介して受け付けた手書入力データ(画像データ)を一方の電子機器が他方の電子機器に送信する構成を例に挙げて説明した。電子機器100,2000の構成はこのような構成に限定されず、以下のような構成としてもよい。
【0316】
電子機器100の制御部10は、液晶パネル240を介して受け付けた手書入力データに基づきストロークデータを生成する。送信部14は、当該生成されたストロークデータを電子機器2000に送信する。なお、電子機器2000は、電子機器100から上記ストロークデータを受信し、当該受信したストロークデータに基づく画像を液晶パネル2108に表示すればよい。
【0317】
また、電子機器2000の制御部2010は、電子機器100と同様、液晶パネル2108を介して受け付けた手書入力データに基づきストロークデータを生成する。送信部2014は、当該生成されたストロークデータを電子機器100に送信する。なお、電子機器100は、電子機器2000から上記ストロークデータを受信し、当該受信したストロークデータに基づく画像を液晶パネル240に表示すればよい。
【0318】
このような構成とすることにより、画像データを通信相手の電子機器100,2000に送信する構成に比べ、送信するデータ量を低減することが可能となる。
【0319】
また、電子機器3300,3400についても、上記と同様、ストロークデータを送受信する構成としてもよい。
【0320】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【0321】
【図1】本実施の形態に係る通信システムに含まれる電子機器の外観を示した図である。
【図2】電子機器のハードウェア構成を表わすブロック図である。
【図3】電子機器の液晶パネルの構成と、当該液晶パネルの周辺回路とを示した図である。
【図4】液晶パネルとバックライトとの断面図である。
【図5】光センサ回路を動作させる際のタイミングチャートを示した図である。
【図6】液晶パネルとバックライトとの断面図であって、スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した図である。
【図7】コマンドの概略構成を示した図である。
【図8】種別「000」のコマンドを説明するための図である。
【図9】種別「001」のコマンドを説明するための図である。
【図10】種別「010」のコマンドを説明するための図である。
【図11】種別「011」のコマンドを説明するための図である。
【図12】種別「100」のコマンドを説明するための図である。
【図13】種別「101」のコマンドを説明するための図である。
【図14】応答データの概略構成を示した図である。
【図15】指をスキャンすることにより得られた画像を示した図である。
【図16】他の光センサ内蔵液晶パネルの回路図である。
【図17】スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。
【図18】電子機器の変形例のハードウェア構成を表わすブロック図である。
【図19】通信システムの概略構成を示した図である。
【図20】他の電子機器の外観を示した図である。
【図21】他の電子機器のハードウェア構成を示した図である。
【図22】電子機器の機能ブロック図である。
【図23】他の電子機器の機能ブロック図である。
【図24】電子機器が第1画像を液晶パネルに表示させた場合を示した図である。
【図25】電子機器が物件データをサーバ装置から受信した後の、電子機器の液晶パネルに表示される画像を示した図である。
【図26】図25の状態において、電子機器のユーザが液晶パネルを介して手書入力を行なった場合における、電子機器に表示される画像を示した図である。
【図27】文字および図形に基づく手書入力データを他の電子機器が受信し、かつ合成画像データを生成した場合において、他の電子機器の液晶パネルに表示される画像を示した図である。
【図28】図27の状態において、他の電子機器のユーザが液晶パネルを介して手書入力をさらに行なった場合における、他の電子機器に表示される画像を示した図である。
【図29】図形および文字に基づく手書入力データを電子機器が受信し、かつ合成画像データを生成した場合において、電子機器の液晶パネルに表示される画像を示した図である。
【図30】電子機器と他の電子機器とサーバ装置との間のシーケンスを示した図である。
【図31】電子機器におけるデータ処理のフローを示したフローチャートである。
【図32】他の電子機器におけるデータ処理のフローを示したフローチャートである。
【図33】さらに他の電子機器の機能ブロックを示した図である。
【図34】さらに他の電子機器の機能ブロックを示した図である。
【図35】図33に示した電子機器の液晶パネルに、間取りを示した画像と、第1チェックボックス群および第2チェックボックス群とを表示した状態を示した図である。
【図36】第1チェックボックス群のキッチンの項目がチェック状態になっている状態を示した図である。
【図37】第2チェックボックス群における壁の項目のチェックボックスをチェック状態に変更した後の液晶パネルの表示画面を示した図である。
【図38】図33に示した電子機器の液晶パネルに、間取りを示した画像と、絞込み検索用の各チェックボックス群とを表示した状態を示した図である。
【符号の説明】
【0322】
10 制御部、11 受信部、12 表示制御部、13 第1受付部、14 送信部、15 第2受付部、16 変更部、90 記憶装置、100 電子機器、100A 第1の筐体、100B 第2の筐体、101 本体装置、102,102A 表示装置、103 表示装置、104 本体装置、140,140A 光センサ内蔵液晶パネル、174 外部通信部、177 操作キー、240 光センサ内蔵液晶パネル、274 外部通信部、1001,1001A 第1ユニット、1002 第2ユニット、1300 電子機器、2000 電子機器、2010 制御部、2011 受信部、2012 表示制御部、2013 受付部、2014 送信部、2015 変更部、2090 記憶装置、2103 通信部、2107 操作キー、2108 液晶パネル、3300 電子機器、3400 電子機器。

【特許請求の範囲】
【請求項1】
電子機器であって、
第1表示パネルと、
第2表示パネルと、
前記第1表示パネルに第1画像が表示されている状態で、前記第1画像に含まれるオブジェクトを指定する入力を受け付ける第1受付手段と、
前記指定したオブジェクトを示す第1情報を、第1外部機器に送信する送信手段と、
前記第1情報に関連した第2情報を、前記第1外部機器から受信する受信手段と、
前記受信した第2情報を、前記第2表示パネルに表示させる表示制御手段とを備える、電子機器。
【請求項2】
前記第2情報が表示された状態で、前記第2表示パネルを介して手書入力データを受け付ける第2受付手段をさらに備え、
前記送信手段は、前記第2情報と前記手書入力データとを、第2外部機器に送信する、請求項1に記載の電子機器。
【請求項3】
前記第2情報は画像データを含み、
前記受信手段は、前記第2外部機器において入力された手書入力データを受信し、
前記表示制御手段は、前記第2情報の画像データと前記送信した手書入力データと前記受信した手書入力データと合成して、当該合成した画像データに基づく画像を前記第2表示パネルに表示させる、請求項2に記載の電子機器。
【請求項4】
前記第1画像は、前記第1外部機器から受信したデータに基づく画像である、請求項1から3のいずれか1項に記載の電子機器。
【請求項5】
前記第2情報は、当該第2情報に関連する複数の項目に関し、各々の項目でチェックボックスを表示させるデータを含み、
前記電子機器は、
前記各チェックボックスの状態を、チェック状態または非チェック状態にそれぞれ変更する変更手段をさらに備え、
前記送信手段は、前記各チェックボックスの状態を示した状態情報を、前記第1外部機器に送信し、
前記受信手段は、前記第1外部機器から、前記状態情報に関連する関連情報を受信し、
前記表示制御手段は、前記関連情報を前記第2表示パネルに表示させる、請求項1から4のいずれか1項に記載の電子機器。
【請求項6】
前記第2情報は、前記チェックボックスを表示させるデータとして、第1チェックボックス群を表示させるデータと第2チェックボックス群を表示させるデータとを含み、
前記変更手段は、前記第1チェックボックス群に含まれる各チェックボックスについて、前記状態を変更する、請求項5に記載の電子機器。
【請求項7】
前記受信手段は、前記第2外部機器から、前記第2チェックボックス群に含まれる各チェックボックスの状態を示した状態情報を受信し、
前記送信手段は、前記第1チェックボックス群と前記第2チェックボックス群とにおける前記状態情報を、前記第1外部機器に送信し、
前記受信手段は、前記関連情報として、前記第1チェックボックス群においてチェック状態とした項目に関連する第1関連情報と、前記第2チェックボックス群においてチェック状態とした項目に関連する第2関連情報とを受信し、
前記表示制御手段は、前記第1関連情報を前記第2表示パネルに表示させる、請求項6に記載の電子機器。
【請求項8】
前記送信手段は、前記第2関連情報を前記第2外部機器に送信する、請求項7に記載の電子機器。
【請求項9】
前記第1情報は地図情報であり、前記第2情報は住宅情報である、請求項1から8のいずれか1項に記載の電子機器。
【請求項10】
前記第2表示パネルは、
入射光に応じて電気信号を生成する複数の光センサ回路と、
電気信号に応じて光を発する複数の画素回路とを含み、
前記受付手段は、前記複数の光センサ回路からの前記電気信号に基づいて、前記手書入力データを受け付け、
前記表示制御手段は、前記複数の画素回路に前記第2情報と前記手書入力データとを表示させる、請求項2に記載の電子機器。
【請求項11】
電子機器であって、
表示パネルと、
他の電子機器から、第1画像データを含む情報と、手書入力データに基づく第2画像データとを受信する受信手段と、
前記第1画像データと前記第2画像データとを合成して、当該合成した合成画像データに基づく画像を前記表示パネルに表示させる表示制御手段と、
前記合成画像データに基づく画像が表示された状態で、前記表示パネルを介して手書入力データを受け付ける受付手段と、
前記受付けた手書入力データを前記他の電子機器に送信する送信手段とを備え、
前記情報は、当該情報に関連する複数の項目に関し、各々の項目でチェックボックスを表示させるデータをさらに含み、
前記電子機器は、
前記各チェックボックスの状態を、チェック状態または非チェック状態にそれぞれ変更する変更手段をさらに備え、
前記送信手段は、前記各チェックボックスの状態を示した状態情報を、前記他の電子機器に送信する、電子機器。
【請求項12】
前記情報は、第1チェックボックス群を表示させるデータと第2チェックボックス群を表示させるデータとを含み、
前記変更手段は、前記第1チェックボックス群および前記第2チェックボックス群のうち一方のチェックボックス群に含まれる各チェックボックスについて、前記状態を変更し、
前記送信手段は、前記一方のチェックボックス群における前記状態情報を、前記他の電子機器に送信する、請求項11に記載の電子機器。
【請求項13】
前記受信手段は、前記一方のチェックボックス群においてチェック状態とした項目に関連する関連情報を、前記他の電子機器から受信し、
前記表示制御手段は、前記関連情報を前記表示パネルに表示させる、請求項12に記載の電子機器。
【請求項14】
前記情報は、住宅情報である請求項11から13のいずれか1項に記載の電子機器。
【請求項15】
第1電子機器と第2電子機器とを含む通信システムであって、
第1電子機器は、
第1表示パネルと、
第2表示パネルと、
前記第1表示パネルに第1画像データに基づく画像が表示されている状態で、当該画像に含まれるオブジェクトを指定する入力を受け付ける第1受付手段と、
前記指定したオブジェクトを示す第1情報を、外部機器に送信する第1送信手段と、
前記第1情報に関連した第2情報を、前記外部機器から受信する第1受信手段と、
前記受信した第2情報を、前記第2表示パネルに表示させる第1表示制御手段と、
前記第2情報が表示された状態で、前記第2表示パネルを介して手書入力データを受け付ける第2受付手段とを備え、
前記第1送信手段は、前記第2情報と前記手書入力データとを、前記第2電子機器に送信し、
第2電子機器は、
第3表示パネルと、
第1電子機器から、前記第1画像データを含む情報と、前記手書入力データに基づく第2画像データとを受信する第2受信手段と、
前記第1画像データと前記第2画像データとを合成して、当該合成した合成画像データに基づく画像を前記第3表示パネルに表示させる第2表示制御手段と、
前記合成画像データに基づく画像が表示された状態で、前記第3表示パネルを介して手書入力データを受け付ける第3受付手段と、
前記受付けた手書入力データを前記第1電子機器に送信する第2送信手段とを備える、通信システム。
【請求項16】
電子機器における表示制御方法であって、
第1表示パネルに画像が表示されている状態で、当該画像に含まれるオブジェクトを指定する入力を受け付けるステップと、
前記指定したオブジェクトを示す第1情報を、外部機器に送信するステップと、
前記第1情報に関連した第2情報を、前記外部機器から受信するステップと、
前記受信した第2情報を、第2表示パネルに表示させるステップとを含む、表示制御方法。
【請求項17】
電子機器におけるデータ通信方法であって、
他の電子機器から、第1画像データを含んだ情報と、手書入力データに基づく第2画像データとを受信するステップと、
前記第1画像データと前記第2画像データとを合成して、当該合成した合成画像データに基づく画像を表示パネルに表示させるステップと、
前記合成画像データに基づく画像が表示された状態で、前記表示パネルを介して手書入力データを受け付けるステップと、
前記受付けた手書入力データを前記他の電子機器に送信するステップとを含み、
前記情報は、当該情報に関連する複数の項目に関し、各々の項目でチェックボックスを表示させるデータをさらに含み、
前記データ通信方法は、
前記各チェックボックスの状態を、チェック状態または非チェック状態にそれぞれ変更するステップと、
前記各チェックボックスの状態を示した状態情報を、前記他の電子機器に送信するステップとをさらに含む、データ通信方法。
【請求項18】
電子機器に表示制御を実行させるためのプログラムであって、
第1表示パネルに画像が表示されている状態で、当該画像に含まれるオブジェクトを指定する入力を受け付けるステップと、
前記指定したオブジェクトを示す第1情報を、外部機器に送信するステップと、
前記第1情報に関連した第2情報を、前記外部機器から受信するステップと、
前記受信した第2情報を、第2表示パネルに表示させるステップとを実行させるためのプログラム。
【請求項19】
電子機器にデータ通信を実行させるためのプログラムであって、
他の電子機器から、第1画像データを含んだ情報と、手書入力データに基づく第2画像データとを受信するステップと、
前記第1画像データと前記第2画像データとを合成して、当該合成した合成画像データに基づく画像を表示パネルに表示させるステップと、
前記合成画像データに基づく画像が表示された状態で、前記表示パネルを介して手書入力データを受け付けるステップと、
前記受付けた手書入力データを前記他の電子機器に送信するステップと、
前記情報は、当該情報に関連する複数の項目に関し、各々の項目でチェックボックスを表示させるデータをさらに含み、前記各チェックボックスの状態を、チェック状態または非チェック状態にそれぞれ変更するステップと、
前記各チェックボックスの状態を示した状態情報を、前記他の電子機器に送信するステップとを実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate


【公開番号】特開2010−108287(P2010−108287A)
【公開日】平成22年5月13日(2010.5.13)
【国際特許分類】
【出願番号】特願2008−280191(P2008−280191)
【出願日】平成20年10月30日(2008.10.30)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】