液晶表示装置、ネットワークシステム、および画像処理方法
【課題】情報を外部に表示するとともに所定の条件を満たした場合にのみ外部から情報を受け付ける液晶表示装置を提供する。
【解決手段】液晶表示装置１００は、入射光に応じて電気信号を生成する複数の光センサ回路１４４と、電気信号に応じて光を発する複数の画素回路１４１と、所定のパターン画像を示すパターンデータを格納する記憶部１７１と、複数の光センサ回路から入力される電気信号に基づいて画像データを生成する生成手段１１１（１８０）と、画像データとパターンデータとに基づいて、画像データに対応する第１の画像中に所定のパターン画像が含まれているか否かを判断する判断手段１１２と、第１の画像中に所定のパターン画像が含まれている場合に、複数の画素回路に画像データに対応する第２の画像を表示させる表示制御手段１１４（１１６）とを含む。
【解決手段】液晶表示装置１００は、入射光に応じて電気信号を生成する複数の光センサ回路１４４と、電気信号に応じて光を発する複数の画素回路１４１と、所定のパターン画像を示すパターンデータを格納する記憶部１７１と、複数の光センサ回路から入力される電気信号に基づいて画像データを生成する生成手段１１１（１８０）と、画像データとパターンデータとに基づいて、画像データに対応する第１の画像中に所定のパターン画像が含まれているか否かを判断する判断手段１１２と、第１の画像中に所定のパターン画像が含まれている場合に、複数の画素回路に画像データに対応する第２の画像を表示させる表示制御手段１１４（１１６）とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素回路を介して画像やテキストを表示することができる液晶表示装置、ネットワークシステム、および画像処理方法に関し、特に、画素回路とともに配置された光センサ回路を介して画像やテキストを読み取ることができる液晶表示装置、ネットワークシステム、および画像処理方法に関する。
【背景技術】
【０００２】
従来から、入射光に基づいて電気信号を生成する光センサ回路と、電気信号に基づいて可視光を発する画素回路とを含む液晶表示装置が知られている。このような液晶表示装置においては、１つの画面中に複数の光センサ回路と複数の画素回路とが配置され、当該１つの画面は外部から情報を受け付ける入力装置と外部へと情報を表示する表示装置の役割を果たすことができる。
【０００３】
たとえば、特開２００８−１９１４９８号公報（特許文献１）には、光センサ付の液晶表示装置が開示されている。特開２００８−１９１４９８号公報（特許文献１）によると、液晶パネルは、アクティブマトリクス基板と、フィルタ基板と、これらの間に挟み込まれる液晶層とを含む。アクティブマトリクス基板は、液晶パネルの厚み方向においてフィルタ基板に重なる領域上に光センサを含む。光センサは、アクティブマトリクス基板を構成するベース基板上にモノリシックに形成される。フィルタ基板は、液晶パネルの厚み方向において光センサに重なる領域に、外光を透過させる透過部を含む。筐体は、液晶パネルの表示領域を露出させる開口部と、開口部の周辺において透過部を露出させる開口部とを含む。
【０００４】
また、特開２００５−１８５３１６号公報（特許文献２）には、棚札の表示内容の変更システム及び方法が開示されている。特開２００５−１８５３１６号公報（特許文献２）によると、棚札として電子ペーパーを含む商品陳列棚と、商品情報とデザイン情報とを管理する商品情報管理コンピュータとが、構内ネットワークに接続されている。商品情報管理コンピュータは、表示内容を変更する電子ペーパーのアドレスを指定して、この電子ペーパーを特定し、この電子ペーパーを含む商品陳列棚へ、ネットワークを介して、商品情報と、そのデザイン情報とを送信する。商品陳列棚は、指定されたアドレスで特定される電子ペーパーを含む場合に、この電子ペーパーへ、商品情報と、そのデザイン情報とを転送する。電子ペーパーは、指定されたアドレスで特定される場合に、商品情報と、そのデザイン情報とを受信して、表示内容を、このデザイン情報に従ったこの商品情報の表示に書き換える。
【特許文献１】特開２００８−１９１４９８号公報
【特許文献２】特開２００５−１８５３１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の液晶表示装置においては、セキュリティー上の不具合が存在する。すなわち、従来の液晶表示装置においては、誰もが液晶表示装置に情報を入力することができてしまう。たとえば、店舗に配置される棚札として、光センサ回路と画素回路とを含む液晶表示装置を使用する場合においては、権限を有する役職者だけでなく、権限がない他の店舗スタッフや店舗に訪れた客でさえも、光センサ回路を介して液晶表示装置に情報を入力できてしまう。
【０００６】
本発明は、かかる問題を解決するためになされたものであり、その目的は、情報を外部に表示するとともに、所定の条件を満たした場合にのみ外部から情報を受け付ける液晶表示装置、ネットワークシステム、および画像処理方法を提供することである。
【課題を解決するための手段】
【０００７】
この発明のある局面に従うと、液晶表示装置が提供される。液晶表示装置は、入射光に応じて電気信号を生成する複数の光センサ回路と、電気信号に応じて光を発する複数の画素回路と、所定のパターン画像を示すパターンデータを格納する記憶部と、複数の光センサ回路から入力される電気信号に基づいて画像データを生成する生成手段と、画像データとパターンデータとに基づいて、画像データに対応する第１の画像中に所定のパターン画像が含まれているか否かを判断する判断手段と、第１の画像中に所定のパターン画像が含まれている場合に、複数の画素回路に画像データに対応する第２の画像を表示させる表示制御手段とを含む。
【０００８】
好ましくは、液晶表示装置は、第１の画像中に所定のパターン画像が含まれている場合に、第１の画像からテキストを抽出することによって、画像データに基づいてテキストデータを取得する取得手段をさらに含む。表示制御手段は、テキストデータに基づいて、複数の画素回路に第２の画像としてテキストを表示させる。
【０００９】
好ましくは、記憶部は、第１の画像中に所定のパターン画像が含まれている場合に、テキストデータを格納する。
【００１０】
好ましくは、記憶部は、商品の価格を示す価格データを記憶する。取得手段は、第１の画像中に所定のパターン画像が含まれている場合に、テキストデータによって価格データを更新する。
【００１１】
好ましくは、表示制御手段は、第１の画像中に所定のパターン画像が含まれている場合に、画像データに基づいて、複数の画素回路に第２の画像として第１の画像を表示させる。
【００１２】
好ましくは、記憶部は、第１の画像中に所定のパターン画像が含まれている場合に、画像データを格納する。
【００１３】
好ましくは、複数の光センサ回路は、外部の透明シートからの光を入射光として受光する。透明シートには、所定のパターン画像が描画されている。
【００１４】
この発明の別の局面に従うと、液晶表示装置と液晶表示装置にネットワークを介して接続可能なサーバ装置とを含むネットワークシステムが提供される。液晶表示装置は、入射光に応じて電気信号を生成する複数の光センサ回路と、電気信号に応じて光を発する複数の画素回路と、所定のパターン画像を示すパターンデータを格納する第１の記憶部と、複数の光センサ回路から入力される電気信号に基づいて画像データを生成する生成手段と、画像データとパターンデータとに基づいて、画像データに対応する第１の画像中に所定のパターン画像が含まれているか否かを判断する判断手段と、第１の画像中に所定のパターン画像が含まれている場合に、複数の画素回路に画像データに対応する第２の画像を表示させる表示制御手段と、第１の画像中に所定のパターン画像が含まれている場合に、複数の画素回路に画像データに対応する送信データをネットワークを介してサーバ装置へ送信する第１の通信部とを含む。サーバ装置は、液晶表示装置から送信データを受信する第２の通信部と、送信データを格納する第２の記憶部とを含む。
【００１５】
好ましくは、ネットワークシステムは、所定のパターン画像が描画された透明シートをさらに含む。複数の光センサ回路は、透明シートからの光を入射光として受光する。
【００１６】
この発明の別の局面に従うと、液晶表示装置における画像処理方法が提供される。液晶表示装置は、演算処理部と、入射光に応じて電気信号を生成する複数の光センサ回路と、電気信号に応じて光を発する複数の画素回路と、所定のパターン画像を示すパターンデータを格納する記憶部とを含む。演算処理部が、複数の光センサ回路から入力される電気信号に基づいて画像データを生成するステップと、演算処理部が、画像データとパターンデータとに基づいて、画像データに対応する第１の画像中に所定のパターン画像が含まれているか否かを判断するステップと、演算処理部が、第１の画像中に所定のパターン画像が含まれている場合に、複数の画素回路に画像データに対応する第２の画像を表示させるステップとを含む。
【発明の効果】
【００１７】
以上のように、本発明によって、情報を外部に表示するとともに、所定の条件を満たした場合にのみ外部から情報を受け付ける液晶表示装置、ネットワークシステム、および画像処理方法が提供される。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００１９】
［実施の形態１］
＜ネットワークシステム１の全体構成＞
まず、本実施の形態に係るネットワークシステム１の全体構成について説明する。図１は、本実施の形態に係るネットワークシステム１を示す概略図である。より詳細には、図１（Ａ）は、表示内容が書き換えられる前のネットワークシステム１を示すイメージ図である。図１（Ｂ）は、表示内容が書き換えられている最中のネットワークシステム１を示すイメージ図である。図１（Ｃ）は、表示内容が書き換えられた後のネットワークシステム１を示すイメージ図である。
【００２０】
図１（Ａ）から図１（Ｃ）を参照して、本実施の形態に係るネットワークシステム１は、液晶表示装置の一例としての電子機器１００と、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などのネットワーク２５０と、ネットワーク２５０を介して電子機器１００に接続されるサーバ装置２００と、入力シート３００とを含む。電子機器１００は、テキストを表示するとともにテキストなどを読み取ることができる液晶パネル１４０と、操作キー１７７とを含む。
【００２１】
＜ネットワークシステム１の動作概要＞
次に、本実施の形態に係るネットワークシステム１の動作概要について説明する。
【００２２】
図１（Ａ）に示すように、入力シート３００には、予め、入力シート３００のユーザの権限やユーザＩＤ（Identification）などを示すための識別情報３０１が印刷（表示）されている。そして、入力シート３００のユーザは、所望のタイミングで、当該入力シート３００に所望する商品価格などのテキスト３０２を記入する。
【００２３】
次に、図１（Ｂ）に示すように、ユーザは商品価格などのテキスト３０２が記入された入力シート３００を液晶パネル１４０に読み取らせる。電子機器１００は、液晶パネル１４０を用いて読み取った識別情報３０１やテキスト３０２を含む第１の画像に基づいて第１の画像データを生成する。電子機器１００は、第１の画像データと予め記憶している所定のパターン画像に対応するパターンデータとに基づいて、入力シート３００上に所定のパターン画像に一致する識別情報３０１が印刷されているか否かを判断する。入力シート３００上の識別情報３０１が所定のパターン画像を含む場合、電子機器１００は、第１の画像データに基づいて第１の画像中からテキスト３０２を抽出することによって、テキストデータを生成する。
【００２４】
次に、図１（Ｃ）に示すように、電子機器１００は、テキストデータに基づいて、液晶パネル１４０にテキスト（第２の画像）を表示させる。すなわち、本実施の形態に係る電子機器１００は、入力シート３００上の識別情報３０１が所定のパターン画像を含む場合に、入力シート３００上に記入された第１の画像を受け付けて、第１の画像に対応するテキストを表示する。このとき、電子機器１００は、テキストデータや当該テキストデータに対応する関連データを、ネットワーク２５０を介してサーバ装置２００へ送信する。サーバ装置２００においては、受信したテキストデータや当該テキストデータに対応する関連データに基づいて、商品の価格や、当該商品の価格の変更時刻や、当該商品の価格を変更したユーザＩＤなどを管理することができる。また、サーバ装置２００に接続された他の電子機器（たとえばキャッシュレジスタなど）において、変更された商品の価格を利用することもできる。
【００２５】
以下、このような機能を実現するための構成について詳述する。
＜電子機器１００のハードウェア構成＞
次に、本実施の形態に係る電子機器１００の具体的構成の一態様について説明する。図２は、本実施の形態に係る電子機器１００のハードウェア構成を表わすブロック図である。図２を参照して、電子機器１００は、主たる構成要素として、本体装置１０１と、表示装置１０２とを含む。
【００２６】
本体装置１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１７１と、ＲＯＭ（Read-Only Memory）１７２と、メモリカードリーダライタ１７３と、通信装置１７４と、マイク１７５と、スピーカ１７６と、操作キー１７７とを含む。各構成要素は、相互にデータバスＤＢ１によって接続されている。メモリカードリーダライタ１７３には、メモリカード１７３１が装着される。
【００２７】
ＣＰＵ１１０は、プログラムを実行する。操作キー１７７は、電子機器１００の使用者による指示の入力を受ける。ＲＡＭ１７１は、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータを揮発的に格納する。ＲＯＭ１７２は、データを不揮発的に格納する。また、ＲＯＭ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどの書込みおよび消去が可能なＲＯＭである。通信装置１７４は、図示しない他の電子機器との間で無線通信を行う。なお、図２には図示していないが、電子機器１００が、他の電子機器に有線により接続するためのインターフェイス（ＩＦ）を含む構成としてもよい。
【００２８】
表示装置１０２は、ドライバ１３０と、光センサ内蔵液晶パネル１４０（以下、液晶パネル１４０と称する）と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。
【００２９】
ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。
【００３０】
液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル１４０の詳細については、後述する。
【００３１】
内部ＩＦ（Interface）１７８は、本体装置１０１と表示装置１０２との間で、データの遣り取りを仲介する。
【００３２】
バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。
【００３３】
画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して本体装置１０１から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン１８０は、液晶パネル１４０から出力されるデータを処理し、処理したデータを内部ＩＦ１７８を介して本体装置１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１８３とを含む。
【００３４】
ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体装置１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。
【００３５】
タイマ１８２は、時刻情報を生成し、信号処理部１８３に対して時刻情報を送る。
信号処理部１８３は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部１８３は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部１８３は、当該デジタルデータに対して、本体装置１０１から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部１８３は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）を本体装置１０１に送る。また、信号処理部１８３は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。
【００３６】
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する（図７〜図９）。
【００３７】
なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、表示装置１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体装置１０１に備えられていてもよい。また、マイク１７５およびスピーカ１７６は、電子機器１００が常に含む構成ではなく、電子機器１００の実施例によっては、マイク１７５およびスピーカ１７６のいずれかあるいは両方を有さない構成であってもよい。
【００３８】
ここで、表示装置１０２は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル１４０の周辺機器を当該液晶パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、表示装置１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。
【００３９】
ところで、電子機器１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信装置１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、ＲＯＭ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってＲＯＭ１７２から読み出され、ＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。
【００４０】
図２に示される電子機器１００の本体装置１０１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１７１、ＲＯＭ１７２、メモリカード１７３１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器１００の本体装置１０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【００４１】
なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【００４２】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４３】
＜液晶パネル１４０の構成および駆動について＞
次に、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路の構成とについて説明する。図３は、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路とを示した図である。
【００４４】
図３を参照して、液晶パネル１４０は、画素回路１４１と、光センサ回路１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊと、データ信号線ＳＧｊと、データ信号線ＳＢｊと、センサ信号線ＳＳｊと、センサ信号線ＳＤｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。
【００４５】
また、図２に示した表示装置１０２のドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。
【００４６】
走査信号線駆動回路１３１は、図２に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【００４７】
データ信号線駆動回路１３２は、図２に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。
【００４８】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【００４９】
画素回路１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素回路１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素回路１４１は、図３の縦方向にｍ個、横方向にｎ個配されている。
【００５０】
画素回路１４１は、Ｒサブピクセル回路１４１ｒと、Ｇサブピクセル回路１４１ｇと、Ｂサブピクセル回路１４１ｂとからなる。これら３つの回路（１４１ｒ，１４１ｇ，１４１ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。
【００５１】
なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、表示装置１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。
【００５２】
Ｒサブピクセル回路１４１ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Ｇサブピクセル回路１４１ｇおよびＢサブピクセル回路１４１ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、Ｒサブピクセル回路１４１ｒと同じ構成である。このため、これら２つの回路（１４１ｇ，１４１ｂ）についての説明は、繰り返さない。
【００５３】
ここで、画素回路１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。
【００５４】
光センサ駆動回路１３３は、図２に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。
【００５５】
そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。
【００５６】
また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。
【００５７】
なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。
【００５８】
光センサ回路１４４は、フォトダイオード１４５と、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。
【００５９】
フォトダイオード１４５のアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５のカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５とコンデンサ１４６との接続点をノードＮと称する。
【００６０】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳｊに接続されている。光センサ回路１４４を用いたセンシングの詳細については、後述する。
【００６１】
スイッチ１３４は、センサ信号線（ＳＤ１〜ＳＤｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤ１〜ＳＤｎ）に印加される電圧については、後述する。
【００６２】
アンプ１３５は、各センサ信号線（ＳＳ１〜ＳＳｎ）から出力された電圧を増幅する。なお、増幅された電圧は、図２に示した信号処理部１８３に送られる。
【００６３】
なお、画素回路１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、光センサ回路１４４を用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。
【００６４】
図４は、液晶パネル１４０とバックライト１７９との断面図である。図４を参照して、液晶パネル１４０は、アクティブマトリクス基板１５１Ａと、対向基板１５１Ｂと、液晶層１５２とを含む。対向基板１５１Ｂは、アクティブマトリクス基板１５１Ａに対向して配されている。液晶層１５２は、アクティブマトリクス基板１５１Ａと対向基板１５１Ｂとに挟まれている。バックライト１７９は、アクティブマトリクス基板１５１Ａに関し液晶層１５２と反対側に配されている。
【００６５】
アクティブマトリクス基板１５１Ａは、偏光フィルタ１６１と、ガラス基板１６２と、電極対１４３を構成する画素電極１４３ａと、フォトダイオード１４５と、データ信号線１５７と、配向膜１６４とを含む。さらに、図４には示していないが、アクティブマトリクス基板１５１Ａは、図３に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。
【００６６】
また、アクティブマトリクス基板１５１Ａにおいては、バックライト１７９側から、偏光フィルタ１６１、ガラス基板１６２、画素電極１４３ａ、および配向膜１６４が、この順に配されている。フォトダイオード１４５とデータ信号線１５７とは、ガラス基板１６２の液晶層１５２側に形成されている。
【００６７】
対向基板１５１Ｂは、偏光フィルタ１６１と、ガラス基板１６２と、遮光膜１６３と、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と、電極対１４３を構成する対向電極１４３ｂと、配向膜１６４とを含む。
【００６８】
また、対向基板１５１Ｂにおいては、液晶層１５２側から、配向膜１６４、対向電極１４３ｂ、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）、ガラス基板１６２、および偏光フィルタ１６１が、この順に配されている。遮光膜１６３は、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と同一の層に形成されている。
【００６９】
カラーフィルタ１５３ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｂは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード１４５は、カラーフィルタ１５３ｂに対向する位置に配されている。
【００７０】
液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ１６１を配置している。
【００７１】
なお、フォトダイオード１４５の位置は、上記の位置に限定されるものではなく、カラーフィルタ１５３ｒに対向する位置やカラーフィルタ１５３ｇに対向する位置に設けることも可能である。
【００７２】
ここで、光センサ回路１４４の動作について説明する。図５は、光センサ回路１４４を動作させる際のタイミングチャートを示した図である。図５において、電圧ＶＩＮＴは、光センサ回路１４４内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図３に示したセンサ信号線ＳＳｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。
【００７３】
以下では、光センサ回路１４４をリセットするためのリセット期間と、光センサ回路１４４を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【００７４】
まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切り換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式（１）で示す値となる。なお、式（１）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。
【００７５】
ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ … （１）
それゆえ、ノードＮの電位は、図５に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。
【００７６】
ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。
【００７７】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。
【００７８】
このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図５に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。
【００７９】
なお、このように電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。
【００８０】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。
【００８１】
このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図５に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。
【００８２】
この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤｊ（図３参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳｊからは、図５のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。
【００８３】
ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図５のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、光センサ回路１４４は、フォトダイオード１４５の受光量に応じて、センサ信号線ＳＳｊに出力する電圧の値を変化させる。
【００８４】
ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの光センサ回路１４４に着目して、その動作を説明した。以下では、液晶パネル１４０における各光センサ回路の動作について説明する。
【００８５】
まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図３における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。
【００８６】
なお、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【００８７】
１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【００８８】
以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。
【００８９】
なお、表示装置１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル１４０から出力される。このため、以下では、液晶パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１８３が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物（たとえば、ユーザの指）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
【００９０】
また、上記においては、ｍ×ｎ個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル１４０の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
【００９１】
以下では、電子機器１００が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー１７７を介した入力などに基づく本体装置１０１から送られてくるコマンドにより行われるものとする。なお、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン１８０が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。
【００９２】
このように、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。
【００９３】
図６は、液晶パネル１４０とバックライト１７９との断面図であって、スキャンの際にフォトダイオード１４５がバックライト１７９からの光を受光する構成を示した図である。
【００９４】
図６を参照して、ユーザの指９００が液晶パネル１４０の表面に接触している場合、バックライト１７９から発せられた光の一部は、当該接触している領域ではユーザの指９００（略平面）にて反射される。そして、フォトダイオード１４５は、当該反射された光を受光する。
【００９５】
また、指９００が接触していない領域においても、バックライト１７９から発せられた光の一部は、ユーザの指９００にて反射される。この場合においても、フォトダイオード１４５は、当該反射された光を受光する。ただし、当該領域においては液晶パネル１４０の表面に指９００が接触していないため、指９００が接触している領域よりも、フォトダイオード１４５の受光量は少なくなる。なお、バックライト１７９から発せられた光のうち、ユーザの指９００に到達しない光のほとんどについては、フォトダイオード１４５は受光できない。
【００９６】
ここで、バックライト１７９を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路１４４は、ユーザの指９００により反射した光の光量に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９の点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。
【００９７】
以上により、表示装置１０２は、指９００によって光が反射されることにより得られる像（以下、反射像とも称する）をスキャンすることができる。
【００９８】
なお、指９００以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器１００の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機ＥＬ（Electro-Luminescence）パネルなどの他のパネルを用いてもよい。
【００９９】
＜データについて＞
次に、センシングコマンドについて説明する。なお、表示装置１０２においては、画像処理エンジン１８０は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ（つまり、応答データ）を本体装置１０１に送り返す。
【０１００】
図７は、センシングコマンドの概略構成を示した図である。図７を参照して、センシングコマンドは、ヘッダのデータ領域ＤＡ０１と、タイミングを示すデータ領域ＤＡ０２と、データ種別を示すデータ領域ＤＡ０３と、読取方式を示すデータ領域ＤＡ０４と、画像階調を示すデータ領域ＤＡ０５と、解像度を示すデータ領域ＤＡ０６と、予備のデータ領域ＤＡ０７とを含む。
【０１０１】
図８は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
【０１０２】
図８を参照して、タイミングを示すデータ領域に「００」が設定されたセンシングコマンドは、画像処理エンジン１８０に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン１８０が受信した後に、光センサ回路１４４を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「０１」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「１０」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
【０１０３】
データ種別を示すデータ領域に「００１」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「０１０」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「１００」が設定されたセンシングコマンドは、全体画像の送信を要求する。
【０１０４】
ここで、「全体画像」とは、ｍ×ｎ個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン１８０により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
【０１０５】
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル１４０の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
【０１０６】
読取方式を示すデータ領域に「００」が設定されたセンシングコマンドは、バックライト１７９を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「０１」が設定されたセンシングコマンドは、バックライト１７９を消灯してスキャンすることを要求する。なお、バックライト１７９を消灯してスキャンする構成については後述する（図１２）。さらに、読取方式を示すデータ領域に「１０」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト１７９を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。
【０１０７】
画像階調を示すデータ領域に「００」が設定されたセンシングコマンドは、白黒の２値の画像データを要求する。また、画像階調を示すデータ領域に「０１」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「１０」が設定されたセンシングコマンドは、ＲＧＢのカラーの画像データを要求する。
【０１０８】
解像度を示すデータ領域に「０」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「１」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
【０１０９】
また、センシングコマンドには、図７および図８に示したデータ以外に、スキャンを行う領域（光センサ回路１４４を駆動する画素の領域）の指定、スキャンを行うタイミング、バックライト１７９の点灯のタイミングなどが記述されている。
【０１１０】
図９は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示装置１０２の画像処理エンジン１８０が本体装置１０１に対して送信するデータである。
【０１１１】
図９を参照して、応答データは、ヘッダのデータ領域ＤＡ１１と、座標を示すデータ領域ＤＡ１２と、時刻を示すデータ領域ＤＡ１３と、画像を示すデータ領域ＤＡ１４とを含む。ここで、座標を示すデータ領域ＤＡ１２には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン１８０のタイマ１８２から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン１８０により処理がされた後の画像データ（つまり、スキャンデータ）が書き込まれる。
【０１１２】
図１０は、指９００をスキャンすることにより得られた画像（つまり、スキャン画像）を示した図である。図１０を参照して、太実線で囲まれた領域Ｗ１の画像が全体画像であり、破線で囲まれた領域Ｐ１の画像が部分画像である。また、太線で示した十字の中心点Ｃ１が、中心座標となる。
【０１１３】
本実施の形態では、矩形の領域であって、かつセンサ信号線ＳＳｊからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素（つまり、予め定められた階調または予め定められた輝度以上の画素）全てを含む領域を、部分画像の領域としている。
【０１１４】
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点（つまり図心）との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
【０１１５】
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
【０１１６】
センシングコマンドのデータ種別を示すデータ領域に「００１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に上記中心座標の値を書き込む。この場合、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４には画像データを書き込まない。画像処理エンジン１８０は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「００１」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
【０１１７】
また、センシングコマンドのデータ種別を示すデータ領域に「０１０」が設定されている場合には、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１０」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
【０１１８】
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指９００などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
【０１１９】
また、センシングコマンドのデータ種別を示すデータ領域に「０１１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
【０１２０】
また、センシングコマンドのデータ種別を示すデータ領域に「１００」が設定されている場合には、画像処理エンジン１８０は、図９に示した応答データの画像を示すデータ領域ＤＡ１４に、全体画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１００」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
【０１２１】
また、センシングコマンドのデータ種別を示すデータ領域に「１０１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４に全体画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１０１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
【０１２２】
＜変形例について＞
ところで、液晶パネル１４０の構成は、図３に示した構成に限定されるものではない。以下では、図３とは異なる態様の液晶パネルについて説明する。
【０１２３】
図１１は、上記異なる態様である光センサ内蔵液晶パネル１４０Ａの回路図である。図１１を参照して、光センサ内蔵液晶パネル１４０Ａ（以下、液晶パネル１４０Ａと称する）は、１画素内に３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を含んでいる。このように液晶パネル１４０Ａが１画素内に３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を含む点において、液晶パネル１４０Ａは、１画素内に１つの光センサ回路を含む液晶パネル１４０と異なる。なお、光センサ回路１４４の構成と、３つの各光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）との構成は同じである。
【０１２４】
また、１画素内における３つのフォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）は、それぞれ、カラーフィルタ１５３ｒ、カラーフィルタ１５３ｇ、カラーフィルタ１５３ｂに対向する位置に配されている。それゆえ、フォトダイオード１４５ｒは赤色の光を受光し、フォトダイオード１４５ｇは緑色の光を受光し、フォトダイオード１４５ｂは青色の光を受光する。
【０１２５】
また、液晶パネル１４０は１画素内において１つの光センサ回路１４４しか含まないため、１画素内に配設されるＴＦＴ１４７用のデータ信号線は、センサ信号線ＳＳｊとセンサ信号線ＳＤｊとの２本であった。しかしながら、液晶パネル１４０Ａは１画素内において３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を含むため、１画素内に配設されるＴＦＴ（１４７ｒ，１４７ｇ，１４７ｂ）用のデータ信号線は６本となる。
【０１２６】
具体的には、カラーフィルタ１５３ｒに対向する位置に配されたフォトダイオード１４５ｒのカソードに接続されたＴＦＴ１４７ｒに対応して、センサ信号線ＳＳＲｊとセンサ信号線ＳＤＲｊとが配設される。また、カラーフィルタ１５３ｇに対向する位置に配されたフォトダイオード１４５ｇのカソードに接続されたＴＦＴ１４７ｇに対応して、センサ信号線ＳＳＧｊとセンサ信号線ＳＤＧｊとが配設される。さらに、カラーフィルタ１５３ｂに対向する位置に配されたフォトダイオード１４５ｂのカソードに接続されたＴＦＴ１４７ｂに対応して、センサ信号線ＳＳＢｊとセンサ信号線ＳＤＢｊとが配設される。
【０１２７】
このような液晶パネル１４０Ａにおいては、バックライト１７９から照射された白色光は、３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）を透過し、液晶パネル１４０Ａの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）を透過する。
【０１２８】
この際、カラーフィルタ１５３ｒは赤色の波長の光を透過し、フォトダイオード１４５ｒは、当該赤色の波長の光を受光する。また、カラーフィルタ１５３ｇは緑色の波長の光を透過し、フォトダイオード１４５ｇは、当該緑色の波長の光を受光する。また、カラーフィルタ１５３ｂは青色の波長の光を透過し、フォトダイオード１４５ｂは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）によって３原色（Ｒ，Ｇ，Ｂ）に色分解され、各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）は、それぞれに対応した色の光を受光する。
【０１２９】
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）の受光量が各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）で異なることになる。このため、センサ信号線ＳＳＲｊとセンサ信号線ＳＳＧｊとセンサ信号線ＳＳＢｊとの出力電圧は互いに異なる。
【０１３０】
それゆえ、各出力電圧に応じて、Ｒの階調とＧの階調とＢの階調とを画像処理エンジン１８０が決定することにより、画像処理エンジン１８０はＲＧＢのカラー画像を本体装置１０１へ送ることができる。
【０１３１】
以上述べたように、電子機器１００が液晶パネル１４０Ａを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
【０１３２】
次に、図６を参照して説明したスキャンの方法（つまり、反射像をスキャンする方法）とは異なるスキャンの方法について、図１２を参照して説明する。
【０１３３】
図１２は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図１２を参照して、外光の一部は、指９００によって遮られる。それゆえ、指９００と接触している液晶パネル１４０の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指９００の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
【０１３４】
ここで、バックライト１７９を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路１４４は、液晶パネル１４０の表面に対する指９００の位置に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９を点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。
【０１３５】
以上により、表示装置１０２は、指９００によって外光が遮られることにより得られる像（以下、影像とも称する）をスキャンすることができる。
【０１３６】
さらに、表示装置１０２を、バックライト１７９を点灯させてスキャンを行った後に、バックライト１７９を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置１０２を、バックライト１７９を消灯させてスキャンを行った後に、バックライト１７９を点灯させて再度スキャンを行う構成としてもよい。
【０１３７】
この場合には、２つのスキャン方式を併用することになるため、２つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
【０１３８】
＜サーバ装置２００のハードウェア構成＞
次に、サーバ装置２００の具体的構成の一態様について説明する。図１３は、サーバ装置２００のハードウェア構成を表わすブロック図である。図１３を参照して、サーバ装置２００は、主たる構成要素として、本体装置２０１と、表示装置２０２とを含む。
【０１３９】
本体装置２０１は、ＣＰＵ２１０と、ＲＡＭ２７１と、ＲＯＭ２７２と、ＣＤ−ＲＯＭ駆動装置２７３と、通信ＩＦ２７４と、マイク２７５と、スピーカ２７６と、操作キー２７７と、ＨＤＤ（Hard disk drive）２９９とを含む。各構成要素は、相互にデータバスＤＢ２によって接続されている。ＣＤ−ＲＯＭ駆動装置２７３には、ＣＤ−ＲＯＭ２７３１が装着される。
【０１４０】
ＣＰＵ２１０は、プログラムを実行する。操作キー２７７は、サーバ装置２００の使用者による指示の入力を受ける。ＲＡＭ２７１は、ＣＰＵ２１０によるプログラムの実行により生成されたデータ、または操作キー２７７を介して入力されたデータを揮発的に格納する。ＲＯＭ２７２は、データを不揮発的に格納する。通信ＩＦ２７４は、他の電子機器に有線により接続するためのインターフェイスである。たとえば、通信ＩＦ２７４に無線通信機を接続することにより、サーバ装置２００は無線通信を行うこともできる。ＨＤＤ２９９は、プログラム、およびＣＰＵ２１０によるプログラムの実行により生成されたデータを不揮発的に格納する。
【０１４１】
表示装置２０２は、ディスプレイなどによって実現される。表示装置２０２は、ＣＰＵ２１０からのデータに基づいて画像を表示する。
【０１４２】
ところで、サーバ装置２００における処理は、各ハードウェアおよびＣＰＵ２１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ２７２またはＨＤＤ２９９に予め記憶されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭ２７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、ＣＤ−ＲＯＭ駆動装置２７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ２７４または図示しない通信部を介してダウンロードされた後、ＲＯＭ２７２またはＨＤＤ２９９に一旦格納される。そのソフトウェアは、ＣＰＵ２１０によってＲＯＭ２７２またはＨＤＤ２９９から読み出され、ＲＡＭ２７１に実行可能なプログラムの形式で格納される。ＣＰＵ２１０は、そのプログラムを実行する。
【０１４３】
図１３に示されるサーバ装置２００の本体装置２０１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ２７１、ＲＯＭ２７２、ＨＤＤ２９９、ＣＤ−ＲＯＭ２７３１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、サーバ装置２００の本体装置２０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【０１４４】
なお、記録媒体としては、ＣＤ−ＲＯＭに限られず、メモリカード、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【０１４５】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【０１４６】
＜ネットワークシステム１の機能構成＞
図１４は、本実施の形態に係るネットワークシステム１の機能構成を示すブロック図である。図１４に示すように、本実施の形態に係るネットワークシステム１は、電子機器１００と、サーバ装置２００と、ネットワーク２５０と、入力シート３００と、キャッシュレジスタ（以下、レジともいう。）４００とを含む。
【０１４７】
図１に示すように、本実施の形態に係る入力シート３００は透明である。入力シート３００には、入力シート３００のユーザの権限やユーザＩＤを示す識別情報３０１が描画されている。識別情報３０１は、予め入力シート３００に変更不能に印刷されているものであってもよいし、入力シート３００のユーザにより必要に応じて印鑑などを用いて描画されるものであってもよい。ユーザは、入力シート３００表面に、マジックやペンなどを用いてテキスト３０２や画像などを記入することができる。テキスト３０２は、図１に示すような数字（価格）であってもよいし、商品名やセール中であることを示す文字であってもよい。
【０１４８】
図１４を参照して、電子機器１００は、生成部１１１と、判断部１１２と、取得部１１３と、表示制御部１１４と、通信制御部１１５とを含む。また、電子機器１００は、図２にも示したように、ＲＡＭ１７１と、通信装置１７４と、複数の光センサ回路１４４および複数の画素回路１４１を含む液晶パネル１４０とを含む。
【０１４９】
まず、複数の光センサ回路１４４のそれぞれは、入力シート３００を透過してきた入射光を受光して、入射光に応じた電気信号を生成する。複数の光センサ回路１４４は全体として、画像処理エンジン１８０（図２）などを介して、第１の画像に対応する電気信号を生成部１１１に入力する。たとえば、本実施の形態のように、入力シート３００が透明である場合には、光センサ回路１４４は入力シート３００を透過してきた入射光に基づいて電気信号を生成する。
【０１５０】
この場合には、図１２に示すようにバックライト１７９を消灯させた状態で、識別情報３０１やテキスト３０２を含む第１の画像を読み取ってもよい。なお、入力シート３００が透明であるため、ユーザは、液晶パネル１４０に入力シート３００を読み取らせる際に、識別情報３０１およびテキスト３０２と液晶パネル１４０との位置関係を容易に把握することができる。
【０１５１】
ただし、入力シート３００は透明に限らない。入力シート３００が透明でない場合には、図６に示すようにバックライト１７９を点灯させた状態で第１の画像を読み取ることが好ましい。この場合には、複数の光センサ回路１４４のそれぞれは、入力シート３００にて反射してきた入射光に基づいて電気信号を生成する。
【０１５２】
複数の画素回路１４１のそれぞれは、表示制御部１１４からのテキストデータに基づいて、外部に可視光を発する。より詳細には、複数の画素回路１４１は全体として、画像処理エンジン１８０（図２）などを介して、表示制御部１１４からのテキストデータ（電気信号）に基づいて、バックライト１７９からの光を利用しながらテキスト（第２の画像）を表示する。
【０１５３】
ＲＡＭ１７１は、入力シート３００のユーザ独自の（所定の）パターン画像を示すパターンデータ１７１Ａや、取得部１１３からのテキストデータ１７１Ｂを記憶する。また、ＲＡＭ１７１は、生成部１１１にて生成された図示しない第１の画像データなども記憶する。
【０１５４】
生成部１１１と、判断部１１２と、取得部１１３と、表示制御部１１４と、通信制御部１１５とは、ＣＰＵ１１０などによって実現される機能である。より詳細には、ＣＰＵ１１０が有する各機能は、ＣＰＵ１１０がＲＡＭ１７１などに記憶される制御プログラムを実行して、図２に示される各ハードウェアを制御することによって実現される機能である。
【０１５５】
生成部１１１は、画像処理エンジン１８０（図２）を介して、複数の光センサ回路１４４から入力される電気信号に基づき、液晶パネル１４０に対向させられた入力シート３００上の第１の画像に対応する第１の画像データを生成する。たとえば、生成部１１１は、図３に示す液晶パネル１４０からの電気信号に基づいて、単色で構成される画像データを生成する。あるいは、生成部１１１は、図１１に示す液晶パネル１４０Ａからの電気信号に基づいて、複数色で構成される画像データを生成する。
【０１５６】
ただし、生成部１１１は、図２に示す画像処理エンジン１８０によって実現されてもよい。すなわち、画像処理エンジン１８０によって実現される生成部１１１が、光センサ回路１４４からの電気信号に基づいて第１の画像全体を示す第１の画像データを生成し、第１の画像データをＣＰＵ１１０によって実現される判断部１１２および取得部１１３やＲＡＭ１７１などに受け渡してもよい。
【０１５７】
生成部１１１は、生成した第１の画像データを判断部１１２に受け渡す。このとき、生成部１１１は、第１の画像データを一旦ＲＡＭ１７１に記憶してもよい。すなわち、生成部１１１は、常時ＲＡＭ１７１の画像データを最新の第１の画像データに更新してもよい。
【０１５８】
判断部１１２は、ＲＡＭ１７１から、権限を有するユーザ毎に付与された所定のパターン画像に対応するパターンデータ１７１Ａを読み出して、生成部１１１が生成した第１の画像データと当該パターンデータ１７１Ａとを比較する。判断部１１２は、パターンデータ１７１Ａと第１の画像データとに基づき、第１の画像データに対応する第１の画像中にパターンデータ１７１Ａに対応する所定のパターン画像が含まれているか否かを判断する。たとえば、判断部１１２は、パターンマッチング処理などを行うことによって、第１の画像中に所定のパターン画像が含まれているか否かを判断する。すなわち、判断部１１２は、入力シート３００上に所定の権限を有するユーザに割り当てられているパターン画像（識別情報３０１）が描画されているか否かを判断する。
【０１５９】
液晶パネル１４０の構成に応じて、ＲＡＭ１７１に格納されるパターンデータ１７１Ａは、単色で構成されるパターン画像に対応する画像データであってもよいし、複数色で構成されるパターン画像に対応する画像データであってもよい。また、たとえば、パターン画像は、印影を示す画像であってもよい。具体的には、入力シート３００のユーザは、入力シート３００にテキスト３０２を描画するとともに、入力シート３００に印鑑などを押印することによってＲＡＭ１７１に印影を含む識別情報３０１を描画してもよい。
【０１６０】
このようにして、判断部１１２は、入力シート３００上にパターン画像が存在するか否かを判断し、当該判断結果を取得部１１３に受け渡す。
【０１６１】
取得部１１３は、入力シート３００にパターン画像を含む識別情報３０１が描画されている場合、生成部１１１からの第１の画像データに基づいて、第１の画像データに対応する第１の画像からテキストを抽出する。すなわち、取得部１１３は、生成部１１１からの第１の画像データをテキストデータ１７１Ｂに変換することによって、第１の画像データに対応するテキストデータ１７１Ｂを取得する。取得部１１３は、テキストデータ１７１ＢをＲＡＭ１７１に記憶して、当該テキストデータ１７１Ｂを表示制御部１１４に受け渡す。また、取得部１１３は、テキストデータ１７１Ｂを通信制御部１１５に受け渡してもよい。
【０１６２】
なお、入力シート３００にパターン画像を含む識別情報３０１が描画されていない場合には、生成部１１１は対象となっている画像データを破棄する。あるいは、取得部１１３は、画像データをテキストデータに変換することなく、そのままＲＡＭ１７１に格納しておく。
【０１６３】
表示制御部１１４は、入力シート３００にパターン画像を含む識別情報３０１が描画されている場合、取得部１１３からのテキストデータ１７１Ｂに基づき複数の画素回路１４１を制御することによって、テキストを第２の画像として表示させる。
【０１６４】
通信制御部１１５は、通信装置１７４を介して、取得部１１３からのテキストデータ１７１Ｂや当該テキストデータ１７１Ｂに関連する関連データを、送信データとしてネットワーク２５０へと送出する。関連データは、第１の画像データやテキストデータ１７１Ｂの取得時間を示すデータや、第１の画像データを入力したユーザのユーザＩＤなどを含む。通信装置１７４は、ネットワーク２５０を介して、通信制御部１１５からのテキストデータ１７１Ｂや関連データをサーバ装置２００やレジ４００などに送信する。
【０１６５】
前述したように、サーバ装置２００は、ＲＡＭ２７１や、ＣＰＵ２１０や、通信Ｉ／Ｆ２７４を含む。ＣＰＵ２１０は、通信Ｉ／Ｆ２７４を介して電子機器１００からテキストデータ１７１Ｂや関連データを受信して、当該テキストデータ１７１Ｂや関連データをＲＡＭ２７１などに記憶する。たとえば、サーバ装置２００は、商品の価格を示すテキストデータ１７１Ｂを格納したり、商品の価格をテキストデータ１７１Ｂによって更新したりすることによって、同一店舗内の商品の価格や、他の全ての店舗内の商品の価格などを管理することができる。また、サーバ装置２００は、テキストデータ１７１Ｂや関連データやレジ４００からの販売結果などを利用することによって、様々な解析処理を行うこともできる。
【０１６６】
たとえば、本実施の形態に係るＣＰＵ２１０は、電子機器１００から受信した、商品の価格と、当該価格の変更時刻と、当該価格を変更したユーザの識別情報とを、当該商品を特定するための識別情報に対応付けてＲＡＭ２７１に格納する。これによって、サーバ装置２００の管理者やサーバ装置２００にネットワーク２５０を介して接続されるレジ４００のユーザなどが、商品毎の最新の価格情報や価格の変更情報などを利用することができる。
【０１６７】
＜画像処理＞
次に、図２、図１４、図１５を参照して、本実施の形態に係る電子機器１００における画像処理について説明する。なお、図１５は、本実施の形態に係る電子機器１００における画像処理の処理手順を示すイメージ図である。
【０１６８】
本実施の形態においては、液晶パネル１４０に含まれる複数の光センサ回路１４４は、常時、入射光に応じて電気信号を生成する。光センサ回路１４４のそれぞれは、画像処理エンジン１８０を介して、生成した電気信号をＣＰＵ１１０に入力する。すなわち、ＣＰＵ１１０は、複数の光センサ回路１４４からの電気信号を、画像処理エンジン１８０を介して受け付ける（ステップＳ１０２）。生成部１１１として機能するＣＰＵ１１０（あるいは画像処理エンジン１８０）は、電気信号に基づいて第１の画像データを生成する（ステップＳ１０４）。
【０１６９】
ＣＰＵ１１０は、前回ＲＡＭ１７１に記憶された第１の画像データと今回生成された第１の画像データとを比較する（ステップＳ１０６）。前回ＲＡＭ１７１に記憶された第１の画像データと今回生成された第１の画像データとが略一致する場合（ステップＳ１０６にてＹＥＳである場合）、ＣＰＵ１１０はステップＳ１０２からの処理を繰り返す。
【０１７０】
一方、前回ＲＡＭ１７１に記憶された第１の画像データと今回生成された第１の画像データとが一致しない場合（ステップＳ１０６にてＮＯである場合）、ＣＰＵ１１０は今回生成された第１の画像データをＲＡＭ１７１に記憶する（ステップＳ１０８）。あるいは、ＣＰＵ１１０は、前回ＲＡＭ１７１に記憶された第１の画像データを、今回生成された第１の画像データによって更新する。
【０１７１】
判断部１１２として機能するＣＰＵ１１０は、ＲＡＭ１７１から特定の権限を有するユーザ毎のパターンデータを順次読み出す（ステップＳ１１０）。ＣＰＵ１１０は、生成された第１の画像データとパターンデータとに基づいて、第１の画像データが示す第１の画像中にパターンデータが示す所定のパターン画像が含まれているか否かを、特定の権限を有するユーザ毎に順次判断する（ステップＳ１１２）。
【０１７２】
第１の画像中に所定のパターン画像が含まれていない場合（ステップＳ１１２にてＮＯである場合）、ＣＰＵ１１０は、ステップＳ１０２からの処理を繰り返す。一方、第１の画像中に所定のパターン画像が含まれている場合（ステップＳ１１２にてＹＥＳである場合）、取得部１１３として機能するＣＰＵ１１０は、第１の画像データに基づいて、第１の画像からテキストを抽出して、テキストデータ１７１Ｂを生成する（ステップＳ１１４）。
【０１７３】
表示制御部１１４として機能するＣＰＵ１１０は、テキストデータ１７１Ｂに基づいて、複数の画素回路１４１にテキストを表示させる（ステップＳ１１６）。また、通信制御部１１５として機能するＣＰＵ１１０は、通信装置１７４を介して、テキストデータ１７１Ｂを送信データとしてサーバ装置２００に送信する（ステップＳ１１８）。
【０１７４】
［実施の形態２］
＜ネットワークシステム１Ｂの全体構成＞
次に、本発明の実施の形態２について説明する。上述の実施の形態１に係るネットワークシステム１においては、電子機器１００が、光センサ回路１４４を用いて第１の画像データを読み取り、当該第１の画像データに対応する第１の画像からテキストを抽出することによってテキストデータを生成し、当該テキストデータに基づいて画素回路１４１を用いてテキストを第２の画像として表示するものであった。一方、本実施の形態に係るネットワークシステム１Ｂにおいては、電子機器１００Ｂが、光センサ回路１４４を用いて第１の画像データを読み取り、当該第１の画像データに基づいて画素回路１４１を用いて第１の画像を第２の画像として表示するものである。
【０１７５】
まず、本実施の形態に係るネットワークシステム１Ｂの全体構成について説明する。図１６は、本実施の形態に係るネットワークシステム１Ｂを示す概略図である。より詳細には、図１６（Ａ）は、表示内容が書き換えられる前のネットワークシステム１Ｂを示すイメージ図である。図１６（Ｂ）は、表示内容が書き換えられる最中のネットワークシステム１Ｂを示すイメージ図である。図１６（Ｃ）は、表示内容が書き換えられた後のネットワークシステム１Ｂを示すイメージ図である。
【０１７６】
図１６（Ａ）から図１６（Ｃ）を参照して、本実施の形態に係るネットワークシステム１Ｂは、電子機器１００Ｂと、ネットワーク２５０と、ネットワーク２５０を介して電子機器１００Ｂが接続されるサーバ装置２００と、入力シート３００とを含む。電子機器１００Ｂは、画像を表示するとともに画像を読み取ることができる液晶パネル１４０と、操作キー１７７とを含む。
【０１７７】
＜ネットワークシステム１Ｂの動作概要＞
次に、本実施の形態に係るネットワークシステム１Ｂの動作概要について説明する。
【０１７８】
図１６（Ａ）に示すように、入力シート３００には、予め、入力シート３００のユーザの権限やユーザＩＤなどを示すための識別情報３０１が印刷（表示）されている。そして、入力シート３００のユーザは、所望のタイミングで、当該入力シート３００に印影３０３などの所望する画像を描画する。
【０１７９】
図１６（Ｂ）に示すように、ユーザは、たとえば印影３０３などの画像が描画された入力シート３００を液晶パネル１４０に読み取らせる。電子機器１００Ｂは、液晶パネル１４０を用いて読み取った識別情報３０１や印影３０３を含む第１の画像に基づいて生成される第１の画像データと、予め記憶されている所定のパターン画像に対応するパターンデータとに基づいて、入力シート３００上に所定パターン画像に一致する識別情報３０１が印刷されているか否かを判断する。入力シート３００上の識別情報３０１が所定のパターン画像を含む場合、電子機器１００Ｂは、第１の画像データを記憶したり、第１の画像データを他のアプリケーションデータなどに反映させることによって第２の画像データを生成したりする。
【０１８０】
図１６（Ｃ）に示すように、電子機器１００Ｂは、第２の画像データに基づいて、液晶パネル１４０に第２の画像を表示させる。なお、第２の画像データは第１の画像データそのものであってもよく、すなわち電子機器１００は第１の画像そのままを、第２の画像として第１の画像を読み取った場所に表示してもよい。あるいは、第２の画像データは第１の画像データを反映させた他の文書データなどであってもよく、すなわち第２の画像は第１の画像を含む他の文書画像などであってもよい。また、電子機器１００Ｂは、第２の画像データをネットワーク２５０を介してサーバ装置２００へ送信する。
【０１８１】
＜ネットワークシステム１Ｂの変形例の動作概要＞
次に、本実施の形態に係るネットワークシステム１Ｂの変形例の動作概要について説明する。図１７は、本変形例に係るネットワークシステム１Ｂを示す概略図である。より詳細には、図１７（Ａ）は、表示内容が書き換えられる前のネットワークシステム１Ｂの変形例を示すイメージ図である。図１７（Ｂ）は、表示内容が書き換えられる最中のネットワークシステム１Ｂの変形例を示すイメージ図である。図１７（Ｃ）は、表示内容が書き換えられた後のネットワークシステム１Ｂの変形例を示すイメージ図である。
【０１８２】
図１７（Ａ）に示すように、入力シート３００には、予め、入力シート３００のユーザの権限やユーザＩＤなどを示すための識別情報３０１が印刷（表示）されている。そして、入力シート３００のユーザは、所望のタイミングで、入力シート３００に所望する商品価格などのテキスト３０２を記入する。
【０１８３】
図１７（Ｂ）に示すように、ユーザは、たとえば商品価格などのテキスト３０２が記入された入力シート３００を液晶パネル１４０に読み取らせる。電子機器１００Ｂは、液晶パネル１４０にて読み取った識別情報３０１やテキスト３０２や印影３０３を含む第１の画像に基づいて生成される第１の画像データと、予め記憶されている所定のパターン画像に対応するパターンデータとに基づいて、入力シート３００上に所定のパターン画像に一致する識別情報３０１が印刷されているか否かを判断する。入力シート３００上の識別情報３０１が所定のパターン画像を含む場合、電子機器１００Ｂは、第１の画像データを記憶したり、第１の画像データを他のアプリケーションデータなどに反映させることによって第２の画像データを生成したりする。
【０１８４】
図１７（Ｃ）に示すように、電子機器１００Ｂは、第２の画像データに基づいて、液晶パネル１４０に第２の画像を表示させる。上述したように、第２の画像データは第１の画像データそのものであってもよく、すなわち第２の画像は第１の画像そのものであってもよい。あるいは、第２の画像データは第１の画像データを反映させた他の文書データなどであってもよく、すなわち第２の画像は第１の画像を含む他の文書画像などであってもよい。また、電子機器１００Ｂは、第２の画像データをネットワーク２５０を介してサーバ装置２００へ送信する。
【０１８５】
以下、このような機能を実現するための構成について詳述する。なお、ネットワークシステム１Ｂを構成する機器のハードウェア構成については、図２〜図１３に示す実施の形態１に係るそれらと同様であるため、ここでは説明を繰り返さない。
【０１８６】
＜ネットワークシステム１Ｂの機能構成＞
図１８は、本実施の形態に係るネットワークシステム１Ｂの機能構成を示すブロック図である。図１８に示すように、本実施の形態に係るネットワークシステム１Ｂは、電子機器１００Ｂと、サーバ装置２００と、ネットワーク２５０と、入力シート３００と、他の電子機器４５０とを含む。
【０１８７】
図１６および図１７に示すように、本実施の形態に係る入力シート３００も透明である。入力シート３００には、入力シート３００のユーザの権限やユーザＩＤを示す識別情報３０１が描画されている。識別情報３０１は、予め入力シート３００に変更不能に印刷されているものであってもよいし、入力シート３００のユーザにより必要に応じて印鑑などを用いて描画されるものであってもよい。ユーザは、入力シート３００表面に、印鑑やマジックやペンなどを用いて画像やテキストを描画することができる。
【０１８８】
図１８を参照して、電子機器１００Ｂは、生成部１１１と、判断部１１２と、表示制御部１１６と、通信制御部１１７とを含む。また、電子機器１００Ｂは、図２にも示したように、ＲＡＭ１７１と、通信装置１７４と、複数の光センサ回路１４４および複数の画素回路１４１を含む液晶パネル１４０とを含む。
【０１８９】
通信装置１７４と、複数の光センサ回路１４４および複数の画素回路１４１を含む液晶パネル１４０とは、実施の形態に係るそれらと同様の部品であるため、ここでは説明を繰り返さない。
【０１９０】
ＲＡＭ１７１は、入力シート３００のユーザ独自の（所定の）パターン画像を示すパターンデータ１７１Ａや、生成部１１１からの第２の画像データ１７１Ｃを記憶する。また、ＲＡＭ１７１は、生成部１１１にて生成された図示しない第１の画像データなども記憶する。
【０１９１】
生成部１１１と、判断部１１２と、表示制御部１１６と、通信制御部１１７とは、ＣＰＵ１１０などによって実現される機能である。より詳細には、ＣＰＵ１１０が有する各機能は、ＣＰＵ１１０がＲＡＭ１７１などに記憶される制御プログラムを実行して、図２に示される各ハードウェアを制御することによって実現される機能である。
【０１９２】
ただし、実施の形態１と同様に、生成部１１１は、図２に示す画像処理エンジン１８０によって実現されてもよい。すなわち、画像処理エンジン１８０によって実現される生成部１１１が、電気信号に基づいて第１の画像全体を示す第１の画像データを生成し、第１の画像データをＣＰＵ１１０によって実現される判断部１１２および取得部１１３やＲＡＭ１７１などに受け渡してもよい。
【０１９３】
生成部１１１と判断部１１２の構成は、実施の形態に係るそれらと同様であるため、ここでは説明を繰り返さない。
【０１９４】
本実施の形態に係る表示制御部１１６は、入力シート３００に識別情報が描画されている場合には、生成部１１１からの第１の画像データ（あるいは第２の画像データ）に基づき複数の画素回路１４１を制御することによって、当該複数の画素回路１４１に第１の画像（あるいは第２の画像）を表示させる。すなわち、表示制御部１１６は、複数の画素回路１４１を介して、第１の画像データに基づいて第１の画像そのままを第２の画像として表示させてもよいし、後述するように第１の画像データを加工した第２の画像データに基づいて第１の画像とは異なる第２の画像を表示させてもよい。
【０１９５】
通信制御部１１７は、入力シート３００に識別情報が描画されている場合には、通信装置１７４を介して、生成部１１１からの第１の画像データ（あるいは第２の画像データ）を送信データとしてネットワーク２５０へと送出する。通信装置１７４は、ネットワーク２５０を介して、送信データをサーバ装置２００や、他の電子機器４５０などに送信する。
【０１９６】
なお、本実施の形態に係る判断部１１２は、判断結果を一旦生成部１１１に受け渡してもよい。そして、本実施の形態に係る生成部１１１は、入力シート３００に所定のパターン画像が描画されている場合には、第１の画像データを反映させた他のアプリケーション用の文書データなどを第２の画像データとして表示制御部１１６に受け渡す。表示制御部１１４は、第２の画像データに基づいて、複数の画素回路１４１に第２の画像を表示させる。
【０１９７】
たとえば、本実施の形態に係る生成部１１１は、第１の画像データが印影３０３を示す場合において、他のアプリケーションにて使用されている文書データに当該印影３０３を示す第１の画像データを追加することによって、印影３０３が付与された文書に対応する第２の画像データ１７１Ｃを生成する。具体的には、生成部１１１は、文書データと第１の画像データとに基づいて、決済文書の印鑑欄などに印影３０３が描画された状態の文書データを第２の画像データ１７１Ｃとして出力する。生成部１１１は、第２の画像データ１７１ＣをＲＡＭ１７１に記憶する。表示制御部１１４は、第２の画像データ１７１Ｃに基づいて、印影３０３が押捺されている文書を複数の画素回路１４１に表示させる。
【０１９８】
前述したように、サーバ装置２００は、ＲＡＭ２７１や、ＣＰＵ２１０や、通信Ｉ／Ｆ２７４を含む。ＣＰＵ２１０は、通信Ｉ／Ｆ２７４を介して電子機器１００Ｂから送信データとして第２の画像データ１７１Ｃを受信して、当該第２の画像データ１７１ＣをＲＡＭ２７１などに記憶する。たとえば、サーバ装置２００は、印影３０３の画像を示す第２の画像データ１７１Ｃを格納することができる。
【０１９９】
本実施の形態に係るＣＰＵ２１０は、第２の画像データ１７１ＣをＲＡＭ２７１に格納する。これによって、サーバ装置２００のユーザや、サーバ装置２００にネットワーク２５０を介して接続される他の電子機器４５０のユーザが、印影３０３が描画された文書を利用することができる。
【０２００】
＜画像処理＞
次に、図２、図１８、図１９を参照して、本実施の形態に係る電子機器１００Ｂにおける画像処理について説明する。なお、図１９は、本実施の形態に係る電子機器１００Ｂにおける画像処理の処理手順を示すイメージ図である。
【０２０１】
本実施の形態においては、液晶パネル１４０に含まれる複数の光センサ回路１４４は、常時、入射光に応じて電気信号を生成する。光センサ回路１４４のそれぞれは、生成した電気信号をＣＰＵ１１０に入力する。すなわち、ＣＰＵ１１０は、複数の光センサ回路１４４からの電気信号を受け付ける（ステップＳ１０２）。生成部１１１として機能するＣＰＵ１１０は、電気信号に基づいて第１の画像データを生成する（ステップＳ１０４）。
【０２０２】
ＣＰＵ１１０は、前回ＲＡＭ１７１に記憶された第１の画像データと今回生成された第１の画像データとを比較する（ステップＳ１０６）。前回ＲＡＭ１７１に記憶された第１の画像データと今回生成された第１の画像データとが略一致する場合（ステップＳ１０６にてＹＥＳである場合）、ＣＰＵ１１０はステップＳ１０２からの処理を繰り返す。
【０２０３】
一方、前回ＲＡＭ１７１に記憶された第１の画像データと今回生成された第１の画像データとが一致しない場合（ステップＳ１０６にてＮＯである場合）、ＣＰＵ１１０は今回生成された第１の画像データをＲＡＭ１７１に記憶する（ステップＳ１０８）。あるいは、ＣＰＵ１１０は、前回ＲＡＭ１７１に記憶された第１の画像データを、今回生成された第１の画像データによって更新する。
【０２０４】
判断部１１２として機能するＣＰＵ１１０は、ＲＡＭ１７１からパターンデータを読み出す（ステップＳ１１０）。ＣＰＵ１１０は、生成された第１の画像データとパターンデータとに基づいて、第１の画像データが示す第１の画像中にパターンデータが示す所定のパターン画像が含まれているか否かを判断する（ステップＳ１１２）。
【０２０５】
第１の画像中に所定のパターン画像が含まれていない場合（ステップＳ１１２にてＮＯである場合）、ＣＰＵ１１０は、ステップＳ１０２からの処理を繰り返す。一方、第１の画像中に所定のパターン画像が含まれている場合（ステップＳ１１２にてＹＥＳである場合）、取得部１１３として機能するＣＰＵ１１０は、第１の画像データに基づいて、他のアプリケーションプログラムでも利用可能な文書データに第１の画像データを反映させる（ステップＳ２１４）。すなわち、ＣＰＵ１１０は、第１の画像が描画された文書を示す第２の画像データ１７１Ｃを生成する。
【０２０６】
表示制御部１１４として機能するＣＰＵ１１０は、第２の画像データ１７１Ｃに基づいて、複数の画素回路１４１に第２の画像を表示させる（ステップＳ２１６）。また、通信制御部１１５として機能するＣＰＵ１１０は、通信装置１７４を介して、第２の画像データ１７１Ｃを送信データとしてサーバ装置２００に送信する（ステップＳ２１８）。
【０２０７】
ただし、ステップＳ２１４を省略してもよい。すなわち、第１の画像中に所定のパターン画像が含まれている場合（ステップＳ１１２にてＹＥＳである場合）、表示制御部１１４として機能するＣＰＵ１１０は、第１の画像データに基づいて、複数の画素回路１４１に第１の画像を表示させてもよい（ステップＳ２１６）。また、通信制御部１１５として機能するＣＰＵ１１０は、通信装置１７４を介して、第１の画像データを送信データとしてサーバ装置２００に送信してもよい（ステップＳ２１８）。
【０２０８】
＜その他の実施の形態＞
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
【０２０９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２１０】
プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード（ＩＣメモリカード）、ＲＯＭ（マスクＲＯＭ、フラッシュＥＥＰＲＯＭなど）などを用いることができる。
【０２１１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２１２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２１３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０２１４】
【図１】実施の形態１に係るネットワークシステムを示す概略図である。
【図２】電子機器のハードウェア構成を表わすブロック図である。
【図３】液晶パネルの構成と当該液晶パネルの周辺回路とを示した図である。
【図４】液晶パネルとバックライトとの断面図である。
【図５】光センサ回路を動作させる際のタイミングチャートを示した図である。
【図６】スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した断面図である。
【図７】センシングコマンドの概略構成を示した図である。
【図８】センシングコマンドの各領域におけるデータの値と当該値が示す意味内容とを示した図である。
【図９】応答データの概略構成を示した図である。
【図１０】指をスキャンすることにより得られた画像を示した図である。
【図１１】光センサ内蔵液晶パネルの変形例を示す回路図である。
【図１２】スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。
【図１３】サーバ装置のハードウェア構成を表わすブロック図である。
【図１４】実施の形態１に係るネットワークシステムの機能構成を示すブロック図である。
【図１５】実施の形態１に係る電子機器における画像処理の処理手順を示すイメージ図である。
【図１６】実施の形態２に係るネットワークシステムを示す概略図である。
【図１７】実施の形態２の変形例に係るネットワークシステムを示す概略図である。
【図１８】実施の形態２に係るネットワークシステムの機能構成を示すブロック図である。
【図１９】実施の形態２に係る電子機器における画像処理の処理手順を示すイメージ図である。
【符号の説明】
【０２１５】
１，１Ｂ ネットワークシステム、１００，１００Ｂ 電子機器、１０１ 本体装置、１０２ 表示装置、１１０ ＣＰＵ、１１１ 生成部、１１２ 判断部、１１３ 取得部、１１４，１１６ 表示制御部、１１５，１１７ 通信制御部、１３０ ドライバ、１３１ 走査信号線駆動回路、１３２ データ信号線駆動回路、１３３ 光センサ駆動回路、１３４ スイッチ、１３５ アンプ、１４０，１４０Ａ 光センサ内蔵液晶パネル、１４１ 画素回路、１４１ｂ，１４１ｇ，１４１ｒ サブピクセル回路、１４３ 電極対、１４３ａ 画素電極、１４３ｂ 対向電極、１４４ 光センサ回路、１４５，１４５ｂ，１４５ｇ，１４５ｒ フォトダイオード、１４６ コンデンサ、１５１Ａ アクティブマトリクス基板、１５１Ｂ 対向基板、１５２ 液晶層、１５３ｂ，１５３ｇ，１５３ｒ カラーフィルタ、１５７ データ信号線、１６１ 偏光フィルタ、１６２ ガラス基板、１６３ 遮光膜、１６４ 配向膜、１７１ ＲＡＭ、１７１Ａ パターンデータ、１７１Ｂ テキストデータ、１７１Ｃ 画像データ、１７３ メモリカードリーダライタ、１７４ 通信装置、１７５ マイク、１７６ スピーカ、１７７ 操作キー、１７９ バックライト、１８０ 画像処理エンジン、１８１ ドライバ制御部、１８２ タイマ、１８３ 信号処理部、２００ サーバ装置、２０１ 本体装置、２０２ 表示装置、２５０ ネットワーク、２７３ 駆動装置、２７５ マイク、２７６ スピーカ、２７７ 操作キー、３００ 入力シート、３０１ 識別情報、３０２ テキスト、３０３ 印影、４００ キャッシュレジスタ（レジ）、４５０ 他の電子機器、９００ 指、１７３１ メモリカード、ＤＢ１，ＤＢ２ データバス。
【技術分野】
【０００１】
本発明は、画素回路を介して画像やテキストを表示することができる液晶表示装置、ネットワークシステム、および画像処理方法に関し、特に、画素回路とともに配置された光センサ回路を介して画像やテキストを読み取ることができる液晶表示装置、ネットワークシステム、および画像処理方法に関する。
【背景技術】
【０００２】
従来から、入射光に基づいて電気信号を生成する光センサ回路と、電気信号に基づいて可視光を発する画素回路とを含む液晶表示装置が知られている。このような液晶表示装置においては、１つの画面中に複数の光センサ回路と複数の画素回路とが配置され、当該１つの画面は外部から情報を受け付ける入力装置と外部へと情報を表示する表示装置の役割を果たすことができる。
【０００３】
たとえば、特開２００８−１９１４９８号公報（特許文献１）には、光センサ付の液晶表示装置が開示されている。特開２００８−１９１４９８号公報（特許文献１）によると、液晶パネルは、アクティブマトリクス基板と、フィルタ基板と、これらの間に挟み込まれる液晶層とを含む。アクティブマトリクス基板は、液晶パネルの厚み方向においてフィルタ基板に重なる領域上に光センサを含む。光センサは、アクティブマトリクス基板を構成するベース基板上にモノリシックに形成される。フィルタ基板は、液晶パネルの厚み方向において光センサに重なる領域に、外光を透過させる透過部を含む。筐体は、液晶パネルの表示領域を露出させる開口部と、開口部の周辺において透過部を露出させる開口部とを含む。
【０００４】
また、特開２００５−１８５３１６号公報（特許文献２）には、棚札の表示内容の変更システム及び方法が開示されている。特開２００５−１８５３１６号公報（特許文献２）によると、棚札として電子ペーパーを含む商品陳列棚と、商品情報とデザイン情報とを管理する商品情報管理コンピュータとが、構内ネットワークに接続されている。商品情報管理コンピュータは、表示内容を変更する電子ペーパーのアドレスを指定して、この電子ペーパーを特定し、この電子ペーパーを含む商品陳列棚へ、ネットワークを介して、商品情報と、そのデザイン情報とを送信する。商品陳列棚は、指定されたアドレスで特定される電子ペーパーを含む場合に、この電子ペーパーへ、商品情報と、そのデザイン情報とを転送する。電子ペーパーは、指定されたアドレスで特定される場合に、商品情報と、そのデザイン情報とを受信して、表示内容を、このデザイン情報に従ったこの商品情報の表示に書き換える。
【特許文献１】特開２００８−１９１４９８号公報
【特許文献２】特開２００５−１８５３１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の液晶表示装置においては、セキュリティー上の不具合が存在する。すなわち、従来の液晶表示装置においては、誰もが液晶表示装置に情報を入力することができてしまう。たとえば、店舗に配置される棚札として、光センサ回路と画素回路とを含む液晶表示装置を使用する場合においては、権限を有する役職者だけでなく、権限がない他の店舗スタッフや店舗に訪れた客でさえも、光センサ回路を介して液晶表示装置に情報を入力できてしまう。
【０００６】
本発明は、かかる問題を解決するためになされたものであり、その目的は、情報を外部に表示するとともに、所定の条件を満たした場合にのみ外部から情報を受け付ける液晶表示装置、ネットワークシステム、および画像処理方法を提供することである。
【課題を解決するための手段】
【０００７】
この発明のある局面に従うと、液晶表示装置が提供される。液晶表示装置は、入射光に応じて電気信号を生成する複数の光センサ回路と、電気信号に応じて光を発する複数の画素回路と、所定のパターン画像を示すパターンデータを格納する記憶部と、複数の光センサ回路から入力される電気信号に基づいて画像データを生成する生成手段と、画像データとパターンデータとに基づいて、画像データに対応する第１の画像中に所定のパターン画像が含まれているか否かを判断する判断手段と、第１の画像中に所定のパターン画像が含まれている場合に、複数の画素回路に画像データに対応する第２の画像を表示させる表示制御手段とを含む。
【０００８】
好ましくは、液晶表示装置は、第１の画像中に所定のパターン画像が含まれている場合に、第１の画像からテキストを抽出することによって、画像データに基づいてテキストデータを取得する取得手段をさらに含む。表示制御手段は、テキストデータに基づいて、複数の画素回路に第２の画像としてテキストを表示させる。
【０００９】
好ましくは、記憶部は、第１の画像中に所定のパターン画像が含まれている場合に、テキストデータを格納する。
【００１０】
好ましくは、記憶部は、商品の価格を示す価格データを記憶する。取得手段は、第１の画像中に所定のパターン画像が含まれている場合に、テキストデータによって価格データを更新する。
【００１１】
好ましくは、表示制御手段は、第１の画像中に所定のパターン画像が含まれている場合に、画像データに基づいて、複数の画素回路に第２の画像として第１の画像を表示させる。
【００１２】
好ましくは、記憶部は、第１の画像中に所定のパターン画像が含まれている場合に、画像データを格納する。
【００１３】
好ましくは、複数の光センサ回路は、外部の透明シートからの光を入射光として受光する。透明シートには、所定のパターン画像が描画されている。
【００１４】
この発明の別の局面に従うと、液晶表示装置と液晶表示装置にネットワークを介して接続可能なサーバ装置とを含むネットワークシステムが提供される。液晶表示装置は、入射光に応じて電気信号を生成する複数の光センサ回路と、電気信号に応じて光を発する複数の画素回路と、所定のパターン画像を示すパターンデータを格納する第１の記憶部と、複数の光センサ回路から入力される電気信号に基づいて画像データを生成する生成手段と、画像データとパターンデータとに基づいて、画像データに対応する第１の画像中に所定のパターン画像が含まれているか否かを判断する判断手段と、第１の画像中に所定のパターン画像が含まれている場合に、複数の画素回路に画像データに対応する第２の画像を表示させる表示制御手段と、第１の画像中に所定のパターン画像が含まれている場合に、複数の画素回路に画像データに対応する送信データをネットワークを介してサーバ装置へ送信する第１の通信部とを含む。サーバ装置は、液晶表示装置から送信データを受信する第２の通信部と、送信データを格納する第２の記憶部とを含む。
【００１５】
好ましくは、ネットワークシステムは、所定のパターン画像が描画された透明シートをさらに含む。複数の光センサ回路は、透明シートからの光を入射光として受光する。
【００１６】
この発明の別の局面に従うと、液晶表示装置における画像処理方法が提供される。液晶表示装置は、演算処理部と、入射光に応じて電気信号を生成する複数の光センサ回路と、電気信号に応じて光を発する複数の画素回路と、所定のパターン画像を示すパターンデータを格納する記憶部とを含む。演算処理部が、複数の光センサ回路から入力される電気信号に基づいて画像データを生成するステップと、演算処理部が、画像データとパターンデータとに基づいて、画像データに対応する第１の画像中に所定のパターン画像が含まれているか否かを判断するステップと、演算処理部が、第１の画像中に所定のパターン画像が含まれている場合に、複数の画素回路に画像データに対応する第２の画像を表示させるステップとを含む。
【発明の効果】
【００１７】
以上のように、本発明によって、情報を外部に表示するとともに、所定の条件を満たした場合にのみ外部から情報を受け付ける液晶表示装置、ネットワークシステム、および画像処理方法が提供される。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００１９】
［実施の形態１］
＜ネットワークシステム１の全体構成＞
まず、本実施の形態に係るネットワークシステム１の全体構成について説明する。図１は、本実施の形態に係るネットワークシステム１を示す概略図である。より詳細には、図１（Ａ）は、表示内容が書き換えられる前のネットワークシステム１を示すイメージ図である。図１（Ｂ）は、表示内容が書き換えられている最中のネットワークシステム１を示すイメージ図である。図１（Ｃ）は、表示内容が書き換えられた後のネットワークシステム１を示すイメージ図である。
【００２０】
図１（Ａ）から図１（Ｃ）を参照して、本実施の形態に係るネットワークシステム１は、液晶表示装置の一例としての電子機器１００と、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などのネットワーク２５０と、ネットワーク２５０を介して電子機器１００に接続されるサーバ装置２００と、入力シート３００とを含む。電子機器１００は、テキストを表示するとともにテキストなどを読み取ることができる液晶パネル１４０と、操作キー１７７とを含む。
【００２１】
＜ネットワークシステム１の動作概要＞
次に、本実施の形態に係るネットワークシステム１の動作概要について説明する。
【００２２】
図１（Ａ）に示すように、入力シート３００には、予め、入力シート３００のユーザの権限やユーザＩＤ（Identification）などを示すための識別情報３０１が印刷（表示）されている。そして、入力シート３００のユーザは、所望のタイミングで、当該入力シート３００に所望する商品価格などのテキスト３０２を記入する。
【００２３】
次に、図１（Ｂ）に示すように、ユーザは商品価格などのテキスト３０２が記入された入力シート３００を液晶パネル１４０に読み取らせる。電子機器１００は、液晶パネル１４０を用いて読み取った識別情報３０１やテキスト３０２を含む第１の画像に基づいて第１の画像データを生成する。電子機器１００は、第１の画像データと予め記憶している所定のパターン画像に対応するパターンデータとに基づいて、入力シート３００上に所定のパターン画像に一致する識別情報３０１が印刷されているか否かを判断する。入力シート３００上の識別情報３０１が所定のパターン画像を含む場合、電子機器１００は、第１の画像データに基づいて第１の画像中からテキスト３０２を抽出することによって、テキストデータを生成する。
【００２４】
次に、図１（Ｃ）に示すように、電子機器１００は、テキストデータに基づいて、液晶パネル１４０にテキスト（第２の画像）を表示させる。すなわち、本実施の形態に係る電子機器１００は、入力シート３００上の識別情報３０１が所定のパターン画像を含む場合に、入力シート３００上に記入された第１の画像を受け付けて、第１の画像に対応するテキストを表示する。このとき、電子機器１００は、テキストデータや当該テキストデータに対応する関連データを、ネットワーク２５０を介してサーバ装置２００へ送信する。サーバ装置２００においては、受信したテキストデータや当該テキストデータに対応する関連データに基づいて、商品の価格や、当該商品の価格の変更時刻や、当該商品の価格を変更したユーザＩＤなどを管理することができる。また、サーバ装置２００に接続された他の電子機器（たとえばキャッシュレジスタなど）において、変更された商品の価格を利用することもできる。
【００２５】
以下、このような機能を実現するための構成について詳述する。
＜電子機器１００のハードウェア構成＞
次に、本実施の形態に係る電子機器１００の具体的構成の一態様について説明する。図２は、本実施の形態に係る電子機器１００のハードウェア構成を表わすブロック図である。図２を参照して、電子機器１００は、主たる構成要素として、本体装置１０１と、表示装置１０２とを含む。
【００２６】
本体装置１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１７１と、ＲＯＭ（Read-Only Memory）１７２と、メモリカードリーダライタ１７３と、通信装置１７４と、マイク１７５と、スピーカ１７６と、操作キー１７７とを含む。各構成要素は、相互にデータバスＤＢ１によって接続されている。メモリカードリーダライタ１７３には、メモリカード１７３１が装着される。
【００２７】
ＣＰＵ１１０は、プログラムを実行する。操作キー１７７は、電子機器１００の使用者による指示の入力を受ける。ＲＡＭ１７１は、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータを揮発的に格納する。ＲＯＭ１７２は、データを不揮発的に格納する。また、ＲＯＭ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどの書込みおよび消去が可能なＲＯＭである。通信装置１７４は、図示しない他の電子機器との間で無線通信を行う。なお、図２には図示していないが、電子機器１００が、他の電子機器に有線により接続するためのインターフェイス（ＩＦ）を含む構成としてもよい。
【００２８】
表示装置１０２は、ドライバ１３０と、光センサ内蔵液晶パネル１４０（以下、液晶パネル１４０と称する）と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。
【００２９】
ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。
【００３０】
液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル１４０の詳細については、後述する。
【００３１】
内部ＩＦ（Interface）１７８は、本体装置１０１と表示装置１０２との間で、データの遣り取りを仲介する。
【００３２】
バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。
【００３３】
画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して本体装置１０１から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン１８０は、液晶パネル１４０から出力されるデータを処理し、処理したデータを内部ＩＦ１７８を介して本体装置１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１８３とを含む。
【００３４】
ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体装置１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。
【００３５】
タイマ１８２は、時刻情報を生成し、信号処理部１８３に対して時刻情報を送る。
信号処理部１８３は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部１８３は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部１８３は、当該デジタルデータに対して、本体装置１０１から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部１８３は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）を本体装置１０１に送る。また、信号処理部１８３は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。
【００３６】
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する（図７〜図９）。
【００３７】
なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、表示装置１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体装置１０１に備えられていてもよい。また、マイク１７５およびスピーカ１７６は、電子機器１００が常に含む構成ではなく、電子機器１００の実施例によっては、マイク１７５およびスピーカ１７６のいずれかあるいは両方を有さない構成であってもよい。
【００３８】
ここで、表示装置１０２は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル１４０の周辺機器を当該液晶パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、表示装置１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。
【００３９】
ところで、電子機器１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信装置１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、ＲＯＭ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってＲＯＭ１７２から読み出され、ＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。
【００４０】
図２に示される電子機器１００の本体装置１０１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１７１、ＲＯＭ１７２、メモリカード１７３１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器１００の本体装置１０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【００４１】
なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【００４２】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４３】
＜液晶パネル１４０の構成および駆動について＞
次に、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路の構成とについて説明する。図３は、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路とを示した図である。
【００４４】
図３を参照して、液晶パネル１４０は、画素回路１４１と、光センサ回路１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊと、データ信号線ＳＧｊと、データ信号線ＳＢｊと、センサ信号線ＳＳｊと、センサ信号線ＳＤｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。
【００４５】
また、図２に示した表示装置１０２のドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。
【００４６】
走査信号線駆動回路１３１は、図２に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【００４７】
データ信号線駆動回路１３２は、図２に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。
【００４８】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【００４９】
画素回路１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素回路１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素回路１４１は、図３の縦方向にｍ個、横方向にｎ個配されている。
【００５０】
画素回路１４１は、Ｒサブピクセル回路１４１ｒと、Ｇサブピクセル回路１４１ｇと、Ｂサブピクセル回路１４１ｂとからなる。これら３つの回路（１４１ｒ，１４１ｇ，１４１ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。
【００５１】
なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、表示装置１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。
【００５２】
Ｒサブピクセル回路１４１ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Ｇサブピクセル回路１４１ｇおよびＢサブピクセル回路１４１ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、Ｒサブピクセル回路１４１ｒと同じ構成である。このため、これら２つの回路（１４１ｇ，１４１ｂ）についての説明は、繰り返さない。
【００５３】
ここで、画素回路１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。
【００５４】
光センサ駆動回路１３３は、図２に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。
【００５５】
そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。
【００５６】
また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。
【００５７】
なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。
【００５８】
光センサ回路１４４は、フォトダイオード１４５と、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。
【００５９】
フォトダイオード１４５のアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５のカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５とコンデンサ１４６との接続点をノードＮと称する。
【００６０】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳｊに接続されている。光センサ回路１４４を用いたセンシングの詳細については、後述する。
【００６１】
スイッチ１３４は、センサ信号線（ＳＤ１〜ＳＤｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤ１〜ＳＤｎ）に印加される電圧については、後述する。
【００６２】
アンプ１３５は、各センサ信号線（ＳＳ１〜ＳＳｎ）から出力された電圧を増幅する。なお、増幅された電圧は、図２に示した信号処理部１８３に送られる。
【００６３】
なお、画素回路１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、光センサ回路１４４を用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。
【００６４】
図４は、液晶パネル１４０とバックライト１７９との断面図である。図４を参照して、液晶パネル１４０は、アクティブマトリクス基板１５１Ａと、対向基板１５１Ｂと、液晶層１５２とを含む。対向基板１５１Ｂは、アクティブマトリクス基板１５１Ａに対向して配されている。液晶層１５２は、アクティブマトリクス基板１５１Ａと対向基板１５１Ｂとに挟まれている。バックライト１７９は、アクティブマトリクス基板１５１Ａに関し液晶層１５２と反対側に配されている。
【００６５】
アクティブマトリクス基板１５１Ａは、偏光フィルタ１６１と、ガラス基板１６２と、電極対１４３を構成する画素電極１４３ａと、フォトダイオード１４５と、データ信号線１５７と、配向膜１６４とを含む。さらに、図４には示していないが、アクティブマトリクス基板１５１Ａは、図３に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。
【００６６】
また、アクティブマトリクス基板１５１Ａにおいては、バックライト１７９側から、偏光フィルタ１６１、ガラス基板１６２、画素電極１４３ａ、および配向膜１６４が、この順に配されている。フォトダイオード１４５とデータ信号線１５７とは、ガラス基板１６２の液晶層１５２側に形成されている。
【００６７】
対向基板１５１Ｂは、偏光フィルタ１６１と、ガラス基板１６２と、遮光膜１６３と、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と、電極対１４３を構成する対向電極１４３ｂと、配向膜１６４とを含む。
【００６８】
また、対向基板１５１Ｂにおいては、液晶層１５２側から、配向膜１６４、対向電極１４３ｂ、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）、ガラス基板１６２、および偏光フィルタ１６１が、この順に配されている。遮光膜１６３は、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と同一の層に形成されている。
【００６９】
カラーフィルタ１５３ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｂは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード１４５は、カラーフィルタ１５３ｂに対向する位置に配されている。
【００７０】
液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ１６１を配置している。
【００７１】
なお、フォトダイオード１４５の位置は、上記の位置に限定されるものではなく、カラーフィルタ１５３ｒに対向する位置やカラーフィルタ１５３ｇに対向する位置に設けることも可能である。
【００７２】
ここで、光センサ回路１４４の動作について説明する。図５は、光センサ回路１４４を動作させる際のタイミングチャートを示した図である。図５において、電圧ＶＩＮＴは、光センサ回路１４４内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図３に示したセンサ信号線ＳＳｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。
【００７３】
以下では、光センサ回路１４４をリセットするためのリセット期間と、光センサ回路１４４を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【００７４】
まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切り換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式（１）で示す値となる。なお、式（１）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。
【００７５】
ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ … （１）
それゆえ、ノードＮの電位は、図５に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。
【００７６】
ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。
【００７７】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。
【００７８】
このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図５に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。
【００７９】
なお、このように電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。
【００８０】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。
【００８１】
このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図５に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。
【００８２】
この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤｊ（図３参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳｊからは、図５のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。
【００８３】
ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図５のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、光センサ回路１４４は、フォトダイオード１４５の受光量に応じて、センサ信号線ＳＳｊに出力する電圧の値を変化させる。
【００８４】
ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの光センサ回路１４４に着目して、その動作を説明した。以下では、液晶パネル１４０における各光センサ回路の動作について説明する。
【００８５】
まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図３における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。
【００８６】
なお、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【００８７】
１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【００８８】
以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。
【００８９】
なお、表示装置１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル１４０から出力される。このため、以下では、液晶パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１８３が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物（たとえば、ユーザの指）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
【００９０】
また、上記においては、ｍ×ｎ個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル１４０の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
【００９１】
以下では、電子機器１００が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー１７７を介した入力などに基づく本体装置１０１から送られてくるコマンドにより行われるものとする。なお、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン１８０が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。
【００９２】
このように、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。
【００９３】
図６は、液晶パネル１４０とバックライト１７９との断面図であって、スキャンの際にフォトダイオード１４５がバックライト１７９からの光を受光する構成を示した図である。
【００９４】
図６を参照して、ユーザの指９００が液晶パネル１４０の表面に接触している場合、バックライト１７９から発せられた光の一部は、当該接触している領域ではユーザの指９００（略平面）にて反射される。そして、フォトダイオード１４５は、当該反射された光を受光する。
【００９５】
また、指９００が接触していない領域においても、バックライト１７９から発せられた光の一部は、ユーザの指９００にて反射される。この場合においても、フォトダイオード１４５は、当該反射された光を受光する。ただし、当該領域においては液晶パネル１４０の表面に指９００が接触していないため、指９００が接触している領域よりも、フォトダイオード１４５の受光量は少なくなる。なお、バックライト１７９から発せられた光のうち、ユーザの指９００に到達しない光のほとんどについては、フォトダイオード１４５は受光できない。
【００９６】
ここで、バックライト１７９を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路１４４は、ユーザの指９００により反射した光の光量に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９の点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。
【００９７】
以上により、表示装置１０２は、指９００によって光が反射されることにより得られる像（以下、反射像とも称する）をスキャンすることができる。
【００９８】
なお、指９００以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器１００の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機ＥＬ（Electro-Luminescence）パネルなどの他のパネルを用いてもよい。
【００９９】
＜データについて＞
次に、センシングコマンドについて説明する。なお、表示装置１０２においては、画像処理エンジン１８０は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ（つまり、応答データ）を本体装置１０１に送り返す。
【０１００】
図７は、センシングコマンドの概略構成を示した図である。図７を参照して、センシングコマンドは、ヘッダのデータ領域ＤＡ０１と、タイミングを示すデータ領域ＤＡ０２と、データ種別を示すデータ領域ＤＡ０３と、読取方式を示すデータ領域ＤＡ０４と、画像階調を示すデータ領域ＤＡ０５と、解像度を示すデータ領域ＤＡ０６と、予備のデータ領域ＤＡ０７とを含む。
【０１０１】
図８は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
【０１０２】
図８を参照して、タイミングを示すデータ領域に「００」が設定されたセンシングコマンドは、画像処理エンジン１８０に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン１８０が受信した後に、光センサ回路１４４を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「０１」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「１０」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
【０１０３】
データ種別を示すデータ領域に「００１」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「０１０」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「１００」が設定されたセンシングコマンドは、全体画像の送信を要求する。
【０１０４】
ここで、「全体画像」とは、ｍ×ｎ個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン１８０により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
【０１０５】
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル１４０の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
【０１０６】
読取方式を示すデータ領域に「００」が設定されたセンシングコマンドは、バックライト１７９を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「０１」が設定されたセンシングコマンドは、バックライト１７９を消灯してスキャンすることを要求する。なお、バックライト１７９を消灯してスキャンする構成については後述する（図１２）。さらに、読取方式を示すデータ領域に「１０」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト１７９を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。
【０１０７】
画像階調を示すデータ領域に「００」が設定されたセンシングコマンドは、白黒の２値の画像データを要求する。また、画像階調を示すデータ領域に「０１」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「１０」が設定されたセンシングコマンドは、ＲＧＢのカラーの画像データを要求する。
【０１０８】
解像度を示すデータ領域に「０」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「１」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
【０１０９】
また、センシングコマンドには、図７および図８に示したデータ以外に、スキャンを行う領域（光センサ回路１４４を駆動する画素の領域）の指定、スキャンを行うタイミング、バックライト１７９の点灯のタイミングなどが記述されている。
【０１１０】
図９は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示装置１０２の画像処理エンジン１８０が本体装置１０１に対して送信するデータである。
【０１１１】
図９を参照して、応答データは、ヘッダのデータ領域ＤＡ１１と、座標を示すデータ領域ＤＡ１２と、時刻を示すデータ領域ＤＡ１３と、画像を示すデータ領域ＤＡ１４とを含む。ここで、座標を示すデータ領域ＤＡ１２には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン１８０のタイマ１８２から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン１８０により処理がされた後の画像データ（つまり、スキャンデータ）が書き込まれる。
【０１１２】
図１０は、指９００をスキャンすることにより得られた画像（つまり、スキャン画像）を示した図である。図１０を参照して、太実線で囲まれた領域Ｗ１の画像が全体画像であり、破線で囲まれた領域Ｐ１の画像が部分画像である。また、太線で示した十字の中心点Ｃ１が、中心座標となる。
【０１１３】
本実施の形態では、矩形の領域であって、かつセンサ信号線ＳＳｊからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素（つまり、予め定められた階調または予め定められた輝度以上の画素）全てを含む領域を、部分画像の領域としている。
【０１１４】
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点（つまり図心）との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
【０１１５】
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
【０１１６】
センシングコマンドのデータ種別を示すデータ領域に「００１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に上記中心座標の値を書き込む。この場合、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４には画像データを書き込まない。画像処理エンジン１８０は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「００１」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
【０１１７】
また、センシングコマンドのデータ種別を示すデータ領域に「０１０」が設定されている場合には、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１０」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
【０１１８】
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指９００などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
【０１１９】
また、センシングコマンドのデータ種別を示すデータ領域に「０１１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
【０１２０】
また、センシングコマンドのデータ種別を示すデータ領域に「１００」が設定されている場合には、画像処理エンジン１８０は、図９に示した応答データの画像を示すデータ領域ＤＡ１４に、全体画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１００」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
【０１２１】
また、センシングコマンドのデータ種別を示すデータ領域に「１０１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４に全体画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１０１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
【０１２２】
＜変形例について＞
ところで、液晶パネル１４０の構成は、図３に示した構成に限定されるものではない。以下では、図３とは異なる態様の液晶パネルについて説明する。
【０１２３】
図１１は、上記異なる態様である光センサ内蔵液晶パネル１４０Ａの回路図である。図１１を参照して、光センサ内蔵液晶パネル１４０Ａ（以下、液晶パネル１４０Ａと称する）は、１画素内に３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を含んでいる。このように液晶パネル１４０Ａが１画素内に３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を含む点において、液晶パネル１４０Ａは、１画素内に１つの光センサ回路を含む液晶パネル１４０と異なる。なお、光センサ回路１４４の構成と、３つの各光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）との構成は同じである。
【０１２４】
また、１画素内における３つのフォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）は、それぞれ、カラーフィルタ１５３ｒ、カラーフィルタ１５３ｇ、カラーフィルタ１５３ｂに対向する位置に配されている。それゆえ、フォトダイオード１４５ｒは赤色の光を受光し、フォトダイオード１４５ｇは緑色の光を受光し、フォトダイオード１４５ｂは青色の光を受光する。
【０１２５】
また、液晶パネル１４０は１画素内において１つの光センサ回路１４４しか含まないため、１画素内に配設されるＴＦＴ１４７用のデータ信号線は、センサ信号線ＳＳｊとセンサ信号線ＳＤｊとの２本であった。しかしながら、液晶パネル１４０Ａは１画素内において３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を含むため、１画素内に配設されるＴＦＴ（１４７ｒ，１４７ｇ，１４７ｂ）用のデータ信号線は６本となる。
【０１２６】
具体的には、カラーフィルタ１５３ｒに対向する位置に配されたフォトダイオード１４５ｒのカソードに接続されたＴＦＴ１４７ｒに対応して、センサ信号線ＳＳＲｊとセンサ信号線ＳＤＲｊとが配設される。また、カラーフィルタ１５３ｇに対向する位置に配されたフォトダイオード１４５ｇのカソードに接続されたＴＦＴ１４７ｇに対応して、センサ信号線ＳＳＧｊとセンサ信号線ＳＤＧｊとが配設される。さらに、カラーフィルタ１５３ｂに対向する位置に配されたフォトダイオード１４５ｂのカソードに接続されたＴＦＴ１４７ｂに対応して、センサ信号線ＳＳＢｊとセンサ信号線ＳＤＢｊとが配設される。
【０１２７】
このような液晶パネル１４０Ａにおいては、バックライト１７９から照射された白色光は、３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）を透過し、液晶パネル１４０Ａの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）を透過する。
【０１２８】
この際、カラーフィルタ１５３ｒは赤色の波長の光を透過し、フォトダイオード１４５ｒは、当該赤色の波長の光を受光する。また、カラーフィルタ１５３ｇは緑色の波長の光を透過し、フォトダイオード１４５ｇは、当該緑色の波長の光を受光する。また、カラーフィルタ１５３ｂは青色の波長の光を透過し、フォトダイオード１４５ｂは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）によって３原色（Ｒ，Ｇ，Ｂ）に色分解され、各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）は、それぞれに対応した色の光を受光する。
【０１２９】
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）の受光量が各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）で異なることになる。このため、センサ信号線ＳＳＲｊとセンサ信号線ＳＳＧｊとセンサ信号線ＳＳＢｊとの出力電圧は互いに異なる。
【０１３０】
それゆえ、各出力電圧に応じて、Ｒの階調とＧの階調とＢの階調とを画像処理エンジン１８０が決定することにより、画像処理エンジン１８０はＲＧＢのカラー画像を本体装置１０１へ送ることができる。
【０１３１】
以上述べたように、電子機器１００が液晶パネル１４０Ａを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
【０１３２】
次に、図６を参照して説明したスキャンの方法（つまり、反射像をスキャンする方法）とは異なるスキャンの方法について、図１２を参照して説明する。
【０１３３】
図１２は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図１２を参照して、外光の一部は、指９００によって遮られる。それゆえ、指９００と接触している液晶パネル１４０の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指９００の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
【０１３４】
ここで、バックライト１７９を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路１４４は、液晶パネル１４０の表面に対する指９００の位置に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９を点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。
【０１３５】
以上により、表示装置１０２は、指９００によって外光が遮られることにより得られる像（以下、影像とも称する）をスキャンすることができる。
【０１３６】
さらに、表示装置１０２を、バックライト１７９を点灯させてスキャンを行った後に、バックライト１７９を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置１０２を、バックライト１７９を消灯させてスキャンを行った後に、バックライト１７９を点灯させて再度スキャンを行う構成としてもよい。
【０１３７】
この場合には、２つのスキャン方式を併用することになるため、２つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
【０１３８】
＜サーバ装置２００のハードウェア構成＞
次に、サーバ装置２００の具体的構成の一態様について説明する。図１３は、サーバ装置２００のハードウェア構成を表わすブロック図である。図１３を参照して、サーバ装置２００は、主たる構成要素として、本体装置２０１と、表示装置２０２とを含む。
【０１３９】
本体装置２０１は、ＣＰＵ２１０と、ＲＡＭ２７１と、ＲＯＭ２７２と、ＣＤ−ＲＯＭ駆動装置２７３と、通信ＩＦ２７４と、マイク２７５と、スピーカ２７６と、操作キー２７７と、ＨＤＤ（Hard disk drive）２９９とを含む。各構成要素は、相互にデータバスＤＢ２によって接続されている。ＣＤ−ＲＯＭ駆動装置２７３には、ＣＤ−ＲＯＭ２７３１が装着される。
【０１４０】
ＣＰＵ２１０は、プログラムを実行する。操作キー２７７は、サーバ装置２００の使用者による指示の入力を受ける。ＲＡＭ２７１は、ＣＰＵ２１０によるプログラムの実行により生成されたデータ、または操作キー２７７を介して入力されたデータを揮発的に格納する。ＲＯＭ２７２は、データを不揮発的に格納する。通信ＩＦ２７４は、他の電子機器に有線により接続するためのインターフェイスである。たとえば、通信ＩＦ２７４に無線通信機を接続することにより、サーバ装置２００は無線通信を行うこともできる。ＨＤＤ２９９は、プログラム、およびＣＰＵ２１０によるプログラムの実行により生成されたデータを不揮発的に格納する。
【０１４１】
表示装置２０２は、ディスプレイなどによって実現される。表示装置２０２は、ＣＰＵ２１０からのデータに基づいて画像を表示する。
【０１４２】
ところで、サーバ装置２００における処理は、各ハードウェアおよびＣＰＵ２１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ２７２またはＨＤＤ２９９に予め記憶されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭ２７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、ＣＤ−ＲＯＭ駆動装置２７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ２７４または図示しない通信部を介してダウンロードされた後、ＲＯＭ２７２またはＨＤＤ２９９に一旦格納される。そのソフトウェアは、ＣＰＵ２１０によってＲＯＭ２７２またはＨＤＤ２９９から読み出され、ＲＡＭ２７１に実行可能なプログラムの形式で格納される。ＣＰＵ２１０は、そのプログラムを実行する。
【０１４３】
図１３に示されるサーバ装置２００の本体装置２０１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ２７１、ＲＯＭ２７２、ＨＤＤ２９９、ＣＤ−ＲＯＭ２７３１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、サーバ装置２００の本体装置２０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【０１４４】
なお、記録媒体としては、ＣＤ−ＲＯＭに限られず、メモリカード、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【０１４５】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【０１４６】
＜ネットワークシステム１の機能構成＞
図１４は、本実施の形態に係るネットワークシステム１の機能構成を示すブロック図である。図１４に示すように、本実施の形態に係るネットワークシステム１は、電子機器１００と、サーバ装置２００と、ネットワーク２５０と、入力シート３００と、キャッシュレジスタ（以下、レジともいう。）４００とを含む。
【０１４７】
図１に示すように、本実施の形態に係る入力シート３００は透明である。入力シート３００には、入力シート３００のユーザの権限やユーザＩＤを示す識別情報３０１が描画されている。識別情報３０１は、予め入力シート３００に変更不能に印刷されているものであってもよいし、入力シート３００のユーザにより必要に応じて印鑑などを用いて描画されるものであってもよい。ユーザは、入力シート３００表面に、マジックやペンなどを用いてテキスト３０２や画像などを記入することができる。テキスト３０２は、図１に示すような数字（価格）であってもよいし、商品名やセール中であることを示す文字であってもよい。
【０１４８】
図１４を参照して、電子機器１００は、生成部１１１と、判断部１１２と、取得部１１３と、表示制御部１１４と、通信制御部１１５とを含む。また、電子機器１００は、図２にも示したように、ＲＡＭ１７１と、通信装置１７４と、複数の光センサ回路１４４および複数の画素回路１４１を含む液晶パネル１４０とを含む。
【０１４９】
まず、複数の光センサ回路１４４のそれぞれは、入力シート３００を透過してきた入射光を受光して、入射光に応じた電気信号を生成する。複数の光センサ回路１４４は全体として、画像処理エンジン１８０（図２）などを介して、第１の画像に対応する電気信号を生成部１１１に入力する。たとえば、本実施の形態のように、入力シート３００が透明である場合には、光センサ回路１４４は入力シート３００を透過してきた入射光に基づいて電気信号を生成する。
【０１５０】
この場合には、図１２に示すようにバックライト１７９を消灯させた状態で、識別情報３０１やテキスト３０２を含む第１の画像を読み取ってもよい。なお、入力シート３００が透明であるため、ユーザは、液晶パネル１４０に入力シート３００を読み取らせる際に、識別情報３０１およびテキスト３０２と液晶パネル１４０との位置関係を容易に把握することができる。
【０１５１】
ただし、入力シート３００は透明に限らない。入力シート３００が透明でない場合には、図６に示すようにバックライト１７９を点灯させた状態で第１の画像を読み取ることが好ましい。この場合には、複数の光センサ回路１４４のそれぞれは、入力シート３００にて反射してきた入射光に基づいて電気信号を生成する。
【０１５２】
複数の画素回路１４１のそれぞれは、表示制御部１１４からのテキストデータに基づいて、外部に可視光を発する。より詳細には、複数の画素回路１４１は全体として、画像処理エンジン１８０（図２）などを介して、表示制御部１１４からのテキストデータ（電気信号）に基づいて、バックライト１７９からの光を利用しながらテキスト（第２の画像）を表示する。
【０１５３】
ＲＡＭ１７１は、入力シート３００のユーザ独自の（所定の）パターン画像を示すパターンデータ１７１Ａや、取得部１１３からのテキストデータ１７１Ｂを記憶する。また、ＲＡＭ１７１は、生成部１１１にて生成された図示しない第１の画像データなども記憶する。
【０１５４】
生成部１１１と、判断部１１２と、取得部１１３と、表示制御部１１４と、通信制御部１１５とは、ＣＰＵ１１０などによって実現される機能である。より詳細には、ＣＰＵ１１０が有する各機能は、ＣＰＵ１１０がＲＡＭ１７１などに記憶される制御プログラムを実行して、図２に示される各ハードウェアを制御することによって実現される機能である。
【０１５５】
生成部１１１は、画像処理エンジン１８０（図２）を介して、複数の光センサ回路１４４から入力される電気信号に基づき、液晶パネル１４０に対向させられた入力シート３００上の第１の画像に対応する第１の画像データを生成する。たとえば、生成部１１１は、図３に示す液晶パネル１４０からの電気信号に基づいて、単色で構成される画像データを生成する。あるいは、生成部１１１は、図１１に示す液晶パネル１４０Ａからの電気信号に基づいて、複数色で構成される画像データを生成する。
【０１５６】
ただし、生成部１１１は、図２に示す画像処理エンジン１８０によって実現されてもよい。すなわち、画像処理エンジン１８０によって実現される生成部１１１が、光センサ回路１４４からの電気信号に基づいて第１の画像全体を示す第１の画像データを生成し、第１の画像データをＣＰＵ１１０によって実現される判断部１１２および取得部１１３やＲＡＭ１７１などに受け渡してもよい。
【０１５７】
生成部１１１は、生成した第１の画像データを判断部１１２に受け渡す。このとき、生成部１１１は、第１の画像データを一旦ＲＡＭ１７１に記憶してもよい。すなわち、生成部１１１は、常時ＲＡＭ１７１の画像データを最新の第１の画像データに更新してもよい。
【０１５８】
判断部１１２は、ＲＡＭ１７１から、権限を有するユーザ毎に付与された所定のパターン画像に対応するパターンデータ１７１Ａを読み出して、生成部１１１が生成した第１の画像データと当該パターンデータ１７１Ａとを比較する。判断部１１２は、パターンデータ１７１Ａと第１の画像データとに基づき、第１の画像データに対応する第１の画像中にパターンデータ１７１Ａに対応する所定のパターン画像が含まれているか否かを判断する。たとえば、判断部１１２は、パターンマッチング処理などを行うことによって、第１の画像中に所定のパターン画像が含まれているか否かを判断する。すなわち、判断部１１２は、入力シート３００上に所定の権限を有するユーザに割り当てられているパターン画像（識別情報３０１）が描画されているか否かを判断する。
【０１５９】
液晶パネル１４０の構成に応じて、ＲＡＭ１７１に格納されるパターンデータ１７１Ａは、単色で構成されるパターン画像に対応する画像データであってもよいし、複数色で構成されるパターン画像に対応する画像データであってもよい。また、たとえば、パターン画像は、印影を示す画像であってもよい。具体的には、入力シート３００のユーザは、入力シート３００にテキスト３０２を描画するとともに、入力シート３００に印鑑などを押印することによってＲＡＭ１７１に印影を含む識別情報３０１を描画してもよい。
【０１６０】
このようにして、判断部１１２は、入力シート３００上にパターン画像が存在するか否かを判断し、当該判断結果を取得部１１３に受け渡す。
【０１６１】
取得部１１３は、入力シート３００にパターン画像を含む識別情報３０１が描画されている場合、生成部１１１からの第１の画像データに基づいて、第１の画像データに対応する第１の画像からテキストを抽出する。すなわち、取得部１１３は、生成部１１１からの第１の画像データをテキストデータ１７１Ｂに変換することによって、第１の画像データに対応するテキストデータ１７１Ｂを取得する。取得部１１３は、テキストデータ１７１ＢをＲＡＭ１７１に記憶して、当該テキストデータ１７１Ｂを表示制御部１１４に受け渡す。また、取得部１１３は、テキストデータ１７１Ｂを通信制御部１１５に受け渡してもよい。
【０１６２】
なお、入力シート３００にパターン画像を含む識別情報３０１が描画されていない場合には、生成部１１１は対象となっている画像データを破棄する。あるいは、取得部１１３は、画像データをテキストデータに変換することなく、そのままＲＡＭ１７１に格納しておく。
【０１６３】
表示制御部１１４は、入力シート３００にパターン画像を含む識別情報３０１が描画されている場合、取得部１１３からのテキストデータ１７１Ｂに基づき複数の画素回路１４１を制御することによって、テキストを第２の画像として表示させる。
【０１６４】
通信制御部１１５は、通信装置１７４を介して、取得部１１３からのテキストデータ１７１Ｂや当該テキストデータ１７１Ｂに関連する関連データを、送信データとしてネットワーク２５０へと送出する。関連データは、第１の画像データやテキストデータ１７１Ｂの取得時間を示すデータや、第１の画像データを入力したユーザのユーザＩＤなどを含む。通信装置１７４は、ネットワーク２５０を介して、通信制御部１１５からのテキストデータ１７１Ｂや関連データをサーバ装置２００やレジ４００などに送信する。
【０１６５】
前述したように、サーバ装置２００は、ＲＡＭ２７１や、ＣＰＵ２１０や、通信Ｉ／Ｆ２７４を含む。ＣＰＵ２１０は、通信Ｉ／Ｆ２７４を介して電子機器１００からテキストデータ１７１Ｂや関連データを受信して、当該テキストデータ１７１Ｂや関連データをＲＡＭ２７１などに記憶する。たとえば、サーバ装置２００は、商品の価格を示すテキストデータ１７１Ｂを格納したり、商品の価格をテキストデータ１７１Ｂによって更新したりすることによって、同一店舗内の商品の価格や、他の全ての店舗内の商品の価格などを管理することができる。また、サーバ装置２００は、テキストデータ１７１Ｂや関連データやレジ４００からの販売結果などを利用することによって、様々な解析処理を行うこともできる。
【０１６６】
たとえば、本実施の形態に係るＣＰＵ２１０は、電子機器１００から受信した、商品の価格と、当該価格の変更時刻と、当該価格を変更したユーザの識別情報とを、当該商品を特定するための識別情報に対応付けてＲＡＭ２７１に格納する。これによって、サーバ装置２００の管理者やサーバ装置２００にネットワーク２５０を介して接続されるレジ４００のユーザなどが、商品毎の最新の価格情報や価格の変更情報などを利用することができる。
【０１６７】
＜画像処理＞
次に、図２、図１４、図１５を参照して、本実施の形態に係る電子機器１００における画像処理について説明する。なお、図１５は、本実施の形態に係る電子機器１００における画像処理の処理手順を示すイメージ図である。
【０１６８】
本実施の形態においては、液晶パネル１４０に含まれる複数の光センサ回路１４４は、常時、入射光に応じて電気信号を生成する。光センサ回路１４４のそれぞれは、画像処理エンジン１８０を介して、生成した電気信号をＣＰＵ１１０に入力する。すなわち、ＣＰＵ１１０は、複数の光センサ回路１４４からの電気信号を、画像処理エンジン１８０を介して受け付ける（ステップＳ１０２）。生成部１１１として機能するＣＰＵ１１０（あるいは画像処理エンジン１８０）は、電気信号に基づいて第１の画像データを生成する（ステップＳ１０４）。
【０１６９】
ＣＰＵ１１０は、前回ＲＡＭ１７１に記憶された第１の画像データと今回生成された第１の画像データとを比較する（ステップＳ１０６）。前回ＲＡＭ１７１に記憶された第１の画像データと今回生成された第１の画像データとが略一致する場合（ステップＳ１０６にてＹＥＳである場合）、ＣＰＵ１１０はステップＳ１０２からの処理を繰り返す。
【０１７０】
一方、前回ＲＡＭ１７１に記憶された第１の画像データと今回生成された第１の画像データとが一致しない場合（ステップＳ１０６にてＮＯである場合）、ＣＰＵ１１０は今回生成された第１の画像データをＲＡＭ１７１に記憶する（ステップＳ１０８）。あるいは、ＣＰＵ１１０は、前回ＲＡＭ１７１に記憶された第１の画像データを、今回生成された第１の画像データによって更新する。
【０１７１】
判断部１１２として機能するＣＰＵ１１０は、ＲＡＭ１７１から特定の権限を有するユーザ毎のパターンデータを順次読み出す（ステップＳ１１０）。ＣＰＵ１１０は、生成された第１の画像データとパターンデータとに基づいて、第１の画像データが示す第１の画像中にパターンデータが示す所定のパターン画像が含まれているか否かを、特定の権限を有するユーザ毎に順次判断する（ステップＳ１１２）。
【０１７２】
第１の画像中に所定のパターン画像が含まれていない場合（ステップＳ１１２にてＮＯである場合）、ＣＰＵ１１０は、ステップＳ１０２からの処理を繰り返す。一方、第１の画像中に所定のパターン画像が含まれている場合（ステップＳ１１２にてＹＥＳである場合）、取得部１１３として機能するＣＰＵ１１０は、第１の画像データに基づいて、第１の画像からテキストを抽出して、テキストデータ１７１Ｂを生成する（ステップＳ１１４）。
【０１７３】
表示制御部１１４として機能するＣＰＵ１１０は、テキストデータ１７１Ｂに基づいて、複数の画素回路１４１にテキストを表示させる（ステップＳ１１６）。また、通信制御部１１５として機能するＣＰＵ１１０は、通信装置１７４を介して、テキストデータ１７１Ｂを送信データとしてサーバ装置２００に送信する（ステップＳ１１８）。
【０１７４】
［実施の形態２］
＜ネットワークシステム１Ｂの全体構成＞
次に、本発明の実施の形態２について説明する。上述の実施の形態１に係るネットワークシステム１においては、電子機器１００が、光センサ回路１４４を用いて第１の画像データを読み取り、当該第１の画像データに対応する第１の画像からテキストを抽出することによってテキストデータを生成し、当該テキストデータに基づいて画素回路１４１を用いてテキストを第２の画像として表示するものであった。一方、本実施の形態に係るネットワークシステム１Ｂにおいては、電子機器１００Ｂが、光センサ回路１４４を用いて第１の画像データを読み取り、当該第１の画像データに基づいて画素回路１４１を用いて第１の画像を第２の画像として表示するものである。
【０１７５】
まず、本実施の形態に係るネットワークシステム１Ｂの全体構成について説明する。図１６は、本実施の形態に係るネットワークシステム１Ｂを示す概略図である。より詳細には、図１６（Ａ）は、表示内容が書き換えられる前のネットワークシステム１Ｂを示すイメージ図である。図１６（Ｂ）は、表示内容が書き換えられる最中のネットワークシステム１Ｂを示すイメージ図である。図１６（Ｃ）は、表示内容が書き換えられた後のネットワークシステム１Ｂを示すイメージ図である。
【０１７６】
図１６（Ａ）から図１６（Ｃ）を参照して、本実施の形態に係るネットワークシステム１Ｂは、電子機器１００Ｂと、ネットワーク２５０と、ネットワーク２５０を介して電子機器１００Ｂが接続されるサーバ装置２００と、入力シート３００とを含む。電子機器１００Ｂは、画像を表示するとともに画像を読み取ることができる液晶パネル１４０と、操作キー１７７とを含む。
【０１７７】
＜ネットワークシステム１Ｂの動作概要＞
次に、本実施の形態に係るネットワークシステム１Ｂの動作概要について説明する。
【０１７８】
図１６（Ａ）に示すように、入力シート３００には、予め、入力シート３００のユーザの権限やユーザＩＤなどを示すための識別情報３０１が印刷（表示）されている。そして、入力シート３００のユーザは、所望のタイミングで、当該入力シート３００に印影３０３などの所望する画像を描画する。
【０１７９】
図１６（Ｂ）に示すように、ユーザは、たとえば印影３０３などの画像が描画された入力シート３００を液晶パネル１４０に読み取らせる。電子機器１００Ｂは、液晶パネル１４０を用いて読み取った識別情報３０１や印影３０３を含む第１の画像に基づいて生成される第１の画像データと、予め記憶されている所定のパターン画像に対応するパターンデータとに基づいて、入力シート３００上に所定パターン画像に一致する識別情報３０１が印刷されているか否かを判断する。入力シート３００上の識別情報３０１が所定のパターン画像を含む場合、電子機器１００Ｂは、第１の画像データを記憶したり、第１の画像データを他のアプリケーションデータなどに反映させることによって第２の画像データを生成したりする。
【０１８０】
図１６（Ｃ）に示すように、電子機器１００Ｂは、第２の画像データに基づいて、液晶パネル１４０に第２の画像を表示させる。なお、第２の画像データは第１の画像データそのものであってもよく、すなわち電子機器１００は第１の画像そのままを、第２の画像として第１の画像を読み取った場所に表示してもよい。あるいは、第２の画像データは第１の画像データを反映させた他の文書データなどであってもよく、すなわち第２の画像は第１の画像を含む他の文書画像などであってもよい。また、電子機器１００Ｂは、第２の画像データをネットワーク２５０を介してサーバ装置２００へ送信する。
【０１８１】
＜ネットワークシステム１Ｂの変形例の動作概要＞
次に、本実施の形態に係るネットワークシステム１Ｂの変形例の動作概要について説明する。図１７は、本変形例に係るネットワークシステム１Ｂを示す概略図である。より詳細には、図１７（Ａ）は、表示内容が書き換えられる前のネットワークシステム１Ｂの変形例を示すイメージ図である。図１７（Ｂ）は、表示内容が書き換えられる最中のネットワークシステム１Ｂの変形例を示すイメージ図である。図１７（Ｃ）は、表示内容が書き換えられた後のネットワークシステム１Ｂの変形例を示すイメージ図である。
【０１８２】
図１７（Ａ）に示すように、入力シート３００には、予め、入力シート３００のユーザの権限やユーザＩＤなどを示すための識別情報３０１が印刷（表示）されている。そして、入力シート３００のユーザは、所望のタイミングで、入力シート３００に所望する商品価格などのテキスト３０２を記入する。
【０１８３】
図１７（Ｂ）に示すように、ユーザは、たとえば商品価格などのテキスト３０２が記入された入力シート３００を液晶パネル１４０に読み取らせる。電子機器１００Ｂは、液晶パネル１４０にて読み取った識別情報３０１やテキスト３０２や印影３０３を含む第１の画像に基づいて生成される第１の画像データと、予め記憶されている所定のパターン画像に対応するパターンデータとに基づいて、入力シート３００上に所定のパターン画像に一致する識別情報３０１が印刷されているか否かを判断する。入力シート３００上の識別情報３０１が所定のパターン画像を含む場合、電子機器１００Ｂは、第１の画像データを記憶したり、第１の画像データを他のアプリケーションデータなどに反映させることによって第２の画像データを生成したりする。
【０１８４】
図１７（Ｃ）に示すように、電子機器１００Ｂは、第２の画像データに基づいて、液晶パネル１４０に第２の画像を表示させる。上述したように、第２の画像データは第１の画像データそのものであってもよく、すなわち第２の画像は第１の画像そのものであってもよい。あるいは、第２の画像データは第１の画像データを反映させた他の文書データなどであってもよく、すなわち第２の画像は第１の画像を含む他の文書画像などであってもよい。また、電子機器１００Ｂは、第２の画像データをネットワーク２５０を介してサーバ装置２００へ送信する。
【０１８５】
以下、このような機能を実現するための構成について詳述する。なお、ネットワークシステム１Ｂを構成する機器のハードウェア構成については、図２〜図１３に示す実施の形態１に係るそれらと同様であるため、ここでは説明を繰り返さない。
【０１８６】
＜ネットワークシステム１Ｂの機能構成＞
図１８は、本実施の形態に係るネットワークシステム１Ｂの機能構成を示すブロック図である。図１８に示すように、本実施の形態に係るネットワークシステム１Ｂは、電子機器１００Ｂと、サーバ装置２００と、ネットワーク２５０と、入力シート３００と、他の電子機器４５０とを含む。
【０１８７】
図１６および図１７に示すように、本実施の形態に係る入力シート３００も透明である。入力シート３００には、入力シート３００のユーザの権限やユーザＩＤを示す識別情報３０１が描画されている。識別情報３０１は、予め入力シート３００に変更不能に印刷されているものであってもよいし、入力シート３００のユーザにより必要に応じて印鑑などを用いて描画されるものであってもよい。ユーザは、入力シート３００表面に、印鑑やマジックやペンなどを用いて画像やテキストを描画することができる。
【０１８８】
図１８を参照して、電子機器１００Ｂは、生成部１１１と、判断部１１２と、表示制御部１１６と、通信制御部１１７とを含む。また、電子機器１００Ｂは、図２にも示したように、ＲＡＭ１７１と、通信装置１７４と、複数の光センサ回路１４４および複数の画素回路１４１を含む液晶パネル１４０とを含む。
【０１８９】
通信装置１７４と、複数の光センサ回路１４４および複数の画素回路１４１を含む液晶パネル１４０とは、実施の形態に係るそれらと同様の部品であるため、ここでは説明を繰り返さない。
【０１９０】
ＲＡＭ１７１は、入力シート３００のユーザ独自の（所定の）パターン画像を示すパターンデータ１７１Ａや、生成部１１１からの第２の画像データ１７１Ｃを記憶する。また、ＲＡＭ１７１は、生成部１１１にて生成された図示しない第１の画像データなども記憶する。
【０１９１】
生成部１１１と、判断部１１２と、表示制御部１１６と、通信制御部１１７とは、ＣＰＵ１１０などによって実現される機能である。より詳細には、ＣＰＵ１１０が有する各機能は、ＣＰＵ１１０がＲＡＭ１７１などに記憶される制御プログラムを実行して、図２に示される各ハードウェアを制御することによって実現される機能である。
【０１９２】
ただし、実施の形態１と同様に、生成部１１１は、図２に示す画像処理エンジン１８０によって実現されてもよい。すなわち、画像処理エンジン１８０によって実現される生成部１１１が、電気信号に基づいて第１の画像全体を示す第１の画像データを生成し、第１の画像データをＣＰＵ１１０によって実現される判断部１１２および取得部１１３やＲＡＭ１７１などに受け渡してもよい。
【０１９３】
生成部１１１と判断部１１２の構成は、実施の形態に係るそれらと同様であるため、ここでは説明を繰り返さない。
【０１９４】
本実施の形態に係る表示制御部１１６は、入力シート３００に識別情報が描画されている場合には、生成部１１１からの第１の画像データ（あるいは第２の画像データ）に基づき複数の画素回路１４１を制御することによって、当該複数の画素回路１４１に第１の画像（あるいは第２の画像）を表示させる。すなわち、表示制御部１１６は、複数の画素回路１４１を介して、第１の画像データに基づいて第１の画像そのままを第２の画像として表示させてもよいし、後述するように第１の画像データを加工した第２の画像データに基づいて第１の画像とは異なる第２の画像を表示させてもよい。
【０１９５】
通信制御部１１７は、入力シート３００に識別情報が描画されている場合には、通信装置１７４を介して、生成部１１１からの第１の画像データ（あるいは第２の画像データ）を送信データとしてネットワーク２５０へと送出する。通信装置１７４は、ネットワーク２５０を介して、送信データをサーバ装置２００や、他の電子機器４５０などに送信する。
【０１９６】
なお、本実施の形態に係る判断部１１２は、判断結果を一旦生成部１１１に受け渡してもよい。そして、本実施の形態に係る生成部１１１は、入力シート３００に所定のパターン画像が描画されている場合には、第１の画像データを反映させた他のアプリケーション用の文書データなどを第２の画像データとして表示制御部１１６に受け渡す。表示制御部１１４は、第２の画像データに基づいて、複数の画素回路１４１に第２の画像を表示させる。
【０１９７】
たとえば、本実施の形態に係る生成部１１１は、第１の画像データが印影３０３を示す場合において、他のアプリケーションにて使用されている文書データに当該印影３０３を示す第１の画像データを追加することによって、印影３０３が付与された文書に対応する第２の画像データ１７１Ｃを生成する。具体的には、生成部１１１は、文書データと第１の画像データとに基づいて、決済文書の印鑑欄などに印影３０３が描画された状態の文書データを第２の画像データ１７１Ｃとして出力する。生成部１１１は、第２の画像データ１７１ＣをＲＡＭ１７１に記憶する。表示制御部１１４は、第２の画像データ１７１Ｃに基づいて、印影３０３が押捺されている文書を複数の画素回路１４１に表示させる。
【０１９８】
前述したように、サーバ装置２００は、ＲＡＭ２７１や、ＣＰＵ２１０や、通信Ｉ／Ｆ２７４を含む。ＣＰＵ２１０は、通信Ｉ／Ｆ２７４を介して電子機器１００Ｂから送信データとして第２の画像データ１７１Ｃを受信して、当該第２の画像データ１７１ＣをＲＡＭ２７１などに記憶する。たとえば、サーバ装置２００は、印影３０３の画像を示す第２の画像データ１７１Ｃを格納することができる。
【０１９９】
本実施の形態に係るＣＰＵ２１０は、第２の画像データ１７１ＣをＲＡＭ２７１に格納する。これによって、サーバ装置２００のユーザや、サーバ装置２００にネットワーク２５０を介して接続される他の電子機器４５０のユーザが、印影３０３が描画された文書を利用することができる。
【０２００】
＜画像処理＞
次に、図２、図１８、図１９を参照して、本実施の形態に係る電子機器１００Ｂにおける画像処理について説明する。なお、図１９は、本実施の形態に係る電子機器１００Ｂにおける画像処理の処理手順を示すイメージ図である。
【０２０１】
本実施の形態においては、液晶パネル１４０に含まれる複数の光センサ回路１４４は、常時、入射光に応じて電気信号を生成する。光センサ回路１４４のそれぞれは、生成した電気信号をＣＰＵ１１０に入力する。すなわち、ＣＰＵ１１０は、複数の光センサ回路１４４からの電気信号を受け付ける（ステップＳ１０２）。生成部１１１として機能するＣＰＵ１１０は、電気信号に基づいて第１の画像データを生成する（ステップＳ１０４）。
【０２０２】
ＣＰＵ１１０は、前回ＲＡＭ１７１に記憶された第１の画像データと今回生成された第１の画像データとを比較する（ステップＳ１０６）。前回ＲＡＭ１７１に記憶された第１の画像データと今回生成された第１の画像データとが略一致する場合（ステップＳ１０６にてＹＥＳである場合）、ＣＰＵ１１０はステップＳ１０２からの処理を繰り返す。
【０２０３】
一方、前回ＲＡＭ１７１に記憶された第１の画像データと今回生成された第１の画像データとが一致しない場合（ステップＳ１０６にてＮＯである場合）、ＣＰＵ１１０は今回生成された第１の画像データをＲＡＭ１７１に記憶する（ステップＳ１０８）。あるいは、ＣＰＵ１１０は、前回ＲＡＭ１７１に記憶された第１の画像データを、今回生成された第１の画像データによって更新する。
【０２０４】
判断部１１２として機能するＣＰＵ１１０は、ＲＡＭ１７１からパターンデータを読み出す（ステップＳ１１０）。ＣＰＵ１１０は、生成された第１の画像データとパターンデータとに基づいて、第１の画像データが示す第１の画像中にパターンデータが示す所定のパターン画像が含まれているか否かを判断する（ステップＳ１１２）。
【０２０５】
第１の画像中に所定のパターン画像が含まれていない場合（ステップＳ１１２にてＮＯである場合）、ＣＰＵ１１０は、ステップＳ１０２からの処理を繰り返す。一方、第１の画像中に所定のパターン画像が含まれている場合（ステップＳ１１２にてＹＥＳである場合）、取得部１１３として機能するＣＰＵ１１０は、第１の画像データに基づいて、他のアプリケーションプログラムでも利用可能な文書データに第１の画像データを反映させる（ステップＳ２１４）。すなわち、ＣＰＵ１１０は、第１の画像が描画された文書を示す第２の画像データ１７１Ｃを生成する。
【０２０６】
表示制御部１１４として機能するＣＰＵ１１０は、第２の画像データ１７１Ｃに基づいて、複数の画素回路１４１に第２の画像を表示させる（ステップＳ２１６）。また、通信制御部１１５として機能するＣＰＵ１１０は、通信装置１７４を介して、第２の画像データ１７１Ｃを送信データとしてサーバ装置２００に送信する（ステップＳ２１８）。
【０２０７】
ただし、ステップＳ２１４を省略してもよい。すなわち、第１の画像中に所定のパターン画像が含まれている場合（ステップＳ１１２にてＹＥＳである場合）、表示制御部１１４として機能するＣＰＵ１１０は、第１の画像データに基づいて、複数の画素回路１４１に第１の画像を表示させてもよい（ステップＳ２１６）。また、通信制御部１１５として機能するＣＰＵ１１０は、通信装置１７４を介して、第１の画像データを送信データとしてサーバ装置２００に送信してもよい（ステップＳ２１８）。
【０２０８】
＜その他の実施の形態＞
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
【０２０９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２１０】
プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード（ＩＣメモリカード）、ＲＯＭ（マスクＲＯＭ、フラッシュＥＥＰＲＯＭなど）などを用いることができる。
【０２１１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２１２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２１３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０２１４】
【図１】実施の形態１に係るネットワークシステムを示す概略図である。
【図２】電子機器のハードウェア構成を表わすブロック図である。
【図３】液晶パネルの構成と当該液晶パネルの周辺回路とを示した図である。
【図４】液晶パネルとバックライトとの断面図である。
【図５】光センサ回路を動作させる際のタイミングチャートを示した図である。
【図６】スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した断面図である。
【図７】センシングコマンドの概略構成を示した図である。
【図８】センシングコマンドの各領域におけるデータの値と当該値が示す意味内容とを示した図である。
【図９】応答データの概略構成を示した図である。
【図１０】指をスキャンすることにより得られた画像を示した図である。
【図１１】光センサ内蔵液晶パネルの変形例を示す回路図である。
【図１２】スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。
【図１３】サーバ装置のハードウェア構成を表わすブロック図である。
【図１４】実施の形態１に係るネットワークシステムの機能構成を示すブロック図である。
【図１５】実施の形態１に係る電子機器における画像処理の処理手順を示すイメージ図である。
【図１６】実施の形態２に係るネットワークシステムを示す概略図である。
【図１７】実施の形態２の変形例に係るネットワークシステムを示す概略図である。
【図１８】実施の形態２に係るネットワークシステムの機能構成を示すブロック図である。
【図１９】実施の形態２に係る電子機器における画像処理の処理手順を示すイメージ図である。
【符号の説明】
【０２１５】
１，１Ｂ ネットワークシステム、１００，１００Ｂ 電子機器、１０１ 本体装置、１０２ 表示装置、１１０ ＣＰＵ、１１１ 生成部、１１２ 判断部、１１３ 取得部、１１４，１１６ 表示制御部、１１５，１１７ 通信制御部、１３０ ドライバ、１３１ 走査信号線駆動回路、１３２ データ信号線駆動回路、１３３ 光センサ駆動回路、１３４ スイッチ、１３５ アンプ、１４０，１４０Ａ 光センサ内蔵液晶パネル、１４１ 画素回路、１４１ｂ，１４１ｇ，１４１ｒ サブピクセル回路、１４３ 電極対、１４３ａ 画素電極、１４３ｂ 対向電極、１４４ 光センサ回路、１４５，１４５ｂ，１４５ｇ，１４５ｒ フォトダイオード、１４６ コンデンサ、１５１Ａ アクティブマトリクス基板、１５１Ｂ 対向基板、１５２ 液晶層、１５３ｂ，１５３ｇ，１５３ｒ カラーフィルタ、１５７ データ信号線、１６１ 偏光フィルタ、１６２ ガラス基板、１６３ 遮光膜、１６４ 配向膜、１７１ ＲＡＭ、１７１Ａ パターンデータ、１７１Ｂ テキストデータ、１７１Ｃ 画像データ、１７３ メモリカードリーダライタ、１７４ 通信装置、１７５ マイク、１７６ スピーカ、１７７ 操作キー、１７９ バックライト、１８０ 画像処理エンジン、１８１ ドライバ制御部、１８２ タイマ、１８３ 信号処理部、２００ サーバ装置、２０１ 本体装置、２０２ 表示装置、２５０ ネットワーク、２７３ 駆動装置、２７５ マイク、２７６ スピーカ、２７７ 操作キー、３００ 入力シート、３０１ 識別情報、３０２ テキスト、３０３ 印影、４００ キャッシュレジスタ（レジ）、４５０ 他の電子機器、９００ 指、１７３１ メモリカード、ＤＢ１，ＤＢ２ データバス。
【特許請求の範囲】
【請求項１】
入射光に応じて電気信号を生成する複数の光センサ回路と、
電気信号に応じて光を発する複数の画素回路と、
所定のパターン画像を示すパターンデータを格納する記憶部と、
前記複数の光センサ回路から入力される電気信号に基づいて画像データを生成する生成手段と、
前記画像データと前記パターンデータとに基づいて、前記画像データに対応する第１の画像中に前記所定のパターン画像が含まれているか否かを判断する判断手段と、
前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記複数の画素回路に前記画像データに対応する第２の画像を表示させる表示制御手段とを備える、液晶表示装置。
【請求項２】
前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記第１の画像からテキストを抽出することによって、前記画像データに基づいてテキストデータを取得する取得手段をさらに備え、
前記表示制御手段は、前記テキストデータに基づいて、前記複数の画素回路に前記第２の画像として前記テキストを表示させる、請求項１に記載の液晶表示装置。
【請求項３】
前記記憶部は、前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記テキストデータを格納する、請求項２に記載の液晶表示装置。
【請求項４】
前記記憶部は、商品の価格を示す価格データを記憶し、
前記取得手段は、前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記テキストデータによって前記価格データを更新する、請求項２または３に記載の液晶表示装置。
【請求項５】
前記表示制御手段は、前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記画像データに基づいて、前記複数の画素回路に前記第２の画像として前記第１の画像を表示させる、請求項１に記載の液晶表示装置。
【請求項６】
前記記憶部は、前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記画像データを格納する、請求項５に記載の液晶表示装置。
【請求項７】
前記複数の光センサ回路は、外部の透明シートからの光を前記入射光として受光し、
前記透明シートには、前記所定のパターン画像が描画されている、請求項１から６のいずれか１項に記載の液晶表示装置。
【請求項８】
液晶表示装置と前記液晶表示装置にネットワークを介して接続可能なサーバ装置とを備えるネットワークシステムであって、
前記液晶表示装置は、
入射光に応じて電気信号を生成する複数の光センサ回路と、
電気信号に応じて光を発する複数の画素回路と、
所定のパターン画像を示すパターンデータを格納する第１の記憶部と、
前記複数の光センサ回路から入力される電気信号に基づいて画像データを生成する生成手段と、
前記画像データと前記パターンデータとに基づいて、前記画像データに対応する第１の画像中に前記所定のパターン画像が含まれているか否かを判断する判断手段と、
前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記複数の画素回路に前記画像データに対応する第２の画像を表示させる表示制御手段と、
前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記複数の画素回路に前記画像データに対応する送信データをネットワークを介して前記サーバ装置へ送信する第１の通信部とを含み、
前記サーバ装置は、
前記液晶表示装置から前記送信データを受信する第２の通信部と、
前記送信データを格納する第２の記憶部とを含む、ネットワークシステム。
【請求項９】
前記所定のパターン画像が描画された透明シートをさらに備え、
前記複数の光センサ回路は、前記透明シートからの光を前記入射光として受光する、請求項８に記載のネットワークシステム。
【請求項１０】
液晶表示装置における画像処理方法であって、
前記液晶表示装置は、
演算処理部と、
入射光に応じて電気信号を生成する複数の光センサ回路と、
電気信号に応じて光を発する複数の画素回路と、
所定のパターン画像を示すパターンデータを格納する記憶部とを備え、
前記演算処理部が、前記複数の光センサ回路から入力される電気信号に基づいて画像データを生成するステップと、
前記演算処理部が、前記画像データと前記パターンデータとに基づいて、前記画像データに対応する第１の画像中に前記所定のパターン画像が含まれているか否かを判断するステップと、
前記演算処理部が、前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記複数の画素回路に前記画像データに対応する第２の画像を表示させるステップとを備える、画像処理方法。
【請求項１】
入射光に応じて電気信号を生成する複数の光センサ回路と、
電気信号に応じて光を発する複数の画素回路と、
所定のパターン画像を示すパターンデータを格納する記憶部と、
前記複数の光センサ回路から入力される電気信号に基づいて画像データを生成する生成手段と、
前記画像データと前記パターンデータとに基づいて、前記画像データに対応する第１の画像中に前記所定のパターン画像が含まれているか否かを判断する判断手段と、
前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記複数の画素回路に前記画像データに対応する第２の画像を表示させる表示制御手段とを備える、液晶表示装置。
【請求項２】
前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記第１の画像からテキストを抽出することによって、前記画像データに基づいてテキストデータを取得する取得手段をさらに備え、
前記表示制御手段は、前記テキストデータに基づいて、前記複数の画素回路に前記第２の画像として前記テキストを表示させる、請求項１に記載の液晶表示装置。
【請求項３】
前記記憶部は、前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記テキストデータを格納する、請求項２に記載の液晶表示装置。
【請求項４】
前記記憶部は、商品の価格を示す価格データを記憶し、
前記取得手段は、前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記テキストデータによって前記価格データを更新する、請求項２または３に記載の液晶表示装置。
【請求項５】
前記表示制御手段は、前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記画像データに基づいて、前記複数の画素回路に前記第２の画像として前記第１の画像を表示させる、請求項１に記載の液晶表示装置。
【請求項６】
前記記憶部は、前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記画像データを格納する、請求項５に記載の液晶表示装置。
【請求項７】
前記複数の光センサ回路は、外部の透明シートからの光を前記入射光として受光し、
前記透明シートには、前記所定のパターン画像が描画されている、請求項１から６のいずれか１項に記載の液晶表示装置。
【請求項８】
液晶表示装置と前記液晶表示装置にネットワークを介して接続可能なサーバ装置とを備えるネットワークシステムであって、
前記液晶表示装置は、
入射光に応じて電気信号を生成する複数の光センサ回路と、
電気信号に応じて光を発する複数の画素回路と、
所定のパターン画像を示すパターンデータを格納する第１の記憶部と、
前記複数の光センサ回路から入力される電気信号に基づいて画像データを生成する生成手段と、
前記画像データと前記パターンデータとに基づいて、前記画像データに対応する第１の画像中に前記所定のパターン画像が含まれているか否かを判断する判断手段と、
前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記複数の画素回路に前記画像データに対応する第２の画像を表示させる表示制御手段と、
前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記複数の画素回路に前記画像データに対応する送信データをネットワークを介して前記サーバ装置へ送信する第１の通信部とを含み、
前記サーバ装置は、
前記液晶表示装置から前記送信データを受信する第２の通信部と、
前記送信データを格納する第２の記憶部とを含む、ネットワークシステム。
【請求項９】
前記所定のパターン画像が描画された透明シートをさらに備え、
前記複数の光センサ回路は、前記透明シートからの光を前記入射光として受光する、請求項８に記載のネットワークシステム。
【請求項１０】
液晶表示装置における画像処理方法であって、
前記液晶表示装置は、
演算処理部と、
入射光に応じて電気信号を生成する複数の光センサ回路と、
電気信号に応じて光を発する複数の画素回路と、
所定のパターン画像を示すパターンデータを格納する記憶部とを備え、
前記演算処理部が、前記複数の光センサ回路から入力される電気信号に基づいて画像データを生成するステップと、
前記演算処理部が、前記画像データと前記パターンデータとに基づいて、前記画像データに対応する第１の画像中に前記所定のパターン画像が含まれているか否かを判断するステップと、
前記演算処理部が、前記第１の画像中に前記所定のパターン画像が含まれている場合に、前記複数の画素回路に前記画像データに対応する第２の画像を表示させるステップとを備える、画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−１２８４７１（Ｐ２０１０−１２８４７１Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０６５８２（Ｐ２００８−３０６５８２）
【出願日】平成２０年１２月１日（２００８．１２．１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１２月１日（２００８．１２．１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]